画像処理装置、画像処理方法
【課題】 より少ないデータ量で、レンズの収差によるボケを画像処理によって軽減させてより高い画質の画像を生成する為の技術を提供すること。
【解決手段】 回復処理部１２１は、画像の中心位置から該画像の一端までの間のライン上の各像高についての、該像高の位置におけるボケを軽減させる為に用いるフィルタを用いて、画像におけるボケを軽減させる処理である画質回復処理を行う。
【解決手段】 回復処理部１２１は、画像の中心位置から該画像の一端までの間のライン上の各像高についての、該像高の位置におけるボケを軽減させる為に用いるフィルタを用いて、画像におけるボケを軽減させる処理である画質回復処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズの収差によるボケを画像処理によって軽減させてより高い画質の画像を生成する為の技術に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの画像入力装置を用いて被写体を撮影した場合、レンズなどの収差の影響により、実際の被写体よりもボケて画質劣化が生じることが知られている。この画質劣化を画像処理によって回復する技術として、光学系のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いる技術が知られている（特許文献１、特許文献２）。このＰＳＦを用いる技術では、ＰＳＦを元に回復するための関数（回復関数）を求め、この回復関数を用いて回復処理を行う。この回復処理において、ＰＳＦは、レンズの種類、絞り、焦点距離、被写体までの距離、及び像高（光軸中心からの位置）の各条件に応じて変動する。特許文献１では、予め、各条件のＰＳＦを保持しておき、撮影時にＰＳＦを取得し、回復処理を行う。また、特許文献２では、光軸中心から同心円上にＰＳＦを保持しておき、撮影画像の像高に応じてＰＳＦを切り替えることで回復処理を行っている。
【０００３】
ここで、回復処理について説明する。被写体をｏ、レンズなどのＰＳＦをｐ、ノイズをｎとすると、画像入力装置による撮影画像ｓは、以下の式のように書くことができる。
【０００４】
ｓ＝ｏ＊ｐ＋ｎ
ここで、「＊」は畳み込み積分を表している。この際、以下の式のように回復フィルタｒが求められれば、被写体ｏ‘を導き出すことができる。
【０００５】
ｏ‘＝ｒ＊ｓ
この時、ｒは、ｐとｎによって関連付けられるフィルタとなる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１９７３５４号公報
【特許文献２】特許第０３５３２３６８号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術では、ＰＳＦのデータ量の膨大さと計算量の大きさが課題となる。上述の通り、ＰＳＦは画像内の位置に応じて変動する。そのため、全画面で画像回復を行う場合には、全画面内の各位置のＰＳＦを保持しなけばならない。その場合、ＰＳＦのデータ量は膨大になり、レンズとカメラでＰＳＦデータをやり取りすることが困難となる。また、特許文献２のように同心円上の領域ごとにＰＳＦを持つ場合、領域の境界が問題となる。加えて、ＰＳＦの特性は、光軸中心からの距離だけではなく、光軸中心からの位置によっても変動するため、同心円状の領域だけでは不十分である。
【０００８】
一方、特許文献１、２のようにＰＳＦを保持しておき、撮影時にＰＳＦから回復フィルタを算出する場合、フーリエ変換などの計算コストの大きな処理を行う必要があるため、計算量が大きくなってしまう。
【０００９】
本発明は以上の問題に鑑みてなされたものであり、より少ないデータ量で、レンズの収差によるボケを画像処理によって軽減させてより高い画質の画像を生成する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、画像処理装置であって、画像の中心位置から該画像の一端までの間のライン上の各像高について、該像高の位置におけるボケを軽減させる為に用いるフィルタを保持する保持手段と、前記保持手段から前記フィルタを読み出す読み出し手段と、前記読み出し手段が読み出した前記フィルタを用いて、前記画像における前記ボケを軽減させる処理である画質回復処理を行う処理手段とを備え、前記処理手段は、前記ライン上の着目像高の位置に配置して該位置おけるボケを軽減させる為に用いる着目フィルタを、前記画像の中心位置を軸に規定角度だけ回転させて配置する配置手段と、前記ラインを前記画像の中心位置を軸に前記規定角度だけ回転させた回転後ライン上の前記着目像高の位置に対して、前記配置手段が配置した着目フィルタを適用して該位置に対する前記画質回復処理を行う手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明の構成によれば、より少ないデータ量で、レンズの収差によるボケを画像処理によって軽減させてより高い画質の画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の構成例を示す図。
【図２】撮像装置が行う処理のフローチャート。
【図３】暈け回復用フィルタについて説明する図。
【図４】暈け回復用フィルタの一例を示す図。
【図５】暈け回復用フィルタについて説明する図。
【図６】暈け回復用フィルタを管理するテーブルの構成例を示す図。
【図７】暈け回復用フィルタの作成方法を説明する図。
【図８】撮像装置の構成例を示す図。
【図９】画像処理装置の構成例を示す図。
【図１０】画像処理装置が行う処理のフローチャート。
【図１１】画像処理装置が行う処理のフローチャート。
【図１２】撮像画像の分割例を示す図。
【図１３】切り替え領域について説明する図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１４】
［第１の実施形態］
本実施形態に係る撮像装置は、レンズの収差によるボケを軽減させるための暈け回復用フィルタの対称性を利用して、一像高方向のみの暈け回復用フィルタを、カメラ本体部に着脱可能なレンズ部内のメモリ（レンズメモリ）に保持しておく。そしてカメラ本体部側で、レンズの収差によるボケを軽減させるための処理（暈け回復処理）を行う場合には、このレンズ部から暈け回復用フィルタを取得し、展開し、画像に適用する。これにより、１枚の画像全体に対して、レンズの収差によるボケを軽減させるための処理を行うことができる。
【００１５】
本実施形態に係る撮像装置について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係る撮像装置は、カメラ本体部１０７と、カメラ本体部１０７に着脱可能且つカメラ本体部１０７と通信可能なレンズ部１０１と、で構成されている。
【００１６】
先ず、レンズ部１０１について説明する。レンズ部１０１が有するレンズ１０２、絞り１０３を介して入光した光は、カメラ本体部１０７側に入光する。レンズ１０２、絞り１０３は、レンズ制御部１０４により制御される。
【００１７】
レンズＲＯＭ（レンズメモリ）１０５には、レンズ制御部１０４が動作するために用いるデータ、例えばカメラ本体部１０７側から通知される様々な情報に応じたレンズ１０２、絞り１０３の制御量のデータなどが格納されている。
【００１８】
更に、レンズＲＯＭ１０５には、本実施形態に係る撮像装置が撮像可能な画像の中心位置からこの画像の一端までの間のライン上の各像高について、この像高の位置におけるボケを軽減させる為に用いる暈け回復用フィルタが格納されている。なお、本実施形態では説明を簡単にするために、撮像画像の中心位置を光軸中心位置としている。しかし、光軸中心位置が撮像画像の中心位置からずれている場合、以下の説明において、撮像画像の中心位置を、撮像画像中の光軸中心位置と読み替えればよい。
【００１９】
更に、この各像高に対応する暈け回復用フィルタは、焦点距離や絞りなどの撮像パラメータに応じて異なるので、この各像高に対応する暈け回復用フィルタは、撮像パラメータの組み合わせ毎にレンズＲＯＭ１０５に格納されている。通信部１０６は、カメラ本体部１０７との間の通信を行うためのものである。
【００２０】
次に、カメラ本体部１０７について説明する。レンズ１０２、絞り１０３を介してカメラ本体部１０７側に入光する光は、メカニカルシャッター１１０を介してＣＣＤやＣＭＯＳ等の撮像素子１１１に入光する。また、レンズ１０２、絞り１０３を介してカメラ本体部１０７側に入光する光は、ハーフミラー１０９で反射して、光学ファインダ１０８にも入光する。
【００２１】
撮像素子１１１は、入光した光に応じた電気信号を撮像画像信号として出力するので、Ａ／Ｄ変換器１１２は、このアナログ信号としての撮像画像信号をディジタル信号に変換し、このディジタル信号としての撮像画像のデータをカメラメモリ１１７に格納する。このカメラメモリ１１７には、カメラ本体部１０７を構成する各部の動作制御を行うＣＰＵ１１９が各種の処理を実行するために用いるコンピュータプログラムや、様々なデータが格納されている。
【００２２】
撮像制御部１１４は、ハーフミラー１０９、メカニカルシャッター１１０、撮像素子１１１、レンズ部１０１を制御して撮像動作を制御する。操作部１１６は、ボタンなどの操作指示部を構成しており、ユーザはこの操作部１１６を操作することで、撮像指示や撮像パラメータの入力等をカメラ本体部１０７に入力することができる。なお、操作部１１６を用いて撮像パラメータが入力された場合、この撮像パラメータは撮像制御部１１４に送出すると共に通信部１１８を介してレンズ部１０１にも送出する。この場合、撮像制御部１１４は、この撮像パラメータに基づいてハーフミラー１０９、メカニカルシャッター１１０、撮像素子１１１を制御する。また、レンズ部１０１側のレンズ制御部１０４は、この撮像パラメータを通信部１０６を介して取得し、取得した撮像パラメータに基づいてレンズ１０２、絞り１０３を制御する。
【００２３】
焦点検知センサ１１３は、オートフォーカスモードが設定された時のみ動作するもので、被写体までの焦点距離を検知する。この検知した焦点距離の情報は、ＡＦ部１１５に入力される。ＡＦ部１１５は、この入力された焦点距離の情報に基づいて、フォーカス量を算出し、算出したフォーカス量を撮像制御部１１４に送出すると共に、通信部１１８を介してレンズ部１０１にも送出する。この場合、撮像制御部１１４は、このフォーカス量に基づいてハーフミラー１０９、メカニカルシャッター１１０、撮像素子１１１を制御する。また、レンズ部１０１側のレンズ制御部１０４は、このフォーカス量に基づいてレンズ１０２、絞り１０３を制御する。
【００２４】
信号処理部１２０は、回復処理部１２１と現像処理部１２２とで構成されている。回復処理部１２１は、カメラメモリ１１７に格納された撮像画像のデータを読み出し、この読み出した撮像画像に対して暈け回復処理を行う。現像処理部１２２は、この暈け回復処理が為された撮像画像に対して、デモザイキング、ＷＢ（ホワイトバランス）、ガンマ補正、色変換、ノイズリダクションなどの現像処理を行う。そして現像処理部１２２は、この現像処理を行った撮像画像のデータを、カメラメモリ１１７や外部メモリ１２３に格納する。外部メモリ１２３は、コンパクトフラッシュ（登録商標）やＳＤメモリーカード等、カメラ本体部１０７に着脱可能なメモリである。
【００２５】
なお、図１に示した構成は単なる一例であり、以下に説明する各処理を実現可能な構成であれば、本実施形態に係る撮像装置の構成はこれに限定するものではない。また、図１には、本実施形態に係る撮像装置の主要な構成を示しているため、本実施形態に係る撮像装置は、図１に示した各部のみで構成されているわけではない。
【００２６】
次に、本実施形態に係る撮像装置が１枚の画像を撮像し、撮像した画像に対して暈け回復処理を行う、一連の処理について、図２のフローチャートを用いて説明する。先ず、ユーザは、操作部１１６を操作して、被写体を撮像するための撮像パラメータ（絞り、シャッタースピード、焦点距離、ＩＳＯ感度など）を設定するので、ステップＳ２０１ではＣＰＵ１１９は、この撮像パラメータを取得する。
【００２７】
次に、ステップＳ２０２では、撮像制御部１１４、レンズ制御部１０４は、ステップＳ２０１で設定された撮像パラメータに基づいてレンズ１０２、絞り１０３、メカニカルシャッター１１０等を制御し、撮像素子１１１に対する露光を行う。この露光により、撮像素子１１１、Ａ／Ｄ変換器１１２を介して撮像画像のデータが得られ、この撮像画像のデータは、カメラメモリ１１７に格納される。なお、ユーザが操作部１１６を用いてオートフォーカスモードを設定した場合、焦点検知センサ１１３は被写体までの焦点距離を検知し、ＡＦ部１１５はこの検知された焦点距離に基づいてフォーカス量を算出するので、このフォーカス量が撮像に用いられる。
【００２８】
次に、ステップＳ２０３では、ＣＰＵ１１９は、通信部１１８及び通信部１０６を制御し、ステップＳ２０１で取得した撮像パラメータに対応する暈け回復用フィルタをレンズＲＯＭ１０５から読み出し、カメラメモリ１１７に格納する。本ステップにおける処理の詳細については後述する。
【００２９】
次に、ステップＳ２０４では、回復処理部１２１は、カメラメモリ１１７から、暈け回復処理の対象となる撮像画像（処理対象画像）のデータを読み出す。そして回復処理部１２１は、処理対象画像において、暈け回復処理対象位置（ｘ、ｙ）を設定する。
【００３０】
次に、ステップＳ２０５では、回復処理部１２１は、ステップＳ２０３で読み出した暈け回復用フィルタを用いて、位置（ｘ、ｙ）に対して適用する暈け回復用フィルタを作成する。本ステップにおける処理の詳細については後述する。
【００３１】
ステップＳ２０６で回復処理部１２１は、ステップＳ２０５で作成した暈け回復用フィルタを用いて、位置（ｘ、ｙ）に対する畳み込み積分演算を行うことで、この位置に対する暈け回復処理を行う。
【００３２】
ステップＳ２０７では、回復処理部１２１は、撮像画像上の全ての画素位置について暈け回復処理を行ったか否かを判断する。この判断の結果、行ったと判断した場合には処理はステップＳ２０９に進み、行っていないと判断した場合には、処理はステップＳ２０８に進む。
【００３３】
ステップＳ２０９では、現像処理部１２２は、以上の処理によって暈け回復処理が為された撮像画像に対して、上記の現像処理を行い、現像処理後の撮像画像のデータをカメラメモリ１１７や外部メモリ１２３に格納する。
【００３４】
一方、ステップＳ２０８では、回復処理部１２１は、画素位置（ｘ、ｙ）をずらして（例えば、ｘを１だけ増加させる）未だ暈け回復処理を行っていない位置を設定する。そしてステップＳ２０５以降でこの設定した位置に対して暈け回復処理を行う。
【００３５】
次に、暈け回復用フィルタについてより詳細に説明する。一般的に、光学系の収差は光軸中心に対して点対称となる。然るに、画像上の各位置に対して適用する暈け回復用フィルタの構成もまた、この画像の中心（光軸中心）に対して点対称であるといえる。そこで本実施形態では、撮像装置が撮像可能な画像における全ての像高について暈け回復用フィルタを保持することは避け、図３に示す如く、画像の中心位置から画像の一端までの間の各像高について、この像高の位置に適用する暈け回復用フィルタを保持する。以下では、撮像画像の中心位置から、撮像画像の右端までの間の水平１ライン上の各像高における暈け回復用フィルタを保持するものとして説明する。しかし、この１ラインが撮像画像の中心位置から撮像画像のどの端部までの１ラインであっても、以下の説明は同様に適用することができる。
【００３６】
レンズＲＯＭ１０５内に格納されている暈け回復用フィルタの一例を図４に示す。図４（ａ）は、暈け回復用フィルタ内の各係数値を３次元形状で示したもので、図４（ｂ）は、その１断面図を示す。上述したように、収差の点対称性を利用して、保持する暈け回復用フィルタとしては、光軸中心に向かって半分のみを持つことにより、データ量の削減が可能となる。例えば、水平（もしくは、垂直）の像高に対しては、上下（もしくは左右）の半分を保持しておき、残りについては演算によって求めることが可能である。また、光軸中心に対して、±４５度または±１３５度の位置にある回復用フィルタに対しては、光軸中心に向かって線対称となるため、そのうち半分のみを保持しておけば良い。
【００３７】
また、一般的に光学系の収差は１像高方向に対して、滑らかに変動する。そこで、図５に示す如く、離散的な像高に対して暈け回復用フィルタを保持しておき、その間の暈け回復用フィルタに関しては、補間によって求めることが可能である。しかしながら、変動の度合いとしては、像高が高くなるにしたがって、大きくなる。そこで、像高が高くなるにしたがって、より狭い像高間隔で対応する暈け回復処理を保持する。
【００３８】
また、上記の通り、各像高に対応する暈け回復用フィルタは、焦点距離や絞りなどの撮像パラメータに応じて異なるので、この各像高に対応する暈け回復用フィルタは、撮像パラメータの組み合わせ毎にレンズＲＯＭ１０５に格納される。焦点距離及び絞りの組み合わせ毎に暈け回復用フィルタを管理するテーブルの構成例を図６に示す。
【００３９】
例えば、操作部１１６を用いて焦点距離＝１６ｍｍ、絞り値Ｆ＝２．８が設定された場合、ステップＳ２０３では、像高０１〜０５のそれぞれに対応する暈け回復用フィルタＲ１１１〜Ｒ１１５がレンズＲＯＭ１０５から読み出されることになる。
【００４０】
次に、ステップＳ２０５における処理、即ち、ステップＳ２０３で読み出した暈け回復用フィルタを用いて、画素位置（ｘ、ｙ）に対して適用する暈け回復用フィルタを作成する処理について説明する。以下では説明を簡単にするために、ステップＳ２０３で読み出した暈け回復用フィルタが、上記水平１ライン上の像高１〜Ｎ（Ｎ＞１）のそれぞれの像高に対応する暈け回復用フィルタ１〜Ｎで構成されているとする。
【００４１】
先ず、それぞれの像高間の位置に対応する暈け回復用フィルタを作成する。これは、隣接する暈け回復用フィルタ間で補間計算を行うことで作成可能である。例えば、像高２と像高３の間の位置に対応する暈け回復用フィルタは、暈け回復用フィルタ２（第１のフィルタ）と暈け回復用フィルタ３（第２のフィルタ）とを用いた補間計算で求めることができる。この補間計算には、バイリニア補間や、バイキュービック補間、非線形な補間等を適用することができる。
【００４２】
これにより、水平１ライン上の各画素位置に対する暈け回復用フィルタを作成することができる。次に、図７に示す如く、撮像画像の中心位置と位置（ｘ，ｙ）とを通る直線ｒと上記水平１ラインとが為す角度（水平１ラインから時計回りの角度）をθとする。この場合、水平１ライン上の各画素位置における暈け回復用フィルタ（図７ではＲ１１１〜１１５）を、撮像画像の中心位置を軸にθだけ回転させる。これにより、この直線ｒ上の各像高の位置に対応する暈け回復用フィルタを作成することができるので、当然ながら、この直線上にある位置（ｘ、ｙ）に対して適用する暈け回復用フィルタが求まることになる。従って、この位置（ｘ、ｙ）に対して求めた暈け回復用フィルタを、この位置（ｘ、ｙ）に対して適用することができる。
【００４３】
即ち、ステップＳ２０５における処理を要約すると、次のようになる。先ず、撮像装置が撮像可能な画像の中心位置からこの画像の一端までの間のライン上の着目像高の位置に配置してこの位置おけるボケを軽減させる為に用いる着目フィルタを、この画像の中心位置を軸に規定角度だけ回転させて配置する。
【００４４】
そして、このラインを画像の中心位置を軸に上記規定角度だけ回転させた回転後ライン上の上記着目像高の位置に対して、上記配置された着目フィルタを適用することで、この位置に対する画質回復処理を行うことができる。
【００４５】
以上の説明により、本実施形態によれば、暈け回復用フィルタのデータ量を従来よりも軽減させつつ、レンズの収差によるボケを画像処理によって軽減させてより高い画質の画像を生成することができる。
【００４６】
［第２の実施形態］
第１の実施形態では、レンズ部１０１がカメラ本体部１０７とは別個の装置としていた。しかし、レンズ部１０１とカメラ本体部１０７とが一体化している撮像装置も考え得る。レンズ部１０１とカメラ本体部１０７とが一体化した撮像装置の構成例を図８に示す。この場合、レンズＲＯＭ１０５に格納されているものとして説明した、撮像パラメータ毎の「像高毎の暈け回復用フィルタ」は、カメラメモリ１１７に格納しておく。なお、係る点以外については、第１の実施形態と同様である。
【００４７】
［第３の実施形態］
第１，２の実施形態では、撮像装置において画質回復処理を実現する場合について説明した。しかし、このような画質回復処理は、画像を取得して処理することのできる装置であれば、撮像装置以外の装置であっても実現可能である。本実施形態では、このような画質回復処理を実現するためのアプリケーションソフトウェアをＰＣ（パーソナルコンピュータ）等の画像処理装置にインストールし、実行させることで、この画像処理装置で上記の画質回復処理を実現する例について説明する。
【００４８】
先ず、本実施形態に係る画像処理装置の機能構成例について、図９のブロック図を用いて説明する。画像処理装置９０１には、ネットワーク９０３を介して回復フィルタＤＢ（データベース）９０２が接続されており、画像処理装置９０１は通信部９０４を用いてこの回復フィルタＤＢ９０２との通信を行う。ネットワーク９０３は、インターネット、イントラネットの何れであっても良いし、無線、有線の何れのネットワークであっても良い。
【００４９】
この回復フィルタＤＢ９０２には、画像の中心位置からこの画像の一端までの間のライン上の各像高について、この像高の位置におけるボケを軽減させる為に用いる暈け回復用フィルタが格納されている。なお、第１の実施形態と同様、この各像高に対応する暈け回復用フィルタは、焦点距離や絞りなどの撮像パラメータに応じて異なるので、この各像高に対応する暈け回復用フィルタは、撮像パラメータの組み合わせ毎に回復フィルタＤＢ９０２に格納されている。
【００５０】
また、画像処理装置９０１には、複数の画像のデータ（ＲＡＷ画像データ）が登録されているＲＡＷ画像ＤＢ９１３、現像処理部９１０により現像処理がなされた画像のデータを格納するための出力画像記憶部９１４が接続されている。ＲＡＷ画像ＤＢ９１３、出力画像記憶部９１４は何れも、ハードディスクなど、外部記憶装置として機能する記憶装置で構成されている。
【００５１】
ＲＡＷ画像データ記憶部９０５は、ＲＡＭやハードディスクなどにより構成されており、ＲＡＷ画像データ取得部９１１がＲＡＷ画像ＤＢ９１３から読み出したＲＡＷ画像データを一時的に記憶するためのものである。
【００５２】
回復フィルタ記憶部９０６は、ＲＡＭやハードディスクなどにより構成されており、通信部９０４が回復フィルタＤＢ９０２から読み出した暈け回復用フィルタのデータを一時的に記憶するためのものである。
【００５３】
回復処理部９０７は、暈け回復用フィルタを用いて画像に対する画質回復処理を行う。回復フィルタ算出部９０８は、通信部９０４が回復フィルタＤＢ９０２から取得した暈け回復用フィルタを用いて、適用対象の位置に対する暈け回復用フィルタを生成する。
【００５４】
画像タグデータ抽出部９０９は、ＲＡＷ画像データ取得部９１１がＲＡＷ画像ＤＢ９１３から読み出したＲＡＷ画像データに添付されているタグデータから、この画像の撮像パラメータ（焦点距離、絞り、被写体距離等）を抽出する。然るに通信部９０４は、このタグデータから抽出された撮像パラメータに対応する暈け回復用フィルタを回復フィルタＤＢ９０２から読み出すことになる。
【００５５】
現像処理部９１０は、回復処理部９０７により画質回復処理が為された画像に対して、デモザイキング、ＷＢ（ホワイトバランス）、ガンマ補正、色変換、ノイズリダクション等の現像処理を行う。画像データ書き込み部９１２は、現像処理部９１０により現像処理が施された画像のデータを、出力画像記憶部９１４に書き込む。
【００５６】
なお、回復処理部９０７、回復フィルタ算出部９０８、画像タグデータ抽出部９０９、現像処理部９１０、ＲＡＷ画像データ取得部９１１、画像データ書き込み部９１２は、ＣＰＵ１１９の機能部として機能することになる。通信部９０４については、ネットワークインターフェース回路として機能することになる。
【００５７】
次に、画像処理装置９０１が行う処理について、図１０のフローチャートを用いて説明する。先ずステップＳ１００１では、ＲＡＷ画像データ取得部９１１は、ＲＡＷ画像ＤＢ９１３から処理対象のＲＡＷ画像データを読み出し、ＲＡＷ画像データ記憶部９０５に格納する。
【００５８】
次にステップＳ１００２では、画像タグデータ抽出部９０９は、ステップＳ１００１で読み出されたＲＡＷ画像データに添付されているタグデータから撮像パラメータを抽出する。そしてこの抽出された撮像パラメータ中のレンズ名情報が、暈け回復処理が可能なレンズを示す情報である場合には処理はステップＳ１００３を介してステップＳ１００４に進み、暈け回復処理が可能なレンズを示す情報ではない場合には、本処理を終了する。
【００５９】
ステップＳ１００４では通信部９０４は、ステップＳ１００２で抽出した撮像パラメータに対応する暈け回復用フィルタを、回復フィルタＤＢ９０２から読み出し、回復フィルタ記憶部９０６に格納する。
【００６０】
ステップＳ１００５で回復処理部９０７は、ステップＳ１００４で読み出した暈け回復用フィルタを用いて、ステップＳ１００１で読み出したＲＡＷ画像データに対して、回復処理部１２１と同様の動作を行う。これにより、第１の実施形態で説明した画質回復処理を実現する。
【００６１】
次にステップＳ１００６では、現像処理部９１０は、ステップＳ１００５で画質回復処理がなされたＲＡＷ画像データに対して、現像処理を行う。ステップＳ１００７では、画像データ書き込み部９１２は、ステップＳ１００６で現像処理がなされたＲＡＷ画像データを、出力画像記憶部９１４に格納する。なお、画像データ書き込み部９１２は、現像処理がなされたＲＡＷ画像データを、ＴＩＦＦやＪＰＥＧ等の圧縮技術を用いて圧縮してから出力画像記憶部９１４に格納しても良い。
【００６２】
［第４の実施形態］
第３の実施形態に係る画像処理装置の別の実施形態を説明する。以下に説明する点以外については、第３の実施形態と同様である。本実施形態に係る画像処理装置が行う処理について、図１１のフローチャートを用いて説明する。先ずステップＳ１１０１では、ＲＡＷ画像データ取得部９１１は、ＲＡＷ画像ＤＢ９１３から、処理対象のＲＡＷ画像データを読み出し、ＲＡＷ画像データ記憶部９０５に格納する。
【００６３】
次にステップＳ１１０２では、画像タグデータ抽出部９０９は、ステップＳ１１０１で読み出されたＲＡＷ画像データに添付されているタグデータから撮像パラメータを抽出する。
【００６４】
ステップＳ１１０３では通信部９０４は、ステップＳ１１０２で抽出した撮像パラメータに対応する暈け回復用フィルタを、回復フィルタＤＢ９０２から読み出し、回復フィルタ記憶部９０６に格納する。
【００６５】
ステップＳ１１０４では、回復処理部９０７は、ステップＳ１１０３で読み出した暈け回復用フィルタを用いて、ステップＳ１１０１で読み出されたＲＡＷ画像データの全画面分の暈け回復用フィルタを作成する。本ステップにおける処理の詳細については後述する。
【００６６】
ステップＳ１１０５では、回復処理部９０７は、ＲＡＷ画像データにおいて、暈け回復処理対象位置の初期位置（ｘ、ｙ）を設定する。ステップＳ１１０６では、回復処理部９０７は、ステップＳ１１０４で作成した暈け回復用フィルタのうち、処理対象位置（ｘ、ｙ）に適用する暈け回復用フィルタを選択する。本ステップにおける処理の詳細については後述する。
【００６７】
ステップＳ１１０７で回復処理部９０７は、ステップＳ１１０６で選択した暈け回復用フィルタを用いて、位置（ｘ、ｙ）に対する畳み込み積分演算を行うことで、この位置に対する暈け回復処理を行う。
【００６８】
ステップＳ１１０８では、回復処理部９０７は、撮像画像上の全ての画素位置について暈け回復処理を行ったか否かを判断する。この判断の結果、行ったと判断した場合には処理はステップＳ１１１０に進み、行っていないと判断した場合には、処理はステップＳ１１０９に進む。
【００６９】
次にステップＳ１１１０では、現像処理部９１０は、ステップＳ１１０７で画質回復処理がなされたＲＡＷ画像データに対して、現像処理を行う。ステップＳ１１２１では、画像データ書き込み部９１２は、ステップＳ１１１０で現像処理がなされたＲＡＷ画像データを、出力画像記憶部９１４に格納する。なお、画像データ書き込み部９１２は、現像処理がなされたＲＡＷ画像データを、ＴＩＦＦやＪＰＥＧ等の圧縮技術を用いて圧縮してから出力画像記憶部９１４に格納しても良い。
【００７０】
一方、ステップＳ１１０９では、回復処理部９０７は、画素位置（ｘ、ｙ）をずらして（例えば、ｘを１だけ増加させる）未だ暈け回復処理を行っていない位置を設定する。そしてステップＳ１１０６以降でこの設定した位置に対して暈け回復処理を行う。
【００７１】
次に、ステップＳ１１０４における処理の詳細について説明する。第１乃至３の実施形態では暈け回復用フィルタは画素毎に作成していたので、比較的計算コストは大きなものとなる。そこで本実施形態では、画像劣化の性質および暈け回復用フィルタによる画質回復効果の関係から、撮像画像を領域分割し、同じ分割領域内では同じ暈け回復用フィルタを適用する。これにより、求めるべき暈け回復用フィルタの数は第１乃至３の実施形態よりも少なくなるので、第１乃至３の実施形態よりも計算コストを削減することができる。なお、ある領域内の位置に対するフィルタの作成方法については、第１の実施形態と同様である。
【００７２】
撮像画像の分割例を図１２に示す。図１２では撮像画像１２０１を、中心像高領域１２０２と、中像高領域１２０３と、高像高領域１２０４と、に分割している。一般に、レンズなどによる光学系による劣化は、撮像画像の中心ほど小さく、像高が高くなるにつれて、大きくなることが知られている。一方、暈け回復用フィルタによる画質回復処理では、ノイズの増加を伴う。従って、撮像画像の全領域中で画質回復処理を行う場合、撮像画像の中央ほどノイズ増加が少なく、像高が高くなるにつれてノイズ量が増加してしまう。
【００７３】
そこで、撮像画像の全領域中のノイズ増加量を一定に抑える必要がある。このような処理を行った場合、撮像画像の中央部では、もともと劣化が少ないためそれほど画質回復を行わない処理となる。さらに、中像高部では十分な回復を行う処理となる。一方、高像高部では、それほど回復を行わない処理となる。これらの性質を考慮すると、撮像画像の中央部では、画素位置に関係なく同じ暈け回復用フィルタを用いれば十分である。一方、中像高部では、画素位置に応じて様々に変化する暈け回復用フィルタが必要となる。高像高部では、画素位置によってそれほど変化しない暈け回復用フィルタとなる。
【００７４】
これらの性質を考慮し、図１２に示す如く、撮像画像の中央部では粗い領域分割を行い、中像高部内では像高が高くなるに従ってより細かい領域分割を行い、高像高部では粗い領域分割を行う。
【００７５】
次に、ステップＳ１１０６における処理の詳細について説明する。上記の通り、本実施形態では、同じ分割領域内では同じ暈け回復用フィルタを用いる。しかしながら、暈け回復用フィルタが切り替わる領域では、暈け回復用フィルタの特性が異なるために、切れ目が生じてしまう。そこで、本実施形態では、図１３に示すように、切り替え領域について過渡領域を設ける。図１３では、領域Ａと領域Ｂとの間の位置で用いる暈け回復用フィルタを、領域Ａで用いるフィルタと領域Ｂで用いるフィルタとを、領域Ａからこの位置への距離、領域Ｂからこの位置への距離、に応じた配分で合成して作成する。これにより、領域の切り替え領域での切れ目を低減させることができる。
【００７６】
さらに、上記実施例においては、暈け回復用フィルタを保持するとしたが、暈け回復用フィルタに対してフーリエ変換を行い、周波数応答として保持する形式であってもかまわない。その場合、周波数面で上記の回転・展開を行い、最後に逆フーリエ変換を行うことで、暈け回復用フィルタを算出する。
【００７７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、レンズの収差によるボケを画像処理によって軽減させてより高い画質の画像を生成する為の技術に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの画像入力装置を用いて被写体を撮影した場合、レンズなどの収差の影響により、実際の被写体よりもボケて画質劣化が生じることが知られている。この画質劣化を画像処理によって回復する技術として、光学系のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いる技術が知られている（特許文献１、特許文献２）。このＰＳＦを用いる技術では、ＰＳＦを元に回復するための関数（回復関数）を求め、この回復関数を用いて回復処理を行う。この回復処理において、ＰＳＦは、レンズの種類、絞り、焦点距離、被写体までの距離、及び像高（光軸中心からの位置）の各条件に応じて変動する。特許文献１では、予め、各条件のＰＳＦを保持しておき、撮影時にＰＳＦを取得し、回復処理を行う。また、特許文献２では、光軸中心から同心円上にＰＳＦを保持しておき、撮影画像の像高に応じてＰＳＦを切り替えることで回復処理を行っている。
【０００３】
ここで、回復処理について説明する。被写体をｏ、レンズなどのＰＳＦをｐ、ノイズをｎとすると、画像入力装置による撮影画像ｓは、以下の式のように書くことができる。
【０００４】
ｓ＝ｏ＊ｐ＋ｎ
ここで、「＊」は畳み込み積分を表している。この際、以下の式のように回復フィルタｒが求められれば、被写体ｏ‘を導き出すことができる。
【０００５】
ｏ‘＝ｒ＊ｓ
この時、ｒは、ｐとｎによって関連付けられるフィルタとなる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１９７３５４号公報
【特許文献２】特許第０３５３２３６８号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術では、ＰＳＦのデータ量の膨大さと計算量の大きさが課題となる。上述の通り、ＰＳＦは画像内の位置に応じて変動する。そのため、全画面で画像回復を行う場合には、全画面内の各位置のＰＳＦを保持しなけばならない。その場合、ＰＳＦのデータ量は膨大になり、レンズとカメラでＰＳＦデータをやり取りすることが困難となる。また、特許文献２のように同心円上の領域ごとにＰＳＦを持つ場合、領域の境界が問題となる。加えて、ＰＳＦの特性は、光軸中心からの距離だけではなく、光軸中心からの位置によっても変動するため、同心円状の領域だけでは不十分である。
【０００８】
一方、特許文献１、２のようにＰＳＦを保持しておき、撮影時にＰＳＦから回復フィルタを算出する場合、フーリエ変換などの計算コストの大きな処理を行う必要があるため、計算量が大きくなってしまう。
【０００９】
本発明は以上の問題に鑑みてなされたものであり、より少ないデータ量で、レンズの収差によるボケを画像処理によって軽減させてより高い画質の画像を生成する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、画像処理装置であって、画像の中心位置から該画像の一端までの間のライン上の各像高について、該像高の位置におけるボケを軽減させる為に用いるフィルタを保持する保持手段と、前記保持手段から前記フィルタを読み出す読み出し手段と、前記読み出し手段が読み出した前記フィルタを用いて、前記画像における前記ボケを軽減させる処理である画質回復処理を行う処理手段とを備え、前記処理手段は、前記ライン上の着目像高の位置に配置して該位置おけるボケを軽減させる為に用いる着目フィルタを、前記画像の中心位置を軸に規定角度だけ回転させて配置する配置手段と、前記ラインを前記画像の中心位置を軸に前記規定角度だけ回転させた回転後ライン上の前記着目像高の位置に対して、前記配置手段が配置した着目フィルタを適用して該位置に対する前記画質回復処理を行う手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明の構成によれば、より少ないデータ量で、レンズの収差によるボケを画像処理によって軽減させてより高い画質の画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の構成例を示す図。
【図２】撮像装置が行う処理のフローチャート。
【図３】暈け回復用フィルタについて説明する図。
【図４】暈け回復用フィルタの一例を示す図。
【図５】暈け回復用フィルタについて説明する図。
【図６】暈け回復用フィルタを管理するテーブルの構成例を示す図。
【図７】暈け回復用フィルタの作成方法を説明する図。
【図８】撮像装置の構成例を示す図。
【図９】画像処理装置の構成例を示す図。
【図１０】画像処理装置が行う処理のフローチャート。
【図１１】画像処理装置が行う処理のフローチャート。
【図１２】撮像画像の分割例を示す図。
【図１３】切り替え領域について説明する図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１４】
［第１の実施形態］
本実施形態に係る撮像装置は、レンズの収差によるボケを軽減させるための暈け回復用フィルタの対称性を利用して、一像高方向のみの暈け回復用フィルタを、カメラ本体部に着脱可能なレンズ部内のメモリ（レンズメモリ）に保持しておく。そしてカメラ本体部側で、レンズの収差によるボケを軽減させるための処理（暈け回復処理）を行う場合には、このレンズ部から暈け回復用フィルタを取得し、展開し、画像に適用する。これにより、１枚の画像全体に対して、レンズの収差によるボケを軽減させるための処理を行うことができる。
【００１５】
本実施形態に係る撮像装置について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係る撮像装置は、カメラ本体部１０７と、カメラ本体部１０７に着脱可能且つカメラ本体部１０７と通信可能なレンズ部１０１と、で構成されている。
【００１６】
先ず、レンズ部１０１について説明する。レンズ部１０１が有するレンズ１０２、絞り１０３を介して入光した光は、カメラ本体部１０７側に入光する。レンズ１０２、絞り１０３は、レンズ制御部１０４により制御される。
【００１７】
レンズＲＯＭ（レンズメモリ）１０５には、レンズ制御部１０４が動作するために用いるデータ、例えばカメラ本体部１０７側から通知される様々な情報に応じたレンズ１０２、絞り１０３の制御量のデータなどが格納されている。
【００１８】
更に、レンズＲＯＭ１０５には、本実施形態に係る撮像装置が撮像可能な画像の中心位置からこの画像の一端までの間のライン上の各像高について、この像高の位置におけるボケを軽減させる為に用いる暈け回復用フィルタが格納されている。なお、本実施形態では説明を簡単にするために、撮像画像の中心位置を光軸中心位置としている。しかし、光軸中心位置が撮像画像の中心位置からずれている場合、以下の説明において、撮像画像の中心位置を、撮像画像中の光軸中心位置と読み替えればよい。
【００１９】
更に、この各像高に対応する暈け回復用フィルタは、焦点距離や絞りなどの撮像パラメータに応じて異なるので、この各像高に対応する暈け回復用フィルタは、撮像パラメータの組み合わせ毎にレンズＲＯＭ１０５に格納されている。通信部１０６は、カメラ本体部１０７との間の通信を行うためのものである。
【００２０】
次に、カメラ本体部１０７について説明する。レンズ１０２、絞り１０３を介してカメラ本体部１０７側に入光する光は、メカニカルシャッター１１０を介してＣＣＤやＣＭＯＳ等の撮像素子１１１に入光する。また、レンズ１０２、絞り１０３を介してカメラ本体部１０７側に入光する光は、ハーフミラー１０９で反射して、光学ファインダ１０８にも入光する。
【００２１】
撮像素子１１１は、入光した光に応じた電気信号を撮像画像信号として出力するので、Ａ／Ｄ変換器１１２は、このアナログ信号としての撮像画像信号をディジタル信号に変換し、このディジタル信号としての撮像画像のデータをカメラメモリ１１７に格納する。このカメラメモリ１１７には、カメラ本体部１０７を構成する各部の動作制御を行うＣＰＵ１１９が各種の処理を実行するために用いるコンピュータプログラムや、様々なデータが格納されている。
【００２２】
撮像制御部１１４は、ハーフミラー１０９、メカニカルシャッター１１０、撮像素子１１１、レンズ部１０１を制御して撮像動作を制御する。操作部１１６は、ボタンなどの操作指示部を構成しており、ユーザはこの操作部１１６を操作することで、撮像指示や撮像パラメータの入力等をカメラ本体部１０７に入力することができる。なお、操作部１１６を用いて撮像パラメータが入力された場合、この撮像パラメータは撮像制御部１１４に送出すると共に通信部１１８を介してレンズ部１０１にも送出する。この場合、撮像制御部１１４は、この撮像パラメータに基づいてハーフミラー１０９、メカニカルシャッター１１０、撮像素子１１１を制御する。また、レンズ部１０１側のレンズ制御部１０４は、この撮像パラメータを通信部１０６を介して取得し、取得した撮像パラメータに基づいてレンズ１０２、絞り１０３を制御する。
【００２３】
焦点検知センサ１１３は、オートフォーカスモードが設定された時のみ動作するもので、被写体までの焦点距離を検知する。この検知した焦点距離の情報は、ＡＦ部１１５に入力される。ＡＦ部１１５は、この入力された焦点距離の情報に基づいて、フォーカス量を算出し、算出したフォーカス量を撮像制御部１１４に送出すると共に、通信部１１８を介してレンズ部１０１にも送出する。この場合、撮像制御部１１４は、このフォーカス量に基づいてハーフミラー１０９、メカニカルシャッター１１０、撮像素子１１１を制御する。また、レンズ部１０１側のレンズ制御部１０４は、このフォーカス量に基づいてレンズ１０２、絞り１０３を制御する。
【００２４】
信号処理部１２０は、回復処理部１２１と現像処理部１２２とで構成されている。回復処理部１２１は、カメラメモリ１１７に格納された撮像画像のデータを読み出し、この読み出した撮像画像に対して暈け回復処理を行う。現像処理部１２２は、この暈け回復処理が為された撮像画像に対して、デモザイキング、ＷＢ（ホワイトバランス）、ガンマ補正、色変換、ノイズリダクションなどの現像処理を行う。そして現像処理部１２２は、この現像処理を行った撮像画像のデータを、カメラメモリ１１７や外部メモリ１２３に格納する。外部メモリ１２３は、コンパクトフラッシュ（登録商標）やＳＤメモリーカード等、カメラ本体部１０７に着脱可能なメモリである。
【００２５】
なお、図１に示した構成は単なる一例であり、以下に説明する各処理を実現可能な構成であれば、本実施形態に係る撮像装置の構成はこれに限定するものではない。また、図１には、本実施形態に係る撮像装置の主要な構成を示しているため、本実施形態に係る撮像装置は、図１に示した各部のみで構成されているわけではない。
【００２６】
次に、本実施形態に係る撮像装置が１枚の画像を撮像し、撮像した画像に対して暈け回復処理を行う、一連の処理について、図２のフローチャートを用いて説明する。先ず、ユーザは、操作部１１６を操作して、被写体を撮像するための撮像パラメータ（絞り、シャッタースピード、焦点距離、ＩＳＯ感度など）を設定するので、ステップＳ２０１ではＣＰＵ１１９は、この撮像パラメータを取得する。
【００２７】
次に、ステップＳ２０２では、撮像制御部１１４、レンズ制御部１０４は、ステップＳ２０１で設定された撮像パラメータに基づいてレンズ１０２、絞り１０３、メカニカルシャッター１１０等を制御し、撮像素子１１１に対する露光を行う。この露光により、撮像素子１１１、Ａ／Ｄ変換器１１２を介して撮像画像のデータが得られ、この撮像画像のデータは、カメラメモリ１１７に格納される。なお、ユーザが操作部１１６を用いてオートフォーカスモードを設定した場合、焦点検知センサ１１３は被写体までの焦点距離を検知し、ＡＦ部１１５はこの検知された焦点距離に基づいてフォーカス量を算出するので、このフォーカス量が撮像に用いられる。
【００２８】
次に、ステップＳ２０３では、ＣＰＵ１１９は、通信部１１８及び通信部１０６を制御し、ステップＳ２０１で取得した撮像パラメータに対応する暈け回復用フィルタをレンズＲＯＭ１０５から読み出し、カメラメモリ１１７に格納する。本ステップにおける処理の詳細については後述する。
【００２９】
次に、ステップＳ２０４では、回復処理部１２１は、カメラメモリ１１７から、暈け回復処理の対象となる撮像画像（処理対象画像）のデータを読み出す。そして回復処理部１２１は、処理対象画像において、暈け回復処理対象位置（ｘ、ｙ）を設定する。
【００３０】
次に、ステップＳ２０５では、回復処理部１２１は、ステップＳ２０３で読み出した暈け回復用フィルタを用いて、位置（ｘ、ｙ）に対して適用する暈け回復用フィルタを作成する。本ステップにおける処理の詳細については後述する。
【００３１】
ステップＳ２０６で回復処理部１２１は、ステップＳ２０５で作成した暈け回復用フィルタを用いて、位置（ｘ、ｙ）に対する畳み込み積分演算を行うことで、この位置に対する暈け回復処理を行う。
【００３２】
ステップＳ２０７では、回復処理部１２１は、撮像画像上の全ての画素位置について暈け回復処理を行ったか否かを判断する。この判断の結果、行ったと判断した場合には処理はステップＳ２０９に進み、行っていないと判断した場合には、処理はステップＳ２０８に進む。
【００３３】
ステップＳ２０９では、現像処理部１２２は、以上の処理によって暈け回復処理が為された撮像画像に対して、上記の現像処理を行い、現像処理後の撮像画像のデータをカメラメモリ１１７や外部メモリ１２３に格納する。
【００３４】
一方、ステップＳ２０８では、回復処理部１２１は、画素位置（ｘ、ｙ）をずらして（例えば、ｘを１だけ増加させる）未だ暈け回復処理を行っていない位置を設定する。そしてステップＳ２０５以降でこの設定した位置に対して暈け回復処理を行う。
【００３５】
次に、暈け回復用フィルタについてより詳細に説明する。一般的に、光学系の収差は光軸中心に対して点対称となる。然るに、画像上の各位置に対して適用する暈け回復用フィルタの構成もまた、この画像の中心（光軸中心）に対して点対称であるといえる。そこで本実施形態では、撮像装置が撮像可能な画像における全ての像高について暈け回復用フィルタを保持することは避け、図３に示す如く、画像の中心位置から画像の一端までの間の各像高について、この像高の位置に適用する暈け回復用フィルタを保持する。以下では、撮像画像の中心位置から、撮像画像の右端までの間の水平１ライン上の各像高における暈け回復用フィルタを保持するものとして説明する。しかし、この１ラインが撮像画像の中心位置から撮像画像のどの端部までの１ラインであっても、以下の説明は同様に適用することができる。
【００３６】
レンズＲＯＭ１０５内に格納されている暈け回復用フィルタの一例を図４に示す。図４（ａ）は、暈け回復用フィルタ内の各係数値を３次元形状で示したもので、図４（ｂ）は、その１断面図を示す。上述したように、収差の点対称性を利用して、保持する暈け回復用フィルタとしては、光軸中心に向かって半分のみを持つことにより、データ量の削減が可能となる。例えば、水平（もしくは、垂直）の像高に対しては、上下（もしくは左右）の半分を保持しておき、残りについては演算によって求めることが可能である。また、光軸中心に対して、±４５度または±１３５度の位置にある回復用フィルタに対しては、光軸中心に向かって線対称となるため、そのうち半分のみを保持しておけば良い。
【００３７】
また、一般的に光学系の収差は１像高方向に対して、滑らかに変動する。そこで、図５に示す如く、離散的な像高に対して暈け回復用フィルタを保持しておき、その間の暈け回復用フィルタに関しては、補間によって求めることが可能である。しかしながら、変動の度合いとしては、像高が高くなるにしたがって、大きくなる。そこで、像高が高くなるにしたがって、より狭い像高間隔で対応する暈け回復処理を保持する。
【００３８】
また、上記の通り、各像高に対応する暈け回復用フィルタは、焦点距離や絞りなどの撮像パラメータに応じて異なるので、この各像高に対応する暈け回復用フィルタは、撮像パラメータの組み合わせ毎にレンズＲＯＭ１０５に格納される。焦点距離及び絞りの組み合わせ毎に暈け回復用フィルタを管理するテーブルの構成例を図６に示す。
【００３９】
例えば、操作部１１６を用いて焦点距離＝１６ｍｍ、絞り値Ｆ＝２．８が設定された場合、ステップＳ２０３では、像高０１〜０５のそれぞれに対応する暈け回復用フィルタＲ１１１〜Ｒ１１５がレンズＲＯＭ１０５から読み出されることになる。
【００４０】
次に、ステップＳ２０５における処理、即ち、ステップＳ２０３で読み出した暈け回復用フィルタを用いて、画素位置（ｘ、ｙ）に対して適用する暈け回復用フィルタを作成する処理について説明する。以下では説明を簡単にするために、ステップＳ２０３で読み出した暈け回復用フィルタが、上記水平１ライン上の像高１〜Ｎ（Ｎ＞１）のそれぞれの像高に対応する暈け回復用フィルタ１〜Ｎで構成されているとする。
【００４１】
先ず、それぞれの像高間の位置に対応する暈け回復用フィルタを作成する。これは、隣接する暈け回復用フィルタ間で補間計算を行うことで作成可能である。例えば、像高２と像高３の間の位置に対応する暈け回復用フィルタは、暈け回復用フィルタ２（第１のフィルタ）と暈け回復用フィルタ３（第２のフィルタ）とを用いた補間計算で求めることができる。この補間計算には、バイリニア補間や、バイキュービック補間、非線形な補間等を適用することができる。
【００４２】
これにより、水平１ライン上の各画素位置に対する暈け回復用フィルタを作成することができる。次に、図７に示す如く、撮像画像の中心位置と位置（ｘ，ｙ）とを通る直線ｒと上記水平１ラインとが為す角度（水平１ラインから時計回りの角度）をθとする。この場合、水平１ライン上の各画素位置における暈け回復用フィルタ（図７ではＲ１１１〜１１５）を、撮像画像の中心位置を軸にθだけ回転させる。これにより、この直線ｒ上の各像高の位置に対応する暈け回復用フィルタを作成することができるので、当然ながら、この直線上にある位置（ｘ、ｙ）に対して適用する暈け回復用フィルタが求まることになる。従って、この位置（ｘ、ｙ）に対して求めた暈け回復用フィルタを、この位置（ｘ、ｙ）に対して適用することができる。
【００４３】
即ち、ステップＳ２０５における処理を要約すると、次のようになる。先ず、撮像装置が撮像可能な画像の中心位置からこの画像の一端までの間のライン上の着目像高の位置に配置してこの位置おけるボケを軽減させる為に用いる着目フィルタを、この画像の中心位置を軸に規定角度だけ回転させて配置する。
【００４４】
そして、このラインを画像の中心位置を軸に上記規定角度だけ回転させた回転後ライン上の上記着目像高の位置に対して、上記配置された着目フィルタを適用することで、この位置に対する画質回復処理を行うことができる。
【００４５】
以上の説明により、本実施形態によれば、暈け回復用フィルタのデータ量を従来よりも軽減させつつ、レンズの収差によるボケを画像処理によって軽減させてより高い画質の画像を生成することができる。
【００４６】
［第２の実施形態］
第１の実施形態では、レンズ部１０１がカメラ本体部１０７とは別個の装置としていた。しかし、レンズ部１０１とカメラ本体部１０７とが一体化している撮像装置も考え得る。レンズ部１０１とカメラ本体部１０７とが一体化した撮像装置の構成例を図８に示す。この場合、レンズＲＯＭ１０５に格納されているものとして説明した、撮像パラメータ毎の「像高毎の暈け回復用フィルタ」は、カメラメモリ１１７に格納しておく。なお、係る点以外については、第１の実施形態と同様である。
【００４７】
［第３の実施形態］
第１，２の実施形態では、撮像装置において画質回復処理を実現する場合について説明した。しかし、このような画質回復処理は、画像を取得して処理することのできる装置であれば、撮像装置以外の装置であっても実現可能である。本実施形態では、このような画質回復処理を実現するためのアプリケーションソフトウェアをＰＣ（パーソナルコンピュータ）等の画像処理装置にインストールし、実行させることで、この画像処理装置で上記の画質回復処理を実現する例について説明する。
【００４８】
先ず、本実施形態に係る画像処理装置の機能構成例について、図９のブロック図を用いて説明する。画像処理装置９０１には、ネットワーク９０３を介して回復フィルタＤＢ（データベース）９０２が接続されており、画像処理装置９０１は通信部９０４を用いてこの回復フィルタＤＢ９０２との通信を行う。ネットワーク９０３は、インターネット、イントラネットの何れであっても良いし、無線、有線の何れのネットワークであっても良い。
【００４９】
この回復フィルタＤＢ９０２には、画像の中心位置からこの画像の一端までの間のライン上の各像高について、この像高の位置におけるボケを軽減させる為に用いる暈け回復用フィルタが格納されている。なお、第１の実施形態と同様、この各像高に対応する暈け回復用フィルタは、焦点距離や絞りなどの撮像パラメータに応じて異なるので、この各像高に対応する暈け回復用フィルタは、撮像パラメータの組み合わせ毎に回復フィルタＤＢ９０２に格納されている。
【００５０】
また、画像処理装置９０１には、複数の画像のデータ（ＲＡＷ画像データ）が登録されているＲＡＷ画像ＤＢ９１３、現像処理部９１０により現像処理がなされた画像のデータを格納するための出力画像記憶部９１４が接続されている。ＲＡＷ画像ＤＢ９１３、出力画像記憶部９１４は何れも、ハードディスクなど、外部記憶装置として機能する記憶装置で構成されている。
【００５１】
ＲＡＷ画像データ記憶部９０５は、ＲＡＭやハードディスクなどにより構成されており、ＲＡＷ画像データ取得部９１１がＲＡＷ画像ＤＢ９１３から読み出したＲＡＷ画像データを一時的に記憶するためのものである。
【００５２】
回復フィルタ記憶部９０６は、ＲＡＭやハードディスクなどにより構成されており、通信部９０４が回復フィルタＤＢ９０２から読み出した暈け回復用フィルタのデータを一時的に記憶するためのものである。
【００５３】
回復処理部９０７は、暈け回復用フィルタを用いて画像に対する画質回復処理を行う。回復フィルタ算出部９０８は、通信部９０４が回復フィルタＤＢ９０２から取得した暈け回復用フィルタを用いて、適用対象の位置に対する暈け回復用フィルタを生成する。
【００５４】
画像タグデータ抽出部９０９は、ＲＡＷ画像データ取得部９１１がＲＡＷ画像ＤＢ９１３から読み出したＲＡＷ画像データに添付されているタグデータから、この画像の撮像パラメータ（焦点距離、絞り、被写体距離等）を抽出する。然るに通信部９０４は、このタグデータから抽出された撮像パラメータに対応する暈け回復用フィルタを回復フィルタＤＢ９０２から読み出すことになる。
【００５５】
現像処理部９１０は、回復処理部９０７により画質回復処理が為された画像に対して、デモザイキング、ＷＢ（ホワイトバランス）、ガンマ補正、色変換、ノイズリダクション等の現像処理を行う。画像データ書き込み部９１２は、現像処理部９１０により現像処理が施された画像のデータを、出力画像記憶部９１４に書き込む。
【００５６】
なお、回復処理部９０７、回復フィルタ算出部９０８、画像タグデータ抽出部９０９、現像処理部９１０、ＲＡＷ画像データ取得部９１１、画像データ書き込み部９１２は、ＣＰＵ１１９の機能部として機能することになる。通信部９０４については、ネットワークインターフェース回路として機能することになる。
【００５７】
次に、画像処理装置９０１が行う処理について、図１０のフローチャートを用いて説明する。先ずステップＳ１００１では、ＲＡＷ画像データ取得部９１１は、ＲＡＷ画像ＤＢ９１３から処理対象のＲＡＷ画像データを読み出し、ＲＡＷ画像データ記憶部９０５に格納する。
【００５８】
次にステップＳ１００２では、画像タグデータ抽出部９０９は、ステップＳ１００１で読み出されたＲＡＷ画像データに添付されているタグデータから撮像パラメータを抽出する。そしてこの抽出された撮像パラメータ中のレンズ名情報が、暈け回復処理が可能なレンズを示す情報である場合には処理はステップＳ１００３を介してステップＳ１００４に進み、暈け回復処理が可能なレンズを示す情報ではない場合には、本処理を終了する。
【００５９】
ステップＳ１００４では通信部９０４は、ステップＳ１００２で抽出した撮像パラメータに対応する暈け回復用フィルタを、回復フィルタＤＢ９０２から読み出し、回復フィルタ記憶部９０６に格納する。
【００６０】
ステップＳ１００５で回復処理部９０７は、ステップＳ１００４で読み出した暈け回復用フィルタを用いて、ステップＳ１００１で読み出したＲＡＷ画像データに対して、回復処理部１２１と同様の動作を行う。これにより、第１の実施形態で説明した画質回復処理を実現する。
【００６１】
次にステップＳ１００６では、現像処理部９１０は、ステップＳ１００５で画質回復処理がなされたＲＡＷ画像データに対して、現像処理を行う。ステップＳ１００７では、画像データ書き込み部９１２は、ステップＳ１００６で現像処理がなされたＲＡＷ画像データを、出力画像記憶部９１４に格納する。なお、画像データ書き込み部９１２は、現像処理がなされたＲＡＷ画像データを、ＴＩＦＦやＪＰＥＧ等の圧縮技術を用いて圧縮してから出力画像記憶部９１４に格納しても良い。
【００６２】
［第４の実施形態］
第３の実施形態に係る画像処理装置の別の実施形態を説明する。以下に説明する点以外については、第３の実施形態と同様である。本実施形態に係る画像処理装置が行う処理について、図１１のフローチャートを用いて説明する。先ずステップＳ１１０１では、ＲＡＷ画像データ取得部９１１は、ＲＡＷ画像ＤＢ９１３から、処理対象のＲＡＷ画像データを読み出し、ＲＡＷ画像データ記憶部９０５に格納する。
【００６３】
次にステップＳ１１０２では、画像タグデータ抽出部９０９は、ステップＳ１１０１で読み出されたＲＡＷ画像データに添付されているタグデータから撮像パラメータを抽出する。
【００６４】
ステップＳ１１０３では通信部９０４は、ステップＳ１１０２で抽出した撮像パラメータに対応する暈け回復用フィルタを、回復フィルタＤＢ９０２から読み出し、回復フィルタ記憶部９０６に格納する。
【００６５】
ステップＳ１１０４では、回復処理部９０７は、ステップＳ１１０３で読み出した暈け回復用フィルタを用いて、ステップＳ１１０１で読み出されたＲＡＷ画像データの全画面分の暈け回復用フィルタを作成する。本ステップにおける処理の詳細については後述する。
【００６６】
ステップＳ１１０５では、回復処理部９０７は、ＲＡＷ画像データにおいて、暈け回復処理対象位置の初期位置（ｘ、ｙ）を設定する。ステップＳ１１０６では、回復処理部９０７は、ステップＳ１１０４で作成した暈け回復用フィルタのうち、処理対象位置（ｘ、ｙ）に適用する暈け回復用フィルタを選択する。本ステップにおける処理の詳細については後述する。
【００６７】
ステップＳ１１０７で回復処理部９０７は、ステップＳ１１０６で選択した暈け回復用フィルタを用いて、位置（ｘ、ｙ）に対する畳み込み積分演算を行うことで、この位置に対する暈け回復処理を行う。
【００６８】
ステップＳ１１０８では、回復処理部９０７は、撮像画像上の全ての画素位置について暈け回復処理を行ったか否かを判断する。この判断の結果、行ったと判断した場合には処理はステップＳ１１１０に進み、行っていないと判断した場合には、処理はステップＳ１１０９に進む。
【００６９】
次にステップＳ１１１０では、現像処理部９１０は、ステップＳ１１０７で画質回復処理がなされたＲＡＷ画像データに対して、現像処理を行う。ステップＳ１１２１では、画像データ書き込み部９１２は、ステップＳ１１１０で現像処理がなされたＲＡＷ画像データを、出力画像記憶部９１４に格納する。なお、画像データ書き込み部９１２は、現像処理がなされたＲＡＷ画像データを、ＴＩＦＦやＪＰＥＧ等の圧縮技術を用いて圧縮してから出力画像記憶部９１４に格納しても良い。
【００７０】
一方、ステップＳ１１０９では、回復処理部９０７は、画素位置（ｘ、ｙ）をずらして（例えば、ｘを１だけ増加させる）未だ暈け回復処理を行っていない位置を設定する。そしてステップＳ１１０６以降でこの設定した位置に対して暈け回復処理を行う。
【００７１】
次に、ステップＳ１１０４における処理の詳細について説明する。第１乃至３の実施形態では暈け回復用フィルタは画素毎に作成していたので、比較的計算コストは大きなものとなる。そこで本実施形態では、画像劣化の性質および暈け回復用フィルタによる画質回復効果の関係から、撮像画像を領域分割し、同じ分割領域内では同じ暈け回復用フィルタを適用する。これにより、求めるべき暈け回復用フィルタの数は第１乃至３の実施形態よりも少なくなるので、第１乃至３の実施形態よりも計算コストを削減することができる。なお、ある領域内の位置に対するフィルタの作成方法については、第１の実施形態と同様である。
【００７２】
撮像画像の分割例を図１２に示す。図１２では撮像画像１２０１を、中心像高領域１２０２と、中像高領域１２０３と、高像高領域１２０４と、に分割している。一般に、レンズなどによる光学系による劣化は、撮像画像の中心ほど小さく、像高が高くなるにつれて、大きくなることが知られている。一方、暈け回復用フィルタによる画質回復処理では、ノイズの増加を伴う。従って、撮像画像の全領域中で画質回復処理を行う場合、撮像画像の中央ほどノイズ増加が少なく、像高が高くなるにつれてノイズ量が増加してしまう。
【００７３】
そこで、撮像画像の全領域中のノイズ増加量を一定に抑える必要がある。このような処理を行った場合、撮像画像の中央部では、もともと劣化が少ないためそれほど画質回復を行わない処理となる。さらに、中像高部では十分な回復を行う処理となる。一方、高像高部では、それほど回復を行わない処理となる。これらの性質を考慮すると、撮像画像の中央部では、画素位置に関係なく同じ暈け回復用フィルタを用いれば十分である。一方、中像高部では、画素位置に応じて様々に変化する暈け回復用フィルタが必要となる。高像高部では、画素位置によってそれほど変化しない暈け回復用フィルタとなる。
【００７４】
これらの性質を考慮し、図１２に示す如く、撮像画像の中央部では粗い領域分割を行い、中像高部内では像高が高くなるに従ってより細かい領域分割を行い、高像高部では粗い領域分割を行う。
【００７５】
次に、ステップＳ１１０６における処理の詳細について説明する。上記の通り、本実施形態では、同じ分割領域内では同じ暈け回復用フィルタを用いる。しかしながら、暈け回復用フィルタが切り替わる領域では、暈け回復用フィルタの特性が異なるために、切れ目が生じてしまう。そこで、本実施形態では、図１３に示すように、切り替え領域について過渡領域を設ける。図１３では、領域Ａと領域Ｂとの間の位置で用いる暈け回復用フィルタを、領域Ａで用いるフィルタと領域Ｂで用いるフィルタとを、領域Ａからこの位置への距離、領域Ｂからこの位置への距離、に応じた配分で合成して作成する。これにより、領域の切り替え領域での切れ目を低減させることができる。
【００７６】
さらに、上記実施例においては、暈け回復用フィルタを保持するとしたが、暈け回復用フィルタに対してフーリエ変換を行い、周波数応答として保持する形式であってもかまわない。その場合、周波数面で上記の回転・展開を行い、最後に逆フーリエ変換を行うことで、暈け回復用フィルタを算出する。
【００７７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
画像処理装置であって、
画像の中心位置から該画像の一端までの間のライン上の各像高について、該像高の位置におけるボケを軽減させる為に用いるフィルタを保持する保持手段と、
前記保持手段から前記フィルタを読み出す読み出し手段と、
前記読み出し手段が読み出した前記フィルタを用いて、前記画像における前記ボケを軽減させる処理である画質回復処理を行う処理手段と
を備え、
前記処理手段は、
前記ライン上の着目像高の位置に配置して該位置おけるボケを軽減させる為に用いる着目フィルタを、前記画像の中心位置を軸に規定角度だけ回転させて配置する配置手段と、
前記ラインを前記画像の中心位置を軸に前記規定角度だけ回転させた回転後ライン上の前記着目像高の位置に対して、前記配置手段が配置した着目フィルタを適用して該位置に対する前記画質回復処理を行う手段と
を備えることを特徴とする画像処理装置。
【請求項２】
画像処理装置であって、
画像の中心位置から該画像の一端までの間のライン上の各像高について、該像高の位置におけるボケを軽減させる為に用いるフィルタを保持する外部の装置から、前記フィルタを読み出す読み出し手段と、
前記読み出し手段が読み出した前記フィルタを用いて、前記画像における前記ボケを軽減させる処理である画質回復処理を行う処理手段と
を備え、
前記処理手段は、
前記ライン上の着目像高の位置に配置して該位置おけるボケを軽減させる為に用いる着目フィルタを、前記画像の中心位置を軸に規定角度だけ回転させて配置する配置手段と、
前記ラインを前記画像の中心位置を軸に前記規定角度だけ回転させた回転後ライン上の前記着目像高の位置に対して、前記配置手段が配置した着目フィルタを適用して該位置に対する前記画質回復処理を行う手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記保持手段は、
前記画像の中心位置からの像高が大きいほど、より短い像高間隔で前記フィルタを保持することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記処理手段は更に、
前記保持手段が保持するフィルタのうち、隣接する像高の位置それぞれに適用するフィルタを第１のフィルタ、第２のフィルタとしたとき、
前記第１のフィルタを適用する像高の位置と、前記第２のフィルタを適用する像高の位置との間の各位置に対応するフィルタを、前記第１のフィルタと前記第２のフィルタとを用いた補間計算で求めることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
更に、
撮像により前記画像を取得する手段を備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像の中心位置から該画像の一端までの間のライン上の各像高について、該像高の位置におけるボケを軽減させる為に用いるフィルタを保持する保持手段を有する画像処理装置が行う画像処理方法であって、
前記画像処理装置が有する読み出し手段が、前記保持手段から前記フィルタを読み出す読み出し工程と、
前記画像処理装置が有する処理手段が、前記読み出し工程で読み出した前記フィルタを用いて、前記画像における前記ボケを軽減させる処理である画質回復処理を行う処理工程と
を備え、
前記処理工程は、
前記ライン上の着目像高の位置に配置して該位置おけるボケを軽減させる為に用いる着目フィルタを、前記画像の中心位置を軸に規定角度だけ回転させて配置する配置工程と、
前記ラインを前記画像の中心位置を軸に前記規定角度だけ回転させた回転後ライン上の前記着目像高の位置に対して、前記配置工程で配置された着目フィルタを適用して該位置に対する前記画質回復処理を行う工程と
を備えることを特徴とする画像処理方法。
【請求項７】
画像処理装置が行う画像処理方法であって、
前記画像処理装置が有する読み出し手段が、画像の中心位置から該画像の一端までの間のライン上の各像高について、該像高の位置におけるボケを軽減させる為に用いるフィルタを保持する外部の装置から、前記フィルタを読み出す読み出し工程と、
前記画像処理装置が有する処理手段が、前記読み出し工程で読み出した前記フィルタを用いて、前記画像における前記ボケを軽減させる処理である画質回復処理を行う処理工程と
を備え、
前記処理工程は、
前記ライン上の着目像高の位置に配置して該位置おけるボケを軽減させる為に用いる着目フィルタを、前記画像の中心位置を軸に規定角度だけ回転させて配置する配置工程と、
前記ラインを前記画像の中心位置を軸に前記規定角度だけ回転させた回転後ライン上の前記着目像高の位置に対して、前記配置工程で配置した着目フィルタを適用して該位置に対する前記画質回復処理を行う工程と
を備えることを特徴とする画像処理方法。
【請求項８】
コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項９】
請求項８に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【請求項１】
画像処理装置であって、
画像の中心位置から該画像の一端までの間のライン上の各像高について、該像高の位置におけるボケを軽減させる為に用いるフィルタを保持する保持手段と、
前記保持手段から前記フィルタを読み出す読み出し手段と、
前記読み出し手段が読み出した前記フィルタを用いて、前記画像における前記ボケを軽減させる処理である画質回復処理を行う処理手段と
を備え、
前記処理手段は、
前記ライン上の着目像高の位置に配置して該位置おけるボケを軽減させる為に用いる着目フィルタを、前記画像の中心位置を軸に規定角度だけ回転させて配置する配置手段と、
前記ラインを前記画像の中心位置を軸に前記規定角度だけ回転させた回転後ライン上の前記着目像高の位置に対して、前記配置手段が配置した着目フィルタを適用して該位置に対する前記画質回復処理を行う手段と
を備えることを特徴とする画像処理装置。
【請求項２】
画像処理装置であって、
画像の中心位置から該画像の一端までの間のライン上の各像高について、該像高の位置におけるボケを軽減させる為に用いるフィルタを保持する外部の装置から、前記フィルタを読み出す読み出し手段と、
前記読み出し手段が読み出した前記フィルタを用いて、前記画像における前記ボケを軽減させる処理である画質回復処理を行う処理手段と
を備え、
前記処理手段は、
前記ライン上の着目像高の位置に配置して該位置おけるボケを軽減させる為に用いる着目フィルタを、前記画像の中心位置を軸に規定角度だけ回転させて配置する配置手段と、
前記ラインを前記画像の中心位置を軸に前記規定角度だけ回転させた回転後ライン上の前記着目像高の位置に対して、前記配置手段が配置した着目フィルタを適用して該位置に対する前記画質回復処理を行う手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記保持手段は、
前記画像の中心位置からの像高が大きいほど、より短い像高間隔で前記フィルタを保持することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記処理手段は更に、
前記保持手段が保持するフィルタのうち、隣接する像高の位置それぞれに適用するフィルタを第１のフィルタ、第２のフィルタとしたとき、
前記第１のフィルタを適用する像高の位置と、前記第２のフィルタを適用する像高の位置との間の各位置に対応するフィルタを、前記第１のフィルタと前記第２のフィルタとを用いた補間計算で求めることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
更に、
撮像により前記画像を取得する手段を備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像の中心位置から該画像の一端までの間のライン上の各像高について、該像高の位置におけるボケを軽減させる為に用いるフィルタを保持する保持手段を有する画像処理装置が行う画像処理方法であって、
前記画像処理装置が有する読み出し手段が、前記保持手段から前記フィルタを読み出す読み出し工程と、
前記画像処理装置が有する処理手段が、前記読み出し工程で読み出した前記フィルタを用いて、前記画像における前記ボケを軽減させる処理である画質回復処理を行う処理工程と
を備え、
前記処理工程は、
前記ライン上の着目像高の位置に配置して該位置おけるボケを軽減させる為に用いる着目フィルタを、前記画像の中心位置を軸に規定角度だけ回転させて配置する配置工程と、
前記ラインを前記画像の中心位置を軸に前記規定角度だけ回転させた回転後ライン上の前記着目像高の位置に対して、前記配置工程で配置された着目フィルタを適用して該位置に対する前記画質回復処理を行う工程と
を備えることを特徴とする画像処理方法。
【請求項７】
画像処理装置が行う画像処理方法であって、
前記画像処理装置が有する読み出し手段が、画像の中心位置から該画像の一端までの間のライン上の各像高について、該像高の位置におけるボケを軽減させる為に用いるフィルタを保持する外部の装置から、前記フィルタを読み出す読み出し工程と、
前記画像処理装置が有する処理手段が、前記読み出し工程で読み出した前記フィルタを用いて、前記画像における前記ボケを軽減させる処理である画質回復処理を行う処理工程と
を備え、
前記処理工程は、
前記ライン上の着目像高の位置に配置して該位置おけるボケを軽減させる為に用いる着目フィルタを、前記画像の中心位置を軸に規定角度だけ回転させて配置する配置工程と、
前記ラインを前記画像の中心位置を軸に前記規定角度だけ回転させた回転後ライン上の前記着目像高の位置に対して、前記配置工程で配置した着目フィルタを適用して該位置に対する前記画質回復処理を行う工程と
を備えることを特徴とする画像処理方法。
【請求項８】
コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項９】
請求項８に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１５８６５（Ｐ２０１２−１５８６５Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５１４３５（Ｐ２０１０−１５１４３５）
【出願日】平成２２年７月１日（２０１０．７．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月１日（２０１０．７．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]