撮像装置、画像処理装置、画像処理方法、及び、画像処理プログラム
【課題】ノイズが少なく解像感の高い画像を取得する。
【解決手段】撮像装置は、撮像時の光学系の周波数伝達特性と撮像素子の周波数伝達特性とを比較する伝達特性比較部と、前記光学系の周波数伝達特性が前記撮像素子の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算部と、前記重み付け画素加算部により画素加算された画像に対して空間周波数特性の補正をする補正部と、を備える。前記重み付け画素加算部は、画素開口形状及び前記画素加算による周波数伝達特性が前記光学系の周波数伝達特性以上になるように重み付け画素加算する。
【解決手段】撮像装置は、撮像時の光学系の周波数伝達特性と撮像素子の周波数伝達特性とを比較する伝達特性比較部と、前記光学系の周波数伝達特性が前記撮像素子の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算部と、前記重み付け画素加算部により画素加算された画像に対して空間周波数特性の補正をする補正部と、を備える。前記重み付け画素加算部は、画素開口形状及び前記画素加算による周波数伝達特性が前記光学系の周波数伝達特性以上になるように重み付け画素加算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、画像処理方法、及び、画像処理プログラムに関する。
【背景技術】
【０００２】
撮像装置において、被写界深度を深くするためにＦ値を大きくする（絞る）と露光量が少なくなり被写体の画像が暗くなる。被写体の画像を明るくするために、ゲインアップするとノイズも一緒に増幅されてしまう。このため、特許文献１では、被写体が低照度の状態で取得した画像に対して、画素加算することで、画像のノイズを低減させると同時にゲインアップがされている。さらに、画素加算の際になるべく解像度が劣化しないように重み付け画素加算がされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２５５５５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述の特許文献１は、Ｆ値を大きくした際に顕著になる回折ぼけ（光学系の空間周波数伝達特性）と画素加算による空間周波数伝達特性との関係が考慮されていない。また、画素開口の空間周波数伝達特性と光学系の空間周波数伝達特性との関係も考慮されていない。このため、画素加算を行う際に回折ぼけによって解像度が劣化している画像をさらに劣化させてしまう可能性がある。
【０００５】
本発明は、ノイズが少なく解像感の高い画像を取得することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様に係る撮像装置は、光学系と、前記光学系により生成した光学像から画像を取得する撮像素子を有する撮像装置であって、撮像時の前記光学系の周波数伝達特性と前記撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較部と、前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算部と、前記重み付け画素加算部の画素加算により生成された画像に対して空間周波数特性の補正をする補正部とを備え、前記重み付け画素加算部は、画素開口及び画素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算することを特徴とする。
【０００７】
本発明の別の態様に係る画像処理装置は、劣化画像を補正する画像処理装置であって、画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較部と、前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算部と、前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正部とを備え、前記重み付け画素加算部は、画素開口及び素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算することを特徴とする。
【０００８】
本発明のさらに別の態様に係る画像処理方法は、劣化画像を補正する画像処理方法であって、画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較ステップと、前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算ステップと、前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正ステップと、を含み、前記重み付け画素加算ステップにおいて、画素開口及び画素加算によるによる周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算されることを特徴とする画像処理方法。
【０００９】
本発明のさらに別の態様に係る画像処理プログラムは、劣化画像を補正する画像処理プログラムであって、画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較手順と、 前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算手順と、前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正手順と、をコンピュータに実行させ、前記重み付け画素加算手順において、画素開口及び画素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算されることを特徴とする。
【発明の効果】
【００１０】
本発明の実施形態によると、ノイズが少なく解像感の高い画像を取得することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る電子スチルカメラ（撮像装置）のブロック構成図である。
【図２】実施形態に係る重み付け画素加算処理と空間周波数特性補正処理を示すフローチャートである。
【図３】実施形態に係る光学系の周波数伝達特性と、撮像素子の画素開口形状による周波数伝達特性と、画素開口及び画素加算による周波数伝達特性とを示す図である。
【図４】（ａ）空間の一方向において、光学系の周波数伝達特性と、撮像素子の画素開口形状による周波数伝達特性と、画素開口及び画素加算による周波数伝達特性とを示す図である。（ｂ）空間の別の方向において、光学系の周波数伝達特性と、撮像素子の画素開口形状による周波数伝達特性と、画素開口及び画素加算による周波数伝達特性とを示す図である。
【図５】実施形態に係る画素加算フィルタとその空間周波数伝達特性を例示する図である。
【図６】実施形態において、撮像条件と画素位置に対応して重み付け加算の係数とサイズを定める参照テーブルを示す図である。
【図７】実施形態に係る重み付け画素加算を例示する図である。
【図８】実施形態における画像劣化に対応する周波数伝達特性を例示する図である。
【図９】実施形態における画像劣化に対応する周波数伝達特性の逆特性と最適化した逆特性を例示する図である。
【発明を実施するための最良の形態】
【００１２】
［第一実施形態］
図１に、本発明の第一実施形態における電子スチルカメラのブロック構成図を示す。電子スチルカメラは、撮像装置（電子機器）の一例として示すものである。電子スチルカメラは、絞り１０１を内包するレンズ１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、撮像素子１０５、Ａ／Ｄ変換回路１０６、ＡＥ（自動露出）用フォトセンサー１０７、ＡＦ（自動焦点）モーター１０８、撮像制御部１０９、画像処理装置２００を備える。画像処理装置２００は、重み付け画素加算部１１０、伝達特性比較部１１１、画像周波数伝達特性算出部１１２、画像処理部１１４、出力Ｉ／Ｆ（インターフェース）部１１５、メモリ１１６、既存情報１１７を備える。画像処理部１１４は、画像の空間周波数特性を補正する補正部１１３を含む。なお、ローパスフィルタ１０４は省略することもできる。
【００１３】
画像処理装置２００の各部（又はこれら全体）を、電気回路から構成してよい。或いは、上記の各部（又はこれら全体）を、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ（中央演算処理装置）等から構成してもよい。
【００１４】
レンズ（光学系）１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、撮像素子１０５は、光軸に沿って配置されている。レンズ１００は一以上のレンズ要素から構成される。分光ハーフミラー系１０２は、レンズ１００からの光束を分岐する。分岐した光束は、被写体の明るさを測定するＡＥ用フォトセンサー１０７に導かれる。レンズ１００には、合焦動作時にレンズの一部のレンズ要素を移動するためのＡＦモーター１０８が接続されている。撮像素子１０５からの信号は、Ａ／Ｄ変換回路１０６を介して、画像処理装置２００の重み付け画素加算部１１０、メモリ１１６へと入力される。
【００１５】
ＡＥ用フォトセンサー１０７からの信号は、撮像制御部１０９へ入力されている。撮影制御部１０９は、絞り１０１、ＡＦモーター１０８、シャッター１０３、撮像素子１０５、伝達特性比較部１１１を制御できる。また、撮影制御部１０９は、図示しない電源スイッチやシャッター釦（レリーズスイッチ）からの信号を受信する。
【００１６】
既存情報１１７は、製品出荷前にメモリ１１６に記録されており、既存情報の詳細については後述する。
【００１７】
メモリ１１６は、重み付け画素加算部１１０、伝達特性比較部１１１、画像処理部１１４から入出力のアクセスが可能であり、各処理のワークメモリとしても使用される。周波数伝達特性算出部１１２、出力Ｉ／Ｆ部１１５は、メモリ１１６に対して入力アクセスが可能である。伝達特性比較部１１１は、重み付け画素加算部１１０へ信号を出力でき、周波数伝達特性算出部１１２は画像処理部１１４の空間周波数特性補正部１１３へ信号を出力できる。
【００１８】
電子スチルカメラでの信号の流れについて説明する。まず、使用者が電子スチルカメラの電源スイッチをオン状態にするか、シャッター釦（レリーズスイッチ）を押すことにより、撮影制御部１０９は、絞り１０１、シャッター１０３、ＡＦモーター１０８を制御して撮影を行う。撮影制御部１０９のＡＦ制御により、結像光学系としてのレンズ１００は、被写体からの光束を撮像素子１０５上で結像する。撮像素子１０５は、撮像素子１０５上の光学像を電気信号に変換する。撮像素子１０５は、例えば、ＣＣＤ（電荷結合素子）又はＣＭＯＳ（相補型金属酸化膜半導体）から構成される。撮影において、Ａ／Ｄ変換回路１０６は、撮像素子１０５からのアナログ電気信号をデジタル信号（画像データ）に変換する。重み付け画素加算部１１０は、デジタル信号に対して、撮像時の条件（撮影条件）等に応じて適切な重み付け画素加算をし、あるいは画素加算しないで信号をメモリ１１６へ出力する。重み付け画素加算部１１０から出力された信号は、画像処理部１１４によりホワイトバランス処理、強調処理、補間処理、圧縮処理などがなされて、ＲＧＢの三板化された状態の画像信号としてメモリ１１６に出力される。その後、画像信号は、メモリ１１６から出力Ｉ／Ｆ部１１５を介して記録媒体などに記録される。
【００１９】
図２のフローチャートは、重み付け画素加算と空間周波数特性補正など画像処理装置が行う画像処理を示す。
【００２０】
ステップＳ１において、電源スイッチがオン状態になるか、シャッター釦（レリーズスイッチ）が押されると撮影が開始する。続いて、ステップＳ２において、撮像制御部１０９は撮像条件を取得する。撮像条件についての詳細は後述する。
【００２１】
ステップＳ３において、伝達特性比較部１１１は、撮像制御部１０９から取得した撮像条件とメモリ１１６に記録されている既存情報１１７を参照し、光学系の空間周波数伝達特性と撮像素子１０５の画素開口形状による空間周波数伝達特性とを比較する（図３参照）。光学系の空間周波数伝達特性は、変調伝達関数（Modulation transfer function（ＭＴＦ））に相当する。撮像素子１０５の画素開口形状による空間周波数伝達特性は、撮像素子１０５の変調伝達関数（ＭＴＦ）に相当する。既存情報１１７は、撮像条件に応じた光学系の周波数伝達特性と画素開口形状による周波数伝達特性を含む。
【００２２】
ここで、ある規定周波数帯域（規定周波数以下の周波数）において、光学系の周波数伝達特性が撮像素子１０５の画素開口形状の周波数伝達特性（画素開口の周波数伝達特性）よりも低い場合に、ルーチンはステップＳ４に進み、重み付け画素加算が開始される。光学系の周波数伝達特性が画素開口形状による周波数伝達特性よりも高い場合には、画素加算すると画像の最終的な解像度が低下するため、処理は終了する。なお、光学系の周波数伝達特性が収差のため画素位置（像高など）に依存する場合は、例えば、光軸（画像中心）での光学系の周波数伝達特性と、画素開口形状による周波数伝達特性とを比較すればよい。
【００２３】
ステップＳ４において、重み付け画素加算部１１０は、画素開口及び画素加算による周波数伝達特性が光学系の周波数伝達特性に合うように、重み付け画素加算の係数や加算画素サイズを計算して決定する。本実施形態では、予め、撮像条件や画素位置ごとに重み付け画素加算の係数（又は画素加算フィルタの係数）や加算画素サイズ（又は画素加算フィルタのサイズ）を決定したテーブルを既存情報１１７としてメモリ１１６に記録しておく（図６参照）。なお、加算画素サイズは、加算する画素の画素領域のサイズである。ここで、「画素開口及び画素加算による周波数伝達特性」は、画素開口形状による周波数伝達特性と画素加算フィルタの周波数伝達特性を乗算して得られる周波数伝達特性である。従って、「画素開口及び画素加算による周波数伝達特性」は、撮像素子の画素開口形状による周波数伝達特性より低くなる。なお、画素加算フィルタの周波数伝達特性は、フィルタの伝達関数（フィルタＭＴＦ）である。ステップＳ４の処理の詳細については、後述する。
【００２４】
ステップＳ５において、重み付け画素加算部１１０は、重み付け画素加算の係数や加算画素サイズに基づいて重み付け画素加算処理を行う（図７参照）。
【００２５】
ステップＳ６において、周波数伝達特性算出部１１２は、重み付け画素加算後、重み付け画素加算された画像の画像劣化に係る周波数伝達特性を、光学系の周波数伝達特性と撮像素子の画素開口形状による周波数伝達特性と重み付け画素加算の係数、加算画素サイズから算出できる（図８参照）。
【００２６】
なお、画像劣化に係る周波数伝達特性（即ち、撮像装置全体での周波数伝達特性（ＭＴＦ））は、空間周波数ごとの画像劣化の程度を示し、光学系の周波数伝達特性と撮像素子１０５の画素開口形状による周波数伝達特性と画素加算フィルタの周波数伝達特性との積になる。即ち、画像劣化に係る周波数伝達特性は、画素開口及び画素加算による周波数伝達特性と、光学系の周波数伝達特性とを乗算することにより計算される。
【００２７】
画素加算フィルタの周波数伝達特性は、画素加算の加算係数、加算画像サイズから計算される。従って、画像劣化に係る周波数伝達特性が、光学系の周波数伝達特性と撮像素子の画素開口形状による周波数伝達特性と重み付け画素加算の係数、加算画素サイズから算出される。
【００２８】
ステップＳ７において、重み付け画素加算された画像は、画像処理部１１４内の補正部１１３で、算出された画像に係る周波数伝達特性に基づいて、画像の空間周波数特性の補正処理がなされる。重み付け画素加算後の画像は、光学系と撮像素子を通過して更に画素加算処理を受けることにより、真の被写体画像から解像度が劣化している。しかし、ステップＳ７において、劣化した画像は、補正処理により解像度が高くなるよう復元される。本実施形態では、補正処理として、ウィナーフィルタによるデコンボルーション（逆畳み込み）処理の他、エッジ強調やアンシャープマスクなどの先鋭化処理を行ってもよい。
【００２９】
ステップＳ８において、画像処理部１１４は、上述したようにＲＧＢの三板化された状態の画像信号を生成する。なお、上述の補正処理（ステップＳ７）は、三板化された後に行ってもよい。
【００３０】
ステップＳ９において、三板化された状態の画像信号は、メモリ１１６と出力Ｉ／Ｆ部１１５を介して、図示しない記録媒体などに出力される。
【００３１】
図３−図９において、図２のフローチャートの各ステップの処理内容を詳細に説明する。
【００３２】
図３に、ステップＳ３―Ｓ５に関連して、光学系の周波数伝達特性と撮像素子の画素開口形状による周波数伝達特性の比較との例と、画素開口及び画素加算による周波数伝達特性の例を示す。
【００３３】
撮像素子１０５の各画素は、光電変換素子とその他の電荷伝送路により構成されている。一画素中に光電変換素子の光電変換面が占める面積比のことを開口率という。撮像素子１０５の出力は、光電変換面（開口）に対する入力信号（入力光）の平均値が電気信号として出力されるものである。このため、撮像素子１０５は、入力光学像に対して平均化のローパスフィルタをかけることと同じ作用を有する。撮像素子１０５の周波数伝達特性（ＭＴＦ）は、入力光学像を平均化によって劣化させる特性となる。なお、開口率が大きい程、高周波成分が減衰する。
【００３４】
図３は、簡略化のため一次元のグラフで示している。しかし、実際には二次元に拡張して処理することになる。図３において、横軸は空間周波数、縦軸は周波数伝達特性（振幅：レスポンス）を示している。
【００３５】
光学系の周波数伝達特性と画素開口形状による周波数伝達特性とを規定周波数以下で比較して、画素開口形状による周波数伝達特性の方が高い場合、重み付け画素加算が行われる。その際、「画素開口及び画素加算による周波数伝達特性」を光学系の周波数伝達特性に合うように重み付け係数と加算画素サイズが決定される。
【００３６】
一般的に、Ｆ値を大きくする（絞り１０１を絞る）と回折ぼけの影響で、光学系の周波数伝達特性が低くなる。Ｆ値を大きくしていくと撮像素子の開口形状による周波数伝達特性と光学系の周波数伝達特性の大きさが逆転してくるので、撮像素子の開口形状による周波数伝達特性の方が光学系の周波数伝達特性より高くなる。その際、光学系の周波数伝達特性のみで解像していない周波数帯域においては、撮像素子の開口形状による周波数伝達特性が高くても結果的に解像しない。そのため、光学系の周波数伝達特性に合うように重み付け画素加算すれば、解像はほぼ変わらず、光量を増幅することができる。従って、後述する空間周波数特性の補正処理やエッジ強調などの強調処理によって同時に増幅してしまうノイズを抑えることが可能となる。
【００３７】
しかし、二次元で光学系の周波数伝達特性が非対称な特性で、両周波数伝達特性を合致することが加算画素サイズの制限などで出来ない場合は、「画素開口及び画素加算による周波数伝達特性」を光学系の周波数伝達特性に近似すればよい。ここで、非対称な特性とは、二次元周波数空間内での方向によって周波数伝達特性が異なることをいう。
【００３８】
図３は、画素開口及び画素加算による周波数伝達特性が、光学系の周波数伝達特性に近似された例を示す。この場合、画素開口及び画素加算による周波数伝達特性が光学系の周波数伝達特性よりも低くならないように、重み付け係数と加算画素サイズが決定される。これは、光学系で解像している空間周波数において、重み付け画素加算により解像できなくなるのを防止するためである。規定周波数は、光学系の周波数伝達特性がゼロまたは限りなくゼロに近くなる（例えば、０．０１になる）周波数としてよい。
【００３９】
なお、光学系の周波数伝達特性が非対称で、且つ、加算画素サイズなどによってハードウェア的な制限が厳しくない場合には、例えば、図４（ａ）（ｂ）に示すように、（二次元周波数空間内で）ある一方向とその方向に対する垂直方向で、光学系の周波数伝達特性と撮像素子の画素開口形状の周波数伝達特性が比較される。その際の各方向で規定周波数は、異なってもよい。二方向での、画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性との比較結果から、重み付け係数、加算画素サイズが決定される。
【００４０】
なお、上記では、周波数ごとに、光学系の周波数伝達特性と画素開口形状の周波数伝達特性におけるレスポンス（振幅）が比較された。しかし、簡便には、規定周波数でのみ、これら周波数伝達特性が比較されてもよい。
【００４１】
図５に、画素加算フィルタの重み付け係数、画素加算サイズの例と、各画素加算フィルタの周波数伝達特性を示す。図５は、３×３画素加算と５×５画素加算に関して、それぞれ平均化する係数とガウス分布をもとにした係数の例を示す。この４種類の場合、低周波帯域から中周波帯域までは、３×３のガウス分布重み付け画素加算（３×３＿ｇａｕｓｓ）、３×３の平均化画素加算（３×３＿ａｖｅｒａｇｅ）、５×５のガウス分布重み付け画素加算（５×５＿ｇａｕｓｓ）、５×５の平均化画素加算（５×５＿ａｖｅｒａｇｅ）の順に周波数伝達特性が少しずつ低くなっていく。重み付け係数と加算画素サイズは、図３の開口形状による周波数伝達特性とこれらの画素加算フィルタの周波数伝達特性との積（画素開口及び画素加算による周波数伝達特性）が、図３の光学系の周波数伝達特性よりも小さくならない程度に、光学系の周波数伝達特性に近づくように決定する。光学系の周波数伝達特性はＦ値等の撮像条件毎に異なるため、重み付け係数と加算画素サイズは、撮像条件毎に決定される。
【００４２】
例えば、画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性との差が、規定周波数内の周波数ごとに所定値以内になるように、画素加算の重み付け係数と加算画素サイズは決定されてよい。又は、画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性との差が少なくとも規定周波数において所定値以内になるように、画素加算の重み付け係数と加算画素サイズは決定されてよい。
【００４３】
図６に、ステップＳ４に関連して、既存情報１１７のうち、撮像条件毎に重み付け係数と画素加算サイズを例示する。前述したように撮像条件毎に重み付け画素加算のサイズと係数はテーブル化されている。撮像時の撮像条件からテーブルが参照され、適切な重み付け係数と画素加算サイズが決定される。
【００４４】
図６のテーブルにおいて、既存情報には、撮影条件（レンズ種別、レンズの焦点距離、Ｆ値等）や加算対象画素（注目画素）の画素位置に応じて、重み付け画素加算のサイズと係数が用意されている。Ｆ値は、重み付け画素加算が必要なもの（大きな値）だけでもよい。画素位置は、画像中心に対する像高（距離）及び／又は角度で表わされる。
【００４５】
なお、収差により、画面中心の周波数伝達特性（ＭＴＦ）から画面周辺の周波数伝達特性（ＭＴＦ）が変化するため、画素位置に対応して、重み付け画素加算のサイズと係数が用意されている。ただし、画素位置毎に重み付け画素加算サイズと係数を用意するのは、非常に多大なメモリ容量を必要とし現実的ではない。そこで、ある画素位置範囲に対して画素加算サイズと係数を用意しておいても良いし、いくつかの画素位置の情報を用意しておき、無い画素位置については、重み付け係数を補間して使用するようにしても良い。
【００４６】
図７に、ステップＳ５の重み付け画素加算の例を示す。決定された重み付け画素加算のサイズと係数に基づいて画素加算が行われる。図７は、ベイヤー配列のＲチャンネルにおける重み付け画素加算の例である。図７では、加算対象画素（注目画素）の画素値Ｒ５が、重み付け加算演算によりＲ５’に変換される状況が示されている。この場合、重み付け画素加算のサイズは３×３で、重み付け係数ｋ１〜ｋ９である。なお、Ｂ、Ｇｂ、Ｇｒに関しても、同じ色チャネル同士で重み付け画素加算が行われる。
【００４７】
図８に、画像劣化に係る周波数伝達特性（即ち、撮像装置全体での周波数伝達特性（ＭＴＦ））の例を示す。図３と同様に、図８は簡略化のため、周波数は周波数空間のうち１次元だけを示している。画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性との積が、画像劣化に係る周波数伝達特性となる。
【００４８】
図９に、画像劣化に係る周波数伝達特性の逆特性と、最適化した逆特性の例を示す。ノイズが無ければ、重み付け画素加算された画像に対して、図９の逆特性をもつフィルタを使用して、空間周波数特性（周波数成分特性）の補正処理を施すことできる。実際には、量子化誤差や撮像した際のノイズがあるため、非常に大きな値を持っている逆特性をそのまま掛けてしまうと画像が破綻する。そのため、逆特性が大きくなる周波数帯域に関してはノイズの影響などを考慮して、図９に示すように特性を下げるよう逆特性は最適化される。本実施形態では、最適化された逆特性は、ウィナーフィルタ、エッジ強調、アンシャープマスクに対応する特性でよい。
【００４９】
その後、最適化された逆特性を持つフィルタを重み付け画素加算後の劣化画像に対して印加して空間周波数特性の補正を行う。このフィルタを印加する際は、最適化した逆特性と劣化画像を周波数空間に変換して、周波数空間で乗算しても良い。又は、最適化した逆特性を実空間に変換して、最適化された逆特性を持つフィルタで畳み込み演算してもよい。なお、最適化した逆特性を実空間に変換後、窓関数法などを用いて、最適化した逆特性をさらに滑らかな特性となるようにしてもよい。
【００５０】
−作用効果−
本実施形態によれば、伝達特性比較部１１１は、撮像時の光学系の周波数伝達特性と撮像素子の画素開口の周波数伝達特性とを比較する。重み付け画素加算部１１０は、光学系の周波数伝達特性が撮像素子の画素開口の周波数伝達特性よりも低い場合に、撮像素子で取得された画像に対して重み付け画素加算をする。補正部１１３は、重み付け画素加算部の画素加算により生成された画像に対して空間周波数特性の補正をする。重み付け画素加算部１１０は、画素開口及び画素加算による周波数伝達特性が、光学系の周波数伝達特性以上になるように重み付け画素加算する。
【００５１】
このように、光学系の周波数伝達特性（Ｆ値制御による回折ぼけ等）、撮像素子の開口の周波数伝達特性、画素加算による周波数伝達特性との関係が考慮される。また、光学系で解像している空間周波数において、重み付け画素加算により解像できなくなるのを防止できる。これにより、画像の解像度を確保しながら、重み付け画素加算により画像のノイズを低減できる。
【００５２】
重み付け画素加算部１１０は、少なくとも１つ以上の空間方向で、規定周波数において、画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性との差が所定値以内になるように画素加算してよい。これにより、画像の解像度を確保しながら、適切に重み付け画素加算により画像のノイズを低減できる。
【００５３】
重み付け画素加算部１１０は、撮影条件に応じて、事前に準備された重み付け係数群の中から重み係数を選択して重み付け画素加算してよい。これにより、光学系の周波数伝達特性が撮影条件に応じて変化する場合でも、画像の解像度を確保しながら、重み付け画素加算により最大限に画像のノイズを低減できる。
【００５４】
伝達特性比較部１１１は、少なくとも１つ以上の空間方向で周波数毎に光学系の周波数伝達特性と撮像素子の画素開口の周波数伝達特性とを比較してよい。これにより、重み付け画素加算して解像度がさらに悪化することが確実に防止できる。伝達特性比較部１１１は、少なくとも１つ以上の空間方向で、（各周波数でなく）規定周波数において、光学系の周波数伝達特性と撮像素子の画素開口の周波数伝達特性とを比較してよい。これにより、比較の演算負荷が低減される。
【００５５】
画像周波数伝達特性算出部１１２は、画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性とを含む画像劣化に係る周波数伝達特性を算出する。補正部１１３は、画像周波数伝達特性算出部１１２で算出された周波数伝達特性に基づいて、画素加算により生じた画像の空間周波数特性を補正する。このように、光学系の周波数伝達特性と、画素開口及び画素加算によって生じる周波数伝達特性を考慮した空間周波数補正を行うことで、ノイズが少なく解像感の高い画像を得るよう画像補正することができる。
【００５６】
［変形例］
上記実施形態において、ローパスフィルタ１０４の周波数伝達特性（ＭＴＦ）の影響を考慮せず、処理を行った。しかし、光学系の周波数伝達特性にローパスフィルタ１０４の周波数伝達特性を含ませれば、これを考慮できる。この場合、光学系の周波数伝達特性は、レンズ自体の周波数伝達特性（ＭＴＦ)とローパスフィルタ１０４の周波数伝達特性（ＭＴＦ）との積とすればよい。
【００５７】
［その他の実施形態］
上述した第一実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、第一実施形態の画像処理装置は、パーソナルコンピュータ等のコンピュータに相当する。コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置と、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。コンピュータには、Ａ／Ｄ変換回路１０６の出力であるＲＡＷデータと、撮影制御部１０９から取得した撮影条件等が入力される。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、第一実施形態の画像処理部と同様の処理を実現させる。プログラムは、コンピュータ読取可能なフォーマットでエンコードされ記憶媒体に保存されている。プログラムは、重み付け画素加算処理と空間周波数特性補正処理を実行させるためのプログラムコード(命令）を備える。
【００５８】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００５９】
本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【符号の説明】
【００６０】
１００ 光学系
１０５ 撮像素子
１１０ 重み付け画素加算部
１１１ 伝達特性比較部
１１２ 画像周波数伝達特性算出部
１１３ 補正部
１１６ メモリ
２００ 画像処理装置
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、画像処理方法、及び、画像処理プログラムに関する。
【背景技術】
【０００２】
撮像装置において、被写界深度を深くするためにＦ値を大きくする（絞る）と露光量が少なくなり被写体の画像が暗くなる。被写体の画像を明るくするために、ゲインアップするとノイズも一緒に増幅されてしまう。このため、特許文献１では、被写体が低照度の状態で取得した画像に対して、画素加算することで、画像のノイズを低減させると同時にゲインアップがされている。さらに、画素加算の際になるべく解像度が劣化しないように重み付け画素加算がされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２５５５５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述の特許文献１は、Ｆ値を大きくした際に顕著になる回折ぼけ（光学系の空間周波数伝達特性）と画素加算による空間周波数伝達特性との関係が考慮されていない。また、画素開口の空間周波数伝達特性と光学系の空間周波数伝達特性との関係も考慮されていない。このため、画素加算を行う際に回折ぼけによって解像度が劣化している画像をさらに劣化させてしまう可能性がある。
【０００５】
本発明は、ノイズが少なく解像感の高い画像を取得することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様に係る撮像装置は、光学系と、前記光学系により生成した光学像から画像を取得する撮像素子を有する撮像装置であって、撮像時の前記光学系の周波数伝達特性と前記撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較部と、前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算部と、前記重み付け画素加算部の画素加算により生成された画像に対して空間周波数特性の補正をする補正部とを備え、前記重み付け画素加算部は、画素開口及び画素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算することを特徴とする。
【０００７】
本発明の別の態様に係る画像処理装置は、劣化画像を補正する画像処理装置であって、画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較部と、前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算部と、前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正部とを備え、前記重み付け画素加算部は、画素開口及び素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算することを特徴とする。
【０００８】
本発明のさらに別の態様に係る画像処理方法は、劣化画像を補正する画像処理方法であって、画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較ステップと、前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算ステップと、前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正ステップと、を含み、前記重み付け画素加算ステップにおいて、画素開口及び画素加算によるによる周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算されることを特徴とする画像処理方法。
【０００９】
本発明のさらに別の態様に係る画像処理プログラムは、劣化画像を補正する画像処理プログラムであって、画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較手順と、 前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算手順と、前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正手順と、をコンピュータに実行させ、前記重み付け画素加算手順において、画素開口及び画素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算されることを特徴とする。
【発明の効果】
【００１０】
本発明の実施形態によると、ノイズが少なく解像感の高い画像を取得することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る電子スチルカメラ（撮像装置）のブロック構成図である。
【図２】実施形態に係る重み付け画素加算処理と空間周波数特性補正処理を示すフローチャートである。
【図３】実施形態に係る光学系の周波数伝達特性と、撮像素子の画素開口形状による周波数伝達特性と、画素開口及び画素加算による周波数伝達特性とを示す図である。
【図４】（ａ）空間の一方向において、光学系の周波数伝達特性と、撮像素子の画素開口形状による周波数伝達特性と、画素開口及び画素加算による周波数伝達特性とを示す図である。（ｂ）空間の別の方向において、光学系の周波数伝達特性と、撮像素子の画素開口形状による周波数伝達特性と、画素開口及び画素加算による周波数伝達特性とを示す図である。
【図５】実施形態に係る画素加算フィルタとその空間周波数伝達特性を例示する図である。
【図６】実施形態において、撮像条件と画素位置に対応して重み付け加算の係数とサイズを定める参照テーブルを示す図である。
【図７】実施形態に係る重み付け画素加算を例示する図である。
【図８】実施形態における画像劣化に対応する周波数伝達特性を例示する図である。
【図９】実施形態における画像劣化に対応する周波数伝達特性の逆特性と最適化した逆特性を例示する図である。
【発明を実施するための最良の形態】
【００１２】
［第一実施形態］
図１に、本発明の第一実施形態における電子スチルカメラのブロック構成図を示す。電子スチルカメラは、撮像装置（電子機器）の一例として示すものである。電子スチルカメラは、絞り１０１を内包するレンズ１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、撮像素子１０５、Ａ／Ｄ変換回路１０６、ＡＥ（自動露出）用フォトセンサー１０７、ＡＦ（自動焦点）モーター１０８、撮像制御部１０９、画像処理装置２００を備える。画像処理装置２００は、重み付け画素加算部１１０、伝達特性比較部１１１、画像周波数伝達特性算出部１１２、画像処理部１１４、出力Ｉ／Ｆ（インターフェース）部１１５、メモリ１１６、既存情報１１７を備える。画像処理部１１４は、画像の空間周波数特性を補正する補正部１１３を含む。なお、ローパスフィルタ１０４は省略することもできる。
【００１３】
画像処理装置２００の各部（又はこれら全体）を、電気回路から構成してよい。或いは、上記の各部（又はこれら全体）を、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ（中央演算処理装置）等から構成してもよい。
【００１４】
レンズ（光学系）１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、撮像素子１０５は、光軸に沿って配置されている。レンズ１００は一以上のレンズ要素から構成される。分光ハーフミラー系１０２は、レンズ１００からの光束を分岐する。分岐した光束は、被写体の明るさを測定するＡＥ用フォトセンサー１０７に導かれる。レンズ１００には、合焦動作時にレンズの一部のレンズ要素を移動するためのＡＦモーター１０８が接続されている。撮像素子１０５からの信号は、Ａ／Ｄ変換回路１０６を介して、画像処理装置２００の重み付け画素加算部１１０、メモリ１１６へと入力される。
【００１５】
ＡＥ用フォトセンサー１０７からの信号は、撮像制御部１０９へ入力されている。撮影制御部１０９は、絞り１０１、ＡＦモーター１０８、シャッター１０３、撮像素子１０５、伝達特性比較部１１１を制御できる。また、撮影制御部１０９は、図示しない電源スイッチやシャッター釦（レリーズスイッチ）からの信号を受信する。
【００１６】
既存情報１１７は、製品出荷前にメモリ１１６に記録されており、既存情報の詳細については後述する。
【００１７】
メモリ１１６は、重み付け画素加算部１１０、伝達特性比較部１１１、画像処理部１１４から入出力のアクセスが可能であり、各処理のワークメモリとしても使用される。周波数伝達特性算出部１１２、出力Ｉ／Ｆ部１１５は、メモリ１１６に対して入力アクセスが可能である。伝達特性比較部１１１は、重み付け画素加算部１１０へ信号を出力でき、周波数伝達特性算出部１１２は画像処理部１１４の空間周波数特性補正部１１３へ信号を出力できる。
【００１８】
電子スチルカメラでの信号の流れについて説明する。まず、使用者が電子スチルカメラの電源スイッチをオン状態にするか、シャッター釦（レリーズスイッチ）を押すことにより、撮影制御部１０９は、絞り１０１、シャッター１０３、ＡＦモーター１０８を制御して撮影を行う。撮影制御部１０９のＡＦ制御により、結像光学系としてのレンズ１００は、被写体からの光束を撮像素子１０５上で結像する。撮像素子１０５は、撮像素子１０５上の光学像を電気信号に変換する。撮像素子１０５は、例えば、ＣＣＤ（電荷結合素子）又はＣＭＯＳ（相補型金属酸化膜半導体）から構成される。撮影において、Ａ／Ｄ変換回路１０６は、撮像素子１０５からのアナログ電気信号をデジタル信号（画像データ）に変換する。重み付け画素加算部１１０は、デジタル信号に対して、撮像時の条件（撮影条件）等に応じて適切な重み付け画素加算をし、あるいは画素加算しないで信号をメモリ１１６へ出力する。重み付け画素加算部１１０から出力された信号は、画像処理部１１４によりホワイトバランス処理、強調処理、補間処理、圧縮処理などがなされて、ＲＧＢの三板化された状態の画像信号としてメモリ１１６に出力される。その後、画像信号は、メモリ１１６から出力Ｉ／Ｆ部１１５を介して記録媒体などに記録される。
【００１９】
図２のフローチャートは、重み付け画素加算と空間周波数特性補正など画像処理装置が行う画像処理を示す。
【００２０】
ステップＳ１において、電源スイッチがオン状態になるか、シャッター釦（レリーズスイッチ）が押されると撮影が開始する。続いて、ステップＳ２において、撮像制御部１０９は撮像条件を取得する。撮像条件についての詳細は後述する。
【００２１】
ステップＳ３において、伝達特性比較部１１１は、撮像制御部１０９から取得した撮像条件とメモリ１１６に記録されている既存情報１１７を参照し、光学系の空間周波数伝達特性と撮像素子１０５の画素開口形状による空間周波数伝達特性とを比較する（図３参照）。光学系の空間周波数伝達特性は、変調伝達関数（Modulation transfer function（ＭＴＦ））に相当する。撮像素子１０５の画素開口形状による空間周波数伝達特性は、撮像素子１０５の変調伝達関数（ＭＴＦ）に相当する。既存情報１１７は、撮像条件に応じた光学系の周波数伝達特性と画素開口形状による周波数伝達特性を含む。
【００２２】
ここで、ある規定周波数帯域（規定周波数以下の周波数）において、光学系の周波数伝達特性が撮像素子１０５の画素開口形状の周波数伝達特性（画素開口の周波数伝達特性）よりも低い場合に、ルーチンはステップＳ４に進み、重み付け画素加算が開始される。光学系の周波数伝達特性が画素開口形状による周波数伝達特性よりも高い場合には、画素加算すると画像の最終的な解像度が低下するため、処理は終了する。なお、光学系の周波数伝達特性が収差のため画素位置（像高など）に依存する場合は、例えば、光軸（画像中心）での光学系の周波数伝達特性と、画素開口形状による周波数伝達特性とを比較すればよい。
【００２３】
ステップＳ４において、重み付け画素加算部１１０は、画素開口及び画素加算による周波数伝達特性が光学系の周波数伝達特性に合うように、重み付け画素加算の係数や加算画素サイズを計算して決定する。本実施形態では、予め、撮像条件や画素位置ごとに重み付け画素加算の係数（又は画素加算フィルタの係数）や加算画素サイズ（又は画素加算フィルタのサイズ）を決定したテーブルを既存情報１１７としてメモリ１１６に記録しておく（図６参照）。なお、加算画素サイズは、加算する画素の画素領域のサイズである。ここで、「画素開口及び画素加算による周波数伝達特性」は、画素開口形状による周波数伝達特性と画素加算フィルタの周波数伝達特性を乗算して得られる周波数伝達特性である。従って、「画素開口及び画素加算による周波数伝達特性」は、撮像素子の画素開口形状による周波数伝達特性より低くなる。なお、画素加算フィルタの周波数伝達特性は、フィルタの伝達関数（フィルタＭＴＦ）である。ステップＳ４の処理の詳細については、後述する。
【００２４】
ステップＳ５において、重み付け画素加算部１１０は、重み付け画素加算の係数や加算画素サイズに基づいて重み付け画素加算処理を行う（図７参照）。
【００２５】
ステップＳ６において、周波数伝達特性算出部１１２は、重み付け画素加算後、重み付け画素加算された画像の画像劣化に係る周波数伝達特性を、光学系の周波数伝達特性と撮像素子の画素開口形状による周波数伝達特性と重み付け画素加算の係数、加算画素サイズから算出できる（図８参照）。
【００２６】
なお、画像劣化に係る周波数伝達特性（即ち、撮像装置全体での周波数伝達特性（ＭＴＦ））は、空間周波数ごとの画像劣化の程度を示し、光学系の周波数伝達特性と撮像素子１０５の画素開口形状による周波数伝達特性と画素加算フィルタの周波数伝達特性との積になる。即ち、画像劣化に係る周波数伝達特性は、画素開口及び画素加算による周波数伝達特性と、光学系の周波数伝達特性とを乗算することにより計算される。
【００２７】
画素加算フィルタの周波数伝達特性は、画素加算の加算係数、加算画像サイズから計算される。従って、画像劣化に係る周波数伝達特性が、光学系の周波数伝達特性と撮像素子の画素開口形状による周波数伝達特性と重み付け画素加算の係数、加算画素サイズから算出される。
【００２８】
ステップＳ７において、重み付け画素加算された画像は、画像処理部１１４内の補正部１１３で、算出された画像に係る周波数伝達特性に基づいて、画像の空間周波数特性の補正処理がなされる。重み付け画素加算後の画像は、光学系と撮像素子を通過して更に画素加算処理を受けることにより、真の被写体画像から解像度が劣化している。しかし、ステップＳ７において、劣化した画像は、補正処理により解像度が高くなるよう復元される。本実施形態では、補正処理として、ウィナーフィルタによるデコンボルーション（逆畳み込み）処理の他、エッジ強調やアンシャープマスクなどの先鋭化処理を行ってもよい。
【００２９】
ステップＳ８において、画像処理部１１４は、上述したようにＲＧＢの三板化された状態の画像信号を生成する。なお、上述の補正処理（ステップＳ７）は、三板化された後に行ってもよい。
【００３０】
ステップＳ９において、三板化された状態の画像信号は、メモリ１１６と出力Ｉ／Ｆ部１１５を介して、図示しない記録媒体などに出力される。
【００３１】
図３−図９において、図２のフローチャートの各ステップの処理内容を詳細に説明する。
【００３２】
図３に、ステップＳ３―Ｓ５に関連して、光学系の周波数伝達特性と撮像素子の画素開口形状による周波数伝達特性の比較との例と、画素開口及び画素加算による周波数伝達特性の例を示す。
【００３３】
撮像素子１０５の各画素は、光電変換素子とその他の電荷伝送路により構成されている。一画素中に光電変換素子の光電変換面が占める面積比のことを開口率という。撮像素子１０５の出力は、光電変換面（開口）に対する入力信号（入力光）の平均値が電気信号として出力されるものである。このため、撮像素子１０５は、入力光学像に対して平均化のローパスフィルタをかけることと同じ作用を有する。撮像素子１０５の周波数伝達特性（ＭＴＦ）は、入力光学像を平均化によって劣化させる特性となる。なお、開口率が大きい程、高周波成分が減衰する。
【００３４】
図３は、簡略化のため一次元のグラフで示している。しかし、実際には二次元に拡張して処理することになる。図３において、横軸は空間周波数、縦軸は周波数伝達特性（振幅：レスポンス）を示している。
【００３５】
光学系の周波数伝達特性と画素開口形状による周波数伝達特性とを規定周波数以下で比較して、画素開口形状による周波数伝達特性の方が高い場合、重み付け画素加算が行われる。その際、「画素開口及び画素加算による周波数伝達特性」を光学系の周波数伝達特性に合うように重み付け係数と加算画素サイズが決定される。
【００３６】
一般的に、Ｆ値を大きくする（絞り１０１を絞る）と回折ぼけの影響で、光学系の周波数伝達特性が低くなる。Ｆ値を大きくしていくと撮像素子の開口形状による周波数伝達特性と光学系の周波数伝達特性の大きさが逆転してくるので、撮像素子の開口形状による周波数伝達特性の方が光学系の周波数伝達特性より高くなる。その際、光学系の周波数伝達特性のみで解像していない周波数帯域においては、撮像素子の開口形状による周波数伝達特性が高くても結果的に解像しない。そのため、光学系の周波数伝達特性に合うように重み付け画素加算すれば、解像はほぼ変わらず、光量を増幅することができる。従って、後述する空間周波数特性の補正処理やエッジ強調などの強調処理によって同時に増幅してしまうノイズを抑えることが可能となる。
【００３７】
しかし、二次元で光学系の周波数伝達特性が非対称な特性で、両周波数伝達特性を合致することが加算画素サイズの制限などで出来ない場合は、「画素開口及び画素加算による周波数伝達特性」を光学系の周波数伝達特性に近似すればよい。ここで、非対称な特性とは、二次元周波数空間内での方向によって周波数伝達特性が異なることをいう。
【００３８】
図３は、画素開口及び画素加算による周波数伝達特性が、光学系の周波数伝達特性に近似された例を示す。この場合、画素開口及び画素加算による周波数伝達特性が光学系の周波数伝達特性よりも低くならないように、重み付け係数と加算画素サイズが決定される。これは、光学系で解像している空間周波数において、重み付け画素加算により解像できなくなるのを防止するためである。規定周波数は、光学系の周波数伝達特性がゼロまたは限りなくゼロに近くなる（例えば、０．０１になる）周波数としてよい。
【００３９】
なお、光学系の周波数伝達特性が非対称で、且つ、加算画素サイズなどによってハードウェア的な制限が厳しくない場合には、例えば、図４（ａ）（ｂ）に示すように、（二次元周波数空間内で）ある一方向とその方向に対する垂直方向で、光学系の周波数伝達特性と撮像素子の画素開口形状の周波数伝達特性が比較される。その際の各方向で規定周波数は、異なってもよい。二方向での、画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性との比較結果から、重み付け係数、加算画素サイズが決定される。
【００４０】
なお、上記では、周波数ごとに、光学系の周波数伝達特性と画素開口形状の周波数伝達特性におけるレスポンス（振幅）が比較された。しかし、簡便には、規定周波数でのみ、これら周波数伝達特性が比較されてもよい。
【００４１】
図５に、画素加算フィルタの重み付け係数、画素加算サイズの例と、各画素加算フィルタの周波数伝達特性を示す。図５は、３×３画素加算と５×５画素加算に関して、それぞれ平均化する係数とガウス分布をもとにした係数の例を示す。この４種類の場合、低周波帯域から中周波帯域までは、３×３のガウス分布重み付け画素加算（３×３＿ｇａｕｓｓ）、３×３の平均化画素加算（３×３＿ａｖｅｒａｇｅ）、５×５のガウス分布重み付け画素加算（５×５＿ｇａｕｓｓ）、５×５の平均化画素加算（５×５＿ａｖｅｒａｇｅ）の順に周波数伝達特性が少しずつ低くなっていく。重み付け係数と加算画素サイズは、図３の開口形状による周波数伝達特性とこれらの画素加算フィルタの周波数伝達特性との積（画素開口及び画素加算による周波数伝達特性）が、図３の光学系の周波数伝達特性よりも小さくならない程度に、光学系の周波数伝達特性に近づくように決定する。光学系の周波数伝達特性はＦ値等の撮像条件毎に異なるため、重み付け係数と加算画素サイズは、撮像条件毎に決定される。
【００４２】
例えば、画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性との差が、規定周波数内の周波数ごとに所定値以内になるように、画素加算の重み付け係数と加算画素サイズは決定されてよい。又は、画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性との差が少なくとも規定周波数において所定値以内になるように、画素加算の重み付け係数と加算画素サイズは決定されてよい。
【００４３】
図６に、ステップＳ４に関連して、既存情報１１７のうち、撮像条件毎に重み付け係数と画素加算サイズを例示する。前述したように撮像条件毎に重み付け画素加算のサイズと係数はテーブル化されている。撮像時の撮像条件からテーブルが参照され、適切な重み付け係数と画素加算サイズが決定される。
【００４４】
図６のテーブルにおいて、既存情報には、撮影条件（レンズ種別、レンズの焦点距離、Ｆ値等）や加算対象画素（注目画素）の画素位置に応じて、重み付け画素加算のサイズと係数が用意されている。Ｆ値は、重み付け画素加算が必要なもの（大きな値）だけでもよい。画素位置は、画像中心に対する像高（距離）及び／又は角度で表わされる。
【００４５】
なお、収差により、画面中心の周波数伝達特性（ＭＴＦ）から画面周辺の周波数伝達特性（ＭＴＦ）が変化するため、画素位置に対応して、重み付け画素加算のサイズと係数が用意されている。ただし、画素位置毎に重み付け画素加算サイズと係数を用意するのは、非常に多大なメモリ容量を必要とし現実的ではない。そこで、ある画素位置範囲に対して画素加算サイズと係数を用意しておいても良いし、いくつかの画素位置の情報を用意しておき、無い画素位置については、重み付け係数を補間して使用するようにしても良い。
【００４６】
図７に、ステップＳ５の重み付け画素加算の例を示す。決定された重み付け画素加算のサイズと係数に基づいて画素加算が行われる。図７は、ベイヤー配列のＲチャンネルにおける重み付け画素加算の例である。図７では、加算対象画素（注目画素）の画素値Ｒ５が、重み付け加算演算によりＲ５’に変換される状況が示されている。この場合、重み付け画素加算のサイズは３×３で、重み付け係数ｋ１〜ｋ９である。なお、Ｂ、Ｇｂ、Ｇｒに関しても、同じ色チャネル同士で重み付け画素加算が行われる。
【００４７】
図８に、画像劣化に係る周波数伝達特性（即ち、撮像装置全体での周波数伝達特性（ＭＴＦ））の例を示す。図３と同様に、図８は簡略化のため、周波数は周波数空間のうち１次元だけを示している。画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性との積が、画像劣化に係る周波数伝達特性となる。
【００４８】
図９に、画像劣化に係る周波数伝達特性の逆特性と、最適化した逆特性の例を示す。ノイズが無ければ、重み付け画素加算された画像に対して、図９の逆特性をもつフィルタを使用して、空間周波数特性（周波数成分特性）の補正処理を施すことできる。実際には、量子化誤差や撮像した際のノイズがあるため、非常に大きな値を持っている逆特性をそのまま掛けてしまうと画像が破綻する。そのため、逆特性が大きくなる周波数帯域に関してはノイズの影響などを考慮して、図９に示すように特性を下げるよう逆特性は最適化される。本実施形態では、最適化された逆特性は、ウィナーフィルタ、エッジ強調、アンシャープマスクに対応する特性でよい。
【００４９】
その後、最適化された逆特性を持つフィルタを重み付け画素加算後の劣化画像に対して印加して空間周波数特性の補正を行う。このフィルタを印加する際は、最適化した逆特性と劣化画像を周波数空間に変換して、周波数空間で乗算しても良い。又は、最適化した逆特性を実空間に変換して、最適化された逆特性を持つフィルタで畳み込み演算してもよい。なお、最適化した逆特性を実空間に変換後、窓関数法などを用いて、最適化した逆特性をさらに滑らかな特性となるようにしてもよい。
【００５０】
−作用効果−
本実施形態によれば、伝達特性比較部１１１は、撮像時の光学系の周波数伝達特性と撮像素子の画素開口の周波数伝達特性とを比較する。重み付け画素加算部１１０は、光学系の周波数伝達特性が撮像素子の画素開口の周波数伝達特性よりも低い場合に、撮像素子で取得された画像に対して重み付け画素加算をする。補正部１１３は、重み付け画素加算部の画素加算により生成された画像に対して空間周波数特性の補正をする。重み付け画素加算部１１０は、画素開口及び画素加算による周波数伝達特性が、光学系の周波数伝達特性以上になるように重み付け画素加算する。
【００５１】
このように、光学系の周波数伝達特性（Ｆ値制御による回折ぼけ等）、撮像素子の開口の周波数伝達特性、画素加算による周波数伝達特性との関係が考慮される。また、光学系で解像している空間周波数において、重み付け画素加算により解像できなくなるのを防止できる。これにより、画像の解像度を確保しながら、重み付け画素加算により画像のノイズを低減できる。
【００５２】
重み付け画素加算部１１０は、少なくとも１つ以上の空間方向で、規定周波数において、画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性との差が所定値以内になるように画素加算してよい。これにより、画像の解像度を確保しながら、適切に重み付け画素加算により画像のノイズを低減できる。
【００５３】
重み付け画素加算部１１０は、撮影条件に応じて、事前に準備された重み付け係数群の中から重み係数を選択して重み付け画素加算してよい。これにより、光学系の周波数伝達特性が撮影条件に応じて変化する場合でも、画像の解像度を確保しながら、重み付け画素加算により最大限に画像のノイズを低減できる。
【００５４】
伝達特性比較部１１１は、少なくとも１つ以上の空間方向で周波数毎に光学系の周波数伝達特性と撮像素子の画素開口の周波数伝達特性とを比較してよい。これにより、重み付け画素加算して解像度がさらに悪化することが確実に防止できる。伝達特性比較部１１１は、少なくとも１つ以上の空間方向で、（各周波数でなく）規定周波数において、光学系の周波数伝達特性と撮像素子の画素開口の周波数伝達特性とを比較してよい。これにより、比較の演算負荷が低減される。
【００５５】
画像周波数伝達特性算出部１１２は、画素開口及び画素加算による周波数伝達特性と光学系の周波数伝達特性とを含む画像劣化に係る周波数伝達特性を算出する。補正部１１３は、画像周波数伝達特性算出部１１２で算出された周波数伝達特性に基づいて、画素加算により生じた画像の空間周波数特性を補正する。このように、光学系の周波数伝達特性と、画素開口及び画素加算によって生じる周波数伝達特性を考慮した空間周波数補正を行うことで、ノイズが少なく解像感の高い画像を得るよう画像補正することができる。
【００５６】
［変形例］
上記実施形態において、ローパスフィルタ１０４の周波数伝達特性（ＭＴＦ）の影響を考慮せず、処理を行った。しかし、光学系の周波数伝達特性にローパスフィルタ１０４の周波数伝達特性を含ませれば、これを考慮できる。この場合、光学系の周波数伝達特性は、レンズ自体の周波数伝達特性（ＭＴＦ)とローパスフィルタ１０４の周波数伝達特性（ＭＴＦ）との積とすればよい。
【００５７】
［その他の実施形態］
上述した第一実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、第一実施形態の画像処理装置は、パーソナルコンピュータ等のコンピュータに相当する。コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置と、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。コンピュータには、Ａ／Ｄ変換回路１０６の出力であるＲＡＷデータと、撮影制御部１０９から取得した撮影条件等が入力される。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、第一実施形態の画像処理部と同様の処理を実現させる。プログラムは、コンピュータ読取可能なフォーマットでエンコードされ記憶媒体に保存されている。プログラムは、重み付け画素加算処理と空間周波数特性補正処理を実行させるためのプログラムコード(命令）を備える。
【００５８】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００５９】
本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【符号の説明】
【００６０】
１００ 光学系
１０５ 撮像素子
１１０ 重み付け画素加算部
１１１ 伝達特性比較部
１１２ 画像周波数伝達特性算出部
１１３ 補正部
１１６ メモリ
２００ 画像処理装置
【特許請求の範囲】
【請求項１】
光学系と、前記光学系により生成した光学像から画像を取得する撮像素子を有する撮像装置であって、
撮像時の前記光学系の周波数伝達特性と前記撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較部と、
前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算部と、
前記重み付け画素加算部の画素加算により生成された画像に対して空間周波数特性の補正をする補正部と、を備え、
前記重み付け画素加算部は、画素開口及び画素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算することを特徴とする撮像装置。
【請求項２】
前記重み付け画素加算部は、少なくとも１つ以上の空間方向で、規定周波数において、前記画素開口及び画素加算による周波数伝達特性と前記光学系の周波数伝達特性との差が所定値以内になるように、画素加算することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記重み付け画素加算部は、撮影条件に応じて、事前に準備された重み付け係数群の中から重み係数を選択して重み付け画素加算することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記伝達特性比較部は、少なくとも１つ以上の空間方向で周波数毎に前記光学系の周波数伝達特性と前記撮像素子の画素開口の周波数伝達特性とを比較することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記伝達特性比較部は、少なくとも１つ以上の空間方向で、規定周波数において、前記光学系の周波数伝達特性と前記撮像素子の画素開口の周波数伝達特性とを比較することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記画素開口及び画素加算による周波数伝達特性と前記光学系の周波数伝達特性とを含む画像劣化に係る周波数伝達特性を算出する画像周波数伝達特性算出部を備え、
前記補正部は、前記画像周波数伝達特性算出部で算出された周波数伝達特性に基づいて、前記画素加算により生じた画像の空間周波数特性を補正することを特徴とする請求項１に記載の撮像装置。
【請求項７】
劣化画像を補正する画像処理装置であって、
画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較部と、
前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算部と、
前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正部と、を備え、
前記重み付け画素加算部は、画素開口及び画素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算することを特徴とする画像処理装置。
【請求項８】
劣化画像を補正する画像処理方法であって、
画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較ステップと、
前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算ステップと、
前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正ステップと、を含み、
前記重み付け画素加算ステップにおいて、画素開口及び画素加算によるによる周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算されることを特徴とする画像処理方法。
【請求項９】
劣化画像を補正する画像処理プログラムであって、
画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較手順と、
前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算手順と、
前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正手順と、をコンピュータに実行させ、
前記重み付け画素加算手順において、画素開口及び画素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算されることを特徴とする画像処理プログラム。
【請求項１】
光学系と、前記光学系により生成した光学像から画像を取得する撮像素子を有する撮像装置であって、
撮像時の前記光学系の周波数伝達特性と前記撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較部と、
前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算部と、
前記重み付け画素加算部の画素加算により生成された画像に対して空間周波数特性の補正をする補正部と、を備え、
前記重み付け画素加算部は、画素開口及び画素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算することを特徴とする撮像装置。
【請求項２】
前記重み付け画素加算部は、少なくとも１つ以上の空間方向で、規定周波数において、前記画素開口及び画素加算による周波数伝達特性と前記光学系の周波数伝達特性との差が所定値以内になるように、画素加算することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記重み付け画素加算部は、撮影条件に応じて、事前に準備された重み付け係数群の中から重み係数を選択して重み付け画素加算することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記伝達特性比較部は、少なくとも１つ以上の空間方向で周波数毎に前記光学系の周波数伝達特性と前記撮像素子の画素開口の周波数伝達特性とを比較することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記伝達特性比較部は、少なくとも１つ以上の空間方向で、規定周波数において、前記光学系の周波数伝達特性と前記撮像素子の画素開口の周波数伝達特性とを比較することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記画素開口及び画素加算による周波数伝達特性と前記光学系の周波数伝達特性とを含む画像劣化に係る周波数伝達特性を算出する画像周波数伝達特性算出部を備え、
前記補正部は、前記画像周波数伝達特性算出部で算出された周波数伝達特性に基づいて、前記画素加算により生じた画像の空間周波数特性を補正することを特徴とする請求項１に記載の撮像装置。
【請求項７】
劣化画像を補正する画像処理装置であって、
画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較部と、
前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算部と、
前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正部と、を備え、
前記重み付け画素加算部は、画素開口及び画素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算することを特徴とする画像処理装置。
【請求項８】
劣化画像を補正する画像処理方法であって、
画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較ステップと、
前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算ステップと、
前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正ステップと、を含み、
前記重み付け画素加算ステップにおいて、画素開口及び画素加算によるによる周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算されることを特徴とする画像処理方法。
【請求項９】
劣化画像を補正する画像処理プログラムであって、
画像撮像時の光学系の周波数伝達特性と画像を撮像するために用いた撮像素子の画素開口の周波数伝達特性とを比較する伝達特性比較手順と、
前記光学系の周波数伝達特性が前記撮像素子の画素開口の周波数伝達特性よりも低い場合に、前記撮像素子で取得された画像に対して重み付け画素加算をする重み付け画素加算手順と、
前記重み付け画素加算部の画素加算により生成された前記劣化画像に対して空間周波数特性の補正をする補正手順と、をコンピュータに実行させ、
前記重み付け画素加算手順において、画素開口及び画素加算による周波数伝達特性が、前記光学系の周波数伝達特性以上になるように重み付け画素加算されることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１９２７３（Ｐ２０１２−１９２７３Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５３８８６（Ｐ２０１０−１５３８８６）
【出願日】平成２２年７月６日（２０１０．７．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月６日（２０１０．７．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]