画像処理装置、撮像装置および画像処理プログラム
【課題】必要なメモリ容量をできるだけ少なくしつつ、画像の十分な高精細化を行えるようにする。
【解決手段】画像処理装置１１０は、撮像系１００，１０２により生成された入力画像を、撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割する領域分割手段１１０２と、分割された各領域に対して、該領域ごとに異なる応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段１１０３とを有する。応答関数に対して領域の分割数を減らすための重み付け処理を行った結果から評価値を得るようにしてもよい。
【解決手段】画像処理装置１１０は、撮像系１００，１０２により生成された入力画像を、撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割する領域分割手段１１０２と、分割された各領域に対して、該領域ごとに異なる応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段１１０３とを有する。応答関数に対して領域の分割数を減らすための重み付け処理を行った結果から評価値を得るようにしてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像系により生成された画像の高精細化を行う画像処理技術に関する。
【背景技術】
【０００２】
撮像系によって生成された画像を高精細化するための技術として超解像技術が知られている。再構成型に分類される超解像技術においては、撮像系における劣化過程を観測モデルとしてモデル化し、その逆問題として高精細化を行う。
【０００３】
逆問題を解く方法として、撮影画像上のエイリアシングを利用した周波数領域法や、事前情報の事後確率を最適化することにより高精細画像を推定するＭＡＰ(Maximum a posteriori)法が提案されている。また、ＰＯＣＳ(Projection onto Convex Sets)法という様々な事前情報を組み合わせることにより推定を行う手法も提案されている。
【０００４】
観測モデルは、撮像系のモーション、光学系による劣化、ＣＦ(Color Filter)およびＬＰＦ(Low-Pass Filter)の効果から求まる撮像系の応答関数と、イメージセンサにおけるサンプリングとで構成される。この観測モデルにおける実際の撮像系による劣化過程に対する再現精度が超解像技術による高精細化の精度に大きく依存することが知られており、様々な観測モデルが提案されている。
【０００５】
特許文献１には、撮像系の応答関数として、光学系による劣化を表す光学系ＰＳＦ(Point Spread Function、点像分布関数)を利用した観測モデルを使用した超解像処理が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−０９５３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１にて開示された画像の全領域に対して単一の応答関数を使用する超解像処理では、該単一の応答関数と本来の撮像系の応答関数との差が大きくなる領域においては十分な高精細化を行うことができない。
【０００８】
一方、画像を構成する全ての画素に対して画素ごとに異なる応答関数を用いて超解像処理を行えば上記のような不都合は解消される。しかし、画素ごとの応答関数を保持するメモリ量が膨大なものとなり、現実的ではない。
【０００９】
本発明は、必要なメモリ容量をできるだけ少なくしつつ、画像の十分な高精細化を行えるようにした画像処理装置および画像処理プログラムを提供する。
【課題を解決するための手段】
【００１０】
本発明の一側面としての画像処理装置は、撮像系により生成された入力画像を、撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割する領域分割手段と、各領域に対して、該領域ごとに異なる応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段とを有することを特徴とする。
【００１１】
また、本発明の他の一側面としての画像処理装置は、撮像系により生成された第１の入力画像を撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割した結果を記憶する記憶手段と、撮像系により生成された第２の入力画像を、該記憶手段に記憶された分割結果を用いて複数の領域に分割する領域分割手段と、第２の入力画像における各領域に対して、該領域ごとに異なる応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段とを有することを特徴とする。
【００１２】
なお、撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【００１３】
また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、撮像系により生成された入力画像を、撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割するステップと、各領域に対して、該領域ごとに異なる応答関数を用いた画像精細度を増加させるための画像処理を行うステップとを実行させることを特徴とする。
【００１４】
さらに、本発明の他の一側面としての画像処理プログラムは、撮像系により生成された第１の入力画像を前記撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割した結果を記憶するステップと、撮像系により生成された第２の入力画像を、該記憶された分割結果を用いて複数の領域に分割するステップと、第２の入力画像における各領域に対して、該領域ごとに異なる応答関数を用いた画像精細度を増加させるための画像処理を行うステップと実行させることを特徴とする。
【００１５】
なお、上記画像処理プログラムを格納した記憶媒体も、本発明の他の一側面を構成する。
【発明の効果】
【００１６】
本発明によれば、メモリ容量の増大を抑えつつ、様々な撮像系により生成された入力画像の十分な高精細化を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例１である撮像装置の構成を示すブロック図。
【図２】実施例１の撮像装置の動作を示すフローチャート。
【図３】実施例１の撮像装置における画像領域分割部の動作を示すフローチャート。
【図４】注目画像領域を４つの仮分割領域に分割する場合を説明する図。
【図５】注目画像領域を４つの分割領域に分割する場合を説明する図。
【図６】注目画像領域がシフトインバリアント領域と判定される場合を説明する図。
【図７】全画像領域をシフトインバリアント領域に分割した結果の例を示す図。
【図８】実施例１の撮像装置における画像処理演算部の動作を示すフローチャート。
【図９】撮影画像の高精細化処理の前後における空間周波数特性を示す図。
【図１０】高精細化処理の空間周波数特性を示す図。
【図１１】本発明の実施例４である撮像装置の構成を示すブロック図。
【図１２】実施例４の撮像装置における画像領域分割部の動作を示すフローチャート。
【図１３】本発明の実施例５である撮像装置における画像領域分割部の動作を示すフローチャート。
【図１４】注目画像領域の分割結果と代表位置との関係を説明する図。
【図１５】注目画像領域の分割結果と代表位置を含むシフトインバリアント領域との関係を説明する図。
【図１６】本発明の実施例６である撮像装置の構成を示すブロック図。
【図１７】実施例６の撮像装置における画像領域分割部の動作を示すフローチャート。
【図１８】本発明の実施例７である画像処理装置の構成を示す概略図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１９】
図１には、本発明の実施例１である撮像装置１の構成を示している。撮像装置１は、結像光学系１００と、露光量制御部材１０１と、撮像素子１０２と、ＡＤ変換部１０３と、ズーム制御部１０４と、露光制御部１０５と、ＡＦ制御部１０６と、振れ検出部１０７とを有する。また、撮像装置１は、システム制御回路１０８と、メモリ１０９と、画像処理装置１１０と、視覚補正部１１１と、圧縮部１１２と、画像出力部１１３とを有する。ｆは撮像装置１により撮像される被写体である。
【００２０】
図１において、被写体ｆからの光は、結像光学系１００および露光量制御部材１０１を通して撮像素子１０２上に結像する。露光量制御部材１０１は、絞りやシャッタを含む。
【００２１】
撮像素子１０２は、被写体像を電気信号に変換するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。ＡＤ変換部１０３は、撮像素子１０２から出力されたアナログ電気信号をデジタルデータに変換する。結像光学系１００、露光量制御部材１０１、撮像素子１０２およびＡＤ変換部１０３により撮像系が構成される。
【００２２】
ズーム制御部１０４は、結像光学系１００のズーミングを制御する。露光制御部１０５は、露光制御部材１０１の動作を制御する。ＡＦ制御部１０６は、結像光学系１００のフォーカシングを制御する。
【００２３】
振れ検出部１０７は、撮像装置１の振れを検出する。システム制御回路１０８は、撮像装置１全体の動作の制御を司るマイクロコンピュータ等により構成されている。
【００２４】
メモリ１０９は、システム制御回路１０８での動作制御用のデータや処理プログラム（後述する画像処理プログラムを含む）を記憶する。
【００２５】
画像処理装置１１０は、ＡＤ変換部１０３でデジタルデータ化された撮影画像（入力画像）に対して画像精細度を増加させる、すなわち高精細化のための画像処理（高精細化処理）を行って、高精細画像を生成する。
【００２６】
視覚補正部１１１は、画像処理装置１１０により生成された高精細画像の画質を向上させるための処理、例えばトーンカーブ（ガンマ）補正、彩度強調、色相補正およびエッジ強調といった画像補正処理を行う。
【００２７】
圧縮部１１２は、視覚補正部１１１から出力された高精細画像をＪＰＥＧ等の圧縮方法により画像圧縮を行って記録用の画像サイズを小さくする。
【００２８】
画像出力部１１３は、圧縮部１１２により圧縮された画像を、不図示のモニタに表示したり半導体メモリや光ディスク等の記録媒体に記録したりする。
【００２９】
次に、画像処理装置１１０の構成について説明する。１１０１は撮像系応答関数生成部であり、撮像系の応答関数（以下、撮像系応答関数という）を生成する。１１０２は画像領域分割部であり、ＡＤ変換部１０３からの撮影画像を、撮像系応答関数生成部１１０１から取得した撮像系応答関数を用いて複数の領域に分割する。
【００３０】
１１０３は画像処理演算部であり、画像領域分割部１１０２により取得した画像領域分割情報を用いて、入力画像に対して高精細化処理を行う。
【００３１】
次に、撮像装置１の動作について、図２のフローチャートを用いて説明する。図２は、撮像装置１により被写体ｆを撮像し、撮影画像から高精細画像を生成して画像出力部１１３から出力するまでの処理を示すフローチャートである。この処理は、システム制御回路１０８が、不図示のメモリに格納されたコンピュータプログラム（画像処理プログラム）に従って実行する。このことは、後述する他の実施例でも同じである。
【００３２】
ステップＳ２０１において、不図示の撮影開始ボタンがユーザにより操作されると、システム制御回路１０８は、露光制御部１０５に露光条件（絞り値や露光時間等）を決定させ、またＡＦ制御部１０６にフォーカシングを行わせる。決定された露光条件、フォーカス位置およびズーム位置等の撮像条件は、メモリ１０９に記憶される。
【００３３】
また、システム制御回路１０８は、振れ検出部１０７を通じて撮像装置１の手振れ等の振動が発生していることを検知した場合には、結像光学系１００内の不図示の振れ補正光学系を駆動して像振れ補正を行う。
【００３４】
そして、システム制御回路１０８は、撮像素子１０２に被写体像を光電変換させる。撮像素子１０２からは、被写体像の輝度に応じたアナログ信号が出力される。該アナログ信号は、ＡＤ変換部１０３によってデジタルデータに変換されることにより撮影画像が生成される。撮影画像は、画像処理装置１１０に伝送される。
【００３５】
次にステップＳ２０２では、システム制御回路１０８は、画像領域分割部１１０２に、撮影画像を、それぞれシフトインバリアント領域としての複数の領域に分割する画像領域分割処理を行わせる。ここにいうシフトインバリアント領域とは、高精細化処理について同じ撮像系応答関数を使用する領域を意味する。言い換えれば、複数のシフトインバリアント領域がある場合、該シフトインバリアント領域ごとに異なる撮像系応答関数を用いた高精細化処理が行われる。
【００３６】
このステップＳ２０２における画像領域分割処理の詳細を、図３のフローチャートを用いて説明する。
【００３７】
まず、ステップＳ３０１では、画像領域分割部１１０２は、仮領域分割を行う。仮領域分割では、領域分割を試行することで得られた複数の領域（仮分割領域）の評価値を算出するために行われる。該評価値に応じて、仮分割領域をその後に正式な分割領域として使用するか否かが判定される。
【００３８】
仮領域分割を行った結果の例を図４に示す。図４では、注目画像領域４０１の仮領域分割によって得られた４つの矩形の仮分割領域を４０２，４０３，４０４，４０５で示す。仮領域分割の方法としては、４分割や９分割のような全体領域に対して整数個の矩形領域に分割する方法や、各仮分割領域の大きさを指定して分割する方法や、同心円等の矩形以外の形状を有する領域に分割する方法を用いてもよい。
【００３９】
次に、ステップＳ３０２では、画像領域分割部１１０２は、高精細化を行う撮影画像を生成した際の撮像条件をメモリ１０９から取得する。撮像条件は、前述したようにズーム位置、フォーカス位置、絞り値、露光時間等、撮像系応答関数が画像領域内で変化するようなパラメータである。
【００４０】
ステップＳ３０３では、画像領域分割部１１０２は、撮像系応答関数生成部１１０１から撮像系応答関数を取得する。撮像系応答関数生成部１１０１は、ステップＳ３０２により取得した撮像条件を用いて、各仮分割領域の代表的な位置（例えば、各仮分割領域の中心画素）における撮像系応答関数を生成する。撮像系応答関数の生成方法はどのような方法でもよく、例えば、撮像条件を反映した撮像系の設計情報を用いて光線追跡により算出する方法や、予め測定して記憶した撮像系応答関数を読み出す方法がある。
【００４１】
次にステップＳ３０４では、画像領域分割部１１０２は、ステップＳ３０３で撮像系応答関数生成部１１０１から取得した各仮分割領域の撮像系応答関数を用いて、各仮分割領域での評価値（以下、分割評価値という）Ｉを算出する。
【００４２】
本実施例では、分割評価値Ｉは、撮像系応答関数の１つである撮像系ＭＴＦ（Modulation Transfer Function、変調伝達関数）を用いて、以下の式（１）により算出する。
【００４３】
【数１】
【００４４】
ただし、ξは空間周波数であり、ＭＴＦは撮像系ＭＴＦである。ξ１とξ２はそれぞれ、空間周波数の上限下限を設定する定数である。分割評価値Ｉは、撮像系ＭＴＦを空間周波数で積分したものである。
【００４５】
式（１）で表される分割評価値Ｉを各仮分割領域について算出し、これら評価値を比較することは、撮像系応答関数の変化（差）を評価することに相当する。このため、次に説明するように、撮像系応答関数の変化に応じた画像領域の分割結果を得ることが可能になる。
【００４６】
次にステップＳ３０５では、画像領域分割部１１０２は、ステップＳ３０４により算出された各仮分割領域の分割評価値Ｉを比較する。具体的には、仮分割領域の分割評価値Ｉの差を求め、該差の絶対値が予め設定した閾値（所定値）α以上になるか否かを判定する。
【００４７】
ここでは、仮分割領域４０２，４０３，４０４，４０５の分割評価値をそれぞれ、Ｉ４０２，Ｉ４０３，Ｉ４０４，Ｉ４０５とする。そして、例えば、式（２）に示すように、差の絶対値が閾値α以上になる分割評価値を有する仮分割領域の組み合わせが少なくとも１つある場合は、ステップＳ３０６に進む。
【００４８】
【数２】
【００４９】
ステップＳ３０６では、画像領域分割部１１０２は、仮分割領域を正式な分割領域に設定する。その結果、図５に示すように、注目画像領域４０１から、仮分割領域４０２，４０３，４０４，４０５に対応する分割領域５０２，５０３，５０４，５０５が生成される。画像領域分割部１１０２は、分割領域５０２，５０３，５０４，５０５のそれぞれについて（つまりは、分割領域ごとに）ステップＳ３０１からステップＳ３０６の処理を繰り返す。
【００５０】
一方、ステップＳ３０５において、以下の式（３）で示すように、差の絶対値が閾値α以上になる分割評価値を有する仮分割領域の組み合わせが１つもない場合には、画像領域分割部１１０２は、仮分割領域を正式な分割領域として設定しない。この場合、図６に示すように、仮分割領域４０２，４０３，４０４，４０５を合わせた注目画像領域４０１がシフトインバリアント領域６０２とする。
【００５１】
【数３】
【００５２】
画像領域分割部１１０２は、シフトインバリアント領域となった分割領域については、画像領域分割処理を終了する。さらに、分割された全ての画像領域がシフトインバリアント領域になると、画像領域分割処理を終了する。
【００５３】
撮像系応答関数の変化が画像全体（全画像領域）の中心では小さく、周辺ほど大きい場合には、最終的な全画像領域７０１の領域分割結果は図７に示すようになる。図７では、撮像応答関数の変化に合わせて分割領域の大きさを変化させた分割結果が得られている。
【００５４】
このような領域分割方法により、画像領域を任意の撮像系の特徴に対応したシフトインバリアント領域に分割することが可能である。そして、シフトインバリアント領域ごとに１つの撮像系応答関数を用いる（言い換えれば、シフトインバリアント領域ごとに異なる撮像系応答関数を用いる）。このため、全画素について異なる撮像系応答関数を用いる場合に比べて、該撮像系応答関数を保持（記憶）するためのメモリ容量を低減することができる。
【００５５】
また、図７に示したように、撮像系応答関数の変化の大きさが画像中の位置によって大きく異なる場合には、画像領域を均等に分割する場合に比べて、後述する画像処理における高精細化をより効率的に行うことが可能である。
【００５６】
次に、図２のステップＳ２０３では、システム制御回路１０８は、画像処理演算部１１０３に、撮影画像に対する高精細化処理を行わせる。このステップでの処理の詳細を、図８のフローチャートを用いて説明する。ここでは、高精細化処理として、再構成型超解像処理を行う。再構成型超解像処理は、撮像系の劣化過程をモデル化し、その逆問題を解くことで劣化過程を経る前の高解像画像を再構成するものである。
【００５７】
まず、超解像処理を行う画像をリファレンス画像とし、該リファレンス画像と同じ撮影シーンに対して微小に被写体に対する視点位置を変化させた撮像により得られた複数の画像（視点画像）を画像処理演算部１１０３に入力する。以下の説明において、リファレンス画像と視点位置が異なる複数の画像をいずれも撮影画像といい、さらにこれらをまとめて撮影画像群と称する。また、撮影画像数をＮとする。このとき、撮像画像群に含まれる画像数は、撮像系の性能、超解像処理の拡大倍率および超解像処理後の画像（超解像画像）の用途に応じて適宜設定される。
【００５８】
ステップＳ８０１では、画像処理演算部１１０３は、入力されたリファレンス画像を設定された拡大倍率に応じて拡大処理し、最初の推定高精細画像（以下、初期推定高精細画像という）を生成する。拡大処理としては、単純な線形補間やスプライン補間等、どのような方法を使用してもよい。
【００５９】
次にステップＳ８０２では、画像処理演算部１１０３は、ステップＳ２０２での画像領域分割処理の結果（画像領域分割情報）、各分割領域に対応する撮像系応答関数および初期推定高精細画像を用いて撮像系による劣化過程を演算して低解像画像を生成する。撮像系による劣化過程の演算には、該劣化過程をモデル化した観測モデルを使用する。観測モデルは、撮像系応答関数の１つであるＰＳＦ(Point Spread Function、点像分布関数)を用いて以下のように与えられる。
【００６０】
【数４】
【００６１】
ただし、Ｘは高精細画像であり、Ｙ′ｋは劣化過程後のｋ番目の低解像画像である。＊は畳み込み演算を示し、ｎは付加的なノイズを示す。また、ＰＳＦｋは、撮影画像群のうちｋ番目の撮影画像に対する撮像系応答関数を表す。劣化過程の演算は、式（４）の右辺の第一項を用いる。なお、観測モデルは上記計算式で表されるものに限られず、撮像系の特性や超解像処理のアルゴリズムに合わせて適宜決定すればよい。 また、この劣化過程の演算の際に、撮像系応答関数としてOTF（Optical Transfer Function、光学伝達関数）を用いることも可能である。この場合、画像領域をシフトインバリアント領域に分割し領域毎に一つのOTFを使用することで、全画素について異なる撮像系応答関数を用いる場合に比べてメモリ容量低減だけでなく計算量を低減することもできる。
【００６２】
劣化過程を演算する際に、画像領域分割情報を用い、演算する画素が含まれる分割領域に対応する撮像系応答関数を用いて式（４）を演算する。
【００６３】
次にステップＳ８０３では、画像処理演算部１１０３は、劣化過程処理を演算した低解像画像群を用いて評価値（以下、超解像評価値という）Ｊを、以下の式（５）により算出する。
【００６４】
【数５】
【００６５】
ただし、Ｙｋはｋ番目の撮影画像を、Ｙ′ｋはｋ番目の低解像画像を、αは拘束パラメータをそれぞれ示す。また、ｃは推定高精細画像に対する事前情報を表す行列を示し、‖‖２はＬ２ノルムを示す。
【００６６】
超解像評価値Ｊの第一項は、撮影画像と推定高精細画像を劣化させて作成した低解像画像とを比較することで、推定高精細画像の評価を行う項である。超解像評価値Ｊの第二項は、推定高精細画像の尤もらしさを評価する項であり、推定高精細画像に対する既知の情報や性質を使用して評価を行う。拘束パラメータαは、画像や撮像系に合わせて適宜設定される。行列ｃは、例えばハイパスフィルタを用いる。
【００６７】
なお、超解像評価値Ｊとしては式（５）に示されるもの以外に、Sina Farsiu他による下記の文献Ａにて説明されているバイラテラルフィルタを用いて評価したり、色の相関を用いて評価したりしてもよい。
［文献Ａ］“Multiframe Demosaicing and Super-Resolution of ColorImages”(IEEE TRANSACTION ON IMAGE PROCESSING,VOL.15,NO.1,JANUARY 2006)
次にステップＳ８０４では、画像処理演算部１１０３は、ステップＳ８０３で算出した超解像評価値Ｊが閾値（所定値）βより小さいか否かを判定する。閾値βは、画像の種類、撮像系の性能および高精細化処理の目的に応じて適宜設定される。Ｊ≧βである場合には、ステップＳ８０５に進み、Ｊ＜βである場合には、高精細化処理を終了し、推定高精細画像を超解像画像とする。その後、図２のステップＳ２０４に進む。
【００６８】
ステップＳ８０５では、画像処理演算部１１０３は、ステップＳ８０３で算出した超解像評価値Ｊを最適化する方向に推定高精細画像を更新する。更新方法としては、どのような方法を用いてもよいが、例えば最急降下法を用いて、
【００６９】
【数６】
【００７０】
として更新すればよい。ここで、Ｘ′は更新後の高精細画像を示し、γは更新ステップサイズを設定する定数である。以下、Ｘ′を推定高精細画像としてステップＳ８０２からの処理をＪ＜βとなるまで繰り返し行い、超解像画像を得る。そして、ステップＳ２０４に進む。
【００７１】
図２のステップＳ２０４では、システム制御回路１０８は、ステップＳ２０３で生成された高精細画像を出力する処理を行う。まず、視覚補正部１１１に高精細画像に対する前述した画像補正処理を行わせる。次に、圧縮部１１２に画像補正処理後の高精細画像の圧縮処理を行わせる。そして、圧縮後の高精細画像を画像出力部１１３から出力させる。
【００７２】
以上説明した本実施例によれば、任意の撮像系に対応したシフトインバリアント領域を算出することが可能であり、シフトインバリアント領域ごとに保持した撮像系応答関数を用いて高精細化処理を行うことができる。このため、全画像領域で単一の撮像系応答関数を用いて高精細化処理を行う場合に比べて、各領域にて撮像系応答関数が近似できているので、より高精度に高精細画像を推定することができる。しかも、全ての画素のそれぞれに対して撮像系応答関数を保持する場合に比べて、撮像系応答関数を保持するメモリ容量を低減させることができる。
【実施例２】
【００７３】
次に、本発明の実施例２について説明する。本実施例では、撮像系応答関数の変化を、人間の視覚の空間周波数特性による重み付けを行って評価し、その結果得られた分割評価値に応じて領域分割を行う。この重み付けは、画像領域の分割数（分割領域数）を減らす、すなわち分割領域ごとに保持する撮像系応答関数のメモリ容量を減らすために有効である。このことは、後述する他の重み付けを行う場合も同じである。本実施例は、実施例１に対して、図３に示したステップＳ３０４での評価値の算出処理のみが異なり、その他の装置構成および処理は同じである。
【００７４】
本実施例では、撮像系ＭＴＦと視覚の空間周波数特性を用いて算出されるＣＭＴＡ(Cascaded Modulation Transfer acutance)を組み合わせて、分割評価値を算出する。ここでは、ＣＭＴＡについて、高木幹雄他による下記の文献Ｂに記載されたものを用いて説明する。
［文献Ｂ］“新編 画像解析ハンドブック”（東京大学出版会,ｐｐ７７−７８）
シフトインバリアント領域は、撮像系応答関数の変化を用いて判定可能である。しかしながら、人間の視覚には特徴的な空間周波数特性があることが知られており、撮像系応答関数の変化に対して反応が大きい空間周波数と、該変化に対して反応が小さい空間周波数とが存在する。このため、視覚の空間周波数特性によって撮像系応答関数に重み付けをすることで、シフトインバリアント領域を人が撮像系応答関数の変化を知覚できない領域として、より効率的な領域分割が可能となる。
【００７５】
視覚の空間周波数に対する応答関数は、ＣＳＦ(Contrast Sensitivity Function)として知られている。ＣＳＦは、眼球における結像系でのローパスフィルタの特性と、網膜から脳に至る信号処理系でのバンドパスフィルタの特性を考慮してモデル化したものである。
【００７６】
ＣＳＦは、例えば以下の式（７）で表される。
【００７７】
【数７】
【００７８】
ただし、ξは空間周波数であり、人間の視角１度の中でどれだけのコントラスト縞が見えるかを表す単位[cycle/deg]で表される。ＣＳＦは、個人差、人種、色等により変化するが、一般には、低周波側にピークがあり、かつ周波数０はピークではないという特性を有する。ＣＳＦとしては、上記モデル以外にも、G.M.Johnson他による下記の文献Ｃで説明されているMovshon，Barten，Dalyといったモデルがあり、どのモデルを選ぶかは精度や計算時間によって適宜選択すればよい。
［文献Ｃ］“On contrast sensitivity in an image difference model”(IS&T PICS 2002, Portland, 18-23 (2002))
ある空間周波数範囲における撮像系ＭＴＦとＣＳＦとの積の積分値を正規化したものを主観的画質係数ＳＱＦ(Subjective Quality Factor)と称し、撮像系ＭＴＦをＭＴＦと示すと、ＳＱＦは以下の式（８）で表される。
【００７９】
【数８】
【００８０】
ただし、ξは空間周波数であり、ξ１およびξ２はそれぞれ、空間周波数の上限と下限を設定する定数である。ＳＱＦは撮像系応答関数をＣＳＦで重み付けしたものである。
【００８１】
Weber-Fechner’s lawを用いて、ＳＱＦを人間の感覚に対して線形に応答するようにし、それを１００に規格したものがＣＭＴＡである。Weber-Fechner’s lawとは、人間の感覚は刺激の対数に比例するという法則である。よって、ＣＭＴＡは、以下の式（９）に示すように定式化される。
【００８２】
【数９】
【００８３】
このＣＭＴＡを分割評価値として導入することにより、視覚の空間周波数特性を反映した領域分割結果を得ることが可能になる。
【００８４】
このように、本実施例によれば、撮像系応答関数をＣＳＦで重み付けして得られた分割評価値を用いることにより、人間が撮像系応答関数の変化を知覚できない画像領域に分割することが可能である。これにより、より人間の視覚特性に適合した高精細画像を推定可能になるとともに、全ての画素のそれぞれに対する撮像系応答関数を保持する場合と比べて撮像系応答関数の保持に必要なメモリ容量を低減することができる。
【実施例３】
【００８５】
次に、本発明の実施例３について説明する。本実施例では、撮像系応答関数の変化を、図２に示したステップＳ２０３で行われる高精細化処理の空間周波数特性による重み付けを行って評価し、その結果得られた分割評価値に応じて領域分割を行う。本実施例は、実施例１に対して、図３に示したステップＳ３０４での評価値の算出処理のみが異なり、その他の装置構成および処理は同じである。
【００８６】
高精細化処理の空間周波数特性とは、例えば、高精細化処理の手法が、撮影画像を空間周波数で帯域分割し、高周波帯域の成分のみに高精細化処理を行うように、空間周波数に応じて異なる処理を行って異なる効果を与える特性を意味する。このような高精細化処理では、大きな効果を与える空間周波数成分における撮像系ＭＴＦの寄与を強調した分割評価値を設定することにより、高精細化処理に適した領域分割が可能になる。また、特定の空間周波数成分を変調するような、恣意的な処理についても、その目的に応じた領域分割が可能になる。
【００８７】
高精細化処理の空間周波数特性について図９を用いて説明する。図９の横軸は空間周波数を、縦軸は空間周波数振幅を示す。実線のグラフ９０１は、高精細化処理前の入力画像の空間周波数特性を示している。また、点線のグラフ９０２は、高精細化処理後の画像の空間周波数特性を示している。
【００８８】
図９に示す高精細化処理方法は、低周波数成分と比較して高周波数成分に対して、より大きな効果を与える空間周波数特性を持つ処理である。分割評価値を算出する際には、この高精細化処理の空間周波数特性を反映した重み付けスペクトルＭＴＦｐを使用する。
【００８９】
図１０には、図９で示した効果を与える高精細化処理におけるＭＴＦｐの例を示す。図１０の横軸は空間周波数を、縦軸は各空間周波数における重み付けの強度を示している。グラフ１００１がＭＴＦｐを表す。
【００９０】
ＭＴＦｐの導出方法は、高精細化処理後の画像の空間周波数特性を、高精細化処理前の入力画像の空間周波数特性で除することで算出する。また、多項式を用いた近似的なモデルを使用したり、恣意的に特定の周波数成分を強調するようなモデルを使用したりしてもよく、その目的に応じて設定すればよい。
【００９１】
本実施例では、分割評価値Ｉを、以下の式（１０）を用いて算出する。
【００９２】
【数１０】
【００９３】
ただし、ξは空間周波数を、ξ１およびξ２はそれぞれ、空間周波数の上限と下限を設定する定数である。分割評価値Ｉは、撮像系応答関数ＭＴＦと高精細化処理の空間周波数特性に基づくＭＴＦpとの積を正規化したものである。この分割評価値Ｉを仮分割領域間で比較するは、撮像系応答関数の変化を高精細化処理の手法に適した重みを付けて評価することに相当する。このため、式（１０）を用いて分割評価値Ｉを算出することにより、高精細化処理に適した領域分割結果を得ることが可能になる。
【００９４】
このように、本実施例によれば、高精細化処理の目的に合わせた特定の空間周波数における撮像系応答関数の変化が十分に小さい画像領域に分割することが可能である。これにより、高精細化処理の効果をより十分に得ながら、全ての画素のそれぞれに対する撮像系応答関数を保持する場合と比べて撮像系応答関数の保持に必要なメモリ容量を低減することができる。
【実施例４】
【００９５】
次に、本発明の実施例４について説明する。本実施例では、撮像系応答関数の変化を、撮影画像（入力画像）の空間周波数特性による重み付けを行って評価し、その結果得られた分割評価値に応じて領域分割を行う。
【００９６】
本実施例は、図１１に示す撮像装置２に適用される。撮像装置２において、図１に示した撮像装置１と共通する構成要素には、図１と同じ符号を付して説明を省略する。撮像装置２は、撮像装置１に対して、画像空間周波数特性取得部１１００１を有する点で異なる。画像空間周波数特性取得部１１００１は、撮像系によって生成された撮影画像の空間周波数特性を取得する。
【００９７】
次に、撮像装置２の動作について説明する。ここでは、実施例１の撮像装置１の動作と相違する動作のみについて説明する。具体的には、図２に示したステップＳ２０２において、図３のフローチャートに代わり、図１２のフローチャートに示す画像領域分割処理が行われる。図１２のフローチャートにおいて、図３のフローチャートと同じ処理を行うステップについては同符号を付して説明を省略する。
【００９８】
ステップＳ３０１〜ステップＳ３０３の処理を行った後、ステップＳ１２０１では、画像領域分割部１１０２は、画像空間周波数特性取得部１１００１から高精細化処理を行う撮影画像の空間周波数特性を取得する。
【００９９】
次にステップＳ１２０２では、画像領域分割部１１０２は、撮像系応答関数の変化に対して、ステップＳ１２０１で取得した撮影画像の空間周波数特性による重み付けを行った上で、分割評価値を算出する。
【０１００】
例えば、空を撮影したときのように、空間周波数の低い低周波成分が大部分を占める撮影画像では、高精細化処理後の画像においても同様に低周波成分が高周波成分に比較して主要な部分を占めている。このような顕著に空間周波数特性に特徴がある画像に対しては、その空間周波数特性による重み付けをした分割評価値を算出することにより、撮影画像に適した領域分割が可能になる。
【０１０１】
分割評価値Ｉは、撮影画像の空間周波数特性を反映した重み付けスペクトルＭＴＦｔを用いて、以下の式（１１）により算出する。ＭＴＦｔは、撮影画像の空間周波数特性を多項式で近似したものである。
【０１０２】
【数１１】
【０１０３】
ただし、ξは空間周波数を、ξ１とξ２はそれぞれ、空間周波数の上限下限を設定する定数である。分割評価値Ｉは、撮像系応答関数ＭＴＦと撮影画像の空間周波数特性に基づく重み付けスペクトルＭＴＦｔの積を正規化したものである。この分割評価値Ｉを仮分割領域間で比較することは、撮像系応答関数の変化を撮影画像の空間周波数特性に応じた重み付けをして評価することに相当する。このため、式（１１）により算出された分割評価値Ｉを用いて領域分割を行うことにより、撮影画像に合わせた領域分割が可能になる。
【０１０４】
ステップＳ１２０２の処理が終わると、ステップＳ３０５，Ｓ３０６に進む。
【０１０５】
このように、本実施例によれば、撮影画像の空間周波数特性に合わせた特定の空間周波数における撮像系応答関数の変化が十分に小さい画像領域に分割することが可能である。これにより、撮影画像における主要な空間周波数成分に対して十分な高精細化処理を行うことができるとともに、全ての画素のそれぞれに対する撮像系応答関数を保持する場合と比べて撮像系応答関数の保持に必要なメモリ容量を低減することができる。
【実施例５】
【０１０６】
次に、本発明の実施例５について説明する。本実施例では、全ての画像領域で画像領域分割処理を行うのではなく、指定した位置（以下、代表位置という）を含む画像領域でのみ画像領域分割処理を行う。そして、その結果算出された該代表位置を含むシフトインバリアント領域の領域サイズで、全画像領域を均等に分割する。本実施例は、実施例１に対して、図３に示したステップＳ３０４での評価値の算出処理のみが異なり、その他の装置構成および処理は同じである。
【０１０７】
本実施例の動作について説明する。ここでは、実施例１の動作と相違する動作のみについて説明する。具体的には、図２に示したステップＳ２０２において、図３のフローチャートに代わり、図１３のフローチャートに示す画像領域分割処理が行われる。図１３のフローチャートにおいて、図３のフローチャートと同じ処理を行うステップについては同符号を付して説明を省略する。
【０１０８】
まずステップＳ１３０１では、画像領域分割部１１０２は、ユーザによる指定操作またはシステム制御回路１０８によって所定のアルゴリズムで指定された、画像領域上の代表位置を取得する。画像領域上の位置によって高精細化の精度や計算速度が変化するため、目的に応じて設定する。一般に、撮像系応答関数の変化が大きい画像領域の周辺部を代表位置に指定すると、比較的小さいシフトインバリアント領域に分割される。この場合、撮像系応答関数の変化に良好に対応した領域分割が行われる一方、計算量や撮像系応答関数を保持するためのメモリ容量が増大する。
【０１０９】
これに対して、撮像系応答関数の変化の小さい画像領域の中心部を代表位置に指定すると、比較的大きいシフトインバリアント領域に分割され、計算速度や撮像系応答関数を保持のためのメモリ容量は低減する。ただし、高精細化精度は低下する傾向がある。
【０１１０】
次にステップＳ３０１〜ステップＳ３０３の処理を行った後、ステップＳ１３０２では、画像領域分割部１１０２は、分割評価値を算出する。分割評価値の算出に関しては、実施例１〜４で説明した算出方法のいずれを用いてもよい。
【０１１１】
次にステップＳ３０５，Ｓ３０６の処理を行った後、ステップＳ１３０３では、画像領域分割部１１０２は、画像領域が分割されることにより得られた複数の分割領域から、代表位置を含む分割領域を選択する。ここでの処理の詳細を、図１４を用いて説明する。
【０１１２】
図１４は、ステップＳ３０６での処理の後、注目画像領域１４０１が分割領域１４０３，１４０４，１４０５，１４０６に分割された状態を表す。代表位置１４０２は分割領域１４０４に含まれている。
【０１１３】
画像領域分割部１１０２は、代表位置１４０２を含む分割領域１４０４に対してのみステップＳ３０１からの処理を繰り返す。こうして代表位置を含む分割領域がシフトインバリアント領域になると、ステップＳ１３０４に進む。
【０１１４】
ステップＳ１３０４では、画像領域分割部１１０２は、ステップＳ１３０３で算出した代表位置を含むシフトインバリアント領域の領域サイズを取得する。そして、該領域サイズで全画像領域を均等に分割する。均等分割の例を図１５に示す。
【０１１５】
図１５では、全画像領域１５０１を、代表位置１５０２を含むシフトインバリアント領域１５０３の領域サイズに合わせて均等分割を行っている。なお、代表位置を含むシフトインバリアント領域とは無関係に均等分割を行ってもよい。
【０１１６】
このように、本実施例によれば、撮影画像における代表位置を含む画像領域でのみ領域分割を行うことより、全ての画素のそれぞれに対する撮像系応答関数を保持する場合と比べて撮像系応答関数の保持に必要なメモリ容量を低減することができる。また、本実施例は、実施例１〜４にて説明した画像領域分割方法に比べて領域分割のための計算量を少なくすることができるため、小さなメモリ容量しか確保できない撮像装置において特に好適である。
【実施例６】
【０１１７】
次に、本発明の実施例６について説明する。本実施例は、予め様々な撮影画像（第１の入力画像：以下、分割処理済み画像という）に対して実施例１〜３および実施例５にて説明した画像領域分割方法を用いて画像領域分割処理を行った結果を記憶しておく。そして、高精細画像の生成時に、該高精細画像生成のベースとなる撮影画像（第２の入力画像：以下、処理対象画像という）に対して、該記憶した画像領域分割結果を用いて画像領域分割処理を行う。
【０１１８】
本実施例は、図１６に示す撮像装置３に適用される。本実施例は、撮像装置３において、図１に示した撮像装置１と共通する構成要素には、図１と同じ符号を付して説明を省略する。撮像装置３は、撮像装置１に対して、領域分割結果記憶部１６０１を有する点で異なる。領域分割結果記憶部１６０１は、予め行われた分割処理済み画像の画像領域分割結果を記憶する。
【０１１９】
次に、撮像装置３の動作について説明する。ここでは、実施例１の撮像装置１の動作と相違する動作のみについて説明する。具体的には、図２に示したステップＳ２０２において、図３のフローチャートに代わり、図１７のフローチャートに示す画像領域分割処理が行われる。図１７のフローチャートにおいて、図３のフローチャートと同じ処理を行うステップについては同符号を付して説明を省略する。
【０１２０】
ステップＳ３０２の後、ステップＳ１７０１では、画像領域分割部１１０２は、領域分割結果記憶部１６０１に記憶された分割処理済み画像の画像領域分割結果から、ステップＳ３０２で取得した処理対象画像の撮像条件に対応する画像領域分割結果を取得する。取得する画像領域分割結果は、撮像条件が処理対象画像に最も近い分割処理済み画像についての画像領域分割結果でもよいし、幾つかの異なる撮像条件の分割処理済み画像についての画像領域分割結果から算出（推定）したものであってもよい。
【０１２１】
次にステップＳ１７０２では、画像領域分割部１１０２は、ステップＳ１７０１において取得した画像領域分割結果に示される各分割領域について、対応する撮像系応答関数を算出する。撮像系応答関数の算出方法は、ステップＳ３０３と同じである。なお、撮像系応答関数を算出する位置は、例えば各シフトインバリアント領域の中心位置とする。ステップＳ１７０２をの処理を行った後、画像領域分割処理を終了する。
【０１２２】
このように、本実施例では、他の撮影画像に対する画像領域分割結果を用いて処理対象の撮影画像に対する画像領域分割処理を行う。これにより、全ての画素のそれぞれに対する撮像系応答関数を保持する場合と比べて撮像系応答関数の保持に必要なメモリ容量を低減することができる。しかも、画像領域分割処理を行うための計算が必要なくなるため、高精細画像の生成に要する時間を短縮することができる。
【実施例７】
【０１２３】
上記各実施例では、撮像装置に、画像処理装置１１０を内蔵した場合について説明したが、本発明の実施例はこれに限らない。
【０１２４】
例えば図１８に示すように、撮像装置１８０１で得られた撮影画像を、パーソナルコンピュータ１８０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。
【０１２５】
そして、パーソナルコンピュータ１８０２において、受信した撮影画像に対して、実施例１〜６にて説明した画像領域分割処理や高精細化処理を行ってもよい。この場合、パーソナルコンピュータが、画像処理装置として機能する。
【０１２６】
さらに、上記実施例１〜６にて説明した画像処理プログラムは、これを格納した半導体メモリや光ディスク等の記憶媒体やインターネット、ＬＡＮを介して撮像装置やパーソナルコンピュータにインストールされるようにしてもよい。
【０１２７】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【０１２８】
少ないメモリ容量で、入力画像の十分な高精細化処理が行える画像処理装置を提供できる。
【符号の説明】
【０１２９】
１，２，３ 撮像装置
１００ 結像光学系
１０１ 露光制御部材
１０２ 撮像素子
１０３ ＡＤ変換部
１０８ システム制御回路
１１０ 画像処理装置
１１０１ 撮像系応答関数記憶部
１１０２ 画像領域分割部
１１０３ 画像処理演算部
【技術分野】
【０００１】
本発明は、撮像系により生成された画像の高精細化を行う画像処理技術に関する。
【背景技術】
【０００２】
撮像系によって生成された画像を高精細化するための技術として超解像技術が知られている。再構成型に分類される超解像技術においては、撮像系における劣化過程を観測モデルとしてモデル化し、その逆問題として高精細化を行う。
【０００３】
逆問題を解く方法として、撮影画像上のエイリアシングを利用した周波数領域法や、事前情報の事後確率を最適化することにより高精細画像を推定するＭＡＰ(Maximum a posteriori)法が提案されている。また、ＰＯＣＳ(Projection onto Convex Sets)法という様々な事前情報を組み合わせることにより推定を行う手法も提案されている。
【０００４】
観測モデルは、撮像系のモーション、光学系による劣化、ＣＦ(Color Filter)およびＬＰＦ(Low-Pass Filter)の効果から求まる撮像系の応答関数と、イメージセンサにおけるサンプリングとで構成される。この観測モデルにおける実際の撮像系による劣化過程に対する再現精度が超解像技術による高精細化の精度に大きく依存することが知られており、様々な観測モデルが提案されている。
【０００５】
特許文献１には、撮像系の応答関数として、光学系による劣化を表す光学系ＰＳＦ(Point Spread Function、点像分布関数)を利用した観測モデルを使用した超解像処理が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−０９５３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１にて開示された画像の全領域に対して単一の応答関数を使用する超解像処理では、該単一の応答関数と本来の撮像系の応答関数との差が大きくなる領域においては十分な高精細化を行うことができない。
【０００８】
一方、画像を構成する全ての画素に対して画素ごとに異なる応答関数を用いて超解像処理を行えば上記のような不都合は解消される。しかし、画素ごとの応答関数を保持するメモリ量が膨大なものとなり、現実的ではない。
【０００９】
本発明は、必要なメモリ容量をできるだけ少なくしつつ、画像の十分な高精細化を行えるようにした画像処理装置および画像処理プログラムを提供する。
【課題を解決するための手段】
【００１０】
本発明の一側面としての画像処理装置は、撮像系により生成された入力画像を、撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割する領域分割手段と、各領域に対して、該領域ごとに異なる応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段とを有することを特徴とする。
【００１１】
また、本発明の他の一側面としての画像処理装置は、撮像系により生成された第１の入力画像を撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割した結果を記憶する記憶手段と、撮像系により生成された第２の入力画像を、該記憶手段に記憶された分割結果を用いて複数の領域に分割する領域分割手段と、第２の入力画像における各領域に対して、該領域ごとに異なる応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段とを有することを特徴とする。
【００１２】
なお、撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【００１３】
また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、撮像系により生成された入力画像を、撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割するステップと、各領域に対して、該領域ごとに異なる応答関数を用いた画像精細度を増加させるための画像処理を行うステップとを実行させることを特徴とする。
【００１４】
さらに、本発明の他の一側面としての画像処理プログラムは、撮像系により生成された第１の入力画像を前記撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割した結果を記憶するステップと、撮像系により生成された第２の入力画像を、該記憶された分割結果を用いて複数の領域に分割するステップと、第２の入力画像における各領域に対して、該領域ごとに異なる応答関数を用いた画像精細度を増加させるための画像処理を行うステップと実行させることを特徴とする。
【００１５】
なお、上記画像処理プログラムを格納した記憶媒体も、本発明の他の一側面を構成する。
【発明の効果】
【００１６】
本発明によれば、メモリ容量の増大を抑えつつ、様々な撮像系により生成された入力画像の十分な高精細化を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例１である撮像装置の構成を示すブロック図。
【図２】実施例１の撮像装置の動作を示すフローチャート。
【図３】実施例１の撮像装置における画像領域分割部の動作を示すフローチャート。
【図４】注目画像領域を４つの仮分割領域に分割する場合を説明する図。
【図５】注目画像領域を４つの分割領域に分割する場合を説明する図。
【図６】注目画像領域がシフトインバリアント領域と判定される場合を説明する図。
【図７】全画像領域をシフトインバリアント領域に分割した結果の例を示す図。
【図８】実施例１の撮像装置における画像処理演算部の動作を示すフローチャート。
【図９】撮影画像の高精細化処理の前後における空間周波数特性を示す図。
【図１０】高精細化処理の空間周波数特性を示す図。
【図１１】本発明の実施例４である撮像装置の構成を示すブロック図。
【図１２】実施例４の撮像装置における画像領域分割部の動作を示すフローチャート。
【図１３】本発明の実施例５である撮像装置における画像領域分割部の動作を示すフローチャート。
【図１４】注目画像領域の分割結果と代表位置との関係を説明する図。
【図１５】注目画像領域の分割結果と代表位置を含むシフトインバリアント領域との関係を説明する図。
【図１６】本発明の実施例６である撮像装置の構成を示すブロック図。
【図１７】実施例６の撮像装置における画像領域分割部の動作を示すフローチャート。
【図１８】本発明の実施例７である画像処理装置の構成を示す概略図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１９】
図１には、本発明の実施例１である撮像装置１の構成を示している。撮像装置１は、結像光学系１００と、露光量制御部材１０１と、撮像素子１０２と、ＡＤ変換部１０３と、ズーム制御部１０４と、露光制御部１０５と、ＡＦ制御部１０６と、振れ検出部１０７とを有する。また、撮像装置１は、システム制御回路１０８と、メモリ１０９と、画像処理装置１１０と、視覚補正部１１１と、圧縮部１１２と、画像出力部１１３とを有する。ｆは撮像装置１により撮像される被写体である。
【００２０】
図１において、被写体ｆからの光は、結像光学系１００および露光量制御部材１０１を通して撮像素子１０２上に結像する。露光量制御部材１０１は、絞りやシャッタを含む。
【００２１】
撮像素子１０２は、被写体像を電気信号に変換するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。ＡＤ変換部１０３は、撮像素子１０２から出力されたアナログ電気信号をデジタルデータに変換する。結像光学系１００、露光量制御部材１０１、撮像素子１０２およびＡＤ変換部１０３により撮像系が構成される。
【００２２】
ズーム制御部１０４は、結像光学系１００のズーミングを制御する。露光制御部１０５は、露光制御部材１０１の動作を制御する。ＡＦ制御部１０６は、結像光学系１００のフォーカシングを制御する。
【００２３】
振れ検出部１０７は、撮像装置１の振れを検出する。システム制御回路１０８は、撮像装置１全体の動作の制御を司るマイクロコンピュータ等により構成されている。
【００２４】
メモリ１０９は、システム制御回路１０８での動作制御用のデータや処理プログラム（後述する画像処理プログラムを含む）を記憶する。
【００２５】
画像処理装置１１０は、ＡＤ変換部１０３でデジタルデータ化された撮影画像（入力画像）に対して画像精細度を増加させる、すなわち高精細化のための画像処理（高精細化処理）を行って、高精細画像を生成する。
【００２６】
視覚補正部１１１は、画像処理装置１１０により生成された高精細画像の画質を向上させるための処理、例えばトーンカーブ（ガンマ）補正、彩度強調、色相補正およびエッジ強調といった画像補正処理を行う。
【００２７】
圧縮部１１２は、視覚補正部１１１から出力された高精細画像をＪＰＥＧ等の圧縮方法により画像圧縮を行って記録用の画像サイズを小さくする。
【００２８】
画像出力部１１３は、圧縮部１１２により圧縮された画像を、不図示のモニタに表示したり半導体メモリや光ディスク等の記録媒体に記録したりする。
【００２９】
次に、画像処理装置１１０の構成について説明する。１１０１は撮像系応答関数生成部であり、撮像系の応答関数（以下、撮像系応答関数という）を生成する。１１０２は画像領域分割部であり、ＡＤ変換部１０３からの撮影画像を、撮像系応答関数生成部１１０１から取得した撮像系応答関数を用いて複数の領域に分割する。
【００３０】
１１０３は画像処理演算部であり、画像領域分割部１１０２により取得した画像領域分割情報を用いて、入力画像に対して高精細化処理を行う。
【００３１】
次に、撮像装置１の動作について、図２のフローチャートを用いて説明する。図２は、撮像装置１により被写体ｆを撮像し、撮影画像から高精細画像を生成して画像出力部１１３から出力するまでの処理を示すフローチャートである。この処理は、システム制御回路１０８が、不図示のメモリに格納されたコンピュータプログラム（画像処理プログラム）に従って実行する。このことは、後述する他の実施例でも同じである。
【００３２】
ステップＳ２０１において、不図示の撮影開始ボタンがユーザにより操作されると、システム制御回路１０８は、露光制御部１０５に露光条件（絞り値や露光時間等）を決定させ、またＡＦ制御部１０６にフォーカシングを行わせる。決定された露光条件、フォーカス位置およびズーム位置等の撮像条件は、メモリ１０９に記憶される。
【００３３】
また、システム制御回路１０８は、振れ検出部１０７を通じて撮像装置１の手振れ等の振動が発生していることを検知した場合には、結像光学系１００内の不図示の振れ補正光学系を駆動して像振れ補正を行う。
【００３４】
そして、システム制御回路１０８は、撮像素子１０２に被写体像を光電変換させる。撮像素子１０２からは、被写体像の輝度に応じたアナログ信号が出力される。該アナログ信号は、ＡＤ変換部１０３によってデジタルデータに変換されることにより撮影画像が生成される。撮影画像は、画像処理装置１１０に伝送される。
【００３５】
次にステップＳ２０２では、システム制御回路１０８は、画像領域分割部１１０２に、撮影画像を、それぞれシフトインバリアント領域としての複数の領域に分割する画像領域分割処理を行わせる。ここにいうシフトインバリアント領域とは、高精細化処理について同じ撮像系応答関数を使用する領域を意味する。言い換えれば、複数のシフトインバリアント領域がある場合、該シフトインバリアント領域ごとに異なる撮像系応答関数を用いた高精細化処理が行われる。
【００３６】
このステップＳ２０２における画像領域分割処理の詳細を、図３のフローチャートを用いて説明する。
【００３７】
まず、ステップＳ３０１では、画像領域分割部１１０２は、仮領域分割を行う。仮領域分割では、領域分割を試行することで得られた複数の領域（仮分割領域）の評価値を算出するために行われる。該評価値に応じて、仮分割領域をその後に正式な分割領域として使用するか否かが判定される。
【００３８】
仮領域分割を行った結果の例を図４に示す。図４では、注目画像領域４０１の仮領域分割によって得られた４つの矩形の仮分割領域を４０２，４０３，４０４，４０５で示す。仮領域分割の方法としては、４分割や９分割のような全体領域に対して整数個の矩形領域に分割する方法や、各仮分割領域の大きさを指定して分割する方法や、同心円等の矩形以外の形状を有する領域に分割する方法を用いてもよい。
【００３９】
次に、ステップＳ３０２では、画像領域分割部１１０２は、高精細化を行う撮影画像を生成した際の撮像条件をメモリ１０９から取得する。撮像条件は、前述したようにズーム位置、フォーカス位置、絞り値、露光時間等、撮像系応答関数が画像領域内で変化するようなパラメータである。
【００４０】
ステップＳ３０３では、画像領域分割部１１０２は、撮像系応答関数生成部１１０１から撮像系応答関数を取得する。撮像系応答関数生成部１１０１は、ステップＳ３０２により取得した撮像条件を用いて、各仮分割領域の代表的な位置（例えば、各仮分割領域の中心画素）における撮像系応答関数を生成する。撮像系応答関数の生成方法はどのような方法でもよく、例えば、撮像条件を反映した撮像系の設計情報を用いて光線追跡により算出する方法や、予め測定して記憶した撮像系応答関数を読み出す方法がある。
【００４１】
次にステップＳ３０４では、画像領域分割部１１０２は、ステップＳ３０３で撮像系応答関数生成部１１０１から取得した各仮分割領域の撮像系応答関数を用いて、各仮分割領域での評価値（以下、分割評価値という）Ｉを算出する。
【００４２】
本実施例では、分割評価値Ｉは、撮像系応答関数の１つである撮像系ＭＴＦ（Modulation Transfer Function、変調伝達関数）を用いて、以下の式（１）により算出する。
【００４３】
【数１】
【００４４】
ただし、ξは空間周波数であり、ＭＴＦは撮像系ＭＴＦである。ξ１とξ２はそれぞれ、空間周波数の上限下限を設定する定数である。分割評価値Ｉは、撮像系ＭＴＦを空間周波数で積分したものである。
【００４５】
式（１）で表される分割評価値Ｉを各仮分割領域について算出し、これら評価値を比較することは、撮像系応答関数の変化（差）を評価することに相当する。このため、次に説明するように、撮像系応答関数の変化に応じた画像領域の分割結果を得ることが可能になる。
【００４６】
次にステップＳ３０５では、画像領域分割部１１０２は、ステップＳ３０４により算出された各仮分割領域の分割評価値Ｉを比較する。具体的には、仮分割領域の分割評価値Ｉの差を求め、該差の絶対値が予め設定した閾値（所定値）α以上になるか否かを判定する。
【００４７】
ここでは、仮分割領域４０２，４０３，４０４，４０５の分割評価値をそれぞれ、Ｉ４０２，Ｉ４０３，Ｉ４０４，Ｉ４０５とする。そして、例えば、式（２）に示すように、差の絶対値が閾値α以上になる分割評価値を有する仮分割領域の組み合わせが少なくとも１つある場合は、ステップＳ３０６に進む。
【００４８】
【数２】
【００４９】
ステップＳ３０６では、画像領域分割部１１０２は、仮分割領域を正式な分割領域に設定する。その結果、図５に示すように、注目画像領域４０１から、仮分割領域４０２，４０３，４０４，４０５に対応する分割領域５０２，５０３，５０４，５０５が生成される。画像領域分割部１１０２は、分割領域５０２，５０３，５０４，５０５のそれぞれについて（つまりは、分割領域ごとに）ステップＳ３０１からステップＳ３０６の処理を繰り返す。
【００５０】
一方、ステップＳ３０５において、以下の式（３）で示すように、差の絶対値が閾値α以上になる分割評価値を有する仮分割領域の組み合わせが１つもない場合には、画像領域分割部１１０２は、仮分割領域を正式な分割領域として設定しない。この場合、図６に示すように、仮分割領域４０２，４０３，４０４，４０５を合わせた注目画像領域４０１がシフトインバリアント領域６０２とする。
【００５１】
【数３】
【００５２】
画像領域分割部１１０２は、シフトインバリアント領域となった分割領域については、画像領域分割処理を終了する。さらに、分割された全ての画像領域がシフトインバリアント領域になると、画像領域分割処理を終了する。
【００５３】
撮像系応答関数の変化が画像全体（全画像領域）の中心では小さく、周辺ほど大きい場合には、最終的な全画像領域７０１の領域分割結果は図７に示すようになる。図７では、撮像応答関数の変化に合わせて分割領域の大きさを変化させた分割結果が得られている。
【００５４】
このような領域分割方法により、画像領域を任意の撮像系の特徴に対応したシフトインバリアント領域に分割することが可能である。そして、シフトインバリアント領域ごとに１つの撮像系応答関数を用いる（言い換えれば、シフトインバリアント領域ごとに異なる撮像系応答関数を用いる）。このため、全画素について異なる撮像系応答関数を用いる場合に比べて、該撮像系応答関数を保持（記憶）するためのメモリ容量を低減することができる。
【００５５】
また、図７に示したように、撮像系応答関数の変化の大きさが画像中の位置によって大きく異なる場合には、画像領域を均等に分割する場合に比べて、後述する画像処理における高精細化をより効率的に行うことが可能である。
【００５６】
次に、図２のステップＳ２０３では、システム制御回路１０８は、画像処理演算部１１０３に、撮影画像に対する高精細化処理を行わせる。このステップでの処理の詳細を、図８のフローチャートを用いて説明する。ここでは、高精細化処理として、再構成型超解像処理を行う。再構成型超解像処理は、撮像系の劣化過程をモデル化し、その逆問題を解くことで劣化過程を経る前の高解像画像を再構成するものである。
【００５７】
まず、超解像処理を行う画像をリファレンス画像とし、該リファレンス画像と同じ撮影シーンに対して微小に被写体に対する視点位置を変化させた撮像により得られた複数の画像（視点画像）を画像処理演算部１１０３に入力する。以下の説明において、リファレンス画像と視点位置が異なる複数の画像をいずれも撮影画像といい、さらにこれらをまとめて撮影画像群と称する。また、撮影画像数をＮとする。このとき、撮像画像群に含まれる画像数は、撮像系の性能、超解像処理の拡大倍率および超解像処理後の画像（超解像画像）の用途に応じて適宜設定される。
【００５８】
ステップＳ８０１では、画像処理演算部１１０３は、入力されたリファレンス画像を設定された拡大倍率に応じて拡大処理し、最初の推定高精細画像（以下、初期推定高精細画像という）を生成する。拡大処理としては、単純な線形補間やスプライン補間等、どのような方法を使用してもよい。
【００５９】
次にステップＳ８０２では、画像処理演算部１１０３は、ステップＳ２０２での画像領域分割処理の結果（画像領域分割情報）、各分割領域に対応する撮像系応答関数および初期推定高精細画像を用いて撮像系による劣化過程を演算して低解像画像を生成する。撮像系による劣化過程の演算には、該劣化過程をモデル化した観測モデルを使用する。観測モデルは、撮像系応答関数の１つであるＰＳＦ(Point Spread Function、点像分布関数)を用いて以下のように与えられる。
【００６０】
【数４】
【００６１】
ただし、Ｘは高精細画像であり、Ｙ′ｋは劣化過程後のｋ番目の低解像画像である。＊は畳み込み演算を示し、ｎは付加的なノイズを示す。また、ＰＳＦｋは、撮影画像群のうちｋ番目の撮影画像に対する撮像系応答関数を表す。劣化過程の演算は、式（４）の右辺の第一項を用いる。なお、観測モデルは上記計算式で表されるものに限られず、撮像系の特性や超解像処理のアルゴリズムに合わせて適宜決定すればよい。 また、この劣化過程の演算の際に、撮像系応答関数としてOTF（Optical Transfer Function、光学伝達関数）を用いることも可能である。この場合、画像領域をシフトインバリアント領域に分割し領域毎に一つのOTFを使用することで、全画素について異なる撮像系応答関数を用いる場合に比べてメモリ容量低減だけでなく計算量を低減することもできる。
【００６２】
劣化過程を演算する際に、画像領域分割情報を用い、演算する画素が含まれる分割領域に対応する撮像系応答関数を用いて式（４）を演算する。
【００６３】
次にステップＳ８０３では、画像処理演算部１１０３は、劣化過程処理を演算した低解像画像群を用いて評価値（以下、超解像評価値という）Ｊを、以下の式（５）により算出する。
【００６４】
【数５】
【００６５】
ただし、Ｙｋはｋ番目の撮影画像を、Ｙ′ｋはｋ番目の低解像画像を、αは拘束パラメータをそれぞれ示す。また、ｃは推定高精細画像に対する事前情報を表す行列を示し、‖‖２はＬ２ノルムを示す。
【００６６】
超解像評価値Ｊの第一項は、撮影画像と推定高精細画像を劣化させて作成した低解像画像とを比較することで、推定高精細画像の評価を行う項である。超解像評価値Ｊの第二項は、推定高精細画像の尤もらしさを評価する項であり、推定高精細画像に対する既知の情報や性質を使用して評価を行う。拘束パラメータαは、画像や撮像系に合わせて適宜設定される。行列ｃは、例えばハイパスフィルタを用いる。
【００６７】
なお、超解像評価値Ｊとしては式（５）に示されるもの以外に、Sina Farsiu他による下記の文献Ａにて説明されているバイラテラルフィルタを用いて評価したり、色の相関を用いて評価したりしてもよい。
［文献Ａ］“Multiframe Demosaicing and Super-Resolution of ColorImages”(IEEE TRANSACTION ON IMAGE PROCESSING,VOL.15,NO.1,JANUARY 2006)
次にステップＳ８０４では、画像処理演算部１１０３は、ステップＳ８０３で算出した超解像評価値Ｊが閾値（所定値）βより小さいか否かを判定する。閾値βは、画像の種類、撮像系の性能および高精細化処理の目的に応じて適宜設定される。Ｊ≧βである場合には、ステップＳ８０５に進み、Ｊ＜βである場合には、高精細化処理を終了し、推定高精細画像を超解像画像とする。その後、図２のステップＳ２０４に進む。
【００６８】
ステップＳ８０５では、画像処理演算部１１０３は、ステップＳ８０３で算出した超解像評価値Ｊを最適化する方向に推定高精細画像を更新する。更新方法としては、どのような方法を用いてもよいが、例えば最急降下法を用いて、
【００６９】
【数６】
【００７０】
として更新すればよい。ここで、Ｘ′は更新後の高精細画像を示し、γは更新ステップサイズを設定する定数である。以下、Ｘ′を推定高精細画像としてステップＳ８０２からの処理をＪ＜βとなるまで繰り返し行い、超解像画像を得る。そして、ステップＳ２０４に進む。
【００７１】
図２のステップＳ２０４では、システム制御回路１０８は、ステップＳ２０３で生成された高精細画像を出力する処理を行う。まず、視覚補正部１１１に高精細画像に対する前述した画像補正処理を行わせる。次に、圧縮部１１２に画像補正処理後の高精細画像の圧縮処理を行わせる。そして、圧縮後の高精細画像を画像出力部１１３から出力させる。
【００７２】
以上説明した本実施例によれば、任意の撮像系に対応したシフトインバリアント領域を算出することが可能であり、シフトインバリアント領域ごとに保持した撮像系応答関数を用いて高精細化処理を行うことができる。このため、全画像領域で単一の撮像系応答関数を用いて高精細化処理を行う場合に比べて、各領域にて撮像系応答関数が近似できているので、より高精度に高精細画像を推定することができる。しかも、全ての画素のそれぞれに対して撮像系応答関数を保持する場合に比べて、撮像系応答関数を保持するメモリ容量を低減させることができる。
【実施例２】
【００７３】
次に、本発明の実施例２について説明する。本実施例では、撮像系応答関数の変化を、人間の視覚の空間周波数特性による重み付けを行って評価し、その結果得られた分割評価値に応じて領域分割を行う。この重み付けは、画像領域の分割数（分割領域数）を減らす、すなわち分割領域ごとに保持する撮像系応答関数のメモリ容量を減らすために有効である。このことは、後述する他の重み付けを行う場合も同じである。本実施例は、実施例１に対して、図３に示したステップＳ３０４での評価値の算出処理のみが異なり、その他の装置構成および処理は同じである。
【００７４】
本実施例では、撮像系ＭＴＦと視覚の空間周波数特性を用いて算出されるＣＭＴＡ(Cascaded Modulation Transfer acutance)を組み合わせて、分割評価値を算出する。ここでは、ＣＭＴＡについて、高木幹雄他による下記の文献Ｂに記載されたものを用いて説明する。
［文献Ｂ］“新編 画像解析ハンドブック”（東京大学出版会,ｐｐ７７−７８）
シフトインバリアント領域は、撮像系応答関数の変化を用いて判定可能である。しかしながら、人間の視覚には特徴的な空間周波数特性があることが知られており、撮像系応答関数の変化に対して反応が大きい空間周波数と、該変化に対して反応が小さい空間周波数とが存在する。このため、視覚の空間周波数特性によって撮像系応答関数に重み付けをすることで、シフトインバリアント領域を人が撮像系応答関数の変化を知覚できない領域として、より効率的な領域分割が可能となる。
【００７５】
視覚の空間周波数に対する応答関数は、ＣＳＦ(Contrast Sensitivity Function)として知られている。ＣＳＦは、眼球における結像系でのローパスフィルタの特性と、網膜から脳に至る信号処理系でのバンドパスフィルタの特性を考慮してモデル化したものである。
【００７６】
ＣＳＦは、例えば以下の式（７）で表される。
【００７７】
【数７】
【００７８】
ただし、ξは空間周波数であり、人間の視角１度の中でどれだけのコントラスト縞が見えるかを表す単位[cycle/deg]で表される。ＣＳＦは、個人差、人種、色等により変化するが、一般には、低周波側にピークがあり、かつ周波数０はピークではないという特性を有する。ＣＳＦとしては、上記モデル以外にも、G.M.Johnson他による下記の文献Ｃで説明されているMovshon，Barten，Dalyといったモデルがあり、どのモデルを選ぶかは精度や計算時間によって適宜選択すればよい。
［文献Ｃ］“On contrast sensitivity in an image difference model”(IS&T PICS 2002, Portland, 18-23 (2002))
ある空間周波数範囲における撮像系ＭＴＦとＣＳＦとの積の積分値を正規化したものを主観的画質係数ＳＱＦ(Subjective Quality Factor)と称し、撮像系ＭＴＦをＭＴＦと示すと、ＳＱＦは以下の式（８）で表される。
【００７９】
【数８】
【００８０】
ただし、ξは空間周波数であり、ξ１およびξ２はそれぞれ、空間周波数の上限と下限を設定する定数である。ＳＱＦは撮像系応答関数をＣＳＦで重み付けしたものである。
【００８１】
Weber-Fechner’s lawを用いて、ＳＱＦを人間の感覚に対して線形に応答するようにし、それを１００に規格したものがＣＭＴＡである。Weber-Fechner’s lawとは、人間の感覚は刺激の対数に比例するという法則である。よって、ＣＭＴＡは、以下の式（９）に示すように定式化される。
【００８２】
【数９】
【００８３】
このＣＭＴＡを分割評価値として導入することにより、視覚の空間周波数特性を反映した領域分割結果を得ることが可能になる。
【００８４】
このように、本実施例によれば、撮像系応答関数をＣＳＦで重み付けして得られた分割評価値を用いることにより、人間が撮像系応答関数の変化を知覚できない画像領域に分割することが可能である。これにより、より人間の視覚特性に適合した高精細画像を推定可能になるとともに、全ての画素のそれぞれに対する撮像系応答関数を保持する場合と比べて撮像系応答関数の保持に必要なメモリ容量を低減することができる。
【実施例３】
【００８５】
次に、本発明の実施例３について説明する。本実施例では、撮像系応答関数の変化を、図２に示したステップＳ２０３で行われる高精細化処理の空間周波数特性による重み付けを行って評価し、その結果得られた分割評価値に応じて領域分割を行う。本実施例は、実施例１に対して、図３に示したステップＳ３０４での評価値の算出処理のみが異なり、その他の装置構成および処理は同じである。
【００８６】
高精細化処理の空間周波数特性とは、例えば、高精細化処理の手法が、撮影画像を空間周波数で帯域分割し、高周波帯域の成分のみに高精細化処理を行うように、空間周波数に応じて異なる処理を行って異なる効果を与える特性を意味する。このような高精細化処理では、大きな効果を与える空間周波数成分における撮像系ＭＴＦの寄与を強調した分割評価値を設定することにより、高精細化処理に適した領域分割が可能になる。また、特定の空間周波数成分を変調するような、恣意的な処理についても、その目的に応じた領域分割が可能になる。
【００８７】
高精細化処理の空間周波数特性について図９を用いて説明する。図９の横軸は空間周波数を、縦軸は空間周波数振幅を示す。実線のグラフ９０１は、高精細化処理前の入力画像の空間周波数特性を示している。また、点線のグラフ９０２は、高精細化処理後の画像の空間周波数特性を示している。
【００８８】
図９に示す高精細化処理方法は、低周波数成分と比較して高周波数成分に対して、より大きな効果を与える空間周波数特性を持つ処理である。分割評価値を算出する際には、この高精細化処理の空間周波数特性を反映した重み付けスペクトルＭＴＦｐを使用する。
【００８９】
図１０には、図９で示した効果を与える高精細化処理におけるＭＴＦｐの例を示す。図１０の横軸は空間周波数を、縦軸は各空間周波数における重み付けの強度を示している。グラフ１００１がＭＴＦｐを表す。
【００９０】
ＭＴＦｐの導出方法は、高精細化処理後の画像の空間周波数特性を、高精細化処理前の入力画像の空間周波数特性で除することで算出する。また、多項式を用いた近似的なモデルを使用したり、恣意的に特定の周波数成分を強調するようなモデルを使用したりしてもよく、その目的に応じて設定すればよい。
【００９１】
本実施例では、分割評価値Ｉを、以下の式（１０）を用いて算出する。
【００９２】
【数１０】
【００９３】
ただし、ξは空間周波数を、ξ１およびξ２はそれぞれ、空間周波数の上限と下限を設定する定数である。分割評価値Ｉは、撮像系応答関数ＭＴＦと高精細化処理の空間周波数特性に基づくＭＴＦpとの積を正規化したものである。この分割評価値Ｉを仮分割領域間で比較するは、撮像系応答関数の変化を高精細化処理の手法に適した重みを付けて評価することに相当する。このため、式（１０）を用いて分割評価値Ｉを算出することにより、高精細化処理に適した領域分割結果を得ることが可能になる。
【００９４】
このように、本実施例によれば、高精細化処理の目的に合わせた特定の空間周波数における撮像系応答関数の変化が十分に小さい画像領域に分割することが可能である。これにより、高精細化処理の効果をより十分に得ながら、全ての画素のそれぞれに対する撮像系応答関数を保持する場合と比べて撮像系応答関数の保持に必要なメモリ容量を低減することができる。
【実施例４】
【００９５】
次に、本発明の実施例４について説明する。本実施例では、撮像系応答関数の変化を、撮影画像（入力画像）の空間周波数特性による重み付けを行って評価し、その結果得られた分割評価値に応じて領域分割を行う。
【００９６】
本実施例は、図１１に示す撮像装置２に適用される。撮像装置２において、図１に示した撮像装置１と共通する構成要素には、図１と同じ符号を付して説明を省略する。撮像装置２は、撮像装置１に対して、画像空間周波数特性取得部１１００１を有する点で異なる。画像空間周波数特性取得部１１００１は、撮像系によって生成された撮影画像の空間周波数特性を取得する。
【００９７】
次に、撮像装置２の動作について説明する。ここでは、実施例１の撮像装置１の動作と相違する動作のみについて説明する。具体的には、図２に示したステップＳ２０２において、図３のフローチャートに代わり、図１２のフローチャートに示す画像領域分割処理が行われる。図１２のフローチャートにおいて、図３のフローチャートと同じ処理を行うステップについては同符号を付して説明を省略する。
【００９８】
ステップＳ３０１〜ステップＳ３０３の処理を行った後、ステップＳ１２０１では、画像領域分割部１１０２は、画像空間周波数特性取得部１１００１から高精細化処理を行う撮影画像の空間周波数特性を取得する。
【００９９】
次にステップＳ１２０２では、画像領域分割部１１０２は、撮像系応答関数の変化に対して、ステップＳ１２０１で取得した撮影画像の空間周波数特性による重み付けを行った上で、分割評価値を算出する。
【０１００】
例えば、空を撮影したときのように、空間周波数の低い低周波成分が大部分を占める撮影画像では、高精細化処理後の画像においても同様に低周波成分が高周波成分に比較して主要な部分を占めている。このような顕著に空間周波数特性に特徴がある画像に対しては、その空間周波数特性による重み付けをした分割評価値を算出することにより、撮影画像に適した領域分割が可能になる。
【０１０１】
分割評価値Ｉは、撮影画像の空間周波数特性を反映した重み付けスペクトルＭＴＦｔを用いて、以下の式（１１）により算出する。ＭＴＦｔは、撮影画像の空間周波数特性を多項式で近似したものである。
【０１０２】
【数１１】
【０１０３】
ただし、ξは空間周波数を、ξ１とξ２はそれぞれ、空間周波数の上限下限を設定する定数である。分割評価値Ｉは、撮像系応答関数ＭＴＦと撮影画像の空間周波数特性に基づく重み付けスペクトルＭＴＦｔの積を正規化したものである。この分割評価値Ｉを仮分割領域間で比較することは、撮像系応答関数の変化を撮影画像の空間周波数特性に応じた重み付けをして評価することに相当する。このため、式（１１）により算出された分割評価値Ｉを用いて領域分割を行うことにより、撮影画像に合わせた領域分割が可能になる。
【０１０４】
ステップＳ１２０２の処理が終わると、ステップＳ３０５，Ｓ３０６に進む。
【０１０５】
このように、本実施例によれば、撮影画像の空間周波数特性に合わせた特定の空間周波数における撮像系応答関数の変化が十分に小さい画像領域に分割することが可能である。これにより、撮影画像における主要な空間周波数成分に対して十分な高精細化処理を行うことができるとともに、全ての画素のそれぞれに対する撮像系応答関数を保持する場合と比べて撮像系応答関数の保持に必要なメモリ容量を低減することができる。
【実施例５】
【０１０６】
次に、本発明の実施例５について説明する。本実施例では、全ての画像領域で画像領域分割処理を行うのではなく、指定した位置（以下、代表位置という）を含む画像領域でのみ画像領域分割処理を行う。そして、その結果算出された該代表位置を含むシフトインバリアント領域の領域サイズで、全画像領域を均等に分割する。本実施例は、実施例１に対して、図３に示したステップＳ３０４での評価値の算出処理のみが異なり、その他の装置構成および処理は同じである。
【０１０７】
本実施例の動作について説明する。ここでは、実施例１の動作と相違する動作のみについて説明する。具体的には、図２に示したステップＳ２０２において、図３のフローチャートに代わり、図１３のフローチャートに示す画像領域分割処理が行われる。図１３のフローチャートにおいて、図３のフローチャートと同じ処理を行うステップについては同符号を付して説明を省略する。
【０１０８】
まずステップＳ１３０１では、画像領域分割部１１０２は、ユーザによる指定操作またはシステム制御回路１０８によって所定のアルゴリズムで指定された、画像領域上の代表位置を取得する。画像領域上の位置によって高精細化の精度や計算速度が変化するため、目的に応じて設定する。一般に、撮像系応答関数の変化が大きい画像領域の周辺部を代表位置に指定すると、比較的小さいシフトインバリアント領域に分割される。この場合、撮像系応答関数の変化に良好に対応した領域分割が行われる一方、計算量や撮像系応答関数を保持するためのメモリ容量が増大する。
【０１０９】
これに対して、撮像系応答関数の変化の小さい画像領域の中心部を代表位置に指定すると、比較的大きいシフトインバリアント領域に分割され、計算速度や撮像系応答関数を保持のためのメモリ容量は低減する。ただし、高精細化精度は低下する傾向がある。
【０１１０】
次にステップＳ３０１〜ステップＳ３０３の処理を行った後、ステップＳ１３０２では、画像領域分割部１１０２は、分割評価値を算出する。分割評価値の算出に関しては、実施例１〜４で説明した算出方法のいずれを用いてもよい。
【０１１１】
次にステップＳ３０５，Ｓ３０６の処理を行った後、ステップＳ１３０３では、画像領域分割部１１０２は、画像領域が分割されることにより得られた複数の分割領域から、代表位置を含む分割領域を選択する。ここでの処理の詳細を、図１４を用いて説明する。
【０１１２】
図１４は、ステップＳ３０６での処理の後、注目画像領域１４０１が分割領域１４０３，１４０４，１４０５，１４０６に分割された状態を表す。代表位置１４０２は分割領域１４０４に含まれている。
【０１１３】
画像領域分割部１１０２は、代表位置１４０２を含む分割領域１４０４に対してのみステップＳ３０１からの処理を繰り返す。こうして代表位置を含む分割領域がシフトインバリアント領域になると、ステップＳ１３０４に進む。
【０１１４】
ステップＳ１３０４では、画像領域分割部１１０２は、ステップＳ１３０３で算出した代表位置を含むシフトインバリアント領域の領域サイズを取得する。そして、該領域サイズで全画像領域を均等に分割する。均等分割の例を図１５に示す。
【０１１５】
図１５では、全画像領域１５０１を、代表位置１５０２を含むシフトインバリアント領域１５０３の領域サイズに合わせて均等分割を行っている。なお、代表位置を含むシフトインバリアント領域とは無関係に均等分割を行ってもよい。
【０１１６】
このように、本実施例によれば、撮影画像における代表位置を含む画像領域でのみ領域分割を行うことより、全ての画素のそれぞれに対する撮像系応答関数を保持する場合と比べて撮像系応答関数の保持に必要なメモリ容量を低減することができる。また、本実施例は、実施例１〜４にて説明した画像領域分割方法に比べて領域分割のための計算量を少なくすることができるため、小さなメモリ容量しか確保できない撮像装置において特に好適である。
【実施例６】
【０１１７】
次に、本発明の実施例６について説明する。本実施例は、予め様々な撮影画像（第１の入力画像：以下、分割処理済み画像という）に対して実施例１〜３および実施例５にて説明した画像領域分割方法を用いて画像領域分割処理を行った結果を記憶しておく。そして、高精細画像の生成時に、該高精細画像生成のベースとなる撮影画像（第２の入力画像：以下、処理対象画像という）に対して、該記憶した画像領域分割結果を用いて画像領域分割処理を行う。
【０１１８】
本実施例は、図１６に示す撮像装置３に適用される。本実施例は、撮像装置３において、図１に示した撮像装置１と共通する構成要素には、図１と同じ符号を付して説明を省略する。撮像装置３は、撮像装置１に対して、領域分割結果記憶部１６０１を有する点で異なる。領域分割結果記憶部１６０１は、予め行われた分割処理済み画像の画像領域分割結果を記憶する。
【０１１９】
次に、撮像装置３の動作について説明する。ここでは、実施例１の撮像装置１の動作と相違する動作のみについて説明する。具体的には、図２に示したステップＳ２０２において、図３のフローチャートに代わり、図１７のフローチャートに示す画像領域分割処理が行われる。図１７のフローチャートにおいて、図３のフローチャートと同じ処理を行うステップについては同符号を付して説明を省略する。
【０１２０】
ステップＳ３０２の後、ステップＳ１７０１では、画像領域分割部１１０２は、領域分割結果記憶部１６０１に記憶された分割処理済み画像の画像領域分割結果から、ステップＳ３０２で取得した処理対象画像の撮像条件に対応する画像領域分割結果を取得する。取得する画像領域分割結果は、撮像条件が処理対象画像に最も近い分割処理済み画像についての画像領域分割結果でもよいし、幾つかの異なる撮像条件の分割処理済み画像についての画像領域分割結果から算出（推定）したものであってもよい。
【０１２１】
次にステップＳ１７０２では、画像領域分割部１１０２は、ステップＳ１７０１において取得した画像領域分割結果に示される各分割領域について、対応する撮像系応答関数を算出する。撮像系応答関数の算出方法は、ステップＳ３０３と同じである。なお、撮像系応答関数を算出する位置は、例えば各シフトインバリアント領域の中心位置とする。ステップＳ１７０２をの処理を行った後、画像領域分割処理を終了する。
【０１２２】
このように、本実施例では、他の撮影画像に対する画像領域分割結果を用いて処理対象の撮影画像に対する画像領域分割処理を行う。これにより、全ての画素のそれぞれに対する撮像系応答関数を保持する場合と比べて撮像系応答関数の保持に必要なメモリ容量を低減することができる。しかも、画像領域分割処理を行うための計算が必要なくなるため、高精細画像の生成に要する時間を短縮することができる。
【実施例７】
【０１２３】
上記各実施例では、撮像装置に、画像処理装置１１０を内蔵した場合について説明したが、本発明の実施例はこれに限らない。
【０１２４】
例えば図１８に示すように、撮像装置１８０１で得られた撮影画像を、パーソナルコンピュータ１８０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。
【０１２５】
そして、パーソナルコンピュータ１８０２において、受信した撮影画像に対して、実施例１〜６にて説明した画像領域分割処理や高精細化処理を行ってもよい。この場合、パーソナルコンピュータが、画像処理装置として機能する。
【０１２６】
さらに、上記実施例１〜６にて説明した画像処理プログラムは、これを格納した半導体メモリや光ディスク等の記憶媒体やインターネット、ＬＡＮを介して撮像装置やパーソナルコンピュータにインストールされるようにしてもよい。
【０１２７】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【０１２８】
少ないメモリ容量で、入力画像の十分な高精細化処理が行える画像処理装置を提供できる。
【符号の説明】
【０１２９】
１，２，３ 撮像装置
１００ 結像光学系
１０１ 露光制御部材
１０２ 撮像素子
１０３ ＡＤ変換部
１０８ システム制御回路
１１０ 画像処理装置
１１０１ 撮像系応答関数記憶部
１１０２ 画像領域分割部
１１０３ 画像処理演算部
【特許請求の範囲】
【請求項１】
撮像系により生成された入力画像を、前記撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割する領域分割手段と、
前記各領域に対して、該領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記領域分割手段は、前記応答関数に対して前記領域の分割数を減らすための重み付けを行った結果から前記評価値を得ることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域分割手段は、人間の視覚の空間周波数特性を用いて前記重み付けを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記領域分割手段は、前記画像処理の空間周波数特性を用いて前記重み付けを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記領域分割手段は、前記入力画像の空間周波数特性を用いて前記重み付けを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
撮像系により生成された第１の入力画像を前記撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割した結果を記憶する記憶手段と、
撮像系により生成された第２の入力画像を、該記憶手段に記憶された分割結果を用いて複数の領域に分割する領域分割手段と、
前記第２の入力画像における前記各領域に対して、該領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段とを有することを特徴とする画像処理装置。
【請求項７】
撮像系と、
請求項１から６のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項８】
コンピュータに、
撮像系により生成された入力画像を、前記撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割するステップと、
前記各領域に対して、該領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行うステップとを実行させることを特徴とする画像処理プログラム。
【請求項９】
撮像系により生成された第１の入力画像を前記撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割した結果を記憶するステップと、
撮像系により生成された第２の入力画像を、該記憶された分割結果を用いて複数の領域に分割するステップと、
前記第２の入力画像における前記各領域に対して、該領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行うステップと実行させることを特徴とする画像処理プログラム。
【請求項１０】
請求項８又は９に記載の画像処理プログラムを格納したことを特徴とする記憶媒体。
【請求項１】
撮像系により生成された入力画像を、前記撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割する領域分割手段と、
前記各領域に対して、該領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記領域分割手段は、前記応答関数に対して前記領域の分割数を減らすための重み付けを行った結果から前記評価値を得ることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域分割手段は、人間の視覚の空間周波数特性を用いて前記重み付けを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記領域分割手段は、前記画像処理の空間周波数特性を用いて前記重み付けを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記領域分割手段は、前記入力画像の空間周波数特性を用いて前記重み付けを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
撮像系により生成された第１の入力画像を前記撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割した結果を記憶する記憶手段と、
撮像系により生成された第２の入力画像を、該記憶手段に記憶された分割結果を用いて複数の領域に分割する領域分割手段と、
前記第２の入力画像における前記各領域に対して、該領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段とを有することを特徴とする画像処理装置。
【請求項７】
撮像系と、
請求項１から６のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項８】
コンピュータに、
撮像系により生成された入力画像を、前記撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割するステップと、
前記各領域に対して、該領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行うステップとを実行させることを特徴とする画像処理プログラム。
【請求項９】
撮像系により生成された第１の入力画像を前記撮像系の応答関数を用いて得られる評価値に差を持つ複数の領域に分割した結果を記憶するステップと、
撮像系により生成された第２の入力画像を、該記憶された分割結果を用いて複数の領域に分割するステップと、
前記第２の入力画像における前記各領域に対して、該領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行うステップと実行させることを特徴とする画像処理プログラム。
【請求項１０】
請求項８又は９に記載の画像処理プログラムを格納したことを特徴とする記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−３４５５（Ｐ２０１２−３４５５Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３７０３４（Ｐ２０１０−１３７０３４）
【出願日】平成２２年６月１６日（２０１０．６．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１６日（２０１０．６．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]