撮像装置及び画像生成方法
【課題】低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供すること。
【解決手段】撮像装置は、撮像素子と、読み出し制御部と、推定演算部と、画像出力部を含む。撮像素子は、複数の受光素子ＰＤ１〜ＰＤ４とフィルタ部ＣＦを有する。読み出し制御部は、複数の受光素子の受光値を読み出して低解像フレーム画像を取得する。推定演算部は、低解像フレーム画像に基づいて、低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する。画像出力部は、推定画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。フィルタ部ＣＦは、１つの受光素子ＰＤ１に対応するフィルタとして、異なる色の複数のフィルタｃ１〜ｃ４が配列される。
【解決手段】撮像装置は、撮像素子と、読み出し制御部と、推定演算部と、画像出力部を含む。撮像素子は、複数の受光素子ＰＤ１〜ＰＤ４とフィルタ部ＣＦを有する。読み出し制御部は、複数の受光素子の受光値を読み出して低解像フレーム画像を取得する。推定演算部は、低解像フレーム画像に基づいて、低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する。画像出力部は、推定画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。フィルタ部ＣＦは、１つの受光素子ＰＤ１に対応するフィルタとして、異なる色の複数のフィルタｃ１〜ｃ４が配列される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
撮像素子の各受光素子には、それぞれ１色のカラーフィルタが対応している。例えば、ベイヤ配列の撮像素子では、赤色フィルタ、緑色フィルタ、青色フィルタのいずれかのカラーフィルタが１つの受光素子に対応している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明者は、撮像により得られた低解像画像から高解像画像を生成する手法を開発している。この手法は、例えば撮像画像のデータ量を削減したり、そのデータを表示する際の高解像化を行うために用いられる。
【０００５】
従来は、上述のように１つの受光素子に１色のカラーフィルタが対応した撮像素子により得られた画像を高解像化する。例えば特許文献１、２には、画素シフトを行いながら低解像画像を撮像し、撮像された低解像画像から高解像画像を生成する手法が開示されている。
【０００６】
本発明の幾つかの態様によれば、低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、複数の受光素子とフィルタ部を有する撮像素子と、前記複数の受光素子の受光値を読み出して低解像フレーム画像を取得する読み出し制御部と、前記低解像フレーム画像に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、前記推定画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、を含み、前記フィルタ部には、１つの受光素子に対応するフィルタとして、異なる色の複数のフィルタが配列される撮像装置に関係する。
【０００８】
本発明の一態様によれば、異なる色の複数のフィルタを透過した光が受光素子により受光される。そして、その受光値による低解像フレーム画像が取得され、その低解像フレーム画像に基づいて推定画素値が推定され、その推定画素値に基づいて高解像フレーム画像が出力される。これにより、低解像画像から高解像画像を推定することと等が可能になる。また、複数のフィルタを透過した光を１つの受光素子で受光するため、複数受光値の加算値に相当する受光値を取得可能になる。
【０００９】
また、本発明の一態様では、前記複数のフィルタの各フィルタは、重み付けされた透過率を有し、前記推定演算部は、前記重み付けされた透過率により得られた受光値に基づいて前記推定を行ってもよい。
【００１０】
また、本発明の一態様では、前記フィルタ部は、前記１つの受光素子に対応するフィルタとして、ベイヤ配列のフィルタを有し、前記ベイヤ配列のフィルタは、第１緑色フィルタと、赤色フィルタと、青色フィルタと、第２緑色フィルタを有し、前記赤フィルタと前記青色フィルタの透過率は、前記第１緑色フィルタの透過率に対して１／ｒ（ｒは１以上の実数）であり、前記第２緑色フィルタの透過率は、前記第１緑色フィルタの透過率に対して１／ｒ２であってもよい。
【００１１】
また、本発明の一態様では、前記フィルタ部は、カラーフィルタと、前記重み付けされた透過率を有するＮＤフィルタと、を有してもよい。
【００１２】
このようにすれば、透過率が重み付けされた複数のフィルタを透過した光を、１つの受光素子で受光できる。これにより、透過率の重み付けがない場合に比べて、より高解像な推定画素値を求めることが可能になる。
【００１３】
また、本発明の一態様では、前記読み出し制御部は、画素を重畳しながら順次画素シフトさせて被写体像をサンプリングし、前記画素シフトしながら前記撮像素子により各撮像動作を行い、前記各撮像動作により得られた前記画素の受光値を低解像フレーム画像として取得してもよい。
【００１４】
また、本発明の一態様では、前記読み出し制御部は、前記画素を、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定して前記画素シフトを行い、前記推定演算部は、前記第１のポジションの画素と前記第２のポジションの画素が重畳する場合に、前記第１のポジションの画素の受光値と前記第２のポジションの画素の受光値の差分値を求め、前記差分値に基づいて前記推定画素値を推定してもよい。
【００１５】
本発明の一態様によれば、画素を重畳しながら順次画素シフトされ、画素シフトされながら撮像素子により各撮像動作が行われて受光値が取得され、低解像フレーム画像が取得される。そして、画素が順次画素シフトされることで得られた複数の受光値に基づいて推定画素値が推定される。このとき、重畳する第１、第２のポジションの画素の受光値の差分値に基づいて推定画素値が推定される。これにより、簡素な処理で低解像動画から高解像画像を取得すること等が可能になる。
【００１６】
また、本発明の一態様では、前記推定演算部は、前記第１のポジションの画素から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの画素から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めてもよい。
【００１７】
このようにすれば、画素が重畳しながら順次画素シフトさせつつ取得された受光値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、高解像フレーム画像の画素値推定を簡素化できる。
【００１８】
また、本発明の一態様では、推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を、前記画素の受光値を用いて表し、中間画素値間の関係式で表された前記中間画素値パターンと前記画素の受光値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる各中間画素値を決定してもよい。
【００１９】
このようにすれば、画素が重畳されながら画素シフトされることで取得された複数の受光値に基づいて、中間画素値を推定できる。
【００２０】
また、本発明の一態様では、前記推定演算部は、中間画素値間の関係式で表された前記中間画素値パターンと前記画素の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように、前記中間画素値パターンに含まれる各中間画素値を決定してもよい。
【００２１】
このようにすれば、評価関数の値が最小となるように中間画素値の値を決定することで、中間画素値パターンと受光値の類似性が最も高くなるように中間画素値の値を決定できる。
【００２２】
また、本発明の他の態様は、撮像素子が複数の受光素子とフィルタ部を有する撮像素子における画像生成方法であって、前記フィルタ部に、１つの受光素子に対応するフィルタとして、異なる色の複数のフィルタが配列される場合に、前記複数の受光素子の受光値を読み出して低解像フレーム画像を取得し、前記低解像フレーム画像に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定し、前記推定画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像生成方法に関係する。
【００２３】
また、本発明のさらに他の態様では、画素を重畳しながら順次画素シフトさせて被写体像をサンプリングし、前記画素シフトしながら前記撮像素子により各撮像動作を行い、前記各撮像動作により得られた前記画素の受光値を低解像フレーム画像として取得し、前記画素を、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定して前記画素シフトを行い、前記第１のポジションの画素と前記第２のポジションの画素が重畳する場合に、前記第１のポジションの画素の受光値と前記第２のポジションの画素の受光値の差分値を求め、前記差分値に基づいて前記推定画素値を推定してもよい。
【図面の簡単な説明】
【００２４】
【図１】本実施形態の撮像素子の構成例。
【図２】撮像素子の第１の詳細な構成例。
【図３】撮像素子の第２の詳細な構成例。
【図４】撮像素子の第３の詳細な構成例。
【図５】ＮＤフィルタの詳細な構成例。
【図６】撮像素子の第４の詳細な構成例。
【図７】撮像装置の基本構成例。
【図８】推定処理ブロックの説明図。
【図９】図９（Ａ）は、受光値の説明図であり、図９（Ｂ）は、中間画素値の説明図。
【図１０】第１の推定手法における中間画素値の推定手法の説明図。
【図１１】第１の推定手法における中間画素値の推定手法の説明図。
【図１２】第１の推定手法における中間画素値の推定手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）は、第１の推定手法における推定画素値の推定手法の説明図。
【図１４】第１の推定手法における推定画素値の推定手法の説明図。
【図１５】第１の推定手法における推定画素値の推定手法の説明図。
【図１６】第１の推定手法における推定画素値の推定手法の説明図。
【図１７】第２の推定手法の説明図。
【図１８】第２の推定手法の説明図。
【図１９】第２の推定手法の説明図。
【図２０】第２の推定手法の説明図。
【図２１】第２の推定手法における探索範囲設定の説明図。
【図２２】第２の推定手法の概要説明図。
【図２３】第３の推定手法の説明図。
【図２４】第３の推定手法の概要説明図。
【図２５】第４の推定処理の説明図。
【図２６】ノイズフィルタの構成例。
【図２７】受光値の第１の補間手法の説明図。
【図２８】補間処理のタイミングチャート例。
【図２９】受光値の第２の補間手法の説明図。
【図３０】受光値の第２の補間手法の説明図。
【図３１】フュージョンフレームに対する動き補償の説明図。
【図３２】撮像装置と画像処理装置の第１の詳細な構成例。
【図３３】撮像装置と画像処理装置の第２の詳細な構成例。
【図３４】図３４（Ａ）は、第５の推定手法における受光値の説明図であり、図３４（Ｂ）は、第５の推定手法における中間画素値の説明図。
【図３５】第５の推定手法における中間画素値の推定手法の説明図。
【図３６】第５の推定手法における中間画素値の推定手法の説明図。
【図３７】第５の推定手法における中間画素値の推定手法の説明図。
【図３８】第５の推定手法における推定画素値の推定手法の説明図。
【図３９】第６の推定手法における中間画素値の推定手法の説明図。
【図４０】第６の推定手法における中間画素値の推定手法の説明図。
【図４１】第６の推定手法における中間画素値の推定手法の説明図。
【図４２】第６の推定手法における推定画素値の推定手法の説明図。
【図４３】第６の推定手法における推定画素値の推定手法の説明図。
【図４４】第６の推定手法における推定画素値の推定手法の説明図。
【発明を実施するための形態】
【００２５】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２６】
１．比較例
まず、本実施形態の比較例について説明する。デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。これらのカメラでは、静止画撮影モードと動画撮影モードを切り換えて使用するものが多い。中には、動画撮影並の高速フレームレートにより高精細静止画を撮影可能とするものがあり、短時間の高速連写が可能である。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
【００２７】
しかしながら、これらの手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れてしまったり、ユーザが気づいたときには既に決定的瞬間を逃してしまっているという課題がある。
【００２８】
このシャッターチャンスを逃さないという課題を解決するには、動画撮影により全てのシーンをもれなく撮影しておいて、その中から自由に決定的瞬間を高品位な静止画として得る手法が考えられる。この手法を実現するためには、高精細画像を高速フレームレートにより撮影可能とすることが必要である。
【００２９】
しかしながら、この手法の実現は容易ではない。例えば、１２００万画素の画像を６０ｆｐｓ（ｆｐｓ：フレーム／秒）で連続して撮影するためには、超高速撮像可能な撮像素子、撮像データを超高速処理する処理回路、超高速データ圧縮処理機能、莫大なデータを記録する記録手段が必要になる。このためには、複数撮像素子の使用、並列処理、大規模メモリー、高能力放熱機構などが必要になるが、小型化や低コストが求められる民生用機器においては非現実的である。動画撮影のハイビジョン（２００万画素）程度の解像度の高品位でない静止画であれば実現可能であるが、ハイビジョン程度の解像度では静止画としては不十分である。
【００３０】
また、高フレームレートの動画撮影を行う手法として、多画素で高精細画像が撮影できる高画素イメージセンサを用い、画素の間引き読み出しあるいは隣接画素の加算読出しによって低解像画像化し、１回の読み出しデータを低減することにより実現する手法が考えられる。しかしながら、この手法では、高精細画像を高フレームレートにより撮影することができない。
【００３１】
この課題を解決するためには、高フレームレートで撮影された低解像画像から高解像画像を得る必要がある。低解像画像から高解像画像を得る手法として、例えば、画素シフトにより撮影した低解像画像に対して所謂超解像処理を行い、高解像画像を生成する手法が考えられる。
【００３２】
例えば、その手法として、加算読み出しを用いた手法が考えられる。すなわち、低解像画像を順次位置ずらししながら読み出した後、それら複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を変形させ、高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法などが知られている。
【００３３】
また、超解像処理を用いた手法として、上述の特許文献１に開示された手法がある。この手法では、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、それらの複数低解像画像を合成することにより高解像画像を仮定する。そして、この仮定した高解像画像に対して上記の超解像処理を施し、尤度の高い（尤もらしい）高解像画像を推定する。
【００３４】
しかしながら、これらの手法では、２次元フィルタを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、処理能力やコストの制限がある機器への適用は困難であるという課題がある。例えば、デジタルカメラのような小型携帯撮像装置に適用すると、処理回路の規模が大きくなり、消費電力の増大、大量の熱の発生、コストの大幅アップなどの課題が生じてしまう。
【００３５】
また、上述の特許文献２には、画素シフトさせた複数枚の低解像画像を使って高解像画像を生成する手法が開示されている。この手法では、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する。この画素値の推定では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００３６】
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、副画素の画素値変化が小さく、ほぼそれらの平均値とそれらをカバーする低解像画素値が等しくなる部分を画像から見つけ出している。そのため、初期値の設定に適当な部分が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な部分を探索する処理が必要になってしまう。
【００３７】
２．撮像素子
そこで本実施形態では、色の異なる複数のカラーフィルタが１画素内に配列された撮像素子により撮像する。そして、画素シフト（画素ずらし）により高フレームレートの低解像動画を撮像し、その低解像動画から簡素な画素推定手法で高解像画像を生成する。生成した高解像画像を用いて、動画の中の任意タイミングの高解像静止画を取得したり、高フレームレートの高解像動画を取得する。
【００３８】
なお、本実施形態の撮像素子では一般的なカラー画像は撮像されないが、本明細書では、本実施形態の撮像素子により撮像された被写体像を適宜画像や動画と呼ぶこととする。
【００３９】
ここで、以下では図７〜図４４で後述する画素シフトと推定処理を行う場合を例に説明するが、本実施形態はこれに限定されない。例えば、本実施形態の撮像素子により取得された低解像画像に対して、種々の公知の高解像化手法を適用してもよい。
【００４０】
図１に、本実施形態の撮像素子の構成例を示す。図１は、撮像素子をフィルタ部ＣＦ側から平面視した場合の模式図である。撮像素子は、フィルタ部ＣＦ、受光素子ＰＤ１〜ＰＤ４（受光領域）を含む。
【００４１】
受光素子ＰＤ１〜ＰＤ４は、フィルタ部ＣＦを透過した光の光電変換を行う素子であり、例えばフォトダイオードやフォトトランジスターである。例えば、受光素子ＰＤ１〜ＰＤ４は、水平走査方向と垂直走査方向に沿ってマトリックス状に配列される。なお以下では受光素子ＰＤ１を例に説明するが、他の受光素子についても同様である。
【００４２】
受光素子ＰＤ１に対応するフィルタ部は、複数色のフィルタｃｆ１〜ｃｆ４で構成される。フィルタｃｆ１〜ｃｆ４は、全て異なる色であってもよいし、一部同色であってもよい。このフィルタｃｆ１〜ｃｆ４と受光素子ＰＤ１により撮像素子の画素が構成される。図７で後述するように、本実施形態では機械的な画素シフトが行われ、図９（Ａ）で後述するように、画素シフトしながら画素の受光値ａ００，ａ１０，ａ１１，ａ０１を順次取得する。
【００４３】
３．撮像素子の詳細な構成例
図２に、撮像素子の第１の詳細な構成例を示す。図２のＨ１は１画素の平面視図であり、Ｈ２、Ｈ３は側面図である。図２に示す撮像素子は、第１緑色フィルタｇｒ、赤色フィルタｒ、青色フィルタｂ、第２緑色フィルタｇｂ、受光素子ＰＤ１を含む。
【００４４】
フィルタｇｒ，ｒ，ｂ，ｇｂは、それぞれＧ（グリーン），Ｒ（レッド），Ｂ（ブルー），Ｇ（グリーン）を透過する原色系フィルタである。フィルタｇｒ，ｒ，ｂ，ｇｂの透過光による受光値を便宜的にｖ００，ｖ１０，ｖ０１，ｖ１１とすると、受光素子ＰＤ１の受光値はａ００＝ｖ００＋ｖ１０＋ｖ０１＋ｖ１１と表される。
【００４５】
図７〜図４４で後述する推定処理を行うと、例えば３メガピクセルの撮像素子を利用して１２メガピクセルの画像が得られる。上述の受光値ｖ００，ｖ１０，ｖ０１，ｖ１１は、１２メガピクセルの画像の画素値に対応する。具体的には、受光値ｖ００，ｖ１０，ｖ０１，ｖ１１の加算は、下式（１），（５）で後述する中間画素値や推定画素値の加算に対応する。すなわち、複数のフィルタｇｒ，ｒ，ｂ，ｇｂを透過した光を共通の受光素子ＰＤ１で受光するため、複数受光値の加算が画素内で行われる。
【００４６】
本実施形態では、後述する推定処理によりＧｒ，Ｒ，Ｂ，Ｇｂのモザイク画像が求められる。このモザイク画像に対してデモザイキング処理を行うことで、高解像なカラー画像が得られる。
【００４７】
本実施形態によれば、複数のフィルタに対して受光素子を共通化するため、プロセスルール（配線幅）が同じ場合には画素が大きくなることで相対的に開口率を向上可能である。また、開口率が向上することで感度を向上できる。また、画素が大きくなることでセンサを製造する際の歩留まりを向上できる。
【００４８】
図３に、撮像素子の第２の詳細な構成例を示す。図３に示す撮像素子は、第１緑色フィルタｇ１、赤色フィルタｒ１／ｒ、青色フィルタｂ１／ｒ、第２緑色フィルタｇｂ１／ｒ２、受光素子ＰＤ１を含む。
【００４９】
フィルタｇ１，ｒ１／ｒ，ｂ１／ｒ，ｇｂ１／ｒ２は、個別に透過率が設定されている。具体的には、フィルタｒ１／ｒ，ｂ１／ｒの透過率は、フィルタｇｂ１の透過率に対して１／ｒ（ｒは、ｒ≧１の実数）の重み付けがされている。フィルタｇｂ１／ｒ２の透過率は、フィルタｇｂ１の透過率に対して１／ｒ２の重み付けがされている。すなわち、受光素子ＰＤ１の受光値はａ００＝ｖ００＋（１／ｒ）ｖ１０＋（１／ｒ）ｖ０１＋（１／ｒ２）ｖ１１と表される。例えば、透過率の重み付けは、カラーフィルタの色素濃度や、カラーフィルタの厚さを変えることで実現できる。
【００５０】
本実施形態によれば、より高解像な推定画素値を推定可能になる。具体的には、被写体像のサンプリングにおいて、画素開口をコンボリューションの窓関数と考えることができる。上記の重み付けがされた場合、重み付けされない場合（ｒ＝１）に比べてより高周波成分の多い窓関数となる。そのため、受光値ａ００にも高周波成分がより多く含まれ、その受光値ａ００から推定された画素値もより高解像となる。
【００５１】
また、本実施形態によれば、重み付け加算の重み付け係数をカラーフィルタの透過率により設定できるため、重み付け加算のための回路やソフトウエアを削減できる。具体的には、受光素子の外部において電気信号で加算する場合には、アナログ方式ではアンプのゲインを重み付けに応じたものに設定する必要があり、デジタル方式では割り算やビットシフトなどの計算を行う必要がある。そのため、回路規模の増加や演算速度の低下が発生する。この点、本実施形態では、重み付けを各カラーフィルタの透過率で設定するため、そのような問題が発生しない。
【００５２】
図４に、撮像素子の第３の詳細な構成例を示す。図４に示す撮像素子は、第１緑色フィルタｇｒ、赤色フィルタｒ、青色フィルタｂ、第２緑色フィルタｇｂ、ＮＤ（Neutral Density）フィルタＮＦ、受光素子ＰＤ１を含む。
【００５３】
ＮＤフィルタＮＦは、全波長域（例えば可視光帯域）に対して比較的一定の透過率を示すフィルタである。本実施形態では、上述の重み付けをＮＤフィルタＮＦにより行う。図５にＮＤフィルタＮＦの詳細な構成例を示す。ＮＤフィルタＮＦは、第１〜第４フィルタｎｄ１〜ｎｄ４を含む。フィルタｎｄ１〜ｎｄ４は、それぞれフィルタｇｒ，ｒ，ｂ，ｇｂと平面視において重なっている。フィルタｇｒ，ｒ，ｂ，ｇｂの透過率は、全て重み付け１である。フィルタｎｄ２，ｎｄ３の透過率は、フィルタｎｄ１の透過率に対して１／ｒの重み付けがされている。フィルタｎｄ４の透過率は、フィルタｎｄ１の透過率に対して１／ｒ２の重み付けがされている。
【００５４】
なお本実施形態では、フィルタＮＦはＮＤフィルタに限定されず、波長の選択を目的としないフィルタであればよい。
【００５５】
本実施形態によれば、波長選択用のＲＧＢフィルタｇｒ，ｒ，ｂ，ｇｂを、従来と同じ手法で製造することが可能である。そのため、重み付け加算を行うために特別にカラーフィルタの材質やプロセスを用意する必要がない。また、透過率の制御を目的としたＮＤフィルタは、広く知られ利用されているフィルタであるため、重み付けの実現が容易である。
【００５６】
図６に、撮像素子の第４の詳細な構成例を示す。図６に示す撮像素子は、シアンフィルタｃ、マゼンダフィルタｍ、イエローフィルタｙ、緑色フィルタｇ、受光素子ＰＤ１を含む。
【００５７】
フィルタｃ，ｍ，ｙ，ｇは、Ｃ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）、Ｇ（グリーン）を透過する補色系フィルタである。本実施形態では、後述の推定処理により、Ｃ，Ｍ，Ｙ，Ｇのモザイク画像が求められる。このモザイク画像に対してＲＧＢ変換やデモザイキング処理を行うことで、高解像なカラー画像が得られる。なお、上述のように透過率の重み付けを行うことも可能である。すなわち、カラーフィルタの透過率を調整してもよいし、ＮＤフィルタを加えて透過率を調整してもよい。
【００５８】
以上のように本実施形態の撮像装置は、撮像素子と、読み出し制御部と、推定演算部、画像出力部を含む。図１に示すように、撮像素子は、複数の受光素子ＰＤ１〜ＰＤ４と、フィルタ部ＣＦを有する。読み出し制御部は、複数の受光素子ＰＤ１〜ＰＤ４の受光値を読み出して低解像フレーム画像を取得する。推定演算部は、低解像フレーム画像に基づいて、低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する。画像出力部は、推定画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。この場合に、フィルタ部ＣＦには、１つの受光素子ＰＤ１に対応するフィルタとして、異なる色の複数のフィルタｃｆ１〜ｃｆ４が配列される。
【００５９】
本実施形態では、読み出し制御部は、図３２等で後述する重畳シフトサンプリング部１４０に対応する。推定演算部は、図３２等で後述する画素値推定演算部２３０に対応する。画像出力部は、図３２等で後述するアンチエリアシングフィルタ２４０に対応する。なお、フィルタ部ＣＦやフィルタｃｆ１〜ｃｆ４は、カラーフィルタのみから構成されてもよく、カラーフィルタと他のフィルタを含んでもよい。
【００６０】
本実施形態によれば、異なる色の複数のフィルタｃｆ１〜ｃｆ４の透過光を１つの受光素子ＰＤ１で受光できる。これにより、上述のように開口率の向上やセンサ感度の向上が可能になる。また本実施形態によれば、低解像画像を撮像し、その低解像画像から高解像画像を求めることが可能になる。すなわち、受光値に対して後述の推定処理を行うことで高解像画像を推定できる。これにより、撮像画像データのデータ量を削減できるため、ストレージの節約や通信データ量の削減が可能になる。
【００６１】
また本実施形態では、図３に示すように、複数のフィルタの各フィルタは、重み付けされた透過率を有する。図３９〜図４４で後述するように、推定演算部は、重み付けされた透過率により得られた受光値に基づいて推定を行う。
【００６２】
具体的には、フィルタ部ＣＦは、１つの受光素子ＰＤ１に対応するフィルタとして、ベイヤ配列のフィルタを有する。ベイヤ配列のフィルタは、第１緑色フィルタｇ１と、赤色フィルタｒ１／ｒと、青色フィルタｂ１／ｒと、第２緑色フィルタｇｂ１／ｒ２を有する。赤フィルタｒ１／ｒと青色フィルタｂ１／ｒの透過率は、記第１緑色フィルタｇ１の透過率に対して１／ｒである。第２緑色フィルタｇｂ１／ｒ２の透過率は、第１緑色フィルタｇ１の透過率に対して１／ｒ２である。
【００６３】
あるいは図４に示すように、フィルタ部ＣＦは、カラーフィルタｇｒ，ｒ，ｂ，ｇｂと、重み付けされた透過率を有するＮＤフィルタｎｄ１〜ｎｄ４を有してもよい。
【００６４】
このようにすれば、重み付けされた透過率の複数のフィルタを透過した光を、１つの受光素子で受光できる。これにより、上述のように、画素内で重み付け加算を行うことが可能になり、重み付けがない場合に比べて推定画像を高解像化できる。また、ＮＤフィルタを用いた場合には、従来のカラーフィルタを利用可能なため、開発負担を軽減できる。
【００６５】
４．画素シフト
以下では、本実施形態が行う推定処理について詳細に説明する。まず、図７を用いて、本実施形態が行う画素シフトについて説明する。図７には、撮像装置の基本構成例を模式的に示す。この撮像装置は、レンズ４１０（広義には、結像光学系）、撮像素子４２０（センサ、イメージャ）を含む。
【００６６】
レンズ４１０は、被写体Ｏｂｊの像を撮像素子４２０の受光面に結像させる。Ｃ１に示すように、図示しないレンズ駆動部によりレンズ４１０に対して画素シフト制御が行われる。ここで、撮像素子４２０の画素ピッチをｐとする。そうすると、レンズ４１０は、光軸と直交するｘ軸（またはｙ軸）に沿った方向にシフト量ｐ／２（広義には、シフト量ｓ＜ｐ）ずつシフトされる。このとき、レンズ４１０がｐ／２ずつシフトされるのに従って、受光面上の被写体像もシフト量ｐ／２ずつシフトされる。
【００６７】
撮像素子４２０は、レンズ４１０により結像された被写体Ｏｂｊの像を撮像する。具体的には、レンズ４１０のシフト動作ごとに撮像を行って、ｐ／２ずつシフトされた被写体像をサンプリングする。このように、本実施形態では、画素シフトによりｐ／２ずつシフトされた画素ピッチｐの低解像フレーム画像が取得される。
【００６８】
なお、上記構成例では、レンズ４１０がシフト量ｐ／２ずつシフトされる場合を例に説明したが、本実施形態では、撮像素子４２０がシフト量ｐ／２ずつシフトされてもよい。
【００６９】
５．第１の推定手法
本実施形態では、上述のようにして取得された画素ピッチｐの低解像フレーム画像から、画素ピッチｐ／２の画素値を推定し、高解像フレーム画像を生成する。図８〜図１６を用いて、この画素ピッチｐ／２の画素値を推定する手法について説明する。なお、本明細書では簡単のため、撮像素子の画素により取得される画素値を受光値と呼び、推定により得られる画素値を推定画素値と呼ぶ。
【００７０】
図８に、画素推定に用いられる推定処理ブロックの説明図を示す。図８では、低解像フレーム画像の画素を実線の四角で示し、水平方向の画素位置をｉで示し、垂直方向の画素位置をｊで示す（ｉ、ｊは自然数）。
【００７１】
図８に示すように、本実施形態では、ｍ×ｎ画素を１ブロックとする推定処理ブロックＢｋ００、Ｂｋ１０、・・・を設定する。そして、この推定処理ブロック毎に、後述する画素値の推定処理を行う。この推定処理により、ｍ×ｎ画素から２ｍ×２ｎ画素の推定画素値が推定される。なお、以下では簡単のため、ｍ×ｎ＝１×１画素から２×２画素を推定する場合を例に説明する。
【００７２】
図９（Ａ）、図９（Ｂ）に、推定処理に用いる受光値及び中間画素値の説明図を示す。図９（Ａ）に示すように、撮像素子の画素ピッチｐの画素（受光単位）をｐ／２ずつ画素シフトすることで、受光値ａ００、ａ１０、ａ１１、ａ０１（画素値）が順次取得される。本実施形態では、この４つの受光値から画素ピッチｐ／２の推定画素値を推定する。なお、受光値ａ００〜ａ１１は、撮像により取得された受光値そのものであってもよく、後述する時間軸補間により補間された受光値であってもよい。
【００７３】
このとき、図９（Ｂ）に示すように、水平方向の画素ピッチがｐ／２の中間画素値ｂ００〜ｂ２１（中間推定画素値）を受光値ａ００〜ａ１１から推定する。そして、この中間画素値ｂ００〜ｂ２１から、水平垂直方向の画素ピッチがｐ／２の推定画素値を最終的に推定する。
【００７４】
この中間画素値の推定手法について、図１０に示す水平方向の最初の行の中間画素値ｂ００〜ｂ２０を例に説明する。受光値と中間画素値の間には、下式（１）の関係が成り立つ。
ａ００＝ｂ００＋ｂ１０，
ａ１０＝ｂ１０＋ｂ２０ ・・・ （１）
【００７５】
ｂ００を未知数（初期値、基準値）として上式（１）を変形すると、下式（２）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として表すことができる。
ｂ００＝（未知数），
ｂ１０＝ａ００−ｂ００，
ｂ２０＝ｂ００＋δｉ０＝ｂ００＋（ａ１０−ａ００） ・・・ （２）
【００７６】
ここで、下式（３）に示すように、δｉ０は１シフト離れた受光値の差分値であり、中間画素値ｂ２０、ｂ００の差分値に対応する。
δｉ０＝ａ１０−ａ００
＝（ｂ１０＋ｂ２０）−（ｂ００＋ｂ１０）
＝ｂ２０−ｂ００ ・・・ （３）
【００７７】
このようにして、ｂ００を未知数とする高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。このｂ００の関数として表わされた中間画素値の値を決定するためには、未知数ｂ００を求める必要がある。
【００７８】
図１１に示すように、本実施形態では、重畳シフトサンプリング（画素シフト）により検出される画素値によるパターン｛ａ００，ａ１０｝と中間画素値によるパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差が最小になる未知数ｂ００を導出し、導出した未知数ｂ００を最終的な中間画素値ｂ００として設定する。
【００７９】
具体的には、下式（４）に示すように、誤差の評価関数Ｅｊを未知数ｂ００の関数で表す。そして、図１２に示すように、評価関数Ｅｊを最小（極小値）にする未知数ｂ００＝αを探索的に求める（最小二乗法）。
【数１】
【００８０】
上式（４）に示すように、本実施形態では、中間画素値の平均値と、低域周波数成分をもつパターン｛ａ００，ａ１０｝の誤差評価を行う。これにより、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の推定解として高域周波数成分を多く含むパターンが導出されることを抑止できる。すなわち、仮に未知数の推定が不正確となったとしても、低域周波数成分を多く含む画像を生成することになる。そのため、低域周波数成分よりも不自然さが強調され易い高域周波数成分に誤りを含むパターンを生成することを抑止でき、画像としては見た目の自然さを失うことがない。これにより、低域周波数成分に比べて高域周波数成分が小さい自然画像に対して、合理的な画素推定が可能になる。
【００８１】
このようにして、中間画素値ｂ００の値を推定し、推定したｂ００の値を上式（２）に代入して中間画素値ｂ１０、ｂ２０の値を決定する。そして、同様にｂ０１を未知数として２行目の中間画素値ｂ０１〜ｂ２１を推定する。
【００８２】
次に、推定した中間画素値ｂｉｊを用いて最終的な推定画素値ｖｉｊを求める手法について説明する。図１３（Ａ）、図１３（Ｂ）に、中間画素値と推定画素値の説明図を模式的に示す。図１３（Ａ）に示すように、上述の手法で推定した３列の中間画素値ｂ００〜ｂ２１のうち、２列の中間画素値ｂ００〜ｂ１１を用いる。そして、図１３（Ｂ）に示すように、中間画素値ｂ００〜ｂ１１から、最終的な画素ピッチｐ／２の推定画素値ｖ００〜ｖ１２を推定する。
【００８３】
以下では、説明を簡単にするために、図１４に示す１列目の画素値ｖ００〜ｖ０２を例に説明する。画素値ｖ００〜ｖ０２の推定は、上述の中間画素値の推定手法と同様の手法で行う。具体的には、中間画素値ｂ００、ｂ０１は、画素値ｖ００〜ｖ０２を垂直方向に２画素単位で１画素ずつシフトさせながら重畳サンプリングした値と等価である。そのため、中間画素値と推定画素値の間には、下式（５）の関係が成り立つ。
ｂ００＝ｖ００＋ｖ０１，
ｂ０１＝ｖ０１＋ｖ０２ ・・・ （５）
【００８４】
下式（６）に示すように、画素値ｖ０１、ｖ０２を未知数ｖ００の関数として表すことができる。
ｖ００＝（未知数），
ｖ０１＝ｂ００−ｖ００，
ｖ０２＝ｖ００＋δｊ０＝ｖ００＋（ｂ０１−ｂ００） ・・・ （６）
【００８５】
ここで、下式（７）に示すように、δｊ０は１シフト離れた中間画素値の差分値であり、画素値ｖ０２、ｖ００の差分値に対応する。
δｉ０＝ｂ０１−ｂ００
＝（ｖ０１＋ｖ０２）−（ｖ００＋ｖ０１）
＝ｖ０２−ｖ００ ・・・ （７）
【００８６】
図１５に示すように、中間画素値によるパターン｛ｂ００，ｂ１０｝と、推定画素値によるパターン｛ｖ００，ｖ０１、ｖ０２｝の誤差が最小になる未知数ｖ００を導出する。すなわち、下式（８）に示すように、誤差を評価関数Ｅｉで表し、図１６に示すように、その評価関数Ｅｉを最小にする未知数ｖ００＝βを探索的に求める。
【数２】
【００８７】
そして、同様の処理により２列目の画素値ｖ１０〜ｖ１２を求め、最終的な推定画素値ｖ００、ｖ０１、ｖ１０、ｖ１１を決定する。なお、本実施形態では、最終推定画素値により構成される画像データに適当なノイズ低減処理を施して表示画像としてもよい。
【００８８】
ここで、上述の実施形態では、未知数ｂ００、ｖ００を探索的に求める場合について説明したが、本実施形態では、未知数ｂ００、ｖ００を直接的に求めてもよい。すなわち、上式（４）に示す誤差Ｅｊの式はｂ００の２次関数式であるので、下式（９）の形に式変形が可能である。そのため、Ｅｊを最小にするｂ００の最小値αを直接的に求められる。ｖ００の最小値βについても同様に求められる。
Ｅｊ＝（ｂ００−α）２＋ξ ・・・ （９）
【００８９】
さて、上述のように、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。また、超解像処理により低解像動画から高解像静止画を合成する手法では、超解像処理が大負荷の処理であることから、処理回路の規模が増大してしまう等の課題がある。
【００９０】
この点、本実施形態によれば、画素を重畳しながら順次画素シフトさせて被写体像がサンプリングされ、画素シフトされながら撮像素子により各撮像動作が行われ、各撮像動作により得られた画素の受光値が低解像フレーム画像として取得される。そして、取得された低解像フレーム画像が記憶され、記憶された複数の低解像フレーム画像に基づいて、低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値が推定される。推定された推定画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像が出力される。このとき、画素シフトされる画素が、第１のポジションと、第１のポジションの次の第２のポジションに順次設定される。第１、第２のポジションの画素は、重畳する。そして、第１、第２のポジションの画素の受光値の差分値が求められ、その差分値に基づいて推定画素値が推定される。
【００９１】
例えば、図７に示すように、撮像素子の画素ピッチｐに対してｐ／２ずつ水平方向または垂直方向にシフトされる。図９（Ａ）に示すように、この画素シフトでは、ｐ／２ずつ画素が重畳される。第１〜第４フレームでは、受光値ａ００、ａ１０、ａ１１、ａ０１を含む低解像フレーム画像が順次取得される。これらの低解像フレーム画像は、例えば図３２に示す撮像装置１０により取得され、画像処理装置２０に入力され、フレームバッファ２１０（記憶部）に記憶される。そして、画素値推定演算部２３０（推定演算部）により、画素ピッチｐよりも小さいピッチｐ／２の推定画素値ｖ００〜ｖ１１が推定され、アンチエリアシングフィルタ２４０（画像出力部）により高解像フレーム画像が出力される。このとき、図９（Ａ）に示すように、第１、第２フレームでは、受光値ａ００、ａ１０を取得する第１、第２のポジションに画素が設定される。これらの画素は、推定画素ｖ１０、ｖ１１を含む領域において重畳する。そして、図１０等で上述のように、差分値δｉ０＝ａ１０−ａ００が求められ、差分値δｉ０に基づいて推定画素値ｖ００〜ｖ１１が推定される。
【００９２】
これにより、簡素な処理で動画から高解像画像を取得することが可能になる。具体的には、差分値δｉ０により中間画素値を推定することで推定処理を簡素化できる。また、高解像静止画は、低解像動画の任意タイミングのものを生成できるため、ユーザは、決定的瞬間の高解像静止画を容易に得ることができる。また、撮影時には低解像動画（例えば３メガピクセル）を取得することで高フレームレート（例えば６０フレーム）で撮影し、必要に応じて高解像静止画（１２メガピクセル）やハイビジョン動画を表示できる。また、デジタルズームの場合には、画素数の低下を推定処理により補って高精細なズーム画像を生成できる。
【００９３】
より具体的には、本実施形態では、第１のポジションの画素から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、第２のポジションの画素から重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式が、差分値を用いて表される。そして、その関係式を用いて第１、第２の中間画素値が推定され、推定された第１の中間画素値を用いて画素の各画素の画素値が求められる。
【００９４】
例えば、図９（Ａ）、図９（Ｂ）で上述のように、第１の受光領域は、第１の中間画素値ｂ００を取得する領域に対応する。また、第２の受光領域は、第２の中間画素値ｂ２０を取得する領域に対応する。そして、図１０で上述のように、差分値δｉ０を用いて関係式ｂ２０＝ｂ００＋δｉ０が求められる。図１１で上述のように、未知数ｂ００が推定され、関係式を用いてｂ２０が推定される。図１３（Ａ）等で上述のように、ｂ００を用いて、推定画素値ｖ００、ｖ０１が求められる。
【００９５】
このようにすれば、重畳シフトされた受光値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、上述の比較例に比べて、２次元フィルタの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【００９６】
また、本実施形態では、第１、第２の中間画素値を含む連続する（連続する順番の）中間画素値を中間画素値パターンとする場合に、中間画素値パターンの中間画素値間の関係式が画素の受光値を用いて表される。そして、中間画素値パターンと受光値パターン（画素の受光値）とを比較して類似性が評価され、その評価結果に基づいて、類似性が最も高くなるように中間画素値パターンの中間画素値の値が決定される。
【００９７】
例えば、図１１で上述したように、連続する中間画素値｛ｂ００、ｂ１０、ｂ２０｝が中間画素値パターンに対応し、上式（２）で上述のように、｛ｂ００、ｂ１０、ｂ２０｝間の関係式が受光値ａ００、ａ１０を用いて表される。そして、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝を比較し、評価関数Ｅｊで表される類似性が最も高くなるように｛ｂ００、ｂ１０、ｂ２０｝の値が決定される。
【００９８】
ここで、中間画素値パターンとは、水平方向（または垂直方向）に連続する中間画素値の集合である。また、受光値パターンとは、推定処理に用いる複数の低解像フレーム画像において、水平方向（または垂直方向）に連続する受光値の集合である。
【００９９】
このようにすれば、画素が重畳されながら画素シフトされることで取得された複数の受光値に基づいて、中間画素値を推定できる。
【０１００】
より具体的には、本実施形態では、中間画素値間の関係式で表された中間画素値パターンと受光値パターンとの誤差を表す評価関数が求められる。そして、その評価関数の値が最小となるように中間画素値パターンの中間画素値の値が決定される。
【０１０１】
例えば、上式（４）等で上述のように、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝が未知数ｂ００の関数として表され、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝との誤差が評価関数Ｅｊで表される。図１２で上述のように、評価関数Ｅｊの値が最小となる未知数ｂ００＝α（初期値）が求められ、求められたｂ００によりｂ００〜ｂ２０の値が決定される。
【０１０２】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。これにより、上述の比較例（特許文献２）と比べて、初期値設定に適当な画像部分の探索を不要にできる。
【０１０３】
６．第２の推定手法
図９（Ｂ）等で上述のように、中間画素値ｂ００、ｂ１０に設定された推定処理ブロックでは、中間画素値ｂ２０まで推定される。このｂ２０は、中間画素値ｂ２０、ｂ３０に設定された次の推定処理ブロックでの未知数（初期変数）に当たる。本実施形態では、既に推定された中間画素値ｂ２０を利用して、次に推定する未知数ｂ２０の推定を高速化することができる。
【０１０４】
図１７〜図２１を用いて、未知数の推定を高速化できる第２の推定手法について説明する。以下では、中間画素値（ｂ２０等）の推定を例に説明するが、推定画素（ｖ０２等）についても同様に推定できる。
【０１０５】
図１７に示すように、重畳シフトサンプリングにより検出される水平方向の最初の行において、受光値ａ００、ａ１０に注目すると下式（１０）が成り立つ。
ａ００＝ｂ００＋ｂ１０，
ａ１０＝ｂ１０＋ｂ２０ ・・・ （１０）
【０１０６】
ｂ００を未知数として下式（１１）が成り立つ。
ｂ００＝（未知数），
ｂ１０＝ａ００−ｂ００，
ｂ２０＝ｂ００＋δｉ０＝ｂ００＋（ａ１０−ａ００） ・・・ （１１）
【０１０７】
ここで、δｉ０は、下式（１２）で表される。
δｉ０＝ａ１０−ａ００
＝（ｂ１０＋ｂ２０）−（ｂ００＋ｂ１０）
＝ｂ２０−ｂ００ ・・・ （１２）
【０１０８】
図１８に示すように、受光値パターン｛ａ００，ａ１０｝と中間画素値パターンφ０＝｛ｂ００，ｂ１０，ｂ２０｝を比較する。具体的には、下式（１３）に示すように、誤差の評価関数Ｅｊを未知数ｂ００の関数で表す。そして、図１９に示すように、評価関数Ｅｊを最小にする未知数ｂ００＝α１を探索的に求め、上式（１１）により中間画素値ｂ１０、ｂ２０の値を決定する。
【数３】
【０１０９】
同様に、水平方向における次の未知数ｂ２０（初期変数）を求め、中間画素値パターンφ２＝｛ｂ２０，ｂ３０，ｂ４０｝を求める。すなわち、図２０に示すように、受光値ａ２０、ａ３０に注目すると下式（１４）が成り立つ。
ａ２０＝ｂ２０＋ｂ３０，
ａ３０＝ｂ３０＋ｂ４０ ・・・ （１４）
【０１１０】
ｂ２０を未知数として下式（１５）が成り立つ。
ｂ２０＝（未知数），
ｂ３０＝ａ２０−ｂ２０，
ｂ４０＝ｂ２０＋δｉ２＝ｂ２０＋（ａ３０−ａ２０） ・・・ （１５）
【０１１１】
ここで、δｉ２は１シフト離れた受光値の差分値であり、下式（１６）で表される。
δｉ２＝ａ３０−ａ２０
＝（ｂ３０＋ｂ４０）−（ｂ２０＋ｂ３０）
＝ｂ４０−ｂ２０ ・・・ （１６）
【０１１２】
次に、図２０に示すように、受光値パターン｛ａ２０，ａ３０｝と中間画素値パターンφ２＝｛ｂ２０，ｂ３０，ｂ４０｝を比較する。
【０１１３】
具体的には、下式（１７）に示すように、誤差の評価関数Ｅｊを未知数ｂ２０の関数で表す。このとき、中間画素値ｂ００〜ｂ２０の推定によりｂ２０の値が既に求められていることを利用して、図２１に示すように、この既に求められたｂ２０（＝α１＋δｉ０）の近傍値の範囲を探索範囲に設定する。そして、その探索範囲内で未知数ｂ２０を変化させ、評価関数Ｅｊが最小となるｂ００＝α２を求める。このようにすれば、下式（１７）の演算回数を格段に低減し、推定処理の高速化を図ることができる。
【数４】
【０１１４】
上記の本実施形態によれば、図２２に示すように、第１の画素（第１の受光単位）と第２の画素（第２の受光単位）が隣接する画素である。そして、画素シフトにより第１、第２の画素が、第１のポジションと、第１のポジションの次の第２のポジションに順次設定される。第１、第２のポジションの第１の画素が第１の重畳領域で重畳し、第１、第２のポジションの第２の画素が第２の重畳領域で重畳する。
【０１１５】
このとき、第１のポジションの第１の画素から第１の重畳領域を除いた領域が、第１の受光領域である。また、第２のポジションの第１の画素から第１の重畳領域を除いた領域が、第２の受光領域である。そして、この第１、第２の受光領域の受光値である第１、第２の中間画素値（例えば、ｂ００、ｂ２０）が推定される（ｂ００＝α１、ｂ２０＝α１＋δｉ０）。
【０１１６】
また、第１のポジションの第２の画素から第２の重畳領域を除いた領域が、第３の受光領域である。また、第２のポジションの第２の画素から第２の重畳領域を除いた領域が、第４の受光領域である。そして、この第３の受光領域の受光値である第３の中間画素値（ｂ２０）が未知数とされ、第４の受光値である第４の中間画素値（ｂ４０）が未知数（ｂ２０）を用いた関係式（ｂ４０＝ｂ２０＋δｉ２）で表される。
【０１１７】
そして、第３の受光領域と第２の受光領域は同じ領域であり、第２の受光領域の中間画素値として先に求めた第２の中間画素値（ｂ２０＝α１＋δｉ０）に基づいて、第３の中間画素値である未知数（ｂ２０）の探索範囲が設定される。設定された探索範囲において未知数（ｂ２０）が探索的に求められ、第３の中間画素値（ｂ２０＝α２）が推定される。
【０１１８】
このようにすれば、中間画素値の高速推定が可能になる。すなわち、先に求めた第２の中間画素値（ｂ２０＝α１＋δｉ０）に基づいて、次の推定処理ブロックで推定する未知数（ｂ２０）の探索範囲を設定できる。これにより、未知数（ｂ２０）を探索する範囲を限定し、探索回数を削減できる。
【０１１９】
７．第３の推定手法
上述の実施形態では、未知数（ｂ００、ｂ２０等）を１回だけ推定するが、本実施形態では、未知数を複数回推定し、その複数の推定値に基づいて未知数の値を高精度に決定してもよい。図２３を用いて、複数の推定値から未知数の値を決定する第３の推定手法について説明する。以下では、中間画素値（ｂ２０）を例に説明するが、推定画素値（ｖ０２等）も同様に推定できる。
【０１２０】
図２３に示すように、重畳シフトサンプリングにより検出される水平方向の受光値において、まず｛ａ００，ａ１０｝から高精細な中間画素値φ０＝｛ｂ００，ｂ１０，ｂ２０｝を求める。この中間画素値φ０＝｛ｂ００，ｂ１０，ｂ２０｝は、上式（１０）〜（１３）の手法と同様の手法により求める。
【０１２１】
次に、上式（１４）〜（１７）の手法と同様の手法により、｛ａ１０，ａ２０｝から高精細な中間画素値φ１＝｛ｂ１０，ｂ２０，ｂ３０｝を求める。また、上式（１４）〜（１７）の手法と同様の手法により、｛ａ２０，ａ３０｝から高精細な中間画素値φ２＝｛ｂ２０，ｂ３０，ｂ４０｝を求める。
【０１２２】
これら３回の推定において、中間画素値ｂ２０は、集合φ０，φ１，φ２のそれぞれに表れる。そのため、３回の推定により中間画素値ｂ２０の３つの推定値が得られることになる。本実施形態では、これら３つの推定値から最終的な中間画素値ｂ２０の値を決定（判定）する。例えば、以下の第１〜第４の決定手法により最終的な中間画素値ｂ２０の値を決定できる。
【０１２３】
第１の決定手法では、３つのｂ２０の候補値の平均値をｂ２０の最終決定値とする。
【０１２４】
第２の決定手法では、３つのｂ２０の候補値の内、差分が最も小さい２つの値を特定し、特定された２つの値の平均値をｂ２０の最終決定値とする。この手法によれば、値の近い２つの推定値を確からしい推定値とし、未知数の推定精度を向上できる。
【０１２５】
第３の決定手法では、既知の多数の高解像画像サンプルの画素値を加算し、受光値と中間画素値を求める。求めた受光値と中間画素値から、受光値パターンに対して発生確率が高い中間画素値パターンを予め特定しておく。そして、その予め特定した対応関係を参照して、撮影により取得された受光値パターンに対して発生確率が高い中間画素値パターンを求める。３つの中間画素値パターンφ０，φ１，φ２のうち、求めた中間画素値パターンに最も近いものを判定し、判定した中間画素値パターンの要素であるｂ２０を最も確からしいものとして、ｂ２０の最終決定値とする。この手法によれば、自然画像等の既知の画像を反映した画素値推定を行うことができる。
【０１２６】
第４の決定手法では、３つのｂ２０の導出に関わる近傍観測画素値ａ００〜ａ３０の差分値δｉ０，δｉ１，δｉ２の変化の度合いによって、最終的に採用するｂ２０を決定する。ここで、ｂ２０の判定に適用する変化の度合いの組合せパターンをξ＝｛δｉ０，δｉ１，δｉ２｝とする。既知の多数の高解像画像サンプルの画素値を加算し、φ０，φ１，φ２の要素パターンと組み合わせパターンξを求める。求めた要素パターンと組み合わせパターンξから、組合せパターンξに対するｂ２０の発生確率分布を予め求めておく。最終判定では、予め求めた発生確率分布を参照して、撮像した画像から求めた差分値のパターンξに対するｂ２０の発生確率分布を求める。そして、その発生確率分布を用いて、推定演算により得た３つのｂ２０の候補値のどれが最も発生する確率が高いかを判定し、ｂ２０を特定する。すなわち、変化の度合いの組合せパターンξに対するｂ２０の発生する値の確率が予め分っているため、推定処理における組合せパターンξを用いて、推定によって得られた３つのｂ２０の候補値の中から最も確からしいｂ２０の値を決定できる。この手法によれば、自然画像等の既知の画像を反映した画素値推定を行うことができる。また、画素値の大きさに依らず、画素値の変化の度合いに応じた画素値推定を行うことができる。
【０１２７】
上記の本実施形態によれば、図２４に示すように、第１の画素（第１の受光単位）と第２の画素（第２の受光単位）が隣接する画素である。そして、画素シフトにより第１、第２の画素が、第１のポジションと、第１のポジションの次の第２のポジションに順次設定される。第１、第２のポジションの第１の画素が第１の重畳領域で重畳し、第１、第２のポジションの第２の画素が第２の重畳領域で重畳する。
【０１２８】
このとき、第１のポジションの第１の画素から第１の重畳領域を除いた領域が、第１の受光領域である。また、第２のポジションの第１の画素から第１の重畳領域を除いた領域が、第２の受光領域である。そして、この第１、第２の受光領域の受光値である第１、第２の中間画素値（例えば、ｂ００、ｂ２０）を含む連続する中間画素値である第１の中間画素値パターン（φ０＝｛ｂ００、ｂ１０、ｂ２０｝）が推定される。
【０１２９】
第１のポジションの第２の画素から第２の重畳領域を除いた領域が、第３の受光領域である。また、第２のポジションの第２の画素から第２の重畳領域を除いた領域が、第４の受光領域である。そして、この第３、第４の受光領域の受光値である第３、第４の中間画素値（ｂ２０、ｂ４０）を含む連続する中間画素値である第２の中間画素値パターン（φ２＝｛ｂ２０、ｂ３０、ｂ４０｝）が推定される。
【０１３０】
第２のポジションの第１の画素と第１のポジションの第２の画素との重畳領域が、第５の受光領域である。そして、この第５の受光領域の受光値である第５の中間画素値（ｂ２０）を含み、第１、第４の中間画素値（ｂ００、ｂ４０）を含まない連続する中間画素値である第３の中間画素値パターン（φ１＝｛ｂ１０、ｂ２０、ｂ３０｝）が推定される。
【０１３１】
上記の第３、第５の受光領域は、第２の受光領域と同一の受光領域である。そして、この同一の受光領域の中間画素値（ｂ２０）が、第１〜第３の中間画素値パターン（φ０、φ２、φ１）の推定により得られた第２、第３、第５の中間画素値（ｂ２０）に基づいて最終的に決定される。
【０１３２】
このようにすれば、画素値の高精度推定が可能になる。すなわち、３回（複数回）推定することで求めた３つ（複数）の推定値に基づいて、最終的な画素値を決定できる。例えば、上述のように既知の画像を利用した決定手法を用いることで、より実際の画像の画素値パターンに即した画素値推定が可能になる。
【０１３３】
８．第４の推定手法
上述の推定手法では、最小二乗法を用いて画素値を推定するが、本実施形態では、ニューラルネットワーク（非線形の推定手法）を用いて画素値を推定してもよい。図２５を用いて、この第４の推定手法について説明する。以下では、中間画素値（ｂ００等）の推定について説明するが、推定画素値（ｖ００等）も同様に推定できる。
【０１３４】
この推定手法では、既知の高解像画像の画素値を加算して、受光値｛ａｍ０，ａ（ｍ＋１）０｝と、この受光値に対応する中間画素値φｍ＝｛ｂｍ０，ｂ（ｍ＋１）０，ｂ（ｍ＋２）０｝を求める（ｍはゼロ以上の整数）。これらを学習データとして、図２５に示すニューラルネットワークの学習計算により重み係数Ｗを予め算出しておく。具体的には、下式（１８）に示す誤差評価値Ｅがゼロ（略ゼロを含む。広義には所定値）になるように重み係数Ｗを算出しておく。このニューラルネットワークの学習手法は、一般的なニューラルネットワーク学習法を用いればよい。
【０１３５】
そして、撮影画像から推定する際には、予め算出しておいた重み係数Ｗを用いて推定を行う。すなわち、上式（２）等で説明した手法により中間画素値の関係式を表し、未知数ｂｍ０を変化させ、下式（１８）に示す誤差評価値Ｅが最小になるｂｍ０（＝α）を求める。
【数５】
【０１３６】
上記実施形態によれば、画素の受光値｛ａｍ０，ａ（ｍ＋１）０｝に対する中間画素値パターンφｍ＝｛ｂｍ０，ｂ（ｍ＋１）０，ｂ（ｍ＋２）０｝の対応関係が、既知の高解像フレーム画像に基づいて、画素の受光値と中間画素値パターンの類似性をあらかじめ定める先見情報として取得される。そして、取得された先見情報に基づいて、中間画素値間の関係式で表された中間画素値パターンφｍ＝｛ｂｍ０，ｂ（ｍ＋１）０，ｂ（ｍ＋２）０｝と、取得された画素の受光値｛ａｍ０，ａ（ｍ＋１）０｝との類似性が評価される。
【０１３７】
このようにすれば、既知の高解像フレーム画像に基づいて取得された先見情報に基づいて類似性が評価されるため、自然画像等の既知の画像に含まれる画像情報（例えば空間周波数特性）を反映した画素値推定を行うことができる。
【０１３８】
例えば、上記第４の推定手法によれば、画像処理装置は、ニューラルネットワークを有する。このニューラルネットワークは、先見情報として、既知の高解像フレーム画像に基づく学習によって得られたノードの重み係数Ｗを用いる。そして、ニューラルネットワークは、中間画素値パターンφｍ＝｛ｂｍ０，ｂ（ｍ＋１）０，ｂ（ｍ＋２）０｝と画素の受光値｛ａｍ０，ａ（ｍ＋１）０｝を受けて、類似性の評価結果Ｅを出力する。このニューラルネットワークからの類似性の評価結果Ｅに基づいて、中間画素値パターンφｍ＝｛ｂｍ０，ｂ（ｍ＋１）０，ｂ（ｍ＋２）０｝の各中間画素値の値が決定される。
【０１３９】
このようにすれば、学習によって得られたノードの重み係数Ｗを用いるニューラルネットワークにより、中間画素値パターンと画素の受光値との類似性を先見情報に基づいて評価できる。
【０１４０】
また、上述の第３の推定手法によれば、受光値パターンに対して発生確率が高い中間画素値パターンを先見情報として求める（第３の決定手法）。また、変化の度合いの組合せパターンξ＝｛δｉ０，δｉ１，δｉ２｝に対するｂ２０の発生確率分布を先見情報として求めてもよい（第４の決定手法）。
【０１４１】
このようにすれば、画素値の発生確率分布を先見情報として画素値を推定できる。これにより、自然画像等の既知の画像で発生確率の高い画素値を推定値にできる。
【０１４２】
９．適応ノイズ低減処理
本実施形態では、推定された画素値ｖｉｊに対して、画素位置に応じたノイズフィルタ処理（広義にはフィルタ処理）を行ってもよい。図２６に、ノイズフィルタの構成例を示す。
【０１４３】
例えば、画素シフトによる重畳シフトサンプリングにより画素推定を行った場合、最終推定画素ｖｉｊ〜ｖ（ｉ＋１）（ｊ＋１）の位置によってノイズの出方が異なる。そこで、図２６に示すように、固定階調のベタ画像（固定階調チャート）を撮像し、その撮像画像に対して推定処理を行い、推定した異なる位置の最終推定画素ｖｉｊ〜ｖ（ｉ＋１）（ｊ＋１）をノイズ比較部ＮＨにより比較する。そして、比較した結果に基づいて、生成ノイズの大きい画素位置のノイズフィルタＦ１〜Ｆ４のノイズ低減効果を強くするように、フィルタ係数設定部ＦＫによりフィルタ係数を設定する。結果的に、ｖｉｊ〜ｖ（ｉ＋１）（ｊ＋１）の位置に依らずノイズの出方が同じ（ほぼ同様）になるように、フィルタ係数を設定する。このようにしてフィルタ係数を設定したフィルタ処理を行うことで、予測画素画像の画像品質を高めることができる。
【０１４４】
上記のノイズフィルタ処理によれば、推定により得られた推定画素値ｖｉｊ〜ｖ（ｉ＋１）（ｊ＋１）に対して、推定画素の画素位置に応じて異なるフィルタ係数のフィルタ処理が行われる。
【０１４５】
このようにすれば、推定画素の画素位置によって異なるノイズが発生する場合でも、推定画素の画素位置に応じたノイズフィルタ処理を行うことで、そのノイズを低減することができる。
【０１４６】
１０．第１の補間手法
本実施形態では、画素値の推定に用いる受光値（ａ００等）として、重畳サンプリングにより取得された受光値をそのまま用いてもよく、補間により生成された受光値を用いてもよい。図２７、図２８を用いて、本実施形態における受光値の補間手法について説明する。図２７には、第１の補間手法の説明図を示す。
【０１４７】
なお、以下の説明で用いるフレームとは、例えば撮像素子により１つの低解像フレーム画像が撮影されるタイミングや、画像処理において１つの低解像フレーム画像が処理されるタイミングである。あるいは、画像データにおける１つの低解像フレーム画像や高解像フレーム画像も適宜フレームと呼ぶ。
【０１４８】
この第１の補間手法では、他のフレームで取得された受光値を用いて補間対象のフレームの受光値を補間する（時間軸補間）。
【０１４９】
具体的には、図２７のＡ１に示すように、フレームｆｘ〜ｆｘ＋３において、受光値ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）、ａｉ（ｊ＋１）を順次取得する。フレームｆｘ＋４では、再び受光値ａｉｊを取得する。すなわち、Ａ２に示すように、受光値ａｉｊで構成される低解像フレーム画像は、４フレーム毎にフレームｆｘ、ｆｘ＋４、ｆｘ＋８、・・・で取得される。Ａ３に示すように、この受光値ａｉｊの時系列データに対して時間軸補間フィルタ処理（フィルタ処理）を行う。そして、Ａ４に示すように、この時間軸補間フィルタ処理により、全フレーム（各フレーム）において受光値ａ’ｉｊが生成される。
【０１５０】
このようにして、各受光値を４フレーム毎に取得し、時間軸補間フィルタ処理を行って、全フレームにおいて受光値ａ’ｉｊ、ａ’（ｉ＋１）ｊ、ａ’（ｉ＋１）（ｊ＋１）、ａ’ｉ（ｊ＋１）を生成する。
【０１５１】
図２８に、補間処理のタイミングチャート例を示す。図２８のＢ１に示すように、各フレームにおいて、画素の設定位置を１／２画素ずつずらす。Ｂ２に示すように、各フレームでフュージョンフレームＦ１、Ｆ２、・・・（低解像フレーム画像。fusion-frame）を撮影する。Ｂ３に示すように、低解像動画フレームを生成し、ライブビュー表示や録画を行う。Ｂ４に示すように、受光値の時間軸補間を行い、補間後の受光値を用いて画素値推定を行い、高解像静止画フレームを生成する。Ｂ５に示すように、全受光値が補間される９フレーム目から高解像静止画や、高解像動画を出力する。
【０１５２】
さて、低解像フレーム画像は画素シフトにより順次取得されるため、画素値推定に用いる受光値が全て取得されるためには４フレーム必要となる。そのため、撮影された受光値をそのまま画素値推定に用いると、異なるフレームの受光値を推定に用いることになり、被写体が動いている場合に画質が劣化する可能性がある。
【０１５３】
この点、上記の実施形態によれば、画素シフトが各フレームｆｘ、ｆｘ＋１、・・・で行われ、画素シフトにより画素が複数のポジション（例えば４ポジション。上述の図２７に示すＰ１〜Ｐ４）に順次設定される。そして、複数のフレーム毎（４フレーム毎）に画素が同じポジションに設定される。このようにして、時系列に各ポジションに対応した受光値ａｉｊ〜ａ（ｉ＋１）（ｊ＋１）が取得され、取得された受光値により低解像フレーム画像が時系列に取得される（連続低解像フレーム画像）。
【０１５４】
取得された連続低解像フレーム画像に対して、複数のポジションＰ１〜Ｐ４の画素の受光値ａ’ｉｊ〜ａ’（ｉ＋１）（ｊ＋１）を補間する処理が行われる。具体的には、補間対象のフレーム（例えばｆｘ＋１）の連続低解像フレーム画像での欠落したポジション（例えばＰ１）の画素の受光値（ａ’ｉｊ）が時間軸補間される。すなわち、受光値（ａ’ｉｊ）は、欠落したポジションと同じポジション（Ｐ１）の、補間対象のフレーム（ｆｘ＋１）の前後のフレーム（ｆｘ、ｆｘ＋４）の連続低解像フレーム画像での画素の受光値（ａｉｊ）を用いて時間軸補間される。
【０１５５】
そして、時間軸補間により補間された連続低解像フレーム画像に基づいて、各フレームｆｘ、ｆｘ＋１、・・・での画素の各画素の画素値ｖｉｊが推定される。
【０１５６】
このようにすれば、画素シフトにより受光値が取得され、取得された受光値を用いて欠落したポジションの受光値を補間し、補間後の受光値から最終推定画素値を求めることができる。これにより、各フレームに全ポジションの受光値を補間できるため、同じフレームでの受光値から画素値推定を行い、被写体が動いている場合でも画質劣化を抑止できる。
【０１５７】
例えば、上記の実施形態では、時間軸補間が時間軸補間フィルタにより行われる。
これにより、各ポジション（例えばＰ１）の受光値（ｆｘ、ｆｘ＋４のａｉｊ）をそれぞれ時間軸補間し、欠落ポジション（ｆｘ＋１〜ｆｘ＋３のＰ１）の受光値（ａ’ｉｊ）を生成できる。
【０１５８】
１１．第２の補間手法
本実施形態では、被写体の動きに応じた適応的な受光値の補間を行ってもよい。図２９、図３０を用いて、適応的な受光値の補間を行う第２の補間手法について説明する。
【０１５９】
第２の補間手法では、動きのない又は小さい部分（受光値）については、近隣前後のフレームの受光値を適用し、動きのある又は大きい部分については、同一フレーム内において近接受光値から重畳シフトした受光値を補間推定する。但し、パンニング（panning）などを行うと全画素に動きがあると判定されるため、事前に動き補償処理を行ってもよい。
【０１６０】
以下では、図２９に示される低解像画像フレームｆｘ〜ｆｘ＋４の中からフレームｆｘ＋１に着目し、このフレームの高解像静止画像を生成する場合を例に説明する。図３０には、説明を簡単にするために、フレームｆｘ＋１において撮像データとして取得した受光値の一部を示す。図３０では、取得した受光値を、ａ１０（ｘ＋１）、ａ（−１）０（ｘ＋１）、ａ（−１）２（ｘ＋１）、ａ１２（ｘ＋１）で示す。
【０１６１】
図３０に示すように、例えばａ１０（ｘ＋１）を構成する４つの高解像画素を求めるには、このａ１０（ｘ＋１）を基準として画素ピッチｐ／２だけシフトした３つの受光値ａ００（ｘ＋１）、ａ０１（ｘ＋１）、ａ１１（ｘ＋１）を補間により求める必要がある。以下では、これらの３つの受光値を求める手法について説明する。
【０１６２】
まず、図２９のＤ１に示すように、ａ００（ｘ＋１）の対応位置で取得された、前後近隣フレームｆｘ、ｆｘ＋４のａ００（ｘ）とａ００（ｘ＋４）を比較する。そして、その差が所定閾値δよりも小さい場合には、フレームｆｘ、ｆｘ＋４の間で、ａ００（ｘ＋１）に対応する画素位置を被写体（動きのある被写体の一部）が通過しなかったと判断する。この場合は、Ｄ２に示すように、ａ００（ｘ＋１）の値としてａ００（ｘ）またはａ００（ｘ＋４）を割当てる。
【０１６３】
一方、ａ００（ｘ）とａ００（ｘ＋４）の差が所定閾値δよりも大きい場合には、フレームｆｘ、ｆｘ＋４の間で、ａ００（ｘ＋１）に対応する画素位置を被写体が通過したと判断する。この場合は、Ｄ３に示すように、同一フレーム内でａ００（ｘ＋１）に近接する受光値ａ１０（ｘ＋１）とａ（−１）０（ｘ＋１）を用いて補間値を求め、ａ００（ｘ＋１）の値とする。例えば、ａ１０（ｘ＋１）とａ（−１）０（ｘ＋１）の平均値をａ００（ｘ＋１）の値とする。但し、本実施形態では、近接した２つの受光値の平均でなく、より多くの周辺の受光値を用いて補間してもよい。
【０１６４】
上記のａ００（ｘ＋１）の補間手法をまとめると、下式（１９）で表される。
｜ａ００（ｘ）−ａ００（ｘ＋４）｜≦δのとき、
ａ００（ｘ＋１）＝ａ００（ｘ）＝ａ００（ｘ＋４）
｜ａ００（ｘ）−ａ００（ｘ＋４）｜＞δのとき、
ａ００（ｘ＋１）＝｛ａ１０（ｘ＋１）＋ａ（−１）０（ｘ＋１）｝／２
・・・ （１９）
【０１６５】
同様に、Ｄ４、Ｄ５に示すように、ａ１１（ｘ＋１）は下式（２０）で補間される。
｜ａ１１（ｘ−２）−ａ１１（ｘ＋２）｜≦δのとき、
ａ１１（ｘ＋１）＝ａ１１（ｘ−２）＝ａ１１（ｘ＋２）
｜ａ１１（ｘ−２）−ａ１１（ｘ＋２）｜＞δのとき、
ａ１１（ｘ＋１）＝｛ａ１０（ｘ＋１）＋ａ１２（ｘ＋１）｝／２
・・・ （２０）
【０１６６】
Ｄ６、Ｄ７に示すように、ａ０１（ｘ＋１）は下式（２１）で補間される。
｜ａ０１（ｘ−１）−ａ０１（ｘ＋３）｜≦δのとき、
ａ０１（ｘ＋１）＝ａ０１（ｘ−１）＝ａ０１（ｘ＋３）
｜ａ０１（ｘ−１）−ａ０１（ｘ＋３）｜＞δのとき、
ａ０１（ｘ＋１）＝｛ａ１０（ｘ＋１）＋ａ（−１）２（ｘ＋１）｝／２
・・・ （２１）
【０１６７】
なお、閾値δは、生成される画像品質を評価し、許容されるレベルの閾値δを設定すればよい。例えば、静止画にも関わらず、ノイズにより動きがあると判定されないレベルに設定すればよい。
【０１６８】
上記第２の補間手法によれば、補間対象のフレーム（例えばｆｘ＋１）の前後のフレーム（例えばｆｘ、ｆｘ＋４）での画素の受光値の差分値（ａ００（ｘ）−ａ００（ｘ＋４））が求められる。そして、差分値が所定の閾値δより小さい場合には、補間対象のフレーム（ｆｘ＋１）での欠落したポジション（位置）の画素の受光値（ａ００（ｘ＋１））が、前後のフレーム（ｆｘ、ｆｘ＋４）での、欠落したポジションと同じポジションの画素の受光値（ａ００（ｘ）、ａ００（ｘ＋４））を用いて補間される。一方、差分値が所定の閾値δより大きい場合には、補間対象のフレーム（ｆｘ＋１）での欠落したポジションの画素の受光値（ａ００（ｘ＋１））が、補間対象のフレーム（ｆｘ＋１）で取得された受光値（ａ１０（ｘ＋１）、ａ（−１）０（ｘ＋１））を用いて補間される。
【０１６９】
このようにすれば、被写体の動きに応じて適応的に受光値を補間できる。具体的には、動きが小さい画素では、同一位置で取得された受光値を用いるため、位置的な誤差を低減できる。一方、動きが大きい画素では、同一フレームで取得された受光値を用いるため、時間的な誤差を低減できる。例えば、フレームｆｘとｆｘ＋４の間で、いつ被写体が通過したのかを受光値ａ００（ｘ）、ａ００（ｘ＋４）から知ることはできない。そのため、ａ００（ｘ）、ａ００（ｘ＋４）から補間すると、被写体の通過タイミングより前のタイミングであっても被写体の動きの影響が出てしまう。本実施形態では、被写体が通過したと判断したときには、同一フレームの受光値で補間するため、被写体の通過タイミングを正確に反映できる。
【０１７０】
また、第２の補間手法によれば、動きの誤検出による画質劣化を抑止できる。例えば、４フレーム撮像の期間内に所定閾値δを超える単なる明るさの変化があった場合、単なる明るさの変化を被写体の動きとして誤検出する可能性がある。この点、第２の補間手法によれば、誤検出された場合であっても、フレーム内補間に切り替わるだけなので著しく画質劣化してしまうことを抑止できる。
【０１７１】
なお、上記第１、第２の補間手法では、動き補償による受光値の補間を行ってもよい。例えば、図３１に示すように、高フレームレート（１／６０秒）で撮影された連続するフュージョンフレームを４つ用い、各フュージョンフレームに対して動き補償を行って１枚の静止画（低フレームレート１／１５秒で撮影した高精細画像相当）を生成してもよい。
【０１７２】
１２．撮像装置、画像処理装置
図３２、図３３に、上記推定処理や時間軸補間処理を行う撮像装置と画像処理装置の詳細な構成例を示す。
【０１７３】
図３２に、ズーム選択を画素シフトの前で行う撮像装置と画像処理装置の第１の詳細な構成例を示す。この撮像装置１０は、低域通過光学ＬＰＦ１００（ＬＰＦ：ローパスフィルタ）、通常サンプリング部１１０、広域通過光学ＬＰＦ１２０、ズーム領域選択部１３０、重畳シフトサンプリング部１４０（読み出し制御部）を含む。画像処理装置２０は、アンチエリアシングフィルタ２００、フレームバッファ２１０（記憶部）、時間軸画素補間部２２０（補間処理部）、画素値推定演算部２３０（推定処理部）、アンチエリアシングフィルタ２４０を含む。
【０１７４】
なお、本実施形態の撮像装置及び画像処理装置はこの構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。また、図３２では、画像処理装置２０が撮像装置１０の外部に設けられる例を図示するが、本実施形態では、画像処理装置２０が撮像装置１０の内部に設けられてもよい。
【０１７５】
撮像装置１０は、例えばデジタルカメラや、ビデオカメラである。また、画像処理装置２０は、例えば画像処理エンジン（ＩＣ）や、ＰＣ（コンピュータ）により実現される。この撮像装置１０と画像処理装置２０は、ワイド撮影（通常撮影、非ズーム撮影）を行う第１のモードと、デジタルズーム撮影を行う第２のモードで動作する。これらのモードは、例えば撮像装置１０と画像処理装置２０の図示しない制御部により設定される。なお、以下では、１２Ｍｐｉｘ（Ｍｐｉｘ：メガピクセル）の撮像素子を用いる場合を例に説明する。
【０１７６】
撮像装置１０が第１のモードに設定されると、低域通過光学ＬＰＦ１００が設定される。この低域通過光学ＬＰＦ１００は、撮像素子の解像度１２Ｍｐｉｘに対応した通過帯域をもつローパスフィルタである。そして、通常サンプリング部１１０が、画素シフト撮像ではなく、通常のワイド撮影により１２Ｍｐｉｘの画像を撮影する。例えば、撮影レートは１５ｆｐｓである。
【０１７７】
画像処理装置２０のアンチエリアシングフィルタ２００は、その画像をアンチエリアシング処理し、１２Ｍｐｉｘの静止画像または動画を出力する。
【０１７８】
一方、撮像装置１０が第２のモードに設定されると、広域通過光学ＬＰＦ１２０が設定される。この広域通過光学ＬＰＦ１２０は、画素シフトによる高解像画像に対応した通過帯域をもつローパスフィルタである。例えば、１／２画素ピッチで画素シフトする場合、４×１２＝４８Ｍｐｉｘの解像度で撮像できる通過帯域をもつ。そして、ズーム領域選択部１３０が読み出し領域を設定する。例えば、２倍デジタルズームの場合、１２／４＝３Ｍｐｉｘの読み出し領域を設定する。重畳シフトサンプリング部１４０は、画素シフト制御を行いながら、読み出し領域から受光値を読み出す。例えば、撮影レートは１５×４＝６０ｆｐｓである。
【０１７９】
画像処理装置２０のフレームバッファ２１０は、補間処理に必要な８フレームの撮像画像をバッファリングする。時間軸画素補間部２２０は、その８フレームの画像から受光値を補間処理する。そして、画素値推定演算部２３０が、補間処理された受光値から推定画素値を求め、３×４＝１２Ｍｐｉｘの画像を出力する。アンチエリアシングフィルタ２４０は、その画像をアンチエリアシング処理し、１２Ｍｐｉｃｓの高精細な２倍デジタルズーム画像を出力する。
【０１８０】
図３３に、ズーム選択を画素シフトの後で行う撮像装置と画像処理装置の第２の詳細な構成例を示す。この撮像装置１０は、広域通過光学ＬＰＦ１２０、重畳シフトサンプリング部１４０を含む。画像処理装置２０は、フレームバッファ２１０、時間軸画素補間部２２０、画素値推定演算部２３０、アンチエリアシングフィルタ２４０、ズーム領域選択部２５０を含む。
【０１８１】
この撮像装置１０と画像処理装置２０は、推定処理による高精細化後にデジタルズームを行う。具体的には、広域通過光学ＬＰＦ１２０は、４×１２＝４８Ｍｐｉｘの解像度で撮像できる通過帯域をもつ。重畳シフトサンプリング部１４０は、画素シフト制御を行いながら、撮像素子の画素数１２Ｍｐｉｘで撮影を行う。例えば、撮影レートは６０ｆｐｓである。
【０１８２】
そして、フレームバッファ２１０が８フレームの画像をバッファリングし、時間軸画素補間部２２０が受光値を補間処理し、画素値推定演算部２３０が推定画素値を求め、４×１２＝４８Ｍｐｉｘの画像を出力する。ズーム領域選択部２５０は、ズーム倍率に応じてズーム領域を設定し、その領域の画像をトリミングする。例えば、ズームなしの場合、４８Ｍｐｉｘの画像をそのまま出力し、２倍デジタルズームの場合、４８／４＝１２Ｍｐｉｘの画像をトリミングする。アンチエリアシングフィルタ２４０は、ズームなしの場合、ダウンサンプリングにより１２Ｍｐｉｘの画像を出力し、２倍デジタルズームの場合、１２Ｍｐｉｃｓの高精細な２倍デジタルズーム画像を出力する。
【０１８３】
１３．第５の推定手法
上述の第１〜第４の推定手法では、水平方向と垂直方向に画素シフトを行って画素値を推定したが、本実施形態では、斜め方向に画素シフトを行って画素値を推定してもよい。図３４（Ａ）〜図３８を用いて、この第５の推定手法について説明する。
【０１８４】
図３４（Ａ）に示すように、画素を斜め方向にｐ／２ピッチでシフトしながら受光値ａｋ（ｋは０以上の整数）を取得する。ここで、斜め方向は、画素配列の水平方向及び垂直方向に交差する方向であり、例えば矩形の画素の対角線に沿った方向である。
【０１８５】
このように斜め方向に画素シフトが行われる場合に、斜め方向の中間画素値ｂｋ（３画素加算値）の関係式を求める。図３４（Ｂ）に示すように、シフト順に受光値をａ０、ａ１、ａ２とし、推定画素の３画素が加算されるように中間画素値ｂ０〜ｂ２、ｂ１’、ｂ２’の受光領域を定義する。このとき、図３５に示すように、下式（２２）が成り立つ。
ｂ０＝（未知数），
ｂ１’＝ｂ０＋δ０＝ｂ０＋（ａ１−ａ０），
ｂ２’＝ｂ１＋δ１＝ｂ１＋（ａ２−ａ１） ・・・ （２２）
【０１８６】
ｂ１とｂ１’の受光領域の重なり部分が多いため、ｂ１≒ｂ１’と仮定すると、下式（２３）が成り立つ。
ｂ０＝（未知数），
ｂ１＝ｂ０＋δ０＝ｂ０＋（ａ１−ａ０），
ｂ２＝ｂ１＋δ１＝ｂ１＋（ａ２−ａ１） ・・・ （２３）
【０１８７】
このように、ｂ０を未知数とし、中間画素値ｂ１、ｂ２をｂ０の関数として求めることができる。ここで、δ０、δ１は、１シフト離れたサンプリング画素値の差分値である。
【０１８８】
次に、斜め方向における未知数ｂ０を求め、中間画素値を求める。図３６に示すように、重畳シフトサンプリングにより検出されるサンプリング画素値によるパターン｛ａｋ｝と中間画素値｛ｂｋ｝によるパターンを比較する。そして、図３７に示すように、その誤差Ｅが最小になる状態をもって未知数ｂ０を導出し設定する。
【０１８９】
具体的には、下式（２４）により誤差Ｅｋを求める。そして、このＥｋを最小にするような未知数ｂ０（＝γ）を求め、ｂ０をその値に設定する。
【数６】
【０１９０】
ｂ０の値が推定できれば、上式（２３）にｂ０を代入することでｂ１，ｂ２は自ずと決まる。これを他の画素に対しても求めれば、全ての中間画素値｛ｂｋ｝を導出することができる。
【０１９１】
図３８に示すように、最終的な推定画素値ｖｋは、斜め方向に画素シフトされた画素の重畳領域の画素値である。この推定画素値について下式（２５）が成り立ち、上述の受光値ａｋと中間画素値ｂｋを代入することで推定画素値ｖｋが求められる。
ｖ０＝ａ０−ｂ０，
ｖ１＝ａ１−ｂ１ ・・・ （２５）
【０１９２】
上記実施形態によれば、画素が斜め方向に重畳されながら画素シフトされて低解像フレーム画像（受光値ａｋで構成される画像）が取得される。そして、その斜め方向に画素シフトされた画素の重畳領域の受光値ｖｋが、推定画素値として推定される。
【０１９３】
このようにすれば、機械的な画素シフトを１方向のみにすることができ、水平方向と垂直方向に画素シフトを行う場合よりも画素シフトを容易に行うことができる。
【０１９４】
１４．第６の推定手法（重み付け加算）
上述の推定手法では、フィルタ透過率の重み付けが無い場合（ｒ＝１）を例に説明したが、本実施形態では、重み付けされた（ｒ＞１）透過率の受光値から推定画素値を求めてもよい。図３９〜図４４を用いて、この第６の推定手法について説明する。
【０１９５】
図１に示すフィルタｃｆ１〜ｃｆ４の透過率の重み係数をｃ１、ｃ２、ｃ３、ｃ４とする。ｃ１＝１とすると、重み係数は下式（２６）に示す比率関係のルールをとる（ｒは、ｒ＞１の実数）。
ｃ１＝１，ｃ２＝１／ｒ，ｃ３＝１／ｒ，ｃ４＝１／ｒ２ ・・・ （２６）
【０１９６】
以下では、説明を簡単にするために、ｒ＝２とおき、下式（２７）とする。
ｃ１＝１、ｃ２＝１／２、ｃ３＝１／２、ｃ４＝１／４ ・・・ （２７）
【０１９７】
図３９に示すように、重畳シフトサンプリングにより検出される水平方向の最初の行に注目し、シフト順に画素値をａ００、ａ１０、ａ２０とする。このとき、下式（２８）が成り立つ。
ａ００＝ｃ１ｖ００＋ｃ２ｖ０１＋ｃ３ｖ１０＋ｃ４ｖ１１
ａ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＋ｃ３ｖ２０＋ｃ４ｖ２１ ・・・ （２８）
【０１９８】
また、下式（２９）に示すようにｂ００、ｂ１０、ｂ２０を定義し、上式（２７）を代入する。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１
ｂ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＝ｖ１０＋（１／２）ｖ１１
ｂ２０＝ｃ１ｖ２０＋ｃ２ｖ２１＝ｖ２０＋（１／２）ｖ２１ ・・・ （２９）
【０１９９】
次に、上式（２７）、（２９）を用いて上式（２８）を変形すると、下式（３０）が成り立つ。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１
＝ｂ００＋（１／２）ｂ１０
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
＝ｂ１０＋（１／２）ｂ２０ ・・・ （３０）
【０２００】
上式（３０）において、ａ００、ａ１０に所定の係数（所定の重み係数）を掛けて差分δｉ０を取り、上式（２９）を使って変形すると、下式（３１）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｖ２０＋（１／４）ｖ２１−（２ｖ００＋ｖ０１）
＝（１／２）ｂ２０−２ｂ００ ・・・ （３１）
【０２０１】
ｂ００を未知数とすると、下式（３２）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） ・・・（３２）
【０２０２】
このように、ｂ００を未知数（初期変数）として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。同様にして、２行目、３行目においてもｂ０１、ｂ０２を未知数として中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンが求められる。
【０２０３】
次に、未知数ｂ００を求める手法について説明する。図４０に示すように、重み付け重畳シフトサンプリングにより検出されるサンプリング画素値によるパターン｛ａ００，ａ１０｝と中間画素値｛ｂ００，ｂ１０，ｂ２０｝によるパターンを比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０２０４】
このとき、上式（３０）に示すように、サンプリング画素値｛ａ００，ａ１０｝は、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の異なる重み付けによる隣接値の加算値となる。そのため、単純にこれらを比較しても正しい推定値が得られない。そこで、図４０に示すように、中間画素値に重み付けをして比較を行う。具体的には、中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝の重み付けが、ｃ３＝ｃ１／２、ｃ４＝ｃ２／２であることを利用すると、下式（３３）が成り立つことが分かる。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ ・・・ （３３）
【０２０５】
この上式（３３）による重み付けを考慮すると、下式（３４）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝と中間推定画素値｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
【数７】
【０２０６】
上式（３２）を用いると、評価関数Ｅｊは、ｂ００を初期変数とした関数で表される。したがって、図４１に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（３２）に代入し、ｂ１０，ｂ２０が求められる。なお、ｂ００が取り得る値の範囲は０≦ｂ００≦ａ００であるので、この範囲にて評価関数Ｅｊの最小値を求めればよい。同様に、２行目、３行目においても、中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンをｂ０１，ｂ０２を未知数として求められる。
【０２０７】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、図１３（Ａ）、図１３（Ｂ）に示す左端垂直列（ｉ＝０列）を例に説明する。図４２に示すように、中間画素値｛ｂ０１，ｂ０１，ｂ０２｝と最終推定画素値｛ｖ００，ｖ０１，ｖ０２｝の関係は、下式（３５）で表される。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｃ１ｖ０１＋ｃ２ｖ０２＝ｖ０１＋（１／２）ｖ０２ ・・・（３５）
【０２０８】
ｂ００、ｂ０１に所定の係数を掛けて差分δｊ０を求めると、下式（３６）が成り立つ。
δｊ０＝ｂ０１−２ｂ００
＝（ｖ０１＋（１／２）ｖ０２）−（２ｖ００＋ｖ０１）
＝（１／２）ｖ０２−２ｖ００ ・・・ （３６）
【０２０９】
ｖ００を未知数（初期変数）とすると、上式（３５）、（３６）を用いて、最終推定画素値ｖ０１、ｖ０２がｖ００の関数として求められる。その関数を下式（３７）に示す。
ｖ００＝（未知数），
ｖ０１＝２（ｂ００−ｖ００），
ｖ０２＝４ｖ００＋２δｊ０＝４ｖ００＋２（ｂ０１−２ｂ００） ・・・（３７）
【０２１０】
上式（３７）の推定画素値パターン｛ｖ００，ｖ０１，ｖ０２｝と、中間画素値パターン｛ｂ００，ｂ０１｝を比較し、その誤差Ｅｉが最小になる未知数ｖ００を導出する。このとき、最終推定画素値｛ｖｉｊ，ｖ（ｉ＋１）ｊ｝の重み付けが、ｃ２＝ｃ１／２であることを利用すると、下式（３８）が成り立つ。
ｂｉｊ＝ｖｉｊ＋（１／２）ｖｉ（ｊ＋１） ・・・ （３８）
【０２１１】
図４３に示すように、上式（３８）に示す重み付けを考慮して、パターンの比較を行う。具体的には、下式（３９）に示す評価関数Ｅｉを求める。
【数８】
【０２１２】
そして、図４４に示すように、評価関数Ｅｉを最小にする未知数ｖ００（＝β）を求め、求めたｖ００を上式（３７）に代入して最終推定画素値ｖ０１、ｖ０２を求める。同様に、２列目においても、ｖ１０を未知数として最終推定画素値｛ｖ１０，ｖ１１，ｖ１２｝の組合せパターンを求める。
【０２１３】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（受光値、画素シフト等）と共に記載された用語（画素値、重畳シフトサンプリング等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像素子、読み出し制御部、推定処理部、画像出力部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０２１４】
１０ 撮像装置、２０ 画像処理装置、１００ 低域通過光学ＬＰＦ、
１１０ 通常サンプリング部、１２０ 広域通過光学ＬＰＦ、
１３０ ズーム領域選択部、１４０ 重畳シフトサンプリング部、
２００ アンチエリアシングフィルタ、２１０ フレームバッファ、
２２０ 時間軸画素補間部、２３０ 画素値推定演算部、
２４０ アンチエリアシングフィルタ、２５０ ズーム領域選択部、
４１０ レンズ、４２０ 撮像素子、
Ｂｋ００ 推定処理ブロック、ＣＦ フィルタ部、Ｅｊ 評価関数、
Ｆ１〜Ｆ４ ノイズフィルタ、ＦＫ フィルタ係数設定部、ＮＨ ノイズ比較部、
Ｐ１〜Ｐ４ ポジション、ＰＤ１〜ＰＤ４ 受光素子、
Ｗ ニューラルネットワークの係数、
ａｉｊ 受光値、ｂ０ 未知数、ｂｉｊ 中間画素値、ｃｆ１〜ｃｆ４ フィルタ、
ｆｘ フレーム、ＮＦ ＮＤフィルタ、ｐ 画素ピッチ、ｐ／２ シフト量、
ｖ００ 未知数、ｖｉｊ 推定画素値、δｉｉ 差分値、φｉ 中間画素値パターン
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
撮像素子の各受光素子には、それぞれ１色のカラーフィルタが対応している。例えば、ベイヤ配列の撮像素子では、赤色フィルタ、緑色フィルタ、青色フィルタのいずれかのカラーフィルタが１つの受光素子に対応している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明者は、撮像により得られた低解像画像から高解像画像を生成する手法を開発している。この手法は、例えば撮像画像のデータ量を削減したり、そのデータを表示する際の高解像化を行うために用いられる。
【０００５】
従来は、上述のように１つの受光素子に１色のカラーフィルタが対応した撮像素子により得られた画像を高解像化する。例えば特許文献１、２には、画素シフトを行いながら低解像画像を撮像し、撮像された低解像画像から高解像画像を生成する手法が開示されている。
【０００６】
本発明の幾つかの態様によれば、低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、複数の受光素子とフィルタ部を有する撮像素子と、前記複数の受光素子の受光値を読み出して低解像フレーム画像を取得する読み出し制御部と、前記低解像フレーム画像に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、前記推定画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、を含み、前記フィルタ部には、１つの受光素子に対応するフィルタとして、異なる色の複数のフィルタが配列される撮像装置に関係する。
【０００８】
本発明の一態様によれば、異なる色の複数のフィルタを透過した光が受光素子により受光される。そして、その受光値による低解像フレーム画像が取得され、その低解像フレーム画像に基づいて推定画素値が推定され、その推定画素値に基づいて高解像フレーム画像が出力される。これにより、低解像画像から高解像画像を推定することと等が可能になる。また、複数のフィルタを透過した光を１つの受光素子で受光するため、複数受光値の加算値に相当する受光値を取得可能になる。
【０００９】
また、本発明の一態様では、前記複数のフィルタの各フィルタは、重み付けされた透過率を有し、前記推定演算部は、前記重み付けされた透過率により得られた受光値に基づいて前記推定を行ってもよい。
【００１０】
また、本発明の一態様では、前記フィルタ部は、前記１つの受光素子に対応するフィルタとして、ベイヤ配列のフィルタを有し、前記ベイヤ配列のフィルタは、第１緑色フィルタと、赤色フィルタと、青色フィルタと、第２緑色フィルタを有し、前記赤フィルタと前記青色フィルタの透過率は、前記第１緑色フィルタの透過率に対して１／ｒ（ｒは１以上の実数）であり、前記第２緑色フィルタの透過率は、前記第１緑色フィルタの透過率に対して１／ｒ２であってもよい。
【００１１】
また、本発明の一態様では、前記フィルタ部は、カラーフィルタと、前記重み付けされた透過率を有するＮＤフィルタと、を有してもよい。
【００１２】
このようにすれば、透過率が重み付けされた複数のフィルタを透過した光を、１つの受光素子で受光できる。これにより、透過率の重み付けがない場合に比べて、より高解像な推定画素値を求めることが可能になる。
【００１３】
また、本発明の一態様では、前記読み出し制御部は、画素を重畳しながら順次画素シフトさせて被写体像をサンプリングし、前記画素シフトしながら前記撮像素子により各撮像動作を行い、前記各撮像動作により得られた前記画素の受光値を低解像フレーム画像として取得してもよい。
【００１４】
また、本発明の一態様では、前記読み出し制御部は、前記画素を、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定して前記画素シフトを行い、前記推定演算部は、前記第１のポジションの画素と前記第２のポジションの画素が重畳する場合に、前記第１のポジションの画素の受光値と前記第２のポジションの画素の受光値の差分値を求め、前記差分値に基づいて前記推定画素値を推定してもよい。
【００１５】
本発明の一態様によれば、画素を重畳しながら順次画素シフトされ、画素シフトされながら撮像素子により各撮像動作が行われて受光値が取得され、低解像フレーム画像が取得される。そして、画素が順次画素シフトされることで得られた複数の受光値に基づいて推定画素値が推定される。このとき、重畳する第１、第２のポジションの画素の受光値の差分値に基づいて推定画素値が推定される。これにより、簡素な処理で低解像動画から高解像画像を取得すること等が可能になる。
【００１６】
また、本発明の一態様では、前記推定演算部は、前記第１のポジションの画素から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの画素から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めてもよい。
【００１７】
このようにすれば、画素が重畳しながら順次画素シフトさせつつ取得された受光値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、高解像フレーム画像の画素値推定を簡素化できる。
【００１８】
また、本発明の一態様では、推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を、前記画素の受光値を用いて表し、中間画素値間の関係式で表された前記中間画素値パターンと前記画素の受光値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる各中間画素値を決定してもよい。
【００１９】
このようにすれば、画素が重畳されながら画素シフトされることで取得された複数の受光値に基づいて、中間画素値を推定できる。
【００２０】
また、本発明の一態様では、前記推定演算部は、中間画素値間の関係式で表された前記中間画素値パターンと前記画素の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように、前記中間画素値パターンに含まれる各中間画素値を決定してもよい。
【００２１】
このようにすれば、評価関数の値が最小となるように中間画素値の値を決定することで、中間画素値パターンと受光値の類似性が最も高くなるように中間画素値の値を決定できる。
【００２２】
また、本発明の他の態様は、撮像素子が複数の受光素子とフィルタ部を有する撮像素子における画像生成方法であって、前記フィルタ部に、１つの受光素子に対応するフィルタとして、異なる色の複数のフィルタが配列される場合に、前記複数の受光素子の受光値を読み出して低解像フレーム画像を取得し、前記低解像フレーム画像に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定し、前記推定画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像生成方法に関係する。
【００２３】
また、本発明のさらに他の態様では、画素を重畳しながら順次画素シフトさせて被写体像をサンプリングし、前記画素シフトしながら前記撮像素子により各撮像動作を行い、前記各撮像動作により得られた前記画素の受光値を低解像フレーム画像として取得し、前記画素を、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定して前記画素シフトを行い、前記第１のポジションの画素と前記第２のポジションの画素が重畳する場合に、前記第１のポジションの画素の受光値と前記第２のポジションの画素の受光値の差分値を求め、前記差分値に基づいて前記推定画素値を推定してもよい。
【図面の簡単な説明】
【００２４】
【図１】本実施形態の撮像素子の構成例。
【図２】撮像素子の第１の詳細な構成例。
【図３】撮像素子の第２の詳細な構成例。
【図４】撮像素子の第３の詳細な構成例。
【図５】ＮＤフィルタの詳細な構成例。
【図６】撮像素子の第４の詳細な構成例。
【図７】撮像装置の基本構成例。
【図８】推定処理ブロックの説明図。
【図９】図９（Ａ）は、受光値の説明図であり、図９（Ｂ）は、中間画素値の説明図。
【図１０】第１の推定手法における中間画素値の推定手法の説明図。
【図１１】第１の推定手法における中間画素値の推定手法の説明図。
【図１２】第１の推定手法における中間画素値の推定手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）は、第１の推定手法における推定画素値の推定手法の説明図。
【図１４】第１の推定手法における推定画素値の推定手法の説明図。
【図１５】第１の推定手法における推定画素値の推定手法の説明図。
【図１６】第１の推定手法における推定画素値の推定手法の説明図。
【図１７】第２の推定手法の説明図。
【図１８】第２の推定手法の説明図。
【図１９】第２の推定手法の説明図。
【図２０】第２の推定手法の説明図。
【図２１】第２の推定手法における探索範囲設定の説明図。
【図２２】第２の推定手法の概要説明図。
【図２３】第３の推定手法の説明図。
【図２４】第３の推定手法の概要説明図。
【図２５】第４の推定処理の説明図。
【図２６】ノイズフィルタの構成例。
【図２７】受光値の第１の補間手法の説明図。
【図２８】補間処理のタイミングチャート例。
【図２９】受光値の第２の補間手法の説明図。
【図３０】受光値の第２の補間手法の説明図。
【図３１】フュージョンフレームに対する動き補償の説明図。
【図３２】撮像装置と画像処理装置の第１の詳細な構成例。
【図３３】撮像装置と画像処理装置の第２の詳細な構成例。
【図３４】図３４（Ａ）は、第５の推定手法における受光値の説明図であり、図３４（Ｂ）は、第５の推定手法における中間画素値の説明図。
【図３５】第５の推定手法における中間画素値の推定手法の説明図。
【図３６】第５の推定手法における中間画素値の推定手法の説明図。
【図３７】第５の推定手法における中間画素値の推定手法の説明図。
【図３８】第５の推定手法における推定画素値の推定手法の説明図。
【図３９】第６の推定手法における中間画素値の推定手法の説明図。
【図４０】第６の推定手法における中間画素値の推定手法の説明図。
【図４１】第６の推定手法における中間画素値の推定手法の説明図。
【図４２】第６の推定手法における推定画素値の推定手法の説明図。
【図４３】第６の推定手法における推定画素値の推定手法の説明図。
【図４４】第６の推定手法における推定画素値の推定手法の説明図。
【発明を実施するための形態】
【００２５】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２６】
１．比較例
まず、本実施形態の比較例について説明する。デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。これらのカメラでは、静止画撮影モードと動画撮影モードを切り換えて使用するものが多い。中には、動画撮影並の高速フレームレートにより高精細静止画を撮影可能とするものがあり、短時間の高速連写が可能である。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
【００２７】
しかしながら、これらの手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れてしまったり、ユーザが気づいたときには既に決定的瞬間を逃してしまっているという課題がある。
【００２８】
このシャッターチャンスを逃さないという課題を解決するには、動画撮影により全てのシーンをもれなく撮影しておいて、その中から自由に決定的瞬間を高品位な静止画として得る手法が考えられる。この手法を実現するためには、高精細画像を高速フレームレートにより撮影可能とすることが必要である。
【００２９】
しかしながら、この手法の実現は容易ではない。例えば、１２００万画素の画像を６０ｆｐｓ（ｆｐｓ：フレーム／秒）で連続して撮影するためには、超高速撮像可能な撮像素子、撮像データを超高速処理する処理回路、超高速データ圧縮処理機能、莫大なデータを記録する記録手段が必要になる。このためには、複数撮像素子の使用、並列処理、大規模メモリー、高能力放熱機構などが必要になるが、小型化や低コストが求められる民生用機器においては非現実的である。動画撮影のハイビジョン（２００万画素）程度の解像度の高品位でない静止画であれば実現可能であるが、ハイビジョン程度の解像度では静止画としては不十分である。
【００３０】
また、高フレームレートの動画撮影を行う手法として、多画素で高精細画像が撮影できる高画素イメージセンサを用い、画素の間引き読み出しあるいは隣接画素の加算読出しによって低解像画像化し、１回の読み出しデータを低減することにより実現する手法が考えられる。しかしながら、この手法では、高精細画像を高フレームレートにより撮影することができない。
【００３１】
この課題を解決するためには、高フレームレートで撮影された低解像画像から高解像画像を得る必要がある。低解像画像から高解像画像を得る手法として、例えば、画素シフトにより撮影した低解像画像に対して所謂超解像処理を行い、高解像画像を生成する手法が考えられる。
【００３２】
例えば、その手法として、加算読み出しを用いた手法が考えられる。すなわち、低解像画像を順次位置ずらししながら読み出した後、それら複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を変形させ、高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法などが知られている。
【００３３】
また、超解像処理を用いた手法として、上述の特許文献１に開示された手法がある。この手法では、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、それらの複数低解像画像を合成することにより高解像画像を仮定する。そして、この仮定した高解像画像に対して上記の超解像処理を施し、尤度の高い（尤もらしい）高解像画像を推定する。
【００３４】
しかしながら、これらの手法では、２次元フィルタを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、処理能力やコストの制限がある機器への適用は困難であるという課題がある。例えば、デジタルカメラのような小型携帯撮像装置に適用すると、処理回路の規模が大きくなり、消費電力の増大、大量の熱の発生、コストの大幅アップなどの課題が生じてしまう。
【００３５】
また、上述の特許文献２には、画素シフトさせた複数枚の低解像画像を使って高解像画像を生成する手法が開示されている。この手法では、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する。この画素値の推定では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００３６】
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、副画素の画素値変化が小さく、ほぼそれらの平均値とそれらをカバーする低解像画素値が等しくなる部分を画像から見つけ出している。そのため、初期値の設定に適当な部分が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な部分を探索する処理が必要になってしまう。
【００３７】
２．撮像素子
そこで本実施形態では、色の異なる複数のカラーフィルタが１画素内に配列された撮像素子により撮像する。そして、画素シフト（画素ずらし）により高フレームレートの低解像動画を撮像し、その低解像動画から簡素な画素推定手法で高解像画像を生成する。生成した高解像画像を用いて、動画の中の任意タイミングの高解像静止画を取得したり、高フレームレートの高解像動画を取得する。
【００３８】
なお、本実施形態の撮像素子では一般的なカラー画像は撮像されないが、本明細書では、本実施形態の撮像素子により撮像された被写体像を適宜画像や動画と呼ぶこととする。
【００３９】
ここで、以下では図７〜図４４で後述する画素シフトと推定処理を行う場合を例に説明するが、本実施形態はこれに限定されない。例えば、本実施形態の撮像素子により取得された低解像画像に対して、種々の公知の高解像化手法を適用してもよい。
【００４０】
図１に、本実施形態の撮像素子の構成例を示す。図１は、撮像素子をフィルタ部ＣＦ側から平面視した場合の模式図である。撮像素子は、フィルタ部ＣＦ、受光素子ＰＤ１〜ＰＤ４（受光領域）を含む。
【００４１】
受光素子ＰＤ１〜ＰＤ４は、フィルタ部ＣＦを透過した光の光電変換を行う素子であり、例えばフォトダイオードやフォトトランジスターである。例えば、受光素子ＰＤ１〜ＰＤ４は、水平走査方向と垂直走査方向に沿ってマトリックス状に配列される。なお以下では受光素子ＰＤ１を例に説明するが、他の受光素子についても同様である。
【００４２】
受光素子ＰＤ１に対応するフィルタ部は、複数色のフィルタｃｆ１〜ｃｆ４で構成される。フィルタｃｆ１〜ｃｆ４は、全て異なる色であってもよいし、一部同色であってもよい。このフィルタｃｆ１〜ｃｆ４と受光素子ＰＤ１により撮像素子の画素が構成される。図７で後述するように、本実施形態では機械的な画素シフトが行われ、図９（Ａ）で後述するように、画素シフトしながら画素の受光値ａ００，ａ１０，ａ１１，ａ０１を順次取得する。
【００４３】
３．撮像素子の詳細な構成例
図２に、撮像素子の第１の詳細な構成例を示す。図２のＨ１は１画素の平面視図であり、Ｈ２、Ｈ３は側面図である。図２に示す撮像素子は、第１緑色フィルタｇｒ、赤色フィルタｒ、青色フィルタｂ、第２緑色フィルタｇｂ、受光素子ＰＤ１を含む。
【００４４】
フィルタｇｒ，ｒ，ｂ，ｇｂは、それぞれＧ（グリーン），Ｒ（レッド），Ｂ（ブルー），Ｇ（グリーン）を透過する原色系フィルタである。フィルタｇｒ，ｒ，ｂ，ｇｂの透過光による受光値を便宜的にｖ００，ｖ１０，ｖ０１，ｖ１１とすると、受光素子ＰＤ１の受光値はａ００＝ｖ００＋ｖ１０＋ｖ０１＋ｖ１１と表される。
【００４５】
図７〜図４４で後述する推定処理を行うと、例えば３メガピクセルの撮像素子を利用して１２メガピクセルの画像が得られる。上述の受光値ｖ００，ｖ１０，ｖ０１，ｖ１１は、１２メガピクセルの画像の画素値に対応する。具体的には、受光値ｖ００，ｖ１０，ｖ０１，ｖ１１の加算は、下式（１），（５）で後述する中間画素値や推定画素値の加算に対応する。すなわち、複数のフィルタｇｒ，ｒ，ｂ，ｇｂを透過した光を共通の受光素子ＰＤ１で受光するため、複数受光値の加算が画素内で行われる。
【００４６】
本実施形態では、後述する推定処理によりＧｒ，Ｒ，Ｂ，Ｇｂのモザイク画像が求められる。このモザイク画像に対してデモザイキング処理を行うことで、高解像なカラー画像が得られる。
【００４７】
本実施形態によれば、複数のフィルタに対して受光素子を共通化するため、プロセスルール（配線幅）が同じ場合には画素が大きくなることで相対的に開口率を向上可能である。また、開口率が向上することで感度を向上できる。また、画素が大きくなることでセンサを製造する際の歩留まりを向上できる。
【００４８】
図３に、撮像素子の第２の詳細な構成例を示す。図３に示す撮像素子は、第１緑色フィルタｇ１、赤色フィルタｒ１／ｒ、青色フィルタｂ１／ｒ、第２緑色フィルタｇｂ１／ｒ２、受光素子ＰＤ１を含む。
【００４９】
フィルタｇ１，ｒ１／ｒ，ｂ１／ｒ，ｇｂ１／ｒ２は、個別に透過率が設定されている。具体的には、フィルタｒ１／ｒ，ｂ１／ｒの透過率は、フィルタｇｂ１の透過率に対して１／ｒ（ｒは、ｒ≧１の実数）の重み付けがされている。フィルタｇｂ１／ｒ２の透過率は、フィルタｇｂ１の透過率に対して１／ｒ２の重み付けがされている。すなわち、受光素子ＰＤ１の受光値はａ００＝ｖ００＋（１／ｒ）ｖ１０＋（１／ｒ）ｖ０１＋（１／ｒ２）ｖ１１と表される。例えば、透過率の重み付けは、カラーフィルタの色素濃度や、カラーフィルタの厚さを変えることで実現できる。
【００５０】
本実施形態によれば、より高解像な推定画素値を推定可能になる。具体的には、被写体像のサンプリングにおいて、画素開口をコンボリューションの窓関数と考えることができる。上記の重み付けがされた場合、重み付けされない場合（ｒ＝１）に比べてより高周波成分の多い窓関数となる。そのため、受光値ａ００にも高周波成分がより多く含まれ、その受光値ａ００から推定された画素値もより高解像となる。
【００５１】
また、本実施形態によれば、重み付け加算の重み付け係数をカラーフィルタの透過率により設定できるため、重み付け加算のための回路やソフトウエアを削減できる。具体的には、受光素子の外部において電気信号で加算する場合には、アナログ方式ではアンプのゲインを重み付けに応じたものに設定する必要があり、デジタル方式では割り算やビットシフトなどの計算を行う必要がある。そのため、回路規模の増加や演算速度の低下が発生する。この点、本実施形態では、重み付けを各カラーフィルタの透過率で設定するため、そのような問題が発生しない。
【００５２】
図４に、撮像素子の第３の詳細な構成例を示す。図４に示す撮像素子は、第１緑色フィルタｇｒ、赤色フィルタｒ、青色フィルタｂ、第２緑色フィルタｇｂ、ＮＤ（Neutral Density）フィルタＮＦ、受光素子ＰＤ１を含む。
【００５３】
ＮＤフィルタＮＦは、全波長域（例えば可視光帯域）に対して比較的一定の透過率を示すフィルタである。本実施形態では、上述の重み付けをＮＤフィルタＮＦにより行う。図５にＮＤフィルタＮＦの詳細な構成例を示す。ＮＤフィルタＮＦは、第１〜第４フィルタｎｄ１〜ｎｄ４を含む。フィルタｎｄ１〜ｎｄ４は、それぞれフィルタｇｒ，ｒ，ｂ，ｇｂと平面視において重なっている。フィルタｇｒ，ｒ，ｂ，ｇｂの透過率は、全て重み付け１である。フィルタｎｄ２，ｎｄ３の透過率は、フィルタｎｄ１の透過率に対して１／ｒの重み付けがされている。フィルタｎｄ４の透過率は、フィルタｎｄ１の透過率に対して１／ｒ２の重み付けがされている。
【００５４】
なお本実施形態では、フィルタＮＦはＮＤフィルタに限定されず、波長の選択を目的としないフィルタであればよい。
【００５５】
本実施形態によれば、波長選択用のＲＧＢフィルタｇｒ，ｒ，ｂ，ｇｂを、従来と同じ手法で製造することが可能である。そのため、重み付け加算を行うために特別にカラーフィルタの材質やプロセスを用意する必要がない。また、透過率の制御を目的としたＮＤフィルタは、広く知られ利用されているフィルタであるため、重み付けの実現が容易である。
【００５６】
図６に、撮像素子の第４の詳細な構成例を示す。図６に示す撮像素子は、シアンフィルタｃ、マゼンダフィルタｍ、イエローフィルタｙ、緑色フィルタｇ、受光素子ＰＤ１を含む。
【００５７】
フィルタｃ，ｍ，ｙ，ｇは、Ｃ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）、Ｇ（グリーン）を透過する補色系フィルタである。本実施形態では、後述の推定処理により、Ｃ，Ｍ，Ｙ，Ｇのモザイク画像が求められる。このモザイク画像に対してＲＧＢ変換やデモザイキング処理を行うことで、高解像なカラー画像が得られる。なお、上述のように透過率の重み付けを行うことも可能である。すなわち、カラーフィルタの透過率を調整してもよいし、ＮＤフィルタを加えて透過率を調整してもよい。
【００５８】
以上のように本実施形態の撮像装置は、撮像素子と、読み出し制御部と、推定演算部、画像出力部を含む。図１に示すように、撮像素子は、複数の受光素子ＰＤ１〜ＰＤ４と、フィルタ部ＣＦを有する。読み出し制御部は、複数の受光素子ＰＤ１〜ＰＤ４の受光値を読み出して低解像フレーム画像を取得する。推定演算部は、低解像フレーム画像に基づいて、低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する。画像出力部は、推定画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。この場合に、フィルタ部ＣＦには、１つの受光素子ＰＤ１に対応するフィルタとして、異なる色の複数のフィルタｃｆ１〜ｃｆ４が配列される。
【００５９】
本実施形態では、読み出し制御部は、図３２等で後述する重畳シフトサンプリング部１４０に対応する。推定演算部は、図３２等で後述する画素値推定演算部２３０に対応する。画像出力部は、図３２等で後述するアンチエリアシングフィルタ２４０に対応する。なお、フィルタ部ＣＦやフィルタｃｆ１〜ｃｆ４は、カラーフィルタのみから構成されてもよく、カラーフィルタと他のフィルタを含んでもよい。
【００６０】
本実施形態によれば、異なる色の複数のフィルタｃｆ１〜ｃｆ４の透過光を１つの受光素子ＰＤ１で受光できる。これにより、上述のように開口率の向上やセンサ感度の向上が可能になる。また本実施形態によれば、低解像画像を撮像し、その低解像画像から高解像画像を求めることが可能になる。すなわち、受光値に対して後述の推定処理を行うことで高解像画像を推定できる。これにより、撮像画像データのデータ量を削減できるため、ストレージの節約や通信データ量の削減が可能になる。
【００６１】
また本実施形態では、図３に示すように、複数のフィルタの各フィルタは、重み付けされた透過率を有する。図３９〜図４４で後述するように、推定演算部は、重み付けされた透過率により得られた受光値に基づいて推定を行う。
【００６２】
具体的には、フィルタ部ＣＦは、１つの受光素子ＰＤ１に対応するフィルタとして、ベイヤ配列のフィルタを有する。ベイヤ配列のフィルタは、第１緑色フィルタｇ１と、赤色フィルタｒ１／ｒと、青色フィルタｂ１／ｒと、第２緑色フィルタｇｂ１／ｒ２を有する。赤フィルタｒ１／ｒと青色フィルタｂ１／ｒの透過率は、記第１緑色フィルタｇ１の透過率に対して１／ｒである。第２緑色フィルタｇｂ１／ｒ２の透過率は、第１緑色フィルタｇ１の透過率に対して１／ｒ２である。
【００６３】
あるいは図４に示すように、フィルタ部ＣＦは、カラーフィルタｇｒ，ｒ，ｂ，ｇｂと、重み付けされた透過率を有するＮＤフィルタｎｄ１〜ｎｄ４を有してもよい。
【００６４】
このようにすれば、重み付けされた透過率の複数のフィルタを透過した光を、１つの受光素子で受光できる。これにより、上述のように、画素内で重み付け加算を行うことが可能になり、重み付けがない場合に比べて推定画像を高解像化できる。また、ＮＤフィルタを用いた場合には、従来のカラーフィルタを利用可能なため、開発負担を軽減できる。
【００６５】
４．画素シフト
以下では、本実施形態が行う推定処理について詳細に説明する。まず、図７を用いて、本実施形態が行う画素シフトについて説明する。図７には、撮像装置の基本構成例を模式的に示す。この撮像装置は、レンズ４１０（広義には、結像光学系）、撮像素子４２０（センサ、イメージャ）を含む。
【００６６】
レンズ４１０は、被写体Ｏｂｊの像を撮像素子４２０の受光面に結像させる。Ｃ１に示すように、図示しないレンズ駆動部によりレンズ４１０に対して画素シフト制御が行われる。ここで、撮像素子４２０の画素ピッチをｐとする。そうすると、レンズ４１０は、光軸と直交するｘ軸（またはｙ軸）に沿った方向にシフト量ｐ／２（広義には、シフト量ｓ＜ｐ）ずつシフトされる。このとき、レンズ４１０がｐ／２ずつシフトされるのに従って、受光面上の被写体像もシフト量ｐ／２ずつシフトされる。
【００６７】
撮像素子４２０は、レンズ４１０により結像された被写体Ｏｂｊの像を撮像する。具体的には、レンズ４１０のシフト動作ごとに撮像を行って、ｐ／２ずつシフトされた被写体像をサンプリングする。このように、本実施形態では、画素シフトによりｐ／２ずつシフトされた画素ピッチｐの低解像フレーム画像が取得される。
【００６８】
なお、上記構成例では、レンズ４１０がシフト量ｐ／２ずつシフトされる場合を例に説明したが、本実施形態では、撮像素子４２０がシフト量ｐ／２ずつシフトされてもよい。
【００６９】
５．第１の推定手法
本実施形態では、上述のようにして取得された画素ピッチｐの低解像フレーム画像から、画素ピッチｐ／２の画素値を推定し、高解像フレーム画像を生成する。図８〜図１６を用いて、この画素ピッチｐ／２の画素値を推定する手法について説明する。なお、本明細書では簡単のため、撮像素子の画素により取得される画素値を受光値と呼び、推定により得られる画素値を推定画素値と呼ぶ。
【００７０】
図８に、画素推定に用いられる推定処理ブロックの説明図を示す。図８では、低解像フレーム画像の画素を実線の四角で示し、水平方向の画素位置をｉで示し、垂直方向の画素位置をｊで示す（ｉ、ｊは自然数）。
【００７１】
図８に示すように、本実施形態では、ｍ×ｎ画素を１ブロックとする推定処理ブロックＢｋ００、Ｂｋ１０、・・・を設定する。そして、この推定処理ブロック毎に、後述する画素値の推定処理を行う。この推定処理により、ｍ×ｎ画素から２ｍ×２ｎ画素の推定画素値が推定される。なお、以下では簡単のため、ｍ×ｎ＝１×１画素から２×２画素を推定する場合を例に説明する。
【００７２】
図９（Ａ）、図９（Ｂ）に、推定処理に用いる受光値及び中間画素値の説明図を示す。図９（Ａ）に示すように、撮像素子の画素ピッチｐの画素（受光単位）をｐ／２ずつ画素シフトすることで、受光値ａ００、ａ１０、ａ１１、ａ０１（画素値）が順次取得される。本実施形態では、この４つの受光値から画素ピッチｐ／２の推定画素値を推定する。なお、受光値ａ００〜ａ１１は、撮像により取得された受光値そのものであってもよく、後述する時間軸補間により補間された受光値であってもよい。
【００７３】
このとき、図９（Ｂ）に示すように、水平方向の画素ピッチがｐ／２の中間画素値ｂ００〜ｂ２１（中間推定画素値）を受光値ａ００〜ａ１１から推定する。そして、この中間画素値ｂ００〜ｂ２１から、水平垂直方向の画素ピッチがｐ／２の推定画素値を最終的に推定する。
【００７４】
この中間画素値の推定手法について、図１０に示す水平方向の最初の行の中間画素値ｂ００〜ｂ２０を例に説明する。受光値と中間画素値の間には、下式（１）の関係が成り立つ。
ａ００＝ｂ００＋ｂ１０，
ａ１０＝ｂ１０＋ｂ２０ ・・・ （１）
【００７５】
ｂ００を未知数（初期値、基準値）として上式（１）を変形すると、下式（２）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として表すことができる。
ｂ００＝（未知数），
ｂ１０＝ａ００−ｂ００，
ｂ２０＝ｂ００＋δｉ０＝ｂ００＋（ａ１０−ａ００） ・・・ （２）
【００７６】
ここで、下式（３）に示すように、δｉ０は１シフト離れた受光値の差分値であり、中間画素値ｂ２０、ｂ００の差分値に対応する。
δｉ０＝ａ１０−ａ００
＝（ｂ１０＋ｂ２０）−（ｂ００＋ｂ１０）
＝ｂ２０−ｂ００ ・・・ （３）
【００７７】
このようにして、ｂ００を未知数とする高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。このｂ００の関数として表わされた中間画素値の値を決定するためには、未知数ｂ００を求める必要がある。
【００７８】
図１１に示すように、本実施形態では、重畳シフトサンプリング（画素シフト）により検出される画素値によるパターン｛ａ００，ａ１０｝と中間画素値によるパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差が最小になる未知数ｂ００を導出し、導出した未知数ｂ００を最終的な中間画素値ｂ００として設定する。
【００７９】
具体的には、下式（４）に示すように、誤差の評価関数Ｅｊを未知数ｂ００の関数で表す。そして、図１２に示すように、評価関数Ｅｊを最小（極小値）にする未知数ｂ００＝αを探索的に求める（最小二乗法）。
【数１】
【００８０】
上式（４）に示すように、本実施形態では、中間画素値の平均値と、低域周波数成分をもつパターン｛ａ００，ａ１０｝の誤差評価を行う。これにより、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の推定解として高域周波数成分を多く含むパターンが導出されることを抑止できる。すなわち、仮に未知数の推定が不正確となったとしても、低域周波数成分を多く含む画像を生成することになる。そのため、低域周波数成分よりも不自然さが強調され易い高域周波数成分に誤りを含むパターンを生成することを抑止でき、画像としては見た目の自然さを失うことがない。これにより、低域周波数成分に比べて高域周波数成分が小さい自然画像に対して、合理的な画素推定が可能になる。
【００８１】
このようにして、中間画素値ｂ００の値を推定し、推定したｂ００の値を上式（２）に代入して中間画素値ｂ１０、ｂ２０の値を決定する。そして、同様にｂ０１を未知数として２行目の中間画素値ｂ０１〜ｂ２１を推定する。
【００８２】
次に、推定した中間画素値ｂｉｊを用いて最終的な推定画素値ｖｉｊを求める手法について説明する。図１３（Ａ）、図１３（Ｂ）に、中間画素値と推定画素値の説明図を模式的に示す。図１３（Ａ）に示すように、上述の手法で推定した３列の中間画素値ｂ００〜ｂ２１のうち、２列の中間画素値ｂ００〜ｂ１１を用いる。そして、図１３（Ｂ）に示すように、中間画素値ｂ００〜ｂ１１から、最終的な画素ピッチｐ／２の推定画素値ｖ００〜ｖ１２を推定する。
【００８３】
以下では、説明を簡単にするために、図１４に示す１列目の画素値ｖ００〜ｖ０２を例に説明する。画素値ｖ００〜ｖ０２の推定は、上述の中間画素値の推定手法と同様の手法で行う。具体的には、中間画素値ｂ００、ｂ０１は、画素値ｖ００〜ｖ０２を垂直方向に２画素単位で１画素ずつシフトさせながら重畳サンプリングした値と等価である。そのため、中間画素値と推定画素値の間には、下式（５）の関係が成り立つ。
ｂ００＝ｖ００＋ｖ０１，
ｂ０１＝ｖ０１＋ｖ０２ ・・・ （５）
【００８４】
下式（６）に示すように、画素値ｖ０１、ｖ０２を未知数ｖ００の関数として表すことができる。
ｖ００＝（未知数），
ｖ０１＝ｂ００−ｖ００，
ｖ０２＝ｖ００＋δｊ０＝ｖ００＋（ｂ０１−ｂ００） ・・・ （６）
【００８５】
ここで、下式（７）に示すように、δｊ０は１シフト離れた中間画素値の差分値であり、画素値ｖ０２、ｖ００の差分値に対応する。
δｉ０＝ｂ０１−ｂ００
＝（ｖ０１＋ｖ０２）−（ｖ００＋ｖ０１）
＝ｖ０２−ｖ００ ・・・ （７）
【００８６】
図１５に示すように、中間画素値によるパターン｛ｂ００，ｂ１０｝と、推定画素値によるパターン｛ｖ００，ｖ０１、ｖ０２｝の誤差が最小になる未知数ｖ００を導出する。すなわち、下式（８）に示すように、誤差を評価関数Ｅｉで表し、図１６に示すように、その評価関数Ｅｉを最小にする未知数ｖ００＝βを探索的に求める。
【数２】
【００８７】
そして、同様の処理により２列目の画素値ｖ１０〜ｖ１２を求め、最終的な推定画素値ｖ００、ｖ０１、ｖ１０、ｖ１１を決定する。なお、本実施形態では、最終推定画素値により構成される画像データに適当なノイズ低減処理を施して表示画像としてもよい。
【００８８】
ここで、上述の実施形態では、未知数ｂ００、ｖ００を探索的に求める場合について説明したが、本実施形態では、未知数ｂ００、ｖ００を直接的に求めてもよい。すなわち、上式（４）に示す誤差Ｅｊの式はｂ００の２次関数式であるので、下式（９）の形に式変形が可能である。そのため、Ｅｊを最小にするｂ００の最小値αを直接的に求められる。ｖ００の最小値βについても同様に求められる。
Ｅｊ＝（ｂ００−α）２＋ξ ・・・ （９）
【００８９】
さて、上述のように、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。また、超解像処理により低解像動画から高解像静止画を合成する手法では、超解像処理が大負荷の処理であることから、処理回路の規模が増大してしまう等の課題がある。
【００９０】
この点、本実施形態によれば、画素を重畳しながら順次画素シフトさせて被写体像がサンプリングされ、画素シフトされながら撮像素子により各撮像動作が行われ、各撮像動作により得られた画素の受光値が低解像フレーム画像として取得される。そして、取得された低解像フレーム画像が記憶され、記憶された複数の低解像フレーム画像に基づいて、低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値が推定される。推定された推定画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像が出力される。このとき、画素シフトされる画素が、第１のポジションと、第１のポジションの次の第２のポジションに順次設定される。第１、第２のポジションの画素は、重畳する。そして、第１、第２のポジションの画素の受光値の差分値が求められ、その差分値に基づいて推定画素値が推定される。
【００９１】
例えば、図７に示すように、撮像素子の画素ピッチｐに対してｐ／２ずつ水平方向または垂直方向にシフトされる。図９（Ａ）に示すように、この画素シフトでは、ｐ／２ずつ画素が重畳される。第１〜第４フレームでは、受光値ａ００、ａ１０、ａ１１、ａ０１を含む低解像フレーム画像が順次取得される。これらの低解像フレーム画像は、例えば図３２に示す撮像装置１０により取得され、画像処理装置２０に入力され、フレームバッファ２１０（記憶部）に記憶される。そして、画素値推定演算部２３０（推定演算部）により、画素ピッチｐよりも小さいピッチｐ／２の推定画素値ｖ００〜ｖ１１が推定され、アンチエリアシングフィルタ２４０（画像出力部）により高解像フレーム画像が出力される。このとき、図９（Ａ）に示すように、第１、第２フレームでは、受光値ａ００、ａ１０を取得する第１、第２のポジションに画素が設定される。これらの画素は、推定画素ｖ１０、ｖ１１を含む領域において重畳する。そして、図１０等で上述のように、差分値δｉ０＝ａ１０−ａ００が求められ、差分値δｉ０に基づいて推定画素値ｖ００〜ｖ１１が推定される。
【００９２】
これにより、簡素な処理で動画から高解像画像を取得することが可能になる。具体的には、差分値δｉ０により中間画素値を推定することで推定処理を簡素化できる。また、高解像静止画は、低解像動画の任意タイミングのものを生成できるため、ユーザは、決定的瞬間の高解像静止画を容易に得ることができる。また、撮影時には低解像動画（例えば３メガピクセル）を取得することで高フレームレート（例えば６０フレーム）で撮影し、必要に応じて高解像静止画（１２メガピクセル）やハイビジョン動画を表示できる。また、デジタルズームの場合には、画素数の低下を推定処理により補って高精細なズーム画像を生成できる。
【００９３】
より具体的には、本実施形態では、第１のポジションの画素から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、第２のポジションの画素から重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式が、差分値を用いて表される。そして、その関係式を用いて第１、第２の中間画素値が推定され、推定された第１の中間画素値を用いて画素の各画素の画素値が求められる。
【００９４】
例えば、図９（Ａ）、図９（Ｂ）で上述のように、第１の受光領域は、第１の中間画素値ｂ００を取得する領域に対応する。また、第２の受光領域は、第２の中間画素値ｂ２０を取得する領域に対応する。そして、図１０で上述のように、差分値δｉ０を用いて関係式ｂ２０＝ｂ００＋δｉ０が求められる。図１１で上述のように、未知数ｂ００が推定され、関係式を用いてｂ２０が推定される。図１３（Ａ）等で上述のように、ｂ００を用いて、推定画素値ｖ００、ｖ０１が求められる。
【００９５】
このようにすれば、重畳シフトされた受光値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、上述の比較例に比べて、２次元フィルタの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【００９６】
また、本実施形態では、第１、第２の中間画素値を含む連続する（連続する順番の）中間画素値を中間画素値パターンとする場合に、中間画素値パターンの中間画素値間の関係式が画素の受光値を用いて表される。そして、中間画素値パターンと受光値パターン（画素の受光値）とを比較して類似性が評価され、その評価結果に基づいて、類似性が最も高くなるように中間画素値パターンの中間画素値の値が決定される。
【００９７】
例えば、図１１で上述したように、連続する中間画素値｛ｂ００、ｂ１０、ｂ２０｝が中間画素値パターンに対応し、上式（２）で上述のように、｛ｂ００、ｂ１０、ｂ２０｝間の関係式が受光値ａ００、ａ１０を用いて表される。そして、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝を比較し、評価関数Ｅｊで表される類似性が最も高くなるように｛ｂ００、ｂ１０、ｂ２０｝の値が決定される。
【００９８】
ここで、中間画素値パターンとは、水平方向（または垂直方向）に連続する中間画素値の集合である。また、受光値パターンとは、推定処理に用いる複数の低解像フレーム画像において、水平方向（または垂直方向）に連続する受光値の集合である。
【００９９】
このようにすれば、画素が重畳されながら画素シフトされることで取得された複数の受光値に基づいて、中間画素値を推定できる。
【０１００】
より具体的には、本実施形態では、中間画素値間の関係式で表された中間画素値パターンと受光値パターンとの誤差を表す評価関数が求められる。そして、その評価関数の値が最小となるように中間画素値パターンの中間画素値の値が決定される。
【０１０１】
例えば、上式（４）等で上述のように、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝が未知数ｂ００の関数として表され、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝との誤差が評価関数Ｅｊで表される。図１２で上述のように、評価関数Ｅｊの値が最小となる未知数ｂ００＝α（初期値）が求められ、求められたｂ００によりｂ００〜ｂ２０の値が決定される。
【０１０２】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。これにより、上述の比較例（特許文献２）と比べて、初期値設定に適当な画像部分の探索を不要にできる。
【０１０３】
６．第２の推定手法
図９（Ｂ）等で上述のように、中間画素値ｂ００、ｂ１０に設定された推定処理ブロックでは、中間画素値ｂ２０まで推定される。このｂ２０は、中間画素値ｂ２０、ｂ３０に設定された次の推定処理ブロックでの未知数（初期変数）に当たる。本実施形態では、既に推定された中間画素値ｂ２０を利用して、次に推定する未知数ｂ２０の推定を高速化することができる。
【０１０４】
図１７〜図２１を用いて、未知数の推定を高速化できる第２の推定手法について説明する。以下では、中間画素値（ｂ２０等）の推定を例に説明するが、推定画素（ｖ０２等）についても同様に推定できる。
【０１０５】
図１７に示すように、重畳シフトサンプリングにより検出される水平方向の最初の行において、受光値ａ００、ａ１０に注目すると下式（１０）が成り立つ。
ａ００＝ｂ００＋ｂ１０，
ａ１０＝ｂ１０＋ｂ２０ ・・・ （１０）
【０１０６】
ｂ００を未知数として下式（１１）が成り立つ。
ｂ００＝（未知数），
ｂ１０＝ａ００−ｂ００，
ｂ２０＝ｂ００＋δｉ０＝ｂ００＋（ａ１０−ａ００） ・・・ （１１）
【０１０７】
ここで、δｉ０は、下式（１２）で表される。
δｉ０＝ａ１０−ａ００
＝（ｂ１０＋ｂ２０）−（ｂ００＋ｂ１０）
＝ｂ２０−ｂ００ ・・・ （１２）
【０１０８】
図１８に示すように、受光値パターン｛ａ００，ａ１０｝と中間画素値パターンφ０＝｛ｂ００，ｂ１０，ｂ２０｝を比較する。具体的には、下式（１３）に示すように、誤差の評価関数Ｅｊを未知数ｂ００の関数で表す。そして、図１９に示すように、評価関数Ｅｊを最小にする未知数ｂ００＝α１を探索的に求め、上式（１１）により中間画素値ｂ１０、ｂ２０の値を決定する。
【数３】
【０１０９】
同様に、水平方向における次の未知数ｂ２０（初期変数）を求め、中間画素値パターンφ２＝｛ｂ２０，ｂ３０，ｂ４０｝を求める。すなわち、図２０に示すように、受光値ａ２０、ａ３０に注目すると下式（１４）が成り立つ。
ａ２０＝ｂ２０＋ｂ３０，
ａ３０＝ｂ３０＋ｂ４０ ・・・ （１４）
【０１１０】
ｂ２０を未知数として下式（１５）が成り立つ。
ｂ２０＝（未知数），
ｂ３０＝ａ２０−ｂ２０，
ｂ４０＝ｂ２０＋δｉ２＝ｂ２０＋（ａ３０−ａ２０） ・・・ （１５）
【０１１１】
ここで、δｉ２は１シフト離れた受光値の差分値であり、下式（１６）で表される。
δｉ２＝ａ３０−ａ２０
＝（ｂ３０＋ｂ４０）−（ｂ２０＋ｂ３０）
＝ｂ４０−ｂ２０ ・・・ （１６）
【０１１２】
次に、図２０に示すように、受光値パターン｛ａ２０，ａ３０｝と中間画素値パターンφ２＝｛ｂ２０，ｂ３０，ｂ４０｝を比較する。
【０１１３】
具体的には、下式（１７）に示すように、誤差の評価関数Ｅｊを未知数ｂ２０の関数で表す。このとき、中間画素値ｂ００〜ｂ２０の推定によりｂ２０の値が既に求められていることを利用して、図２１に示すように、この既に求められたｂ２０（＝α１＋δｉ０）の近傍値の範囲を探索範囲に設定する。そして、その探索範囲内で未知数ｂ２０を変化させ、評価関数Ｅｊが最小となるｂ００＝α２を求める。このようにすれば、下式（１７）の演算回数を格段に低減し、推定処理の高速化を図ることができる。
【数４】
【０１１４】
上記の本実施形態によれば、図２２に示すように、第１の画素（第１の受光単位）と第２の画素（第２の受光単位）が隣接する画素である。そして、画素シフトにより第１、第２の画素が、第１のポジションと、第１のポジションの次の第２のポジションに順次設定される。第１、第２のポジションの第１の画素が第１の重畳領域で重畳し、第１、第２のポジションの第２の画素が第２の重畳領域で重畳する。
【０１１５】
このとき、第１のポジションの第１の画素から第１の重畳領域を除いた領域が、第１の受光領域である。また、第２のポジションの第１の画素から第１の重畳領域を除いた領域が、第２の受光領域である。そして、この第１、第２の受光領域の受光値である第１、第２の中間画素値（例えば、ｂ００、ｂ２０）が推定される（ｂ００＝α１、ｂ２０＝α１＋δｉ０）。
【０１１６】
また、第１のポジションの第２の画素から第２の重畳領域を除いた領域が、第３の受光領域である。また、第２のポジションの第２の画素から第２の重畳領域を除いた領域が、第４の受光領域である。そして、この第３の受光領域の受光値である第３の中間画素値（ｂ２０）が未知数とされ、第４の受光値である第４の中間画素値（ｂ４０）が未知数（ｂ２０）を用いた関係式（ｂ４０＝ｂ２０＋δｉ２）で表される。
【０１１７】
そして、第３の受光領域と第２の受光領域は同じ領域であり、第２の受光領域の中間画素値として先に求めた第２の中間画素値（ｂ２０＝α１＋δｉ０）に基づいて、第３の中間画素値である未知数（ｂ２０）の探索範囲が設定される。設定された探索範囲において未知数（ｂ２０）が探索的に求められ、第３の中間画素値（ｂ２０＝α２）が推定される。
【０１１８】
このようにすれば、中間画素値の高速推定が可能になる。すなわち、先に求めた第２の中間画素値（ｂ２０＝α１＋δｉ０）に基づいて、次の推定処理ブロックで推定する未知数（ｂ２０）の探索範囲を設定できる。これにより、未知数（ｂ２０）を探索する範囲を限定し、探索回数を削減できる。
【０１１９】
７．第３の推定手法
上述の実施形態では、未知数（ｂ００、ｂ２０等）を１回だけ推定するが、本実施形態では、未知数を複数回推定し、その複数の推定値に基づいて未知数の値を高精度に決定してもよい。図２３を用いて、複数の推定値から未知数の値を決定する第３の推定手法について説明する。以下では、中間画素値（ｂ２０）を例に説明するが、推定画素値（ｖ０２等）も同様に推定できる。
【０１２０】
図２３に示すように、重畳シフトサンプリングにより検出される水平方向の受光値において、まず｛ａ００，ａ１０｝から高精細な中間画素値φ０＝｛ｂ００，ｂ１０，ｂ２０｝を求める。この中間画素値φ０＝｛ｂ００，ｂ１０，ｂ２０｝は、上式（１０）〜（１３）の手法と同様の手法により求める。
【０１２１】
次に、上式（１４）〜（１７）の手法と同様の手法により、｛ａ１０，ａ２０｝から高精細な中間画素値φ１＝｛ｂ１０，ｂ２０，ｂ３０｝を求める。また、上式（１４）〜（１７）の手法と同様の手法により、｛ａ２０，ａ３０｝から高精細な中間画素値φ２＝｛ｂ２０，ｂ３０，ｂ４０｝を求める。
【０１２２】
これら３回の推定において、中間画素値ｂ２０は、集合φ０，φ１，φ２のそれぞれに表れる。そのため、３回の推定により中間画素値ｂ２０の３つの推定値が得られることになる。本実施形態では、これら３つの推定値から最終的な中間画素値ｂ２０の値を決定（判定）する。例えば、以下の第１〜第４の決定手法により最終的な中間画素値ｂ２０の値を決定できる。
【０１２３】
第１の決定手法では、３つのｂ２０の候補値の平均値をｂ２０の最終決定値とする。
【０１２４】
第２の決定手法では、３つのｂ２０の候補値の内、差分が最も小さい２つの値を特定し、特定された２つの値の平均値をｂ２０の最終決定値とする。この手法によれば、値の近い２つの推定値を確からしい推定値とし、未知数の推定精度を向上できる。
【０１２５】
第３の決定手法では、既知の多数の高解像画像サンプルの画素値を加算し、受光値と中間画素値を求める。求めた受光値と中間画素値から、受光値パターンに対して発生確率が高い中間画素値パターンを予め特定しておく。そして、その予め特定した対応関係を参照して、撮影により取得された受光値パターンに対して発生確率が高い中間画素値パターンを求める。３つの中間画素値パターンφ０，φ１，φ２のうち、求めた中間画素値パターンに最も近いものを判定し、判定した中間画素値パターンの要素であるｂ２０を最も確からしいものとして、ｂ２０の最終決定値とする。この手法によれば、自然画像等の既知の画像を反映した画素値推定を行うことができる。
【０１２６】
第４の決定手法では、３つのｂ２０の導出に関わる近傍観測画素値ａ００〜ａ３０の差分値δｉ０，δｉ１，δｉ２の変化の度合いによって、最終的に採用するｂ２０を決定する。ここで、ｂ２０の判定に適用する変化の度合いの組合せパターンをξ＝｛δｉ０，δｉ１，δｉ２｝とする。既知の多数の高解像画像サンプルの画素値を加算し、φ０，φ１，φ２の要素パターンと組み合わせパターンξを求める。求めた要素パターンと組み合わせパターンξから、組合せパターンξに対するｂ２０の発生確率分布を予め求めておく。最終判定では、予め求めた発生確率分布を参照して、撮像した画像から求めた差分値のパターンξに対するｂ２０の発生確率分布を求める。そして、その発生確率分布を用いて、推定演算により得た３つのｂ２０の候補値のどれが最も発生する確率が高いかを判定し、ｂ２０を特定する。すなわち、変化の度合いの組合せパターンξに対するｂ２０の発生する値の確率が予め分っているため、推定処理における組合せパターンξを用いて、推定によって得られた３つのｂ２０の候補値の中から最も確からしいｂ２０の値を決定できる。この手法によれば、自然画像等の既知の画像を反映した画素値推定を行うことができる。また、画素値の大きさに依らず、画素値の変化の度合いに応じた画素値推定を行うことができる。
【０１２７】
上記の本実施形態によれば、図２４に示すように、第１の画素（第１の受光単位）と第２の画素（第２の受光単位）が隣接する画素である。そして、画素シフトにより第１、第２の画素が、第１のポジションと、第１のポジションの次の第２のポジションに順次設定される。第１、第２のポジションの第１の画素が第１の重畳領域で重畳し、第１、第２のポジションの第２の画素が第２の重畳領域で重畳する。
【０１２８】
このとき、第１のポジションの第１の画素から第１の重畳領域を除いた領域が、第１の受光領域である。また、第２のポジションの第１の画素から第１の重畳領域を除いた領域が、第２の受光領域である。そして、この第１、第２の受光領域の受光値である第１、第２の中間画素値（例えば、ｂ００、ｂ２０）を含む連続する中間画素値である第１の中間画素値パターン（φ０＝｛ｂ００、ｂ１０、ｂ２０｝）が推定される。
【０１２９】
第１のポジションの第２の画素から第２の重畳領域を除いた領域が、第３の受光領域である。また、第２のポジションの第２の画素から第２の重畳領域を除いた領域が、第４の受光領域である。そして、この第３、第４の受光領域の受光値である第３、第４の中間画素値（ｂ２０、ｂ４０）を含む連続する中間画素値である第２の中間画素値パターン（φ２＝｛ｂ２０、ｂ３０、ｂ４０｝）が推定される。
【０１３０】
第２のポジションの第１の画素と第１のポジションの第２の画素との重畳領域が、第５の受光領域である。そして、この第５の受光領域の受光値である第５の中間画素値（ｂ２０）を含み、第１、第４の中間画素値（ｂ００、ｂ４０）を含まない連続する中間画素値である第３の中間画素値パターン（φ１＝｛ｂ１０、ｂ２０、ｂ３０｝）が推定される。
【０１３１】
上記の第３、第５の受光領域は、第２の受光領域と同一の受光領域である。そして、この同一の受光領域の中間画素値（ｂ２０）が、第１〜第３の中間画素値パターン（φ０、φ２、φ１）の推定により得られた第２、第３、第５の中間画素値（ｂ２０）に基づいて最終的に決定される。
【０１３２】
このようにすれば、画素値の高精度推定が可能になる。すなわち、３回（複数回）推定することで求めた３つ（複数）の推定値に基づいて、最終的な画素値を決定できる。例えば、上述のように既知の画像を利用した決定手法を用いることで、より実際の画像の画素値パターンに即した画素値推定が可能になる。
【０１３３】
８．第４の推定手法
上述の推定手法では、最小二乗法を用いて画素値を推定するが、本実施形態では、ニューラルネットワーク（非線形の推定手法）を用いて画素値を推定してもよい。図２５を用いて、この第４の推定手法について説明する。以下では、中間画素値（ｂ００等）の推定について説明するが、推定画素値（ｖ００等）も同様に推定できる。
【０１３４】
この推定手法では、既知の高解像画像の画素値を加算して、受光値｛ａｍ０，ａ（ｍ＋１）０｝と、この受光値に対応する中間画素値φｍ＝｛ｂｍ０，ｂ（ｍ＋１）０，ｂ（ｍ＋２）０｝を求める（ｍはゼロ以上の整数）。これらを学習データとして、図２５に示すニューラルネットワークの学習計算により重み係数Ｗを予め算出しておく。具体的には、下式（１８）に示す誤差評価値Ｅがゼロ（略ゼロを含む。広義には所定値）になるように重み係数Ｗを算出しておく。このニューラルネットワークの学習手法は、一般的なニューラルネットワーク学習法を用いればよい。
【０１３５】
そして、撮影画像から推定する際には、予め算出しておいた重み係数Ｗを用いて推定を行う。すなわち、上式（２）等で説明した手法により中間画素値の関係式を表し、未知数ｂｍ０を変化させ、下式（１８）に示す誤差評価値Ｅが最小になるｂｍ０（＝α）を求める。
【数５】
【０１３６】
上記実施形態によれば、画素の受光値｛ａｍ０，ａ（ｍ＋１）０｝に対する中間画素値パターンφｍ＝｛ｂｍ０，ｂ（ｍ＋１）０，ｂ（ｍ＋２）０｝の対応関係が、既知の高解像フレーム画像に基づいて、画素の受光値と中間画素値パターンの類似性をあらかじめ定める先見情報として取得される。そして、取得された先見情報に基づいて、中間画素値間の関係式で表された中間画素値パターンφｍ＝｛ｂｍ０，ｂ（ｍ＋１）０，ｂ（ｍ＋２）０｝と、取得された画素の受光値｛ａｍ０，ａ（ｍ＋１）０｝との類似性が評価される。
【０１３７】
このようにすれば、既知の高解像フレーム画像に基づいて取得された先見情報に基づいて類似性が評価されるため、自然画像等の既知の画像に含まれる画像情報（例えば空間周波数特性）を反映した画素値推定を行うことができる。
【０１３８】
例えば、上記第４の推定手法によれば、画像処理装置は、ニューラルネットワークを有する。このニューラルネットワークは、先見情報として、既知の高解像フレーム画像に基づく学習によって得られたノードの重み係数Ｗを用いる。そして、ニューラルネットワークは、中間画素値パターンφｍ＝｛ｂｍ０，ｂ（ｍ＋１）０，ｂ（ｍ＋２）０｝と画素の受光値｛ａｍ０，ａ（ｍ＋１）０｝を受けて、類似性の評価結果Ｅを出力する。このニューラルネットワークからの類似性の評価結果Ｅに基づいて、中間画素値パターンφｍ＝｛ｂｍ０，ｂ（ｍ＋１）０，ｂ（ｍ＋２）０｝の各中間画素値の値が決定される。
【０１３９】
このようにすれば、学習によって得られたノードの重み係数Ｗを用いるニューラルネットワークにより、中間画素値パターンと画素の受光値との類似性を先見情報に基づいて評価できる。
【０１４０】
また、上述の第３の推定手法によれば、受光値パターンに対して発生確率が高い中間画素値パターンを先見情報として求める（第３の決定手法）。また、変化の度合いの組合せパターンξ＝｛δｉ０，δｉ１，δｉ２｝に対するｂ２０の発生確率分布を先見情報として求めてもよい（第４の決定手法）。
【０１４１】
このようにすれば、画素値の発生確率分布を先見情報として画素値を推定できる。これにより、自然画像等の既知の画像で発生確率の高い画素値を推定値にできる。
【０１４２】
９．適応ノイズ低減処理
本実施形態では、推定された画素値ｖｉｊに対して、画素位置に応じたノイズフィルタ処理（広義にはフィルタ処理）を行ってもよい。図２６に、ノイズフィルタの構成例を示す。
【０１４３】
例えば、画素シフトによる重畳シフトサンプリングにより画素推定を行った場合、最終推定画素ｖｉｊ〜ｖ（ｉ＋１）（ｊ＋１）の位置によってノイズの出方が異なる。そこで、図２６に示すように、固定階調のベタ画像（固定階調チャート）を撮像し、その撮像画像に対して推定処理を行い、推定した異なる位置の最終推定画素ｖｉｊ〜ｖ（ｉ＋１）（ｊ＋１）をノイズ比較部ＮＨにより比較する。そして、比較した結果に基づいて、生成ノイズの大きい画素位置のノイズフィルタＦ１〜Ｆ４のノイズ低減効果を強くするように、フィルタ係数設定部ＦＫによりフィルタ係数を設定する。結果的に、ｖｉｊ〜ｖ（ｉ＋１）（ｊ＋１）の位置に依らずノイズの出方が同じ（ほぼ同様）になるように、フィルタ係数を設定する。このようにしてフィルタ係数を設定したフィルタ処理を行うことで、予測画素画像の画像品質を高めることができる。
【０１４４】
上記のノイズフィルタ処理によれば、推定により得られた推定画素値ｖｉｊ〜ｖ（ｉ＋１）（ｊ＋１）に対して、推定画素の画素位置に応じて異なるフィルタ係数のフィルタ処理が行われる。
【０１４５】
このようにすれば、推定画素の画素位置によって異なるノイズが発生する場合でも、推定画素の画素位置に応じたノイズフィルタ処理を行うことで、そのノイズを低減することができる。
【０１４６】
１０．第１の補間手法
本実施形態では、画素値の推定に用いる受光値（ａ００等）として、重畳サンプリングにより取得された受光値をそのまま用いてもよく、補間により生成された受光値を用いてもよい。図２７、図２８を用いて、本実施形態における受光値の補間手法について説明する。図２７には、第１の補間手法の説明図を示す。
【０１４７】
なお、以下の説明で用いるフレームとは、例えば撮像素子により１つの低解像フレーム画像が撮影されるタイミングや、画像処理において１つの低解像フレーム画像が処理されるタイミングである。あるいは、画像データにおける１つの低解像フレーム画像や高解像フレーム画像も適宜フレームと呼ぶ。
【０１４８】
この第１の補間手法では、他のフレームで取得された受光値を用いて補間対象のフレームの受光値を補間する（時間軸補間）。
【０１４９】
具体的には、図２７のＡ１に示すように、フレームｆｘ〜ｆｘ＋３において、受光値ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）、ａｉ（ｊ＋１）を順次取得する。フレームｆｘ＋４では、再び受光値ａｉｊを取得する。すなわち、Ａ２に示すように、受光値ａｉｊで構成される低解像フレーム画像は、４フレーム毎にフレームｆｘ、ｆｘ＋４、ｆｘ＋８、・・・で取得される。Ａ３に示すように、この受光値ａｉｊの時系列データに対して時間軸補間フィルタ処理（フィルタ処理）を行う。そして、Ａ４に示すように、この時間軸補間フィルタ処理により、全フレーム（各フレーム）において受光値ａ’ｉｊが生成される。
【０１５０】
このようにして、各受光値を４フレーム毎に取得し、時間軸補間フィルタ処理を行って、全フレームにおいて受光値ａ’ｉｊ、ａ’（ｉ＋１）ｊ、ａ’（ｉ＋１）（ｊ＋１）、ａ’ｉ（ｊ＋１）を生成する。
【０１５１】
図２８に、補間処理のタイミングチャート例を示す。図２８のＢ１に示すように、各フレームにおいて、画素の設定位置を１／２画素ずつずらす。Ｂ２に示すように、各フレームでフュージョンフレームＦ１、Ｆ２、・・・（低解像フレーム画像。fusion-frame）を撮影する。Ｂ３に示すように、低解像動画フレームを生成し、ライブビュー表示や録画を行う。Ｂ４に示すように、受光値の時間軸補間を行い、補間後の受光値を用いて画素値推定を行い、高解像静止画フレームを生成する。Ｂ５に示すように、全受光値が補間される９フレーム目から高解像静止画や、高解像動画を出力する。
【０１５２】
さて、低解像フレーム画像は画素シフトにより順次取得されるため、画素値推定に用いる受光値が全て取得されるためには４フレーム必要となる。そのため、撮影された受光値をそのまま画素値推定に用いると、異なるフレームの受光値を推定に用いることになり、被写体が動いている場合に画質が劣化する可能性がある。
【０１５３】
この点、上記の実施形態によれば、画素シフトが各フレームｆｘ、ｆｘ＋１、・・・で行われ、画素シフトにより画素が複数のポジション（例えば４ポジション。上述の図２７に示すＰ１〜Ｐ４）に順次設定される。そして、複数のフレーム毎（４フレーム毎）に画素が同じポジションに設定される。このようにして、時系列に各ポジションに対応した受光値ａｉｊ〜ａ（ｉ＋１）（ｊ＋１）が取得され、取得された受光値により低解像フレーム画像が時系列に取得される（連続低解像フレーム画像）。
【０１５４】
取得された連続低解像フレーム画像に対して、複数のポジションＰ１〜Ｐ４の画素の受光値ａ’ｉｊ〜ａ’（ｉ＋１）（ｊ＋１）を補間する処理が行われる。具体的には、補間対象のフレーム（例えばｆｘ＋１）の連続低解像フレーム画像での欠落したポジション（例えばＰ１）の画素の受光値（ａ’ｉｊ）が時間軸補間される。すなわち、受光値（ａ’ｉｊ）は、欠落したポジションと同じポジション（Ｐ１）の、補間対象のフレーム（ｆｘ＋１）の前後のフレーム（ｆｘ、ｆｘ＋４）の連続低解像フレーム画像での画素の受光値（ａｉｊ）を用いて時間軸補間される。
【０１５５】
そして、時間軸補間により補間された連続低解像フレーム画像に基づいて、各フレームｆｘ、ｆｘ＋１、・・・での画素の各画素の画素値ｖｉｊが推定される。
【０１５６】
このようにすれば、画素シフトにより受光値が取得され、取得された受光値を用いて欠落したポジションの受光値を補間し、補間後の受光値から最終推定画素値を求めることができる。これにより、各フレームに全ポジションの受光値を補間できるため、同じフレームでの受光値から画素値推定を行い、被写体が動いている場合でも画質劣化を抑止できる。
【０１５７】
例えば、上記の実施形態では、時間軸補間が時間軸補間フィルタにより行われる。
これにより、各ポジション（例えばＰ１）の受光値（ｆｘ、ｆｘ＋４のａｉｊ）をそれぞれ時間軸補間し、欠落ポジション（ｆｘ＋１〜ｆｘ＋３のＰ１）の受光値（ａ’ｉｊ）を生成できる。
【０１５８】
１１．第２の補間手法
本実施形態では、被写体の動きに応じた適応的な受光値の補間を行ってもよい。図２９、図３０を用いて、適応的な受光値の補間を行う第２の補間手法について説明する。
【０１５９】
第２の補間手法では、動きのない又は小さい部分（受光値）については、近隣前後のフレームの受光値を適用し、動きのある又は大きい部分については、同一フレーム内において近接受光値から重畳シフトした受光値を補間推定する。但し、パンニング（panning）などを行うと全画素に動きがあると判定されるため、事前に動き補償処理を行ってもよい。
【０１６０】
以下では、図２９に示される低解像画像フレームｆｘ〜ｆｘ＋４の中からフレームｆｘ＋１に着目し、このフレームの高解像静止画像を生成する場合を例に説明する。図３０には、説明を簡単にするために、フレームｆｘ＋１において撮像データとして取得した受光値の一部を示す。図３０では、取得した受光値を、ａ１０（ｘ＋１）、ａ（−１）０（ｘ＋１）、ａ（−１）２（ｘ＋１）、ａ１２（ｘ＋１）で示す。
【０１６１】
図３０に示すように、例えばａ１０（ｘ＋１）を構成する４つの高解像画素を求めるには、このａ１０（ｘ＋１）を基準として画素ピッチｐ／２だけシフトした３つの受光値ａ００（ｘ＋１）、ａ０１（ｘ＋１）、ａ１１（ｘ＋１）を補間により求める必要がある。以下では、これらの３つの受光値を求める手法について説明する。
【０１６２】
まず、図２９のＤ１に示すように、ａ００（ｘ＋１）の対応位置で取得された、前後近隣フレームｆｘ、ｆｘ＋４のａ００（ｘ）とａ００（ｘ＋４）を比較する。そして、その差が所定閾値δよりも小さい場合には、フレームｆｘ、ｆｘ＋４の間で、ａ００（ｘ＋１）に対応する画素位置を被写体（動きのある被写体の一部）が通過しなかったと判断する。この場合は、Ｄ２に示すように、ａ００（ｘ＋１）の値としてａ００（ｘ）またはａ００（ｘ＋４）を割当てる。
【０１６３】
一方、ａ００（ｘ）とａ００（ｘ＋４）の差が所定閾値δよりも大きい場合には、フレームｆｘ、ｆｘ＋４の間で、ａ００（ｘ＋１）に対応する画素位置を被写体が通過したと判断する。この場合は、Ｄ３に示すように、同一フレーム内でａ００（ｘ＋１）に近接する受光値ａ１０（ｘ＋１）とａ（−１）０（ｘ＋１）を用いて補間値を求め、ａ００（ｘ＋１）の値とする。例えば、ａ１０（ｘ＋１）とａ（−１）０（ｘ＋１）の平均値をａ００（ｘ＋１）の値とする。但し、本実施形態では、近接した２つの受光値の平均でなく、より多くの周辺の受光値を用いて補間してもよい。
【０１６４】
上記のａ００（ｘ＋１）の補間手法をまとめると、下式（１９）で表される。
｜ａ００（ｘ）−ａ００（ｘ＋４）｜≦δのとき、
ａ００（ｘ＋１）＝ａ００（ｘ）＝ａ００（ｘ＋４）
｜ａ００（ｘ）−ａ００（ｘ＋４）｜＞δのとき、
ａ００（ｘ＋１）＝｛ａ１０（ｘ＋１）＋ａ（−１）０（ｘ＋１）｝／２
・・・ （１９）
【０１６５】
同様に、Ｄ４、Ｄ５に示すように、ａ１１（ｘ＋１）は下式（２０）で補間される。
｜ａ１１（ｘ−２）−ａ１１（ｘ＋２）｜≦δのとき、
ａ１１（ｘ＋１）＝ａ１１（ｘ−２）＝ａ１１（ｘ＋２）
｜ａ１１（ｘ−２）−ａ１１（ｘ＋２）｜＞δのとき、
ａ１１（ｘ＋１）＝｛ａ１０（ｘ＋１）＋ａ１２（ｘ＋１）｝／２
・・・ （２０）
【０１６６】
Ｄ６、Ｄ７に示すように、ａ０１（ｘ＋１）は下式（２１）で補間される。
｜ａ０１（ｘ−１）−ａ０１（ｘ＋３）｜≦δのとき、
ａ０１（ｘ＋１）＝ａ０１（ｘ−１）＝ａ０１（ｘ＋３）
｜ａ０１（ｘ−１）−ａ０１（ｘ＋３）｜＞δのとき、
ａ０１（ｘ＋１）＝｛ａ１０（ｘ＋１）＋ａ（−１）２（ｘ＋１）｝／２
・・・ （２１）
【０１６７】
なお、閾値δは、生成される画像品質を評価し、許容されるレベルの閾値δを設定すればよい。例えば、静止画にも関わらず、ノイズにより動きがあると判定されないレベルに設定すればよい。
【０１６８】
上記第２の補間手法によれば、補間対象のフレーム（例えばｆｘ＋１）の前後のフレーム（例えばｆｘ、ｆｘ＋４）での画素の受光値の差分値（ａ００（ｘ）−ａ００（ｘ＋４））が求められる。そして、差分値が所定の閾値δより小さい場合には、補間対象のフレーム（ｆｘ＋１）での欠落したポジション（位置）の画素の受光値（ａ００（ｘ＋１））が、前後のフレーム（ｆｘ、ｆｘ＋４）での、欠落したポジションと同じポジションの画素の受光値（ａ００（ｘ）、ａ００（ｘ＋４））を用いて補間される。一方、差分値が所定の閾値δより大きい場合には、補間対象のフレーム（ｆｘ＋１）での欠落したポジションの画素の受光値（ａ００（ｘ＋１））が、補間対象のフレーム（ｆｘ＋１）で取得された受光値（ａ１０（ｘ＋１）、ａ（−１）０（ｘ＋１））を用いて補間される。
【０１６９】
このようにすれば、被写体の動きに応じて適応的に受光値を補間できる。具体的には、動きが小さい画素では、同一位置で取得された受光値を用いるため、位置的な誤差を低減できる。一方、動きが大きい画素では、同一フレームで取得された受光値を用いるため、時間的な誤差を低減できる。例えば、フレームｆｘとｆｘ＋４の間で、いつ被写体が通過したのかを受光値ａ００（ｘ）、ａ００（ｘ＋４）から知ることはできない。そのため、ａ００（ｘ）、ａ００（ｘ＋４）から補間すると、被写体の通過タイミングより前のタイミングであっても被写体の動きの影響が出てしまう。本実施形態では、被写体が通過したと判断したときには、同一フレームの受光値で補間するため、被写体の通過タイミングを正確に反映できる。
【０１７０】
また、第２の補間手法によれば、動きの誤検出による画質劣化を抑止できる。例えば、４フレーム撮像の期間内に所定閾値δを超える単なる明るさの変化があった場合、単なる明るさの変化を被写体の動きとして誤検出する可能性がある。この点、第２の補間手法によれば、誤検出された場合であっても、フレーム内補間に切り替わるだけなので著しく画質劣化してしまうことを抑止できる。
【０１７１】
なお、上記第１、第２の補間手法では、動き補償による受光値の補間を行ってもよい。例えば、図３１に示すように、高フレームレート（１／６０秒）で撮影された連続するフュージョンフレームを４つ用い、各フュージョンフレームに対して動き補償を行って１枚の静止画（低フレームレート１／１５秒で撮影した高精細画像相当）を生成してもよい。
【０１７２】
１２．撮像装置、画像処理装置
図３２、図３３に、上記推定処理や時間軸補間処理を行う撮像装置と画像処理装置の詳細な構成例を示す。
【０１７３】
図３２に、ズーム選択を画素シフトの前で行う撮像装置と画像処理装置の第１の詳細な構成例を示す。この撮像装置１０は、低域通過光学ＬＰＦ１００（ＬＰＦ：ローパスフィルタ）、通常サンプリング部１１０、広域通過光学ＬＰＦ１２０、ズーム領域選択部１３０、重畳シフトサンプリング部１４０（読み出し制御部）を含む。画像処理装置２０は、アンチエリアシングフィルタ２００、フレームバッファ２１０（記憶部）、時間軸画素補間部２２０（補間処理部）、画素値推定演算部２３０（推定処理部）、アンチエリアシングフィルタ２４０を含む。
【０１７４】
なお、本実施形態の撮像装置及び画像処理装置はこの構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。また、図３２では、画像処理装置２０が撮像装置１０の外部に設けられる例を図示するが、本実施形態では、画像処理装置２０が撮像装置１０の内部に設けられてもよい。
【０１７５】
撮像装置１０は、例えばデジタルカメラや、ビデオカメラである。また、画像処理装置２０は、例えば画像処理エンジン（ＩＣ）や、ＰＣ（コンピュータ）により実現される。この撮像装置１０と画像処理装置２０は、ワイド撮影（通常撮影、非ズーム撮影）を行う第１のモードと、デジタルズーム撮影を行う第２のモードで動作する。これらのモードは、例えば撮像装置１０と画像処理装置２０の図示しない制御部により設定される。なお、以下では、１２Ｍｐｉｘ（Ｍｐｉｘ：メガピクセル）の撮像素子を用いる場合を例に説明する。
【０１７６】
撮像装置１０が第１のモードに設定されると、低域通過光学ＬＰＦ１００が設定される。この低域通過光学ＬＰＦ１００は、撮像素子の解像度１２Ｍｐｉｘに対応した通過帯域をもつローパスフィルタである。そして、通常サンプリング部１１０が、画素シフト撮像ではなく、通常のワイド撮影により１２Ｍｐｉｘの画像を撮影する。例えば、撮影レートは１５ｆｐｓである。
【０１７７】
画像処理装置２０のアンチエリアシングフィルタ２００は、その画像をアンチエリアシング処理し、１２Ｍｐｉｘの静止画像または動画を出力する。
【０１７８】
一方、撮像装置１０が第２のモードに設定されると、広域通過光学ＬＰＦ１２０が設定される。この広域通過光学ＬＰＦ１２０は、画素シフトによる高解像画像に対応した通過帯域をもつローパスフィルタである。例えば、１／２画素ピッチで画素シフトする場合、４×１２＝４８Ｍｐｉｘの解像度で撮像できる通過帯域をもつ。そして、ズーム領域選択部１３０が読み出し領域を設定する。例えば、２倍デジタルズームの場合、１２／４＝３Ｍｐｉｘの読み出し領域を設定する。重畳シフトサンプリング部１４０は、画素シフト制御を行いながら、読み出し領域から受光値を読み出す。例えば、撮影レートは１５×４＝６０ｆｐｓである。
【０１７９】
画像処理装置２０のフレームバッファ２１０は、補間処理に必要な８フレームの撮像画像をバッファリングする。時間軸画素補間部２２０は、その８フレームの画像から受光値を補間処理する。そして、画素値推定演算部２３０が、補間処理された受光値から推定画素値を求め、３×４＝１２Ｍｐｉｘの画像を出力する。アンチエリアシングフィルタ２４０は、その画像をアンチエリアシング処理し、１２Ｍｐｉｃｓの高精細な２倍デジタルズーム画像を出力する。
【０１８０】
図３３に、ズーム選択を画素シフトの後で行う撮像装置と画像処理装置の第２の詳細な構成例を示す。この撮像装置１０は、広域通過光学ＬＰＦ１２０、重畳シフトサンプリング部１４０を含む。画像処理装置２０は、フレームバッファ２１０、時間軸画素補間部２２０、画素値推定演算部２３０、アンチエリアシングフィルタ２４０、ズーム領域選択部２５０を含む。
【０１８１】
この撮像装置１０と画像処理装置２０は、推定処理による高精細化後にデジタルズームを行う。具体的には、広域通過光学ＬＰＦ１２０は、４×１２＝４８Ｍｐｉｘの解像度で撮像できる通過帯域をもつ。重畳シフトサンプリング部１４０は、画素シフト制御を行いながら、撮像素子の画素数１２Ｍｐｉｘで撮影を行う。例えば、撮影レートは６０ｆｐｓである。
【０１８２】
そして、フレームバッファ２１０が８フレームの画像をバッファリングし、時間軸画素補間部２２０が受光値を補間処理し、画素値推定演算部２３０が推定画素値を求め、４×１２＝４８Ｍｐｉｘの画像を出力する。ズーム領域選択部２５０は、ズーム倍率に応じてズーム領域を設定し、その領域の画像をトリミングする。例えば、ズームなしの場合、４８Ｍｐｉｘの画像をそのまま出力し、２倍デジタルズームの場合、４８／４＝１２Ｍｐｉｘの画像をトリミングする。アンチエリアシングフィルタ２４０は、ズームなしの場合、ダウンサンプリングにより１２Ｍｐｉｘの画像を出力し、２倍デジタルズームの場合、１２Ｍｐｉｃｓの高精細な２倍デジタルズーム画像を出力する。
【０１８３】
１３．第５の推定手法
上述の第１〜第４の推定手法では、水平方向と垂直方向に画素シフトを行って画素値を推定したが、本実施形態では、斜め方向に画素シフトを行って画素値を推定してもよい。図３４（Ａ）〜図３８を用いて、この第５の推定手法について説明する。
【０１８４】
図３４（Ａ）に示すように、画素を斜め方向にｐ／２ピッチでシフトしながら受光値ａｋ（ｋは０以上の整数）を取得する。ここで、斜め方向は、画素配列の水平方向及び垂直方向に交差する方向であり、例えば矩形の画素の対角線に沿った方向である。
【０１８５】
このように斜め方向に画素シフトが行われる場合に、斜め方向の中間画素値ｂｋ（３画素加算値）の関係式を求める。図３４（Ｂ）に示すように、シフト順に受光値をａ０、ａ１、ａ２とし、推定画素の３画素が加算されるように中間画素値ｂ０〜ｂ２、ｂ１’、ｂ２’の受光領域を定義する。このとき、図３５に示すように、下式（２２）が成り立つ。
ｂ０＝（未知数），
ｂ１’＝ｂ０＋δ０＝ｂ０＋（ａ１−ａ０），
ｂ２’＝ｂ１＋δ１＝ｂ１＋（ａ２−ａ１） ・・・ （２２）
【０１８６】
ｂ１とｂ１’の受光領域の重なり部分が多いため、ｂ１≒ｂ１’と仮定すると、下式（２３）が成り立つ。
ｂ０＝（未知数），
ｂ１＝ｂ０＋δ０＝ｂ０＋（ａ１−ａ０），
ｂ２＝ｂ１＋δ１＝ｂ１＋（ａ２−ａ１） ・・・ （２３）
【０１８７】
このように、ｂ０を未知数とし、中間画素値ｂ１、ｂ２をｂ０の関数として求めることができる。ここで、δ０、δ１は、１シフト離れたサンプリング画素値の差分値である。
【０１８８】
次に、斜め方向における未知数ｂ０を求め、中間画素値を求める。図３６に示すように、重畳シフトサンプリングにより検出されるサンプリング画素値によるパターン｛ａｋ｝と中間画素値｛ｂｋ｝によるパターンを比較する。そして、図３７に示すように、その誤差Ｅが最小になる状態をもって未知数ｂ０を導出し設定する。
【０１８９】
具体的には、下式（２４）により誤差Ｅｋを求める。そして、このＥｋを最小にするような未知数ｂ０（＝γ）を求め、ｂ０をその値に設定する。
【数６】
【０１９０】
ｂ０の値が推定できれば、上式（２３）にｂ０を代入することでｂ１，ｂ２は自ずと決まる。これを他の画素に対しても求めれば、全ての中間画素値｛ｂｋ｝を導出することができる。
【０１９１】
図３８に示すように、最終的な推定画素値ｖｋは、斜め方向に画素シフトされた画素の重畳領域の画素値である。この推定画素値について下式（２５）が成り立ち、上述の受光値ａｋと中間画素値ｂｋを代入することで推定画素値ｖｋが求められる。
ｖ０＝ａ０−ｂ０，
ｖ１＝ａ１−ｂ１ ・・・ （２５）
【０１９２】
上記実施形態によれば、画素が斜め方向に重畳されながら画素シフトされて低解像フレーム画像（受光値ａｋで構成される画像）が取得される。そして、その斜め方向に画素シフトされた画素の重畳領域の受光値ｖｋが、推定画素値として推定される。
【０１９３】
このようにすれば、機械的な画素シフトを１方向のみにすることができ、水平方向と垂直方向に画素シフトを行う場合よりも画素シフトを容易に行うことができる。
【０１９４】
１４．第６の推定手法（重み付け加算）
上述の推定手法では、フィルタ透過率の重み付けが無い場合（ｒ＝１）を例に説明したが、本実施形態では、重み付けされた（ｒ＞１）透過率の受光値から推定画素値を求めてもよい。図３９〜図４４を用いて、この第６の推定手法について説明する。
【０１９５】
図１に示すフィルタｃｆ１〜ｃｆ４の透過率の重み係数をｃ１、ｃ２、ｃ３、ｃ４とする。ｃ１＝１とすると、重み係数は下式（２６）に示す比率関係のルールをとる（ｒは、ｒ＞１の実数）。
ｃ１＝１，ｃ２＝１／ｒ，ｃ３＝１／ｒ，ｃ４＝１／ｒ２ ・・・ （２６）
【０１９６】
以下では、説明を簡単にするために、ｒ＝２とおき、下式（２７）とする。
ｃ１＝１、ｃ２＝１／２、ｃ３＝１／２、ｃ４＝１／４ ・・・ （２７）
【０１９７】
図３９に示すように、重畳シフトサンプリングにより検出される水平方向の最初の行に注目し、シフト順に画素値をａ００、ａ１０、ａ２０とする。このとき、下式（２８）が成り立つ。
ａ００＝ｃ１ｖ００＋ｃ２ｖ０１＋ｃ３ｖ１０＋ｃ４ｖ１１
ａ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＋ｃ３ｖ２０＋ｃ４ｖ２１ ・・・ （２８）
【０１９８】
また、下式（２９）に示すようにｂ００、ｂ１０、ｂ２０を定義し、上式（２７）を代入する。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１
ｂ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＝ｖ１０＋（１／２）ｖ１１
ｂ２０＝ｃ１ｖ２０＋ｃ２ｖ２１＝ｖ２０＋（１／２）ｖ２１ ・・・ （２９）
【０１９９】
次に、上式（２７）、（２９）を用いて上式（２８）を変形すると、下式（３０）が成り立つ。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１
＝ｂ００＋（１／２）ｂ１０
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
＝ｂ１０＋（１／２）ｂ２０ ・・・ （３０）
【０２００】
上式（３０）において、ａ００、ａ１０に所定の係数（所定の重み係数）を掛けて差分δｉ０を取り、上式（２９）を使って変形すると、下式（３１）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｖ２０＋（１／４）ｖ２１−（２ｖ００＋ｖ０１）
＝（１／２）ｂ２０−２ｂ００ ・・・ （３１）
【０２０１】
ｂ００を未知数とすると、下式（３２）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） ・・・（３２）
【０２０２】
このように、ｂ００を未知数（初期変数）として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。同様にして、２行目、３行目においてもｂ０１、ｂ０２を未知数として中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンが求められる。
【０２０３】
次に、未知数ｂ００を求める手法について説明する。図４０に示すように、重み付け重畳シフトサンプリングにより検出されるサンプリング画素値によるパターン｛ａ００，ａ１０｝と中間画素値｛ｂ００，ｂ１０，ｂ２０｝によるパターンを比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０２０４】
このとき、上式（３０）に示すように、サンプリング画素値｛ａ００，ａ１０｝は、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の異なる重み付けによる隣接値の加算値となる。そのため、単純にこれらを比較しても正しい推定値が得られない。そこで、図４０に示すように、中間画素値に重み付けをして比較を行う。具体的には、中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝の重み付けが、ｃ３＝ｃ１／２、ｃ４＝ｃ２／２であることを利用すると、下式（３３）が成り立つことが分かる。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ ・・・ （３３）
【０２０５】
この上式（３３）による重み付けを考慮すると、下式（３４）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝と中間推定画素値｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
【数７】
【０２０６】
上式（３２）を用いると、評価関数Ｅｊは、ｂ００を初期変数とした関数で表される。したがって、図４１に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（３２）に代入し、ｂ１０，ｂ２０が求められる。なお、ｂ００が取り得る値の範囲は０≦ｂ００≦ａ００であるので、この範囲にて評価関数Ｅｊの最小値を求めればよい。同様に、２行目、３行目においても、中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンをｂ０１，ｂ０２を未知数として求められる。
【０２０７】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、図１３（Ａ）、図１３（Ｂ）に示す左端垂直列（ｉ＝０列）を例に説明する。図４２に示すように、中間画素値｛ｂ０１，ｂ０１，ｂ０２｝と最終推定画素値｛ｖ００，ｖ０１，ｖ０２｝の関係は、下式（３５）で表される。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｃ１ｖ０１＋ｃ２ｖ０２＝ｖ０１＋（１／２）ｖ０２ ・・・（３５）
【０２０８】
ｂ００、ｂ０１に所定の係数を掛けて差分δｊ０を求めると、下式（３６）が成り立つ。
δｊ０＝ｂ０１−２ｂ００
＝（ｖ０１＋（１／２）ｖ０２）−（２ｖ００＋ｖ０１）
＝（１／２）ｖ０２−２ｖ００ ・・・ （３６）
【０２０９】
ｖ００を未知数（初期変数）とすると、上式（３５）、（３６）を用いて、最終推定画素値ｖ０１、ｖ０２がｖ００の関数として求められる。その関数を下式（３７）に示す。
ｖ００＝（未知数），
ｖ０１＝２（ｂ００−ｖ００），
ｖ０２＝４ｖ００＋２δｊ０＝４ｖ００＋２（ｂ０１−２ｂ００） ・・・（３７）
【０２１０】
上式（３７）の推定画素値パターン｛ｖ００，ｖ０１，ｖ０２｝と、中間画素値パターン｛ｂ００，ｂ０１｝を比較し、その誤差Ｅｉが最小になる未知数ｖ００を導出する。このとき、最終推定画素値｛ｖｉｊ，ｖ（ｉ＋１）ｊ｝の重み付けが、ｃ２＝ｃ１／２であることを利用すると、下式（３８）が成り立つ。
ｂｉｊ＝ｖｉｊ＋（１／２）ｖｉ（ｊ＋１） ・・・ （３８）
【０２１１】
図４３に示すように、上式（３８）に示す重み付けを考慮して、パターンの比較を行う。具体的には、下式（３９）に示す評価関数Ｅｉを求める。
【数８】
【０２１２】
そして、図４４に示すように、評価関数Ｅｉを最小にする未知数ｖ００（＝β）を求め、求めたｖ００を上式（３７）に代入して最終推定画素値ｖ０１、ｖ０２を求める。同様に、２列目においても、ｖ１０を未知数として最終推定画素値｛ｖ１０，ｖ１１，ｖ１２｝の組合せパターンを求める。
【０２１３】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（受光値、画素シフト等）と共に記載された用語（画素値、重畳シフトサンプリング等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像素子、読み出し制御部、推定処理部、画像出力部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０２１４】
１０ 撮像装置、２０ 画像処理装置、１００ 低域通過光学ＬＰＦ、
１１０ 通常サンプリング部、１２０ 広域通過光学ＬＰＦ、
１３０ ズーム領域選択部、１４０ 重畳シフトサンプリング部、
２００ アンチエリアシングフィルタ、２１０ フレームバッファ、
２２０ 時間軸画素補間部、２３０ 画素値推定演算部、
２４０ アンチエリアシングフィルタ、２５０ ズーム領域選択部、
４１０ レンズ、４２０ 撮像素子、
Ｂｋ００ 推定処理ブロック、ＣＦ フィルタ部、Ｅｊ 評価関数、
Ｆ１〜Ｆ４ ノイズフィルタ、ＦＫ フィルタ係数設定部、ＮＨ ノイズ比較部、
Ｐ１〜Ｐ４ ポジション、ＰＤ１〜ＰＤ４ 受光素子、
Ｗ ニューラルネットワークの係数、
ａｉｊ 受光値、ｂ０ 未知数、ｂｉｊ 中間画素値、ｃｆ１〜ｃｆ４ フィルタ、
ｆｘ フレーム、ＮＦ ＮＤフィルタ、ｐ 画素ピッチ、ｐ／２ シフト量、
ｖ００ 未知数、ｖｉｊ 推定画素値、δｉｉ 差分値、φｉ 中間画素値パターン
【特許請求の範囲】
【請求項１】
複数の受光素子とフィルタ部を有する撮像素子と、
前記複数の受光素子の受光値を読み出して低解像フレーム画像を取得する読み出し制御部と、
前記低解像フレーム画像に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、
前記推定画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
を含み、
前記フィルタ部には、
１つの受光素子に対応するフィルタとして、異なる色の複数のフィルタが配列されることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記複数のフィルタの各フィルタは、
重み付けされた透過率を有し、
前記推定演算部は、
前記重み付けされた透過率により得られた受光値に基づいて前記推定を行うことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記フィルタ部は、
前記１つの受光素子に対応するフィルタとして、ベイヤ配列のフィルタを有し、
前記ベイヤ配列のフィルタは、
第１緑色フィルタと、赤色フィルタと、青色フィルタと、第２緑色フィルタを有し、
前記赤フィルタと前記青色フィルタの透過率は、
前記第１緑色フィルタの透過率に対して１／ｒ（ｒは１以上の実数）であり、
前記第２緑色フィルタの透過率は、
前記第１緑色フィルタの透過率に対して１／ｒ２であることを特徴とする撮像装置。
【請求項４】
請求項２において、
前記フィルタ部は、
カラーフィルタと、
前記重み付けされた透過率を有するＮＤ（Neutral Density）フィルタと、
を有することを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記読み出し制御部は、
画素を重畳しながら順次画素シフトさせて被写体像をサンプリングし、前記画素シフトしながら前記撮像素子により各撮像動作を行い、前記各撮像動作により得られた前記画素の受光値を低解像フレーム画像として取得することを特徴とする撮像装置。
【請求項６】
請求項５において、
前記読み出し制御部は、
前記画素を、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定して前記画素シフトを行い、
前記推定演算部は、
前記第１のポジションの画素と前記第２のポジションの画素が重畳する場合に、前記第１のポジションの画素の受光値と前記第２のポジションの画素の受光値の差分値を求め、前記差分値に基づいて前記推定画素値を推定することを特徴とする撮像装置。
【請求項７】
請求項６において、
前記推定演算部は、
前記第１のポジションの画素から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの画素から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めることを特徴とする撮像装置。
【請求項８】
請求項７において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を、前記画素の受光値を用いて表し、
中間画素値間の関係式で表された前記中間画素値パターンと前記画素の受光値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる各中間画素値を決定することを特徴とする撮像装置。
【請求項９】
請求項８において、
前記推定演算部は、
中間画素値間の関係式で表された前記中間画素値パターンと前記画素の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように、前記中間画素値パターンに含まれる各中間画素値を決定することを特徴とする撮像装置。
【請求項１０】
撮像素子が複数の受光素子とフィルタ部を有する撮像装置における画像生成方法であって、
前記フィルタ部に、１つの受光素子に対応するフィルタとして、異なる色の複数のフィルタが配列される場合に、前記複数の受光素子の受光値を読み出して低解像フレーム画像を取得し、
前記低解像フレーム画像に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定し、
前記推定画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力することを特徴とする画像生成方法。
【請求項１１】
請求項１０において、
画素を重畳しながら順次画素シフトさせて被写体像をサンプリングし、前記画素シフトしながら前記撮像素子により各撮像動作を行い、前記各撮像動作により得られた前記画素の受光値を低解像フレーム画像として取得し、
前記画素を、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定して前記画素シフトを行い、
前記第１のポジションの画素と前記第２のポジションの画素が重畳する場合に、前記第１のポジションの画素の受光値と前記第２のポジションの画素の受光値の差分値を求め、前記差分値に基づいて前記推定画素値を推定することを特徴とする画像生成方法。
【請求項１】
複数の受光素子とフィルタ部を有する撮像素子と、
前記複数の受光素子の受光値を読み出して低解像フレーム画像を取得する読み出し制御部と、
前記低解像フレーム画像に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、
前記推定画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
を含み、
前記フィルタ部には、
１つの受光素子に対応するフィルタとして、異なる色の複数のフィルタが配列されることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記複数のフィルタの各フィルタは、
重み付けされた透過率を有し、
前記推定演算部は、
前記重み付けされた透過率により得られた受光値に基づいて前記推定を行うことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記フィルタ部は、
前記１つの受光素子に対応するフィルタとして、ベイヤ配列のフィルタを有し、
前記ベイヤ配列のフィルタは、
第１緑色フィルタと、赤色フィルタと、青色フィルタと、第２緑色フィルタを有し、
前記赤フィルタと前記青色フィルタの透過率は、
前記第１緑色フィルタの透過率に対して１／ｒ（ｒは１以上の実数）であり、
前記第２緑色フィルタの透過率は、
前記第１緑色フィルタの透過率に対して１／ｒ２であることを特徴とする撮像装置。
【請求項４】
請求項２において、
前記フィルタ部は、
カラーフィルタと、
前記重み付けされた透過率を有するＮＤ（Neutral Density）フィルタと、
を有することを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記読み出し制御部は、
画素を重畳しながら順次画素シフトさせて被写体像をサンプリングし、前記画素シフトしながら前記撮像素子により各撮像動作を行い、前記各撮像動作により得られた前記画素の受光値を低解像フレーム画像として取得することを特徴とする撮像装置。
【請求項６】
請求項５において、
前記読み出し制御部は、
前記画素を、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定して前記画素シフトを行い、
前記推定演算部は、
前記第１のポジションの画素と前記第２のポジションの画素が重畳する場合に、前記第１のポジションの画素の受光値と前記第２のポジションの画素の受光値の差分値を求め、前記差分値に基づいて前記推定画素値を推定することを特徴とする撮像装置。
【請求項７】
請求項６において、
前記推定演算部は、
前記第１のポジションの画素から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの画素から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めることを特徴とする撮像装置。
【請求項８】
請求項７において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を、前記画素の受光値を用いて表し、
中間画素値間の関係式で表された前記中間画素値パターンと前記画素の受光値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる各中間画素値を決定することを特徴とする撮像装置。
【請求項９】
請求項８において、
前記推定演算部は、
中間画素値間の関係式で表された前記中間画素値パターンと前記画素の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように、前記中間画素値パターンに含まれる各中間画素値を決定することを特徴とする撮像装置。
【請求項１０】
撮像素子が複数の受光素子とフィルタ部を有する撮像装置における画像生成方法であって、
前記フィルタ部に、１つの受光素子に対応するフィルタとして、異なる色の複数のフィルタが配列される場合に、前記複数の受光素子の受光値を読み出して低解像フレーム画像を取得し、
前記低解像フレーム画像に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定し、
前記推定画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力することを特徴とする画像生成方法。
【請求項１１】
請求項１０において、
画素を重畳しながら順次画素シフトさせて被写体像をサンプリングし、前記画素シフトしながら前記撮像素子により各撮像動作を行い、前記各撮像動作により得られた前記画素の受光値を低解像フレーム画像として取得し、
前記画素を、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定して前記画素シフトを行い、
前記第１のポジションの画素と前記第２のポジションの画素が重畳する場合に、前記第１のポジションの画素の受光値と前記第２のポジションの画素の受光値の差分値を求め、前記差分値に基づいて前記推定画素値を推定することを特徴とする画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【公開番号】特開２０１２−１４２６７６（Ｐ２０１２−１４２６７６Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９２１７６（Ｐ２０１０−２９２１７６）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]