撮像装置及び画像生成方法
【課題】簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供すること。
【解決手段】撮像装置は、画像取得部と、加算画像生成部と、圧縮処理部と、伸張処理部と、推定演算部と、画像出力部を含む。加算画像生成部は、加算単位を順次画素シフトさせながら加算単位に含まれる画素値を重み付け加算して加算画像Ａ１〜Ａ３を取得する。圧縮処理部は、加算画像Ａ２と加算画像Ａ１、Ａ３の差分を、差分画像Ｄ１、Ｄ３として求め、Ａ２、Ｄ１、Ｄ３を圧縮する。伸張処理部は、圧縮されたＡ２、Ｄ１、Ｄ３を伸張して加算画像Ａ１〜Ａ３を求める。推定演算部は、加算画像Ａ１〜Ａ３に基づいて加算画像Ａ４を補間により求め、求めた加算画像Ａ４と加算画像Ａ１〜Ａ３に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。画像出力部は、推定された画素値ｖｉｊに基づく高解像画像を出力する。
【解決手段】撮像装置は、画像取得部と、加算画像生成部と、圧縮処理部と、伸張処理部と、推定演算部と、画像出力部を含む。加算画像生成部は、加算単位を順次画素シフトさせながら加算単位に含まれる画素値を重み付け加算して加算画像Ａ１〜Ａ３を取得する。圧縮処理部は、加算画像Ａ２と加算画像Ａ１、Ａ３の差分を、差分画像Ｄ１、Ｄ３として求め、Ａ２、Ｄ１、Ｄ３を圧縮する。伸張処理部は、圧縮されたＡ２、Ｄ１、Ｄ３を伸張して加算画像Ａ１〜Ａ３を求める。推定演算部は、加算画像Ａ１〜Ａ３に基づいて加算画像Ａ４を補間により求め、求めた加算画像Ａ４と加算画像Ａ１〜Ａ３に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。画像出力部は、推定された画素値ｖｉｊに基づく高解像画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザーがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザーがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。
【０００５】
本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
【０００６】
本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像画像を取得する画像取得部と、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、前記加算画像を圧縮する圧縮処理部と、圧縮された前記加算画像を伸張する伸張処理部と、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、を含み、前記加算画像生成部は、前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、前記圧縮処理部は、前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、前記伸張処理部は、圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、前記推定演算部は、前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定する撮像装置に関係する。
【０００８】
本発明の一態様によれば、加算単位が順次画素シフトされて第１〜第ｎ−１の加算画像が取得され、第ｋの加算画像と第ｍの加算画像の差分が、第ｍの差分画像として求められ、その第ｋの加算画像と第ｍの差分画像が圧縮される。圧縮された第ｋの加算画像と第ｍの差分画像が伸張されて第１〜第ｎ−１の加算画像が求められ、その第１〜第ｎ−１の加算画像に基づいて第ｎの加算画像が補間により求められ、その前記第１〜第ｎの加算画像に基づいて撮像画像の画素値が推定される。
【０００９】
これにより、例えば後述する推定処理を適用することで、簡素な処理で低解像の加算画像から高解像な撮像画像を復元することが可能になる。動画撮影と静止画撮影を切り換えないため、動画データから任意タイミングの高解像静止画を取得できる。また、差分画像を求めることで、高圧縮率で画像データを圧縮できる。
【００１０】
また本発明の一態様では、前記加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎ−１のポジションに設定し、前記第１〜第ｎ−１のポジションにおいてそれぞれ前記第１〜第ｎ−１の加算画像を取得し、第ｎのポジションの加算単位は、前記第ｎ−１のポジションの加算単位を、水平又は垂直に１画素シフトさせた加算単位であり、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。
【００１１】
このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求め、その加算画素値により第１〜第ｎ−１の加算画像を構成できる。
【００１２】
また本発明の一態様では、前記圧縮処理部は、第ｋのポジションの前記加算画素値と第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部を有してもよい。
【００１３】
このようにすれば、第ｋの加算画像の画素値と、第ｍの加算画像の画素値の差分値により、第ｍの差分画像の画素値を求めることができる。
【００１４】
また本発明の一態様では、前記圧縮処理部は、前記第ｍの差分画像をエントロピー符号化により可逆圧縮してもよい。
【００１５】
差分画像は、加算画像と加算画像の差分であるため画素値のエントロピーを撮像画像よりも小さくできる。そのため、差分画像をエントロピー符号化することで高圧縮率で圧縮できる。
【００１６】
また本発明の一態様では、前記画像取得部は、前記撮像画像として、複数の色の画素が配列された画像を取得し、前記加算画像生成部は、第１〜第ｎ−１の色配列を有する前記加算単位を設定して第１〜第ｎ−１の加算画素値を取得し、前記推定演算部は、第ｎの色配列に対応する第ｎの加算画素値を補間により求め、求めた前記第ｎの加算画素値と、取得された前記第１〜第ｎ−１の加算画素値とに基づいて、第１の推定画素値を推定する第１の推定部を有し、前記第１の推定部は、前記第１〜第ｎ−１の加算画素値の中の、前記重み付け加算における重み付けと色の対応関係が前記第ｎの色配列と同一である第ｓの加算画素値（ｓはｎ−１以下の自然数）に基づいて、前記第ｎの加算画素値を補間してもよい。
【００１７】
このようにすれば、重み付けと色の対応関係が第ｎの加算画像と同一の第ｓの加算画像に基づいて第ｎの加算画像を求めることができる。重み付けと色の対応関係が維持された加算画像を用いて、例えば後述の推定処理を行うことで、撮像画像が持つ色情報を高精度に復元できる。
【００１８】
また本発明の一態様では、前記推定演算部は、前記第ｓ、第ｎの加算画素値を補間により求め、求めた前記第ｓ、第ｎの加算画素値と、取得された前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて、第２の推定画素値を推定する第２の推定部と、前記第１、第２の推定画素値に基づいて最終的な推定画素値を合成する合成部と、を有し、前記第２の推定部は、前記第ｓ、第ｎの加算画素値を、前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて色配列に依らず補間により求めてもよい。
【００１９】
このようにすれば、色配列に依らない補間を行うことで、補間対象の画素により近い画素を用いて第ｓ、第ｎの加算画像を求めることが可能になる。補間対象の画素により近い画素を用いて求められた第ｓ、第ｎの加算画像を用いて復元推定処理を行うことで、撮像画像が持つ解像情報を高精度に復元できる。
【００２０】
また本発明の一態様では、前記撮像画像が、ＲＧＢベイヤー配列の画像である場合に、前記第１の推定部は、ＲＧＢベイヤー配列の前記第１の推定画素値に対してデモザイキング処理を行い、各画素における第１のＲＧＢ画素値を求め、前記第２の推定部は、ＲＧＢベイヤー配列の前記第２の推定画素値に対してデモザイキング処理を行い、各画素における第２のＲＧＢ画素値を求め、前記合成部は、前記第１のＲＧＢ画素値に基づいて、色差値に相当する第１の画素値を求め、前記第２のＲＧＢ画素値に基づいて、輝度値に相当する第２の画素値を求め、前記第１、第２の画素値をＲＧＢ画素値に変換して最終的なＲＧＢ画素値を求めてもよい。
【００２１】
このようにすれば、色情報が復元された第１の推定画素値と、解像情報が復元された第２の推定画素値とに基づいて、最終的な推定画素値を合成できる。また、色差値に相当する画素値を求めることで、第１の推定画素値から色情報を取り出すことができ、輝度値に相当する画素値を求めることで、第２の推定画素値から解像情報を取り出すことができる。
【００２２】
また本発明の一態様では、第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、前記推定演算部は、前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。
【００２３】
このようにすれば、加算単位が重畳しながら順次画素シフトされた第１〜第ｎの加算画像から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。
【００２４】
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２５】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【００２６】
また本発明の他の態様は、撮像画像を取得し、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、前記加算画像を圧縮し、圧縮された前記加算画像を伸張し、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、前記推定演算部により推定された画素値に基づく高解像画像を出力する場合に、前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定する画像生成方法に関係する。
【図面の簡単な説明】
【００２７】
【図１】第１のデータ圧縮手法についての説明図。
【図２】第１の補間手法についての説明図。
【図３】色情報復元画像の生成手法についての説明図。
【図４】色情報復元画像の生成手法についての説明図。
【図５】第２の補間手法についての説明図。
【図６】解像情報復元画像の生成手法についての説明図。
【図７】解像情報復元画像の生成手法についての説明図。
【図８】撮像装置の第１の構成例。
【図９】撮像装置の第２の構成例。
【図１０】融合画像データの符号割り当て例。
【図１１】推定演算部の詳細な構成例。
【図１２】推定演算部の変形構成例。
【図１３】図１３（Ａ）、図１３（Ｂ）は、推定画素値と中間画素値の説明図。
【図１４】復元推定処理についての説明図。
【図１５】復元推定処理についての説明図。
【図１６】復元推定処理についての説明図。
【発明を実施するための形態】
【００２８】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２９】
１．本実施形態の概要
デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
【００３０】
しかしながら、この手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れたり、ユーザーが気づいたときには既に決定的瞬間を逃していたりするという課題がある。
【００３１】
決定的瞬間の静止画を得るために、高フレームレートの高解像動画を取得し、その高解像動画から任意タイミングの静止画を抜き出す手法が考えられる。しかしながら、この手法では、高解像動画を撮影するためデータ量が増大するという課題がある。
【００３２】
そこで本実施形態では、図１に示すように、撮像画像を画素加算して複数の低解像画像Ａ１〜Ａ３を取得し、基準画像Ａ２と低解像画像Ａ１、Ａ３の差分画像Ｄ１、Ｄ３を求め、その差分画像Ｄ１、Ｄ３を例えばエントロピー符号化により圧縮する。差分画像Ｄ１、Ｄ３では画素値がゼロ付近に偏在していると考えられるため、圧縮率を向上できる。
【００３３】
さて、低解像画像から高解像画像を得る手法として、画素シフトにより撮影した低解像画像に対していわゆる超解像処理を行う手法が考えられる。例えば、この手法では、順次位置ずらししながら加算読み出しを行い、その複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法等が知られている。
【００３４】
例えば上述の特許文献１には、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、その複数の低解像画像を合成することにより高解像画像を仮定し、その高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。
【００３５】
しかしながら、この手法では、２次元フィルターを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、例えばデジタルカメラのような処理能力やコストの制限がある機器への適用は困難であるという課題がある。
【００３６】
また上述の特許文献２には、画素シフトさせた複数の低解像画像を撮像し、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する手法が開示されている。この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００３７】
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、所定の条件を満たす領域を画像から見つけ出している。そのため、適当な領域が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な領域を探索する処理が必要になってしまう。
【００３８】
この点、本実施形態では、図１等で後述するように、基準画像Ａ２と差分画像Ｄ１、Ｄ３から低解像画像Ａ１〜Ａ３を再生し、その低解像画像Ａ１〜Ａ３に基づいて低解像画像Ａ４を補間により求める。この低解像画像Ａ１〜Ａ４の加算画素値ａ（１）００〜ａ（４）０１は、重畳画素シフトされたものであり、隣接する加算画素値は共通の画素を含んでいる。図１３（Ａ）〜図１６で後述するように、この重畳画素シフトされた加算画素値を用いることで、高解像画像を推定する処理を簡素化できる。
【００３９】
２．第１のデータ圧縮手法
次に、本実施形態について詳細に説明する。まず、撮像画像データの圧縮手法について説明する。なお以下では撮像素子がＲＧＢベイヤー配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。また以下ではフレームｆｘの撮像画像を例に説明するが、他のフレームにおいても同様である。
【００４０】
ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。
【００４１】
図１に示すように、フレームｆｘにおいて全画素読み出しによりＲＧＢベイヤー配列の撮像画像（以下、「高精細フレーム画像ｆｘ」と呼ぶ）を取得する。高精細フレーム画像ｆｘに、４画素で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、３枚の画素加算画像Ａ１〜Ａ３を生成する。
【００４２】
４画素加算値ａｉｊは下式（１）で表わされ、画素加算画像Ａ１〜Ａ３を構成する加算画素値はそれぞれ｛ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）｝である。なお図１に示すように、４画素加算値ａｉ（ｊ＋１）で構成される画素加算画像Ａ４は取得しない。
ａｉｊ＝ｖｉｊ＋（１／ｒ）ｖ（ｉ＋１）ｊ＋
（１／ｒ）ｖｉ（ｊ＋１）＋（１／ｒ２）ｖ（ｉ＋１）（ｊ＋１） （１）
【００４３】
ここで、ｒは重み付けのパラメータであり、１≦ｒである。またｖｉｊは高精細フレーム画像におけるアドレス（ｉ，ｊ）の画素値である。
【００４４】
次に、生成した画素加算画像Ａ２を基準画像とする。画素加算画像Ａ１、Ａ３の加算位置を基準画像Ａ２の加算位置に整合した上で、基準画像Ａ２と２枚の画素加算画像Ａ１、Ａ３との差分をそれぞれとり、差分画像Ｄ１、Ｄ３を生成する。具体的には、画素加算画像Ａ１〜Ａ３の４画素加算値をそれぞれ｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１）｝とすると、基準画像Ａ２の４画素加算値｛ａＡ２ｉｊ｝と差分画像Ｄ１、Ｄ３の４画素加算値｛ａＤ１ｉｊ，ａＤ３ｉｊ｝は、下式（２）により求められる。基準画像Ａ２と差分画像Ｄ１、Ｄ３を合わせて融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）とする。
ａＡ２ｉｊ＝ａ（２）（ｉ＋１）ｊ，
ａＤ１ｉｊ＝ａ（１）ｉｊ−ａＡ２ｉｊ，
ａＤ３ｉｊ＝ａ（３）（ｉ＋１）（ｊ＋１）−ａＡ２ｉｊ （２）
【００４５】
なお、画素加算画像Ａ２を基準画像としたのは、配色と重み付けの関係においてＲとＢが同一の重み付け（１／ｒ）であり、４画素加算値としてＲとＢの平均的な値が得られるため、４画素加算値のバラツキの中央値として用いるのが妥当であるからである。
【００４６】
このようにして、静止画と動画を融合させた融合画像データＦ（Ａ２，Ｄ１，Ｄ３）を生成し、それを記録しておき、その記録されたＦ（Ａ２，Ｄ１，Ｄ３）を後段において解凍処理することにより、「高精細静止画データ」又は「動画データ」を適宜生成することが可能となる。
【００４７】
３．高精細静止画の再生手法
次に、融合画像データＦ（Ａ２，Ｄ１，Ｄ３）から高精細フレーム画像ｆｘを復元推定する手法について説明する。
【００４８】
上式（２）を変形すると、下式（３）が得られる。下式（３）に示すように、基準画像Ａ２を構成する４画素加算値｛ａＡ２ｉｊ｝と、差分画像Ｄ１、Ｄ３を構成する４画素加算値｛ａＤ１ｉｊ，ａＤ３ｉｊ｝から、画素加算画像Ａ１、Ａ３のそれぞれの４画素加算値｛ａ（１）ｉｊ，ａ（３）（ｉ＋１）（ｊ＋１）｝が得られる。また４画素加算値ａ（２）（ｉ＋１）ｊ＝ａＡ２ｉｊである。
ａ（１）ｉｊ＝ａＡ２ｉｊ＋ａＤ１ｉｊ，
ａ（３）（ｉ＋１）（ｊ＋１）＝ａＡ２ｉｊ＋ａＤ３ｉｊ （３）
【００４９】
本実施形態では、これらの再生された４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１）｝を用いて、後述する補間手法により４画素加算値｛ａ（４）ｉ（ｊ＋１）｝を求める。この補間値を加えた４つの４画素加算値は、１枚の高精細フレーム画像ｆｘを水平又は垂直に１画素ずつ重畳シフトした４画素加算値により構成されている画像データである。この４つの４画素加算値に対して、図１３（Ａ）等で後述する復元推定処理を適用することにより、元の高精細フレーム画像ｆｘが求められる。
【００５０】
４．第２のデータ圧縮手法
次に、上述した基準画像Ａ２の記録データ量を更に削減する第２のデータ圧縮手法について説明する。
【００５１】
基準画像Ａ２において、例えば近接する４つの加算画素値｛ａＡ２ｉｊ，ａＡ２（ｉ＋２）ｊ，ａＡ２ｉ（ｊ＋２），ａＡ２（ｉ＋２）（ｊ＋２）｝を処理単位とする。これらは近接した同一重み付け加算値なので相関性が比較的高いので差分効果が大きい。
【００５２】
加算画素値｛ａＡ２ｉｊ｝を基準画素加算値とする。下式（４）に示すように、残りの加算画素値は、差分値｛ａＤ２（ｉ＋２）ｊ，ａＤ２ｉ（ｊ＋２），ａＤ２（ｉ＋２）（ｊ＋２）｝として表わされる。ここで、ｉ、ｊは、奇数の画素アドレスを表す。
ａＤ２（ｉ＋２）ｊ＝ａＡ２（ｉ＋２）ｊ−ａＡ２ｉｊ，
ａＤ２ｉ（ｊ＋２）＝ａＡ２ｉ（ｊ＋２）−ａＡ２ｉｊ，
ａＤ２（ｉ＋２）（ｊ＋２）＝ａＡ２（ｉ＋２）（ｊ＋２）−ａＡ２ｉｊ （４）
【００５３】
これらの基準画素加算値｛ａＡ２ｉｊ｝と差分値｛ａＤ２（ｉ＋２）ｊ，ａＤ２ｉ（ｊ＋２），ａＤ２（ｉ＋２）（ｊ＋２）｝を、基準画像Ａ２の記録データＡ２’とする。差分値は、近接した同一重み付け加算画素値の差分値なので、値がゼロ付近に偏在していると考えられる。そのため、差分値は割り当てデータ量が低減されるので、基準画像Ａ２の記録データ量を縮減可能である。この場合、融合画像データはＦ（Ａ２’，Ｄ１，Ｄ３）で与えられる。
【００５４】
加算画像Ａ１〜Ａ３を再生するときは、まず上式（４）により基準画像Ａ２のデータを再生する。次に、基準画像Ａ２と差分画像Ｄ１、Ｄ３を用いて、上式（３）により加算画像Ａ１〜Ａ３を再生する。
【００５５】
５．色情報復元画像の生成手法
次に、取得されていない加算画像Ａ４を補間により求める手法と、求めた加算画像Ａ４と加算画像Ａ１〜Ａ３により高精細フレーム画像ｆｘを復元する手法について説明する。本実施形態では、これらの加算画像から色情報復元画像と解像情報復元画像を生成し、この２つの画像を合成することにより高精細フレーム画像ｆｘを復元する。
【００５６】
まず、加算画像Ａ４を求める第１の補間手法と、求めた加算画像Ａ４を用いて色情報復元画像を生成する手法について説明する。
【００５７】
図２に示すように、４画素加算パターン１〜３の４画素加算値は、加算画像Ａ１〜Ａ３の画素値として取得されている。４画素加算パターン４の４画素加算値は、加算画像Ａ４の画素値に対応しており、補間により求める画素値である。これらの４画素加算パターン１〜４は、画素の色の配列と重み付け係数の関係を表している。図２では、例としてｒ＝２の重み付け係数を、画素の横に記載している。
【００５８】
加算画像Ａ４の画素値は、色の配列と重み付け係数の関係が同一である加算画像Ａ２の画素値を用いて補間により求められる。即ち、ＧｒとＧｂを同じＧ色と捉えれば、４画素加算パターン２、４の重み付け係数は、「Ｇ画素：‘１’又は‘１／ｒ２’、Ｒ画素：‘１／ｒ’、Ｂ画素：‘１／ｒ’」である。これらの加算値にはＲＧＢと重み付けの関係の違いはなく、加算値としては同一として扱えられるので、加算値の補間処理が成り立つのである。
【００５９】
例えば、加算画像Ａ４の画素値｛ａ２１｝は、その斜め周辺の検出加算値｛ａ１０，ａ３０，ａ１２，ａ３２｝を用いて、下式（５）に示す補間処理により求める。なお、加算画像Ａ４の他の画素値｛ａ（４）ｉ（ｊ＋１）｝も同様に、その斜め周辺の検出加算値から求められる。
ａ２１＝ｗ１’・ａ１０＋ｗ２’・ａ３０＋ｗ３’・ａ１２＋ｗ４’・ａ３２
（５）
【００６０】
ここで、補間係数ｗ１’〜ｗ４’は、補間精度が最も高くなるよう予め設定されたものである。補間方法は当然従来手法（バイリニア，バイキュービック等）を用いても良いし、最適な補間係数を独自に設定するものであってもよい。また、補間に用いる検出４画素加算値も近接の４つに限らず周辺近傍のより多くのパターンの値を使っても良いことは言うまでもなく、特に限定されるものではない。
【００６１】
このようにして、復元推定処理に必要な重畳シフト重み付け４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝が全て完備される。
【００６２】
次に、色情報復元画像の生成手法について説明する。図３に示すように、完備された４画素加算値に対して、図１３（Ａ）等で後述する復元推定処理を適用し、第１の推定画素値｛ｖｃｉｊ｝を得る。推定画素値｛ｖｃｉｊ｝により構成される復元画像（色情報を復元推定するためのフレーム画像）はベイヤー配列の画像である。
【００６３】
図４に示すように、このベイヤー配列の復元画像に対してデモザイキング処理を行い、３板化原色画像の色情報復元画像Ｆｃを生成する。得られた各画素の原色成分を（ｒｃｉｊ，ｇｃｉｊ，ｂｃｉｊ）とする。次に、下式（６）に示すように、原色成分（ｒｃｉｊ，ｇｃｉｊ，ｂｃｉｊ）から各画素の色差値｛Ｃｂｉｊ，Ｃｒｉｊ｝を算出する。
Ｃｂｉｊ＝ηｒ・ｒｃｉｊ＋ηｇ・ｇｃｉｊ＋ηｂ・ｂｃｉｊ，
Ｃｒｉｊ＝ξｒ・ｒｃｉｊ＋ξｇ・ｇｃｉｊ＋ξｂ・ｂｃｉｊ （６）
【００６４】
ここで、係数｛ηｒ，ηｇ，ηｂ｝や係数｛ξｒ，ξｇ，ξｂ｝として、例えば、原色ＲＧＢ成分値が与えられた場合に色差値を求める場合の一般的に知られている既知係数を適用する。
【００６５】
６．解像情報復元画像の生成手法
次に、加算画像Ａ４を求める第２の補間手法と、求めた加算画像Ａ４を用いて解像情報復元画像を生成する手法について説明する。
【００６６】
図５に示すように、第２の補間手法では、取得されている加算画像Ａ１、Ａ３の画素値を用いて、加算画像Ａ２、Ａ４の画素値を求める。加算画像Ａ１、Ａ３の画素値は、市松状の４画素サンプリング画像を構成している。４画素加算パターン１、３は、色と重み付け係数の関係が４画素加算パターン２、４と異なっており、第２の補間手法では、色と重み付け係数の関係を無視した補間により加算画像Ａ２、Ａ４を求めている。
【００６７】
例えば、加算画像Ａ２の画素値｛ａ’１２｝は、その上下左右に隣接する検出加算値｛ａ０２，ａ２２，ａ１１，ａ１３｝を用いて、下式（７）に示す補間処理により求める。なお、加算画像Ａ２の他の画素値｛ａ（２）（ｉ＋１）ｊ｝や加算画像Ａ４の画素値｛ａ（４）ｉ（ｊ＋１）｝も同様に、その上下左右に隣接する検出加算値から求められる。
ａ’１２＝ｗ１・ａ０２＋ｗ２・ａ２２＋ｗ３・ａ１１＋ｗ４・ａ１３ （７）
【００６８】
ここで、補間係数ｗ１〜ｗ４は、補間精度が最も高くなるよう予め設定されたものである。補間方法は当然従来手法（バイリニア，バイキュービック等）を用いても良いし、最適な補間係数を独自に設定するものであってもよい。また、補間に用いる検出４画素加算値も近接の４つに限らず周辺近傍のより多くのパターンの値を使っても良いことは言うまでもなく、特に限定されるものではない。
【００６９】
補間により得られた画素値｛ａ’１２｝は、補間に用いた画素値｛ａ０２，ａ２２，ａ１１，ａ１３｝とは、画素の配色と重み付けの関係が同様ではなく、色の関係が無視された４画素加算値となっている。配色と重み付けの関係を無視した補間では、補間により得られた画素値｛ａ’１２｝を、補間に用いた画素値｛ａ０２，ａ２２｝或いは｛ａ１１，ａ１３｝とあたかも同様の配色と重み付けの関係であるかのように見なしているだけである。
【００７０】
このようにして、復元推定処理に必要な重畳シフト重み付け４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝が全て完備される。
【００７１】
次に、解像情報復元画像の生成手法について説明する。図６に示すように、完備された４画素加算値に対して、図１３（Ａ）等で後述する復元推定処理を適用し、推定画素値｛ｖｒｉｊ｝を得る。
【００７２】
なお、推定画素値｛ｖｒｉｊ｝により構成される復元画像（解像情報を復元推定するためのフレーム画像）は、解像度は高いが、色を含めて元の画像を復元しているわけではない。上述の画素値｛ａ’１２｝のように配色が４画素加算パターン３である場合を例にとり、復元処理によって生成された色成分と画素値｛ｖｒｉｊ｝の関係について説明する。
【００７３】
説明を簡単にするために、復元された画素値｛ｖｒ１２，ｖｒ２２，ｖｒ１３，ｖｒ２３｝を１つの処理単位とする。この処理単位は、補間画素値｛ａ’１２｝の加算単位に対応する。下式（８）に示すように、各画素に対応する色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）を括弧付きで表し、配色が明確に識別できるようにする。
ｖｒ２２＝ｖｒ２２（Ｒ），
ｖｒ１２＝ｖｒ１２（Ｇｒ），
ｖｒ２３＝ｖｒ２３（Ｇｂ），
ｖｒ１３＝ｖｒ１３（Ｂ） （８）
【００７４】
上式（８）の各画素が成分として持つ原色成分を（ｒ，ｇ，ｂ）とすれば、下式（９）の関係式が成立することが分っている。Ｇｒ画素、Ｇｂ画素は、原色成分（ｒ，ｇ，ｂ）との関係式が同じである。
ｖｒ２２（Ｒ） ＝α・ｒ２２＋β・ｇ２２＋γ・ｂ２２，
ｖｒ１２（Ｇｒ）＝φ・ｒ１２＋β・ｇ１２＋φ・ｂ１２，
ｖｒ２３（Ｇｂ）＝φ・ｒ２３＋β・ｇ２３＋φ・ｂ２３，
ｖｒ１３（Ｂ） ＝γ・ｒ１３＋β・ｇ１３＋α・ｂ１３ （９）
【００７５】
ここで、係数α、β、γ、φは、画素の重み付け加算において加算される画素数及び重み付け係数によって一義的に定まる係数である。
【００７６】
次に、この推定画素値｛ｖｒｉｊ｝から３板化原色画像を生成する。上式（９）において、係数の間にはα＞γ、β＞φの関係があることが分かっている。そのため、画素値ｖｒ２２（Ｒ）はＲ色成分を主成分としてもっていると見なすことができる。同様に、画素値ｖｒ１２（Ｇｒ）、ｖｒ２３（Ｇｂ）、ｖｒ１３（Ｂ）は、それぞれＧｒ色成分、Ｇｂ色成分、Ｂ色成分を主成分としてもっていると見なすことができる。即ち、ｖｉｊ（Ｒ）≒Ｒ色成分、ｖｉｊ（Ｇｒ）≒Ｇｒ色成分、ｖｉｊ（Ｇｂ）≒Ｇｂ色成分、ｖｉｊ（Ｂ）≒Ｂ色成分として、復元画像を近似的にベイヤー配列画像と見なすことができる。
【００７７】
図７に示すように、この近似的なベイヤー配列の復元画像に対してデモザイキング処理を行い、３板化原色画像の解像情報復元画像Ｆｒを生成する。得られた各画素の原色成分を（ｒｒｉｊ，ｇｒｉｊ，ｂｒｉｊ）とする。次に、下式（１０）に示すように、原色成分（ｒｒｉｊ，ｇｒｉｊ，ｂｒｉｊ）を加算した値を解像反映値｛Ｙｉｊ｝として求める。
Ｙｉｊ＝ｒｒｉｊ＋ｇｒｉｊ＋ｂｒｉｊ （１０）
【００７８】
７．色情報復元画像と解像情報復元画像の合成手法
次に、上述の色情報復元画像と解像情報復元画像を合成して最終的な復元画像を得る手法について説明する。
【００７９】
下式（１１）に示すように、解像情報復元画像の原色成分（ｒｒｉｊ，ｇｒｉｊ，ｂｒｉｊ）と、色情報復元画像の原色成分（ｒｃｉｊ，ｇｃｉｊ，ｂｃｉｊ）が近似的に等しいとする。ここで、（ｒｉｊ，ｇｉｊ，ｂｉｊ）は、最終復元推定画像Ｆ＝［Ｆｒ，Ｆｃ］の個々の画素ｖｉｊの原色成分を表す。
ｒｉｊ＝ｒｒｉｊ≒ｒｃｉｊ，
ｇｉｊ＝ｇｒｉｊ≒ｇｃｉｊ，
ｂｉｊ＝ｂｒｉｊ≒ｂｃｉｊ （１１）
【００８０】
上式（１１）を用いると、上式（１０）に示す解像反映値｛Ｙｉｊ｝と、上式（６）に示す色差値｛Ｃｂｉｊ，Ｃｒｉｊ｝は、下式（１２）に示す行列式に整理される。下式（１２）を解くことにより、最終復元画像Ｆの画素ｖｉｊの成分（ｒｉｊ，ｇｉｊ，ｂｉｊ）が求められる。この最終復元画像Ｆは、解像情報と色情報の両方が復元された画像である。
【数１】
【００８１】
以上の実施形態によれば、１フレームの原画像において重み付け重畳シフト加算して得られた加算画像Ａ１〜Ａ３から、高精細な原画像の復元推定画像Ｆが得られる。複数フレームを利用する場合とは異なり、１フレームのみで原画像の復元が可能なので、動きの大きい被写体に対しても像ずれ、色ずれ等による画像劣化要因を排除でき、高画質な高精細画像を得ることができる。
【００８２】
８．撮像装置
図８に、上述の画像データ圧縮や復元推定処理を行う撮像装置の構成例を示す。撮像装置は、撮像とデータ圧縮処理を行う撮像部１０と、高精細画像の復元処理を行う画像処理部２０を含む。画像処理部２０は、カメラ本体に内蔵されてもよいし、ＰＣ等の外部の情報処理装置により構成されてもよい。
【００８３】
具体的には、撮像部１０は、レンズ１１０、撮像素子１２０（撮像センサー）、加算画像生成部１３０（重畳シフト重み付け加算画像生成部）、圧縮処理部１４０、圧縮データ記録部１５０（融合圧縮データ記録部）を含む。
【００８４】
レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。撮像により得られたアナログ信号は、図示しないＡ／Ｄ変換部によりデジタル信号に変換される。
【００８５】
加算画像生成部１３０は、上述のように、画素シフトさせつつ撮像画像の画素値を加算し、撮像画像から画素加算画像Ａ１〜Ａ３を生成する。
【００８６】
圧縮処理部１４０は、画素加算画像Ａ１〜Ａ３から差分画像Ｄ１、Ｄ３を生成し、基準画像Ａ２と差分画像Ｄ１、Ｄ３を圧縮する処理を行う。具体的には圧縮処理部１４０は、差分画像生成部１４１、エントロピー符号化部１４３、データ圧縮部１４４を含む。
【００８７】
差分画像生成部１４１は、画素加算画像Ａ１〜Ａ３から差分画像Ｄ１、Ｄ３を生成する。エントロピー符号化部１４３は、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）の可逆圧縮により差分画像Ｄ１、Ｄ３を圧縮する。データ圧縮部１４４は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により基準画像Ａ２を圧縮する。
【００８８】
圧縮データ記録部１５０は、圧縮された画像データを記録する。具体的には圧縮データ記録部１５０は、圧縮された差分画像Ｄ１、Ｄ３を記録する差分データ記録部１５１と、圧縮された基準画像Ａ２を記録する基準画像データ記録部１５７を含む。
【００８９】
画像処理部２０は、伸張処理部２０５、推定演算部２３０（高精細画像復元推定部）、高精細静止画生成部２４０、高精細動画生成部２５０、標準動画生成部２６０、画像出力部２９０、画像選択部２９５を含む。
【００９０】
伸張処理部２０５は、圧縮データを伸張して加算画像Ａ１〜Ａ３を再生する。具体的には、伸張処理部２０５は、圧縮データ伸張部２００、加算画像再生部２１０（重み付け加算画像再生部）を含む。
【００９１】
圧縮データ伸張部２００は、圧縮された基準画像Ａ２と差分画像Ｄ１、Ｄ３を伸張する処理を行う。加算画像再生部２１０は、基準画像Ａ２と差分画像Ｄ１、Ｄ３から加算画像Ａ１〜Ａ３を再生する処理を行う。
【００９２】
推定演算部２３０は、上述のように、加算画像Ａ１〜Ａ３に基づいて色情報復元画像Ｆｃや解像情報復元画像Ｆｒを求め、これらの画像から復元画像Ｆを求める。復元された画像は、ＲＧＢベイヤー配列の画像である。
【００９３】
高精細静止画生成部２４０は、復元画像Ｆに対して例えば階調補正処理等の画像処理を行い、高精細静止画を生成する。このとき、画像選択部２９５により選択されたタイミングの静止画が生成される。タイミングは、ユーザーの指示により選択され、ユーザーは、例えば画像出力部２９０の出力動画を見てタイミングを選択する。
【００９４】
高精細動画生成部２５０は、復元画像Ｆによる動画画像に対して例えば階調補正処理等の画像処理を行い、高精細動画を生成する。標準動画生成部２６０は、高精細動画をダウンサンプリングし、例えばハイビジョン画素数の動画を標準動画として生成する。
【００９５】
画像出力部２９０は、高精細静止画、高精細動画、標準動画を、例えば表示装置やプリンターに出力する。
【００９６】
９．撮像装置の変形構成例
上記の実施形態では差分画像Ｄ１、Ｄ３をエントロピー符号化により圧縮する場合を例に説明したが、本実施形態はこれに限定されず、融合画像データＦ（Ａ２，Ｄ１、Ｄ３）を非可逆圧縮してもよい。
【００９７】
図９に、融合画像データＦ（Ａ２，Ｄ１、Ｄ３）を非可逆圧縮する場合の撮像装置の変形構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図８で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【００９８】
撮像部１０は、レンズ１１０、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、データ記憶部１４９、圧縮データ記録部１５０、データ圧縮部１５６を含む。画像処理部２０の構成要素は、図８の画像処理部２０と同様である。
【００９９】
データ記憶部１４９は、融合画像データＦ（Ａ２，Ｄ１、Ｄ３）を記憶する。融合画像データＦ（Ａ２，Ｄ１、Ｄ３）は、加算画像生成部１３０からの基準画像Ａ２と、差分画像生成部１４１からの差分画像Ｄ１、Ｄ３により構成される画像データである。データ圧縮部１５６は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により融合画像データＦ（Ａ２，Ｄ１、Ｄ３）を圧縮する。圧縮データ記録部１５０は、圧縮された融合画像データＦ（Ａ２，Ｄ１、Ｄ３）を記録する。
【０１００】
１０．融合画像データの符号割り当て例
図１０に、上述の融合画像データＦ（Ａ２，Ｄ１、Ｄ３）の符号割り当て例を示す。
【０１０１】
図１０に示すように、融合画像データＦ（Ａ２，Ｄ１、Ｄ３）の座標（ｉ，ｊ）の画素値を、３フレーム分で１ユニットにし、その１ユニットに４８ビットを割り当てる。具体的には、第ｋ〜第ｋ＋２のフレーム（ｋは自然数）の基準画像Ａ２の画素値ａ（２）ｋ〜ａ（２）ｋ＋２に、それぞれ８ビットを割り当てる。第ｋ〜第ｋ＋２のフレームの差分画像Ｄ１、Ｄ３の画素値ａＤ１ｋ〜ａＤ１ｋ＋２、ａＤ３ｋ〜ａＤ３ｋ＋２に、それぞれ４ビットを割り当てる。ａ（２）ｋ〜ａ（２）ｋ＋２とａＤ１ｋ〜ａＤ１ｋ＋２でそれぞれ１２ビットのデータを構成し、ａＤ３ｋ〜ａＤ３ｋ＋２で１２ビットのデータを構成する。
【０１０２】
例えば撮像画像（原画像）の画素数をＮ画素とし、画素値データを１２ビットとする。この場合、融合画像データＦ（Ａ２，Ｄ１、Ｄ３）のデータ量は、撮像画像のデータ量の１／３＝（Ｎ／４画素×４８ビット）／（Ｎ画素×１２ビット×３フレーム）となる。
【０１０３】
１１．推定演算部
図１１に、上述の推定演算部２３０の詳細な構成例を示す。推定演算部２３０は、色情報推定部２３１（第１推定部）、解像情報推定部２３２（第２推定部）、合成部２３３を含む。
【０１０４】
色情報推定部２３１は、上述した第１の補間手法により、加算画像Ａ２から加算画像Ａ４を補間により求め、求めた加算画像Ａ４と加算画像Ａ１〜Ａ３から色情報復元画像Ｆｃを生成する。
【０１０５】
解像情報推定部２３２は、上述した第２の補間手法により、加算画像Ａ１、Ａ３から加算画像Ａ２、Ａ４を補間により求め、求めた加算画像Ａ２、Ａ４と加算画像Ａ１、Ａ３から解像情報復元画像Ｆｒを生成する。
【０１０６】
合成部２３３は、上述した合成手法により、色情報復元画像Ｆｃと解像情報復元画像Ｆｒから最終的な復元画像のＲＧＢ画素値（ｒｉｊ，ｇｉｊ，ｂｉｊ）を求める。
【０１０７】
１２．推定演算部の変形構成例
上記の実施形態では、色情報復元画像Ｆｃと解像情報復元画像Ｆｒを合成して最終復元画像を得たが、色情報復元画像Ｆｃのみから最終復元画像を得てもよい。図１２に、この場合の推定演算部の変形構成例を示す。推定演算部２３０は、補間処理部２３５、復元推定処理部２３６を含む。
【０１０８】
補間処理部２３５は、上述した第１の補間手法により、加算画像Ａ２から加算画像Ａ４を補間により求める。復元推定処理部２３６は、求められた加算画像Ａ４と加算画像Ａ１〜Ａ３から色情報復元画像Ｆｃを生成し、Ｆｃを最終的な復元画像として出力する。なお、色情報復元画像Ｆｃに対して画像処理を行った画像を最終的な復元画像として出力してもよい。
【０１０９】
上記の変形構成例によれば、２画像を合成する場合に比べて処理過程を少なくできるので、高速低負荷な推定演算部を構成できる。
【０１１０】
以上の実施形態によれば、図８に示すように、撮像装置は、画像取得部（例えば撮像素子１２０）と、加算画像生成部１３０と、圧縮処理部１４０と、伸張処理部２０５と、推定演算部２３０と、画像出力部２９０を含む。
【０１１１】
図１で説明したように、画像取得部は、撮像画像ｆｘ（高精細フレーム画像）を取得する。加算画像生成部１３０は、加算画素値（例えばａ（１）ｉｊ）を取得する単位である加算単位を撮像画像ｆｘの複数の画素毎（例えば４画素毎）に設定し、その加算単位に含まれる画素値を重み付け加算（上式（１））して加算画素値を求め、求めた加算画素値による加算画像Ａ１〜Ａ３を取得する。圧縮処理部１４０は、その加算画像Ａ１〜Ａ３を圧縮する。伸張処理部２０５は、圧縮された加算画像Ａ１〜Ａ３を伸張する。推定演算部２３０は、伸張された加算画像Ａ１〜Ａ３に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。画像出力部２９０は、推定された画素値ｖｉｊに基づく高解像画像を出力する。
【０１１２】
この場合に、加算画像生成部１３０は、加算単位を順次画素シフトさせて、第１〜第４（広義には第１〜第ｎ）の加算画像Ａ１〜Ａ４のうちの第１〜第３の加算画像Ａ１〜Ａ３を取得する。圧縮処理部１４０は、第ｋの加算画像Ａｋ（基準画像）と第ｍの加算画像Ａｍ（ｋ、ｍは３以下の自然数、ｍ≠ｋ）の差分を、第ｍの差分画像Ｄｍとして求め、加算画像Ａｋと差分画像Ｄｍを圧縮する。伸張処理部２０５は、圧縮された加算画像Ａｋと差分画像Ｄｍを伸張して加算画像Ａ１〜Ａ３を求める。推定演算部２３０は、加算画像Ａ１〜Ａ３に基づいて第４（広義には第ｎ）の加算画像Ａ４を補間により求め、求めた加算画像Ａ４と加算画像Ａ１〜Ａ３に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。
【０１１３】
このようにすれば、撮像画像ｆｘを効率よく圧縮することが可能になる。即ち、３枚の加算画像Ａ１〜Ａ３の合計画素数は撮像画像ｆｘの画素数の３／４であり、画素数が削減される。また、上述のように差分画像Ｄｍの画素値はゼロ付近に偏在していると考えられるため、差分画像Ｄｍのエントロピーは撮像画像ｆｘよりも小さい。そのため、差分画像Ｄｍを例えばエントロピー符号化することで圧縮率を向上できる。これにより、高圧縮率の画像データから撮像画像ｆｘを復元して任意タイミングの高精細静止画を取り出すことが可能になる。また、加算画像Ａ１〜Ａ３を１枚の撮像画像ｆｘから生成するため、動体でもブレが少ない時間分解能が高い復元画像を得られる。
【０１１４】
また本実施形態によれば、簡素な処理で圧縮データから撮像画像ｆｘを再生可能である。即ち、加算画像Ａ１〜Ａ３と、補間により得られる加算画像Ａ４は、重畳シフト加算により得られた画像データであり、後述する復元推定処理を適用可能である。この復元推定処理は、低解像画像から高解像画像を推定する処理を、上述の特許文献１、２に比べて簡素化することができる。
【０１１５】
ここで、第１〜第４の加算画像Ａ１〜Ａ４は、撮像画像ｆｘの画素値ｖｉｊを推定するために必要な画像であり、巡回的な画像のうちの１巡分の画像である。即ち、仮に第５（広義には第ｎ＋１）の加算画像Ａ５を重み付け加算により取得するとすれば、その第５の加算画像Ａ５は第１の加算画像Ａ１と同一の画像となり、以降、４画像毎に同じ画像が現れるということである。
【０１１６】
また本実施形態では、図１に示すように、加算画像生成部１３０は、加算単位を、水平又は垂直（ｉ軸方向又はｊ軸方向）に１画素ずつ順次シフトさせて第１〜第３のポジション（例えば座標（０，０）、（１，０）、（１，１））に設定し、その第１〜第３のポジションにおいてそれぞれ加算画像Ａ１〜Ａ３を取得する。第ｍのポジションと第ｍ＋１のポジション（例えば（０，０）、（１，０））の加算単位は、共通の画素（ｖ１０、ｖ１１）を含む。
【０１１７】
また本実施形態では、図８に示すように、圧縮処理部１４０は差分画像生成部１４１を有する。上式（２）に示すように、差分画像生成部１４１は、第ｋのポジションの加算画素値ａ（２）（ｉ＋１）ｊと第ｍのポジションの加算画素値（例えばａ（１）ｉｊ）の差分値（ａＤ１ｉｊ）を、第ｍの差分画像Ｄｍの画素値として求める。
【０１１８】
以上のようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求める重畳シフト加算を行うことができる。また、その重畳シフト加算により得られた加算画像Ａｋ（基準画像）の画素値と、加算画像Ａｍの画素値との差分値により、差分画像Ｄｍの画素値を求めることができる。
【０１１９】
また本実施形態では、図８等で説明したように、圧縮処理部１４０は、第ｍの差分画像Ｄｍをエントロピー符号化により可逆圧縮する。
【０１２０】
このようにすれば、上述のようにエントロピーが小さくなった差分画像Ｄｍを高圧縮率で圧縮することができるため、画像データの圧縮率を向上できる。これにより、圧縮データを記録するストレージの容量を削減したり、データ通信における通信負荷を軽減できる。
【０１２１】
また本実施形態では、画像取得部は、撮像画像ｆｘとして、複数の色（例えばＲ、Ｇｒ、Ｇｂ、Ｂ）の画素が配列された画像（例えばベイヤー配列画像）を取得する。図２に示すように、加算画像生成部１３０は、第１〜第３の色配列（４画素加算パターン１〜３）を有する加算単位を設定して第１〜第３の加算画素値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１）｝を取得する。図１１に示すように、推定演算部２３０は、第１の推定部（色情報推定部２３１）を有する。図２に示すように、第１の推定部は、第４の色配列（４画素加算パターン４）に対応する第４の加算画素値（例えばａ１２、広義には｛ａ（４）ｉ（ｊ＋１）｝）を補間により求める。図３に示すように、第１の推定部は、求めた第４の加算画素値と、取得された第１〜第３の加算画素値とに基づいて、第１の推定画素値｛ｖｃｉｊ｝を推定する。図２で上述のように、第１の推定部は、第１〜第３の加算画素値の中の、重み付け加算における重み付けと色の対応関係が第４の色配列（４画素加算パターン４）と同一である第２（広義には第ｓ）の加算画素値に基づいて、第４の加算画素値を補間する。
【０１２２】
このようにすれば、重み付けと色の対応関係が加算画像Ａ４と同一の加算画像Ａ２に基づいて加算画像Ａ４を求めることができる。重み付けと色の対応関係が維持された加算画像Ａ４を用いて復元推定処理を行うことで、撮像画像ｆｘが持つ色情報（色と画素値の対応関係）を高精度に復元できる。
【０１２３】
また本実施形態では、図１１に示すように、推定演算部２３０は、第２の推定部（解像情報推定部２３２）と合成部２３３を有する。図５に示すように、第２の推定部は、第２、第４の加算画素値｛ａ（２）（ｉ＋１）ｊ，ａ（４）ｉ（ｊ＋１）｝を補間により求める。図８に示すように、第２の推定部は、求めた前記第２、第４の加算画素値と、取得された前記第１、第３の加算画素値に基づいて、第２の推定画素値｛ｖｒｉｊ｝を推定する。合成部２３３は、第１、第２の推定画素値｛ｖｃｉｊ，ｖｒｉｊ｝に基づいて最終的な推定画素値｛ｖｉｊ｝を合成する。図５で上述のように、第２の推定部は、第２、第４の加算画素値を、前記第１、第３の加算画素値に基づいて色配列に依らず補間により求める。
【０１２４】
このようにすれば、色配列に依らない補間により加算画像Ａ２、Ａ４を求めることができる。この加算画像Ａ２、Ａ４を用いて復元推定処理を行うことで、撮像画像ｆｘが持つ解像情報（例えば各画素の輝度値）を高精度に復元できる。即ち、図５に示すように、第１、第３の加算画素値（例えばａ１１、ａ２２等）は、第２、第４の加算画素値（例えばａ１２）の上下左右に隣接する。図２の補間手法のように斜め方向に隣接する加算画素を使うよりも、近い加算画素値を用いて補間できるため、より高解像の復元が可能になる。この補間は、色配列を無視して、より近い加算画素値を用いることで可能になる。
【０１２５】
また本実施形態では、撮像画像ｆｘは、ＲＧＢベイヤー配列の画像である。図４に示すように、第１の推定部は、ＲＧＢベイヤー配列の第１の推定画素値｛ｖｃｉｊ｝に対してデモザイキング処理を行い、各画素における第１のＲＧＢ画素値（ｒｃｉｊ，ｇｃｉｊ，ｂｃｉｊ）を求める。図７に示すように、第２の推定部は、（近似的に）ＲＧＢベイヤー配列の第２の推定画素値｛ｖｒｉｊ｝に対してデモザイキング処理を行い、各画素における第２のＲＧＢ画素値（ｒｒｉｊ，ｇｒｉｊ，ｂｒｉｊ）を求める。合成部２３３は、第１のＲＧＢ画素値に基づいて、色差値に相当する第１の画素値（色差値｛Ｃｂｉｊ，Ｃｒｉｊ｝）を求め（上式（６））、第２のＲＧＢ画素値に基づいて、輝度値に相当する第２の画素値（解像反映値｛Ｙｉｊ｝）を求める。上式（１２）で説明したように、合成部２３３は、その第１、第２の画素値をＲＧＢ画素値に変換して最終的なＲＧＢ画素値（ｒｉｊ，ｇｉｊ，ｂｉｊ）を求める。
【０１２６】
このようにすれば、色情報が復元された第１の推定画素値と、解像情報が復元された第２の推定画素値とに基づいて、最終的な推定画素値を合成できる。また、第１の推定画素値から色差値に相当する画素値を求めることで、第１の推定画素値から色情報を取り出すことができる。また、第２の推定画素値から輝度値に相当する画素値を求めることで、第２の推定画素値から解像情報を取り出すことができる。
【０１２７】
１３．復元推定処理
次に、図８等で上述の推定演算部２３０が行う推定処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明する（ｉ，ｊは０以上の整数）が、他の加算画素値についても同様である。また、加算単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。
【０１２８】
図１３（Ａ）、図１３（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１３（Ａ）に示す加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝は、図１で説明した加算画像Ａ１〜Ａ４の加算画素値｛ａ（１）００，ａ（２）１０，ａ（３）１１，ａ（４）０１｝に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００〜ｖ２２を推定する。推定画素値ｖｉｊは、図１で説明した撮像画像ｆｘの画素値に対応する。
【０１２９】
図１３（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【０１３０】
まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を推定する場合を例に説明する。次の行の中間画素値ｂ０１〜ｂ２１についても同様の手法により推定される。
【０１３１】
図１４に示すように、中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の加算画素値ａ００、ａ１０に基づいて推定される。説明を簡単にするために、例えば重み付け係数ｒ＝２とすると、加算画素値ａ００、ａ１０は下式（１３）で表される。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
（１３）
【０１３２】
下式（１４）に示すようにｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋（１／ｒ）ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／ｒ）ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／ｒ）ｖ２１＝ｖ２０＋（１／２）ｖ２１ （１４）
【０１３３】
次に、上式（１４）を用いて上式（１３）を変形すると、下式（１５）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （１５）
【０１３４】
上式（１５）において、ａ００、ａ１０に所定の重み付け係数を掛けて差分δｉ０を取り、上式（１４）を使って変形すると、下式（１６）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｂ２０−２ｂ００ （１６）
【０１３５】
ｂ００を未知数（初期変数）とすると、下式（１７）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。このようにして、ｂ００を未知数として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） （１７）
【０１３６】
次に、未知数ｂ００を求める手法について説明する。図１５に示すように、加算画素値のパターン｛ａ００，ａ１０｝と中間画素値のパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０１３７】
具体的には、加算画素値｛ａｉｊ｝と中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝には、下式（１８）の関係が成り立つ。この下式（１８）による重み付けを考慮すると、下式（１９）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝とパターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ （１８）
【数２】
【０１３８】
図１６に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（１７）に代入し、ｂ１０，ｂ２０が求められる。
【０１３９】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。即ち、上式（１５）を下式（２０）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （２０）
【０１４０】
以上の実施形態によれば、図１３（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ００）と、第１のポジションの次の第２のポジションに設定された加算単位（例えばａ１０）は重畳する。上式（１６）に示すように、推定演算部２３０は、第１、第２のポジションの加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１３（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（１７）に示すように、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。図１５等に示すように、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
【０１４１】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【０１４２】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１３（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１４３】
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、次のポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０１４４】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）とする。上式（１７）に示すように、推定演算部２３０は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図１５に示すように、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１４５】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１４６】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１４７】
また本実施形態では、上式（１９）に示すように、推定演算部２３０は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）と加算画素値（ａ００、ａ１０）との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１４８】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。
【０１４９】
また本実施形態では、上式（１３）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
【０１５０】
このようにすれば、加算単位の各画素値を重み付け加算して加算画像を取得し、取得した加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０１５１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、画像処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５２】
１０ 撮像部、２０ 画像処理部、１００ 被写体、１１０ レンズ、
１２０ 撮像素子、１３０ 加算画像生成部、１４０ 圧縮処理部、
１４１ 差分画像生成部、１４３ エントロピー符号化部、
１４４ データ圧縮部、１４９ データ記憶部、１５０ 圧縮データ記録部、
１５１ 差分データ記録部、１５６ データ圧縮部、
１５７ 基準画像データ記録部、２００ 圧縮データ伸張部、
２０５ 伸張処理部、２１０ 加算画像再生部、２３０ 推定演算部、
２３１ 色情報推定部、２３２ 解像情報推定部、２３３ 合成部、
２３５ 補間処理部、２３６ 復元推定処理部、２４０ 高精細静止画生成部、
２５０ 高精細動画生成部、２６０ 標準動画生成部、２９０ 画像出力部、
２９５ 画像選択部、
Ａ１〜Ａ４ 第１〜第４の加算画像、Ｄ１，Ｄ３ 第１、第３の差分画像、
Ｅｊ 評価関数、Ｆｃ 色情報復元画像、Ｆｒ 解像情報復元画像、
ａｉｊ 加算画素値、ｂ００ 未知数、ｂｉｊ 中間画素値、ｆｘ 撮像画像、
ｒ 重み付け係数、ｖｉｊ 画素値、δｉ０ 差分値
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザーがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザーがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。
【０００５】
本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
【０００６】
本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像画像を取得する画像取得部と、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、前記加算画像を圧縮する圧縮処理部と、圧縮された前記加算画像を伸張する伸張処理部と、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、を含み、前記加算画像生成部は、前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、前記圧縮処理部は、前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、前記伸張処理部は、圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、前記推定演算部は、前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定する撮像装置に関係する。
【０００８】
本発明の一態様によれば、加算単位が順次画素シフトされて第１〜第ｎ−１の加算画像が取得され、第ｋの加算画像と第ｍの加算画像の差分が、第ｍの差分画像として求められ、その第ｋの加算画像と第ｍの差分画像が圧縮される。圧縮された第ｋの加算画像と第ｍの差分画像が伸張されて第１〜第ｎ−１の加算画像が求められ、その第１〜第ｎ−１の加算画像に基づいて第ｎの加算画像が補間により求められ、その前記第１〜第ｎの加算画像に基づいて撮像画像の画素値が推定される。
【０００９】
これにより、例えば後述する推定処理を適用することで、簡素な処理で低解像の加算画像から高解像な撮像画像を復元することが可能になる。動画撮影と静止画撮影を切り換えないため、動画データから任意タイミングの高解像静止画を取得できる。また、差分画像を求めることで、高圧縮率で画像データを圧縮できる。
【００１０】
また本発明の一態様では、前記加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎ−１のポジションに設定し、前記第１〜第ｎ−１のポジションにおいてそれぞれ前記第１〜第ｎ−１の加算画像を取得し、第ｎのポジションの加算単位は、前記第ｎ−１のポジションの加算単位を、水平又は垂直に１画素シフトさせた加算単位であり、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。
【００１１】
このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求め、その加算画素値により第１〜第ｎ−１の加算画像を構成できる。
【００１２】
また本発明の一態様では、前記圧縮処理部は、第ｋのポジションの前記加算画素値と第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部を有してもよい。
【００１３】
このようにすれば、第ｋの加算画像の画素値と、第ｍの加算画像の画素値の差分値により、第ｍの差分画像の画素値を求めることができる。
【００１４】
また本発明の一態様では、前記圧縮処理部は、前記第ｍの差分画像をエントロピー符号化により可逆圧縮してもよい。
【００１５】
差分画像は、加算画像と加算画像の差分であるため画素値のエントロピーを撮像画像よりも小さくできる。そのため、差分画像をエントロピー符号化することで高圧縮率で圧縮できる。
【００１６】
また本発明の一態様では、前記画像取得部は、前記撮像画像として、複数の色の画素が配列された画像を取得し、前記加算画像生成部は、第１〜第ｎ−１の色配列を有する前記加算単位を設定して第１〜第ｎ−１の加算画素値を取得し、前記推定演算部は、第ｎの色配列に対応する第ｎの加算画素値を補間により求め、求めた前記第ｎの加算画素値と、取得された前記第１〜第ｎ−１の加算画素値とに基づいて、第１の推定画素値を推定する第１の推定部を有し、前記第１の推定部は、前記第１〜第ｎ−１の加算画素値の中の、前記重み付け加算における重み付けと色の対応関係が前記第ｎの色配列と同一である第ｓの加算画素値（ｓはｎ−１以下の自然数）に基づいて、前記第ｎの加算画素値を補間してもよい。
【００１７】
このようにすれば、重み付けと色の対応関係が第ｎの加算画像と同一の第ｓの加算画像に基づいて第ｎの加算画像を求めることができる。重み付けと色の対応関係が維持された加算画像を用いて、例えば後述の推定処理を行うことで、撮像画像が持つ色情報を高精度に復元できる。
【００１８】
また本発明の一態様では、前記推定演算部は、前記第ｓ、第ｎの加算画素値を補間により求め、求めた前記第ｓ、第ｎの加算画素値と、取得された前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて、第２の推定画素値を推定する第２の推定部と、前記第１、第２の推定画素値に基づいて最終的な推定画素値を合成する合成部と、を有し、前記第２の推定部は、前記第ｓ、第ｎの加算画素値を、前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて色配列に依らず補間により求めてもよい。
【００１９】
このようにすれば、色配列に依らない補間を行うことで、補間対象の画素により近い画素を用いて第ｓ、第ｎの加算画像を求めることが可能になる。補間対象の画素により近い画素を用いて求められた第ｓ、第ｎの加算画像を用いて復元推定処理を行うことで、撮像画像が持つ解像情報を高精度に復元できる。
【００２０】
また本発明の一態様では、前記撮像画像が、ＲＧＢベイヤー配列の画像である場合に、前記第１の推定部は、ＲＧＢベイヤー配列の前記第１の推定画素値に対してデモザイキング処理を行い、各画素における第１のＲＧＢ画素値を求め、前記第２の推定部は、ＲＧＢベイヤー配列の前記第２の推定画素値に対してデモザイキング処理を行い、各画素における第２のＲＧＢ画素値を求め、前記合成部は、前記第１のＲＧＢ画素値に基づいて、色差値に相当する第１の画素値を求め、前記第２のＲＧＢ画素値に基づいて、輝度値に相当する第２の画素値を求め、前記第１、第２の画素値をＲＧＢ画素値に変換して最終的なＲＧＢ画素値を求めてもよい。
【００２１】
このようにすれば、色情報が復元された第１の推定画素値と、解像情報が復元された第２の推定画素値とに基づいて、最終的な推定画素値を合成できる。また、色差値に相当する画素値を求めることで、第１の推定画素値から色情報を取り出すことができ、輝度値に相当する画素値を求めることで、第２の推定画素値から解像情報を取り出すことができる。
【００２２】
また本発明の一態様では、第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、前記推定演算部は、前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。
【００２３】
このようにすれば、加算単位が重畳しながら順次画素シフトされた第１〜第ｎの加算画像から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。
【００２４】
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２５】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【００２６】
また本発明の他の態様は、撮像画像を取得し、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、前記加算画像を圧縮し、圧縮された前記加算画像を伸張し、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、前記推定演算部により推定された画素値に基づく高解像画像を出力する場合に、前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定する画像生成方法に関係する。
【図面の簡単な説明】
【００２７】
【図１】第１のデータ圧縮手法についての説明図。
【図２】第１の補間手法についての説明図。
【図３】色情報復元画像の生成手法についての説明図。
【図４】色情報復元画像の生成手法についての説明図。
【図５】第２の補間手法についての説明図。
【図６】解像情報復元画像の生成手法についての説明図。
【図７】解像情報復元画像の生成手法についての説明図。
【図８】撮像装置の第１の構成例。
【図９】撮像装置の第２の構成例。
【図１０】融合画像データの符号割り当て例。
【図１１】推定演算部の詳細な構成例。
【図１２】推定演算部の変形構成例。
【図１３】図１３（Ａ）、図１３（Ｂ）は、推定画素値と中間画素値の説明図。
【図１４】復元推定処理についての説明図。
【図１５】復元推定処理についての説明図。
【図１６】復元推定処理についての説明図。
【発明を実施するための形態】
【００２８】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２９】
１．本実施形態の概要
デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
【００３０】
しかしながら、この手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れたり、ユーザーが気づいたときには既に決定的瞬間を逃していたりするという課題がある。
【００３１】
決定的瞬間の静止画を得るために、高フレームレートの高解像動画を取得し、その高解像動画から任意タイミングの静止画を抜き出す手法が考えられる。しかしながら、この手法では、高解像動画を撮影するためデータ量が増大するという課題がある。
【００３２】
そこで本実施形態では、図１に示すように、撮像画像を画素加算して複数の低解像画像Ａ１〜Ａ３を取得し、基準画像Ａ２と低解像画像Ａ１、Ａ３の差分画像Ｄ１、Ｄ３を求め、その差分画像Ｄ１、Ｄ３を例えばエントロピー符号化により圧縮する。差分画像Ｄ１、Ｄ３では画素値がゼロ付近に偏在していると考えられるため、圧縮率を向上できる。
【００３３】
さて、低解像画像から高解像画像を得る手法として、画素シフトにより撮影した低解像画像に対していわゆる超解像処理を行う手法が考えられる。例えば、この手法では、順次位置ずらししながら加算読み出しを行い、その複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法等が知られている。
【００３４】
例えば上述の特許文献１には、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、その複数の低解像画像を合成することにより高解像画像を仮定し、その高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。
【００３５】
しかしながら、この手法では、２次元フィルターを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、例えばデジタルカメラのような処理能力やコストの制限がある機器への適用は困難であるという課題がある。
【００３６】
また上述の特許文献２には、画素シフトさせた複数の低解像画像を撮像し、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する手法が開示されている。この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００３７】
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、所定の条件を満たす領域を画像から見つけ出している。そのため、適当な領域が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な領域を探索する処理が必要になってしまう。
【００３８】
この点、本実施形態では、図１等で後述するように、基準画像Ａ２と差分画像Ｄ１、Ｄ３から低解像画像Ａ１〜Ａ３を再生し、その低解像画像Ａ１〜Ａ３に基づいて低解像画像Ａ４を補間により求める。この低解像画像Ａ１〜Ａ４の加算画素値ａ（１）００〜ａ（４）０１は、重畳画素シフトされたものであり、隣接する加算画素値は共通の画素を含んでいる。図１３（Ａ）〜図１６で後述するように、この重畳画素シフトされた加算画素値を用いることで、高解像画像を推定する処理を簡素化できる。
【００３９】
２．第１のデータ圧縮手法
次に、本実施形態について詳細に説明する。まず、撮像画像データの圧縮手法について説明する。なお以下では撮像素子がＲＧＢベイヤー配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。また以下ではフレームｆｘの撮像画像を例に説明するが、他のフレームにおいても同様である。
【００４０】
ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。
【００４１】
図１に示すように、フレームｆｘにおいて全画素読み出しによりＲＧＢベイヤー配列の撮像画像（以下、「高精細フレーム画像ｆｘ」と呼ぶ）を取得する。高精細フレーム画像ｆｘに、４画素で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、３枚の画素加算画像Ａ１〜Ａ３を生成する。
【００４２】
４画素加算値ａｉｊは下式（１）で表わされ、画素加算画像Ａ１〜Ａ３を構成する加算画素値はそれぞれ｛ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）｝である。なお図１に示すように、４画素加算値ａｉ（ｊ＋１）で構成される画素加算画像Ａ４は取得しない。
ａｉｊ＝ｖｉｊ＋（１／ｒ）ｖ（ｉ＋１）ｊ＋
（１／ｒ）ｖｉ（ｊ＋１）＋（１／ｒ２）ｖ（ｉ＋１）（ｊ＋１） （１）
【００４３】
ここで、ｒは重み付けのパラメータであり、１≦ｒである。またｖｉｊは高精細フレーム画像におけるアドレス（ｉ，ｊ）の画素値である。
【００４４】
次に、生成した画素加算画像Ａ２を基準画像とする。画素加算画像Ａ１、Ａ３の加算位置を基準画像Ａ２の加算位置に整合した上で、基準画像Ａ２と２枚の画素加算画像Ａ１、Ａ３との差分をそれぞれとり、差分画像Ｄ１、Ｄ３を生成する。具体的には、画素加算画像Ａ１〜Ａ３の４画素加算値をそれぞれ｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１）｝とすると、基準画像Ａ２の４画素加算値｛ａＡ２ｉｊ｝と差分画像Ｄ１、Ｄ３の４画素加算値｛ａＤ１ｉｊ，ａＤ３ｉｊ｝は、下式（２）により求められる。基準画像Ａ２と差分画像Ｄ１、Ｄ３を合わせて融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）とする。
ａＡ２ｉｊ＝ａ（２）（ｉ＋１）ｊ，
ａＤ１ｉｊ＝ａ（１）ｉｊ−ａＡ２ｉｊ，
ａＤ３ｉｊ＝ａ（３）（ｉ＋１）（ｊ＋１）−ａＡ２ｉｊ （２）
【００４５】
なお、画素加算画像Ａ２を基準画像としたのは、配色と重み付けの関係においてＲとＢが同一の重み付け（１／ｒ）であり、４画素加算値としてＲとＢの平均的な値が得られるため、４画素加算値のバラツキの中央値として用いるのが妥当であるからである。
【００４６】
このようにして、静止画と動画を融合させた融合画像データＦ（Ａ２，Ｄ１，Ｄ３）を生成し、それを記録しておき、その記録されたＦ（Ａ２，Ｄ１，Ｄ３）を後段において解凍処理することにより、「高精細静止画データ」又は「動画データ」を適宜生成することが可能となる。
【００４７】
３．高精細静止画の再生手法
次に、融合画像データＦ（Ａ２，Ｄ１，Ｄ３）から高精細フレーム画像ｆｘを復元推定する手法について説明する。
【００４８】
上式（２）を変形すると、下式（３）が得られる。下式（３）に示すように、基準画像Ａ２を構成する４画素加算値｛ａＡ２ｉｊ｝と、差分画像Ｄ１、Ｄ３を構成する４画素加算値｛ａＤ１ｉｊ，ａＤ３ｉｊ｝から、画素加算画像Ａ１、Ａ３のそれぞれの４画素加算値｛ａ（１）ｉｊ，ａ（３）（ｉ＋１）（ｊ＋１）｝が得られる。また４画素加算値ａ（２）（ｉ＋１）ｊ＝ａＡ２ｉｊである。
ａ（１）ｉｊ＝ａＡ２ｉｊ＋ａＤ１ｉｊ，
ａ（３）（ｉ＋１）（ｊ＋１）＝ａＡ２ｉｊ＋ａＤ３ｉｊ （３）
【００４９】
本実施形態では、これらの再生された４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１）｝を用いて、後述する補間手法により４画素加算値｛ａ（４）ｉ（ｊ＋１）｝を求める。この補間値を加えた４つの４画素加算値は、１枚の高精細フレーム画像ｆｘを水平又は垂直に１画素ずつ重畳シフトした４画素加算値により構成されている画像データである。この４つの４画素加算値に対して、図１３（Ａ）等で後述する復元推定処理を適用することにより、元の高精細フレーム画像ｆｘが求められる。
【００５０】
４．第２のデータ圧縮手法
次に、上述した基準画像Ａ２の記録データ量を更に削減する第２のデータ圧縮手法について説明する。
【００５１】
基準画像Ａ２において、例えば近接する４つの加算画素値｛ａＡ２ｉｊ，ａＡ２（ｉ＋２）ｊ，ａＡ２ｉ（ｊ＋２），ａＡ２（ｉ＋２）（ｊ＋２）｝を処理単位とする。これらは近接した同一重み付け加算値なので相関性が比較的高いので差分効果が大きい。
【００５２】
加算画素値｛ａＡ２ｉｊ｝を基準画素加算値とする。下式（４）に示すように、残りの加算画素値は、差分値｛ａＤ２（ｉ＋２）ｊ，ａＤ２ｉ（ｊ＋２），ａＤ２（ｉ＋２）（ｊ＋２）｝として表わされる。ここで、ｉ、ｊは、奇数の画素アドレスを表す。
ａＤ２（ｉ＋２）ｊ＝ａＡ２（ｉ＋２）ｊ−ａＡ２ｉｊ，
ａＤ２ｉ（ｊ＋２）＝ａＡ２ｉ（ｊ＋２）−ａＡ２ｉｊ，
ａＤ２（ｉ＋２）（ｊ＋２）＝ａＡ２（ｉ＋２）（ｊ＋２）−ａＡ２ｉｊ （４）
【００５３】
これらの基準画素加算値｛ａＡ２ｉｊ｝と差分値｛ａＤ２（ｉ＋２）ｊ，ａＤ２ｉ（ｊ＋２），ａＤ２（ｉ＋２）（ｊ＋２）｝を、基準画像Ａ２の記録データＡ２’とする。差分値は、近接した同一重み付け加算画素値の差分値なので、値がゼロ付近に偏在していると考えられる。そのため、差分値は割り当てデータ量が低減されるので、基準画像Ａ２の記録データ量を縮減可能である。この場合、融合画像データはＦ（Ａ２’，Ｄ１，Ｄ３）で与えられる。
【００５４】
加算画像Ａ１〜Ａ３を再生するときは、まず上式（４）により基準画像Ａ２のデータを再生する。次に、基準画像Ａ２と差分画像Ｄ１、Ｄ３を用いて、上式（３）により加算画像Ａ１〜Ａ３を再生する。
【００５５】
５．色情報復元画像の生成手法
次に、取得されていない加算画像Ａ４を補間により求める手法と、求めた加算画像Ａ４と加算画像Ａ１〜Ａ３により高精細フレーム画像ｆｘを復元する手法について説明する。本実施形態では、これらの加算画像から色情報復元画像と解像情報復元画像を生成し、この２つの画像を合成することにより高精細フレーム画像ｆｘを復元する。
【００５６】
まず、加算画像Ａ４を求める第１の補間手法と、求めた加算画像Ａ４を用いて色情報復元画像を生成する手法について説明する。
【００５７】
図２に示すように、４画素加算パターン１〜３の４画素加算値は、加算画像Ａ１〜Ａ３の画素値として取得されている。４画素加算パターン４の４画素加算値は、加算画像Ａ４の画素値に対応しており、補間により求める画素値である。これらの４画素加算パターン１〜４は、画素の色の配列と重み付け係数の関係を表している。図２では、例としてｒ＝２の重み付け係数を、画素の横に記載している。
【００５８】
加算画像Ａ４の画素値は、色の配列と重み付け係数の関係が同一である加算画像Ａ２の画素値を用いて補間により求められる。即ち、ＧｒとＧｂを同じＧ色と捉えれば、４画素加算パターン２、４の重み付け係数は、「Ｇ画素：‘１’又は‘１／ｒ２’、Ｒ画素：‘１／ｒ’、Ｂ画素：‘１／ｒ’」である。これらの加算値にはＲＧＢと重み付けの関係の違いはなく、加算値としては同一として扱えられるので、加算値の補間処理が成り立つのである。
【００５９】
例えば、加算画像Ａ４の画素値｛ａ２１｝は、その斜め周辺の検出加算値｛ａ１０，ａ３０，ａ１２，ａ３２｝を用いて、下式（５）に示す補間処理により求める。なお、加算画像Ａ４の他の画素値｛ａ（４）ｉ（ｊ＋１）｝も同様に、その斜め周辺の検出加算値から求められる。
ａ２１＝ｗ１’・ａ１０＋ｗ２’・ａ３０＋ｗ３’・ａ１２＋ｗ４’・ａ３２
（５）
【００６０】
ここで、補間係数ｗ１’〜ｗ４’は、補間精度が最も高くなるよう予め設定されたものである。補間方法は当然従来手法（バイリニア，バイキュービック等）を用いても良いし、最適な補間係数を独自に設定するものであってもよい。また、補間に用いる検出４画素加算値も近接の４つに限らず周辺近傍のより多くのパターンの値を使っても良いことは言うまでもなく、特に限定されるものではない。
【００６１】
このようにして、復元推定処理に必要な重畳シフト重み付け４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝が全て完備される。
【００６２】
次に、色情報復元画像の生成手法について説明する。図３に示すように、完備された４画素加算値に対して、図１３（Ａ）等で後述する復元推定処理を適用し、第１の推定画素値｛ｖｃｉｊ｝を得る。推定画素値｛ｖｃｉｊ｝により構成される復元画像（色情報を復元推定するためのフレーム画像）はベイヤー配列の画像である。
【００６３】
図４に示すように、このベイヤー配列の復元画像に対してデモザイキング処理を行い、３板化原色画像の色情報復元画像Ｆｃを生成する。得られた各画素の原色成分を（ｒｃｉｊ，ｇｃｉｊ，ｂｃｉｊ）とする。次に、下式（６）に示すように、原色成分（ｒｃｉｊ，ｇｃｉｊ，ｂｃｉｊ）から各画素の色差値｛Ｃｂｉｊ，Ｃｒｉｊ｝を算出する。
Ｃｂｉｊ＝ηｒ・ｒｃｉｊ＋ηｇ・ｇｃｉｊ＋ηｂ・ｂｃｉｊ，
Ｃｒｉｊ＝ξｒ・ｒｃｉｊ＋ξｇ・ｇｃｉｊ＋ξｂ・ｂｃｉｊ （６）
【００６４】
ここで、係数｛ηｒ，ηｇ，ηｂ｝や係数｛ξｒ，ξｇ，ξｂ｝として、例えば、原色ＲＧＢ成分値が与えられた場合に色差値を求める場合の一般的に知られている既知係数を適用する。
【００６５】
６．解像情報復元画像の生成手法
次に、加算画像Ａ４を求める第２の補間手法と、求めた加算画像Ａ４を用いて解像情報復元画像を生成する手法について説明する。
【００６６】
図５に示すように、第２の補間手法では、取得されている加算画像Ａ１、Ａ３の画素値を用いて、加算画像Ａ２、Ａ４の画素値を求める。加算画像Ａ１、Ａ３の画素値は、市松状の４画素サンプリング画像を構成している。４画素加算パターン１、３は、色と重み付け係数の関係が４画素加算パターン２、４と異なっており、第２の補間手法では、色と重み付け係数の関係を無視した補間により加算画像Ａ２、Ａ４を求めている。
【００６７】
例えば、加算画像Ａ２の画素値｛ａ’１２｝は、その上下左右に隣接する検出加算値｛ａ０２，ａ２２，ａ１１，ａ１３｝を用いて、下式（７）に示す補間処理により求める。なお、加算画像Ａ２の他の画素値｛ａ（２）（ｉ＋１）ｊ｝や加算画像Ａ４の画素値｛ａ（４）ｉ（ｊ＋１）｝も同様に、その上下左右に隣接する検出加算値から求められる。
ａ’１２＝ｗ１・ａ０２＋ｗ２・ａ２２＋ｗ３・ａ１１＋ｗ４・ａ１３ （７）
【００６８】
ここで、補間係数ｗ１〜ｗ４は、補間精度が最も高くなるよう予め設定されたものである。補間方法は当然従来手法（バイリニア，バイキュービック等）を用いても良いし、最適な補間係数を独自に設定するものであってもよい。また、補間に用いる検出４画素加算値も近接の４つに限らず周辺近傍のより多くのパターンの値を使っても良いことは言うまでもなく、特に限定されるものではない。
【００６９】
補間により得られた画素値｛ａ’１２｝は、補間に用いた画素値｛ａ０２，ａ２２，ａ１１，ａ１３｝とは、画素の配色と重み付けの関係が同様ではなく、色の関係が無視された４画素加算値となっている。配色と重み付けの関係を無視した補間では、補間により得られた画素値｛ａ’１２｝を、補間に用いた画素値｛ａ０２，ａ２２｝或いは｛ａ１１，ａ１３｝とあたかも同様の配色と重み付けの関係であるかのように見なしているだけである。
【００７０】
このようにして、復元推定処理に必要な重畳シフト重み付け４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝が全て完備される。
【００７１】
次に、解像情報復元画像の生成手法について説明する。図６に示すように、完備された４画素加算値に対して、図１３（Ａ）等で後述する復元推定処理を適用し、推定画素値｛ｖｒｉｊ｝を得る。
【００７２】
なお、推定画素値｛ｖｒｉｊ｝により構成される復元画像（解像情報を復元推定するためのフレーム画像）は、解像度は高いが、色を含めて元の画像を復元しているわけではない。上述の画素値｛ａ’１２｝のように配色が４画素加算パターン３である場合を例にとり、復元処理によって生成された色成分と画素値｛ｖｒｉｊ｝の関係について説明する。
【００７３】
説明を簡単にするために、復元された画素値｛ｖｒ１２，ｖｒ２２，ｖｒ１３，ｖｒ２３｝を１つの処理単位とする。この処理単位は、補間画素値｛ａ’１２｝の加算単位に対応する。下式（８）に示すように、各画素に対応する色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）を括弧付きで表し、配色が明確に識別できるようにする。
ｖｒ２２＝ｖｒ２２（Ｒ），
ｖｒ１２＝ｖｒ１２（Ｇｒ），
ｖｒ２３＝ｖｒ２３（Ｇｂ），
ｖｒ１３＝ｖｒ１３（Ｂ） （８）
【００７４】
上式（８）の各画素が成分として持つ原色成分を（ｒ，ｇ，ｂ）とすれば、下式（９）の関係式が成立することが分っている。Ｇｒ画素、Ｇｂ画素は、原色成分（ｒ，ｇ，ｂ）との関係式が同じである。
ｖｒ２２（Ｒ） ＝α・ｒ２２＋β・ｇ２２＋γ・ｂ２２，
ｖｒ１２（Ｇｒ）＝φ・ｒ１２＋β・ｇ１２＋φ・ｂ１２，
ｖｒ２３（Ｇｂ）＝φ・ｒ２３＋β・ｇ２３＋φ・ｂ２３，
ｖｒ１３（Ｂ） ＝γ・ｒ１３＋β・ｇ１３＋α・ｂ１３ （９）
【００７５】
ここで、係数α、β、γ、φは、画素の重み付け加算において加算される画素数及び重み付け係数によって一義的に定まる係数である。
【００７６】
次に、この推定画素値｛ｖｒｉｊ｝から３板化原色画像を生成する。上式（９）において、係数の間にはα＞γ、β＞φの関係があることが分かっている。そのため、画素値ｖｒ２２（Ｒ）はＲ色成分を主成分としてもっていると見なすことができる。同様に、画素値ｖｒ１２（Ｇｒ）、ｖｒ２３（Ｇｂ）、ｖｒ１３（Ｂ）は、それぞれＧｒ色成分、Ｇｂ色成分、Ｂ色成分を主成分としてもっていると見なすことができる。即ち、ｖｉｊ（Ｒ）≒Ｒ色成分、ｖｉｊ（Ｇｒ）≒Ｇｒ色成分、ｖｉｊ（Ｇｂ）≒Ｇｂ色成分、ｖｉｊ（Ｂ）≒Ｂ色成分として、復元画像を近似的にベイヤー配列画像と見なすことができる。
【００７７】
図７に示すように、この近似的なベイヤー配列の復元画像に対してデモザイキング処理を行い、３板化原色画像の解像情報復元画像Ｆｒを生成する。得られた各画素の原色成分を（ｒｒｉｊ，ｇｒｉｊ，ｂｒｉｊ）とする。次に、下式（１０）に示すように、原色成分（ｒｒｉｊ，ｇｒｉｊ，ｂｒｉｊ）を加算した値を解像反映値｛Ｙｉｊ｝として求める。
Ｙｉｊ＝ｒｒｉｊ＋ｇｒｉｊ＋ｂｒｉｊ （１０）
【００７８】
７．色情報復元画像と解像情報復元画像の合成手法
次に、上述の色情報復元画像と解像情報復元画像を合成して最終的な復元画像を得る手法について説明する。
【００７９】
下式（１１）に示すように、解像情報復元画像の原色成分（ｒｒｉｊ，ｇｒｉｊ，ｂｒｉｊ）と、色情報復元画像の原色成分（ｒｃｉｊ，ｇｃｉｊ，ｂｃｉｊ）が近似的に等しいとする。ここで、（ｒｉｊ，ｇｉｊ，ｂｉｊ）は、最終復元推定画像Ｆ＝［Ｆｒ，Ｆｃ］の個々の画素ｖｉｊの原色成分を表す。
ｒｉｊ＝ｒｒｉｊ≒ｒｃｉｊ，
ｇｉｊ＝ｇｒｉｊ≒ｇｃｉｊ，
ｂｉｊ＝ｂｒｉｊ≒ｂｃｉｊ （１１）
【００８０】
上式（１１）を用いると、上式（１０）に示す解像反映値｛Ｙｉｊ｝と、上式（６）に示す色差値｛Ｃｂｉｊ，Ｃｒｉｊ｝は、下式（１２）に示す行列式に整理される。下式（１２）を解くことにより、最終復元画像Ｆの画素ｖｉｊの成分（ｒｉｊ，ｇｉｊ，ｂｉｊ）が求められる。この最終復元画像Ｆは、解像情報と色情報の両方が復元された画像である。
【数１】
【００８１】
以上の実施形態によれば、１フレームの原画像において重み付け重畳シフト加算して得られた加算画像Ａ１〜Ａ３から、高精細な原画像の復元推定画像Ｆが得られる。複数フレームを利用する場合とは異なり、１フレームのみで原画像の復元が可能なので、動きの大きい被写体に対しても像ずれ、色ずれ等による画像劣化要因を排除でき、高画質な高精細画像を得ることができる。
【００８２】
８．撮像装置
図８に、上述の画像データ圧縮や復元推定処理を行う撮像装置の構成例を示す。撮像装置は、撮像とデータ圧縮処理を行う撮像部１０と、高精細画像の復元処理を行う画像処理部２０を含む。画像処理部２０は、カメラ本体に内蔵されてもよいし、ＰＣ等の外部の情報処理装置により構成されてもよい。
【００８３】
具体的には、撮像部１０は、レンズ１１０、撮像素子１２０（撮像センサー）、加算画像生成部１３０（重畳シフト重み付け加算画像生成部）、圧縮処理部１４０、圧縮データ記録部１５０（融合圧縮データ記録部）を含む。
【００８４】
レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。撮像により得られたアナログ信号は、図示しないＡ／Ｄ変換部によりデジタル信号に変換される。
【００８５】
加算画像生成部１３０は、上述のように、画素シフトさせつつ撮像画像の画素値を加算し、撮像画像から画素加算画像Ａ１〜Ａ３を生成する。
【００８６】
圧縮処理部１４０は、画素加算画像Ａ１〜Ａ３から差分画像Ｄ１、Ｄ３を生成し、基準画像Ａ２と差分画像Ｄ１、Ｄ３を圧縮する処理を行う。具体的には圧縮処理部１４０は、差分画像生成部１４１、エントロピー符号化部１４３、データ圧縮部１４４を含む。
【００８７】
差分画像生成部１４１は、画素加算画像Ａ１〜Ａ３から差分画像Ｄ１、Ｄ３を生成する。エントロピー符号化部１４３は、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）の可逆圧縮により差分画像Ｄ１、Ｄ３を圧縮する。データ圧縮部１４４は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により基準画像Ａ２を圧縮する。
【００８８】
圧縮データ記録部１５０は、圧縮された画像データを記録する。具体的には圧縮データ記録部１５０は、圧縮された差分画像Ｄ１、Ｄ３を記録する差分データ記録部１５１と、圧縮された基準画像Ａ２を記録する基準画像データ記録部１５７を含む。
【００８９】
画像処理部２０は、伸張処理部２０５、推定演算部２３０（高精細画像復元推定部）、高精細静止画生成部２４０、高精細動画生成部２５０、標準動画生成部２６０、画像出力部２９０、画像選択部２９５を含む。
【００９０】
伸張処理部２０５は、圧縮データを伸張して加算画像Ａ１〜Ａ３を再生する。具体的には、伸張処理部２０５は、圧縮データ伸張部２００、加算画像再生部２１０（重み付け加算画像再生部）を含む。
【００９１】
圧縮データ伸張部２００は、圧縮された基準画像Ａ２と差分画像Ｄ１、Ｄ３を伸張する処理を行う。加算画像再生部２１０は、基準画像Ａ２と差分画像Ｄ１、Ｄ３から加算画像Ａ１〜Ａ３を再生する処理を行う。
【００９２】
推定演算部２３０は、上述のように、加算画像Ａ１〜Ａ３に基づいて色情報復元画像Ｆｃや解像情報復元画像Ｆｒを求め、これらの画像から復元画像Ｆを求める。復元された画像は、ＲＧＢベイヤー配列の画像である。
【００９３】
高精細静止画生成部２４０は、復元画像Ｆに対して例えば階調補正処理等の画像処理を行い、高精細静止画を生成する。このとき、画像選択部２９５により選択されたタイミングの静止画が生成される。タイミングは、ユーザーの指示により選択され、ユーザーは、例えば画像出力部２９０の出力動画を見てタイミングを選択する。
【００９４】
高精細動画生成部２５０は、復元画像Ｆによる動画画像に対して例えば階調補正処理等の画像処理を行い、高精細動画を生成する。標準動画生成部２６０は、高精細動画をダウンサンプリングし、例えばハイビジョン画素数の動画を標準動画として生成する。
【００９５】
画像出力部２９０は、高精細静止画、高精細動画、標準動画を、例えば表示装置やプリンターに出力する。
【００９６】
９．撮像装置の変形構成例
上記の実施形態では差分画像Ｄ１、Ｄ３をエントロピー符号化により圧縮する場合を例に説明したが、本実施形態はこれに限定されず、融合画像データＦ（Ａ２，Ｄ１、Ｄ３）を非可逆圧縮してもよい。
【００９７】
図９に、融合画像データＦ（Ａ２，Ｄ１、Ｄ３）を非可逆圧縮する場合の撮像装置の変形構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図８で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【００９８】
撮像部１０は、レンズ１１０、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、データ記憶部１４９、圧縮データ記録部１５０、データ圧縮部１５６を含む。画像処理部２０の構成要素は、図８の画像処理部２０と同様である。
【００９９】
データ記憶部１４９は、融合画像データＦ（Ａ２，Ｄ１、Ｄ３）を記憶する。融合画像データＦ（Ａ２，Ｄ１、Ｄ３）は、加算画像生成部１３０からの基準画像Ａ２と、差分画像生成部１４１からの差分画像Ｄ１、Ｄ３により構成される画像データである。データ圧縮部１５６は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により融合画像データＦ（Ａ２，Ｄ１、Ｄ３）を圧縮する。圧縮データ記録部１５０は、圧縮された融合画像データＦ（Ａ２，Ｄ１、Ｄ３）を記録する。
【０１００】
１０．融合画像データの符号割り当て例
図１０に、上述の融合画像データＦ（Ａ２，Ｄ１、Ｄ３）の符号割り当て例を示す。
【０１０１】
図１０に示すように、融合画像データＦ（Ａ２，Ｄ１、Ｄ３）の座標（ｉ，ｊ）の画素値を、３フレーム分で１ユニットにし、その１ユニットに４８ビットを割り当てる。具体的には、第ｋ〜第ｋ＋２のフレーム（ｋは自然数）の基準画像Ａ２の画素値ａ（２）ｋ〜ａ（２）ｋ＋２に、それぞれ８ビットを割り当てる。第ｋ〜第ｋ＋２のフレームの差分画像Ｄ１、Ｄ３の画素値ａＤ１ｋ〜ａＤ１ｋ＋２、ａＤ３ｋ〜ａＤ３ｋ＋２に、それぞれ４ビットを割り当てる。ａ（２）ｋ〜ａ（２）ｋ＋２とａＤ１ｋ〜ａＤ１ｋ＋２でそれぞれ１２ビットのデータを構成し、ａＤ３ｋ〜ａＤ３ｋ＋２で１２ビットのデータを構成する。
【０１０２】
例えば撮像画像（原画像）の画素数をＮ画素とし、画素値データを１２ビットとする。この場合、融合画像データＦ（Ａ２，Ｄ１、Ｄ３）のデータ量は、撮像画像のデータ量の１／３＝（Ｎ／４画素×４８ビット）／（Ｎ画素×１２ビット×３フレーム）となる。
【０１０３】
１１．推定演算部
図１１に、上述の推定演算部２３０の詳細な構成例を示す。推定演算部２３０は、色情報推定部２３１（第１推定部）、解像情報推定部２３２（第２推定部）、合成部２３３を含む。
【０１０４】
色情報推定部２３１は、上述した第１の補間手法により、加算画像Ａ２から加算画像Ａ４を補間により求め、求めた加算画像Ａ４と加算画像Ａ１〜Ａ３から色情報復元画像Ｆｃを生成する。
【０１０５】
解像情報推定部２３２は、上述した第２の補間手法により、加算画像Ａ１、Ａ３から加算画像Ａ２、Ａ４を補間により求め、求めた加算画像Ａ２、Ａ４と加算画像Ａ１、Ａ３から解像情報復元画像Ｆｒを生成する。
【０１０６】
合成部２３３は、上述した合成手法により、色情報復元画像Ｆｃと解像情報復元画像Ｆｒから最終的な復元画像のＲＧＢ画素値（ｒｉｊ，ｇｉｊ，ｂｉｊ）を求める。
【０１０７】
１２．推定演算部の変形構成例
上記の実施形態では、色情報復元画像Ｆｃと解像情報復元画像Ｆｒを合成して最終復元画像を得たが、色情報復元画像Ｆｃのみから最終復元画像を得てもよい。図１２に、この場合の推定演算部の変形構成例を示す。推定演算部２３０は、補間処理部２３５、復元推定処理部２３６を含む。
【０１０８】
補間処理部２３５は、上述した第１の補間手法により、加算画像Ａ２から加算画像Ａ４を補間により求める。復元推定処理部２３６は、求められた加算画像Ａ４と加算画像Ａ１〜Ａ３から色情報復元画像Ｆｃを生成し、Ｆｃを最終的な復元画像として出力する。なお、色情報復元画像Ｆｃに対して画像処理を行った画像を最終的な復元画像として出力してもよい。
【０１０９】
上記の変形構成例によれば、２画像を合成する場合に比べて処理過程を少なくできるので、高速低負荷な推定演算部を構成できる。
【０１１０】
以上の実施形態によれば、図８に示すように、撮像装置は、画像取得部（例えば撮像素子１２０）と、加算画像生成部１３０と、圧縮処理部１４０と、伸張処理部２０５と、推定演算部２３０と、画像出力部２９０を含む。
【０１１１】
図１で説明したように、画像取得部は、撮像画像ｆｘ（高精細フレーム画像）を取得する。加算画像生成部１３０は、加算画素値（例えばａ（１）ｉｊ）を取得する単位である加算単位を撮像画像ｆｘの複数の画素毎（例えば４画素毎）に設定し、その加算単位に含まれる画素値を重み付け加算（上式（１））して加算画素値を求め、求めた加算画素値による加算画像Ａ１〜Ａ３を取得する。圧縮処理部１４０は、その加算画像Ａ１〜Ａ３を圧縮する。伸張処理部２０５は、圧縮された加算画像Ａ１〜Ａ３を伸張する。推定演算部２３０は、伸張された加算画像Ａ１〜Ａ３に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。画像出力部２９０は、推定された画素値ｖｉｊに基づく高解像画像を出力する。
【０１１２】
この場合に、加算画像生成部１３０は、加算単位を順次画素シフトさせて、第１〜第４（広義には第１〜第ｎ）の加算画像Ａ１〜Ａ４のうちの第１〜第３の加算画像Ａ１〜Ａ３を取得する。圧縮処理部１４０は、第ｋの加算画像Ａｋ（基準画像）と第ｍの加算画像Ａｍ（ｋ、ｍは３以下の自然数、ｍ≠ｋ）の差分を、第ｍの差分画像Ｄｍとして求め、加算画像Ａｋと差分画像Ｄｍを圧縮する。伸張処理部２０５は、圧縮された加算画像Ａｋと差分画像Ｄｍを伸張して加算画像Ａ１〜Ａ３を求める。推定演算部２３０は、加算画像Ａ１〜Ａ３に基づいて第４（広義には第ｎ）の加算画像Ａ４を補間により求め、求めた加算画像Ａ４と加算画像Ａ１〜Ａ３に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。
【０１１３】
このようにすれば、撮像画像ｆｘを効率よく圧縮することが可能になる。即ち、３枚の加算画像Ａ１〜Ａ３の合計画素数は撮像画像ｆｘの画素数の３／４であり、画素数が削減される。また、上述のように差分画像Ｄｍの画素値はゼロ付近に偏在していると考えられるため、差分画像Ｄｍのエントロピーは撮像画像ｆｘよりも小さい。そのため、差分画像Ｄｍを例えばエントロピー符号化することで圧縮率を向上できる。これにより、高圧縮率の画像データから撮像画像ｆｘを復元して任意タイミングの高精細静止画を取り出すことが可能になる。また、加算画像Ａ１〜Ａ３を１枚の撮像画像ｆｘから生成するため、動体でもブレが少ない時間分解能が高い復元画像を得られる。
【０１１４】
また本実施形態によれば、簡素な処理で圧縮データから撮像画像ｆｘを再生可能である。即ち、加算画像Ａ１〜Ａ３と、補間により得られる加算画像Ａ４は、重畳シフト加算により得られた画像データであり、後述する復元推定処理を適用可能である。この復元推定処理は、低解像画像から高解像画像を推定する処理を、上述の特許文献１、２に比べて簡素化することができる。
【０１１５】
ここで、第１〜第４の加算画像Ａ１〜Ａ４は、撮像画像ｆｘの画素値ｖｉｊを推定するために必要な画像であり、巡回的な画像のうちの１巡分の画像である。即ち、仮に第５（広義には第ｎ＋１）の加算画像Ａ５を重み付け加算により取得するとすれば、その第５の加算画像Ａ５は第１の加算画像Ａ１と同一の画像となり、以降、４画像毎に同じ画像が現れるということである。
【０１１６】
また本実施形態では、図１に示すように、加算画像生成部１３０は、加算単位を、水平又は垂直（ｉ軸方向又はｊ軸方向）に１画素ずつ順次シフトさせて第１〜第３のポジション（例えば座標（０，０）、（１，０）、（１，１））に設定し、その第１〜第３のポジションにおいてそれぞれ加算画像Ａ１〜Ａ３を取得する。第ｍのポジションと第ｍ＋１のポジション（例えば（０，０）、（１，０））の加算単位は、共通の画素（ｖ１０、ｖ１１）を含む。
【０１１７】
また本実施形態では、図８に示すように、圧縮処理部１４０は差分画像生成部１４１を有する。上式（２）に示すように、差分画像生成部１４１は、第ｋのポジションの加算画素値ａ（２）（ｉ＋１）ｊと第ｍのポジションの加算画素値（例えばａ（１）ｉｊ）の差分値（ａＤ１ｉｊ）を、第ｍの差分画像Ｄｍの画素値として求める。
【０１１８】
以上のようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求める重畳シフト加算を行うことができる。また、その重畳シフト加算により得られた加算画像Ａｋ（基準画像）の画素値と、加算画像Ａｍの画素値との差分値により、差分画像Ｄｍの画素値を求めることができる。
【０１１９】
また本実施形態では、図８等で説明したように、圧縮処理部１４０は、第ｍの差分画像Ｄｍをエントロピー符号化により可逆圧縮する。
【０１２０】
このようにすれば、上述のようにエントロピーが小さくなった差分画像Ｄｍを高圧縮率で圧縮することができるため、画像データの圧縮率を向上できる。これにより、圧縮データを記録するストレージの容量を削減したり、データ通信における通信負荷を軽減できる。
【０１２１】
また本実施形態では、画像取得部は、撮像画像ｆｘとして、複数の色（例えばＲ、Ｇｒ、Ｇｂ、Ｂ）の画素が配列された画像（例えばベイヤー配列画像）を取得する。図２に示すように、加算画像生成部１３０は、第１〜第３の色配列（４画素加算パターン１〜３）を有する加算単位を設定して第１〜第３の加算画素値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１）｝を取得する。図１１に示すように、推定演算部２３０は、第１の推定部（色情報推定部２３１）を有する。図２に示すように、第１の推定部は、第４の色配列（４画素加算パターン４）に対応する第４の加算画素値（例えばａ１２、広義には｛ａ（４）ｉ（ｊ＋１）｝）を補間により求める。図３に示すように、第１の推定部は、求めた第４の加算画素値と、取得された第１〜第３の加算画素値とに基づいて、第１の推定画素値｛ｖｃｉｊ｝を推定する。図２で上述のように、第１の推定部は、第１〜第３の加算画素値の中の、重み付け加算における重み付けと色の対応関係が第４の色配列（４画素加算パターン４）と同一である第２（広義には第ｓ）の加算画素値に基づいて、第４の加算画素値を補間する。
【０１２２】
このようにすれば、重み付けと色の対応関係が加算画像Ａ４と同一の加算画像Ａ２に基づいて加算画像Ａ４を求めることができる。重み付けと色の対応関係が維持された加算画像Ａ４を用いて復元推定処理を行うことで、撮像画像ｆｘが持つ色情報（色と画素値の対応関係）を高精度に復元できる。
【０１２３】
また本実施形態では、図１１に示すように、推定演算部２３０は、第２の推定部（解像情報推定部２３２）と合成部２３３を有する。図５に示すように、第２の推定部は、第２、第４の加算画素値｛ａ（２）（ｉ＋１）ｊ，ａ（４）ｉ（ｊ＋１）｝を補間により求める。図８に示すように、第２の推定部は、求めた前記第２、第４の加算画素値と、取得された前記第１、第３の加算画素値に基づいて、第２の推定画素値｛ｖｒｉｊ｝を推定する。合成部２３３は、第１、第２の推定画素値｛ｖｃｉｊ，ｖｒｉｊ｝に基づいて最終的な推定画素値｛ｖｉｊ｝を合成する。図５で上述のように、第２の推定部は、第２、第４の加算画素値を、前記第１、第３の加算画素値に基づいて色配列に依らず補間により求める。
【０１２４】
このようにすれば、色配列に依らない補間により加算画像Ａ２、Ａ４を求めることができる。この加算画像Ａ２、Ａ４を用いて復元推定処理を行うことで、撮像画像ｆｘが持つ解像情報（例えば各画素の輝度値）を高精度に復元できる。即ち、図５に示すように、第１、第３の加算画素値（例えばａ１１、ａ２２等）は、第２、第４の加算画素値（例えばａ１２）の上下左右に隣接する。図２の補間手法のように斜め方向に隣接する加算画素を使うよりも、近い加算画素値を用いて補間できるため、より高解像の復元が可能になる。この補間は、色配列を無視して、より近い加算画素値を用いることで可能になる。
【０１２５】
また本実施形態では、撮像画像ｆｘは、ＲＧＢベイヤー配列の画像である。図４に示すように、第１の推定部は、ＲＧＢベイヤー配列の第１の推定画素値｛ｖｃｉｊ｝に対してデモザイキング処理を行い、各画素における第１のＲＧＢ画素値（ｒｃｉｊ，ｇｃｉｊ，ｂｃｉｊ）を求める。図７に示すように、第２の推定部は、（近似的に）ＲＧＢベイヤー配列の第２の推定画素値｛ｖｒｉｊ｝に対してデモザイキング処理を行い、各画素における第２のＲＧＢ画素値（ｒｒｉｊ，ｇｒｉｊ，ｂｒｉｊ）を求める。合成部２３３は、第１のＲＧＢ画素値に基づいて、色差値に相当する第１の画素値（色差値｛Ｃｂｉｊ，Ｃｒｉｊ｝）を求め（上式（６））、第２のＲＧＢ画素値に基づいて、輝度値に相当する第２の画素値（解像反映値｛Ｙｉｊ｝）を求める。上式（１２）で説明したように、合成部２３３は、その第１、第２の画素値をＲＧＢ画素値に変換して最終的なＲＧＢ画素値（ｒｉｊ，ｇｉｊ，ｂｉｊ）を求める。
【０１２６】
このようにすれば、色情報が復元された第１の推定画素値と、解像情報が復元された第２の推定画素値とに基づいて、最終的な推定画素値を合成できる。また、第１の推定画素値から色差値に相当する画素値を求めることで、第１の推定画素値から色情報を取り出すことができる。また、第２の推定画素値から輝度値に相当する画素値を求めることで、第２の推定画素値から解像情報を取り出すことができる。
【０１２７】
１３．復元推定処理
次に、図８等で上述の推定演算部２３０が行う推定処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明する（ｉ，ｊは０以上の整数）が、他の加算画素値についても同様である。また、加算単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。
【０１２８】
図１３（Ａ）、図１３（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１３（Ａ）に示す加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝は、図１で説明した加算画像Ａ１〜Ａ４の加算画素値｛ａ（１）００，ａ（２）１０，ａ（３）１１，ａ（４）０１｝に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００〜ｖ２２を推定する。推定画素値ｖｉｊは、図１で説明した撮像画像ｆｘの画素値に対応する。
【０１２９】
図１３（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【０１３０】
まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を推定する場合を例に説明する。次の行の中間画素値ｂ０１〜ｂ２１についても同様の手法により推定される。
【０１３１】
図１４に示すように、中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の加算画素値ａ００、ａ１０に基づいて推定される。説明を簡単にするために、例えば重み付け係数ｒ＝２とすると、加算画素値ａ００、ａ１０は下式（１３）で表される。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
（１３）
【０１３２】
下式（１４）に示すようにｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋（１／ｒ）ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／ｒ）ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／ｒ）ｖ２１＝ｖ２０＋（１／２）ｖ２１ （１４）
【０１３３】
次に、上式（１４）を用いて上式（１３）を変形すると、下式（１５）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （１５）
【０１３４】
上式（１５）において、ａ００、ａ１０に所定の重み付け係数を掛けて差分δｉ０を取り、上式（１４）を使って変形すると、下式（１６）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｂ２０−２ｂ００ （１６）
【０１３５】
ｂ００を未知数（初期変数）とすると、下式（１７）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。このようにして、ｂ００を未知数として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） （１７）
【０１３６】
次に、未知数ｂ００を求める手法について説明する。図１５に示すように、加算画素値のパターン｛ａ００，ａ１０｝と中間画素値のパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０１３７】
具体的には、加算画素値｛ａｉｊ｝と中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝には、下式（１８）の関係が成り立つ。この下式（１８）による重み付けを考慮すると、下式（１９）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝とパターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ （１８）
【数２】
【０１３８】
図１６に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（１７）に代入し、ｂ１０，ｂ２０が求められる。
【０１３９】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。即ち、上式（１５）を下式（２０）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （２０）
【０１４０】
以上の実施形態によれば、図１３（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ００）と、第１のポジションの次の第２のポジションに設定された加算単位（例えばａ１０）は重畳する。上式（１６）に示すように、推定演算部２３０は、第１、第２のポジションの加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１３（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（１７）に示すように、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。図１５等に示すように、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
【０１４１】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【０１４２】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１３（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１４３】
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、次のポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０１４４】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）とする。上式（１７）に示すように、推定演算部２３０は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図１５に示すように、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１４５】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１４６】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１４７】
また本実施形態では、上式（１９）に示すように、推定演算部２３０は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）と加算画素値（ａ００、ａ１０）との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１４８】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。
【０１４９】
また本実施形態では、上式（１３）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
【０１５０】
このようにすれば、加算単位の各画素値を重み付け加算して加算画像を取得し、取得した加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０１５１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、画像処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５２】
１０ 撮像部、２０ 画像処理部、１００ 被写体、１１０ レンズ、
１２０ 撮像素子、１３０ 加算画像生成部、１４０ 圧縮処理部、
１４１ 差分画像生成部、１４３ エントロピー符号化部、
１４４ データ圧縮部、１４９ データ記憶部、１５０ 圧縮データ記録部、
１５１ 差分データ記録部、１５６ データ圧縮部、
１５７ 基準画像データ記録部、２００ 圧縮データ伸張部、
２０５ 伸張処理部、２１０ 加算画像再生部、２３０ 推定演算部、
２３１ 色情報推定部、２３２ 解像情報推定部、２３３ 合成部、
２３５ 補間処理部、２３６ 復元推定処理部、２４０ 高精細静止画生成部、
２５０ 高精細動画生成部、２６０ 標準動画生成部、２９０ 画像出力部、
２９５ 画像選択部、
Ａ１〜Ａ４ 第１〜第４の加算画像、Ｄ１，Ｄ３ 第１、第３の差分画像、
Ｅｊ 評価関数、Ｆｃ 色情報復元画像、Ｆｒ 解像情報復元画像、
ａｉｊ 加算画素値、ｂ００ 未知数、ｂｉｊ 中間画素値、ｆｘ 撮像画像、
ｒ 重み付け係数、ｖｉｊ 画素値、δｉ０ 差分値
【特許請求の範囲】
【請求項１】
撮像画像を取得する画像取得部と、
加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、
前記加算画像を圧縮する圧縮処理部と、
圧縮された前記加算画像を伸張する伸張処理部と、
伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、
を含み、
前記加算画像生成部は、
前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、
前記圧縮処理部は、
前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、
前記伸張処理部は、
圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、
前記推定演算部は、
前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定することを特徴とする撮像装置。
【請求項２】
請求項１において、
前記加算画像生成部は、
前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎ−１のポジションに設定し、前記第１〜第ｎ−１のポジションにおいてそれぞれ前記第１〜第ｎ−１の加算画像を取得し、
第ｎのポジションの加算単位は、
前記第ｎ−１のポジションの加算単位を、水平又は垂直に１画素シフトさせた加算単位であり、
前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記圧縮処理部は、
第ｋのポジションの前記加算画素値と第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部を有することを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記圧縮処理部は、
前記第ｍの差分画像をエントロピー符号化により可逆圧縮することを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記画像取得部は、
前記撮像画像として、複数の色の画素が配列された画像を取得し、
前記加算画像生成部は、
第１〜第ｎ−１の色配列を有する前記加算単位を設定して第１〜第ｎ−１の加算画素値を取得し、
前記推定演算部は、
第ｎの色配列に対応する第ｎの加算画素値を補間により求め、求めた前記第ｎの加算画素値と、取得された前記第１〜第ｎ−１の加算画素値とに基づいて、第１の推定画素値を推定する第１の推定部を有し、
前記第１の推定部は、
前記第１〜第ｎ−１の加算画素値の中の、前記重み付け加算における重み付けと色の対応関係が前記第ｎの色配列と同一である第ｓの加算画素値（ｓはｎ−１以下の自然数）に基づいて、前記第ｎの加算画素値を補間することを特徴とする撮像装置。
【請求項６】
請求項５において、
前記推定演算部は、
前記第ｓ、第ｎの加算画素値を補間により求め、求めた前記第ｓ、第ｎの加算画素値と、取得された前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて、第２の推定画素値を推定する第２の推定部と、
前記第１、第２の推定画素値に基づいて最終的な推定画素値を合成する合成部と、
を有し、
前記第２の推定部は、
前記第ｓ、第ｎの加算画素値を、前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて色配列に依らず補間により求めることを特徴とする撮像装置。
【請求項７】
請求項６において、
前記撮像画像が、ＲＧＢベイヤー配列の画像である場合に、
前記第１の推定部は、
ＲＧＢベイヤー配列の前記第１の推定画素値に対してデモザイキング処理を行い、各画素における第１のＲＧＢ画素値を求め、
前記第２の推定部は、
ＲＧＢベイヤー配列の前記第２の推定画素値に対してデモザイキング処理を行い、各画素における第２のＲＧＢ画素値を求め、
前記合成部は、
前記第１のＲＧＢ画素値に基づいて、色差値に相当する第１の画素値を求め、前記第２のＲＧＢ画素値に基づいて、輝度値に相当する第２の画素値を求め、前記第１、第２の画素値をＲＧＢ画素値に変換して最終的なＲＧＢ画素値を求めることを特徴とする撮像装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、
前記推定演算部は、
前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、
前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項９】
請求項８において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項１０】
撮像画像を取得し、
加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、
前記加算画像を圧縮し、
圧縮された前記加算画像を伸張し、
伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、
前記推定演算部により推定された画素値に基づく高解像画像を出力する場合に、
前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、
前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、
圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、
前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定することを特徴とする画像生成方法。
【請求項１】
撮像画像を取得する画像取得部と、
加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、
前記加算画像を圧縮する圧縮処理部と、
圧縮された前記加算画像を伸張する伸張処理部と、
伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、
を含み、
前記加算画像生成部は、
前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、
前記圧縮処理部は、
前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、
前記伸張処理部は、
圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、
前記推定演算部は、
前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定することを特徴とする撮像装置。
【請求項２】
請求項１において、
前記加算画像生成部は、
前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎ−１のポジションに設定し、前記第１〜第ｎ−１のポジションにおいてそれぞれ前記第１〜第ｎ−１の加算画像を取得し、
第ｎのポジションの加算単位は、
前記第ｎ−１のポジションの加算単位を、水平又は垂直に１画素シフトさせた加算単位であり、
前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記圧縮処理部は、
第ｋのポジションの前記加算画素値と第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部を有することを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記圧縮処理部は、
前記第ｍの差分画像をエントロピー符号化により可逆圧縮することを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記画像取得部は、
前記撮像画像として、複数の色の画素が配列された画像を取得し、
前記加算画像生成部は、
第１〜第ｎ−１の色配列を有する前記加算単位を設定して第１〜第ｎ−１の加算画素値を取得し、
前記推定演算部は、
第ｎの色配列に対応する第ｎの加算画素値を補間により求め、求めた前記第ｎの加算画素値と、取得された前記第１〜第ｎ−１の加算画素値とに基づいて、第１の推定画素値を推定する第１の推定部を有し、
前記第１の推定部は、
前記第１〜第ｎ−１の加算画素値の中の、前記重み付け加算における重み付けと色の対応関係が前記第ｎの色配列と同一である第ｓの加算画素値（ｓはｎ−１以下の自然数）に基づいて、前記第ｎの加算画素値を補間することを特徴とする撮像装置。
【請求項６】
請求項５において、
前記推定演算部は、
前記第ｓ、第ｎの加算画素値を補間により求め、求めた前記第ｓ、第ｎの加算画素値と、取得された前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて、第２の推定画素値を推定する第２の推定部と、
前記第１、第２の推定画素値に基づいて最終的な推定画素値を合成する合成部と、
を有し、
前記第２の推定部は、
前記第ｓ、第ｎの加算画素値を、前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて色配列に依らず補間により求めることを特徴とする撮像装置。
【請求項７】
請求項６において、
前記撮像画像が、ＲＧＢベイヤー配列の画像である場合に、
前記第１の推定部は、
ＲＧＢベイヤー配列の前記第１の推定画素値に対してデモザイキング処理を行い、各画素における第１のＲＧＢ画素値を求め、
前記第２の推定部は、
ＲＧＢベイヤー配列の前記第２の推定画素値に対してデモザイキング処理を行い、各画素における第２のＲＧＢ画素値を求め、
前記合成部は、
前記第１のＲＧＢ画素値に基づいて、色差値に相当する第１の画素値を求め、前記第２のＲＧＢ画素値に基づいて、輝度値に相当する第２の画素値を求め、前記第１、第２の画素値をＲＧＢ画素値に変換して最終的なＲＧＢ画素値を求めることを特徴とする撮像装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、
前記推定演算部は、
前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、
前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項９】
請求項８において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項１０】
撮像画像を取得し、
加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、
前記加算画像を圧縮し、
圧縮された前記加算画像を伸張し、
伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、
前記推定演算部により推定された画素値に基づく高解像画像を出力する場合に、
前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、
前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、
圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、
前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定することを特徴とする画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２３１３７８（Ｐ２０１２−２３１３７８Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９９２６６（Ｐ２０１１−９９２６６）
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]