撮像装置及び画像生成方法
【課題】 簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供すること。
【解決手段】撮像装置は、画像取得部と、加算画像生成部と、圧縮処理部と、伸張処理部と、推定演算部と、画像出力部を含む。加算画像生成部は、撮像画像ｆｘにおいて加算単位を順次画素シフトさせ、加算単位に含まれる画素値を重み付け加算して加算画像Ａ１〜Ａ４を取得する。圧縮処理部は、加算画像Ａ１〜Ａ４の平均を平均画像Ｍとして求め、その平均画像Ｍと、加算画像Ａｍの差分を差分画像Ｄｍとして求め、求めた平均画像Ｍと差分画像Ｄｍを圧縮する。伸張処理部は、圧縮された平均画像Ｍと差分画像Ｄｍを伸張して加算画像Ａ１〜Ａ４を求める。推定演算部は、加算画像Ａ１〜Ａ４に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。画像出力部は、画素値ｖｉｊに基づく高解像画像を出力する。
【解決手段】撮像装置は、画像取得部と、加算画像生成部と、圧縮処理部と、伸張処理部と、推定演算部と、画像出力部を含む。加算画像生成部は、撮像画像ｆｘにおいて加算単位を順次画素シフトさせ、加算単位に含まれる画素値を重み付け加算して加算画像Ａ１〜Ａ４を取得する。圧縮処理部は、加算画像Ａ１〜Ａ４の平均を平均画像Ｍとして求め、その平均画像Ｍと、加算画像Ａｍの差分を差分画像Ｄｍとして求め、求めた平均画像Ｍと差分画像Ｄｍを圧縮する。伸張処理部は、圧縮された平均画像Ｍと差分画像Ｄｍを伸張して加算画像Ａ１〜Ａ４を求める。推定演算部は、加算画像Ａ１〜Ａ４に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。画像出力部は、画素値ｖｉｊに基づく高解像画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザーがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザーがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。
【０００５】
本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
【０００６】
本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像画像を取得する画像取得部と、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、前記加算画像を圧縮する圧縮処理部と、圧縮された前記加算画像を伸張する伸張処理部と、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、を含み、前記加算画像生成部は、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、前記圧縮処理部は、前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｍはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、前記伸張処理部は、圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求める撮像装置に関係する。
【０００８】
本発明の一態様によれば、加算単位が順次画素シフトされて第１〜第ｎの加算画像が取得され、その第１〜第ｎの加算画像の平均画像が求められる。そして、その平均画像と第ｍの加算画像の差分である第ｍの差分画像が求められ、その平均画像と第ｍの差分画像が圧縮される。そして、それらの圧縮された画像が伸張されて第１〜第ｎの加算画像が求められ、その第１〜第ｎの加算画像に基づいて撮像画像が推定される。
【０００９】
これにより、例えば後述する推定処理を適用することで、簡素な処理で低解像の加算画像から高解像な撮像画像を復元することが可能になる。動画撮影と静止画撮影を切り換えないため、動画データから任意タイミングの高解像静止画を取得できる。また、差分画像を求めることで、高圧縮率で画像データを圧縮できる。
【００１０】
また本発明の一態様では、前記加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。
【００１１】
このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求め、その加算画素値により第１〜第ｎの加算画像を構成できる。
【００１２】
また本発明の一態様では、前記圧縮処理部は、前記第１〜第ｎのポジションの前記加算画素値の平均値を、前記平均画像の画素値として求める平均画像生成部と、前記平均画像の画素値と、前記第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部と、を有してもよい。
【００１３】
このようにすれば、第１〜第ｎの加算画像の画素値を平均することで、平均画像の画素値を求めることができる。また、平均画像の画素値と、第ｍの加算画像の画素値の差分値により、第ｍの差分画像の画素値を求めることができる。
【００１４】
また本発明の一態様では、低解像動画を生成する低解像動画生成部を含み、前記撮像画像がＲＧＢベイヤー配列の画像であり、前記加算単位が、隣接する４画素である場合に、前記加算画像生成部は、第１〜第４のポジション（ｎ＝４）において、前記重み付け加算によりＲＧＢが混色された第１〜第４の加算画像を取得し、前記低解像動画生成部は、前記第１〜第４の加算画像のうちの第１〜第３の加算画像に基づいて、前記低解像動画のＲＧＢの画素値を推定により求めてもよい。
【００１５】
このようにすれば、ＲＧＢが加算により混色されている加算画像から、ＲＧＢのカラー画像を生成することができる。これにより、撮像画像を復元することなく簡易的にカラー動画を得ることができる。
【００１６】
また本発明の一態様では、前記圧縮処理部は、前記第ｍの差分画像をエントロピー符号化により可逆圧縮してもよい。
【００１７】
差分画像は、平均画像と加算画像の差分であるため画素値のエントロピーを撮像画像よりも小さくできる。そのため、差分画像をエントロピー符号化することで高圧縮率で圧縮できる。
【００１８】
また本発明の一態様では、前記撮像画像がＲＧＢベイヤー配列の画像である場合に、前記推定演算部は、前記撮像画像の前記ＲＧＢベイヤー配列の画素値を推定により求め、前記画像出力部は、推定された前記ＲＧＢベイヤー配列の画素値をデモザイキング処理した画像に基づいて高解像動画を出力してもよい。
【００１９】
このようにすれば、高圧縮率で圧縮された画像データから、撮像画像に相当する解像度の高解像動画を復元することができる。これにより、動画データの高圧縮率と高画質を両立することが可能になる。
【００２０】
また本発明の一態様では、画素値の変化幅に応じて適応的に移動平均の範囲を調整する適応的ノイズ低減処理を、前記第ｍの差分画像に対して行うノイズ低減処理部を含んでもよい。
【００２１】
差分画像は、平均画像と加算画像の差分であるため撮像画像よりも画素値の振幅が小さい。そのため、差分画像に適応的ノイズ低減処理を行うことで、効果的にノイズ低減を行うことができる。
【００２２】
また本発明の一態様では、前記画像取得部は、第１フレームの撮像画像を基準撮像画像として取得し、前記第１フレームの前又は後の第２フレームの撮像画像と前記基準撮像画像の差分を差分撮像画像として取得し、前記加算画像生成部は、前記基準撮像画像に基づく前記第１〜第ｎの加算画像と、前記差分撮像画像に基づく前記第１〜第ｎの加算画像を取得してもよい。
【００２３】
このようにすれば、フレーム間差分画像は、類似性が高い加算画像の差分となる。これにより、フレーム間差分画像から生成した平均画像の圧縮率を、通常の加算画像から生成した平均画像よりも向上可能である。
【００２４】
また本発明の一態様では、第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、前記推定演算部は、前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。
【００２５】
このようにすれば、加算単位が重畳しながら順次画素シフトされた第１〜第ｎの加算画像から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。
【００２６】
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２７】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【００２８】
また、本発明の他の態様は、撮像画像を取得し、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、前記加算画像を圧縮し、圧縮された前記加算画像を伸張し、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、前記推定された画素値に基づく高解像画像を出力する場合に、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｉはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求める画像生成方法に関係する。
【図面の簡単な説明】
【００２９】
【図１】第１のデータ圧縮手法についての説明図。
【図２】ハフマン符号テーブルの例。
【図３】撮像装置の第１の構成例。
【図４】融合画像データの第１の符号割り当て例。
【図５】融合画像データの第２の符号割り当て例。
【図６】撮像装置の第２の構成例。
【図７】撮像装置の第２の構成例における融合画像データの符号割り当て例。
【図８】撮像装置の変形構成例。
【図９】低解像動画の生成手法についての説明図。
【図１０】低解像動画の生成手法についての説明図。
【図１１】低解像動画の生成手法についての説明図。
【図１２】撮像装置の第３の構成例。
【図１３】高解像静止画と低解像静止画を同時に取得する撮像処理例。
【図１４】高解像静止画と低解像静止画を同時に取得する撮像処理のシーケンス例。
【図１５】データ圧縮前のデータ再構成例。
【図１６】データ再構成において設定するデータ単位の例。
【図１７】再構成データ単位の重畳シフト加算値の例。
【図１８】同色の４画素を加算する場合の撮像部の構成例。
【図１９】適応的ノイズ低減処理についての説明図。
【図２０】図２０（Ａ）、図２０（Ｂ）は、適応的ノイズ低減処理についての説明図。
【図２１】適応的ノイズ低減処理についての説明図。
【図２２】適応的ノイズ低減処理についての説明図。
【図２３】適応的ノイズ低減処理についての説明図。
【図２４】撮像装置の第４の構成例。
【図２５】撮像装置の第４の構成例が行う処理の模式図。
【図２６】撮像装置の第４の構成例における撮像部の変形構成例。
【図２７】図２７（Ａ）、図２７（Ｂ）は、推定画素値と中間画素値の説明図。
【図２８】復元推定処理についての説明図。
【図２９】復元推定処理についての説明図。
【図３０】復元推定処理についての説明図。
【発明を実施するための形態】
【００３０】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３１】
１．本実施形態の概要
デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
【００３２】
しかしながら、この手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れたり、ユーザーが気づいたときには既に決定的瞬間を逃していたりするという課題がある。
【００３３】
決定的瞬間の静止画を得るために、高フレームレートの高解像動画を取得し、その高解像動画から任意タイミングの静止画を抜き出す手法が考えられる。しかしながら、この手法では、高解像動画を撮影するためデータ量が増大するという課題がある。
【００３４】
そこで本実施形態では、図１に示すように、撮像画像を画素加算して複数の低解像画像Ａ１〜Ａ４を取得し、その複数の低解像画像Ａ１〜Ａ４の平均画像Ｍを求める。そして、その平均画像Ｍと低解像画像Ａ１〜Ａ４の差分画像Ｄ１〜Ｄ４を求め、その差分画像Ｄ１〜Ｄ４を例えばエントロピー符号化により圧縮する。差分画像Ｄ１〜Ｄ４では画素値がゼロ付近に偏在していると考えられるため、圧縮率を向上できる。
【００３５】
さて、低解像画像から高解像画像を得る手法として、画素シフトにより撮影した低解像画像に対していわゆる超解像処理を行う手法が考えられる。例えば、この手法では、順次位置ずらししながら加算読み出しを行い、その複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法等が知られている。
【００３６】
例えば上述の特許文献１には、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、その複数の低解像画像を合成することにより高解像画像を仮定し、その高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。
【００３７】
しかしながら、この手法では、２次元フィルターを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、例えばデジタルカメラのような処理能力やコストの制限がある機器への適用は困難であるという課題がある。
【００３８】
また上述の特許文献２には、画素シフトさせた複数の低解像画像を撮像し、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する手法が開示されている。この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００３９】
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、所定の条件を満たす領域を画像から見つけ出している。そのため、適当な領域が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な領域を探索する処理が必要になってしまう。
【００４０】
この点、本実施形態では、図１で後述するように、平均画像Ｍと差分画像Ｄ１〜Ｄ４から低解像画像Ａ１〜Ａ４を再生し、その低解像画像Ａ１〜Ａ４から撮像画像を推定により復元する。この低解像画像Ａ１〜Ａ４の加算画素値ａ（１）００〜ａ（４）０１は、重畳画素シフトされたものであり、隣接する加算画素値は共通の画素を含んでいる。図２７（Ａ）〜図３０で後述するように、この重畳画素シフトされた加算画素値を用いることで、高解像画像を推定する処理を簡素化できる。
【００４１】
２．第１のデータ圧縮手法
次に、本実施形態について詳細に説明する。まず、撮像画像データの圧縮手法について説明する。なお以下では撮像素子がＲＧＢベイヤー配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。また以下ではフレームｆｘの撮像画像を例に説明するが、他のフレームにおいても同様である。
【００４２】
ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。
【００４３】
図１に示すように、フレームｆｘにおいて全画素読み出しによりＲＧＢベイヤー配列の撮像画像（以下、「高精細フレーム画像ｆｘ」と呼ぶ）を取得する。高精細フレーム画像ｆｘに、４画素で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、４枚の画素加算画像Ａ１〜Ａ４を生成する。
【００４４】
４画素加算値ａｉｊは下式（１）で表わされ、画素加算画像Ａ１〜Ａ４を構成する加算画素値はそれぞれ｛ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）、ａｉ（ｊ＋１）｝である。
ａｉｊ＝ｖｉｊ＋（１／ｒ）ｖ（ｉ＋１）ｊ＋
（１／ｒ）ｖｉ（ｊ＋１）＋（１／ｒ２）ｖ（ｉ＋１）（ｊ＋１） （１）
【００４５】
ここで、ｒは重み付けのパラメータであり、１≦ｒである。またｖｉｊは高精細フレーム画像におけるアドレス（ｉ，ｊ）の画素値である。
【００４６】
次に、生成した画素加算画像Ａ１〜Ａ４の加算位置の整合を行い、４枚の画素加算画像を重ね合わせた上で同一位置の値の加算平均をとることにより平均画像Ｍを生成する。即ち、画素加算画像Ａ１〜Ａ４の４画素加算値をそれぞれ｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝とすると、平均画像Ｍの画素値ａＭｉｊは下式（２）で表される。
ａＭｉｊ＝［ａ（１）ｉｊ＋ａ（２）（ｉ＋１）ｊ＋
ａ（３）ｉ（ｊ＋１）＋ａ（４）（ｉ＋１）（ｊ＋１）］／４ （２）
【００４７】
生成した平均画像Ｍを基準とし、その平均画像Ｍと画素加算画像Ａ１〜Ａ４との差分（方向ベクトル（１，−１）への射影）をそれぞれ差分画像Ｄ１〜Ｄ４とする。差分画像Ｄ１〜Ｄ４と平均画像Ｍを合わせて融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）とする。差分画像Ｄ１〜Ｄ４を構成する４画素加算差分値を｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝とすれば、下式（３）のように表わせる。
ａＤ１ｉｊ＝ａＭｉｊ−ａ（１）ｉｊ，
ａＤ２ｉｊ＝ａＭｉｊ−ａ（２）（ｉ＋１）ｊ，
ａＤ３ｉｊ＝ａＭｉｊ−ａ（３）（ｉ＋１）（ｊ＋１），
ａＤ４ｉｊ＝ａＭｉｊ−ａ（４）ｉ（ｊ＋１） （３）
【００４８】
このようにして、静止画と動画を融合させた融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を生成し、それを記録しておき、その記録されたＦ（Ｍ，Ｄ１〜Ｄ４）を後段において解凍処理することにより、「高精細静止画データ」又は「動画データ」を適宜生成することが可能となる。
【００４９】
なお、この例では差分（即ち方向ベクトル（１，−１）への射影）をとったが、本実施形態はこれに限定されない。例えば、平均画像Ｍの画素値と画素加算画像Ａ１〜Ａ４の画素値の相関分布に応じて、その主成分軸（分散が最も大きくなる直線）を求め、主成分軸に直交する軸に対して射影した値を用いた方が、より一層データの圧縮が可能となることは言うまでもない。
【００５０】
３．エントロピー符号化
次に、上述した平均画像Ｍと差分画像Ｄ１〜Ｄ４を圧縮する手法について説明する。
【００５１】
平均画像Ｍ及び差分画像Ｄ１〜Ｄ４の画素値データは、発生頻度分布の偏りが顕著になるため、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）がデータ圧縮として効果的である。エントロピー符号化とは、画素値の発生確率を求め、発生確率の高いものから短い符号長を割当てる圧縮手法である。
【００５２】
例えば、平均画像Ｍの画素値データの平均値に対して最も短い符号長を割り当て、その平均値から離れる値ほど符号長を長くしていく符号化が適当である。即ち、差分画像Ｄ１〜Ｄ４の画素値データは各々の平均がゼロであり、ゼロの発生確率をピークとして分布しているので、ゼロ値に最も短い符号を割当てるようにすればよい。また、平均画像Ｍ及び差分画像Ｄ１〜Ｄ４の画素値データは、確率密度に応じて非線形量子化を行うことも有効である。
【００５３】
一方、平均画像Ｍでは、確かに加算平均した画素値データなので発生頻度分布の偏りは顕著になるが、画素加算値の取りうる範囲は、差分画像Ｄ１〜Ｄ４の画素値データと比較すると、かなり大きくなる。そのため、一般的に高圧縮率が期待できる非可逆圧縮法（ＪＰＥＧ，ＭＰＥＧ等）の適用がデータの圧縮としては効果的である。
【００５４】
従って、平均画像Ｍにおいては画素数を削減して非可逆高圧縮を適用し、差分画像Ｄ１〜Ｄ４においては、同様な発生分布の偏りを呈する特性を利用した高速エントロピー符号化を適用することが考えられる。
【００５５】
次に、最も単純なハフマン符号を適用する場合の例を示す。多数の画像の画素値分布に基づいて一つのハフマン符号テーブルを生成すると、適用範囲が広くなり、圧縮効果は画像依存になってしまう。しかしながら、画像毎又は画像範囲毎にハフマンテーブルを毎回生成するのは効果的ではない。
【００５６】
そこで、上記の平均画像Ｍに適用する場合、所定の画像領域毎に平均値αＭｉｊを下式（４）により求め、その平均値αＭｉｊと各加算平均値｛ａＭｉｊ｝の差分値｛ａ’Ｍｉｊ｝を下式（５）により求める。そして、その差分値｛ａ’Ｍｉｊ｝を改めて平均画像Ｍのデータとし、ハフマン符号化を適用すればよい。このことにより、差分値｛ａ’Ｍｉｊ｝は、普遍的にゼロを中心とした値の生起分布を形成できる。融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の中のＭは、Ｍ＝｛αＭｉｊ，ａ’Ｍｉｊ｝に置き換えて考えられる。
【数１】
ａ’Ｍｉｊ＝ａＭｉｊ−αＭｉｊ （５）
【００５７】
ここで、（ｈ０，ｖ０）は、平均値αＭｉｊを算出する領域の始点であり、（ｈ，ｖ）は、平均値αＭｉｊを算出する領域の終点である。例えば、平均値αＭｉｊを算出する領域は、平均画像Ｍの全体である。平均値αＭｉｊを算出する領域や、平均値αＭｉｊの算出に用いる平均値ａＭｉｊの数は、データの圧縮率とのバランスを評価して決めればよい。
【００５８】
上記の差分値｛ａ’Ｍｉｊ｝と４画素加算差分値｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝は、それら自体が平均ゼロの値から成っているので、図２に示す符号割り当てが考えられる。このようにすれば、ハフマン符号テーブルは固定的な一種類で済ますことができる。
【００５９】
なお、上述の平均値αＭｉｊとして、下式（６）に示す固定値ｍＡＶＲを適用し、変動データとして扱わずに先見情報として扱ってもよい。この場合、平均値ｍＡＶＲはデータとして記録する必要はない。融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の中のＭは、Ｍ＝｛ｍＡＶＲ，ａ’Ｍｉｊ｝と置き換えて考えられる。下式（６）は、上式（１）で定義される重み付け４画素加算値の場合への適用であり、加算画素数や重み付けの掛け方によって適宜適正な値が設定されることに注意が必要である。
ｍＡＶＲ＝ｖｍａｘ・｛１＋（１／ｒ）＋（１／ｒ）＋（１／ｒ２）｝／２ （６）
【００６０】
ここで、ｒは重み付けのパラメータであり、１≦ｒである。ｖｍａｘは、画素値を規定する最大値である。
【００６１】
４．第２のデータ圧縮手法
次に、上述した差分画像Ｄ１〜Ｄ４のデータ量を更に削減する第２のデータ圧縮手法について説明する。
【００６２】
差分画像｛Ｄ１，Ｄ３｝の組み合わせと差分画像｛Ｄ２，Ｄ４｝の組み合わせにおいて、相互に負の相関性がある。即ち、｛ａＤ１ｉｊ，ａＤ３ｉｊ｝はＲ画素又はＢ画素の重み付けがｒ＝１のパターン同士であり、｛ａＤ２ｉｊ，ａＤ４ｉｊ｝はＧｒ画素又はＧｂ画素の重み付けがｒ＝１のパターン同士である。これらの画素値は、平均値と加算画素値の差分値であるため、相互に負の相関性をもつことになる。
【００６３】
そのため、４画素加算差分値｛ａＤ１ｉｊ，ａＤ３ｉｊ｝，｛ａＤ２ｉｊ，ａＤ４ｉｊ｝の発生が規定される２次元座標空間において、生起分布の分散が最も小さくなる適切な軸を求め、その軸に差分値を射影した値を求めれば、更にデータの圧縮が可能である。生起分布の分散が最も小さくなる軸は、例えば、負の相関をもつ生起分布に沿った軸（１，−１）に直交する軸（１，１）である。
【００６４】
ここでは、単純に上述の２組の４画素加算差分値を加算する例を示す。即ち、下式（７）に示すように、方向ベクトル（１，１）の軸への射影を行ってデータの圧縮を実現する。
φ１＝（ａＤ１ｉｊ＋ａＤ３ｉｊ）／２，
φ２＝（ａＤ２ｉｊ＋ａＤ４ｉｊ）／２ （７）
【００６５】
この場合、記録データは、４画素加算差分値｛ａＤ３ｉｊ，ａＤ４ｉｊ｝に代えて差分加算値｛φ１，φ２｝とすればよい。差分加算値｛φ１，φ２｝で構成される画像データを｛Φ１，Φ２｝と表わせば、最終的に記録する融合画像データはＦ（Ｍ，ａＤ１ｉｊ，ａＤ２ｉｊ，Φ１，Φ２）と表わされる。
【００６６】
５．高精細静止画の再生手法
上述の第１のデータ圧縮手法では、融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）が得られる。このＦ（Ｍ，Ｄ１〜Ｄ４）から高精細静止画（図１のフレーム画像ｆｘ）を復元推定する手法について説明する。
【００６７】
上式（３）を変形すると、下式（８）が得られる。下式（８）に示すように、平均画像Ｍを構成する４画素加算値｛ａＭｉｊ｝と、差分画像Ｄ１〜Ｄ４を構成する４画素加算値｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝から、画素加算画像Ａ１〜Ａ４のそれぞれの４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝が得られる。
ａ（１）ｉｊ＝ａＭｉｊ−ａＤ１ｉｊ，
ａ（２）（ｉ＋１）ｊ＝ａＭｉｊ−ａＤ２ｉｊ，
ａ（３）（ｉ＋１）（ｊ＋１）＝ａＭｉｊ−ａＤ３ｉｊ，
ａ（４）ｉ（ｊ＋１）＝ａＭｉｊ−ａＤ４ｉｊ （８）
【００６８】
求められた４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝は、１枚の高精細画像を水平又は垂直に１画素ずつ重畳シフトした４画素加算値により構成されている画像データである。この４画素加算値を、図２７（Ａ）〜図３０で後述する復元推定処理に適用することにより、元の高精細フレーム画像ｆｘの画素値が求められる。
【００６９】
上述の第２のデータ圧縮手法では、融合画像データＦ（Ｍ，ａＤ１ｉｊ，ａＤ２ｉｊ，Φ１，Φ２）が得られる。このＦ（Ｍ，ａＤ１ｉｊ，ａＤ２ｉｊ，Φ１，Φ２）から高精細静止画を復元推定する手法について説明する。
【００７０】
上式（７）を変形すると、下式（９）が得られる。下式（９）より、差分画像Ｄ１〜Ｄ４が得られる。差分画像Ｄ１〜Ｄ４が得られれば、上記と同様に処理することにより、最終的な高精細フレーム画像ｆｘが復元される。
ａＤ３ｉｊ＝ａＤ１ｉｊ−２φ１，
ａＤ４ｉｊ＝ａＤ２ｉｊ−２φ２ （９）
【００７１】
なお、以上の実施形態では図１に示すように加算単位を４回シフトさせて加算画像Ａ１〜Ａ４を取得し、平均画像Ｍと差分画像Ｄ１〜Ｄ４を求めたが、本実施形態はこれに限定されない。例えば、加算単位を９回シフトさせて加算画像Ａ１〜Ａ９を取得し、平均画像Ｍと差分画像Ｄ１〜Ｄ９を求めてもよい。
【００７２】
６．撮像装置
図３に、上述のデータ圧縮処理と、高精細フレーム画像ｆｘの復元処理を行う撮像装置の構成例を示す。
【００７３】
撮像装置は、撮像とデータ圧縮処理を行う撮像部１０と、高精細画像の復元処理を行う画像処理部２０を含む。画像処理部２０は、カメラ本体に内蔵されてもよいし、ＰＣ等の外部の情報処理装置により構成されてもよい。
【００７４】
具体的には、撮像部１０は、レンズ１１０、撮像素子１２０（撮像センサー）、加算画像生成部１３０（重畳シフト重み付け加算画像生成部）、圧縮処理部１４０、圧縮データ記録部１５０（融合圧縮データ記録部）、低解像動画生成部１６０（標準動画生成部）、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。
【００７５】
レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。撮像により得られたアナログ信号は、図示しないＡ／Ｄ変換部によりデジタル信号に変換される。
【００７６】
加算画像生成部１３０は、上述のように、画素シフトさせつつ撮像画像の画素値を加算し、撮像画像から画素加算画像Ａ１〜Ａ４を生成する。
【００７７】
圧縮処理部１４０は、画素加算画像Ａ１〜Ａ４から平均画像Ｍと差分画像Ｄ１〜Ｄ４を生成し、その平均画像Ｍと差分画像Ｄ１〜Ｄ４を圧縮する処理を行う。具体的には圧縮処理部１４０は、差分画像生成部１４１、平均画像生成部１４２、エントロピー符号化部１４３、データ圧縮部１４４を含む。
【００７８】
平均画像生成部１４２は、画素加算画像Ａ１〜Ａ４から平均画像Ｍを生成する。差分画像生成部１４１は、画素加算画像Ａ１〜Ａ４と平均画像Ｍから差分画像Ｄ１〜Ｄ４を生成する。エントロピー符号化部１４３は、上述のエントロピー符号化等の可逆圧縮により差分画像Ｄ１〜Ｄ４を圧縮する。データ圧縮部１４４は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により平均画像Ｍを圧縮する。
【００７９】
圧縮データ記録部１５０は、圧縮された画像データを記録する。具体的には圧縮データ記録部１５０は、圧縮された差分画像Ｄ１〜Ｄ４を記録する差分データ記録部１５１と、圧縮された平均画像Ｍを記録する平均画像データ記録部１５２を含む。
【００８０】
低解像動画生成部１６０は、図９等で後述する処理によりリアルタイムの低解像動画を生成する。動画データ圧縮部１７０は、例えばＡＶＣＨＤ（Ｈ．２６４）やＭ−ＪＰＥＧ、ＪＰＥＧ−ＸＲ等により低解像動画を圧縮する。動画データ記録部１８０は、圧縮された低解像動画を記録する。モニター表示部１９０は、リアルタイムの又は再生された低解像動画を表示する。
【００８１】
画像処理部２０は、伸張処理部２０５、加算画像ノイズ低減処理部２２０、推定演算部２３０（高精細画像復元推定部）、高精細静止画生成部２４０、高精細動画生成部２５０、高画質標準動画生成部２６０、動画圧縮データ伸張部２７０、標準動画生成部２８０、画像出力部２９０、画像選択部２９５を含む。
【００８２】
伸張処理部２０５は、圧縮データを伸張して加算画像Ａ１〜Ａ４を再生する。具体的には、伸張処理部２０５は、圧縮データ伸張部２００、加算画像再生部２１０（重み付け加算画像再生部）を含む。
【００８３】
圧縮データ伸張部２００は、圧縮された平均画像Ｍと差分画像Ｄ１〜Ｄ４を伸張する処理を行う。加算画像再生部２１０は、平均画像Ｍと差分画像Ｄ１〜Ｄ４から加算画像Ａ１〜Ａ４を再生する処理を行う。加算画像ノイズ低減処理部２２０は、図１９等で後述する適応的ノイズ低減処理を、加算画像Ａ１〜Ａ４に対して行う。
【００８４】
推定演算部２３０は、加算画像Ａ１〜Ａ４に基づいて高精細フレーム画像ｆｘを推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。この推定演算については、図２７（Ａ）等において後述する。
【００８５】
高精細静止画生成部２４０は、ベイヤー配列の復元画像をデモザイキング処理し、その画像に対して例えば階調補正処理等の画像処理を行い、高精細静止画を生成する。このとき、画像選択部２９５により選択されたタイミングの静止画が生成される。タイミングは、ユーザーの指示により選択される。ユーザーは、モニター表示部１９０の表示動画を見てタイミングを選択してもよいし、画像出力部２９０の出力動画を見てタイミングを選択してもよい。
【００８６】
高精細動画生成部２５０は、ベイヤー配列の復元動画画像をデモザイキング処理し、その動画画像に対して例えば階調補正処理等の画像処理を行い、高精細動画を生成する。高画質標準動画生成部２６０は、高精細動画をダウンサンプリングし、例えばハイビジョン画素数の動画を高画質標準動画として生成する。
【００８７】
標準動画生成部２８０は、加算画像再生部２１０により再生された加算画像Ａ１〜Ａ４を用いて、図９等で後述する処理により低解像動画を生成し、その低解像動画を標準動画として出力する。標準動画は、例えばハイビジョン画素数の動画である。また、動画圧縮データ伸張部２７０が、動画データ記録部１８０からの圧縮低解像動画を伸張し、標準動画生成部２８０が、その伸張された低解像動画を標準動画として出力してもよい。
【００８８】
画像出力部２９０は、高精細静止画、高精細動画、高画質標準動画、標準動画を、例えば表示装置やプリンターに出力する。
【００８９】
７．融合画像データの符号割り当て例
【００９０】
上述の圧縮処理部１４０が融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を圧縮する場合の符号割り当てについて説明する。
【００９１】
図４に第１の符号割り当て例を示す。図４に示すように、融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の座標（ｉ，ｊ）の画素値に２４ビットを割り当てる。具体的には、平均画像Ｍの画素値ａＭｉｊに８ビットを割り当て、差分画像Ｄ１〜Ｄ４の画素値ａＤ１ｉｊ〜ａＤ４ｉｊにそれぞれ４ビットを割り当てる。例えば撮像画像（原画像）の画素数をＮ画素とし、画素値データを１２ビットとすると、圧縮データのデータ量は撮像画像のデータ量の１／２＝（Ｎ／４画素×２４ビット）／（Ｎ画素×１２ビット）となる。そして、この符号割り当て後のデータに対して可逆又は非可逆の圧縮を行う。
【００９２】
図５に第２の符号割り当て例を示す。図５に示すように、平均画像Ｍの各画素値に８ビットを割り当て、そのデータを非可逆圧縮する。また、差分画像Ｄ１〜Ｄ４の各画素値に４ビットを割り当て、そのデータを可逆圧縮する。図５では、差分画像Ｄ１の符号割り当てを示すが、他の差分画像Ｄ２〜Ｄ４の符号割り当てについても同様である。また図５において、ｄｉｊ＝ａＤ１ｉｊである。
【００９３】
この例では、再びデータ伸張したときに平均画像が多少劣化することが考えられるが、上式（３）に示すように、差分画素値｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝は、共通の平均値ａＭｉｊをもつ。後述する復元推定処理では、隣接画素値の差分値（例えばａ（２）（ｉ＋１）ｊ−ａ（１）ｉｊ＝ａＤ２ｉｊ−ａＤ１ｉｊ）を用いて推定を行う。このとき、平均値ａＭｉｊがキャンセルされるため、平均画像が劣化していても隣接画素値の差分値は完全に復元できる。このように、隣接加算値の差分値により元の画素値関係を特定し推定する方法は、本方式の圧縮の仕方に非常に好都合な復元推定処理であると言える。
【００９４】
８．撮像装置の第２の構成例
図６に、上式（６）で説明した平均値ｍＡＶＲを用いて可逆圧縮を行う場合の構成例として、撮像装置の第２の構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【００９５】
撮像部１０は、レンズ１１０、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、平均画像生成部１４２、平均値算出部１４５、減算部１４６、可逆圧縮符号化部１４７、圧縮データ記録部１５０、低解像動画生成部１６０、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。画像処理部２０の構成要素は、図３の画像処理部２０と同様である。
【００９６】
平均値算出部１４５は、上式（６）で説明した平均値ｍＡＶＲを、平均画像Ｍに基づいて算出する。減算部１４６は、平均画像Ｍの画素値ａＭｉｊから平均値ｍＡＶＲを減算し、減算後の画素値ｍｄｉｊを出力する。可逆圧縮符号化部１４７は、差分画像Ｄ１〜Ｄ４のデータと、画素値ｍｄｉｊのデータを可逆圧縮する。圧縮データ記録部１５０は、圧縮されたデータと平均値ｍＡＶＲを記録する。
【００９７】
圧縮データ伸張部２００は、差分画像Ｄ１〜Ｄ４と画素値ｍｄｉｊと平均値ｍＡＶＲを、圧縮されたデータから伸張する。加算画像再生部２１０は、画素値ｍｄｉｊと平均値ｍＡＶＲから平均画像Ｍを再生し、その平均画像Ｍと差分画像Ｄ１〜Ｄ４から加算画像Ａ１〜Ａ４を再生する。
【００９８】
図７に、上記第２の構成例における融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の符号割り当て例を示す。図７に示すように、画素値ｍｄｉｊの先頭に平均値ｍＡＶＲが配列され、画素値ｍｄｉｊと平均値ｍＡＶＲにはそれぞれ８ビットが割り当てられる。また、差分画像Ｄ１〜Ｄ４の画素値ｄｉｊにそれぞれ４ビットが割り当てられる。これらのデータは可逆圧縮される。
【００９９】
上記第２の構成例によれば、平均画像Ｍの画素値ｍｄｉｊの発生分布確率に偏りがない場合でも、４画素異色加算画像に変換することにより偏りを作り出すことができるのでエントロピーを低減でき、可逆圧縮における圧縮効果が期待できる。また、平均値ｍＡＶＲと画素値ｍｄｉｊの差分をデータとして採用することにより、発生確率分布の位置（平均値）に大きく依存することなく安定したデータ値を得ることができ、圧縮効果が期待できる。また、全て可逆圧縮なので復元推定前のデータ劣化は存在しない。
【０１００】
９．撮像装置の変形構成例
上記の実施形態では融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を圧縮する場合を例に説明したが、本実施形態はこれに限定されず、加算画像Ａ１〜Ａ４を圧縮してもよい。図８に、加算画像Ａ１〜Ａ４を圧縮する場合の撮像装置の変形構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。
【０１０１】
撮像部１０は、レンズ１１０、撮像素子１２０、加算画像生成部１３０、データ圧縮部１４８、データ記録部１５５、低解像動画生成部１６０、動画データ圧縮部１７０、モニター表示部１９０を含む。画像処理部２０の構成要素は、図３の画像処理部２０と同様である。
【０１０２】
データ圧縮部１４８は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により加算画像Ａ１〜Ａ４を圧縮する。データ記録部１５５は、データ圧縮部１４８により圧縮された加算画像Ａ１〜Ａ４と、動画データ圧縮部１７０により圧縮された低解像動画を記録する。
【０１０３】
この変形構成例によれば、重畳シフト重み付け加算による加算画像Ａ１〜Ａ４を圧縮することで、通常のデモザイキング処理やＹＣｂＣｒ変換を行わずにダイレクトにベイヤー画像を圧縮可能である。
【０１０４】
以上の実施形態によれば、図３に示すように、撮像装置は、画像取得部（例えば撮像素子１２０）と加算画像生成部１３０と圧縮処理部１４０と伸張処理部２０５と推定演算部２３０と画像出力部２９０を含む。
【０１０５】
図１に示すように、画像取得部は撮像画像ｆｘ（高精細フレーム画像）を取得する。加算画像生成部１３０は、加算画素値（例えばａ（１）ｉｊ）を取得する単位である加算単位を撮像画像の複数の画素毎（例えば４画素毎）に設定し、その加算単位に含まれる画素値を重み付け加算（上式（１））して加算画素値を求め、求めた加算画素値による加算画像Ａ１〜Ａ４を取得する。圧縮処理部１４０は、その加算画像Ａ１〜Ａ４を圧縮する。伸張処理部２０５は、圧縮された加算画像Ａ１〜Ａ４を伸張する。推定演算部２３０は、伸張された加算画像Ａ１〜Ａ４に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。画像出力部２９０は、推定された画素値ｖｉｊに基づく高解像画像を出力する。
【０１０６】
この場合に、加算画像生成部１３０は、加算単位を順次画素シフトさせて第１〜第４（広義には第１〜第ｎ）の加算画像Ａ１〜Ａ４を取得する。圧縮処理部１４０は、第１〜第４の加算画像Ａ１〜Ａ４の平均を平均画像Ｍとして求め（上式（２））、その平均画像Ｍと、第ｍの加算画像Ａｍ（ｍはｎ以下の自然数）の差分を第ｍの差分画像Ｄｍとして求め（上式（３））、求めた平均画像Ｍと差分画像Ｄｍを圧縮する。伸張処理部２０５は、圧縮された平均画像Ｍと差分画像Ｄｍを伸張して加算画像Ａ１〜Ａ４を求める。
【０１０７】
このようにすれば、撮像画像ｆｘを効率よく圧縮することが可能になる。即ち、撮像画像ｆｘと４枚の加算画像Ａ１〜Ａ４は画素数としては同一になるが、上述のように差分画像Ｄｍの画素値のエントロピーを撮像画像ｆｘよりも小さくできるため、圧縮率を向上できる。これにより、高圧縮率の画像データから撮像画像ｆｘを復元して任意タイミングの高精細静止画を取り出すことが可能になる。また、加算画像Ａ１〜Ａ４を１枚の撮像画像ｆｘから生成するため、動体でもブレが少ない時間分解能が高い復元画像を得られる。
【０１０８】
また、センサー直後に高速に低解像化できることによるデータの縮小が可能であるため、後段でのデータ処理の負荷の低減が図られ、高速データ処理を伴わずに高精細画像の高速撮影処理システムが構築できる。また既存システムへの適用を容易とする技術の提供が可能となる。
【０１０９】
また本実施形態によれば、簡素な処理で圧縮データから撮像画像ｆｘを再生可能である。即ち、加算画像Ａ１〜Ａ４は、重畳シフト加算により得られた画像データであり、後述する復元推定処理を適用可能である。この復元推定処理は、低解像画像から高解像画像を推定する処理を、上述の特許文献１、２に比べて簡素化することができる。
【０１１０】
また本実施形態では、図１に示すように、加算画像生成部１３０は、加算単位を、水平又は垂直（ｉ軸方向又はｊ軸方向）に１画素ずつ順次シフトさせて第１〜第４のポジション（例えば座標（０，０）、（１，０）、（１，１）、（０，１））に設定し、その第１〜第４のポジションにおいてそれぞれ加算画像Ａ１〜Ａ４を取得する。第ｍのポジションと第ｍ＋１のポジション（例えば（０，０）、（１，０））の加算単位は、共通の画素（ｖ１０、ｖ１１）を含む。
【０１１１】
また本実施形態では、図３に示すように、圧縮処理部１４０は平均画像生成部１４２と差分画像生成部１４１を有する。上式（２）に示すように、平均画像生成部１４２は、第１〜第４のポジションの加算画素値の平均値ａＭｉｊを、平均画像の画素値として求める。差分画像生成部１４１は、平均画像の画素値ａＭｉｊと、第ｍのポジションの加算画素値（例えばａ（１）ｉｊ）の差分値（ａＤ１ｉｊ）を、第ｍの差分画像の画素値として求める。
【０１１２】
これらのようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求める重畳シフト加算を行うことができる。また、加算画像Ａ１〜Ａ４の加算画素値を平均することで、平均画像Ｍの画素値を求めることができる。また、平均画像の画素値と、加算画像Ａ１〜Ａ４の加算画素値の差分値により、差分画像Ｄ１〜Ｄ４の画素値を求めることができる。
【０１１３】
また本実施形態では、図３等で説明したように、圧縮処理部１４０は、第ｍの差分画像Ｄｍをエントロピー符号化により可逆圧縮する。
【０１１４】
このようにすれば、上述のようにエントロピーが小さくなった差分画像Ｄｍを高圧縮率で圧縮することができるため、画像データの圧縮率を向上できる。これにより、圧縮データを記録するストレージの容量を削減したり、データ通信における通信負荷を軽減できる。
【０１１５】
また本実施形態では、撮像画像ｆｘはＲＧＢベイヤー配列の画像である。この場合に、推定演算部２３０は、撮像画像ｆｘのＲＧＢベイヤー配列の画素値ｖｉｊを推定により求める。画像出力部２９０は、推定されたＲＧＢベイヤー配列の画素値ｖｉｊをデモザイキング処理した画像に基づいて高解像動画を出力する。
【０１１６】
例えば本実施形態では、図３で説明したように、高精細動画生成部２５０がデモザイキング処理を行い、その画像に対して階調変換等の画像処理を行って高解像動画を生成し、画像出力部２９０がその高解像動画を表示装置等に出力する。例えば高解像動画は、撮像画像の画素数と同じ画素数の動画である。
【０１１７】
このようにすれば、高圧縮率で圧縮された画像データから、撮像画像ｆｘに相当する解像度の高解像動画を復元することができる。これにより、動画データの高圧縮率と高画質を両立することが可能になる。
【０１１８】
１０．低解像動画の生成手法
図３で上述のように、低解像動画生成部１６０や標準動画生成部２８０は、加算画像Ａ１〜Ａ４から簡易的に低解像動画を生成する。この低解像動画の生成手法について詳細に説明する。
【０１１９】
この手法では、加算画像Ａ１〜Ａ４のうち３つの加算画像Ａ１〜Ａ３を用いて、低解像動画データを生成する。まず、図９に示すように、加算画像Ａ１の４加算画素値｛ａ（１）２２｝を用いて、加算画像Ａ１において未検出の４画素加算値｛ａ（１）１２｝を｛Ｇ１２＋Ｇ２３｝の関係式として算出する。
【０１２０】
具体的には、加算画像Ａ１において、配色と重み付けの関係が未検出値ａ（１）１２と一致する周辺の４画素加算値を用いて、未検出値ａ（１）１２の推定値の近似計算を行う。この推定値ａ（１）１２は、Ｒ色画素の重み付けが基準の‘１’に設定されているものとして４画素加算値を求めている。
【０１２１】
未検出値｛ａ（１）１２｝を構成する画素値を、色と対応させて｛Ｒ２２，Ｇ１２，Ｇ２３，Ｂ１３｝と表すと、未検出値｛ａ（１）１２｝は下式（１０）で表される。
ａ（１）１２＝１・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋（１／ｒ２）・Ｂ１３ （１０）
【０１２２】
未検出値｛ａ（１）１２｝の右に隣接する４画素加算値｛ａ（１）２２｝も同様に、下式（１１）で表される。
ａ（１）２２＝１・Ｒ２２＋（１／ｒ）・Ｇ３２＋
（１／ｒ）・Ｇ２３＋（１／ｒ２）・Ｂ３３ （１１）
【０１２３】
未検出値｛ａ（１）１２｝では、｛Ｒ２２｝成分と｛Ｇ２３｝成分の重み付けが強く支配的であることから、近似的にａ（１）１２≒ａ（１）２２と考え、下式（１２）と仮定する。
ａ（１）１２＝１・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋（１／ｒ２）・Ｂ１３
＝ａ（１）２２ （１２）
【０１２４】
なお、ａ（１）１２の左右に隣接するａ（１）０２とａ（１）２２の補間値（平均等）として、ａ（１）１２を求めてもよいし、左右に限らず配色と重み付けが同等な周囲画素加算値から補間によりａ（１）１２を求めても構わない。
【０１２５】
次に、図１０に示すように、加算画像Ａ３の４加算画素値｛ａ（３）１３｝を用いて、加算画像Ａ３において未検出の４画素加算値｛ａ（３）１２｝を｛Ｇ１２＋Ｇ２３｝の関係式として算出する。
【０１２６】
具体的には、加算画像Ａ３において、配色と重み付けの関係が未検出値ａ（３）１２と一致する周辺の４画素加算値を用いて、未検出値ａ（３）１２の推定値の近似計算を行う。この推定値ａ（３）１２は、Ｂ色画素の重み付けが基準の‘１’に設定されているものとして４画素加算値を求めている。
【０１２７】
未検出値｛ａ（３）１２｝を構成する画素値を｛Ｒ２２，Ｇ１２，Ｇ２３，Ｂ１３｝と表すと、未検出値｛ａ（３）１２｝は下式（１３）で表される。
ａ（３）１２＝（１／ｒ２）・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋１・Ｂ１３ （１３）
【０１２８】
未検出値｛ａ（３）１２｝の下に隣接する４画素加算値｛ａ（３）１３｝も同様に、下式（１４）で表される。
ａ（３）１３＝（１／ｒ２）・Ｒ２４＋（１／ｒ）・Ｇ１４＋
（１／ｒ）・Ｇ２３＋１・Ｂ１３ （１４）
【０１２９】
未検出値｛ａ（３）１２｝に対し、｛Ｂ１３｝成分と｛Ｇ２３｝成分が重み付けが強く支配的であることから、近似的にａ（３）１２≒ａ（３）１３と考え、下式（１５）と仮定する。
ａ（３）１２＝（１／ｒ２）・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋１・Ｂ１３
＝ａ（３）１３ （１５）
【０１３０】
なお、ａ（３）１２の上下に隣接するａ（３）１１とａ（３）１３の補間値（平均等）として、ａ（３）１２を求めてもよいし、上下に限らず配色と重み付けが同等な周囲画素加算値から補間によりａ（３）１２を求めても構わない。
【０１３１】
さて、ａ（１）１２とａ（３）１２におけるＧ１２とＧ２３は同一画素であり近接画素であるので、下式（１６）に示すように、その平均値Ｇ１２／２３と等しいと近似して扱う。
Ｇ１２≒Ｇ２３≒Ｇ１２／２３＝（Ｇ１２＋Ｇ２３）／２ （１６）
【０１３２】
上式（１６）を上式（１２）、（１５）に適用すると、下式（１７）が得られる。
ａ（１）１２＝Ｒ２２＋（１／ｒ）・２Ｇ１２／２３＋（１／ｒ２）・Ｂ１３，
ａ（３）１２＝（１／ｒ２）・Ｒ２２＋（１／ｒ）・２Ｇ１２／Ｇ２３＋Ｂ１３ （１７）
【０１３３】
上式（１７）を解いて、下式（１８）に示すように、Ｒ２２，Ｂ１３とＧ１２／２３の関係式を求める。このようにして、未検出値ａ（１）１２又はａ（３）１２を構成するＲ２２，Ｂ１３がＧ１２／２３により求められることが分かる。
【数２】
【０１３４】
次に、図１１に示すように、加算画像Ａ２において検出されている４画素加算値｛ａ（２）１２｝を用いて、上記のＲ２２，Ｂ１３，Ｇ１２／２３を求める。
【０１３５】
具体的には、４画素加算値｛ａ（２）１２｝は、上式（１６）を用いて下式（１９）で表される。
ａ（２）１２＝（１／ｒ）・Ｒ２２＋１・Ｇ１２＋
（１／ｒ２）・Ｇ２３＋（１／ｒ）・Ｂ１３
≒（１／ｒ）・Ｒ２２＋［１＋（１／ｒ２）］・Ｇ１２／２３＋
（１／ｒ）・Ｂ１３ （１９）
【０１３６】
上式（１８）のＲ２２，Ｂ１３を上式（１９）に代入すると、下式（２０）に示すようにＧ１２／２３が導出される。下式（２０）により導出されたＧ１２／２３を上式（１８）に代入すれば、Ｒ２２，Ｂ１３が得られる。このようにして求めたＲ２２、Ｇ１２／２３、Ｂ１３を同一座標の画素値として、低解像動画のフレーム画像を構成する。
【数３】
【０１３７】
上記と同様にして４画素加算値｛ａ（２）ｉｊ｝を構成する各々の｛Ｒ，Ｇ，Ｂ｝の値を求めれば、図１１に示すように、元の高精細画像ｆｘを１／４の画素数に低解像度化したＲＧＢ３原色画像を得ることができる。
【０１３８】
以上に説明した手法によれば、簡単な演算処理により低解像３板化カラー画像を得ることができるので、リアルタイム処理を必要とする動画像生成処理として有効である。また、この手法では、従来の同色４画素加算方式に比べ、ベイヤー化したときのＧ色の重心位置のズレが発生せず、より高い画質を得ることができる。
【０１３９】
上記の実施形態によれば、図３に示すように、撮像装置は、低解像動画を生成する低解像動画生成部１６０を含む。図１に示すように、撮像画像ｆｘはＲＧＢベイヤー配列の画像であり、加算単位は、隣接する４画素（例えばＲ、Ｇｒ、Ｇｂ、Ｂの４画素）である。この場合に、加算画像生成部１３０は、第１〜第４のポジションにおいて、重み付け加算によりＲＧＢが混色された第１〜第４の加算画像Ａ１〜Ａ４を取得する。図９〜図１１で説明したように、低解像動画生成部１６０は、第１〜第３Ａ１〜Ａ３の加算画像に基づいて、低解像動画のＲＧＢの画素値（例えば図１１のＲ２２、Ｇ１２／２３、Ｂ１３）を推定により求める。
【０１４０】
このようにすれば、簡素な演算処理により低解像３板化カラー画像を得ることができるため、例えばライブビュー等のリアルタイム処理を必要とする動画像生成処理として有効である。また、同一位置（例えばａ１２）におけるＲＧＢ画素値を推定するため、従来の同色４画素加算方式に比べて、ベイヤー化したときのＧ色の重心位置のズレが発生せず、より高い画質を得ることができる。
【０１４１】
１１．撮像装置の第３の構成例
上記の実施形態では、融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を圧縮したが、本実施形態では、差分画像Ｄ１〜Ｄ４をエントロピー符号化した後にデータ再構成を行い、再構成されたデータを圧縮してもよい。
【０１４２】
図１２に、データ再構成を行う場合の構成例として、撮像装置の第３の構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【０１４３】
撮像部１０は、レンズ１１０、撮像素子１２０、低解像画像生成部１２５（動画用低解像ベイヤー画像生成部）、第１の加算画像生成部１３０、第２の加算画像生成部１３５、差分画像生成部１４１、平均画像生成部１４２、エントロピー符号化部１４３、圧縮データ記録部１５０、低解像動画生成部１６０、画素データ再構成部１６５、第３の加算画像生成部１７５、データ圧縮部１８５（融合データ圧縮部）、モニター表示部１９０を含む。
【０１４４】
画像処理部２０は、圧縮データ伸張部２００、加算画像再生部２１０、低解像画像推定演算部２１５（動画用低解像ベイヤー画像生成部）、推定演算部２３０、高精細静止画生成部２４０、高精細動画生成部２５０、高画質標準動画生成部２６０、標準動画生成部２８０、画像出力部２９０、画像選択部２９５を含む。
【０１４５】
低解像画像生成部１２５は、例えば一般的な近接同色４画素加算等により、１／４の画素数のベイヤー配列の低解像画像を改めて生成する。第２の加算画像生成部１３５は、低解像画像に対して、図１で説明した加算処理を行って加算画像Ｂ１〜Ｂ４を生成する。
【０１４６】
平均画像生成部１４２は、加算画像Ａ１〜Ａ４の平均画像と、加算画像Ｂ１〜Ｂ４の平均画像を生成する。差分画像生成部１４１は、加算画像Ａ１〜Ａ４とその平均画像の差分画像、及び加算画像Ｂ１〜Ｂ４とその平均画像の差分画像を生成する。エントロピー符号化部１４３は、差分画像生成部１４１からの差分画像に対してエントロピー符号化を行う。
【０１４７】
画素データ再構成部１６５は、平均画像の画素データと、エントロピー符号化された差分画像の画素データを、図１６で後述する手法により再構成し、再構成データｕｉｊを出力する。第３の加算画像生成部１７５は、再構成された画素データに対して、図１７で後述する加算処理を行って加算値ξｉｊを生成する。データ圧縮部１８５は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により加算値ξｉｊを圧縮する。
【０１４８】
圧縮データ伸張部２００は、圧縮データから加算値ξｉｊを伸張する。加算画像再生部２１０は、伸張された加算値ξｉｊから再構成データｕｉｊを再生し、その再構成データｕｉｊから加算画像Ａ１〜Ａ４、Ｂ１〜Ｂ４を再生する。低解像画像推定演算部２１５は、図２７（Ａ）〜図３０で後述する推定処理を加算画像Ｂ１〜Ｂ４に対して行い、ベイヤー配列の低解像画像を復元する。標準動画生成部２８０は、ベイヤー配列の低解像画像をデモザイキングし、低解像動画（標準動画）を生成する。
【０１４９】
１２．第３の構成例の動作、処理
次に、上記撮像装置の第３の構成例が行う動作や処理について説明する。
【０１５０】
図１３に、高解像静止画と低解像静止画を同時に取得する撮像処理例を概念的に示す。なお以下では、撮像素子からの撮像フレームは高解像（例えば、１２メガピクセル）であり、フレームレートは高速（例えば、６０ｆｐｓ）であるとする。
【０１５１】
偶数フレームｆ０、ｆ２、・・・は、図１で説明した加算処理により、１２メガピクセルのベイヤー画像から４枚の３メガピクセルの加算画像に変換される。奇数フレームｆ１、ｆ３、・・・は、例えば一般的な近接同色４画素加算等により、３メガピクセルのベイヤー配列画像に変換される。その変換された画像は、図１で説明した加算処理により、４枚の０．７５メガピクセルの加算画像に変換される。
【０１５２】
これらの変換画像から平均画像と差分画像が生成され、差分画像はエントロピー符号化によりデータを圧縮される。圧縮された差分画像は、平均画像と合わせて画素ビットの再構成が行われる。再構成された画素データに対して画素加算が施され、その加算後のデータに対して通常の画像データ圧縮処理が行われる。
【０１５３】
ここで、再構成された画素データに対して画素加算を行うのは以下の理由による。即ち、図１２で上述のように、加算画像Ａ１〜Ａ４、Ｂ１〜Ｂ４から平均画像と差分画像が生成され、その差分画像がエントロピー符号化される。この平均画像のデータと、符号化された差分画像のデータは、もはや画像の性質を有した画素値集合ではなくなっており、ランダム性の高い単なるビットの配列でしかない。そのため、特定の符号に偏りをもつデータとしては認識できないものである。即ち、エントロピーが高い状態であると考えた方が無難である。また、この差分画像のデータと平均画像のデータを画素データ再構成部１６５により一つに統合したデータ群も、同様なことが言える。
【０１５４】
従って、一旦エントロピーが高くなったデータ群を再びエントロピーが低いデータに書き換える必要があり、そのために第３の加算画像生成部１７５における加算効果を使ってエントロピーを低減している。このようにして再構成データのエントロピーを低減することで、後段のデータ圧縮の効果を高めている。
【０１５５】
図１４に、上記撮像処理のシーケンス例を示す。図１４に示すように、まず期間Ｔ０において偶数フレームｆ０の高解像画像の露光と読み出しを行い、期間Ｔ１＋Ｔ２においてプリエンコード処理（ＰＥ０）と通常画像データ圧縮処理（圧縮０）を行う。このプリエンコード処理と通常画像データ圧縮処理に並行して、期間Ｔ１において奇数フレームｆ１の高解像画像の露光と読み出しを行い、期間Ｔ２＋Ｔ３／２において低解像化処理とプリエンコード処理（ＰＥ１）と通常画像データ圧縮処理（圧縮１）を行う。この処理シーケンスでは、連続する偶数フレームｆ０と奇数フレームｆ１の通常画像データ圧縮処理（圧縮０、圧縮１）は、シリアルに期間２Ｔ以内で処理される。
【０１５６】
次に、画素値データの再構成について説明する。図１５にデータ圧縮前のデータ再構成例を示す。この例は、データ圧縮前のデータが画素当り１２ビットで形成される場合でありながらデータ圧縮処理が画素当り８ビットでしか処理できない場合のデータ再構成例である。
【０１５７】
図１５に示すように、平均画像の画素値ビット列をｍ１０〜ｍ１６、ｍ２０〜ｍ２６で表し、エントロピー符号化後の差分画像の画素値ビット列をｄ１０〜ｄ１４、ｄ２０〜ｄ２４で表す。この１２ビットの配列データを８ビットの配列データに再構成するとき、ビット列ｄ１０〜ｄ１４、ｄ２０〜ｄ２４を再構成データの上位ビットに配列し、ビット列ｍ１０〜ｍ１６、ｍ２０〜ｍ２６の中の上位ビットをなるべく再構成データの上位ビットに配列する。これは、エントロピー符号化後の画素値と平均画像の画素値が、データ圧縮復号による劣化をなるべく受けないようにするためである。
【０１５８】
図１６に、データ再構成において設定するデータ単位の例を示す。図１６に示すように、平均画像の画素値データ｛ａＭｉｊ｝（固定ビット幅）に対して、エントロピー符号化後の差分画像の差分値データ｛ｄｋ｝を上乗せ合成してデータを再構成する。即ち、エントロピー符号化後の差分値データと平均画像の画素値データのペア｛ａＭｉｊ｝＋｛ｄｋ｝を、改めて仮想的画素値と見なしてデータ単位｛ｕｉｊ｝として再構成する。
【０１５９】
このデータ単位｛ｕｉｊ｝では、下位ビット側に平均画像画素値｛ａＭｉｊ｝が配列され、上位ビット側に差分値データ｛ｄｋ｝が配列される。このようにすると、この再構成データをＪＰＥＧ等の非可逆圧縮伸張したときに、データ単位｛ｕｉｊ｝の復号誤差が固定ビット幅の平均画像画素値に影響を及ぼすようにできる。即ち、差分値データに対して復号誤差の影響を極力与えないようにできる。このようにするのは、差分値データがエントロピー符号化データなので、復号誤差があると大きな誤りをもった値として再生されてしまうため、それを避けるためである。
【０１６０】
なお、再構成データ単位｛ｕｉｊ｝は符号ビット長Ｎとして固定長で扱われるので、エントロピー符号化後のデータ｛ｄｋ｝は、符号ビット長Ｎから平均画像の画素値｛ａＭｉｊ｝の符号ビット長ｎＭ０を差し引いた符号ビット長［Ｎ−ｎＭ０］を満たすように、適切に連結構成すればよい。よって、データ｛ｄｋ｝は、複数の再構成単位｛ｕｉｊ｝に跨って分割構成される場合もあり得る。
【０１６１】
図１７に、上記再構成データ単位｛ｕｉｊ｝の重畳シフト加算値の例を示す。仮想的画素である｛ｕｉｊ｝は、平均画像ビット加算で且つ任意にビット分離された結果の値なので、発生分布の偏りや近傍画素間の高い相関性は期待できない。そこで、図１７に示すように、再構成データ｛ｕｉｊ｝に対して再び重畳シフト重み付け加算処理を行い、加算値｛ξｉｊ｝を生成する。加算値｛ξｉｊ｝は下式（２１）により求められる。
【０１６２】
ξｉｊ＝［ｕｉｊ＋（１／ｒ）ｕ（ｉ＋１）ｊ＋
（１／ｒ）ｕｉ（ｊ＋１）＋（１／ｒ２）ｕ（ｉ＋１）（ｊ＋１）］／４
（２１）
【０１６３】
このようにして、加算値｛ξｉｊ｝の発生分布の偏りを強くし、また近傍画素間の相関性を高める（エントロピーを低減する）ことができる。これにより、後段の画像データ圧縮における圧縮効果を高めることができる。
【０１６４】
１３．同色加算
上記の実施形態では、ベイヤー配列の異色の隣接４画素を加算する場合を説明したが、本実施形態では、ベイヤー配列の同色の４画素を加算してもよい。図１８に、同色の４画素を加算する場合の撮像部の構成例を示す。
【０１６５】
図１８に示す撮像部は、レンズ１１０、撮像素子１２０、加算画像生成部３０１〜３０４、差分画像生成部３１１〜３１４、平均画像生成部３２１〜３２４、エントロピー符号化部３３１〜３３４、ベイヤー画像生成部３４０、動画データ圧縮部３５０、圧縮データ記録部１５０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【０１６６】
加算画像生成部３０１〜３０４は、ベイヤー配列の撮像画像の中のそれぞれＲ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素の画素シフト加算を行う。Ｒ加算画像ＡＲ１〜ＡＲ４の加算画素値｛ａＲ１００，ａＲ２２０，ａＲ３２２，ａＲ４０２｝を例にとると、下式（２２）で表される。
ａＲ１００＝Ｒ００＋Ｒ２０＋Ｒ２２＋Ｒ０２，
ａＲ２２０＝Ｒ２０＋Ｒ４０＋Ｒ４２＋Ｒ２２，
ａＲ３２２＝Ｒ２２＋Ｒ４２＋Ｒ４４＋Ｒ２４，
ａＲ４０２＝Ｒ０２＋Ｒ２２＋Ｒ２４＋Ｒ０４ （２２）
【０１６７】
平均画像生成部３２１〜３２４は、それぞれ各色の加算画像に基づいて平均画像を生成する。差分画像生成部３１１〜３１４は、それぞれ各色の平均画像と加算画像の差分画像を生成する。エントロピー符号化部３３１〜３３４は、各色の差分画像のエントロピー符号化を行う。
【０１６８】
ベイヤー画像生成部３４０は、４色の平均画像の画素値をベイヤー配列に配列して、１枚のベイヤー配列画像を生成する。動画データ圧縮部３５０は、そのベイヤー配列画像による動画データを、例えばＡＶＣＨＤ（Ｈ．２４６）やＭ−ＪＰＥＧ、ＪＰＥＧ−ＸＲ等により非可逆圧縮する。
【０１６９】
１４．適応的ノイズ低減処理
図３で上述の加算画像ノイズ低減処理部２２０が行う適応的ノイズ低減処理について詳細に説明する。
【０１７０】
本実施形態では、４画素加算値に対してアダプティブ・ノイズ・リダクション（以下、ＡＮＲと略す）を適用する。ＡＮＲとは、空間軸に沿って適応的に対象範囲を異ならせながら画素値平均を行う適応的移動平均フィルターリングのことを言う。ＡＮＲでは、対象範囲内のサンプリング値の変化の幅が小さい場合、移動平均の範囲を広くとり、対象範囲内のサンプリング値の変化の幅が大きい場合、移動平均の範囲を狭くする。これを実現するためには、処理位置（着目位置）の画素値を中心とした所定の画素値幅に含まれるサンプリング値の平均を計算し、改めて処理位置の画素値とする。
【０１７１】
サンプリング値の変化の幅が小さい範囲では、その変化が高周波成分の場合であっても、振幅としては小さいので丸めても影響が少ないと考えられる。また低周波成分の場合は、移動平均を取っても情報は維持される。この場合は、移動平均の範囲を広くとるため、より多くのサンプリング値の平均を取ることになり、加算効果によるノイズ低減効果が大きい。
【０１７２】
一方、サンプリング値の変化の幅が大きい範囲では、その変化が高周波成分の場合でも低周波成分の場合でも、移動平均の範囲を狭くするため情報はほぼ維持される。この場合は、少ないサンプリング値の平均を取ることになるので、加算効果によるノイズ低減効果は小さい。
【０１７３】
よって、この方法を適用するケースとして効果が大きいのは、サンプリング値の振幅の変化幅が小さくなる状態のときである。図１９に示すように、平均画像の画素値ａＭｉｊと加算画像の画素値（例えばａ（１）ｉｊ）は、画素値の相関性が高い。これらの差分値ａＤ１ｉｊはベクトル（１，−１）への射影であるため、差分値ａＤ１ｉｊの生起確率は狭い範囲に分布し、元の撮像画像よりも差分画像のサンプリング値の振幅変化を小さくできる。そのため、この差分画像にＡＮＲを適用すれば、効果的に差分画像のノイズ低減が可能になると考えられる。
【０１７４】
次に、ＡＮＲの適用手法や演算手法について説明する。図２０（Ａ）に示すように、処理する４画素加算値（サンプリング値）をａｋとすると、ａｋを中心として幅±Δ／２の範囲に入る近傍の４画素加算値を特定する。例えば、図２０（Ａ）の場合、幅±Δ／２の範囲に入る４画素加算値は存在しない。この場合、下式（２３）に示すように、ｄ１＝ｄ２＝０として移動平均値ａｋ’を求める。
【数４】
【０１７５】
また、図２０（Ｂ）の場合、幅±Δ／２の範囲に入る４画素加算値はａｋ−２、ａｋ−１、ａｋ＋１である。この場合、上式（２３）においてｄ１＝２，ｄ２＝１とする。なお、ｄ１は、処理する４画素加算値ａｋの左方向（ｋ軸の負方向）の移動平均を取る４画素加算値の範囲を表わす。ｄ２は、処理する４画素加算値ａｋの右方向（ｋ軸の正方向）の移動平均を取る４画素加算値の範囲を表わしている。ｄ１、ｄ２は、下式（２４）に示す条件を満足しているものとする。
ａｋ−Δ／２≦ａｋ−ｄ１、かつａｋ＋ｄ２≦ａｋ＋Δ／２
を満たすｄ１、ｄ２のうち、ｄ１＋ｄ２が最大となるもの，
ｄ１、ｄ２は０以上の整数，
０＜Δ （２４）
【０１７６】
次に、図３で上述の差分画像Ｄ１〜Ｄ４を例にとり、上記ＡＮＲの適用例について説明する。図２１に示すように、差分画像Ｄ１〜Ｄ４は、それぞれ２次元配列のデータである。演算を簡単にするために、上記ＡＮＲを水平方向と垂直方向に別々に適用する。
【０１７７】
具体的には、図２１に示すように、４画素加算値ａｉｊに対して水平方向（ｉ軸方向）に順次ＡＮＲを適用すると、水平方向の移動平均値ａｈｉｊが得られる。また図２２に示すように、４画素加算値ａｉｊに対して垂直方向（ｊ軸方向）に順次ＡＮＲを適用すると、水平方向の移動平均値ａｖｉｊが得られる。図２３に示すように、移動平均値ａｈｉｊとａｖｉｊの平均値ａｉｊ’（例えばａｉｊ’＝（ａｈｉｊ＋ａｖｉｊ）／２）を計算し、その平均値ａｉｊ’を最終な移動平均値とする。
【０１７８】
上記の実施形態によれば、図３に示すように、撮像装置は、ノイズ低減処理部（加算画像ノイズ低減処理部２２０）を含む。図２０（Ａ）等で説明したように、ノイズ低減処理部は、画素値の変化幅に応じて適応的に移動平均の範囲ｄ１＋ｄ２を調整する適応的ノイズ低減処理を、第ｍの差分画像Ｄｍに対して行う。
【０１７９】
例えば本実施形態では、処理対象の画素値ａｋから幅±Δ／２の範囲に入る画素値の数に応じて範囲ｄ１＋ｄ２を調整し、その範囲ｄ１＋ｄ２内の画素値の平均値を、画素値ａｋとして再設定する。
【０１８０】
このようにすれば、上述のように画素値の生起分布が狭く、画素値の振幅が小さい差分画像のノイズを効果的に低減できる。即ち、適応的ノイズ低減処理では、画素値の振幅が小さい場合には移動平均の範囲ｄ１＋ｄ２が広くなるため、その範囲よりも高周波数のノイズ成分が効果的に低減される。
【０１８１】
１５．フレーム間差分画像を用いたデータ圧縮手法
上記の実施形態では、平均画像と差分画像を撮像画像から直接に生成したが、本実施形態では、フレーム間で撮像画像の差分を求め、そのフレーム間差分画像から平均画像と差分画像を生成してもよい。
【０１８２】
図２４に、フレーム間差分画像から平均画像と差分画像を生成する場合の構成例として、撮像装置の第４の構成例を示す。この撮像装置は、撮像部１０と、画像処理部２０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【０１８３】
撮像部１０は、レンズ１１０、減算部１１５、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、平均画像生成部１４２、平均値算出部１４５、減算部１４６、可逆圧縮符号化部１４７、圧縮データ記録部１５０、低解像動画生成部１６０、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。画像処理部２０の構成要素は、図３の画像処理部２０と同様である。
【０１８４】
撮像素子１２０が、フレームｆｘ−１、ｆｘ、ｆｘ＋１において撮像画像Ｖｔ−１、Ｖｔ、Ｖｔ＋１を撮像するものとする。減算部１１５は、撮像画像Ｖｔを基準画像とし、その基準画像と他の撮像画像の差分画像Ｖ’ｔ−１＝Ｖｔ−Ｖｔ−１、Ｖ’ｔ＋１＝Ｖｔ−Ｖｔ＋１を求める。加算画像生成部１３０は、基準画像Ｖｔと差分画像Ｖ’ｔ−１、Ｖ’ｔ＋１からそれぞれ加算画像を求める。以降の処理は、図６で上述の処理と同様である。
【０１８５】
推定演算部２３０が元の撮像画像を復元する際には、まず加算画像から基準画像Ｖｔと差分画像Ｖ’ｔ−１、Ｖ’ｔ＋１を復元し、それらの画像から撮像画像Ｖｔ−１＝Ｖｔ−Ｖ’ｔ−１、Ｖｔ＋１＝Ｖｔ−Ｖ’ｔ＋１を求める。
【０１８６】
図２５に、上記撮像装置が行う処理を模式的に示す。図２５に示すように、所定時間間隔（例えば１／６０ｓｅｃ．）で撮影されるフレームｆ０、ｆ１、・・・のＲＡＷ画像データを、それぞれＶ０、Ｖ１、・・・と表わす。基準フレームｆ３ｋ＋１の撮像画像をＶ３ｋ＋１とし、差分フレームｆ３ｋ、ｆ３ｋ＋２を生成するための撮像画像をＶ３ｋ、Ｖ３ｋ＋２とする。ここで、ｋは０以上の整数である。
【０１８７】
基準撮像画像Ｖ３ｋ＋１は高精細ＲＡＷ画像データそのものであり、Ｖ３ｋ＋１に対して重畳シフト重み付け加算を行って４枚の４画素加算画像Ａ（３ｋ＋１）１〜Ａ（３ｋ＋１）４を生成する。また、基準画像の前後フレームの画像Ｖ３ｋ、Ｖ３ｋ＋２と、基準画像Ｖ３ｋ＋１の対応画素値の差分を取り、差分フレーム画像Ｖ’３ｋ、Ｖ’３ｋ＋２を生成する。これらの差分フレーム画像Ｖ’３ｋ、Ｖ’３ｋ＋２に対して、それぞれ重畳シフト重み付け加算を行って、それぞれ４枚の４画素加算画像Ａ（３ｋ）１〜Ａ（３ｋ）４、Ａ（３ｋ＋２）１〜Ａ（３ｋ＋２）４を生成する。
【０１８８】
次に、図１で上述の手法と同様にして、４画素加算画像から平均画像と差分画像を生成し、その平均画像と差分画像に対して圧縮処理（特に可逆圧縮処理）を行い、そのデータを融合画像データとして記録する。
【０１８９】
以上の実施形態によれば、一般的に近接フレームは類似画像なので、フレーム間差分を利用すると、図１で上述の手法に比べて動画データとしての圧縮効果を大きくできる。なお、単純なＲＡＷデータの差分では、類似しない部分のエントロピー低減は期待できないので、可逆圧縮を考えると後段の処理が活きてくる。
【０１９０】
図２６に、上記第４の構成例における撮像部の変形構成例を示す。この撮像部は、レンズ１１０、減算部１１６、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、平均画像生成部１４２、平均値算出部１４５、減算部１４６、可逆圧縮符号化部１４７、圧縮データ記録部１５０、低解像動画生成部１６０、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【０１９１】
この変形構成例では、撮像画像のフレーム間差分画像ではなく、加算画像のフレーム間差分画像を求める。具体的には、加算画像生成部１３０は、撮像画像Ｖ３ｋ、Ｖ３ｋ＋１、Ｖ３ｋ＋２に対して重畳シフト重み付け加算を行い、加算画像Ａ（３ｋ）１〜Ａ（３ｋ）４、Ａ（３ｋ＋１）１〜Ａ（３ｋ＋１）４、Ａ（３ｋ＋２）１〜Ａ（３ｋ＋２）４を生成する。減算部１１６は、基準フレームの加算画像Ａ（３ｋ＋１）１〜Ａ（３ｋ＋１）４と、その前後フレームの加算画像Ａ（３ｋ）１〜Ａ（３ｋ）４、Ａ（３ｋ＋２）１〜Ａ（３ｋ＋２）４の差分を求め、差分フレームの加算画像として出力する。そして、図１で上述の手法と同様にして、基準フレームの加算画像と差分フレームの加算画像から、平均画像と差分画像を生成し、その平均画像と差分画像に対して可逆圧縮処理を行い、そのデータを融合画像データとして記録する。
【０１９２】
上記の実施形態によれば、図２５に示すように、画像取得部（例えば撮像素子１２０）は、第１フレームｆ３ｋ＋１の撮像画像Ｖ３ｋ＋１を基準撮像画像として取得し、第１フレームｆ３ｋ＋１の前又は後の第２フレーム（例えば前のフレームｆ３ｋ）の撮像画像Ｖ３ｋと基準撮像画像Ｖ３ｋ＋１の差分を差分撮像画像Ｖ’３ｋとして取得する。加算画像生成部１３０は、基準撮像画像Ｖ３ｋ＋１に基づく第１〜第４（広義には第１〜第ｎ）の加算画像Ａ（３ｋ＋１）１〜Ａ（３ｋ＋１）４と、差分撮像画像Ｖ’３ｋに基づく第１〜第ｎの加算画像Ａ（３ｋ）１〜Ａ（３ｋ）４を取得する。
【０１９３】
なお、第２フレームは、第１フレームｆ３ｋ＋１の後のフレームｆ３ｋ＋２であってもよい。この場合、差分撮像画像Ｖ’３ｋ＋２、第１〜第ｎの加算画像Ａ（３ｋ＋２）１〜Ａ（３ｋ＋２）４を取得する。また、第１フレームｆ３ｋ＋１の前後両方のフレームを用いて、それぞれ差分画像、加算画像を求めてもよい。
【０１９４】
このようにすれば、フレーム内での画素加算によりフレーム内の画素間相関が大きくなり、更にその加算画像同士の引き算によりフレーム間差分画像を求めることができる。これにより、類似性がより高い画像同士の引き算とすることができ、差分効果が期待できる。例えば、フレーム間差分画像から生成した平均画像は、通常の加算画像から生成した平均画像よりもエントロピーが低いと考えられる。そのため、平均画像のエントロピー符号化等による圧縮率を向上できると考えられる。
【０１９５】
１６．復元推定処理
次に、図３等で上述の推定演算部２３０が行う推定処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明する（ｉ，ｊは０以上の整数）が、他の加算画素値についても同様である。また、加算単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。
【０１９６】
図２７（Ａ）、図２７（Ｂ）に、推定画素値と中間画素値の説明図を示す。図２７（Ａ）に示す加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝は、図１で説明した加算画像Ａ１〜Ａ４の加算画素値｛ａ（１）００，ａ（２）１０，ａ（３）１１，ａ（４）０１｝に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００〜ｖ２２を推定する。推定画素値ｖｉｊは、図１で説明した撮像画像ｆｘの画素値に対応する。
【０１９７】
図２７（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【０１９８】
まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を推定する場合を例に説明する。次の行の中間画素値ｂ０１〜ｂ２１についても同様の手法により推定される。
【０１９９】
図２８に示すように、中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の加算画素値ａ００、ａ１０に基づいて推定される。説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値ａ００、ａ１０は下式（２５）で表される。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
（２５）
【０２００】
下式（２６）に示すようにｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋（１／ｒ）ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／ｒ）ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／ｒ）ｖ２１＝ｖ２０＋（１／２）ｖ２１ （２６）
【０２０１】
次に、上式（２６）を用いて上式（２５）を変形すると、下式（２７）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （２７）
【０２０２】
上式（２７）において、ａ００、ａ１０に所定の重み係数を掛けて差分δｉ０を取り、上式（２６）を使って変形すると、下式（２８）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｂ２０−２ｂ００ （２８）
【０２０３】
ｂ００を未知数（初期変数）とすると、下式（２９）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。このようにして、ｂ００を未知数として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） （２９）
【０２０４】
次に、未知数ｂ００を求める手法について説明する。図２９に示すように、加算画素値のパターン｛ａ００，ａ１０｝と中間画素値のパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０２０５】
具体的には、加算画素値｛ａｉｊ｝と中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝には、下式（３０）の関係が成り立つ。この下式（３０）による重み付けを考慮すると、下式（３１）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝とパターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ （３０）
【数５】
【０２０６】
図３０に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（２９）に代入し、ｂ１０，ｂ２０が求められる。
【０２０７】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。即ち、上式（２７）を下式（３２）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （３２）
【０２０８】
以上の実施形態によれば、図２７（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ００）と、第１のポジションの次の第２のポジションに設定された加算単位（例えばａ１０）は重畳する。上式（２８）に示すように、推定演算部２３０は、第１、第２のポジションの加算画素値ａ００、ａ１０の差分値δｉ０を求める。図２７（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（２９）に示すように、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。図２９等に示すように、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
【０２０９】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【０２１０】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図２７（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０２１１】
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、次のポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０２１２】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）とする。上式（２９）に示すように、推定演算部２３０は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図２９に示すように、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０２１３】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０２１４】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０２１５】
また本実施形態では、上式（３１）に示すように、推定演算部２３０は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）と加算画素値（ａ００、ａ１０）との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０２１６】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。
【０２１７】
また本実施形態では、上式（２５）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
【０２１８】
このようにすれば、加算単位の各画素値を重み付け加算して加算画像を取得し、取得した加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０２１９】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、画像処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０２２０】
１０ 撮像部、２０ 画像処理部、１００ 被写体、１１０ レンズ、
１１５，１１６ 減算部、１２０ 撮像素子、１２５ 低解像画像生成部、
１３０，１３５ 加算画像生成部、１４０ 圧縮処理部、
１４１ 差分画像生成部、１４２ 平均画像生成部、
１４３ エントロピー符号化部、１４４ データ圧縮部、１４５ 平均値算出部、
１４６ 減算部、１４７ 可逆圧縮符号化部、１４８ データ圧縮部、
１５０ 圧縮データ記録部、１５１ 差分データ記録部、
１５２ 平均画像データ記録部、１５５ データ記録部、
１６０ 低解像動画生成部、１６５ 画素データ再構成部、
１７０ 動画データ圧縮部、１７５ 加算画像生成部、
１８０ 動画データ記録部、１８５ データ圧縮部、１９０ モニター表示部、
２００ 圧縮データ伸張部、２０５ 伸張処理部、２１０ 加算画像再生部、
２１５ 低解像画像推定演算部、２２０ 加算画像ノイズ低減処理部、
２３０ 推定演算部、２４０ 高精細静止画生成部、２５０ 高精細動画生成部、
２６０ 高画質標準動画生成部、２７０ 動画圧縮データ伸張部、
２８０ 標準動画生成部、２９０ 画像出力部、２９５ 画像選択部、
３０１〜３０４ 加算画像生成部、３１１〜３１４ 差分画像生成部、
３２１〜３２４ 平均画像生成部、３３１〜３３４ エントロピー符号化部、
３４０ ベイヤー画像生成部、３５０ 動画データ圧縮部、
Ａ１〜Ａ４ 加算画像、Ｄ１〜Ｄ４ 差分画像、Ｍ 平均画像、Ｔ０〜Ｔ２ 期間、
Ｖ３ｋ＋１ 基準撮像画像、Ｖ３ｋ，Ｖ３ｋ＋２ 差分撮像画像、
ａ（１）００，ａ（２）１０，ａ（３）１１，ａ（４）０１ 加算画素値、
ａＤ１ｉｊ〜ａＤ４ｉｊ 差分画像の画素値、ａＭｉｊ 平均画像の画素値、
ａｈｉｊ，ａｖｉｊ，ａ’ｉｊ 移動平均値、ｂ００-ｂ２０ 中間画素値、
ｄ１，ｄ２ 範囲、ｆｘ 撮像画像、ｍＡＶＲ 平均値、ｒ 重み付け係数、
ｕｉｊ 再構成データ、ｖ００-ｖ２２ 推定画素値、αＭｉｊ 平均値、
δｉ０ 差分値、ξｉｊ 再構成データの加算値
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザーがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザーがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。
【０００５】
本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
【０００６】
本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像画像を取得する画像取得部と、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、前記加算画像を圧縮する圧縮処理部と、圧縮された前記加算画像を伸張する伸張処理部と、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、を含み、前記加算画像生成部は、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、前記圧縮処理部は、前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｍはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、前記伸張処理部は、圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求める撮像装置に関係する。
【０００８】
本発明の一態様によれば、加算単位が順次画素シフトされて第１〜第ｎの加算画像が取得され、その第１〜第ｎの加算画像の平均画像が求められる。そして、その平均画像と第ｍの加算画像の差分である第ｍの差分画像が求められ、その平均画像と第ｍの差分画像が圧縮される。そして、それらの圧縮された画像が伸張されて第１〜第ｎの加算画像が求められ、その第１〜第ｎの加算画像に基づいて撮像画像が推定される。
【０００９】
これにより、例えば後述する推定処理を適用することで、簡素な処理で低解像の加算画像から高解像な撮像画像を復元することが可能になる。動画撮影と静止画撮影を切り換えないため、動画データから任意タイミングの高解像静止画を取得できる。また、差分画像を求めることで、高圧縮率で画像データを圧縮できる。
【００１０】
また本発明の一態様では、前記加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。
【００１１】
このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求め、その加算画素値により第１〜第ｎの加算画像を構成できる。
【００１２】
また本発明の一態様では、前記圧縮処理部は、前記第１〜第ｎのポジションの前記加算画素値の平均値を、前記平均画像の画素値として求める平均画像生成部と、前記平均画像の画素値と、前記第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部と、を有してもよい。
【００１３】
このようにすれば、第１〜第ｎの加算画像の画素値を平均することで、平均画像の画素値を求めることができる。また、平均画像の画素値と、第ｍの加算画像の画素値の差分値により、第ｍの差分画像の画素値を求めることができる。
【００１４】
また本発明の一態様では、低解像動画を生成する低解像動画生成部を含み、前記撮像画像がＲＧＢベイヤー配列の画像であり、前記加算単位が、隣接する４画素である場合に、前記加算画像生成部は、第１〜第４のポジション（ｎ＝４）において、前記重み付け加算によりＲＧＢが混色された第１〜第４の加算画像を取得し、前記低解像動画生成部は、前記第１〜第４の加算画像のうちの第１〜第３の加算画像に基づいて、前記低解像動画のＲＧＢの画素値を推定により求めてもよい。
【００１５】
このようにすれば、ＲＧＢが加算により混色されている加算画像から、ＲＧＢのカラー画像を生成することができる。これにより、撮像画像を復元することなく簡易的にカラー動画を得ることができる。
【００１６】
また本発明の一態様では、前記圧縮処理部は、前記第ｍの差分画像をエントロピー符号化により可逆圧縮してもよい。
【００１７】
差分画像は、平均画像と加算画像の差分であるため画素値のエントロピーを撮像画像よりも小さくできる。そのため、差分画像をエントロピー符号化することで高圧縮率で圧縮できる。
【００１８】
また本発明の一態様では、前記撮像画像がＲＧＢベイヤー配列の画像である場合に、前記推定演算部は、前記撮像画像の前記ＲＧＢベイヤー配列の画素値を推定により求め、前記画像出力部は、推定された前記ＲＧＢベイヤー配列の画素値をデモザイキング処理した画像に基づいて高解像動画を出力してもよい。
【００１９】
このようにすれば、高圧縮率で圧縮された画像データから、撮像画像に相当する解像度の高解像動画を復元することができる。これにより、動画データの高圧縮率と高画質を両立することが可能になる。
【００２０】
また本発明の一態様では、画素値の変化幅に応じて適応的に移動平均の範囲を調整する適応的ノイズ低減処理を、前記第ｍの差分画像に対して行うノイズ低減処理部を含んでもよい。
【００２１】
差分画像は、平均画像と加算画像の差分であるため撮像画像よりも画素値の振幅が小さい。そのため、差分画像に適応的ノイズ低減処理を行うことで、効果的にノイズ低減を行うことができる。
【００２２】
また本発明の一態様では、前記画像取得部は、第１フレームの撮像画像を基準撮像画像として取得し、前記第１フレームの前又は後の第２フレームの撮像画像と前記基準撮像画像の差分を差分撮像画像として取得し、前記加算画像生成部は、前記基準撮像画像に基づく前記第１〜第ｎの加算画像と、前記差分撮像画像に基づく前記第１〜第ｎの加算画像を取得してもよい。
【００２３】
このようにすれば、フレーム間差分画像は、類似性が高い加算画像の差分となる。これにより、フレーム間差分画像から生成した平均画像の圧縮率を、通常の加算画像から生成した平均画像よりも向上可能である。
【００２４】
また本発明の一態様では、第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、前記推定演算部は、前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。
【００２５】
このようにすれば、加算単位が重畳しながら順次画素シフトされた第１〜第ｎの加算画像から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。
【００２６】
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２７】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【００２８】
また、本発明の他の態様は、撮像画像を取得し、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、前記加算画像を圧縮し、圧縮された前記加算画像を伸張し、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、前記推定された画素値に基づく高解像画像を出力する場合に、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｉはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求める画像生成方法に関係する。
【図面の簡単な説明】
【００２９】
【図１】第１のデータ圧縮手法についての説明図。
【図２】ハフマン符号テーブルの例。
【図３】撮像装置の第１の構成例。
【図４】融合画像データの第１の符号割り当て例。
【図５】融合画像データの第２の符号割り当て例。
【図６】撮像装置の第２の構成例。
【図７】撮像装置の第２の構成例における融合画像データの符号割り当て例。
【図８】撮像装置の変形構成例。
【図９】低解像動画の生成手法についての説明図。
【図１０】低解像動画の生成手法についての説明図。
【図１１】低解像動画の生成手法についての説明図。
【図１２】撮像装置の第３の構成例。
【図１３】高解像静止画と低解像静止画を同時に取得する撮像処理例。
【図１４】高解像静止画と低解像静止画を同時に取得する撮像処理のシーケンス例。
【図１５】データ圧縮前のデータ再構成例。
【図１６】データ再構成において設定するデータ単位の例。
【図１７】再構成データ単位の重畳シフト加算値の例。
【図１８】同色の４画素を加算する場合の撮像部の構成例。
【図１９】適応的ノイズ低減処理についての説明図。
【図２０】図２０（Ａ）、図２０（Ｂ）は、適応的ノイズ低減処理についての説明図。
【図２１】適応的ノイズ低減処理についての説明図。
【図２２】適応的ノイズ低減処理についての説明図。
【図２３】適応的ノイズ低減処理についての説明図。
【図２４】撮像装置の第４の構成例。
【図２５】撮像装置の第４の構成例が行う処理の模式図。
【図２６】撮像装置の第４の構成例における撮像部の変形構成例。
【図２７】図２７（Ａ）、図２７（Ｂ）は、推定画素値と中間画素値の説明図。
【図２８】復元推定処理についての説明図。
【図２９】復元推定処理についての説明図。
【図３０】復元推定処理についての説明図。
【発明を実施するための形態】
【００３０】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３１】
１．本実施形態の概要
デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
【００３２】
しかしながら、この手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れたり、ユーザーが気づいたときには既に決定的瞬間を逃していたりするという課題がある。
【００３３】
決定的瞬間の静止画を得るために、高フレームレートの高解像動画を取得し、その高解像動画から任意タイミングの静止画を抜き出す手法が考えられる。しかしながら、この手法では、高解像動画を撮影するためデータ量が増大するという課題がある。
【００３４】
そこで本実施形態では、図１に示すように、撮像画像を画素加算して複数の低解像画像Ａ１〜Ａ４を取得し、その複数の低解像画像Ａ１〜Ａ４の平均画像Ｍを求める。そして、その平均画像Ｍと低解像画像Ａ１〜Ａ４の差分画像Ｄ１〜Ｄ４を求め、その差分画像Ｄ１〜Ｄ４を例えばエントロピー符号化により圧縮する。差分画像Ｄ１〜Ｄ４では画素値がゼロ付近に偏在していると考えられるため、圧縮率を向上できる。
【００３５】
さて、低解像画像から高解像画像を得る手法として、画素シフトにより撮影した低解像画像に対していわゆる超解像処理を行う手法が考えられる。例えば、この手法では、順次位置ずらししながら加算読み出しを行い、その複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法等が知られている。
【００３６】
例えば上述の特許文献１には、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、その複数の低解像画像を合成することにより高解像画像を仮定し、その高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。
【００３７】
しかしながら、この手法では、２次元フィルターを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、例えばデジタルカメラのような処理能力やコストの制限がある機器への適用は困難であるという課題がある。
【００３８】
また上述の特許文献２には、画素シフトさせた複数の低解像画像を撮像し、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する手法が開示されている。この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００３９】
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、所定の条件を満たす領域を画像から見つけ出している。そのため、適当な領域が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な領域を探索する処理が必要になってしまう。
【００４０】
この点、本実施形態では、図１で後述するように、平均画像Ｍと差分画像Ｄ１〜Ｄ４から低解像画像Ａ１〜Ａ４を再生し、その低解像画像Ａ１〜Ａ４から撮像画像を推定により復元する。この低解像画像Ａ１〜Ａ４の加算画素値ａ（１）００〜ａ（４）０１は、重畳画素シフトされたものであり、隣接する加算画素値は共通の画素を含んでいる。図２７（Ａ）〜図３０で後述するように、この重畳画素シフトされた加算画素値を用いることで、高解像画像を推定する処理を簡素化できる。
【００４１】
２．第１のデータ圧縮手法
次に、本実施形態について詳細に説明する。まず、撮像画像データの圧縮手法について説明する。なお以下では撮像素子がＲＧＢベイヤー配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。また以下ではフレームｆｘの撮像画像を例に説明するが、他のフレームにおいても同様である。
【００４２】
ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。
【００４３】
図１に示すように、フレームｆｘにおいて全画素読み出しによりＲＧＢベイヤー配列の撮像画像（以下、「高精細フレーム画像ｆｘ」と呼ぶ）を取得する。高精細フレーム画像ｆｘに、４画素で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、４枚の画素加算画像Ａ１〜Ａ４を生成する。
【００４４】
４画素加算値ａｉｊは下式（１）で表わされ、画素加算画像Ａ１〜Ａ４を構成する加算画素値はそれぞれ｛ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）、ａｉ（ｊ＋１）｝である。
ａｉｊ＝ｖｉｊ＋（１／ｒ）ｖ（ｉ＋１）ｊ＋
（１／ｒ）ｖｉ（ｊ＋１）＋（１／ｒ２）ｖ（ｉ＋１）（ｊ＋１） （１）
【００４５】
ここで、ｒは重み付けのパラメータであり、１≦ｒである。またｖｉｊは高精細フレーム画像におけるアドレス（ｉ，ｊ）の画素値である。
【００４６】
次に、生成した画素加算画像Ａ１〜Ａ４の加算位置の整合を行い、４枚の画素加算画像を重ね合わせた上で同一位置の値の加算平均をとることにより平均画像Ｍを生成する。即ち、画素加算画像Ａ１〜Ａ４の４画素加算値をそれぞれ｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝とすると、平均画像Ｍの画素値ａＭｉｊは下式（２）で表される。
ａＭｉｊ＝［ａ（１）ｉｊ＋ａ（２）（ｉ＋１）ｊ＋
ａ（３）ｉ（ｊ＋１）＋ａ（４）（ｉ＋１）（ｊ＋１）］／４ （２）
【００４７】
生成した平均画像Ｍを基準とし、その平均画像Ｍと画素加算画像Ａ１〜Ａ４との差分（方向ベクトル（１，−１）への射影）をそれぞれ差分画像Ｄ１〜Ｄ４とする。差分画像Ｄ１〜Ｄ４と平均画像Ｍを合わせて融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）とする。差分画像Ｄ１〜Ｄ４を構成する４画素加算差分値を｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝とすれば、下式（３）のように表わせる。
ａＤ１ｉｊ＝ａＭｉｊ−ａ（１）ｉｊ，
ａＤ２ｉｊ＝ａＭｉｊ−ａ（２）（ｉ＋１）ｊ，
ａＤ３ｉｊ＝ａＭｉｊ−ａ（３）（ｉ＋１）（ｊ＋１），
ａＤ４ｉｊ＝ａＭｉｊ−ａ（４）ｉ（ｊ＋１） （３）
【００４８】
このようにして、静止画と動画を融合させた融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を生成し、それを記録しておき、その記録されたＦ（Ｍ，Ｄ１〜Ｄ４）を後段において解凍処理することにより、「高精細静止画データ」又は「動画データ」を適宜生成することが可能となる。
【００４９】
なお、この例では差分（即ち方向ベクトル（１，−１）への射影）をとったが、本実施形態はこれに限定されない。例えば、平均画像Ｍの画素値と画素加算画像Ａ１〜Ａ４の画素値の相関分布に応じて、その主成分軸（分散が最も大きくなる直線）を求め、主成分軸に直交する軸に対して射影した値を用いた方が、より一層データの圧縮が可能となることは言うまでもない。
【００５０】
３．エントロピー符号化
次に、上述した平均画像Ｍと差分画像Ｄ１〜Ｄ４を圧縮する手法について説明する。
【００５１】
平均画像Ｍ及び差分画像Ｄ１〜Ｄ４の画素値データは、発生頻度分布の偏りが顕著になるため、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）がデータ圧縮として効果的である。エントロピー符号化とは、画素値の発生確率を求め、発生確率の高いものから短い符号長を割当てる圧縮手法である。
【００５２】
例えば、平均画像Ｍの画素値データの平均値に対して最も短い符号長を割り当て、その平均値から離れる値ほど符号長を長くしていく符号化が適当である。即ち、差分画像Ｄ１〜Ｄ４の画素値データは各々の平均がゼロであり、ゼロの発生確率をピークとして分布しているので、ゼロ値に最も短い符号を割当てるようにすればよい。また、平均画像Ｍ及び差分画像Ｄ１〜Ｄ４の画素値データは、確率密度に応じて非線形量子化を行うことも有効である。
【００５３】
一方、平均画像Ｍでは、確かに加算平均した画素値データなので発生頻度分布の偏りは顕著になるが、画素加算値の取りうる範囲は、差分画像Ｄ１〜Ｄ４の画素値データと比較すると、かなり大きくなる。そのため、一般的に高圧縮率が期待できる非可逆圧縮法（ＪＰＥＧ，ＭＰＥＧ等）の適用がデータの圧縮としては効果的である。
【００５４】
従って、平均画像Ｍにおいては画素数を削減して非可逆高圧縮を適用し、差分画像Ｄ１〜Ｄ４においては、同様な発生分布の偏りを呈する特性を利用した高速エントロピー符号化を適用することが考えられる。
【００５５】
次に、最も単純なハフマン符号を適用する場合の例を示す。多数の画像の画素値分布に基づいて一つのハフマン符号テーブルを生成すると、適用範囲が広くなり、圧縮効果は画像依存になってしまう。しかしながら、画像毎又は画像範囲毎にハフマンテーブルを毎回生成するのは効果的ではない。
【００５６】
そこで、上記の平均画像Ｍに適用する場合、所定の画像領域毎に平均値αＭｉｊを下式（４）により求め、その平均値αＭｉｊと各加算平均値｛ａＭｉｊ｝の差分値｛ａ’Ｍｉｊ｝を下式（５）により求める。そして、その差分値｛ａ’Ｍｉｊ｝を改めて平均画像Ｍのデータとし、ハフマン符号化を適用すればよい。このことにより、差分値｛ａ’Ｍｉｊ｝は、普遍的にゼロを中心とした値の生起分布を形成できる。融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の中のＭは、Ｍ＝｛αＭｉｊ，ａ’Ｍｉｊ｝に置き換えて考えられる。
【数１】
ａ’Ｍｉｊ＝ａＭｉｊ−αＭｉｊ （５）
【００５７】
ここで、（ｈ０，ｖ０）は、平均値αＭｉｊを算出する領域の始点であり、（ｈ，ｖ）は、平均値αＭｉｊを算出する領域の終点である。例えば、平均値αＭｉｊを算出する領域は、平均画像Ｍの全体である。平均値αＭｉｊを算出する領域や、平均値αＭｉｊの算出に用いる平均値ａＭｉｊの数は、データの圧縮率とのバランスを評価して決めればよい。
【００５８】
上記の差分値｛ａ’Ｍｉｊ｝と４画素加算差分値｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝は、それら自体が平均ゼロの値から成っているので、図２に示す符号割り当てが考えられる。このようにすれば、ハフマン符号テーブルは固定的な一種類で済ますことができる。
【００５９】
なお、上述の平均値αＭｉｊとして、下式（６）に示す固定値ｍＡＶＲを適用し、変動データとして扱わずに先見情報として扱ってもよい。この場合、平均値ｍＡＶＲはデータとして記録する必要はない。融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の中のＭは、Ｍ＝｛ｍＡＶＲ，ａ’Ｍｉｊ｝と置き換えて考えられる。下式（６）は、上式（１）で定義される重み付け４画素加算値の場合への適用であり、加算画素数や重み付けの掛け方によって適宜適正な値が設定されることに注意が必要である。
ｍＡＶＲ＝ｖｍａｘ・｛１＋（１／ｒ）＋（１／ｒ）＋（１／ｒ２）｝／２ （６）
【００６０】
ここで、ｒは重み付けのパラメータであり、１≦ｒである。ｖｍａｘは、画素値を規定する最大値である。
【００６１】
４．第２のデータ圧縮手法
次に、上述した差分画像Ｄ１〜Ｄ４のデータ量を更に削減する第２のデータ圧縮手法について説明する。
【００６２】
差分画像｛Ｄ１，Ｄ３｝の組み合わせと差分画像｛Ｄ２，Ｄ４｝の組み合わせにおいて、相互に負の相関性がある。即ち、｛ａＤ１ｉｊ，ａＤ３ｉｊ｝はＲ画素又はＢ画素の重み付けがｒ＝１のパターン同士であり、｛ａＤ２ｉｊ，ａＤ４ｉｊ｝はＧｒ画素又はＧｂ画素の重み付けがｒ＝１のパターン同士である。これらの画素値は、平均値と加算画素値の差分値であるため、相互に負の相関性をもつことになる。
【００６３】
そのため、４画素加算差分値｛ａＤ１ｉｊ，ａＤ３ｉｊ｝，｛ａＤ２ｉｊ，ａＤ４ｉｊ｝の発生が規定される２次元座標空間において、生起分布の分散が最も小さくなる適切な軸を求め、その軸に差分値を射影した値を求めれば、更にデータの圧縮が可能である。生起分布の分散が最も小さくなる軸は、例えば、負の相関をもつ生起分布に沿った軸（１，−１）に直交する軸（１，１）である。
【００６４】
ここでは、単純に上述の２組の４画素加算差分値を加算する例を示す。即ち、下式（７）に示すように、方向ベクトル（１，１）の軸への射影を行ってデータの圧縮を実現する。
φ１＝（ａＤ１ｉｊ＋ａＤ３ｉｊ）／２，
φ２＝（ａＤ２ｉｊ＋ａＤ４ｉｊ）／２ （７）
【００６５】
この場合、記録データは、４画素加算差分値｛ａＤ３ｉｊ，ａＤ４ｉｊ｝に代えて差分加算値｛φ１，φ２｝とすればよい。差分加算値｛φ１，φ２｝で構成される画像データを｛Φ１，Φ２｝と表わせば、最終的に記録する融合画像データはＦ（Ｍ，ａＤ１ｉｊ，ａＤ２ｉｊ，Φ１，Φ２）と表わされる。
【００６６】
５．高精細静止画の再生手法
上述の第１のデータ圧縮手法では、融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）が得られる。このＦ（Ｍ，Ｄ１〜Ｄ４）から高精細静止画（図１のフレーム画像ｆｘ）を復元推定する手法について説明する。
【００６７】
上式（３）を変形すると、下式（８）が得られる。下式（８）に示すように、平均画像Ｍを構成する４画素加算値｛ａＭｉｊ｝と、差分画像Ｄ１〜Ｄ４を構成する４画素加算値｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝から、画素加算画像Ａ１〜Ａ４のそれぞれの４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝が得られる。
ａ（１）ｉｊ＝ａＭｉｊ−ａＤ１ｉｊ，
ａ（２）（ｉ＋１）ｊ＝ａＭｉｊ−ａＤ２ｉｊ，
ａ（３）（ｉ＋１）（ｊ＋１）＝ａＭｉｊ−ａＤ３ｉｊ，
ａ（４）ｉ（ｊ＋１）＝ａＭｉｊ−ａＤ４ｉｊ （８）
【００６８】
求められた４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝は、１枚の高精細画像を水平又は垂直に１画素ずつ重畳シフトした４画素加算値により構成されている画像データである。この４画素加算値を、図２７（Ａ）〜図３０で後述する復元推定処理に適用することにより、元の高精細フレーム画像ｆｘの画素値が求められる。
【００６９】
上述の第２のデータ圧縮手法では、融合画像データＦ（Ｍ，ａＤ１ｉｊ，ａＤ２ｉｊ，Φ１，Φ２）が得られる。このＦ（Ｍ，ａＤ１ｉｊ，ａＤ２ｉｊ，Φ１，Φ２）から高精細静止画を復元推定する手法について説明する。
【００７０】
上式（７）を変形すると、下式（９）が得られる。下式（９）より、差分画像Ｄ１〜Ｄ４が得られる。差分画像Ｄ１〜Ｄ４が得られれば、上記と同様に処理することにより、最終的な高精細フレーム画像ｆｘが復元される。
ａＤ３ｉｊ＝ａＤ１ｉｊ−２φ１，
ａＤ４ｉｊ＝ａＤ２ｉｊ−２φ２ （９）
【００７１】
なお、以上の実施形態では図１に示すように加算単位を４回シフトさせて加算画像Ａ１〜Ａ４を取得し、平均画像Ｍと差分画像Ｄ１〜Ｄ４を求めたが、本実施形態はこれに限定されない。例えば、加算単位を９回シフトさせて加算画像Ａ１〜Ａ９を取得し、平均画像Ｍと差分画像Ｄ１〜Ｄ９を求めてもよい。
【００７２】
６．撮像装置
図３に、上述のデータ圧縮処理と、高精細フレーム画像ｆｘの復元処理を行う撮像装置の構成例を示す。
【００７３】
撮像装置は、撮像とデータ圧縮処理を行う撮像部１０と、高精細画像の復元処理を行う画像処理部２０を含む。画像処理部２０は、カメラ本体に内蔵されてもよいし、ＰＣ等の外部の情報処理装置により構成されてもよい。
【００７４】
具体的には、撮像部１０は、レンズ１１０、撮像素子１２０（撮像センサー）、加算画像生成部１３０（重畳シフト重み付け加算画像生成部）、圧縮処理部１４０、圧縮データ記録部１５０（融合圧縮データ記録部）、低解像動画生成部１６０（標準動画生成部）、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。
【００７５】
レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。撮像により得られたアナログ信号は、図示しないＡ／Ｄ変換部によりデジタル信号に変換される。
【００７６】
加算画像生成部１３０は、上述のように、画素シフトさせつつ撮像画像の画素値を加算し、撮像画像から画素加算画像Ａ１〜Ａ４を生成する。
【００７７】
圧縮処理部１４０は、画素加算画像Ａ１〜Ａ４から平均画像Ｍと差分画像Ｄ１〜Ｄ４を生成し、その平均画像Ｍと差分画像Ｄ１〜Ｄ４を圧縮する処理を行う。具体的には圧縮処理部１４０は、差分画像生成部１４１、平均画像生成部１４２、エントロピー符号化部１４３、データ圧縮部１４４を含む。
【００７８】
平均画像生成部１４２は、画素加算画像Ａ１〜Ａ４から平均画像Ｍを生成する。差分画像生成部１４１は、画素加算画像Ａ１〜Ａ４と平均画像Ｍから差分画像Ｄ１〜Ｄ４を生成する。エントロピー符号化部１４３は、上述のエントロピー符号化等の可逆圧縮により差分画像Ｄ１〜Ｄ４を圧縮する。データ圧縮部１４４は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により平均画像Ｍを圧縮する。
【００７９】
圧縮データ記録部１５０は、圧縮された画像データを記録する。具体的には圧縮データ記録部１５０は、圧縮された差分画像Ｄ１〜Ｄ４を記録する差分データ記録部１５１と、圧縮された平均画像Ｍを記録する平均画像データ記録部１５２を含む。
【００８０】
低解像動画生成部１６０は、図９等で後述する処理によりリアルタイムの低解像動画を生成する。動画データ圧縮部１７０は、例えばＡＶＣＨＤ（Ｈ．２６４）やＭ−ＪＰＥＧ、ＪＰＥＧ−ＸＲ等により低解像動画を圧縮する。動画データ記録部１８０は、圧縮された低解像動画を記録する。モニター表示部１９０は、リアルタイムの又は再生された低解像動画を表示する。
【００８１】
画像処理部２０は、伸張処理部２０５、加算画像ノイズ低減処理部２２０、推定演算部２３０（高精細画像復元推定部）、高精細静止画生成部２４０、高精細動画生成部２５０、高画質標準動画生成部２６０、動画圧縮データ伸張部２７０、標準動画生成部２８０、画像出力部２９０、画像選択部２９５を含む。
【００８２】
伸張処理部２０５は、圧縮データを伸張して加算画像Ａ１〜Ａ４を再生する。具体的には、伸張処理部２０５は、圧縮データ伸張部２００、加算画像再生部２１０（重み付け加算画像再生部）を含む。
【００８３】
圧縮データ伸張部２００は、圧縮された平均画像Ｍと差分画像Ｄ１〜Ｄ４を伸張する処理を行う。加算画像再生部２１０は、平均画像Ｍと差分画像Ｄ１〜Ｄ４から加算画像Ａ１〜Ａ４を再生する処理を行う。加算画像ノイズ低減処理部２２０は、図１９等で後述する適応的ノイズ低減処理を、加算画像Ａ１〜Ａ４に対して行う。
【００８４】
推定演算部２３０は、加算画像Ａ１〜Ａ４に基づいて高精細フレーム画像ｆｘを推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。この推定演算については、図２７（Ａ）等において後述する。
【００８５】
高精細静止画生成部２４０は、ベイヤー配列の復元画像をデモザイキング処理し、その画像に対して例えば階調補正処理等の画像処理を行い、高精細静止画を生成する。このとき、画像選択部２９５により選択されたタイミングの静止画が生成される。タイミングは、ユーザーの指示により選択される。ユーザーは、モニター表示部１９０の表示動画を見てタイミングを選択してもよいし、画像出力部２９０の出力動画を見てタイミングを選択してもよい。
【００８６】
高精細動画生成部２５０は、ベイヤー配列の復元動画画像をデモザイキング処理し、その動画画像に対して例えば階調補正処理等の画像処理を行い、高精細動画を生成する。高画質標準動画生成部２６０は、高精細動画をダウンサンプリングし、例えばハイビジョン画素数の動画を高画質標準動画として生成する。
【００８７】
標準動画生成部２８０は、加算画像再生部２１０により再生された加算画像Ａ１〜Ａ４を用いて、図９等で後述する処理により低解像動画を生成し、その低解像動画を標準動画として出力する。標準動画は、例えばハイビジョン画素数の動画である。また、動画圧縮データ伸張部２７０が、動画データ記録部１８０からの圧縮低解像動画を伸張し、標準動画生成部２８０が、その伸張された低解像動画を標準動画として出力してもよい。
【００８８】
画像出力部２９０は、高精細静止画、高精細動画、高画質標準動画、標準動画を、例えば表示装置やプリンターに出力する。
【００８９】
７．融合画像データの符号割り当て例
【００９０】
上述の圧縮処理部１４０が融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を圧縮する場合の符号割り当てについて説明する。
【００９１】
図４に第１の符号割り当て例を示す。図４に示すように、融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の座標（ｉ，ｊ）の画素値に２４ビットを割り当てる。具体的には、平均画像Ｍの画素値ａＭｉｊに８ビットを割り当て、差分画像Ｄ１〜Ｄ４の画素値ａＤ１ｉｊ〜ａＤ４ｉｊにそれぞれ４ビットを割り当てる。例えば撮像画像（原画像）の画素数をＮ画素とし、画素値データを１２ビットとすると、圧縮データのデータ量は撮像画像のデータ量の１／２＝（Ｎ／４画素×２４ビット）／（Ｎ画素×１２ビット）となる。そして、この符号割り当て後のデータに対して可逆又は非可逆の圧縮を行う。
【００９２】
図５に第２の符号割り当て例を示す。図５に示すように、平均画像Ｍの各画素値に８ビットを割り当て、そのデータを非可逆圧縮する。また、差分画像Ｄ１〜Ｄ４の各画素値に４ビットを割り当て、そのデータを可逆圧縮する。図５では、差分画像Ｄ１の符号割り当てを示すが、他の差分画像Ｄ２〜Ｄ４の符号割り当てについても同様である。また図５において、ｄｉｊ＝ａＤ１ｉｊである。
【００９３】
この例では、再びデータ伸張したときに平均画像が多少劣化することが考えられるが、上式（３）に示すように、差分画素値｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝は、共通の平均値ａＭｉｊをもつ。後述する復元推定処理では、隣接画素値の差分値（例えばａ（２）（ｉ＋１）ｊ−ａ（１）ｉｊ＝ａＤ２ｉｊ−ａＤ１ｉｊ）を用いて推定を行う。このとき、平均値ａＭｉｊがキャンセルされるため、平均画像が劣化していても隣接画素値の差分値は完全に復元できる。このように、隣接加算値の差分値により元の画素値関係を特定し推定する方法は、本方式の圧縮の仕方に非常に好都合な復元推定処理であると言える。
【００９４】
８．撮像装置の第２の構成例
図６に、上式（６）で説明した平均値ｍＡＶＲを用いて可逆圧縮を行う場合の構成例として、撮像装置の第２の構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【００９５】
撮像部１０は、レンズ１１０、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、平均画像生成部１４２、平均値算出部１４５、減算部１４６、可逆圧縮符号化部１４７、圧縮データ記録部１５０、低解像動画生成部１６０、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。画像処理部２０の構成要素は、図３の画像処理部２０と同様である。
【００９６】
平均値算出部１４５は、上式（６）で説明した平均値ｍＡＶＲを、平均画像Ｍに基づいて算出する。減算部１４６は、平均画像Ｍの画素値ａＭｉｊから平均値ｍＡＶＲを減算し、減算後の画素値ｍｄｉｊを出力する。可逆圧縮符号化部１４７は、差分画像Ｄ１〜Ｄ４のデータと、画素値ｍｄｉｊのデータを可逆圧縮する。圧縮データ記録部１５０は、圧縮されたデータと平均値ｍＡＶＲを記録する。
【００９７】
圧縮データ伸張部２００は、差分画像Ｄ１〜Ｄ４と画素値ｍｄｉｊと平均値ｍＡＶＲを、圧縮されたデータから伸張する。加算画像再生部２１０は、画素値ｍｄｉｊと平均値ｍＡＶＲから平均画像Ｍを再生し、その平均画像Ｍと差分画像Ｄ１〜Ｄ４から加算画像Ａ１〜Ａ４を再生する。
【００９８】
図７に、上記第２の構成例における融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の符号割り当て例を示す。図７に示すように、画素値ｍｄｉｊの先頭に平均値ｍＡＶＲが配列され、画素値ｍｄｉｊと平均値ｍＡＶＲにはそれぞれ８ビットが割り当てられる。また、差分画像Ｄ１〜Ｄ４の画素値ｄｉｊにそれぞれ４ビットが割り当てられる。これらのデータは可逆圧縮される。
【００９９】
上記第２の構成例によれば、平均画像Ｍの画素値ｍｄｉｊの発生分布確率に偏りがない場合でも、４画素異色加算画像に変換することにより偏りを作り出すことができるのでエントロピーを低減でき、可逆圧縮における圧縮効果が期待できる。また、平均値ｍＡＶＲと画素値ｍｄｉｊの差分をデータとして採用することにより、発生確率分布の位置（平均値）に大きく依存することなく安定したデータ値を得ることができ、圧縮効果が期待できる。また、全て可逆圧縮なので復元推定前のデータ劣化は存在しない。
【０１００】
９．撮像装置の変形構成例
上記の実施形態では融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を圧縮する場合を例に説明したが、本実施形態はこれに限定されず、加算画像Ａ１〜Ａ４を圧縮してもよい。図８に、加算画像Ａ１〜Ａ４を圧縮する場合の撮像装置の変形構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。
【０１０１】
撮像部１０は、レンズ１１０、撮像素子１２０、加算画像生成部１３０、データ圧縮部１４８、データ記録部１５５、低解像動画生成部１６０、動画データ圧縮部１７０、モニター表示部１９０を含む。画像処理部２０の構成要素は、図３の画像処理部２０と同様である。
【０１０２】
データ圧縮部１４８は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により加算画像Ａ１〜Ａ４を圧縮する。データ記録部１５５は、データ圧縮部１４８により圧縮された加算画像Ａ１〜Ａ４と、動画データ圧縮部１７０により圧縮された低解像動画を記録する。
【０１０３】
この変形構成例によれば、重畳シフト重み付け加算による加算画像Ａ１〜Ａ４を圧縮することで、通常のデモザイキング処理やＹＣｂＣｒ変換を行わずにダイレクトにベイヤー画像を圧縮可能である。
【０１０４】
以上の実施形態によれば、図３に示すように、撮像装置は、画像取得部（例えば撮像素子１２０）と加算画像生成部１３０と圧縮処理部１４０と伸張処理部２０５と推定演算部２３０と画像出力部２９０を含む。
【０１０５】
図１に示すように、画像取得部は撮像画像ｆｘ（高精細フレーム画像）を取得する。加算画像生成部１３０は、加算画素値（例えばａ（１）ｉｊ）を取得する単位である加算単位を撮像画像の複数の画素毎（例えば４画素毎）に設定し、その加算単位に含まれる画素値を重み付け加算（上式（１））して加算画素値を求め、求めた加算画素値による加算画像Ａ１〜Ａ４を取得する。圧縮処理部１４０は、その加算画像Ａ１〜Ａ４を圧縮する。伸張処理部２０５は、圧縮された加算画像Ａ１〜Ａ４を伸張する。推定演算部２３０は、伸張された加算画像Ａ１〜Ａ４に基づいて撮像画像ｆｘの画素値ｖｉｊを推定する。画像出力部２９０は、推定された画素値ｖｉｊに基づく高解像画像を出力する。
【０１０６】
この場合に、加算画像生成部１３０は、加算単位を順次画素シフトさせて第１〜第４（広義には第１〜第ｎ）の加算画像Ａ１〜Ａ４を取得する。圧縮処理部１４０は、第１〜第４の加算画像Ａ１〜Ａ４の平均を平均画像Ｍとして求め（上式（２））、その平均画像Ｍと、第ｍの加算画像Ａｍ（ｍはｎ以下の自然数）の差分を第ｍの差分画像Ｄｍとして求め（上式（３））、求めた平均画像Ｍと差分画像Ｄｍを圧縮する。伸張処理部２０５は、圧縮された平均画像Ｍと差分画像Ｄｍを伸張して加算画像Ａ１〜Ａ４を求める。
【０１０７】
このようにすれば、撮像画像ｆｘを効率よく圧縮することが可能になる。即ち、撮像画像ｆｘと４枚の加算画像Ａ１〜Ａ４は画素数としては同一になるが、上述のように差分画像Ｄｍの画素値のエントロピーを撮像画像ｆｘよりも小さくできるため、圧縮率を向上できる。これにより、高圧縮率の画像データから撮像画像ｆｘを復元して任意タイミングの高精細静止画を取り出すことが可能になる。また、加算画像Ａ１〜Ａ４を１枚の撮像画像ｆｘから生成するため、動体でもブレが少ない時間分解能が高い復元画像を得られる。
【０１０８】
また、センサー直後に高速に低解像化できることによるデータの縮小が可能であるため、後段でのデータ処理の負荷の低減が図られ、高速データ処理を伴わずに高精細画像の高速撮影処理システムが構築できる。また既存システムへの適用を容易とする技術の提供が可能となる。
【０１０９】
また本実施形態によれば、簡素な処理で圧縮データから撮像画像ｆｘを再生可能である。即ち、加算画像Ａ１〜Ａ４は、重畳シフト加算により得られた画像データであり、後述する復元推定処理を適用可能である。この復元推定処理は、低解像画像から高解像画像を推定する処理を、上述の特許文献１、２に比べて簡素化することができる。
【０１１０】
また本実施形態では、図１に示すように、加算画像生成部１３０は、加算単位を、水平又は垂直（ｉ軸方向又はｊ軸方向）に１画素ずつ順次シフトさせて第１〜第４のポジション（例えば座標（０，０）、（１，０）、（１，１）、（０，１））に設定し、その第１〜第４のポジションにおいてそれぞれ加算画像Ａ１〜Ａ４を取得する。第ｍのポジションと第ｍ＋１のポジション（例えば（０，０）、（１，０））の加算単位は、共通の画素（ｖ１０、ｖ１１）を含む。
【０１１１】
また本実施形態では、図３に示すように、圧縮処理部１４０は平均画像生成部１４２と差分画像生成部１４１を有する。上式（２）に示すように、平均画像生成部１４２は、第１〜第４のポジションの加算画素値の平均値ａＭｉｊを、平均画像の画素値として求める。差分画像生成部１４１は、平均画像の画素値ａＭｉｊと、第ｍのポジションの加算画素値（例えばａ（１）ｉｊ）の差分値（ａＤ１ｉｊ）を、第ｍの差分画像の画素値として求める。
【０１１２】
これらのようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求める重畳シフト加算を行うことができる。また、加算画像Ａ１〜Ａ４の加算画素値を平均することで、平均画像Ｍの画素値を求めることができる。また、平均画像の画素値と、加算画像Ａ１〜Ａ４の加算画素値の差分値により、差分画像Ｄ１〜Ｄ４の画素値を求めることができる。
【０１１３】
また本実施形態では、図３等で説明したように、圧縮処理部１４０は、第ｍの差分画像Ｄｍをエントロピー符号化により可逆圧縮する。
【０１１４】
このようにすれば、上述のようにエントロピーが小さくなった差分画像Ｄｍを高圧縮率で圧縮することができるため、画像データの圧縮率を向上できる。これにより、圧縮データを記録するストレージの容量を削減したり、データ通信における通信負荷を軽減できる。
【０１１５】
また本実施形態では、撮像画像ｆｘはＲＧＢベイヤー配列の画像である。この場合に、推定演算部２３０は、撮像画像ｆｘのＲＧＢベイヤー配列の画素値ｖｉｊを推定により求める。画像出力部２９０は、推定されたＲＧＢベイヤー配列の画素値ｖｉｊをデモザイキング処理した画像に基づいて高解像動画を出力する。
【０１１６】
例えば本実施形態では、図３で説明したように、高精細動画生成部２５０がデモザイキング処理を行い、その画像に対して階調変換等の画像処理を行って高解像動画を生成し、画像出力部２９０がその高解像動画を表示装置等に出力する。例えば高解像動画は、撮像画像の画素数と同じ画素数の動画である。
【０１１７】
このようにすれば、高圧縮率で圧縮された画像データから、撮像画像ｆｘに相当する解像度の高解像動画を復元することができる。これにより、動画データの高圧縮率と高画質を両立することが可能になる。
【０１１８】
１０．低解像動画の生成手法
図３で上述のように、低解像動画生成部１６０や標準動画生成部２８０は、加算画像Ａ１〜Ａ４から簡易的に低解像動画を生成する。この低解像動画の生成手法について詳細に説明する。
【０１１９】
この手法では、加算画像Ａ１〜Ａ４のうち３つの加算画像Ａ１〜Ａ３を用いて、低解像動画データを生成する。まず、図９に示すように、加算画像Ａ１の４加算画素値｛ａ（１）２２｝を用いて、加算画像Ａ１において未検出の４画素加算値｛ａ（１）１２｝を｛Ｇ１２＋Ｇ２３｝の関係式として算出する。
【０１２０】
具体的には、加算画像Ａ１において、配色と重み付けの関係が未検出値ａ（１）１２と一致する周辺の４画素加算値を用いて、未検出値ａ（１）１２の推定値の近似計算を行う。この推定値ａ（１）１２は、Ｒ色画素の重み付けが基準の‘１’に設定されているものとして４画素加算値を求めている。
【０１２１】
未検出値｛ａ（１）１２｝を構成する画素値を、色と対応させて｛Ｒ２２，Ｇ１２，Ｇ２３，Ｂ１３｝と表すと、未検出値｛ａ（１）１２｝は下式（１０）で表される。
ａ（１）１２＝１・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋（１／ｒ２）・Ｂ１３ （１０）
【０１２２】
未検出値｛ａ（１）１２｝の右に隣接する４画素加算値｛ａ（１）２２｝も同様に、下式（１１）で表される。
ａ（１）２２＝１・Ｒ２２＋（１／ｒ）・Ｇ３２＋
（１／ｒ）・Ｇ２３＋（１／ｒ２）・Ｂ３３ （１１）
【０１２３】
未検出値｛ａ（１）１２｝では、｛Ｒ２２｝成分と｛Ｇ２３｝成分の重み付けが強く支配的であることから、近似的にａ（１）１２≒ａ（１）２２と考え、下式（１２）と仮定する。
ａ（１）１２＝１・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋（１／ｒ２）・Ｂ１３
＝ａ（１）２２ （１２）
【０１２４】
なお、ａ（１）１２の左右に隣接するａ（１）０２とａ（１）２２の補間値（平均等）として、ａ（１）１２を求めてもよいし、左右に限らず配色と重み付けが同等な周囲画素加算値から補間によりａ（１）１２を求めても構わない。
【０１２５】
次に、図１０に示すように、加算画像Ａ３の４加算画素値｛ａ（３）１３｝を用いて、加算画像Ａ３において未検出の４画素加算値｛ａ（３）１２｝を｛Ｇ１２＋Ｇ２３｝の関係式として算出する。
【０１２６】
具体的には、加算画像Ａ３において、配色と重み付けの関係が未検出値ａ（３）１２と一致する周辺の４画素加算値を用いて、未検出値ａ（３）１２の推定値の近似計算を行う。この推定値ａ（３）１２は、Ｂ色画素の重み付けが基準の‘１’に設定されているものとして４画素加算値を求めている。
【０１２７】
未検出値｛ａ（３）１２｝を構成する画素値を｛Ｒ２２，Ｇ１２，Ｇ２３，Ｂ１３｝と表すと、未検出値｛ａ（３）１２｝は下式（１３）で表される。
ａ（３）１２＝（１／ｒ２）・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋１・Ｂ１３ （１３）
【０１２８】
未検出値｛ａ（３）１２｝の下に隣接する４画素加算値｛ａ（３）１３｝も同様に、下式（１４）で表される。
ａ（３）１３＝（１／ｒ２）・Ｒ２４＋（１／ｒ）・Ｇ１４＋
（１／ｒ）・Ｇ２３＋１・Ｂ１３ （１４）
【０１２９】
未検出値｛ａ（３）１２｝に対し、｛Ｂ１３｝成分と｛Ｇ２３｝成分が重み付けが強く支配的であることから、近似的にａ（３）１２≒ａ（３）１３と考え、下式（１５）と仮定する。
ａ（３）１２＝（１／ｒ２）・Ｒ２２＋（１／ｒ）・Ｇ１２＋
（１／ｒ）・Ｇ２３＋１・Ｂ１３
＝ａ（３）１３ （１５）
【０１３０】
なお、ａ（３）１２の上下に隣接するａ（３）１１とａ（３）１３の補間値（平均等）として、ａ（３）１２を求めてもよいし、上下に限らず配色と重み付けが同等な周囲画素加算値から補間によりａ（３）１２を求めても構わない。
【０１３１】
さて、ａ（１）１２とａ（３）１２におけるＧ１２とＧ２３は同一画素であり近接画素であるので、下式（１６）に示すように、その平均値Ｇ１２／２３と等しいと近似して扱う。
Ｇ１２≒Ｇ２３≒Ｇ１２／２３＝（Ｇ１２＋Ｇ２３）／２ （１６）
【０１３２】
上式（１６）を上式（１２）、（１５）に適用すると、下式（１７）が得られる。
ａ（１）１２＝Ｒ２２＋（１／ｒ）・２Ｇ１２／２３＋（１／ｒ２）・Ｂ１３，
ａ（３）１２＝（１／ｒ２）・Ｒ２２＋（１／ｒ）・２Ｇ１２／Ｇ２３＋Ｂ１３ （１７）
【０１３３】
上式（１７）を解いて、下式（１８）に示すように、Ｒ２２，Ｂ１３とＧ１２／２３の関係式を求める。このようにして、未検出値ａ（１）１２又はａ（３）１２を構成するＲ２２，Ｂ１３がＧ１２／２３により求められることが分かる。
【数２】
【０１３４】
次に、図１１に示すように、加算画像Ａ２において検出されている４画素加算値｛ａ（２）１２｝を用いて、上記のＲ２２，Ｂ１３，Ｇ１２／２３を求める。
【０１３５】
具体的には、４画素加算値｛ａ（２）１２｝は、上式（１６）を用いて下式（１９）で表される。
ａ（２）１２＝（１／ｒ）・Ｒ２２＋１・Ｇ１２＋
（１／ｒ２）・Ｇ２３＋（１／ｒ）・Ｂ１３
≒（１／ｒ）・Ｒ２２＋［１＋（１／ｒ２）］・Ｇ１２／２３＋
（１／ｒ）・Ｂ１３ （１９）
【０１３６】
上式（１８）のＲ２２，Ｂ１３を上式（１９）に代入すると、下式（２０）に示すようにＧ１２／２３が導出される。下式（２０）により導出されたＧ１２／２３を上式（１８）に代入すれば、Ｒ２２，Ｂ１３が得られる。このようにして求めたＲ２２、Ｇ１２／２３、Ｂ１３を同一座標の画素値として、低解像動画のフレーム画像を構成する。
【数３】
【０１３７】
上記と同様にして４画素加算値｛ａ（２）ｉｊ｝を構成する各々の｛Ｒ，Ｇ，Ｂ｝の値を求めれば、図１１に示すように、元の高精細画像ｆｘを１／４の画素数に低解像度化したＲＧＢ３原色画像を得ることができる。
【０１３８】
以上に説明した手法によれば、簡単な演算処理により低解像３板化カラー画像を得ることができるので、リアルタイム処理を必要とする動画像生成処理として有効である。また、この手法では、従来の同色４画素加算方式に比べ、ベイヤー化したときのＧ色の重心位置のズレが発生せず、より高い画質を得ることができる。
【０１３９】
上記の実施形態によれば、図３に示すように、撮像装置は、低解像動画を生成する低解像動画生成部１６０を含む。図１に示すように、撮像画像ｆｘはＲＧＢベイヤー配列の画像であり、加算単位は、隣接する４画素（例えばＲ、Ｇｒ、Ｇｂ、Ｂの４画素）である。この場合に、加算画像生成部１３０は、第１〜第４のポジションにおいて、重み付け加算によりＲＧＢが混色された第１〜第４の加算画像Ａ１〜Ａ４を取得する。図９〜図１１で説明したように、低解像動画生成部１６０は、第１〜第３Ａ１〜Ａ３の加算画像に基づいて、低解像動画のＲＧＢの画素値（例えば図１１のＲ２２、Ｇ１２／２３、Ｂ１３）を推定により求める。
【０１４０】
このようにすれば、簡素な演算処理により低解像３板化カラー画像を得ることができるため、例えばライブビュー等のリアルタイム処理を必要とする動画像生成処理として有効である。また、同一位置（例えばａ１２）におけるＲＧＢ画素値を推定するため、従来の同色４画素加算方式に比べて、ベイヤー化したときのＧ色の重心位置のズレが発生せず、より高い画質を得ることができる。
【０１４１】
１１．撮像装置の第３の構成例
上記の実施形態では、融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を圧縮したが、本実施形態では、差分画像Ｄ１〜Ｄ４をエントロピー符号化した後にデータ再構成を行い、再構成されたデータを圧縮してもよい。
【０１４２】
図１２に、データ再構成を行う場合の構成例として、撮像装置の第３の構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【０１４３】
撮像部１０は、レンズ１１０、撮像素子１２０、低解像画像生成部１２５（動画用低解像ベイヤー画像生成部）、第１の加算画像生成部１３０、第２の加算画像生成部１３５、差分画像生成部１４１、平均画像生成部１４２、エントロピー符号化部１４３、圧縮データ記録部１５０、低解像動画生成部１６０、画素データ再構成部１６５、第３の加算画像生成部１７５、データ圧縮部１８５（融合データ圧縮部）、モニター表示部１９０を含む。
【０１４４】
画像処理部２０は、圧縮データ伸張部２００、加算画像再生部２１０、低解像画像推定演算部２１５（動画用低解像ベイヤー画像生成部）、推定演算部２３０、高精細静止画生成部２４０、高精細動画生成部２５０、高画質標準動画生成部２６０、標準動画生成部２８０、画像出力部２９０、画像選択部２９５を含む。
【０１４５】
低解像画像生成部１２５は、例えば一般的な近接同色４画素加算等により、１／４の画素数のベイヤー配列の低解像画像を改めて生成する。第２の加算画像生成部１３５は、低解像画像に対して、図１で説明した加算処理を行って加算画像Ｂ１〜Ｂ４を生成する。
【０１４６】
平均画像生成部１４２は、加算画像Ａ１〜Ａ４の平均画像と、加算画像Ｂ１〜Ｂ４の平均画像を生成する。差分画像生成部１４１は、加算画像Ａ１〜Ａ４とその平均画像の差分画像、及び加算画像Ｂ１〜Ｂ４とその平均画像の差分画像を生成する。エントロピー符号化部１４３は、差分画像生成部１４１からの差分画像に対してエントロピー符号化を行う。
【０１４７】
画素データ再構成部１６５は、平均画像の画素データと、エントロピー符号化された差分画像の画素データを、図１６で後述する手法により再構成し、再構成データｕｉｊを出力する。第３の加算画像生成部１７５は、再構成された画素データに対して、図１７で後述する加算処理を行って加算値ξｉｊを生成する。データ圧縮部１８５は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により加算値ξｉｊを圧縮する。
【０１４８】
圧縮データ伸張部２００は、圧縮データから加算値ξｉｊを伸張する。加算画像再生部２１０は、伸張された加算値ξｉｊから再構成データｕｉｊを再生し、その再構成データｕｉｊから加算画像Ａ１〜Ａ４、Ｂ１〜Ｂ４を再生する。低解像画像推定演算部２１５は、図２７（Ａ）〜図３０で後述する推定処理を加算画像Ｂ１〜Ｂ４に対して行い、ベイヤー配列の低解像画像を復元する。標準動画生成部２８０は、ベイヤー配列の低解像画像をデモザイキングし、低解像動画（標準動画）を生成する。
【０１４９】
１２．第３の構成例の動作、処理
次に、上記撮像装置の第３の構成例が行う動作や処理について説明する。
【０１５０】
図１３に、高解像静止画と低解像静止画を同時に取得する撮像処理例を概念的に示す。なお以下では、撮像素子からの撮像フレームは高解像（例えば、１２メガピクセル）であり、フレームレートは高速（例えば、６０ｆｐｓ）であるとする。
【０１５１】
偶数フレームｆ０、ｆ２、・・・は、図１で説明した加算処理により、１２メガピクセルのベイヤー画像から４枚の３メガピクセルの加算画像に変換される。奇数フレームｆ１、ｆ３、・・・は、例えば一般的な近接同色４画素加算等により、３メガピクセルのベイヤー配列画像に変換される。その変換された画像は、図１で説明した加算処理により、４枚の０．７５メガピクセルの加算画像に変換される。
【０１５２】
これらの変換画像から平均画像と差分画像が生成され、差分画像はエントロピー符号化によりデータを圧縮される。圧縮された差分画像は、平均画像と合わせて画素ビットの再構成が行われる。再構成された画素データに対して画素加算が施され、その加算後のデータに対して通常の画像データ圧縮処理が行われる。
【０１５３】
ここで、再構成された画素データに対して画素加算を行うのは以下の理由による。即ち、図１２で上述のように、加算画像Ａ１〜Ａ４、Ｂ１〜Ｂ４から平均画像と差分画像が生成され、その差分画像がエントロピー符号化される。この平均画像のデータと、符号化された差分画像のデータは、もはや画像の性質を有した画素値集合ではなくなっており、ランダム性の高い単なるビットの配列でしかない。そのため、特定の符号に偏りをもつデータとしては認識できないものである。即ち、エントロピーが高い状態であると考えた方が無難である。また、この差分画像のデータと平均画像のデータを画素データ再構成部１６５により一つに統合したデータ群も、同様なことが言える。
【０１５４】
従って、一旦エントロピーが高くなったデータ群を再びエントロピーが低いデータに書き換える必要があり、そのために第３の加算画像生成部１７５における加算効果を使ってエントロピーを低減している。このようにして再構成データのエントロピーを低減することで、後段のデータ圧縮の効果を高めている。
【０１５５】
図１４に、上記撮像処理のシーケンス例を示す。図１４に示すように、まず期間Ｔ０において偶数フレームｆ０の高解像画像の露光と読み出しを行い、期間Ｔ１＋Ｔ２においてプリエンコード処理（ＰＥ０）と通常画像データ圧縮処理（圧縮０）を行う。このプリエンコード処理と通常画像データ圧縮処理に並行して、期間Ｔ１において奇数フレームｆ１の高解像画像の露光と読み出しを行い、期間Ｔ２＋Ｔ３／２において低解像化処理とプリエンコード処理（ＰＥ１）と通常画像データ圧縮処理（圧縮１）を行う。この処理シーケンスでは、連続する偶数フレームｆ０と奇数フレームｆ１の通常画像データ圧縮処理（圧縮０、圧縮１）は、シリアルに期間２Ｔ以内で処理される。
【０１５６】
次に、画素値データの再構成について説明する。図１５にデータ圧縮前のデータ再構成例を示す。この例は、データ圧縮前のデータが画素当り１２ビットで形成される場合でありながらデータ圧縮処理が画素当り８ビットでしか処理できない場合のデータ再構成例である。
【０１５７】
図１５に示すように、平均画像の画素値ビット列をｍ１０〜ｍ１６、ｍ２０〜ｍ２６で表し、エントロピー符号化後の差分画像の画素値ビット列をｄ１０〜ｄ１４、ｄ２０〜ｄ２４で表す。この１２ビットの配列データを８ビットの配列データに再構成するとき、ビット列ｄ１０〜ｄ１４、ｄ２０〜ｄ２４を再構成データの上位ビットに配列し、ビット列ｍ１０〜ｍ１６、ｍ２０〜ｍ２６の中の上位ビットをなるべく再構成データの上位ビットに配列する。これは、エントロピー符号化後の画素値と平均画像の画素値が、データ圧縮復号による劣化をなるべく受けないようにするためである。
【０１５８】
図１６に、データ再構成において設定するデータ単位の例を示す。図１６に示すように、平均画像の画素値データ｛ａＭｉｊ｝（固定ビット幅）に対して、エントロピー符号化後の差分画像の差分値データ｛ｄｋ｝を上乗せ合成してデータを再構成する。即ち、エントロピー符号化後の差分値データと平均画像の画素値データのペア｛ａＭｉｊ｝＋｛ｄｋ｝を、改めて仮想的画素値と見なしてデータ単位｛ｕｉｊ｝として再構成する。
【０１５９】
このデータ単位｛ｕｉｊ｝では、下位ビット側に平均画像画素値｛ａＭｉｊ｝が配列され、上位ビット側に差分値データ｛ｄｋ｝が配列される。このようにすると、この再構成データをＪＰＥＧ等の非可逆圧縮伸張したときに、データ単位｛ｕｉｊ｝の復号誤差が固定ビット幅の平均画像画素値に影響を及ぼすようにできる。即ち、差分値データに対して復号誤差の影響を極力与えないようにできる。このようにするのは、差分値データがエントロピー符号化データなので、復号誤差があると大きな誤りをもった値として再生されてしまうため、それを避けるためである。
【０１６０】
なお、再構成データ単位｛ｕｉｊ｝は符号ビット長Ｎとして固定長で扱われるので、エントロピー符号化後のデータ｛ｄｋ｝は、符号ビット長Ｎから平均画像の画素値｛ａＭｉｊ｝の符号ビット長ｎＭ０を差し引いた符号ビット長［Ｎ−ｎＭ０］を満たすように、適切に連結構成すればよい。よって、データ｛ｄｋ｝は、複数の再構成単位｛ｕｉｊ｝に跨って分割構成される場合もあり得る。
【０１６１】
図１７に、上記再構成データ単位｛ｕｉｊ｝の重畳シフト加算値の例を示す。仮想的画素である｛ｕｉｊ｝は、平均画像ビット加算で且つ任意にビット分離された結果の値なので、発生分布の偏りや近傍画素間の高い相関性は期待できない。そこで、図１７に示すように、再構成データ｛ｕｉｊ｝に対して再び重畳シフト重み付け加算処理を行い、加算値｛ξｉｊ｝を生成する。加算値｛ξｉｊ｝は下式（２１）により求められる。
【０１６２】
ξｉｊ＝［ｕｉｊ＋（１／ｒ）ｕ（ｉ＋１）ｊ＋
（１／ｒ）ｕｉ（ｊ＋１）＋（１／ｒ２）ｕ（ｉ＋１）（ｊ＋１）］／４
（２１）
【０１６３】
このようにして、加算値｛ξｉｊ｝の発生分布の偏りを強くし、また近傍画素間の相関性を高める（エントロピーを低減する）ことができる。これにより、後段の画像データ圧縮における圧縮効果を高めることができる。
【０１６４】
１３．同色加算
上記の実施形態では、ベイヤー配列の異色の隣接４画素を加算する場合を説明したが、本実施形態では、ベイヤー配列の同色の４画素を加算してもよい。図１８に、同色の４画素を加算する場合の撮像部の構成例を示す。
【０１６５】
図１８に示す撮像部は、レンズ１１０、撮像素子１２０、加算画像生成部３０１〜３０４、差分画像生成部３１１〜３１４、平均画像生成部３２１〜３２４、エントロピー符号化部３３１〜３３４、ベイヤー画像生成部３４０、動画データ圧縮部３５０、圧縮データ記録部１５０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【０１６６】
加算画像生成部３０１〜３０４は、ベイヤー配列の撮像画像の中のそれぞれＲ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素の画素シフト加算を行う。Ｒ加算画像ＡＲ１〜ＡＲ４の加算画素値｛ａＲ１００，ａＲ２２０，ａＲ３２２，ａＲ４０２｝を例にとると、下式（２２）で表される。
ａＲ１００＝Ｒ００＋Ｒ２０＋Ｒ２２＋Ｒ０２，
ａＲ２２０＝Ｒ２０＋Ｒ４０＋Ｒ４２＋Ｒ２２，
ａＲ３２２＝Ｒ２２＋Ｒ４２＋Ｒ４４＋Ｒ２４，
ａＲ４０２＝Ｒ０２＋Ｒ２２＋Ｒ２４＋Ｒ０４ （２２）
【０１６７】
平均画像生成部３２１〜３２４は、それぞれ各色の加算画像に基づいて平均画像を生成する。差分画像生成部３１１〜３１４は、それぞれ各色の平均画像と加算画像の差分画像を生成する。エントロピー符号化部３３１〜３３４は、各色の差分画像のエントロピー符号化を行う。
【０１６８】
ベイヤー画像生成部３４０は、４色の平均画像の画素値をベイヤー配列に配列して、１枚のベイヤー配列画像を生成する。動画データ圧縮部３５０は、そのベイヤー配列画像による動画データを、例えばＡＶＣＨＤ（Ｈ．２４６）やＭ−ＪＰＥＧ、ＪＰＥＧ−ＸＲ等により非可逆圧縮する。
【０１６９】
１４．適応的ノイズ低減処理
図３で上述の加算画像ノイズ低減処理部２２０が行う適応的ノイズ低減処理について詳細に説明する。
【０１７０】
本実施形態では、４画素加算値に対してアダプティブ・ノイズ・リダクション（以下、ＡＮＲと略す）を適用する。ＡＮＲとは、空間軸に沿って適応的に対象範囲を異ならせながら画素値平均を行う適応的移動平均フィルターリングのことを言う。ＡＮＲでは、対象範囲内のサンプリング値の変化の幅が小さい場合、移動平均の範囲を広くとり、対象範囲内のサンプリング値の変化の幅が大きい場合、移動平均の範囲を狭くする。これを実現するためには、処理位置（着目位置）の画素値を中心とした所定の画素値幅に含まれるサンプリング値の平均を計算し、改めて処理位置の画素値とする。
【０１７１】
サンプリング値の変化の幅が小さい範囲では、その変化が高周波成分の場合であっても、振幅としては小さいので丸めても影響が少ないと考えられる。また低周波成分の場合は、移動平均を取っても情報は維持される。この場合は、移動平均の範囲を広くとるため、より多くのサンプリング値の平均を取ることになり、加算効果によるノイズ低減効果が大きい。
【０１７２】
一方、サンプリング値の変化の幅が大きい範囲では、その変化が高周波成分の場合でも低周波成分の場合でも、移動平均の範囲を狭くするため情報はほぼ維持される。この場合は、少ないサンプリング値の平均を取ることになるので、加算効果によるノイズ低減効果は小さい。
【０１７３】
よって、この方法を適用するケースとして効果が大きいのは、サンプリング値の振幅の変化幅が小さくなる状態のときである。図１９に示すように、平均画像の画素値ａＭｉｊと加算画像の画素値（例えばａ（１）ｉｊ）は、画素値の相関性が高い。これらの差分値ａＤ１ｉｊはベクトル（１，−１）への射影であるため、差分値ａＤ１ｉｊの生起確率は狭い範囲に分布し、元の撮像画像よりも差分画像のサンプリング値の振幅変化を小さくできる。そのため、この差分画像にＡＮＲを適用すれば、効果的に差分画像のノイズ低減が可能になると考えられる。
【０１７４】
次に、ＡＮＲの適用手法や演算手法について説明する。図２０（Ａ）に示すように、処理する４画素加算値（サンプリング値）をａｋとすると、ａｋを中心として幅±Δ／２の範囲に入る近傍の４画素加算値を特定する。例えば、図２０（Ａ）の場合、幅±Δ／２の範囲に入る４画素加算値は存在しない。この場合、下式（２３）に示すように、ｄ１＝ｄ２＝０として移動平均値ａｋ’を求める。
【数４】
【０１７５】
また、図２０（Ｂ）の場合、幅±Δ／２の範囲に入る４画素加算値はａｋ−２、ａｋ−１、ａｋ＋１である。この場合、上式（２３）においてｄ１＝２，ｄ２＝１とする。なお、ｄ１は、処理する４画素加算値ａｋの左方向（ｋ軸の負方向）の移動平均を取る４画素加算値の範囲を表わす。ｄ２は、処理する４画素加算値ａｋの右方向（ｋ軸の正方向）の移動平均を取る４画素加算値の範囲を表わしている。ｄ１、ｄ２は、下式（２４）に示す条件を満足しているものとする。
ａｋ−Δ／２≦ａｋ−ｄ１、かつａｋ＋ｄ２≦ａｋ＋Δ／２
を満たすｄ１、ｄ２のうち、ｄ１＋ｄ２が最大となるもの，
ｄ１、ｄ２は０以上の整数，
０＜Δ （２４）
【０１７６】
次に、図３で上述の差分画像Ｄ１〜Ｄ４を例にとり、上記ＡＮＲの適用例について説明する。図２１に示すように、差分画像Ｄ１〜Ｄ４は、それぞれ２次元配列のデータである。演算を簡単にするために、上記ＡＮＲを水平方向と垂直方向に別々に適用する。
【０１７７】
具体的には、図２１に示すように、４画素加算値ａｉｊに対して水平方向（ｉ軸方向）に順次ＡＮＲを適用すると、水平方向の移動平均値ａｈｉｊが得られる。また図２２に示すように、４画素加算値ａｉｊに対して垂直方向（ｊ軸方向）に順次ＡＮＲを適用すると、水平方向の移動平均値ａｖｉｊが得られる。図２３に示すように、移動平均値ａｈｉｊとａｖｉｊの平均値ａｉｊ’（例えばａｉｊ’＝（ａｈｉｊ＋ａｖｉｊ）／２）を計算し、その平均値ａｉｊ’を最終な移動平均値とする。
【０１７８】
上記の実施形態によれば、図３に示すように、撮像装置は、ノイズ低減処理部（加算画像ノイズ低減処理部２２０）を含む。図２０（Ａ）等で説明したように、ノイズ低減処理部は、画素値の変化幅に応じて適応的に移動平均の範囲ｄ１＋ｄ２を調整する適応的ノイズ低減処理を、第ｍの差分画像Ｄｍに対して行う。
【０１７９】
例えば本実施形態では、処理対象の画素値ａｋから幅±Δ／２の範囲に入る画素値の数に応じて範囲ｄ１＋ｄ２を調整し、その範囲ｄ１＋ｄ２内の画素値の平均値を、画素値ａｋとして再設定する。
【０１８０】
このようにすれば、上述のように画素値の生起分布が狭く、画素値の振幅が小さい差分画像のノイズを効果的に低減できる。即ち、適応的ノイズ低減処理では、画素値の振幅が小さい場合には移動平均の範囲ｄ１＋ｄ２が広くなるため、その範囲よりも高周波数のノイズ成分が効果的に低減される。
【０１８１】
１５．フレーム間差分画像を用いたデータ圧縮手法
上記の実施形態では、平均画像と差分画像を撮像画像から直接に生成したが、本実施形態では、フレーム間で撮像画像の差分を求め、そのフレーム間差分画像から平均画像と差分画像を生成してもよい。
【０１８２】
図２４に、フレーム間差分画像から平均画像と差分画像を生成する場合の構成例として、撮像装置の第４の構成例を示す。この撮像装置は、撮像部１０と、画像処理部２０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【０１８３】
撮像部１０は、レンズ１１０、減算部１１５、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、平均画像生成部１４２、平均値算出部１４５、減算部１４６、可逆圧縮符号化部１４７、圧縮データ記録部１５０、低解像動画生成部１６０、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。画像処理部２０の構成要素は、図３の画像処理部２０と同様である。
【０１８４】
撮像素子１２０が、フレームｆｘ−１、ｆｘ、ｆｘ＋１において撮像画像Ｖｔ−１、Ｖｔ、Ｖｔ＋１を撮像するものとする。減算部１１５は、撮像画像Ｖｔを基準画像とし、その基準画像と他の撮像画像の差分画像Ｖ’ｔ−１＝Ｖｔ−Ｖｔ−１、Ｖ’ｔ＋１＝Ｖｔ−Ｖｔ＋１を求める。加算画像生成部１３０は、基準画像Ｖｔと差分画像Ｖ’ｔ−１、Ｖ’ｔ＋１からそれぞれ加算画像を求める。以降の処理は、図６で上述の処理と同様である。
【０１８５】
推定演算部２３０が元の撮像画像を復元する際には、まず加算画像から基準画像Ｖｔと差分画像Ｖ’ｔ−１、Ｖ’ｔ＋１を復元し、それらの画像から撮像画像Ｖｔ−１＝Ｖｔ−Ｖ’ｔ−１、Ｖｔ＋１＝Ｖｔ−Ｖ’ｔ＋１を求める。
【０１８６】
図２５に、上記撮像装置が行う処理を模式的に示す。図２５に示すように、所定時間間隔（例えば１／６０ｓｅｃ．）で撮影されるフレームｆ０、ｆ１、・・・のＲＡＷ画像データを、それぞれＶ０、Ｖ１、・・・と表わす。基準フレームｆ３ｋ＋１の撮像画像をＶ３ｋ＋１とし、差分フレームｆ３ｋ、ｆ３ｋ＋２を生成するための撮像画像をＶ３ｋ、Ｖ３ｋ＋２とする。ここで、ｋは０以上の整数である。
【０１８７】
基準撮像画像Ｖ３ｋ＋１は高精細ＲＡＷ画像データそのものであり、Ｖ３ｋ＋１に対して重畳シフト重み付け加算を行って４枚の４画素加算画像Ａ（３ｋ＋１）１〜Ａ（３ｋ＋１）４を生成する。また、基準画像の前後フレームの画像Ｖ３ｋ、Ｖ３ｋ＋２と、基準画像Ｖ３ｋ＋１の対応画素値の差分を取り、差分フレーム画像Ｖ’３ｋ、Ｖ’３ｋ＋２を生成する。これらの差分フレーム画像Ｖ’３ｋ、Ｖ’３ｋ＋２に対して、それぞれ重畳シフト重み付け加算を行って、それぞれ４枚の４画素加算画像Ａ（３ｋ）１〜Ａ（３ｋ）４、Ａ（３ｋ＋２）１〜Ａ（３ｋ＋２）４を生成する。
【０１８８】
次に、図１で上述の手法と同様にして、４画素加算画像から平均画像と差分画像を生成し、その平均画像と差分画像に対して圧縮処理（特に可逆圧縮処理）を行い、そのデータを融合画像データとして記録する。
【０１８９】
以上の実施形態によれば、一般的に近接フレームは類似画像なので、フレーム間差分を利用すると、図１で上述の手法に比べて動画データとしての圧縮効果を大きくできる。なお、単純なＲＡＷデータの差分では、類似しない部分のエントロピー低減は期待できないので、可逆圧縮を考えると後段の処理が活きてくる。
【０１９０】
図２６に、上記第４の構成例における撮像部の変形構成例を示す。この撮像部は、レンズ１１０、減算部１１６、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、平均画像生成部１４２、平均値算出部１４５、減算部１４６、可逆圧縮符号化部１４７、圧縮データ記録部１５０、低解像動画生成部１６０、動画データ圧縮部１７０、動画データ記録部１８０、モニター表示部１９０を含む。なお以下では、図３等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【０１９１】
この変形構成例では、撮像画像のフレーム間差分画像ではなく、加算画像のフレーム間差分画像を求める。具体的には、加算画像生成部１３０は、撮像画像Ｖ３ｋ、Ｖ３ｋ＋１、Ｖ３ｋ＋２に対して重畳シフト重み付け加算を行い、加算画像Ａ（３ｋ）１〜Ａ（３ｋ）４、Ａ（３ｋ＋１）１〜Ａ（３ｋ＋１）４、Ａ（３ｋ＋２）１〜Ａ（３ｋ＋２）４を生成する。減算部１１６は、基準フレームの加算画像Ａ（３ｋ＋１）１〜Ａ（３ｋ＋１）４と、その前後フレームの加算画像Ａ（３ｋ）１〜Ａ（３ｋ）４、Ａ（３ｋ＋２）１〜Ａ（３ｋ＋２）４の差分を求め、差分フレームの加算画像として出力する。そして、図１で上述の手法と同様にして、基準フレームの加算画像と差分フレームの加算画像から、平均画像と差分画像を生成し、その平均画像と差分画像に対して可逆圧縮処理を行い、そのデータを融合画像データとして記録する。
【０１９２】
上記の実施形態によれば、図２５に示すように、画像取得部（例えば撮像素子１２０）は、第１フレームｆ３ｋ＋１の撮像画像Ｖ３ｋ＋１を基準撮像画像として取得し、第１フレームｆ３ｋ＋１の前又は後の第２フレーム（例えば前のフレームｆ３ｋ）の撮像画像Ｖ３ｋと基準撮像画像Ｖ３ｋ＋１の差分を差分撮像画像Ｖ’３ｋとして取得する。加算画像生成部１３０は、基準撮像画像Ｖ３ｋ＋１に基づく第１〜第４（広義には第１〜第ｎ）の加算画像Ａ（３ｋ＋１）１〜Ａ（３ｋ＋１）４と、差分撮像画像Ｖ’３ｋに基づく第１〜第ｎの加算画像Ａ（３ｋ）１〜Ａ（３ｋ）４を取得する。
【０１９３】
なお、第２フレームは、第１フレームｆ３ｋ＋１の後のフレームｆ３ｋ＋２であってもよい。この場合、差分撮像画像Ｖ’３ｋ＋２、第１〜第ｎの加算画像Ａ（３ｋ＋２）１〜Ａ（３ｋ＋２）４を取得する。また、第１フレームｆ３ｋ＋１の前後両方のフレームを用いて、それぞれ差分画像、加算画像を求めてもよい。
【０１９４】
このようにすれば、フレーム内での画素加算によりフレーム内の画素間相関が大きくなり、更にその加算画像同士の引き算によりフレーム間差分画像を求めることができる。これにより、類似性がより高い画像同士の引き算とすることができ、差分効果が期待できる。例えば、フレーム間差分画像から生成した平均画像は、通常の加算画像から生成した平均画像よりもエントロピーが低いと考えられる。そのため、平均画像のエントロピー符号化等による圧縮率を向上できると考えられる。
【０１９５】
１６．復元推定処理
次に、図３等で上述の推定演算部２３０が行う推定処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明する（ｉ，ｊは０以上の整数）が、他の加算画素値についても同様である。また、加算単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。
【０１９６】
図２７（Ａ）、図２７（Ｂ）に、推定画素値と中間画素値の説明図を示す。図２７（Ａ）に示す加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝は、図１で説明した加算画像Ａ１〜Ａ４の加算画素値｛ａ（１）００，ａ（２）１０，ａ（３）１１，ａ（４）０１｝に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００〜ｖ２２を推定する。推定画素値ｖｉｊは、図１で説明した撮像画像ｆｘの画素値に対応する。
【０１９７】
図２７（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【０１９８】
まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を推定する場合を例に説明する。次の行の中間画素値ｂ０１〜ｂ２１についても同様の手法により推定される。
【０１９９】
図２８に示すように、中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の加算画素値ａ００、ａ１０に基づいて推定される。説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値ａ００、ａ１０は下式（２５）で表される。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
（２５）
【０２００】
下式（２６）に示すようにｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋（１／ｒ）ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／ｒ）ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／ｒ）ｖ２１＝ｖ２０＋（１／２）ｖ２１ （２６）
【０２０１】
次に、上式（２６）を用いて上式（２５）を変形すると、下式（２７）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （２７）
【０２０２】
上式（２７）において、ａ００、ａ１０に所定の重み係数を掛けて差分δｉ０を取り、上式（２６）を使って変形すると、下式（２８）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｂ２０−２ｂ００ （２８）
【０２０３】
ｂ００を未知数（初期変数）とすると、下式（２９）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。このようにして、ｂ００を未知数として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００） （２９）
【０２０４】
次に、未知数ｂ００を求める手法について説明する。図２９に示すように、加算画素値のパターン｛ａ００，ａ１０｝と中間画素値のパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０２０５】
具体的には、加算画素値｛ａｉｊ｝と中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝には、下式（３０）の関係が成り立つ。この下式（３０）による重み付けを考慮すると、下式（３１）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝とパターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ （３０）
【数５】
【０２０６】
図３０に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（２９）に代入し、ｂ１０，ｂ２０が求められる。
【０２０７】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。即ち、上式（２７）を下式（３２）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （３２）
【０２０８】
以上の実施形態によれば、図２７（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ００）と、第１のポジションの次の第２のポジションに設定された加算単位（例えばａ１０）は重畳する。上式（２８）に示すように、推定演算部２３０は、第１、第２のポジションの加算画素値ａ００、ａ１０の差分値δｉ０を求める。図２７（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（２９）に示すように、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。図２９等に示すように、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
【０２０９】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【０２１０】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図２７（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０２１１】
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、次のポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０２１２】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）とする。上式（２９）に示すように、推定演算部２３０は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図２９に示すように、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０２１３】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０２１４】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０２１５】
また本実施形態では、上式（３１）に示すように、推定演算部２３０は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）と加算画素値（ａ００、ａ１０）との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０２１６】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。
【０２１７】
また本実施形態では、上式（２５）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
【０２１８】
このようにすれば、加算単位の各画素値を重み付け加算して加算画像を取得し、取得した加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０２１９】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、画像処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０２２０】
１０ 撮像部、２０ 画像処理部、１００ 被写体、１１０ レンズ、
１１５，１１６ 減算部、１２０ 撮像素子、１２５ 低解像画像生成部、
１３０，１３５ 加算画像生成部、１４０ 圧縮処理部、
１４１ 差分画像生成部、１４２ 平均画像生成部、
１４３ エントロピー符号化部、１４４ データ圧縮部、１４５ 平均値算出部、
１４６ 減算部、１４７ 可逆圧縮符号化部、１４８ データ圧縮部、
１５０ 圧縮データ記録部、１５１ 差分データ記録部、
１５２ 平均画像データ記録部、１５５ データ記録部、
１６０ 低解像動画生成部、１６５ 画素データ再構成部、
１７０ 動画データ圧縮部、１７５ 加算画像生成部、
１８０ 動画データ記録部、１８５ データ圧縮部、１９０ モニター表示部、
２００ 圧縮データ伸張部、２０５ 伸張処理部、２１０ 加算画像再生部、
２１５ 低解像画像推定演算部、２２０ 加算画像ノイズ低減処理部、
２３０ 推定演算部、２４０ 高精細静止画生成部、２５０ 高精細動画生成部、
２６０ 高画質標準動画生成部、２７０ 動画圧縮データ伸張部、
２８０ 標準動画生成部、２９０ 画像出力部、２９５ 画像選択部、
３０１〜３０４ 加算画像生成部、３１１〜３１４ 差分画像生成部、
３２１〜３２４ 平均画像生成部、３３１〜３３４ エントロピー符号化部、
３４０ ベイヤー画像生成部、３５０ 動画データ圧縮部、
Ａ１〜Ａ４ 加算画像、Ｄ１〜Ｄ４ 差分画像、Ｍ 平均画像、Ｔ０〜Ｔ２ 期間、
Ｖ３ｋ＋１ 基準撮像画像、Ｖ３ｋ，Ｖ３ｋ＋２ 差分撮像画像、
ａ（１）００，ａ（２）１０，ａ（３）１１，ａ（４）０１ 加算画素値、
ａＤ１ｉｊ〜ａＤ４ｉｊ 差分画像の画素値、ａＭｉｊ 平均画像の画素値、
ａｈｉｊ，ａｖｉｊ，ａ’ｉｊ 移動平均値、ｂ００-ｂ２０ 中間画素値、
ｄ１，ｄ２ 範囲、ｆｘ 撮像画像、ｍＡＶＲ 平均値、ｒ 重み付け係数、
ｕｉｊ 再構成データ、ｖ００-ｖ２２ 推定画素値、αＭｉｊ 平均値、
δｉ０ 差分値、ξｉｊ 再構成データの加算値
【特許請求の範囲】
【請求項１】
撮像画像を取得する画像取得部と、
加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、
前記加算画像を圧縮する圧縮処理部と、
圧縮された前記加算画像を伸張する伸張処理部と、
伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、
を含み、
前記加算画像生成部は、
前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、
前記圧縮処理部は、
前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｍはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、
前記伸張処理部は、
圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求めることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記加算画像生成部は、
前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、
前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記圧縮処理部は、
前記第１〜第ｎのポジションの前記加算画素値の平均値を、前記平均画像の画素値として求める平均画像生成部と、
前記平均画像の画素値と、前記第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部と、
を有することを特徴とする撮像装置。
【請求項４】
請求項２又は３において、
低解像動画を生成する低解像動画生成部を含み、
前記撮像画像がＲＧＢベイヤー配列の画像であり、前記加算単位が、隣接する４画素である場合に、
前記加算画像生成部は、
第１〜第４のポジション（ｎ＝４）において、前記重み付け加算によりＲＧＢが混色された第１〜第４の加算画像を取得し、
前記低解像動画生成部は、
前記第１〜第４の加算画像のうちの第１〜第３の加算画像に基づいて、前記低解像動画のＲＧＢの画素値を推定により求めることを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記圧縮処理部は、
前記第ｍの差分画像をエントロピー符号化により可逆圧縮することを特徴とする撮像装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記撮像画像がＲＧＢベイヤー配列の画像である場合に、
前記推定演算部は、
前記撮像画像の前記ＲＧＢベイヤー配列の画素値を推定により求め、
前記画像出力部は、
推定された前記ＲＧＢベイヤー配列の画素値をデモザイキング処理した画像に基づいて高解像動画を出力することを特徴とする撮像装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
画素値の変化幅に応じて適応的に移動平均の範囲を調整する適応的ノイズ低減処理を、前記第ｍの差分画像に対して行うノイズ低減処理部を含むことを特徴とする撮像装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記画像取得部は、
第１フレームの撮像画像を基準撮像画像として取得し、前記第１フレームの前又は後の第２フレームの撮像画像と前記基準撮像画像の差分を差分撮像画像として取得し、
前記加算画像生成部は、
前記基準撮像画像に基づく前記第１〜第ｎの加算画像と、前記差分撮像画像に基づく前記第１〜第ｎの加算画像を取得することを特徴とする撮像装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、
前記推定演算部は、
前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、
前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項１１】
撮像画像を取得し、
加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、
前記加算画像を圧縮し、
圧縮された前記加算画像を伸張し、
伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、
前記推定された画素値に基づく高解像画像を出力する場合に、
前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、
前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｉはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、
圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求めることを特徴とする画像生成方法。
【請求項１】
撮像画像を取得する画像取得部と、
加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、
前記加算画像を圧縮する圧縮処理部と、
圧縮された前記加算画像を伸張する伸張処理部と、
伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、
を含み、
前記加算画像生成部は、
前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、
前記圧縮処理部は、
前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｍはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、
前記伸張処理部は、
圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求めることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記加算画像生成部は、
前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、
前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
【請求項３】
請求項２において、
前記圧縮処理部は、
前記第１〜第ｎのポジションの前記加算画素値の平均値を、前記平均画像の画素値として求める平均画像生成部と、
前記平均画像の画素値と、前記第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部と、
を有することを特徴とする撮像装置。
【請求項４】
請求項２又は３において、
低解像動画を生成する低解像動画生成部を含み、
前記撮像画像がＲＧＢベイヤー配列の画像であり、前記加算単位が、隣接する４画素である場合に、
前記加算画像生成部は、
第１〜第４のポジション（ｎ＝４）において、前記重み付け加算によりＲＧＢが混色された第１〜第４の加算画像を取得し、
前記低解像動画生成部は、
前記第１〜第４の加算画像のうちの第１〜第３の加算画像に基づいて、前記低解像動画のＲＧＢの画素値を推定により求めることを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記圧縮処理部は、
前記第ｍの差分画像をエントロピー符号化により可逆圧縮することを特徴とする撮像装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記撮像画像がＲＧＢベイヤー配列の画像である場合に、
前記推定演算部は、
前記撮像画像の前記ＲＧＢベイヤー配列の画素値を推定により求め、
前記画像出力部は、
推定された前記ＲＧＢベイヤー配列の画素値をデモザイキング処理した画像に基づいて高解像動画を出力することを特徴とする撮像装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
画素値の変化幅に応じて適応的に移動平均の範囲を調整する適応的ノイズ低減処理を、前記第ｍの差分画像に対して行うノイズ低減処理部を含むことを特徴とする撮像装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記画像取得部は、
第１フレームの撮像画像を基準撮像画像として取得し、前記第１フレームの前又は後の第２フレームの撮像画像と前記基準撮像画像の差分を差分撮像画像として取得し、
前記加算画像生成部は、
前記基準撮像画像に基づく前記第１〜第ｎの加算画像と、前記差分撮像画像に基づく前記第１〜第ｎの加算画像を取得することを特徴とする撮像装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、
前記推定演算部は、
前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、
前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項１１】
撮像画像を取得し、
加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、
前記加算画像を圧縮し、
圧縮された前記加算画像を伸張し、
伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、
前記推定された画素値に基づく高解像画像を出力する場合に、
前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、
前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と、前記第１〜第ｎの加算画像のうちの第ｍの加算画像（ｉはｎ以下の自然数）との差分を、第ｍの差分画像として求め、求めた前記平均画像と前記第ｍの差分画像を圧縮し、
圧縮された前記平均画像と前記第ｍの差分画像を伸張して前記第１〜第ｎの加算画像を求めることを特徴とする画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１２−２３１３７７（Ｐ２０１２−２３１３７７Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９９２６５（Ｐ２０１１−９９２６５）
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]