撮像装置及び画像生成方法
【課題】データ量を削減した動画データから、簡素な処理で高解像画像を取得できる撮像装置及び画像生成方法等を提供すること。
【解決手段】撮像装置は、画像取得部、フレーム間加算画像生成部、フレーム間差分画像生成部フレーム間加算画像再生部、フレーム間推定演算部、画像出力部を含む。画像取得部は、撮像画像ｆ１〜ｆ３を取得する。フレーム間加算画像生成部は、ｆ１，ｆ２の画素値を重み付け加算してフレーム間加算画像Ｂ１を生成し、ｆ２，ｆ３の画素値を重み付け加算してフレーム間加算画像Ｂ２を生成する。フレーム間差分画像生成部は、Ｂ１、Ｂ２の差分をフレーム間差分画像ＤＴ２として生成する。フレーム間加算画像再生部は、Ｂ１、ＤＴ２に基づいてＢ２を再生する。フレーム間推定演算部は、Ｂ１、Ｂ２に基づいてｆ１〜ｆ３を推定する。画像出力部は、推定画像に基づく高解像画像を出力する。
【解決手段】撮像装置は、画像取得部、フレーム間加算画像生成部、フレーム間差分画像生成部フレーム間加算画像再生部、フレーム間推定演算部、画像出力部を含む。画像取得部は、撮像画像ｆ１〜ｆ３を取得する。フレーム間加算画像生成部は、ｆ１，ｆ２の画素値を重み付け加算してフレーム間加算画像Ｂ１を生成し、ｆ２，ｆ３の画素値を重み付け加算してフレーム間加算画像Ｂ２を生成する。フレーム間差分画像生成部は、Ｂ１、Ｂ２の差分をフレーム間差分画像ＤＴ２として生成する。フレーム間加算画像再生部は、Ｂ１、ＤＴ２に基づいてＢ２を再生する。フレーム間推定演算部は、Ｂ１、Ｂ２に基づいてｆ１〜ｆ３を推定する。画像出力部は、推定画像に基づく高解像画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザーがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザーがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。
【０００５】
本発明者は、この決定的瞬間の撮影を実現するために、データ量を削減した動画データから任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
【０００６】
本発明の幾つかの態様によれば、データ量を削減した動画データから、簡素な処理で高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、第１〜第３のフレームにおける第１〜第３の撮像画像を取得する画像取得部と、前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成するフレーム間加算画像生成部と、前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成するフレーム間差分画像生成部と、前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生するフレーム間加算画像再生部と、前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１〜第３の撮像画像の画素値を推定するフレーム間推定演算部と、前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、を含む撮像装置に関係する。
【０００８】
本発明の一態様によれば、第１〜第３の撮像画像が取得され、フレーム間における画素値の重み付け加算により第１、第２のフレーム間加算画像が生成され、その差分であるフレーム間差分画像が生成される。そして、第１のフレーム間加算画像とフレーム間差分画像から第２のフレーム間加算画像が再生され、第１、第２のフレーム間加算画像から第１〜第３の撮像画像が推定され、推定された撮像画像に基づく高解像画像が出力される。
【０００９】
これにより、例えば後述する推定処理を適用することで、簡素な処理でフレーム間加算画像から撮像画像を復元可能になる。動画撮影と静止画撮影を切り換えないため、動画データから任意タイミングの高解像静止画を取得できる。また、フレーム間加算画像を求めることで、高圧縮率で画像データを圧縮可能になる。
【００１０】
また本発明の一態様では、前記フレーム間推定演算部は、前記第１のフレーム間加算画像の画素値と、前記第２のフレーム間加算画像の画素値との差分値を求め、前記第１の撮像画像の画素値と、前記第３の撮像画像の画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１〜第３の撮像画像の画素値を推定してもよい。
【００１１】
また本発明の一態様では、前記フレーム間推定演算部は、前記第１〜第３の撮像画像の画素値間の関係式を、前記第１、第２のフレーム間加算画像の画素値を用いて表し、前記関係式で表された前記第１〜第３の撮像画像の画素値と、前記第１、第２のフレーム間加算画像の画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記第１〜第３の撮像画像の画素値を推定してもよい。
【００１２】
このようにすれば、撮像画像の画素値の関係式を、フレーム間において重畳加算された画素値を用いて表し、その関係式に基づいて撮像画像の画素値を復元できる。これにより、フレーム間加算画像に対する復元推定処理を簡素化できる。
【００１３】
また本発明の一態様では、前記第１のフレーム間加算画像又は前記フレーム間差分画像を入力画像として受けて、加算画素値を取得する単位である加算単位を前記入力画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１〜第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、前記第１〜第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、前記第１〜第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像（ｍはｎ以下の自然数）と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、前記平均画像と前記第ｍのフレーム内差分画像を圧縮するデータ圧縮部と、圧縮された前記平均画像と前記第ｍのフレーム内差分画像を伸張する圧縮データ伸張部と、伸張された前記平均画像と前記第ｍのフレーム内差分画像に基づいて、前記第１〜第ｎのフレーム内加算画像を再生するフレーム内加算画像再生部と、再生された前記第１〜第ｎのフレーム内加算画像に基づいて、前記入力画像の画素値を推定するフレーム内推定演算部と、を含んでもよい。
【００１４】
このようにすれば、フレーム間の加算を行った後にフレーム内の加算を行い、フレーム内加算画像から平均画像とフレーム内差分画像を生成して圧縮できる。これにより、更に圧縮率を向上できる。即ち、フレーム内差分画像は、平均画像とフレーム内加算画像の差分であるため画素値のエントロピーを入力画像よりも小さくできる。そのため、フレーム内差分画像を例えばエントロピー符号化することで高圧縮率で圧縮できる。
【００１５】
また本発明の一態様では、前記フレーム内加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎのフレーム内加算画像を取得し、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。
【００１６】
このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求め、その加算画素値により第１〜第ｎのフレーム内加算画像を構成できる。
【００１７】
また本発明の一態様では、前記データ圧縮部は、前記第１〜第ｎのフレーム内差分画像をエントロピー符号化により可逆圧縮してもよい。
【００１８】
このようにすれば、上述のように入力画像よりもエントロピーが小さくなったフレーム内差分画像をエントロピー符号化することで高圧縮率で圧縮できる。
【００１９】
また本発明の一態様では、第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、前記推定演算部は、前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。
【００２０】
このようにすれば、加算単位が重畳しながら順次画素シフトされた第１〜第ｎのフレーム内加算画像から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、フレーム内加算画像に対する復元推定処理を簡素化できる。
【００２１】
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２２】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【００２３】
また本発明の一態様では、前記第１〜第３の撮像画像のうちの第ｘの撮像画像（ｘは３以下の自然数）を受けて、加算画素値を取得する単位である加算単位を前記第ｘの撮像画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１〜第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、前記第１〜第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、前記第１〜第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、を含み、前記フレーム間加算画像生成部は、前記第ｍのフレーム内差分画像又は前記平均画像を、第１〜第３の入力画像のうちの第ｘの入力画像として受けて、前記第１、第２の入力画像に基づく前記第１のフレーム間加算画像を生成し、前記第２、第３の入力画像に基づく前記第２のフレーム間加算画像を生成してもよい。
【００２４】
このようにすれば、フレーム内の加算を行った後にフレーム間の加算を行い、平均画像とフレーム内差分画像それぞれについてのフレーム間差分画像を生成して圧縮できる。このような処理順序によっても、フレーム内差分画像によるエントロピー低減効果、フレーム間加算画像による画素値の変化を小さくする効果、フレーム間差分画像によるエントロピー低減効果を得ることができる。
【００２５】
また本発明の他の態様は、第１〜第３のフレームにおける第１〜第３の撮像画像を取得し、前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成し、前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成し、前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生し、前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１〜第３の撮像画像の画素値を推定し、前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力する画像生成方法に関係する。
【図面の簡単な説明】
【００２６】
【図１】第１のデータ圧縮手法についての説明図。
【図２】撮像装置の第１の構成例。
【図３】第２のデータ圧縮手法についての説明図。
【図４】ハフマン符号テーブルの例。
【図５】撮像装置の第２の構成例。
【図６】撮像装置の第２の構成例におけるデータ構成例。
【図７】撮像装置の第２の構成例におけるデータ構成例。
【図８】撮像装置の第３の構成例。
【図９】第４のデータ圧縮手法についての説明図。
【図１０】データ圧縮手法の第１の変形例についての説明図。
【図１１】データ圧縮手法の第１の変形例についての説明図。
【図１２】データ圧縮手法の第２の変形例についての説明図。
【図１３】データ圧縮手法の第２の変形例についての説明図。
【図１４】フレーム間加算画像の画素値についての説明図。
【図１５】復元推定処理についての説明図。
【図１６】復元推定処理についての説明図。
【図１７】復元推定処理についての説明図。
【図１８】図１８（Ａ）、図１８（Ｂ）は、フレーム内加算画像の画素値と、中間画素値についての説明図。
【発明を実施するための形態】
【００２７】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２８】
１．本実施形態の概要
デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
【００２９】
しかしながら、この手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れたり、ユーザーが気づいたときには既に決定的瞬間を逃していたりするという課題がある。
【００３０】
決定的瞬間の静止画を得るために、高フレームレートの高解像動画を取得し、その高解像動画から任意タイミングの静止画を抜き出す手法が考えられる。しかしながら、この手法では、高解像動画を撮影するためデータ量が増大するという課題がある。
【００３１】
そこで本実施形態では、図１に示すように、撮像画像ｆ１〜ｆ４をフレーム間で画素加算して加算画像Ｂ１〜Ｂ３を取得し、その加算画像Ｂ１〜Ｂ３をフレーム間で差分をとって差分画像ＤＴ２、ＤＴ３を取得する。加算画像Ｂ１〜Ｂ３は、フレーム間で加算されているため、撮像画像ｆ１〜ｆ４よりもフレーム間での画素値の変化が小さくなっている。そのため、差分画像ＤＴ２、ＤＴ３は、撮像画像ｆ１〜ｆ４の差分をとるよりも、画素値がゼロ付近により偏在していると考えられる。これにより、画像Ｂ１、ＤＴ２、ＤＴ３を、例えばエントロピー符号化することで圧縮率を向上できる。
【００３２】
さて、時間軸方向に画素値を加算した画像から高解像画像を得る手法として、空間方向に画素値を加算した画像から高解像画像を得る手法を応用することが考えられる。例えば、画素シフトにより撮影した低解像画像に対していわゆる超解像処理を行う手法が考えられる。この手法では、順次位置ずらししながら加算読み出しを行い、その複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法等が知られている。
【００３３】
例えば上述の特許文献１には、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、その複数の低解像画像を合成することにより高解像画像を仮定し、その高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。
【００３４】
しかしながら、この手法では、２次元フィルターを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、例えばデジタルカメラのような処理能力やコストの制限がある機器への適用は困難であるという課題がある。
【００３５】
また上述の特許文献２には、画素シフトさせた複数の低解像画像を撮像し、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する手法が開示されている。この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００３６】
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、所定の条件を満たす領域を画像から見つけ出している。そのため、適当な領域が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な領域を探索する処理が必要になってしまう。
【００３７】
この点、本実施形態では、図１で後述するように、画像Ｂ１、ＤＴ２、ＤＴ３から加算画像Ｂ１〜Ｂ３を再生し、その加算画像Ｂ１〜Ｂ３から撮像画像ｆ１〜ｆ４を復元する。この加算画像Ｂ１〜Ｂ３の画素値ｖｉｊ（１）’〜 ｖｉｊ（３）’は、重畳加算されたものであり、隣接フレームの画素値は共通の撮像画像の画素を含んでいる。図１４〜図１７で後述するように、この重畳加算された画素値を用いることで、撮像画像ｆ１〜ｆ４を簡素な処理で復元できる。また、圧縮データから撮像画像ｆ１〜ｆ４を復元できるため、元の撮像画像と同等の時間分解能が得られる。
【００３８】
２．第１のデータ圧縮手法
次に、本実施形態について詳細に説明する。まず、加算画像の生成手法と撮像画像の復元手法について説明する。なお以下では撮像素子がＲＧＢベイヤー配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では２フレーム間での加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他のフレーム数での加算を行ってもよい。
【００３９】
ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける加算画像や差分画像等の１つの画像も適宜フレームと呼ぶ。
【００４０】
図１に示すように、フレームｆＴ（Ｔは自然数）において、全画素読み出しによりＲＧＢベイヤー配列の撮像画像（以下、撮影フレーム画像と呼ぶ）を取得する。この撮像画像ｆＴの連続２フレームの同一位置の画素値を、撮像画像の１フレームが重畳するように重み付け加算し、加算画像ＢＴを生成する。なお以下では、撮影フレーム画像｛ｆ１，ｆ２，ｆ３｝を例にとり説明する。
【００４１】
撮影フレーム画像｛ｆ１，ｆ２，ｆ３｝の任意の画素値を、それぞれ｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝とする。フレーム間加算画像｛Ｂ１，Ｂ２｝のそれぞれの画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝は、下式（１）により求められる。
ｖｉｊ（１）’＝１・ｖｉｊ（１）＋（１／ｒ）・ｖｉｊ（２）
ｖｉｊ（２）’＝１・ｖｉｊ（２）＋（１／ｒ）・ｖｉｊ（３） （１）
【００４２】
ここで、ｒは重み付けの係数であり、１≦｜ｒ｜を満たす。ｖｉｊ（Ｔ）は、撮影フレーム画像ｆＴのアドレス（ｉ，ｊ）の画素値を表す。
【００４３】
上記のように、フレーム間で重み付け加算されて記録された加算画像データに対して、図１４〜図１７で後述する復元推定処理を適用することにより、元の加算前の撮像画像を推定により復元できる。
【００４４】
次に、上記の加算画像と復元推定処理をベースに、フレーム間差分によりデータを削減する手法について説明する。
【００４５】
図１に示すように、加算画像Ｂ１、Ｂ２の差分画像ＤＴ２を求める。具体的には下式（２）に示すように、加算画像Ｂ１、Ｂ２の任意の同一位置における画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝の差分画素値ｄｔｉｊ（２）を求める。そして、加算画像Ｂ１と差分画像ＤＴ２を記録する。
ｄｔｉｊ（２）＝ｖｉｊ（１）’−ｖｉｊ（２）’ （２）
【００４６】
撮影フレーム画像を復元するときは、記録された加算画像Ｂ１の画素値ｖｉｊ（１）’と差分画像ＤＴ２の画素値ｄｔｉｊ（２）から、上式（２）により加算画像Ｂ２の画素値ｖｉｊ（２）’を求める。そして、加算画像Ｂ１、Ｂ２の画素値ｖｉｊ（１）’、ｖｉｊ（２）’から撮像画像ｆ１〜ｆ３の画素値ｖｉｊ（１）〜 ｖｉｊ（３）を復元する。
【００４７】
さて、時間的に隣接するフレーム間では、結像される被写体の動きが小さい場合には相互の相関性が高く、動きが大きい場合には相互の相関性が低くなる。従って、フレーム間の差分画素値は、被写体の動きに大きく左右されるので、差分値による安定したデータ削減が難しい。
【００４８】
この点、本実施形態によれば、フレーム間における同一位置の画素に対して重み付け加算を施す。これにより、一種の加算フィルター効果が得られ、差分値の変化を緩やかにする作用が生まれる。差分値の変化が緩やかになることで、撮像画像を直接圧縮するよりも安定したデータ削減を行うことができる。
【００４９】
次に、加算画像から撮影フレーム画像を復元する点について考える。一般的に、単に加算をして得られた値から元の加算前の値に戻すには、初期値が定まれば、方程式を順次解いていけばよい。しかしながら、差分値に何らかの劣化が発生すると、誤差の波及が発生してしまうので望ましくない。
【００５０】
この点、本実施形態によれば、１回の復元処理において、２フレームの加算画像から３フレームの撮像画像を推定する。各回の復元処理は、他の回の復元処理の結果を用いないため、誤差が波及しない。即ち、重み付け加算の復元推定処理の方が、誤差の影響は部分的フレーム間に留めることができるので、画像としての劣化も小さく抑えることができる。
【００５１】
なお、上記ではフレーム｛ｆ１，ｆ２，ｆ３｝を例にとり説明したが、任意のフレームｆＴに拡張できることは言うまでもない。即ち、加算画像ＢＴの画素値ｖｉｊ（Ｔ）’は下式（３）により表され、差分画像ＤＴＴ＋１の画素値ｄｔｉｊ（Ｔ＋１）は下式（４）により表される。
ｖｉｊ（Ｔ）’＝１・ｖｉｊ（Ｔ）＋（１／ｒ）・ｖｉｊ（Ｔ＋１） （３）
ｄｔｉｊ（Ｔ＋１）＝ｖｉｊ（Ｔ）’−ｖｉｊ（Ｔ＋１）’ （４）
【００５２】
１回の復元推定処理では、画素値｛ｖｉｊ（Ｔ），ｖｉｊ（Ｔ＋１），ｖｉｊ（Ｔ＋２）｝が求められる。そのため、処理対象とするフレーム画像をシフトさせていくと、同一画素の画素値が複数回得られることになる。そのため、１回の復元処理において１つの値（例えばｆＴ〜ｆＴ＋２の復元において画素値ｖｉｊ（Ｔ）のみを、復元推定データとして採用しても構わない。
【００５３】
ここで、上記では隣接２フレームの重み付け加算を例にとり説明したが、本実施形態ではこれに限定されない。例えば、隣接２フレームの重み付け加算値を２個更に重み付け加算し、見かけ上隣接４フレームの加算値を得てもよい。この隣接４フレームの加算値の差分値によりデータ化することも、本方式の応用として容易であることは言うまでもない。
【００５４】
３．撮像装置
図２に、上記圧縮を行う場合の構成例として、撮像装置の第１の構成例を示す。撮像装置は、撮像とデータ圧縮処理を行う撮像部１０と、高精細画像の復元処理を行う画像処理部２０を含む。画像処理部２０は、カメラ本体に内蔵されてもよいし、ＰＣ等の外部の情報処理装置により構成されてもよい。
【００５５】
具体的には、撮像部１０は、レンズ１１０、撮像素子１２０（撮像センサー）、フレーム間加算画像生成部１２２、フレーム間差分画像生成部１２４、データ記録部１５５を含む。
【００５６】
レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。撮像により得られたアナログ信号は、図示しないＡ／Ｄ変換部によりデジタル信号に変換される。
【００５７】
フレーム間加算画像生成部１２２は、上述のように、撮影フレーム画像ｆ１〜ｆ３の画素値をフレーム間で重み付け加算し、フレーム間加算画像｛Ｂ１、Ｂ２｝を生成する。フレーム間差分画像生成部１２４は、フレーム間加算画像Ｂ１を基準画像とし、基準画像Ｂ１とフレーム間加算画像Ｂ２の差分をとり、フレーム間差分画像ＤＴ２を生成する。データ記録部１５５は、基準画像Ｂ１とフレーム間差分画像ＤＴ２を記録する。
【００５８】
画像処理部２０は、フレーム間加算画像再生部２１４、フレーム間推定演算部２３４、高精細静止画生成部２４０、高精細動画生成部２５０、標準動画生成部２６０、画像出力部２９０、画像選択部２９５を含む。
【００５９】
フレーム間加算画像再生部２１４は、記録された基準画像Ｂ１とフレーム間差分画像ＤＴ２からフレーム間加算画像｛Ｂ１、Ｂ２｝を再生する。フレーム間推定演算部２３４は、フレーム間加算画像｛Ｂ１、Ｂ２｝に基づいて撮影フレーム画像ｆ１〜ｆ３を推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。この推定演算については、図１４等において後述する。
【００６０】
高精細静止画生成部２４０は、ベイヤー配列の復元画像をデモザイキング処理し、その画像に対して例えば階調補正処理等の画像処理を行い、高精細静止画を生成する。このとき、画像選択部２９５により選択されたタイミングの静止画が生成される。タイミングは、ユーザーの指示により選択され、ユーザーは、例えば画像出力部２９０の出力動画を見てタイミングを選択する。
【００６１】
高精細動画生成部２５０は、ベイヤー配列の復元動画画像をデモザイキング処理し、その動画画像に対して例えば階調補正処理等の画像処理を行い、高精細動画を生成する。標準動画生成部２６０は、高精細動画をダウンサンプリングし、例えばハイビジョン画素数の動画を標準動画として生成する。
【００６２】
画像出力部２９０は、高精細静止画、高精細動画、標準動画を、例えば表示装置やプリンターに出力する。
【００６３】
以上の実施形態によれば、図２に示すように、撮像装置は、画像取得部（例えば撮像素子１２０）とフレーム間加算画像生成部１２２とフレーム間差分画像生成部１２４とフレーム間加算画像再生部２１４とフレーム間推定演算部２３４と画像出力部２９０を含む。
【００６４】
図１に示すように、画像取得部は、第１〜第３のフレームにおける第１〜第３の撮像画像ｆ１〜ｆ３を取得する。フレーム間加算画像生成部１２２は、第１の撮像画像ｆ１の画素値ｖｉｊ（１）と第２の撮像画像ｆ２の画素値ｖｉｊ（２）を重み付け加算して第１のフレーム間加算画像Ｂ１を生成し、第２の撮像画像ｆ２の画素値ｖｉｊ（２）と第３の撮像画像ｆ３の画素値ｖｉｊ（３）を重み付け加算して第２のフレーム間加算画像Ｂ２を生成する。フレーム間差分画像生成部１２４は、第１のフレーム間加算画像Ｂ１と第２のフレーム間加算画像Ｂ２の差分を、フレーム間差分画像ＤＴ２として生成する。
【００６５】
図２に示すように、フレーム間加算画像再生部２１４は、第１のフレーム間加算画像Ｂ１とフレーム間差分画像ＤＴ２に基づいて、第２のフレーム間加算画像Ｂ２を再生する。フレーム間推定演算部２３４は、第１のフレーム間加算画像Ｂ１と、再生された第２のフレーム間加算画像Ｂ２とに基づいて、第１〜第３の撮像画像ｆ１〜ｆ３の画素値ｖｉｊ（１）〜ｖｉｊ（３）を推定する。画像出力部２９０は、推定された画素値ｖｉｊ（１）〜ｖｉｊ（３）に基づく高解像画像を出力する。
【００６６】
このようにすれば、撮像画像ｆＴを効率よく圧縮することが可能になる。即ち、撮像画像の画素値をフレーム間で加算することで、画素値の時間的な変化を緩やかにできる。これにより、上述のように、フレーム間差分画像のエントロピーを下げることができ、例えばエントロピー符号化により高圧縮率を実現できる。
【００６７】
また、例えば後述する復元推定処理を適用することで、簡素な処理で撮像画像ｆＴを再生可能である。これにより、フレーム間で加算する前の画像が再性されるため、動体でもブレが少ない時間分解能が高い復元画像を得られる。また、高圧縮率の画像データから撮像画像ｆＴを復元して任意タイミングの高精細静止画を取り出すことができる。
【００６８】
４．第２のデータ圧縮手法
次に、上述の基準画像Ｂ１と差分画像ＤＴＴ（Ｔ＝２，３，・・・）を更にフレーム内（画像内）で画素加算し、データ削減する手法について説明する。なお以下では、任意の差分画像ＤＴＴに対する処理を例にとり説明するが、基準画像Ｂ１についても同様である。また、４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。以下では、フレーム番号を表す（Ｔ）を画素値ｖｉｊ（Ｔ）、ｄｔｉｊ（Ｔ）、ａｉｊ（Ｔ）から省略し、ｖｉｊ、ｄｔｉｊ、ａｉｊと表記する。
【００６９】
図３に示すように、差分画像ＤＴＴに４画素で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、４枚の画素加算画像Ａ１〜Ａ４を生成する。この処理は、差分画像１枚毎に行われる。
【００７０】
４画素加算値ａｉｊは下式（５）で表わされる。画素加算画像Ａ１〜Ａ４を構成する加算画素値はそれぞれ｛ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）、ａｉ（ｊ＋１）｝である。
ａｉｊ＝ｄｔｉｊ＋（１／ｒ）ｄｔ（ｉ＋１）ｊ＋
（１／ｒ）ｄｔｉ（ｊ＋１）＋（１／ｒ２）ｄｔ（ｉ＋１）（ｊ＋１）
（５）
【００７１】
ここで、ｒは重み付けのパラメータであり、１≦ｒである。またｄｔｉｊは差分画像ＤＴＴにおけるアドレス（ｉ，ｊ）の画素値である。
【００７２】
次に、生成した画素加算画像Ａ１〜Ａ４の加算位置の整合を行い、４枚の画素加算画像を重ね合わせた上で同一位置の値の加算平均をとることにより平均画像Ｍを生成する。即ち、画素加算画像Ａ１〜Ａ４の４画素加算値をそれぞれ｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝とすると、平均画像Ｍの画素値ａＭｉｊは下式（６）で表される。
ａＭｉｊ＝［ａ（１）ｉｊ＋ａ（２）（ｉ＋１）ｊ＋
ａ（３）ｉ（ｊ＋１）＋ａ（４）（ｉ＋１）（ｊ＋１）］／４ （６）
【００７３】
生成した平均画像Ｍを基準とし、その平均画像Ｍと画素加算画像Ａ１〜Ａ４との差分（方向ベクトル（１，−１）への射影）をそれぞれ差分画像Ｄ１〜Ｄ４とする。差分画像Ｄ１〜Ｄ４と平均画像Ｍを合わせて融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）とする。差分画像Ｄ１〜Ｄ４を構成する４画素加算差分値を｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝とすれば、下式（７）のように表わせる。
ａＤ１ｉｊ＝ａＭｉｊ−ａ（１）ｉｊ，
ａＤ２ｉｊ＝ａＭｉｊ−ａ（２）（ｉ＋１）ｊ，
ａＤ３ｉｊ＝ａＭｉｊ−ａ（３）（ｉ＋１）（ｊ＋１），
ａＤ４ｉｊ＝ａＭｉｊ−ａ（４）ｉ（ｊ＋１） （７）
【００７４】
このようにして、静止画と動画を融合させた融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を生成し、それを記録しておき、その記録されたＦ（Ｍ，Ｄ１〜Ｄ４）を後段において解凍処理することにより、「高精細静止画データ」又は「動画データ」を適宜生成することが可能となる。
【００７５】
なお、この例では差分（即ち方向ベクトル（１，−１）への射影）をとったが、本実施形態はこれに限定されない。例えば、平均画像Ｍの画素値と画素加算画像Ａ１〜Ａ４の画素値の相関分布に応じて、その主成分軸（分散が最も大きくなる直線）を求め、主成分軸に直交する軸に対して射影した値を用いた方が、より一層データの圧縮が可能となることは言うまでもない。
【００７６】
５．エントロピー符号化
次に、上述した平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４を圧縮する手法について説明する。
【００７７】
平均画像Ｍ及びフレーム内差分画像Ｄ１〜Ｄ４の画素値データは、発生頻度分布の偏りが顕著になるため、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）がデータ圧縮として効果的である。エントロピー符号化とは、画素値の発生確率を求め、発生確率の高いものから短い符号長を割当てる圧縮手法である。
【００７８】
例えば、平均画像Ｍの画素値データの平均値に対して最も短い符号長を割り当て、その平均値から離れる値ほど符号長を長くして行く符号化が適当である。即ち、フレーム内差分画像Ｄ１〜Ｄ４の画素値データは各々の平均がゼロであり、ゼロの発生確率をピークとして分布しているので、ゼロ値に最も短い符号を割当てるようにすればよい。また、平均画像Ｍ及びフレーム内差分画像Ｄ１〜Ｄ４の画素値データは、確率密度に応じて非線形量子化を行うことも有効である。
【００７９】
一方、平均画像Ｍでは、確かに加算平均した画素値データなので発生頻度分布の偏りは顕著になるが、画素加算値の取りうる範囲は、フレーム内差分画像Ｄ１〜Ｄ４の画素値データと比較すると、かなり大きくなる。そのため、一般的に高圧縮率が期待できる非可逆圧縮法（ＪＰＥＧ，ＭＰＥＧ等）の適用がデータの圧縮としては効果的である。
【００８０】
従って、平均画像Ｍにおいては画素数を削減して非可逆高圧縮を適用し、フレーム内差分画像Ｄ１〜Ｄ４においては、同様な発生分布の偏りを呈する特性を利用した高速エントロピー符号化を適用することが考えられる。
【００８１】
次に、最も単純なハフマン符号を適用する場合の例を示す。多数の画像の画素値分布に基づいて一つのハフマン符号テーブルを生成すると、適用範囲が広くなり、圧縮効果は画像依存になってしまう。しかしながら、画像毎又は画像範囲毎にハフマンテーブルを毎回生成するのは効果的ではない。
【００８２】
そこで、上記の平均画像Ｍに適用する場合、所定の画像領域毎に平均値αＭｉｊを下式（８）により求め、その平均値αＭｉｊと各加算平均値｛ａＭｉｊ｝の差分値｛ａ’Ｍｉｊ｝を下式（９）により求める。そして、その差分値｛ａ’Ｍｉｊ｝を改めて平均画像Ｍのデータとし、ハフマン符号化を適用すればよい。このことにより、差分値｛ａ’Ｍｉｊ｝は、普遍的にゼロを中心とした値の生起分布を形成できる。融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の中のＭは、Ｍ＝｛αＭｉｊ，ａ’Ｍｉｊ｝に置き換えて考えられる。
【数１】
ａ’Ｍｉｊ＝ａＭｉｊ−αＭｉｊ （９）
【００８３】
ここで、（ｈ０，ｖ０）は、平均値αＭｉｊを算出する領域の始点であり、（ｈ，ｖ）は、平均値αＭｉｊを算出する領域の終点である。即ち上式（８）においてｈ０≦ｉ≦ｈ，ｖ０≦ｊ≦ｖを満たす。例えば、平均値αＭｉｊを算出する領域は、平均画像Ｍの全体である。平均値αＭｉｊを算出する領域や、平均値αＭｉｊの算出に用いる平均値ａＭｉｊの数は、データの圧縮率とのバランスを評価して決めればよい。
【００８４】
上記の差分値｛ａ’Ｍｉｊ｝と４画素加算差分値｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝は、それら自体が平均ゼロの値から成っているので、図４に示す符号割り当てが考えられる。このようにすれば、ハフマン符号テーブルは固定的な一種類で済ますことができる。
【００８５】
なお、上述の平均値αＭｉｊとして、下式（１０）に示す固定値ｍＡＶＲを適用し、変動データとして扱わずに先見情報として扱ってもよい。この場合、平均値ｍＡＶＲはデータとして記録する必要はない。融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の中のＭは、Ｍ＝｛ｍＡＶＲ，ａ’Ｍｉｊ｝と置き換えて考えられる。下式（１０）は、上式（５）で定義される重み付け４画素加算値の場合への適用であり、加算画素数や重み付けの掛け方によって適宜適正な値が設定されることに注意が必要である。
ｍＡＶＲ＝ｖｍａｘ・｛１＋（１／ｒ）＋（１／ｒ）＋（１／ｒ２）｝／２
（１０）
【００８６】
ここで、ｒは重み付けのパラメータであり、１≦ｒである。ｖｍａｘは、画素値を規定する最大値である。
【００８７】
６．高精細静止画の再生手法
上述のＦ（Ｍ，Ｄ１〜Ｄ４）からフレーム間差分画像ＤＴＴ（又は基準画像Ｂ１）を復元推定する手法について説明する。
【００８８】
上式（７）を変形すると、下式（１１）が得られる。下式（１１）に示すように、平均画像Ｍを構成する４画素加算値｛ａＭｉｊ｝と、フレーム内差分画像Ｄ１〜Ｄ４を構成する４画素加算値｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝から、画素加算画像Ａ１〜Ａ４のそれぞれの４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝が得られる。
ａ（１）ｉｊ＝ａＭｉｊ−ａＤ１ｉｊ，
ａ（２）（ｉ＋１）ｊ＝ａＭｉｊ−ａＤ２ｉｊ，
ａ（３）（ｉ＋１）（ｊ＋１）＝ａＭｉｊ−ａＤ３ｉｊ，
ａ（４）ｉ（ｊ＋１）＝ａＭｉｊ−ａＤ４ｉｊ （１１）
【００８９】
求められた４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝は、１枚の高精細画像を水平又は垂直に１画素ずつ重畳シフトした４画素加算値により構成されている画像データである。この４画素加算値を、図１８（Ａ）等で後述する復元推定処理に適用することにより、元の基準画像Ｂ１又は差分画像ＤＴ２の画素値が求められる。
【００９０】
次に、復元された基準画像Ｂ１とフレーム間差分画像ＤＴ２を用いてフレーム間加算画像Ｂ２を再生する。具体的には下式（１２）に示すように、基準画像Ｂ１の画素値ｖｉｊ（１）’を基準値とし、加算画像Ｂ２の画素値ｖｉｊ（２）’を求める。
ｖｉｊ（２）’＝ｖｉｊ（１）’−ｄｔｉｊ（２） （１２）
【００９１】
このようにして得られたフレーム間加算画像｛Ｂ１，Ｂ２｝の画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝に対して、図１４等で後述する復元推定処理を適用し、フレーム間加算前の撮影フレーム画像｛ｆ１，ｆ２，ｆ３｝の画素値｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝を推定する。なお、上記の実施形態では、扱うフレーム画像を画像フレーム｛ｆ１，ｆ２，ｆ３｝に限って説明したが、次々と後段のフレームに拡張し、この考え方を適用できることは言うまでもない。
【００９２】
７．撮像装置の第２の構成例
図５に、上述のように基準画像Ｂ１とフレーム間差分画像ＤＴＴを生成し、更に平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４を生成する場合の構成例として、撮像装置の第２の構成例を示す。撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図２等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【００９３】
撮像部１０は、レンズ１１０、撮像素子１２０、フレーム間加算画像生成部１２２（第１の加算画像生成部）、フレーム間差分画像生成部１２４（第１の差分画像生成部）、フレーム内加算画像生成部１３０（第２の加算画像生成部）、フレーム内差分画像生成部１４１（第２の差分画像生成部）、平均画像生成部１４２、エントロピー符号化部１４３、圧縮データ記録部１５０を含む。
【００９４】
フレーム内加算画像生成部１３０は、上述のように、画素シフトさせつつ基準画像Ｂ１又はフレーム間差分画像ＤＴＴの画素値を加算し、フレーム内加算画像Ａ１〜Ａ４を生成する。平均画像生成部１４２は、フレーム内加算画像Ａ１〜Ａ４から平均画像Ｍを生成する。フレーム内差分画像生成部１４１は、フレーム内加算画像Ａ１〜Ａ４と平均画像Ｍからフレーム内差分画像Ｄ１〜Ｄ４を生成する。エントロピー符号化部１４３は、上述のエントロピー符号化等の可逆圧縮により差分画像Ｄ１〜Ｄ４を圧縮する。データ圧縮部１４４は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により平均画像Ｍを圧縮する。圧縮データ記録部１５０は、圧縮された平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４のデータを記録する。
【００９５】
画像処理部２０は、圧縮データ伸張部２００、フレーム内加算画像再生部２１０（第２の加算画像再生部）、フレーム間加算画像再生部２１４（第１の加算画像再生部）、フレーム内推定演算部２３０（第２の推定演算部）、フレーム間推定演算部２３４（第１の推定演算部）、高精細静止画生成部２４０、高精細動画生成部２５０、標準動画生成部２６０、画像出力部２９０、画像選択部２９５を含む。
【００９６】
圧縮データ伸張部２００は、圧縮された平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４を伸張する処理を行う。フレーム内加算画像再生部２１０は、平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４からフレーム内加算画像Ａ１〜Ａ４を再生する処理を行う。フレーム内推定演算部２３０は、フレーム内加算画像Ａ１〜Ａ４に基づいて、基準画像Ｂ１とフレーム間差分画像ＤＴＴを推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。
【００９７】
図６、図７に、上記第２の構成例におけるデータ構成例を示す。図６に示すように、撮像画像ｆＴは、Ｐ×Ｑ画素（Ｐ、Ｑは自然数）の画素値ｖ００（Ｔ）〜ｖＰＱ（Ｔ）で構成される。フレーム間差分画像ＤＴＴも、Ｐ×Ｑ画素の画素値ｄｔ００（Ｔ）〜ｄｔＰＱ（Ｔ）で構成される。基準画像Ｂ１も同様である。
【００９８】
図７に示すように、フレーム内加算画像Ａ１（ＤＴＴ）〜Ａ４（ＤＴＴ）は、それぞれｐ×ｑ画素の画素値ａ００（Ｔ）〜ａｐｑ（Ｔ）で構成される。ここで、ｐ＝Ｐ／２、ｑ＝Ｑ／２である。フレーム内加算画像Ａ１（Ｂ１）〜Ａ４（Ｂ１）も同様である。平均画像Ｍ（ＤＴＴ）、フレーム内差分画像Ｄ１（ＤＴＴ）〜Ｄ４（ＤＴＴ）も、それぞれｐ×ｑ画素の画素値で構成される。平均画像Ｍ（Ｂ１）、フレーム内差分画像Ｄ１（Ｂ１）〜Ｄ４（Ｂ１）も同様である。
【００９９】
上記の実施形態によれば、図５に示すように、撮像装置は、フレーム内加算画像生成部１３０と平均画像生成部１４２とフレーム内差分画像生成部１４１とデータ圧縮部（例えばエントロピー符号化部１４３）と圧縮データ伸張部２００とフレーム内加算画像再生部２１０とフレーム内推定演算部２３０を含む。
【０１００】
図３に示すように、フレーム内加算画像生成部１３０は、第１のフレーム間加算画像Ｂ１又はフレーム間差分画像ＤＴ２を入力画像として受けて、加算画素値ａｉｊを取得する単位である加算単位を入力画像の複数の画素毎（例えば４画素毎）に設定し、その加算単位を順次画素シフトさせながら加算単位に含まれる画素値ｄｔｉｊを重み付け加算（上式（５））して第１〜第４（広義には第１〜第ｎ）のフレーム内加算画像Ａ１〜Ａ４を生成する。上式（６）で説明したように、平均画像生成部１４２は、フレーム内加算画像Ａ１〜Ａ４の平均画像Ｍを生成する。上式（７）で説明したように、フレーム内差分画像生成部１４１は、第ｍのフレーム内加算画像Ａｍ（ｍはｎ以下の自然数）と平均画像Ｍとの差分を、第ｍのフレーム内差分画像Ｄｍとして生成する。データ圧縮部は、平均画像Ｍとフレーム内差分画像Ｄｍを圧縮する。
【０１０１】
図５に示すように、圧縮データ記録部１５０は、圧縮された平均画像Ｍとフレーム内差分画像Ｄｍを伸張する。フレーム内加算画像再生部２１０は、伸張された平均画像Ｍとフレーム内差分画像Ｄｍに基づいて、フレーム内加算画像Ａ１〜Ａ４を再生する。フレーム内推定演算部２３０は、再生されたフレーム内加算画像Ａ１〜Ａ４に基づいて、入力画像の画素値を推定する。
【０１０２】
このようにすれば、フレーム間加算画像Ｂ１とフレーム間差分画像ＤＴ２に対して更にフレーム内加算を行い、そのフレーム内加算画像Ａ１〜Ａ４の平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４を生成して圧縮できる。これにより、更に圧縮率を向上できる。即ち、入力画像Ｂ１（又はＤＴ２）と４枚の加算画像Ａ１〜Ａ４は画素数としては同一になるが、差分画像Ｄｍの画素値のエントロピーを入力画像よりも小さくできるため、圧縮率を向上できる。
【０１０３】
また本実施形態によれば、簡素な処理で圧縮データから入力画像を再生可能である。即ち、フレーム内加算画像Ａ１〜Ａ４は、重畳シフト加算により得られた画像データであり、後述する復元推定処理を適用可能である。この復元推定処理は、低解像画像から高解像画像を推定する処理を、上述の特許文献１、２に比べて簡素化することができる。また、復元された入力画像から更に撮像画像ｆＴを復元できるため、高圧縮率の画像データから任意タイミングの高精細静止画を取り出すことが可能になる。
【０１０４】
また本実施形態では、図３に示すように、フレーム内加算画像生成部１３０は、加算単位を、水平又は垂直（ｉ軸方向又はｊ軸方向）に１画素ずつ順次シフトさせて第１〜第４のポジション（例えば座標（０，０）、（１，０）、（１，１）、（０，１））に設定し、その第１〜第４のポジションにおいてそれぞれフレーム内加算画像Ａ１〜Ａ４を取得する。第ｍのポジションと第ｍ＋１のポジション（例えば（０，０）、（１，０））の加算単位は、共通の画素（ｖ１０、ｖ１１）を含む。
【０１０５】
このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求める重畳シフト加算を行うことができる。
【０１０６】
また本実施形態では、上式（６）に示すように、平均画像生成部１４２は、第１〜第４のポジションの加算画素値の平均値ａＭｉｊを、平均画像の画素値として求める。上式（７）に示すように、フレーム内差分画像生成部１４１は、平均画像の画素値ａＭｉｊと、第ｍのポジションの加算画素値（例えばａ（１）ｉｊ）の差分値（ａＤ１ｉｊ）を、第ｍの差分画像の画素値（ａＤ１ｉｊ）として求める。
【０１０７】
また本実施形態では、図３等で説明したように、データ圧縮部は、第ｍのフレーム内差分画像Ｄｍをエントロピー符号化により可逆圧縮する。
【０１０８】
このようにすれば、上述のようにエントロピーが小さくなったフレーム内差分画像Ｄｍを高圧縮率で圧縮することができるため、画像データの圧縮率を向上できる。これにより、圧縮データを記録するストレージの容量を削減したり、データ通信における通信負荷を軽減できる。
【０１０９】
８．第３のデータ圧縮手法
上記の実施形態では、フレーム間の加算を行った後にフレーム内の加算を行ったが、フレーム内の加算を行った後にフレーム間の加算を行ってもよい。図８に、このような場合の構成例として、撮像装置の第３の構成例を示す。
【０１１０】
撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図２等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【０１１１】
撮像部１０は、レンズ１１０、撮像素子１２０、フレーム間加算画像生成部１２２、フレーム間差分画像生成部１２４、フレーム内加算画像生成部１３０、フレーム内差分画像生成部１４１、平均画像生成部１４２、エントロピー符号化部１４３、圧縮データ記録部１５０を含む。画像処理部２０の構成要素は、図５の画像処理部２０と同様である。
【０１１２】
フレーム内加算画像生成部１３０は、連続して得られる撮像画像ｆＴ（Ｔは自然数）のフレーム一つ一つにおいてフレーム内の重畳シフト重み付け加算を行い、フレーム内加算画像｛Ａ１（Ｔ），Ａ２（Ｔ），Ａ３（Ｔ），Ａ４（Ｔ）｝を生成する。平均画像生成部１４２は、フレーム内加算画像の平均画像Ｍ（Ｔ）を求める。フレーム内差分画像生成部１４１は、フレーム内加算画像と平均画像の差分であるフレーム内差分画像｛Ｄ１（Ｔ），Ｄ２（Ｔ），Ｄ３（Ｔ），Ｄ４（Ｔ）｝を求める。
【０１１３】
フレーム間加算画像生成部１２２は、平均画像Ｍ（Ｔ）とフレーム内差分画像｛Ｄ１（Ｔ），Ｄ２（Ｔ），Ｄ３（Ｔ），Ｄ４（Ｔ）｝のそれぞれについてフレーム間の重畳シフト重み付け加算を行い、フレーム間加算画像｛ＢＴ｝を生成する。即ち、画像単位にて表記すると、重み付け加算は下式（１３）で表される。
ＢＴ（Ｍ）＝１・Ｍ（Ｔ）＋（１／ｒ）・Ｍ（Ｔ＋１），
ＢＴ（Ｄｍ）＝１・Ｄｍ（Ｔ）＋（１／ｒ）・Ｄｍ（Ｔ＋１） （１３）
【０１１４】
ここで、ｒは重み付け係数である。ｍは４以下の自然数である。
【０１１５】
フレーム間差分画像生成部１２４は、下式（１４）に示すように、フレーム間加算画像｛Ｂ１｝を基準とし、｛ＢＴ｝を順次差し引きして差分画像ＤＴＴを求める。
Ｂ１＝（基準値），
ＤＴＴ＋１＝ＢＴ−ＢＴ＋１ （１４）
【０１１６】
エントロピー符号化部１４３は、加算画像｛Ｂ１｝と差分画像ＤＴＴに対してそれぞれエントロピー符号化（可逆圧縮）を行い、記録データを生成する。
【０１１７】
圧縮データ伸張部２００は、圧縮された加算画像｛Ｂ１｝と差分画像ＤＴＴを伸張する処理を行う。フレーム間加算画像再生部２１４は、伸張された基準画像Ｂ１と差分画像ＤＴ２から加算画像｛Ｂ１、Ｂ２｝を再生する。フレーム間推定演算部２３４は、加算画像｛Ｂ１、Ｂ２｝に基づいて、平均画像Ｍ（Ｔ）と差分画像Ｄ１（Ｔ）〜Ｄ４（Ｔ）を推定により復元する。
【０１１８】
フレーム内加算画像再生部２１０は、平均画像Ｍ（Ｔ）と差分画像Ｄ１（Ｔ）〜Ｄ４（Ｔ）から加算画像Ａ１〜Ａ４を再生する処理を行う。フレーム内推定演算部２３０は、加算画像Ａ１〜Ａ４に基づいて、撮像画像ｆＴを推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。
【０１１９】
以上の実施形態によれば、フレーム内加算画像生成部１３０は、第ｘの撮像画像ｆｘ（ｘは３以下の自然数）を受けて、加算画素値を取得する単位である加算単位を撮像画像ｆｘの複数の画素毎に設定し、加算単位を順次画素シフトさせながら加算単位に含まれる画素値を重み付け加算して第１〜第ｎのフレーム内加算画像Ａ１（ｘ）〜Ａ４（ｘ）を生成する。平均画像生成部１４２は、フレーム内加算画像Ａ１（ｘ）〜Ａ４（ｘ）の平均画像Ｍ（ｘ）を生成する。フレーム内差分画像生成部１４１は、第ｍのフレーム内加算画像Ａｍ（ｘ）と平均画像Ｍ（ｘ）との差分を、第ｍのフレーム内差分画像Ｄｍ（ｘ）として生成する。
【０１２０】
フレーム間加算画像生成部１２２は、フレーム内差分画像Ｄｍ（ｘ）又は平均画像Ｍ（ｘ）を第ｘの入力画像として受けて、第１、第２の入力画像（例えばＤｍ（１）、Ｄｍ（２））に基づく第１のフレーム間加算画像Ｂ１を生成し、第２、第３の入力画像（Ｄｍ（２）、Ｄｍ（３））に基づく第２のフレーム間加算画像Ｂ２を生成する。
【０１２１】
このようにすれば、撮像画像に対してフレーム内加算を行った後にフレーム内加算を行ってデータ圧縮を行うことができる。このような処理順序によっても、フレーム内差分画像によるエントロピー低減効果、フレーム間加算画像による画素値の変化を小さくする効果、フレーム間差分画像によるエントロピー低減効果を得ることができる。また、復元推定処理により撮像画像を復元して、任意タイミングの高精細静止画を得ることができる。
【０１２２】
９．第４のデータ圧縮手法
上記の実施形態では、２フレーム間の差分によりフレーム間差分画像を生成したが、基準フレームと前後フレームの差分によりフレーム間差分画像を生成してもよい。図９を用いて、基準フレームと前後フレームの差分によりデータ圧縮を行う手法について説明する。
【０１２３】
図９に示すように、まず、上述の手法と同様にしてフレーム間加算画像ＢＴ（Ｔは自然数）を生成する。このフレーム間加算画像ＢＴにおいて、例えば基準画像をＢ３ｋ＋２（ｋは０以上の整数）とする。そして、基準画像Ｂ３ｋ＋２と、その前後のフレーム間加算画像Ｂ３ｋ＋１，Ｂ３ｋ＋３の差分をとり、差分画像ＤＴ３ｋ＋１，ＤＴ３ｋ＋３を得る。画像の差分は、同一位置の画素値の差分値を求めることにより行う。
【０１２４】
次に、基準画像と差分画像の組合せデータ｛Ｂ３ｋ＋２，ＤＴ３ｋ＋１，ＤＴ３ｋ＋３｝をデータ単位とし、それぞれに可逆圧縮符号化（例えばエントロピー符号化）を施し、順次融合圧縮データとして記録する。
【０１２５】
元の画像ｆＴを再生するには、上記とは逆のプロセスを行えばよい。即ち、記録された融合圧縮データに対して可逆圧縮符号の復号を行い、組合せデータ｛Ｂ３ｋ＋２，ＤＴ３ｋ＋１，ＤＴ３ｋ＋３｝を生成する。そして、組み合わせデータからフレーム間加算画像ＢＴを再生する。フレーム間加算画像ＢＴに対して画像復元推定法を適用し、撮像フレーム画像ｆＴを得る。
【０１２６】
１０．データ圧縮手法の第１の変形例
次に、データ圧縮手法の第１の変形例について説明する。図１０に示すように、まず、撮影フレーム画像ｆＴ（Ｔは自然数）の各フレーム内において、図３等で上述の重畳シフト４画素加算を行い、フレーム内加算画像ｆＴ’＝｛Ａ１〜Ａ４｝を生成する。
【０１２７】
次に、フレーム内加算画像ｆＴ’の時間軸方向において、図１等で上述のフレーム間差分処理を行う。即ち、基準画像をＢ１＝ｆ１’とし、隣接フレームの差分によりフレーム間差分画像ＤＴＴを生成する。なお、図１０では簡単のために基準画像Ｂ１やフレーム間差分画像ＤＴＴをそれぞれ１枚の画像で表しているが、実際には下式（１５）に示すように、それぞれ４枚の画像で構成される。
Ａｋ’（Ｔ）＝Ａｋ（Ｔ）−Ａｋ（Ｔ＋１） （１５）
【０１２８】
ここで、上式（１５）の差分は、同一位置の画素値の減算により行われる。ｋは４以下の自然数である。
【０１２９】
上式（１５）は、図１で上述のフレーム間加算において、重み付け係数をｒ＝−１とすることに対応する。
【０１３０】
次に、図１１に示すように、基準画像Ｂ１やフレーム間差分画像ＤＴＴを構成する４枚の画像Ａ１’（Ｔ）〜Ａ４’（Ｔ）の平均画像Ｍを生成し、その平均画像Ｍと４枚の画像Ａ１’（Ｔ）〜Ａ４’（Ｔ）の差分画像Ｄ１〜Ｄ４を生成する。この平均画像Ｍと差分画像Ｄ１〜Ｄ４の生成は、図３で上述の手法と同様に行う。そして、平均画像Ｍと差分画像Ｄ１〜Ｄ４を可逆圧縮処理し、データ圧縮された記録データを生成する。
【０１３１】
記録データから撮影フレーム画像ｆＴを復元するときには、まず圧縮された記録データに対して伸張処理を行い、平均画像Ｍと差分画像Ｄ１〜Ｄ４を再生する。次に、平均画像Ｍと差分画像Ｄ１〜Ｄ４から基準画像Ｂ１とフレーム間差分画像ＤＴＴを求める。次に、基準画像Ｂ１と差分画像ＤＴＴからフレーム内加算画像ｆＴ’＝｛Ａ１〜Ａ４｝を再生する。このフレーム内加算画像ｆＴ’は、水平又は垂直に重畳シフトされた加算画素値であり、その加算画素値に対して図１８（Ａ）等で後述する復元推定処理を適用することにより、元の撮影フレーム画像ｆＴを再生する。
【０１３２】
１１．データ圧縮手法の第２の変形例
上記の変形例では、フレーム間差分をとってから平均画像Ｍと差分画像Ｄ１〜Ｄ４を生成したが、平均画像Ｍと差分画像Ｄ１〜Ｄ４を生成してからフレーム間差分をとってもよい。図１２、図１３を用いて、このような第２の変形例について説明する。
【０１３３】
図１２に示すように、まず、撮影フレーム画像ｆＴ（Ｔは自然数）の各フレーム内において、図３等で上述の重畳シフト４画素加算を行い、フレーム内加算画像ｆＴ’＝｛Ａ１〜Ａ４｝を生成する。
【０１３４】
次に、フレーム内加算画像ｆＴ’＝｛Ａ１〜Ａ４｝の平均画像Ｍ（Ｔ）を生成し、その平均画像Ｍ（Ｔ）とフレーム内加算画像｛Ａ１〜Ａ４｝の差分をとり、フレーム内差分画像｛Ｄ１（Ｔ）〜Ｄ４（Ｔ）｝を生成する。図１２では、フレーム内差分画像をＤｍ（Ｔ）（ｍは４以下の自然数）で表す。
【０１３５】
次に、図１３に示すように、平均画像Ｍ（１）を基準画像とし、平均画像Ｍ（Ｔ）のフレーム間の差分画像ＤＭ（Ｔ）＝Ｍ（Ｔ＋１）−Ｍ（Ｔ）を生成する。また、フレーム内差分画像Ｄｍ（１）を基準画像とし、フレーム内差分画像Ｄｍ（Ｔ）のフレーム間の差分画像ＤＴｍ（Ｔ）＝Ｄｍ（Ｔ＋１）−Ｄｍ（Ｔ）を生成する。
【０１３６】
次に、平均画像の基準画像Ｍ（１）と差分画像ＤＭ（Ｔ）、及びフレーム内差分画像の基準画像Ｄｍ（１）と差分画像ＤＴｍ（Ｔ）に対して可逆圧縮処理を行い、記録データを生成する。
【０１３７】
記録データから撮影フレーム画像ｆＴを復元するときには、まず、圧縮された記録データに対して伸張処理を行い、基準画像Ｍ（１）、差分画像ＤＭ（Ｔ）、基準画像Ｄｍ（１）、差分画像ＤＴｍ（Ｔ）を再生する。次に、基準画像Ｍ（１）と差分画像ＤＭ（Ｔ）から平均画像Ｍ（Ｔ）を再生し、基準画像Ｄｍ（１）と差分画像ＤＴｍ（Ｔ）からフレーム内差分画像Ｄｍ（Ｔ）を再生する。次に、平均画像Ｍ（Ｔ）とフレーム内差分画像Ｄｍ（Ｔ）からフレーム内加算画像｛Ａ１〜Ａ４｝を再生する。次に、フレーム内加算画像｛Ａ１〜Ａ４｝に対して、図１８（Ａ）等で後述する復元推定処理を適用し、元の撮影フレーム画像ｆＴを復元する。
【０１３８】
１２．フレーム間加算画像に対する復元推定処理
次に、図１等で上述したフレーム間加算画像ＢＴに基づいて、加算前の撮影フレーム画像ｆＴの画素値ｖｉｊ（Ｔ）を推定する手法について説明する。
【０１３９】
なお以下では、フレームｆ１〜ｆ３の画素値｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝（ｉ，ｊは０以上の整数）を復元する場合を例に説明するが、他のフレームの画素値についても同様である。また、２フレームの画素値を重み付け加算する場合を例に説明するが、これに限定されず、３以上のフレームの画素値を重み付け加算してもよい。
【０１４０】
図１４に示す加算画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝は、図１で説明したフレーム間加算画像Ｂ１、Ｂ２の画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝に対応する。推定処理では、この加算画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝を用いて、最終的な推定画素値ｖｉｊ（１）〜ｖｉｊ（３）を推定する。
【０１４１】
説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝は下式（１６）で表される。
ｂｉｊ（１）＝ｖｉｊ（１）＋（１／２）・ｖｉｊ（２）
ｂｉｊ（２）＝ｖｉｊ（２）＋（１／２）・ｖｉｊ（３） （１６）
【０１４２】
図１５に示すように、上式（１６）において、｛ｂｉｊ（１）、ｂｉｊ（２）｝に所定の重み係数を掛けて差分δｉ０を取ると、下式（１７）が成り立つ。
δｉ０＝ｂｉｊ（２）−２ｂｉｊ（１）
＝（１／２）ｖｉｊ（３）−２ｖｉｊ（１） （１７）
【０１４３】
なお、図１５〜図１７では、簡単のため画素値のサフィックスｉｊを省略する。
【０１４４】
ｖｉｊ（１）を未知数（初期変数）とすると、下式（１８）に示すように、画素値｛ｖｉｊ（２），ｖｉｊ（３）｝をｖｉｊ（１）の関数として求めることができる。このようにして、ｖｉｊ（１）を未知数として、フレーム加算されていない画素値｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝の組合せパターンが求められる。
ｖｉｊ（１）＝（未知数），
ｖｉｊ（２）＝２（ｂｉｊ（１）−ｖｉｊ（１）），
ｖｉｊ（３）＝４ｖｉｊ（１）＋２δｉ０
＝４ｖｉｊ（１）＋２（ｂｉｊ（２）−２ｂｉｊ（１））
（１８）
【０１４５】
次に、未知数ｖｉｊ（１）を求める手法について説明する。図１６に示すように、加算画素値のパターン｛ｂｉｊ（１）、ｂｉｊ（２）｝と推定画素値のパターン｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝を比較する。そして、その誤差Ｅが最小になる未知数ｖｉｊ（１）を導出し、推定画素値ｖｉｊ（１）として設定する。
【０１４６】
具体的には、加算画素値｛ｂｉｊ（Ｔ）｝と推定画素値｛ｖｉｊ（Ｔ），ｖｉｊ（Ｔ＋１）｝には、下式（１９）の関係が成り立つ。この下式（１９）による重み付けを考慮すると、下式（２０）に示す評価関数Ｅが求められる。そして、この評価関数Ｅにより、パターン｛ｂｉｊ（１）、ｂｉｊ（２）｝とパターン｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝の類似性評価を行う。
ｂｉｊ（Ｔ）＝ｖｉｊ（Ｔ）＋（１／２）ｖｉｊ（Ｔ＋１） （１９）
【数２】
【０１４７】
図１７に示すように、評価関数Ｅを最小にする未知数ｖｉｊ（１）（＝α）を求め、ｖｉｊ（１）の値を決定できる。そして、推定したｖｉｊ（１）の値を上式（１８）に代入し、｛ｖｉｊ（２），ｖｉｊ（３）｝が求められる。
【０１４８】
上記の実施形態によれば、上式（１７）に示すように、フレーム間推定演算部２３４は、第１のフレーム間加算画像の画素値ｂｉｊ（１）と第２のフレーム間加算画像の画素値ｂｉｊ（２）との差分値δｉ０を求める。上式（１８）に示すように、第１の撮像画像の画素値ｖｉｊ（１）と第３の撮像画像の画素値ｖｉｊ（３）との関係式を、差分値δｉ０を用いて表す。そして、その関係式を用いて第１〜第３の撮像画像の画素値ｖｉｊ（１）〜ｖｉｊ（３）を推定する。
【０１４９】
より具体的には、上式（１８）に示すように、フレーム間推定演算部２３４は、撮像画像の画素値ｖｉｊ（１）〜ｖｉｊ（３）の間の関係式を、フレーム間加算画像の画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝を用いて表す。図１６で説明したように、その関係式で表された撮像画像の画素値ｖｉｊ（１）〜ｖｉｊ（３）と、フレーム間加算画像の画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝とを比較して類似性を評価する。図１７で説明したように、その類似性の評価結果に基づいて、類似性が最も高くなるように、撮像画像の画素値ｖｉｊ（１）〜ｖｉｊ（３）を推定する。
【０１５０】
このようにすれば、撮像画像の画素値の関係式を、フレーム間において重畳加算された画素値を用いて表し、その関係式に基づいて撮像画像の画素値を復元できる。これにより、時間軸方向における復元推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【０１５１】
１３．フレーム内加算画像に対する復元推定処理
次に、図３等で上述したフレーム内加算画像Ａ１〜Ａ４に基づいて、加算前の基準画像Ｂ１の画素値ｖｉｊ（１）’又はフレーム間差分画像ＤＴＴの画素値ｄｔｉｊ（Ｔ）を推定する手法について説明する。
【０１５２】
図１８（Ａ）、図１８（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１８（Ａ）に示す加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝は、図３で説明した加算画像Ａ１〜Ａ４の加算画素値｛ａ（１）００，ａ（２）１０，ａ（３）１１，ａ（４）０１｝に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００〜ｖ２２を推定する。推定画素値ｖｉｊは、図３で説明した基準画像Ｂ１の画素値ｖｉｊ（１）’又はフレーム間差分画像ＤＴＴの画素値ｄｔｉｊ（Ｔ）に対応する。
【０１５３】
図１８（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【０１５４】
中間画素値ｂ００〜ｂ２１は、上述の推定処理と同様に求めることができる。即ち、上式（１６）を下式（２１）に置き換えれば、以降の処理は同様である。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （２１）
【０１５５】
求めた中間画素値ｂ００〜ｂ２１から推定画素値ｖ００〜ｖ２２を推定する処理も、上述の推定処理と同様に行うことができる。即ち、上式（１６）を下式（２２）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （２２）
【０１５６】
上記の実施形態によれば、図１８（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ００）と、第１のポジションの次の第２のポジションに設定された加算単位（例えばａ１０）は重畳する。上式（１７）と同様にして、フレーム内推定演算部２３０は、第１、第２のポジションの加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１８（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（１８）と同様にして、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。そして、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
【０１５７】
このようにすれば、フレーム内において重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【０１５８】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１８（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１５９】
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、次のポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０１６０】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）とする。上式（１８）と同様にして、フレーム内推定演算部２３０は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図１７で説明した手法と同様にして、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１６１】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１６２】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１６３】
また本実施形態では、上式（２０）と同様にして、フレーム内推定演算部２３０は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）と加算画素値（ａ００、ａ１０）との誤差を表す評価関数Ｅを求める。評価関数Ｅの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１６４】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。
【０１６５】
また本実施形態では、上式（５）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
【０１６６】
このようにすれば、加算単位の各画素値を重み付け加算してフレーム内加算画像を取得し、取得したフレーム内加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０１６７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、画像処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６８】
１０ 撮像部、２０ 画像処理部、１００ 被写体、１１０ レンズ、
１２０ 撮像素子、１２２ フレーム間加算画像生成部、
１２４ フレーム間差分画像生成部、１３０ フレーム内加算画像生成部、
１４１ フレーム内差分画像生成部、１４２ 平均画像生成部、
１４３ エントロピー符号化部、１４４ データ圧縮部、
１５０ 圧縮データ記録部、１５５ データ記録部、２００ 圧縮データ伸張部、
２１０ フレーム内加算画像再生部、２１４ フレーム間加算画像再生部、
２３０ フレーム内推定演算部、２３４ フレーム間推定演算部、
２４０ 高精細静止画生成部、２５０ 高精細動画生成部、
２６０ 標準動画生成部、２９０ 画像出力部、２９５ 画像選択部、
Ａ１〜Ａ４ フレーム内加算画像、Ｂ１〜Ｂ３ フレーム間加算画像、
Ｄ１〜Ｄ４ フレーム内差分画像、ＤＴ２，ＤＴ３ フレーム間差分画像、
Ｅ 評価関数、ａｉｊ 加算画素値、ｂｉｊ 中間画素値、ｄｔｉｊ 差分画素値、
ｆ１〜ｆ３ 撮影フレーム画像、ｍＡＶＲ 平均値、ｒ 重み付け係数、
ｖｉｊ 画素値、ｖｉｊ（１） 未知数、αＭｉｊ 平均値、δｉ０ 差分値
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザーがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザーがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。
【０００５】
本発明者は、この決定的瞬間の撮影を実現するために、データ量を削減した動画データから任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
【０００６】
本発明の幾つかの態様によれば、データ量を削減した動画データから、簡素な処理で高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、第１〜第３のフレームにおける第１〜第３の撮像画像を取得する画像取得部と、前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成するフレーム間加算画像生成部と、前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成するフレーム間差分画像生成部と、前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生するフレーム間加算画像再生部と、前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１〜第３の撮像画像の画素値を推定するフレーム間推定演算部と、前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、を含む撮像装置に関係する。
【０００８】
本発明の一態様によれば、第１〜第３の撮像画像が取得され、フレーム間における画素値の重み付け加算により第１、第２のフレーム間加算画像が生成され、その差分であるフレーム間差分画像が生成される。そして、第１のフレーム間加算画像とフレーム間差分画像から第２のフレーム間加算画像が再生され、第１、第２のフレーム間加算画像から第１〜第３の撮像画像が推定され、推定された撮像画像に基づく高解像画像が出力される。
【０００９】
これにより、例えば後述する推定処理を適用することで、簡素な処理でフレーム間加算画像から撮像画像を復元可能になる。動画撮影と静止画撮影を切り換えないため、動画データから任意タイミングの高解像静止画を取得できる。また、フレーム間加算画像を求めることで、高圧縮率で画像データを圧縮可能になる。
【００１０】
また本発明の一態様では、前記フレーム間推定演算部は、前記第１のフレーム間加算画像の画素値と、前記第２のフレーム間加算画像の画素値との差分値を求め、前記第１の撮像画像の画素値と、前記第３の撮像画像の画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１〜第３の撮像画像の画素値を推定してもよい。
【００１１】
また本発明の一態様では、前記フレーム間推定演算部は、前記第１〜第３の撮像画像の画素値間の関係式を、前記第１、第２のフレーム間加算画像の画素値を用いて表し、前記関係式で表された前記第１〜第３の撮像画像の画素値と、前記第１、第２のフレーム間加算画像の画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記第１〜第３の撮像画像の画素値を推定してもよい。
【００１２】
このようにすれば、撮像画像の画素値の関係式を、フレーム間において重畳加算された画素値を用いて表し、その関係式に基づいて撮像画像の画素値を復元できる。これにより、フレーム間加算画像に対する復元推定処理を簡素化できる。
【００１３】
また本発明の一態様では、前記第１のフレーム間加算画像又は前記フレーム間差分画像を入力画像として受けて、加算画素値を取得する単位である加算単位を前記入力画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１〜第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、前記第１〜第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、前記第１〜第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像（ｍはｎ以下の自然数）と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、前記平均画像と前記第ｍのフレーム内差分画像を圧縮するデータ圧縮部と、圧縮された前記平均画像と前記第ｍのフレーム内差分画像を伸張する圧縮データ伸張部と、伸張された前記平均画像と前記第ｍのフレーム内差分画像に基づいて、前記第１〜第ｎのフレーム内加算画像を再生するフレーム内加算画像再生部と、再生された前記第１〜第ｎのフレーム内加算画像に基づいて、前記入力画像の画素値を推定するフレーム内推定演算部と、を含んでもよい。
【００１４】
このようにすれば、フレーム間の加算を行った後にフレーム内の加算を行い、フレーム内加算画像から平均画像とフレーム内差分画像を生成して圧縮できる。これにより、更に圧縮率を向上できる。即ち、フレーム内差分画像は、平均画像とフレーム内加算画像の差分であるため画素値のエントロピーを入力画像よりも小さくできる。そのため、フレーム内差分画像を例えばエントロピー符号化することで高圧縮率で圧縮できる。
【００１５】
また本発明の一態様では、前記フレーム内加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎのフレーム内加算画像を取得し、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。
【００１６】
このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求め、その加算画素値により第１〜第ｎのフレーム内加算画像を構成できる。
【００１７】
また本発明の一態様では、前記データ圧縮部は、前記第１〜第ｎのフレーム内差分画像をエントロピー符号化により可逆圧縮してもよい。
【００１８】
このようにすれば、上述のように入力画像よりもエントロピーが小さくなったフレーム内差分画像をエントロピー符号化することで高圧縮率で圧縮できる。
【００１９】
また本発明の一態様では、第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、前記推定演算部は、前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。
【００２０】
このようにすれば、加算単位が重畳しながら順次画素シフトされた第１〜第ｎのフレーム内加算画像から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、フレーム内加算画像に対する復元推定処理を簡素化できる。
【００２１】
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２２】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【００２３】
また本発明の一態様では、前記第１〜第３の撮像画像のうちの第ｘの撮像画像（ｘは３以下の自然数）を受けて、加算画素値を取得する単位である加算単位を前記第ｘの撮像画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１〜第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、前記第１〜第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、前記第１〜第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、を含み、前記フレーム間加算画像生成部は、前記第ｍのフレーム内差分画像又は前記平均画像を、第１〜第３の入力画像のうちの第ｘの入力画像として受けて、前記第１、第２の入力画像に基づく前記第１のフレーム間加算画像を生成し、前記第２、第３の入力画像に基づく前記第２のフレーム間加算画像を生成してもよい。
【００２４】
このようにすれば、フレーム内の加算を行った後にフレーム間の加算を行い、平均画像とフレーム内差分画像それぞれについてのフレーム間差分画像を生成して圧縮できる。このような処理順序によっても、フレーム内差分画像によるエントロピー低減効果、フレーム間加算画像による画素値の変化を小さくする効果、フレーム間差分画像によるエントロピー低減効果を得ることができる。
【００２５】
また本発明の他の態様は、第１〜第３のフレームにおける第１〜第３の撮像画像を取得し、前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成し、前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成し、前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生し、前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１〜第３の撮像画像の画素値を推定し、前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力する画像生成方法に関係する。
【図面の簡単な説明】
【００２６】
【図１】第１のデータ圧縮手法についての説明図。
【図２】撮像装置の第１の構成例。
【図３】第２のデータ圧縮手法についての説明図。
【図４】ハフマン符号テーブルの例。
【図５】撮像装置の第２の構成例。
【図６】撮像装置の第２の構成例におけるデータ構成例。
【図７】撮像装置の第２の構成例におけるデータ構成例。
【図８】撮像装置の第３の構成例。
【図９】第４のデータ圧縮手法についての説明図。
【図１０】データ圧縮手法の第１の変形例についての説明図。
【図１１】データ圧縮手法の第１の変形例についての説明図。
【図１２】データ圧縮手法の第２の変形例についての説明図。
【図１３】データ圧縮手法の第２の変形例についての説明図。
【図１４】フレーム間加算画像の画素値についての説明図。
【図１５】復元推定処理についての説明図。
【図１６】復元推定処理についての説明図。
【図１７】復元推定処理についての説明図。
【図１８】図１８（Ａ）、図１８（Ｂ）は、フレーム内加算画像の画素値と、中間画素値についての説明図。
【発明を実施するための形態】
【００２７】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２８】
１．本実施形態の概要
デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
【００２９】
しかしながら、この手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れたり、ユーザーが気づいたときには既に決定的瞬間を逃していたりするという課題がある。
【００３０】
決定的瞬間の静止画を得るために、高フレームレートの高解像動画を取得し、その高解像動画から任意タイミングの静止画を抜き出す手法が考えられる。しかしながら、この手法では、高解像動画を撮影するためデータ量が増大するという課題がある。
【００３１】
そこで本実施形態では、図１に示すように、撮像画像ｆ１〜ｆ４をフレーム間で画素加算して加算画像Ｂ１〜Ｂ３を取得し、その加算画像Ｂ１〜Ｂ３をフレーム間で差分をとって差分画像ＤＴ２、ＤＴ３を取得する。加算画像Ｂ１〜Ｂ３は、フレーム間で加算されているため、撮像画像ｆ１〜ｆ４よりもフレーム間での画素値の変化が小さくなっている。そのため、差分画像ＤＴ２、ＤＴ３は、撮像画像ｆ１〜ｆ４の差分をとるよりも、画素値がゼロ付近により偏在していると考えられる。これにより、画像Ｂ１、ＤＴ２、ＤＴ３を、例えばエントロピー符号化することで圧縮率を向上できる。
【００３２】
さて、時間軸方向に画素値を加算した画像から高解像画像を得る手法として、空間方向に画素値を加算した画像から高解像画像を得る手法を応用することが考えられる。例えば、画素シフトにより撮影した低解像画像に対していわゆる超解像処理を行う手法が考えられる。この手法では、順次位置ずらししながら加算読み出しを行い、その複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法等が知られている。
【００３３】
例えば上述の特許文献１には、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、その複数の低解像画像を合成することにより高解像画像を仮定し、その高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。
【００３４】
しかしながら、この手法では、２次元フィルターを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、例えばデジタルカメラのような処理能力やコストの制限がある機器への適用は困難であるという課題がある。
【００３５】
また上述の特許文献２には、画素シフトさせた複数の低解像画像を撮像し、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する手法が開示されている。この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００３６】
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、所定の条件を満たす領域を画像から見つけ出している。そのため、適当な領域が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な領域を探索する処理が必要になってしまう。
【００３７】
この点、本実施形態では、図１で後述するように、画像Ｂ１、ＤＴ２、ＤＴ３から加算画像Ｂ１〜Ｂ３を再生し、その加算画像Ｂ１〜Ｂ３から撮像画像ｆ１〜ｆ４を復元する。この加算画像Ｂ１〜Ｂ３の画素値ｖｉｊ（１）’〜 ｖｉｊ（３）’は、重畳加算されたものであり、隣接フレームの画素値は共通の撮像画像の画素を含んでいる。図１４〜図１７で後述するように、この重畳加算された画素値を用いることで、撮像画像ｆ１〜ｆ４を簡素な処理で復元できる。また、圧縮データから撮像画像ｆ１〜ｆ４を復元できるため、元の撮像画像と同等の時間分解能が得られる。
【００３８】
２．第１のデータ圧縮手法
次に、本実施形態について詳細に説明する。まず、加算画像の生成手法と撮像画像の復元手法について説明する。なお以下では撮像素子がＲＧＢベイヤー配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では２フレーム間での加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他のフレーム数での加算を行ってもよい。
【００３９】
ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける加算画像や差分画像等の１つの画像も適宜フレームと呼ぶ。
【００４０】
図１に示すように、フレームｆＴ（Ｔは自然数）において、全画素読み出しによりＲＧＢベイヤー配列の撮像画像（以下、撮影フレーム画像と呼ぶ）を取得する。この撮像画像ｆＴの連続２フレームの同一位置の画素値を、撮像画像の１フレームが重畳するように重み付け加算し、加算画像ＢＴを生成する。なお以下では、撮影フレーム画像｛ｆ１，ｆ２，ｆ３｝を例にとり説明する。
【００４１】
撮影フレーム画像｛ｆ１，ｆ２，ｆ３｝の任意の画素値を、それぞれ｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝とする。フレーム間加算画像｛Ｂ１，Ｂ２｝のそれぞれの画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝は、下式（１）により求められる。
ｖｉｊ（１）’＝１・ｖｉｊ（１）＋（１／ｒ）・ｖｉｊ（２）
ｖｉｊ（２）’＝１・ｖｉｊ（２）＋（１／ｒ）・ｖｉｊ（３） （１）
【００４２】
ここで、ｒは重み付けの係数であり、１≦｜ｒ｜を満たす。ｖｉｊ（Ｔ）は、撮影フレーム画像ｆＴのアドレス（ｉ，ｊ）の画素値を表す。
【００４３】
上記のように、フレーム間で重み付け加算されて記録された加算画像データに対して、図１４〜図１７で後述する復元推定処理を適用することにより、元の加算前の撮像画像を推定により復元できる。
【００４４】
次に、上記の加算画像と復元推定処理をベースに、フレーム間差分によりデータを削減する手法について説明する。
【００４５】
図１に示すように、加算画像Ｂ１、Ｂ２の差分画像ＤＴ２を求める。具体的には下式（２）に示すように、加算画像Ｂ１、Ｂ２の任意の同一位置における画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝の差分画素値ｄｔｉｊ（２）を求める。そして、加算画像Ｂ１と差分画像ＤＴ２を記録する。
ｄｔｉｊ（２）＝ｖｉｊ（１）’−ｖｉｊ（２）’ （２）
【００４６】
撮影フレーム画像を復元するときは、記録された加算画像Ｂ１の画素値ｖｉｊ（１）’と差分画像ＤＴ２の画素値ｄｔｉｊ（２）から、上式（２）により加算画像Ｂ２の画素値ｖｉｊ（２）’を求める。そして、加算画像Ｂ１、Ｂ２の画素値ｖｉｊ（１）’、ｖｉｊ（２）’から撮像画像ｆ１〜ｆ３の画素値ｖｉｊ（１）〜 ｖｉｊ（３）を復元する。
【００４７】
さて、時間的に隣接するフレーム間では、結像される被写体の動きが小さい場合には相互の相関性が高く、動きが大きい場合には相互の相関性が低くなる。従って、フレーム間の差分画素値は、被写体の動きに大きく左右されるので、差分値による安定したデータ削減が難しい。
【００４８】
この点、本実施形態によれば、フレーム間における同一位置の画素に対して重み付け加算を施す。これにより、一種の加算フィルター効果が得られ、差分値の変化を緩やかにする作用が生まれる。差分値の変化が緩やかになることで、撮像画像を直接圧縮するよりも安定したデータ削減を行うことができる。
【００４９】
次に、加算画像から撮影フレーム画像を復元する点について考える。一般的に、単に加算をして得られた値から元の加算前の値に戻すには、初期値が定まれば、方程式を順次解いていけばよい。しかしながら、差分値に何らかの劣化が発生すると、誤差の波及が発生してしまうので望ましくない。
【００５０】
この点、本実施形態によれば、１回の復元処理において、２フレームの加算画像から３フレームの撮像画像を推定する。各回の復元処理は、他の回の復元処理の結果を用いないため、誤差が波及しない。即ち、重み付け加算の復元推定処理の方が、誤差の影響は部分的フレーム間に留めることができるので、画像としての劣化も小さく抑えることができる。
【００５１】
なお、上記ではフレーム｛ｆ１，ｆ２，ｆ３｝を例にとり説明したが、任意のフレームｆＴに拡張できることは言うまでもない。即ち、加算画像ＢＴの画素値ｖｉｊ（Ｔ）’は下式（３）により表され、差分画像ＤＴＴ＋１の画素値ｄｔｉｊ（Ｔ＋１）は下式（４）により表される。
ｖｉｊ（Ｔ）’＝１・ｖｉｊ（Ｔ）＋（１／ｒ）・ｖｉｊ（Ｔ＋１） （３）
ｄｔｉｊ（Ｔ＋１）＝ｖｉｊ（Ｔ）’−ｖｉｊ（Ｔ＋１）’ （４）
【００５２】
１回の復元推定処理では、画素値｛ｖｉｊ（Ｔ），ｖｉｊ（Ｔ＋１），ｖｉｊ（Ｔ＋２）｝が求められる。そのため、処理対象とするフレーム画像をシフトさせていくと、同一画素の画素値が複数回得られることになる。そのため、１回の復元処理において１つの値（例えばｆＴ〜ｆＴ＋２の復元において画素値ｖｉｊ（Ｔ）のみを、復元推定データとして採用しても構わない。
【００５３】
ここで、上記では隣接２フレームの重み付け加算を例にとり説明したが、本実施形態ではこれに限定されない。例えば、隣接２フレームの重み付け加算値を２個更に重み付け加算し、見かけ上隣接４フレームの加算値を得てもよい。この隣接４フレームの加算値の差分値によりデータ化することも、本方式の応用として容易であることは言うまでもない。
【００５４】
３．撮像装置
図２に、上記圧縮を行う場合の構成例として、撮像装置の第１の構成例を示す。撮像装置は、撮像とデータ圧縮処理を行う撮像部１０と、高精細画像の復元処理を行う画像処理部２０を含む。画像処理部２０は、カメラ本体に内蔵されてもよいし、ＰＣ等の外部の情報処理装置により構成されてもよい。
【００５５】
具体的には、撮像部１０は、レンズ１１０、撮像素子１２０（撮像センサー）、フレーム間加算画像生成部１２２、フレーム間差分画像生成部１２４、データ記録部１５５を含む。
【００５６】
レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。撮像により得られたアナログ信号は、図示しないＡ／Ｄ変換部によりデジタル信号に変換される。
【００５７】
フレーム間加算画像生成部１２２は、上述のように、撮影フレーム画像ｆ１〜ｆ３の画素値をフレーム間で重み付け加算し、フレーム間加算画像｛Ｂ１、Ｂ２｝を生成する。フレーム間差分画像生成部１２４は、フレーム間加算画像Ｂ１を基準画像とし、基準画像Ｂ１とフレーム間加算画像Ｂ２の差分をとり、フレーム間差分画像ＤＴ２を生成する。データ記録部１５５は、基準画像Ｂ１とフレーム間差分画像ＤＴ２を記録する。
【００５８】
画像処理部２０は、フレーム間加算画像再生部２１４、フレーム間推定演算部２３４、高精細静止画生成部２４０、高精細動画生成部２５０、標準動画生成部２６０、画像出力部２９０、画像選択部２９５を含む。
【００５９】
フレーム間加算画像再生部２１４は、記録された基準画像Ｂ１とフレーム間差分画像ＤＴ２からフレーム間加算画像｛Ｂ１、Ｂ２｝を再生する。フレーム間推定演算部２３４は、フレーム間加算画像｛Ｂ１、Ｂ２｝に基づいて撮影フレーム画像ｆ１〜ｆ３を推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。この推定演算については、図１４等において後述する。
【００６０】
高精細静止画生成部２４０は、ベイヤー配列の復元画像をデモザイキング処理し、その画像に対して例えば階調補正処理等の画像処理を行い、高精細静止画を生成する。このとき、画像選択部２９５により選択されたタイミングの静止画が生成される。タイミングは、ユーザーの指示により選択され、ユーザーは、例えば画像出力部２９０の出力動画を見てタイミングを選択する。
【００６１】
高精細動画生成部２５０は、ベイヤー配列の復元動画画像をデモザイキング処理し、その動画画像に対して例えば階調補正処理等の画像処理を行い、高精細動画を生成する。標準動画生成部２６０は、高精細動画をダウンサンプリングし、例えばハイビジョン画素数の動画を標準動画として生成する。
【００６２】
画像出力部２９０は、高精細静止画、高精細動画、標準動画を、例えば表示装置やプリンターに出力する。
【００６３】
以上の実施形態によれば、図２に示すように、撮像装置は、画像取得部（例えば撮像素子１２０）とフレーム間加算画像生成部１２２とフレーム間差分画像生成部１２４とフレーム間加算画像再生部２１４とフレーム間推定演算部２３４と画像出力部２９０を含む。
【００６４】
図１に示すように、画像取得部は、第１〜第３のフレームにおける第１〜第３の撮像画像ｆ１〜ｆ３を取得する。フレーム間加算画像生成部１２２は、第１の撮像画像ｆ１の画素値ｖｉｊ（１）と第２の撮像画像ｆ２の画素値ｖｉｊ（２）を重み付け加算して第１のフレーム間加算画像Ｂ１を生成し、第２の撮像画像ｆ２の画素値ｖｉｊ（２）と第３の撮像画像ｆ３の画素値ｖｉｊ（３）を重み付け加算して第２のフレーム間加算画像Ｂ２を生成する。フレーム間差分画像生成部１２４は、第１のフレーム間加算画像Ｂ１と第２のフレーム間加算画像Ｂ２の差分を、フレーム間差分画像ＤＴ２として生成する。
【００６５】
図２に示すように、フレーム間加算画像再生部２１４は、第１のフレーム間加算画像Ｂ１とフレーム間差分画像ＤＴ２に基づいて、第２のフレーム間加算画像Ｂ２を再生する。フレーム間推定演算部２３４は、第１のフレーム間加算画像Ｂ１と、再生された第２のフレーム間加算画像Ｂ２とに基づいて、第１〜第３の撮像画像ｆ１〜ｆ３の画素値ｖｉｊ（１）〜ｖｉｊ（３）を推定する。画像出力部２９０は、推定された画素値ｖｉｊ（１）〜ｖｉｊ（３）に基づく高解像画像を出力する。
【００６６】
このようにすれば、撮像画像ｆＴを効率よく圧縮することが可能になる。即ち、撮像画像の画素値をフレーム間で加算することで、画素値の時間的な変化を緩やかにできる。これにより、上述のように、フレーム間差分画像のエントロピーを下げることができ、例えばエントロピー符号化により高圧縮率を実現できる。
【００６７】
また、例えば後述する復元推定処理を適用することで、簡素な処理で撮像画像ｆＴを再生可能である。これにより、フレーム間で加算する前の画像が再性されるため、動体でもブレが少ない時間分解能が高い復元画像を得られる。また、高圧縮率の画像データから撮像画像ｆＴを復元して任意タイミングの高精細静止画を取り出すことができる。
【００６８】
４．第２のデータ圧縮手法
次に、上述の基準画像Ｂ１と差分画像ＤＴＴ（Ｔ＝２，３，・・・）を更にフレーム内（画像内）で画素加算し、データ削減する手法について説明する。なお以下では、任意の差分画像ＤＴＴに対する処理を例にとり説明するが、基準画像Ｂ１についても同様である。また、４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。以下では、フレーム番号を表す（Ｔ）を画素値ｖｉｊ（Ｔ）、ｄｔｉｊ（Ｔ）、ａｉｊ（Ｔ）から省略し、ｖｉｊ、ｄｔｉｊ、ａｉｊと表記する。
【００６９】
図３に示すように、差分画像ＤＴＴに４画素で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、４枚の画素加算画像Ａ１〜Ａ４を生成する。この処理は、差分画像１枚毎に行われる。
【００７０】
４画素加算値ａｉｊは下式（５）で表わされる。画素加算画像Ａ１〜Ａ４を構成する加算画素値はそれぞれ｛ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）、ａｉ（ｊ＋１）｝である。
ａｉｊ＝ｄｔｉｊ＋（１／ｒ）ｄｔ（ｉ＋１）ｊ＋
（１／ｒ）ｄｔｉ（ｊ＋１）＋（１／ｒ２）ｄｔ（ｉ＋１）（ｊ＋１）
（５）
【００７１】
ここで、ｒは重み付けのパラメータであり、１≦ｒである。またｄｔｉｊは差分画像ＤＴＴにおけるアドレス（ｉ，ｊ）の画素値である。
【００７２】
次に、生成した画素加算画像Ａ１〜Ａ４の加算位置の整合を行い、４枚の画素加算画像を重ね合わせた上で同一位置の値の加算平均をとることにより平均画像Ｍを生成する。即ち、画素加算画像Ａ１〜Ａ４の４画素加算値をそれぞれ｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝とすると、平均画像Ｍの画素値ａＭｉｊは下式（６）で表される。
ａＭｉｊ＝［ａ（１）ｉｊ＋ａ（２）（ｉ＋１）ｊ＋
ａ（３）ｉ（ｊ＋１）＋ａ（４）（ｉ＋１）（ｊ＋１）］／４ （６）
【００７３】
生成した平均画像Ｍを基準とし、その平均画像Ｍと画素加算画像Ａ１〜Ａ４との差分（方向ベクトル（１，−１）への射影）をそれぞれ差分画像Ｄ１〜Ｄ４とする。差分画像Ｄ１〜Ｄ４と平均画像Ｍを合わせて融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）とする。差分画像Ｄ１〜Ｄ４を構成する４画素加算差分値を｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝とすれば、下式（７）のように表わせる。
ａＤ１ｉｊ＝ａＭｉｊ−ａ（１）ｉｊ，
ａＤ２ｉｊ＝ａＭｉｊ−ａ（２）（ｉ＋１）ｊ，
ａＤ３ｉｊ＝ａＭｉｊ−ａ（３）（ｉ＋１）（ｊ＋１），
ａＤ４ｉｊ＝ａＭｉｊ−ａ（４）ｉ（ｊ＋１） （７）
【００７４】
このようにして、静止画と動画を融合させた融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）を生成し、それを記録しておき、その記録されたＦ（Ｍ，Ｄ１〜Ｄ４）を後段において解凍処理することにより、「高精細静止画データ」又は「動画データ」を適宜生成することが可能となる。
【００７５】
なお、この例では差分（即ち方向ベクトル（１，−１）への射影）をとったが、本実施形態はこれに限定されない。例えば、平均画像Ｍの画素値と画素加算画像Ａ１〜Ａ４の画素値の相関分布に応じて、その主成分軸（分散が最も大きくなる直線）を求め、主成分軸に直交する軸に対して射影した値を用いた方が、より一層データの圧縮が可能となることは言うまでもない。
【００７６】
５．エントロピー符号化
次に、上述した平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４を圧縮する手法について説明する。
【００７７】
平均画像Ｍ及びフレーム内差分画像Ｄ１〜Ｄ４の画素値データは、発生頻度分布の偏りが顕著になるため、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）がデータ圧縮として効果的である。エントロピー符号化とは、画素値の発生確率を求め、発生確率の高いものから短い符号長を割当てる圧縮手法である。
【００７８】
例えば、平均画像Ｍの画素値データの平均値に対して最も短い符号長を割り当て、その平均値から離れる値ほど符号長を長くして行く符号化が適当である。即ち、フレーム内差分画像Ｄ１〜Ｄ４の画素値データは各々の平均がゼロであり、ゼロの発生確率をピークとして分布しているので、ゼロ値に最も短い符号を割当てるようにすればよい。また、平均画像Ｍ及びフレーム内差分画像Ｄ１〜Ｄ４の画素値データは、確率密度に応じて非線形量子化を行うことも有効である。
【００７９】
一方、平均画像Ｍでは、確かに加算平均した画素値データなので発生頻度分布の偏りは顕著になるが、画素加算値の取りうる範囲は、フレーム内差分画像Ｄ１〜Ｄ４の画素値データと比較すると、かなり大きくなる。そのため、一般的に高圧縮率が期待できる非可逆圧縮法（ＪＰＥＧ，ＭＰＥＧ等）の適用がデータの圧縮としては効果的である。
【００８０】
従って、平均画像Ｍにおいては画素数を削減して非可逆高圧縮を適用し、フレーム内差分画像Ｄ１〜Ｄ４においては、同様な発生分布の偏りを呈する特性を利用した高速エントロピー符号化を適用することが考えられる。
【００８１】
次に、最も単純なハフマン符号を適用する場合の例を示す。多数の画像の画素値分布に基づいて一つのハフマン符号テーブルを生成すると、適用範囲が広くなり、圧縮効果は画像依存になってしまう。しかしながら、画像毎又は画像範囲毎にハフマンテーブルを毎回生成するのは効果的ではない。
【００８２】
そこで、上記の平均画像Ｍに適用する場合、所定の画像領域毎に平均値αＭｉｊを下式（８）により求め、その平均値αＭｉｊと各加算平均値｛ａＭｉｊ｝の差分値｛ａ’Ｍｉｊ｝を下式（９）により求める。そして、その差分値｛ａ’Ｍｉｊ｝を改めて平均画像Ｍのデータとし、ハフマン符号化を適用すればよい。このことにより、差分値｛ａ’Ｍｉｊ｝は、普遍的にゼロを中心とした値の生起分布を形成できる。融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の中のＭは、Ｍ＝｛αＭｉｊ，ａ’Ｍｉｊ｝に置き換えて考えられる。
【数１】
ａ’Ｍｉｊ＝ａＭｉｊ−αＭｉｊ （９）
【００８３】
ここで、（ｈ０，ｖ０）は、平均値αＭｉｊを算出する領域の始点であり、（ｈ，ｖ）は、平均値αＭｉｊを算出する領域の終点である。即ち上式（８）においてｈ０≦ｉ≦ｈ，ｖ０≦ｊ≦ｖを満たす。例えば、平均値αＭｉｊを算出する領域は、平均画像Ｍの全体である。平均値αＭｉｊを算出する領域や、平均値αＭｉｊの算出に用いる平均値ａＭｉｊの数は、データの圧縮率とのバランスを評価して決めればよい。
【００８４】
上記の差分値｛ａ’Ｍｉｊ｝と４画素加算差分値｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝は、それら自体が平均ゼロの値から成っているので、図４に示す符号割り当てが考えられる。このようにすれば、ハフマン符号テーブルは固定的な一種類で済ますことができる。
【００８５】
なお、上述の平均値αＭｉｊとして、下式（１０）に示す固定値ｍＡＶＲを適用し、変動データとして扱わずに先見情報として扱ってもよい。この場合、平均値ｍＡＶＲはデータとして記録する必要はない。融合画像データＦ（Ｍ，Ｄ１〜Ｄ４）の中のＭは、Ｍ＝｛ｍＡＶＲ，ａ’Ｍｉｊ｝と置き換えて考えられる。下式（１０）は、上式（５）で定義される重み付け４画素加算値の場合への適用であり、加算画素数や重み付けの掛け方によって適宜適正な値が設定されることに注意が必要である。
ｍＡＶＲ＝ｖｍａｘ・｛１＋（１／ｒ）＋（１／ｒ）＋（１／ｒ２）｝／２
（１０）
【００８６】
ここで、ｒは重み付けのパラメータであり、１≦ｒである。ｖｍａｘは、画素値を規定する最大値である。
【００８７】
６．高精細静止画の再生手法
上述のＦ（Ｍ，Ｄ１〜Ｄ４）からフレーム間差分画像ＤＴＴ（又は基準画像Ｂ１）を復元推定する手法について説明する。
【００８８】
上式（７）を変形すると、下式（１１）が得られる。下式（１１）に示すように、平均画像Ｍを構成する４画素加算値｛ａＭｉｊ｝と、フレーム内差分画像Ｄ１〜Ｄ４を構成する４画素加算値｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝から、画素加算画像Ａ１〜Ａ４のそれぞれの４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝が得られる。
ａ（１）ｉｊ＝ａＭｉｊ−ａＤ１ｉｊ，
ａ（２）（ｉ＋１）ｊ＝ａＭｉｊ−ａＤ２ｉｊ，
ａ（３）（ｉ＋１）（ｊ＋１）＝ａＭｉｊ−ａＤ３ｉｊ，
ａ（４）ｉ（ｊ＋１）＝ａＭｉｊ−ａＤ４ｉｊ （１１）
【００８９】
求められた４画素加算値｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝は、１枚の高精細画像を水平又は垂直に１画素ずつ重畳シフトした４画素加算値により構成されている画像データである。この４画素加算値を、図１８（Ａ）等で後述する復元推定処理に適用することにより、元の基準画像Ｂ１又は差分画像ＤＴ２の画素値が求められる。
【００９０】
次に、復元された基準画像Ｂ１とフレーム間差分画像ＤＴ２を用いてフレーム間加算画像Ｂ２を再生する。具体的には下式（１２）に示すように、基準画像Ｂ１の画素値ｖｉｊ（１）’を基準値とし、加算画像Ｂ２の画素値ｖｉｊ（２）’を求める。
ｖｉｊ（２）’＝ｖｉｊ（１）’−ｄｔｉｊ（２） （１２）
【００９１】
このようにして得られたフレーム間加算画像｛Ｂ１，Ｂ２｝の画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝に対して、図１４等で後述する復元推定処理を適用し、フレーム間加算前の撮影フレーム画像｛ｆ１，ｆ２，ｆ３｝の画素値｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝を推定する。なお、上記の実施形態では、扱うフレーム画像を画像フレーム｛ｆ１，ｆ２，ｆ３｝に限って説明したが、次々と後段のフレームに拡張し、この考え方を適用できることは言うまでもない。
【００９２】
７．撮像装置の第２の構成例
図５に、上述のように基準画像Ｂ１とフレーム間差分画像ＤＴＴを生成し、更に平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４を生成する場合の構成例として、撮像装置の第２の構成例を示す。撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図２等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【００９３】
撮像部１０は、レンズ１１０、撮像素子１２０、フレーム間加算画像生成部１２２（第１の加算画像生成部）、フレーム間差分画像生成部１２４（第１の差分画像生成部）、フレーム内加算画像生成部１３０（第２の加算画像生成部）、フレーム内差分画像生成部１４１（第２の差分画像生成部）、平均画像生成部１４２、エントロピー符号化部１４３、圧縮データ記録部１５０を含む。
【００９４】
フレーム内加算画像生成部１３０は、上述のように、画素シフトさせつつ基準画像Ｂ１又はフレーム間差分画像ＤＴＴの画素値を加算し、フレーム内加算画像Ａ１〜Ａ４を生成する。平均画像生成部１４２は、フレーム内加算画像Ａ１〜Ａ４から平均画像Ｍを生成する。フレーム内差分画像生成部１４１は、フレーム内加算画像Ａ１〜Ａ４と平均画像Ｍからフレーム内差分画像Ｄ１〜Ｄ４を生成する。エントロピー符号化部１４３は、上述のエントロピー符号化等の可逆圧縮により差分画像Ｄ１〜Ｄ４を圧縮する。データ圧縮部１４４は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により平均画像Ｍを圧縮する。圧縮データ記録部１５０は、圧縮された平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４のデータを記録する。
【００９５】
画像処理部２０は、圧縮データ伸張部２００、フレーム内加算画像再生部２１０（第２の加算画像再生部）、フレーム間加算画像再生部２１４（第１の加算画像再生部）、フレーム内推定演算部２３０（第２の推定演算部）、フレーム間推定演算部２３４（第１の推定演算部）、高精細静止画生成部２４０、高精細動画生成部２５０、標準動画生成部２６０、画像出力部２９０、画像選択部２９５を含む。
【００９６】
圧縮データ伸張部２００は、圧縮された平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４を伸張する処理を行う。フレーム内加算画像再生部２１０は、平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４からフレーム内加算画像Ａ１〜Ａ４を再生する処理を行う。フレーム内推定演算部２３０は、フレーム内加算画像Ａ１〜Ａ４に基づいて、基準画像Ｂ１とフレーム間差分画像ＤＴＴを推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。
【００９７】
図６、図７に、上記第２の構成例におけるデータ構成例を示す。図６に示すように、撮像画像ｆＴは、Ｐ×Ｑ画素（Ｐ、Ｑは自然数）の画素値ｖ００（Ｔ）〜ｖＰＱ（Ｔ）で構成される。フレーム間差分画像ＤＴＴも、Ｐ×Ｑ画素の画素値ｄｔ００（Ｔ）〜ｄｔＰＱ（Ｔ）で構成される。基準画像Ｂ１も同様である。
【００９８】
図７に示すように、フレーム内加算画像Ａ１（ＤＴＴ）〜Ａ４（ＤＴＴ）は、それぞれｐ×ｑ画素の画素値ａ００（Ｔ）〜ａｐｑ（Ｔ）で構成される。ここで、ｐ＝Ｐ／２、ｑ＝Ｑ／２である。フレーム内加算画像Ａ１（Ｂ１）〜Ａ４（Ｂ１）も同様である。平均画像Ｍ（ＤＴＴ）、フレーム内差分画像Ｄ１（ＤＴＴ）〜Ｄ４（ＤＴＴ）も、それぞれｐ×ｑ画素の画素値で構成される。平均画像Ｍ（Ｂ１）、フレーム内差分画像Ｄ１（Ｂ１）〜Ｄ４（Ｂ１）も同様である。
【００９９】
上記の実施形態によれば、図５に示すように、撮像装置は、フレーム内加算画像生成部１３０と平均画像生成部１４２とフレーム内差分画像生成部１４１とデータ圧縮部（例えばエントロピー符号化部１４３）と圧縮データ伸張部２００とフレーム内加算画像再生部２１０とフレーム内推定演算部２３０を含む。
【０１００】
図３に示すように、フレーム内加算画像生成部１３０は、第１のフレーム間加算画像Ｂ１又はフレーム間差分画像ＤＴ２を入力画像として受けて、加算画素値ａｉｊを取得する単位である加算単位を入力画像の複数の画素毎（例えば４画素毎）に設定し、その加算単位を順次画素シフトさせながら加算単位に含まれる画素値ｄｔｉｊを重み付け加算（上式（５））して第１〜第４（広義には第１〜第ｎ）のフレーム内加算画像Ａ１〜Ａ４を生成する。上式（６）で説明したように、平均画像生成部１４２は、フレーム内加算画像Ａ１〜Ａ４の平均画像Ｍを生成する。上式（７）で説明したように、フレーム内差分画像生成部１４１は、第ｍのフレーム内加算画像Ａｍ（ｍはｎ以下の自然数）と平均画像Ｍとの差分を、第ｍのフレーム内差分画像Ｄｍとして生成する。データ圧縮部は、平均画像Ｍとフレーム内差分画像Ｄｍを圧縮する。
【０１０１】
図５に示すように、圧縮データ記録部１５０は、圧縮された平均画像Ｍとフレーム内差分画像Ｄｍを伸張する。フレーム内加算画像再生部２１０は、伸張された平均画像Ｍとフレーム内差分画像Ｄｍに基づいて、フレーム内加算画像Ａ１〜Ａ４を再生する。フレーム内推定演算部２３０は、再生されたフレーム内加算画像Ａ１〜Ａ４に基づいて、入力画像の画素値を推定する。
【０１０２】
このようにすれば、フレーム間加算画像Ｂ１とフレーム間差分画像ＤＴ２に対して更にフレーム内加算を行い、そのフレーム内加算画像Ａ１〜Ａ４の平均画像Ｍとフレーム内差分画像Ｄ１〜Ｄ４を生成して圧縮できる。これにより、更に圧縮率を向上できる。即ち、入力画像Ｂ１（又はＤＴ２）と４枚の加算画像Ａ１〜Ａ４は画素数としては同一になるが、差分画像Ｄｍの画素値のエントロピーを入力画像よりも小さくできるため、圧縮率を向上できる。
【０１０３】
また本実施形態によれば、簡素な処理で圧縮データから入力画像を再生可能である。即ち、フレーム内加算画像Ａ１〜Ａ４は、重畳シフト加算により得られた画像データであり、後述する復元推定処理を適用可能である。この復元推定処理は、低解像画像から高解像画像を推定する処理を、上述の特許文献１、２に比べて簡素化することができる。また、復元された入力画像から更に撮像画像ｆＴを復元できるため、高圧縮率の画像データから任意タイミングの高精細静止画を取り出すことが可能になる。
【０１０４】
また本実施形態では、図３に示すように、フレーム内加算画像生成部１３０は、加算単位を、水平又は垂直（ｉ軸方向又はｊ軸方向）に１画素ずつ順次シフトさせて第１〜第４のポジション（例えば座標（０，０）、（１，０）、（１，１）、（０，１））に設定し、その第１〜第４のポジションにおいてそれぞれフレーム内加算画像Ａ１〜Ａ４を取得する。第ｍのポジションと第ｍ＋１のポジション（例えば（０，０）、（１，０））の加算単位は、共通の画素（ｖ１０、ｖ１１）を含む。
【０１０５】
このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求める重畳シフト加算を行うことができる。
【０１０６】
また本実施形態では、上式（６）に示すように、平均画像生成部１４２は、第１〜第４のポジションの加算画素値の平均値ａＭｉｊを、平均画像の画素値として求める。上式（７）に示すように、フレーム内差分画像生成部１４１は、平均画像の画素値ａＭｉｊと、第ｍのポジションの加算画素値（例えばａ（１）ｉｊ）の差分値（ａＤ１ｉｊ）を、第ｍの差分画像の画素値（ａＤ１ｉｊ）として求める。
【０１０７】
また本実施形態では、図３等で説明したように、データ圧縮部は、第ｍのフレーム内差分画像Ｄｍをエントロピー符号化により可逆圧縮する。
【０１０８】
このようにすれば、上述のようにエントロピーが小さくなったフレーム内差分画像Ｄｍを高圧縮率で圧縮することができるため、画像データの圧縮率を向上できる。これにより、圧縮データを記録するストレージの容量を削減したり、データ通信における通信負荷を軽減できる。
【０１０９】
８．第３のデータ圧縮手法
上記の実施形態では、フレーム間の加算を行った後にフレーム内の加算を行ったが、フレーム内の加算を行った後にフレーム間の加算を行ってもよい。図８に、このような場合の構成例として、撮像装置の第３の構成例を示す。
【０１１０】
撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図２等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
【０１１１】
撮像部１０は、レンズ１１０、撮像素子１２０、フレーム間加算画像生成部１２２、フレーム間差分画像生成部１２４、フレーム内加算画像生成部１３０、フレーム内差分画像生成部１４１、平均画像生成部１４２、エントロピー符号化部１４３、圧縮データ記録部１５０を含む。画像処理部２０の構成要素は、図５の画像処理部２０と同様である。
【０１１２】
フレーム内加算画像生成部１３０は、連続して得られる撮像画像ｆＴ（Ｔは自然数）のフレーム一つ一つにおいてフレーム内の重畳シフト重み付け加算を行い、フレーム内加算画像｛Ａ１（Ｔ），Ａ２（Ｔ），Ａ３（Ｔ），Ａ４（Ｔ）｝を生成する。平均画像生成部１４２は、フレーム内加算画像の平均画像Ｍ（Ｔ）を求める。フレーム内差分画像生成部１４１は、フレーム内加算画像と平均画像の差分であるフレーム内差分画像｛Ｄ１（Ｔ），Ｄ２（Ｔ），Ｄ３（Ｔ），Ｄ４（Ｔ）｝を求める。
【０１１３】
フレーム間加算画像生成部１２２は、平均画像Ｍ（Ｔ）とフレーム内差分画像｛Ｄ１（Ｔ），Ｄ２（Ｔ），Ｄ３（Ｔ），Ｄ４（Ｔ）｝のそれぞれについてフレーム間の重畳シフト重み付け加算を行い、フレーム間加算画像｛ＢＴ｝を生成する。即ち、画像単位にて表記すると、重み付け加算は下式（１３）で表される。
ＢＴ（Ｍ）＝１・Ｍ（Ｔ）＋（１／ｒ）・Ｍ（Ｔ＋１），
ＢＴ（Ｄｍ）＝１・Ｄｍ（Ｔ）＋（１／ｒ）・Ｄｍ（Ｔ＋１） （１３）
【０１１４】
ここで、ｒは重み付け係数である。ｍは４以下の自然数である。
【０１１５】
フレーム間差分画像生成部１２４は、下式（１４）に示すように、フレーム間加算画像｛Ｂ１｝を基準とし、｛ＢＴ｝を順次差し引きして差分画像ＤＴＴを求める。
Ｂ１＝（基準値），
ＤＴＴ＋１＝ＢＴ−ＢＴ＋１ （１４）
【０１１６】
エントロピー符号化部１４３は、加算画像｛Ｂ１｝と差分画像ＤＴＴに対してそれぞれエントロピー符号化（可逆圧縮）を行い、記録データを生成する。
【０１１７】
圧縮データ伸張部２００は、圧縮された加算画像｛Ｂ１｝と差分画像ＤＴＴを伸張する処理を行う。フレーム間加算画像再生部２１４は、伸張された基準画像Ｂ１と差分画像ＤＴ２から加算画像｛Ｂ１、Ｂ２｝を再生する。フレーム間推定演算部２３４は、加算画像｛Ｂ１、Ｂ２｝に基づいて、平均画像Ｍ（Ｔ）と差分画像Ｄ１（Ｔ）〜Ｄ４（Ｔ）を推定により復元する。
【０１１８】
フレーム内加算画像再生部２１０は、平均画像Ｍ（Ｔ）と差分画像Ｄ１（Ｔ）〜Ｄ４（Ｔ）から加算画像Ａ１〜Ａ４を再生する処理を行う。フレーム内推定演算部２３０は、加算画像Ａ１〜Ａ４に基づいて、撮像画像ｆＴを推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。
【０１１９】
以上の実施形態によれば、フレーム内加算画像生成部１３０は、第ｘの撮像画像ｆｘ（ｘは３以下の自然数）を受けて、加算画素値を取得する単位である加算単位を撮像画像ｆｘの複数の画素毎に設定し、加算単位を順次画素シフトさせながら加算単位に含まれる画素値を重み付け加算して第１〜第ｎのフレーム内加算画像Ａ１（ｘ）〜Ａ４（ｘ）を生成する。平均画像生成部１４２は、フレーム内加算画像Ａ１（ｘ）〜Ａ４（ｘ）の平均画像Ｍ（ｘ）を生成する。フレーム内差分画像生成部１４１は、第ｍのフレーム内加算画像Ａｍ（ｘ）と平均画像Ｍ（ｘ）との差分を、第ｍのフレーム内差分画像Ｄｍ（ｘ）として生成する。
【０１２０】
フレーム間加算画像生成部１２２は、フレーム内差分画像Ｄｍ（ｘ）又は平均画像Ｍ（ｘ）を第ｘの入力画像として受けて、第１、第２の入力画像（例えばＤｍ（１）、Ｄｍ（２））に基づく第１のフレーム間加算画像Ｂ１を生成し、第２、第３の入力画像（Ｄｍ（２）、Ｄｍ（３））に基づく第２のフレーム間加算画像Ｂ２を生成する。
【０１２１】
このようにすれば、撮像画像に対してフレーム内加算を行った後にフレーム内加算を行ってデータ圧縮を行うことができる。このような処理順序によっても、フレーム内差分画像によるエントロピー低減効果、フレーム間加算画像による画素値の変化を小さくする効果、フレーム間差分画像によるエントロピー低減効果を得ることができる。また、復元推定処理により撮像画像を復元して、任意タイミングの高精細静止画を得ることができる。
【０１２２】
９．第４のデータ圧縮手法
上記の実施形態では、２フレーム間の差分によりフレーム間差分画像を生成したが、基準フレームと前後フレームの差分によりフレーム間差分画像を生成してもよい。図９を用いて、基準フレームと前後フレームの差分によりデータ圧縮を行う手法について説明する。
【０１２３】
図９に示すように、まず、上述の手法と同様にしてフレーム間加算画像ＢＴ（Ｔは自然数）を生成する。このフレーム間加算画像ＢＴにおいて、例えば基準画像をＢ３ｋ＋２（ｋは０以上の整数）とする。そして、基準画像Ｂ３ｋ＋２と、その前後のフレーム間加算画像Ｂ３ｋ＋１，Ｂ３ｋ＋３の差分をとり、差分画像ＤＴ３ｋ＋１，ＤＴ３ｋ＋３を得る。画像の差分は、同一位置の画素値の差分値を求めることにより行う。
【０１２４】
次に、基準画像と差分画像の組合せデータ｛Ｂ３ｋ＋２，ＤＴ３ｋ＋１，ＤＴ３ｋ＋３｝をデータ単位とし、それぞれに可逆圧縮符号化（例えばエントロピー符号化）を施し、順次融合圧縮データとして記録する。
【０１２５】
元の画像ｆＴを再生するには、上記とは逆のプロセスを行えばよい。即ち、記録された融合圧縮データに対して可逆圧縮符号の復号を行い、組合せデータ｛Ｂ３ｋ＋２，ＤＴ３ｋ＋１，ＤＴ３ｋ＋３｝を生成する。そして、組み合わせデータからフレーム間加算画像ＢＴを再生する。フレーム間加算画像ＢＴに対して画像復元推定法を適用し、撮像フレーム画像ｆＴを得る。
【０１２６】
１０．データ圧縮手法の第１の変形例
次に、データ圧縮手法の第１の変形例について説明する。図１０に示すように、まず、撮影フレーム画像ｆＴ（Ｔは自然数）の各フレーム内において、図３等で上述の重畳シフト４画素加算を行い、フレーム内加算画像ｆＴ’＝｛Ａ１〜Ａ４｝を生成する。
【０１２７】
次に、フレーム内加算画像ｆＴ’の時間軸方向において、図１等で上述のフレーム間差分処理を行う。即ち、基準画像をＢ１＝ｆ１’とし、隣接フレームの差分によりフレーム間差分画像ＤＴＴを生成する。なお、図１０では簡単のために基準画像Ｂ１やフレーム間差分画像ＤＴＴをそれぞれ１枚の画像で表しているが、実際には下式（１５）に示すように、それぞれ４枚の画像で構成される。
Ａｋ’（Ｔ）＝Ａｋ（Ｔ）−Ａｋ（Ｔ＋１） （１５）
【０１２８】
ここで、上式（１５）の差分は、同一位置の画素値の減算により行われる。ｋは４以下の自然数である。
【０１２９】
上式（１５）は、図１で上述のフレーム間加算において、重み付け係数をｒ＝−１とすることに対応する。
【０１３０】
次に、図１１に示すように、基準画像Ｂ１やフレーム間差分画像ＤＴＴを構成する４枚の画像Ａ１’（Ｔ）〜Ａ４’（Ｔ）の平均画像Ｍを生成し、その平均画像Ｍと４枚の画像Ａ１’（Ｔ）〜Ａ４’（Ｔ）の差分画像Ｄ１〜Ｄ４を生成する。この平均画像Ｍと差分画像Ｄ１〜Ｄ４の生成は、図３で上述の手法と同様に行う。そして、平均画像Ｍと差分画像Ｄ１〜Ｄ４を可逆圧縮処理し、データ圧縮された記録データを生成する。
【０１３１】
記録データから撮影フレーム画像ｆＴを復元するときには、まず圧縮された記録データに対して伸張処理を行い、平均画像Ｍと差分画像Ｄ１〜Ｄ４を再生する。次に、平均画像Ｍと差分画像Ｄ１〜Ｄ４から基準画像Ｂ１とフレーム間差分画像ＤＴＴを求める。次に、基準画像Ｂ１と差分画像ＤＴＴからフレーム内加算画像ｆＴ’＝｛Ａ１〜Ａ４｝を再生する。このフレーム内加算画像ｆＴ’は、水平又は垂直に重畳シフトされた加算画素値であり、その加算画素値に対して図１８（Ａ）等で後述する復元推定処理を適用することにより、元の撮影フレーム画像ｆＴを再生する。
【０１３２】
１１．データ圧縮手法の第２の変形例
上記の変形例では、フレーム間差分をとってから平均画像Ｍと差分画像Ｄ１〜Ｄ４を生成したが、平均画像Ｍと差分画像Ｄ１〜Ｄ４を生成してからフレーム間差分をとってもよい。図１２、図１３を用いて、このような第２の変形例について説明する。
【０１３３】
図１２に示すように、まず、撮影フレーム画像ｆＴ（Ｔは自然数）の各フレーム内において、図３等で上述の重畳シフト４画素加算を行い、フレーム内加算画像ｆＴ’＝｛Ａ１〜Ａ４｝を生成する。
【０１３４】
次に、フレーム内加算画像ｆＴ’＝｛Ａ１〜Ａ４｝の平均画像Ｍ（Ｔ）を生成し、その平均画像Ｍ（Ｔ）とフレーム内加算画像｛Ａ１〜Ａ４｝の差分をとり、フレーム内差分画像｛Ｄ１（Ｔ）〜Ｄ４（Ｔ）｝を生成する。図１２では、フレーム内差分画像をＤｍ（Ｔ）（ｍは４以下の自然数）で表す。
【０１３５】
次に、図１３に示すように、平均画像Ｍ（１）を基準画像とし、平均画像Ｍ（Ｔ）のフレーム間の差分画像ＤＭ（Ｔ）＝Ｍ（Ｔ＋１）−Ｍ（Ｔ）を生成する。また、フレーム内差分画像Ｄｍ（１）を基準画像とし、フレーム内差分画像Ｄｍ（Ｔ）のフレーム間の差分画像ＤＴｍ（Ｔ）＝Ｄｍ（Ｔ＋１）−Ｄｍ（Ｔ）を生成する。
【０１３６】
次に、平均画像の基準画像Ｍ（１）と差分画像ＤＭ（Ｔ）、及びフレーム内差分画像の基準画像Ｄｍ（１）と差分画像ＤＴｍ（Ｔ）に対して可逆圧縮処理を行い、記録データを生成する。
【０１３７】
記録データから撮影フレーム画像ｆＴを復元するときには、まず、圧縮された記録データに対して伸張処理を行い、基準画像Ｍ（１）、差分画像ＤＭ（Ｔ）、基準画像Ｄｍ（１）、差分画像ＤＴｍ（Ｔ）を再生する。次に、基準画像Ｍ（１）と差分画像ＤＭ（Ｔ）から平均画像Ｍ（Ｔ）を再生し、基準画像Ｄｍ（１）と差分画像ＤＴｍ（Ｔ）からフレーム内差分画像Ｄｍ（Ｔ）を再生する。次に、平均画像Ｍ（Ｔ）とフレーム内差分画像Ｄｍ（Ｔ）からフレーム内加算画像｛Ａ１〜Ａ４｝を再生する。次に、フレーム内加算画像｛Ａ１〜Ａ４｝に対して、図１８（Ａ）等で後述する復元推定処理を適用し、元の撮影フレーム画像ｆＴを復元する。
【０１３８】
１２．フレーム間加算画像に対する復元推定処理
次に、図１等で上述したフレーム間加算画像ＢＴに基づいて、加算前の撮影フレーム画像ｆＴの画素値ｖｉｊ（Ｔ）を推定する手法について説明する。
【０１３９】
なお以下では、フレームｆ１〜ｆ３の画素値｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝（ｉ，ｊは０以上の整数）を復元する場合を例に説明するが、他のフレームの画素値についても同様である。また、２フレームの画素値を重み付け加算する場合を例に説明するが、これに限定されず、３以上のフレームの画素値を重み付け加算してもよい。
【０１４０】
図１４に示す加算画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝は、図１で説明したフレーム間加算画像Ｂ１、Ｂ２の画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝に対応する。推定処理では、この加算画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝を用いて、最終的な推定画素値ｖｉｊ（１）〜ｖｉｊ（３）を推定する。
【０１４１】
説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝は下式（１６）で表される。
ｂｉｊ（１）＝ｖｉｊ（１）＋（１／２）・ｖｉｊ（２）
ｂｉｊ（２）＝ｖｉｊ（２）＋（１／２）・ｖｉｊ（３） （１６）
【０１４２】
図１５に示すように、上式（１６）において、｛ｂｉｊ（１）、ｂｉｊ（２）｝に所定の重み係数を掛けて差分δｉ０を取ると、下式（１７）が成り立つ。
δｉ０＝ｂｉｊ（２）−２ｂｉｊ（１）
＝（１／２）ｖｉｊ（３）−２ｖｉｊ（１） （１７）
【０１４３】
なお、図１５〜図１７では、簡単のため画素値のサフィックスｉｊを省略する。
【０１４４】
ｖｉｊ（１）を未知数（初期変数）とすると、下式（１８）に示すように、画素値｛ｖｉｊ（２），ｖｉｊ（３）｝をｖｉｊ（１）の関数として求めることができる。このようにして、ｖｉｊ（１）を未知数として、フレーム加算されていない画素値｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝の組合せパターンが求められる。
ｖｉｊ（１）＝（未知数），
ｖｉｊ（２）＝２（ｂｉｊ（１）−ｖｉｊ（１）），
ｖｉｊ（３）＝４ｖｉｊ（１）＋２δｉ０
＝４ｖｉｊ（１）＋２（ｂｉｊ（２）−２ｂｉｊ（１））
（１８）
【０１４５】
次に、未知数ｖｉｊ（１）を求める手法について説明する。図１６に示すように、加算画素値のパターン｛ｂｉｊ（１）、ｂｉｊ（２）｝と推定画素値のパターン｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝を比較する。そして、その誤差Ｅが最小になる未知数ｖｉｊ（１）を導出し、推定画素値ｖｉｊ（１）として設定する。
【０１４６】
具体的には、加算画素値｛ｂｉｊ（Ｔ）｝と推定画素値｛ｖｉｊ（Ｔ），ｖｉｊ（Ｔ＋１）｝には、下式（１９）の関係が成り立つ。この下式（１９）による重み付けを考慮すると、下式（２０）に示す評価関数Ｅが求められる。そして、この評価関数Ｅにより、パターン｛ｂｉｊ（１）、ｂｉｊ（２）｝とパターン｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝の類似性評価を行う。
ｂｉｊ（Ｔ）＝ｖｉｊ（Ｔ）＋（１／２）ｖｉｊ（Ｔ＋１） （１９）
【数２】
【０１４７】
図１７に示すように、評価関数Ｅを最小にする未知数ｖｉｊ（１）（＝α）を求め、ｖｉｊ（１）の値を決定できる。そして、推定したｖｉｊ（１）の値を上式（１８）に代入し、｛ｖｉｊ（２），ｖｉｊ（３）｝が求められる。
【０１４８】
上記の実施形態によれば、上式（１７）に示すように、フレーム間推定演算部２３４は、第１のフレーム間加算画像の画素値ｂｉｊ（１）と第２のフレーム間加算画像の画素値ｂｉｊ（２）との差分値δｉ０を求める。上式（１８）に示すように、第１の撮像画像の画素値ｖｉｊ（１）と第３の撮像画像の画素値ｖｉｊ（３）との関係式を、差分値δｉ０を用いて表す。そして、その関係式を用いて第１〜第３の撮像画像の画素値ｖｉｊ（１）〜ｖｉｊ（３）を推定する。
【０１４９】
より具体的には、上式（１８）に示すように、フレーム間推定演算部２３４は、撮像画像の画素値ｖｉｊ（１）〜ｖｉｊ（３）の間の関係式を、フレーム間加算画像の画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝を用いて表す。図１６で説明したように、その関係式で表された撮像画像の画素値ｖｉｊ（１）〜ｖｉｊ（３）と、フレーム間加算画像の画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝とを比較して類似性を評価する。図１７で説明したように、その類似性の評価結果に基づいて、類似性が最も高くなるように、撮像画像の画素値ｖｉｊ（１）〜ｖｉｊ（３）を推定する。
【０１５０】
このようにすれば、撮像画像の画素値の関係式を、フレーム間において重畳加算された画素値を用いて表し、その関係式に基づいて撮像画像の画素値を復元できる。これにより、時間軸方向における復元推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【０１５１】
１３．フレーム内加算画像に対する復元推定処理
次に、図３等で上述したフレーム内加算画像Ａ１〜Ａ４に基づいて、加算前の基準画像Ｂ１の画素値ｖｉｊ（１）’又はフレーム間差分画像ＤＴＴの画素値ｄｔｉｊ（Ｔ）を推定する手法について説明する。
【０１５２】
図１８（Ａ）、図１８（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１８（Ａ）に示す加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝は、図３で説明した加算画像Ａ１〜Ａ４の加算画素値｛ａ（１）００，ａ（２）１０，ａ（３）１１，ａ（４）０１｝に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００〜ｖ２２を推定する。推定画素値ｖｉｊは、図３で説明した基準画像Ｂ１の画素値ｖｉｊ（１）’又はフレーム間差分画像ＤＴＴの画素値ｄｔｉｊ（Ｔ）に対応する。
【０１５３】
図１８（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【０１５４】
中間画素値ｂ００〜ｂ２１は、上述の推定処理と同様に求めることができる。即ち、上式（１６）を下式（２１）に置き換えれば、以降の処理は同様である。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０ （２１）
【０１５５】
求めた中間画素値ｂ００〜ｂ２１から推定画素値ｖ００〜ｖ２２を推定する処理も、上述の推定処理と同様に行うことができる。即ち、上式（１６）を下式（２２）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２ （２２）
【０１５６】
上記の実施形態によれば、図１８（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ００）と、第１のポジションの次の第２のポジションに設定された加算単位（例えばａ１０）は重畳する。上式（１７）と同様にして、フレーム内推定演算部２３０は、第１、第２のポジションの加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１８（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（１８）と同様にして、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。そして、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
【０１５７】
このようにすれば、フレーム内において重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【０１５８】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１８（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１５９】
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、次のポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０１６０】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）とする。上式（１８）と同様にして、フレーム内推定演算部２３０は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図１７で説明した手法と同様にして、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１６１】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１６２】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１６３】
また本実施形態では、上式（２０）と同様にして、フレーム内推定演算部２３０は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）と加算画素値（ａ００、ａ１０）との誤差を表す評価関数Ｅを求める。評価関数Ｅの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１６４】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。
【０１６５】
また本実施形態では、上式（５）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
【０１６６】
このようにすれば、加算単位の各画素値を重み付け加算してフレーム内加算画像を取得し、取得したフレーム内加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０１６７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、画像処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６８】
１０ 撮像部、２０ 画像処理部、１００ 被写体、１１０ レンズ、
１２０ 撮像素子、１２２ フレーム間加算画像生成部、
１２４ フレーム間差分画像生成部、１３０ フレーム内加算画像生成部、
１４１ フレーム内差分画像生成部、１４２ 平均画像生成部、
１４３ エントロピー符号化部、１４４ データ圧縮部、
１５０ 圧縮データ記録部、１５５ データ記録部、２００ 圧縮データ伸張部、
２１０ フレーム内加算画像再生部、２１４ フレーム間加算画像再生部、
２３０ フレーム内推定演算部、２３４ フレーム間推定演算部、
２４０ 高精細静止画生成部、２５０ 高精細動画生成部、
２６０ 標準動画生成部、２９０ 画像出力部、２９５ 画像選択部、
Ａ１〜Ａ４ フレーム内加算画像、Ｂ１〜Ｂ３ フレーム間加算画像、
Ｄ１〜Ｄ４ フレーム内差分画像、ＤＴ２，ＤＴ３ フレーム間差分画像、
Ｅ 評価関数、ａｉｊ 加算画素値、ｂｉｊ 中間画素値、ｄｔｉｊ 差分画素値、
ｆ１〜ｆ３ 撮影フレーム画像、ｍＡＶＲ 平均値、ｒ 重み付け係数、
ｖｉｊ 画素値、ｖｉｊ（１） 未知数、αＭｉｊ 平均値、δｉ０ 差分値
【特許請求の範囲】
【請求項１】
第１〜第３のフレームにおける第１〜第３の撮像画像を取得する画像取得部と、
前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成するフレーム間加算画像生成部と、
前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成するフレーム間差分画像生成部と、
前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生するフレーム間加算画像再生部と、
前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１〜第３の撮像画像の画素値を推定するフレーム間推定演算部と、
前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記フレーム間推定演算部は、
前記第１のフレーム間加算画像の画素値と、前記第２のフレーム間加算画像の画素値との差分値を求め、
前記第１の撮像画像の画素値と、前記第３の撮像画像の画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１〜第３の撮像画像の画素値を推定することを特徴とする撮像装置。
【請求項３】
請求項２において、
前記フレーム間推定演算部は、
前記第１〜第３の撮像画像の画素値間の関係式を、前記第１、第２のフレーム間加算画像の画素値を用いて表し、
前記関係式で表された前記第１〜第３の撮像画像の画素値と、前記第１、第２のフレーム間加算画像の画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記第１〜第３の撮像画像の画素値を推定することを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記第１のフレーム間加算画像又は前記フレーム間差分画像を入力画像として受けて、加算画素値を取得する単位である加算単位を前記入力画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１〜第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、
前記第１〜第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、
前記第１〜第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像（ｍはｎ以下の自然数）と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、
前記平均画像と前記第ｍのフレーム内差分画像を圧縮するデータ圧縮部と、
圧縮された前記平均画像と前記第ｍのフレーム内差分画像を伸張する圧縮データ伸張部と、
伸張された前記平均画像と前記第ｍのフレーム内差分画像に基づいて、前記第１〜第ｎのフレーム内加算画像を再生するフレーム内加算画像再生部と、
再生された前記第１〜第ｎのフレーム内加算画像に基づいて、前記入力画像の画素値を推定するフレーム内推定演算部と、
を含むことを特徴とする撮像装置。
【請求項５】
請求項４において、
前記フレーム内加算画像生成部は、
前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎのフレーム内加算画像を取得し、
前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
【請求項６】
請求項４又は５において、
前記データ圧縮部は、
前記第１〜第ｎのフレーム内差分画像をエントロピー符号化により可逆圧縮することを特徴とする撮像装置。
【請求項７】
請求項４乃至６のいずれかにおいて、
第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、
前記推定演算部は、
前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、
前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項８】
請求項７において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項９】
請求項１乃至３のいずれかにおいて、
前記第１〜第３の撮像画像のうちの第ｘの撮像画像（ｘは３以下の自然数）を受けて、加算画素値を取得する単位である加算単位を前記第ｘの撮像画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１〜第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、
前記第１〜第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、
前記第１〜第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、
を含み、
前記フレーム間加算画像生成部は、
前記第ｍのフレーム内差分画像又は前記平均画像を、第１〜第３の入力画像のうちの第ｘの入力画像として受けて、前記第１、第２の入力画像に基づく前記第１のフレーム間加算画像を生成し、前記第２、第３の入力画像に基づく前記第２のフレーム間加算画像を生成することを特徴とする撮像装置。
【請求項１０】
第１〜第３のフレームにおける第１〜第３の撮像画像を取得し、
前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成し、
前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成し、
前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生し、
前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１〜第３の撮像画像の画素値を推定し、
前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力することを特徴とする画像生成方法。
【請求項１】
第１〜第３のフレームにおける第１〜第３の撮像画像を取得する画像取得部と、
前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成するフレーム間加算画像生成部と、
前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成するフレーム間差分画像生成部と、
前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生するフレーム間加算画像再生部と、
前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１〜第３の撮像画像の画素値を推定するフレーム間推定演算部と、
前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記フレーム間推定演算部は、
前記第１のフレーム間加算画像の画素値と、前記第２のフレーム間加算画像の画素値との差分値を求め、
前記第１の撮像画像の画素値と、前記第３の撮像画像の画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１〜第３の撮像画像の画素値を推定することを特徴とする撮像装置。
【請求項３】
請求項２において、
前記フレーム間推定演算部は、
前記第１〜第３の撮像画像の画素値間の関係式を、前記第１、第２のフレーム間加算画像の画素値を用いて表し、
前記関係式で表された前記第１〜第３の撮像画像の画素値と、前記第１、第２のフレーム間加算画像の画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記第１〜第３の撮像画像の画素値を推定することを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記第１のフレーム間加算画像又は前記フレーム間差分画像を入力画像として受けて、加算画素値を取得する単位である加算単位を前記入力画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１〜第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、
前記第１〜第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、
前記第１〜第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像（ｍはｎ以下の自然数）と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、
前記平均画像と前記第ｍのフレーム内差分画像を圧縮するデータ圧縮部と、
圧縮された前記平均画像と前記第ｍのフレーム内差分画像を伸張する圧縮データ伸張部と、
伸張された前記平均画像と前記第ｍのフレーム内差分画像に基づいて、前記第１〜第ｎのフレーム内加算画像を再生するフレーム内加算画像再生部と、
再生された前記第１〜第ｎのフレーム内加算画像に基づいて、前記入力画像の画素値を推定するフレーム内推定演算部と、
を含むことを特徴とする撮像装置。
【請求項５】
請求項４において、
前記フレーム内加算画像生成部は、
前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎのフレーム内加算画像を取得し、
前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
【請求項６】
請求項４又は５において、
前記データ圧縮部は、
前記第１〜第ｎのフレーム内差分画像をエントロピー符号化により可逆圧縮することを特徴とする撮像装置。
【請求項７】
請求項４乃至６のいずれかにおいて、
第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、
前記推定演算部は、
前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、
前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項８】
請求項７において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項９】
請求項１乃至３のいずれかにおいて、
前記第１〜第３の撮像画像のうちの第ｘの撮像画像（ｘは３以下の自然数）を受けて、加算画素値を取得する単位である加算単位を前記第ｘの撮像画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１〜第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、
前記第１〜第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、
前記第１〜第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、
を含み、
前記フレーム間加算画像生成部は、
前記第ｍのフレーム内差分画像又は前記平均画像を、第１〜第３の入力画像のうちの第ｘの入力画像として受けて、前記第１、第２の入力画像に基づく前記第１のフレーム間加算画像を生成し、前記第２、第３の入力画像に基づく前記第２のフレーム間加算画像を生成することを特徴とする撮像装置。
【請求項１０】
第１〜第３のフレームにおける第１〜第３の撮像画像を取得し、
前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成し、
前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成し、
前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生し、
前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１〜第３の撮像画像の画素値を推定し、
前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力することを特徴とする画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−２３１３７９（Ｐ２０１２−２３１３７９Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９９２６７（Ｐ２０１１−９９２６７）
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]