画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
【課題】 本発明は、複数フレームの低解像度実画像より高解像度画像を取得する際、被写体に対する画素位置が重なる複数フレームの低解像度実画像に対して合成処理を施して１フレームの低解像度実画像とする画像処理方法及び画像処理装置を提供することを目的とする。
【解決手段】 入力画像加重加算部４７において、画素位置が一致した複数フレームの低解像度実画像に対して加重加算処理を施して、ノイズを抑制した低解像度実画像を生成する。そして、入力画像加重加算部４７において処理がなされて得られた複数フレームの低解像度実画像が超解像処理部４８に与えられて、高解像度画像が取得される。
【解決手段】 入力画像加重加算部４７において、画素位置が一致した複数フレームの低解像度実画像に対して加重加算処理を施して、ノイズを抑制した低解像度実画像を生成する。そして、入力画像加重加算部４７において処理がなされて得られた複数フレームの低解像度実画像が超解像処理部４８に与えられて、高解像度画像が取得される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度画像を生成する画像処理方法及び画像処理装置に関するもので、特に、複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理方法及び画像処理装置に関する。又、この画像処理装置により生成された高解像度画像を記録又は再生する電子機器に関する。
【背景技術】
【０００２】
近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によりデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が、広く普及されつつある。そして、このような撮像装置や表示装置で処理されるデジタル画像において、異なる時間に撮影された複数のデジタル画像を用いて、その解像度を高解像度に変換する画像処理技術が提案されている。
【０００３】
この高解像度変換方法として、位置ズレのある複数の低解像度画像より１つの高解像度画像を推定する超解像処理が提案されている（非特許文献１参照）。そして、この超解像処理において、生成された高解像度画像を逆変換して、高解像度画像を構築するための元の低解像度画像を推定した後、実際の低解像度画像との比較を行うことで、更に、実際の値に近い高解像度画像を生成する再構成型と呼ばれる方式が提案されている。
【０００４】
この再構成型方式による超解像処理では、まず、複数の低解像度画像より取得される高解像度画像を仮定する（ＳＴＥＰ１）。この仮定した高解像度画像に基づいて、高解像度画像を構築するための複数の低解像度画像それぞれに逆変換して推定する（ＳＴＥＰ２）。そして、逆変換後の低解像度画像と元の低解像度画像とを比較した後（ＳＴＥＰ３）、その比較結果より、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値の差が小さくなるように、高解像度画像を生成する（ＳＴＥＰ４）。そして、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値（以下、「画素値」と呼ぶ）の差が収束するように、ＳＴＥＰ２〜ＳＴＥＰ４の処理を繰り返すことにより、最終的に取得される高解像度画像を実画像に近い画像とすることができる。
【０００５】
この再構成型方式として、ＭＬ（Maximum-Likelihood）法や、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection Onto Convex Set）法や、ＩＢＰ（Iterative Back Projection）法などが、提案されている。ＭＬ法では、高解像度画像から推定した低解像度画像（以下、「低解像度推定画像」と呼ぶ）の画素値と実際の低解像度画像（以下、「低解像度実画像」と呼ぶ）の画素値との二乗誤差を評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献２参照）。即ち、このＭＬ法による超解像処理は、最尤推定の原理に基づく処理方法である。
【０００６】
又、ＭＡＰ法では、低解像度推定画像と低解像度実画像それぞれの画素値の二乗誤差に高解像度画像の確率情報を付加したものを、評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献３，４参照）。即ち、ＭＡＰ法では、低解像度実画像に対する先見情報に基づく事後確率分布における出現確率を最大とするときの高解像度画像を推定することによって、最適な高解像度画像が取得される。
【０００７】
更に、ＰＯＣＳ法では、高解像度画像と低解像度画像のそれぞれの画素値に関する連立方程式を作成し、その連立方程式を逐次的に解くことにより、高解像度画像の画素値の最適値を取得して高解像度画像を生成する方法である（非特許文献５参照）。又、ＩＢＰ法では、撮影位置が異なるが被写体の画素位置に重なりをもつ複数の低解像度画像から高解像度を生成する方法、即ち、反復逆投影法を用いた超解像処理方法である（非特許文献６参照）。
【０００８】
このような超解像処理を用いて高解像度画像を取得する画像処理装置として、高解像度画像を取得するために使用される低解像度実画像の重み付け係数を位置ズレ補正量と基準フレームとの時間的距離とに基づいて決定する画像処理装置が提案されている（特許文献１参照）。又、特許文献１の画像処理装置以外に、高解像度画像を取得する際に使用される低解像度実画像において、隣接フレームとなる低解像度実画像との位置ズレ量によって、低解像度実画像の選択を行うものが提案されている（特許文献２参照）。
【特許文献１】特開２００６−０３３０６２号公報
【特許文献２】特開２００６−０４１６０３号公報
【非特許文献１】Sung, C. P. Min, K. P. Moon, G. K. 共著 "Super-resolution image reconstruction: a technical overview", (Signal processing Magazine, IEEE on Volume 26,Issue 3, May 2003, P.21-36)
【非特許文献２】Tom, B.C. Katsaggelos, A.K. 共著 "Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images", (Image Processing, Proceedings, International Conference on Volume 2, Oct 1995, P.23-26)
【非特許文献３】Schultz, R.R. Stevenson, R.L. 共著 "Extraction of high-resolution frames from video sequences" (Image Processing, IEEE Transactions on Volume 5, Issue 6, June 1996, P.996-1011)
【非特許文献４】Hardie R.C. Barnard K.J. Armstrong E.E. 共著 "Joint MAP registration and high-resolution image estimation using a sequence of undersampled images" (Image Processing, IEEE Transactions on Volume 6, Issue 12, Dec. 1997 P.1621-1633)
【非特許文献５】Stark, H. Oskoui, P. 共著 "High resolution image recovery from image-plane arrays, using convex projections" (J. Opt. Soc. Am. A, on vol. 6. P.1715-1726, 1989)
【非特許文献６】Michel, I. Peleg, S. 共著 "Improving Resolution by Image Registration" (CVGIP: Graph Models Image Process, on vol. 53. P.231-239, Mar. 1991)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したように、特許文献１の画像処理装置においては、高解像度画像を生成するための低解像度画像それぞれについて、基準となる低解像度実画像との時間的距離（フレーム数に相当）に応じた重み係数と、基準となる低解像度実画像との位置ズレ補正量（フレーム間の動き量）に応じた重み係数が算出される。そして、高解像度画像の注目画素近傍となる低解像度実画像の画素に対して、注目画素との座標位置関係による距離に基づいて、その画素値に乗算される重み係数が設定される。このとき、注目画素との座標位置関係により設定された重み係数に更に、上述の時間的距離及び位置ズレ補正量それぞれによる重み係数が乗算される。
【００１０】
しかしながら、特許文献１の画像処理装置では、高解像度画像生成時における、低解像度実画像それぞれの重み係数が設定されるものであり、高解像度画像生成のために必要な低解像度実画像の選択を行うものではない。そのため、各低解像度実画像に対する重み係数の演算だけでなく、動き量（位置ズレ補正量に相当する）が等しい複数の低解像度実画像についても、上述の超解像処理におけるＳＴＥＰ２の推定演算やＳＴＥＰ３の比較演算を行う必要があり、その演算量が大きくなる。又、高解像度画像を生成するための低解像度実画像のフレーム数が多い場合、演算量が大きくなるだけでなく、その低解像度実画像に含まれるノイズの影響もフレーム数に応じて大きくなる。
【００１１】
この特許文献１の画像処理装置に対して、特許文献２の画像処理装置においては、隣接するフレームとの動き量が小さい低解像度実画像を選択するため、超解像処理における演算量を低減することができる。しかしながら、基準となる低解像度実画像との動き量が等しい複数の低解像度実画像が選択される場合がある。このとき、特許文献１の画像処理装置と同様、ほぼ同一となる低解像度実画像に対して、上述の超解像処理におけるＳＴＥＰ２の推定演算やＳＴＥＰ３の比較演算を行う必要があるため、重複する演算処理が行われることとなる。又、重複する低解像度実画像に含まれるノイズの影響についても、特許文献１の画像処理装置と同様、重複するフレーム数に応じて大きくなるという問題がある。
【００１２】
このような問題を鑑みて、本発明は、複数フレームの低解像度実画像より高解像度画像を取得する際、被写体に対する画素位置が重なる複数フレームの低解像度実画像に対して合成処理を施して１フレームの低解像度実画像とする画像処理方法及び画像処理装置を提供することを目的とする。又、本発明は、複数フレームの低解像度実画像より高解像度画像を取得する際、被写体に対する画素位置が重なる複数フレームの低解像度実画像に対して合成処理を施して１フレームの低解像度実画像とする画像処理装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の画像処理装置は、注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化部を備える画像処理装置において、Ｎ（Ｎ≧Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出部と、前記第１低解像度画像に対する動き量が等しい複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像とするとともに、前記動き量が等しくない前記第３低解像度画像を前記第２低解像度画像として、Ｍフレームの前記第２低解像度画像を前記高解像度化部に入力する入力画像合成部と、を備えることを特徴とする。
【００１４】
このような画像処理装置において、前記入力画像合成部において、前記第１低解像度画像に対する動き量が等しく、且つ、同一時間方向に連続する前記第３低解像度画像との動き量が等しくなる複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像としても構わない。又、前記入力画像合成部において、前記動き量のうち１画素以下の動き量に基づいて、合成を行う前記第３低解像度画像の判定が成されるものとしても構わない。
【００１５】
又、上述の画像処理装置において、前記低解像度画像が複数種類の色信号によって構成される画像である場合、前記入力画像合成部及び前記高解像度化部それぞれが、前記色信号の種類毎に動作する。
【００１６】
又、前記入力画像合成部より複数フレームの前記第３低解像度画像により合成された前記第２低解像度画像となる第４低解像度画像が前記高解像度化部に入力されるとき、前記超解像処理部において、前記第４低解像度画像に対する第１重み係数と、前記第４低解像度画像以外の前記第２低解像度画像である第５低解像度画像に対する第２重み係数と、を算出し、前記第４及び第５低解像度画像によって前記高解像度画像を生成する際、前記第１及び第２重み係数を用いて演算するものとしても構わない。
【００１７】
本発明の電子機器は、外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、前記高解像度化機能を実現する画像処理部として、上述のいずれの画像処理装置を備え、前記画像信号による画像を前記低解像度画像として超解像処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする。
【００１８】
又、本発明の画像処理方法は、注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化ステップを備える画像処理方法において、Ｎ（Ｎ≧Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出ステップと、前記第１低解像度画像に対する動き量が等しい複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像とするとともに、前記動き量が等しくない前記第３低解像度画像を前記第２低解像度画像とする入力画像合成ステップと、を備え、前記高解像度化ステップにおいて、前記入力画像合成ステップで取得したＭフレームの前記第２低解像度画像と前記第１低解像度画像とに基づいて前記高解像度画像を生成することを特徴とする。
【発明の効果】
【００１９】
本発明によると、注目フレームとなる第１低解像度画像との動き量が等しい第３低解像度画像を合成することで第２低解像度画像を取得するものとし、被写体に対する画素位置が重なる複数フレームの低解像度実画像に対して合成処理を施している。これにより、ノイズ低減された第２低解像度画像を高解像度化処理に利用することができるため、生成する高解像度画像に対して、低解像度画像におけるノイズ成分による影響を低下させることができる。よって、高解像化処理によって生成された高解像度画像が、実際の被写体による画像に近い高解像度画像とすることができ、その信頼性の高い高解像度画像とすることができる。又、合成処理を施すことによって、高解像度画像を生成するための演算に利用する低解像度画像のフレーム数を少なくすることができるため、その演算量を低減することができる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における画像処理方法を行う画像処理装置（以下では、「画像処理部」に相当する）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて、説明する。又、後述するが、同様の画像処理装置を備えるものであれば、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置であっても構わない。
【００２１】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２２】
図１の撮像装置は、被写体のから入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して超解像処理を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ１５に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、ユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。
【００２３】
この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、タイミングジェネレータ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号となる画像信号がデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００２４】
又、この画像処理部４では、操作部１５によってデジタルズームにより、イメージセンサ１より得られた画像信号の高解像度化が求められると、イメージセンサ１からの複数フレーム分の画像信号に基づく超解像処理が施される。更に、この超解像処理が成された画像信号に基づいて、輝度信号及び色差信号が生成される。又、超解像処理が施されるために、後述するが、複数フレームの画像信号の動き量が算出され、その動き量に応じて各フレームの位置合わせが行われる。
【００２５】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００２６】
尚、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ２０に記録されるだけとなり、その基本動作については動画撮影時の動作と同様である。又、この静止画像撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、イメージセンサ１によって撮影されている現時点の画像に対する圧縮信号も外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、イメージセンサ１によって撮影されている現時点の画像がディスプレイ部９に表示され、ユーザが確認することができる。
【００２７】
このように撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、映像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。又、静止画像撮影のときは、操作部１５によるシャッタ動作に基づいて、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、映像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
【００２８】
又、外部メモリ２０に記録された動画又は画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。又、圧縮信号が画像信号のみより成るときは、ディスプレイ部９に画像のみが再生されることとなる。
【００２９】
（超解像処理の基本概念）
次に、上述の撮像装置内の画像処理部４において実行される超解像処理の基本概念について、簡単に説明する。尚、超解像処理の基本概念を説明するにあたって、その説明を簡単にするために、画像データを１次元方向に並んだ複数画素の画素値によるものとするとともに、異なる時間に撮像された２フレームの画像データによる超解像処理が成されるものとする。又、以下の説明における画素値は、輝度値を示す。そして、図２（ａ）に、イメージセンサ１により撮像される被写体の輝度分布を示し、図２（ｂ）〜（ｄ）に、この被写体が異なる時間にイメージセンサ１により撮像された際の画像データ（低解像度実画像）を示す。又、図３に、図２における低解像度実画像により高解像度画像となる画像データを生成する際のフローチャートを示す。更に、図３では、各フローにおける信号の変遷を模式的に示す。
【００３０】
図２（ａ）に示す輝度分布の被写体に対して、時間Ｔ１にイメージセンサ１によって撮像されたときの第１フレームのサンプル点がＳ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳであり、時間Ｔ２（Ｔ１≠Ｔ２）にイメージセンサ１によって撮像されたときの第２フレームのサンプル点がＳ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳであるものとする。又、このとき、第１フレームのサンプル点Ｓ１と第２フレームのサンプル点Ｓ２は、手ブレなどが原因となり、その位置にズレが生じているものとする。
【００３１】
そして、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳは、被写体上のサンプル点を示し、図２（ｂ）に示す第１フレームとなる低解像度実画像Ｆａでは、このサンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３となる。又、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳは、被写体上のサンプル点を示し、図２（ｃ）に示す第２フレームとなる低解像度実画像Ｆｂでは、このサンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３となる。
【００３２】
これにより、第１フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３が図２（ｂ）のような関係となり、又、第２フレームとなる低解像度実画像Ｆｂの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３が図２（ｃ）のような関係となる。このように、図２（ｂ）による低解像度実画像Ｆａ及び図２（ｃ）による低解像度実画像Ｆｂそれぞれは、図中の被写体の位置を基準にすると、画素位置が（Ｓ１−Ｓ２）だけずれた状態の画像となる。そして、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）分だけ位置ズレ補正した場合）、低解像度実画像Ｆｂが図２（ｄ）のように表される。
【００３３】
そして、図３（ａ）に示すように、位置ズレを補正した図２（ｂ）及び図２（ｄ）のような低解像度実画像Ｆａ，Ｆｂを組み合わせることで、高解像度画像Ｆｘ１を推定する（ＳＴＥＰ３１）。このとき、以下の説明を簡単にするために、例えば、解像度を１次元方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素として、低解像度実画像Ｆａ，Ｆｂの画素Ｐ１，Ｐ２，Ｐ３に加えて更に、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５とが設定されるものとする。
【００３４】
低解像度実画像Ｆａが基準である注目フレームとされると、画素Ｐ１，Ｐ２，Ｐ３での画素値が、低解像度実画像Ｆａにおける画素値ｐａ１，ｐａ２，ｐａ３とされる。又、画素Ｐ４については、画素Ｐ４との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ１の画素位置からの距離の方が近いことより、画素値ｐｂ１とされるものとする。同様に、画素Ｐ５については、画素Ｐ５との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ２の画素位置からの距離の方が近いことより、画素値ｐｂ２とされるものとする。このように、画素Ｐ１〜Ｐ５の画素値をｐａ１，ｐａ２，ｐａ３，ｐｂ１，ｐｂ２と設定して得られた高解像度画像を、高解像度画像Ｆｘ１として推定されるものとしても構わない。
【００３５】
その後、ＳＴＥＰ３１で得られた高解像度画像Ｆｘ１に対して、ダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、図３（ｂ）のように、低解像度実画像Ｆａ，Ｆｂそれぞれに対する推定画像となる低解像度推定画像Ｆａ１，Ｆｂ１を生成する（ＳＴＥＰ３２）。尚、図３（ｂ）では、ｎ回目の処理によって推定された低解像度推定画像、即ち、高解像度画像Ｆｘｎより推定された低解像度実画像Ｆａ，Ｆｂに相当する低解像度推定画像Ｆａｎ，Ｆｂｎを示す。
【００３６】
即ち、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。
【００３７】
そして、図３（ｃ）に示すように、このようにして得られた低解像度推定画像Ｆａ１，Ｆｂ１それぞれと、低解像度実画像Ｆａ，Ｆｂそれぞれとの間における差分を求め、この差分を合成することで、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する（ＳＴＥＰ３３）。尚、図３（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎ、即ち、低解像度推定画像Ｆａｎ，Ｆｂｎと低解像度実画像Ｆａ，Ｆｂとによる差分画像ΔＦａｎ、ΔＦｂｎを合成することで得られた差分画像ΔＦｘｎを示す。
【００３８】
この図３（ｃ）の処理によって、低解像度推定画像Ｆａ１と低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）による差分画像ΔＦａ１、低解像度推定画像Ｆｂ１と低解像度実画像Ｆｂにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）による差分画像ΔＦｂ１をそれぞれ求める。即ち、差分画像ΔＦａ１では、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）が画素値となり、差分画像ΔＦｂ１では、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）が画素値となる。
【００３９】
そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｆ１〜Ｆ５それぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成によって差分画像ΔＦｘ１を取得する際、例えば、ＭＬ法やＭＡＰ法では、二乗誤差を評価関数として用いる。即ち、ＭＬ法やＭＡＰ法の評価関数が、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値となる。よって、この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となるため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。
【００４０】
その後、図３（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、ＳＴＥＰ１で推定された高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図２（ａ）に示す輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される（ＳＴＥＰ３４）。尚、図３（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）、即ち、高解像度推定画像Ｆｘｎより差分画像ΔＦｘｎが減算されて得られた高解像度画像Ｆｘ（ｎ＋１）を示す。
【００４１】
そして、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理を繰り返すことによって、ＳＴＥＰ３３で得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が、図２（ａ）に示す輝度分布の被写体に近い画素値に収束される。尚、ｎ回目の処理におけるＳＴＥＰ３２及びＳＴＥＰ３４では、前回（ｎ−１回目）の処理におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ，Ｆｂｎ及び高解像度推定画像Ｆｘ（ｎ＋１）が取得される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束されたとき、前の処理（ｎ−１回目の処理）におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎを、目的の高解像度画像として超解像処理を終了する。
【００４２】
上述したフローを基本とする超解像処理として、［背景技術］で挙げたＭＬ法や、ＭＡＰ法や、ＰＯＣＳ法や、ＩＢＰ法などが、画像処理部４で利用される。尚、本実施形態では、ＭＡＰ法が利用される場合の超解像処理が用いられるものとする。このとき、ＳＴＥＰ３３において取得される高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎが、ＭＡＰ法における評価関数を勾配法によって微分した値を画素値とする勾配画像で構成されるものとする。
【００４３】
即ち、各画素位置での二乗誤差を画素値とする最小二乗法によって得られた差分画像ΔＦａｎ、ΔＦｂｎを合成した高解像度画像Ｆｘｎの差分画像に、事後確率分布により拘束される高解像度画像Ｆｘｎの高速画像を加えた後、勾配法によって微分を行うことで、ＳＴＥＰ３３における差分画像ΔＦｘｎに相当する勾配画像を取得する。そして、ＳＴＥＰ３４において、この勾配画像による差分画像ΔＦｘｎを高解像度画像Ｆｘｎより減算することで、高解像度画像Ｆｘ（ｎ＋１）を再構築する。
【００４４】
このような超解像処理が行う際に、上述したように、まず、ＳＴＥＰ３１のように、イメージセンサ１で撮影された複数フレームの低解像度実画像から高解像度画像を推定することで、最適となる高解像度画像の取得が可能となる。そして、このＳＴＥＰ３１の高解像度画像の推定を行う際に最適となる低解像度実画像を、注目フレームを含む複数フレームの低解像度実画像より選択する必要がある。この最適な低解像度実画像の選択により、高解像度画像の取得速度が高速化できるとともに、フレーム数を制限することで、超解像処理における演算にかかる画像処理部４での負荷を低減することができる。又、選択した複数フレームの低解像度実画像それぞれの間に発生する位置ズレ量となる動き量が検出され、検出された動き量に対する補正が成される。尚、この位置ズレ補正については、後述する。
【００４５】
このような超解像処理を行う画像処理部４を備えた撮像装置の実施形態について、以下に説明する。尚、上述の超解像処理については、反復して処理を施すことによって高解像度画像を更新する、再構築型の超解像処理を例に挙げて説明したが、以下の各実施形態において、この再構築型の超解像処理ではなくても構わない。即ち、選択した複数フレームの低解像度実画像より初期高解像度画像を生成し、この初期高解像度画像を更新することなく、高解像度画像として出力するものとしても構わない。
【００４６】
又、以下の各実施形態では、画像処理部４の超解像処理における低解像度実画像の選択動作の詳細を特徴とするものであり、動画撮影動作、静止画撮影動作、動画再生動作、静止画再生動作それぞれについては、上述の動作で説明した動作を基本とするため、その詳細な説明は省略する。又、以下の各実施形態において、ＭＡＰ法を代表して、画像処理部４による超解像動作について説明する。
【００４７】
＜第１の実施形態＞
本発明の第１の実施形態について、図面を参照して説明する。図４は、本実施形態の撮像装置における画像処理部の構成を示すブロック図である。尚、本実施形態を含めて以下の各実施形態では、４フレームの低解像度実画像を一時的に記憶し、この４フレームの低解像度実画像に対して演算処理を行うことで高解像度画像が選択されるものとする。
【００４８】
図４に示すように、ＡＦＥ２でデジタル信号とされた１フレーム分の低解像度実画像となる画像信号を一時的に記憶するフレームメモリ４１と、フレームメモリ４１に記憶された１フレーム分の低解像度実画像を一時的に記憶するフレームメモリ４２と、フレームメモリ４２に記憶された１フレーム分の低解像度実画像を一時的に記憶するフレームメモリ４３と、フレームメモリ４３に記憶された１フレーム分の低解像度実画像を一時的に記憶するフレームメモリ４４と、ＡＦＥ２より入力される現フレームの低解像度実画像による画像信号とフレームメモリ４１に記憶された現フレームより１フレーム前の低解像度実画像による画像信号とが与えられて動き量を算出する動き量算出部４５と、動き量算出部４５で検出された動き量に基づいてフレームメモリ４１〜４４に記憶された４フレームの低解像度実画像それぞれにおける動き量を記憶する動き量記憶部４６と、動き量記憶部４６に記憶された動き量に基づいてフレームメモリ４１〜４４に記憶された４フレームの低解像度実画像それぞれを加重加算する入力画像加重加算部４７と、入力画像加重加算部４７で加重加算されて得られた複数フレームの低解像度実画像に対して超解像処理を行って高解像度画像を生成する超解像処理部４８と、超解像処理部４８で得られた高解像度画像を一時的に記憶して再び超解像処理部４８に与えるフレームメモリ４９と、超解像処理部４８で超解像処理が施された高解像度画像による画像信号又はＡＦＥ２から直接与えられた画像信号より輝度信号及び色差信号を生成する信号処理部５０と、を備える。
【００４９】
更に、超解像処理部４８は、入力画像加重加算部４７からの複数フレーム分の低解像度実画像（図３（ａ）の低解像度実画像Ｆａ，Ｆｂに相当）より初期高解像度画像となる高解像度画像（図３（ａ）の高解像度画像Ｆｘ１に相当）を推定する初期高解像度推定部４８１と、初期高解像度推定部４８１で推定されて得られた高解像度画像とフレームメモリ４９に一時記憶された高解像度画像のいずれか１つを選択して後段に与える選択部４８２と、選択部４８２で選択された高解像度画像と入力画像加重加算部４７からの複数フレームの低解像度実画像によって高解像度画像の更新量（図３（ｄ）の差分画像ΔＦｘｎに相当）を求める高解像度更新量算出部４８３と、選択部４８２で選択された高解像度画像から高解像度更新量算出部４８３で得られた更新量を減算する減算部４８４と、を備える。尚、選択部４８２では、１回目の選択動作において、初期高解像度推定部４８１で推定された初期高解像度画像を選択し、２回目以降の選択動作において、フレームメモリ４９に一時記憶された高解像度画像を選択する。
【００５０】
（動き量検出部の動作）
まず、動き量検出部４５の動作について簡単に説明する。この動き量検出部４５には、現フレームとなる低解像度実画像ＦａがＡＦＥ２から与えられるとともに、現フレームの１フレーム前の低解像度実画像Ｆｂがフレームメモリ４１から与えられて、位置ズレとなる動き量が検出される。この動き量の検出は、時間的に連続した２フレームの低解像度実画像Ｆａ，Ｆｂのうち、現フレームでないもう一方の低解像度実画像Ｆｂを基準画像とし、現フレームとなる低解像度実画像Ｆａを非基準画像として検出される。尚、本実施形態では、現フレームでないもう一方の低解像度実画像Ｆｂを基準画像とするものとして説明するが、現フレームとなる低解像度実画像Ｆａを基準画像としても構わない。
【００５１】
この動き量検出については、例えば、周知の代表点マッチング法によって、画像間における画素単位の動き量が検出され、その後、１画素内（１画素以下）における動き量について、画素単位で位置ズレ補正された近隣画素の画素値の関係に基づいて検出されるものとしても構わない。以下に、代表点マッチング法と、１画素内における位置ズレ検出とについて、簡単に説明する。
【００５２】
（１）代表点マッチング法
基準画像及び非基準画像それぞれに対して、例えば、図５に示すように、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、更に、このｐ×ｑ領域の小領域ｅ群（例えば、６×８の小領域ｅ群）を１つの検出領域Ｅとして分割する。そして、基準画像では、各小領域ｅにおいて、図６（ａ）のように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定され、又、非基準画像では、各小領域ｅにおいて、図６（ｂ）のように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。
【００５３】
このように、小領域ｅ及び検出領域Ｅを設定すると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。
【００５４】
このようにして、各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられる累積相関値が最小となるサンプリング点Ｓが検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。
【００５５】
（２）１画素内の動き量検出
上述のように、画素単位による動き量を検出すると、更に、１画素内における動き量が検出される。このとき、例えば、まず、図５に示す小領域ｅ毎に、基準画像の代表点Ｒとなる画素の画素値と、上述の代表点マッチング法によって得られた動き量によって代表点Ｒと相関性の高いサンプリング点Ｓｘとなる画素及び周辺画素それぞれの画素値との関係によって、１画素内における動き量を検出する。
【００５６】
即ち、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａ（図７（ａ）参照）と、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃ（図７（ｂ）参照）と、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄ（図７（ｂ）参照）との関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画像から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。
【００５７】
又、図８（ａ）のように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとし、図８（ｂ）のように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、図７（ａ）及び図７（ｂ）のような関係より、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。
【００５８】
このようにして、小領域ｅそれぞれにおける１画素内での動き量を求めると、求めた動き量を平均することで、この平均値を、基準画像Ｆｂと非基準画像Ｆａとの間の画素単位による動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像Ｆｂと非基準画像Ｆａとの間における動き量を算出することができる。
【００５９】
この動き量検出部４５で算出された連続する２フレームの低解像度実画像間の動き量は、動き量記憶部４６に記憶される。尚、フレームメモリ４１〜４４に格納される４フレームの低解像度実画像に対して求められた、連続する２フレームの低解像度実画像間の動き量が、動き量記憶部４６に記憶される。
【００６０】
（入力画像加重加算部の動作）
次に、入力画像加重加算部４７の動作について、図面を参照して説明する。この入力画像加重加算部４７には、動き量記憶部４６より、フレームメモリ４１〜４４に記憶された低解像度実画像Ｆａ〜Ｆｄそれぞれにおける、連続する２フレーム間の動き量が与えられる。即ち、図９（ａ）に示す、低解像度実画像Ｆｄ，Ｆｃ間の動き量Ｍ１、低解像度実画像Ｆｃ，Ｆｂ間の動き量Ｍ２、及び、低解像度実画像Ｆｂ，Ｆａ間の動き量Ｍ３それぞれが、動き量記憶部４６より入力画像加重加算部４７に与えられる。尚、この動き量Ｍ１〜Ｍ３は、垂直方向及び水平方向それぞれの動き量によるベクトル量である。
【００６１】
そして、入力画像加重加算部４７では、連続する２フレームの低解像度実画像間の動き量Ｆａ〜Ｆｃが与えられることで、現フレームの３フレーム前のフレームであるフレームメモリ４４からの低解像度実画像Ｆｄを基準画像としたときの、フレームメモリ４１〜４３からの低解像度実画像Ｆａ〜Ｆｃの動き量を算出する。即ち、図９（ｂ）に示す、低解像度実画像Ｆｄ，Ｆｃ間の動き量Ｍｘ（＝Ｍ１）、低解像度実画像Ｆｄ，Ｆｂ間の動き量Ｍｙ（＝Ｍ１＋Ｍ２）、及び、低解像度実画像Ｆｄ，Ｆａ間の動き量Ｍｚ（＝Ｍ１＋Ｍ２＋Ｍ３）それぞれが、入力画像加重加算部４７で算出される。尚、この動き量Ｍｘ〜Ｍｚについても、動き量Ｍ１〜Ｍ３と同様、垂直方向及び水平方向それぞれの動き量によるベクトル量である。
【００６２】
このようにして、低解像度実画像Ｆｄを基準画像とした動き量Ｍｘ〜Ｍｚが算出されると、この動き量Ｍｘ〜Ｍｚの関係を確認し、超解像処理部４８に入力する際に加重加算を行うフレームを選択する。このとき、基準画像となる低解像度実画像Ｆｄとの動き量が等しくなるフレームの低解像度実画像を、加重加算を行うために選択する。よって、（１）動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なる場合、（２）動き量Ｍｘが０となる場合、（３）動き量Ｍｘ，Ｍｙが等しい場合、（４）動き量Ｍｙ，Ｍｚが等しい場合の４つの場合に対して、入力画像加重加算部４７での加重加算を行うフレームが異なる。以下で、この４つの場合それぞれについて、説明する。
【００６３】
（１）動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なる場合が異なる場合
動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なる場合、換言すると、連続する２フレーム間の動き量Ｍ１〜Ｍ３のいずれも０とならない場合、図１０（ａ）に示すように、フレームメモリ４１〜４４それぞれからの低解像度実画像Ｆａ〜Ｆｄそれぞれをそのまま、超解像処理部４８に与える。即ち、基準画像となる低解像度実画像Ｆｄとの動き量が等しくなるフレームがないため、加重加算する２フレームの低解像度実画像の選択が成されない。よって、加重加算のための選択を行うことなく、フレームメモリ４１〜４４それぞれからの低解像度実画像Ｆａ〜Ｆｄを超解像処理部４８に与えることで、超解像処理部４８では、４フレームの低解像度実画像Ｆａ〜Ｆｄを利用した超解像処理が成される。
【００６４】
（２）動き量Ｍｘが０となる場合
動き量Ｍｘが０となる場合、換言すると、連続する２フレーム間の動き量Ｍ１〜Ｍ３のうち、動き量Ｍ１が０となる場合、低解像度実画像Ｆｃ，Ｆｄが同一の画像となる。よって、図１０（ｂ）に示すように、低解像度実画像Ｆｃ，Ｆｄを加重加算して１フレームの低解像度実画像Ｆｅとする。そして、３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅを利用した超解像処理が成される。
【００６５】
このとき、例えば、低解像度実画像Ｆｄの全画素に対して重み係数ｋ（０＜ｋ＜１）を乗算し、低解像度実画像Ｆｃの全画素に対して重み係数（１−ｋ）を乗算した後、重み係数が乗算された低解像度実画像Ｆｃ，Ｆｄを加算することによって、低解像度実画像Ｆｅを生成するものとしても構わない。このとき、低解像度実画像Ｆｄを基準とするため、基準となる低解像度実画像Ｆｄに対する重み係数ｋが、低解像度実画像Ｆｃに対する重み係数（１−ｋ）よりも大きい値に設定されるものとしても構わない。
【００６６】
又、低解像度実画像Ｆｃ，Ｆｄそれぞれにおける各画素に対して、重み係数が設定されるものとしても構わない。このとき、低解像度実画像Ｆｄに対する３次元ノイズ低減処理を行うことによって、低解像度実画像Ｆｃ，Ｆｄそれぞれにおける各画素に対する重み係数が設定されるものとしても構わない。３次元ノイズ低減処理を行うことで重み係数を決定する場合について、以下に簡単に説明する。
【００６７】
まず、低解像度実画像Ｆｄにおいて、重み係数を設定するための注目画素に対して、低解像度実画像Ｆｃにおいて注目画素と同じ画素位置となる画素の画素値との差分Ｄを求める。この注目画素の画素位置における低解像度画像Ｆｃ，Ｆｄ間の差分Ｄによって、（１）式の演算を行うことで、低解像度画像Ｆｄの注目画素の画素値より減算するノイズ値Ｎｚを算出する。
【００６８】
【数１】
【００６９】
更に、同一画素位置における低解像度画像Ｆｃ，Ｆｄ間の差分Ｄの絶対値に対して、ローパスフィルタ処理を施した値により、注目画素の画素位置における動き量Ｍを算出すると、この動き量Ｍによって、（２）式の演算を行うことで、ノイズ値Ｎｚに乗算する帰還係数Ｋが算出される。そして、ノイズ値Ｎｚに帰還係数Ｋを乗算した値Ｋ×Ｎｚを、低解像度画像Ｆｄの注目画素の画素値より減算することで、連続する２フレームの低解像度画像Ｆｃ，Ｆｄにより３次元ノイズ低減処理を施した低解像度画像Ｆｅの画素値を取得することができる。
【００７０】
【数２】
【００７１】
（３）動き量Ｍｘ，Ｍｙが等しい場合
動き量Ｍｘ，Ｍｙが等しい場合、換言すると、連続する２フレーム間の動き量Ｍ１〜Ｍ３のうち、動き量Ｍ２が０となる場合、低解像度実画像Ｆｂ，Ｆｃが同一の画像となる。よって、図１０（ｃ）に示すように、低解像度実画像Ｆｂ，Ｆｃを加重加算して１フレームの低解像度実画像Ｆｅとする。尚、低解像度実画像Ｆｂ，Ｆｃの加重加算については、動き量Ｍｘが０となるときに低解像度実画像Ｆｃ，Ｆｄに対して施す加重加算と同様である。そして、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅを利用した超解像処理が成される。
【００７２】
（４）動き量Ｍｙ，Ｍｚが等しい場合
動き量Ｍｙ，Ｍｚが等しい場合、換言すると、連続する２フレーム間の動き量Ｍ１〜Ｍ３のうち、動き量Ｍ３が０となる場合、低解像度実画像Ｆａ，Ｆｂが同一の画像となる。よって、図１０（ｄ）に示すように、低解像度実画像Ｆａ，Ｆｂを加重加算して１フレームの低解像度実画像Ｆｅとする。尚、低解像度実画像Ｆａ，Ｆｂの加重加算については、動き量Ｍｘが０となるときに低解像度実画像Ｆｃ，Ｆｄに対して施す加重加算と同様である。そして、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅを利用した超解像処理が成される。
【００７３】
尚、上述の（２）〜（４）の場合のように、動き量Ｍ１〜Ｍ３が０となることで、加重加算を施す連続する２フレームの低解像度実画像を選択するものとしたが、動き量Ｍ１〜Ｍ３が０に近い値（例えば、１／２画素以下）であったときに、（２）〜（４）の場合のような選択動作が行われる。
【００７４】
（超解像処理部の動作）
次に、このように構成される超解像処理部４８の動作について、図３を参照して説明する。尚、上述した図１０（ａ）の場合のように、入力画像加重加算部４７から４フレームの低解像度実画像Ｆａ〜Ｆｄが入力されたときの動作を代表して説明する。又、低解像度実画像を含む低解像度画像の画素数をｕとし、初期高解像度画像を含む高解像度画像の画素数をｖとする。そして、ｕ画素による低解像度実画像Ｆａの各画素値がＹａ＝［ｙａ１，ｙａ２，…，ｙａｕ］となり、ｕ画素による低解像度実画像Ｆｂの各画素値がＹｂ＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］となり、ｕ画素による低解像度実画像Ｆｃの各画素値がＹｃ＝［ｙｃ１，ｙｃ２，…，ｙｃｕ］となり、ｕ画素による低解像度実画像Ｆｄの各画素値がＹｄ＝［ｙｄ１，ｙｄ２，…，ｙｄｕ］となる。
【００７５】
（１）初期高解像度画像による処理
入力画像加重加算部４７から４フレームの低解像度実画像Ｆａ〜Ｆｄが初期高解像度推定部４８１に与えられる。これにより初期高解像度推定部４８１では、図３（ａ）に示すＳＴＥＰ３１のように、動き量記憶部４６で得られた動き量に基づいて、４フレームの低解像度実画像Ｆａ〜Ｆｄ間の位置ズレを検出する。そして、低解像度実画像Ｆａ〜Ｆｄの各画素値Ｙａ〜Ｙｄに対して、動き量により確認された位置ズレを利用した補間処理を施すことで、ｖ画素による初期高解像度画像Ｆｘ１を取得する。
【００７６】
尚、高解像度画像Ｆｘ１〜Ｆｘｎそれぞれの各画素値を、Ｘ＝［ｘ１，ｘ２，…，ｘｖ］となるものとする。この初期高解像度推定部４８１で初期高解像度画像Ｆｘ１を生成する際、高解像度画像生成用のフィルタの一部にメディアンフィルタなどによるノイズ低減処理を行うフィルタを用いることや、高解像度画像生成用のフィルタのタップ数を広げることで、Ｓ／Ｎ比（信号／ノイズ比）を高くすることが好ましい。
【００７７】
このようにして初期高解像度推定部４８１から初期高解像度画像Ｆｘ１が出力されると、選択部４８２によって、この初期高解像度画像Ｆｘ１が選択されて、高解像度更新量算出部４８３に与えられる。この高解像度更新量算出部４８３では、動き量算出部４６で得られた動き量が与えられることで、動き量に基づいて、高解像度実画像Ｆｘに対する低解像度実画像Ｆａ〜Ｆｄそれぞれの位置ズレや低解像化によるぼけが算出される。この動き量より得られる位置ズレやぼけと、ｖ画素の高解像度画像Ｆｘｎからｕ画素の低解像度実画像Ｆａ〜Ｆｄに相当する低解像度推定画像Ｆａｎ〜Ｆｄｎへのダウンサンプリング量とを含むカメラパラメータ行列Ｗａ〜Ｗｄが求められる。
【００７８】
そして、選択部４８２を通じて与えられた初期高解像度画像Ｆｘ１に対して、カメラパラメータ行列Ｗａ〜Ｗｄが乗算されることで、図３（ｂ）に示すＳＴＥＰ３２のように、低解像度実画像Ｆａ〜Ｆｄに擬似的に類似させた低解像度推定画像Ｆａ１（＝Ｗａ・Ｘ）〜Ｆｄ１（＝Ｗｄ・Ｘ）が推定される。又、この高解像度更新量算出部４８３は、入力画像加重加算部４７からの４フレーム分の低解像度実画像Ｆａ〜Ｆｄが与えられることで、推定した低解像度推定画像Ｆａ１〜Ｆｂ１と低解像度実画像Ｆａ〜Ｆｄとの二乗誤差による差分｜Ｗａ・Ｘ−Ｙａ｜2〜｜Ｗｄ・Ｘ−Ｙｄ｜2が求められる。
【００７９】
この低解像度推定画像Ｆａ１〜Ｆｄ１と低解像度実画像Ｆａ〜Ｆｄとの差分による評価関数Ｉが、それぞれの差分の加算値に、選択部４８２で選択された高解像度画像によって得られる拘束項が付加された形で求められる。即ち、求められる評価関数Ｉは、｜Ｗａ・Ｘ−Ｙａ｜2＋｜Ｗｂ・Ｘ−Ｙｂ｜2＋｜Ｗｃ・Ｘ−Ｙｃ｜2＋｜Ｗｄ・Ｘ−Ｙｄ｜2＋γ｜ＣＸ｜2となる。尚、この評価関数Ｉの拘束項γ｜ＣＸ｜2において、行列Ｃが、事前確率モデルに基づく行列であり、「高解像度画像には高域成分が少ない」という事前知識に基づき、例えば、ラプラシアンフィルタなどのハイパスフィルタによって構成される。又、係数γは、拘束項の評価関数Ｉにおける重みの強さを表すパラメータである。
【００８０】
このようにして求められた評価関数Ｉに対して勾配法によって最小化を行うため、評価関数Ｉに対する勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋γＣT・Ｃ・Ｘ｝）が求められる。尚、添え字である「Ｔ」は、転置行列を表す。この更新量となる勾配∂Ｉ／∂Ｘを求めることで、高解像度更新量算出部４８３において、図３（ｃ）によって示すＳＴＥＰ３３における差分画像ΔＦｘ１が求められることとなる。
【００８１】
このようにして算出した勾配∂Ｉ／∂Ｘによる更新量が、高解像度更新量算出部４５３より減算部４８４に与えられると、減算部４８４では、図３（ｄ）におけるＳＴＥＰ３４のように、選択部４８２を介して初期高解像度推定部４８１より与えられる初期高解像度画像Ｆｘ１より、勾配∂Ｉ／∂Ｘによる更新量を減算する。この減算部４８４の減算結果により、ｖ画素の画素値それぞれが（Ｘ−∂Ｉ／∂Ｘ）となる高解像度画像Ｆｘ２が得られる。そして、この新たに得られた高解像度画像Ｆｘ２が減算部４８４より出力されて、フレームメモリ４９に与えられて、一時的に記憶される。
【００８２】
（２）生成後の高解像度画像による処理
上述のように、初期高解像度画像Ｆｘ１を取得して、高解像度画像の更新量を勾配∂Ｉ／∂Ｘし、新たな高解像度画像Ｆｘ２を取得すると、選択部４８２は、フレームメモリ４９に格納された高解像度画像を選択して高解像度更新量算出部４８３に与える。即ち、ｎ（ｎ≧２の整数）回目の演算処理の場合、フレームメモリ４９に格納された高解像度画像Ｆｘｎが選択部４８２によって読み出されて、高解像度更新量算出部４８３に与えられる。
【００８３】
よって、高解像度更新量算出部４８３では、フレームメモリ４９に格納された高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ（＝Ｗａ・Ｘ）〜Ｆｄｎ（＝Ｗｄ・Ｘ）を推定する。このようにして求められた低解像度推定画像Ｆａｎ〜Ｆｄｎと、入力される低解像度実画像Ｆａ〜Ｆｄ及び高解像度画像Ｆｘｎとによって、更新量となる∂Ｉ／∂Ｘ（＝２×｛ＷａＴ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂＴ・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃＴ・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄＴ・（Ｗｄ・Ｘ−Ｙｄ）＋γＣＴ・Ｃ・Ｘ｝）による差分画像ΔＦｘｎが、高解像度更新量算出部４８３で求められる。そして、減算部４８４において、高解像度更新量算出部４８３で求められた差分画像ΔＦｘｎが、選択部４８２を介してフレームメモリ４９から与えられる高解像度画像Ｆｘｎより減算されて、即ち、Ｘ−∂Ｉ／∂Ｘの演算が行われることで、新たに高解像度画像Ｆｘ（ｎ＋１）が得られる。
【００８４】
そして、超解像演算部４８において、高解像度更新量算出部４８３による演算処理回数をｎ回に設定している場合は、減算部４８４で新たに得られた高解像度画像Ｆｘ（ｎ＋１）を、減算部４８４から信号処理部５０に出力する。又、超解像演算部４８内において、高解像度更新量算出部４８３による演算処理回数をｎ＋１回以上に設定している場合は、高解像度画像Ｆｘ（ｎ＋１）をフレームメモリ４９に与えて一時記憶して、ｎ＋１回目の演算処理を行う。
【００８５】
この超解像演算部４８内における高解像度更新量算出部４８３及び減算部４８４による演算処理の繰り返し回数については、動画撮影や静止画の連続撮影などのように、１フレームの撮影間隔が短い場合は、その回数が少なくなるように設定される。又、連続撮影以外の通常の静止画撮影の場合は、その回数が、動画撮影や静止画の連続撮影の場合よりも多くなるように設定されるものとしても構わない。
【００８６】
尚、入力画像加重加算部４７において加重加算がなされずに、４フレームの低解像度実画像Ｆａ〜Ｆｄが超解像処理部４８に入力される場合について説明したが、２フレームの低解像度実画像を加重加算して１フレームの低解像度実画像とした場合も同様の演算によって、超解像処理が成される。よって、（ａ）動き量Ｍｘが０となる場合（図１０（ｂ）参照）、（ｂ）動き量Ｍｘ，Ｍｙが等しい場合（図１０（ｃ）参照）、（ｃ）動き量Ｍｙ，Ｍｚが等しい場合（図１０（ｄ）参照）の各場合について、簡単に説明する。
【００８７】
（ａ）動き量Ｍｘが０となる場合
動き量Ｍｘが０となり、低解像度実画像Ｆｃ，Ｆｄが加重加算された低解像度実画像Ｆｅ（画素の値が、Ｙｅ＝［ｙｅ１，ｙｅ２，…，ｙｅｕ］となる）が入力される場合、まず、初期高解像度推定部４８１において、３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅによって、初期高解像度画像Ｆｘ１が取得される。その後、高解像度更新量算出部４８３において、評価関数Ｉ（＝｜Ｗａ・Ｘ−Ｙａ｜2＋｜Ｗｂ・Ｘ−Ｙｂ｜2＋｜Ｗｅ・Ｘ−Ｙｅ｜2＋γ｜ＣＸ｜2）による勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が更新量として算出される。そして、減算部４８４において、選択部４８２により選択された高解像度画像Ｆｘｎより、高解像度更新量算出部４８３で算出した更新量を減算することにより、高解像度画像の更新を行う。これらの動作を繰り返すことによって、３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅによる超解像処理に基づく高解像度画像が、信号処理部５０に出力される。
【００８８】
（ｂ）動き量Ｍｘ，Ｍｙが等しい場合
動き量Ｍｘ，Ｍｙが等しく、低解像度実画像Ｆｂ，Ｆｃが加重加算された低解像度実画像Ｆｅが入力される場合、まず、初期高解像度推定部４８１において、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅによって、初期高解像度画像Ｆｘ１が取得される。その後、高解像度更新量算出部４８３において、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が更新量として算出される。そして、減算部４８４において、選択部４８２により選択された高解像度画像Ｆｘｎより、高解像度更新量算出部４８３で算出した更新量を減算して、高解像度画像の更新を行う。これらの動作を繰り返すことによって、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅによる超解像処理に基づく高解像度画像が、信号処理部５０に出力される。
【００８９】
（ｃ）動き量Ｍｙ，Ｍｚが等しい場合
動き量Ｍｙ，Ｍｚが等しく、低解像度実画像Ｆａ，Ｆｂが加重加算された低解像度実画像Ｆｅが入力される場合、まず、初期高解像度推定部４８１において、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅによって、初期高解像度画像Ｆｘ１が取得される。その後、高解像度更新量算出部４８３において、勾配∂Ｉ／∂Ｘ（＝２×｛ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が更新量として算出される。そして、減算部４８４において、選択部４８２により選択された高解像度画像Ｆｘｎより、高解像度更新量算出部４８３で算出した更新量を減算して、高解像度画像の更新を行う。これらの動作を繰り返すことによって、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅによる超解像処理に基づく高解像度画像が、信号処理部５０に出力される。
【００９０】
このようにして、画像処理部４内の超解像処理部４８において超解像処理が成されることによって、入力加重加算部４７から入力される３フレーム分又は４フレーム分の低解像度実画像から高解像度画像が得られる。尚、このような超解像処理部４８における詳細な構成例について、図１１に示す。即ち、図４に示す構成で説明した初期高解像度推定部４８１と、選択部４８２と、高解像度更新量算出部４８３と、減算部４８４とを備えるときの高解像度更新量算出部４８３の構成例が、図１１に示すようなブロック構成となる。
【００９１】
図１１において、高解像度更新量算出部４８３が、動き量記憶部４６で得られた動き量に基づいてカメラパラメータ行列Ｗａ〜Ｗｄ，ＷａT〜ＷｄTを求めるパラメータ算出部３０１〜３０８と、選択部４８２で選択された高解像度画像Ｆｘｎに対してパラメータ算出部３０１〜３０４それぞれからのカメラパラメータ行列Ｗａ〜Ｗｄを乗算する乗算部３０９〜３１２と、乗算部３０９〜３１２によって得られた低解像度推定画像の画素値から入力加重加算部４７からの低解像度実画像の画素値を減算する減算部３１３〜３１６と、減算部３１３〜３１６からの値に対してパラメータ算出部３０５〜３０８それぞれからのカメラパラメータ行列ＷａT〜ＷｄTを乗算する乗算部３１７〜３２０と、乗算部３１７〜３２０で得られた二乗誤差による差分を加算する加算部３２１と、選択部４８２で選択された高解像度画像の高周波成分を抽出して正規化するＨＰＦ３２２と、ＨＰＦ３２２を通過して得られた拘束項（正規化項）に対して重み係数γを乗算する乗算部３２３と、乗算部３２３で重み係数γが乗算された拘束項を加算部３２１で得られた値に加算する加算部３２４と、加算部３２４での値を倍算して差分画像による各画素の値（更新量）を求める乗算部３２５と、を備える。
【００９２】
このように構成される超解像処理部４８において、上述したように、動き量Ｍ１〜Ｍ３全てが０でなく、入力画像加重加算部４７から４フレームの低解像度実画像Ｆａ〜Ｆｄが入力されたとき、パラメータ算出部３０１〜３０８それぞれによって、カメラパラメータ行列Ｗａ〜Ｗｄ，ＷａT〜ＷｄTが算出される。そして、乗算部３０９〜３１２，３１７〜３２０及び減算部３１３〜３１６全てが動作することによって、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋γＣT・Ｃ・Ｘ｝）が算出されることとなる。
【００９３】
又、動き量Ｍｘが０となり、入力画像加重加算部４７から３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅが入力されたとき、パラメータ算出部３０４，３０８、乗算部３１２，３２０、及び減算部３１６の動作を停止させる。そして、パラメータ算出部３０１，３０２，３０５，３０６それぞれによって、カメラパラメータ行列Ｗａ，Ｗｂ，ＷａT，ＷｂTが算出されるとともに、パラメータ算出部３０３，３０７それぞれによって、カメラパラメータ行列Ｗｅ，ＷｅTが算出される。又、乗算部３０９〜３１１，３１７〜３１９及び減算部３１３〜３１５が動作することによって、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出されることとなる。
【００９４】
同様に、動き量Ｍｘ，Ｍｙが等しくなり、入力画像加重加算部４７から３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅが入力されたとき、パラメータ算出部３０３，３０７、乗算部３１１，３１９、及び減算部３１５の動作を停止させる。そして、パラメータ算出部３０１，３０４，３０５，３０８それぞれによって、カメラパラメータ行列Ｗａ，Ｗｄ，ＷａT，ＷｄTが算出されるとともに、パラメータ算出部３０２，３０６それぞれによって、カメラパラメータ行列Ｗｅ，ＷｅTが算出される。これにより、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出されることとなる。
【００９５】
又、動き量Ｍｙ，Ｍｚが等しくなり、入力画像加重加算部４７から３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅが入力されたとき、パラメータ算出部３０２，３０６、乗算部３１０，３１８、及び減算部３１４の動作を停止させる。そして、パラメータ算出部３０３，３０４，３０７，３０８それぞれによって、カメラパラメータ行列Ｗｃ，Ｗｄ，ＷｃT，ＷｄTが算出されるとともに、パラメータ算出部３０１，３０５それぞれによって、カメラパラメータ行列Ｗｅ，ＷｅTが算出される。これにより、勾配∂Ｉ／∂Ｘ（＝２×｛ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出されることとなる。
【００９６】
このように、本実施形態では、２フレームの低解像度実画像間の各画素位置が同位置となるとき、この２フレームの低解像度実画像に対して、入力画像加重加算部４７において加重加算を施して、ノイズを抑制した低解像度実画像を生成する。これにより、超解像処理部４８における超解像処理において、低解像度実画像でのノイズの影響を低減することができ、超解像処理により得られる高解像度画像のノイズを抑制することができる。
【００９７】
尚、本実施形態において、入力画像加重加算部４７において、連続する２フレーム以上の複数フレームの低解像度実画像に対して動き量が０となることを確認したときに、確認した複数フレームの低解像度実画像に対して加重加算を行って１フレームの低解像度画像を生成するものであれば、３フレーム以上となるＮフレームの低解像度実画像を扱うものであっても構わない。このとき、入力画像加重加算部４７は、Ｎフレームの低解像度実画像が入力されて、２フレーム以上Ｎフレーム以下のＭフレームの低解像度実画像を超解像処理部４８に出力する。
【００９８】
＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照して説明する。尚、本実施形態の撮像装置における画像処理部は、第１の実施形態と同様、図４に示すブロック図による構成となる。又、この図４の構成に加えて、超解像処理部の構成例として、図１１に示す構成が挙げられる。更に、フレームメモリ４１〜４４，４９、動き量検出部４５、動き量記憶部４６、超解像処理部４８、信号処理部５０それぞれについては、第１の実施形態と同様の動作を行う。よって、以下では、入力画像加重加算部４７の動作について、説明する。
【００９９】
第１の実施形態における撮像装置では、基準画像となる低解像度実画像Ｆｄとの動き量が３フレーム以上等しく成る場合がある。このとき、３フレーム以上の低解像度実画像を加重加算して１フレームとすると、超解像処理部４８における超解像処理に利用される低解像度実画像のフレーム数が少なくなるため、超解像処理による高解像度画像の再現性が低下する場合がある。よって、本実施形態の撮像装置では、連続する２フレームの低解像度実画像の動き量についても、加重加算を施す低解像度実画像として選択する際の条件として利用する。
【０１００】
又、加重加算を施す低解像度実画像として選択する際の条件として、動き量を考慮することによって、同じ性質となる低解像度実画像を選択して合成することができる。よって、低解像度実画像の加重加算を行うことで合成する際、その合成後の低解像度実画像をより正確な画像とすることができるので、超解像処理によって取得される高解像度画像について、その再現性を高いものとすることができる。
【０１０１】
入力画像加重加算部４７は、第１の実施形態と同様、低解像度実画像Ｆｄ，Ｆｃ間の動き量Ｍ１、低解像度実画像Ｆｃ，Ｆｂ間の動き量Ｍ２、及び、低解像度実画像Ｆｂ，Ｆａ間の動き量Ｍ３それぞれが動き量記憶部４６より与えられる。そして、この動き量Ｍ１〜Ｍ３より、解像度実画像Ｆｄ，Ｆｃ間の動き量Ｍｘ（＝Ｍ１）、低解像度実画像Ｆｄ，Ｆｂ間の動き量Ｍｙ（＝Ｍ１＋Ｍ２）、及び、低解像度実画像Ｆｄ，Ｆａ間の動き量Ｍｚ（＝Ｍ１＋Ｍ２＋Ｍ３）それぞれが、算出される。
【０１０２】
そして、（１）動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なるとき、（２）動き量Ｍｘのみが０となるとき、（３）動き量Ｍｘ，Ｍｙのみが等しくなるとき、（４）動き量Ｍｙ，Ｍｚのみが等しくなるとき、それぞれについては、第１の実施形態と同様の動作を行う。即ち、（１）動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なるときは、加重加算を行わずに、４フレームの低解像度実画像を超解像処理部４８に出力する。そして、（２）動き量Ｍｘのみが０となるときは、低解像度実画像Ｆｃ，Ｆｄに対して加重加算を行い、（３）動き量Ｍｘ，Ｍｙのみが等しくなるとき、低解像度実画像Ｆｂ，Ｆｃに対して加重加算を行い、（４）動き量Ｍｙ，Ｍｚのみが等しくなるとき、低解像度実画像Ｆａ，Ｆｂに対して加重加算を行うことで、３フレームの低解像度実画像を超解像処理部４８に出力する。
【０１０３】
更に、本実施形態では、（１）動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なるときにおいても、（ａ）動き量Ｍｘ，Ｍｚが等しく、且つ、動き量Ｍ１，Ｍ３が等しい場合には、加重加算処理を行う。又、（ｂ）動き量Ｍｘ〜Ｍｚが等しい場合、又は、（ｃ）動き量Ｍｘ，Ｍｙが０となる場合において、連続する３フレームの低解像度実画像における基準画像との動き量が等しくなるが、この３フレームの低解像度実画像から、加重加算処理を行う低解像度実画像を２フレームのみ選択する。これらの場合の各動作について、以下に説明する。
【０１０４】
（ａ）動き量Ｍｘ，Ｍｚが等しく、且つ、動き量Ｍ１，Ｍ３が等しい場合
図１２（ａ）に示すように、低解像度実画像Ｆｃ，Ｆｄ間の動き量Ｍ１と、低解像度実画像Ｆａ，Ｆｂの動き量Ｍ３とが等しくなるとともに、低解像度実画像Ｆａ，Ｆｄの動き量Ｍｚ（＝Ｍ１＋Ｍ２＋Ｍ３）が動き量Ｍｘ（＝Ｍ１）と等しくなる。よって、低解像度実画像Ｆｂ，Ｆｃの動き量Ｍ２が−Ｍ１となるとともに、低解像度実画像Ｆｂ，Ｆｄの動き量Ｍｙが０となる。このとき、低解像度実画像Ｆａ，Ｆｃそれぞれについて、低解像度実画像Ｆｄに対する動き量が等しくなるだけでなく、それぞれの１つ前のフレームとなる低解像度実画像Ｆｂ，Ｆｄに対する動き量も等しくなる。
【０１０５】
よって、低解像度実画像Ｆａ，Ｆｃそれぞれにおいて、撮像する被写体位置が等しいだけでなく、その撮像時のブレの方向が等しくなる。これにより、低解像度実画像Ｆａ，Ｆｃそれぞれの各画素における画素値がほぼ等しいものとみなせるため、低解像度実画像Ｆａ，Ｆｃについて、第１の実施形態と同様の加重加算処理を行うことで、加重加算された低解像度実画像Ｆｅを取得することができる。そして、３フレームの低解像度実画像Ｆｂ，Ｆｄ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆｂ，Ｆｄ，Ｆｅを利用した超解像処理が成される。
【０１０６】
（ｂ）動き量Ｍｘ〜Ｍｚが等しい場合
図１２（ｂ）に示すように、０でない動き量Ｍｘ〜Ｍｚ全てが等しくなる場合、低解像度実画像Ｆｃ，Ｆｄ間の動き量Ｍ１が動き量Ｍｘとなるとともに、低解像度実画像Ｆｂ，Ｆｃの動き量Ｍ２、及び、低解像度実画像Ｆａ，Ｆｂの動き量Ｍ３それぞれが０となる。このとき、低解像度実画像Ｆａ，Ｆｂそれぞれについて、低解像度実画像Ｆｄに対する動き量が等しくなるだけでなく、それぞれの１つ前のフレームとなる低解像度実画像Ｆｂ，Ｆｃに対する動き量も等しくなる。
【０１０７】
よって、低解像度実画像Ｆａ，Ｆｂそれぞれにおいて、撮像する被写体位置が等しいだけでなく、その撮像時のブレの方向が等しくなる。これにより、低解像度実画像Ｆａ，Ｆｂそれぞれの各画素における画素値がほぼ等しいものとみなせるため、低解像度実画像Ｆａ，Ｆｂについて、第１の実施形態と同様の加重加算処理を行うことで、加重加算された低解像度実画像Ｆｅを取得することができる。そして、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅを利用した超解像処理が成される。
【０１０８】
（ｃ）動き量Ｍｘ，Ｍｙが０となる場合
図１２（ｃ）に示すように、動き量Ｍｘ，Ｍｙが０となる場合、低解像度実画像Ｆａ，Ｆｂ間の動き量Ｍ３が動き量Ｍｚとなるとともに、低解像度実画像Ｆｃ，Ｆｄの動き量Ｍ１、及び、低解像度実画像Ｆｂ，Ｆｃの動き量Ｍ２それぞれが０となる。このとき、低解像度実画像Ｆｂ，Ｆｃそれぞれについて、低解像度実画像Ｆｄに対する動き量が等しくなるだけでなく、それぞれの１つ前のフレームとなる低解像度実画像Ｆｃ，Ｆｄに対する動き量も等しくなる。
【０１０９】
よって、低解像度実画像Ｆｂ，Ｆｃそれぞれにおいて、撮像する被写体位置が等しいだけでなく、その撮像時のブレの方向が等しくなる。これにより、低解像度実画像Ｆｂ，Ｆｃそれぞれの各画素における画素値がほぼ等しいものとみなせるため、低解像度実画像Ｆｂ，Ｆｃについて、第１の実施形態と同様の加重加算処理を行うことで、加重加算された低解像度実画像Ｆｅを取得することができる。そして、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅを利用した超解像処理が成される。
【０１１０】
このようにすることで、本実施形態では、１フレーム前の低解像度実画像の動き量が等しく、且つ、基準画像となる低解像度実画像の動き量が等しい２フレーム以上の複数フレームの低解像度実画像を確認したとき、確認した複数フレームの低解像度実画像に対して、入力画像加重加算部４７において加重加算を施して、ノイズを抑制した低解像度実画像を生成する。これにより、超解像処理部４８における超解像処理において、低解像度実画像でのノイズの影響を低減することができ、超解像処理により得られる高解像度画像のノイズを抑制することができる。
【０１１１】
尚、本実施形態において、入力画像加重加算部４７において、第１の実施形態における条件以外に、１フレーム前の低解像度実画像の動き量が等しく、且つ、基準画像となる低解像度実画像の動き量が等しい２フレーム以上の複数フレームの低解像度実画像を確認したときに、確認した複数フレームの低解像度実画像に対して加重加算を行って１フレームの低解像度画像を生成するものであれば、３フレーム以上となるＮフレームの低解像度実画像を扱うものであっても構わない。このとき、入力画像加重加算部４７は、Ｎフレームの低解像度実画像が入力されて、２フレーム以上Ｎフレーム以下のＭフレームの低解像度実画像を超解像処理部４８に出力する。
【０１１２】
＜第３の実施形態＞
本発明の第３の実施形態について、図面を参照して説明する。図１３は、本実施形態の撮像装置における画像処理部の内部構成を示すブロック図である。尚、図１３による画像処理部の構成部分において、図４の画像処理部内における構成部分と同一となる部分については、同一の符号を付して、その詳細な説明は省略する。又、本実施形態で説明する際に用いる動き量Ｍｘｉ〜Ｍｚｉ，Ｍｘｒ〜Ｍｚｒ，Ｍ１ｒ〜Ｍ３ｒは、動き量Ｍｘ〜Ｍｚ，Ｍ１〜Ｍ３と同様、垂直方向及び水平方向それぞれの動き量によるベクトル量である。
【０１１３】
本実施形態の撮像装置におおける画像処理部４は、図１３に示すように、図４の構成に更に、フレームメモリ４１〜４３からの低解像度実画像に対して画素単位での動き量に基づく位置ズレ補正を行う位置ズレ補正部５１〜５３を備える。この図１３の構成の画像処理装置４において、フレームメモリ４１〜４４，４９、動き量検出部４５、動き量記憶部４６、超解像処理部４８、信号処理部５０それぞれについては、第１の実施形態と同様の動作を行う。よって、以下では、位置ズレ補正部５１〜５３及び入力画像加重加算部４７の動作について、説明する。
【０１１４】
フレームメモリ４１に記憶された低解像度実画像Ｆａが与えられる位置ズレ補正部５１では、動き量記憶部４６に記憶された動き量が与えられると、低解像度実画像Ｆａ，Ｆｄ間の動き量Ｍｚが検出される。低解像度実画像Ｆｄ，Ｆｃ間の動き量Ｍ１、低解像度実画像Ｆｃ，Ｆｂ間の動き量Ｍ２、及び、低解像度実画像Ｆｂ，Ｆａ間の動き量Ｍ３それぞれが動き量記憶部４６より与えられ、全てを加算して、低解像度実画像Ｆａ，Ｆｄ間の動き量Ｍｚを算出する。そして、この低解像度実画像Ｆａ，Ｆｄ間の動き量Ｍｚの内、画素単位となる動き量Ｍｚｉを確認し、この画素単位となる動き量Ｍｚｉによる位置ズレ補正を行う。そして、１画素以内の動き量（Ｍｚ−Ｍｚｉ）を、位置ズレ補正後の低解像度実画像Ｆａ，Ｆｄ間の動き量Ｍｚｒとして、位置ズレ補正後の低解像度実画像Ｆａとともに、入力画像加重加算部４７に出力する。
【０１１５】
又、フレームメモリ４２に記憶された低解像度実画像Ｆｂが与えられる位置ズレ補正部５２においても、位置ズレ補正部５１と同様、動き量記憶部４６に記憶された動き量が与えられると、低解像度実画像Ｆｂ，Ｆｄ間の動き量Ｍｙの内、画素単位となる動き量Ｍｙｉを確認し、この画素単位となる動き量Ｍｙｉによる位置ズレ補正を行う。そして、１画素以内の動き量（Ｍｙ−Ｍｙｉ）を、位置ズレ補正後の低解像度実画像Ｆｂ，Ｆｄ間の動き量Ｍｙｒとして、位置ズレ補正後の低解像度実画像Ｆｂとともに、入力画像加重加算部４７に出力する。
【０１１６】
更に、フレームメモリ４３に記憶された低解像度実画像Ｆｃが与えられる位置ズレ補正部５３においても、位置ズレ補正部５１，５２と同様、動き量記憶部４６に記憶された動き量が与えられると、低解像度実画像Ｆｃ，Ｆｄ間の動き量Ｍｘの内、画素単位となる動き量Ｍｘｉを確認し、この画素単位となる動き量Ｍｘｉによる位置ズレ補正を行う。そして、１画素以内の動き量（Ｍｘｙ−Ｍｘｉ）を、位置ズレ補正後の低解像度実画像Ｆｃ，Ｆｄ間の動き量Ｍｘｒとして、位置ズレ補正後の低解像度実画像Ｆｃとともに、入力画像加重加算部４７に出力する。
【０１１７】
よって、入力画像加重加算部４７には、位置ズレ補正部５１〜５３において、低解像度実画像Ｆｄを基準として画素単位での位置ズレ補正が成された低解像度実画像Ｆａ〜Ｆｃが入力されるとともに、フレームメモリ４４に記憶された低解像度実画像Ｆｄが入力される。又、位置ズレ補正部５１〜５３において位置ズレ補正が成された低解像度実画像Ｆａ〜Ｆｃそれぞれにおける、低解像度実画像Ｆｄに対する１画素以内の動き量Ｍｘｒ〜Ｍｚｒが、入力画像加重加算部４７に入力される。そして、この動き量Ｍｘｒ〜Ｍｚｒに基づいて、加重加算を行う低解像度実画像が選択される。
【０１１８】
尚、入力画像加重加算部４７では、第１の実施形態と同様の動作を行う場合は、（１）動き量Ｍｘｒ〜Ｍｚｒにおいて連続する動き量が異なるときは、加重加算を行わずに、４フレームの低解像度実画像を超解像処理部４８に出力する。そして、（２）動き量Ｍｘｒのみが０となるときは、低解像度実画像Ｆｃ，Ｆｄに対して加重加算を行い、（３）動き量Ｍｘｒ，Ｍｙｒのみが等しくなるとき、低解像度実画像Ｆｂ，Ｆｃに対して加重加算を行い、（４）動き量Ｍｙｒ，Ｍｚｒのみが等しくなるとき、低解像度実画像Ｆａ，Ｆｂに対して加重加算を行うことで、３フレームの低解像度実画像を超解像処理部４８に出力する。
【０１１９】
又、第２の実施形態と同様の動作を行う場合は、更に、（ａ）動き量Ｍｘｒ，Ｍｚｒが等しく、且つ、動き量Ｍ１ｒ（＝Ｍｘｒ），Ｍ３ｒ（＝Ｍｚｒ−Ｍｙｒ）が等しい場合には、低解像度実画像Ｆａ，Ｆｃに対して加重加算処理を行う。又、（ｂ）動き量Ｍｘｒ〜Ｍｚｒが等しい場合は、低解像度実画像Ｆａ，Ｆｂに対して加重加算処理を行い、（ｃ）動き量Ｍｘｒ，Ｍｙｒが０となる場合は、低解像度実画像Ｆｂ，Ｆｃに対して加重加算処理を行う。
【０１２０】
尚、本実施形態において、位置ズレ補正部５１〜５３を設けることにより、位置ズレ補正が成された低解像度実画像Ｆａ〜Ｆｃそれぞれとフレームメモリ４４とが、入力画像加重加算部４７に入力されるものとしたが、フレームメモリ４１〜４４から低解像度実画像Ｆａ〜Ｆｄが入力画像加重加算部４７に入力されて位置ズレ補正が成されるものとしても構わない。
【０１２１】
このとき、動き量記憶部４６に記憶された動き量Ｍｘ〜Ｍｚにおける一画素以内の動き量Ｍｘｒ〜Ｍｚｒを算出し、この動き量Ｍｘｒ〜Ｍｚｒに基づいて、加重加算処理を施す低解像度実画像の選択を行う。そして、加重加算処理を施すために選択した低解像度実画像について、基準画像となる低解像度実画像Ｆｄよりも時間的に近いフレームの低解像度画像を基準として、低解像度実画像Ｆｄよりも時間的に離れたフレームの低解像度実画像を、画素単位による位置ズレ補正を行った後、加重加算処理を施す。
【０１２２】
＜第４の実施形態＞
本発明の第４の実施形態について、図面を参照して説明する。尚、本実施形態の撮像装置における画像処理部は、第３の実施形態と同様、図１３に示すブロック図による構成となる。又、フレームメモリ４１〜４４，４９、動き量検出部４５、動き量記憶部４６、超解像処理部４８、信号処理部５０、位置ズレ補正部５１〜５３それぞれについては、第３の実施形態と同様の動作を行う。よって、以下では、入力画像加重加算部４７の動作について、説明する。
【０１２３】
本実施形態では、イメージセンサ１が、図１４のように、ＲＧＢ（Red Green Blue）３原色の色フィルタがベイヤ配列により設置された構成となる。即ち、イメージセンサ１において、垂直方向にＲによる色フィルタＦｒとＧによる色フィルタＦｇｒとが交互に配置される行と、垂直方向にＢによる色フィルタＦｂとＧによる色フィルタＦｇｂとが交互に配置される行とが、水平方向に交互に配置される。そして、隣接する行に配置される色フィルタＦｇｒ，Ｆｇｂは、対角線上に配置される。即ち、水平方向及び垂直方向それぞれに２画素×２画素を１つの画素群として、色フィルタＦｒ，Ｆｇｒ，Ｆｂ，Ｆｇｂが配置されるとき、色フィルタＦｒ，Ｆｂが一方の対角線上に配置されるとともに、色フィルタＦｇｒ，Ｆｇｂが他方の対角線上に配置される。
【０１２４】
このようなベイヤ配列による色フィルタを備えたイメージセンサ１によって、ＲＧＢの色信号による画像信号がＡＦＥ２より画像処理部４に入力され、第３の実施形態のようにして、入力画像加重加算部４７に、画素単位による位置ズレ補正が成された低解像度実画像が入力される。このとき、第３の実施形態においては、１画素内の動き量に基づいて、加重加算を行う低解像度実画像の選択が成されるが、本実施形態においては、画素単位による位置ズレの状態によって、異なる色信号が重なる画素位置があるため、（１）水平方向又は垂直方向の一方が奇数画素分、他方が偶数画素分（０画素を含む）となる場合、（２）水平方向及び垂直方向のいずれもが偶数画素分（０画素を含む）となる場合、（３）水平方向及び垂直方向のいずれもが奇数画素分となる場合、それぞれにおいて、入力画像加重加算部４７での動作が異なる。
【０１２５】
又、本実施形態における入力画像加重加算部４７は、図１５に示すように、位置ズレ補正部５１〜５３からの位置ズレ補正後の低解像度実画像Ｆａ〜Ｆｃとフレームメモリ４４からの低解像度実画像ＦｄとにおけるＲ信号及びＢ信号が入力されるＲＢ信号処理部７０１と、位置ズレ補正部５１〜５３からの位置ズレ補正後の低解像度実画像Ｆａ〜Ｆｃとフレームメモリ４４からの低解像度実画像ＦｄとにおけるＧ信号が入力されるＧ信号処理部７０２と、動き量記憶部４６に記憶された動き量よりＲＢ信号処理部７０１及びＧ信号処理部７０２それぞれの動作を設定する動作設定部７０３と、を備える。
【０１２６】
そして、ＲＢ信号処理部７０１から出力される複数フレームの低解像度実画像それぞれのＲ信号が、超解像処理により高解像度画像のＲ信号を生成する超解像処理部４８ｒに入力され、ＲＢ信号処理部７０１から出力される複数フレームの低解像度実画像それぞれのＢ信号が、超解像処理により高解像度画像のＢ信号を生成する超解像処理部４８ｂに入力される。又、Ｇ信号処理部７０２から出力される複数フレームの低解像度実画像それぞれのＧ信号が、超解像処理により高解像度画像のＧ信号を生成する超解像処理部４８ｇに入力される。尚、超解像処理部４８ｒ，４８ｂ，４８ｇは、第１の実施形態における超解像処理部４８と同様の動作を行い、例えば、その構成を、図１１のような構成とすることができる。
【０１２７】
このように入力画像加重加算部４７が構成されるとき、動作設定部７０３では、まず、動き量記憶部４６から算出された動き量Ｍｘ〜Ｍｚの内、１画素以内の動き量Ｍｘｒ〜Ｍｚｒによって、加重加算処理を行うための低解像度実画像を選択する。そして、動き量Ｍｘ〜Ｍｚの内の画素単位による動き量Ｍｘｉ〜Ｍｚｉに基づいて、選択した低解像度実画像それぞれの間の画素単位の動き量を確認することによって、ＲＢ信号処理部７０１及びＧ信号処理部７０２それぞれで加重加算を行うか否かを決定する。
【０１２８】
即ち、まず、入力された低解像度実画像Ｆａ〜Ｆｄに対して、第３の実施形態と同様、１画素以内の動き量Ｍｘｒ〜Ｍｚｒによって、加重加算処理を行うために低解像度実画像を選択する。このとき選択した低解像度実画像Ｆｐ，Ｆｑとすると、この低解像度実画像Ｆｐ，Ｆｑ間の動き量Ｍｐ内の画素単位による動き量Ｍｐｉが確認される。そして、動き量Ｍｐｉが、（１）水平方向又は垂直方向の一方が奇数画素分、他方が偶数画素分（０画素を含む）となる場合、（２）水平方向及び垂直方向のいずれもが偶数画素分（０画素を含む）となる場合、（３）水平方向及び垂直方向のいずれもが奇数画素分となる場合、それぞれによって、ＲＢ信号処理部７０１及びＧ信号処理部７０２それぞれで加重加算を行うか否かが決定される。
【０１２９】
（１）水平方向又は垂直方向の一方が奇数画素分、他方が偶数画素分となる場合
低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉより、水平方向又は垂直方向の一方が奇数画素分となり、他方が偶数画素分（０画素を含む）となるとき、低解像度実画像ＦｐにおけるＲＢ信号の画素位置に、低解像度実画像ＦｑのＧ信号の画素位置が重なる。そのため、低解像度実画像Ｆｐ，ＦｑそれぞれにおけるＲＧＢ信号のいずれについても同一画素で重なることがない。
【０１３０】
即ち、動作設定部７０３では、低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉに基づいて、ＲＧＢ信号のいずれについても、低解像度実画像Ｆｐ，Ｆｑ間で同一画素位置とならないことを確認する。これにより、ＲＢ信号処理部７０１及びＧ信号処理部７０２それぞれにおける低解像度実画像Ｆｐ，Ｆｑの加重加算処理を行わないことを決定する。そのため、ＲＢ信号処理部７０１が、低解像度実画像Ｆｐ，ＦｑそれぞれのＲＢ信号を、２フレームの低解像度実画像のＲＢ信号として超解像処理部４８ｒ，４８ｂに出力し、Ｇ信号処理部７０２が、低解像度実画像Ｆｐ，ＦｑそれぞれのＧ信号を、２フレームの低解像度実画像のＧ信号として超解像処理部４８ｇに出力する。
【０１３１】
（２）水平方向及び垂直方向のいずれもが偶数画素分となる場合
低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉより、水平方向及び垂直方向のいずれもが偶数画素分（０画素を含む）となるとき、低解像度実画像ＦｐにおけるＲＧＢ信号それぞれの画素位置に、低解像度実画像ＦｑのＲＧＢ信号それぞれの画素位置が重なる。即ち、低解像度実画像Ｆｐ，ＦｑそれぞれのＲ信号の画素位置、低解像度実画像Ｆｐ，ＦｑそれぞれのＧ信号の画素位置、低解像度実画像Ｆｐ，ＦｑそれぞれのＢ信号の画素位置それぞれが、一致することとなる。
【０１３２】
よって、動作設定部７０３では、低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉに基づいて、ＲＧＢ信号それぞれが、低解像度実画像Ｆｐ，Ｆｑ間で同一画素位置とることを確認する。これにより、ＲＢ信号処理部７０１及びＧ信号処理部７０２両方において、低解像度実画像Ｆｐ，Ｆｑの加重加算処理を行うことを決定する。そのため、ＲＢ信号処理部７０１が、低解像度実画像Ｆｐ，ＦｑそれぞれのＲＢ信号を加重加算することで、１フレームの低解像度実画像のＲＢ信号として超解像処理部４８ｒ，４８ｂに出力し、Ｇ信号処理部７０２が、低解像度実画像Ｆｐ，ＦｑそれぞれのＧ信号を加重加算することで、１フレームの低解像度実画像のＧ信号として超解像処理部４８ｇに出力する。
【０１３３】
（３）水平方向及び垂直方向のいずれもが奇数画素分となる場合
低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉより、水平方向及び垂直方向のいずれもが奇数画素分となるとき、低解像度実画像ＦｐにおけるＲＢ信号それぞれの画素位置に、低解像度実画像ＦｑのＢＲ信号それぞれの画素位置が重なるとともに、低解像度実画像ＦｐにおけるＧ信号の画素位置に、低解像度実画像ＦｑのＧ信号の画素位置が重なる。即ち、低解像度実画像ＦｐのＲ信号の画素位置と低解像度実画像ＦｑのＢ信号の画素位置とが一致し、低解像度実画像ＦｐのＢ信号の画素位置と低解像度実画像ＦｑのＲ信号の画素位置とが一致し、更に、低解像度実画像Ｆｐ，ＦｑそれぞれのＧ信号の画素位置が一致することとなる。
【０１３４】
よって、動作設定部７０３では、低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉに基づいて、Ｇ信号のみが、低解像度実画像Ｆｐ，Ｆｑ間で同一画素位置となることを確認する。これにより、ＲＢ信号処理部７０１において、低解像度実画像Ｆｐ，Ｆｑの加重加算処理を行わないことを決定するとともに、Ｇ信号処理部７０２において、低解像度実画像Ｆｐ，Ｆｑの加重加算処理を行うことを決定する。そのため、ＲＢ信号処理部７０１が、低解像度実画像Ｆｐ，ＦｑそれぞれのＲＢ信号を、２フレームの低解像度実画像のＲＢ信号として超解像処理部４８ｒ，４８ｂに出力し、Ｇ信号処理部７０２が、低解像度実画像Ｆｐ，ＦｑそれぞれのＧ信号を加重加算することで、１フレームの低解像度実画像のＧ信号として超解像処理部４８ｇに出力する。
【０１３５】
このように、本実施形態によると、入力画像加重加算部４７では、加重加算する低解像度実画像の選択を色信号毎に行われる。そのため、超解像処理部４８として、各色信号に対応した超解像処理部４８ｒ，４８ｇ，４８ｂを備えることで、入力画像加重加算部４７より与えられる低解像度実画像のフレーム数に応じた超解像処理を行う。この超解像処理部４８ｒ，４８ｇ，４８ｂそれぞれの超解像処理動作は、第１の実施形態で説明した超解像処理動作と同様である。
【０１３６】
＜第５の実施形態＞
本発明の第５の実施形態について、図面を参照して説明する。本実施形態の撮像装置における画像処理部は、超解像処理部における動作が、第１の実施形態のものと異なる。図１６は、本実施形態の撮像装置における画像処理部の構成を示すブロック図である。尚、図１６に示す画像処理部において、図４に示す画像処理部における構成部分と同一の目的とする構成部分については、同一の符号を付してその詳細な説明は省略する。
【０１３７】
即ち、本実施形態の撮像装置における画像処理部４では、フレームメモリ４１〜４４，４９、動き量検出部４５、動き量記憶部４６、信号処理部５０それぞれが、第１の実施形態と同様の動作を行う。又、入力画像加重加算部４７は、第１〜第３の実施形態と同様の動作を行う。よって、以下では、このような画像処理部４における超解像処理部４８について説明する。
【０１３８】
本実施形態の撮像装置における超解像処理部４８は、第１〜第４の実施形態で説明した超解像処理部４８と異なり、図１６に示すように、入力画像加重加算部４７から入力される低解像度実画像に対する重み係数を算出する重み係数算出部４８５を備える。そして、この重み係数算出部４８５で算出された重み係数が高解像度更新量算出部４８３に与えられることで、超解像処理を行う際に重み係数を用いた演算を行う。このとき、重み係数算出部４８５では、入力画像加重加算部４７で加重加算された低解像度実像画像に対する重み係数が大きくなるように、超解像処理に使用される低解像度実画像それぞれに対する重み係数が設定される。
【０１３９】
このように構成される超解像処理部４８では、重み係数算出部４８５によって、第１の実施形態と同様に高解像度更新量算出部４８３で算出された勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋γＣT・Ｃ・Ｘ｝）における、低解像度実画像と低解像度推定画像との間の二乗誤差による差分に与える重み係数が、入力画像加重加算部４７での処理動作に基づいて設定される。
【０１４０】
このとき、入力画像加重加算部４７において、低解像度実画像Ｆａ〜Ｆｄのいずれに対しても加重加算が成されなかった場合は、重み係数算出部４８５で算出される重み係数が全て１とされる。よって、高解像度更新量算出部４８３によって、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋γＣT・Ｃ・Ｘ｝）が求められることで、減算部４８４によって、この勾配∂Ｉ／∂Ｘによる高解像度画像Ｆｘの更新が行われる。
【０１４１】
又、入力画像加重加算部４７において加重加算処理が成された場合、重み係数算出部４８５では、加重加算されて得られた低解像度実画像に対する重み係数が、加重加算の成されていない低解像度実画像に対する重み係数よりも大きくなるように、重み係数が設定される。このとき、例えば、加重加算されて得られた低解像度実画像に対する重み係数が、加重加算の成されていない低解像度実画像に対する重み係数の２倍になるように設定するものとしても構わない。
【０１４２】
よって、例えば、入力画像加重加算部４７において、低解像度実画像Ｆｂ，Ｆｃが加重加算されて低解像度実画像Ｆｅが得られ、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅが、超解像処理部４８に入力される場合、重み係数算出部４８５において、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅそれぞれに対する重み係数Ｋａ，Ｋｄ，Ｋｅが算出される。このとき、重み係数Ｋｅが重み係数Ｋａ，Ｋｄよりも大きい値に設定されるとともに、重み係数Ｋａ，Ｋｄ，Ｋｅの和が１とされる。例えば、重み係数Ｋａ，Ｋｅを等しい値とするとともに、重み係数Ｋｅを重み係数Ｋａ，Ｋｄの２倍となる値とすると、Ｋａ＝Ｋｄ＝１／４、Ｋｅ＝１／２となる。
【０１４３】
又、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅが、超解像処理部４８に入力される場合、高解像度更新量算出部４８３において、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出される。よって、高解像度更新量算出部４８３では、低解像度実画像Ｆａ，Ｆｄ，Ｆｅに対して設定された係数Ｋａ，Ｋｄ，Ｋｅが、勾配∂Ｉ／∂Ｘにおける、低解像度実画像と低解像度推定画像との間の二乗誤差（Ｗａ・Ｘ−Ｙａ）、（Ｗｄ・Ｘ−Ｙｄ）、（Ｗｅ・Ｘ−Ｙｅ）に乗算される。
【０１４４】
これにより、高解像度更新量算出部４８３は、加重加算することでノイズを抑圧した低解像度画像の値に重み付けした勾配∂Ｊ／∂Ｘ（＝２×｛ＷａT・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・Ｋｄ・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・Ｋｅ・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）を高解像度画像の更新量として算出する。そして、高解像度更新量算出部４４３で算出された勾配∂Ｊ／∂Ｘによる更新量が減算部４８４に与えられて、この勾配∂Ｊ／∂Ｘによる高解像度画像Ｆｘの更新が行われる。
【０１４５】
この本実施形態の超解像処理部４８の構成例を、図１７に示す。図１７は、超解像処理部４８の内部構成を示すブロック図である。尚、この図１７による超解像処理部の構成部分において、図１１の超解像処理部内における構成部分と同一となる部分については、同一の符号を付して、その詳細な説明は省略する。
【０１４６】
図１７に示す超解像処理部４８は、図１１の構成に更に、入力画像加重加算部４７における処理動作に基づいて重み係数を設定する重み係数算出部４８５と、重み係数算出部４８５で算出された重み係数Ｋａ〜Ｋｄを減算部３１３〜３１６からの値に対して乗算して乗算部３１７〜３２０に出力する乗算部３２７〜３３０とを備えた構成となる。この超解像処理部４８において、図１１と同一の構成部分については、第１の実施形態で説明した動作と同様の動作を行う。
【０１４７】
このように構成される超解像処理部４８において、入力画像加重加算部４７から４フレームの低解像度実画像Ｆａ〜Ｆｄが入力されたとき、重み係数算出部４８５により、重み係数Ｋａ〜Ｋｄそれぞれが１とされる。そして、乗算部３０９〜３１２，３１７〜３２０，３２７〜３３０及び減算部３１３〜３１６全てが動作することによって、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋γＣT・Ｃ・Ｘ｝）が算出される。
【０１４８】
又、入力画像加重加算部４７から３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅ（尚、低解像度実画像Ｆｅは、低解像度実画像Ｆｃ，Ｆｄが加重加算されて得られる。）が入力されたとき、パラメータ算出部３０４，３０８、乗算部３１２，３２０，３３０、及び減算部３１６の動作を停止させる。又、重み係数算出部４８５により、乗算部３２７〜３２９に与える係数Ｋａ，Ｋｂ，Ｋｅが算出される。これにより、乗算部３０９〜３１１，３１７〜３１９，３２７〜３２９及び減算部３１３〜３１５が動作して、勾配∂Ｊ／∂Ｘ（＝２×｛ＷａT・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｅT・Ｋｅ・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出される。
【０１４９】
同様に、入力画像加重加算部４７から３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅ（尚、低解像度実画像Ｆｅは、低解像度実画像Ｆｂ，Ｆｃが加重加算されて得られる。）が入力されたとき、パラメータ算出部３０３，３０７、乗算部３１１，３１９，３２９、及び減算部３１５の動作を停止させる。又、重み係数算出部４８５により、乗算部３２７，３２８，３３０に与える係数Ｋａ，Ｋｅ，Ｋｄが算出される。これにより、勾配∂Ｊ／∂Ｘ（＝２×｛ＷａT・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋ＷｄT・Ｋｄ・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・Ｋｅ・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出される。
【０１５０】
又、入力画像加重加算部４７から３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅ（尚、低解像度実画像Ｆｅは、低解像度実画像Ｆａ，Ｆｂが加重加算されて得られる。）が入力されたとき、パラメータ算出部３０２，３０６、乗算部３１０，３１８，３２８、及び減算部３１４の動作を停止させる。又、重み係数算出部４８５により、乗算部３２７，３２９，３３０に与える係数Ｋｅ，Ｋｃ，Ｋｄが算出される。これにより、勾配∂Ｊ／∂Ｘ（＝２×｛ＷｃT・Ｋｃ・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・Ｋｄ・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・Ｋｅ・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出される。
【０１５１】
このように、本実施形態では、係数Ｋａ〜Ｋｅについて、加重加算されている低解像度実画像であるか否かによって、その値が設定されるものとしたが、この加重加算されているか否かを基準として設定することだけに限定されなくてもよい。例えば、基準画像（注目フレーム）となる低解像度実画像に対する係数が大きくなるように設定しても構わないし、基準画像（注目フレーム）となる低解像度実画像との動き量が小さい低解像度実画像ほど、その値が大きくなるように係数を設定しても構わない。又、基準画像（注目フレーム）となる低解像度実画像に時間的に近い低解像度実画像ほど、その値が大きくなるように係数を設定しても構わない。更に、本実施形態で説明したように、加重加算されている低解像度実画像であるか否かをも組み合わせて考慮することで、各係数の値が設定されるものとしても構わない。
【０１５２】
尚、本実施形態において、第３の実施形態のように、低解像度実画像において画素単位の位置ズレ補正を行って、加重加算処理の可否を決定するものとしても構わない。このとき、第４の実施形態のように、イメージセンサ１を、図１４のように、ＲＧＢによる３原色の色フィルタがベイヤ配列により設置された構成されたとき、色信号毎に加重加算を行う低解像度実画像の選択が行われるとともに、超解像処理部４８についても、各色信号に構成されることとなる。即ち、図１５に示す超解像処理部４８ｒ，４８ｇ，４８ｂが、重み係数算出部４８５を備えた超解像処理部として構成される。
【０１５３】
又、第３〜第５の実施形態においても、第１及び第２の実施形態と同様、第１及び第２の実施形態における条件に基づいて加重加算を行うために低解像度実画像を選択することができるものであれば、３フレーム以上となるＮフレームの低解像度実画像を扱うものであっても構わない。このとき、入力画像加重加算部４７は、Ｎフレームの低解像度実画像が入力されて、２フレーム以上Ｎフレーム以下のＭフレームの低解像度実画像を超解像処理部４８に出力する。
【０１５４】
更に、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図１８に、本発明における画像処理方法を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。
【０１５５】
図１８に示す表示装置は、図１に示す撮像装置と同様、画像処理部４、伸長処理部８、ディスプレイ部９、音声出力回路部１０、スピーカ部１１、タイミングジェネレータ１２、ＣＰＵ１３、メモリ１４、操作部１５、及び、バス回線１６，１７を備える。そして、外部で受信した放送信号を選局するチューナ部２１と、チューナ部２１で選局した放送信号を復調する復調部２２と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース２３とを、更に備える。
【０１５６】
この図１８の表示装置は、放送信号を受信する場合は、チューナ部２１で所望のチャンネルの放送信号を選局した後、復調部２２で放送信号を復調することで、ＭＰＥＧ圧縮符号方式による圧縮信号となるデジタル信号が得られる。このデジタル信号が伸長処理部８に与えられると、圧縮信号であるデジタル信号に対して、ＭＰＥＧ圧縮符号方式による伸長処理が施される。
【０１５７】
そして、操作部１５によって画像の高解像度化が指示されると、伸長処理部８で伸長処理して得られた画像信号が、画像処理部４に与えられて、上述の低解像度実画像の選択処理や超解像処理が行われることで、高解像度画像が生成される。その後、生成された高解像度画像による画像信号がディスプレイ部９に与えられて、画像再生がなされる。又、伸長処理部８の伸長処理で得られた音声信号が、音声出力回路部１０を通じてスピーカ部１１に与えられることで、音声が再生出力される。
【０１５８】
又、図１の撮像装置又は図１８の表示装置において、画像処理部４で超解像処理が成される画像について、動画像であっても構わないし、静止画像であっても構わない。尚、上述では、動画像となる画像信号が入力されたときの動作を中心に、各処理動作の説明を行っている。
【産業上の利用可能性】
【０１５９】
本発明は、超解像処理による画像の高解像度化を行う画像処理装置を備えた撮像装置や表示装置に適用することができる。
【図面の簡単な説明】
【０１６０】
【図１】は、本発明の画像処理装置となる画像処理部を備えた撮像装置の内部構成を示すブロック図である。
【図２】は、被写体の輝度分布と撮影時間の異なるフレームにおける画像データとの関係を示す図である。
【図３】は、超解像処理におけるフローの概要を説明するための図である。
【図４】は、第１の実施形態となる撮像装置の画像処理部の構成を示すブロック図である。
【図５】は、代表点マッチング法における検出領域の関係を示す図である。
【図６】は、基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図７】は、１画素以内の位置ズレ検出を行う際の基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図８】は、１画素以内の位置ズレ検出を行う際の基準画像の代表点及び非基準画像のサンプリング点それぞれの画素値の関係を示す図である。
【図９】は、４フレームの低解像度実画像間の動き量の関係を説明するための図である。
【図１０】は、第１の実施形態の撮像装置の入力画像加重加算部における処理動作を説明するための図である。
【図１１】は、図４の画像処理部の超解像処理部における高解像度更新量算出部の構成を示すブロック図である。
【図１２】は、第２の実施形態の撮像装置の入力画像加重加算部における処理動作を説明するための図である。
【図１３】は、第３の実施形態となる撮像装置の画像処理部の構成を示すブロック図である。
【図１４】は、第４の実施形態となる撮像装置のイメージセンサにおけるフィルタ配列を示すブロック図である。
【図１５】は、図１３の画像処理部における入力画像加重加算部の構成を示すブロック図である。
【図１６】は、第５の実施形態となる撮像装置の画像処理部の構成を示すブロック図である。
【図１７】は、図１６の画像処理部の超解像処理部における高解像度更新量算出部の構成を示すブロック図である。
【図１８】は、本発明の画像処理装置となる画像処理部を備えた表示装置の内部構成を示すブロック図である。
【符号の説明】
【０１６１】
１ イメージセンサ
２ ＡＦＥ
３ マイク
４ 画像処理部
５ 音声処理部
６ 圧縮処理部
７ ドライバ部
８ 伸長処理部
９ ディスプレイ部
１０ 音声出力回路部
１１ スピーカ部
１２ タイミングジェネレータ
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６，１７ バス回線
２０ 外部メモリ
４１〜４４，４９ フレームメモリ
４５ 動き量算出部
４６ 動き量記憶部
４７ 入力画像加重加算部
４８ 超解像処理部
５０ 信号処理部
【技術分野】
【０００１】
本発明は、高解像度画像を生成する画像処理方法及び画像処理装置に関するもので、特に、複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理方法及び画像処理装置に関する。又、この画像処理装置により生成された高解像度画像を記録又は再生する電子機器に関する。
【背景技術】
【０００２】
近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によりデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が、広く普及されつつある。そして、このような撮像装置や表示装置で処理されるデジタル画像において、異なる時間に撮影された複数のデジタル画像を用いて、その解像度を高解像度に変換する画像処理技術が提案されている。
【０００３】
この高解像度変換方法として、位置ズレのある複数の低解像度画像より１つの高解像度画像を推定する超解像処理が提案されている（非特許文献１参照）。そして、この超解像処理において、生成された高解像度画像を逆変換して、高解像度画像を構築するための元の低解像度画像を推定した後、実際の低解像度画像との比較を行うことで、更に、実際の値に近い高解像度画像を生成する再構成型と呼ばれる方式が提案されている。
【０００４】
この再構成型方式による超解像処理では、まず、複数の低解像度画像より取得される高解像度画像を仮定する（ＳＴＥＰ１）。この仮定した高解像度画像に基づいて、高解像度画像を構築するための複数の低解像度画像それぞれに逆変換して推定する（ＳＴＥＰ２）。そして、逆変換後の低解像度画像と元の低解像度画像とを比較した後（ＳＴＥＰ３）、その比較結果より、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値の差が小さくなるように、高解像度画像を生成する（ＳＴＥＰ４）。そして、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値（以下、「画素値」と呼ぶ）の差が収束するように、ＳＴＥＰ２〜ＳＴＥＰ４の処理を繰り返すことにより、最終的に取得される高解像度画像を実画像に近い画像とすることができる。
【０００５】
この再構成型方式として、ＭＬ（Maximum-Likelihood）法や、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection Onto Convex Set）法や、ＩＢＰ（Iterative Back Projection）法などが、提案されている。ＭＬ法では、高解像度画像から推定した低解像度画像（以下、「低解像度推定画像」と呼ぶ）の画素値と実際の低解像度画像（以下、「低解像度実画像」と呼ぶ）の画素値との二乗誤差を評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献２参照）。即ち、このＭＬ法による超解像処理は、最尤推定の原理に基づく処理方法である。
【０００６】
又、ＭＡＰ法では、低解像度推定画像と低解像度実画像それぞれの画素値の二乗誤差に高解像度画像の確率情報を付加したものを、評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献３，４参照）。即ち、ＭＡＰ法では、低解像度実画像に対する先見情報に基づく事後確率分布における出現確率を最大とするときの高解像度画像を推定することによって、最適な高解像度画像が取得される。
【０００７】
更に、ＰＯＣＳ法では、高解像度画像と低解像度画像のそれぞれの画素値に関する連立方程式を作成し、その連立方程式を逐次的に解くことにより、高解像度画像の画素値の最適値を取得して高解像度画像を生成する方法である（非特許文献５参照）。又、ＩＢＰ法では、撮影位置が異なるが被写体の画素位置に重なりをもつ複数の低解像度画像から高解像度を生成する方法、即ち、反復逆投影法を用いた超解像処理方法である（非特許文献６参照）。
【０００８】
このような超解像処理を用いて高解像度画像を取得する画像処理装置として、高解像度画像を取得するために使用される低解像度実画像の重み付け係数を位置ズレ補正量と基準フレームとの時間的距離とに基づいて決定する画像処理装置が提案されている（特許文献１参照）。又、特許文献１の画像処理装置以外に、高解像度画像を取得する際に使用される低解像度実画像において、隣接フレームとなる低解像度実画像との位置ズレ量によって、低解像度実画像の選択を行うものが提案されている（特許文献２参照）。
【特許文献１】特開２００６−０３３０６２号公報
【特許文献２】特開２００６−０４１６０３号公報
【非特許文献１】Sung, C. P. Min, K. P. Moon, G. K. 共著 "Super-resolution image reconstruction: a technical overview", (Signal processing Magazine, IEEE on Volume 26,Issue 3, May 2003, P.21-36)
【非特許文献２】Tom, B.C. Katsaggelos, A.K. 共著 "Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images", (Image Processing, Proceedings, International Conference on Volume 2, Oct 1995, P.23-26)
【非特許文献３】Schultz, R.R. Stevenson, R.L. 共著 "Extraction of high-resolution frames from video sequences" (Image Processing, IEEE Transactions on Volume 5, Issue 6, June 1996, P.996-1011)
【非特許文献４】Hardie R.C. Barnard K.J. Armstrong E.E. 共著 "Joint MAP registration and high-resolution image estimation using a sequence of undersampled images" (Image Processing, IEEE Transactions on Volume 6, Issue 12, Dec. 1997 P.1621-1633)
【非特許文献５】Stark, H. Oskoui, P. 共著 "High resolution image recovery from image-plane arrays, using convex projections" (J. Opt. Soc. Am. A, on vol. 6. P.1715-1726, 1989)
【非特許文献６】Michel, I. Peleg, S. 共著 "Improving Resolution by Image Registration" (CVGIP: Graph Models Image Process, on vol. 53. P.231-239, Mar. 1991)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したように、特許文献１の画像処理装置においては、高解像度画像を生成するための低解像度画像それぞれについて、基準となる低解像度実画像との時間的距離（フレーム数に相当）に応じた重み係数と、基準となる低解像度実画像との位置ズレ補正量（フレーム間の動き量）に応じた重み係数が算出される。そして、高解像度画像の注目画素近傍となる低解像度実画像の画素に対して、注目画素との座標位置関係による距離に基づいて、その画素値に乗算される重み係数が設定される。このとき、注目画素との座標位置関係により設定された重み係数に更に、上述の時間的距離及び位置ズレ補正量それぞれによる重み係数が乗算される。
【００１０】
しかしながら、特許文献１の画像処理装置では、高解像度画像生成時における、低解像度実画像それぞれの重み係数が設定されるものであり、高解像度画像生成のために必要な低解像度実画像の選択を行うものではない。そのため、各低解像度実画像に対する重み係数の演算だけでなく、動き量（位置ズレ補正量に相当する）が等しい複数の低解像度実画像についても、上述の超解像処理におけるＳＴＥＰ２の推定演算やＳＴＥＰ３の比較演算を行う必要があり、その演算量が大きくなる。又、高解像度画像を生成するための低解像度実画像のフレーム数が多い場合、演算量が大きくなるだけでなく、その低解像度実画像に含まれるノイズの影響もフレーム数に応じて大きくなる。
【００１１】
この特許文献１の画像処理装置に対して、特許文献２の画像処理装置においては、隣接するフレームとの動き量が小さい低解像度実画像を選択するため、超解像処理における演算量を低減することができる。しかしながら、基準となる低解像度実画像との動き量が等しい複数の低解像度実画像が選択される場合がある。このとき、特許文献１の画像処理装置と同様、ほぼ同一となる低解像度実画像に対して、上述の超解像処理におけるＳＴＥＰ２の推定演算やＳＴＥＰ３の比較演算を行う必要があるため、重複する演算処理が行われることとなる。又、重複する低解像度実画像に含まれるノイズの影響についても、特許文献１の画像処理装置と同様、重複するフレーム数に応じて大きくなるという問題がある。
【００１２】
このような問題を鑑みて、本発明は、複数フレームの低解像度実画像より高解像度画像を取得する際、被写体に対する画素位置が重なる複数フレームの低解像度実画像に対して合成処理を施して１フレームの低解像度実画像とする画像処理方法及び画像処理装置を提供することを目的とする。又、本発明は、複数フレームの低解像度実画像より高解像度画像を取得する際、被写体に対する画素位置が重なる複数フレームの低解像度実画像に対して合成処理を施して１フレームの低解像度実画像とする画像処理装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の画像処理装置は、注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化部を備える画像処理装置において、Ｎ（Ｎ≧Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出部と、前記第１低解像度画像に対する動き量が等しい複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像とするとともに、前記動き量が等しくない前記第３低解像度画像を前記第２低解像度画像として、Ｍフレームの前記第２低解像度画像を前記高解像度化部に入力する入力画像合成部と、を備えることを特徴とする。
【００１４】
このような画像処理装置において、前記入力画像合成部において、前記第１低解像度画像に対する動き量が等しく、且つ、同一時間方向に連続する前記第３低解像度画像との動き量が等しくなる複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像としても構わない。又、前記入力画像合成部において、前記動き量のうち１画素以下の動き量に基づいて、合成を行う前記第３低解像度画像の判定が成されるものとしても構わない。
【００１５】
又、上述の画像処理装置において、前記低解像度画像が複数種類の色信号によって構成される画像である場合、前記入力画像合成部及び前記高解像度化部それぞれが、前記色信号の種類毎に動作する。
【００１６】
又、前記入力画像合成部より複数フレームの前記第３低解像度画像により合成された前記第２低解像度画像となる第４低解像度画像が前記高解像度化部に入力されるとき、前記超解像処理部において、前記第４低解像度画像に対する第１重み係数と、前記第４低解像度画像以外の前記第２低解像度画像である第５低解像度画像に対する第２重み係数と、を算出し、前記第４及び第５低解像度画像によって前記高解像度画像を生成する際、前記第１及び第２重み係数を用いて演算するものとしても構わない。
【００１７】
本発明の電子機器は、外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、前記高解像度化機能を実現する画像処理部として、上述のいずれの画像処理装置を備え、前記画像信号による画像を前記低解像度画像として超解像処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする。
【００１８】
又、本発明の画像処理方法は、注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化ステップを備える画像処理方法において、Ｎ（Ｎ≧Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出ステップと、前記第１低解像度画像に対する動き量が等しい複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像とするとともに、前記動き量が等しくない前記第３低解像度画像を前記第２低解像度画像とする入力画像合成ステップと、を備え、前記高解像度化ステップにおいて、前記入力画像合成ステップで取得したＭフレームの前記第２低解像度画像と前記第１低解像度画像とに基づいて前記高解像度画像を生成することを特徴とする。
【発明の効果】
【００１９】
本発明によると、注目フレームとなる第１低解像度画像との動き量が等しい第３低解像度画像を合成することで第２低解像度画像を取得するものとし、被写体に対する画素位置が重なる複数フレームの低解像度実画像に対して合成処理を施している。これにより、ノイズ低減された第２低解像度画像を高解像度化処理に利用することができるため、生成する高解像度画像に対して、低解像度画像におけるノイズ成分による影響を低下させることができる。よって、高解像化処理によって生成された高解像度画像が、実際の被写体による画像に近い高解像度画像とすることができ、その信頼性の高い高解像度画像とすることができる。又、合成処理を施すことによって、高解像度画像を生成するための演算に利用する低解像度画像のフレーム数を少なくすることができるため、その演算量を低減することができる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における画像処理方法を行う画像処理装置（以下では、「画像処理部」に相当する）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて、説明する。又、後述するが、同様の画像処理装置を備えるものであれば、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置であっても構わない。
【００２１】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２２】
図１の撮像装置は、被写体のから入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して超解像処理を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ１５に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、ユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。
【００２３】
この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、タイミングジェネレータ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号となる画像信号がデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００２４】
又、この画像処理部４では、操作部１５によってデジタルズームにより、イメージセンサ１より得られた画像信号の高解像度化が求められると、イメージセンサ１からの複数フレーム分の画像信号に基づく超解像処理が施される。更に、この超解像処理が成された画像信号に基づいて、輝度信号及び色差信号が生成される。又、超解像処理が施されるために、後述するが、複数フレームの画像信号の動き量が算出され、その動き量に応じて各フレームの位置合わせが行われる。
【００２５】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００２６】
尚、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ２０に記録されるだけとなり、その基本動作については動画撮影時の動作と同様である。又、この静止画像撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、イメージセンサ１によって撮影されている現時点の画像に対する圧縮信号も外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、イメージセンサ１によって撮影されている現時点の画像がディスプレイ部９に表示され、ユーザが確認することができる。
【００２７】
このように撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、映像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。又、静止画像撮影のときは、操作部１５によるシャッタ動作に基づいて、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、映像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
【００２８】
又、外部メモリ２０に記録された動画又は画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。又、圧縮信号が画像信号のみより成るときは、ディスプレイ部９に画像のみが再生されることとなる。
【００２９】
（超解像処理の基本概念）
次に、上述の撮像装置内の画像処理部４において実行される超解像処理の基本概念について、簡単に説明する。尚、超解像処理の基本概念を説明するにあたって、その説明を簡単にするために、画像データを１次元方向に並んだ複数画素の画素値によるものとするとともに、異なる時間に撮像された２フレームの画像データによる超解像処理が成されるものとする。又、以下の説明における画素値は、輝度値を示す。そして、図２（ａ）に、イメージセンサ１により撮像される被写体の輝度分布を示し、図２（ｂ）〜（ｄ）に、この被写体が異なる時間にイメージセンサ１により撮像された際の画像データ（低解像度実画像）を示す。又、図３に、図２における低解像度実画像により高解像度画像となる画像データを生成する際のフローチャートを示す。更に、図３では、各フローにおける信号の変遷を模式的に示す。
【００３０】
図２（ａ）に示す輝度分布の被写体に対して、時間Ｔ１にイメージセンサ１によって撮像されたときの第１フレームのサンプル点がＳ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳであり、時間Ｔ２（Ｔ１≠Ｔ２）にイメージセンサ１によって撮像されたときの第２フレームのサンプル点がＳ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳであるものとする。又、このとき、第１フレームのサンプル点Ｓ１と第２フレームのサンプル点Ｓ２は、手ブレなどが原因となり、その位置にズレが生じているものとする。
【００３１】
そして、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳは、被写体上のサンプル点を示し、図２（ｂ）に示す第１フレームとなる低解像度実画像Ｆａでは、このサンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３となる。又、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳは、被写体上のサンプル点を示し、図２（ｃ）に示す第２フレームとなる低解像度実画像Ｆｂでは、このサンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３となる。
【００３２】
これにより、第１フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３が図２（ｂ）のような関係となり、又、第２フレームとなる低解像度実画像Ｆｂの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３が図２（ｃ）のような関係となる。このように、図２（ｂ）による低解像度実画像Ｆａ及び図２（ｃ）による低解像度実画像Ｆｂそれぞれは、図中の被写体の位置を基準にすると、画素位置が（Ｓ１−Ｓ２）だけずれた状態の画像となる。そして、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）分だけ位置ズレ補正した場合）、低解像度実画像Ｆｂが図２（ｄ）のように表される。
【００３３】
そして、図３（ａ）に示すように、位置ズレを補正した図２（ｂ）及び図２（ｄ）のような低解像度実画像Ｆａ，Ｆｂを組み合わせることで、高解像度画像Ｆｘ１を推定する（ＳＴＥＰ３１）。このとき、以下の説明を簡単にするために、例えば、解像度を１次元方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素として、低解像度実画像Ｆａ，Ｆｂの画素Ｐ１，Ｐ２，Ｐ３に加えて更に、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５とが設定されるものとする。
【００３４】
低解像度実画像Ｆａが基準である注目フレームとされると、画素Ｐ１，Ｐ２，Ｐ３での画素値が、低解像度実画像Ｆａにおける画素値ｐａ１，ｐａ２，ｐａ３とされる。又、画素Ｐ４については、画素Ｐ４との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ１の画素位置からの距離の方が近いことより、画素値ｐｂ１とされるものとする。同様に、画素Ｐ５については、画素Ｐ５との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ２の画素位置からの距離の方が近いことより、画素値ｐｂ２とされるものとする。このように、画素Ｐ１〜Ｐ５の画素値をｐａ１，ｐａ２，ｐａ３，ｐｂ１，ｐｂ２と設定して得られた高解像度画像を、高解像度画像Ｆｘ１として推定されるものとしても構わない。
【００３５】
その後、ＳＴＥＰ３１で得られた高解像度画像Ｆｘ１に対して、ダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、図３（ｂ）のように、低解像度実画像Ｆａ，Ｆｂそれぞれに対する推定画像となる低解像度推定画像Ｆａ１，Ｆｂ１を生成する（ＳＴＥＰ３２）。尚、図３（ｂ）では、ｎ回目の処理によって推定された低解像度推定画像、即ち、高解像度画像Ｆｘｎより推定された低解像度実画像Ｆａ，Ｆｂに相当する低解像度推定画像Ｆａｎ，Ｆｂｎを示す。
【００３６】
即ち、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。
【００３７】
そして、図３（ｃ）に示すように、このようにして得られた低解像度推定画像Ｆａ１，Ｆｂ１それぞれと、低解像度実画像Ｆａ，Ｆｂそれぞれとの間における差分を求め、この差分を合成することで、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する（ＳＴＥＰ３３）。尚、図３（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎ、即ち、低解像度推定画像Ｆａｎ，Ｆｂｎと低解像度実画像Ｆａ，Ｆｂとによる差分画像ΔＦａｎ、ΔＦｂｎを合成することで得られた差分画像ΔＦｘｎを示す。
【００３８】
この図３（ｃ）の処理によって、低解像度推定画像Ｆａ１と低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）による差分画像ΔＦａ１、低解像度推定画像Ｆｂ１と低解像度実画像Ｆｂにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）による差分画像ΔＦｂ１をそれぞれ求める。即ち、差分画像ΔＦａ１では、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）が画素値となり、差分画像ΔＦｂ１では、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）が画素値となる。
【００３９】
そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｆ１〜Ｆ５それぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成によって差分画像ΔＦｘ１を取得する際、例えば、ＭＬ法やＭＡＰ法では、二乗誤差を評価関数として用いる。即ち、ＭＬ法やＭＡＰ法の評価関数が、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値となる。よって、この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となるため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。
【００４０】
その後、図３（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、ＳＴＥＰ１で推定された高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図２（ａ）に示す輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される（ＳＴＥＰ３４）。尚、図３（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）、即ち、高解像度推定画像Ｆｘｎより差分画像ΔＦｘｎが減算されて得られた高解像度画像Ｆｘ（ｎ＋１）を示す。
【００４１】
そして、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理を繰り返すことによって、ＳＴＥＰ３３で得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が、図２（ａ）に示す輝度分布の被写体に近い画素値に収束される。尚、ｎ回目の処理におけるＳＴＥＰ３２及びＳＴＥＰ３４では、前回（ｎ−１回目）の処理におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ，Ｆｂｎ及び高解像度推定画像Ｆｘ（ｎ＋１）が取得される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束されたとき、前の処理（ｎ−１回目の処理）におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎを、目的の高解像度画像として超解像処理を終了する。
【００４２】
上述したフローを基本とする超解像処理として、［背景技術］で挙げたＭＬ法や、ＭＡＰ法や、ＰＯＣＳ法や、ＩＢＰ法などが、画像処理部４で利用される。尚、本実施形態では、ＭＡＰ法が利用される場合の超解像処理が用いられるものとする。このとき、ＳＴＥＰ３３において取得される高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎが、ＭＡＰ法における評価関数を勾配法によって微分した値を画素値とする勾配画像で構成されるものとする。
【００４３】
即ち、各画素位置での二乗誤差を画素値とする最小二乗法によって得られた差分画像ΔＦａｎ、ΔＦｂｎを合成した高解像度画像Ｆｘｎの差分画像に、事後確率分布により拘束される高解像度画像Ｆｘｎの高速画像を加えた後、勾配法によって微分を行うことで、ＳＴＥＰ３３における差分画像ΔＦｘｎに相当する勾配画像を取得する。そして、ＳＴＥＰ３４において、この勾配画像による差分画像ΔＦｘｎを高解像度画像Ｆｘｎより減算することで、高解像度画像Ｆｘ（ｎ＋１）を再構築する。
【００４４】
このような超解像処理が行う際に、上述したように、まず、ＳＴＥＰ３１のように、イメージセンサ１で撮影された複数フレームの低解像度実画像から高解像度画像を推定することで、最適となる高解像度画像の取得が可能となる。そして、このＳＴＥＰ３１の高解像度画像の推定を行う際に最適となる低解像度実画像を、注目フレームを含む複数フレームの低解像度実画像より選択する必要がある。この最適な低解像度実画像の選択により、高解像度画像の取得速度が高速化できるとともに、フレーム数を制限することで、超解像処理における演算にかかる画像処理部４での負荷を低減することができる。又、選択した複数フレームの低解像度実画像それぞれの間に発生する位置ズレ量となる動き量が検出され、検出された動き量に対する補正が成される。尚、この位置ズレ補正については、後述する。
【００４５】
このような超解像処理を行う画像処理部４を備えた撮像装置の実施形態について、以下に説明する。尚、上述の超解像処理については、反復して処理を施すことによって高解像度画像を更新する、再構築型の超解像処理を例に挙げて説明したが、以下の各実施形態において、この再構築型の超解像処理ではなくても構わない。即ち、選択した複数フレームの低解像度実画像より初期高解像度画像を生成し、この初期高解像度画像を更新することなく、高解像度画像として出力するものとしても構わない。
【００４６】
又、以下の各実施形態では、画像処理部４の超解像処理における低解像度実画像の選択動作の詳細を特徴とするものであり、動画撮影動作、静止画撮影動作、動画再生動作、静止画再生動作それぞれについては、上述の動作で説明した動作を基本とするため、その詳細な説明は省略する。又、以下の各実施形態において、ＭＡＰ法を代表して、画像処理部４による超解像動作について説明する。
【００４７】
＜第１の実施形態＞
本発明の第１の実施形態について、図面を参照して説明する。図４は、本実施形態の撮像装置における画像処理部の構成を示すブロック図である。尚、本実施形態を含めて以下の各実施形態では、４フレームの低解像度実画像を一時的に記憶し、この４フレームの低解像度実画像に対して演算処理を行うことで高解像度画像が選択されるものとする。
【００４８】
図４に示すように、ＡＦＥ２でデジタル信号とされた１フレーム分の低解像度実画像となる画像信号を一時的に記憶するフレームメモリ４１と、フレームメモリ４１に記憶された１フレーム分の低解像度実画像を一時的に記憶するフレームメモリ４２と、フレームメモリ４２に記憶された１フレーム分の低解像度実画像を一時的に記憶するフレームメモリ４３と、フレームメモリ４３に記憶された１フレーム分の低解像度実画像を一時的に記憶するフレームメモリ４４と、ＡＦＥ２より入力される現フレームの低解像度実画像による画像信号とフレームメモリ４１に記憶された現フレームより１フレーム前の低解像度実画像による画像信号とが与えられて動き量を算出する動き量算出部４５と、動き量算出部４５で検出された動き量に基づいてフレームメモリ４１〜４４に記憶された４フレームの低解像度実画像それぞれにおける動き量を記憶する動き量記憶部４６と、動き量記憶部４６に記憶された動き量に基づいてフレームメモリ４１〜４４に記憶された４フレームの低解像度実画像それぞれを加重加算する入力画像加重加算部４７と、入力画像加重加算部４７で加重加算されて得られた複数フレームの低解像度実画像に対して超解像処理を行って高解像度画像を生成する超解像処理部４８と、超解像処理部４８で得られた高解像度画像を一時的に記憶して再び超解像処理部４８に与えるフレームメモリ４９と、超解像処理部４８で超解像処理が施された高解像度画像による画像信号又はＡＦＥ２から直接与えられた画像信号より輝度信号及び色差信号を生成する信号処理部５０と、を備える。
【００４９】
更に、超解像処理部４８は、入力画像加重加算部４７からの複数フレーム分の低解像度実画像（図３（ａ）の低解像度実画像Ｆａ，Ｆｂに相当）より初期高解像度画像となる高解像度画像（図３（ａ）の高解像度画像Ｆｘ１に相当）を推定する初期高解像度推定部４８１と、初期高解像度推定部４８１で推定されて得られた高解像度画像とフレームメモリ４９に一時記憶された高解像度画像のいずれか１つを選択して後段に与える選択部４８２と、選択部４８２で選択された高解像度画像と入力画像加重加算部４７からの複数フレームの低解像度実画像によって高解像度画像の更新量（図３（ｄ）の差分画像ΔＦｘｎに相当）を求める高解像度更新量算出部４８３と、選択部４８２で選択された高解像度画像から高解像度更新量算出部４８３で得られた更新量を減算する減算部４８４と、を備える。尚、選択部４８２では、１回目の選択動作において、初期高解像度推定部４８１で推定された初期高解像度画像を選択し、２回目以降の選択動作において、フレームメモリ４９に一時記憶された高解像度画像を選択する。
【００５０】
（動き量検出部の動作）
まず、動き量検出部４５の動作について簡単に説明する。この動き量検出部４５には、現フレームとなる低解像度実画像ＦａがＡＦＥ２から与えられるとともに、現フレームの１フレーム前の低解像度実画像Ｆｂがフレームメモリ４１から与えられて、位置ズレとなる動き量が検出される。この動き量の検出は、時間的に連続した２フレームの低解像度実画像Ｆａ，Ｆｂのうち、現フレームでないもう一方の低解像度実画像Ｆｂを基準画像とし、現フレームとなる低解像度実画像Ｆａを非基準画像として検出される。尚、本実施形態では、現フレームでないもう一方の低解像度実画像Ｆｂを基準画像とするものとして説明するが、現フレームとなる低解像度実画像Ｆａを基準画像としても構わない。
【００５１】
この動き量検出については、例えば、周知の代表点マッチング法によって、画像間における画素単位の動き量が検出され、その後、１画素内（１画素以下）における動き量について、画素単位で位置ズレ補正された近隣画素の画素値の関係に基づいて検出されるものとしても構わない。以下に、代表点マッチング法と、１画素内における位置ズレ検出とについて、簡単に説明する。
【００５２】
（１）代表点マッチング法
基準画像及び非基準画像それぞれに対して、例えば、図５に示すように、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、更に、このｐ×ｑ領域の小領域ｅ群（例えば、６×８の小領域ｅ群）を１つの検出領域Ｅとして分割する。そして、基準画像では、各小領域ｅにおいて、図６（ａ）のように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定され、又、非基準画像では、各小領域ｅにおいて、図６（ｂ）のように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。
【００５３】
このように、小領域ｅ及び検出領域Ｅを設定すると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。
【００５４】
このようにして、各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられる累積相関値が最小となるサンプリング点Ｓが検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。
【００５５】
（２）１画素内の動き量検出
上述のように、画素単位による動き量を検出すると、更に、１画素内における動き量が検出される。このとき、例えば、まず、図５に示す小領域ｅ毎に、基準画像の代表点Ｒとなる画素の画素値と、上述の代表点マッチング法によって得られた動き量によって代表点Ｒと相関性の高いサンプリング点Ｓｘとなる画素及び周辺画素それぞれの画素値との関係によって、１画素内における動き量を検出する。
【００５６】
即ち、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａ（図７（ａ）参照）と、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃ（図７（ｂ）参照）と、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄ（図７（ｂ）参照）との関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画像から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。
【００５７】
又、図８（ａ）のように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとし、図８（ｂ）のように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、図７（ａ）及び図７（ｂ）のような関係より、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。
【００５８】
このようにして、小領域ｅそれぞれにおける１画素内での動き量を求めると、求めた動き量を平均することで、この平均値を、基準画像Ｆｂと非基準画像Ｆａとの間の画素単位による動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像Ｆｂと非基準画像Ｆａとの間における動き量を算出することができる。
【００５９】
この動き量検出部４５で算出された連続する２フレームの低解像度実画像間の動き量は、動き量記憶部４６に記憶される。尚、フレームメモリ４１〜４４に格納される４フレームの低解像度実画像に対して求められた、連続する２フレームの低解像度実画像間の動き量が、動き量記憶部４６に記憶される。
【００６０】
（入力画像加重加算部の動作）
次に、入力画像加重加算部４７の動作について、図面を参照して説明する。この入力画像加重加算部４７には、動き量記憶部４６より、フレームメモリ４１〜４４に記憶された低解像度実画像Ｆａ〜Ｆｄそれぞれにおける、連続する２フレーム間の動き量が与えられる。即ち、図９（ａ）に示す、低解像度実画像Ｆｄ，Ｆｃ間の動き量Ｍ１、低解像度実画像Ｆｃ，Ｆｂ間の動き量Ｍ２、及び、低解像度実画像Ｆｂ，Ｆａ間の動き量Ｍ３それぞれが、動き量記憶部４６より入力画像加重加算部４７に与えられる。尚、この動き量Ｍ１〜Ｍ３は、垂直方向及び水平方向それぞれの動き量によるベクトル量である。
【００６１】
そして、入力画像加重加算部４７では、連続する２フレームの低解像度実画像間の動き量Ｆａ〜Ｆｃが与えられることで、現フレームの３フレーム前のフレームであるフレームメモリ４４からの低解像度実画像Ｆｄを基準画像としたときの、フレームメモリ４１〜４３からの低解像度実画像Ｆａ〜Ｆｃの動き量を算出する。即ち、図９（ｂ）に示す、低解像度実画像Ｆｄ，Ｆｃ間の動き量Ｍｘ（＝Ｍ１）、低解像度実画像Ｆｄ，Ｆｂ間の動き量Ｍｙ（＝Ｍ１＋Ｍ２）、及び、低解像度実画像Ｆｄ，Ｆａ間の動き量Ｍｚ（＝Ｍ１＋Ｍ２＋Ｍ３）それぞれが、入力画像加重加算部４７で算出される。尚、この動き量Ｍｘ〜Ｍｚについても、動き量Ｍ１〜Ｍ３と同様、垂直方向及び水平方向それぞれの動き量によるベクトル量である。
【００６２】
このようにして、低解像度実画像Ｆｄを基準画像とした動き量Ｍｘ〜Ｍｚが算出されると、この動き量Ｍｘ〜Ｍｚの関係を確認し、超解像処理部４８に入力する際に加重加算を行うフレームを選択する。このとき、基準画像となる低解像度実画像Ｆｄとの動き量が等しくなるフレームの低解像度実画像を、加重加算を行うために選択する。よって、（１）動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なる場合、（２）動き量Ｍｘが０となる場合、（３）動き量Ｍｘ，Ｍｙが等しい場合、（４）動き量Ｍｙ，Ｍｚが等しい場合の４つの場合に対して、入力画像加重加算部４７での加重加算を行うフレームが異なる。以下で、この４つの場合それぞれについて、説明する。
【００６３】
（１）動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なる場合が異なる場合
動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なる場合、換言すると、連続する２フレーム間の動き量Ｍ１〜Ｍ３のいずれも０とならない場合、図１０（ａ）に示すように、フレームメモリ４１〜４４それぞれからの低解像度実画像Ｆａ〜Ｆｄそれぞれをそのまま、超解像処理部４８に与える。即ち、基準画像となる低解像度実画像Ｆｄとの動き量が等しくなるフレームがないため、加重加算する２フレームの低解像度実画像の選択が成されない。よって、加重加算のための選択を行うことなく、フレームメモリ４１〜４４それぞれからの低解像度実画像Ｆａ〜Ｆｄを超解像処理部４８に与えることで、超解像処理部４８では、４フレームの低解像度実画像Ｆａ〜Ｆｄを利用した超解像処理が成される。
【００６４】
（２）動き量Ｍｘが０となる場合
動き量Ｍｘが０となる場合、換言すると、連続する２フレーム間の動き量Ｍ１〜Ｍ３のうち、動き量Ｍ１が０となる場合、低解像度実画像Ｆｃ，Ｆｄが同一の画像となる。よって、図１０（ｂ）に示すように、低解像度実画像Ｆｃ，Ｆｄを加重加算して１フレームの低解像度実画像Ｆｅとする。そして、３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅを利用した超解像処理が成される。
【００６５】
このとき、例えば、低解像度実画像Ｆｄの全画素に対して重み係数ｋ（０＜ｋ＜１）を乗算し、低解像度実画像Ｆｃの全画素に対して重み係数（１−ｋ）を乗算した後、重み係数が乗算された低解像度実画像Ｆｃ，Ｆｄを加算することによって、低解像度実画像Ｆｅを生成するものとしても構わない。このとき、低解像度実画像Ｆｄを基準とするため、基準となる低解像度実画像Ｆｄに対する重み係数ｋが、低解像度実画像Ｆｃに対する重み係数（１−ｋ）よりも大きい値に設定されるものとしても構わない。
【００６６】
又、低解像度実画像Ｆｃ，Ｆｄそれぞれにおける各画素に対して、重み係数が設定されるものとしても構わない。このとき、低解像度実画像Ｆｄに対する３次元ノイズ低減処理を行うことによって、低解像度実画像Ｆｃ，Ｆｄそれぞれにおける各画素に対する重み係数が設定されるものとしても構わない。３次元ノイズ低減処理を行うことで重み係数を決定する場合について、以下に簡単に説明する。
【００６７】
まず、低解像度実画像Ｆｄにおいて、重み係数を設定するための注目画素に対して、低解像度実画像Ｆｃにおいて注目画素と同じ画素位置となる画素の画素値との差分Ｄを求める。この注目画素の画素位置における低解像度画像Ｆｃ，Ｆｄ間の差分Ｄによって、（１）式の演算を行うことで、低解像度画像Ｆｄの注目画素の画素値より減算するノイズ値Ｎｚを算出する。
【００６８】
【数１】
【００６９】
更に、同一画素位置における低解像度画像Ｆｃ，Ｆｄ間の差分Ｄの絶対値に対して、ローパスフィルタ処理を施した値により、注目画素の画素位置における動き量Ｍを算出すると、この動き量Ｍによって、（２）式の演算を行うことで、ノイズ値Ｎｚに乗算する帰還係数Ｋが算出される。そして、ノイズ値Ｎｚに帰還係数Ｋを乗算した値Ｋ×Ｎｚを、低解像度画像Ｆｄの注目画素の画素値より減算することで、連続する２フレームの低解像度画像Ｆｃ，Ｆｄにより３次元ノイズ低減処理を施した低解像度画像Ｆｅの画素値を取得することができる。
【００７０】
【数２】
【００７１】
（３）動き量Ｍｘ，Ｍｙが等しい場合
動き量Ｍｘ，Ｍｙが等しい場合、換言すると、連続する２フレーム間の動き量Ｍ１〜Ｍ３のうち、動き量Ｍ２が０となる場合、低解像度実画像Ｆｂ，Ｆｃが同一の画像となる。よって、図１０（ｃ）に示すように、低解像度実画像Ｆｂ，Ｆｃを加重加算して１フレームの低解像度実画像Ｆｅとする。尚、低解像度実画像Ｆｂ，Ｆｃの加重加算については、動き量Ｍｘが０となるときに低解像度実画像Ｆｃ，Ｆｄに対して施す加重加算と同様である。そして、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅを利用した超解像処理が成される。
【００７２】
（４）動き量Ｍｙ，Ｍｚが等しい場合
動き量Ｍｙ，Ｍｚが等しい場合、換言すると、連続する２フレーム間の動き量Ｍ１〜Ｍ３のうち、動き量Ｍ３が０となる場合、低解像度実画像Ｆａ，Ｆｂが同一の画像となる。よって、図１０（ｄ）に示すように、低解像度実画像Ｆａ，Ｆｂを加重加算して１フレームの低解像度実画像Ｆｅとする。尚、低解像度実画像Ｆａ，Ｆｂの加重加算については、動き量Ｍｘが０となるときに低解像度実画像Ｆｃ，Ｆｄに対して施す加重加算と同様である。そして、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅを利用した超解像処理が成される。
【００７３】
尚、上述の（２）〜（４）の場合のように、動き量Ｍ１〜Ｍ３が０となることで、加重加算を施す連続する２フレームの低解像度実画像を選択するものとしたが、動き量Ｍ１〜Ｍ３が０に近い値（例えば、１／２画素以下）であったときに、（２）〜（４）の場合のような選択動作が行われる。
【００７４】
（超解像処理部の動作）
次に、このように構成される超解像処理部４８の動作について、図３を参照して説明する。尚、上述した図１０（ａ）の場合のように、入力画像加重加算部４７から４フレームの低解像度実画像Ｆａ〜Ｆｄが入力されたときの動作を代表して説明する。又、低解像度実画像を含む低解像度画像の画素数をｕとし、初期高解像度画像を含む高解像度画像の画素数をｖとする。そして、ｕ画素による低解像度実画像Ｆａの各画素値がＹａ＝［ｙａ１，ｙａ２，…，ｙａｕ］となり、ｕ画素による低解像度実画像Ｆｂの各画素値がＹｂ＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］となり、ｕ画素による低解像度実画像Ｆｃの各画素値がＹｃ＝［ｙｃ１，ｙｃ２，…，ｙｃｕ］となり、ｕ画素による低解像度実画像Ｆｄの各画素値がＹｄ＝［ｙｄ１，ｙｄ２，…，ｙｄｕ］となる。
【００７５】
（１）初期高解像度画像による処理
入力画像加重加算部４７から４フレームの低解像度実画像Ｆａ〜Ｆｄが初期高解像度推定部４８１に与えられる。これにより初期高解像度推定部４８１では、図３（ａ）に示すＳＴＥＰ３１のように、動き量記憶部４６で得られた動き量に基づいて、４フレームの低解像度実画像Ｆａ〜Ｆｄ間の位置ズレを検出する。そして、低解像度実画像Ｆａ〜Ｆｄの各画素値Ｙａ〜Ｙｄに対して、動き量により確認された位置ズレを利用した補間処理を施すことで、ｖ画素による初期高解像度画像Ｆｘ１を取得する。
【００７６】
尚、高解像度画像Ｆｘ１〜Ｆｘｎそれぞれの各画素値を、Ｘ＝［ｘ１，ｘ２，…，ｘｖ］となるものとする。この初期高解像度推定部４８１で初期高解像度画像Ｆｘ１を生成する際、高解像度画像生成用のフィルタの一部にメディアンフィルタなどによるノイズ低減処理を行うフィルタを用いることや、高解像度画像生成用のフィルタのタップ数を広げることで、Ｓ／Ｎ比（信号／ノイズ比）を高くすることが好ましい。
【００７７】
このようにして初期高解像度推定部４８１から初期高解像度画像Ｆｘ１が出力されると、選択部４８２によって、この初期高解像度画像Ｆｘ１が選択されて、高解像度更新量算出部４８３に与えられる。この高解像度更新量算出部４８３では、動き量算出部４６で得られた動き量が与えられることで、動き量に基づいて、高解像度実画像Ｆｘに対する低解像度実画像Ｆａ〜Ｆｄそれぞれの位置ズレや低解像化によるぼけが算出される。この動き量より得られる位置ズレやぼけと、ｖ画素の高解像度画像Ｆｘｎからｕ画素の低解像度実画像Ｆａ〜Ｆｄに相当する低解像度推定画像Ｆａｎ〜Ｆｄｎへのダウンサンプリング量とを含むカメラパラメータ行列Ｗａ〜Ｗｄが求められる。
【００７８】
そして、選択部４８２を通じて与えられた初期高解像度画像Ｆｘ１に対して、カメラパラメータ行列Ｗａ〜Ｗｄが乗算されることで、図３（ｂ）に示すＳＴＥＰ３２のように、低解像度実画像Ｆａ〜Ｆｄに擬似的に類似させた低解像度推定画像Ｆａ１（＝Ｗａ・Ｘ）〜Ｆｄ１（＝Ｗｄ・Ｘ）が推定される。又、この高解像度更新量算出部４８３は、入力画像加重加算部４７からの４フレーム分の低解像度実画像Ｆａ〜Ｆｄが与えられることで、推定した低解像度推定画像Ｆａ１〜Ｆｂ１と低解像度実画像Ｆａ〜Ｆｄとの二乗誤差による差分｜Ｗａ・Ｘ−Ｙａ｜2〜｜Ｗｄ・Ｘ−Ｙｄ｜2が求められる。
【００７９】
この低解像度推定画像Ｆａ１〜Ｆｄ１と低解像度実画像Ｆａ〜Ｆｄとの差分による評価関数Ｉが、それぞれの差分の加算値に、選択部４８２で選択された高解像度画像によって得られる拘束項が付加された形で求められる。即ち、求められる評価関数Ｉは、｜Ｗａ・Ｘ−Ｙａ｜2＋｜Ｗｂ・Ｘ−Ｙｂ｜2＋｜Ｗｃ・Ｘ−Ｙｃ｜2＋｜Ｗｄ・Ｘ−Ｙｄ｜2＋γ｜ＣＸ｜2となる。尚、この評価関数Ｉの拘束項γ｜ＣＸ｜2において、行列Ｃが、事前確率モデルに基づく行列であり、「高解像度画像には高域成分が少ない」という事前知識に基づき、例えば、ラプラシアンフィルタなどのハイパスフィルタによって構成される。又、係数γは、拘束項の評価関数Ｉにおける重みの強さを表すパラメータである。
【００８０】
このようにして求められた評価関数Ｉに対して勾配法によって最小化を行うため、評価関数Ｉに対する勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋γＣT・Ｃ・Ｘ｝）が求められる。尚、添え字である「Ｔ」は、転置行列を表す。この更新量となる勾配∂Ｉ／∂Ｘを求めることで、高解像度更新量算出部４８３において、図３（ｃ）によって示すＳＴＥＰ３３における差分画像ΔＦｘ１が求められることとなる。
【００８１】
このようにして算出した勾配∂Ｉ／∂Ｘによる更新量が、高解像度更新量算出部４５３より減算部４８４に与えられると、減算部４８４では、図３（ｄ）におけるＳＴＥＰ３４のように、選択部４８２を介して初期高解像度推定部４８１より与えられる初期高解像度画像Ｆｘ１より、勾配∂Ｉ／∂Ｘによる更新量を減算する。この減算部４８４の減算結果により、ｖ画素の画素値それぞれが（Ｘ−∂Ｉ／∂Ｘ）となる高解像度画像Ｆｘ２が得られる。そして、この新たに得られた高解像度画像Ｆｘ２が減算部４８４より出力されて、フレームメモリ４９に与えられて、一時的に記憶される。
【００８２】
（２）生成後の高解像度画像による処理
上述のように、初期高解像度画像Ｆｘ１を取得して、高解像度画像の更新量を勾配∂Ｉ／∂Ｘし、新たな高解像度画像Ｆｘ２を取得すると、選択部４８２は、フレームメモリ４９に格納された高解像度画像を選択して高解像度更新量算出部４８３に与える。即ち、ｎ（ｎ≧２の整数）回目の演算処理の場合、フレームメモリ４９に格納された高解像度画像Ｆｘｎが選択部４８２によって読み出されて、高解像度更新量算出部４８３に与えられる。
【００８３】
よって、高解像度更新量算出部４８３では、フレームメモリ４９に格納された高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ（＝Ｗａ・Ｘ）〜Ｆｄｎ（＝Ｗｄ・Ｘ）を推定する。このようにして求められた低解像度推定画像Ｆａｎ〜Ｆｄｎと、入力される低解像度実画像Ｆａ〜Ｆｄ及び高解像度画像Ｆｘｎとによって、更新量となる∂Ｉ／∂Ｘ（＝２×｛ＷａＴ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂＴ・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃＴ・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄＴ・（Ｗｄ・Ｘ−Ｙｄ）＋γＣＴ・Ｃ・Ｘ｝）による差分画像ΔＦｘｎが、高解像度更新量算出部４８３で求められる。そして、減算部４８４において、高解像度更新量算出部４８３で求められた差分画像ΔＦｘｎが、選択部４８２を介してフレームメモリ４９から与えられる高解像度画像Ｆｘｎより減算されて、即ち、Ｘ−∂Ｉ／∂Ｘの演算が行われることで、新たに高解像度画像Ｆｘ（ｎ＋１）が得られる。
【００８４】
そして、超解像演算部４８において、高解像度更新量算出部４８３による演算処理回数をｎ回に設定している場合は、減算部４８４で新たに得られた高解像度画像Ｆｘ（ｎ＋１）を、減算部４８４から信号処理部５０に出力する。又、超解像演算部４８内において、高解像度更新量算出部４８３による演算処理回数をｎ＋１回以上に設定している場合は、高解像度画像Ｆｘ（ｎ＋１）をフレームメモリ４９に与えて一時記憶して、ｎ＋１回目の演算処理を行う。
【００８５】
この超解像演算部４８内における高解像度更新量算出部４８３及び減算部４８４による演算処理の繰り返し回数については、動画撮影や静止画の連続撮影などのように、１フレームの撮影間隔が短い場合は、その回数が少なくなるように設定される。又、連続撮影以外の通常の静止画撮影の場合は、その回数が、動画撮影や静止画の連続撮影の場合よりも多くなるように設定されるものとしても構わない。
【００８６】
尚、入力画像加重加算部４７において加重加算がなされずに、４フレームの低解像度実画像Ｆａ〜Ｆｄが超解像処理部４８に入力される場合について説明したが、２フレームの低解像度実画像を加重加算して１フレームの低解像度実画像とした場合も同様の演算によって、超解像処理が成される。よって、（ａ）動き量Ｍｘが０となる場合（図１０（ｂ）参照）、（ｂ）動き量Ｍｘ，Ｍｙが等しい場合（図１０（ｃ）参照）、（ｃ）動き量Ｍｙ，Ｍｚが等しい場合（図１０（ｄ）参照）の各場合について、簡単に説明する。
【００８７】
（ａ）動き量Ｍｘが０となる場合
動き量Ｍｘが０となり、低解像度実画像Ｆｃ，Ｆｄが加重加算された低解像度実画像Ｆｅ（画素の値が、Ｙｅ＝［ｙｅ１，ｙｅ２，…，ｙｅｕ］となる）が入力される場合、まず、初期高解像度推定部４８１において、３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅによって、初期高解像度画像Ｆｘ１が取得される。その後、高解像度更新量算出部４８３において、評価関数Ｉ（＝｜Ｗａ・Ｘ−Ｙａ｜2＋｜Ｗｂ・Ｘ−Ｙｂ｜2＋｜Ｗｅ・Ｘ−Ｙｅ｜2＋γ｜ＣＸ｜2）による勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が更新量として算出される。そして、減算部４８４において、選択部４８２により選択された高解像度画像Ｆｘｎより、高解像度更新量算出部４８３で算出した更新量を減算することにより、高解像度画像の更新を行う。これらの動作を繰り返すことによって、３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅによる超解像処理に基づく高解像度画像が、信号処理部５０に出力される。
【００８８】
（ｂ）動き量Ｍｘ，Ｍｙが等しい場合
動き量Ｍｘ，Ｍｙが等しく、低解像度実画像Ｆｂ，Ｆｃが加重加算された低解像度実画像Ｆｅが入力される場合、まず、初期高解像度推定部４８１において、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅによって、初期高解像度画像Ｆｘ１が取得される。その後、高解像度更新量算出部４８３において、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が更新量として算出される。そして、減算部４８４において、選択部４８２により選択された高解像度画像Ｆｘｎより、高解像度更新量算出部４８３で算出した更新量を減算して、高解像度画像の更新を行う。これらの動作を繰り返すことによって、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅによる超解像処理に基づく高解像度画像が、信号処理部５０に出力される。
【００８９】
（ｃ）動き量Ｍｙ，Ｍｚが等しい場合
動き量Ｍｙ，Ｍｚが等しく、低解像度実画像Ｆａ，Ｆｂが加重加算された低解像度実画像Ｆｅが入力される場合、まず、初期高解像度推定部４８１において、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅによって、初期高解像度画像Ｆｘ１が取得される。その後、高解像度更新量算出部４８３において、勾配∂Ｉ／∂Ｘ（＝２×｛ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が更新量として算出される。そして、減算部４８４において、選択部４８２により選択された高解像度画像Ｆｘｎより、高解像度更新量算出部４８３で算出した更新量を減算して、高解像度画像の更新を行う。これらの動作を繰り返すことによって、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅによる超解像処理に基づく高解像度画像が、信号処理部５０に出力される。
【００９０】
このようにして、画像処理部４内の超解像処理部４８において超解像処理が成されることによって、入力加重加算部４７から入力される３フレーム分又は４フレーム分の低解像度実画像から高解像度画像が得られる。尚、このような超解像処理部４８における詳細な構成例について、図１１に示す。即ち、図４に示す構成で説明した初期高解像度推定部４８１と、選択部４８２と、高解像度更新量算出部４８３と、減算部４８４とを備えるときの高解像度更新量算出部４８３の構成例が、図１１に示すようなブロック構成となる。
【００９１】
図１１において、高解像度更新量算出部４８３が、動き量記憶部４６で得られた動き量に基づいてカメラパラメータ行列Ｗａ〜Ｗｄ，ＷａT〜ＷｄTを求めるパラメータ算出部３０１〜３０８と、選択部４８２で選択された高解像度画像Ｆｘｎに対してパラメータ算出部３０１〜３０４それぞれからのカメラパラメータ行列Ｗａ〜Ｗｄを乗算する乗算部３０９〜３１２と、乗算部３０９〜３１２によって得られた低解像度推定画像の画素値から入力加重加算部４７からの低解像度実画像の画素値を減算する減算部３１３〜３１６と、減算部３１３〜３１６からの値に対してパラメータ算出部３０５〜３０８それぞれからのカメラパラメータ行列ＷａT〜ＷｄTを乗算する乗算部３１７〜３２０と、乗算部３１７〜３２０で得られた二乗誤差による差分を加算する加算部３２１と、選択部４８２で選択された高解像度画像の高周波成分を抽出して正規化するＨＰＦ３２２と、ＨＰＦ３２２を通過して得られた拘束項（正規化項）に対して重み係数γを乗算する乗算部３２３と、乗算部３２３で重み係数γが乗算された拘束項を加算部３２１で得られた値に加算する加算部３２４と、加算部３２４での値を倍算して差分画像による各画素の値（更新量）を求める乗算部３２５と、を備える。
【００９２】
このように構成される超解像処理部４８において、上述したように、動き量Ｍ１〜Ｍ３全てが０でなく、入力画像加重加算部４７から４フレームの低解像度実画像Ｆａ〜Ｆｄが入力されたとき、パラメータ算出部３０１〜３０８それぞれによって、カメラパラメータ行列Ｗａ〜Ｗｄ，ＷａT〜ＷｄTが算出される。そして、乗算部３０９〜３１２，３１７〜３２０及び減算部３１３〜３１６全てが動作することによって、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋γＣT・Ｃ・Ｘ｝）が算出されることとなる。
【００９３】
又、動き量Ｍｘが０となり、入力画像加重加算部４７から３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅが入力されたとき、パラメータ算出部３０４，３０８、乗算部３１２，３２０、及び減算部３１６の動作を停止させる。そして、パラメータ算出部３０１，３０２，３０５，３０６それぞれによって、カメラパラメータ行列Ｗａ，Ｗｂ，ＷａT，ＷｂTが算出されるとともに、パラメータ算出部３０３，３０７それぞれによって、カメラパラメータ行列Ｗｅ，ＷｅTが算出される。又、乗算部３０９〜３１１，３１７〜３１９及び減算部３１３〜３１５が動作することによって、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出されることとなる。
【００９４】
同様に、動き量Ｍｘ，Ｍｙが等しくなり、入力画像加重加算部４７から３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅが入力されたとき、パラメータ算出部３０３，３０７、乗算部３１１，３１９、及び減算部３１５の動作を停止させる。そして、パラメータ算出部３０１，３０４，３０５，３０８それぞれによって、カメラパラメータ行列Ｗａ，Ｗｄ，ＷａT，ＷｄTが算出されるとともに、パラメータ算出部３０２，３０６それぞれによって、カメラパラメータ行列Ｗｅ，ＷｅTが算出される。これにより、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出されることとなる。
【００９５】
又、動き量Ｍｙ，Ｍｚが等しくなり、入力画像加重加算部４７から３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅが入力されたとき、パラメータ算出部３０２，３０６、乗算部３１０，３１８、及び減算部３１４の動作を停止させる。そして、パラメータ算出部３０３，３０４，３０７，３０８それぞれによって、カメラパラメータ行列Ｗｃ，Ｗｄ，ＷｃT，ＷｄTが算出されるとともに、パラメータ算出部３０１，３０５それぞれによって、カメラパラメータ行列Ｗｅ，ＷｅTが算出される。これにより、勾配∂Ｉ／∂Ｘ（＝２×｛ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出されることとなる。
【００９６】
このように、本実施形態では、２フレームの低解像度実画像間の各画素位置が同位置となるとき、この２フレームの低解像度実画像に対して、入力画像加重加算部４７において加重加算を施して、ノイズを抑制した低解像度実画像を生成する。これにより、超解像処理部４８における超解像処理において、低解像度実画像でのノイズの影響を低減することができ、超解像処理により得られる高解像度画像のノイズを抑制することができる。
【００９７】
尚、本実施形態において、入力画像加重加算部４７において、連続する２フレーム以上の複数フレームの低解像度実画像に対して動き量が０となることを確認したときに、確認した複数フレームの低解像度実画像に対して加重加算を行って１フレームの低解像度画像を生成するものであれば、３フレーム以上となるＮフレームの低解像度実画像を扱うものであっても構わない。このとき、入力画像加重加算部４７は、Ｎフレームの低解像度実画像が入力されて、２フレーム以上Ｎフレーム以下のＭフレームの低解像度実画像を超解像処理部４８に出力する。
【００９８】
＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照して説明する。尚、本実施形態の撮像装置における画像処理部は、第１の実施形態と同様、図４に示すブロック図による構成となる。又、この図４の構成に加えて、超解像処理部の構成例として、図１１に示す構成が挙げられる。更に、フレームメモリ４１〜４４，４９、動き量検出部４５、動き量記憶部４６、超解像処理部４８、信号処理部５０それぞれについては、第１の実施形態と同様の動作を行う。よって、以下では、入力画像加重加算部４７の動作について、説明する。
【００９９】
第１の実施形態における撮像装置では、基準画像となる低解像度実画像Ｆｄとの動き量が３フレーム以上等しく成る場合がある。このとき、３フレーム以上の低解像度実画像を加重加算して１フレームとすると、超解像処理部４８における超解像処理に利用される低解像度実画像のフレーム数が少なくなるため、超解像処理による高解像度画像の再現性が低下する場合がある。よって、本実施形態の撮像装置では、連続する２フレームの低解像度実画像の動き量についても、加重加算を施す低解像度実画像として選択する際の条件として利用する。
【０１００】
又、加重加算を施す低解像度実画像として選択する際の条件として、動き量を考慮することによって、同じ性質となる低解像度実画像を選択して合成することができる。よって、低解像度実画像の加重加算を行うことで合成する際、その合成後の低解像度実画像をより正確な画像とすることができるので、超解像処理によって取得される高解像度画像について、その再現性を高いものとすることができる。
【０１０１】
入力画像加重加算部４７は、第１の実施形態と同様、低解像度実画像Ｆｄ，Ｆｃ間の動き量Ｍ１、低解像度実画像Ｆｃ，Ｆｂ間の動き量Ｍ２、及び、低解像度実画像Ｆｂ，Ｆａ間の動き量Ｍ３それぞれが動き量記憶部４６より与えられる。そして、この動き量Ｍ１〜Ｍ３より、解像度実画像Ｆｄ，Ｆｃ間の動き量Ｍｘ（＝Ｍ１）、低解像度実画像Ｆｄ，Ｆｂ間の動き量Ｍｙ（＝Ｍ１＋Ｍ２）、及び、低解像度実画像Ｆｄ，Ｆａ間の動き量Ｍｚ（＝Ｍ１＋Ｍ２＋Ｍ３）それぞれが、算出される。
【０１０２】
そして、（１）動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なるとき、（２）動き量Ｍｘのみが０となるとき、（３）動き量Ｍｘ，Ｍｙのみが等しくなるとき、（４）動き量Ｍｙ，Ｍｚのみが等しくなるとき、それぞれについては、第１の実施形態と同様の動作を行う。即ち、（１）動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なるときは、加重加算を行わずに、４フレームの低解像度実画像を超解像処理部４８に出力する。そして、（２）動き量Ｍｘのみが０となるときは、低解像度実画像Ｆｃ，Ｆｄに対して加重加算を行い、（３）動き量Ｍｘ，Ｍｙのみが等しくなるとき、低解像度実画像Ｆｂ，Ｆｃに対して加重加算を行い、（４）動き量Ｍｙ，Ｍｚのみが等しくなるとき、低解像度実画像Ｆａ，Ｆｂに対して加重加算を行うことで、３フレームの低解像度実画像を超解像処理部４８に出力する。
【０１０３】
更に、本実施形態では、（１）動き量Ｍｘ〜Ｍｚにおいて連続する動き量が異なるときにおいても、（ａ）動き量Ｍｘ，Ｍｚが等しく、且つ、動き量Ｍ１，Ｍ３が等しい場合には、加重加算処理を行う。又、（ｂ）動き量Ｍｘ〜Ｍｚが等しい場合、又は、（ｃ）動き量Ｍｘ，Ｍｙが０となる場合において、連続する３フレームの低解像度実画像における基準画像との動き量が等しくなるが、この３フレームの低解像度実画像から、加重加算処理を行う低解像度実画像を２フレームのみ選択する。これらの場合の各動作について、以下に説明する。
【０１０４】
（ａ）動き量Ｍｘ，Ｍｚが等しく、且つ、動き量Ｍ１，Ｍ３が等しい場合
図１２（ａ）に示すように、低解像度実画像Ｆｃ，Ｆｄ間の動き量Ｍ１と、低解像度実画像Ｆａ，Ｆｂの動き量Ｍ３とが等しくなるとともに、低解像度実画像Ｆａ，Ｆｄの動き量Ｍｚ（＝Ｍ１＋Ｍ２＋Ｍ３）が動き量Ｍｘ（＝Ｍ１）と等しくなる。よって、低解像度実画像Ｆｂ，Ｆｃの動き量Ｍ２が−Ｍ１となるとともに、低解像度実画像Ｆｂ，Ｆｄの動き量Ｍｙが０となる。このとき、低解像度実画像Ｆａ，Ｆｃそれぞれについて、低解像度実画像Ｆｄに対する動き量が等しくなるだけでなく、それぞれの１つ前のフレームとなる低解像度実画像Ｆｂ，Ｆｄに対する動き量も等しくなる。
【０１０５】
よって、低解像度実画像Ｆａ，Ｆｃそれぞれにおいて、撮像する被写体位置が等しいだけでなく、その撮像時のブレの方向が等しくなる。これにより、低解像度実画像Ｆａ，Ｆｃそれぞれの各画素における画素値がほぼ等しいものとみなせるため、低解像度実画像Ｆａ，Ｆｃについて、第１の実施形態と同様の加重加算処理を行うことで、加重加算された低解像度実画像Ｆｅを取得することができる。そして、３フレームの低解像度実画像Ｆｂ，Ｆｄ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆｂ，Ｆｄ，Ｆｅを利用した超解像処理が成される。
【０１０６】
（ｂ）動き量Ｍｘ〜Ｍｚが等しい場合
図１２（ｂ）に示すように、０でない動き量Ｍｘ〜Ｍｚ全てが等しくなる場合、低解像度実画像Ｆｃ，Ｆｄ間の動き量Ｍ１が動き量Ｍｘとなるとともに、低解像度実画像Ｆｂ，Ｆｃの動き量Ｍ２、及び、低解像度実画像Ｆａ，Ｆｂの動き量Ｍ３それぞれが０となる。このとき、低解像度実画像Ｆａ，Ｆｂそれぞれについて、低解像度実画像Ｆｄに対する動き量が等しくなるだけでなく、それぞれの１つ前のフレームとなる低解像度実画像Ｆｂ，Ｆｃに対する動き量も等しくなる。
【０１０７】
よって、低解像度実画像Ｆａ，Ｆｂそれぞれにおいて、撮像する被写体位置が等しいだけでなく、その撮像時のブレの方向が等しくなる。これにより、低解像度実画像Ｆａ，Ｆｂそれぞれの各画素における画素値がほぼ等しいものとみなせるため、低解像度実画像Ｆａ，Ｆｂについて、第１の実施形態と同様の加重加算処理を行うことで、加重加算された低解像度実画像Ｆｅを取得することができる。そして、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅを利用した超解像処理が成される。
【０１０８】
（ｃ）動き量Ｍｘ，Ｍｙが０となる場合
図１２（ｃ）に示すように、動き量Ｍｘ，Ｍｙが０となる場合、低解像度実画像Ｆａ，Ｆｂ間の動き量Ｍ３が動き量Ｍｚとなるとともに、低解像度実画像Ｆｃ，Ｆｄの動き量Ｍ１、及び、低解像度実画像Ｆｂ，Ｆｃの動き量Ｍ２それぞれが０となる。このとき、低解像度実画像Ｆｂ，Ｆｃそれぞれについて、低解像度実画像Ｆｄに対する動き量が等しくなるだけでなく、それぞれの１つ前のフレームとなる低解像度実画像Ｆｃ，Ｆｄに対する動き量も等しくなる。
【０１０９】
よって、低解像度実画像Ｆｂ，Ｆｃそれぞれにおいて、撮像する被写体位置が等しいだけでなく、その撮像時のブレの方向が等しくなる。これにより、低解像度実画像Ｆｂ，Ｆｃそれぞれの各画素における画素値がほぼ等しいものとみなせるため、低解像度実画像Ｆｂ，Ｆｃについて、第１の実施形態と同様の加重加算処理を行うことで、加重加算された低解像度実画像Ｆｅを取得することができる。そして、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅそれぞれを超解像処理部４８に与えることで、超解像処理部４８では、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅを利用した超解像処理が成される。
【０１１０】
このようにすることで、本実施形態では、１フレーム前の低解像度実画像の動き量が等しく、且つ、基準画像となる低解像度実画像の動き量が等しい２フレーム以上の複数フレームの低解像度実画像を確認したとき、確認した複数フレームの低解像度実画像に対して、入力画像加重加算部４７において加重加算を施して、ノイズを抑制した低解像度実画像を生成する。これにより、超解像処理部４８における超解像処理において、低解像度実画像でのノイズの影響を低減することができ、超解像処理により得られる高解像度画像のノイズを抑制することができる。
【０１１１】
尚、本実施形態において、入力画像加重加算部４７において、第１の実施形態における条件以外に、１フレーム前の低解像度実画像の動き量が等しく、且つ、基準画像となる低解像度実画像の動き量が等しい２フレーム以上の複数フレームの低解像度実画像を確認したときに、確認した複数フレームの低解像度実画像に対して加重加算を行って１フレームの低解像度画像を生成するものであれば、３フレーム以上となるＮフレームの低解像度実画像を扱うものであっても構わない。このとき、入力画像加重加算部４７は、Ｎフレームの低解像度実画像が入力されて、２フレーム以上Ｎフレーム以下のＭフレームの低解像度実画像を超解像処理部４８に出力する。
【０１１２】
＜第３の実施形態＞
本発明の第３の実施形態について、図面を参照して説明する。図１３は、本実施形態の撮像装置における画像処理部の内部構成を示すブロック図である。尚、図１３による画像処理部の構成部分において、図４の画像処理部内における構成部分と同一となる部分については、同一の符号を付して、その詳細な説明は省略する。又、本実施形態で説明する際に用いる動き量Ｍｘｉ〜Ｍｚｉ，Ｍｘｒ〜Ｍｚｒ，Ｍ１ｒ〜Ｍ３ｒは、動き量Ｍｘ〜Ｍｚ，Ｍ１〜Ｍ３と同様、垂直方向及び水平方向それぞれの動き量によるベクトル量である。
【０１１３】
本実施形態の撮像装置におおける画像処理部４は、図１３に示すように、図４の構成に更に、フレームメモリ４１〜４３からの低解像度実画像に対して画素単位での動き量に基づく位置ズレ補正を行う位置ズレ補正部５１〜５３を備える。この図１３の構成の画像処理装置４において、フレームメモリ４１〜４４，４９、動き量検出部４５、動き量記憶部４６、超解像処理部４８、信号処理部５０それぞれについては、第１の実施形態と同様の動作を行う。よって、以下では、位置ズレ補正部５１〜５３及び入力画像加重加算部４７の動作について、説明する。
【０１１４】
フレームメモリ４１に記憶された低解像度実画像Ｆａが与えられる位置ズレ補正部５１では、動き量記憶部４６に記憶された動き量が与えられると、低解像度実画像Ｆａ，Ｆｄ間の動き量Ｍｚが検出される。低解像度実画像Ｆｄ，Ｆｃ間の動き量Ｍ１、低解像度実画像Ｆｃ，Ｆｂ間の動き量Ｍ２、及び、低解像度実画像Ｆｂ，Ｆａ間の動き量Ｍ３それぞれが動き量記憶部４６より与えられ、全てを加算して、低解像度実画像Ｆａ，Ｆｄ間の動き量Ｍｚを算出する。そして、この低解像度実画像Ｆａ，Ｆｄ間の動き量Ｍｚの内、画素単位となる動き量Ｍｚｉを確認し、この画素単位となる動き量Ｍｚｉによる位置ズレ補正を行う。そして、１画素以内の動き量（Ｍｚ−Ｍｚｉ）を、位置ズレ補正後の低解像度実画像Ｆａ，Ｆｄ間の動き量Ｍｚｒとして、位置ズレ補正後の低解像度実画像Ｆａとともに、入力画像加重加算部４７に出力する。
【０１１５】
又、フレームメモリ４２に記憶された低解像度実画像Ｆｂが与えられる位置ズレ補正部５２においても、位置ズレ補正部５１と同様、動き量記憶部４６に記憶された動き量が与えられると、低解像度実画像Ｆｂ，Ｆｄ間の動き量Ｍｙの内、画素単位となる動き量Ｍｙｉを確認し、この画素単位となる動き量Ｍｙｉによる位置ズレ補正を行う。そして、１画素以内の動き量（Ｍｙ−Ｍｙｉ）を、位置ズレ補正後の低解像度実画像Ｆｂ，Ｆｄ間の動き量Ｍｙｒとして、位置ズレ補正後の低解像度実画像Ｆｂとともに、入力画像加重加算部４７に出力する。
【０１１６】
更に、フレームメモリ４３に記憶された低解像度実画像Ｆｃが与えられる位置ズレ補正部５３においても、位置ズレ補正部５１，５２と同様、動き量記憶部４６に記憶された動き量が与えられると、低解像度実画像Ｆｃ，Ｆｄ間の動き量Ｍｘの内、画素単位となる動き量Ｍｘｉを確認し、この画素単位となる動き量Ｍｘｉによる位置ズレ補正を行う。そして、１画素以内の動き量（Ｍｘｙ−Ｍｘｉ）を、位置ズレ補正後の低解像度実画像Ｆｃ，Ｆｄ間の動き量Ｍｘｒとして、位置ズレ補正後の低解像度実画像Ｆｃとともに、入力画像加重加算部４７に出力する。
【０１１７】
よって、入力画像加重加算部４７には、位置ズレ補正部５１〜５３において、低解像度実画像Ｆｄを基準として画素単位での位置ズレ補正が成された低解像度実画像Ｆａ〜Ｆｃが入力されるとともに、フレームメモリ４４に記憶された低解像度実画像Ｆｄが入力される。又、位置ズレ補正部５１〜５３において位置ズレ補正が成された低解像度実画像Ｆａ〜Ｆｃそれぞれにおける、低解像度実画像Ｆｄに対する１画素以内の動き量Ｍｘｒ〜Ｍｚｒが、入力画像加重加算部４７に入力される。そして、この動き量Ｍｘｒ〜Ｍｚｒに基づいて、加重加算を行う低解像度実画像が選択される。
【０１１８】
尚、入力画像加重加算部４７では、第１の実施形態と同様の動作を行う場合は、（１）動き量Ｍｘｒ〜Ｍｚｒにおいて連続する動き量が異なるときは、加重加算を行わずに、４フレームの低解像度実画像を超解像処理部４８に出力する。そして、（２）動き量Ｍｘｒのみが０となるときは、低解像度実画像Ｆｃ，Ｆｄに対して加重加算を行い、（３）動き量Ｍｘｒ，Ｍｙｒのみが等しくなるとき、低解像度実画像Ｆｂ，Ｆｃに対して加重加算を行い、（４）動き量Ｍｙｒ，Ｍｚｒのみが等しくなるとき、低解像度実画像Ｆａ，Ｆｂに対して加重加算を行うことで、３フレームの低解像度実画像を超解像処理部４８に出力する。
【０１１９】
又、第２の実施形態と同様の動作を行う場合は、更に、（ａ）動き量Ｍｘｒ，Ｍｚｒが等しく、且つ、動き量Ｍ１ｒ（＝Ｍｘｒ），Ｍ３ｒ（＝Ｍｚｒ−Ｍｙｒ）が等しい場合には、低解像度実画像Ｆａ，Ｆｃに対して加重加算処理を行う。又、（ｂ）動き量Ｍｘｒ〜Ｍｚｒが等しい場合は、低解像度実画像Ｆａ，Ｆｂに対して加重加算処理を行い、（ｃ）動き量Ｍｘｒ，Ｍｙｒが０となる場合は、低解像度実画像Ｆｂ，Ｆｃに対して加重加算処理を行う。
【０１２０】
尚、本実施形態において、位置ズレ補正部５１〜５３を設けることにより、位置ズレ補正が成された低解像度実画像Ｆａ〜Ｆｃそれぞれとフレームメモリ４４とが、入力画像加重加算部４７に入力されるものとしたが、フレームメモリ４１〜４４から低解像度実画像Ｆａ〜Ｆｄが入力画像加重加算部４７に入力されて位置ズレ補正が成されるものとしても構わない。
【０１２１】
このとき、動き量記憶部４６に記憶された動き量Ｍｘ〜Ｍｚにおける一画素以内の動き量Ｍｘｒ〜Ｍｚｒを算出し、この動き量Ｍｘｒ〜Ｍｚｒに基づいて、加重加算処理を施す低解像度実画像の選択を行う。そして、加重加算処理を施すために選択した低解像度実画像について、基準画像となる低解像度実画像Ｆｄよりも時間的に近いフレームの低解像度画像を基準として、低解像度実画像Ｆｄよりも時間的に離れたフレームの低解像度実画像を、画素単位による位置ズレ補正を行った後、加重加算処理を施す。
【０１２２】
＜第４の実施形態＞
本発明の第４の実施形態について、図面を参照して説明する。尚、本実施形態の撮像装置における画像処理部は、第３の実施形態と同様、図１３に示すブロック図による構成となる。又、フレームメモリ４１〜４４，４９、動き量検出部４５、動き量記憶部４６、超解像処理部４８、信号処理部５０、位置ズレ補正部５１〜５３それぞれについては、第３の実施形態と同様の動作を行う。よって、以下では、入力画像加重加算部４７の動作について、説明する。
【０１２３】
本実施形態では、イメージセンサ１が、図１４のように、ＲＧＢ（Red Green Blue）３原色の色フィルタがベイヤ配列により設置された構成となる。即ち、イメージセンサ１において、垂直方向にＲによる色フィルタＦｒとＧによる色フィルタＦｇｒとが交互に配置される行と、垂直方向にＢによる色フィルタＦｂとＧによる色フィルタＦｇｂとが交互に配置される行とが、水平方向に交互に配置される。そして、隣接する行に配置される色フィルタＦｇｒ，Ｆｇｂは、対角線上に配置される。即ち、水平方向及び垂直方向それぞれに２画素×２画素を１つの画素群として、色フィルタＦｒ，Ｆｇｒ，Ｆｂ，Ｆｇｂが配置されるとき、色フィルタＦｒ，Ｆｂが一方の対角線上に配置されるとともに、色フィルタＦｇｒ，Ｆｇｂが他方の対角線上に配置される。
【０１２４】
このようなベイヤ配列による色フィルタを備えたイメージセンサ１によって、ＲＧＢの色信号による画像信号がＡＦＥ２より画像処理部４に入力され、第３の実施形態のようにして、入力画像加重加算部４７に、画素単位による位置ズレ補正が成された低解像度実画像が入力される。このとき、第３の実施形態においては、１画素内の動き量に基づいて、加重加算を行う低解像度実画像の選択が成されるが、本実施形態においては、画素単位による位置ズレの状態によって、異なる色信号が重なる画素位置があるため、（１）水平方向又は垂直方向の一方が奇数画素分、他方が偶数画素分（０画素を含む）となる場合、（２）水平方向及び垂直方向のいずれもが偶数画素分（０画素を含む）となる場合、（３）水平方向及び垂直方向のいずれもが奇数画素分となる場合、それぞれにおいて、入力画像加重加算部４７での動作が異なる。
【０１２５】
又、本実施形態における入力画像加重加算部４７は、図１５に示すように、位置ズレ補正部５１〜５３からの位置ズレ補正後の低解像度実画像Ｆａ〜Ｆｃとフレームメモリ４４からの低解像度実画像ＦｄとにおけるＲ信号及びＢ信号が入力されるＲＢ信号処理部７０１と、位置ズレ補正部５１〜５３からの位置ズレ補正後の低解像度実画像Ｆａ〜Ｆｃとフレームメモリ４４からの低解像度実画像ＦｄとにおけるＧ信号が入力されるＧ信号処理部７０２と、動き量記憶部４６に記憶された動き量よりＲＢ信号処理部７０１及びＧ信号処理部７０２それぞれの動作を設定する動作設定部７０３と、を備える。
【０１２６】
そして、ＲＢ信号処理部７０１から出力される複数フレームの低解像度実画像それぞれのＲ信号が、超解像処理により高解像度画像のＲ信号を生成する超解像処理部４８ｒに入力され、ＲＢ信号処理部７０１から出力される複数フレームの低解像度実画像それぞれのＢ信号が、超解像処理により高解像度画像のＢ信号を生成する超解像処理部４８ｂに入力される。又、Ｇ信号処理部７０２から出力される複数フレームの低解像度実画像それぞれのＧ信号が、超解像処理により高解像度画像のＧ信号を生成する超解像処理部４８ｇに入力される。尚、超解像処理部４８ｒ，４８ｂ，４８ｇは、第１の実施形態における超解像処理部４８と同様の動作を行い、例えば、その構成を、図１１のような構成とすることができる。
【０１２７】
このように入力画像加重加算部４７が構成されるとき、動作設定部７０３では、まず、動き量記憶部４６から算出された動き量Ｍｘ〜Ｍｚの内、１画素以内の動き量Ｍｘｒ〜Ｍｚｒによって、加重加算処理を行うための低解像度実画像を選択する。そして、動き量Ｍｘ〜Ｍｚの内の画素単位による動き量Ｍｘｉ〜Ｍｚｉに基づいて、選択した低解像度実画像それぞれの間の画素単位の動き量を確認することによって、ＲＢ信号処理部７０１及びＧ信号処理部７０２それぞれで加重加算を行うか否かを決定する。
【０１２８】
即ち、まず、入力された低解像度実画像Ｆａ〜Ｆｄに対して、第３の実施形態と同様、１画素以内の動き量Ｍｘｒ〜Ｍｚｒによって、加重加算処理を行うために低解像度実画像を選択する。このとき選択した低解像度実画像Ｆｐ，Ｆｑとすると、この低解像度実画像Ｆｐ，Ｆｑ間の動き量Ｍｐ内の画素単位による動き量Ｍｐｉが確認される。そして、動き量Ｍｐｉが、（１）水平方向又は垂直方向の一方が奇数画素分、他方が偶数画素分（０画素を含む）となる場合、（２）水平方向及び垂直方向のいずれもが偶数画素分（０画素を含む）となる場合、（３）水平方向及び垂直方向のいずれもが奇数画素分となる場合、それぞれによって、ＲＢ信号処理部７０１及びＧ信号処理部７０２それぞれで加重加算を行うか否かが決定される。
【０１２９】
（１）水平方向又は垂直方向の一方が奇数画素分、他方が偶数画素分となる場合
低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉより、水平方向又は垂直方向の一方が奇数画素分となり、他方が偶数画素分（０画素を含む）となるとき、低解像度実画像ＦｐにおけるＲＢ信号の画素位置に、低解像度実画像ＦｑのＧ信号の画素位置が重なる。そのため、低解像度実画像Ｆｐ，ＦｑそれぞれにおけるＲＧＢ信号のいずれについても同一画素で重なることがない。
【０１３０】
即ち、動作設定部７０３では、低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉに基づいて、ＲＧＢ信号のいずれについても、低解像度実画像Ｆｐ，Ｆｑ間で同一画素位置とならないことを確認する。これにより、ＲＢ信号処理部７０１及びＧ信号処理部７０２それぞれにおける低解像度実画像Ｆｐ，Ｆｑの加重加算処理を行わないことを決定する。そのため、ＲＢ信号処理部７０１が、低解像度実画像Ｆｐ，ＦｑそれぞれのＲＢ信号を、２フレームの低解像度実画像のＲＢ信号として超解像処理部４８ｒ，４８ｂに出力し、Ｇ信号処理部７０２が、低解像度実画像Ｆｐ，ＦｑそれぞれのＧ信号を、２フレームの低解像度実画像のＧ信号として超解像処理部４８ｇに出力する。
【０１３１】
（２）水平方向及び垂直方向のいずれもが偶数画素分となる場合
低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉより、水平方向及び垂直方向のいずれもが偶数画素分（０画素を含む）となるとき、低解像度実画像ＦｐにおけるＲＧＢ信号それぞれの画素位置に、低解像度実画像ＦｑのＲＧＢ信号それぞれの画素位置が重なる。即ち、低解像度実画像Ｆｐ，ＦｑそれぞれのＲ信号の画素位置、低解像度実画像Ｆｐ，ＦｑそれぞれのＧ信号の画素位置、低解像度実画像Ｆｐ，ＦｑそれぞれのＢ信号の画素位置それぞれが、一致することとなる。
【０１３２】
よって、動作設定部７０３では、低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉに基づいて、ＲＧＢ信号それぞれが、低解像度実画像Ｆｐ，Ｆｑ間で同一画素位置とることを確認する。これにより、ＲＢ信号処理部７０１及びＧ信号処理部７０２両方において、低解像度実画像Ｆｐ，Ｆｑの加重加算処理を行うことを決定する。そのため、ＲＢ信号処理部７０１が、低解像度実画像Ｆｐ，ＦｑそれぞれのＲＢ信号を加重加算することで、１フレームの低解像度実画像のＲＢ信号として超解像処理部４８ｒ，４８ｂに出力し、Ｇ信号処理部７０２が、低解像度実画像Ｆｐ，ＦｑそれぞれのＧ信号を加重加算することで、１フレームの低解像度実画像のＧ信号として超解像処理部４８ｇに出力する。
【０１３３】
（３）水平方向及び垂直方向のいずれもが奇数画素分となる場合
低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉより、水平方向及び垂直方向のいずれもが奇数画素分となるとき、低解像度実画像ＦｐにおけるＲＢ信号それぞれの画素位置に、低解像度実画像ＦｑのＢＲ信号それぞれの画素位置が重なるとともに、低解像度実画像ＦｐにおけるＧ信号の画素位置に、低解像度実画像ＦｑのＧ信号の画素位置が重なる。即ち、低解像度実画像ＦｐのＲ信号の画素位置と低解像度実画像ＦｑのＢ信号の画素位置とが一致し、低解像度実画像ＦｐのＢ信号の画素位置と低解像度実画像ＦｑのＲ信号の画素位置とが一致し、更に、低解像度実画像Ｆｐ，ＦｑそれぞれのＧ信号の画素位置が一致することとなる。
【０１３４】
よって、動作設定部７０３では、低解像度実画像Ｆｐ，Ｆｑ間の画素単位による動き量Ｍｐｉに基づいて、Ｇ信号のみが、低解像度実画像Ｆｐ，Ｆｑ間で同一画素位置となることを確認する。これにより、ＲＢ信号処理部７０１において、低解像度実画像Ｆｐ，Ｆｑの加重加算処理を行わないことを決定するとともに、Ｇ信号処理部７０２において、低解像度実画像Ｆｐ，Ｆｑの加重加算処理を行うことを決定する。そのため、ＲＢ信号処理部７０１が、低解像度実画像Ｆｐ，ＦｑそれぞれのＲＢ信号を、２フレームの低解像度実画像のＲＢ信号として超解像処理部４８ｒ，４８ｂに出力し、Ｇ信号処理部７０２が、低解像度実画像Ｆｐ，ＦｑそれぞれのＧ信号を加重加算することで、１フレームの低解像度実画像のＧ信号として超解像処理部４８ｇに出力する。
【０１３５】
このように、本実施形態によると、入力画像加重加算部４７では、加重加算する低解像度実画像の選択を色信号毎に行われる。そのため、超解像処理部４８として、各色信号に対応した超解像処理部４８ｒ，４８ｇ，４８ｂを備えることで、入力画像加重加算部４７より与えられる低解像度実画像のフレーム数に応じた超解像処理を行う。この超解像処理部４８ｒ，４８ｇ，４８ｂそれぞれの超解像処理動作は、第１の実施形態で説明した超解像処理動作と同様である。
【０１３６】
＜第５の実施形態＞
本発明の第５の実施形態について、図面を参照して説明する。本実施形態の撮像装置における画像処理部は、超解像処理部における動作が、第１の実施形態のものと異なる。図１６は、本実施形態の撮像装置における画像処理部の構成を示すブロック図である。尚、図１６に示す画像処理部において、図４に示す画像処理部における構成部分と同一の目的とする構成部分については、同一の符号を付してその詳細な説明は省略する。
【０１３７】
即ち、本実施形態の撮像装置における画像処理部４では、フレームメモリ４１〜４４，４９、動き量検出部４５、動き量記憶部４６、信号処理部５０それぞれが、第１の実施形態と同様の動作を行う。又、入力画像加重加算部４７は、第１〜第３の実施形態と同様の動作を行う。よって、以下では、このような画像処理部４における超解像処理部４８について説明する。
【０１３８】
本実施形態の撮像装置における超解像処理部４８は、第１〜第４の実施形態で説明した超解像処理部４８と異なり、図１６に示すように、入力画像加重加算部４７から入力される低解像度実画像に対する重み係数を算出する重み係数算出部４８５を備える。そして、この重み係数算出部４８５で算出された重み係数が高解像度更新量算出部４８３に与えられることで、超解像処理を行う際に重み係数を用いた演算を行う。このとき、重み係数算出部４８５では、入力画像加重加算部４７で加重加算された低解像度実像画像に対する重み係数が大きくなるように、超解像処理に使用される低解像度実画像それぞれに対する重み係数が設定される。
【０１３９】
このように構成される超解像処理部４８では、重み係数算出部４８５によって、第１の実施形態と同様に高解像度更新量算出部４８３で算出された勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋γＣT・Ｃ・Ｘ｝）における、低解像度実画像と低解像度推定画像との間の二乗誤差による差分に与える重み係数が、入力画像加重加算部４７での処理動作に基づいて設定される。
【０１４０】
このとき、入力画像加重加算部４７において、低解像度実画像Ｆａ〜Ｆｄのいずれに対しても加重加算が成されなかった場合は、重み係数算出部４８５で算出される重み係数が全て１とされる。よって、高解像度更新量算出部４８３によって、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋γＣT・Ｃ・Ｘ｝）が求められることで、減算部４８４によって、この勾配∂Ｉ／∂Ｘによる高解像度画像Ｆｘの更新が行われる。
【０１４１】
又、入力画像加重加算部４７において加重加算処理が成された場合、重み係数算出部４８５では、加重加算されて得られた低解像度実画像に対する重み係数が、加重加算の成されていない低解像度実画像に対する重み係数よりも大きくなるように、重み係数が設定される。このとき、例えば、加重加算されて得られた低解像度実画像に対する重み係数が、加重加算の成されていない低解像度実画像に対する重み係数の２倍になるように設定するものとしても構わない。
【０１４２】
よって、例えば、入力画像加重加算部４７において、低解像度実画像Ｆｂ，Ｆｃが加重加算されて低解像度実画像Ｆｅが得られ、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅが、超解像処理部４８に入力される場合、重み係数算出部４８５において、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅそれぞれに対する重み係数Ｋａ，Ｋｄ，Ｋｅが算出される。このとき、重み係数Ｋｅが重み係数Ｋａ，Ｋｄよりも大きい値に設定されるとともに、重み係数Ｋａ，Ｋｄ，Ｋｅの和が１とされる。例えば、重み係数Ｋａ，Ｋｅを等しい値とするとともに、重み係数Ｋｅを重み係数Ｋａ，Ｋｄの２倍となる値とすると、Ｋａ＝Ｋｄ＝１／４、Ｋｅ＝１／２となる。
【０１４３】
又、３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅが、超解像処理部４８に入力される場合、高解像度更新量算出部４８３において、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出される。よって、高解像度更新量算出部４８３では、低解像度実画像Ｆａ，Ｆｄ，Ｆｅに対して設定された係数Ｋａ，Ｋｄ，Ｋｅが、勾配∂Ｉ／∂Ｘにおける、低解像度実画像と低解像度推定画像との間の二乗誤差（Ｗａ・Ｘ−Ｙａ）、（Ｗｄ・Ｘ−Ｙｄ）、（Ｗｅ・Ｘ−Ｙｅ）に乗算される。
【０１４４】
これにより、高解像度更新量算出部４８３は、加重加算することでノイズを抑圧した低解像度画像の値に重み付けした勾配∂Ｊ／∂Ｘ（＝２×｛ＷａT・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・Ｋｄ・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・Ｋｅ・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）を高解像度画像の更新量として算出する。そして、高解像度更新量算出部４４３で算出された勾配∂Ｊ／∂Ｘによる更新量が減算部４８４に与えられて、この勾配∂Ｊ／∂Ｘによる高解像度画像Ｆｘの更新が行われる。
【０１４５】
この本実施形態の超解像処理部４８の構成例を、図１７に示す。図１７は、超解像処理部４８の内部構成を示すブロック図である。尚、この図１７による超解像処理部の構成部分において、図１１の超解像処理部内における構成部分と同一となる部分については、同一の符号を付して、その詳細な説明は省略する。
【０１４６】
図１７に示す超解像処理部４８は、図１１の構成に更に、入力画像加重加算部４７における処理動作に基づいて重み係数を設定する重み係数算出部４８５と、重み係数算出部４８５で算出された重み係数Ｋａ〜Ｋｄを減算部３１３〜３１６からの値に対して乗算して乗算部３１７〜３２０に出力する乗算部３２７〜３３０とを備えた構成となる。この超解像処理部４８において、図１１と同一の構成部分については、第１の実施形態で説明した動作と同様の動作を行う。
【０１４７】
このように構成される超解像処理部４８において、入力画像加重加算部４７から４フレームの低解像度実画像Ｆａ〜Ｆｄが入力されたとき、重み係数算出部４８５により、重み係数Ｋａ〜Ｋｄそれぞれが１とされる。そして、乗算部３０９〜３１２，３１７〜３２０，３２７〜３３０及び減算部３１３〜３１６全てが動作することによって、勾配∂Ｉ／∂Ｘ（＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・（Ｗｄ・Ｘ−Ｙｄ）＋γＣT・Ｃ・Ｘ｝）が算出される。
【０１４８】
又、入力画像加重加算部４７から３フレームの低解像度実画像Ｆａ，Ｆｂ，Ｆｅ（尚、低解像度実画像Ｆｅは、低解像度実画像Ｆｃ，Ｆｄが加重加算されて得られる。）が入力されたとき、パラメータ算出部３０４，３０８、乗算部３１２，３２０，３３０、及び減算部３１６の動作を停止させる。又、重み係数算出部４８５により、乗算部３２７〜３２９に与える係数Ｋａ，Ｋｂ，Ｋｅが算出される。これにより、乗算部３０９〜３１１，３１７〜３１９，３２７〜３２９及び減算部３１３〜３１５が動作して、勾配∂Ｊ／∂Ｘ（＝２×｛ＷａT・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｅT・Ｋｅ・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出される。
【０１４９】
同様に、入力画像加重加算部４７から３フレームの低解像度実画像Ｆａ，Ｆｄ，Ｆｅ（尚、低解像度実画像Ｆｅは、低解像度実画像Ｆｂ，Ｆｃが加重加算されて得られる。）が入力されたとき、パラメータ算出部３０３，３０７、乗算部３１１，３１９，３２９、及び減算部３１５の動作を停止させる。又、重み係数算出部４８５により、乗算部３２７，３２８，３３０に与える係数Ｋａ，Ｋｅ，Ｋｄが算出される。これにより、勾配∂Ｊ／∂Ｘ（＝２×｛ＷａT・Ｋａ・（Ｗａ・Ｘ−Ｙａ）＋ＷｄT・Ｋｄ・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・Ｋｅ・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出される。
【０１５０】
又、入力画像加重加算部４７から３フレームの低解像度実画像Ｆｃ，Ｆｄ，Ｆｅ（尚、低解像度実画像Ｆｅは、低解像度実画像Ｆａ，Ｆｂが加重加算されて得られる。）が入力されたとき、パラメータ算出部３０２，３０６、乗算部３１０，３１８，３２８、及び減算部３１４の動作を停止させる。又、重み係数算出部４８５により、乗算部３２７，３２９，３３０に与える係数Ｋｅ，Ｋｃ，Ｋｄが算出される。これにより、勾配∂Ｊ／∂Ｘ（＝２×｛ＷｃT・Ｋｃ・（Ｗｃ・Ｘ−Ｙｃ）＋ＷｄT・Ｋｄ・（Ｗｄ・Ｘ−Ｙｄ）＋ＷｅT・Ｋｅ・（Ｗｅ・Ｘ−Ｙｅ）＋γＣT・Ｃ・Ｘ｝）が算出される。
【０１５１】
このように、本実施形態では、係数Ｋａ〜Ｋｅについて、加重加算されている低解像度実画像であるか否かによって、その値が設定されるものとしたが、この加重加算されているか否かを基準として設定することだけに限定されなくてもよい。例えば、基準画像（注目フレーム）となる低解像度実画像に対する係数が大きくなるように設定しても構わないし、基準画像（注目フレーム）となる低解像度実画像との動き量が小さい低解像度実画像ほど、その値が大きくなるように係数を設定しても構わない。又、基準画像（注目フレーム）となる低解像度実画像に時間的に近い低解像度実画像ほど、その値が大きくなるように係数を設定しても構わない。更に、本実施形態で説明したように、加重加算されている低解像度実画像であるか否かをも組み合わせて考慮することで、各係数の値が設定されるものとしても構わない。
【０１５２】
尚、本実施形態において、第３の実施形態のように、低解像度実画像において画素単位の位置ズレ補正を行って、加重加算処理の可否を決定するものとしても構わない。このとき、第４の実施形態のように、イメージセンサ１を、図１４のように、ＲＧＢによる３原色の色フィルタがベイヤ配列により設置された構成されたとき、色信号毎に加重加算を行う低解像度実画像の選択が行われるとともに、超解像処理部４８についても、各色信号に構成されることとなる。即ち、図１５に示す超解像処理部４８ｒ，４８ｇ，４８ｂが、重み係数算出部４８５を備えた超解像処理部として構成される。
【０１５３】
又、第３〜第５の実施形態においても、第１及び第２の実施形態と同様、第１及び第２の実施形態における条件に基づいて加重加算を行うために低解像度実画像を選択することができるものであれば、３フレーム以上となるＮフレームの低解像度実画像を扱うものであっても構わない。このとき、入力画像加重加算部４７は、Ｎフレームの低解像度実画像が入力されて、２フレーム以上Ｎフレーム以下のＭフレームの低解像度実画像を超解像処理部４８に出力する。
【０１５４】
更に、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図１８に、本発明における画像処理方法を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。
【０１５５】
図１８に示す表示装置は、図１に示す撮像装置と同様、画像処理部４、伸長処理部８、ディスプレイ部９、音声出力回路部１０、スピーカ部１１、タイミングジェネレータ１２、ＣＰＵ１３、メモリ１４、操作部１５、及び、バス回線１６，１７を備える。そして、外部で受信した放送信号を選局するチューナ部２１と、チューナ部２１で選局した放送信号を復調する復調部２２と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース２３とを、更に備える。
【０１５６】
この図１８の表示装置は、放送信号を受信する場合は、チューナ部２１で所望のチャンネルの放送信号を選局した後、復調部２２で放送信号を復調することで、ＭＰＥＧ圧縮符号方式による圧縮信号となるデジタル信号が得られる。このデジタル信号が伸長処理部８に与えられると、圧縮信号であるデジタル信号に対して、ＭＰＥＧ圧縮符号方式による伸長処理が施される。
【０１５７】
そして、操作部１５によって画像の高解像度化が指示されると、伸長処理部８で伸長処理して得られた画像信号が、画像処理部４に与えられて、上述の低解像度実画像の選択処理や超解像処理が行われることで、高解像度画像が生成される。その後、生成された高解像度画像による画像信号がディスプレイ部９に与えられて、画像再生がなされる。又、伸長処理部８の伸長処理で得られた音声信号が、音声出力回路部１０を通じてスピーカ部１１に与えられることで、音声が再生出力される。
【０１５８】
又、図１の撮像装置又は図１８の表示装置において、画像処理部４で超解像処理が成される画像について、動画像であっても構わないし、静止画像であっても構わない。尚、上述では、動画像となる画像信号が入力されたときの動作を中心に、各処理動作の説明を行っている。
【産業上の利用可能性】
【０１５９】
本発明は、超解像処理による画像の高解像度化を行う画像処理装置を備えた撮像装置や表示装置に適用することができる。
【図面の簡単な説明】
【０１６０】
【図１】は、本発明の画像処理装置となる画像処理部を備えた撮像装置の内部構成を示すブロック図である。
【図２】は、被写体の輝度分布と撮影時間の異なるフレームにおける画像データとの関係を示す図である。
【図３】は、超解像処理におけるフローの概要を説明するための図である。
【図４】は、第１の実施形態となる撮像装置の画像処理部の構成を示すブロック図である。
【図５】は、代表点マッチング法における検出領域の関係を示す図である。
【図６】は、基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図７】は、１画素以内の位置ズレ検出を行う際の基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図８】は、１画素以内の位置ズレ検出を行う際の基準画像の代表点及び非基準画像のサンプリング点それぞれの画素値の関係を示す図である。
【図９】は、４フレームの低解像度実画像間の動き量の関係を説明するための図である。
【図１０】は、第１の実施形態の撮像装置の入力画像加重加算部における処理動作を説明するための図である。
【図１１】は、図４の画像処理部の超解像処理部における高解像度更新量算出部の構成を示すブロック図である。
【図１２】は、第２の実施形態の撮像装置の入力画像加重加算部における処理動作を説明するための図である。
【図１３】は、第３の実施形態となる撮像装置の画像処理部の構成を示すブロック図である。
【図１４】は、第４の実施形態となる撮像装置のイメージセンサにおけるフィルタ配列を示すブロック図である。
【図１５】は、図１３の画像処理部における入力画像加重加算部の構成を示すブロック図である。
【図１６】は、第５の実施形態となる撮像装置の画像処理部の構成を示すブロック図である。
【図１７】は、図１６の画像処理部の超解像処理部における高解像度更新量算出部の構成を示すブロック図である。
【図１８】は、本発明の画像処理装置となる画像処理部を備えた表示装置の内部構成を示すブロック図である。
【符号の説明】
【０１６１】
１ イメージセンサ
２ ＡＦＥ
３ マイク
４ 画像処理部
５ 音声処理部
６ 圧縮処理部
７ ドライバ部
８ 伸長処理部
９ ディスプレイ部
１０ 音声出力回路部
１１ スピーカ部
１２ タイミングジェネレータ
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６，１７ バス回線
２０ 外部メモリ
４１〜４４，４９ フレームメモリ
４５ 動き量算出部
４６ 動き量記憶部
４７ 入力画像加重加算部
４８ 超解像処理部
５０ 信号処理部
【特許請求の範囲】
【請求項１】
注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化部を備える画像処理装置において、
Ｎ（Ｎ≧Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出部と、
前記第１低解像度画像に対する動き量が等しい複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像とするとともに、前記動き量が等しくない前記第３低解像度画像を前記第２低解像度画像として、Ｍフレームの前記第２低解像度画像を前記高解像度化部に入力する入力画像合成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力画像合成部において、前記第１低解像度画像に対する動き量が等しく、且つ、同一時間方向に連続する前記第３低解像度画像との動き量が等しくなる複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力画像合成部において、前記動き量のうち１画素以下の動き量に基づいて、合成を行う前記第３低解像度画像の判定が成されることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記低解像度画像が複数種類の色信号によって構成される画像であり、
前記入力画像合成部及び前記高解像度化部それぞれが、前記色信号の種類毎に動作することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記入力画像合成部より複数フレームの前記第３低解像度画像により合成された前記第２低解像度画像となる第４低解像度画像が前記高解像度化部に入力されるとき、
前記超解像処理部において、
前記第４低解像度画像に対する第１重み係数と、前記第４低解像度画像以外の前記第２低解像度画像である第５低解像度画像に対する第２重み係数と、を算出し、
前記第４及び第５低解像度画像によって前記高解像度画像を生成する際、前記第１及び第２重み係数を用いて演算することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、
前記高解像度化機能を実現する画像処理部として、請求項１〜請求項５のいずれに記載の画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする電子機器。
【請求項７】
注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化ステップを備える画像処理方法において、
Ｎ（Ｎ≧Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出ステップと、
前記第１低解像度画像に対する動き量が等しい複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像とするとともに、前記動き量が等しくない前記第３低解像度画像を前記第２低解像度画像とする入力画像合成ステップと、
を備え、
前記高解像度化ステップにおいて、前記入力画像合成ステップで取得したＭフレームの前記第２低解像度画像と前記第１低解像度画像とに基づいて前記高解像度画像を生成することを特徴とする画像処理方法。
【請求項１】
注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化部を備える画像処理装置において、
Ｎ（Ｎ≧Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出部と、
前記第１低解像度画像に対する動き量が等しい複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像とするとともに、前記動き量が等しくない前記第３低解像度画像を前記第２低解像度画像として、Ｍフレームの前記第２低解像度画像を前記高解像度化部に入力する入力画像合成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力画像合成部において、前記第１低解像度画像に対する動き量が等しく、且つ、同一時間方向に連続する前記第３低解像度画像との動き量が等しくなる複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力画像合成部において、前記動き量のうち１画素以下の動き量に基づいて、合成を行う前記第３低解像度画像の判定が成されることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記低解像度画像が複数種類の色信号によって構成される画像であり、
前記入力画像合成部及び前記高解像度化部それぞれが、前記色信号の種類毎に動作することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記入力画像合成部より複数フレームの前記第３低解像度画像により合成された前記第２低解像度画像となる第４低解像度画像が前記高解像度化部に入力されるとき、
前記超解像処理部において、
前記第４低解像度画像に対する第１重み係数と、前記第４低解像度画像以外の前記第２低解像度画像である第５低解像度画像に対する第２重み係数と、を算出し、
前記第４及び第５低解像度画像によって前記高解像度画像を生成する際、前記第１及び第２重み係数を用いて演算することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、
前記高解像度化機能を実現する画像処理部として、請求項１〜請求項５のいずれに記載の画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする電子機器。
【請求項７】
注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化ステップを備える画像処理方法において、
Ｎ（Ｎ≧Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出ステップと、
前記第１低解像度画像に対する動き量が等しい複数フレームの前記第３低解像度画像を合成して１フレームの前記第２低解像度画像とするとともに、前記動き量が等しくない前記第３低解像度画像を前記第２低解像度画像とする入力画像合成ステップと、
を備え、
前記高解像度化ステップにおいて、前記入力画像合成ステップで取得したＭフレームの前記第２低解像度画像と前記第１低解像度画像とに基づいて前記高解像度画像を生成することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００９−５１１９（Ｐ２００９−５１１９Ａ）
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願番号】特願２００７−１６４５５９（Ｐ２００７−１６４５５９）
【出願日】平成１９年６月２２日（２００７．６．２２）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願日】平成１９年６月２２日（２００７．６．２２）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]