画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
【課題】本発明は、高解像度画像を取得するために使用する低解像度画像を選択する際に、選択するための基準位置を設定し、低解像度画像の画素位置と基準位置との相対関係により低解像度画像を選択する画像処理方法及び画像処理装置を提供することを目的とする。
【解決手段】注目フレームとなる低解像度実画像Ｆａの各画素間の中間位置を基準位置とし、この基準位置に対して、そのサンプル点（画素位置）が近いフレームの低解像度実画像を、超解像処理を行うための低解像度実画像として選択する。そして、４フレームの低解像度実画像Ｆａ〜Ｆｄより、３フレームの低解像度実画像Ｆａ，Ｆｃ，Ｆｄが選択されて超解像処理が成されることで、高解像度画像Ｆｘが得られる。
【解決手段】注目フレームとなる低解像度実画像Ｆａの各画素間の中間位置を基準位置とし、この基準位置に対して、そのサンプル点（画素位置）が近いフレームの低解像度実画像を、超解像処理を行うための低解像度実画像として選択する。そして、４フレームの低解像度実画像Ｆａ〜Ｆｄより、３フレームの低解像度実画像Ｆａ，Ｆｃ，Ｆｄが選択されて超解像処理が成されることで、高解像度画像Ｆｘが得られる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度画像を生成する画像処理方法及び画像処理装置に関するもので、特に、複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理方法及び画像処理装置に関する。又、この画像処理装置により生成された高解像度画像を記録又は再生する電子機器に関する。
【背景技術】
【０００２】
近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によりデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が、広く普及されつつある。そして、このような撮像装置や表示装置で処理されるデジタル画像において、異なる時間に撮影された複数のデジタル画像を用いて、その解像度を高解像度に変換する画像処理技術が提案されている。
【０００３】
この高解像度変換方法として、位置ズレのある複数の低解像度画像より１つの高解像度画像を推定する超解像処理が提案されている（非特許文献１参照）。そして、この超解像処理において、生成された高解像度画像を逆変換して、高解像度画像を構築するための元の低解像度画像を推定した後、実際の低解像度画像との比較を行うことで、更に、実際の値に近い高解像度画像を生成する再構成型と呼ばれる方式が提案されている。
【０００４】
この再構成型方式による超解像処理では、まず、複数の低解像度画像より取得される高解像度画像を仮定する（ＳＴＥＰ１）。この仮定した高解像度画像に基づいて、高解像度画像を構築するための複数の低解像度画像それぞれに逆変換して推定する（ＳＴＥＰ２）。そして、逆変換後の低解像度画像と元の低解像度画像とを比較した後（ＳＴＥＰ３）、その比較結果より、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値の差が小さくなるように、高解像度画像を生成する（ＳＴＥＰ４）。そして、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値（以下、「画素値」と呼ぶ）の差が収束するように、ＳＴＥＰ２〜ＳＴＥＰ４の処理を繰り返すことにより、最終的に取得される高解像度画像を実画像に近い画像とすることができる。
【０００５】
この再構成型方式として、ＭＬ（Maximum-Likelihood）法や、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection Onto Convex Set）法や、ＩＢＰ（Iterative Back Projection）法などが、提案されている。ＭＬ法では、高解像度画像から推定した低解像度画像（以下、「低解像度推定画像」と呼ぶ）の画素値と実際の低解像度画像（以下、「低解像度実画像」と呼ぶ）の画素値との二乗誤差を評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献２参照）。即ち、このＭＬ法による超解像処理は、最尤推定の原理に基づく処理方法である。
【０００６】
又、ＭＡＰ法では、低解像度推定画像と低解像度実画像それぞれの画素値の二乗誤差に高解像度画像の確率情報を付加したものを、評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献３，４参照）。即ち、ＭＡＰ法では、低解像度実画像に対する先見情報に基づく事後確率分布における出現確率を最大とするときの高解像度画像を推定することによって、最適な高解像度画像が取得される。
【０００７】
更に、ＰＯＣＳ法では、高解像度画像と低解像度画像のそれぞれの画素値に関する連立方程式を作成し、その連立方程式を逐次的に解くことにより、高解像度画像の画素値の最適値を取得して高解像度画像を生成する方法である（非特許文献５参照）。又、ＩＢＰ法では、撮影位置が異なるが被写体の画素位置に重なりをもつ複数の低解像度画像から高解像度を生成する方法、即ち、反復逆投影法を用いた超解像処理方法である（非特許文献６参照）。
【０００８】
上述のような超解像処理において、高解像度画像を取得するために、時系列に連続した複数の低解像度画像が用いられる。そして、この高解像度画像を取得するのに最適となる低解像度画像を複数の低解像度画像から選択して、超解像処理を行う画像処理方法が提案されている（特許文献１参照）。特許文献１における画像処理方法では、低解像度画像による画像データには、撮像装置などの画像生成装置の動きに関する動き情報が付加されており、この動き情報に基づいて、高解像度画像の生成に適しているか否かが判定される。更に、低解像度画像を構成する各画像フレームにおける画素の動き量が画素値より算出され、この動き量に基づいて、高解像度画像の生成に適しているか否かが判定される。
【特許文献１】特開２００６−４１６０３号公報
【非特許文献１】Sung, C. P. Min, K. P. Moon, G. K. 共著 "Super-resolution image reconstruction: a technical overview", (Signal processing Magazine, IEEE on Volume 26,Issue 3, May 2003, P.21-36)
【非特許文献２】Tom, B.C. Katsaggelos, A.K. 共著 "Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images", (Image Processing, Proceedings, International Conference on Volume 2, Oct 1995, P.23-26)
【非特許文献３】Schultz, R.R. Stevenson, R.L. 共著 "Extraction of high-resolution frames from video sequences" (Image Processing, IEEE Transactions on Volume 5, Issue 6, June 1996, P.996-1011)
【非特許文献４】Hardie R.C. Barnard K.J. Armstrong E.E. 共著 "Joint MAP registration and high-resolution image estimation using a sequence of undersampled images" (Image Processing, IEEE Transactions on Volume 6, Issue 12, Dec. 1997 P.1621-1633)
【非特許文献５】Stark, H. Oskoui, P. 共著 "High resolution image recovery from image-plane arrays, using convex projections" (J. Opt. Soc. Am. A, on vol. 6. P.1715-1726, 1989)
【非特許文献６】Michel, I. Peleg, S. 共著 "Improving Resolution by Image Registration" (CVGIP: Graph Models Image Process, on vol. 53. P.231-239, Mar. 1991)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の画像処理方法においては、高解像度画像を生成するための低解像度画像となる画像フレームを選択する際に、低解像度画像による画像データに付加された動き情報を確認する必要があるため、この画像データに動き情報が付加されていない場合には適用できない。更に、画像間の位置ズレ量に相当する動き量によっては、高解像度画像における補間画素位置付近の画素値が取得可能となる場合も多いが、特許文献１のように動き量の大きさによって選択の可否を設定する場合、このような動き量を有する低解像度画像の画像フレームも非選択となることがある。そのため、高解像度画像を生成するための効率が悪くなることがある。
【００１０】
このような問題を鑑みて、本発明は、高解像度画像を取得するために使用する低解像度画像を選択する際に、選択するための基準位置を設定し、低解像度画像の画素位置と基準位置との相対関係により低解像度画像を選択する画像処理方法及び画像処理装置を提供することを目的とする。又、本発明は、高解像度画像を取得するために使用する低解像度画像を選択する際に、選択するための基準位置を設定し、低解像度画像の画素位置と基準位置との相対関係により低解像度画像を選択する画像処理装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の画像処理装置は、注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化部を備える画像処理装置において、Ｎ（Ｎ＞Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出部と、前記動き量検出部で得られた前記第３低解像度画像における前記動き量を考慮し、Ｎフレームの前記第３低解像度画像から、前記第１低解像度画像の画素位置に基づいて設定された基準位置に対して画素位置がより近いＭフレームの前記第３低解像度画像を、前記第２低解像度画像として選択する画像評価部と、を備え、前記画像評価部によって前記第２低解像度画像とされた前記第３低解像度画像が前記高解像度化部に与えられ、前記高解像度画像が生成されることを特徴とする。
【００１２】
そして、前記基準位置を、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に設定するものとしても構わないし、前記基準位置を、前記高解像度画像における前記第１低解像度画像に対する補間画素となる画素位置に設定するものとしても構わない。又、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に対して画素位置が近い前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００１３】
このような画像処理装置に置いて、前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、その画素位置と前記基準位置との水平方向における距離が短い前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００１４】
又、前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、時間的に隣接した前フレームとの動き量が小さい前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００１５】
更に、前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記超解像ステップで水平方向及び垂直方向それぞれにおける解像度の拡大率が異なるとき、その画素位置と前記基準位置との拡大率が大きい方向における距離が短い前記低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００１６】
このような画像処理装置において、前記画像評価部で前記第２低解像度画像として前記フレームメモリより選択された前記第３低解像度画像それぞれについて、前記動き量検出部で得られた前記動き量に基づいて前記第１低解像度画像を基準としてその画素位置を補正する位置ズレ補正部を備える。
【００１７】
本発明の電子機器は、外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、前記高解像度化機能を実現する画像処理部として、上述のいずれの画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする。
【００１８】
又、本発明の画像処理方法は、注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化ステップを備える画像処理方法において、Ｎ（Ｎ＞Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出ステップと、前記動き量検出ステップより得られた前記第３低解像度画像における前記動き量を考慮し、Ｎフレームの前記第３低解像度画像から、前記第１低解像度画像の画素位置に基づいて設定された基準位置に対して画素位置がより近いＭフレームの前記第３低解像度画像を、前記第２低解像度画像として選択する低解像度画像選択ステップと、を備え、前記高解像度化ステップにおいて、前記低解像度画像選択ステップで前記第２低解像度画像とされた前記第３低解像度画像と前記第１低解像度画像とに基づいて前記高解像度画像を生成することを特徴とする。
【００１９】
このような画像処理方法が、前記低解像度画像選択ステップにおいて、前記基準位置を、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に設定するものとしても構わないし、前記基準位置を、前記高解像度画像における前記第１低解像度画像に対する補間画素となる画素位置に設定するものとしても構わない。そして、前記低解像度画像選択ステップにおいて、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に対して画素位置が近い前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００２０】
又、前記低解像度画像選択ステップにおいて、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、その画素位置と前記基準位置との水平方向における距離が短い前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わないし、時間的に隣接した前フレームとの動き量が小さい前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００２１】
更に、前記低解像度画像選択ステップにおいて、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記超解像ステップで水平方向及び垂直方向それぞれにおける解像度の拡大率が異なるとき、その画素位置と前記基準位置との拡大率が大きい方向における距離が短い前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【発明の効果】
【００２２】
本発明によると、従来のように、動き量の大きい低解像度画像を非選択するものではなく、基準位置を設定して、その基準位置に画素位置が近い低解像度画像を選択するものとしている。これにより、高解像度画像を生成するために注目フレームとなる低解像度画像以外の低解像度画像を選択する際に、その補間画素位置に近い画素位置となる低解像度画像を選択することができる。よって、超解像処理によって選択した低解像度画像に基づいて生成された高解像度画像が、実際の被写体による画像に近い高解像度画像とすることができ、その信頼性の高い高解像度画像とすることができる。
【発明を実施するための最良の形態】
【００２３】
本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における画像処理方法を行う画像処理装置（以下では、「画像処理部」に相当する）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて、説明する。又、後述するが、同様の画像処理装置を備えるものであれば、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置であっても構わない。
【００２４】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２５】
図１の撮像装置は、被写体のから入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して超解像処理を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ１５に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、ユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。
【００２６】
この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、タイミングジェネレータ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号となる画像信号がデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００２７】
又、この画像処理部４では、操作部１５によってデジタルズームにより、イメージセンサ１より得られた画像信号の高解像度化が求められると、イメージセンサ１からの複数フレーム分の画像信号に基づく超解像処理が施される。更に、この超解像処理が成された画像信号に基づいて、輝度信号及び色差信号が生成される。又、超解像処理が施されるために、後述するが、複数フレームの画像信号の動き量が算出され、その動き量に応じて各フレームの位置合わせが行われる。
【００２８】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００２９】
尚、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ２０に記録されるだけとなり、その基本動作については動画撮影時の動作と同様である。又、この静止画像撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、イメージセンサ１によって撮影されている現時点の画像に対する圧縮信号も外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、イメージセンサ１によって撮影されている現時点の画像がディスプレイ部９に表示され、ユーザが確認することができる。
【００３０】
このように撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、映像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。又、静止画像撮影のときは、操作部１５によるシャッタ動作に基づいて、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、映像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
【００３１】
又、外部メモリ２０に記録された動画又は画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。又、圧縮信号が画像信号のみより成るときは、ディスプレイ部９に画像のみが再生されることとなる。
【００３２】
（超解像処理の基本概念）
次に、上述の撮像装置内の画像処理部４において実行される超解像処理の基本概念について、簡単に説明する。尚、超解像処理の基本概念を説明するにあたって、その説明を簡単にするために、画像データを１次元方向に並んだ複数画素の画素値によるものとするとともに、異なる時間に撮像された２フレームの画像データによる超解像処理が成されるものとする。又、以下の説明における画素値は、輝度値を示す。そして、図２（ａ）に、イメージセンサ１により撮像される被写体の輝度分布を示し、図２（ｂ）〜（ｄ）に、この被写体が異なる時間にイメージセンサ１により撮像された際の画像データ（低解像度実画像）を示す。又、図３に、図２における低解像度実画像により高解像度画像となる画像データを生成する際のフローチャートを示す。更に、図３では、各フローにおける信号の変遷を模式的に示す。
【００３３】
図２（ａ）に示す輝度分布の被写体に対して、時間Ｔ１にイメージセンサ１によって撮像されたときの第１フレームのサンプル点がＳ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳであり、時間Ｔ２（Ｔ１≠Ｔ２）にイメージセンサ１によって撮像されたときの第２フレームのサンプル点がＳ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳであるものとする。又、このとき、第１フレームのサンプル点Ｓ１と第２フレームのサンプル点Ｓ２は、手ブレなどが原因となり、その位置にズレが生じているものとする。
【００３４】
そして、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳは、被写体上のサンプル点を示し、図２（ｂ）に示す第１フレームとなる低解像度実画像Ｆａでは、このサンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３となる。又、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳは、被写体上のサンプル点を示し、図２（ｃ）に示す第２フレームとなる低解像度実画像Ｆｂでは、このサンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３となる。
【００３５】
これにより、第１フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３が図２（ｂ）のような関係となり、又、第２フレームとなる低解像度実画像Ｆｂの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３が図２（ｃ）のような関係となる。このように、図２（ｂ）による低解像度実画像Ｆａ及び図２（ｃ）による低解像度実画像Ｆｂそれぞれは、図中の被写体の位置を基準にすると、画素位置が（Ｓ１−Ｓ２）だけずれた状態の画像となる。そして、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）分だけ位置ズレ補正した場合）、低解像度実画像Ｆｂが図２（ｄ）のように表される。
【００３６】
そして、図３（ａ）に示すように、位置ズレを補正した図２（ｂ）及び図２（ｄ）のような低解像度実画像Ｆａ，Ｆｂを組み合わせることで、高解像度画像Ｆｘ１を推定する（ＳＴＥＰ３１）。このとき、以下の説明を簡単にするために、例えば、解像度を１次元方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素として、低解像度実画像Ｆａ，Ｆｂの画素Ｐ１，Ｐ２，Ｐ３に加えて更に、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５とが設定されるものとする。
【００３７】
低解像度実画像Ｆａが基準である注目フレームとされると、画素Ｐ１，Ｐ２，Ｐ３での画素値が、低解像度実画像Ｆａにおける画素値ｐａ１，ｐａ２，ｐａ３とされる。又、画素Ｐ４については、画素Ｐ４との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ１の画素位置からの距離の方が近いことより、画素値ｐｂ１とされるものとする。同様に、画素Ｐ５については、画素Ｐ５との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ２の画素位置からの距離の方が近いことより、画素値ｐｂ２とされるものとする。このように、画素Ｐ１〜Ｐ５の画素値をｐａ１，ｐａ２，ｐａ３，ｐｂ１，ｐｂ２と設定して得られた高解像度画像を、高解像度画像Ｆｘ１として推定されるものとしても構わない。
【００３８】
その後、ＳＴＥＰ３１で得られた高解像度画像Ｆｘ１に対して、ダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、図３（ｂ）のように、低解像度実画像Ｆａ，Ｆｂそれぞれに対する推定画像となる低解像度推定画像Ｆａ１，Ｆｂ１を生成する（ＳＴＥＰ３２）。尚、図３（ｂ）では、ｎ回目の処理によって推定された低解像度推定画像、即ち、高解像度画像Ｆｘｎより推定された低解像度実画像Ｆａ，Ｆｂに相当する低解像度推定画像Ｆａｎ，Ｆｂｎを示す。
【００３９】
即ち、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。
【００４０】
そして、図３（ｃ）に示すように、このようにして得られた低解像度推定画像Ｆａ１，Ｆｂ１それぞれと、低解像度実画像Ｆａ，Ｆｂそれぞれとの間における差分を求め、この差分を合成することで、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する（ＳＴＥＰ３３）。尚、図３（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎ、即ち、低解像度推定画像Ｆａｎ，Ｆｂｎと低解像度実画像Ｆａ，Ｆｂとによる差分画像ΔＦａｎ、ΔＦｂｎを合成することで得られた差分画像ΔＦｘｎを示す。
【００４１】
この図３（ｃ）の処理によって、低解像度推定画像Ｆａ１と低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）による差分画像ΔＦａ１、低解像度推定画像Ｆａ２と低解像度実画像Ｆｂにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）による差分画像ΔＦｂ１をそれぞれ求める。即ち、差分画像ΔＦａ１では、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）が画素値となり、差分画像ΔＦｂ１では、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）が画素値となる。
【００４２】
そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｆ１〜Ｆ５それぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成によって差分画像ΔＦｘ１を取得する際、例えば、ＭＬ法やＭＡＰ法では、二乗誤差を評価関数として用いる。即ち、ＭＬ法やＭＡＰ法の評価関数が、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値となる。よって、この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となるため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。
【００４３】
その後、図３（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、ＳＴＥＰ１で推定された高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図２（ａ）に示す輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される（ＳＴＥＰ３４）。尚、図３（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）、即ち、高解像度推定画像Ｆｘｎより差分画像ΔＦｘｎが減算されて得られた高解像度画像Ｆｘ（ｎ＋１）を示す。
【００４４】
そして、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理を繰り返すことによって、ＳＴＥＰ３３で得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が、図２（ａ）に示す輝度分布の被写体に近い画素値に収束される。尚、ｎ回目の処理におけるＳＴＥＰ３２及びＳＴＥＰ３４では、前回（ｎ−１回目）の処理におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ，Ｆｂｎ及び高解像度推定画像Ｆｘ（ｎ＋１）が取得される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束されたとき、前の処理（ｎ−１回目の処理）におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎを、目的の高解像度画像として超解像処理を終了する。
【００４５】
上述したフローを基本とする超解像処理として、［背景技術］で挙げたＭＬ法や、ＭＡＰ法や、ＰＯＣＳ法や、ＩＢＰ法などが、画像処理部４で利用される。例えば、ＭＡＰ法が利用される場合、ＳＴＥＰ３３において取得される高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎが、ＭＡＰ法における評価関数を勾配法によって微分した値を画素値とする勾配画像で構成されるものとする。即ち、各画素位置での二乗誤差を画素値とする最小二乗法によって得られた差分画像ΔＦａｎ、ΔＦｂｎを合成した高解像度画像Ｆｘｎの差分画像に、事後確率分布により拘束される高解像度画像Ｆｘｎの高速画像を加えた後、勾配法によって微分を行うことで、ＳＴＥＰ３３における差分画像ΔＦｘｎに相当する勾配画像を取得する。そして、ＳＴＥＰ３４において、この勾配画像による差分画像ΔＦｘｎを高解像度画像Ｆｘｎより減算することで、高解像度画像Ｆｘ（ｎ＋１）を再構築する。
【００４６】
このような超解像処理が行う際に、上述したように、まず、ＳＴＥＰ３１のように、イメージセンサ１で撮影された複数フレームの低解像度実画像から高解像画像を推定することで、最適となる高解像画像の取得が可能となる。そして、このＳＴＥＰ３１の高解像画像の推定を行う際に最適となる低解像度実画像を、注目フレームを含む複数フレームの低解像度実画像より選択する必要がある。この最適な低解像度実画像の選択により、高解像画像の取得速度が高速化できるとともに、フレーム数を制限することで、超解像処理における演算にかかる画像処理部４での負荷を低減することができる。又、選択した複数フレームの低解像度実画像それぞれの間に発生する位置ズレ量となる動き量が検出され、検出された動き量に対する補正が成される。尚、この位置ズレ補正については、後述する。
【００４７】
（低解像度実画像の選択）
以下では、上述の超解像処理において最適とされる低解像度実画像の選択の基本概念について、説明する。尚、低解像度実画像の選択の基本概念を説明するにあたって、その説明を簡単にするために、画像データが１次元方向に並んだ複数画素の画素値によるものとするとともに、撮像時間の異なる４フレームの低解像度実画像から３フレームの低解像度実画像が選択されるものとする。図４に、イメージセンサ１により撮像される被写体の輝度分布と、この被写体を異なる時間にイメージセンサ１により撮像された際の低解像度実画像とを示す。又、図５及び図６に、選択した３フレームの低解像度実画像による超解像処理結果を示す。
【００４８】
図４（ａ）に示すように、時間Ｔ１にイメージセンサ１によって撮像されたときの第１フレームのサンプル点がＳ１、Ｓ１＋ΔＳであり、時間Ｔ２（Ｔ１≠Ｔ２）にイメージセンサ１によって撮像されたときの第２フレームのサンプル点がＳ２、Ｓ２＋ΔＳであり、時間Ｔ３（Ｔ３≠Ｔ２、Ｔ３≠Ｔ１）にイメージセンサ１によって撮像されたときの第３フレームのサンプル点がＳ３、Ｓ３＋ΔＳであり、時間Ｔ４（Ｔ４≠Ｔ３、Ｔ４≠Ｔ２、Ｔ４≠Ｔ１）にイメージセンサ１によって撮像されたときの第４フレームのサンプル点がＳ４、Ｓ４＋ΔＳであるものとする。又、このとき、第１〜第４フレームのサンプル点Ｓ１〜Ｓ４は、手ブレなどが原因となり、その位置にズレが生じているものとする。
【００４９】
これにより、第１フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２における画素値ｐａ１，ｐａ２が図４（ｂ）のような関係となり、又、第２フレームとなる低解像度実画像Ｆｂの画素Ｐ１，Ｐ２における画素値ｐｂ１，ｐｂ２が図４（ｃ）のような関係となり、第３フレームとなる低解像度実画像Ｆｃの画素Ｐ１，Ｐ２における画素値ｐｃ１，ｐｃ２が図４（ｄ）のような関係となり、又、第４フレームとなる低解像度実画像Ｆｄの画素Ｐ１，Ｐ２における画素値ｐｄ１，ｐｄ２が図４（ｅ）のような関係となる。
【００５０】
尚、図４（ｂ）〜（ｅ）による低解像度実画像Ｆａ〜Ｆｄそれぞれは、低解像度実画像Ｆａ〜Ｆｄそれぞれのサンプル点Ｓ１〜Ｓ４，Ｓ１＋ΔＳ〜Ｓ４＋ΔＳに相当する画素Ｐ１，Ｐ２を基準としている。又、このように、図４（ｂ）〜図４（ｅ）のような４フレームの低解像度実画像Ｆａ〜Ｆｄを異なる撮像時間に取得したとき、低解像度実画像Ｆａを注目フレームとして超解像処理が成されるものとする。
【００５１】
（１）２倍の解像度とする場合
１次元方向で、低解像度実画像の２倍の解像度の高解像度画像を取得する場合、低解像度実画像Ｆａ〜Ｆｄそれぞれの画素位置の中間点となる位置（中間位置）を、画素位置として追加設定される。即ち、図５（ｂ）に示すように、高解像度画像Ｆｘでは、画素Ｐ１，Ｐ２に加えて更に、画素Ｐ１，Ｐ２の中間点における画素Ｐｘのように、低解像度実画像における画素間の中間点となる画素が補間画素として追加されて、高解像度画像Ｆｘが２倍の画素数の画像とされる。即ち、補間画素は、高解像度画像を生成する際において、低解像度画像の画素間に補間される画素のことであり、図５の例においては、高解像度画像Ｆｘの画素Ｐｘに相当する。
【００５２】
図５（ｂ）に示す高解像度画像Ｆｘを超解像処理によって取得するとき、まず、図５（ａ）のように、低解像度実画像Ｆａの画素Ｐ１，Ｐ２を基準として、低解像度実画像Ｆａ〜Ｆｄにおける位置ズレを補正し、低解像度実画像Ｆａ〜Ｆｄの位置合わせ（「位置ズレ補正」に相当する）を行う。図５（ａ）のように動き量に基づく位置ズレを補正すると、低解像度実画像Ｆａの画素Ｐ１，Ｐ２に対して、低解像度実画像Ｆｂ〜Ｆｄの画素Ｐ１，Ｐ２の位置が、図４（ｃ）〜図４（ｅ）に示すサンプリング点Ｓ２〜Ｓ４と図４（ａ）に示すサンプリング点Ｓ１との間にできる動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）だけずれることとなる。
【００５３】
即ち、図５（ａ）に示すように、低解像度実画像Ｆａ〜Ｆｄを組み合わせたとき、画素Ｐ１，Ｐ２の画素値が、低解像度実画像Ｆａの画素Ｐ１，Ｐ２の画素値ｐａ１，ｐａ２となる。そして、画素位置が画素Ｐ１，Ｐ２からＳ２−Ｓ１だけずれた画素位置ＰＢ１，ＰＢ２の画素値が、低解像度実画像Ｆｂの画素Ｐ１，Ｐ２の画素値ｐｂ１，ｐｂ２（図４（ｃ）参照）となる。同様に、画素位置が画素Ｐ１，Ｐ２からＳ３−Ｓ１だけずれた画素位置ＰＣ１，ＰＣ２の画素値が、低解像度実画像Ｆｃの画素Ｐ１，Ｐ２の画素値ｐｃ１，ｐｃ２（図４（ｄ）参照）となり、又、画素位置が画素Ｐ１，Ｐ２からＳ４−Ｓ１だけずれた画素位置ＰＤ１，ＰＤ２の画素値が、低解像度実画像Ｆｄの画素Ｐ１，Ｐ２の画素値ｐｄ１，ｐｄ２（図４（ｅ）参照）となる。
【００５４】
この低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量に基づく位置ズレが補正されると、注目フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２との位置関係によって、超解像処理として最適となる２フレームの低解像度実画像が、３フレームの低解像度実画像Ｆｂ〜Ｆｄから選択される。そして、３フレームの低解像度実画像Ｆｂ〜Ｆｄのうち、低解像度実画像Ｆａの各画素間の中間位置（図５（ａ）の場合、画素Ｐｘの画素位置に相当）に近い位置にサンプル点となる画素を備える低解像度実画像が選択される。
【００５５】
即ち、図５（ａ）のように、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と画素間の距離ΔＳとの関係が、｜ΔＳ／２−｜Ｓ２−Ｓ１｜｜＞｜ΔＳ／２−｜Ｓ４−Ｓ１｜｜＞｜ΔＳ／２−｜Ｓ３−Ｓ１｜｜となるとき、低解像度実画像Ｆｂ〜Ｆｄのサンプル点による画素位置が、低解像度実画像Ｆａの各画素間の中間位置に対して、Ｆｃ，Ｆｄ，Ｆｂの順に近いものとなる。尚、図５（ａ）中では、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と中間位置までの距離ΔＳ／２との大小関係が、（Ｓ２−Ｓ１）＜（Ｓ３−Ｓ１）＜ΔＳ／２＜（Ｓ４−Ｓ１）となるものとする。
【００５６】
これにより、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量の関係に基づいて、低解像度実画像Ｆｂ〜Ｆｄそれぞれが、Ｆｃ，Ｆｄ，Ｆｂの順に、超解像処理に適しているものと判断される。よって、注目フレームとなる低解像度実画像Ｆａを含む３フレームの低解像度実画像が選択されるため、低解像度実画像Ｆａ，Ｆｃ，Ｆｄが選択される。そして、選択された低解像度実画像Ｆａ，Ｆｃ，Ｆｄに基づいて上述の超解像処理が成されることにより、図５（ｂ）のような高解像度画像Ｆｘが得られる。
【００５７】
尚、上述では説明を簡単にするために、低解像度実画像Ｆａ〜Ｆｄの位置ズレ補正（「位置合わせ」と同意）後の関係によって低解像度実画像の選択が行われるものとした。しかしながら、低解像度実画像Ｆａ〜Ｆｄそれぞれのサンプル点により得られる動き量に基づいて、注目フレームとなる低解像度実画像Ｆａの各画素間の中間位置と距離を算出し、算出した距離が短いもの低解像度実画像から選択するものとしても構わない。
【００５８】
このように、解像度を２倍とする場合、注目フレームとなる低解像度画像を基準として、複数の低解像度画像の位置ズレ補正をしたときに、注目フレームとなる低解像度画像における各画素間の中間位置、即ち、補間画素位置に近い位置に画素を備える低解像度画像を選択することで、超解像処理が成される。これにより、高解像度画像を取得する際の補間画素位置に近い画素位置における実画像の画素値を取得できるため、補間画素の画素値に近い値に基づいて補間画素の画素値が取得され、実際の被写体の輝度値に近い値とすることができる。
【００５９】
更に、解像度を２倍とする場合、上述の例では、４フレームの低解像度実画像から注目フレームを含む３フレームの低解像度実画像を選択するものとしたが、ｎ（ｎは、３以上の整数）フレームの低解像度実画像から注目フレームを含むｍ（ｍは、２以上ｎ−１以下の整数）フレームの低解像度実画像を選択するものとであれば、そのフレーム数を限定するものではない。尚、画像処理部４での演算処理における負荷を軽減するために、選択対象となるｎフレームの低解像度実画像、及び、選択されるｍフレームの低解像度実画像それぞれのフレーム数を少なくすることが望ましい。
【００６０】
（２）３倍の解像度とする場合
１次元方向で、低解像度実画像の３倍の解像度の高解像度画像を取得する場合、低解像度実画像Ｆａ〜Ｆｄそれぞれの画素位置の間を三等分する位置を、画素位置として追加設定される。即ち、図６（ｂ）に示すように、高解像度画像Ｆｙ，Ｆｚでは、画素Ｐ１，Ｐ２に加えて更に、画素Ｐ１，Ｐ２を三等分する位置における画素Ｐｘ１，Ｐｘ２のように、低解像度実画像における画素間を三等分する位置となる画素が補間画素として追加されて、高解像度画像Ｆｙが３倍の画素数の画像とされる。
【００６１】
図６（ｂ）に示す高解像度画像Ｆｙを超解像処理によって取得するとき、解像度を２倍とするときと同様、まず、図６（ａ）のように、低解像度実画像Ｆａの画素Ｐ１，Ｐ２を基準として、低解像度実画像Ｆａ〜Ｆｄにおける動き量に基づく位置ズレを補正し、低解像度実画像Ｆａ〜Ｆｄの位置合わせを行う。尚、この位置合わせ（位置ズレ補正）は、解像度を２倍としたときの図５（ａ）と同様であり、注目フレームの低解像度実画像Ｆａとの位置ズレ量（動き量）が同じ値となる。
【００６２】
図６（ａ）のように、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの位置ズレが補正されると、注目フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２との位置関係によって、超解像処理として最適となる低解像度実画像が、３フレームの低解像度実画像Ｆｂ〜Ｆｄから選択される。このとき、選択するフレーム数によって、その選択する際の基準となる画素位置が異なる。即ち、上述の解像度を２倍とする場合の例では、低解像度実画像における画素間の中間位置と補間画素位置とが同一の位置であったため、判定の基準を、低解像度実画像における画素間の中間位置ともなる補間画素位置としたが、解像度を３倍とする場合は、低解像度実画像における画素間の中間位置と補間画素位置とが異なる。よって、（１−ａ）注目フレームとなる低解像度実画像Ｆａの各画素間の中間位置を判定の基準とする場合と、（１−ｂ）高解像度画像における補間画素位置を判定の基準とする場合とが、選択する低解像度実画像のフレーム数によって決定される。
【００６３】
（１−ａ）注目フレームの各画素間の中間位置を基準とする例
本例におけるフレーム選択用の基準は、例えば、注目フレームとなる低解像度実画像Ｆａ以外に、別の１フレームの低解像度実画像が、３フレームの低解像度実画像Ｆｂ〜Ｆｄから選択されるように、超解像処理として最適となる低解像度実画像として選択するフレーム数が、低解像度実画像における画素間に配置される補間画素数（本例のように、解像度を３倍とする場合は補間画素が、低解像度実画像における画素間に２画素ずつ補間されるため、補間画素数は２となる）よりも少ないときに主に使用されることが好ましい。
【００６４】
このように、注目フレームとなる低解像度実画像Ｆａの各画素間の中間位置を基準として、超解像処理において最適な低解像度画像を選択するとき、解像度を２倍にするときと同様、そのサンプル点が低解像度実画像Ｆａの各画素間の中間位置に近い低解像度実画像が選択されることとなる。即ち、例えば、注目フレームとなる低解像度実画像Ｆａ以外に、３フレームの低解像度実画像Ｆｂ〜Ｆｄから１フレームを選択する場合、上述したように、低解像度実画像Ｆｂ〜Ｆｄのサンプル点による画素位置が、低解像度実画像Ｆａの各画素間の中間位置に対して、Ｆｃ，Ｆｄ，Ｆｂの順に近いため（図５（ａ）及び図６（ａ）参照）、低解像度実画像Ｆｃが選択される。よって、低解像度実画像Ｆａ，Ｆｃによって、上述の超解像処理が行われて、図６（ｂ）のような高解像度画像Ｆｙが得られる。
【００６５】
尚、本例のように基準を設定するとき、超解像処理として最適となる低解像度実画像の選択するフレーム数が多い場合でも、その選択動作に対する演算処理の負荷を低減する場合にも有効である。よって、注目フレームとなる低解像度実画像Ｆａ以外に、３フレームの低解像度実画像Ｆｂ〜Ｆｄから２フレームを選択する場合、上述したように、低解像度実画像Ｆｂ〜Ｆｄのサンプル点による画素位置が、低解像度実画像Ｆａの各画素間の中間位置に対して、Ｆｃ，Ｆｄ，Ｆｂの順に近いため（図５（ａ）及び図６（ａ）参照）、低解像度実画像Ｆｃ，Ｆｄが選択される。よって、低解像度実画像Ｆａ，Ｆｃ，Ｆｄによって、上述の超解像処理が行われて、図６（ｃ）のような高解像度画像Ｆｚが得られる。
【００６６】
（１−ｂ）高解像度画像における補間画素位置を判定の基準とする例
本例におけるフレーム選択用の基準は、例えば、注目フレームとなる低解像度実画像Ｆａ以外に、別の２フレームの低解像度実画像が、３フレームの低解像度実画像Ｆｂ〜Ｆｄから選択されるように、超解像処理として最適となる低解像度実画像として選択するフレーム数が、低解像度実画像における画素間に配置される補間画素数（本例のように、解像度を３倍とする場合は補間画素が、低解像度実画像における画素間に２画素ずつ補間されるため、補間画素数は２となる）以上とされるときに使用されることが好ましい。
【００６７】
このように、生成される高解像度画像の補間画素位置を基準として、超解像処理において最適な低解像度画像を選択するとき、そのサンプル点が低解像度実画像Ｆａの各画素間において１／３又は２／３となる位置に近解像度実画像が選択されることとなる。即ち、低解像度実画像Ｆａの各画素との距離がΔＳ／３又は２ΔＳ／３となる位置（図６（ｂ）の高解像度画像Ｆｙ，Ｆｚにおける補間画素Ｐｘ１，Ｐｘ２の画素位置に相当する）を基準とし、この基準に対してそのサンプル点が近くなる低解像度画像から順に選択する。
【００６８】
即ち、図６（ａ）のように、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と画素間の距離ΔＳとの関係が、｜ΔＳ／３−｜Ｓ２−Ｓ１｜｜＝｜ΔＳ／３−｜Ｓ３−Ｓ１｜｜＞｜２ΔＳ／３−｜Ｓ４−Ｓ１｜｜となるとき、低解像度実画像Ｆｂ〜Ｆｄのサンプル点による画素位置が、低解像度実画像Ｆａの各画素との距離がΔＳ／３又は２ΔＳ／３となる位置に対して、低解像度実画像Ｆｄのサンプル点が最も近いものとなる。そして、低解像度実画像Ｆａの各画素との距離がΔＳ／３となる位置に対して、低解像度実画像Ｆｂ，Ｆｃそれぞれのサンプル点が等しい位置となる。
【００６９】
尚、図６（ａ）中では、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と補間画素までの距離ΔＳ／３、２ΔＳ／３との大小関係が、（Ｓ２−Ｓ１）＜ΔＳ／３＜（Ｓ３−Ｓ１）＜（Ｓ４−Ｓ１）＜２ΔＳ／３となるものとする。又、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）と中間位置までの距離ΔＳ／２との大小関係が、（Ｓ２−Ｓ１）＜（Ｓ３−Ｓ１）＜ΔＳ／２となる。即ち、低解像度画像Ｆｂ，Ｆｃについては、低解像度実画像Ｆａの各画素間の中間位置に対して、Ｆｃ，Ｆｂの順に近いものとなる。
【００７０】
これにより、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量の関係に基づいて、まず、高解像度画像における補間画素位置に最も近い位置をサンプル点とする低解像度実画像Ｆｄが、超解像処理に適しているものと判断される。そして、そのサンプル点が補間画素位置に次に近い低解像度実画像が、低解像度実画像Ｆｂ，Ｆｃの２フレームとなるため、この２フレームから１フレームを選択する必要がある。このとき、そのサンプル点が低解像度実画像Ｆａの各画素間の中間位置に近い低解像度実画像Ｆｃが選択される。このようにすることで、低解像度実画像Ｆｃ，Ｆｄが選択され、低解像度実画像Ｆａ，Ｆｃ，Ｆｄによって、上述の超解像処理が行われて、図６（ｃ）のような高解像度画像Ｆｚが得られる。
【００７１】
図６（ａ）の場合と異なる場合についても、図７を参照して以下に説明する。尚、図７は、低解像度実画像Ｆａ〜Ｆｄそれぞれのサンプル点Ｓ１〜Ｓ４の位置関係を示す図である。例えば、図７（ａ）のように、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と画素間の距離ΔＳとの関係が、｜ΔＳ／３−｜Ｓ２−Ｓ１｜｜＞｜ΔＳ／３−｜Ｓ３−Ｓ１｜｜＞｜２ΔＳ／３−｜Ｓ４−Ｓ１｜｜となるときは、そのサンプル点と高解像度画像の補間画素との距離によってのみ選択される。即ち、図７（ａ）の場合では、そのサンプル点と高解像度画像の補間画素との距離が、Ｆｄ，Ｆｃ，Ｆｂの順に近くなるため、低解像度実画像Ｆｄ，Ｆｃが選択される。
【００７２】
又、図７（ｂ）のように、｜ΔＳ／３−｜Ｓ３−Ｓ１｜｜＞｜ΔＳ／３−｜Ｓ２−Ｓ１｜｜＞｜２ΔＳ／３−｜Ｓ４−Ｓ１｜｜となるときは、そのサンプル点と高解像度画像の補間画素との距離が、Ｆｄ，Ｆｂ，Ｆｃの順に近くなるため、低解像度実画像Ｆｄ，Ｆｂが選択される。尚、図７（ａ）及び図７（ｂ）において、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａと動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と補間画素までの距離ΔＳ／３、２ΔＳ／３との大小関係が、（Ｓ２−Ｓ１）＜ΔＳ／３＜（Ｓ３−Ｓ１）＜ΔＳ／２＜（Ｓ４−Ｓ１）＜２ΔＳ／３となるものとする。
【００７３】
又、図７（ｃ）及び図７（ｄ）のように、｜ΔＳ／３−｜Ｓ２−Ｓ１｜｜＝｜２ΔＳ／３−｜Ｓ３−Ｓ１｜｜＞｜２ΔＳ／３−｜Ｓ４−Ｓ１｜｜となるときは、まず、そのサンプル点と高解像度画像の補間画素との距離が最も近い低解像度実画像Ｆｄが選択される。そして、図７（ｃ）のように、ΔＳ／３＜（Ｓ２−Ｓ１）＜ΔＳ／２＜（Ｓ３−Ｓ１）＜（Ｓ４−Ｓ１）＜２ΔＳ／３となるとき、低解像度実画像Ｆａの画素との距離が２ΔＳ／３となる補間画素（補間画素Ｐｘ２に相当）に近い位置をサンプル点とする低解像度実画像Ｆｄが既に選択されているため、低解像度実画像Ｆａの画素との距離がΔＳ／３となる補間画素（補間画素Ｐｘ１に相当）に近い位置をサンプル点とする低解像度実画像Ｆｂが選択されることとなる。
【００７４】
更に、図７（ｄ）のように、（Ｓ２−Ｓ１）＜ΔＳ／３＜ΔＳ／２＜（Ｓ３−Ｓ１）＜（Ｓ４−Ｓ１）＜２ΔＳ／３となるとき、図７（ｃ）の場合のように、低解像度実画像Ｆａの画素との距離がΔＳ／３となる補間画素（補間画素Ｐｘ１に相当）に近い位置をサンプル点とする低解像度実画像Ｆｂが選択されるものとしても構わないし、図６（ａ）の場合のように、低解像度実画像Ｆａの各画素間の中間位置に近い位置をサンプル点とする低解像度実画像Ｆｃが選択されるものとしても構わない。
【００７５】
又、図７（ｄ）の場合、低解像度実画像Ｆｂ，Ｆｃのいずれを選択するかの基準について、補間画素との距離の長さによって変更するものとしても構わない。即ち、補間画素と低解像度実画像Ｆｂ，Ｆｃのサンプル点との距離が所定値より短い場合は、低解像度実画像Ｆａの画素との距離がΔＳ／３となる補間画素に近い位置をサンプル点とする低解像度実画像Ｆｂを選択する。逆に、補間画素と低解像度実画像Ｆｂ，Ｆｃのサンプル点との距離が所定値より長い場合は、低解像度実画像Ｆａの各画素間の中間位置に近い位置をサンプル点とする低解像度実画像Ｆｃを選択する。
【００７６】
このように、低解像度実画像の３倍の解像度の高解像度画像を取得する場合について説明したが、解像度を４倍以上に設定する場合も同様に、超解像処理に適した低解像度実画像を選択することができる。即ち、選択するフレーム数が少ない場合や選択動作における演算処理を簡単なものとする場合は、注目フレームとなる低解像度実画像の各画素間の中間位置に近い位置を基準とすることで、超解像処理を行うための低解像度実画像の選択が行われる。
【００７７】
又、選択するフレーム数が多くなる場合は、まず、高解像度画像の補間画素位置を基準とすることで選択する。そして、補間画素位置とサンプル点との距離が等しい低解像度実画像が存在する場合は、選択した低解像度実画像のサンプル点との距離を求めるための対象とされていない補間画素位置と、注目フレームとなる低解像度実画像の各画素間の中間位置とサンプル点との距離との関係に基づいて、超解像処理を行うための低解像度実画像の選択が行われる。
【００７８】
（位置ズレ補正）
以下では、位置ズレ補正動作について簡単に説明する。この位置ズレ補正は、低解像度実画像に対して成されるものであり、超解像処理における注目フレームとなる低解像度実画像を基準として行われる。即ち、超解像処理に最適な低解像度実画像として選択した注目フレーム以外の低解像度実画像が、基準となる注目フレームとなる低解像度実画像に対する位置ズレ補正が成される。このとき、連続する２つの低解像度画像毎に動き量を検出した後、検出した動き量の総和を求めることで、注目フレームとなる低解像度実画像との動き量を求める。そして、求めた動き量に基づいて、注目フレーム以外の超解像処理に最適な低解像度画像の位置ズレ補正が成される。
【００７９】
即ち、動き量の検出は、まず、時間的に連続した２フレームの低解像度画像の一方を基準画像とし、他方を非基準画像として検出される。そして、注目フレームから数えてｎフレーム目となる低解像度画像の場合、注目フレームとなる低解像度画像との動き量が、ｎフレームの低解像度画像間における動き量の総和を求めることで検出される。尚、この動き量の検出については、超解像処理に最適な低解像度実画像を選択する際においても利用される。
【００８０】
そして、この動き量の検出において、連続する２フレームの低解像度画像である基準画像と非基準画像との間における動き量が検出されるが、この動き量検出については、例えば、周知の代表点マッチング法によって、画像間における画素単位の動き量が検出され、その後、１画素内における動き量について、画素単位の位置ズレ補正された近隣画素の画素値の関係に基づいて検出されるものとしても構わない。以下に、代表点マッチング法と、１画素内における動き量検出とについて、簡単に説明する。
【００８１】
（１）代表点マッチング法
基準画像及び非基準画像それぞれに対して、例えば、図８に示すように、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、更に、このｐ×ｑ領域の小領域ｅ群（例えば、６×８の小領域ｅ群）を１つの検出領域Ｅとして分割する。そして、基準画像では、各小領域ｅにおいて、図９（ａ）のように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定され、又、非基準画像では、各小領域ｅにおいて、図９（ｂ）のように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。
【００８２】
このように、小領域ｅ及び検出領域Ｅを設定すると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。
【００８３】
このようにして、各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられる累積相関値が最小となるサンプリング点Ｓが検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。
【００８４】
（２）１画素内の動き量検出
上述のように、画素単位による動き量を検出すると、更に、１画素内における動き量が検出される。このとき、例えば、まず、図８に示す小領域ｅ毎に、基準画像の代表点Ｒとなる画素の画素値と、上述の代表点マッチング法によって得られた動き量によって代表点Ｒと相関性の高いサンプリング点Ｓｘとなる画素及び周辺画素それぞれの画素値との関係によって、１画素内における動き量を検出する。
【００８５】
即ち、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａ（図１０（ａ）参照）と、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃ（図１０（ｂ）参照）と、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄ（図１０（ｂ）参照）との関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画素から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。
【００８６】
又、図１１（ａ）のように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとし、図１１（ｂ）のように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、図１０（ａ）及び図１０（ｂ）のような関係より、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。
【００８７】
このようにして、小領域ｅそれぞれにおける１画素内での動き量を求めると、求めた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像と非基準画像との間における動き量を算出することができる。
【００８８】
そして、この動き量検出により、連続する２フレームの低解像度画像間における動き量が検出されると、注目フレームとなる低解像度画像までの複数フレームの低解像度画像間の動き量の総和を算出することで、注目フレームとなる低解像度画像との動き量が検出される。上記の方法による動き量検出によって取得された動き量によって、超解像処理に最適となる低解像度画像の選択を行うことができるとともに、選択した低解像度画像に対して、注目フレームとなる低解像度画像を基準とした位置ズレ補正を行うことができる。尚、動き量検出については、上記の方法を例に挙げて説明したが、画素内における動き量まで検出できるものであれば、他の方法を用いることによって、注目フレームとなる低解像度画像（基準画像）と他の低解像度画像（非基準画像）との動き量を検出するようにしても構わない。
【００８９】
（画像処理部の構成例）
上述のようにして、超解像処理や、低解像度画像の選択処理や、動き量検出及び位置ズレ補正処理を行う画像処理部４の構成例を、図１２に示す。以下に、この図１２のブロック図に示す画像処理部４の構成について、簡単に説明する。
【００９０】
図１２に示す画像処理部４は、ＡＦＥ２でデジタル信号とされた複数フレーム分の低解像度実画像となる画像信号を一時的に記憶するフレームメモリ４１と、ＡＦＥ２より入力される現フレームの低解像度実画像による画像信号とフレームメモリ４１に記憶された現フレームより１フレーム前の低解像度実画像による画像信号とが与えられて動き量を算出する動き量算出部４２と、動き量算出部４２で検出された動き量に基づいてＡＦＥ２からの現フレームの低解像度実画像に対する超解像処理を行うのに最適な低解像度実画像の選択を行う画像評価部４３と、画像評価部４３によって選択が指示された低解像度実画像がフレームメモリ４１から与えられて現フレームの低解像度実画像との位置ズレが補正される位置ズレ補正部４４と、ＡＦＥ２からの現フレームの低解像度実画像と位置ズレ補正部４４で位置ズレが補正された画像評価部４３により選択された低解像度実画像とが与えられて超解像処理を行う超解像演算部４５と、超解像演算部４５で超解像処理が施された高解像度画像による画像信号又はＡＦＥ２から直接与えられた画像信号より輝度信号及び色差信号を生成する信号処理部４６と、を備える。
【００９１】
このように構成される画像処理部４の動作について説明する。操作部１５による高解像度化が要求されていない場合は、ＡＦＥ２でデジタル信号に変換された画像信号が１フレーム毎に信号処理部４６に与えられる。そして、信号処理部４６において、与えられた画像信号から輝度信号及び色差信号を生成し、１フレーム毎、取得された輝度信号及び色差信号を、圧縮処理部６に与えることによって、圧縮処理部６で圧縮符号化される。
【００９２】
又、操作部１５によって高解像度化が要求されると、ＡＦＥ２でデジタル信号に変換された画像信号が１フレーム毎に、フレームメモリ４１、動き量算出部４２、及び、超解像演算部４５に与えられる。そして、画像評価部４３では、指定された解像度と、選択する低解像度実画像のフレーム数とによって、上述したように、選択するための基準を設定する。即ち、超解像処理に適した低解像度実画像を選択するための基準位置を、低解像度実画像の画素位置の中間点となる位置及び高解像度実画像の補間画素位置から決定する。
【００９３】
このようにして、各ブロックの設定が行われると、ＡＦＥ２から与えられる現フレームの低解像度実画像が超解像演算部４５に与えられ、超解像処理を行うための注目フレームとされる。又、動き量算出部４２では、現フレームの低解像度実画像と現フレームの１フレーム前の低解像度実画像との間における動き量が、上述の動き量検出処理によって求められる。そして、この連続した２フレームの低解像度実画像間の動き量は、画像評価部４３に与えられて記憶される。
【００９４】
画像評価部４３では、上述したように、連続した２フレーム毎に求められた低解像度実画像間の動き量を加算することで、フレームメモリ４１内に一時的に記憶された複数フレームの低解像度実画像それぞれにおける、ＡＦＥ２より与えられた現フレームの低解像度実画像との間における動き量を求める。そして、フレームメモリ４１内に一時的に記憶された複数フレームの低解像度実画像全てに対して求められた、現フレームの低解像度実画像との間における動き量に基づいて、超解像処理に適した低解像度実画像を選択する。即ち、超解像演算部４５でＮフレームの低解像度実画像が使用される場合、画像評価部４３では、上述した低解像度実画像の選択処理を行うことで、注目フレームとなる現フレームの低解像度実画像との間における動き量によって、フレームメモリ４１に記憶された低解像度実画像より、Ｎ−１フレームの低解像度実画像を選択する。
【００９５】
このようにして、画像評価部４３での低解像度実画像の選択が成されると、位置ズレ補正部４４に与えるフレームをフレームメモリ４１に通知するとともに、選択したフレームに対して算出した動き量を位置ズレ補正部４４に通知する。よって、フレームメモリ４１では、画像評価部４３より超解像処理のために選択されたことが通知されたフレームの低解像度実画像となる画像信号を、位置ズレ補正部４４に送出する。
【００９６】
そして、フレームメモリ４１では、画像評価部４３によって選択されなかったフレームの低解像度実画像となる画像信号を削除する。尚、選択されなかったフレームの画像信号をフレームメモリ４１より削除するとき、ＡＦＥ２より入力された現フレーム（注目フレームに相当）となる画像信号については、削除の対象から除かれるため、フレームメモリ４１に記憶され、次のフレームにおいて選択の対象となる。このように、選択されなかったフレームの画像信号が削除されるため、次のフレームの画像信号がＡＦＥ２より入力されると、画像評価部４３では、削除されずにフレームメモリ４１に記憶されたままのフレームの画像信号の中から、超解像処理に最適となるフレームの画像信号が選択される。
【００９７】
又、超解像処理に使用するために選択されたフレームの低解像度実画像となる画像信号がフレーム毎に位置ズレ補正部４４に与えられると、与えられたフレームに対する現フレーム（注目フレームに相当）からの動き量も、画像評価部４３より位置ズレ補正部４４に与えられる。そして、位置ズレ補正部４４では、画像評価部４３からの動き量に基づいて、上述の位置ズレ補正動作を行い、その画素位置が、基準となる現フレームの低解像度実画像の画素位置に基づく位置に変更される。そして、位置ズレ補正部４４で位置ズレ補正が成された低解像度実画像の画像信号は、超解像演算部４５に与えられる。
【００９８】
超解像演算部４５では、画像評価部４３で超解像処理用に選択された全てのフレームの低解像度実画像となる画像信号が、位置ズレ補正部４４で位置ズレ補正が成されて与えられるとともに、ＡＦＥ２より、注目フレームとなる現フレームの低解像度実画像となる画像信号が与えられる。そして、ＡＦＥ２及び位置ズレ補正部４４それぞれから与えられた画像信号に対して、上述した超解像処理を施すことによって、元の低解像度実画像から高解像化された高解像度画像が得られる。このようにして得られた高解像度画像による画像信号が信号処理部４６に与えられる。そして、信号処理部４６では、与えられた１フレームの高解像度画像となる画像信号から輝度信号及び色差信号を生成した後、圧縮処理部６に送出する。
【００９９】
尚、本例において、フレームメモリ４１では、超解像処理に選択されなかったフレームの低解像度実画像となる画像信号が削除されるものとしたが、ＡＦＥ２から入力される画像信号のフレームが更新される度に、１フレームずつ、最も古くに記憶された低解像度実画像となる画像信号が削除されるものとしても構わない。
【０１００】
又、ＡＦＥ２に入力されたばかりの現フレームの低解像度実画像を、超解像演算部４５での超解像処理における注目フレームとしたが、フレームメモリ４１に記憶された最も古いフレームの低解像度実画像を、超解像演算部４５での超解像処理における注目フレームとするものとしても構わない。このとき、ＡＦＥ２から入力される画像信号のフレームが更新される度に、フレームメモリ４１では、超解像処理が終了したフレームの低解像度実画像となる画像信号が削除される。
【０１０１】
（超解像演算部の第１例）
更に、このような画像処理部４における超解像演算部４５の第１例について、ＭＡＰ法による超解像演算を行うものを例に挙げて、以下に説明する。図１３は、超解像演算部４５の内部構成を示すブロック図である。又、図１３の構成例では、超解像演算部４５が、フレームメモリ４１より２フレーム分の低解像度実画像が選択されることで、高解像度画像の生成を行うものとする。
【０１０２】
図１３に示す超解像演算部４５は、ＡＦＥ２からの現フレームとなる低解像度実画像及び位置ズレ補正部４４で位置ズレ補正が成された２フレーム分の低解像度実画像が与えられて初期高解像度画像となる高解像度画像を推定する初期高解像度推定部４５１と、初期高解像度推定部４５１で推定されて得られた高解像度画像とフレームメモリ４５５に一時記憶された高解像度画像のいずれか１つを選択して後段に与える選択部４５２と、選択部４５２で選択された高解像度画像と３フレーム分の低解像度実画像とによって高解像画像の更新量を求める高解像度更新量算出部４５３と、選択部４５２で選択された高解像度画像から高解像度更新量算出部４５３で得られた更新量を減算する減算部４５４と、減算部４５４で生成された高解像度画像を記憶するフレームメモリ４５５と、を備える。尚、選択部４５２では、１回目の選択動作において、初期高解像度推定部４５１で推定された初期高解像度画像を選択し、２回目以降の選択動作において、フレームメモリ４５５に一時記憶された高解像度画像を選択する。
【０１０３】
次に、このように構成される超解像演算部４５の動作について、図３を参照して説明する。尚、低解像度実画像を含む低解像度画像の画素数をｕとし、初期高解像度画像を含む高解像度画像の画素数をｖとする。そして、ｕ画素による低解像度実画像Ｆａの各画素値がＹａ＝［ｙａ１，ｙａ２，…，ｙａｕ］となり、ｕ画素による低解像度実画像Ｆｂの各画素値がＹｂ＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］となり、ｕ画素による低解像度実画像Ｆｂの各画素値がＹｃ＝［ｙｃ１，ｙｃ２，…，ｙｃｕ］となる。画像処理部４における超解像処理が行われるとき、ＡＦＥ２より現フレームとなる低解像度実画像Ｆａが初期高解像度推定部４５１に与えられる。このとき、画像評価部４３によってフレームメモリ４１より選択されるとともに位置ズレ補正部４４で位置ズレ補正が成された２フレーム分の低解像度実画像Ｆｂ，Ｆｃも、初期高解像度推定部４５１に与えられる。
【０１０４】
（１）初期高解像画像による処理
これにより、初期高解像度推定部４５１では、図３（ａ）に示すＳＴＥＰ３１のように、動き量算出部４２で得られた動き量に基づいて、３フレームの低解像度実画像Ｆａ〜Ｆｃ間の位置ズレを検出する。そして、低解像度実画像Ｆａ〜Ｆｃの各画素値Ｙａ〜Ｙｃに対して、動き量により確認された位置ズレを利用した補間処理を施すことで、ｖ画素による初期高解像度画像Ｆｘ１を取得する。尚、高解像度画像Ｆｘ１〜Ｆｘｎそれぞれの各画素値を、Ｘ＝［ｘ１，ｘ２，…，ｘｖ］となるものとする。この初期高解像度推定部４５１で初期高解像度画像Ｆｘ１を生成する際、高解像度画像生成用のフィルタの一部にメディアンフィルタなどによるノイズ低減処理を行うフィルタを用いることや、高解像度画像生成用のフィルタのタップ数を広げることで、Ｓ／Ｎ比（信号／ノイズ比）を高くすることが好ましい。
【０１０５】
このようにして初期高解像度推定部４５１から初期高解像度画像Ｆｘ１が出力されると、選択部４５２によって、この初期高解像度画像Ｆｘ１が選択されて、高解像度更新量算出部４５３に与えられる。この高解像度更新量算出部４５３では、動き量算出部４２で得られた動き量が与えられることで、動き量に基づいて、高解像実画像Ｆｘに対する低解像度実画像Ｆａ〜Ｆｃそれぞれの位置ズレや低解像化によるぼけが算出される。この動き量より得られる位置ズレやぼけと、ｖ画素の高解像度画像Ｆｘｎからｕ画素の低解像度実画像Ｆａ〜Ｆｃに相当する低解像度推定画像Ｆａｎ〜Ｆｃｎへのダウンサンプリング量とを含むカメラパラメータ行列Ｗａ〜Ｗｃが求められる。
【０１０６】
そして、選択部４５２を通じて与えられた初期高解像度画像Ｆｘ１に対して、カメラパラメータ行列Ｗａ〜Ｗｃが乗算されることで、図３（ｂ）に示すＳＴＥＰ３２のように、低解像度実画像Ｆａ，Ｆｂ，Ｆｃに擬似的に類似させた低解像度推定画像Ｆａ１（＝Ｗａ・Ｘ），Ｆｂ１（＝Ｗｂ・Ｘ），Ｆｃ１（＝Ｗｃ・Ｘ）が推定される。又、この高解像度更新量算出部４５３は、ＡＦＥ２及び位置ズレ補正部４４からの３フレーム分の低解像度実画像Ｆａ〜Ｆｃが与えられることで、推定した低解像度推定画像Ｆａ１〜Ｆｃ１と低解像度実画像Ｆａ〜Ｆｃとの二乗誤差による差分｜Ｗａ・Ｘ−Ｙａ｜2〜｜Ｗｃ・Ｘ−Ｙｃ｜2が求められる。
【０１０７】
この低解像度推定画像Ｆａ１〜Ｆｃ１と低解像度実画像Ｆａ〜Ｆｃとの差分による評価関数Ｉが、それぞれの差分の加算値に、選択部４５２で選択された高解像度画像によって得られる拘束項が付加された形で求められる。即ち、求められる評価関数Ｉは、｜Ｗｃ・Ｘ−Ｙｃ｜2＋｜Ｗｂ・Ｘ−Ｙｂ｜2＋｜Ｗｃ・Ｘ−Ｙｃ｜2＋γ｜ＣＸ｜2となる。尚、この評価関数Ｉの拘束項γ｜ＣＸ｜2において、行列Ｃが、事前確率モデルに基づく行列であり、「高解像度画像には高域成分が少ない」という事前知識に基づき、例えば、ラプラシアンフィルタなどのハイパスフィルタによって構成される。又、係数γは、拘束項の評価関数Ｉにおける重みの強さを表すパラメータである。
【０１０８】
このようにして求められた評価関数Ｉに対して勾配法によって最小化を行うため、評価関数Ｉに対する勾配∂Ｉ／∂Ｘ（＝２×｛ＷａＴ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂＴ・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃＴ・（Ｗｃ・Ｘ−Ｙｃ）＋γＣＴ・Ｃ・Ｘ｝）が求められる。この更新量となる勾配∂Ｉ／∂Ｘを求めることで、高解像度更新量算出部４５３において、図３（ｃ）によって示すＳＴＥＰ３３における差分画像ΔＦｘ１が求められることとなる。尚、添え字である「Ｔ」は、転置行列を表す。
【０１０９】
このようにして算出した勾配∂Ｉ／∂Ｘによる更新量が、高解像度更新量算出部４５３より減算部４５４に与えられると、減算部４５４では、図３（ｄ）におけるＳＴＥＰ３４のように、選択部４５２を介して初期高解像度推定部４５１より与えられる初期高解像度画像Ｆｘ１より、勾配∂Ｉ／∂Ｘによる更新量を減算する。この減算部４５４の減算結果により、ｖ画素の画素値それぞれが（Ｘ−∂Ｉ／∂Ｘ）となる高解像度画像Ｆｘ２が得られる。そして、この新たに得られた高解像度画像Ｆｘ２が減算部４５４より出力されて、フレームメモリ４５５に与えられて、一時的に記憶される。
【０１１０】
（２）生成後の高解像画像による処理
上述のように、初期高解像度画像Ｆｘ１を取得して、高解像度画像の更新量を勾配∂Ｉ／∂Ｘし、新たな高解像度画像Ｆｘ２を取得すると、選択部４５２は、フレームメモリ４５５に格納された高解像度画像を選択して高解像度更新量算出部４５３に与える。即ち、ｎ（ｎ≧２の整数）回目の演算処理の場合、フレームメモリ４５５に格納された高解像度画像Ｆｘｎが選択部４５２によって読み出されて、高解像度更新量算出部４５３に与えられる。
【０１１１】
よって、高解像度更新量算出部４５３では、フレームメモリ４５５に格納された高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ（＝Ｗａ・Ｘ）〜Ｆｃｎ（＝Ｗｃ・Ｘ）を推定する。このようにして求められた低解像度推定画像Ｆａｎ〜Ｆｃｎと、入力される低解像実画像Ｆａ〜Ｆｃ及び高解像度画像Ｆｘｎとによって、更新量となる∂Ｉ／∂Ｘ（＝２×｛ＷａＴ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂＴ・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃＴ・（Ｗｃ・Ｘ−Ｙｃ）＋γＣＴ・Ｃ・Ｘ｝）による差分画像ΔＦｘｎが、高解像度更新量算出部４５３で求められる。そして、減算部４５４において、高解像度更新量算出部４５３で求められた差分画像ΔＦｘｎが、選択部４５２を介してフレームメモリ４５５から与えられる高解像度画像Ｆｘｎより減算されて、即ち、Ｘ−∂Ｉ／∂Ｘの演算が行われることで、新たに高解像度画像Ｆｘ（ｎ＋１）が得られる。
【０１１２】
そして、超解像演算部４５において、高解像度更新量算出部４５３による演算処理回数をｎ回に設定している場合は、減算部４５４で新たに得られた高解像度画像Ｆｘ（ｎ＋１）を、減算部４５４から信号処理部４６に出力する。又、超解像演算部４５内において、高解像度更新量算出部４５３による演算処理回数をｎ＋１回以上に設定している場合は、高解像度画像Ｆｘ（ｎ＋１）をフレームメモリ４５５に与えて一時記憶して、ｎ＋１回目の演算処理を行う。
【０１１３】
この超解像演算部４５内における高解像度更新量算出部４５３及び減算部４５４による演算処理の繰り返し回数については、動画撮影や静止画の連続撮影などのように、１フレームの撮影間隔が短い場合は、その回数が少なくなるように設定される。又、連続撮影以外の通常の静止画撮影の場合は、その回数が、動画撮影や静止画の連続撮影の場合よりも多くなるように設定されるものとしても構わない。
【０１１４】
（超解像演算部の第２例）
上述の画像処理部４における超解像演算部４５の第２例について、ＭＡＰ法による超解像演算を行うものを例に挙げて、以下に説明する。図１４は、超解像演算部４５の内部構成を示すブロック図である。
【０１１５】
図１４に示す超解像演算部４５は、図１３に示す超解像演算部４５の構成における選択部４５２、高解像度更新量算出部４５３、減算部４５４、及びフレームメモリ４５５の代わりに、上述の第１例における超解像演算部４５内での高解像度画像の更新処理を２回反復する高解像度画像更新部４５６を備える。この高解像度画像更新部４５６には、ＡＦＥ２からの現フレームとなる低解像度実画像Ｆａと、位置ズレ補正部４４で位置ズレ補正が成された低解像度実画像Ｆｂ，Ｆｃとが与えられるとともに、初期高解像度推定部４５１で推定された高解像度画像Ｆｘ１が与えられる。そして、上述の第１例と同様、ｕ画素による低解像度実画像Ｆａ〜Ｆｃの画素値を、Ｙａ〜Ｙｃとするとともに、ｖ画素による高解像度画像Ｆｘ１の画素値を、Ｘとする。
【０１１６】
本例における超解像演算部４５は、第１例の場合と同様、初期高解像度推定部４５３において、ＡＦＥ２からの低解像度実画像Ｆａと、位置ズレ補正部４４で位置ズレ補正が成された低解像度実画像Ｆｂ，Ｆｃとによって、初期高解像度画像Ｆｘ１が生成される。そして、超高解像度画像更新部４５６に対して、初期高解像度画像Ｆｘ１の画素値Ｘと、低解像度実画像Ｆａ〜Ｆｃそれぞれの画素値Ｙａ〜Ｙｃとが与えられる。
【０１１７】
超高解像度画像更新部４５６では、まず、上述した勾配∂Ｉ／∂Ｘ（＝２×｛ＷａＴ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂＴ・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃＴ・（Ｗｃ・Ｘ−Ｙｃ）＋γＣＴ・Ｃ・Ｘ｝）が求められる。次に、この勾配∂Ｉ／∂Ｘに基づいて、新たな高解像度画像Ｆｘ２の画素値Ｘ１（＝Ｘ−∂Ｉ／∂Ｘ）が求められる。その後、この画素値Ｘ１に対する勾配∂Ｉ／∂Ｘ１（＝２×｛ＷａＴ・（Ｗａ・Ｘ１−Ｙａ）＋ＷｂＴ・（Ｗｂ・Ｘ１−Ｙｂ）＋ＷｃＴ・（Ｗｃ・Ｘ１−Ｙｃ）＋γＣＴ・Ｃ・Ｘ１｝）が求められ、この勾配∂Ｉ／∂Ｘ１を画素値Ｘ１より減算することで、２回の更新動作による高解像度画像Ｆｘ３の画素値Ｘ２（＝Ｘ１−∂Ｉ／∂Ｘ１）が得られる。
【０１１８】
この超高解像度画像更新部４５６は、ＦＩＲ（Finite Impulse Response）フィルタによって構成することができる。超高解像度画像更新部４５６をＦＩＲフィルタによって構成するときのフィルタ係数の算出方法について、図面を参照して、以下に説明する。尚、説明を簡単にするために、超解像演算部４５において、低解像度実画像の２倍となる解像度の高解像度画像が生成されるものとする。又、フレームメモリ４１より選択される２フレーム分の低解像度実画像Ｆｂ，Ｆｃがそれぞれ、現フレームとなる低解像度実画像Ｆａに対して、水平方向又は垂直方向のいずれか一方向において高解像度画像における画素単位での動き量が発生しているものとする。
【０１１９】
更に、高解像度画像より低解像度推定画像を生成するためのＰＳＦ（Point Spread Function）関数（点広がり関数）が、図１５（ａ）のような３×３のぼけフィルタによって与えられるとともに、拘束γ｜ＣＸ｜2が「０」であるものとする。そして、高解像度画像における注目画素を、図１５（ｂ）に示すように、ｘpq（ｐ、ｑは自然数）としたとき、図１５（ａ）に示す３×３の行列によるＰＳＦボケ関数における係数ｋ１１〜ｋ３３がそれぞれ、高解像度画像の３×３の画素ｘ(p-1)(q-1)〜ｘ(p+1)(q+1)に乗算される。
【０１２０】
図１６（ａ）に示すように、低解像度実画像Ｆｂが、低解像度実画像Ｆａに対して、高解像度画像の１画素分だけ水平方向への動き量を備え、又、図１６（ｂ）に示すように、低解像度実画像Ｆｃが、低解像度実画像Ｆａに対して、高解像度画像の１画素分だけ垂直方向への動き量を備える。即ち、図１７（ａ）に示すように、低解像度実画像Ｆａの画素ｙａ11と初期高解像度画像Ｆｘ１の画素ｘ11とが、その中心位置で重なっているとき、図１７（ｂ）に示すように、低解像度実画像Ｆｂの画素ｙｂ11と初期高解像度画像Ｆｘ１の画素ｘ21とが、その中心位置で重なり、又、図１７（ｃ）に示すように、低解像度実画像Ｆｃの画素ｙｃ11と初期高解像度画像Ｆｘ１の画素ｘ12とが、その中心位置で重なる。
【０１２１】
そして、図１７（ａ）に示すように、低解像度実画像Ｆａの画素ｙａpq（ｐ、ｑは自然数）の中心位置が、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)の中心位置に重なる。又、図１７（ｂ）に示すように、低解像度実画像Ｆｂの画素ｙｂpq（ｐ、ｑは自然数）の中心位置が、初期高解像度画像Ｆｘ１の画素ｘ2p(2q-1)の中心位置に重なる。又、図１７（ｃ）に示すように、低解像度実画像Ｆｃの画素ｙｃpq（ｐ、ｑは自然数）の中心位置が、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)2qの中心位置に重なる。
【０１２２】
（１）低解像度推定画像の画素値
低解像度実画像Ｆａ〜Ｆｃの各画素と初期高解像度画像Ｆｘ１の各画素の位置関係が図１７に示される関係となるとき、初期高解像度実画像Ｆｘ１より推定される低解像度推定画像Ｆａ１〜Ｆｃ１それぞれの各画素値Ａpq〜Ｃpq（Ｗａ・Ｘ〜Ｗｃ・Ｘによる画素値）がそれぞれ、以下の（１）〜（３）式で表される。
Ａpq＝k11・x(2p-2)(2q-2)＋k21・x(2p-1)(2q-2)＋k31・x2p(2q-2)
＋k12・x(2p-2)(2q-1)＋k22・x(2p-1)(2q-1)＋k32・x2p(2q-1)
＋ k13・x(2p-2)2q ＋ k23・x(2p-1)2q ＋ k33・x2p2q …（１）
Ｂpq＝k11・x(2p-1)(2q-2)＋k21・x2p(2q-2)＋k31・x(2p+1)(2q-2)
＋k12・x(2p-1)(2q-1)＋k22・x2p(2q-1)＋k32・x(2p+1)(2q-1)
＋ k13・x(2p-1)2q ＋ k23・x2p2q ＋ k33・x(2p+1)2q …（２）
Ｃpq＝k11・x(2p-2)(2q-1)＋k21・x(2p-1)(2q-1)＋k31・x2p(2q-1)
＋ k12・x(2p-2)2q ＋ k22・x(2p-1)2q ＋ k32・x2p2q
＋k13・x(2p-2)(2q+1)＋k23・x(2p-1)(2q+1)＋k33・x2p(2q+1) …（３）
【０１２３】
（２）高解像度画像の各画素位置における勾配
上述のようにして低解像度推定画像Ｆａ１〜Ｆｃ１の画素値が得られると、この低解像度実画像Ｆａ〜Ｆｃの画素値との差によって、初期高解像度画像Ｆｘ１に対する勾配∂Ｉ／∂Ｘが算出される。以下に、高解像度画像の注目画素が画素ｘ(2p-1)(2q-1)、ｘ2p(2q-1)、ｘ(2p-1)2qとなる３つの場合の算出方法それぞれについて、説明する。
【０１２４】
（２−ａ）注目画素が画素ｘ(2p-1)(2q-1)であるとき
図１８（ａ）に示すように、初期高解像度画像Ｆｘ１において、注目画素となる画素ｘ(2p-1)(2q-1)を中心とした３×３の画素ｘ(2p-2)(2q-2)〜ｘ2p2qによる領域Ｒに対してフィルタ処理が施される。よって、その中心位置が領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃ及び低解像度推定画像Ｆａ１〜Ｆｃ１の画素値を用いて、画素ｘ(2p-1)(2q-1)の勾配∂Ｉ／∂Ｘが算出される。
【０１２５】
即ち、図１８（ａ）に示すように、領域Ｒ内において、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)、ｘ(2p-2)(2q-1)、ｘ2p(2q-1)、ｘ(2p-1)(2q-2)、ｘ(2p-1)2qそれぞれに、低解像度実画像Ｆａの画素ｙａpq、低解像度実画像Ｆｂの画素ｙｂ(p-1)q、ｙｂpq、低解像度実画像Ｆｃの画素ｙｃp(q-1)、ｙｃpqそれぞれが、その中心位置に重なるように位置している。よって、低解像度実画像Ｆａ〜Ｆｃにおける画素値ｙａpq、ｙｂ(p-1)q、ｙｂpq、ｙｃp(q-1)、ｙｃpqと、低解像度推定画像Ｆａ１〜Ｆｃ１における画素値Ａpq、Ｂ(p-1)q、Ｂpq、Ｃp(q-1)、Ｃpqと、図１５に示すボケ関数によって、（４）式のように、画素ｘ(2p-1)(2q-1)の勾配∂Ｉ／∂Ｘが算出される。
∂I/∂X(x(2p-1)(2q-1))＝k22・( Ａpq - yapq )/K1
＋k12・(Ｂ(p-1)q-yb(p-1)q)/K1
＋k32・( Ｂpq - ybpq )/K1
＋k21・(Ｃp(q-1)-ycp(q-1))/K1
＋k23・( Ｃpq - ycpq )/K1 …（４）
（K1＝k12+k22+k32+k11+k13+k31+k33)
【０１２６】
（２−ｂ）注目画素が画素ｘ2p(2q-1)であるとき
図１８（ｂ）に示すように、初期高解像度画像Ｆｘ１において、注目画素となる画素ｘ2p(2q-1)を中心とした３×３の画素ｘ(2p-1)(2q-2)〜ｘ(2p+1)2qによる領域Ｒに対してフィルタ処理が施される。よって、その中心位置が領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃ及び低解像度推定画像Ｆａ１〜Ｆｃ１の画素値を用いて、画素ｘ2p(2q-1)の勾配∂Ｉ／∂Ｘが算出される。
【０１２７】
即ち、図１８（ｂ）に示すように、領域Ｒ内において、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)、ｘ(2p+1)(2q-1)、ｘ2p(2q-1)、ｘ(2p-1)(2q-2)、ｘ(2p-1)2q、ｘ(2p+1)(2q-2)、ｘ(2p+1)2qそれぞれに、低解像度実画像Ｆａの画素ｙａpq、ｙａ(p+1)q、低解像度実画像Ｆｂの画素ｙｂpq、低解像度実画像Ｆｃの画素ｙｃp(q-1)、ｙｃpq、ｙｃ(p+1)(q-1)、ｙｃ(p+1)qそれぞれが、その中心位置に重なるように位置している。よって、低解像度実画像Ｆａ〜Ｆｃにおける画素値ｙａpq、ｙａ(p+1)q、ｙｂpq、ｙｃp(q-1)、ｙｃpq、ｙｃ(p+1)(q-1)、ｙｃ(p+1)qと、低解像度推定画像Ｆａ１〜Ｆｃ１における画素値Ａpq、Ａ(p+1)q、Ｂpq、Ｃp(q-1)、Ｃpq、Ｃ(p+1)(q-1)、Ｃ(p+1)qと、図１５に示すボケ関数によって、（５）式のように、画素ｘ2p(2q-1)の勾配∂Ｉ／∂Ｘが算出される。
∂I/∂X(x2p(2q-1))＝k22・( Ｂpq - ybpq )/K2
＋k12・( Ａpq - yapq )/K2
＋k32・(Ａ(p+1)q-ya(p+1)q)/K2
＋k11・(Ｃp(q-1)-ycp(q-1))/K2
＋k13・( Ｃpq - ycpq )/K2
＋k31・(Ｃ(p+1)(q-1)-yc(p+1)(q-1))/K2
＋k33・( Ｃ(p+1)q - yc(p+1)q )/K2 …（５）
（K2＝k12+k22+k32+k11+k13+k31+k33)
【０１２８】
（２−ｃ）注目画素が画素ｘ(2p-1)2qであるとき
図１８（ｃ）に示すように、初期高解像度画像Ｆｘ１において、注目画素となる画素ｘ(2p-1)2qを中心とした３×３の画素ｘ(2p-2)(2q-1)〜ｘ2p(2q+1)による領域Ｒに対してフィルタ処理が施される。よって、その中心位置が領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃ及び低解像度推定画像Ｆａ１〜Ｆｃ１の画素値を用いて、画素ｘ(2p-1)2qの勾配∂Ｉ／∂Ｘが算出される。
【０１２９】
即ち、図１８（ｃ）に示すように、領域Ｒ内において、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)、ｘ(2p-1)(2q+1)、ｘ(2p-2)(2q-1)、ｘ2p(2q-1)、ｘ(2p-2)(2q+1)、ｘ2p(2q+1)、ｘ(2p+1)2qそれぞれに、低解像度実画像Ｆａの画素ｙａpq、ｙａp(q+1)、低解像度実画像Ｆｂの画素ｙｂ(p-1)q、ｙｂpq、ｙｂ(p-1)(q+1)、ｙｂp(q+1)、低解像度実画像Ｆｃの画素ｙｃpqそれぞれが、その中心位置に重なるように位置している。よって、低解像度実画像Ｆａ〜Ｆｃにおける画素値ｙａpq、ｙａp(q+1)、ｙｂ(p-1)q、ｙｂpq、ｙｂ(p-1)(q+1)、ｙｂp(q+1)、ｙｃpqと、低解像度推定画像Ｆａ１〜Ｆｃ１における画素値Ａpq、Ａp(q+1)、Ｂ(p-1)q、Ｂpq、Ｂ(p-1)(q+1)、Ｂp(q+1)、Ｃpqと、図１５に示すボケ関数によって、（６）式のように、画素ｘ2p(2q-1)の勾配∂Ｉ／∂Ｘが算出される。
∂I/∂X(x(2p-1)2q)＝k22・( Ｃpq - ycpq )/K3
＋k21・( Ａpq - yapq )/K3
＋k23・(Ａp(q+1)-yap(q+1))/K3
＋k11・(Ｂ(p-1)q-yb(p-1)q)/K3
＋k31・( Ｂpq - ybpq )/K3
＋k13・(Ｂ(p-1)(q+1)-yb(p-1)(q+1))/K3
＋k33・( Ｂp(q+1) - ybp(q+1) )/K2 …（６）
（K2＝k21+k22+k23+k11+k13+k31+k33)
【０１３０】
（３）高解像度画像の各画素位置における更新
上述のようにして、高解像度画像の各画素位置における勾配∂Ｉ／∂Ｘが算出されると、この勾配が初期高解像度画像Ｆｘ１の各画素値から減算されることで、更新された高解像度画像の画素値が算出される。即ち、画素ｘpqにおける画素値が、勾配∂Ｉ／∂Ｘ(ｘpq)によって更新されることで、高解像度画像Ｆｘ２の画素値ｘ１pq（＝ｘpq−∂Ｉ／∂Ｘ(ｘpq)）が算出されることとなる。
【０１３１】
このように、上述の（１）〜（３）の各処理動作を行うことによって、高解像度画像の更新が行われる。よって、２回目の更新時には、上述の（１）〜（３）式によって低解像度推定画像Ｆａ２〜Ｆｃ２の画素値を求める際、更新後の高解像度画像Ｆｘ２の画素値が代入される。即ち、低解像度推定画像Ｆａ２〜Ｆｃ２それぞれの各画素値Ａpq〜Ｃpq（Ｗａ・Ｘ１〜Ｗｃ・Ｘ１による画素値）がそれぞれ、以下の（７）〜（９）式で表される。
Ａpq＝k11・x1(2p-2)(2q-2)＋k21・x1(2p-1)(2q-2)＋k31・x1(2p)(2q-2)
＋k12・x1(2p-2)(2q-1)＋k22・x1(2p-1)(2q-1)＋k32・x1(2p)(2q-1)
＋ k13・x1(2p-2)(2q) ＋ k23・x1(2p-1)(2q) ＋ k33・x1(2p)(2q) …（７）
Ｂpq＝k11・x1(2p-1)(2q-2)＋k21・x1(2p)(2q-2)＋k31・x1(2p+1)(2q-2)
＋k12・x1(2p-1)(2q-1)＋k22・x1(2p)(2q-1)＋k32・x1(2p+1)(2q-1)
＋ k13・x1(2p-1)(2q) ＋ k23・x1(2p)(2q) ＋ k33・x1(2p+1)(2q) …（８）
Ｃpq＝k11・x1(2p-2)(2q-1)＋k21・x1(2p-1)(2q-1)＋k31・x(2p)(2q-1)
＋ k12・x1(2p-2)(2q) ＋ k22・x1(2p-1)(2q) ＋ k32・x1(2p)(2q)
＋k13・x1(2p-2)(2q+1)＋k23・x (2p-1)(2q+1)＋k33・x(2p)(2q+1) …（９）
【０１３２】
このようにして、低解像度推定画像Ｆａ２〜Ｆｃ２それぞれの各画素値を求めると、上述の（４）〜（６）式により、高解像度画像の各画素に対する勾配∂Ｉ／∂Ｘ１を算出した後、この勾配∂Ｉ／∂Ｘ１を高解像度画像Ｆｘ１の画素値から減算することで、２回目の更新処理が行われて、高解像度画像Ｆｘ２が生成される。
【０１３３】
このように、３×３の行列によるＰＳＦボケ関数による演算が行われるとき、１回目の更新処理動作において、初期高解像度画像Ｆｘ１における注目画素１画素に対して、高解像度画像Ｆｘにおける注目画素ｘpqを中心とした３×３画素ｘ(p-1)(q-1)〜ｘ(p+1)(q+1)によって構成される画素領域Ｒ（図１９（ａ）参照）内に位置する低解像度実画像及び低解像度推定画像の画素値が必要となる。
【０１３４】
更に、低解像度推定画像の画素値については、上述したように、初期高解像度画像Ｆｘ１における３×３画素をＰＳＦボケ関数に代入することで得られる。そして、画素領域Ｒにおける注目画素ｘpq以外の画素位置に位置する低解像度推定画像の画素を取得するために、初期高解像度画像Ｆｘ１における３×３画素の画素値を利用する。よって、１回目の更新処理動作において、図１９（ｂ）に示すように、初期高解像度画像Ｆｘ１における５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)が使用されることとなる。
【０１３５】
即ち、初期高解像度画像Ｆｘ１を１回更新するために、初期高解像度画像Ｆｘ１内の注目画素ｘpqに対して、初期高解像度画像Ｆｘ１における５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)の画素値と、初期高解像度画像Ｆｘ１における３×３画素ｘ(p-1)(q-1)〜ｘ(p+1)(q+1)によって構成される画素領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要となる。
【０１３６】
このように更新されて得られた高解像度画像Ｆｘ２を更新する場合は、更新後の画素値を用いた処理となる。即ち、高解像度画像Ｆｘ２内の注目画素ｘ１pqに対して、高解像度画像Ｆｘ２における５×５画素ｘ１(p-2)(q-2)〜ｘ１(p+2)(q+2)の画素値と、高解像度画像Ｆｘ２における３×３画素ｘ１(p-1)(q-1)〜ｘ１(p+1)(q+1)によって構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要となる。
【０１３７】
しかしながら、初期高解像度画像Ｆｘ１から高解像度画像Ｆｘ２に画素値を更新したとき、各画素に対して、初期高解像度画像Ｆｘ１における５×５画素の画素値と、初期高解像度画像Ｆｘ１における３×３画素で構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要とされる。即ち、高解像度画像Ｆｘ２内の注目画素ｘ１pqに対して使用される高解像度画像Ｆｘ２における５×５画素ｘ１(p-2)(q-2)〜ｘ１(p+2)(q+2)それぞれの画素値が、１回目の更新処理において、初期高解像度画像Ｆｘ１における５×５画素の画素値と、初期高解像度画像Ｆｘ１における３×３画素で構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とを用いて、算出されている。
【０１３８】
よって、初期高解像度画像Ｆｘ１を２回更新する場合は、注目画素ｘpqに対して、５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)それぞれにおける更新された画素値を用いて更に更新することとなる。即ち、５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)それぞれを中心として、初期高解像度画像Ｆｘ１における５×５画素の画素値と、初期高解像度画像Ｆｘ１における３×３画素で構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが用いられる。このように、初期高解像度画像Ｆｘ１を２回更新する場合は、図２０に示すように、初期高解像度画像Ｆｘ１内の注目画素ｘpqに対して、初期高解像度画像Ｆｘ１における９×９画素ｘ(p-4)(q-4)〜ｘ(p+4)(q+4)の画素値と、初期高解像度画像Ｆｘ１における７×７画素ｘ(p-3)(q-3)〜ｘ(p+3)(q+3)によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要となる。
【０１３９】
従って、超高解像度画像更新部４５６を構成するＦＩＲフィルタは、初期高解像度画像Ｆｘ１における９×９画素の画素値と、初期高解像度画像Ｆｘ１における７×７画素によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが入力されて、注目画素の画素値を出力するフィルタとして構成される。
【０１４０】
そして、このＦＩＲフィルタの係数については、まず、上述したように、（１）〜（３）式により得られた低解像度推定画像の画素値を（４）〜（６）式に代入して勾配を求める。その後、（４）〜（６）式により得られた勾配により更新した高解像度画像の画素値を（７）〜（９）式に代入し、これにより得られた低解像度推定画像の画素値を（４）〜（６）式に代入して２回目の勾配を求める。そして、（４）〜（６）式により得られた勾配により更新する際の減算式を展開することで、初期高解像度画像Ｆｘ１における９×９画素の画素値に乗算された係数と、初期高解像度画像Ｆｘ１における７×７画素によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とに乗算される係数とを、ＦＩＲフィルタの係数として取得することができる。
【０１４１】
尚、本例において、高解像度更新量算出部４５３において、上述の第１例における超解像演算部４５内で反復される更新動作が２回行われたときの更新量が算出されるものとしたが、上述の第１例における超解像演算部４５内での更新動作が３回以上反復して行われたときの更新量が算出されるものとしても構わない。そして、超解像演算部４５内での更新動作がＨ回反復して行われるとともに、ＰＳＦボケ関数が（２Ｋ＋１）×（２Ｋ＋１）の行列により成るものとする。このとき、高解像度更新量算出部４５３を構成するＦＩＲフィルタは、初期高解像度画像Ｆｘ１における（４Ｈ×Ｋ＋１）×（４Ｈ×Ｋ＋１）画素の画素値と、初期高解像度画像Ｆｘ１における（２（２Ｈ−１）×Ｋ＋１）×（２（２Ｈ−１）×Ｋ−１）画素によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが入力されて、注目画素の画素値を出力する。又、本例において、第１例における超解像演算部４５と同様、選択部４５２及びフレームメモリ４５５を備えた構成として、超解像演算処理が反復されるものとしても構わない。
【０１４２】
尚、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図２１に、本発明における画像処理方法を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。
【０１４３】
図２１に示す表示装置は、図１に示す撮像装置と同様、画像処理部４、伸長処理部８、ディスプレイ部９、音声出力回路部１０、スピーカ部１１、タイミングジェネレータ１２、ＣＰＵ１３、メモリ１４、操作部１５、及び、バス回線１６，１７を備える。そして、外部で受信した放送信号を選局するチューナ部２１と、チューナ部２１で選局した放送信号を復調する復調部２２と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース２３とを、更に備える。
【０１４４】
この図２１の表示装置は、放送信号を受信する場合は、チューナ部２１で所望のチャンネルの放送信号を選局した後、復調部２２で放送信号を復調することで、ＭＰＥＧ圧縮符号方式による圧縮信号となるデジタル信号が得られる。このデジタル信号が伸長処理部８に与えられると、圧縮信号であるデジタル信号に対して、ＭＰＥＧ圧縮符号方式による伸長処理が施される。
【０１４５】
そして、操作部１５によって画像の高解像度化が指示されると、伸長処理部８で伸長処理して得られた画像信号が、画像処理部４に与えられて、上述の低解像度実画像の選択処理や超解像処理が行われることで、高解像度画像が生成される。その後、生成された高解像度画像による画像信号がディスプレイ部９に与えられて、画像再生がなされる。又、伸長処理部８の伸長処理で得られた音声信号が、音声出力回路部１０を通じてスピーカ部１１に与えられることで、音声が再生出力される。
【０１４６】
又、図１の撮像装置又は図２１の表示装置において、画像処理部４で超解像処理が成される画像について、動画像であっても構わないし、静止画像であっても構わない。尚、上述では、動画像となる画像信号が入力されたときの動作を中心に、各処理動作の説明を行っている。
【０１４７】
上述の説明において、超解像処理を行うための低解像度実画像の選択処理について、１次元画像の場合を説明したが、以下において、２次元画像に対する、超解像処理を行うための低解像度実画像の選択処理の実施例について、以下に説明する。尚、以下の各実施例では、説明を簡単にするため、解像度を２倍とする際の超解像処理における動作について説明する。即ち、以下の各実施例では、イメージセンサ１から取得される２次元画像となる画像信号に対して超解像処理を行う際に、画像処理部４で超解像処理を行うための低解像度実画像の選択処理動作の実施例を説明する。
【実施例１】
【０１４８】
本実施例における低解像度実画像の選択処理動作について、図２２を参照して説明する。図２２は、注目フレームを含む複数フレームの低解像度実画像の位置ズレ補正後の画素位置の関係を示す図である。又、本実施例では、注目フレームを含む３フレームの低解像度実画像より、注目フレームを含む２フレームの低解像度実画像が選択される場合を説明する。そして、注目フレームの低解像度実画像をＦ１、他の２フレームの低解像度実画像をＦ２，Ｆ３とし、図２２において、黒塗りの丸による点を低解像度実画像Ｆ１における画素位置を、黒塗りの三角による点を低解像度実画像Ｆ２における画素位置を、黒塗りの四角による点を低解像度実画像Ｆ３における画素位置を、それぞれ表す。
【０１４９】
まず、図２２に示すように、低解像度実画像Ｆ２，Ｆ３を選択するための基準位置を、注目フレームＦ１の低解像度実画像における隣接する４画素の中心位置Ｏ（図２２において、白抜きの丸で示す）とする。又、図２２では、その画素位置と中心位置Ｏとの距離が、低解像度実画像Ｆ２では距離ｄ２となり、低解像度実画像Ｆ３では距離ｄ３（ｄ３＞ｄ２）となる。尚、図２２では、点線で示す中心位置Ｏを中心とする円によって、中心位置Ｏからの距離がｄ２となる位置を示す。
【０１５０】
そして、選択の基準となる中心位置Ｏに画素位置が近くなる低解像度実画像が、超解像処理に使用される低解像度実画像として選択される。即ち、低解像度実画像Ｆ２における画素位置の中心位置Ｏとの距離ｄ２が、低解像度実画像Ｆ３における画素位置の中心位置Ｏとの距離ｄ３より短いため、低解像度実画像Ｆ２が、超解像処理に適した低解像度実画像として選択される。よって、注目フレームとなる低解像度実画像Ｆ１と、選択された低解像度実画像Ｆ２とによって、超解像処理が成されることで、高解像度画像が取得される。
【実施例２】
【０１５１】
本実施例における低解像度実画像の選択処理動作について、図２３を参照して説明する。図２３は、図２２と同様、注目フレームを含む複数フレームの低解像度実画像の位置ズレ補正後の画素位置の関係を示す図である。又、本実施例においても、実施例１と同様、注目フレームを含む３フレームの低解像度実画像Ｆ１〜Ｆ３より、注目フレームを含む２フレームの低解像度実画像が選択される場合を説明する。尚、図２３においても、低解像度実画像Ｆ１〜Ｆ３それぞれの画素位置について、図２２と同様の形式で表す。
【０１５２】
本実施例では、実施例１の場合と異なり、低解像度実画像Ｆ２，Ｆ３それぞれにおいて、その画素位置が、選択の基準となる中心位置Ｏから等しい距離ｄだけ離れた位置となる。そして、低解像度実画像Ｆ２の画素位置が、中心位置Ｏに対して、水平方向にｄｘ２、垂直方向にｄｙ２だけ離れた位置に位置するとともに、低解像度実画像Ｆ３の画素位置が、中心位置Ｏに対して、水平方向にｄｘ３（｜ｄｘ２｜＜｜ｄｘ３｜）、垂直方向にｄｙ３（｜ｄｙ２｜＞｜ｄｙ３｜）だけ離れた位置に位置するものとする。尚、距離ｄが、ｄ＝（（ｄｘ２）2＋（ｄｙ２）2）1/2＝（（ｄｘ３）2＋（ｄｙ３）2）1/2となる。
【０１５３】
このように、低解像度実画像Ｆ２，Ｆ３それぞれの画素位置と中心位置Ｏとの距離がｄとなって等しいため、中心位置Ｏとの距離に基づいて選択した場合、低解像度実画像Ｆ２，Ｆ３のいずれも選択可能となる。よって、低解像度実画像Ｆ２，Ｆ３のいずれか選択するために、本実施例では更に、中心位置Ｏとの水平方向の距離が短くなる低解像度実画像が選択される。即ち、図２３の例では、低解像度実画像Ｆ２の画素位置と中心位置Ｏとの間における水平方向の距離｜ｄｘ２｜が、低解像度実画像Ｆ３の画素位置と中心位置Ｏとの間における水平方向の距離｜ｄｘ３｜よりも短いため、超解像処理に使用される低解像度実画像として、低解像度実画像Ｆ２が選択される。
【０１５４】
このように、本実施例においては、中心位置Ｏのような基準位置と画素位置との距離が等しくなる低解像度実画像が複数ある場合、基準位置と画素位置との水平方向における距離が短い低解像度実画像を選択する。これにより、垂直方向に視認性が高いという視覚特性に対して、水平方向の解像度を高める低解像度実画像を選択して、超解像処理を行うことができる。
【実施例３】
【０１５５】
本実施例における低解像度実画像の選択処理動作について、図２４を参照して説明する。図２４は、図２２と同様、注目フレームを含む複数フレームの低解像度実画像の位置ズレ補正後の画素位置の関係を示す図である。又、本実施例においても、実施例１と同様、注目フレームを含む３フレームの低解像度実画像Ｆ１〜Ｆ３より、注目フレームを含む２フレームの低解像度実画像が選択される場合を説明する。尚、図２４においても、低解像度実画像Ｆ１〜Ｆ３それぞれの画素位置について、図２２と同様の形式で表す。
【０１５６】
本実施例では、実施例２の場合と同様、低解像度実画像Ｆ２，Ｆ３それぞれにおいて、その画素位置が、選択の基準となる中心位置Ｏから等しい距離ｄだけ離れた位置となる。又、時間軸上において、低解像度実画像Ｆ１〜Ｆ３が、Ｆ１，Ｆ２，Ｆ３の順に取得されるとともに、低解像度実画像のＦ１，Ｆ２それぞれの画素位置間の距離（低解像度実画像Ｆ１，Ｆ２間の動き量）ｄ４が、低解像度実画像のＦ２，Ｆ３それぞれの画素位置間の距離（低解像度実画像Ｆ２，Ｆ３間の動き量）ｄ５よりも長いものとする。
【０１５７】
このように、本実施例においても、実施例２と同様、低解像度実画像Ｆ２，Ｆ３それぞれの画素位置と中心位置Ｏとの距離がｄとなって等しいため、中心位置Ｏとの距離に基づいて選択した場合、低解像度実画像Ｆ２，Ｆ３のいずれも選択可能となる。よって、低解像度実画像Ｆ２，Ｆ３のいずれか選択するために、本実施例では更に、フレーム間の動き量を比較し、その動き量が小さいフレームを選択する。即ち、図２４の例では、低解像度実画像のＦ２，Ｆ３それぞれの画素位置間の距離ｄ５が、低解像度実画像のＦ１，Ｆ２それぞれの画素位置間の距離ｄ４よりも短いため、超解像処理に使用される低解像度実画像として、低解像度実画像Ｆ３が選択される。
【０１５８】
このように、本実施例においては、中心位置Ｏのような基準位置と画素位置との距離が等しくなる低解像度実画像が複数ある場合、時間的に連続する低解像度実画像間の動き量が小さくなる低解像度実画像を選択する。即ち、前のフレームとなる低解像度実画像との動き量が小さい低解像度実画像を選択することで、動き量による影響の少ない低解像度実画像を選択して、超解像処理を行うことができる。
【０１５９】
尚、基準位置と画素位置との距離が等しくなる低解像度実画像が複数ある場合においても、超解像処理に使用する低解像度実画像が選択できる条件として、上述の実施例２及び実施例３における条件を挙げたが、これらの条件について選択できるものとしても構わない。
【０１６０】
又、高解像度化する際において、垂直方向と水平方向とで拡大率が異なる場合、その拡大率が高い（補間画素数が多い）方向に対して、基準位置と画素位置との距離が短くなる低解像度実画像を、超解像処理に適した低解像度実画像として選択しても構わない。即ち、水平方向の拡大率がｍ倍であり、垂直方向の拡大率がｎ（ｍ＞ｎ）倍となるとき、拡大率が水平方向の方が大きいため、図２３のような関係にある場合、水平方向において、基準位置と画素位置との距離が短くなる低解像度実画像Ｆ２を選択する。
【産業上の利用可能性】
【０１６１】
本発明は、超解像処理による画像の高解像度化を行う画像処理装置を備えた撮像装置や表示装置に適用することができる。
【図面の簡単な説明】
【０１６２】
【図１】は、本発明の画像処理装置となる画像処理部を備えた撮像装置の内部構成を示すブロック図である。
【図２】は、被写体の輝度分布と撮影時間の異なるフレームにおける画像データとの関係を示す図である。
【図３】は、超解像処理におけるフローの概要を説明するための図である。
【図４】は、被写体の輝度分布と撮影時間の異なるフレームにおける画像データとの関係を示す図である。
【図５】は、解像度を２倍とする超解像処理における、低解像度実画像の選択処理について説明するための図である。
【図６】は、解像度を３倍とする超解像処理における、低解像度実画像の選択処理について説明するための図である。
【図７】は、解像度を３倍とする超解像処理における、低解像度実画像の選択処理における基準との関係例を示す図である。
【図８】は、代表点マッチング法における検出領域の関係を示す図である。
【図９】は、基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図１０】は、１画素以内の動き量検出を行う際の基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図１１】は、１画素以内の動き量検出を行う際の基準画像の代表点及び非基準画像のサンプリング点それぞれの画素値の関係を示す図である。
【図１２】は、図１に示す撮像装置における画像処理部の内部構成を示すブロック図である。
【図１３】は、図１２に示す画像処理部における超解像演算部の内部構成の第１例を示すブロック図である。
【図１４】は、図１２に示す画像処理部における超解像演算部の内部構成の第２例を示すブロック図である。
【図１５】は、ＰＳＦボケ関数の係数と高解像度画像の画素位置との関係を示す図である。
【図１６】は、低解像度実画像Ｆｂ，Ｆｃそれぞれと、現フレームとなる低解像度実画像Ｆａとの位置関係を示す図である。
【図１７】は、低解像度実画像Ｆａ〜Ｆｃそれぞれと、初期高解像度画像Ｆｘ１との位置関係を示す図である。
【図１８】は、初期高解像度画像Ｆｘ１に対して勾配を算出する際の注目画素に対して使用される画素値を示す図である。
【図１９】は、１回目の更新処理動作で利用される高解像度画像における画素範囲を示す図である。
【図２０】は、２回の更新処理動作で利用される高解像度画像における画素範囲を示す図である。
【図２１】は、本発明の画像処理装置となる画像処理部を備えた表示装置の内部構成を示すブロック図である。
【図２２】は、実施例１における低解像度画像の選択処理動作を説明するための３フレーム間の関係を示す図である。
【図２３】は、実施例２における低解像度画像の選択処理動作を説明するための３フレーム間の関係を示す図である。
【図２４】は、実施例３における低解像度画像の選択処理動作を説明するための３フレーム間の関係を示す図である。
【符号の説明】
【０１６３】
１ イメージセンサ
２ ＡＦＥ
３ マイク
４ 画像処理部
５ 音声処理部
６ 圧縮処理部
７ ドライバ部
８ 伸長処理部
９ ディスプレイ部
１０ 音声出力回路部
１１ スピーカ部
１２ タイミングジェネレータ
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６，１７ バス回線
２０ 外部メモリ
４１ フレームメモリ
４２ 動き量算出部
４３ 画像評価部
４４ 位置ズレ補正部
４５ 超解像演算部
４６ 信号処理部
【技術分野】
【０００１】
本発明は、高解像度画像を生成する画像処理方法及び画像処理装置に関するもので、特に、複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理方法及び画像処理装置に関する。又、この画像処理装置により生成された高解像度画像を記録又は再生する電子機器に関する。
【背景技術】
【０００２】
近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によりデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が、広く普及されつつある。そして、このような撮像装置や表示装置で処理されるデジタル画像において、異なる時間に撮影された複数のデジタル画像を用いて、その解像度を高解像度に変換する画像処理技術が提案されている。
【０００３】
この高解像度変換方法として、位置ズレのある複数の低解像度画像より１つの高解像度画像を推定する超解像処理が提案されている（非特許文献１参照）。そして、この超解像処理において、生成された高解像度画像を逆変換して、高解像度画像を構築するための元の低解像度画像を推定した後、実際の低解像度画像との比較を行うことで、更に、実際の値に近い高解像度画像を生成する再構成型と呼ばれる方式が提案されている。
【０００４】
この再構成型方式による超解像処理では、まず、複数の低解像度画像より取得される高解像度画像を仮定する（ＳＴＥＰ１）。この仮定した高解像度画像に基づいて、高解像度画像を構築するための複数の低解像度画像それぞれに逆変換して推定する（ＳＴＥＰ２）。そして、逆変換後の低解像度画像と元の低解像度画像とを比較した後（ＳＴＥＰ３）、その比較結果より、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値の差が小さくなるように、高解像度画像を生成する（ＳＴＥＰ４）。そして、変換後の低解像度画像と元の低解像度画像との間における各画素位置での値（以下、「画素値」と呼ぶ）の差が収束するように、ＳＴＥＰ２〜ＳＴＥＰ４の処理を繰り返すことにより、最終的に取得される高解像度画像を実画像に近い画像とすることができる。
【０００５】
この再構成型方式として、ＭＬ（Maximum-Likelihood）法や、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection Onto Convex Set）法や、ＩＢＰ（Iterative Back Projection）法などが、提案されている。ＭＬ法では、高解像度画像から推定した低解像度画像（以下、「低解像度推定画像」と呼ぶ）の画素値と実際の低解像度画像（以下、「低解像度実画像」と呼ぶ）の画素値との二乗誤差を評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献２参照）。即ち、このＭＬ法による超解像処理は、最尤推定の原理に基づく処理方法である。
【０００６】
又、ＭＡＰ法では、低解像度推定画像と低解像度実画像それぞれの画素値の二乗誤差に高解像度画像の確率情報を付加したものを、評価関数とし、この評価関数を最小化する高解像度画像を生成する方法である（非特許文献３，４参照）。即ち、ＭＡＰ法では、低解像度実画像に対する先見情報に基づく事後確率分布における出現確率を最大とするときの高解像度画像を推定することによって、最適な高解像度画像が取得される。
【０００７】
更に、ＰＯＣＳ法では、高解像度画像と低解像度画像のそれぞれの画素値に関する連立方程式を作成し、その連立方程式を逐次的に解くことにより、高解像度画像の画素値の最適値を取得して高解像度画像を生成する方法である（非特許文献５参照）。又、ＩＢＰ法では、撮影位置が異なるが被写体の画素位置に重なりをもつ複数の低解像度画像から高解像度を生成する方法、即ち、反復逆投影法を用いた超解像処理方法である（非特許文献６参照）。
【０００８】
上述のような超解像処理において、高解像度画像を取得するために、時系列に連続した複数の低解像度画像が用いられる。そして、この高解像度画像を取得するのに最適となる低解像度画像を複数の低解像度画像から選択して、超解像処理を行う画像処理方法が提案されている（特許文献１参照）。特許文献１における画像処理方法では、低解像度画像による画像データには、撮像装置などの画像生成装置の動きに関する動き情報が付加されており、この動き情報に基づいて、高解像度画像の生成に適しているか否かが判定される。更に、低解像度画像を構成する各画像フレームにおける画素の動き量が画素値より算出され、この動き量に基づいて、高解像度画像の生成に適しているか否かが判定される。
【特許文献１】特開２００６−４１６０３号公報
【非特許文献１】Sung, C. P. Min, K. P. Moon, G. K. 共著 "Super-resolution image reconstruction: a technical overview", (Signal processing Magazine, IEEE on Volume 26,Issue 3, May 2003, P.21-36)
【非特許文献２】Tom, B.C. Katsaggelos, A.K. 共著 "Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images", (Image Processing, Proceedings, International Conference on Volume 2, Oct 1995, P.23-26)
【非特許文献３】Schultz, R.R. Stevenson, R.L. 共著 "Extraction of high-resolution frames from video sequences" (Image Processing, IEEE Transactions on Volume 5, Issue 6, June 1996, P.996-1011)
【非特許文献４】Hardie R.C. Barnard K.J. Armstrong E.E. 共著 "Joint MAP registration and high-resolution image estimation using a sequence of undersampled images" (Image Processing, IEEE Transactions on Volume 6, Issue 12, Dec. 1997 P.1621-1633)
【非特許文献５】Stark, H. Oskoui, P. 共著 "High resolution image recovery from image-plane arrays, using convex projections" (J. Opt. Soc. Am. A, on vol. 6. P.1715-1726, 1989)
【非特許文献６】Michel, I. Peleg, S. 共著 "Improving Resolution by Image Registration" (CVGIP: Graph Models Image Process, on vol. 53. P.231-239, Mar. 1991)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の画像処理方法においては、高解像度画像を生成するための低解像度画像となる画像フレームを選択する際に、低解像度画像による画像データに付加された動き情報を確認する必要があるため、この画像データに動き情報が付加されていない場合には適用できない。更に、画像間の位置ズレ量に相当する動き量によっては、高解像度画像における補間画素位置付近の画素値が取得可能となる場合も多いが、特許文献１のように動き量の大きさによって選択の可否を設定する場合、このような動き量を有する低解像度画像の画像フレームも非選択となることがある。そのため、高解像度画像を生成するための効率が悪くなることがある。
【００１０】
このような問題を鑑みて、本発明は、高解像度画像を取得するために使用する低解像度画像を選択する際に、選択するための基準位置を設定し、低解像度画像の画素位置と基準位置との相対関係により低解像度画像を選択する画像処理方法及び画像処理装置を提供することを目的とする。又、本発明は、高解像度画像を取得するために使用する低解像度画像を選択する際に、選択するための基準位置を設定し、低解像度画像の画素位置と基準位置との相対関係により低解像度画像を選択する画像処理装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の画像処理装置は、注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化部を備える画像処理装置において、Ｎ（Ｎ＞Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出部と、前記動き量検出部で得られた前記第３低解像度画像における前記動き量を考慮し、Ｎフレームの前記第３低解像度画像から、前記第１低解像度画像の画素位置に基づいて設定された基準位置に対して画素位置がより近いＭフレームの前記第３低解像度画像を、前記第２低解像度画像として選択する画像評価部と、を備え、前記画像評価部によって前記第２低解像度画像とされた前記第３低解像度画像が前記高解像度化部に与えられ、前記高解像度画像が生成されることを特徴とする。
【００１２】
そして、前記基準位置を、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に設定するものとしても構わないし、前記基準位置を、前記高解像度画像における前記第１低解像度画像に対する補間画素となる画素位置に設定するものとしても構わない。又、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に対して画素位置が近い前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００１３】
このような画像処理装置に置いて、前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、その画素位置と前記基準位置との水平方向における距離が短い前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００１４】
又、前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、時間的に隣接した前フレームとの動き量が小さい前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００１５】
更に、前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記超解像ステップで水平方向及び垂直方向それぞれにおける解像度の拡大率が異なるとき、その画素位置と前記基準位置との拡大率が大きい方向における距離が短い前記低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００１６】
このような画像処理装置において、前記画像評価部で前記第２低解像度画像として前記フレームメモリより選択された前記第３低解像度画像それぞれについて、前記動き量検出部で得られた前記動き量に基づいて前記第１低解像度画像を基準としてその画素位置を補正する位置ズレ補正部を備える。
【００１７】
本発明の電子機器は、外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、前記高解像度化機能を実現する画像処理部として、上述のいずれの画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする。
【００１８】
又、本発明の画像処理方法は、注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化ステップを備える画像処理方法において、Ｎ（Ｎ＞Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出ステップと、前記動き量検出ステップより得られた前記第３低解像度画像における前記動き量を考慮し、Ｎフレームの前記第３低解像度画像から、前記第１低解像度画像の画素位置に基づいて設定された基準位置に対して画素位置がより近いＭフレームの前記第３低解像度画像を、前記第２低解像度画像として選択する低解像度画像選択ステップと、を備え、前記高解像度化ステップにおいて、前記低解像度画像選択ステップで前記第２低解像度画像とされた前記第３低解像度画像と前記第１低解像度画像とに基づいて前記高解像度画像を生成することを特徴とする。
【００１９】
このような画像処理方法が、前記低解像度画像選択ステップにおいて、前記基準位置を、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に設定するものとしても構わないし、前記基準位置を、前記高解像度画像における前記第１低解像度画像に対する補間画素となる画素位置に設定するものとしても構わない。そして、前記低解像度画像選択ステップにおいて、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に対して画素位置が近い前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００２０】
又、前記低解像度画像選択ステップにおいて、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、その画素位置と前記基準位置との水平方向における距離が短い前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わないし、時間的に隣接した前フレームとの動き量が小さい前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【００２１】
更に、前記低解像度画像選択ステップにおいて、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記超解像ステップで水平方向及び垂直方向それぞれにおける解像度の拡大率が異なるとき、その画素位置と前記基準位置との拡大率が大きい方向における距離が短い前記第３低解像度画像を、前記第２低解像度画像として選択するものとしても構わない。
【発明の効果】
【００２２】
本発明によると、従来のように、動き量の大きい低解像度画像を非選択するものではなく、基準位置を設定して、その基準位置に画素位置が近い低解像度画像を選択するものとしている。これにより、高解像度画像を生成するために注目フレームとなる低解像度画像以外の低解像度画像を選択する際に、その補間画素位置に近い画素位置となる低解像度画像を選択することができる。よって、超解像処理によって選択した低解像度画像に基づいて生成された高解像度画像が、実際の被写体による画像に近い高解像度画像とすることができ、その信頼性の高い高解像度画像とすることができる。
【発明を実施するための最良の形態】
【００２３】
本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における画像処理方法を行う画像処理装置（以下では、「画像処理部」に相当する）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて、説明する。又、後述するが、同様の画像処理装置を備えるものであれば、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置であっても構わない。
【００２４】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２５】
図１の撮像装置は、被写体のから入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して超解像処理を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ１５に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、ユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。
【００２６】
この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、タイミングジェネレータ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号となる画像信号がデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００２７】
又、この画像処理部４では、操作部１５によってデジタルズームにより、イメージセンサ１より得られた画像信号の高解像度化が求められると、イメージセンサ１からの複数フレーム分の画像信号に基づく超解像処理が施される。更に、この超解像処理が成された画像信号に基づいて、輝度信号及び色差信号が生成される。又、超解像処理が施されるために、後述するが、複数フレームの画像信号の動き量が算出され、その動き量に応じて各フレームの位置合わせが行われる。
【００２８】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００２９】
尚、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ２０に記録されるだけとなり、その基本動作については動画撮影時の動作と同様である。又、この静止画像撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、イメージセンサ１によって撮影されている現時点の画像に対する圧縮信号も外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、イメージセンサ１によって撮影されている現時点の画像がディスプレイ部９に表示され、ユーザが確認することができる。
【００３０】
このように撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、映像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。又、静止画像撮影のときは、操作部１５によるシャッタ動作に基づいて、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、映像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
【００３１】
又、外部メモリ２０に記録された動画又は画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。又、圧縮信号が画像信号のみより成るときは、ディスプレイ部９に画像のみが再生されることとなる。
【００３２】
（超解像処理の基本概念）
次に、上述の撮像装置内の画像処理部４において実行される超解像処理の基本概念について、簡単に説明する。尚、超解像処理の基本概念を説明するにあたって、その説明を簡単にするために、画像データを１次元方向に並んだ複数画素の画素値によるものとするとともに、異なる時間に撮像された２フレームの画像データによる超解像処理が成されるものとする。又、以下の説明における画素値は、輝度値を示す。そして、図２（ａ）に、イメージセンサ１により撮像される被写体の輝度分布を示し、図２（ｂ）〜（ｄ）に、この被写体が異なる時間にイメージセンサ１により撮像された際の画像データ（低解像度実画像）を示す。又、図３に、図２における低解像度実画像により高解像度画像となる画像データを生成する際のフローチャートを示す。更に、図３では、各フローにおける信号の変遷を模式的に示す。
【００３３】
図２（ａ）に示す輝度分布の被写体に対して、時間Ｔ１にイメージセンサ１によって撮像されたときの第１フレームのサンプル点がＳ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳであり、時間Ｔ２（Ｔ１≠Ｔ２）にイメージセンサ１によって撮像されたときの第２フレームのサンプル点がＳ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳであるものとする。又、このとき、第１フレームのサンプル点Ｓ１と第２フレームのサンプル点Ｓ２は、手ブレなどが原因となり、その位置にズレが生じているものとする。
【００３４】
そして、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳは、被写体上のサンプル点を示し、図２（ｂ）に示す第１フレームとなる低解像度実画像Ｆａでは、このサンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３となる。又、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳは、被写体上のサンプル点を示し、図２（ｃ）に示す第２フレームとなる低解像度実画像Ｆｂでは、このサンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳで撮像された輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３となる。
【００３５】
これにより、第１フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３が図２（ｂ）のような関係となり、又、第２フレームとなる低解像度実画像Ｆｂの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３が図２（ｃ）のような関係となる。このように、図２（ｂ）による低解像度実画像Ｆａ及び図２（ｃ）による低解像度実画像Ｆｂそれぞれは、図中の被写体の位置を基準にすると、画素位置が（Ｓ１−Ｓ２）だけずれた状態の画像となる。そして、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）分だけ位置ズレ補正した場合）、低解像度実画像Ｆｂが図２（ｄ）のように表される。
【００３６】
そして、図３（ａ）に示すように、位置ズレを補正した図２（ｂ）及び図２（ｄ）のような低解像度実画像Ｆａ，Ｆｂを組み合わせることで、高解像度画像Ｆｘ１を推定する（ＳＴＥＰ３１）。このとき、以下の説明を簡単にするために、例えば、解像度を１次元方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素として、低解像度実画像Ｆａ，Ｆｂの画素Ｐ１，Ｐ２，Ｐ３に加えて更に、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５とが設定されるものとする。
【００３７】
低解像度実画像Ｆａが基準である注目フレームとされると、画素Ｐ１，Ｐ２，Ｐ３での画素値が、低解像度実画像Ｆａにおける画素値ｐａ１，ｐａ２，ｐａ３とされる。又、画素Ｐ４については、画素Ｐ４との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ１の画素位置からの距離の方が近いことより、画素値ｐｂ１とされるものとする。同様に、画素Ｐ５については、画素Ｐ５との画素位置（画素の中心位置）の距離が、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置からの距離よりも低解像度実画像Ｆｂにおける画素Ｐ２の画素位置からの距離の方が近いことより、画素値ｐｂ２とされるものとする。このように、画素Ｐ１〜Ｐ５の画素値をｐａ１，ｐａ２，ｐａ３，ｐｂ１，ｐｂ２と設定して得られた高解像度画像を、高解像度画像Ｆｘ１として推定されるものとしても構わない。
【００３８】
その後、ＳＴＥＰ３１で得られた高解像度画像Ｆｘ１に対して、ダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、図３（ｂ）のように、低解像度実画像Ｆａ，Ｆｂそれぞれに対する推定画像となる低解像度推定画像Ｆａ１，Ｆｂ１を生成する（ＳＴＥＰ３２）。尚、図３（ｂ）では、ｎ回目の処理によって推定された低解像度推定画像、即ち、高解像度画像Ｆｘｎより推定された低解像度実画像Ｆａ，Ｆｂに相当する低解像度推定画像Ｆａｎ，Ｆｂｎを示す。
【００３９】
即ち、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。
【００４０】
そして、図３（ｃ）に示すように、このようにして得られた低解像度推定画像Ｆａ１，Ｆｂ１それぞれと、低解像度実画像Ｆａ，Ｆｂそれぞれとの間における差分を求め、この差分を合成することで、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する（ＳＴＥＰ３３）。尚、図３（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎ、即ち、低解像度推定画像Ｆａｎ，Ｆｂｎと低解像度実画像Ｆａ，Ｆｂとによる差分画像ΔＦａｎ、ΔＦｂｎを合成することで得られた差分画像ΔＦｘｎを示す。
【００４１】
この図３（ｃ）の処理によって、低解像度推定画像Ｆａ１と低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）による差分画像ΔＦａ１、低解像度推定画像Ｆａ２と低解像度実画像Ｆｂにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）による差分画像ΔＦｂ１をそれぞれ求める。即ち、差分画像ΔＦａ１では、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）が画素値となり、差分画像ΔＦｂ１では、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）が画素値となる。
【００４２】
そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｆ１〜Ｆ５それぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成によって差分画像ΔＦｘ１を取得する際、例えば、ＭＬ法やＭＡＰ法では、二乗誤差を評価関数として用いる。即ち、ＭＬ法やＭＡＰ法の評価関数が、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値となる。よって、この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となるため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。
【００４３】
その後、図３（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、ＳＴＥＰ１で推定された高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図２（ａ）に示す輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される（ＳＴＥＰ３４）。尚、図３（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）、即ち、高解像度推定画像Ｆｘｎより差分画像ΔＦｘｎが減算されて得られた高解像度画像Ｆｘ（ｎ＋１）を示す。
【００４４】
そして、上述のＳＴＥＰ３２〜ＳＴＥＰ３４の処理を繰り返すことによって、ＳＴＥＰ３３で得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が、図２（ａ）に示す輝度分布の被写体に近い画素値に収束される。尚、ｎ回目の処理におけるＳＴＥＰ３２及びＳＴＥＰ３４では、前回（ｎ−１回目）の処理におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ，Ｆｂｎ及び高解像度推定画像Ｆｘ（ｎ＋１）が取得される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束されたとき、前の処理（ｎ−１回目の処理）におけるＳＴＥＰ３４で得られた高解像度画像Ｆｘｎを、目的の高解像度画像として超解像処理を終了する。
【００４５】
上述したフローを基本とする超解像処理として、［背景技術］で挙げたＭＬ法や、ＭＡＰ法や、ＰＯＣＳ法や、ＩＢＰ法などが、画像処理部４で利用される。例えば、ＭＡＰ法が利用される場合、ＳＴＥＰ３３において取得される高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎが、ＭＡＰ法における評価関数を勾配法によって微分した値を画素値とする勾配画像で構成されるものとする。即ち、各画素位置での二乗誤差を画素値とする最小二乗法によって得られた差分画像ΔＦａｎ、ΔＦｂｎを合成した高解像度画像Ｆｘｎの差分画像に、事後確率分布により拘束される高解像度画像Ｆｘｎの高速画像を加えた後、勾配法によって微分を行うことで、ＳＴＥＰ３３における差分画像ΔＦｘｎに相当する勾配画像を取得する。そして、ＳＴＥＰ３４において、この勾配画像による差分画像ΔＦｘｎを高解像度画像Ｆｘｎより減算することで、高解像度画像Ｆｘ（ｎ＋１）を再構築する。
【００４６】
このような超解像処理が行う際に、上述したように、まず、ＳＴＥＰ３１のように、イメージセンサ１で撮影された複数フレームの低解像度実画像から高解像画像を推定することで、最適となる高解像画像の取得が可能となる。そして、このＳＴＥＰ３１の高解像画像の推定を行う際に最適となる低解像度実画像を、注目フレームを含む複数フレームの低解像度実画像より選択する必要がある。この最適な低解像度実画像の選択により、高解像画像の取得速度が高速化できるとともに、フレーム数を制限することで、超解像処理における演算にかかる画像処理部４での負荷を低減することができる。又、選択した複数フレームの低解像度実画像それぞれの間に発生する位置ズレ量となる動き量が検出され、検出された動き量に対する補正が成される。尚、この位置ズレ補正については、後述する。
【００４７】
（低解像度実画像の選択）
以下では、上述の超解像処理において最適とされる低解像度実画像の選択の基本概念について、説明する。尚、低解像度実画像の選択の基本概念を説明するにあたって、その説明を簡単にするために、画像データが１次元方向に並んだ複数画素の画素値によるものとするとともに、撮像時間の異なる４フレームの低解像度実画像から３フレームの低解像度実画像が選択されるものとする。図４に、イメージセンサ１により撮像される被写体の輝度分布と、この被写体を異なる時間にイメージセンサ１により撮像された際の低解像度実画像とを示す。又、図５及び図６に、選択した３フレームの低解像度実画像による超解像処理結果を示す。
【００４８】
図４（ａ）に示すように、時間Ｔ１にイメージセンサ１によって撮像されたときの第１フレームのサンプル点がＳ１、Ｓ１＋ΔＳであり、時間Ｔ２（Ｔ１≠Ｔ２）にイメージセンサ１によって撮像されたときの第２フレームのサンプル点がＳ２、Ｓ２＋ΔＳであり、時間Ｔ３（Ｔ３≠Ｔ２、Ｔ３≠Ｔ１）にイメージセンサ１によって撮像されたときの第３フレームのサンプル点がＳ３、Ｓ３＋ΔＳであり、時間Ｔ４（Ｔ４≠Ｔ３、Ｔ４≠Ｔ２、Ｔ４≠Ｔ１）にイメージセンサ１によって撮像されたときの第４フレームのサンプル点がＳ４、Ｓ４＋ΔＳであるものとする。又、このとき、第１〜第４フレームのサンプル点Ｓ１〜Ｓ４は、手ブレなどが原因となり、その位置にズレが生じているものとする。
【００４９】
これにより、第１フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２における画素値ｐａ１，ｐａ２が図４（ｂ）のような関係となり、又、第２フレームとなる低解像度実画像Ｆｂの画素Ｐ１，Ｐ２における画素値ｐｂ１，ｐｂ２が図４（ｃ）のような関係となり、第３フレームとなる低解像度実画像Ｆｃの画素Ｐ１，Ｐ２における画素値ｐｃ１，ｐｃ２が図４（ｄ）のような関係となり、又、第４フレームとなる低解像度実画像Ｆｄの画素Ｐ１，Ｐ２における画素値ｐｄ１，ｐｄ２が図４（ｅ）のような関係となる。
【００５０】
尚、図４（ｂ）〜（ｅ）による低解像度実画像Ｆａ〜Ｆｄそれぞれは、低解像度実画像Ｆａ〜Ｆｄそれぞれのサンプル点Ｓ１〜Ｓ４，Ｓ１＋ΔＳ〜Ｓ４＋ΔＳに相当する画素Ｐ１，Ｐ２を基準としている。又、このように、図４（ｂ）〜図４（ｅ）のような４フレームの低解像度実画像Ｆａ〜Ｆｄを異なる撮像時間に取得したとき、低解像度実画像Ｆａを注目フレームとして超解像処理が成されるものとする。
【００５１】
（１）２倍の解像度とする場合
１次元方向で、低解像度実画像の２倍の解像度の高解像度画像を取得する場合、低解像度実画像Ｆａ〜Ｆｄそれぞれの画素位置の中間点となる位置（中間位置）を、画素位置として追加設定される。即ち、図５（ｂ）に示すように、高解像度画像Ｆｘでは、画素Ｐ１，Ｐ２に加えて更に、画素Ｐ１，Ｐ２の中間点における画素Ｐｘのように、低解像度実画像における画素間の中間点となる画素が補間画素として追加されて、高解像度画像Ｆｘが２倍の画素数の画像とされる。即ち、補間画素は、高解像度画像を生成する際において、低解像度画像の画素間に補間される画素のことであり、図５の例においては、高解像度画像Ｆｘの画素Ｐｘに相当する。
【００５２】
図５（ｂ）に示す高解像度画像Ｆｘを超解像処理によって取得するとき、まず、図５（ａ）のように、低解像度実画像Ｆａの画素Ｐ１，Ｐ２を基準として、低解像度実画像Ｆａ〜Ｆｄにおける位置ズレを補正し、低解像度実画像Ｆａ〜Ｆｄの位置合わせ（「位置ズレ補正」に相当する）を行う。図５（ａ）のように動き量に基づく位置ズレを補正すると、低解像度実画像Ｆａの画素Ｐ１，Ｐ２に対して、低解像度実画像Ｆｂ〜Ｆｄの画素Ｐ１，Ｐ２の位置が、図４（ｃ）〜図４（ｅ）に示すサンプリング点Ｓ２〜Ｓ４と図４（ａ）に示すサンプリング点Ｓ１との間にできる動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）だけずれることとなる。
【００５３】
即ち、図５（ａ）に示すように、低解像度実画像Ｆａ〜Ｆｄを組み合わせたとき、画素Ｐ１，Ｐ２の画素値が、低解像度実画像Ｆａの画素Ｐ１，Ｐ２の画素値ｐａ１，ｐａ２となる。そして、画素位置が画素Ｐ１，Ｐ２からＳ２−Ｓ１だけずれた画素位置ＰＢ１，ＰＢ２の画素値が、低解像度実画像Ｆｂの画素Ｐ１，Ｐ２の画素値ｐｂ１，ｐｂ２（図４（ｃ）参照）となる。同様に、画素位置が画素Ｐ１，Ｐ２からＳ３−Ｓ１だけずれた画素位置ＰＣ１，ＰＣ２の画素値が、低解像度実画像Ｆｃの画素Ｐ１，Ｐ２の画素値ｐｃ１，ｐｃ２（図４（ｄ）参照）となり、又、画素位置が画素Ｐ１，Ｐ２からＳ４−Ｓ１だけずれた画素位置ＰＤ１，ＰＤ２の画素値が、低解像度実画像Ｆｄの画素Ｐ１，Ｐ２の画素値ｐｄ１，ｐｄ２（図４（ｅ）参照）となる。
【００５４】
この低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量に基づく位置ズレが補正されると、注目フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２との位置関係によって、超解像処理として最適となる２フレームの低解像度実画像が、３フレームの低解像度実画像Ｆｂ〜Ｆｄから選択される。そして、３フレームの低解像度実画像Ｆｂ〜Ｆｄのうち、低解像度実画像Ｆａの各画素間の中間位置（図５（ａ）の場合、画素Ｐｘの画素位置に相当）に近い位置にサンプル点となる画素を備える低解像度実画像が選択される。
【００５５】
即ち、図５（ａ）のように、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と画素間の距離ΔＳとの関係が、｜ΔＳ／２−｜Ｓ２−Ｓ１｜｜＞｜ΔＳ／２−｜Ｓ４−Ｓ１｜｜＞｜ΔＳ／２−｜Ｓ３−Ｓ１｜｜となるとき、低解像度実画像Ｆｂ〜Ｆｄのサンプル点による画素位置が、低解像度実画像Ｆａの各画素間の中間位置に対して、Ｆｃ，Ｆｄ，Ｆｂの順に近いものとなる。尚、図５（ａ）中では、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と中間位置までの距離ΔＳ／２との大小関係が、（Ｓ２−Ｓ１）＜（Ｓ３−Ｓ１）＜ΔＳ／２＜（Ｓ４−Ｓ１）となるものとする。
【００５６】
これにより、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量の関係に基づいて、低解像度実画像Ｆｂ〜Ｆｄそれぞれが、Ｆｃ，Ｆｄ，Ｆｂの順に、超解像処理に適しているものと判断される。よって、注目フレームとなる低解像度実画像Ｆａを含む３フレームの低解像度実画像が選択されるため、低解像度実画像Ｆａ，Ｆｃ，Ｆｄが選択される。そして、選択された低解像度実画像Ｆａ，Ｆｃ，Ｆｄに基づいて上述の超解像処理が成されることにより、図５（ｂ）のような高解像度画像Ｆｘが得られる。
【００５７】
尚、上述では説明を簡単にするために、低解像度実画像Ｆａ〜Ｆｄの位置ズレ補正（「位置合わせ」と同意）後の関係によって低解像度実画像の選択が行われるものとした。しかしながら、低解像度実画像Ｆａ〜Ｆｄそれぞれのサンプル点により得られる動き量に基づいて、注目フレームとなる低解像度実画像Ｆａの各画素間の中間位置と距離を算出し、算出した距離が短いもの低解像度実画像から選択するものとしても構わない。
【００５８】
このように、解像度を２倍とする場合、注目フレームとなる低解像度画像を基準として、複数の低解像度画像の位置ズレ補正をしたときに、注目フレームとなる低解像度画像における各画素間の中間位置、即ち、補間画素位置に近い位置に画素を備える低解像度画像を選択することで、超解像処理が成される。これにより、高解像度画像を取得する際の補間画素位置に近い画素位置における実画像の画素値を取得できるため、補間画素の画素値に近い値に基づいて補間画素の画素値が取得され、実際の被写体の輝度値に近い値とすることができる。
【００５９】
更に、解像度を２倍とする場合、上述の例では、４フレームの低解像度実画像から注目フレームを含む３フレームの低解像度実画像を選択するものとしたが、ｎ（ｎは、３以上の整数）フレームの低解像度実画像から注目フレームを含むｍ（ｍは、２以上ｎ−１以下の整数）フレームの低解像度実画像を選択するものとであれば、そのフレーム数を限定するものではない。尚、画像処理部４での演算処理における負荷を軽減するために、選択対象となるｎフレームの低解像度実画像、及び、選択されるｍフレームの低解像度実画像それぞれのフレーム数を少なくすることが望ましい。
【００６０】
（２）３倍の解像度とする場合
１次元方向で、低解像度実画像の３倍の解像度の高解像度画像を取得する場合、低解像度実画像Ｆａ〜Ｆｄそれぞれの画素位置の間を三等分する位置を、画素位置として追加設定される。即ち、図６（ｂ）に示すように、高解像度画像Ｆｙ，Ｆｚでは、画素Ｐ１，Ｐ２に加えて更に、画素Ｐ１，Ｐ２を三等分する位置における画素Ｐｘ１，Ｐｘ２のように、低解像度実画像における画素間を三等分する位置となる画素が補間画素として追加されて、高解像度画像Ｆｙが３倍の画素数の画像とされる。
【００６１】
図６（ｂ）に示す高解像度画像Ｆｙを超解像処理によって取得するとき、解像度を２倍とするときと同様、まず、図６（ａ）のように、低解像度実画像Ｆａの画素Ｐ１，Ｐ２を基準として、低解像度実画像Ｆａ〜Ｆｄにおける動き量に基づく位置ズレを補正し、低解像度実画像Ｆａ〜Ｆｄの位置合わせを行う。尚、この位置合わせ（位置ズレ補正）は、解像度を２倍としたときの図５（ａ）と同様であり、注目フレームの低解像度実画像Ｆａとの位置ズレ量（動き量）が同じ値となる。
【００６２】
図６（ａ）のように、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの位置ズレが補正されると、注目フレームとなる低解像度実画像Ｆａの画素Ｐ１，Ｐ２との位置関係によって、超解像処理として最適となる低解像度実画像が、３フレームの低解像度実画像Ｆｂ〜Ｆｄから選択される。このとき、選択するフレーム数によって、その選択する際の基準となる画素位置が異なる。即ち、上述の解像度を２倍とする場合の例では、低解像度実画像における画素間の中間位置と補間画素位置とが同一の位置であったため、判定の基準を、低解像度実画像における画素間の中間位置ともなる補間画素位置としたが、解像度を３倍とする場合は、低解像度実画像における画素間の中間位置と補間画素位置とが異なる。よって、（１−ａ）注目フレームとなる低解像度実画像Ｆａの各画素間の中間位置を判定の基準とする場合と、（１−ｂ）高解像度画像における補間画素位置を判定の基準とする場合とが、選択する低解像度実画像のフレーム数によって決定される。
【００６３】
（１−ａ）注目フレームの各画素間の中間位置を基準とする例
本例におけるフレーム選択用の基準は、例えば、注目フレームとなる低解像度実画像Ｆａ以外に、別の１フレームの低解像度実画像が、３フレームの低解像度実画像Ｆｂ〜Ｆｄから選択されるように、超解像処理として最適となる低解像度実画像として選択するフレーム数が、低解像度実画像における画素間に配置される補間画素数（本例のように、解像度を３倍とする場合は補間画素が、低解像度実画像における画素間に２画素ずつ補間されるため、補間画素数は２となる）よりも少ないときに主に使用されることが好ましい。
【００６４】
このように、注目フレームとなる低解像度実画像Ｆａの各画素間の中間位置を基準として、超解像処理において最適な低解像度画像を選択するとき、解像度を２倍にするときと同様、そのサンプル点が低解像度実画像Ｆａの各画素間の中間位置に近い低解像度実画像が選択されることとなる。即ち、例えば、注目フレームとなる低解像度実画像Ｆａ以外に、３フレームの低解像度実画像Ｆｂ〜Ｆｄから１フレームを選択する場合、上述したように、低解像度実画像Ｆｂ〜Ｆｄのサンプル点による画素位置が、低解像度実画像Ｆａの各画素間の中間位置に対して、Ｆｃ，Ｆｄ，Ｆｂの順に近いため（図５（ａ）及び図６（ａ）参照）、低解像度実画像Ｆｃが選択される。よって、低解像度実画像Ｆａ，Ｆｃによって、上述の超解像処理が行われて、図６（ｂ）のような高解像度画像Ｆｙが得られる。
【００６５】
尚、本例のように基準を設定するとき、超解像処理として最適となる低解像度実画像の選択するフレーム数が多い場合でも、その選択動作に対する演算処理の負荷を低減する場合にも有効である。よって、注目フレームとなる低解像度実画像Ｆａ以外に、３フレームの低解像度実画像Ｆｂ〜Ｆｄから２フレームを選択する場合、上述したように、低解像度実画像Ｆｂ〜Ｆｄのサンプル点による画素位置が、低解像度実画像Ｆａの各画素間の中間位置に対して、Ｆｃ，Ｆｄ，Ｆｂの順に近いため（図５（ａ）及び図６（ａ）参照）、低解像度実画像Ｆｃ，Ｆｄが選択される。よって、低解像度実画像Ｆａ，Ｆｃ，Ｆｄによって、上述の超解像処理が行われて、図６（ｃ）のような高解像度画像Ｆｚが得られる。
【００６６】
（１−ｂ）高解像度画像における補間画素位置を判定の基準とする例
本例におけるフレーム選択用の基準は、例えば、注目フレームとなる低解像度実画像Ｆａ以外に、別の２フレームの低解像度実画像が、３フレームの低解像度実画像Ｆｂ〜Ｆｄから選択されるように、超解像処理として最適となる低解像度実画像として選択するフレーム数が、低解像度実画像における画素間に配置される補間画素数（本例のように、解像度を３倍とする場合は補間画素が、低解像度実画像における画素間に２画素ずつ補間されるため、補間画素数は２となる）以上とされるときに使用されることが好ましい。
【００６７】
このように、生成される高解像度画像の補間画素位置を基準として、超解像処理において最適な低解像度画像を選択するとき、そのサンプル点が低解像度実画像Ｆａの各画素間において１／３又は２／３となる位置に近解像度実画像が選択されることとなる。即ち、低解像度実画像Ｆａの各画素との距離がΔＳ／３又は２ΔＳ／３となる位置（図６（ｂ）の高解像度画像Ｆｙ，Ｆｚにおける補間画素Ｐｘ１，Ｐｘ２の画素位置に相当する）を基準とし、この基準に対してそのサンプル点が近くなる低解像度画像から順に選択する。
【００６８】
即ち、図６（ａ）のように、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と画素間の距離ΔＳとの関係が、｜ΔＳ／３−｜Ｓ２−Ｓ１｜｜＝｜ΔＳ／３−｜Ｓ３−Ｓ１｜｜＞｜２ΔＳ／３−｜Ｓ４−Ｓ１｜｜となるとき、低解像度実画像Ｆｂ〜Ｆｄのサンプル点による画素位置が、低解像度実画像Ｆａの各画素との距離がΔＳ／３又は２ΔＳ／３となる位置に対して、低解像度実画像Ｆｄのサンプル点が最も近いものとなる。そして、低解像度実画像Ｆａの各画素との距離がΔＳ／３となる位置に対して、低解像度実画像Ｆｂ，Ｆｃそれぞれのサンプル点が等しい位置となる。
【００６９】
尚、図６（ａ）中では、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と補間画素までの距離ΔＳ／３、２ΔＳ／３との大小関係が、（Ｓ２−Ｓ１）＜ΔＳ／３＜（Ｓ３−Ｓ１）＜（Ｓ４−Ｓ１）＜２ΔＳ／３となるものとする。又、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）と中間位置までの距離ΔＳ／２との大小関係が、（Ｓ２−Ｓ１）＜（Ｓ３−Ｓ１）＜ΔＳ／２となる。即ち、低解像度画像Ｆｂ，Ｆｃについては、低解像度実画像Ｆａの各画素間の中間位置に対して、Ｆｃ，Ｆｂの順に近いものとなる。
【００７０】
これにより、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量の関係に基づいて、まず、高解像度画像における補間画素位置に最も近い位置をサンプル点とする低解像度実画像Ｆｄが、超解像処理に適しているものと判断される。そして、そのサンプル点が補間画素位置に次に近い低解像度実画像が、低解像度実画像Ｆｂ，Ｆｃの２フレームとなるため、この２フレームから１フレームを選択する必要がある。このとき、そのサンプル点が低解像度実画像Ｆａの各画素間の中間位置に近い低解像度実画像Ｆｃが選択される。このようにすることで、低解像度実画像Ｆｃ，Ｆｄが選択され、低解像度実画像Ｆａ，Ｆｃ，Ｆｄによって、上述の超解像処理が行われて、図６（ｃ）のような高解像度画像Ｆｚが得られる。
【００７１】
図６（ａ）の場合と異なる場合についても、図７を参照して以下に説明する。尚、図７は、低解像度実画像Ｆａ〜Ｆｄそれぞれのサンプル点Ｓ１〜Ｓ４の位置関係を示す図である。例えば、図７（ａ）のように、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａとの動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と画素間の距離ΔＳとの関係が、｜ΔＳ／３−｜Ｓ２−Ｓ１｜｜＞｜ΔＳ／３−｜Ｓ３−Ｓ１｜｜＞｜２ΔＳ／３−｜Ｓ４−Ｓ１｜｜となるときは、そのサンプル点と高解像度画像の補間画素との距離によってのみ選択される。即ち、図７（ａ）の場合では、そのサンプル点と高解像度画像の補間画素との距離が、Ｆｄ，Ｆｃ，Ｆｂの順に近くなるため、低解像度実画像Ｆｄ，Ｆｃが選択される。
【００７２】
又、図７（ｂ）のように、｜ΔＳ／３−｜Ｓ３−Ｓ１｜｜＞｜ΔＳ／３−｜Ｓ２−Ｓ１｜｜＞｜２ΔＳ／３−｜Ｓ４−Ｓ１｜｜となるときは、そのサンプル点と高解像度画像の補間画素との距離が、Ｆｄ，Ｆｂ，Ｆｃの順に近くなるため、低解像度実画像Ｆｄ，Ｆｂが選択される。尚、図７（ａ）及び図７（ｂ）において、低解像度実画像Ｆｂ〜Ｆｄそれぞれと低解像度実画像Ｆａと動き量（Ｓ２−Ｓ１）、（Ｓ３−Ｓ１）、（Ｓ４−Ｓ１）と補間画素までの距離ΔＳ／３、２ΔＳ／３との大小関係が、（Ｓ２−Ｓ１）＜ΔＳ／３＜（Ｓ３−Ｓ１）＜ΔＳ／２＜（Ｓ４−Ｓ１）＜２ΔＳ／３となるものとする。
【００７３】
又、図７（ｃ）及び図７（ｄ）のように、｜ΔＳ／３−｜Ｓ２−Ｓ１｜｜＝｜２ΔＳ／３−｜Ｓ３−Ｓ１｜｜＞｜２ΔＳ／３−｜Ｓ４−Ｓ１｜｜となるときは、まず、そのサンプル点と高解像度画像の補間画素との距離が最も近い低解像度実画像Ｆｄが選択される。そして、図７（ｃ）のように、ΔＳ／３＜（Ｓ２−Ｓ１）＜ΔＳ／２＜（Ｓ３−Ｓ１）＜（Ｓ４−Ｓ１）＜２ΔＳ／３となるとき、低解像度実画像Ｆａの画素との距離が２ΔＳ／３となる補間画素（補間画素Ｐｘ２に相当）に近い位置をサンプル点とする低解像度実画像Ｆｄが既に選択されているため、低解像度実画像Ｆａの画素との距離がΔＳ／３となる補間画素（補間画素Ｐｘ１に相当）に近い位置をサンプル点とする低解像度実画像Ｆｂが選択されることとなる。
【００７４】
更に、図７（ｄ）のように、（Ｓ２−Ｓ１）＜ΔＳ／３＜ΔＳ／２＜（Ｓ３−Ｓ１）＜（Ｓ４−Ｓ１）＜２ΔＳ／３となるとき、図７（ｃ）の場合のように、低解像度実画像Ｆａの画素との距離がΔＳ／３となる補間画素（補間画素Ｐｘ１に相当）に近い位置をサンプル点とする低解像度実画像Ｆｂが選択されるものとしても構わないし、図６（ａ）の場合のように、低解像度実画像Ｆａの各画素間の中間位置に近い位置をサンプル点とする低解像度実画像Ｆｃが選択されるものとしても構わない。
【００７５】
又、図７（ｄ）の場合、低解像度実画像Ｆｂ，Ｆｃのいずれを選択するかの基準について、補間画素との距離の長さによって変更するものとしても構わない。即ち、補間画素と低解像度実画像Ｆｂ，Ｆｃのサンプル点との距離が所定値より短い場合は、低解像度実画像Ｆａの画素との距離がΔＳ／３となる補間画素に近い位置をサンプル点とする低解像度実画像Ｆｂを選択する。逆に、補間画素と低解像度実画像Ｆｂ，Ｆｃのサンプル点との距離が所定値より長い場合は、低解像度実画像Ｆａの各画素間の中間位置に近い位置をサンプル点とする低解像度実画像Ｆｃを選択する。
【００７６】
このように、低解像度実画像の３倍の解像度の高解像度画像を取得する場合について説明したが、解像度を４倍以上に設定する場合も同様に、超解像処理に適した低解像度実画像を選択することができる。即ち、選択するフレーム数が少ない場合や選択動作における演算処理を簡単なものとする場合は、注目フレームとなる低解像度実画像の各画素間の中間位置に近い位置を基準とすることで、超解像処理を行うための低解像度実画像の選択が行われる。
【００７７】
又、選択するフレーム数が多くなる場合は、まず、高解像度画像の補間画素位置を基準とすることで選択する。そして、補間画素位置とサンプル点との距離が等しい低解像度実画像が存在する場合は、選択した低解像度実画像のサンプル点との距離を求めるための対象とされていない補間画素位置と、注目フレームとなる低解像度実画像の各画素間の中間位置とサンプル点との距離との関係に基づいて、超解像処理を行うための低解像度実画像の選択が行われる。
【００７８】
（位置ズレ補正）
以下では、位置ズレ補正動作について簡単に説明する。この位置ズレ補正は、低解像度実画像に対して成されるものであり、超解像処理における注目フレームとなる低解像度実画像を基準として行われる。即ち、超解像処理に最適な低解像度実画像として選択した注目フレーム以外の低解像度実画像が、基準となる注目フレームとなる低解像度実画像に対する位置ズレ補正が成される。このとき、連続する２つの低解像度画像毎に動き量を検出した後、検出した動き量の総和を求めることで、注目フレームとなる低解像度実画像との動き量を求める。そして、求めた動き量に基づいて、注目フレーム以外の超解像処理に最適な低解像度画像の位置ズレ補正が成される。
【００７９】
即ち、動き量の検出は、まず、時間的に連続した２フレームの低解像度画像の一方を基準画像とし、他方を非基準画像として検出される。そして、注目フレームから数えてｎフレーム目となる低解像度画像の場合、注目フレームとなる低解像度画像との動き量が、ｎフレームの低解像度画像間における動き量の総和を求めることで検出される。尚、この動き量の検出については、超解像処理に最適な低解像度実画像を選択する際においても利用される。
【００８０】
そして、この動き量の検出において、連続する２フレームの低解像度画像である基準画像と非基準画像との間における動き量が検出されるが、この動き量検出については、例えば、周知の代表点マッチング法によって、画像間における画素単位の動き量が検出され、その後、１画素内における動き量について、画素単位の位置ズレ補正された近隣画素の画素値の関係に基づいて検出されるものとしても構わない。以下に、代表点マッチング法と、１画素内における動き量検出とについて、簡単に説明する。
【００８１】
（１）代表点マッチング法
基準画像及び非基準画像それぞれに対して、例えば、図８に示すように、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、更に、このｐ×ｑ領域の小領域ｅ群（例えば、６×８の小領域ｅ群）を１つの検出領域Ｅとして分割する。そして、基準画像では、各小領域ｅにおいて、図９（ａ）のように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定され、又、非基準画像では、各小領域ｅにおいて、図９（ｂ）のように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。
【００８２】
このように、小領域ｅ及び検出領域Ｅを設定すると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。
【００８３】
このようにして、各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられる累積相関値が最小となるサンプリング点Ｓが検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。
【００８４】
（２）１画素内の動き量検出
上述のように、画素単位による動き量を検出すると、更に、１画素内における動き量が検出される。このとき、例えば、まず、図８に示す小領域ｅ毎に、基準画像の代表点Ｒとなる画素の画素値と、上述の代表点マッチング法によって得られた動き量によって代表点Ｒと相関性の高いサンプリング点Ｓｘとなる画素及び周辺画素それぞれの画素値との関係によって、１画素内における動き量を検出する。
【００８５】
即ち、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａ（図１０（ａ）参照）と、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃ（図１０（ｂ）参照）と、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄ（図１０（ｂ）参照）との関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画素から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。
【００８６】
又、図１１（ａ）のように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとし、図１１（ｂ）のように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、図１０（ａ）及び図１０（ｂ）のような関係より、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。
【００８７】
このようにして、小領域ｅそれぞれにおける１画素内での動き量を求めると、求めた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像と非基準画像との間における動き量を算出することができる。
【００８８】
そして、この動き量検出により、連続する２フレームの低解像度画像間における動き量が検出されると、注目フレームとなる低解像度画像までの複数フレームの低解像度画像間の動き量の総和を算出することで、注目フレームとなる低解像度画像との動き量が検出される。上記の方法による動き量検出によって取得された動き量によって、超解像処理に最適となる低解像度画像の選択を行うことができるとともに、選択した低解像度画像に対して、注目フレームとなる低解像度画像を基準とした位置ズレ補正を行うことができる。尚、動き量検出については、上記の方法を例に挙げて説明したが、画素内における動き量まで検出できるものであれば、他の方法を用いることによって、注目フレームとなる低解像度画像（基準画像）と他の低解像度画像（非基準画像）との動き量を検出するようにしても構わない。
【００８９】
（画像処理部の構成例）
上述のようにして、超解像処理や、低解像度画像の選択処理や、動き量検出及び位置ズレ補正処理を行う画像処理部４の構成例を、図１２に示す。以下に、この図１２のブロック図に示す画像処理部４の構成について、簡単に説明する。
【００９０】
図１２に示す画像処理部４は、ＡＦＥ２でデジタル信号とされた複数フレーム分の低解像度実画像となる画像信号を一時的に記憶するフレームメモリ４１と、ＡＦＥ２より入力される現フレームの低解像度実画像による画像信号とフレームメモリ４１に記憶された現フレームより１フレーム前の低解像度実画像による画像信号とが与えられて動き量を算出する動き量算出部４２と、動き量算出部４２で検出された動き量に基づいてＡＦＥ２からの現フレームの低解像度実画像に対する超解像処理を行うのに最適な低解像度実画像の選択を行う画像評価部４３と、画像評価部４３によって選択が指示された低解像度実画像がフレームメモリ４１から与えられて現フレームの低解像度実画像との位置ズレが補正される位置ズレ補正部４４と、ＡＦＥ２からの現フレームの低解像度実画像と位置ズレ補正部４４で位置ズレが補正された画像評価部４３により選択された低解像度実画像とが与えられて超解像処理を行う超解像演算部４５と、超解像演算部４５で超解像処理が施された高解像度画像による画像信号又はＡＦＥ２から直接与えられた画像信号より輝度信号及び色差信号を生成する信号処理部４６と、を備える。
【００９１】
このように構成される画像処理部４の動作について説明する。操作部１５による高解像度化が要求されていない場合は、ＡＦＥ２でデジタル信号に変換された画像信号が１フレーム毎に信号処理部４６に与えられる。そして、信号処理部４６において、与えられた画像信号から輝度信号及び色差信号を生成し、１フレーム毎、取得された輝度信号及び色差信号を、圧縮処理部６に与えることによって、圧縮処理部６で圧縮符号化される。
【００９２】
又、操作部１５によって高解像度化が要求されると、ＡＦＥ２でデジタル信号に変換された画像信号が１フレーム毎に、フレームメモリ４１、動き量算出部４２、及び、超解像演算部４５に与えられる。そして、画像評価部４３では、指定された解像度と、選択する低解像度実画像のフレーム数とによって、上述したように、選択するための基準を設定する。即ち、超解像処理に適した低解像度実画像を選択するための基準位置を、低解像度実画像の画素位置の中間点となる位置及び高解像度実画像の補間画素位置から決定する。
【００９３】
このようにして、各ブロックの設定が行われると、ＡＦＥ２から与えられる現フレームの低解像度実画像が超解像演算部４５に与えられ、超解像処理を行うための注目フレームとされる。又、動き量算出部４２では、現フレームの低解像度実画像と現フレームの１フレーム前の低解像度実画像との間における動き量が、上述の動き量検出処理によって求められる。そして、この連続した２フレームの低解像度実画像間の動き量は、画像評価部４３に与えられて記憶される。
【００９４】
画像評価部４３では、上述したように、連続した２フレーム毎に求められた低解像度実画像間の動き量を加算することで、フレームメモリ４１内に一時的に記憶された複数フレームの低解像度実画像それぞれにおける、ＡＦＥ２より与えられた現フレームの低解像度実画像との間における動き量を求める。そして、フレームメモリ４１内に一時的に記憶された複数フレームの低解像度実画像全てに対して求められた、現フレームの低解像度実画像との間における動き量に基づいて、超解像処理に適した低解像度実画像を選択する。即ち、超解像演算部４５でＮフレームの低解像度実画像が使用される場合、画像評価部４３では、上述した低解像度実画像の選択処理を行うことで、注目フレームとなる現フレームの低解像度実画像との間における動き量によって、フレームメモリ４１に記憶された低解像度実画像より、Ｎ−１フレームの低解像度実画像を選択する。
【００９５】
このようにして、画像評価部４３での低解像度実画像の選択が成されると、位置ズレ補正部４４に与えるフレームをフレームメモリ４１に通知するとともに、選択したフレームに対して算出した動き量を位置ズレ補正部４４に通知する。よって、フレームメモリ４１では、画像評価部４３より超解像処理のために選択されたことが通知されたフレームの低解像度実画像となる画像信号を、位置ズレ補正部４４に送出する。
【００９６】
そして、フレームメモリ４１では、画像評価部４３によって選択されなかったフレームの低解像度実画像となる画像信号を削除する。尚、選択されなかったフレームの画像信号をフレームメモリ４１より削除するとき、ＡＦＥ２より入力された現フレーム（注目フレームに相当）となる画像信号については、削除の対象から除かれるため、フレームメモリ４１に記憶され、次のフレームにおいて選択の対象となる。このように、選択されなかったフレームの画像信号が削除されるため、次のフレームの画像信号がＡＦＥ２より入力されると、画像評価部４３では、削除されずにフレームメモリ４１に記憶されたままのフレームの画像信号の中から、超解像処理に最適となるフレームの画像信号が選択される。
【００９７】
又、超解像処理に使用するために選択されたフレームの低解像度実画像となる画像信号がフレーム毎に位置ズレ補正部４４に与えられると、与えられたフレームに対する現フレーム（注目フレームに相当）からの動き量も、画像評価部４３より位置ズレ補正部４４に与えられる。そして、位置ズレ補正部４４では、画像評価部４３からの動き量に基づいて、上述の位置ズレ補正動作を行い、その画素位置が、基準となる現フレームの低解像度実画像の画素位置に基づく位置に変更される。そして、位置ズレ補正部４４で位置ズレ補正が成された低解像度実画像の画像信号は、超解像演算部４５に与えられる。
【００９８】
超解像演算部４５では、画像評価部４３で超解像処理用に選択された全てのフレームの低解像度実画像となる画像信号が、位置ズレ補正部４４で位置ズレ補正が成されて与えられるとともに、ＡＦＥ２より、注目フレームとなる現フレームの低解像度実画像となる画像信号が与えられる。そして、ＡＦＥ２及び位置ズレ補正部４４それぞれから与えられた画像信号に対して、上述した超解像処理を施すことによって、元の低解像度実画像から高解像化された高解像度画像が得られる。このようにして得られた高解像度画像による画像信号が信号処理部４６に与えられる。そして、信号処理部４６では、与えられた１フレームの高解像度画像となる画像信号から輝度信号及び色差信号を生成した後、圧縮処理部６に送出する。
【００９９】
尚、本例において、フレームメモリ４１では、超解像処理に選択されなかったフレームの低解像度実画像となる画像信号が削除されるものとしたが、ＡＦＥ２から入力される画像信号のフレームが更新される度に、１フレームずつ、最も古くに記憶された低解像度実画像となる画像信号が削除されるものとしても構わない。
【０１００】
又、ＡＦＥ２に入力されたばかりの現フレームの低解像度実画像を、超解像演算部４５での超解像処理における注目フレームとしたが、フレームメモリ４１に記憶された最も古いフレームの低解像度実画像を、超解像演算部４５での超解像処理における注目フレームとするものとしても構わない。このとき、ＡＦＥ２から入力される画像信号のフレームが更新される度に、フレームメモリ４１では、超解像処理が終了したフレームの低解像度実画像となる画像信号が削除される。
【０１０１】
（超解像演算部の第１例）
更に、このような画像処理部４における超解像演算部４５の第１例について、ＭＡＰ法による超解像演算を行うものを例に挙げて、以下に説明する。図１３は、超解像演算部４５の内部構成を示すブロック図である。又、図１３の構成例では、超解像演算部４５が、フレームメモリ４１より２フレーム分の低解像度実画像が選択されることで、高解像度画像の生成を行うものとする。
【０１０２】
図１３に示す超解像演算部４５は、ＡＦＥ２からの現フレームとなる低解像度実画像及び位置ズレ補正部４４で位置ズレ補正が成された２フレーム分の低解像度実画像が与えられて初期高解像度画像となる高解像度画像を推定する初期高解像度推定部４５１と、初期高解像度推定部４５１で推定されて得られた高解像度画像とフレームメモリ４５５に一時記憶された高解像度画像のいずれか１つを選択して後段に与える選択部４５２と、選択部４５２で選択された高解像度画像と３フレーム分の低解像度実画像とによって高解像画像の更新量を求める高解像度更新量算出部４５３と、選択部４５２で選択された高解像度画像から高解像度更新量算出部４５３で得られた更新量を減算する減算部４５４と、減算部４５４で生成された高解像度画像を記憶するフレームメモリ４５５と、を備える。尚、選択部４５２では、１回目の選択動作において、初期高解像度推定部４５１で推定された初期高解像度画像を選択し、２回目以降の選択動作において、フレームメモリ４５５に一時記憶された高解像度画像を選択する。
【０１０３】
次に、このように構成される超解像演算部４５の動作について、図３を参照して説明する。尚、低解像度実画像を含む低解像度画像の画素数をｕとし、初期高解像度画像を含む高解像度画像の画素数をｖとする。そして、ｕ画素による低解像度実画像Ｆａの各画素値がＹａ＝［ｙａ１，ｙａ２，…，ｙａｕ］となり、ｕ画素による低解像度実画像Ｆｂの各画素値がＹｂ＝［ｙｂ１，ｙｂ２，…，ｙｂｕ］となり、ｕ画素による低解像度実画像Ｆｂの各画素値がＹｃ＝［ｙｃ１，ｙｃ２，…，ｙｃｕ］となる。画像処理部４における超解像処理が行われるとき、ＡＦＥ２より現フレームとなる低解像度実画像Ｆａが初期高解像度推定部４５１に与えられる。このとき、画像評価部４３によってフレームメモリ４１より選択されるとともに位置ズレ補正部４４で位置ズレ補正が成された２フレーム分の低解像度実画像Ｆｂ，Ｆｃも、初期高解像度推定部４５１に与えられる。
【０１０４】
（１）初期高解像画像による処理
これにより、初期高解像度推定部４５１では、図３（ａ）に示すＳＴＥＰ３１のように、動き量算出部４２で得られた動き量に基づいて、３フレームの低解像度実画像Ｆａ〜Ｆｃ間の位置ズレを検出する。そして、低解像度実画像Ｆａ〜Ｆｃの各画素値Ｙａ〜Ｙｃに対して、動き量により確認された位置ズレを利用した補間処理を施すことで、ｖ画素による初期高解像度画像Ｆｘ１を取得する。尚、高解像度画像Ｆｘ１〜Ｆｘｎそれぞれの各画素値を、Ｘ＝［ｘ１，ｘ２，…，ｘｖ］となるものとする。この初期高解像度推定部４５１で初期高解像度画像Ｆｘ１を生成する際、高解像度画像生成用のフィルタの一部にメディアンフィルタなどによるノイズ低減処理を行うフィルタを用いることや、高解像度画像生成用のフィルタのタップ数を広げることで、Ｓ／Ｎ比（信号／ノイズ比）を高くすることが好ましい。
【０１０５】
このようにして初期高解像度推定部４５１から初期高解像度画像Ｆｘ１が出力されると、選択部４５２によって、この初期高解像度画像Ｆｘ１が選択されて、高解像度更新量算出部４５３に与えられる。この高解像度更新量算出部４５３では、動き量算出部４２で得られた動き量が与えられることで、動き量に基づいて、高解像実画像Ｆｘに対する低解像度実画像Ｆａ〜Ｆｃそれぞれの位置ズレや低解像化によるぼけが算出される。この動き量より得られる位置ズレやぼけと、ｖ画素の高解像度画像Ｆｘｎからｕ画素の低解像度実画像Ｆａ〜Ｆｃに相当する低解像度推定画像Ｆａｎ〜Ｆｃｎへのダウンサンプリング量とを含むカメラパラメータ行列Ｗａ〜Ｗｃが求められる。
【０１０６】
そして、選択部４５２を通じて与えられた初期高解像度画像Ｆｘ１に対して、カメラパラメータ行列Ｗａ〜Ｗｃが乗算されることで、図３（ｂ）に示すＳＴＥＰ３２のように、低解像度実画像Ｆａ，Ｆｂ，Ｆｃに擬似的に類似させた低解像度推定画像Ｆａ１（＝Ｗａ・Ｘ），Ｆｂ１（＝Ｗｂ・Ｘ），Ｆｃ１（＝Ｗｃ・Ｘ）が推定される。又、この高解像度更新量算出部４５３は、ＡＦＥ２及び位置ズレ補正部４４からの３フレーム分の低解像度実画像Ｆａ〜Ｆｃが与えられることで、推定した低解像度推定画像Ｆａ１〜Ｆｃ１と低解像度実画像Ｆａ〜Ｆｃとの二乗誤差による差分｜Ｗａ・Ｘ−Ｙａ｜2〜｜Ｗｃ・Ｘ−Ｙｃ｜2が求められる。
【０１０７】
この低解像度推定画像Ｆａ１〜Ｆｃ１と低解像度実画像Ｆａ〜Ｆｃとの差分による評価関数Ｉが、それぞれの差分の加算値に、選択部４５２で選択された高解像度画像によって得られる拘束項が付加された形で求められる。即ち、求められる評価関数Ｉは、｜Ｗｃ・Ｘ−Ｙｃ｜2＋｜Ｗｂ・Ｘ−Ｙｂ｜2＋｜Ｗｃ・Ｘ−Ｙｃ｜2＋γ｜ＣＸ｜2となる。尚、この評価関数Ｉの拘束項γ｜ＣＸ｜2において、行列Ｃが、事前確率モデルに基づく行列であり、「高解像度画像には高域成分が少ない」という事前知識に基づき、例えば、ラプラシアンフィルタなどのハイパスフィルタによって構成される。又、係数γは、拘束項の評価関数Ｉにおける重みの強さを表すパラメータである。
【０１０８】
このようにして求められた評価関数Ｉに対して勾配法によって最小化を行うため、評価関数Ｉに対する勾配∂Ｉ／∂Ｘ（＝２×｛ＷａＴ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂＴ・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃＴ・（Ｗｃ・Ｘ−Ｙｃ）＋γＣＴ・Ｃ・Ｘ｝）が求められる。この更新量となる勾配∂Ｉ／∂Ｘを求めることで、高解像度更新量算出部４５３において、図３（ｃ）によって示すＳＴＥＰ３３における差分画像ΔＦｘ１が求められることとなる。尚、添え字である「Ｔ」は、転置行列を表す。
【０１０９】
このようにして算出した勾配∂Ｉ／∂Ｘによる更新量が、高解像度更新量算出部４５３より減算部４５４に与えられると、減算部４５４では、図３（ｄ）におけるＳＴＥＰ３４のように、選択部４５２を介して初期高解像度推定部４５１より与えられる初期高解像度画像Ｆｘ１より、勾配∂Ｉ／∂Ｘによる更新量を減算する。この減算部４５４の減算結果により、ｖ画素の画素値それぞれが（Ｘ−∂Ｉ／∂Ｘ）となる高解像度画像Ｆｘ２が得られる。そして、この新たに得られた高解像度画像Ｆｘ２が減算部４５４より出力されて、フレームメモリ４５５に与えられて、一時的に記憶される。
【０１１０】
（２）生成後の高解像画像による処理
上述のように、初期高解像度画像Ｆｘ１を取得して、高解像度画像の更新量を勾配∂Ｉ／∂Ｘし、新たな高解像度画像Ｆｘ２を取得すると、選択部４５２は、フレームメモリ４５５に格納された高解像度画像を選択して高解像度更新量算出部４５３に与える。即ち、ｎ（ｎ≧２の整数）回目の演算処理の場合、フレームメモリ４５５に格納された高解像度画像Ｆｘｎが選択部４５２によって読み出されて、高解像度更新量算出部４５３に与えられる。
【０１１１】
よって、高解像度更新量算出部４５３では、フレームメモリ４５５に格納された高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ（＝Ｗａ・Ｘ）〜Ｆｃｎ（＝Ｗｃ・Ｘ）を推定する。このようにして求められた低解像度推定画像Ｆａｎ〜Ｆｃｎと、入力される低解像実画像Ｆａ〜Ｆｃ及び高解像度画像Ｆｘｎとによって、更新量となる∂Ｉ／∂Ｘ（＝２×｛ＷａＴ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂＴ・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃＴ・（Ｗｃ・Ｘ−Ｙｃ）＋γＣＴ・Ｃ・Ｘ｝）による差分画像ΔＦｘｎが、高解像度更新量算出部４５３で求められる。そして、減算部４５４において、高解像度更新量算出部４５３で求められた差分画像ΔＦｘｎが、選択部４５２を介してフレームメモリ４５５から与えられる高解像度画像Ｆｘｎより減算されて、即ち、Ｘ−∂Ｉ／∂Ｘの演算が行われることで、新たに高解像度画像Ｆｘ（ｎ＋１）が得られる。
【０１１２】
そして、超解像演算部４５において、高解像度更新量算出部４５３による演算処理回数をｎ回に設定している場合は、減算部４５４で新たに得られた高解像度画像Ｆｘ（ｎ＋１）を、減算部４５４から信号処理部４６に出力する。又、超解像演算部４５内において、高解像度更新量算出部４５３による演算処理回数をｎ＋１回以上に設定している場合は、高解像度画像Ｆｘ（ｎ＋１）をフレームメモリ４５５に与えて一時記憶して、ｎ＋１回目の演算処理を行う。
【０１１３】
この超解像演算部４５内における高解像度更新量算出部４５３及び減算部４５４による演算処理の繰り返し回数については、動画撮影や静止画の連続撮影などのように、１フレームの撮影間隔が短い場合は、その回数が少なくなるように設定される。又、連続撮影以外の通常の静止画撮影の場合は、その回数が、動画撮影や静止画の連続撮影の場合よりも多くなるように設定されるものとしても構わない。
【０１１４】
（超解像演算部の第２例）
上述の画像処理部４における超解像演算部４５の第２例について、ＭＡＰ法による超解像演算を行うものを例に挙げて、以下に説明する。図１４は、超解像演算部４５の内部構成を示すブロック図である。
【０１１５】
図１４に示す超解像演算部４５は、図１３に示す超解像演算部４５の構成における選択部４５２、高解像度更新量算出部４５３、減算部４５４、及びフレームメモリ４５５の代わりに、上述の第１例における超解像演算部４５内での高解像度画像の更新処理を２回反復する高解像度画像更新部４５６を備える。この高解像度画像更新部４５６には、ＡＦＥ２からの現フレームとなる低解像度実画像Ｆａと、位置ズレ補正部４４で位置ズレ補正が成された低解像度実画像Ｆｂ，Ｆｃとが与えられるとともに、初期高解像度推定部４５１で推定された高解像度画像Ｆｘ１が与えられる。そして、上述の第１例と同様、ｕ画素による低解像度実画像Ｆａ〜Ｆｃの画素値を、Ｙａ〜Ｙｃとするとともに、ｖ画素による高解像度画像Ｆｘ１の画素値を、Ｘとする。
【０１１６】
本例における超解像演算部４５は、第１例の場合と同様、初期高解像度推定部４５３において、ＡＦＥ２からの低解像度実画像Ｆａと、位置ズレ補正部４４で位置ズレ補正が成された低解像度実画像Ｆｂ，Ｆｃとによって、初期高解像度画像Ｆｘ１が生成される。そして、超高解像度画像更新部４５６に対して、初期高解像度画像Ｆｘ１の画素値Ｘと、低解像度実画像Ｆａ〜Ｆｃそれぞれの画素値Ｙａ〜Ｙｃとが与えられる。
【０１１７】
超高解像度画像更新部４５６では、まず、上述した勾配∂Ｉ／∂Ｘ（＝２×｛ＷａＴ・（Ｗａ・Ｘ−Ｙａ）＋ＷｂＴ・（Ｗｂ・Ｘ−Ｙｂ）＋ＷｃＴ・（Ｗｃ・Ｘ−Ｙｃ）＋γＣＴ・Ｃ・Ｘ｝）が求められる。次に、この勾配∂Ｉ／∂Ｘに基づいて、新たな高解像度画像Ｆｘ２の画素値Ｘ１（＝Ｘ−∂Ｉ／∂Ｘ）が求められる。その後、この画素値Ｘ１に対する勾配∂Ｉ／∂Ｘ１（＝２×｛ＷａＴ・（Ｗａ・Ｘ１−Ｙａ）＋ＷｂＴ・（Ｗｂ・Ｘ１−Ｙｂ）＋ＷｃＴ・（Ｗｃ・Ｘ１−Ｙｃ）＋γＣＴ・Ｃ・Ｘ１｝）が求められ、この勾配∂Ｉ／∂Ｘ１を画素値Ｘ１より減算することで、２回の更新動作による高解像度画像Ｆｘ３の画素値Ｘ２（＝Ｘ１−∂Ｉ／∂Ｘ１）が得られる。
【０１１８】
この超高解像度画像更新部４５６は、ＦＩＲ（Finite Impulse Response）フィルタによって構成することができる。超高解像度画像更新部４５６をＦＩＲフィルタによって構成するときのフィルタ係数の算出方法について、図面を参照して、以下に説明する。尚、説明を簡単にするために、超解像演算部４５において、低解像度実画像の２倍となる解像度の高解像度画像が生成されるものとする。又、フレームメモリ４１より選択される２フレーム分の低解像度実画像Ｆｂ，Ｆｃがそれぞれ、現フレームとなる低解像度実画像Ｆａに対して、水平方向又は垂直方向のいずれか一方向において高解像度画像における画素単位での動き量が発生しているものとする。
【０１１９】
更に、高解像度画像より低解像度推定画像を生成するためのＰＳＦ（Point Spread Function）関数（点広がり関数）が、図１５（ａ）のような３×３のぼけフィルタによって与えられるとともに、拘束γ｜ＣＸ｜2が「０」であるものとする。そして、高解像度画像における注目画素を、図１５（ｂ）に示すように、ｘpq（ｐ、ｑは自然数）としたとき、図１５（ａ）に示す３×３の行列によるＰＳＦボケ関数における係数ｋ１１〜ｋ３３がそれぞれ、高解像度画像の３×３の画素ｘ(p-1)(q-1)〜ｘ(p+1)(q+1)に乗算される。
【０１２０】
図１６（ａ）に示すように、低解像度実画像Ｆｂが、低解像度実画像Ｆａに対して、高解像度画像の１画素分だけ水平方向への動き量を備え、又、図１６（ｂ）に示すように、低解像度実画像Ｆｃが、低解像度実画像Ｆａに対して、高解像度画像の１画素分だけ垂直方向への動き量を備える。即ち、図１７（ａ）に示すように、低解像度実画像Ｆａの画素ｙａ11と初期高解像度画像Ｆｘ１の画素ｘ11とが、その中心位置で重なっているとき、図１７（ｂ）に示すように、低解像度実画像Ｆｂの画素ｙｂ11と初期高解像度画像Ｆｘ１の画素ｘ21とが、その中心位置で重なり、又、図１７（ｃ）に示すように、低解像度実画像Ｆｃの画素ｙｃ11と初期高解像度画像Ｆｘ１の画素ｘ12とが、その中心位置で重なる。
【０１２１】
そして、図１７（ａ）に示すように、低解像度実画像Ｆａの画素ｙａpq（ｐ、ｑは自然数）の中心位置が、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)の中心位置に重なる。又、図１７（ｂ）に示すように、低解像度実画像Ｆｂの画素ｙｂpq（ｐ、ｑは自然数）の中心位置が、初期高解像度画像Ｆｘ１の画素ｘ2p(2q-1)の中心位置に重なる。又、図１７（ｃ）に示すように、低解像度実画像Ｆｃの画素ｙｃpq（ｐ、ｑは自然数）の中心位置が、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)2qの中心位置に重なる。
【０１２２】
（１）低解像度推定画像の画素値
低解像度実画像Ｆａ〜Ｆｃの各画素と初期高解像度画像Ｆｘ１の各画素の位置関係が図１７に示される関係となるとき、初期高解像度実画像Ｆｘ１より推定される低解像度推定画像Ｆａ１〜Ｆｃ１それぞれの各画素値Ａpq〜Ｃpq（Ｗａ・Ｘ〜Ｗｃ・Ｘによる画素値）がそれぞれ、以下の（１）〜（３）式で表される。
Ａpq＝k11・x(2p-2)(2q-2)＋k21・x(2p-1)(2q-2)＋k31・x2p(2q-2)
＋k12・x(2p-2)(2q-1)＋k22・x(2p-1)(2q-1)＋k32・x2p(2q-1)
＋ k13・x(2p-2)2q ＋ k23・x(2p-1)2q ＋ k33・x2p2q …（１）
Ｂpq＝k11・x(2p-1)(2q-2)＋k21・x2p(2q-2)＋k31・x(2p+1)(2q-2)
＋k12・x(2p-1)(2q-1)＋k22・x2p(2q-1)＋k32・x(2p+1)(2q-1)
＋ k13・x(2p-1)2q ＋ k23・x2p2q ＋ k33・x(2p+1)2q …（２）
Ｃpq＝k11・x(2p-2)(2q-1)＋k21・x(2p-1)(2q-1)＋k31・x2p(2q-1)
＋ k12・x(2p-2)2q ＋ k22・x(2p-1)2q ＋ k32・x2p2q
＋k13・x(2p-2)(2q+1)＋k23・x(2p-1)(2q+1)＋k33・x2p(2q+1) …（３）
【０１２３】
（２）高解像度画像の各画素位置における勾配
上述のようにして低解像度推定画像Ｆａ１〜Ｆｃ１の画素値が得られると、この低解像度実画像Ｆａ〜Ｆｃの画素値との差によって、初期高解像度画像Ｆｘ１に対する勾配∂Ｉ／∂Ｘが算出される。以下に、高解像度画像の注目画素が画素ｘ(2p-1)(2q-1)、ｘ2p(2q-1)、ｘ(2p-1)2qとなる３つの場合の算出方法それぞれについて、説明する。
【０１２４】
（２−ａ）注目画素が画素ｘ(2p-1)(2q-1)であるとき
図１８（ａ）に示すように、初期高解像度画像Ｆｘ１において、注目画素となる画素ｘ(2p-1)(2q-1)を中心とした３×３の画素ｘ(2p-2)(2q-2)〜ｘ2p2qによる領域Ｒに対してフィルタ処理が施される。よって、その中心位置が領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃ及び低解像度推定画像Ｆａ１〜Ｆｃ１の画素値を用いて、画素ｘ(2p-1)(2q-1)の勾配∂Ｉ／∂Ｘが算出される。
【０１２５】
即ち、図１８（ａ）に示すように、領域Ｒ内において、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)、ｘ(2p-2)(2q-1)、ｘ2p(2q-1)、ｘ(2p-1)(2q-2)、ｘ(2p-1)2qそれぞれに、低解像度実画像Ｆａの画素ｙａpq、低解像度実画像Ｆｂの画素ｙｂ(p-1)q、ｙｂpq、低解像度実画像Ｆｃの画素ｙｃp(q-1)、ｙｃpqそれぞれが、その中心位置に重なるように位置している。よって、低解像度実画像Ｆａ〜Ｆｃにおける画素値ｙａpq、ｙｂ(p-1)q、ｙｂpq、ｙｃp(q-1)、ｙｃpqと、低解像度推定画像Ｆａ１〜Ｆｃ１における画素値Ａpq、Ｂ(p-1)q、Ｂpq、Ｃp(q-1)、Ｃpqと、図１５に示すボケ関数によって、（４）式のように、画素ｘ(2p-1)(2q-1)の勾配∂Ｉ／∂Ｘが算出される。
∂I/∂X(x(2p-1)(2q-1))＝k22・( Ａpq - yapq )/K1
＋k12・(Ｂ(p-1)q-yb(p-1)q)/K1
＋k32・( Ｂpq - ybpq )/K1
＋k21・(Ｃp(q-1)-ycp(q-1))/K1
＋k23・( Ｃpq - ycpq )/K1 …（４）
（K1＝k12+k22+k32+k11+k13+k31+k33)
【０１２６】
（２−ｂ）注目画素が画素ｘ2p(2q-1)であるとき
図１８（ｂ）に示すように、初期高解像度画像Ｆｘ１において、注目画素となる画素ｘ2p(2q-1)を中心とした３×３の画素ｘ(2p-1)(2q-2)〜ｘ(2p+1)2qによる領域Ｒに対してフィルタ処理が施される。よって、その中心位置が領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃ及び低解像度推定画像Ｆａ１〜Ｆｃ１の画素値を用いて、画素ｘ2p(2q-1)の勾配∂Ｉ／∂Ｘが算出される。
【０１２７】
即ち、図１８（ｂ）に示すように、領域Ｒ内において、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)、ｘ(2p+1)(2q-1)、ｘ2p(2q-1)、ｘ(2p-1)(2q-2)、ｘ(2p-1)2q、ｘ(2p+1)(2q-2)、ｘ(2p+1)2qそれぞれに、低解像度実画像Ｆａの画素ｙａpq、ｙａ(p+1)q、低解像度実画像Ｆｂの画素ｙｂpq、低解像度実画像Ｆｃの画素ｙｃp(q-1)、ｙｃpq、ｙｃ(p+1)(q-1)、ｙｃ(p+1)qそれぞれが、その中心位置に重なるように位置している。よって、低解像度実画像Ｆａ〜Ｆｃにおける画素値ｙａpq、ｙａ(p+1)q、ｙｂpq、ｙｃp(q-1)、ｙｃpq、ｙｃ(p+1)(q-1)、ｙｃ(p+1)qと、低解像度推定画像Ｆａ１〜Ｆｃ１における画素値Ａpq、Ａ(p+1)q、Ｂpq、Ｃp(q-1)、Ｃpq、Ｃ(p+1)(q-1)、Ｃ(p+1)qと、図１５に示すボケ関数によって、（５）式のように、画素ｘ2p(2q-1)の勾配∂Ｉ／∂Ｘが算出される。
∂I/∂X(x2p(2q-1))＝k22・( Ｂpq - ybpq )/K2
＋k12・( Ａpq - yapq )/K2
＋k32・(Ａ(p+1)q-ya(p+1)q)/K2
＋k11・(Ｃp(q-1)-ycp(q-1))/K2
＋k13・( Ｃpq - ycpq )/K2
＋k31・(Ｃ(p+1)(q-1)-yc(p+1)(q-1))/K2
＋k33・( Ｃ(p+1)q - yc(p+1)q )/K2 …（５）
（K2＝k12+k22+k32+k11+k13+k31+k33)
【０１２８】
（２−ｃ）注目画素が画素ｘ(2p-1)2qであるとき
図１８（ｃ）に示すように、初期高解像度画像Ｆｘ１において、注目画素となる画素ｘ(2p-1)2qを中心とした３×３の画素ｘ(2p-2)(2q-1)〜ｘ2p(2q+1)による領域Ｒに対してフィルタ処理が施される。よって、その中心位置が領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃ及び低解像度推定画像Ｆａ１〜Ｆｃ１の画素値を用いて、画素ｘ(2p-1)2qの勾配∂Ｉ／∂Ｘが算出される。
【０１２９】
即ち、図１８（ｃ）に示すように、領域Ｒ内において、初期高解像度画像Ｆｘ１の画素ｘ(2p-1)(2q-1)、ｘ(2p-1)(2q+1)、ｘ(2p-2)(2q-1)、ｘ2p(2q-1)、ｘ(2p-2)(2q+1)、ｘ2p(2q+1)、ｘ(2p+1)2qそれぞれに、低解像度実画像Ｆａの画素ｙａpq、ｙａp(q+1)、低解像度実画像Ｆｂの画素ｙｂ(p-1)q、ｙｂpq、ｙｂ(p-1)(q+1)、ｙｂp(q+1)、低解像度実画像Ｆｃの画素ｙｃpqそれぞれが、その中心位置に重なるように位置している。よって、低解像度実画像Ｆａ〜Ｆｃにおける画素値ｙａpq、ｙａp(q+1)、ｙｂ(p-1)q、ｙｂpq、ｙｂ(p-1)(q+1)、ｙｂp(q+1)、ｙｃpqと、低解像度推定画像Ｆａ１〜Ｆｃ１における画素値Ａpq、Ａp(q+1)、Ｂ(p-1)q、Ｂpq、Ｂ(p-1)(q+1)、Ｂp(q+1)、Ｃpqと、図１５に示すボケ関数によって、（６）式のように、画素ｘ2p(2q-1)の勾配∂Ｉ／∂Ｘが算出される。
∂I/∂X(x(2p-1)2q)＝k22・( Ｃpq - ycpq )/K3
＋k21・( Ａpq - yapq )/K3
＋k23・(Ａp(q+1)-yap(q+1))/K3
＋k11・(Ｂ(p-1)q-yb(p-1)q)/K3
＋k31・( Ｂpq - ybpq )/K3
＋k13・(Ｂ(p-1)(q+1)-yb(p-1)(q+1))/K3
＋k33・( Ｂp(q+1) - ybp(q+1) )/K2 …（６）
（K2＝k21+k22+k23+k11+k13+k31+k33)
【０１３０】
（３）高解像度画像の各画素位置における更新
上述のようにして、高解像度画像の各画素位置における勾配∂Ｉ／∂Ｘが算出されると、この勾配が初期高解像度画像Ｆｘ１の各画素値から減算されることで、更新された高解像度画像の画素値が算出される。即ち、画素ｘpqにおける画素値が、勾配∂Ｉ／∂Ｘ(ｘpq)によって更新されることで、高解像度画像Ｆｘ２の画素値ｘ１pq（＝ｘpq−∂Ｉ／∂Ｘ(ｘpq)）が算出されることとなる。
【０１３１】
このように、上述の（１）〜（３）の各処理動作を行うことによって、高解像度画像の更新が行われる。よって、２回目の更新時には、上述の（１）〜（３）式によって低解像度推定画像Ｆａ２〜Ｆｃ２の画素値を求める際、更新後の高解像度画像Ｆｘ２の画素値が代入される。即ち、低解像度推定画像Ｆａ２〜Ｆｃ２それぞれの各画素値Ａpq〜Ｃpq（Ｗａ・Ｘ１〜Ｗｃ・Ｘ１による画素値）がそれぞれ、以下の（７）〜（９）式で表される。
Ａpq＝k11・x1(2p-2)(2q-2)＋k21・x1(2p-1)(2q-2)＋k31・x1(2p)(2q-2)
＋k12・x1(2p-2)(2q-1)＋k22・x1(2p-1)(2q-1)＋k32・x1(2p)(2q-1)
＋ k13・x1(2p-2)(2q) ＋ k23・x1(2p-1)(2q) ＋ k33・x1(2p)(2q) …（７）
Ｂpq＝k11・x1(2p-1)(2q-2)＋k21・x1(2p)(2q-2)＋k31・x1(2p+1)(2q-2)
＋k12・x1(2p-1)(2q-1)＋k22・x1(2p)(2q-1)＋k32・x1(2p+1)(2q-1)
＋ k13・x1(2p-1)(2q) ＋ k23・x1(2p)(2q) ＋ k33・x1(2p+1)(2q) …（８）
Ｃpq＝k11・x1(2p-2)(2q-1)＋k21・x1(2p-1)(2q-1)＋k31・x(2p)(2q-1)
＋ k12・x1(2p-2)(2q) ＋ k22・x1(2p-1)(2q) ＋ k32・x1(2p)(2q)
＋k13・x1(2p-2)(2q+1)＋k23・x (2p-1)(2q+1)＋k33・x(2p)(2q+1) …（９）
【０１３２】
このようにして、低解像度推定画像Ｆａ２〜Ｆｃ２それぞれの各画素値を求めると、上述の（４）〜（６）式により、高解像度画像の各画素に対する勾配∂Ｉ／∂Ｘ１を算出した後、この勾配∂Ｉ／∂Ｘ１を高解像度画像Ｆｘ１の画素値から減算することで、２回目の更新処理が行われて、高解像度画像Ｆｘ２が生成される。
【０１３３】
このように、３×３の行列によるＰＳＦボケ関数による演算が行われるとき、１回目の更新処理動作において、初期高解像度画像Ｆｘ１における注目画素１画素に対して、高解像度画像Ｆｘにおける注目画素ｘpqを中心とした３×３画素ｘ(p-1)(q-1)〜ｘ(p+1)(q+1)によって構成される画素領域Ｒ（図１９（ａ）参照）内に位置する低解像度実画像及び低解像度推定画像の画素値が必要となる。
【０１３４】
更に、低解像度推定画像の画素値については、上述したように、初期高解像度画像Ｆｘ１における３×３画素をＰＳＦボケ関数に代入することで得られる。そして、画素領域Ｒにおける注目画素ｘpq以外の画素位置に位置する低解像度推定画像の画素を取得するために、初期高解像度画像Ｆｘ１における３×３画素の画素値を利用する。よって、１回目の更新処理動作において、図１９（ｂ）に示すように、初期高解像度画像Ｆｘ１における５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)が使用されることとなる。
【０１３５】
即ち、初期高解像度画像Ｆｘ１を１回更新するために、初期高解像度画像Ｆｘ１内の注目画素ｘpqに対して、初期高解像度画像Ｆｘ１における５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)の画素値と、初期高解像度画像Ｆｘ１における３×３画素ｘ(p-1)(q-1)〜ｘ(p+1)(q+1)によって構成される画素領域Ｒ内に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要となる。
【０１３６】
このように更新されて得られた高解像度画像Ｆｘ２を更新する場合は、更新後の画素値を用いた処理となる。即ち、高解像度画像Ｆｘ２内の注目画素ｘ１pqに対して、高解像度画像Ｆｘ２における５×５画素ｘ１(p-2)(q-2)〜ｘ１(p+2)(q+2)の画素値と、高解像度画像Ｆｘ２における３×３画素ｘ１(p-1)(q-1)〜ｘ１(p+1)(q+1)によって構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要となる。
【０１３７】
しかしながら、初期高解像度画像Ｆｘ１から高解像度画像Ｆｘ２に画素値を更新したとき、各画素に対して、初期高解像度画像Ｆｘ１における５×５画素の画素値と、初期高解像度画像Ｆｘ１における３×３画素で構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要とされる。即ち、高解像度画像Ｆｘ２内の注目画素ｘ１pqに対して使用される高解像度画像Ｆｘ２における５×５画素ｘ１(p-2)(q-2)〜ｘ１(p+2)(q+2)それぞれの画素値が、１回目の更新処理において、初期高解像度画像Ｆｘ１における５×５画素の画素値と、初期高解像度画像Ｆｘ１における３×３画素で構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とを用いて、算出されている。
【０１３８】
よって、初期高解像度画像Ｆｘ１を２回更新する場合は、注目画素ｘpqに対して、５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)それぞれにおける更新された画素値を用いて更に更新することとなる。即ち、５×５画素ｘ(p-2)(q-2)〜ｘ(p+2)(q+2)それぞれを中心として、初期高解像度画像Ｆｘ１における５×５画素の画素値と、初期高解像度画像Ｆｘ１における３×３画素で構成される画素領域Ｒに位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが用いられる。このように、初期高解像度画像Ｆｘ１を２回更新する場合は、図２０に示すように、初期高解像度画像Ｆｘ１内の注目画素ｘpqに対して、初期高解像度画像Ｆｘ１における９×９画素ｘ(p-4)(q-4)〜ｘ(p+4)(q+4)の画素値と、初期高解像度画像Ｆｘ１における７×７画素ｘ(p-3)(q-3)〜ｘ(p+3)(q+3)によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが必要となる。
【０１３９】
従って、超高解像度画像更新部４５６を構成するＦＩＲフィルタは、初期高解像度画像Ｆｘ１における９×９画素の画素値と、初期高解像度画像Ｆｘ１における７×７画素によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが入力されて、注目画素の画素値を出力するフィルタとして構成される。
【０１４０】
そして、このＦＩＲフィルタの係数については、まず、上述したように、（１）〜（３）式により得られた低解像度推定画像の画素値を（４）〜（６）式に代入して勾配を求める。その後、（４）〜（６）式により得られた勾配により更新した高解像度画像の画素値を（７）〜（９）式に代入し、これにより得られた低解像度推定画像の画素値を（４）〜（６）式に代入して２回目の勾配を求める。そして、（４）〜（６）式により得られた勾配により更新する際の減算式を展開することで、初期高解像度画像Ｆｘ１における９×９画素の画素値に乗算された係数と、初期高解像度画像Ｆｘ１における７×７画素によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とに乗算される係数とを、ＦＩＲフィルタの係数として取得することができる。
【０１４１】
尚、本例において、高解像度更新量算出部４５３において、上述の第１例における超解像演算部４５内で反復される更新動作が２回行われたときの更新量が算出されるものとしたが、上述の第１例における超解像演算部４５内での更新動作が３回以上反復して行われたときの更新量が算出されるものとしても構わない。そして、超解像演算部４５内での更新動作がＨ回反復して行われるとともに、ＰＳＦボケ関数が（２Ｋ＋１）×（２Ｋ＋１）の行列により成るものとする。このとき、高解像度更新量算出部４５３を構成するＦＩＲフィルタは、初期高解像度画像Ｆｘ１における（４Ｈ×Ｋ＋１）×（４Ｈ×Ｋ＋１）画素の画素値と、初期高解像度画像Ｆｘ１における（２（２Ｈ−１）×Ｋ＋１）×（２（２Ｈ−１）×Ｋ−１）画素によって構成される画素領域Ｒ１に位置する低解像度実画像Ｆａ〜Ｆｃにおける画素の画素値とが入力されて、注目画素の画素値を出力する。又、本例において、第１例における超解像演算部４５と同様、選択部４５２及びフレームメモリ４５５を備えた構成として、超解像演算処理が反復されるものとしても構わない。
【０１４２】
尚、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明における画像処理方法を利用可能である。図２１に、本発明における画像処理方法を行う画像処理装置（「画像処理部」に相当）を備えた表示装置を示す。
【０１４３】
図２１に示す表示装置は、図１に示す撮像装置と同様、画像処理部４、伸長処理部８、ディスプレイ部９、音声出力回路部１０、スピーカ部１１、タイミングジェネレータ１２、ＣＰＵ１３、メモリ１４、操作部１５、及び、バス回線１６，１７を備える。そして、外部で受信した放送信号を選局するチューナ部２１と、チューナ部２１で選局した放送信号を復調する復調部２２と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース２３とを、更に備える。
【０１４４】
この図２１の表示装置は、放送信号を受信する場合は、チューナ部２１で所望のチャンネルの放送信号を選局した後、復調部２２で放送信号を復調することで、ＭＰＥＧ圧縮符号方式による圧縮信号となるデジタル信号が得られる。このデジタル信号が伸長処理部８に与えられると、圧縮信号であるデジタル信号に対して、ＭＰＥＧ圧縮符号方式による伸長処理が施される。
【０１４５】
そして、操作部１５によって画像の高解像度化が指示されると、伸長処理部８で伸長処理して得られた画像信号が、画像処理部４に与えられて、上述の低解像度実画像の選択処理や超解像処理が行われることで、高解像度画像が生成される。その後、生成された高解像度画像による画像信号がディスプレイ部９に与えられて、画像再生がなされる。又、伸長処理部８の伸長処理で得られた音声信号が、音声出力回路部１０を通じてスピーカ部１１に与えられることで、音声が再生出力される。
【０１４６】
又、図１の撮像装置又は図２１の表示装置において、画像処理部４で超解像処理が成される画像について、動画像であっても構わないし、静止画像であっても構わない。尚、上述では、動画像となる画像信号が入力されたときの動作を中心に、各処理動作の説明を行っている。
【０１４７】
上述の説明において、超解像処理を行うための低解像度実画像の選択処理について、１次元画像の場合を説明したが、以下において、２次元画像に対する、超解像処理を行うための低解像度実画像の選択処理の実施例について、以下に説明する。尚、以下の各実施例では、説明を簡単にするため、解像度を２倍とする際の超解像処理における動作について説明する。即ち、以下の各実施例では、イメージセンサ１から取得される２次元画像となる画像信号に対して超解像処理を行う際に、画像処理部４で超解像処理を行うための低解像度実画像の選択処理動作の実施例を説明する。
【実施例１】
【０１４８】
本実施例における低解像度実画像の選択処理動作について、図２２を参照して説明する。図２２は、注目フレームを含む複数フレームの低解像度実画像の位置ズレ補正後の画素位置の関係を示す図である。又、本実施例では、注目フレームを含む３フレームの低解像度実画像より、注目フレームを含む２フレームの低解像度実画像が選択される場合を説明する。そして、注目フレームの低解像度実画像をＦ１、他の２フレームの低解像度実画像をＦ２，Ｆ３とし、図２２において、黒塗りの丸による点を低解像度実画像Ｆ１における画素位置を、黒塗りの三角による点を低解像度実画像Ｆ２における画素位置を、黒塗りの四角による点を低解像度実画像Ｆ３における画素位置を、それぞれ表す。
【０１４９】
まず、図２２に示すように、低解像度実画像Ｆ２，Ｆ３を選択するための基準位置を、注目フレームＦ１の低解像度実画像における隣接する４画素の中心位置Ｏ（図２２において、白抜きの丸で示す）とする。又、図２２では、その画素位置と中心位置Ｏとの距離が、低解像度実画像Ｆ２では距離ｄ２となり、低解像度実画像Ｆ３では距離ｄ３（ｄ３＞ｄ２）となる。尚、図２２では、点線で示す中心位置Ｏを中心とする円によって、中心位置Ｏからの距離がｄ２となる位置を示す。
【０１５０】
そして、選択の基準となる中心位置Ｏに画素位置が近くなる低解像度実画像が、超解像処理に使用される低解像度実画像として選択される。即ち、低解像度実画像Ｆ２における画素位置の中心位置Ｏとの距離ｄ２が、低解像度実画像Ｆ３における画素位置の中心位置Ｏとの距離ｄ３より短いため、低解像度実画像Ｆ２が、超解像処理に適した低解像度実画像として選択される。よって、注目フレームとなる低解像度実画像Ｆ１と、選択された低解像度実画像Ｆ２とによって、超解像処理が成されることで、高解像度画像が取得される。
【実施例２】
【０１５１】
本実施例における低解像度実画像の選択処理動作について、図２３を参照して説明する。図２３は、図２２と同様、注目フレームを含む複数フレームの低解像度実画像の位置ズレ補正後の画素位置の関係を示す図である。又、本実施例においても、実施例１と同様、注目フレームを含む３フレームの低解像度実画像Ｆ１〜Ｆ３より、注目フレームを含む２フレームの低解像度実画像が選択される場合を説明する。尚、図２３においても、低解像度実画像Ｆ１〜Ｆ３それぞれの画素位置について、図２２と同様の形式で表す。
【０１５２】
本実施例では、実施例１の場合と異なり、低解像度実画像Ｆ２，Ｆ３それぞれにおいて、その画素位置が、選択の基準となる中心位置Ｏから等しい距離ｄだけ離れた位置となる。そして、低解像度実画像Ｆ２の画素位置が、中心位置Ｏに対して、水平方向にｄｘ２、垂直方向にｄｙ２だけ離れた位置に位置するとともに、低解像度実画像Ｆ３の画素位置が、中心位置Ｏに対して、水平方向にｄｘ３（｜ｄｘ２｜＜｜ｄｘ３｜）、垂直方向にｄｙ３（｜ｄｙ２｜＞｜ｄｙ３｜）だけ離れた位置に位置するものとする。尚、距離ｄが、ｄ＝（（ｄｘ２）2＋（ｄｙ２）2）1/2＝（（ｄｘ３）2＋（ｄｙ３）2）1/2となる。
【０１５３】
このように、低解像度実画像Ｆ２，Ｆ３それぞれの画素位置と中心位置Ｏとの距離がｄとなって等しいため、中心位置Ｏとの距離に基づいて選択した場合、低解像度実画像Ｆ２，Ｆ３のいずれも選択可能となる。よって、低解像度実画像Ｆ２，Ｆ３のいずれか選択するために、本実施例では更に、中心位置Ｏとの水平方向の距離が短くなる低解像度実画像が選択される。即ち、図２３の例では、低解像度実画像Ｆ２の画素位置と中心位置Ｏとの間における水平方向の距離｜ｄｘ２｜が、低解像度実画像Ｆ３の画素位置と中心位置Ｏとの間における水平方向の距離｜ｄｘ３｜よりも短いため、超解像処理に使用される低解像度実画像として、低解像度実画像Ｆ２が選択される。
【０１５４】
このように、本実施例においては、中心位置Ｏのような基準位置と画素位置との距離が等しくなる低解像度実画像が複数ある場合、基準位置と画素位置との水平方向における距離が短い低解像度実画像を選択する。これにより、垂直方向に視認性が高いという視覚特性に対して、水平方向の解像度を高める低解像度実画像を選択して、超解像処理を行うことができる。
【実施例３】
【０１５５】
本実施例における低解像度実画像の選択処理動作について、図２４を参照して説明する。図２４は、図２２と同様、注目フレームを含む複数フレームの低解像度実画像の位置ズレ補正後の画素位置の関係を示す図である。又、本実施例においても、実施例１と同様、注目フレームを含む３フレームの低解像度実画像Ｆ１〜Ｆ３より、注目フレームを含む２フレームの低解像度実画像が選択される場合を説明する。尚、図２４においても、低解像度実画像Ｆ１〜Ｆ３それぞれの画素位置について、図２２と同様の形式で表す。
【０１５６】
本実施例では、実施例２の場合と同様、低解像度実画像Ｆ２，Ｆ３それぞれにおいて、その画素位置が、選択の基準となる中心位置Ｏから等しい距離ｄだけ離れた位置となる。又、時間軸上において、低解像度実画像Ｆ１〜Ｆ３が、Ｆ１，Ｆ２，Ｆ３の順に取得されるとともに、低解像度実画像のＦ１，Ｆ２それぞれの画素位置間の距離（低解像度実画像Ｆ１，Ｆ２間の動き量）ｄ４が、低解像度実画像のＦ２，Ｆ３それぞれの画素位置間の距離（低解像度実画像Ｆ２，Ｆ３間の動き量）ｄ５よりも長いものとする。
【０１５７】
このように、本実施例においても、実施例２と同様、低解像度実画像Ｆ２，Ｆ３それぞれの画素位置と中心位置Ｏとの距離がｄとなって等しいため、中心位置Ｏとの距離に基づいて選択した場合、低解像度実画像Ｆ２，Ｆ３のいずれも選択可能となる。よって、低解像度実画像Ｆ２，Ｆ３のいずれか選択するために、本実施例では更に、フレーム間の動き量を比較し、その動き量が小さいフレームを選択する。即ち、図２４の例では、低解像度実画像のＦ２，Ｆ３それぞれの画素位置間の距離ｄ５が、低解像度実画像のＦ１，Ｆ２それぞれの画素位置間の距離ｄ４よりも短いため、超解像処理に使用される低解像度実画像として、低解像度実画像Ｆ３が選択される。
【０１５８】
このように、本実施例においては、中心位置Ｏのような基準位置と画素位置との距離が等しくなる低解像度実画像が複数ある場合、時間的に連続する低解像度実画像間の動き量が小さくなる低解像度実画像を選択する。即ち、前のフレームとなる低解像度実画像との動き量が小さい低解像度実画像を選択することで、動き量による影響の少ない低解像度実画像を選択して、超解像処理を行うことができる。
【０１５９】
尚、基準位置と画素位置との距離が等しくなる低解像度実画像が複数ある場合においても、超解像処理に使用する低解像度実画像が選択できる条件として、上述の実施例２及び実施例３における条件を挙げたが、これらの条件について選択できるものとしても構わない。
【０１６０】
又、高解像度化する際において、垂直方向と水平方向とで拡大率が異なる場合、その拡大率が高い（補間画素数が多い）方向に対して、基準位置と画素位置との距離が短くなる低解像度実画像を、超解像処理に適した低解像度実画像として選択しても構わない。即ち、水平方向の拡大率がｍ倍であり、垂直方向の拡大率がｎ（ｍ＞ｎ）倍となるとき、拡大率が水平方向の方が大きいため、図２３のような関係にある場合、水平方向において、基準位置と画素位置との距離が短くなる低解像度実画像Ｆ２を選択する。
【産業上の利用可能性】
【０１６１】
本発明は、超解像処理による画像の高解像度化を行う画像処理装置を備えた撮像装置や表示装置に適用することができる。
【図面の簡単な説明】
【０１６２】
【図１】は、本発明の画像処理装置となる画像処理部を備えた撮像装置の内部構成を示すブロック図である。
【図２】は、被写体の輝度分布と撮影時間の異なるフレームにおける画像データとの関係を示す図である。
【図３】は、超解像処理におけるフローの概要を説明するための図である。
【図４】は、被写体の輝度分布と撮影時間の異なるフレームにおける画像データとの関係を示す図である。
【図５】は、解像度を２倍とする超解像処理における、低解像度実画像の選択処理について説明するための図である。
【図６】は、解像度を３倍とする超解像処理における、低解像度実画像の選択処理について説明するための図である。
【図７】は、解像度を３倍とする超解像処理における、低解像度実画像の選択処理における基準との関係例を示す図である。
【図８】は、代表点マッチング法における検出領域の関係を示す図である。
【図９】は、基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図１０】は、１画素以内の動き量検出を行う際の基準画像の代表点と非基準画像のサンプリング点との関係を示す図である。
【図１１】は、１画素以内の動き量検出を行う際の基準画像の代表点及び非基準画像のサンプリング点それぞれの画素値の関係を示す図である。
【図１２】は、図１に示す撮像装置における画像処理部の内部構成を示すブロック図である。
【図１３】は、図１２に示す画像処理部における超解像演算部の内部構成の第１例を示すブロック図である。
【図１４】は、図１２に示す画像処理部における超解像演算部の内部構成の第２例を示すブロック図である。
【図１５】は、ＰＳＦボケ関数の係数と高解像度画像の画素位置との関係を示す図である。
【図１６】は、低解像度実画像Ｆｂ，Ｆｃそれぞれと、現フレームとなる低解像度実画像Ｆａとの位置関係を示す図である。
【図１７】は、低解像度実画像Ｆａ〜Ｆｃそれぞれと、初期高解像度画像Ｆｘ１との位置関係を示す図である。
【図１８】は、初期高解像度画像Ｆｘ１に対して勾配を算出する際の注目画素に対して使用される画素値を示す図である。
【図１９】は、１回目の更新処理動作で利用される高解像度画像における画素範囲を示す図である。
【図２０】は、２回の更新処理動作で利用される高解像度画像における画素範囲を示す図である。
【図２１】は、本発明の画像処理装置となる画像処理部を備えた表示装置の内部構成を示すブロック図である。
【図２２】は、実施例１における低解像度画像の選択処理動作を説明するための３フレーム間の関係を示す図である。
【図２３】は、実施例２における低解像度画像の選択処理動作を説明するための３フレーム間の関係を示す図である。
【図２４】は、実施例３における低解像度画像の選択処理動作を説明するための３フレーム間の関係を示す図である。
【符号の説明】
【０１６３】
１ イメージセンサ
２ ＡＦＥ
３ マイク
４ 画像処理部
５ 音声処理部
６ 圧縮処理部
７ ドライバ部
８ 伸長処理部
９ ディスプレイ部
１０ 音声出力回路部
１１ スピーカ部
１２ タイミングジェネレータ
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６，１７ バス回線
２０ 外部メモリ
４１ フレームメモリ
４２ 動き量算出部
４３ 画像評価部
４４ 位置ズレ補正部
４５ 超解像演算部
４６ 信号処理部
【特許請求の範囲】
【請求項１】
注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化部を備える画像処理装置において、
Ｎ（Ｎ＞Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出部と、
前記動き量検出部で得られた前記第３低解像度画像における前記動き量を考慮し、Ｎフレームの前記第３低解像度画像から、前記第１低解像度画像の画素位置に基づいて設定された基準位置に対して画素位置がより近いＭフレームの前記第３低解像度画像を、前記第２低解像度画像として選択する画像評価部と、
を備え、
前記画像評価部によって前記第２低解像度画像とされた前記第３低解像度画像が前記高解像度化部に与えられ、前記高解像度画像が生成されることを特徴とする画像処理装置。
【請求項２】
前記基準位置を、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記基準位置を、前記高解像度画像における前記第１低解像度画像に対する補間画素となる画素位置に設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に対して画素位置が近い前記第３低解像度画像を、前記第２低解像度画像として選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、その画素位置と前記基準位置との水平方向における距離が短い前記第３低解像度画像を、前記第２低解像度画像として選択することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、時間的に隣接した前フレームとの動き量が小さい前記第３低解像度画像を、前記第２低解像度画像として選択することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項７】
前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記超解像ステップで水平方向及び垂直方向それぞれにおける解像度の拡大率が異なるとき、その画素位置と前記基準位置との拡大率が大きい方向における距離が短い前記低解像度画像を、前記第２低解像度画像として選択することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項８】
外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、
前記高解像度化機能を実現する画像処理部として、請求項１〜請求項７のいずれに記載の画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする電子機器。
【請求項９】
注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化ステップを備える画像処理方法において、
Ｎ（Ｎ＞Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出ステップと、
前記動き量検出ステップより得られた前記第３低解像度画像における前記動き量を考慮し、Ｎフレームの前記第３低解像度画像から、前記第１低解像度画像の画素位置に基づいて設定された基準位置に対して画素位置がより近いＭフレームの前記第３低解像度画像を、前記第２低解像度画像として選択する低解像度画像選択ステップと、
を備え、
前記高解像度化ステップにおいて、前記低解像度画像選択ステップで前記第２低解像度画像とされた前記第３低解像度画像と前記第１低解像度画像とに基づいて前記高解像度画像を生成することを特徴とする画像処理方法。
【請求項１】
注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化部を備える画像処理装置において、
Ｎ（Ｎ＞Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出部と、
前記動き量検出部で得られた前記第３低解像度画像における前記動き量を考慮し、Ｎフレームの前記第３低解像度画像から、前記第１低解像度画像の画素位置に基づいて設定された基準位置に対して画素位置がより近いＭフレームの前記第３低解像度画像を、前記第２低解像度画像として選択する画像評価部と、
を備え、
前記画像評価部によって前記第２低解像度画像とされた前記第３低解像度画像が前記高解像度化部に与えられ、前記高解像度画像が生成されることを特徴とする画像処理装置。
【請求項２】
前記基準位置を、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記基準位置を、前記高解像度画像における前記第１低解像度画像に対する補間画素となる画素位置に設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記第１低解像度画像における垂直方向及び水平方向それぞれにおいて隣接する画素位置の中間位置となる位置に対して画素位置が近い前記第３低解像度画像を、前記第２低解像度画像として選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、その画素位置と前記基準位置との水平方向における距離が短い前記第３低解像度画像を、前記第２低解像度画像として選択することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、時間的に隣接した前フレームとの動き量が小さい前記第３低解像度画像を、前記第２低解像度画像として選択することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項７】
前記画像評価部において、前記基準位置と画素位置との距離が等しい前記第３低解像度画像が複数フレームとなる場合、前記超解像ステップで水平方向及び垂直方向それぞれにおける解像度の拡大率が異なるとき、その画素位置と前記基準位置との拡大率が大きい方向における距離が短い前記低解像度画像を、前記第２低解像度画像として選択することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項８】
外部入力又は撮像により複数フレームとなる画像による画像信号が与えられるとともに、該画像信号による画像を高解像度の画像に変換する高解像度化機能を備えた電子機器において、
前記高解像度化機能を実現する画像処理部として、請求項１〜請求項７のいずれに記載の画像処理装置を備え、前記画像信号による画像を前記低解像度画像として高解像度化処理を行うことで、所望の前記高解像度画像が生成されることを特徴とする電子機器。
【請求項９】
注目フレームとなる第１低解像度画像とＭ（１以上の整数）フレームの第２低解像度画像とから高解像度画像を生成する高解像度化ステップを備える画像処理方法において、
Ｎ（Ｎ＞Ｍとなる整数）フレームの第３低解像度画像それぞれと、前記第１低解像度画像との間の動き量を検出する動き量検出ステップと、
前記動き量検出ステップより得られた前記第３低解像度画像における前記動き量を考慮し、Ｎフレームの前記第３低解像度画像から、前記第１低解像度画像の画素位置に基づいて設定された基準位置に対して画素位置がより近いＭフレームの前記第３低解像度画像を、前記第２低解像度画像として選択する低解像度画像選択ステップと、
を備え、
前記高解像度化ステップにおいて、前記低解像度画像選択ステップで前記第２低解像度画像とされた前記第３低解像度画像と前記第１低解像度画像とに基づいて前記高解像度画像を生成することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００８−２９４９５０（Ｐ２００８−２９４９５０Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１４０７２４（Ｐ２００７−１４０７２４）
【出願日】平成１９年５月２８日（２００７．５．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２８日（２００７．５．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]