画像処理装置、画像処理方法、および、画像処理プログラム
【課題】複数の画像データから生成される高解像度画像の画質の改善。
【解決手段】ＣＰＵ２００は、時系列に並ぶ複数の画像データＦ(a)を取得する。ＣＰＵ２００は、複数の画像データＦ(a)が表す各画像ｆ(a)間における被写体の位置ずれを補正するための補正量を算出し、その補正量を用いて複数の画像データＦ(a)における被写体の位置ずれを補正する。ＣＰＵ２００は、複数の画像データＦ(a)ごとに設定される重み付けＷ(a,i)を算出する。重み付けＷ(a,i)は、生成される高解像度画像データが表す画像の画質を低下させる可能性の大きさを表す指標に応じて、指標が大きい画像データほど小さく、指標が小さい画像データほど大きく設定される。ＣＰＵ２００は、補正された複数の画像データＦ(a)を、重み付けＷ(a,i)を用いて合成して、高解像度画像データを生成する。
【解決手段】ＣＰＵ２００は、時系列に並ぶ複数の画像データＦ(a)を取得する。ＣＰＵ２００は、複数の画像データＦ(a)が表す各画像ｆ(a)間における被写体の位置ずれを補正するための補正量を算出し、その補正量を用いて複数の画像データＦ(a)における被写体の位置ずれを補正する。ＣＰＵ２００は、複数の画像データＦ(a)ごとに設定される重み付けＷ(a,i)を算出する。重み付けＷ(a,i)は、生成される高解像度画像データが表す画像の画質を低下させる可能性の大きさを表す指標に応じて、指標が大きい画像データほど小さく、指標が小さい画像データほど大きく設定される。ＣＰＵ２００は、補正された複数の画像データＦ(a)を、重み付けＷ(a,i)を用いて合成して、高解像度画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、比較的低解像度の複数の画像データから高解像度の画像データを生成する技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラで生成された動画像データを構成するフレーム画像や、デジタルスチルカメラによって連続撮影された画像データのように、時系列に並ぶ複数の近似した画像データが取得される場合がある。これらの近似した複数の画像データを元画像データとして、元画像データより高解像度の画像データを生成する技術が知られている（例えば、特許文献１）。
【０００３】
【特許文献１】特開平１１−１６４２６４号公報
【特許文献２】特開２０００−２４４８５１号公報
【０００４】
上記技術では、例えば、元画像データとして、動画像データを構成する連続する複数のフレーム画像を用いる場合において、フレーム画像の画像データを解析して、各フレーム画像間の移動ベクトル（いわゆるフレーム画像間のずれに相当する）を画素ピッチより細かい単位で算出する。そして、算出した移動ベクトルに基づいて、各フレーム画像を重ね合わせて、高解像度の画像データを生成している。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、合成に用いる複数のフレーム画像の中には、生成される高解像度画像に対して、画質低下を引き起こす情報を与えるデータが含まれている場合がある。例えば、合成に用いるフレーム画像の一部に、合成の基準となるフレーム画像に対する「動き」が発生している場合がある。「動き」とは、手ぶれによる被写体の揺れのように、フレーム画像全体の一様な変化ではなく、フレーム画像中における一部の被写体の局所的な変化を意味している。このような「動き」が生じているフレーム画像は、「動き」が生じている部分において、基準となるフレーム画像と被写体が一致するように正確に重ね合わせることができない。この結果、「動き」が生じているフレーム画像は、「動き」のある被写体の２重像を生じさせるなど、生成される高解像度画像の画質を低下させてしまうおそれがあった。
【０００６】
また、上記課題は、デジタルビデオカメラで生成された動画像データを用いる場合に限らず、デジタルスチルカメラで連続撮影された複数の画像データを用いる場合などにも共通した課題であった。
【０００７】
本発明は、上記課題を解決するためになされたものであり、複数の画像データに基づいてより高解像度の画像データを生成する場合に、生成される高解像度画像の画質を改善することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の第１の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記複数の画像データを取得する画像データ取得手段と、前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出する補正量算出手段と、前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正する位置ずれ補正手段と、前記高解像度画像データの生成に用いた場合に生成される前記高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定する重み付け設定手段と、前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像生成手段とを備えることを特徴とする。
【０００９】
本発明の第１の態様に係る画像処理装置によれば、時系列に並ぶ複数の画像データを合成して高解像度画像データを生成する際に、各画像データごとに設定される重み付けを用いて合成が行われる。重み付けは、生成される高解像度画像データ（以下、生成データという。）が表す画像（以下、生成画像という。）の画質を低下させる可能性の大きさ大きい画像データほど小さく、可能性が小さい画像データほど大きく設定される。したがって、生成画像の画質を低下させる可能性の高い画像データが生成データに与える影響が小さくなる。この結果、生成画像の画質低下を低減することができる。
【００１０】
本発明の第１の態様に係る画像処理装置において、前記重み付けの設定は、前記複数の画像データのそれぞれに関連付けられた指標であって、前記画質を低下させる可能性の大きさを表す指標を用いて実行されるても良い。かかる場合には、生成画像の画質を低下させる可能性の大きさを表す指標を用いて、適切な、重み付けを設定することができる。
【００１１】
本発明の第１の態様に係る画像処理装置において、前記指標は、前記複数の画像データの中から選択された基準画像データに対する各画像データの時間的距離を含み、前記重み付け設定手段は、前記時間的距離が大きい画像データほど小さく、前記時間的距離が小さい画像データほど大きい重み付けを設定する時間的距離別重み付け設定手段を備えても良い。合成の基準となる画像データと時間的に離れた画像データは、前述した「動き」等が生じている可能性が高い。「動き」は生成画像の画質低下を引き起こす。合成する際、時間的距離に応じて設定された重み付けを用いることにより、このような生成画像の画質を低下させる可能性の高い画像データが、生成データに与える影響を小さくすることができる。
【００１２】
本発明の第１の態様に係る画像処理装置において、前記指標は、前記複数の画像データの中から選択された基準画像データが表す画像と各画像データが表す画像との間における前記補正量の大きさを含み、前記重み付け設定手段は、前記補正量が大きい画像データほど小さく、前記補正量が小さい画像データほど大きい重み付けを設定する位置ずれ量別重み付け設定手段を備えても良い。合成の基準となる画像データが表す画像との間に生じている位置ずれが大きい画像の画像データは、前述した「動き」等が生じている可能性が高い。「動き」は生成画像の画質低下を引き起こす。合成する際、算出された補正量の大きさは、位置ずれの大きさを表すから、補正量に応じて設定された重み付けを用いることにより、このような生成画像の画質を低下させる可能性の高い画像データが、生成データに与える影響を小さくすることができる。
【００１３】
本発明の第１の態様に係る画像処理装置において、前記指標は、前記生成される高解像度画像データを構成する生成画素データごとに設定されるものであって、前記補正された各画像データを構成する前記画素データのうち前記生成画素データの最近接にある画素データと、前記生成画素データとの画素間距離を含み、前記重み付け設定手段は、前記画素間距離が大きい画像データほど小さく、前記画素間距離が小さい画像データほど大きい重み付けを設定する画素間距離別重み付け設定手段を備えても良い。位置ずれ補正後において、生成画素データと、構成画素データのうち生成画素データの最近接にある画素データとの画素間距離が長い画像データは、その生成画素データに対して画質低下を引き起こす情報を与える可能性が高い。合成する際、生成画素データごとに、上述した画素間距離に応じて設定された重み付けを用いることにより、このような情報を与える可能性の高い画像データの生成画素データに対する影響を小さくすることができる。この結果、生成画像の画質低下を低減することができる。
【００１４】
本発明の第１の態様に係る画像処理装置において、前記高解像度画像生成手段は、前記生成される高解像度画像データが表す画像を構成する画素の位置を設定する画素設定手段と、前記設定された位置における画素値であって、前記補正された複数の画像データの中の一の画像データに基づいて算出される画素値である単一画像参照画素値を、各画像データごとにそれぞれ算出する単一画像参照画素値算出手段と、前記重み付けを用いて算出される前記単一画像参照画素値の重み付き平均値を画素値として、前記設定された位置における画素データを生成する画素データ生成手段とを備えても良い。
【００１５】
かかる場合には、各画像データに基づいて算出された単一画像データ参照値について、上述した重み付けを用いた重み付き平均値を算出する。そして、生成データを構成する画素データの画素値には、算出された重み付き平均値が用いられる。したがって、画素データの生成において、生成画像の画質を低下させる可能性の高い画像データの影響が小さくなる。この結果、生成画像の画質低下を低減することができる。
【００１６】
本発明の第１の態様に係る画像処理装置は、さらに、前記指標の値と前記重み付けの値との対応関係が予め記録されたテーブルを記憶する記憶手段を備え、前記重み付けは、前記テーブルを参照して設定されても良い。また、前記重み付けは、前記指標と前記重み付けとの間の関係を示す所定の関係式を用いて設定されても良い。かかる場合には、テーブルを参照して、あるいは、所定の関係式を用いて簡単に、上述した重み付けを用いた高解像度画像データの生成を実行できる。
【００１７】
本発明の第１の態様に係る画像処理装置において、前記複数の画像データの合成は、前記補正された複数の画像データの中の一の画像データであって、その画像データの表す画像の各画素が、生成される高解像度画像データの表す画像の座標空間において、前記補正された複数の画像データの中の他の画像データの表す画像の各画素と同一の座標に位置する重複画像データが存在する場合には、前記高解像度画像データの生成は、前記重複画像データを用いないで実行されても良い。一の画像データの表す画像の各画素と他の画像データの表す画像の各画素が、生成される高解像度画像データの表す画像の座標空間において、同一の座標に位置する場合、すなわち、画素位置が重複する場合、このような画像データを２つとも合成しても生成画像データの高解像度化に貢献しない。このような、重複画像データが存在する場合には、重複画像データを用いないでデータの高解像度画像データの生成を実行することにより、高解像度画像データの生成に係る処理負荷の軽減を図ることができる。また、合成に使用する画像データが少なくなることで、２重像となる危険性も低減することができる。
【００１８】
本発明の第１の態様に係る画像処理装置において、前記他の画像データが表す画像と前記一の画像データが表す画像との間における前記補正量が、所定の判定条件を満たす場合に、前記一の画像データは前記重複画像データであると判断しても良い。かかる場合には、算出された各画像間における補正量を用いて、簡便に重複画像データが存在するか否かを判断することができる。
【００１９】
本発明の第２の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法を提供する。本発明の第２の態様に係る画像処理方法は、前記複数の画像データを取得し、前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出し、前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正し、前記高解像度画像データの生成に用いた場合に前記生成される高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定し、前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成することを特徴とする。
【００２０】
本発明の第３の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法を提供する。本発明の第３の態様に係る画像処理方法は、前記複数の画像データを取得し、前記複数の画像データが表す各画像間における被写体を補正するための補正量を算出し、前記複数の画像データの中から選択された基準画像データに対する各画像データの時間的距離が大きい画像データほど小さく、前記時間的距離が小さい画像データほど大きい重み付け、前記複数の画像データの中から選択された基準画像データが表す画像と各画像データが表す画像との間における前記補正量が大きい画像データほど小さく、前記補正量が小さい画像データほど大きい重み付け、の少なくとも１つの重み付けを前記複数の画像データのそれぞれについて設定し、前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成することを特徴とする。
【００２１】
本発明の第４の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法を提供する。本発明の第４の態様に係る画像処理方法は、前記複数の画像データを取得し、前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出し、前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正し、前記生成される高解像度画像データを構成する生成画素データごとに設定されるものであって、前記補正された各画像データを構成する前記画素データのうち前記生成画素データの最近接にある画素データと、前記生成画素データとの画素間距離を算出し、前記画素間距離が大きい画像データほど小さく、前記画素間距離が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定し、前記設定された重み付けと前記各画像データを用いて、生成画素データの画素値を算出することによって、前記高解像度画像データを生成することを特徴とする。
【００２２】
本発明の第５の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理をコンピュータに実行させるコンピュータプログラムを提供する。本発明の第５の態様に係るコンピュータプログラムは、前記複数の画像データを取得する画像データ取得機能と、前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出する補正量算出機能と、前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正する位置ずれ補正機能と、前記高解像度画像データの生成に用いた場合に生成される前記高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定する重み付け設定機能と、前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像生成機能とをコンピュータに実現させることを特徴とする。
【００２３】
本発明の第２〜第４の態様に係る画像処理方法および本発明の第５の態様に係るコンピュータプログラムによれば、本発明の第１の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第２の態様に係る画像処理方法および本発明の第３の態様に係るコンピュータプログラムは、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。また、本発明の第３の態様に係るコンピュータプログラムは、コンピュータプログラムを記録したコンピュータが読み取り可能な記録媒体としても実現され得る。
【発明を実施するための最良の形態】
【００２４】
以下、本発明にかかる画像処理装置について、図面を参照しつつ、実施例に基づいて説明する。
【００２５】
Ａ．第１の実施例
・画像処理システムの構成：
図１は、本発明の第１の実施例に係る画像処理装置を含む画像処理システムの一例を示す説明図である。本発明の第１の実施例に係る画像処理装置を適用可能な画像処理システムの構成について図１を参照して説明する。
【００２６】
画像処理システムは、画像データを生成する撮像装置としてのディジタルビデオカメラ１０、ディジタルビデオカメラ１０にて生成された複数の画像データから、高解像度の画像データを生成する画像処理装置としてのパーソナルコンピュータ２０、画像データを用いて画像を出力する出力装置としてのカラープリンタ３０を備えている。また、出力装置としては、プリンタ３０の他に、例えば、ＬＣＤディスプレイのモニタ２５、表示装置４０が用いられ得る。
【００２７】
ディジタルビデオカメラ１０は、設定されたフレームレートで、時系列に並ぶ複数の画像データＧＤ1〜ＧＤn（以下、フレーム画像データという。）を生成するカメラである。画像データは、光の情報をディジタルデバイス（ＣＣＤや光電子倍増管）に結像させ、デジタル信号に変換することによって生成される。ディジタルビデオカメラ１０は、生成された複数のフレーム画像データＧＤ1〜ＧＤnを１つの画像ファイルＧＦ（動画ファイル）として、光学ディスクＬＤ（例えば、ＤＶＤ−ＲＡＭ等）に保存する。もちろん、画像ファイルＧＦの保存には、光学ディスクＬＤのみならず、デジタルビデオテープや、メモリカードＭＣ等、種々の記録媒体が用いられ得る。
【００２８】
パーソナルコンピュータ２０は、一般的に用いられるタイプのコンピュータであり、高解像度の画像データを生成する処理を含む画像処理プログラムを実行するＣＰＵ２００、ＣＰＵ２００における演算結果、画像データ等を一時的に格納するＲＡＭ２０１、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）２０２を備えている。パーソナルコンピュータ２０は、ＤＶＤ等の光学ディスクＬＤ用のディスクドライブ２０５、メモリカードＭＣを装着するためのカードスロット２０３、ディジタルビデオカメラ１０からの接続ケーブルを接続するための入出力端子２０４を備えている。
【００２９】
プリンタ３０は、画像データをカラー画像として出力可能なプリンタであり、例えば、シアン、マゼンタ、イエロー、ブラックの４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記４色に加えて、ライトシアン（薄いシアン）、ライトマゼンタ（薄いマゼンタ）、レッド、ブルーを用いても良い。
【００３０】
表示装置４０は、画像データの画像を表示するための表示ディスプレイ４５を有し、例えば、電子式の写真フレームとして機能する表示装置である。表示ディスプレイ４５は、例えば、液晶表示ディスプレイ、有機ＥＬ表示ディスプレイが用いられ得る。
【００３１】
プリンタ３０および表示装置４０は、スタンドアローンにて画像処理、画像出力を実行するため、パーソナルコンピュータ２０が備える画像処理機能を備えても良い。かかる場合には、プリンタ３０、表示装置４０は、パーソナルコンピュータ２０を介さずに、例えば、メモリーカードＭＣ等の記憶媒体、あるいは、ケーブルを介してディジタルビデオカメラ１０から画像データを取得し、プリンタ３０、表示装置４０がそれぞれ本実施例における画像処理装置として機能することができる。
【００３２】
以下の説明では、ディジタルビデオカメラ１０で生成された画像データが、パーソナルコンピュータ２０に送出され、パーソナルコンピュータ２０にて高解像度の画像データを生成する画像処理が実行される場合について説明する。
【００３３】
・パーソナルコンピュータ２０の機能的構成：
図２は、本実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。図２を参照してパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成の概要について説明する。
【００３４】
画像データ取得部Ｍ２１０は、画像ファイルＧＦに記録されたフレーム画像データＧＤ1〜ＧＤnの中から選択された時系列に並ぶ複数のフレーム画像データを取得する。
【００３５】
補正量算出部Ｍ２２０は、画像データ取得部Ｍ２１０が取得した複数のフレーム画像データが表す各画像間に生じている位置ずれ（以下、単に、位置ずれという。）を補正するための補正量（以下、単に、位置ずれ補正量という。）を算出する。そして、位置ずれ補正部Ｍ２３０は、補正量算出部Ｍ２２０から取得した位置ずれ補正量を用いて、上述した位置ずれを補正する。
【００３６】
重み付け設定部Ｍ２４０は、複数のフレーム画像データごとに重み付けＷ(a,i)を設定する。重み付け設定部Ｍ２４０は、画素間距離別重み付け設定部Ｍ２４１、時間的距離別重み付け設定部Ｍ２４２、位置ずれ量別重み付け設定部Ｍ２４３を備える。画素間距離別重み付け設定部Ｍ２４１、時間的距離別重み付け設定部Ｍ２４２、位置ずれ量別重み付け設定部Ｍ２４３によって、それぞれ、画素間距離を考慮した画素間距離別重み付けＷs(a,i)、時間的距離を考慮した時間的距離別重み付けＷt(a)、位置ずれ補正量の大きさを考慮した位置ずれ量別重み付けＷu(a)が設定される。これらの３つの重み付けＷs(a,i)、Ｗt(a)、Ｗu(a)を要素として、最終的な重み付けＷ(a,i)が設定される。これらの重み付けＷ(a,i)、Ｗs(a,i)、Ｗt(a)、Ｗu(a)については、後述する。
【００３７】
高解像度画像生成部Ｍ２５０は、重み付け設定部Ｍ２４０から取得した重み付けＷ(a,i)を用いて、複数のフレーム画像データを合成して、フレーム画像データより解像度の高い高解像度画像データ（生成データ）を生成する。高解像度画像生成部Ｍ２５０は、画素設定部Ｍ２５１と、単一画像参照画素値算出部Ｍ２５２、画素データ生成部Ｍ２５３を備える。
【００３８】
画素設定部Ｍ２５１は、生成データが表す画像Ｇ（生成画像）を構成する画素の位置を設定する。すなわち、生成画像の注目画素Ｇ(i)を設定する。単一画像参照画素値算出部Ｍ２５２は、複数のフレーム画像データの中の一のデータに基づいて算出される注目画素Ｇ(i)の画素値（以下、単一画像参照画素値という。）を、各フレーム画像データごとにそれぞれ算出する。画素データ生成部Ｍ２５３は、最終的に注目画素Ｇ(i)の画素値を生成し、注目画素Ｇ(i)の画素データを生成する。重み付けＷ(a,i)を用いて算出される単一画像参照画素値の重み付き平均値が、最終的に注目画素Ｇ(i)の画素値とされる。
【００３９】
・パーソナルコンピュータ２０における画像処理：
図３〜図１４を参照してパーソナルコンピュータ２０において実行される画像処理について説明する。
【００４０】
図３は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。パーソナルコンピュータ２０（ＣＰＵ２００）は、ユーザーの指示に従って、本画像処理のプログラムを起動する。ＣＰＵ２００は、ユーザの指示に従って光学ディスクＬＤ等から画像ファイルＧＦを読み出し、画像ファイルＧＦに記録されたフレーム画像データＧＤ1〜ＧＤnが表す動画像を再生する。
【００４１】
動画像の再生中に、ユーザによってフレーム画像データの取得指示が入力されると、ＣＰＵ２００は、動画像データＭＤを構成するフレーム画像データＧＤ１〜ＧＤｎの中から、連続する複数のフレーム画像データを取得する（ステップＳ１０）。各フレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す階調データ（以下、「画素データ」とも呼ぶ。）で構成されている。画素データは、３つの画素値Ｙ（輝度）、Ｃｂ(ブルーの色差)、Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、３つの画素値Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等が用いられ得る。本実施例では、ＣＰＵ２００は、ユーザーに指示されたフレーム画像データと、そのフレームと時系列に並ぶ前後１０フレーム分ずつのフレーム画像データ（合計２１フレーム分）を取得するものとする。ＣＰＵ２００は、取得した２１個のフレーム画像データをＲＡＭ２０１に一時的に格納する。
【００４２】
以下の説明では、取得した２１個のフレーム画像データの番号（以下、「フレーム番号」とも呼ぶ。）をaとし、フレーム番号aのフレーム画像データをフレーム画像データＦ(a)(a=-10〜+10)と呼ぶこととする。そして、フレーム画像データＦ(a)が表す画像を画像ｆ(a)(a=-10〜+10)と呼ぶこととする。また、ユーザーにより選択されたフレーム画像データＦ(0)、すなわち、取得された２１個のフレーム画像データＦ(a)のうち時系列的に中間にあるフレーム画像データＦ(0)を、特に基準フレーム画像データとも呼ぶこととする。
【００４３】
ユーザによって、取得したフレーム画像について、高解像度の静止画像を生成する指示が入力されると、まず、ＣＰＵ２００は、２１個のフレーム画像データＦ(a)が表す各画像間における被写体の位置ずれ（以下、単に位置ずれという。）を解消する補正（以下、位置ずれ補正という。）のための補正量を算出する（ステップＳ２０）。ここで、位置ずれおよび位置ずれ補正について説明しておく。
【００４４】
図４は、基準フレーム画像データＦ(0)が表す画像ｆ(0)とそれ以外の一のフレーム画像データＦ(a)が表す画像ｆ(a)間の位置ずれを示す説明図である。また、図５は、基準フレーム画像データＦ(0)を基準として、フレーム画像データＦ(a)に対して行う位置ずれ補正について示す説明図である。位置ずれ補正量を算出するにあたっては、基準フレーム画像データＦ(0)を基準とする。すなわち、フレーム画像データＦ(0)に対する位置ずれ補正量を、前後１０ずつ計２０個のフレーム画像データＦ(a )(a=-10〜-1,1〜10)について、それぞれ算出するものとする。
【００４５】
位置ずれは、画像の横方向および縦方向の並進のずれ（以下、単に、並進ずれという。）と、画像の中心を軸とした回転のずれ（以下、単に、回転ずれという。）との組み合わせで表される。図４では、基準となる画像ｆ(0)に対する、画像ｆ(a)のずれ量を分かり易く示すため、画像ｆ(0)の縁と、画像ｆ(a)の縁とを重ねて示すとともに、画像ｆ(0)が表す画像上の中心位置に仮想の十字画像Ｘ０を追記し、この十字画像Ｘ０が、画像ｆ(a)と同様にずれたとして、画像ｆ(a)上に、ずれた結果の画像である十字画像Ｘaを示すようにしている。更に、このずれ量を、より分かり易く示すために、画像ｆ(0)および十字画像Ｘ０を太い実線で示すとともに、画像ｆ(a)および十字画像Ｘaを細い破線で示すようにしている。
【００４６】
本実施例では、図４に示すように、並進ずれ量として横方向を「ｕｍ」、縦方向を「ｖｍ」と表し、回転ずれ量を「δｍ」と表し、画像ｆ(a)の画像ｆ(0)に対するずれ量を「ｕｍa」、「ｖｍa」、「δｍa」と表すこととする。例えば、基準フレーム画像データＦ(0)の画像ｆ(0)より時系列的に３つ後のフレーム画像データＦ(3)が表す画像ｆ(3)の、画像ｆ(0)に対するずれ量は、ｕｍ３、ｖｍ３、δｍ３と表される。
【００４７】
また、補正とは、画像の各画素の位置を、横方向にｕの移動、縦方向にｖの移動、およびδの回転を施した位置に移動させるように、フレーム画像データにおいて各画素データの座標を変換することを意味する。ｕは、横方向の並進補正量を表し、ｖは、縦方向の並進補正量を表している。そして、δは、回転補正量を表している。
【００４８】
フレーム画像データＦ(0)に対するフレーム画像データＦ(a)の位置ずれ補正量を「ｕa」、「ｖa」、「δa」と表すこととすると、位置ずれ補正量と、上述した位置ずれとの間には、ｕa＝−ｕｍa、ｖa＝−ｖｍa、δa＝−δｍaの関係が成り立つ。例えば、フレーム画像Ｆ(3)についての位置ずれ補正量ｕ３、ｖ３、δ３は、ｕ３＝−ｕｍ３、ｖ３＝−ｖｍ３、δ３＝−δｍ３で表される。
【００４９】
以上説明したように、例えば、図５に示すように、位置ずれ補正量ｕa、ｖa、δaを用いて、フレーム画像データＦ(a)に対して補正を実行するすることにより、画像ｆ(a)と基画像ｆ(0)の被写体を互いに一致させることができる。すなわち、補正後のフレーム画像データＦ(a)が表す画像ｆ(a)と、画像ｆ(0)とを重ね合わせると、図５に示すように、補正後の画像ｆ(a)は、画像ｆ(0)に対して部分一致する。なお、この補正の結果を分かり易く示すため、図５においても、図４と同じ仮想の十字画像Ｘ０および十字画像Ｘaを表記しており、図５に示すように、補正の結果として、十字画像Ｘaは十字画像Ｘ０と一致することとなる。
【００５０】
なお、上述の「部分一致する」とは、以下のことを意味するものである。すなわち、図５に示すように、例えば、ハッチングを施した領域Ｐ１は、画像ｆ(a)にのみ存在する領域であり、画像ｆ(0)には、該当する領域は存在しない。このように、上述の補正を行ったとしても、ずれに起因して、画像ｆ(0)にのみ、または、ｆ(a)にのみ存在する領域が生じてしまうため、画像ｆ(a)は、画像ｆ(0)に対して完全一致することはなく、部分一致することとなる。
【００５１】
図３に戻って、位置ずれ補正量ｕa、ｖa、δaの算出処理について説明する。後に生成される生成画像Ｇにおいて十分な画質を確保するためには、位置ずれ補正量は、画像ｆ(a)の画素単位より細かい精度（いわゆるサブピクセルレベルの精度）で算出される必要がある。例えば、並進補正量ｕa、ｖaは、１／１６画素単位で、回転補正量δaは、１／１００度単位で算出される。従って、位置ずれ補正量の算出には、画素単位よりも細かい精度で補正量を算出可能な解析手法が用いられる。本実施例では、ＣＰＵ２００は、補正対象であるフレーム画像データＦ(a)と基準となるフレーム画像データＦ(0)の各画素データの画素値（例えば輝度値）を用いて、勾配法（グラディエント法）を実行することによって、位置ずれ補正量を算出する。以下では、先ず、勾配法について説明する。
【００５２】
図６および図７を参照して、勾配法について説明する。図６は、勾配法による位置ずれ補正量の算出方法について説明する第１の説明図である。図７は、勾配法による位置ずれ補正量の算出方法について説明する第２の説明図である。図６において、黒い丸は、基準となる画像ｆ(0)の画素を表し、例えば、（x1i、y1i）は、画像ｆ(0)の中心を原点とする直交座標上における画素の座標を表している。そして、白い丸は、画像ｆ(0)と部分一致するように重ねられた画像ｆ(a)の画素Ｐ_tar（x2i、y2i）を表し、座標（x2i，y2i）は、画像ｆ(a)の中心を原点とする直交座標上における座標を表している。以下、画素Ｐ_tar（x2i、y2i）を着目画素iとして説明を進める。着目画素Ｐ_tar（x2i、y2i）は、画像ｆ(0)と部分一致するように重ねられた場合に、画像ｆ(0)の画素Ｐ_ref（x1i、y1i）の近傍の位置（x1i＋Δxi、y1i＋Δyi）に位置すると仮定する。ここで、iは、各画素を区別する番号である。
【００５３】
まず、着目画素Ｐ_tar（x2i、y2i）に対応する画像ｆ(0)の画素Ｐ_ref（x1i、y1i）と、その上下左右にある４つの画素Ｐ_ref（x1i+1、y1i）、Ｐ_ref（x1i-1、y1i）、Ｐ_ref（x1i、y1i+1）、Ｐ_ref（x1i、y1i-1）が、参照画素として選択される。
【００５４】
図７（ａ）は、画像ｆ(a)と画像ｆ(0)とを部分一致するように重ねた場合において、着目画素Ｐ_tar（x2i、y2i）と画素Ｐ_ref（x1i、y1i）とのｘ１軸上の距離Δxiを推定する方法を示している。まず、画素Ｐ_ref（x1i、y1i）と、左右に隣接する画素Ｐ_ref（x1i-1、y1i）、Ｐ_ref（x1i+1、y1i）の輝度値Ｂ_ref（x1i、y1i）、Ｂ_ref（x1i-1、y1i）、Ｂ_ref（x1i+1、y1i）とを用いて、輝度勾配ΔＢxiが算出される。ΔＢxiは、図７（ａ）において直線Ｒ１の傾きで表される量で、画素Ｐ_ref（x1i、y1i）の近傍における輝度勾配である。例えば、３つの画素値を用いて、近似直線を求めてその傾きをΔＢxiとして用いても良いし、単に、左右の画素値を結ぶ直線の傾き｛Ｂ_ref（x1i+1、y1i）−Ｂ_ref（x1i-1、y1i）｝／２をΔＢxiとして用いても良い。
【００５５】
そして、着目する画素Ｐ_tar（x2i、y2i）の輝度値Ｂ_tar（x2i、y2i）が、図７（ａ）に示す直線Ｒ１上にあるものと仮定すると、
ΔＢxi・Δxi＝Ｂ_tar（x2i、y2i）−Ｂ_ref（x1i、y1i）が成立する。ここで、Ｂ_tar（x2i、y2i）およびＢ_ref（x1i、y1i）を単にＢ_tar、Ｂ_refで表すと、
ΔＢxi・Δxi - (Ｂ_tar - Ｂ_ref）= 0 …（１）
が成立する。
【００５６】
図７（ｂ）は、画像ｆ(a)と画像ｆ(0)とを部分一致するように重ねた場合において、着目画素Ｐ_tar（x2i、y2i）と画素Ｐ_ref（x1i、y1i）とのｙ１軸上の距離Δyiを推定する方法を示している。上述したΔｘの推定と同様の手法により、
ΔＢyi・Δyi - (Ｂ_tar - Ｂ_ref）= 0 …（２）
の式が導ける。ここで、式（１）、および、式（２）を満たすΔxi、Δyiを求めれば、着目画素Ｐ_tar（x2i、y2i）の画像ｆ(0)上における位置がわかることになる。
【００５７】
この考え方を拡張して、画像ｆ(a)を構成する全ての画素について、共通する補正量（ua、ｖa、δa）を求めるには、最小自乗法を用いて、以下のＳ2を最小にすることを考えれば良い。
Ｓ2＝Σ｛ΔＢxi・Δxi＋ΔＢyi・Δyi−（Ｂ_tar - Ｂ_ref）｝2 ...(３)
【００５８】
ここで、補正量（ua、ｖa、δa）と、各画素iについてのΔxi、Δyiとの関係について考える。図８は、画素の回転補正量を模式的に示す説明図である。画像ｆ(0)の座標（x1，y1）の原点Ｏからの距離をｒとし、ｘ１軸からの回転角度をθとすると、ｒ，θは、下式で表される。
ｒ＝（x12＋y１2）1/2 …（４）
θ＝tan-1（y１／x1） …（５）
【００５９】
ここで、画像ｆ(a)は、画像ｆ(0)に対する並進ずれはなく、回転ずれのみが発生しているものとし、画像ｆ(a)における座標（ｘ２，ｙ２）の画素が、画像ｆ(0)上の座標（x1，y1）の位置から回転補正量δだけ回転した座標(x1'，y1')にあるとする。この回転補正量δaによるｘ１軸方向の移動量Δｘとｙ１軸方向の移動量Δｙは、下式により求められる。
Δx＝x1'−x1≒−ｒ・δa・sinθ＝−δa・y1 …（６）
Δy＝y1'−y1≒ｒ・δa・cosθ＝δa・x1 …（７）
【００６０】
したがって、上記式（３）における各画素iについてのΔxi、Δyiは、補正量（ｕ，ｖ、δ）を用いて、下式のように表すことができる。
Δxi＝ｕa−δa・y1i …（８）
Δyi＝ｖa＋δa・x1i …（９）
ここで、x1iおよびy1iは、画像ｆ(0)における画素Ｐ_ref（x1i、y1i）の座標である。
【００６１】
上記式（８），（９）を上記式（３）に代入すると、下式が得られる。
Ｓ2＝Σ｛ΔBxi・（ｕa−δa・ｙ1i）＋ΔBｙi・（ｖa＋δa・x1i）−（Ｂ_tar - Ｂ_ref）｝2 …（１０）
【００６２】
すなわち、画像ｆ(a)の全画素について、対応する座標値と輝度値を式（１８）に代入したときに、Ｓ2を最小にする補正量（ｕa，ｖa，δa）を最小自乗法によって求めることができる。
【００６３】
ここで、図６に戻って説明を続ける。位置ずれ補正量が、２０個の画像ｆ(a)(a=-10〜-1,1〜10)の全てについて算出されると、ＣＰＵ２００は、算出された位置ずれ補正量を用いて、フレーム画像データＦ(a)(a=-10〜-1,1〜10)に対して位置ずれ補正を実行する（ステップＳ３０）。この結果、画像ｆ(a)(a=-10〜-1,1〜10)と基準となる画像ｆ(0)の計２１個の画像を、部分一致するように重ね合わせることができる（図５参照）。
【００６４】
ＣＰＵ２００は、続いて、重ね合わせた２１個のフレーム画像データＦ(a)を合成して、フレーム画像データＦ(a)より高解像度の画像を表す画像データ（以下、高解像度画像データという。）を生成する処理（以下、高解像度画像合成処理という。）を実行する（ステップＳ４０）。
【００６５】
図９は、高解像度画像合成処理の処理ルーチンを示すフローチャートである。ＣＰＵ２００は、高解像度画像合成処理を開始すると、先ず、生成する高解像度画像データ（以下、生成データという。）が表す画像（以下、生成画像という。）Ｇを構成する画素の位置を設定する。そして、位置を設定した画素のうち画素データを生成する注目画素Ｇ(i)を設定する（ステップＳ４０１）。iは、各画素を区別する番号である。ここで、生成画像Ｇおよび生成画像Ｇを構成する画素について説明しておく。
【００６６】
図１０は、基準となる画像ｆ(0)と画像ｆ(1)〜ｆ(3)とを、位置ずれ補正して部分一致するように重ね合わせた一例を拡大して示す説明図である。実際には、２１個の画像を重ね合わせるが、図１０においては、図を解りやすくするため、ｆ(0)〜ｆ(3)の４つの画像のみを示し、他の画像については示していない。図１０では、生成画像Ｇの各画素が黒丸で示されているとともに、画像ｆ(0)の各画素が白抜きの四辺形で示され、画像ｆ(1)〜ｆ(3)の各画素が、ハッチングを施した四辺形で示されている。なお、生成画像Ｇの画素密度は、画像ｆ(0)に対して、縦横１．５倍密に設定されるものとする。また、生成画像Ｇの各画素は、２画素おきに画像ｆ(0)の各画素に重なる位置にあるものとする。ただし、生成画像Ｇの画素が、必ずしも画像ｆ(0)の各画素に重なる位置にある必要はない。例えば、生成画像Ｇの各画素のすべてが、画像ｆ(0)の各画素の中間に位置する等、種々の位置とすることができる。また、生成画像Ｇの画素密度も、縦横１．５倍に限定されるものではなく、自由に設定することができる。
【００６７】
高解像度画像合成処理では、上述した生成画像Ｇを構成する全ての画素を順番に注目画素として、それぞれ画素値を算出して画素データを生成していく。注目画素Ｇ(i)は、例えば、生成画像Ｇの左上端の画素から右上端の画素まで、次に１つ下の列の左端の画素から右端の画素までという順番に設定される。以下では、図１０の中央に位置する画素を注目画素Ｇ(i)として設定した場合を例に説明を進める。
【００６８】
注目画素Ｇ(i)が設定されると、ＣＰＵ２００は、参照するフレーム画像データＦ(a)を設定する（ステップＳ４０２）。本処理では、１つの注目画素Ｇ(i)の画素値を算出するにあたり、合成に用いるフレーム画像データＦ(a)を順番に１つずつ参照していく。例えば、フレーム画像データＦ(-10)から順番に、Ｆ(-9),Ｆ(-8),Ｆ(-7),....,Ｆ(9),Ｆ(10)と設定すれば良い。
【００６９】
ＣＰＵ２００は、次に、設定された一のフレーム画像データ（以下、参照画像データという。）Ｆ(a)に基づいて、注目画素Ｇ(i)の画素値Ｉa(a,i)を算出する（ステップＳ４０３）。以下、画素値Ｉa(a,i)を単一画像データ参照値と呼ぶ。単一画像データ参照値Ｉa(a,i)は、バイ・リニア法等の補完処理によって算出される。
【００７０】
図１１は、バイ・リニア法による補間処理について示す説明図である。ＣＰＵ２００は、図１１に示すように、画像ｆ(a)を構成する画素であって注目画素Ｇ(i)を囲む４つの画素ｆ(a，j),ｆ(a，j+1),ｆ(a，k),ｆ(a，k+1)で区画される領域を、注目画素Ｇ(i)で４つの区画に分割する。そして、ＣＰＵ２００は、４つの画素ｆ(a，j),ｆ(a，j+1),ｆ(a，k),ｆ(a，k+1)の画素値を、それぞれの画素の対角に位置する区画の面積比によって重み付けして加算することにより、単一画像データ参照値Ｉa(a,i)を算出する。なお、画素ｆ(a，j)は、ｆ(a)のj番目の画素を示している。ｋはj番目の画素に画像ｆ(a)の横方向の画素数を加えた画素の番号を示している。
【００７１】
なお、画素値補間処理の方法については、バイ・リニア法の他、バイ・キュービック法、ニアレストネイバ法等の種々の補間方法を用いることができる。
【００７２】
ＣＰＵ２００は、続いて、生成データを合成する際に、算出した単一画像データ参照値Ｉa(a,i)に対して用いる重み付けＷ(a,i)を算出する（ステップＳ４０４）。重み付けＷ(a,i)は、各フレーム画像データＦ(a)を生成画像データの生成に用いた場合に、生成画像Ｇの画質を低下させる可能性が大きいフレーム画像データＦ(a)ほど小さく、可能性が小さいフレーム画像データＦ(a)ほど大きく設定される。重み付けＷ(a,i)の設定には、各フレーム画像データＦ(a)と関連付けられた指標であって、生成画像Ｇの画質を低下させる可能性の大きさを表す指標（以下、単に、指標という。）を用いて実行される。
【００７３】
具体的には、重み付けＷ(a,i)は、画素間距離別重み付けＷs(a,i)と、時間的距離別重み付けＷt(a)と、位置ずれ量別重み付けＷu(a)を用いて、以下の式（１１）によって与えられる。
Ｗ(a,i) = Ｗs(a,i) × Ｗt (a) × Ｗu(a) …（１１）
画素間距離別重み付けＷs(a,i)と、時間的距離別重み付けＷt(a)と、位置ずれ量別重み付けＷu(a)は、それぞれ、算出に用いられる指標が異なる。以下、これらの重み付けについて説明する。
【００７４】
画素間距離別重み付けＷs(a,i)は、注目画素Ｇ(i)と、画像ｆ(a)の画素であって注目画素Ｇ(i)の最近接にある画素（図１１において、記号Ｆ(a，j)で示す画素）との画素間距離（図１１において記号Ｌ(a,i)で示す距離）を上述した指標として、設定される重み付けである。したがって、画素間距離別重み付けＷs(a,i)は、注目画素Ｇ(i)ごとに、そして、参照するフレーム画像データＦ(a)ごとに、それぞれ異なる値となる。
【００７５】
図１２は、画素間距離別重み付けＷs(a,i)の算出について説明する説明図である。画素間距離別重み付けＷs(a,i)は、画素間距離Ｌ(a,i)が大きいほど小さく、画素間距離Ｌ(a,i)が小さいほど大きく設定される。例えば、図１２（ａ）に示すように、画素間距離Ｌ(a,i)の増加に対して、画素間距離別重み付けＷs(a,i)は直線的に減少することとしても良い。ただし、Ｗｓは負の値を取れないので、所定の画素間距離以上では、重み付けＷs(a,i) = 0とする。また、図１２（ｂ）に示すように、指数関数（例えば、式（１２））を用いて、画素間距離別重み付けＷs(a,i)を算出しても良い。
Ｗs(a,i) = exp｛-L(a,i)/α｝（αは定数） …（１２）
【００７６】
時間的距離別重み付けＷt(a)は、合成の基準となるフレーム画像データＦ(0)と、参照するフレーム画像データＦ(a)との時間的距離を上述した指標として、設定される重み付けである。時間的距離とは、一のフレーム画像データの生成時と他のフレーム画像データの生成時との時間差を意味する。時間的距離は、フレーム番号が時系列的に順番に振られていれば、基準となるフレーム画像データＦ(0)のフレーム番号と、参照するフレーム画像データＦ(a)のフレーム番号の差分で表すことができるので、時間的距離別重み付けＷt(a)は、結局、フレーム番号ａの関数として定まる値である。
【００７７】
図１３は、時間的距離別重み付けＷt(a)の算出について説明する説明図である。時間的距離別重み付けＷt(a)、時間的距離が大きいほど小さく、時間的距離が小さいほど大きく設定される。すなわち、フレーム番号ａの絶対値｜a｜が大きいほど小さく、小さいほど大きく設定される。例えば、図１３（ａ）に示すように、｜a｜の増加に対して、時間的距離別重み付けＷt(a)は直線的に減少することとしても良い。また、図１３（ｂ）に示すように、正規分布関数を用いて、時間的距離別重み付けＷt(a)を算出しても良い。
【００７８】
図１４は、時間的距離別重み付けＷt(a)を記録したテーブルを示す概略図である。時間的距離別重み付けＷt(a)は、結局、フレーム番号ａごとに定まる値であるので、図１３において記号Ｐｔ１またはＰｔ２で示す数値とフレーム番号との対応関係を、予めテーブルとしてプログラム内に記録しておいても良い。この場合は、ＣＰＵ２００は、テーブルを参照することによって、時間的距離別重み付けＷt(a)を取得する。
【００７９】
位置ずれ量別重み付けＷu(a)は、ステップＳ２０において算出された基準画像ｆ(0)に対する参照とする画像ｆ(a)の位置ずれ補正量（ｕa，ｖa，δa）の大きさΔＭ(a)を上述した指標として、設定される重み付けである。位置ずれ補正量の大きさΔＭ(a)には、例えば、並進ずれに対応する補正量のみを考慮して、以下の式（１３）により算出することができる。
ΔＭ(a) = （ｕa2＋ｖa2）1/2 …（１３）
もちろん、回転ずれに対応する補正量δaも考慮しても良い。
【００８０】
位置ずれ量別重み付けＷu(a)は、位置ずれ補正量の大きさΔＭ(a)が大きいほど小さく、位置ずれ補正量の大きさΔＭ(a)が小さいほど大きく設定される。例えば、第１の補正量Ｗs(a,i)と同様に、位置ずれ補正量ΔＭ(a)の増加に対して、位置ずれ量別重み付けＷu(a)は直線的に減少することとしても良いし、指数関数（例えば、式（１４））を用いて、画素間距離別重み付けＷs(a,i)を算出しても良い。
Ｗu(a) = exp｛-ΔＭ(a)/β｝（βは定数） …（１４）
【００８１】
以上説明したように、ＣＰＵ２００は、式（１１）〜（１４）を用いて、重み付けＷ(a,i)を算出することができる。
【００８２】
図９に戻って説明を続ける。ＣＰＵ２００は、重み付けＷ(a,i)を算出すると、２１個の全てのフレーム画像データＦ(a)を参照したか否かを判断する（ステップＳ４０５）。まだ参照していないフレーム画像データＦ(a)があると判断した場合（ステップＳ４０５：ＮＯ）には、ＣＰＵ２００は、ステップＳ４０２に戻ってそのフレーム画素データを参照して、上述したステップＳ４０３〜Ｓ４０４を繰り返す。
【００８３】
全てのフレームデータを参照したと判断した場合（ステップＳ４０５：ＹＥＳ）には、ＣＰＵ２００は、最終的に注目画素Ｇ(i)の画素値Ｉ(i)を算出して注目画素Ｇ(i)の画素データを生成する処理（ステップＳ４０６）に移る。この時点で、上述したＳ４０３〜Ｓ４０４の繰り返しによって、注目画素Ｇ(i)について、各フレーム画像データＦ(a)(a = -10〜+10)のそれぞれを参照した合計２１個の単一画像データ参照値Ｉa(a,i)と、これにそれぞれ対応する２１個の重み付けＷ(a,i)が算出されている。注目画素Ｇ(i)の最終的な画素値Ｉ(i)は、２１個の単一画像データ参照値Ｉa(a,i)の重み付き平均値として与えられる。具体的には、ＣＰＵ２００は、これらの値を以下の式（１５）に代入することによって、注目画素Ｇ(i)の最終的な画素値Ｉ(i)を算出する。
【００８４】
【数１】
【００８５】
式（１５）の分母は、重み付けの総和が１になるように規格化する係数である。従って、重み付けＷ(a,i)は、絶対値自体には意味はなく、各重み付け間の相対的な比率にのみ意味があるものである。ＣＰＵ２００は、注目画素Ｇ(i)の最終的な画素値Ｉ(i)を算出すると、その注目画素Ｇ(i)については処理を終了する。
【００８６】
ＣＰＵ２００は、次に、生成画像Ｇを構成する全ての画素について画素値Ｉ(i)を算出したか否かを判断する（ステップＳ４０７）。まだ画素値Ｉ(i)が生成されていない画素が存在すると判断した場合（ステップＳ４０７：ＮＯ）には、ＣＰＵ２００は、ステップＳ４０１に戻って、画素値Ｉ(i)が生成されていない画素を新たな注目画素Ｇ(i)に設定して、上述したステップＳ４０２〜Ｓ４０６を繰り返す。
【００８７】
全ての画素について、画素値Ｉ(i)が生成されたと判断した場合（ステップＳ４０７：ＹＥＳ）には、ＣＰＵ２００は、本処理を終了する。この結果、高解像度画像データ（生成データ）の生成が完了したことになる。生成された高解像度画像データは、プリンタ３０によって印刷画像として出力される、あるいは、表示装置４０やモニタ２５によって表示画像として出力される等、ユーザーの利用に供される。
【００８８】
以上説明したように、本実施例に係る画像処理によれば、複数のフレーム画像データＦ(a)を合成して、より高解像度の画像データ（生成データ）を生成する際、生成データの各画素データは、重み付けＷ(a,i)を用いた単一画像データ参照値Ｉa(a,i)の重み付き平均値として求められる。言い換えれば、重み付けＷ(a,i)は、生成データに対する一のフレーム画像データＦ(a)の寄与度を表す値である。したがって、重み付けＷ(a,i)を調整すれば、生成データにおける各フレーム画像データの影響を、フレーム画像データＦ(a)ごとに変化させることができる。そして、重み付けＷ(a,i)は、各フレーム画像データが、生成画像Ｇの画質を低下させる可能性が大きい画像データほど小さく、可能性が小さい画像データほど大きく設定される。この結果、生成画像Ｇの画質を低下させる可能性の高いフレーム画像データＦ(a)が生成データに与える影響が小さくなる。したがって、生成画像Ｇの画質低下を低減することができる。また、重み付けＷ(a,i)は、生成画像Ｇの画質を低下させる可能性の大きさを表す指標を用いることによって、適切に設定される。
【００８９】
さらに、重み付けＷ(a,i)について具体的に述べると、重み付けＷ(a,i)には、上述した画素間距離Ｌ(a,i)を上述した指標として設定される画素間距離別重み付けＷs(a,i)が成分として含まれている。画素間距離Ｌ(a,i)が大きいフレーム画像データＦ(a)は、注目画素Ｇ(i)から比較的離れた位置にしか画素を持たないのであるから、このようなフレーム画像データＦ(a)に基づいて算出された単一画像データ参照値Ｉa(a,i)は、最終的に生成される注目画素Ｇ(i)の画素値Ｉ(i)に対して画質低下を引き起こす情報を与えて、生成画像Ｇの画質を低下させる可能性が高いといえる。画素間距離別重み付けＷs(a,i)は、画素間距離Ｌ(a,i)が大きいほど小さく、画素間距離Ｌ(a,i)が小さいほど大きく設定される。この結果、生成画像Ｇの画質を低下させる可能性の高いフレーム画像データＦ(a)が生成データに与える影響が小さくなる。したがって、生成画像Ｇの画質低下を低減することができる。
【００９０】
また、重み付けＷ(a,i)には、上述した時間的距離（具体的には、フレーム番号の絶対値｜a｜）を上述した指標として設定される時間的距離別重み付けＷt(a)が成分として含まれている。基準となるフレーム画像データＦ(0)との時間的距離が大きいフレーム画像データＦ(a)が表す画像ｆ(a)は、基準画像ｆ(0)からみて、上述したいわゆる「動き」が生じている可能性が高くなる。したがって、時間的距離が大きいフレーム画像データＦ(a)に基づいて算出された単一画像データ参照値Ｉa(a,i)は、最終的に生成される注目画素Ｇ(i)の画素値Ｉ(i)に対して画質低下を引き起こす情報（例えば、「動き」が生じている被写体の情報）を与えて、生成画像Ｇの画質を低下させる可能性が高いといえる。時間的距離別重み付けＷt(a)は、フレーム画像データＦ(0)との時間的距離が大きいほど小さく、時間的距離が小さいほど大きく設定される。この結果、生成画像Ｇの画質を低下させる可能性の高いフレーム画像データＦ(a)が生成データに与える影響が小さくなる。したがって、生成画像Ｇの画質低下を低減することができる。
【００９１】
また、重み付けＷ(a,i)には、上述した位置ずれ補正量の大きさΔＭ(a)を上述した指標として設定される位置ずれ量別重み付けＷu(a)が成分として含まれている。基準となるフレーム画像データＦ(0)との位置ずれ補正量が大きいフレーム画像データＦ(a)が表す画像ｆ(a)は、やはり、基準画像ｆ(0)からみて、上述したいわゆる「動き」が生じている可能性が高くなる。特に、撮像装置が動いたことによって発生する視差により被写体位置が相対的に変化する「動き」が生じる可能性が高くなる。したがって、位置ずれ補正量の大きさΔＭ(a)が大きいフレーム画像データＦ(a)に基づいて算出された単一画像データ参照値Ｉa(a,i)は、やはり、最終的に生成される注目画素Ｇ(i)の画素値Ｉ(i)に対して画質低下を引き起こす情報を与え、生成画像Ｇの画質を低下させる可能性が高いといえる。位置ずれ量別重み付けＷu(a)は、基準となるフレーム画像データＦ(0)との位置ずれ補正量の大きさΔＭ(a)が大きいほど小さく、位置ずれ補正量の大きさΔＭ(a)が小さいほど大きく設定される。この結果、生成画像Ｇの画質を低下させる可能性の高いフレーム画像データＦ(a)が生成データに与える影響が小さくなる。したがって、生成画像Ｇの画質低下を低減することができる。
【００９２】
以上を言い換えれば、本実施例に係る画像処理装置は、各フレーム画像データＦ(a)が、生成画像Ｇの画質を低下させる可能性の大きさを表す指標として、１．画素間距離Ｌ(a,i) ２．時間的距離｜a｜ ３．位置ずれ補正量の大きさΔＭ(a)の３つを用いている。そして、これらに応じた適切な重み付けＷ(a,i)を設定することによって、生成データの合成において、画質低下を起こしやすいフレーム画像データＦ(a)の合成比率を低く、画質低下を起こしにくいフレーム画像データＦ(a)の合成比率を高くしている。この結果、生成画像Ｇの画質低下を抑え、画質の向上を図ることができる。
【００９３】
上述した重み付けＷ(a,i)の算出は、重み付けとリスクの大きさを表す指標との対応関係をが予め記録されたテーブル（図１４参照）や、簡便な算出式（式１２等参照）を用いて実行されるので、容易かつ迅速に算出可能である。
【００９４】
Ｂ．第２の実施例：
図１５〜図１７を参照して、本発明に係る第２の実施例について説明する。第２の実施例に係る画像処理システムの構成およびパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成は、図１および図２を参照して説明した第１の実施例に係る画像処理システムの構成およびパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成と同一であるので、その説明を省略して、以下の説明では同一の符号を用いる。
【００９５】
・パーソナルコンピュータ２０における画像処理：
図１５は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。図３を参照して説明した第１の実施例に係る画像処理の処理ルーチンと同一のステップについては、図３と同一の符号を付し、その説明を省略する。
【００９６】
第１の実施例に係る画像処理と異なる点は、第２の実施例においては、ステップＳ２５で示すフレーム画像データ選択処理が追加されている点である。以下、このフレーム画像データ選択処理について説明する。
【００９７】
図１６は、フレーム画像データ選択処理の処理ルーチンを示すフローチャートである。本処理が開始されると、ＣＰＵ２００は、注目するフレーム画像データＦ(a)を設定する（ステップＳ２５１）。本処理では、全てのフレーム画像データＦ(a)に順番に注目し、それぞれのフレーム画像データＦ(a)について、後のステップＳ４０における高解像度画像合成処理に用いるか否かを判断していく。例えば、フレーム画像データＦ(-10)から順番に、Ｆ(-9),Ｆ(-8),Ｆ(-7),....,Ｆ(9),Ｆ(10)と設定すれば良い。
【００９８】
ＣＰＵ２００は、続いて、ステップ２０において、注目するフレーム画像データＦ(a)について算出された位置ずれ補正量（ｕa，ｖa，δa）が、以下の条件式（１６）〜（１８）を全て満たすか否かを判定する。
｜δａ｜＜δ_th …（１６）
｜Ｂ(ｕａ)｜＜ｕ_th …（１７）
｜Ｂ(ｖａ)｜＜ｖ_th …（１８）
【００９９】
ここで、Ｂ(ｘ)は、それぞれｘに最も近い整数とｘとの差を表す。例えば、Ｂ(１．２)＝０．２、Ｂ(０．９)＝０．１である。δ_th、ｕ_th、ｖ_thは、それぞれ予め設定された閾値であり、例えば、δ_th＝０．０１(degree)、ｕ_th＝１／８(画素単位)、ｖ_th＝１／８(画素単位)に設定される。ＣＰＵ２００は、位置ずれ補正量（ｕa，ｖa，δa）が、以下の条件式（１６）〜（１８）を全て満たすと判定した場合（ステップＳ２５２：ＹＥＳかつステップＳ２５３：ＹＥＳかつステップＳ２５４：ＹＥＳ）には、注目するフレーム画像データＦ(a)を、高解像度画像合成処理に用いないと判断する（ステップＳ２５５）。
【０１００】
一方で、ＣＰＵ２００は、位置ずれ補正量（ｕa，ｖa，δa）が、以下の条件式（１６）〜（１８）のいずれか１つを満たさないと判定した場合（ステップＳ２５２：ＮＯまたはステップＳ２５３：ＮＯまたはステップＳ２５４：ＮＯ）には、注目するフレーム画像データＦ(a)を、高解像度画像合成処理に用いると判断する（ステップＳ２５６）。
【０１０１】
ここで、高解像度画像合成処理に用いないと判断されるフレーム画像データＦ(a)と、用いないと判断されるフレーム画像データＦ(a)のそれぞれについて説明する。図１７は、基準となる画像ｆ(0)と画像ｆ(4)、ｆ(5)とを、位置ずれ補正して部分一致するように重ね合わせた一例を拡大して示す説明図である。図１７においては、図を解りやすくするため、ｆ(0),ｆ(4),ｆ(5)の３つの画像のみを示し、他の画像については示していない。
【０１０２】
図１７における画像ｆ(4)は、上述した式（１６）〜（１８）に示す所定の条件を満たし、高解像度画像合成処理に用いないと判断されるフレーム画像データＦ(a)が表す画像の一例である。画像ｆ(4)の画素と、基準となる画像ｆ(0)の画素とは、生成画像の座標空間（位置ずれ補正後の座標空間）において、同一の座標に位置している。ここで、「同一の座標に位置している」とは、厳密に座標が一致していることを要求する訳ではなく、画素単位より細かい所定の精度（例えば、１／８画素単位）で座標が一致していることを意味する。このような画像を表す画像データ（図１７の例では、フレーム画像データＦ(4)）を重複画像データと呼ぶこととする。
【０１０３】
重複画像データが表す画像（図１７の例では、画像ｆ(4)）は、生成される高解像度画像Ｇ（図１７中、黒丸で示す画素からなる画像）に対して、基準画像ｆ(0)と同じ情報を与えるにすぎず、高解像度画像Ｇの生成に貢献しない。
【０１０４】
一方、図１７における画像ｆ(5)は、高解像度画像合成処理に用いると判断されるフレーム画像データＦ(a)が表す画像の一例である。画像ｆ(5)の画素は、基準となる画像ｆ(0)と、生成画像の座標空間において、異なる座標に位置している。すなわち、画像ｆ(5)の画素は、基準となる画像ｆ(0)の画素間を埋める位置に存在している。このような画像は、生成される高解像度画像Ｇに対して、基準画像ｆ(0)とは異なる情報を与えるので、高解像度画像Ｇの生成に貢献する。
【０１０５】
図１６に戻って説明を続ける。ＣＰＵ２００は、注目するフレーム画像データＦ(a)を高解像度画像合成処理に用いるか否かを判断すると、２０個の全てのフレーム画像データＦ(a)(a = -10〜-1,+1〜+10)について、上述した判断をしたか否かを判断する（ステップＳ２５７）。まだ、判断していないフレーム画像データＦ(a)があると判断した場合（ステップＳ２５７：ＮＯ）には、ＣＰＵ２００は、ステップＳ２５１に戻ってそのフレーム画像データＦ(a)に注目して、上述したステップＳ２５２〜Ｓ２５６を繰り返す。全てのフレーム画像データＦ(a)について上述した判断を終えた場合（ステップＳ２５７：ＹＥＳ）には、本処理を終了して、図１５に示す処理ルーチンにリターンする。
【０１０６】
以上説明したように、本実施例に係る画像処理装置によれば、第１の実施例に係る画像処理装置と同様の効果に加えて、以下の効果が得られる。高解像度画像Ｇの生成に貢献しないフレーム画像データである重複画像データが存在する場合には、重複画像データを高解像度画像合成処理（ステップＳ４０）に用いないため、高解像度画像合成処理に係る処理負荷の軽減を図ることができる。さらに、合成に使用するフレーム画像データが少なくなることで、２重像となる危険性も低減することができる。
【０１０７】
Ｃ．変形例：
上記実施例において、重み付けＷ(a,i)には、３つの要素が考慮されているが、これらのうち、１つまたは２つのみの要素を考慮しても良い。すなわち、上記実施例では、式（１１）に示すように、重み付けＷ(a,i)は、画素間距離を考慮した画素間距離別重み付けＷs(a,i)と、時間的距離を考慮した時間的距離別重み付けＷt(a)と、位置ずれ補正量の大きさを考慮した位置ずれ量別重み付けＷu(a)の積として算出されるが、変形例として、例えば、画素間距離別重み付けのみを採用して、以下の式（１８）によってＷ(a,i)を算出しても良く、第１と時間的距離別重み付けを採用して、以下の式（１９）によってＷ(a,i)を算出しても良い。
Ｗ(a,i) = Ｗs(a,i) …（１８）
Ｗ(a,i) = Ｗs(a,i) × Ｗt (a) …（１９）
かかる場合には、考慮した要素に起因した生成画像Ｇの画質低下を低減することができる。
【０１０８】
また、画素間距離別重み付けＷs(a,i)は、生成画像Ｇを構成する各画素ごと、各フレーム画像データＦ(a)ごとに（つまり、画素数×フレーム画像データ数個）設定される必要があるが、位置ずれ量別重み付けＷu(a)および時間的距離別重み付けＷt(a)は、各フレーム画像データＦ(a)ごと（つまり、フレーム画像データ数個）のみの設定で良い。従って、位置ずれ量別重み付けＷu(a)および時間的距離別重み付けＷt(a)のみを用いる場合には、画像処理のルーチンにおいて、一度だけ算出するだけで良い。例えば、図３で示すフローチャートのステップ３０の後、ステップ４０の前に重み付けを一度だけ算出すれば、以後、高解像度画像合成処理では、算出した重み付けをそのまま用いれば良い。
【０１０９】
上記実施例では、位置ずれ補正量の大きさが大きい程、位置ずれ量別重み付けＷu(a)を小さくしているが、閾値を予め設定しておき、位置ずれ補正量の大きさが閾値以上である場合には、そのフレーム画像データＦ(a)は、高解像度画像合成処理に用いない、あるいは、重み付けＷu(a)を０にすることとしても良い。かかる場合には、「動き」が生じやすく、生成画像の画質低下の原因となる可能性の高いフレーム画像データＦ(a)を排除し、生成画像Ｇの画質低下を低減することができる。
【０１１０】
上記実施例では、ディジタルビデオカメラ１０によって生成された動画像データから複数のフレーム画像データを取得しているが、高解像度画像データの生成に用いる複数の画像データの取得態様は、これに限られるものではない。例えば、ディジタルスチルカメラの動画撮影モードで撮像された動画像データや、連写機能を備えたディジタルスチルカメラで連続撮影された複数の静止画像データ等、時系列に並ぶ複数の画像データであれば良い。連写機能とは、一般的に、メモリーカードにデータを転送しないで、ディジタルスチルカメラ内部の高速なメモリー（バッファメモリー）に画像データをため込むことで、複数のカットを高速で連続して撮影する機能をいう。
【０１１１】
上記実施例に係る画像処理装置では、位置ずれ補正量は、勾配法によって算出しているが、他の算出方法を用いても良い。例えば、周知のパターンマッチ法により位置ずれ補正量を大ざっぱに（例えば、画素単位の精度で）算出した後、勾配法により位置ずれ補正量を高い精度で（画素単位より細かい精度で）算出しても良い。
【０１１２】
また、ディジタルビデオカメラ１０に角速度センサ等を備え、これらによってフレーム画像データ生成時におけるディジタルビデオカメラ１０の向きの変化に関する情報（いわゆる手ぶれ情報）を取得し、画像処理装置にフレーム画像データと共に出力しても良い。かかる場合には、その向きの変化に関する情報を用いて位置ずれ補正量を算出できる。
【０１１３】
以上、実施例、変形例に基づき本発明に係る画像処理について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
【図面の簡単な説明】
【０１１４】
【図１】第１の実施例に係る画像処理装置を含む画像処理システムの一例を示す説明図。
【図２】第１の実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図。
【図３】第１の実施例に係る画像処理の処理ルーチンを示すフローチャート。
【図４】基準となる画像ｆ(0)に対する画像ｆ(a)の位置ずれを示す説明図。
【図５】フレーム画像データＦ(0)を基準として、フレーム画像データＦ(a)に対して行う位置ずれ補正について示す説明図。
【図６】勾配法による位置ずれ補正量の算出方法について説明する第１の説明図。
【図７】勾配法による位置ずれ補正量の算出方法について説明する第２の説明図。
【図８】画素の回転補正量を模式的に示す説明図。
【図９】高解像度画像合成処理の処理ルーチンを示すフローチャート。
【図１０】ｆ(0)〜ｆ(3)を位置ずれ補正して重ね合わせた一例を、拡大して示す説明図。
【図１１】バイ・リニア法による補間処理について示す説明図。
【図１２】画素間距離別重み付けＷs(a,i)の算出について説明する説明図。
【図１３】時間的距離別重み付けＷt(a)の算出について説明する説明図。
【図１４】時間的距離別重み付けＷt(a)を記録したテーブルを示す概略図。
【図１５】第２の実施例に係る画像処理の処理ルーチンを示すフローチャート。
【図１６】フレーム画像データ選択処理の処理ルーチンを示すフローチャート。
【図１７】画像ｆ(0)、ｆ(4)、ｆ(5)を、位置ずれ補正して重ね合わせた一例を、拡大して示す説明図。
【符号の説明】
【０１１５】
１０…ディジタルビデオカメラ（ＤＶＣ）
２０…パーソナルコンピュータ
２００…中央演算装置（ＣＰＵ）
２０１…ランダムアクセスメモリ（ＲＡＭ）
２０２…ハードディスク（ＨＤＤ）
２０３…カードスロット
２０４…入出力端子
２０５…光学ディスクドライブ
２５…モニタ
３０…プリンタ
４０…表示装置
４５…表示部
ＭＣ…メモリカード
ＬＤ…光学ディスク
Ｍ２１０…画像データ取得部
Ｍ２２０…補正量算出部
Ｍ２３０…位置ずれ補正部
Ｍ２４０…重み付け設定部
Ｍ２４１…画素間距離別重み付け設定部
Ｍ２４２…時間的距離別重み付け設定部
Ｍ２４３…位置ずれ量別重み付け設定部
Ｍ２５０…高解像度画像生成部
Ｍ２５１…画素位置設定部
Ｍ２５２…単一画像参照画素値算出部
Ｍ２５３…画素データ生成部
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、比較的低解像度の複数の画像データから高解像度の画像データを生成する技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラで生成された動画像データを構成するフレーム画像や、デジタルスチルカメラによって連続撮影された画像データのように、時系列に並ぶ複数の近似した画像データが取得される場合がある。これらの近似した複数の画像データを元画像データとして、元画像データより高解像度の画像データを生成する技術が知られている（例えば、特許文献１）。
【０００３】
【特許文献１】特開平１１−１６４２６４号公報
【特許文献２】特開２０００−２４４８５１号公報
【０００４】
上記技術では、例えば、元画像データとして、動画像データを構成する連続する複数のフレーム画像を用いる場合において、フレーム画像の画像データを解析して、各フレーム画像間の移動ベクトル（いわゆるフレーム画像間のずれに相当する）を画素ピッチより細かい単位で算出する。そして、算出した移動ベクトルに基づいて、各フレーム画像を重ね合わせて、高解像度の画像データを生成している。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、合成に用いる複数のフレーム画像の中には、生成される高解像度画像に対して、画質低下を引き起こす情報を与えるデータが含まれている場合がある。例えば、合成に用いるフレーム画像の一部に、合成の基準となるフレーム画像に対する「動き」が発生している場合がある。「動き」とは、手ぶれによる被写体の揺れのように、フレーム画像全体の一様な変化ではなく、フレーム画像中における一部の被写体の局所的な変化を意味している。このような「動き」が生じているフレーム画像は、「動き」が生じている部分において、基準となるフレーム画像と被写体が一致するように正確に重ね合わせることができない。この結果、「動き」が生じているフレーム画像は、「動き」のある被写体の２重像を生じさせるなど、生成される高解像度画像の画質を低下させてしまうおそれがあった。
【０００６】
また、上記課題は、デジタルビデオカメラで生成された動画像データを用いる場合に限らず、デジタルスチルカメラで連続撮影された複数の画像データを用いる場合などにも共通した課題であった。
【０００７】
本発明は、上記課題を解決するためになされたものであり、複数の画像データに基づいてより高解像度の画像データを生成する場合に、生成される高解像度画像の画質を改善することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の第１の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記複数の画像データを取得する画像データ取得手段と、前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出する補正量算出手段と、前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正する位置ずれ補正手段と、前記高解像度画像データの生成に用いた場合に生成される前記高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定する重み付け設定手段と、前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像生成手段とを備えることを特徴とする。
【０００９】
本発明の第１の態様に係る画像処理装置によれば、時系列に並ぶ複数の画像データを合成して高解像度画像データを生成する際に、各画像データごとに設定される重み付けを用いて合成が行われる。重み付けは、生成される高解像度画像データ（以下、生成データという。）が表す画像（以下、生成画像という。）の画質を低下させる可能性の大きさ大きい画像データほど小さく、可能性が小さい画像データほど大きく設定される。したがって、生成画像の画質を低下させる可能性の高い画像データが生成データに与える影響が小さくなる。この結果、生成画像の画質低下を低減することができる。
【００１０】
本発明の第１の態様に係る画像処理装置において、前記重み付けの設定は、前記複数の画像データのそれぞれに関連付けられた指標であって、前記画質を低下させる可能性の大きさを表す指標を用いて実行されるても良い。かかる場合には、生成画像の画質を低下させる可能性の大きさを表す指標を用いて、適切な、重み付けを設定することができる。
【００１１】
本発明の第１の態様に係る画像処理装置において、前記指標は、前記複数の画像データの中から選択された基準画像データに対する各画像データの時間的距離を含み、前記重み付け設定手段は、前記時間的距離が大きい画像データほど小さく、前記時間的距離が小さい画像データほど大きい重み付けを設定する時間的距離別重み付け設定手段を備えても良い。合成の基準となる画像データと時間的に離れた画像データは、前述した「動き」等が生じている可能性が高い。「動き」は生成画像の画質低下を引き起こす。合成する際、時間的距離に応じて設定された重み付けを用いることにより、このような生成画像の画質を低下させる可能性の高い画像データが、生成データに与える影響を小さくすることができる。
【００１２】
本発明の第１の態様に係る画像処理装置において、前記指標は、前記複数の画像データの中から選択された基準画像データが表す画像と各画像データが表す画像との間における前記補正量の大きさを含み、前記重み付け設定手段は、前記補正量が大きい画像データほど小さく、前記補正量が小さい画像データほど大きい重み付けを設定する位置ずれ量別重み付け設定手段を備えても良い。合成の基準となる画像データが表す画像との間に生じている位置ずれが大きい画像の画像データは、前述した「動き」等が生じている可能性が高い。「動き」は生成画像の画質低下を引き起こす。合成する際、算出された補正量の大きさは、位置ずれの大きさを表すから、補正量に応じて設定された重み付けを用いることにより、このような生成画像の画質を低下させる可能性の高い画像データが、生成データに与える影響を小さくすることができる。
【００１３】
本発明の第１の態様に係る画像処理装置において、前記指標は、前記生成される高解像度画像データを構成する生成画素データごとに設定されるものであって、前記補正された各画像データを構成する前記画素データのうち前記生成画素データの最近接にある画素データと、前記生成画素データとの画素間距離を含み、前記重み付け設定手段は、前記画素間距離が大きい画像データほど小さく、前記画素間距離が小さい画像データほど大きい重み付けを設定する画素間距離別重み付け設定手段を備えても良い。位置ずれ補正後において、生成画素データと、構成画素データのうち生成画素データの最近接にある画素データとの画素間距離が長い画像データは、その生成画素データに対して画質低下を引き起こす情報を与える可能性が高い。合成する際、生成画素データごとに、上述した画素間距離に応じて設定された重み付けを用いることにより、このような情報を与える可能性の高い画像データの生成画素データに対する影響を小さくすることができる。この結果、生成画像の画質低下を低減することができる。
【００１４】
本発明の第１の態様に係る画像処理装置において、前記高解像度画像生成手段は、前記生成される高解像度画像データが表す画像を構成する画素の位置を設定する画素設定手段と、前記設定された位置における画素値であって、前記補正された複数の画像データの中の一の画像データに基づいて算出される画素値である単一画像参照画素値を、各画像データごとにそれぞれ算出する単一画像参照画素値算出手段と、前記重み付けを用いて算出される前記単一画像参照画素値の重み付き平均値を画素値として、前記設定された位置における画素データを生成する画素データ生成手段とを備えても良い。
【００１５】
かかる場合には、各画像データに基づいて算出された単一画像データ参照値について、上述した重み付けを用いた重み付き平均値を算出する。そして、生成データを構成する画素データの画素値には、算出された重み付き平均値が用いられる。したがって、画素データの生成において、生成画像の画質を低下させる可能性の高い画像データの影響が小さくなる。この結果、生成画像の画質低下を低減することができる。
【００１６】
本発明の第１の態様に係る画像処理装置は、さらに、前記指標の値と前記重み付けの値との対応関係が予め記録されたテーブルを記憶する記憶手段を備え、前記重み付けは、前記テーブルを参照して設定されても良い。また、前記重み付けは、前記指標と前記重み付けとの間の関係を示す所定の関係式を用いて設定されても良い。かかる場合には、テーブルを参照して、あるいは、所定の関係式を用いて簡単に、上述した重み付けを用いた高解像度画像データの生成を実行できる。
【００１７】
本発明の第１の態様に係る画像処理装置において、前記複数の画像データの合成は、前記補正された複数の画像データの中の一の画像データであって、その画像データの表す画像の各画素が、生成される高解像度画像データの表す画像の座標空間において、前記補正された複数の画像データの中の他の画像データの表す画像の各画素と同一の座標に位置する重複画像データが存在する場合には、前記高解像度画像データの生成は、前記重複画像データを用いないで実行されても良い。一の画像データの表す画像の各画素と他の画像データの表す画像の各画素が、生成される高解像度画像データの表す画像の座標空間において、同一の座標に位置する場合、すなわち、画素位置が重複する場合、このような画像データを２つとも合成しても生成画像データの高解像度化に貢献しない。このような、重複画像データが存在する場合には、重複画像データを用いないでデータの高解像度画像データの生成を実行することにより、高解像度画像データの生成に係る処理負荷の軽減を図ることができる。また、合成に使用する画像データが少なくなることで、２重像となる危険性も低減することができる。
【００１８】
本発明の第１の態様に係る画像処理装置において、前記他の画像データが表す画像と前記一の画像データが表す画像との間における前記補正量が、所定の判定条件を満たす場合に、前記一の画像データは前記重複画像データであると判断しても良い。かかる場合には、算出された各画像間における補正量を用いて、簡便に重複画像データが存在するか否かを判断することができる。
【００１９】
本発明の第２の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法を提供する。本発明の第２の態様に係る画像処理方法は、前記複数の画像データを取得し、前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出し、前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正し、前記高解像度画像データの生成に用いた場合に前記生成される高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定し、前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成することを特徴とする。
【００２０】
本発明の第３の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法を提供する。本発明の第３の態様に係る画像処理方法は、前記複数の画像データを取得し、前記複数の画像データが表す各画像間における被写体を補正するための補正量を算出し、前記複数の画像データの中から選択された基準画像データに対する各画像データの時間的距離が大きい画像データほど小さく、前記時間的距離が小さい画像データほど大きい重み付け、前記複数の画像データの中から選択された基準画像データが表す画像と各画像データが表す画像との間における前記補正量が大きい画像データほど小さく、前記補正量が小さい画像データほど大きい重み付け、の少なくとも１つの重み付けを前記複数の画像データのそれぞれについて設定し、前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成することを特徴とする。
【００２１】
本発明の第４の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法を提供する。本発明の第４の態様に係る画像処理方法は、前記複数の画像データを取得し、前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出し、前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正し、前記生成される高解像度画像データを構成する生成画素データごとに設定されるものであって、前記補正された各画像データを構成する前記画素データのうち前記生成画素データの最近接にある画素データと、前記生成画素データとの画素間距離を算出し、前記画素間距離が大きい画像データほど小さく、前記画素間距離が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定し、前記設定された重み付けと前記各画像データを用いて、生成画素データの画素値を算出することによって、前記高解像度画像データを生成することを特徴とする。
【００２２】
本発明の第５の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理をコンピュータに実行させるコンピュータプログラムを提供する。本発明の第５の態様に係るコンピュータプログラムは、前記複数の画像データを取得する画像データ取得機能と、前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出する補正量算出機能と、前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正する位置ずれ補正機能と、前記高解像度画像データの生成に用いた場合に生成される前記高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定する重み付け設定機能と、前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像生成機能とをコンピュータに実現させることを特徴とする。
【００２３】
本発明の第２〜第４の態様に係る画像処理方法および本発明の第５の態様に係るコンピュータプログラムによれば、本発明の第１の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第２の態様に係る画像処理方法および本発明の第３の態様に係るコンピュータプログラムは、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。また、本発明の第３の態様に係るコンピュータプログラムは、コンピュータプログラムを記録したコンピュータが読み取り可能な記録媒体としても実現され得る。
【発明を実施するための最良の形態】
【００２４】
以下、本発明にかかる画像処理装置について、図面を参照しつつ、実施例に基づいて説明する。
【００２５】
Ａ．第１の実施例
・画像処理システムの構成：
図１は、本発明の第１の実施例に係る画像処理装置を含む画像処理システムの一例を示す説明図である。本発明の第１の実施例に係る画像処理装置を適用可能な画像処理システムの構成について図１を参照して説明する。
【００２６】
画像処理システムは、画像データを生成する撮像装置としてのディジタルビデオカメラ１０、ディジタルビデオカメラ１０にて生成された複数の画像データから、高解像度の画像データを生成する画像処理装置としてのパーソナルコンピュータ２０、画像データを用いて画像を出力する出力装置としてのカラープリンタ３０を備えている。また、出力装置としては、プリンタ３０の他に、例えば、ＬＣＤディスプレイのモニタ２５、表示装置４０が用いられ得る。
【００２７】
ディジタルビデオカメラ１０は、設定されたフレームレートで、時系列に並ぶ複数の画像データＧＤ1〜ＧＤn（以下、フレーム画像データという。）を生成するカメラである。画像データは、光の情報をディジタルデバイス（ＣＣＤや光電子倍増管）に結像させ、デジタル信号に変換することによって生成される。ディジタルビデオカメラ１０は、生成された複数のフレーム画像データＧＤ1〜ＧＤnを１つの画像ファイルＧＦ（動画ファイル）として、光学ディスクＬＤ（例えば、ＤＶＤ−ＲＡＭ等）に保存する。もちろん、画像ファイルＧＦの保存には、光学ディスクＬＤのみならず、デジタルビデオテープや、メモリカードＭＣ等、種々の記録媒体が用いられ得る。
【００２８】
パーソナルコンピュータ２０は、一般的に用いられるタイプのコンピュータであり、高解像度の画像データを生成する処理を含む画像処理プログラムを実行するＣＰＵ２００、ＣＰＵ２００における演算結果、画像データ等を一時的に格納するＲＡＭ２０１、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）２０２を備えている。パーソナルコンピュータ２０は、ＤＶＤ等の光学ディスクＬＤ用のディスクドライブ２０５、メモリカードＭＣを装着するためのカードスロット２０３、ディジタルビデオカメラ１０からの接続ケーブルを接続するための入出力端子２０４を備えている。
【００２９】
プリンタ３０は、画像データをカラー画像として出力可能なプリンタであり、例えば、シアン、マゼンタ、イエロー、ブラックの４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記４色に加えて、ライトシアン（薄いシアン）、ライトマゼンタ（薄いマゼンタ）、レッド、ブルーを用いても良い。
【００３０】
表示装置４０は、画像データの画像を表示するための表示ディスプレイ４５を有し、例えば、電子式の写真フレームとして機能する表示装置である。表示ディスプレイ４５は、例えば、液晶表示ディスプレイ、有機ＥＬ表示ディスプレイが用いられ得る。
【００３１】
プリンタ３０および表示装置４０は、スタンドアローンにて画像処理、画像出力を実行するため、パーソナルコンピュータ２０が備える画像処理機能を備えても良い。かかる場合には、プリンタ３０、表示装置４０は、パーソナルコンピュータ２０を介さずに、例えば、メモリーカードＭＣ等の記憶媒体、あるいは、ケーブルを介してディジタルビデオカメラ１０から画像データを取得し、プリンタ３０、表示装置４０がそれぞれ本実施例における画像処理装置として機能することができる。
【００３２】
以下の説明では、ディジタルビデオカメラ１０で生成された画像データが、パーソナルコンピュータ２０に送出され、パーソナルコンピュータ２０にて高解像度の画像データを生成する画像処理が実行される場合について説明する。
【００３３】
・パーソナルコンピュータ２０の機能的構成：
図２は、本実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。図２を参照してパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成の概要について説明する。
【００３４】
画像データ取得部Ｍ２１０は、画像ファイルＧＦに記録されたフレーム画像データＧＤ1〜ＧＤnの中から選択された時系列に並ぶ複数のフレーム画像データを取得する。
【００３５】
補正量算出部Ｍ２２０は、画像データ取得部Ｍ２１０が取得した複数のフレーム画像データが表す各画像間に生じている位置ずれ（以下、単に、位置ずれという。）を補正するための補正量（以下、単に、位置ずれ補正量という。）を算出する。そして、位置ずれ補正部Ｍ２３０は、補正量算出部Ｍ２２０から取得した位置ずれ補正量を用いて、上述した位置ずれを補正する。
【００３６】
重み付け設定部Ｍ２４０は、複数のフレーム画像データごとに重み付けＷ(a,i)を設定する。重み付け設定部Ｍ２４０は、画素間距離別重み付け設定部Ｍ２４１、時間的距離別重み付け設定部Ｍ２４２、位置ずれ量別重み付け設定部Ｍ２４３を備える。画素間距離別重み付け設定部Ｍ２４１、時間的距離別重み付け設定部Ｍ２４２、位置ずれ量別重み付け設定部Ｍ２４３によって、それぞれ、画素間距離を考慮した画素間距離別重み付けＷs(a,i)、時間的距離を考慮した時間的距離別重み付けＷt(a)、位置ずれ補正量の大きさを考慮した位置ずれ量別重み付けＷu(a)が設定される。これらの３つの重み付けＷs(a,i)、Ｗt(a)、Ｗu(a)を要素として、最終的な重み付けＷ(a,i)が設定される。これらの重み付けＷ(a,i)、Ｗs(a,i)、Ｗt(a)、Ｗu(a)については、後述する。
【００３７】
高解像度画像生成部Ｍ２５０は、重み付け設定部Ｍ２４０から取得した重み付けＷ(a,i)を用いて、複数のフレーム画像データを合成して、フレーム画像データより解像度の高い高解像度画像データ（生成データ）を生成する。高解像度画像生成部Ｍ２５０は、画素設定部Ｍ２５１と、単一画像参照画素値算出部Ｍ２５２、画素データ生成部Ｍ２５３を備える。
【００３８】
画素設定部Ｍ２５１は、生成データが表す画像Ｇ（生成画像）を構成する画素の位置を設定する。すなわち、生成画像の注目画素Ｇ(i)を設定する。単一画像参照画素値算出部Ｍ２５２は、複数のフレーム画像データの中の一のデータに基づいて算出される注目画素Ｇ(i)の画素値（以下、単一画像参照画素値という。）を、各フレーム画像データごとにそれぞれ算出する。画素データ生成部Ｍ２５３は、最終的に注目画素Ｇ(i)の画素値を生成し、注目画素Ｇ(i)の画素データを生成する。重み付けＷ(a,i)を用いて算出される単一画像参照画素値の重み付き平均値が、最終的に注目画素Ｇ(i)の画素値とされる。
【００３９】
・パーソナルコンピュータ２０における画像処理：
図３〜図１４を参照してパーソナルコンピュータ２０において実行される画像処理について説明する。
【００４０】
図３は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。パーソナルコンピュータ２０（ＣＰＵ２００）は、ユーザーの指示に従って、本画像処理のプログラムを起動する。ＣＰＵ２００は、ユーザの指示に従って光学ディスクＬＤ等から画像ファイルＧＦを読み出し、画像ファイルＧＦに記録されたフレーム画像データＧＤ1〜ＧＤnが表す動画像を再生する。
【００４１】
動画像の再生中に、ユーザによってフレーム画像データの取得指示が入力されると、ＣＰＵ２００は、動画像データＭＤを構成するフレーム画像データＧＤ１〜ＧＤｎの中から、連続する複数のフレーム画像データを取得する（ステップＳ１０）。各フレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す階調データ（以下、「画素データ」とも呼ぶ。）で構成されている。画素データは、３つの画素値Ｙ（輝度）、Ｃｂ(ブルーの色差)、Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、３つの画素値Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等が用いられ得る。本実施例では、ＣＰＵ２００は、ユーザーに指示されたフレーム画像データと、そのフレームと時系列に並ぶ前後１０フレーム分ずつのフレーム画像データ（合計２１フレーム分）を取得するものとする。ＣＰＵ２００は、取得した２１個のフレーム画像データをＲＡＭ２０１に一時的に格納する。
【００４２】
以下の説明では、取得した２１個のフレーム画像データの番号（以下、「フレーム番号」とも呼ぶ。）をaとし、フレーム番号aのフレーム画像データをフレーム画像データＦ(a)(a=-10〜+10)と呼ぶこととする。そして、フレーム画像データＦ(a)が表す画像を画像ｆ(a)(a=-10〜+10)と呼ぶこととする。また、ユーザーにより選択されたフレーム画像データＦ(0)、すなわち、取得された２１個のフレーム画像データＦ(a)のうち時系列的に中間にあるフレーム画像データＦ(0)を、特に基準フレーム画像データとも呼ぶこととする。
【００４３】
ユーザによって、取得したフレーム画像について、高解像度の静止画像を生成する指示が入力されると、まず、ＣＰＵ２００は、２１個のフレーム画像データＦ(a)が表す各画像間における被写体の位置ずれ（以下、単に位置ずれという。）を解消する補正（以下、位置ずれ補正という。）のための補正量を算出する（ステップＳ２０）。ここで、位置ずれおよび位置ずれ補正について説明しておく。
【００４４】
図４は、基準フレーム画像データＦ(0)が表す画像ｆ(0)とそれ以外の一のフレーム画像データＦ(a)が表す画像ｆ(a)間の位置ずれを示す説明図である。また、図５は、基準フレーム画像データＦ(0)を基準として、フレーム画像データＦ(a)に対して行う位置ずれ補正について示す説明図である。位置ずれ補正量を算出するにあたっては、基準フレーム画像データＦ(0)を基準とする。すなわち、フレーム画像データＦ(0)に対する位置ずれ補正量を、前後１０ずつ計２０個のフレーム画像データＦ(a )(a=-10〜-1,1〜10)について、それぞれ算出するものとする。
【００４５】
位置ずれは、画像の横方向および縦方向の並進のずれ（以下、単に、並進ずれという。）と、画像の中心を軸とした回転のずれ（以下、単に、回転ずれという。）との組み合わせで表される。図４では、基準となる画像ｆ(0)に対する、画像ｆ(a)のずれ量を分かり易く示すため、画像ｆ(0)の縁と、画像ｆ(a)の縁とを重ねて示すとともに、画像ｆ(0)が表す画像上の中心位置に仮想の十字画像Ｘ０を追記し、この十字画像Ｘ０が、画像ｆ(a)と同様にずれたとして、画像ｆ(a)上に、ずれた結果の画像である十字画像Ｘaを示すようにしている。更に、このずれ量を、より分かり易く示すために、画像ｆ(0)および十字画像Ｘ０を太い実線で示すとともに、画像ｆ(a)および十字画像Ｘaを細い破線で示すようにしている。
【００４６】
本実施例では、図４に示すように、並進ずれ量として横方向を「ｕｍ」、縦方向を「ｖｍ」と表し、回転ずれ量を「δｍ」と表し、画像ｆ(a)の画像ｆ(0)に対するずれ量を「ｕｍa」、「ｖｍa」、「δｍa」と表すこととする。例えば、基準フレーム画像データＦ(0)の画像ｆ(0)より時系列的に３つ後のフレーム画像データＦ(3)が表す画像ｆ(3)の、画像ｆ(0)に対するずれ量は、ｕｍ３、ｖｍ３、δｍ３と表される。
【００４７】
また、補正とは、画像の各画素の位置を、横方向にｕの移動、縦方向にｖの移動、およびδの回転を施した位置に移動させるように、フレーム画像データにおいて各画素データの座標を変換することを意味する。ｕは、横方向の並進補正量を表し、ｖは、縦方向の並進補正量を表している。そして、δは、回転補正量を表している。
【００４８】
フレーム画像データＦ(0)に対するフレーム画像データＦ(a)の位置ずれ補正量を「ｕa」、「ｖa」、「δa」と表すこととすると、位置ずれ補正量と、上述した位置ずれとの間には、ｕa＝−ｕｍa、ｖa＝−ｖｍa、δa＝−δｍaの関係が成り立つ。例えば、フレーム画像Ｆ(3)についての位置ずれ補正量ｕ３、ｖ３、δ３は、ｕ３＝−ｕｍ３、ｖ３＝−ｖｍ３、δ３＝−δｍ３で表される。
【００４９】
以上説明したように、例えば、図５に示すように、位置ずれ補正量ｕa、ｖa、δaを用いて、フレーム画像データＦ(a)に対して補正を実行するすることにより、画像ｆ(a)と基画像ｆ(0)の被写体を互いに一致させることができる。すなわち、補正後のフレーム画像データＦ(a)が表す画像ｆ(a)と、画像ｆ(0)とを重ね合わせると、図５に示すように、補正後の画像ｆ(a)は、画像ｆ(0)に対して部分一致する。なお、この補正の結果を分かり易く示すため、図５においても、図４と同じ仮想の十字画像Ｘ０および十字画像Ｘaを表記しており、図５に示すように、補正の結果として、十字画像Ｘaは十字画像Ｘ０と一致することとなる。
【００５０】
なお、上述の「部分一致する」とは、以下のことを意味するものである。すなわち、図５に示すように、例えば、ハッチングを施した領域Ｐ１は、画像ｆ(a)にのみ存在する領域であり、画像ｆ(0)には、該当する領域は存在しない。このように、上述の補正を行ったとしても、ずれに起因して、画像ｆ(0)にのみ、または、ｆ(a)にのみ存在する領域が生じてしまうため、画像ｆ(a)は、画像ｆ(0)に対して完全一致することはなく、部分一致することとなる。
【００５１】
図３に戻って、位置ずれ補正量ｕa、ｖa、δaの算出処理について説明する。後に生成される生成画像Ｇにおいて十分な画質を確保するためには、位置ずれ補正量は、画像ｆ(a)の画素単位より細かい精度（いわゆるサブピクセルレベルの精度）で算出される必要がある。例えば、並進補正量ｕa、ｖaは、１／１６画素単位で、回転補正量δaは、１／１００度単位で算出される。従って、位置ずれ補正量の算出には、画素単位よりも細かい精度で補正量を算出可能な解析手法が用いられる。本実施例では、ＣＰＵ２００は、補正対象であるフレーム画像データＦ(a)と基準となるフレーム画像データＦ(0)の各画素データの画素値（例えば輝度値）を用いて、勾配法（グラディエント法）を実行することによって、位置ずれ補正量を算出する。以下では、先ず、勾配法について説明する。
【００５２】
図６および図７を参照して、勾配法について説明する。図６は、勾配法による位置ずれ補正量の算出方法について説明する第１の説明図である。図７は、勾配法による位置ずれ補正量の算出方法について説明する第２の説明図である。図６において、黒い丸は、基準となる画像ｆ(0)の画素を表し、例えば、（x1i、y1i）は、画像ｆ(0)の中心を原点とする直交座標上における画素の座標を表している。そして、白い丸は、画像ｆ(0)と部分一致するように重ねられた画像ｆ(a)の画素Ｐ_tar（x2i、y2i）を表し、座標（x2i，y2i）は、画像ｆ(a)の中心を原点とする直交座標上における座標を表している。以下、画素Ｐ_tar（x2i、y2i）を着目画素iとして説明を進める。着目画素Ｐ_tar（x2i、y2i）は、画像ｆ(0)と部分一致するように重ねられた場合に、画像ｆ(0)の画素Ｐ_ref（x1i、y1i）の近傍の位置（x1i＋Δxi、y1i＋Δyi）に位置すると仮定する。ここで、iは、各画素を区別する番号である。
【００５３】
まず、着目画素Ｐ_tar（x2i、y2i）に対応する画像ｆ(0)の画素Ｐ_ref（x1i、y1i）と、その上下左右にある４つの画素Ｐ_ref（x1i+1、y1i）、Ｐ_ref（x1i-1、y1i）、Ｐ_ref（x1i、y1i+1）、Ｐ_ref（x1i、y1i-1）が、参照画素として選択される。
【００５４】
図７（ａ）は、画像ｆ(a)と画像ｆ(0)とを部分一致するように重ねた場合において、着目画素Ｐ_tar（x2i、y2i）と画素Ｐ_ref（x1i、y1i）とのｘ１軸上の距離Δxiを推定する方法を示している。まず、画素Ｐ_ref（x1i、y1i）と、左右に隣接する画素Ｐ_ref（x1i-1、y1i）、Ｐ_ref（x1i+1、y1i）の輝度値Ｂ_ref（x1i、y1i）、Ｂ_ref（x1i-1、y1i）、Ｂ_ref（x1i+1、y1i）とを用いて、輝度勾配ΔＢxiが算出される。ΔＢxiは、図７（ａ）において直線Ｒ１の傾きで表される量で、画素Ｐ_ref（x1i、y1i）の近傍における輝度勾配である。例えば、３つの画素値を用いて、近似直線を求めてその傾きをΔＢxiとして用いても良いし、単に、左右の画素値を結ぶ直線の傾き｛Ｂ_ref（x1i+1、y1i）−Ｂ_ref（x1i-1、y1i）｝／２をΔＢxiとして用いても良い。
【００５５】
そして、着目する画素Ｐ_tar（x2i、y2i）の輝度値Ｂ_tar（x2i、y2i）が、図７（ａ）に示す直線Ｒ１上にあるものと仮定すると、
ΔＢxi・Δxi＝Ｂ_tar（x2i、y2i）−Ｂ_ref（x1i、y1i）が成立する。ここで、Ｂ_tar（x2i、y2i）およびＢ_ref（x1i、y1i）を単にＢ_tar、Ｂ_refで表すと、
ΔＢxi・Δxi - (Ｂ_tar - Ｂ_ref）= 0 …（１）
が成立する。
【００５６】
図７（ｂ）は、画像ｆ(a)と画像ｆ(0)とを部分一致するように重ねた場合において、着目画素Ｐ_tar（x2i、y2i）と画素Ｐ_ref（x1i、y1i）とのｙ１軸上の距離Δyiを推定する方法を示している。上述したΔｘの推定と同様の手法により、
ΔＢyi・Δyi - (Ｂ_tar - Ｂ_ref）= 0 …（２）
の式が導ける。ここで、式（１）、および、式（２）を満たすΔxi、Δyiを求めれば、着目画素Ｐ_tar（x2i、y2i）の画像ｆ(0)上における位置がわかることになる。
【００５７】
この考え方を拡張して、画像ｆ(a)を構成する全ての画素について、共通する補正量（ua、ｖa、δa）を求めるには、最小自乗法を用いて、以下のＳ2を最小にすることを考えれば良い。
Ｓ2＝Σ｛ΔＢxi・Δxi＋ΔＢyi・Δyi−（Ｂ_tar - Ｂ_ref）｝2 ...(３)
【００５８】
ここで、補正量（ua、ｖa、δa）と、各画素iについてのΔxi、Δyiとの関係について考える。図８は、画素の回転補正量を模式的に示す説明図である。画像ｆ(0)の座標（x1，y1）の原点Ｏからの距離をｒとし、ｘ１軸からの回転角度をθとすると、ｒ，θは、下式で表される。
ｒ＝（x12＋y１2）1/2 …（４）
θ＝tan-1（y１／x1） …（５）
【００５９】
ここで、画像ｆ(a)は、画像ｆ(0)に対する並進ずれはなく、回転ずれのみが発生しているものとし、画像ｆ(a)における座標（ｘ２，ｙ２）の画素が、画像ｆ(0)上の座標（x1，y1）の位置から回転補正量δだけ回転した座標(x1'，y1')にあるとする。この回転補正量δaによるｘ１軸方向の移動量Δｘとｙ１軸方向の移動量Δｙは、下式により求められる。
Δx＝x1'−x1≒−ｒ・δa・sinθ＝−δa・y1 …（６）
Δy＝y1'−y1≒ｒ・δa・cosθ＝δa・x1 …（７）
【００６０】
したがって、上記式（３）における各画素iについてのΔxi、Δyiは、補正量（ｕ，ｖ、δ）を用いて、下式のように表すことができる。
Δxi＝ｕa−δa・y1i …（８）
Δyi＝ｖa＋δa・x1i …（９）
ここで、x1iおよびy1iは、画像ｆ(0)における画素Ｐ_ref（x1i、y1i）の座標である。
【００６１】
上記式（８），（９）を上記式（３）に代入すると、下式が得られる。
Ｓ2＝Σ｛ΔBxi・（ｕa−δa・ｙ1i）＋ΔBｙi・（ｖa＋δa・x1i）−（Ｂ_tar - Ｂ_ref）｝2 …（１０）
【００６２】
すなわち、画像ｆ(a)の全画素について、対応する座標値と輝度値を式（１８）に代入したときに、Ｓ2を最小にする補正量（ｕa，ｖa，δa）を最小自乗法によって求めることができる。
【００６３】
ここで、図６に戻って説明を続ける。位置ずれ補正量が、２０個の画像ｆ(a)(a=-10〜-1,1〜10)の全てについて算出されると、ＣＰＵ２００は、算出された位置ずれ補正量を用いて、フレーム画像データＦ(a)(a=-10〜-1,1〜10)に対して位置ずれ補正を実行する（ステップＳ３０）。この結果、画像ｆ(a)(a=-10〜-1,1〜10)と基準となる画像ｆ(0)の計２１個の画像を、部分一致するように重ね合わせることができる（図５参照）。
【００６４】
ＣＰＵ２００は、続いて、重ね合わせた２１個のフレーム画像データＦ(a)を合成して、フレーム画像データＦ(a)より高解像度の画像を表す画像データ（以下、高解像度画像データという。）を生成する処理（以下、高解像度画像合成処理という。）を実行する（ステップＳ４０）。
【００６５】
図９は、高解像度画像合成処理の処理ルーチンを示すフローチャートである。ＣＰＵ２００は、高解像度画像合成処理を開始すると、先ず、生成する高解像度画像データ（以下、生成データという。）が表す画像（以下、生成画像という。）Ｇを構成する画素の位置を設定する。そして、位置を設定した画素のうち画素データを生成する注目画素Ｇ(i)を設定する（ステップＳ４０１）。iは、各画素を区別する番号である。ここで、生成画像Ｇおよび生成画像Ｇを構成する画素について説明しておく。
【００６６】
図１０は、基準となる画像ｆ(0)と画像ｆ(1)〜ｆ(3)とを、位置ずれ補正して部分一致するように重ね合わせた一例を拡大して示す説明図である。実際には、２１個の画像を重ね合わせるが、図１０においては、図を解りやすくするため、ｆ(0)〜ｆ(3)の４つの画像のみを示し、他の画像については示していない。図１０では、生成画像Ｇの各画素が黒丸で示されているとともに、画像ｆ(0)の各画素が白抜きの四辺形で示され、画像ｆ(1)〜ｆ(3)の各画素が、ハッチングを施した四辺形で示されている。なお、生成画像Ｇの画素密度は、画像ｆ(0)に対して、縦横１．５倍密に設定されるものとする。また、生成画像Ｇの各画素は、２画素おきに画像ｆ(0)の各画素に重なる位置にあるものとする。ただし、生成画像Ｇの画素が、必ずしも画像ｆ(0)の各画素に重なる位置にある必要はない。例えば、生成画像Ｇの各画素のすべてが、画像ｆ(0)の各画素の中間に位置する等、種々の位置とすることができる。また、生成画像Ｇの画素密度も、縦横１．５倍に限定されるものではなく、自由に設定することができる。
【００６７】
高解像度画像合成処理では、上述した生成画像Ｇを構成する全ての画素を順番に注目画素として、それぞれ画素値を算出して画素データを生成していく。注目画素Ｇ(i)は、例えば、生成画像Ｇの左上端の画素から右上端の画素まで、次に１つ下の列の左端の画素から右端の画素までという順番に設定される。以下では、図１０の中央に位置する画素を注目画素Ｇ(i)として設定した場合を例に説明を進める。
【００６８】
注目画素Ｇ(i)が設定されると、ＣＰＵ２００は、参照するフレーム画像データＦ(a)を設定する（ステップＳ４０２）。本処理では、１つの注目画素Ｇ(i)の画素値を算出するにあたり、合成に用いるフレーム画像データＦ(a)を順番に１つずつ参照していく。例えば、フレーム画像データＦ(-10)から順番に、Ｆ(-9),Ｆ(-8),Ｆ(-7),....,Ｆ(9),Ｆ(10)と設定すれば良い。
【００６９】
ＣＰＵ２００は、次に、設定された一のフレーム画像データ（以下、参照画像データという。）Ｆ(a)に基づいて、注目画素Ｇ(i)の画素値Ｉa(a,i)を算出する（ステップＳ４０３）。以下、画素値Ｉa(a,i)を単一画像データ参照値と呼ぶ。単一画像データ参照値Ｉa(a,i)は、バイ・リニア法等の補完処理によって算出される。
【００７０】
図１１は、バイ・リニア法による補間処理について示す説明図である。ＣＰＵ２００は、図１１に示すように、画像ｆ(a)を構成する画素であって注目画素Ｇ(i)を囲む４つの画素ｆ(a，j),ｆ(a，j+1),ｆ(a，k),ｆ(a，k+1)で区画される領域を、注目画素Ｇ(i)で４つの区画に分割する。そして、ＣＰＵ２００は、４つの画素ｆ(a，j),ｆ(a，j+1),ｆ(a，k),ｆ(a，k+1)の画素値を、それぞれの画素の対角に位置する区画の面積比によって重み付けして加算することにより、単一画像データ参照値Ｉa(a,i)を算出する。なお、画素ｆ(a，j)は、ｆ(a)のj番目の画素を示している。ｋはj番目の画素に画像ｆ(a)の横方向の画素数を加えた画素の番号を示している。
【００７１】
なお、画素値補間処理の方法については、バイ・リニア法の他、バイ・キュービック法、ニアレストネイバ法等の種々の補間方法を用いることができる。
【００７２】
ＣＰＵ２００は、続いて、生成データを合成する際に、算出した単一画像データ参照値Ｉa(a,i)に対して用いる重み付けＷ(a,i)を算出する（ステップＳ４０４）。重み付けＷ(a,i)は、各フレーム画像データＦ(a)を生成画像データの生成に用いた場合に、生成画像Ｇの画質を低下させる可能性が大きいフレーム画像データＦ(a)ほど小さく、可能性が小さいフレーム画像データＦ(a)ほど大きく設定される。重み付けＷ(a,i)の設定には、各フレーム画像データＦ(a)と関連付けられた指標であって、生成画像Ｇの画質を低下させる可能性の大きさを表す指標（以下、単に、指標という。）を用いて実行される。
【００７３】
具体的には、重み付けＷ(a,i)は、画素間距離別重み付けＷs(a,i)と、時間的距離別重み付けＷt(a)と、位置ずれ量別重み付けＷu(a)を用いて、以下の式（１１）によって与えられる。
Ｗ(a,i) = Ｗs(a,i) × Ｗt (a) × Ｗu(a) …（１１）
画素間距離別重み付けＷs(a,i)と、時間的距離別重み付けＷt(a)と、位置ずれ量別重み付けＷu(a)は、それぞれ、算出に用いられる指標が異なる。以下、これらの重み付けについて説明する。
【００７４】
画素間距離別重み付けＷs(a,i)は、注目画素Ｇ(i)と、画像ｆ(a)の画素であって注目画素Ｇ(i)の最近接にある画素（図１１において、記号Ｆ(a，j)で示す画素）との画素間距離（図１１において記号Ｌ(a,i)で示す距離）を上述した指標として、設定される重み付けである。したがって、画素間距離別重み付けＷs(a,i)は、注目画素Ｇ(i)ごとに、そして、参照するフレーム画像データＦ(a)ごとに、それぞれ異なる値となる。
【００７５】
図１２は、画素間距離別重み付けＷs(a,i)の算出について説明する説明図である。画素間距離別重み付けＷs(a,i)は、画素間距離Ｌ(a,i)が大きいほど小さく、画素間距離Ｌ(a,i)が小さいほど大きく設定される。例えば、図１２（ａ）に示すように、画素間距離Ｌ(a,i)の増加に対して、画素間距離別重み付けＷs(a,i)は直線的に減少することとしても良い。ただし、Ｗｓは負の値を取れないので、所定の画素間距離以上では、重み付けＷs(a,i) = 0とする。また、図１２（ｂ）に示すように、指数関数（例えば、式（１２））を用いて、画素間距離別重み付けＷs(a,i)を算出しても良い。
Ｗs(a,i) = exp｛-L(a,i)/α｝（αは定数） …（１２）
【００７６】
時間的距離別重み付けＷt(a)は、合成の基準となるフレーム画像データＦ(0)と、参照するフレーム画像データＦ(a)との時間的距離を上述した指標として、設定される重み付けである。時間的距離とは、一のフレーム画像データの生成時と他のフレーム画像データの生成時との時間差を意味する。時間的距離は、フレーム番号が時系列的に順番に振られていれば、基準となるフレーム画像データＦ(0)のフレーム番号と、参照するフレーム画像データＦ(a)のフレーム番号の差分で表すことができるので、時間的距離別重み付けＷt(a)は、結局、フレーム番号ａの関数として定まる値である。
【００７７】
図１３は、時間的距離別重み付けＷt(a)の算出について説明する説明図である。時間的距離別重み付けＷt(a)、時間的距離が大きいほど小さく、時間的距離が小さいほど大きく設定される。すなわち、フレーム番号ａの絶対値｜a｜が大きいほど小さく、小さいほど大きく設定される。例えば、図１３（ａ）に示すように、｜a｜の増加に対して、時間的距離別重み付けＷt(a)は直線的に減少することとしても良い。また、図１３（ｂ）に示すように、正規分布関数を用いて、時間的距離別重み付けＷt(a)を算出しても良い。
【００７８】
図１４は、時間的距離別重み付けＷt(a)を記録したテーブルを示す概略図である。時間的距離別重み付けＷt(a)は、結局、フレーム番号ａごとに定まる値であるので、図１３において記号Ｐｔ１またはＰｔ２で示す数値とフレーム番号との対応関係を、予めテーブルとしてプログラム内に記録しておいても良い。この場合は、ＣＰＵ２００は、テーブルを参照することによって、時間的距離別重み付けＷt(a)を取得する。
【００７９】
位置ずれ量別重み付けＷu(a)は、ステップＳ２０において算出された基準画像ｆ(0)に対する参照とする画像ｆ(a)の位置ずれ補正量（ｕa，ｖa，δa）の大きさΔＭ(a)を上述した指標として、設定される重み付けである。位置ずれ補正量の大きさΔＭ(a)には、例えば、並進ずれに対応する補正量のみを考慮して、以下の式（１３）により算出することができる。
ΔＭ(a) = （ｕa2＋ｖa2）1/2 …（１３）
もちろん、回転ずれに対応する補正量δaも考慮しても良い。
【００８０】
位置ずれ量別重み付けＷu(a)は、位置ずれ補正量の大きさΔＭ(a)が大きいほど小さく、位置ずれ補正量の大きさΔＭ(a)が小さいほど大きく設定される。例えば、第１の補正量Ｗs(a,i)と同様に、位置ずれ補正量ΔＭ(a)の増加に対して、位置ずれ量別重み付けＷu(a)は直線的に減少することとしても良いし、指数関数（例えば、式（１４））を用いて、画素間距離別重み付けＷs(a,i)を算出しても良い。
Ｗu(a) = exp｛-ΔＭ(a)/β｝（βは定数） …（１４）
【００８１】
以上説明したように、ＣＰＵ２００は、式（１１）〜（１４）を用いて、重み付けＷ(a,i)を算出することができる。
【００８２】
図９に戻って説明を続ける。ＣＰＵ２００は、重み付けＷ(a,i)を算出すると、２１個の全てのフレーム画像データＦ(a)を参照したか否かを判断する（ステップＳ４０５）。まだ参照していないフレーム画像データＦ(a)があると判断した場合（ステップＳ４０５：ＮＯ）には、ＣＰＵ２００は、ステップＳ４０２に戻ってそのフレーム画素データを参照して、上述したステップＳ４０３〜Ｓ４０４を繰り返す。
【００８３】
全てのフレームデータを参照したと判断した場合（ステップＳ４０５：ＹＥＳ）には、ＣＰＵ２００は、最終的に注目画素Ｇ(i)の画素値Ｉ(i)を算出して注目画素Ｇ(i)の画素データを生成する処理（ステップＳ４０６）に移る。この時点で、上述したＳ４０３〜Ｓ４０４の繰り返しによって、注目画素Ｇ(i)について、各フレーム画像データＦ(a)(a = -10〜+10)のそれぞれを参照した合計２１個の単一画像データ参照値Ｉa(a,i)と、これにそれぞれ対応する２１個の重み付けＷ(a,i)が算出されている。注目画素Ｇ(i)の最終的な画素値Ｉ(i)は、２１個の単一画像データ参照値Ｉa(a,i)の重み付き平均値として与えられる。具体的には、ＣＰＵ２００は、これらの値を以下の式（１５）に代入することによって、注目画素Ｇ(i)の最終的な画素値Ｉ(i)を算出する。
【００８４】
【数１】
【００８５】
式（１５）の分母は、重み付けの総和が１になるように規格化する係数である。従って、重み付けＷ(a,i)は、絶対値自体には意味はなく、各重み付け間の相対的な比率にのみ意味があるものである。ＣＰＵ２００は、注目画素Ｇ(i)の最終的な画素値Ｉ(i)を算出すると、その注目画素Ｇ(i)については処理を終了する。
【００８６】
ＣＰＵ２００は、次に、生成画像Ｇを構成する全ての画素について画素値Ｉ(i)を算出したか否かを判断する（ステップＳ４０７）。まだ画素値Ｉ(i)が生成されていない画素が存在すると判断した場合（ステップＳ４０７：ＮＯ）には、ＣＰＵ２００は、ステップＳ４０１に戻って、画素値Ｉ(i)が生成されていない画素を新たな注目画素Ｇ(i)に設定して、上述したステップＳ４０２〜Ｓ４０６を繰り返す。
【００８７】
全ての画素について、画素値Ｉ(i)が生成されたと判断した場合（ステップＳ４０７：ＹＥＳ）には、ＣＰＵ２００は、本処理を終了する。この結果、高解像度画像データ（生成データ）の生成が完了したことになる。生成された高解像度画像データは、プリンタ３０によって印刷画像として出力される、あるいは、表示装置４０やモニタ２５によって表示画像として出力される等、ユーザーの利用に供される。
【００８８】
以上説明したように、本実施例に係る画像処理によれば、複数のフレーム画像データＦ(a)を合成して、より高解像度の画像データ（生成データ）を生成する際、生成データの各画素データは、重み付けＷ(a,i)を用いた単一画像データ参照値Ｉa(a,i)の重み付き平均値として求められる。言い換えれば、重み付けＷ(a,i)は、生成データに対する一のフレーム画像データＦ(a)の寄与度を表す値である。したがって、重み付けＷ(a,i)を調整すれば、生成データにおける各フレーム画像データの影響を、フレーム画像データＦ(a)ごとに変化させることができる。そして、重み付けＷ(a,i)は、各フレーム画像データが、生成画像Ｇの画質を低下させる可能性が大きい画像データほど小さく、可能性が小さい画像データほど大きく設定される。この結果、生成画像Ｇの画質を低下させる可能性の高いフレーム画像データＦ(a)が生成データに与える影響が小さくなる。したがって、生成画像Ｇの画質低下を低減することができる。また、重み付けＷ(a,i)は、生成画像Ｇの画質を低下させる可能性の大きさを表す指標を用いることによって、適切に設定される。
【００８９】
さらに、重み付けＷ(a,i)について具体的に述べると、重み付けＷ(a,i)には、上述した画素間距離Ｌ(a,i)を上述した指標として設定される画素間距離別重み付けＷs(a,i)が成分として含まれている。画素間距離Ｌ(a,i)が大きいフレーム画像データＦ(a)は、注目画素Ｇ(i)から比較的離れた位置にしか画素を持たないのであるから、このようなフレーム画像データＦ(a)に基づいて算出された単一画像データ参照値Ｉa(a,i)は、最終的に生成される注目画素Ｇ(i)の画素値Ｉ(i)に対して画質低下を引き起こす情報を与えて、生成画像Ｇの画質を低下させる可能性が高いといえる。画素間距離別重み付けＷs(a,i)は、画素間距離Ｌ(a,i)が大きいほど小さく、画素間距離Ｌ(a,i)が小さいほど大きく設定される。この結果、生成画像Ｇの画質を低下させる可能性の高いフレーム画像データＦ(a)が生成データに与える影響が小さくなる。したがって、生成画像Ｇの画質低下を低減することができる。
【００９０】
また、重み付けＷ(a,i)には、上述した時間的距離（具体的には、フレーム番号の絶対値｜a｜）を上述した指標として設定される時間的距離別重み付けＷt(a)が成分として含まれている。基準となるフレーム画像データＦ(0)との時間的距離が大きいフレーム画像データＦ(a)が表す画像ｆ(a)は、基準画像ｆ(0)からみて、上述したいわゆる「動き」が生じている可能性が高くなる。したがって、時間的距離が大きいフレーム画像データＦ(a)に基づいて算出された単一画像データ参照値Ｉa(a,i)は、最終的に生成される注目画素Ｇ(i)の画素値Ｉ(i)に対して画質低下を引き起こす情報（例えば、「動き」が生じている被写体の情報）を与えて、生成画像Ｇの画質を低下させる可能性が高いといえる。時間的距離別重み付けＷt(a)は、フレーム画像データＦ(0)との時間的距離が大きいほど小さく、時間的距離が小さいほど大きく設定される。この結果、生成画像Ｇの画質を低下させる可能性の高いフレーム画像データＦ(a)が生成データに与える影響が小さくなる。したがって、生成画像Ｇの画質低下を低減することができる。
【００９１】
また、重み付けＷ(a,i)には、上述した位置ずれ補正量の大きさΔＭ(a)を上述した指標として設定される位置ずれ量別重み付けＷu(a)が成分として含まれている。基準となるフレーム画像データＦ(0)との位置ずれ補正量が大きいフレーム画像データＦ(a)が表す画像ｆ(a)は、やはり、基準画像ｆ(0)からみて、上述したいわゆる「動き」が生じている可能性が高くなる。特に、撮像装置が動いたことによって発生する視差により被写体位置が相対的に変化する「動き」が生じる可能性が高くなる。したがって、位置ずれ補正量の大きさΔＭ(a)が大きいフレーム画像データＦ(a)に基づいて算出された単一画像データ参照値Ｉa(a,i)は、やはり、最終的に生成される注目画素Ｇ(i)の画素値Ｉ(i)に対して画質低下を引き起こす情報を与え、生成画像Ｇの画質を低下させる可能性が高いといえる。位置ずれ量別重み付けＷu(a)は、基準となるフレーム画像データＦ(0)との位置ずれ補正量の大きさΔＭ(a)が大きいほど小さく、位置ずれ補正量の大きさΔＭ(a)が小さいほど大きく設定される。この結果、生成画像Ｇの画質を低下させる可能性の高いフレーム画像データＦ(a)が生成データに与える影響が小さくなる。したがって、生成画像Ｇの画質低下を低減することができる。
【００９２】
以上を言い換えれば、本実施例に係る画像処理装置は、各フレーム画像データＦ(a)が、生成画像Ｇの画質を低下させる可能性の大きさを表す指標として、１．画素間距離Ｌ(a,i) ２．時間的距離｜a｜ ３．位置ずれ補正量の大きさΔＭ(a)の３つを用いている。そして、これらに応じた適切な重み付けＷ(a,i)を設定することによって、生成データの合成において、画質低下を起こしやすいフレーム画像データＦ(a)の合成比率を低く、画質低下を起こしにくいフレーム画像データＦ(a)の合成比率を高くしている。この結果、生成画像Ｇの画質低下を抑え、画質の向上を図ることができる。
【００９３】
上述した重み付けＷ(a,i)の算出は、重み付けとリスクの大きさを表す指標との対応関係をが予め記録されたテーブル（図１４参照）や、簡便な算出式（式１２等参照）を用いて実行されるので、容易かつ迅速に算出可能である。
【００９４】
Ｂ．第２の実施例：
図１５〜図１７を参照して、本発明に係る第２の実施例について説明する。第２の実施例に係る画像処理システムの構成およびパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成は、図１および図２を参照して説明した第１の実施例に係る画像処理システムの構成およびパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成と同一であるので、その説明を省略して、以下の説明では同一の符号を用いる。
【００９５】
・パーソナルコンピュータ２０における画像処理：
図１５は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。図３を参照して説明した第１の実施例に係る画像処理の処理ルーチンと同一のステップについては、図３と同一の符号を付し、その説明を省略する。
【００９６】
第１の実施例に係る画像処理と異なる点は、第２の実施例においては、ステップＳ２５で示すフレーム画像データ選択処理が追加されている点である。以下、このフレーム画像データ選択処理について説明する。
【００９７】
図１６は、フレーム画像データ選択処理の処理ルーチンを示すフローチャートである。本処理が開始されると、ＣＰＵ２００は、注目するフレーム画像データＦ(a)を設定する（ステップＳ２５１）。本処理では、全てのフレーム画像データＦ(a)に順番に注目し、それぞれのフレーム画像データＦ(a)について、後のステップＳ４０における高解像度画像合成処理に用いるか否かを判断していく。例えば、フレーム画像データＦ(-10)から順番に、Ｆ(-9),Ｆ(-8),Ｆ(-7),....,Ｆ(9),Ｆ(10)と設定すれば良い。
【００９８】
ＣＰＵ２００は、続いて、ステップ２０において、注目するフレーム画像データＦ(a)について算出された位置ずれ補正量（ｕa，ｖa，δa）が、以下の条件式（１６）〜（１８）を全て満たすか否かを判定する。
｜δａ｜＜δ_th …（１６）
｜Ｂ(ｕａ)｜＜ｕ_th …（１７）
｜Ｂ(ｖａ)｜＜ｖ_th …（１８）
【００９９】
ここで、Ｂ(ｘ)は、それぞれｘに最も近い整数とｘとの差を表す。例えば、Ｂ(１．２)＝０．２、Ｂ(０．９)＝０．１である。δ_th、ｕ_th、ｖ_thは、それぞれ予め設定された閾値であり、例えば、δ_th＝０．０１(degree)、ｕ_th＝１／８(画素単位)、ｖ_th＝１／８(画素単位)に設定される。ＣＰＵ２００は、位置ずれ補正量（ｕa，ｖa，δa）が、以下の条件式（１６）〜（１８）を全て満たすと判定した場合（ステップＳ２５２：ＹＥＳかつステップＳ２５３：ＹＥＳかつステップＳ２５４：ＹＥＳ）には、注目するフレーム画像データＦ(a)を、高解像度画像合成処理に用いないと判断する（ステップＳ２５５）。
【０１００】
一方で、ＣＰＵ２００は、位置ずれ補正量（ｕa，ｖa，δa）が、以下の条件式（１６）〜（１８）のいずれか１つを満たさないと判定した場合（ステップＳ２５２：ＮＯまたはステップＳ２５３：ＮＯまたはステップＳ２５４：ＮＯ）には、注目するフレーム画像データＦ(a)を、高解像度画像合成処理に用いると判断する（ステップＳ２５６）。
【０１０１】
ここで、高解像度画像合成処理に用いないと判断されるフレーム画像データＦ(a)と、用いないと判断されるフレーム画像データＦ(a)のそれぞれについて説明する。図１７は、基準となる画像ｆ(0)と画像ｆ(4)、ｆ(5)とを、位置ずれ補正して部分一致するように重ね合わせた一例を拡大して示す説明図である。図１７においては、図を解りやすくするため、ｆ(0),ｆ(4),ｆ(5)の３つの画像のみを示し、他の画像については示していない。
【０１０２】
図１７における画像ｆ(4)は、上述した式（１６）〜（１８）に示す所定の条件を満たし、高解像度画像合成処理に用いないと判断されるフレーム画像データＦ(a)が表す画像の一例である。画像ｆ(4)の画素と、基準となる画像ｆ(0)の画素とは、生成画像の座標空間（位置ずれ補正後の座標空間）において、同一の座標に位置している。ここで、「同一の座標に位置している」とは、厳密に座標が一致していることを要求する訳ではなく、画素単位より細かい所定の精度（例えば、１／８画素単位）で座標が一致していることを意味する。このような画像を表す画像データ（図１７の例では、フレーム画像データＦ(4)）を重複画像データと呼ぶこととする。
【０１０３】
重複画像データが表す画像（図１７の例では、画像ｆ(4)）は、生成される高解像度画像Ｇ（図１７中、黒丸で示す画素からなる画像）に対して、基準画像ｆ(0)と同じ情報を与えるにすぎず、高解像度画像Ｇの生成に貢献しない。
【０１０４】
一方、図１７における画像ｆ(5)は、高解像度画像合成処理に用いると判断されるフレーム画像データＦ(a)が表す画像の一例である。画像ｆ(5)の画素は、基準となる画像ｆ(0)と、生成画像の座標空間において、異なる座標に位置している。すなわち、画像ｆ(5)の画素は、基準となる画像ｆ(0)の画素間を埋める位置に存在している。このような画像は、生成される高解像度画像Ｇに対して、基準画像ｆ(0)とは異なる情報を与えるので、高解像度画像Ｇの生成に貢献する。
【０１０５】
図１６に戻って説明を続ける。ＣＰＵ２００は、注目するフレーム画像データＦ(a)を高解像度画像合成処理に用いるか否かを判断すると、２０個の全てのフレーム画像データＦ(a)(a = -10〜-1,+1〜+10)について、上述した判断をしたか否かを判断する（ステップＳ２５７）。まだ、判断していないフレーム画像データＦ(a)があると判断した場合（ステップＳ２５７：ＮＯ）には、ＣＰＵ２００は、ステップＳ２５１に戻ってそのフレーム画像データＦ(a)に注目して、上述したステップＳ２５２〜Ｓ２５６を繰り返す。全てのフレーム画像データＦ(a)について上述した判断を終えた場合（ステップＳ２５７：ＹＥＳ）には、本処理を終了して、図１５に示す処理ルーチンにリターンする。
【０１０６】
以上説明したように、本実施例に係る画像処理装置によれば、第１の実施例に係る画像処理装置と同様の効果に加えて、以下の効果が得られる。高解像度画像Ｇの生成に貢献しないフレーム画像データである重複画像データが存在する場合には、重複画像データを高解像度画像合成処理（ステップＳ４０）に用いないため、高解像度画像合成処理に係る処理負荷の軽減を図ることができる。さらに、合成に使用するフレーム画像データが少なくなることで、２重像となる危険性も低減することができる。
【０１０７】
Ｃ．変形例：
上記実施例において、重み付けＷ(a,i)には、３つの要素が考慮されているが、これらのうち、１つまたは２つのみの要素を考慮しても良い。すなわち、上記実施例では、式（１１）に示すように、重み付けＷ(a,i)は、画素間距離を考慮した画素間距離別重み付けＷs(a,i)と、時間的距離を考慮した時間的距離別重み付けＷt(a)と、位置ずれ補正量の大きさを考慮した位置ずれ量別重み付けＷu(a)の積として算出されるが、変形例として、例えば、画素間距離別重み付けのみを採用して、以下の式（１８）によってＷ(a,i)を算出しても良く、第１と時間的距離別重み付けを採用して、以下の式（１９）によってＷ(a,i)を算出しても良い。
Ｗ(a,i) = Ｗs(a,i) …（１８）
Ｗ(a,i) = Ｗs(a,i) × Ｗt (a) …（１９）
かかる場合には、考慮した要素に起因した生成画像Ｇの画質低下を低減することができる。
【０１０８】
また、画素間距離別重み付けＷs(a,i)は、生成画像Ｇを構成する各画素ごと、各フレーム画像データＦ(a)ごとに（つまり、画素数×フレーム画像データ数個）設定される必要があるが、位置ずれ量別重み付けＷu(a)および時間的距離別重み付けＷt(a)は、各フレーム画像データＦ(a)ごと（つまり、フレーム画像データ数個）のみの設定で良い。従って、位置ずれ量別重み付けＷu(a)および時間的距離別重み付けＷt(a)のみを用いる場合には、画像処理のルーチンにおいて、一度だけ算出するだけで良い。例えば、図３で示すフローチャートのステップ３０の後、ステップ４０の前に重み付けを一度だけ算出すれば、以後、高解像度画像合成処理では、算出した重み付けをそのまま用いれば良い。
【０１０９】
上記実施例では、位置ずれ補正量の大きさが大きい程、位置ずれ量別重み付けＷu(a)を小さくしているが、閾値を予め設定しておき、位置ずれ補正量の大きさが閾値以上である場合には、そのフレーム画像データＦ(a)は、高解像度画像合成処理に用いない、あるいは、重み付けＷu(a)を０にすることとしても良い。かかる場合には、「動き」が生じやすく、生成画像の画質低下の原因となる可能性の高いフレーム画像データＦ(a)を排除し、生成画像Ｇの画質低下を低減することができる。
【０１１０】
上記実施例では、ディジタルビデオカメラ１０によって生成された動画像データから複数のフレーム画像データを取得しているが、高解像度画像データの生成に用いる複数の画像データの取得態様は、これに限られるものではない。例えば、ディジタルスチルカメラの動画撮影モードで撮像された動画像データや、連写機能を備えたディジタルスチルカメラで連続撮影された複数の静止画像データ等、時系列に並ぶ複数の画像データであれば良い。連写機能とは、一般的に、メモリーカードにデータを転送しないで、ディジタルスチルカメラ内部の高速なメモリー（バッファメモリー）に画像データをため込むことで、複数のカットを高速で連続して撮影する機能をいう。
【０１１１】
上記実施例に係る画像処理装置では、位置ずれ補正量は、勾配法によって算出しているが、他の算出方法を用いても良い。例えば、周知のパターンマッチ法により位置ずれ補正量を大ざっぱに（例えば、画素単位の精度で）算出した後、勾配法により位置ずれ補正量を高い精度で（画素単位より細かい精度で）算出しても良い。
【０１１２】
また、ディジタルビデオカメラ１０に角速度センサ等を備え、これらによってフレーム画像データ生成時におけるディジタルビデオカメラ１０の向きの変化に関する情報（いわゆる手ぶれ情報）を取得し、画像処理装置にフレーム画像データと共に出力しても良い。かかる場合には、その向きの変化に関する情報を用いて位置ずれ補正量を算出できる。
【０１１３】
以上、実施例、変形例に基づき本発明に係る画像処理について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
【図面の簡単な説明】
【０１１４】
【図１】第１の実施例に係る画像処理装置を含む画像処理システムの一例を示す説明図。
【図２】第１の実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図。
【図３】第１の実施例に係る画像処理の処理ルーチンを示すフローチャート。
【図４】基準となる画像ｆ(0)に対する画像ｆ(a)の位置ずれを示す説明図。
【図５】フレーム画像データＦ(0)を基準として、フレーム画像データＦ(a)に対して行う位置ずれ補正について示す説明図。
【図６】勾配法による位置ずれ補正量の算出方法について説明する第１の説明図。
【図７】勾配法による位置ずれ補正量の算出方法について説明する第２の説明図。
【図８】画素の回転補正量を模式的に示す説明図。
【図９】高解像度画像合成処理の処理ルーチンを示すフローチャート。
【図１０】ｆ(0)〜ｆ(3)を位置ずれ補正して重ね合わせた一例を、拡大して示す説明図。
【図１１】バイ・リニア法による補間処理について示す説明図。
【図１２】画素間距離別重み付けＷs(a,i)の算出について説明する説明図。
【図１３】時間的距離別重み付けＷt(a)の算出について説明する説明図。
【図１４】時間的距離別重み付けＷt(a)を記録したテーブルを示す概略図。
【図１５】第２の実施例に係る画像処理の処理ルーチンを示すフローチャート。
【図１６】フレーム画像データ選択処理の処理ルーチンを示すフローチャート。
【図１７】画像ｆ(0)、ｆ(4)、ｆ(5)を、位置ずれ補正して重ね合わせた一例を、拡大して示す説明図。
【符号の説明】
【０１１５】
１０…ディジタルビデオカメラ（ＤＶＣ）
２０…パーソナルコンピュータ
２００…中央演算装置（ＣＰＵ）
２０１…ランダムアクセスメモリ（ＲＡＭ）
２０２…ハードディスク（ＨＤＤ）
２０３…カードスロット
２０４…入出力端子
２０５…光学ディスクドライブ
２５…モニタ
３０…プリンタ
４０…表示装置
４５…表示部
ＭＣ…メモリカード
ＬＤ…光学ディスク
Ｍ２１０…画像データ取得部
Ｍ２２０…補正量算出部
Ｍ２３０…位置ずれ補正部
Ｍ２４０…重み付け設定部
Ｍ２４１…画素間距離別重み付け設定部
Ｍ２４２…時間的距離別重み付け設定部
Ｍ２４３…位置ずれ量別重み付け設定部
Ｍ２５０…高解像度画像生成部
Ｍ２５１…画素位置設定部
Ｍ２５２…単一画像参照画素値算出部
Ｍ２５３…画素データ生成部
【特許請求の範囲】
【請求項１】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置であって、
前記複数の画像データを取得する画像データ取得手段と、
前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出する補正量算出手段と、
前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正する位置ずれ補正手段と、
前記高解像度画像データの生成に用いた場合に生成される前記高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定する重み付け設定手段と、
前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像生成手段とを備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記重み付けの設定は、
前記複数の画像データのそれぞれに関連付けられた指標であって、前記画質を低下させる可能性の大きさを表す指標を用いて実行される画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記指標は、
前記複数の画像データの中から選択された基準画像データに対する各画像データの時間的距離を含み、
前記重み付け設定手段は、
前記時間的距離が大きい画像データほど小さく、前記時間的距離が小さい画像データほど大きい重み付けを設定する時間的距離別重み付け設定手段を備える画像処理装置。
【請求項４】
請求項２または請求項３に記載の画像処理装置において、
前記指標は、
前記複数の画像データの中から選択された基準画像データが表す画像と各画像データが表す画像との間における前記補正量の大きさを含み、
前記重み付け設定手段は、
前記補正量が大きい画像データほど小さく、前記補正量が小さい画像データほど大きい重み付けを設定する位置ずれ量別重み付け設定手段を備える画像処理装置。
【請求項５】
請求項２ないし請求項４のいずれかに記載の画像処理装置において、
前記指標は、
前記生成される高解像度画像データを構成する生成画素データごとに設定されるものであって、前記補正された各画像データを構成する前記画素データのうち前記生成画素データの最近接にある画素データと、前記生成画素データとの画素間距離を含み、
前記重み付け設定手段は、
前記画素間距離が大きい画像データほど小さく、前記画素間距離が小さい画像データほど大きい重み付けを設定する画素間距離別重み付け設定手段を備える画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置において、
前記高解像度画像生成手段は、
前記生成される高解像度画像データが表す画像を構成する画素の位置を設定する画素設定手段と、
前記設定された位置における画素値であって、前記補正された複数の画像データの中の一の画像データに基づいて算出される画素値である単一画像参照画素値を、各画像データごとにそれぞれ算出する単一画像参照画素値算出手段と、
前記重み付けを用いて算出される前記単一画像参照画素値の重み付き平均値を画素値として、前記設定された位置における画素データを生成する画素データ生成手段とを備える画像処理装置。
【請求項７】
請求項２ないし請求項６のいずれかに記載の画像処理装置は、さらに、
前記指標の値と前記重み付けの値との対応関係が予め記録されたテーブルを記憶する記憶手段を備え、
前記重み付けは、前記テーブルを参照して設定される画像処理装置。
【請求項８】
請求項２ないし請求項６のいずれかに記載の画像処理装置において、
前記重み付けは、前記指標と前記重み付けとの間の関係を示す所定の関係式を用いて設定される画像処理装置。
【請求項９】
請求項１ないし請求項８のいずれかに記載の画像処理装置において、
前記複数の画像データの合成は、
前記補正された複数の画像データの中の一の画像データであって、その画像データの表す画像の各画素が、生成される高解像度画像データの表す画像の座標空間において、前記補正された複数の画像データの中の他の画像データの表す画像の各画素と同一の座標に位置する重複画像データが存在する場合には、
前記高解像度画像データの生成は、前記重複画像データを用いないで実行される画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記他の画像データが表す画像と前記一の画像データが表す画像との間における前記補正量が、所定の判定条件を満たす場合に、前記一の画像データは前記重複画像データであると判断する画像処理装置。
【請求項１１】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法であって、
前記複数の画像データを取得し、
前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出し、
前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正し、
前記高解像度画像データの生成に用いた場合に前記生成される高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定し、
前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する画像処理方法。
【請求項１２】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法であって、
前記複数の画像データを取得し、
前記複数の画像データが表す各画像間における被写体を補正するための補正量を算出し、
前記複数の画像データの中から選択された基準画像データに対する各画像データの時間的距離が大きい画像データほど小さく、前記時間的距離が小さい画像データほど大きい重み付け、前記複数の画像データの中から選択された基準画像データが表す画像と各画像データが表す画像との間における前記補正量が大きい画像データほど小さく、前記補正量が小さい画像データほど大きい重み付け、の少なくとも１つの重み付けを前記複数の画像データのそれぞれについて設定し、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する画像処理方法。
【請求項１３】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法であって、
前記複数の画像データを取得し、
前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出し、
前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正し、
前記生成される高解像度画像データを構成する生成画素データごとに設定されるものであって、前記補正された各画像データを構成する前記画素データのうち前記生成画素データの最近接にある画素データと、前記生成画素データとの画素間距離を算出し、
前記画素間距離が大きい画像データほど小さく、前記画素間距離が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定し、
前記設定された重み付けと前記各画像データを用いて、生成画素データの画素値を算出することによって、前記高解像度画像データを生成する画像処理装置。
【請求項１４】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理をコンピュータに実行させるコンピュータプログラムであって、
前記複数の画像データを取得する画像データ取得機能と、
前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出する補正量算出機能と、
前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正する位置ずれ補正機能と、
前記高解像度画像データの生成に用いた場合に生成される前記高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定する重み付け設定機能と、
前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像生成機能とをコンピュータに実現させるコンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置であって、
前記複数の画像データを取得する画像データ取得手段と、
前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出する補正量算出手段と、
前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正する位置ずれ補正手段と、
前記高解像度画像データの生成に用いた場合に生成される前記高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定する重み付け設定手段と、
前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像生成手段とを備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記重み付けの設定は、
前記複数の画像データのそれぞれに関連付けられた指標であって、前記画質を低下させる可能性の大きさを表す指標を用いて実行される画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記指標は、
前記複数の画像データの中から選択された基準画像データに対する各画像データの時間的距離を含み、
前記重み付け設定手段は、
前記時間的距離が大きい画像データほど小さく、前記時間的距離が小さい画像データほど大きい重み付けを設定する時間的距離別重み付け設定手段を備える画像処理装置。
【請求項４】
請求項２または請求項３に記載の画像処理装置において、
前記指標は、
前記複数の画像データの中から選択された基準画像データが表す画像と各画像データが表す画像との間における前記補正量の大きさを含み、
前記重み付け設定手段は、
前記補正量が大きい画像データほど小さく、前記補正量が小さい画像データほど大きい重み付けを設定する位置ずれ量別重み付け設定手段を備える画像処理装置。
【請求項５】
請求項２ないし請求項４のいずれかに記載の画像処理装置において、
前記指標は、
前記生成される高解像度画像データを構成する生成画素データごとに設定されるものであって、前記補正された各画像データを構成する前記画素データのうち前記生成画素データの最近接にある画素データと、前記生成画素データとの画素間距離を含み、
前記重み付け設定手段は、
前記画素間距離が大きい画像データほど小さく、前記画素間距離が小さい画像データほど大きい重み付けを設定する画素間距離別重み付け設定手段を備える画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置において、
前記高解像度画像生成手段は、
前記生成される高解像度画像データが表す画像を構成する画素の位置を設定する画素設定手段と、
前記設定された位置における画素値であって、前記補正された複数の画像データの中の一の画像データに基づいて算出される画素値である単一画像参照画素値を、各画像データごとにそれぞれ算出する単一画像参照画素値算出手段と、
前記重み付けを用いて算出される前記単一画像参照画素値の重み付き平均値を画素値として、前記設定された位置における画素データを生成する画素データ生成手段とを備える画像処理装置。
【請求項７】
請求項２ないし請求項６のいずれかに記載の画像処理装置は、さらに、
前記指標の値と前記重み付けの値との対応関係が予め記録されたテーブルを記憶する記憶手段を備え、
前記重み付けは、前記テーブルを参照して設定される画像処理装置。
【請求項８】
請求項２ないし請求項６のいずれかに記載の画像処理装置において、
前記重み付けは、前記指標と前記重み付けとの間の関係を示す所定の関係式を用いて設定される画像処理装置。
【請求項９】
請求項１ないし請求項８のいずれかに記載の画像処理装置において、
前記複数の画像データの合成は、
前記補正された複数の画像データの中の一の画像データであって、その画像データの表す画像の各画素が、生成される高解像度画像データの表す画像の座標空間において、前記補正された複数の画像データの中の他の画像データの表す画像の各画素と同一の座標に位置する重複画像データが存在する場合には、
前記高解像度画像データの生成は、前記重複画像データを用いないで実行される画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記他の画像データが表す画像と前記一の画像データが表す画像との間における前記補正量が、所定の判定条件を満たす場合に、前記一の画像データは前記重複画像データであると判断する画像処理装置。
【請求項１１】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法であって、
前記複数の画像データを取得し、
前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出し、
前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正し、
前記高解像度画像データの生成に用いた場合に前記生成される高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定し、
前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する画像処理方法。
【請求項１２】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法であって、
前記複数の画像データを取得し、
前記複数の画像データが表す各画像間における被写体を補正するための補正量を算出し、
前記複数の画像データの中から選択された基準画像データに対する各画像データの時間的距離が大きい画像データほど小さく、前記時間的距離が小さい画像データほど大きい重み付け、前記複数の画像データの中から選択された基準画像データが表す画像と各画像データが表す画像との間における前記補正量が大きい画像データほど小さく、前記補正量が小さい画像データほど大きい重み付け、の少なくとも１つの重み付けを前記複数の画像データのそれぞれについて設定し、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する画像処理方法。
【請求項１３】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法であって、
前記複数の画像データを取得し、
前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出し、
前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正し、
前記生成される高解像度画像データを構成する生成画素データごとに設定されるものであって、前記補正された各画像データを構成する前記画素データのうち前記生成画素データの最近接にある画素データと、前記生成画素データとの画素間距離を算出し、
前記画素間距離が大きい画像データほど小さく、前記画素間距離が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定し、
前記設定された重み付けと前記各画像データを用いて、生成画素データの画素値を算出することによって、前記高解像度画像データを生成する画像処理装置。
【請求項１４】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理をコンピュータに実行させるコンピュータプログラムであって、
前記複数の画像データを取得する画像データ取得機能と、
前記複数の画像データが表す各画像間における被写体の位置ずれを補正するための補正量を算出する補正量算出機能と、
前記算出された補正量を用いて、前記複数の画像データについて前記被写体の位置ずれを補正する位置ずれ補正機能と、
前記高解像度画像データの生成に用いた場合に生成される前記高解像度画像データが表す画像の画質を低下させる可能性が大きい画像データほど小さく、前記可能性が小さい画像データほど大きい重み付けを、前記複数の画像データのそれぞれについて設定する重み付け設定機能と、
前記設定された重み付けを用いて前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像生成機能とをコンピュータに実現させるコンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを記録したコンピュータが読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−３３０６２（Ｐ２００６−３３０６２Ａ）
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願番号】特願２００４−２０４７４５（Ｐ２００４−２０４７４５）
【出願日】平成１６年７月１２日（２００４．７．１２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願日】平成１６年７月１２日（２００４．７．１２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]