画像処理装置、画像処理方法、および、画像処理プログラム
【課題】複数の画像から高解像度画像を生成する画像処理における処理時間の短縮。
【解決手段】ＣＰＵ２００は、基準画像ｆ_refにおいて所定の特徴を有する特徴領域ＴＡを決定する。ＣＰＵ２００は、対象画像ｆ(a)(a=1,2,3)において、特徴領域ＴＡに対応する対応特徴領域ＣＡを設定する。そして、ＣＰＵ２００は、特徴領域ＴＡと対応特徴領域ＣＡの画像データ（例えば、特徴的部位を構成する特徴画素および特徴画素と対応する対応特徴画素）に基づいて、対象画像ｆ(a)の基準画像ｆ_refに対する被写体の位置ずれを補正する補正量を、対象画像ｆ(a)(a=1,2,3)のそれぞれについて算出する。ＣＰＵ２００は、算出された補正量に基づいて、位置ずれを補正すると共に、補正された複数の画像データ（基準画像ｆ_refおよび対象画像ｆ(a)(a=1,2,3)を表す画像データ）を合成して、高解像度画像データを生成する。
【解決手段】ＣＰＵ２００は、基準画像ｆ_refにおいて所定の特徴を有する特徴領域ＴＡを決定する。ＣＰＵ２００は、対象画像ｆ(a)(a=1,2,3)において、特徴領域ＴＡに対応する対応特徴領域ＣＡを設定する。そして、ＣＰＵ２００は、特徴領域ＴＡと対応特徴領域ＣＡの画像データ（例えば、特徴的部位を構成する特徴画素および特徴画素と対応する対応特徴画素）に基づいて、対象画像ｆ(a)の基準画像ｆ_refに対する被写体の位置ずれを補正する補正量を、対象画像ｆ(a)(a=1,2,3)のそれぞれについて算出する。ＣＰＵ２００は、算出された補正量に基づいて、位置ずれを補正すると共に、補正された複数の画像データ（基準画像ｆ_refおよび対象画像ｆ(a)(a=1,2,3)を表す画像データ）を合成して、高解像度画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、比較的低解像度の複数の画像データから高解像度の画像データを生成する技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラで生成された動画像データを構成するフレーム画像や、デジタルスチルカメラによって連続撮影された画像データのように、時系列に並ぶ複数の近似した画像データが取得される場合がある。これらの近似した複数の画像データを元画像データとして、元画像データより高解像度の画像データを生成する技術が知られている（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００４−８８６１６号公報
【特許文献２】特開平１１−１６４２６４号公報
【特許文献３】特開２０００−２４４８５１号公報
【０００４】
上記技術では、例えば、元画像データとして、動画像データを構成する連続する複数のフレーム画像を用いる場合において、フレーム画像の画像データを解析して、各フレーム画像間に生じている被写体の位置ずれを算出する。そして、算出した位置ずれに基づいて、各フレーム画像を重ね合わせて、高解像度の画像データを生成している。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記技術では、被写体のずれを算出する負荷が大きく、処理時間がかかるという問題があった。すなわち、合成する領域内の全画素データを解析して、それぞれのフレーム画像間の画素の対応関係を算出して、被写体の位置ずれを合わせているため、特に合成する領域が大きい場合や、被写体の位置ずれが大きい場合には、膨大な処理時間を要する場合があった。
【０００６】
また、位置ずれの算出精度を向上するため、被写体の回転成分のずれも考慮すると、さらに、多くの処理時間を要するため、位置ずれの算出処理時間の短縮が課題となっていた。
【０００７】
本発明は、上記課題を解決するためになされたものであり、複数の画像データに基づいてより高解像度の画像データを生成する場合に、その処理時間の短縮を図ることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の第１の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記複数の画像データを取得する画像データ取得手段と、前記複数の画像データのうち、基準となる画像データが表す基準画像において、所定の特徴を有する特徴領域を決定する特徴領域決定手段と、前記複数の画像データのうち、前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴領域に対応する対応特徴領域を設定する対応特徴領域設定手段と、前記特徴領域と前記対応特徴領域の画像データに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する補正量算出手段と、前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備えることを特徴とする。
【０００９】
本発明の第１の態様に係る画像処理装置によれば、時系列に並ぶ複数の画像データを合成して高解像度画像データを生成する際に、基準となる画像データが表す画像（以下、基準画像という。）において、所定の特徴を有する特徴領域を決定する。さらに、基準となる画像データ以外の画像データが表す画像（以下、対象画像という。）において、上述した特徴領域に対応する対応特徴領域を設定する。そして、対象画像の基準画像に対する被写体の位置ずれを補正する補正量（以下、単に補正量という。）を、特徴領域と対応特徴領域の画像データに基づいて算出する。対象画像と基準画像の全画像データを用いることなく、一部の領域の画像データを用いることで、補正量の算出に要する処理時間の短縮および処理負荷の軽減が図られる。また、一部の領域は、所定の特徴を有する特徴領域であるので、一部の領域の画像データを用いるのみであっても、精度が劣ることもない。
【００１０】
本発明の第１の態様に係る画像処理装置において、前記特徴領域の決定は、前記基準となる画像データを解析して前記所定の特徴を抽出することによって実行されても良い。画像データの解析により適切な特徴領域を抽出することができる。
【００１１】
本発明の第１の態様に係る画像処理装置は、さらに、前記基準画像を構成する画素であって、画像の特徴的部位を構成する特徴画素を抽出する特徴画素抽出手段を備え、前記特徴領域の抽出は、前記基準画像において、前記特徴画素を含む領域を前記特徴領域と決定することによって実行されても良い。特徴画素を抽出し、特徴画素を含む領域を特徴領域と決定することで、適切な特徴領域を抽出することができる。
【００１２】
本発明の第１の態様に係る画像処理装置において、前記特徴領域は、基準数以上の前記特徴画素を含む領域、または、検出された全ての前記特徴画素のうち基準割合以上の前記特徴画素を含む領域であっても良く、前記特徴領域は、抽出された前記特徴画素全体の重心が中心に位置する領域であっても良い。かかる場合には、特徴画素が多く分布する領域を特徴領域とすることで、より補正量の算出に用いるのに適した特徴領域を抽出することができる。
【００１３】
本発明の第１の態様に係る画像処理装置は、さらに、前記特徴領域に含まれる前記特徴画素に対応する対応特徴画素を、それぞれの対象画像における前記対応特徴領域において検出する対応特徴画素検出手段を備え、前記補正量は、前記特徴画素の位置と、前記特徴画素に対応する前記対応特徴画素の位置とに基づいて算出されても良い。かかる場合には、特徴領域に含まれる特徴画素の位置と、対応する対応特徴画素の位置に基づいて、補正量を算出するので、算出に考慮するデータ量をさらに大幅に低減でき、補正量の算出に要する処理時間の短縮および処理負荷の軽減が図られる。
【００１４】
発明の第１の態様に係る画像処理装置は、さらに、前記特徴領域に含まれる前記特徴画素に対応する対応特徴画素を、それぞれの対象画像における前記対応特徴領域において検出する対応特徴画素検出手段を備え、前記補正量算出手段は、前記特徴画素の位置と、前記特徴画素に対応する前記対応特徴画素の位置とに基づいて推定される第１の補正量を算出する第１の補正量算出手段と、前記特徴領域を構成する画素の画素値と前記対応特徴領域を構成する画素の画素値とを解析して推定される第２の補正量を、前記第１の補正量を初期値に用いて算出する第２の補正量算出手段とを備えても良い。第１の補正量は、特徴画素および対応特徴画素の位置に基づいて算出されるので、算出に考慮するデータ量が少なく、算出にかかる処理負荷が小さい。さらに、第１の補正量を初期値に用いるため、第２の補正量として算出すべき補正量が小さくなり、第２の補正量の算出にかかる処理負荷が小さくなる。したがって、全体として補正量の算出にかかる処理時間の短縮および処理負荷の軽減を図ることができる。
【００１５】
本発明の第１の態様に係る画像処理装置において、前記第１の補正量の算出は、前記複数の画像データが表す画像を構成する画素単位の精度で実行され、前記第２の補正量の算出は、前記複数の画像データが表す画像を構成する画素単位より細かい精度で実行されても良い。かかる場合には、まず、第１の補正量として画素単位の精度の補正量が算出され、最終的に、第２の補正量として画素単位より細かい精度（いわゆるサブピクセルレベルの精度）の補正量が算出される。この結果、処理負荷が比較的高い第２の補正量の算出は、サブピクセルレベルでの位置ずれ補正量にのみ用いられ、処理時間の短縮および処理負荷の軽減が図られる。
【００１６】
本発明の第１の態様に係る画像処理装置において、第２の補正量の算出における解析は、前記特徴領域における一部の領域に含まれる画素の画素値と、前記対応特徴領域における前記一部の領域に対応する領域に含まれる画素の画素値のみを用いて実行されても良い。この場合において、前記一部の領域は、前記特徴画素と前記特徴画素近傍の所定範囲に位置する画素とから構成される領域であっても良い。かかる場合には、さらに、第２の補正量の算出において考慮すべきデータ量が少なくなり、さらに補正量の算出にかかる処理時間の短縮および処理負荷の軽減を図ることができる。
【００１７】
本発明の第１の態様に係る画像処理装置において、前記対応特徴画素の検出は、それぞれの対象画像における前記対応特徴領域に含まれる画素であって、画像の特徴的部位を構成する候補特徴画素を抽出し、前記特徴画素とその周辺画素から構成される領域と、前記候補特徴画素とその周辺画素から構成される領域とを比較することによって、前記特徴画素と前記候補特徴画素との類似度を算出し、注目する前記特徴画素と前記類似度が最も高い組み合わせを構成する前記候補特徴画素を、注目する前記特徴画素に対応する前記対応特徴画素とすることによって実行されても良い。かかる場合には、画像の特徴的部位を構成する候補特徴画素を抽出し、特徴画素の周辺領域と候補特徴画素の周辺領域との類似度によって、特徴画素に対応する対応特徴画素を検出するので、精度良く対応特徴画素を検出することができる。
【００１８】
本発明の第２の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置を提供する。本発明の第２の態様に係る画像処理装置は、前記複数の画像データを取得する画像データ取得手段と、前記複数の画像データのうち基準となる画像データが表す基準画像を構成する画素の中から、画像の特徴的部位を構成する特徴画素を抽出する特徴画素抽出手段と、前記複数の画像データのうち前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴画素に対応する対応特徴画素を検出する対応特徴画素検出手段と、前記特徴画素の位置と、前記特徴画素に対応する対応特徴画素の位置とに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する補正量算出手段と、前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備えることを特徴とする。
【００１９】
本発明の第２の態様に係る画像処理装置によれば、時系列に並ぶ複数の画像データを合成して高解像度画像データを生成する際に、基準画像を構成する画素の中から、所定の条件を満たす特徴画素を抽出する。さらに、対象画像を構成する画素の中から、上述した特徴画素に対応する対応特徴画素を検出する。そして、対象画像の基準画像に対する補正量を、前記特徴画素の位置と前記対応特徴画素の位置とに基づいて算出する。対象画像と基準画像の全画像データを用いることなく、特徴画素の位置と対応特徴画素の位置を用いることで、補正量の算出に要する処理時間の短縮および処理負荷の大幅な軽減が図られる。
【００２０】
本発明の第２の態様に係る画像処理装置において、前記対応特徴画素の検出は、それぞれの対象画像を構成する画素であって、画像の特徴的部位を構成する候補特徴画素を抽出し、前記特徴画素とその周辺画素から構成される領域と、前記候補特徴画素とその周辺画素から構成される領域とを比較することによって、前記特徴画素と前記候補特徴画素との類似度を算出し、注目する前記特徴画素と前記類似度が最も高い組み合わせを構成する前記候補特徴画素を、注目する前記特徴画素に対応する前記対応特徴画素とすることによって実行されても良い。かかる場合には、画像の特徴的部位を構成する候補特徴画素を抽出し、特徴画素の周辺領域と候補特徴画素の周辺領域との類似度によって、特徴画素に対応する対応特徴画素を検出するので、精度良く対応特徴画素を検出することができる。
【００２１】
本発明の第２の態様に係る画像処理装置において、前記対応特徴画素の検出は、前記基準画像における所定の特徴を有する特徴領域に対応する領域おいて実行されても良い。この場合において、前記特徴領域は、基準数以上の前記特徴画素を含む領域、または、抽出された全ての前記特徴画素のうち基準割合以上の前記特徴画素を含む領域であっても良く、さらに、抽出された前記特徴画素全体の重心が中心に位置する領域であっても良い。係る場合には、対応特徴画素を検出を画像全体に亘って実行することなく、一部の領域のみにおいて行うので、さらに、処理時間の短縮および処理負荷の軽減が図られる。さらに、対応特徴画素の検出は、特徴ある領域で実行されるので、一部の領域に限ることによって、算出される補正量の精度が劣ることもない。
【００２２】
本発明の第３の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法を提供する。本発明の第３の態様に係る画像処理方法は、前記複数の画像データを取得し、前記複数の画像データのうち、基準となる画像データが表す基準画像において、所定の特徴を有する特徴領域を決定し、前記複数の画像データのうち、前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴領域に対応する対応特徴領域を設定し、前記特徴領域と前記対応特徴領域の画像データに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出し、前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成することを特徴とする。
【００２３】
本発明の第３の態様に係る画像処理方法によれば、本発明の第１の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第３の態様に係る画像処理装置は、本発明の第１の態様にかかる画像処理装置と同様にして種々の態様にて実現され得る。
【００２４】
本発明の第４の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法を提供する。本発明の第５の態様に係る画像処理方法は、前記複数の画像データを取得し、前記複数の画像データのうち基準となる画像データが表す基準画像を構成する画素の中から、画像の特徴的部位を構成する特徴画素を抽出し、前記複数の画像データのうち前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴画素に対応する対応特徴画素を検出し、前記特徴画素の位置と、前記特徴画素に対応する対応特徴画素の位置とに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出し、前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成することを特徴とする。
【００２５】
本発明の第４の態様に係る画像処理方法によれば、本発明の第２の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第４の態様に係る画像処理装置は、本発明の第２の態様にかかる画像処理装置と同様にして種々の態様にて実現され得る。
【００２６】
本発明の第３および第４の態様に係る画像処理方法は、この他にも、画像処理プログラムおよび画像処理プログラムが記録されたコンピュータが読み取り可能な記録媒体としても実現され得る。
【発明を実施するための最良の形態】
【００２７】
以下、本発明にかかる画像処理装置について、図面を参照しつつ、実施例に基づいて説明する。
【００２８】
Ａ．第１の実施例
・画像処理システムの構成：
図１は、本発明の第１の実施例に係る画像処理装置を含む画像処理システムの一例を示す説明図である。本発明の第１の実施例に係る画像処理装置を適用可能な画像処理システムの構成について図１を参照して説明する。
【００２９】
画像処理システムは、画像データを生成する撮像装置としてのディジタルビデオカメラ１０、ディジタルビデオカメラ１０にて生成された複数の画像データから、高解像度の画像データを生成する画像処理装置としてのパーソナルコンピュータ２０、画像データを用いて画像を出力する出力装置としてのカラープリンタ３０を備えている。また、出力装置としては、プリンタ３０の他に、例えば、ＬＣＤディスプレイのモニタ２５、表示装置４０が用いられ得る。
【００３０】
ディジタルビデオカメラ１０は、設定されたフレームレートで、時系列に並ぶ複数の画像データＧＤ1〜ＧＤn（以下、フレーム画像データという。）を生成するカメラである。画像データは、光の情報をディジタルデバイス（ＣＣＤや光電子倍増管）に結像させ、デジタル信号に変換することによって生成される。ディジタルビデオカメラ１０は、生成された複数のフレーム画像データＧＤ1〜ＧＤnを１つの画像ファイルＧＦ（動画ファイル）として、光学ディスクＬＤ（例えば、ＤＶＤ−ＲＡＭ等）に保存する。もちろん、画像ファイルＧＦの保存には、光学ディスクＬＤのみならず、デジタルビデオテープや、メモリカードＭＣ等、種々の記録媒体が用いられ得る。
【００３１】
パーソナルコンピュータ２０は、一般的に用いられるタイプのコンピュータであり、高解像度の画像データを生成する処理を含む画像処理プログラムを実行するＣＰＵ２００、ＣＰＵ２００における演算結果、画像データ等を一時的に格納するＲＡＭ２０１、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）２０２を備えている。パーソナルコンピュータ２０は、ＤＶＤ等の光学ディスクＬＤ用のディスクドライブ２０５、メモリカードＭＣを装着するためのカードスロット２０３、ディジタルビデオカメラ１０からの接続ケーブルを接続するための入出力端子２０４を備えている。
【００３２】
プリンタ３０は、画像データをカラー画像として出力可能なプリンタであり、例えば、シアン、マゼンタ、イエロー、ブラックの４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記４色に加えて、ライトシアン（薄いシアン）、ライトマゼンタ（薄いマゼンタ）、レッド、ブルーを用いても良い。
【００３３】
表示装置４０は、画像データの画像を表示するための表示ディスプレイ４５を有し、例えば、電子式の写真フレームとして機能する表示装置である。表示ディスプレイ４５は、例えば、液晶表示ディスプレイ、有機ＥＬ表示ディスプレイが用いられ得る。
【００３４】
プリンタ３０および表示装置４０は、スタンドアローンにて画像処理、画像出力を実行するため、パーソナルコンピュータ２０が備える画像処理機能を備えても良い。かかる場合には、プリンタ３０、表示装置４０は、パーソナルコンピュータ２０を介さずに、例えば、メモリーカードＭＣ等の記憶媒体、あるいは、ケーブルを介してディジタルビデオカメラ１０から画像データを取得し、プリンタ３０、表示装置４０がそれぞれ本実施例における画像処理装置として機能することができる。
【００３５】
以下の説明では、ディジタルビデオカメラ１０で生成された画像データが、パーソナルコンピュータ２０に送出され、パーソナルコンピュータ２０にて高解像度の画像データを生成する画像処理が実行される場合について説明する。
【００３６】
・パーソナルコンピュータ２０の機能的構成：
図２は、本実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。図２を参照してパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成の概要について説明する。
【００３７】
画像データ取得部Ｍ２１０は、画像ファイルＧＦに記録されたフレーム画像データＧＤ1〜ＧＤnの中から選択された時系列に並ぶ複数のフレーム画像データを取得する。
【００３８】
特徴画素抽出部Ｍ２２０は、取得された複数のフレーム画像データのうち基準となるデータが表す画像（基準画像）において、画像の特徴的部位を構成する特徴画素を抽出する。特徴領域決定部Ｍ２３０は、基準画像において、所定の特徴を有する特徴領域を抽出する。例えば、抽出された特徴画素を含む領域が特徴領域として抽出される。
【００３９】
対応特徴領域設定部Ｍ２４０は、取得された複数のフレーム画像データのうち基準となるデータ以外のデータが表す画像（対象画像）において、抽出された特徴領域に対応する領域（以下、対応特徴領域という。）を、取得された複数のフレーム画像データのうち基準となるデータ以外のデータが表す画像（対象画像）のそれぞれにおいて設定する。対応特徴画素検出部Ｍ２５０は、それぞれの対象画像において設定された対応特徴領域において、上述した特徴画素に対応する対応特徴画素を検出する。
【００４０】
補正量算出部Ｍ２６０は、画像データ取得部Ｍ２１０が取得した複数のフレーム画像データが表す各画像間に生じている位置ずれを補正するための補正量（以下、位置ずれ補正量という。）を、特徴領域と対応特徴領域の画像データに基づいて算出する。位置ずれ補正量は、例えば、特徴領域に含まれる特徴画素の位置と、対応特徴領域に含まれる対応特徴画素の位置とに基づいて算出される。
【００４１】
高解像度画像生成部Ｍ２７０は、補正量算出部Ｍ２６０によって、算出された位置ずれ補正量に基づいて、上述した各画像間に生じている位置ずれを補正する。そして、高解像度画像生成部Ｍ２７０は、補正された各画像のフレーム画像データを合成して、フレーム画像データより解像度の高い画像データを新たに生成する。
【００４２】
・パーソナルコンピュータ２０における画像処理：
図３〜図１８を参照して、本実施例に係るパーソナルコンピュータ２０において実行される画像処理について説明する。
【００４３】
図３は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。パーソナルコンピュータ２０（ＣＰＵ２００）は、ユーザーの指示に従って、本画像処理のプログラムを起動する。ＣＰＵ２００は、ユーザの指示に従って光学ディスクＬＤ等から画像ファイルＧＦを読み出し、画像ファイルＧＦに記録されたフレーム画像データＧＤ1〜ＧＤnが表す動画像を再生する。
【００４４】
動画像の再生中に、ユーザによってフレーム画像データの取得指示が入力されると、ＣＰＵ２００は、動画像データを構成するフレーム画像データＧＤ１〜ＧＤｎの中から、連続する複数のフレーム画像データを取得する（ステップＳ１０）。各フレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す階調データ（以下、「画素データ」とも呼ぶ。）で構成されている。画素データは、３つの画素値Ｙ（輝度）、Ｃｂ(ブルーの色差)、Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、３つの画素値Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等が用いられ得る。本実施例では、ＣＰＵ２００は、ユーザーに指示されたフレーム画像データを含むと共に時系列に並ぶ４つのフレーム画像データを取得するものとする。ＣＰＵ２００は、取得した４つのフレーム画像データをＲＡＭ２０１に一時的に格納する。
【００４５】
図４は、取得した４つのフレーム画像データが表す画像間の位置ずれを説明する概略図である。ＣＰＵ２００は、取得された４つのフレーム画像データのうち、いずれかのフレーム画像データを、合成の基準となる基準フレーム画像データとして指定する。本実施例では、時系列順に２番目のフレーム画像データを、基準フレーム画像データとする（図４参照）。
【００４６】
以下の説明では、取得した４つのフレーム画像データのうち、基準フレーム画像データを記号Ｆ_refで表すこととする。そして、基準画像データＦ_refが表す画像を基準画像ｆ_refと呼ぶこととする（図４参照）。また、基準フレーム画像データＦ_ref以外の３つのフレーム画像データを、時系列順の番号（以下、「フレーム番号」とも呼ぶ。）aを用いて、記号Ｆ(a)(a=1〜3)と表すこととする。そして、フレーム画像データＦ(a)が表す画像を対象画像ｆ(a)(a=1〜3)と呼ぶこととする（図４参照）。
【００４７】
ユーザによって、取得されたフレーム画像データについて、高解像度の静止画像を生成する指示が入力されると、まず、ＣＰＵ２００は、４つのフレーム画像データＦ(a)が表す各画像間における被写体の位置ずれ（以下、単に位置ずれという。）を解消する補正（位置ずれ補正）のための補正量（位置ずれ補正量）を算出する。ステップＳ３０〜ステップＳ７０までの一連の処理は、この位置ずれ補正量を算出するための処理である。ここで、位置ずれおよび位置ずれ補正について説明しておく。
【００４８】
図４には、基準画像ｆ_refと、対象画像ｆ(3)間の位置ずれが示されている。また、図５は、基準フレーム画像データＦ_refを基準として、フレーム画像データＦ(3)に対して行う位置ずれ補正について示す説明図である。位置ずれ補正量を算出するにあたっては、基準フレーム画像データＦ_refを基準とする。すなわち、基準フレーム画像データＦ_refに対する位置ずれ補正量を、他の３つのフレーム画像データＦ(a )(a=1〜3)について、それぞれ算出する。
【００４９】
位置ずれは、画像の横方向および縦方向の並進のずれ（以下、単に、並進ずれという。）と、画像の中心を軸とした回転のずれ（以下、単に、回転ずれという。）との組み合わせで表される。図４では、基準画像ｆ_refに対する、対象画像ｆ(3)の位置ずれ量を分かり易く示すため、基準画像ｆ_refの縁と、対象画像ｆ(3)の縁とを重ねて示すとともに、基準画像ｆ_ref上の中心位置に仮想の十字画像Ｘ_refを追記し、この十字画像Ｘ_refが、対象画像ｆ(3)と同様にずれたとして、対象画像ｆ(3)上に、ずれた結果の画像である十字画像Ｘ３を示すようにしている。更に、この位置ずれ量を、より分かり易く示すために、基準画像ｆ_refおよび十字画像Ｘ_refを太い実線で示すとともに、対象画像ｆ(3)および十字画像Ｘ３を細い破線で示すようにしている。
【００５０】
本実施例では、図４に示すように、並進ずれ量として横方向を「ｕｍ」、縦方向を「ｖｍ」と表し、回転ずれ量を「δｍ」と表し、対象画像ｆ(a)の基準画像ｆ_refに対する位置ずれ量を「ｕｍa」、「ｖｍa」、「δｍa」と表すこととする。例えば、対象画像ｆ(3)の基準画像ｆ_refに対するずれ量は、ｕｍ３、ｖｍ３、δｍ３と表される。
【００５１】
また、補正とは、画像を構成する各画素の位置を、横方向にｕの移動、縦方向にｖの移動、およびδの回転を施した位置に移動させるように、フレーム画像データにおいて各画素データの座標を変換することを意味する。ｕは、横方向の並進補正量を表し、ｖは、縦方向の並進補正量を表している。そして、δは、回転補正量を表している。
【００５２】
対象画像ｆ(a)の基準画像ｆ_refに対する位置ずれを補正する位置ずれ補正量を「ｕa」、「ｖa」、「δa」と表すこととすると、位置ずれ補正量と、上述した位置ずれとの間には、ｕa＝−ｕｍa、ｖa＝−ｖｍa、δa＝−δｍaの関係が成り立つ。例えば、対象画像ｆ(3)についての位置ずれ補正量ｕ３、ｖ３、δ３は、ｕ３＝−ｕｍ３、ｖ３＝−ｖｍ３、δ３＝−δｍ３で表される。
【００５３】
以上説明したように、例えば、図５に示すように、位置ずれ補正量ｕ3、ｖ3、δ3を用いて、フレーム画像データＦ(3)に対して補正を実行するすることにより、対象画像ｆ(3)と基準画像ｆ_refの被写体を互いに一致させることができる。すなわち、補正後の対象画像ｆ(3)と、基準画像ｆ_refとを重ね合わせると、図５に示すように、対象画像ｆ(3)は、基準画像ｆ_refに対して部分一致する。なお、この補正の結果を分かり易く示すため、図５においても、図４と同じ仮想の十字画像Ｘ_refおよび十字画像Ｘ３を表記しており、図５に示すように、補正の結果として、十字画像Ｘ３は十字画像Ｘ_refと一致することとなる。
【００５４】
なお、上述の「部分一致する」とは、以下のことを意味するものである。すなわち、図５に示すように、例えば、ハッチングを施した領域Ｐ１は、画像ｆ(3)にのみ存在する領域であり、画像ｆ_refには、該当する領域は存在しない。このように、上述の補正を行ったとしても、ずれに起因して、画像ｆ_refにのみ、または、ｆ(3)にのみ存在する領域が生じてしまうため、画像ｆ(3)は、画像ｆ_refに対して完全一致することはなく、部分一致することとなる。
【００５５】
図３に戻って、位置ずれ補正量ｕa、ｖa、δaの算出する処理（ステップＳ２０〜ステップＳ７０）について説明を続ける。ＣＰＵ２００は、まず、基準画像ｆ_refを構成する画素の中から、特徴画素を抽出する（ステップＳ３０）。特徴画素は、所定の抽出条件を満たす画素であり、抽出条件は、画像の個性を決定づけるような特徴的部位を構成する画素を抽出できる条件であることが望ましい。例えば、本実施例では、エッジ画素であって、当該エッジ画素とその周囲の画素とが所定のパターンを形成する画素を特徴画素として抽出するように、抽出条件を設定している。以下、具体的に説明する。
【００５６】
図６は、特徴画素を抽出する処理（以下、特徴画素抽出処理という。）の処理ルーチンを示すフローチャートである。図７は、特徴画素の抽出に用いるフィルタを示す説明図である。図８は、特徴画素抽出処理の結果の一例を示す概略図である。
【００５７】
ＣＰＵ２００は、基準画像ｆ_refを構成する画素の中から注目画素を設定する（ステップＳ３０１）。ＣＰＵ２００は、注目画素がエッジ画素か否かを判断する（ステップＳ３０２）。具体的には、ＣＰＵ２００は、注目画素に対して、所定のエッジ抽出フィルタを適用して、エッジ度合を算出する。そして、ＣＰＵ２００は、注目画素のエッジ度合を予め設定された閾値と比較して、当該閾値より大きい場合には注目画素はエッジ画素であると判断し、当該閾値より小さい場合には注目画素はエッジ画素でないと判断する。
【００５８】
エッジ抽出フィルタは、本実施例では、図７（ａ）に示す垂直および水平方向のｓｏｂｅｌフィルタを用いている。もちろん、ｓｏｂｅｌフィルタに代えて、他の種々の公知のフィルタを用いることが可能である。例えば、ｐｒｅｗｉｔｔフィルタ、ｒｏｂｅｒｔｓフィルタ、ｌａｐｌａｃｉａｎフィルタを用いることができる。
【００５９】
エッジ度合は、エッジ勾配の強弱を示す値であり、例えば、注目画素を中心とする３×３の計９つの画素の画素値を、上述したエッジ抽出フィルタによって重み付けして合計した値を用いることができる。エッジ度合の算出に用いる画素値は、輝度値であっても良いし、ＲＧＢの各画素値であっても良い。
【００６０】
閾値は、適当な数のエッジ画素を抽出できるように、経験的に定められる。また、実際に検出されたエッジ画素数に応じて、適宜、閾値の大きさを調整しても良い。
【００６１】
ＣＰＵ２００は、エッジ画素か否かの判断を全ての画素について終了していない場合（ステップＳ３０３：ＮＯ）には、まだ判断していない画素を注目画素として設定して、上述した処理を繰り返す（ステップＳ３０１〜Ｓ３０２）。この結果、基準画像ｆ_refを構成する全ての画素が、エッジ画素か非エッジ画素かのどちらかに類別される。
【００６２】
ＣＰＵ２００は、エッジ画素か否かの判断を全ての画素について終了した場合（ステップＳ３０３：ＹＥＳ）には、上述したステップにおいてエッジ画素であると判断された画素の中から注目エッジ画素を設定する（ステップＳ３０４）。ＣＰＵ２００は、注目エッジ画素が、特徴画素か否かを判断する（ステップＳ３０５）。例えば、ＣＰＵ２００は、注目エッジ画素を中心とする領域においてエッジ画素と非エッジ画素とにより形成するパターンが、所定の抽出パターンに近い場合には、注目エッジ画素は特徴画素であると判断し、所定の抽出パターンに近くない場合には、注目エッジ画素は特徴画素でないと判断する。
【００６３】
所定の抽出パターンは、例えば、図７（ｂ）に示すように、エッジ画素を表す「１」と非エッジ画素を表す「０」とによってパターンを形成した３×３のドットマトリックス状のフィルタ（以下、パターンフィルタという。）として、予め記憶されている。図７（ｂ）に示す８つのパターンフィルタは、中央のエッジ画素と周囲の４つのエッジ画素（「１」の部分）と、非エッジ画素（「０」の部分）との境界に、１３５度の角が形成されるパターンを表している。したがって、図７（ｂ）に示すパターンフィルタは、１３５度の角を抽出するといえる。パターンフィルタとしては、５×５画素等、種々の大きさを採用可能であるし、抽出パターンとしても、９０°〜１８０°の角が形成されるパターン等、種々のパターンを採用可能である。
【００６４】
具体的な判断手法について説明すると、ＣＰＵ２００は、注目画素を中心としたパターンフィルタに対応する領域（以下、比較領域という。）と上述した８つのパターンフィルタとを順番に照合する。そして、ＣＰＵ２００は、比較領域におけるエッジ画素の位置と一のパターンフィルタにおけるエッジ画素の位置（「１」の位置）とが３つ以上一致する場合に、当該領域のパターンは所定の抽出パターンに近く、注目エッジ画素は特徴画素であると判断する。そして、ＣＰＵ２００は、比較領域と８つの全てのパターンフィルタとを照合して、エッジ画素の位置が３つ以上一致するパターンフィルタが無い場合に、注目画素は特徴画素でないと判断する。
【００６５】
ＣＰＵ２００は、特徴画素か否かの判断を全てのエッジ画素について終了していない場合（ステップＳ３０６：ＮＯ）には、まだ判断していないエッジ画素を注目エッジ画素として設定して、上述した処理を繰り返す（ステップＳ３０４〜Ｓ３０５）。ＣＰＵ２００は、特徴画素か否かの判断を全てのエッジ画素について終了すると（ステップＳ３０６：ＹＥＳ）、特徴画素抽出処理を終了する。
【００６６】
図８は、特徴画素抽出処理の結果の一例を示す概略図である。図８に示すように、基準画像ｆ_refにおいて、画素値の変化が大きいエッジ部分（例えば、主要被写体と背景との境界部分）に複数個の特徴画素が抽出される。
【００６７】
ＣＰＵ２００は、次に、基準画像ｆ_refにおいて所定の特徴を有する特徴領域を決定する（ステップＳ５０）。特徴領域は、画像の個性を決定づけるような特徴的部位を含み、画素値の変化に富む領域であることが望ましい。本実施例では、基準画像ｆ_refの画像データを解析して特徴領域を抽出することによって特徴領域を決定する。以下、具体的に説明する。
【００６８】
図９は、特徴領域を決定する処理（以下、特徴領域決定処理という。）の処理ルーチンを示すフローチャートである。図１０は、特徴領域決定処理の概略を示す説明図である。以下では、図１０に示す例を参照して説明する。ＣＰＵ２００は、先ず、上述した特徴画素抽出処理により抽出された特徴画素全体の重心位置を算出する（ステップＳ４０１）。抽出された全ての特徴画素のＸ座標の平均値、およびＹ座標の平均値を算出すれば良い。図１０において、記号ＧＰは、算出された重心の位置を示している。
【００６９】
ＣＰＵ２００は、次に、算出された重心ＧＰを中心として、予め定められた初期サイズの特徴領域を設定する（ステップＳ４０２）。図１０において２点破線で示される領域ＦＡは、本ステップにより設定された初期サイズの特徴領域を表している。初期サイズは、例えば、基準画像ｆ_refの１／４の縦巾および横幅とすることができる。
【００７０】
ＣＰＵ２００は、設定した特徴領域が、領域決定条件を満たすか否かを判断する（ステップＳ４０３）。領域決定条件としては、種々の条件を用いることができる。例えば、抽出された全ての特徴画素のうち基準割合（例えば、３０％）以上の特徴画素が設定した特徴領域に含まれること、あるいは、基準数（例えば、１０個）以上の特徴画素が設定した特徴領域に含まれること、等を領域決定条件とすることができる。これによって、特徴画素が多く分布する適切な特徴領域を抽出することができる。図１０で示す例では、図の煩雑を避けるため、５個以上の特徴画素が特徴領域に含まれることを特徴領域決定条件として説明する。図１０で示す例では、初期サイズの特徴領域ＦＡは４つの特徴画素しか含んでいないため、ＣＰＵ２００は、特徴領域ＦＡは特徴領域決定条件を満たさないと判断することになる。
【００７１】
ＣＰＵ２００は、設定した特徴領域が領域決定条件を満たさない場合（ステップＳ４０３：ＮＯ）には、特徴領域のサイズを所定量（例えば、縦２４画素、横３６画素分）大きく変更する（ステップＳ４０４）。そして、ＣＰＵ２００は、ステップＳ４０３に戻り、変更後の特徴領域が領域決定条件を満たすか否かを判断する。ＣＰＵ２００は、特徴領域が領域決定条件を満たすまで、ステップＳ４０３およびＳ４０４を繰り返し実行し、特徴領域が特徴領域決定条件を満たした場合（ステップＳ４０３：ＹＥＳ）には、その時点で設定されているサイズの特徴領域を最小特徴領域と決定する（ステップＳ４０５）。図１０に示す例では、破線で示す領域ＭＡまで初期サイズよりサイズを大きくした時点で、特徴領域は５つの特徴画素を含み特徴決定条件を満たすので、ＣＰＵ２００は、領域ＭＡを最小特徴領域と決定することになる。
【００７２】
ＣＰＵ２００は、続いて、決定した最小特徴領域MAに所定のマージン領域を付加した領域を最終的な特徴領域ＴＡと決定する（ステップＳ４０６）。所定のマージン領域は、例えば、図１０の例においてハッチングされた領域Ｍで示すように、最小特徴領域ＭＡの周囲に所定の巾（図１０において、記号ＴＭおよびＹＭで示されている。）で付加される。マージン領域の巾は、例えば、縦２４画素、横３６画素とすることが出来る。マージン領域を付加する理由は後述する。ＣＰＵ２００は、最終的な特徴領域ＴＡを決定すると本処理を終了し、図３に示す処理ルーチンにリターンする。
【００７３】
図３に戻って説明を続ける。ＣＰＵ２００は、対象画像ｆ(a)(a=1,2,3)のそれぞれにおいて、基準画像ｆ_refにおける上述した特徴領域に対応する領域（以下、対応特徴領域という。）を設定する（ステップＳ５０）。図１１は、４つの画像において設定された特徴領域ＴＡと対応特徴領域ＣＡを示す概略図である。図１１に示すように、基準画像ｆ_refにおける特徴領域ＴＡの位置、大きさ、範囲と同じ位置、大きさ、範囲の領域を対象画像ｆ(a)(a=1,2,3)のそれぞれに対応特徴領域ＣＡとして設定する。
【００７４】
ＣＰＵ２００は、対応特徴領域ＣＡを設定すると、基準画像ｆ_refにおける特徴領域ＴＡに含まれる特徴画素ＴＰに対応する画素ＣＰ（以下、対応特徴画素ＣＰという。）を、対応特徴領域ＣＡにおいて検出する（ステップＳ６０）。基準画像ｆ_refと対象画像f(a)(a=1,2,3)は、いずれも時系列的に連続する４つのフレーム画像データの一つが表す画像であるから、多少の位置ずれは生じているものの互いに類似した画像であるはずである。したがって、基準画像ｆ_refにおける特徴画素ＴＰと類似した特徴を有する対応特徴画素ＣＰがそれぞれの対象画像ｆ(a)において、ほぼ近似した位置に存在すると考えられる。以下、対応特徴画素ＣＰの検出について具体的に説明する。
【００７５】
図１２は、対応特徴画素を検出する処理（以下、対応特徴画素検出処理という。）の処理ルーチンを示すフローチャートである。図１３は、対応特徴画素の候補となる画素（以下、候補特徴画素という。）を抽出した結果の一例を示す概略図である。図１４は、特徴画素ＴＰと対応する対応特徴画素ＣＰの決定手法を説明する概略図である。図１４（ａ）は、２つの画素の類似度を表す指標Ｓの算出方法を示している。図１４（ｂ）は、基準画像ｆ_refの特徴領域ＴＡにおける特徴画素ＴＰ１〜ＴＰ５と対象画像ｆ（3）の対応特徴領域ＣＡにおける候補特徴画素ＣＰ’１〜ＣＰ’６を具体例にして、特徴画素ＴＰと候補特徴画素ＣＰ’との対応関係の決定手法を示している。図１５は、対応特徴画素検出処理の結果の一例を示す概略図である。ＣＰＵ２００は、先ず、３つの対象画像ｆ(a)(a=1,2,3)の中から注目対象画像を設定する（ステップＳ６０１）。
【００７６】
ＣＰＵ２００は、設定した注目対象画像における対応特徴領域において、対応特徴画素の候補となる画素ＣＰ’（候補特徴画素ＣＰ’）を抽出する（ステップＳ６０２）。候補特徴画素ＣＰ’の抽出は、上述したステップＳ３０の特徴画素抽出処理を注目対象画像における対応特徴領域ＣＡに含まれる各画素に対して適用することによって実行される。すなわち、各画素に対してエッジ抽出フィルタを適用してエッジ画素を抽出し、抽出されたエッジ画素に対してパターンフィルタを適用して候補特徴画素ＣＰ’を抽出する（図６および図７参照）。
【００７７】
図１３に示す例では、対象画像ｆ(3)を注目対象画像として、対応特徴領域ＣＡ内において、６個の候補特徴画素ＣＰ’が抽出されている。このように、基準画像ｆ_refの特徴領域ＴＡに含まれる特徴画素の数（図１３の例では、５個）と、対応特徴領域ＣＡに含まれる候補特徴画素ＣＰ’の数は必ずしも一致しない。しかし、少なくとも抽出された候補特徴画素ＣＰ’の中に、検出すべき対応特徴画素ＣＰが全て含まれていることが望ましい。図１３に示す例では、基準画像ｆ_refと対象画像ｆ(3)間に多少位置ずれが生じているにも関わらず、抽出された６個の候補特徴画素ＣＰ’の中に、検出すべき５個の対応特徴画素ＣＰ（特徴領域ＴＡに含まれる５個の特徴画素にそれぞれ対応する。）が含まれていることが解る。上述した特徴領域決定処理（ステップＳ４０）においてマージン領域を付加した理由は、位置ずれによって、検出すべき対応特徴画素ＣＰが対応特徴領域ＣＡから外れて、本処理において候補特徴画素ＣＰ’として抽出されなくなることを防ぐためである。
【００７８】
ＣＰＵ２００は、続いて、特徴領域ＴＡに含まれる各特徴画素ＴＰごとに、最類似の関係にある候補特徴画素ＣＰ’を決定する（ステップＳ６０３）。図１４を参照して説明すると、ＣＰＵ２００は、まず、着目する特徴画素（例えば、特徴画素ＴＰ１）と候補特徴画素ＣＰ’との類似度を表す値Ｓを、全ての候補特徴画素（ＣＰ’１〜ＣＰ’６の６つ）について算出する。本実施例では、図１４（ａ）に示すように、比較する２つの画素を中心とする３×３画素について、それぞれ対応する画素の画素値の差分を算出する。そして、算出した差分の絶対値を足し合わせた値Ｓを算出する。すなわち、比較する２つの画素の座標をそれぞれ(i,j),(I,J)で表し、座標(i,j)の画素の画素値をＸ(i,j)と表すと、値Ｓは以下の式（１）を用いて算出される。
【００７９】
【数１】
【００８０】
値Ｓの算出に用いる画素値は、輝度値であっても良いし、ＲＧＢの各画素値であっても良い。算出された値Ｓが小さいほど、両画素は類似度が高いといえる。ＣＰＵ２００は、算出された値Ｓが最も小さい候補特徴画素ＣＰ’を、着目する特徴画素ＴＰと最類似の関係にあると決定する。ＣＰＵ２００は、特徴領域ＴＡに含まれる全ての特徴画素ＴＰに着目して上述の処理を繰り返し、特徴領域ＴＡに含まれる全ての特徴画素ＴＰについてそれぞれ最類似の関係にある候補特徴画素ＣＰ’を決定する。
【００８１】
ＣＰＵ２００は、次に、対応特徴領域ＣＡに含まれる各候補特徴画素ＣＰ’ごとに、最類似の関係にある特徴画素ＴＰを決定する（ステップＳ６０４）。つまり、ステップＳ６０３とは逆に、対応特徴領域ＣＡに含まれる候補特徴画素ＣＰ’に着目して、特徴領域ＴＡに含まれる全ての特徴画素ＴＰの中から着目する候補特徴画素ＣＰ’と最類似の関係にある特徴画素を決定する。図１４を参照して説明すると、ＣＰＵ２００は、まず、着目する候補特徴画素（例えば、画素ＣＰ’１）と特徴画素との類似度を表す値Ｓを、特徴領域ＴＡ内に含まれる全ての特徴画素（ＴＰ１〜ＴＰ５の５つ）について算出する。値Ｓの算出手法は、上述したステップＳ６０３と同様である。ＣＰＵ２００は、算出された値Ｓが最も小さい特徴画素ＴＰを、着目する候補特徴画素ＣＰ’と最類似の関係にあると決定する。ＣＰＵ２００は、対応特徴領域ＣＡに含まれる全ての候補特徴画素ＣＰ’についてそれぞれ最類似の関係にある特徴画素ＴＰを決定する。
【００８２】
ＣＰＵ２００は、ステップＳ６０３とステップＳ６０４において決定した最類似の関係に基づいて、候補特徴画素ＣＰ’の中から特徴領域ＴＡに含まれる各特徴画素ＴＰに対応する対応特徴画素ＣＰを決定する（ステップＳ６０５）。具体的には、注目する特徴画素ＴＰと、互いからみて最類似の関係にある組み合わせを構成する候補特徴画素ＣＰ’を、当該特徴画素ＴＰに対応する対応特徴画素ＣＰであるとする。このような組み合わせが類似度が最も高い組み合わせであると考えられる。
【００８３】
図１４（ｂ）に示す例を用いて詳しく説明する。ステップＳ６０３において特徴画素ＴＰ１と最類似の関係にあると決定された候補特徴画素はＣＰ’１であるとする。そして、ステップＳ６０４において候補特徴画素ＣＰ’１と最類似の関係にあると決定された特徴画素はＴＰ１であり、候補特徴画素ＣＰ’６と最類似の関係にあると決定された特徴画素もＴＰ１であるとする。かかる場合には、特徴画素ＴＰ１と候補特徴画素ＣＰ’１とは互いからみて最類似の関係にあるので、ＣＰＵ２００は、候補特徴画素ＣＰ’１を特徴画素ＴＰ１に対応する対応特徴画素ＣＰであると決定する。一方で、片側からのみ最類似の関係にある候補特徴画素ＣＰ’６は、対応特徴画素とはされない。ＣＰＵ２００は、これにより、特徴領域ＴＡに含まれる５つの特徴画素ＴＰ１〜ＴＰ５の全てについて、それぞれ対応特徴画素を決定する。図１４（ｂ）に示す例では、ＴＰ１−ＣＰ’１、ＴＰ２−ＣＰ’２、ＴＰ３−ＣＰ’３、ＴＰ４−ＣＰ’４、ＴＰ５−ＣＰ’５がそれぞれ対応する組み合わせとなる。
【００８４】
ＣＰＵ２００は、着目対象ｆ(a)について画像対応特徴画素ＣＰの決定を終えると、全ての対象画像ｆ(a)(a=1,2,3)について対応特徴画素ＣＰを決定する処理を終了したか否かを判断する（ステップＳ６０６）。ＣＰＵ２００は、まだ、対応特徴画素の決定が終了していない対象画像ｆ(a)が存在する場合（ステップＳ６０６：ＮＯ）には、当該対象画像ｆ(a)を新たな着目対象画像に設定して（ステップＳ６０１）、上述した処理（ステップＳ６０２〜Ｓ６０５）を繰り返す。ＣＰＵ２００は、全ての対象画像ｆ(a)(a=1,2,3)について対応特徴画素の決定を終了すると（ステップＳ６０６：ＹＥＳ）、本処理を終了して、図３の処理ルーチンにリターンする。この時点で、基準画像ｆ_refの特徴領域ＴＡにおいては特徴画素ＴＰ（図１５に示す例では、領域ＴＡにおける５つの画素ＴＰ）が認識され、３つの対象画像ｆ(a)(a=1,2,3)それぞれの対応特徴領域ＣＡにおいては対応特徴画素ＣＰ（図１５に示す例では、領域ＣＡにおける５つの画素ＣＰ）が認識された状態となる。
【００８５】
ＣＰＵ２００は、次に、これまでの処理によって認識された特徴画素ＴＰの位置と対応特徴画素ＣＰの位置とに基づいて、上述した位置ずれ補正量（ｕa、ｖa、δa）を、３つの対象画像ｆ(a)(a=1,2,3)それぞれについて算出する（ステップＳ７０）。
【００８６】
図１６は、基準画像ｆ_refにおける特徴画素ＴＰの位置と対象画像ｆ(3)における対応特徴画素ＣＰの位置が最も近づくように、対象画像ｆ(3)を基準画像ｆ_refに対してずらして重ね合わせた状態を示す概略図である。ＣＰＵ２００は、このような重ね合わせ位置を実現する位置ずれ補正量（ｕa、ｖa、δa）を算出する。具体的には、予め位置ずれ補正量の最大範囲を決めておき、その範囲内で、各特徴画素ＴＰに対応する対応特徴画素ＣＰとの画素間距離の合計が最も小さくなるように、位置ずれ補正量（ｕa、ｖa、δa）を決定する。上述したように、４つの画像は時系列的に連続したフレーム画像データが表す画像であるから、互いに類似しており、各画像間に生じている位置ずれ量は、比較的小さな範囲内に収まる。従って、予め経験的に位置ずれ補正量の最大範囲を、例えば、｜ｕa｜＜Ｕ、｜ｖa｜＜Ｖ、｜δa｜＜Δ、（Ｕ、Ｖ、Δは、定数）と定めておくことで、処理を高速化できる。
【００８７】
位置ずれ補正量が、対象画像ｆ(a)(a=1〜3)の全てについて算出されると、算出された位置ずれ補正量を用いて、フレーム画像データＦ(a)(a=1〜3)に対して位置ずれ補正を実行して、対象画像ｆ(a)(a=1〜3)と基準画像ｆ_refの計４つの画像を、部分一致するように重ね合わせることができる（図５参照）。
【００８８】
図３に戻って説明を続ける。ＣＰＵ２００は、位置ずれ補正した４つのフレーム画像データＦ(a)を合成して、フレーム画像データＦ(a)より高解像度の画像を表す画像データ（以下、高解像度画像データという。）を生成する処理（以下、高解像度画像合成処理という。）を実行する（ステップＳ８０）。以下、高解像度画像合成処理について簡単に説明する。
【００８９】
図１７は、基準画像ｆ_refと対象画像ｆ(a)(a=1〜3)とを、位置ずれを補正して配置した様子を拡大して示す説明図である。図１７では、高解像度画像合成処理によって生成される高解像度画像データが表す画像（以下、高解像度画像という。）の各画素が黒丸で示されているとともに、基準画像ｆ_refの各画素が白抜きの四辺形で示され、対象画像ｆ(a)(a=1〜3)の各画素が、ハッチングを施した四辺形で示されている。なお、高解像度画像の画素密度は、基準画像ｆ_refに対して、縦横１．５倍密に設定されるものとする。また、高解像度画像の各画素は、２画素おきに基準画像ｆ_refの各画素に重なる位置にあるものとする。ただし、高解像度画像の画素が、必ずしも基準画像ｆ_refの各画素に重なる位置にある必要はない。例えば、高解像度画像の各画素のすべてが、基準画像ｆ_refの各画素の中間に位置する等、種々の位置とすることができる。また、高解像度画像の画素密度も、縦横１．５倍に限定されるものではなく、自由に設定することができる。
【００９０】
高解像度画像のある画素Ｇ(i)に注目して説明する（以下、画素Ｇ(i)を注目画素という。）。変数iは、高解像度画像の全画素を区別する番号を示している。ここで、図１７に示すように、４つの画像ｆ_ref，ｆ(1)，ｆ(2)，ｆ(3)において、注目画素Ｇ(i)と最も近い画素を、それぞれＰ_ref，Ｐ(1)，Ｐ(2)，Ｐ(3)とする。ＣＰＵ２００は、注目画素Ｇ(i)と画素Ｐ_ref，Ｐ(1)，Ｐ(2)，Ｐ(3)との距離Ｌ０，Ｌ１，Ｌ２，Ｌ３をそれぞれ算出する。そして、ＣＰＵ２００は、最も近い距離にある画素（以下、「最近傍画素」と呼ぶ。）を決定する。図１７の例では、Ｌ３＜Ｌ１＜Ｌ０＜Ｌ２であるので、対象画像ｆ(3)の画素Ｐ(3)が、注目画素Ｇ(i)の最近傍画素として決定される。なお、この注目画素Ｇ(i)に対する最近傍画素が、対象画像ｆ(3)のj番目の画素であったとして、以下、最近傍画素P（3，j）と表記する。
【００９１】
ＣＰＵ２００は、注目画素Ｇ(i)の画素値を、決定された最近傍画素含む画像ｆ(a)（図１７に示す例では、対象画像ｆ(3)）において注目画素Ｇ(i)を囲む画素の画素値を用いて、バイ・リニア法等の補完処理によって生成する。補間処理の方法については、バイ・リニア法の他、バイ・キュービック法、ニアレストネイバ法等の種々の方法を用いることができる。
【００９２】
図１８は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ(i)は、４つの画像画像ｆ_ref，ｆ(1)〜ｆ(3)のいずれにも存在しない画素であるので、画素値が存在していない。そこで、ＣＰＵ２００は、最近傍画素Ｐ（3，i）のほか、注目画素Ｇ(i)を囲む３つの画素Ｐ（3，i+1）、Ｐ（3，ｋ）、Ｐ（3，ｋ+1）で区画される領域を、注目画素Ｇ(i)で４つの区画に分割し、その面積比で対角位置の画素の画素値をそれぞれ重み付けして加算することにより、注目画素Ｇ(i)の画素値を生成する。ただし、ｋはi番目の画素に対象画像f(3)の横方向の画素数を加えた画素の番号を示している。
【００９３】
ＣＰＵ２００は、高解像度画像を構成する全ての画素について、上述した処理によって画素値を生成する。この結果、高解像度画像を表す高解像度画像データが最終的に生成される。
【００９４】
以上説明した第１の実施例に係る画像処理装置によれば、画像ファイルＧＦ（動画ファイル）から取得した４つのフレーム画像データＦ_ref、Ｆ(a)(a=1〜3)の合成に用いる位置ずれ補正量を、基準画像ｆ_refの特徴画素の位置と、対象画像f(a)の対応特徴画素の位置とに基づいて算出する。この結果、基準画像ｆ_refおよび対象画像f(a)を表す全画像データを用いることなく、極めて少ない画素の位置のみに基づいて位置ずれ補正量を算出することができるので、算出にかかる処理時間の短縮および処理負荷の軽減を図ることができる。
【００９５】
特徴画素の抽出処理や対応特徴画素の検出処理は、画素の周辺の比較的狭い領域（例えば、３×３画素の領域）の比較によって行われる高速な処理であり、これらの処理が負担となることもない。また、位置ずれ補正量の算出に用いる特徴画素および対応特徴画素は、エッジ抽出フィルタやパターンフィルタにより抽出された特徴的な画素であるので、考慮する画素が少なくても位置ずれ補正量の算出精度が劣ることもない。
【００９６】
さらに、位置ずれ補正量の算出に用いる特徴画素は、基準画像ｆ_refの一部の領域である特徴領域に含まれる特徴画素であり、位置ずれ補正量の算出に用いる対応特徴画素も、対象画像ｆ(a)(a=1〜3)の一部の領域である対応特徴領域にである。従って、基準画像ｆ_refおよび対象画像f(a)の全領域を考慮することなく、一部の領域のみを考慮して位置ずれ補正量を算出することができるので、さらに算出にかかる処理時間の短縮および処理負荷の軽減を図ることができる。
【００９７】
考慮する特徴領域や対応特徴領域は、特徴画素や対応特徴画素が多く分布する特徴的な領域であるので、考慮する領域を一部の領域に限ったとしても位置ずれ補正量の算出精度が劣ることもない。
【００９８】
さらに、基準画像ｆ_refにおいて、抽出された特徴画素全体の重心が中心に位置する領域であると共に、基準数以上の特徴画素あるいは基準割合以上の特徴画素を含む領域を、特徴領域とするので、特徴画素が多く分布し補正量の算出に適した領域を特徴領域として抽出することができる。
【００９９】
また、特徴画素と同様な特徴的な画素を候補特徴画素として抽出し、特徴画素の周辺領域と候補特徴画素の周辺領域との類似度を表す指標Ｓを算出する。そして、注目する特徴画素と類似度が最も高い組み合わせを構成する候補特徴画素を、注目する特徴画素に対応する対応特徴画素として検出するので、精度良く対応特徴画素を検出することができる。
【０１００】
B．第２の実施例
・画像処理システムの構成：
第２の実施例に係る画像処理システムの構成およびパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成は、図１を参照して説明した第１の実施例に係る画像処理システムの構成と同一であるので、その説明を省略して、以下の説明では同一の符号を用いる。
【０１０１】
・パーソナルコンピュータ２０の機能的構成：
図１９は、本実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。第１の実施例と異なる構成についてのみ説明することとし、第１の実施例と同一の構成については、同一の符号を付し、その説明を省略する。
【０１０２】
第２の実施例に係るパーソナルコンピュータ２０は、補正量算出部M２６０に、第１の補正量算出部M２６２と第２の補正量算出部M２６４を備えている点で、第１の実施例と異なっている。他の構成は、第１の実施例と同じである。
【０１０３】
第１の補正量算出部M２６２は、第１の実施例における補正量算出部Ｍ２６０と同様の処理により推定される位置ずれ補正量である第１の補正量を算出する。
【０１０４】
第２の補正量算出部Ｍ２６４は、合成するフレーム画像データが表す画像を構成する画素の画素値を解析して推定される位置ずれ補正量である第２の補正量を算出する。第２の補正量を算出する際の画素値解析には、第１の補正量算出部Ｍ２６２によって算出された第１の補正量を初期値に用いる。
【０１０５】
・パーソナルコンピュータ２０における画像処理：
図２０〜図２７を参照して、本実施例に係るパーソナルコンピュータ２０において実行される画像処理について説明する。
【０１０６】
図２０は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。図３を参照して説明した第１の実施例に係る画像処理の処理ルーチンと同一のステップについては、図３と同一の符号を付し、その説明を省略する。
【０１０７】
第１の実施例に係る画像処理と異なる点は、第１の実施例では、ステップＳ７０（図３参照）において算出していた位置ずれ補正量を、第２の実施例では、第１の補正量の算出（ステップＳ７２）と第２の補正量の算出（ステップＳ７４）の２つのステップに分けて算出している点である。第２の実施例に係るその他の画像処理は、第１の実施例と同一である。以下、第１の実施例と異なる２つのステップにおける処理について説明する。
【０１０８】
第１の補正量の算出処理は、基本的には、第１の実施例における位置ずれ補正量の算出と同様である。すなわち、ＣＰＵ２００は、これまでの処理（ステップＳ３０〜Ｓ６０）によって認識された特徴画素の位置と対応特徴画素の位置とに基づいて、位置ずれ補正量（ｕa、ｖa、δa）を、３つの対象画像ｆ(a)(a=1〜3)それぞれについて算出する。ただし、本ステップで算出する位置ずれ補正量は、大まかな概算値で良く、例えば、画像ｆ_ref、ｆ(a)(a=1〜3)を構成する画素単位程度の精度（いわゆるピクセルレベルの精度）で求めれば良い。後述する第２の補正量の算出処理において、より精度の高い補正量算出に適した手法により、最終的な補正量を高い精度で求めるからである。以下、本ステップで算出される位置ずれ補正量の概算値を第１の補正量と呼び、記号ｕa_1st、ｖa_1st、δa_1st(a=1,2,3)で表す。
【０１０９】
ＣＰＵ２００は、次に、基準画像ｆ_refおよび対象画像f(a)(a=1〜3)を構成する画素の画素値を解析（以下、画素値解析という。）することによって、最終的な位置ずれ補正量を算出する（ステップＳ７４）。本ステップで算出される最終的な位置ずれ補正量を第２の補正量と呼び、記号ｕa_2nd、ｖa_2nd、δa_2nd(a=1,2,3)で表す。
【０１１０】
第２の補正量は、画像ｆ_ref、ｆ(a)(a=1〜3)を構成する画素単位より細かい精度（いわゆるサブピクセルレベルの精度）で算出される。例えば、並進補正量ｕa_2nd、ｖa_2ndは、１／１６画素単位で、回転補正量δa_2ndは、１／１００度単位で算出される。より高い精度で位置ずれ補正量を算出することで、後に生成される高解像度画像データにおいて、より高い画質を確保できるからである。従って、第２の補正量の算出には、第１の補正量の算出手法より高い精度で位置ずれ補正量を算出可能な解析手法が用いられる。本実施例では、第２の補正量は、基準画像ｆ_refを構成する画素と対象画像f(a)を構成する画素のそれぞれの画素値（例えば輝度値）を用いて、勾配法（グラディエント法）を複数回繰り返す手法（以下、反復勾配法という。）によって算出される。以下では、先ず、勾配法および反復勾配法について説明する。
【０１１１】
図２１および図２２を参照して、勾配法について説明する。図２１は、勾配法による位置ずれ補正量の算出方法について説明する第１の説明図である。図２２は、勾配法による位置ずれ補正量の算出方法について説明する第２の説明図である。図２１において、黒い丸は、基準画像ｆ_refの画素を表し、例えば、（x1i、y1i）は、基準画像ｆ_refの中心を原点とする直交座標上における画素の座標を表している。そして、白い丸は、基準画像ｆ_refと部分一致するように重ねられた対象画像f(a)(a=1,2,3)の画素Ｐ_tar（x2i、y2i）を表し、座標（x2i，y2i）は、対象画像f(a)(a=1,2,3)の中心を原点とする直交座標上における座標を表している。以下、画素Ｐ_tar（x2i、y2i）を着目画素として説明を進める。着目画素Ｐ_tar（x2i、y2i）は、基準画像ｆ_refと部分一致するように重ねられた場合に、基準画像ｆ_refの画素Ｐ_ref（x1i、y1i）の近傍の位置（x1i＋Δxi、y1i＋Δyi）に位置すると仮定する。ここで、iは、各画素を区別する番号である。
【０１１２】
まず、着目画素Ｐ_tar（x2i、y2i）に最も近い基準画像ｆ_refの画素Ｐ_ref（x1i、y1i）と、その上下左右にある４つの画素Ｐ_ref（x1i+1、y1i）、Ｐ_ref（x1i-1、y1i）、Ｐ_ref（x1i、y1i+1）、Ｐ_ref（x1i、y1i-1）が、参照画素として選択される。
【０１１３】
図２２（ａ）は、対象画像f(a)と基準画像ｆ_refとを部分一致するように重ねた場合において、着目画素Ｐ_tar（x2i、y2i）と画素Ｐ_ref（x1i、y1i）とのｘ１軸上の距離Δxiを推定する方法を示している。まず、画素Ｐ_ref（x1i、y1i）と、左右に隣接する画素Ｐ_ref（x1i-1、y1i）、Ｐ_ref（x1i+1、y1i）の輝度値Ｂ_ref（x1i、y1i）、Ｂ_ref（x1i-1、y1i）、Ｂ_ref（x1i+1、y1i）とを用いて、輝度勾配ΔＢxiが算出される。ΔＢxiは、図２２（ａ）において直線Ｒ１の傾きで表される量で、画素Ｐ_ref（x1i、y1i）の近傍における輝度勾配である。例えば、３つの画素値を用いて、近似直線を求めてその傾きをΔＢｘとして用いても良いし、単に、左右の画素値を結ぶ直線の傾き｛Ｂ_ref（x1i+1、y1i）−Ｂ_ref（x1i-1、y1i）｝／２をΔＢxiとして用いても良い。
【０１１４】
そして、着目する画素Ｐ_tar（x2i、y2i）の輝度値Ｂ_tar（x2i、y2i）が、図２２（ａ）に示す直線Ｒ１上にあるものと仮定すると、
ΔＢxi・Δxi＝Ｂ_tar（x2i、y2i）−Ｂ_ref（x1i、y1i）が成立する。ここで、Ｂ_tar（x2i、y2i）およびＢ_ref（x1i、y1i）を単にＢ_tar、Ｂ_refで表すと、
ΔＢxi・Δxi - (Ｂ_tar - Ｂ_ref）= 0 …（２）
が成立する。
【０１１５】
図２２（ｂ）は、対象画像f(a)と基準画像ｆ_refとを部分一致するように重ねた場合において、着目画素Ｐ_tar（x2i、y2i）と画素Ｐ_ref（x1i、y1i）とのｙ１軸上の距離Δyiを推定する方法を示している。上述したΔｘの推定と同様の手法により、
ΔＢyi・Δyi - (Ｂ_tar - Ｂ_ref）= 0 …（３）
の式が導ける。ここで、式（２）、および、式（３）を満たすΔxi、Δyiを求めれば、着目画素Ｐ_tar（x2i、y2i）の基準画像ｆ_ref上における位置がわかることになる。
【０１１６】
この考え方を拡張して、対象画像f(a)を構成する全ての画素について、共通する補正量（ua、ｖa、δa）を求めるには、最小自乗法を用いて、以下のＤ2を最小にすることを考えれば良い。
Ｄ2＝Σ｛ΔＢxi・Δxi＋ΔＢyi・Δyi−（Ｂ_tar - Ｂ_ref）｝2 …(４)
【０１１７】
ここで、補正量（ua、ｖa、δa）と、各画素についてのΔxi、Δyiとの関係について考える。図２３は、画素の回転補正量を模式的に示す説明図である。基準画像ｆ_refの座標（ｘ１，ｙ１）の原点Ｏからの距離をｒとし、ｘ１軸からの回転角度をθとすると、ｒ，θは、下式で表される。
ｒ＝（x12＋y１2）1/2 …（５）
θ＝tan-1（y１／x1） …（６）
【０１１８】
ここで、対象画像f(a)の基準画像ｆ_refに対する並進ずれはなく、回転ずれのみが発生しているものとし、対象画像f(a)における座標（ｘ２，ｙ２）の画素が、基準画像ｆ_ref上の座標（ｘ１,ｙ１）の位置から回転補正量δだけ回転した座標(ｘ１'，ｙ１')にあるとする。この回転補正量δaによるｘ１軸方向の移動量Δｘとｙ１軸方向の移動量Δｙは、下式により求められる。
Δx＝x1'−x1≒−ｒ・δa・sinθ＝−δa・y1 …（７）
Δy＝y1'−y1≒ｒ・δa・cosθ＝δa・x1 …（８）
【０１１９】
したがって、上記式（４）における各画素iについてのΔxi、Δyiは、補正量（ｕa，ｖa、δa）を用いて、下式のように表すことができる。
Δxi＝ｕa−δa・y1i …（９）
Δyi＝ｖa＋δa・x1i …（１０）
ここで、x1iおよびy1iは、基準画像ｆ_refにおける画素Ｐ_ref（x1i、y1i）の座標である。
【０１２０】
上記式（９），（１０）を上記式（４）に代入すると、下式が得られる。
Ｄ2＝Σ｛ΔBxi・（ｕa−δa・ｙ1i）＋ΔBｙi・（ｖa＋δa・x1i）−（Ｂ_tar - Ｂ_ref）｝2 …（１１）
【０１２１】
すなわち、勾配法のために考慮する全画素について対応する座標値と輝度値を式（４）に代入したときに、Ｄ2を最小にする補正量ｕa，ｖa，δaを最小自乗法によって求めることができる。
【０１２２】
次に、反復勾配法について説明する。図２４および図２５は、反復勾配法の概略を示す説明図である。反復勾配法では、上述した勾配法によって求められた位置ずれ補正量を用いて対象画像f(a)の画素位置を補正し、補正後の画素位置に基づいて上述した参照画素を選択し直し、新たに選択された参照画素を用いて勾配法をもう一度実行する。そして、これを複数回繰り返し、最終的にｎ回目の勾配法によって求められた位置ずれ補正量と、その前回（(n-1)回目）の勾配法によって求められた位置ずれ補正量との差（Δｕa，Δｖa，Δδa）が、所定の閾値以下になったときに反復を終了する。言い換えれば、反復勾配法は、前回の勾配法で求められた位置ずれ補正量を、次回の勾配法の初期値に用いて、位置ずれ補正量が収束するまで勾配法を繰り返す手法である。
【０１２３】
図２４（ａ）で示す対象画像f(3)と基準画像ｆ_refとのずれ補正が全くされていない位置から、図２４（ｂ）で示す最終的に求めるべき位置まで補正するずれ補正量を求める場合を具体例として、反復勾配法についてさらに説明する。図２５（ａ−１）〜（ａ−３）は、図２４（ｂ）に示した画素Ｐ_tarに着目して、勾配法の反復を概念的に示している。図２５（ａ−１）は、画素Ｐ_1を中心とした画素（実線および波線で囲まれた画素）を画素Ｐ_tarの参照画素として、１回目の勾配法を実行した結果を示している。１回目の勾配法によって、画素Ｐ_tarを矢印Ａ１のようにずらす位置ずれ補正量が算出されている。２回目の勾配法は、１回目に算出された位置ずれ補正量によって補正された画素Ｐ_tarの位置に基づいて、参照画素が選択される。図２５（ａ−２）は、補正後の画素Ｐ_tarの最近傍に位置する画素Ｐ_２を中心とした画素を画素Ｐ_tarの参照画素として、２回目の勾配法を実行した結果を示している。図２５（ａ−３）は、さらに２回目の補正後の画素Ｐ_tarの最近傍に位置する画素Ｐ_３を中心とした画素を画素Ｐ_tarの参照画素として、３回目の勾配法を実行した結果を示している。このように、反復するうちに適切な最近傍画素を用いることができるため、精度良く位置ずれ補正量を算出することができる。
【０１２４】
ここで、図６に戻って説明を続ける。ＣＰＵ２００は、この反復勾配法によって第２の補正量を算出する（ステップＳ７４）にあたり、ステップＳ７２で算出した第１の補正量（ｕa_1st、ｖa_1st、δa_1st）を初期値に用いて、１回目の勾配法を実行する。図２５（ｂ−１）において、矢印Ｂ０は、第１の補正量による画素Ｐ_tarの補正を示している。図１４（ｂ−２）は、第１の補正量による補正後の画素Ｐ_tarの最近傍に位置する画素Ｐ_３を中心とした画素を画素Ｐ_tarの参照画素として、１回目の勾配法を実行した結果を示している。この結果、上述した図２５（ａ−１）〜（ａ−３）の場合と異なり、１回目から適切な最近傍画素を用いて、精度良く第２の補正量（ｕa_2nd、ｖa_2nd、δa_2nd）を求めることができる。
【０１２５】
さらに、本実施例では、第２の補正量を算出する際に、基準画像ｆ_refおよび対象画像f(a)の全画素を考慮せず、基準画像ｆ_refおよび対象画像f(a)の一部の領域のみを考慮する。すなわち、勾配法において、式（１１）に座標や画素値（本実施例では輝度値）を代入する画素は、基準画像ｆ_refおよび対象画像f(a)の全画素ではなく、基準画像ｆ_refおよび対象画像f(a)の一部の領域に含まれる画素のみである。
【０１２６】
図２６は、第２の補正量を算出する際に考慮する領域の具体例を説明する概略図である。図２６（ａ）（ｂ）は、基準画像ｆ_refと対象画像f(3)を、第１の補正量を用いて位置ずれを補正して配置した様子、すなわち、第２の補正量の算出の初期状態を示している。図２６（ａ）（ｂ）において、ハッチングで表された領域が第２の補正量を算出する際に考慮する領域を示している。図１６（ａ）では、先の処理（図２０：ステップ４０）によって抽出された基準画像ｆ_refにおける特徴領域ＴＡを、勾配法において考慮する領域としている。図１６（ｂ）では、考慮する領域をさらに限定して、上記の特徴領域ＴＡに含まれるそれぞれの特徴画素ＴＰを中心とした複数の比較的狭い領域（例えば、４０×４０画素の矩形領域）を、勾配法において考慮する領域としている。
【０１２７】
以上説明した第２の実施例に係る画像処理装置によれば、画像ファイルＧＦから取得した４つのフレーム画像データＦ_ref、Ｆ(a)(a=1〜3)の合成に用いる位置ずれ補正量を算出する際に、まず、基準画像ｆ_refの特徴画素の位置と対象画像f(a)の対応特徴画素の位置とに基づいて、大まかな位置ずれ補正量として第１の補正量を算出する。そして、画素値解析によって算出される最終的な位置ずれ補正量である第２の補正量を、第１の補正量を初期値に用いて算出する。この結果、精度は高いが処理負荷の高い画素値解析によって、算出すべき補正量が小さくなる。従って、画素値解析のみによって位置ずれ補正量を算出する場合と比較して、算出にかかる処理時間の短縮および処理負荷の低減が図られる。
【０１２８】
さらに、第２の補正量を算出する際に考慮する画素を、特徴画素を含む一部の領域に限定しているので、基準画像ｆ_refおよび対象画像f(a)の全画素を考慮する場合と比較して、算出にかかる処理時間の短縮および処理負荷の低減が図られる。また、当該一部の領域は、特徴画素を中心とした領域や特徴画素が多く分布した特徴領域であり、画像の特徴的部位を含んでいる。従って、考慮する画素を一部の領域に限定しても、そのために位置ずれ補正量の算出精度が劣ることもない。
【０１２９】
・第２の実施例の他の態様：
図２７は、基準画像ｆ_refと対象画像f(3)を、他の態様に係る第１の補正量を用いて位置ずれを補正して配置した様子、すなわち、第２の補正量の算出の初期状態を示している。図２７に示すように、第１の補正量は、回転ずれδa_1stを考慮せず、並進ずれ（ｕa_1st、ｖa_1st）のみを算出しても良い。最終的な補正量は第２の補正量として算出するため、第１の補正量は多少精度が悪くても問題ないため、並進ずれのみを算出することとすれば、第１の補正量の算出にかかる処理時間をさらに短縮することが可能である。
【０１３０】
Ｃ．変形例：
第１の実施例における位置ずれ補正量の算出および第２の実施例における第１の補正量の算出では、（１）算出に考慮する領域を全画像ではなく、一部の領域（特徴領域および対応特徴領域）に限定する、（２）算出を特徴画素と対応特徴画素の位置に基づいて算出する、という２つの技術的手段によって、処理時間の短縮および処理負荷の低減を実現しているが、どちらか１つの手段のみを用いることもできる。例えば、特徴領域および対応特徴領域を定めた後、特徴領域および対応特徴領域内の画像データを用いて、周知の方法（例えば、パターンマッチ法）で補正量を算出しても良い。この場合であっても、考慮するデータ量が減少する分、処理時間の短縮および処理負荷の低減を実現できる。逆に、処理対象画像が小さい場合等には、考慮する領域は限定せず、画像全体の特徴画素および対応特徴画素の位置を用いて補正量を算出しても良い。この場合であっても、全画素を考慮する場合と比較して、処理時間の短縮および処理負荷の低減を実現できる。
【０１３１】
上記実施例では、先に特徴画素を抽出し、特徴画素の分布によって特徴領域を決定しているが、特徴領域を他の手法によって決定することもできる。例えば、取得した画像データに主要被写体の位置を表す情報が付加されている場合には、かかる情報を利用して主要被写体の位置を中心とする所定範囲を特徴領域とすることもできる。かかる場合には、特徴領域を定めた後に、当該領域内において特徴画素を抽出すれば良い。
【０１３２】
上記実施例では、ディジタルビデオカメラ１０によって生成された動画像データから複数のフレーム画像データを取得しているが、高解像度画像データの生成に用いる複数の画像データの取得態様は、これに限られるものではない。例えば、ディジタルスチルカメラの動画撮影モードで撮像された動画像データや、連写機能を備えたディジタルスチルカメラで連続撮影された複数の静止画像データ等、時系列に並ぶ複数の画像データであれば良い。連写機能とは、一般的に、メモリーカードにデータを転送しないで、ディジタルスチルカメラ内部の高速なメモリー（バッファメモリー）に画像データをため込むことで、複数のカットを高速で連続して撮影する機能をいう。
【０１３３】
以上、実施例、変形例に基づき本発明に係る画像処理について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
【図面の簡単な説明】
【０１３４】
【図１】第１の実施例に係る画像処理装置を含む画像処理システムの一例を示す説明図。
【図２】第１の実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図。
【図３】第１の実施例に係る画像処理の処理ルーチンを示すフローチャート。
【図４】４つのフレーム画像データが表す画像間の位置ずれを説明する概略図。
【図５】フレーム画像データＦ_refを基準として、フレーム画像データＦ(3)に対して行う位置ずれ補正について示す説明図。
【図６】特徴画素抽出処理の処理ルーチンを示すフローチャート。
【図７】特徴画素の抽出に用いるフィルタを示す説明図。
【図８】特徴画素抽出処理の結果の一例を示す概略図。
【図９】特徴領域決定処理の処理ルーチンを示すフローチャート。
【図１０】特徴領域決定処理の概略を示す説明図。
【図１１】設定された特徴領域ＴＡと対応特徴領域ＣＡを示す概略図。
【図１２】対応特徴画素検出処理の処理ルーチンを示すフローチャート。
【図１３】候補特徴画素ＣＰ’を抽出した結果の一例を示す概略図。
【図１４】特徴画素ＴＰと対応する対応特徴画素ＣＰの決定手法を説明する概略図。
【図１５】対応特徴画素検出処理の結果の一例を示す概略図。
【図１６】対象画像ｆ(3)を基準画像ｆ_refに対して重ね合わせた状態を示す概略図。
【図１７】基準画像ｆ_refと対象画像ｆ(a)(a=1〜3)とを、位置ずれを補正して配置した様子を拡大して示す説明。
【図１８】バイ・リニア法による補間処理について示す説明図。
【図１９】第２の実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図。
【図２０】第２の実施例に係る画像処理の処理ルーチンを示すフローチャート。
【図２１】勾配法による位置ずれ補正量の算出方法について説明する第１の説明図。
【図２２】勾配法による位置ずれ補正量の算出方法について説明する第２の説明図。
【図２３】画素の回転補正量を模式的に示す説明図。
【図２４】反復勾配法の概略を示す第１の説明図。
【図２５】反復勾配法の概略を示す第２の説明図。
【図２６】第２の補正量を算出する際に考慮する領域の具体例を説明する概略図。
【図２７】基準画像ｆ_refと対象画像f(3)を、他の態様に係る第１の補正量を用いて位置ずれを補正して配置した様子を示す概略図。
【符号の説明】
【０１３５】
１０…ディジタルビデオカメラ（ＤＶＣ）
２０…パーソナルコンピュータ
２００…中央演算装置（ＣＰＵ）
２０１…ランダムアクセスメモリ（ＲＡＭ）
２０２…ハードディスク（ＨＤＤ）
２０３…カードスロット
２０４…入出力端子
２０５…光学ディスクドライブ
２５…モニタ
３０…プリンタ
４０…表示装置
４５…表示部
ＭＣ…メモリカード
ＬＤ…光学ディスク
Ｍ２１０…画像データ取得部
Ｍ２２０…特徴画素抽出部部
Ｍ２３０…特徴領域決定部
Ｍ２４０…対応特徴領域設定部
Ｍ２５０…対応特徴画素検出部
Ｍ２６０…補正量算出部
Ｍ２６２…第１の補正量算出部
Ｍ２６４…第２の補正量算出部
Ｍ２７０…高解像度画像生成部
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、比較的低解像度の複数の画像データから高解像度の画像データを生成する技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラで生成された動画像データを構成するフレーム画像や、デジタルスチルカメラによって連続撮影された画像データのように、時系列に並ぶ複数の近似した画像データが取得される場合がある。これらの近似した複数の画像データを元画像データとして、元画像データより高解像度の画像データを生成する技術が知られている（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００４−８８６１６号公報
【特許文献２】特開平１１−１６４２６４号公報
【特許文献３】特開２０００−２４４８５１号公報
【０００４】
上記技術では、例えば、元画像データとして、動画像データを構成する連続する複数のフレーム画像を用いる場合において、フレーム画像の画像データを解析して、各フレーム画像間に生じている被写体の位置ずれを算出する。そして、算出した位置ずれに基づいて、各フレーム画像を重ね合わせて、高解像度の画像データを生成している。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記技術では、被写体のずれを算出する負荷が大きく、処理時間がかかるという問題があった。すなわち、合成する領域内の全画素データを解析して、それぞれのフレーム画像間の画素の対応関係を算出して、被写体の位置ずれを合わせているため、特に合成する領域が大きい場合や、被写体の位置ずれが大きい場合には、膨大な処理時間を要する場合があった。
【０００６】
また、位置ずれの算出精度を向上するため、被写体の回転成分のずれも考慮すると、さらに、多くの処理時間を要するため、位置ずれの算出処理時間の短縮が課題となっていた。
【０００７】
本発明は、上記課題を解決するためになされたものであり、複数の画像データに基づいてより高解像度の画像データを生成する場合に、その処理時間の短縮を図ることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の第１の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記複数の画像データを取得する画像データ取得手段と、前記複数の画像データのうち、基準となる画像データが表す基準画像において、所定の特徴を有する特徴領域を決定する特徴領域決定手段と、前記複数の画像データのうち、前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴領域に対応する対応特徴領域を設定する対応特徴領域設定手段と、前記特徴領域と前記対応特徴領域の画像データに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する補正量算出手段と、前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備えることを特徴とする。
【０００９】
本発明の第１の態様に係る画像処理装置によれば、時系列に並ぶ複数の画像データを合成して高解像度画像データを生成する際に、基準となる画像データが表す画像（以下、基準画像という。）において、所定の特徴を有する特徴領域を決定する。さらに、基準となる画像データ以外の画像データが表す画像（以下、対象画像という。）において、上述した特徴領域に対応する対応特徴領域を設定する。そして、対象画像の基準画像に対する被写体の位置ずれを補正する補正量（以下、単に補正量という。）を、特徴領域と対応特徴領域の画像データに基づいて算出する。対象画像と基準画像の全画像データを用いることなく、一部の領域の画像データを用いることで、補正量の算出に要する処理時間の短縮および処理負荷の軽減が図られる。また、一部の領域は、所定の特徴を有する特徴領域であるので、一部の領域の画像データを用いるのみであっても、精度が劣ることもない。
【００１０】
本発明の第１の態様に係る画像処理装置において、前記特徴領域の決定は、前記基準となる画像データを解析して前記所定の特徴を抽出することによって実行されても良い。画像データの解析により適切な特徴領域を抽出することができる。
【００１１】
本発明の第１の態様に係る画像処理装置は、さらに、前記基準画像を構成する画素であって、画像の特徴的部位を構成する特徴画素を抽出する特徴画素抽出手段を備え、前記特徴領域の抽出は、前記基準画像において、前記特徴画素を含む領域を前記特徴領域と決定することによって実行されても良い。特徴画素を抽出し、特徴画素を含む領域を特徴領域と決定することで、適切な特徴領域を抽出することができる。
【００１２】
本発明の第１の態様に係る画像処理装置において、前記特徴領域は、基準数以上の前記特徴画素を含む領域、または、検出された全ての前記特徴画素のうち基準割合以上の前記特徴画素を含む領域であっても良く、前記特徴領域は、抽出された前記特徴画素全体の重心が中心に位置する領域であっても良い。かかる場合には、特徴画素が多く分布する領域を特徴領域とすることで、より補正量の算出に用いるのに適した特徴領域を抽出することができる。
【００１３】
本発明の第１の態様に係る画像処理装置は、さらに、前記特徴領域に含まれる前記特徴画素に対応する対応特徴画素を、それぞれの対象画像における前記対応特徴領域において検出する対応特徴画素検出手段を備え、前記補正量は、前記特徴画素の位置と、前記特徴画素に対応する前記対応特徴画素の位置とに基づいて算出されても良い。かかる場合には、特徴領域に含まれる特徴画素の位置と、対応する対応特徴画素の位置に基づいて、補正量を算出するので、算出に考慮するデータ量をさらに大幅に低減でき、補正量の算出に要する処理時間の短縮および処理負荷の軽減が図られる。
【００１４】
発明の第１の態様に係る画像処理装置は、さらに、前記特徴領域に含まれる前記特徴画素に対応する対応特徴画素を、それぞれの対象画像における前記対応特徴領域において検出する対応特徴画素検出手段を備え、前記補正量算出手段は、前記特徴画素の位置と、前記特徴画素に対応する前記対応特徴画素の位置とに基づいて推定される第１の補正量を算出する第１の補正量算出手段と、前記特徴領域を構成する画素の画素値と前記対応特徴領域を構成する画素の画素値とを解析して推定される第２の補正量を、前記第１の補正量を初期値に用いて算出する第２の補正量算出手段とを備えても良い。第１の補正量は、特徴画素および対応特徴画素の位置に基づいて算出されるので、算出に考慮するデータ量が少なく、算出にかかる処理負荷が小さい。さらに、第１の補正量を初期値に用いるため、第２の補正量として算出すべき補正量が小さくなり、第２の補正量の算出にかかる処理負荷が小さくなる。したがって、全体として補正量の算出にかかる処理時間の短縮および処理負荷の軽減を図ることができる。
【００１５】
本発明の第１の態様に係る画像処理装置において、前記第１の補正量の算出は、前記複数の画像データが表す画像を構成する画素単位の精度で実行され、前記第２の補正量の算出は、前記複数の画像データが表す画像を構成する画素単位より細かい精度で実行されても良い。かかる場合には、まず、第１の補正量として画素単位の精度の補正量が算出され、最終的に、第２の補正量として画素単位より細かい精度（いわゆるサブピクセルレベルの精度）の補正量が算出される。この結果、処理負荷が比較的高い第２の補正量の算出は、サブピクセルレベルでの位置ずれ補正量にのみ用いられ、処理時間の短縮および処理負荷の軽減が図られる。
【００１６】
本発明の第１の態様に係る画像処理装置において、第２の補正量の算出における解析は、前記特徴領域における一部の領域に含まれる画素の画素値と、前記対応特徴領域における前記一部の領域に対応する領域に含まれる画素の画素値のみを用いて実行されても良い。この場合において、前記一部の領域は、前記特徴画素と前記特徴画素近傍の所定範囲に位置する画素とから構成される領域であっても良い。かかる場合には、さらに、第２の補正量の算出において考慮すべきデータ量が少なくなり、さらに補正量の算出にかかる処理時間の短縮および処理負荷の軽減を図ることができる。
【００１７】
本発明の第１の態様に係る画像処理装置において、前記対応特徴画素の検出は、それぞれの対象画像における前記対応特徴領域に含まれる画素であって、画像の特徴的部位を構成する候補特徴画素を抽出し、前記特徴画素とその周辺画素から構成される領域と、前記候補特徴画素とその周辺画素から構成される領域とを比較することによって、前記特徴画素と前記候補特徴画素との類似度を算出し、注目する前記特徴画素と前記類似度が最も高い組み合わせを構成する前記候補特徴画素を、注目する前記特徴画素に対応する前記対応特徴画素とすることによって実行されても良い。かかる場合には、画像の特徴的部位を構成する候補特徴画素を抽出し、特徴画素の周辺領域と候補特徴画素の周辺領域との類似度によって、特徴画素に対応する対応特徴画素を検出するので、精度良く対応特徴画素を検出することができる。
【００１８】
本発明の第２の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置を提供する。本発明の第２の態様に係る画像処理装置は、前記複数の画像データを取得する画像データ取得手段と、前記複数の画像データのうち基準となる画像データが表す基準画像を構成する画素の中から、画像の特徴的部位を構成する特徴画素を抽出する特徴画素抽出手段と、前記複数の画像データのうち前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴画素に対応する対応特徴画素を検出する対応特徴画素検出手段と、前記特徴画素の位置と、前記特徴画素に対応する対応特徴画素の位置とに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する補正量算出手段と、前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備えることを特徴とする。
【００１９】
本発明の第２の態様に係る画像処理装置によれば、時系列に並ぶ複数の画像データを合成して高解像度画像データを生成する際に、基準画像を構成する画素の中から、所定の条件を満たす特徴画素を抽出する。さらに、対象画像を構成する画素の中から、上述した特徴画素に対応する対応特徴画素を検出する。そして、対象画像の基準画像に対する補正量を、前記特徴画素の位置と前記対応特徴画素の位置とに基づいて算出する。対象画像と基準画像の全画像データを用いることなく、特徴画素の位置と対応特徴画素の位置を用いることで、補正量の算出に要する処理時間の短縮および処理負荷の大幅な軽減が図られる。
【００２０】
本発明の第２の態様に係る画像処理装置において、前記対応特徴画素の検出は、それぞれの対象画像を構成する画素であって、画像の特徴的部位を構成する候補特徴画素を抽出し、前記特徴画素とその周辺画素から構成される領域と、前記候補特徴画素とその周辺画素から構成される領域とを比較することによって、前記特徴画素と前記候補特徴画素との類似度を算出し、注目する前記特徴画素と前記類似度が最も高い組み合わせを構成する前記候補特徴画素を、注目する前記特徴画素に対応する前記対応特徴画素とすることによって実行されても良い。かかる場合には、画像の特徴的部位を構成する候補特徴画素を抽出し、特徴画素の周辺領域と候補特徴画素の周辺領域との類似度によって、特徴画素に対応する対応特徴画素を検出するので、精度良く対応特徴画素を検出することができる。
【００２１】
本発明の第２の態様に係る画像処理装置において、前記対応特徴画素の検出は、前記基準画像における所定の特徴を有する特徴領域に対応する領域おいて実行されても良い。この場合において、前記特徴領域は、基準数以上の前記特徴画素を含む領域、または、抽出された全ての前記特徴画素のうち基準割合以上の前記特徴画素を含む領域であっても良く、さらに、抽出された前記特徴画素全体の重心が中心に位置する領域であっても良い。係る場合には、対応特徴画素を検出を画像全体に亘って実行することなく、一部の領域のみにおいて行うので、さらに、処理時間の短縮および処理負荷の軽減が図られる。さらに、対応特徴画素の検出は、特徴ある領域で実行されるので、一部の領域に限ることによって、算出される補正量の精度が劣ることもない。
【００２２】
本発明の第３の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法を提供する。本発明の第３の態様に係る画像処理方法は、前記複数の画像データを取得し、前記複数の画像データのうち、基準となる画像データが表す基準画像において、所定の特徴を有する特徴領域を決定し、前記複数の画像データのうち、前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴領域に対応する対応特徴領域を設定し、前記特徴領域と前記対応特徴領域の画像データに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出し、前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成することを特徴とする。
【００２３】
本発明の第３の態様に係る画像処理方法によれば、本発明の第１の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第３の態様に係る画像処理装置は、本発明の第１の態様にかかる画像処理装置と同様にして種々の態様にて実現され得る。
【００２４】
本発明の第４の態様は、それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法を提供する。本発明の第５の態様に係る画像処理方法は、前記複数の画像データを取得し、前記複数の画像データのうち基準となる画像データが表す基準画像を構成する画素の中から、画像の特徴的部位を構成する特徴画素を抽出し、前記複数の画像データのうち前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴画素に対応する対応特徴画素を検出し、前記特徴画素の位置と、前記特徴画素に対応する対応特徴画素の位置とに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出し、前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成することを特徴とする。
【００２５】
本発明の第４の態様に係る画像処理方法によれば、本発明の第２の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第４の態様に係る画像処理装置は、本発明の第２の態様にかかる画像処理装置と同様にして種々の態様にて実現され得る。
【００２６】
本発明の第３および第４の態様に係る画像処理方法は、この他にも、画像処理プログラムおよび画像処理プログラムが記録されたコンピュータが読み取り可能な記録媒体としても実現され得る。
【発明を実施するための最良の形態】
【００２７】
以下、本発明にかかる画像処理装置について、図面を参照しつつ、実施例に基づいて説明する。
【００２８】
Ａ．第１の実施例
・画像処理システムの構成：
図１は、本発明の第１の実施例に係る画像処理装置を含む画像処理システムの一例を示す説明図である。本発明の第１の実施例に係る画像処理装置を適用可能な画像処理システムの構成について図１を参照して説明する。
【００２９】
画像処理システムは、画像データを生成する撮像装置としてのディジタルビデオカメラ１０、ディジタルビデオカメラ１０にて生成された複数の画像データから、高解像度の画像データを生成する画像処理装置としてのパーソナルコンピュータ２０、画像データを用いて画像を出力する出力装置としてのカラープリンタ３０を備えている。また、出力装置としては、プリンタ３０の他に、例えば、ＬＣＤディスプレイのモニタ２５、表示装置４０が用いられ得る。
【００３０】
ディジタルビデオカメラ１０は、設定されたフレームレートで、時系列に並ぶ複数の画像データＧＤ1〜ＧＤn（以下、フレーム画像データという。）を生成するカメラである。画像データは、光の情報をディジタルデバイス（ＣＣＤや光電子倍増管）に結像させ、デジタル信号に変換することによって生成される。ディジタルビデオカメラ１０は、生成された複数のフレーム画像データＧＤ1〜ＧＤnを１つの画像ファイルＧＦ（動画ファイル）として、光学ディスクＬＤ（例えば、ＤＶＤ−ＲＡＭ等）に保存する。もちろん、画像ファイルＧＦの保存には、光学ディスクＬＤのみならず、デジタルビデオテープや、メモリカードＭＣ等、種々の記録媒体が用いられ得る。
【００３１】
パーソナルコンピュータ２０は、一般的に用いられるタイプのコンピュータであり、高解像度の画像データを生成する処理を含む画像処理プログラムを実行するＣＰＵ２００、ＣＰＵ２００における演算結果、画像データ等を一時的に格納するＲＡＭ２０１、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）２０２を備えている。パーソナルコンピュータ２０は、ＤＶＤ等の光学ディスクＬＤ用のディスクドライブ２０５、メモリカードＭＣを装着するためのカードスロット２０３、ディジタルビデオカメラ１０からの接続ケーブルを接続するための入出力端子２０４を備えている。
【００３２】
プリンタ３０は、画像データをカラー画像として出力可能なプリンタであり、例えば、シアン、マゼンタ、イエロー、ブラックの４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記４色に加えて、ライトシアン（薄いシアン）、ライトマゼンタ（薄いマゼンタ）、レッド、ブルーを用いても良い。
【００３３】
表示装置４０は、画像データの画像を表示するための表示ディスプレイ４５を有し、例えば、電子式の写真フレームとして機能する表示装置である。表示ディスプレイ４５は、例えば、液晶表示ディスプレイ、有機ＥＬ表示ディスプレイが用いられ得る。
【００３４】
プリンタ３０および表示装置４０は、スタンドアローンにて画像処理、画像出力を実行するため、パーソナルコンピュータ２０が備える画像処理機能を備えても良い。かかる場合には、プリンタ３０、表示装置４０は、パーソナルコンピュータ２０を介さずに、例えば、メモリーカードＭＣ等の記憶媒体、あるいは、ケーブルを介してディジタルビデオカメラ１０から画像データを取得し、プリンタ３０、表示装置４０がそれぞれ本実施例における画像処理装置として機能することができる。
【００３５】
以下の説明では、ディジタルビデオカメラ１０で生成された画像データが、パーソナルコンピュータ２０に送出され、パーソナルコンピュータ２０にて高解像度の画像データを生成する画像処理が実行される場合について説明する。
【００３６】
・パーソナルコンピュータ２０の機能的構成：
図２は、本実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。図２を参照してパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成の概要について説明する。
【００３７】
画像データ取得部Ｍ２１０は、画像ファイルＧＦに記録されたフレーム画像データＧＤ1〜ＧＤnの中から選択された時系列に並ぶ複数のフレーム画像データを取得する。
【００３８】
特徴画素抽出部Ｍ２２０は、取得された複数のフレーム画像データのうち基準となるデータが表す画像（基準画像）において、画像の特徴的部位を構成する特徴画素を抽出する。特徴領域決定部Ｍ２３０は、基準画像において、所定の特徴を有する特徴領域を抽出する。例えば、抽出された特徴画素を含む領域が特徴領域として抽出される。
【００３９】
対応特徴領域設定部Ｍ２４０は、取得された複数のフレーム画像データのうち基準となるデータ以外のデータが表す画像（対象画像）において、抽出された特徴領域に対応する領域（以下、対応特徴領域という。）を、取得された複数のフレーム画像データのうち基準となるデータ以外のデータが表す画像（対象画像）のそれぞれにおいて設定する。対応特徴画素検出部Ｍ２５０は、それぞれの対象画像において設定された対応特徴領域において、上述した特徴画素に対応する対応特徴画素を検出する。
【００４０】
補正量算出部Ｍ２６０は、画像データ取得部Ｍ２１０が取得した複数のフレーム画像データが表す各画像間に生じている位置ずれを補正するための補正量（以下、位置ずれ補正量という。）を、特徴領域と対応特徴領域の画像データに基づいて算出する。位置ずれ補正量は、例えば、特徴領域に含まれる特徴画素の位置と、対応特徴領域に含まれる対応特徴画素の位置とに基づいて算出される。
【００４１】
高解像度画像生成部Ｍ２７０は、補正量算出部Ｍ２６０によって、算出された位置ずれ補正量に基づいて、上述した各画像間に生じている位置ずれを補正する。そして、高解像度画像生成部Ｍ２７０は、補正された各画像のフレーム画像データを合成して、フレーム画像データより解像度の高い画像データを新たに生成する。
【００４２】
・パーソナルコンピュータ２０における画像処理：
図３〜図１８を参照して、本実施例に係るパーソナルコンピュータ２０において実行される画像処理について説明する。
【００４３】
図３は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。パーソナルコンピュータ２０（ＣＰＵ２００）は、ユーザーの指示に従って、本画像処理のプログラムを起動する。ＣＰＵ２００は、ユーザの指示に従って光学ディスクＬＤ等から画像ファイルＧＦを読み出し、画像ファイルＧＦに記録されたフレーム画像データＧＤ1〜ＧＤnが表す動画像を再生する。
【００４４】
動画像の再生中に、ユーザによってフレーム画像データの取得指示が入力されると、ＣＰＵ２００は、動画像データを構成するフレーム画像データＧＤ１〜ＧＤｎの中から、連続する複数のフレーム画像データを取得する（ステップＳ１０）。各フレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す階調データ（以下、「画素データ」とも呼ぶ。）で構成されている。画素データは、３つの画素値Ｙ（輝度）、Ｃｂ(ブルーの色差)、Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、３つの画素値Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等が用いられ得る。本実施例では、ＣＰＵ２００は、ユーザーに指示されたフレーム画像データを含むと共に時系列に並ぶ４つのフレーム画像データを取得するものとする。ＣＰＵ２００は、取得した４つのフレーム画像データをＲＡＭ２０１に一時的に格納する。
【００４５】
図４は、取得した４つのフレーム画像データが表す画像間の位置ずれを説明する概略図である。ＣＰＵ２００は、取得された４つのフレーム画像データのうち、いずれかのフレーム画像データを、合成の基準となる基準フレーム画像データとして指定する。本実施例では、時系列順に２番目のフレーム画像データを、基準フレーム画像データとする（図４参照）。
【００４６】
以下の説明では、取得した４つのフレーム画像データのうち、基準フレーム画像データを記号Ｆ_refで表すこととする。そして、基準画像データＦ_refが表す画像を基準画像ｆ_refと呼ぶこととする（図４参照）。また、基準フレーム画像データＦ_ref以外の３つのフレーム画像データを、時系列順の番号（以下、「フレーム番号」とも呼ぶ。）aを用いて、記号Ｆ(a)(a=1〜3)と表すこととする。そして、フレーム画像データＦ(a)が表す画像を対象画像ｆ(a)(a=1〜3)と呼ぶこととする（図４参照）。
【００４７】
ユーザによって、取得されたフレーム画像データについて、高解像度の静止画像を生成する指示が入力されると、まず、ＣＰＵ２００は、４つのフレーム画像データＦ(a)が表す各画像間における被写体の位置ずれ（以下、単に位置ずれという。）を解消する補正（位置ずれ補正）のための補正量（位置ずれ補正量）を算出する。ステップＳ３０〜ステップＳ７０までの一連の処理は、この位置ずれ補正量を算出するための処理である。ここで、位置ずれおよび位置ずれ補正について説明しておく。
【００４８】
図４には、基準画像ｆ_refと、対象画像ｆ(3)間の位置ずれが示されている。また、図５は、基準フレーム画像データＦ_refを基準として、フレーム画像データＦ(3)に対して行う位置ずれ補正について示す説明図である。位置ずれ補正量を算出するにあたっては、基準フレーム画像データＦ_refを基準とする。すなわち、基準フレーム画像データＦ_refに対する位置ずれ補正量を、他の３つのフレーム画像データＦ(a )(a=1〜3)について、それぞれ算出する。
【００４９】
位置ずれは、画像の横方向および縦方向の並進のずれ（以下、単に、並進ずれという。）と、画像の中心を軸とした回転のずれ（以下、単に、回転ずれという。）との組み合わせで表される。図４では、基準画像ｆ_refに対する、対象画像ｆ(3)の位置ずれ量を分かり易く示すため、基準画像ｆ_refの縁と、対象画像ｆ(3)の縁とを重ねて示すとともに、基準画像ｆ_ref上の中心位置に仮想の十字画像Ｘ_refを追記し、この十字画像Ｘ_refが、対象画像ｆ(3)と同様にずれたとして、対象画像ｆ(3)上に、ずれた結果の画像である十字画像Ｘ３を示すようにしている。更に、この位置ずれ量を、より分かり易く示すために、基準画像ｆ_refおよび十字画像Ｘ_refを太い実線で示すとともに、対象画像ｆ(3)および十字画像Ｘ３を細い破線で示すようにしている。
【００５０】
本実施例では、図４に示すように、並進ずれ量として横方向を「ｕｍ」、縦方向を「ｖｍ」と表し、回転ずれ量を「δｍ」と表し、対象画像ｆ(a)の基準画像ｆ_refに対する位置ずれ量を「ｕｍa」、「ｖｍa」、「δｍa」と表すこととする。例えば、対象画像ｆ(3)の基準画像ｆ_refに対するずれ量は、ｕｍ３、ｖｍ３、δｍ３と表される。
【００５１】
また、補正とは、画像を構成する各画素の位置を、横方向にｕの移動、縦方向にｖの移動、およびδの回転を施した位置に移動させるように、フレーム画像データにおいて各画素データの座標を変換することを意味する。ｕは、横方向の並進補正量を表し、ｖは、縦方向の並進補正量を表している。そして、δは、回転補正量を表している。
【００５２】
対象画像ｆ(a)の基準画像ｆ_refに対する位置ずれを補正する位置ずれ補正量を「ｕa」、「ｖa」、「δa」と表すこととすると、位置ずれ補正量と、上述した位置ずれとの間には、ｕa＝−ｕｍa、ｖa＝−ｖｍa、δa＝−δｍaの関係が成り立つ。例えば、対象画像ｆ(3)についての位置ずれ補正量ｕ３、ｖ３、δ３は、ｕ３＝−ｕｍ３、ｖ３＝−ｖｍ３、δ３＝−δｍ３で表される。
【００５３】
以上説明したように、例えば、図５に示すように、位置ずれ補正量ｕ3、ｖ3、δ3を用いて、フレーム画像データＦ(3)に対して補正を実行するすることにより、対象画像ｆ(3)と基準画像ｆ_refの被写体を互いに一致させることができる。すなわち、補正後の対象画像ｆ(3)と、基準画像ｆ_refとを重ね合わせると、図５に示すように、対象画像ｆ(3)は、基準画像ｆ_refに対して部分一致する。なお、この補正の結果を分かり易く示すため、図５においても、図４と同じ仮想の十字画像Ｘ_refおよび十字画像Ｘ３を表記しており、図５に示すように、補正の結果として、十字画像Ｘ３は十字画像Ｘ_refと一致することとなる。
【００５４】
なお、上述の「部分一致する」とは、以下のことを意味するものである。すなわち、図５に示すように、例えば、ハッチングを施した領域Ｐ１は、画像ｆ(3)にのみ存在する領域であり、画像ｆ_refには、該当する領域は存在しない。このように、上述の補正を行ったとしても、ずれに起因して、画像ｆ_refにのみ、または、ｆ(3)にのみ存在する領域が生じてしまうため、画像ｆ(3)は、画像ｆ_refに対して完全一致することはなく、部分一致することとなる。
【００５５】
図３に戻って、位置ずれ補正量ｕa、ｖa、δaの算出する処理（ステップＳ２０〜ステップＳ７０）について説明を続ける。ＣＰＵ２００は、まず、基準画像ｆ_refを構成する画素の中から、特徴画素を抽出する（ステップＳ３０）。特徴画素は、所定の抽出条件を満たす画素であり、抽出条件は、画像の個性を決定づけるような特徴的部位を構成する画素を抽出できる条件であることが望ましい。例えば、本実施例では、エッジ画素であって、当該エッジ画素とその周囲の画素とが所定のパターンを形成する画素を特徴画素として抽出するように、抽出条件を設定している。以下、具体的に説明する。
【００５６】
図６は、特徴画素を抽出する処理（以下、特徴画素抽出処理という。）の処理ルーチンを示すフローチャートである。図７は、特徴画素の抽出に用いるフィルタを示す説明図である。図８は、特徴画素抽出処理の結果の一例を示す概略図である。
【００５７】
ＣＰＵ２００は、基準画像ｆ_refを構成する画素の中から注目画素を設定する（ステップＳ３０１）。ＣＰＵ２００は、注目画素がエッジ画素か否かを判断する（ステップＳ３０２）。具体的には、ＣＰＵ２００は、注目画素に対して、所定のエッジ抽出フィルタを適用して、エッジ度合を算出する。そして、ＣＰＵ２００は、注目画素のエッジ度合を予め設定された閾値と比較して、当該閾値より大きい場合には注目画素はエッジ画素であると判断し、当該閾値より小さい場合には注目画素はエッジ画素でないと判断する。
【００５８】
エッジ抽出フィルタは、本実施例では、図７（ａ）に示す垂直および水平方向のｓｏｂｅｌフィルタを用いている。もちろん、ｓｏｂｅｌフィルタに代えて、他の種々の公知のフィルタを用いることが可能である。例えば、ｐｒｅｗｉｔｔフィルタ、ｒｏｂｅｒｔｓフィルタ、ｌａｐｌａｃｉａｎフィルタを用いることができる。
【００５９】
エッジ度合は、エッジ勾配の強弱を示す値であり、例えば、注目画素を中心とする３×３の計９つの画素の画素値を、上述したエッジ抽出フィルタによって重み付けして合計した値を用いることができる。エッジ度合の算出に用いる画素値は、輝度値であっても良いし、ＲＧＢの各画素値であっても良い。
【００６０】
閾値は、適当な数のエッジ画素を抽出できるように、経験的に定められる。また、実際に検出されたエッジ画素数に応じて、適宜、閾値の大きさを調整しても良い。
【００６１】
ＣＰＵ２００は、エッジ画素か否かの判断を全ての画素について終了していない場合（ステップＳ３０３：ＮＯ）には、まだ判断していない画素を注目画素として設定して、上述した処理を繰り返す（ステップＳ３０１〜Ｓ３０２）。この結果、基準画像ｆ_refを構成する全ての画素が、エッジ画素か非エッジ画素かのどちらかに類別される。
【００６２】
ＣＰＵ２００は、エッジ画素か否かの判断を全ての画素について終了した場合（ステップＳ３０３：ＹＥＳ）には、上述したステップにおいてエッジ画素であると判断された画素の中から注目エッジ画素を設定する（ステップＳ３０４）。ＣＰＵ２００は、注目エッジ画素が、特徴画素か否かを判断する（ステップＳ３０５）。例えば、ＣＰＵ２００は、注目エッジ画素を中心とする領域においてエッジ画素と非エッジ画素とにより形成するパターンが、所定の抽出パターンに近い場合には、注目エッジ画素は特徴画素であると判断し、所定の抽出パターンに近くない場合には、注目エッジ画素は特徴画素でないと判断する。
【００６３】
所定の抽出パターンは、例えば、図７（ｂ）に示すように、エッジ画素を表す「１」と非エッジ画素を表す「０」とによってパターンを形成した３×３のドットマトリックス状のフィルタ（以下、パターンフィルタという。）として、予め記憶されている。図７（ｂ）に示す８つのパターンフィルタは、中央のエッジ画素と周囲の４つのエッジ画素（「１」の部分）と、非エッジ画素（「０」の部分）との境界に、１３５度の角が形成されるパターンを表している。したがって、図７（ｂ）に示すパターンフィルタは、１３５度の角を抽出するといえる。パターンフィルタとしては、５×５画素等、種々の大きさを採用可能であるし、抽出パターンとしても、９０°〜１８０°の角が形成されるパターン等、種々のパターンを採用可能である。
【００６４】
具体的な判断手法について説明すると、ＣＰＵ２００は、注目画素を中心としたパターンフィルタに対応する領域（以下、比較領域という。）と上述した８つのパターンフィルタとを順番に照合する。そして、ＣＰＵ２００は、比較領域におけるエッジ画素の位置と一のパターンフィルタにおけるエッジ画素の位置（「１」の位置）とが３つ以上一致する場合に、当該領域のパターンは所定の抽出パターンに近く、注目エッジ画素は特徴画素であると判断する。そして、ＣＰＵ２００は、比較領域と８つの全てのパターンフィルタとを照合して、エッジ画素の位置が３つ以上一致するパターンフィルタが無い場合に、注目画素は特徴画素でないと判断する。
【００６５】
ＣＰＵ２００は、特徴画素か否かの判断を全てのエッジ画素について終了していない場合（ステップＳ３０６：ＮＯ）には、まだ判断していないエッジ画素を注目エッジ画素として設定して、上述した処理を繰り返す（ステップＳ３０４〜Ｓ３０５）。ＣＰＵ２００は、特徴画素か否かの判断を全てのエッジ画素について終了すると（ステップＳ３０６：ＹＥＳ）、特徴画素抽出処理を終了する。
【００６６】
図８は、特徴画素抽出処理の結果の一例を示す概略図である。図８に示すように、基準画像ｆ_refにおいて、画素値の変化が大きいエッジ部分（例えば、主要被写体と背景との境界部分）に複数個の特徴画素が抽出される。
【００６７】
ＣＰＵ２００は、次に、基準画像ｆ_refにおいて所定の特徴を有する特徴領域を決定する（ステップＳ５０）。特徴領域は、画像の個性を決定づけるような特徴的部位を含み、画素値の変化に富む領域であることが望ましい。本実施例では、基準画像ｆ_refの画像データを解析して特徴領域を抽出することによって特徴領域を決定する。以下、具体的に説明する。
【００６８】
図９は、特徴領域を決定する処理（以下、特徴領域決定処理という。）の処理ルーチンを示すフローチャートである。図１０は、特徴領域決定処理の概略を示す説明図である。以下では、図１０に示す例を参照して説明する。ＣＰＵ２００は、先ず、上述した特徴画素抽出処理により抽出された特徴画素全体の重心位置を算出する（ステップＳ４０１）。抽出された全ての特徴画素のＸ座標の平均値、およびＹ座標の平均値を算出すれば良い。図１０において、記号ＧＰは、算出された重心の位置を示している。
【００６９】
ＣＰＵ２００は、次に、算出された重心ＧＰを中心として、予め定められた初期サイズの特徴領域を設定する（ステップＳ４０２）。図１０において２点破線で示される領域ＦＡは、本ステップにより設定された初期サイズの特徴領域を表している。初期サイズは、例えば、基準画像ｆ_refの１／４の縦巾および横幅とすることができる。
【００７０】
ＣＰＵ２００は、設定した特徴領域が、領域決定条件を満たすか否かを判断する（ステップＳ４０３）。領域決定条件としては、種々の条件を用いることができる。例えば、抽出された全ての特徴画素のうち基準割合（例えば、３０％）以上の特徴画素が設定した特徴領域に含まれること、あるいは、基準数（例えば、１０個）以上の特徴画素が設定した特徴領域に含まれること、等を領域決定条件とすることができる。これによって、特徴画素が多く分布する適切な特徴領域を抽出することができる。図１０で示す例では、図の煩雑を避けるため、５個以上の特徴画素が特徴領域に含まれることを特徴領域決定条件として説明する。図１０で示す例では、初期サイズの特徴領域ＦＡは４つの特徴画素しか含んでいないため、ＣＰＵ２００は、特徴領域ＦＡは特徴領域決定条件を満たさないと判断することになる。
【００７１】
ＣＰＵ２００は、設定した特徴領域が領域決定条件を満たさない場合（ステップＳ４０３：ＮＯ）には、特徴領域のサイズを所定量（例えば、縦２４画素、横３６画素分）大きく変更する（ステップＳ４０４）。そして、ＣＰＵ２００は、ステップＳ４０３に戻り、変更後の特徴領域が領域決定条件を満たすか否かを判断する。ＣＰＵ２００は、特徴領域が領域決定条件を満たすまで、ステップＳ４０３およびＳ４０４を繰り返し実行し、特徴領域が特徴領域決定条件を満たした場合（ステップＳ４０３：ＹＥＳ）には、その時点で設定されているサイズの特徴領域を最小特徴領域と決定する（ステップＳ４０５）。図１０に示す例では、破線で示す領域ＭＡまで初期サイズよりサイズを大きくした時点で、特徴領域は５つの特徴画素を含み特徴決定条件を満たすので、ＣＰＵ２００は、領域ＭＡを最小特徴領域と決定することになる。
【００７２】
ＣＰＵ２００は、続いて、決定した最小特徴領域MAに所定のマージン領域を付加した領域を最終的な特徴領域ＴＡと決定する（ステップＳ４０６）。所定のマージン領域は、例えば、図１０の例においてハッチングされた領域Ｍで示すように、最小特徴領域ＭＡの周囲に所定の巾（図１０において、記号ＴＭおよびＹＭで示されている。）で付加される。マージン領域の巾は、例えば、縦２４画素、横３６画素とすることが出来る。マージン領域を付加する理由は後述する。ＣＰＵ２００は、最終的な特徴領域ＴＡを決定すると本処理を終了し、図３に示す処理ルーチンにリターンする。
【００７３】
図３に戻って説明を続ける。ＣＰＵ２００は、対象画像ｆ(a)(a=1,2,3)のそれぞれにおいて、基準画像ｆ_refにおける上述した特徴領域に対応する領域（以下、対応特徴領域という。）を設定する（ステップＳ５０）。図１１は、４つの画像において設定された特徴領域ＴＡと対応特徴領域ＣＡを示す概略図である。図１１に示すように、基準画像ｆ_refにおける特徴領域ＴＡの位置、大きさ、範囲と同じ位置、大きさ、範囲の領域を対象画像ｆ(a)(a=1,2,3)のそれぞれに対応特徴領域ＣＡとして設定する。
【００７４】
ＣＰＵ２００は、対応特徴領域ＣＡを設定すると、基準画像ｆ_refにおける特徴領域ＴＡに含まれる特徴画素ＴＰに対応する画素ＣＰ（以下、対応特徴画素ＣＰという。）を、対応特徴領域ＣＡにおいて検出する（ステップＳ６０）。基準画像ｆ_refと対象画像f(a)(a=1,2,3)は、いずれも時系列的に連続する４つのフレーム画像データの一つが表す画像であるから、多少の位置ずれは生じているものの互いに類似した画像であるはずである。したがって、基準画像ｆ_refにおける特徴画素ＴＰと類似した特徴を有する対応特徴画素ＣＰがそれぞれの対象画像ｆ(a)において、ほぼ近似した位置に存在すると考えられる。以下、対応特徴画素ＣＰの検出について具体的に説明する。
【００７５】
図１２は、対応特徴画素を検出する処理（以下、対応特徴画素検出処理という。）の処理ルーチンを示すフローチャートである。図１３は、対応特徴画素の候補となる画素（以下、候補特徴画素という。）を抽出した結果の一例を示す概略図である。図１４は、特徴画素ＴＰと対応する対応特徴画素ＣＰの決定手法を説明する概略図である。図１４（ａ）は、２つの画素の類似度を表す指標Ｓの算出方法を示している。図１４（ｂ）は、基準画像ｆ_refの特徴領域ＴＡにおける特徴画素ＴＰ１〜ＴＰ５と対象画像ｆ（3）の対応特徴領域ＣＡにおける候補特徴画素ＣＰ’１〜ＣＰ’６を具体例にして、特徴画素ＴＰと候補特徴画素ＣＰ’との対応関係の決定手法を示している。図１５は、対応特徴画素検出処理の結果の一例を示す概略図である。ＣＰＵ２００は、先ず、３つの対象画像ｆ(a)(a=1,2,3)の中から注目対象画像を設定する（ステップＳ６０１）。
【００７６】
ＣＰＵ２００は、設定した注目対象画像における対応特徴領域において、対応特徴画素の候補となる画素ＣＰ’（候補特徴画素ＣＰ’）を抽出する（ステップＳ６０２）。候補特徴画素ＣＰ’の抽出は、上述したステップＳ３０の特徴画素抽出処理を注目対象画像における対応特徴領域ＣＡに含まれる各画素に対して適用することによって実行される。すなわち、各画素に対してエッジ抽出フィルタを適用してエッジ画素を抽出し、抽出されたエッジ画素に対してパターンフィルタを適用して候補特徴画素ＣＰ’を抽出する（図６および図７参照）。
【００７７】
図１３に示す例では、対象画像ｆ(3)を注目対象画像として、対応特徴領域ＣＡ内において、６個の候補特徴画素ＣＰ’が抽出されている。このように、基準画像ｆ_refの特徴領域ＴＡに含まれる特徴画素の数（図１３の例では、５個）と、対応特徴領域ＣＡに含まれる候補特徴画素ＣＰ’の数は必ずしも一致しない。しかし、少なくとも抽出された候補特徴画素ＣＰ’の中に、検出すべき対応特徴画素ＣＰが全て含まれていることが望ましい。図１３に示す例では、基準画像ｆ_refと対象画像ｆ(3)間に多少位置ずれが生じているにも関わらず、抽出された６個の候補特徴画素ＣＰ’の中に、検出すべき５個の対応特徴画素ＣＰ（特徴領域ＴＡに含まれる５個の特徴画素にそれぞれ対応する。）が含まれていることが解る。上述した特徴領域決定処理（ステップＳ４０）においてマージン領域を付加した理由は、位置ずれによって、検出すべき対応特徴画素ＣＰが対応特徴領域ＣＡから外れて、本処理において候補特徴画素ＣＰ’として抽出されなくなることを防ぐためである。
【００７８】
ＣＰＵ２００は、続いて、特徴領域ＴＡに含まれる各特徴画素ＴＰごとに、最類似の関係にある候補特徴画素ＣＰ’を決定する（ステップＳ６０３）。図１４を参照して説明すると、ＣＰＵ２００は、まず、着目する特徴画素（例えば、特徴画素ＴＰ１）と候補特徴画素ＣＰ’との類似度を表す値Ｓを、全ての候補特徴画素（ＣＰ’１〜ＣＰ’６の６つ）について算出する。本実施例では、図１４（ａ）に示すように、比較する２つの画素を中心とする３×３画素について、それぞれ対応する画素の画素値の差分を算出する。そして、算出した差分の絶対値を足し合わせた値Ｓを算出する。すなわち、比較する２つの画素の座標をそれぞれ(i,j),(I,J)で表し、座標(i,j)の画素の画素値をＸ(i,j)と表すと、値Ｓは以下の式（１）を用いて算出される。
【００７９】
【数１】
【００８０】
値Ｓの算出に用いる画素値は、輝度値であっても良いし、ＲＧＢの各画素値であっても良い。算出された値Ｓが小さいほど、両画素は類似度が高いといえる。ＣＰＵ２００は、算出された値Ｓが最も小さい候補特徴画素ＣＰ’を、着目する特徴画素ＴＰと最類似の関係にあると決定する。ＣＰＵ２００は、特徴領域ＴＡに含まれる全ての特徴画素ＴＰに着目して上述の処理を繰り返し、特徴領域ＴＡに含まれる全ての特徴画素ＴＰについてそれぞれ最類似の関係にある候補特徴画素ＣＰ’を決定する。
【００８１】
ＣＰＵ２００は、次に、対応特徴領域ＣＡに含まれる各候補特徴画素ＣＰ’ごとに、最類似の関係にある特徴画素ＴＰを決定する（ステップＳ６０４）。つまり、ステップＳ６０３とは逆に、対応特徴領域ＣＡに含まれる候補特徴画素ＣＰ’に着目して、特徴領域ＴＡに含まれる全ての特徴画素ＴＰの中から着目する候補特徴画素ＣＰ’と最類似の関係にある特徴画素を決定する。図１４を参照して説明すると、ＣＰＵ２００は、まず、着目する候補特徴画素（例えば、画素ＣＰ’１）と特徴画素との類似度を表す値Ｓを、特徴領域ＴＡ内に含まれる全ての特徴画素（ＴＰ１〜ＴＰ５の５つ）について算出する。値Ｓの算出手法は、上述したステップＳ６０３と同様である。ＣＰＵ２００は、算出された値Ｓが最も小さい特徴画素ＴＰを、着目する候補特徴画素ＣＰ’と最類似の関係にあると決定する。ＣＰＵ２００は、対応特徴領域ＣＡに含まれる全ての候補特徴画素ＣＰ’についてそれぞれ最類似の関係にある特徴画素ＴＰを決定する。
【００８２】
ＣＰＵ２００は、ステップＳ６０３とステップＳ６０４において決定した最類似の関係に基づいて、候補特徴画素ＣＰ’の中から特徴領域ＴＡに含まれる各特徴画素ＴＰに対応する対応特徴画素ＣＰを決定する（ステップＳ６０５）。具体的には、注目する特徴画素ＴＰと、互いからみて最類似の関係にある組み合わせを構成する候補特徴画素ＣＰ’を、当該特徴画素ＴＰに対応する対応特徴画素ＣＰであるとする。このような組み合わせが類似度が最も高い組み合わせであると考えられる。
【００８３】
図１４（ｂ）に示す例を用いて詳しく説明する。ステップＳ６０３において特徴画素ＴＰ１と最類似の関係にあると決定された候補特徴画素はＣＰ’１であるとする。そして、ステップＳ６０４において候補特徴画素ＣＰ’１と最類似の関係にあると決定された特徴画素はＴＰ１であり、候補特徴画素ＣＰ’６と最類似の関係にあると決定された特徴画素もＴＰ１であるとする。かかる場合には、特徴画素ＴＰ１と候補特徴画素ＣＰ’１とは互いからみて最類似の関係にあるので、ＣＰＵ２００は、候補特徴画素ＣＰ’１を特徴画素ＴＰ１に対応する対応特徴画素ＣＰであると決定する。一方で、片側からのみ最類似の関係にある候補特徴画素ＣＰ’６は、対応特徴画素とはされない。ＣＰＵ２００は、これにより、特徴領域ＴＡに含まれる５つの特徴画素ＴＰ１〜ＴＰ５の全てについて、それぞれ対応特徴画素を決定する。図１４（ｂ）に示す例では、ＴＰ１−ＣＰ’１、ＴＰ２−ＣＰ’２、ＴＰ３−ＣＰ’３、ＴＰ４−ＣＰ’４、ＴＰ５−ＣＰ’５がそれぞれ対応する組み合わせとなる。
【００８４】
ＣＰＵ２００は、着目対象ｆ(a)について画像対応特徴画素ＣＰの決定を終えると、全ての対象画像ｆ(a)(a=1,2,3)について対応特徴画素ＣＰを決定する処理を終了したか否かを判断する（ステップＳ６０６）。ＣＰＵ２００は、まだ、対応特徴画素の決定が終了していない対象画像ｆ(a)が存在する場合（ステップＳ６０６：ＮＯ）には、当該対象画像ｆ(a)を新たな着目対象画像に設定して（ステップＳ６０１）、上述した処理（ステップＳ６０２〜Ｓ６０５）を繰り返す。ＣＰＵ２００は、全ての対象画像ｆ(a)(a=1,2,3)について対応特徴画素の決定を終了すると（ステップＳ６０６：ＹＥＳ）、本処理を終了して、図３の処理ルーチンにリターンする。この時点で、基準画像ｆ_refの特徴領域ＴＡにおいては特徴画素ＴＰ（図１５に示す例では、領域ＴＡにおける５つの画素ＴＰ）が認識され、３つの対象画像ｆ(a)(a=1,2,3)それぞれの対応特徴領域ＣＡにおいては対応特徴画素ＣＰ（図１５に示す例では、領域ＣＡにおける５つの画素ＣＰ）が認識された状態となる。
【００８５】
ＣＰＵ２００は、次に、これまでの処理によって認識された特徴画素ＴＰの位置と対応特徴画素ＣＰの位置とに基づいて、上述した位置ずれ補正量（ｕa、ｖa、δa）を、３つの対象画像ｆ(a)(a=1,2,3)それぞれについて算出する（ステップＳ７０）。
【００８６】
図１６は、基準画像ｆ_refにおける特徴画素ＴＰの位置と対象画像ｆ(3)における対応特徴画素ＣＰの位置が最も近づくように、対象画像ｆ(3)を基準画像ｆ_refに対してずらして重ね合わせた状態を示す概略図である。ＣＰＵ２００は、このような重ね合わせ位置を実現する位置ずれ補正量（ｕa、ｖa、δa）を算出する。具体的には、予め位置ずれ補正量の最大範囲を決めておき、その範囲内で、各特徴画素ＴＰに対応する対応特徴画素ＣＰとの画素間距離の合計が最も小さくなるように、位置ずれ補正量（ｕa、ｖa、δa）を決定する。上述したように、４つの画像は時系列的に連続したフレーム画像データが表す画像であるから、互いに類似しており、各画像間に生じている位置ずれ量は、比較的小さな範囲内に収まる。従って、予め経験的に位置ずれ補正量の最大範囲を、例えば、｜ｕa｜＜Ｕ、｜ｖa｜＜Ｖ、｜δa｜＜Δ、（Ｕ、Ｖ、Δは、定数）と定めておくことで、処理を高速化できる。
【００８７】
位置ずれ補正量が、対象画像ｆ(a)(a=1〜3)の全てについて算出されると、算出された位置ずれ補正量を用いて、フレーム画像データＦ(a)(a=1〜3)に対して位置ずれ補正を実行して、対象画像ｆ(a)(a=1〜3)と基準画像ｆ_refの計４つの画像を、部分一致するように重ね合わせることができる（図５参照）。
【００８８】
図３に戻って説明を続ける。ＣＰＵ２００は、位置ずれ補正した４つのフレーム画像データＦ(a)を合成して、フレーム画像データＦ(a)より高解像度の画像を表す画像データ（以下、高解像度画像データという。）を生成する処理（以下、高解像度画像合成処理という。）を実行する（ステップＳ８０）。以下、高解像度画像合成処理について簡単に説明する。
【００８９】
図１７は、基準画像ｆ_refと対象画像ｆ(a)(a=1〜3)とを、位置ずれを補正して配置した様子を拡大して示す説明図である。図１７では、高解像度画像合成処理によって生成される高解像度画像データが表す画像（以下、高解像度画像という。）の各画素が黒丸で示されているとともに、基準画像ｆ_refの各画素が白抜きの四辺形で示され、対象画像ｆ(a)(a=1〜3)の各画素が、ハッチングを施した四辺形で示されている。なお、高解像度画像の画素密度は、基準画像ｆ_refに対して、縦横１．５倍密に設定されるものとする。また、高解像度画像の各画素は、２画素おきに基準画像ｆ_refの各画素に重なる位置にあるものとする。ただし、高解像度画像の画素が、必ずしも基準画像ｆ_refの各画素に重なる位置にある必要はない。例えば、高解像度画像の各画素のすべてが、基準画像ｆ_refの各画素の中間に位置する等、種々の位置とすることができる。また、高解像度画像の画素密度も、縦横１．５倍に限定されるものではなく、自由に設定することができる。
【００９０】
高解像度画像のある画素Ｇ(i)に注目して説明する（以下、画素Ｇ(i)を注目画素という。）。変数iは、高解像度画像の全画素を区別する番号を示している。ここで、図１７に示すように、４つの画像ｆ_ref，ｆ(1)，ｆ(2)，ｆ(3)において、注目画素Ｇ(i)と最も近い画素を、それぞれＰ_ref，Ｐ(1)，Ｐ(2)，Ｐ(3)とする。ＣＰＵ２００は、注目画素Ｇ(i)と画素Ｐ_ref，Ｐ(1)，Ｐ(2)，Ｐ(3)との距離Ｌ０，Ｌ１，Ｌ２，Ｌ３をそれぞれ算出する。そして、ＣＰＵ２００は、最も近い距離にある画素（以下、「最近傍画素」と呼ぶ。）を決定する。図１７の例では、Ｌ３＜Ｌ１＜Ｌ０＜Ｌ２であるので、対象画像ｆ(3)の画素Ｐ(3)が、注目画素Ｇ(i)の最近傍画素として決定される。なお、この注目画素Ｇ(i)に対する最近傍画素が、対象画像ｆ(3)のj番目の画素であったとして、以下、最近傍画素P（3，j）と表記する。
【００９１】
ＣＰＵ２００は、注目画素Ｇ(i)の画素値を、決定された最近傍画素含む画像ｆ(a)（図１７に示す例では、対象画像ｆ(3)）において注目画素Ｇ(i)を囲む画素の画素値を用いて、バイ・リニア法等の補完処理によって生成する。補間処理の方法については、バイ・リニア法の他、バイ・キュービック法、ニアレストネイバ法等の種々の方法を用いることができる。
【００９２】
図１８は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ(i)は、４つの画像画像ｆ_ref，ｆ(1)〜ｆ(3)のいずれにも存在しない画素であるので、画素値が存在していない。そこで、ＣＰＵ２００は、最近傍画素Ｐ（3，i）のほか、注目画素Ｇ(i)を囲む３つの画素Ｐ（3，i+1）、Ｐ（3，ｋ）、Ｐ（3，ｋ+1）で区画される領域を、注目画素Ｇ(i)で４つの区画に分割し、その面積比で対角位置の画素の画素値をそれぞれ重み付けして加算することにより、注目画素Ｇ(i)の画素値を生成する。ただし、ｋはi番目の画素に対象画像f(3)の横方向の画素数を加えた画素の番号を示している。
【００９３】
ＣＰＵ２００は、高解像度画像を構成する全ての画素について、上述した処理によって画素値を生成する。この結果、高解像度画像を表す高解像度画像データが最終的に生成される。
【００９４】
以上説明した第１の実施例に係る画像処理装置によれば、画像ファイルＧＦ（動画ファイル）から取得した４つのフレーム画像データＦ_ref、Ｆ(a)(a=1〜3)の合成に用いる位置ずれ補正量を、基準画像ｆ_refの特徴画素の位置と、対象画像f(a)の対応特徴画素の位置とに基づいて算出する。この結果、基準画像ｆ_refおよび対象画像f(a)を表す全画像データを用いることなく、極めて少ない画素の位置のみに基づいて位置ずれ補正量を算出することができるので、算出にかかる処理時間の短縮および処理負荷の軽減を図ることができる。
【００９５】
特徴画素の抽出処理や対応特徴画素の検出処理は、画素の周辺の比較的狭い領域（例えば、３×３画素の領域）の比較によって行われる高速な処理であり、これらの処理が負担となることもない。また、位置ずれ補正量の算出に用いる特徴画素および対応特徴画素は、エッジ抽出フィルタやパターンフィルタにより抽出された特徴的な画素であるので、考慮する画素が少なくても位置ずれ補正量の算出精度が劣ることもない。
【００９６】
さらに、位置ずれ補正量の算出に用いる特徴画素は、基準画像ｆ_refの一部の領域である特徴領域に含まれる特徴画素であり、位置ずれ補正量の算出に用いる対応特徴画素も、対象画像ｆ(a)(a=1〜3)の一部の領域である対応特徴領域にである。従って、基準画像ｆ_refおよび対象画像f(a)の全領域を考慮することなく、一部の領域のみを考慮して位置ずれ補正量を算出することができるので、さらに算出にかかる処理時間の短縮および処理負荷の軽減を図ることができる。
【００９７】
考慮する特徴領域や対応特徴領域は、特徴画素や対応特徴画素が多く分布する特徴的な領域であるので、考慮する領域を一部の領域に限ったとしても位置ずれ補正量の算出精度が劣ることもない。
【００９８】
さらに、基準画像ｆ_refにおいて、抽出された特徴画素全体の重心が中心に位置する領域であると共に、基準数以上の特徴画素あるいは基準割合以上の特徴画素を含む領域を、特徴領域とするので、特徴画素が多く分布し補正量の算出に適した領域を特徴領域として抽出することができる。
【００９９】
また、特徴画素と同様な特徴的な画素を候補特徴画素として抽出し、特徴画素の周辺領域と候補特徴画素の周辺領域との類似度を表す指標Ｓを算出する。そして、注目する特徴画素と類似度が最も高い組み合わせを構成する候補特徴画素を、注目する特徴画素に対応する対応特徴画素として検出するので、精度良く対応特徴画素を検出することができる。
【０１００】
B．第２の実施例
・画像処理システムの構成：
第２の実施例に係る画像処理システムの構成およびパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成は、図１を参照して説明した第１の実施例に係る画像処理システムの構成と同一であるので、その説明を省略して、以下の説明では同一の符号を用いる。
【０１０１】
・パーソナルコンピュータ２０の機能的構成：
図１９は、本実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。第１の実施例と異なる構成についてのみ説明することとし、第１の実施例と同一の構成については、同一の符号を付し、その説明を省略する。
【０１０２】
第２の実施例に係るパーソナルコンピュータ２０は、補正量算出部M２６０に、第１の補正量算出部M２６２と第２の補正量算出部M２６４を備えている点で、第１の実施例と異なっている。他の構成は、第１の実施例と同じである。
【０１０３】
第１の補正量算出部M２６２は、第１の実施例における補正量算出部Ｍ２６０と同様の処理により推定される位置ずれ補正量である第１の補正量を算出する。
【０１０４】
第２の補正量算出部Ｍ２６４は、合成するフレーム画像データが表す画像を構成する画素の画素値を解析して推定される位置ずれ補正量である第２の補正量を算出する。第２の補正量を算出する際の画素値解析には、第１の補正量算出部Ｍ２６２によって算出された第１の補正量を初期値に用いる。
【０１０５】
・パーソナルコンピュータ２０における画像処理：
図２０〜図２７を参照して、本実施例に係るパーソナルコンピュータ２０において実行される画像処理について説明する。
【０１０６】
図２０は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。図３を参照して説明した第１の実施例に係る画像処理の処理ルーチンと同一のステップについては、図３と同一の符号を付し、その説明を省略する。
【０１０７】
第１の実施例に係る画像処理と異なる点は、第１の実施例では、ステップＳ７０（図３参照）において算出していた位置ずれ補正量を、第２の実施例では、第１の補正量の算出（ステップＳ７２）と第２の補正量の算出（ステップＳ７４）の２つのステップに分けて算出している点である。第２の実施例に係るその他の画像処理は、第１の実施例と同一である。以下、第１の実施例と異なる２つのステップにおける処理について説明する。
【０１０８】
第１の補正量の算出処理は、基本的には、第１の実施例における位置ずれ補正量の算出と同様である。すなわち、ＣＰＵ２００は、これまでの処理（ステップＳ３０〜Ｓ６０）によって認識された特徴画素の位置と対応特徴画素の位置とに基づいて、位置ずれ補正量（ｕa、ｖa、δa）を、３つの対象画像ｆ(a)(a=1〜3)それぞれについて算出する。ただし、本ステップで算出する位置ずれ補正量は、大まかな概算値で良く、例えば、画像ｆ_ref、ｆ(a)(a=1〜3)を構成する画素単位程度の精度（いわゆるピクセルレベルの精度）で求めれば良い。後述する第２の補正量の算出処理において、より精度の高い補正量算出に適した手法により、最終的な補正量を高い精度で求めるからである。以下、本ステップで算出される位置ずれ補正量の概算値を第１の補正量と呼び、記号ｕa_1st、ｖa_1st、δa_1st(a=1,2,3)で表す。
【０１０９】
ＣＰＵ２００は、次に、基準画像ｆ_refおよび対象画像f(a)(a=1〜3)を構成する画素の画素値を解析（以下、画素値解析という。）することによって、最終的な位置ずれ補正量を算出する（ステップＳ７４）。本ステップで算出される最終的な位置ずれ補正量を第２の補正量と呼び、記号ｕa_2nd、ｖa_2nd、δa_2nd(a=1,2,3)で表す。
【０１１０】
第２の補正量は、画像ｆ_ref、ｆ(a)(a=1〜3)を構成する画素単位より細かい精度（いわゆるサブピクセルレベルの精度）で算出される。例えば、並進補正量ｕa_2nd、ｖa_2ndは、１／１６画素単位で、回転補正量δa_2ndは、１／１００度単位で算出される。より高い精度で位置ずれ補正量を算出することで、後に生成される高解像度画像データにおいて、より高い画質を確保できるからである。従って、第２の補正量の算出には、第１の補正量の算出手法より高い精度で位置ずれ補正量を算出可能な解析手法が用いられる。本実施例では、第２の補正量は、基準画像ｆ_refを構成する画素と対象画像f(a)を構成する画素のそれぞれの画素値（例えば輝度値）を用いて、勾配法（グラディエント法）を複数回繰り返す手法（以下、反復勾配法という。）によって算出される。以下では、先ず、勾配法および反復勾配法について説明する。
【０１１１】
図２１および図２２を参照して、勾配法について説明する。図２１は、勾配法による位置ずれ補正量の算出方法について説明する第１の説明図である。図２２は、勾配法による位置ずれ補正量の算出方法について説明する第２の説明図である。図２１において、黒い丸は、基準画像ｆ_refの画素を表し、例えば、（x1i、y1i）は、基準画像ｆ_refの中心を原点とする直交座標上における画素の座標を表している。そして、白い丸は、基準画像ｆ_refと部分一致するように重ねられた対象画像f(a)(a=1,2,3)の画素Ｐ_tar（x2i、y2i）を表し、座標（x2i，y2i）は、対象画像f(a)(a=1,2,3)の中心を原点とする直交座標上における座標を表している。以下、画素Ｐ_tar（x2i、y2i）を着目画素として説明を進める。着目画素Ｐ_tar（x2i、y2i）は、基準画像ｆ_refと部分一致するように重ねられた場合に、基準画像ｆ_refの画素Ｐ_ref（x1i、y1i）の近傍の位置（x1i＋Δxi、y1i＋Δyi）に位置すると仮定する。ここで、iは、各画素を区別する番号である。
【０１１２】
まず、着目画素Ｐ_tar（x2i、y2i）に最も近い基準画像ｆ_refの画素Ｐ_ref（x1i、y1i）と、その上下左右にある４つの画素Ｐ_ref（x1i+1、y1i）、Ｐ_ref（x1i-1、y1i）、Ｐ_ref（x1i、y1i+1）、Ｐ_ref（x1i、y1i-1）が、参照画素として選択される。
【０１１３】
図２２（ａ）は、対象画像f(a)と基準画像ｆ_refとを部分一致するように重ねた場合において、着目画素Ｐ_tar（x2i、y2i）と画素Ｐ_ref（x1i、y1i）とのｘ１軸上の距離Δxiを推定する方法を示している。まず、画素Ｐ_ref（x1i、y1i）と、左右に隣接する画素Ｐ_ref（x1i-1、y1i）、Ｐ_ref（x1i+1、y1i）の輝度値Ｂ_ref（x1i、y1i）、Ｂ_ref（x1i-1、y1i）、Ｂ_ref（x1i+1、y1i）とを用いて、輝度勾配ΔＢxiが算出される。ΔＢxiは、図２２（ａ）において直線Ｒ１の傾きで表される量で、画素Ｐ_ref（x1i、y1i）の近傍における輝度勾配である。例えば、３つの画素値を用いて、近似直線を求めてその傾きをΔＢｘとして用いても良いし、単に、左右の画素値を結ぶ直線の傾き｛Ｂ_ref（x1i+1、y1i）−Ｂ_ref（x1i-1、y1i）｝／２をΔＢxiとして用いても良い。
【０１１４】
そして、着目する画素Ｐ_tar（x2i、y2i）の輝度値Ｂ_tar（x2i、y2i）が、図２２（ａ）に示す直線Ｒ１上にあるものと仮定すると、
ΔＢxi・Δxi＝Ｂ_tar（x2i、y2i）−Ｂ_ref（x1i、y1i）が成立する。ここで、Ｂ_tar（x2i、y2i）およびＢ_ref（x1i、y1i）を単にＢ_tar、Ｂ_refで表すと、
ΔＢxi・Δxi - (Ｂ_tar - Ｂ_ref）= 0 …（２）
が成立する。
【０１１５】
図２２（ｂ）は、対象画像f(a)と基準画像ｆ_refとを部分一致するように重ねた場合において、着目画素Ｐ_tar（x2i、y2i）と画素Ｐ_ref（x1i、y1i）とのｙ１軸上の距離Δyiを推定する方法を示している。上述したΔｘの推定と同様の手法により、
ΔＢyi・Δyi - (Ｂ_tar - Ｂ_ref）= 0 …（３）
の式が導ける。ここで、式（２）、および、式（３）を満たすΔxi、Δyiを求めれば、着目画素Ｐ_tar（x2i、y2i）の基準画像ｆ_ref上における位置がわかることになる。
【０１１６】
この考え方を拡張して、対象画像f(a)を構成する全ての画素について、共通する補正量（ua、ｖa、δa）を求めるには、最小自乗法を用いて、以下のＤ2を最小にすることを考えれば良い。
Ｄ2＝Σ｛ΔＢxi・Δxi＋ΔＢyi・Δyi−（Ｂ_tar - Ｂ_ref）｝2 …(４)
【０１１７】
ここで、補正量（ua、ｖa、δa）と、各画素についてのΔxi、Δyiとの関係について考える。図２３は、画素の回転補正量を模式的に示す説明図である。基準画像ｆ_refの座標（ｘ１，ｙ１）の原点Ｏからの距離をｒとし、ｘ１軸からの回転角度をθとすると、ｒ，θは、下式で表される。
ｒ＝（x12＋y１2）1/2 …（５）
θ＝tan-1（y１／x1） …（６）
【０１１８】
ここで、対象画像f(a)の基準画像ｆ_refに対する並進ずれはなく、回転ずれのみが発生しているものとし、対象画像f(a)における座標（ｘ２，ｙ２）の画素が、基準画像ｆ_ref上の座標（ｘ１,ｙ１）の位置から回転補正量δだけ回転した座標(ｘ１'，ｙ１')にあるとする。この回転補正量δaによるｘ１軸方向の移動量Δｘとｙ１軸方向の移動量Δｙは、下式により求められる。
Δx＝x1'−x1≒−ｒ・δa・sinθ＝−δa・y1 …（７）
Δy＝y1'−y1≒ｒ・δa・cosθ＝δa・x1 …（８）
【０１１９】
したがって、上記式（４）における各画素iについてのΔxi、Δyiは、補正量（ｕa，ｖa、δa）を用いて、下式のように表すことができる。
Δxi＝ｕa−δa・y1i …（９）
Δyi＝ｖa＋δa・x1i …（１０）
ここで、x1iおよびy1iは、基準画像ｆ_refにおける画素Ｐ_ref（x1i、y1i）の座標である。
【０１２０】
上記式（９），（１０）を上記式（４）に代入すると、下式が得られる。
Ｄ2＝Σ｛ΔBxi・（ｕa−δa・ｙ1i）＋ΔBｙi・（ｖa＋δa・x1i）−（Ｂ_tar - Ｂ_ref）｝2 …（１１）
【０１２１】
すなわち、勾配法のために考慮する全画素について対応する座標値と輝度値を式（４）に代入したときに、Ｄ2を最小にする補正量ｕa，ｖa，δaを最小自乗法によって求めることができる。
【０１２２】
次に、反復勾配法について説明する。図２４および図２５は、反復勾配法の概略を示す説明図である。反復勾配法では、上述した勾配法によって求められた位置ずれ補正量を用いて対象画像f(a)の画素位置を補正し、補正後の画素位置に基づいて上述した参照画素を選択し直し、新たに選択された参照画素を用いて勾配法をもう一度実行する。そして、これを複数回繰り返し、最終的にｎ回目の勾配法によって求められた位置ずれ補正量と、その前回（(n-1)回目）の勾配法によって求められた位置ずれ補正量との差（Δｕa，Δｖa，Δδa）が、所定の閾値以下になったときに反復を終了する。言い換えれば、反復勾配法は、前回の勾配法で求められた位置ずれ補正量を、次回の勾配法の初期値に用いて、位置ずれ補正量が収束するまで勾配法を繰り返す手法である。
【０１２３】
図２４（ａ）で示す対象画像f(3)と基準画像ｆ_refとのずれ補正が全くされていない位置から、図２４（ｂ）で示す最終的に求めるべき位置まで補正するずれ補正量を求める場合を具体例として、反復勾配法についてさらに説明する。図２５（ａ−１）〜（ａ−３）は、図２４（ｂ）に示した画素Ｐ_tarに着目して、勾配法の反復を概念的に示している。図２５（ａ−１）は、画素Ｐ_1を中心とした画素（実線および波線で囲まれた画素）を画素Ｐ_tarの参照画素として、１回目の勾配法を実行した結果を示している。１回目の勾配法によって、画素Ｐ_tarを矢印Ａ１のようにずらす位置ずれ補正量が算出されている。２回目の勾配法は、１回目に算出された位置ずれ補正量によって補正された画素Ｐ_tarの位置に基づいて、参照画素が選択される。図２５（ａ−２）は、補正後の画素Ｐ_tarの最近傍に位置する画素Ｐ_２を中心とした画素を画素Ｐ_tarの参照画素として、２回目の勾配法を実行した結果を示している。図２５（ａ−３）は、さらに２回目の補正後の画素Ｐ_tarの最近傍に位置する画素Ｐ_３を中心とした画素を画素Ｐ_tarの参照画素として、３回目の勾配法を実行した結果を示している。このように、反復するうちに適切な最近傍画素を用いることができるため、精度良く位置ずれ補正量を算出することができる。
【０１２４】
ここで、図６に戻って説明を続ける。ＣＰＵ２００は、この反復勾配法によって第２の補正量を算出する（ステップＳ７４）にあたり、ステップＳ７２で算出した第１の補正量（ｕa_1st、ｖa_1st、δa_1st）を初期値に用いて、１回目の勾配法を実行する。図２５（ｂ−１）において、矢印Ｂ０は、第１の補正量による画素Ｐ_tarの補正を示している。図１４（ｂ−２）は、第１の補正量による補正後の画素Ｐ_tarの最近傍に位置する画素Ｐ_３を中心とした画素を画素Ｐ_tarの参照画素として、１回目の勾配法を実行した結果を示している。この結果、上述した図２５（ａ−１）〜（ａ−３）の場合と異なり、１回目から適切な最近傍画素を用いて、精度良く第２の補正量（ｕa_2nd、ｖa_2nd、δa_2nd）を求めることができる。
【０１２５】
さらに、本実施例では、第２の補正量を算出する際に、基準画像ｆ_refおよび対象画像f(a)の全画素を考慮せず、基準画像ｆ_refおよび対象画像f(a)の一部の領域のみを考慮する。すなわち、勾配法において、式（１１）に座標や画素値（本実施例では輝度値）を代入する画素は、基準画像ｆ_refおよび対象画像f(a)の全画素ではなく、基準画像ｆ_refおよび対象画像f(a)の一部の領域に含まれる画素のみである。
【０１２６】
図２６は、第２の補正量を算出する際に考慮する領域の具体例を説明する概略図である。図２６（ａ）（ｂ）は、基準画像ｆ_refと対象画像f(3)を、第１の補正量を用いて位置ずれを補正して配置した様子、すなわち、第２の補正量の算出の初期状態を示している。図２６（ａ）（ｂ）において、ハッチングで表された領域が第２の補正量を算出する際に考慮する領域を示している。図１６（ａ）では、先の処理（図２０：ステップ４０）によって抽出された基準画像ｆ_refにおける特徴領域ＴＡを、勾配法において考慮する領域としている。図１６（ｂ）では、考慮する領域をさらに限定して、上記の特徴領域ＴＡに含まれるそれぞれの特徴画素ＴＰを中心とした複数の比較的狭い領域（例えば、４０×４０画素の矩形領域）を、勾配法において考慮する領域としている。
【０１２７】
以上説明した第２の実施例に係る画像処理装置によれば、画像ファイルＧＦから取得した４つのフレーム画像データＦ_ref、Ｆ(a)(a=1〜3)の合成に用いる位置ずれ補正量を算出する際に、まず、基準画像ｆ_refの特徴画素の位置と対象画像f(a)の対応特徴画素の位置とに基づいて、大まかな位置ずれ補正量として第１の補正量を算出する。そして、画素値解析によって算出される最終的な位置ずれ補正量である第２の補正量を、第１の補正量を初期値に用いて算出する。この結果、精度は高いが処理負荷の高い画素値解析によって、算出すべき補正量が小さくなる。従って、画素値解析のみによって位置ずれ補正量を算出する場合と比較して、算出にかかる処理時間の短縮および処理負荷の低減が図られる。
【０１２８】
さらに、第２の補正量を算出する際に考慮する画素を、特徴画素を含む一部の領域に限定しているので、基準画像ｆ_refおよび対象画像f(a)の全画素を考慮する場合と比較して、算出にかかる処理時間の短縮および処理負荷の低減が図られる。また、当該一部の領域は、特徴画素を中心とした領域や特徴画素が多く分布した特徴領域であり、画像の特徴的部位を含んでいる。従って、考慮する画素を一部の領域に限定しても、そのために位置ずれ補正量の算出精度が劣ることもない。
【０１２９】
・第２の実施例の他の態様：
図２７は、基準画像ｆ_refと対象画像f(3)を、他の態様に係る第１の補正量を用いて位置ずれを補正して配置した様子、すなわち、第２の補正量の算出の初期状態を示している。図２７に示すように、第１の補正量は、回転ずれδa_1stを考慮せず、並進ずれ（ｕa_1st、ｖa_1st）のみを算出しても良い。最終的な補正量は第２の補正量として算出するため、第１の補正量は多少精度が悪くても問題ないため、並進ずれのみを算出することとすれば、第１の補正量の算出にかかる処理時間をさらに短縮することが可能である。
【０１３０】
Ｃ．変形例：
第１の実施例における位置ずれ補正量の算出および第２の実施例における第１の補正量の算出では、（１）算出に考慮する領域を全画像ではなく、一部の領域（特徴領域および対応特徴領域）に限定する、（２）算出を特徴画素と対応特徴画素の位置に基づいて算出する、という２つの技術的手段によって、処理時間の短縮および処理負荷の低減を実現しているが、どちらか１つの手段のみを用いることもできる。例えば、特徴領域および対応特徴領域を定めた後、特徴領域および対応特徴領域内の画像データを用いて、周知の方法（例えば、パターンマッチ法）で補正量を算出しても良い。この場合であっても、考慮するデータ量が減少する分、処理時間の短縮および処理負荷の低減を実現できる。逆に、処理対象画像が小さい場合等には、考慮する領域は限定せず、画像全体の特徴画素および対応特徴画素の位置を用いて補正量を算出しても良い。この場合であっても、全画素を考慮する場合と比較して、処理時間の短縮および処理負荷の低減を実現できる。
【０１３１】
上記実施例では、先に特徴画素を抽出し、特徴画素の分布によって特徴領域を決定しているが、特徴領域を他の手法によって決定することもできる。例えば、取得した画像データに主要被写体の位置を表す情報が付加されている場合には、かかる情報を利用して主要被写体の位置を中心とする所定範囲を特徴領域とすることもできる。かかる場合には、特徴領域を定めた後に、当該領域内において特徴画素を抽出すれば良い。
【０１３２】
上記実施例では、ディジタルビデオカメラ１０によって生成された動画像データから複数のフレーム画像データを取得しているが、高解像度画像データの生成に用いる複数の画像データの取得態様は、これに限られるものではない。例えば、ディジタルスチルカメラの動画撮影モードで撮像された動画像データや、連写機能を備えたディジタルスチルカメラで連続撮影された複数の静止画像データ等、時系列に並ぶ複数の画像データであれば良い。連写機能とは、一般的に、メモリーカードにデータを転送しないで、ディジタルスチルカメラ内部の高速なメモリー（バッファメモリー）に画像データをため込むことで、複数のカットを高速で連続して撮影する機能をいう。
【０１３３】
以上、実施例、変形例に基づき本発明に係る画像処理について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
【図面の簡単な説明】
【０１３４】
【図１】第１の実施例に係る画像処理装置を含む画像処理システムの一例を示す説明図。
【図２】第１の実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図。
【図３】第１の実施例に係る画像処理の処理ルーチンを示すフローチャート。
【図４】４つのフレーム画像データが表す画像間の位置ずれを説明する概略図。
【図５】フレーム画像データＦ_refを基準として、フレーム画像データＦ(3)に対して行う位置ずれ補正について示す説明図。
【図６】特徴画素抽出処理の処理ルーチンを示すフローチャート。
【図７】特徴画素の抽出に用いるフィルタを示す説明図。
【図８】特徴画素抽出処理の結果の一例を示す概略図。
【図９】特徴領域決定処理の処理ルーチンを示すフローチャート。
【図１０】特徴領域決定処理の概略を示す説明図。
【図１１】設定された特徴領域ＴＡと対応特徴領域ＣＡを示す概略図。
【図１２】対応特徴画素検出処理の処理ルーチンを示すフローチャート。
【図１３】候補特徴画素ＣＰ’を抽出した結果の一例を示す概略図。
【図１４】特徴画素ＴＰと対応する対応特徴画素ＣＰの決定手法を説明する概略図。
【図１５】対応特徴画素検出処理の結果の一例を示す概略図。
【図１６】対象画像ｆ(3)を基準画像ｆ_refに対して重ね合わせた状態を示す概略図。
【図１７】基準画像ｆ_refと対象画像ｆ(a)(a=1〜3)とを、位置ずれを補正して配置した様子を拡大して示す説明。
【図１８】バイ・リニア法による補間処理について示す説明図。
【図１９】第２の実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図。
【図２０】第２の実施例に係る画像処理の処理ルーチンを示すフローチャート。
【図２１】勾配法による位置ずれ補正量の算出方法について説明する第１の説明図。
【図２２】勾配法による位置ずれ補正量の算出方法について説明する第２の説明図。
【図２３】画素の回転補正量を模式的に示す説明図。
【図２４】反復勾配法の概略を示す第１の説明図。
【図２５】反復勾配法の概略を示す第２の説明図。
【図２６】第２の補正量を算出する際に考慮する領域の具体例を説明する概略図。
【図２７】基準画像ｆ_refと対象画像f(3)を、他の態様に係る第１の補正量を用いて位置ずれを補正して配置した様子を示す概略図。
【符号の説明】
【０１３５】
１０…ディジタルビデオカメラ（ＤＶＣ）
２０…パーソナルコンピュータ
２００…中央演算装置（ＣＰＵ）
２０１…ランダムアクセスメモリ（ＲＡＭ）
２０２…ハードディスク（ＨＤＤ）
２０３…カードスロット
２０４…入出力端子
２０５…光学ディスクドライブ
２５…モニタ
３０…プリンタ
４０…表示装置
４５…表示部
ＭＣ…メモリカード
ＬＤ…光学ディスク
Ｍ２１０…画像データ取得部
Ｍ２２０…特徴画素抽出部部
Ｍ２３０…特徴領域決定部
Ｍ２４０…対応特徴領域設定部
Ｍ２５０…対応特徴画素検出部
Ｍ２６０…補正量算出部
Ｍ２６２…第１の補正量算出部
Ｍ２６４…第２の補正量算出部
Ｍ２７０…高解像度画像生成部
【特許請求の範囲】
【請求項１】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置であって、
前記複数の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち、基準となる画像データが表す基準画像において、所定の特徴を有する特徴領域を決定する特徴領域決定手段と、
前記複数の画像データのうち、前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴領域に対応する対応特徴領域を設定する対応特徴領域設定手段と、
前記特徴領域と前記対応特徴領域の画像データに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する補正量算出手段と、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記特徴領域の決定は、前記基準となる画像データを解析して前記所定の特徴を抽出することによって実行される画像処理装置。
【請求項３】
請求項２に記載の画像処理装置は、さらに、
前記基準画像を構成する画素であって、画像の特徴的部位を構成する特徴画素を抽出する特徴画素抽出手段を備え、
前記特徴領域の抽出は、前記基準画像において、前記特徴画素を含む領域を前記特徴領域と決定することによって実行される画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記特徴領域は、基準数以上の前記特徴画素を含む領域、または、抽出された全ての前記特徴画素のうち基準割合以上の前記特徴画素を含む領域である画像処理装置。
【請求項５】
請求項３または請求項４に記載の画像処理装置において、
前記特徴領域は、抽出された前記特徴画素全体の重心が中心に位置する領域である画像処理装置。
【請求項６】
請求項３ないし請求項５のいずれかに記載の画像処理装置は、さらに、
前記特徴領域に含まれる前記特徴画素に対応する対応特徴画素を、それぞれの対象画像における前記対応特徴領域において検出する対応特徴画素検出手段を備え、
前記補正量は、前記特徴画素の位置と、前記特徴画素に対応する前記対応特徴画素の位置とに基づいて算出される画像処理装置。
【請求項７】
請求項３ないし請求項５のいずれかに記載の画像処理装置は、さらに、
前記特徴領域に含まれる前記特徴画素に対応する対応特徴画素を、それぞれの対象画像における前記対応特徴領域において検出する対応特徴画素検出手段を備え、
前記補正量算出手段は、
前記特徴画素の位置と、前記特徴画素に対応する前記対応特徴画素の位置とに基づいて推定される第１の補正量を算出する第１の補正量算出手段と、
前記特徴領域を構成する画素の画素値と前記対応特徴領域を構成する画素の画素値とを解析して推定される第２の補正量を、前記第１の補正量を初期値に用いて算出する第２の補正量算出手段とを備える画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記第１の補正量の算出は、前記複数の画像データが表す画像を構成する画素単位の精度で実行され、
前記第２の補正量の算出は、前記複数の画像データが表す画像を構成する画素単位より細かい精度で実行される画像処理装置。
【請求項９】
請求項７または請求項８に記載の画像処理装置において、
第２の補正量の算出における解析は、前記特徴領域における一部の領域に含まれる画素の画素値と、前記対応特徴領域における前記一部の領域に対応する領域に含まれる画素の画素値のみを用いて実行される領域画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記一部の領域は、前記特徴画素と前記特徴画素近傍の所定範囲に位置する画素とから構成される領域である画像処理装置。
【請求項１１】
請求項６ないし請求項１０のいずれかに記載の画像処理装置において、
前記対応特徴画素の検出は、
それぞれの対象画像における前記対応特徴領域に含まれる画素であって、画像の特徴的部位を構成する候補特徴画素を抽出し、
前記特徴画素とその周辺画素から構成される領域と、前記候補特徴画素とその周辺画素から構成される領域とを比較することによって、前記特徴画素と前記候補特徴画素との類似度を算出し、
注目する前記特徴画素と前記類似度が最も高い組み合わせを構成する前記候補特徴画素を、注目する前記特徴画素に対応する前記対応特徴画素とすることによって実行される画像処理装置。
【請求項１２】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置であって、
前記複数の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち基準となる画像データが表す基準画像を構成する画素の中から、画像の特徴的部位を構成する特徴画素を抽出する特徴画素抽出手段と、
前記複数の画像データのうち前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴画素に対応する対応特徴画素を検出する対応特徴画素検出手段と、
前記特徴画素の位置と、前記特徴画素に対応する対応特徴画素の位置とに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する補正量算出手段と、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備える画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置において、
前記対応特徴画素の検出は、
それぞれの対象画像を構成する画素であって、画像の特徴的部位を構成する候補特徴画素を抽出し、
前記特徴画素とその周辺画素から構成される領域と、前記候補特徴画素とその周辺画素から構成される領域とを比較することによって、前記特徴画素と前記候補特徴画素との類似度を算出し、
注目する前記特徴画素と前記類似度が最も高い組み合わせを構成する前記候補特徴画素を、注目する前記特徴画素に対応する前記対応特徴画素とすることによって実行される画像処理装置。
【請求項１４】
請求項１２または請求項１３に記載の画像処理装置において、
前記対応特徴画素の検出は、前記基準画像における所定の特徴を有する特徴領域に対応する領域おいて実行される画像処理装置。
【請求項１５】
請求項１４に記載の画像処理装置において、
前記特徴領域は、基準数以上の前記特徴画素を含む領域、または、抽出された全ての前記特徴画素のうち基準割合以上の前記特徴画素を含む領域である画像処理装置。
【請求項１６】
請求項１４または請求項１５に記載の画像処理装置において、
前記特徴領域は、抽出された前記特徴画素全体の重心が中心に位置する領域である画像処理装置。
【請求項１７】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法であって、
前記複数の画像データを取得し、
前記複数の画像データのうち、基準となる画像データが表す基準画像において、所定の特徴を有する特徴領域を決定し、
前記複数の画像データのうち、前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴領域に対応する対応特徴領域を設定し、
前記特徴領域と前記対応特徴領域の画像データに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出し、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する画像処理方法。
【請求項１８】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法であって、
前記複数の画像データを取得し、
前記複数の画像データのうち基準となる画像データが表す基準画像を構成する画素の中から、画像の特徴的部位を構成する特徴画素を抽出し、
前記複数の画像データのうち前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴画素に対応する対応特徴画素を検出し、
前記特徴画素の位置と、前記特徴画素に対応する対応特徴画素の位置とに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出し、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する画像処理方法。
【請求項１９】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理をコンピュータに実行させるコンピュータプログラムであって、
前記複数の画像データを取得する機能と、
前記複数の画像データのうち、基準となる画像データが表す基準画像において、所定の特徴を有する特徴領域を決定する機能と、
前記複数の画像データのうち、前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴領域に対応する対応特徴領域を設定する機能と、
前記特徴領域と前記対応特徴領域の画像データに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する機能と、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する機能とを前記コンピュータに実現させるコンピュータプログラム。
【請求項２０】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理をコンピュータに実行させるコンピュータプログラムであって、
前記複数の画像データを取得する機能と、
前記複数の画像データのうち基準となる画像データが表す基準画像を構成する画素の中から、画像の特徴的部位を構成する特徴画素を抽出する機能と、
前記複数の画像データのうち前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴画素に対応する対応特徴画素を検出する機能と、
前記特徴画素の位置と、前記特徴画素に対応する対応特徴画素の位置とに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する機能と、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する機能とを前記コンピュータに実現させるコンピュータプログラム。
【請求項１】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置であって、
前記複数の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち、基準となる画像データが表す基準画像において、所定の特徴を有する特徴領域を決定する特徴領域決定手段と、
前記複数の画像データのうち、前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴領域に対応する対応特徴領域を設定する対応特徴領域設定手段と、
前記特徴領域と前記対応特徴領域の画像データに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する補正量算出手段と、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記特徴領域の決定は、前記基準となる画像データを解析して前記所定の特徴を抽出することによって実行される画像処理装置。
【請求項３】
請求項２に記載の画像処理装置は、さらに、
前記基準画像を構成する画素であって、画像の特徴的部位を構成する特徴画素を抽出する特徴画素抽出手段を備え、
前記特徴領域の抽出は、前記基準画像において、前記特徴画素を含む領域を前記特徴領域と決定することによって実行される画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記特徴領域は、基準数以上の前記特徴画素を含む領域、または、抽出された全ての前記特徴画素のうち基準割合以上の前記特徴画素を含む領域である画像処理装置。
【請求項５】
請求項３または請求項４に記載の画像処理装置において、
前記特徴領域は、抽出された前記特徴画素全体の重心が中心に位置する領域である画像処理装置。
【請求項６】
請求項３ないし請求項５のいずれかに記載の画像処理装置は、さらに、
前記特徴領域に含まれる前記特徴画素に対応する対応特徴画素を、それぞれの対象画像における前記対応特徴領域において検出する対応特徴画素検出手段を備え、
前記補正量は、前記特徴画素の位置と、前記特徴画素に対応する前記対応特徴画素の位置とに基づいて算出される画像処理装置。
【請求項７】
請求項３ないし請求項５のいずれかに記載の画像処理装置は、さらに、
前記特徴領域に含まれる前記特徴画素に対応する対応特徴画素を、それぞれの対象画像における前記対応特徴領域において検出する対応特徴画素検出手段を備え、
前記補正量算出手段は、
前記特徴画素の位置と、前記特徴画素に対応する前記対応特徴画素の位置とに基づいて推定される第１の補正量を算出する第１の補正量算出手段と、
前記特徴領域を構成する画素の画素値と前記対応特徴領域を構成する画素の画素値とを解析して推定される第２の補正量を、前記第１の補正量を初期値に用いて算出する第２の補正量算出手段とを備える画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記第１の補正量の算出は、前記複数の画像データが表す画像を構成する画素単位の精度で実行され、
前記第２の補正量の算出は、前記複数の画像データが表す画像を構成する画素単位より細かい精度で実行される画像処理装置。
【請求項９】
請求項７または請求項８に記載の画像処理装置において、
第２の補正量の算出における解析は、前記特徴領域における一部の領域に含まれる画素の画素値と、前記対応特徴領域における前記一部の領域に対応する領域に含まれる画素の画素値のみを用いて実行される領域画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記一部の領域は、前記特徴画素と前記特徴画素近傍の所定範囲に位置する画素とから構成される領域である画像処理装置。
【請求項１１】
請求項６ないし請求項１０のいずれかに記載の画像処理装置において、
前記対応特徴画素の検出は、
それぞれの対象画像における前記対応特徴領域に含まれる画素であって、画像の特徴的部位を構成する候補特徴画素を抽出し、
前記特徴画素とその周辺画素から構成される領域と、前記候補特徴画素とその周辺画素から構成される領域とを比較することによって、前記特徴画素と前記候補特徴画素との類似度を算出し、
注目する前記特徴画素と前記類似度が最も高い組み合わせを構成する前記候補特徴画素を、注目する前記特徴画素に対応する前記対応特徴画素とすることによって実行される画像処理装置。
【請求項１２】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理装置であって、
前記複数の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち基準となる画像データが表す基準画像を構成する画素の中から、画像の特徴的部位を構成する特徴画素を抽出する特徴画素抽出手段と、
前記複数の画像データのうち前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴画素に対応する対応特徴画素を検出する対応特徴画素検出手段と、
前記特徴画素の位置と、前記特徴画素に対応する対応特徴画素の位置とに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する補正量算出手段と、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備える画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置において、
前記対応特徴画素の検出は、
それぞれの対象画像を構成する画素であって、画像の特徴的部位を構成する候補特徴画素を抽出し、
前記特徴画素とその周辺画素から構成される領域と、前記候補特徴画素とその周辺画素から構成される領域とを比較することによって、前記特徴画素と前記候補特徴画素との類似度を算出し、
注目する前記特徴画素と前記類似度が最も高い組み合わせを構成する前記候補特徴画素を、注目する前記特徴画素に対応する前記対応特徴画素とすることによって実行される画像処理装置。
【請求項１４】
請求項１２または請求項１３に記載の画像処理装置において、
前記対応特徴画素の検出は、前記基準画像における所定の特徴を有する特徴領域に対応する領域おいて実行される画像処理装置。
【請求項１５】
請求項１４に記載の画像処理装置において、
前記特徴領域は、基準数以上の前記特徴画素を含む領域、または、抽出された全ての前記特徴画素のうち基準割合以上の前記特徴画素を含む領域である画像処理装置。
【請求項１６】
請求項１４または請求項１５に記載の画像処理装置において、
前記特徴領域は、抽出された前記特徴画素全体の重心が中心に位置する領域である画像処理装置。
【請求項１７】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法であって、
前記複数の画像データを取得し、
前記複数の画像データのうち、基準となる画像データが表す基準画像において、所定の特徴を有する特徴領域を決定し、
前記複数の画像データのうち、前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴領域に対応する対応特徴領域を設定し、
前記特徴領域と前記対応特徴領域の画像データに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出し、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する画像処理方法。
【請求項１８】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理方法であって、
前記複数の画像データを取得し、
前記複数の画像データのうち基準となる画像データが表す基準画像を構成する画素の中から、画像の特徴的部位を構成する特徴画素を抽出し、
前記複数の画像データのうち前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴画素に対応する対応特徴画素を検出し、
前記特徴画素の位置と、前記特徴画素に対応する対応特徴画素の位置とに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出し、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する画像処理方法。
【請求項１９】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理をコンピュータに実行させるコンピュータプログラムであって、
前記複数の画像データを取得する機能と、
前記複数の画像データのうち、基準となる画像データが表す基準画像において、所定の特徴を有する特徴領域を決定する機能と、
前記複数の画像データのうち、前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴領域に対応する対応特徴領域を設定する機能と、
前記特徴領域と前記対応特徴領域の画像データに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する機能と、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する機能とを前記コンピュータに実現させるコンピュータプログラム。
【請求項２０】
それぞれが複数の画素データから構成されると共に時系列に並ぶ複数の画像データから、前記複数の画像データより解像度の高い高解像度画像データを生成する画像処理をコンピュータに実行させるコンピュータプログラムであって、
前記複数の画像データを取得する機能と、
前記複数の画像データのうち基準となる画像データが表す基準画像を構成する画素の中から、画像の特徴的部位を構成する特徴画素を抽出する機能と、
前記複数の画像データのうち前記基準となる画像データ以外の画像データが表す対象画像のそれぞれにおいて、前記特徴画素に対応する対応特徴画素を検出する機能と、
前記特徴画素の位置と、前記特徴画素に対応する対応特徴画素の位置とに基づいて、前記対象画像の前記基準画像に対する被写体の位置ずれを補正する補正量を、前記対象画像のそれぞれについて算出する機能と、
前記算出された補正量に基づいて、前記複数の画像データについて前記位置ずれを補正すると共に、前記補正された複数の画像データを合成して、前記高解像度画像データを生成する機能とを前記コンピュータに実現させるコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２００６−３９６２８（Ｐ２００６−３９６２８Ａ）
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願番号】特願２００４−２１４２２１（Ｐ２００４−２１４２２１）
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]