画像処理装置、画像処理方法、および画像処理プログラム
【課題】 複数の画像データから解像度がより高い画像データを生成する際に、画質が向上する効果を高める。
【解決手段】 ＣＰＵ３１では、画像データ取得部３１０が、時系列に連続して生成され、高解像度画像における画素配置の基準となる基準画像データと、この基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する。また、画像選択部３３０が、調査対象画像と基準画像との間のずれ量に基づいて求められる値であって、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として調査対象画像から選択する。高解像度画像生成部３４０は、少なくとも合成用画像の画像データを用いて、高解像度画像データを生成する。
【解決手段】 ＣＰＵ３１では、画像データ取得部３１０が、時系列に連続して生成され、高解像度画像における画素配置の基準となる基準画像データと、この基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する。また、画像選択部３３０が、調査対象画像と基準画像との間のずれ量に基づいて求められる値であって、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として調査対象画像から選択する。高解像度画像生成部３４０は、少なくとも合成用画像の画像データを用いて、高解像度画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、取得した画像データから、より解像度が高い画像データを生成するための画像処理技術に関する。
【背景技術】
【０００２】
従来から、撮影した所定の画像を利用して、より解像度の高い画像を生成する技術が提案されている。例えば、デジタルビデオカメラ等で撮影した動画を構成する複数のフレーム画像の画像データから、より解像度の高い静止画の画像データを合成する方法が知られている。このような高解像度画像を生成する際には、複数のフレーム画像間の対応関係の推定を行なうと共に、推定された対応関係に基づいて、解像度を高める（画像を構成する画素数を増加させる）ための補間演算を行なう（特許文献１参照）。
【０００３】
【特許文献１】特開２００４−８８６１６号公報
【特許文献２】特開２０００−２４４８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このように補間演算を行なって解像度の高い画像を生成する際には、一般に、画像生成に用いるフレーム画像の数を増やすことによって、補間演算によって得られる値を真の値に近づけ、生成した高解像度画像の画質を向上させることが可能となる。しかしながら、上記補間演算を行なう工程は、膨大な量の演算処理を行なう工程であり、高画質化を図る目的であっても、用いるフレーム画像の数を徒に増やしていく方策は、採用し難い場合がある。また、用いる複数のフレーム画像間のずれ量によっては、高画質化に寄与する程度が低いフレーム画像が含まれる可能性があり、用いるフレーム画像の数を増やした割には、充分に高画質な画像が得られない場合があった。
【０００５】
このような問題は、デジタルビデオカメラ等で生成した動画の画像データを用いる場合に限らず、デジタルスチルカメラで連続撮影された複数の画像データを用いる場合など、時系列に連続して撮影された複数の画像のデータから、より解像度が高い画像を生成する際に共通する問題であった。
【０００６】
本発明は、上述した従来の課題を解決するためになされたものであり、複数の画像データから解像度がより高い画像データを生成する際に、画質が向上する効果を高めることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理装置であって、
時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する画像データ取得部と、
前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する画像選択部と、
少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する高解像度画像生成部と
を備えることを要旨とする。
【０００８】
以上のように構成された本発明の画像処理装置によれば、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として用いて高解像度画像データを生成するため、高解像度画像において新たに生成される画素のより近くに位置する画素の画素値を用いて新たな画素値を生成することができる。これにより、新たに生成された画像データの値が真の値に近づく可能性を高めることができ、得られる高解像度画像の画質を向上させることが可能となる。
【０００９】
本実施例の画像処理装置において、
前記画像選択部は、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値として、前記調査対象画像と同じ解像度であると共に、前記高解像度画像と画素配置の方向が同じであって、前記高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像と、前記調査対象画像とを重ね合わせたときの、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値を用いることとしても良い。
【００１０】
上記のように、高解像度画像の画素の一部を最適画像の画素として取り扱い、最適画像の画素と調査対象画像の画素との距離に関する統計値に基づいて合成用画像を選択することで、高解像度画像で新たに生成される画素の画素値を生成するために用いる調査対象画像データを、効率よく選択することができる。
【００１１】
このような本発明の画像処理装置において、
前記画像選択部は、前記調査対象画像を構成する画素から選択した複数の画素について、前記最適画像との間で画素間の距離を求めて平均値を算出し、該平均値を、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値として用いることとしても良い。
【００１２】
このような構成とすれば、基準画像が有する画素に対する調査対象画像が有する画素のずれ量が、調査対象画像の部位によって異なる場合であっても、調査対象画像全体として、基準画像に対する画素のずれ量を把握することができ、合成用画像の選択を適切に行なうことが可能となる。
【００１３】
本発明の画像処理装置において、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が最も小さくなる画像を、前記合成用画像として選択することとしても良い。
【００１４】
このような構成とすれば、高解像度画像が有する画素に最も近い位置に画素を有する調査対象画像を、より高い確率で選択することが可能となる。
【００１５】
また、本発明の画像処理装置において、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が所定の基準値以下となる画像を、前記合成用画像として選択することとしても良い。
【００１６】
このような構成とすれば、高解像度画像において新たに生成される画素に充分に近い位置の画素を有する調査対象画像を選択し、新たに生成される画素値が真の値に近づく可能性をより高めることができる。
【００１７】
本発明の画像処理装置において、前記画像選択部は、少なくとも画像データの解析を利用して、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求めることとしても良い。このような場合には、画像データの解析方法を適宜選択することにより、高解像度画像の画素と調査対象画像の画素との距離に関する統計値を、精度良く算出することが可能となる。
【００１８】
あるいは、本発明の画像処理装置において、
前記基準画像データおよび前記調査対象画像データは、所定の画像生成装置により生成されており、
前記画像選択部は、少なくとも、前記基準画像データおよび前記調査対象画像データの各々の生成時における前記画像生成装置の動きに関する情報に基づいて、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求めることとしても良い。
【００１９】
このような場合には、画像間のずれの原因となる画素生成装置の動きに基づいて上記距離に関する統計値を求めるため、上記距離に関する統計値において、画素生成装置の動きに起因する影響を、正確に反映させることが可能となる。
【００２０】
本発明は、上記以外の種々の形態で実現可能であり、例えば、画像処理方法やコンピュータプログラム、あるいは記録媒体などの形態で実現することが可能である。
【発明を実施するための最良の形態】
【００２１】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．装置の全体構成：
Ａ−２．高解像度画像生成処理の概要：
Ａ−３．基準ずれ量の算出：
Ａ−４．フレーム画像選択処理：
Ａ−５．合成処理：
Ｂ．第２実施例：
Ｂ−１．画像生成時の動き情報：
Ｂ−２．動き情報に基づく高解像度画像の生成：
Ｂ−３．第２実施例の変形例：
Ｃ．変形例：
【００２２】
Ａ．第１実施例：
Ａ−１．装置の全体構成：
図１は、本発明の実施例である画像処理装置を含む画像処理システム１０の構成を表わす説明図である。図１に示すように、画像処理システム１０は、画像データを生成する画像生成装置であるデジタルスチルカメラ２０と、画像生成装置が生成した画像データから高解像度の画像データを生成する画像処理装置として機能するパーソナルコンピュータ３０と、画像処理に関する指示をユーザが入力するための操作部４０と、画像データに基づいて画像を出力する出力装置であるカラープリンタ５０と、を備えている。
【００２３】
デジタルスチルカメラ２０は、ＣＣＤやＣＭＯＳ等の撮像デバイスを備え、レンズを通った光の量をこの撮像デバイスによって電気信号に変換して、画像をデジタル信号として取得するカメラである。デジタルスチルカメラ２０は、撮影モードとして静止画撮影モードと動画撮影モードとを有し、静止画像データに加えて、時系列に連続する複数の画像データから成る動画像データを生成する機能を備えている。また、デジタルスチルカメラ２０は、静止画撮影モードとして、さらに連写モードを備え、この連写モードによっても、時系列に連続する複数の画像データを生成することができる。本実施例では、動画撮影モードが選択され、動画像データが生成される場合について説明する。ここで、デジタルスチルカメラ２０においては、解像度が異なる画像データを生成することが可能であるが、以下の実施例では、一定の解像度を有する動画像データを扱うものとする。なお、画像処理装置に対して時系列に連続する複数の画像データを供給するために、上記のような画像生成装置に代えて、ＤＶＤ、ハードディスク等、画像データを記憶した記録媒体や記憶装置を用いても良い。
【００２４】
パーソナルコンピュータ３０は、画像処理プログラムを実行するＣＰＵ３１、ＲＯＭ３２、ＣＰＵ３１による演算結果や画像処理に供する画像データを一時的に格納するＲＡＭ３３、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）３４、および、操作部４０やカラープリンタ５０等の外部機器と情報をやり取りするためのＩ／Ｆ回路３５を備えている。
【００２５】
操作部４０は、ユーザが画像処理に関する指示を入力するためのキーボード４１およびマウス４２を備えている。なお、図１では、ディスプレイ４３を操作部４０として記載しているが、このディスプレイ４３は、さらに、画像処理に関わる画像を表示する出力装置としても機能する。
【００２６】
Ａ−２．高解像度画像生成処理の概要：
図２は、本実施例に係るパーソナルコンピュータ３０が備えるＣＰＵ３１において実行される高解像度画像生成処理に関する機能ブロック図である。また、図３は、ＣＰＵ３１で実行される高解像度画像生成処理の概要を表わすフローチャートである。これら図２および図３に基づいて、高解像度画像生成処理の概要について説明する。
【００２７】
図２に示すように、ＣＰＵ３１は、画像データ取得部３１０と、基準ずれ量算出部３２０と、画像選択部３３０と、高解像度画像生成部３４０と、を備えている。
【００２８】
本実施例では、デジタルスチルカメラ２０で生成された動画像データは、デジタルスチルカメラ２０に取り付け可能なメモリカードＭＣ（図１参照）を介してパーソナルコンピュータ３０のＨＤＤ３４内に記憶され、ＣＰＵ３１で実行される処理において利用可能となる。なお、デジタルスチルカメラ２０で生成された動画像データを、一旦ＨＤＤ３４によって記憶する構成に代えて、パーソナルコンピュータ３０とデジタルスチルカメラ２０とを接続してデジタルスチルカメラ２０から逐次データを取得することとしても良い。図３の高解像度画像生成処理は、例えば、操作部４０からユーザの指示が入力されることにより開始されることとしても良く、パーソナルコンピュータ３０が備えるスロットにメモリカードＭＣが差し込まれることで自動的に開始されることとしても良い。
【００２９】
図３の高解像度画像生成処理を実行する際には、ＣＰＵ３１は、まず、ＨＤＤに記憶した動画像データを読み出し、この動画像データを再生する。以下の説明では、動画像を構成し、時系列に連続する個々の画像をフレーム画像と呼び、フレーム画像を表わす画像データをフレーム画像データと呼ぶ。動画像データの再生中に、ユーザによってフレーム画像データの取得指示が入力されると、ＣＰＵ３１の画像データ取得部３１０は、動画像データを構成するフレーム画像データの中から、時系列に連続する複数のフレーム画像データを取得する（ステップＳ１００）。このステップＳ１００において複数のフレーム画像データが取得される様子を、図４に示す。本実施例では、動画像データの再生中にユーザが指示を入力したタイミングに相当するフレーム画像データ、すなわちユーザにより選択されたフレーム画像データを、基準フレーム画像データとして取得している。この基準フレーム画像データが表わす画像は、新たに生成する高解像度画像における画素配置の基準となる。また、基準フレーム画像データから時系列の時刻経過方向に連続する１０フレーム分の画像データ、および、基準フレーム画像データから時系列の時刻経過逆方向に連続する１０フレーム分の画像データという２０フレーム分の画像データを、調査対象フレーム画像データとして取得している。このように、ステップＳ１００では、動画像データから、２１フレーム分のフレーム画像データが取得される。
【００３０】
以下の説明では、取得した２１フレーム分の画像データに対して、時系列を表わすフレーム番号aを付すこととし、各フレーム画像データをフレーム画像データＦaと呼び、フレーム画像データＦａが表わす画像をフレーム画像ｆaと呼ぶこととする。ここで、フレーム番号aは、基準フレーム画像データが０となるように設定している。すなわち、基準フレーム画像データはフレーム画像データＦ0であり、調査対象フレーム画像データは、フレーム画像データＦ-10〜Ｆ-1、およびＦ1〜Ｆ10である。ステップＳ１００で上記２１フレーム分の画像データが取得される際には、ＣＰＵ３１は、これら２１フレーム分の画像データをＲＡＭ３３に一時的に格納する。
【００３１】
ステップＳ１００でフレーム画像データが取得されると、ＣＰＵ３１の基準ずれ量算出部３２０は、基準フレーム画像ｆ0に対する各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10の位置ずれ量（以下、基準ずれ量とよぶ）を算出する（ステップＳ１１０）。本実施例では、この基準ずれ量の算出は、画像データを解析すること（画像解析）により行なっている。
【００３２】
その後、ＣＰＵ３１の画像選択部は、上記基準ずれ量に基づいて、所定の最適ずれ量に最も近い基準ずれ量を示すフレーム画像の画像データを、高解像度画像データを生成するために用いるフレーム画像データとして選択する（ステップＳ１２０）。ここで、最適ずれ量とは、調査対象フレーム画像と同じ解像度であると共に、高解像度画像データが表わす高解像度画像と画素配置の方向が同じであって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像を想定したときに、この最適画像の基準フレーム画像に対する位置ずれ量のことをいう。具体例を図５に示す。図５は、基準フレーム画像を利用して、解像度を縦横２倍の倍率で高める様子を表わす。ここで、縦横とは、基準フレーム画像における画素の配列方向に対応する向きであり、図５に示すＸ軸方向が横方向を表わし、Ｙ軸方向が縦方向を表わす。図５では、生成する高解像度画像の各画素が、黒丸で示されている。また、白抜きの四辺形で示された基準フレーム画像のすべての画素は、上記高解像度画像が有する画素と重なっている。ここで、高解像度画像の画素の内、基準フレーム画像の画素以外の画素は、ハッチングを付した四辺形で示されているが、これらは、基準フレーム画像と同じ解像度（すなわち、調査対象画像と同じ解像度）を有する画像であって、基準フレーム画像に対して所定のずれ量を示す３つのフレーム画像の画素の集合と見なすことができる。すなわち、基準フレーム画像に対して、基準フレーム画像における縦横の画素間隔を単位として、Ｘ軸方向にｕ、Ｙ軸方向にｖずらしたフレーム画像のずれ量を、（ｕ，ｖ）と表わすときに、ずれ量が（０，０．５）、（０．５，０）、（０．５，０．５）と表わされる３つのフレーム画像の画素の集合と見なすことができる。そのため、解像度を縦横２倍の倍率で高めて高解像度画像データを生成する本実施例では、上記最適ずれ量は、基準フレーム画像自身のずれ量を含めて（０，０）（０，０．５）、（０．５，０）、（０．５，０．５）の４つとなる。
【００３３】
なお、想定される最適画像としては、上記した４つの最適ずれ量を示す画像の他に、上記各最適画像を、Ｘ軸方向および／またはＹ軸方向に、上記画素間隔の整数倍ずらした画像が考えられる。しかしながら、上記４つの最適画像の各々を、画素間隔の整数倍ずらした画像は、高解像度画像データを生成する際に、画質を向上させる上で、対応する最適画像と同等の寄与をするだけである。そのため、ステップＳ１２０では、上記のように画素間隔の整数倍ずらしただけの画像を排除して、基準フレーム画像とのずれ量が最も小さくなる（すなわち、基準フレーム画像との重なりが最も大きくなる）上記４つの最適ずれ量を示す４つの画像を、最適画像として想定している。ステップＳ１２０では、このように想定した最適画像が示す最適ずれ量に最も近い基準ずれ量を示すフレーム画像を、基準フレーム画像および調査対象画像から選択する。
【００３４】
その後、高解像度画像生成部３４０が、ステップＳ１２０で選択された調査対象フレーム画像データや基準フレーム画像データを合成して、より解像度が高い画像データを新たに生成する（ステップＳ１３０）。以下に、ステップＳ１１０〜Ｓ１３０の各処理について、さらに詳しく説明する。
【００３５】
Ａ−３．基準ずれ量の算出：
図３のステップＳ１１０において実行される画像解析による基準ずれ量の算出の工程について説明する。ステップＳ１１０では、各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10を順次注目フレーム画像ｆaに設定し、基準フレーム画像ｆ0に対する注目フレーム画像ｆaの位置ずれ量を順次算出することによって、各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10について基準ずれ量を求める。ステップＳ１１０において、基準フレーム画像ｆ0に対する各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10の位置ずれ量を算出する画像解析の方法としては、例えば、フレーム画像データ間の各画素の輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法を用いることができる。以下に、勾配法の概要について説明する。
【００３６】
フレーム画像間に生じる位置ずれは、並進ずれと、画像の中心を軸とした回転方向のずれ（回転ずれ）との組み合わせとして表わすことができる。並進ずれと回転ずれとの組み合わせとして表わされる注目フレーム画像ｆaにおける基準ずれ量の様子を、図６に示す。図６では、注目フレーム画像ｆaと基準フレーム画像ｆ0の各々について、各フレーム画像の中心を原点とするＸＹ軸を、仮想的に示している。図６に示すように、注目フレーム画像ｆaにおける基準ずれ量は、Ｘ軸方向の並進ずれｕaとＹ軸方向の並進ずれｖaと回転ずれδaとによって表わすことができる。
【００３７】
図７は、勾配法によって位置ずれを算出する方法を示す説明図である。図７（ａ）は、基準フレーム画像ｆ0および注目フレーム画像ｆa上の所定の画素における輝度を示しており、図７（ｂ）は、勾配法の原理を示している。ここで、注目フレーム画像ｆaは、画像中心を原点とし、横方向をＸa軸、縦方向をＹa軸とする直交座標系を有しており、（ｘai，ｙai）は、注目フレーム画像ｆa上の一の画素の座標を表わす。ここで、Ｂa（ｘai，ｙai）は、その画素の輝度を表わしている。また、基準フレーム画像ｆ0は、画像中心を原点とし、横方向をＸ0軸、縦方向をＹ0軸とする直交座標系を有しており、基準フレーム画像ｆ0においても同様に画素の座標およびその輝度を表記している。なお、ここでは、注目フレーム画像ｆa上の座標（ｘai，ｙai）の画素に対応する画素が、基準フレーム画像ｆ0上の座標（ｘ0i〜ｘ0i+1，ｙ0i〜ｙ0i+1）の範囲に存在するものとし、その座標を、（ｘ0i＋Δxi，ｙ0i＋Δyi）とする。ここで、iは、各画素を区別する番号である。
【００３８】
図７（ｂ）に示すように、注目フレーム画像ｆaにおける座標（ｘai，ｙai）の画素に対応する画素が、基準フレーム画像ｆ0上の座標（ｘ0i＋Δxi，ｙ0i＋Δyi）にあるものとし、
ΔＢxi＝Ｂ0（ｘ0i+1，ｙ0i）−Ｂ0（ｘ0i，ｙ0i） …（１）
とすると、
ΔＢxi・Δxi＝Ｂa（ｘai，ｙai）−Ｂ0（ｘ0i，ｙ0i） …（２）
が成り立つ。ここで、Ｂa（ｘai，ｙai）およびＢ0（ｘ0i，ｙ0i）を単にＢa，Ｂ0と表わすと、
ΔＢxi・Δxi−（Ｂa−Ｂ0）＝０ …（３）
を満たすΔxiを求めれば、注目フレーム画像ｆａのＸ軸方向の並進ずれ量を求めることができる。
【００３９】
同様にして、
ΔＢyi＝Ｂ0（ｘ0i，ｙ0i+1）−Ｂ0（ｘ0i，ｙ0i） …（４）
とすると、
ΔＢyi・Δyi＝Ｂa（ｘai，ｙai）−Ｂ0（ｘ0i，ｙ0i） …（５）
が成り立つ。ここで、Ｂa（ｘai，ｙai）およびＢ0（ｘ0i，ｙ0i）を単にＢa，Ｂ0と表わすと、
ΔＢyi・Δyi−（Ｂa−Ｂ0）＝０ …（６）
を満たすΔyiを求めれば、注目フレーム画像ｆａのＹ軸方向の並進ずれ量を求めることができる。
【００４０】
ここで、式（３）および式（６）を満たすΔxi，Δyiを求めれば、注目フレーム画像ｆaにおける座標（ｘai，ｙai）の画素に対応する画素の、基準フレーム画像ｆ0上における位置が分かることになる。この考え方を拡張して、注目フレーム画像ｆaを構成する全ての画素について共通する基準ずれ量（ｕa，ｖa，δa）を求めるには、最小自乗法を用いて以下のＳ2を最小にすればよい。
Ｓ2＝Σ｛ΔＢxi・Δxi＋ΔＢyi・Δyi−（Ｂa−Ｂ0）｝2 …（７）
【００４１】
ここで、基準ずれ量（ｕa，ｖa，δa）と、各画素についてのΔxi、Δyiとの関係を以下に説明する。図８は、画素の回転ずれ量を模式的に示す説明図である。基準フレーム画像ｆ0の座標（ｘ0，ｙ0）の原点Ｏからの距離をｒとし、Ｘ0軸からの回転角度をθとすると、ｒ，θは、以下の式で表わされる。
ｒ＝（ｘ02＋ｙ02）1/2 …（８）
θ＝tan-1（ｙ0／ｘ0） …（９）
【００４２】
ここで、注目フレーム画像ｆaと基準フレーム画像ｆ0との間に並進ずれはなく、回転ずれのみが発生しているものとし、注目フレーム画像ｆaにおける座標（ｘa，ｙa）の画素が、基準フレーム画像ｆ0上の座標（ｘ0，ｙ0）の位置から回転ずれ量δaだけ回転した座標（ｘ0’，ｙ0’）にあるとする。この回転ずれ量δaによるＸ0軸方向の移動量Δxと、Ｙ0軸方向の移動量Δyとは、以下の式により求められる。なお、回転ずれ量δaは微少量であるとして、cosδa≒１、sinδa≒δの近似式を用いている。
Δx＝ｘ0’−ｘ0≒−ｒ・δa・sinθ＝−δa・ｙ0 …（１０）
Δy＝ｙ0’−ｙ0≒ｒ・δa・cosθ＝δa・ｘ0 …（１１）
【００４３】
したがって、式（７）における各画素についてのΔxi、Δyiは、基準ずれ量（ｕa、ｖa、δa）を用いて、以下の式のように表わすことができる。
Δxi＝ｕa−δa・ｙ0i …（１２）
Δyi＝va＋δa・ｘ0i …（１３）
【００４４】
上記式（１２），（１３）を、上記式（７）に代入すると、以下の式が得られる。
Ｓ2＝Σ｛ΔＢxi・（ｕa−δa・ｙ0i）＋ΔＢyi・（va＋δa・ｘ0i）−（Ｂa−Ｂ0）｝2 …（１４）
【００４５】
すなわち、式（１４）のＳ2を最小にするｕa、ｖa、δaを最小自乗法によって求めることで、注目フレーム画像ｆaにおける基準ずれ量を、精度良く検出することができる。各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10を順次注目フレーム画像ｆaに設定し、各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10について上記のように基準ずれ量を求めた結果の一例を、図９に示す。なお、図９では、基準ずれ量の各成分が０である基準フレーム画像についても記載している。本実施例では、このようにして求めた基準ずれ量のうち、並進ずれを表わすｕa、ｖaについては、計算を簡便にするために、ずれ量に最も近い整数とずれ量の差分の絶対値（以下、画素ずれ量（ｕap，ｖap）と呼ぶ）をさらに求め、引き続き実行されるフレーム画像選択処理では、この画素ずれ量を用いている。図９に示した値を、上記画素ずれ量に計算し直した値を、図１０に示す。なお、実施例では、図３のステップＳ１１０において、上記した勾配法により基準ずれを算出することとしたが、画素解析によりずれ量を求める他の手法を用いても良い。
【００４６】
Ａ−４．フレーム画像選択処理：
次に、図３のステップＳ１２０において実行されるフレーム画像選択処理について説明する。ここでは、ＣＰＵ３１の画像選択部３３０は、既述した各々の最適画像について、この最適画像が有する画素に最も近い位置に画素を有する画像を、フレーム画像ｆ-10〜ｆ10から１つずつ選択する。具体的には、既述した最適ずれ量（０，０）、（０，０．５）、（０．５，０）、（０．５，０．５）の各々について、この最適ずれ量に最も近い基準ずれ量を示すフレーム画像を、フレーム画像ｆ-10〜ｆ10から選択する。
【００４７】
ここで、最適ずれ量は回転ずれの成分を有していないが、図９に示したように各フレーム画像の基準ずれ量が回転ずれの成分を有する場合には、最適ずれ量と基準ずれ量とをそのまま比較することができない。そのため、本実施例では、回転ずれが基準ずれ量における並進ずれ成分に及ぼす影響を、画像全体で統計的に算出することによって、最適ずれ量と基準ずれ量との間の比較を可能にしている。回転ずれが基準ずれ量における並進ずれ成分に及ぼす影響を、以下に説明する。図１１は、位置ずれ量として回転ずれの成分のみを有する２つの画像を、画像の中心同士を位置合わせすることによって重ね合わせた様子を示す。図１１に示すように、位置ずれ量として回転ずれの成分を有する場合には、画像内での位置によって２つの画像間の位置ずれ量が異なることになる。すなわち、フレーム画像の周辺部の方が中央部よりも画像間のずれ量が大きくなる。そこで、本実施例では、基準フレーム画像および調査対象フレーム画像を複数の領域（ブロック）に分割し、分割したブロック毎に基準フレーム画像と調査対象フレーム画像との間で、対応する画素間のずれ量を並進ずれ成分だけで表わした画素ずれ量を求め、ブロック毎に求めた画素ずれ量をフレーム画像全体で平均することによって、各フレーム画像のずれ量と最適ずれ量とを比較可能としている。フレーム画像を複数の（Ｎ個の）ブロックに分割した様子の一例を、図１２に示す。
【００４８】
各調査対象フレーム画像ｆaでは、Ｎ個に分割したブロック毎の基準フレーム画像ｆ0に対する画素ずれ量を、各ブロックの中心位置におけるずれ量として求めている。すなわち、ブロック番号をｎ（ｎ＝１〜Ｎ）、ブロック番号ｎのブロックにおける画素ずれ量を（ｕｍn，ｖｍn）、調査対象フレーム画像ｆaにおける既述した基準ずれ量（画素ずれ量）を（ｕap，ｖap，δa）、ブロック番号ｎのブロックにおける中心位置の座標（図６に示したように、各々の調査対象画像ｆaの中心を原点とするＸＹ軸を基準とする座標）を（ｘn，ｙn）としたときに、ブロック番号ｎのブロックにおける画素ずれ量を、以下の式（１５）、式（１６）に基づいて求めている。
ｕｍn＝ｕap＋δa・ｙn …（１５）
ｖｍn＝ｖap−δa・ｘn …（１６）
ここで、上記画素ずれ量（ｕｍn，ｖｍn）は、図８および式（１２）、（１３）に基づいて行なった説明と同様の考え方により導かれるものである。
【００４９】
このように、ブロックごとに求めた画素ずれ量を用いて、ＣＰＵ３１は、以下の式（１７）、（１８）に従い、ブロックごとの画素ずれ量の平均値である平均画素ずれ量（ｕave，ｖave）を、各々の調査対象フレーム画像ｆaについて求める。
【００５０】
【数１】
【００５１】
各々の調査対象フレーム画像ｆaについて平均画素ずれ量（ｕave，ｖave）を求めると、次にＣＰＵ３１は、各々の平均画素ずれ量と、各最適ずれ量との差（平均画素ずれ量を基準ずれ量とする仮想的なフレーム画像と各最適画像との間の、対応する画素間の距離であり、以下、最適ずれ量との距離Ｒと呼ぶ）を求める。この最適ずれ量との距離Ｒは、最適画像と調査対象フレーム画像とを重ね合わせたときの、最適画像の画素と調査対象フレーム画像の画素との距離に関する統計値であるということができる。最適ずれ量との距離Ｒは、対象となる最適ずれ量を（ｕｔ，ｖｔ）とすると、以下の式（１９）により求められる。
【００５２】
【数２】
【００５３】
各調査対象フレーム画像が、図１０に示した基準画素ずれ量を示す場合に、式（１７）、（１８）に基づいて各調査対象フレーム画像について平均画素ずれ量（ｕave，ｖave）を求めた結果を、図１３に例示する。図１３では、さらに、各調査対象フレーム画像について、式（１９）に基づいて、最適ずれ量との距離Ｒを求めた結果を併せて示している。なお、以下の式（２０）では、最適ずれ量との距離Ｒを算出する具体例として、調査対象フレーム画像ｆ1における平均画素ずれ量と、最適ずれ量（０，０．５）との差を求める式を挙げる。
【００５４】
【数３】
【００５５】
このように各調査対象フレーム画像毎に最適ずれ量との距離Ｒを求めると、ＣＰＵ３１は、各々の最適画像について、最適ずれ量との距離Ｒが最も小さくなるフレーム画像（以下、合成用画像と呼ぶ）を選択する。図１３では、最適画像毎に、最適ずれ量との距離Ｒの最も小さい値に影を付して示している。図１３に示すように、本実施例では、最適ずれ量（０，０）（０，０．５）、（０．５，０）、（０．５，０．５）のそれぞれに対して、合成用画像として、基準フレーム画像ｆ0、調査対象フレーム画像ｆ2、ｆ-1、ｆ4が選択されている。ここで、図１３では、最適ずれ量（０．５，０．５）との距離Ｒとして、調査対象フレーム画像ｆ4およびｆ5が同じ値を示しているが、本実施例では、このような場合には、画像データ生成のタイミングが基準フレーム画像ｆ0により近い方の調査対象フレーム画像（ここでは調査対象フレーム画像ｆ4）を、合成用画像として選択している。
【００５６】
Ａ−５．合成処理：
次に、図３のステップＳ１３０において実行される高解像度画像合成処理について説明する。ステップＳ１３０では、ＣＰＵ３１の高解像度画像生成部３４０が、ステップＳ１２０において各々の最適ずれ量に対して選択された合成用画像が表わすフレーム画像データ（以下、合成用フレーム画像データと呼ぶ）を用いて、高解像度画像データの生成を行なう。高解像度画像を生成する際には、上記合成用画像の各々について、ステップＳ１１０で求めておいた基準ずれ量（図９参照）を用いる。
【００５７】
図１４，１５は、高解像度画像生成のための処理の様子を示す図である。図１４は、基準フレーム画像ｆ0と、その他の合成用フレーム画像ｆ-1，ｆ2，ｆ4とを、ずれ量を補正して配置した様子を拡大して示している。図１４では、高解像度画像の各画素が、黒丸で示されると共に、基準フレーム画像ｆ0の各画素が白抜きの四辺形で示され、合成用フレーム画像ｆ-1，ｆ2，ｆ4の各画素が、ハッチングを付した四辺形で示されている。
【００５８】
高解像度画像が有する一の画素である画素Ｇ(j)に注目して説明する。以下、画素(j)を、注目画素と呼ぶ。ここで、変数jは、高解像度画像の全画素を区別する番号を示している。ＣＰＵ３１は、各合成用フレーム画像ｆ-1，ｆ2，ｆ4において、注目画素Ｇ(j)に対して最も近い画素（それぞれ、画素Ｐ(-1)，Ｐ(2)，Ｐ(4)）と、注目画素Ｇ(j)との距離Ｌ-1，Ｌ2，Ｌ4とを算出する。そして、ＣＰＵ３１は、注目画素Ｇ(j)に最も近い距離にある画素（以下、「最近傍画素」と呼ぶ）を決定する。図１４の例では、Ｌ-1＜Ｌ2＜Ｌ4であるので、フレーム画像ｆ-1の画素Ｐ(-1)が、注目画素Ｇ(j)の最近傍画素として決定される。なお、このように決定された最近傍画素が、合成用フレーム画像ｆ-1のi番目の画素であるとして、以下、最近傍画素Ｐ（−１，i）と表記する。
【００５９】
ＣＰＵ３１は、高解像度画像を構成するすべての画素を、順次注目画素に設定して、上記した処理を繰り返し実行し、それぞれの画素について最近傍画素を決定する。
【００６０】
ＣＰＵ３１は、注目画素Ｇ(j)の画素値を、決定された最近傍画素を含む画像（図１４に示す例では、フレーム画像ｆ-1）において注目画素Ｇ(j)を囲む画素の画素値を用いて、バイ・リニア法などの補間処理によって生成する。図１５は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ(j)は、フレーム画像ｆ-1，ｆ0，ｆ2，ｆ4のいずれにも存在しない画素であるので、画素値が存在していない。そこで、ＣＰＵ３１は、最近傍画素Ｐ（−１，i）の他、注目画素Ｇ(j)を囲む３つの画素Ｐ（−１，i+1）、Ｐ（−１，k）、Ｐ（−１，k+1）で区画される領域を、上記最近傍画素を含む４つの画素と注目画素Ｇ(j)との位置関係に基づいて４つの区画に分割し、その面積比で対角位置の画素の画素値をそれぞれ重み付けして加算することにより、注目画素Ｇ(j)の画素値を生成する。ただし、kは、i番目の画素にフレーム画像ｆ2の横方向の画素数を加えた画素の番号を示している。
【００６１】
ＣＰＵ３１は、高解像度画像を構成するすべての画素について、上述した処理によって画素値を生成し、高解像度画像を合成する。なお、画素補間処理の方法については、バイ・リニア法の他、バイ・キュービック法やニアレストネイバ法等の種々の補間方法を用いることができる。なお、本実施例では、基準フレーム画像ｆ0のすべての画素の画素値は、高解像度画像の対応する画素の画素値としてそのまま利用され、高解像度画像の他の画素の画素値を生成する際に、基準フレーム画像ｆ0の画素が最近傍画素として選択されることはない。
【００６２】
以上のように構成された本実施例の画像処理装置によれば、最適ずれ量に対して選択した合成用画像の画像データを用いて高解像度画像データを生成するため、高解像度画像において新たに生成される画素位置により近い位置の画素の画素値を用いて新たな画素値を生成することができる。これにより、新たに生成した画素値が真の値に近づく可能性を高めることができ、得られる高解像度画像の画質を向上させることが可能となる。
【００６３】
ここで、本実施例では、高解像度画像データを生成するために、４種の最適ずれ量の各々に対して、合成用画像の画像データを選択している。したがって、高解像度画像を構成する個々の画素において、充分に近い位置の画素を有するフレーム画像のデータを用いて、画素値の生成を行なうことができる。このように、新たに生成する画素に充分に近い位置の画素を有する画像の画像データを、必要充分な数だけ用いるため、高解像度画像データの生成のために徒に多数の画像データを用いる必要がなく、効率良く高解像度画像の画質を向上させることができる。
【００６４】
Ｂ．第２実施例：
Ｂ−１．画像生成時の動き情報：
上記第１実施例では、各調査対象フレーム画像データを用いて画像解析を行なうことで、基準ずれ量を算出し、この算出結果に基づいてフレーム画像選択処理を行なっているが、異なる構成とすることもできる。以下に、第２実施例として、基準画像データおよび調査対象画像データを生成した画像生成装置の、画像データ生成時における動きに関する情報（以下、画像生成時動き情報と呼ぶ）に基づいて、基準ずれ量を算出する構成を説明する。
【００６５】
第２実施例の画像処理装置においても、高解像度画像データを生成する際に、図３と同様の処理を実行するが、ステップＳ１００においてフレーム画像データを取得する際には、フレーム画像データと共に、画像生成時動き情報を取得する。すなわち、第２実施例においても、第１実施例と同様に、デジタルスチルカメラ２０から、デジタルスチルカメラ２０で生成された動画像データをパーソナルコンピュータ３０のＨＤＤ３４内に記憶するが、その際に、デジタルスチルカメラ２０における画像生成時動き情報も一緒に記憶する。
【００６６】
第２実施例では、デジタルスチルカメラ２０は、３つの角速度センサを備えている。３つの角速度センサは、それぞれ、デジタルスチルカメラ２０のＸ軸回り、Ｙ軸回り、Ｚ軸回りの向きの変化を角速度として検出する装置である。図１６は、デジタルスチルカメラ２０におけるＸ軸、Ｙ軸、Ｚ軸のそれぞれについての向きの変化を説明する概略図である。Ｘ軸は、デジタルスチルカメラ２０が備える撮像デバイス（以下、撮像デバイス１４４と呼ぶ）の受光面に平行であってデジタルスチルカメラ２０の左右方向に延びる軸をいい、Ｙ軸は、撮像デバイス１４４の受光面に平行であってデジタルスチルカメラ２０の上下方向に延びる軸をいう。そして、Ｚ軸は、撮像デバイス１４４の受光面に対して垂直な軸をいう。ここで、ＸＹＺの３軸が交わる原点は、撮像デバイス１４４の受光面の中心Ｃｃに位置している。
【００６７】
以下の説明では、角速度センサが検出するＸＹＺ軸回りの角速度をそれぞれ角速度ＶX、ＶY、ＶZと表わす。また、後述するように角速度ＶX、ＶY、ＶZから求められるデジタルスチルカメラ２０のＸＹＺ軸回りの変位量を、それぞれ、角変位量θX、θY、θZと表わす。θXおよびＶXは、デジタルスチルカメラ２０で撮影された画像における被写体の上下方向の位置ずれ（いわゆる、ピッチ方向のぶれ）に対応している。また、θZおよびＶZは、デジタルスチルカメラ２０で撮影された画像における被写体の左右方向の位置ずれ（いわゆる、ヨー方向のぶれ）に対応している。また、θYおよびＶYは、デジタルスチルカメラ２０で撮影された画像における画像に対して垂直な直線を軸とした被写体の回転方向のずれ（いわゆる、ロール方向のぶれ）に対応している。角速度センサとしては、種々のジャイロスコープを用いることができる。例えば、機械式（回転式）ジャイロ、音片・音叉の振動を用いる振動式ジャイロ 、光ファイバ等を利用した光学式ジャイロなどを用いることができる。
【００６８】
デジタルスチルカメラ２０は、生成した画像データをメモリカードＭＣ等に保存する際に、３つの角速度センサが検出した電気信号から求められる角速度情報（角速度ＶX、ＶY、ＶZ）を含む付属情報を取得して、画像データに付加する。これによって、互いに関連付けられた画像データと付属情報とを含む画像ファイルが生成される。メモリカードＭＣにおいては、このような画像ファイルの形で保存が行なわれる。
【００６９】
図１７は、デジタルスチルカメラ２０で生成される画像ファイルＧＦの構成を模式的に示す説明図である。画像ファイルＧＦは、動画像データＭＤおよび音声データＡＤを格納する主情報格納領域Ｒ１００と、動画像データＭＤと関連付けられた付属情報を格納する付属情報格納領域Ｒ１１０を備えている。動画像データＭＤは、時系列に並ぶｎ個のフレーム画像データＧＤ1〜ＧＤnから構成されている。付属情報に含まれる角速度ＶX、ＶY、ＶZとしては、フレーム画像データＧＤ1〜ＧＤnのそれぞれの生成時に対応する角速度ＶX(1)〜ＶX(n)、ＶY(1)〜ＶY(n)、ＶZ(1)〜ＶZ(n)が、付属情報格納領域Ｒ１１０に格納されている。ここで、複数のフレーム画像データと付属情報とが関連付けられているとは、各々のフレーム画像データの生成タイミングと、角速度ＶX、ＶY、ＶZ等の付属情報の検出タイミングとの、時間軸上における対応関係が認識可能となっていることをいう。なお、角速度ＶX、ＶY、ＶZは、上記のように、動画像を構成する各フレーム画像の撮影のタイミングと同時に取得する代わりに、各フレーム画像を撮影する時間間隔よりも短い間隔で取得して、各フレーム画像毎に角速度情報を複数記憶することとしても良い。さらに、付属情報格納領域Ｒ１１０には、付属情報として、上述した角速度ＶX、ＶY、ＶZに加えて、画素ピッチｓと焦点距離ｆと角速度検出周期（角速度センサから角速度情報が取得される時間間隔）Ｔと、が格納されている。あるいは、付属情報として、図１７に示した付属情報に加えてさらに、撮影日時やシャッタ速度、あるいは絞り値等の種々の撮影情報を記憶しても良い。
【００７０】
本実施例では、図３のステップＳ１００において、基準フレーム画像データを含む時系列に連続する複数のフレーム画像データを取得する際に、取得するフレーム画像データに対応する上記付属情報も一緒に取得する。
【００７１】
Ｂ−２．動き情報に基づく高解像度画像の生成：
本実施例では、図３のステップＳ１１０に対応する工程において、上記フレーム画像データと共に取得した付属情報である角速度ＶX、ＶY、ＶZを用いて、基準ずれ量（基準フレーム画像に対する各調査対象フレーム画像のずれ量）を算出する。この場合にも、第１実施例と同様に、各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10を順次注目フレーム画像ｆaに設定し、基準フレーム画像ｆ0に対する注目フレーム画像ｆaの位置ずれ量を順次算出することによって、各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10について基準ずれ量を求める。
【００７２】
注目フレーム画像ｆaを設定すると、ＣＰＵ３１は、設定した注目フレーム画像ｆaの画像データＦaを生成したタイミングと、基準フレーム画像データＦ0を生成したタイミングとの間の、デジタルスチルカメラ２０におけるＸＹＺ軸周りの角変位量θXa、θYa、θZaを算出する。基準フレーム画像データＦ0の生成時を時刻ｔ0、注目フレーム画像データＦaの生成時を時刻ｔaとすると、上記角変位量θXa、θYa、θZaは、それぞれ、ＸＹＺ軸周りの角速度ＶX、ＶY、ＶZを、時刻ｔaから時刻ｔ0まで積分した値（ただし、a＜0）、あるいは、時刻ｔ0から時刻ｔaまで積分した値（ただし、0＜a）として与えられる。フレーム画像データＦaの生成時におけるＣ表わす式として、0＜aの場合の式を、以下に式（２１）、（２２）、（２３）として例示する。
【００７３】
【数４】
【００７４】
なお、角速度検出周期Ｔが、各フレーム画像間の撮影間隔よりも短い場合には、角速度検出周期Ｔごとに角速度を積分した値を、時刻ｔ0から時刻ｔaまでの間で足し合わせることによって、各角変位量を求めることができる。このように、角速度検出周期Ｔが短いほど、角変位量θXa、θYa、θZaを、より正確に算出することが可能となる。本実施例では、このようにして求めた角変位量θXa、θYa、θZaを用いて、第１実施例と同様の基準ずれ量（ｕa，ｖa，δa）を求める。
【００７５】
図１８は、デジタルスチルカメラ２０のＸ軸周りの動きと、撮像デバイス１４４上における被写体の位置ずれとの関係を示す説明図である。図１８は、デジタルスチルカメラ２０がＸ軸周りに角変位量θXだけ動く（ぶれる）ことによって、撮像デバイス１４４およびレンズ１４２に対する被写体の位置が、記号Ｈで示す位置から記号Ｈ’で示す位置へと変化した様子を模式的に示している。このようなデジタルスチルカメラ２０に対する被写体の相対的なずれは、撮像デバイス１４４で生成されるフレーム画像間の位置ずれ（図１８では、Ｙ軸方向のずれｖ）に対応している。したがって、撮像デバイス１４４で生成されるフレーム画像間に生じるフレーム間位置ずれ（ｖ）と、角変位量θXとの間には、一定の関係が成立する。同様に、フレーム間位置ずれ（ｕ）と角変位量θYとの間、および、フレーム間位置ずれ（δ）と角変位量θZとの間にも、一定の関係が成立する。図１８に示すように、撮像デバイス１４４上における１画素分（画素ピッチｓ分）のずれに相当するＸ軸あるいはＹ軸周りの角変位量をθpixとし、並進ずれｕa、ｖaは画素単位でのずれを表わすこととすると、基準ずれ量（ｕa，ｖa，δa）は、以下の式（２４）〜（２６）で表わされる。
【００７６】
ｕa＝θYa／θpix …（２４）
ｖa＝−θXa／θpix …（２５）
δa＝−θZa …（２６）
【００７７】
ここで、θpixは、デジタルスチルカメラ２０の焦点距離ｆと、撮像デバイス１４４の画素ピッチｓとを用いて、以下の式（２７）で表わされる。
θpix＝ｔａｎ-1（ｓ／ｆ）≒ｓ／ｆ …（２７）
【００７８】
したがって、既述したようにして求めた角変位量θXa、θYa、θZaと、式（２７）に基づき求められる値とを式（２４）〜（２６）に代入することにより、基準ずれ量（ｕa，ｖa，δa）を算出することができる。画像生成時動き情報を利用して、各調査対象フレーム画像ｆaについて図９のように基準ずれ量を算出した後は、この基準ずれ量を用いて、第１実施例と同様に、平均画素ずれ量および最適ずれ量との距離Ｒを算出し（図１３参照）、最適画像ごとに、合成用画像を選択すればよい（図３のステップＳ１２０）。最適画像ごとに合成用画像を選択した後は、第１実施例と同様に、高解像度画像合成処理を行なうことで、より高画質な高解像度画像を得ることができる。
【００７９】
以上のように構成された第２実施例の画像処理装置によれば、第１実施例と同様の効果を奏することができる。さらに、第２実施例では、基準ずれ量を算出するために、センサにより取得された画像生成時動き情報を用いているため、画像解析に比べて簡素な処理により、基準ずれ量を算出することができる。したがって、基準ずれ量を算出する処理に要する時間を短縮し、高解像度画像データの生成を高速化することが可能となる。また、第２実施例では、デジタルスチルカメラ２０の動きそのものを実測した結果を用いているため、画像データを解析してより確からしい値として基準ずれ量を算出する第１実施例に比べて、最適画像に最も近い合成用画像を、より正確に選択可能となる。
【００８０】
Ｂ−３．第２実施例の変形例：
上記第２実施例では、画像生成時動き情報から算出した基準ずれ量を用いて、ステップＳ１２０のフレーム画像選択処理を行なっているが、さらに第１実施例と同様の画像解析を行なって基準ずれ量を求めても良い。勾配法のように、１画素よりも細かい単位で画素の位置を推定する画像解析をさらに行なうことで、求める基準ずれ量の精度を向上させることが可能となる。このように、画像解析に先立って、画像生成時動き情報に基づいて画素単位の精度で基準ずれ量が求められている場合には、画像解析においては、上記画像生成時動き情報に基づく基準すれ量の算出結果を利用して、より細かい位置合わせの処理だけを行なえばよい。そのため、画像解析のみにより基準ずれ量を算出する場合に比べて、画像解析による処理工程を削減することができる。
【００８１】
あるいは、画像生成時動き情報から算出した基準ずれ量を用いて、ステップＳ１２０のフレーム画像選択処理を行なった後、ステップＳ１３０において、選択した合成用画像のみを対象として、画像解析により改めて基準ずれ量を算出し、その値を用いて合成処理を行なうこととしても良い。これにより、１画素よりも細かい単位で画素の位置を推定した値を用いて合成処理を行なうことができる。また、選択した合成用画像のみを対象として画像解析するため、第１実施例に比べて画像解析による処理工程を削減でき、高解像度画像生成処理全体を高速化することが可能となる。
【００８２】
上記第２実施例では、画像生成時動き情報を、デジタルスチルカメラ２０に搭載した角速度センサによって検出しているが、異なる種類のセンサを用いることとしても良い。例えば、角加速度を検出するセンサや、角変位量を検出するセンサ、あるいは、平行移動を検知する加速度センサを、角速度センサに代えて、あるいはさらに加えて用いることとしても良い。ここで、画像生成装置の動きが撮影された画像に影響する程度は、画像生成装置が平行移動するときよりも、回転移動するときの方がはるかに大きい。したがって、回転移動を検出可能なセンサ（角速度センサ、角加速度センサ、角変位量センサ等）を少なくとも備えることが望ましい。ＣＰＵ３１は、角加速度が与えられる場合には、角加速度を積分して角速度を算出し、さらにこれを積分して角変位量を求めれば良い。また、角変位量センサを用いる場合には、連続して生成される画像データにおける画像生成のタイミング間の角変位量を取得可能とすればよい。このような場合には、選択された基準フレーム画像データの生成タイミングから、所定の調査対象フレーム画像データの生成タイミングまでの間の角変位量を積算し、得られた値を用いて基準ずれ量を算出すればよい。なお、等速の回転運動を検出するためには、回転移動を検出可能な上記センサの中でも、角速度センサまたは角変位量センサを用いることとすればよい。
【００８３】
また、第２実施例では、焦点距離ｆは一定としたが、ズーム機能を利用して焦点距離を変化させても良い。この場合には、焦点距離の情報も各フレーム画像データと関連づけて記憶されるため、フレーム画像データ毎に対応する焦点距離を用いて、既述した計算を行なえばよい。
【００８４】
また、第２実施例のデジタルスチルカメラ２０では、角速度センサが検出した角速度ＶX，ＶY，ＶZを、そのまま画像ファイルＧＦに記憶して、画像処理装置として機能するパーソナルコンピュータ３０に供しているが、デジタルスチルカメラ２０が備える所定の制御部内で角速度情報に対して積分処理を実行してもよい。すなわち、各撮影タイミング間における角変位量をデジタルスチルカメラ２０内で算出して、算出した角変位量をデジタルスチルカメラ２０から出力することとしても良い。このような場合には、パーソナルコンピュータ３０のＣＰＵ３１は、選択された基準フレーム画像データの生成タイミングから、所定の調査対象フレーム画像データの生成タイミングまでの間の角変位量を積算し、得られた積算値を用いて基準ずれ量を算出すればよい。
【００８５】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００８６】
Ｆ１．変形例１（高解像度化の変形）：
上記第１および第２実施例では、取得したフレーム画像データから高解像度画像データを生成する際に、画像の解像度を縦横２倍に高めているが、解像度を高める倍率は、異なる倍率としても良い。このように高解像度化の際の倍率が異なる場合にも、調査対象画像と同じ解像度の画像であると共に、高解像度画像と画素配置の方向が同じであって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像、および、この最適画像の基準フレーム画像に対するずれ量である最適ずれ量を、倍率に応じて設定することができる。異なる倍率の例として、図１９は、縦横３倍に解像度を高めて高解像度画像を生成する様子を表わし、図２０は、縦横１．５倍に解像度を高めて高解像度画像を生成する様子を表わす。図１９，２０に示すように、解像度を高める倍率が、縦横３倍の場合も、縦横．５倍の場合も、最適ずれ量は、（０，０）、（０．３３，０）、（０，０．３３）、（０．３３，０．３３）、（０．６７，０）、（０，０．６７）、（０．６７，０．６７）、（０．３３，０．６７）、（０．６７，０．３３）となる。このように異なる倍率を採用する場合であっても、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値を、基準ずれ量に基づいて求め、上記統計値がより小さくなる調査対象画像を合成用画像として選択して、画像合成（画素生成）に用いればよい。これにより、より真の値に近い画素値を生成し、高画質化する同様の効果が得られる。
【００８７】
なお、高解像度画像上の画素を、基準フレーム画像上の画素からずらして設定することも可能であるが、図５、図１９、図２０に示したように、基準フレーム画像が有する画素をより多く用いるように高解像度画像を設定することで、効率よく高解像度化および高画質化を行なうことができる。また、図２０のように、基準フレーム画像が有する画素の中に、高解像度画像上の画素に対応しない画素が存在する場合には、高解像度画像合成処理の際に、基準フレーム画像データも、他の合成用画像データと共に、最近傍画素の探索に用いればよい。
【００８８】
Ｆ２．変形例２（フレーム画像選択の変形）：
第１および第２実施例では、調査対象画像と同じ解像度の画像であって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像を想定したときに、高解像度画像上のすべての画素に対応させるために最低限必要な複数の最適画像の各々に対して、合成用画像を一つずつ選択している。これに対して、上記最低限必要な複数の最適画像の内の、一部の最適画像に対して、合成用画像を選択することとしても良い。この場合にも、新たに生成する画素の少なくとも一部の画素においては、位置がより近い画素の画素値を用いて新たな画素値を生成することができ、新たに生成する高解像度画像を高画質化する同様の効果が得られる。
【００８９】
また、第１および第２実施例では、基準フレーム画像および調査対象フレーム画像を複数の領域（ブロック）に分割し、ブロック毎に基準フレーム画像と調査対象フレーム画像との間で対応する画素間のずれ量を求めているが、複数の対応するサンプル点のみで画素ずれ量を求めることとしても良い。複数の対応するサンプル点のみで画素ずれ量を求める様子を図２１に示す。図２１では、基準フレーム画像と調査対象フレーム画像との間で、対応する６つのサンプル点を示している。基準フレーム画像上の各々のサンプル点に対応する調査対象フレーム画像上の点の座標は、図３のステップＳ１１０で求めた基準ずれ量に基づいて知ることができる。したがって、基準フレーム画像と調査対象フレーム画像との対応するサンプル点間で、式（１５）、（１６）に基づいて、画素ずれ量を求めることができ、これらの画素ずれ量を平均することで、各調査対象フレーム画像と、各最適画像との間の距離Ｒを、実施例と同様に求めることができる。上記のように複数のサンプル点について画素ずれ量の平均を求めるならば、実施例のように複数のブロックに分割する場合と同様に、調査対象フレーム画像が示す基準ずれ量が回転ずれを含む場合であっても、最適画像が有する画素により近い位置の画素を有する画像を、高い確率で選択することができる。
【００９０】
また、第１および第２実施例では、各々の最適ずれ量に対して、最適ずれ量との距離Ｒが最も小さくなる調査フレーム画像を選択しているが、最適ずれ量との距離Ｒにさらに基準値を設け、最適ずれ量との距離Ｒが、この基準値以下となるフレーム画像のみを選択することとしても良い。このような構成とすれば、より高画質化に寄与できるフレーム画像を選択することができる。ここで、複数の最適ずれ量のうち、最適ずれ量との距離Ｒが所定値以下となる調査対象フレーム画像が存在しない最適ずれ量がある場合には、最適ずれ量との距離Ｒが所定値を超えるフレーム画像を選択するのではなく、例えば、基準フレーム画像データの生成時により近い時刻に生成された調査対象フレーム画像データを用いて、合成処理に供するフレーム画像の数を確保しても良い。いずれの場合にも、所定枚数のフレーム画像を用いて合成処理を行なう場合に、合成処理に用いるフレーム画像の少なくとも一部として、最適ずれ量に基づいて選択した合成用画像を用いることで、新たに生成する高解像度画像において高画質化を図ることができる。
【００９１】
第１および第２実施例では、取得した調査対象フレーム画像ｆ-10〜ｆ10のすべてについて、図１３に示すように最適ずれ量との距離Ｒを算出し、最終的に最もＲが小さくなるものを、各々の最適ずれ量に対応する合成用画像として選択している。これに対して、各々の調査対象フレーム画像について、順次（例えば時系列で基準フレーム画像に近い順に）最適ずれ量との距離を算出し、各最適ずれ量において、最適ずれ量との距離Ｒが所定値以下となる調査対象フレーム画像が最初に１つ見つかれば、これをその最適ずれ量に対応する合成用画像として選択することとしても良い。このような構成とすれば、取得したすべての調査対象フレーム画像について最適ずれ量との距離Ｒを算出する前に、合成用画像を選択することが可能となり、フレーム画像選択処理を高速化することが可能となる。
【００９２】
また、第１および第２実施例では、ユーザに指示されたタイミングに基づいて基準フレーム画像が決定されているが、ユーザに指示されたタイミングの近傍から、より高画質化に寄与し得る基準フレーム画像を選択することとしても良い。例えば、実施例と同様にユーザに指示されたタイミングの前後から２１フレームのフレーム画像データを取得した場合に、各々のフレーム画像（ｆ-10〜ｆ10）を順次基準フレーム画像に設定する。そして、残りを調査対象フレーム画像として、図１３に示したように最適ずれ量との距離Ｒを算出する。そして、最適ずれ量毎に、合成用画像を選択すると共に、各合成用画像におけるＲ値を合計する。例えば、図１３に示したように、フレーム画像ｆ0を基準フレーム画像とした場合には、合成用画像は、ｆ-1、ｆ0、ｆ2、ｆ4が選択され、各合成用画像におけるＲ値の合計は、
０．２０＋０．００＋０．１４＋０．１０＝０．４４
となる。このように、取得した各フレーム画像を順次基準フレーム画像に設定し、各合成用画像におけるＲ値の合計を算出したときに、このＲ値の合計が最小になる基準フレーム画像および合成用画像の組み合わせを選択して、高解像度画像を生成しても良い。これにより、高解像度画像を高画質化する効果をさらに高めることが可能となる。
【００９３】
なお、第１および第２実施例では、高解像度画像合成処理に供するフレーム画像を選択するために、ユーザに指示されたタイミングから前後２１フレームの画像データを取得しているが、上記タイミングの前後から異なるフレーム数の画像データを取得するなど、異なる取得法としても良い。
【００９４】
Ｆ３．変形例３（合成処理に関する変形）：
第１および第２実施例では、高解像度画像合成処理において、高解像度画像を構成する各画素毎に、選択した複数の合成用画像が有する画素の中から最近傍画素を選択しているが、最近傍画素の選択は行なわないこととしても良い。すなわち、生成しようとする画素が、いずれの最適ずれ量に対応するかに基づいて、最適ずれ量ごとに選択した合成用画像の画素を用いて画素データを生成することとしても良い。例えば、画素値を生成しようとしている注目画素が、最適ずれ量（０，０．５）である最適画像上の画素である場合に、最適ずれ量（０，０．５）に対してフレーム画像ｆ2が合成用画像として選択されているならば、この注目画素の画素値は、フレーム画像データＦ2を用いて生成するのである。このような構成とすれば、合成用画像を用いることにより高解像度画像を高画質化する効果を得ることができると共に、画像データを用いて最近傍画素を有する画像を検索する処理を行なわないことにより、合成処理を高速化することができる。
【００９５】
Ｆ４．変形例４（装置構成における変形例）：
実施例では、高解像度画像データを生成するために、デジタルスチルカメラ２０の動画撮影モードで生成された動画像データから複数のフレーム画像データを取得しているが、時系列に連続して生成された複数のフレーム画像データを、異なる態様により取得しても良い。例えば、デジタルスチルカメラにおける静止画像撮影モードの連写モードで撮影された複数の画像データを取得しても良く、あるいは、デジタルビデオカメラで撮影された動画像データを取得しても良い。
【００９６】
あるいは、第１および第２実施例では、画像処理装置としての機能をパーソナルコンピュータ３０が備えることとしたが、デジタルスチルカメラやデジタルビデオカメラ等の画像生成装置や、プリンタ等の出力装置に、画像処理装置としての機能を備えさせてもよい。
【図面の簡単な説明】
【００９７】
【図１】画像処理システム１０の構成を表わす説明図である。
【図２】ＣＰＵ３１における高解像度画像生成処理に関する機能ブロック図である。
【図３】高解像度画像生成処理の概要を表わすフローチャートである。
【図４】動画像データから２１個のフレーム画像データが取得された様子を表わす説明図である。
【図５】基準フレーム画像を利用して、解像度を縦横２倍の倍率で高める様子を表わす説明図である。
【図６】注目フレーム画像ｆaにおける基準ずれ量を示す説明図である。
【図７】勾配法によって位置ずれを算出する方法を示す説明図である。
【図８】画素の回転ずれ量を模式的に示す説明図である。
【図９】各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10について基準ずれ量を求めた結果を例示する説明図である。
【図１０】図９に示した値を、基準画素ずれ量に計算し直した値を示す説明図である。
【図１１】位置ずれ量として回転ずれの成分を有する２つの画像を、画像の中心同士を位置合わせすることによって重ね合わせた様子を示す説明図である。
【図１２】フレーム画像を複数の（Ｎ個の）ブロックに分割した様子を例示する説明図である。
【図１３】各調査対象フレーム画像について平均画素ずれ量および最適ずれ量との距離Ｒを求めた結果を示す説明図である。
【図１４】高解像度画像生成のための処理の様子を示す説明図である。
【図１５】高解像度画像生成のための処理の様子を示す説明図である。
【図１６】デジタルスチルカメラ２０におけるＸ軸、Ｙ軸、Ｚ軸のそれぞれについての向きの変化を説明する概略図である。
【図１７】デジタルスチルカメラ２０で生成される画像ファイルＧＦの構成を模式的に示す説明図である。
【図１８】デジタルスチルカメラ２０のＸ軸周りの動きと、撮像デバイス１４４上における被写体の位置ずれとの関係を示す説明図である。
【図１９】縦横３倍に解像度を高めて高解像度画像を生成する様子を表わす説明図である。
【図２０】縦横１．５倍に解像度を高めて高解像度画像を生成する様子を表わす説明図である。
【図２１】複数のサンプル点のみで画素ずれ量を求める様子を示す説明図である。
【符号の説明】
【００９８】
１０…画像処理システム
２０…デジタルスチルカメラ
３０…パーソナルコンピュータ
３１…ＣＰＵ
３２…ＲＯＭ
３３…ＲＡＭ
３４…ＨＤＤ
３５…Ｉ／Ｆ回路
４０…操作部
４１…キーボード
４２…マウス
４３…ディスプレイ
５０…カラープリンタ
１４２…レンズ
１４４…撮像デバイス
３１０…画像データ取得部
３２０…基準ずれ量算出部
３３０…画像選択部
３４０…高解像度画像生成部
Ｒ１００…主情報格納領域
Ｒ１１０…付属情報格納領域
【技術分野】
【０００１】
この発明は、取得した画像データから、より解像度が高い画像データを生成するための画像処理技術に関する。
【背景技術】
【０００２】
従来から、撮影した所定の画像を利用して、より解像度の高い画像を生成する技術が提案されている。例えば、デジタルビデオカメラ等で撮影した動画を構成する複数のフレーム画像の画像データから、より解像度の高い静止画の画像データを合成する方法が知られている。このような高解像度画像を生成する際には、複数のフレーム画像間の対応関係の推定を行なうと共に、推定された対応関係に基づいて、解像度を高める（画像を構成する画素数を増加させる）ための補間演算を行なう（特許文献１参照）。
【０００３】
【特許文献１】特開２００４−８８６１６号公報
【特許文献２】特開２０００−２４４８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このように補間演算を行なって解像度の高い画像を生成する際には、一般に、画像生成に用いるフレーム画像の数を増やすことによって、補間演算によって得られる値を真の値に近づけ、生成した高解像度画像の画質を向上させることが可能となる。しかしながら、上記補間演算を行なう工程は、膨大な量の演算処理を行なう工程であり、高画質化を図る目的であっても、用いるフレーム画像の数を徒に増やしていく方策は、採用し難い場合がある。また、用いる複数のフレーム画像間のずれ量によっては、高画質化に寄与する程度が低いフレーム画像が含まれる可能性があり、用いるフレーム画像の数を増やした割には、充分に高画質な画像が得られない場合があった。
【０００５】
このような問題は、デジタルビデオカメラ等で生成した動画の画像データを用いる場合に限らず、デジタルスチルカメラで連続撮影された複数の画像データを用いる場合など、時系列に連続して撮影された複数の画像のデータから、より解像度が高い画像を生成する際に共通する問題であった。
【０００６】
本発明は、上述した従来の課題を解決するためになされたものであり、複数の画像データから解像度がより高い画像データを生成する際に、画質が向上する効果を高めることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理装置であって、
時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する画像データ取得部と、
前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する画像選択部と、
少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する高解像度画像生成部と
を備えることを要旨とする。
【０００８】
以上のように構成された本発明の画像処理装置によれば、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として用いて高解像度画像データを生成するため、高解像度画像において新たに生成される画素のより近くに位置する画素の画素値を用いて新たな画素値を生成することができる。これにより、新たに生成された画像データの値が真の値に近づく可能性を高めることができ、得られる高解像度画像の画質を向上させることが可能となる。
【０００９】
本実施例の画像処理装置において、
前記画像選択部は、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値として、前記調査対象画像と同じ解像度であると共に、前記高解像度画像と画素配置の方向が同じであって、前記高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像と、前記調査対象画像とを重ね合わせたときの、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値を用いることとしても良い。
【００１０】
上記のように、高解像度画像の画素の一部を最適画像の画素として取り扱い、最適画像の画素と調査対象画像の画素との距離に関する統計値に基づいて合成用画像を選択することで、高解像度画像で新たに生成される画素の画素値を生成するために用いる調査対象画像データを、効率よく選択することができる。
【００１１】
このような本発明の画像処理装置において、
前記画像選択部は、前記調査対象画像を構成する画素から選択した複数の画素について、前記最適画像との間で画素間の距離を求めて平均値を算出し、該平均値を、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値として用いることとしても良い。
【００１２】
このような構成とすれば、基準画像が有する画素に対する調査対象画像が有する画素のずれ量が、調査対象画像の部位によって異なる場合であっても、調査対象画像全体として、基準画像に対する画素のずれ量を把握することができ、合成用画像の選択を適切に行なうことが可能となる。
【００１３】
本発明の画像処理装置において、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が最も小さくなる画像を、前記合成用画像として選択することとしても良い。
【００１４】
このような構成とすれば、高解像度画像が有する画素に最も近い位置に画素を有する調査対象画像を、より高い確率で選択することが可能となる。
【００１５】
また、本発明の画像処理装置において、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が所定の基準値以下となる画像を、前記合成用画像として選択することとしても良い。
【００１６】
このような構成とすれば、高解像度画像において新たに生成される画素に充分に近い位置の画素を有する調査対象画像を選択し、新たに生成される画素値が真の値に近づく可能性をより高めることができる。
【００１７】
本発明の画像処理装置において、前記画像選択部は、少なくとも画像データの解析を利用して、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求めることとしても良い。このような場合には、画像データの解析方法を適宜選択することにより、高解像度画像の画素と調査対象画像の画素との距離に関する統計値を、精度良く算出することが可能となる。
【００１８】
あるいは、本発明の画像処理装置において、
前記基準画像データおよび前記調査対象画像データは、所定の画像生成装置により生成されており、
前記画像選択部は、少なくとも、前記基準画像データおよび前記調査対象画像データの各々の生成時における前記画像生成装置の動きに関する情報に基づいて、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求めることとしても良い。
【００１９】
このような場合には、画像間のずれの原因となる画素生成装置の動きに基づいて上記距離に関する統計値を求めるため、上記距離に関する統計値において、画素生成装置の動きに起因する影響を、正確に反映させることが可能となる。
【００２０】
本発明は、上記以外の種々の形態で実現可能であり、例えば、画像処理方法やコンピュータプログラム、あるいは記録媒体などの形態で実現することが可能である。
【発明を実施するための最良の形態】
【００２１】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．装置の全体構成：
Ａ−２．高解像度画像生成処理の概要：
Ａ−３．基準ずれ量の算出：
Ａ−４．フレーム画像選択処理：
Ａ−５．合成処理：
Ｂ．第２実施例：
Ｂ−１．画像生成時の動き情報：
Ｂ−２．動き情報に基づく高解像度画像の生成：
Ｂ−３．第２実施例の変形例：
Ｃ．変形例：
【００２２】
Ａ．第１実施例：
Ａ−１．装置の全体構成：
図１は、本発明の実施例である画像処理装置を含む画像処理システム１０の構成を表わす説明図である。図１に示すように、画像処理システム１０は、画像データを生成する画像生成装置であるデジタルスチルカメラ２０と、画像生成装置が生成した画像データから高解像度の画像データを生成する画像処理装置として機能するパーソナルコンピュータ３０と、画像処理に関する指示をユーザが入力するための操作部４０と、画像データに基づいて画像を出力する出力装置であるカラープリンタ５０と、を備えている。
【００２３】
デジタルスチルカメラ２０は、ＣＣＤやＣＭＯＳ等の撮像デバイスを備え、レンズを通った光の量をこの撮像デバイスによって電気信号に変換して、画像をデジタル信号として取得するカメラである。デジタルスチルカメラ２０は、撮影モードとして静止画撮影モードと動画撮影モードとを有し、静止画像データに加えて、時系列に連続する複数の画像データから成る動画像データを生成する機能を備えている。また、デジタルスチルカメラ２０は、静止画撮影モードとして、さらに連写モードを備え、この連写モードによっても、時系列に連続する複数の画像データを生成することができる。本実施例では、動画撮影モードが選択され、動画像データが生成される場合について説明する。ここで、デジタルスチルカメラ２０においては、解像度が異なる画像データを生成することが可能であるが、以下の実施例では、一定の解像度を有する動画像データを扱うものとする。なお、画像処理装置に対して時系列に連続する複数の画像データを供給するために、上記のような画像生成装置に代えて、ＤＶＤ、ハードディスク等、画像データを記憶した記録媒体や記憶装置を用いても良い。
【００２４】
パーソナルコンピュータ３０は、画像処理プログラムを実行するＣＰＵ３１、ＲＯＭ３２、ＣＰＵ３１による演算結果や画像処理に供する画像データを一時的に格納するＲＡＭ３３、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）３４、および、操作部４０やカラープリンタ５０等の外部機器と情報をやり取りするためのＩ／Ｆ回路３５を備えている。
【００２５】
操作部４０は、ユーザが画像処理に関する指示を入力するためのキーボード４１およびマウス４２を備えている。なお、図１では、ディスプレイ４３を操作部４０として記載しているが、このディスプレイ４３は、さらに、画像処理に関わる画像を表示する出力装置としても機能する。
【００２６】
Ａ−２．高解像度画像生成処理の概要：
図２は、本実施例に係るパーソナルコンピュータ３０が備えるＣＰＵ３１において実行される高解像度画像生成処理に関する機能ブロック図である。また、図３は、ＣＰＵ３１で実行される高解像度画像生成処理の概要を表わすフローチャートである。これら図２および図３に基づいて、高解像度画像生成処理の概要について説明する。
【００２７】
図２に示すように、ＣＰＵ３１は、画像データ取得部３１０と、基準ずれ量算出部３２０と、画像選択部３３０と、高解像度画像生成部３４０と、を備えている。
【００２８】
本実施例では、デジタルスチルカメラ２０で生成された動画像データは、デジタルスチルカメラ２０に取り付け可能なメモリカードＭＣ（図１参照）を介してパーソナルコンピュータ３０のＨＤＤ３４内に記憶され、ＣＰＵ３１で実行される処理において利用可能となる。なお、デジタルスチルカメラ２０で生成された動画像データを、一旦ＨＤＤ３４によって記憶する構成に代えて、パーソナルコンピュータ３０とデジタルスチルカメラ２０とを接続してデジタルスチルカメラ２０から逐次データを取得することとしても良い。図３の高解像度画像生成処理は、例えば、操作部４０からユーザの指示が入力されることにより開始されることとしても良く、パーソナルコンピュータ３０が備えるスロットにメモリカードＭＣが差し込まれることで自動的に開始されることとしても良い。
【００２９】
図３の高解像度画像生成処理を実行する際には、ＣＰＵ３１は、まず、ＨＤＤに記憶した動画像データを読み出し、この動画像データを再生する。以下の説明では、動画像を構成し、時系列に連続する個々の画像をフレーム画像と呼び、フレーム画像を表わす画像データをフレーム画像データと呼ぶ。動画像データの再生中に、ユーザによってフレーム画像データの取得指示が入力されると、ＣＰＵ３１の画像データ取得部３１０は、動画像データを構成するフレーム画像データの中から、時系列に連続する複数のフレーム画像データを取得する（ステップＳ１００）。このステップＳ１００において複数のフレーム画像データが取得される様子を、図４に示す。本実施例では、動画像データの再生中にユーザが指示を入力したタイミングに相当するフレーム画像データ、すなわちユーザにより選択されたフレーム画像データを、基準フレーム画像データとして取得している。この基準フレーム画像データが表わす画像は、新たに生成する高解像度画像における画素配置の基準となる。また、基準フレーム画像データから時系列の時刻経過方向に連続する１０フレーム分の画像データ、および、基準フレーム画像データから時系列の時刻経過逆方向に連続する１０フレーム分の画像データという２０フレーム分の画像データを、調査対象フレーム画像データとして取得している。このように、ステップＳ１００では、動画像データから、２１フレーム分のフレーム画像データが取得される。
【００３０】
以下の説明では、取得した２１フレーム分の画像データに対して、時系列を表わすフレーム番号aを付すこととし、各フレーム画像データをフレーム画像データＦaと呼び、フレーム画像データＦａが表わす画像をフレーム画像ｆaと呼ぶこととする。ここで、フレーム番号aは、基準フレーム画像データが０となるように設定している。すなわち、基準フレーム画像データはフレーム画像データＦ0であり、調査対象フレーム画像データは、フレーム画像データＦ-10〜Ｆ-1、およびＦ1〜Ｆ10である。ステップＳ１００で上記２１フレーム分の画像データが取得される際には、ＣＰＵ３１は、これら２１フレーム分の画像データをＲＡＭ３３に一時的に格納する。
【００３１】
ステップＳ１００でフレーム画像データが取得されると、ＣＰＵ３１の基準ずれ量算出部３２０は、基準フレーム画像ｆ0に対する各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10の位置ずれ量（以下、基準ずれ量とよぶ）を算出する（ステップＳ１１０）。本実施例では、この基準ずれ量の算出は、画像データを解析すること（画像解析）により行なっている。
【００３２】
その後、ＣＰＵ３１の画像選択部は、上記基準ずれ量に基づいて、所定の最適ずれ量に最も近い基準ずれ量を示すフレーム画像の画像データを、高解像度画像データを生成するために用いるフレーム画像データとして選択する（ステップＳ１２０）。ここで、最適ずれ量とは、調査対象フレーム画像と同じ解像度であると共に、高解像度画像データが表わす高解像度画像と画素配置の方向が同じであって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像を想定したときに、この最適画像の基準フレーム画像に対する位置ずれ量のことをいう。具体例を図５に示す。図５は、基準フレーム画像を利用して、解像度を縦横２倍の倍率で高める様子を表わす。ここで、縦横とは、基準フレーム画像における画素の配列方向に対応する向きであり、図５に示すＸ軸方向が横方向を表わし、Ｙ軸方向が縦方向を表わす。図５では、生成する高解像度画像の各画素が、黒丸で示されている。また、白抜きの四辺形で示された基準フレーム画像のすべての画素は、上記高解像度画像が有する画素と重なっている。ここで、高解像度画像の画素の内、基準フレーム画像の画素以外の画素は、ハッチングを付した四辺形で示されているが、これらは、基準フレーム画像と同じ解像度（すなわち、調査対象画像と同じ解像度）を有する画像であって、基準フレーム画像に対して所定のずれ量を示す３つのフレーム画像の画素の集合と見なすことができる。すなわち、基準フレーム画像に対して、基準フレーム画像における縦横の画素間隔を単位として、Ｘ軸方向にｕ、Ｙ軸方向にｖずらしたフレーム画像のずれ量を、（ｕ，ｖ）と表わすときに、ずれ量が（０，０．５）、（０．５，０）、（０．５，０．５）と表わされる３つのフレーム画像の画素の集合と見なすことができる。そのため、解像度を縦横２倍の倍率で高めて高解像度画像データを生成する本実施例では、上記最適ずれ量は、基準フレーム画像自身のずれ量を含めて（０，０）（０，０．５）、（０．５，０）、（０．５，０．５）の４つとなる。
【００３３】
なお、想定される最適画像としては、上記した４つの最適ずれ量を示す画像の他に、上記各最適画像を、Ｘ軸方向および／またはＹ軸方向に、上記画素間隔の整数倍ずらした画像が考えられる。しかしながら、上記４つの最適画像の各々を、画素間隔の整数倍ずらした画像は、高解像度画像データを生成する際に、画質を向上させる上で、対応する最適画像と同等の寄与をするだけである。そのため、ステップＳ１２０では、上記のように画素間隔の整数倍ずらしただけの画像を排除して、基準フレーム画像とのずれ量が最も小さくなる（すなわち、基準フレーム画像との重なりが最も大きくなる）上記４つの最適ずれ量を示す４つの画像を、最適画像として想定している。ステップＳ１２０では、このように想定した最適画像が示す最適ずれ量に最も近い基準ずれ量を示すフレーム画像を、基準フレーム画像および調査対象画像から選択する。
【００３４】
その後、高解像度画像生成部３４０が、ステップＳ１２０で選択された調査対象フレーム画像データや基準フレーム画像データを合成して、より解像度が高い画像データを新たに生成する（ステップＳ１３０）。以下に、ステップＳ１１０〜Ｓ１３０の各処理について、さらに詳しく説明する。
【００３５】
Ａ−３．基準ずれ量の算出：
図３のステップＳ１１０において実行される画像解析による基準ずれ量の算出の工程について説明する。ステップＳ１１０では、各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10を順次注目フレーム画像ｆaに設定し、基準フレーム画像ｆ0に対する注目フレーム画像ｆaの位置ずれ量を順次算出することによって、各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10について基準ずれ量を求める。ステップＳ１１０において、基準フレーム画像ｆ0に対する各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10の位置ずれ量を算出する画像解析の方法としては、例えば、フレーム画像データ間の各画素の輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法を用いることができる。以下に、勾配法の概要について説明する。
【００３６】
フレーム画像間に生じる位置ずれは、並進ずれと、画像の中心を軸とした回転方向のずれ（回転ずれ）との組み合わせとして表わすことができる。並進ずれと回転ずれとの組み合わせとして表わされる注目フレーム画像ｆaにおける基準ずれ量の様子を、図６に示す。図６では、注目フレーム画像ｆaと基準フレーム画像ｆ0の各々について、各フレーム画像の中心を原点とするＸＹ軸を、仮想的に示している。図６に示すように、注目フレーム画像ｆaにおける基準ずれ量は、Ｘ軸方向の並進ずれｕaとＹ軸方向の並進ずれｖaと回転ずれδaとによって表わすことができる。
【００３７】
図７は、勾配法によって位置ずれを算出する方法を示す説明図である。図７（ａ）は、基準フレーム画像ｆ0および注目フレーム画像ｆa上の所定の画素における輝度を示しており、図７（ｂ）は、勾配法の原理を示している。ここで、注目フレーム画像ｆaは、画像中心を原点とし、横方向をＸa軸、縦方向をＹa軸とする直交座標系を有しており、（ｘai，ｙai）は、注目フレーム画像ｆa上の一の画素の座標を表わす。ここで、Ｂa（ｘai，ｙai）は、その画素の輝度を表わしている。また、基準フレーム画像ｆ0は、画像中心を原点とし、横方向をＸ0軸、縦方向をＹ0軸とする直交座標系を有しており、基準フレーム画像ｆ0においても同様に画素の座標およびその輝度を表記している。なお、ここでは、注目フレーム画像ｆa上の座標（ｘai，ｙai）の画素に対応する画素が、基準フレーム画像ｆ0上の座標（ｘ0i〜ｘ0i+1，ｙ0i〜ｙ0i+1）の範囲に存在するものとし、その座標を、（ｘ0i＋Δxi，ｙ0i＋Δyi）とする。ここで、iは、各画素を区別する番号である。
【００３８】
図７（ｂ）に示すように、注目フレーム画像ｆaにおける座標（ｘai，ｙai）の画素に対応する画素が、基準フレーム画像ｆ0上の座標（ｘ0i＋Δxi，ｙ0i＋Δyi）にあるものとし、
ΔＢxi＝Ｂ0（ｘ0i+1，ｙ0i）−Ｂ0（ｘ0i，ｙ0i） …（１）
とすると、
ΔＢxi・Δxi＝Ｂa（ｘai，ｙai）−Ｂ0（ｘ0i，ｙ0i） …（２）
が成り立つ。ここで、Ｂa（ｘai，ｙai）およびＢ0（ｘ0i，ｙ0i）を単にＢa，Ｂ0と表わすと、
ΔＢxi・Δxi−（Ｂa−Ｂ0）＝０ …（３）
を満たすΔxiを求めれば、注目フレーム画像ｆａのＸ軸方向の並進ずれ量を求めることができる。
【００３９】
同様にして、
ΔＢyi＝Ｂ0（ｘ0i，ｙ0i+1）−Ｂ0（ｘ0i，ｙ0i） …（４）
とすると、
ΔＢyi・Δyi＝Ｂa（ｘai，ｙai）−Ｂ0（ｘ0i，ｙ0i） …（５）
が成り立つ。ここで、Ｂa（ｘai，ｙai）およびＢ0（ｘ0i，ｙ0i）を単にＢa，Ｂ0と表わすと、
ΔＢyi・Δyi−（Ｂa−Ｂ0）＝０ …（６）
を満たすΔyiを求めれば、注目フレーム画像ｆａのＹ軸方向の並進ずれ量を求めることができる。
【００４０】
ここで、式（３）および式（６）を満たすΔxi，Δyiを求めれば、注目フレーム画像ｆaにおける座標（ｘai，ｙai）の画素に対応する画素の、基準フレーム画像ｆ0上における位置が分かることになる。この考え方を拡張して、注目フレーム画像ｆaを構成する全ての画素について共通する基準ずれ量（ｕa，ｖa，δa）を求めるには、最小自乗法を用いて以下のＳ2を最小にすればよい。
Ｓ2＝Σ｛ΔＢxi・Δxi＋ΔＢyi・Δyi−（Ｂa−Ｂ0）｝2 …（７）
【００４１】
ここで、基準ずれ量（ｕa，ｖa，δa）と、各画素についてのΔxi、Δyiとの関係を以下に説明する。図８は、画素の回転ずれ量を模式的に示す説明図である。基準フレーム画像ｆ0の座標（ｘ0，ｙ0）の原点Ｏからの距離をｒとし、Ｘ0軸からの回転角度をθとすると、ｒ，θは、以下の式で表わされる。
ｒ＝（ｘ02＋ｙ02）1/2 …（８）
θ＝tan-1（ｙ0／ｘ0） …（９）
【００４２】
ここで、注目フレーム画像ｆaと基準フレーム画像ｆ0との間に並進ずれはなく、回転ずれのみが発生しているものとし、注目フレーム画像ｆaにおける座標（ｘa，ｙa）の画素が、基準フレーム画像ｆ0上の座標（ｘ0，ｙ0）の位置から回転ずれ量δaだけ回転した座標（ｘ0’，ｙ0’）にあるとする。この回転ずれ量δaによるＸ0軸方向の移動量Δxと、Ｙ0軸方向の移動量Δyとは、以下の式により求められる。なお、回転ずれ量δaは微少量であるとして、cosδa≒１、sinδa≒δの近似式を用いている。
Δx＝ｘ0’−ｘ0≒−ｒ・δa・sinθ＝−δa・ｙ0 …（１０）
Δy＝ｙ0’−ｙ0≒ｒ・δa・cosθ＝δa・ｘ0 …（１１）
【００４３】
したがって、式（７）における各画素についてのΔxi、Δyiは、基準ずれ量（ｕa、ｖa、δa）を用いて、以下の式のように表わすことができる。
Δxi＝ｕa−δa・ｙ0i …（１２）
Δyi＝va＋δa・ｘ0i …（１３）
【００４４】
上記式（１２），（１３）を、上記式（７）に代入すると、以下の式が得られる。
Ｓ2＝Σ｛ΔＢxi・（ｕa−δa・ｙ0i）＋ΔＢyi・（va＋δa・ｘ0i）−（Ｂa−Ｂ0）｝2 …（１４）
【００４５】
すなわち、式（１４）のＳ2を最小にするｕa、ｖa、δaを最小自乗法によって求めることで、注目フレーム画像ｆaにおける基準ずれ量を、精度良く検出することができる。各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10を順次注目フレーム画像ｆaに設定し、各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10について上記のように基準ずれ量を求めた結果の一例を、図９に示す。なお、図９では、基準ずれ量の各成分が０である基準フレーム画像についても記載している。本実施例では、このようにして求めた基準ずれ量のうち、並進ずれを表わすｕa、ｖaについては、計算を簡便にするために、ずれ量に最も近い整数とずれ量の差分の絶対値（以下、画素ずれ量（ｕap，ｖap）と呼ぶ）をさらに求め、引き続き実行されるフレーム画像選択処理では、この画素ずれ量を用いている。図９に示した値を、上記画素ずれ量に計算し直した値を、図１０に示す。なお、実施例では、図３のステップＳ１１０において、上記した勾配法により基準ずれを算出することとしたが、画素解析によりずれ量を求める他の手法を用いても良い。
【００４６】
Ａ−４．フレーム画像選択処理：
次に、図３のステップＳ１２０において実行されるフレーム画像選択処理について説明する。ここでは、ＣＰＵ３１の画像選択部３３０は、既述した各々の最適画像について、この最適画像が有する画素に最も近い位置に画素を有する画像を、フレーム画像ｆ-10〜ｆ10から１つずつ選択する。具体的には、既述した最適ずれ量（０，０）、（０，０．５）、（０．５，０）、（０．５，０．５）の各々について、この最適ずれ量に最も近い基準ずれ量を示すフレーム画像を、フレーム画像ｆ-10〜ｆ10から選択する。
【００４７】
ここで、最適ずれ量は回転ずれの成分を有していないが、図９に示したように各フレーム画像の基準ずれ量が回転ずれの成分を有する場合には、最適ずれ量と基準ずれ量とをそのまま比較することができない。そのため、本実施例では、回転ずれが基準ずれ量における並進ずれ成分に及ぼす影響を、画像全体で統計的に算出することによって、最適ずれ量と基準ずれ量との間の比較を可能にしている。回転ずれが基準ずれ量における並進ずれ成分に及ぼす影響を、以下に説明する。図１１は、位置ずれ量として回転ずれの成分のみを有する２つの画像を、画像の中心同士を位置合わせすることによって重ね合わせた様子を示す。図１１に示すように、位置ずれ量として回転ずれの成分を有する場合には、画像内での位置によって２つの画像間の位置ずれ量が異なることになる。すなわち、フレーム画像の周辺部の方が中央部よりも画像間のずれ量が大きくなる。そこで、本実施例では、基準フレーム画像および調査対象フレーム画像を複数の領域（ブロック）に分割し、分割したブロック毎に基準フレーム画像と調査対象フレーム画像との間で、対応する画素間のずれ量を並進ずれ成分だけで表わした画素ずれ量を求め、ブロック毎に求めた画素ずれ量をフレーム画像全体で平均することによって、各フレーム画像のずれ量と最適ずれ量とを比較可能としている。フレーム画像を複数の（Ｎ個の）ブロックに分割した様子の一例を、図１２に示す。
【００４８】
各調査対象フレーム画像ｆaでは、Ｎ個に分割したブロック毎の基準フレーム画像ｆ0に対する画素ずれ量を、各ブロックの中心位置におけるずれ量として求めている。すなわち、ブロック番号をｎ（ｎ＝１〜Ｎ）、ブロック番号ｎのブロックにおける画素ずれ量を（ｕｍn，ｖｍn）、調査対象フレーム画像ｆaにおける既述した基準ずれ量（画素ずれ量）を（ｕap，ｖap，δa）、ブロック番号ｎのブロックにおける中心位置の座標（図６に示したように、各々の調査対象画像ｆaの中心を原点とするＸＹ軸を基準とする座標）を（ｘn，ｙn）としたときに、ブロック番号ｎのブロックにおける画素ずれ量を、以下の式（１５）、式（１６）に基づいて求めている。
ｕｍn＝ｕap＋δa・ｙn …（１５）
ｖｍn＝ｖap−δa・ｘn …（１６）
ここで、上記画素ずれ量（ｕｍn，ｖｍn）は、図８および式（１２）、（１３）に基づいて行なった説明と同様の考え方により導かれるものである。
【００４９】
このように、ブロックごとに求めた画素ずれ量を用いて、ＣＰＵ３１は、以下の式（１７）、（１８）に従い、ブロックごとの画素ずれ量の平均値である平均画素ずれ量（ｕave，ｖave）を、各々の調査対象フレーム画像ｆaについて求める。
【００５０】
【数１】
【００５１】
各々の調査対象フレーム画像ｆaについて平均画素ずれ量（ｕave，ｖave）を求めると、次にＣＰＵ３１は、各々の平均画素ずれ量と、各最適ずれ量との差（平均画素ずれ量を基準ずれ量とする仮想的なフレーム画像と各最適画像との間の、対応する画素間の距離であり、以下、最適ずれ量との距離Ｒと呼ぶ）を求める。この最適ずれ量との距離Ｒは、最適画像と調査対象フレーム画像とを重ね合わせたときの、最適画像の画素と調査対象フレーム画像の画素との距離に関する統計値であるということができる。最適ずれ量との距離Ｒは、対象となる最適ずれ量を（ｕｔ，ｖｔ）とすると、以下の式（１９）により求められる。
【００５２】
【数２】
【００５３】
各調査対象フレーム画像が、図１０に示した基準画素ずれ量を示す場合に、式（１７）、（１８）に基づいて各調査対象フレーム画像について平均画素ずれ量（ｕave，ｖave）を求めた結果を、図１３に例示する。図１３では、さらに、各調査対象フレーム画像について、式（１９）に基づいて、最適ずれ量との距離Ｒを求めた結果を併せて示している。なお、以下の式（２０）では、最適ずれ量との距離Ｒを算出する具体例として、調査対象フレーム画像ｆ1における平均画素ずれ量と、最適ずれ量（０，０．５）との差を求める式を挙げる。
【００５４】
【数３】
【００５５】
このように各調査対象フレーム画像毎に最適ずれ量との距離Ｒを求めると、ＣＰＵ３１は、各々の最適画像について、最適ずれ量との距離Ｒが最も小さくなるフレーム画像（以下、合成用画像と呼ぶ）を選択する。図１３では、最適画像毎に、最適ずれ量との距離Ｒの最も小さい値に影を付して示している。図１３に示すように、本実施例では、最適ずれ量（０，０）（０，０．５）、（０．５，０）、（０．５，０．５）のそれぞれに対して、合成用画像として、基準フレーム画像ｆ0、調査対象フレーム画像ｆ2、ｆ-1、ｆ4が選択されている。ここで、図１３では、最適ずれ量（０．５，０．５）との距離Ｒとして、調査対象フレーム画像ｆ4およびｆ5が同じ値を示しているが、本実施例では、このような場合には、画像データ生成のタイミングが基準フレーム画像ｆ0により近い方の調査対象フレーム画像（ここでは調査対象フレーム画像ｆ4）を、合成用画像として選択している。
【００５６】
Ａ−５．合成処理：
次に、図３のステップＳ１３０において実行される高解像度画像合成処理について説明する。ステップＳ１３０では、ＣＰＵ３１の高解像度画像生成部３４０が、ステップＳ１２０において各々の最適ずれ量に対して選択された合成用画像が表わすフレーム画像データ（以下、合成用フレーム画像データと呼ぶ）を用いて、高解像度画像データの生成を行なう。高解像度画像を生成する際には、上記合成用画像の各々について、ステップＳ１１０で求めておいた基準ずれ量（図９参照）を用いる。
【００５７】
図１４，１５は、高解像度画像生成のための処理の様子を示す図である。図１４は、基準フレーム画像ｆ0と、その他の合成用フレーム画像ｆ-1，ｆ2，ｆ4とを、ずれ量を補正して配置した様子を拡大して示している。図１４では、高解像度画像の各画素が、黒丸で示されると共に、基準フレーム画像ｆ0の各画素が白抜きの四辺形で示され、合成用フレーム画像ｆ-1，ｆ2，ｆ4の各画素が、ハッチングを付した四辺形で示されている。
【００５８】
高解像度画像が有する一の画素である画素Ｇ(j)に注目して説明する。以下、画素(j)を、注目画素と呼ぶ。ここで、変数jは、高解像度画像の全画素を区別する番号を示している。ＣＰＵ３１は、各合成用フレーム画像ｆ-1，ｆ2，ｆ4において、注目画素Ｇ(j)に対して最も近い画素（それぞれ、画素Ｐ(-1)，Ｐ(2)，Ｐ(4)）と、注目画素Ｇ(j)との距離Ｌ-1，Ｌ2，Ｌ4とを算出する。そして、ＣＰＵ３１は、注目画素Ｇ(j)に最も近い距離にある画素（以下、「最近傍画素」と呼ぶ）を決定する。図１４の例では、Ｌ-1＜Ｌ2＜Ｌ4であるので、フレーム画像ｆ-1の画素Ｐ(-1)が、注目画素Ｇ(j)の最近傍画素として決定される。なお、このように決定された最近傍画素が、合成用フレーム画像ｆ-1のi番目の画素であるとして、以下、最近傍画素Ｐ（−１，i）と表記する。
【００５９】
ＣＰＵ３１は、高解像度画像を構成するすべての画素を、順次注目画素に設定して、上記した処理を繰り返し実行し、それぞれの画素について最近傍画素を決定する。
【００６０】
ＣＰＵ３１は、注目画素Ｇ(j)の画素値を、決定された最近傍画素を含む画像（図１４に示す例では、フレーム画像ｆ-1）において注目画素Ｇ(j)を囲む画素の画素値を用いて、バイ・リニア法などの補間処理によって生成する。図１５は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ(j)は、フレーム画像ｆ-1，ｆ0，ｆ2，ｆ4のいずれにも存在しない画素であるので、画素値が存在していない。そこで、ＣＰＵ３１は、最近傍画素Ｐ（−１，i）の他、注目画素Ｇ(j)を囲む３つの画素Ｐ（−１，i+1）、Ｐ（−１，k）、Ｐ（−１，k+1）で区画される領域を、上記最近傍画素を含む４つの画素と注目画素Ｇ(j)との位置関係に基づいて４つの区画に分割し、その面積比で対角位置の画素の画素値をそれぞれ重み付けして加算することにより、注目画素Ｇ(j)の画素値を生成する。ただし、kは、i番目の画素にフレーム画像ｆ2の横方向の画素数を加えた画素の番号を示している。
【００６１】
ＣＰＵ３１は、高解像度画像を構成するすべての画素について、上述した処理によって画素値を生成し、高解像度画像を合成する。なお、画素補間処理の方法については、バイ・リニア法の他、バイ・キュービック法やニアレストネイバ法等の種々の補間方法を用いることができる。なお、本実施例では、基準フレーム画像ｆ0のすべての画素の画素値は、高解像度画像の対応する画素の画素値としてそのまま利用され、高解像度画像の他の画素の画素値を生成する際に、基準フレーム画像ｆ0の画素が最近傍画素として選択されることはない。
【００６２】
以上のように構成された本実施例の画像処理装置によれば、最適ずれ量に対して選択した合成用画像の画像データを用いて高解像度画像データを生成するため、高解像度画像において新たに生成される画素位置により近い位置の画素の画素値を用いて新たな画素値を生成することができる。これにより、新たに生成した画素値が真の値に近づく可能性を高めることができ、得られる高解像度画像の画質を向上させることが可能となる。
【００６３】
ここで、本実施例では、高解像度画像データを生成するために、４種の最適ずれ量の各々に対して、合成用画像の画像データを選択している。したがって、高解像度画像を構成する個々の画素において、充分に近い位置の画素を有するフレーム画像のデータを用いて、画素値の生成を行なうことができる。このように、新たに生成する画素に充分に近い位置の画素を有する画像の画像データを、必要充分な数だけ用いるため、高解像度画像データの生成のために徒に多数の画像データを用いる必要がなく、効率良く高解像度画像の画質を向上させることができる。
【００６４】
Ｂ．第２実施例：
Ｂ−１．画像生成時の動き情報：
上記第１実施例では、各調査対象フレーム画像データを用いて画像解析を行なうことで、基準ずれ量を算出し、この算出結果に基づいてフレーム画像選択処理を行なっているが、異なる構成とすることもできる。以下に、第２実施例として、基準画像データおよび調査対象画像データを生成した画像生成装置の、画像データ生成時における動きに関する情報（以下、画像生成時動き情報と呼ぶ）に基づいて、基準ずれ量を算出する構成を説明する。
【００６５】
第２実施例の画像処理装置においても、高解像度画像データを生成する際に、図３と同様の処理を実行するが、ステップＳ１００においてフレーム画像データを取得する際には、フレーム画像データと共に、画像生成時動き情報を取得する。すなわち、第２実施例においても、第１実施例と同様に、デジタルスチルカメラ２０から、デジタルスチルカメラ２０で生成された動画像データをパーソナルコンピュータ３０のＨＤＤ３４内に記憶するが、その際に、デジタルスチルカメラ２０における画像生成時動き情報も一緒に記憶する。
【００６６】
第２実施例では、デジタルスチルカメラ２０は、３つの角速度センサを備えている。３つの角速度センサは、それぞれ、デジタルスチルカメラ２０のＸ軸回り、Ｙ軸回り、Ｚ軸回りの向きの変化を角速度として検出する装置である。図１６は、デジタルスチルカメラ２０におけるＸ軸、Ｙ軸、Ｚ軸のそれぞれについての向きの変化を説明する概略図である。Ｘ軸は、デジタルスチルカメラ２０が備える撮像デバイス（以下、撮像デバイス１４４と呼ぶ）の受光面に平行であってデジタルスチルカメラ２０の左右方向に延びる軸をいい、Ｙ軸は、撮像デバイス１４４の受光面に平行であってデジタルスチルカメラ２０の上下方向に延びる軸をいう。そして、Ｚ軸は、撮像デバイス１４４の受光面に対して垂直な軸をいう。ここで、ＸＹＺの３軸が交わる原点は、撮像デバイス１４４の受光面の中心Ｃｃに位置している。
【００６７】
以下の説明では、角速度センサが検出するＸＹＺ軸回りの角速度をそれぞれ角速度ＶX、ＶY、ＶZと表わす。また、後述するように角速度ＶX、ＶY、ＶZから求められるデジタルスチルカメラ２０のＸＹＺ軸回りの変位量を、それぞれ、角変位量θX、θY、θZと表わす。θXおよびＶXは、デジタルスチルカメラ２０で撮影された画像における被写体の上下方向の位置ずれ（いわゆる、ピッチ方向のぶれ）に対応している。また、θZおよびＶZは、デジタルスチルカメラ２０で撮影された画像における被写体の左右方向の位置ずれ（いわゆる、ヨー方向のぶれ）に対応している。また、θYおよびＶYは、デジタルスチルカメラ２０で撮影された画像における画像に対して垂直な直線を軸とした被写体の回転方向のずれ（いわゆる、ロール方向のぶれ）に対応している。角速度センサとしては、種々のジャイロスコープを用いることができる。例えば、機械式（回転式）ジャイロ、音片・音叉の振動を用いる振動式ジャイロ 、光ファイバ等を利用した光学式ジャイロなどを用いることができる。
【００６８】
デジタルスチルカメラ２０は、生成した画像データをメモリカードＭＣ等に保存する際に、３つの角速度センサが検出した電気信号から求められる角速度情報（角速度ＶX、ＶY、ＶZ）を含む付属情報を取得して、画像データに付加する。これによって、互いに関連付けられた画像データと付属情報とを含む画像ファイルが生成される。メモリカードＭＣにおいては、このような画像ファイルの形で保存が行なわれる。
【００６９】
図１７は、デジタルスチルカメラ２０で生成される画像ファイルＧＦの構成を模式的に示す説明図である。画像ファイルＧＦは、動画像データＭＤおよび音声データＡＤを格納する主情報格納領域Ｒ１００と、動画像データＭＤと関連付けられた付属情報を格納する付属情報格納領域Ｒ１１０を備えている。動画像データＭＤは、時系列に並ぶｎ個のフレーム画像データＧＤ1〜ＧＤnから構成されている。付属情報に含まれる角速度ＶX、ＶY、ＶZとしては、フレーム画像データＧＤ1〜ＧＤnのそれぞれの生成時に対応する角速度ＶX(1)〜ＶX(n)、ＶY(1)〜ＶY(n)、ＶZ(1)〜ＶZ(n)が、付属情報格納領域Ｒ１１０に格納されている。ここで、複数のフレーム画像データと付属情報とが関連付けられているとは、各々のフレーム画像データの生成タイミングと、角速度ＶX、ＶY、ＶZ等の付属情報の検出タイミングとの、時間軸上における対応関係が認識可能となっていることをいう。なお、角速度ＶX、ＶY、ＶZは、上記のように、動画像を構成する各フレーム画像の撮影のタイミングと同時に取得する代わりに、各フレーム画像を撮影する時間間隔よりも短い間隔で取得して、各フレーム画像毎に角速度情報を複数記憶することとしても良い。さらに、付属情報格納領域Ｒ１１０には、付属情報として、上述した角速度ＶX、ＶY、ＶZに加えて、画素ピッチｓと焦点距離ｆと角速度検出周期（角速度センサから角速度情報が取得される時間間隔）Ｔと、が格納されている。あるいは、付属情報として、図１７に示した付属情報に加えてさらに、撮影日時やシャッタ速度、あるいは絞り値等の種々の撮影情報を記憶しても良い。
【００７０】
本実施例では、図３のステップＳ１００において、基準フレーム画像データを含む時系列に連続する複数のフレーム画像データを取得する際に、取得するフレーム画像データに対応する上記付属情報も一緒に取得する。
【００７１】
Ｂ−２．動き情報に基づく高解像度画像の生成：
本実施例では、図３のステップＳ１１０に対応する工程において、上記フレーム画像データと共に取得した付属情報である角速度ＶX、ＶY、ＶZを用いて、基準ずれ量（基準フレーム画像に対する各調査対象フレーム画像のずれ量）を算出する。この場合にも、第１実施例と同様に、各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10を順次注目フレーム画像ｆaに設定し、基準フレーム画像ｆ0に対する注目フレーム画像ｆaの位置ずれ量を順次算出することによって、各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10について基準ずれ量を求める。
【００７２】
注目フレーム画像ｆaを設定すると、ＣＰＵ３１は、設定した注目フレーム画像ｆaの画像データＦaを生成したタイミングと、基準フレーム画像データＦ0を生成したタイミングとの間の、デジタルスチルカメラ２０におけるＸＹＺ軸周りの角変位量θXa、θYa、θZaを算出する。基準フレーム画像データＦ0の生成時を時刻ｔ0、注目フレーム画像データＦaの生成時を時刻ｔaとすると、上記角変位量θXa、θYa、θZaは、それぞれ、ＸＹＺ軸周りの角速度ＶX、ＶY、ＶZを、時刻ｔaから時刻ｔ0まで積分した値（ただし、a＜0）、あるいは、時刻ｔ0から時刻ｔaまで積分した値（ただし、0＜a）として与えられる。フレーム画像データＦaの生成時におけるＣ表わす式として、0＜aの場合の式を、以下に式（２１）、（２２）、（２３）として例示する。
【００７３】
【数４】
【００７４】
なお、角速度検出周期Ｔが、各フレーム画像間の撮影間隔よりも短い場合には、角速度検出周期Ｔごとに角速度を積分した値を、時刻ｔ0から時刻ｔaまでの間で足し合わせることによって、各角変位量を求めることができる。このように、角速度検出周期Ｔが短いほど、角変位量θXa、θYa、θZaを、より正確に算出することが可能となる。本実施例では、このようにして求めた角変位量θXa、θYa、θZaを用いて、第１実施例と同様の基準ずれ量（ｕa，ｖa，δa）を求める。
【００７５】
図１８は、デジタルスチルカメラ２０のＸ軸周りの動きと、撮像デバイス１４４上における被写体の位置ずれとの関係を示す説明図である。図１８は、デジタルスチルカメラ２０がＸ軸周りに角変位量θXだけ動く（ぶれる）ことによって、撮像デバイス１４４およびレンズ１４２に対する被写体の位置が、記号Ｈで示す位置から記号Ｈ’で示す位置へと変化した様子を模式的に示している。このようなデジタルスチルカメラ２０に対する被写体の相対的なずれは、撮像デバイス１４４で生成されるフレーム画像間の位置ずれ（図１８では、Ｙ軸方向のずれｖ）に対応している。したがって、撮像デバイス１４４で生成されるフレーム画像間に生じるフレーム間位置ずれ（ｖ）と、角変位量θXとの間には、一定の関係が成立する。同様に、フレーム間位置ずれ（ｕ）と角変位量θYとの間、および、フレーム間位置ずれ（δ）と角変位量θZとの間にも、一定の関係が成立する。図１８に示すように、撮像デバイス１４４上における１画素分（画素ピッチｓ分）のずれに相当するＸ軸あるいはＹ軸周りの角変位量をθpixとし、並進ずれｕa、ｖaは画素単位でのずれを表わすこととすると、基準ずれ量（ｕa，ｖa，δa）は、以下の式（２４）〜（２６）で表わされる。
【００７６】
ｕa＝θYa／θpix …（２４）
ｖa＝−θXa／θpix …（２５）
δa＝−θZa …（２６）
【００７７】
ここで、θpixは、デジタルスチルカメラ２０の焦点距離ｆと、撮像デバイス１４４の画素ピッチｓとを用いて、以下の式（２７）で表わされる。
θpix＝ｔａｎ-1（ｓ／ｆ）≒ｓ／ｆ …（２７）
【００７８】
したがって、既述したようにして求めた角変位量θXa、θYa、θZaと、式（２７）に基づき求められる値とを式（２４）〜（２６）に代入することにより、基準ずれ量（ｕa，ｖa，δa）を算出することができる。画像生成時動き情報を利用して、各調査対象フレーム画像ｆaについて図９のように基準ずれ量を算出した後は、この基準ずれ量を用いて、第１実施例と同様に、平均画素ずれ量および最適ずれ量との距離Ｒを算出し（図１３参照）、最適画像ごとに、合成用画像を選択すればよい（図３のステップＳ１２０）。最適画像ごとに合成用画像を選択した後は、第１実施例と同様に、高解像度画像合成処理を行なうことで、より高画質な高解像度画像を得ることができる。
【００７９】
以上のように構成された第２実施例の画像処理装置によれば、第１実施例と同様の効果を奏することができる。さらに、第２実施例では、基準ずれ量を算出するために、センサにより取得された画像生成時動き情報を用いているため、画像解析に比べて簡素な処理により、基準ずれ量を算出することができる。したがって、基準ずれ量を算出する処理に要する時間を短縮し、高解像度画像データの生成を高速化することが可能となる。また、第２実施例では、デジタルスチルカメラ２０の動きそのものを実測した結果を用いているため、画像データを解析してより確からしい値として基準ずれ量を算出する第１実施例に比べて、最適画像に最も近い合成用画像を、より正確に選択可能となる。
【００８０】
Ｂ−３．第２実施例の変形例：
上記第２実施例では、画像生成時動き情報から算出した基準ずれ量を用いて、ステップＳ１２０のフレーム画像選択処理を行なっているが、さらに第１実施例と同様の画像解析を行なって基準ずれ量を求めても良い。勾配法のように、１画素よりも細かい単位で画素の位置を推定する画像解析をさらに行なうことで、求める基準ずれ量の精度を向上させることが可能となる。このように、画像解析に先立って、画像生成時動き情報に基づいて画素単位の精度で基準ずれ量が求められている場合には、画像解析においては、上記画像生成時動き情報に基づく基準すれ量の算出結果を利用して、より細かい位置合わせの処理だけを行なえばよい。そのため、画像解析のみにより基準ずれ量を算出する場合に比べて、画像解析による処理工程を削減することができる。
【００８１】
あるいは、画像生成時動き情報から算出した基準ずれ量を用いて、ステップＳ１２０のフレーム画像選択処理を行なった後、ステップＳ１３０において、選択した合成用画像のみを対象として、画像解析により改めて基準ずれ量を算出し、その値を用いて合成処理を行なうこととしても良い。これにより、１画素よりも細かい単位で画素の位置を推定した値を用いて合成処理を行なうことができる。また、選択した合成用画像のみを対象として画像解析するため、第１実施例に比べて画像解析による処理工程を削減でき、高解像度画像生成処理全体を高速化することが可能となる。
【００８２】
上記第２実施例では、画像生成時動き情報を、デジタルスチルカメラ２０に搭載した角速度センサによって検出しているが、異なる種類のセンサを用いることとしても良い。例えば、角加速度を検出するセンサや、角変位量を検出するセンサ、あるいは、平行移動を検知する加速度センサを、角速度センサに代えて、あるいはさらに加えて用いることとしても良い。ここで、画像生成装置の動きが撮影された画像に影響する程度は、画像生成装置が平行移動するときよりも、回転移動するときの方がはるかに大きい。したがって、回転移動を検出可能なセンサ（角速度センサ、角加速度センサ、角変位量センサ等）を少なくとも備えることが望ましい。ＣＰＵ３１は、角加速度が与えられる場合には、角加速度を積分して角速度を算出し、さらにこれを積分して角変位量を求めれば良い。また、角変位量センサを用いる場合には、連続して生成される画像データにおける画像生成のタイミング間の角変位量を取得可能とすればよい。このような場合には、選択された基準フレーム画像データの生成タイミングから、所定の調査対象フレーム画像データの生成タイミングまでの間の角変位量を積算し、得られた値を用いて基準ずれ量を算出すればよい。なお、等速の回転運動を検出するためには、回転移動を検出可能な上記センサの中でも、角速度センサまたは角変位量センサを用いることとすればよい。
【００８３】
また、第２実施例では、焦点距離ｆは一定としたが、ズーム機能を利用して焦点距離を変化させても良い。この場合には、焦点距離の情報も各フレーム画像データと関連づけて記憶されるため、フレーム画像データ毎に対応する焦点距離を用いて、既述した計算を行なえばよい。
【００８４】
また、第２実施例のデジタルスチルカメラ２０では、角速度センサが検出した角速度ＶX，ＶY，ＶZを、そのまま画像ファイルＧＦに記憶して、画像処理装置として機能するパーソナルコンピュータ３０に供しているが、デジタルスチルカメラ２０が備える所定の制御部内で角速度情報に対して積分処理を実行してもよい。すなわち、各撮影タイミング間における角変位量をデジタルスチルカメラ２０内で算出して、算出した角変位量をデジタルスチルカメラ２０から出力することとしても良い。このような場合には、パーソナルコンピュータ３０のＣＰＵ３１は、選択された基準フレーム画像データの生成タイミングから、所定の調査対象フレーム画像データの生成タイミングまでの間の角変位量を積算し、得られた積算値を用いて基準ずれ量を算出すればよい。
【００８５】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００８６】
Ｆ１．変形例１（高解像度化の変形）：
上記第１および第２実施例では、取得したフレーム画像データから高解像度画像データを生成する際に、画像の解像度を縦横２倍に高めているが、解像度を高める倍率は、異なる倍率としても良い。このように高解像度化の際の倍率が異なる場合にも、調査対象画像と同じ解像度の画像であると共に、高解像度画像と画素配置の方向が同じであって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像、および、この最適画像の基準フレーム画像に対するずれ量である最適ずれ量を、倍率に応じて設定することができる。異なる倍率の例として、図１９は、縦横３倍に解像度を高めて高解像度画像を生成する様子を表わし、図２０は、縦横１．５倍に解像度を高めて高解像度画像を生成する様子を表わす。図１９，２０に示すように、解像度を高める倍率が、縦横３倍の場合も、縦横．５倍の場合も、最適ずれ量は、（０，０）、（０．３３，０）、（０，０．３３）、（０．３３，０．３３）、（０．６７，０）、（０，０．６７）、（０．６７，０．６７）、（０．３３，０．６７）、（０．６７，０．３３）となる。このように異なる倍率を採用する場合であっても、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値を、基準ずれ量に基づいて求め、上記統計値がより小さくなる調査対象画像を合成用画像として選択して、画像合成（画素生成）に用いればよい。これにより、より真の値に近い画素値を生成し、高画質化する同様の効果が得られる。
【００８７】
なお、高解像度画像上の画素を、基準フレーム画像上の画素からずらして設定することも可能であるが、図５、図１９、図２０に示したように、基準フレーム画像が有する画素をより多く用いるように高解像度画像を設定することで、効率よく高解像度化および高画質化を行なうことができる。また、図２０のように、基準フレーム画像が有する画素の中に、高解像度画像上の画素に対応しない画素が存在する場合には、高解像度画像合成処理の際に、基準フレーム画像データも、他の合成用画像データと共に、最近傍画素の探索に用いればよい。
【００８８】
Ｆ２．変形例２（フレーム画像選択の変形）：
第１および第２実施例では、調査対象画像と同じ解像度の画像であって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像を想定したときに、高解像度画像上のすべての画素に対応させるために最低限必要な複数の最適画像の各々に対して、合成用画像を一つずつ選択している。これに対して、上記最低限必要な複数の最適画像の内の、一部の最適画像に対して、合成用画像を選択することとしても良い。この場合にも、新たに生成する画素の少なくとも一部の画素においては、位置がより近い画素の画素値を用いて新たな画素値を生成することができ、新たに生成する高解像度画像を高画質化する同様の効果が得られる。
【００８９】
また、第１および第２実施例では、基準フレーム画像および調査対象フレーム画像を複数の領域（ブロック）に分割し、ブロック毎に基準フレーム画像と調査対象フレーム画像との間で対応する画素間のずれ量を求めているが、複数の対応するサンプル点のみで画素ずれ量を求めることとしても良い。複数の対応するサンプル点のみで画素ずれ量を求める様子を図２１に示す。図２１では、基準フレーム画像と調査対象フレーム画像との間で、対応する６つのサンプル点を示している。基準フレーム画像上の各々のサンプル点に対応する調査対象フレーム画像上の点の座標は、図３のステップＳ１１０で求めた基準ずれ量に基づいて知ることができる。したがって、基準フレーム画像と調査対象フレーム画像との対応するサンプル点間で、式（１５）、（１６）に基づいて、画素ずれ量を求めることができ、これらの画素ずれ量を平均することで、各調査対象フレーム画像と、各最適画像との間の距離Ｒを、実施例と同様に求めることができる。上記のように複数のサンプル点について画素ずれ量の平均を求めるならば、実施例のように複数のブロックに分割する場合と同様に、調査対象フレーム画像が示す基準ずれ量が回転ずれを含む場合であっても、最適画像が有する画素により近い位置の画素を有する画像を、高い確率で選択することができる。
【００９０】
また、第１および第２実施例では、各々の最適ずれ量に対して、最適ずれ量との距離Ｒが最も小さくなる調査フレーム画像を選択しているが、最適ずれ量との距離Ｒにさらに基準値を設け、最適ずれ量との距離Ｒが、この基準値以下となるフレーム画像のみを選択することとしても良い。このような構成とすれば、より高画質化に寄与できるフレーム画像を選択することができる。ここで、複数の最適ずれ量のうち、最適ずれ量との距離Ｒが所定値以下となる調査対象フレーム画像が存在しない最適ずれ量がある場合には、最適ずれ量との距離Ｒが所定値を超えるフレーム画像を選択するのではなく、例えば、基準フレーム画像データの生成時により近い時刻に生成された調査対象フレーム画像データを用いて、合成処理に供するフレーム画像の数を確保しても良い。いずれの場合にも、所定枚数のフレーム画像を用いて合成処理を行なう場合に、合成処理に用いるフレーム画像の少なくとも一部として、最適ずれ量に基づいて選択した合成用画像を用いることで、新たに生成する高解像度画像において高画質化を図ることができる。
【００９１】
第１および第２実施例では、取得した調査対象フレーム画像ｆ-10〜ｆ10のすべてについて、図１３に示すように最適ずれ量との距離Ｒを算出し、最終的に最もＲが小さくなるものを、各々の最適ずれ量に対応する合成用画像として選択している。これに対して、各々の調査対象フレーム画像について、順次（例えば時系列で基準フレーム画像に近い順に）最適ずれ量との距離を算出し、各最適ずれ量において、最適ずれ量との距離Ｒが所定値以下となる調査対象フレーム画像が最初に１つ見つかれば、これをその最適ずれ量に対応する合成用画像として選択することとしても良い。このような構成とすれば、取得したすべての調査対象フレーム画像について最適ずれ量との距離Ｒを算出する前に、合成用画像を選択することが可能となり、フレーム画像選択処理を高速化することが可能となる。
【００９２】
また、第１および第２実施例では、ユーザに指示されたタイミングに基づいて基準フレーム画像が決定されているが、ユーザに指示されたタイミングの近傍から、より高画質化に寄与し得る基準フレーム画像を選択することとしても良い。例えば、実施例と同様にユーザに指示されたタイミングの前後から２１フレームのフレーム画像データを取得した場合に、各々のフレーム画像（ｆ-10〜ｆ10）を順次基準フレーム画像に設定する。そして、残りを調査対象フレーム画像として、図１３に示したように最適ずれ量との距離Ｒを算出する。そして、最適ずれ量毎に、合成用画像を選択すると共に、各合成用画像におけるＲ値を合計する。例えば、図１３に示したように、フレーム画像ｆ0を基準フレーム画像とした場合には、合成用画像は、ｆ-1、ｆ0、ｆ2、ｆ4が選択され、各合成用画像におけるＲ値の合計は、
０．２０＋０．００＋０．１４＋０．１０＝０．４４
となる。このように、取得した各フレーム画像を順次基準フレーム画像に設定し、各合成用画像におけるＲ値の合計を算出したときに、このＲ値の合計が最小になる基準フレーム画像および合成用画像の組み合わせを選択して、高解像度画像を生成しても良い。これにより、高解像度画像を高画質化する効果をさらに高めることが可能となる。
【００９３】
なお、第１および第２実施例では、高解像度画像合成処理に供するフレーム画像を選択するために、ユーザに指示されたタイミングから前後２１フレームの画像データを取得しているが、上記タイミングの前後から異なるフレーム数の画像データを取得するなど、異なる取得法としても良い。
【００９４】
Ｆ３．変形例３（合成処理に関する変形）：
第１および第２実施例では、高解像度画像合成処理において、高解像度画像を構成する各画素毎に、選択した複数の合成用画像が有する画素の中から最近傍画素を選択しているが、最近傍画素の選択は行なわないこととしても良い。すなわち、生成しようとする画素が、いずれの最適ずれ量に対応するかに基づいて、最適ずれ量ごとに選択した合成用画像の画素を用いて画素データを生成することとしても良い。例えば、画素値を生成しようとしている注目画素が、最適ずれ量（０，０．５）である最適画像上の画素である場合に、最適ずれ量（０，０．５）に対してフレーム画像ｆ2が合成用画像として選択されているならば、この注目画素の画素値は、フレーム画像データＦ2を用いて生成するのである。このような構成とすれば、合成用画像を用いることにより高解像度画像を高画質化する効果を得ることができると共に、画像データを用いて最近傍画素を有する画像を検索する処理を行なわないことにより、合成処理を高速化することができる。
【００９５】
Ｆ４．変形例４（装置構成における変形例）：
実施例では、高解像度画像データを生成するために、デジタルスチルカメラ２０の動画撮影モードで生成された動画像データから複数のフレーム画像データを取得しているが、時系列に連続して生成された複数のフレーム画像データを、異なる態様により取得しても良い。例えば、デジタルスチルカメラにおける静止画像撮影モードの連写モードで撮影された複数の画像データを取得しても良く、あるいは、デジタルビデオカメラで撮影された動画像データを取得しても良い。
【００９６】
あるいは、第１および第２実施例では、画像処理装置としての機能をパーソナルコンピュータ３０が備えることとしたが、デジタルスチルカメラやデジタルビデオカメラ等の画像生成装置や、プリンタ等の出力装置に、画像処理装置としての機能を備えさせてもよい。
【図面の簡単な説明】
【００９７】
【図１】画像処理システム１０の構成を表わす説明図である。
【図２】ＣＰＵ３１における高解像度画像生成処理に関する機能ブロック図である。
【図３】高解像度画像生成処理の概要を表わすフローチャートである。
【図４】動画像データから２１個のフレーム画像データが取得された様子を表わす説明図である。
【図５】基準フレーム画像を利用して、解像度を縦横２倍の倍率で高める様子を表わす説明図である。
【図６】注目フレーム画像ｆaにおける基準ずれ量を示す説明図である。
【図７】勾配法によって位置ずれを算出する方法を示す説明図である。
【図８】画素の回転ずれ量を模式的に示す説明図である。
【図９】各調査対象フレーム画像ｆ-10〜ｆ-1、ｆ1〜ｆ10について基準ずれ量を求めた結果を例示する説明図である。
【図１０】図９に示した値を、基準画素ずれ量に計算し直した値を示す説明図である。
【図１１】位置ずれ量として回転ずれの成分を有する２つの画像を、画像の中心同士を位置合わせすることによって重ね合わせた様子を示す説明図である。
【図１２】フレーム画像を複数の（Ｎ個の）ブロックに分割した様子を例示する説明図である。
【図１３】各調査対象フレーム画像について平均画素ずれ量および最適ずれ量との距離Ｒを求めた結果を示す説明図である。
【図１４】高解像度画像生成のための処理の様子を示す説明図である。
【図１５】高解像度画像生成のための処理の様子を示す説明図である。
【図１６】デジタルスチルカメラ２０におけるＸ軸、Ｙ軸、Ｚ軸のそれぞれについての向きの変化を説明する概略図である。
【図１７】デジタルスチルカメラ２０で生成される画像ファイルＧＦの構成を模式的に示す説明図である。
【図１８】デジタルスチルカメラ２０のＸ軸周りの動きと、撮像デバイス１４４上における被写体の位置ずれとの関係を示す説明図である。
【図１９】縦横３倍に解像度を高めて高解像度画像を生成する様子を表わす説明図である。
【図２０】縦横１．５倍に解像度を高めて高解像度画像を生成する様子を表わす説明図である。
【図２１】複数のサンプル点のみで画素ずれ量を求める様子を示す説明図である。
【符号の説明】
【００９８】
１０…画像処理システム
２０…デジタルスチルカメラ
３０…パーソナルコンピュータ
３１…ＣＰＵ
３２…ＲＯＭ
３３…ＲＡＭ
３４…ＨＤＤ
３５…Ｉ／Ｆ回路
４０…操作部
４１…キーボード
４２…マウス
４３…ディスプレイ
５０…カラープリンタ
１４２…レンズ
１４４…撮像デバイス
３１０…画像データ取得部
３２０…基準ずれ量算出部
３３０…画像選択部
３４０…高解像度画像生成部
Ｒ１００…主情報格納領域
Ｒ１１０…付属情報格納領域
【特許請求の範囲】
【請求項１】
取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理装置であって、
時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する画像データ取得部と、
前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する画像選択部と、
少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する高解像度画像生成部と
を備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記画像選択部は、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値として、前記調査対象画像と同じ解像度であると共に、前記高解像度画像と画素配置の方向が同じであって、前記高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像と、前記調査対象画像とを重ね合わせたときの、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値を用いる
画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、
前記画像選択部は、前記調査対象画像を構成する画素から選択した複数の画素について、前記最適画像との間で画素間の距離を求めて平均値を算出し、該平均値を、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値として用いる
画像処理装置。
【請求項４】
請求項１ないし３いずれか記載の画像処理装置であって、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が最も小さくなる画像を、前記合成用画像として選択する
画像処理装置。
【請求項５】
請求項１ないし３いずれか記載の画像処理装置であって、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が所定の基準値以下となる画像を、前記合成用画像として選択する
画像処理装置。
【請求項６】
請求項１ないし５いずれか記載の画像処理装置であって、
前記画像選択部は、少なくとも画像データの解析を利用して、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求める
画像処理装置。
【請求項７】
請求項１ないし５いずれか記載の画像処理装置であって、
前記基準画像データおよび前記調査対象画像データは、所定の画像生成装置により生成されており、
前記画像選択部は、少なくとも、前記基準画像データおよび前記調査対象画像データの各々の生成時における前記画像生成装置の動きに関する情報に基づいて、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求める
画像処理装置。
【請求項８】
取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理方法であって、
（ａ）時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する工程と、
（ｂ）前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する工程と、
（ｃ）少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する工程と
を備える画像処理方法。
【請求項９】
取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理を実行するコンピュータプログラムであって、
時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する画像データ取得機能と、
前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する画像選択機能と、
少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する高解像度画像生成機能と
をコンピュータに実現させるコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを記載したコンピュータが読み取り可能な記録媒体。
【請求項１】
取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理装置であって、
時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する画像データ取得部と、
前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する画像選択部と、
少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する高解像度画像生成部と
を備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記画像選択部は、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値として、前記調査対象画像と同じ解像度であると共に、前記高解像度画像と画素配置の方向が同じであって、前記高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像と、前記調査対象画像とを重ね合わせたときの、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値を用いる
画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、
前記画像選択部は、前記調査対象画像を構成する画素から選択した複数の画素について、前記最適画像との間で画素間の距離を求めて平均値を算出し、該平均値を、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値として用いる
画像処理装置。
【請求項４】
請求項１ないし３いずれか記載の画像処理装置であって、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が最も小さくなる画像を、前記合成用画像として選択する
画像処理装置。
【請求項５】
請求項１ないし３いずれか記載の画像処理装置であって、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が所定の基準値以下となる画像を、前記合成用画像として選択する
画像処理装置。
【請求項６】
請求項１ないし５いずれか記載の画像処理装置であって、
前記画像選択部は、少なくとも画像データの解析を利用して、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求める
画像処理装置。
【請求項７】
請求項１ないし５いずれか記載の画像処理装置であって、
前記基準画像データおよび前記調査対象画像データは、所定の画像生成装置により生成されており、
前記画像選択部は、少なくとも、前記基準画像データおよび前記調査対象画像データの各々の生成時における前記画像生成装置の動きに関する情報に基づいて、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求める
画像処理装置。
【請求項８】
取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理方法であって、
（ａ）時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する工程と、
（ｂ）前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する工程と、
（ｃ）少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する工程と
を備える画像処理方法。
【請求項９】
取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理を実行するコンピュータプログラムであって、
時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する画像データ取得機能と、
前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する画像選択機能と、
少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する高解像度画像生成機能と
をコンピュータに実現させるコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを記載したコンピュータが読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００６−４１６０４（Ｐ２００６−４１６０４Ａ）
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願番号】特願２００４−２１４３０５（Ｐ２００４−２１４３０５）
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]