撮像システムおよびプログラム
【課題】複数枚の画像を位置合わせするのに用いる画像変位量を高い精度で推定することができ、高解像度画像の生成等が可能な撮像システム等を提供する。
【解決手段】本発明に係る撮像システムは、第１段階の撮影指示が入力された後に第２段階の撮影指示が入力されるシャッターボタン１０４と、第１段階の撮影指示が入力されてから第２段階の撮影指示が入力されるまでの間に複数枚の画像を撮影する前撮影処理を行って、第２段階の撮影指示が入力された後に複数枚の画像を撮影する後撮影処理を行う撮影手段と、第２段階の指示が入力される前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前撮影処理および後撮影処理において撮影された複数枚の画像と基準画像との間の画像変位量を推定する画像変位量推定部２０ｂとを備えることを特徴とするものである。
【解決手段】本発明に係る撮像システムは、第１段階の撮影指示が入力された後に第２段階の撮影指示が入力されるシャッターボタン１０４と、第１段階の撮影指示が入力されてから第２段階の撮影指示が入力されるまでの間に複数枚の画像を撮影する前撮影処理を行って、第２段階の撮影指示が入力された後に複数枚の画像を撮影する後撮影処理を行う撮影手段と、第２段階の指示が入力される前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前撮影処理および後撮影処理において撮影された複数枚の画像と基準画像との間の画像変位量を推定する画像変位量推定部２０ｂとを備えることを特徴とするものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システムおよびプログラムに関し、特に複数枚の画像を撮影して画像間の画像変位量を推定する撮像システム等に関する。
【背景技術】
【０００２】
従来の電子カメラ（デジタルカメラ）では、使用者がシャッターボタンを半押ししているときに通常よりも高解像の画像を複数枚撮影して内蔵バッファメモリに記録しておき、シャッターボタンを全押ししたときに、全押しする直前の半押し中に撮影された高解像度画像を本撮影画像としてメモリーパックに記録して、シャッタータイミングにおける液晶表示パネルの表示画像と本撮影画像とのタイムラグを低減するものがあった（例えば、特許文献１参照）。
【０００３】
また最近では、複数枚の画像間の画像変位量をサブピクセルマッチングによって推定して複数枚の低解像度画像を位置合わせし（例えば、特許文献２参照）、超解像処理によって一枚の高解像度画像を生成する技術が開発されている（例えば、特許文献３参照）。
【特許文献１】特開２００５−９４２８８号公報（第１頁、図３）
【特許文献２】国際公開第０４／６３９９１号パンフレット
【特許文献３】国際公開第０４／６８８６２号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし従来の電子カメラでは（例えば、特許文献１参照）、全押しする直前に撮影された高解像度画像を本撮影画像として記録しているものの、本撮影画像の解像度はＣＣＤ等の撮像素子の画素数によって制限されるという問題点があった。
【０００５】
また、高解像度画像を生成するために複数枚の低解像度画像を位置合わせする場合には（例えば、特許文献２、３参照）、位置合わせの基準となる基準画像のフレームタイミングから撮影時間が離れるほど画像の画像変位量が大きくなり、適切な位置合わせを行うことが困難になるという問題点があった。
【０００６】
本発明は、上記のような問題点を鑑みてなされたものであり、複数枚の画像を位置合わせするのに用いる画像変位量を高い精度で推定することができ、高解像度画像の生成等が可能な撮像システム等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像システムは、画像を撮影して、画像の画像データを生成する撮像システムであって、第１段階の撮影指示が入力された後に第２段階の撮影指示が入力される撮影指示入力手段と、第１段階の撮影指示が入力されてから第２段階の撮影指示が入力されるまでの間に複数枚の画像を撮影する前撮影処理を行って、第２段階の撮影指示が入力された後に複数枚の画像を撮影する後撮影処理を行う撮影手段と、第２段階の指示が入力される前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前撮影処理および後撮影処理において撮影された複数枚の画像と基準画像との間の画像変位量を推定する画像変位量推定手段とを備えることを特徴とするものである。
【発明の効果】
【０００８】
本発明に係る撮像システムでは、第２段階の撮影指示が入力される前に前撮影処理を行って、第２段階の撮影指示が入力された後に後撮影処理を行い、第２段階の指示が入力される前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前撮影処理および後撮影処理において撮影された複数枚の画像と基準画像との間の画像変位量を推定するため、複数枚の画像を位置合わせするための画像変位量を高い精度で推定することができ、高解像度画像の生成等が可能となる。
【発明を実施するための最良の形態】
【０００９】
（実施形態１）
以下、図面を参照しながら本発明の実施形態１に係る撮像システムについて説明する。図１は、本発明の実施形態１に係る撮像システムの構成を示すブロック図である。なお図１には、撮像システムの例として静止画像を撮影する電子スチルカメラ（デジタルスチルカメラ）を示しているが、例えば静止画像の他に動画を撮影することのできる電子カメラ（デジタルカメラ）等であってもよい。また、撮像システムの構成は図１に示すものに限定されず、必要に応じて他の構成要素を追加したり、不必要な構成要素を省略することができる。
【００１０】
本実施形態に係る撮像システムは、絞り１ａを内包するレンズ系１、分光ハーフミラー系３、シャッター４、ローパスフィルタ５、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）撮像素子６、Ａ／Ｄ変換回路７、切替部８、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）用フォトセンサー９、ＡＦ（ＡｕｔｏＦｏｃｕｓ）モーター１０、撮像制御部１１、第一画像処理部１２、バッファメモリ１３、圧縮部１４、メモリーカードＩ／Ｆ（インターフェース）部１５、メモリーカード１６、シャッターボタン判定部１７、シャッターボタン１８、操作表示部１９、第二画像処理部２０を備える。なお、レンズ系１、分光ハーフミラー系３、シャッター４、ローパスフィルタ５、ＣＣＤ撮像素子６、Ａ／Ｄ変換回路７、切替部８、ＡＥ用フォトセンサー９、ＡＦモーター１０、撮像制御部１１、第一画像処理部１２、バッファメモリ１３、圧縮部１４等は、後に説明する前撮影処理および後撮影処理を行う撮影手段を構成する。
【００１１】
絞り１ａを内包するレンズ系１、分光ハーフミラー系３、シャッター４、ローパスフィルタ５、ＣＣＤ撮像素子６は、光軸に沿って配置されている。なお、本実施形態１ではＣＣＤ撮像素子６として単板式のＣＣＤ撮像素子を使用するものとするが、例えばＣＣＤ撮像素子６の代わりにＣＭＯＳ撮像素子等を用いてもよい。分光ハーフミラー系３から分岐した光束はＡＥ用フォトセンサー９に導かれる。レンズ系１には、合焦作業時にレンズ系の一部を移動するためのＡＦモーター１０が接続されている。ＣＣＤ撮像素子６からの信号は、Ａ／Ｄ変換回路７、切換部８および第一画像処理部１２を介してバッファメモリ１３へ入力されるか、または第一画像処理部１２を経由せずに切換部８からバッファメモリ１３へ直接入力される。
【００１２】
バッファメモリ１３は、圧縮部１４、第二画像処理部２０との間で画像データの入出力が可能であり各処理のワークバッファとしても使用される。バッファメモリ１３に保存された画像データは、メモリーカードＩ／Ｆ部１５を介して、脱着可能なメモリーカード１６へ入力され記録される。
【００１３】
ＡＥ用フォトセンサー９からの信号は撮像制御部１１へ入力されており、撮影制御部１１は、ＡＥ用フォトセンサー９からの信号に基づいて絞り１ａを制御すると共に、ＡＦモーター１０、ＣＣＤ撮像素子６、切替部８を制御する。また、シャッターボタン１８の状態をシャッターボタン判定部１７が判定し撮像制御部１１へ入力する。さらに、操作表示部１９からの信号も撮像制御部１１へ入力される。
【００１４】
第二画像処理部２０は、画像変位量推定部２０ａ、高解像度化処理部２０ｂを備えている。また第二画像処理部２０は、バッファメモリ１３との間で画像データの入出力が可能であり、さらにメモリーカードＩ／Ｆ部１５を介してメモリーカード１６との間で画像データの入出力が可能となっている。
【００１５】
図２は、本発明の実施形態１に係る撮像システムの外観構成を示す背面図である。本実施形態に係る撮像システムは電子スチルカメラであり、カメラ本体１００と、カメラ本体１００に備えられた電源スイッチ１０１、液晶表示パネル１０２（操作表示部１９）、操作ボタン１０３、シャッターボタン１０４（シャッターボタン１８）とを有している。
【００１６】
図３は、本発明の実施形態１に係る撮像システムで行われる処理を示すフローチャートである。本実施形態に係る撮像システムは、後に説明する高解像度化処理（Ｓ１１１）に必要となる複数枚の画像を得るため、撮影枚数設定（Ｓ１０１）で設定した枚数分の画像を撮影、記録する。使用者によって撮影枚数設定（Ｓ１０１）された枚数を元に前後撮影規定枚数決定処理（Ｓ１０２）を行って、後に説明する前撮影処理（Ｓ１０７）と後撮影処理（Ｓ１０９）において撮影、記録する画像の枚数を決定する。
【００１７】
図４は、前後撮影規定枚数決定処理（Ｓ１０２）の内容を示すフローチャートである。ここで、前後撮影規定枚数決定処理（Ｓ１０２）について説明する。図４に示すように、撮影枚数設定（Ｓ１０１）で設定された枚数が複数枚かどうかを判定し（Ｓ２０１）、１枚なら処理を終了し、複数枚なら前撮影処理（Ｓ１０７）で撮影、記録する前撮影枚数と後撮影処理（Ｓ１０９）で撮影、記録する後撮影枚数を以下の式（１）、式（２）で計算し（Ｓ２０２、Ｓ２０３）、処理を終了する。
前撮影枚数＝α×（撮影枚数／（α＋β））・・・（１）
後撮影枚数＝撮影枚数 − 前撮影枚数・・・（２）
本実施形態では、式（１）におけるα、βは、予め設定されているものとする。なお、撮影枚数設定（Ｓ１０１）において、前撮影枚数と後撮影枚数を直接的に指定するように構成することもできる。また、撮影枚数設定（Ｓ１０１）において設定する撮影枚数や、α、βの値を、ユーザーが撮影しようとするシーンに応じて設定しておくこともできる。例えば、被写体の動きが激しいシーンを撮影する旨を操作ボタン１０３などの操作でユーザーが指示したとき等には、撮影枚数が多くなるように、撮影枚数を設定したり、αを比較的大きく設定したりすることができる。
【００１８】
このように前後撮影規定枚数決定処理（Ｓ１０２）を行った後、バッファメモリ１３等に記録されている前後撮影記録枚数を０枚に初期化（Ｓ１０３）し、シャッターボタン１０４の状態判定を行う（Ｓ１０４）。シャッターボタン１０４が全押し状態なら通常の１枚撮影を行い（Ｓ１１３）、撮影された画像の画像データを記録（Ｓ１１２）して終了する。シャッターボタン１０４が半押し状態ならＡＦ制御（Ｓ１０５）を行う。その後、撮影枚数が複数枚かどうかを判定して（Ｓ１０６）、撮影枚数が複数枚の場合には前撮影処理（Ｓ１０７）において複数枚の画像を撮影、記録する。
【００１９】
図５は、前撮影処理（Ｓ１０７）の内容を示すフローチャートである。ここで、前撮影処理（Ｓ１０７）について説明する。図５に示すように、まず画像の１枚撮影を行って撮影された画像の画像データをバッファメモリ１３に循環記録（Ｓ３０１）する。ここで循環記録とは、古い画像の画像データを新しい画像の画像データで上書きしながら所定枚数分の画像の画像データ、例えば前後撮影規定枚数決定処理（Ｓ１０２）で決定された前撮影枚数分の画像データを循環的に記録することである。なおバッファメモリ１３は、前撮影処理（Ｓ１０７）において撮影される複数枚の画像のうち所定枚数分の画像の画像データを記録できる記憶領域を有しており、例えば、既に所定枚数分の画像の画像データが記録されている場合には、記録されている画像データの中で一番古い画像データから上書きすることにより画像データを循環的に記録するようになっている。これにより、メモリを節約することが可能となる。
【００２０】
その後、前撮影記録枚数をカウントアップして（Ｓ３０２）、図３の前後撮影規定枚数決定処理（Ｓ１０２）で決定した前撮影枚数とカウントアップした前撮影記録枚数が同じになったかどうかを判定（Ｓ３０３）し、同じになるまで１枚撮影と循環記録（Ｓ３０１）、前撮影記録枚数カウントアップ（Ｓ３０２）を繰り返す。前撮影枚数と前撮影記録枚数が同じになったら、後撮影準備完了通知（Ｓ３０４）を使用者に通知する。通知方法としては、図２の液晶表示パネル１０２に完了の通知を表示しても良いし、例えば音声を使って通知しても良い。
【００２１】
このように前撮影処理（Ｓ１０７）を行った後、シャッターボタン１０４（シャッターボタン１８）の状態を判定（Ｓ１０８）し、半押し状態なら前撮影処理（Ｓ１０７）を繰り返し、全押し状態なら後撮影処理（Ｓ１０９）において複数枚の画像を撮影、記録する。それ以外の状態、例えば使用者がシャッターボタン１０４を離している場合には、前後撮影記録枚数初期化処理（Ｓ１０３）へ戻る。
【００２２】
図６は、後撮影処理（Ｓ１０９）の内容を示すフローチャートである。ここで、後撮影処理（Ｓ１０９）について説明する。本実施形態では、後撮影処理（Ｓ１０９）においてまずｍ枚の撮影（Ｓ４０１）を行うが、このｍ枚の撮影のタイミングは使用者がシャッターボタン１０４を全押しした直後のタイミングである。本実施形態では、ｍ＝１の場合で説明するが、撮像素子の性能や、上述の撮影しようとするシーンに応じてｍ＝２枚以上とすることもできる。また、操作ボタン１０３などの操作によって、ユーザーがｍの値を指定する構成にすることもできる。１枚目の撮影（Ｓ４０１）を行った後、後撮影記録枚数をカウントアップ（Ｓ４０２）して、前後撮影規定枚数決定処理（Ｓ１０２）で決定した後撮影枚数とカウントアップした後撮影記録枚数が同じになったかどうかを判定し（Ｓ４０３）、１枚撮影（Ｓ４０５）、後撮影記録枚数カウントアップ（Ｓ４０２）を繰り返す。この際、例えばバッファメモリ１３の記憶領域を前撮影処理用と後撮影処理用に割り当てておき、それぞれの撮影処理に割り当てられた記憶領域を使用するようにする。
【００２３】
また本実施形態では、後撮影処理（Ｓ１０９）において全押し直後のｍ枚（上述のように、本実施形態ではｍ＝１としている）の撮影（Ｓ４０１）を行った後、シャッターボタン１０４が全押しされてから所定の時間ｔが経過したかどうかを判定（Ｓ４０４）し、所定の時間ｔが経過するまで画像の撮影を停止する。Ｓ４０４においてシャッターボタン１０４が全押しされてから所定の時間ｔが経過したと判定された場合には、２枚目以降の画像の撮影（Ｓ４０５）を開始する。この撮影を停止する所定の時間ｔは、予め設定されており、所定の時間ｔは、例えばシャッターボタン１８が全押しされる際の手ぶれ量が大きいと考えられる時間として設定することができる。したがって、所定の時間ｔは、撮像素子の性能や、上述の撮影しようとするシーンに応じて、適当な値が設定される。
【００２４】
このように後撮影処理（Ｓ１０９）を行った後に、画像変位量推定処理（Ｓ１１０）、高解像度化処理（Ｓ１１１）を行って、高解像度化処理（Ｓ１１１）によって生成された高解像度画像を画像記録（Ｓ１１２）し、処理を終了する。なお画像変位量推定処理（Ｓ１１０）、高解像度化処理（Ｓ１１１）については、後に説明する。
【００２５】
ここで、本実施形態に係る撮像システムで行われる上述の処理について、画像信号（画像データ）の流れに沿ってさらに詳しく説明する。まず、使用者が電源スイッチ１０１をＯＮ状態にしてシャッターボタン１０４を押すことなどにより、撮像制御部１１は、絞り１ａ、シャッター４、ＡＦモーター１０等を制御して画像の撮影を行う。画像の撮影では、ＣＣＤ撮像素子６からの画像信号がＡ／Ｄ変換回路７にてデジタル信号化され、第一画像処理部１２により周知のホワイトバランス、強調処理、補間処理などがなされたＲＧＢ（赤、緑、青）の画像信号として、バッファメモリ１３に出力される。
【００２６】
図３のＳ１０４においてシャッターボタン１０４が半押しされている場合にＡＦ制御（Ｓ１０５）を行うが、このときの合焦位置は、ＣＣＤ撮像素子６からの出力信号をＡ／Ｄ変換回路７にてデジタル信号化し、単板状態の画像信号から（例えば、Ｇ成分のみを用いて）輝度信号を算出して、その輝度信号中のエッジ強度から求められる。すなわち、ＡＦモーター１０にてレンズ系１の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。
【００２７】
そしてＡＦをロックした後、シャッターボタン１０４が半押しされている間、前撮影処理（Ｓ１０７）を行い、例えばバッファメモリ１３に確保された前撮影枚数分の記憶領域を用いて画像データの循環記録を行う。その際、Ａ／Ｄ変換回路７にてデジタル信号化された画像信号は、第一画像処理部１２を介してバッファメモリ１３に記録される。前撮影枚数分の画像データがバッファメモリ１３に記録されると、撮像制御部１１が後撮影準備完了通知を出すための信号を出力し、例えば液晶表示パネル１０２に後撮影準備完了通知が表示される。
【００２８】
図７は、後撮影準備完了通知の例を示す図である。図７に示す例では、液晶表示パネル１０２に「本撮影ＯＫ！」という後撮影準備完了通知１０６を表示することにより、使用者に通知を行うようになっている。
【００２９】
後撮影準備完了通知の後、使用者がシャッターボタン１０４を全押しすると撮像制御部１１が後撮影処理（Ｓ１０９）を行う。後撮影処理（Ｓ１０９）では最初に撮影された一枚目の画像の画像信号を、第一画像処理部１２を介してバッファメモリ１３へ保存し、撮像制御部１１でシャッターボタン１０４が全押しされてから所定の時間ｔが経過したかどうかを判定する（Ｓ４０４）。シャッターボタン１０４が全押しされてから所定の時間ｔが経過するまでは画像の撮影を停止して、所定の時間ｔが経過したら後撮影処理（Ｓ１０９）における二枚目以降の撮影を開始し、二枚目以降の画像の画像信号も同様に第一画像処理部１２を介してバッファメモリ１３に保存される。バッファメモリ１３に保存された画像データは圧縮部１４でＪＰＥＧなどの画像圧縮が施され、バッファメモリ１３をワークバッファとして圧縮された画像データがバッファメモリ１３からメモリーカードＩ／Ｆ部１５を介してメモリーカード１６に記録される。
【００３０】
なお第二画像処理部２０は、メモリーカードＩ／Ｆ部１５を介してメモリーカード１６との間で画像データの入出力が可能となっており、またバッファメモリ１３との間でも画像データの入出力が可能となっている。このためバッファメモリ１３が大容量の場合には、圧縮された画像データや圧縮される前の画像データをメモリーカード１６へ記録せずこれらの画像データをバッファメモリ１３に記録しておき、高解像度化処理部２０ｂで生成された高解像度画像の画像データのみをバッファメモリ１３からメモリーカード１６へ記録しても良い。
【００３１】
図８は、本発明の実施形態１に係る撮像システムの処理シーケンスを示す図である。本実施形態では上述のように、シャッターボタン１０４が半押しされてからＡＦロックした後、例えば図８のＡに示す期間中、前撮影処理（Ｓ１０７）を行いバッファメモリ１３に前撮影枚数分の画像データを確保しながら循環記録する。そしてシャッターボタン１０４が全押しされた直後に、後撮影処理（Ｓ１０９）における一枚撮影（Ｓ４０１）を行った後、例えば図８のＢに示す期間中、画像の撮影を停止する。それから、後撮影処理（Ｓ１０９）における二枚目以降の撮影を行い、バッファメモリ１３に後撮影枚数分の画像データを記録する。なお図８のＣは、後に説明する画像変位量推定処理（Ｓ１１０）に用いられる画像データが記録される期間を示している。図８に示す処理を行った後、高解像度化処理（Ｓ１１１）に必要な枚数分の画像データを用いて画像変位量推定処理（Ｓ１１０）、高解像度化処理（Ｓ１１１）を行う。
【００３２】
ここで、第二画像処理部２０で行われる画像変位量推定処理（Ｓ１１０）、高解像度化処理（Ｓ１１１）について説明する。第二画像処理部２０では、はじめに画像変位量推定部２０ａにおいて画像間の画像変位量（画素位置対応）を推定した後、この画素変位量と前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）で得られた画像データを用いて高解像度化処理部２０ｂにおいて高解像度画像を生成する。
【００３３】
まず、画像変位量推定処理（Ｓ１１０）について説明する。画像変位量推定部２０ａは、シャッターボタン１０４が全押しされる前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像と基準画像との間の画像変位量を推定する。なお本実施形態では、シャッターボタン１０４が全押しされた直後に撮影された画像（図８の１枚撮影時の画像）を基準画像とする。この場合、上記の規定期間はシャッターボタン１０４が全押しされてから最初の画像が撮影されるまでの期間である。
【００３４】
図９は、画像変位量推定部２０ａで行われる画像変位量推定処理（Ｓ１１０）のアルゴリズムを示すフローチャートである。以下、図９に示すアルゴリズムの流れに添って画像変位量推定処理（Ｓ１１０）の説明を行う。まず、画像変位量推定の基準となる画像を基準画像として１枚読み込む（Ｓ５０１）。本実施形態では、シャッターボタン１０４が全押しされた直後に撮影された画像が基準画像となる。次に、基準画像を複数の画像変位パラメータで変形させ、画像列を生成する（Ｓ５０２）。このとき、例えば基準画像を所定の範囲で並進、回転させて画像列を生成する。それから、基準画像との間の画像変位量推定を行う参照画像として、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像のうち１枚の画像を読み込む（Ｓ５０３）。そして、領域ベースマッチング手法等のピクセルマッチング手法を用いて基準画像と参照画像との間で大まかな画素位置の対応付けを行う（Ｓ５０４）。これにより、基準画像と参照画像との間の画像変位量がピクセル（画素）レベルで求められる。
【００３５】
次に、Ｓ５０２で基準画像を変形することにより生成された画像列と参照画像との間の類似度値を算出する（Ｓ５０５）。この類似度は、例えばＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の画像列と参照画像との差分として求めることができる。そしてＳ５０２において画像列を生成した際の画像変位パラメータと、Ｓ５０５で算出した類似度値との関係を用いて、離散的な類似度マップを作成する（Ｓ５０６）。それから、Ｓ５０６で作成した離散的な類似度マップを補完して連続的な類似度曲線を求め、この連続的な類似度曲線において類似度値の極値を探索する（Ｓ５０７）。離散的な類似度マップを補完して連続的な類似度曲線を求める方法としては、例えばパラボラフィッティングやスプライン補間法がある。この連続的な類似度曲線において類似度値が極値になるときの画像変位パラメータが、基準画像と参照画像との間の画像変位量として推定される。
【００３６】
その後、高解像度化処理（Ｓ１１１）で用いられるすべての画像について画像変位量推定が行われたかどうかを判定し（Ｓ５０８）、すべての画像について画像変位量推定が行われていない場合には、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像のうち他の画像を次の画像として（Ｓ５０９）、Ｓ５０３からＳ５０８までの処理を繰り返す。なお本実施形態では、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影されバッファメモリ１３に記録されたすべての画像について画像変位量推定を行うものとするが、バッファメモリ１３に記録された複数枚の画像の一部についてのみ画像変位量推定を行うようにしてもよい。Ｓ５０８において、高解像度化処理（Ｓ１１１）で用いられるすべての画像について画像変位量推定が行われたと判定された場合には処理を終了する。
【００３７】
図１０は、画像変位量推定処理（Ｓ１１０）のＳ５０７において求められた類似度曲線の例を示す図である。図１０において、縦軸は類似度値を、横軸は図９のＳ５０２において画像列を生成した際の画像変位パラメータを示している。図１０の例では、画像列と参照画像との間の類似度がＳＳＤで算出されており、類似度曲線が離散的な類似度マップをパラボラフィッティングで補完することにより求められているため、類似度値が小さいほど類似度が高くなる。このように、離散的な類似度マップを補完して連続的な類似度曲線を求め、その極値（図１０の例では極小値）を探索することにより、基準画像と参照画像との間の画像変位量をサブピクセルレベルで求めることができる。
【００３８】
このように、画像変位量推定部２０ａで推定された画像変位量と、画像変位量を求めた画像の画像データを高解像度化処理部２０ｂへ転送し、基準画像に対して超解像処理を用いた高解像度化処理（Ｓ１１１）を行う。
【００３９】
図１１は、高解像度化処理部２０ｂで行われる高解像度化処理（Ｓ１１１）のアルゴリズムを示すフローチャートである。以下、図１１に示すアルゴリズムの流れに添って超解像処理を用いた高解像度化処理（Ｓ１１１）の説明を行う。まず、基準画像の画像データと画像変位量推定処理（Ｓ１１０）において画像変位量が推定された複数枚の画像の画像データを読み込む（Ｓ６０１）。次に、基準画像を高解像度化処理のターゲット画像として、このターゲット画像に対しバイリニア補間やバイキュービック補間等の補完処理を行って初期画像ｚ0を作成する（Ｓ６０２）。なおこの補間処理は、場合により省略することができる。
【００４０】
それから、画像変位量推定部２０ａで推定された画像変位量を用いて、ターゲット画像と画像変位量推定処理（Ｓ１１０）において画像変位量が推定された画像との間の画素対応関係を明らかにし、ターゲット画像の拡大座標を基準とする座標空間において重ねあわせ処理を行って、レジストレーション画像ｙを生成する（Ｓ６０３）。なおここでｙは、レジストレーション画像の画像データを表すベクトルである。このレジストレーション画像ｙを生成する方法の詳細については、「田中・奥富、再構成型超解像処理の高速化アルゴリズム、Computer Vision and Image Media(CVIM) Vol.2004、No.113、pp.97-104 (2004-11)」に開示されている。Ｓ６０３における重ねあわせ処理は、例えば画像変位量推定処理（Ｓ１１０）において画像変位量が推定された複数枚の画像の各ピクセル値と、ターゲット画像の拡大座標との間で画素位置の対応付けを行い、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上においていくことで行われる。このとき、同一の格子点上に複数のピクセル値をおく場合があるが、その場合にはそれらのピクセル値に対して平均化処理を実施する。
【００４１】
次に、光学伝達関数(ＯＴＦ、Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ)、ＣＣＤアパーチャ（ＣＣＤ開口）等の撮像特性を考慮した点広がり関数(ＰＳＦ、Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ)を求める（Ｓ６０４）。このＰＳＦは、以下の式（３）における行列Ａに反映され、例えば簡易的にＧａｕｓｓ関数を用いることができる。それから、Ｓ６０３で生成されたレジストレーション画像ｙとＳ６０４で求められたＰＳＦを用いて、以下の式（３）で表される評価関数ｆ（ｚ）の最小化を行い（Ｓ６０５）、ｆ（ｚ）が最小化されたかどうかを判定する（Ｓ６０６）。
【００４２】
【数１】
【００４３】
式（３）において、ｙはＳ６０３で生成されたレジストレーション画像の画像データを表す列ベクトル、ｚはターゲット画像を高解像度化した高解像度画像の画像データを表す列ベクトル、ＡはＰＳＦ等を含めた撮像システムの特性をあらわす画像変換行列である。また、ｇ（ｚ）は画像の滑らかさや画像の色の相関等を考慮した正則化項であり、λは重み係数である。式（３）で表される評価関数ｆ（ｚ）の最小化には、例えば最急降下法を用いることができる。最急降下法を用いる場合には、ｆ（ｚ）をｚの各要素で偏微分した値を計算して、それらの値を要素とするベクトルを生成する。そして以下の式（４）に示すように、偏微分した値を要素とするベクトルをｚに付加することにより、高解像度画像ｚを更新させていき（Ｓ６０７）、ｆ（ｚ）が最小となるｚを求める。
【００４４】
【数２】
【００４５】
式（４）において、ｚnはｎ回目の更新を行った高解像度画像の画像データを表す列ベクトルであり、αは更新量の歩み幅である。なお、最初のＳ６０５の処理では、高解像度画像ｚとしてＳ６０２で求められた初期画像ｚ0を用いることができる。Ｓ６０６においてｆ（ｚ）が最小化されたと判定された場合には処理を終了し、そのときのｚnを最終的な高解像度画像としてメモリーカード１６等に記録する。このようにして、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像よりも高解像の高解像度画像を得ることができる。
【００４６】
図１２は、高解像度化処理部２０ｂの構成例を示すブロック図である。ここで、高解像度化処理部２０ｂで行われる超解像処理を用いた高解像度化処理（Ｓ１１１）についてさらに説明する。図１２に示す高解像度化処理部２０ｂは、補間拡大部２０１、画像蓄積部２０２、ＰＳＦデータ保持部２０３、畳込み積分部２０４、レジストレーション画像生成部２０５、画像比較部２０６、畳込み積分部２０７、正則化項演算部２０８、更新画像生成部２０９、収束判定部２１０から構成される。
【００４７】
はじめに、シャッターボタン１０４が全押しされる前後の所定の期間である規定期間に撮影された基準画像を補間拡大部２０１に与え、基準画像の補間拡大を行う（図１１のＳ６０２に対応）。ここで用いられる補間拡大の方法としては、例えばバイリニア補間やバイキュービック補間などが挙げられる。補間拡大部２０１において補間拡大された基準画像は、例えば初期画像ｚ0として画像蓄積部２０２に送られ、ここに蓄積される。次に、補間拡大された基準画像は畳込み積分部２０４に与えられ、ＰＳＦデータ保持部２０３により与えられるＰＳＦデータ（式（３）の画像変換行列Ａに相当）との間で畳込み積分が行われる。
【００４８】
また、基準画像および画像変位量推定処理（Ｓ１１０）において画像変位量が推定された複数枚の参照画像は、レジストレーション画像生成部２０５に与えられ、画像変位量推定部２０ａで求められた画像変位量を元に基準画像の拡大座標を基準とする座標空間で重ねあわせ処理を行うことにより、レジストレーション画像ｙが生成される（図１１のＳ６０３に対応）。レジストレーション画像生成部２０５における重ねあわせ処理は、例えば画像変位量推定処理（Ｓ１１０）において画像変位量が推定された複数枚の画像の各ピクセル値と、基準画像の拡大座標との間で画素位置の対応付けを行い、各ピクセル値を基準画像の拡大座標の最も近い格子点上においていくことで行われる。このとき、同一の格子点上に複数のピクセル値をおく場合があるが、その場合にはそれらのピクセル値に対して平均化処理を実施する。
【００４９】
畳込み積分部２０４において畳込み積分された画像データ（ベクトル）は画像比較部２０６に送られ、レジストレーション画像生成部２０５において生成されたレジストレーション画像ｙとの間で、同一のピクセル位置におけるピクセル値の差分を算出することにより、差分画像データ（式（３）の（ｙ−Ａｚ）に相当）が生成される。画像比較部２０６において生成された差分画像データは畳込み積分部２０７に与えられ、ＰＳＦデータ保持部２０３により与えられるＰＳＦデータとの間で畳込み積分が行われる。畳込み積分部２０７は、例えば式（３）における画像変換行列Ａの転置行列と差分画像データを表す列ベクトルとを畳込み積分することにより、式（３）の‖ｙ−Ａｚ‖2をｚの各要素で偏微分したベクトルを生成する。
【００５０】
また、画像蓄積部２０２に蓄積された画像は正則化項演算部２０８に与えられ、式（３）における正則化項ｇ（ｚ）が求められると共に、正則化項ｇ（ｚ）をｚの各要素で偏微分したベクトルが求められる。正則化項演算部２０８は、例えば、画像蓄積部２０２に蓄積された画像データに対して、ＲＧＢからＹＣrＣbの色変換処理を行い、そのＹＣrＣb成分（輝度成分と色差成分）に対して周波数高域通過フィルタ（ラプラシアンフィルタ）を畳込み積分したベクトルを求める。そして、このベクトルの二乗ノルム（長さの二乗）を正則化項ｇ（ｚ）として、ｇ（ｚ）をｚの各要素で偏微分したベクトルを生成する。Ｃr、Ｃb成分（色差成分）にラプラシアンフィルタを掛けると偽色の成分が抽出されるため、正則化項ｇ（ｚ）を最小化することにより偽色の成分を除去することができる。このため、式（３）に正則化項ｇ（ｚ）を含めることで「一般に画像の色差成分は滑らかな変化である」という画像の先験情報を用いることとなり、色差を抑制した高解像度画像を安定して求めることが可能となる。
【００５１】
畳込み積分部２０７で生成された画像データ（ベクトル）、画像蓄積部２０２に蓄積された画像データ（ベクトル）、正則化項演算部２０８で生成された画像データ（ベクトル）は、更新画像生成部２０９に与えられる。更新画像生成部２０９では、これらの画像データ（ベクトル）が式（３）、式（４）に示すλ、α等の重み係数を乗じて加算され、更新された高解像度画像が生成される（式（４）に対応）。
【００５２】
それから、更新画像生成部２０９において更新された高解像度画像は、収束判定部２１０へ与えられ、収束判定が行われる。この収束判定では、収束にかかった繰り返し演算回数が一定回数よりも多くなった場合に高解像度画像の更新作業が収束したと判断しても良いし、また、過去に更新された高解像度画像を記録しておき、現在の高解像度画像との差分を取って、その更新量が一定の値よりも少ないと判断された場合に高解像度画像の更新作業が収束したと判断しても良い。
【００５３】
収束判定部２１０において更新作業が収束したと判断された場合には、更新された高解像度画像は最終的な高解像度画像として外部へ出力される。更新作業が収束していないと判断された場合には、更新された高解像度画像は画像蓄積部２０２へ与えられ、次回の更新作業に利用される。この高解像度画像は、次回の更新作業のために畳込み積分部２０４、正則化項演算部２０８へ与えられる。以上の処理を繰り返し、更新画像生成部２０９で高解像度画像を更新していくことで、良好な高解像度画像を得ることができる。
【００５４】
本実施形態では、第１段階の撮影指示としてシャッターボタン１０４が半押しされている間に前撮影処理（Ｓ１０７）を行って、第２段階の撮影指示としてシャッターボタン１０４が全押しされた後に後撮影処理（Ｓ１０９）を行い、シャッターボタン１０４が全押しされた直後に撮影された画像を基準画像として、参照画像と基準画像との間の画像変位量を推定するため、参照画像と基準画像との間の画像変位量を高い精度で推定することができ、良好な高解像度画像の生成が可能となる。
【００５５】
また、後撮影処理（Ｓ１０９）において全押し直後の１枚撮影（Ｓ４０１）を行った後に、手ぶれ量が大きいと考えられる時間が経過するまで画像の撮影を停止することにより、参照画像と基準画像との間の画像変位量をさらに高い精度で推定することが可能となる。
【００５６】
（実施形態２）
図１３は、本発明の実施形態２に係る撮像システムにおいて基準画像を自動的に決定する方法の例を示す図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００５７】
図１３（ａ）では、シャッターボタン１０４が全押しされる前後に所定の枚数の画像が撮影される期間として規定期間が決められており、この規定期間に撮影されたいずれかの画像を基準画像として、複数枚の参照画像と基準画像との間の画像変位量を推定し、後の高解像度化処理（Ｓ１１１）等を行う。なお図１３（ａ）の例では、前撮影枚数が３０枚、後撮影枚数が３０枚であり、シャッターボタン１０４が全押しされる前１０枚と後１０枚の合計２０枚が撮影される期間を規定期間とし、この２０枚の中から基準画像を決定するようになっている。
【００５８】
図１３（ｂ）では、図１３（ａ）と同様にシャッターボタン１０４が全押しされる前後に所定の枚数の画像が撮影される期間として規定期間が決められているが、後撮影枚数が６枚しかないため、シャッターボタン１０４が全押しされる前１４枚と後６枚の合計２０枚が撮影される期間を規定期間とし、この２０枚の中から基準画像を決定するようになっている。
【００５９】
図１３（ｃ）では、シャッターボタン１０４が全押しされる前後の所定の長さの時間として規定期間が決められており、この規定期間に撮影されたいずれかの画像を基準画像として、複数枚の参照画像と基準画像との間の画像変位量を推定し、後の高解像度化処理（Ｓ１１１）等を行う。なお図１３（ｃ）の例では、前撮影処理（Ｓ１０７）を行う時間が１秒、後撮影処理（Ｓ１０９）を行う時間が１秒であり、シャッターボタン１０４が全押しされる前１／３秒と後１／３秒の合計２／３秒を規定期間とし、この２／３秒の間に撮影された画像の中から基準画像を決定するようになっている。ここで例えば、撮像システムのフレームレートが３０ｆｐｓの場合、１／３秒の間に撮影される画像は１０枚となる。
【００６０】
図１３（ｄ）では、図１３（ｃ）と同様にシャッターボタン１０４が全押しされる前後の所定の長さの時間として規定期間が決められているが、前撮影処理（Ｓ１０７）を行う時間が０．２秒しかないため、シャッターボタン１０４が全押しされる前０．２秒と後（（１／３−０．２）＋１／３）秒の合計２／３秒を規定期間とし、この２／３秒の間に撮影された画像の中から基準画像を決定するようになっている。なお効果については、実施形態１に係る撮像システムと同様である。
【００６１】
（実施形態３）
図１４は、本発明の実施形態３に係る撮像システムの処理シーケンスを示す図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１や実施形態２に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００６２】
本実施形態では図１４に示すように、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された画像の画像データを、画像処理の施されていないローデータ（ＲＡＷデータ）としてバッファメモリ１３に記録する。なおバッファメモリ１３は、前撮影処理（Ｓ１０７）において撮影された画像の画像データをＲＡＷデータとして循環記録（実施形態１参照）するものとする。また本実施形態では、切替部８が前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された画像の画像データをＲＡＷデータのままバッファメモリ１３に直接記録する。これにより、高解像度化処理部２０ｂにおいて高解像度化処理（Ｓ１１１）に適したＲＡＷデータを用いることができる。その他の効果については、実施形態１や実施形態２に係る撮像システムと同様である。
【００６３】
（実施形態４）
図１５は、本発明の実施形態４に係る撮像システムにおける高解像度化処理について説明するための図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１や実施形態２や実施形態３に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００６４】
本実施形態では、レジストレーション画像ｙを生成する代わりに、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像の画像データｙkを用いて高解像度化処理（実施形態１の高解像度化処理Ｓ１１１に相当）を行い、その際、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像に対して重み付けを行う。本実施形態における評価関数ｆ（ｚ）は、以下の式（５）で表される。
【００６５】
【数３】
【００６６】
式（５）において、ｙkは前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）においてｋ番目に撮影された画像（低解像度画像）の画像データを表す列ベクトル、ａkは各低解像度画像に対する重み係数、ｚはターゲット画像を高解像度化した高解像度画像の画像データを表す列ベクトル、Ａkは画像間モーション、ＰＳＦ等を含めた撮像システムの特性をあらわす画像変換行列である。本実施形態では、Ａkが画像変位量推定処理（Ｓ１１０）で推定された画像変位量を用いて算出されており、ターゲット画像と低解像度画像の位置合わせができるようになっている。また、ｇ（ｚ）は画像の滑らかさや画像の色の相関等を考慮した正則化項であり、λは重み係数である。本実施形態でも実施形態１と同様に、最急降下法等を用いて、式（５）で表される評価関数ｆ（ｚ）が最小となる高解像度画像ｚを求める。
【００６７】
本実施形態では図１５に示すように、シャッターボタン１０４が全押しされた時点（基準画像が撮影される直前）により近い時点で撮影された画像に対してより高い重み付けを行うようになっている。例えば、低解像度画像のｎフレーム目（基準画像）を高解像度化する場合には、ｎフレーム目に近いフレームほど重み係数ａkの値を大きくする。なお重み係数ａkの値は、図１５に示すようにガウス分布的に重みを変化させてもよいし、基準画像から近い所定の範囲内のフレームに他のフレームよりも大きい一定の重みをつけるようにしてもよい。
【００６８】
本実施形態では、基準画像が撮影される時点により近い時点で撮影された画像に対してより高い重み付けを行うようになっているため、類似度が高いと考えられる画像を用いて良好な高解像度画像を生成することが可能となる。その他の効果については、実施形態１や実施形態２や実施形態３に係る撮像システムと同様である。
【００６９】
（実施形態５）
図１６は、本発明の実施形態５に係る撮像システムの処理シーケンスを示す図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１や実施形態２や実施形態３や実施形態４に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００７０】
本実施形態では、後撮影処理（実施形態１のＳ１０９）において画像の撮影を停止せず、前撮影処理（実施形態１のＳ１０７）と同様に複数枚の画像を連続的に撮影する。そして、シャッターボタン１０４が全押しされた直後（図１６のＮ）に撮影された画像を基準画像とするが、図１６（ａ）の例では、基準画像が撮影された後に撮影された所定の枚数（図１６（ａ）では２枚）の画像を除外して高解像度化処理を行う。なお高解像度化処理に用いない画像については、画像変位量推定処理（Ｓ１１０）を行う必要もない。
【００７１】
また図１６（ｂ）の例では、実施形態４の重み付けを用いた高解像度化処理を行うが（式（５）参照）、基準画像が撮影された後に撮影された所定の枚数（図１６（ｂ）では２枚）の画像の重み係数ａkを小さくする。
【００７２】
本実施形態では、シャッターボタン１０４が全押しされた後に撮影された手振れ量が多いと考えられる所定の枚数の画像を除外若しくは区別して高解像度化処理を行うため、良好な高解像度画像を生成することが可能となる。その他の効果については、実施形態１や実施形態２や実施形態３や実施形態４に係る撮像システムと同様である。
【００７３】
（実施形態６）
図１７は、本発明の実施形態６に係る撮像システムにおける高解像度画像の倍率と高解像度化処理で使用される画像の枚数の関係を示すグラフである。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１や実施形態２や実施形態３や実施形態４や実施形態５に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００７４】
本実施形態では、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像のうち、高解像度化処理に使用する画像の枚数が、生成される高解像度画像の倍率（元の画像に対する解像度の比）に応じて自動的に設定される。このとき図１７に示すように、高解像度画像の倍率が大きいほど高解像度化処理に使用する画像の枚数を多くする。
【００７５】
また、例えば実施形態１の撮影枚数設定（Ｓ１０１）の代わりに、使用者が高解像度画像の倍率を設定するようにして、その高解像度画像の生成に必要な枚数の画像を算出し、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）においてその枚数分の画像を撮影するようにしてもよい。なおこのとき、前撮影処理（Ｓ１０７）と後撮影処理（Ｓ１０９）で撮影する画像の枚数を別々に算出するようにしてもよい。
【００７６】
本実施形態では、高解像度画像の倍率に応じた枚数の画像を用いて高解像度化処理を行うため、良好な高解像度画像を生成することが可能となる。その他の効果については、実施形態１や実施形態２や実施形態３や実施形態４や実施形態５に係る撮像システムと同様である。
【００７７】
（実施形態７）
本実施形態に係る撮像システムは、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）をデジタルスチルカメラ等の撮像装置で行い、画像変位量推定処理（Ｓ１１０）および高解像度化処理（Ｓ１１１）をパーソナルコンピュータ等の画像処理装置で行うようになっている。その他の撮像システムの構成および処理は、実施形態１から６のいずれかの撮像システムと同様である。本実施形態のように画像の撮影と画像処理を別の装置で行う場合には、画像変位量推定処理（Ｓ１１０）および高解像度化処理（Ｓ１１１）で用いられる画像データ、どの画像を基準画像とするかについての情報等を画像処理装置に転送若しくは入力する必要がある。また実施形態４のように重み付けを用いた高解像度化処理を行う場合には、重み係数の情報等を画像処理装置に与えることが必要である。なお効果については、実施形態１から６のいずれかの撮像システムと同様である。
【００７８】
なお、本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。例えば実施形態１から６では、前撮影処理（Ｓ１０７）を開始する第１の段階の撮影指示としてシャッターボタン１０４の半押しを、後撮影処理（Ｓ１０９）を開始する第２段階の撮影指示としてシャッターボタン１０４の全押しを例に挙げているが、第１の段階の撮影指示および第２段階の撮影指示の入力を別の方法で行ってもよい。また、実施形態１から６では基準画像を高解像度化処理する方法として超解像処理を用いているが、超解像処理を用いた高解像度化処理の代わりに、例えば前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）で撮影された画像の画像変位量を推定した後、画像を重ね合わせて加重平均し、ランダムノイズを低減するような画像処理を行うようにしてもよい。
【図面の簡単な説明】
【００７９】
【図１】本発明の実施形態１に係る撮像システムの構成を示すブロック図である。
【図２】本発明の実施形態１に係る撮像システムの外観構成を示す背面図である。
【図３】本発明の実施形態１に係る撮像システムで行われる処理を示すフローチャートである。
【図４】実施形態１における前後撮影規定枚数決定処理の内容を示すフローチャートである。
【図５】実施形態１における前撮影処理の内容を示すフローチャートである。
【図６】実施形態１における後撮影処理の内容を示すフローチャートである。
【図７】実施形態１における後撮影準備完了通知の例を示す図である。
【図８】本発明の実施形態１に係る撮像システムの処理シーケンスを示す図である。
【図９】画像変位量推定部で行われる画像変位量推定処理のアルゴリズムを示すフローチャートである。
【図１０】画像変位量推定処理において求められた類似度曲線の例を示す図である。
【図１１】高解像度化処理部で行われる高解像度化処理のアルゴリズムを示すフローチャートである。
【図１２】高解像度化処理部の構成例を示すブロック図である。
【図１３】本発明の実施形態２に係る撮像システムにおいて基準画像を自動的に決定する方法の例を示す図である。
【図１４】本発明の実施形態３に係る撮像システムの処理シーケンスを示す図である。
【図１５】本発明の実施形態４に係る撮像システムにおける高解像度化処理について説明するための図である。
【図１６】本発明の実施形態５に係る撮像システムの処理シーケンスを示す図である。
【図１７】本発明の実施形態６に係る撮像システムにおける高解像度画像の倍率と高解像度化処理で使用される画像の枚数の関係を示すグラフである。
【符号の説明】
【００８０】
１ レンズ系
１ａ 絞り
３ 分光ハーフミラー系
４ シャッター
５ ローパスフィルタ
６ ＣＣＤ撮像素子
７ Ａ／Ｄ変換回路
８ 切替部
９ ＡＥ用フォトセンサー
１０ ＡＦモーター
１１ 撮像制御部
１２ 第一画像処理部
１３ バッファメモリ
１４ 圧縮部
１５ メモリーカードＩ／Ｆ部
１６ メモリーカード
１７ シャッターボタン判定部
１８ シャッターボタン
１９ 操作表示部
２０ 第二画像処理部
２０ａ 画像変位量推定部
２０ｂ 高解像度化処理部
１００ カメラ本体
１０１ 電源スイッチ
１０２ 液晶表示パネル
１０３ 操作ボタン
１０４ シャッターボタン
１０６ 後撮影準備完了通知
２０１ 補間拡大部
２０２ 画像蓄積部
２０３ ＰＳＦデータ保持部
２０４ 畳込み積分部
２０５ レジストレーション画像生成部
２０６ 画像比較部
２０７ 畳込み積分部
２０８ 正則化項演算部
２０９ 更新画像生成部
２１０ 収束判定部
【技術分野】
【０００１】
本発明は、撮像システムおよびプログラムに関し、特に複数枚の画像を撮影して画像間の画像変位量を推定する撮像システム等に関する。
【背景技術】
【０００２】
従来の電子カメラ（デジタルカメラ）では、使用者がシャッターボタンを半押ししているときに通常よりも高解像の画像を複数枚撮影して内蔵バッファメモリに記録しておき、シャッターボタンを全押ししたときに、全押しする直前の半押し中に撮影された高解像度画像を本撮影画像としてメモリーパックに記録して、シャッタータイミングにおける液晶表示パネルの表示画像と本撮影画像とのタイムラグを低減するものがあった（例えば、特許文献１参照）。
【０００３】
また最近では、複数枚の画像間の画像変位量をサブピクセルマッチングによって推定して複数枚の低解像度画像を位置合わせし（例えば、特許文献２参照）、超解像処理によって一枚の高解像度画像を生成する技術が開発されている（例えば、特許文献３参照）。
【特許文献１】特開２００５−９４２８８号公報（第１頁、図３）
【特許文献２】国際公開第０４／６３９９１号パンフレット
【特許文献３】国際公開第０４／６８８６２号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし従来の電子カメラでは（例えば、特許文献１参照）、全押しする直前に撮影された高解像度画像を本撮影画像として記録しているものの、本撮影画像の解像度はＣＣＤ等の撮像素子の画素数によって制限されるという問題点があった。
【０００５】
また、高解像度画像を生成するために複数枚の低解像度画像を位置合わせする場合には（例えば、特許文献２、３参照）、位置合わせの基準となる基準画像のフレームタイミングから撮影時間が離れるほど画像の画像変位量が大きくなり、適切な位置合わせを行うことが困難になるという問題点があった。
【０００６】
本発明は、上記のような問題点を鑑みてなされたものであり、複数枚の画像を位置合わせするのに用いる画像変位量を高い精度で推定することができ、高解像度画像の生成等が可能な撮像システム等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像システムは、画像を撮影して、画像の画像データを生成する撮像システムであって、第１段階の撮影指示が入力された後に第２段階の撮影指示が入力される撮影指示入力手段と、第１段階の撮影指示が入力されてから第２段階の撮影指示が入力されるまでの間に複数枚の画像を撮影する前撮影処理を行って、第２段階の撮影指示が入力された後に複数枚の画像を撮影する後撮影処理を行う撮影手段と、第２段階の指示が入力される前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前撮影処理および後撮影処理において撮影された複数枚の画像と基準画像との間の画像変位量を推定する画像変位量推定手段とを備えることを特徴とするものである。
【発明の効果】
【０００８】
本発明に係る撮像システムでは、第２段階の撮影指示が入力される前に前撮影処理を行って、第２段階の撮影指示が入力された後に後撮影処理を行い、第２段階の指示が入力される前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前撮影処理および後撮影処理において撮影された複数枚の画像と基準画像との間の画像変位量を推定するため、複数枚の画像を位置合わせするための画像変位量を高い精度で推定することができ、高解像度画像の生成等が可能となる。
【発明を実施するための最良の形態】
【０００９】
（実施形態１）
以下、図面を参照しながら本発明の実施形態１に係る撮像システムについて説明する。図１は、本発明の実施形態１に係る撮像システムの構成を示すブロック図である。なお図１には、撮像システムの例として静止画像を撮影する電子スチルカメラ（デジタルスチルカメラ）を示しているが、例えば静止画像の他に動画を撮影することのできる電子カメラ（デジタルカメラ）等であってもよい。また、撮像システムの構成は図１に示すものに限定されず、必要に応じて他の構成要素を追加したり、不必要な構成要素を省略することができる。
【００１０】
本実施形態に係る撮像システムは、絞り１ａを内包するレンズ系１、分光ハーフミラー系３、シャッター４、ローパスフィルタ５、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）撮像素子６、Ａ／Ｄ変換回路７、切替部８、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）用フォトセンサー９、ＡＦ（ＡｕｔｏＦｏｃｕｓ）モーター１０、撮像制御部１１、第一画像処理部１２、バッファメモリ１３、圧縮部１４、メモリーカードＩ／Ｆ（インターフェース）部１５、メモリーカード１６、シャッターボタン判定部１７、シャッターボタン１８、操作表示部１９、第二画像処理部２０を備える。なお、レンズ系１、分光ハーフミラー系３、シャッター４、ローパスフィルタ５、ＣＣＤ撮像素子６、Ａ／Ｄ変換回路７、切替部８、ＡＥ用フォトセンサー９、ＡＦモーター１０、撮像制御部１１、第一画像処理部１２、バッファメモリ１３、圧縮部１４等は、後に説明する前撮影処理および後撮影処理を行う撮影手段を構成する。
【００１１】
絞り１ａを内包するレンズ系１、分光ハーフミラー系３、シャッター４、ローパスフィルタ５、ＣＣＤ撮像素子６は、光軸に沿って配置されている。なお、本実施形態１ではＣＣＤ撮像素子６として単板式のＣＣＤ撮像素子を使用するものとするが、例えばＣＣＤ撮像素子６の代わりにＣＭＯＳ撮像素子等を用いてもよい。分光ハーフミラー系３から分岐した光束はＡＥ用フォトセンサー９に導かれる。レンズ系１には、合焦作業時にレンズ系の一部を移動するためのＡＦモーター１０が接続されている。ＣＣＤ撮像素子６からの信号は、Ａ／Ｄ変換回路７、切換部８および第一画像処理部１２を介してバッファメモリ１３へ入力されるか、または第一画像処理部１２を経由せずに切換部８からバッファメモリ１３へ直接入力される。
【００１２】
バッファメモリ１３は、圧縮部１４、第二画像処理部２０との間で画像データの入出力が可能であり各処理のワークバッファとしても使用される。バッファメモリ１３に保存された画像データは、メモリーカードＩ／Ｆ部１５を介して、脱着可能なメモリーカード１６へ入力され記録される。
【００１３】
ＡＥ用フォトセンサー９からの信号は撮像制御部１１へ入力されており、撮影制御部１１は、ＡＥ用フォトセンサー９からの信号に基づいて絞り１ａを制御すると共に、ＡＦモーター１０、ＣＣＤ撮像素子６、切替部８を制御する。また、シャッターボタン１８の状態をシャッターボタン判定部１７が判定し撮像制御部１１へ入力する。さらに、操作表示部１９からの信号も撮像制御部１１へ入力される。
【００１４】
第二画像処理部２０は、画像変位量推定部２０ａ、高解像度化処理部２０ｂを備えている。また第二画像処理部２０は、バッファメモリ１３との間で画像データの入出力が可能であり、さらにメモリーカードＩ／Ｆ部１５を介してメモリーカード１６との間で画像データの入出力が可能となっている。
【００１５】
図２は、本発明の実施形態１に係る撮像システムの外観構成を示す背面図である。本実施形態に係る撮像システムは電子スチルカメラであり、カメラ本体１００と、カメラ本体１００に備えられた電源スイッチ１０１、液晶表示パネル１０２（操作表示部１９）、操作ボタン１０３、シャッターボタン１０４（シャッターボタン１８）とを有している。
【００１６】
図３は、本発明の実施形態１に係る撮像システムで行われる処理を示すフローチャートである。本実施形態に係る撮像システムは、後に説明する高解像度化処理（Ｓ１１１）に必要となる複数枚の画像を得るため、撮影枚数設定（Ｓ１０１）で設定した枚数分の画像を撮影、記録する。使用者によって撮影枚数設定（Ｓ１０１）された枚数を元に前後撮影規定枚数決定処理（Ｓ１０２）を行って、後に説明する前撮影処理（Ｓ１０７）と後撮影処理（Ｓ１０９）において撮影、記録する画像の枚数を決定する。
【００１７】
図４は、前後撮影規定枚数決定処理（Ｓ１０２）の内容を示すフローチャートである。ここで、前後撮影規定枚数決定処理（Ｓ１０２）について説明する。図４に示すように、撮影枚数設定（Ｓ１０１）で設定された枚数が複数枚かどうかを判定し（Ｓ２０１）、１枚なら処理を終了し、複数枚なら前撮影処理（Ｓ１０７）で撮影、記録する前撮影枚数と後撮影処理（Ｓ１０９）で撮影、記録する後撮影枚数を以下の式（１）、式（２）で計算し（Ｓ２０２、Ｓ２０３）、処理を終了する。
前撮影枚数＝α×（撮影枚数／（α＋β））・・・（１）
後撮影枚数＝撮影枚数 − 前撮影枚数・・・（２）
本実施形態では、式（１）におけるα、βは、予め設定されているものとする。なお、撮影枚数設定（Ｓ１０１）において、前撮影枚数と後撮影枚数を直接的に指定するように構成することもできる。また、撮影枚数設定（Ｓ１０１）において設定する撮影枚数や、α、βの値を、ユーザーが撮影しようとするシーンに応じて設定しておくこともできる。例えば、被写体の動きが激しいシーンを撮影する旨を操作ボタン１０３などの操作でユーザーが指示したとき等には、撮影枚数が多くなるように、撮影枚数を設定したり、αを比較的大きく設定したりすることができる。
【００１８】
このように前後撮影規定枚数決定処理（Ｓ１０２）を行った後、バッファメモリ１３等に記録されている前後撮影記録枚数を０枚に初期化（Ｓ１０３）し、シャッターボタン１０４の状態判定を行う（Ｓ１０４）。シャッターボタン１０４が全押し状態なら通常の１枚撮影を行い（Ｓ１１３）、撮影された画像の画像データを記録（Ｓ１１２）して終了する。シャッターボタン１０４が半押し状態ならＡＦ制御（Ｓ１０５）を行う。その後、撮影枚数が複数枚かどうかを判定して（Ｓ１０６）、撮影枚数が複数枚の場合には前撮影処理（Ｓ１０７）において複数枚の画像を撮影、記録する。
【００１９】
図５は、前撮影処理（Ｓ１０７）の内容を示すフローチャートである。ここで、前撮影処理（Ｓ１０７）について説明する。図５に示すように、まず画像の１枚撮影を行って撮影された画像の画像データをバッファメモリ１３に循環記録（Ｓ３０１）する。ここで循環記録とは、古い画像の画像データを新しい画像の画像データで上書きしながら所定枚数分の画像の画像データ、例えば前後撮影規定枚数決定処理（Ｓ１０２）で決定された前撮影枚数分の画像データを循環的に記録することである。なおバッファメモリ１３は、前撮影処理（Ｓ１０７）において撮影される複数枚の画像のうち所定枚数分の画像の画像データを記録できる記憶領域を有しており、例えば、既に所定枚数分の画像の画像データが記録されている場合には、記録されている画像データの中で一番古い画像データから上書きすることにより画像データを循環的に記録するようになっている。これにより、メモリを節約することが可能となる。
【００２０】
その後、前撮影記録枚数をカウントアップして（Ｓ３０２）、図３の前後撮影規定枚数決定処理（Ｓ１０２）で決定した前撮影枚数とカウントアップした前撮影記録枚数が同じになったかどうかを判定（Ｓ３０３）し、同じになるまで１枚撮影と循環記録（Ｓ３０１）、前撮影記録枚数カウントアップ（Ｓ３０２）を繰り返す。前撮影枚数と前撮影記録枚数が同じになったら、後撮影準備完了通知（Ｓ３０４）を使用者に通知する。通知方法としては、図２の液晶表示パネル１０２に完了の通知を表示しても良いし、例えば音声を使って通知しても良い。
【００２１】
このように前撮影処理（Ｓ１０７）を行った後、シャッターボタン１０４（シャッターボタン１８）の状態を判定（Ｓ１０８）し、半押し状態なら前撮影処理（Ｓ１０７）を繰り返し、全押し状態なら後撮影処理（Ｓ１０９）において複数枚の画像を撮影、記録する。それ以外の状態、例えば使用者がシャッターボタン１０４を離している場合には、前後撮影記録枚数初期化処理（Ｓ１０３）へ戻る。
【００２２】
図６は、後撮影処理（Ｓ１０９）の内容を示すフローチャートである。ここで、後撮影処理（Ｓ１０９）について説明する。本実施形態では、後撮影処理（Ｓ１０９）においてまずｍ枚の撮影（Ｓ４０１）を行うが、このｍ枚の撮影のタイミングは使用者がシャッターボタン１０４を全押しした直後のタイミングである。本実施形態では、ｍ＝１の場合で説明するが、撮像素子の性能や、上述の撮影しようとするシーンに応じてｍ＝２枚以上とすることもできる。また、操作ボタン１０３などの操作によって、ユーザーがｍの値を指定する構成にすることもできる。１枚目の撮影（Ｓ４０１）を行った後、後撮影記録枚数をカウントアップ（Ｓ４０２）して、前後撮影規定枚数決定処理（Ｓ１０２）で決定した後撮影枚数とカウントアップした後撮影記録枚数が同じになったかどうかを判定し（Ｓ４０３）、１枚撮影（Ｓ４０５）、後撮影記録枚数カウントアップ（Ｓ４０２）を繰り返す。この際、例えばバッファメモリ１３の記憶領域を前撮影処理用と後撮影処理用に割り当てておき、それぞれの撮影処理に割り当てられた記憶領域を使用するようにする。
【００２３】
また本実施形態では、後撮影処理（Ｓ１０９）において全押し直後のｍ枚（上述のように、本実施形態ではｍ＝１としている）の撮影（Ｓ４０１）を行った後、シャッターボタン１０４が全押しされてから所定の時間ｔが経過したかどうかを判定（Ｓ４０４）し、所定の時間ｔが経過するまで画像の撮影を停止する。Ｓ４０４においてシャッターボタン１０４が全押しされてから所定の時間ｔが経過したと判定された場合には、２枚目以降の画像の撮影（Ｓ４０５）を開始する。この撮影を停止する所定の時間ｔは、予め設定されており、所定の時間ｔは、例えばシャッターボタン１８が全押しされる際の手ぶれ量が大きいと考えられる時間として設定することができる。したがって、所定の時間ｔは、撮像素子の性能や、上述の撮影しようとするシーンに応じて、適当な値が設定される。
【００２４】
このように後撮影処理（Ｓ１０９）を行った後に、画像変位量推定処理（Ｓ１１０）、高解像度化処理（Ｓ１１１）を行って、高解像度化処理（Ｓ１１１）によって生成された高解像度画像を画像記録（Ｓ１１２）し、処理を終了する。なお画像変位量推定処理（Ｓ１１０）、高解像度化処理（Ｓ１１１）については、後に説明する。
【００２５】
ここで、本実施形態に係る撮像システムで行われる上述の処理について、画像信号（画像データ）の流れに沿ってさらに詳しく説明する。まず、使用者が電源スイッチ１０１をＯＮ状態にしてシャッターボタン１０４を押すことなどにより、撮像制御部１１は、絞り１ａ、シャッター４、ＡＦモーター１０等を制御して画像の撮影を行う。画像の撮影では、ＣＣＤ撮像素子６からの画像信号がＡ／Ｄ変換回路７にてデジタル信号化され、第一画像処理部１２により周知のホワイトバランス、強調処理、補間処理などがなされたＲＧＢ（赤、緑、青）の画像信号として、バッファメモリ１３に出力される。
【００２６】
図３のＳ１０４においてシャッターボタン１０４が半押しされている場合にＡＦ制御（Ｓ１０５）を行うが、このときの合焦位置は、ＣＣＤ撮像素子６からの出力信号をＡ／Ｄ変換回路７にてデジタル信号化し、単板状態の画像信号から（例えば、Ｇ成分のみを用いて）輝度信号を算出して、その輝度信号中のエッジ強度から求められる。すなわち、ＡＦモーター１０にてレンズ系１の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。
【００２７】
そしてＡＦをロックした後、シャッターボタン１０４が半押しされている間、前撮影処理（Ｓ１０７）を行い、例えばバッファメモリ１３に確保された前撮影枚数分の記憶領域を用いて画像データの循環記録を行う。その際、Ａ／Ｄ変換回路７にてデジタル信号化された画像信号は、第一画像処理部１２を介してバッファメモリ１３に記録される。前撮影枚数分の画像データがバッファメモリ１３に記録されると、撮像制御部１１が後撮影準備完了通知を出すための信号を出力し、例えば液晶表示パネル１０２に後撮影準備完了通知が表示される。
【００２８】
図７は、後撮影準備完了通知の例を示す図である。図７に示す例では、液晶表示パネル１０２に「本撮影ＯＫ！」という後撮影準備完了通知１０６を表示することにより、使用者に通知を行うようになっている。
【００２９】
後撮影準備完了通知の後、使用者がシャッターボタン１０４を全押しすると撮像制御部１１が後撮影処理（Ｓ１０９）を行う。後撮影処理（Ｓ１０９）では最初に撮影された一枚目の画像の画像信号を、第一画像処理部１２を介してバッファメモリ１３へ保存し、撮像制御部１１でシャッターボタン１０４が全押しされてから所定の時間ｔが経過したかどうかを判定する（Ｓ４０４）。シャッターボタン１０４が全押しされてから所定の時間ｔが経過するまでは画像の撮影を停止して、所定の時間ｔが経過したら後撮影処理（Ｓ１０９）における二枚目以降の撮影を開始し、二枚目以降の画像の画像信号も同様に第一画像処理部１２を介してバッファメモリ１３に保存される。バッファメモリ１３に保存された画像データは圧縮部１４でＪＰＥＧなどの画像圧縮が施され、バッファメモリ１３をワークバッファとして圧縮された画像データがバッファメモリ１３からメモリーカードＩ／Ｆ部１５を介してメモリーカード１６に記録される。
【００３０】
なお第二画像処理部２０は、メモリーカードＩ／Ｆ部１５を介してメモリーカード１６との間で画像データの入出力が可能となっており、またバッファメモリ１３との間でも画像データの入出力が可能となっている。このためバッファメモリ１３が大容量の場合には、圧縮された画像データや圧縮される前の画像データをメモリーカード１６へ記録せずこれらの画像データをバッファメモリ１３に記録しておき、高解像度化処理部２０ｂで生成された高解像度画像の画像データのみをバッファメモリ１３からメモリーカード１６へ記録しても良い。
【００３１】
図８は、本発明の実施形態１に係る撮像システムの処理シーケンスを示す図である。本実施形態では上述のように、シャッターボタン１０４が半押しされてからＡＦロックした後、例えば図８のＡに示す期間中、前撮影処理（Ｓ１０７）を行いバッファメモリ１３に前撮影枚数分の画像データを確保しながら循環記録する。そしてシャッターボタン１０４が全押しされた直後に、後撮影処理（Ｓ１０９）における一枚撮影（Ｓ４０１）を行った後、例えば図８のＢに示す期間中、画像の撮影を停止する。それから、後撮影処理（Ｓ１０９）における二枚目以降の撮影を行い、バッファメモリ１３に後撮影枚数分の画像データを記録する。なお図８のＣは、後に説明する画像変位量推定処理（Ｓ１１０）に用いられる画像データが記録される期間を示している。図８に示す処理を行った後、高解像度化処理（Ｓ１１１）に必要な枚数分の画像データを用いて画像変位量推定処理（Ｓ１１０）、高解像度化処理（Ｓ１１１）を行う。
【００３２】
ここで、第二画像処理部２０で行われる画像変位量推定処理（Ｓ１１０）、高解像度化処理（Ｓ１１１）について説明する。第二画像処理部２０では、はじめに画像変位量推定部２０ａにおいて画像間の画像変位量（画素位置対応）を推定した後、この画素変位量と前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）で得られた画像データを用いて高解像度化処理部２０ｂにおいて高解像度画像を生成する。
【００３３】
まず、画像変位量推定処理（Ｓ１１０）について説明する。画像変位量推定部２０ａは、シャッターボタン１０４が全押しされる前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像と基準画像との間の画像変位量を推定する。なお本実施形態では、シャッターボタン１０４が全押しされた直後に撮影された画像（図８の１枚撮影時の画像）を基準画像とする。この場合、上記の規定期間はシャッターボタン１０４が全押しされてから最初の画像が撮影されるまでの期間である。
【００３４】
図９は、画像変位量推定部２０ａで行われる画像変位量推定処理（Ｓ１１０）のアルゴリズムを示すフローチャートである。以下、図９に示すアルゴリズムの流れに添って画像変位量推定処理（Ｓ１１０）の説明を行う。まず、画像変位量推定の基準となる画像を基準画像として１枚読み込む（Ｓ５０１）。本実施形態では、シャッターボタン１０４が全押しされた直後に撮影された画像が基準画像となる。次に、基準画像を複数の画像変位パラメータで変形させ、画像列を生成する（Ｓ５０２）。このとき、例えば基準画像を所定の範囲で並進、回転させて画像列を生成する。それから、基準画像との間の画像変位量推定を行う参照画像として、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像のうち１枚の画像を読み込む（Ｓ５０３）。そして、領域ベースマッチング手法等のピクセルマッチング手法を用いて基準画像と参照画像との間で大まかな画素位置の対応付けを行う（Ｓ５０４）。これにより、基準画像と参照画像との間の画像変位量がピクセル（画素）レベルで求められる。
【００３５】
次に、Ｓ５０２で基準画像を変形することにより生成された画像列と参照画像との間の類似度値を算出する（Ｓ５０５）。この類似度は、例えばＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の画像列と参照画像との差分として求めることができる。そしてＳ５０２において画像列を生成した際の画像変位パラメータと、Ｓ５０５で算出した類似度値との関係を用いて、離散的な類似度マップを作成する（Ｓ５０６）。それから、Ｓ５０６で作成した離散的な類似度マップを補完して連続的な類似度曲線を求め、この連続的な類似度曲線において類似度値の極値を探索する（Ｓ５０７）。離散的な類似度マップを補完して連続的な類似度曲線を求める方法としては、例えばパラボラフィッティングやスプライン補間法がある。この連続的な類似度曲線において類似度値が極値になるときの画像変位パラメータが、基準画像と参照画像との間の画像変位量として推定される。
【００３６】
その後、高解像度化処理（Ｓ１１１）で用いられるすべての画像について画像変位量推定が行われたかどうかを判定し（Ｓ５０８）、すべての画像について画像変位量推定が行われていない場合には、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像のうち他の画像を次の画像として（Ｓ５０９）、Ｓ５０３からＳ５０８までの処理を繰り返す。なお本実施形態では、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影されバッファメモリ１３に記録されたすべての画像について画像変位量推定を行うものとするが、バッファメモリ１３に記録された複数枚の画像の一部についてのみ画像変位量推定を行うようにしてもよい。Ｓ５０８において、高解像度化処理（Ｓ１１１）で用いられるすべての画像について画像変位量推定が行われたと判定された場合には処理を終了する。
【００３７】
図１０は、画像変位量推定処理（Ｓ１１０）のＳ５０７において求められた類似度曲線の例を示す図である。図１０において、縦軸は類似度値を、横軸は図９のＳ５０２において画像列を生成した際の画像変位パラメータを示している。図１０の例では、画像列と参照画像との間の類似度がＳＳＤで算出されており、類似度曲線が離散的な類似度マップをパラボラフィッティングで補完することにより求められているため、類似度値が小さいほど類似度が高くなる。このように、離散的な類似度マップを補完して連続的な類似度曲線を求め、その極値（図１０の例では極小値）を探索することにより、基準画像と参照画像との間の画像変位量をサブピクセルレベルで求めることができる。
【００３８】
このように、画像変位量推定部２０ａで推定された画像変位量と、画像変位量を求めた画像の画像データを高解像度化処理部２０ｂへ転送し、基準画像に対して超解像処理を用いた高解像度化処理（Ｓ１１１）を行う。
【００３９】
図１１は、高解像度化処理部２０ｂで行われる高解像度化処理（Ｓ１１１）のアルゴリズムを示すフローチャートである。以下、図１１に示すアルゴリズムの流れに添って超解像処理を用いた高解像度化処理（Ｓ１１１）の説明を行う。まず、基準画像の画像データと画像変位量推定処理（Ｓ１１０）において画像変位量が推定された複数枚の画像の画像データを読み込む（Ｓ６０１）。次に、基準画像を高解像度化処理のターゲット画像として、このターゲット画像に対しバイリニア補間やバイキュービック補間等の補完処理を行って初期画像ｚ0を作成する（Ｓ６０２）。なおこの補間処理は、場合により省略することができる。
【００４０】
それから、画像変位量推定部２０ａで推定された画像変位量を用いて、ターゲット画像と画像変位量推定処理（Ｓ１１０）において画像変位量が推定された画像との間の画素対応関係を明らかにし、ターゲット画像の拡大座標を基準とする座標空間において重ねあわせ処理を行って、レジストレーション画像ｙを生成する（Ｓ６０３）。なおここでｙは、レジストレーション画像の画像データを表すベクトルである。このレジストレーション画像ｙを生成する方法の詳細については、「田中・奥富、再構成型超解像処理の高速化アルゴリズム、Computer Vision and Image Media(CVIM) Vol.2004、No.113、pp.97-104 (2004-11)」に開示されている。Ｓ６０３における重ねあわせ処理は、例えば画像変位量推定処理（Ｓ１１０）において画像変位量が推定された複数枚の画像の各ピクセル値と、ターゲット画像の拡大座標との間で画素位置の対応付けを行い、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上においていくことで行われる。このとき、同一の格子点上に複数のピクセル値をおく場合があるが、その場合にはそれらのピクセル値に対して平均化処理を実施する。
【００４１】
次に、光学伝達関数(ＯＴＦ、Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ)、ＣＣＤアパーチャ（ＣＣＤ開口）等の撮像特性を考慮した点広がり関数(ＰＳＦ、Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ)を求める（Ｓ６０４）。このＰＳＦは、以下の式（３）における行列Ａに反映され、例えば簡易的にＧａｕｓｓ関数を用いることができる。それから、Ｓ６０３で生成されたレジストレーション画像ｙとＳ６０４で求められたＰＳＦを用いて、以下の式（３）で表される評価関数ｆ（ｚ）の最小化を行い（Ｓ６０５）、ｆ（ｚ）が最小化されたかどうかを判定する（Ｓ６０６）。
【００４２】
【数１】
【００４３】
式（３）において、ｙはＳ６０３で生成されたレジストレーション画像の画像データを表す列ベクトル、ｚはターゲット画像を高解像度化した高解像度画像の画像データを表す列ベクトル、ＡはＰＳＦ等を含めた撮像システムの特性をあらわす画像変換行列である。また、ｇ（ｚ）は画像の滑らかさや画像の色の相関等を考慮した正則化項であり、λは重み係数である。式（３）で表される評価関数ｆ（ｚ）の最小化には、例えば最急降下法を用いることができる。最急降下法を用いる場合には、ｆ（ｚ）をｚの各要素で偏微分した値を計算して、それらの値を要素とするベクトルを生成する。そして以下の式（４）に示すように、偏微分した値を要素とするベクトルをｚに付加することにより、高解像度画像ｚを更新させていき（Ｓ６０７）、ｆ（ｚ）が最小となるｚを求める。
【００４４】
【数２】
【００４５】
式（４）において、ｚnはｎ回目の更新を行った高解像度画像の画像データを表す列ベクトルであり、αは更新量の歩み幅である。なお、最初のＳ６０５の処理では、高解像度画像ｚとしてＳ６０２で求められた初期画像ｚ0を用いることができる。Ｓ６０６においてｆ（ｚ）が最小化されたと判定された場合には処理を終了し、そのときのｚnを最終的な高解像度画像としてメモリーカード１６等に記録する。このようにして、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像よりも高解像の高解像度画像を得ることができる。
【００４６】
図１２は、高解像度化処理部２０ｂの構成例を示すブロック図である。ここで、高解像度化処理部２０ｂで行われる超解像処理を用いた高解像度化処理（Ｓ１１１）についてさらに説明する。図１２に示す高解像度化処理部２０ｂは、補間拡大部２０１、画像蓄積部２０２、ＰＳＦデータ保持部２０３、畳込み積分部２０４、レジストレーション画像生成部２０５、画像比較部２０６、畳込み積分部２０７、正則化項演算部２０８、更新画像生成部２０９、収束判定部２１０から構成される。
【００４７】
はじめに、シャッターボタン１０４が全押しされる前後の所定の期間である規定期間に撮影された基準画像を補間拡大部２０１に与え、基準画像の補間拡大を行う（図１１のＳ６０２に対応）。ここで用いられる補間拡大の方法としては、例えばバイリニア補間やバイキュービック補間などが挙げられる。補間拡大部２０１において補間拡大された基準画像は、例えば初期画像ｚ0として画像蓄積部２０２に送られ、ここに蓄積される。次に、補間拡大された基準画像は畳込み積分部２０４に与えられ、ＰＳＦデータ保持部２０３により与えられるＰＳＦデータ（式（３）の画像変換行列Ａに相当）との間で畳込み積分が行われる。
【００４８】
また、基準画像および画像変位量推定処理（Ｓ１１０）において画像変位量が推定された複数枚の参照画像は、レジストレーション画像生成部２０５に与えられ、画像変位量推定部２０ａで求められた画像変位量を元に基準画像の拡大座標を基準とする座標空間で重ねあわせ処理を行うことにより、レジストレーション画像ｙが生成される（図１１のＳ６０３に対応）。レジストレーション画像生成部２０５における重ねあわせ処理は、例えば画像変位量推定処理（Ｓ１１０）において画像変位量が推定された複数枚の画像の各ピクセル値と、基準画像の拡大座標との間で画素位置の対応付けを行い、各ピクセル値を基準画像の拡大座標の最も近い格子点上においていくことで行われる。このとき、同一の格子点上に複数のピクセル値をおく場合があるが、その場合にはそれらのピクセル値に対して平均化処理を実施する。
【００４９】
畳込み積分部２０４において畳込み積分された画像データ（ベクトル）は画像比較部２０６に送られ、レジストレーション画像生成部２０５において生成されたレジストレーション画像ｙとの間で、同一のピクセル位置におけるピクセル値の差分を算出することにより、差分画像データ（式（３）の（ｙ−Ａｚ）に相当）が生成される。画像比較部２０６において生成された差分画像データは畳込み積分部２０７に与えられ、ＰＳＦデータ保持部２０３により与えられるＰＳＦデータとの間で畳込み積分が行われる。畳込み積分部２０７は、例えば式（３）における画像変換行列Ａの転置行列と差分画像データを表す列ベクトルとを畳込み積分することにより、式（３）の‖ｙ−Ａｚ‖2をｚの各要素で偏微分したベクトルを生成する。
【００５０】
また、画像蓄積部２０２に蓄積された画像は正則化項演算部２０８に与えられ、式（３）における正則化項ｇ（ｚ）が求められると共に、正則化項ｇ（ｚ）をｚの各要素で偏微分したベクトルが求められる。正則化項演算部２０８は、例えば、画像蓄積部２０２に蓄積された画像データに対して、ＲＧＢからＹＣrＣbの色変換処理を行い、そのＹＣrＣb成分（輝度成分と色差成分）に対して周波数高域通過フィルタ（ラプラシアンフィルタ）を畳込み積分したベクトルを求める。そして、このベクトルの二乗ノルム（長さの二乗）を正則化項ｇ（ｚ）として、ｇ（ｚ）をｚの各要素で偏微分したベクトルを生成する。Ｃr、Ｃb成分（色差成分）にラプラシアンフィルタを掛けると偽色の成分が抽出されるため、正則化項ｇ（ｚ）を最小化することにより偽色の成分を除去することができる。このため、式（３）に正則化項ｇ（ｚ）を含めることで「一般に画像の色差成分は滑らかな変化である」という画像の先験情報を用いることとなり、色差を抑制した高解像度画像を安定して求めることが可能となる。
【００５１】
畳込み積分部２０７で生成された画像データ（ベクトル）、画像蓄積部２０２に蓄積された画像データ（ベクトル）、正則化項演算部２０８で生成された画像データ（ベクトル）は、更新画像生成部２０９に与えられる。更新画像生成部２０９では、これらの画像データ（ベクトル）が式（３）、式（４）に示すλ、α等の重み係数を乗じて加算され、更新された高解像度画像が生成される（式（４）に対応）。
【００５２】
それから、更新画像生成部２０９において更新された高解像度画像は、収束判定部２１０へ与えられ、収束判定が行われる。この収束判定では、収束にかかった繰り返し演算回数が一定回数よりも多くなった場合に高解像度画像の更新作業が収束したと判断しても良いし、また、過去に更新された高解像度画像を記録しておき、現在の高解像度画像との差分を取って、その更新量が一定の値よりも少ないと判断された場合に高解像度画像の更新作業が収束したと判断しても良い。
【００５３】
収束判定部２１０において更新作業が収束したと判断された場合には、更新された高解像度画像は最終的な高解像度画像として外部へ出力される。更新作業が収束していないと判断された場合には、更新された高解像度画像は画像蓄積部２０２へ与えられ、次回の更新作業に利用される。この高解像度画像は、次回の更新作業のために畳込み積分部２０４、正則化項演算部２０８へ与えられる。以上の処理を繰り返し、更新画像生成部２０９で高解像度画像を更新していくことで、良好な高解像度画像を得ることができる。
【００５４】
本実施形態では、第１段階の撮影指示としてシャッターボタン１０４が半押しされている間に前撮影処理（Ｓ１０７）を行って、第２段階の撮影指示としてシャッターボタン１０４が全押しされた後に後撮影処理（Ｓ１０９）を行い、シャッターボタン１０４が全押しされた直後に撮影された画像を基準画像として、参照画像と基準画像との間の画像変位量を推定するため、参照画像と基準画像との間の画像変位量を高い精度で推定することができ、良好な高解像度画像の生成が可能となる。
【００５５】
また、後撮影処理（Ｓ１０９）において全押し直後の１枚撮影（Ｓ４０１）を行った後に、手ぶれ量が大きいと考えられる時間が経過するまで画像の撮影を停止することにより、参照画像と基準画像との間の画像変位量をさらに高い精度で推定することが可能となる。
【００５６】
（実施形態２）
図１３は、本発明の実施形態２に係る撮像システムにおいて基準画像を自動的に決定する方法の例を示す図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００５７】
図１３（ａ）では、シャッターボタン１０４が全押しされる前後に所定の枚数の画像が撮影される期間として規定期間が決められており、この規定期間に撮影されたいずれかの画像を基準画像として、複数枚の参照画像と基準画像との間の画像変位量を推定し、後の高解像度化処理（Ｓ１１１）等を行う。なお図１３（ａ）の例では、前撮影枚数が３０枚、後撮影枚数が３０枚であり、シャッターボタン１０４が全押しされる前１０枚と後１０枚の合計２０枚が撮影される期間を規定期間とし、この２０枚の中から基準画像を決定するようになっている。
【００５８】
図１３（ｂ）では、図１３（ａ）と同様にシャッターボタン１０４が全押しされる前後に所定の枚数の画像が撮影される期間として規定期間が決められているが、後撮影枚数が６枚しかないため、シャッターボタン１０４が全押しされる前１４枚と後６枚の合計２０枚が撮影される期間を規定期間とし、この２０枚の中から基準画像を決定するようになっている。
【００５９】
図１３（ｃ）では、シャッターボタン１０４が全押しされる前後の所定の長さの時間として規定期間が決められており、この規定期間に撮影されたいずれかの画像を基準画像として、複数枚の参照画像と基準画像との間の画像変位量を推定し、後の高解像度化処理（Ｓ１１１）等を行う。なお図１３（ｃ）の例では、前撮影処理（Ｓ１０７）を行う時間が１秒、後撮影処理（Ｓ１０９）を行う時間が１秒であり、シャッターボタン１０４が全押しされる前１／３秒と後１／３秒の合計２／３秒を規定期間とし、この２／３秒の間に撮影された画像の中から基準画像を決定するようになっている。ここで例えば、撮像システムのフレームレートが３０ｆｐｓの場合、１／３秒の間に撮影される画像は１０枚となる。
【００６０】
図１３（ｄ）では、図１３（ｃ）と同様にシャッターボタン１０４が全押しされる前後の所定の長さの時間として規定期間が決められているが、前撮影処理（Ｓ１０７）を行う時間が０．２秒しかないため、シャッターボタン１０４が全押しされる前０．２秒と後（（１／３−０．２）＋１／３）秒の合計２／３秒を規定期間とし、この２／３秒の間に撮影された画像の中から基準画像を決定するようになっている。なお効果については、実施形態１に係る撮像システムと同様である。
【００６１】
（実施形態３）
図１４は、本発明の実施形態３に係る撮像システムの処理シーケンスを示す図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１や実施形態２に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００６２】
本実施形態では図１４に示すように、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された画像の画像データを、画像処理の施されていないローデータ（ＲＡＷデータ）としてバッファメモリ１３に記録する。なおバッファメモリ１３は、前撮影処理（Ｓ１０７）において撮影された画像の画像データをＲＡＷデータとして循環記録（実施形態１参照）するものとする。また本実施形態では、切替部８が前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された画像の画像データをＲＡＷデータのままバッファメモリ１３に直接記録する。これにより、高解像度化処理部２０ｂにおいて高解像度化処理（Ｓ１１１）に適したＲＡＷデータを用いることができる。その他の効果については、実施形態１や実施形態２に係る撮像システムと同様である。
【００６３】
（実施形態４）
図１５は、本発明の実施形態４に係る撮像システムにおける高解像度化処理について説明するための図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１や実施形態２や実施形態３に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００６４】
本実施形態では、レジストレーション画像ｙを生成する代わりに、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像の画像データｙkを用いて高解像度化処理（実施形態１の高解像度化処理Ｓ１１１に相当）を行い、その際、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像に対して重み付けを行う。本実施形態における評価関数ｆ（ｚ）は、以下の式（５）で表される。
【００６５】
【数３】
【００６６】
式（５）において、ｙkは前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）においてｋ番目に撮影された画像（低解像度画像）の画像データを表す列ベクトル、ａkは各低解像度画像に対する重み係数、ｚはターゲット画像を高解像度化した高解像度画像の画像データを表す列ベクトル、Ａkは画像間モーション、ＰＳＦ等を含めた撮像システムの特性をあらわす画像変換行列である。本実施形態では、Ａkが画像変位量推定処理（Ｓ１１０）で推定された画像変位量を用いて算出されており、ターゲット画像と低解像度画像の位置合わせができるようになっている。また、ｇ（ｚ）は画像の滑らかさや画像の色の相関等を考慮した正則化項であり、λは重み係数である。本実施形態でも実施形態１と同様に、最急降下法等を用いて、式（５）で表される評価関数ｆ（ｚ）が最小となる高解像度画像ｚを求める。
【００６７】
本実施形態では図１５に示すように、シャッターボタン１０４が全押しされた時点（基準画像が撮影される直前）により近い時点で撮影された画像に対してより高い重み付けを行うようになっている。例えば、低解像度画像のｎフレーム目（基準画像）を高解像度化する場合には、ｎフレーム目に近いフレームほど重み係数ａkの値を大きくする。なお重み係数ａkの値は、図１５に示すようにガウス分布的に重みを変化させてもよいし、基準画像から近い所定の範囲内のフレームに他のフレームよりも大きい一定の重みをつけるようにしてもよい。
【００６８】
本実施形態では、基準画像が撮影される時点により近い時点で撮影された画像に対してより高い重み付けを行うようになっているため、類似度が高いと考えられる画像を用いて良好な高解像度画像を生成することが可能となる。その他の効果については、実施形態１や実施形態２や実施形態３に係る撮像システムと同様である。
【００６９】
（実施形態５）
図１６は、本発明の実施形態５に係る撮像システムの処理シーケンスを示す図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１や実施形態２や実施形態３や実施形態４に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００７０】
本実施形態では、後撮影処理（実施形態１のＳ１０９）において画像の撮影を停止せず、前撮影処理（実施形態１のＳ１０７）と同様に複数枚の画像を連続的に撮影する。そして、シャッターボタン１０４が全押しされた直後（図１６のＮ）に撮影された画像を基準画像とするが、図１６（ａ）の例では、基準画像が撮影された後に撮影された所定の枚数（図１６（ａ）では２枚）の画像を除外して高解像度化処理を行う。なお高解像度化処理に用いない画像については、画像変位量推定処理（Ｓ１１０）を行う必要もない。
【００７１】
また図１６（ｂ）の例では、実施形態４の重み付けを用いた高解像度化処理を行うが（式（５）参照）、基準画像が撮影された後に撮影された所定の枚数（図１６（ｂ）では２枚）の画像の重み係数ａkを小さくする。
【００７２】
本実施形態では、シャッターボタン１０４が全押しされた後に撮影された手振れ量が多いと考えられる所定の枚数の画像を除外若しくは区別して高解像度化処理を行うため、良好な高解像度画像を生成することが可能となる。その他の効果については、実施形態１や実施形態２や実施形態３や実施形態４に係る撮像システムと同様である。
【００７３】
（実施形態６）
図１７は、本発明の実施形態６に係る撮像システムにおける高解像度画像の倍率と高解像度化処理で使用される画像の枚数の関係を示すグラフである。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１や実施形態２や実施形態３や実施形態４や実施形態５に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００７４】
本実施形態では、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）において撮影された複数枚の画像のうち、高解像度化処理に使用する画像の枚数が、生成される高解像度画像の倍率（元の画像に対する解像度の比）に応じて自動的に設定される。このとき図１７に示すように、高解像度画像の倍率が大きいほど高解像度化処理に使用する画像の枚数を多くする。
【００７５】
また、例えば実施形態１の撮影枚数設定（Ｓ１０１）の代わりに、使用者が高解像度画像の倍率を設定するようにして、その高解像度画像の生成に必要な枚数の画像を算出し、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）においてその枚数分の画像を撮影するようにしてもよい。なおこのとき、前撮影処理（Ｓ１０７）と後撮影処理（Ｓ１０９）で撮影する画像の枚数を別々に算出するようにしてもよい。
【００７６】
本実施形態では、高解像度画像の倍率に応じた枚数の画像を用いて高解像度化処理を行うため、良好な高解像度画像を生成することが可能となる。その他の効果については、実施形態１や実施形態２や実施形態３や実施形態４や実施形態５に係る撮像システムと同様である。
【００７７】
（実施形態７）
本実施形態に係る撮像システムは、前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）をデジタルスチルカメラ等の撮像装置で行い、画像変位量推定処理（Ｓ１１０）および高解像度化処理（Ｓ１１１）をパーソナルコンピュータ等の画像処理装置で行うようになっている。その他の撮像システムの構成および処理は、実施形態１から６のいずれかの撮像システムと同様である。本実施形態のように画像の撮影と画像処理を別の装置で行う場合には、画像変位量推定処理（Ｓ１１０）および高解像度化処理（Ｓ１１１）で用いられる画像データ、どの画像を基準画像とするかについての情報等を画像処理装置に転送若しくは入力する必要がある。また実施形態４のように重み付けを用いた高解像度化処理を行う場合には、重み係数の情報等を画像処理装置に与えることが必要である。なお効果については、実施形態１から６のいずれかの撮像システムと同様である。
【００７８】
なお、本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。例えば実施形態１から６では、前撮影処理（Ｓ１０７）を開始する第１の段階の撮影指示としてシャッターボタン１０４の半押しを、後撮影処理（Ｓ１０９）を開始する第２段階の撮影指示としてシャッターボタン１０４の全押しを例に挙げているが、第１の段階の撮影指示および第２段階の撮影指示の入力を別の方法で行ってもよい。また、実施形態１から６では基準画像を高解像度化処理する方法として超解像処理を用いているが、超解像処理を用いた高解像度化処理の代わりに、例えば前撮影処理（Ｓ１０７）および後撮影処理（Ｓ１０９）で撮影された画像の画像変位量を推定した後、画像を重ね合わせて加重平均し、ランダムノイズを低減するような画像処理を行うようにしてもよい。
【図面の簡単な説明】
【００７９】
【図１】本発明の実施形態１に係る撮像システムの構成を示すブロック図である。
【図２】本発明の実施形態１に係る撮像システムの外観構成を示す背面図である。
【図３】本発明の実施形態１に係る撮像システムで行われる処理を示すフローチャートである。
【図４】実施形態１における前後撮影規定枚数決定処理の内容を示すフローチャートである。
【図５】実施形態１における前撮影処理の内容を示すフローチャートである。
【図６】実施形態１における後撮影処理の内容を示すフローチャートである。
【図７】実施形態１における後撮影準備完了通知の例を示す図である。
【図８】本発明の実施形態１に係る撮像システムの処理シーケンスを示す図である。
【図９】画像変位量推定部で行われる画像変位量推定処理のアルゴリズムを示すフローチャートである。
【図１０】画像変位量推定処理において求められた類似度曲線の例を示す図である。
【図１１】高解像度化処理部で行われる高解像度化処理のアルゴリズムを示すフローチャートである。
【図１２】高解像度化処理部の構成例を示すブロック図である。
【図１３】本発明の実施形態２に係る撮像システムにおいて基準画像を自動的に決定する方法の例を示す図である。
【図１４】本発明の実施形態３に係る撮像システムの処理シーケンスを示す図である。
【図１５】本発明の実施形態４に係る撮像システムにおける高解像度化処理について説明するための図である。
【図１６】本発明の実施形態５に係る撮像システムの処理シーケンスを示す図である。
【図１７】本発明の実施形態６に係る撮像システムにおける高解像度画像の倍率と高解像度化処理で使用される画像の枚数の関係を示すグラフである。
【符号の説明】
【００８０】
１ レンズ系
１ａ 絞り
３ 分光ハーフミラー系
４ シャッター
５ ローパスフィルタ
６ ＣＣＤ撮像素子
７ Ａ／Ｄ変換回路
８ 切替部
９ ＡＥ用フォトセンサー
１０ ＡＦモーター
１１ 撮像制御部
１２ 第一画像処理部
１３ バッファメモリ
１４ 圧縮部
１５ メモリーカードＩ／Ｆ部
１６ メモリーカード
１７ シャッターボタン判定部
１８ シャッターボタン
１９ 操作表示部
２０ 第二画像処理部
２０ａ 画像変位量推定部
２０ｂ 高解像度化処理部
１００ カメラ本体
１０１ 電源スイッチ
１０２ 液晶表示パネル
１０３ 操作ボタン
１０４ シャッターボタン
１０６ 後撮影準備完了通知
２０１ 補間拡大部
２０２ 画像蓄積部
２０３ ＰＳＦデータ保持部
２０４ 畳込み積分部
２０５ レジストレーション画像生成部
２０６ 画像比較部
２０７ 畳込み積分部
２０８ 正則化項演算部
２０９ 更新画像生成部
２１０ 収束判定部
【特許請求の範囲】
【請求項１】
画像を撮影して、前記画像の画像データを生成する撮像システムであって、
第１段階の撮影指示が入力された後に第２段階の撮影指示が入力される撮影指示入力手段と、
前記第１段階の撮影指示が入力されてから前記第２段階の撮影指示が入力されるまでの間に複数枚の画像を撮影する前撮影処理を行って、前記第２段階の撮影指示が入力された後に複数枚の画像を撮影する後撮影処理を行う撮影手段と、
前記第２段階の指示が入力される前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前記前撮影処理および前記後撮影処理において撮影された複数枚の画像と前記基準画像との間の画像変位量を推定する画像変位量推定手段と、
を備えることを特徴とする撮像システム。
【請求項２】
前記画像変位量推定手段によって推定された画像変位量と、前記前撮影処理および前記後撮影処理において撮影された複数枚の画像を用いて、前記前撮影処理および前記後撮影処理において撮影された画像よりも高解像の高解像度画像を生成する高解像度化処理手段を備えることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記高解像度化処理手段は、前記高解像度画像を生成する際に、前記前撮影処理および前記後撮影処理において撮影された複数枚の画像に対して重み付けを行う重み付け手段を有し、前記重み付け手段は、前記第２段階の撮影指示が入力された時点により近い時点で撮影された画像に対してより高い重み付けを行うことを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記高解像度化処理手段は、前記後撮影処理において撮影された複数枚の画像のうち、所定の枚数の画像を除外して前記高解像度画像を生成することを特徴とする請求項２または３に記載の撮像システム。
【請求項５】
前記高解像度化処理手段は、前記後撮影処理において撮影された複数枚の画像のうち、所定の枚数の画像を区別して処理することを特徴とする請求項２に記載の撮像システム。
【請求項６】
前記高解像度化処理手段は、前記高解像度画像の倍率に応じて、前記高解像度画像の生成に用いる画像の枚数、または前記前撮影処理および前記後撮影処理において撮影される画像の枚数を設定する使用枚数設定手段を有することを特徴とする請求項２から５のいずれか一つに記載の撮像システム。
【請求項７】
前記撮影手段は、前記後撮影処理において所定の枚数の画像を撮影した後に所定の時間が経過するまで画像の撮影を停止することを特徴とする請求項１から３のいずれか一つに記載の撮像システム。
【請求項８】
前記画像変位量推定手段は、前記第２段階の撮影指示が入力された後に最初に撮影された画像を基準画像とすることを特徴とする請求項１から６のいずれか一つに記載の撮像システム。
【請求項９】
前記前撮影処理において撮影される複数枚の画像のうち所定枚数分の画像の画像データを記録することができ、古い画像の画像データを新しい画像の画像データで上書きしながら前記所定枚数分の画像の画像データを循環的に記録する循環記録手段を備え、前記循環記録手段は、前記前撮影処理および前記後撮影処理において撮影された画像の画像データを画像処理の施されていないローデータとして記録することを特徴とする請求項１から８のいずれか一つに記載の撮像システム。
【請求項１０】
前記規定期間は、前記第２段階の撮影指示が入力される前後の所定の長さの時間として決められていることを特徴とする請求項１から９のいずれか一つに記載の撮像システム。
【請求項１１】
前記規定期間は、前記第２段階の撮影指示が入力される前後に所定の枚数の画像が撮影される期間として決められていることを特徴とする請求項１から９のいずれか一つに記載の撮像システム。
【請求項１２】
シャッターボタンが全押しされる前後に複数枚の画像を撮影する撮像システムから複数枚の画像の画像データを取得する画像データ取得ステップと、
前記シャッターボタンが全押しされる前後の所定の期間である規定期間に撮影された画像から基準画像を自動的に決定する基準画像決定ステップと、
前記シャッターボタンが全押しされる前後に撮影された複数枚の画像と前記基準画像との間の画像変位量を推定する画像変位量推定ステップと、
を有することを特徴とするプログラム。
【請求項１】
画像を撮影して、前記画像の画像データを生成する撮像システムであって、
第１段階の撮影指示が入力された後に第２段階の撮影指示が入力される撮影指示入力手段と、
前記第１段階の撮影指示が入力されてから前記第２段階の撮影指示が入力されるまでの間に複数枚の画像を撮影する前撮影処理を行って、前記第２段階の撮影指示が入力された後に複数枚の画像を撮影する後撮影処理を行う撮影手段と、
前記第２段階の指示が入力される前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前記前撮影処理および前記後撮影処理において撮影された複数枚の画像と前記基準画像との間の画像変位量を推定する画像変位量推定手段と、
を備えることを特徴とする撮像システム。
【請求項２】
前記画像変位量推定手段によって推定された画像変位量と、前記前撮影処理および前記後撮影処理において撮影された複数枚の画像を用いて、前記前撮影処理および前記後撮影処理において撮影された画像よりも高解像の高解像度画像を生成する高解像度化処理手段を備えることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記高解像度化処理手段は、前記高解像度画像を生成する際に、前記前撮影処理および前記後撮影処理において撮影された複数枚の画像に対して重み付けを行う重み付け手段を有し、前記重み付け手段は、前記第２段階の撮影指示が入力された時点により近い時点で撮影された画像に対してより高い重み付けを行うことを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記高解像度化処理手段は、前記後撮影処理において撮影された複数枚の画像のうち、所定の枚数の画像を除外して前記高解像度画像を生成することを特徴とする請求項２または３に記載の撮像システム。
【請求項５】
前記高解像度化処理手段は、前記後撮影処理において撮影された複数枚の画像のうち、所定の枚数の画像を区別して処理することを特徴とする請求項２に記載の撮像システム。
【請求項６】
前記高解像度化処理手段は、前記高解像度画像の倍率に応じて、前記高解像度画像の生成に用いる画像の枚数、または前記前撮影処理および前記後撮影処理において撮影される画像の枚数を設定する使用枚数設定手段を有することを特徴とする請求項２から５のいずれか一つに記載の撮像システム。
【請求項７】
前記撮影手段は、前記後撮影処理において所定の枚数の画像を撮影した後に所定の時間が経過するまで画像の撮影を停止することを特徴とする請求項１から３のいずれか一つに記載の撮像システム。
【請求項８】
前記画像変位量推定手段は、前記第２段階の撮影指示が入力された後に最初に撮影された画像を基準画像とすることを特徴とする請求項１から６のいずれか一つに記載の撮像システム。
【請求項９】
前記前撮影処理において撮影される複数枚の画像のうち所定枚数分の画像の画像データを記録することができ、古い画像の画像データを新しい画像の画像データで上書きしながら前記所定枚数分の画像の画像データを循環的に記録する循環記録手段を備え、前記循環記録手段は、前記前撮影処理および前記後撮影処理において撮影された画像の画像データを画像処理の施されていないローデータとして記録することを特徴とする請求項１から８のいずれか一つに記載の撮像システム。
【請求項１０】
前記規定期間は、前記第２段階の撮影指示が入力される前後の所定の長さの時間として決められていることを特徴とする請求項１から９のいずれか一つに記載の撮像システム。
【請求項１１】
前記規定期間は、前記第２段階の撮影指示が入力される前後に所定の枚数の画像が撮影される期間として決められていることを特徴とする請求項１から９のいずれか一つに記載の撮像システム。
【請求項１２】
シャッターボタンが全押しされる前後に複数枚の画像を撮影する撮像システムから複数枚の画像の画像データを取得する画像データ取得ステップと、
前記シャッターボタンが全押しされる前後の所定の期間である規定期間に撮影された画像から基準画像を自動的に決定する基準画像決定ステップと、
前記シャッターボタンが全押しされる前後に撮影された複数枚の画像と前記基準画像との間の画像変位量を推定する画像変位量推定ステップと、
を有することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００８−３０６６５１（Ｐ２００８−３０６６５１Ａ）
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願番号】特願２００７−１５４０９７（Ｐ２００７−１５４０９７）
【出願日】平成１９年６月１１日（２００７．６．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願日】平成１９年６月１１日（２００７．６．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]