撮像装置、撮像方法、及び撮像プログラム
【課題】最適な電子手ぶれ補正画像を取得する。
【解決手段】撮像装置において、撮像素子により連続した複数の撮影画像を取得する画像取得制御手段と、前記画像取得制御手段により得られた複数の撮影画像の画像サイズを、前記複数の撮影画像のうち、少なくとも１つの撮影画像に対する撮影情報に基づいて設定された画像サイズに変更する画像サイズ変更手段と、前記画像サイズ変更手段により得られたサイズ変更画像に基づいて各撮影画像同士の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトル情報に基づいて前記サイズ変更画像を補正し、補正された複数の前記サイズ変更画像を合成する合成手段とを有することにより、上記課題を解決する。
【解決手段】撮像装置において、撮像素子により連続した複数の撮影画像を取得する画像取得制御手段と、前記画像取得制御手段により得られた複数の撮影画像の画像サイズを、前記複数の撮影画像のうち、少なくとも１つの撮影画像に対する撮影情報に基づいて設定された画像サイズに変更する画像サイズ変更手段と、前記画像サイズ変更手段により得られたサイズ変更画像に基づいて各撮影画像同士の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトル情報に基づいて前記サイズ変更画像を補正し、補正された複数の前記サイズ変更画像を合成する合成手段とを有することにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及び撮像プログラムに係り、特に最適な電子手ぶれ補正画像を取得するための撮像装置、撮像方法、及び撮像プログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置において手ぶれを抑制する技術としては、撮像面又は撮像面に対するレンズの位置を手ぶれ方向と反対方向にシフトすることにより手ぶれをキャンセルする光学的手ぶれ補正方式や、高速シャッターを用いて複数枚の時分割画像を撮影し、被写体の特徴点を基準にして各画像を合成することによる電子手ぶれ補正方式が既に知られている。上述した電子手ぶれ補正方式では、手ぶれに対して撮像面やレンズを作動させる必要がないためメカ機構が不要であり、撮像装置のスペースやコストが節約できる等のメリットがある。
【０００３】
なお従来では、手ぶれを補正する目的で、複数枚の撮影画像のうち一つの基準画像をもとに、それ以外の画像に対して動きベクトルの検出、画像合成を行うための手段が開示されている（例えば、特許文献１参照）。
【０００４】
また、従来の電子手ぶれ補正方式では、撮影した複数の画像の動きベクトル検出を行い、画像合成を行うことで撮影画像を生成する。つまり、撮影した複数枚の画像の動きベクトル検出を行う際、撮影画像を任意のサイズに縮小して動きベクトル検出を行うが、その際の画像サイズは、大きいほど精度のよい動きベクトル検出を行うことが可能となるが、処理時間は画像サイズに比例して長くなる。そこで、従来の手法では、動きベクトル検出用の画像のサイズは、撮影画像や撮像条件によらずに一定のサイズで動きベクトル検出を行っていた。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば撮影画像や撮影条件によって高精度な動きベクトル検出を行う必要がある場合や、動きベクトル検出精度は必要ないが高速に画像を作成したい場合等には、動きベクトル検出で使用する画像サイズを最適化できないという問題があった。
【０００６】
また、上述した特許文献１に示される技術は、手ぶれを補正する目的で画像合成を行っているが、動きベクトル検出を行う際の画像サイズに関する記載はなく、上述したように撮影画像や撮影条件等によって、動きベクトル検出で使用する画像サイズを最適化することはできなかった。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、最適な電子手ぶれ補正画像を取得するための撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
本発明は、撮像装置において、撮像素子により連続した複数の撮影画像を取得する画像取得制御手段と、前記画像取得制御手段により得られた複数の撮影画像の画像サイズを、前記複数の撮影画像のうち、少なくとも１つの撮影画像に対する撮影情報に基づいて設定された画像サイズに変更する画像サイズ変更手段と、前記画像サイズ変更手段により得られたサイズ変更画像に基づいて各撮影画像同士の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトル情報に基づいて前記サイズ変更画像を補正し、補正された複数の前記サイズ変更画像を合成する合成手段とを有することを特徴とする。
【００１０】
また本発明は、撮像装置により撮影された画像に対する手ぶれ補正を行うための撮像方法において、前記撮像装置が備える撮像素子により連続した複数の撮影画像を取得する画像取得ステップと、前記画像取得制御ステップにより得られた複数の撮影画像の画像サイズを、前記複数の撮影画像のうち、少なくとも１つの撮影画像に対する撮影情報に基づいて設定された画像サイズに変更する画像サイズ変更ステップと、前記画像サイズ変更ステップにより得られたサイズ変更画像に基づいて各撮影画像同士の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトル検出ステップにより検出された動きベクトル情報に基づいて前記サイズ変更画像を補正し、補正された複数の前記サイズ変更画像を合成する合成ステップとを有することを特徴とする。
【００１１】
また本発明は、コンピュータを、上述した撮像装置として機能させることを特徴とする撮像プログラムである。
【発明の効果】
【００１２】
本発明によれば、最適な電子手ぶれ補正画像を取得することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態における撮像装置の外観の一例を示す図である。
【図２】本実施形態における撮像装置の内部システム構成の一例を示す図である。
【図３】ＣＰＵブロックの機能構成の一例を示す図である。
【図４】撮像装置の手ぶれ補正制御処理手順の一例を示すフローチャートである。
【図５】電子手ぶれ補正処理を説明するための図である。
【図６】画像合成を行う際の重ね合わせの内容を説明するための図である。
【図７】本実施形態における手ぶれ補正制御処理の第１の実施例を示すフローチャートである。
【図８】本実施形態における手ぶれ補正制御処理の第２の実施例を示すフローチャートである。
【図９】本実施形態における手ぶれ補正制御処理の第３の実施例を示すフローチャートである。
【図１０】本実施形態における手ぶれ補正制御処理の第４の実施例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
＜本発明について＞
本発明は、例えば電子手ぶれ補正方式等の手ぶれ補正手法において、撮影画像や撮影条件等の撮影情報によって必要な動きベクトル検出精度を自動的に判断し、動きベクトル検出を行う際の画像サイズを動的に設定することで、動きベクトル検出精度及び処理時間等の観点に基づいて最適な動きベクトル検出を行い、その検出結果に基づいて画像を合成する電子手ぶれ補正処理を行う。
【００１５】
つまり、本発明は、撮影画像や撮影条件等によって、高精度な動きベクトル検出を行う必要がある場合や、動きベクトル検出精度は必要ないが高速に画像を作成したい場合に、どのような精度での位置合わせが最適であるかを、その撮影画像や撮影条件等の撮影情報から判断し、それにより位置合わせ処理で使用する縮小画像サイズを変更する。また、本発明は、高精度で動きベクトル検出を行うか、高速で動きベクトル検出を行うかを選択することで、最適な動きベクトル検出を行い、それにより高精度な手ぶれ補正を実現する。
【００１６】
以下に、本発明における撮像装置、撮像方法、及び撮像プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下に示す説明では、撮像装置の一例としてデジタルカメラを用い、処理内容の実施例として電子手ぶれ補正方式を用いることとするが、本発明における撮像装置の装置構成や処理内容についてはこれに限定されるものではない。
【００１７】
＜撮像装置：外観例＞
まず、本実施形態における撮像装置について図を用いて説明する。図１は、本実施形態における撮像装置の外観の一例を示す図である。なお、図１（Ａ）は、撮像装置の上面図の一例を示し、図１（Ｂ）は、撮像装置の正面図の一例を示し、図１（Ｃ）は、撮像装置の背面図の一例を示している。なお、以下に示す実施形態では、撮像装置の一例としてデジタルカメラを示すが本発明においては、これに限定されるものではなく、また形状や構成のレイアウト等についてもこれに限定されるものではなく、本発明の適用範囲に応じて任意に設定されるものである。
【００１８】
図１（Ａ）〜図１（Ｃ）に示す撮像装置１は、サブ液晶ディスプレイ（以下、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を「ＬＣＤ」という）１１と、メモリカード／電池装填部１２と、ストロボ発光部１３と、光学ファインダ１４と、測距ユニット１５と、リモコン受光部１６と、鏡胴ユニット１７と、ＡＦ用ＬＥＤ１８と、ストロボ用ＬＥＤ１９と、ＬＣＤモニタ２０と、スイッチ（以下、「ＳＷ」という）１〜１３とを有するよう構成されている。
【００１９】
＜撮像装置：内部システム構成例＞
また、図２は、本実施形態における撮像装置の内部システム構成の一例を示す図である。図２に示す撮像装置１は、サブＬＣＤ１１と、ストロボ発光部１３と、測距ユニット１５と、リモコン受光部１６と、鏡胴ユニット１７、ＡＦ用ＬＥＤ１８と、ストロボ用ＬＥＤと、ＬＣＤモニタ２０と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）３１と、Ｆ／Ｅ−ＩＣ３２と、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、デジタルスチルカメラプロセッサ（以下、「プロセッサ」という）３４と、ＲＡＭ３５と、内蔵メモリ３６と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３７と、音声入力ユニット３８と、音声再生ユニット３９と、ストロボ回路４０と、ＬＣＤドライバ４１と、サブＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央演算装置）４２と、操作キーユニット４３と、ブザー４４と、加速度センサ４５と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ４６と、シリアルドライバ回路４７と、ＲＳ−２３２Ｃコネクタ４８と、ＬＣＤドライバ４９と、ビデオアンプ５０と、ビデオジャック５１と、メモリカードスロットル５２と、メモリカード５３とを有するよう構成されている。
【００２０】
また、図２において、鏡胴ユニット１７は、例えば、ズームレンズ１７−１ａ及びズームモータ１７−１ｂからなるズーム光学系１７−１と、フォーカスレンズ１７−２ａ及びフォーカスモータ１７−２ｂからなるフォーカス光学系１７−２と、絞り１７−３ａ及び絞りモータ１７−３ｂからなる絞りユニット１７−３と、メカシャッタ１７−４ａ及びメカシャッタモータ１７−４ｂからなるメカシャッタユニット１７−４と、モータドライバ１７−５とを有するよう構成されている。
【００２１】
また、図２において、Ｆ／Ｅ−ＩＣ（フロントエンド−集積回路）３２は、画像ノイズの除去のために相関二重サンプリングを行うＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）３２−１と、自動利得制御を行うＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）３２−２と、アナログ−デジタル変換を行うＡ／Ｄ変換部３２−３と、垂直同期信号ＶＤ・水平同期信号ＨＤに基づいて駆動タイミング信号を生成するＴＧ（タイミングジェネレータ）３２−４とを有するよう構成されている。
【００２２】
また、図２において、プロセッサ３４は、Ｉ２Ｃ（Ｉｎｔｅｒ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）ブロック３４−１、ＣＣＤ１信号処理ブロック３４−２、ＣＣＤ２信号処理ブロック３４−３、ＣＰＵブロック３４−４、ローカルＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４−５、ＵＳＢブロック３４−６、シリアルブロック３４−７、ＪＰＥＧ圧縮・伸長を行うＪＰＥＧコーデックブロック３４−８、画像データのサイズを拡大・縮小するリサイズブロック３４−９、ＴＶ信号表示ブロック３４−１０、メモリカードコントローラブロック３４−１１を有しており、これらの各ブロック３４−１〜３４−１１は、バスラインを介して相互に接続されている。
【００２３】
また、図２において、音声入力ユニット３８は、音声記録回路３８−１と、マイクアンプ３８−２と、マイク３８−３とを有すように構成されている。また、図２において、音声再生ユニット３９は、音声再生回路３９−１と、オーディオアンプ３９−２と、スピーカ３９とを有するよう構成されている。
【００２４】
ここで、図１、図２における撮像装置１は、デジタルカメラとしての機能を有している。
具体的には、図１（Ａ）に示すように、撮像装置１の上部には、サブＬＣＤ１１、レリーズ用のＳＷ１、モードダイアル用のＳＷ２が設けられている。
【００２５】
また、図１（Ｂ）に示すように、撮像装置１の側部には、撮影された画像データ等を格納するメモリカードや撮像装置１の電源をＯＮして一連のシステムを駆動させるためのメモリカード／電池装填部１２の蓋が設けられている。また、撮像装置１の正面側には、撮影時のストロボを発光させるストロボ発光部１３、光学レンズを介して被写体の位置を視認する光学ファインダ１４、測距ユニット１５、別体のリモコン装置からの赤外線等によるリモコン信号を受光する受光部１６、及び撮影レンズを備えた鏡胴ユニット１７が設けられている。
【００２６】
また、図１（Ｃ）に示すように、撮像装置１の背面側には、光学ファインダ１４、ＡＦ用ＬＥＤ１８、ストロボ用ＬＥＤ１９、ＬＣＤモニタ２０、広角ズーム（ＷＩＤＥ）用のＳＷ３、望遠ズーム（ＴＥＬＥ）用のＳＷ４、撮影した画像や映像の再生用のＳＷ５、セルフタイマ設定／解除用のＳＷ６、メニュー及びＯＫスイッチ用のＳＷ７、ディスプレイであるＬＣＤモニタ２０のＯＮ／ＯＦＦ用のＳＷ８、上移動／ストロボ設定用のＳＷ９、右移動用のＳＷ１０、下移動／マクロ設定用のＳＷ１１、左移動／画像確認用のＳＷ１２、電源ＯＮ／ＯＦＦ用のＳＷ１３が設けられている。
【００２７】
また、図２において、プロセッサ３４は、ＣＰＵを内蔵しており、撮像装置１の各部はプロセッサ３４によって制御されている。プロセッサ３４の外部には、ＳＤＲＡＭ３３、ＲＡＭ３５、撮影された画像の画像データを記憶する内蔵メモリ３６、本実施形態における各種機能を実行させるための各種の制御プログラムやパラメータ等が格納されたＲＯＭ３７が設けられており、これらもバスラインを介してプロセッサ３４に接続されている。
【００２８】
なお、ＳＤＲＡＭ３３には、撮影された画像データの他にも、例えば画像データから変換されたＲＡＷ−ＲＧＢ画像データ（ホワイトバランス補正、γ補正が行われた画像データ）、ＹＵＶ画像データ（輝度データと色差データとに変換された画像データ）、ＪＰＥＧ画像データ（ＪＰＥＧ圧縮された画像データ）等が保存される。
【００２９】
本実施形態では、電源ＯＮ／ＯＦＦ用のＳＷ１３をＯＮにした際に、ＲＯＭ３７に格納された制御プログラムがプロセッサ３４内のメモリ又はプロセッサ３４に接続されたメモリ等にロードされて実行され、撮像装置１の各部は、この制御プログラムによって制御される。なお、本実施形態では、制御プログラムが実行される際には、例えばＲＡＭ３５のメモリが制御プログラムの作業用メモリとして使用される。つまり、必要に応じて、ＲＡＭ３５のメモリに対して制御プログラムの制御データやパラメータ等が書き込まれ、また読み出しが行われる。後述される全ての処理は、この制御プログラムを実行することにより、主にプロセッサ３４によって実行される。
【００３０】
鏡胴ユニット１７は、ズームレンズ１７−１ａ、フォーカスレンズ１７−２ａ、絞り１７−３ａ、メカシャッタ１７−４ａを、それぞれズームモータ１７−１ｂ、フォーカスモータ１７−２ｂ、絞りモータ１７−３ｂ、メカシャッタモータ１７−４ｂによって駆動させる。また、鏡胴ユニット１７は、これらの各モータ１８−１ｂ〜１８−４ｂを、モータドライバ１７−５によって駆動させる。モータドライバ１７−５は、プロセッサ３４のＣＰＵブロック３４−４によって制御される。
【００３１】
本実施形態では、上述した広角ズーム（ＷＩＤＥ）用のＳＷ３や望遠ズーム（ＴＥＬＥ）用のＳＷ４の操作等を行い、鏡胴ユニット１７の各光学系１８−１，１８−２によりＣＣＤ３１の受光部に被写体像を結像させる。結像された被写体像は、ＣＣＤ３１によって画像信号に変換され、この画像信号がＦ／Ｅ−ＩＣ３２に出力される。
【００３２】
Ｆ／Ｅ−ＩＣ３２において、ＣＤＳ３２−１は、取得した画像信号を相関二重サンプリングする。また、ＡＧＣ３２−２は、ＣＤＳ３２−１から得られる画像信号に対して自動的に利得の調整を行う。また、Ａ／Ｄ変換部３２−３は、ＡＧＣ３２−２から出力されるアナログ画像信号をデジタル画像信号に変換する。つまり、Ｆ／Ｅ−ＩＣ３２は、ＣＣＤ３１から出力されたアナログ画像信号にノイズ低減の処理や利得調整の処理等の所定の処理を施し、更にアナログ画像信号をデジタル画像信号に変換して、プロセッサ３４のＣＣＤ１信号処理ブロック３４−２に出力する。
【００３３】
ＴＧ３２−４は、プロセッサ３４のＣＣＤ１信号処理ブロック３４−２からフィードバックされるＶＤ（垂直同期）信号・ＨＤ（水平同期）信号に基づいて、Ｆ／Ｅ−ＩＣ３２による画像信号のサンプリング等のタイミング処理を行う。
【００３４】
Ｉ２Ｃブロック３４−１は、電子回路におけるシリアル通信方式によりＩＣ間において高速通信を行う。ＣＣＤ１制御ブロック３４−２は、ＣＣＤ３１よりＦ／Ｅ―ＩＣ３２の出力データにホワイトバランス設定やガンマ設定を行い、また上述したＶＤ信号、ＨＤ信号を供給する。ＣＣＤ２制御ブロック３４−３は、例えば入力されるデータに対するフィルタリング処理により、輝度データ、色差データへの変換を行う。ＣＰＵブロック３４−４は、撮像装置１の各部の動作を制御する。なお、ＣＰＵブロック３４−４についての具体的な機能構成については後述する。
【００３５】
ローカルＳＲＡＭ３４−５は、例えば撮像装置１における制御に必要な各種データを一時的に保存する。ＵＳＢブロック３４−６は、例えばパソコン等の外部機器とＵＳＢ通信を行う。シリアルブロック３４−７は、パソコン等の外部機器とシリアル通信を行う。ＪＰＥＧコーデックブロック３４−８は、例えばＪＰＥＧ圧縮、伸張を行う。
【００３６】
リサイズブロック３４−９は、後述するように画像データのサイズに対して拡大又は縮小処理を行って所定のサイズに変更したり、画像データに対する補間処理等を行う。ＴＶ信号表示ブロック３４−１０は、画像データを液晶モニタやＴＶ等の外部表示機器に表示するためのビデオ信号に変換する。また、メモリカードコントローラブロック３４−１１は、撮影された画像データを記録するメモリカードの制御を行う。
【００３７】
ここで、プロセッサ３４のＣＰＵブロック３４−４は、Ｆ／Ｅ−ＩＣ３２、モータドライバ１７−５、音声記録回路３８−１、音声再生回路３９−１、ストロボ発光部１３を発光させるストロボ回路４０、測距ユニット１５、サブＣＰＵ４２に接続されている。したがって、上述した各構成は、ＣＰＵブロック３４−４によって制御される。
【００３８】
また、音声入力ユニット３８及び音声再生ユニット３９について説明すると、マイク３８−３によって取り込まれた音声信号は、マイクアンプ３８−２によって増幅され、音声記録回路３８−１によってデジタル信号に変換されて、ＣＰＵブロック３４−４の制御命令に基づいて、例えば内蔵メモリ３６やメモリカード５３等に記録される。また、音声再生回路３９−１は、ＣＰＵブロック３４−４の制御命令に基づいて、例えばＲＯＭ３７等に予め記録されている適宜の音声データを音声信号に変換し、オーディオアンプ３９−２によって増幅し、スピーカ３９−３から出力させる。
【００３９】
測距ユニット１５は、例えば測距センサとしての２次元センサ等を有し、２次元センサ等を用いて撮像装置１の撮影エリアに含まれる所定の被写体までの距離を計測する測距手段である。なお、測距手段とは、例えば複数の２次元センサ等を用いた測距方式等を示し、例えば２つのレンズ及びＣＣＤ等の撮像素子から得られる画像の視差を用いて三角測量等によって距離の測定を行うものである。
【００４０】
サブＣＰＵ４２は、ＬＣＤドライバ４９を介してサブＬＣＤ１１、ＡＦ用ＬＥＤ１８、ストロボ用ＬＥＤ１９、リモコン受光部１６、上述したＳＷ１〜ＳＷ１３からなる操作キーユニット４３、及びブザー４４等が接続されている。したがって、上述した各構成は、サブＣＰＵ４２によって制御される。また、サブＣＰＵ４２は、リモコン受光部１６に対する信号の入力状態や、操作キーユニット（例えば、上述したＳＷ１〜ＳＷ１３等）に対する入力状態を監視する。
【００４１】
また、Ｉ２Ｃブロック３４−１には、加速度計測手段としての加速度センサ４５が接続されている。加速度センサ４５は、プリント回路基板（ＰＣＢ（Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ Ｂｏａｒｄ））上に実装され、直交する２軸Ｘ、Ｙ方向の加速度データ、及び温度データＴを出力する。そのデータからカメラのロール角、ピッチ角等の傾きを演算し、Ｉ２Ｃブロック３４−１に出力して、最終的にはＬＣＤモニタ２０等に表示される。なお、加速度センサ４５の水平に対するロール角θは、以下の式（１）で表される。
θ［ｄｅｇ］＝１８０／π×ａｒｃｔａｎ（（Ｙ０−Ｇ０）／（Ｘ０−Ｇ０）） ・・・（１）
なお、上記式（１）において、Ｇ０は重力ゼロ時の出力を示している。
【００４２】
ここで、本実施形態においては、撮像装置１が図１(Ｂ)，図１(Ｃ)の姿勢の場合に、撮像装置１のロール角θが０度であるとし、例えばＬＣＤモニタ２０が時計回り方向に傾いた場合に正の傾き、また反時計回りに傾いた場合に負の傾きであるとする。
【００４３】
また、ＵＳＢブロック３４−６は、例えばＵＳＢコネクタ４６に接続されている。また、シリアルブロック３４−７は、例えばシリアルドライバ回路４７を介してＲＳ−２３２Ｃコネクタ４８に接続されている。したがって、本実施形態における撮像装置１は、上述したＵＳＢブロック３４−６やシリアルブロック３４−７によって、撮像装置１に接続された外部機器との間でデータ通信を行う。
【００４４】
ＴＶ信号表示ブロック３４−１０は、ＬＣＤモニタ２０を駆動するためのＬＣＤドライバ４９、ビデオ信号を増幅すると共にインピーダンス整合を行うためのビデオアンプ５０が接続されている。また、ＬＣＤドライバ４９には、ＬＣＤモニタ２０が接続されている。また、ビデオアンプ５０には、ＴＶ等の外部モニタ機器に接続するためのビデオジャック５１が接続されている。つまり、ＴＶ信号表示ブロック３４−１０は、画像データをビデオ信号に変換し、ＬＣＤモニタ２０やビデオジャック５１に接続された外部モニタ機器等の表示手段等に出力する。
【００４５】
また、ＬＣＤモニタ２０は、撮影中の被写体のモニタや、撮影された画像の表示、メモリカード５３又は内蔵メモリ３６等に記録された画像の表示等に使用される。なお、ＬＣＤモニタ２０は、タッチパネル等による入出力機能を有していてもよく、その場合には、ユーザ等のタッチ入力に基づいて、所定の被写体の特定や各種指示入力を行うことができる。
【００４６】
メモリカードコントローラブロック３４−１１は、メモリカードスロットル５２が接続されている。したがって、撮像装置１は、メモリカードスロットル５２に挿入された増設用のメモリカード５３との間で画像データのやり取りを行う。
【００４７】
なお、上述した撮像装置１の構成において、例えば鏡胴ユニット１７、ＣＣＤ３１、Ｆ／Ｅ−ＩＣ３２、及びＣＣＤ１信号処理ブロック３４−２は、本実施形態における撮像手段に相当する。また、上述した図２に示す構成では、被写体光像を光電変換するための固体撮像素子としてＣＣＤ３１を用いたが、本発明においてはこれに限定されるものではなく、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いてもよい。その場合には、ＣＣＤ１信号処理ブロック３４−２及びＣＣＤ２信号処理ブロック３４−３は、それぞれＣＭＯＳ１信号処理ブロック３４−２及びＣＭＯＳ２信号処理ブロック３４−３に置き換えて同様の処理を行わせることになる。
【００４８】
＜ＣＰＵブロック３４−４の機能構成＞
次に、上述したＣＰＵブロック３４−４の本実施形態における具体的な機能構成例について図を用いて説明する。図３は、ＣＰＵブロックの機能構成の一例を示す図である。図３に示すＣＰＵブロック３４−４は、画像取得制御手段３４−４ａと、画像サイズ変更手段３４−４ｂと、動きベクトル検出手段３４−４ｃと、合成手段３４−４ｄと、画像記録制御手段３４−４ｅとを有するよう構成されている。
【００４９】
画像取得制御手段３４−４ａは、例えば上述したＣＣＤ３１等の撮像素子から連続して予め設定された複数枚の撮影画像を取得するように画像取得制御を行う。なお、画像取得制御手段３４−４ａは、上述した処理を行う前に、例えば電子手ぶれ補正を行う電子手ぶれ補正モードが設定されているか否かを判断してもよい。この場合、画像取得制御手段３４−４ａは、ユーザ等により設定されたモードが、電子手ぶれ補正モードであった場合には上述の処理を行い、電子手ぶれ補正モードでなかった場合には通常撮影モードとして１枚の撮影画像のみを取得するように画像取得制御を行う。なお、上述したモード設定は、例えば図１に示すモードダイアル用のＳＷ２等をユーザが操作することにより行われる。
【００５０】
画像サイズ変更手段３４−４ｂは、画像取得制御手段３４−４ａにより取得された複数の撮影画像の各画像サイズを撮影情報等に基づいて所定のサイズに変更する。具体的には、画像サイズ変更手段３４−４ｂは、撮影情報として、例えば画像取得制御手段３４−４ａによる撮像時の設定情報等に基づいて設定される拡大率又は縮小率等により、生成される画像サイズを設定する。なお、上述した撮像時の設定情報としては、例えば撮像装置１における撮影時のズームポジション、フォーカスポジション、レンズＦ値、ＩＳＯ感度、ホワイトバランスのパラメータ、ガンマ補正で使うガンマカーブ、アパーチャ補正、ノイズリダクション、及びディストーション補正値等から、１又は複数の設定情報を用いることができるが、本発明においてはこれに限定されるものではない。
【００５１】
なお、設定情報としては、特にズームポジションを用いることが好ましい。その理由は、例えばズームポジションが望遠側にある場合には、大きな手ぶれが発生しにくく、また被写体も細かい描写で撮影できるため、より高精度な動き検出が必要となるからである。したがって、ズームポジションを含む設定情報に対応させて画像サイズの拡大率又は縮小率等を設定するのが好ましい。なお、本発明においてはこれに限定されるものではない。
【００５２】
また、画像サイズ変更手段３４−４ｂは、撮影情報として、撮影画像に対する特徴情報に基づいて、拡大又は縮小等により生成される画像サイズを設定する。なお、上述した特徴情報としては、例えば撮影画像のコントラストの高さや、撮影画像に人物の顔やその他の特定形状、構造物や動物等の物体（オブジェクト）等が含まれているか否か等から、１又は複数の特徴情報を用いることができるが、本発明においてはこれに限定されるものではない。
【００５３】
なお、特定情報としては、コントラストの高さを用いることが好ましい。その理由は、例えばコンントラストが高い場合には、被写体間の境界がより鮮明になるため、より高精度な動き検出が必要とされるからである。したがって、コントラストの高さを含む特徴情報に対応させて画像サイズの拡大率又は縮小率等を設定するのが好ましい。なお、本発明においてはこれに限定されるものではない。
【００５４】
また、動きベクトル検出手段３４−４ｃは、画像サイズ変更手段３４−４ｂにより生成された画像に基づいて撮影画像同士の動きベクトルを検出する。また、動きベクトル検出手段３４−４ｃは、動きベクトル検出を行う画像サイズを、画像サイズ変更手段３４−４ｂから得られる撮像装置１に対する設定情報に基づいて変更し、その変更した領域内における動きベクトルを検出する。これにより、撮像装置１の設定情報から、自動的に最適な動きベクトル検出方法で動きベクトル検出を行うことができる。
【００５５】
また、動きベクトル検出手段３４−４ｃは、動きベクトル検出を行う画像サイズを、画像サイズ変更手段３４−４ｂから得られる撮像装置１が撮影した撮影画像の特徴情報に基づいて変更させ、その変更した領域内における動きベクトルを検出する。これにより、撮像装置１の撮影画像から、自動的に最適な動きベクトル検出方法で動きベクトル検出を行うことができる。なお、動きベクトル検出手段３４−４ｃは、上述した撮影情報としての設定情報と特徴情報とを両方用いて、動きベクトル検出を行うための画像サイズを設定し、設定した画像サイズに変更してもよい。
【００５６】
合成手段３４−４ｄは、動きベクトル検出手段３４−４ｃにより検出された動きベクトルを補正し、補正された複数の画像を加算して合成し、合成した１又は複数の画像を出力する。
【００５７】
画像記録制御手段３４−４ｅは、画像取得制御手段３４−４ａにより取得した画像、画像サイズ変更手段３４−４ｂにより撮影画像毎にサイズ変更された画像、合成手段３４−４ｄにより生成された合成画像等をＳＤＲＡＭ３３やＲＡＭ３５、内蔵メモリ３６、メモリカードスロットル５２に挿入されたメモリカード５３等に記録させる画像記録制御等を行う。
【００５８】
なお、上述したＣＰＵブロック３４−４による各機能構成により、本実施形態における手ぶれ補正を実現することができる。本実施形態における手ぶれ補処理の具体的な処理内容については後述する。
【００５９】
＜手ぶれ補正制御手法について＞
次に、撮像装置１を用いた本発明における手ぶれ補正制御手法について説明するが、本発明における手ぶれ補正制御手法をより明確にするため、まず一般的な手ぶれ補正制御処理手順について説明する。
【００６０】
図４は、撮像装置の手ぶれ補正制御処理手順の一例を示すフローチャートである。図４の例では、まず画像取得制御により、ある被写体等の物体（オブジェクト）に対して連続して４枚の画像を撮影する（Ｓ０１）。次に、Ｓ０１の処理により取得された撮影画像から、予め設定されたサイズ（ここでは一例として縮小サイズとする）の画像を作成する（Ｓ０２）。
【００６１】
次に、Ｓ０２の処理により得られた４枚の縮小画像を時系列に並べ、連続する画像間を比較し、各画像に含まれる撮影された物体（オブジェクト）等の動き検出を行う（Ｓ０３）。次に、Ｓ０３に処理得られる動き検出結果に基づいて縮小する前の４枚の画像に対して画像合成を行い（Ｓ０４）、得られた合成画像をメモリ等に保存する（Ｓ０５）。
【００６２】
つまり、図４の例では、電子手ぶれ補正処理を行う際、まず連続して４枚の画像を撮影し、それらの撮影画像からサイズの小さい縮小画像を作成する。次に作成した縮小画像を元に４枚の画像の相対的な動きベクトルの検出を行う。その後、動きベクトル検出結果を元に、縮小する前の４枚の撮影画像に対する合成を行い、合成結果画像を内蔵メモリ３６やメモリカードスロットル５２に挿入されたメモリカード５３等に記録手段に記録する。
【００６３】
ここで、図５は、電子手ぶれ補正処理を説明するための図である。撮像装置１により連続的に撮影された複数（例えば、４枚等）の画像６１−１〜６４−４は、それぞれが所定のサイズに縮小され、縮小画像６２−１〜６２−４が生成される。この縮小画像６２−１〜６２−４は、手ぶれ補正における位置合わせ用の画像である。その後、縮小画像６２−１〜６２−４に基づいて全画像の位置合わせ処理を行い、その位置合わせされた縮小画像６３の位置合わせ結果に基づいて、縮小前の連続した画像６１−１〜６１−４に対して画像合成処理を行い、その合成画像６４を内蔵メモリ３６やメモリカード５３等の記録手段に記録する。
【００６４】
ここで、本実施形態では、通常、動きベクトル検出を行う際の画像サイズが大きい方が精度のよい動きベクトル検出を行うことができ、画像合成時の位置ずれを低減することができる。しかしながら、上述の場合、動きベクトル検出の処理に時間がかかってしまう。そのため、例えばＶＧＡ程度のサイズ（例えば、横６４０×縦４８０、ピクセル総数３０７２００ピクセル等）に画像を縮小し、縮小した画像に対して動きベクトル検出を行うのが一般的である。
【００６５】
また、撮影条件や撮影対象物によっては、ＶＧＡサイズの画像で動きベクトル検出をする場合よりも精度の高い動きベクトル検出が必要な場合や、動きベクトル検出の精度が低くてもよい場合があり、それにあわせて動きベクトル検出時の画像サイズを変動させることが望ましい。
【００６６】
そこで、本実施形態では、電子手ぶれ補正を行う場合に、ＣＰＵ３４−４においてレリーズシャッターＳＷ１が押されたと判断すると、４枚の画像を連続してＳＤＲＡＭ３３等に取り込む。また、本実施形態では、ＳＤＲＡＭ３３への撮影画像の取り込みが完了すると、ＣＰＵ３４−４において撮影条件や撮影画像等を含む撮影情報等から、動きベクトル検出の必要精度の計算を行う。
【００６７】
また、本実施形態では、必要精度の計算結果に基づいて撮影画像の縮小を行い、動きベクトル検出を行って、その結果に基づく画像合成により１枚の画像を生成する。
【００６８】
＜画像合成時の重ね合わせのイメージ例＞
ここで、図６は、画像合成を行う際の重ね合わせの内容を説明するための図である。なお、図６の例では、画像合成前の４枚の画像６１−１〜６１−４の画角は、それぞれ異なるが、画像合成を行う際は１枚目に撮影した領域が基準となり、他の画像と重なっている領域が合成される。つまり、２枚以上が重なっている領域が合成可能面積となり、全ての領域で４枚合成を行う必要はなく、部分的に１枚〜４枚の少なくとも１つ画像を合成する。
【００６９】
図６に示す梨字模様で囲まれた領域は、合成した結果作成される画像６１−１〜６１−４の画角７１を示している。なお、図５のフローチャートでは、連続撮影する枚数は４枚としましたが、２枚以上であれば何枚でもよく、合成可能面積も上述したように２枚以上が重なっている領域に限定されず、例えば３枚以上、４枚以上等が重なっている領域と定義してもよい。また、上述の例では、基準画像を１枚目の画像として定義したが、本発明においてはこれに限定されるものではなく、例えば連続撮影した画像のうち、２枚目以降の任意の画像を選択してもよい。
【００７０】
また、画像合成により生成された画像は、例えば内蔵メモリ３６又はメモリカードスロットル５２に挿入されたメモリカード５３等の記録手段に記録する。
【００７１】
なお、上述した動きベクトル検出や画像合成手法については、上述した内容に限定されるものではなく、例えば特許文献１に示されている技術や、その他にも例えば特開２００６−１５７５６８号公報等に示されている技術を広く適用することができる。
【００７２】
次に、本実施形態における手ぶれ補正の実施例についてフローチャートを用いて説明する。
【００７３】
＜本実施形態における手ぶれ補正制御処理：第１の実施例＞
図７は、本実施形態における手ぶれ補正制御処理の第１の実施例を示すフローチャートである。通常、撮影を行う際に、撮像装置１（カメラ）のズームポジション（設定情報）が広角側にある場合は、同条件で望遠側にある場合と比べて、一般に被写体が小さく撮影され、また解像度も高い撮影となる。そのため、電子手ぶれ補正を行う際は、広角撮影の方が、より精度の高い動きベクトル検出が必要となる。
【００７４】
そこで、第１の実施例では、図７に示す処理を行う。まず、ＣＰＵ３４−４は、撮像装置１に電子手ぶれ補正を行う電子手ぶれ補正モードが設定されているか否かを判断する（Ｓ１１）。この判断の結果、電子手ぶれ補正モードであると判断した場合（Ｓ１１において、ＹＥＳ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で複数枚（例えば、４枚）連続で撮影を行い(Ｓ１２)、撮影された画像を例えばＳＤＲＡＭ３３等に取り込む。
【００７５】
そして、ＣＰＵ３４−４は、ＳＤＲＡＭ３３等に取り込まれた４枚の画像が撮影された際のズームポジション（設定情報）を確認し、確認したズームポジションに応じて動きベクトル検出を行う際の画像サイズを設定する（Ｓ１３）。
【００７６】
その後、ＣＰＵ３４−４は、撮影した４枚の画像サイズから、Ｓ１３の処理にて設定された画像サイズに縮小を行い、動きベクトル検出処理用の画像を作成し、作成した画像による設定した画像サイズでの動きベクトル検出処理を行う（Ｓ１４）。
【００７７】
次に、ＣＰＵ３４−４は、Ｓ１４の処理により得られた動きベクトル検出結果に基づいて、画像サイズを変更する前の撮影画像に対して画像合成を行う（Ｓ１５）。
【００７８】
なお、上述したＳ１１の処理において、電子手ぶれ補正モードでないと判断した場合（Ｓ１１において、ＮＯ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で通常の撮影時と同様に１枚の画像撮影（通常撮影）を行う（Ｓ１６）。
【００７９】
次に、Ｓ１５又はＳ１６の処理が終了後、生成された画像を内蔵メモリ３６又はメモリカードスロットル５２に挿入されたメモリカード５３等に保存する(Ｓ１７)。
【００８０】
以上説明したように、第１の実施例によれば、ＣＰＵ３４−４は、ズームポジション（設定情報）により、最適な精度で、より高速に動きベクトル検出処理を行った電子手ぶれ画像を作成することが可能となる。なお、図７に示す例では、連続撮影する枚数の例を４枚としたが、本発明においてはこれに限定されるものではなく、２枚以上であれば何枚でもよい。
【００８１】
＜本実施形態における手ぶれ補正制御処理：第２の実施例＞
図８は、本実施形態における手ぶれ補正制御処理の第２の実施例を示すフローチャートである。通常、撮影を行う際に、撮像装置１（カメラ）のＩＳＯ感度の設定値（設定情報）が高いと、同条件下ではＩＳＯ感度設定が低い場合と比べて、画像ノイズのＳ／Ｎ比が悪くなったりシャッタスピードが速くなる等の特徴がある。また、画像ノイズのＳ／Ｎ比が高い場合、画像合成を行う際の位置合わせ精度が少々悪くても、画像ノイズの影響で撮影画像のブレが目立たない傾向がある。そのため、電子手ぶれ補正を行う際にＩＳＯ感度の設定値が低い際は、ＩＳＯ感度の設定値が高い際と比べて、より精度の高い動きベクトル検出が必要となる。
【００８２】
そこで、第２の実施例では、図８に示す処理を行う。まず、ＣＰＵ３４−４は、撮像装置１に電子手ぶれ補正を行う電子手ぶれ補正モードが設定されているか否かを判断する（Ｓ２１）。この判断の結果、電子手ぶれ補正モードであると判断した場合（Ｓ２１において、ＹＥＳ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で複数枚（例えば、４枚）連続で撮影を行い (Ｓ２２)、撮影された画像を例えばＳＤＲＡＭ３３等に取り込む。
【００８３】
そして、ＣＰＵ３４−４は、ＳＤＲＡＭ３３等に取り込まれた４枚の画像が撮影された際のＩＳＯ感度の設定値を確認し、確認したＩＳＯ感度の設定値に応じて動きベクトル検出を行う際の画像サイズを設定する(Ｓ２３)。
【００８４】
その後、ＣＰＵ３４−４は、撮影した４枚の画像から、Ｓ２３の処理にて設定された画像サイズに縮小を行い、動きベクトル検出処理用の画像を作成し、作成した画像による設定した画像サイズでの動きベクトル検出処理を行う（Ｓ２４）。
【００８５】
次に、ＣＰＵ３４−４は、Ｓ２４の処理により得られた動きベクトル検出結果に基づいて、画像サイズを変更する前の撮影画像に対して画像合成を行う（Ｓ２５）。
【００８６】
なお、上述したＳ２１の処理において、電子手ぶれ補正モードでないと判断した場合（Ｓ２１において、ＮＯ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で通常の撮影時と同様に１枚の画像撮影（通常撮影）を行う（Ｓ２６）。
【００８７】
次に、Ｓ２５又はＳ２６の処理が終了後、生成された画像を内蔵メモリ３６又はメモリカードスロットル５２に挿入されたメモリカード５３等に保存する(Ｓ２７)。
【００８８】
以上説明したように、第２の実施例によれば、ＣＰＵ３４−４は、ＩＳＯ感度の設定値により、最適な精度で、より高速に動きベクトル検出処理を行った電子手ぶれ画像を作成することが可能となる。なお、図８に示す例では、連続撮影する枚数の例を４枚としたが、本発明においてはこれに限定されるものではなく、２枚以上であれば何枚でもよい。
【００８９】
また、上述した第１及び第２の実施例では、撮影時に得られる設定情報の一例として、ズームポジション及びＩＳＯ感度の設定情報を用いたが、本発明においてはこれに限定されるものではなく、他の設定情報を用いてもよく、また複数の設定情報を組み合わせてもよい。
【００９０】
＜本実施形態における手ぶれ補正制御処理：第３の実施例＞
図９は、本実施形態における手ぶれ補正制御処理の第３の実施例を示すフローチャートである。通常、撮影画像のコントラストが高い場合は、明部と暗部の境界が鮮明であるため、電子手ぶれ処理を行った際に位置ずれがあった場合に視認され易い。そのため、動きベクトル検出処理を行う際に必要な精度は高くなるので、動きベクトル検出処理を行う際の画像サイズは大きくする方が望ましい。
【００９１】
逆に、コントラストが低い場合は、明部と暗部の境界が不鮮明であるので、電子手ぶれ処理を行った際に位置ずれがあった場合でも視認しづらくなる。そのため、動きベクトル検出処理を行う際に高い精度は必要なく、動きベクトル検出処理を行う際の画像サイズを小さくして処理時間を短くするのが望ましい。
【００９２】
そこで、第３の実施例では、図９に示す処理を行う。まず、ＣＰＵ３４−４は、撮像装置１に電子手ぶれ補正を行う電子手ぶれ補正モードか設定されているか否かを判断する（Ｓ３１）。この判断の結果、電子手ぶれ補正モードであると判断した場合（Ｓ３１において、ＹＥＳ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で複数枚（例えば、４枚）連続で撮影を行い(Ｓ３２)、撮影された画像を例えばＳＤＲＡＭ３３等に取り込む。
【００９３】
そして、ＣＰＵ３４−４は、ＳＤＲＡＭ３３等に取り込まれた４枚の画像のうち、１枚目の画像のコントラストを解析し、例えば解析したコントラストの高さに応じて、動きベクトル検出を行う際の画像サイズを設定する（Ｓ３３）。
【００９４】
なお、Ｓ３３の処理では、上述した手法の他に、例えば撮影された４枚の画像のうち、複数枚（例えば、１枚目（最初）と４枚目（最後）等）の画像を用いてコントラストを解析し、解析したコントラストを平均化してもよい。これにより、撮影した複数枚の画像全体に対するコントラストを高精度に取得することができる。
【００９５】
その後、ＣＰＵ３４−４は、撮影した４枚の画像から、Ｓ３３の処理にて設定された画像サイズに縮小を行い、動きベクトル検出処理用の画像を作成し、作成した画像による設定した画像サイズでの動きベクトル検出処理を行う（Ｓ３４）。
【００９６】
次に、ＣＰＵ３４−４は、Ｓ３４の処理により得られた動きベクトル検出結果に基づいて、画像サイズを変更する前の撮影画像に対して画像合成を行う（Ｓ３５）。
【００９７】
なお、上述したＳ３１の処理において、電子手ぶれ補正モードでないと判断した場合（Ｓ３１において、ＮＯ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で通常の撮影時と同様に１枚の画像撮影（通常撮影）を行う（Ｓ３６）。
【００９８】
次に、Ｓ３５又はＳ３６の処理が終了後、生成された画像を内蔵メモリ３６又はメモリカードスロットル５２に挿入されたメモリカード５３等に保存する（Ｓ３７）。
【００９９】
以上説明したように、第３の実施例によれば、ＣＰＵ３４−４は、撮影画像のコントラスト（特徴情報）に応じて、最適な精度で、より高速に動きベクトル検出処理を行った電子手ぶれ画像を作成することが可能となる。なお、図９に示す例では、連続撮影する枚数の例を４枚としたが、本発明においてはこれに限定されるものではなく、２枚以上であれば何枚でもよい。
【０１００】
＜本実施形態における手ぶれ補正制御処理：第４の実施例＞
図１０は、本実施形態における手ぶれ補正制御処理の第４の実施例を示すフローチャートである。通常、撮影画像に人物の顔（特徴情報）が含まれている場合、顔の細部を表現するために繊細な描写が必要となる場合が多い。繊細な描写を保ったまま電子手ぶれ処理を行うには、動きベクトル検出処理を行う際に高精度で位置ずれ検出を行い、画像合成を行う必要がある。したがって、動きベクトル検出処理を行う際の画像サイズは大きくする方が望ましい。
【０１０１】
そこで、第４の実施例では、図１０に示す処理を行う。まず、ＣＰＵ３４−４は、撮像装置１に電子手ぶれ補正を行う電子手ぶれ補正モードか設定されているか否かを判断する（Ｓ４１）。この判断の結果、電子手ぶれ補正モードであると判断した場合（Ｓ４１において、ＹＥＳ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で複数枚（例えば、４枚）連続で撮影を行い(Ｓ４２)、撮影された画像を例えばＳＤＲＡＭ３３等に取り込む。
【０１０２】
そして、ＣＰＵ３４−４は、ＳＤＲＡＭ３３等に取り込まれた４枚の画像のうち、１枚目の撮影時に人物の顔が含まれているか否かを検出し、例えば検出結果として得られた顔の有無に応じて、動きベクトル検出を行う際の画像サイズを設定する(Ｓ４３)。
【０１０３】
なお、Ｓ４３の処理では、上述した手法の他に、例えば撮影された４枚の画像全てで顔検出を行い、少なくとも１枚の画像で顔が検出された場合に、その検出情報に基づいて画像サイズを設定してもよい。また、複数の画像で顔が検出された場合には、検出された複数の画像のうち、例えば最初に検出した画像等を１枚選択し、その選択した画像の顔検出結果に応じて画像サイズを設定してもよい。
【０１０４】
また、Ｓ４３の処理では、画像から顔が検出された場合に、その顔の大きさや位置、数等に応じて画像サイズを設定してもよい。更に、Ｓ４３の処理では、人物の顔に限定されず、予め設定された物体（オブジェクト）を検出し、その物体の有無や形状、大きさ、数等の物体検出情報により変更する画像サイズを設定してもよい。
【０１０５】
その後、ＣＰＵ３４−４は、撮影した４枚の画像から、Ｓ４３の処理にて設定された画像サイズに縮小を行い、動きベクトル検出処理用の画像を作成し、作成した画像による設定した画像サイズでの動きベクトル検出処理を行う（Ｓ４４）。
【０１０６】
次に、ＣＰＵ３４−４は、Ｓ４４の処理により得られた動きベクトル検出結果に基づいて、画像サイズを変更する前の撮影画像に対して画像合成を行う（Ｓ４５）。
【０１０７】
なお、上述したＳ４１の処理において、電子手ぶれ補正モードでないと判断した場合（Ｓ４１において、ＮＯ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で通常の撮影時と同様に１枚の画像撮影（通常撮影）を行う（Ｓ４６）。
【０１０８】
次に、Ｓ４５又はＳ４６の処理が終了後、生成された画像を内蔵メモリ３６又はメモリカードスロットル５２に挿入されたメモリカード５３等に保存する（Ｓ４７）。
【０１０９】
以上説明したように、第４の実施例によれば、ＣＰＵ３４−４は、撮影画像に人物の顔が撮影されているか否かによって、その特徴情報を用いて、最適な精度で、より高速に動きベクトル検出処理を行った電子手ぶれ画像を作成することが可能となる。なお、図１０に示す例では、連続撮影する枚数の例を４枚としたが、本発明においてはこれに限定されるものではなく、２枚以上であれば何枚でもよい。
【０１１０】
また、上述した第３及び第４の実施例では、撮影画像から得られる特徴情報の一例として、コントラスト及び人物の顔検出を用いたが、本発明においてはこれに限定されるものではなく、他の特徴情報を用いてもよく、また複数の特徴情報を組み合わせてもよい。
【０１１１】
更に、本実施形態においては、上述した第１〜第４の各実施例は、適宜組み合わせて用いても同様の効果を得ることができる。したがって、上記の実施例の他にも、例えば設定情報と特徴情報とを含む撮影情報を用いて手ぶれ補正制御処理を行うこともできる。
【０１１２】
なお、上述した各実施例における画像サイズを設定する際の拡大率又は縮小率については、例えばズームが広角端である場合には、より精度が必要となるため、例えば縮小率を撮影時の画像サイズに対して縦横１／２サイズ（縮小率２５％）に設定し、その縮小サイズで動き検出を行う。また、例えばズームが望遠端である場合には、精度がそれほど必要ではないため、縮小率を撮影時の画像サイズに対して縦横１／４サイズ（縮小率６．２５％）に設定し、その縮小サイズで動き検出を行う。なお、本発明においては、上記の例に限定されるものではなく、各種条件に基づき他の拡大率や縮小率等を設定することができる。
【０１１３】
また、上述の各実施例に示すような撮像装置１を用いた手ぶれ補正制御処理は、各処理をコンピュータに実行させることができる制御プログラム（撮像プログラム）を生成し、例えば、上述した図２に示すようなハードウェア構成に撮像プログラムをインストールし、プロセッサ３４等により、撮像プログラムを実行することにより、本実施形態における手ぶれ補正制御処理を容易に実現することができる。
【０１１４】
上述したように、本発明によれば、最適な電子手ぶれ補正画像を取得することができる。具体的には、例えば撮影画像や撮影条件等の撮影情報によって、高精度な動きベクトル検出を行う必要がある場合や、動きベクトル検出精度は必要ないが高速に画像を作成したい場合、どのような精度での位置あわせが最適であるかを撮影画像や撮影条件から判断を行い、それにより位置あわせ処理で使用する縮小画像サイズを変更し、高精度で動きベクトル検出を行うか、高速で動きベクトル検出を行うかを選択することで、最適な動きベクトル検出を行う。これにより、最適な電子手ぶれ補正処理を行うことができる。
【０１１５】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１１６】
１ 撮像装置
１１ サブ液晶ディスプレイ
１２ メモリカード／電池装填部
１３ ストロボ発光部
１４ 光学ファインダ
１５ 測距ユニット
１６ リモコン受光部
１７ 鏡胴ユニット
１８ ＡＦ用ＬＥＤ
１９ ストロボ用ＬＥＤ
２０ ＬＣＤモニタ
３１ ＣＣＤ
３２ Ｆ／Ｅ−ＩＣ
３３ ＳＤＲＡＭ
３４ デジタルスチルカメラプロセッサ
３５ ＲＡＭ
３６ 内蔵メモリ
３７ ＲＯＭ
３８ 音声入力ユニット
３９ 音声再生ユニット
４０ ストロボ回路
４１ ＬＣＤドライバ
４２ サブＣＰＵ
４３ 操作キーユニット
４４ ブザー
４５ 加速度センサ
４６ ＵＳＢコネクタ
４７ シリアルドライバ回路
４８ ＲＳ−２３２Ｃコネクタ
４９ ＬＣＤドライバ
５０ ビデオアンプ
５１ ビデオジャック
５２ メモリカードスロットル
５３ メモリカード
６１，６４ 画像
６２，６３ 縮小画像
７１ 画角
【先行技術文献】
【特許文献】
【０１１７】
【特許文献１】特開２００７−２２６６４３号公報
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及び撮像プログラムに係り、特に最適な電子手ぶれ補正画像を取得するための撮像装置、撮像方法、及び撮像プログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置において手ぶれを抑制する技術としては、撮像面又は撮像面に対するレンズの位置を手ぶれ方向と反対方向にシフトすることにより手ぶれをキャンセルする光学的手ぶれ補正方式や、高速シャッターを用いて複数枚の時分割画像を撮影し、被写体の特徴点を基準にして各画像を合成することによる電子手ぶれ補正方式が既に知られている。上述した電子手ぶれ補正方式では、手ぶれに対して撮像面やレンズを作動させる必要がないためメカ機構が不要であり、撮像装置のスペースやコストが節約できる等のメリットがある。
【０００３】
なお従来では、手ぶれを補正する目的で、複数枚の撮影画像のうち一つの基準画像をもとに、それ以外の画像に対して動きベクトルの検出、画像合成を行うための手段が開示されている（例えば、特許文献１参照）。
【０００４】
また、従来の電子手ぶれ補正方式では、撮影した複数の画像の動きベクトル検出を行い、画像合成を行うことで撮影画像を生成する。つまり、撮影した複数枚の画像の動きベクトル検出を行う際、撮影画像を任意のサイズに縮小して動きベクトル検出を行うが、その際の画像サイズは、大きいほど精度のよい動きベクトル検出を行うことが可能となるが、処理時間は画像サイズに比例して長くなる。そこで、従来の手法では、動きベクトル検出用の画像のサイズは、撮影画像や撮像条件によらずに一定のサイズで動きベクトル検出を行っていた。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば撮影画像や撮影条件によって高精度な動きベクトル検出を行う必要がある場合や、動きベクトル検出精度は必要ないが高速に画像を作成したい場合等には、動きベクトル検出で使用する画像サイズを最適化できないという問題があった。
【０００６】
また、上述した特許文献１に示される技術は、手ぶれを補正する目的で画像合成を行っているが、動きベクトル検出を行う際の画像サイズに関する記載はなく、上述したように撮影画像や撮影条件等によって、動きベクトル検出で使用する画像サイズを最適化することはできなかった。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、最適な電子手ぶれ補正画像を取得するための撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
本発明は、撮像装置において、撮像素子により連続した複数の撮影画像を取得する画像取得制御手段と、前記画像取得制御手段により得られた複数の撮影画像の画像サイズを、前記複数の撮影画像のうち、少なくとも１つの撮影画像に対する撮影情報に基づいて設定された画像サイズに変更する画像サイズ変更手段と、前記画像サイズ変更手段により得られたサイズ変更画像に基づいて各撮影画像同士の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトル情報に基づいて前記サイズ変更画像を補正し、補正された複数の前記サイズ変更画像を合成する合成手段とを有することを特徴とする。
【００１０】
また本発明は、撮像装置により撮影された画像に対する手ぶれ補正を行うための撮像方法において、前記撮像装置が備える撮像素子により連続した複数の撮影画像を取得する画像取得ステップと、前記画像取得制御ステップにより得られた複数の撮影画像の画像サイズを、前記複数の撮影画像のうち、少なくとも１つの撮影画像に対する撮影情報に基づいて設定された画像サイズに変更する画像サイズ変更ステップと、前記画像サイズ変更ステップにより得られたサイズ変更画像に基づいて各撮影画像同士の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトル検出ステップにより検出された動きベクトル情報に基づいて前記サイズ変更画像を補正し、補正された複数の前記サイズ変更画像を合成する合成ステップとを有することを特徴とする。
【００１１】
また本発明は、コンピュータを、上述した撮像装置として機能させることを特徴とする撮像プログラムである。
【発明の効果】
【００１２】
本発明によれば、最適な電子手ぶれ補正画像を取得することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態における撮像装置の外観の一例を示す図である。
【図２】本実施形態における撮像装置の内部システム構成の一例を示す図である。
【図３】ＣＰＵブロックの機能構成の一例を示す図である。
【図４】撮像装置の手ぶれ補正制御処理手順の一例を示すフローチャートである。
【図５】電子手ぶれ補正処理を説明するための図である。
【図６】画像合成を行う際の重ね合わせの内容を説明するための図である。
【図７】本実施形態における手ぶれ補正制御処理の第１の実施例を示すフローチャートである。
【図８】本実施形態における手ぶれ補正制御処理の第２の実施例を示すフローチャートである。
【図９】本実施形態における手ぶれ補正制御処理の第３の実施例を示すフローチャートである。
【図１０】本実施形態における手ぶれ補正制御処理の第４の実施例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
＜本発明について＞
本発明は、例えば電子手ぶれ補正方式等の手ぶれ補正手法において、撮影画像や撮影条件等の撮影情報によって必要な動きベクトル検出精度を自動的に判断し、動きベクトル検出を行う際の画像サイズを動的に設定することで、動きベクトル検出精度及び処理時間等の観点に基づいて最適な動きベクトル検出を行い、その検出結果に基づいて画像を合成する電子手ぶれ補正処理を行う。
【００１５】
つまり、本発明は、撮影画像や撮影条件等によって、高精度な動きベクトル検出を行う必要がある場合や、動きベクトル検出精度は必要ないが高速に画像を作成したい場合に、どのような精度での位置合わせが最適であるかを、その撮影画像や撮影条件等の撮影情報から判断し、それにより位置合わせ処理で使用する縮小画像サイズを変更する。また、本発明は、高精度で動きベクトル検出を行うか、高速で動きベクトル検出を行うかを選択することで、最適な動きベクトル検出を行い、それにより高精度な手ぶれ補正を実現する。
【００１６】
以下に、本発明における撮像装置、撮像方法、及び撮像プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下に示す説明では、撮像装置の一例としてデジタルカメラを用い、処理内容の実施例として電子手ぶれ補正方式を用いることとするが、本発明における撮像装置の装置構成や処理内容についてはこれに限定されるものではない。
【００１７】
＜撮像装置：外観例＞
まず、本実施形態における撮像装置について図を用いて説明する。図１は、本実施形態における撮像装置の外観の一例を示す図である。なお、図１（Ａ）は、撮像装置の上面図の一例を示し、図１（Ｂ）は、撮像装置の正面図の一例を示し、図１（Ｃ）は、撮像装置の背面図の一例を示している。なお、以下に示す実施形態では、撮像装置の一例としてデジタルカメラを示すが本発明においては、これに限定されるものではなく、また形状や構成のレイアウト等についてもこれに限定されるものではなく、本発明の適用範囲に応じて任意に設定されるものである。
【００１８】
図１（Ａ）〜図１（Ｃ）に示す撮像装置１は、サブ液晶ディスプレイ（以下、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を「ＬＣＤ」という）１１と、メモリカード／電池装填部１２と、ストロボ発光部１３と、光学ファインダ１４と、測距ユニット１５と、リモコン受光部１６と、鏡胴ユニット１７と、ＡＦ用ＬＥＤ１８と、ストロボ用ＬＥＤ１９と、ＬＣＤモニタ２０と、スイッチ（以下、「ＳＷ」という）１〜１３とを有するよう構成されている。
【００１９】
＜撮像装置：内部システム構成例＞
また、図２は、本実施形態における撮像装置の内部システム構成の一例を示す図である。図２に示す撮像装置１は、サブＬＣＤ１１と、ストロボ発光部１３と、測距ユニット１５と、リモコン受光部１６と、鏡胴ユニット１７、ＡＦ用ＬＥＤ１８と、ストロボ用ＬＥＤと、ＬＣＤモニタ２０と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）３１と、Ｆ／Ｅ−ＩＣ３２と、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、デジタルスチルカメラプロセッサ（以下、「プロセッサ」という）３４と、ＲＡＭ３５と、内蔵メモリ３６と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３７と、音声入力ユニット３８と、音声再生ユニット３９と、ストロボ回路４０と、ＬＣＤドライバ４１と、サブＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央演算装置）４２と、操作キーユニット４３と、ブザー４４と、加速度センサ４５と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ４６と、シリアルドライバ回路４７と、ＲＳ−２３２Ｃコネクタ４８と、ＬＣＤドライバ４９と、ビデオアンプ５０と、ビデオジャック５１と、メモリカードスロットル５２と、メモリカード５３とを有するよう構成されている。
【００２０】
また、図２において、鏡胴ユニット１７は、例えば、ズームレンズ１７−１ａ及びズームモータ１７−１ｂからなるズーム光学系１７−１と、フォーカスレンズ１７−２ａ及びフォーカスモータ１７−２ｂからなるフォーカス光学系１７−２と、絞り１７−３ａ及び絞りモータ１７−３ｂからなる絞りユニット１７−３と、メカシャッタ１７−４ａ及びメカシャッタモータ１７−４ｂからなるメカシャッタユニット１７−４と、モータドライバ１７−５とを有するよう構成されている。
【００２１】
また、図２において、Ｆ／Ｅ−ＩＣ（フロントエンド−集積回路）３２は、画像ノイズの除去のために相関二重サンプリングを行うＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）３２−１と、自動利得制御を行うＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）３２−２と、アナログ−デジタル変換を行うＡ／Ｄ変換部３２−３と、垂直同期信号ＶＤ・水平同期信号ＨＤに基づいて駆動タイミング信号を生成するＴＧ（タイミングジェネレータ）３２−４とを有するよう構成されている。
【００２２】
また、図２において、プロセッサ３４は、Ｉ２Ｃ（Ｉｎｔｅｒ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）ブロック３４−１、ＣＣＤ１信号処理ブロック３４−２、ＣＣＤ２信号処理ブロック３４−３、ＣＰＵブロック３４−４、ローカルＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４−５、ＵＳＢブロック３４−６、シリアルブロック３４−７、ＪＰＥＧ圧縮・伸長を行うＪＰＥＧコーデックブロック３４−８、画像データのサイズを拡大・縮小するリサイズブロック３４−９、ＴＶ信号表示ブロック３４−１０、メモリカードコントローラブロック３４−１１を有しており、これらの各ブロック３４−１〜３４−１１は、バスラインを介して相互に接続されている。
【００２３】
また、図２において、音声入力ユニット３８は、音声記録回路３８−１と、マイクアンプ３８−２と、マイク３８−３とを有すように構成されている。また、図２において、音声再生ユニット３９は、音声再生回路３９−１と、オーディオアンプ３９−２と、スピーカ３９とを有するよう構成されている。
【００２４】
ここで、図１、図２における撮像装置１は、デジタルカメラとしての機能を有している。
具体的には、図１（Ａ）に示すように、撮像装置１の上部には、サブＬＣＤ１１、レリーズ用のＳＷ１、モードダイアル用のＳＷ２が設けられている。
【００２５】
また、図１（Ｂ）に示すように、撮像装置１の側部には、撮影された画像データ等を格納するメモリカードや撮像装置１の電源をＯＮして一連のシステムを駆動させるためのメモリカード／電池装填部１２の蓋が設けられている。また、撮像装置１の正面側には、撮影時のストロボを発光させるストロボ発光部１３、光学レンズを介して被写体の位置を視認する光学ファインダ１４、測距ユニット１５、別体のリモコン装置からの赤外線等によるリモコン信号を受光する受光部１６、及び撮影レンズを備えた鏡胴ユニット１７が設けられている。
【００２６】
また、図１（Ｃ）に示すように、撮像装置１の背面側には、光学ファインダ１４、ＡＦ用ＬＥＤ１８、ストロボ用ＬＥＤ１９、ＬＣＤモニタ２０、広角ズーム（ＷＩＤＥ）用のＳＷ３、望遠ズーム（ＴＥＬＥ）用のＳＷ４、撮影した画像や映像の再生用のＳＷ５、セルフタイマ設定／解除用のＳＷ６、メニュー及びＯＫスイッチ用のＳＷ７、ディスプレイであるＬＣＤモニタ２０のＯＮ／ＯＦＦ用のＳＷ８、上移動／ストロボ設定用のＳＷ９、右移動用のＳＷ１０、下移動／マクロ設定用のＳＷ１１、左移動／画像確認用のＳＷ１２、電源ＯＮ／ＯＦＦ用のＳＷ１３が設けられている。
【００２７】
また、図２において、プロセッサ３４は、ＣＰＵを内蔵しており、撮像装置１の各部はプロセッサ３４によって制御されている。プロセッサ３４の外部には、ＳＤＲＡＭ３３、ＲＡＭ３５、撮影された画像の画像データを記憶する内蔵メモリ３６、本実施形態における各種機能を実行させるための各種の制御プログラムやパラメータ等が格納されたＲＯＭ３７が設けられており、これらもバスラインを介してプロセッサ３４に接続されている。
【００２８】
なお、ＳＤＲＡＭ３３には、撮影された画像データの他にも、例えば画像データから変換されたＲＡＷ−ＲＧＢ画像データ（ホワイトバランス補正、γ補正が行われた画像データ）、ＹＵＶ画像データ（輝度データと色差データとに変換された画像データ）、ＪＰＥＧ画像データ（ＪＰＥＧ圧縮された画像データ）等が保存される。
【００２９】
本実施形態では、電源ＯＮ／ＯＦＦ用のＳＷ１３をＯＮにした際に、ＲＯＭ３７に格納された制御プログラムがプロセッサ３４内のメモリ又はプロセッサ３４に接続されたメモリ等にロードされて実行され、撮像装置１の各部は、この制御プログラムによって制御される。なお、本実施形態では、制御プログラムが実行される際には、例えばＲＡＭ３５のメモリが制御プログラムの作業用メモリとして使用される。つまり、必要に応じて、ＲＡＭ３５のメモリに対して制御プログラムの制御データやパラメータ等が書き込まれ、また読み出しが行われる。後述される全ての処理は、この制御プログラムを実行することにより、主にプロセッサ３４によって実行される。
【００３０】
鏡胴ユニット１７は、ズームレンズ１７−１ａ、フォーカスレンズ１７−２ａ、絞り１７−３ａ、メカシャッタ１７−４ａを、それぞれズームモータ１７−１ｂ、フォーカスモータ１７−２ｂ、絞りモータ１７−３ｂ、メカシャッタモータ１７−４ｂによって駆動させる。また、鏡胴ユニット１７は、これらの各モータ１８−１ｂ〜１８−４ｂを、モータドライバ１７−５によって駆動させる。モータドライバ１７−５は、プロセッサ３４のＣＰＵブロック３４−４によって制御される。
【００３１】
本実施形態では、上述した広角ズーム（ＷＩＤＥ）用のＳＷ３や望遠ズーム（ＴＥＬＥ）用のＳＷ４の操作等を行い、鏡胴ユニット１７の各光学系１８−１，１８−２によりＣＣＤ３１の受光部に被写体像を結像させる。結像された被写体像は、ＣＣＤ３１によって画像信号に変換され、この画像信号がＦ／Ｅ−ＩＣ３２に出力される。
【００３２】
Ｆ／Ｅ−ＩＣ３２において、ＣＤＳ３２−１は、取得した画像信号を相関二重サンプリングする。また、ＡＧＣ３２−２は、ＣＤＳ３２−１から得られる画像信号に対して自動的に利得の調整を行う。また、Ａ／Ｄ変換部３２−３は、ＡＧＣ３２−２から出力されるアナログ画像信号をデジタル画像信号に変換する。つまり、Ｆ／Ｅ−ＩＣ３２は、ＣＣＤ３１から出力されたアナログ画像信号にノイズ低減の処理や利得調整の処理等の所定の処理を施し、更にアナログ画像信号をデジタル画像信号に変換して、プロセッサ３４のＣＣＤ１信号処理ブロック３４−２に出力する。
【００３３】
ＴＧ３２−４は、プロセッサ３４のＣＣＤ１信号処理ブロック３４−２からフィードバックされるＶＤ（垂直同期）信号・ＨＤ（水平同期）信号に基づいて、Ｆ／Ｅ−ＩＣ３２による画像信号のサンプリング等のタイミング処理を行う。
【００３４】
Ｉ２Ｃブロック３４−１は、電子回路におけるシリアル通信方式によりＩＣ間において高速通信を行う。ＣＣＤ１制御ブロック３４−２は、ＣＣＤ３１よりＦ／Ｅ―ＩＣ３２の出力データにホワイトバランス設定やガンマ設定を行い、また上述したＶＤ信号、ＨＤ信号を供給する。ＣＣＤ２制御ブロック３４−３は、例えば入力されるデータに対するフィルタリング処理により、輝度データ、色差データへの変換を行う。ＣＰＵブロック３４−４は、撮像装置１の各部の動作を制御する。なお、ＣＰＵブロック３４−４についての具体的な機能構成については後述する。
【００３５】
ローカルＳＲＡＭ３４−５は、例えば撮像装置１における制御に必要な各種データを一時的に保存する。ＵＳＢブロック３４−６は、例えばパソコン等の外部機器とＵＳＢ通信を行う。シリアルブロック３４−７は、パソコン等の外部機器とシリアル通信を行う。ＪＰＥＧコーデックブロック３４−８は、例えばＪＰＥＧ圧縮、伸張を行う。
【００３６】
リサイズブロック３４−９は、後述するように画像データのサイズに対して拡大又は縮小処理を行って所定のサイズに変更したり、画像データに対する補間処理等を行う。ＴＶ信号表示ブロック３４−１０は、画像データを液晶モニタやＴＶ等の外部表示機器に表示するためのビデオ信号に変換する。また、メモリカードコントローラブロック３４−１１は、撮影された画像データを記録するメモリカードの制御を行う。
【００３７】
ここで、プロセッサ３４のＣＰＵブロック３４−４は、Ｆ／Ｅ−ＩＣ３２、モータドライバ１７−５、音声記録回路３８−１、音声再生回路３９−１、ストロボ発光部１３を発光させるストロボ回路４０、測距ユニット１５、サブＣＰＵ４２に接続されている。したがって、上述した各構成は、ＣＰＵブロック３４−４によって制御される。
【００３８】
また、音声入力ユニット３８及び音声再生ユニット３９について説明すると、マイク３８−３によって取り込まれた音声信号は、マイクアンプ３８−２によって増幅され、音声記録回路３８−１によってデジタル信号に変換されて、ＣＰＵブロック３４−４の制御命令に基づいて、例えば内蔵メモリ３６やメモリカード５３等に記録される。また、音声再生回路３９−１は、ＣＰＵブロック３４−４の制御命令に基づいて、例えばＲＯＭ３７等に予め記録されている適宜の音声データを音声信号に変換し、オーディオアンプ３９−２によって増幅し、スピーカ３９−３から出力させる。
【００３９】
測距ユニット１５は、例えば測距センサとしての２次元センサ等を有し、２次元センサ等を用いて撮像装置１の撮影エリアに含まれる所定の被写体までの距離を計測する測距手段である。なお、測距手段とは、例えば複数の２次元センサ等を用いた測距方式等を示し、例えば２つのレンズ及びＣＣＤ等の撮像素子から得られる画像の視差を用いて三角測量等によって距離の測定を行うものである。
【００４０】
サブＣＰＵ４２は、ＬＣＤドライバ４９を介してサブＬＣＤ１１、ＡＦ用ＬＥＤ１８、ストロボ用ＬＥＤ１９、リモコン受光部１６、上述したＳＷ１〜ＳＷ１３からなる操作キーユニット４３、及びブザー４４等が接続されている。したがって、上述した各構成は、サブＣＰＵ４２によって制御される。また、サブＣＰＵ４２は、リモコン受光部１６に対する信号の入力状態や、操作キーユニット（例えば、上述したＳＷ１〜ＳＷ１３等）に対する入力状態を監視する。
【００４１】
また、Ｉ２Ｃブロック３４−１には、加速度計測手段としての加速度センサ４５が接続されている。加速度センサ４５は、プリント回路基板（ＰＣＢ（Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ Ｂｏａｒｄ））上に実装され、直交する２軸Ｘ、Ｙ方向の加速度データ、及び温度データＴを出力する。そのデータからカメラのロール角、ピッチ角等の傾きを演算し、Ｉ２Ｃブロック３４−１に出力して、最終的にはＬＣＤモニタ２０等に表示される。なお、加速度センサ４５の水平に対するロール角θは、以下の式（１）で表される。
θ［ｄｅｇ］＝１８０／π×ａｒｃｔａｎ（（Ｙ０−Ｇ０）／（Ｘ０−Ｇ０）） ・・・（１）
なお、上記式（１）において、Ｇ０は重力ゼロ時の出力を示している。
【００４２】
ここで、本実施形態においては、撮像装置１が図１(Ｂ)，図１(Ｃ)の姿勢の場合に、撮像装置１のロール角θが０度であるとし、例えばＬＣＤモニタ２０が時計回り方向に傾いた場合に正の傾き、また反時計回りに傾いた場合に負の傾きであるとする。
【００４３】
また、ＵＳＢブロック３４−６は、例えばＵＳＢコネクタ４６に接続されている。また、シリアルブロック３４−７は、例えばシリアルドライバ回路４７を介してＲＳ−２３２Ｃコネクタ４８に接続されている。したがって、本実施形態における撮像装置１は、上述したＵＳＢブロック３４−６やシリアルブロック３４−７によって、撮像装置１に接続された外部機器との間でデータ通信を行う。
【００４４】
ＴＶ信号表示ブロック３４−１０は、ＬＣＤモニタ２０を駆動するためのＬＣＤドライバ４９、ビデオ信号を増幅すると共にインピーダンス整合を行うためのビデオアンプ５０が接続されている。また、ＬＣＤドライバ４９には、ＬＣＤモニタ２０が接続されている。また、ビデオアンプ５０には、ＴＶ等の外部モニタ機器に接続するためのビデオジャック５１が接続されている。つまり、ＴＶ信号表示ブロック３４−１０は、画像データをビデオ信号に変換し、ＬＣＤモニタ２０やビデオジャック５１に接続された外部モニタ機器等の表示手段等に出力する。
【００４５】
また、ＬＣＤモニタ２０は、撮影中の被写体のモニタや、撮影された画像の表示、メモリカード５３又は内蔵メモリ３６等に記録された画像の表示等に使用される。なお、ＬＣＤモニタ２０は、タッチパネル等による入出力機能を有していてもよく、その場合には、ユーザ等のタッチ入力に基づいて、所定の被写体の特定や各種指示入力を行うことができる。
【００４６】
メモリカードコントローラブロック３４−１１は、メモリカードスロットル５２が接続されている。したがって、撮像装置１は、メモリカードスロットル５２に挿入された増設用のメモリカード５３との間で画像データのやり取りを行う。
【００４７】
なお、上述した撮像装置１の構成において、例えば鏡胴ユニット１７、ＣＣＤ３１、Ｆ／Ｅ−ＩＣ３２、及びＣＣＤ１信号処理ブロック３４−２は、本実施形態における撮像手段に相当する。また、上述した図２に示す構成では、被写体光像を光電変換するための固体撮像素子としてＣＣＤ３１を用いたが、本発明においてはこれに限定されるものではなく、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いてもよい。その場合には、ＣＣＤ１信号処理ブロック３４−２及びＣＣＤ２信号処理ブロック３４−３は、それぞれＣＭＯＳ１信号処理ブロック３４−２及びＣＭＯＳ２信号処理ブロック３４−３に置き換えて同様の処理を行わせることになる。
【００４８】
＜ＣＰＵブロック３４−４の機能構成＞
次に、上述したＣＰＵブロック３４−４の本実施形態における具体的な機能構成例について図を用いて説明する。図３は、ＣＰＵブロックの機能構成の一例を示す図である。図３に示すＣＰＵブロック３４−４は、画像取得制御手段３４−４ａと、画像サイズ変更手段３４−４ｂと、動きベクトル検出手段３４−４ｃと、合成手段３４−４ｄと、画像記録制御手段３４−４ｅとを有するよう構成されている。
【００４９】
画像取得制御手段３４−４ａは、例えば上述したＣＣＤ３１等の撮像素子から連続して予め設定された複数枚の撮影画像を取得するように画像取得制御を行う。なお、画像取得制御手段３４−４ａは、上述した処理を行う前に、例えば電子手ぶれ補正を行う電子手ぶれ補正モードが設定されているか否かを判断してもよい。この場合、画像取得制御手段３４−４ａは、ユーザ等により設定されたモードが、電子手ぶれ補正モードであった場合には上述の処理を行い、電子手ぶれ補正モードでなかった場合には通常撮影モードとして１枚の撮影画像のみを取得するように画像取得制御を行う。なお、上述したモード設定は、例えば図１に示すモードダイアル用のＳＷ２等をユーザが操作することにより行われる。
【００５０】
画像サイズ変更手段３４−４ｂは、画像取得制御手段３４−４ａにより取得された複数の撮影画像の各画像サイズを撮影情報等に基づいて所定のサイズに変更する。具体的には、画像サイズ変更手段３４−４ｂは、撮影情報として、例えば画像取得制御手段３４−４ａによる撮像時の設定情報等に基づいて設定される拡大率又は縮小率等により、生成される画像サイズを設定する。なお、上述した撮像時の設定情報としては、例えば撮像装置１における撮影時のズームポジション、フォーカスポジション、レンズＦ値、ＩＳＯ感度、ホワイトバランスのパラメータ、ガンマ補正で使うガンマカーブ、アパーチャ補正、ノイズリダクション、及びディストーション補正値等から、１又は複数の設定情報を用いることができるが、本発明においてはこれに限定されるものではない。
【００５１】
なお、設定情報としては、特にズームポジションを用いることが好ましい。その理由は、例えばズームポジションが望遠側にある場合には、大きな手ぶれが発生しにくく、また被写体も細かい描写で撮影できるため、より高精度な動き検出が必要となるからである。したがって、ズームポジションを含む設定情報に対応させて画像サイズの拡大率又は縮小率等を設定するのが好ましい。なお、本発明においてはこれに限定されるものではない。
【００５２】
また、画像サイズ変更手段３４−４ｂは、撮影情報として、撮影画像に対する特徴情報に基づいて、拡大又は縮小等により生成される画像サイズを設定する。なお、上述した特徴情報としては、例えば撮影画像のコントラストの高さや、撮影画像に人物の顔やその他の特定形状、構造物や動物等の物体（オブジェクト）等が含まれているか否か等から、１又は複数の特徴情報を用いることができるが、本発明においてはこれに限定されるものではない。
【００５３】
なお、特定情報としては、コントラストの高さを用いることが好ましい。その理由は、例えばコンントラストが高い場合には、被写体間の境界がより鮮明になるため、より高精度な動き検出が必要とされるからである。したがって、コントラストの高さを含む特徴情報に対応させて画像サイズの拡大率又は縮小率等を設定するのが好ましい。なお、本発明においてはこれに限定されるものではない。
【００５４】
また、動きベクトル検出手段３４−４ｃは、画像サイズ変更手段３４−４ｂにより生成された画像に基づいて撮影画像同士の動きベクトルを検出する。また、動きベクトル検出手段３４−４ｃは、動きベクトル検出を行う画像サイズを、画像サイズ変更手段３４−４ｂから得られる撮像装置１に対する設定情報に基づいて変更し、その変更した領域内における動きベクトルを検出する。これにより、撮像装置１の設定情報から、自動的に最適な動きベクトル検出方法で動きベクトル検出を行うことができる。
【００５５】
また、動きベクトル検出手段３４−４ｃは、動きベクトル検出を行う画像サイズを、画像サイズ変更手段３４−４ｂから得られる撮像装置１が撮影した撮影画像の特徴情報に基づいて変更させ、その変更した領域内における動きベクトルを検出する。これにより、撮像装置１の撮影画像から、自動的に最適な動きベクトル検出方法で動きベクトル検出を行うことができる。なお、動きベクトル検出手段３４−４ｃは、上述した撮影情報としての設定情報と特徴情報とを両方用いて、動きベクトル検出を行うための画像サイズを設定し、設定した画像サイズに変更してもよい。
【００５６】
合成手段３４−４ｄは、動きベクトル検出手段３４−４ｃにより検出された動きベクトルを補正し、補正された複数の画像を加算して合成し、合成した１又は複数の画像を出力する。
【００５７】
画像記録制御手段３４−４ｅは、画像取得制御手段３４−４ａにより取得した画像、画像サイズ変更手段３４−４ｂにより撮影画像毎にサイズ変更された画像、合成手段３４−４ｄにより生成された合成画像等をＳＤＲＡＭ３３やＲＡＭ３５、内蔵メモリ３６、メモリカードスロットル５２に挿入されたメモリカード５３等に記録させる画像記録制御等を行う。
【００５８】
なお、上述したＣＰＵブロック３４−４による各機能構成により、本実施形態における手ぶれ補正を実現することができる。本実施形態における手ぶれ補処理の具体的な処理内容については後述する。
【００５９】
＜手ぶれ補正制御手法について＞
次に、撮像装置１を用いた本発明における手ぶれ補正制御手法について説明するが、本発明における手ぶれ補正制御手法をより明確にするため、まず一般的な手ぶれ補正制御処理手順について説明する。
【００６０】
図４は、撮像装置の手ぶれ補正制御処理手順の一例を示すフローチャートである。図４の例では、まず画像取得制御により、ある被写体等の物体（オブジェクト）に対して連続して４枚の画像を撮影する（Ｓ０１）。次に、Ｓ０１の処理により取得された撮影画像から、予め設定されたサイズ（ここでは一例として縮小サイズとする）の画像を作成する（Ｓ０２）。
【００６１】
次に、Ｓ０２の処理により得られた４枚の縮小画像を時系列に並べ、連続する画像間を比較し、各画像に含まれる撮影された物体（オブジェクト）等の動き検出を行う（Ｓ０３）。次に、Ｓ０３に処理得られる動き検出結果に基づいて縮小する前の４枚の画像に対して画像合成を行い（Ｓ０４）、得られた合成画像をメモリ等に保存する（Ｓ０５）。
【００６２】
つまり、図４の例では、電子手ぶれ補正処理を行う際、まず連続して４枚の画像を撮影し、それらの撮影画像からサイズの小さい縮小画像を作成する。次に作成した縮小画像を元に４枚の画像の相対的な動きベクトルの検出を行う。その後、動きベクトル検出結果を元に、縮小する前の４枚の撮影画像に対する合成を行い、合成結果画像を内蔵メモリ３６やメモリカードスロットル５２に挿入されたメモリカード５３等に記録手段に記録する。
【００６３】
ここで、図５は、電子手ぶれ補正処理を説明するための図である。撮像装置１により連続的に撮影された複数（例えば、４枚等）の画像６１−１〜６４−４は、それぞれが所定のサイズに縮小され、縮小画像６２−１〜６２−４が生成される。この縮小画像６２−１〜６２−４は、手ぶれ補正における位置合わせ用の画像である。その後、縮小画像６２−１〜６２−４に基づいて全画像の位置合わせ処理を行い、その位置合わせされた縮小画像６３の位置合わせ結果に基づいて、縮小前の連続した画像６１−１〜６１−４に対して画像合成処理を行い、その合成画像６４を内蔵メモリ３６やメモリカード５３等の記録手段に記録する。
【００６４】
ここで、本実施形態では、通常、動きベクトル検出を行う際の画像サイズが大きい方が精度のよい動きベクトル検出を行うことができ、画像合成時の位置ずれを低減することができる。しかしながら、上述の場合、動きベクトル検出の処理に時間がかかってしまう。そのため、例えばＶＧＡ程度のサイズ（例えば、横６４０×縦４８０、ピクセル総数３０７２００ピクセル等）に画像を縮小し、縮小した画像に対して動きベクトル検出を行うのが一般的である。
【００６５】
また、撮影条件や撮影対象物によっては、ＶＧＡサイズの画像で動きベクトル検出をする場合よりも精度の高い動きベクトル検出が必要な場合や、動きベクトル検出の精度が低くてもよい場合があり、それにあわせて動きベクトル検出時の画像サイズを変動させることが望ましい。
【００６６】
そこで、本実施形態では、電子手ぶれ補正を行う場合に、ＣＰＵ３４−４においてレリーズシャッターＳＷ１が押されたと判断すると、４枚の画像を連続してＳＤＲＡＭ３３等に取り込む。また、本実施形態では、ＳＤＲＡＭ３３への撮影画像の取り込みが完了すると、ＣＰＵ３４−４において撮影条件や撮影画像等を含む撮影情報等から、動きベクトル検出の必要精度の計算を行う。
【００６７】
また、本実施形態では、必要精度の計算結果に基づいて撮影画像の縮小を行い、動きベクトル検出を行って、その結果に基づく画像合成により１枚の画像を生成する。
【００６８】
＜画像合成時の重ね合わせのイメージ例＞
ここで、図６は、画像合成を行う際の重ね合わせの内容を説明するための図である。なお、図６の例では、画像合成前の４枚の画像６１−１〜６１−４の画角は、それぞれ異なるが、画像合成を行う際は１枚目に撮影した領域が基準となり、他の画像と重なっている領域が合成される。つまり、２枚以上が重なっている領域が合成可能面積となり、全ての領域で４枚合成を行う必要はなく、部分的に１枚〜４枚の少なくとも１つ画像を合成する。
【００６９】
図６に示す梨字模様で囲まれた領域は、合成した結果作成される画像６１−１〜６１−４の画角７１を示している。なお、図５のフローチャートでは、連続撮影する枚数は４枚としましたが、２枚以上であれば何枚でもよく、合成可能面積も上述したように２枚以上が重なっている領域に限定されず、例えば３枚以上、４枚以上等が重なっている領域と定義してもよい。また、上述の例では、基準画像を１枚目の画像として定義したが、本発明においてはこれに限定されるものではなく、例えば連続撮影した画像のうち、２枚目以降の任意の画像を選択してもよい。
【００７０】
また、画像合成により生成された画像は、例えば内蔵メモリ３６又はメモリカードスロットル５２に挿入されたメモリカード５３等の記録手段に記録する。
【００７１】
なお、上述した動きベクトル検出や画像合成手法については、上述した内容に限定されるものではなく、例えば特許文献１に示されている技術や、その他にも例えば特開２００６−１５７５６８号公報等に示されている技術を広く適用することができる。
【００７２】
次に、本実施形態における手ぶれ補正の実施例についてフローチャートを用いて説明する。
【００７３】
＜本実施形態における手ぶれ補正制御処理：第１の実施例＞
図７は、本実施形態における手ぶれ補正制御処理の第１の実施例を示すフローチャートである。通常、撮影を行う際に、撮像装置１（カメラ）のズームポジション（設定情報）が広角側にある場合は、同条件で望遠側にある場合と比べて、一般に被写体が小さく撮影され、また解像度も高い撮影となる。そのため、電子手ぶれ補正を行う際は、広角撮影の方が、より精度の高い動きベクトル検出が必要となる。
【００７４】
そこで、第１の実施例では、図７に示す処理を行う。まず、ＣＰＵ３４−４は、撮像装置１に電子手ぶれ補正を行う電子手ぶれ補正モードが設定されているか否かを判断する（Ｓ１１）。この判断の結果、電子手ぶれ補正モードであると判断した場合（Ｓ１１において、ＹＥＳ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で複数枚（例えば、４枚）連続で撮影を行い(Ｓ１２)、撮影された画像を例えばＳＤＲＡＭ３３等に取り込む。
【００７５】
そして、ＣＰＵ３４−４は、ＳＤＲＡＭ３３等に取り込まれた４枚の画像が撮影された際のズームポジション（設定情報）を確認し、確認したズームポジションに応じて動きベクトル検出を行う際の画像サイズを設定する（Ｓ１３）。
【００７６】
その後、ＣＰＵ３４−４は、撮影した４枚の画像サイズから、Ｓ１３の処理にて設定された画像サイズに縮小を行い、動きベクトル検出処理用の画像を作成し、作成した画像による設定した画像サイズでの動きベクトル検出処理を行う（Ｓ１４）。
【００７７】
次に、ＣＰＵ３４−４は、Ｓ１４の処理により得られた動きベクトル検出結果に基づいて、画像サイズを変更する前の撮影画像に対して画像合成を行う（Ｓ１５）。
【００７８】
なお、上述したＳ１１の処理において、電子手ぶれ補正モードでないと判断した場合（Ｓ１１において、ＮＯ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で通常の撮影時と同様に１枚の画像撮影（通常撮影）を行う（Ｓ１６）。
【００７９】
次に、Ｓ１５又はＳ１６の処理が終了後、生成された画像を内蔵メモリ３６又はメモリカードスロットル５２に挿入されたメモリカード５３等に保存する(Ｓ１７)。
【００８０】
以上説明したように、第１の実施例によれば、ＣＰＵ３４−４は、ズームポジション（設定情報）により、最適な精度で、より高速に動きベクトル検出処理を行った電子手ぶれ画像を作成することが可能となる。なお、図７に示す例では、連続撮影する枚数の例を４枚としたが、本発明においてはこれに限定されるものではなく、２枚以上であれば何枚でもよい。
【００８１】
＜本実施形態における手ぶれ補正制御処理：第２の実施例＞
図８は、本実施形態における手ぶれ補正制御処理の第２の実施例を示すフローチャートである。通常、撮影を行う際に、撮像装置１（カメラ）のＩＳＯ感度の設定値（設定情報）が高いと、同条件下ではＩＳＯ感度設定が低い場合と比べて、画像ノイズのＳ／Ｎ比が悪くなったりシャッタスピードが速くなる等の特徴がある。また、画像ノイズのＳ／Ｎ比が高い場合、画像合成を行う際の位置合わせ精度が少々悪くても、画像ノイズの影響で撮影画像のブレが目立たない傾向がある。そのため、電子手ぶれ補正を行う際にＩＳＯ感度の設定値が低い際は、ＩＳＯ感度の設定値が高い際と比べて、より精度の高い動きベクトル検出が必要となる。
【００８２】
そこで、第２の実施例では、図８に示す処理を行う。まず、ＣＰＵ３４−４は、撮像装置１に電子手ぶれ補正を行う電子手ぶれ補正モードが設定されているか否かを判断する（Ｓ２１）。この判断の結果、電子手ぶれ補正モードであると判断した場合（Ｓ２１において、ＹＥＳ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で複数枚（例えば、４枚）連続で撮影を行い (Ｓ２２)、撮影された画像を例えばＳＤＲＡＭ３３等に取り込む。
【００８３】
そして、ＣＰＵ３４−４は、ＳＤＲＡＭ３３等に取り込まれた４枚の画像が撮影された際のＩＳＯ感度の設定値を確認し、確認したＩＳＯ感度の設定値に応じて動きベクトル検出を行う際の画像サイズを設定する(Ｓ２３)。
【００８４】
その後、ＣＰＵ３４−４は、撮影した４枚の画像から、Ｓ２３の処理にて設定された画像サイズに縮小を行い、動きベクトル検出処理用の画像を作成し、作成した画像による設定した画像サイズでの動きベクトル検出処理を行う（Ｓ２４）。
【００８５】
次に、ＣＰＵ３４−４は、Ｓ２４の処理により得られた動きベクトル検出結果に基づいて、画像サイズを変更する前の撮影画像に対して画像合成を行う（Ｓ２５）。
【００８６】
なお、上述したＳ２１の処理において、電子手ぶれ補正モードでないと判断した場合（Ｓ２１において、ＮＯ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で通常の撮影時と同様に１枚の画像撮影（通常撮影）を行う（Ｓ２６）。
【００８７】
次に、Ｓ２５又はＳ２６の処理が終了後、生成された画像を内蔵メモリ３６又はメモリカードスロットル５２に挿入されたメモリカード５３等に保存する(Ｓ２７)。
【００８８】
以上説明したように、第２の実施例によれば、ＣＰＵ３４−４は、ＩＳＯ感度の設定値により、最適な精度で、より高速に動きベクトル検出処理を行った電子手ぶれ画像を作成することが可能となる。なお、図８に示す例では、連続撮影する枚数の例を４枚としたが、本発明においてはこれに限定されるものではなく、２枚以上であれば何枚でもよい。
【００８９】
また、上述した第１及び第２の実施例では、撮影時に得られる設定情報の一例として、ズームポジション及びＩＳＯ感度の設定情報を用いたが、本発明においてはこれに限定されるものではなく、他の設定情報を用いてもよく、また複数の設定情報を組み合わせてもよい。
【００９０】
＜本実施形態における手ぶれ補正制御処理：第３の実施例＞
図９は、本実施形態における手ぶれ補正制御処理の第３の実施例を示すフローチャートである。通常、撮影画像のコントラストが高い場合は、明部と暗部の境界が鮮明であるため、電子手ぶれ処理を行った際に位置ずれがあった場合に視認され易い。そのため、動きベクトル検出処理を行う際に必要な精度は高くなるので、動きベクトル検出処理を行う際の画像サイズは大きくする方が望ましい。
【００９１】
逆に、コントラストが低い場合は、明部と暗部の境界が不鮮明であるので、電子手ぶれ処理を行った際に位置ずれがあった場合でも視認しづらくなる。そのため、動きベクトル検出処理を行う際に高い精度は必要なく、動きベクトル検出処理を行う際の画像サイズを小さくして処理時間を短くするのが望ましい。
【００９２】
そこで、第３の実施例では、図９に示す処理を行う。まず、ＣＰＵ３４−４は、撮像装置１に電子手ぶれ補正を行う電子手ぶれ補正モードか設定されているか否かを判断する（Ｓ３１）。この判断の結果、電子手ぶれ補正モードであると判断した場合（Ｓ３１において、ＹＥＳ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で複数枚（例えば、４枚）連続で撮影を行い(Ｓ３２)、撮影された画像を例えばＳＤＲＡＭ３３等に取り込む。
【００９３】
そして、ＣＰＵ３４−４は、ＳＤＲＡＭ３３等に取り込まれた４枚の画像のうち、１枚目の画像のコントラストを解析し、例えば解析したコントラストの高さに応じて、動きベクトル検出を行う際の画像サイズを設定する（Ｓ３３）。
【００９４】
なお、Ｓ３３の処理では、上述した手法の他に、例えば撮影された４枚の画像のうち、複数枚（例えば、１枚目（最初）と４枚目（最後）等）の画像を用いてコントラストを解析し、解析したコントラストを平均化してもよい。これにより、撮影した複数枚の画像全体に対するコントラストを高精度に取得することができる。
【００９５】
その後、ＣＰＵ３４−４は、撮影した４枚の画像から、Ｓ３３の処理にて設定された画像サイズに縮小を行い、動きベクトル検出処理用の画像を作成し、作成した画像による設定した画像サイズでの動きベクトル検出処理を行う（Ｓ３４）。
【００９６】
次に、ＣＰＵ３４−４は、Ｓ３４の処理により得られた動きベクトル検出結果に基づいて、画像サイズを変更する前の撮影画像に対して画像合成を行う（Ｓ３５）。
【００９７】
なお、上述したＳ３１の処理において、電子手ぶれ補正モードでないと判断した場合（Ｓ３１において、ＮＯ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で通常の撮影時と同様に１枚の画像撮影（通常撮影）を行う（Ｓ３６）。
【００９８】
次に、Ｓ３５又はＳ３６の処理が終了後、生成された画像を内蔵メモリ３６又はメモリカードスロットル５２に挿入されたメモリカード５３等に保存する（Ｓ３７）。
【００９９】
以上説明したように、第３の実施例によれば、ＣＰＵ３４−４は、撮影画像のコントラスト（特徴情報）に応じて、最適な精度で、より高速に動きベクトル検出処理を行った電子手ぶれ画像を作成することが可能となる。なお、図９に示す例では、連続撮影する枚数の例を４枚としたが、本発明においてはこれに限定されるものではなく、２枚以上であれば何枚でもよい。
【０１００】
＜本実施形態における手ぶれ補正制御処理：第４の実施例＞
図１０は、本実施形態における手ぶれ補正制御処理の第４の実施例を示すフローチャートである。通常、撮影画像に人物の顔（特徴情報）が含まれている場合、顔の細部を表現するために繊細な描写が必要となる場合が多い。繊細な描写を保ったまま電子手ぶれ処理を行うには、動きベクトル検出処理を行う際に高精度で位置ずれ検出を行い、画像合成を行う必要がある。したがって、動きベクトル検出処理を行う際の画像サイズは大きくする方が望ましい。
【０１０１】
そこで、第４の実施例では、図１０に示す処理を行う。まず、ＣＰＵ３４−４は、撮像装置１に電子手ぶれ補正を行う電子手ぶれ補正モードか設定されているか否かを判断する（Ｓ４１）。この判断の結果、電子手ぶれ補正モードであると判断した場合（Ｓ４１において、ＹＥＳ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で複数枚（例えば、４枚）連続で撮影を行い(Ｓ４２)、撮影された画像を例えばＳＤＲＡＭ３３等に取り込む。
【０１０２】
そして、ＣＰＵ３４−４は、ＳＤＲＡＭ３３等に取り込まれた４枚の画像のうち、１枚目の撮影時に人物の顔が含まれているか否かを検出し、例えば検出結果として得られた顔の有無に応じて、動きベクトル検出を行う際の画像サイズを設定する(Ｓ４３)。
【０１０３】
なお、Ｓ４３の処理では、上述した手法の他に、例えば撮影された４枚の画像全てで顔検出を行い、少なくとも１枚の画像で顔が検出された場合に、その検出情報に基づいて画像サイズを設定してもよい。また、複数の画像で顔が検出された場合には、検出された複数の画像のうち、例えば最初に検出した画像等を１枚選択し、その選択した画像の顔検出結果に応じて画像サイズを設定してもよい。
【０１０４】
また、Ｓ４３の処理では、画像から顔が検出された場合に、その顔の大きさや位置、数等に応じて画像サイズを設定してもよい。更に、Ｓ４３の処理では、人物の顔に限定されず、予め設定された物体（オブジェクト）を検出し、その物体の有無や形状、大きさ、数等の物体検出情報により変更する画像サイズを設定してもよい。
【０１０５】
その後、ＣＰＵ３４−４は、撮影した４枚の画像から、Ｓ４３の処理にて設定された画像サイズに縮小を行い、動きベクトル検出処理用の画像を作成し、作成した画像による設定した画像サイズでの動きベクトル検出処理を行う（Ｓ４４）。
【０１０６】
次に、ＣＰＵ３４−４は、Ｓ４４の処理により得られた動きベクトル検出結果に基づいて、画像サイズを変更する前の撮影画像に対して画像合成を行う（Ｓ４５）。
【０１０７】
なお、上述したＳ４１の処理において、電子手ぶれ補正モードでないと判断した場合（Ｓ４１において、ＮＯ）、ＣＰＵ３４−４は、レリーズシャッターＳＷ１が押された時点で通常の撮影時と同様に１枚の画像撮影（通常撮影）を行う（Ｓ４６）。
【０１０８】
次に、Ｓ４５又はＳ４６の処理が終了後、生成された画像を内蔵メモリ３６又はメモリカードスロットル５２に挿入されたメモリカード５３等に保存する（Ｓ４７）。
【０１０９】
以上説明したように、第４の実施例によれば、ＣＰＵ３４−４は、撮影画像に人物の顔が撮影されているか否かによって、その特徴情報を用いて、最適な精度で、より高速に動きベクトル検出処理を行った電子手ぶれ画像を作成することが可能となる。なお、図１０に示す例では、連続撮影する枚数の例を４枚としたが、本発明においてはこれに限定されるものではなく、２枚以上であれば何枚でもよい。
【０１１０】
また、上述した第３及び第４の実施例では、撮影画像から得られる特徴情報の一例として、コントラスト及び人物の顔検出を用いたが、本発明においてはこれに限定されるものではなく、他の特徴情報を用いてもよく、また複数の特徴情報を組み合わせてもよい。
【０１１１】
更に、本実施形態においては、上述した第１〜第４の各実施例は、適宜組み合わせて用いても同様の効果を得ることができる。したがって、上記の実施例の他にも、例えば設定情報と特徴情報とを含む撮影情報を用いて手ぶれ補正制御処理を行うこともできる。
【０１１２】
なお、上述した各実施例における画像サイズを設定する際の拡大率又は縮小率については、例えばズームが広角端である場合には、より精度が必要となるため、例えば縮小率を撮影時の画像サイズに対して縦横１／２サイズ（縮小率２５％）に設定し、その縮小サイズで動き検出を行う。また、例えばズームが望遠端である場合には、精度がそれほど必要ではないため、縮小率を撮影時の画像サイズに対して縦横１／４サイズ（縮小率６．２５％）に設定し、その縮小サイズで動き検出を行う。なお、本発明においては、上記の例に限定されるものではなく、各種条件に基づき他の拡大率や縮小率等を設定することができる。
【０１１３】
また、上述の各実施例に示すような撮像装置１を用いた手ぶれ補正制御処理は、各処理をコンピュータに実行させることができる制御プログラム（撮像プログラム）を生成し、例えば、上述した図２に示すようなハードウェア構成に撮像プログラムをインストールし、プロセッサ３４等により、撮像プログラムを実行することにより、本実施形態における手ぶれ補正制御処理を容易に実現することができる。
【０１１４】
上述したように、本発明によれば、最適な電子手ぶれ補正画像を取得することができる。具体的には、例えば撮影画像や撮影条件等の撮影情報によって、高精度な動きベクトル検出を行う必要がある場合や、動きベクトル検出精度は必要ないが高速に画像を作成したい場合、どのような精度での位置あわせが最適であるかを撮影画像や撮影条件から判断を行い、それにより位置あわせ処理で使用する縮小画像サイズを変更し、高精度で動きベクトル検出を行うか、高速で動きベクトル検出を行うかを選択することで、最適な動きベクトル検出を行う。これにより、最適な電子手ぶれ補正処理を行うことができる。
【０１１５】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１１６】
１ 撮像装置
１１ サブ液晶ディスプレイ
１２ メモリカード／電池装填部
１３ ストロボ発光部
１４ 光学ファインダ
１５ 測距ユニット
１６ リモコン受光部
１７ 鏡胴ユニット
１８ ＡＦ用ＬＥＤ
１９ ストロボ用ＬＥＤ
２０ ＬＣＤモニタ
３１ ＣＣＤ
３２ Ｆ／Ｅ−ＩＣ
３３ ＳＤＲＡＭ
３４ デジタルスチルカメラプロセッサ
３５ ＲＡＭ
３６ 内蔵メモリ
３７ ＲＯＭ
３８ 音声入力ユニット
３９ 音声再生ユニット
４０ ストロボ回路
４１ ＬＣＤドライバ
４２ サブＣＰＵ
４３ 操作キーユニット
４４ ブザー
４５ 加速度センサ
４６ ＵＳＢコネクタ
４７ シリアルドライバ回路
４８ ＲＳ−２３２Ｃコネクタ
４９ ＬＣＤドライバ
５０ ビデオアンプ
５１ ビデオジャック
５２ メモリカードスロットル
５３ メモリカード
６１，６４ 画像
６２，６３ 縮小画像
７１ 画角
【先行技術文献】
【特許文献】
【０１１７】
【特許文献１】特開２００７−２２６６４３号公報
【特許請求の範囲】
【請求項１】
撮像素子により連続した複数の撮影画像を取得する画像取得制御手段と、
前記画像取得制御手段により得られた複数の撮影画像の画像サイズを、前記複数の撮影画像のうち、少なくとも１つの撮影画像に対する撮影情報に基づいて設定された画像サイズに変更する画像サイズ変更手段と、
前記画像サイズ変更手段により得られたサイズ変更画像に基づいて各撮影画像同士の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により検出された動きベクトル情報に基づいて前記サイズ変更画像を補正し、補正された複数の前記サイズ変更画像を合成する合成手段とを有することを特徴とする撮像装置。
【請求項２】
前記画像サイズ変更手段は、
前記撮影情報として、前記少なくとも１つの撮影画像に対する撮像時の設定情報に基づいて、画像サイズを設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像サイズ変更手段は、
前記撮影情報として、前記少なくとも１つの撮影画像に対する特徴情報に基づいて、前記画像サイズを設定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記設定情報は、
前記複数の撮影画像に対する撮影時のズームポジション及び／又はＩＳＯ感度を含むことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記特徴情報は、
前記複数の撮影画像に対するコントラスト及び／又は物体検出情報を含むことを特徴とする請求項３に記載の撮像装置。
【請求項６】
撮像装置により撮影された画像に対する手ぶれ補正を行うための撮像方法において、
前記撮像装置が備える撮像素子により連続した複数の撮影画像を取得する画像取得ステップと、
前記画像取得制御ステップにより得られた複数の撮影画像の画像サイズを、前記複数の撮影画像のうち、少なくとも１つの撮影画像に対する撮影情報に基づいて設定された画像サイズに変更する画像サイズ変更ステップと、
前記画像サイズ変更ステップにより得られたサイズ変更画像に基づいて各撮影画像同士の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップにより検出された動きベクトル情報に基づいて前記サイズ変更画像を補正し、補正された複数の前記サイズ変更画像を合成する合成ステップとを有することを特徴とする撮像方法。
【請求項７】
前記画像サイズ変更ステップは、
前記撮影情報として、前記少なくとも１つの撮影画像に対する撮像時の設定情報に基づいて、画像サイズを設定することを特徴とする請求項６に記載の撮像方法。
【請求項８】
前記画像サイズ変更ステップは、
前記撮影情報として、前記少なくとも１つの撮影画像に対する特徴情報に基づいて、前記画像サイズを設定することを特徴とする請求項６又は７に記載の撮像方法。
【請求項９】
前記設定情報は、
前記複数の撮影画像に対する撮影時のズームポジション及び／又はＩＳＯ感度を含むことを特徴とする請求項７に記載の撮像方法。
【請求項１０】
前記特徴情報は、
前記複数の撮影画像に対するコントラスト及び／又は物体検出情報を含むことを特徴とする請求項８に記載の撮像方法。
【請求項１１】
コンピュータを、請求項１乃至５の何れか１項に記載された撮像装置として機能させることを特徴とする撮像プログラム。
【請求項１】
撮像素子により連続した複数の撮影画像を取得する画像取得制御手段と、
前記画像取得制御手段により得られた複数の撮影画像の画像サイズを、前記複数の撮影画像のうち、少なくとも１つの撮影画像に対する撮影情報に基づいて設定された画像サイズに変更する画像サイズ変更手段と、
前記画像サイズ変更手段により得られたサイズ変更画像に基づいて各撮影画像同士の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により検出された動きベクトル情報に基づいて前記サイズ変更画像を補正し、補正された複数の前記サイズ変更画像を合成する合成手段とを有することを特徴とする撮像装置。
【請求項２】
前記画像サイズ変更手段は、
前記撮影情報として、前記少なくとも１つの撮影画像に対する撮像時の設定情報に基づいて、画像サイズを設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像サイズ変更手段は、
前記撮影情報として、前記少なくとも１つの撮影画像に対する特徴情報に基づいて、前記画像サイズを設定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記設定情報は、
前記複数の撮影画像に対する撮影時のズームポジション及び／又はＩＳＯ感度を含むことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記特徴情報は、
前記複数の撮影画像に対するコントラスト及び／又は物体検出情報を含むことを特徴とする請求項３に記載の撮像装置。
【請求項６】
撮像装置により撮影された画像に対する手ぶれ補正を行うための撮像方法において、
前記撮像装置が備える撮像素子により連続した複数の撮影画像を取得する画像取得ステップと、
前記画像取得制御ステップにより得られた複数の撮影画像の画像サイズを、前記複数の撮影画像のうち、少なくとも１つの撮影画像に対する撮影情報に基づいて設定された画像サイズに変更する画像サイズ変更ステップと、
前記画像サイズ変更ステップにより得られたサイズ変更画像に基づいて各撮影画像同士の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップにより検出された動きベクトル情報に基づいて前記サイズ変更画像を補正し、補正された複数の前記サイズ変更画像を合成する合成ステップとを有することを特徴とする撮像方法。
【請求項７】
前記画像サイズ変更ステップは、
前記撮影情報として、前記少なくとも１つの撮影画像に対する撮像時の設定情報に基づいて、画像サイズを設定することを特徴とする請求項６に記載の撮像方法。
【請求項８】
前記画像サイズ変更ステップは、
前記撮影情報として、前記少なくとも１つの撮影画像に対する特徴情報に基づいて、前記画像サイズを設定することを特徴とする請求項６又は７に記載の撮像方法。
【請求項９】
前記設定情報は、
前記複数の撮影画像に対する撮影時のズームポジション及び／又はＩＳＯ感度を含むことを特徴とする請求項７に記載の撮像方法。
【請求項１０】
前記特徴情報は、
前記複数の撮影画像に対するコントラスト及び／又は物体検出情報を含むことを特徴とする請求項８に記載の撮像方法。
【請求項１１】
コンピュータを、請求項１乃至５の何れか１項に記載された撮像装置として機能させることを特徴とする撮像プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１９９６９１（Ｐ２０１２−１９９６９１Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６１６３１（Ｐ２０１１−６１６３１）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]