撮像装置
【課題】電子ズームを使用した場合でも、画質劣化の少ない画像を撮影できる撮像装置を提供する。
【解決手段】撮像装置は、生成した画像信号を読み出し指示に基づいて出力する撮像素子と、読み出し指示を撮像素子に出力する周期を制御する駆動制御部と、複数の画像の画像データを利用して、被写体の動きベクトルを検出する動き検出部と、動きベクトルを利用して複数の画像を合成することにより、新たな画像の画像データを生成する超解像処理を行う超解像処理部とを備えている。超解像処理部が動作しないときは、駆動制御部は第１の周期で読み出し指示を撮像素子に出力して１枚の画像を得る。超解像処理部が動作するときは、駆動制御部は、第１の周期よりも短い第２の周期で読み出し指示を撮像素子に複数回出力する。超解像処理部は、得られた複数の画像に基づいて、超解像処理を行い、新たな画像の画像データを生成する。
【解決手段】撮像装置は、生成した画像信号を読み出し指示に基づいて出力する撮像素子と、読み出し指示を撮像素子に出力する周期を制御する駆動制御部と、複数の画像の画像データを利用して、被写体の動きベクトルを検出する動き検出部と、動きベクトルを利用して複数の画像を合成することにより、新たな画像の画像データを生成する超解像処理を行う超解像処理部とを備えている。超解像処理部が動作しないときは、駆動制御部は第１の周期で読み出し指示を撮像素子に出力して１枚の画像を得る。超解像処理部が動作するときは、駆動制御部は、第１の周期よりも短い第２の周期で読み出し指示を撮像素子に複数回出力する。超解像処理部は、得られた複数の画像に基づいて、超解像処理を行い、新たな画像の画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラ、デジタルスチルカメラ等の撮像装置においては、小型・軽量化のみならず高倍率ズーム化がますます進展している。光学ズームだけでなく電子ズームを併用することで非常に高倍率なズーム機能を実現した製品が多く市販され、一般に知られている。たとえば特許文献１は、電子ズーム機能を有する撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１−２６１０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の撮像装置における電子ズーム処理では、撮像素子の全画素のうち、ズーム倍率に応じた数の画素のみを用いて画像データを生成していた。具体的には、ズーム倍率が大きくなるほど、撮像素子の全画素のうちの、より少ない数の画素を用いて画像データを生成していた。表示の際にはその画像データに対して補間処理（いわゆる画素数拡張処理）が行われ、画像が拡大される。その結果、ズーム倍率が大きいほど画像が粗くなり、画質が激しく劣化してしまうという問題があった。撮像装置では画質の向上も要求されているため、電子ズームによる撮像装置の撮影倍率拡大処理には、実用上限界があった。
【０００５】
本発明は、電子ズームを使用した場合でも、画質劣化の少ない画像を撮影できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による撮像装置は、被写体の像を形成する光学系と、前記被写体の像を受けて画像信号を生成し、読み出し指示に基づいて前記画像信号を出力する撮像素子と、前記読み出し指示を前記撮像素子に出力する周期を制御する駆動制御部と、前記画像信号から得られた画像データを格納するメモリと、複数の画像の画像データを利用して、前記被写体の少なくとも１つの動きベクトルを検出する動き検出部と、前記少なくとも１つの動きベクトルを利用して前記複数の画像を合成することにより、新たな画像の画像データを生成する超解像処理を行う超解像処理部とを備え、前記超解像処理部が動作しないときは、前記駆動制御部は第１の周期で前記読み出し指示を前記撮像素子に出力し、前記超解像処理部が動作するときは、前記駆動制御部は、前記第１の周期よりも短い第２の周期で前記読み出し指示を前記撮像素子に複数回出力し、前記メモリは、複数回の読み出し指示に基づいて得られた、複数の画像の画像データを格納する。
【０００７】
前記超解像処理部によって生成される前記新たな画像の画素数は、前記複数の画像の各画素数より多くてもよい。
【０００８】
前記超解像処理部は、前記少なくとも１つの動きベクトルを利用して、前記複数の画像の位置ずれを補正して前記複数の画像を合成してもよい。
【０００９】
前記複数の画像は、１枚の基準画像および少なくとも１枚の参照画像を含み、前記動き検出部は、前記基準画像内の前記被写体のパターンの位置、および前記少なくとも１枚の参照画像内の前記被写体のパターンの位置に基づいて前記少なくとも１つの動きベクトルを検出し、前記超解像処理部は、前記少なくとも１つの動きベクトルによって示される動き量および方向を利用して、前記基準画像内の前記被写体のパターンの位置と、前記少なくとも１枚の参照画像内の前記被写体のパターンの位置とが等しくなるよう、前記複数の画像の位置ずれを補正してもよい。
【００１０】
前記超解像処理部は、前記複数の画像の画素をずらして前記複数の画像を合成し、新たな画像の画像データを生成する超解像処理を行ってもよい。
【００１１】
前記撮像装置は、前記超解像処理部を動作させるか否かを制御し、かつ通常撮影モードおよび電子ズームモードの切り替えを制御する制御部をさらに備え、前記通常撮影モードでは第１の画素数の画像が生成され、前記電子ズームモードでは、前記第１の画素数の画像の一部である、第２の画素数の画像を利用して電子ズーム処理が行われ、前記制御部は、前記通常撮影モードでは前記超解像処理部を動作させず、前記通常撮影モードを前記電子ズームモードに切り替えたときは、前記超解像処理部を動作させてもよい。
【００１２】
前記光学系は、光学ズームを行うための少なくとも１つのレンズを有しており、前記通常撮影モードでは前記少なくとも１つのレンズを利用した前記光学ズーム処理が行われ、前記光学ズーム処理のズーム倍率が略最大に至った時点で、前記制御部は、前記通常撮影モードを前記電子ズームモードに切り替えてもよい。
【００１３】
前記電子ズームモードにおいてズーム倍率が大きくなるに従って、前記駆動制御部は、前記第２の周期を段階的により短く変更し、前記読み出し指示を前記撮像素子に複数回出力してもよい。
【００１４】
前記駆動制御部は、前記少なくとも１つの動きベクトルに基づいて、前記被写体の動き量が所定値よりも大きいか否かを判定し、前記動き量が所定値よりも大きいときは、前記第２の周期を段階的により短く変更してもよい。
【００１５】
前記駆動制御部は、前記少なくとも１つの動きベクトルに基づいて、前記被写体の動き量が所定値よりも大きいか否かを判定し、前記動き量が所定値よりも大きいときは、前記制御部は前記超解像処理部を動作させず、前記動き量が所定値以下のときは、前記制御部は前記超解像処理部を動作させてもよい。
【００１６】
前記撮像装置は、１枚の画像の画像データに基づいて画素数を拡張する補間ズーム部と、自装置の状態に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替える切り替え部とをさらに備えていてもよい。
【００１７】
前記切り替え部は、自装置のバッテリの残量に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替えてもよい。
【００１８】
前記切り替え部は、自装置の温度に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替えてもよい。
【発明の効果】
【００１９】
本発明によれば、電子ズームを使用した場合でも、画質劣化の少ない画像を撮影できる。
【図面の簡単な説明】
【００２０】
【図１】実施形態１にかかる撮像装置１００のブロック図を示す図である。
【図２】図１に示したデジタル信号処理部７の内部構成を示すブロック図である。
【図３】電子ズーム時に画像信号が読み出される撮像素子２の画像読み出し領域３１を模式的に示す図である。
【図４】（ａ）は、画像撮影時の撮像素子２から読み出された画像４１を示す図であり、（ｂ）は電子ズーム後の拡大された画像４２を示す図である。
【図５】撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートである。
【図６】撮像素子２からの画像信号の読み出しを説明するための、他のタイミングチャートの例である。
【図７】図１に示したデジタル信号処理部７の超解像処理部１３において実施される超解像処理を説明するための模式図である。
【図８】複数の画像の位置ずれを補正する処理の概念図である。
【図９】撮像装置１００のズーム倍率と、ズーム倍率に応じたフレームレートと、超解像処理に使用される画像の枚数の関係を示す図である。
【図１０】図９に示した電子ズームが動作し始めた以降（電子ズームモード時）の撮像素子２からの画像信号読み出しと超解像処理の結果得られた画像の例を示す図である。
【図１１】実施形態１の電子ズームモード時の動作アルゴリズムを説明するためのフローチャートである。
【図１２】図２に示した動き検出部１２の動き検出エリアを模式的に表した図である。
【図１３】図１の撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートおよび超解像処理の結果得られた画像の例を示す図である。
【図１４】実施形態２の電子ズームモード時の動作アルゴリズムを示すフローチャートである。
【図１５】実施形態３にかかる撮像装置１０１の構成を示す図である。
【図１６】実施形態３にかかる撮像装置１０１のデジタル信号処理部１７および切り替え部２２に関連する構成の詳細を示す図である。
【図１７】図１の撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートである。
【図１８】実施形態３の電子ズームモード時の動作アルゴリズムを示すフローチャートである。
【図１９】本発明の実施形態の変形例を説明する図である。
【図２０】画像信号の読み出し位置をずらした例を示す図である。
【図２１】本発明の実施形態の変形例を説明する図である。
【発明を実施するための形態】
【００２１】
以下、添付の図面を参照しながら、本発明による撮像装置の実施形態を説明する。各実施形態の撮像装置は、動画および静止画の少なくとも一方を撮影する機能を有していればよい。このような撮像装置として、たとえば静止画のみの撮影機能を有するデジタルスチルカメラ、動画のみの撮影機能を有するデジタルビデオカメラ、静止画および動画の撮影機能を有する、デジタルスチルカメラ、デジタルビデオカメラおよび携帯型電子機器が考えられる。
【００２２】
以下の説明では、動画および静止画の両方を含む概念として「映像」という語を用いる。
【００２３】
（実施形態１）
図１は、本実施形態にかかる撮像装置１００のブロック図を示す。撮像装置１００は、光学系１と、撮像素子２と、アナログ信号処理部３と、Ａ／Ｄ変換部４と、メモリ部５と、メモリ制御部６と、デジタル信号処理部７と、ズーム駆動制御部８と、撮像素子駆動制御部９と、システム制御部１０と、を備える。
【００２４】
光学系１は、複数のレンズ群を有している。複数のレンズ群を用いて光学ズーム機能が実現される。光学系１の光学ズーム機能に関し、そのズーム倍率は１倍からＲｏ倍（Ｒｏ＞１）まで連続的に可変であるとする。本実施形態１においては一例としてＲｏ＝１０として説明を行う。
【００２５】
撮像素子２は、例えばＣＣＤやＭＯＳセンサとして知られる光電変換デバイスである。撮像素子２は、受けた光を、その強度に応じた信号値を有する電気信号に変換する。たとえば撮像素子２は、１回の読み出し指示に基づいて、１枚の画像を構成する相当する各画素の電気信号（アナログ映像信号）を出力する。
【００２６】
アナログ信号処理部３は、アナログ映像信号に対し、ゲイン調整、ノイズ除去等の信号処理を施す信号処理回路である。アナログ信号処理部３は、処理後の映像信号（アナログ映像信号）を出力する。
【００２７】
Ａ／Ｄ変換部４は、アナログ信号をデジタル信号に変換する。たとえばＡ／Ｄ変換部４は、アナログ映像信号を受け取り、予め設定された複数の閾値に基づいてその映像信号の信号値を離散化してデジタル信号を生成する。
【００２８】
メモリ部５は、デジタルデータを保持する記憶装置である。メモリ部５は、たとえばＤＲＡＭである。
【００２９】
メモリ制御部６は、メモリ部５からのデータの読み出し、およびメモリ部５へのデータの書き込みを制御する。
【００３０】
デジタル信号処理部７は、各種のデジタル信号処理を施し、処理後のデジタル信号を出力する。この各種デジタル信号処理とは、例えば、輝度信号と色差信号の分離、ノイズ除去、ガンマ補正、先鋭度改善処理、電子ズーム処理等の、カメラに必要なデジタル処理である。なお電子ズーム処理時には、後述する超解像（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）処理により、電子ズームされた映像の画質の向上が実現される。
【００３１】
ズーム駆動制御部８は、光学系１中のレンズ群の一部の駆動を制御し、光学系１のズーム倍率を変更する。ズーム駆動制御部８は、任意のズーム倍率を設定することができる。
【００３２】
撮像素子駆動制御部９は、撮像素子２を駆動し信号の読み出し自体や読み出し時の画素数、ライン数、電荷蓄積時間（露光時間）、読み出し周期を制御する。
【００３３】
システム制御部１０は、ズーム駆動制御部８、撮像素子駆動制御部９、デジタル信号処理部７を統合的に制御し、映像撮影時にそれぞれが連動して適切な動作を行うよう指令を与える。システム制御部１０は、例えば、ＤＲＡＭやＳＲＡＭなどのＲＡＭに展開されたコンピュータプログラムを実行するマイクロコンピュータとして実現される。または、システム制御部１０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ＩＣ）のような、マイクロコンピュータとそれに付随したメモリに格納される制御プログラムとして実現されてもよいし、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）として実現されてもよい。
【００３４】
以下、本実施形態にかかる撮像装置１００の動作を簡単に説明する。光学系１は、被写体からの光を受け、被写体像を撮像素子２上に結像する。このときのズーム倍率はズーム駆動制御部８によって制御されている。撮像素子２上に被写体像が結像されると、撮像素子２はその被写体像を表す電気信号（アナログ映像信号）を出力する。アナログ信号処理部３は、撮像素子２から得られたアナログ映像信号に所定の信号処理を施し、処理後のアナログ映像信号を出力する。Ａ／Ｄ変換部４は、アナログ信号処理部３から出力されたアナログ映像信号を受け取り、デジタル映像信号に変換して出力する。バッファメモリであるメモリ部５は、このデジタル映像信号を一旦記憶する。
【００３５】
デジタル信号処理部７は、メモリ制御部６を介して、メモリ部５に記憶されたデジタル映像信号を読み出し、各種のデジタル信号処理を施し、必要に応じて映像データをメモリ部５に書き戻す。
【００３６】
本実施形態にかかる撮像装置１００は、デジタル信号処理部７における処理にその特徴の一つを有している。以下、デジタル信号処理部７の構成および動作の詳細を説明する。
【００３７】
図２は、図１に示したデジタル信号処理部７の内部構成を示すブロック図である。映像処理部１１は、映像信号からの輝度信号と色差信号の分離、ノイズ除去、ガンマ補正、先鋭度改善処理、等の、カメラに必要なデジタル処理を実行する。映像処理部１１は、処理前の映像信号および処理後の映像信号はメモリ制御部６を介してメモリ部５から読み書きする。動き検出部１２並びに超解像処理部１３は、上述の高画質な電子ズーム処理を実行する。詳細は後述する。
【００３８】
図３は、電子ズーム時に画像信号が読み出される撮像素子２の画像読み出し領域３１を模式的に示す。電子ズームモードのとき、同図に示すように撮像素子２の全撮像領域３０（換言すると撮像可能な領域）に対し、電子ズーム処理が実行される。撮像素子２は、撮像素子駆動制御部９からの指示に基づいて全撮像領域３０に含まれる一部の領域３１に結像された被写体像の画像信号を読み出す。後述のように読み出した画像信号に対し、デジタル信号処理部７において画像の拡大処理（画素数の拡張）が施される。
【００３９】
なお、撮像素子２から読み出す水平走査ライン数は、例えば６０Ｐのハイビジョン方式の場合、１フレームで約１０８０ラインが必要となる。そのため本実施形態の説明においては、電子ズームモードでない通常撮影モードの撮影時の撮像素子２から読み出す水平走査ライン数は１０８０ラインとする。また図３においては、一例として撮像素子２から電子ズームモードにおいて読み出す画像の水平ライン数を６４８ラインとして示しているが、この場合、電子ズーム倍率（Ｒｅ）は、１．６倍となる。なお本実施形態１においては一例としてＲｅの最大値を３として説明する。
【００４０】
また図示しない撮像装置１００の操作者の指示により、撮像装置１００のズーム動作を行う場合、はじめに光学系１による光学ズームを実施し、そのズーム倍率が略最大になった時点以降、電子ズームを併用することで更にズームを行う構成であるとする。その場合、撮像装置１００のトータルの最大ズーム倍率はＲｏとＲｅの積となる。
【００４１】
図４（ａ）は、画像撮影時の撮像素子２から読み出された画像４１を示し、（ｂ）は電子ズーム後の拡大された画像４２を示す。撮像素子２上で受光した像のうち、その一部を拡大することで、光学ズームと同じように撮影画像の拡大が可能である。なお、従来知られている電子ズーム処理では電子ズーム倍率が大きいほど画像が粗くなり、画質が激しく劣化していた。しかしながら本実施形態によれば、後に詳述する超解像処理により、画質の劣化を生じさせない電子ズーム処理が実現される。
【００４２】
図５は、撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートである。図５において（１）はテレビジョン信号の垂直同期信号、（２）は撮像素子２に蓄積された電荷を外部に読み出すトリガとなる読み出しトリガパルス、（３）は撮像素子２から読み出される出力信号（画像信号）を示す。図５に示すように、本実施形態における撮像装置１００では、撮像素子２に蓄積される画像信号は周期的に、そして、連続的に読み出し可能である。画像信号の読み出しは、システム制御部１０からの指示を受けた撮像素子駆動制御部９が読み出しトリガパルスを撮像素子２に印加することで行われる。ここで垂直同期信号の周期は、例えば本実施形態の撮像装置１００において、標準のテレビジョン方式に合致した動画を撮影する場合は、それに合致したフレーム周期（もしくはテレビジョン方式がインターレース方式の場合はフィールド周期）に相当する。例えばデジタルスチルカメラのように静止画を撮影する場合は、垂直同期信号の周期は、画像確認用のモニタ画像（デジタルスチルカメラのビューファインダや液晶表示装置に表示される画像）の表示を更新する周期である。もちろん静止画を撮影する場合には、撮影者のシャッター操作に合わせて任意のタイミングで画像の読み出しを行えるよう、必要がなければ図５に示したような周期的な動作を常に行っておかなくてもよい。なお本実施形態１においては、電子ズームを行わない動画撮影時の垂直同期信号の周期、即ちフレームレートは１秒あたり６０枚（６０ｆｐｓ）として説明するが、これに限るものではない。
【００４３】
図６は、撮像素子２からの画像信号の読み出しを説明するための、他のタイミングチャートの例である。図６においては、画像信号の読み出しを１フレーム周期に１枚以上（例えば２枚）とするために撮像素子駆動制御部９が読み出しトリガパルスの周期をタイミングＡ以降に変更した例を示す。このように本実施形態の撮像装置１００においては、撮像素子駆動制御部９によって印加される読み出しトリガパルスの周期を自由に変更することで、画像信号の読み出し周期を自由に変えることができる。
【００４４】
図７は、図１に示したデジタル信号処理部７の超解像処理部１３において実施される超解像処理を説明するための模式図である。図７において（２）、（３）は図５で説明した読み出しトリガパルス、並びに、撮像素子２から読み出される出力信号（画像信号）である。
【００４５】
図７の（４）はフレーム１からフレーム４の各タイミングで撮像素子２から読み出される画像信号の例であり、白丸、黒丸等で示した点が画像の各画素の信号を表す。（５）は読み出された４つの画像信号の空間的な位置関係を示した図である。
【００４６】
通常、撮像装置を手で保持して撮影した場合、手ぶれによって撮影される画像に位置ずれが生じる。そのため、同じ被写体を撮影したとしても、手ぶれが原因となって複数の画像における被写体の空間的な位置がずれることがある。
【００４７】
図８を参照しながらよりわかりやすく説明する。図８（１）は、被写体である「○」を連続撮影して得られた４枚のフレームｆ１〜ｆ４を示し、図８（２）は被写体を基準として各画像を重ね合わせたときの画像間の位置関係の例を示している。
【００４８】
図８（１）によれば、同じ被写体を連続して撮影したにもかかわらず、手ぶれにより、各フレームの異なる位置に被写体が存在していることが理解される。
【００４９】
本実施形態では、同じ被写体を含む複数のフレームを利用して画像の解像度を高める。上述の４フレームｆ１〜ｆ４には、同じ被写体「○」が含まれている。よって、図８（２）に示すように、同じ被写体を含む、画像間で重複した部分の情報を合わせて新たな画像情報を生成すれば、フレーム数に応じて画像の解像度を高めることができる。なお、画像内において具体的な被写体を特定する必要はない。異なる画像内に存在する、相互に最もよく類似するパターンを特定すればよい。たとえば、小領域内のパターンを基準にしてもよいし、画像内の人物の顔をパターンとしてもよい。
【００５０】
再び図７を参照する。
【００５１】
図７の（５）は、４枚の画像に共通する被写体を基準として各画像を重ね合わせたときの画像間の位置関係の例を示している。この図は図８（２）に対応している。
【００５２】
そして図７の（６）は超解像処理により（５）に示した４つの画像を合成した後の画像を示す。
【００５３】
本実施形態に示す撮像装置１００は撮像素子２で撮影された複数の画像を、その空間的な位置ずれ量を元に合成し、画素ずらし画像を生成する。
【００５４】
より具体的には、最初に撮影された画像を基準画像とし、基準画像内に、所定の大きさの矩形の窓領域Ａを設定する。そして、窓領域Ａ内のパターンと類似するパターンを、以後に撮影された画像（参照画像）内で探索する。探索範囲は、適宜定められる。たとえば、参照画像において、基準画像の窓領域Ａの座標位置と同じ座標位置を基準として、予め定められた一定の範囲Ｂが設定される。その範囲Ｂにおいて、窓領域Ａ内のパターンと類似するパターンが探索される。パターンの類似の度合い（程度）は、たとえば残差平飽和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を計算することによって評価できる。たとえば、差が最も小さくなるときのパターンを、窓領域Ａ内のパターンと類似するパターンとして取り扱えばよい。窓領域Ａ内のパターンの位置と、各参照画像において特定された各パターンの位置との差が、位置ずれ量となる。基準画像からの方向まで含めた位置ずれ量は、「動きベクトル」とも呼ばれる。
【００５５】
なお、参照画像の枚数は任意である。たとえば撮影した複数枚の中の一部の画像のみを用いて処理を行ってもよい。
【００５６】
本実施形態にかかる撮像装置１００は、これらの位置ずれ量を元に各画像を合成する。これにより、より高画質な画像（６）を得る。この処理は超解像処理とも呼ばれる。超解像処理によって得られた超解像画像（６）は、合成前の画像（５）に比べて、空間当たりの画素数（解像度）が大きくなっている。
【００５７】
ここで行われる超解像処理は、単なる画素数増加処理ではない。別個独立に撮影された、実存する被写体の画像データを用いるため、破綻が抑えられた画像が得られると共に、画像の先鋭度が劣化しにくいという特徴を有するからである。
【００５８】
従来の補間方法との相違を説明する。いま、隣接する２画素の間に新たにｎ個の画素を挿入する処理を考える。従来の補間方法として、隣接する２つの画素の画素値を用いて新たな画素の画素値を決定する補間方法が考えられる。たとえば、隣接２画素の画素値がａおよびｂであるとすると、画素値ａからｂまで、（ｂ−ａ）／ｎずつ画素値が変化するよう、ｎ個の画素の画素値を決定する補間方法が考えられる。この方法によれば、画素数は増加するものの、挿入された画素の画素値は常に予め定められた方法で一様に決定される。これでは、画像の破綻が生じたり、先鋭度が劣化することがある。後者の例を挙げると、たとえば上述の隣接２画素が、輝度差が大きい部分（たとえば輪郭部分）の２画素であるとすると、補間された画素は輪郭部分の階調が徐々に変化するように生成される。これは、エッジの先鋭度を劣化させる。
【００５９】
超解像処理部１３が超解像処理を行うかどうかは、超解像処理モードがオン（ＯＮ）かオフ（ＯＦＦ）かによって決定される。
【００６０】
超解像処理モードがＯＮのとき、超解像処理部１３は超解像処理を行い、ＯＦＦのときは超解像処理を行わない。超解像処理を行うとき、複数画像間の位置ずれ量の検出は動き検出部１２（図２）が実行し、検出した空間的な位置ずれ量を元に画像を合成する。
【００６１】
動き検出部１２は、撮像素子２から読み出された画像信号が示す２枚以上の画像（５）の被写体間の位置ずれ量および方向（動きベクトル）を検出する。動き検出部１２が動きベクトルを検出する方法の一例として、上述した窓領域を利用してパターンを認識する、いわゆる画像間のブロックマッチングを用いてもよい。または、フーリエ変換を利用した位相限定相関法を用いてもよい。本実施形態１においてはいずれの方法を採用しても構わない。なお、動き検出部１２の処理は特定の方法に限られない。
【００６２】
上述の説明では、動き検出部１２は基準画像からの方向まで含めた位置ずれ量（動きベクトル）を検出すると説明した。しかしながら、撮影環境によっては基準画像からのずれの方向が予め決まっている場合があり得る。そのような場合には、動き検出部１２は基準画像からの方向を検出する必要はなく、動き量のみを検出すればよい。本願明細書においては、基準画像からのずれの方向が予め決まっており、、動き検出部１２が動き量のみを検出する場合においても、「動き検出部１２が動きベクトルを検出する。」と記載することがある。
【００６３】
なお超解像処理時に合成に用いる画像枚数は４枚に限るものではない。
【００６４】
本実施形態においては、超解像処理モードのＯＮ／ＯＦＦは、電子ズームが行われているか否かによって決定される。
【００６５】
図９は、撮像装置１００のズーム倍率と、ズーム倍率に応じたフレームレートと、超解像処理に使用される画像の枚数の関係を示す。
【００６６】
本実施形態１においては、図示しない撮像装置１００の操作者の指示により撮像装置１００のズーム動作を行う場合、はじめに光学系１を駆動して光学ズーム動作をその略最大倍率に達するまで行う。このとき撮像装置１００における撮影のフレームレートは標準の６０ｆｐｓとし、且つ超解像処理モードはＯＦＦとする。超解像処理部１３は超解像処理を行わないため、画像合成枚数は１枚である。
【００６７】
次に、図示しない撮像装置１００の操作者の指示が光学ズームの略最大倍率（１０倍）に至った時点で電子ズーム処理が動作し始める。操作者の指示が継続する限り、電子ズームの最大倍率に至るまでズームが行われる。
【００６８】
電子ズームが動作し始めたタイミング以降、電子ズームのズーム倍率が増加するに従い、撮像装置１００は撮影のフレームレートを段階的に上げる。図９では、たとえば６０ｆｐｓ以降、９０、１２０、１５０および１８０まで段階的に上げる。この処理は、撮像素子駆動制御部９が読み出しトリガパルスを出力するタイミングを変えることによって実現される。これにより、一定時間内に取得できる画像枚数が増加する。同時に、超解像処理モードがＯＮに変更され、超解像処理部１３は超解像処理を実行する。
【００６９】
超解像処理部１３は、複数の画像から超解像処理により高画質な合成画像を生成する。超解像処理は、通常撮影モード時のフレームレート（６０ｆｐｓ）の１フレーム期間である１／６０秒に取得した画像を合成して行われる。すなわち、電子ズームのズーム倍率が増加するに従い、超解像処理に用いられる画像の枚数が段階的に増加する。
【００７０】
図１０は、図９に示した電子ズームが動作し始めた以降（電子ズームモード時）の撮像素子２からの画像信号読み出しと超解像処理の結果得られた画像の例を示す。図１０において（１）、（２）は図５に示した垂直同期信号、読み出しトリガパルスである。図１０においては、一例として１フレーム期間に４回の読み出しトリガパルスを撮像素子２に印加して、４つの画像の画像信号を読み出している。
【００７１】
図１０に示すように、図示しない撮像装置１００の操作者の指示で、電子ズームが動作し始めるズーム倍率が設定されると、撮像素子駆動制御部９が読み出しトリガパルスを出力する周期を上げ、通常の１フレーム期間内に複数枚の画像信号を出力させる。そして動き検出部１２は、得られた複数枚の画像間の位置ずれ量を検出する。動き検出部１２は検出結果（位置ずれ量）を超解像処理部１３に供給する。超解像処理部１３は、そのずれ量に基づいて画素ずらしによる合成処理を行い、高画質な超解像画像を生成する。
【００７２】
図１１は、本実施形態の電子ズームモード時の動作アルゴリズムを説明するためのフローチャートである。図１１に示した動作アルゴリズムはシステム制御部１０に例えばハードウエア、もしくはプログラムとして実装されているとする。
【００７３】
以上のように構成された本実施形態の撮像装置１００の動作を、以下、図１１を参照しながら説明する。まず撮像装置１００のズーム倍率が初期状態である１倍に設定されていると仮定し、図示しない撮像装置１００の操作者の指示で、ズーム動作が指示されたとする。
【００７４】
ステップ１０１において、システム制御部１０は、操作者の指示が光学ズーム倍率の上限を超えているか否かに基づいて電子ズームがＯＮであるか否かを判断する。
【００７５】
本実施形態では、図示しないズームボタンの押下によって操作者の指示が受け付けられ、ズームボタンが押下され続ける時間をもってズーム倍率が決定されるとする。操作者の指示がズーム倍率１０以下の場合、上述の通り、ズーム駆動制御部８は、光学系１中の一部のレンズを駆動制御して光学系１のズーム倍率を指定の倍率に設定する。これによりズーム撮影が可能となる。このとき、電子ズームモードはＯＦＦであり、超解像モードもＯＦＦである。
【００７６】
一方、操作者の指示が光学ズーム倍率の上限である１０倍を超える場合には、システム制御部１０は、電子ズームモードおよび超解像モードをＯＮにする。これにより、処理はステップ１０２に進む。
【００７７】
ステップ１０２では、システム制御部１０は具体的な電子ズーム倍率を決定する。より具体的には、操作者によるズームボタンの連続押下時間から電子ズーム倍率を決定する。このとき、電子ズームモードはＯＮである。また、超解像モードもＯＮになる。システム制御部１０は、決定したズーム倍率を特定する指示をデジタル信号処理部７に送る。
【００７８】
ステップ１０３では、撮像素子駆動制御部９は、ステップ１０２で決まった電子ズーム倍率から、撮像素子２から読み出すべき画素数および範囲を算出し決定する。電子ズームモード時は撮像素子２から取得できる総画素数のうちの一部のみを読み出して、これに拡大処理（画素数の拡張）を施しズーム画像を得ればよい。そのため、撮像素子２から読み出すべき画素数を電子ズーム倍率から算出する必要がある。例えば電子ズーム倍率Ｒｅが２倍のとき、撮像素子駆動制御部９は、撮像素子２の総画素数の約１／４の画素の画像信号を読み出すことを決定する。同様に、撮像素子駆動制御部９は、図３に示す全撮像領域３０の中心部を含む領域３１の画素の画像信号を読み出すことを決定する。
【００７９】
なお撮像素子２から読み出した画像に対してはノイズ除去のためのフィルタ処理などが必要なため、これら処理のためのマージンとして実際には１／４以上の画素数を読み出しておくことが好ましい。また撮像素子の構造によっては直接読み出す水平と垂直方向の画素数を指定できるものもあれば、ＣＣＤのように垂直方向の画素数（ライン数）しか指定できず、水平方向の画素は一旦メモリに記憶してから、改めて必要な画素数のみを読み出す（切り出す）構成を採る場合もあるが、本実施形態１においてはどちらの構成でも構わない。また付け加えると、電子ズームモードにおいて撮像素子２から読み出す画素数を総画素数より減らすことは、電子ズーム時に撮像素子２から読み出す画像の枚数（フレームレート）を増やす際に機器の消費電力やハードウエア規模の点で有利に働く。
【００８０】
次にステップ１０４は、図９で説明したように電子ズーム倍率を元に、超解像処理で合成に用いる画像の枚数を決定するステップである。電子ズーム倍率と画像枚数の関係は、電子ズームによる画質劣化度合いと、超解像処理で使用する画像枚数による画質改善度合いを元に、あらかじめテーブル等を用意しておき、このテーブルを参照して合成する画像の枚数を決定する。
【００８１】
次にステップ１０５において、ステップ１０４で決まった画像枚数を撮像素子２から読み出せるよう、システム制御部１０は撮像素子駆動制御部９に指示を送り、読み出しトリガパルスを撮像素子２に印加させる。この結果、撮像素子２から所望の枚数の画像信号が読み出される。読み出された画像信号は、上述した信号処理を施される。
【００８２】
最後にステップ１０６にて、超解像処理部１３は、信号処理されたデジタル映像信号に基づいて、図２、図７、図１０で説明した超解像処理を実行し、高画質な電子ズーム画像を得る。
【００８３】
以上のようなステップ１０１からステップ１０６までの動作を実施することで、電子ズーム時でも高画質な画像を得ることができる撮像装置１００を得ることができる。
【００８４】
（実施形態２）
まず、本実施形態にかかる撮像装置の基本的な構成は、図１に示す、実施形態１にかかる撮像装置１００の構成と同じである。したがって、本実施形態においても図１に示す撮像装置１００を利用して説明する。実施形態１と同様の部分については説明を省略する。
【００８５】
以下、図１２、図１３、図１４を参照しながら、本実施形態にかかる撮像装置を説明する。本実施形態にかかる撮像装置は、撮影した画像中における被写体の動きを検出し、それに応じて露光時間を変更する点が、実施形態１にかかる撮像装置と異なる。
【００８６】
図１２は、図２に示した動き検出部１２の動き検出エリアを模式的に表した図である。図１２において○が画像内の画素の配列を示し、点線で示した四角は画像内で動きを検出する４つのエリアを示す。なおエリアは４つとしているがこれに限るものではない。
【００８７】
図１３は、図１の撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートおよび超解像処理の結果得られた画像の例を示す。図１３において（１）は垂直同期信号、（２）は撮像素子２に蓄積された電荷を外部に読み出すトリガとなる読み出しトリガパルス、（３）は撮像素子２から読み出される出力信号（画像信号）を示す。図１３に示すように、本実施形態における撮像装置では、後述する被写体の動き検出結果に応じて読み出しトリガパルスの間隔を本実施形態１に比べて短くすることで、露光時間の短い複数の画像信号を読み出すように構成されている。なお、１フレーム期間に読み出される最後の画像信号の読み出し後から、次の垂直同期信号までの期間に撮像素子２に蓄積される信号電荷は、図示しない電荷吐き出しパルスによってグランドに捨てられるとする。
【００８８】
図１４は、本実施形態の電子ズームモード時の動作アルゴリズムを示すフローチャートである。図１４に示した動作アルゴリズムはシステム制御部１０に例えばハードウエア、もしくはプログラムとして実装されているとする。
【００８９】
以上のように構成された本実施形態の撮像装置に関し、以下その動作を本実施形態１と異なる部分のみ図をもとに説明する。
【００９０】
まず、動き検出部１２は、撮像素子２で撮影された画像に対し、画像内の４つのエリア毎に画像の動きを継続して検出する。このとき、４つのエリア内でそれぞれ検出される動きの大きさと方向（動きベクトル）をモニタする。そして４つのエリアで検出される動きベクトルの大きさ並びに方向が略同一の場合は、被写体動きフラグを０にセットし、逆に動きベクトルの大きさ並びに方向に差異がある場合は、被写体動きフラグを１にセットする。動きベクトルの大きさ並びに方向に差異については、あらかじめ一定の閾値を設けておき、動きベクトルの大きさ並びに方向がこの閾値を越えた場合、被写体動きフラグを１にセットするなどといった方法が考えられる。
【００９１】
次に本実施形態の撮像装置は、実施形態１と同様に図１４のステップ１０１からステップ１０４において電子ズームの要否、電子ズーム倍率、読み出し画素数、合成枚数を決定する。
【００９２】
次にステップ２０１において、動き検出部１２の被写体動きフラグを参照し、このフラグが０の場合は処理をスキップして次のステップ１０５を実行し、フラグが１の場合は、撮像素子２から取得する複数枚の画像の総露光時間を決定する。これは複数画像を合成する場合、画像内に動く被写体が存在すると合成によって被写体像が多重露光のような画像となり却って画質を損ねる。よって、これを回避するために露光時間を短く設定し、動く被写体の影響を軽減させるためである。そこで、被写体動きフラグが１の場合、撮影画像内に動く被写体（例えば人物や乗り物など）が含まれていると判断し、その場合には図１３に示すように撮影する複数画像の総露光時間を短縮する。なお本実施形態においては被写体動きフラグを用いて被写体の動きの有無だけを判別したが、例えば動き検出部１２にて検出される複数の動きベクトルの分散度合いなどから被写体の動きの強弱を多段階で判定し、その結果に応じて複数画像の総露光時間を多段階で変更することも可能である。具体的には、被写体の動きが大きいほど、露光時間を段階的に短くする。
【００９３】
以上のように撮影画像中の被写体の動きの有無に基づいて、各画像毎の露光時間を変更すれば、被写体の動きが存在しても高画質なズーム画像を得ることができる。
【００９４】
なお、実施形態１にかかる撮像装置の動作、および本実施形態にかかる撮像装置の動作は、併存させることができる。つまり、１台の撮像装置が、実施形態１にかかる動作と実施形態２にかかる動作とを行うことができる。たとえば最初の処理は実施形態１の図１０および図１１に示す処理を行い、その後、図１３および図１４に示す処理を行ってもよい。または、最初に図１３および図１４に示す処理を行い、被写体の動き、すなわち複数画像間の位置ずれ量がない、または所定範囲内に収まる場合には、図１０および図１１に示す処理に切り替えてもよい。
【００９５】
（実施形態３）
以下、添付の図１５、図１６および図１７を参照しながら、本実施形態にかかる撮像装置を説明する。上述の実施形態２においては、撮影した画像中に動く被写体が存在した場合に、超解像処理により却って画質を損ねる事態が発生することを回避するために、複数画像の各露光時間を変更する構成を説明した。
【００９６】
これに対し本実施形態においては、露光時間の変更だけでは回避できない状況も想定して、撮影した画像中に被写体の動きを検出した場合は、超解像処理を停止して、従来から知られている１枚の画像から補間処理によりズーム画像を得る構成を説明する。
【００９７】
図１５は、本実施形態にかかる撮像装置１０１の構成を示す。
【００９８】
本実施形態にかかる撮像装置１０１は、一部において、図１に示す実施形態１にかかる撮像装置１００の構成と異なっている。実施形態１にかかる撮像装置１００の構成要素と同じ機能を有する撮像装置１０１の構成要素には、同じ参照符号を付し、その説明を省略する。
【００９９】
本実施形態にかかる撮像装置が、実施形態1にかかる撮像装置と異なる点は、デジタル信号処理部７に代えてデジタル信号処理部１７を設けたこと、および切り替え部２２を設けたことにある。これらについて図１６を参照しながら詳細に説明する。
【０１００】
図１６は、本実施形態にかかる撮像装置１０１のデジタル信号処理部１７および切り替え部２２に関連する構成の詳細を示す。
【０１０１】
デジタル信号処理部１７は、映像処理部１１と、動き検出部１２と、超解像処理部１３と、補間ズーム部２１とを有している。デジタル信号処理部１７は、実施形態１にかかるデジタル信号処理部７の構成に補間ズーム部２１が追加されて構成されている。映像処理部１１、動き検出部１２、および超解像処理部１３の機能は、本実施形態と実施形態１とで同じである。
【０１０２】
補間ズーム部２１は、与えられた画像データに基づいて補間処理を行い、画像の画素数を増加させる。これにより、与えられた１枚の画像を拡大する。補間処理は、たとえば、従来から知られている線形補間またはバイキュービック補間である。
【０１０３】
切り替え部２２は、デジタル信号処理部１７とメモリ制御部６との間の入出力の切り替えを行う。切り替え部２２は、後述するように被写体動きフラグの値に応じて、メモリ制御部６と超解像処理部１３との接続、およびメモリ制御部６と補間ズーム部２１との接続を切り替える。これにより、超解像処理部１３および補間ズーム部２１の一方と、メモリ部５との間でデータが伝送される。なお切り換え部２２の初期設定は、メモリ制御部６と超解像部１３との間が信号経路として繋がっており（ＯＮ）、メモリ制御部６と補間ズーム部２１との間は遮断（ＯＦＦ）されているとする。
【０１０４】
図１７は、図１の撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートである。図１７において（１）は垂直同期信号、（２）は撮像素子２に蓄積された電荷を外部に読み出すトリガとなる読み出しトリガパルス、（３）は撮像素子２から読み出される出力信号（画像信号）を示す。図１７に示すように、本実施形態３における撮像装置では、後述する被写体の動き検出結果に応じて読み出しトリガパルスの間隔を１フレーム期間に固定して、１フレーム期間に１枚の画像信号を読み出すように構成されている。
【０１０５】
図１８は、本実施形態の電子ズームモード時の動作アルゴリズムを示すフローチャートである。図１８に示した動作アルゴリズムはシステム制御部１０に例えばハードウエア、もしくはプログラムとして実装され得る。
【０１０６】
以上のように構成された本実施形態の撮像装置の動作のうち、実施形態１にかかる撮像装置１００の動作と相違する動作を説明する。
【０１０７】
まず、動き検出部１２は、撮像素子２で撮影された画像に対し、画像内の４つのエリア毎に画像の動きを継続して検出する。このとき、４つのエリア内でそれぞれ検出される動きの大きさと方向（動きベクトル）をモニタする。そして４つのエリアで検出される動きベクトルの大きさ並びに方向が略同一の場合は、被写体動きフラグを０にセットし、逆に動きベクトルの大きさ並びに方向に差異がある場合は、被写体動きフラグを１にセットする。動きベクトルの大きさ並びに方向に差異については、あらかじめ一定の閾値を設けておき、動きベクトルの大きさ並びに方向がこの閾値を越えた場合、被写体動きフラグを１にセットするなどといった方法が考えられる。
【０１０８】
次に本実施形態の撮像装置においては、ステップ３０１において、動き検出部１２の被写体動きフラグを参照し、このフラグが０の場合は処理をスキップして次のステップ１０２を実行し、フラグが１の場合は、ステップ３０２に進む。なおステップ１０２からステップ１０５の動作は実施形態１において説明したステップ１０２からステップ１０５の動作と同様であるため説明は省略する。
【０１０９】
ステップ３０２は、読み出しトリガパルスを設定し、撮像素子駆動制御部９を介して撮像素子２から１フレーム期間中に１枚の画像読み出しを実行する。次にステップ３０３において、切り替え部２２を制御して、メモリ部５と超解像処理部１３の間の信号経路を遮断し、逆にメモリ部５と補間ズーム部２１の間の信号経路を繋ぐ。次にステップ３０４において補間ズーム部２１を制御し、メモリ部５から取得する１枚の画像データに対しズーム処理を行う。
【０１１０】
以上のように撮影画像中の被写体に動きの有無に基づいて、電子ズーム時の処理を切り替えることで、被写体の動きが存在した場合に超解像処理により却って画質を損ねる事態が発生することを回避し、破綻のないズーム画像を得ることができる。
【０１１１】
以上、本発明の実施形態を説明した。上述の各実施形態は、本発明の一例である。本発明は、前述の実施形態に限られず、本発明の趣旨を逸脱しない範囲で種々の修正および変更が可能である。
【０１１２】
（Ａ）実施形態３においては画像中の被写体像の動きの有無を元に超解像処理と補間ズーム処理を切り換えたが、例えばバッテリ残量や撮像装置本体の温度などの、自装置の状態を検出して処理を切り替える方法も考えられる。具体的には超解像処理を実施する場合、１フレーム期間内に複数枚の画像を撮影してこれを超解像処理するため、機器の消費電力が大きくなることが予想される。そこで機器内蔵のバッテリ残量が少ない場合は、撮影時間を少しでも延ばすために電子ズームは補間ズーム処理に切り替えることが考えられる。この場合、補間ズーム処理は通常、超解像処理に比べて演算量が少なく、使う画像枚数も１枚で足りるため機器の消費電力の低減が可能となり、撮像装置の撮影時間を延長することが可能となる。また消費電力が増えることは機器の温度上昇の原因となり、この温度上昇が機器の動作を不安定にする可能性がある。そこで、機器内に温度センサーを実装して機器の温度を検出し、機器の温度が一定値以下の場合は超解像処理を実行し、逆に一定値以上の場合は補間ズーム処理を実行するといった切り換えを適宜行う方法が有効である。
【０１１３】
（Ｂ）上述の各実施形態においては、撮影する映像を特に動画と静止画に分けて説明しなかった。しかしながら、本実施形態で説明した撮像装置は動画もしくは静止画のどちらを撮影する場合にも有効である。例えば動画撮影を目的とする場合、図１０で説明した１フレーム期間内の動作を連続して行えば、動画撮影時でも高画質な電子ズームを実現することができる。また静止画撮影を目的とする場合、撮影者のシャッター操作に合わせて任意のタイミング以降で図１０に示した１フレーム期間分の動作を実施し、得られた画像を静止画として記録すればよい。なお静止画の場合、１フレーム期間は被写体の明るさや絞りの開口に応じて決まる露光時間、つまりシャッター速度である。本実施形態で説明に用いた１／６０秒といった固定の値である必要はない。
【０１１４】
（Ｃ）上述の各実施形態においては、超解像処理によって複数枚の画像を画素ずらし合成する場合、各画像間の画素ずれ量が図７の（６）に示すようにフレーム１の画像に対しフレーム２の画像が垂直方向に半画素分、フレーム３の画像が斜め４５度方向に半画素分、フレーム４の画像が水平方向に半画素分といった格子上の点に乗るようなずれ量で撮影されることが保証されるなら問題はない。しかしながら、複数画像間のずれを撮影時の手ぶれなどによって得る場合はこのような保証はない。
【０１１５】
その場合は、複数画像の１つを基準にして、所望の格子上の各点に他の画像の画素が乗るように個別に画素補間などによって画素位置の移動を行ってから超解像処理を行えばよい。また他の方法として、撮像素子２もしくは光学系２を各画像の露光タイミングに合わせて物理的にシフトし、所望の画素ずれが生じるような構成を採ることも可能である。
【０１１６】
（Ｄ）上述の各実施形態にかかる撮像装置は、一眼レフ式カメラのようなレンズ交換式の撮像装置であっても有効である。
【０１１７】
（Ｅ）上述の各実施形態において、１フレーム期間内に複数の画像を得る際、露光時間の関係で、撮像素子２から得られる各画像が暗くなることが考えられる。これについては１フレーム期間に取得する画像枚数と露光時間から光学絞りの調整や撮像素子２からの出力後の信号増幅を行えばよいことはいうまでもない。
【０１１８】
（Ｆ）上述の実施形態において、撮影する対象が動画であり、撮像装置を撮影者が手で保持して撮影操作した場合、超解像処理にて合成された動画にも手ぶれによる画像の揺動が残留する。特に電子ズームモードでは画像の揺動も拡大されるため、画像鑑賞時に映像酔いなどを誘発しやすくなり好ましくない。そこでこの画像の揺動を補正する方法として以下の３つが考えられる。
【０１１９】
（Ｆ−１）第１の方法は、まずは電子ズームモードにおいて合成する複数枚の画像のうち、特定のタイミングの画像の１つを基準として選択する。例えば、図１０において各フレーム期間において、（１）の垂直同期信号の立上り後の最初の画像（画像１）を基準とする。そして連続する２つのフレーム期間で基準の画像（垂直同期信号の立上り後の最初の画像（以降、基準画像と称す）どうしの位置ずれ量を動き検出部１２で検出し、１フレーム期間前の基準画像に対し、次のフレーム期間の基準画像の位置関係が等しくなるように補正する（図１９）。その後、このように１フレーム前の基準画像と位置合せされた基準画像と、同じフレーム期間内に撮影された他の画像（画像２〜４のタイミングに相当する画像）を超解像処理によって合成を行う。このようにすれば、合成された電子ズーム画像は各フレーム周期毎に位置が揃った画像となるために、手ぶれによる揺動が補正されたものとなる。なお１フレーム期間前の基準画像に対し、次のフレーム期間の基準画像の位置を合わせる方法としては、例えば以下のような方法がある。まず撮像素子２から読み出す画像信号の画素数を図１１のステップ１０３で決める読み出し画素数より多い画素数に設定することで位置合せ用のマージンを確保し、この画像をメモリ部５に記憶させる。そして上述の動き検出部１２における２画像間のずれ量検出結果に基づき、図２０に示すようにメモリ部５からの画像信号の読み出し位置をＡやＢにずらして読み出す。また１画素以下のずれに対しては補間処理により画素間の中間位置の画素信号を作成して合わせればよい。なお各フレーム期間の基準画像は垂直同期信号の立上り後の最初の画像としたがこれに限るものではなく、中間や最後の画像としても何ら問題ない。
【０１２０】
（Ｆ−２）第２の方法は、電子ズームモードにおいて合成する複数枚の画像のうち、特定のタイミングの画像の１つを基準と固定する。例えば、図２１において各フレーム期間において、（１）の垂直同期信号の立上り後の最初の画像（画像１）を基準とする。そして１つ前のフレーム期間にて作成された超解像処理による合成画像と、この基準画像との位置ずれ量を動き検出部１２で検出し、１フレーム期間前の合成画像に対し、次のフレーム期間の基準画像の位置関係が等しくなるように補正する。その後、このように１フレーム前に超解像処理により作成された合成画像に対して位置合せされた基準画像と、この基準画像と同じフレーム期間内に撮影された他の画像（画像２〜４）を超解像処理によって合成を行う。このようにすれば、合成された電子ズーム画像は各フレーム周期毎に位置が揃った画像となるために、手ぶれによる揺動が補正されたものとなる。なお、１つ前のフレーム期間にて作成された超解像処理による合成画像と、次のフレーム期間の基準画像は画素数が異なるため、直接動き検出を行うことが困難な場合がある。そこで合成画像に対し画素間引きを行う、もしくは基準画像に画素補間を行い画素数を合成画像に合わせる、などの措置をとってから動き検出を行えばよいことは言うまでもない。
【０１２１】
（Ｆ−３）第３の方法は、複数枚の画像から超解像処理により合成される電子ズーム画像を一旦メモリ部５に記憶し、これを順次読み出して、連続するフレーム期間でのずれ量を動き検出部１２によって検出し、検出されたずれ量に基づき上記第１の方法で説明した方法と同様に、メモリ部５から画像信号の読み出し位置をずらして読み出す。このようにすれば、合成された電子ズーム画像は各フレーム周期毎に位置が揃った画像となるために、手ぶれによる揺動が補正されたものとなる。
【産業上の利用可能性】
【０１２２】
本発明は、例えば、画像のズーム機能を有するデジタルカメラやビデオムービー等の撮像装置に利用することが可能である。
【符号の説明】
【０１２３】
１ 光学系
２ 撮像素子
３ アナログ信号処理部
４ Ａ／Ｄ変換部
５ メモリ部
６ メモリ制御部
７ デジタル信号処理部
８ ズーム駆動制御部
９ 撮像素子駆動制御部
１０ システム制御部
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラ、デジタルスチルカメラ等の撮像装置においては、小型・軽量化のみならず高倍率ズーム化がますます進展している。光学ズームだけでなく電子ズームを併用することで非常に高倍率なズーム機能を実現した製品が多く市販され、一般に知られている。たとえば特許文献１は、電子ズーム機能を有する撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１−２６１０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の撮像装置における電子ズーム処理では、撮像素子の全画素のうち、ズーム倍率に応じた数の画素のみを用いて画像データを生成していた。具体的には、ズーム倍率が大きくなるほど、撮像素子の全画素のうちの、より少ない数の画素を用いて画像データを生成していた。表示の際にはその画像データに対して補間処理（いわゆる画素数拡張処理）が行われ、画像が拡大される。その結果、ズーム倍率が大きいほど画像が粗くなり、画質が激しく劣化してしまうという問題があった。撮像装置では画質の向上も要求されているため、電子ズームによる撮像装置の撮影倍率拡大処理には、実用上限界があった。
【０００５】
本発明は、電子ズームを使用した場合でも、画質劣化の少ない画像を撮影できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による撮像装置は、被写体の像を形成する光学系と、前記被写体の像を受けて画像信号を生成し、読み出し指示に基づいて前記画像信号を出力する撮像素子と、前記読み出し指示を前記撮像素子に出力する周期を制御する駆動制御部と、前記画像信号から得られた画像データを格納するメモリと、複数の画像の画像データを利用して、前記被写体の少なくとも１つの動きベクトルを検出する動き検出部と、前記少なくとも１つの動きベクトルを利用して前記複数の画像を合成することにより、新たな画像の画像データを生成する超解像処理を行う超解像処理部とを備え、前記超解像処理部が動作しないときは、前記駆動制御部は第１の周期で前記読み出し指示を前記撮像素子に出力し、前記超解像処理部が動作するときは、前記駆動制御部は、前記第１の周期よりも短い第２の周期で前記読み出し指示を前記撮像素子に複数回出力し、前記メモリは、複数回の読み出し指示に基づいて得られた、複数の画像の画像データを格納する。
【０００７】
前記超解像処理部によって生成される前記新たな画像の画素数は、前記複数の画像の各画素数より多くてもよい。
【０００８】
前記超解像処理部は、前記少なくとも１つの動きベクトルを利用して、前記複数の画像の位置ずれを補正して前記複数の画像を合成してもよい。
【０００９】
前記複数の画像は、１枚の基準画像および少なくとも１枚の参照画像を含み、前記動き検出部は、前記基準画像内の前記被写体のパターンの位置、および前記少なくとも１枚の参照画像内の前記被写体のパターンの位置に基づいて前記少なくとも１つの動きベクトルを検出し、前記超解像処理部は、前記少なくとも１つの動きベクトルによって示される動き量および方向を利用して、前記基準画像内の前記被写体のパターンの位置と、前記少なくとも１枚の参照画像内の前記被写体のパターンの位置とが等しくなるよう、前記複数の画像の位置ずれを補正してもよい。
【００１０】
前記超解像処理部は、前記複数の画像の画素をずらして前記複数の画像を合成し、新たな画像の画像データを生成する超解像処理を行ってもよい。
【００１１】
前記撮像装置は、前記超解像処理部を動作させるか否かを制御し、かつ通常撮影モードおよび電子ズームモードの切り替えを制御する制御部をさらに備え、前記通常撮影モードでは第１の画素数の画像が生成され、前記電子ズームモードでは、前記第１の画素数の画像の一部である、第２の画素数の画像を利用して電子ズーム処理が行われ、前記制御部は、前記通常撮影モードでは前記超解像処理部を動作させず、前記通常撮影モードを前記電子ズームモードに切り替えたときは、前記超解像処理部を動作させてもよい。
【００１２】
前記光学系は、光学ズームを行うための少なくとも１つのレンズを有しており、前記通常撮影モードでは前記少なくとも１つのレンズを利用した前記光学ズーム処理が行われ、前記光学ズーム処理のズーム倍率が略最大に至った時点で、前記制御部は、前記通常撮影モードを前記電子ズームモードに切り替えてもよい。
【００１３】
前記電子ズームモードにおいてズーム倍率が大きくなるに従って、前記駆動制御部は、前記第２の周期を段階的により短く変更し、前記読み出し指示を前記撮像素子に複数回出力してもよい。
【００１４】
前記駆動制御部は、前記少なくとも１つの動きベクトルに基づいて、前記被写体の動き量が所定値よりも大きいか否かを判定し、前記動き量が所定値よりも大きいときは、前記第２の周期を段階的により短く変更してもよい。
【００１５】
前記駆動制御部は、前記少なくとも１つの動きベクトルに基づいて、前記被写体の動き量が所定値よりも大きいか否かを判定し、前記動き量が所定値よりも大きいときは、前記制御部は前記超解像処理部を動作させず、前記動き量が所定値以下のときは、前記制御部は前記超解像処理部を動作させてもよい。
【００１６】
前記撮像装置は、１枚の画像の画像データに基づいて画素数を拡張する補間ズーム部と、自装置の状態に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替える切り替え部とをさらに備えていてもよい。
【００１７】
前記切り替え部は、自装置のバッテリの残量に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替えてもよい。
【００１８】
前記切り替え部は、自装置の温度に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替えてもよい。
【発明の効果】
【００１９】
本発明によれば、電子ズームを使用した場合でも、画質劣化の少ない画像を撮影できる。
【図面の簡単な説明】
【００２０】
【図１】実施形態１にかかる撮像装置１００のブロック図を示す図である。
【図２】図１に示したデジタル信号処理部７の内部構成を示すブロック図である。
【図３】電子ズーム時に画像信号が読み出される撮像素子２の画像読み出し領域３１を模式的に示す図である。
【図４】（ａ）は、画像撮影時の撮像素子２から読み出された画像４１を示す図であり、（ｂ）は電子ズーム後の拡大された画像４２を示す図である。
【図５】撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートである。
【図６】撮像素子２からの画像信号の読み出しを説明するための、他のタイミングチャートの例である。
【図７】図１に示したデジタル信号処理部７の超解像処理部１３において実施される超解像処理を説明するための模式図である。
【図８】複数の画像の位置ずれを補正する処理の概念図である。
【図９】撮像装置１００のズーム倍率と、ズーム倍率に応じたフレームレートと、超解像処理に使用される画像の枚数の関係を示す図である。
【図１０】図９に示した電子ズームが動作し始めた以降（電子ズームモード時）の撮像素子２からの画像信号読み出しと超解像処理の結果得られた画像の例を示す図である。
【図１１】実施形態１の電子ズームモード時の動作アルゴリズムを説明するためのフローチャートである。
【図１２】図２に示した動き検出部１２の動き検出エリアを模式的に表した図である。
【図１３】図１の撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートおよび超解像処理の結果得られた画像の例を示す図である。
【図１４】実施形態２の電子ズームモード時の動作アルゴリズムを示すフローチャートである。
【図１５】実施形態３にかかる撮像装置１０１の構成を示す図である。
【図１６】実施形態３にかかる撮像装置１０１のデジタル信号処理部１７および切り替え部２２に関連する構成の詳細を示す図である。
【図１７】図１の撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートである。
【図１８】実施形態３の電子ズームモード時の動作アルゴリズムを示すフローチャートである。
【図１９】本発明の実施形態の変形例を説明する図である。
【図２０】画像信号の読み出し位置をずらした例を示す図である。
【図２１】本発明の実施形態の変形例を説明する図である。
【発明を実施するための形態】
【００２１】
以下、添付の図面を参照しながら、本発明による撮像装置の実施形態を説明する。各実施形態の撮像装置は、動画および静止画の少なくとも一方を撮影する機能を有していればよい。このような撮像装置として、たとえば静止画のみの撮影機能を有するデジタルスチルカメラ、動画のみの撮影機能を有するデジタルビデオカメラ、静止画および動画の撮影機能を有する、デジタルスチルカメラ、デジタルビデオカメラおよび携帯型電子機器が考えられる。
【００２２】
以下の説明では、動画および静止画の両方を含む概念として「映像」という語を用いる。
【００２３】
（実施形態１）
図１は、本実施形態にかかる撮像装置１００のブロック図を示す。撮像装置１００は、光学系１と、撮像素子２と、アナログ信号処理部３と、Ａ／Ｄ変換部４と、メモリ部５と、メモリ制御部６と、デジタル信号処理部７と、ズーム駆動制御部８と、撮像素子駆動制御部９と、システム制御部１０と、を備える。
【００２４】
光学系１は、複数のレンズ群を有している。複数のレンズ群を用いて光学ズーム機能が実現される。光学系１の光学ズーム機能に関し、そのズーム倍率は１倍からＲｏ倍（Ｒｏ＞１）まで連続的に可変であるとする。本実施形態１においては一例としてＲｏ＝１０として説明を行う。
【００２５】
撮像素子２は、例えばＣＣＤやＭＯＳセンサとして知られる光電変換デバイスである。撮像素子２は、受けた光を、その強度に応じた信号値を有する電気信号に変換する。たとえば撮像素子２は、１回の読み出し指示に基づいて、１枚の画像を構成する相当する各画素の電気信号（アナログ映像信号）を出力する。
【００２６】
アナログ信号処理部３は、アナログ映像信号に対し、ゲイン調整、ノイズ除去等の信号処理を施す信号処理回路である。アナログ信号処理部３は、処理後の映像信号（アナログ映像信号）を出力する。
【００２７】
Ａ／Ｄ変換部４は、アナログ信号をデジタル信号に変換する。たとえばＡ／Ｄ変換部４は、アナログ映像信号を受け取り、予め設定された複数の閾値に基づいてその映像信号の信号値を離散化してデジタル信号を生成する。
【００２８】
メモリ部５は、デジタルデータを保持する記憶装置である。メモリ部５は、たとえばＤＲＡＭである。
【００２９】
メモリ制御部６は、メモリ部５からのデータの読み出し、およびメモリ部５へのデータの書き込みを制御する。
【００３０】
デジタル信号処理部７は、各種のデジタル信号処理を施し、処理後のデジタル信号を出力する。この各種デジタル信号処理とは、例えば、輝度信号と色差信号の分離、ノイズ除去、ガンマ補正、先鋭度改善処理、電子ズーム処理等の、カメラに必要なデジタル処理である。なお電子ズーム処理時には、後述する超解像（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）処理により、電子ズームされた映像の画質の向上が実現される。
【００３１】
ズーム駆動制御部８は、光学系１中のレンズ群の一部の駆動を制御し、光学系１のズーム倍率を変更する。ズーム駆動制御部８は、任意のズーム倍率を設定することができる。
【００３２】
撮像素子駆動制御部９は、撮像素子２を駆動し信号の読み出し自体や読み出し時の画素数、ライン数、電荷蓄積時間（露光時間）、読み出し周期を制御する。
【００３３】
システム制御部１０は、ズーム駆動制御部８、撮像素子駆動制御部９、デジタル信号処理部７を統合的に制御し、映像撮影時にそれぞれが連動して適切な動作を行うよう指令を与える。システム制御部１０は、例えば、ＤＲＡＭやＳＲＡＭなどのＲＡＭに展開されたコンピュータプログラムを実行するマイクロコンピュータとして実現される。または、システム制御部１０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ＩＣ）のような、マイクロコンピュータとそれに付随したメモリに格納される制御プログラムとして実現されてもよいし、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）として実現されてもよい。
【００３４】
以下、本実施形態にかかる撮像装置１００の動作を簡単に説明する。光学系１は、被写体からの光を受け、被写体像を撮像素子２上に結像する。このときのズーム倍率はズーム駆動制御部８によって制御されている。撮像素子２上に被写体像が結像されると、撮像素子２はその被写体像を表す電気信号（アナログ映像信号）を出力する。アナログ信号処理部３は、撮像素子２から得られたアナログ映像信号に所定の信号処理を施し、処理後のアナログ映像信号を出力する。Ａ／Ｄ変換部４は、アナログ信号処理部３から出力されたアナログ映像信号を受け取り、デジタル映像信号に変換して出力する。バッファメモリであるメモリ部５は、このデジタル映像信号を一旦記憶する。
【００３５】
デジタル信号処理部７は、メモリ制御部６を介して、メモリ部５に記憶されたデジタル映像信号を読み出し、各種のデジタル信号処理を施し、必要に応じて映像データをメモリ部５に書き戻す。
【００３６】
本実施形態にかかる撮像装置１００は、デジタル信号処理部７における処理にその特徴の一つを有している。以下、デジタル信号処理部７の構成および動作の詳細を説明する。
【００３７】
図２は、図１に示したデジタル信号処理部７の内部構成を示すブロック図である。映像処理部１１は、映像信号からの輝度信号と色差信号の分離、ノイズ除去、ガンマ補正、先鋭度改善処理、等の、カメラに必要なデジタル処理を実行する。映像処理部１１は、処理前の映像信号および処理後の映像信号はメモリ制御部６を介してメモリ部５から読み書きする。動き検出部１２並びに超解像処理部１３は、上述の高画質な電子ズーム処理を実行する。詳細は後述する。
【００３８】
図３は、電子ズーム時に画像信号が読み出される撮像素子２の画像読み出し領域３１を模式的に示す。電子ズームモードのとき、同図に示すように撮像素子２の全撮像領域３０（換言すると撮像可能な領域）に対し、電子ズーム処理が実行される。撮像素子２は、撮像素子駆動制御部９からの指示に基づいて全撮像領域３０に含まれる一部の領域３１に結像された被写体像の画像信号を読み出す。後述のように読み出した画像信号に対し、デジタル信号処理部７において画像の拡大処理（画素数の拡張）が施される。
【００３９】
なお、撮像素子２から読み出す水平走査ライン数は、例えば６０Ｐのハイビジョン方式の場合、１フレームで約１０８０ラインが必要となる。そのため本実施形態の説明においては、電子ズームモードでない通常撮影モードの撮影時の撮像素子２から読み出す水平走査ライン数は１０８０ラインとする。また図３においては、一例として撮像素子２から電子ズームモードにおいて読み出す画像の水平ライン数を６４８ラインとして示しているが、この場合、電子ズーム倍率（Ｒｅ）は、１．６倍となる。なお本実施形態１においては一例としてＲｅの最大値を３として説明する。
【００４０】
また図示しない撮像装置１００の操作者の指示により、撮像装置１００のズーム動作を行う場合、はじめに光学系１による光学ズームを実施し、そのズーム倍率が略最大になった時点以降、電子ズームを併用することで更にズームを行う構成であるとする。その場合、撮像装置１００のトータルの最大ズーム倍率はＲｏとＲｅの積となる。
【００４１】
図４（ａ）は、画像撮影時の撮像素子２から読み出された画像４１を示し、（ｂ）は電子ズーム後の拡大された画像４２を示す。撮像素子２上で受光した像のうち、その一部を拡大することで、光学ズームと同じように撮影画像の拡大が可能である。なお、従来知られている電子ズーム処理では電子ズーム倍率が大きいほど画像が粗くなり、画質が激しく劣化していた。しかしながら本実施形態によれば、後に詳述する超解像処理により、画質の劣化を生じさせない電子ズーム処理が実現される。
【００４２】
図５は、撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートである。図５において（１）はテレビジョン信号の垂直同期信号、（２）は撮像素子２に蓄積された電荷を外部に読み出すトリガとなる読み出しトリガパルス、（３）は撮像素子２から読み出される出力信号（画像信号）を示す。図５に示すように、本実施形態における撮像装置１００では、撮像素子２に蓄積される画像信号は周期的に、そして、連続的に読み出し可能である。画像信号の読み出しは、システム制御部１０からの指示を受けた撮像素子駆動制御部９が読み出しトリガパルスを撮像素子２に印加することで行われる。ここで垂直同期信号の周期は、例えば本実施形態の撮像装置１００において、標準のテレビジョン方式に合致した動画を撮影する場合は、それに合致したフレーム周期（もしくはテレビジョン方式がインターレース方式の場合はフィールド周期）に相当する。例えばデジタルスチルカメラのように静止画を撮影する場合は、垂直同期信号の周期は、画像確認用のモニタ画像（デジタルスチルカメラのビューファインダや液晶表示装置に表示される画像）の表示を更新する周期である。もちろん静止画を撮影する場合には、撮影者のシャッター操作に合わせて任意のタイミングで画像の読み出しを行えるよう、必要がなければ図５に示したような周期的な動作を常に行っておかなくてもよい。なお本実施形態１においては、電子ズームを行わない動画撮影時の垂直同期信号の周期、即ちフレームレートは１秒あたり６０枚（６０ｆｐｓ）として説明するが、これに限るものではない。
【００４３】
図６は、撮像素子２からの画像信号の読み出しを説明するための、他のタイミングチャートの例である。図６においては、画像信号の読み出しを１フレーム周期に１枚以上（例えば２枚）とするために撮像素子駆動制御部９が読み出しトリガパルスの周期をタイミングＡ以降に変更した例を示す。このように本実施形態の撮像装置１００においては、撮像素子駆動制御部９によって印加される読み出しトリガパルスの周期を自由に変更することで、画像信号の読み出し周期を自由に変えることができる。
【００４４】
図７は、図１に示したデジタル信号処理部７の超解像処理部１３において実施される超解像処理を説明するための模式図である。図７において（２）、（３）は図５で説明した読み出しトリガパルス、並びに、撮像素子２から読み出される出力信号（画像信号）である。
【００４５】
図７の（４）はフレーム１からフレーム４の各タイミングで撮像素子２から読み出される画像信号の例であり、白丸、黒丸等で示した点が画像の各画素の信号を表す。（５）は読み出された４つの画像信号の空間的な位置関係を示した図である。
【００４６】
通常、撮像装置を手で保持して撮影した場合、手ぶれによって撮影される画像に位置ずれが生じる。そのため、同じ被写体を撮影したとしても、手ぶれが原因となって複数の画像における被写体の空間的な位置がずれることがある。
【００４７】
図８を参照しながらよりわかりやすく説明する。図８（１）は、被写体である「○」を連続撮影して得られた４枚のフレームｆ１〜ｆ４を示し、図８（２）は被写体を基準として各画像を重ね合わせたときの画像間の位置関係の例を示している。
【００４８】
図８（１）によれば、同じ被写体を連続して撮影したにもかかわらず、手ぶれにより、各フレームの異なる位置に被写体が存在していることが理解される。
【００４９】
本実施形態では、同じ被写体を含む複数のフレームを利用して画像の解像度を高める。上述の４フレームｆ１〜ｆ４には、同じ被写体「○」が含まれている。よって、図８（２）に示すように、同じ被写体を含む、画像間で重複した部分の情報を合わせて新たな画像情報を生成すれば、フレーム数に応じて画像の解像度を高めることができる。なお、画像内において具体的な被写体を特定する必要はない。異なる画像内に存在する、相互に最もよく類似するパターンを特定すればよい。たとえば、小領域内のパターンを基準にしてもよいし、画像内の人物の顔をパターンとしてもよい。
【００５０】
再び図７を参照する。
【００５１】
図７の（５）は、４枚の画像に共通する被写体を基準として各画像を重ね合わせたときの画像間の位置関係の例を示している。この図は図８（２）に対応している。
【００５２】
そして図７の（６）は超解像処理により（５）に示した４つの画像を合成した後の画像を示す。
【００５３】
本実施形態に示す撮像装置１００は撮像素子２で撮影された複数の画像を、その空間的な位置ずれ量を元に合成し、画素ずらし画像を生成する。
【００５４】
より具体的には、最初に撮影された画像を基準画像とし、基準画像内に、所定の大きさの矩形の窓領域Ａを設定する。そして、窓領域Ａ内のパターンと類似するパターンを、以後に撮影された画像（参照画像）内で探索する。探索範囲は、適宜定められる。たとえば、参照画像において、基準画像の窓領域Ａの座標位置と同じ座標位置を基準として、予め定められた一定の範囲Ｂが設定される。その範囲Ｂにおいて、窓領域Ａ内のパターンと類似するパターンが探索される。パターンの類似の度合い（程度）は、たとえば残差平飽和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を計算することによって評価できる。たとえば、差が最も小さくなるときのパターンを、窓領域Ａ内のパターンと類似するパターンとして取り扱えばよい。窓領域Ａ内のパターンの位置と、各参照画像において特定された各パターンの位置との差が、位置ずれ量となる。基準画像からの方向まで含めた位置ずれ量は、「動きベクトル」とも呼ばれる。
【００５５】
なお、参照画像の枚数は任意である。たとえば撮影した複数枚の中の一部の画像のみを用いて処理を行ってもよい。
【００５６】
本実施形態にかかる撮像装置１００は、これらの位置ずれ量を元に各画像を合成する。これにより、より高画質な画像（６）を得る。この処理は超解像処理とも呼ばれる。超解像処理によって得られた超解像画像（６）は、合成前の画像（５）に比べて、空間当たりの画素数（解像度）が大きくなっている。
【００５７】
ここで行われる超解像処理は、単なる画素数増加処理ではない。別個独立に撮影された、実存する被写体の画像データを用いるため、破綻が抑えられた画像が得られると共に、画像の先鋭度が劣化しにくいという特徴を有するからである。
【００５８】
従来の補間方法との相違を説明する。いま、隣接する２画素の間に新たにｎ個の画素を挿入する処理を考える。従来の補間方法として、隣接する２つの画素の画素値を用いて新たな画素の画素値を決定する補間方法が考えられる。たとえば、隣接２画素の画素値がａおよびｂであるとすると、画素値ａからｂまで、（ｂ−ａ）／ｎずつ画素値が変化するよう、ｎ個の画素の画素値を決定する補間方法が考えられる。この方法によれば、画素数は増加するものの、挿入された画素の画素値は常に予め定められた方法で一様に決定される。これでは、画像の破綻が生じたり、先鋭度が劣化することがある。後者の例を挙げると、たとえば上述の隣接２画素が、輝度差が大きい部分（たとえば輪郭部分）の２画素であるとすると、補間された画素は輪郭部分の階調が徐々に変化するように生成される。これは、エッジの先鋭度を劣化させる。
【００５９】
超解像処理部１３が超解像処理を行うかどうかは、超解像処理モードがオン（ＯＮ）かオフ（ＯＦＦ）かによって決定される。
【００６０】
超解像処理モードがＯＮのとき、超解像処理部１３は超解像処理を行い、ＯＦＦのときは超解像処理を行わない。超解像処理を行うとき、複数画像間の位置ずれ量の検出は動き検出部１２（図２）が実行し、検出した空間的な位置ずれ量を元に画像を合成する。
【００６１】
動き検出部１２は、撮像素子２から読み出された画像信号が示す２枚以上の画像（５）の被写体間の位置ずれ量および方向（動きベクトル）を検出する。動き検出部１２が動きベクトルを検出する方法の一例として、上述した窓領域を利用してパターンを認識する、いわゆる画像間のブロックマッチングを用いてもよい。または、フーリエ変換を利用した位相限定相関法を用いてもよい。本実施形態１においてはいずれの方法を採用しても構わない。なお、動き検出部１２の処理は特定の方法に限られない。
【００６２】
上述の説明では、動き検出部１２は基準画像からの方向まで含めた位置ずれ量（動きベクトル）を検出すると説明した。しかしながら、撮影環境によっては基準画像からのずれの方向が予め決まっている場合があり得る。そのような場合には、動き検出部１２は基準画像からの方向を検出する必要はなく、動き量のみを検出すればよい。本願明細書においては、基準画像からのずれの方向が予め決まっており、、動き検出部１２が動き量のみを検出する場合においても、「動き検出部１２が動きベクトルを検出する。」と記載することがある。
【００６３】
なお超解像処理時に合成に用いる画像枚数は４枚に限るものではない。
【００６４】
本実施形態においては、超解像処理モードのＯＮ／ＯＦＦは、電子ズームが行われているか否かによって決定される。
【００６５】
図９は、撮像装置１００のズーム倍率と、ズーム倍率に応じたフレームレートと、超解像処理に使用される画像の枚数の関係を示す。
【００６６】
本実施形態１においては、図示しない撮像装置１００の操作者の指示により撮像装置１００のズーム動作を行う場合、はじめに光学系１を駆動して光学ズーム動作をその略最大倍率に達するまで行う。このとき撮像装置１００における撮影のフレームレートは標準の６０ｆｐｓとし、且つ超解像処理モードはＯＦＦとする。超解像処理部１３は超解像処理を行わないため、画像合成枚数は１枚である。
【００６７】
次に、図示しない撮像装置１００の操作者の指示が光学ズームの略最大倍率（１０倍）に至った時点で電子ズーム処理が動作し始める。操作者の指示が継続する限り、電子ズームの最大倍率に至るまでズームが行われる。
【００６８】
電子ズームが動作し始めたタイミング以降、電子ズームのズーム倍率が増加するに従い、撮像装置１００は撮影のフレームレートを段階的に上げる。図９では、たとえば６０ｆｐｓ以降、９０、１２０、１５０および１８０まで段階的に上げる。この処理は、撮像素子駆動制御部９が読み出しトリガパルスを出力するタイミングを変えることによって実現される。これにより、一定時間内に取得できる画像枚数が増加する。同時に、超解像処理モードがＯＮに変更され、超解像処理部１３は超解像処理を実行する。
【００６９】
超解像処理部１３は、複数の画像から超解像処理により高画質な合成画像を生成する。超解像処理は、通常撮影モード時のフレームレート（６０ｆｐｓ）の１フレーム期間である１／６０秒に取得した画像を合成して行われる。すなわち、電子ズームのズーム倍率が増加するに従い、超解像処理に用いられる画像の枚数が段階的に増加する。
【００７０】
図１０は、図９に示した電子ズームが動作し始めた以降（電子ズームモード時）の撮像素子２からの画像信号読み出しと超解像処理の結果得られた画像の例を示す。図１０において（１）、（２）は図５に示した垂直同期信号、読み出しトリガパルスである。図１０においては、一例として１フレーム期間に４回の読み出しトリガパルスを撮像素子２に印加して、４つの画像の画像信号を読み出している。
【００７１】
図１０に示すように、図示しない撮像装置１００の操作者の指示で、電子ズームが動作し始めるズーム倍率が設定されると、撮像素子駆動制御部９が読み出しトリガパルスを出力する周期を上げ、通常の１フレーム期間内に複数枚の画像信号を出力させる。そして動き検出部１２は、得られた複数枚の画像間の位置ずれ量を検出する。動き検出部１２は検出結果（位置ずれ量）を超解像処理部１３に供給する。超解像処理部１３は、そのずれ量に基づいて画素ずらしによる合成処理を行い、高画質な超解像画像を生成する。
【００７２】
図１１は、本実施形態の電子ズームモード時の動作アルゴリズムを説明するためのフローチャートである。図１１に示した動作アルゴリズムはシステム制御部１０に例えばハードウエア、もしくはプログラムとして実装されているとする。
【００７３】
以上のように構成された本実施形態の撮像装置１００の動作を、以下、図１１を参照しながら説明する。まず撮像装置１００のズーム倍率が初期状態である１倍に設定されていると仮定し、図示しない撮像装置１００の操作者の指示で、ズーム動作が指示されたとする。
【００７４】
ステップ１０１において、システム制御部１０は、操作者の指示が光学ズーム倍率の上限を超えているか否かに基づいて電子ズームがＯＮであるか否かを判断する。
【００７５】
本実施形態では、図示しないズームボタンの押下によって操作者の指示が受け付けられ、ズームボタンが押下され続ける時間をもってズーム倍率が決定されるとする。操作者の指示がズーム倍率１０以下の場合、上述の通り、ズーム駆動制御部８は、光学系１中の一部のレンズを駆動制御して光学系１のズーム倍率を指定の倍率に設定する。これによりズーム撮影が可能となる。このとき、電子ズームモードはＯＦＦであり、超解像モードもＯＦＦである。
【００７６】
一方、操作者の指示が光学ズーム倍率の上限である１０倍を超える場合には、システム制御部１０は、電子ズームモードおよび超解像モードをＯＮにする。これにより、処理はステップ１０２に進む。
【００７７】
ステップ１０２では、システム制御部１０は具体的な電子ズーム倍率を決定する。より具体的には、操作者によるズームボタンの連続押下時間から電子ズーム倍率を決定する。このとき、電子ズームモードはＯＮである。また、超解像モードもＯＮになる。システム制御部１０は、決定したズーム倍率を特定する指示をデジタル信号処理部７に送る。
【００７８】
ステップ１０３では、撮像素子駆動制御部９は、ステップ１０２で決まった電子ズーム倍率から、撮像素子２から読み出すべき画素数および範囲を算出し決定する。電子ズームモード時は撮像素子２から取得できる総画素数のうちの一部のみを読み出して、これに拡大処理（画素数の拡張）を施しズーム画像を得ればよい。そのため、撮像素子２から読み出すべき画素数を電子ズーム倍率から算出する必要がある。例えば電子ズーム倍率Ｒｅが２倍のとき、撮像素子駆動制御部９は、撮像素子２の総画素数の約１／４の画素の画像信号を読み出すことを決定する。同様に、撮像素子駆動制御部９は、図３に示す全撮像領域３０の中心部を含む領域３１の画素の画像信号を読み出すことを決定する。
【００７９】
なお撮像素子２から読み出した画像に対してはノイズ除去のためのフィルタ処理などが必要なため、これら処理のためのマージンとして実際には１／４以上の画素数を読み出しておくことが好ましい。また撮像素子の構造によっては直接読み出す水平と垂直方向の画素数を指定できるものもあれば、ＣＣＤのように垂直方向の画素数（ライン数）しか指定できず、水平方向の画素は一旦メモリに記憶してから、改めて必要な画素数のみを読み出す（切り出す）構成を採る場合もあるが、本実施形態１においてはどちらの構成でも構わない。また付け加えると、電子ズームモードにおいて撮像素子２から読み出す画素数を総画素数より減らすことは、電子ズーム時に撮像素子２から読み出す画像の枚数（フレームレート）を増やす際に機器の消費電力やハードウエア規模の点で有利に働く。
【００８０】
次にステップ１０４は、図９で説明したように電子ズーム倍率を元に、超解像処理で合成に用いる画像の枚数を決定するステップである。電子ズーム倍率と画像枚数の関係は、電子ズームによる画質劣化度合いと、超解像処理で使用する画像枚数による画質改善度合いを元に、あらかじめテーブル等を用意しておき、このテーブルを参照して合成する画像の枚数を決定する。
【００８１】
次にステップ１０５において、ステップ１０４で決まった画像枚数を撮像素子２から読み出せるよう、システム制御部１０は撮像素子駆動制御部９に指示を送り、読み出しトリガパルスを撮像素子２に印加させる。この結果、撮像素子２から所望の枚数の画像信号が読み出される。読み出された画像信号は、上述した信号処理を施される。
【００８２】
最後にステップ１０６にて、超解像処理部１３は、信号処理されたデジタル映像信号に基づいて、図２、図７、図１０で説明した超解像処理を実行し、高画質な電子ズーム画像を得る。
【００８３】
以上のようなステップ１０１からステップ１０６までの動作を実施することで、電子ズーム時でも高画質な画像を得ることができる撮像装置１００を得ることができる。
【００８４】
（実施形態２）
まず、本実施形態にかかる撮像装置の基本的な構成は、図１に示す、実施形態１にかかる撮像装置１００の構成と同じである。したがって、本実施形態においても図１に示す撮像装置１００を利用して説明する。実施形態１と同様の部分については説明を省略する。
【００８５】
以下、図１２、図１３、図１４を参照しながら、本実施形態にかかる撮像装置を説明する。本実施形態にかかる撮像装置は、撮影した画像中における被写体の動きを検出し、それに応じて露光時間を変更する点が、実施形態１にかかる撮像装置と異なる。
【００８６】
図１２は、図２に示した動き検出部１２の動き検出エリアを模式的に表した図である。図１２において○が画像内の画素の配列を示し、点線で示した四角は画像内で動きを検出する４つのエリアを示す。なおエリアは４つとしているがこれに限るものではない。
【００８７】
図１３は、図１の撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートおよび超解像処理の結果得られた画像の例を示す。図１３において（１）は垂直同期信号、（２）は撮像素子２に蓄積された電荷を外部に読み出すトリガとなる読み出しトリガパルス、（３）は撮像素子２から読み出される出力信号（画像信号）を示す。図１３に示すように、本実施形態における撮像装置では、後述する被写体の動き検出結果に応じて読み出しトリガパルスの間隔を本実施形態１に比べて短くすることで、露光時間の短い複数の画像信号を読み出すように構成されている。なお、１フレーム期間に読み出される最後の画像信号の読み出し後から、次の垂直同期信号までの期間に撮像素子２に蓄積される信号電荷は、図示しない電荷吐き出しパルスによってグランドに捨てられるとする。
【００８８】
図１４は、本実施形態の電子ズームモード時の動作アルゴリズムを示すフローチャートである。図１４に示した動作アルゴリズムはシステム制御部１０に例えばハードウエア、もしくはプログラムとして実装されているとする。
【００８９】
以上のように構成された本実施形態の撮像装置に関し、以下その動作を本実施形態１と異なる部分のみ図をもとに説明する。
【００９０】
まず、動き検出部１２は、撮像素子２で撮影された画像に対し、画像内の４つのエリア毎に画像の動きを継続して検出する。このとき、４つのエリア内でそれぞれ検出される動きの大きさと方向（動きベクトル）をモニタする。そして４つのエリアで検出される動きベクトルの大きさ並びに方向が略同一の場合は、被写体動きフラグを０にセットし、逆に動きベクトルの大きさ並びに方向に差異がある場合は、被写体動きフラグを１にセットする。動きベクトルの大きさ並びに方向に差異については、あらかじめ一定の閾値を設けておき、動きベクトルの大きさ並びに方向がこの閾値を越えた場合、被写体動きフラグを１にセットするなどといった方法が考えられる。
【００９１】
次に本実施形態の撮像装置は、実施形態１と同様に図１４のステップ１０１からステップ１０４において電子ズームの要否、電子ズーム倍率、読み出し画素数、合成枚数を決定する。
【００９２】
次にステップ２０１において、動き検出部１２の被写体動きフラグを参照し、このフラグが０の場合は処理をスキップして次のステップ１０５を実行し、フラグが１の場合は、撮像素子２から取得する複数枚の画像の総露光時間を決定する。これは複数画像を合成する場合、画像内に動く被写体が存在すると合成によって被写体像が多重露光のような画像となり却って画質を損ねる。よって、これを回避するために露光時間を短く設定し、動く被写体の影響を軽減させるためである。そこで、被写体動きフラグが１の場合、撮影画像内に動く被写体（例えば人物や乗り物など）が含まれていると判断し、その場合には図１３に示すように撮影する複数画像の総露光時間を短縮する。なお本実施形態においては被写体動きフラグを用いて被写体の動きの有無だけを判別したが、例えば動き検出部１２にて検出される複数の動きベクトルの分散度合いなどから被写体の動きの強弱を多段階で判定し、その結果に応じて複数画像の総露光時間を多段階で変更することも可能である。具体的には、被写体の動きが大きいほど、露光時間を段階的に短くする。
【００９３】
以上のように撮影画像中の被写体の動きの有無に基づいて、各画像毎の露光時間を変更すれば、被写体の動きが存在しても高画質なズーム画像を得ることができる。
【００９４】
なお、実施形態１にかかる撮像装置の動作、および本実施形態にかかる撮像装置の動作は、併存させることができる。つまり、１台の撮像装置が、実施形態１にかかる動作と実施形態２にかかる動作とを行うことができる。たとえば最初の処理は実施形態１の図１０および図１１に示す処理を行い、その後、図１３および図１４に示す処理を行ってもよい。または、最初に図１３および図１４に示す処理を行い、被写体の動き、すなわち複数画像間の位置ずれ量がない、または所定範囲内に収まる場合には、図１０および図１１に示す処理に切り替えてもよい。
【００９５】
（実施形態３）
以下、添付の図１５、図１６および図１７を参照しながら、本実施形態にかかる撮像装置を説明する。上述の実施形態２においては、撮影した画像中に動く被写体が存在した場合に、超解像処理により却って画質を損ねる事態が発生することを回避するために、複数画像の各露光時間を変更する構成を説明した。
【００９６】
これに対し本実施形態においては、露光時間の変更だけでは回避できない状況も想定して、撮影した画像中に被写体の動きを検出した場合は、超解像処理を停止して、従来から知られている１枚の画像から補間処理によりズーム画像を得る構成を説明する。
【００９７】
図１５は、本実施形態にかかる撮像装置１０１の構成を示す。
【００９８】
本実施形態にかかる撮像装置１０１は、一部において、図１に示す実施形態１にかかる撮像装置１００の構成と異なっている。実施形態１にかかる撮像装置１００の構成要素と同じ機能を有する撮像装置１０１の構成要素には、同じ参照符号を付し、その説明を省略する。
【００９９】
本実施形態にかかる撮像装置が、実施形態1にかかる撮像装置と異なる点は、デジタル信号処理部７に代えてデジタル信号処理部１７を設けたこと、および切り替え部２２を設けたことにある。これらについて図１６を参照しながら詳細に説明する。
【０１００】
図１６は、本実施形態にかかる撮像装置１０１のデジタル信号処理部１７および切り替え部２２に関連する構成の詳細を示す。
【０１０１】
デジタル信号処理部１７は、映像処理部１１と、動き検出部１２と、超解像処理部１３と、補間ズーム部２１とを有している。デジタル信号処理部１７は、実施形態１にかかるデジタル信号処理部７の構成に補間ズーム部２１が追加されて構成されている。映像処理部１１、動き検出部１２、および超解像処理部１３の機能は、本実施形態と実施形態１とで同じである。
【０１０２】
補間ズーム部２１は、与えられた画像データに基づいて補間処理を行い、画像の画素数を増加させる。これにより、与えられた１枚の画像を拡大する。補間処理は、たとえば、従来から知られている線形補間またはバイキュービック補間である。
【０１０３】
切り替え部２２は、デジタル信号処理部１７とメモリ制御部６との間の入出力の切り替えを行う。切り替え部２２は、後述するように被写体動きフラグの値に応じて、メモリ制御部６と超解像処理部１３との接続、およびメモリ制御部６と補間ズーム部２１との接続を切り替える。これにより、超解像処理部１３および補間ズーム部２１の一方と、メモリ部５との間でデータが伝送される。なお切り換え部２２の初期設定は、メモリ制御部６と超解像部１３との間が信号経路として繋がっており（ＯＮ）、メモリ制御部６と補間ズーム部２１との間は遮断（ＯＦＦ）されているとする。
【０１０４】
図１７は、図１の撮像素子２からの画像信号の読み出しを説明するためのタイミングチャートである。図１７において（１）は垂直同期信号、（２）は撮像素子２に蓄積された電荷を外部に読み出すトリガとなる読み出しトリガパルス、（３）は撮像素子２から読み出される出力信号（画像信号）を示す。図１７に示すように、本実施形態３における撮像装置では、後述する被写体の動き検出結果に応じて読み出しトリガパルスの間隔を１フレーム期間に固定して、１フレーム期間に１枚の画像信号を読み出すように構成されている。
【０１０５】
図１８は、本実施形態の電子ズームモード時の動作アルゴリズムを示すフローチャートである。図１８に示した動作アルゴリズムはシステム制御部１０に例えばハードウエア、もしくはプログラムとして実装され得る。
【０１０６】
以上のように構成された本実施形態の撮像装置の動作のうち、実施形態１にかかる撮像装置１００の動作と相違する動作を説明する。
【０１０７】
まず、動き検出部１２は、撮像素子２で撮影された画像に対し、画像内の４つのエリア毎に画像の動きを継続して検出する。このとき、４つのエリア内でそれぞれ検出される動きの大きさと方向（動きベクトル）をモニタする。そして４つのエリアで検出される動きベクトルの大きさ並びに方向が略同一の場合は、被写体動きフラグを０にセットし、逆に動きベクトルの大きさ並びに方向に差異がある場合は、被写体動きフラグを１にセットする。動きベクトルの大きさ並びに方向に差異については、あらかじめ一定の閾値を設けておき、動きベクトルの大きさ並びに方向がこの閾値を越えた場合、被写体動きフラグを１にセットするなどといった方法が考えられる。
【０１０８】
次に本実施形態の撮像装置においては、ステップ３０１において、動き検出部１２の被写体動きフラグを参照し、このフラグが０の場合は処理をスキップして次のステップ１０２を実行し、フラグが１の場合は、ステップ３０２に進む。なおステップ１０２からステップ１０５の動作は実施形態１において説明したステップ１０２からステップ１０５の動作と同様であるため説明は省略する。
【０１０９】
ステップ３０２は、読み出しトリガパルスを設定し、撮像素子駆動制御部９を介して撮像素子２から１フレーム期間中に１枚の画像読み出しを実行する。次にステップ３０３において、切り替え部２２を制御して、メモリ部５と超解像処理部１３の間の信号経路を遮断し、逆にメモリ部５と補間ズーム部２１の間の信号経路を繋ぐ。次にステップ３０４において補間ズーム部２１を制御し、メモリ部５から取得する１枚の画像データに対しズーム処理を行う。
【０１１０】
以上のように撮影画像中の被写体に動きの有無に基づいて、電子ズーム時の処理を切り替えることで、被写体の動きが存在した場合に超解像処理により却って画質を損ねる事態が発生することを回避し、破綻のないズーム画像を得ることができる。
【０１１１】
以上、本発明の実施形態を説明した。上述の各実施形態は、本発明の一例である。本発明は、前述の実施形態に限られず、本発明の趣旨を逸脱しない範囲で種々の修正および変更が可能である。
【０１１２】
（Ａ）実施形態３においては画像中の被写体像の動きの有無を元に超解像処理と補間ズーム処理を切り換えたが、例えばバッテリ残量や撮像装置本体の温度などの、自装置の状態を検出して処理を切り替える方法も考えられる。具体的には超解像処理を実施する場合、１フレーム期間内に複数枚の画像を撮影してこれを超解像処理するため、機器の消費電力が大きくなることが予想される。そこで機器内蔵のバッテリ残量が少ない場合は、撮影時間を少しでも延ばすために電子ズームは補間ズーム処理に切り替えることが考えられる。この場合、補間ズーム処理は通常、超解像処理に比べて演算量が少なく、使う画像枚数も１枚で足りるため機器の消費電力の低減が可能となり、撮像装置の撮影時間を延長することが可能となる。また消費電力が増えることは機器の温度上昇の原因となり、この温度上昇が機器の動作を不安定にする可能性がある。そこで、機器内に温度センサーを実装して機器の温度を検出し、機器の温度が一定値以下の場合は超解像処理を実行し、逆に一定値以上の場合は補間ズーム処理を実行するといった切り換えを適宜行う方法が有効である。
【０１１３】
（Ｂ）上述の各実施形態においては、撮影する映像を特に動画と静止画に分けて説明しなかった。しかしながら、本実施形態で説明した撮像装置は動画もしくは静止画のどちらを撮影する場合にも有効である。例えば動画撮影を目的とする場合、図１０で説明した１フレーム期間内の動作を連続して行えば、動画撮影時でも高画質な電子ズームを実現することができる。また静止画撮影を目的とする場合、撮影者のシャッター操作に合わせて任意のタイミング以降で図１０に示した１フレーム期間分の動作を実施し、得られた画像を静止画として記録すればよい。なお静止画の場合、１フレーム期間は被写体の明るさや絞りの開口に応じて決まる露光時間、つまりシャッター速度である。本実施形態で説明に用いた１／６０秒といった固定の値である必要はない。
【０１１４】
（Ｃ）上述の各実施形態においては、超解像処理によって複数枚の画像を画素ずらし合成する場合、各画像間の画素ずれ量が図７の（６）に示すようにフレーム１の画像に対しフレーム２の画像が垂直方向に半画素分、フレーム３の画像が斜め４５度方向に半画素分、フレーム４の画像が水平方向に半画素分といった格子上の点に乗るようなずれ量で撮影されることが保証されるなら問題はない。しかしながら、複数画像間のずれを撮影時の手ぶれなどによって得る場合はこのような保証はない。
【０１１５】
その場合は、複数画像の１つを基準にして、所望の格子上の各点に他の画像の画素が乗るように個別に画素補間などによって画素位置の移動を行ってから超解像処理を行えばよい。また他の方法として、撮像素子２もしくは光学系２を各画像の露光タイミングに合わせて物理的にシフトし、所望の画素ずれが生じるような構成を採ることも可能である。
【０１１６】
（Ｄ）上述の各実施形態にかかる撮像装置は、一眼レフ式カメラのようなレンズ交換式の撮像装置であっても有効である。
【０１１７】
（Ｅ）上述の各実施形態において、１フレーム期間内に複数の画像を得る際、露光時間の関係で、撮像素子２から得られる各画像が暗くなることが考えられる。これについては１フレーム期間に取得する画像枚数と露光時間から光学絞りの調整や撮像素子２からの出力後の信号増幅を行えばよいことはいうまでもない。
【０１１８】
（Ｆ）上述の実施形態において、撮影する対象が動画であり、撮像装置を撮影者が手で保持して撮影操作した場合、超解像処理にて合成された動画にも手ぶれによる画像の揺動が残留する。特に電子ズームモードでは画像の揺動も拡大されるため、画像鑑賞時に映像酔いなどを誘発しやすくなり好ましくない。そこでこの画像の揺動を補正する方法として以下の３つが考えられる。
【０１１９】
（Ｆ−１）第１の方法は、まずは電子ズームモードにおいて合成する複数枚の画像のうち、特定のタイミングの画像の１つを基準として選択する。例えば、図１０において各フレーム期間において、（１）の垂直同期信号の立上り後の最初の画像（画像１）を基準とする。そして連続する２つのフレーム期間で基準の画像（垂直同期信号の立上り後の最初の画像（以降、基準画像と称す）どうしの位置ずれ量を動き検出部１２で検出し、１フレーム期間前の基準画像に対し、次のフレーム期間の基準画像の位置関係が等しくなるように補正する（図１９）。その後、このように１フレーム前の基準画像と位置合せされた基準画像と、同じフレーム期間内に撮影された他の画像（画像２〜４のタイミングに相当する画像）を超解像処理によって合成を行う。このようにすれば、合成された電子ズーム画像は各フレーム周期毎に位置が揃った画像となるために、手ぶれによる揺動が補正されたものとなる。なお１フレーム期間前の基準画像に対し、次のフレーム期間の基準画像の位置を合わせる方法としては、例えば以下のような方法がある。まず撮像素子２から読み出す画像信号の画素数を図１１のステップ１０３で決める読み出し画素数より多い画素数に設定することで位置合せ用のマージンを確保し、この画像をメモリ部５に記憶させる。そして上述の動き検出部１２における２画像間のずれ量検出結果に基づき、図２０に示すようにメモリ部５からの画像信号の読み出し位置をＡやＢにずらして読み出す。また１画素以下のずれに対しては補間処理により画素間の中間位置の画素信号を作成して合わせればよい。なお各フレーム期間の基準画像は垂直同期信号の立上り後の最初の画像としたがこれに限るものではなく、中間や最後の画像としても何ら問題ない。
【０１２０】
（Ｆ−２）第２の方法は、電子ズームモードにおいて合成する複数枚の画像のうち、特定のタイミングの画像の１つを基準と固定する。例えば、図２１において各フレーム期間において、（１）の垂直同期信号の立上り後の最初の画像（画像１）を基準とする。そして１つ前のフレーム期間にて作成された超解像処理による合成画像と、この基準画像との位置ずれ量を動き検出部１２で検出し、１フレーム期間前の合成画像に対し、次のフレーム期間の基準画像の位置関係が等しくなるように補正する。その後、このように１フレーム前に超解像処理により作成された合成画像に対して位置合せされた基準画像と、この基準画像と同じフレーム期間内に撮影された他の画像（画像２〜４）を超解像処理によって合成を行う。このようにすれば、合成された電子ズーム画像は各フレーム周期毎に位置が揃った画像となるために、手ぶれによる揺動が補正されたものとなる。なお、１つ前のフレーム期間にて作成された超解像処理による合成画像と、次のフレーム期間の基準画像は画素数が異なるため、直接動き検出を行うことが困難な場合がある。そこで合成画像に対し画素間引きを行う、もしくは基準画像に画素補間を行い画素数を合成画像に合わせる、などの措置をとってから動き検出を行えばよいことは言うまでもない。
【０１２１】
（Ｆ−３）第３の方法は、複数枚の画像から超解像処理により合成される電子ズーム画像を一旦メモリ部５に記憶し、これを順次読み出して、連続するフレーム期間でのずれ量を動き検出部１２によって検出し、検出されたずれ量に基づき上記第１の方法で説明した方法と同様に、メモリ部５から画像信号の読み出し位置をずらして読み出す。このようにすれば、合成された電子ズーム画像は各フレーム周期毎に位置が揃った画像となるために、手ぶれによる揺動が補正されたものとなる。
【産業上の利用可能性】
【０１２２】
本発明は、例えば、画像のズーム機能を有するデジタルカメラやビデオムービー等の撮像装置に利用することが可能である。
【符号の説明】
【０１２３】
１ 光学系
２ 撮像素子
３ アナログ信号処理部
４ Ａ／Ｄ変換部
５ メモリ部
６ メモリ制御部
７ デジタル信号処理部
８ ズーム駆動制御部
９ 撮像素子駆動制御部
１０ システム制御部
【特許請求の範囲】
【請求項１】
被写体の像を形成する光学系と、
前記被写体の像を受けて画像信号を生成し、読み出し指示に基づいて前記画像信号を出力する撮像素子と、
前記読み出し指示を前記撮像素子に出力する周期を制御する駆動制御部と、
前記画像信号から得られた画像データを格納するメモリと、
複数の画像の画像データを利用して、前記被写体の少なくとも１つの動きベクトルを検出する動き検出部と、
前記少なくとも１つの動きベクトルを利用して前記複数の画像を合成することにより、新たな画像の画像データを生成する超解像処理を行う超解像処理部と
を備え、
前記超解像処理部が動作しないときは、前記駆動制御部は第１の周期で前記読み出し指示を前記撮像素子に出力し、
前記超解像処理部が動作するときは、前記駆動制御部は、前記第１の周期よりも短い第２の周期で前記読み出し指示を前記撮像素子に複数回出力し、前記メモリは、複数回の読み出し指示に基づいて得られた、複数の画像の画像データを格納する、撮像装置。
【請求項２】
前記超解像処理部によって生成される前記新たな画像の画素数は、前記複数の画像の各画素数よりも多い、請求項１に記載の撮像装置。
【請求項３】
前記超解像処理部は、前記少なくとも１つの動きベクトルを利用して、前記複数の画像の位置ずれを補正して前記複数の画像を合成する、請求項１に記載の撮像装置。
【請求項４】
前記複数の画像は、１枚の基準画像および少なくとも１枚の参照画像を含み、
前記動き検出部は、前記基準画像内の前記被写体のパターンの位置、および前記少なくとも１枚の参照画像内の前記被写体のパターンの位置に基づいて前記少なくとも１つの動きベクトルを検出し、
前記超解像処理部は、前記少なくとも１つの動きベクトルによって示される動き量および方向を利用して、前記基準画像内の前記被写体のパターンの位置と、前記少なくとも１枚の参照画像内の前記被写体のパターンの位置とが等しくなるよう、前記複数の画像の位置ずれを補正する、請求項３に記載の撮像装置。
【請求項５】
前記超解像処理部は、前記複数の画像の画素をずらして前記複数の画像を合成し、新たな画像の画像データを生成する超解像処理を行う、請求項３に記載の撮像装置。
【請求項６】
前記超解像処理部を動作させるか否かを制御し、かつ通常撮影モードおよび電子ズームモードの切り替えを制御する制御部をさらに備え、
前記通常撮影モードでは第１の画素数の画像が生成され、
前記電子ズームモードでは、前記第１の画素数の画像の一部である、第２の画素数の画像を利用して電子ズーム処理が行われ、
前記制御部は、
前記通常撮影モードでは前記超解像処理部を動作させず、
前記通常撮影モードを前記電子ズームモードに切り替えたときは、前記超解像処理部を動作させる、請求項１に記載の撮像装置。
【請求項７】
前記光学系は、光学ズームを行うための少なくとも１つのレンズを有しており、
前記通常撮影モードでは前記少なくとも１つのレンズを利用した前記光学ズーム処理が行われ、前記光学ズーム処理のズーム倍率が略最大に至った時点で、前記制御部は、前記通常撮影モードを前記電子ズームモードに切り替える、請求項６に記載の撮像装置。
【請求項８】
前記電子ズームモードにおいてズーム倍率が大きくなるに従って、前記駆動制御部は、前記第２の周期を段階的により短く変更し、前記読み出し指示を前記撮像素子に複数回出力する、請求項６に記載の撮像装置。
【請求項９】
前記駆動制御部は、前記少なくとも１つの動きベクトルに基づいて、前記被写体の動き量が所定値よりも大きいか否かを判定し、前記動き量が所定値よりも大きいときは、前記第２の周期を段階的により短く変更する、請求項１に記載の撮像装置。
【請求項１０】
前記駆動制御部は、前記少なくとも１つの動きベクトルに基づいて、前記被写体の動き量が所定値よりも大きいか否かを判定し、
前記動き量が所定値よりも大きいときは、前記制御部は前記超解像処理部を動作させず、
前記動き量が所定値以下のときは、前記制御部は前記超解像処理部を動作させる、請求項１に記載の撮像装置。
【請求項１１】
１枚の画像の画像データに基づいて画素数を拡張する補間ズーム部と、
自装置の状態に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替える切り替え部と
をさらに備えた、請求項１に記載の撮像装置。
【請求項１２】
前記切り替え部は、自装置のバッテリの残量に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替える、請求項１１に記載の撮像装置。
【請求項１３】
前記切り替え部は、自装置の温度に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替える、請求項１１に記載の撮像装置。
【請求項１】
被写体の像を形成する光学系と、
前記被写体の像を受けて画像信号を生成し、読み出し指示に基づいて前記画像信号を出力する撮像素子と、
前記読み出し指示を前記撮像素子に出力する周期を制御する駆動制御部と、
前記画像信号から得られた画像データを格納するメモリと、
複数の画像の画像データを利用して、前記被写体の少なくとも１つの動きベクトルを検出する動き検出部と、
前記少なくとも１つの動きベクトルを利用して前記複数の画像を合成することにより、新たな画像の画像データを生成する超解像処理を行う超解像処理部と
を備え、
前記超解像処理部が動作しないときは、前記駆動制御部は第１の周期で前記読み出し指示を前記撮像素子に出力し、
前記超解像処理部が動作するときは、前記駆動制御部は、前記第１の周期よりも短い第２の周期で前記読み出し指示を前記撮像素子に複数回出力し、前記メモリは、複数回の読み出し指示に基づいて得られた、複数の画像の画像データを格納する、撮像装置。
【請求項２】
前記超解像処理部によって生成される前記新たな画像の画素数は、前記複数の画像の各画素数よりも多い、請求項１に記載の撮像装置。
【請求項３】
前記超解像処理部は、前記少なくとも１つの動きベクトルを利用して、前記複数の画像の位置ずれを補正して前記複数の画像を合成する、請求項１に記載の撮像装置。
【請求項４】
前記複数の画像は、１枚の基準画像および少なくとも１枚の参照画像を含み、
前記動き検出部は、前記基準画像内の前記被写体のパターンの位置、および前記少なくとも１枚の参照画像内の前記被写体のパターンの位置に基づいて前記少なくとも１つの動きベクトルを検出し、
前記超解像処理部は、前記少なくとも１つの動きベクトルによって示される動き量および方向を利用して、前記基準画像内の前記被写体のパターンの位置と、前記少なくとも１枚の参照画像内の前記被写体のパターンの位置とが等しくなるよう、前記複数の画像の位置ずれを補正する、請求項３に記載の撮像装置。
【請求項５】
前記超解像処理部は、前記複数の画像の画素をずらして前記複数の画像を合成し、新たな画像の画像データを生成する超解像処理を行う、請求項３に記載の撮像装置。
【請求項６】
前記超解像処理部を動作させるか否かを制御し、かつ通常撮影モードおよび電子ズームモードの切り替えを制御する制御部をさらに備え、
前記通常撮影モードでは第１の画素数の画像が生成され、
前記電子ズームモードでは、前記第１の画素数の画像の一部である、第２の画素数の画像を利用して電子ズーム処理が行われ、
前記制御部は、
前記通常撮影モードでは前記超解像処理部を動作させず、
前記通常撮影モードを前記電子ズームモードに切り替えたときは、前記超解像処理部を動作させる、請求項１に記載の撮像装置。
【請求項７】
前記光学系は、光学ズームを行うための少なくとも１つのレンズを有しており、
前記通常撮影モードでは前記少なくとも１つのレンズを利用した前記光学ズーム処理が行われ、前記光学ズーム処理のズーム倍率が略最大に至った時点で、前記制御部は、前記通常撮影モードを前記電子ズームモードに切り替える、請求項６に記載の撮像装置。
【請求項８】
前記電子ズームモードにおいてズーム倍率が大きくなるに従って、前記駆動制御部は、前記第２の周期を段階的により短く変更し、前記読み出し指示を前記撮像素子に複数回出力する、請求項６に記載の撮像装置。
【請求項９】
前記駆動制御部は、前記少なくとも１つの動きベクトルに基づいて、前記被写体の動き量が所定値よりも大きいか否かを判定し、前記動き量が所定値よりも大きいときは、前記第２の周期を段階的により短く変更する、請求項１に記載の撮像装置。
【請求項１０】
前記駆動制御部は、前記少なくとも１つの動きベクトルに基づいて、前記被写体の動き量が所定値よりも大きいか否かを判定し、
前記動き量が所定値よりも大きいときは、前記制御部は前記超解像処理部を動作させず、
前記動き量が所定値以下のときは、前記制御部は前記超解像処理部を動作させる、請求項１に記載の撮像装置。
【請求項１１】
１枚の画像の画像データに基づいて画素数を拡張する補間ズーム部と、
自装置の状態に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替える切り替え部と
をさらに備えた、請求項１に記載の撮像装置。
【請求項１２】
前記切り替え部は、自装置のバッテリの残量に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替える、請求項１１に記載の撮像装置。
【請求項１３】
前記切り替え部は、自装置の温度に応じて、前記超解像処理部を動作させるか、前記補間ズーム部を動作させるかを切り替える、請求項１１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１０５２５４（Ｐ２０１２−１０５２５４Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１１−２１１２４２（Ｐ２０１１−２１１２４２）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]