撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体
【課題】撮像装置の回転成分方向の動きを考慮した最適なぶれ補正が可能な撮像装置、像振れ補正方法、及びプログラム及びプログラムを記録する記録媒体を提供する。
【解決手段】時間的に連続するフレームを処理する撮像装置１において、ベクトル算出処理においては、それぞれのフレームに対して、フレームを所定の画素数からなる小領域に分割した各ブロックについて、動きベクトルを算出する。設定処理においては、フレームごとの回転抽出結果に基づいて、動きベクトルの回転成分を除去後、ベクトル算出領域のグループ化を行う。決定処理においては、グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する。
【解決手段】時間的に連続するフレームを処理する撮像装置１において、ベクトル算出処理においては、それぞれのフレームに対して、フレームを所定の画素数からなる小領域に分割した各ブロックについて、動きベクトルを算出する。設定処理においては、フレームごとの回転抽出結果に基づいて、動きベクトルの回転成分を除去後、ベクトル算出領域のグループ化を行う。決定処理においては、グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のぶれを画像処理により補正する技術に関し、特に、ぶれにより生じる動きベクトルと、被写体の移動による動きベクトルとを識別する撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体に関する。
【背景技術】
【０００２】
近年は、ビデオカメラやデジタルカメラ等においては、動画像を撮像するときに、動きのある被写体を追尾する機能や手ぶれによるぶれを補正する機能が求められるようになってきている。これらの機能を実現する撮像装置では、連続して撮影されたフレーム画像から、動きベクトル等のフレーム間の差異を検出する技術が知られている（例えば、特許文献１）。
【０００３】
特許文献１の技術においては、時間的に連続してフレーム画像を撮影し、それぞれのフレームに対して複数のベクトル検出領域で動きベクトルを検出する。検出した動きベクトルに基づき動きベクトル検出領域をグループ化し、異なるフレーム間でグループ領域同士を比較することで、フレーム間で対応するグループ領域を判定する。これにより、ぶれによる動きベクトルと移動物の移動による動きベクトルとを識別した上で、背景と被写体の分離を行っている。
【０００４】
これにより、特許文献１の技術では、動画像のフレームごとに撮像装置のぶれにより生じる動きベクトルと、移動物の移動による動きベクトルとの識別を行っている。そして、特許文献１の技術では、例えば、フレーム内で背景と移動物の離散度合いの大きさが同程度であるときや、移動物が徐々に大きくなる場合等には、ぶれ補正をする領域を誤判定したり、ぶれ補正の対象となるグループが切り替わってしまう、という課題を解決している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−７９６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、撮像装置のぶれにより生じる動きベクトルが回転成分を含む。このぶれによる動きベクトルの回転成分は、撮像装置の回転中心を原点とした座標平面の象限により、方向が異なる。したがって、特許文献１の技術では、ぶれにより生じる回転成分を含む動きベクトルにおいて、正しく動きベクトルのグループ化を行うことができない。
【０００７】
本発明は、撮像装置の回転成分方向の動きを考慮した最適なぶれ補正が可能な撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体の提供を目的とする。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために、本発明の態様のひとつである撮像装置は、時間的に連続するフレームを処理する撮像装置であって、それぞれのフレームに対して、所定の画素数からなる小領域に分割されたフレーム内の全てのブロックについて動きベクトルを算出するベクトル算出部と、フレームごとの回転抽出結果に基づいて、動きベクトルの回転成分を除去後、ブロックのグループ化を行う設定部と、グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定部とを備えることを特徴とする。
【０００９】
また、本発明の別の態様のひとつであるぶれ補正方法は、時間的に連続するフレームを処理するぶれ補正方法であって、それぞれのフレームに対して、所定の画素数からなる小領域に分割されたフレーム内の全てのブロックについて動きベクトルを算出するベクトル算出段階と、フレームごとの回転抽出結果に基づいて、動きベクトルの回転成分を除去後、ブロックのグループ化を行う設定段階と、グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定段階とを有することを特徴とする。
【００１０】
また、本発明の別の態様のひとつである制御プログラムは、時間的に連続するフレームのぶれ補正を演算処理装置に行わせるための制御プログラムであって、それぞれのフレームに対して、所定の画素数からなる小領域に分割されたフレーム内の全てのブロックについて動きベクトルを算出するベクトル算出処理と、フレームごとの回転抽出結果に基づいて、動きベクトルの回転成分を除去後、ブロックのグループ化を行う設定処理と、グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定処理とを演算処理装置に行わせることを特徴とする。
【００１１】
更に、本発明の別の態様のひとつである記録媒体は、前述した制御プログラムを記録する記録媒体であることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像装置の回転成分方向の動きを考慮した最適なぶれ補正が可能な撮像装置、ぶれ補正方法、及び制御プログラム、及び制御プログラムを記録する記録媒体を提供できる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る撮像装置の構成図である。
【図２】撮像装置の回転中心と撮像部の中心との位置関係を説明する図である。
【図３】実施形態に係る撮像装置による動きベクトル処理を示したフローチャートである。
【図４】現フレーム及び参照フレームについて説明する図である。
【図５】参照フレームにおけるブロックの位置座標及び（ｋ）フレームにおけるブロックの位置座標を撮像装置の回転中心を原点とする座標系で表した図である。
【図６】ステップＳ２の動きベクトル極座標変換処理の詳細を示したフローチャートである。
【図７】回転成分を検出する領域について説明する図である。
【図８】ステップＳ３のフレーム回転成分抽出処理の詳細を示したフローチャートである。
【図９】ステップＳ１で算出する動きベクトル、ステップＳ３で抽出する回転成分、及びステップＳ４で求める回転成分除去後の動きベクトルの関係を示す図である。
【図１０】グループの中心ブロックの選出方法を説明する図である。
【図１１】同一グループに属するブロックがフレーム内で分散する場合におけるグループの動きベクトルの決定方法を説明する図である。
【図１２】実施形態に係る撮像装置による効果を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図１は、本実施形態に係る撮像装置の構成図である。図１に示す撮像装置１は、光学要素部２、撮像部３、制御部４、動きベクトル処理部５、記憶部６、及び記録媒体７を含む。図１においては、本実施形態に係るぶれ補正処理に係わる構成を中心に記載している。
【００１５】
制御部４は、撮像部３、動きベクトル処理部５、及び記憶部６の制御を行う。
光学要素部２は、複数のレンズ等を含み、撮像部３上に被写体像を結像させる。撮像部３は、光学要素部２により結像された被写体像を光電変換し、得られた信号についてＡ／Ｄ変換を行う。Ａ／Ｄ変換により得られたデジタルデータは、図１においては不図示の信号処理部において色分離やγ補正等の処理が施され、制御部４は、得られた輝度色差信号のＹＣｂＣｒ信号を記憶部６に記憶させる。
【００１６】
動きベクトル処理部５は、例えば制御部４の演算処理装置により実行される、ぶれ補正に利用するために求める動きベクトルに係わる各種処理を行う電子回路、あるいは、制御部４の演算処理装置により実行される制御プログラムとする。
【００１７】
記憶部６は、図１においては不図示の信号処理部から出力される輝度色差信号を記憶するとともに、記録媒体７に対して、画像等のデータの保存、及び制御プログラムを記憶する。
【００１８】
記録媒体７は、たとえば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等であり、画像等のデータを保存する。
【００１９】
撮像装置１は、例えば、録画ボタン（ＲＥＣボタン）が押下されることにより、所定のフレームレートでの動画像の撮像を開始し、ＲＥＣボタンの再度の押下、あるいは、ストップボタンの押下等により、動画像の撮像を終了する。動画像の撮像中は、撮像部３から時間的に連続するフレーム（あるいはフィールド）画像が出力されることとなる。制御部４は、記録媒体７から読み出した制御プログラムを実行することにより、あるいは、制御部４の演算処理装置により実行される電子回路により、時間的に連続するフレーム（あるいはフィールド）画像に対し、動きベクトル処理部５による動きベクトル処理を施す。
【００２０】
本実施形態に係る撮像装置１では、動きベクトル処理部５による動きベクトル処理により、撮像装置１の回転方向成分を除去した動きベクトルを用いて、フレーム画像やフィールド画像内の移動物と背景とを識別し、ぶれ補正を行う。
【００２１】
図２は、撮像装置１の回転中心と撮像部３の中心との位置関係を説明する図である。
点Ｏ´は、撮像部３の光学中心である。これに対し、撮像装置１の回転中心は、撮像装置１の形状や重心位置等により決まるため、図２に例示するように、原点位置Ｏを予め定めておく。したがって、撮像部３の光学中心Ｏ´の位置と撮像装置１の回転中心Ｏの位置とは、必ずしも一致するとは限らない。
【００２２】
ここで、手ぶれ等による動きベクトルには、撮像装置１の回転中心Ｏ周りの回転方向の動きも含まれる。図２に示すとおり、撮像装置１の回転中心Ｏ周りの回転方向成分は、象限によりその方向が異なる。このため、本実施形態に係る撮像装置１では、制御部４は、前述のとおり、動きベクトル処理部５により撮像装置１の回転方向成分を除去した動きベクトルを用いて、フレーム画像やフィールド画像内の移動物と背景とを識別し、ぶれ補正を行っている。以降の説明においては、動きベクトル処理部５は、制御部４の演算処理装置により実行される制御プログラムで構成した場合とする。
【００２３】
動きベクトル処理部５による処理は、具体的には、動きベクトル算出処理、グループ設定処理、及び背景グループ決定処理から構成される。
動きベクトル算出処理では、時間的に連続するそれぞれのフレームに対して、フレーム内の全てのブロック（フレームを所定の画素数からなる小領域に分割したもの）について動きベクトルを算出する。具体的には、動きベクトル算出処理においては、制御部４は、記憶部６を介して記録媒体７から、現フレームの輝度色差信号ＹＣｂＣｒを読み出す。そして、制御部４は、同様に記録媒体７から読み出した過去のフレームを参照して、現フレームのブロックごとに動きベクトルを算出する。
【００２４】
グループ設定処理は、動きベクトル極座標変換処理、フレーム回転成分抽出処理、及び動きベクトル回転成分除去処理を行った上で、グループ領域を設定する。具体的には、グループ設定処理においては、制御部４は、フレームごとの回転抽出結果に基づいて、動きベクトルの回転成分を除去後、ブロックのグループ化を行う。
【００２５】
動きベクトル極座標変換処理は、動きベクトル算出処理において求めた動きベクトルを、図２の撮像装置１の回転中心Ｏを原点とする極座標表示に変換する。
フレーム回転成分抽出処理は、動きベクトル極座標変換処理において求めた極座標表示を利用して、現フレームの回転成分を抽出する。具体的には、制御部４は、フレーム回転成分抽出処理においては、動きベクトルの極座標表示を用いて、１フレーム間隔当たりの撮像装置１の回転中心回りの回転角を算出することにより、現フレームの過去のフレームに対する回転成分を求める。
【００２６】
動きベクトル回転成分除去処理は、動きベクトル算出処理で求めた動きベクトルから、フレーム回転成分抽出処理で求めた現フレームの回転成分を除去する。
グループ設定処理は、現フレーム内のブロックのグループ化を行う。グループ設定処理においては、制御部４は、回転成分を除去した、各ブロックの動きベクトルの水平方向成分及び垂直方向成分の差分が所定の範囲内にあるか否かに基づき、当該ブロックが同一のグループであるか否かを判定する。
【００２７】
背景グループ決定処理は、現フレーム内のグループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する。
以下に、動きベクトル処理部５における動きベクトル処理について、更に詳しく説明する。
【００２８】
図３は、本実施形態に係る撮像装置１による動きベクトル処理を示したフローチャートである。前述したように、本フローチャートでは、撮像装置１の制御部４が記録媒体７から動きベクトル処理部５における制御プログラムを読み出して実行する場合とする。
【００２９】
以下の説明においては、現フレームを「（ｋ）フレーム」あるいは「当該（ｋ）フレーム」とする。また、（ｋ）フレームより１つ前のフレームを（ｋ−１）フレーム、更に１つ前のフレームを（ｋ−２）フレーム、ｍ（ｍは１以上の整数）個前のフレームを（ｋ−ｍ）フレーム等のように表す。
【００３０】
まず、制御部４は、ステップＳ１において、ブロックの動きベクトルを算出する。ブロックの大きさは、例えば１６×１６画素である。動きベクトルは、（ｋ）フレームと、参照フレームである（ｋ−１）フレーム、（ｋ−２）フレーム、…（ｋ−ｍ）フレームのうちいずれかのフレームとを比較することにより求める。具体的には、制御部４は、（ｋ）フレームを複数のブロックに細分化して、過去のフレームである参照フレームから補間データを作成し、ブロックマッチング法により、ブロックごとの動きベクトルを算出する。
【００３１】
図４は、現フレーム及び参照フレームについて説明する図である。制御部４は、記憶部６を介して、記録媒体７に所定数の過去フレームを記憶させておく。図４に示すとおり、実施例では、制御部４は、少なくともｍ個の過去フレームを記憶させておくこととする。
【００３２】
制御部４は、現フレーム内の各ブロックに対して、所定数の参照フレームにおける、最もマッチするブロックを選択する。図４においては、制御部４は、(k)フレーム内の斜線ブロックにマッチするブロックが（ｋ−ｍ）フレーム内に存在する場合を例示する。（ｋ）フレームにおいて、動きベクトルを求めようとするブロックの位置、及び対応する参照フレーム内のブロックの位置を求め、その差より、動きベクトルＭＶを算出する。
【００３３】
次に、制御部４は、ステップＳ２において、ブロックごとに求めた動きベクトルを、極座標に変換する。ステップＳ１で求めた動きベクトルＭＶ=（ＭＶｘ、ＭＶｙ）を、極座標（ｒ・ｃｏｓθ、ｒ・ｓｉｎθ）に変換する。
【００３４】
動きベクトルの極座標変換処理について、図５〜図７を参照して更に詳しく説明する。
図５は、参照フレームにおけるブロックの位置座標Ｐ１及び（ｋ）フレームにおけるブロックの位置座標Ｐ２を撮像装置１の回転中心Ｏを原点とする座標系で表した図である。図５に示すとおり、制御部４は、参照フレームにおける対応するブロックの位置Ｐ１と、（ｋ）フレームにおけるブロックの位置Ｐ２とで内積・外積を計算することにより、極座標を求めている。
【００３５】
図６は、ステップＳ２の動きベクトル極座標変換処理の詳細を示したフローチャートである。図６に示す処理は、制御部４が記録媒体７から読み出して実行する動きベクトル処理部５の制御プログラムに記述されている。
【００３６】
まず、制御部４は、ステップＳ２１において、撮像装置１の回転中心Ｏ（図２参照）を原点とする座標系において、参照フレームにおけるブロックの位置座標Ｐ１（Ｐ１ｘ、Ｐ１ｙ）と、（ｋ）フレームにおけるブロックの位置座標Ｐ２（Ｐ２ｘ、Ｐ２ｙ）とを求める。
【００３７】
次に、制御部４は、ステップＳ２２において、参照フレームにおけるブロックの位置Ｐ１及び（ｋ）フレームにおけるブロックの位置Ｐ２それぞれの原点Ｏからの距離｜Ｐ１｜及び｜Ｐ２｜を求める。それぞれの原点Ｏからの距離は、｜Ｐ１｜＝（Ｐ１ｘ２＋Ｐ１ｙ２）１／２、｜Ｐ２｜＝（Ｐ２ｘ２＋Ｐ２ｙ２）１／２より求められる。
【００３８】
最後に、制御部４は、ステップＳ２３において、ＯＰ１とＯＰ２の内積及び外積を計算することにより、極座標（ｒ・ｃｏｓθ、ｒ・ｓｉｎθ）を求める。ここで、ｒ＝(ＭＶｘ２＋ＭＶｙ２)１／２である。また、ｒ・ｃｏｓθ及びｒ・ｓｉｎθは、以下の内積及び外積の式より求めている。
ｒ・ｃｏｓθ＝｜Ｐ２｜−（Ｐ１ｘ・Ｐ２ｘ＋Ｐ１ｙ・Ｐ２ｙ）／｜Ｐ２｜
ｒ・ｓｉｎθ＝（Ｐ１ｘ・Ｐ２ｙ−Ｐ２ｘ・Ｐ１ｙ）／｜Ｐ２｜
【００３９】
なお、ステップＳ２の処理においては、全てのブロックについて極座標変換を行う必要はない。（ｋ）フレームのうち、画像の周辺領域に含まれるブロックのみを対象とすればよい。
【００４０】
図７は、極座標変換の対象となる、回転成分を検出する領域について説明する図である。図７に示すとおり、実施例では、ステップＳ２の動きベクトル極座標変換処理においては、（ｋ）フレームの全ての領域を対象とはせず、フレーム画像の周辺に位置するＮ個の回転成分を検出する領域に含まれる複数個のブロックを対象として、動きベクトルの極座標変換を行っている。これにより、制御部４は、撮像装置１の回転中心Ｏからある程度離れた領域を選択して、回転成分を算出することにより、一定の精度を保ちつつ、［ｋ］フレームの回転成分を抽出することができる。
【００４１】
また、実施例では、図７に例示するように、ステップＳ２の極座標変換処理を施すＮ個の回転成分を検出する領域の大きさは、９個のブロックからなる構成としている。詳しくは以下に説明するが、図７に示すＮ個の領域は、ステップＳ３の回転成分を検出するために使用する。このため、図７に示すＮ個の領域を、以下においては、「回転成分検出領域」とする。
【００４２】
図３のステップＳ２において、Ｎ個の回転成分検出領域内に含まれるブロックのそれぞれについて動きベクトルの極座標変換を行った後、制御部４は、ステップＳ３において、フレームの回転成分θＲＯＴを抽出する。具体的には、制御部４は、当該（ｋ）フレームの番号である（ｋ）、ステップＳ２で求めた極座標（ｒ・ｃｏｓθ、ｒ・ｓｉｎθ）、図４に示す参照フレームの番号（ｋ−ｍ）、及び動きベクトルの長さｒから、図７に示すＮ個の回転成分検出領域内での回転成分を抽出する。図８を参照して更に詳しく説明する。
【００４３】
図８は、ステップＳ３のフレーム回転成分抽出処理の詳細を示したフローチャートである。図８に示す処理は、制御部４が記録媒体７から読み出して実行する動きベクトル処理部５の制御プログラムに記述されている。
【００４４】
まず、制御部４は、ステップＳ３１において、回転成分検出領域に含まれるブロックのそれぞれについて、ステップＳ２において求めた動きベクトルの極座標（ｒ・ｃｏｓθ、ｒ・ｓｉｎθ）から、θ´を算出する。θ´は、以下の式で定義される。
【数１】
【００４５】
（１）式においては、当該（ｋ）フレームのフレーム番号・ｋと参照フレームのフレーム番号・ｋ−ｍとの差分｛ｋ−（ｋ−ｍ）｝で除算している。これは、フレーム間隔は例えば１／３０秒（フィールド間隔では１／６０秒）という短い時間間隔であるので、１フレーム間隔における回転ぶれの回転成分の大きさは、（ｋ）フレーム及び（ｋ−ｍ）フレームの時間間隔に比例する、と推測されることに基づく。
【００４６】
次に、制御部４は、ステップＳ３２において、ステップＳ３１で（ｋ）フレーム内のＮ個の回転成分検出領域ごとに、ステップＳ３１で求めたθ´の平均値ＡＶＥ［θ´］を求める。図７に示すとおり、実施例では、１つの回転成分検出領域は９個のブロックを含む構成であるので、Ｎ個の回転成分検出領域のそれぞれについて、各回転成分検出領域に含まれる９個のブロックごとに求めたθ´の平均値ＡＶＥ［θ´］を算出する。ここで回転成分検出領域ごとに求めるθ´の平均値ＡＶＥ［θ´］の信頼性を確保するために、各回転成分検出領域には所定数のブロックが含まれる構成としており、実施例では、１つの回転成分検出領域には９個のブロックを含むこととしている。
【００４７】
そして、制御部４は、ステップＳ３３において、ステップＳ３２でＮ個の回転成分検出領域ごとに求めた平均値ＡＶＥ［θ´］の中で最小となるＭＩＮ｛ＡＶＥ［θ´］｝を、当該（ｋ）フレームの回転成分θＲＯＴとする。
【００４８】
最後に、制御部４は、ステップＳ３４において、過去のフレームについて求めた回転成分θＲＯＴとステップＳ３３で求めた当該（ｋ）フレームの回転成分θＲＯＴとの差分が所定の閾値の範囲内であるか否かを判定する。差分が所定の閾値の範囲外であれば、当該（ｋ）フレーム１つ前のフレームである、（ｋ−１）フレームの回転成分θＲＯＴ（ｋ−１）を（ｋ）フレームの回転成分θＲＯＴに置き換える。これは、現フレームである（ｋ）フレームの回転成分が過去フレームのそれと大幅にずれている場合は、被写体が現フレームの画像の大半を占めている場合が考えられ、この場合は、（ｋ）フレームにおいて算出した回転成分は、フレーム全体のぶれの回転方向成分ではないと推測できるためである。
【００４９】
ステップＳ３４の比較に用いる過去フレームの回転成分は、複数の過去フレームについて記憶しておき、少なくとも、それぞれ１フレーム前及び２フレーム前の（ｋ−１）フレーム及び（ｋ−２）フレームの回転成分は記憶しておくこととする。これら過去のフレームと現フレームとの間では、回転成分の大きさは比較的小さいと推定できる。このことから、前述のとおり、過去フレームと現フレームとで回転成分の差分が所定の閾値の範囲内にあるか否かを判定することにより、ステップＳ３３において求めた現フレームについての回転成分θＲＯＴの妥当性を検証している。差分が所定の閾値の範囲外にある場合には、ステップＳ３３において求めた回転成分θＲＯＴは以降の処理で使用せず、過去に妥当性を検証済みの１フレーム前の回転成分θＲＯＴ（ｋ−１）を使用する。
【００５０】
図３のステップＳ３において、フレーム回転成分θＲＯＴを抽出した後、制御部４は、ステップＳ４において、フレーム内の全てのブロックの動きベクトルのそれぞれから、ステップＳ３において抽出した回転成分θＲＯＴを除去する。具体的には、制御部４は、まず、以下の（２）式により、当該（ｋ）フレームの回転成分のＸＹ成分（ｃｏｓθＲＯＴ、ｓｉｎθＲＯＴ）を求める。
【数２】
【００５１】
そして、制御部４は、当該（ｋ）フレーム内の全てのブロックについてステップＳ１において算出した動きベクトルＭＶから、式（２）より求まる回転成分のＸＹ成分（ｃｏｓθＲＯＴ、ｓｉｎθＲＯＴ）を減算することにより、回転成分θＲＯＴの除去を行う。
【００５２】
図９は、ステップＳ１で算出する動きベクトル、ステップＳ３で抽出する回転成分、及びステップＳ４で求める回転成分除去後の動きベクトルの関係を示す図である。図９においては、撮像装置１の回転中心Ｏからブロックまでの距離をＲ（＝（Ｐｘ２＋Ｐｙ２）１／２）とする。ここでは、Ｐの座標は、（Ｐｘ、Ｐｙ）とする。
【００５３】
次に、制御部４は、ステップＳ５において、ブロックのグループ化を行う。具体的には、制御部４は、ステップＳ４で、ブロックごとに求めた回転成分を除去した動きベクトル（ＭＶｘｐ、ＭＶｙｐ）（ｐはブロックを識別するブロック番号）同士を比較して、水平方向成分の差分及び垂直方向成分の差分がそれぞれ所定の閾値未満であるか否かを判定する。制御部４は、水平方向成分及び垂直方向成分の差分がいずれも閾値未満であれば、２つのブロックは同じグループに属すると判定する。２つのブロックｐ１、ｐ２の回転成分を除去した動きベクトルをそれぞれ（ＭＶｘｐ１、ＭＶｙｐ１）、（ＭＶｘｐ１、ＭＶｙｐ２）とすると、２つのブロックｐ１、ｐ２が同じグループに属する場合の条件は、以下の（３）式で表される。
｜ＭＶｘｐ１−ＭＶｘｐ２｜＜ＴＨｘ、｜ＭＶｙｐ１−ＭＶｙｐ２｜＜ＴＨｙ・・・（３）
ここでは、水平方向成分及び垂直方向成分の差分の閾値は、それぞれＴＨｘ及びＴＨｙとする。フレーム内の全てのブロックについて（３）式の比較を行っていくことにより、当該（ｋ）フレーム内のすべてのブロックがグループごとに分類される。
【００５４】
更に、制御部４は、１つのグループに属すると判定された複数のブロックのうち、中心に位置するブロックの動きベクトルを、「グループ動きベクトル」とし、全てのグループについて、グループ動きベクトルを設定する。グループ動きベクトルについては、以下においては、（ＧＭＶｘｉ、ＧＭＶｙｉ）（ｉはグループを識別するグループ番号）とする。また、制御部４は、各グループの中心ブロックを選出する。
【００５５】
図１０は、グループの中心ブロックの選出方法を説明する図である。実施例では、１つのグループに属すると判定されたブロックのうち、他のグループとの境界に位置するブロックについては、中心ブロックの選出対象から除いている。
【００５６】
図１０に示す例では、１つのブロックを矩形で表し、あるグループには、２１個のブロックが含まれることを示している。２１個のブロックのうち、他のグループに属するブロックと隣接するブロックについては中心ブロックの選出対象から除外する。中心ブロックの選出対象から除外するブロックを灰色で示す。中心ブロックの選出対象となる６個のブロックの中から、中点の座標に位置するブロックを、中心ブロックとして選出する。図１０に示す例では、５番のブロックが中心ブロックであり、図１０に示すグループのグループ動きベクトルには、５番のブロックの動きベクトルが設定される。
【００５７】
但し、同一グループに属すると判定されたブロックが、（ｋ）フレーム内に分散する場合も考えられる。このような場合におけるグループ動きベクトルの決定方法について、図１１を参照して説明する。
【００５８】
図１１は、同一グループに属するブロックがフレーム内で分散する場合におけるグループの動きベクトルの決定方法を説明する図である。
（ｋ）フレーム内で分散しているブロックのまとまりごとに「小グループ」とする。図１１に示す例では、グループ２については（ｋ）フレーム内で分散していないが、グループ１については２つの小グループに分散している。グループ１については、まず、図１０に示す方法により、小グループごとに中心ブロックを決定する。そして、１つのグループに属する全ての小グループの中心ブロックの動きベクトルの平均を求め、求めた平均を、グループのグループ動きベクトル（ＧＭＶｘｉ、ＧＭＶｙｉ）とする。図１１に示す例では、小グループ１の中心ブロックの動きベクトルと、小グループ２の中心ブロックの動きベクトルとで平均を求め、求めた平均をグループ１のグループ動きベクトル（ＧＭＶｘ１、ＧＭＶｙ１）とする。
【００５９】
図３のステップ５において、グループ動きベクトルを決定すると、制御部４は、ステップＳ６において、被写体のない背景グループを決定する。具体的には、制御部４は、ステップＳ５で決定したグループ動きベクトルのそれぞれについて、以下の（４）式を計算し、最小値をとるグループを、被写体のない背景のグループと決定する。
｜ＧＭＶｘｉ｜＋｜ＧＭＶｙｉ｜・・・（４）
【００６０】
（４）式に示すとおり、水平方向成分及び垂直方向成分のグループ動きベクトルの大きさの絶対値の和をとり、和が最小値となるグループ動きベクトルを持つグループを、被写体のない背景のグループと決定する。これは、映像において、背景は被写体に対して動きが少ないことに基づく。
【００６１】
なお、制御部４は、ステップＳ６の被写体のない背景のグループを決定する処理において、顔検出機能や色情報、測距による被写体判別等の情報を利用して、被写体のない背景のグループをより正確に決定することも可能である。
【００６２】
図１２は、本実施形態に係る撮像装置１による効果を説明する図である。
前述のとおり、撮像装置１は、手ぶれ等において、その形状や重心位置等により、撮像部３の光学中心とは異なる位置を中心として回転する。手ぶれ等により生じる動きベクトルと、移動物の移動による動きベクトルを識別するために、フレーム内の背景領域を判断している。本実施形態に係る撮像装置１によれば、背景領域の判断を、フレーム自体の回転成分を除去した上で行っている。図１２に示すとおり、フレームの回転成分は、撮像装置１の回転中心Ｏを原点とする光軸と垂直な平面内においてはその象限により方向が異なる。象限により方向の異なるフレーム回転成分を各ブロックの動きベクトルから除去し、回転成分除去後の動きベクトルを基にブロックをグループ化し、背景領域を決定し、これによりぶれ補正を行うことで、最適なぶれ補正が可能となる。
【００６３】
この他にも、本発明は、本発明の要旨を逸脱しない範囲内で、種々の改良及び変更が可能である。例えば、前述の各実施形態に示された全体構成からいくつかの構成要素を削除してもよく、更には各実施形態の異なる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６４】
１ 撮像装置
２ 光学要素部
３ 撮像部
４ 制御部
５ 動きベクトル処理部
６ 記憶部
７ 記録媒体
【技術分野】
【０００１】
本発明は、動画像のぶれを画像処理により補正する技術に関し、特に、ぶれにより生じる動きベクトルと、被写体の移動による動きベクトルとを識別する撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体に関する。
【背景技術】
【０００２】
近年は、ビデオカメラやデジタルカメラ等においては、動画像を撮像するときに、動きのある被写体を追尾する機能や手ぶれによるぶれを補正する機能が求められるようになってきている。これらの機能を実現する撮像装置では、連続して撮影されたフレーム画像から、動きベクトル等のフレーム間の差異を検出する技術が知られている（例えば、特許文献１）。
【０００３】
特許文献１の技術においては、時間的に連続してフレーム画像を撮影し、それぞれのフレームに対して複数のベクトル検出領域で動きベクトルを検出する。検出した動きベクトルに基づき動きベクトル検出領域をグループ化し、異なるフレーム間でグループ領域同士を比較することで、フレーム間で対応するグループ領域を判定する。これにより、ぶれによる動きベクトルと移動物の移動による動きベクトルとを識別した上で、背景と被写体の分離を行っている。
【０００４】
これにより、特許文献１の技術では、動画像のフレームごとに撮像装置のぶれにより生じる動きベクトルと、移動物の移動による動きベクトルとの識別を行っている。そして、特許文献１の技術では、例えば、フレーム内で背景と移動物の離散度合いの大きさが同程度であるときや、移動物が徐々に大きくなる場合等には、ぶれ補正をする領域を誤判定したり、ぶれ補正の対象となるグループが切り替わってしまう、という課題を解決している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−７９６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、撮像装置のぶれにより生じる動きベクトルが回転成分を含む。このぶれによる動きベクトルの回転成分は、撮像装置の回転中心を原点とした座標平面の象限により、方向が異なる。したがって、特許文献１の技術では、ぶれにより生じる回転成分を含む動きベクトルにおいて、正しく動きベクトルのグループ化を行うことができない。
【０００７】
本発明は、撮像装置の回転成分方向の動きを考慮した最適なぶれ補正が可能な撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体の提供を目的とする。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために、本発明の態様のひとつである撮像装置は、時間的に連続するフレームを処理する撮像装置であって、それぞれのフレームに対して、所定の画素数からなる小領域に分割されたフレーム内の全てのブロックについて動きベクトルを算出するベクトル算出部と、フレームごとの回転抽出結果に基づいて、動きベクトルの回転成分を除去後、ブロックのグループ化を行う設定部と、グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定部とを備えることを特徴とする。
【０００９】
また、本発明の別の態様のひとつであるぶれ補正方法は、時間的に連続するフレームを処理するぶれ補正方法であって、それぞれのフレームに対して、所定の画素数からなる小領域に分割されたフレーム内の全てのブロックについて動きベクトルを算出するベクトル算出段階と、フレームごとの回転抽出結果に基づいて、動きベクトルの回転成分を除去後、ブロックのグループ化を行う設定段階と、グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定段階とを有することを特徴とする。
【００１０】
また、本発明の別の態様のひとつである制御プログラムは、時間的に連続するフレームのぶれ補正を演算処理装置に行わせるための制御プログラムであって、それぞれのフレームに対して、所定の画素数からなる小領域に分割されたフレーム内の全てのブロックについて動きベクトルを算出するベクトル算出処理と、フレームごとの回転抽出結果に基づいて、動きベクトルの回転成分を除去後、ブロックのグループ化を行う設定処理と、グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定処理とを演算処理装置に行わせることを特徴とする。
【００１１】
更に、本発明の別の態様のひとつである記録媒体は、前述した制御プログラムを記録する記録媒体であることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像装置の回転成分方向の動きを考慮した最適なぶれ補正が可能な撮像装置、ぶれ補正方法、及び制御プログラム、及び制御プログラムを記録する記録媒体を提供できる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る撮像装置の構成図である。
【図２】撮像装置の回転中心と撮像部の中心との位置関係を説明する図である。
【図３】実施形態に係る撮像装置による動きベクトル処理を示したフローチャートである。
【図４】現フレーム及び参照フレームについて説明する図である。
【図５】参照フレームにおけるブロックの位置座標及び（ｋ）フレームにおけるブロックの位置座標を撮像装置の回転中心を原点とする座標系で表した図である。
【図６】ステップＳ２の動きベクトル極座標変換処理の詳細を示したフローチャートである。
【図７】回転成分を検出する領域について説明する図である。
【図８】ステップＳ３のフレーム回転成分抽出処理の詳細を示したフローチャートである。
【図９】ステップＳ１で算出する動きベクトル、ステップＳ３で抽出する回転成分、及びステップＳ４で求める回転成分除去後の動きベクトルの関係を示す図である。
【図１０】グループの中心ブロックの選出方法を説明する図である。
【図１１】同一グループに属するブロックがフレーム内で分散する場合におけるグループの動きベクトルの決定方法を説明する図である。
【図１２】実施形態に係る撮像装置による効果を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図１は、本実施形態に係る撮像装置の構成図である。図１に示す撮像装置１は、光学要素部２、撮像部３、制御部４、動きベクトル処理部５、記憶部６、及び記録媒体７を含む。図１においては、本実施形態に係るぶれ補正処理に係わる構成を中心に記載している。
【００１５】
制御部４は、撮像部３、動きベクトル処理部５、及び記憶部６の制御を行う。
光学要素部２は、複数のレンズ等を含み、撮像部３上に被写体像を結像させる。撮像部３は、光学要素部２により結像された被写体像を光電変換し、得られた信号についてＡ／Ｄ変換を行う。Ａ／Ｄ変換により得られたデジタルデータは、図１においては不図示の信号処理部において色分離やγ補正等の処理が施され、制御部４は、得られた輝度色差信号のＹＣｂＣｒ信号を記憶部６に記憶させる。
【００１６】
動きベクトル処理部５は、例えば制御部４の演算処理装置により実行される、ぶれ補正に利用するために求める動きベクトルに係わる各種処理を行う電子回路、あるいは、制御部４の演算処理装置により実行される制御プログラムとする。
【００１７】
記憶部６は、図１においては不図示の信号処理部から出力される輝度色差信号を記憶するとともに、記録媒体７に対して、画像等のデータの保存、及び制御プログラムを記憶する。
【００１８】
記録媒体７は、たとえば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等であり、画像等のデータを保存する。
【００１９】
撮像装置１は、例えば、録画ボタン（ＲＥＣボタン）が押下されることにより、所定のフレームレートでの動画像の撮像を開始し、ＲＥＣボタンの再度の押下、あるいは、ストップボタンの押下等により、動画像の撮像を終了する。動画像の撮像中は、撮像部３から時間的に連続するフレーム（あるいはフィールド）画像が出力されることとなる。制御部４は、記録媒体７から読み出した制御プログラムを実行することにより、あるいは、制御部４の演算処理装置により実行される電子回路により、時間的に連続するフレーム（あるいはフィールド）画像に対し、動きベクトル処理部５による動きベクトル処理を施す。
【００２０】
本実施形態に係る撮像装置１では、動きベクトル処理部５による動きベクトル処理により、撮像装置１の回転方向成分を除去した動きベクトルを用いて、フレーム画像やフィールド画像内の移動物と背景とを識別し、ぶれ補正を行う。
【００２１】
図２は、撮像装置１の回転中心と撮像部３の中心との位置関係を説明する図である。
点Ｏ´は、撮像部３の光学中心である。これに対し、撮像装置１の回転中心は、撮像装置１の形状や重心位置等により決まるため、図２に例示するように、原点位置Ｏを予め定めておく。したがって、撮像部３の光学中心Ｏ´の位置と撮像装置１の回転中心Ｏの位置とは、必ずしも一致するとは限らない。
【００２２】
ここで、手ぶれ等による動きベクトルには、撮像装置１の回転中心Ｏ周りの回転方向の動きも含まれる。図２に示すとおり、撮像装置１の回転中心Ｏ周りの回転方向成分は、象限によりその方向が異なる。このため、本実施形態に係る撮像装置１では、制御部４は、前述のとおり、動きベクトル処理部５により撮像装置１の回転方向成分を除去した動きベクトルを用いて、フレーム画像やフィールド画像内の移動物と背景とを識別し、ぶれ補正を行っている。以降の説明においては、動きベクトル処理部５は、制御部４の演算処理装置により実行される制御プログラムで構成した場合とする。
【００２３】
動きベクトル処理部５による処理は、具体的には、動きベクトル算出処理、グループ設定処理、及び背景グループ決定処理から構成される。
動きベクトル算出処理では、時間的に連続するそれぞれのフレームに対して、フレーム内の全てのブロック（フレームを所定の画素数からなる小領域に分割したもの）について動きベクトルを算出する。具体的には、動きベクトル算出処理においては、制御部４は、記憶部６を介して記録媒体７から、現フレームの輝度色差信号ＹＣｂＣｒを読み出す。そして、制御部４は、同様に記録媒体７から読み出した過去のフレームを参照して、現フレームのブロックごとに動きベクトルを算出する。
【００２４】
グループ設定処理は、動きベクトル極座標変換処理、フレーム回転成分抽出処理、及び動きベクトル回転成分除去処理を行った上で、グループ領域を設定する。具体的には、グループ設定処理においては、制御部４は、フレームごとの回転抽出結果に基づいて、動きベクトルの回転成分を除去後、ブロックのグループ化を行う。
【００２５】
動きベクトル極座標変換処理は、動きベクトル算出処理において求めた動きベクトルを、図２の撮像装置１の回転中心Ｏを原点とする極座標表示に変換する。
フレーム回転成分抽出処理は、動きベクトル極座標変換処理において求めた極座標表示を利用して、現フレームの回転成分を抽出する。具体的には、制御部４は、フレーム回転成分抽出処理においては、動きベクトルの極座標表示を用いて、１フレーム間隔当たりの撮像装置１の回転中心回りの回転角を算出することにより、現フレームの過去のフレームに対する回転成分を求める。
【００２６】
動きベクトル回転成分除去処理は、動きベクトル算出処理で求めた動きベクトルから、フレーム回転成分抽出処理で求めた現フレームの回転成分を除去する。
グループ設定処理は、現フレーム内のブロックのグループ化を行う。グループ設定処理においては、制御部４は、回転成分を除去した、各ブロックの動きベクトルの水平方向成分及び垂直方向成分の差分が所定の範囲内にあるか否かに基づき、当該ブロックが同一のグループであるか否かを判定する。
【００２７】
背景グループ決定処理は、現フレーム内のグループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する。
以下に、動きベクトル処理部５における動きベクトル処理について、更に詳しく説明する。
【００２８】
図３は、本実施形態に係る撮像装置１による動きベクトル処理を示したフローチャートである。前述したように、本フローチャートでは、撮像装置１の制御部４が記録媒体７から動きベクトル処理部５における制御プログラムを読み出して実行する場合とする。
【００２９】
以下の説明においては、現フレームを「（ｋ）フレーム」あるいは「当該（ｋ）フレーム」とする。また、（ｋ）フレームより１つ前のフレームを（ｋ−１）フレーム、更に１つ前のフレームを（ｋ−２）フレーム、ｍ（ｍは１以上の整数）個前のフレームを（ｋ−ｍ）フレーム等のように表す。
【００３０】
まず、制御部４は、ステップＳ１において、ブロックの動きベクトルを算出する。ブロックの大きさは、例えば１６×１６画素である。動きベクトルは、（ｋ）フレームと、参照フレームである（ｋ−１）フレーム、（ｋ−２）フレーム、…（ｋ−ｍ）フレームのうちいずれかのフレームとを比較することにより求める。具体的には、制御部４は、（ｋ）フレームを複数のブロックに細分化して、過去のフレームである参照フレームから補間データを作成し、ブロックマッチング法により、ブロックごとの動きベクトルを算出する。
【００３１】
図４は、現フレーム及び参照フレームについて説明する図である。制御部４は、記憶部６を介して、記録媒体７に所定数の過去フレームを記憶させておく。図４に示すとおり、実施例では、制御部４は、少なくともｍ個の過去フレームを記憶させておくこととする。
【００３２】
制御部４は、現フレーム内の各ブロックに対して、所定数の参照フレームにおける、最もマッチするブロックを選択する。図４においては、制御部４は、(k)フレーム内の斜線ブロックにマッチするブロックが（ｋ−ｍ）フレーム内に存在する場合を例示する。（ｋ）フレームにおいて、動きベクトルを求めようとするブロックの位置、及び対応する参照フレーム内のブロックの位置を求め、その差より、動きベクトルＭＶを算出する。
【００３３】
次に、制御部４は、ステップＳ２において、ブロックごとに求めた動きベクトルを、極座標に変換する。ステップＳ１で求めた動きベクトルＭＶ=（ＭＶｘ、ＭＶｙ）を、極座標（ｒ・ｃｏｓθ、ｒ・ｓｉｎθ）に変換する。
【００３４】
動きベクトルの極座標変換処理について、図５〜図７を参照して更に詳しく説明する。
図５は、参照フレームにおけるブロックの位置座標Ｐ１及び（ｋ）フレームにおけるブロックの位置座標Ｐ２を撮像装置１の回転中心Ｏを原点とする座標系で表した図である。図５に示すとおり、制御部４は、参照フレームにおける対応するブロックの位置Ｐ１と、（ｋ）フレームにおけるブロックの位置Ｐ２とで内積・外積を計算することにより、極座標を求めている。
【００３５】
図６は、ステップＳ２の動きベクトル極座標変換処理の詳細を示したフローチャートである。図６に示す処理は、制御部４が記録媒体７から読み出して実行する動きベクトル処理部５の制御プログラムに記述されている。
【００３６】
まず、制御部４は、ステップＳ２１において、撮像装置１の回転中心Ｏ（図２参照）を原点とする座標系において、参照フレームにおけるブロックの位置座標Ｐ１（Ｐ１ｘ、Ｐ１ｙ）と、（ｋ）フレームにおけるブロックの位置座標Ｐ２（Ｐ２ｘ、Ｐ２ｙ）とを求める。
【００３７】
次に、制御部４は、ステップＳ２２において、参照フレームにおけるブロックの位置Ｐ１及び（ｋ）フレームにおけるブロックの位置Ｐ２それぞれの原点Ｏからの距離｜Ｐ１｜及び｜Ｐ２｜を求める。それぞれの原点Ｏからの距離は、｜Ｐ１｜＝（Ｐ１ｘ２＋Ｐ１ｙ２）１／２、｜Ｐ２｜＝（Ｐ２ｘ２＋Ｐ２ｙ２）１／２より求められる。
【００３８】
最後に、制御部４は、ステップＳ２３において、ＯＰ１とＯＰ２の内積及び外積を計算することにより、極座標（ｒ・ｃｏｓθ、ｒ・ｓｉｎθ）を求める。ここで、ｒ＝(ＭＶｘ２＋ＭＶｙ２)１／２である。また、ｒ・ｃｏｓθ及びｒ・ｓｉｎθは、以下の内積及び外積の式より求めている。
ｒ・ｃｏｓθ＝｜Ｐ２｜−（Ｐ１ｘ・Ｐ２ｘ＋Ｐ１ｙ・Ｐ２ｙ）／｜Ｐ２｜
ｒ・ｓｉｎθ＝（Ｐ１ｘ・Ｐ２ｙ−Ｐ２ｘ・Ｐ１ｙ）／｜Ｐ２｜
【００３９】
なお、ステップＳ２の処理においては、全てのブロックについて極座標変換を行う必要はない。（ｋ）フレームのうち、画像の周辺領域に含まれるブロックのみを対象とすればよい。
【００４０】
図７は、極座標変換の対象となる、回転成分を検出する領域について説明する図である。図７に示すとおり、実施例では、ステップＳ２の動きベクトル極座標変換処理においては、（ｋ）フレームの全ての領域を対象とはせず、フレーム画像の周辺に位置するＮ個の回転成分を検出する領域に含まれる複数個のブロックを対象として、動きベクトルの極座標変換を行っている。これにより、制御部４は、撮像装置１の回転中心Ｏからある程度離れた領域を選択して、回転成分を算出することにより、一定の精度を保ちつつ、［ｋ］フレームの回転成分を抽出することができる。
【００４１】
また、実施例では、図７に例示するように、ステップＳ２の極座標変換処理を施すＮ個の回転成分を検出する領域の大きさは、９個のブロックからなる構成としている。詳しくは以下に説明するが、図７に示すＮ個の領域は、ステップＳ３の回転成分を検出するために使用する。このため、図７に示すＮ個の領域を、以下においては、「回転成分検出領域」とする。
【００４２】
図３のステップＳ２において、Ｎ個の回転成分検出領域内に含まれるブロックのそれぞれについて動きベクトルの極座標変換を行った後、制御部４は、ステップＳ３において、フレームの回転成分θＲＯＴを抽出する。具体的には、制御部４は、当該（ｋ）フレームの番号である（ｋ）、ステップＳ２で求めた極座標（ｒ・ｃｏｓθ、ｒ・ｓｉｎθ）、図４に示す参照フレームの番号（ｋ−ｍ）、及び動きベクトルの長さｒから、図７に示すＮ個の回転成分検出領域内での回転成分を抽出する。図８を参照して更に詳しく説明する。
【００４３】
図８は、ステップＳ３のフレーム回転成分抽出処理の詳細を示したフローチャートである。図８に示す処理は、制御部４が記録媒体７から読み出して実行する動きベクトル処理部５の制御プログラムに記述されている。
【００４４】
まず、制御部４は、ステップＳ３１において、回転成分検出領域に含まれるブロックのそれぞれについて、ステップＳ２において求めた動きベクトルの極座標（ｒ・ｃｏｓθ、ｒ・ｓｉｎθ）から、θ´を算出する。θ´は、以下の式で定義される。
【数１】
【００４５】
（１）式においては、当該（ｋ）フレームのフレーム番号・ｋと参照フレームのフレーム番号・ｋ−ｍとの差分｛ｋ−（ｋ−ｍ）｝で除算している。これは、フレーム間隔は例えば１／３０秒（フィールド間隔では１／６０秒）という短い時間間隔であるので、１フレーム間隔における回転ぶれの回転成分の大きさは、（ｋ）フレーム及び（ｋ−ｍ）フレームの時間間隔に比例する、と推測されることに基づく。
【００４６】
次に、制御部４は、ステップＳ３２において、ステップＳ３１で（ｋ）フレーム内のＮ個の回転成分検出領域ごとに、ステップＳ３１で求めたθ´の平均値ＡＶＥ［θ´］を求める。図７に示すとおり、実施例では、１つの回転成分検出領域は９個のブロックを含む構成であるので、Ｎ個の回転成分検出領域のそれぞれについて、各回転成分検出領域に含まれる９個のブロックごとに求めたθ´の平均値ＡＶＥ［θ´］を算出する。ここで回転成分検出領域ごとに求めるθ´の平均値ＡＶＥ［θ´］の信頼性を確保するために、各回転成分検出領域には所定数のブロックが含まれる構成としており、実施例では、１つの回転成分検出領域には９個のブロックを含むこととしている。
【００４７】
そして、制御部４は、ステップＳ３３において、ステップＳ３２でＮ個の回転成分検出領域ごとに求めた平均値ＡＶＥ［θ´］の中で最小となるＭＩＮ｛ＡＶＥ［θ´］｝を、当該（ｋ）フレームの回転成分θＲＯＴとする。
【００４８】
最後に、制御部４は、ステップＳ３４において、過去のフレームについて求めた回転成分θＲＯＴとステップＳ３３で求めた当該（ｋ）フレームの回転成分θＲＯＴとの差分が所定の閾値の範囲内であるか否かを判定する。差分が所定の閾値の範囲外であれば、当該（ｋ）フレーム１つ前のフレームである、（ｋ−１）フレームの回転成分θＲＯＴ（ｋ−１）を（ｋ）フレームの回転成分θＲＯＴに置き換える。これは、現フレームである（ｋ）フレームの回転成分が過去フレームのそれと大幅にずれている場合は、被写体が現フレームの画像の大半を占めている場合が考えられ、この場合は、（ｋ）フレームにおいて算出した回転成分は、フレーム全体のぶれの回転方向成分ではないと推測できるためである。
【００４９】
ステップＳ３４の比較に用いる過去フレームの回転成分は、複数の過去フレームについて記憶しておき、少なくとも、それぞれ１フレーム前及び２フレーム前の（ｋ−１）フレーム及び（ｋ−２）フレームの回転成分は記憶しておくこととする。これら過去のフレームと現フレームとの間では、回転成分の大きさは比較的小さいと推定できる。このことから、前述のとおり、過去フレームと現フレームとで回転成分の差分が所定の閾値の範囲内にあるか否かを判定することにより、ステップＳ３３において求めた現フレームについての回転成分θＲＯＴの妥当性を検証している。差分が所定の閾値の範囲外にある場合には、ステップＳ３３において求めた回転成分θＲＯＴは以降の処理で使用せず、過去に妥当性を検証済みの１フレーム前の回転成分θＲＯＴ（ｋ−１）を使用する。
【００５０】
図３のステップＳ３において、フレーム回転成分θＲＯＴを抽出した後、制御部４は、ステップＳ４において、フレーム内の全てのブロックの動きベクトルのそれぞれから、ステップＳ３において抽出した回転成分θＲＯＴを除去する。具体的には、制御部４は、まず、以下の（２）式により、当該（ｋ）フレームの回転成分のＸＹ成分（ｃｏｓθＲＯＴ、ｓｉｎθＲＯＴ）を求める。
【数２】
【００５１】
そして、制御部４は、当該（ｋ）フレーム内の全てのブロックについてステップＳ１において算出した動きベクトルＭＶから、式（２）より求まる回転成分のＸＹ成分（ｃｏｓθＲＯＴ、ｓｉｎθＲＯＴ）を減算することにより、回転成分θＲＯＴの除去を行う。
【００５２】
図９は、ステップＳ１で算出する動きベクトル、ステップＳ３で抽出する回転成分、及びステップＳ４で求める回転成分除去後の動きベクトルの関係を示す図である。図９においては、撮像装置１の回転中心Ｏからブロックまでの距離をＲ（＝（Ｐｘ２＋Ｐｙ２）１／２）とする。ここでは、Ｐの座標は、（Ｐｘ、Ｐｙ）とする。
【００５３】
次に、制御部４は、ステップＳ５において、ブロックのグループ化を行う。具体的には、制御部４は、ステップＳ４で、ブロックごとに求めた回転成分を除去した動きベクトル（ＭＶｘｐ、ＭＶｙｐ）（ｐはブロックを識別するブロック番号）同士を比較して、水平方向成分の差分及び垂直方向成分の差分がそれぞれ所定の閾値未満であるか否かを判定する。制御部４は、水平方向成分及び垂直方向成分の差分がいずれも閾値未満であれば、２つのブロックは同じグループに属すると判定する。２つのブロックｐ１、ｐ２の回転成分を除去した動きベクトルをそれぞれ（ＭＶｘｐ１、ＭＶｙｐ１）、（ＭＶｘｐ１、ＭＶｙｐ２）とすると、２つのブロックｐ１、ｐ２が同じグループに属する場合の条件は、以下の（３）式で表される。
｜ＭＶｘｐ１−ＭＶｘｐ２｜＜ＴＨｘ、｜ＭＶｙｐ１−ＭＶｙｐ２｜＜ＴＨｙ・・・（３）
ここでは、水平方向成分及び垂直方向成分の差分の閾値は、それぞれＴＨｘ及びＴＨｙとする。フレーム内の全てのブロックについて（３）式の比較を行っていくことにより、当該（ｋ）フレーム内のすべてのブロックがグループごとに分類される。
【００５４】
更に、制御部４は、１つのグループに属すると判定された複数のブロックのうち、中心に位置するブロックの動きベクトルを、「グループ動きベクトル」とし、全てのグループについて、グループ動きベクトルを設定する。グループ動きベクトルについては、以下においては、（ＧＭＶｘｉ、ＧＭＶｙｉ）（ｉはグループを識別するグループ番号）とする。また、制御部４は、各グループの中心ブロックを選出する。
【００５５】
図１０は、グループの中心ブロックの選出方法を説明する図である。実施例では、１つのグループに属すると判定されたブロックのうち、他のグループとの境界に位置するブロックについては、中心ブロックの選出対象から除いている。
【００５６】
図１０に示す例では、１つのブロックを矩形で表し、あるグループには、２１個のブロックが含まれることを示している。２１個のブロックのうち、他のグループに属するブロックと隣接するブロックについては中心ブロックの選出対象から除外する。中心ブロックの選出対象から除外するブロックを灰色で示す。中心ブロックの選出対象となる６個のブロックの中から、中点の座標に位置するブロックを、中心ブロックとして選出する。図１０に示す例では、５番のブロックが中心ブロックであり、図１０に示すグループのグループ動きベクトルには、５番のブロックの動きベクトルが設定される。
【００５７】
但し、同一グループに属すると判定されたブロックが、（ｋ）フレーム内に分散する場合も考えられる。このような場合におけるグループ動きベクトルの決定方法について、図１１を参照して説明する。
【００５８】
図１１は、同一グループに属するブロックがフレーム内で分散する場合におけるグループの動きベクトルの決定方法を説明する図である。
（ｋ）フレーム内で分散しているブロックのまとまりごとに「小グループ」とする。図１１に示す例では、グループ２については（ｋ）フレーム内で分散していないが、グループ１については２つの小グループに分散している。グループ１については、まず、図１０に示す方法により、小グループごとに中心ブロックを決定する。そして、１つのグループに属する全ての小グループの中心ブロックの動きベクトルの平均を求め、求めた平均を、グループのグループ動きベクトル（ＧＭＶｘｉ、ＧＭＶｙｉ）とする。図１１に示す例では、小グループ１の中心ブロックの動きベクトルと、小グループ２の中心ブロックの動きベクトルとで平均を求め、求めた平均をグループ１のグループ動きベクトル（ＧＭＶｘ１、ＧＭＶｙ１）とする。
【００５９】
図３のステップ５において、グループ動きベクトルを決定すると、制御部４は、ステップＳ６において、被写体のない背景グループを決定する。具体的には、制御部４は、ステップＳ５で決定したグループ動きベクトルのそれぞれについて、以下の（４）式を計算し、最小値をとるグループを、被写体のない背景のグループと決定する。
｜ＧＭＶｘｉ｜＋｜ＧＭＶｙｉ｜・・・（４）
【００６０】
（４）式に示すとおり、水平方向成分及び垂直方向成分のグループ動きベクトルの大きさの絶対値の和をとり、和が最小値となるグループ動きベクトルを持つグループを、被写体のない背景のグループと決定する。これは、映像において、背景は被写体に対して動きが少ないことに基づく。
【００６１】
なお、制御部４は、ステップＳ６の被写体のない背景のグループを決定する処理において、顔検出機能や色情報、測距による被写体判別等の情報を利用して、被写体のない背景のグループをより正確に決定することも可能である。
【００６２】
図１２は、本実施形態に係る撮像装置１による効果を説明する図である。
前述のとおり、撮像装置１は、手ぶれ等において、その形状や重心位置等により、撮像部３の光学中心とは異なる位置を中心として回転する。手ぶれ等により生じる動きベクトルと、移動物の移動による動きベクトルを識別するために、フレーム内の背景領域を判断している。本実施形態に係る撮像装置１によれば、背景領域の判断を、フレーム自体の回転成分を除去した上で行っている。図１２に示すとおり、フレームの回転成分は、撮像装置１の回転中心Ｏを原点とする光軸と垂直な平面内においてはその象限により方向が異なる。象限により方向の異なるフレーム回転成分を各ブロックの動きベクトルから除去し、回転成分除去後の動きベクトルを基にブロックをグループ化し、背景領域を決定し、これによりぶれ補正を行うことで、最適なぶれ補正が可能となる。
【００６３】
この他にも、本発明は、本発明の要旨を逸脱しない範囲内で、種々の改良及び変更が可能である。例えば、前述の各実施形態に示された全体構成からいくつかの構成要素を削除してもよく、更には各実施形態の異なる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６４】
１ 撮像装置
２ 光学要素部
３ 撮像部
４ 制御部
５ 動きベクトル処理部
６ 記憶部
７ 記録媒体
【特許請求の範囲】
【請求項１】
時間的に連続するフレームを処理する撮像装置であって、
それぞれの前記フレームに対して、所定の画素数からなる小領域に分割された前記フレーム内の全てのブロックについて動きベクトルを算出するベクトル算出部と、
前記フレームごとの回転抽出結果に基づいて、前記動きベクトルの回転成分を除去後、前記ブロックのグループ化を行う設定部と、
前記グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定部と
を備えることを特徴とする撮像装置。
【請求項２】
前記設定部は、前記動きベクトルの極座標変換を行うことにより、前記動きベクトルの回転成分を抽出する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記ベクトル算出部は、過去のフレームのうちの所定のフレームと現フレームとの間で前記動きベクトルを算出し、
前記設定部は、前記動きベクトルの極座標を用いて、１フレーム間隔当たりの前記撮像装置の回転中心周りの回転角を算出することにより、前記ベクトル算出領域ごとに動きベクトルの回転成分を求める
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記設定部は、前記複数のベクトル算出領域のうち、現フレームの周辺に位置する領域について前記動きベクトルの回転成分を求める
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記設定部は、前記現フレームの周辺に位置する領域ごとに求めた前記動きベクトルの回転成分の平均の中の最小値と、過去の所定数のフレームにおける前記動きベクトルの回転成分とを比較した結果が所定の閾値を超えた場合、当該閾値を超える過去のフレームの中で最新フレームについての動きベクトルの回転成分を、現フレームの動きベクトルの回転成分に設定する
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記設定部は、前記現フレームの動きベクトルの回転成分を、前記複数のベクトル算出領域の動きベクトルからそれぞれ除去し、ベクトル算出領域間で該回転成分を除去した動きベクトルの水平方向成分及び垂直方向成分の差分が所定の範囲内にある場合には、当該ベクトル算出領域を同一のグループと判定する
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記決定部は、前記グループ化されたグループ化領域の中で、前記動きベクトルの水平方向成分及び垂直方向成分の絶対値の和が最小となるグループ化領域を、被写体のない背景のグループ領域と判定する
ことを特徴とする請求項６記載の撮像装置。
【請求項８】
前記設定部は、同一のグループと判定されたベクトル算出領域がフレーム内で分散している場合は、分散しているベクトル算出領域ごとに中心となるベクトル算出領域を求め、求めた中心となるベクトル算出領域の動きベクトルを平均することにより、該同一のグループの動きベクトルを決定する
ことを特徴とする請求項６記載の撮像装置。
【請求項９】
時間的に連続するフレームを処理するぶれ補正方法であって、
それぞれの前記フレームに対して、所定の画素数からなる小領域に分割された前記フレーム内の全てのブロックについて動きベクトルを算出するベクトル算出段階と、
前記フレームごとの回転抽出結果に基づいて、前記動きベクトルの回転成分を除去後、前記ブロックのグループ化を行う設定段階と、
前記グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定段階と
を有することを特徴とするぶれ補正方法。
【請求項１０】
前記設定段階においては、前記動きベクトルの極座標変換を行うことにより、前記動きベクトルの回転成分を求める
ことを特徴とする請求項９記載のぶれ補正方法。
【請求項１１】
前記ベクトル算出段階においては、過去のフレームのうちの所定のフレームと現フレームとの間で前記動きベクトルを算出し、
前記設定段階においては、前記動きベクトルの極座標を用いて、１フレーム間隔当たりの前記撮像装置の回転中心周りの回転角を算出することにより、前記ベクトル算出領域における動きベクトルの回転成分を求める
ことを特徴とする請求項１０記載のぶれ補正方法。
【請求項１２】
時間的に連続するフレームのぶれ補正を演算処理装置に行わせるための制御プログラムであって、
それぞれの前記フレームに対して、所定の画素数からなる小領域に分割された前記フレーム内の全てのブロックについて動きベクトルを算出するベクトル算出処理と、
前記フレームごとの回転抽出結果に基づいて、前記動きベクトルの回転成分を除去後、前記ブロックのグループ化を行う設定処理と、
前記グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定処理と
を前記演算処理装置に行わせることを特徴とする制御プログラム。
【請求項１３】
前記設定処理においては、前記動きベクトルの極座標変換を行うことにより、前記動きベクトルの回転成分を求める
ことを特徴とする請求項１２記載の制御プログラム。
【請求項１４】
前記ベクトル算出処理においては、過去のフレームのうちの所定のフレームと現フレームとの間で前記動きベクトルを算出し、
前記設定処理においては、前記動きベクトルの極座標を用いて、１フレーム間隔当たりの前記撮像装置の回転中心周りの回転角を算出することにより、前記ベクトル算出領域における動きベクトルの回転成分を求める
ことを特徴とする請求項１３記載の制御プログラム。
【請求項１５】
請求項１２の制御プログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１】
時間的に連続するフレームを処理する撮像装置であって、
それぞれの前記フレームに対して、所定の画素数からなる小領域に分割された前記フレーム内の全てのブロックについて動きベクトルを算出するベクトル算出部と、
前記フレームごとの回転抽出結果に基づいて、前記動きベクトルの回転成分を除去後、前記ブロックのグループ化を行う設定部と、
前記グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定部と
を備えることを特徴とする撮像装置。
【請求項２】
前記設定部は、前記動きベクトルの極座標変換を行うことにより、前記動きベクトルの回転成分を抽出する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記ベクトル算出部は、過去のフレームのうちの所定のフレームと現フレームとの間で前記動きベクトルを算出し、
前記設定部は、前記動きベクトルの極座標を用いて、１フレーム間隔当たりの前記撮像装置の回転中心周りの回転角を算出することにより、前記ベクトル算出領域ごとに動きベクトルの回転成分を求める
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記設定部は、前記複数のベクトル算出領域のうち、現フレームの周辺に位置する領域について前記動きベクトルの回転成分を求める
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記設定部は、前記現フレームの周辺に位置する領域ごとに求めた前記動きベクトルの回転成分の平均の中の最小値と、過去の所定数のフレームにおける前記動きベクトルの回転成分とを比較した結果が所定の閾値を超えた場合、当該閾値を超える過去のフレームの中で最新フレームについての動きベクトルの回転成分を、現フレームの動きベクトルの回転成分に設定する
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記設定部は、前記現フレームの動きベクトルの回転成分を、前記複数のベクトル算出領域の動きベクトルからそれぞれ除去し、ベクトル算出領域間で該回転成分を除去した動きベクトルの水平方向成分及び垂直方向成分の差分が所定の範囲内にある場合には、当該ベクトル算出領域を同一のグループと判定する
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記決定部は、前記グループ化されたグループ化領域の中で、前記動きベクトルの水平方向成分及び垂直方向成分の絶対値の和が最小となるグループ化領域を、被写体のない背景のグループ領域と判定する
ことを特徴とする請求項６記載の撮像装置。
【請求項８】
前記設定部は、同一のグループと判定されたベクトル算出領域がフレーム内で分散している場合は、分散しているベクトル算出領域ごとに中心となるベクトル算出領域を求め、求めた中心となるベクトル算出領域の動きベクトルを平均することにより、該同一のグループの動きベクトルを決定する
ことを特徴とする請求項６記載の撮像装置。
【請求項９】
時間的に連続するフレームを処理するぶれ補正方法であって、
それぞれの前記フレームに対して、所定の画素数からなる小領域に分割された前記フレーム内の全てのブロックについて動きベクトルを算出するベクトル算出段階と、
前記フレームごとの回転抽出結果に基づいて、前記動きベクトルの回転成分を除去後、前記ブロックのグループ化を行う設定段階と、
前記グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定段階と
を有することを特徴とするぶれ補正方法。
【請求項１０】
前記設定段階においては、前記動きベクトルの極座標変換を行うことにより、前記動きベクトルの回転成分を求める
ことを特徴とする請求項９記載のぶれ補正方法。
【請求項１１】
前記ベクトル算出段階においては、過去のフレームのうちの所定のフレームと現フレームとの間で前記動きベクトルを算出し、
前記設定段階においては、前記動きベクトルの極座標を用いて、１フレーム間隔当たりの前記撮像装置の回転中心周りの回転角を算出することにより、前記ベクトル算出領域における動きベクトルの回転成分を求める
ことを特徴とする請求項１０記載のぶれ補正方法。
【請求項１２】
時間的に連続するフレームのぶれ補正を演算処理装置に行わせるための制御プログラムであって、
それぞれの前記フレームに対して、所定の画素数からなる小領域に分割された前記フレーム内の全てのブロックについて動きベクトルを算出するベクトル算出処理と、
前記フレームごとの回転抽出結果に基づいて、前記動きベクトルの回転成分を除去後、前記ブロックのグループ化を行う設定処理と、
前記グループ化されたグループ領域の中から、被写体のない背景のグループ領域を決定する決定処理と
を前記演算処理装置に行わせることを特徴とする制御プログラム。
【請求項１３】
前記設定処理においては、前記動きベクトルの極座標変換を行うことにより、前記動きベクトルの回転成分を求める
ことを特徴とする請求項１２記載の制御プログラム。
【請求項１４】
前記ベクトル算出処理においては、過去のフレームのうちの所定のフレームと現フレームとの間で前記動きベクトルを算出し、
前記設定処理においては、前記動きベクトルの極座標を用いて、１フレーム間隔当たりの前記撮像装置の回転中心周りの回転角を算出することにより、前記ベクトル算出領域における動きベクトルの回転成分を求める
ことを特徴とする請求項１３記載の制御プログラム。
【請求項１５】
請求項１２の制御プログラムを記録したコンピュータが読み取り可能な記録媒体。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図１０】
【図１１】
【図１２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１９９８１４（Ｐ２０１２−１９９８１４Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６３０９６（Ｐ２０１１−６３０９６）
【出願日】平成２３年３月２２日（２０１１．３．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月２２日（２０１１．３．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]