撮像装置、画像歪み補正方法及びプログラム
【課題】ＭＯＳ歪みの影響を減らして手ぶれ補正の精度向上を図ることができる撮像装置、画像歪み補正方法及びプログラムを提供すること。
【解決手段】撮像装置１００は、ライン毎の画素読出しを行う撮像部１０１、複数回撮影した画像データを記憶する画像記憶部１０２、分割数を指定する分割数指定部１０３、画素読出しライン方向に画像を分割し、各部を制御する画像分割制御部１０４、分割された画像のそれぞれにおいて、複数の画像データから画像間の移動量を算出する動き検出部１０５、分割された画像のそれぞれの画像間の移動量を基に画像を合成する画像合成部１０６、及び合成結果を保存する画像保存部１０７を備え、画像を読出しライン方向に分割し、分割箇所毎にそれぞれ独立に手ぶれ量（移動量）を求め、アフィン変換を用いて画像合成する。
【解決手段】撮像装置１００は、ライン毎の画素読出しを行う撮像部１０１、複数回撮影した画像データを記憶する画像記憶部１０２、分割数を指定する分割数指定部１０３、画素読出しライン方向に画像を分割し、各部を制御する画像分割制御部１０４、分割された画像のそれぞれにおいて、複数の画像データから画像間の移動量を算出する動き検出部１０５、分割された画像のそれぞれの画像間の移動量を基に画像を合成する画像合成部１０６、及び合成結果を保存する画像保存部１０７を備え、画像を読出しライン方向に分割し、分割箇所毎にそれぞれ独立に手ぶれ量（移動量）を求め、アフィン変換を用いて画像合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子スチルカメラやビデオカメラ等に搭載され、手ぶれに起因する画像歪みを補正する撮像装置、画像歪み補正方法及びプログラムに関する。
【背景技術】
【０００２】
従来、電子スチルカメラやビデオカメラ等の撮像装置の撮像素子には、ＣＣＤ（Charge Coupled Device）センサが利用されてきた。近時、低消費電力等の理由からＭＯＳ系の撮像素子が搭載されるようになってきた。ＣＣＤセンサは、全画素の電荷蓄積タイミングが同じ撮像素子であり、静止画像に対する手ぶれの影響は小さい。全画素同時読出しのＣＣＤセンサに対して、ライン毎の画素読出しを行うＭＯＳ系のセンサでは、読出し時間差に起因する画像の歪み、いわゆるＭＯＳ歪みが発生してしまう。ＭＯＳ歪みは、撮像面の最初の走査ラインと最後の走査ラインとで電荷蓄積タイミングが１画像走査期間近くずれ、手ぶれによって図形歪みが生じる現象であり、静止画像の場合は直線が曲がって映り、動画像の場合は直線がゆらゆらしなって写ったり被写体像の寸法が伸び縮みしたりする。
【０００３】
ＭＯＳ系の撮像素子でも全ラインの読出し完了が速い、フレームレートが高い素子はＭＯＳ歪みが発生しづらい。一方で、高画素化によりライン数が増える傾向にある。ライン数が増えると高フレームレート化は難しく、ＭＯＳ歪みが発生しやすくなってしまう。
【０００４】
静止画電子手ぶれ補正を行う方法として例えば、特許文献１に記載されたものがある。
【０００５】
図１６は、特許文献１記載の撮像装置の構成を示すブロック図である。また、図１７は、図１６の撮像装置の電子手ぶれ補正を説明する図であり、図１７（ａ）は通常の撮影時、図１７（ｂ）は電子手ぶれ補正時を示す。
【０００６】
図１６において、撮像装置１０は、撮像部１１、画像記憶部１２、動き検出部１３、画像合成部１４、及び画像保存部１５を備えて構成される。
【０００７】
手ぶれとは、露光期間中の手の動きによって像がぼやける現象である。図１７（ａ）に示すように、露光開始から露光終了までに手ぶれにより露光面がぶれると、手ぶれにより像がぼやける。
【０００８】
撮像部１１では、露光時間を短くした画像を複数撮影し、この複数撮影した画像を画像記憶部１２に記憶する。画像合成部１４では、動き検出部１３により検出された動き検出結果を基に各画像間の移動量（手ぶれ量）を換算して合成することで、ブレがなくＳ／Ｎの高い画像を画像保存部１５に格納する。特許文献１記載の手ぶれ補正方法では、図１７（ｂ）に示すように、露光時間を短くして連写し、１枚目からの移動量を求め、この移動量を換算して得られた画像の位置ずれを補正した後画像を合成する。
【０００９】
また、特許文献２には、３つの角速度センサから３次元的に手ぶれ量を求め、アフィン変換により回転ぶれにも対応して複数枚の画像合成を行うカメラシステムが開示されている。
【００１０】
また、特許文献３には、現在のラインと１つ前のラインとの相関が高い水平位置を求め、その位置に現在のラインを書き込むことで水平方向のＣＭＯＳ歪みを補正し、垂直方向は角速度センサを利用して補正する撮像装置が開示されている。
【特許文献１】特開２００１−０４５３５９号公報
【特許文献２】特開２０００−２２４４６１号公報
【特許文献３】特開２００４−３６３８６９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、このような従来の撮像装置にあっては、以下のような課題があった。
【００１２】
（１）ＭＯＳ系のセンサでは、手ぶれに応じた歪みが発生し、画像合成時その影響が顕著に現れる。
【００１３】
（２）歪みの影響を減らすためにはフレーム間隔の短いカメラを使用する必要がある。
【００１４】
（３）アフィン変換などの線形変換を単純に適応しただけでは、非線形に発生した歪みを補正できない。
【００１５】
上記課題をより詳細に説明する。
【００１６】
特許文献１記載の手ぶれ補正方法は、ＣＣＤセンサのような歪みのない画像を利用することを前提としている。
【００１７】
図１８及び図１９は、ＭＯＳ歪みによって画像の合成が正しく行われないことを説明する図であり、図１８は、ＣＣＤセンサによる手ぶれ補正を、図１９は、ＭＯＳ系センサによる手ぶれ補正を示す。
【００１８】
図１８及び図１９では、簡単のため水平方向（Ｘ軸方向）のみの手ぶれを仮定し、時刻ｔ＝０に出力される画像を位置の基準とする。図１８（ａ）及び図１９（ａ）には、連写ｎ枚目とｎ＋１枚目（ｎ，ｎ＋１フレーム目）の画像に発生した手ぶれ量と、手ぶれ補正時に求まる画像間の移動量ｘｎ，ｘｎ＋１が示されている。図１８（ｂ）及び図１９（ｂ）は、連写ｎ枚目とｎ＋１枚目の画像を示し、画像は元の位置（ｔ＝０）に対して手ぶれ後の位置がずれている。
【００１９】
図１８に示すＣＣＤセンサは、全画素同時読出しのため、各フレームの開始時刻の手ぶれ量が画像全体の移動量となる。一方、図１９に示すＭＯＳ系のセンサは、１ライン毎の読出しのため、その時刻毎の手ぶれ量が画像に反映される。図１９の例では、ｎ，ｎ＋１フレーム目の手ぶれ補正基準（ｘｎ，ｘｎ＋１）に対して、手ぶれ量は１ライン毎の読出しであるため、１ライン毎に変動し、手ぶれ補正がうまくできない。図１９（ａ）のハッチング部が手ぶれ補正不可部分を示している。しかも非線形要素を含むため、図１９（ｂ）に示すように補正後の画像の直線が曲がって合成される。
【００２０】
このように、ＭＯＳ系のセンサの場合は、手ぶれ補正を用いて画像間の移動量ｘｎ，ｘｎ＋１を求めただけでは、画像の一部分しか正しく合成されない。
【００２１】
本発明はかかる点に鑑みてなされたものであり、ＭＯＳ歪みの影響を減らして手ぶれ補正の精度向上を図ることができる撮像装置、画像歪み補正方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本発明の撮像装置は、ライン毎の画素読出しを行う撮像素子と、前記撮像素子により複数回撮影した画像データを記憶する画像記憶手段と、前記撮像素子の画素読出しライン方向に画像を分割する画像分割手段と、分割された画像のそれぞれにおいて、前記画像記憶手段に記憶された複数の画像データから画像間の移動量を算出する動き検出手段と、前記動き検出手段から得られる、分割された画像のそれぞれの画像間の移動量を基に画像を合成する画像合成手段と備える構成を採る。
【００２３】
本発明の画像歪み補正方法は、ライン毎の画素読出しを行う撮像素子により複数回撮影するステップと、複数回撮影した画像データを記憶するステップと、前記撮像素子の画素読出しライン方向に画像を分割するステップと、分割された画像のそれぞれにおいて、前記画像記憶手段に記憶された複数の画像データから画像間の移動量を算出するステップと、分割された画像のそれぞれの画像間の移動量を基に画像を合成するステップとを有する。
【００２４】
他の観点から、本発明は、上記画像歪み補正方法のステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２５】
本発明によれば、ＭＯＳ歪みの影響を減らして手ぶれ補正の精度向上を図ることができ、ＭＯＳ歪みによる画像合成の失敗を未然に防ぐことができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２７】
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【００２８】
図１において、撮像装置１００は、撮像部１０１、画像記憶部１０２、分割数指定部１０３、画像分割制御部１０４、動き検出部１０５、画像合成部１０６、及び画像保存部１０７を備えて構成される。
【００２９】
撮像部１０１は、ライン毎の画素読出しを行うＭＯＳ系のセンサである。画像記憶部１０２は、複数回撮影した画像データを記憶する。
【００３０】
分割数指定部１０３は、ＭＯＳ系のセンサのフレームレートに基づく規定値、又はユーザ設定値により画像をスキャン方向に分割する分割数を指定する。
【００３１】
画像分割制御部１０４は、分割数指定部１０３により指定された分割数に基づき、画像記憶部１０２の複数の画像データに対するデータの読出し開始位置・終了位置を変更して動き検出部１０５及び画像合成部１０６に通知するとともに、合成画像の切取り開始位置・終了位置を画像合成部１０６に通知し、さらに画像保存部１０７での出力画像データ書込み開始位置・終了位置を画像合成部１０６に通知する。
【００３２】
動き検出部１０５は、画像記憶部１０２に記憶された複数の画像データから画像間の移動量を算出する。画像合成部１０６は、動き検出部１０５から得た画像間の移動量を基に画像を合成する。画像保存部１０７は、画像合成部１０６の合成結果を保存する。
【００３３】
以下、上述のように構成された撮像装置１００の動作について説明する。
【００３４】
まず、本発明の基本的な考え方について説明する。
【００３５】
図２は、本発明の基本的な考え方を説明する図である。
【００３６】
図２（ａ）に示すように、従来例では、ＭＯＳ系のセンサは、１ライン毎の読出しのため、１枚目の画像と２枚目の画像で手ぶれ応じた歪みが発生し、２枚合成後の画像に歪みの影響が顕著に現れていた。
【００３７】
そこで、本発明は、画像の読出しライン方向に沿って連写画像それぞれを分割し、分割箇所毎に移動量計算と画面合成を行う。図２（ｂ）は、画像をスキャン方向に複数（２つ）分割して、分割箇所毎に手ぶれ量を求め、その分割箇所毎に合成処理を行う例を示している。その後、分割して合成した画像を１つにつなぎ合わせる。これにより、ＭＯＳ歪みによる画像合成の失敗がなくなる。
【００３８】
画像合成の際、アフィン変換を利用して画像合成を行うとさらに画像合成の精度を高めることができる。あるいは、より少ない分割数で高い補正精度を得ることができる。
【００３９】
図３は、アフィン変換の原理を説明する図である。アフィン変換とは、次式（１）に示す行列式を用いた座標変換である。行列パラメータを変えることによって画像の移動、回転、変形などを実現する。
【数１】
【００４０】
図４は、アフィン変換による手ぶれ補正を説明する図であり、図１９の手ぶれ補正説明図に対応している。
【００４１】
ｎフレーム目，ｎ＋１フレーム目の手ぶれ補正基準ｘｎ（Ｌｎ），ｘｎ＋１（Ｌｎ＋１）は、次式（２）で示される。
ｘｎ（Ｌｎ）＝ａｎ＊Ｌｎ＋ｂｎ
ｘｎ＋１（Ｌｎ＋１）＝ａｎ＋１＊Ｌｎ＋１＋ｂｎ＋１ …（２）
【００４２】
アフィン変換による線形変換で、手ぶれ補正基準（ｘｎ（Ｌｎ），ｘｎ＋１（Ｌｎ＋１））を手ぶれ補正量の傾きに近づけることにより、手ぶれ補正不可部分を減らすことができる。但し、アフィン変換は、線形変換であるため、非線形に発生した歪みは補正できない。
【００４３】
次に、撮像装置１００の全体動作について説明する。
【００４４】
まず、分割数指定部１０３では、ＭＯＳ系のセンサのフレームレート、又はユーザ設定値により画像をスキャン方向に分割する分割数があらかじめ指定されている。撮像部１０１は、ライン毎の画素読出しを行うＭＯＳ系のセンサであり、このＭＯＳ系のセンサのフレームレートに応じて、例えば分割数「３」がデェフォルトで指定する。分割数を増やすと演算量は増加するものの補正精度は上がる。ユーザが分割数を指定することも可能である。ユーザが、例えば「画質優先モード」を指定すると分割数を大きく設定する。
【００４５】
図５は、分割数に対する総処理時間の変化を示す図である。図６は、分割数に対する合成精度の変化を示す図である。
【００４６】
分割数を増やすと補正精度を上げることができるものの処理量も増加してしまう。
【００４７】
図５に示すように、分割数がｎ倍に増えると、動き検出に要する処理量がｎ倍に増えるが、画像合成に要する処理量は処理する総ピクセル数が変わらないため変化なし（マージンをとらない場合）である。つまり、分割数を２倍にしても総処理量は２倍未満で収まる。
【００４８】
最適な分割数を決定する方法としては、次式（３）に示す値を見ればよい。式（３）に示す値は、分割実施時の擬似的なフレームレートを表す。
（センサのフレームレート）×（分割数） …（３）
【００４９】
図６に示すように、上記値を大きくしてもある飽和点から効果が飽和することが分かる。本発明者らは、通常の手ぶれに対しては、上記値が「１５」程度となるように分割数を設定すればよいことを見出した。但し、光学系やカメラ本体の重量、形状等により大きなぶれが発生しやすい場合には、より大きな値を設定する必要がある。
【００５０】
図１に戻って、撮像部１０１により画像が複数回撮影され、複数回撮影した画像データは、画像記憶部１０２に記憶される。
【００５１】
画像分割制御部１０４では、（１）分割数指定部１０３により指定された分割数に基づいて画像記憶部１０２の複数の画像データに対するデータの読出し開始位置・終了位置を変更する。（２）また、分割数指定部１０３により指定された分割数に基づいて合成画像の切取り開始位置・終了位置を変更する。（３）さらに、分割数指定部１０３により指定された分割数に基づいて画像保存部１０７での出力画像データ書込み開始位置・終了位置を変更する。分割数に基づいて変更されたデータの読出し開始位置・終了位置、合成画像の切取り開始位置・終了位置、及び出力画像データ書込み開始位置・終了位置は、それぞれ動き検出部１０５及び画像合成部１０６に通知される。画像分割制御部１０４の動作の詳細については、図７により後述する。
【００５２】
動き検出部１０５は、画像記憶部１０２に記憶された複数の画像データから画像間の移動量を算出して画像合成部１０６に出力する。
【００５３】
画像合成部１０６では、動き検出部１０５から得た画像間の移動量を基に画像を合成して画像保存部１０７に出力し、画像保存部１０７は、画像合成部１０６の合成結果を保存する。画像合成部１０６の動作の詳細については、図８により後述する。
【００５４】
図７は、画像分割制御部１０４の動作を示すフローチャートである。本フローは、撮像装置１００全体を制御する制御部のＣＰＵにより実行される。図中Ｓは、フローの各ステップを示す。
【００５５】
画像分割制御部１０４の動作がスタートすると、ステップＳ１１で画像記憶部１０２の複数枚の画像に対し、それぞれの読出し開始・終了位置を入力する。連写した画像データは、画像記憶部１０２のどのアドレスから読出しを開始してどのアドレスで終了するのかを入力する。次いで、ステップＳ１２で分割数指定部１０３で決定された画像の分割数ｎを入力する。
【００５６】
ステップＳ１３では、全入力画像に対し、分割ｉ番目の画像記憶部１０２での読出し開始・終了位置を決定して出力する。すなわち、ｎ分割中ｉ番目の箇所が画像記憶部１０２のどのアドレスから始まり、どのアドレスで終了するのかを画像合成部１０６に出力する。次いで、ステップＳ１４で全入力画像に対し、分割ｉ番目の合成画像の切取り開始・終了位置を決定して出力する。すなわち、ｎ分割中ｉ番目の箇所の合成終了後にどの範囲で合成画像を切取るかを画像合成部１０６に出力する。
【００５７】
ステップＳ１５では、全入力画像に対し、分割ｉ番目の画像保存部１０７での書込み開始・終了位置を決定して出力する。すなわち、ｎ分割中ｉ番目の箇所の切取り終了後に画像保存部１０７のどのアドレスから書込みを開始し、どのアドレスで終了するのかを決定して画像合成部１０６に出力する。
【００５８】
次いで、ステップＳ１６でｎ分割したｎ個の領域すべてにおいて処理が終了したか否かを判別し、処理が未完了の場合はステップＳ１７でｉをインクリメント（ｉ＝ｉ＋１）して上記ステップＳ１３に戻り、次の分割箇所の処理に移る。ｎ回分の処理が完了すると本フローを終了する。
【００５９】
図８は、画像合成部１０６の動作を示すフローチャートである。本フローは、撮像装置１００全体を制御する制御部のＣＰＵにより実行される。
【００６０】
画像合成部１０６の動作がスタートすると、ステップＳ２１で複数枚の入力画像に対し、画像記憶部１０２での読出し開始・終了位置を入力する。画像データを画像記憶部１０２のどのアドレスから読出しを開始してどのアドレスで終了するのかを入力する。次いで、ステップＳ２２で複数枚の入力画像に対し、合成画像の切取り開始・終了位置を入力して、合成画像をどの範囲で切取るかを指定する。
【００６１】
ステップＳ２３では、複数枚の入力画像に対し、画像保存部１０７での書込み開始・終了位置を入力する。切取り終了後に画像保存部１０７のどのアドレスから書込みを開始してどのアドレスで終了するのかを入力する。
【００６２】
次いで、ステップＳ２４で動き検出部１０５で求めた１枚目に対するｎ枚目画像の移動量を入力し、ステップＳ２５で移動量だけずらして画像を合成する。次いで、ステップＳ２６で指定された切取り位置で合成画像を切取り、ステップＳ２７で指定された画像保存部１０７の書込み位置（アドレス）に切り取った画像を出力して本フローを終了する。
【００６３】
図９は、撮像装置１００の画像分割動作によるＭＯＳ歪み低減効果を説明する図であり、画像を読出しライン方向に３分割した例である。
【００６４】
簡単のため、手ぶれを水平方向（Ｘ軸方向）に限定している。この場合、ｎ枚目の画像に対して３つの移動量ｘｎ，１，ｘｎ，２，ｘｎ，３が、またｎ＋１枚目の画像に対して３つの移動量ｘｎ＋１，１，ｘｎ＋１，２，ｘｎ＋１，３が求まる。このように、画像の読出しライン方向に画像を３分割し、３分割箇所毎に手ぶれ量（移動量）を計算しているので、前記図１９（ａ）と比較して判るように、歪みによって補正しきれない領域（図９ハッチング部参照）を減少させることができる。したがって、ＭＯＳ系のセンサの歪みによる影響を減らして手ぶれ補正を行うことができる。
【００６５】
図９では、画像を読出しライン方向に３分割した例であるが、さらに分割数を増やすことで、処理量は増加するものの補正精度を上げることができる。
【００６６】
上述したように、画像を読出しライン方向に分割し、分割箇所毎に手ぶれ量（移動量）を求めることで、ＭＯＳ系のセンサの歪みによる影響を減らすことができた。
【００６７】
本方法に、図３及び図４で前述したアフィン変換を適用すると、より一層の手ぶれ補正効果が得られる。これは、アフィン変換そのものによる補正効果に加え、本方法が画像の読出しライン方向分割を採ったことにより、各分割箇所にアフィン変換を適用することが可能になり、非線形に発生した歪みも補正できることによる。
【００６８】
以下、本方法に、画像合成の際、アフィン変換を利用して画像合成を行う効果について説明する。
【００６９】
図１０は、アフィン変換による手ぶれ補正の限界を説明する図である。
【００７０】
ｎフレーム目，ｎ＋１フレーム目の手ぶれ補正基準ｘｎ（Ｌｎ），ｘｎ＋１（Ｌｎ＋１）は、前記式（２）で示される。図１０に示すように、非線形に発生した手ぶれ量（歪み量）が大きいと、アフィン変換を単純に適用しただけでは発生した歪みを補正しきることはできない。従来例は、これがアフィン変換等の線形変換の限界であった。
【００７１】
図１１は、本方法による画像の分割とアフィン変換による手ぶれ補正を説明する図であり、ＭＯＳ歪みは図１０に対応する図である。画像を読出しライン方向に２分割した例である。
【００７２】
画像を読出しライン方向に２分割し、２分割箇所毎にアフィン変換するため、ｎフレーム目及びｎ＋１フレーム目は、それぞれ２つの手ぶれ補正基準ｘｎ，１（Ｌｎ），ｘｎ，２（Ｌｎ）とｘｎ＋１，１（Ｌｎ＋１），ｘｎ＋１，２（Ｌｎ＋１）を持つ。ｎフレーム目の手ぶれ補正基準ｘｎ，１（Ｌｎ），ｘｎ，２（Ｌｎ）は、次式（４）で示され、ｎ＋１フレーム目の手ぶれ補正基準ｘｎ＋１，１（Ｌｎ＋１），ｘｎ＋１，２（Ｌｎ＋１）は、次式（５）で示される。
ｘｎ，１（Ｌｎ）＝ａｎ，１＊Ｌｎ，１＋ｂｎ，１
ｘｎ，２（Ｌｎ）＝ａｎ，２＊Ｌｎ，２＋ｂｎ，２ …（４）
ｘｎ＋１，１（Ｌｎ＋１）＝ａｎ，１＊Ｌｎ，１＋ｂｎ，１
ｘｎ＋１，２（Ｌｎ＋１）＝ａｎ＋１，２＊Ｌｎ＋１，２＋ｂｎ＋１，２ …（５）
【００７３】
図１１に示すように、アフィン変換そのものは線形変換であるものの、非線形に発生した歪みに対して、非線形の大きい歪み部分について２つのアフィン変換を用いることで、手ぶれ補正不可部分（図１１ハッチング部参照）を大幅に減らすことができる。図１０と比較すると、その効果は明らかである。
【００７４】
このように、手ぶれが非線形に発生した場合でも、画像を読出しライン方向に分割し、分割箇所毎にアフィン変換を用いれば、高精度な補正が可能となる。
【００７５】
以上のように、本実施の形態によれば、撮像装置１００は、ライン毎の画素読出しを行う撮像部１０１、複数回撮影した画像データを記憶する画像記憶部１０２、分割数を指定する分割数指定部１０３、画素読出しライン方向に画像を分割し、各部を制御する画像分割制御部１０４、分割された画像のそれぞれにおいて、複数の画像データから画像間の移動量を算出する動き検出部１０５、分割された画像のそれぞれの画像間の移動量を基に画像を合成する画像合成部１０６、及び合成結果を保存する画像保存部１０７を備え、画像を読出しライン方向に分割し、分割箇所毎にそれぞれ独立に手ぶれ量（移動量）を求め、アフィン変換を用いて画像合成しているので、ＭＯＳ歪みの影響を減らして手ぶれ補正の精度向上を図ることができ、ＭＯＳ歪みによる画像合成の失敗を未然に防ぐことができる。
【００７６】
かかる優れた特長を有する本発明を、デジタルカメラなどの電子スチルカメラ、手ぶれ補正機能を有するビデオカメラにおける撮像装置、カメラ付き携帯電話機等に適用して好適である。
【００７７】
（実施の形態２）
図１２は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【００７８】
図１２において、撮像装置２００は、さらに検出精度判定部２１０を備えて構成される。また、検出精度判定部２１０による判定出力は、分割数指定部１０３に入力される。
【００７９】
検出精度判定部２１０は、動き検出部１０５により算出された移動量の精度が所定の閾値以下であることを判定する。
【００８０】
以下、上述のように構成された撮像装置２００の動作について説明する。
【００８１】
撮影時に小さなぶれしか発生せず、歪みが小さい場合がある。この場合、分割数が少ない方がより少ない処理量で済む。逆に、大きなぶれが発生した場合は、分割数を多くすることが好ましい。
【００８２】
そこで本実施の形態では、検出精度判定部２１０は、動き検出部１０５が求めた移動量の精度が所定の閾値以下であるか否かを判定し、判定結果を分割数指定部１０３に出力する。分割数指定部１０３では、判定結果を基に分割数を指定する。分割数の指定には、以下の２つの応用が可能である。
【００８３】
（１）ある分割数で処理を実行し、どの程度正確に画像が合成されるか動き検出の精度を判定し、動き検出部１０５が求めた移動量の精度が基準値以下であれば、分割数を増やして再度合成処理を行う。この場合、動き検出の精度の前記基準値からの差分に応じて、該差分が大きければ分割数をより増やすようにしてもよい。
【００８４】
（２）ある分割数で処理を実行し、ユーザが結果を画面で確認して、このまま画像を保存するか、分割数を増やして再度合成処理を行うかを選択する。
【００８５】
以上のように、本実施の形態によれば、手ぶれ量計算時に求まる補正精度が基準値以下の場合は分割数を増やして再度合成処理を行うことにより、より少ない処理量で補正精度を向上させることができる。
【００８６】
ユーザが、上記基準値を前以て設定する、あるいはユーザが結果を画面で確認するようにすれば、ユーザの意向に合った合成処理を実現することができる。
【００８７】
（実施の形態３）
上記実施の形態１，２によれば、画像の読出しライン方向に分割し、分割箇所毎に移動量計算と画面合成を行うことでＭＯＳ歪みのない画像合成が可能になった。本実施の形態
は、分割画像を合成したときの合成跡をなくす例について説明する。
【００８８】
図１３及び図１４は、合成跡への対処方法を説明する図である。図１３に示すように、画像２枚をアフィン変換を用いて合成した場合、２枚目の枠３０１が合成時に現れ、合成跡となる。この場合、中央のエリア３０２で切り取って出力すれば、合成時の枠３０１を除去することができる。しかし、上記実施の形態１，２では、画像を分割し画面合成しているため、図１４に示すように、例えば２分割で２枚の画像を合成したとすると、たとえ中央のエリアで切り取ったとしても、合成時の枠３１０が合成跡として中央に残ってしまう。
【００８９】
図１５は、分割画像を合成したときの合成跡の除去について説明する図である。２分割の場合を例に採る。
【００９０】
本実施の形態では、各分割画像に合成跡を残さないようにするため、分割領域にマージンを持たせる。
【００９１】
図１５（ａ）（ｂ）において、撮影画像４００に対して上半分の分割領域４０１ａと下半分の分割領域４０１ｂとを、マージンを取って分割する。出力領域４０２は、上半分の出力領域４０２ａと下半分の出力領域４０２ｂとで均等である。
【００９２】
図１５（ａ）（ｂ）に示すように、画像を２分割する場合、単純に均等に２分割するのではなく、上半分の分割領域４０１ａと下半分の分割領域４０１ｂとは、中央部が重なるようにマージンを取って分割し、出力時に中央のエリアの出力領域４０２を切り取って出力する。図１５（ｃ）は、中央のエリアの出力領域４０２を切り取って出力された出力画像を示している。これにより、合成時の枠が中央に残る不具合が解消される。
【００９３】
図１５において、上半分と下半分の切取り位置をＢＢ’で共通にすれば、分割境界で不連続な画像となることを防ぐことができる。また、出力画像４０２を入力画像と別のメモリ領域に保存するようにすれば、上半分の合成結果が下半分に影響を及ぼすことはない。
【００９４】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【００９５】
また、撮像装置及び画像歪み補正方法を有する電子機器であればどのような装置にも適用できる。例えば、電子スチルカメラ及びビデオカメラは勿論のこと、カメラ付き携帯電話機、ＰＤＡ（Personal Digital Assistants）等の携帯情報端末、撮像装置を備えるパソコン等の情報処理装置にも適用可能である。
【００９６】
また、ライン毎の画素読出しを行う撮像素子であれば、ＣＭＯＳセンサなどどのような撮像素子であってもよい。なお、全画素の電荷蓄積タイミングが同じＣＣＤセンサでは、
ＭＯＳ歪みの影響はないものの、手ぶれ補正の精度向上のため応用は可能である。
【００９７】
また、上記各実施の形態では、撮像装置及び画像歪み補正方法という名称を用いたが、これは説明の便宜上であり、カメラシステム、手ぶれ補正方法等でもよいことは勿論である。
【００９８】
また、上記撮像装置を構成する各回路部の種類、数及び接続方法などは前述した実施の形態に限られない。
【００９９】
また、以上説明した撮像装置及び画像歪み補正方法は、この撮像装置及び画像歪み補正方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
【産業上の利用可能性】
【０１００】
本発明に係る撮像装置及び画像歪み補正方法は、手ぶれに起因する画像歪みを補正する撮像装置を備える電子スチルカメラやビデオカメラ等に実装される撮像装置及び画像歪み補正方法として有用である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施の形態１に係る撮像装置の構成を示すブロック図
【図２】本発明の基本的な考え方を説明する図
【図３】アフィン変換の原理を説明する図
【図４】上記実施の形態１に係る撮像装置のアフィン変換による手ぶれ補正を説明する図
【図５】上記実施の形態１に係る撮像装置の分割数に対する総処理時間の変化を示す図
【図６】上記実施の形態１に係る撮像装置の分割数に対する合成精度の変化を示す図
【図７】上記実施の形態１に係る撮像装置の画像分割制御部の動作を示すフロー図
【図８】上記実施の形態１に係る撮像装置の画像合成部の動作を示すフロー図
【図９】上記実施の形態１に係る撮像装置の画像分割動作によるＭＯＳ歪み低減効果を説明する図
【図１０】上記実施の形態１に係る撮像装置のアフィン変換による手ぶれ補正の限界を説明する図
【図１１】上記実施の形態１に係る撮像装置の画像の分割とアフィン変換による手ぶれ補正を説明する図
【図１２】本発明の実施の形態２に係る撮像装置の構成を示すブロック図
【図１３】上記実施の形態２に係る撮像装置の合成跡への対処方法を説明する図
【図１４】上記実施の形態２に係る撮像装置の合成跡への対処方法を説明する図
【図１５】上記実施の形態２に係る撮像装置の分割画像を合成したときの合成跡の除去について説明する図
【図１６】従来の撮像装置の構成を示すブロック図
【図１７】従来の撮像装置の電子手ぶれ補正を説明する図
【図１８】ＣＣＤセンサによる手ぶれ補正を説明する図
【図１９】ＭＯＳ系センサによる手ぶれ補正を説明する図
【符号の説明】
【０１０２】
１００，２００ 撮像装置
１０１ 撮像部
１０２ 画像記憶部
１０３ 分割数指定部
１０４ 画像分割制御部
１０５ 動き検出部
１０６ 画像合成部
１０７ 画像保存部
２１０ 検出精度判定部
【技術分野】
【０００１】
本発明は、電子スチルカメラやビデオカメラ等に搭載され、手ぶれに起因する画像歪みを補正する撮像装置、画像歪み補正方法及びプログラムに関する。
【背景技術】
【０００２】
従来、電子スチルカメラやビデオカメラ等の撮像装置の撮像素子には、ＣＣＤ（Charge Coupled Device）センサが利用されてきた。近時、低消費電力等の理由からＭＯＳ系の撮像素子が搭載されるようになってきた。ＣＣＤセンサは、全画素の電荷蓄積タイミングが同じ撮像素子であり、静止画像に対する手ぶれの影響は小さい。全画素同時読出しのＣＣＤセンサに対して、ライン毎の画素読出しを行うＭＯＳ系のセンサでは、読出し時間差に起因する画像の歪み、いわゆるＭＯＳ歪みが発生してしまう。ＭＯＳ歪みは、撮像面の最初の走査ラインと最後の走査ラインとで電荷蓄積タイミングが１画像走査期間近くずれ、手ぶれによって図形歪みが生じる現象であり、静止画像の場合は直線が曲がって映り、動画像の場合は直線がゆらゆらしなって写ったり被写体像の寸法が伸び縮みしたりする。
【０００３】
ＭＯＳ系の撮像素子でも全ラインの読出し完了が速い、フレームレートが高い素子はＭＯＳ歪みが発生しづらい。一方で、高画素化によりライン数が増える傾向にある。ライン数が増えると高フレームレート化は難しく、ＭＯＳ歪みが発生しやすくなってしまう。
【０００４】
静止画電子手ぶれ補正を行う方法として例えば、特許文献１に記載されたものがある。
【０００５】
図１６は、特許文献１記載の撮像装置の構成を示すブロック図である。また、図１７は、図１６の撮像装置の電子手ぶれ補正を説明する図であり、図１７（ａ）は通常の撮影時、図１７（ｂ）は電子手ぶれ補正時を示す。
【０００６】
図１６において、撮像装置１０は、撮像部１１、画像記憶部１２、動き検出部１３、画像合成部１４、及び画像保存部１５を備えて構成される。
【０００７】
手ぶれとは、露光期間中の手の動きによって像がぼやける現象である。図１７（ａ）に示すように、露光開始から露光終了までに手ぶれにより露光面がぶれると、手ぶれにより像がぼやける。
【０００８】
撮像部１１では、露光時間を短くした画像を複数撮影し、この複数撮影した画像を画像記憶部１２に記憶する。画像合成部１４では、動き検出部１３により検出された動き検出結果を基に各画像間の移動量（手ぶれ量）を換算して合成することで、ブレがなくＳ／Ｎの高い画像を画像保存部１５に格納する。特許文献１記載の手ぶれ補正方法では、図１７（ｂ）に示すように、露光時間を短くして連写し、１枚目からの移動量を求め、この移動量を換算して得られた画像の位置ずれを補正した後画像を合成する。
【０００９】
また、特許文献２には、３つの角速度センサから３次元的に手ぶれ量を求め、アフィン変換により回転ぶれにも対応して複数枚の画像合成を行うカメラシステムが開示されている。
【００１０】
また、特許文献３には、現在のラインと１つ前のラインとの相関が高い水平位置を求め、その位置に現在のラインを書き込むことで水平方向のＣＭＯＳ歪みを補正し、垂直方向は角速度センサを利用して補正する撮像装置が開示されている。
【特許文献１】特開２００１−０４５３５９号公報
【特許文献２】特開２０００−２２４４６１号公報
【特許文献３】特開２００４−３６３８６９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、このような従来の撮像装置にあっては、以下のような課題があった。
【００１２】
（１）ＭＯＳ系のセンサでは、手ぶれに応じた歪みが発生し、画像合成時その影響が顕著に現れる。
【００１３】
（２）歪みの影響を減らすためにはフレーム間隔の短いカメラを使用する必要がある。
【００１４】
（３）アフィン変換などの線形変換を単純に適応しただけでは、非線形に発生した歪みを補正できない。
【００１５】
上記課題をより詳細に説明する。
【００１６】
特許文献１記載の手ぶれ補正方法は、ＣＣＤセンサのような歪みのない画像を利用することを前提としている。
【００１７】
図１８及び図１９は、ＭＯＳ歪みによって画像の合成が正しく行われないことを説明する図であり、図１８は、ＣＣＤセンサによる手ぶれ補正を、図１９は、ＭＯＳ系センサによる手ぶれ補正を示す。
【００１８】
図１８及び図１９では、簡単のため水平方向（Ｘ軸方向）のみの手ぶれを仮定し、時刻ｔ＝０に出力される画像を位置の基準とする。図１８（ａ）及び図１９（ａ）には、連写ｎ枚目とｎ＋１枚目（ｎ，ｎ＋１フレーム目）の画像に発生した手ぶれ量と、手ぶれ補正時に求まる画像間の移動量ｘｎ，ｘｎ＋１が示されている。図１８（ｂ）及び図１９（ｂ）は、連写ｎ枚目とｎ＋１枚目の画像を示し、画像は元の位置（ｔ＝０）に対して手ぶれ後の位置がずれている。
【００１９】
図１８に示すＣＣＤセンサは、全画素同時読出しのため、各フレームの開始時刻の手ぶれ量が画像全体の移動量となる。一方、図１９に示すＭＯＳ系のセンサは、１ライン毎の読出しのため、その時刻毎の手ぶれ量が画像に反映される。図１９の例では、ｎ，ｎ＋１フレーム目の手ぶれ補正基準（ｘｎ，ｘｎ＋１）に対して、手ぶれ量は１ライン毎の読出しであるため、１ライン毎に変動し、手ぶれ補正がうまくできない。図１９（ａ）のハッチング部が手ぶれ補正不可部分を示している。しかも非線形要素を含むため、図１９（ｂ）に示すように補正後の画像の直線が曲がって合成される。
【００２０】
このように、ＭＯＳ系のセンサの場合は、手ぶれ補正を用いて画像間の移動量ｘｎ，ｘｎ＋１を求めただけでは、画像の一部分しか正しく合成されない。
【００２１】
本発明はかかる点に鑑みてなされたものであり、ＭＯＳ歪みの影響を減らして手ぶれ補正の精度向上を図ることができる撮像装置、画像歪み補正方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本発明の撮像装置は、ライン毎の画素読出しを行う撮像素子と、前記撮像素子により複数回撮影した画像データを記憶する画像記憶手段と、前記撮像素子の画素読出しライン方向に画像を分割する画像分割手段と、分割された画像のそれぞれにおいて、前記画像記憶手段に記憶された複数の画像データから画像間の移動量を算出する動き検出手段と、前記動き検出手段から得られる、分割された画像のそれぞれの画像間の移動量を基に画像を合成する画像合成手段と備える構成を採る。
【００２３】
本発明の画像歪み補正方法は、ライン毎の画素読出しを行う撮像素子により複数回撮影するステップと、複数回撮影した画像データを記憶するステップと、前記撮像素子の画素読出しライン方向に画像を分割するステップと、分割された画像のそれぞれにおいて、前記画像記憶手段に記憶された複数の画像データから画像間の移動量を算出するステップと、分割された画像のそれぞれの画像間の移動量を基に画像を合成するステップとを有する。
【００２４】
他の観点から、本発明は、上記画像歪み補正方法のステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２５】
本発明によれば、ＭＯＳ歪みの影響を減らして手ぶれ補正の精度向上を図ることができ、ＭＯＳ歪みによる画像合成の失敗を未然に防ぐことができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２７】
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【００２８】
図１において、撮像装置１００は、撮像部１０１、画像記憶部１０２、分割数指定部１０３、画像分割制御部１０４、動き検出部１０５、画像合成部１０６、及び画像保存部１０７を備えて構成される。
【００２９】
撮像部１０１は、ライン毎の画素読出しを行うＭＯＳ系のセンサである。画像記憶部１０２は、複数回撮影した画像データを記憶する。
【００３０】
分割数指定部１０３は、ＭＯＳ系のセンサのフレームレートに基づく規定値、又はユーザ設定値により画像をスキャン方向に分割する分割数を指定する。
【００３１】
画像分割制御部１０４は、分割数指定部１０３により指定された分割数に基づき、画像記憶部１０２の複数の画像データに対するデータの読出し開始位置・終了位置を変更して動き検出部１０５及び画像合成部１０６に通知するとともに、合成画像の切取り開始位置・終了位置を画像合成部１０６に通知し、さらに画像保存部１０７での出力画像データ書込み開始位置・終了位置を画像合成部１０６に通知する。
【００３２】
動き検出部１０５は、画像記憶部１０２に記憶された複数の画像データから画像間の移動量を算出する。画像合成部１０６は、動き検出部１０５から得た画像間の移動量を基に画像を合成する。画像保存部１０７は、画像合成部１０６の合成結果を保存する。
【００３３】
以下、上述のように構成された撮像装置１００の動作について説明する。
【００３４】
まず、本発明の基本的な考え方について説明する。
【００３５】
図２は、本発明の基本的な考え方を説明する図である。
【００３６】
図２（ａ）に示すように、従来例では、ＭＯＳ系のセンサは、１ライン毎の読出しのため、１枚目の画像と２枚目の画像で手ぶれ応じた歪みが発生し、２枚合成後の画像に歪みの影響が顕著に現れていた。
【００３７】
そこで、本発明は、画像の読出しライン方向に沿って連写画像それぞれを分割し、分割箇所毎に移動量計算と画面合成を行う。図２（ｂ）は、画像をスキャン方向に複数（２つ）分割して、分割箇所毎に手ぶれ量を求め、その分割箇所毎に合成処理を行う例を示している。その後、分割して合成した画像を１つにつなぎ合わせる。これにより、ＭＯＳ歪みによる画像合成の失敗がなくなる。
【００３８】
画像合成の際、アフィン変換を利用して画像合成を行うとさらに画像合成の精度を高めることができる。あるいは、より少ない分割数で高い補正精度を得ることができる。
【００３９】
図３は、アフィン変換の原理を説明する図である。アフィン変換とは、次式（１）に示す行列式を用いた座標変換である。行列パラメータを変えることによって画像の移動、回転、変形などを実現する。
【数１】
【００４０】
図４は、アフィン変換による手ぶれ補正を説明する図であり、図１９の手ぶれ補正説明図に対応している。
【００４１】
ｎフレーム目，ｎ＋１フレーム目の手ぶれ補正基準ｘｎ（Ｌｎ），ｘｎ＋１（Ｌｎ＋１）は、次式（２）で示される。
ｘｎ（Ｌｎ）＝ａｎ＊Ｌｎ＋ｂｎ
ｘｎ＋１（Ｌｎ＋１）＝ａｎ＋１＊Ｌｎ＋１＋ｂｎ＋１ …（２）
【００４２】
アフィン変換による線形変換で、手ぶれ補正基準（ｘｎ（Ｌｎ），ｘｎ＋１（Ｌｎ＋１））を手ぶれ補正量の傾きに近づけることにより、手ぶれ補正不可部分を減らすことができる。但し、アフィン変換は、線形変換であるため、非線形に発生した歪みは補正できない。
【００４３】
次に、撮像装置１００の全体動作について説明する。
【００４４】
まず、分割数指定部１０３では、ＭＯＳ系のセンサのフレームレート、又はユーザ設定値により画像をスキャン方向に分割する分割数があらかじめ指定されている。撮像部１０１は、ライン毎の画素読出しを行うＭＯＳ系のセンサであり、このＭＯＳ系のセンサのフレームレートに応じて、例えば分割数「３」がデェフォルトで指定する。分割数を増やすと演算量は増加するものの補正精度は上がる。ユーザが分割数を指定することも可能である。ユーザが、例えば「画質優先モード」を指定すると分割数を大きく設定する。
【００４５】
図５は、分割数に対する総処理時間の変化を示す図である。図６は、分割数に対する合成精度の変化を示す図である。
【００４６】
分割数を増やすと補正精度を上げることができるものの処理量も増加してしまう。
【００４７】
図５に示すように、分割数がｎ倍に増えると、動き検出に要する処理量がｎ倍に増えるが、画像合成に要する処理量は処理する総ピクセル数が変わらないため変化なし（マージンをとらない場合）である。つまり、分割数を２倍にしても総処理量は２倍未満で収まる。
【００４８】
最適な分割数を決定する方法としては、次式（３）に示す値を見ればよい。式（３）に示す値は、分割実施時の擬似的なフレームレートを表す。
（センサのフレームレート）×（分割数） …（３）
【００４９】
図６に示すように、上記値を大きくしてもある飽和点から効果が飽和することが分かる。本発明者らは、通常の手ぶれに対しては、上記値が「１５」程度となるように分割数を設定すればよいことを見出した。但し、光学系やカメラ本体の重量、形状等により大きなぶれが発生しやすい場合には、より大きな値を設定する必要がある。
【００５０】
図１に戻って、撮像部１０１により画像が複数回撮影され、複数回撮影した画像データは、画像記憶部１０２に記憶される。
【００５１】
画像分割制御部１０４では、（１）分割数指定部１０３により指定された分割数に基づいて画像記憶部１０２の複数の画像データに対するデータの読出し開始位置・終了位置を変更する。（２）また、分割数指定部１０３により指定された分割数に基づいて合成画像の切取り開始位置・終了位置を変更する。（３）さらに、分割数指定部１０３により指定された分割数に基づいて画像保存部１０７での出力画像データ書込み開始位置・終了位置を変更する。分割数に基づいて変更されたデータの読出し開始位置・終了位置、合成画像の切取り開始位置・終了位置、及び出力画像データ書込み開始位置・終了位置は、それぞれ動き検出部１０５及び画像合成部１０６に通知される。画像分割制御部１０４の動作の詳細については、図７により後述する。
【００５２】
動き検出部１０５は、画像記憶部１０２に記憶された複数の画像データから画像間の移動量を算出して画像合成部１０６に出力する。
【００５３】
画像合成部１０６では、動き検出部１０５から得た画像間の移動量を基に画像を合成して画像保存部１０７に出力し、画像保存部１０７は、画像合成部１０６の合成結果を保存する。画像合成部１０６の動作の詳細については、図８により後述する。
【００５４】
図７は、画像分割制御部１０４の動作を示すフローチャートである。本フローは、撮像装置１００全体を制御する制御部のＣＰＵにより実行される。図中Ｓは、フローの各ステップを示す。
【００５５】
画像分割制御部１０４の動作がスタートすると、ステップＳ１１で画像記憶部１０２の複数枚の画像に対し、それぞれの読出し開始・終了位置を入力する。連写した画像データは、画像記憶部１０２のどのアドレスから読出しを開始してどのアドレスで終了するのかを入力する。次いで、ステップＳ１２で分割数指定部１０３で決定された画像の分割数ｎを入力する。
【００５６】
ステップＳ１３では、全入力画像に対し、分割ｉ番目の画像記憶部１０２での読出し開始・終了位置を決定して出力する。すなわち、ｎ分割中ｉ番目の箇所が画像記憶部１０２のどのアドレスから始まり、どのアドレスで終了するのかを画像合成部１０６に出力する。次いで、ステップＳ１４で全入力画像に対し、分割ｉ番目の合成画像の切取り開始・終了位置を決定して出力する。すなわち、ｎ分割中ｉ番目の箇所の合成終了後にどの範囲で合成画像を切取るかを画像合成部１０６に出力する。
【００５７】
ステップＳ１５では、全入力画像に対し、分割ｉ番目の画像保存部１０７での書込み開始・終了位置を決定して出力する。すなわち、ｎ分割中ｉ番目の箇所の切取り終了後に画像保存部１０７のどのアドレスから書込みを開始し、どのアドレスで終了するのかを決定して画像合成部１０６に出力する。
【００５８】
次いで、ステップＳ１６でｎ分割したｎ個の領域すべてにおいて処理が終了したか否かを判別し、処理が未完了の場合はステップＳ１７でｉをインクリメント（ｉ＝ｉ＋１）して上記ステップＳ１３に戻り、次の分割箇所の処理に移る。ｎ回分の処理が完了すると本フローを終了する。
【００５９】
図８は、画像合成部１０６の動作を示すフローチャートである。本フローは、撮像装置１００全体を制御する制御部のＣＰＵにより実行される。
【００６０】
画像合成部１０６の動作がスタートすると、ステップＳ２１で複数枚の入力画像に対し、画像記憶部１０２での読出し開始・終了位置を入力する。画像データを画像記憶部１０２のどのアドレスから読出しを開始してどのアドレスで終了するのかを入力する。次いで、ステップＳ２２で複数枚の入力画像に対し、合成画像の切取り開始・終了位置を入力して、合成画像をどの範囲で切取るかを指定する。
【００６１】
ステップＳ２３では、複数枚の入力画像に対し、画像保存部１０７での書込み開始・終了位置を入力する。切取り終了後に画像保存部１０７のどのアドレスから書込みを開始してどのアドレスで終了するのかを入力する。
【００６２】
次いで、ステップＳ２４で動き検出部１０５で求めた１枚目に対するｎ枚目画像の移動量を入力し、ステップＳ２５で移動量だけずらして画像を合成する。次いで、ステップＳ２６で指定された切取り位置で合成画像を切取り、ステップＳ２７で指定された画像保存部１０７の書込み位置（アドレス）に切り取った画像を出力して本フローを終了する。
【００６３】
図９は、撮像装置１００の画像分割動作によるＭＯＳ歪み低減効果を説明する図であり、画像を読出しライン方向に３分割した例である。
【００６４】
簡単のため、手ぶれを水平方向（Ｘ軸方向）に限定している。この場合、ｎ枚目の画像に対して３つの移動量ｘｎ，１，ｘｎ，２，ｘｎ，３が、またｎ＋１枚目の画像に対して３つの移動量ｘｎ＋１，１，ｘｎ＋１，２，ｘｎ＋１，３が求まる。このように、画像の読出しライン方向に画像を３分割し、３分割箇所毎に手ぶれ量（移動量）を計算しているので、前記図１９（ａ）と比較して判るように、歪みによって補正しきれない領域（図９ハッチング部参照）を減少させることができる。したがって、ＭＯＳ系のセンサの歪みによる影響を減らして手ぶれ補正を行うことができる。
【００６５】
図９では、画像を読出しライン方向に３分割した例であるが、さらに分割数を増やすことで、処理量は増加するものの補正精度を上げることができる。
【００６６】
上述したように、画像を読出しライン方向に分割し、分割箇所毎に手ぶれ量（移動量）を求めることで、ＭＯＳ系のセンサの歪みによる影響を減らすことができた。
【００６７】
本方法に、図３及び図４で前述したアフィン変換を適用すると、より一層の手ぶれ補正効果が得られる。これは、アフィン変換そのものによる補正効果に加え、本方法が画像の読出しライン方向分割を採ったことにより、各分割箇所にアフィン変換を適用することが可能になり、非線形に発生した歪みも補正できることによる。
【００６８】
以下、本方法に、画像合成の際、アフィン変換を利用して画像合成を行う効果について説明する。
【００６９】
図１０は、アフィン変換による手ぶれ補正の限界を説明する図である。
【００７０】
ｎフレーム目，ｎ＋１フレーム目の手ぶれ補正基準ｘｎ（Ｌｎ），ｘｎ＋１（Ｌｎ＋１）は、前記式（２）で示される。図１０に示すように、非線形に発生した手ぶれ量（歪み量）が大きいと、アフィン変換を単純に適用しただけでは発生した歪みを補正しきることはできない。従来例は、これがアフィン変換等の線形変換の限界であった。
【００７１】
図１１は、本方法による画像の分割とアフィン変換による手ぶれ補正を説明する図であり、ＭＯＳ歪みは図１０に対応する図である。画像を読出しライン方向に２分割した例である。
【００７２】
画像を読出しライン方向に２分割し、２分割箇所毎にアフィン変換するため、ｎフレーム目及びｎ＋１フレーム目は、それぞれ２つの手ぶれ補正基準ｘｎ，１（Ｌｎ），ｘｎ，２（Ｌｎ）とｘｎ＋１，１（Ｌｎ＋１），ｘｎ＋１，２（Ｌｎ＋１）を持つ。ｎフレーム目の手ぶれ補正基準ｘｎ，１（Ｌｎ），ｘｎ，２（Ｌｎ）は、次式（４）で示され、ｎ＋１フレーム目の手ぶれ補正基準ｘｎ＋１，１（Ｌｎ＋１），ｘｎ＋１，２（Ｌｎ＋１）は、次式（５）で示される。
ｘｎ，１（Ｌｎ）＝ａｎ，１＊Ｌｎ，１＋ｂｎ，１
ｘｎ，２（Ｌｎ）＝ａｎ，２＊Ｌｎ，２＋ｂｎ，２ …（４）
ｘｎ＋１，１（Ｌｎ＋１）＝ａｎ，１＊Ｌｎ，１＋ｂｎ，１
ｘｎ＋１，２（Ｌｎ＋１）＝ａｎ＋１，２＊Ｌｎ＋１，２＋ｂｎ＋１，２ …（５）
【００７３】
図１１に示すように、アフィン変換そのものは線形変換であるものの、非線形に発生した歪みに対して、非線形の大きい歪み部分について２つのアフィン変換を用いることで、手ぶれ補正不可部分（図１１ハッチング部参照）を大幅に減らすことができる。図１０と比較すると、その効果は明らかである。
【００７４】
このように、手ぶれが非線形に発生した場合でも、画像を読出しライン方向に分割し、分割箇所毎にアフィン変換を用いれば、高精度な補正が可能となる。
【００７５】
以上のように、本実施の形態によれば、撮像装置１００は、ライン毎の画素読出しを行う撮像部１０１、複数回撮影した画像データを記憶する画像記憶部１０２、分割数を指定する分割数指定部１０３、画素読出しライン方向に画像を分割し、各部を制御する画像分割制御部１０４、分割された画像のそれぞれにおいて、複数の画像データから画像間の移動量を算出する動き検出部１０５、分割された画像のそれぞれの画像間の移動量を基に画像を合成する画像合成部１０６、及び合成結果を保存する画像保存部１０７を備え、画像を読出しライン方向に分割し、分割箇所毎にそれぞれ独立に手ぶれ量（移動量）を求め、アフィン変換を用いて画像合成しているので、ＭＯＳ歪みの影響を減らして手ぶれ補正の精度向上を図ることができ、ＭＯＳ歪みによる画像合成の失敗を未然に防ぐことができる。
【００７６】
かかる優れた特長を有する本発明を、デジタルカメラなどの電子スチルカメラ、手ぶれ補正機能を有するビデオカメラにおける撮像装置、カメラ付き携帯電話機等に適用して好適である。
【００７７】
（実施の形態２）
図１２は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【００７８】
図１２において、撮像装置２００は、さらに検出精度判定部２１０を備えて構成される。また、検出精度判定部２１０による判定出力は、分割数指定部１０３に入力される。
【００７９】
検出精度判定部２１０は、動き検出部１０５により算出された移動量の精度が所定の閾値以下であることを判定する。
【００８０】
以下、上述のように構成された撮像装置２００の動作について説明する。
【００８１】
撮影時に小さなぶれしか発生せず、歪みが小さい場合がある。この場合、分割数が少ない方がより少ない処理量で済む。逆に、大きなぶれが発生した場合は、分割数を多くすることが好ましい。
【００８２】
そこで本実施の形態では、検出精度判定部２１０は、動き検出部１０５が求めた移動量の精度が所定の閾値以下であるか否かを判定し、判定結果を分割数指定部１０３に出力する。分割数指定部１０３では、判定結果を基に分割数を指定する。分割数の指定には、以下の２つの応用が可能である。
【００８３】
（１）ある分割数で処理を実行し、どの程度正確に画像が合成されるか動き検出の精度を判定し、動き検出部１０５が求めた移動量の精度が基準値以下であれば、分割数を増やして再度合成処理を行う。この場合、動き検出の精度の前記基準値からの差分に応じて、該差分が大きければ分割数をより増やすようにしてもよい。
【００８４】
（２）ある分割数で処理を実行し、ユーザが結果を画面で確認して、このまま画像を保存するか、分割数を増やして再度合成処理を行うかを選択する。
【００８５】
以上のように、本実施の形態によれば、手ぶれ量計算時に求まる補正精度が基準値以下の場合は分割数を増やして再度合成処理を行うことにより、より少ない処理量で補正精度を向上させることができる。
【００８６】
ユーザが、上記基準値を前以て設定する、あるいはユーザが結果を画面で確認するようにすれば、ユーザの意向に合った合成処理を実現することができる。
【００８７】
（実施の形態３）
上記実施の形態１，２によれば、画像の読出しライン方向に分割し、分割箇所毎に移動量計算と画面合成を行うことでＭＯＳ歪みのない画像合成が可能になった。本実施の形態
は、分割画像を合成したときの合成跡をなくす例について説明する。
【００８８】
図１３及び図１４は、合成跡への対処方法を説明する図である。図１３に示すように、画像２枚をアフィン変換を用いて合成した場合、２枚目の枠３０１が合成時に現れ、合成跡となる。この場合、中央のエリア３０２で切り取って出力すれば、合成時の枠３０１を除去することができる。しかし、上記実施の形態１，２では、画像を分割し画面合成しているため、図１４に示すように、例えば２分割で２枚の画像を合成したとすると、たとえ中央のエリアで切り取ったとしても、合成時の枠３１０が合成跡として中央に残ってしまう。
【００８９】
図１５は、分割画像を合成したときの合成跡の除去について説明する図である。２分割の場合を例に採る。
【００９０】
本実施の形態では、各分割画像に合成跡を残さないようにするため、分割領域にマージンを持たせる。
【００９１】
図１５（ａ）（ｂ）において、撮影画像４００に対して上半分の分割領域４０１ａと下半分の分割領域４０１ｂとを、マージンを取って分割する。出力領域４０２は、上半分の出力領域４０２ａと下半分の出力領域４０２ｂとで均等である。
【００９２】
図１５（ａ）（ｂ）に示すように、画像を２分割する場合、単純に均等に２分割するのではなく、上半分の分割領域４０１ａと下半分の分割領域４０１ｂとは、中央部が重なるようにマージンを取って分割し、出力時に中央のエリアの出力領域４０２を切り取って出力する。図１５（ｃ）は、中央のエリアの出力領域４０２を切り取って出力された出力画像を示している。これにより、合成時の枠が中央に残る不具合が解消される。
【００９３】
図１５において、上半分と下半分の切取り位置をＢＢ’で共通にすれば、分割境界で不連続な画像となることを防ぐことができる。また、出力画像４０２を入力画像と別のメモリ領域に保存するようにすれば、上半分の合成結果が下半分に影響を及ぼすことはない。
【００９４】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【００９５】
また、撮像装置及び画像歪み補正方法を有する電子機器であればどのような装置にも適用できる。例えば、電子スチルカメラ及びビデオカメラは勿論のこと、カメラ付き携帯電話機、ＰＤＡ（Personal Digital Assistants）等の携帯情報端末、撮像装置を備えるパソコン等の情報処理装置にも適用可能である。
【００９６】
また、ライン毎の画素読出しを行う撮像素子であれば、ＣＭＯＳセンサなどどのような撮像素子であってもよい。なお、全画素の電荷蓄積タイミングが同じＣＣＤセンサでは、
ＭＯＳ歪みの影響はないものの、手ぶれ補正の精度向上のため応用は可能である。
【００９７】
また、上記各実施の形態では、撮像装置及び画像歪み補正方法という名称を用いたが、これは説明の便宜上であり、カメラシステム、手ぶれ補正方法等でもよいことは勿論である。
【００９８】
また、上記撮像装置を構成する各回路部の種類、数及び接続方法などは前述した実施の形態に限られない。
【００９９】
また、以上説明した撮像装置及び画像歪み補正方法は、この撮像装置及び画像歪み補正方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
【産業上の利用可能性】
【０１００】
本発明に係る撮像装置及び画像歪み補正方法は、手ぶれに起因する画像歪みを補正する撮像装置を備える電子スチルカメラやビデオカメラ等に実装される撮像装置及び画像歪み補正方法として有用である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施の形態１に係る撮像装置の構成を示すブロック図
【図２】本発明の基本的な考え方を説明する図
【図３】アフィン変換の原理を説明する図
【図４】上記実施の形態１に係る撮像装置のアフィン変換による手ぶれ補正を説明する図
【図５】上記実施の形態１に係る撮像装置の分割数に対する総処理時間の変化を示す図
【図６】上記実施の形態１に係る撮像装置の分割数に対する合成精度の変化を示す図
【図７】上記実施の形態１に係る撮像装置の画像分割制御部の動作を示すフロー図
【図８】上記実施の形態１に係る撮像装置の画像合成部の動作を示すフロー図
【図９】上記実施の形態１に係る撮像装置の画像分割動作によるＭＯＳ歪み低減効果を説明する図
【図１０】上記実施の形態１に係る撮像装置のアフィン変換による手ぶれ補正の限界を説明する図
【図１１】上記実施の形態１に係る撮像装置の画像の分割とアフィン変換による手ぶれ補正を説明する図
【図１２】本発明の実施の形態２に係る撮像装置の構成を示すブロック図
【図１３】上記実施の形態２に係る撮像装置の合成跡への対処方法を説明する図
【図１４】上記実施の形態２に係る撮像装置の合成跡への対処方法を説明する図
【図１５】上記実施の形態２に係る撮像装置の分割画像を合成したときの合成跡の除去について説明する図
【図１６】従来の撮像装置の構成を示すブロック図
【図１７】従来の撮像装置の電子手ぶれ補正を説明する図
【図１８】ＣＣＤセンサによる手ぶれ補正を説明する図
【図１９】ＭＯＳ系センサによる手ぶれ補正を説明する図
【符号の説明】
【０１０２】
１００，２００ 撮像装置
１０１ 撮像部
１０２ 画像記憶部
１０３ 分割数指定部
１０４ 画像分割制御部
１０５ 動き検出部
１０６ 画像合成部
１０７ 画像保存部
２１０ 検出精度判定部
【特許請求の範囲】
【請求項１】
ライン毎の画素読出しを行う撮像素子と、
前記撮像素子により複数回撮影した画像データを記憶する画像記憶手段と、
前記撮像素子の画素読出しライン方向に画像を分割する画像分割手段と、
分割された画像のそれぞれにおいて、前記画像記憶手段に記憶された複数の画像データから画像間の移動量を算出する動き検出手段と、
前記動き検出手段から得られる、分割された画像のそれぞれの画像間の移動量を基に画像を合成する画像合成手段と
備える撮像装置。
【請求項２】
前記画像分割手段は、分割された画像が所定領域重なるようにマージンを持たせて分割する請求項１記載の撮像装置。
【請求項３】
前記画像合成手段は、アフィン変換を用いた画像合成を行う請求項１記載の撮像装置。
【請求項４】
さらに、画像を画素読出しライン方向に分割する分割数を指定する分割数指定手段を備える請求項１記載の撮像装置。
【請求項５】
前記分割数指定手段は、前記撮像素子のフレームレートに基づく規定値、又はユーザ設定値により分割数を指定する請求項３記載の撮像装置。
【請求項６】
さらに、前記画像間の移動量を基に画像合成の精度を判定する画像合成精度判定手段を備える請求項１記載の撮像装置。
【請求項７】
前記画像分割手段は、前記画像合成精度判定手段による判定精度を基に前記分割数を決定する請求項６記載の撮像装置。
【請求項８】
前記画像分割手段は、前記画像合成精度判定手段による判定精度が所定の基準値以下のときは前記分割数を増やす請求項６記載の撮像装置。
【請求項９】
ライン毎の画素読出しを行う撮像素子により複数回撮影するステップと、
複数回撮影した画像データを記憶するステップと、
前記撮像素子の画素読出しライン方向に画像を分割するステップと、
分割された画像のそれぞれにおいて、前記画像記憶手段に記憶された複数の画像データから画像間の移動量を算出するステップと、
分割された画像のそれぞれの画像間の移動量を基に画像を合成するステップと
を有する画像歪み補正方法。
【請求項１０】
前記分割ステップでは、分割された画像が所定領域重なるようにマージンを持たせて分割する請求項９記載の画像歪み補正方法。
【請求項１１】
前記画像合成ステップでは、アフィン変換を用いた画像合成を行う請求項９記載の撮像装置の画像歪み補正方法。
【請求項１２】
さらに、画像間の移動量を基に画像合成の精度を判定するステップを有し、
前記分割ステップでは、判定精度が所定の基準値以下のときは前記分割数を増やす請求項９記載の画像歪み補正方法。
【請求項１３】
請求項９乃至請求項１２に記載のステップをコンピュータに実行させるためのプログラム。
【請求項１】
ライン毎の画素読出しを行う撮像素子と、
前記撮像素子により複数回撮影した画像データを記憶する画像記憶手段と、
前記撮像素子の画素読出しライン方向に画像を分割する画像分割手段と、
分割された画像のそれぞれにおいて、前記画像記憶手段に記憶された複数の画像データから画像間の移動量を算出する動き検出手段と、
前記動き検出手段から得られる、分割された画像のそれぞれの画像間の移動量を基に画像を合成する画像合成手段と
備える撮像装置。
【請求項２】
前記画像分割手段は、分割された画像が所定領域重なるようにマージンを持たせて分割する請求項１記載の撮像装置。
【請求項３】
前記画像合成手段は、アフィン変換を用いた画像合成を行う請求項１記載の撮像装置。
【請求項４】
さらに、画像を画素読出しライン方向に分割する分割数を指定する分割数指定手段を備える請求項１記載の撮像装置。
【請求項５】
前記分割数指定手段は、前記撮像素子のフレームレートに基づく規定値、又はユーザ設定値により分割数を指定する請求項３記載の撮像装置。
【請求項６】
さらに、前記画像間の移動量を基に画像合成の精度を判定する画像合成精度判定手段を備える請求項１記載の撮像装置。
【請求項７】
前記画像分割手段は、前記画像合成精度判定手段による判定精度を基に前記分割数を決定する請求項６記載の撮像装置。
【請求項８】
前記画像分割手段は、前記画像合成精度判定手段による判定精度が所定の基準値以下のときは前記分割数を増やす請求項６記載の撮像装置。
【請求項９】
ライン毎の画素読出しを行う撮像素子により複数回撮影するステップと、
複数回撮影した画像データを記憶するステップと、
前記撮像素子の画素読出しライン方向に画像を分割するステップと、
分割された画像のそれぞれにおいて、前記画像記憶手段に記憶された複数の画像データから画像間の移動量を算出するステップと、
分割された画像のそれぞれの画像間の移動量を基に画像を合成するステップと
を有する画像歪み補正方法。
【請求項１０】
前記分割ステップでは、分割された画像が所定領域重なるようにマージンを持たせて分割する請求項９記載の画像歪み補正方法。
【請求項１１】
前記画像合成ステップでは、アフィン変換を用いた画像合成を行う請求項９記載の撮像装置の画像歪み補正方法。
【請求項１２】
さらに、画像間の移動量を基に画像合成の精度を判定するステップを有し、
前記分割ステップでは、判定精度が所定の基準値以下のときは前記分割数を増やす請求項９記載の画像歪み補正方法。
【請求項１３】
請求項９乃至請求項１２に記載のステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００８−７８８０８（Ｐ２００８−７８８０８Ａ）
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願番号】特願２００６−２５３３２８（Ｐ２００６−２５３３２８）
【出願日】平成１８年９月１９日（２００６．９．１９）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願日】平成１８年９月１９日（２００６．９．１９）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]