画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム
【課題】複数の画像データの重ね合わせによって画像ぶれを補正する場合に、複数の画像データの中に補正に適さない画像が含まれていても、補正後の画像データの画質の劣化を抑制する。
【解決手段】画像ぶれ補正装置１は、複数の画像データ間の画像ぶれ量を検出する画像ぶれ検出部１２、画像ぶれ量の検出結果に基づいて、複数の画像データから補正に使用する画像データを選択する補正判定部１３及び補正判定部１３によって選択された画像データを用いて画像ぶれ補正後の画像データを生成する補正実行部１４を備える。
【解決手段】画像ぶれ補正装置１は、複数の画像データ間の画像ぶれ量を検出する画像ぶれ検出部１２、画像ぶれ量の検出結果に基づいて、複数の画像データから補正に使用する画像データを選択する補正判定部１３及び補正判定部１３によって選択された画像データを用いて画像ぶれ補正後の画像データを生成する補正実行部１４を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像データに生じる画像ぶれを補正する画像処理技術に関する。
【背景技術】
【０００２】
ＣＣＤ（Charge Coupled Device）等の撮像素子によって得た電気信号をデジタル信号に変換して画像データを得る撮像装置において、撮影者の手ぶれ等に起因して画像データに生じるぶれ（以下、画像ぶれと呼ぶ）を補正する技術が従来から知られている。このような画像ぶれ補正技術としては、画像ぶれ量の検出方法や、検出した動きベクトルを用いて画像ぶれを補正する画像処理方法の異なる様々な技術が提案されている。
【０００３】
このうち、静止画撮影を行う撮像装置によって得られた画像データの画像ぶれを補正する画像処理装置の一般的な動作は、概ね以下のようなる。まず、撮影者のシャッタ操作に応じて連続して撮影された複数フレームの画像データを入力する。次に、得られた複数フレームの画像データを比較して、画像ぶれの向き及び大きさ（以下、動きベクトルと呼ぶ）を算出する。最後に、算出した動きベクトルを打ち消すように画素位置をずらして複数の画像データを重ね合わせることにより、画像ぶれを軽減した画像を得る。
【０００４】
例えば、特許文献１には、隣接する画素との画素値の差が大きい画素を特徴画素として抽出し、複数枚の画像データ間で特徴画素の位置ずれを評価し、特徴画素の位置ずれを補正するように画素位置を上下左右にずらした状態で、これら複数枚の画像データの重ねあわせを行う画像処理装置が開示されている。
【０００５】
また、動きベクトルを算出する方法も様々なものが提案されている。特許文献１の画像処理装置のように特徴画素の動きを評価して動きベクトルを求めるものの他、例えば、画像データを複数のブロックに分割し、ブロック毎の画素値の相関から動きベクトルを算出する方法がある（例えば、特許文献２及び３を参照）。
【０００６】
またさらに、算出した動きベクトルの向き等から画像ぶれの特性を判定する方法も従来から提案されている。例えば、特許文献４には、撮影した画像データに対して算出した動きベクトルを周辺の動きベクトルと比較することにより、撮影画像中を移動物体が横切るような画像ぶれ特性であることを判定した場合には、画像ぶれの補正を行わないとする撮像装置が開示されている。
【特許文献１】特開２００５−２９５３０２号公報
【特許文献２】特開平８−１６３５６６号公報
【特許文献３】特開平７−１７７４２５号公報
【特許文献４】特開平８−１６３５６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
複数フレームの画像データを重ね合わせることによって画像ぶれを補正する際には、複数の画像データの中に、重ね合わせによる画像ぶれ補正に適さない画像データが含まれる場合がある。重ね合わせによる画像ぶれ補正に適さない画像データとは、例えば、画像データの空間周波数が全体的に高い又は低いことにより特徴点となる画素が少なく動きベクトルの検出ができない画像データ又は撮像中の一部分のみが移動している画像や回転方向の手ぶれを伴う画像データ等である。このような画像データを含む複数の画像データの重ね合わせによる補正を行うと、画像ぶれ補正後の画像が人の目から見て不自然な状態となり、画質が劣化してしまう。
【０００８】
このように、複数の画像データの重ね合わせによって画像ぶれを補正する場合に、複数の画像データの中に補正に適さない画像が含まれていると画像ぶれ補正後に得られる画像データの画質が劣化するという課題がある。
【課題を解決するための手段】
【０００９】
本発明にかかる画像ぶれ補正装置は、複数の画像データ間の画像ぶれ量を検出する検出部と、前記画像ぶれ量の検出結果に基づいて、前記複数の画像データから補正に使用する画像データを選択する判定部と、前記判定部によって選択された画像データを用いて画像ぶれ補正後の画像データを生成する補正部とを備えるものである。
【００１０】
このような構成により、複数の画像データの中に補正に適さない画像が含まれている場合に、この画像データを除外した残りの画像データを補正に使用する画像データに選択することができる。これにより、補正に適する画像データを選択して画像ぶれ補正を行うことができ、補正後の画像データの画質の劣化を抑制することができる。
【発明の効果】
【００１１】
本発明により、複数の画像データの重ね合わせによって画像ぶれを補正しようとする場合に、複数の画像データの中に補正に適さない画像が含まれていても、補正後の画像データの画質の劣化を抑制することができる。
【発明を実施するための最良の形態】
【００１２】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００１３】
発明の実施の形態１．
本実施の形態にかかる画像ぶれ補正装置１の構成を図１に示す。画像ぶれ補正装置１は、撮像部１００とともにデジタルカメラ等の静止画撮影を行う電子機器に搭載されるものである。ここで、撮像部１００は、ＣＣＤ等の撮像素子１０１及び撮像素子１０１によって得られたアナログ画像データをデジタル画像データに変換し、ホワイトバランスの調整、画素毎にＲＧＢ信号を得るための補間処理等を行って、ＲＧＢ画像データを出力する信号処理部１０２を備えている。なお、撮像部１００は、この他にも撮像素子１０１の露光時間を制御する電子シャッタ機構、絞り制御機構、撮像信号の信号レベルを調整する利得制御機構等を備えている。
【００１４】
撮像部１００は、操作者がカメラのシャッタボタンを押下する動作に応じて、電子シャッタのシャッタスピードを制御してＮフレームの撮像を行う。ここで、Ｎは２以上の整数である。つまり、撮像部１００は、規定のシャッタスピードのＮ倍のシャッタスピードで撮像を行う。ここで、規定のシャッタスピードとは、カメラ操作者が想定するシャッタスピード（マニュアル設定の場合）又は、デジタルカメラ等で予め設定されたシャッタスピード（自動設定の場合）であり、以下ではこれらをまとめて規定のシャッタスピードと呼ぶ。例えば、規定のシャッタスピードを１／３０秒、撮像フレーム数Ｎを４とすると、撮像部１００は、シャッタスピードを４倍の１／１２０秒として４フレームを撮影する。シャッタスピードを上げて撮像したＮ枚の画像データは、いわゆる露出アンダーとなっているが、画像ぶれ補正装置１において、これらの画像データの重ね合わせ処理又は輝度データの倍化処理を行うことにより、露出が適正であり、かつ、ランダムノイズ及び画像ぶれが軽減された画像データを得ることができる。
【００１５】
画像ぶれ補正装置１が有するＲＡＭ（Random Access Memory）１１は、撮像部１００が連続して撮像したＮフレームの画像データを格納可能なメモリである。
【００１６】
画像ぶれ検出部１２は、ＲＡＭ１１に格納されたＮフレームの画像データを比較し、画像データ間の画像ぶれ量を検出する。なお、画像ぶれ量の検出を行う際は、画像データ中のＲＧＢの３色全てについて行う必要はなく、これらから選択した１色を用いて行えば良い。この場合、Ｇ信号は他の２つに比べて人の視感度が高く、最も輝度信号に近似しているため、Ｇ信号を選択して行うと良い。なお、Ｒ信号、Ｇ信号及びＢ信号で構成された画像データを輝度信号と色差信号に変換し、画像データ間で輝度信号を比較することによって画像ぶれを検出してもよい。
【００１７】
補正判定部１３は、画像ぶれ検出部１２が検出した画像ぶれの特性に応じて、後述する補正実行部１４での画像ぶれ補正に使用する画像データをＲＡＭ１１に格納されたＮフレームの画像データから選択し、選択した画像データを補正実行部１４に通知する制御信号を出力する。なお、選択した画像データが連続するＮフレームの何フレーム目であるか又は選択した画像データ数によって補正実行部１４の処理を変更する場合には、選択した画像データの情報と合わせて又はこれに代えて、補正実行部１４に適用する補正方法を補正実行部１４に通知することとしてもよい。
【００１８】
補正実行部１４は、補正判定部１３から入力された制御信号に応じて、重ね合わせによる画像ぶれ補正に使用する画像データをＲＡＭ１１から選択し、画像ぶれ検出部１２が検出した画像ぶれを打ち消すように画素位置をずらした状態で、選択した画像データの重ねあわせを行う。また、補正実行部１４は、重ねあわせによって生成した画像ぶれ補正後の画像データを外部のメモリ等に出力する。
【００１９】
なお、Ｎフレームの画像データから選択したＮフレーム未満の画像データを重ね合わせて画像データを生成する場合、補正後の画像データの明るさが、規定シャッタスピードで通常撮影した明るさ、つまり、Ｎフレームの画像データを重ね合わせた画像データの明るさに等しくなるように、補正後の画像データの明るさを補正する。言い換えれば、補正後の画像データの露出時間が、規定のシャッタスピードに相当する露出時間となるよう調整する。
【００２０】
具体的には、選択した画像データが１フレームの場合、選択した画像データの明るさをＮ倍、つまり、選択した画像データをＮ枚重ね合わせて補正後の画像データとする。また、Ｎが４以上であり、選択した画像データが３枚であれば、例えば、３枚の画像のうち任意の画像を２回、またそれ以上重ね合わせることで、全体としてＮフレームの画像データとなるようにすれば良い。より具体的に述べると例えば、Ａ、Ｂ、Ｃの３枚の画像データで４フレーム作成する場合には、いずれかの画像データを２回用いれば良い。更に同じ画像データで５フレーム分の重ね合わせを行う必要がある場合には、いずれか２枚の画像データを２回用いても良いし、いずれか１枚の画像データを３回用いて他は１回のみ用いると言うようにしても良い。
【００２１】
もう一つの明るさ補正の方法は、Ｎが４以上であり、選択した画像データが３枚である場合に、３枚を重ね合わせた画像データの明るさをＮ／３倍して補正後の画像データとすることである。具体的には、図示しない増幅装置（例えばデジタルゲイン回路）などにより各画素の輝度データを一様な倍率で増幅するという方法により実現することができる。
【００２２】
このような、明るさの補正を行うことによって、補正に使用する画像データの枚数によらず、規定のシャッタスピードで通常期待した明るさと同じ明るさの画像データを生成することができる。これにより、デジタルカメラ等の利用者から見て自然な画像を得ることができ、実用上の効果は大きい。
【００２３】
続いて、本実施の形態の画像ぶれ補正装置１の詳細な処理手順を、図２のフローチャートを用いて説明する。なお、図２のフローチャートは、Ｎフレームの画像データの中に補正に適さない画像データが１枚でも存在することを補正判定部１３において判定した場合に、Ｎフレームのうち先頭フレームの画像データを用いて補正後の画像データを生成する処理を示している。
【００２４】
ステップＳ１１では、画像ぶれ検出部１２が、画像ぶれ検出のために比較する２つの画像データをＲＡＭ１１から読み出す。比較する画像データの組合せは様々な組合せをとることができる。ここでは、連続するＮフレームの画像データのうち最初に撮影された先頭の画像データと他の画像データとの間で比較を行って画像ぶれを検出することとし、Ｎ−１通りの画像データの組合せについて順次比較を行うものとする。
【００２５】
ステップＳ１２では、読み出した画像データの組合せについて画像ぶれ量を検出する。ここで、画像ぶれ量の検出には、上述した特許文献１乃至４に開示された動きベクトルを算出する手順によって行うことができる。例えば、画像データに含まれる画素をブロックに分割し、ブロック単位の動きベクトルを検出することとすれば良い。
【００２６】
ステップＳ１３では、ステップＳ１２において検出した画像ぶれが、重ね合わせによる補正に適するものであるか否かを判定する。具体的には、ステップＳ１２で算出したブロック毎の動きベクトルの向き及び大きさが画像データ全体で一様である場合は、先頭フレームと比較した他のフレームの画像データは、先頭フレームの画像データとの重ね合わせによる補正に適した画像データと判定する。動きベクトルが画像データ全体で一様であれば、例えば、ブロック毎に算出した動きベクトルの平均値を画像全体の動きベクトルとし、この動きベクトルを相殺するように画素位置をずらして画像の重ねあわせを行うことにより、画像ぶれを補正することができる。
【００２７】
動きベクトルが一様な場合とは、図３（ａ）に示すような場合である。図３（ａ）は、画像データの動きベクトルを示す図であり、Ｘ方向に９ブロック、Ｙ方向に７ブロックに分割して動きブロックの算出を行った例を示している。図３（ａ）の動きベクトルは、画像全体において、右下方向に一定の大きさを有するものである。
【００２８】
一方、図３（ｂ）に示すように、画像の中心部分の動きベクトルが周辺のブロックと異なる動きを示す場合は、被写体が動いていること又は撮影者が意図的にカメラの光軸を移動する流し撮り（panning）を行っていること等が想定される。このような動きベクトルを示す画像データの組合せによって重ね合わせによる画像ぶれ補正を実行すると、被写体のぶれが強調され、撮影者が期待する画像とかけ離れた品質の画像データとなる可能性が高い。したがって、動きベクトルが図３（ｂ）のような振る舞いを示す場合は、先頭フレームと比較した他の画像データを補正に適さない画像データと判定する。
【００２９】
また、図３（ｃ）に示すように、動きベクトルが回転方向の画像ぶれを示している場合にも、先頭フレームと比較した他の画像データを補正に適さない画像データと判定する。なお、補正実行部１４において、回転を示す動きベクトルを打ち消すように画像データを回転して重ね合わせることが可能である場合は、補正に適した画像データと判定してもよい。
【００３０】
ステップＳ１３において、先頭の画像データとの比較を行った画像データが補正に適した画像データであると判定した場合は、ステップＳ１４に進む。ステップＳ１４では、最後のＮフレーム目の画像データまで補正判定部１３による判定が終了していなければステップＳ１１に戻り、まだ判定を実施していない画像データを選択して処理を繰り返す。
【００３１】
先頭の画像データとその他のＮ−１枚の画像データとの間で動きベクトルの判定が終了した場合は、補正実行部１４が、Ｎフレーム全ての画像データを用いて重ね合わせ処理を行う（ステップＳ１５）。
【００３２】
一方、ステップＳ１３において補正に適さない画像データと判定した場合は、動きベクトルの検出・判定処理を終了し、先頭の画像データの明るさをＮ倍し、つまり、先頭の画像データをＮ枚重ね合わせたものを補正後の画像データとする（ステップＳ１６）。
【００３３】
ステップＳ１７では、重ね合わせによる画像ぶれ補正後の画像データを出力して処理を補正終了する。
【００３４】
このように、画像ぶれ補正を行うために撮影されたＮ枚の画像データの中に重ね合わせに適さない画像データが含まれている場合に、先頭の画像データをＮ枚重ね合わせて出力することにより、規定のシャッタスピードで撮影を行った場合に比べて、画像ぶれを小さくすることができる。これに加えて、さらに以下に列挙する効果を得ることができる。まず、第１に、補正に適さない画像データとの重ね合わせを行わないため、被写体ぶれが強調される等の画質の劣化を抑制することができる。
【００３５】
第２に、先頭の画像データを選択することにより、撮影者がシャッタボタンを押したタイミングからのズレが最も小さい画像を生成することができる。
【００３６】
第３に、補正に使用する画像データを予め定めておくことにより、図２のフローチャートに示したように、重ねあわせ補正に適さない画像データの存在を判定した時点で、その後の動きベクトルの判定を行うことなく補正後の画像データの生成処理に遷移することが可能となる。これにより、補正後の画像データを速やかに得ることができる。
【００３７】
なお、本実施の形態にかかる画像ぶれ補正装置１は、プログラムを実行するＭＰＵ（Micro Processing Unit）を有するコンピュータ・システムにより構成することが可能である。具体的には、ＭＰＵが内部に備える又はＭＰＵの外部に接続されるＲＯＭ又はフラッシュメモリ等の記憶部に、画像ぶれ判定部１２、補正判定部１３及び補正実行部１４が行う図２のフローチャートに示した処理手順を記録したプログラムを格納しておき、当該プログラムをＭＰＵで実行し、ＭＰＵによる演算処理とＲＡＭ１１の制御を協調して行うことによって、画像ぶれ補正装置１として動作することができる。
【００３８】
図２のフローチャートに示した処理手順を記録したプログラムは、ＲＯＭ又はフラッシュメモリに限らず様々な種類の記憶媒体に格納することが可能であり、また、通信媒体を介して伝達することが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、バッテリバックアップ付きＲＡＭメモリカートリッジ等を含む。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等を含み、インターネットも含まれる。
【００３９】
なお、図２のステップＳ１６では、先頭の画像データをＮ枚重ね合わせることにより明るさを補正する処理を行っているが、これに代えて、上述した輝度データの倍化処理、具体的には先頭の画像データの輝度をＮ倍に倍化する処理を行うことによって補正後の画像データを得ることも可能である。この場合には、倍化処理のための回路が新たに必要であるが、重ね合わせの為のメモリを必要としないという効果がある。
【００４０】
発明の実施の形態２．
本実施の形態にかかる画像ぶれ補正装置２の構成を図４に示す。画像ぶれ補正装置２は、上述した画像ぶれ補正装置１と比べて、補正判定部２３における画像ぶれ補正に使用する画像データの選択手順及び補正実行部２４での画像ぶれ補正に使用する画像データの組合せが相違する。画像ぶれ補正装置２が有する他の構成要素は、上述した画像ぶれ補正装置１が有する構成要素と同一であるため、図４において同一の符号を付して詳細な説明を省略することとする。
【００４１】
本実施の形態の画像ぶれ補正装置２の詳細な処理手順を、図５のフローチャートを用いて説明する。ステップＳ２１では、画像ぶれ検出部１２が、画像ぶれ算出のために比較する２つの画像データをＲＡＭ１１から読み出す。当該ステップは、図２のステップＳ１１と同様である。ステップＳ２２では、読み出した画像データの組合せについて画像ぶれを検出する。当該処理は、図２のステップＳ１２と同様であり、連続するＮフレームの画像データのうち最初に撮影された先頭の画像データと他の画像データとの間で比較を行って画像ぶれを検出する。ステップＳ２３では、ステップＳ２２において検出した画像ぶれが、重ね合わせによる画像ぶれ補正に適するものであるか否かを判定する。当該処理は、図２のステップＳ１３と同様である。
【００４２】
ステップＳ２３において、先頭の画像データとの比較を行った画像データが補正に適した画像データであると判定した場合は、ステップＳ２４に進み、当該画像データを画像ぶれ補正に使用する画像データに選択する。次に、ステップＳ２５に進み、補正判定部２３による判定が最後のＮフレーム目の画像データまで終了していなければステップＳ２１に戻り、まだ判定を実施していない画像データを選択して処理を繰り返す。
【００４３】
ステップＳ２３において補正に適さない画像データの存在を判定することなく、先頭の画像データとその他のＮ−１枚の画像データとの間で動きベクトルの判定が全て終了した場合は、補正実行部１４が、Ｎフレーム全ての画像データを用いて重ね合わせ処理を行う（ステップＳ２６）。
【００４４】
一方、ステップＳ２３において補正に適さない画像データと判定した場合は、その時点で動きベクトルの検出・判定処理を終了して、ステップＳ２６に進む。この場合、ステップＳ２６では、判定を終了するまでに画像ぶれ補正に使用するものとして選択した画像データ及び先頭の画像データを用いて重ね合わせ処理を行う。この場合においても、実施の形態１と同様に、重ね合わせに用いる画像データの枚数に応じて明るさの補正を行うのはいうまでもないことである。
【００４５】
ステップＳ２７では、重ね合わせによる画像ぶれ補正後の画像データを出力して処理を補正終了する。
【００４６】
つまり、画像ぶれ補正装置２は、先頭の画像データから撮影の時系列に沿って動きベクトルの検出・判定処理を行い、先頭からｍ枚目（ｍは２以上かつＮ以下の整数）の画像データが重ね合わせに適さない画像データである場合に、先頭からｍ−１枚目までの画像データの重ね合わせを行って出力するものである。これにより、まず第１に、補正に適さない画像データとの重ね合わせを行わないため、被写体ぶれが強調される等の画質の劣化を抑制することができる。
【００４７】
第２に、上記の発明の実施の形態１の画像ぶれ装置に比べて、より多くの画像データを用いて画像ブレを補正できるため、画像ぶれ補正後の画像データに生じるランダムノイズを軽減して画質を向上することができる。
【００４８】
第３に、重ねあわせ補正に適さない画像データの存在を判定した時点で、その後の動きベクトルの判定を行うことなく補正後の画像データの生成処理に遷移するため、補正後の画像データを速やかに得ることができる。
【００４９】
その他の実施の形態．
上述した画像ぶれ補正装置２は、連続して撮影されたＮフレームのうちの先頭の画像データと、２フレーム目以降のＮ−１枚の画像データとの間で動きベクトルの検出・判定を撮影順序に沿って順次行い、補正に適さない動きベクトルの画像データの存在を判定した時点で、それまでに重ね合わせ可能と判定した画像データ及び先頭の画像データを用いて画像ぶれ補正を行うものである。しかしながら、補正に適さない画像データが存在した場合でも、最後のＮフレーム目の画像データの動きベクトルの検出まで行うこととしてもよい。つまり、図５のフローチャートにおいて、ステップＳ２３のＹｅｓの矢印をＳ２５の前に持ってくるように変更しても良い。このようにすれば、重ね合わせによる補正に使用できない画像データがあった場合でも、補正に適した最大数の画像データを得ることができるので、ランダムノイズの低減という観点からは最大の効果を得ることができる。
【００５０】
連続する画像データの途中に補正に適さない画像データを含む場合でも、その後に撮影された画像データは、図３（ａ）に示したような重ね合わせによる画像ぶれ補正が可能な動きベクトルを有している場合がある。このため、上記の動作によって、重ね合わせに使用する画像データを極力多くできるため、画像ぶれ補正後の画像データのランダムノイズを軽減して画質を向上することができる。
【００５１】
また、上述した発明の実施の形態１及び２では、連続して撮影されたＮフレームのうちの先頭の画像データと、２フレーム目以降のＮ−１枚の画像データとの間で動きベクトルの検出・判定を行うこととした。しかしながら、先頭の画像データと２フレーム目、２フレーム目と３フレーム目といった具合に、時間的に前後に位置する画像データの間で動きベクトルの検出・判定を行うこととしても良い。このような動作によって、例えば、先頭の画像データに特徴点が少なく、動きベクトルの判定に適さない場合に、先頭の画像データを重ね合わせ処理から除外し、その他の画像データによって重ね合わせ処理を行うことが可能となる。
【００５２】
なお、例えばＮ＝４であって、先頭の画像データと２フレーム目の画像データによる補正が可能であり、３フレーム目と４フレーム目の画像データによる補正も可能であるというように、補正可能な画像データの組合せが複数ある場合は、先頭の画像データを含む組合せによって画像ぶれの補正を行うことが望ましい。上述したように、先頭の画像データは、撮像者によってシャッタボタンが押下されたタイミングに最も近い時刻に得られた画像であり、撮影者の意図する画像データである可能性が高いためである。
【００５３】
さらにまた、上述した発明の実施の形態１及び２では、画像データ間の階調変化を検出することによって動きベクトルを算出し、画像ぶれの特性を判定することとした。しかしながら、撮像部１００及び画像ぶれ補正装置１及び２が搭載されたカメラのぶれを、加速度センサによって検出し、検出した加速度から、画像データの動きベクトルを求めることとしてもよい。
【００５４】
本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００５５】
【図１】本発明にかかる画像ぶれ補正装置の機能ブロック図である。
【図２】本発明にかかる画像ぶれ補正処理を示すフローチャートである。
【図３】本発明の画像ぶれ補正装置が行う動きベクトル判定処理を説明するための図である。
【図４】本発明にかかる画像ぶれ補正装置の機能ブロック図である。
【図５】本発明にかかる画像ぶれ補正処理を示すフローチャートである。
【符号の説明】
【００５６】
１、２ 画像ぶれ補正装置
１１ ＲＡＭ
１２ 画像ぶれ検出部
１３、２３ 補正判定部
１４、２４ 補正実行部
１００ 撮像部
１０１ 撮像素子
１０２ 信号処理部
【技術分野】
【０００１】
本発明は、撮像された画像データに生じる画像ぶれを補正する画像処理技術に関する。
【背景技術】
【０００２】
ＣＣＤ（Charge Coupled Device）等の撮像素子によって得た電気信号をデジタル信号に変換して画像データを得る撮像装置において、撮影者の手ぶれ等に起因して画像データに生じるぶれ（以下、画像ぶれと呼ぶ）を補正する技術が従来から知られている。このような画像ぶれ補正技術としては、画像ぶれ量の検出方法や、検出した動きベクトルを用いて画像ぶれを補正する画像処理方法の異なる様々な技術が提案されている。
【０００３】
このうち、静止画撮影を行う撮像装置によって得られた画像データの画像ぶれを補正する画像処理装置の一般的な動作は、概ね以下のようなる。まず、撮影者のシャッタ操作に応じて連続して撮影された複数フレームの画像データを入力する。次に、得られた複数フレームの画像データを比較して、画像ぶれの向き及び大きさ（以下、動きベクトルと呼ぶ）を算出する。最後に、算出した動きベクトルを打ち消すように画素位置をずらして複数の画像データを重ね合わせることにより、画像ぶれを軽減した画像を得る。
【０００４】
例えば、特許文献１には、隣接する画素との画素値の差が大きい画素を特徴画素として抽出し、複数枚の画像データ間で特徴画素の位置ずれを評価し、特徴画素の位置ずれを補正するように画素位置を上下左右にずらした状態で、これら複数枚の画像データの重ねあわせを行う画像処理装置が開示されている。
【０００５】
また、動きベクトルを算出する方法も様々なものが提案されている。特許文献１の画像処理装置のように特徴画素の動きを評価して動きベクトルを求めるものの他、例えば、画像データを複数のブロックに分割し、ブロック毎の画素値の相関から動きベクトルを算出する方法がある（例えば、特許文献２及び３を参照）。
【０００６】
またさらに、算出した動きベクトルの向き等から画像ぶれの特性を判定する方法も従来から提案されている。例えば、特許文献４には、撮影した画像データに対して算出した動きベクトルを周辺の動きベクトルと比較することにより、撮影画像中を移動物体が横切るような画像ぶれ特性であることを判定した場合には、画像ぶれの補正を行わないとする撮像装置が開示されている。
【特許文献１】特開２００５−２９５３０２号公報
【特許文献２】特開平８−１６３５６６号公報
【特許文献３】特開平７−１７７４２５号公報
【特許文献４】特開平８−１６３５６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
複数フレームの画像データを重ね合わせることによって画像ぶれを補正する際には、複数の画像データの中に、重ね合わせによる画像ぶれ補正に適さない画像データが含まれる場合がある。重ね合わせによる画像ぶれ補正に適さない画像データとは、例えば、画像データの空間周波数が全体的に高い又は低いことにより特徴点となる画素が少なく動きベクトルの検出ができない画像データ又は撮像中の一部分のみが移動している画像や回転方向の手ぶれを伴う画像データ等である。このような画像データを含む複数の画像データの重ね合わせによる補正を行うと、画像ぶれ補正後の画像が人の目から見て不自然な状態となり、画質が劣化してしまう。
【０００８】
このように、複数の画像データの重ね合わせによって画像ぶれを補正する場合に、複数の画像データの中に補正に適さない画像が含まれていると画像ぶれ補正後に得られる画像データの画質が劣化するという課題がある。
【課題を解決するための手段】
【０００９】
本発明にかかる画像ぶれ補正装置は、複数の画像データ間の画像ぶれ量を検出する検出部と、前記画像ぶれ量の検出結果に基づいて、前記複数の画像データから補正に使用する画像データを選択する判定部と、前記判定部によって選択された画像データを用いて画像ぶれ補正後の画像データを生成する補正部とを備えるものである。
【００１０】
このような構成により、複数の画像データの中に補正に適さない画像が含まれている場合に、この画像データを除外した残りの画像データを補正に使用する画像データに選択することができる。これにより、補正に適する画像データを選択して画像ぶれ補正を行うことができ、補正後の画像データの画質の劣化を抑制することができる。
【発明の効果】
【００１１】
本発明により、複数の画像データの重ね合わせによって画像ぶれを補正しようとする場合に、複数の画像データの中に補正に適さない画像が含まれていても、補正後の画像データの画質の劣化を抑制することができる。
【発明を実施するための最良の形態】
【００１２】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００１３】
発明の実施の形態１．
本実施の形態にかかる画像ぶれ補正装置１の構成を図１に示す。画像ぶれ補正装置１は、撮像部１００とともにデジタルカメラ等の静止画撮影を行う電子機器に搭載されるものである。ここで、撮像部１００は、ＣＣＤ等の撮像素子１０１及び撮像素子１０１によって得られたアナログ画像データをデジタル画像データに変換し、ホワイトバランスの調整、画素毎にＲＧＢ信号を得るための補間処理等を行って、ＲＧＢ画像データを出力する信号処理部１０２を備えている。なお、撮像部１００は、この他にも撮像素子１０１の露光時間を制御する電子シャッタ機構、絞り制御機構、撮像信号の信号レベルを調整する利得制御機構等を備えている。
【００１４】
撮像部１００は、操作者がカメラのシャッタボタンを押下する動作に応じて、電子シャッタのシャッタスピードを制御してＮフレームの撮像を行う。ここで、Ｎは２以上の整数である。つまり、撮像部１００は、規定のシャッタスピードのＮ倍のシャッタスピードで撮像を行う。ここで、規定のシャッタスピードとは、カメラ操作者が想定するシャッタスピード（マニュアル設定の場合）又は、デジタルカメラ等で予め設定されたシャッタスピード（自動設定の場合）であり、以下ではこれらをまとめて規定のシャッタスピードと呼ぶ。例えば、規定のシャッタスピードを１／３０秒、撮像フレーム数Ｎを４とすると、撮像部１００は、シャッタスピードを４倍の１／１２０秒として４フレームを撮影する。シャッタスピードを上げて撮像したＮ枚の画像データは、いわゆる露出アンダーとなっているが、画像ぶれ補正装置１において、これらの画像データの重ね合わせ処理又は輝度データの倍化処理を行うことにより、露出が適正であり、かつ、ランダムノイズ及び画像ぶれが軽減された画像データを得ることができる。
【００１５】
画像ぶれ補正装置１が有するＲＡＭ（Random Access Memory）１１は、撮像部１００が連続して撮像したＮフレームの画像データを格納可能なメモリである。
【００１６】
画像ぶれ検出部１２は、ＲＡＭ１１に格納されたＮフレームの画像データを比較し、画像データ間の画像ぶれ量を検出する。なお、画像ぶれ量の検出を行う際は、画像データ中のＲＧＢの３色全てについて行う必要はなく、これらから選択した１色を用いて行えば良い。この場合、Ｇ信号は他の２つに比べて人の視感度が高く、最も輝度信号に近似しているため、Ｇ信号を選択して行うと良い。なお、Ｒ信号、Ｇ信号及びＢ信号で構成された画像データを輝度信号と色差信号に変換し、画像データ間で輝度信号を比較することによって画像ぶれを検出してもよい。
【００１７】
補正判定部１３は、画像ぶれ検出部１２が検出した画像ぶれの特性に応じて、後述する補正実行部１４での画像ぶれ補正に使用する画像データをＲＡＭ１１に格納されたＮフレームの画像データから選択し、選択した画像データを補正実行部１４に通知する制御信号を出力する。なお、選択した画像データが連続するＮフレームの何フレーム目であるか又は選択した画像データ数によって補正実行部１４の処理を変更する場合には、選択した画像データの情報と合わせて又はこれに代えて、補正実行部１４に適用する補正方法を補正実行部１４に通知することとしてもよい。
【００１８】
補正実行部１４は、補正判定部１３から入力された制御信号に応じて、重ね合わせによる画像ぶれ補正に使用する画像データをＲＡＭ１１から選択し、画像ぶれ検出部１２が検出した画像ぶれを打ち消すように画素位置をずらした状態で、選択した画像データの重ねあわせを行う。また、補正実行部１４は、重ねあわせによって生成した画像ぶれ補正後の画像データを外部のメモリ等に出力する。
【００１９】
なお、Ｎフレームの画像データから選択したＮフレーム未満の画像データを重ね合わせて画像データを生成する場合、補正後の画像データの明るさが、規定シャッタスピードで通常撮影した明るさ、つまり、Ｎフレームの画像データを重ね合わせた画像データの明るさに等しくなるように、補正後の画像データの明るさを補正する。言い換えれば、補正後の画像データの露出時間が、規定のシャッタスピードに相当する露出時間となるよう調整する。
【００２０】
具体的には、選択した画像データが１フレームの場合、選択した画像データの明るさをＮ倍、つまり、選択した画像データをＮ枚重ね合わせて補正後の画像データとする。また、Ｎが４以上であり、選択した画像データが３枚であれば、例えば、３枚の画像のうち任意の画像を２回、またそれ以上重ね合わせることで、全体としてＮフレームの画像データとなるようにすれば良い。より具体的に述べると例えば、Ａ、Ｂ、Ｃの３枚の画像データで４フレーム作成する場合には、いずれかの画像データを２回用いれば良い。更に同じ画像データで５フレーム分の重ね合わせを行う必要がある場合には、いずれか２枚の画像データを２回用いても良いし、いずれか１枚の画像データを３回用いて他は１回のみ用いると言うようにしても良い。
【００２１】
もう一つの明るさ補正の方法は、Ｎが４以上であり、選択した画像データが３枚である場合に、３枚を重ね合わせた画像データの明るさをＮ／３倍して補正後の画像データとすることである。具体的には、図示しない増幅装置（例えばデジタルゲイン回路）などにより各画素の輝度データを一様な倍率で増幅するという方法により実現することができる。
【００２２】
このような、明るさの補正を行うことによって、補正に使用する画像データの枚数によらず、規定のシャッタスピードで通常期待した明るさと同じ明るさの画像データを生成することができる。これにより、デジタルカメラ等の利用者から見て自然な画像を得ることができ、実用上の効果は大きい。
【００２３】
続いて、本実施の形態の画像ぶれ補正装置１の詳細な処理手順を、図２のフローチャートを用いて説明する。なお、図２のフローチャートは、Ｎフレームの画像データの中に補正に適さない画像データが１枚でも存在することを補正判定部１３において判定した場合に、Ｎフレームのうち先頭フレームの画像データを用いて補正後の画像データを生成する処理を示している。
【００２４】
ステップＳ１１では、画像ぶれ検出部１２が、画像ぶれ検出のために比較する２つの画像データをＲＡＭ１１から読み出す。比較する画像データの組合せは様々な組合せをとることができる。ここでは、連続するＮフレームの画像データのうち最初に撮影された先頭の画像データと他の画像データとの間で比較を行って画像ぶれを検出することとし、Ｎ−１通りの画像データの組合せについて順次比較を行うものとする。
【００２５】
ステップＳ１２では、読み出した画像データの組合せについて画像ぶれ量を検出する。ここで、画像ぶれ量の検出には、上述した特許文献１乃至４に開示された動きベクトルを算出する手順によって行うことができる。例えば、画像データに含まれる画素をブロックに分割し、ブロック単位の動きベクトルを検出することとすれば良い。
【００２６】
ステップＳ１３では、ステップＳ１２において検出した画像ぶれが、重ね合わせによる補正に適するものであるか否かを判定する。具体的には、ステップＳ１２で算出したブロック毎の動きベクトルの向き及び大きさが画像データ全体で一様である場合は、先頭フレームと比較した他のフレームの画像データは、先頭フレームの画像データとの重ね合わせによる補正に適した画像データと判定する。動きベクトルが画像データ全体で一様であれば、例えば、ブロック毎に算出した動きベクトルの平均値を画像全体の動きベクトルとし、この動きベクトルを相殺するように画素位置をずらして画像の重ねあわせを行うことにより、画像ぶれを補正することができる。
【００２７】
動きベクトルが一様な場合とは、図３（ａ）に示すような場合である。図３（ａ）は、画像データの動きベクトルを示す図であり、Ｘ方向に９ブロック、Ｙ方向に７ブロックに分割して動きブロックの算出を行った例を示している。図３（ａ）の動きベクトルは、画像全体において、右下方向に一定の大きさを有するものである。
【００２８】
一方、図３（ｂ）に示すように、画像の中心部分の動きベクトルが周辺のブロックと異なる動きを示す場合は、被写体が動いていること又は撮影者が意図的にカメラの光軸を移動する流し撮り（panning）を行っていること等が想定される。このような動きベクトルを示す画像データの組合せによって重ね合わせによる画像ぶれ補正を実行すると、被写体のぶれが強調され、撮影者が期待する画像とかけ離れた品質の画像データとなる可能性が高い。したがって、動きベクトルが図３（ｂ）のような振る舞いを示す場合は、先頭フレームと比較した他の画像データを補正に適さない画像データと判定する。
【００２９】
また、図３（ｃ）に示すように、動きベクトルが回転方向の画像ぶれを示している場合にも、先頭フレームと比較した他の画像データを補正に適さない画像データと判定する。なお、補正実行部１４において、回転を示す動きベクトルを打ち消すように画像データを回転して重ね合わせることが可能である場合は、補正に適した画像データと判定してもよい。
【００３０】
ステップＳ１３において、先頭の画像データとの比較を行った画像データが補正に適した画像データであると判定した場合は、ステップＳ１４に進む。ステップＳ１４では、最後のＮフレーム目の画像データまで補正判定部１３による判定が終了していなければステップＳ１１に戻り、まだ判定を実施していない画像データを選択して処理を繰り返す。
【００３１】
先頭の画像データとその他のＮ−１枚の画像データとの間で動きベクトルの判定が終了した場合は、補正実行部１４が、Ｎフレーム全ての画像データを用いて重ね合わせ処理を行う（ステップＳ１５）。
【００３２】
一方、ステップＳ１３において補正に適さない画像データと判定した場合は、動きベクトルの検出・判定処理を終了し、先頭の画像データの明るさをＮ倍し、つまり、先頭の画像データをＮ枚重ね合わせたものを補正後の画像データとする（ステップＳ１６）。
【００３３】
ステップＳ１７では、重ね合わせによる画像ぶれ補正後の画像データを出力して処理を補正終了する。
【００３４】
このように、画像ぶれ補正を行うために撮影されたＮ枚の画像データの中に重ね合わせに適さない画像データが含まれている場合に、先頭の画像データをＮ枚重ね合わせて出力することにより、規定のシャッタスピードで撮影を行った場合に比べて、画像ぶれを小さくすることができる。これに加えて、さらに以下に列挙する効果を得ることができる。まず、第１に、補正に適さない画像データとの重ね合わせを行わないため、被写体ぶれが強調される等の画質の劣化を抑制することができる。
【００３５】
第２に、先頭の画像データを選択することにより、撮影者がシャッタボタンを押したタイミングからのズレが最も小さい画像を生成することができる。
【００３６】
第３に、補正に使用する画像データを予め定めておくことにより、図２のフローチャートに示したように、重ねあわせ補正に適さない画像データの存在を判定した時点で、その後の動きベクトルの判定を行うことなく補正後の画像データの生成処理に遷移することが可能となる。これにより、補正後の画像データを速やかに得ることができる。
【００３７】
なお、本実施の形態にかかる画像ぶれ補正装置１は、プログラムを実行するＭＰＵ（Micro Processing Unit）を有するコンピュータ・システムにより構成することが可能である。具体的には、ＭＰＵが内部に備える又はＭＰＵの外部に接続されるＲＯＭ又はフラッシュメモリ等の記憶部に、画像ぶれ判定部１２、補正判定部１３及び補正実行部１４が行う図２のフローチャートに示した処理手順を記録したプログラムを格納しておき、当該プログラムをＭＰＵで実行し、ＭＰＵによる演算処理とＲＡＭ１１の制御を協調して行うことによって、画像ぶれ補正装置１として動作することができる。
【００３８】
図２のフローチャートに示した処理手順を記録したプログラムは、ＲＯＭ又はフラッシュメモリに限らず様々な種類の記憶媒体に格納することが可能であり、また、通信媒体を介して伝達することが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、バッテリバックアップ付きＲＡＭメモリカートリッジ等を含む。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等を含み、インターネットも含まれる。
【００３９】
なお、図２のステップＳ１６では、先頭の画像データをＮ枚重ね合わせることにより明るさを補正する処理を行っているが、これに代えて、上述した輝度データの倍化処理、具体的には先頭の画像データの輝度をＮ倍に倍化する処理を行うことによって補正後の画像データを得ることも可能である。この場合には、倍化処理のための回路が新たに必要であるが、重ね合わせの為のメモリを必要としないという効果がある。
【００４０】
発明の実施の形態２．
本実施の形態にかかる画像ぶれ補正装置２の構成を図４に示す。画像ぶれ補正装置２は、上述した画像ぶれ補正装置１と比べて、補正判定部２３における画像ぶれ補正に使用する画像データの選択手順及び補正実行部２４での画像ぶれ補正に使用する画像データの組合せが相違する。画像ぶれ補正装置２が有する他の構成要素は、上述した画像ぶれ補正装置１が有する構成要素と同一であるため、図４において同一の符号を付して詳細な説明を省略することとする。
【００４１】
本実施の形態の画像ぶれ補正装置２の詳細な処理手順を、図５のフローチャートを用いて説明する。ステップＳ２１では、画像ぶれ検出部１２が、画像ぶれ算出のために比較する２つの画像データをＲＡＭ１１から読み出す。当該ステップは、図２のステップＳ１１と同様である。ステップＳ２２では、読み出した画像データの組合せについて画像ぶれを検出する。当該処理は、図２のステップＳ１２と同様であり、連続するＮフレームの画像データのうち最初に撮影された先頭の画像データと他の画像データとの間で比較を行って画像ぶれを検出する。ステップＳ２３では、ステップＳ２２において検出した画像ぶれが、重ね合わせによる画像ぶれ補正に適するものであるか否かを判定する。当該処理は、図２のステップＳ１３と同様である。
【００４２】
ステップＳ２３において、先頭の画像データとの比較を行った画像データが補正に適した画像データであると判定した場合は、ステップＳ２４に進み、当該画像データを画像ぶれ補正に使用する画像データに選択する。次に、ステップＳ２５に進み、補正判定部２３による判定が最後のＮフレーム目の画像データまで終了していなければステップＳ２１に戻り、まだ判定を実施していない画像データを選択して処理を繰り返す。
【００４３】
ステップＳ２３において補正に適さない画像データの存在を判定することなく、先頭の画像データとその他のＮ−１枚の画像データとの間で動きベクトルの判定が全て終了した場合は、補正実行部１４が、Ｎフレーム全ての画像データを用いて重ね合わせ処理を行う（ステップＳ２６）。
【００４４】
一方、ステップＳ２３において補正に適さない画像データと判定した場合は、その時点で動きベクトルの検出・判定処理を終了して、ステップＳ２６に進む。この場合、ステップＳ２６では、判定を終了するまでに画像ぶれ補正に使用するものとして選択した画像データ及び先頭の画像データを用いて重ね合わせ処理を行う。この場合においても、実施の形態１と同様に、重ね合わせに用いる画像データの枚数に応じて明るさの補正を行うのはいうまでもないことである。
【００４５】
ステップＳ２７では、重ね合わせによる画像ぶれ補正後の画像データを出力して処理を補正終了する。
【００４６】
つまり、画像ぶれ補正装置２は、先頭の画像データから撮影の時系列に沿って動きベクトルの検出・判定処理を行い、先頭からｍ枚目（ｍは２以上かつＮ以下の整数）の画像データが重ね合わせに適さない画像データである場合に、先頭からｍ−１枚目までの画像データの重ね合わせを行って出力するものである。これにより、まず第１に、補正に適さない画像データとの重ね合わせを行わないため、被写体ぶれが強調される等の画質の劣化を抑制することができる。
【００４７】
第２に、上記の発明の実施の形態１の画像ぶれ装置に比べて、より多くの画像データを用いて画像ブレを補正できるため、画像ぶれ補正後の画像データに生じるランダムノイズを軽減して画質を向上することができる。
【００４８】
第３に、重ねあわせ補正に適さない画像データの存在を判定した時点で、その後の動きベクトルの判定を行うことなく補正後の画像データの生成処理に遷移するため、補正後の画像データを速やかに得ることができる。
【００４９】
その他の実施の形態．
上述した画像ぶれ補正装置２は、連続して撮影されたＮフレームのうちの先頭の画像データと、２フレーム目以降のＮ−１枚の画像データとの間で動きベクトルの検出・判定を撮影順序に沿って順次行い、補正に適さない動きベクトルの画像データの存在を判定した時点で、それまでに重ね合わせ可能と判定した画像データ及び先頭の画像データを用いて画像ぶれ補正を行うものである。しかしながら、補正に適さない画像データが存在した場合でも、最後のＮフレーム目の画像データの動きベクトルの検出まで行うこととしてもよい。つまり、図５のフローチャートにおいて、ステップＳ２３のＹｅｓの矢印をＳ２５の前に持ってくるように変更しても良い。このようにすれば、重ね合わせによる補正に使用できない画像データがあった場合でも、補正に適した最大数の画像データを得ることができるので、ランダムノイズの低減という観点からは最大の効果を得ることができる。
【００５０】
連続する画像データの途中に補正に適さない画像データを含む場合でも、その後に撮影された画像データは、図３（ａ）に示したような重ね合わせによる画像ぶれ補正が可能な動きベクトルを有している場合がある。このため、上記の動作によって、重ね合わせに使用する画像データを極力多くできるため、画像ぶれ補正後の画像データのランダムノイズを軽減して画質を向上することができる。
【００５１】
また、上述した発明の実施の形態１及び２では、連続して撮影されたＮフレームのうちの先頭の画像データと、２フレーム目以降のＮ−１枚の画像データとの間で動きベクトルの検出・判定を行うこととした。しかしながら、先頭の画像データと２フレーム目、２フレーム目と３フレーム目といった具合に、時間的に前後に位置する画像データの間で動きベクトルの検出・判定を行うこととしても良い。このような動作によって、例えば、先頭の画像データに特徴点が少なく、動きベクトルの判定に適さない場合に、先頭の画像データを重ね合わせ処理から除外し、その他の画像データによって重ね合わせ処理を行うことが可能となる。
【００５２】
なお、例えばＮ＝４であって、先頭の画像データと２フレーム目の画像データによる補正が可能であり、３フレーム目と４フレーム目の画像データによる補正も可能であるというように、補正可能な画像データの組合せが複数ある場合は、先頭の画像データを含む組合せによって画像ぶれの補正を行うことが望ましい。上述したように、先頭の画像データは、撮像者によってシャッタボタンが押下されたタイミングに最も近い時刻に得られた画像であり、撮影者の意図する画像データである可能性が高いためである。
【００５３】
さらにまた、上述した発明の実施の形態１及び２では、画像データ間の階調変化を検出することによって動きベクトルを算出し、画像ぶれの特性を判定することとした。しかしながら、撮像部１００及び画像ぶれ補正装置１及び２が搭載されたカメラのぶれを、加速度センサによって検出し、検出した加速度から、画像データの動きベクトルを求めることとしてもよい。
【００５４】
本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００５５】
【図１】本発明にかかる画像ぶれ補正装置の機能ブロック図である。
【図２】本発明にかかる画像ぶれ補正処理を示すフローチャートである。
【図３】本発明の画像ぶれ補正装置が行う動きベクトル判定処理を説明するための図である。
【図４】本発明にかかる画像ぶれ補正装置の機能ブロック図である。
【図５】本発明にかかる画像ぶれ補正処理を示すフローチャートである。
【符号の説明】
【００５６】
１、２ 画像ぶれ補正装置
１１ ＲＡＭ
１２ 画像ぶれ検出部
１３、２３ 補正判定部
１４、２４ 補正実行部
１００ 撮像部
１０１ 撮像素子
１０２ 信号処理部
【特許請求の範囲】
【請求項１】
複数の画像データ間の画像ぶれ量を検出する検出部と、
前記画像ぶれ量の検出結果に基づいて、前記複数の画像データから補正に使用する画像データを選択する判定部と、
前記判定部によって選択された画像データを用いて画像ぶれ補正後の画像データを生成する補正部とを備える画像ぶれ補正装置。
【請求項２】
前記補正部は、前記補正後の画像データの明るさを、前記選択された画像データの数に依らず所定の明るさに調整する請求項１に記載の画像ぶれ補正装置。
【請求項３】
前記補正部は、前記画像ぶれ量を打ち消すように前記選択された画像データを重ね合わせることにより、前記補正後の画像データを生成する請求項１又は２に記載の画像ぶれ補正装置。
【請求項４】
前記複数の画像データがＮ（Ｎは２以上の整数）枚の画像データであり、前記選択された画像データの数がＮ−１枚以下であるとき、
前記補正部は、前記選択された画像データの一部又は全部を複数回重ね合わせることにより、Ｎ枚の画像データの重ね合わせを行って前記補正後の画像データを生成する請求項３に記載の画像ぶれ補正装置。
【請求項５】
前記判定部は、前記複数の画像データ中に画像ぶれ補正に適さない画像データが含まれることを判定すると、前記複数の画像データから１枚の画像データを選択して前記補正に使用する画像データとする請求項１又は２に記載の画像ぶれ補正装置。
【請求項６】
前記複数の画像データは、連続して撮影された画像データであり、
前記１枚の画像データは、前記連続して撮影された画像データうち最初に撮影された画像データである請求項５に記載の画像ぶれ補正装置。
【請求項７】
前記複数の画像データは、連続して撮影されたＮ（Ｎは２以上の整数）枚の画像データであり、
前記検出部は、前記Ｎ枚の画像データのうちの先頭の画像データと、他のＮ−１枚の画像データとの間で画像ぶれ量を検出し、
前記判定部は、前記先頭の画像データ及び前記先頭の画像データに重ね合わせることにより前記画像ずれ量を補正可能な画像データを、前記補正に使用する画像データと
する請求項３に記載の画像ぶれ補正装置。
【請求項８】
前記判定部は、
前記先頭の画像データとの重ね合わせによる画像ぶれ補正に適するか否かを、前記先頭の画像データに連続して撮影された画像データから撮影の時系列に沿って判定し、
補正に不適な画像データが先頭からｍ（ｍは２以上かつＮ以下の整数）枚目に存在すると、前記先頭の画像データからｍ−１枚目の画像データまでを前記補正に使用する画像データとする請求項７に記載の画像ぶれ補正装置。
【請求項９】
前記複数の画像データは、連続して撮影された画像データであり、
前記検出部は、連続する２枚の画像データの間で順次画像ぶれ量の検出を行う請求項１又は２に記載の画像ぶれ補正装置。
【請求項１０】
複数の画像データを用いて画像ぶれを補正する画像ぶれ補正方法であって、
前記複数の画像データのうち、画像ぶれ補正不可と判定された画像データを用いずに画像ぶれ補正を行うことを特徴とする画像ぶれ補正方法。
【請求項１１】
前記複数の画像データ間の画像ぶれ量を検出し、
前記画像ぶれ量の検出結果に基づいて、画像ぶれの補正に適するか否かを判定し、
前記画像ぶれ補正に適すると判定した画像データを補正に使用する画像データに選択し、
前記画像ぶれ量を打ち消すように前記選択した画像データを重ね合わせることにより、画像ぶれ補正後の画像データを生成する請求項１０に記載の画像ぶれ補正方法。
【請求項１２】
前記複数の画像データは、連続して撮影された画像データであり、
前記判定において、前記複数の画像データ中に画像ぶれ補正に適さない画像データが含まれることを判定すると、前記連続して撮影された画像データうち最初に撮影された画像データのみを選択して画像ぶれ補正を行う請求項１１に記載の画像ぶれ補正方法。
【請求項１３】
前記補正後の画像データの明るさを、前記選択された画像データの数に依らず所定の明るさに調整する請求項１１に記載の画像ぶれ補正方法。
【請求項１４】
前記複数の画像データは、連続して撮影されたＮ（Ｎは２以上の整数）枚の画像データであり、
前記Ｎ枚の画像データのうちの先頭の画像データと、他のＮ−１枚の画像データとの間で画像ぶれ量を検出し、
前記画像ぶれ量の検出結果に基づいて、前記先頭の画像データ及び前記先頭の画像データに重ね合わせることにより前記画像ずれ量を補正可能な画像データを、前記補正に使用する画像データに選択し、
前記選択した画像データを重ね合わせることにより、画像ぶれ補正後の画像データを生成する請求項１０に記載の画像ぶれ補正方法。
【請求項１５】
複数の画像データを用いた画像ぶれ補正処理をコンピュータに実行させるためのコンピュータプログラムであって、前記画像ぶれ補正処理は、
記憶部に格納された前記複数の画像データを読み出して前記複数の画像データ間の画像ぶれ量を検出し、
前記画像ぶれ量の検出結果に基づいて、画像ぶれの補正に適するか否かを判定し、
前記画像ぶれ補正に適すると判定した画像データを補正に使用する画像データに選択し、
前記画像ぶれ量を打ち消すように前記選択した画像データを重ね合わせ、画像ぶれ補正後の画像データを生成することを特徴とするコンピュータプログラム。
【請求項１６】
前記複数の画像データは、連続して撮影された画像データであり、
前記判定において、前記複数の画像データ中に画像ぶれ補正に適さない画像データが含まれることを判定すると、前記連続して撮影された画像データうち最初に撮影された画像データのみを選択して画像ぶれ補正を行う請求項１５に記載のコンピュータプログラム。
【請求項１】
複数の画像データ間の画像ぶれ量を検出する検出部と、
前記画像ぶれ量の検出結果に基づいて、前記複数の画像データから補正に使用する画像データを選択する判定部と、
前記判定部によって選択された画像データを用いて画像ぶれ補正後の画像データを生成する補正部とを備える画像ぶれ補正装置。
【請求項２】
前記補正部は、前記補正後の画像データの明るさを、前記選択された画像データの数に依らず所定の明るさに調整する請求項１に記載の画像ぶれ補正装置。
【請求項３】
前記補正部は、前記画像ぶれ量を打ち消すように前記選択された画像データを重ね合わせることにより、前記補正後の画像データを生成する請求項１又は２に記載の画像ぶれ補正装置。
【請求項４】
前記複数の画像データがＮ（Ｎは２以上の整数）枚の画像データであり、前記選択された画像データの数がＮ−１枚以下であるとき、
前記補正部は、前記選択された画像データの一部又は全部を複数回重ね合わせることにより、Ｎ枚の画像データの重ね合わせを行って前記補正後の画像データを生成する請求項３に記載の画像ぶれ補正装置。
【請求項５】
前記判定部は、前記複数の画像データ中に画像ぶれ補正に適さない画像データが含まれることを判定すると、前記複数の画像データから１枚の画像データを選択して前記補正に使用する画像データとする請求項１又は２に記載の画像ぶれ補正装置。
【請求項６】
前記複数の画像データは、連続して撮影された画像データであり、
前記１枚の画像データは、前記連続して撮影された画像データうち最初に撮影された画像データである請求項５に記載の画像ぶれ補正装置。
【請求項７】
前記複数の画像データは、連続して撮影されたＮ（Ｎは２以上の整数）枚の画像データであり、
前記検出部は、前記Ｎ枚の画像データのうちの先頭の画像データと、他のＮ−１枚の画像データとの間で画像ぶれ量を検出し、
前記判定部は、前記先頭の画像データ及び前記先頭の画像データに重ね合わせることにより前記画像ずれ量を補正可能な画像データを、前記補正に使用する画像データと
する請求項３に記載の画像ぶれ補正装置。
【請求項８】
前記判定部は、
前記先頭の画像データとの重ね合わせによる画像ぶれ補正に適するか否かを、前記先頭の画像データに連続して撮影された画像データから撮影の時系列に沿って判定し、
補正に不適な画像データが先頭からｍ（ｍは２以上かつＮ以下の整数）枚目に存在すると、前記先頭の画像データからｍ−１枚目の画像データまでを前記補正に使用する画像データとする請求項７に記載の画像ぶれ補正装置。
【請求項９】
前記複数の画像データは、連続して撮影された画像データであり、
前記検出部は、連続する２枚の画像データの間で順次画像ぶれ量の検出を行う請求項１又は２に記載の画像ぶれ補正装置。
【請求項１０】
複数の画像データを用いて画像ぶれを補正する画像ぶれ補正方法であって、
前記複数の画像データのうち、画像ぶれ補正不可と判定された画像データを用いずに画像ぶれ補正を行うことを特徴とする画像ぶれ補正方法。
【請求項１１】
前記複数の画像データ間の画像ぶれ量を検出し、
前記画像ぶれ量の検出結果に基づいて、画像ぶれの補正に適するか否かを判定し、
前記画像ぶれ補正に適すると判定した画像データを補正に使用する画像データに選択し、
前記画像ぶれ量を打ち消すように前記選択した画像データを重ね合わせることにより、画像ぶれ補正後の画像データを生成する請求項１０に記載の画像ぶれ補正方法。
【請求項１２】
前記複数の画像データは、連続して撮影された画像データであり、
前記判定において、前記複数の画像データ中に画像ぶれ補正に適さない画像データが含まれることを判定すると、前記連続して撮影された画像データうち最初に撮影された画像データのみを選択して画像ぶれ補正を行う請求項１１に記載の画像ぶれ補正方法。
【請求項１３】
前記補正後の画像データの明るさを、前記選択された画像データの数に依らず所定の明るさに調整する請求項１１に記載の画像ぶれ補正方法。
【請求項１４】
前記複数の画像データは、連続して撮影されたＮ（Ｎは２以上の整数）枚の画像データであり、
前記Ｎ枚の画像データのうちの先頭の画像データと、他のＮ−１枚の画像データとの間で画像ぶれ量を検出し、
前記画像ぶれ量の検出結果に基づいて、前記先頭の画像データ及び前記先頭の画像データに重ね合わせることにより前記画像ずれ量を補正可能な画像データを、前記補正に使用する画像データに選択し、
前記選択した画像データを重ね合わせることにより、画像ぶれ補正後の画像データを生成する請求項１０に記載の画像ぶれ補正方法。
【請求項１５】
複数の画像データを用いた画像ぶれ補正処理をコンピュータに実行させるためのコンピュータプログラムであって、前記画像ぶれ補正処理は、
記憶部に格納された前記複数の画像データを読み出して前記複数の画像データ間の画像ぶれ量を検出し、
前記画像ぶれ量の検出結果に基づいて、画像ぶれの補正に適するか否かを判定し、
前記画像ぶれ補正に適すると判定した画像データを補正に使用する画像データに選択し、
前記画像ぶれ量を打ち消すように前記選択した画像データを重ね合わせ、画像ぶれ補正後の画像データを生成することを特徴とするコンピュータプログラム。
【請求項１６】
前記複数の画像データは、連続して撮影された画像データであり、
前記判定において、前記複数の画像データ中に画像ぶれ補正に適さない画像データが含まれることを判定すると、前記連続して撮影された画像データうち最初に撮影された画像データのみを選択して画像ぶれ補正を行う請求項１５に記載のコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−１２９４７６（Ｐ２００７−１２９４７６Ａ）
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願番号】特願２００５−３１９９８６（Ｐ２００５−３１９９８６）
【出願日】平成１７年１１月２日（２００５．１１．２）
【出願人】（３０２０６２９３１）ＮＥＣエレクトロニクス株式会社 (8,021)
【出願人】（０００２４２６６６）北陸日本電気ソフトウェア株式会社 (11)
【Ｆターム（参考）】
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願日】平成１７年１１月２日（２００５．１１．２）
【出願人】（３０２０６２９３１）ＮＥＣエレクトロニクス株式会社 (8,021)
【出願人】（０００２４２６６６）北陸日本電気ソフトウェア株式会社 (11)
【Ｆターム（参考）】
[ Back to top ]