画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
【課題】複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行う。
【解決手段】撮像素子の撮像部１０に対する設置状態を示す設置情報を、撮像素子ごとに取得する設置情報取得部４０と、第１フレーム画像及び第２フレーム画像間における撮像装置の動き情報を取得する動き情報取得部３０と、第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する出力領域取得部５０と、を備え、出力領域取得部５０は、複数の撮像素子のうち基準となる基準撮像素子の第２出力領域を、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得し、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域を、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得する。
【解決手段】撮像素子の撮像部１０に対する設置状態を示す設置情報を、撮像素子ごとに取得する設置情報取得部４０と、第１フレーム画像及び第２フレーム画像間における撮像装置の動き情報を取得する動き情報取得部３０と、第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する出力領域取得部５０と、を備え、出力領域取得部５０は、複数の撮像素子のうち基準となる基準撮像素子の第２出力領域を、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得し、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域を、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関するものである。
【背景技術】
【０００２】
従来、撮像した動画フレーム間の動きデータに基づいて動画の補正処理を行う装置が知られている。例えば、下記特許文献１には、基準画像と比較画像間の動きデータを算出し、動きデータによって対応付けられるブロックごとに画像間の画素値の差分を算出し、その画素値の差分に基づいて、基準画像と比較画像の重ね合わせ比率をブロックごとに決定し、重ね合わせ処理を行って合成画像を得ることで、より鮮明な手ぶれ補正画像を得る装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１６４８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、複数のカメラにより撮影された画像を合成することで奥行きを持つ立体画像を取得する技術が知られている。また、このような立体画像を連続して撮像、表示することにより立体動画を取得する技術も知られている。このような立体動画では、通常の動画と同様に、手ぶれ補正や歪み補正等の補正処理を行うことが要請されている。複数の撮像素子から取得した画像のそれぞれに対して、特許文献１に記載の手ぶれ補正を独立に行った場合、各撮像素子から取得した画像間における手ぶれ補正の整合性がとれずに、適切な補正処理が行えないおそれがある。
【０００５】
そこで、本発明は、複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行うことができる画像処理装置、画像処理方法、画像処理プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理する画像処理装置であって、撮像素子の撮像装置に対する設置状態を示す設置情報を、撮像素子ごとに取得する設置情報取得部と、第１フレーム画像及び第２フレーム画像間における撮像装置の動き情報を取得する動き情報取得部と、第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する出力領域取得部と、を備え、出力領域取得部は、複数の撮像素子のうち基準となる基準撮像素子の第２出力領域を、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得し、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域を、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得することを特徴とする。
【０００７】
本発明に係る画像処理方法は、第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理する画像処理方法であって、撮像素子の撮像装置に対する設置状態を示す設置情報を、撮像素子ごとに取得する設置情報取得ステップと、第１フレーム画像及び第２フレーム画像間における撮像装置の動き情報を取得する動き情報取得ステップと、第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する出力領域取得ステップと、を含み、出力領域取得ステップは、複数の撮像素子のうち基準となる基準撮像素子の第２出力領域を、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得し、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域を、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得することを特徴とする。
【０００８】
本発明に係る画像処理プログラムは、第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理するようにコンピュータを動作させる画像処理プログラムであって、撮像素子の撮像装置に対する設置状態を示す設置情報を、撮像素子ごとに取得する設置情報取得部、第１フレーム画像及び第２フレーム画像間における撮像装置の動き情報を取得する動き情報取得部、及び第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する出力領域取得部としてコンピュータを機能させ、出力領域取得部は、複数の撮像素子のうち基準となる基準撮像素子の第２出力領域を、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得し、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域を、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得することを特徴とする。
【０００９】
本発明に係る画像処理プログラムを記録したコンピュータ読取可能な記録媒体は、第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理するようにコンピュータを動作させる画像処理プログラムが記憶された記憶媒体であって、プログラムは、撮像素子の撮像装置に対する設置状態を示す設置情報を、撮像素子ごとに取得する設置情報取得部、第１フレーム画像及び第２フレーム画像間における撮像装置の動き情報を取得する動き情報取得部、及び第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する出力領域取得部としてコンピュータを機能させ、出力領域取得部は、複数の撮像素子のうち基準となる基準撮像素子の第２出力領域を、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得し、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域を、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得することを特徴とする。
【００１０】
このような発明によれば、基準撮像素子の第２出力領域が、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得され、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域が、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得される。ここで、基準撮像素子の第２出力領域と、他の撮像素子の第２出力領域が、これらの撮像素子の間で共通の動き情報に基づいて取得されるため、複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行うことができる。
【００１１】
ここで、第２出力領域の位置情報が第２フレーム画像内に位置するか否かを全ての撮像素子について判定する判定部を備え、出力領域取得部は、第２出力領域の位置情報が第２フレーム画像内に位置しない場合には、全ての撮像素子において第２出力領域の位置情報が第２フレーム画像内に位置するまで、第１出力領域の位置情報及び第２出力領域の位置情報の差分により求まる移動量を小さく調整することとしてもよい。この場合には、第２出力領域が、第２フレーム画像内に位置しないことにより画像処理が行えなくなることを防止することができる。
【００１２】
動き情報取得部は、基準撮像素子において撮像された第１フレーム画像及び第２フレーム画像から動き情報を取得することとしてもよい。この場合には、画像から動き情報を取得することができるので、新たなハードウェアの構成を必要とせずに、複数の撮像素子において共通の動き情報を取得することができる。
【００１３】
動き情報取得部は、ジャイロセンサにより動き情報を取得することとしてもよい。この場合には、ジャイロセンサから複数の撮像素子において共通の動き情報を取得することができることから、演算負荷を低減することができる。
【００１４】
動き情報取得部は、複数の撮像素子において撮像された第１フレーム画像及び第２フレーム画像から得た動き情報の加重平均を動き情報として取得する。この場合には、動き情報が複数の撮像素子に基づいて取得されるため、動き情報を精度良く取得することができる。
【００１５】
また、基準撮像素子は、撮像条件に基づいて複数の撮像素子の中から選択されることとしてもよい。この場合には、例えば性能の優れた撮像素子を基準撮像素子として選択することにより、動き情報を精度良く取得することができる。
【００１６】
出力領域取得部は、複数の撮像素子を備えることによって必要となる出力領域以外の領域を、動きによって補正する際に用いる領域として利用することとしてもよい。この場合、立体画像を得るためのマージンと動きによって補正する際のマージンとを共有することが、一つのマージンで複数の補正処理を行うことができる。そのため、マージンを確保することに起因する補正処理後の有効画素数の低下を少なくすることができる。
【発明の効果】
【００１７】
本発明によれば、複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】複数の撮像素子による手ぶれ補正の概要を説明する図である。
【図２】第１実施形態の画像処理装置の機能構成を示すブロック図である。
【図３】第１撮像素子及び第２撮像素子の設置情報を説明する図である。
【図４】画像処理装置のハードウェア構成を示す図である。
【図５】動き情報を説明する図である。
【図６】出力領域取得部における演算処理の手順を示す図である。
【図７】第１実施形態の第２出力領域の取得処理を示すフローチャートである。
【図８】第２実施形態の画像処理装置の機能構成を示すブロック図である。
【図９】動き補正行列の再計算方法を説明する図である。
【図１０】第２実施形態の第２出力領域の取得処理を示すフローチャートである。
【図１１】第３実施形態の画像処理装置の機能構成を示すブロック図である。
【図１２】平均動き補正行列の取得処理の手順を示す図である。
【図１３】第３実施形態の第２出力領域の取得処理を示すフローチャートである。
【図１４】平均動き補正行列の取得処理を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２０】
（第１実施形態）
第１実施形態の画像処理装置は、複数の撮像素子から入力した画像間で整合性のある手ぶれ補正処理を行う装置であって、携帯電話、デジタルカメラ、ビデオカメラ、又は通常のコンピュータシステムに搭載されるものである。例えば、多眼カメラに用いられる。本実施形態では、複数の撮像素子の例として、２つの撮像素子を備える構成について説明する。
【００２１】
始めに、発明の理解を容易にするために、２つの撮像素子から立体画像の取得する方法について説明する。図１は、２つの撮像素子である第１撮像素子及び第２撮像素子が撮像した入力フレームと、当該入力フレームの一部の画素領域を切り出した出力フレームを示している。以下では、第１撮像素子で撮像した第１フレーム、第２フレームから切り出される領域（第１出力領域）をそれぞれ第１出力領域Ａ１１、第２出力領域Ａ１２と称する。また、第２撮像素子で撮像した第１フレーム、第２フレームから切り出される領域（第２出力領域）をそれぞれ第１出力領域Ａ２１、第２出力領域Ａ２２と称する。第１撮像素子及び第２撮像素子を用いて立体画像を得るには、第１撮像素子が撮像した第１フレーム画像のうち、対象物Ｔを含む所定の画像領域を第１出力領域Ａ１１として切り出し、第２撮像素子１２が撮像した第１フレーム画像から、第１出力領域Ａ１１に対応する第１出力領域Ａ２１を切り出す。そして、第１出力領域Ａ１１と第１出力領域Ａ２１との間の視差情報から、立体画像を得る。ここで、第１出力領域Ａ１２に対応する第１出力領域Ａ２１の位置は、第１撮像素子に対する第２撮像素子の設置位置、設置角度等の設置情報により一意に定まるものである。また、第１出力領域Ａ２１に対応する第１出力領域Ａ１１の位置は、第２撮像素子に対する第１撮像素子の設置位置、設置角度等の設置情報により一意に定まるものである。設置情報の詳細については後述する。
【００２２】
本実施形態に係る画像処理装置は、第１フレーム画像及び第２フレーム画像間における撮像部１０の動き情報を検出し、撮像部の移動量に応じて、第１撮像素子及び第２撮像素子の第２出力領域Ａ１２、Ａ２２の位置を移動し、移動した第２出力領域Ａ１２、Ａ２２の位置情報を取得する。ここで、それぞれの撮像素子で独立に手ぶれ補正を行うと、第２出力領域Ａ１２と第２出力領域Ａ２２との間の対応がとれずに、適切な視差情報が得られないおそれがある。そこで、本実施形態に係る画像処理装置は、一方の撮像素子の動き情報に基づいて得られた出力領域の移動量を他方の撮像素子の出力領域に反映することで、設置位置に関わらず整合のとれた手ぶれ補正を行うものである。以下、本実施形態に係る画像処理装置について説明する。
【００２３】
図２は、本実施形態に係る画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、複数の撮像素子を備える撮像部１０によって撮像された画像を画像処理する装置である。本実施形態の撮像部１０は、２つの撮像素子を備えている。
【００２４】
撮像部１０は、第１撮像素子１１及び第２撮像素子１２を備えている。第１撮像素子１１及び第２撮像素子１２は、撮像対象物を撮像する手段であり、例えば、Ｃ−ＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charged CoupledDevice）などの撮像素子を主要部品として構成される。第１撮像素子１１及び第２撮像素子１２は、第１フレーム画像及び第２フレーム画像を連続して順次撮像する。ここで、第１撮像素子１１及び第２撮像素子１２は、図３（ａ），（ｂ）に示すように、互いに所定の間隔、角度をもって配置される。このように配置された撮像部１０は、図３（ａ）に示すように、同一の撮像対象物Ｔを撮像する。
【００２５】
撮像部１０は、複数の撮像素子のうち基準となる基準撮像素子と、基準撮像素子とは異なる他の撮像素子である参照撮像素子によって構成される。基準撮像素子で撮像された画像は、画像の補正処理を行う際に用いられる動き情報を生成する際に用いられる。本実施形態では、第１撮像素子１１を基準撮像素子とし、第２撮像素子１２を参照撮像素子とする。第１撮像素子１１及び第２撮像素子１２は、撮像した第１フレーム画像及び第２フレーム画像を画像データとして、画像処理装置１に出力する。
【００２６】
図４は、画像処理装置１のハードウェア構成図である。図４に示すように、画像処理装置１は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、キーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する画像処理装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。また、画像処理装置１は、通信モジュール等を備えてもよい。
【００２７】
画像処理装置１は、機能的には、図２に示すように、第１入力部２１、第２入力部２２、動き情報取得部３０、設置情報取得部４０、設置情報記憶部４１、出力領域取得部５０を備えている。
【００２８】
第１入力部２１は、基準撮像素子である第１撮像素子１１により撮像された画像データ（以下、基準画像ともいう）を取得する機能である。第１入力部２１は、第１撮像素子が撮像した第１フレーム画像及び第２フレーム画像を動き情報取得部３０及び出力領域取得部５０に出力する。
【００２９】
第２入力部２２は、参照撮像素子である第２撮像素子１２により撮像された画像データ（以下、参照画像ともいう）を取得する機能である。第２入力部２２は、第２撮像素子１２が撮像した第１フレーム画像及び第２フレーム画像をそれぞれ取得する。第２入力部２２は、第２撮像素子が撮像した第１フレーム画像及び第２フレーム画像を出力領域取得部５０に出力する。
【００３０】
動き情報取得部３０は、第１フレーム画像及び第２フレーム画像間における撮像部１０の動き情報を取得する機能である。動き情報は、基準となる第１フレーム画像及び第２フレーム画像間の空間的な変位量に基づいて算出される値である。詳細には、第１フレーム画像及び第２フレーム画像において、所定の大きさに分割されたブロック内の画像信号パターンに最も類似する画像信号パターンがフレーム間で探索され、フレーム間における最も類似する画像信号パターン間の空間的な変位量（動きベクトル）が動き情報として算出される。具体的には、動き情報取得部３０は、図５に示すように、動き情報として、第１フレーム画像に対する第２フレーム画像の回転量θ、画像原点のシフト量ｄｘ，ｄｙ、拡大量ｓを取得する。動き情報取得部３０は、取得した動き情報を出力領域取得部５０に出力する。
【００３１】
設置情報取得部４０は、第１撮像素子１１及び第２撮像素子１２の撮像部１０に対する設置状態を示す設置情報を取得する。設置情報とは、撮像部１０に対する撮像素子の設置位置、設置角度等を示すパラメータである。これらのパラメータは、撮像部１０の設計時に設定されるパラメータであり、撮像部１０と画像処理装置１との接続時に、撮像部１０に記憶されている設置情報が取得され、設置情報記憶部４１に記憶される。設置情報取得部４０は、第１撮像素子１１及び第２撮像素子１２の設置情報を、設置情報記憶部４１から取得する。設置情報取得部４０は、取得した第１撮像素子１１及び第２撮像素子１２の設置情報を出力領域取得部５０に出力する。なお、設置情報取得部４０は、設置情報を撮像部１０から直接取得してもよい。
【００３２】
出力領域取得部５０は、第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域Ａ１１、Ａ２１に対応する第２出力領域域Ａ１２、Ａ２２の位置情報を取得する。ここで、第１出力領域Ａ１１、Ａ２１に対応する第２出力領域Ａ１２、Ａ２２とは、第１出力領域Ａ１１、Ａ２１と対になっている第２出力領域Ａ１２、Ａ２２を意味している。出力領域取得部５０は、第１フレーム画像における第１出力領域Ａ１１、Ａ２１に対してブレがなくなるように第２フレーム画像の第２出力領域Ａ１２、Ａ２２の位置を設定する。設定された第２出力領域Ａ１２、Ａ２２の位置は、第１出力領域Ａ１１、Ａ２１と一致する位置である場合もあるし、第１出力領域Ａ１１、Ａ２１とは異なる位置である場合もある。出力領域取得部５０は、第２出力領域を撮像素子ごとに取得する。以下に、第１撮像素子１１及び第２撮像素子１２の第２出力領域域Ａ１２、Ａ２２の位置情報を取得するための演算処理について説明する。
【００３３】
図６は、第１撮像素子１１及び第２撮像素子１２の第２出力領域Ａ１２、Ａ２２の位置情報を取得するための演算処理の手順を示している。図６に沿って出力領域取得部５０の演算処理について説明する。
【００３４】
まず、出力領域取得部５０は、式（１）により、参照画像の第１フレーム画像内の任意の座標（ｘ’，ｙ’）を正規座標系の座標（ｘｎ，ｙｎ）に変換する。正規化行列とは、入力画像の座標系から正規座標系への変換を行う行列である。ここで、式（１）の正規化行列M’−１は、式（２）に示す第２撮像素子１２の逆正規化行列Ｍ’の逆行列である。逆正規化行列Ｍ’は、正規座標系から参照画像の座標系への変換を行う行列である。逆正規化行列Ｍ’は、第２撮像素子１２の第１フレーム画像の第１出力領域Ａ２１の切り出し位置である（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）により求められるものであり、設置情報取得部４０から出力された撮像部１０に対する第２撮像素子１２の位置情報により定まる行列である。
【００３５】
【数１】
【００３６】
【数２】
【００３７】
次に、出力領域取得部５０は、式（３）により、正規座標系の座標（ｘｎ，ｙｎ）を第１撮像素子１１の座標系の座標（ｘ，ｙ）に変換する。ここで、式（３）の逆正規化行列Ｍは、正規行列を基準画像の座標系に変換する行列である。逆正規化行列Ｍを式（４）に示す。逆正規化行列Ｍは、第１撮像素子１１の第１フレーム画像の第１出力領域Ａ１１の切り出し位置である（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）により求められるものであり、設置情報取得部４０から出力された撮像部１０に対する第１撮像素子１１の位置情報により定まる行列である。
【００３８】
【数３】
【００３９】
【数４】
【００４０】
次に、出力領域取得部５０は、動き情報取得部３０から取得した動き情報に基づいて式（５）に示す動き補正行列Ｃを求める。
【００４１】
【数５】
【００４２】
次に、出力領域取得部５０は、式（６）に示すように、第１撮像素子１１の座標系の座標（ｘ，ｙ）に対して、動き補正行列Ｃを掛けることで、第１撮像素子１１の補正後の座標（ｘｃ，ｙｃ）を得る。座標（ｘ，ｙ）から座標（ｘｃ，ｙｃ）までの、移動量及び移動方向は、第１出力領域Ａ１１に対する第２出力領域Ａ１２の移動量及び移動方向に相当する。このようにして、出力領域取得部５０は、第１出力領域Ａ１１に対応する第２出力領域Ａ１２の位置情報を取得する。
【００４３】
【数６】
【００４４】
次に、出力領域取得部５０は、式（７）により、第１撮像素子１１の座標系における補正後の座標（ｘｃ，ｙｃ）を、正規座標系の座標（ｘｎｃ，ｙｎｃ）に変換する。その後、式（８）により、正規座標系の座標（ｘｎ，ｙｎ）を第２撮像素子１２の座標系の補正後の座標（ｘ’ｃ，ｙ’ｃ）を得る。座標（ｘ’，ｙ’）から座標（ｘ’ｃ，ｙ’ｃ）までの移動量及び移動方向は、第１出力領域Ａ２１に対する第２出力領域Ａ２２の移動量及び移動方向に相当する。このようにして、出力領域取得部５０は、第１出力領域Ａ２１に対応する第２出力領域Ａ２２の位置情報を取得する。
【数７】
【００４５】
【数８】
【００４６】
以上に示した出力領域取得部５０が行う演算処理をまとめると、参照画像の第１フレーム画像内の任意の座標（ｘ’，ｙ’）は、式（９）により、補正後の座標（ｘ’ｃ，ｙ’ｃ）に変換される。式（９）においてＭ’Ｍ−１ＣＭＭ’−１をＣ’とおくと、Ｃ’は、参照撮像素子である第２撮像素子１２の動き補正行列となる。
【００４７】
【数９】
【００４８】
次に、図７を用いて、画像処理装置１の動作を説明するとともに本実施形態に係る画像処理方法について説明する。
【００４９】
まず、設置情報取得部４０は、第１撮像素子１１及び第２撮像素子１２の設置情報を設置情報記憶部４１から取得する（Ｓ１１）。次に、動き情報取得部３０は、第１入力部２１から基準画像の第１フレーム画像及び第２フレーム画像から動き情報を取得する（Ｓ１２）。続いて、出力領域取得部５０は、参照画像内の任意の座標（ｘ’，ｙ’）を上記式（１）により、正規座標（ｘｎ，ｙｎ）に変換する（Ｓ１３）。その後、出力領域取得部５０は、正規座標（ｘｎ，ｙｎ）を上記式（３）により、基準画像内の座標（ｘ，ｙ）に変換する（Ｓ１４）。ここで、基準画像内の座標（ｘ，ｙ）への変換に用いられる逆正規化行列Ｍは、撮像部１０に対する第１撮像素子１１の設置情報から定まる値である。
【００５０】
次に、出力領域取得部５０は、上記式（６）のように、動き情報取得部３０により取得された動き情報から定まる動き補正行列Ｃにより、座標（ｘ，ｙ）を座標（ｘｃ，ｙｃ）に変換する（Ｓ１５）。続いて、出力領域取得部５０は、座標（ｘ，ｙ）に対する座標（ｘｃ，ｙｃ）の移動量から、第２出力領域Ａ１２の位置情報を取得する（Ｓ１６）。次に、出力領域取得部５０は、式（７）により、座標（ｘｃ，ｙｃ）を正規座標（ｘｃｎ，ｙｃｎ）に変換する（Ｓ１７）。その後、出力領域取得部５０は、式（８）により、正規座標（ｘｃｎ，ｙｃｎ）を参照画像内の座標（ｘ’ｃ，ｙ’ｃ）に変換する（Ｓ１８）。続いて、出力領域取得部５０は、座標（ｘ’，ｙ’）に対する座標（ｘ’ｃ，ｙ’ｃ）の移動量から、第２出力領域Ａ２２の位置情報を取得する（Ｓ１９）。第２出力領域Ａ１２の位置情報を取得すると、画像処理装置は、図７の画像処理を終了する。
【００５１】
次に、コンピュータを画像処理装置１として機能させるための画像処理プログラムを説明する。
【００５２】
画像処理プログラムは、メインモジュール、入力モジュール、動き情報取得モジュール、設置情報取得モジュール、設置情報記憶モジュール、及び出力領域取得モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、第１撮像素子１１及び第２撮像素子１２から入力画像を取得するようにコンピュータを動作させる。動き情報取得モジュール、設置情報取得モジュール、設置情報記憶モジュール、及び出力領域取得モジュールを実行することにより実現される機能はそれぞれ、動き情報取得部３０、設置情報取得部４０、設置情報記憶部４１、及び出力領域取得部５０の機能と同様である。
【００５３】
画像処理プログラムは、例えば、ＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像処理プログラムは、データ信号としてネットワークを介して提供されてもよい。
【００５４】
以上説明したように、本実施形態によれば、基準撮像素子である第１撮像素子１１の第２出力領域Ａ１２が、設置情報により定まる第１出力領域Ａ１１の位置情報及び動き情報に基づいて取得され、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子である第２撮像素子１２の第２出力領域Ａ２２が、第１撮像素子１１の設置情報、第２撮像素子１２の設置情報、及び動き情報に基づいて取得される。ここで、第１撮像素子１１の第２出力領域Ａ１２と、第２撮像素子１２の第２出力領域Ａ２２が、第１撮像素子１１及び第２撮像素子１２において共通である動き情報に基づいて取得されるため、第１撮像素子１１及び第２撮像素子１２から得られた画像の間で整合性がとれた補正処理を行うことができる。また、立体画像を得るために用いられるマージンを手ぶれ補正で用いるマージンとして利用しているため、出力を狭くせずに手ぶれ補正が実現された出力画像を得ることができる。
【００５５】
（第２実施形態）
次に、第２実施形態に係る画像処理装置について説明する。この画像処理装置は、第２出力領域Ａ１２、Ａ２２の位置情報が第２フレーム画像内に位置しない場合には、全ての撮像素子において第２出力領域の位置情報が第２フレーム画像内に位置するまで、第１出力領域Ａ１１、Ａ２１の位置情報及び第２出力領域Ａ１２、Ａ２２の位置情報の差分により求まる移動量を小さく調整する点で第１実施形態と異なる。
【００５６】
図８は、本実施形態に係る画像処理装置１Ａの機能構成を示すブロック図である。本実施形態に係る画像処理装置１Ａは、出力領域取得部５０に代えて出力領域取得部５０Ａを備えている。また、第１実施形態に係る画像処理装置１に加えて、判定部６０を備えている。その他の構成は、第１実施形態と同じである。
【００５７】
判定部６０は、第１、第２撮像装置の第２フレームにおける第２出力領域Ａ１２、Ａ２２がそれぞれの第２フレーム画像内に位置するか否かを判定する機能を有する。判定部６０は、式（６）により算出された第２出力領域Ａ１２の４つの頂点の座標（ｘｃ１，ｙｃ１）、（ｘｃ２，ｙｃ２）、（ｘｃ３，ｙｃ３）、（ｘｃ４，ｙｃ４）が第１撮像素子１１の第２フレーム画像内にあるか否かを判定する。また判定部６０は、式（９）により算出された第２出力領域Ａ２２の４つの頂点の座標（ｘ’ｃ１，ｙ’ｃ１）、（ｘ’ｃ２，ｙ’ｃ２）、（ｘ’ｃ３，ｙ’ｃ３）、（ｘ’ｃ４，ｙ’ｃ４）が第２撮像素子１２の撮像した第２フレーム画像内にあるか否かを判定する。判定部６０は、第２出力領域Ａ１２または第２出力領域Ａ２２の少なくとも何れか一方において、４つの頂点の座標の何れかが第２フレーム画像内にないと判定した場合、第２出力領域Ａ１２、Ａ２２が第２フレーム画像外にあること示す逸脱信号を出力領域取得部５０Ａに出力する。
【００５８】
出力領域取得部５０Ａは、判定部６０から逸脱信号を取得すると、全ての撮像素子において第２出力領域Ａ１２、Ａ２２の位置情報が第２フレーム画像内に位置するまで、第１出力領域Ａ１１、Ａ２１の位置情報及び第２出力領域Ａ１２、Ａ２２の位置情報の差分により求まる移動量が小さくなるように調整する。第２出力領域Ａ１２、Ａ２２の位置情報を調整するための再計算について図９を参照して以下に説明する。
【００５９】
図９（ａ）は、第２出力領域Ａ１２が、第１撮像素子１１の第２フレーム外に位置している例である。この例では、第２出力領域Ａ１２のうち、座標Ｃ（ｘ３，ｙ３）及び座標Ｃ（ｘ４，ｙ４）が第２フレーム外に位置している。この場合、出力領域取得部５０Ａは、画面内外比率ｒを求める。以下では、座標Ｃ（ｘ３，ｙ３）について画面内外比率ｒを求めているが、座標Ｃ（ｘ４，ｙ４）について画面内外比率ｒを求めても良い。
【００６０】
画面内外比率ｒは、第１出力領域の座標と、該座標に対応する座標であって、第２フレーム外に位置する座標を直線で結んだ場合における、第２フレーム内の当該線分の長さに対する第２フレーム外の当該線分の長さの比である。出力領域取得部５０Ａは、画面内外比率ｒを求めた後、式（１０）により補正行列Ｃを更新する。式（１０）において、Ｉは単位行列である。その後、出力領域取得部５０Ａは、基準画像の座標系の座標（ｘ，ｙ）に対して、更新後の動き補正行列Ｃを掛けることで、第２出力領域Ａ１２の位置情報を取得する。また、出力領域取得部５０Ａは、更新した第２出力領域Ａ１２の位置情報に基づいて式（７）、（８）により第２出力領域Ａ２２の位置情報を取得する。
【００６１】
【数１０】
【００６２】
その後、再び判定部６０は、更新した補正行列Ｃにより決定された第２出力領域Ａ１２の４つの頂点が第１撮像素子１１の第２フレーム画像内にあるか否かを判定し、全ての頂点が第２フレーム画像内に位置するまで、式（１０）により補正行列を更新する。また、更新した補正行列に基づいて第２出力領域Ａ１２及び第２出力領域Ａ２２を取得する。判定部６０において、すべての頂点の座標が第２フレーム画像内に位置すると判定されると、その時点における第２出力領域Ａ１２及び第２出力領域Ａ２２を出力する。
【００６３】
図９（ｂ）は、第２出力領域Ａ２２が、第１撮像素子１２の第２フレーム外に位置している例である。この例では、第２出力領域Ａ１２のうち、座標Ｃ’（ｘ’３，ｙ’３）及び座標Ｃ’（ｘ’４，ｙ’４）が第２フレーム外に位置している。この場合、出力領域取得部５０Ａは、画面内外比率ｒ’を求める。以下では、座標Ｃ’（ｘ’４，ｙ’４）について画面内外比率ｒを求めているが、座標Ｃ’（ｘ’３，ｙ’３）について画面内外比率ｒを求めても良い。
【００６４】
出力領域取得部５０Ａは、画面内外比率ｒ’を求めた後、式（１１）により補正行列Ｃを更新する。その後、出力領域取得部５０Ａは、第１撮像素子１１の座標系の座標（ｘ，ｙ）に対して、更新した動き補正行列Ｃを掛けることで、第２出力領域Ａ１２の位置情報を取得する。また、出力領域取得部５０Ａは、更新した第２出力領域Ａ１２の位置情報に基づいて式（７）、（８）により第２出力領域Ａ２２の位置情報を取得する。
【００６５】
【数１１】
【００６６】
その後、再び判定部６０は、更新した補正行列Ｃにより決定された第２出力領域Ａ１２の４つの頂点が第１撮像素子１１の第２フレーム画像内にあるか否かを判定し、全ての頂点が第２フレーム画像内に位置するまで、式（１１）により補正行列を更新する。また、更新した補正行列に基づいて第２出力領域Ａ１２及び第２出力領域Ａ２２を取得する。判定部６０において、すべての頂点の座標が第２フレーム画像内に位置すると判定されると、その時点における第２出力領域Ａ１２及び第２出力領域Ａ２２を出力する。
【００６７】
次に、図１０を用いて、画像処理装置１Ａの動作を説明するとともに本実施形態に係る画像処理方法について説明する。
【００６８】
図１０に示すステップＳ２１〜２６、Ｓ２８〜３０は、それぞれ図７に示すステップＳ１１〜Ｓ１９と同じ動作であるため、説明を省略する。Ｓ２６において、基準画像の第２出力領域Ａ１２を取得すると、出力領域取得部５０Ａは、基準画像の第２出力領域Ａ１２位置が基準画像内である否かについて判定する（Ｓ２７）。出力領域取得部５０Ａは、基準画像の第２出力領域Ａ１２位置が基準画像内にないと判定した場合には、式（１０）により、補正行列Ｃを再計算した後に（Ｓ３２）、ステップＳ２５の処理に移行する。他方、基準画像の第２出力領域Ａ１２位置が基準画像内にあると判定した場合には、ステップＳ２８の処理に移行する。
【００６９】
また、出力領域取得部５０Ａは、Ｓ３０において、参照画像の第２出力領域Ａ２２を取得すると、参照画像の第２出力領域Ａ２２位置が参照画像内である否かについて判定する（Ｓ３１）。出力領域取得部５０Ａは、参照画像の第２出力領域Ａ２２位置が参照画像内にないと判定した場合には、式（１１）により、補正行列Ｃを再計算した後に（Ｓ３２）、ステップＳ２５の処理に移行する。他方、参照画像の第２出力領域Ａ２２位置が参照画像内にあると判定した場合には、図１１に示す画像処理を終了する。
【００７０】
以上説明したように、本実施形態によれば、基準撮像素子である第１撮像素子１１の第２出力領域Ａ１２が、設置情報により定まる第１出力領域Ａ１１の位置情報及び動き情報に基づいて取得され、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子である第２撮像素子１２の第２出力領域Ａ２２が、第１撮像素子１１の設置情報、第２撮像素子１２の設置情報、及び動き情報に基づいて取得される。ここで、第１撮像素子１１の第２出力領域Ａ１２と、第２撮像素子１２の第２出力領域Ａ２２が、複数の撮像素子において共通の動き情報に基づいて取得されるため、複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行うことができる。
【００７１】
また、本実施形態の画像処理装置１Ａは、第２出力領域Ａ１１，Ａ１２の位置情報が第２フレーム画像内に位置するか否かを全ての撮像素子について判定する判定部６０を備え、出力領域取得部５０Ａは、第２出力領域Ａ１１，Ａ１２の位置情報が第２フレーム画像内に位置しない場合には、全ての撮像素子において第２出力領域の位置情報が第２フレーム画像内に位置するまで、第１出力領域の位置情報及び第２出力領域の位置情報の差分により求まる移動量を小さく調整する。このため、第２出力領域Ａ１１，Ａ１２が、第２フレーム画像内に位置しないことにより画像処理が行えなくなることを防止することができる。
【００７２】
（第３実施形態）
次に、第３実施形態に係る画像処理装置について説明する。本実施形態に係る画像処理装置は、複数の撮像素子において動き情報を取得し、各撮像素子で得られた動き情報を加重平均した動き情報を用いて第２出力領域の位置情報を取得する点で第１実施形態と異なる。
【００７３】
図１１は、本実施形態に係る画像処理装置１Ｂの機能構成を示すブロック図である。本実施形態に係る画像処理装置１Ｂは、出力領域取得部５０に代えて出力領域取得部５０Ｂを備えている。また、本実施形態に係る画像処理装置１Ｂでは、第２入力部２２が、第２撮像素子１２から取得した参照画像から動き情報取得部３０に出力し、動き情報取得部３０が、第１入力部２１から取得した基準画像及び第２入力部２２から取得した参照画像の１フレーム画像及び第２フレーム画像間における撮像部１０の動き情報を取得する。本実施形態の動き情報取得部３０は、基準画像から得た動き情報と、参照画像から得た動き情報とを出力領域取得部５０Ｂに出力する。
【００７４】
出力領域取得部５０Ｂは、第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する。以下に、第１撮像素子１１及び第２撮像素子１２の第２出力領域Ａ１２，Ａ２２の位置情報を取得するための演算処理について説明する。
【００７５】
図１２は、第１撮像素子１１及び第２撮像素子１２の第２出力領域Ａ１２、Ａ２２の位置情報を取得するための演算処理の手順を示している。図１２に沿って出力領域取得部５０Ｂにおける演算処理について説明する。
【００７６】
まず、出力領域取得部５０Ｂは、動き情報取得部３０から出力される基準画像に基づく動き情報を取得し、式（５）と同様の処理により基準動き補正行列Ｃｏｒｇを取得する。
【００７７】
次に、基準画像内の任意の座標（ｘ，ｙ）に正規化行列Ｍ−１を掛けることで、座標（ｘ，ｙ）を正規座標系の座標（ｘｎ，ｙｎ）に変換する。次に、出力領域取得部５０Ｂは、逆正規化行列Ｍ’を掛けることで、座標（ｘｎ，ｙｎ）を参照画像の座標系の座標（ｘ’，ｙ’）に変換する。
【００７８】
また、出力領域取得部５０Ｂは、動き情報取得部３０から出力される参照画像に基づく動き情報を取得し、式（５）と同様の処理により参照動き補正行列Ｃ’ｏｒｇを取得する。次に、出力領域取得部５０Ｂは、式（６）に示すように、座標（ｘ’，ｙ’）に対して、参照動き補正行列Ｃ’ｏｒｇを掛けることで、補正後の座標（ｘ’ｃ，ｙ’ｃ）を得る。座標（ｘ’，ｙ’）から座標（ｘ’ｃ，ｙ’ｃ）までの、移動量及び移動方向は、第１出力領域Ａ２１に対する第２出力領域Ａ２２の移動量及び移動方向に相当する。このようにして、出力領域取得部５０Ｂは、第２出力領域Ａ２２の位置情報を取得する。
【００７９】
その後、出力領域取得部５０Ｂは、座標（ｘ’ｃ，ｙ’ｃ）に正規化行列Ｍ’−１を掛けることで、座標（ｘ’ｃ，ｙ’ｃ）を正規座標系の座標（ｘ’ｎｃ，ｙ’ｎｃ）に変換する。次に、出力領域取得部５０Ｂは、逆正規化行列Ｍを掛けることで、座標（ｘ’ｎｃ，ｙ’ｎｃ）を基準画像の座標系の座標（ｘｃ，ｙｃ）に変換する。
【００８０】
基準画像の第１出力領域Ａ１１を第２出力領域Ａ１２へ移動させるための動き補正行列を変換後動き補正行列Ｃ’ｃｏｎｖとおくと、ここまでの出力領域取得部５０Ｂが行う演算処理は、式（１２）のように表せる。
【００８１】
【数１２】
【００８２】
ここで、出力領域取得部５０Ｂは、式（１３）のように、基準画像から得た基準動き補正行列Ｃｏｒｇと、変換後動き補正行列Ｃ’ｃｏｎｖとの加重平均をとることで、平均動き補正行列Ｃａｖｒを得る。式（１３）において、ｗｏｒｇ、ｗｃｏｎｖは、それぞれ第１撮像素子１１、第２撮像素子１２に対する重みであり、第１撮像素子１１、第２撮像素子１２の信頼度によって設定される値である。例えば、夜間の撮影において、第１撮像素子１１が赤外線カメラであり、第２撮像素子１２が一般的な可視光カメラである場合には、暗所での撮影に優れる第１撮像素子１１の重みを高く設定するようにしても良い。
【００８３】
【数１３】
【００８４】
その後、出力領域取得部５０Ｂは、式（１３）で得た平均動き補正行列Ｃａｖｒを用いて、第１実施形態で示す式（１）〜（４）、（６）〜（９）の演算を行うことで、基準画像の第２出力領域Ａ１２及び参照画像の第２出力領域Ａ２２の位置情報を取得する。また、出力領域取得部５０Ｂは、第２実施形態で示す式（１０）、（１１）の演算を行うことで、基準画像及び参照画像の第２フレーム画像外に第２出力領域Ａ１２、Ａ２２が設定されることを防止するようにしても良い。
【００８５】
次に、図１３、１４を用いて、画像処理装置１Ｂの動作を説明するとともに本実施形態に係る画像処理方法について説明する。
【００８６】
図１３に示すステップＳ４１、Ｓ４２、Ｓ４４、Ｓ４５、Ｓ４７〜Ｓ５０は、それぞれ図７に示すステップＳ１１〜Ｓ１４、Ｓ１６〜Ｓ１９と同じ動作であるため、説明を省略する。出力領域取得部５０Ｂは、Ｓ２６において、動き情報を取得すると、平均動き補正行列Ｃａｖｒ取得処理を行う（Ｓ４３）。平均動き補正行列Ｃａｖｒ取得処理の手順を図１４に示す。
【００８７】
平均動き補正行列Ｃａｖｒ取得処理では、出力領域取得部５０Ｂは、基準画像内の任意の座標（ｘ，ｙ）を正規座標に変換する（Ｓ６１）。次に、出力領域取得部５０は、正規座標を、参照画像内の座標（ｘ’，ｙ’）に変換する（Ｓ６２）。ここで、基準画像内の座標（ｘ，ｙ）への変換に用いられる逆正規化行列Ｍ’は、第２撮像素子１２の設置情報から定まる値である。
【００８８】
次に、出力領域取得部５０Ｂは、動き情報取得部３０により取得された動き情報から定まる動き補正行列Ｃ’ｃｏｎｖにより、座標（ｘ’，ｙ’）を座標（ｘ’ｃ，ｙ’ｃ）に変換する（Ｓ６３）。次に、出力領域取得部５０Ｂは、座標（ｘ’ｃ，ｙ’ｃ）を正規座標に変換する（Ｓ６４）。その後、出力領域取得部５０Ｂは、正規座標を基準画像内の座標（ｘｃ，ｙｃ）に変換する（Ｓ６５）。式（１２）に示すように、上記ステップＳ６１〜Ｓ６５までの一連の処理により、変換後動き補正行列Ｃｃｏｎｖを得る。続いて、出力領域取得部５０Ｂは、式（１３）により、平均動き補正行列Ｃａｖｒを取得する（Ｓ６６）。
【００８９】
その後、処理は図１３に戻る。出力領域取得部５０Ｂは、ステップＳ４６において、平均動き補正行列Ｃａｖｒにより座標（ｘ，ｙ）を座標（ｘｃ，ｙｃ）に変換する（Ｓ４６）。
【００９０】
以上説明したように、本実施形態においても、基準撮像素子である第１撮像素子１１の第２出力領域Ａ１２が、設置情報により定まる第１出力領域Ａ１１の位置情報及び動き情報に基づいて取得され、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子である第２撮像素子１２の第２出力領域Ａ２２が、第１撮像素子１１の設置情報、第２撮像素子１２の設置情報、及び動き情報に基づいて取得される。ここで、第１撮像素子１１の第２出力領域Ａ１２と、第２撮像素子１２の第２出力領域Ａ２２が、複数の撮像素子において共通の動き情報に基づいて取得されるため、複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行うことができる。
【００９１】
また、本実施形態の画像処理装置１Ｂは、第１撮像素子１１から得た動き情報と第２撮像素子から得た動き情報の加重平均から平均動き補正行列Ｃａｖｒを取得する。この場合、平均動き補正行列Ｃａｖｒで示される動き情報が複数の基準撮像素子によって取得された動き情報を考慮したものであるためであるため、精度の良い動き情報を取得することができる。
【００９２】
（変形例）
上記実施形態では、出力領域取得部が、複数の撮像素子を備えることによって必要となる出力領域以外の領域を、手ぶれ補正を行うための領域として用いている。ここで、出力領域以外の領域を、手ぶれ補正とは異なる他の画像処理で用いても良い。例えば、複数の撮像素子を備えることによって必要となる出力領域以外の領域を、撮像部１０や対象物Ｔの動きによって生じる歪みを補正する際に用いる領域として利用してもよい。設置位置がずれた場合には、各撮像素子で歪み補正係数が異なるため、例えば基準画像での動きベクトルを基に各撮像素子での歪み補正係数を計算してもよい。
【００９３】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００９４】
例えば、上記実施形態では、第１撮像素子１１及び第２撮像素子１２において撮像された１フレーム画像及び第２フレーム画像から動き情報を取得しているが、ジャイロセンサ等の外部ハードウェアにより動き情報を取得しても良い。
【００９５】
上記実施形態では、第１撮像素子１１を基準撮像素子とし、第２撮像素子１２を参照撮像素子としたが、いずれの撮像素子を前記基準撮像素子とするかは、撮像条件に基づいて選択されてもよい。例えば、第１撮像素子１１が赤外線カメラであり、第２撮像素子１２が一般的な可視光カメラである場合には、夜間の撮影では、第１撮像素子１１を基準撮像素子と選択し、明るい場所での撮影では、第２撮像素子１２を基準撮像素子と選択する素子選択部を備えてもよい。これにより、特性の異なる撮像素子のうち、手ぶれ補正に適した撮像素子の情報を用いて各撮像素子の画像を補正することができる。
【符号の説明】
【００９６】
１，１Ａ，１Ｂ…画像処理装置、１０…撮像部、１１…第１撮像素子、１２…第２撮像素子、２１…第１入力部、２２…第２入力部、３０…情報取得部、４０…設置情報取得部、４１…設置情報記憶部、５０，５０Ａ，５０Ｂ…出力領域取得部、６０…判定部。
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関するものである。
【背景技術】
【０００２】
従来、撮像した動画フレーム間の動きデータに基づいて動画の補正処理を行う装置が知られている。例えば、下記特許文献１には、基準画像と比較画像間の動きデータを算出し、動きデータによって対応付けられるブロックごとに画像間の画素値の差分を算出し、その画素値の差分に基づいて、基準画像と比較画像の重ね合わせ比率をブロックごとに決定し、重ね合わせ処理を行って合成画像を得ることで、より鮮明な手ぶれ補正画像を得る装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１６４８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、複数のカメラにより撮影された画像を合成することで奥行きを持つ立体画像を取得する技術が知られている。また、このような立体画像を連続して撮像、表示することにより立体動画を取得する技術も知られている。このような立体動画では、通常の動画と同様に、手ぶれ補正や歪み補正等の補正処理を行うことが要請されている。複数の撮像素子から取得した画像のそれぞれに対して、特許文献１に記載の手ぶれ補正を独立に行った場合、各撮像素子から取得した画像間における手ぶれ補正の整合性がとれずに、適切な補正処理が行えないおそれがある。
【０００５】
そこで、本発明は、複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行うことができる画像処理装置、画像処理方法、画像処理プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理する画像処理装置であって、撮像素子の撮像装置に対する設置状態を示す設置情報を、撮像素子ごとに取得する設置情報取得部と、第１フレーム画像及び第２フレーム画像間における撮像装置の動き情報を取得する動き情報取得部と、第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する出力領域取得部と、を備え、出力領域取得部は、複数の撮像素子のうち基準となる基準撮像素子の第２出力領域を、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得し、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域を、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得することを特徴とする。
【０００７】
本発明に係る画像処理方法は、第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理する画像処理方法であって、撮像素子の撮像装置に対する設置状態を示す設置情報を、撮像素子ごとに取得する設置情報取得ステップと、第１フレーム画像及び第２フレーム画像間における撮像装置の動き情報を取得する動き情報取得ステップと、第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する出力領域取得ステップと、を含み、出力領域取得ステップは、複数の撮像素子のうち基準となる基準撮像素子の第２出力領域を、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得し、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域を、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得することを特徴とする。
【０００８】
本発明に係る画像処理プログラムは、第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理するようにコンピュータを動作させる画像処理プログラムであって、撮像素子の撮像装置に対する設置状態を示す設置情報を、撮像素子ごとに取得する設置情報取得部、第１フレーム画像及び第２フレーム画像間における撮像装置の動き情報を取得する動き情報取得部、及び第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する出力領域取得部としてコンピュータを機能させ、出力領域取得部は、複数の撮像素子のうち基準となる基準撮像素子の第２出力領域を、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得し、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域を、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得することを特徴とする。
【０００９】
本発明に係る画像処理プログラムを記録したコンピュータ読取可能な記録媒体は、第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理するようにコンピュータを動作させる画像処理プログラムが記憶された記憶媒体であって、プログラムは、撮像素子の撮像装置に対する設置状態を示す設置情報を、撮像素子ごとに取得する設置情報取得部、第１フレーム画像及び第２フレーム画像間における撮像装置の動き情報を取得する動き情報取得部、及び第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する出力領域取得部としてコンピュータを機能させ、出力領域取得部は、複数の撮像素子のうち基準となる基準撮像素子の第２出力領域を、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得し、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域を、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得することを特徴とする。
【００１０】
このような発明によれば、基準撮像素子の第２出力領域が、設置情報により定まる第１出力領域の位置情報及び動き情報に基づいて取得され、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子の第２出力領域が、基準撮像素子の設置情報、他の撮像素子の設置情報、及び動き情報に基づいて取得される。ここで、基準撮像素子の第２出力領域と、他の撮像素子の第２出力領域が、これらの撮像素子の間で共通の動き情報に基づいて取得されるため、複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行うことができる。
【００１１】
ここで、第２出力領域の位置情報が第２フレーム画像内に位置するか否かを全ての撮像素子について判定する判定部を備え、出力領域取得部は、第２出力領域の位置情報が第２フレーム画像内に位置しない場合には、全ての撮像素子において第２出力領域の位置情報が第２フレーム画像内に位置するまで、第１出力領域の位置情報及び第２出力領域の位置情報の差分により求まる移動量を小さく調整することとしてもよい。この場合には、第２出力領域が、第２フレーム画像内に位置しないことにより画像処理が行えなくなることを防止することができる。
【００１２】
動き情報取得部は、基準撮像素子において撮像された第１フレーム画像及び第２フレーム画像から動き情報を取得することとしてもよい。この場合には、画像から動き情報を取得することができるので、新たなハードウェアの構成を必要とせずに、複数の撮像素子において共通の動き情報を取得することができる。
【００１３】
動き情報取得部は、ジャイロセンサにより動き情報を取得することとしてもよい。この場合には、ジャイロセンサから複数の撮像素子において共通の動き情報を取得することができることから、演算負荷を低減することができる。
【００１４】
動き情報取得部は、複数の撮像素子において撮像された第１フレーム画像及び第２フレーム画像から得た動き情報の加重平均を動き情報として取得する。この場合には、動き情報が複数の撮像素子に基づいて取得されるため、動き情報を精度良く取得することができる。
【００１５】
また、基準撮像素子は、撮像条件に基づいて複数の撮像素子の中から選択されることとしてもよい。この場合には、例えば性能の優れた撮像素子を基準撮像素子として選択することにより、動き情報を精度良く取得することができる。
【００１６】
出力領域取得部は、複数の撮像素子を備えることによって必要となる出力領域以外の領域を、動きによって補正する際に用いる領域として利用することとしてもよい。この場合、立体画像を得るためのマージンと動きによって補正する際のマージンとを共有することが、一つのマージンで複数の補正処理を行うことができる。そのため、マージンを確保することに起因する補正処理後の有効画素数の低下を少なくすることができる。
【発明の効果】
【００１７】
本発明によれば、複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】複数の撮像素子による手ぶれ補正の概要を説明する図である。
【図２】第１実施形態の画像処理装置の機能構成を示すブロック図である。
【図３】第１撮像素子及び第２撮像素子の設置情報を説明する図である。
【図４】画像処理装置のハードウェア構成を示す図である。
【図５】動き情報を説明する図である。
【図６】出力領域取得部における演算処理の手順を示す図である。
【図７】第１実施形態の第２出力領域の取得処理を示すフローチャートである。
【図８】第２実施形態の画像処理装置の機能構成を示すブロック図である。
【図９】動き補正行列の再計算方法を説明する図である。
【図１０】第２実施形態の第２出力領域の取得処理を示すフローチャートである。
【図１１】第３実施形態の画像処理装置の機能構成を示すブロック図である。
【図１２】平均動き補正行列の取得処理の手順を示す図である。
【図１３】第３実施形態の第２出力領域の取得処理を示すフローチャートである。
【図１４】平均動き補正行列の取得処理を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２０】
（第１実施形態）
第１実施形態の画像処理装置は、複数の撮像素子から入力した画像間で整合性のある手ぶれ補正処理を行う装置であって、携帯電話、デジタルカメラ、ビデオカメラ、又は通常のコンピュータシステムに搭載されるものである。例えば、多眼カメラに用いられる。本実施形態では、複数の撮像素子の例として、２つの撮像素子を備える構成について説明する。
【００２１】
始めに、発明の理解を容易にするために、２つの撮像素子から立体画像の取得する方法について説明する。図１は、２つの撮像素子である第１撮像素子及び第２撮像素子が撮像した入力フレームと、当該入力フレームの一部の画素領域を切り出した出力フレームを示している。以下では、第１撮像素子で撮像した第１フレーム、第２フレームから切り出される領域（第１出力領域）をそれぞれ第１出力領域Ａ１１、第２出力領域Ａ１２と称する。また、第２撮像素子で撮像した第１フレーム、第２フレームから切り出される領域（第２出力領域）をそれぞれ第１出力領域Ａ２１、第２出力領域Ａ２２と称する。第１撮像素子及び第２撮像素子を用いて立体画像を得るには、第１撮像素子が撮像した第１フレーム画像のうち、対象物Ｔを含む所定の画像領域を第１出力領域Ａ１１として切り出し、第２撮像素子１２が撮像した第１フレーム画像から、第１出力領域Ａ１１に対応する第１出力領域Ａ２１を切り出す。そして、第１出力領域Ａ１１と第１出力領域Ａ２１との間の視差情報から、立体画像を得る。ここで、第１出力領域Ａ１２に対応する第１出力領域Ａ２１の位置は、第１撮像素子に対する第２撮像素子の設置位置、設置角度等の設置情報により一意に定まるものである。また、第１出力領域Ａ２１に対応する第１出力領域Ａ１１の位置は、第２撮像素子に対する第１撮像素子の設置位置、設置角度等の設置情報により一意に定まるものである。設置情報の詳細については後述する。
【００２２】
本実施形態に係る画像処理装置は、第１フレーム画像及び第２フレーム画像間における撮像部１０の動き情報を検出し、撮像部の移動量に応じて、第１撮像素子及び第２撮像素子の第２出力領域Ａ１２、Ａ２２の位置を移動し、移動した第２出力領域Ａ１２、Ａ２２の位置情報を取得する。ここで、それぞれの撮像素子で独立に手ぶれ補正を行うと、第２出力領域Ａ１２と第２出力領域Ａ２２との間の対応がとれずに、適切な視差情報が得られないおそれがある。そこで、本実施形態に係る画像処理装置は、一方の撮像素子の動き情報に基づいて得られた出力領域の移動量を他方の撮像素子の出力領域に反映することで、設置位置に関わらず整合のとれた手ぶれ補正を行うものである。以下、本実施形態に係る画像処理装置について説明する。
【００２３】
図２は、本実施形態に係る画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、複数の撮像素子を備える撮像部１０によって撮像された画像を画像処理する装置である。本実施形態の撮像部１０は、２つの撮像素子を備えている。
【００２４】
撮像部１０は、第１撮像素子１１及び第２撮像素子１２を備えている。第１撮像素子１１及び第２撮像素子１２は、撮像対象物を撮像する手段であり、例えば、Ｃ−ＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charged CoupledDevice）などの撮像素子を主要部品として構成される。第１撮像素子１１及び第２撮像素子１２は、第１フレーム画像及び第２フレーム画像を連続して順次撮像する。ここで、第１撮像素子１１及び第２撮像素子１２は、図３（ａ），（ｂ）に示すように、互いに所定の間隔、角度をもって配置される。このように配置された撮像部１０は、図３（ａ）に示すように、同一の撮像対象物Ｔを撮像する。
【００２５】
撮像部１０は、複数の撮像素子のうち基準となる基準撮像素子と、基準撮像素子とは異なる他の撮像素子である参照撮像素子によって構成される。基準撮像素子で撮像された画像は、画像の補正処理を行う際に用いられる動き情報を生成する際に用いられる。本実施形態では、第１撮像素子１１を基準撮像素子とし、第２撮像素子１２を参照撮像素子とする。第１撮像素子１１及び第２撮像素子１２は、撮像した第１フレーム画像及び第２フレーム画像を画像データとして、画像処理装置１に出力する。
【００２６】
図４は、画像処理装置１のハードウェア構成図である。図４に示すように、画像処理装置１は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、キーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する画像処理装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。また、画像処理装置１は、通信モジュール等を備えてもよい。
【００２７】
画像処理装置１は、機能的には、図２に示すように、第１入力部２１、第２入力部２２、動き情報取得部３０、設置情報取得部４０、設置情報記憶部４１、出力領域取得部５０を備えている。
【００２８】
第１入力部２１は、基準撮像素子である第１撮像素子１１により撮像された画像データ（以下、基準画像ともいう）を取得する機能である。第１入力部２１は、第１撮像素子が撮像した第１フレーム画像及び第２フレーム画像を動き情報取得部３０及び出力領域取得部５０に出力する。
【００２９】
第２入力部２２は、参照撮像素子である第２撮像素子１２により撮像された画像データ（以下、参照画像ともいう）を取得する機能である。第２入力部２２は、第２撮像素子１２が撮像した第１フレーム画像及び第２フレーム画像をそれぞれ取得する。第２入力部２２は、第２撮像素子が撮像した第１フレーム画像及び第２フレーム画像を出力領域取得部５０に出力する。
【００３０】
動き情報取得部３０は、第１フレーム画像及び第２フレーム画像間における撮像部１０の動き情報を取得する機能である。動き情報は、基準となる第１フレーム画像及び第２フレーム画像間の空間的な変位量に基づいて算出される値である。詳細には、第１フレーム画像及び第２フレーム画像において、所定の大きさに分割されたブロック内の画像信号パターンに最も類似する画像信号パターンがフレーム間で探索され、フレーム間における最も類似する画像信号パターン間の空間的な変位量（動きベクトル）が動き情報として算出される。具体的には、動き情報取得部３０は、図５に示すように、動き情報として、第１フレーム画像に対する第２フレーム画像の回転量θ、画像原点のシフト量ｄｘ，ｄｙ、拡大量ｓを取得する。動き情報取得部３０は、取得した動き情報を出力領域取得部５０に出力する。
【００３１】
設置情報取得部４０は、第１撮像素子１１及び第２撮像素子１２の撮像部１０に対する設置状態を示す設置情報を取得する。設置情報とは、撮像部１０に対する撮像素子の設置位置、設置角度等を示すパラメータである。これらのパラメータは、撮像部１０の設計時に設定されるパラメータであり、撮像部１０と画像処理装置１との接続時に、撮像部１０に記憶されている設置情報が取得され、設置情報記憶部４１に記憶される。設置情報取得部４０は、第１撮像素子１１及び第２撮像素子１２の設置情報を、設置情報記憶部４１から取得する。設置情報取得部４０は、取得した第１撮像素子１１及び第２撮像素子１２の設置情報を出力領域取得部５０に出力する。なお、設置情報取得部４０は、設置情報を撮像部１０から直接取得してもよい。
【００３２】
出力領域取得部５０は、第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域Ａ１１、Ａ２１に対応する第２出力領域域Ａ１２、Ａ２２の位置情報を取得する。ここで、第１出力領域Ａ１１、Ａ２１に対応する第２出力領域Ａ１２、Ａ２２とは、第１出力領域Ａ１１、Ａ２１と対になっている第２出力領域Ａ１２、Ａ２２を意味している。出力領域取得部５０は、第１フレーム画像における第１出力領域Ａ１１、Ａ２１に対してブレがなくなるように第２フレーム画像の第２出力領域Ａ１２、Ａ２２の位置を設定する。設定された第２出力領域Ａ１２、Ａ２２の位置は、第１出力領域Ａ１１、Ａ２１と一致する位置である場合もあるし、第１出力領域Ａ１１、Ａ２１とは異なる位置である場合もある。出力領域取得部５０は、第２出力領域を撮像素子ごとに取得する。以下に、第１撮像素子１１及び第２撮像素子１２の第２出力領域域Ａ１２、Ａ２２の位置情報を取得するための演算処理について説明する。
【００３３】
図６は、第１撮像素子１１及び第２撮像素子１２の第２出力領域Ａ１２、Ａ２２の位置情報を取得するための演算処理の手順を示している。図６に沿って出力領域取得部５０の演算処理について説明する。
【００３４】
まず、出力領域取得部５０は、式（１）により、参照画像の第１フレーム画像内の任意の座標（ｘ’，ｙ’）を正規座標系の座標（ｘｎ，ｙｎ）に変換する。正規化行列とは、入力画像の座標系から正規座標系への変換を行う行列である。ここで、式（１）の正規化行列M’−１は、式（２）に示す第２撮像素子１２の逆正規化行列Ｍ’の逆行列である。逆正規化行列Ｍ’は、正規座標系から参照画像の座標系への変換を行う行列である。逆正規化行列Ｍ’は、第２撮像素子１２の第１フレーム画像の第１出力領域Ａ２１の切り出し位置である（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）により求められるものであり、設置情報取得部４０から出力された撮像部１０に対する第２撮像素子１２の位置情報により定まる行列である。
【００３５】
【数１】
【００３６】
【数２】
【００３７】
次に、出力領域取得部５０は、式（３）により、正規座標系の座標（ｘｎ，ｙｎ）を第１撮像素子１１の座標系の座標（ｘ，ｙ）に変換する。ここで、式（３）の逆正規化行列Ｍは、正規行列を基準画像の座標系に変換する行列である。逆正規化行列Ｍを式（４）に示す。逆正規化行列Ｍは、第１撮像素子１１の第１フレーム画像の第１出力領域Ａ１１の切り出し位置である（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）により求められるものであり、設置情報取得部４０から出力された撮像部１０に対する第１撮像素子１１の位置情報により定まる行列である。
【００３８】
【数３】
【００３９】
【数４】
【００４０】
次に、出力領域取得部５０は、動き情報取得部３０から取得した動き情報に基づいて式（５）に示す動き補正行列Ｃを求める。
【００４１】
【数５】
【００４２】
次に、出力領域取得部５０は、式（６）に示すように、第１撮像素子１１の座標系の座標（ｘ，ｙ）に対して、動き補正行列Ｃを掛けることで、第１撮像素子１１の補正後の座標（ｘｃ，ｙｃ）を得る。座標（ｘ，ｙ）から座標（ｘｃ，ｙｃ）までの、移動量及び移動方向は、第１出力領域Ａ１１に対する第２出力領域Ａ１２の移動量及び移動方向に相当する。このようにして、出力領域取得部５０は、第１出力領域Ａ１１に対応する第２出力領域Ａ１２の位置情報を取得する。
【００４３】
【数６】
【００４４】
次に、出力領域取得部５０は、式（７）により、第１撮像素子１１の座標系における補正後の座標（ｘｃ，ｙｃ）を、正規座標系の座標（ｘｎｃ，ｙｎｃ）に変換する。その後、式（８）により、正規座標系の座標（ｘｎ，ｙｎ）を第２撮像素子１２の座標系の補正後の座標（ｘ’ｃ，ｙ’ｃ）を得る。座標（ｘ’，ｙ’）から座標（ｘ’ｃ，ｙ’ｃ）までの移動量及び移動方向は、第１出力領域Ａ２１に対する第２出力領域Ａ２２の移動量及び移動方向に相当する。このようにして、出力領域取得部５０は、第１出力領域Ａ２１に対応する第２出力領域Ａ２２の位置情報を取得する。
【数７】
【００４５】
【数８】
【００４６】
以上に示した出力領域取得部５０が行う演算処理をまとめると、参照画像の第１フレーム画像内の任意の座標（ｘ’，ｙ’）は、式（９）により、補正後の座標（ｘ’ｃ，ｙ’ｃ）に変換される。式（９）においてＭ’Ｍ−１ＣＭＭ’−１をＣ’とおくと、Ｃ’は、参照撮像素子である第２撮像素子１２の動き補正行列となる。
【００４７】
【数９】
【００４８】
次に、図７を用いて、画像処理装置１の動作を説明するとともに本実施形態に係る画像処理方法について説明する。
【００４９】
まず、設置情報取得部４０は、第１撮像素子１１及び第２撮像素子１２の設置情報を設置情報記憶部４１から取得する（Ｓ１１）。次に、動き情報取得部３０は、第１入力部２１から基準画像の第１フレーム画像及び第２フレーム画像から動き情報を取得する（Ｓ１２）。続いて、出力領域取得部５０は、参照画像内の任意の座標（ｘ’，ｙ’）を上記式（１）により、正規座標（ｘｎ，ｙｎ）に変換する（Ｓ１３）。その後、出力領域取得部５０は、正規座標（ｘｎ，ｙｎ）を上記式（３）により、基準画像内の座標（ｘ，ｙ）に変換する（Ｓ１４）。ここで、基準画像内の座標（ｘ，ｙ）への変換に用いられる逆正規化行列Ｍは、撮像部１０に対する第１撮像素子１１の設置情報から定まる値である。
【００５０】
次に、出力領域取得部５０は、上記式（６）のように、動き情報取得部３０により取得された動き情報から定まる動き補正行列Ｃにより、座標（ｘ，ｙ）を座標（ｘｃ，ｙｃ）に変換する（Ｓ１５）。続いて、出力領域取得部５０は、座標（ｘ，ｙ）に対する座標（ｘｃ，ｙｃ）の移動量から、第２出力領域Ａ１２の位置情報を取得する（Ｓ１６）。次に、出力領域取得部５０は、式（７）により、座標（ｘｃ，ｙｃ）を正規座標（ｘｃｎ，ｙｃｎ）に変換する（Ｓ１７）。その後、出力領域取得部５０は、式（８）により、正規座標（ｘｃｎ，ｙｃｎ）を参照画像内の座標（ｘ’ｃ，ｙ’ｃ）に変換する（Ｓ１８）。続いて、出力領域取得部５０は、座標（ｘ’，ｙ’）に対する座標（ｘ’ｃ，ｙ’ｃ）の移動量から、第２出力領域Ａ２２の位置情報を取得する（Ｓ１９）。第２出力領域Ａ１２の位置情報を取得すると、画像処理装置は、図７の画像処理を終了する。
【００５１】
次に、コンピュータを画像処理装置１として機能させるための画像処理プログラムを説明する。
【００５２】
画像処理プログラムは、メインモジュール、入力モジュール、動き情報取得モジュール、設置情報取得モジュール、設置情報記憶モジュール、及び出力領域取得モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、第１撮像素子１１及び第２撮像素子１２から入力画像を取得するようにコンピュータを動作させる。動き情報取得モジュール、設置情報取得モジュール、設置情報記憶モジュール、及び出力領域取得モジュールを実行することにより実現される機能はそれぞれ、動き情報取得部３０、設置情報取得部４０、設置情報記憶部４１、及び出力領域取得部５０の機能と同様である。
【００５３】
画像処理プログラムは、例えば、ＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像処理プログラムは、データ信号としてネットワークを介して提供されてもよい。
【００５４】
以上説明したように、本実施形態によれば、基準撮像素子である第１撮像素子１１の第２出力領域Ａ１２が、設置情報により定まる第１出力領域Ａ１１の位置情報及び動き情報に基づいて取得され、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子である第２撮像素子１２の第２出力領域Ａ２２が、第１撮像素子１１の設置情報、第２撮像素子１２の設置情報、及び動き情報に基づいて取得される。ここで、第１撮像素子１１の第２出力領域Ａ１２と、第２撮像素子１２の第２出力領域Ａ２２が、第１撮像素子１１及び第２撮像素子１２において共通である動き情報に基づいて取得されるため、第１撮像素子１１及び第２撮像素子１２から得られた画像の間で整合性がとれた補正処理を行うことができる。また、立体画像を得るために用いられるマージンを手ぶれ補正で用いるマージンとして利用しているため、出力を狭くせずに手ぶれ補正が実現された出力画像を得ることができる。
【００５５】
（第２実施形態）
次に、第２実施形態に係る画像処理装置について説明する。この画像処理装置は、第２出力領域Ａ１２、Ａ２２の位置情報が第２フレーム画像内に位置しない場合には、全ての撮像素子において第２出力領域の位置情報が第２フレーム画像内に位置するまで、第１出力領域Ａ１１、Ａ２１の位置情報及び第２出力領域Ａ１２、Ａ２２の位置情報の差分により求まる移動量を小さく調整する点で第１実施形態と異なる。
【００５６】
図８は、本実施形態に係る画像処理装置１Ａの機能構成を示すブロック図である。本実施形態に係る画像処理装置１Ａは、出力領域取得部５０に代えて出力領域取得部５０Ａを備えている。また、第１実施形態に係る画像処理装置１に加えて、判定部６０を備えている。その他の構成は、第１実施形態と同じである。
【００５７】
判定部６０は、第１、第２撮像装置の第２フレームにおける第２出力領域Ａ１２、Ａ２２がそれぞれの第２フレーム画像内に位置するか否かを判定する機能を有する。判定部６０は、式（６）により算出された第２出力領域Ａ１２の４つの頂点の座標（ｘｃ１，ｙｃ１）、（ｘｃ２，ｙｃ２）、（ｘｃ３，ｙｃ３）、（ｘｃ４，ｙｃ４）が第１撮像素子１１の第２フレーム画像内にあるか否かを判定する。また判定部６０は、式（９）により算出された第２出力領域Ａ２２の４つの頂点の座標（ｘ’ｃ１，ｙ’ｃ１）、（ｘ’ｃ２，ｙ’ｃ２）、（ｘ’ｃ３，ｙ’ｃ３）、（ｘ’ｃ４，ｙ’ｃ４）が第２撮像素子１２の撮像した第２フレーム画像内にあるか否かを判定する。判定部６０は、第２出力領域Ａ１２または第２出力領域Ａ２２の少なくとも何れか一方において、４つの頂点の座標の何れかが第２フレーム画像内にないと判定した場合、第２出力領域Ａ１２、Ａ２２が第２フレーム画像外にあること示す逸脱信号を出力領域取得部５０Ａに出力する。
【００５８】
出力領域取得部５０Ａは、判定部６０から逸脱信号を取得すると、全ての撮像素子において第２出力領域Ａ１２、Ａ２２の位置情報が第２フレーム画像内に位置するまで、第１出力領域Ａ１１、Ａ２１の位置情報及び第２出力領域Ａ１２、Ａ２２の位置情報の差分により求まる移動量が小さくなるように調整する。第２出力領域Ａ１２、Ａ２２の位置情報を調整するための再計算について図９を参照して以下に説明する。
【００５９】
図９（ａ）は、第２出力領域Ａ１２が、第１撮像素子１１の第２フレーム外に位置している例である。この例では、第２出力領域Ａ１２のうち、座標Ｃ（ｘ３，ｙ３）及び座標Ｃ（ｘ４，ｙ４）が第２フレーム外に位置している。この場合、出力領域取得部５０Ａは、画面内外比率ｒを求める。以下では、座標Ｃ（ｘ３，ｙ３）について画面内外比率ｒを求めているが、座標Ｃ（ｘ４，ｙ４）について画面内外比率ｒを求めても良い。
【００６０】
画面内外比率ｒは、第１出力領域の座標と、該座標に対応する座標であって、第２フレーム外に位置する座標を直線で結んだ場合における、第２フレーム内の当該線分の長さに対する第２フレーム外の当該線分の長さの比である。出力領域取得部５０Ａは、画面内外比率ｒを求めた後、式（１０）により補正行列Ｃを更新する。式（１０）において、Ｉは単位行列である。その後、出力領域取得部５０Ａは、基準画像の座標系の座標（ｘ，ｙ）に対して、更新後の動き補正行列Ｃを掛けることで、第２出力領域Ａ１２の位置情報を取得する。また、出力領域取得部５０Ａは、更新した第２出力領域Ａ１２の位置情報に基づいて式（７）、（８）により第２出力領域Ａ２２の位置情報を取得する。
【００６１】
【数１０】
【００６２】
その後、再び判定部６０は、更新した補正行列Ｃにより決定された第２出力領域Ａ１２の４つの頂点が第１撮像素子１１の第２フレーム画像内にあるか否かを判定し、全ての頂点が第２フレーム画像内に位置するまで、式（１０）により補正行列を更新する。また、更新した補正行列に基づいて第２出力領域Ａ１２及び第２出力領域Ａ２２を取得する。判定部６０において、すべての頂点の座標が第２フレーム画像内に位置すると判定されると、その時点における第２出力領域Ａ１２及び第２出力領域Ａ２２を出力する。
【００６３】
図９（ｂ）は、第２出力領域Ａ２２が、第１撮像素子１２の第２フレーム外に位置している例である。この例では、第２出力領域Ａ１２のうち、座標Ｃ’（ｘ’３，ｙ’３）及び座標Ｃ’（ｘ’４，ｙ’４）が第２フレーム外に位置している。この場合、出力領域取得部５０Ａは、画面内外比率ｒ’を求める。以下では、座標Ｃ’（ｘ’４，ｙ’４）について画面内外比率ｒを求めているが、座標Ｃ’（ｘ’３，ｙ’３）について画面内外比率ｒを求めても良い。
【００６４】
出力領域取得部５０Ａは、画面内外比率ｒ’を求めた後、式（１１）により補正行列Ｃを更新する。その後、出力領域取得部５０Ａは、第１撮像素子１１の座標系の座標（ｘ，ｙ）に対して、更新した動き補正行列Ｃを掛けることで、第２出力領域Ａ１２の位置情報を取得する。また、出力領域取得部５０Ａは、更新した第２出力領域Ａ１２の位置情報に基づいて式（７）、（８）により第２出力領域Ａ２２の位置情報を取得する。
【００６５】
【数１１】
【００６６】
その後、再び判定部６０は、更新した補正行列Ｃにより決定された第２出力領域Ａ１２の４つの頂点が第１撮像素子１１の第２フレーム画像内にあるか否かを判定し、全ての頂点が第２フレーム画像内に位置するまで、式（１１）により補正行列を更新する。また、更新した補正行列に基づいて第２出力領域Ａ１２及び第２出力領域Ａ２２を取得する。判定部６０において、すべての頂点の座標が第２フレーム画像内に位置すると判定されると、その時点における第２出力領域Ａ１２及び第２出力領域Ａ２２を出力する。
【００６７】
次に、図１０を用いて、画像処理装置１Ａの動作を説明するとともに本実施形態に係る画像処理方法について説明する。
【００６８】
図１０に示すステップＳ２１〜２６、Ｓ２８〜３０は、それぞれ図７に示すステップＳ１１〜Ｓ１９と同じ動作であるため、説明を省略する。Ｓ２６において、基準画像の第２出力領域Ａ１２を取得すると、出力領域取得部５０Ａは、基準画像の第２出力領域Ａ１２位置が基準画像内である否かについて判定する（Ｓ２７）。出力領域取得部５０Ａは、基準画像の第２出力領域Ａ１２位置が基準画像内にないと判定した場合には、式（１０）により、補正行列Ｃを再計算した後に（Ｓ３２）、ステップＳ２５の処理に移行する。他方、基準画像の第２出力領域Ａ１２位置が基準画像内にあると判定した場合には、ステップＳ２８の処理に移行する。
【００６９】
また、出力領域取得部５０Ａは、Ｓ３０において、参照画像の第２出力領域Ａ２２を取得すると、参照画像の第２出力領域Ａ２２位置が参照画像内である否かについて判定する（Ｓ３１）。出力領域取得部５０Ａは、参照画像の第２出力領域Ａ２２位置が参照画像内にないと判定した場合には、式（１１）により、補正行列Ｃを再計算した後に（Ｓ３２）、ステップＳ２５の処理に移行する。他方、参照画像の第２出力領域Ａ２２位置が参照画像内にあると判定した場合には、図１１に示す画像処理を終了する。
【００７０】
以上説明したように、本実施形態によれば、基準撮像素子である第１撮像素子１１の第２出力領域Ａ１２が、設置情報により定まる第１出力領域Ａ１１の位置情報及び動き情報に基づいて取得され、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子である第２撮像素子１２の第２出力領域Ａ２２が、第１撮像素子１１の設置情報、第２撮像素子１２の設置情報、及び動き情報に基づいて取得される。ここで、第１撮像素子１１の第２出力領域Ａ１２と、第２撮像素子１２の第２出力領域Ａ２２が、複数の撮像素子において共通の動き情報に基づいて取得されるため、複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行うことができる。
【００７１】
また、本実施形態の画像処理装置１Ａは、第２出力領域Ａ１１，Ａ１２の位置情報が第２フレーム画像内に位置するか否かを全ての撮像素子について判定する判定部６０を備え、出力領域取得部５０Ａは、第２出力領域Ａ１１，Ａ１２の位置情報が第２フレーム画像内に位置しない場合には、全ての撮像素子において第２出力領域の位置情報が第２フレーム画像内に位置するまで、第１出力領域の位置情報及び第２出力領域の位置情報の差分により求まる移動量を小さく調整する。このため、第２出力領域Ａ１１，Ａ１２が、第２フレーム画像内に位置しないことにより画像処理が行えなくなることを防止することができる。
【００７２】
（第３実施形態）
次に、第３実施形態に係る画像処理装置について説明する。本実施形態に係る画像処理装置は、複数の撮像素子において動き情報を取得し、各撮像素子で得られた動き情報を加重平均した動き情報を用いて第２出力領域の位置情報を取得する点で第１実施形態と異なる。
【００７３】
図１１は、本実施形態に係る画像処理装置１Ｂの機能構成を示すブロック図である。本実施形態に係る画像処理装置１Ｂは、出力領域取得部５０に代えて出力領域取得部５０Ｂを備えている。また、本実施形態に係る画像処理装置１Ｂでは、第２入力部２２が、第２撮像素子１２から取得した参照画像から動き情報取得部３０に出力し、動き情報取得部３０が、第１入力部２１から取得した基準画像及び第２入力部２２から取得した参照画像の１フレーム画像及び第２フレーム画像間における撮像部１０の動き情報を取得する。本実施形態の動き情報取得部３０は、基準画像から得た動き情報と、参照画像から得た動き情報とを出力領域取得部５０Ｂに出力する。
【００７４】
出力領域取得部５０Ｂは、第２フレーム画像内の領域であって第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を撮像素子ごとに取得する。以下に、第１撮像素子１１及び第２撮像素子１２の第２出力領域Ａ１２，Ａ２２の位置情報を取得するための演算処理について説明する。
【００７５】
図１２は、第１撮像素子１１及び第２撮像素子１２の第２出力領域Ａ１２、Ａ２２の位置情報を取得するための演算処理の手順を示している。図１２に沿って出力領域取得部５０Ｂにおける演算処理について説明する。
【００７６】
まず、出力領域取得部５０Ｂは、動き情報取得部３０から出力される基準画像に基づく動き情報を取得し、式（５）と同様の処理により基準動き補正行列Ｃｏｒｇを取得する。
【００７７】
次に、基準画像内の任意の座標（ｘ，ｙ）に正規化行列Ｍ−１を掛けることで、座標（ｘ，ｙ）を正規座標系の座標（ｘｎ，ｙｎ）に変換する。次に、出力領域取得部５０Ｂは、逆正規化行列Ｍ’を掛けることで、座標（ｘｎ，ｙｎ）を参照画像の座標系の座標（ｘ’，ｙ’）に変換する。
【００７８】
また、出力領域取得部５０Ｂは、動き情報取得部３０から出力される参照画像に基づく動き情報を取得し、式（５）と同様の処理により参照動き補正行列Ｃ’ｏｒｇを取得する。次に、出力領域取得部５０Ｂは、式（６）に示すように、座標（ｘ’，ｙ’）に対して、参照動き補正行列Ｃ’ｏｒｇを掛けることで、補正後の座標（ｘ’ｃ，ｙ’ｃ）を得る。座標（ｘ’，ｙ’）から座標（ｘ’ｃ，ｙ’ｃ）までの、移動量及び移動方向は、第１出力領域Ａ２１に対する第２出力領域Ａ２２の移動量及び移動方向に相当する。このようにして、出力領域取得部５０Ｂは、第２出力領域Ａ２２の位置情報を取得する。
【００７９】
その後、出力領域取得部５０Ｂは、座標（ｘ’ｃ，ｙ’ｃ）に正規化行列Ｍ’−１を掛けることで、座標（ｘ’ｃ，ｙ’ｃ）を正規座標系の座標（ｘ’ｎｃ，ｙ’ｎｃ）に変換する。次に、出力領域取得部５０Ｂは、逆正規化行列Ｍを掛けることで、座標（ｘ’ｎｃ，ｙ’ｎｃ）を基準画像の座標系の座標（ｘｃ，ｙｃ）に変換する。
【００８０】
基準画像の第１出力領域Ａ１１を第２出力領域Ａ１２へ移動させるための動き補正行列を変換後動き補正行列Ｃ’ｃｏｎｖとおくと、ここまでの出力領域取得部５０Ｂが行う演算処理は、式（１２）のように表せる。
【００８１】
【数１２】
【００８２】
ここで、出力領域取得部５０Ｂは、式（１３）のように、基準画像から得た基準動き補正行列Ｃｏｒｇと、変換後動き補正行列Ｃ’ｃｏｎｖとの加重平均をとることで、平均動き補正行列Ｃａｖｒを得る。式（１３）において、ｗｏｒｇ、ｗｃｏｎｖは、それぞれ第１撮像素子１１、第２撮像素子１２に対する重みであり、第１撮像素子１１、第２撮像素子１２の信頼度によって設定される値である。例えば、夜間の撮影において、第１撮像素子１１が赤外線カメラであり、第２撮像素子１２が一般的な可視光カメラである場合には、暗所での撮影に優れる第１撮像素子１１の重みを高く設定するようにしても良い。
【００８３】
【数１３】
【００８４】
その後、出力領域取得部５０Ｂは、式（１３）で得た平均動き補正行列Ｃａｖｒを用いて、第１実施形態で示す式（１）〜（４）、（６）〜（９）の演算を行うことで、基準画像の第２出力領域Ａ１２及び参照画像の第２出力領域Ａ２２の位置情報を取得する。また、出力領域取得部５０Ｂは、第２実施形態で示す式（１０）、（１１）の演算を行うことで、基準画像及び参照画像の第２フレーム画像外に第２出力領域Ａ１２、Ａ２２が設定されることを防止するようにしても良い。
【００８５】
次に、図１３、１４を用いて、画像処理装置１Ｂの動作を説明するとともに本実施形態に係る画像処理方法について説明する。
【００８６】
図１３に示すステップＳ４１、Ｓ４２、Ｓ４４、Ｓ４５、Ｓ４７〜Ｓ５０は、それぞれ図７に示すステップＳ１１〜Ｓ１４、Ｓ１６〜Ｓ１９と同じ動作であるため、説明を省略する。出力領域取得部５０Ｂは、Ｓ２６において、動き情報を取得すると、平均動き補正行列Ｃａｖｒ取得処理を行う（Ｓ４３）。平均動き補正行列Ｃａｖｒ取得処理の手順を図１４に示す。
【００８７】
平均動き補正行列Ｃａｖｒ取得処理では、出力領域取得部５０Ｂは、基準画像内の任意の座標（ｘ，ｙ）を正規座標に変換する（Ｓ６１）。次に、出力領域取得部５０は、正規座標を、参照画像内の座標（ｘ’，ｙ’）に変換する（Ｓ６２）。ここで、基準画像内の座標（ｘ，ｙ）への変換に用いられる逆正規化行列Ｍ’は、第２撮像素子１２の設置情報から定まる値である。
【００８８】
次に、出力領域取得部５０Ｂは、動き情報取得部３０により取得された動き情報から定まる動き補正行列Ｃ’ｃｏｎｖにより、座標（ｘ’，ｙ’）を座標（ｘ’ｃ，ｙ’ｃ）に変換する（Ｓ６３）。次に、出力領域取得部５０Ｂは、座標（ｘ’ｃ，ｙ’ｃ）を正規座標に変換する（Ｓ６４）。その後、出力領域取得部５０Ｂは、正規座標を基準画像内の座標（ｘｃ，ｙｃ）に変換する（Ｓ６５）。式（１２）に示すように、上記ステップＳ６１〜Ｓ６５までの一連の処理により、変換後動き補正行列Ｃｃｏｎｖを得る。続いて、出力領域取得部５０Ｂは、式（１３）により、平均動き補正行列Ｃａｖｒを取得する（Ｓ６６）。
【００８９】
その後、処理は図１３に戻る。出力領域取得部５０Ｂは、ステップＳ４６において、平均動き補正行列Ｃａｖｒにより座標（ｘ，ｙ）を座標（ｘｃ，ｙｃ）に変換する（Ｓ４６）。
【００９０】
以上説明したように、本実施形態においても、基準撮像素子である第１撮像素子１１の第２出力領域Ａ１２が、設置情報により定まる第１出力領域Ａ１１の位置情報及び動き情報に基づいて取得され、複数の撮像素子のうち基準撮像素子とは異なる他の撮像素子である第２撮像素子１２の第２出力領域Ａ２２が、第１撮像素子１１の設置情報、第２撮像素子１２の設置情報、及び動き情報に基づいて取得される。ここで、第１撮像素子１１の第２出力領域Ａ１２と、第２撮像素子１２の第２出力領域Ａ２２が、複数の撮像素子において共通の動き情報に基づいて取得されるため、複数の撮像素子から得られた画像の間で整合性がとれた補正処理を行うことができる。
【００９１】
また、本実施形態の画像処理装置１Ｂは、第１撮像素子１１から得た動き情報と第２撮像素子から得た動き情報の加重平均から平均動き補正行列Ｃａｖｒを取得する。この場合、平均動き補正行列Ｃａｖｒで示される動き情報が複数の基準撮像素子によって取得された動き情報を考慮したものであるためであるため、精度の良い動き情報を取得することができる。
【００９２】
（変形例）
上記実施形態では、出力領域取得部が、複数の撮像素子を備えることによって必要となる出力領域以外の領域を、手ぶれ補正を行うための領域として用いている。ここで、出力領域以外の領域を、手ぶれ補正とは異なる他の画像処理で用いても良い。例えば、複数の撮像素子を備えることによって必要となる出力領域以外の領域を、撮像部１０や対象物Ｔの動きによって生じる歪みを補正する際に用いる領域として利用してもよい。設置位置がずれた場合には、各撮像素子で歪み補正係数が異なるため、例えば基準画像での動きベクトルを基に各撮像素子での歪み補正係数を計算してもよい。
【００９３】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００９４】
例えば、上記実施形態では、第１撮像素子１１及び第２撮像素子１２において撮像された１フレーム画像及び第２フレーム画像から動き情報を取得しているが、ジャイロセンサ等の外部ハードウェアにより動き情報を取得しても良い。
【００９５】
上記実施形態では、第１撮像素子１１を基準撮像素子とし、第２撮像素子１２を参照撮像素子としたが、いずれの撮像素子を前記基準撮像素子とするかは、撮像条件に基づいて選択されてもよい。例えば、第１撮像素子１１が赤外線カメラであり、第２撮像素子１２が一般的な可視光カメラである場合には、夜間の撮影では、第１撮像素子１１を基準撮像素子と選択し、明るい場所での撮影では、第２撮像素子１２を基準撮像素子と選択する素子選択部を備えてもよい。これにより、特性の異なる撮像素子のうち、手ぶれ補正に適した撮像素子の情報を用いて各撮像素子の画像を補正することができる。
【符号の説明】
【００９６】
１，１Ａ，１Ｂ…画像処理装置、１０…撮像部、１１…第１撮像素子、１２…第２撮像素子、２１…第１入力部、２２…第２入力部、３０…情報取得部、４０…設置情報取得部、４１…設置情報記憶部、５０，５０Ａ，５０Ｂ…出力領域取得部、６０…判定部。
【特許請求の範囲】
【請求項１】
第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理する画像処理装置であって、
前記撮像素子の前記撮像装置に対する設置状態を示す設置情報を、前記撮像素子ごとに取得する設置情報取得部と、
前記第１フレーム画像及び前記第２フレーム画像間における前記撮像装置の動き情報を取得する動き情報取得部と、
前記第２フレーム画像内の領域であって前記第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を前記撮像素子ごとに取得する出力領域取得部と、
を備え、
前記出力領域取得部は、
複数の前記撮像素子のうち基準となる基準撮像素子の前記第２出力領域を、前記設置情報により定まる前記第１出力領域の位置情報及び前記動き情報に基づいて取得し、
複数の前記撮像素子のうち前記基準撮像素子とは異なる他の前記撮像素子の前記第２出力領域を、前記基準撮像素子の設置情報、他の前記撮像素子の設置情報、及び前記動き情報に基づいて取得する
ことを特徴とする画像処理装置。
【請求項２】
前記第２出力領域の位置情報が前記第２フレーム画像内に位置するか否かを全ての撮像素子について判定する判定部を備え、
前記出力領域取得部は、前記第２出力領域の位置情報が前記第２フレーム画像内に位置しない場合には、全ての撮像素子において前記第２出力領域の位置情報が前記第２フレーム画像内に位置するまで、前記第１出力領域の位置情報及び前記第２出力領域の位置情報の差分により求まる移動量を小さく調整する
請求項１に記載の画像処理装置。
【請求項３】
前記動き情報取得部は、前記基準撮像素子において撮像された前記第１フレーム画像及び前記第２フレーム画像から動き情報を取得する
請求項１又は２に記載の画像処理装置。
【請求項４】
前記動き情報取得部は、ジャイロセンサにより動き情報を取得する
請求項１又は２に記載の画像処理装置。
【請求項５】
前記動き情報取得部は、複数の前記撮像素子において撮像された前記第１フレーム画像及び前記第２フレーム画像から得た動き情報の加重平均を動き情報として取得する
請求項１又は２に記載の画像処理装置。
【請求項６】
前記基準撮像素子は、撮像条件に基づいて複数の前記撮像素子の中から選択される
請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記出力領域取得部は、複数の撮像素子を備えることによって必要となる出力領域以外の領域を、動きによって補正する際に用いる領域として利用する
請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理する画像処理方法であって、
前記撮像素子の前記撮像装置に対する設置状態を示す設置情報を、前記撮像素子ごとに取得する設置情報取得ステップと、
前記第１フレーム画像及び前記第２フレーム画像間における前記撮像装置の動き情報を取得する動き情報取得ステップと、
前記第２フレーム画像内の領域であって前記第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を前記撮像素子ごとに取得する出力領域取得ステップと、
を含み、
前記出力領域取得ステップは、
複数の前記撮像素子のうち基準となる基準撮像素子の前記第２出力領域を、前記設置情報により定まる前記第１出力領域の位置情報及び前記動き情報に基づいて取得し、
複数の前記撮像素子のうち前記基準撮像素子とは異なる他の前記撮像素子の前記第２出力領域を、前記基準撮像素子の設置情報、他の前記撮像素子の設置情報、及び前記動き情報に基づいて取得する
ことを特徴とする画像処理方法。
【請求項９】
第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理するようにコンピュータを動作させる画像処理プログラムであって、
前記撮像素子の前記撮像装置に対する設置状態を示す設置情報を、前記撮像素子ごとに取得する設置情報取得部、
前記第１フレーム画像及び前記第２フレーム画像間における前記撮像装置の動き情報を取得する動き情報取得部、及び
前記第２フレーム画像内の領域であって前記第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を前記撮像素子ごとに取得する出力領域取得部
として前記コンピュータを機能させ、
前記出力領域取得部は、
複数の前記撮像素子のうち基準となる基準撮像素子の前記第２出力領域を、前記設置情報により定まる前記第１出力領域の位置情報及び前記動き情報に基づいて取得し、
複数の前記撮像素子のうち前記基準撮像素子とは異なる他の前記撮像素子の前記第２出力領域を、前記基準撮像素子の設置情報、他の前記撮像素子の設置情報、及び前記動き情報に基づいて取得する
ことを特徴とする画像処理プログラム。
【請求項１０】
第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理するようにコンピュータを動作させる画像処理プログラムが記憶された記憶媒体であって、
前記プログラムは、
前記撮像素子の前記撮像装置に対する設置状態を示す設置情報を、前記撮像素子ごとに取得する設置情報取得部、
前記第１フレーム画像及び前記第２フレーム画像間における前記撮像装置の動き情報を取得する動き情報取得部、及び
前記第２フレーム画像内の領域であって前記第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を前記撮像素子ごとに取得する出力領域取得部
として前記コンピュータを機能させ、
前記出力領域取得部は、
複数の前記撮像素子のうち基準となる基準撮像素子の前記第２出力領域を、前記設置情報により定まる前記第１出力領域の位置情報及び前記動き情報に基づいて取得し、
複数の前記撮像素子のうち前記基準撮像素子とは異なる他の前記撮像素子の前記第２出力領域を、前記基準撮像素子の設置情報、他の前記撮像素子の設置情報、及び前記動き情報に基づいて取得する
ことを特徴とする前記画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【請求項１】
第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理する画像処理装置であって、
前記撮像素子の前記撮像装置に対する設置状態を示す設置情報を、前記撮像素子ごとに取得する設置情報取得部と、
前記第１フレーム画像及び前記第２フレーム画像間における前記撮像装置の動き情報を取得する動き情報取得部と、
前記第２フレーム画像内の領域であって前記第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を前記撮像素子ごとに取得する出力領域取得部と、
を備え、
前記出力領域取得部は、
複数の前記撮像素子のうち基準となる基準撮像素子の前記第２出力領域を、前記設置情報により定まる前記第１出力領域の位置情報及び前記動き情報に基づいて取得し、
複数の前記撮像素子のうち前記基準撮像素子とは異なる他の前記撮像素子の前記第２出力領域を、前記基準撮像素子の設置情報、他の前記撮像素子の設置情報、及び前記動き情報に基づいて取得する
ことを特徴とする画像処理装置。
【請求項２】
前記第２出力領域の位置情報が前記第２フレーム画像内に位置するか否かを全ての撮像素子について判定する判定部を備え、
前記出力領域取得部は、前記第２出力領域の位置情報が前記第２フレーム画像内に位置しない場合には、全ての撮像素子において前記第２出力領域の位置情報が前記第２フレーム画像内に位置するまで、前記第１出力領域の位置情報及び前記第２出力領域の位置情報の差分により求まる移動量を小さく調整する
請求項１に記載の画像処理装置。
【請求項３】
前記動き情報取得部は、前記基準撮像素子において撮像された前記第１フレーム画像及び前記第２フレーム画像から動き情報を取得する
請求項１又は２に記載の画像処理装置。
【請求項４】
前記動き情報取得部は、ジャイロセンサにより動き情報を取得する
請求項１又は２に記載の画像処理装置。
【請求項５】
前記動き情報取得部は、複数の前記撮像素子において撮像された前記第１フレーム画像及び前記第２フレーム画像から得た動き情報の加重平均を動き情報として取得する
請求項１又は２に記載の画像処理装置。
【請求項６】
前記基準撮像素子は、撮像条件に基づいて複数の前記撮像素子の中から選択される
請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記出力領域取得部は、複数の撮像素子を備えることによって必要となる出力領域以外の領域を、動きによって補正する際に用いる領域として利用する
請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理する画像処理方法であって、
前記撮像素子の前記撮像装置に対する設置状態を示す設置情報を、前記撮像素子ごとに取得する設置情報取得ステップと、
前記第１フレーム画像及び前記第２フレーム画像間における前記撮像装置の動き情報を取得する動き情報取得ステップと、
前記第２フレーム画像内の領域であって前記第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を前記撮像素子ごとに取得する出力領域取得ステップと、
を含み、
前記出力領域取得ステップは、
複数の前記撮像素子のうち基準となる基準撮像素子の前記第２出力領域を、前記設置情報により定まる前記第１出力領域の位置情報及び前記動き情報に基づいて取得し、
複数の前記撮像素子のうち前記基準撮像素子とは異なる他の前記撮像素子の前記第２出力領域を、前記基準撮像素子の設置情報、他の前記撮像素子の設置情報、及び前記動き情報に基づいて取得する
ことを特徴とする画像処理方法。
【請求項９】
第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理するようにコンピュータを動作させる画像処理プログラムであって、
前記撮像素子の前記撮像装置に対する設置状態を示す設置情報を、前記撮像素子ごとに取得する設置情報取得部、
前記第１フレーム画像及び前記第２フレーム画像間における前記撮像装置の動き情報を取得する動き情報取得部、及び
前記第２フレーム画像内の領域であって前記第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を前記撮像素子ごとに取得する出力領域取得部
として前記コンピュータを機能させ、
前記出力領域取得部は、
複数の前記撮像素子のうち基準となる基準撮像素子の前記第２出力領域を、前記設置情報により定まる前記第１出力領域の位置情報及び前記動き情報に基づいて取得し、
複数の前記撮像素子のうち前記基準撮像素子とは異なる他の前記撮像素子の前記第２出力領域を、前記基準撮像素子の設置情報、他の前記撮像素子の設置情報、及び前記動き情報に基づいて取得する
ことを特徴とする画像処理プログラム。
【請求項１０】
第１フレーム画像及び第２フレーム画像を連続して順次撮像する撮像素子を複数備える撮像装置によって撮像された複数のフレーム画像を画像処理するようにコンピュータを動作させる画像処理プログラムが記憶された記憶媒体であって、
前記プログラムは、
前記撮像素子の前記撮像装置に対する設置状態を示す設置情報を、前記撮像素子ごとに取得する設置情報取得部、
前記第１フレーム画像及び前記第２フレーム画像間における前記撮像装置の動き情報を取得する動き情報取得部、及び
前記第２フレーム画像内の領域であって前記第１フレーム画像内の第１出力領域に対応する第２出力領域の位置情報を前記撮像素子ごとに取得する出力領域取得部
として前記コンピュータを機能させ、
前記出力領域取得部は、
複数の前記撮像素子のうち基準となる基準撮像素子の前記第２出力領域を、前記設置情報により定まる前記第１出力領域の位置情報及び前記動き情報に基づいて取得し、
複数の前記撮像素子のうち前記基準撮像素子とは異なる他の前記撮像素子の前記第２出力領域を、前記基準撮像素子の設置情報、他の前記撮像素子の設置情報、及び前記動き情報に基づいて取得する
ことを特徴とする前記画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−８１０９１（Ｐ２０１３−８１０９１Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２０２６９（Ｐ２０１１−２２０２６９）
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（５０５２７７３５８）株式会社モルフォ (18)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（５０５２７７３５８）株式会社モルフォ (18)
【Ｆターム（参考）】
[ Back to top ]