共通画像平面決定プログラム、共通画像平面決定方法、および共通画像平面決定装置
【課題】被写体の立体的処理にかかる精度が十分に確保できる共通画像平面を決定する共通画像平面決定プログラムを提供する。
【解決手段】コンピュータは、第１のステップで、２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する。コンピュータは、第２のステップで、予め設定されている複数の回転角度毎に、第１のステップで設定した基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する。コンピュータは、第３のステップで、第２のステップで設定した判定対象共通画像平面毎に、カメラの撮像画像が投影される投影画像領域を検出する。そして、コンピュータは、第４のステップで、第３のステップが検出した投影画像領域の大きさに基づいて、第２のステップで設定した判定対象共通画像平面中から、共通画像平面を選択し決定する。
【解決手段】コンピュータは、第１のステップで、２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する。コンピュータは、第２のステップで、予め設定されている複数の回転角度毎に、第１のステップで設定した基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する。コンピュータは、第３のステップで、第２のステップで設定した判定対象共通画像平面毎に、カメラの撮像画像が投影される投影画像領域を検出する。そして、コンピュータは、第４のステップで、第３のステップが検出した投影画像領域の大きさに基づいて、第２のステップで設定した判定対象共通画像平面中から、共通画像平面を選択し決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、異なる位置に配置した２つのカメラ（所謂、ステレオカメラ）で撮像した被写体を立体的に処理（３次元処理）する際に用いる共通画像平面を決定する共通画像平面決定プログラム、共通画像平面決定方法、および共通画像平面決定装置に関する。
【背景技術】
【０００２】
従来、異なる位置に配置した２つのカメラ（所謂、ステレオカメラ）で撮像した被写体を立体的に処理（３次元処理）することが行われている（特許文献１、２等参照）。これにより、被写体の３次元形状の復元や、被写体を撮像した視点以外の仮想視点から被写体を撮像した場合の撮像画像を生成することができる。
【０００３】
この３次元処理は、一方のカメラの撮像画像に対して定めた参照点毎に、他方のカメラの撮像画像における対応点を探索する。また、２つのカメラの位置や撮像方向等の相違により生じる両撮像画像の視差（撮像画像における参照点と、対応点との座標位置の差）を算出する。そして、三角測量の原理に基づき、各参照点の３次元位置情報を得る。これにより、参照点毎に３次元位置情報を持たせた距離画像が生成でき、被写体の３次元処理が行える。
【０００４】
また、上述の３次元処理において、一方のカメラの撮像画像の参照点について、他方のカメラの撮像画像における対応点を探索する探索処理を簡単にするため、２つのカメラの撮像画像を、仮想的に並列化する処理（所謂、レクティファイ処理）を行っている。
【０００５】
このレクティファイ処理は、２つのカメラの撮像画像を、共通画像平面に投影する処理である。この共通画像平面は、２つのカメラの撮像中心（撮像素子の中心）を結ぶ基線軸に平行な軸を含む平面である。この共通画像平面に投影した２つのカメラの撮像画像（２つの投影画像）は、撮像画像上で水平方向、および鉛直方向が一致する。これにより、参照点に対する対応点の探索にかかる処理が簡単になり、この処理にかかる時間が抑えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２１６１９１号公報
【特許文献２】特開２００６− ３１３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、基線軸に平行な軸を含む平面は、この基線軸に平行な軸（以下、回転軸と言う。）における回転角度が異なる平面が複数存在する。このため、回転軸を含む平面の中から、適当な平面を共通画像平面として選択すると、各カメラの撮像画像を投影した投影画像が小さくなりすぎ、参照点の総数が減少し、被写体の３次元処理の精度を低下させることがある。
【０００８】
この発明の目的は、被写体の立体的処理にかかる精度が十分に確保できる共通画像平面を決定する共通画像平面決定プログラム、共通画像平面決定方法、および共通画像平面決定装置を提供することにある。
【課題を解決するための手段】
【０００９】
この発明にかかる共通画像平面決定プログラムは、上記課題を解決し、その目的を達するために、以下のように構成している。
【００１０】
この共通画像平面決定プログラムは、インストールされたコンピュータに、異なる位置に配置した２つのカメラで撮像した被写体を立体的に処理（被写体の３次元処理）する際に、各カメラの撮像画像を投影する共通画像平面を決定させるものである。
【００１１】
コンピュータは、第１のステップで、２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する。この基準画像平面については、回転軸における回転角度が予め定めた角度である平面とすればよい。
【００１２】
コンピュータは、第２のステップで、予め設定されている複数の回転角度毎に、第１のステップで設定した基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する。例えば、複数の回転角度が、３°間隔で設定されている場合には、回転角度が異なる６０個の判定対象共通画像平面が設定される。
【００１３】
コンピュータは、第３のステップで、第２のステップで設定した判定対象共通画像平面毎に、カメラの撮像画像が投影される投影画像領域を検出する。そして、コンピュータは、第４のステップで、第３のステップが検出した投影画像領域の大きさに基づいて、第２のステップで設定した判定対象共通画像平面中から、共通画像平面を選択し決定する。
【００１４】
例えば、第３のステップが検出した投影画像領域が最大であった判定対象共通画像平面を、共通画像平面に決定する。
【００１５】
また、判定対象共通画像平面毎に、第３のステップで検出した投影画像領域全体を含む、最小の矩形領域を検出し、この矩形領域における投影画像領域が占める比率が最大であった判定対象共通画像平面を、共通画像平面に決定するようにしてもよい。
【００１６】
また、この最小の矩形領域は、基線軸に平行な２辺を有する最小の矩形領域としてもよい。このようにすれば、この最小の矩形領域の検出処理にかかる時間の短縮が図れる。
【００１７】
これにより、各カメラの撮像画像を投影した投影画像が小さくなりすぎ、参照点の総数が減少するのが抑えられ、被写体の３次元処理の精度を十分に確保できる。
【００１８】
また、第３のステップは、カメラの撮像画像における被写体を立体的に処理する領域について、投影画像領域を検出する処理にしてもよいし、カメラの撮像画像における４角を判定対象共通画像平面に投影し、投影した４点が囲む領域を投影画像領域として検出する処理にしてもよい。
【００１９】
さらには、第３のステップは、カメラの一方についてのみ、撮像画像が投影される投影画像領域を検出する処理とすることにより、処理時間の短縮が図れる。
【００２０】
一方、この第３のステップは、カメラの両方について、撮像画像が投影される投影画像領域を検出する処理としてもよい。
【発明の効果】
【００２１】
この発明によれば、被写体の立体的処理にかかる精度が十分に確保できる共通画像平面を決定することができる。
【図面の簡単な説明】
【００２２】
【図１】ステレオ画像処理システムの構成を示す概略図である。
【図２】画像処理装置における被写体の立体的処理を示すフローチャートである。
【図３】参照点に対する対応点の探索にかかる処理を説明する図である。
【図４】情報処理装置の主要部の構成を示す図である。
【図５】共通画像平面を決定する処理を示すフローチャートである。
【図６】判定対象共通画像平面における投影画像を示す図である。
【図７】判定対象共通画像平面における投影画像を示す図である。
【図８】回転軸における基準画像平面の回転角度が異なる複数の判定対象共通画像平面毎の面積比を示す図である。
【図９】別の例にかかる判定対象共通画像平面における投影画像を示す図である。
【図１０】別の例にかかる判定対象共通画像平面における投影画像を示す図である。
【図１１】別の例にかかる回転軸における基準画像平面の回転角度が異なる複数の判定対象共通画像平面毎の面積比を示す図である。
【発明を実施するための形態】
【００２３】
以下、この発明の実施形態について説明する。
【００２４】
まず、異なる位置に配置した２つのカメラ（所謂、ステレオカメラ）で撮像した被写体を立体的に処理（３次元処理）するステレオマッチングについて簡単に説明し、その後で、この発明にかかる、このステレオマッチングで用いる共通画像平面を決定する手法について説明する。
【００２５】
図１は、ステレオ画像処理システムを示す概略図である。このステレオ画像処理システムは、ステレオカメラ１と、画像処理装置２と、を備えている。ステレオカメラ１は、２つのカメラ１１、１２を有している。カメラ１１、１２は、所謂ディジタルカメラであり受光素子をマトリクス状に配置した撮像素子を有している。また、カメラ１１、１２は、撮像エリアを撮像素子上に投影する光学系を有している。カメラ１１の撮像エリアと、カメラ１２の撮像エリアとは、その一部が重なっている。この重なっている撮像エリアに位置する被写体、すなわち、カメラ１１、１２の両方が撮像した被写体、について３次元処理が行える。ステレオカメラ１は、２つのカメラ１１、１２を異なる位置に配置しているので、２つのカメラ１１、１２の撮像画像には視差がある。ステレオカメラ１は、略同じタイミングで、２つのカメラ１１、１２が撮像エリアを撮像した一対の撮像画像を出力する。
【００２６】
図１では、カメラ１１、１２を並列ではなく、非並列に配置した例を示している。並列配置とは、２つのカメラ１１、１２の撮像素子の中心（撮像画像の中心）を結ぶ基線軸に対して、２つのカメラ１１、１２の撮像方向を直交させた配置である。２つのカメラ１１、１２の撮像素子の中心間の距離を基線長という。
【００２７】
画像処理装置２は、制御部２０と、右画像入力部２１と、左画像入力部２２と、画像処理部２３と、パラメータ記憶部２４と、出力部２５と、を備えている。制御部２０は、画像処理装置２本体各部の動作を制御する。右画像入力部２１は、カメラ１１の撮像画像（以下、右画像と言う。）が入力される。また、右画像入力部２１は、入力された右画像を一時的に記憶するバッファを有している。左画像入力部２２は、カメラ１２の撮像画像（以下、左画像と言う。）が入力される。また、左画像入力部２２は、入力された左画像を一時的に記憶するバッファを有している。
【００２８】
画像処理部２３は、右画像入力部２１、および左画像入力部２２に入力された一対の撮像画像（略同じタイミングで撮像された右画像、および左画像）を用いて、撮像されている被写体について３次元処理（ステレオマッチング）を行う。
【００２９】
パラメータ記憶部２４は、画像処理部２３が被写体の３次元処理で用いる各種パラメータを記憶している。例えば、２つのカメラ１１、１２の基線軸を特定する基線軸パラメータや、基線長を示す基線長パラメータ、カメラ１１、１２毎の焦点距離等の撮像光学系にかかる光学パラメータ、カメラ１１、１２毎の撮像方向にかかる撮像方向パラメータ等を記憶している。また、パラメータ記憶部２４は、右画像を共通画像平面に投影する第１のパラメータ（後述する、ＲｅｃＲ）、共通画像平面に投影した右画像を元の画像平面（カメラ画像平面）に戻す第２のパラメータ（後述する、ＲｅｃＲ-1）、左画像を共通画像平面に投影する第３のパラメータ（後述する、ＲｅｃＬ）、共通画像平面に投影した左画像を元の画像平面（カメラ画像平面）に戻す第４のパラメータ（後述する、ＲｅｃＬ-1）も記憶している。
【００３０】
共通画像平面は、２つのカメラ１１、１２の基線軸に平行な軸を含む平面である。また、この共通画像平面は、後述する処理で決定している。
【００３１】
出力部２５は、以下に示す３次元処理により得られた、参照点毎に３次元位置情報を持たせた距離画像を出力する。
【００３２】
次に、このステレオ画像処理システムにおける被写体の３次元処理について説明する。図２は、画像処理装置における被写体の３次元処理を示すフローチャートである。画像処理装置２は、２つのカメラ１１、１２が略同じタイミングで撮像した一対の撮像画像が、右画像入力部２１、および左画像入力部２２に入力される（ｓ１）。右画像（カメラ１１の撮像画像）は、右画像入力部２１に入力され、左画像（カメラ１２の撮像画像）は、左画像入力部２２に入力される。
【００３３】
画像処理部２３は、右画像入力部２１に入力された右画像を共通画像平面に投影するレクティファイ処理を行う（ｓ２）。また、画像処理部２３は、左画像入力部２２に入力された左画像を共通画像平面に投影するレクティファイ処理を行う（ｓ３）。ｓ２、およびｓ３にかかる処理の順番は逆であってもよい。ｓ２では、パラメータ記憶部２４が記憶している第１のパラメータを用いて行う。また、ｓ３では、パラメータ記憶部２４が記憶している第３のパラメータを用いて行う。
【００３４】
第１のパラメータ（ＲｅｃＲ）は、右画像上の点ｕＲを、共通画像平面に投影した点ｕＲ’に座標変換するパラメータ（変換行列）であり、第３のパラメータ（ＲｅｃＬ）は、左画像上の点ｕＬを、共通画像平面に投影した点ｕＬ’に座標変換するパラメータ（変換行列）である。すなわち、レクティファイ処理にかかる座標変換は、
ｕＲ’＝ＲｅｃＲ・ｕＲ
ｕＬ’＝ＲｅｃＬ・ｕＬ
によって行われる。
【００３５】
第１のパラメータ（ＲｅｃＲ）は、カメラ１１のカメラ画像平面と、共通画像平面とに基づいて算出されている。同様に、第３のパラメータ（ＲｅｃＬ）は、カメラ１２のカメラ画像平面と、共通画像平面とに基づいて算出されている。
【００３６】
なお、第２のパラメータ（ＲｅｃＲ-1）は、第１のパラメータ（ＲｅｃＲ）の逆行列であり、第４のパラメータ（ＲｅｃＬ-1）は、第３のパラメータ（ＲｅｃＬ）の逆行列である。
【００３７】
ｓ２、ｓ３にかかる処理は、２つのカメラ１１、１２が仮想的に並列に配置されているとした場合における、カメラ１１の撮像画像（右投影画像）と、カメラ１２の撮像画像（左投影画像）と、を得る処理である。
【００３８】
画像処理装置２は、共通画像平面に投影した右投影画像の参照点（参照画素）毎に、対応する左投影画像の対応点（対応画素）を探索する（ｓ４）。上述したｓ２、およびｓ３にかかる処理は、このｓ４にかかる処理を簡単にし、処理時間を短縮するものである。具体的には、画像上で水平方向、および鉛直方向を一致させた右投影画像と、左投影画像とを得る処理である。２つのカメラ１１、１２が非並列に配置されている場合、水平方向、および鉛直方向が、右画像と、左画像とで一致していない。この場合、右画像の参照点ｕＲに対して、対応点ｕＬを探索する左画像上のライン（一般に、エピポーララインと呼ばれている。）が、図３（Ａ）に示すように、左画像上で斜めに走るラインになる。その結果、対応点の探索にかかる処理が複雑になる。これに対して、水平方向、および鉛直方向を一致させた右投影画像と、左投影画像とである場合、右投影画像の参照点ｕＲ’に対して、対応点ｕＬ’を探索する左投影画像上のエピポーララインが、図３（Ｂ）に示すように、左投影画像上で水平に走るラインになる。その結果、対応点の探索にかかる処理が簡単になり、処理時間が短縮できる。
【００３９】
画像処理装置２は、対応点を探索した参照点毎に、３次元位置情報を取得する（ｓ５）。ｓ５では、参照点毎に、対応する対応点との視差を算出し、この視差を用いて三角測量の原理に基づき、その参照点における３次元位置情報を得る。これにより、参照点毎に、３次元位置情報を持たせた距離画像が生成できる。ここで生成した距離画像は、共通画像平面上での距離画像である。画像処理装置２は、共通画像平面上での距離画像を、元のカメラ１１のカメラ平面上での距離画像に戻す（ｓ６）。すなわち、逆レクティファイ処理を行う。ｓ６では、パラメータ記憶部２４に記憶している第２のパラメータや、第４のパラメータを用いて行う。
【００４０】
第２のパラメータ（ＲｅｃＲ-1）は、共通画像平面に投影した点ｕＲ’を、カメラ１１の撮像画像上の点をｕＲに座標変換するパラメータ（変換行列）であり、第４のパラメータ（ＲｅｃＬ-1）は、共通画像平面に投影した点ｕＬ’を、カメラ１２の撮像画像上の点をｕＬに座標変換するパラメータ（変換行列）である。すなわち、逆レクティファイ処理にかかる座標変換は、
ｕＲ＝ＲｅｃＲ-1・ｕＲ’
ｕＬ＝ＲｅｃＬ-1・ｕＬ’
によって行われる。
【００４１】
なお、図２では、ｓ６を右画像についてカメラ平面上の距離画像を得る処理としたが、左画像についてもカメラ平面上の距離画像を得る処理としてもよい。
【００４２】
画像処理装置２は、上記の処理で得たカメラ平面上での距離画像を出力部２５から出力する。出力部２５には、このカメラ平面上での距離画像を利用する装置が接続されている。
【００４３】
上述の被写体の立体的処理の精度を十分に確保するには、共通画像平面を適正に設定する必要がある。共通画像平面は、基線軸に対して平行な軸（回転軸）に対する回転角度が異なる複数の平面が設定可能である。
【００４４】
なお、設定する共通画像平面によって、上述した画像処理装置２のパラメータ記憶部２４に記憶させる第１〜第４のパラメータが異なることはいうまでもない。
【００４５】
以下、ステレオカメラ１に対して、共通画像平面を決定する処理について説明する。この発明にかかる共通画像平面決定プログラムは、この処理をコンピュータに実行させるものである。
【００４６】
図４は、情報処理装置の主要部の構成を示す図である。この情報処理装置５は、制御部５０と、右画像記憶部５１と、左画像記憶部５２と、画像処理部５３と、パラメータ記憶部５４と、出力部５５と、を備えている。この情報処理装置５は、この発明にかかる共通画像平面決定プログラムをインストールしている。制御部５０は、本体各部の動作を制御する。右画像記憶部５１は、共通画像平面を決定するステレオカメラ１のカメラ１１の撮像画像（右画像）を記憶している。また、左画像記憶部５２は、共通画像平面を決定するステレオカメラ１のカメラ１２の撮像画像（左画像）を記憶している。
【００４７】
なお、右画像記憶部５１、および左画像記憶部５２は、上述した右画像入力部２１、および左画像入力部２２に置き換え、実際に共通画像平面を決定するステレオカメラ１を接続する構成であってもよい。
【００４８】
また、パラメータ記憶部５４は、共通画像平面を決定するステレオカメラ１について、２つのカメラ１１、１２の基線軸を特定する基線軸パラメータや、基線長を示す基線長パラメータ、カメラ１１、１２毎の焦点距離等の撮像光学系にかかる光学パラメータ、カメラ１１、１２毎の撮像方向にかかる撮像方向パラメータ等を記憶している。
【００４９】
出力部５５は、決定した共通画像平面に対する、上述の第１〜第４のパラメータを出力する。
【００５０】
図５は、共通画像平面を決定する処理を示すフローチャートである。制御部５０は、パラメータ記憶部５４に記憶しているパラメータを用いて、ステレオカメラ１の２つのカメラ１１、１２の基線軸に平行な軸（以下、回転軸と言う。）を含む、基準共通画像平面を設定する（ｓ１１）。この基準共通画像平面は、例えば、鉛直方向に立設する平面とすればよい。ｓ１１では、特に回転軸における回転角度を気にすることなく、基準共通画像平面を設定すればよい。
【００５１】
制御部５０は、ｓ１１で設定した基準共通画像平面を、回転軸において０°回転させた平面（すなわち、基準共通画像平面）を判定対象共通画像平面として設定する（ｓ１２）。
【００５２】
制御部５０は、一方のカメラ１１のカメラ画像平面を、今回設定した判定対象共通画像平面に投影する変換パラメータ（上述の第１のパラメータに相当する。）を算出する（ｓ１３）。画像処理部５３は、制御部５０がｓ１３で算出した変換パラメータを用いて、右画像記憶部５１に記憶している右画像を判定対象共通画像平面に投影した右投影画像を得る（ｓ１４）。ｓ１４では、図６（Ａ）に示す右画像を、判定対象共通画像平面に投影した右投影画像（図６（Ｂ）参照）を得る。
【００５３】
画像処理部５３は、ｓ１４で判定対象共通画像平面に投影した右投影画像を内包し、基線軸に平行な２辺を有する最小の矩形領域を求める（ｓ１５）。ｓ１５では、図６（Ｃ）に示す矩形領域を求める。
【００５４】
なお、ここでは、この最小の矩形領域の検出にかかる時間の短縮を図るために、基線軸に平行な２辺を有する最小の矩形領域としたが、基線軸に平行な辺を有していない矩形も含めて、最小の矩形領域を検出してもよい。
【００５５】
画像処理部５３は、ｓ１５で求めた矩形領域における、ｓ１４で投影した右投影画像の面積比を算出する（ｓ１６）。制御部５０は、今回の判定対象共通画像平面の回転角度（回転軸における基準共通画像平面に対する回転角度）と、ｓ１６で算出した面積比を対応付けて記憶する（ｓ１７）。
【００５６】
制御部５０は、今回の判定対象共通画像平面の回転角度に、予め定めた角度ｎ°（例えば、３°）を加算した角度が１８０°以上であるかどうかを判定する（ｓ１８）。制御部５０は、ｓ１８で１８０°未満であると判定すると、この時点における判定対象共通画像平面を、回転軸において、さらにｎ°回転させた平面を、新たな定対象共通画像平面に設定し（ｓ１９）、ｓ１３以降の処理を繰り返す。
【００５７】
制御部５０は、上述の処理を行うことで、回転軸において基準画像平面をｎ°ずつ回転させた複数の判定対象共通画像平面毎に、ｓ１６で算出した面積比を記憶する。
【００５８】
図７に示すように、回転軸における基準画像平面の回転角度が異なる判定対象共通画像平面間では、右画像（図７（Ａ）参照）を投影した右投影画像（図７（Ｂ）参照）が異なる。したがって、右投影画像を内包し、基線軸に平行な２辺を有する最小の矩形領域も異なる（図７（Ｃ）参照）。その結果、ｓ１７で算出される面積比も異なる。
【００５９】
情報処理装置５は、上述の処理を行うことにより、回転軸における基準画像平面の回転角度が異なる複数の判定対象共通画像平面毎に、ｓ１６で算出した面積比を得る（図８参照）。
【００６０】
制御部５０は、ｓ１８で１８０°以上であると判定すると、ｓ１６で算出した面積比が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する（ｓ２０）。制御部５０は、ｓ２０で決定した共通画像平面に対する、上述の第１〜第４のパラメータを算出し、これを出力する（ｓ２１、ｓ２２）。ここで出力した第１〜第４のパラメータは、今回対象としたステレオカメラ１を用い、被写体の３次元処理を行う画像処理装置２のパラメータ制御部２４に記憶される。
【００６１】
このように、上述した処理で決定される共通画像平面は、右画像が最も効率的に投影される平面である。したがって、上述したステレオマッチングにかかる処理が適正に行える、共通画像平面が決定できる。
【００６２】
なお、上記の説明は、右画像を基にして、共通画像平面を決定するものであったが、左画像を基にして共通画像平面を決定する処理であっても、同様である。
【００６３】
また、ｓ１６では面積比を算出するとしたが、ｓ１５で求めた矩形領域を予め定めた大きさに正規化し、この中に含まれる投影画像の画素数をカウントする構成としてもよい。この場合には、ｓ２０で画像数のカウント値が最大であった、回転角度の判定対象共通画像平面を、共通画像平面に決定すればよい。この場合も、共通画像平面を、右画像（または左画像）が最も効率的に投影される平面に決定できる。
【００６４】
また、上記の例では、右画像全体を投影した右投影画像の面積比に基づいて、共通画像平面を決定するとしたが、図９に示すように、右画像において距離計測を行う領域（２つのカメラ１１、１２の撮像領域が重複している領域）を抽出する（図９（Ａ），（Ｂ）参照）。そして、ここで抽出した距離計測を行う領域を、判定対象共通画像平面毎に投影し（図９（Ｃ）参照）、この投影した画像を内包し、基線軸に平行な２辺を有する最小の矩形領域を求め（図９（Ｄ）参照）、その面積比を算出する。情報処理装置５は、その面積比が最大であった判定対象共通画像平面を、共通画像平面に決定する。このようにすれば、共通画像平面を、右画像において距離計測に用いる領域が最も効率的に投影される平面に決定できる。
【００６５】
また、図１０に示すように、右画像（図１０（Ａ）参照）の４角を判定対象共通画像平面毎に投影し（図１０（Ｂ）参照）、投影した４点が囲む領域を内包し、基線軸に平行な２辺を有する最小の矩形領域を求め（図１０（Ｃ）参照）、その面積比を算出するようにしてもよい。このようにすれば、判定対象共通画像平面毎に、面積比を算出する処理が簡単になり、処理時間が短縮できる。
【００６６】
さらに、上述の例では、一方の画像（右画像、または左画像）を判定対象共通画像平面毎に投影し、共通画像平面を決定するとしたが、右画像、および左画像の両方を判定対象共通画像平面毎に投影し、その結果に基づいて共通画像平面を決定するようにしてもよい。この場合には、図１１に示すように、回転軸における基準画像平面の回転角度が異なる複数の判定対象共通画像平面毎に、右画像、および左画像の両方について、上述の面積比を得るために、ｓ１３〜ｓ１７にかかる処理を、右画像、および左画像の両方について行えばよい。
【００６７】
共通画像平面を決定する方法は、
（１）右画像、および左画像の両方において、面積比が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
（２）右画像の面積比と、左画像の面積比の和が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
（３）右画像、および左画像の両方において、面積比が予め定めた値（閾値）以上であり、且つ、その中で、面積比が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
（４）右画像、および左画像の両方において、面積比が予め定めた値（閾値）以上であり、且つ、その中で、右画像の面積比と、左画像の面積比の和が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
等のいずれかから選択すればよい。
【００６８】
なお、上述の説明では、２つのカメラ１１、１２が非並列に配置されているステレオカメラ１について、共通画像平面を決定する場合を例示しながら説明したが、２つのカメラ１１、１２が並列に配置されているステレオカメラ１であっても、共通画像平面を適正に決定できる。
【００６９】
また、共通画像平面を決定する処理は、上述の画像処理装置２でも行える。
【符号の説明】
【００７０】
１…ステレオカメラ
２…画像処理装置
５…情報処理装置
１１、１２…カメラ
２０…制御部
２１…右画像入力部
２２…左画像入力部
２３…画像処理部
２４…パラメータ記憶部
２５…出力部
５０…制御部
５１…右画像記憶部
５２…左画像記憶部
５３…画像処理部
５４…パラメータ記憶部
５５…出力部
【技術分野】
【０００１】
この発明は、異なる位置に配置した２つのカメラ（所謂、ステレオカメラ）で撮像した被写体を立体的に処理（３次元処理）する際に用いる共通画像平面を決定する共通画像平面決定プログラム、共通画像平面決定方法、および共通画像平面決定装置に関する。
【背景技術】
【０００２】
従来、異なる位置に配置した２つのカメラ（所謂、ステレオカメラ）で撮像した被写体を立体的に処理（３次元処理）することが行われている（特許文献１、２等参照）。これにより、被写体の３次元形状の復元や、被写体を撮像した視点以外の仮想視点から被写体を撮像した場合の撮像画像を生成することができる。
【０００３】
この３次元処理は、一方のカメラの撮像画像に対して定めた参照点毎に、他方のカメラの撮像画像における対応点を探索する。また、２つのカメラの位置や撮像方向等の相違により生じる両撮像画像の視差（撮像画像における参照点と、対応点との座標位置の差）を算出する。そして、三角測量の原理に基づき、各参照点の３次元位置情報を得る。これにより、参照点毎に３次元位置情報を持たせた距離画像が生成でき、被写体の３次元処理が行える。
【０００４】
また、上述の３次元処理において、一方のカメラの撮像画像の参照点について、他方のカメラの撮像画像における対応点を探索する探索処理を簡単にするため、２つのカメラの撮像画像を、仮想的に並列化する処理（所謂、レクティファイ処理）を行っている。
【０００５】
このレクティファイ処理は、２つのカメラの撮像画像を、共通画像平面に投影する処理である。この共通画像平面は、２つのカメラの撮像中心（撮像素子の中心）を結ぶ基線軸に平行な軸を含む平面である。この共通画像平面に投影した２つのカメラの撮像画像（２つの投影画像）は、撮像画像上で水平方向、および鉛直方向が一致する。これにより、参照点に対する対応点の探索にかかる処理が簡単になり、この処理にかかる時間が抑えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２１６１９１号公報
【特許文献２】特開２００６− ３１３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、基線軸に平行な軸を含む平面は、この基線軸に平行な軸（以下、回転軸と言う。）における回転角度が異なる平面が複数存在する。このため、回転軸を含む平面の中から、適当な平面を共通画像平面として選択すると、各カメラの撮像画像を投影した投影画像が小さくなりすぎ、参照点の総数が減少し、被写体の３次元処理の精度を低下させることがある。
【０００８】
この発明の目的は、被写体の立体的処理にかかる精度が十分に確保できる共通画像平面を決定する共通画像平面決定プログラム、共通画像平面決定方法、および共通画像平面決定装置を提供することにある。
【課題を解決するための手段】
【０００９】
この発明にかかる共通画像平面決定プログラムは、上記課題を解決し、その目的を達するために、以下のように構成している。
【００１０】
この共通画像平面決定プログラムは、インストールされたコンピュータに、異なる位置に配置した２つのカメラで撮像した被写体を立体的に処理（被写体の３次元処理）する際に、各カメラの撮像画像を投影する共通画像平面を決定させるものである。
【００１１】
コンピュータは、第１のステップで、２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する。この基準画像平面については、回転軸における回転角度が予め定めた角度である平面とすればよい。
【００１２】
コンピュータは、第２のステップで、予め設定されている複数の回転角度毎に、第１のステップで設定した基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する。例えば、複数の回転角度が、３°間隔で設定されている場合には、回転角度が異なる６０個の判定対象共通画像平面が設定される。
【００１３】
コンピュータは、第３のステップで、第２のステップで設定した判定対象共通画像平面毎に、カメラの撮像画像が投影される投影画像領域を検出する。そして、コンピュータは、第４のステップで、第３のステップが検出した投影画像領域の大きさに基づいて、第２のステップで設定した判定対象共通画像平面中から、共通画像平面を選択し決定する。
【００１４】
例えば、第３のステップが検出した投影画像領域が最大であった判定対象共通画像平面を、共通画像平面に決定する。
【００１５】
また、判定対象共通画像平面毎に、第３のステップで検出した投影画像領域全体を含む、最小の矩形領域を検出し、この矩形領域における投影画像領域が占める比率が最大であった判定対象共通画像平面を、共通画像平面に決定するようにしてもよい。
【００１６】
また、この最小の矩形領域は、基線軸に平行な２辺を有する最小の矩形領域としてもよい。このようにすれば、この最小の矩形領域の検出処理にかかる時間の短縮が図れる。
【００１７】
これにより、各カメラの撮像画像を投影した投影画像が小さくなりすぎ、参照点の総数が減少するのが抑えられ、被写体の３次元処理の精度を十分に確保できる。
【００１８】
また、第３のステップは、カメラの撮像画像における被写体を立体的に処理する領域について、投影画像領域を検出する処理にしてもよいし、カメラの撮像画像における４角を判定対象共通画像平面に投影し、投影した４点が囲む領域を投影画像領域として検出する処理にしてもよい。
【００１９】
さらには、第３のステップは、カメラの一方についてのみ、撮像画像が投影される投影画像領域を検出する処理とすることにより、処理時間の短縮が図れる。
【００２０】
一方、この第３のステップは、カメラの両方について、撮像画像が投影される投影画像領域を検出する処理としてもよい。
【発明の効果】
【００２１】
この発明によれば、被写体の立体的処理にかかる精度が十分に確保できる共通画像平面を決定することができる。
【図面の簡単な説明】
【００２２】
【図１】ステレオ画像処理システムの構成を示す概略図である。
【図２】画像処理装置における被写体の立体的処理を示すフローチャートである。
【図３】参照点に対する対応点の探索にかかる処理を説明する図である。
【図４】情報処理装置の主要部の構成を示す図である。
【図５】共通画像平面を決定する処理を示すフローチャートである。
【図６】判定対象共通画像平面における投影画像を示す図である。
【図７】判定対象共通画像平面における投影画像を示す図である。
【図８】回転軸における基準画像平面の回転角度が異なる複数の判定対象共通画像平面毎の面積比を示す図である。
【図９】別の例にかかる判定対象共通画像平面における投影画像を示す図である。
【図１０】別の例にかかる判定対象共通画像平面における投影画像を示す図である。
【図１１】別の例にかかる回転軸における基準画像平面の回転角度が異なる複数の判定対象共通画像平面毎の面積比を示す図である。
【発明を実施するための形態】
【００２３】
以下、この発明の実施形態について説明する。
【００２４】
まず、異なる位置に配置した２つのカメラ（所謂、ステレオカメラ）で撮像した被写体を立体的に処理（３次元処理）するステレオマッチングについて簡単に説明し、その後で、この発明にかかる、このステレオマッチングで用いる共通画像平面を決定する手法について説明する。
【００２５】
図１は、ステレオ画像処理システムを示す概略図である。このステレオ画像処理システムは、ステレオカメラ１と、画像処理装置２と、を備えている。ステレオカメラ１は、２つのカメラ１１、１２を有している。カメラ１１、１２は、所謂ディジタルカメラであり受光素子をマトリクス状に配置した撮像素子を有している。また、カメラ１１、１２は、撮像エリアを撮像素子上に投影する光学系を有している。カメラ１１の撮像エリアと、カメラ１２の撮像エリアとは、その一部が重なっている。この重なっている撮像エリアに位置する被写体、すなわち、カメラ１１、１２の両方が撮像した被写体、について３次元処理が行える。ステレオカメラ１は、２つのカメラ１１、１２を異なる位置に配置しているので、２つのカメラ１１、１２の撮像画像には視差がある。ステレオカメラ１は、略同じタイミングで、２つのカメラ１１、１２が撮像エリアを撮像した一対の撮像画像を出力する。
【００２６】
図１では、カメラ１１、１２を並列ではなく、非並列に配置した例を示している。並列配置とは、２つのカメラ１１、１２の撮像素子の中心（撮像画像の中心）を結ぶ基線軸に対して、２つのカメラ１１、１２の撮像方向を直交させた配置である。２つのカメラ１１、１２の撮像素子の中心間の距離を基線長という。
【００２７】
画像処理装置２は、制御部２０と、右画像入力部２１と、左画像入力部２２と、画像処理部２３と、パラメータ記憶部２４と、出力部２５と、を備えている。制御部２０は、画像処理装置２本体各部の動作を制御する。右画像入力部２１は、カメラ１１の撮像画像（以下、右画像と言う。）が入力される。また、右画像入力部２１は、入力された右画像を一時的に記憶するバッファを有している。左画像入力部２２は、カメラ１２の撮像画像（以下、左画像と言う。）が入力される。また、左画像入力部２２は、入力された左画像を一時的に記憶するバッファを有している。
【００２８】
画像処理部２３は、右画像入力部２１、および左画像入力部２２に入力された一対の撮像画像（略同じタイミングで撮像された右画像、および左画像）を用いて、撮像されている被写体について３次元処理（ステレオマッチング）を行う。
【００２９】
パラメータ記憶部２４は、画像処理部２３が被写体の３次元処理で用いる各種パラメータを記憶している。例えば、２つのカメラ１１、１２の基線軸を特定する基線軸パラメータや、基線長を示す基線長パラメータ、カメラ１１、１２毎の焦点距離等の撮像光学系にかかる光学パラメータ、カメラ１１、１２毎の撮像方向にかかる撮像方向パラメータ等を記憶している。また、パラメータ記憶部２４は、右画像を共通画像平面に投影する第１のパラメータ（後述する、ＲｅｃＲ）、共通画像平面に投影した右画像を元の画像平面（カメラ画像平面）に戻す第２のパラメータ（後述する、ＲｅｃＲ-1）、左画像を共通画像平面に投影する第３のパラメータ（後述する、ＲｅｃＬ）、共通画像平面に投影した左画像を元の画像平面（カメラ画像平面）に戻す第４のパラメータ（後述する、ＲｅｃＬ-1）も記憶している。
【００３０】
共通画像平面は、２つのカメラ１１、１２の基線軸に平行な軸を含む平面である。また、この共通画像平面は、後述する処理で決定している。
【００３１】
出力部２５は、以下に示す３次元処理により得られた、参照点毎に３次元位置情報を持たせた距離画像を出力する。
【００３２】
次に、このステレオ画像処理システムにおける被写体の３次元処理について説明する。図２は、画像処理装置における被写体の３次元処理を示すフローチャートである。画像処理装置２は、２つのカメラ１１、１２が略同じタイミングで撮像した一対の撮像画像が、右画像入力部２１、および左画像入力部２２に入力される（ｓ１）。右画像（カメラ１１の撮像画像）は、右画像入力部２１に入力され、左画像（カメラ１２の撮像画像）は、左画像入力部２２に入力される。
【００３３】
画像処理部２３は、右画像入力部２１に入力された右画像を共通画像平面に投影するレクティファイ処理を行う（ｓ２）。また、画像処理部２３は、左画像入力部２２に入力された左画像を共通画像平面に投影するレクティファイ処理を行う（ｓ３）。ｓ２、およびｓ３にかかる処理の順番は逆であってもよい。ｓ２では、パラメータ記憶部２４が記憶している第１のパラメータを用いて行う。また、ｓ３では、パラメータ記憶部２４が記憶している第３のパラメータを用いて行う。
【００３４】
第１のパラメータ（ＲｅｃＲ）は、右画像上の点ｕＲを、共通画像平面に投影した点ｕＲ’に座標変換するパラメータ（変換行列）であり、第３のパラメータ（ＲｅｃＬ）は、左画像上の点ｕＬを、共通画像平面に投影した点ｕＬ’に座標変換するパラメータ（変換行列）である。すなわち、レクティファイ処理にかかる座標変換は、
ｕＲ’＝ＲｅｃＲ・ｕＲ
ｕＬ’＝ＲｅｃＬ・ｕＬ
によって行われる。
【００３５】
第１のパラメータ（ＲｅｃＲ）は、カメラ１１のカメラ画像平面と、共通画像平面とに基づいて算出されている。同様に、第３のパラメータ（ＲｅｃＬ）は、カメラ１２のカメラ画像平面と、共通画像平面とに基づいて算出されている。
【００３６】
なお、第２のパラメータ（ＲｅｃＲ-1）は、第１のパラメータ（ＲｅｃＲ）の逆行列であり、第４のパラメータ（ＲｅｃＬ-1）は、第３のパラメータ（ＲｅｃＬ）の逆行列である。
【００３７】
ｓ２、ｓ３にかかる処理は、２つのカメラ１１、１２が仮想的に並列に配置されているとした場合における、カメラ１１の撮像画像（右投影画像）と、カメラ１２の撮像画像（左投影画像）と、を得る処理である。
【００３８】
画像処理装置２は、共通画像平面に投影した右投影画像の参照点（参照画素）毎に、対応する左投影画像の対応点（対応画素）を探索する（ｓ４）。上述したｓ２、およびｓ３にかかる処理は、このｓ４にかかる処理を簡単にし、処理時間を短縮するものである。具体的には、画像上で水平方向、および鉛直方向を一致させた右投影画像と、左投影画像とを得る処理である。２つのカメラ１１、１２が非並列に配置されている場合、水平方向、および鉛直方向が、右画像と、左画像とで一致していない。この場合、右画像の参照点ｕＲに対して、対応点ｕＬを探索する左画像上のライン（一般に、エピポーララインと呼ばれている。）が、図３（Ａ）に示すように、左画像上で斜めに走るラインになる。その結果、対応点の探索にかかる処理が複雑になる。これに対して、水平方向、および鉛直方向を一致させた右投影画像と、左投影画像とである場合、右投影画像の参照点ｕＲ’に対して、対応点ｕＬ’を探索する左投影画像上のエピポーララインが、図３（Ｂ）に示すように、左投影画像上で水平に走るラインになる。その結果、対応点の探索にかかる処理が簡単になり、処理時間が短縮できる。
【００３９】
画像処理装置２は、対応点を探索した参照点毎に、３次元位置情報を取得する（ｓ５）。ｓ５では、参照点毎に、対応する対応点との視差を算出し、この視差を用いて三角測量の原理に基づき、その参照点における３次元位置情報を得る。これにより、参照点毎に、３次元位置情報を持たせた距離画像が生成できる。ここで生成した距離画像は、共通画像平面上での距離画像である。画像処理装置２は、共通画像平面上での距離画像を、元のカメラ１１のカメラ平面上での距離画像に戻す（ｓ６）。すなわち、逆レクティファイ処理を行う。ｓ６では、パラメータ記憶部２４に記憶している第２のパラメータや、第４のパラメータを用いて行う。
【００４０】
第２のパラメータ（ＲｅｃＲ-1）は、共通画像平面に投影した点ｕＲ’を、カメラ１１の撮像画像上の点をｕＲに座標変換するパラメータ（変換行列）であり、第４のパラメータ（ＲｅｃＬ-1）は、共通画像平面に投影した点ｕＬ’を、カメラ１２の撮像画像上の点をｕＬに座標変換するパラメータ（変換行列）である。すなわち、逆レクティファイ処理にかかる座標変換は、
ｕＲ＝ＲｅｃＲ-1・ｕＲ’
ｕＬ＝ＲｅｃＬ-1・ｕＬ’
によって行われる。
【００４１】
なお、図２では、ｓ６を右画像についてカメラ平面上の距離画像を得る処理としたが、左画像についてもカメラ平面上の距離画像を得る処理としてもよい。
【００４２】
画像処理装置２は、上記の処理で得たカメラ平面上での距離画像を出力部２５から出力する。出力部２５には、このカメラ平面上での距離画像を利用する装置が接続されている。
【００４３】
上述の被写体の立体的処理の精度を十分に確保するには、共通画像平面を適正に設定する必要がある。共通画像平面は、基線軸に対して平行な軸（回転軸）に対する回転角度が異なる複数の平面が設定可能である。
【００４４】
なお、設定する共通画像平面によって、上述した画像処理装置２のパラメータ記憶部２４に記憶させる第１〜第４のパラメータが異なることはいうまでもない。
【００４５】
以下、ステレオカメラ１に対して、共通画像平面を決定する処理について説明する。この発明にかかる共通画像平面決定プログラムは、この処理をコンピュータに実行させるものである。
【００４６】
図４は、情報処理装置の主要部の構成を示す図である。この情報処理装置５は、制御部５０と、右画像記憶部５１と、左画像記憶部５２と、画像処理部５３と、パラメータ記憶部５４と、出力部５５と、を備えている。この情報処理装置５は、この発明にかかる共通画像平面決定プログラムをインストールしている。制御部５０は、本体各部の動作を制御する。右画像記憶部５１は、共通画像平面を決定するステレオカメラ１のカメラ１１の撮像画像（右画像）を記憶している。また、左画像記憶部５２は、共通画像平面を決定するステレオカメラ１のカメラ１２の撮像画像（左画像）を記憶している。
【００４７】
なお、右画像記憶部５１、および左画像記憶部５２は、上述した右画像入力部２１、および左画像入力部２２に置き換え、実際に共通画像平面を決定するステレオカメラ１を接続する構成であってもよい。
【００４８】
また、パラメータ記憶部５４は、共通画像平面を決定するステレオカメラ１について、２つのカメラ１１、１２の基線軸を特定する基線軸パラメータや、基線長を示す基線長パラメータ、カメラ１１、１２毎の焦点距離等の撮像光学系にかかる光学パラメータ、カメラ１１、１２毎の撮像方向にかかる撮像方向パラメータ等を記憶している。
【００４９】
出力部５５は、決定した共通画像平面に対する、上述の第１〜第４のパラメータを出力する。
【００５０】
図５は、共通画像平面を決定する処理を示すフローチャートである。制御部５０は、パラメータ記憶部５４に記憶しているパラメータを用いて、ステレオカメラ１の２つのカメラ１１、１２の基線軸に平行な軸（以下、回転軸と言う。）を含む、基準共通画像平面を設定する（ｓ１１）。この基準共通画像平面は、例えば、鉛直方向に立設する平面とすればよい。ｓ１１では、特に回転軸における回転角度を気にすることなく、基準共通画像平面を設定すればよい。
【００５１】
制御部５０は、ｓ１１で設定した基準共通画像平面を、回転軸において０°回転させた平面（すなわち、基準共通画像平面）を判定対象共通画像平面として設定する（ｓ１２）。
【００５２】
制御部５０は、一方のカメラ１１のカメラ画像平面を、今回設定した判定対象共通画像平面に投影する変換パラメータ（上述の第１のパラメータに相当する。）を算出する（ｓ１３）。画像処理部５３は、制御部５０がｓ１３で算出した変換パラメータを用いて、右画像記憶部５１に記憶している右画像を判定対象共通画像平面に投影した右投影画像を得る（ｓ１４）。ｓ１４では、図６（Ａ）に示す右画像を、判定対象共通画像平面に投影した右投影画像（図６（Ｂ）参照）を得る。
【００５３】
画像処理部５３は、ｓ１４で判定対象共通画像平面に投影した右投影画像を内包し、基線軸に平行な２辺を有する最小の矩形領域を求める（ｓ１５）。ｓ１５では、図６（Ｃ）に示す矩形領域を求める。
【００５４】
なお、ここでは、この最小の矩形領域の検出にかかる時間の短縮を図るために、基線軸に平行な２辺を有する最小の矩形領域としたが、基線軸に平行な辺を有していない矩形も含めて、最小の矩形領域を検出してもよい。
【００５５】
画像処理部５３は、ｓ１５で求めた矩形領域における、ｓ１４で投影した右投影画像の面積比を算出する（ｓ１６）。制御部５０は、今回の判定対象共通画像平面の回転角度（回転軸における基準共通画像平面に対する回転角度）と、ｓ１６で算出した面積比を対応付けて記憶する（ｓ１７）。
【００５６】
制御部５０は、今回の判定対象共通画像平面の回転角度に、予め定めた角度ｎ°（例えば、３°）を加算した角度が１８０°以上であるかどうかを判定する（ｓ１８）。制御部５０は、ｓ１８で１８０°未満であると判定すると、この時点における判定対象共通画像平面を、回転軸において、さらにｎ°回転させた平面を、新たな定対象共通画像平面に設定し（ｓ１９）、ｓ１３以降の処理を繰り返す。
【００５７】
制御部５０は、上述の処理を行うことで、回転軸において基準画像平面をｎ°ずつ回転させた複数の判定対象共通画像平面毎に、ｓ１６で算出した面積比を記憶する。
【００５８】
図７に示すように、回転軸における基準画像平面の回転角度が異なる判定対象共通画像平面間では、右画像（図７（Ａ）参照）を投影した右投影画像（図７（Ｂ）参照）が異なる。したがって、右投影画像を内包し、基線軸に平行な２辺を有する最小の矩形領域も異なる（図７（Ｃ）参照）。その結果、ｓ１７で算出される面積比も異なる。
【００５９】
情報処理装置５は、上述の処理を行うことにより、回転軸における基準画像平面の回転角度が異なる複数の判定対象共通画像平面毎に、ｓ１６で算出した面積比を得る（図８参照）。
【００６０】
制御部５０は、ｓ１８で１８０°以上であると判定すると、ｓ１６で算出した面積比が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する（ｓ２０）。制御部５０は、ｓ２０で決定した共通画像平面に対する、上述の第１〜第４のパラメータを算出し、これを出力する（ｓ２１、ｓ２２）。ここで出力した第１〜第４のパラメータは、今回対象としたステレオカメラ１を用い、被写体の３次元処理を行う画像処理装置２のパラメータ制御部２４に記憶される。
【００６１】
このように、上述した処理で決定される共通画像平面は、右画像が最も効率的に投影される平面である。したがって、上述したステレオマッチングにかかる処理が適正に行える、共通画像平面が決定できる。
【００６２】
なお、上記の説明は、右画像を基にして、共通画像平面を決定するものであったが、左画像を基にして共通画像平面を決定する処理であっても、同様である。
【００６３】
また、ｓ１６では面積比を算出するとしたが、ｓ１５で求めた矩形領域を予め定めた大きさに正規化し、この中に含まれる投影画像の画素数をカウントする構成としてもよい。この場合には、ｓ２０で画像数のカウント値が最大であった、回転角度の判定対象共通画像平面を、共通画像平面に決定すればよい。この場合も、共通画像平面を、右画像（または左画像）が最も効率的に投影される平面に決定できる。
【００６４】
また、上記の例では、右画像全体を投影した右投影画像の面積比に基づいて、共通画像平面を決定するとしたが、図９に示すように、右画像において距離計測を行う領域（２つのカメラ１１、１２の撮像領域が重複している領域）を抽出する（図９（Ａ），（Ｂ）参照）。そして、ここで抽出した距離計測を行う領域を、判定対象共通画像平面毎に投影し（図９（Ｃ）参照）、この投影した画像を内包し、基線軸に平行な２辺を有する最小の矩形領域を求め（図９（Ｄ）参照）、その面積比を算出する。情報処理装置５は、その面積比が最大であった判定対象共通画像平面を、共通画像平面に決定する。このようにすれば、共通画像平面を、右画像において距離計測に用いる領域が最も効率的に投影される平面に決定できる。
【００６５】
また、図１０に示すように、右画像（図１０（Ａ）参照）の４角を判定対象共通画像平面毎に投影し（図１０（Ｂ）参照）、投影した４点が囲む領域を内包し、基線軸に平行な２辺を有する最小の矩形領域を求め（図１０（Ｃ）参照）、その面積比を算出するようにしてもよい。このようにすれば、判定対象共通画像平面毎に、面積比を算出する処理が簡単になり、処理時間が短縮できる。
【００６６】
さらに、上述の例では、一方の画像（右画像、または左画像）を判定対象共通画像平面毎に投影し、共通画像平面を決定するとしたが、右画像、および左画像の両方を判定対象共通画像平面毎に投影し、その結果に基づいて共通画像平面を決定するようにしてもよい。この場合には、図１１に示すように、回転軸における基準画像平面の回転角度が異なる複数の判定対象共通画像平面毎に、右画像、および左画像の両方について、上述の面積比を得るために、ｓ１３〜ｓ１７にかかる処理を、右画像、および左画像の両方について行えばよい。
【００６７】
共通画像平面を決定する方法は、
（１）右画像、および左画像の両方において、面積比が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
（２）右画像の面積比と、左画像の面積比の和が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
（３）右画像、および左画像の両方において、面積比が予め定めた値（閾値）以上であり、且つ、その中で、面積比が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
（４）右画像、および左画像の両方において、面積比が予め定めた値（閾値）以上であり、且つ、その中で、右画像の面積比と、左画像の面積比の和が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
等のいずれかから選択すればよい。
【００６８】
なお、上述の説明では、２つのカメラ１１、１２が非並列に配置されているステレオカメラ１について、共通画像平面を決定する場合を例示しながら説明したが、２つのカメラ１１、１２が並列に配置されているステレオカメラ１であっても、共通画像平面を適正に決定できる。
【００６９】
また、共通画像平面を決定する処理は、上述の画像処理装置２でも行える。
【符号の説明】
【００７０】
１…ステレオカメラ
２…画像処理装置
５…情報処理装置
１１、１２…カメラ
２０…制御部
２１…右画像入力部
２２…左画像入力部
２３…画像処理部
２４…パラメータ記憶部
２５…出力部
５０…制御部
５１…右画像記憶部
５２…左画像記憶部
５３…画像処理部
５４…パラメータ記憶部
５５…出力部
【特許請求の範囲】
【請求項１】
異なる位置に配置した２つのカメラで撮像した被写体を立体的に処理する際に、各カメラの撮像画像を投影する共通画像平面を決定する処理をコンピュータに実行させる共通画像平面決定プログラムであって、
前記２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する第１のステップと、
予め設定されている複数の回転角度毎に、前記第１のステップで設定した前記基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する第２のステップと、
前記第２のステップで設定した前記判定対象共通画像平面毎に、前記カメラの撮像画像が投影される投影画像領域を検出する第３のステップと、
前記第３のステップが検出した投影画像領域の大きさに基づいて、前記第２のステップで設定した前記判定対象共通画像平面中から、共通画像平面を選択し決定する第４のステップと、をコンピュータに実行させる共通画像平面決定プログラム。
【請求項２】
前記第４のステップは、前記判定対象共通画像平面毎に、前記第３のステップで検出した投影画像領域全体を含む最小の矩形領域を検出し、この矩形領域における投影画像領域が占める比率に基づいて判定対象共通画像平面を、共通画像平面として選択し決定する処理である、請求項１に記載の共通画像平面決定プログラム。
【請求項３】
前記第４のステップは、前記最小の矩形領域として、前記基線軸に平行な２辺を有する矩形領域を検出する、請求項２に記載の共通画像平面決定プログラム。
【請求項４】
前記第３のステップは、前記カメラの撮像画像における被写体を立体的に処理する領域について、投影画像領域を検出する請求項１〜３のいずれかに記載の共通画像平面決定プログラム。
【請求項５】
前記第３のステップは、前記カメラの撮像画像における４角を前記判定対象共通画像平面に投影し、投影した４点が囲む領域を前記投影画像領域として検出する請求項１〜３のいずれかに記載の共通画像平面決定プログラム。
【請求項６】
前記第３のステップは、前記カメラの一方についてのみ、撮像画像が投影される前記投影画像領域を検出する請求項１〜５のいずれかに記載の共通画像平面決定プログラム。
【請求項７】
前記第３のステップは、前記カメラの両方について、撮像画像が投影される前記投影画像領域を検出する請求項１〜５のいずれかに記載の共通画像平面決定プログラム。
【請求項８】
コンピュータで、異なる位置に配置した２つのカメラで撮像した被写体を立体的に処理する際に、各カメラの撮像画像を投影する共通画像平面を決定する共通画像平面決定方法であって、
前記２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する第１のステップと、
予め設定されている複数の回転角度毎に、前記第１のステップで設定した前記基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する第２のステップと、
前記第２のステップで設定した前記判定対象共通画像平面毎に、前記カメラの撮像画像が投影される投影画像領域を検出する第３のステップと、
前記第３のステップが検出した投影画像領域の大きさに基づいて、前記第２のステップで設定した前記判定対象共通画像平面中から、共通画像平面を選択し決定する第４のステップと、をコンピュータで実行する共通画像平面決定方法。
【請求項９】
異なる位置に配置した２つのカメラで撮像した被写体を立体的に処理する際に、各カメラの撮像画像を投影する共通画像平面を決定する共通画像平面決定装置であって、
前記２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する基準共通画像平面設定手段と、
予め設定されている複数の回転角度毎に、前記基準共通画像平面設定手段が設定した前記基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する判定対象共通画像平面設定手段と、
前記判定対象共通画像平面設定手段が設定した前記判定対象共通画像平面毎に、前記カメラの撮像画像が投影される投影画像領域を検出する投影画像領域検出手段と、
前記投影画像領域検出手段が検出した投影画像領域の大きさに基づいて、前記判定対象共通画像平面設定手段が設定した前記判定対象共通画像平面中から、共通画像平面を選択し決定する共通画像平面決定手段と、を備えた共通画像平面決定装置。
【請求項１】
異なる位置に配置した２つのカメラで撮像した被写体を立体的に処理する際に、各カメラの撮像画像を投影する共通画像平面を決定する処理をコンピュータに実行させる共通画像平面決定プログラムであって、
前記２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する第１のステップと、
予め設定されている複数の回転角度毎に、前記第１のステップで設定した前記基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する第２のステップと、
前記第２のステップで設定した前記判定対象共通画像平面毎に、前記カメラの撮像画像が投影される投影画像領域を検出する第３のステップと、
前記第３のステップが検出した投影画像領域の大きさに基づいて、前記第２のステップで設定した前記判定対象共通画像平面中から、共通画像平面を選択し決定する第４のステップと、をコンピュータに実行させる共通画像平面決定プログラム。
【請求項２】
前記第４のステップは、前記判定対象共通画像平面毎に、前記第３のステップで検出した投影画像領域全体を含む最小の矩形領域を検出し、この矩形領域における投影画像領域が占める比率に基づいて判定対象共通画像平面を、共通画像平面として選択し決定する処理である、請求項１に記載の共通画像平面決定プログラム。
【請求項３】
前記第４のステップは、前記最小の矩形領域として、前記基線軸に平行な２辺を有する矩形領域を検出する、請求項２に記載の共通画像平面決定プログラム。
【請求項４】
前記第３のステップは、前記カメラの撮像画像における被写体を立体的に処理する領域について、投影画像領域を検出する請求項１〜３のいずれかに記載の共通画像平面決定プログラム。
【請求項５】
前記第３のステップは、前記カメラの撮像画像における４角を前記判定対象共通画像平面に投影し、投影した４点が囲む領域を前記投影画像領域として検出する請求項１〜３のいずれかに記載の共通画像平面決定プログラム。
【請求項６】
前記第３のステップは、前記カメラの一方についてのみ、撮像画像が投影される前記投影画像領域を検出する請求項１〜５のいずれかに記載の共通画像平面決定プログラム。
【請求項７】
前記第３のステップは、前記カメラの両方について、撮像画像が投影される前記投影画像領域を検出する請求項１〜５のいずれかに記載の共通画像平面決定プログラム。
【請求項８】
コンピュータで、異なる位置に配置した２つのカメラで撮像した被写体を立体的に処理する際に、各カメラの撮像画像を投影する共通画像平面を決定する共通画像平面決定方法であって、
前記２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する第１のステップと、
予め設定されている複数の回転角度毎に、前記第１のステップで設定した前記基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する第２のステップと、
前記第２のステップで設定した前記判定対象共通画像平面毎に、前記カメラの撮像画像が投影される投影画像領域を検出する第３のステップと、
前記第３のステップが検出した投影画像領域の大きさに基づいて、前記第２のステップで設定した前記判定対象共通画像平面中から、共通画像平面を選択し決定する第４のステップと、をコンピュータで実行する共通画像平面決定方法。
【請求項９】
異なる位置に配置した２つのカメラで撮像した被写体を立体的に処理する際に、各カメラの撮像画像を投影する共通画像平面を決定する共通画像平面決定装置であって、
前記２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する基準共通画像平面設定手段と、
予め設定されている複数の回転角度毎に、前記基準共通画像平面設定手段が設定した前記基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する判定対象共通画像平面設定手段と、
前記判定対象共通画像平面設定手段が設定した前記判定対象共通画像平面毎に、前記カメラの撮像画像が投影される投影画像領域を検出する投影画像領域検出手段と、
前記投影画像領域検出手段が検出した投影画像領域の大きさに基づいて、前記判定対象共通画像平面設定手段が設定した前記判定対象共通画像平面中から、共通画像平面を選択し決定する共通画像平面決定手段と、を備えた共通画像平面決定装置。
【図１】
【図２】
【図４】
【図５】
【図８】
【図１１】
【図３】
【図６】
【図７】
【図９】
【図１０】
【図２】
【図４】
【図５】
【図８】
【図１１】
【図３】
【図６】
【図７】
【図９】
【図１０】
【公開番号】特開２０１１−１８６８６８（Ｐ２０１１−１８６８６８Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５２５２５（Ｐ２０１０−５２５２５）
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]