画像処理装置、方法、プログラムおよび記録媒体
【課題】測距精度に影響する視差方向のパラメータのキャリブレーション精度を高め、ステレオカメラの測距精度を向上させる画像処理装置、方法、プログラムおよび記録媒体を提供すること。
【解決手段】本発明の画像処理装置は、ステレオカメラが撮影した撮影画像対を取得し、変換情報を使用して撮影画像対を平行化して、その対応点を探索する。そして、当該対応点を使用して撮影画像対の視差値を算出し、変換情報の較正が必要と判断した場合に、ステレオカメラを構成するカメラの回転ずれを考慮した変換情報に較正する。
【解決手段】本発明の画像処理装置は、ステレオカメラが撮影した撮影画像対を取得し、変換情報を使用して撮影画像対を平行化して、その対応点を探索する。そして、当該対応点を使用して撮影画像対の視差値を算出し、変換情報の較正が必要と判断した場合に、ステレオカメラを構成するカメラの回転ずれを考慮した変換情報に較正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラのキャリブレーション技術に関し、より詳細には、ステレオカメラの測距精度を向上させる画像処理装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
近年、運転支援システムや監視システムなどの様々なシステムにおいてステレオカメラが利用されている。ステレオカメラは、一対の単眼カメラで構成された装置であり、視点位置の異なる各単眼カメラが撮影した撮影画像に結像される撮影対象物の結像位置の差異を利用して、物体の距離や位置を測定することができる。
【０００３】
ステレオカメラには、各単眼カメラ間の距離（基線長）や設置面の垂直軸に対する各カメラの回転ずれ等の外部パラメータと、各単眼カメラに内蔵されるレンズが形成する結像の位置（画像中心）、レンズと結像面との距離（焦点距離）、レンズによる歪み等のカメラに固有の内部パラメータとがあり、これらのパラメータのキャリブレーション（較正）の精度がステレオカメラの測定精度に影響を与える。このため、ステレオカメラのパラメータに対するキャリブレーション精度を向上させることが重要である。
【０００４】
特許文献１は、ステレオカメラの光学的な歪みおよび位置的なずれを画像処理によって調整するキャリブレーション方法を開示する。この方法では、所定のパターンを有するチャートをステレオカメラで撮像することによって出力された一対の画像データに対して、画像データの歪みを補正する補正パラメータと、一対の画像のずれを較正する較正パラメータを算出する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１が開示するキャリブレーシション方法では、測距精度に最も影響する視差方向のパラメータのキャリブレーション精度が不十分であるため、ステレオカメラの測距精度が低いという問題があった。
【０００６】
本発明は、上記従来技術の問題に鑑みてなされたものであり、測距精度に影響する視差方向のパラメータのキャリブレーション精度を高め、ステレオカメラの測距精度を向上させる画像処理装置、方法、プログラムおよび記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像処理装置は、ステレオカメラが撮影した撮影画像対を取得し、変換情報を使用して撮影画像対を平行化して、その対応点を探索する。そして、当該対応点を使用して撮影画像対の視差値を算出し、変換情報の較正が必要と判断した場合に、ステレオカメラを構成するカメラ相互の回転ずれを考慮した変換情報に較正する。これにより、本発明の画像処理装置は、異なる画角の位置における視差値を用いて、測距精度に最も影響する視差方向のパラメータ、すなわち、上記回転ずれを高精度に較正することができ、ステレオカメラの測距精度を向上させることができる。
【０００８】
また、本発明は、異なる画角の位置における視差値を用いて測距精度に最も影響する上記回転ずれの高精度な較正を可能にし、ステレオカメラの測距精度を向上させることができる方法、プログラムおよび記録媒体を提供する。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理システムを示す図。
【図２】本実施形態の画像処理装置の機能構成を示す図。
【図３】本実施形態のステレオカメラを構成するカメラの回転ずれを示す図。
【図４】本実施形態の画像処理装置が実行する較正処理を示すフローチャート。
【図５】本実施形態のステレオカメラで撮影した撮影画像の実施形態を示す図。
【図６】本実施形態のステレオカメラを使用して異なる撮影角度で撮影した撮影画像対の視差値を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、本実施形態の画像処理システム１００を示す図である。画像処理システム１００は、ターゲット１１０と、ステレオカメラ１２０と、角度調整装置１３０と、画像処理装置１４０と、出力装置１５０とを含む。
【００１１】
ターゲット１１０は、ステレオカメラ１２０が撮影する対象物であって、ステレオカメラからの距離が測定される対象物である。本実施形態では、後述する撮影画像対の対応点探索の際に視差が検出し易いターゲットの配色、例えば、白色および黒色を採用するのが好適である。また、ターゲット１１０は、ステレオカメラ１２０の設置環境による影響を低減するため、これらの影響の少ない遠方位置に配置するのが好適である。なお、ターゲット１１０は、ステレオカメラ１２０の撮影画像に表示可能な距離に配置する。
【００１２】
ステレオカメラ１２０は、１対のカメラで構成されたカメラ装置であり、２のカメラを使用して同一の対象物を同時に撮影することができる。ステレオカメラ１２０は、各カメラが撮影したターゲット１１０の撮影画像対を画像処理装置１４０に提供する。
【００１３】
角度調整装置１３０は、その設置面と水平に回動してステレオカメラ１２０の撮影角度を調整する装置である。角度調整装置１３０には、その上面にステレオカメラ１２０が載置され、角度調整装置１３０が回動することによってステレオカメラ１２０が回動し、その撮影角度を調整することができる。本実施形態では、手動で角度調整装置１３０を回動させるが、他の実施形態では、調整装置にステージコントローラを接続して、その回動動作を制御するようにしてもよい。さらに他の実施形態では、角度調整装置１３０とステージコントローラを一体化して装置を採用してもよい。
【００１４】
画像処理装置１４０は、キャリブレーションの対象であるステレオカメラ１２０の撮影画像を使用してキャリブレーションを行う画像処理装置である。本実施形態では、画像処理装置１４０は、ノート型やデスクトップ型等のパーソナルコンピュータ等の画像処理装置を採用することができる。
【００１５】
画像処理装置１４０は、ＰＥＮＴＩＵＭ（登録商標）プロセッサや互換プロセッサ等のプロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＭＡＣ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本実施形態のプログラムを実行する。
【００１６】
また、画像処理装置１４０は、プログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置などを含んでおり、図２に示す本実施形態の各機能手段をプログラムの実行により、当該画像処理装置上に実現する。本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他の装置が可読な形式でネットワークを介して伝送することができる。
【００１７】
出力装置１５０は、画像処理装置１４０が処理する画像データや情報を表示する装置である。出力装置１５０は、画像処理装置１４０に接続されており、画像処理装置１４０から転送される画像データや種々の情報等を表示する。本実施形態では、出力装置１５０として、液晶ディスプレイや有機ＥＬディスプレイ等の種々の表示装置を採用することができる。
【００１８】
図２は、本実施形態の画像処理装置の機能構成を示す図である。画像処理装置１４０は、制御部２００と、距離取得部２０２と、画像取得部２０４と、記憶装置２０６と、画像バッファ２０８とを含む。
【００１９】
制御部２００は、画像処理装置１４０の全体制御を行う機能手段であり、後述する各機能手段を適宜呼び出して種々の処理を実行する。
【００２０】
距離取得部２０２は、ステレオカメラ１２０からターゲット１１０までの実際の距離であるターゲット距離を取得する手段である。本実施形態では、距離取得部２０２は、後述の表示制御部２２４が出力装置１５０に表示する、ターゲット距離を指定可能なユーザインタフェースを介して、ユーザが指定した数値をターゲット距離として記憶装置２０６に保存する。
【００２１】
画像取得部２０４は、ステレオカメラ１２０が撮影した画像（以下、「撮影画像」とする。）を取得する手段である。画像取得部２０４は、ステレオカメラ１２０から取得した撮影画像対を画像バッファ２０８に保存する。画像バッファ２０８には、異なる撮影角度で撮影された複数の撮影画像対が格納される。
【００２２】
また、画像処理装置１４０は、補正部２０９と、平行化部２１０と、対応点探索部２１２と、視差算出部２１４と、較正部２１６と、記憶装置２１８，２２０とを含む。
【００２３】
補正部２０９は、ステレオカメラ１２０から取得した１または複数の撮影画像対に画像補正を施す機能手段である。補正部２０９は、ステレオカメラ１２０を構成する単眼カメラに含まれるレンズが形成する結像の位置、焦点距離、レンズによる歪み等のカメラに固有の内部パラメータを補正する。補正部２０９は、例えば、非特許文献１に示すように、ステレオカメラで撮影した較正基準点と、コンピュータ上のカメラモデルによって算出された較正基準点との差を評価関数として最適化処理を行うことにより、最適化された上記パラメータを算出して較正することができる。
【００２４】
平行化部２１０は、ステレオカメラ１２０の撮影画像対を平行化する機能手段である。平行化部２１０は、記憶装置２１８に予め保存されている変換情報である透視変換行列を使用して透視変換を行い、撮影画像対を回転および／または並進させて、これらの撮影画像を平行化する。本実施形態では、下記数式１に示すような同次座標系で表す透視変換行列Ｍを採用することができる。
【００２５】
【数１】
ここで、（ｓ０，ｔ０）は透視変換前の位置座標を示し、（ｓ１，ｔ１）は透視変換後の位置座標を示す。Ｓは行列変換後のｓ０の値を示し、Ｔは行列変換後のｔ０の値を示す。Ａは倍率を表す座標を示す。なお、透視変換行列Ｍの詳細については、非特許文献２を参照されたい。
【００２６】
対応点探索部２１２は、平行化された撮影画像対に対応点探索（ステレオマッチング）を施して対応点を特定する機能手段である。対応点探索部２１２は、差分絶対値和による相関法や位相限定相関法、ブロックマッチング等の種々の方法を用いて、対応点を特定することができる。
【００２７】
視差算出部２１４は、撮影画像対の視差値を算出する手段である。視差値とは、撮影画像対の視差の程度を示す値であり、視差算出部２１４は、対応点探索によって特定された撮影画像対の対応点の位置座標の差分を求めることにより、当該対応点の視差値を算出することができる。視差算出部２１４は、算出した視差値を記憶装置２２０に保存する。記憶装置２２０には、撮影角度の異なる撮影画像対毎の視差値が保存される。
【００２８】
較正部２１６は、撮影画像対を平行化する際に使用する変換情報を補正して較正する機能手段である。較正部２１６は、ステレオカメラ１２０から取得した撮影角度の異なる複数の撮影画像対の視差値を使用して、ステレオカメラ１２０を構成する各カメラの設置面の垂直軸に対する回転ずれ量を算出する。具体的には、較正部２１６は、当該複数の撮影画像対の視差値のずれ量を算出し、下記数式２を使用して垂直軸に対する回転ずれ量を算出する。本実施形態では、当該複数の撮影画像対の視差値の最大値と最小値との差分を、撮影画像対の視差値のずれ量とする。
【００２９】
ここで、ステレオカメラ１２０を構成するカメラの回転ずれを示す図３を参照する。図３は、ステレオカメラ１２０を構成する右側カメラが左側カメラに対して回転ずれを起こした状態を示す。
【００３０】
本実施形態では、ステレオカメラ１２０のカメラの回転ずれ量をθｙ＿ｓとする。また、右側カメラの仮想結像面３００，３０２の中心点とレンズ３１０の中心点との焦点距離をｆとする。さらに、較正前の変換情報で平行化した仮想結像面３０２におけるターゲットの位置座標を（ｉ０，ｊ０）とし、較正後の変換情報で平行化した仮想結像面３０４におけるターゲットの位置座標を（ｉ，ｊ）とする。さらに、仮想結像面３００の中心点からレンズ３１０の中心点を結ぶ直線と、当該レンズ３１０の中心点から結像面３００上に結像されたターゲットの位置座標を結ぶ直線との成す角をφとする。図３に示す関係から下記数式２が導出される。
【００３１】
【数２】
ここで、Δｄは、撮影画像対の視差値のずれ量を示す。
【００３２】
較正部２１６は、上記数式２を使用して算出したカメラの回転ずれ量を考慮した透視変換行列Ｍを算出し、記憶装置２１８に保存する。なお、回転ずれ量を使用して透視変換行列Ｍを算出する方法については、非特許文献２を参照されたい。
【００３３】
さらに、図２に示す画像処理装置１４０は、距離算出部２２２と、表示制御部２２４とを含む。
【００３４】
距離算出部２２２は、ターゲット１１０とステレオカメラ１２０との距離を算出する機能手段である。距離算出部２２２は、撮影画像対の視差値、ステレオカメラ１２０の各カメラ間の距離（基線長）、カメラレンズと結像面との焦点距離を使用して、ターゲット１１０とステレオカメラ１２０との距離を算出する。
【００３５】
表示制御部２２４は、出力装置１５０の表示画面を制御する機能手段である。表示制御部２２４は、上述したターゲット距離を指定可能なユーザインタフェースの他、ステレオカメラ１２０から撮影画像を取得するためのユーザインタフェース、撮影画像、当該撮影画像の特徴点および視差値、変換情報等の画像処理装置１４０が処理する情報を表示可能なユーザインタフェースを出力装置１５０に表示させることができる。
【００３６】
図４は、本実施形態の画像処理装置が実行する較正処理を示すフローチャートである。以下、図４を参照して、画像処理装置１４０が実行する変換情報の較正処理について説明する。
【００３７】
図４の処理は、ステップＳ４００で、画像処理装置１４０の制御部２００が、撮影画像を取得するためのユーザインタフェースを介して撮影画像の指示を受領することにより開始する。ステップＳ４０１では、制御部２００が画像取得部２０４を呼び出し、画像取得部２０４は、ステレオカメラ１２０から撮影画像対を取得して画像バッファ２０８に保存する。
【００３８】
ステップＳ４０２では、制御部２００は補正部２０９を呼び出し、補正部２０９は、ステレオカメラ１２０から取得した１または複数の撮影画像対に画像補正を施す。ステップＳ４０３では、制御部２００は平行化部２１０を呼び出し、平行化部２１０は、画像補正された１または複数の撮影画像対に透視変換処理を施して平行化する。ステップＳ４０４では、対応点探索部２１２が、平行化した撮影画像対をステレオマッチングして対応点を特定する。ステップＳ４０５では、視差算出部２１４が、当該対応点を使用して撮影画像対の視差値を算出する。
【００３９】
ステップＳ４０６では、制御部２００が、ステップＳ４０３の平行化処理で使用した変換情報についてキャリブレーションが必要か否か判断する。
【００４０】
本実施形態では、撮影角度の異なる撮影画像対の視差値を比較して、キャリブレーションが必要か否か判断することができる。当該実施形態では、これらの撮影画像対の視差値が一致する場合に、キャリブレーションが不要であると判断する。また、閾値を設定して、これらの撮影画像対の視差値が実質的に一致する場合に、キャリブレーションが不要であると判断してもよい。
【００４１】
他の実施形態では、制御部２００は、１または複数の撮影画像対の視差値等を使用して、距離算出部２２２に対してステレカメラ１２０からターゲット１１０までの距離を算出させる。そして、制御部２００は、当該距離と記憶装置２０６に保存されている実際のターゲット距離とを比較し、キャリブレーションが必要か否か判断することができる。当該実施形態では、算出した距離と実際のターゲット距離とが一致する場合、キャリブレーションが不要であると判断する。また、閾値を設定して、当該算出した距離と実際のターゲット距離が実質的に一致する場合に、キャリブレーションが不要であると判断してもよい。
【００４２】
ステップＳ４０６の判定でキャリブレーションが不要であると判断した場合には（ｎｏ）、処理をステップＳ４０９に分岐させて終了する。一方、キャリブレーションが必要であると判断した場合には（ｙｅｓ）、処理をステップＳ４０７に分岐させる。
【００４３】
ステップＳ４０７では、制御部２００は較正部２１６を呼び出し、較正部２１６は、ステレオカメラ１２０を構成するカメラの垂直軸に対する回転ずれ量を算出する。ステップＳ４０８では、較正部２１６は、ステップＳ４０７で算出した回転ずれ量を使用して変換情報を補正し、記憶装置２１８に保存し、ステップＳ４０９で処理が終了する。
【００４４】
本発明の画像処理装置１４０は、ターゲットの撮影画像を利用して上記較正処理によって変換情報を補正する。そして、当該補正された変換情報を使用して撮影画像対を平行化し、平行化された撮影画像対を使用して対応点を特定し、その視差値を算出してターゲットまでの距離を算出することができる。
【００４５】
図５は、本実施形態のステレオカメラで撮影した撮影画像の実施形態を示す図である。撮影画像５１０は、ステレオカメラ１２０が図５の５１４に示す状態、すなわち、ステレオカメラ１２０がターゲットと正対する状態であって、撮影角度が「０°」の状態で撮影した画像であり、その中心部にターゲットが写っている。撮影画像５１２は、ステレオカメラ１２０が図５の５１６に示す状態、すなわち、撮影角度が「１５°」の状態で撮影した画像であり、その右側部分にターゲットが写っている。撮影画像５１０，５２０は、それぞれ異なる画角の位置にターゲットが写っている。
【００４６】
図６は、本実施形態のステレオカメラが異なる撮影角度で撮影した撮影画像対の各画角の位置における視差値を、従来の方法により当該撮影角度の大きさに応じて補正した視差値を示す図である。この補正の精度が低い場合には、図６に示すように撮影角度によって補正後の視差値が異なる。当該視差値は、下記数式３を用いて導出することができる。
【００４７】
【数３】
ここで、ｄは、ステレオカメラが測距ターゲットに対して正対している場合の視差値を示し、ｄ’は、ステレオカメラが測距ターゲットに対して正対していない場合の視差値を示す。θは、ステレオカメラが測距ターゲットに対して正対した状態におけるステレオカメラと測距ターゲットとを結ぶ直線と、ステレオカメラが測距ターゲットに対して正対していない状態におけるステレオカメラの回転中心を通り、かつ当該ステレオカメラのベースラインに直交する線との成す角を示す。
【００４８】
図６に示す実施形態では、「−１６°」〜「１６°」の撮影角度に対応する撮影画像対の各画角の位置における視差値が表されている。なお、撮影角度はステレオカメラを構成する単眼カメラで撮影可能な画角に対応するため、他の実施形態では、撮影角度はこれらに限定されるものではないことに留意すべきである。
【００４９】
サンプル点６１０は、撮影角度「−１６°」における視差値、すなわち、撮影画像の端部に対応する画角の位置にターゲットが写っている撮影画像対の視差値を示している。サンプル点６１２は、撮影角度「０°」における視差値、すなわち、図５の撮影画像５１０のように、撮影画像の中心部に対応する画角の位置にターゲットが写っている撮影画像対の視差値を示している。
【００５０】
図６に示す実施形態では、視差値が最大となる撮影角度「０°」に対応する画角の位置における視差値と、視差値が最小となる撮影角度「−１６°」に対応する画角の位置における視差値とを使用して、視差値のずれ量（Δｄ）を算出することができる。
【００５１】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態の構成要件の変更や削除、他の構成要件の追加など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００５２】
１００…画像処理システム、１１０…ターゲット、１２０…ステレオカメラ、１３０…角度調整装置、１４０…画像処理装置、１５０…出力装置
【先行技術文献】
【特許文献】
【００５３】
【特許文献１】特許第４１０９０７７号公報
【非特許文献１】Z.Zhang,“A Flexible New Technique for Camera Calibration”,Technical Report MSR-TR-98-71,Microsoft Research,1998
【非特許文献２】出口光一郎 著，“画像と空間 コンピュータビジョンの幾何学”，昭晃堂，1991
【技術分野】
【０００１】
本発明は、ステレオカメラのキャリブレーション技術に関し、より詳細には、ステレオカメラの測距精度を向上させる画像処理装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
近年、運転支援システムや監視システムなどの様々なシステムにおいてステレオカメラが利用されている。ステレオカメラは、一対の単眼カメラで構成された装置であり、視点位置の異なる各単眼カメラが撮影した撮影画像に結像される撮影対象物の結像位置の差異を利用して、物体の距離や位置を測定することができる。
【０００３】
ステレオカメラには、各単眼カメラ間の距離（基線長）や設置面の垂直軸に対する各カメラの回転ずれ等の外部パラメータと、各単眼カメラに内蔵されるレンズが形成する結像の位置（画像中心）、レンズと結像面との距離（焦点距離）、レンズによる歪み等のカメラに固有の内部パラメータとがあり、これらのパラメータのキャリブレーション（較正）の精度がステレオカメラの測定精度に影響を与える。このため、ステレオカメラのパラメータに対するキャリブレーション精度を向上させることが重要である。
【０００４】
特許文献１は、ステレオカメラの光学的な歪みおよび位置的なずれを画像処理によって調整するキャリブレーション方法を開示する。この方法では、所定のパターンを有するチャートをステレオカメラで撮像することによって出力された一対の画像データに対して、画像データの歪みを補正する補正パラメータと、一対の画像のずれを較正する較正パラメータを算出する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１が開示するキャリブレーシション方法では、測距精度に最も影響する視差方向のパラメータのキャリブレーション精度が不十分であるため、ステレオカメラの測距精度が低いという問題があった。
【０００６】
本発明は、上記従来技術の問題に鑑みてなされたものであり、測距精度に影響する視差方向のパラメータのキャリブレーション精度を高め、ステレオカメラの測距精度を向上させる画像処理装置、方法、プログラムおよび記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像処理装置は、ステレオカメラが撮影した撮影画像対を取得し、変換情報を使用して撮影画像対を平行化して、その対応点を探索する。そして、当該対応点を使用して撮影画像対の視差値を算出し、変換情報の較正が必要と判断した場合に、ステレオカメラを構成するカメラ相互の回転ずれを考慮した変換情報に較正する。これにより、本発明の画像処理装置は、異なる画角の位置における視差値を用いて、測距精度に最も影響する視差方向のパラメータ、すなわち、上記回転ずれを高精度に較正することができ、ステレオカメラの測距精度を向上させることができる。
【０００８】
また、本発明は、異なる画角の位置における視差値を用いて測距精度に最も影響する上記回転ずれの高精度な較正を可能にし、ステレオカメラの測距精度を向上させることができる方法、プログラムおよび記録媒体を提供する。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理システムを示す図。
【図２】本実施形態の画像処理装置の機能構成を示す図。
【図３】本実施形態のステレオカメラを構成するカメラの回転ずれを示す図。
【図４】本実施形態の画像処理装置が実行する較正処理を示すフローチャート。
【図５】本実施形態のステレオカメラで撮影した撮影画像の実施形態を示す図。
【図６】本実施形態のステレオカメラを使用して異なる撮影角度で撮影した撮影画像対の視差値を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、本実施形態の画像処理システム１００を示す図である。画像処理システム１００は、ターゲット１１０と、ステレオカメラ１２０と、角度調整装置１３０と、画像処理装置１４０と、出力装置１５０とを含む。
【００１１】
ターゲット１１０は、ステレオカメラ１２０が撮影する対象物であって、ステレオカメラからの距離が測定される対象物である。本実施形態では、後述する撮影画像対の対応点探索の際に視差が検出し易いターゲットの配色、例えば、白色および黒色を採用するのが好適である。また、ターゲット１１０は、ステレオカメラ１２０の設置環境による影響を低減するため、これらの影響の少ない遠方位置に配置するのが好適である。なお、ターゲット１１０は、ステレオカメラ１２０の撮影画像に表示可能な距離に配置する。
【００１２】
ステレオカメラ１２０は、１対のカメラで構成されたカメラ装置であり、２のカメラを使用して同一の対象物を同時に撮影することができる。ステレオカメラ１２０は、各カメラが撮影したターゲット１１０の撮影画像対を画像処理装置１４０に提供する。
【００１３】
角度調整装置１３０は、その設置面と水平に回動してステレオカメラ１２０の撮影角度を調整する装置である。角度調整装置１３０には、その上面にステレオカメラ１２０が載置され、角度調整装置１３０が回動することによってステレオカメラ１２０が回動し、その撮影角度を調整することができる。本実施形態では、手動で角度調整装置１３０を回動させるが、他の実施形態では、調整装置にステージコントローラを接続して、その回動動作を制御するようにしてもよい。さらに他の実施形態では、角度調整装置１３０とステージコントローラを一体化して装置を採用してもよい。
【００１４】
画像処理装置１４０は、キャリブレーションの対象であるステレオカメラ１２０の撮影画像を使用してキャリブレーションを行う画像処理装置である。本実施形態では、画像処理装置１４０は、ノート型やデスクトップ型等のパーソナルコンピュータ等の画像処理装置を採用することができる。
【００１５】
画像処理装置１４０は、ＰＥＮＴＩＵＭ（登録商標）プロセッサや互換プロセッサ等のプロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＭＡＣ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本実施形態のプログラムを実行する。
【００１６】
また、画像処理装置１４０は、プログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置などを含んでおり、図２に示す本実施形態の各機能手段をプログラムの実行により、当該画像処理装置上に実現する。本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他の装置が可読な形式でネットワークを介して伝送することができる。
【００１７】
出力装置１５０は、画像処理装置１４０が処理する画像データや情報を表示する装置である。出力装置１５０は、画像処理装置１４０に接続されており、画像処理装置１４０から転送される画像データや種々の情報等を表示する。本実施形態では、出力装置１５０として、液晶ディスプレイや有機ＥＬディスプレイ等の種々の表示装置を採用することができる。
【００１８】
図２は、本実施形態の画像処理装置の機能構成を示す図である。画像処理装置１４０は、制御部２００と、距離取得部２０２と、画像取得部２０４と、記憶装置２０６と、画像バッファ２０８とを含む。
【００１９】
制御部２００は、画像処理装置１４０の全体制御を行う機能手段であり、後述する各機能手段を適宜呼び出して種々の処理を実行する。
【００２０】
距離取得部２０２は、ステレオカメラ１２０からターゲット１１０までの実際の距離であるターゲット距離を取得する手段である。本実施形態では、距離取得部２０２は、後述の表示制御部２２４が出力装置１５０に表示する、ターゲット距離を指定可能なユーザインタフェースを介して、ユーザが指定した数値をターゲット距離として記憶装置２０６に保存する。
【００２１】
画像取得部２０４は、ステレオカメラ１２０が撮影した画像（以下、「撮影画像」とする。）を取得する手段である。画像取得部２０４は、ステレオカメラ１２０から取得した撮影画像対を画像バッファ２０８に保存する。画像バッファ２０８には、異なる撮影角度で撮影された複数の撮影画像対が格納される。
【００２２】
また、画像処理装置１４０は、補正部２０９と、平行化部２１０と、対応点探索部２１２と、視差算出部２１４と、較正部２１６と、記憶装置２１８，２２０とを含む。
【００２３】
補正部２０９は、ステレオカメラ１２０から取得した１または複数の撮影画像対に画像補正を施す機能手段である。補正部２０９は、ステレオカメラ１２０を構成する単眼カメラに含まれるレンズが形成する結像の位置、焦点距離、レンズによる歪み等のカメラに固有の内部パラメータを補正する。補正部２０９は、例えば、非特許文献１に示すように、ステレオカメラで撮影した較正基準点と、コンピュータ上のカメラモデルによって算出された較正基準点との差を評価関数として最適化処理を行うことにより、最適化された上記パラメータを算出して較正することができる。
【００２４】
平行化部２１０は、ステレオカメラ１２０の撮影画像対を平行化する機能手段である。平行化部２１０は、記憶装置２１８に予め保存されている変換情報である透視変換行列を使用して透視変換を行い、撮影画像対を回転および／または並進させて、これらの撮影画像を平行化する。本実施形態では、下記数式１に示すような同次座標系で表す透視変換行列Ｍを採用することができる。
【００２５】
【数１】
ここで、（ｓ０，ｔ０）は透視変換前の位置座標を示し、（ｓ１，ｔ１）は透視変換後の位置座標を示す。Ｓは行列変換後のｓ０の値を示し、Ｔは行列変換後のｔ０の値を示す。Ａは倍率を表す座標を示す。なお、透視変換行列Ｍの詳細については、非特許文献２を参照されたい。
【００２６】
対応点探索部２１２は、平行化された撮影画像対に対応点探索（ステレオマッチング）を施して対応点を特定する機能手段である。対応点探索部２１２は、差分絶対値和による相関法や位相限定相関法、ブロックマッチング等の種々の方法を用いて、対応点を特定することができる。
【００２７】
視差算出部２１４は、撮影画像対の視差値を算出する手段である。視差値とは、撮影画像対の視差の程度を示す値であり、視差算出部２１４は、対応点探索によって特定された撮影画像対の対応点の位置座標の差分を求めることにより、当該対応点の視差値を算出することができる。視差算出部２１４は、算出した視差値を記憶装置２２０に保存する。記憶装置２２０には、撮影角度の異なる撮影画像対毎の視差値が保存される。
【００２８】
較正部２１６は、撮影画像対を平行化する際に使用する変換情報を補正して較正する機能手段である。較正部２１６は、ステレオカメラ１２０から取得した撮影角度の異なる複数の撮影画像対の視差値を使用して、ステレオカメラ１２０を構成する各カメラの設置面の垂直軸に対する回転ずれ量を算出する。具体的には、較正部２１６は、当該複数の撮影画像対の視差値のずれ量を算出し、下記数式２を使用して垂直軸に対する回転ずれ量を算出する。本実施形態では、当該複数の撮影画像対の視差値の最大値と最小値との差分を、撮影画像対の視差値のずれ量とする。
【００２９】
ここで、ステレオカメラ１２０を構成するカメラの回転ずれを示す図３を参照する。図３は、ステレオカメラ１２０を構成する右側カメラが左側カメラに対して回転ずれを起こした状態を示す。
【００３０】
本実施形態では、ステレオカメラ１２０のカメラの回転ずれ量をθｙ＿ｓとする。また、右側カメラの仮想結像面３００，３０２の中心点とレンズ３１０の中心点との焦点距離をｆとする。さらに、較正前の変換情報で平行化した仮想結像面３０２におけるターゲットの位置座標を（ｉ０，ｊ０）とし、較正後の変換情報で平行化した仮想結像面３０４におけるターゲットの位置座標を（ｉ，ｊ）とする。さらに、仮想結像面３００の中心点からレンズ３１０の中心点を結ぶ直線と、当該レンズ３１０の中心点から結像面３００上に結像されたターゲットの位置座標を結ぶ直線との成す角をφとする。図３に示す関係から下記数式２が導出される。
【００３１】
【数２】
ここで、Δｄは、撮影画像対の視差値のずれ量を示す。
【００３２】
較正部２１６は、上記数式２を使用して算出したカメラの回転ずれ量を考慮した透視変換行列Ｍを算出し、記憶装置２１８に保存する。なお、回転ずれ量を使用して透視変換行列Ｍを算出する方法については、非特許文献２を参照されたい。
【００３３】
さらに、図２に示す画像処理装置１４０は、距離算出部２２２と、表示制御部２２４とを含む。
【００３４】
距離算出部２２２は、ターゲット１１０とステレオカメラ１２０との距離を算出する機能手段である。距離算出部２２２は、撮影画像対の視差値、ステレオカメラ１２０の各カメラ間の距離（基線長）、カメラレンズと結像面との焦点距離を使用して、ターゲット１１０とステレオカメラ１２０との距離を算出する。
【００３５】
表示制御部２２４は、出力装置１５０の表示画面を制御する機能手段である。表示制御部２２４は、上述したターゲット距離を指定可能なユーザインタフェースの他、ステレオカメラ１２０から撮影画像を取得するためのユーザインタフェース、撮影画像、当該撮影画像の特徴点および視差値、変換情報等の画像処理装置１４０が処理する情報を表示可能なユーザインタフェースを出力装置１５０に表示させることができる。
【００３６】
図４は、本実施形態の画像処理装置が実行する較正処理を示すフローチャートである。以下、図４を参照して、画像処理装置１４０が実行する変換情報の較正処理について説明する。
【００３７】
図４の処理は、ステップＳ４００で、画像処理装置１４０の制御部２００が、撮影画像を取得するためのユーザインタフェースを介して撮影画像の指示を受領することにより開始する。ステップＳ４０１では、制御部２００が画像取得部２０４を呼び出し、画像取得部２０４は、ステレオカメラ１２０から撮影画像対を取得して画像バッファ２０８に保存する。
【００３８】
ステップＳ４０２では、制御部２００は補正部２０９を呼び出し、補正部２０９は、ステレオカメラ１２０から取得した１または複数の撮影画像対に画像補正を施す。ステップＳ４０３では、制御部２００は平行化部２１０を呼び出し、平行化部２１０は、画像補正された１または複数の撮影画像対に透視変換処理を施して平行化する。ステップＳ４０４では、対応点探索部２１２が、平行化した撮影画像対をステレオマッチングして対応点を特定する。ステップＳ４０５では、視差算出部２１４が、当該対応点を使用して撮影画像対の視差値を算出する。
【００３９】
ステップＳ４０６では、制御部２００が、ステップＳ４０３の平行化処理で使用した変換情報についてキャリブレーションが必要か否か判断する。
【００４０】
本実施形態では、撮影角度の異なる撮影画像対の視差値を比較して、キャリブレーションが必要か否か判断することができる。当該実施形態では、これらの撮影画像対の視差値が一致する場合に、キャリブレーションが不要であると判断する。また、閾値を設定して、これらの撮影画像対の視差値が実質的に一致する場合に、キャリブレーションが不要であると判断してもよい。
【００４１】
他の実施形態では、制御部２００は、１または複数の撮影画像対の視差値等を使用して、距離算出部２２２に対してステレカメラ１２０からターゲット１１０までの距離を算出させる。そして、制御部２００は、当該距離と記憶装置２０６に保存されている実際のターゲット距離とを比較し、キャリブレーションが必要か否か判断することができる。当該実施形態では、算出した距離と実際のターゲット距離とが一致する場合、キャリブレーションが不要であると判断する。また、閾値を設定して、当該算出した距離と実際のターゲット距離が実質的に一致する場合に、キャリブレーションが不要であると判断してもよい。
【００４２】
ステップＳ４０６の判定でキャリブレーションが不要であると判断した場合には（ｎｏ）、処理をステップＳ４０９に分岐させて終了する。一方、キャリブレーションが必要であると判断した場合には（ｙｅｓ）、処理をステップＳ４０７に分岐させる。
【００４３】
ステップＳ４０７では、制御部２００は較正部２１６を呼び出し、較正部２１６は、ステレオカメラ１２０を構成するカメラの垂直軸に対する回転ずれ量を算出する。ステップＳ４０８では、較正部２１６は、ステップＳ４０７で算出した回転ずれ量を使用して変換情報を補正し、記憶装置２１８に保存し、ステップＳ４０９で処理が終了する。
【００４４】
本発明の画像処理装置１４０は、ターゲットの撮影画像を利用して上記較正処理によって変換情報を補正する。そして、当該補正された変換情報を使用して撮影画像対を平行化し、平行化された撮影画像対を使用して対応点を特定し、その視差値を算出してターゲットまでの距離を算出することができる。
【００４５】
図５は、本実施形態のステレオカメラで撮影した撮影画像の実施形態を示す図である。撮影画像５１０は、ステレオカメラ１２０が図５の５１４に示す状態、すなわち、ステレオカメラ１２０がターゲットと正対する状態であって、撮影角度が「０°」の状態で撮影した画像であり、その中心部にターゲットが写っている。撮影画像５１２は、ステレオカメラ１２０が図５の５１６に示す状態、すなわち、撮影角度が「１５°」の状態で撮影した画像であり、その右側部分にターゲットが写っている。撮影画像５１０，５２０は、それぞれ異なる画角の位置にターゲットが写っている。
【００４６】
図６は、本実施形態のステレオカメラが異なる撮影角度で撮影した撮影画像対の各画角の位置における視差値を、従来の方法により当該撮影角度の大きさに応じて補正した視差値を示す図である。この補正の精度が低い場合には、図６に示すように撮影角度によって補正後の視差値が異なる。当該視差値は、下記数式３を用いて導出することができる。
【００４７】
【数３】
ここで、ｄは、ステレオカメラが測距ターゲットに対して正対している場合の視差値を示し、ｄ’は、ステレオカメラが測距ターゲットに対して正対していない場合の視差値を示す。θは、ステレオカメラが測距ターゲットに対して正対した状態におけるステレオカメラと測距ターゲットとを結ぶ直線と、ステレオカメラが測距ターゲットに対して正対していない状態におけるステレオカメラの回転中心を通り、かつ当該ステレオカメラのベースラインに直交する線との成す角を示す。
【００４８】
図６に示す実施形態では、「−１６°」〜「１６°」の撮影角度に対応する撮影画像対の各画角の位置における視差値が表されている。なお、撮影角度はステレオカメラを構成する単眼カメラで撮影可能な画角に対応するため、他の実施形態では、撮影角度はこれらに限定されるものではないことに留意すべきである。
【００４９】
サンプル点６１０は、撮影角度「−１６°」における視差値、すなわち、撮影画像の端部に対応する画角の位置にターゲットが写っている撮影画像対の視差値を示している。サンプル点６１２は、撮影角度「０°」における視差値、すなわち、図５の撮影画像５１０のように、撮影画像の中心部に対応する画角の位置にターゲットが写っている撮影画像対の視差値を示している。
【００５０】
図６に示す実施形態では、視差値が最大となる撮影角度「０°」に対応する画角の位置における視差値と、視差値が最小となる撮影角度「−１６°」に対応する画角の位置における視差値とを使用して、視差値のずれ量（Δｄ）を算出することができる。
【００５１】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態の構成要件の変更や削除、他の構成要件の追加など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００５２】
１００…画像処理システム、１１０…ターゲット、１２０…ステレオカメラ、１３０…角度調整装置、１４０…画像処理装置、１５０…出力装置
【先行技術文献】
【特許文献】
【００５３】
【特許文献１】特許第４１０９０７７号公報
【非特許文献１】Z.Zhang,“A Flexible New Technique for Camera Calibration”,Technical Report MSR-TR-98-71,Microsoft Research,1998
【非特許文献２】出口光一郎 著，“画像と空間 コンピュータビジョンの幾何学”，昭晃堂，1991
【特許請求の範囲】
【請求項１】
ステレオカメラの撮影画像を処理する画像処理装置であって、前記画像処理装置は、
前記ステレオカメラが撮影した撮影対象物の撮影画像対を取得する手段と、
撮影画像対を平行移動および／または回転する変換情報を使用して、前記撮影画像対を平行化する平行化手段と、
平行化した撮影画像対の対応点を探索する対応点探索手段と、
前記対応点を使用して前記撮影画像対の視差値を算出する視差算出手段と、
前記変換情報の較正が必要な否か判断する手段と、
前記変換情報の較正が必要と判断した場合に、前記変換情報を較正する較正手段と
を含む、画像処理装置。
【請求項２】
前記較正手段は、複数の撮影画像対の視差値のずれ量を使用して、前記ステレオカメラを構成するカメラの回転ずれを算出し、前記回転ずれを考慮して前記変換情報を較正する、請求項１に記載の画像処理装置。
【請求項３】
前記判断する手段は、前記複数の撮影画像対の視差値が相違する場合に、前記変換情報の較正が必要と判断する、請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、
前記視差値を使用して前記ステレオカメラから撮影対象物までの距離を算出する距離算出手段をさらに含み、
前記判断する手段は、前記距離算出手段が算出した距離と前記撮影対象物までの実際の距離とが相違する場合に、前記変換情報の較正が必要と判断する、請求項１または２に記載の画像処理装置。
【請求項５】
前記画像処理装置は、
前記撮影画像対を補正する補正手段をさらに含み、
前記平行化手段は、前記補正手段が補正した撮影画像対を平行化する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
ステレオカメラの撮影画像を処理する画像処理装置が実行する方法であって、前記画像処理装置が、
前記ステレオカメラが撮影した撮影対象物の撮影画像対を取得するステップと、
撮影画像対を平行移動および／または回転する変換情報を使用して前記撮影画像対を平行化するステップと、
平行化した撮影画像対の対応点を探索するステップと、
前記対応点を使用して前記撮影画像対の視差値を算出するステップと、
前記変換情報の較正が必要な否か判断するステップと、
前記変換情報の較正が必要と判断した場合に、前記変換情報を較正するステップと
を含む、方法。
【請求項７】
前記較正するステップは、
複数の撮影画像対の視差値のずれ量を使用して、前記ステレオカメラを構成するカメラの回転ずれを算出するステップと、
前記回転ずれを考慮して前記変換情報を較正するステップと
を含む、請求項６に記載の方法。
【請求項８】
前記判断するステップは、前記複数の撮影画像対の視差値が相違する場合に、前記変換情報の較正が必要と判断するステップを含む、請求項６または７に記載の方法。
【請求項９】
前記方法は、前記画像処理装置が、
前記視差値を使用して前記ステレオカメラから撮影対象物までの距離を算出するステップをさらに含み、
前記判断するステップは、前記距離を算出するステップで算出した距離と前記撮影対象物までの実際の距離とが相違する場合に、前記変換情報の較正が必要と判断するステップを含む、請求項６または７に記載の方法。
【請求項１０】
前記方法は、前記画像処理装置が、
前記撮影画像対を補正するステップをさらに含み、
前記平行化するステップは、前記補正するステップで補正した撮影画像対を平行化する、請求項６〜９のいずれか１項に記載の方法。
【請求項１１】
請求項６〜１０のいずれか１項に記載の各ステップを画像処理装置が実行するためのコンピュータ実行可能なプログラム。
【請求項１２】
請求項１１に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【請求項１】
ステレオカメラの撮影画像を処理する画像処理装置であって、前記画像処理装置は、
前記ステレオカメラが撮影した撮影対象物の撮影画像対を取得する手段と、
撮影画像対を平行移動および／または回転する変換情報を使用して、前記撮影画像対を平行化する平行化手段と、
平行化した撮影画像対の対応点を探索する対応点探索手段と、
前記対応点を使用して前記撮影画像対の視差値を算出する視差算出手段と、
前記変換情報の較正が必要な否か判断する手段と、
前記変換情報の較正が必要と判断した場合に、前記変換情報を較正する較正手段と
を含む、画像処理装置。
【請求項２】
前記較正手段は、複数の撮影画像対の視差値のずれ量を使用して、前記ステレオカメラを構成するカメラの回転ずれを算出し、前記回転ずれを考慮して前記変換情報を較正する、請求項１に記載の画像処理装置。
【請求項３】
前記判断する手段は、前記複数の撮影画像対の視差値が相違する場合に、前記変換情報の較正が必要と判断する、請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、
前記視差値を使用して前記ステレオカメラから撮影対象物までの距離を算出する距離算出手段をさらに含み、
前記判断する手段は、前記距離算出手段が算出した距離と前記撮影対象物までの実際の距離とが相違する場合に、前記変換情報の較正が必要と判断する、請求項１または２に記載の画像処理装置。
【請求項５】
前記画像処理装置は、
前記撮影画像対を補正する補正手段をさらに含み、
前記平行化手段は、前記補正手段が補正した撮影画像対を平行化する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
ステレオカメラの撮影画像を処理する画像処理装置が実行する方法であって、前記画像処理装置が、
前記ステレオカメラが撮影した撮影対象物の撮影画像対を取得するステップと、
撮影画像対を平行移動および／または回転する変換情報を使用して前記撮影画像対を平行化するステップと、
平行化した撮影画像対の対応点を探索するステップと、
前記対応点を使用して前記撮影画像対の視差値を算出するステップと、
前記変換情報の較正が必要な否か判断するステップと、
前記変換情報の較正が必要と判断した場合に、前記変換情報を較正するステップと
を含む、方法。
【請求項７】
前記較正するステップは、
複数の撮影画像対の視差値のずれ量を使用して、前記ステレオカメラを構成するカメラの回転ずれを算出するステップと、
前記回転ずれを考慮して前記変換情報を較正するステップと
を含む、請求項６に記載の方法。
【請求項８】
前記判断するステップは、前記複数の撮影画像対の視差値が相違する場合に、前記変換情報の較正が必要と判断するステップを含む、請求項６または７に記載の方法。
【請求項９】
前記方法は、前記画像処理装置が、
前記視差値を使用して前記ステレオカメラから撮影対象物までの距離を算出するステップをさらに含み、
前記判断するステップは、前記距離を算出するステップで算出した距離と前記撮影対象物までの実際の距離とが相違する場合に、前記変換情報の較正が必要と判断するステップを含む、請求項６または７に記載の方法。
【請求項１０】
前記方法は、前記画像処理装置が、
前記撮影画像対を補正するステップをさらに含み、
前記平行化するステップは、前記補正するステップで補正した撮影画像対を平行化する、請求項６〜９のいずれか１項に記載の方法。
【請求項１１】
請求項６〜１０のいずれか１項に記載の各ステップを画像処理装置が実行するためのコンピュータ実行可能なプログラム。
【請求項１２】
請求項１１に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１７３０３２（Ｐ２０１２−１７３０３２Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３３０２０（Ｐ２０１１−３３０２０）
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]