ステレオカメラ校正方法及び装置
【課題】複数の単眼カメラを備え、各単眼カメラから撮像された画像の視差から物体の距離を測定するステレオカメラにおいて、ステレオカメラから校正用ターゲットまでの距離を正確に測定できるようにして、ステレオカメラの校正精度を向上せしめる。
【解決手段】２つの単眼カメラ１，２と、該単眼カメラを連結するカメラステイ３でステレオカメラを構成する。該ステレオカメラの前方に校正用ターゲット３０を、後方にレーザ距離計２０を設置し、カメラステイの、算出距離方向と垂直に交わる面を基準面として、レーザ距離計により、基準面までの距離Ｌ１，及び校正用ターゲットまでの距離Ｌ２を測定する。そして、基準面が、算出する距離の原点と既知の位置関係にあることを利用して、測定した距離Ｌ１，Ｌ２から、ステレオカメラから校正用ターゲットまでの距離を正確に求めて、ステレオカメラのパラメータを校正する。
【解決手段】２つの単眼カメラ１，２と、該単眼カメラを連結するカメラステイ３でステレオカメラを構成する。該ステレオカメラの前方に校正用ターゲット３０を、後方にレーザ距離計２０を設置し、カメラステイの、算出距離方向と垂直に交わる面を基準面として、レーザ距離計により、基準面までの距離Ｌ１，及び校正用ターゲットまでの距離Ｌ２を測定する。そして、基準面が、算出する距離の原点と既知の位置関係にあることを利用して、測定した距離Ｌ１，Ｌ２から、ステレオカメラから校正用ターゲットまでの距離を正確に求めて、ステレオカメラのパラメータを校正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の距離や位置を測定するのに用いられるステレオカメラに関し、詳しくは、ステレオカメラの内部パラメータや外部パラメータを校正する方法及び装置に関する。
【背景技術】
【０００２】
ステレオカメラの用途の一つに、複数の位置に設置された単眼カメラからの画像を取得し、各単眼カメラにおける像位置の差（視差）を用いて物体の距離や位置を測定する利用法がある。
【０００３】
近年、環境認識へのニーズが高まっており、例えば自動車にステレオカメラを搭載し、運転手に車間距離や周囲の歩行者の有無などの情報を提供して、運転を支援するシステムが実用化されつつある。そのため、測定範囲の遠距離化や測定の高精度化への要求が高まっている。
【０００４】
上述のように、ステレオカメラでは、各単眼カメラにおける像位置の差（視差）から距離を求めるが、視差と距離の関係はステレオカメラのパラメータに依存する。ステレオカメラのパラメータには、単眼カメラの画像中心位置や焦点距離などの内部パラメータと、単眼カメラ同士の相対位置・姿勢である外部パラメータとがある。
【０００５】
ステレオカメラのパラメータを同定するために事前に校正（キャリブレーション）が行われる。この校正の精度によって距離測定の精度が左右される。しかし、内部パラメータや外部パラメータは直接測定することが難しいため、一般的には各単眼カメラの撮影画像から各パラメータを推定する。
【０００６】
例えば、特許文献１では、既知の三次元座標を持つ校正用ターゲットを撮影することで校正を行っている。この場合、校正の精度は校正用ターゲットとカメラの距離の設置精度に依存する。しかし、カメラと校正用ターゲット間の正確な位置関係を測定するのは困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、複数の単眼カメラを備え、各単眼カメラから撮像された画像の像位置の差から物体の距離を測定するステレオカメラにおいて、ステレオカメラから校正用ターゲットまでの距離を正確に測定できるようにすることで、ステレオカメラの内部パラメータや外部パラメータの校正精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明のステレオカメラは、複数の単眼カメラと、該単眼カメラを連結するカメラステイを具備する。該ステレオカメラの前方に校正用ターゲットを設置し、後方にレーザ距離計などの距離測定器を設置し、カメラステイの、算出する距離方向と垂直に交わる面を基準面として、距離測定器により、距離測定器から基準面までの距離Ｌ１，及び距離測定器から校正用ターゲットまでの距離Ｌ２を測定する。そして、基準面が、算出する距離の原点（ステレオカメラの光学中心）と既知の位置関係にあることを利用して、測定した距離Ｌ１，Ｌ２から、ステレオカメラから校正用ターゲットまでの距離を求めて、ステレオカメラのパラメータを校正する。
具体的には、物体の距離Ｚを次式
Ｚ＝Ｂ＊ｆ（ｄ０＋Δｄ）
で算出する場合（Ｂは基線長、ｆは焦点距離、ｄ０は視差、Δｄは視差のオフセット）、
ステレオカメラから校正用ターゲットまでの距離の異なる２以上の位置において、ステレオカメラから校正用ターゲットまでの距離を上記のようにして測定すると共に、ステレオカメラで校正用ターゲットを撮影して視差を算出し、測定した距離と視差の２以上の組み合わせから、上記式によりＢｆ値とΔｄを算出する。
【０００９】
また、ステレオカメラは２つの単眼カメラとし、物体の距離Ｚを次式
Ｚ＝Ｂ＊ｆ０／ｄ０
で算出する場合（Ｂ０は設計値の基線長、ｆ０は設計値の焦点距離、ｄ０は視差）
３次元座標が既知の複数の特徴点を有する校正用ターゲットを用いて、ステレオカメラから上記のようにして校正用ターゲットまでの距離を測定すると共に、ステレオカメラで校正用ターゲットを撮影し、
各単眼カメラについて、校正用ターゲット中央を原点とし、水平、垂直方向にそれぞれｘ，ｙ軸をもつ座標系で、校正用ターゲット上の特徴点の位置（ａ，ｂ，０）に対応する当該単眼カメラにおける特徴点の理想像位置（ｉ０，ｊ０）を次式
ｉ０＝（ａ±Ｂ０／２）＊ｆ０／Ｚ
ｊ０＝ｂ＊ｆ０／Ｚ
で算出して、当該単眼カメラにおける特徴点の実際の像位置（ｉ，ｊ）と前記理想像位置（ｉ０，ｊ０）の差から、（ｉ，ｊ）に映った像を（ｉ０，ｊ０）に補正するルックアップテープルを作成する。
【発明の効果】
【００１０】
本発明によれば、距離測定器を利用して、ステレオカメラから校正用ターゲットまでの距離を正確に測ることができるため、ステレオカメラのパラメータの校正精度が向上し、距離測定を高精度に行うことが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１におけるステレオカメラの構成図である。
【図２】実施例１におけるキャリブレーション時の装置構成例を示す図である。
【図３】実施例１のキャリブレーション時の全体的流れを示す図である。
【図４】図２の各部の距離関係を示す図である。
【図５】実施例１におけるキャリブレーション時の処理系のブロック図である。
【図６】実施例１の通常使用時の処理系のブロック図である。
【図７】本発明の実施例２におけるステレオカメラの構成図である。
【図８】実施例２におけるキャリブレーション時の装置構成例を示す図である。
【図９】実施例２のキャリブレーション時の全体的流れを示す図である。
【図１０】図８の各部の距離関係を示す図である。
【図１１】校正用ターゲット上の特徴点とステレオカメラ上の特徴点の関係を示す図である。
【図１２】実施例２におけるキャリブレーション時の処理系のブロック図である。
【図１３】実施例２の通常使用時の処理系のブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。
【実施例１】
【００１３】
図１は本発明の第一の実施形態（実施例１）におけるステレオカメラの構成を示したもので、図１（ａ）は分解斜視図、図１（ｂ）は完成時の傾斜図を示している。本ステレオカメラの構成は、２つの単眼カメラ１，２と、これら単眼カメラ１，２を取り付けるカメラステイ３からなる。単眼カメラ１，２は、それぞれ光軸に直交する筐体前面を基準面としてカメラステイ３にネジ等で取りつけられている。カメラステイ３の該単眼カメラ１，２が取り付けられる位置には、それぞれ穴４，５が設けられている。図１中、ｘ，ｙが基準面、これと垂直に交わるｚが距離方向を示している。
【００１４】
図１では省略したが、処理系は、各単眼カメラ１，２で撮影された画像を補正処理する画像処理部、該画像処理部が出力する画像を用いて視差を求める視差演算部、該視差をもとに物体距離を算出する距離演算部などからなる。
【００１５】
本実施例では、各単眼カメラ１，２の歪キャリブレーション、基線長を除く外部パラメータのキャリブレーションは既に公知の方法（例えば、Ｚhang法；“Ａ flexible new technique for camera calibration”ＩＥＥＥ Ｔransactions on Ｐattern Ａnalysis and Ｍachine Ｉntelligence，22(11)：1330-1334，2000）で求められているとする。画像処理部は、キャリブレーションにより求められた内部パラメータや外部パラメータをもとに、各単眼カメラ１，２で撮影された画像を補正する（歪み補正等）。視差演算部は、画像処理部で補正された各単眼カメラ１，２の撮影画像から視差を求め、距離演算部は該視差から物体の距離を計算する。
【００１６】
ここで、距離Ｚは式（１）で計算される。
Ｚ＝Ｂ0＊ｆ0／ｄ0 （１）
Ｂ0は設計値の基線長（カメラの光軸間の長さ）、ｆ０は設計値の焦点距離、ｄ0は測定された視差である。
【００１７】
ところで、実際の焦点距離や基線長は設計値とは異なっている。また、カメラのセンサ（ＣＣＤやＣＭＯＳセンサ）の理想位置からずれなどの要因により、測定された視差にも誤差がのる。
【００１８】
そのため、実際には、距離Ｚは次式の
Ｚ＝Ｂ＊ｆ／（ｄ0＋Δｄ） （２）
となる。ここで、Ｂは実際の基線長、ｆは実際の焦点距離、Δｄは視差のオフセットである。
【００１９】
ステレオカメラで高精度に測距を行うためには、ＢＦ値（Ｂとｆの積）とΔｄを事前に校正（キャリブレーション）しておく必要がある。本実施例は、以下のようにしてＢｆ値とΔｄを推定する。
【００２０】
図２に、本実施例のステレオカメラのＢｆ値とΔｄを推定するためのキャリブレーション装置構成例を示す。図２において、１０は図１の構成のステレオカメラ、２０はレーザ距離計（距離測定器）、３０は校正用ターゲットである。本実施例では、カメラステイ３の背面が単眼カメラ１，２の取り付け面であり、また、基準面である。
【００２１】
図３に、本実施例のキャリブレーションの全体的流れを示す。また、図４にステレオカメラ１０とレーザ距離計２０と校正用ターゲット３０の各距離関係を示す。
【００２２】
まず、ステレオカメラ１０を構成するカメラステイ３の背面である基準面にミラー１５を設置する（ステップ１０１）。図４に示すように、ミラー１５の反射面はステレオカメラ１０の後方側に向けられる。ここで、ミラーの両面は平行とみなせるとする。
【００２３】
次に、レーザ距離計２０のレーザ光がミラー１５に当たるように、ステレオカメラ１０の後方にレーザ距離計２０を設置し、基準面とレーザ距離計２０の位置を調整する（ステップ１０２）。ミラー１５からの反射光がレーザ距離計２０の出射端に戻ってくるよう調整することで、ステレオカメラ１０の基準面とレーザ距離計２０を直交させ、レーザ距離計２０の測定距離方向とステレオカメラ１０の測定距離方向を一致させることができる。こうして、レーザ距離計２０により、該レーザ距離計２０からミラー反射面までの距離Ｌ１を測定する（ステップ１０３）。その後、ミラー１５は取り外す。
【００２４】
次に、ステレオカメラ１０の前方に、レーザ距離計２０のレーザ光が当たる位置に校正用ターゲット３０を設置する（ステップ１０４）。本実施例では、基線長、視差のオフセット以外はキャリブレーションされているので、校正用ターゲットが画面内のどこに映っていても視差は一定となる。そのため、校正用ターゲット３０は、各単眼カメラ１，２に同時に映る特徴点を１点以上持っていればよい。しかし、特徴点までの距離を正確に測るという点において、レーザ距離計２０のレーザ照射位置になるように設置することが望ましい。
【００２５】
校正用ターゲット３０を設置した後、レーザ距離計２０で、該レーザ距離計２０から校正用ターゲット３０までの距離Ｌ２を測定する（ステップ１０５）。そして、距離Ｌ１，Ｌ２をもとに、ステレオカメラ１０の光学中心から校正用ターゲット３０までの距離Ｚを求める（ステップ１０６）。
【００２６】
ここで、図４より、距離Ｚは、
Ｚ＝Ｌ２−Ｌ１−ｔ＋ΔＬ （３）
として求められる。ｔはミラーの厚さ、ΔＬは光学中心（測距の原点）と基準面の距離で、いずれも既知であるとする。
【００２７】
次に、ステレオカメラ１０で校正用ターゲット３０を撮影する（ステップ１０７）。そして、各単眼カメラ１，２の撮影画像から校正用ターゲット３０の特徴点の視差ｄ0を算出する（ステップ１０８）。
【００２８】
その後、ステップ１０４に戻り、校正用ターゲット３０を前回とはステレオカメラ１０からの距離が異なる位置に設置して、ステップ１０５〜１０８を繰り返す。これを少なくとも、ステレオカメラ１０と校正用ターゲット３０の距離が互いに異なる２以上の位置について繰り返す（ステップ１０９）。
【００２９】
こうして求まった視差ｄ０と距離Ｚの２つ以上の組みを用いて、式（２）によりＢｆ値とΔｄを算出する（ステップ１１０）。
【００３０】
本実施例では、ステレオカメラの距離方向に直交する基準面を設けておくことで、レーザ距離計（距離測定器）を利用し、ステレオカメラから校正用ターゲットまでの距離を正確に測ることができる。そのため、ステレオカメラのキャリブレーションとして、Ｂｆ値とΔｄの推定精度が向上する。
【００３１】
図５は、本実施例のキャリブレーション時に適用される処理系のブロック図を示している。ステレオカメラ１０の各単眼カメラ１，２は、それぞれ校正用ターゲット３０を撮影して撮影画像を出力する。画像処理部１０１０は、予め求められた内部パラメータや外部パラメータをもとに、各単眼カメラ１，２の撮影画像を補正する（歪み補正等）。視差演算部１０２０は、画像処理部１０１０で補正された各単眼カメラ１，２の撮像画像をもとに、校正用ターゲット３０の視差ｄ０を算出する。視差計算には、例えば周知のパターンマッチング手法を利用する。図３で説明したように、視差ｄ０は、ステレオカメラ１０と校正用ターゲット３０の距離が互いに異なる２以上の位置についてそれぞれ算出される。
【００３２】
一方、レーザ距離計２０により、レーザ距離計２０からミラー反射面までの距離Ｌ１、レーザ距離計２０からの校正用ターゲットまでの距離Ｌ２が得られる。距離Ｌ２も、ステレオカメラ１０と校正用ターゲット３０の距離が互いに異なる２以上の位置について取得される。
【００３３】
校正演算部１０３０は、視差ｄ0、距離Ｌ１，Ｌ２を入力して、次のようにＢｆ値と視差オフセットΔｄを算出する。カメラの光学中心と基準面の距離ΔＬ、ミラーの厚さｔは予め与えられているとする。
【００３４】
まず、Ｌ１，Ｌ２，ΔＬ，ｔをもとに、式（３）により、ステレオカメラ１０の光学中心から校正用ターゲット３０までの距離Ｚを算出する。これをステレオカメラ１０と校正用ターゲット３０の距離が互い異なる２以上の位置について繰り返す。なお、距離Ｚは別途、あらかじめ計算しておくことでもよい。次に、視差ｄ0と距離Ｚの２つ以上の組み合わせを用いて、式（２）によりＢｆ値とΔｄを算出する。具体的には、式（２）にｄ０、Ｚを代入し、連立方程式を解くことで算出する。算出されたＢｆ値とΔｄは、メモリ等に保持しておけばよい。
【００３５】
図６は、本実施例の通常使用時に適用される処理系のブロック図を示している。ここで、画像処理部１０１０と視差演算部１０２０はキャリブレーションの場合と兼用することができる。
【００３６】
ステレオカメラ１０の各単眼カメラ１，２でそれぞれ被写体を撮影する。画像処理部１０１０は、各単眼カメラ１，２の撮影画像を補正する（歪み補正等）。視差演算部１０２０は、画像処理部１０１０で補正された各単眼カメラ１，２の撮像画像を入力して、周知のパターンマッチング手法等を利用して視差ｄ０を算出する。距離演算部１０４０は、視差演算部１０２０からの視差ｄ０、及び、先のキャリブレーションにより求めたＢｆ値、Δｄを入力して、式（２）により、被写体の距離Ｚを算出する。
【００３７】
なお、図５及び図６では、キャリブレーション時の処理系と通常使用時の処理系を別々に示したが、実際には、これらはＣＰＵやメモリ等を用いて一体的に構成されることになる。
【実施例２】
【００３８】
図７は本発明の第二の実施形態（実施例２）におけるステレオカメラの構成を示したもので、図７（ａ）は分解斜視図、図７（ｂ）は完成時の傾斜図を示している。本ステレオカメラの構成は、先の実施例１と同様に、２つの単眼カメラ１，２と、これら単眼カメラ１，２を取り付けるカメラステイ３からなる。カメラステイ３の単眼カメラ１，２が取り付けられる位置には、それぞれ穴４，５が設けられ、さらに、ステレオカメラ位置の基準となる基準穴６がカメラステイ３の中央に、基準面に対して垂直にあけられている。２つの単眼カメラ１，２は、基準穴６に対して左右対称に、また、基準穴６と同じ高さの位置にネジ等で取りつけられている。
【００３９】
処理系は、先の実施例１と同様であり、各単眼カメラ１，２で撮影された画像を補正処理する画像処理部、該画像処理部で補正された各単眼カメラ１，２の撮影画像から視差を算出する視差算出部、該算出された視差により物体の距離を計算する距離計算部などからなる。
【００４０】
本実施例は、カメラの内部パラメータや外部パラメータのキャリブレーションは未実施で、画像処理部において内部パラメータや外部パラメータによるずれを補正するために、３次元座標が既知の複数の特徴点を有する校正用ターゲットを撮影して補正用ルックアップテーブルを作成するものである。
【００４１】
図８に、本実施例のステレオカメラのキャリブレーション装置構成例を示す。図８において、１０は図７の構成のステレオカメラ、２０はレーザ距離計、３０は校正用ターゲットである。本実施例では、カメラステイ３の背面が単眼カメラ１，２の取り付け面であるが、基準面はカメラステイ前面になる。カメラステイ前面と背面は平行とみなせるものとする。カメラステイ３上の基準穴６の穴径は、レーザ距離計２０のレーザ光束系とほぼ同等が少し大きいことが望ましい。校正用ターゲット３０は、３次元座標が既知の格子状パターンが描かれた平面とみなせる板材とする。該校正用ターゲット３０の中央には中央位置が分かるように特徴点が設けられている。
【００４２】
図９に、本実施例のキャブリレーションの全体的流れを示す。また、図１０にステレオカメラ１０とレーザ距離計２０と校正用ターゲット３０の必要な距離関係を示す。
【００４３】
まず、カメラステイ３の中央に、反射面が基準面に接するようにミラー１５を設置する（ステップ２０１）。この時、図１０に示すように、基準穴６がミラー１５で塞がれる。
【００４４】
次に、ステレオカメラ１０の後方にレーザ距離計２０を設置する（ステップ２０２）。この時、レーザ距離計２０のレーザ光が基準穴６を通ってミラー１５の反射面に入射し、反射光がレーザ出射端に戻ってくるように調整することでステレオカメラ１０の基準面とレーザ距離計２０を垂直にし、また、ステレオカメラ１０とレーザ距離計２０の位置を合わせる。こうして、レーザ距離計２０で、該レーザ距離計２０からミラー反射面（基準面）までの距離Ｌ１を測定する（ステップ２０３）。その後、ミラー１５を取り外す。
【００４５】
次に、ステレオカメラ１０の前方に校正用ターゲット３０を設置する（ステップ２０４）。この時、レーザ距離計２０のレーザ光がカメラステイ３の基準穴６を通って校正用ターゲット３０の中央に当たり、かつ、校正用ターゲット３０に垂直に入射するように、校正用ターゲット３０を調整する。先に述べたように、校正用ターゲット３０には３次元座標が既知のパターン（格子状パターン）が描かれており、中央には中央位置が分かるように特徴点が設けられている。
【００４６】
校正用ターゲット３０を設置した後、レーザ距離計２０で、該レーザ距離計２０から校正用ターゲット３０までの距離Ｌ２を測定する（ステップ２０５）。そして、距離Ｌ１，Ｌ２をもとに、ステレオカメラ１０の光学中心から校正用ターゲット３０までの距離Ｚを求める（ステップ２０６）。
【００４７】
図１０より、距離Ｚは
Ｚ＝Ｌ２−Ｌ１＋ΔＬ （４）
として求められる。ΔＬは光学中心と基準面の距離で、本実施例でも既知であるとする。本実施例では、ミラー１５の厚さを考慮する必要はない。
【００４８】
次に、ステレオカメラ１０で校正用ターゲット３０を撮影する（ステップ２０７）。そして、撮影して得られた校正用ターゲット３０の像位置と理想位置の差からルックアップテーブルを作成する（ステップ２０８）。
【００４９】
いま、校正用ターゲット３０の中央を原点とし、水平、垂直方向にそれぞれｘ，ｙ軸を持つ座標系を考える。この場合、校正用ターゲット３０上の特徴点（格子点）ｋが（ａ，ｂ，０）の位置にあるとき、右の単眼カメラにおける特徴点Ｋの理想像位置（ｉ０，ｊ０）は、図１１（ａ），（ｂ）により、
ｉ０＝（ａ−Ｂ０／２）＊ｆ０／Ｚ （５）
ｊ０＝ｂ＊ｆ０／Ｚ （６）
となる。また、左の単眼カメラにおける特徴点Ｋの理想位置（ｉ０，ｊ０）は、同じく図１１（ａ），（ｂ）より、
ｉ０＝（ａ＋Ｂ０／２）＊ｆ０／Ｚ （７）
ｊ０＝ｂ＊ｆ０／Ｚ （８）
となる。ここで、Ｂ０は設計値の基線長、ｆ０は設計値の焦点距離である。
【００５０】
しかしながら、ステレオカメラ１０の各単眼カメラ１，２における特徴点ｋの実際の像位置（ｉ，ｊ）は、焦点距離ずれや歪、基線長のずれ等、各種の要因により、一般に理想像位置（ｉ０，ｊ０）と一致しない。
【００５１】
そこで、（ｉ，ｊ）に映った像を（ｉ０，ｊ０）に補正するルックアップテーブルを作成する。ルックアップテーブルは、各単眼カメラ１，２毎にそれぞれ作成する。
【００５２】
本実施例でも、ステレオカメラの距離方向に直交する基準面を設けておくことで、レーザ距離計（距離測定器）を利用し、ステレオカメラから校正用ターゲットまでの距離を正確に測ることができ、理想位置が高精度に得られる。そのため、校正用ターゲットの像位置と理想像位置の差から作成したルックアップテーブルをもとに、各単眼カメラの画像を理想画像に補正することで、ステレオカメラの距離測定を高精度に行うことができる。
【００５３】
図１２は、本実施例のキャリブレーション時に適用される処理系のブロック図を示している。ステレオカメラ１０の各単眼カメラ１，２は、それぞれ校正用ターゲット３０を撮影して画像を出力する。画像処理部２０１０は、デフォルトの内部パラメータや外部パラメータをもとに、各単眼カメラ１，２の撮像画像を補正し、補正画像を出力する。特徴点抽出部２０２０は、画像処理部２０１０で補正された各単眼カメラ１，２の撮像画像について、各単眼カメラごとに、校正用ターゲット３０の特徴点（格子点）を抽出し、その像位置（ｉ，ｊ）を出力する。特徴点は、校正用ターゲット３０における各格子点について抽出して、その像位置を出力する。
【００５４】
ＬＵＴ演算部２０３０は、特徴点抽出部２０２０からの校正用ターゲット３０の特徴点（各格子点）に対応する像位置（ｉ，ｊ）、校正用ターゲット３０上の特徴点（各格子点）の位置（ａ，ｂ）、レーザ距離計２０で得られた距離Ｌ１，Ｌ２、カメラの光学中心と基準面の距離ΔＬ、焦点距離ｆ０を入力して、各単眼カメラ１，２毎に以下のようにしてルックアップテーブルを作成する。なお、校正用ターゲット３０上の各格子点の位置（ａ，ｂ）は既知である。
【００５５】
ここでは、右の単眼カメラについて説明する。まず、Ｌ１，Ｌ２，ΔＬをもとに、式（４）により、ステレオカメラ１０の光学中心から校正用ターゲット３０までの距離Ｚを算出する。なお、距離Ｚは別途、あらかじめ計算しておくことでもよい。次に、校正用ターゲット３０上の、ある格子点の位置（ａ，ｂ）について、右の単眼カメラにおける該格子点の理想像位置（ｉ０，ｊ０）を、式（５），（６）により算出する。次に、当該格子点について、校正用ターゲット３０の像位置（ｉ，ｊ）と理想像位置（ｉ０，ｊ０）の差を求め、（ｉ，ｊ）に映った像を（ｉ０，ｊ０）に補正する補正量とする。この補正量を、校正用ターゲット３０の各格子点について求める。そして、各格子点の補正量をもとに、線型補間などにより各画素の補正量を計算することで、右の単眼カメラのルックアップテーブルが完成する。同様にして、右の単眼カメラのルックアップテーブルを作成する。作成したルックアップテーブルはメモリ等に保持する。
【００５６】
図１３は、本実施例の通常使用時に適用される処理系のブロック図を示している。ステレオカメラ１０の各単眼カメラ１，２で、それぞれ被写体を撮影する。画像処理部２０１０は、各単眼カメラ１，２の撮影画像について、それぞれルックアップテーブルを用いて補正する。すなわち、画素単位に、被写体の（ｉ，ｊ）に映った像を（ｉ０，ｊ０）に補正する。視差演算部２０４０は、画像処理部２０１０から出力される各単眼カメラ１，２の補正画像（理想画像）を入力して、周知のパターンマッチング手法等により視差ｄ０を算出する。距離演算部２０５０は、視差演算部２０４０からの視差ｄ０、及び、設計値の基線長Ｂ０、設計値の焦点距離ｆ０を入力して、式（１）により、被写体の距離Ｚを算出する。
【００５７】
本実施例では、ルックアップテーブルをもとに、画像処理部２０１０が各単眼カメラ１，２の撮像画像を理想画像に補正するため、Ｂｆ値や視差のオフセットΔｄなどを求めることなく、被写体の距離Ｚが高精度に得られる。
【００５８】
なお、本実施例においても、実際には、図１２及び図１３の処理系はＣＰＵやメモリ等を用いて一体的に構成されることになる。
【００５９】
以上、本発明の実施の形態について説明したが、本発明は図示の構成に限られるものではない。例えば、単眼カメラは３つ以上でもよい。この場合、２つの単眼カメラの取りうる組み合わせについてそれぞれキャリブレーションを行って、その平均をとるなどすればよい。
【符号の説明】
【００６０】
１，２ 単眼カメラ
３ カメラステイ
６ 基準穴
１０ ステレオカメラ
１５ ミラー
２０ レーザ距離計（距離測定器）
３０ 校正用ターゲット
１０１０ 画像処理部
１０２０ 視差演算部
１０３０ 校正演算部
１０４０ 距離演算部
２０１０ 画像処理部
２０２０ 特徴点抽出部
２０３０ ＬＵＴ演算部
２０４０ 視差演算部
２０５０ 距離演算部
【先行技術文献】
【特許文献】
【００６１】
【特許文献１】特開２００６−９０７５６号公報
【技術分野】
【０００１】
本発明は、物体の距離や位置を測定するのに用いられるステレオカメラに関し、詳しくは、ステレオカメラの内部パラメータや外部パラメータを校正する方法及び装置に関する。
【背景技術】
【０００２】
ステレオカメラの用途の一つに、複数の位置に設置された単眼カメラからの画像を取得し、各単眼カメラにおける像位置の差（視差）を用いて物体の距離や位置を測定する利用法がある。
【０００３】
近年、環境認識へのニーズが高まっており、例えば自動車にステレオカメラを搭載し、運転手に車間距離や周囲の歩行者の有無などの情報を提供して、運転を支援するシステムが実用化されつつある。そのため、測定範囲の遠距離化や測定の高精度化への要求が高まっている。
【０００４】
上述のように、ステレオカメラでは、各単眼カメラにおける像位置の差（視差）から距離を求めるが、視差と距離の関係はステレオカメラのパラメータに依存する。ステレオカメラのパラメータには、単眼カメラの画像中心位置や焦点距離などの内部パラメータと、単眼カメラ同士の相対位置・姿勢である外部パラメータとがある。
【０００５】
ステレオカメラのパラメータを同定するために事前に校正（キャリブレーション）が行われる。この校正の精度によって距離測定の精度が左右される。しかし、内部パラメータや外部パラメータは直接測定することが難しいため、一般的には各単眼カメラの撮影画像から各パラメータを推定する。
【０００６】
例えば、特許文献１では、既知の三次元座標を持つ校正用ターゲットを撮影することで校正を行っている。この場合、校正の精度は校正用ターゲットとカメラの距離の設置精度に依存する。しかし、カメラと校正用ターゲット間の正確な位置関係を測定するのは困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、複数の単眼カメラを備え、各単眼カメラから撮像された画像の像位置の差から物体の距離を測定するステレオカメラにおいて、ステレオカメラから校正用ターゲットまでの距離を正確に測定できるようにすることで、ステレオカメラの内部パラメータや外部パラメータの校正精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明のステレオカメラは、複数の単眼カメラと、該単眼カメラを連結するカメラステイを具備する。該ステレオカメラの前方に校正用ターゲットを設置し、後方にレーザ距離計などの距離測定器を設置し、カメラステイの、算出する距離方向と垂直に交わる面を基準面として、距離測定器により、距離測定器から基準面までの距離Ｌ１，及び距離測定器から校正用ターゲットまでの距離Ｌ２を測定する。そして、基準面が、算出する距離の原点（ステレオカメラの光学中心）と既知の位置関係にあることを利用して、測定した距離Ｌ１，Ｌ２から、ステレオカメラから校正用ターゲットまでの距離を求めて、ステレオカメラのパラメータを校正する。
具体的には、物体の距離Ｚを次式
Ｚ＝Ｂ＊ｆ（ｄ０＋Δｄ）
で算出する場合（Ｂは基線長、ｆは焦点距離、ｄ０は視差、Δｄは視差のオフセット）、
ステレオカメラから校正用ターゲットまでの距離の異なる２以上の位置において、ステレオカメラから校正用ターゲットまでの距離を上記のようにして測定すると共に、ステレオカメラで校正用ターゲットを撮影して視差を算出し、測定した距離と視差の２以上の組み合わせから、上記式によりＢｆ値とΔｄを算出する。
【０００９】
また、ステレオカメラは２つの単眼カメラとし、物体の距離Ｚを次式
Ｚ＝Ｂ＊ｆ０／ｄ０
で算出する場合（Ｂ０は設計値の基線長、ｆ０は設計値の焦点距離、ｄ０は視差）
３次元座標が既知の複数の特徴点を有する校正用ターゲットを用いて、ステレオカメラから上記のようにして校正用ターゲットまでの距離を測定すると共に、ステレオカメラで校正用ターゲットを撮影し、
各単眼カメラについて、校正用ターゲット中央を原点とし、水平、垂直方向にそれぞれｘ，ｙ軸をもつ座標系で、校正用ターゲット上の特徴点の位置（ａ，ｂ，０）に対応する当該単眼カメラにおける特徴点の理想像位置（ｉ０，ｊ０）を次式
ｉ０＝（ａ±Ｂ０／２）＊ｆ０／Ｚ
ｊ０＝ｂ＊ｆ０／Ｚ
で算出して、当該単眼カメラにおける特徴点の実際の像位置（ｉ，ｊ）と前記理想像位置（ｉ０，ｊ０）の差から、（ｉ，ｊ）に映った像を（ｉ０，ｊ０）に補正するルックアップテープルを作成する。
【発明の効果】
【００１０】
本発明によれば、距離測定器を利用して、ステレオカメラから校正用ターゲットまでの距離を正確に測ることができるため、ステレオカメラのパラメータの校正精度が向上し、距離測定を高精度に行うことが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１におけるステレオカメラの構成図である。
【図２】実施例１におけるキャリブレーション時の装置構成例を示す図である。
【図３】実施例１のキャリブレーション時の全体的流れを示す図である。
【図４】図２の各部の距離関係を示す図である。
【図５】実施例１におけるキャリブレーション時の処理系のブロック図である。
【図６】実施例１の通常使用時の処理系のブロック図である。
【図７】本発明の実施例２におけるステレオカメラの構成図である。
【図８】実施例２におけるキャリブレーション時の装置構成例を示す図である。
【図９】実施例２のキャリブレーション時の全体的流れを示す図である。
【図１０】図８の各部の距離関係を示す図である。
【図１１】校正用ターゲット上の特徴点とステレオカメラ上の特徴点の関係を示す図である。
【図１２】実施例２におけるキャリブレーション時の処理系のブロック図である。
【図１３】実施例２の通常使用時の処理系のブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。
【実施例１】
【００１３】
図１は本発明の第一の実施形態（実施例１）におけるステレオカメラの構成を示したもので、図１（ａ）は分解斜視図、図１（ｂ）は完成時の傾斜図を示している。本ステレオカメラの構成は、２つの単眼カメラ１，２と、これら単眼カメラ１，２を取り付けるカメラステイ３からなる。単眼カメラ１，２は、それぞれ光軸に直交する筐体前面を基準面としてカメラステイ３にネジ等で取りつけられている。カメラステイ３の該単眼カメラ１，２が取り付けられる位置には、それぞれ穴４，５が設けられている。図１中、ｘ，ｙが基準面、これと垂直に交わるｚが距離方向を示している。
【００１４】
図１では省略したが、処理系は、各単眼カメラ１，２で撮影された画像を補正処理する画像処理部、該画像処理部が出力する画像を用いて視差を求める視差演算部、該視差をもとに物体距離を算出する距離演算部などからなる。
【００１５】
本実施例では、各単眼カメラ１，２の歪キャリブレーション、基線長を除く外部パラメータのキャリブレーションは既に公知の方法（例えば、Ｚhang法；“Ａ flexible new technique for camera calibration”ＩＥＥＥ Ｔransactions on Ｐattern Ａnalysis and Ｍachine Ｉntelligence，22(11)：1330-1334，2000）で求められているとする。画像処理部は、キャリブレーションにより求められた内部パラメータや外部パラメータをもとに、各単眼カメラ１，２で撮影された画像を補正する（歪み補正等）。視差演算部は、画像処理部で補正された各単眼カメラ１，２の撮影画像から視差を求め、距離演算部は該視差から物体の距離を計算する。
【００１６】
ここで、距離Ｚは式（１）で計算される。
Ｚ＝Ｂ0＊ｆ0／ｄ0 （１）
Ｂ0は設計値の基線長（カメラの光軸間の長さ）、ｆ０は設計値の焦点距離、ｄ0は測定された視差である。
【００１７】
ところで、実際の焦点距離や基線長は設計値とは異なっている。また、カメラのセンサ（ＣＣＤやＣＭＯＳセンサ）の理想位置からずれなどの要因により、測定された視差にも誤差がのる。
【００１８】
そのため、実際には、距離Ｚは次式の
Ｚ＝Ｂ＊ｆ／（ｄ0＋Δｄ） （２）
となる。ここで、Ｂは実際の基線長、ｆは実際の焦点距離、Δｄは視差のオフセットである。
【００１９】
ステレオカメラで高精度に測距を行うためには、ＢＦ値（Ｂとｆの積）とΔｄを事前に校正（キャリブレーション）しておく必要がある。本実施例は、以下のようにしてＢｆ値とΔｄを推定する。
【００２０】
図２に、本実施例のステレオカメラのＢｆ値とΔｄを推定するためのキャリブレーション装置構成例を示す。図２において、１０は図１の構成のステレオカメラ、２０はレーザ距離計（距離測定器）、３０は校正用ターゲットである。本実施例では、カメラステイ３の背面が単眼カメラ１，２の取り付け面であり、また、基準面である。
【００２１】
図３に、本実施例のキャリブレーションの全体的流れを示す。また、図４にステレオカメラ１０とレーザ距離計２０と校正用ターゲット３０の各距離関係を示す。
【００２２】
まず、ステレオカメラ１０を構成するカメラステイ３の背面である基準面にミラー１５を設置する（ステップ１０１）。図４に示すように、ミラー１５の反射面はステレオカメラ１０の後方側に向けられる。ここで、ミラーの両面は平行とみなせるとする。
【００２３】
次に、レーザ距離計２０のレーザ光がミラー１５に当たるように、ステレオカメラ１０の後方にレーザ距離計２０を設置し、基準面とレーザ距離計２０の位置を調整する（ステップ１０２）。ミラー１５からの反射光がレーザ距離計２０の出射端に戻ってくるよう調整することで、ステレオカメラ１０の基準面とレーザ距離計２０を直交させ、レーザ距離計２０の測定距離方向とステレオカメラ１０の測定距離方向を一致させることができる。こうして、レーザ距離計２０により、該レーザ距離計２０からミラー反射面までの距離Ｌ１を測定する（ステップ１０３）。その後、ミラー１５は取り外す。
【００２４】
次に、ステレオカメラ１０の前方に、レーザ距離計２０のレーザ光が当たる位置に校正用ターゲット３０を設置する（ステップ１０４）。本実施例では、基線長、視差のオフセット以外はキャリブレーションされているので、校正用ターゲットが画面内のどこに映っていても視差は一定となる。そのため、校正用ターゲット３０は、各単眼カメラ１，２に同時に映る特徴点を１点以上持っていればよい。しかし、特徴点までの距離を正確に測るという点において、レーザ距離計２０のレーザ照射位置になるように設置することが望ましい。
【００２５】
校正用ターゲット３０を設置した後、レーザ距離計２０で、該レーザ距離計２０から校正用ターゲット３０までの距離Ｌ２を測定する（ステップ１０５）。そして、距離Ｌ１，Ｌ２をもとに、ステレオカメラ１０の光学中心から校正用ターゲット３０までの距離Ｚを求める（ステップ１０６）。
【００２６】
ここで、図４より、距離Ｚは、
Ｚ＝Ｌ２−Ｌ１−ｔ＋ΔＬ （３）
として求められる。ｔはミラーの厚さ、ΔＬは光学中心（測距の原点）と基準面の距離で、いずれも既知であるとする。
【００２７】
次に、ステレオカメラ１０で校正用ターゲット３０を撮影する（ステップ１０７）。そして、各単眼カメラ１，２の撮影画像から校正用ターゲット３０の特徴点の視差ｄ0を算出する（ステップ１０８）。
【００２８】
その後、ステップ１０４に戻り、校正用ターゲット３０を前回とはステレオカメラ１０からの距離が異なる位置に設置して、ステップ１０５〜１０８を繰り返す。これを少なくとも、ステレオカメラ１０と校正用ターゲット３０の距離が互いに異なる２以上の位置について繰り返す（ステップ１０９）。
【００２９】
こうして求まった視差ｄ０と距離Ｚの２つ以上の組みを用いて、式（２）によりＢｆ値とΔｄを算出する（ステップ１１０）。
【００３０】
本実施例では、ステレオカメラの距離方向に直交する基準面を設けておくことで、レーザ距離計（距離測定器）を利用し、ステレオカメラから校正用ターゲットまでの距離を正確に測ることができる。そのため、ステレオカメラのキャリブレーションとして、Ｂｆ値とΔｄの推定精度が向上する。
【００３１】
図５は、本実施例のキャリブレーション時に適用される処理系のブロック図を示している。ステレオカメラ１０の各単眼カメラ１，２は、それぞれ校正用ターゲット３０を撮影して撮影画像を出力する。画像処理部１０１０は、予め求められた内部パラメータや外部パラメータをもとに、各単眼カメラ１，２の撮影画像を補正する（歪み補正等）。視差演算部１０２０は、画像処理部１０１０で補正された各単眼カメラ１，２の撮像画像をもとに、校正用ターゲット３０の視差ｄ０を算出する。視差計算には、例えば周知のパターンマッチング手法を利用する。図３で説明したように、視差ｄ０は、ステレオカメラ１０と校正用ターゲット３０の距離が互いに異なる２以上の位置についてそれぞれ算出される。
【００３２】
一方、レーザ距離計２０により、レーザ距離計２０からミラー反射面までの距離Ｌ１、レーザ距離計２０からの校正用ターゲットまでの距離Ｌ２が得られる。距離Ｌ２も、ステレオカメラ１０と校正用ターゲット３０の距離が互いに異なる２以上の位置について取得される。
【００３３】
校正演算部１０３０は、視差ｄ0、距離Ｌ１，Ｌ２を入力して、次のようにＢｆ値と視差オフセットΔｄを算出する。カメラの光学中心と基準面の距離ΔＬ、ミラーの厚さｔは予め与えられているとする。
【００３４】
まず、Ｌ１，Ｌ２，ΔＬ，ｔをもとに、式（３）により、ステレオカメラ１０の光学中心から校正用ターゲット３０までの距離Ｚを算出する。これをステレオカメラ１０と校正用ターゲット３０の距離が互い異なる２以上の位置について繰り返す。なお、距離Ｚは別途、あらかじめ計算しておくことでもよい。次に、視差ｄ0と距離Ｚの２つ以上の組み合わせを用いて、式（２）によりＢｆ値とΔｄを算出する。具体的には、式（２）にｄ０、Ｚを代入し、連立方程式を解くことで算出する。算出されたＢｆ値とΔｄは、メモリ等に保持しておけばよい。
【００３５】
図６は、本実施例の通常使用時に適用される処理系のブロック図を示している。ここで、画像処理部１０１０と視差演算部１０２０はキャリブレーションの場合と兼用することができる。
【００３６】
ステレオカメラ１０の各単眼カメラ１，２でそれぞれ被写体を撮影する。画像処理部１０１０は、各単眼カメラ１，２の撮影画像を補正する（歪み補正等）。視差演算部１０２０は、画像処理部１０１０で補正された各単眼カメラ１，２の撮像画像を入力して、周知のパターンマッチング手法等を利用して視差ｄ０を算出する。距離演算部１０４０は、視差演算部１０２０からの視差ｄ０、及び、先のキャリブレーションにより求めたＢｆ値、Δｄを入力して、式（２）により、被写体の距離Ｚを算出する。
【００３７】
なお、図５及び図６では、キャリブレーション時の処理系と通常使用時の処理系を別々に示したが、実際には、これらはＣＰＵやメモリ等を用いて一体的に構成されることになる。
【実施例２】
【００３８】
図７は本発明の第二の実施形態（実施例２）におけるステレオカメラの構成を示したもので、図７（ａ）は分解斜視図、図７（ｂ）は完成時の傾斜図を示している。本ステレオカメラの構成は、先の実施例１と同様に、２つの単眼カメラ１，２と、これら単眼カメラ１，２を取り付けるカメラステイ３からなる。カメラステイ３の単眼カメラ１，２が取り付けられる位置には、それぞれ穴４，５が設けられ、さらに、ステレオカメラ位置の基準となる基準穴６がカメラステイ３の中央に、基準面に対して垂直にあけられている。２つの単眼カメラ１，２は、基準穴６に対して左右対称に、また、基準穴６と同じ高さの位置にネジ等で取りつけられている。
【００３９】
処理系は、先の実施例１と同様であり、各単眼カメラ１，２で撮影された画像を補正処理する画像処理部、該画像処理部で補正された各単眼カメラ１，２の撮影画像から視差を算出する視差算出部、該算出された視差により物体の距離を計算する距離計算部などからなる。
【００４０】
本実施例は、カメラの内部パラメータや外部パラメータのキャリブレーションは未実施で、画像処理部において内部パラメータや外部パラメータによるずれを補正するために、３次元座標が既知の複数の特徴点を有する校正用ターゲットを撮影して補正用ルックアップテーブルを作成するものである。
【００４１】
図８に、本実施例のステレオカメラのキャリブレーション装置構成例を示す。図８において、１０は図７の構成のステレオカメラ、２０はレーザ距離計、３０は校正用ターゲットである。本実施例では、カメラステイ３の背面が単眼カメラ１，２の取り付け面であるが、基準面はカメラステイ前面になる。カメラステイ前面と背面は平行とみなせるものとする。カメラステイ３上の基準穴６の穴径は、レーザ距離計２０のレーザ光束系とほぼ同等が少し大きいことが望ましい。校正用ターゲット３０は、３次元座標が既知の格子状パターンが描かれた平面とみなせる板材とする。該校正用ターゲット３０の中央には中央位置が分かるように特徴点が設けられている。
【００４２】
図９に、本実施例のキャブリレーションの全体的流れを示す。また、図１０にステレオカメラ１０とレーザ距離計２０と校正用ターゲット３０の必要な距離関係を示す。
【００４３】
まず、カメラステイ３の中央に、反射面が基準面に接するようにミラー１５を設置する（ステップ２０１）。この時、図１０に示すように、基準穴６がミラー１５で塞がれる。
【００４４】
次に、ステレオカメラ１０の後方にレーザ距離計２０を設置する（ステップ２０２）。この時、レーザ距離計２０のレーザ光が基準穴６を通ってミラー１５の反射面に入射し、反射光がレーザ出射端に戻ってくるように調整することでステレオカメラ１０の基準面とレーザ距離計２０を垂直にし、また、ステレオカメラ１０とレーザ距離計２０の位置を合わせる。こうして、レーザ距離計２０で、該レーザ距離計２０からミラー反射面（基準面）までの距離Ｌ１を測定する（ステップ２０３）。その後、ミラー１５を取り外す。
【００４５】
次に、ステレオカメラ１０の前方に校正用ターゲット３０を設置する（ステップ２０４）。この時、レーザ距離計２０のレーザ光がカメラステイ３の基準穴６を通って校正用ターゲット３０の中央に当たり、かつ、校正用ターゲット３０に垂直に入射するように、校正用ターゲット３０を調整する。先に述べたように、校正用ターゲット３０には３次元座標が既知のパターン（格子状パターン）が描かれており、中央には中央位置が分かるように特徴点が設けられている。
【００４６】
校正用ターゲット３０を設置した後、レーザ距離計２０で、該レーザ距離計２０から校正用ターゲット３０までの距離Ｌ２を測定する（ステップ２０５）。そして、距離Ｌ１，Ｌ２をもとに、ステレオカメラ１０の光学中心から校正用ターゲット３０までの距離Ｚを求める（ステップ２０６）。
【００４７】
図１０より、距離Ｚは
Ｚ＝Ｌ２−Ｌ１＋ΔＬ （４）
として求められる。ΔＬは光学中心と基準面の距離で、本実施例でも既知であるとする。本実施例では、ミラー１５の厚さを考慮する必要はない。
【００４８】
次に、ステレオカメラ１０で校正用ターゲット３０を撮影する（ステップ２０７）。そして、撮影して得られた校正用ターゲット３０の像位置と理想位置の差からルックアップテーブルを作成する（ステップ２０８）。
【００４９】
いま、校正用ターゲット３０の中央を原点とし、水平、垂直方向にそれぞれｘ，ｙ軸を持つ座標系を考える。この場合、校正用ターゲット３０上の特徴点（格子点）ｋが（ａ，ｂ，０）の位置にあるとき、右の単眼カメラにおける特徴点Ｋの理想像位置（ｉ０，ｊ０）は、図１１（ａ），（ｂ）により、
ｉ０＝（ａ−Ｂ０／２）＊ｆ０／Ｚ （５）
ｊ０＝ｂ＊ｆ０／Ｚ （６）
となる。また、左の単眼カメラにおける特徴点Ｋの理想位置（ｉ０，ｊ０）は、同じく図１１（ａ），（ｂ）より、
ｉ０＝（ａ＋Ｂ０／２）＊ｆ０／Ｚ （７）
ｊ０＝ｂ＊ｆ０／Ｚ （８）
となる。ここで、Ｂ０は設計値の基線長、ｆ０は設計値の焦点距離である。
【００５０】
しかしながら、ステレオカメラ１０の各単眼カメラ１，２における特徴点ｋの実際の像位置（ｉ，ｊ）は、焦点距離ずれや歪、基線長のずれ等、各種の要因により、一般に理想像位置（ｉ０，ｊ０）と一致しない。
【００５１】
そこで、（ｉ，ｊ）に映った像を（ｉ０，ｊ０）に補正するルックアップテーブルを作成する。ルックアップテーブルは、各単眼カメラ１，２毎にそれぞれ作成する。
【００５２】
本実施例でも、ステレオカメラの距離方向に直交する基準面を設けておくことで、レーザ距離計（距離測定器）を利用し、ステレオカメラから校正用ターゲットまでの距離を正確に測ることができ、理想位置が高精度に得られる。そのため、校正用ターゲットの像位置と理想像位置の差から作成したルックアップテーブルをもとに、各単眼カメラの画像を理想画像に補正することで、ステレオカメラの距離測定を高精度に行うことができる。
【００５３】
図１２は、本実施例のキャリブレーション時に適用される処理系のブロック図を示している。ステレオカメラ１０の各単眼カメラ１，２は、それぞれ校正用ターゲット３０を撮影して画像を出力する。画像処理部２０１０は、デフォルトの内部パラメータや外部パラメータをもとに、各単眼カメラ１，２の撮像画像を補正し、補正画像を出力する。特徴点抽出部２０２０は、画像処理部２０１０で補正された各単眼カメラ１，２の撮像画像について、各単眼カメラごとに、校正用ターゲット３０の特徴点（格子点）を抽出し、その像位置（ｉ，ｊ）を出力する。特徴点は、校正用ターゲット３０における各格子点について抽出して、その像位置を出力する。
【００５４】
ＬＵＴ演算部２０３０は、特徴点抽出部２０２０からの校正用ターゲット３０の特徴点（各格子点）に対応する像位置（ｉ，ｊ）、校正用ターゲット３０上の特徴点（各格子点）の位置（ａ，ｂ）、レーザ距離計２０で得られた距離Ｌ１，Ｌ２、カメラの光学中心と基準面の距離ΔＬ、焦点距離ｆ０を入力して、各単眼カメラ１，２毎に以下のようにしてルックアップテーブルを作成する。なお、校正用ターゲット３０上の各格子点の位置（ａ，ｂ）は既知である。
【００５５】
ここでは、右の単眼カメラについて説明する。まず、Ｌ１，Ｌ２，ΔＬをもとに、式（４）により、ステレオカメラ１０の光学中心から校正用ターゲット３０までの距離Ｚを算出する。なお、距離Ｚは別途、あらかじめ計算しておくことでもよい。次に、校正用ターゲット３０上の、ある格子点の位置（ａ，ｂ）について、右の単眼カメラにおける該格子点の理想像位置（ｉ０，ｊ０）を、式（５），（６）により算出する。次に、当該格子点について、校正用ターゲット３０の像位置（ｉ，ｊ）と理想像位置（ｉ０，ｊ０）の差を求め、（ｉ，ｊ）に映った像を（ｉ０，ｊ０）に補正する補正量とする。この補正量を、校正用ターゲット３０の各格子点について求める。そして、各格子点の補正量をもとに、線型補間などにより各画素の補正量を計算することで、右の単眼カメラのルックアップテーブルが完成する。同様にして、右の単眼カメラのルックアップテーブルを作成する。作成したルックアップテーブルはメモリ等に保持する。
【００５６】
図１３は、本実施例の通常使用時に適用される処理系のブロック図を示している。ステレオカメラ１０の各単眼カメラ１，２で、それぞれ被写体を撮影する。画像処理部２０１０は、各単眼カメラ１，２の撮影画像について、それぞれルックアップテーブルを用いて補正する。すなわち、画素単位に、被写体の（ｉ，ｊ）に映った像を（ｉ０，ｊ０）に補正する。視差演算部２０４０は、画像処理部２０１０から出力される各単眼カメラ１，２の補正画像（理想画像）を入力して、周知のパターンマッチング手法等により視差ｄ０を算出する。距離演算部２０５０は、視差演算部２０４０からの視差ｄ０、及び、設計値の基線長Ｂ０、設計値の焦点距離ｆ０を入力して、式（１）により、被写体の距離Ｚを算出する。
【００５７】
本実施例では、ルックアップテーブルをもとに、画像処理部２０１０が各単眼カメラ１，２の撮像画像を理想画像に補正するため、Ｂｆ値や視差のオフセットΔｄなどを求めることなく、被写体の距離Ｚが高精度に得られる。
【００５８】
なお、本実施例においても、実際には、図１２及び図１３の処理系はＣＰＵやメモリ等を用いて一体的に構成されることになる。
【００５９】
以上、本発明の実施の形態について説明したが、本発明は図示の構成に限られるものではない。例えば、単眼カメラは３つ以上でもよい。この場合、２つの単眼カメラの取りうる組み合わせについてそれぞれキャリブレーションを行って、その平均をとるなどすればよい。
【符号の説明】
【００６０】
１，２ 単眼カメラ
３ カメラステイ
６ 基準穴
１０ ステレオカメラ
１５ ミラー
２０ レーザ距離計（距離測定器）
３０ 校正用ターゲット
１０１０ 画像処理部
１０２０ 視差演算部
１０３０ 校正演算部
１０４０ 距離演算部
２０１０ 画像処理部
２０２０ 特徴点抽出部
２０３０ ＬＵＴ演算部
２０４０ 視差演算部
２０５０ 距離演算部
【先行技術文献】
【特許文献】
【００６１】
【特許文献１】特開２００６−９０７５６号公報
【特許請求の範囲】
【請求項１】
複数の単眼カメラと、前記単眼カメラを連結するカメラステイと、複数の単眼カメラからの撮像画像を補正する画像処理部と、前記画像処理部からの補正画像から視差を算出する視差演算部と、前記視差を利用して物体の距離を算出する距離演算部を備えるステレオカメラのパラメータを校正する方法であって、
ステレオカメラの前方に校正用ターゲットを設置し、ステレオカメラの後方に距離測定器を設置し、
前記カメラステイの、算出する距離方向と垂直に交わる面を基準面として、前記距離測定器により、距離測定器から基準面までの距離Ｌ１及び距離測定器から校正用ターゲットまでの距離Ｌ２を測定し、
前記基準面が、算出する距離の原点と既知の位置関係にあることを利用して、前記測定した距離Ｌ１，Ｌ２から、ステレオカメラから校正用ターゲットまでの距離を求めることで、ステレオカメラのパラメータを校正することを特徴とするステレオカメラ校正方法。
【請求項２】
請求項１に記載のステレオカメラ校正方法において、
距離測定器にレーザ距離計を使用し、基準面とレーザ距離計のレーザ光が直交するように調整することを特徴とするステレオカメラ校正方法。
【請求項３】
請求項１又は２に記載のステレオカメラ校正方法において、
物体の距離Ｚは次式
Ｚ＝Ｂ＊ｆ（ｄ０＋Δｄ）
ここで、Ｂは基線長、ｆは焦点距離、ｄ０は視差、Δｄは視差のオフセット
で算出する場合であって、
ステレオカメラから校正用ターゲットまでの距離の異なる２以上の位置において、ステレオカメラから校正用ターゲットまでの距離を測定すると共に、ステレオカメラで校正用ターゲットを撮影して視差を算出し、前記距離と視差の２以上の組み合わせから、前記式によりＢｆ値とΔｄを算出することを特徴とするステレオカメラ校正方法。
【請求項４】
請求項１又は２に記載のステレオカメラ校正方法において、
ステレオカメラは２つの単眼カメラを有し、
物体の距離Ｚを次式
Ｚ＝Ｂ０＊ｆ０／ｄ０
ここで、Ｂ０は設計値の基線長、ｆ０は設計値の焦点距離、ｄ０は視差、
で算出する場合であって、
３次元座標が既知の複数の特徴点を有する校正用ターゲットを用いて、ステレオカメラから前記校正用ターゲットまでの距離を測定すると共に、ステレオカメラで前記校正用ターゲットを撮影し、
各単眼カメラについて、校正用ターゲット中央を原点とし、水平、垂直方向にそれぞれｘ，ｙ軸をもつ座標系で、校正用ターゲット上の特徴点の位置（ａ，ｂ，０）に対応する当該単眼カメラにおける特徴点の理想像位置（ｉ０，ｊ０）を次式
ｉ０＝（ａ±Ｂ０／２）＊ｆ０／Ｚ
ｊ０＝ｂ＊ｆ０／Ｚ
で算出して、当該単眼カメラにおける特徴点の実際の像位置（ｉ，ｊ）と前記理想像位置（ｉ０，ｊ０）の差から、（ｉ，ｊ）に映った像を（ｉ０，ｊ０）に補正するルックアップテープルを作成することを特徴とするステレオカメラ校正方法。
【請求項５】
請求項３に記載のステレオカメラ校正方法を実施するステレオカメラ校正装置であって、
ステレオカメラから校正用ターゲットまでの距離の異なる２以上の位置にて、ステレオカメラで校正用ターゲットを撮影した画像からそれぞれ視差を算出する手段と、
ステレオカメラから校正用ターゲットまで距離の異なる２以上の位置にてそれぞれ測定された、ステレオカメラから校正用ターゲットまでの距離と、前記算出された視差を入力して、Ｂｆ値とΔｄを算出する手段と、
を有することを特徴とするステレオカメラ校正装置。
【請求項６】
請求項５に記載のステレオカメラ校正装置において、
前記校正用ターゲットを撮影した画像から視差を算出する手段は、画像処理部からの補正画像から視差を算出する視差演算部が兼ねることを特徴とするステレオカメラ校正装置。
【請求項７】
請求項４に記載のステレオカメラ校正方法を実施するステレオカメラ校正装置であって、
ステレオカメラで校正用ターゲットを撮影した画像から、各単眼カメラごとに特徴点の像位置（ｉ，ｊ）を抽出する手段と、
各単眼カメラについて、前記抽出された校正用ターゲット上の特徴点の像位置（ｉ，ｊ）、校正用ターゲット上の特徴点の位置（ａ，ｂ）、焦点距離ｆ０、ステレオカメラから校正用ターゲットまでの距離Ｚを入力して、当該単眼カメラにおける特徴点の理想像位置（ｉ０，ｊ０）を算出し、像位置（ｉ，ｊ）と理想像位置（ｉ０，ｊ０）の差からルックアップテーブルを作成する手段と、
を有することを特徴とするステレオカメラ校正装置。
【請求項１】
複数の単眼カメラと、前記単眼カメラを連結するカメラステイと、複数の単眼カメラからの撮像画像を補正する画像処理部と、前記画像処理部からの補正画像から視差を算出する視差演算部と、前記視差を利用して物体の距離を算出する距離演算部を備えるステレオカメラのパラメータを校正する方法であって、
ステレオカメラの前方に校正用ターゲットを設置し、ステレオカメラの後方に距離測定器を設置し、
前記カメラステイの、算出する距離方向と垂直に交わる面を基準面として、前記距離測定器により、距離測定器から基準面までの距離Ｌ１及び距離測定器から校正用ターゲットまでの距離Ｌ２を測定し、
前記基準面が、算出する距離の原点と既知の位置関係にあることを利用して、前記測定した距離Ｌ１，Ｌ２から、ステレオカメラから校正用ターゲットまでの距離を求めることで、ステレオカメラのパラメータを校正することを特徴とするステレオカメラ校正方法。
【請求項２】
請求項１に記載のステレオカメラ校正方法において、
距離測定器にレーザ距離計を使用し、基準面とレーザ距離計のレーザ光が直交するように調整することを特徴とするステレオカメラ校正方法。
【請求項３】
請求項１又は２に記載のステレオカメラ校正方法において、
物体の距離Ｚは次式
Ｚ＝Ｂ＊ｆ（ｄ０＋Δｄ）
ここで、Ｂは基線長、ｆは焦点距離、ｄ０は視差、Δｄは視差のオフセット
で算出する場合であって、
ステレオカメラから校正用ターゲットまでの距離の異なる２以上の位置において、ステレオカメラから校正用ターゲットまでの距離を測定すると共に、ステレオカメラで校正用ターゲットを撮影して視差を算出し、前記距離と視差の２以上の組み合わせから、前記式によりＢｆ値とΔｄを算出することを特徴とするステレオカメラ校正方法。
【請求項４】
請求項１又は２に記載のステレオカメラ校正方法において、
ステレオカメラは２つの単眼カメラを有し、
物体の距離Ｚを次式
Ｚ＝Ｂ０＊ｆ０／ｄ０
ここで、Ｂ０は設計値の基線長、ｆ０は設計値の焦点距離、ｄ０は視差、
で算出する場合であって、
３次元座標が既知の複数の特徴点を有する校正用ターゲットを用いて、ステレオカメラから前記校正用ターゲットまでの距離を測定すると共に、ステレオカメラで前記校正用ターゲットを撮影し、
各単眼カメラについて、校正用ターゲット中央を原点とし、水平、垂直方向にそれぞれｘ，ｙ軸をもつ座標系で、校正用ターゲット上の特徴点の位置（ａ，ｂ，０）に対応する当該単眼カメラにおける特徴点の理想像位置（ｉ０，ｊ０）を次式
ｉ０＝（ａ±Ｂ０／２）＊ｆ０／Ｚ
ｊ０＝ｂ＊ｆ０／Ｚ
で算出して、当該単眼カメラにおける特徴点の実際の像位置（ｉ，ｊ）と前記理想像位置（ｉ０，ｊ０）の差から、（ｉ，ｊ）に映った像を（ｉ０，ｊ０）に補正するルックアップテープルを作成することを特徴とするステレオカメラ校正方法。
【請求項５】
請求項３に記載のステレオカメラ校正方法を実施するステレオカメラ校正装置であって、
ステレオカメラから校正用ターゲットまでの距離の異なる２以上の位置にて、ステレオカメラで校正用ターゲットを撮影した画像からそれぞれ視差を算出する手段と、
ステレオカメラから校正用ターゲットまで距離の異なる２以上の位置にてそれぞれ測定された、ステレオカメラから校正用ターゲットまでの距離と、前記算出された視差を入力して、Ｂｆ値とΔｄを算出する手段と、
を有することを特徴とするステレオカメラ校正装置。
【請求項６】
請求項５に記載のステレオカメラ校正装置において、
前記校正用ターゲットを撮影した画像から視差を算出する手段は、画像処理部からの補正画像から視差を算出する視差演算部が兼ねることを特徴とするステレオカメラ校正装置。
【請求項７】
請求項４に記載のステレオカメラ校正方法を実施するステレオカメラ校正装置であって、
ステレオカメラで校正用ターゲットを撮影した画像から、各単眼カメラごとに特徴点の像位置（ｉ，ｊ）を抽出する手段と、
各単眼カメラについて、前記抽出された校正用ターゲット上の特徴点の像位置（ｉ，ｊ）、校正用ターゲット上の特徴点の位置（ａ，ｂ）、焦点距離ｆ０、ステレオカメラから校正用ターゲットまでの距離Ｚを入力して、当該単眼カメラにおける特徴点の理想像位置（ｉ０，ｊ０）を算出し、像位置（ｉ，ｊ）と理想像位置（ｉ０，ｊ０）の差からルックアップテーブルを作成する手段と、
を有することを特徴とするステレオカメラ校正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１６７９４４（Ｐ２０１２−１６７９４４Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２７０８０（Ｐ２０１１−２７０８０）
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]