測距用画像選択機能を有する測距装置
【課題】赤外線光量の小さい環境や、赤外線の反射率の低い対象物の場合、赤外線ステレオカメラによる測距はテクスチャ情報が少ないため測距精度が低くなる。この場合、可視光量は多く、可視光線の反射率は高い対象物であれば、可視光ステレオカメラを用いることでテクスチャ情報が増加し、精度の高い測距が可能になる。一方、赤外線光量が多く、赤外線の反射率の高い対象物であり、可視光量は少なく、可視光線の反射率は低い対象物であれば上記と逆の状況になる。
【解決手段】赤外線ステレオカメラ（３）と可視光ステレオカメラ（５）とを両方具備し、周辺の光量もしくは相関演算の一致度評価値に応じて上記２つのカメラを切替えることにより、周辺光量の変化による測距精度のばらつきが低減される。
【解決手段】赤外線ステレオカメラ（３）と可視光ステレオカメラ（５）とを両方具備し、周辺の光量もしくは相関演算の一致度評価値に応じて上記２つのカメラを切替えることにより、周辺光量の変化による測距精度のばらつきが低減される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載、監視、ロボット、ゲーム、ＣＧ画像作成用途などに用いられる、複数の異なる視点の画像から対象物の距離もしくは形状を推定する測距装置に関するものである。
【背景技術】
【０００２】
近年、所定の位置から所定の物体までの距離を正確に測定する要求が強くなってきている。例えば自動車用途では、自動車の周辺にある物体までの距離を正確に測ることで、より安全な自動車の走行や駐車を可能にできる。また歩行ロボット用途では、ロボット周辺の物体の距離を正確に測定することにより、ロボットの進行のより適切な方針決定が可能になる。また、歩行ロボットから周辺の物体の表面の距離を正確に測ることにより、周辺の物体の三次元形状を推測することができるため、物体が何であるかの推定がより正確になり、例えば片付けなどロボットの適切な作業が可能になる。
【０００３】
所定の位置から所定の物体までの距離を測る方法としては、電磁波や超音波の反射を用いた方法や、レーザとカメラを用いた方法（レーザースキャナ）や、設置位置の異なる２つのカメラつまりステレオカメラを用いた方法がある。図１２に示すように所定の位置Ａから所定の物体上の点Ｂまでの方向と平行な方向にＺ軸を定義し、Ｚ軸と垂直な平面上において互いに直交するＸ軸、Ｙ軸を定義する。電磁波や超音波の反射を用いた方法は、測距のリアルタイム性が高く、Ｚ軸方向の測距精度は高いが、ＸＹ平面の空間解像度が低い。レーザースキャナはＺ軸方向の測距精度が高く、ＸＹ平面の空間解像度も高いが、レーザを所定の物体上の点もしくは線で照射するため、物体全体の距離を測定するのに時間がかかり測距のリアルタイム性が低い。ステレオカメラを用いた方法は、Ｚ軸方向の測距精度が高く、ＸＹ平面の空間解像度が高く、リアルタイム性も高い。したがって、ステレオカメラを用いた測距方法は近年測距装置として要求が高まっている。
【０００４】
ステレオカメラを用いた測距装置の従来例としては例えば特許文献１が挙げられる。特許文献１では異なる二つの赤外線画像を用いて撮像手段から対象物までの距離を求めており、対象物の距離を少ない演算量でかつ高精度に求めることができる。つまり、Ｚ軸方向の測距精度が高く、撮像装置（カメラ）を用いているためＸＹ平面の空間解像度が高く、少ない演算量のためリアルタイム性も高い。
【特許文献１】特開２００３−０２８６３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１のステレオカメラ方式を用いた測距装置では、異なる視点の２つの赤外線画像の相関演算を用いて対象物の距離を求めている。したがって、赤外線の反射率の小さい対象物の距離を求めたい場合は、測距装置に受光する対象物の赤外線量が少ないため、赤外線画像中に対象物の像が写りにくくなる。この場合、対象物の像はノイズ等の影響を受けやすくなり、相関演算の計算精度が低くなり正確なＺ軸方向の距離を算出することが難しくなる。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の撮像装置は、赤外線を入射して異なる視点の２つの赤外線画像を出力する赤外線撮像手段と、可視光を入射して異なる視点の２つの可視光画像を出力する可視光撮像手段と、赤外線撮像手段から出力される２つの赤外線画像、もしくは可視光撮像手段から出力される２つの可視光画像に基づき、赤外線撮像手段もしくは可視光撮像手段から対象物までの距離である対象物距離を算出する距離算出手段と、異なる視点の２つの赤外線画像に基づき対象物距離を算出するか、異なる視点の２つの可視光線画像に基づき対象物距離を算出するかを選択する測距用画像選択手段とを有する。
【発明の効果】
【０００７】
本発明は、状況に応じて測距計算時に赤外線画像と可視光画像を切替えるため、状況に応じて正確なＺ軸方向の距離を算出可能となる。例えば、測距装置に受光する赤外線量が少ない対象物であっても、赤外線よりも可視光の反射率が高いことなどに起因して測距装置に受光する可視光量が多い対象物であれば、２つの可視光画像の相関演算を用いることによって、赤外線画像のみの場合よりＺ軸方向の距離を正確に算出することができる。
【発明を実施するための最良の形態】
【０００８】
本発明の実施の形態を図面を用いて詳細に説明する。本発明による測距装置は、赤外線画像と可視光画像の両方を撮影することができ、状況に応じて測距計算時に赤外線画像と可視光画像を切替えるため、状況に応じて正確なＺ軸方向の距離を算出可能となる。
【０００９】
実施の形態１では、赤外線画像及び可視光線画像のうちのそれぞれ一つの画像の特徴量の比較によって、赤外線画像を用いて測距演算を行うか、可視光線画像を用いて測距演算を行うか選択する。
【００１０】
実施の形態２では、赤外線画像を用いた測距演算での一致度評価値と、可視光画像を用いた測距演算での一致度評価値とを比較して、測距精度の高いと思われる測距演算結果を選択する。
【００１１】
実施の形態３では、照明スイッチの状態に応じて、赤外線画像を用いて測距演算を行うか、可視光線画像を用いて測距演算を行うか選択する。
【００１２】
実施の形態４では、照度センサの状態に応じて、赤外線画像を用いて測距演算を行うか、可視光線画像を用いて測距演算を行うか選択する。
【００１３】
以下、それぞれの実施形態について詳細に説明する。
【００１４】
（実施の形態１）
図１に本実施の形態の測距装置の構成を図示する。
【００１５】
まず、図1の測距装置の構成を説明する。図1において、１は赤外線を放射する複数のLEDから構成される赤外線放射部である。２は赤外線集光用に設計された２つの赤外線レンズ、３は２つの異なる赤外線画像を出力する赤外線ステレオカメラ、４は可視光線集光用に設計された２つの可視光レンズ、５は２つの異なる可視光画像を出力する可視光ステレオカメラである。赤外線ステレオカメラ３は赤外線を各赤外線レンズ２を介してそれぞれに対応する撮像素子に受光し、異なる２つの赤外線画像を出力する。可視光ステレオカメラ５は可視光を各可視光レンズ４を介してそれぞれに対応する撮像素子に受光し、異なる２つの可視光画像を出力する。６は赤外線ステレオカメラ３から出力された２つの赤外線画像のうち少なくとも１つの赤外線画像の特徴量と、可視光ステレオカメラ５から出力された２つの可視光画像のうち少なくとも１つの可視光画像の特徴量を算出し、その２つの特徴量の差異から、測距演算に用いる画像を２つの異なる赤外線画像にするか、もしくは２つの異なる可視光画像にするかを選択する撮像装置選択部、７は撮像装置選択部６で選択された異なる２つの赤外線画像もしくは異なる２つの可視光画像の相関演算から、赤外線ステレオカメラ３もしくは可視光ステレオカメラ５から対象物までの距離を算出する測距演算部である。
【００１６】
次に撮像装置選択部６の処理を詳しく説明する。前述のように撮像装置選択部６は赤外線ステレオカメラ３から出力された２つの赤外線画像のうち少なくとも１つの赤外線画像の特徴量と、可視光ステレオカメラ５から出力された２つの可視光画像のうち少なくとも１つの可視光画像の特徴量を算出し、その２つの特徴量の差異から測距演算に用いる画像を２つの異なる赤外線画像にするかもしくは２つの異なる可視光画像にするかを選択する。赤外線ステレオカメラ３から出力される１つの赤外線画像が１０ビットの輝度諧調を持ち、画像サイズが横方向６４０画素、縦方向４８０画素、露光時間Ｔｉの場合、この赤外線画像の輝度総和（特徴量）は（数１）で表される。
【００１７】
【数１】
【００１８】
ここでＩｉ（ｘ，ｙ）は赤外線画像の各画素の輝度を表し、ｘは横方向、ｙは縦方向のアドレスを表す。可視光ステレオカメラ５から出力される１つの可視光画像も１０ビットの輝度諧調を持ち、画像サイズが横方向６４０画素、縦方向４８０画素、露光時間Ｔｖの場合、この可視光画像の輝度総和（特徴量）は（数２）で表される。
【００１９】
【数２】
【００２０】
ここでＩｖ（ｘ，ｙ）は可視光画像の各画素の輝度を表し、ｘは横方向、ｙは縦方向のアドレスを表す。このとき、赤外線画像と可視光画像の明るさの差は（数３）で表される。
【００２１】
【数３】
【００２２】
撮像装置選択部６はＤｉｖ≧０の場合は赤外線画像の方が可視光画像よりも多くの光量を受光していると判断し、赤外線ステレオカメラ３の異なる２つの赤外線画像を選択し測距演算部７に出力する。Ｄｉｖ＜０の場合は可視光画像の方が赤外線画像よりも多くの光量を受光していると判断し、可視光ステレオカメラ５の異なる２つの可視光画像を選択し測距演算部７に出力する。
【００２３】
次に測距演算部７の処理を詳しく説明する。前述のように測距演算部７は撮像装置選択部６で選択された異なる２つの赤外線画像もしくは異なる２つの可視光画像の相関演算により、赤外線ステレオカメラ３もしくは可視光ステレオカメラ５から対象物までの距離を算出する。ここでは赤外線ステレオカメラ３の場合の測距演算方法を説明する。可視光ステレオカメラ５の場合も同様の測距演算方法により距離を算出することができる。図２に赤外線ステレオカメラ３の断面図及び対象物上の点８との位置関係を示し、赤外線ステレオカメラ３から対象物上の点８までの距離算出原理を説明する。図２の２Ｌ、２Ｒは赤外線レンズ、９は赤外線透過フィルタ、１０Ｌ、１０Ｒは撮像素子、１１Ｌ、１１Ｒは赤外線レンズ２Ｌ、２Ｒの光軸、１２Ｌは対象物上の点８から撮像素子１０Ｌへの主光線、１２Ｒは対象物上の点８から撮像素子１０Ｒへの主光線である。対象物上の点８は赤外線レンズ２Ｌの光軸上にあるとする。対象物上の点８と赤外線レンズ２Ｌ及び赤外線レンズ２Ｒの光学中心との距離Ｄを対象物距離、赤外線レンズ２Ｌ及び赤外線レンズ２Ｒの光学中心と撮像素子１０Ｌ、１０Ｒとの距離を焦点距離ｆ、光軸１１Ｌと光軸１１Ｒとの間隔を基線長Ｂとする。主光線１２Ｒと撮像素子１０Ｒとの交点と、赤外線レンズ２Ｒの光軸１１Ｒと撮像素子１０Ｒとの交点との距離は視差Ｐとなり（数４）で表されるように対象物上の点８の距離により変動する。
【００２４】
【数４】
【００２５】
したがって、視差Ｐを検出することにより、対象物距離Ｄつまり赤外線ステレオカメラ３と対象物８との距離を求めることができる。図３に図２の撮像素子１０Ｌ、１０Ｒから出力される異なる二つの赤外線画像１３Ｌ、１３Ｒを示し、視差Ｐの算出方法を説明する。視差Ｐの算出方法には様々な方法があるがここではその一例を示す。なお、赤外線画像１３Ｌ、１３Ｒは歪曲などの内部パラメータ及び外部パラメータが、図１の測距演算部７の校正処理によりあらかじめ校正されているものとし、エピポーラ線が図２の赤外線レンズ２Ｌ、２Ｒの光軸１１Ｌ、１１Ｒと撮像素子１０Ｌ、１０Ｒとの交点を結ぶ直線上となっているものとする。図３の１４Ｌ、１４Ｒは対象物上の点８が赤外線画像１３Ｌ、１３Ｒ上に写像された位置を示す。１５は対象物上の点８が無限遠の位置にある場合に写像されるべき位置を示す。１６Ｌ、１６Ｒは赤外線画像１３Ｌ、１３Ｒの相関演算を行うブロック単位を示し、１６Ｌは対象物上の点８が含まれるブロックを示している。ブロックサイズは横方向１６画素、縦方向１６画素とする。図３のブロックサイズは説明しやすくするために実際の赤外線画像との相対的な大きさより大きく書いている。赤外線画像１３Ｌ中のブロック１６Ｌの位置は固定とし、赤外線画像１３Ｒ中のブロック１６Ｒは図３の位置から１画素ずつ図３の左方向に移動していき、それぞれの位置での一致度評価値Ｅｉを（数５）のＳＡＤ（差分絶対値総和）で算出する。
【００２６】
【数５】
【００２７】
ここでＩｉｂｌ（ｘｂ，ｙｂ）は赤外線画像１３Ｌのブロック１６Ｌ内の各画素の輝度、Ｉｉｂｒは赤外線画像１３Ｒのブロック１６Ｒ内の各画素の輝度を表す。abs()は絶対値を演算することを示す。図４にブロック１６Ｒのずらし量と一致度評価値Ｅｉの推移を示す。ずらし量Ｚの時に一致度評価値Ｅｉが最小となっており、このときのブロック１６Ｒの位置は図３の１７Ｒであり、ブロック１６Ｌとブロック１６Ｒの画像の相関が最も高い。したがって、このずらし量Ｚを視差と決定する。更にサブピクセル精度の視差演算を行ってもよいが、本実施例ではピクセル単位での視差計算とする。撮像素子１０Ｌ、１０Ｒの画素ピッチをｇとすると、（数４）の視差Ｐとずらし量Ｚｕとの関係は（数６）となるため、（数７）から対象物距離Ｄつまり赤外線ステレオカメラ３と対象物８との距離を求めることができる。
【００２８】
【数６】
【００２９】
【数７】
【００３０】
図５に可視光ステレオカメラ５の断面図及び対象物上の点８を示す。図５の４Ｌ、４Ｒは可視光レンズ、１８は可視光線透過フィルタ、１９Ｌ、１９Ｒは撮像素子、２０Ｌ、２０Ｒは可視光レンズ４Ｌ、４Ｒの光軸、２１Ｌは対象物上の点８から撮像素子１９Ｌへの主光線、２１Ｒは対象物上の点８から撮像素子１９Ｒへの主光線である。撮像装置選択部６が可視光ステレオカメラ５を選択した場合も、赤外線ステレオカメラ３同様の原理により距離を算出することができる。
【００３１】
測距結果はブロック単位で算出されるため、例えば赤外線ステレオカメラ３の測距結果は、図７に示すように画像１３Lを横方向４０ブロック、縦方向３０ブロックのそれぞれのブロックに対して算出される。赤外線画像及び可視光画像の端周辺のブロックは相関演算のための画像情報が不十分なために適切な演算ができない場合があり、その場合はエラーを出力する。
【００３２】
以上のように、本発明の測距用画像選択機能を有する測距装置は、測距装置に受光する赤外線量が可視光線と比較して多いと予想される対象物の場合は赤外線画像を用いて測距演算を行い、赤外線量が可視光線と比較して少ないと予想される対象物の場合は可視光線画像を用いて測距演算を行う。これにより、対象物の赤外線反射率が可視光反射率よりも低い場合や、赤外線よりも可視光の光量が多い場合などは、赤外線画像のみの場合よりＺ軸方向の距離を正確に算出することができる。
【００３３】
なお、本実施の形態では輝度総和（数３）を撮像装置選択の基準にしているが、赤外線画像と可視光線画像の各画素の輝度より演算される特徴量を比較するものであればよく、輝度総和（数３）を選択の基準に限るものではない。
【００３４】
なお、例えば（数８）、（数９）のように赤外線画像と可視光線画像の微分を特徴量として、撮像装置選択の基準にしてもよい。この場合は微分絶対値総和が大きい画像の方が画像の特徴点が多く測距演算精度が高いとみなし、赤外線画像と可視光線画像のうち微分絶対値が大きい方を選択する。
【００３５】
【数８】
【００３６】
【数９】
【００３７】
また、例えば（数１０）、（数１１）のように赤外線画像と可視光線画像の２回微分を特徴量として、撮像装置選択の基準にしてもよい。この場合は２回微分絶対値総和が大きい画像の方が画像の特徴点が多く測距演算精度が高いとみなし、赤外線画像と可視光線画像のうち２回微分絶対値が大きい方を選択する。
【００３８】
【数１０】
【００３９】
【数１１】
【００４０】
また、赤外線画像と可視光線画像の分散を特徴量として、撮像装置選択の基準にしてもよい。この場合は分散が大きい画像の方が画像の特徴点が多く測距演算精度が高いとみなし、赤外線画像と可視光線画像のうち分散が大きい方を選択する。
【００４１】
また、赤外線画像か可視光線画像かのいずれかの特徴量に閾値を設け、その閾値より大きいか小さいかによって撮像装置選択の基準としてもよい。この場合は赤外線画像の特徴量か、可視光画像の特徴量かのいずれかを常に算出すればよいため、赤外線と可視光線の両方の画像を常に取り込む必要が無くなる。
【００４２】
なお、撮像素子は各赤外線レンズ、各可視光レンズごとに別個に設置してもよいし、同一撮像素子で各レンズごとに異なる領域を用いてもよい。また、図２及び図５では、測距原理の説明の簡略化のために赤外線透過フィルタ９及び可視光透過フィルタ１８は十分薄いとみなして説明しているが、厚みが問題になる場合は適切に考慮する必要がある。また、画像サイズ、ブロックサイズ、画素ピッチ等は本実施の形態に記載の値に限られないことは言うまでもない。本実施の形態は、本発明を具現化した一例であり、本発明の技術的範囲を限定するものではない。
【００４３】
（実施の形態２）
図６に本実施の形態の測距装置の構成を図示する。
【００４４】
まず、図６の測距装置の構成を説明する。図６の１から５は実施の形態１と同じため説明を省略する。２２は、赤外線ステレオカメラ３から出力される２つの異なる赤外線画像と、可視光ステレオカメラ５から出力される２つの異なる可視光画像のそれぞれの相関演算から、赤外線ステレオカメラ３から対象物までの距離と可視光ステレオカメラ５から対象物までの距離を算出する測距演算部である。２３は、測距演算部２２で行った相関演算で算出される一致度評価値に基づき、異なる２つの赤外線画像から求めた測距結果を採用するか、異なる２つの可視光画像から求めた測距結果を採用するかを選択する撮像装置選択部である。
【００４５】
次に測距演算部２２の処理を詳細に説明する。測距演算部２２は実施の形態１の図１の測距演算部７と同様にＳＡＤ（差分絶対値総和）を用いて一致度評価値を算出する。それぞれの赤外線画像及び可視光画像の画像サイズは横方向６４０画素、縦方向４８０画素とし、相関演算を行う単位となるブロックサイズを横方向１６画素、縦方向１６画素とすると、図７の赤外線画像の例に示すように横方向に４０個、縦方向に３０個のブロックが構成される。それぞれのブロックでのＳＡＤ（差分絶対値総和）を用いた一致度評価値は（数５）同様に求められ、一致度評価値が最小となるずらし量を各ブロックのずらし量Ｚｕとして格納する。このときのそれぞれのブロックの一致度評価値の最小値も格納する。２つの異なる赤外線画像から算出した各ブロックの一致度評価値の最小値はＥｉ＿ｍｉｎとして格納し、２つの異なる可視光画像から算出した各ブロックの一致度評価値の最小値はＥｖ＿ｍｉｎとして格納する。
【００４６】
次に撮像装置選択部２３の処理を詳細に説明する。撮像装置選択部２３は測距演算部２２で算出された、赤外線画像の各ブロックでの一致度評価値の最小値Ｅｉ＿ｍｉｎの総和Ｕｉを（数１２）により算出する。
【００４７】
【数１２】
【００４８】
Ｅｉ＿ｍｉｎ（ｘｅ，ｙｅ）は赤外線画像の各ブロックでの一致度評価値の最小値を表す。また、可視光画像の各ブロックでの一致度評価値の最小値Ｅｖ＿ｍｉｎの総和Ｕｖも同様に（数１３）より算出する。
【００４９】
【数１３】
【００５０】
Ｅｖ＿ｍｉｎ（ｘｅ，ｙｅ）は可視光画像の各ブロックでの一致度評価値の最小値を表す。（数１２）及び（数１３）で求めた一致度評価値の総和ＵｉとＵｖの大小関係がＵｉ≦Ｕｖの場合は、赤外線画像の方が画像相関性の高いブロックが多い、つまり赤外線ステレオカメラ３を用いた方が測距精度が高いとみなし、２つの異なる赤外線画像からもとめた測距結果を選択する。Ｕｉ＞Ｕｖの場合は、可視光画像の方が画像相関性の高いブロックが多い、つまり可視光ステレオカメラ５を用いた方が測距精度が高いとみなし、２つの異なる可視光画像からもとめた測距結果を選択する。対象物距離Ｄつまり、赤外線ステレオカメラ３もしくは可視光ステレオカメラ５と対象物８との距離は、実施の形態１と同様にずらし量Ｚｕから（数７）を用いて求めることができる。
【００５１】
以上のように、本発明の測距用画像選択機能を有する測距装置は、赤外線画像を用いて行った測距演算での一致度評価値と、可視光画像を用いて行った測距演算での一致度評価値を比較し、演算精度が高いと予想される方の測距結果を採用する。これにより、対象物の赤外線反射率が可視光反射率よりも低い場合や、赤外線よりも可視光の光量が多い場合などで赤外線画像による測距精度の低下が予想される場合であっても、赤外線画像のみの測距演算の場合よりＺ軸方向の距離を正確に算出することができる。
【００５２】
なお、一致度評価値Ｅｉ及びＥｖを（数５）のようにＳＡＤ（差分絶対値総和）で算出するのでなく、（数１４）、（数１５）のようにＳＳＤ（差分２乗総和）で算出してもよい。
【００５３】
【数１４】
【００５４】
【数１５】
【００５５】
ここでＩｖｂｌ（ｘｂ，ｙｂ）は２つの可視光画像の一方の画像のブロック内の各画素の輝度、Ｉｖｂｒは可視光画像の他方の画像のブロック内の各画素の輝度を表す。この場合の各ブロックでの一致度評価値の最小値Ｅｉ＿ｍｉｎの総和Ｕｉ、一致度評価値の最小値Ｅｖ＿ｍｉｎの総和Ｕｖの算出は（数１２）、（数１３）でよく、赤外線ステレオカメラ３の測距結果と可視光ステレオカメラ５の測距結果の選択基準も同様にＵｉとＵｖの大小関係でよい。
【００５６】
なお、一致度評価値Ｅｉ及びＥｖを（数５）のようにＳＡＤ（差分絶対値総和）で算出するのでなく、（数１６）、（数１７）のように相互相関係数で算出してもよい。
【００５７】
【数１６】
【００５８】
【数１７】
【００５９】
この場合は各ブロックでは一致度評価値Ｅｉ及びＥｖが最大となる時に相関性が最も高いため、一致度評価値Ｅｉ及びＥｖが最大となる時のずらし量をずらし量Ｚとして格納する。このときの各ブロックのＥｉ及びＥｖの最大値もＥｉ＿ｍａｘ及びＥｖ＿ｍａｘとして格納する。赤外線画像の各ブロックでの一致度評価値の最大値Ｅｉ＿ｍａｘの平均を（数１８）により算出する。可視光画像の各ブロックでの一致度評価値の最大値Ｅｖ＿ｍａｘの平均Ｕｖを（数１９）により算出する。
【００６０】
【数１８】
【００６１】
【数１９】
【００６２】
（数１８）及び（数１９）で求めた一致度評価値の平均ＵｉとＵｖの大小関係がＵｉ≧Ｕｖの場合は、赤外線画像の方が画像相関性の高いブロックが多い、つまり赤外線ステレオカメラ３を用いた方が測距精度が高いとみなし、２つの異なる赤外線画像からもとめた測距結果を選択する。Ｕｉ＜Ｕｖの場合は、可視光画像の方が画像相関性の高いブロックが多い、つまり可視光ステレオカメラ５を用いた方が測距精度が高いとみなし、２つの異なる可視光画像からもとめた測距結果を選択する。対象物距離Ｄつまり、赤外線ステレオカメラ３もしくは可視光ステレオカメラ５と対象物８との距離は、実施の形態１と同様にずらし量Ｚから（数６）、（数７）を用いて求めることができる。
【００６３】
なお、画像サイズ、ブロックサイズ、画素ピッチ等は本実施の形態に記載の値に限られないことは言うまでもない。本実施の形態は、本発明を具現化した一例であり、本発明の技術的範囲を限定するものではない。
【００６４】
（実施の形態３）
図８に本実施の形態の測距装置の構成を図示する。図８の１から５、及び７は実施の形態１と同じため説明を省略する。
【００６５】
撮像装置選択部２４の処理を詳細に説明する。撮像装置選択部２４には、対象物を照らす外部の照明機器に関する情報、例えば自動車のヘッドランプのスイッチなどの照明スイッチ２５のオン、オフの情報が入力される。照明スイッチ２５がオンの場合は、対象物から測距装置に受光される可視光の光量が少ないと見なし、より正確な測距演算が可能と予想される赤外線ステレオカメラ３の異なる２つの赤外線画像を選択し測距演算部７に出力する。照明スイッチ２５がオフの場合は、対象物から測距装置に受光される可視光の光量が多いと見なし、より正確な測距演算が可能と予想される可視光ステレオカメラ５の異なる２つの可視光画像を選択し測距演算部７に出力する。
【００６６】
以上のように、本発明の測距用画像選択機能を有する測距装置は、測距装置に受光する赤外線量が可視光線と比較して多いと予想される対象物の場合は赤外線画像を用いて測距演算を行い、赤外線量が可視光線と比較して少ないと予想される対象物の場合は可視光線画像を用いて測距演算を行う。これにより、対象物の赤外線反射率が可視光反射率よりも低い場合や、赤外線よりも可視光の光量が多い場合などは、赤外線画像のみの場合よりＺ軸方向の距離を正確に算出することができる。
【００６７】
なお、照明スイッチ２５がオン、オフの２つの状態のみでなく、照明の光量の調整が可能な場合は、例えば照明の光量の閾値を設け、照明の光量が閾値以上の場合は対象物から測距装置に受光される可視光の光量が少ないと見なし、より正確な測距演算が可能と予想される赤外線ステレオカメラ３の異なる２つの赤外線画像を選択し測距演算部７に出力する。照明の光量が閾値より小さい場合は、対象物から測距装置に受光される可視光の光量が多いと見なし、より正確な測距演算が可能と予想される可視光ステレオカメラ５の異なる２つの可視光画像を選択し測距演算部７に出力する。つまり、照明スイッチ２５の状態に応じて赤外線ステレオカメラ３か可視光ステレオカメラ５かを選択し、測距演算部７に出力すればよい。
【００６８】
（実施の形態４）
図９に本実施の形態の測距装置の構成を図示する。図９の１から５、及び７は実施の形態１と同じため説明を省略する。
【００６９】
撮像装置選択部２６の処理を詳細に説明する。撮像装置選択部２６は、照度センサ２７により周辺の明るさに関する情報が入力される。そして、照度センサから入力される照度の閾値を設け、照度が閾値より小さい場合は対象物から測距装置に受光される可視光の光量が少ないと見なし、より正確な測距演算が可能と予想される赤外線ステレオカメラ３の異なる２つの赤外線画像を選択し測距演算部７に出力する。周辺の照度が閾値より大きい場合は、対象物から測距装置に受光される可視光の光量が多いと見なし、より正確な測距演算が可能と予想される可視光ステレオカメラ５の異なる２つの可視光画像を選択し測距演算部７に出力する。つまり、照度センサ２７の状態に応じて赤外線ステレオカメラ３か可視光ステレオカメラ５かを選択し、測距演算部７に出力すればよい。
【００７０】
以上のように、本発明の測距用画像選択機能を有する測距装置は、測距装置に受光する赤外線量が可視光線と比較して多いと予想される対象物の場合は赤外線画像を用いて測距演算を行い、赤外線量が可視光線と比較して少ないと予想される対象物の場合は可視光線画像を用いて測距演算を行う。これにより、対象物の赤外線反射率が可視光反射率よりも低い場合や、赤外線よりも可視光の光量が多い場合などは、赤外線画像のみの場合よりＺ軸方向の距離を正確に算出することができる。
【００７１】
なお、例えば自動車の周辺監視などの場合には、図１０に示すように複数の赤外線ステレオカメラ３及び可視光ステレオカメラ５が設置される場合があるが、この場合も赤外線ステレオカメラ３と可視光ステレオカメラ５の選択方法として実施の形態１から４の方式を適用できることは言うまでもない。
【００７２】
なお、オプティカルフローを用いる場合は１つのカメラで２つのカメラ（ステレオカメラ）の役割を果たすことができるため、図１１に示すように、赤外線レンズ２が１つの赤外線ステレオカメラ３及び可視光レンズ４が１つの可視光ステレオカメラ５が設置される場合があるが、この場合も赤外線ステレオカメラ３と可視光ステレオカメラ５の選択方法として実施の形態１から４の方式を適用できることは言うまでもない。
【産業上の利用可能性】
【００７３】
本発明の測距装置は、車載、監視、ロボット、ゲーム、ＣＧ画像作成用途などに用いられる、複数の異なる視点の画像から対象物の距離もしくは形状を推定する測距装置として有用である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施の形態１に係る測距装置の構成図
【図２】本発明の実施の形態１に係る測距装置の測距原理の説明図
【図３】本発明の実施の形態１に係る測距装置の測距方法の説明図
【図４】本発明の実施の形態１に係る測距装置の測距方法の説明図
【図５】本発明の実施の形態１に係る測距装置の測距原理の説明図
【図６】本発明の実施の形態２に係る測距装置の構成図
【図７】本発明の実施の形態２に係る測距装置のブロック分割方法の説明図
【図８】本発明の実施の形態３に係る測距装置の構成図
【図９】本発明の実施の形態４に係る測距装置の構成図
【図１０】本発明の実施の形態に係る測距装置のその他の構成図
【図１１】本発明の実施の形態に係る測距装置のその他の構成図
【図１２】従来例の説明図
【符号の説明】
【００７５】
１ 赤外線放射部
２ 赤外線レンズ
３ 赤外線ステレオカメラ
４ 可視光レンズ
５ 可視光ステレオカメラ
６ 撮像装置選択部
７ 測距演算部
８ 対象物上の点
９ 赤外線透過フィルタ
１０ 撮像素子
１１ 光軸
１２ 主光線
１３ 赤外線画像
１４ 対象物上の点が撮像素子に写像された位置
１５ 対象物が無限遠にあるときに撮像素子上に写像される位置
１６ ブロック
１７ 相関が高いときのブロック位置
１８ 可視光線透過フィルタ
１９ 撮像素子
２０ 光軸
２１ 主光線
２２ 測距演算部
２３ 撮像装置選択部
２４ 撮像装置選択部
２５ 照明スイッチ
２６ 撮像装置選択部
２７ 照度センサ
【技術分野】
【０００１】
本発明は、車載、監視、ロボット、ゲーム、ＣＧ画像作成用途などに用いられる、複数の異なる視点の画像から対象物の距離もしくは形状を推定する測距装置に関するものである。
【背景技術】
【０００２】
近年、所定の位置から所定の物体までの距離を正確に測定する要求が強くなってきている。例えば自動車用途では、自動車の周辺にある物体までの距離を正確に測ることで、より安全な自動車の走行や駐車を可能にできる。また歩行ロボット用途では、ロボット周辺の物体の距離を正確に測定することにより、ロボットの進行のより適切な方針決定が可能になる。また、歩行ロボットから周辺の物体の表面の距離を正確に測ることにより、周辺の物体の三次元形状を推測することができるため、物体が何であるかの推定がより正確になり、例えば片付けなどロボットの適切な作業が可能になる。
【０００３】
所定の位置から所定の物体までの距離を測る方法としては、電磁波や超音波の反射を用いた方法や、レーザとカメラを用いた方法（レーザースキャナ）や、設置位置の異なる２つのカメラつまりステレオカメラを用いた方法がある。図１２に示すように所定の位置Ａから所定の物体上の点Ｂまでの方向と平行な方向にＺ軸を定義し、Ｚ軸と垂直な平面上において互いに直交するＸ軸、Ｙ軸を定義する。電磁波や超音波の反射を用いた方法は、測距のリアルタイム性が高く、Ｚ軸方向の測距精度は高いが、ＸＹ平面の空間解像度が低い。レーザースキャナはＺ軸方向の測距精度が高く、ＸＹ平面の空間解像度も高いが、レーザを所定の物体上の点もしくは線で照射するため、物体全体の距離を測定するのに時間がかかり測距のリアルタイム性が低い。ステレオカメラを用いた方法は、Ｚ軸方向の測距精度が高く、ＸＹ平面の空間解像度が高く、リアルタイム性も高い。したがって、ステレオカメラを用いた測距方法は近年測距装置として要求が高まっている。
【０００４】
ステレオカメラを用いた測距装置の従来例としては例えば特許文献１が挙げられる。特許文献１では異なる二つの赤外線画像を用いて撮像手段から対象物までの距離を求めており、対象物の距離を少ない演算量でかつ高精度に求めることができる。つまり、Ｚ軸方向の測距精度が高く、撮像装置（カメラ）を用いているためＸＹ平面の空間解像度が高く、少ない演算量のためリアルタイム性も高い。
【特許文献１】特開２００３−０２８６３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１のステレオカメラ方式を用いた測距装置では、異なる視点の２つの赤外線画像の相関演算を用いて対象物の距離を求めている。したがって、赤外線の反射率の小さい対象物の距離を求めたい場合は、測距装置に受光する対象物の赤外線量が少ないため、赤外線画像中に対象物の像が写りにくくなる。この場合、対象物の像はノイズ等の影響を受けやすくなり、相関演算の計算精度が低くなり正確なＺ軸方向の距離を算出することが難しくなる。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の撮像装置は、赤外線を入射して異なる視点の２つの赤外線画像を出力する赤外線撮像手段と、可視光を入射して異なる視点の２つの可視光画像を出力する可視光撮像手段と、赤外線撮像手段から出力される２つの赤外線画像、もしくは可視光撮像手段から出力される２つの可視光画像に基づき、赤外線撮像手段もしくは可視光撮像手段から対象物までの距離である対象物距離を算出する距離算出手段と、異なる視点の２つの赤外線画像に基づき対象物距離を算出するか、異なる視点の２つの可視光線画像に基づき対象物距離を算出するかを選択する測距用画像選択手段とを有する。
【発明の効果】
【０００７】
本発明は、状況に応じて測距計算時に赤外線画像と可視光画像を切替えるため、状況に応じて正確なＺ軸方向の距離を算出可能となる。例えば、測距装置に受光する赤外線量が少ない対象物であっても、赤外線よりも可視光の反射率が高いことなどに起因して測距装置に受光する可視光量が多い対象物であれば、２つの可視光画像の相関演算を用いることによって、赤外線画像のみの場合よりＺ軸方向の距離を正確に算出することができる。
【発明を実施するための最良の形態】
【０００８】
本発明の実施の形態を図面を用いて詳細に説明する。本発明による測距装置は、赤外線画像と可視光画像の両方を撮影することができ、状況に応じて測距計算時に赤外線画像と可視光画像を切替えるため、状況に応じて正確なＺ軸方向の距離を算出可能となる。
【０００９】
実施の形態１では、赤外線画像及び可視光線画像のうちのそれぞれ一つの画像の特徴量の比較によって、赤外線画像を用いて測距演算を行うか、可視光線画像を用いて測距演算を行うか選択する。
【００１０】
実施の形態２では、赤外線画像を用いた測距演算での一致度評価値と、可視光画像を用いた測距演算での一致度評価値とを比較して、測距精度の高いと思われる測距演算結果を選択する。
【００１１】
実施の形態３では、照明スイッチの状態に応じて、赤外線画像を用いて測距演算を行うか、可視光線画像を用いて測距演算を行うか選択する。
【００１２】
実施の形態４では、照度センサの状態に応じて、赤外線画像を用いて測距演算を行うか、可視光線画像を用いて測距演算を行うか選択する。
【００１３】
以下、それぞれの実施形態について詳細に説明する。
【００１４】
（実施の形態１）
図１に本実施の形態の測距装置の構成を図示する。
【００１５】
まず、図1の測距装置の構成を説明する。図1において、１は赤外線を放射する複数のLEDから構成される赤外線放射部である。２は赤外線集光用に設計された２つの赤外線レンズ、３は２つの異なる赤外線画像を出力する赤外線ステレオカメラ、４は可視光線集光用に設計された２つの可視光レンズ、５は２つの異なる可視光画像を出力する可視光ステレオカメラである。赤外線ステレオカメラ３は赤外線を各赤外線レンズ２を介してそれぞれに対応する撮像素子に受光し、異なる２つの赤外線画像を出力する。可視光ステレオカメラ５は可視光を各可視光レンズ４を介してそれぞれに対応する撮像素子に受光し、異なる２つの可視光画像を出力する。６は赤外線ステレオカメラ３から出力された２つの赤外線画像のうち少なくとも１つの赤外線画像の特徴量と、可視光ステレオカメラ５から出力された２つの可視光画像のうち少なくとも１つの可視光画像の特徴量を算出し、その２つの特徴量の差異から、測距演算に用いる画像を２つの異なる赤外線画像にするか、もしくは２つの異なる可視光画像にするかを選択する撮像装置選択部、７は撮像装置選択部６で選択された異なる２つの赤外線画像もしくは異なる２つの可視光画像の相関演算から、赤外線ステレオカメラ３もしくは可視光ステレオカメラ５から対象物までの距離を算出する測距演算部である。
【００１６】
次に撮像装置選択部６の処理を詳しく説明する。前述のように撮像装置選択部６は赤外線ステレオカメラ３から出力された２つの赤外線画像のうち少なくとも１つの赤外線画像の特徴量と、可視光ステレオカメラ５から出力された２つの可視光画像のうち少なくとも１つの可視光画像の特徴量を算出し、その２つの特徴量の差異から測距演算に用いる画像を２つの異なる赤外線画像にするかもしくは２つの異なる可視光画像にするかを選択する。赤外線ステレオカメラ３から出力される１つの赤外線画像が１０ビットの輝度諧調を持ち、画像サイズが横方向６４０画素、縦方向４８０画素、露光時間Ｔｉの場合、この赤外線画像の輝度総和（特徴量）は（数１）で表される。
【００１７】
【数１】
【００１８】
ここでＩｉ（ｘ，ｙ）は赤外線画像の各画素の輝度を表し、ｘは横方向、ｙは縦方向のアドレスを表す。可視光ステレオカメラ５から出力される１つの可視光画像も１０ビットの輝度諧調を持ち、画像サイズが横方向６４０画素、縦方向４８０画素、露光時間Ｔｖの場合、この可視光画像の輝度総和（特徴量）は（数２）で表される。
【００１９】
【数２】
【００２０】
ここでＩｖ（ｘ，ｙ）は可視光画像の各画素の輝度を表し、ｘは横方向、ｙは縦方向のアドレスを表す。このとき、赤外線画像と可視光画像の明るさの差は（数３）で表される。
【００２１】
【数３】
【００２２】
撮像装置選択部６はＤｉｖ≧０の場合は赤外線画像の方が可視光画像よりも多くの光量を受光していると判断し、赤外線ステレオカメラ３の異なる２つの赤外線画像を選択し測距演算部７に出力する。Ｄｉｖ＜０の場合は可視光画像の方が赤外線画像よりも多くの光量を受光していると判断し、可視光ステレオカメラ５の異なる２つの可視光画像を選択し測距演算部７に出力する。
【００２３】
次に測距演算部７の処理を詳しく説明する。前述のように測距演算部７は撮像装置選択部６で選択された異なる２つの赤外線画像もしくは異なる２つの可視光画像の相関演算により、赤外線ステレオカメラ３もしくは可視光ステレオカメラ５から対象物までの距離を算出する。ここでは赤外線ステレオカメラ３の場合の測距演算方法を説明する。可視光ステレオカメラ５の場合も同様の測距演算方法により距離を算出することができる。図２に赤外線ステレオカメラ３の断面図及び対象物上の点８との位置関係を示し、赤外線ステレオカメラ３から対象物上の点８までの距離算出原理を説明する。図２の２Ｌ、２Ｒは赤外線レンズ、９は赤外線透過フィルタ、１０Ｌ、１０Ｒは撮像素子、１１Ｌ、１１Ｒは赤外線レンズ２Ｌ、２Ｒの光軸、１２Ｌは対象物上の点８から撮像素子１０Ｌへの主光線、１２Ｒは対象物上の点８から撮像素子１０Ｒへの主光線である。対象物上の点８は赤外線レンズ２Ｌの光軸上にあるとする。対象物上の点８と赤外線レンズ２Ｌ及び赤外線レンズ２Ｒの光学中心との距離Ｄを対象物距離、赤外線レンズ２Ｌ及び赤外線レンズ２Ｒの光学中心と撮像素子１０Ｌ、１０Ｒとの距離を焦点距離ｆ、光軸１１Ｌと光軸１１Ｒとの間隔を基線長Ｂとする。主光線１２Ｒと撮像素子１０Ｒとの交点と、赤外線レンズ２Ｒの光軸１１Ｒと撮像素子１０Ｒとの交点との距離は視差Ｐとなり（数４）で表されるように対象物上の点８の距離により変動する。
【００２４】
【数４】
【００２５】
したがって、視差Ｐを検出することにより、対象物距離Ｄつまり赤外線ステレオカメラ３と対象物８との距離を求めることができる。図３に図２の撮像素子１０Ｌ、１０Ｒから出力される異なる二つの赤外線画像１３Ｌ、１３Ｒを示し、視差Ｐの算出方法を説明する。視差Ｐの算出方法には様々な方法があるがここではその一例を示す。なお、赤外線画像１３Ｌ、１３Ｒは歪曲などの内部パラメータ及び外部パラメータが、図１の測距演算部７の校正処理によりあらかじめ校正されているものとし、エピポーラ線が図２の赤外線レンズ２Ｌ、２Ｒの光軸１１Ｌ、１１Ｒと撮像素子１０Ｌ、１０Ｒとの交点を結ぶ直線上となっているものとする。図３の１４Ｌ、１４Ｒは対象物上の点８が赤外線画像１３Ｌ、１３Ｒ上に写像された位置を示す。１５は対象物上の点８が無限遠の位置にある場合に写像されるべき位置を示す。１６Ｌ、１６Ｒは赤外線画像１３Ｌ、１３Ｒの相関演算を行うブロック単位を示し、１６Ｌは対象物上の点８が含まれるブロックを示している。ブロックサイズは横方向１６画素、縦方向１６画素とする。図３のブロックサイズは説明しやすくするために実際の赤外線画像との相対的な大きさより大きく書いている。赤外線画像１３Ｌ中のブロック１６Ｌの位置は固定とし、赤外線画像１３Ｒ中のブロック１６Ｒは図３の位置から１画素ずつ図３の左方向に移動していき、それぞれの位置での一致度評価値Ｅｉを（数５）のＳＡＤ（差分絶対値総和）で算出する。
【００２６】
【数５】
【００２７】
ここでＩｉｂｌ（ｘｂ，ｙｂ）は赤外線画像１３Ｌのブロック１６Ｌ内の各画素の輝度、Ｉｉｂｒは赤外線画像１３Ｒのブロック１６Ｒ内の各画素の輝度を表す。abs()は絶対値を演算することを示す。図４にブロック１６Ｒのずらし量と一致度評価値Ｅｉの推移を示す。ずらし量Ｚの時に一致度評価値Ｅｉが最小となっており、このときのブロック１６Ｒの位置は図３の１７Ｒであり、ブロック１６Ｌとブロック１６Ｒの画像の相関が最も高い。したがって、このずらし量Ｚを視差と決定する。更にサブピクセル精度の視差演算を行ってもよいが、本実施例ではピクセル単位での視差計算とする。撮像素子１０Ｌ、１０Ｒの画素ピッチをｇとすると、（数４）の視差Ｐとずらし量Ｚｕとの関係は（数６）となるため、（数７）から対象物距離Ｄつまり赤外線ステレオカメラ３と対象物８との距離を求めることができる。
【００２８】
【数６】
【００２９】
【数７】
【００３０】
図５に可視光ステレオカメラ５の断面図及び対象物上の点８を示す。図５の４Ｌ、４Ｒは可視光レンズ、１８は可視光線透過フィルタ、１９Ｌ、１９Ｒは撮像素子、２０Ｌ、２０Ｒは可視光レンズ４Ｌ、４Ｒの光軸、２１Ｌは対象物上の点８から撮像素子１９Ｌへの主光線、２１Ｒは対象物上の点８から撮像素子１９Ｒへの主光線である。撮像装置選択部６が可視光ステレオカメラ５を選択した場合も、赤外線ステレオカメラ３同様の原理により距離を算出することができる。
【００３１】
測距結果はブロック単位で算出されるため、例えば赤外線ステレオカメラ３の測距結果は、図７に示すように画像１３Lを横方向４０ブロック、縦方向３０ブロックのそれぞれのブロックに対して算出される。赤外線画像及び可視光画像の端周辺のブロックは相関演算のための画像情報が不十分なために適切な演算ができない場合があり、その場合はエラーを出力する。
【００３２】
以上のように、本発明の測距用画像選択機能を有する測距装置は、測距装置に受光する赤外線量が可視光線と比較して多いと予想される対象物の場合は赤外線画像を用いて測距演算を行い、赤外線量が可視光線と比較して少ないと予想される対象物の場合は可視光線画像を用いて測距演算を行う。これにより、対象物の赤外線反射率が可視光反射率よりも低い場合や、赤外線よりも可視光の光量が多い場合などは、赤外線画像のみの場合よりＺ軸方向の距離を正確に算出することができる。
【００３３】
なお、本実施の形態では輝度総和（数３）を撮像装置選択の基準にしているが、赤外線画像と可視光線画像の各画素の輝度より演算される特徴量を比較するものであればよく、輝度総和（数３）を選択の基準に限るものではない。
【００３４】
なお、例えば（数８）、（数９）のように赤外線画像と可視光線画像の微分を特徴量として、撮像装置選択の基準にしてもよい。この場合は微分絶対値総和が大きい画像の方が画像の特徴点が多く測距演算精度が高いとみなし、赤外線画像と可視光線画像のうち微分絶対値が大きい方を選択する。
【００３５】
【数８】
【００３６】
【数９】
【００３７】
また、例えば（数１０）、（数１１）のように赤外線画像と可視光線画像の２回微分を特徴量として、撮像装置選択の基準にしてもよい。この場合は２回微分絶対値総和が大きい画像の方が画像の特徴点が多く測距演算精度が高いとみなし、赤外線画像と可視光線画像のうち２回微分絶対値が大きい方を選択する。
【００３８】
【数１０】
【００３９】
【数１１】
【００４０】
また、赤外線画像と可視光線画像の分散を特徴量として、撮像装置選択の基準にしてもよい。この場合は分散が大きい画像の方が画像の特徴点が多く測距演算精度が高いとみなし、赤外線画像と可視光線画像のうち分散が大きい方を選択する。
【００４１】
また、赤外線画像か可視光線画像かのいずれかの特徴量に閾値を設け、その閾値より大きいか小さいかによって撮像装置選択の基準としてもよい。この場合は赤外線画像の特徴量か、可視光画像の特徴量かのいずれかを常に算出すればよいため、赤外線と可視光線の両方の画像を常に取り込む必要が無くなる。
【００４２】
なお、撮像素子は各赤外線レンズ、各可視光レンズごとに別個に設置してもよいし、同一撮像素子で各レンズごとに異なる領域を用いてもよい。また、図２及び図５では、測距原理の説明の簡略化のために赤外線透過フィルタ９及び可視光透過フィルタ１８は十分薄いとみなして説明しているが、厚みが問題になる場合は適切に考慮する必要がある。また、画像サイズ、ブロックサイズ、画素ピッチ等は本実施の形態に記載の値に限られないことは言うまでもない。本実施の形態は、本発明を具現化した一例であり、本発明の技術的範囲を限定するものではない。
【００４３】
（実施の形態２）
図６に本実施の形態の測距装置の構成を図示する。
【００４４】
まず、図６の測距装置の構成を説明する。図６の１から５は実施の形態１と同じため説明を省略する。２２は、赤外線ステレオカメラ３から出力される２つの異なる赤外線画像と、可視光ステレオカメラ５から出力される２つの異なる可視光画像のそれぞれの相関演算から、赤外線ステレオカメラ３から対象物までの距離と可視光ステレオカメラ５から対象物までの距離を算出する測距演算部である。２３は、測距演算部２２で行った相関演算で算出される一致度評価値に基づき、異なる２つの赤外線画像から求めた測距結果を採用するか、異なる２つの可視光画像から求めた測距結果を採用するかを選択する撮像装置選択部である。
【００４５】
次に測距演算部２２の処理を詳細に説明する。測距演算部２２は実施の形態１の図１の測距演算部７と同様にＳＡＤ（差分絶対値総和）を用いて一致度評価値を算出する。それぞれの赤外線画像及び可視光画像の画像サイズは横方向６４０画素、縦方向４８０画素とし、相関演算を行う単位となるブロックサイズを横方向１６画素、縦方向１６画素とすると、図７の赤外線画像の例に示すように横方向に４０個、縦方向に３０個のブロックが構成される。それぞれのブロックでのＳＡＤ（差分絶対値総和）を用いた一致度評価値は（数５）同様に求められ、一致度評価値が最小となるずらし量を各ブロックのずらし量Ｚｕとして格納する。このときのそれぞれのブロックの一致度評価値の最小値も格納する。２つの異なる赤外線画像から算出した各ブロックの一致度評価値の最小値はＥｉ＿ｍｉｎとして格納し、２つの異なる可視光画像から算出した各ブロックの一致度評価値の最小値はＥｖ＿ｍｉｎとして格納する。
【００４６】
次に撮像装置選択部２３の処理を詳細に説明する。撮像装置選択部２３は測距演算部２２で算出された、赤外線画像の各ブロックでの一致度評価値の最小値Ｅｉ＿ｍｉｎの総和Ｕｉを（数１２）により算出する。
【００４７】
【数１２】
【００４８】
Ｅｉ＿ｍｉｎ（ｘｅ，ｙｅ）は赤外線画像の各ブロックでの一致度評価値の最小値を表す。また、可視光画像の各ブロックでの一致度評価値の最小値Ｅｖ＿ｍｉｎの総和Ｕｖも同様に（数１３）より算出する。
【００４９】
【数１３】
【００５０】
Ｅｖ＿ｍｉｎ（ｘｅ，ｙｅ）は可視光画像の各ブロックでの一致度評価値の最小値を表す。（数１２）及び（数１３）で求めた一致度評価値の総和ＵｉとＵｖの大小関係がＵｉ≦Ｕｖの場合は、赤外線画像の方が画像相関性の高いブロックが多い、つまり赤外線ステレオカメラ３を用いた方が測距精度が高いとみなし、２つの異なる赤外線画像からもとめた測距結果を選択する。Ｕｉ＞Ｕｖの場合は、可視光画像の方が画像相関性の高いブロックが多い、つまり可視光ステレオカメラ５を用いた方が測距精度が高いとみなし、２つの異なる可視光画像からもとめた測距結果を選択する。対象物距離Ｄつまり、赤外線ステレオカメラ３もしくは可視光ステレオカメラ５と対象物８との距離は、実施の形態１と同様にずらし量Ｚｕから（数７）を用いて求めることができる。
【００５１】
以上のように、本発明の測距用画像選択機能を有する測距装置は、赤外線画像を用いて行った測距演算での一致度評価値と、可視光画像を用いて行った測距演算での一致度評価値を比較し、演算精度が高いと予想される方の測距結果を採用する。これにより、対象物の赤外線反射率が可視光反射率よりも低い場合や、赤外線よりも可視光の光量が多い場合などで赤外線画像による測距精度の低下が予想される場合であっても、赤外線画像のみの測距演算の場合よりＺ軸方向の距離を正確に算出することができる。
【００５２】
なお、一致度評価値Ｅｉ及びＥｖを（数５）のようにＳＡＤ（差分絶対値総和）で算出するのでなく、（数１４）、（数１５）のようにＳＳＤ（差分２乗総和）で算出してもよい。
【００５３】
【数１４】
【００５４】
【数１５】
【００５５】
ここでＩｖｂｌ（ｘｂ，ｙｂ）は２つの可視光画像の一方の画像のブロック内の各画素の輝度、Ｉｖｂｒは可視光画像の他方の画像のブロック内の各画素の輝度を表す。この場合の各ブロックでの一致度評価値の最小値Ｅｉ＿ｍｉｎの総和Ｕｉ、一致度評価値の最小値Ｅｖ＿ｍｉｎの総和Ｕｖの算出は（数１２）、（数１３）でよく、赤外線ステレオカメラ３の測距結果と可視光ステレオカメラ５の測距結果の選択基準も同様にＵｉとＵｖの大小関係でよい。
【００５６】
なお、一致度評価値Ｅｉ及びＥｖを（数５）のようにＳＡＤ（差分絶対値総和）で算出するのでなく、（数１６）、（数１７）のように相互相関係数で算出してもよい。
【００５７】
【数１６】
【００５８】
【数１７】
【００５９】
この場合は各ブロックでは一致度評価値Ｅｉ及びＥｖが最大となる時に相関性が最も高いため、一致度評価値Ｅｉ及びＥｖが最大となる時のずらし量をずらし量Ｚとして格納する。このときの各ブロックのＥｉ及びＥｖの最大値もＥｉ＿ｍａｘ及びＥｖ＿ｍａｘとして格納する。赤外線画像の各ブロックでの一致度評価値の最大値Ｅｉ＿ｍａｘの平均を（数１８）により算出する。可視光画像の各ブロックでの一致度評価値の最大値Ｅｖ＿ｍａｘの平均Ｕｖを（数１９）により算出する。
【００６０】
【数１８】
【００６１】
【数１９】
【００６２】
（数１８）及び（数１９）で求めた一致度評価値の平均ＵｉとＵｖの大小関係がＵｉ≧Ｕｖの場合は、赤外線画像の方が画像相関性の高いブロックが多い、つまり赤外線ステレオカメラ３を用いた方が測距精度が高いとみなし、２つの異なる赤外線画像からもとめた測距結果を選択する。Ｕｉ＜Ｕｖの場合は、可視光画像の方が画像相関性の高いブロックが多い、つまり可視光ステレオカメラ５を用いた方が測距精度が高いとみなし、２つの異なる可視光画像からもとめた測距結果を選択する。対象物距離Ｄつまり、赤外線ステレオカメラ３もしくは可視光ステレオカメラ５と対象物８との距離は、実施の形態１と同様にずらし量Ｚから（数６）、（数７）を用いて求めることができる。
【００６３】
なお、画像サイズ、ブロックサイズ、画素ピッチ等は本実施の形態に記載の値に限られないことは言うまでもない。本実施の形態は、本発明を具現化した一例であり、本発明の技術的範囲を限定するものではない。
【００６４】
（実施の形態３）
図８に本実施の形態の測距装置の構成を図示する。図８の１から５、及び７は実施の形態１と同じため説明を省略する。
【００６５】
撮像装置選択部２４の処理を詳細に説明する。撮像装置選択部２４には、対象物を照らす外部の照明機器に関する情報、例えば自動車のヘッドランプのスイッチなどの照明スイッチ２５のオン、オフの情報が入力される。照明スイッチ２５がオンの場合は、対象物から測距装置に受光される可視光の光量が少ないと見なし、より正確な測距演算が可能と予想される赤外線ステレオカメラ３の異なる２つの赤外線画像を選択し測距演算部７に出力する。照明スイッチ２５がオフの場合は、対象物から測距装置に受光される可視光の光量が多いと見なし、より正確な測距演算が可能と予想される可視光ステレオカメラ５の異なる２つの可視光画像を選択し測距演算部７に出力する。
【００６６】
以上のように、本発明の測距用画像選択機能を有する測距装置は、測距装置に受光する赤外線量が可視光線と比較して多いと予想される対象物の場合は赤外線画像を用いて測距演算を行い、赤外線量が可視光線と比較して少ないと予想される対象物の場合は可視光線画像を用いて測距演算を行う。これにより、対象物の赤外線反射率が可視光反射率よりも低い場合や、赤外線よりも可視光の光量が多い場合などは、赤外線画像のみの場合よりＺ軸方向の距離を正確に算出することができる。
【００６７】
なお、照明スイッチ２５がオン、オフの２つの状態のみでなく、照明の光量の調整が可能な場合は、例えば照明の光量の閾値を設け、照明の光量が閾値以上の場合は対象物から測距装置に受光される可視光の光量が少ないと見なし、より正確な測距演算が可能と予想される赤外線ステレオカメラ３の異なる２つの赤外線画像を選択し測距演算部７に出力する。照明の光量が閾値より小さい場合は、対象物から測距装置に受光される可視光の光量が多いと見なし、より正確な測距演算が可能と予想される可視光ステレオカメラ５の異なる２つの可視光画像を選択し測距演算部７に出力する。つまり、照明スイッチ２５の状態に応じて赤外線ステレオカメラ３か可視光ステレオカメラ５かを選択し、測距演算部７に出力すればよい。
【００６８】
（実施の形態４）
図９に本実施の形態の測距装置の構成を図示する。図９の１から５、及び７は実施の形態１と同じため説明を省略する。
【００６９】
撮像装置選択部２６の処理を詳細に説明する。撮像装置選択部２６は、照度センサ２７により周辺の明るさに関する情報が入力される。そして、照度センサから入力される照度の閾値を設け、照度が閾値より小さい場合は対象物から測距装置に受光される可視光の光量が少ないと見なし、より正確な測距演算が可能と予想される赤外線ステレオカメラ３の異なる２つの赤外線画像を選択し測距演算部７に出力する。周辺の照度が閾値より大きい場合は、対象物から測距装置に受光される可視光の光量が多いと見なし、より正確な測距演算が可能と予想される可視光ステレオカメラ５の異なる２つの可視光画像を選択し測距演算部７に出力する。つまり、照度センサ２７の状態に応じて赤外線ステレオカメラ３か可視光ステレオカメラ５かを選択し、測距演算部７に出力すればよい。
【００７０】
以上のように、本発明の測距用画像選択機能を有する測距装置は、測距装置に受光する赤外線量が可視光線と比較して多いと予想される対象物の場合は赤外線画像を用いて測距演算を行い、赤外線量が可視光線と比較して少ないと予想される対象物の場合は可視光線画像を用いて測距演算を行う。これにより、対象物の赤外線反射率が可視光反射率よりも低い場合や、赤外線よりも可視光の光量が多い場合などは、赤外線画像のみの場合よりＺ軸方向の距離を正確に算出することができる。
【００７１】
なお、例えば自動車の周辺監視などの場合には、図１０に示すように複数の赤外線ステレオカメラ３及び可視光ステレオカメラ５が設置される場合があるが、この場合も赤外線ステレオカメラ３と可視光ステレオカメラ５の選択方法として実施の形態１から４の方式を適用できることは言うまでもない。
【００７２】
なお、オプティカルフローを用いる場合は１つのカメラで２つのカメラ（ステレオカメラ）の役割を果たすことができるため、図１１に示すように、赤外線レンズ２が１つの赤外線ステレオカメラ３及び可視光レンズ４が１つの可視光ステレオカメラ５が設置される場合があるが、この場合も赤外線ステレオカメラ３と可視光ステレオカメラ５の選択方法として実施の形態１から４の方式を適用できることは言うまでもない。
【産業上の利用可能性】
【００７３】
本発明の測距装置は、車載、監視、ロボット、ゲーム、ＣＧ画像作成用途などに用いられる、複数の異なる視点の画像から対象物の距離もしくは形状を推定する測距装置として有用である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施の形態１に係る測距装置の構成図
【図２】本発明の実施の形態１に係る測距装置の測距原理の説明図
【図３】本発明の実施の形態１に係る測距装置の測距方法の説明図
【図４】本発明の実施の形態１に係る測距装置の測距方法の説明図
【図５】本発明の実施の形態１に係る測距装置の測距原理の説明図
【図６】本発明の実施の形態２に係る測距装置の構成図
【図７】本発明の実施の形態２に係る測距装置のブロック分割方法の説明図
【図８】本発明の実施の形態３に係る測距装置の構成図
【図９】本発明の実施の形態４に係る測距装置の構成図
【図１０】本発明の実施の形態に係る測距装置のその他の構成図
【図１１】本発明の実施の形態に係る測距装置のその他の構成図
【図１２】従来例の説明図
【符号の説明】
【００７５】
１ 赤外線放射部
２ 赤外線レンズ
３ 赤外線ステレオカメラ
４ 可視光レンズ
５ 可視光ステレオカメラ
６ 撮像装置選択部
７ 測距演算部
８ 対象物上の点
９ 赤外線透過フィルタ
１０ 撮像素子
１１ 光軸
１２ 主光線
１３ 赤外線画像
１４ 対象物上の点が撮像素子に写像された位置
１５ 対象物が無限遠にあるときに撮像素子上に写像される位置
１６ ブロック
１７ 相関が高いときのブロック位置
１８ 可視光線透過フィルタ
１９ 撮像素子
２０ 光軸
２１ 主光線
２２ 測距演算部
２３ 撮像装置選択部
２４ 撮像装置選択部
２５ 照明スイッチ
２６ 撮像装置選択部
２７ 照度センサ
【特許請求の範囲】
【請求項１】
赤外線を入射して異なる視点の２つの赤外線画像を出力する赤外線撮像手段と、
可視光を入射して異なる視点の２つの可視光画像を出力する可視光撮像手段と、
前記赤外線撮像手段から出力される２つの赤外線画像、もしくは前記可視光撮像手段から出力される２つの可視光画像に基づき、前記赤外線撮像手段もしくは前記可視光撮像手段から対象物までの距離である対象物距離を算出する距離算出手段と、
前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択する測距用画像選択手段と、を有することを特徴とする測距装置。
【請求項２】
前記測距用画像選択手段は、前記２つの赤外線画像のうちの少なくとも１つの赤外線画像の特徴量である赤外線画像特徴量と、前記２つの可視光画像のうちの少なくとも１つの可視光画像の特徴量である可視光画像特徴量との差異に基づき、前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択することを特徴とする請求項１記載の測距装置。
【請求項３】
前記測距用画像選択手段は、前記赤外線画像の各画素の輝度に基づき前記赤外線画像特徴量を算出し、前記可視光画像の各画素の輝度に基づき前記可視光画像特徴量を算出することを特徴とする請求項２記載の測距装置。
【請求項４】
前記測距用画像選択手段は、前記赤外線画像の各画素の輝度の微分値に基づき前記赤外線画像特徴量を算出し、前記可視光画像の各画素の輝度の微分値に基づき前記可視光画像特徴量を算出することを特徴とする請求項２記載の測距装置。
【請求項５】
前記測距用画像選択手段は、前記赤外線画像の各画素の輝度の分散値に基づき前記赤外線画像特徴量を算出し、前記可視光画像の各画素の輝度の分散値に基づき前記可視光画像特徴量を算出することを特徴とする請求項２記載の測距装置。
【請求項６】
前記測距用画像選択手段は、前記２つの赤外線画像のうちの少なくとも１つの赤外線画像に基づく特徴量である赤外線画像特徴量と、前記２つの可視光画像のうちの少なくとも１つの可視光画像に基づく特徴量である可視光画像特徴量との少なくとも一つの特徴量と、所定の閾値との差異に基づき、前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択することを特徴とする請求項１記載の測距装置。
【請求項７】
前記測距用画像選択手段は、前記２つの赤外線画像から前記対象物距離を算出する際の相関演算による一致度評価値である赤外線画像一致度評価値と、前記２つの可視光画像から前記対象物距離を算出する際の相関演算による一致度評価値である可視光画像一致度評価値との差異に基づき、前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択することを特徴とする請求項１記載の測距装置。
【請求項８】
前記測距用画像選択手段は、前記２つの赤外線画像の差分絶対値総和に基づき前記赤外線画像一致度評価値を作成し、前記２つの可視光画像の差分絶対値総和に基づき前記可視光画像一致度評価値を作成することを特徴とする請求項７記載の測距装置。
【請求項９】
前記測距用画像選択手段は、赤外線画像の２乗値総和に基づき前記赤外線画像一致度評価値を作成し、可視光画像の２乗値総和に基づき前記可視光画像一致度評価値を作成することを特徴とする請求項７記載の測距装置。
【請求項１０】
前記測距用画像選択手段は、赤外線画像の相互相関係数に基づき前記赤外線画像一致度評価値を作成し、可視光画像の相互相関係数に基づき前記可視光画像一致度評価値を作成することを特徴とする請求項７記載の測距装置。
【請求項１１】
前記測距用画像選択手段は、対象物を照らす外部の照明機器の状態に関する情報に基づき、前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択することを特徴とする請求項１記載の測距装置。
【請求項１２】
前記測距用画像選択手段は、周辺の明るさに関する情報に基づき、前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択することを特徴とする請求項１記載の測距装置。
【請求項１】
赤外線を入射して異なる視点の２つの赤外線画像を出力する赤外線撮像手段と、
可視光を入射して異なる視点の２つの可視光画像を出力する可視光撮像手段と、
前記赤外線撮像手段から出力される２つの赤外線画像、もしくは前記可視光撮像手段から出力される２つの可視光画像に基づき、前記赤外線撮像手段もしくは前記可視光撮像手段から対象物までの距離である対象物距離を算出する距離算出手段と、
前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択する測距用画像選択手段と、を有することを特徴とする測距装置。
【請求項２】
前記測距用画像選択手段は、前記２つの赤外線画像のうちの少なくとも１つの赤外線画像の特徴量である赤外線画像特徴量と、前記２つの可視光画像のうちの少なくとも１つの可視光画像の特徴量である可視光画像特徴量との差異に基づき、前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択することを特徴とする請求項１記載の測距装置。
【請求項３】
前記測距用画像選択手段は、前記赤外線画像の各画素の輝度に基づき前記赤外線画像特徴量を算出し、前記可視光画像の各画素の輝度に基づき前記可視光画像特徴量を算出することを特徴とする請求項２記載の測距装置。
【請求項４】
前記測距用画像選択手段は、前記赤外線画像の各画素の輝度の微分値に基づき前記赤外線画像特徴量を算出し、前記可視光画像の各画素の輝度の微分値に基づき前記可視光画像特徴量を算出することを特徴とする請求項２記載の測距装置。
【請求項５】
前記測距用画像選択手段は、前記赤外線画像の各画素の輝度の分散値に基づき前記赤外線画像特徴量を算出し、前記可視光画像の各画素の輝度の分散値に基づき前記可視光画像特徴量を算出することを特徴とする請求項２記載の測距装置。
【請求項６】
前記測距用画像選択手段は、前記２つの赤外線画像のうちの少なくとも１つの赤外線画像に基づく特徴量である赤外線画像特徴量と、前記２つの可視光画像のうちの少なくとも１つの可視光画像に基づく特徴量である可視光画像特徴量との少なくとも一つの特徴量と、所定の閾値との差異に基づき、前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択することを特徴とする請求項１記載の測距装置。
【請求項７】
前記測距用画像選択手段は、前記２つの赤外線画像から前記対象物距離を算出する際の相関演算による一致度評価値である赤外線画像一致度評価値と、前記２つの可視光画像から前記対象物距離を算出する際の相関演算による一致度評価値である可視光画像一致度評価値との差異に基づき、前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択することを特徴とする請求項１記載の測距装置。
【請求項８】
前記測距用画像選択手段は、前記２つの赤外線画像の差分絶対値総和に基づき前記赤外線画像一致度評価値を作成し、前記２つの可視光画像の差分絶対値総和に基づき前記可視光画像一致度評価値を作成することを特徴とする請求項７記載の測距装置。
【請求項９】
前記測距用画像選択手段は、赤外線画像の２乗値総和に基づき前記赤外線画像一致度評価値を作成し、可視光画像の２乗値総和に基づき前記可視光画像一致度評価値を作成することを特徴とする請求項７記載の測距装置。
【請求項１０】
前記測距用画像選択手段は、赤外線画像の相互相関係数に基づき前記赤外線画像一致度評価値を作成し、可視光画像の相互相関係数に基づき前記可視光画像一致度評価値を作成することを特徴とする請求項７記載の測距装置。
【請求項１１】
前記測距用画像選択手段は、対象物を照らす外部の照明機器の状態に関する情報に基づき、前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択することを特徴とする請求項１記載の測距装置。
【請求項１２】
前記測距用画像選択手段は、周辺の明るさに関する情報に基づき、前記異なる視点の２つの赤外線画像に基づき前記対象物距離を算出するか、前記異なる視点の２つの可視光線画像に基づき前記対象物距離を算出するかを選択することを特徴とする請求項１記載の測距装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１７４８５４（Ｐ２００９−１７４８５４Ａ）
【公開日】平成２１年８月６日（２００９．８．６）
【国際特許分類】
【出願番号】特願２００６−１２９９９２（Ｐ２００６−１２９９９２）
【出願日】平成１８年５月９日（２００６．５．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年８月６日（２００９．８．６）
【国際特許分類】
【出願日】平成１８年５月９日（２００６．５．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]