距離推定装置
【課題】従来よりも簡単な構成で距離の推定を可能にする距離推定装置の提供である。
【解決手段】対象物までの距離を推定する距離推定装置の一観点によれば、鏡と、対象物の実像および対象物の実像が映る領域以外の領域に鏡に映る対象物の鏡像を受光するレンズ部とレンズ部が受光した光を画像情報に変換する撮像素子とを有するカメラと、撮像素子が撮像した画像内の対象物の実像と鏡像の位置に基づき対象物までの距離を推定する電子制御ユニットとを有する。
【解決手段】対象物までの距離を推定する距離推定装置の一観点によれば、鏡と、対象物の実像および対象物の実像が映る領域以外の領域に鏡に映る対象物の鏡像を受光するレンズ部とレンズ部が受光した光を画像情報に変換する撮像素子とを有するカメラと、撮像素子が撮像した画像内の対象物の実像と鏡像の位置に基づき対象物までの距離を推定する電子制御ユニットとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
以下に開示する技術は画像内に映る対象物までの距離を推定する距離推定装置に関する。
【背景技術】
【０００２】
撮像した画像情報に基づき対象物までの距離を推定可能な距離推定装置は、カメラが取得した画像内に映る対象物を検出し、カメラと対象物間の距離を推定する。画像情報により対象物までの距離を推定する装置は、例えば、車両の運転者の視覚支援を目的とする車載カメラモニタ装置に適用される。車載カメラモニタ装置がバックモニタである場合、運転者はモニタに出力される車載カメラモニタ装置の画像を見ることで、通常では見ることができない車両の周辺の障害物等の状況を知ることができる。
【０００３】
撮像した画像によって被写体までの距離を推定する技術として、例えば、複数枚の鏡を使用し鏡像領域どうしで測距を行う技術がある。この技術は複数枚の鏡を設けるため、仮想カメラ視点間の位置と姿勢をキャリブレーションが複雑になる。他の技術として、例えば、撮像素子に対して左右に鏡、中央に広角レンズを設けてひとつの撮像領域を３分割し、鏡像領域どうしで測距を行う技術がある。この技術は鏡像領域どうしでの測距を行うため、複数枚の鏡を設けることでコスト増になり、キャリブレーションが複雑になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３４７５１７号公報
【特許文献２】特開２００４−２８９３０５号公報
【特許文献３】特開平１０−９８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の課題は従来よりも簡単な構成で距離の推定を可能にする距離推定装置の提供である。
【課題を解決するための手段】
【０００６】
対象物までの距離を推定する距離推定装置の一観点によれば、鏡と、対象物の実像および対象物の実像が映る領域以外の領域に鏡に映る対象物の鏡像を受光するレンズ部とレンズ部が受光した光を画像情報に変換する撮像素子とを有するカメラと、撮像素子が撮像した画像内の対象物の実像と鏡像の位置に基づき対象物までの距離を推定する電子制御ユニットとを有する。
【発明の効果】
【０００７】
本距離推定装置は実像と鏡像とを同一のレンズを介して同一の撮像素子で結像させ実像と鏡像のカメラ中心からの角度の差によって対象物までの距離を推定するようにしたため、従来よりも簡単に構成で距離を推定することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本実施例の距離推定装置である。
【図２】カメラ装置と鏡の位置と撮像領域の説明図である。
【図３】ＥＣＵの内部構成の例である。
【図４】カメラ装置と鏡間の対応関係の算出方法の説明図である。
【図５】距離を計算する処理のフローチャートである。
【図６】原画像の例である。
【図７】回転補正後の状態を示す図である。
【図８】法線ベクトルｎとカメラ座標系を平行化させるための回転変換後の魚眼画像である。
【図９】回転変換後の魚眼画像を円柱展開変換した円柱画像である。
【図１０】円柱画像の縦方向の関係を説明する図である。
【図１１】距離の算出の方法を説明する図である。
【図１２】モニタに出力する画面の例である。
【発明を実施するための形態】
【０００９】
本実施例は距離推定装置を車両に装備されたバックモニタに適用し、車両の周辺（特に後方）を監視する場合について説明する。
【００１０】
［実施の概要］
図１は本実施例の距離推定装置５である。車両１は距離推定装置５を搭載する。距離推定装置５は車両１の周辺の障害物等を検出する。障害物は例えば路面２上に存在する。距離推定装置５はカメラ装置１０と鏡２０と電子制御ユニット（ＥＣＵ）３０とモニタ４０とを含む。本実施例のカメラ装置１０は車両１の後端周辺に設置される。
【００１１】
カメラ装置１０は車両１の後方の周辺にある障害物を直接撮像可能な場所に設置される。なお、本実施例のカメラ装置１０は魚眼レンズ部を有する。本実施例の鏡２０は、カメラ装置１０の近傍に設置される。鏡２０はカメラ装置１０に設置しても良いし車両１に設置しても良い。カメラ装置１０と鏡２０とは、カメラ装置１０で直接撮像された被写体とカメラ装置１０で直接撮像された被写体の鏡像とがカメラ装置１０で撮影されるように設置される。カメラ装置１０と鏡２０は、カメラ装置１０の撮像領域内の実像を撮像する光路と鏡像を撮像する光路とがそれぞれカメラ装置１０の同一の魚眼レンズ部を通過して同一の撮像素子上で結像するように配置する。ＥＣＵ３０はカメラ装置１０が出力する撮像画像に対して画像処理を実行する。ＥＣＵ３０は、原画像に映る対象物までの距離を算出する距離算出手段３５、障害物を検出する障害物検出手段３６、モニタ４０に出力するための画像を生成する画像生成手段３７を含む。モニタ４０はＥＣＵ３０が出力した画像を表示する。なお、モニタ４０は、ＥＣＵ３０が検出した障害物情報および障害物までの距離情報を、画像情報ではなく例えば音声情報によって、出力することも可能である。
【００１２】
［カメラ装置と鏡］
次にカメラ装置１０の撮像について説明する。図２はカメラ装置１０と鏡２０の位置と撮像領域の説明図である。カメラ装置１０は、例えば、車両１の後端近傍に設置される。カメラ装置１０は、魚眼レンズ部１１と撮像素子１２を有する。魚眼レンズ部１１は、例えば、複数の光学レンズの組み合わせによって構成され、１８０度近くの画角を有する。撮像素子１２は、魚眼レンズ部１１から得られる光を画像情報に変換する。撮像素子１２の撮像領域は、路面２にある対象物３を、魚眼レンズ部１１を介して撮像する実像領域１２１と、路面２にある対象物３の鏡２０に反射した鏡像を、魚眼レンズ部１１を介して撮像する鏡像領域１２２とに分けられる。
【００１３】
カメラ装置１０は、例えば、車両のすぐ後ろに存在する対象物について距離を算出可能とするため、実像領域１２１の下端が車両１の後端の真下付近の路面２が撮像可能なように俯角を付けて設置されるのが好ましい。これは、撮像素子１２が矩形であるのに対し、魚眼レンズ部１１が円形であるためである。本実施例では、撮像素子１２の画素を有効に使用するため、撮像素子１２は魚眼レンズ部１１が取得可能な画角の一部の領域を撮像する。したがって、魚眼レンズが１８０度の画角を有する場合であっても、撮像素子１２が撮像する領域は１８０度全てにはならない。例えば、撮像素子１２の上下方向に１３０度の画角を取得する場合、カメラ装置１０は水平から２５度下向きの俯角を付けて設置される。カメラ装置１０は、実像領域１２１が車両１の周辺の対象物を撮像できるように設置される。
【００１４】
カメラ装置１０に魚眼レンズ部１１を適用することにより、水平方向に広い画角で車両１の周辺を撮像することが可能になる。このため、少ないカメラ装置で車両１の周辺を監視することが可能になる。なお、カメラ装置１０の光学レンズは魚眼レンズ以外の通常のレンズや広角レンズを適用することも可能である。一方、魚眼レンズ部１１は、横方向だけでなく縦方向にも広い画角を有する。したがい、安全目的で車両の後方を確認するための画像としては本来取得する必要がない空が、撮像領域に映る。この取得不要な空の領域に鏡２０によって実像領域の鏡像を映す。この結果、実像領域１２１と鏡像領域１２２に映る対象物までの距離を三角測量等の技術によって演算することができる。
【００１５】
本実施例の鏡２０は平面鏡であるものとする。鏡２０は、例えば、カメラ装置１０の近傍に設置される。鏡２０は地面に対向する向きでカメラ装置１０の上方に設置される。また、通常、カメラ装置１０の上方部分に太陽光の入射を防ぐための日よけが設置されるが、鏡２０によって日よけを実現する効果がある。鏡２０は、実像領域１２１の内の対象物までの距離を測定すべき領域が鏡２０に反射した鏡像として鏡像領域１２２で撮像されるように設置される。鏡２０はカメラ装置１０の撮像素子１２のおおよそ上半分が鏡像領域１２２になるように配置される。カメラ装置１０と鏡２０は鏡像領域１２２の上端に実像領域１２１の下端、すなわち車両１の後端の真下付近の路面２が撮像されるように配置される。鏡２０はカメラ装置１０の光軸と所定の角度を成して、路面２と所定の角度を成して対面するように設置される。
【００１６】
鏡２０の面積は、車両の形状に制限あるため、車両によって変わる。距離の計算が可能な範囲（測距範囲Ｄ）は、カメラ装置１０と鏡２０の距離、鏡の大きさ、鏡面の法線方向とカメラ中心軸方向の角度差等に依存する。よって、距離の測定可能な撮像素子１２の撮像領域を最大にする場合、撮像素子１２の撮像領域を実像領域１２１と鏡像領域１２２とで２等分するようにカメラ装置１０と鏡２０を配置するのが望ましい。鏡２０は距離を測定すべき対象物の実像の光路と距離を測定すべき対象物の鏡像の光路がそれぞれレンズを通過して該撮像素子上で結像するように配置される。
【００１７】
以上の配置により、カメラ装置１０が受光する実像の光路と鏡像の光路とは、それぞれ同一の魚眼レンズ部１１を通過して、同一の撮像素子１２上の別々の領域に撮影されることが可能になる。距離推定装置５は、距離を算出するために必要な実像と鏡像とをそれぞれ同一の光学レンズを通過させ、同一の撮像素子が受光する構成を有する。このため、後に説明する、画像の回転補正処理、距離の算出処理等を簡単に処理することができる。
【００１８】
以上のカメラ装置１０と鏡２０の構成により、車両１の後方カメラモニタシステムの撮像素子１２の約下半分の領域は、路面が魚眼レンズ部１１を介して直接に映る領域にすることができる。この結果、撮像素子１２の約下半分の実像領域１２１の画像の品質を確保することができ、撮像素子１２の横方向の解像度低下は起こらない。また、カメラ装置１０と鏡２０の構成は、通常は無駄に空が映る撮像素子１２の約上半分の領域を、距離測定用の鏡像領域１２２として使用することができる。
【００１９】
カメラ装置１０の車両１の水平方向に対しては、例えば中央に設置する。車両１の高さ方向に対しては、例えば車両の最後端近傍の位置に設置する。
【００２０】
カメラ装置１０が撮像した画像はＥＣＵ３０に送られる。
【００２１】
［ＥＣＵ］
次にＥＣＵ３０について説明する。図３はＥＣＵ３０の内部構成の例である。ＥＣＵ３０はカメラ装置１０からの画像を受信するための入力インターフェース３１、ＥＣＵ３０の全体の処理を実行するプロセッサ３３、カメラ装置１０からの原画像、画像処理演算の各種パラメータ、画像処理演算をプロセッサ３３に実行させるためのプログラムなどを記憶するメモリ３２、モニタ４０に画像処理後の画像を出力するための出力インターフェース３４を含む。
【００２２】
プロセッサ３３は例えば、カメラ装置１０と鏡２０の角度の関係をキャリブレーションによって決定する処理、原画像を回転補正する処理、実像と鏡像の予め定められた対応関係に基づき被写体までの距離を計測する処理、測定した距離を画像に合成する処理、距離が合成された画像を、出力インターフェース３４を介してモニタ４０に出力する処理を実行する。
【００２３】
［カメラと鏡の角度の関係の事前算出］
次に、カメラ装置１０から被写体までの距離を計測する際に使用するカメラ装置１０と鏡２０の間の対応関係を求める。この対応関係は、例えば、装置のキャリブレーションとして予め行う。本実施例では対応関係として、鏡２０の法線ベクトルｎ、カメラ座標系のＹ軸に対する角度θを算出する。距離推定装置５は、カメラ装置１０が撮像した被写体の実像と鏡像の位置ずれに基づき、カメラ装置１０から被写体までの距離を推定する。
【００２４】
図４はカメラ装置１０と鏡２０間の対応関係の算出方法の説明図である。本実施例のカメラ装置１０と鏡２０間の対応関係は３次元で考慮しているが、図４では、説明を簡単にするため２次元で表現する。図４において、ｎは鏡２０の法線ベクトルである。法線ベクトルｎは任意の３次元ベクトルである。本実施例の鏡２０は平面鏡であるため法線ベクトルｎは一つである。Ｃ１はカメラを示す。ＹはカメラＣ１の座標系のＹ軸である。ＺはカメラＣ１の座標系のＺ軸である。Ｚ軸はカメラＣ１の光軸である。２１は鏡２０の鏡面である。点Ｘは実世界上の点を示す。Ｃ２は仮想カメラであり、鏡面２１を対称面とする場合に、Ｃ１について面対象に位置する。ＴはカメラＣ１から点Ｘまでの距離を算出する際に測量する際に使用するベースラインである。ベースラインベクトルＴは法線ベクトルｎの任意の数ｄ倍の大きさで示される。ｘは点Ｘへの光線ベクトル（直接光ベクトル）である。画像上の対応点はｐｘｉ（ｉは整数）とする。ａは点Ｘの鏡像をカメラＣ１が取得するときの入射光ベクトルを示す。画像上の対応点はｐａｉ（ｉは整数）とする。ｂは入射光ベクトルａが鏡面に反射したときの反射光ベクトルを示す。θは法線ベクトルｎとＹ軸の単位ベクトルのなす角である。
【００２５】
まず、カメラ座標系における平面鏡の法線ベクトルnを算出する手順を説明する。まず、映像上の実像領域１２１および鏡像領域１２２の既知の複数の対応点ｐｘｉ、ｐａｉから、カメラのレンズ歪係数に基づいて、対応する直接光ベクトルｘｉ、入射光ベクトルａｉを算出する。入射光ベクトルａｉと直接光ベクトルｘｉと法線ベクトルnとは同一平面にあることから、「ｘ・（ｎ×ａ）＝０」の関係式を満たす。なお、の関係式中「・」は内積を示し、「×」は外積を示す。（数１）の関係式を満たす法線ベクトルｎを算出する。
【００２６】
また、入射光ベクトルａの代わりに反射光ベクトルｂで法線ベクトルｎを求めることも可能である。反射光ベクトルｂは「ｂ＝ａ−２（ａ・ｎ）ｎ」の関係式により求まる。
【００２７】
上記の関係式で構成される連立方程式は、例えば、行列に対する行列分解の一手法である固有値分解（ｓｖｄ）等の手法を用いて、nについて解くことができる。このとき本実施例の手法では、３組の対応点を得ることで法線ベクトルｎを算出することができる。
【００２８】
次に、角度θを算出する。角度θは、法線ベクトルｎとカメラ座標系のＹ軸方向の単位ベクトル（ｉ＝（０，１，０））のなす角（スカラー）である。角度θはスカラーであり余弦定理で算出することができる。角度θが得られると、法線ベクトルｎとＹ軸方向の単位ベクトルiの外積で求まるベクトル（法線ベクトルｎとＹ軸方向の単位ベクトルiのなす面に垂直なベクトル）の周りにθだけ回転させるため、３次元の回転行列を算出する。回転行列は例えば、ある軸の周りに角度θだけ回転させるための回転行列を得るための「ロドリゲスの回転公式」から求めることができる。
【００２９】
本実施例の手法では、ベクトルと角度を用いて対象物までの距離を計算する。ベクトルを用いる演算で事前に必要な要素は鏡の法線ベクトルである。鏡の法線ベクトルｎは３点の観測で求めることができる。したがって、従来の座標に基づいて演算する方式よりも、キャリブレーションが簡単になる。なお、法線ベクトルnとカメラ座標系のY軸との成す角度θを、標準的な代数幾何の知識を用いて算出しておくことも可能である。
【００３０】
［対象物までの距離算出処理］
次に、随時撮影される画像に対する距離計算処理について説明する。図５は距離を計算する処理のフローチャートである。
【００３１】
ＥＣＵ３０は距離算出手段３５として機能し、カメラ装置１０から入力画像を受信し（Ｓ０１）、角度を補正し（Ｓ０２）、円柱展開し（Ｓ０３）、対応点を検出し（Ｓ０４）、対象物までの距離を算出し（Ｓ０５）、算出結果を合成して、出力画像としてモニタに出力する（Ｓ０６）。以下、各処理を順に説明する。
【００３２】
ＥＣＵ３０は撮像素子１２によって得られた原画像を受信する（Ｓ０１）。図６は原画像の例である。本実施例の原画像は魚眼画像である。原画像は実像領域１２１と鏡像領域１２２とを含む。図６において、白の破線で囲まれた領域が鏡像領域１２２である。鏡像領域１２２以外の領域が実像領域１２１である。破線１２３はカメラ座標系のＸ軸方向で同じ方位になる画素を結ぶ線である。なお、実像領域１２１と鏡像領域１２２とを分ける破線、および破線１２３は説明のために追加したものであり、実際の原画像には映っていない。
【００３３】
次に、ＥＣＵ３０は事前に算出した角度θに基づき、カメラ座標系において、角度（-θ）だけ原画像を回転させる（Ｓ０２）。この処理によりカメラ座標系のＹ軸と法線ベクトルｎは平行になる。図７は回転補正後の状態を示す図である。ベースラインベクトルＴとカメラ座標系Ｃ１のＹ軸とが重なる。したがい、法線ベクトルｎとＹ軸の単位ベクトルとは平行の関係になる。図８は法線ベクトルｎとカメラ座標系を平行化させるための回転変換後の魚眼画像である。
【００３４】
次に、ＥＣＵ３０はＳ０２で回転補正した魚眼画像を円柱展開する（Ｓ０３）。魚眼レンズで撮像した画像は、半球面に映る画像を平面に投影した画像である。したがい、画像の水平位置の中央を通る縦方向の直線を除き、実体が縦方向の直線であっても、魚眼レンズで撮像した画像では縦方向の曲線になる。本実施例の円柱展開は、魚眼レンズで撮像した画像の縦方向の直線が実体の縦方向の直線になるように補正する処理を指す。円柱展開により魚眼画像の縦方向の実体の直線を直線として再現することができる。以下、円柱展開された画像を円柱画像とする。円柱展開することで、鏡像領域の対象点と実像領域の対象点は円柱画像内で同一のx座標(方位に相当)上に存在することになる。この結果、ＥＣＵ３０の対応点探索の処理の効率が向上する。なお、回転補正した魚眼画像から対応点を直接求めることも可能である。円柱展開処理を行った後に魚眼画像上での対応点検索処理を行うため、対応点検索処理が容易になる。図９は回転変換後の魚眼画像を円柱展開変換した円柱画像である。円柱展開することにより線１２３は同一のｘ座標になる。
【００３５】
次に、ＥＣＵ３０は円柱画像内の各画素について実像と鏡像の対応点を検索する（Ｓ０４）。ＥＣＵ３０は例えば、差分絶対値和や正規化相関等を用いたブロックマッチングを適用する対応点を検索する。
【００３６】
次に、ＥＣＵ３０はカメラ装置１０から対応点までの距離を算出する（Ｓ０５）。円柱画像上の座標は、各ピクセルを通したカメラの中心からの光線の方位角と仰角に相当する。したがって、ＥＣＵ３０はピクセル座標値を適切に方位角および仰角に変換することができる。
【００３７】
図１０は円柱画像の縦方向の関係を説明する図である。Ｙは円柱画像のＹ軸を示す。ｐｘ１は円柱画像の鏡像領域１２２２に映る対象点ｘを示す。ｐｘ２は円柱画像の実像領域１２１１に映る対象点ｘを示す。Ｙ軸上の「０」は、カメラの光軸を中心とした場合の俯角が０度（水平）の位置を示す。θ１はｐｘ１の画素のＹ座標値に対応するカメラの光軸からの俯角である。θ２はｐｘ２の画素のＹ座標値に対応するカメラの光軸からの俯角である。
【００３８】
図１１は距離の算出の方法を説明する図である。ｘは距離の測定対象となる点である。図１１において図１０と同一の符号は図１０に対応する。ｄ１はカメラＣ１から点ｘまでの距離である。ｄ２は仮想カメラＣ２から点ｘまでの距離である。αは、点ｘとＣ１とＣ２を頂点とする三角形の点Ｃ１の内角を示す。βは、点ｘとＣ１とＣ２を頂点とする三角形の点Ｃ２の内角を示す。ＥＣＵ３０は、三角測量の原理を用い、具体的には（数１）の関係式によってカメラＣ１の中心から対象点ｘまでの距離を算出する。数１のＴはスケール係数である。カメラＣ１と仮想カメラＣ２間の距離について実際のスケールでの距離に換算した値を予めキャリブレーション等で求めておく。
【００３９】
【数１】
【００４０】
以上の処理によって、ＥＣＵ３０はカメラから対象物までの距離を算出する。
【００４１】
［障害物検知］
次に、ＥＣＵ３０による障害物の検出処理を説明する。ＥＣＵ３０は障害物検出手段３６として機能し、距離算出処理で算出した距離情報と、既存の距離情報を応用する障害物検知手段により、障害物を検知する。ＥＣＵ３０は、例えば、予め取得したカメラ装置１０の設置高、俯角と、路面平面に基づき、距離情報から路面平面上の対応点を削除する。ＥＣＵ３０は、削除されずに残った対応点を障害物として検知する。
【００４２】
［画像に重ねて表示］
次に、ＥＣＵ３０による映像の合成処理について説明する。ここでの映像は、円柱画像でも良いし、回転補正後の魚眼画像でも良い。ＥＣＵ３０は画像生成手段３７として機能し、検知された障害物情報に基づいて注意情報を作成する。注意情報は例えば、障害物までの距離の数値情報であり、障害物までの距離が所定の距離よりも近くなっていることを警告する情報である。ＥＣＵ３０は円柱画像の実像領域１２１１でモニタに表示すべき領域を切出す。ＥＣＵ３０は切り出した領域に、作成した注意情報を重畳させて、モニタ表示用映像を生成する。ＥＣＵ３０は生成したモニタ表示用映像をモニタ４０に出力する（Ｓ０６）。図１２はモニタ４０に出力する画面の例である。１２１１１は実像領域である。１２１１２は画像内で障害物として検出された領域である。１２１１３は障害物までの矢印および障害物までの距離である。
【００４３】
以上により、距離推定装置５は、一台のカメラ装置と一枚の鏡で車両の周辺を横方向に広い画角で監視し、周辺にある障害物を検出し、障害物までの距離を算出して、モニタに表示することができる。また、鏡が一枚であるため、複数枚の鏡を組み合わせる方式に比べてキャリブレーションが容易である。
【００４４】
別の例として、鏡２０を平面鏡ではなく曲面鏡を用いることも可能である。ただし、曲面鏡の場合、鏡の法線ベクトルは鏡の位置によって異なる。従って、事前に撮像素子内の位置に応じた曲面鏡の法線ベクトルを算出する必要がある。測距処理時は撮像領域の座標によって、法線ベクトルを決定して、対象物までの距離を算出する。
【００４５】
本発明は一枚の鏡を使用する。したがい、車両１に既設されている後方確認用補助ミラーや、サイドミラーを使用することも可能である。後方確認用補助ミラーや、サイドミラーを使用する場合、さらなる低コスト化が可能である。この場合、例えば、距離測定時の鏡の角度を予め決定し、メモリ３２等に記憶しておく。通常運転時は運転者が任意にミラーの角度を決めて運転する。距離測定時、ＥＣＵ３０は予め決定された角度になるように鏡の向きを変更する等によってカメラ装置と鏡の角度を合わせることが可能である。
【００４６】
以上で説明した距離推定装置５は車両１周辺の監視に優れている。横方向に広角に撮像することが可能であり、縦方向（天地方向）の無駄な領域を鏡像にすることで測距を可能にしたことにより、近傍が見えやすい。
【符号の説明】
【００４７】
１ 車両
２ 路面
３ 対象物
５ 距離推定装置
１０ カメラ装置
１１ 魚眼レンズ部
１２ 撮像素子
１２１ 実像領域
１２２ 鏡像領域
２０ 鏡
３０ ＥＣＵ
３１ 入力インターフェース
３２ メモリ
３３ プロセッサ
３４ 出力インターフェース
４０ モニタ
【技術分野】
【０００１】
以下に開示する技術は画像内に映る対象物までの距離を推定する距離推定装置に関する。
【背景技術】
【０００２】
撮像した画像情報に基づき対象物までの距離を推定可能な距離推定装置は、カメラが取得した画像内に映る対象物を検出し、カメラと対象物間の距離を推定する。画像情報により対象物までの距離を推定する装置は、例えば、車両の運転者の視覚支援を目的とする車載カメラモニタ装置に適用される。車載カメラモニタ装置がバックモニタである場合、運転者はモニタに出力される車載カメラモニタ装置の画像を見ることで、通常では見ることができない車両の周辺の障害物等の状況を知ることができる。
【０００３】
撮像した画像によって被写体までの距離を推定する技術として、例えば、複数枚の鏡を使用し鏡像領域どうしで測距を行う技術がある。この技術は複数枚の鏡を設けるため、仮想カメラ視点間の位置と姿勢をキャリブレーションが複雑になる。他の技術として、例えば、撮像素子に対して左右に鏡、中央に広角レンズを設けてひとつの撮像領域を３分割し、鏡像領域どうしで測距を行う技術がある。この技術は鏡像領域どうしでの測距を行うため、複数枚の鏡を設けることでコスト増になり、キャリブレーションが複雑になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３４７５１７号公報
【特許文献２】特開２００４−２８９３０５号公報
【特許文献３】特開平１０−９８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の課題は従来よりも簡単な構成で距離の推定を可能にする距離推定装置の提供である。
【課題を解決するための手段】
【０００６】
対象物までの距離を推定する距離推定装置の一観点によれば、鏡と、対象物の実像および対象物の実像が映る領域以外の領域に鏡に映る対象物の鏡像を受光するレンズ部とレンズ部が受光した光を画像情報に変換する撮像素子とを有するカメラと、撮像素子が撮像した画像内の対象物の実像と鏡像の位置に基づき対象物までの距離を推定する電子制御ユニットとを有する。
【発明の効果】
【０００７】
本距離推定装置は実像と鏡像とを同一のレンズを介して同一の撮像素子で結像させ実像と鏡像のカメラ中心からの角度の差によって対象物までの距離を推定するようにしたため、従来よりも簡単に構成で距離を推定することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本実施例の距離推定装置である。
【図２】カメラ装置と鏡の位置と撮像領域の説明図である。
【図３】ＥＣＵの内部構成の例である。
【図４】カメラ装置と鏡間の対応関係の算出方法の説明図である。
【図５】距離を計算する処理のフローチャートである。
【図６】原画像の例である。
【図７】回転補正後の状態を示す図である。
【図８】法線ベクトルｎとカメラ座標系を平行化させるための回転変換後の魚眼画像である。
【図９】回転変換後の魚眼画像を円柱展開変換した円柱画像である。
【図１０】円柱画像の縦方向の関係を説明する図である。
【図１１】距離の算出の方法を説明する図である。
【図１２】モニタに出力する画面の例である。
【発明を実施するための形態】
【０００９】
本実施例は距離推定装置を車両に装備されたバックモニタに適用し、車両の周辺（特に後方）を監視する場合について説明する。
【００１０】
［実施の概要］
図１は本実施例の距離推定装置５である。車両１は距離推定装置５を搭載する。距離推定装置５は車両１の周辺の障害物等を検出する。障害物は例えば路面２上に存在する。距離推定装置５はカメラ装置１０と鏡２０と電子制御ユニット（ＥＣＵ）３０とモニタ４０とを含む。本実施例のカメラ装置１０は車両１の後端周辺に設置される。
【００１１】
カメラ装置１０は車両１の後方の周辺にある障害物を直接撮像可能な場所に設置される。なお、本実施例のカメラ装置１０は魚眼レンズ部を有する。本実施例の鏡２０は、カメラ装置１０の近傍に設置される。鏡２０はカメラ装置１０に設置しても良いし車両１に設置しても良い。カメラ装置１０と鏡２０とは、カメラ装置１０で直接撮像された被写体とカメラ装置１０で直接撮像された被写体の鏡像とがカメラ装置１０で撮影されるように設置される。カメラ装置１０と鏡２０は、カメラ装置１０の撮像領域内の実像を撮像する光路と鏡像を撮像する光路とがそれぞれカメラ装置１０の同一の魚眼レンズ部を通過して同一の撮像素子上で結像するように配置する。ＥＣＵ３０はカメラ装置１０が出力する撮像画像に対して画像処理を実行する。ＥＣＵ３０は、原画像に映る対象物までの距離を算出する距離算出手段３５、障害物を検出する障害物検出手段３６、モニタ４０に出力するための画像を生成する画像生成手段３７を含む。モニタ４０はＥＣＵ３０が出力した画像を表示する。なお、モニタ４０は、ＥＣＵ３０が検出した障害物情報および障害物までの距離情報を、画像情報ではなく例えば音声情報によって、出力することも可能である。
【００１２】
［カメラ装置と鏡］
次にカメラ装置１０の撮像について説明する。図２はカメラ装置１０と鏡２０の位置と撮像領域の説明図である。カメラ装置１０は、例えば、車両１の後端近傍に設置される。カメラ装置１０は、魚眼レンズ部１１と撮像素子１２を有する。魚眼レンズ部１１は、例えば、複数の光学レンズの組み合わせによって構成され、１８０度近くの画角を有する。撮像素子１２は、魚眼レンズ部１１から得られる光を画像情報に変換する。撮像素子１２の撮像領域は、路面２にある対象物３を、魚眼レンズ部１１を介して撮像する実像領域１２１と、路面２にある対象物３の鏡２０に反射した鏡像を、魚眼レンズ部１１を介して撮像する鏡像領域１２２とに分けられる。
【００１３】
カメラ装置１０は、例えば、車両のすぐ後ろに存在する対象物について距離を算出可能とするため、実像領域１２１の下端が車両１の後端の真下付近の路面２が撮像可能なように俯角を付けて設置されるのが好ましい。これは、撮像素子１２が矩形であるのに対し、魚眼レンズ部１１が円形であるためである。本実施例では、撮像素子１２の画素を有効に使用するため、撮像素子１２は魚眼レンズ部１１が取得可能な画角の一部の領域を撮像する。したがって、魚眼レンズが１８０度の画角を有する場合であっても、撮像素子１２が撮像する領域は１８０度全てにはならない。例えば、撮像素子１２の上下方向に１３０度の画角を取得する場合、カメラ装置１０は水平から２５度下向きの俯角を付けて設置される。カメラ装置１０は、実像領域１２１が車両１の周辺の対象物を撮像できるように設置される。
【００１４】
カメラ装置１０に魚眼レンズ部１１を適用することにより、水平方向に広い画角で車両１の周辺を撮像することが可能になる。このため、少ないカメラ装置で車両１の周辺を監視することが可能になる。なお、カメラ装置１０の光学レンズは魚眼レンズ以外の通常のレンズや広角レンズを適用することも可能である。一方、魚眼レンズ部１１は、横方向だけでなく縦方向にも広い画角を有する。したがい、安全目的で車両の後方を確認するための画像としては本来取得する必要がない空が、撮像領域に映る。この取得不要な空の領域に鏡２０によって実像領域の鏡像を映す。この結果、実像領域１２１と鏡像領域１２２に映る対象物までの距離を三角測量等の技術によって演算することができる。
【００１５】
本実施例の鏡２０は平面鏡であるものとする。鏡２０は、例えば、カメラ装置１０の近傍に設置される。鏡２０は地面に対向する向きでカメラ装置１０の上方に設置される。また、通常、カメラ装置１０の上方部分に太陽光の入射を防ぐための日よけが設置されるが、鏡２０によって日よけを実現する効果がある。鏡２０は、実像領域１２１の内の対象物までの距離を測定すべき領域が鏡２０に反射した鏡像として鏡像領域１２２で撮像されるように設置される。鏡２０はカメラ装置１０の撮像素子１２のおおよそ上半分が鏡像領域１２２になるように配置される。カメラ装置１０と鏡２０は鏡像領域１２２の上端に実像領域１２１の下端、すなわち車両１の後端の真下付近の路面２が撮像されるように配置される。鏡２０はカメラ装置１０の光軸と所定の角度を成して、路面２と所定の角度を成して対面するように設置される。
【００１６】
鏡２０の面積は、車両の形状に制限あるため、車両によって変わる。距離の計算が可能な範囲（測距範囲Ｄ）は、カメラ装置１０と鏡２０の距離、鏡の大きさ、鏡面の法線方向とカメラ中心軸方向の角度差等に依存する。よって、距離の測定可能な撮像素子１２の撮像領域を最大にする場合、撮像素子１２の撮像領域を実像領域１２１と鏡像領域１２２とで２等分するようにカメラ装置１０と鏡２０を配置するのが望ましい。鏡２０は距離を測定すべき対象物の実像の光路と距離を測定すべき対象物の鏡像の光路がそれぞれレンズを通過して該撮像素子上で結像するように配置される。
【００１７】
以上の配置により、カメラ装置１０が受光する実像の光路と鏡像の光路とは、それぞれ同一の魚眼レンズ部１１を通過して、同一の撮像素子１２上の別々の領域に撮影されることが可能になる。距離推定装置５は、距離を算出するために必要な実像と鏡像とをそれぞれ同一の光学レンズを通過させ、同一の撮像素子が受光する構成を有する。このため、後に説明する、画像の回転補正処理、距離の算出処理等を簡単に処理することができる。
【００１８】
以上のカメラ装置１０と鏡２０の構成により、車両１の後方カメラモニタシステムの撮像素子１２の約下半分の領域は、路面が魚眼レンズ部１１を介して直接に映る領域にすることができる。この結果、撮像素子１２の約下半分の実像領域１２１の画像の品質を確保することができ、撮像素子１２の横方向の解像度低下は起こらない。また、カメラ装置１０と鏡２０の構成は、通常は無駄に空が映る撮像素子１２の約上半分の領域を、距離測定用の鏡像領域１２２として使用することができる。
【００１９】
カメラ装置１０の車両１の水平方向に対しては、例えば中央に設置する。車両１の高さ方向に対しては、例えば車両の最後端近傍の位置に設置する。
【００２０】
カメラ装置１０が撮像した画像はＥＣＵ３０に送られる。
【００２１】
［ＥＣＵ］
次にＥＣＵ３０について説明する。図３はＥＣＵ３０の内部構成の例である。ＥＣＵ３０はカメラ装置１０からの画像を受信するための入力インターフェース３１、ＥＣＵ３０の全体の処理を実行するプロセッサ３３、カメラ装置１０からの原画像、画像処理演算の各種パラメータ、画像処理演算をプロセッサ３３に実行させるためのプログラムなどを記憶するメモリ３２、モニタ４０に画像処理後の画像を出力するための出力インターフェース３４を含む。
【００２２】
プロセッサ３３は例えば、カメラ装置１０と鏡２０の角度の関係をキャリブレーションによって決定する処理、原画像を回転補正する処理、実像と鏡像の予め定められた対応関係に基づき被写体までの距離を計測する処理、測定した距離を画像に合成する処理、距離が合成された画像を、出力インターフェース３４を介してモニタ４０に出力する処理を実行する。
【００２３】
［カメラと鏡の角度の関係の事前算出］
次に、カメラ装置１０から被写体までの距離を計測する際に使用するカメラ装置１０と鏡２０の間の対応関係を求める。この対応関係は、例えば、装置のキャリブレーションとして予め行う。本実施例では対応関係として、鏡２０の法線ベクトルｎ、カメラ座標系のＹ軸に対する角度θを算出する。距離推定装置５は、カメラ装置１０が撮像した被写体の実像と鏡像の位置ずれに基づき、カメラ装置１０から被写体までの距離を推定する。
【００２４】
図４はカメラ装置１０と鏡２０間の対応関係の算出方法の説明図である。本実施例のカメラ装置１０と鏡２０間の対応関係は３次元で考慮しているが、図４では、説明を簡単にするため２次元で表現する。図４において、ｎは鏡２０の法線ベクトルである。法線ベクトルｎは任意の３次元ベクトルである。本実施例の鏡２０は平面鏡であるため法線ベクトルｎは一つである。Ｃ１はカメラを示す。ＹはカメラＣ１の座標系のＹ軸である。ＺはカメラＣ１の座標系のＺ軸である。Ｚ軸はカメラＣ１の光軸である。２１は鏡２０の鏡面である。点Ｘは実世界上の点を示す。Ｃ２は仮想カメラであり、鏡面２１を対称面とする場合に、Ｃ１について面対象に位置する。ＴはカメラＣ１から点Ｘまでの距離を算出する際に測量する際に使用するベースラインである。ベースラインベクトルＴは法線ベクトルｎの任意の数ｄ倍の大きさで示される。ｘは点Ｘへの光線ベクトル（直接光ベクトル）である。画像上の対応点はｐｘｉ（ｉは整数）とする。ａは点Ｘの鏡像をカメラＣ１が取得するときの入射光ベクトルを示す。画像上の対応点はｐａｉ（ｉは整数）とする。ｂは入射光ベクトルａが鏡面に反射したときの反射光ベクトルを示す。θは法線ベクトルｎとＹ軸の単位ベクトルのなす角である。
【００２５】
まず、カメラ座標系における平面鏡の法線ベクトルnを算出する手順を説明する。まず、映像上の実像領域１２１および鏡像領域１２２の既知の複数の対応点ｐｘｉ、ｐａｉから、カメラのレンズ歪係数に基づいて、対応する直接光ベクトルｘｉ、入射光ベクトルａｉを算出する。入射光ベクトルａｉと直接光ベクトルｘｉと法線ベクトルnとは同一平面にあることから、「ｘ・（ｎ×ａ）＝０」の関係式を満たす。なお、の関係式中「・」は内積を示し、「×」は外積を示す。（数１）の関係式を満たす法線ベクトルｎを算出する。
【００２６】
また、入射光ベクトルａの代わりに反射光ベクトルｂで法線ベクトルｎを求めることも可能である。反射光ベクトルｂは「ｂ＝ａ−２（ａ・ｎ）ｎ」の関係式により求まる。
【００２７】
上記の関係式で構成される連立方程式は、例えば、行列に対する行列分解の一手法である固有値分解（ｓｖｄ）等の手法を用いて、nについて解くことができる。このとき本実施例の手法では、３組の対応点を得ることで法線ベクトルｎを算出することができる。
【００２８】
次に、角度θを算出する。角度θは、法線ベクトルｎとカメラ座標系のＹ軸方向の単位ベクトル（ｉ＝（０，１，０））のなす角（スカラー）である。角度θはスカラーであり余弦定理で算出することができる。角度θが得られると、法線ベクトルｎとＹ軸方向の単位ベクトルiの外積で求まるベクトル（法線ベクトルｎとＹ軸方向の単位ベクトルiのなす面に垂直なベクトル）の周りにθだけ回転させるため、３次元の回転行列を算出する。回転行列は例えば、ある軸の周りに角度θだけ回転させるための回転行列を得るための「ロドリゲスの回転公式」から求めることができる。
【００２９】
本実施例の手法では、ベクトルと角度を用いて対象物までの距離を計算する。ベクトルを用いる演算で事前に必要な要素は鏡の法線ベクトルである。鏡の法線ベクトルｎは３点の観測で求めることができる。したがって、従来の座標に基づいて演算する方式よりも、キャリブレーションが簡単になる。なお、法線ベクトルnとカメラ座標系のY軸との成す角度θを、標準的な代数幾何の知識を用いて算出しておくことも可能である。
【００３０】
［対象物までの距離算出処理］
次に、随時撮影される画像に対する距離計算処理について説明する。図５は距離を計算する処理のフローチャートである。
【００３１】
ＥＣＵ３０は距離算出手段３５として機能し、カメラ装置１０から入力画像を受信し（Ｓ０１）、角度を補正し（Ｓ０２）、円柱展開し（Ｓ０３）、対応点を検出し（Ｓ０４）、対象物までの距離を算出し（Ｓ０５）、算出結果を合成して、出力画像としてモニタに出力する（Ｓ０６）。以下、各処理を順に説明する。
【００３２】
ＥＣＵ３０は撮像素子１２によって得られた原画像を受信する（Ｓ０１）。図６は原画像の例である。本実施例の原画像は魚眼画像である。原画像は実像領域１２１と鏡像領域１２２とを含む。図６において、白の破線で囲まれた領域が鏡像領域１２２である。鏡像領域１２２以外の領域が実像領域１２１である。破線１２３はカメラ座標系のＸ軸方向で同じ方位になる画素を結ぶ線である。なお、実像領域１２１と鏡像領域１２２とを分ける破線、および破線１２３は説明のために追加したものであり、実際の原画像には映っていない。
【００３３】
次に、ＥＣＵ３０は事前に算出した角度θに基づき、カメラ座標系において、角度（-θ）だけ原画像を回転させる（Ｓ０２）。この処理によりカメラ座標系のＹ軸と法線ベクトルｎは平行になる。図７は回転補正後の状態を示す図である。ベースラインベクトルＴとカメラ座標系Ｃ１のＹ軸とが重なる。したがい、法線ベクトルｎとＹ軸の単位ベクトルとは平行の関係になる。図８は法線ベクトルｎとカメラ座標系を平行化させるための回転変換後の魚眼画像である。
【００３４】
次に、ＥＣＵ３０はＳ０２で回転補正した魚眼画像を円柱展開する（Ｓ０３）。魚眼レンズで撮像した画像は、半球面に映る画像を平面に投影した画像である。したがい、画像の水平位置の中央を通る縦方向の直線を除き、実体が縦方向の直線であっても、魚眼レンズで撮像した画像では縦方向の曲線になる。本実施例の円柱展開は、魚眼レンズで撮像した画像の縦方向の直線が実体の縦方向の直線になるように補正する処理を指す。円柱展開により魚眼画像の縦方向の実体の直線を直線として再現することができる。以下、円柱展開された画像を円柱画像とする。円柱展開することで、鏡像領域の対象点と実像領域の対象点は円柱画像内で同一のx座標(方位に相当)上に存在することになる。この結果、ＥＣＵ３０の対応点探索の処理の効率が向上する。なお、回転補正した魚眼画像から対応点を直接求めることも可能である。円柱展開処理を行った後に魚眼画像上での対応点検索処理を行うため、対応点検索処理が容易になる。図９は回転変換後の魚眼画像を円柱展開変換した円柱画像である。円柱展開することにより線１２３は同一のｘ座標になる。
【００３５】
次に、ＥＣＵ３０は円柱画像内の各画素について実像と鏡像の対応点を検索する（Ｓ０４）。ＥＣＵ３０は例えば、差分絶対値和や正規化相関等を用いたブロックマッチングを適用する対応点を検索する。
【００３６】
次に、ＥＣＵ３０はカメラ装置１０から対応点までの距離を算出する（Ｓ０５）。円柱画像上の座標は、各ピクセルを通したカメラの中心からの光線の方位角と仰角に相当する。したがって、ＥＣＵ３０はピクセル座標値を適切に方位角および仰角に変換することができる。
【００３７】
図１０は円柱画像の縦方向の関係を説明する図である。Ｙは円柱画像のＹ軸を示す。ｐｘ１は円柱画像の鏡像領域１２２２に映る対象点ｘを示す。ｐｘ２は円柱画像の実像領域１２１１に映る対象点ｘを示す。Ｙ軸上の「０」は、カメラの光軸を中心とした場合の俯角が０度（水平）の位置を示す。θ１はｐｘ１の画素のＹ座標値に対応するカメラの光軸からの俯角である。θ２はｐｘ２の画素のＹ座標値に対応するカメラの光軸からの俯角である。
【００３８】
図１１は距離の算出の方法を説明する図である。ｘは距離の測定対象となる点である。図１１において図１０と同一の符号は図１０に対応する。ｄ１はカメラＣ１から点ｘまでの距離である。ｄ２は仮想カメラＣ２から点ｘまでの距離である。αは、点ｘとＣ１とＣ２を頂点とする三角形の点Ｃ１の内角を示す。βは、点ｘとＣ１とＣ２を頂点とする三角形の点Ｃ２の内角を示す。ＥＣＵ３０は、三角測量の原理を用い、具体的には（数１）の関係式によってカメラＣ１の中心から対象点ｘまでの距離を算出する。数１のＴはスケール係数である。カメラＣ１と仮想カメラＣ２間の距離について実際のスケールでの距離に換算した値を予めキャリブレーション等で求めておく。
【００３９】
【数１】
【００４０】
以上の処理によって、ＥＣＵ３０はカメラから対象物までの距離を算出する。
【００４１】
［障害物検知］
次に、ＥＣＵ３０による障害物の検出処理を説明する。ＥＣＵ３０は障害物検出手段３６として機能し、距離算出処理で算出した距離情報と、既存の距離情報を応用する障害物検知手段により、障害物を検知する。ＥＣＵ３０は、例えば、予め取得したカメラ装置１０の設置高、俯角と、路面平面に基づき、距離情報から路面平面上の対応点を削除する。ＥＣＵ３０は、削除されずに残った対応点を障害物として検知する。
【００４２】
［画像に重ねて表示］
次に、ＥＣＵ３０による映像の合成処理について説明する。ここでの映像は、円柱画像でも良いし、回転補正後の魚眼画像でも良い。ＥＣＵ３０は画像生成手段３７として機能し、検知された障害物情報に基づいて注意情報を作成する。注意情報は例えば、障害物までの距離の数値情報であり、障害物までの距離が所定の距離よりも近くなっていることを警告する情報である。ＥＣＵ３０は円柱画像の実像領域１２１１でモニタに表示すべき領域を切出す。ＥＣＵ３０は切り出した領域に、作成した注意情報を重畳させて、モニタ表示用映像を生成する。ＥＣＵ３０は生成したモニタ表示用映像をモニタ４０に出力する（Ｓ０６）。図１２はモニタ４０に出力する画面の例である。１２１１１は実像領域である。１２１１２は画像内で障害物として検出された領域である。１２１１３は障害物までの矢印および障害物までの距離である。
【００４３】
以上により、距離推定装置５は、一台のカメラ装置と一枚の鏡で車両の周辺を横方向に広い画角で監視し、周辺にある障害物を検出し、障害物までの距離を算出して、モニタに表示することができる。また、鏡が一枚であるため、複数枚の鏡を組み合わせる方式に比べてキャリブレーションが容易である。
【００４４】
別の例として、鏡２０を平面鏡ではなく曲面鏡を用いることも可能である。ただし、曲面鏡の場合、鏡の法線ベクトルは鏡の位置によって異なる。従って、事前に撮像素子内の位置に応じた曲面鏡の法線ベクトルを算出する必要がある。測距処理時は撮像領域の座標によって、法線ベクトルを決定して、対象物までの距離を算出する。
【００４５】
本発明は一枚の鏡を使用する。したがい、車両１に既設されている後方確認用補助ミラーや、サイドミラーを使用することも可能である。後方確認用補助ミラーや、サイドミラーを使用する場合、さらなる低コスト化が可能である。この場合、例えば、距離測定時の鏡の角度を予め決定し、メモリ３２等に記憶しておく。通常運転時は運転者が任意にミラーの角度を決めて運転する。距離測定時、ＥＣＵ３０は予め決定された角度になるように鏡の向きを変更する等によってカメラ装置と鏡の角度を合わせることが可能である。
【００４６】
以上で説明した距離推定装置５は車両１周辺の監視に優れている。横方向に広角に撮像することが可能であり、縦方向（天地方向）の無駄な領域を鏡像にすることで測距を可能にしたことにより、近傍が見えやすい。
【符号の説明】
【００４７】
１ 車両
２ 路面
３ 対象物
５ 距離推定装置
１０ カメラ装置
１１ 魚眼レンズ部
１２ 撮像素子
１２１ 実像領域
１２２ 鏡像領域
２０ 鏡
３０ ＥＣＵ
３１ 入力インターフェース
３２ メモリ
３３ プロセッサ
３４ 出力インターフェース
４０ モニタ
【特許請求の範囲】
【請求項１】
対象物までの距離を推定する距離推定装置であって、
鏡と、
該対象物の実像および該対象物の該実像が映る領域以外の領域に該鏡に映る該対象物の該鏡像を受光するレンズ部と該レンズ部が受光した光を画像情報に変換する撮像素子とを有するカメラと、
該撮像素子が撮像した画像内の該対象物の該実像と該鏡像の位置に基づき該対象物までの距離を推定する電子制御ユニットと、
を有することを特徴とする距離推定装置。
【請求項２】
該電子制御ユニットが推定した該対象物までの距離情報を出力するモニタを更に有することを特徴とする請求項１に記載の距離推定装置。
【請求項３】
該電子制御ユニットは更に画像内の路面情報を削除した残りの領域を対象物として検知し、該画像から実像の領域を切出し、検知された画像内の対象物に距離情報を重ねて該モニタが出力する画像を生成することを特徴とする請求項２に記載の距離推定装置。
【請求項４】
該カメラは車両に設置される場合に、該カメラおよび該鏡は該カメラの真下付近の該車両の周辺領域が実像および鏡像として撮影されるような俯角で該車両に設置され、該鏡は該カメラの光軸と所定の角度を成して、路面と対面する側に設置されることを特徴とする請求項１に記載の距離推定装置。
【請求項５】
該撮像素子の撮像領域が該実像の映る実像領域と該鏡像の映る鏡像領域とで２等分されるようにカメラ装置と鏡が配置されたことを特徴とする請求項１に記載の距離推定装置。
【請求項６】
該鏡は平面鏡であることを特徴とする請求項１に記載の距離推定装置。
【請求項７】
該電子制御ユニットは鏡像領域と実像領域の少なくとも３組の対応点から該鏡の鏡面の法線ベクトルを算出することを特徴とする請求項６に記載の距離推定装置。
【請求項８】
該電子制御ユニットは該カメラのカメラ座標系の座標軸のいずれかが該法線ベクトルに平行になるように該画像を補正する回転変換処理と、該画像を円柱展開する円柱展開変換処理とによって得られた画像に基づいて、距離を推定することを特徴とする請求項５に記載の距離推定装置。
【請求項１】
対象物までの距離を推定する距離推定装置であって、
鏡と、
該対象物の実像および該対象物の該実像が映る領域以外の領域に該鏡に映る該対象物の該鏡像を受光するレンズ部と該レンズ部が受光した光を画像情報に変換する撮像素子とを有するカメラと、
該撮像素子が撮像した画像内の該対象物の該実像と該鏡像の位置に基づき該対象物までの距離を推定する電子制御ユニットと、
を有することを特徴とする距離推定装置。
【請求項２】
該電子制御ユニットが推定した該対象物までの距離情報を出力するモニタを更に有することを特徴とする請求項１に記載の距離推定装置。
【請求項３】
該電子制御ユニットは更に画像内の路面情報を削除した残りの領域を対象物として検知し、該画像から実像の領域を切出し、検知された画像内の対象物に距離情報を重ねて該モニタが出力する画像を生成することを特徴とする請求項２に記載の距離推定装置。
【請求項４】
該カメラは車両に設置される場合に、該カメラおよび該鏡は該カメラの真下付近の該車両の周辺領域が実像および鏡像として撮影されるような俯角で該車両に設置され、該鏡は該カメラの光軸と所定の角度を成して、路面と対面する側に設置されることを特徴とする請求項１に記載の距離推定装置。
【請求項５】
該撮像素子の撮像領域が該実像の映る実像領域と該鏡像の映る鏡像領域とで２等分されるようにカメラ装置と鏡が配置されたことを特徴とする請求項１に記載の距離推定装置。
【請求項６】
該鏡は平面鏡であることを特徴とする請求項１に記載の距離推定装置。
【請求項７】
該電子制御ユニットは鏡像領域と実像領域の少なくとも３組の対応点から該鏡の鏡面の法線ベクトルを算出することを特徴とする請求項６に記載の距離推定装置。
【請求項８】
該電子制御ユニットは該カメラのカメラ座標系の座標軸のいずれかが該法線ベクトルに平行になるように該画像を補正する回転変換処理と、該画像を円柱展開する円柱展開変換処理とによって得られた画像に基づいて、距離を推定することを特徴とする請求項５に記載の距離推定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図１０】
【図１１】
【図１２】
【図６】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図７】
【図１０】
【図１１】
【図１２】
【図６】
【図８】
【図９】
【公開番号】特開２０１１−６４５６６（Ｐ２０１１−６４５６６Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１５４２１（Ｐ２００９−２１５４２１）
【出願日】平成２１年９月１７日（２００９．９．１７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１７日（２００９．９．１７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]