距離認識装置
【課題】自車から遠い位置の物体が撮影画像に含まれている場合に、自車から物体までの距離の認識精度の向上を図ることができる技術を提供する。
【解決手段】各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段により算出された自車から物体までの距離Ｚに基づいて自車から物体までの距離が認識手段６ｅにより認識されるため、自車から遠い位置の物体が撮影画像Ｆに含まれているときに、各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出される各距離Ｚが自車と物体との実際の距離とずれるおそれがある場合であっても、それぞれ異なる方法で算出される各距離Ｚに基づいて自車から物体までの距離Ｚが認識されるため、認識される距離が実際の距離Ｚから大きくずれることが防止され、自車から物体までの距離Ｚの認識精度の向上を図ることができる。
【解決手段】各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段により算出された自車から物体までの距離Ｚに基づいて自車から物体までの距離が認識手段６ｅにより認識されるため、自車から遠い位置の物体が撮影画像Ｆに含まれているときに、各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出される各距離Ｚが自車と物体との実際の距離とずれるおそれがある場合であっても、それぞれ異なる方法で算出される各距離Ｚに基づいて自車から物体までの距離Ｚが認識されるため、認識される距離が実際の距離Ｚから大きくずれることが防止され、自車から物体までの距離Ｚの認識精度の向上を図ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識する技術に関する。
【背景技術】
【０００２】
従来、車載カメラにより撮影された撮影画像に含まれる物体の水平エッジに基づいて自車から物体までの距離を認識する技術が知られている（例えば、特許文献１参照）。すなわち、撮影画像が処理されることにより撮影画像に含まれる物体の水平エッジが検出され、撮影画像の下端から検出された水平エッジまでの垂直距離に基づいて自車から物体までの距離が算出される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平３−２７３５００号公報（第３頁右上欄〜第３頁左下欄、第７図など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車載カメラの撮影画像の上部（奥側：自車から遠い位置）では、撮影画像の下部（手前側：自車から近い位置）比べて、奥行き方向の距離が圧縮されて撮影されている。すなわち、撮影画像を形成する各画素に割当てられた自車から物体までの距離の範囲が、撮影画像の奥側の方が撮影画像の手前側に比べて大きくなる。そのため、撮影画像の奥側において物体の水平エッジが検出された場合、検出された水平エッジの位置が撮影画像内で上下方向（奥行き方向）に１画素ずれるだけで、認識される自車から物体までの距離が大きく変化する。したがって、撮影画像の奥側において水平エッジが検出された場合には、検出された水平エッジに基づいて認識された自車から物体までの距離と、実際の自車から物体までの距離との間に大きなずれが生じるおそれがあった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、自車から遠い位置の物体が撮影画像に含まれている場合に、自車から物体までの距離の認識精度の向上を図ることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明の距離認識装置は、車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識する距離認識装置において、前記撮影画像に含まれる前記物体の下端を示す水平エッジの位置に基づき前記自車から前記物体までの距離を算出する第１距離算出手段と、前記撮影画像が射影変換された上方視画像に含まれる前記物体の左右端を示す垂直エッジが為す角度を二等分する中心軸を求め、前記両垂直エッジの少なくともいずれか一方において、前記中心軸から当該垂直エッジの下端までの長さと、前記中心軸に対する当該垂直エッジの角度とに基づいて前記自車から前記物体までの距離を算出する第２距離算出手段と、前記第１距離算出手段による第１の距離と前記第２距離算出手段による第２の距離とに基づいて前記自車から前記物体までの距離を認識する認識手段とを備えることを特徴としている（請求項１）。
【０００７】
また、請求項１に記載の距離認識装置において、前記認識手段は、前記第１の距離および前記第２の距離を平均することにより前記物体までの距離を認識するようにしてもよい（請求項２）。
【０００８】
また、請求項１または２に記載の距離認識装置において、前記第１距離算出手段および前記第２距離算出手段の少なくともいずれか一方は、前記撮影手段による複数フレームの前記撮影画像のうち、前記自車から前記物体までの距離を算出するときの前記物体の基準位置が前記各撮影画像の同一画素に位置するフレームの数と、当該同一画素に割当てられた前記自車から前記物体までの割当距離とに基づき、前記割当距離を前記フレームの数により均等に分割することで前記物体の移動量を導出し、導出された前記移動量に基づいて前記自車から前記物体までの距離を算出するとよい（請求項３）。
【発明の効果】
【０００９】
請求項１に記載の発明によれば、車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識するときに、撮影画像に含まれる物体の下端を示す水平エッジの位置に基づき自車から物体までの距離が第１距離算出手段により算出される。
【００１０】
そして、第２距離算出手段により、撮影画像が射影変換された上方視画像に含まれる物体の左右端を示す垂直エッジが為す角度を二等分する中心軸が求められ、両垂直エッジの少なくともいずれか一方において、中心軸から当該垂直エッジの下端までの長さと、中心軸に対する当該垂直エッジの角度とに基づいて自車から物体までの距離が算出され、第１距離算出手段による第１の距離と第２距離算出手段による第２の距離とに基づいて自車から物体までの距離が認識手段により認識される。
【００１１】
したがって、自車から遠い位置の物体が撮影画像に含まれているときに、第１距離算出手段により算出される第１の距離が自車と物体との実際の距離とずれるおそれがある場合であっても、それぞれ異なる方法で算出される第１の距離と第２の距離とに基づいて自車から物体までの距離が認識されるため、認識される距離が実際の距離から大きくずれることが防止され、自車から物体までの距離の認識精度の向上を図ることができる。
【００１２】
請求項２の発明によれば、撮影画像内の無限遠点を基準とした各領域において１画素の表す距離がそれぞれ異なるため、水平エッジに基づく第１の距離および垂直エッジに基づく第２の距離のいずれもが誤差を含むおそれがあるが、認識手段は、第１の距離および第２の距離を平均することにより自車から物体までの距離を認識することにより、認識される自車から物体までの距離の認識精度のさらなる向上を図ることができる。
【００１３】
請求項３の発明によれば、自車と物体との距離が相対的に移動しているのも関わらず、複数フレームの撮影画像において、自車から物体までの距離を算出するときの物体の基準位置が移動していない場合であっても、第１距離算出手段および第２距離算出手段の少なくともいずれか一方は、撮影手段による複数フレームの撮影画像のうち、前記基準位置が各撮影画像の同一画素に位置するフレームの数と、当該同一画素に割当てられた自車から物体までの割当距離とに基づき、割当距離をフレームの数により均等に分割してフレームごとの物体の移動量を導出し、導出された移動量に基づいて自車から物体までの距離を算出するため、実際の自車から物体までの距離をより精度よく認識することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の物体認識装置の一実施形態のブロック図である。
【図２】撮影画像の一例を示す図である。
【図３】算出された自車から物体までの距離を示す図である。
【図４】フレームごとの物体の移動量を示す図である。
【図５】図１の動作説明用のフローチャートである。
【発明を実施するための形態】
【００１５】
本発明の一実施形態について、図１〜図５を参照して説明する。
【００１６】
図１は本発明の物体認識装置２の一実施形態のブロック図である。図２は単眼カメラ３の撮影画像Ｆの一例を示す図であって、（ａ）はカメラ視点の撮影画像Ｆ、（ｂ）は撮影画像Ｆが射影変換された上方視画像ｔＦに含まれる水平エッジｈＥＧが強調された例を示し、（ｃ）は撮影画像Ｆが射影変換された上方視画像ｔＦに含まれる垂直エッジｌＥＧ，ｒＥＧが強調された例を示す。図３は各時刻における算出された自車１から物体までの距離を示す図であって、（ａ）は物体の下端を示す水平エッジｈＥＧに基づく自車１から物体までの距離Ｚ、（ｂ）は物体の左端を示す垂直エッジｌＥＧに基づく自車１から物体までの距離Ｚ、（ｃ）は物体の右端を示す垂直エッジｒＥＧに基づく自車１から物体までの距離Ｚを示す。図４はフレームごとの物体の移動量を示す図である。図５は図１の動作説明用のフローチャートである。
【００１７】
１．構成
図１に示す物体認識装置２は、自車１に搭載された単眼カメラ３（本発明の「車載カメラ」に相当）により撮影された撮影画像Ｆに基づいて自車１から物体（他車両１２）までの距離Ｚを認識するものであって、単眼カメラ３と、単眼カメラ３の撮影画像Ｆや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像Ｆを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
【００１８】
単眼カメラ３は、この実施形態では自車１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した撮影画像Ｆの信号を出力する（図２（ａ）参照）。また、自車１の前方の路面撮影を行なうため、単眼カメラ３は、自車１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
【００１９】
記憶手段４は、各種メモリやハードディスクドライブなどを備え、単眼カメラ３から時々刻々と出力される撮影画像Ｆに対してＥＣＵ６により種々の処理を施す際に使用される各種データ、撮影画像Ｆに対してＥＣＵ６により種々の処理が施されることにより得られた各種データなどを格納する。
【００２０】
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された物体認識のプログラムを実行することにより以下の各手段を備えている。
【００２１】
（１）取得手段６ａ
取得手段６ａは、単眼カメラ３により時々刻々と撮影された撮影画像Ｆを取得する。例えば、図２（ａ）に示すように、単眼カメラ３により撮影された撮影画像Ｆには、走行車線の自車１の前方に先行車として走行する他車両１２が撮影されており、取得手段６ａはこの撮影画像Ｆを取得する。なお、この実施形態の撮影画像Ｆは、例えば４８０本のライン画像により形成されており、各ライン画像は例えば６４０画素により形成されている。
【００２２】
（２）検出手段６ｂ
検出手段６ｂは、図２（ａ）に示す撮影画像Ｆから、水平エッジヒストグラムなどを利用した周知のエッジ検出処理により走行路上の物体の下端を示す水平エッジｈＥＧを検出する下端エッジ検出部、垂直エッジヒストグラムなどを利用した周知のエッジ検出処理により走行路上の物体の左右端を示す垂直エッジｌＥＧ，ｒＥＧを検出する左端エッジ検出部および右端エッジ検出部としての機能を備え、撮影画像Ｆに含まれる物体（他車両１２）下端の水平エッジｈＥＧ、左端の垂直エッジｌＥＧ、右端の垂直エッジｒＥＧをそれぞれ検出する。
【００２３】
（３）変換手段６ｃ
変換手段６ｃは、単眼カメラ３により時々刻々と撮影された各時刻における撮影画像Ｆを、路面に仮想面を設定し、図２（ｂ），（ｃ）に示す上方視画像ｔＦに射影変換する。そして、単眼カメラ３により時系列に撮影されて変換手段６ｃにより射影変換される各フレームの撮影画像Ｆに関する種々のデータは記憶手段４に記憶される。なお、この実施形態では、図２（ａ）に示すように、撮影画像Ｆに含まれる物体の下端を示す水平エッジｈＥＧ、左端を示す垂直エッジｌＥＧ、右端を示す垂直エッジｒＥＧが検出された状態の撮影画像Ｆが変換手段６ｃにより射影変換される。また、単眼カメラ３の撮影画像Ｆが路面に設定された仮想面に射影変換された上方視画像ｔＦでは物体（他車両１２）の上端側が歪んだ画像となる。
【００２４】
（４）距離算出手段６ｄ
距離算出手段６ｄは、図１２（ｂ）に示す水平エッジｈＥＧが強調された上方視画像ｔＦと、同図（ｃ）に示す垂直エッジｌＥＧ，ｒＥＧが強調された上方視画像ｔＦとに基づいて、自車１から物体までの距離Ｚを算出するものであって、この実施形態では以下の機能を備えている。
【００２５】
ａ）第１距離算出手段
第１距離算出手段は、図２（ｂ）に示す上方視画像ｔＦに含まれる物体の下端を示す水平エッジｈＥＧの位置に基づき自車１から物体までの距離Ｚ（第１の距離）を算出する（図３（ａ）参照）。
【００２６】
ｂ）第２距離算出手段
第２距離算出手段は、上方視画像ｔＦに含まれる物体の左右端を示す垂直エッジｌＥＧ，ｒＥＧの上方視画像ｔＦの下端に対する角度θｌ，θｒを導出することにより、両垂直エッジｌＥＧ，ｒＥＧが為す角度を二等分する中心軸ＣＡを求め、物体左端を示す垂直エッジｌＥＧの下端が物体の左下端と推定し、中心軸ＣＡから垂直エッジｌＥＧの下端までの長さＬと、中心軸ＣＡに対する垂直エッジｌＥＧの角度とに基づいて、幾何学的な演算を行うことにより自車１から物体までの距離Ｚ（第２の距離）を算出する（図３（ｂ）参照）。
【００２７】
また、第２距離算出手段は、物体右端を示す垂直エッジｒＥＧの下端が物体の右下端と推定し、中心軸ＣＡから垂直エッジｒＥＧの下端までの長さと、中心軸ＣＡに対する垂直エッジｒＥＧの角度とに基づいて、幾何学的な演算を行うことにより自車１から物体までの距離Ｚ（第３の距離）を算出する（図３（ｃ）参照）。
【００２８】
以上のように、距離算出手段６ｄは、図３（ａ），（ｂ），（ｃ）に示すように、水平エッジｈＥＧおよび両垂直エッジｌＥＧ，ｒＥＧに基づく、自車１から物体までの距離Ｚ（第１の距離〜第３の距離）を算出する。なお、両垂直エッジｌＥＧ，ｒＥＧの延長線の交点Ｏは単眼カメラ３の位置に相当する。また、上記中心軸は、上方視画像ｔＦにおける単眼カメラ３の位置を通る垂直方向の軸である。
【００２９】
また、図３（ａ），（ｂ），（ｃ）は、それぞれ、時刻ｔ０，ｔ１，ｔ２，ｔ３，ｔ４，ｔ５，ｔ６に単眼カメラ３により撮影された各フレームの撮影画像Ｆに含まれる各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出された自車１から物体までの距離Ｚ（第１の距離〜第３の距離）を示す。また、同じフレームの撮影画像Ｆに含まれる各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出された距離Ｚの大きさが異なる場合があるのは、撮影画像Ｆの奥側（上部）においては、奥行き方向の距離が圧縮された圧縮画像となっているため、各画素に割当てられている自車１から物体までの距離の範囲が撮影画像Ｆの手前側（下部）に比べて大きいからである。
【００３０】
すなわち、図２（ａ）に示すように、自車１から遠い距離の景色が含まれる撮影画像Ｆの奥側では、撮影画像Ｆの手前側に比べて同じ大きさに割当てられる画素数が少なく、景色が圧縮された圧縮画像となっている。したがって、撮影画像Ｆの奥側では、撮影画像Ｆの手前側に比べると奥行き方向の同じ距離範囲に対して割当てられるライン画像の数が少ないため、検出手段６ｂにより検出される各エッジｈＥＧ，ｌＥＧ，ｒＥＧの位置が前後方向（撮影画像Ｆの上下方向）に一画素分ずれるだけで、大きく異なる距離Ｚが距離算出手段６ｄにより算出される。また、圧縮画像となっている撮影画像Ｆの奥側において、検出手段６ｂにより検出される各エッジｈＥＧ，ｌＥＧ，ｒＥＧの位置に微妙なずれが生じることが多く、これにより、図３（ａ），（ｂ），（ｃ）に示すように、同じフレームの撮影画像Ｆに含まれる各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出される距離Ｚがそれぞれ異なる場合が生じる。
【００３１】
そこで、この実施形態では、距離算出手段６ｄ（第１距離算出手段、第２距離算出手段）は、以下の処理を行うことで、各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて算出される自車１から物体までの距離Ｚの算出精度の向上を図っている。すなわち、距離算出手段６ｄは、単眼カメラ３による複数フレームの撮影画像Ｆのうち、自車１から物体までの距離Ｚを算出するときの物体の基準位置（水平エッジｈＥＧ、両垂直エッジｌＥＧ，ｒＥＧの下端）が各撮影画像Ｆの同一画素に位置するフレームの数と、当該画素に割当てられた自車１から物体までの割当距離とに基づき、割当距離をフレームの数により均等に分割することでフレームごとの物体の移動量ｄを導出し、導出された移動量ｄに基づいて自車１から物体までの距離Ｚを算出する。
【００３２】
例えば、図４に示す例では、距離算出のための物体の基準位置が、距離Ｚβに対応する画素に位置するフレームが４フレームあるため、当該画素に割当てられた自車１から物体までの割当距離Ｚβγ〜Ｚαβを均等に４つに分割することにより、１フレームあたりの物体の移動量ｄを導出する。そして、導出された移動量ｄに基づいて各時刻ｔ０〜ｔ５における自車１から物体までの距離Ｚを算出する。
【００３３】
この実施形態では、距離算出手段６ｄは、以下の算出式により距離Ｚを算出する。
Ｚ＝Ｚβγ−Ｄβ・（Ｎ−Ｎβ−１）／Ｎβ
Ｚ：自車１から物体までの距離
Ｚβγ：距離Ｚβが割当てられている画素が有する自車１から物体までの割当距離の一番小さい値
Ｄβ：割当距離Ｚβγ〜Ｚαβの距離範囲
Ｎβ：距離Ｚβが割当てられている画素に距離算出のための物体の基準位置（水平エッジｈＥＧ、両垂直エッジｌＥＧ，ｒＥＧの下端）が位置するフレームの数
Ｎ：物体の基準位置が距離Ｚβが割当てられている画素に位置する最初のフレームから距離Ｚを算出するフレームまでの数（例えば、時刻ｔ４における単眼カメラ３の撮影画像Ｆに基づいて距離Ｚを算出するのであればＮ＝４）
【００３４】
なお、各画素に割当てられた自車１から物体までの割当距離は予め記憶手段４に記憶された値であり、単眼カメラ３の自車１への取付位置に依存する値である。また、上記した算出式に用いられる割当距離は、距離算出のための物体の基準位置の撮影画像Ｆ内での位置に対応する画素に割当られた割当距離を用いるとよい。
【００３５】
すなわち、物体の基準位置が距離Ｚβが割当てられた画素から距離Ｚγが割当てられた画素に移動した場合に、物体の基準位置が距離Ｚγが割当てられた画素に位置する間は、上記したように割当距離Ｚβγ〜Ｚαβに基づいて自車１から物体までの距離Ｚを算出し、物体の基準位置が距離Ｚγが割当てられた画素に隣接する画素に移動すれば、距離Ｚγが割当てられた画素に割当てられた割当距離に基づいて自車１から物体までの距離を算出するとよい。
【００３６】
（５）認識手段６ｅ
認識手段６ｅは、距離算出手段６ｄの第１距離算出手段および第２距離算出手段による第１の距離〜第３の距離に基づいて自車１から物体までの距離Ｚを認識する。この実施形態では、認識手段６ｅは、第１の距離〜第３の距離を平均することにより自車１から物体までの距離Ｚを認識する。
【００３７】
また、認識手段６ｅは、複数フレームの撮影画像Ｆから上記したようにして認識された自車１から物体（他車両１２）までの距離Ｚの変化を監視する。
【００３８】
（６）報知手段６ｆ
報知手段６ｆは、認識手段６ｅにより監視される、自車１から物体（他車両１２）までの距離Ｚの変化に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、物体の存在を視覚的にドライバに報知する。また、スピーカ８から、認識結果の音声メッセージ、警告音を発生して物体の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００３９】
２．動作
次に、上記したように構成された物体認識装置２の動作について図５を参照して説明する。なお、この実施形態では、図２（ａ）に示すように、走行車線の自車１の前方を先行車として他車両１２（物体）が走行している状態を例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像Ｆが射影変換されることによる上方視画像ｔＦに基づいて検出手段６ｂにより検出された物体候補としての各エッジｈＥＧ，ｌＥＧ，ｒＥＧの各画像内での位置に関する情報や、認識手段６ｅにより認識される自車１から物体までの距離Ｚの変化などに関する情報などが格納されるものとする。
【００４０】
図５に示す処理は、自車１の走行中に実行される処理であって、まず、自車１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図２（ａ）に示すような、単眼カメラ３による自車１の前方の撮影画像Ｆの信号が時々刻々とＥＣＵ６に取得手段６ａにより取込まれる（ステップＳ１）。そして、図２（ａ）に示すように、検出手段６ｂにより他車両１２の下端を示す水平エッジｈＥＧ、他車両１２の左右端を示す垂直エッジｌＥＧ，ｒＥＧが検出され（ステップＳ２）、図２（ｂ），（ｃ）に示すように、各エッジｈＥＧ，ｌＥＧ，ｒＥＧが検出された撮影画像Ｆが変換手段６ｃにより上方視画像ｔＦに射影変換される（ステップＳ３）。
【００４１】
次に、上方視画像ｔＦに含まれる水平エッジｈＥＧ、垂直エッジｌＥＧ，ｒＥＧに基づく自車１から他車両１２までの距離Ｚがそれぞれ距離算出手段６ｄにより算出されて、算出された各距離Ｚに基づいて自車１から物体までの距離Ｚが認識手段６ｅにより認識されて、認識された自車１と物体との距離Ｚの時系列的な変化が監視される（ステップＳ４）。
【００４２】
そして、他車両１２が自車１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、他車両１２の存在がドライバに報知手段６ｆにより報知される（ステップＳ５）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１２が自車１に異常接近すると判断されれば、報知手段６ｆによる報知が行われる。
【００４３】
以上のように、この実施形態によれば、単眼カメラ３により撮影された撮影画像Ｆに基づいて自車１から物体（他車両１２）までの距離を認識するときに、上方視画像ｔＦに含まれる物体の下端を示す水平エッジｈＥＧの位置に基づき自車１から物体までの距離Ｚが距離算出手段６ｄ（第１距離算出手段）により算出される。
【００４４】
そして、距離算出手段６ｄ（第２距離算出手段）により、撮影画像Ｆが射影変換された上方視画像ｔＦに含まれる物体の左右端を示す垂直エッジｌＥＧ，ｒＥＧが為す角度を二等分する中心軸ＣＡが求められ、両垂直エッジｌＥＧ，ｒＥＧの下端から中心軸ＣＡまでの長さと、中心軸ＣＡに対する両垂直エッジｌＥＧ，ｒＥＧの角度とに基づいて自車１から物体までの距離Ｚが算出され、各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出された自車１から物体までの距離Ｚに基づいて自車１から物体までの距離が認識手段６ｅにより認識される。
【００４５】
したがって、自車１から遠い位置の物体が撮影画像Ｆに含まれているときに、各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出される各距離Ｚが自車１と物体との実際の距離とずれるおそれがある場合であっても、それぞれ異なる方法で算出される各距離Ｚに基づいて自車１から物体までの距離Ｚが認識されるため、認識される距離が実際の距離Ｚから大きくずれることが防止され、自車１から物体までの距離Ｚの認識精度の向上を図ることができる。
【００４６】
また、撮影画像Ｆ内の無限遠点を基準とした各領域において１つの画素の表す距離がそれぞれ異なるため、水平エッジｈＥＧに基づく第１の距離および垂直エッジｌＥＧ，ｒＥＧに基づく第２および第３の距離のいずれもが誤差を含むおそれがあるが、認識手段６ｅは、第１の距離〜第３の距離を平均することにより自車１から物体までの距離Ｚを認識することにより、認識される自車１から物体までの距離Ｚの認識精度のさらなる向上を図ることができる。
【００４７】
また、自車１と物体との距離Ｚが相対的に移動しているのも関わらず、複数フレームの撮影画像Ｆにおいて、自車１から物体までの距離Ｚを算出するときの物体の基準位置が移動していない場合であっても、距離算出手段６ｄは、単眼カメラ３による複数フレームの撮影画像Ｆのうち、物体の基準位置が各撮影画像Ｆの同一画素に位置するフレームの数と、当該同一画素に割当てられた自車１から物体までの割当距離とに基づき、割当距離をフレームの数により均等に分割してフレームごとの物体の移動量ｄを導出し、導出された移動量ｄに基づいて自車１から物体までの距離Ｚを算出するため、実際の自車１から物体までの距離Ｚをより精度よく認識することができる。
【００４８】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方を撮影可能に自車１の後部に取付けてもよい。このように構成すると、自車１の後方から異常接近する他車両が存在するかどうかを監視することができる。
【００４９】
また、撮影画像Ｆ内の物体の下端を示す水平エッジｈＥＧに基づいて、自車１から物体までの距離Ｚを算出してもよく、撮影画像Ｆを射影変換した上方視画像ｔＦに基づいて物体の下端を示す水平エッジｈＥＧを検出してもよい。
【００５０】
また、距離Ｚを算出する際に、物体の基準位置が同一画素に留まっている場合の物体のフレームごとの移動量ｄの導出は必ずしも行わなくともよく、また、物体の下端を示す水平エッジｈＥＧに基づく距離Ｚおよび物体の左右端を示す垂直エッジｌＥＧ，ｒＥＧに基づく距離Ｚの、少なくともいずれか一方の距離Ｚを算出するときに物体のフレームごとの移動量ｄを算出するようにしてもよい。また、距離算出手段６ｄは、物体の左右端を示す垂直エッジｌＥＧ，ｒＥＧの少なくともいずれか一方の垂直エッジに基づいて自車１から物体までの距離Ｚを算出するようにすればよい。
【００５１】
また、本発明は種々の車両の物体認識に適用することができる。
【符号の説明】
【００５２】
１ 自車
２ 物体認識装置
３ 単眼カメラ（車載カメラ）
６ｄ 距離算出手段（第１距離算出手段、第２距離算出手段）
１２ 他車両（物体）
Ｆ 撮影画像
ｔＦ 上方視画像
ｈＥＧ 水平エッジ
ｌＥＧ，ｒＥＧ 垂直エッジ
ＣＡ 中心軸
ｄ 移動量
【技術分野】
【０００１】
この発明は、車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識する技術に関する。
【背景技術】
【０００２】
従来、車載カメラにより撮影された撮影画像に含まれる物体の水平エッジに基づいて自車から物体までの距離を認識する技術が知られている（例えば、特許文献１参照）。すなわち、撮影画像が処理されることにより撮影画像に含まれる物体の水平エッジが検出され、撮影画像の下端から検出された水平エッジまでの垂直距離に基づいて自車から物体までの距離が算出される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平３−２７３５００号公報（第３頁右上欄〜第３頁左下欄、第７図など）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車載カメラの撮影画像の上部（奥側：自車から遠い位置）では、撮影画像の下部（手前側：自車から近い位置）比べて、奥行き方向の距離が圧縮されて撮影されている。すなわち、撮影画像を形成する各画素に割当てられた自車から物体までの距離の範囲が、撮影画像の奥側の方が撮影画像の手前側に比べて大きくなる。そのため、撮影画像の奥側において物体の水平エッジが検出された場合、検出された水平エッジの位置が撮影画像内で上下方向（奥行き方向）に１画素ずれるだけで、認識される自車から物体までの距離が大きく変化する。したがって、撮影画像の奥側において水平エッジが検出された場合には、検出された水平エッジに基づいて認識された自車から物体までの距離と、実際の自車から物体までの距離との間に大きなずれが生じるおそれがあった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、自車から遠い位置の物体が撮影画像に含まれている場合に、自車から物体までの距離の認識精度の向上を図ることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本発明の距離認識装置は、車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識する距離認識装置において、前記撮影画像に含まれる前記物体の下端を示す水平エッジの位置に基づき前記自車から前記物体までの距離を算出する第１距離算出手段と、前記撮影画像が射影変換された上方視画像に含まれる前記物体の左右端を示す垂直エッジが為す角度を二等分する中心軸を求め、前記両垂直エッジの少なくともいずれか一方において、前記中心軸から当該垂直エッジの下端までの長さと、前記中心軸に対する当該垂直エッジの角度とに基づいて前記自車から前記物体までの距離を算出する第２距離算出手段と、前記第１距離算出手段による第１の距離と前記第２距離算出手段による第２の距離とに基づいて前記自車から前記物体までの距離を認識する認識手段とを備えることを特徴としている（請求項１）。
【０００７】
また、請求項１に記載の距離認識装置において、前記認識手段は、前記第１の距離および前記第２の距離を平均することにより前記物体までの距離を認識するようにしてもよい（請求項２）。
【０００８】
また、請求項１または２に記載の距離認識装置において、前記第１距離算出手段および前記第２距離算出手段の少なくともいずれか一方は、前記撮影手段による複数フレームの前記撮影画像のうち、前記自車から前記物体までの距離を算出するときの前記物体の基準位置が前記各撮影画像の同一画素に位置するフレームの数と、当該同一画素に割当てられた前記自車から前記物体までの割当距離とに基づき、前記割当距離を前記フレームの数により均等に分割することで前記物体の移動量を導出し、導出された前記移動量に基づいて前記自車から前記物体までの距離を算出するとよい（請求項３）。
【発明の効果】
【０００９】
請求項１に記載の発明によれば、車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識するときに、撮影画像に含まれる物体の下端を示す水平エッジの位置に基づき自車から物体までの距離が第１距離算出手段により算出される。
【００１０】
そして、第２距離算出手段により、撮影画像が射影変換された上方視画像に含まれる物体の左右端を示す垂直エッジが為す角度を二等分する中心軸が求められ、両垂直エッジの少なくともいずれか一方において、中心軸から当該垂直エッジの下端までの長さと、中心軸に対する当該垂直エッジの角度とに基づいて自車から物体までの距離が算出され、第１距離算出手段による第１の距離と第２距離算出手段による第２の距離とに基づいて自車から物体までの距離が認識手段により認識される。
【００１１】
したがって、自車から遠い位置の物体が撮影画像に含まれているときに、第１距離算出手段により算出される第１の距離が自車と物体との実際の距離とずれるおそれがある場合であっても、それぞれ異なる方法で算出される第１の距離と第２の距離とに基づいて自車から物体までの距離が認識されるため、認識される距離が実際の距離から大きくずれることが防止され、自車から物体までの距離の認識精度の向上を図ることができる。
【００１２】
請求項２の発明によれば、撮影画像内の無限遠点を基準とした各領域において１画素の表す距離がそれぞれ異なるため、水平エッジに基づく第１の距離および垂直エッジに基づく第２の距離のいずれもが誤差を含むおそれがあるが、認識手段は、第１の距離および第２の距離を平均することにより自車から物体までの距離を認識することにより、認識される自車から物体までの距離の認識精度のさらなる向上を図ることができる。
【００１３】
請求項３の発明によれば、自車と物体との距離が相対的に移動しているのも関わらず、複数フレームの撮影画像において、自車から物体までの距離を算出するときの物体の基準位置が移動していない場合であっても、第１距離算出手段および第２距離算出手段の少なくともいずれか一方は、撮影手段による複数フレームの撮影画像のうち、前記基準位置が各撮影画像の同一画素に位置するフレームの数と、当該同一画素に割当てられた自車から物体までの割当距離とに基づき、割当距離をフレームの数により均等に分割してフレームごとの物体の移動量を導出し、導出された移動量に基づいて自車から物体までの距離を算出するため、実際の自車から物体までの距離をより精度よく認識することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の物体認識装置の一実施形態のブロック図である。
【図２】撮影画像の一例を示す図である。
【図３】算出された自車から物体までの距離を示す図である。
【図４】フレームごとの物体の移動量を示す図である。
【図５】図１の動作説明用のフローチャートである。
【発明を実施するための形態】
【００１５】
本発明の一実施形態について、図１〜図５を参照して説明する。
【００１６】
図１は本発明の物体認識装置２の一実施形態のブロック図である。図２は単眼カメラ３の撮影画像Ｆの一例を示す図であって、（ａ）はカメラ視点の撮影画像Ｆ、（ｂ）は撮影画像Ｆが射影変換された上方視画像ｔＦに含まれる水平エッジｈＥＧが強調された例を示し、（ｃ）は撮影画像Ｆが射影変換された上方視画像ｔＦに含まれる垂直エッジｌＥＧ，ｒＥＧが強調された例を示す。図３は各時刻における算出された自車１から物体までの距離を示す図であって、（ａ）は物体の下端を示す水平エッジｈＥＧに基づく自車１から物体までの距離Ｚ、（ｂ）は物体の左端を示す垂直エッジｌＥＧに基づく自車１から物体までの距離Ｚ、（ｃ）は物体の右端を示す垂直エッジｒＥＧに基づく自車１から物体までの距離Ｚを示す。図４はフレームごとの物体の移動量を示す図である。図５は図１の動作説明用のフローチャートである。
【００１７】
１．構成
図１に示す物体認識装置２は、自車１に搭載された単眼カメラ３（本発明の「車載カメラ」に相当）により撮影された撮影画像Ｆに基づいて自車１から物体（他車両１２）までの距離Ｚを認識するものであって、単眼カメラ３と、単眼カメラ３の撮影画像Ｆや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像Ｆを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。
【００１８】
単眼カメラ３は、この実施形態では自車１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した撮影画像Ｆの信号を出力する（図２（ａ）参照）。また、自車１の前方の路面撮影を行なうため、単眼カメラ３は、自車１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
【００１９】
記憶手段４は、各種メモリやハードディスクドライブなどを備え、単眼カメラ３から時々刻々と出力される撮影画像Ｆに対してＥＣＵ６により種々の処理を施す際に使用される各種データ、撮影画像Ｆに対してＥＣＵ６により種々の処理が施されることにより得られた各種データなどを格納する。
【００２０】
ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された物体認識のプログラムを実行することにより以下の各手段を備えている。
【００２１】
（１）取得手段６ａ
取得手段６ａは、単眼カメラ３により時々刻々と撮影された撮影画像Ｆを取得する。例えば、図２（ａ）に示すように、単眼カメラ３により撮影された撮影画像Ｆには、走行車線の自車１の前方に先行車として走行する他車両１２が撮影されており、取得手段６ａはこの撮影画像Ｆを取得する。なお、この実施形態の撮影画像Ｆは、例えば４８０本のライン画像により形成されており、各ライン画像は例えば６４０画素により形成されている。
【００２２】
（２）検出手段６ｂ
検出手段６ｂは、図２（ａ）に示す撮影画像Ｆから、水平エッジヒストグラムなどを利用した周知のエッジ検出処理により走行路上の物体の下端を示す水平エッジｈＥＧを検出する下端エッジ検出部、垂直エッジヒストグラムなどを利用した周知のエッジ検出処理により走行路上の物体の左右端を示す垂直エッジｌＥＧ，ｒＥＧを検出する左端エッジ検出部および右端エッジ検出部としての機能を備え、撮影画像Ｆに含まれる物体（他車両１２）下端の水平エッジｈＥＧ、左端の垂直エッジｌＥＧ、右端の垂直エッジｒＥＧをそれぞれ検出する。
【００２３】
（３）変換手段６ｃ
変換手段６ｃは、単眼カメラ３により時々刻々と撮影された各時刻における撮影画像Ｆを、路面に仮想面を設定し、図２（ｂ），（ｃ）に示す上方視画像ｔＦに射影変換する。そして、単眼カメラ３により時系列に撮影されて変換手段６ｃにより射影変換される各フレームの撮影画像Ｆに関する種々のデータは記憶手段４に記憶される。なお、この実施形態では、図２（ａ）に示すように、撮影画像Ｆに含まれる物体の下端を示す水平エッジｈＥＧ、左端を示す垂直エッジｌＥＧ、右端を示す垂直エッジｒＥＧが検出された状態の撮影画像Ｆが変換手段６ｃにより射影変換される。また、単眼カメラ３の撮影画像Ｆが路面に設定された仮想面に射影変換された上方視画像ｔＦでは物体（他車両１２）の上端側が歪んだ画像となる。
【００２４】
（４）距離算出手段６ｄ
距離算出手段６ｄは、図１２（ｂ）に示す水平エッジｈＥＧが強調された上方視画像ｔＦと、同図（ｃ）に示す垂直エッジｌＥＧ，ｒＥＧが強調された上方視画像ｔＦとに基づいて、自車１から物体までの距離Ｚを算出するものであって、この実施形態では以下の機能を備えている。
【００２５】
ａ）第１距離算出手段
第１距離算出手段は、図２（ｂ）に示す上方視画像ｔＦに含まれる物体の下端を示す水平エッジｈＥＧの位置に基づき自車１から物体までの距離Ｚ（第１の距離）を算出する（図３（ａ）参照）。
【００２６】
ｂ）第２距離算出手段
第２距離算出手段は、上方視画像ｔＦに含まれる物体の左右端を示す垂直エッジｌＥＧ，ｒＥＧの上方視画像ｔＦの下端に対する角度θｌ，θｒを導出することにより、両垂直エッジｌＥＧ，ｒＥＧが為す角度を二等分する中心軸ＣＡを求め、物体左端を示す垂直エッジｌＥＧの下端が物体の左下端と推定し、中心軸ＣＡから垂直エッジｌＥＧの下端までの長さＬと、中心軸ＣＡに対する垂直エッジｌＥＧの角度とに基づいて、幾何学的な演算を行うことにより自車１から物体までの距離Ｚ（第２の距離）を算出する（図３（ｂ）参照）。
【００２７】
また、第２距離算出手段は、物体右端を示す垂直エッジｒＥＧの下端が物体の右下端と推定し、中心軸ＣＡから垂直エッジｒＥＧの下端までの長さと、中心軸ＣＡに対する垂直エッジｒＥＧの角度とに基づいて、幾何学的な演算を行うことにより自車１から物体までの距離Ｚ（第３の距離）を算出する（図３（ｃ）参照）。
【００２８】
以上のように、距離算出手段６ｄは、図３（ａ），（ｂ），（ｃ）に示すように、水平エッジｈＥＧおよび両垂直エッジｌＥＧ，ｒＥＧに基づく、自車１から物体までの距離Ｚ（第１の距離〜第３の距離）を算出する。なお、両垂直エッジｌＥＧ，ｒＥＧの延長線の交点Ｏは単眼カメラ３の位置に相当する。また、上記中心軸は、上方視画像ｔＦにおける単眼カメラ３の位置を通る垂直方向の軸である。
【００２９】
また、図３（ａ），（ｂ），（ｃ）は、それぞれ、時刻ｔ０，ｔ１，ｔ２，ｔ３，ｔ４，ｔ５，ｔ６に単眼カメラ３により撮影された各フレームの撮影画像Ｆに含まれる各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出された自車１から物体までの距離Ｚ（第１の距離〜第３の距離）を示す。また、同じフレームの撮影画像Ｆに含まれる各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出された距離Ｚの大きさが異なる場合があるのは、撮影画像Ｆの奥側（上部）においては、奥行き方向の距離が圧縮された圧縮画像となっているため、各画素に割当てられている自車１から物体までの距離の範囲が撮影画像Ｆの手前側（下部）に比べて大きいからである。
【００３０】
すなわち、図２（ａ）に示すように、自車１から遠い距離の景色が含まれる撮影画像Ｆの奥側では、撮影画像Ｆの手前側に比べて同じ大きさに割当てられる画素数が少なく、景色が圧縮された圧縮画像となっている。したがって、撮影画像Ｆの奥側では、撮影画像Ｆの手前側に比べると奥行き方向の同じ距離範囲に対して割当てられるライン画像の数が少ないため、検出手段６ｂにより検出される各エッジｈＥＧ，ｌＥＧ，ｒＥＧの位置が前後方向（撮影画像Ｆの上下方向）に一画素分ずれるだけで、大きく異なる距離Ｚが距離算出手段６ｄにより算出される。また、圧縮画像となっている撮影画像Ｆの奥側において、検出手段６ｂにより検出される各エッジｈＥＧ，ｌＥＧ，ｒＥＧの位置に微妙なずれが生じることが多く、これにより、図３（ａ），（ｂ），（ｃ）に示すように、同じフレームの撮影画像Ｆに含まれる各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出される距離Ｚがそれぞれ異なる場合が生じる。
【００３１】
そこで、この実施形態では、距離算出手段６ｄ（第１距離算出手段、第２距離算出手段）は、以下の処理を行うことで、各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて算出される自車１から物体までの距離Ｚの算出精度の向上を図っている。すなわち、距離算出手段６ｄは、単眼カメラ３による複数フレームの撮影画像Ｆのうち、自車１から物体までの距離Ｚを算出するときの物体の基準位置（水平エッジｈＥＧ、両垂直エッジｌＥＧ，ｒＥＧの下端）が各撮影画像Ｆの同一画素に位置するフレームの数と、当該画素に割当てられた自車１から物体までの割当距離とに基づき、割当距離をフレームの数により均等に分割することでフレームごとの物体の移動量ｄを導出し、導出された移動量ｄに基づいて自車１から物体までの距離Ｚを算出する。
【００３２】
例えば、図４に示す例では、距離算出のための物体の基準位置が、距離Ｚβに対応する画素に位置するフレームが４フレームあるため、当該画素に割当てられた自車１から物体までの割当距離Ｚβγ〜Ｚαβを均等に４つに分割することにより、１フレームあたりの物体の移動量ｄを導出する。そして、導出された移動量ｄに基づいて各時刻ｔ０〜ｔ５における自車１から物体までの距離Ｚを算出する。
【００３３】
この実施形態では、距離算出手段６ｄは、以下の算出式により距離Ｚを算出する。
Ｚ＝Ｚβγ−Ｄβ・（Ｎ−Ｎβ−１）／Ｎβ
Ｚ：自車１から物体までの距離
Ｚβγ：距離Ｚβが割当てられている画素が有する自車１から物体までの割当距離の一番小さい値
Ｄβ：割当距離Ｚβγ〜Ｚαβの距離範囲
Ｎβ：距離Ｚβが割当てられている画素に距離算出のための物体の基準位置（水平エッジｈＥＧ、両垂直エッジｌＥＧ，ｒＥＧの下端）が位置するフレームの数
Ｎ：物体の基準位置が距離Ｚβが割当てられている画素に位置する最初のフレームから距離Ｚを算出するフレームまでの数（例えば、時刻ｔ４における単眼カメラ３の撮影画像Ｆに基づいて距離Ｚを算出するのであればＮ＝４）
【００３４】
なお、各画素に割当てられた自車１から物体までの割当距離は予め記憶手段４に記憶された値であり、単眼カメラ３の自車１への取付位置に依存する値である。また、上記した算出式に用いられる割当距離は、距離算出のための物体の基準位置の撮影画像Ｆ内での位置に対応する画素に割当られた割当距離を用いるとよい。
【００３５】
すなわち、物体の基準位置が距離Ｚβが割当てられた画素から距離Ｚγが割当てられた画素に移動した場合に、物体の基準位置が距離Ｚγが割当てられた画素に位置する間は、上記したように割当距離Ｚβγ〜Ｚαβに基づいて自車１から物体までの距離Ｚを算出し、物体の基準位置が距離Ｚγが割当てられた画素に隣接する画素に移動すれば、距離Ｚγが割当てられた画素に割当てられた割当距離に基づいて自車１から物体までの距離を算出するとよい。
【００３６】
（５）認識手段６ｅ
認識手段６ｅは、距離算出手段６ｄの第１距離算出手段および第２距離算出手段による第１の距離〜第３の距離に基づいて自車１から物体までの距離Ｚを認識する。この実施形態では、認識手段６ｅは、第１の距離〜第３の距離を平均することにより自車１から物体までの距離Ｚを認識する。
【００３７】
また、認識手段６ｅは、複数フレームの撮影画像Ｆから上記したようにして認識された自車１から物体（他車両１２）までの距離Ｚの変化を監視する。
【００３８】
（６）報知手段６ｆ
報知手段６ｆは、認識手段６ｅにより監視される、自車１から物体（他車両１２）までの距離Ｚの変化に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、物体の存在を視覚的にドライバに報知する。また、スピーカ８から、認識結果の音声メッセージ、警告音を発生して物体の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
【００３９】
２．動作
次に、上記したように構成された物体認識装置２の動作について図５を参照して説明する。なお、この実施形態では、図２（ａ）に示すように、走行車線の自車１の前方を先行車として他車両１２（物体）が走行している状態を例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像Ｆが射影変換されることによる上方視画像ｔＦに基づいて検出手段６ｂにより検出された物体候補としての各エッジｈＥＧ，ｌＥＧ，ｒＥＧの各画像内での位置に関する情報や、認識手段６ｅにより認識される自車１から物体までの距離Ｚの変化などに関する情報などが格納されるものとする。
【００４０】
図５に示す処理は、自車１の走行中に実行される処理であって、まず、自車１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図２（ａ）に示すような、単眼カメラ３による自車１の前方の撮影画像Ｆの信号が時々刻々とＥＣＵ６に取得手段６ａにより取込まれる（ステップＳ１）。そして、図２（ａ）に示すように、検出手段６ｂにより他車両１２の下端を示す水平エッジｈＥＧ、他車両１２の左右端を示す垂直エッジｌＥＧ，ｒＥＧが検出され（ステップＳ２）、図２（ｂ），（ｃ）に示すように、各エッジｈＥＧ，ｌＥＧ，ｒＥＧが検出された撮影画像Ｆが変換手段６ｃにより上方視画像ｔＦに射影変換される（ステップＳ３）。
【００４１】
次に、上方視画像ｔＦに含まれる水平エッジｈＥＧ、垂直エッジｌＥＧ，ｒＥＧに基づく自車１から他車両１２までの距離Ｚがそれぞれ距離算出手段６ｄにより算出されて、算出された各距離Ｚに基づいて自車１から物体までの距離Ｚが認識手段６ｅにより認識されて、認識された自車１と物体との距離Ｚの時系列的な変化が監視される（ステップＳ４）。
【００４２】
そして、他車両１２が自車１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、他車両１２の存在がドライバに報知手段６ｆにより報知される（ステップＳ５）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１２が自車１に異常接近すると判断されれば、報知手段６ｆによる報知が行われる。
【００４３】
以上のように、この実施形態によれば、単眼カメラ３により撮影された撮影画像Ｆに基づいて自車１から物体（他車両１２）までの距離を認識するときに、上方視画像ｔＦに含まれる物体の下端を示す水平エッジｈＥＧの位置に基づき自車１から物体までの距離Ｚが距離算出手段６ｄ（第１距離算出手段）により算出される。
【００４４】
そして、距離算出手段６ｄ（第２距離算出手段）により、撮影画像Ｆが射影変換された上方視画像ｔＦに含まれる物体の左右端を示す垂直エッジｌＥＧ，ｒＥＧが為す角度を二等分する中心軸ＣＡが求められ、両垂直エッジｌＥＧ，ｒＥＧの下端から中心軸ＣＡまでの長さと、中心軸ＣＡに対する両垂直エッジｌＥＧ，ｒＥＧの角度とに基づいて自車１から物体までの距離Ｚが算出され、各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出された自車１から物体までの距離Ｚに基づいて自車１から物体までの距離が認識手段６ｅにより認識される。
【００４５】
したがって、自車１から遠い位置の物体が撮影画像Ｆに含まれているときに、各エッジｈＥＧ，ｌＥＧ，ｒＥＧに基づいて距離算出手段６ｄにより算出される各距離Ｚが自車１と物体との実際の距離とずれるおそれがある場合であっても、それぞれ異なる方法で算出される各距離Ｚに基づいて自車１から物体までの距離Ｚが認識されるため、認識される距離が実際の距離Ｚから大きくずれることが防止され、自車１から物体までの距離Ｚの認識精度の向上を図ることができる。
【００４６】
また、撮影画像Ｆ内の無限遠点を基準とした各領域において１つの画素の表す距離がそれぞれ異なるため、水平エッジｈＥＧに基づく第１の距離および垂直エッジｌＥＧ，ｒＥＧに基づく第２および第３の距離のいずれもが誤差を含むおそれがあるが、認識手段６ｅは、第１の距離〜第３の距離を平均することにより自車１から物体までの距離Ｚを認識することにより、認識される自車１から物体までの距離Ｚの認識精度のさらなる向上を図ることができる。
【００４７】
また、自車１と物体との距離Ｚが相対的に移動しているのも関わらず、複数フレームの撮影画像Ｆにおいて、自車１から物体までの距離Ｚを算出するときの物体の基準位置が移動していない場合であっても、距離算出手段６ｄは、単眼カメラ３による複数フレームの撮影画像Ｆのうち、物体の基準位置が各撮影画像Ｆの同一画素に位置するフレームの数と、当該同一画素に割当てられた自車１から物体までの割当距離とに基づき、割当距離をフレームの数により均等に分割してフレームごとの物体の移動量ｄを導出し、導出された移動量ｄに基づいて自車１から物体までの距離Ｚを算出するため、実際の自車１から物体までの距離Ｚをより精度よく認識することができる。
【００４８】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方を撮影可能に自車１の後部に取付けてもよい。このように構成すると、自車１の後方から異常接近する他車両が存在するかどうかを監視することができる。
【００４９】
また、撮影画像Ｆ内の物体の下端を示す水平エッジｈＥＧに基づいて、自車１から物体までの距離Ｚを算出してもよく、撮影画像Ｆを射影変換した上方視画像ｔＦに基づいて物体の下端を示す水平エッジｈＥＧを検出してもよい。
【００５０】
また、距離Ｚを算出する際に、物体の基準位置が同一画素に留まっている場合の物体のフレームごとの移動量ｄの導出は必ずしも行わなくともよく、また、物体の下端を示す水平エッジｈＥＧに基づく距離Ｚおよび物体の左右端を示す垂直エッジｌＥＧ，ｒＥＧに基づく距離Ｚの、少なくともいずれか一方の距離Ｚを算出するときに物体のフレームごとの移動量ｄを算出するようにしてもよい。また、距離算出手段６ｄは、物体の左右端を示す垂直エッジｌＥＧ，ｒＥＧの少なくともいずれか一方の垂直エッジに基づいて自車１から物体までの距離Ｚを算出するようにすればよい。
【００５１】
また、本発明は種々の車両の物体認識に適用することができる。
【符号の説明】
【００５２】
１ 自車
２ 物体認識装置
３ 単眼カメラ（車載カメラ）
６ｄ 距離算出手段（第１距離算出手段、第２距離算出手段）
１２ 他車両（物体）
Ｆ 撮影画像
ｔＦ 上方視画像
ｈＥＧ 水平エッジ
ｌＥＧ，ｒＥＧ 垂直エッジ
ＣＡ 中心軸
ｄ 移動量
【特許請求の範囲】
【請求項１】
車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識する距離認識装置において、
前記撮影画像に含まれる前記物体の下端を示す水平エッジの位置に基づき前記自車から前記物体までの距離を算出する第１距離算出手段と、
前記撮影画像が射影変換された上方視画像に含まれる前記物体の左右端を示す垂直エッジが為す角度を二等分する中心軸を求め、前記両垂直エッジの少なくともいずれか一方において、前記中心軸から当該垂直エッジの下端までの長さと、前記中心軸に対する当該垂直エッジの角度とに基づいて前記自車から前記物体までの距離を算出する第２距離算出手段と、
前記第１距離算出手段による第１の距離と前記第２距離算出手段による第２の距離とに基づいて前記自車から前記物体までの距離を認識する認識手段と
を備えることを特徴とする距離認識装置。
【請求項２】
請求項１に記載の距離認識装置において、
前記認識手段は、前記第１の距離および前記第２の距離を平均することにより前記物体までの距離を認識することを特徴とする距離認識装置。
【請求項３】
請求項１または２に記載の距離認識装置において、
前記第１距離算出手段および前記第２距離算出手段の少なくともいずれか一方は、
前記撮影手段による複数フレームの前記撮影画像のうち、前記自車から前記物体までの距離を算出するときの前記物体の基準位置が前記各撮影画像の同一画素に位置するフレームの数と、当該同一画素に割当てられた前記自車から前記物体までの割当距離とに基づき、前記割当距離を前記フレームの数により均等に分割することで前記物体の移動量を導出し、導出された前記移動量に基づいて前記自車から前記物体までの距離を算出することを特徴とする距離認識装置。
【請求項１】
車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識する距離認識装置において、
前記撮影画像に含まれる前記物体の下端を示す水平エッジの位置に基づき前記自車から前記物体までの距離を算出する第１距離算出手段と、
前記撮影画像が射影変換された上方視画像に含まれる前記物体の左右端を示す垂直エッジが為す角度を二等分する中心軸を求め、前記両垂直エッジの少なくともいずれか一方において、前記中心軸から当該垂直エッジの下端までの長さと、前記中心軸に対する当該垂直エッジの角度とに基づいて前記自車から前記物体までの距離を算出する第２距離算出手段と、
前記第１距離算出手段による第１の距離と前記第２距離算出手段による第２の距離とに基づいて前記自車から前記物体までの距離を認識する認識手段と
を備えることを特徴とする距離認識装置。
【請求項２】
請求項１に記載の距離認識装置において、
前記認識手段は、前記第１の距離および前記第２の距離を平均することにより前記物体までの距離を認識することを特徴とする距離認識装置。
【請求項３】
請求項１または２に記載の距離認識装置において、
前記第１距離算出手段および前記第２距離算出手段の少なくともいずれか一方は、
前記撮影手段による複数フレームの前記撮影画像のうち、前記自車から前記物体までの距離を算出するときの前記物体の基準位置が前記各撮影画像の同一画素に位置するフレームの数と、当該同一画素に割当てられた前記自車から前記物体までの割当距離とに基づき、前記割当距離を前記フレームの数により均等に分割することで前記物体の移動量を導出し、導出された前記移動量に基づいて前記自車から前記物体までの距離を算出することを特徴とする距離認識装置。
【図１】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【図２】
【公開番号】特開２０１１−１８００２０（Ｐ２０１１−１８００２０Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４５４９３（Ｐ２０１０−４５４９３）
【出願日】平成２２年３月２日（２０１０．３．２）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月２日（２０１０．３．２）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]