距離推定装置
【課題】自車から障害物までの距離推定の精度向上を図る。
【解決手段】ビデオカメラ11で捕えた画像より建物等の障害物の法線ベクトルを垂直成分抽出部13で抽出し、抽出された法線ベクトルに基づき、傾斜路判定部15で傾斜路かの判定と傾斜路の場合の傾斜角を算出する。予めカメラ11で捕えた画像から基準法線ベクトルを抽出するとともに、画像の画素毎と自車との距離データをメモリ10に保存しておく。自車と障害物まで平坦路と傾斜路があった場合に、平坦路と傾斜路の境界と障害物までの距離を傾斜角に基づき補正するようにして自車から障害物までの距離推定の精度を向上した。
【解決手段】ビデオカメラ11で捕えた画像より建物等の障害物の法線ベクトルを垂直成分抽出部13で抽出し、抽出された法線ベクトルに基づき、傾斜路判定部15で傾斜路かの判定と傾斜路の場合の傾斜角を算出する。予めカメラ11で捕えた画像から基準法線ベクトルを抽出するとともに、画像の画素毎と自車との距離データをメモリ10に保存しておく。自車と障害物まで平坦路と傾斜路があった場合に、平坦路と傾斜路の境界と障害物までの距離を傾斜角に基づき補正するようにして自車から障害物までの距離推定の精度を向上した。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、障害物までの距離推定の向上を図ることのできる距離推定装置に関する。
【背景技術】
【0002】
従来、車載カメラで障害物までの距離を求める場合は、単眼カメラにより障害物を認識し、予め決められた距離テーブルを参照し、障害物までの距離を求めることが行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−186343号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術は、車載の単眼のカメラにより障害物を認識し、その障害物までの距離を求める場合は予め決められた距離テーブルを参照して求めるものである。この方法は、道路に傾斜があったり、何かの拍子でカメラの取り付け角度が変わったりした場合に、正しい距離を推定できなくなってしまう、という問題がある。
【0005】
この実施形態では、障害物までの距離推定の向上を図ることのできる距離推定装置を提供する。
【課題を解決するための手段】
【0006】
実施形態によれば、自車に搭載された撮影用のビデオカメラと、前記カメラで捕えた画像に基づく垂直の基準法線ベクトルおよび前記画像の画素毎に異なる距離データをテーブルデータとして保存したメモリと、平坦路に垂直な状態の障害物に基づいた法線ベクトルを抽出する垂直成分抽出部と、前記自車の走行中に、前記法線ベクトルの傾きが時系列に一定の変化から大きく変化する位置を平坦路と傾斜路の境界とし、前記法線ベクトルの傾きが大きい位置を傾斜路とするとともに、該傾斜路の傾斜角を算出する傾斜路判定部と、前記傾斜路判定部で傾斜路にいると判定した場合、平坦路から傾斜路をどの程度進行したかを算出する傾斜路進行距離推定部と、前記傾斜路判定部および前記傾斜路進行距離推定部に基づき推定された距離から検出された障害物までの距離の補正係数を決定する距離補正パラメータ決定部と、前記法線ベクトルと地面の位置の画素に相当する前記距離データを前記テーブルデータから読み出すともとに、前記境界および前記法線ベクトルとの距離を前記傾斜角に基づき補正し、前記自車と前記障害物との距離を算出する距離算出部と、を備える。
【図面の簡単な説明】
【0007】
【図1】距離推定装置に関する第1の実施形態について説明するためのブロック図である。
【図2】自車が平坦路にある場合におけるテーブルデータとの関係について説明するための説明図である。
【図3】自車が傾斜路にある場合におけるテーブルデータとの関係について説明するための説明図である。
【図4】図1の処理動作について説明するための説明図である。
【図5】法線ベクトル抽出対象について説明するための説明図である。
【図6】法線ベクトル抽出対象について説明するための説明図である。
【図7】法線ベクトルについて説明するための説明図である。
【図8】法線ベクトルについて説明するための説明図である。
【図9】時系列に変化する法線ベクトルについて説明するための説明図である。
【図10】時系列に変化する法線ベクトルについて説明するための説明図である。
【図11】距離推定装置に関する第3の実施形態について説明するためのブロック図である。
【図12】図11の処理について説明するための説明図である。
【図13】図11の処理について説明するための説明図である。
【発明を実施するための形態】
【0008】
以下、実施形態について、図面を参照しながら詳細に説明する。
【0009】
(第1の実施形態)
図1〜図3は、距離推定装置に関する第1の実施形態を示し、図1は概略的なブロック図、図2は自車が平坦路ある場合におけるテーブルデータとの関係について説明するための説明図、図3は自車が傾斜路ある場合におけるテーブルデータとの関係について説明するための説明図である。
【0010】
メモリ10には、出荷時に障害物までの距離情報として車載用のビデオカメラ11のカメラキャリブレーション時にカメラ11に映し出したい位置までの画素毎の距離データをテーブルデータとして保存しておく。また、メモリ10には、キャリブレーションを行った時点で、平坦路21における垂直の基準法線ベクトルもテーブルデータとして保存しておく。
【0011】
カメラ11は、例えば自車12のボンネット先端内部に前方撮影用として設置されている。カメラ11ではアナログ映像信号をデジタル変換された映像信号を、図示しない制御部の制御に基づき取得し、公知の手法で画像変換処理などを行い、垂直成分抽出部13および距離補正パラメータ決定部14にそれぞれ供給する。
【0012】
垂直成分抽出部13では、カメラ11に映される平坦路21に対して垂直に立っている例えば建物22を形状マッチング処理により特定し、建物22のエッジ検出により例えば縦方向のエッジラインを検出する。エッジライン検出は、特定した建物画像の輝度信号を、縦方向のソベルフィルタに掛けて、縦エッジ画像を算出することで行うことができる。一般に建物22は垂直に立っているものであることから、図2に示す平坦路21に対する法線ベクトル23を得ることができる。
【0013】
図2のP1は、法線ベクトル23と地面とのポイント(画素)を示し、wは、自車12からポイントP1までの距離を示す。この距離wは、自車12から画素毎のポイントP1に相当する距離データをテーブルデータとして、前述したように予めメモリ10内に保存している。なお、距離wは、自車12から各画素より異なり、メモリ10には画素毎に異なる距離データがテーブルデータとして保存される。従って、法線ベクトル23がどの画素の位置にあるかにより、画素に相当する距離データをターンテーブルから、自車12とポイントP1が位置する画素の距離データをテーブルデータから読み出し距離wを特定することができる。
【0014】
法線ベクトル23は、例えば地面が平坦路の場合、規則性を有している。しかし進んでいる方向に傾斜路があった場合の法線ベクトル23の規則性は異なってくる。一般に、障害物に近づくに従い法線ベクトル23の傾きは漸次小さく(垂直に近づく)なって行くが、段差があった場合の法線ベクトル23の傾きの上下方向により大きくなったり、小さくなったりと変化する。法線ベクトル23の傾きと面の傾きは、1:1に対応する。つまり、法線ベクトル+の傾きが30度であれば地面も30度傾いていることになる。
【0015】
垂直成分抽出部13から抽出された建物22に基づく法線ベクトル23は、次段の傾斜判定部15に供給する。自車が任意の速度で走行している間の時系列上の法線ベクトルは、法線ベクトル23の傾きが単調に変化することになる。しかし、図3に示すように地面が傾斜路31の状態の場合は、規則的に変化していた法線ベクトルの傾きが異なってくる。
【0016】
傾斜判定部15は、自車走行に伴い変化する法線ベクトルの傾き度合いが地面の傾きの度合いで異なることを算出して地面の傾斜を判定する。傾斜判定部15では、その結果に基づき、図3に示す傾斜角θを抽出するとともに、平坦路21と傾斜路31の境界P2を抽出する。これにより傾斜判定部15は、自車12と境界P2までの距離xと境界P2から法線ベクトル23までの距離yを抽出するとともに、傾斜角θに伴う実際のポイントP1’までの距離y’(=y・cosθ)を求める。
【0017】
傾斜判定部15の出力は、次段の傾斜路進行距離推定部16に供給する。傾斜路進行距離推定部16では、自車12から得られる車速信号により、平坦路21から傾斜判定部15が判定した傾斜路31になってから進んだ距離を算出し、距離補正パラメータ決定部14に供給する。
【0018】
距離補正パラメータ決定部14では、カメラ11の自車前方の画像を図示しないモニターに映しながら、傾斜路進行距離推定部16の傾斜路31を進んだ自車12から境界P2までの距離xと傾斜判定部15で得られた境界P2からポイントP1’(障害物)までの補正距離y’をパラメータとして距離算出部17に供給する。
【0019】
距離算出部17では、認識された障害物である建物22の画面上の座標、換言すれば該当の画素とメモリ10に予め記憶された画素毎のテーブルデータとに基づき、自車から障害物までの距離が補正された推定距離情報を出力し、図示しないモニターあるいは音声で通知する。
【0020】
メモリ10に保存された基準法線ベクトルと建物22から抽出された法線ベクトル23との差分を取る。すると、平坦路21との相対的な傾きを時間毎(時系列)に抽出することができる。結果、道路の傾斜路を抽出することができ、傾斜路の傾斜角θを導き出すことができる。傾斜角θがわかれば、図3に示す自車12から建物22の法線ベクトル23までの距離がメモリ10に保存されたポイントP1に相当する画素に対応する距離w(x+y)がテーブルデータからわかり、自車12から建物22までの実測値に近い距離を、x+y’=x+y・cosθから導き出すことができる。なお、距離wは画素毎に異なることから、ポイントP1’に対応する画素の距離データをテーブルデータから読み出すことができる。
【0021】
次に、図4〜図6を参照しながら、図1における処理動作について、図7〜図12および図2、図3とともにさらに説明する。なお、図5、図7、図9はカメラ11で捕えた平坦路における画面上の擬似画像を示し、図6、図8、図10はカメラ11で捕えた傾斜路と平坦路における画面上の擬似画像を示す。
【0022】
先ず、図4のステップS1において、車の出荷時におけるカメラ11が映し出された画像が予め所定の距離になるようにカメラ11の角度調整を行い、調整後の画素毎の車から所定までの距離および基準となる平坦路21における垂直の基準法線ベクトルとを持ったテーブルデータをメモリ10に記憶しておく。例えば、建物の足元を見つけて、建物を検出した位置から画素毎の距離に関する記憶されたテーブルデータから足元のデータを抽出し、結果としてカメラ11から「何メートルの所に建物がある」の情報を出力する。つまり、画素毎のテーブルデータは、該当する画素のテーブルデータから距離を引っ張り出すアルゴリズムを用いる。
【0023】
次に、自車が停車状態か走行状態かを検出する(S2)。走行状態であれば、ステップS3に進み、垂直成分抽出部13においてカメラ11で捕えた図5に示す平坦路21にある建物22のエッジ画像51や図6に示す傾斜路31から平坦路21に連なる道路にある建物22のエッジ画像61の輝度信号について縦方向のソベルフィルタを掛け、例えば垂直の建物22の縦エッジを検出する。検出の結果、図5のエッジ画像51からは、図7に示す法線ベクトル23を、図6のエッジ画像61からは、図8に示す図7の法線ベクトルよりは斜めの法線ベクトル23をそれぞれ抽出する。
【0024】
ところで、画素毎の距離データは、平坦路を基準としたテーブルデータであるため、障害物までが平坦路から傾斜路であったり、傾斜路から平坦路であったりした場合は、目標物までの推定の距離に誤差が生じる。次のステップS4以降において、距離を正しく推定する処理が行われる。
【0025】
まずステップS4では、傾斜路判定部15で法線ベクトル23とメモリ10に保存された基準法線ベクトルとの差分を取り、平坦路か傾斜路かの判断を行い、走行中の平坦路との相対的な傾きが時系列に抽出することができ、地面の傾きを抽出して傾斜角θを算出する。
【0026】
ステップS5において、傾斜路と判断された場合に傾斜路進行距離推定部16では、自車12から得られる車速信号により傾斜判定部15が判定した傾斜路になってから進んだ距離を推定する。そして、自車12が傾斜路31を進んだ境界P2までの距離xと、それに傾斜判定部15で判定された傾斜路31の傾斜角θとを補正パラメータとして決定する(S6)。
【0027】
次のステップS7では、自車12とポイントP1におけるメモリ10のテーブルデータから読み出された距離データに基づく距離wと、傾斜路31における自車12と境界P2までの距離x、傾斜角θから境界P2からポイントP1’までの距離y’を距離算出部17で算出する。これにより、自車12から建物22までの精度の高い距離x+y’を推定することができる。
【0028】
算出された推定距離x+y’は、具体的に「何メートルです」の図示しないディスプレイに表示したり音声で流したりあるいは両方により障害物までの距離情報を出力し(S8)して知らせ、障害物までの距離推定のシステムの処理を終了する(S9)。
【0029】
この実施形態では、傾斜路やカメラの角度が何らかの原因で変わった場合にも、変わった距離の補正係数を決定する距離補正パラメータに基づき障害物までの距離推定の精度を向上させることが可能となる。
【0030】
(第2の実施形態)
この実施形態は、時系列に従い変化する法線ベクトルとメモリ10に保存された基準の法線ベクトルとの差分から地面が平坦路であるか傾斜路であるかを判定するとともに、傾斜路31が平坦路21に対する傾斜角θを算出したものである。
【0031】
先ずは、障害物のエッジ検出を行う。地面に対する法線ベクトルと思われる線のスクリーン座標系での傾きを求めて、ワールド座標系に変換する。現時点での平坦路21に対する傾き度合いを推定する。ワールド座標系にした時点で、自車12がある面が地平面に対して何度傾いているのかを求めることができる。建物22を法線ベクトルとして過程しているので。地面に対して垂直に立っている建物22を基準となる法線ベクトルとし、この法線ベクトルに対して時刻t毎に平坦路21に対する自車12の傾きを求める。
【0032】
自車12の傾きは、動いている自車の速度と時刻t毎の関係から求める。すると、平坦路21に対する傾きの差分の情報を時刻毎に追った結果が出力される。例えば、3秒前は2度傾き、2秒前は3度傾いているというような結果が得られる。これにより地面の傾斜状態を判別することができる。その傾斜路31が地面に対してどうであれ相対的に見て、平坦路21の場合、図9に示すように、法線ベクトルN1,N2・・・と地面との差分情報を、時刻t毎に求めた結果が出力され、傾斜路31と平坦路21を有する場合、図10に示すように、法線ベクトルn1,n2・・・と地面との差分の情報を、時刻毎に求めた結果が出力される。傾斜路31と平坦路2がある部分では、差分の変化に基づいた演算が制御部で行われる。傾斜路31が波打った状態の場合は、傾斜角θが時刻毎に変化することらなる。
【0033】
法線ベクトルの時系列上の前後の差分が出力され、予め設定したしきい値、例えば2度よりもよりも大きくなった場合は、そこに変化があったと判断する。その判断した箇所が何秒前だったかと、そのときまでの自車速度から傾斜路を進んだ距離を決定し、テーブルから引っ張り出したデータに、自分が進んだ距離xを引くことで、残りをyとθから実際の障害物までの距離y’を求める。
【0034】
すなわち、時刻t毎にサンプリングして行き、最初のサンプリング結果の傾きが1度、1度、1度、2度、2度と変化し、例えば何秒間に3度以上を変わったら、そこを地面の角度が変わった境界P2と判断するようにする。
【0035】
この実施形態では、波打ったような傾斜部を有する地面に対する傾斜判定を、走行中の自車が取得する法線ベクトルの時系列上の傾きの角度の変化に対応させていることから、波打ったような傾斜部の判別の向上を図ることができる。
【0036】
(第3の実施形態)
図11〜図13は、距離推定装置に関する第3の実施形態について説明するための概略的なブロック図である。上記した実施形態と同一の構成部分には同一の符号を付し、ここでの説明は省略する。
【0037】
この実施形態は、地図情報41と自車走行履歴情報42とを追加し、カメラ11に映る可能性のある地面に垂直に立っている建物22等の障害物に対する法線ベクトル抽出のパラメータを増やしたものである。地図情報41は、カーナビゲーションシステムの地図情報を用い、自車走行履歴情報42は、例えばCAN(Controller Area Network)通信等の車内通信回線を通じて、トランスミッション制御ユニットから得られるスピード、ハンドル、速度などの履歴情報を用いることができる。
【0038】
この実施形態の場合、カメラ11からの画像情報とともに、地図情報41および自車走行履歴情報42を取り込みパラメータとすることにより、障害物の法線ベクトル抽出精度を上げて傾斜路判定の精度を上げたり、自車が傾斜路をどれだけ進行したかの推定精度を上げたりするものである。
【0039】
すなわち、図4のステップS3の処理に、地図情報41から得られた情報に基づき、図12のステップS31〜S33の処理を追加したことで、垂直成分の抽出をより確実に行うことができる。
【0040】
また、図4のステップS5の処理に、自車走行履歴情報42から得られた走行履歴に基づき図13のステップS51〜S53の処理を追加したことで、履歴に基づいた傾斜路の推定や傾斜路の進行距離の推定の一助となる。つまり、傾斜路判定部15での判定結果と履歴とを比較し判定が正しいかの判定や傾斜路進行距離推定部16での自車の傾斜部進行距離と履歴とを比較し推定が正しいかの判定を行い、傾斜路の判定や傾斜路進行距離の推定精度を向上させることができる。
【0041】
なお、地図情報41および自車走行履歴情報42に基づくパラメータは、少なくも一方の情報を取り込むことでも、傾斜路の判定あるいは傾斜路進行距離の推定の精度を向上させることができる。
【0042】
この実施形態では、カメラ情報に基づく法線ベクトル抽出に加え、法線ベクトル抽出のパラメータを追加したことで、精度の高い法線ベクトル抽出が可能となる。
【0043】
上記の各実施形態では、斜路判定部は垂直成分の過去履歴情報もしくは位置履歴情報により現在地が傾斜しているかどうかを判定するものであってもよい。傾斜路進行距離推定はジャイロセンサーからの情報および車速センサーまたはGPS(全地球測位システム)等から得た情報により平坦路から傾斜路に入ってどの程度距離を進んだかを推定するものであってもよい。また、前方用のビデオカメラにおける障害物までの正確な距離測定について説明したが、後方用のビデオカメラを設置し、後方に対する障害物までの正確な距離測定にも同様の構成で実現することが可能である。
【0044】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0045】
10 メモリ
11 カメラ
13 垂直成分抽出部
14 距離補正パラメータ決定部
15 傾斜部判定部
16 傾斜路進行距離推定部
17 距離算出部
41 地図情報
42 自車走行履歴情報
【技術分野】
【0001】
この発明の実施形態は、障害物までの距離推定の向上を図ることのできる距離推定装置に関する。
【背景技術】
【0002】
従来、車載カメラで障害物までの距離を求める場合は、単眼カメラにより障害物を認識し、予め決められた距離テーブルを参照し、障害物までの距離を求めることが行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−186343号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術は、車載の単眼のカメラにより障害物を認識し、その障害物までの距離を求める場合は予め決められた距離テーブルを参照して求めるものである。この方法は、道路に傾斜があったり、何かの拍子でカメラの取り付け角度が変わったりした場合に、正しい距離を推定できなくなってしまう、という問題がある。
【0005】
この実施形態では、障害物までの距離推定の向上を図ることのできる距離推定装置を提供する。
【課題を解決するための手段】
【0006】
実施形態によれば、自車に搭載された撮影用のビデオカメラと、前記カメラで捕えた画像に基づく垂直の基準法線ベクトルおよび前記画像の画素毎に異なる距離データをテーブルデータとして保存したメモリと、平坦路に垂直な状態の障害物に基づいた法線ベクトルを抽出する垂直成分抽出部と、前記自車の走行中に、前記法線ベクトルの傾きが時系列に一定の変化から大きく変化する位置を平坦路と傾斜路の境界とし、前記法線ベクトルの傾きが大きい位置を傾斜路とするとともに、該傾斜路の傾斜角を算出する傾斜路判定部と、前記傾斜路判定部で傾斜路にいると判定した場合、平坦路から傾斜路をどの程度進行したかを算出する傾斜路進行距離推定部と、前記傾斜路判定部および前記傾斜路進行距離推定部に基づき推定された距離から検出された障害物までの距離の補正係数を決定する距離補正パラメータ決定部と、前記法線ベクトルと地面の位置の画素に相当する前記距離データを前記テーブルデータから読み出すともとに、前記境界および前記法線ベクトルとの距離を前記傾斜角に基づき補正し、前記自車と前記障害物との距離を算出する距離算出部と、を備える。
【図面の簡単な説明】
【0007】
【図1】距離推定装置に関する第1の実施形態について説明するためのブロック図である。
【図2】自車が平坦路にある場合におけるテーブルデータとの関係について説明するための説明図である。
【図3】自車が傾斜路にある場合におけるテーブルデータとの関係について説明するための説明図である。
【図4】図1の処理動作について説明するための説明図である。
【図5】法線ベクトル抽出対象について説明するための説明図である。
【図6】法線ベクトル抽出対象について説明するための説明図である。
【図7】法線ベクトルについて説明するための説明図である。
【図8】法線ベクトルについて説明するための説明図である。
【図9】時系列に変化する法線ベクトルについて説明するための説明図である。
【図10】時系列に変化する法線ベクトルについて説明するための説明図である。
【図11】距離推定装置に関する第3の実施形態について説明するためのブロック図である。
【図12】図11の処理について説明するための説明図である。
【図13】図11の処理について説明するための説明図である。
【発明を実施するための形態】
【0008】
以下、実施形態について、図面を参照しながら詳細に説明する。
【0009】
(第1の実施形態)
図1〜図3は、距離推定装置に関する第1の実施形態を示し、図1は概略的なブロック図、図2は自車が平坦路ある場合におけるテーブルデータとの関係について説明するための説明図、図3は自車が傾斜路ある場合におけるテーブルデータとの関係について説明するための説明図である。
【0010】
メモリ10には、出荷時に障害物までの距離情報として車載用のビデオカメラ11のカメラキャリブレーション時にカメラ11に映し出したい位置までの画素毎の距離データをテーブルデータとして保存しておく。また、メモリ10には、キャリブレーションを行った時点で、平坦路21における垂直の基準法線ベクトルもテーブルデータとして保存しておく。
【0011】
カメラ11は、例えば自車12のボンネット先端内部に前方撮影用として設置されている。カメラ11ではアナログ映像信号をデジタル変換された映像信号を、図示しない制御部の制御に基づき取得し、公知の手法で画像変換処理などを行い、垂直成分抽出部13および距離補正パラメータ決定部14にそれぞれ供給する。
【0012】
垂直成分抽出部13では、カメラ11に映される平坦路21に対して垂直に立っている例えば建物22を形状マッチング処理により特定し、建物22のエッジ検出により例えば縦方向のエッジラインを検出する。エッジライン検出は、特定した建物画像の輝度信号を、縦方向のソベルフィルタに掛けて、縦エッジ画像を算出することで行うことができる。一般に建物22は垂直に立っているものであることから、図2に示す平坦路21に対する法線ベクトル23を得ることができる。
【0013】
図2のP1は、法線ベクトル23と地面とのポイント(画素)を示し、wは、自車12からポイントP1までの距離を示す。この距離wは、自車12から画素毎のポイントP1に相当する距離データをテーブルデータとして、前述したように予めメモリ10内に保存している。なお、距離wは、自車12から各画素より異なり、メモリ10には画素毎に異なる距離データがテーブルデータとして保存される。従って、法線ベクトル23がどの画素の位置にあるかにより、画素に相当する距離データをターンテーブルから、自車12とポイントP1が位置する画素の距離データをテーブルデータから読み出し距離wを特定することができる。
【0014】
法線ベクトル23は、例えば地面が平坦路の場合、規則性を有している。しかし進んでいる方向に傾斜路があった場合の法線ベクトル23の規則性は異なってくる。一般に、障害物に近づくに従い法線ベクトル23の傾きは漸次小さく(垂直に近づく)なって行くが、段差があった場合の法線ベクトル23の傾きの上下方向により大きくなったり、小さくなったりと変化する。法線ベクトル23の傾きと面の傾きは、1:1に対応する。つまり、法線ベクトル+の傾きが30度であれば地面も30度傾いていることになる。
【0015】
垂直成分抽出部13から抽出された建物22に基づく法線ベクトル23は、次段の傾斜判定部15に供給する。自車が任意の速度で走行している間の時系列上の法線ベクトルは、法線ベクトル23の傾きが単調に変化することになる。しかし、図3に示すように地面が傾斜路31の状態の場合は、規則的に変化していた法線ベクトルの傾きが異なってくる。
【0016】
傾斜判定部15は、自車走行に伴い変化する法線ベクトルの傾き度合いが地面の傾きの度合いで異なることを算出して地面の傾斜を判定する。傾斜判定部15では、その結果に基づき、図3に示す傾斜角θを抽出するとともに、平坦路21と傾斜路31の境界P2を抽出する。これにより傾斜判定部15は、自車12と境界P2までの距離xと境界P2から法線ベクトル23までの距離yを抽出するとともに、傾斜角θに伴う実際のポイントP1’までの距離y’(=y・cosθ)を求める。
【0017】
傾斜判定部15の出力は、次段の傾斜路進行距離推定部16に供給する。傾斜路進行距離推定部16では、自車12から得られる車速信号により、平坦路21から傾斜判定部15が判定した傾斜路31になってから進んだ距離を算出し、距離補正パラメータ決定部14に供給する。
【0018】
距離補正パラメータ決定部14では、カメラ11の自車前方の画像を図示しないモニターに映しながら、傾斜路進行距離推定部16の傾斜路31を進んだ自車12から境界P2までの距離xと傾斜判定部15で得られた境界P2からポイントP1’(障害物)までの補正距離y’をパラメータとして距離算出部17に供給する。
【0019】
距離算出部17では、認識された障害物である建物22の画面上の座標、換言すれば該当の画素とメモリ10に予め記憶された画素毎のテーブルデータとに基づき、自車から障害物までの距離が補正された推定距離情報を出力し、図示しないモニターあるいは音声で通知する。
【0020】
メモリ10に保存された基準法線ベクトルと建物22から抽出された法線ベクトル23との差分を取る。すると、平坦路21との相対的な傾きを時間毎(時系列)に抽出することができる。結果、道路の傾斜路を抽出することができ、傾斜路の傾斜角θを導き出すことができる。傾斜角θがわかれば、図3に示す自車12から建物22の法線ベクトル23までの距離がメモリ10に保存されたポイントP1に相当する画素に対応する距離w(x+y)がテーブルデータからわかり、自車12から建物22までの実測値に近い距離を、x+y’=x+y・cosθから導き出すことができる。なお、距離wは画素毎に異なることから、ポイントP1’に対応する画素の距離データをテーブルデータから読み出すことができる。
【0021】
次に、図4〜図6を参照しながら、図1における処理動作について、図7〜図12および図2、図3とともにさらに説明する。なお、図5、図7、図9はカメラ11で捕えた平坦路における画面上の擬似画像を示し、図6、図8、図10はカメラ11で捕えた傾斜路と平坦路における画面上の擬似画像を示す。
【0022】
先ず、図4のステップS1において、車の出荷時におけるカメラ11が映し出された画像が予め所定の距離になるようにカメラ11の角度調整を行い、調整後の画素毎の車から所定までの距離および基準となる平坦路21における垂直の基準法線ベクトルとを持ったテーブルデータをメモリ10に記憶しておく。例えば、建物の足元を見つけて、建物を検出した位置から画素毎の距離に関する記憶されたテーブルデータから足元のデータを抽出し、結果としてカメラ11から「何メートルの所に建物がある」の情報を出力する。つまり、画素毎のテーブルデータは、該当する画素のテーブルデータから距離を引っ張り出すアルゴリズムを用いる。
【0023】
次に、自車が停車状態か走行状態かを検出する(S2)。走行状態であれば、ステップS3に進み、垂直成分抽出部13においてカメラ11で捕えた図5に示す平坦路21にある建物22のエッジ画像51や図6に示す傾斜路31から平坦路21に連なる道路にある建物22のエッジ画像61の輝度信号について縦方向のソベルフィルタを掛け、例えば垂直の建物22の縦エッジを検出する。検出の結果、図5のエッジ画像51からは、図7に示す法線ベクトル23を、図6のエッジ画像61からは、図8に示す図7の法線ベクトルよりは斜めの法線ベクトル23をそれぞれ抽出する。
【0024】
ところで、画素毎の距離データは、平坦路を基準としたテーブルデータであるため、障害物までが平坦路から傾斜路であったり、傾斜路から平坦路であったりした場合は、目標物までの推定の距離に誤差が生じる。次のステップS4以降において、距離を正しく推定する処理が行われる。
【0025】
まずステップS4では、傾斜路判定部15で法線ベクトル23とメモリ10に保存された基準法線ベクトルとの差分を取り、平坦路か傾斜路かの判断を行い、走行中の平坦路との相対的な傾きが時系列に抽出することができ、地面の傾きを抽出して傾斜角θを算出する。
【0026】
ステップS5において、傾斜路と判断された場合に傾斜路進行距離推定部16では、自車12から得られる車速信号により傾斜判定部15が判定した傾斜路になってから進んだ距離を推定する。そして、自車12が傾斜路31を進んだ境界P2までの距離xと、それに傾斜判定部15で判定された傾斜路31の傾斜角θとを補正パラメータとして決定する(S6)。
【0027】
次のステップS7では、自車12とポイントP1におけるメモリ10のテーブルデータから読み出された距離データに基づく距離wと、傾斜路31における自車12と境界P2までの距離x、傾斜角θから境界P2からポイントP1’までの距離y’を距離算出部17で算出する。これにより、自車12から建物22までの精度の高い距離x+y’を推定することができる。
【0028】
算出された推定距離x+y’は、具体的に「何メートルです」の図示しないディスプレイに表示したり音声で流したりあるいは両方により障害物までの距離情報を出力し(S8)して知らせ、障害物までの距離推定のシステムの処理を終了する(S9)。
【0029】
この実施形態では、傾斜路やカメラの角度が何らかの原因で変わった場合にも、変わった距離の補正係数を決定する距離補正パラメータに基づき障害物までの距離推定の精度を向上させることが可能となる。
【0030】
(第2の実施形態)
この実施形態は、時系列に従い変化する法線ベクトルとメモリ10に保存された基準の法線ベクトルとの差分から地面が平坦路であるか傾斜路であるかを判定するとともに、傾斜路31が平坦路21に対する傾斜角θを算出したものである。
【0031】
先ずは、障害物のエッジ検出を行う。地面に対する法線ベクトルと思われる線のスクリーン座標系での傾きを求めて、ワールド座標系に変換する。現時点での平坦路21に対する傾き度合いを推定する。ワールド座標系にした時点で、自車12がある面が地平面に対して何度傾いているのかを求めることができる。建物22を法線ベクトルとして過程しているので。地面に対して垂直に立っている建物22を基準となる法線ベクトルとし、この法線ベクトルに対して時刻t毎に平坦路21に対する自車12の傾きを求める。
【0032】
自車12の傾きは、動いている自車の速度と時刻t毎の関係から求める。すると、平坦路21に対する傾きの差分の情報を時刻毎に追った結果が出力される。例えば、3秒前は2度傾き、2秒前は3度傾いているというような結果が得られる。これにより地面の傾斜状態を判別することができる。その傾斜路31が地面に対してどうであれ相対的に見て、平坦路21の場合、図9に示すように、法線ベクトルN1,N2・・・と地面との差分情報を、時刻t毎に求めた結果が出力され、傾斜路31と平坦路21を有する場合、図10に示すように、法線ベクトルn1,n2・・・と地面との差分の情報を、時刻毎に求めた結果が出力される。傾斜路31と平坦路2がある部分では、差分の変化に基づいた演算が制御部で行われる。傾斜路31が波打った状態の場合は、傾斜角θが時刻毎に変化することらなる。
【0033】
法線ベクトルの時系列上の前後の差分が出力され、予め設定したしきい値、例えば2度よりもよりも大きくなった場合は、そこに変化があったと判断する。その判断した箇所が何秒前だったかと、そのときまでの自車速度から傾斜路を進んだ距離を決定し、テーブルから引っ張り出したデータに、自分が進んだ距離xを引くことで、残りをyとθから実際の障害物までの距離y’を求める。
【0034】
すなわち、時刻t毎にサンプリングして行き、最初のサンプリング結果の傾きが1度、1度、1度、2度、2度と変化し、例えば何秒間に3度以上を変わったら、そこを地面の角度が変わった境界P2と判断するようにする。
【0035】
この実施形態では、波打ったような傾斜部を有する地面に対する傾斜判定を、走行中の自車が取得する法線ベクトルの時系列上の傾きの角度の変化に対応させていることから、波打ったような傾斜部の判別の向上を図ることができる。
【0036】
(第3の実施形態)
図11〜図13は、距離推定装置に関する第3の実施形態について説明するための概略的なブロック図である。上記した実施形態と同一の構成部分には同一の符号を付し、ここでの説明は省略する。
【0037】
この実施形態は、地図情報41と自車走行履歴情報42とを追加し、カメラ11に映る可能性のある地面に垂直に立っている建物22等の障害物に対する法線ベクトル抽出のパラメータを増やしたものである。地図情報41は、カーナビゲーションシステムの地図情報を用い、自車走行履歴情報42は、例えばCAN(Controller Area Network)通信等の車内通信回線を通じて、トランスミッション制御ユニットから得られるスピード、ハンドル、速度などの履歴情報を用いることができる。
【0038】
この実施形態の場合、カメラ11からの画像情報とともに、地図情報41および自車走行履歴情報42を取り込みパラメータとすることにより、障害物の法線ベクトル抽出精度を上げて傾斜路判定の精度を上げたり、自車が傾斜路をどれだけ進行したかの推定精度を上げたりするものである。
【0039】
すなわち、図4のステップS3の処理に、地図情報41から得られた情報に基づき、図12のステップS31〜S33の処理を追加したことで、垂直成分の抽出をより確実に行うことができる。
【0040】
また、図4のステップS5の処理に、自車走行履歴情報42から得られた走行履歴に基づき図13のステップS51〜S53の処理を追加したことで、履歴に基づいた傾斜路の推定や傾斜路の進行距離の推定の一助となる。つまり、傾斜路判定部15での判定結果と履歴とを比較し判定が正しいかの判定や傾斜路進行距離推定部16での自車の傾斜部進行距離と履歴とを比較し推定が正しいかの判定を行い、傾斜路の判定や傾斜路進行距離の推定精度を向上させることができる。
【0041】
なお、地図情報41および自車走行履歴情報42に基づくパラメータは、少なくも一方の情報を取り込むことでも、傾斜路の判定あるいは傾斜路進行距離の推定の精度を向上させることができる。
【0042】
この実施形態では、カメラ情報に基づく法線ベクトル抽出に加え、法線ベクトル抽出のパラメータを追加したことで、精度の高い法線ベクトル抽出が可能となる。
【0043】
上記の各実施形態では、斜路判定部は垂直成分の過去履歴情報もしくは位置履歴情報により現在地が傾斜しているかどうかを判定するものであってもよい。傾斜路進行距離推定はジャイロセンサーからの情報および車速センサーまたはGPS(全地球測位システム)等から得た情報により平坦路から傾斜路に入ってどの程度距離を進んだかを推定するものであってもよい。また、前方用のビデオカメラにおける障害物までの正確な距離測定について説明したが、後方用のビデオカメラを設置し、後方に対する障害物までの正確な距離測定にも同様の構成で実現することが可能である。
【0044】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0045】
10 メモリ
11 カメラ
13 垂直成分抽出部
14 距離補正パラメータ決定部
15 傾斜部判定部
16 傾斜路進行距離推定部
17 距離算出部
41 地図情報
42 自車走行履歴情報
【特許請求の範囲】
【請求項1】
自車に搭載された撮影用のビデオカメラと、
前記カメラで捕えた画像に基づく垂直の基準法線ベクトルおよび前記画像の画素毎に異なる距離データをテーブルデータとして保存したメモリと、
平坦路に垂直な状態の障害物に基づいた法線ベクトルを抽出する垂直成分抽出部と、
前記自車の走行中に、前記法線ベクトルの傾きが時系列に一定の変化から大きく変化する位置を平坦路と傾斜路の境界とし、前記法線ベクトルの傾きが大きい位置を傾斜路とするとともに、該傾斜路の傾斜角を算出する傾斜路判定部と、
前記傾斜路判定部で傾斜路にいると判定した場合、平坦路から傾斜路をどの程度進行したかを算出する傾斜路進行距離推定部と、
前記傾斜路判定部および前記傾斜路進行距離推定部に基づき推定された距離から検出された障害物までの距離の補正係数を決定する距離補正パラメータ決定部と、
前記法線ベクトルと地面の位置の画素に相当する前記距離データを前記テーブルデータから読み出すともとに、前記境界および前記法線ベクトルとの距離を前記傾斜角に基づき補正し、前記自車と前記障害物との距離を算出する距離算出部と、を備えた距離推定装置。
【請求項2】
前記距離算出部は、前記テーブルデータから読み出された距離データの距離をwと前記自車から前記境界までの傾斜路の距離をxとの差をy、傾斜路の傾斜角をθとしたとき、前記境界と前記障害物との距離y’を(y・cosθ)としたことで、前記自車から前記障害物までの距離を(x+y・cosθ)と算出した、請求項1記載の距離推定装置。
【請求項3】
前記傾斜路判定部は、前記メモリに保存された基準法線ベクトルと前記法線ベクトルとの差分に基づき判定する、請求項1記載の距離推定装置。
【請求項4】
前期傾斜路判定部は、前記自車走行中に時系列に変化する前記法線ベクトルの傾きの度合いの変化に基づき判定する、請求項1記載の距離推定装置。
【請求項1】
自車に搭載された撮影用のビデオカメラと、
前記カメラで捕えた画像に基づく垂直の基準法線ベクトルおよび前記画像の画素毎に異なる距離データをテーブルデータとして保存したメモリと、
平坦路に垂直な状態の障害物に基づいた法線ベクトルを抽出する垂直成分抽出部と、
前記自車の走行中に、前記法線ベクトルの傾きが時系列に一定の変化から大きく変化する位置を平坦路と傾斜路の境界とし、前記法線ベクトルの傾きが大きい位置を傾斜路とするとともに、該傾斜路の傾斜角を算出する傾斜路判定部と、
前記傾斜路判定部で傾斜路にいると判定した場合、平坦路から傾斜路をどの程度進行したかを算出する傾斜路進行距離推定部と、
前記傾斜路判定部および前記傾斜路進行距離推定部に基づき推定された距離から検出された障害物までの距離の補正係数を決定する距離補正パラメータ決定部と、
前記法線ベクトルと地面の位置の画素に相当する前記距離データを前記テーブルデータから読み出すともとに、前記境界および前記法線ベクトルとの距離を前記傾斜角に基づき補正し、前記自車と前記障害物との距離を算出する距離算出部と、を備えた距離推定装置。
【請求項2】
前記距離算出部は、前記テーブルデータから読み出された距離データの距離をwと前記自車から前記境界までの傾斜路の距離をxとの差をy、傾斜路の傾斜角をθとしたとき、前記境界と前記障害物との距離y’を(y・cosθ)としたことで、前記自車から前記障害物までの距離を(x+y・cosθ)と算出した、請求項1記載の距離推定装置。
【請求項3】
前記傾斜路判定部は、前記メモリに保存された基準法線ベクトルと前記法線ベクトルとの差分に基づき判定する、請求項1記載の距離推定装置。
【請求項4】
前期傾斜路判定部は、前記自車走行中に時系列に変化する前記法線ベクトルの傾きの度合いの変化に基づき判定する、請求項1記載の距離推定装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−92820(P2013−92820A)
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2011−232745(P2011−232745)
【出願日】平成23年10月24日(2011.10.24)
【出願人】(504113008)東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Fターム(参考)】
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願日】平成23年10月24日(2011.10.24)
【出願人】(504113008)東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Fターム(参考)】
[ Back to top ]