説明

車両検出装置、ナビゲーション装置、車両検出プログラムおよび車両検出方法

【課題】車両の画像と同様の特徴を持つ画像が画像内に含まれる場合に、正確に車両の有無を検出することができなかった。
【解決手段】自車両の振動を検出し、前記自車両の後方に位置する道路の画像を取得し、前記振動を検出したときの前記自車両の位置に基づいて、前記振動を前記自車両に対して与えた路面上の構造物の位置を前記画像内で特定し、前記画像から車両の画像の特徴を抽出して前記他車両を検出するにあたり、前記構造物の位置においては、前記構造物の周囲の画像から車両の画像の特徴が検出されなければ、少なくとも当該構造物の位置に他車両が存在しないと判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自車両の周囲に存在する他車両を検出する車両検出装置、プログラムおよび方法に関する。
【背景技術】
【0002】
従来、自車両に搭載されたカメラにて道路を撮影し、撮影した画像から車両の特徴を抽出し、自車両の周囲に存在する他車両を検出する技術が知られている。例えば、特許文献1には、画像のエッジを抽出し、車両の画像に現れる典型的なエッジが抽出されたときに他車両が存在することを検出する技術が開示されている。
【特許文献1】特開2004−310282号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
従来の技術においては、車両の画像と同様の特徴を持つ画像が画像内に含まれる場合に、正確に車両の有無を検出することができなかった。すなわち、画像内での車両検出は、2次元画像から車両の特徴を抽出することによって行っているが、この特徴が車両の特徴であると同時に車両以外の物体、例えば、路面上の構造物を撮影した2次元画像の特徴に一致することがある。
【0004】
この場合、車両の画像の特徴を抽出するのみでは、その画像が真に車両の画像であるのか、車両以外の物体であるのかを区別することができず、正確に車両の有無を検出することができない。特に、高速道路の継ぎ目の画像における特徴(エッジの方向や画像の階調値の分布)が車両の画像と酷似しており、両者の分別が困難であった。
本発明は、上記課題にかんがみてなされたもので、正確に車両の有無を検出する技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記の目的を達成するため、本発明においては、画像から車両の画像の特徴を抽出して前記他車両を検出する構成を採用しており、この構成において他車両と路面上の構造物とを区別するため、画像内で路面上の構造物の像が現れる位置を特定し、当該構造物の位置について他車両の存在を判定する場合には、前記構造物の周囲の画像から前記車両の画像の特徴が検出されなければ、当該構造物の位置に他車両が存在しないと判定する。
【0006】
すなわち、他車両検出手段においては、画像内に車両の画像が存在するときに車両の画像の特徴を抽出する。ところが、画像内に他車両が存在しなくても、路面上の構造物の画像が車両の画像と類似した特徴を持つのであれば、画像から車両の画像の特徴が検出されたとしても、その特徴が他車両と構造物とのいずれに起因するのかを判定することができず、他車両の存在を正確に検出することができない。
【0007】
そこで、本発明においては、画像の特徴のみによって他車両を検出するのではなく、路面上の構造物の位置に関する情報を取得して他車両の検出に利用しており、画像内に当該構造物の画像が含まれるのであれば、当該構造物を含む位置に関する判定にあたり当該構造物の周囲の画像に車両の画像の特徴が含まれるか否かを判定し、この判定に基づいて構造物の位置における他車両の有無を判定する。
【0008】
すなわち、前記構造物を含む画像から車両の画像の特徴を抽出してもその特徴が真に車両に起因するのか当該構造物に起因するのかを判定することができないので、当該構造物の位置における画像以外の画像も参照することとしており、何もない空間に車両が突然現れることはないので、構造物の周囲の画像から車両の画像の特徴が抽出されなければ当該構造物の位置に車両が存在していることはないと見なす。この結果、前記構造物の周囲の状況から当該構造物の位置に他車両が存在し得ることが推定できる場合のみに構造物の位置に他車両が存在している旨の結論を出すことになり、正確に車両の有無を検出することが可能になる。
【0009】
なお、本発明において、振動検出手段は自車両の振動を検出することができればよく、路面と自車両との相対的な位置の変動を直接的または間接的に検出することができる限りにおいて、各種センサを採用可能である。また、画像取得手段は、他車両の存在を検出すべき範囲を視野にして道路の画像を取得することができればよく、自車両に搭載された種々のカメラを採用可能である。
【0010】
さらに、この画像においては検出対象となる他車両が走行し得る道路を含む限りにおいて、どのような態様であってもよく、例えば、自車両の後方を撮影した画像そのものを利用しても良いし、この画像について視点変換を行って道路を上方から見た画像を取得しても良い。このような視点変換によれば、道路上で他車両が存在しない位置に自車両を進入させるための案内を行う際に、当該視点変換後の画像を表示することにより、わかりやすい表示を行うことが可能である。
【0011】
さらに、構造物特定手段においては、前記振動を検出したときの前記自車両の位置に基づいて構造物の位置を画像内で特定することができればよく、種々の構成が採用可能である。すなわち、道路の横方向の全幅に渡って車線に垂直な方向に長い構造物(道路の継ぎ目等)が存在するとき、振動を検出したときの自車両の位置が道路内での前記構造物の位置であると見なすことができる。
【0012】
また、画像取得手段によって取得される画像内の各位置と自車両との相対的な位置関係は予め取得しておくことができるので、画像取得手段によって画像を取得したときの自車両の位置と振動を検出したときの位置との相対関係に基づいて当該画像内での構造物の位置(振動を検出したときの自車両の位置に対応する道路上の位置)を特定することが可能である。
【0013】
なお、画像取得手段にて画像を取得したときの自車両の位置は、例えば、自車両の速度と前記振動を検出した時点から画像を取得する時点までの経過時間とに基づいて特定することが可能である。すなわち、振動を検出した時点から画像を取得するまでの自車両の速度を取得し、この速度に経過時間を乗じれば振動を検出した位置から画像を取得した位置までの距離を取得することができ、画像を取得した位置を特定することができる。
【0014】
むろん、上述のように位置を特定する際には、絶対位置(緯度や経度、地図上での座標)を利用してもよいし相対位置(ある車線の基準位置からの距離)を利用してもよい。また、自車両の速度を利用することなく、GPS衛星からの信号や自車両の走行軌跡に基づいて自車両の位置を特定してもよく、種々の構成を採用可能である。
【0015】
さらに、他車両検出手段において他車両を検出するにあたり、画像を分割しても良い。例えば、画像取得手段にて取得した画像に複数の検出領域を設定し、他車両検出手段において検出領域毎に他車両を検出すれば、車両の進行方向に延びる路面上で他車両が存在する部分と存在しない部分を検出領域毎に把握することができる。従って、自車両を進入させることが可能な位置を容易に把握することができる。なお、上述のように視点変換を行った画像であれば、車両の進行方向に沿って一定の間隔で画像を区切ることで容易に同じ大きさの検出領域を設定することができ、検出領域の大きさが異なる場合と比較して極めて容易に画像の特徴を解析することが可能になる。
【0016】
なお、検出領域毎に他車両を判定する構成においては、前記構造物の位置に関する判定も検出領域に関連させて実施させることが可能であり、例えば、前記構造物が含まれる検出領域において車両の画像の特徴が抽出され、かつ、当該構造物の周囲の画像から車両の画像の特徴が抽出されたときに前記構造物が含まれる検出領域に他車両が存在すると判定する構成を採用可能である。また、前記構造物が含まれる検出領域の画像から当該構造物の画像を除外し、残りの画像から車両の画像の特徴を抽出したときに前記構造物が含まれる検出領域に他車両が存在すると判定する構成としてもよい。むろん、上述のように構造物の画像を除外する構成のみならず、構造物の画像を路面の画像で置換する構成等を採用しても良い。
【0017】
さらに、他車両検出手段において、画像から車両の画像の特徴を抽出して他車両を検出する構成としても種々の構成を採用可能である。例えば、各画素の階調値に基づいて画像の特徴量を抽出し、特徴量の分布が車両の画像に現れる典型的な分布に対応しているか否かを判定すれば他車両の存在を検出することができる。なお、特徴量としては、画像に含まれる特定のオブジェクトについてその特徴を捉える量であればよく、輝度値や特定色の階調値など、種々の量を採用可能である。分布の解析においても種々の構成を採用可能であり、特定の特徴量にピークを有する分布の幅、標準偏差、分散を解析しても良いし、ピークの値等を解析しても良い。むろん、解析の前に画像の明るさを調整するなど、前処理を行っても良い。
【0018】
さらに、他車両検出手段において、前記構造物の周囲の画像から車両の画像の特徴を抽出する処理は、前記構造物の位置の画像から車両の特徴が検出された場合に行っても良いし、当該構造物の位置の画像から車両の特徴を検出するか否かにかかわらず行ってもよく、種々の構成を採用可能である。また、構造物の周囲の画像は、構造物の周囲として予め定義した範囲の画像であればよく、その範囲は前記検出領域の大きさと一致していても良いし、検出領域の大きさと無関係に決定しても良い。
【0019】
また、前記構造物の周囲の画像は構造物の周囲の像である限り種々の画像から取得することが可能であり、同じ時点で撮影した画像から取得しても良いし、異なる時点で撮影した画像から取得しても良い。例えば、所定の時間間隔で前記画像を取得してその画像データを記憶媒体に保持する構成において、ある時点で取得した画像に基づいて他車両を検出するにあたり、それ以前に取得した前記画像に基づいて前記構造物の周囲の画像を取得する構成としても良い。
【0020】
より具体的には、ある時点で取得した画像において前記構造物の位置から車両の画像の特徴が抽出されたときに、それより前の時点で取得した画像を参照し、前記構造物の周囲の画像に基づいて他車両を検出する。すなわち、ある時点より前の画像において、前記構造物より後方の画像から他車両が検出されたとき、当該ある時点においては他車両が前進し、前記構造物の位置の付近に進行していることが予想される。
【0021】
そこで、ある時点より前の画像において、前記構造物より後方の画像から他車両が検出されたときに前記構造物の位置に他車両が存在する旨の判定を行い、前記構造物より後方の画像から他車両が検出されないときに前記構造物の位置には他車両が存在しない旨の判定を行えば、当該構造物の位置において他車両の存在を正確に検出することができる。なお、以上の構成では、他車両が前進することによって当該他車両が前記構造物の位置に進行していると予想している。そこで、画像の取得時間間隔と他車両の速度(例えば、他車両の平均速度等)とに基づいて当該時間間隔における他車両の平均的な移動距離を算出し、前記構造物に対してこの移動距離だけ後ろに位置する領域を含む画像を前記構造物の周囲の画像とすることが好ましい。
【0022】
むろん、ある時点より前の画像において、前記構造物より後方の画像のみではなく、当該構造物より前方の画像を参照しても良い。例えば、当該構造物より前方の画像から他車両が検出されたとしても、前記構造物の位置において他車両が存在する旨の判定を行う構成を採用可能である。以上の構成によれば、他車両が存在する場合に存在しないと判定してしまう誤判定が発生することを抑えることができる。
【0023】
さらに、本発明のように自車両の振動を検出することによって路面上の構造物を検出し、当該構造物の存在を考慮して他車両を検出する手法は、この判定を行うプログラムや方法としても適用可能である。また、以上のような他車両検出装置、プログラム、方法は、単独の他車両検出装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような他車両の検出に基づいて道路に自車両を進入させるための案内を行うナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、他車両検出装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【発明を実施するための最良の形態】
【0024】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)ナビゲーション装置の構成:
(2)他車両検出処理:
(3)他の実施形態:
【0025】
(1)ナビゲーション装置の構成:
図1は、本発明にかかる他車両検出装置を含むナビゲーション装置10の構成を示すブロック図である。ナビゲーション装置10は、CPU,RAM,ROM等を備える制御部20と記憶媒体30とを備えており、記憶媒体30やROMに記憶されたプログラムを制御部20で実行することができる。本実施形態においては、このプログラムの一つとしてナビゲーションプログラム21を実施可能であり、当該ナビゲーションプログラム21はその機能の一つとして自車両を隣の車線に進入させるための案内を行う機能を備えている。なお、この案内を行うときに、自車両が走行している車線の隣の車線に他車両が存在するか否かを検出する他車両検出処理を行う。
【0026】
自車両(ナビゲーション装置10が搭載された車両)には、ナビゲーションプログラム21を実現するためにGPS受信部40と振動検出センサ41とカメラ42と車速センサ43と舵角センサ44とスピーカー45と表示部46とが備えられており、これらの各部と制御部20との信号の授受は図示しないインタフェースによって実現されている。
【0027】
GPS受信部40は、GPS衛星からの電波を受信し、図示しないインタフェースを介して自車両の現在位置を算出するための情報を出力する。制御部20は、この信号を取得して自車両の現在位置を取得する。振動検出センサ41は、自車両の振動(路面に対して垂直な方向の変動)に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、振動の程度によって路面の継ぎ目(路面上の構造物)の有無を検出する。なお、振動検出センサ41は、自車両の振動を検出することができればよく、加速度センサやサスペンションの高さを検出するセンサなど、路面上の構造物を検出することができる限りにおいて種々のセンサを採用することが可能である。
【0028】
カメラ42は、自車両の後方の道路を視野に含むように自車両に対して取り付けられており、撮影した画像を示す画像データを出力する。制御部20は、図示しないインタフェースを介してこの画像データを取得し、他車両の検出や各種の案内に利用する。車速センサ43は、自車両が備える車輪の回転速度に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、車輪毎に速度(路面と車輪との相対速度)を取得する。舵角センサ44は自車両のステアリングの回転角に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、ステアリングの回転角を示す情報を取得する。むろん、以上のセンサ以外に、方位センサや加速度センサ等を備える構成であっても良い。
【0029】
制御部20は、ナビゲーションプログラム21を実行することにより、上述のようにして取得した各種情報に基づいて自車両の後方における他車両の存在や目的地までの経路等を示す情報を出力して自車両を案内する。すなわち、制御部20は、音声によって各種の案内を行うための制御信号をスピーカー45に出力し、スピーカー45から案内情報としての音声を出力する。また、制御部20は、画像によって各種の案内を行うための制御信号を表示部46に出力し、表示部46にその画像を表示する。
【0030】
さらに、記憶媒体30には、ナビゲーションプログラム21による案内を実施するため、地図情報30aと継ぎ目位置データ30bとが記憶されている。地図情報30aは、道路上に設定されたノードを示すノードデータやノード同士の連結を示すリンクデータ、道路の高度を示すデータ、目標物を示すデータ等を含み、自車両の位置の特定や目的地への案内に利用される。
【0031】
継ぎ目位置データ30bは継ぎ目の位置を特定したデータであり、振動検出センサ41によって振動が検出されたときの自車両の位置に基づいて継ぎ目の位置が特定される。すなわち、継ぎ目が道路の横方向の全幅に渡って存在することから、振動を検出したときの自車両の位置が道路内での継ぎ目の位置と見なしている。なお、継ぎ目位置データ30bにおいては路面上の継ぎ目の位置を特定することができればよく、GPS受信部40からの信号に基づいて緯度や経度を記録しても良いし、地図情報30aに基づいて地図上の位置を示す座標を記録してもよいし、地図上の基準点からの距離を記録してもよく、種々の構成が採用可能である。また、本実施形態においては、後に自車両の位置を検出するために前記振動を検出したときの時刻を継ぎ目位置データ30bに対応づけて記録する。
【0032】
本実施形態において、ナビゲーションプログラム21は、他車両検出処理を行って自車両を隣の車線へ案内するために、振動検出部21aと画像取得部21bと構造物特定部21cと他車両検出部21dと案内部21eとを備えている。振動検出部21aは、振動検出センサ41からの信号に基づいて継ぎ目位置データ30bを記録する処理を行うモジュールである。
【0033】
図2は、振動検出部21aにおける処理を示すフローチャートであり、ナビゲーションプログラム21が実行されているときには、振動検出部21aにおける処理が常に実行されている。すなわち、振動検出部21aが振動検出センサ41からの信号を受信する(ステップS100)と、その信号が予め決められた路面の継ぎ目の振動に相当するか否かを判定(ステップS110)する。当該ステップS110にてその振動が路面の継ぎ目の振動に相当すると判定された場合にはその位置を示すデータを取得し、このデータを継ぎ目位置データ30bに追加して当該継ぎ目位置データ30bを更新する(ステップS120)。ステップS110にてその振動が路面の継ぎ目の振動に相当すると判定されない場合には、ステップS100以降の処理を繰り返す。以上のようにして、振動検出部21aは、路面の継ぎ目による振動を検出する度に継ぎ目位置データ30bを更新する。
【0034】
画像取得部21bは、カメラ42から画像データを取得するモジュールであり、特定の時間間隔毎(本例では1秒間に10フレーム)に画像データを取得して図示しないメモリに保持する。さらに、当該画像データに対して視点変換処理を行い、他車両を検出するための検出領域を画像内に設定する。すなわち、本実施形態においては、特定の時間間隔毎にカメラ42で自車両の後方を撮影した画像を取得し、カメラ42の姿勢や位置等に基づいて各画像内の物体を上方から眺めた像に変換する。なお、この視点変換処理は公知の手法によって実施可能である。
【0035】
画像取得部21bは、前記検出領域を設定する検出領域設定部21b1を備えており、検出領域設定部21b1は、上述のようにして視点変換がなされた画像から自車両が走行している車線の隣の車線(自車両の移動先の車線:隣接車線と呼ぶ)を検出し、隣接車線内で他車両を検出するための検出領域を設定する。当該検出領域は隣接車線内で車両進行方向に並ぶ矩形の領域であり、検出領域設定部21b1は、車線の幅を示す白線に基づいて隣接車線の幅を検出し、当該隣接車線が延びる方向に一定の間隔で領域を区切ることによって検出領域を設定する。なお、本実施形態においては、視点変換によって隣接車両が等幅かつ直線状の画像になっているため、隣接車線が延びる方向に等間隔の領域を設定することで極めて容易に同じ大きさの検出領域を設定することができる。
【0036】
図3は、車線と自車両と視点変換後の画像との関係を示す模式図である。同図の左側にはある時点において走行車線上を紙面下方に向けて走行する自車両Cおよびその隣接車線を示しており、視点変換後の画像に含まれる隣接車線の画像を矩形の枠Fnで示している。また、路面上の継ぎ目Jをハッチングで示している。上述のように、画像取得部21bはカメラ42が取得した画像を視点変換した画像を取得しているので、当該視点変換後の画像において車線方向に延びる複数の直線を抽出し、自車両の隣において直線に挟まれた領域を抽出すれば、図3の枠Fnに示すように隣接車線の画像を抽出することができる。
【0037】
そこで、検出領域設定部21b1は、白線に挟まれる隣接車線を一定間隔で区切り、隣接車線が延びる方向に並ぶ検出領域R1〜R6を設定する。当該検出領域R1〜R6は、それぞれの領域内に他車両が存在するか否かを検出するための領域である。なお、本実施形態においては、検出領域R1〜R6を合わせた領域を判定領域Rと呼ぶ。また、検出領域設定部21b1においては隣接車線内に複数の検出領域を設定することができる限りにおいて他にも種々の処理を採用可能である。例えば、上述の直線抽出のためにハフ変換を行っても良いし、画像内の特定の位置には特定の検出領域が配置されるはずであるとして視点変換後の画像の既定位置に検出領域を設定してもよく、種々の処理を採用可能である。
【0038】
構造物特定部21cは、継ぎ目位置データ30bに基づいて、継ぎ目の位置を前記視点変換後の画像内で特定するモジュールである。この処理を行うため、構造物特定部21cは自車位置検出部21c1を備えており、自車位置検出部21c1は、画像取得部21bにて各画像を取得したときの自車両の位置を特定し、構造物特定部21cがその画像内で継ぎ目の位置を特定する。すなわち、カメラ42は自車両に固定されているため、その画像を視点変換した後の画像における各部分とカメラ42との相対関係(すなわち、各部分と自車両との相対関係)を予め特定することが可能である。
【0039】
従って、継ぎ目位置データ30bを参照すれば、当該継ぎ目位置データ30bが示す継ぎ目の位置が前記判定領域Rに含まれるか否か(すなわち、検出領域R1〜R6に含まれるか否か)を判定することが可能である。そこで、自車位置検出部21c1は、振動検出センサ41によって継ぎ目の振動に相当する振動を検出してから画像取得部21bにて画像を取得するまでの経過時間を取得し、車速センサ43からの信号に基づいて自車両の速度を取得し、両者に基づいて当該経過時間による走行距離(図3の左側における距離L)を算出して前記画像を取得したときの自車両の位置を特定する。
【0040】
構造物特定部21cは、当該自車両の位置と継ぎ目位置データ30bが示す継ぎ目の位置とに基づいて判定領域R内に継ぎ目が含まれるか否かを判定し、また、継ぎ目が含まれる検出領域を特定する。なお、自車位置検出部21c1によって自車両の位置を特定するための構成は上述の構成に限られず、GPS衛星からの信号や、自車両の軌跡情報に基づいて自車両の絶対位置や相対位置を決定する構成を採用しても良い。
【0041】
他車両検出部21dは、継ぎ目による影響を考慮しながら各検出領域のそれぞれにおいて車両の画像の特徴が存在するか否かを判定し、この判定に基づいて他車両の存在を検出するモジュールである。本実施形態においては、予め輝度のヒストグラムの幅を示す図示しないデータを車両の画像の特徴として設定しており、予め決められた輝度範囲にピークを持つ分布の幅を抽出する。
【0042】
図4は、検出領域毎の輝度のヒストグラムの例を示す図であり、図4Aは他車両が存在しない場合のヒストグラム、図4Bは他車両が存在する場合のヒストグラムを示している。検出領域に他車両が存在しない場合その画像の大半は路面の像となり、たいていの場合路面の画像は一様であるため、図4Aに示すように狭い範囲に大半の輝度値が分布し、その輝度ヒストグラムにおいては特定の輝度値近辺に幅の狭いピークP0が現れる。
【0043】
一方、検出領域に他車両が存在する場合、その画像には路面の画像と車両の画像が含まれ、前記ピークP0の度数が少なくなり、車両の画像の平均輝度値付近に輝度値が分布した比較的幅の広いピークP1が出現する。そこで、当該車両の画像の特徴としてそのピークP1の幅や最大度数となる輝度値の範囲等を予め特定しておき、他車両検出部21dにおいて当該輝度値の範囲に既定の幅のピークが存在するか否かを判別することによって他車両を検出する。
【0044】
なお、他車両検出部21dにおいては、検出領域の画像の階調値に基づいて車両の画像の特徴を抽出し、その結果、他車両の存在を検出すればよいので、上述の処理に付随するいかなる処理を併用しても良い。例えば、路面上に影の画像が存在する場合にその影響を除外したり、時刻や天候によって明るさ、コントラスト、色相等の調整を行っても良い。また、前記ピークP1を抽出するために、所定の輝度値の範囲にピークを持つ分布が現れているときにその分布を規格化してから幅を取得する構成を採用してもよく、種々の構成を採用可能である。
【0045】
以上のように、他車両検出部21dにおいては、検出領域毎にその輝度ヒストグラムを解析して他車両を検出するが、以上の検出においては、検出領域内に上述のピークP1と同じ特徴を与える画像が含まれていてもその画像と車両の画像とを区別することができない。また、出願人の解析によれば、路面上の継ぎ目の画像の特徴は上述の車両の画像の特徴と酷似していることが判明している。
【0046】
そこで、本実施形態においては、継ぎ目を含む検出領域(図3の左側の例では検出領域R3)について他車両の有無を検出する際に、1フレーム前の画像における継ぎ目の後方の検出領域を参照する。そして、当該継ぎ目の後方の検出領域から車両の画像の特徴が検出されていない場合には、前記継ぎ目を含む検出領域に他車両が存在しない旨の判定を行う。なお、本実施形態においては、1フレームの取得間隔における他車両の進行距離を考慮して継ぎ目の後方の検出領域を設定している。
【0047】
例えば、他車両の平均速度が約100km/hとした場合、画像取得部21bにおける画像の取得間隔(本実施形態においては1/10秒)で他車両が隣接車線を進行する平均的な距離は約3mである。従って、1フレーム前の画像において、継ぎ目の3m後方の領域を含む検出領域を参照し、この検出領域から車両の画像の特徴が検出されないのであれば、現フレームの画像において継ぎ目を含む検出領域に他車両が存在しないと判定することができる。
【0048】
図3にはこの例を示しており、図3の左右には同じ道路を示すとともに左側には他車両検出処理中の画像(現フレーム)における判定領域Rの画像を枠Fnで示し、右側には1フレーム前の画像(前フレーム)における判定領域Rの画像を枠Fn-1で示している。当該図3に示す例において、継ぎ目Jの3m後方に相当する位置は前フレームの検出領域R4に含まれるので、この例であれば、前フレームの検出領域R4において他車両が検出されていなければ現フレームの検出領域R3にて他車両が存在しないと判定することになる。
【0049】
案内部21eは、以上のようにして判定した各検出領域R1〜R6についての判定結果に基づいて自車両を隣接車線に進入させるための案内情報をスピーカー45や表示部46に対して出力する。ここでは、隣接車線に対して自車両を進入させる際のいかなる案内を採用してもよく、例えば、他車両が存在しない位置に自車両を移動させるために自車両で必要な加減速を案内したり、自車両の横に他車両が存在しないときに車線変更を促す案内をしたり、自車両に対して接近する他車両を通知するなどの案内を採用可能である。以上の構成により、車両の画像と類似する特徴を持つ画像が含まれていても正確に他車両の存在を検出し、案内を行うことが可能になる。
【0050】
(2)他車両検出処理:
次に、以上の構成においてナビゲーション装置10が実施する他車両検出処理を説明する。図5,図6は、本実施形態における他車両検出処理を示すフローチャートである。本実施形態において、ナビゲーションプログラム21は目的地への案内等を行っており、ウインカーのスイッチがONになったときやGPS受信部40の情報に基づいて高速道路の本線に自車両が合流しようとしていることを判定し、図5,図6に示す処理を開始する。この処理が開始されると、画像取得部21bはカメラ42から画像データを取得し(ステップS200)、画像データに基づいて各画像に対して視点変換処理を行う(ステップS205)。
【0051】
次に、構造物特定部21cは継ぎ目位置データ30bを参照し、継ぎ目位置データ30bが存在するか否かを判定する(ステップS210)。当該ステップS210にて継ぎ目位置データ30bが存在すると判定されたときには、継ぎ目位置データ30bに対応づけられている時間からステップS200にて画像を取得するまでの経過時間を取得し(ステップS215)、その継ぎ目の座標を算出する(ステップS220)。すなわち、自車位置検出部21c1は、当該経過時間内に車速センサ43から取得した情報に基づいて自車両の速度を算出し、当該速度と経過時間とによって自車両と継ぎ目との相対距離(図3の左側における距離L)を算出する。
【0052】
さらに、構造物特定部21cは、ステップS205における視点変換後の画像の各部分と自車両との相対的な位置関係に基づいて、継ぎ目の座標が視点変換後の画像の判定領域内であるか否かを判定する(ステップS225)。すなわち、視点変換後の画像の各部分と自車両との相対的な位置関係が、例えば、図3の左側に示す自車両Cと枠Fnとの関係になることが予め分かっているので、上述の距離Lに基づいて、継ぎ目が判定領域R内に存在するか否かを判定する。
【0053】
ステップS225において、継ぎ目が判定領域R内に存在すると判定されない場合、その継ぎ目は判定領域Rより後方に位置していることになるので、その継ぎ目の位置を示す継ぎ目位置データ30bを削除する。ステップS225において、継ぎ目が判定領域R内に存在すると判定された場合には、ステップS230をスキップする。なお、記憶媒体30に複数の継ぎ目についての継ぎ目位置データ30bが記録されている場合、ステップS215,S220は座標を算出していない継ぎ目位置データについてのみ適用すればよい。
【0054】
次に、他車両検出部21dが検出領域R1〜R6毎に他車両の存在を検出する処理を行う(ステップS235:他車両検出処理2)。図6は、当該ステップS235における他車両検出処理2のフローチャートであり、他車両検出部21dは、各検出領域R1〜R6についてループ処理にて他車両検出処理を行うために、まず、全ての検出領域(図3に示す例では検出領域R1〜R6)について他車両を検出する処理を終了しているか否かを判別する(ステップS300)。このステップS300にて全ての検出領域について他車両を検出する処理を終了したと判別された場合は、ステップS235に戻って図5に示す処理を続ける。
【0055】
ステップS300にて全ての検出領域について他車両を検出する処理を終了したと判別されないときには、他車両の検出処理を行っていない検出領域を処理対象の検出領域として設定する(ステップS305)。そして、他車両検出部21dは、検出領域の画像に基づいて輝度ヒストグラムを取得し(ステップS310)、当該ヒストグラムから車両の画像の特徴を抽出する(ステップS315)。すなわち、予め決められた輝度範囲に既定の幅のピーク(図4Bに示すP1)が存在するか否かを判定する。当該ステップS315にて予め決められた輝度範囲に既定の幅のピークが存在すると判定されないときには、処理対象の検出領域に他車両が存在しない旨の設定を行う(ステップS320)。
【0056】
ステップS315にて予め決められた輝度範囲に既定の幅のピークが存在すると判定されたときには、上記ステップS220にて算出した継ぎ目の座標に基づいて、処理対象の検出領域に継ぎ目が存在するか否かを判定する(ステップS325)。当該ステップS325にて処理対象の検出領域に継ぎ目が存在すると判定されない場合には、処理対象の検出領域に含まれる車両の画像の特徴が継ぎ目に起因するものではないので、処理対象の検出領域に他車両が存在する旨の設定を行う(ステップS330)。
【0057】
ステップS325にて処理対象の検出領域に継ぎ目が存在すると判定されない場合、処理対象の検出領域に含まれる車両の画像の特徴が、他車両と継ぎ目との一方あるいは双方に起因する可能性があるので、他車両検出部21dは前フレームの画像に基づいて他車両が存在し得る位置を予測する(ステップS335)。すなわち、前フレームにおいて継ぎ目の位置の3m後方の位置を含む検出領域(図3の例では右側の検出領域R4)を特定する。
【0058】
そして、当該継ぎ目の位置の3m後方の位置を含む検出領域について、他車両が存在する旨の設定がなされていたか否かを判定し(ステップS340)、他車両が存在する旨の設定がなされていた場合には処理対象の検出領域(図3の例では左側の検出領域R3)に他車両が存在する旨の設定を行い(ステップS345)、他車両が存在すると設定されていない場合には処理対象の検出領域に他車両が存在しない旨の設定を行う(ステップS350)。すなわち、前フレームの画像において、継ぎ目の位置の3m後方の位置を含む検出領域に他車両が存在していないとされているのであれば、突然に他車両が出現することはないと見なし、処理対象の検出領域にて検出された車両の画像の特徴は継ぎ目の特徴であるとする。
【0059】
以上の処理によって処理対象の検出領域について他車両の有無を設定すると、他車両検出部21dは、ステップS300に戻って処理を繰り返す。このループを抜けるとステップS200にて取得した画像について他車両の有無が決定されているので、案内部21eは各検出領域R1〜R6についての判定結果に基づいて自車両の車線変更を案内する(ステップS240)。案内部21eがこの案内を行うと、次のフレームの画像について他車両を検出するため、ステップS200以降の処理を繰り返す。また、この処理においては舵角センサ44の信号等によって自車両の隣接車線への移動が完了した否かを判定しており、隣接車線への移動が完了したら図5、図6に示す処理を終了する。以上の処理によれば、継ぎ目を含む検出領域について他車両の有無を判定する際にその周囲の画像を参照しているので、正確に他車両の有無を判定することができる。
【0060】
(3)他の実施形態:
以上の実施形態は、本発明を実施するための一例であり、路面の構造物に起因する振動を検出し、当該構造物の周囲の画像を参照して構造物の位置における他車両の有無を判定できる限りにおいて、他にも種々の実施形態を採用可能である。例えば、上述の実施形態においては、検出領域R1〜R6を車線上で並べて設定していたが、各検出領域の一部が重なるように設定してもよい。また、車線方向への検出領域の長さは他車両の存在を検出すべき間隔に応じて適宜調整可能である。
【0061】
さらに、上述の例では、自車両が走行する走行車線に隣接する隣接車線に対して検出領域を設定していたが、むろん、走行車線や隣接車線の隣の車線について検出領域を設定して他車両の有無を検出しても良い。さらに、特定の検出領域を設定せずに道路の画像から車両の画像の特徴を抽出し、特徴が抽出されたときに画像内のエッジ等に基づいて他車両の位置を特定する構成を採用しても良い。また、このとき、自車両の振動に基づいて構造物の位置を特定しておけば、その周囲の画像に基づいて、少なくとも構造物の位置に他車両が存在するか否かを特定することが可能である。
【0062】
さらに、上述の実施形態においては、カメラで取得した画像に対して視点変換を行っていたが、むろん、他車両の存在を検出するという意味では視点変換を行うことが必須というわけではなく、視点変換を行っていない画像から車両の画像の特徴を抽出する構成としても良い。また、カメラ42は他車両の存在を検出すべき道路を視野にして撮影を行うことができればよく、自車両のいずれの位置に取り付けられていても良いし、カメラの台数は特に限定されない。
【0063】
さらに、振動に基づいて特定した構造物の位置から車両の画像の特徴が抽出されたときに、前フレームの画像における構造物の後方の画像を参照する構成以外にも種々の構成を採用可能である。例えば、あるフレームの画像において構造物が含まれる検出領域に他車両が検出されたとき、同じフレームの画像においてその隣の検出領域を参照し、当該隣の検出領域から他車両が検出されなければ前記構造物が含まれる検出領域に他車両が存在しないとする構成を採用しても良い。この構成は検出領域の車線方向への長さが車両の長さより短い場合に特に有用である。
【0064】
また、自車両の振動に基づいて画像内での構造物の位置を特定し、検出領域内で当該構造物の位置における画像を除外し、または、構造物の位置における画像を路面の画像で置換して車両の画像の特徴を抽出しても良い。この処理においても、検出領域内で構造物の周囲の画像を参照することにより、構造物の画像に影響されることなく検出領域内での他車両の有無を検出していることになる。
【0065】
さらに、構造物の周囲の画像としては、上述のように構造物の後方の画像に限定されることはなく、構造物の前方の画像であっても良い。構造物の前方の画像から車両の画像の特徴が抽出されたときに構造物の位置に他車両が存在するとすれば、他車両が存在するにもかかわらず他車両が存在しないとする誤判定の発生を抑えることができる。また、構造物の周囲の画像から車両の画像の特徴を抽出する処理は、前記構造物の位置の画像から車両の特徴が検出された場合に行っても良いし、当該構造物の位置の画像から車両の特徴を検出するか否かにかかわらず行ってもよく、種々の構成を採用可能である。さらに、構造物の周囲の画像は、構造物の周囲として予め定義した範囲の画像であればよく、その範囲は前記検出領域の大きさと一致していても良いし、検出領域の大きさと無関係に決定しても良い。
【0066】
さらに、路面上の構造物としては、上述のような道路の継ぎ目に限定されず、自車両に対して振動を与えるような構造物であり、画像の特徴が車両の画像の特徴に類似している構造物であればどのような構造物であっても良い。例えば、路面上に連続的な段差舗装を形成することによって走行中の自車両に対して連続的な振動を与えて運転者に注意喚起する構造物であっても、その振動を検出して他車両の検出に利用することが可能である。
【図面の簡単な説明】
【0067】
【図1】他車両検出装置を含むナビゲーション装置のブロック図である。
【図2】振動検出部における処理を示すフローチャートである。
【図3】車線と自車両と視点変換後の画像との関係を示す模式図である。
【図4】検出領域毎の輝度のヒストグラムの例を示す図であり、(4A)は他車両が存在しない場合のヒストグラム、(4B)は他車両が存在する場合のヒストグラムである。
【図5】他車両検出処理を示すフローチャートである。
【図6】他車両検出処理を示すフローチャートである。
【符号の説明】
【0068】
10…ナビゲーション装置、20…制御部、21…ナビゲーションプログラム、21a…振動検出部、21b…画像取得部、21b1…検出領域設定部、21c…構造物特定部、21c1…自車位置検出部、21d…他車両検出部、21e…案内部、30…記憶媒体、30a…地図情報、30b…継ぎ目位置データ、40…GPS受信部、41…振動検出センサ、42…カメラ、43…車速センサ、44…舵角センサ、45…スピーカー、46…表示部

【特許請求の範囲】
【請求項1】
自車両の振動を検出する振動検出手段と、
前記自車両の後方に位置する道路の画像を取得する画像取得手段と、
前記振動を検出したときの前記自車両の位置に基づいて、前記振動を前記自車両に対して与えた路面上の構造物の位置を前記画像内で特定する構造物特定手段と、
前記画像から車両の画像の特徴を抽出して前記他車両を検出する他車両検出手段であって、前記構造物の位置においては、前記構造物の周囲の画像から車両の画像の特徴が検出されなければ、少なくとも当該構造物の位置に他車両が存在しないと判定する他車両検出手段と、
を備える車両検出装置。
【請求項2】
前記画像取得手段は、自車両に取り付けられたカメラにて前記道路を撮影した画像を取得し、視点変換を行って前記道路を上方から見た画像を取得する、
請求項1に記載の車両検出装置。
【請求項3】
前記構造物特定手段は、自車両の速度を検出する自車両速度検出部を備え、当該自車両の速度と前記振動を検出した時点から前記画像を取得する時点までの経過時間とに基づいて前記構造物の位置を前記画像内で特定する、
請求項1または請求項2のいずれかに記載の車両検出装置。
【請求項4】
前記画像取得手段は、前記取得した画像内に他車両を検出するための複数の検出領域を設定し、
前記他車両検出手段は、前記検出領域毎に他車両の存在を検出する、
請求項1〜請求項3のいずれかに記載の車両検出装置。
【請求項5】
前記他車両検出手段は、前記画像における特徴量の分布を示す情報を取得し、当該分布が車両の画像に現れる典型的な分布に対応しているときに他車両の存在を検出する、
請求項1〜請求項4のいずれかに記載の車両検出装置。
【請求項6】
前記画像取得手段は、所定の時間間隔で前記画像を取得してその画像データを記憶媒体に保持し、
前記他車両検出手段は、ある時点で取得した前記画像に基づいて他車両を検出するにあたり、それ以前に取得した前記画像に基づいて前記構造物の周囲の画像を取得する、
請求項1〜請求項5のいずれかに記載の車両検出装置。
【請求項7】
請求項1〜請求項6のいずれかに記載の車両検出装置によって他車両を検出し、その他車両を避けて他車両が存在しない位置に自車両を進入させるための案内を行う案内手段を備えるナビゲーション装置。
【請求項8】
自車両の振動を検出する振動検出工程と、
前記自車両の後方に位置する道路の画像を取得する画像取得工程と、
前記振動を検出したときの前記自車両の位置に基づいて、前記振動を前記自車両に対して与えた路面上の構造物の位置を前記画像内で特定する構造物特定工程と、
前記画像から車両の画像の特徴を抽出して前記他車両を検出する他車両検出工程であって、前記構造物の位置においては、前記構造物の周囲の画像から車両の画像の特徴が検出されなければ、少なくとも当該構造物の位置に他車両が存在しないと判定する他車両検出工程と、
を含む車両検出方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2008−33798(P2008−33798A)
【公開日】平成20年2月14日(2008.2.14)
【国際特許分類】
【出願番号】特願2006−208687(P2006−208687)
【出願日】平成18年7月31日(2006.7.31)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】