車両検出装置、車両検出プログラム、および車両検出方法
【課題】 自車の周囲に存在する前方車あるいは対向車を検出することができる車載型の車両検出技術を提供する。
【解決手段】
撮像装置で撮像した画像において位置取得センサから取得した車両候補点に対応した画像処理領域を決定し、該画像処理領域に対し車両形状モデルを用いて識別処理を行い、対応する自車周辺の車両の正面／背面を検出し、検出車両の周囲画像を評価し車両向きを算出して車両位置を出力し、検出した車両の自車に対する傾きを算出し、車両位置と検出車両の傾きから自車と前記検出車両の俯瞰図上の位置を算出し、自車と検出車両の軌道を推定して車両の衝突可能性を判定することを特徴とする。
【解決手段】
撮像装置で撮像した画像において位置取得センサから取得した車両候補点に対応した画像処理領域を決定し、該画像処理領域に対し車両形状モデルを用いて識別処理を行い、対応する自車周辺の車両の正面／背面を検出し、検出車両の周囲画像を評価し車両向きを算出して車両位置を出力し、検出した車両の自車に対する傾きを算出し、車両位置と検出車両の傾きから自車と前記検出車両の俯瞰図上の位置を算出し、自車と検出車両の軌道を推定して車両の衝突可能性を判定することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車の周囲に存在する前方車あるいは対向車を検出することができる車載型の車両検出技術に関する。
【背景技術】
【０００２】
従来、ミリ波レーダを用いた車両検出の方法が知られるが、縦位置（距離）は精度良く取れるものの、車両のどこから反射してくるか分からないため横位置の精度が悪くなるという原理的な欠点を抱えている。
【０００３】
ＰＣＳ（Pre-Crash Safety System ）を始めとする衝突回避システムにおいて、とくに、カーブした道路を走行中、先行車や対向車は自車に対し斜め方向を向いていることが多いため、衝突回避するには、検出車両の正面または背面の角（１点）（図７（ａ）におけるＢ点）、検出車両水平方向端部と背景との境界点（２点）（図７（ａ）におけるＡ、Ｃ点）の計３点を高精度に算出することが求められる。
【０００４】
これに対し、位置取得センサ（例えば、ミリ波レーダ）と撮像装置とを併用し、車両の認識精度を高くする装置が提案されている（特許文献１参照）。特許文献１では、測距装置（ミリ波レーダ等）が検出した物体位置を物体の中心点と見なし、その点を中心とした検出物体と前回の検出物体について、距離変化による大きさを考慮したテンプレートを用いてマッチング処理することにより追跡を行っている。
【０００５】
そして、テンプレートマッチングによって切り出された領域に対し、縦エッジヒストグラムの２点ピーク間の実空間距離を算出し、所定距離にあれば正しく追跡している検出物体とし、測距装置の検出結果を補正し、物体の位置、幅を出力することを特徴としている。
【０００６】
しかしながら、ＰＣＳでは前述の通り車両の３点の横位置を高精度に算出することが求められているのに対し、特許文献１は、先行車／対向車の背景との境界の２点を出力するものであり、検出車両が斜め方向を向いている場合に、上記３点を出力することができず、安全上の問題があった。
【０００７】
また、特許文献１では、２点の射影された横位置しか出力できず、検出車両の幅及び長さを算出できない。そのため、数種類の典型的な車両長等を基に車両領域を推定する方法を適用している。したがって、ＰＣＳのような衝突回避システムへ適用するには、実際よりも衝突対象領域を大きく見積もる必要があり、正確な衝突判定ができないという問題があった。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２６９０７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
そこで、上述した問題を解決するために、位置取得センサ（ミリ波レーダ等の距離計測が可能なセンサ）と撮像装置とを用い、検出対象車両が斜め方向を向いている場合でも、車両中心点および車両端部と背景との境界点の計３点の出力を可能とする車載型の車両検出技術を提供する。
【課題を解決するための手段】
【００１０】
発明の一つの態様は、位置取得センサと撮像装置を用いて車両を検出する車載型の車両検出装置であって、前記撮像装置で撮像した画像において前記位置取得センサから取得した車両候補点に対応した画像処理領域を決定する位置取得センサ対応画像領域決定部と、前記画像処理領域に対し予めメモリに格納された車両形状モデルを用いて識別処理を行い、対応する検出車両の正面または背面を検出する車両検出部と、前記検出車両の正面または背面を含む周辺画像領域のオプティカルフローを異なる２時刻の画像フレームから算出し、前記周辺画像領域に前記検出車両の正面または背面と同一向きのオプティカルフローが存在した場合、前記検出車両が斜め向きであると判定し、斜め向きとなった車両側面の一方の端点を正面または背面向きの車両の両端点に加え、車両位置として出力する車両向き判定部と、を有することを特徴とする車両検出装置に関する。
【発明の効果】
【００１１】
以上、本発明によれば、検出対象車両が斜め向きの場合でも、大抵のシーンで画像上車両の正面または背面が見えていることに着目し、車両正面または背面を検出し、検出した正面または背面周囲のオプティカルフローを評価することにより、要求される３点の車両位置が出力でき、ＰＣＳのような衝突回避システムへの適用が可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態になる車両検出装置の機能ブロック図である。
【図２】本発明の実施の形態になる車両検出装置の動作原理を説明する概念図である。
【図３】本発明の実施の形態になる車両検出装置の動作フローを示す図である。
【図４】本発明の実施の形態になる検出車両の自車に対する傾き角θの算出例を示す図である。
【図５】本発明の実施の形態になる俯瞰図上の車両位置の算出例を示す図である。
【図６】本発明の実施の形態になる車両衝突の判定例を示す図である。
【図７】衝突回避システムで要求される車両位置を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の携帯情報端末の実施形態について説明する。以下の実施例では、位置取得センサとしてミリ波レーダを適用し、撮像装置としてＣＣＤ（Charge Coupled Device 電荷結合素子）カメラ等の画像センサを適用した例について示すが、本発明は、ミリ波レーダやＣＣＤに限定されるものではない。
【００１４】
図１は、本発明の車両検出装置の機能ブロック図を示している。
【００１５】
本車両検出装置は、ミリ波レーダ（位置取得センサ）２００、画像センサ（撮像装置）１００、ミリ波対応画像領域決定部（位置取得センサ対応画像領域決定部）１、車両検出部２、車両向き判定部３、車両傾き算出部７、車両位置算出部４、車両軌道推定部５、および衝突判定部６を有する。以下に各部の役割について説明する。
【００１６】
ミリ波レーダ２００は、自車周辺の所定の領域にある物体までの距離、方位（横方向）および自車と検出物体との相対速度を測定し、画像センサ１００は、自車周辺の所定の領域を含む範囲を撮影する。
【００１７】
ミリ波対応画像領域決定部１は、ミリ波レーダ２００より取得した車両候補点データと画像センサで撮像した画像データからミリ波レーダ検出点に対応した画像処理領域を決定する。
【００１８】
車両検出部２は、正面／背面向きの車両の形状モデルが予め登録されているメモリ１０から該車両形状モデルを読み込み、識別処理を行って対応する車両の正面／背面を検出する。
【００１９】
車両向き判定部３は、検出された車両の正面／背面部分を含む周囲領域を評価し、車両向きを算出し、該車両向きに応じた車両位置を出力する。
【００２０】
車両傾き算出部７は、検出した車両の自車に対する傾きを算出し、車両位置算出部４は、車両向き判定部３で出力された車両位置と車両傾き算出部７で出力された検出車両の傾きから、自車と検出車両の俯瞰図上の位置を算出する。
【００２１】
車両軌道推定部５は、自車と検出車両の軌道を推定し、衝突判定部６は、車両軌道推定部５で出力された自車と検出車両の軌道から衝突可能性を判定する。
【００２２】
さらに、車両向き判定部３は、オプティカルフロー算出部３１と端点判定処理部３２を備えている。
【００２３】
オプティカルフロー算出部３１は、車両検出部２で車両正面／背面を検出した場合、検出した車両正面／背面部分を含む周辺画像領域のオプティカルフローを異なる２時刻の画像フレームから算出する。
【００２４】
端点判定処理部３２は、オプティカルフロー算出部３１で算出した車両正面／背面の領域のオプティカルフローと所定の条件を満たすオプティカルフローが周囲に存在する場合に、当該車両が斜め向きであると判定し、該オプティカルフローの中で車両正面／背面より画像上の距離が水平方向に最も離れたものが存在する箇所を車両の端部とし、既に車両検出部２で検出した車両正面／背面の両端点と合わせて３つの端点を出力する。
【００２５】
一方、オプティカルフロー算出部３１で算出した車両正面／背面の領域のオプティカルフローと所定の条件を満たすオプティカルフローが周囲に存在しない場合には、車両が正面／背面向きであると判定し、既に車両検出部２で検出した車両正面／背面の両端点（２つ）を出力することとなる。
【００２６】
なお、車両検出装置は、図示していないがＣＰＵ（Central Processing Unit ）、メモリを有するコンピュータであり、本装置上で各処理部を動作させるプログラムは補助記憶装置（図にない）に記憶され、装置起動時にメモリに展開してＣＰＵによって実行処理される。また、該プログラムは、フレキシブルディスク、ＣＤ（Compact Disk）、ＭＯ（Magneto-Optical ）等の可搬媒体に格納され、各媒体に応じたディスクドライブで読み取る構成としてもよい。
【００２７】
図２は、車両検出装置の車両向き判定部の動作についての概念図を示している。上図の車両検出部２では、車両形状モデルによる識別処理して検出された車両の正面の画像フレームを示している。また、下図の車両向き判定部３では、オプティカルフロー算出部３１が異なる２時刻の画像フレームから算出した、車両検出部２で検出された車両正面領域と車両正面周囲領域のオプティカルフローを示している。
【００２８】
さらに、端点判定処理部３２では、車両正面領域と同方向のオプティカルフロー領域Ｈ１を車両側面部と判定し、該オプティカルフローの境界部分を端点Ｃとし、車両正面領域の端点Ａ、Ｂと合わせて３点が出力される。
【００２９】
一方、車両正面領域と異なる方向のオプティカルフロー領域Ｈ２を背景と判定して除去される。
【００３０】
つぎに、本実施の形態に係る車両検出装置の動作について説明する。
【００３１】
図３は、車両検出装置における車両横位置を出力する手順の一例を示すフローチャートである。
【００３２】
まず、ステップＳ１１において、車両検出装置は、起動時に画像センサ１００から画像データを取得し、また、ミリ波レーダ２００から車両候補点のデータ（距離・方位・相対速度等）を取得する。そして、ステップＳ１２において、ミリ波対応画像領域決定部１は、画像センサ１００から取得した画像内に、ミリ波レーダ２００から取得したミリ波検知点に対応した画像処理領域を決定する。
【００３３】
つぎに、ステップＳ１３において、車両検出部２は、メモリ１０に予め蓄積していた車両の正面／背面向きの車両形状モデルを読み込み、ステップＳ１２で算出した画像処理領域に対し、公知の技術であるAdaBoost等の識別手法を用いて識別処理を行い、車両の正面／背面を検出する。
【００３４】
ステップＳ１４の判定において、車両の正面／背面が検出できなかった場合は処理を終了し、車両の正面／背面を検出できた場合のみステップＳ１５へ進む。
【００３５】
ステップＳ１５において、オプティカルフロー算出部３１は、メモリ１０から読み込んだ異なる２時刻の画像データから、ステップＳ１４で検出した車両正面／背面部分を含む周辺画像領域についてオプティカルフローを算出する（図２参照）。
【００３６】
つぎに、ステップＳ１６において、端点判定処理部３２は、ステップＳ１５で算出した車両の正面／背面領域のオプティカルフローＡと車両の周囲領域のオプティカルフローＢが，下記の所定の条件を満たすかを判定する。
【００３７】
【数１】
ステップＳ１７において、上記のような所定の条件を満たす場合、車両が斜め向きであると判定し、ステップＳ１８において、車両の正面／背面領域と前記所定の条件を満たすオプティカルフローの中で、画像上車両の正面／背面領域端部から水平方向に最も離れたものが存在する箇所を車両の端部（図２におけるＣ点）とし、車両の正面/ 背面の両端点（図２におけるＡ、Ｂ点）と合わせ３点を出力する。
【００３８】
また、端点判定処理部３２が、ステップＳ１５で算出した車両の正面／背面領域のオプティカルフローと前記所定の条件を満たすオプティカルフローが車両の周囲領域に存在しない場合、車両が正面／背面向きであると判定し、車両の正面／背面の両端点（図２におけるＡ、Ｂ点）を出力する。
【００３９】
ステップＳ１９において、車両傾き算出部７は、ミリ波レーダ２００より取得する現時刻の車両候補点データ、およびメモリ１０から読み込む、過去にミリ波レーダ２００より取得したデータから、検出した検出車両の自車に対する傾きを算出する。
【００４０】
図４に、検出車両の自車に対する傾き算出の一例を絶対座標で考えた場合について示す。時刻ｔ〜Δｔの微小区間では、自車、検出車両共に等速直線運動していると仮定し、
ｍ１：時刻ｔにおける検出車両位置
ｍ２：時刻ｔ＋Δｔにおける検出車両位置
ｎ１：時刻ｔにおける自車位置
ｎ２：時刻ｔ＋Δｔにおける自車位置
Ｄ１：時刻ｔにおける自車と検出車両の距離（ミリ波レーダより取得）
Ｄ２：時刻ｔ＋Δｔにおける自車と検出車両の距離（ミリ波レーダより取得）
θ１：時刻ｔにおける自車に対する検出車両の方位（ミリ波レーダより取得）
θ２：時刻ｔ＋Δｔにおける自車に対する検出車両の方位（ミリ波レーダより取得）
Ｖ：時刻ｔ〜ｔ＋Δｔの自車速度（車速センサ）
Ｖｒｅｌ：時刻ｔにおける自車に対する検出車両の相対速度
とすると、時刻ｔ〜ｔ＋Δｔの検出車両速度Ｖ２は、Ｖ２＝Ｖｃｏｓθ１−Ｖｒｅｌとなり、Ｖ２≠０を満たすとき、自車に対する検出車両の軌道の傾きθは、
θ＝atan((D1*sinθ1-D2*sinθ2)/(D1*cosθ1-D2*cosθ2-V*Δt)) と算出できる。
【００４１】
つぎに、ステップＳ２０において、ステップＳ１７で検出車両が斜め向きであると判定されたとき、車両位置算出部４は、ステップＳ１８で算出した検出車両の横位置（３点）と、ステップＳ１９にて算出した検出車両の自車に対する傾きと、ミリ波レーダ２００の出力とから、俯瞰図上での検出車両、自車の位置を算出する。
【００４２】
図５に、俯瞰図上（ｘｙ平面）の車両位置算出の一例を示す。ここで、
θ：車両傾き算出部で算出
Ｗ１：検出車両の幅部分をｘ軸へ射影したもの（車両向き判定部より出力）
Ｌ１：検出車両の奥行き部分をｘ軸へ射影したもの（車両向き判定部より出力）
Ｄ：自車と検出車両との距離（位置取得センサより取得）
Ｗ２：検出車両の実際の幅
Ｌ２：検出車両の実際の長さ
とすると、Ｌ２、Ｗ２は、Ｌ２＝Ｌ１／ｓｉｎθ、Ｗ２＝Ｗ１／ｃｏｓθと求まり、ステップＳ１３までで既知となっているθ、Ｗ１、Ｌ１、Ｄより俯瞰図上の検出車両と自車の位置を算出することができる。
【００４３】
また、ステップ１７で検出車両が正面／背面向きであると判定されたとき、車両位置算出部４は、ステップＳ１８で算出した検出車両の横位置（２点）とミリ波レーダ２００の出力とから、俯瞰図上の検出車両と自車の位置を算出する。
【００４４】
ステップＳ２１において、車両軌道推定部５は、ステップＳ２０で出力した俯瞰図上における検出車両と自車の位置と、ミリ波レーダ情報と、車速センサ３００の出力とをメモリに蓄積し、それらを参照することによって、自車と検出車両の軌道を幾何学的に推定する。
【００４５】
ステップＳ２２において、衝突判定部２２は、ステップＳ２１で出力した自車と検出車両の軌道より、時刻ｔ＝ｎにおける自車領域と検出車両領域との重複面積をＳｎとするとＳｎが初めてＳｎ＞０を満たすとき、自車と検出車両は時刻ｔ＝ｎにおいて衝突が起こると判定する。
【００４６】
図６に、車両衝突の判定例を示す。俯瞰図上において時刻ｔ＝ｎまでの自車と検出車両の軌道を推定することにより衝突の可能性が予測できる。衝突の場合は、推定した軌道ににおいて自車と検出車両の重複面積Ｓが、Ｓ＞０となる時刻ｔ＝ｎが存在する（図中、点線の位置）。このとき、自車と検出車両は時刻ｔ＝ｎにおいて衝突が起こる可能性が予測される。
【００４７】
以上述べてきたように、本発明では、検出対象車両が斜め向きの場合でも，大抵のシーンで画像上車両の正面／背面が見えていることに着目し、まず、車両正面／背面を検出し、検出した正面／背面周囲のオプティカルフローを評価することにより、ＰＣＳなどの衝突回避システムに要求される３点の車両位置が出力でき、自車との衝突判定をより高精度に行うこと可能となる。
【産業上の利用可能性】
【００４８】
自車周囲の前方車/ 対向車を検出すること可能とする車載型前方車／対向車検出技術の分野。
【符号の説明】
【００４９】
１ ミリ波対応画像領域決定部
２ 車両検出部
３ 車両向き判定部
４ 車両位置算出部
５ 車両軌道推定部
６ 衝突判定部
７ 車両傾き算出部
１０ メモリ
１００ 画像センサ
２００ ミリ波レーダ
３００ 車速センサ
【技術分野】
【０００１】
本発明は、自車の周囲に存在する前方車あるいは対向車を検出することができる車載型の車両検出技術に関する。
【背景技術】
【０００２】
従来、ミリ波レーダを用いた車両検出の方法が知られるが、縦位置（距離）は精度良く取れるものの、車両のどこから反射してくるか分からないため横位置の精度が悪くなるという原理的な欠点を抱えている。
【０００３】
ＰＣＳ（Pre-Crash Safety System ）を始めとする衝突回避システムにおいて、とくに、カーブした道路を走行中、先行車や対向車は自車に対し斜め方向を向いていることが多いため、衝突回避するには、検出車両の正面または背面の角（１点）（図７（ａ）におけるＢ点）、検出車両水平方向端部と背景との境界点（２点）（図７（ａ）におけるＡ、Ｃ点）の計３点を高精度に算出することが求められる。
【０００４】
これに対し、位置取得センサ（例えば、ミリ波レーダ）と撮像装置とを併用し、車両の認識精度を高くする装置が提案されている（特許文献１参照）。特許文献１では、測距装置（ミリ波レーダ等）が検出した物体位置を物体の中心点と見なし、その点を中心とした検出物体と前回の検出物体について、距離変化による大きさを考慮したテンプレートを用いてマッチング処理することにより追跡を行っている。
【０００５】
そして、テンプレートマッチングによって切り出された領域に対し、縦エッジヒストグラムの２点ピーク間の実空間距離を算出し、所定距離にあれば正しく追跡している検出物体とし、測距装置の検出結果を補正し、物体の位置、幅を出力することを特徴としている。
【０００６】
しかしながら、ＰＣＳでは前述の通り車両の３点の横位置を高精度に算出することが求められているのに対し、特許文献１は、先行車／対向車の背景との境界の２点を出力するものであり、検出車両が斜め方向を向いている場合に、上記３点を出力することができず、安全上の問題があった。
【０００７】
また、特許文献１では、２点の射影された横位置しか出力できず、検出車両の幅及び長さを算出できない。そのため、数種類の典型的な車両長等を基に車両領域を推定する方法を適用している。したがって、ＰＣＳのような衝突回避システムへ適用するには、実際よりも衝突対象領域を大きく見積もる必要があり、正確な衝突判定ができないという問題があった。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２６９０７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
そこで、上述した問題を解決するために、位置取得センサ（ミリ波レーダ等の距離計測が可能なセンサ）と撮像装置とを用い、検出対象車両が斜め方向を向いている場合でも、車両中心点および車両端部と背景との境界点の計３点の出力を可能とする車載型の車両検出技術を提供する。
【課題を解決するための手段】
【００１０】
発明の一つの態様は、位置取得センサと撮像装置を用いて車両を検出する車載型の車両検出装置であって、前記撮像装置で撮像した画像において前記位置取得センサから取得した車両候補点に対応した画像処理領域を決定する位置取得センサ対応画像領域決定部と、前記画像処理領域に対し予めメモリに格納された車両形状モデルを用いて識別処理を行い、対応する検出車両の正面または背面を検出する車両検出部と、前記検出車両の正面または背面を含む周辺画像領域のオプティカルフローを異なる２時刻の画像フレームから算出し、前記周辺画像領域に前記検出車両の正面または背面と同一向きのオプティカルフローが存在した場合、前記検出車両が斜め向きであると判定し、斜め向きとなった車両側面の一方の端点を正面または背面向きの車両の両端点に加え、車両位置として出力する車両向き判定部と、を有することを特徴とする車両検出装置に関する。
【発明の効果】
【００１１】
以上、本発明によれば、検出対象車両が斜め向きの場合でも、大抵のシーンで画像上車両の正面または背面が見えていることに着目し、車両正面または背面を検出し、検出した正面または背面周囲のオプティカルフローを評価することにより、要求される３点の車両位置が出力でき、ＰＣＳのような衝突回避システムへの適用が可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態になる車両検出装置の機能ブロック図である。
【図２】本発明の実施の形態になる車両検出装置の動作原理を説明する概念図である。
【図３】本発明の実施の形態になる車両検出装置の動作フローを示す図である。
【図４】本発明の実施の形態になる検出車両の自車に対する傾き角θの算出例を示す図である。
【図５】本発明の実施の形態になる俯瞰図上の車両位置の算出例を示す図である。
【図６】本発明の実施の形態になる車両衝突の判定例を示す図である。
【図７】衝突回避システムで要求される車両位置を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の携帯情報端末の実施形態について説明する。以下の実施例では、位置取得センサとしてミリ波レーダを適用し、撮像装置としてＣＣＤ（Charge Coupled Device 電荷結合素子）カメラ等の画像センサを適用した例について示すが、本発明は、ミリ波レーダやＣＣＤに限定されるものではない。
【００１４】
図１は、本発明の車両検出装置の機能ブロック図を示している。
【００１５】
本車両検出装置は、ミリ波レーダ（位置取得センサ）２００、画像センサ（撮像装置）１００、ミリ波対応画像領域決定部（位置取得センサ対応画像領域決定部）１、車両検出部２、車両向き判定部３、車両傾き算出部７、車両位置算出部４、車両軌道推定部５、および衝突判定部６を有する。以下に各部の役割について説明する。
【００１６】
ミリ波レーダ２００は、自車周辺の所定の領域にある物体までの距離、方位（横方向）および自車と検出物体との相対速度を測定し、画像センサ１００は、自車周辺の所定の領域を含む範囲を撮影する。
【００１７】
ミリ波対応画像領域決定部１は、ミリ波レーダ２００より取得した車両候補点データと画像センサで撮像した画像データからミリ波レーダ検出点に対応した画像処理領域を決定する。
【００１８】
車両検出部２は、正面／背面向きの車両の形状モデルが予め登録されているメモリ１０から該車両形状モデルを読み込み、識別処理を行って対応する車両の正面／背面を検出する。
【００１９】
車両向き判定部３は、検出された車両の正面／背面部分を含む周囲領域を評価し、車両向きを算出し、該車両向きに応じた車両位置を出力する。
【００２０】
車両傾き算出部７は、検出した車両の自車に対する傾きを算出し、車両位置算出部４は、車両向き判定部３で出力された車両位置と車両傾き算出部７で出力された検出車両の傾きから、自車と検出車両の俯瞰図上の位置を算出する。
【００２１】
車両軌道推定部５は、自車と検出車両の軌道を推定し、衝突判定部６は、車両軌道推定部５で出力された自車と検出車両の軌道から衝突可能性を判定する。
【００２２】
さらに、車両向き判定部３は、オプティカルフロー算出部３１と端点判定処理部３２を備えている。
【００２３】
オプティカルフロー算出部３１は、車両検出部２で車両正面／背面を検出した場合、検出した車両正面／背面部分を含む周辺画像領域のオプティカルフローを異なる２時刻の画像フレームから算出する。
【００２４】
端点判定処理部３２は、オプティカルフロー算出部３１で算出した車両正面／背面の領域のオプティカルフローと所定の条件を満たすオプティカルフローが周囲に存在する場合に、当該車両が斜め向きであると判定し、該オプティカルフローの中で車両正面／背面より画像上の距離が水平方向に最も離れたものが存在する箇所を車両の端部とし、既に車両検出部２で検出した車両正面／背面の両端点と合わせて３つの端点を出力する。
【００２５】
一方、オプティカルフロー算出部３１で算出した車両正面／背面の領域のオプティカルフローと所定の条件を満たすオプティカルフローが周囲に存在しない場合には、車両が正面／背面向きであると判定し、既に車両検出部２で検出した車両正面／背面の両端点（２つ）を出力することとなる。
【００２６】
なお、車両検出装置は、図示していないがＣＰＵ（Central Processing Unit ）、メモリを有するコンピュータであり、本装置上で各処理部を動作させるプログラムは補助記憶装置（図にない）に記憶され、装置起動時にメモリに展開してＣＰＵによって実行処理される。また、該プログラムは、フレキシブルディスク、ＣＤ（Compact Disk）、ＭＯ（Magneto-Optical ）等の可搬媒体に格納され、各媒体に応じたディスクドライブで読み取る構成としてもよい。
【００２７】
図２は、車両検出装置の車両向き判定部の動作についての概念図を示している。上図の車両検出部２では、車両形状モデルによる識別処理して検出された車両の正面の画像フレームを示している。また、下図の車両向き判定部３では、オプティカルフロー算出部３１が異なる２時刻の画像フレームから算出した、車両検出部２で検出された車両正面領域と車両正面周囲領域のオプティカルフローを示している。
【００２８】
さらに、端点判定処理部３２では、車両正面領域と同方向のオプティカルフロー領域Ｈ１を車両側面部と判定し、該オプティカルフローの境界部分を端点Ｃとし、車両正面領域の端点Ａ、Ｂと合わせて３点が出力される。
【００２９】
一方、車両正面領域と異なる方向のオプティカルフロー領域Ｈ２を背景と判定して除去される。
【００３０】
つぎに、本実施の形態に係る車両検出装置の動作について説明する。
【００３１】
図３は、車両検出装置における車両横位置を出力する手順の一例を示すフローチャートである。
【００３２】
まず、ステップＳ１１において、車両検出装置は、起動時に画像センサ１００から画像データを取得し、また、ミリ波レーダ２００から車両候補点のデータ（距離・方位・相対速度等）を取得する。そして、ステップＳ１２において、ミリ波対応画像領域決定部１は、画像センサ１００から取得した画像内に、ミリ波レーダ２００から取得したミリ波検知点に対応した画像処理領域を決定する。
【００３３】
つぎに、ステップＳ１３において、車両検出部２は、メモリ１０に予め蓄積していた車両の正面／背面向きの車両形状モデルを読み込み、ステップＳ１２で算出した画像処理領域に対し、公知の技術であるAdaBoost等の識別手法を用いて識別処理を行い、車両の正面／背面を検出する。
【００３４】
ステップＳ１４の判定において、車両の正面／背面が検出できなかった場合は処理を終了し、車両の正面／背面を検出できた場合のみステップＳ１５へ進む。
【００３５】
ステップＳ１５において、オプティカルフロー算出部３１は、メモリ１０から読み込んだ異なる２時刻の画像データから、ステップＳ１４で検出した車両正面／背面部分を含む周辺画像領域についてオプティカルフローを算出する（図２参照）。
【００３６】
つぎに、ステップＳ１６において、端点判定処理部３２は、ステップＳ１５で算出した車両の正面／背面領域のオプティカルフローＡと車両の周囲領域のオプティカルフローＢが，下記の所定の条件を満たすかを判定する。
【００３７】
【数１】
ステップＳ１７において、上記のような所定の条件を満たす場合、車両が斜め向きであると判定し、ステップＳ１８において、車両の正面／背面領域と前記所定の条件を満たすオプティカルフローの中で、画像上車両の正面／背面領域端部から水平方向に最も離れたものが存在する箇所を車両の端部（図２におけるＣ点）とし、車両の正面/ 背面の両端点（図２におけるＡ、Ｂ点）と合わせ３点を出力する。
【００３８】
また、端点判定処理部３２が、ステップＳ１５で算出した車両の正面／背面領域のオプティカルフローと前記所定の条件を満たすオプティカルフローが車両の周囲領域に存在しない場合、車両が正面／背面向きであると判定し、車両の正面／背面の両端点（図２におけるＡ、Ｂ点）を出力する。
【００３９】
ステップＳ１９において、車両傾き算出部７は、ミリ波レーダ２００より取得する現時刻の車両候補点データ、およびメモリ１０から読み込む、過去にミリ波レーダ２００より取得したデータから、検出した検出車両の自車に対する傾きを算出する。
【００４０】
図４に、検出車両の自車に対する傾き算出の一例を絶対座標で考えた場合について示す。時刻ｔ〜Δｔの微小区間では、自車、検出車両共に等速直線運動していると仮定し、
ｍ１：時刻ｔにおける検出車両位置
ｍ２：時刻ｔ＋Δｔにおける検出車両位置
ｎ１：時刻ｔにおける自車位置
ｎ２：時刻ｔ＋Δｔにおける自車位置
Ｄ１：時刻ｔにおける自車と検出車両の距離（ミリ波レーダより取得）
Ｄ２：時刻ｔ＋Δｔにおける自車と検出車両の距離（ミリ波レーダより取得）
θ１：時刻ｔにおける自車に対する検出車両の方位（ミリ波レーダより取得）
θ２：時刻ｔ＋Δｔにおける自車に対する検出車両の方位（ミリ波レーダより取得）
Ｖ：時刻ｔ〜ｔ＋Δｔの自車速度（車速センサ）
Ｖｒｅｌ：時刻ｔにおける自車に対する検出車両の相対速度
とすると、時刻ｔ〜ｔ＋Δｔの検出車両速度Ｖ２は、Ｖ２＝Ｖｃｏｓθ１−Ｖｒｅｌとなり、Ｖ２≠０を満たすとき、自車に対する検出車両の軌道の傾きθは、
θ＝atan((D1*sinθ1-D2*sinθ2)/(D1*cosθ1-D2*cosθ2-V*Δt)) と算出できる。
【００４１】
つぎに、ステップＳ２０において、ステップＳ１７で検出車両が斜め向きであると判定されたとき、車両位置算出部４は、ステップＳ１８で算出した検出車両の横位置（３点）と、ステップＳ１９にて算出した検出車両の自車に対する傾きと、ミリ波レーダ２００の出力とから、俯瞰図上での検出車両、自車の位置を算出する。
【００４２】
図５に、俯瞰図上（ｘｙ平面）の車両位置算出の一例を示す。ここで、
θ：車両傾き算出部で算出
Ｗ１：検出車両の幅部分をｘ軸へ射影したもの（車両向き判定部より出力）
Ｌ１：検出車両の奥行き部分をｘ軸へ射影したもの（車両向き判定部より出力）
Ｄ：自車と検出車両との距離（位置取得センサより取得）
Ｗ２：検出車両の実際の幅
Ｌ２：検出車両の実際の長さ
とすると、Ｌ２、Ｗ２は、Ｌ２＝Ｌ１／ｓｉｎθ、Ｗ２＝Ｗ１／ｃｏｓθと求まり、ステップＳ１３までで既知となっているθ、Ｗ１、Ｌ１、Ｄより俯瞰図上の検出車両と自車の位置を算出することができる。
【００４３】
また、ステップ１７で検出車両が正面／背面向きであると判定されたとき、車両位置算出部４は、ステップＳ１８で算出した検出車両の横位置（２点）とミリ波レーダ２００の出力とから、俯瞰図上の検出車両と自車の位置を算出する。
【００４４】
ステップＳ２１において、車両軌道推定部５は、ステップＳ２０で出力した俯瞰図上における検出車両と自車の位置と、ミリ波レーダ情報と、車速センサ３００の出力とをメモリに蓄積し、それらを参照することによって、自車と検出車両の軌道を幾何学的に推定する。
【００４５】
ステップＳ２２において、衝突判定部２２は、ステップＳ２１で出力した自車と検出車両の軌道より、時刻ｔ＝ｎにおける自車領域と検出車両領域との重複面積をＳｎとするとＳｎが初めてＳｎ＞０を満たすとき、自車と検出車両は時刻ｔ＝ｎにおいて衝突が起こると判定する。
【００４６】
図６に、車両衝突の判定例を示す。俯瞰図上において時刻ｔ＝ｎまでの自車と検出車両の軌道を推定することにより衝突の可能性が予測できる。衝突の場合は、推定した軌道ににおいて自車と検出車両の重複面積Ｓが、Ｓ＞０となる時刻ｔ＝ｎが存在する（図中、点線の位置）。このとき、自車と検出車両は時刻ｔ＝ｎにおいて衝突が起こる可能性が予測される。
【００４７】
以上述べてきたように、本発明では、検出対象車両が斜め向きの場合でも，大抵のシーンで画像上車両の正面／背面が見えていることに着目し、まず、車両正面／背面を検出し、検出した正面／背面周囲のオプティカルフローを評価することにより、ＰＣＳなどの衝突回避システムに要求される３点の車両位置が出力でき、自車との衝突判定をより高精度に行うこと可能となる。
【産業上の利用可能性】
【００４８】
自車周囲の前方車/ 対向車を検出すること可能とする車載型前方車／対向車検出技術の分野。
【符号の説明】
【００４９】
１ ミリ波対応画像領域決定部
２ 車両検出部
３ 車両向き判定部
４ 車両位置算出部
５ 車両軌道推定部
６ 衝突判定部
７ 車両傾き算出部
１０ メモリ
１００ 画像センサ
２００ ミリ波レーダ
３００ 車速センサ
【特許請求の範囲】
【請求項１】
位置取得センサと撮像装置を用いて車両を検出する車載型の車両検出装置であって、
前記撮像装置で撮像した画像において前記位置取得センサから取得した車両候補点に対応した画像処理領域を決定する位置取得センサ対応画像領域決定部と、
前記画像処理領域に対し予めメモリに格納された車両形状モデルを用いて識別処理を行い、対応する検出車両の正面または背面を検出する車両検出部と、
前記検出車両の正面または背面を含む周辺画像領域のオプティカルフローを異なる２時刻の画像フレームから算出し、前記周辺画像領域に前記検出車両の正面または背面と同一向きのオプティカルフローが存在した場合、前記検出車両が斜め向きであると判定し、斜め向きとなった車両側面の一方の端点を正面または背面向きの車両の両端点に加え、車両位置として出力する車両向き判定部と、
を有することを特徴とする車両検出装置。
【請求項２】
前記車両検出装置は、さらに、
前記検出車両の自車の進行方向に対する傾きを算出する車両傾き算出部と、
前記車両向き判定部で出力された車両位置と前記車両傾き算出部で出力された検出車両の傾きから自車と前記検出車両の俯瞰図上の位置を算出する車両位置算出部と、
前記車両位置算出部で算出された自車と前記検出車両の俯瞰図上の位置に基づいて自車と前記検出車両の軌道を推定する車両軌道推定部と、
前記車両軌道推定部で出力された自車と前記検出車両の推定軌道によって、その衝突可能性を判定する衝突判定部と、
を有することを特徴とする請求項１に記載の車両検出装置。
【請求項３】
位置取得センサと撮像装置を用いて車両を検出する車載型の車両検出装置における車両検出プログラムであって、
コンピュータに、
前記撮像装置で撮像した画像において前記位置取得センサから取得した車両候補点に対応した画像処理領域を決定する位置取得センサ対応画像領域決定ステップと、
前記画像処理領域に対し予めメモリに格納された車両形状モデルを用いて識別処理を行い、対応する検出車両の正面または背面を検出する車両検出ステップと、
前記検出車両の正面または背面を含む周辺画像領域のオプティカルフローを異なる２時刻の画像フレームから算出し、前記周辺画像領域に前記検出車両の正面または背面と同一向きのオプティカルフローが存在した場合、前記検出車両が斜め向きであると判定し、斜め向きとなった車両側面の一方の端点を正面または背面向きの車両の両端点に加え、車両位置として出力する車両向き判定ステップと、
実行させる車両検出プログラム。
【請求項４】
位置取得センサと撮像装置を用いて車両を検出する車載型の車両検出装置において実行される車両検出方法であって、
前記撮像装置で撮像した画像において前記位置取得センサから取得した車両候補点に対応した画像処理領域を決定する位置取得センサ対応画像領域決定ステップと、
前記画像処理領域に対し予めメモリに格納された車両形状モデルを用いて識別処理を行い、対応する検出車両の正面または背面を検出する車両検出ステップと、
前記検出車両の正面または背面を含む周辺画像領域のオプティカルフローを異なる２時刻の画像フレームから算出し、前記周辺画像領域に前記検出車両の正面または背面と同一向きのオプティカルフローが存在した場合、前記検出車両が斜め向きであると判定し、斜め向きとなった車両側面の一方の端点を正面または背面向きの車両の両端点に加え、車両位置として出力する車両向き判定ステップと、
を含むことを特徴とする車両検出方法。
【請求項１】
位置取得センサと撮像装置を用いて車両を検出する車載型の車両検出装置であって、
前記撮像装置で撮像した画像において前記位置取得センサから取得した車両候補点に対応した画像処理領域を決定する位置取得センサ対応画像領域決定部と、
前記画像処理領域に対し予めメモリに格納された車両形状モデルを用いて識別処理を行い、対応する検出車両の正面または背面を検出する車両検出部と、
前記検出車両の正面または背面を含む周辺画像領域のオプティカルフローを異なる２時刻の画像フレームから算出し、前記周辺画像領域に前記検出車両の正面または背面と同一向きのオプティカルフローが存在した場合、前記検出車両が斜め向きであると判定し、斜め向きとなった車両側面の一方の端点を正面または背面向きの車両の両端点に加え、車両位置として出力する車両向き判定部と、
を有することを特徴とする車両検出装置。
【請求項２】
前記車両検出装置は、さらに、
前記検出車両の自車の進行方向に対する傾きを算出する車両傾き算出部と、
前記車両向き判定部で出力された車両位置と前記車両傾き算出部で出力された検出車両の傾きから自車と前記検出車両の俯瞰図上の位置を算出する車両位置算出部と、
前記車両位置算出部で算出された自車と前記検出車両の俯瞰図上の位置に基づいて自車と前記検出車両の軌道を推定する車両軌道推定部と、
前記車両軌道推定部で出力された自車と前記検出車両の推定軌道によって、その衝突可能性を判定する衝突判定部と、
を有することを特徴とする請求項１に記載の車両検出装置。
【請求項３】
位置取得センサと撮像装置を用いて車両を検出する車載型の車両検出装置における車両検出プログラムであって、
コンピュータに、
前記撮像装置で撮像した画像において前記位置取得センサから取得した車両候補点に対応した画像処理領域を決定する位置取得センサ対応画像領域決定ステップと、
前記画像処理領域に対し予めメモリに格納された車両形状モデルを用いて識別処理を行い、対応する検出車両の正面または背面を検出する車両検出ステップと、
前記検出車両の正面または背面を含む周辺画像領域のオプティカルフローを異なる２時刻の画像フレームから算出し、前記周辺画像領域に前記検出車両の正面または背面と同一向きのオプティカルフローが存在した場合、前記検出車両が斜め向きであると判定し、斜め向きとなった車両側面の一方の端点を正面または背面向きの車両の両端点に加え、車両位置として出力する車両向き判定ステップと、
実行させる車両検出プログラム。
【請求項４】
位置取得センサと撮像装置を用いて車両を検出する車載型の車両検出装置において実行される車両検出方法であって、
前記撮像装置で撮像した画像において前記位置取得センサから取得した車両候補点に対応した画像処理領域を決定する位置取得センサ対応画像領域決定ステップと、
前記画像処理領域に対し予めメモリに格納された車両形状モデルを用いて識別処理を行い、対応する検出車両の正面または背面を検出する車両検出ステップと、
前記検出車両の正面または背面を含む周辺画像領域のオプティカルフローを異なる２時刻の画像フレームから算出し、前記周辺画像領域に前記検出車両の正面または背面と同一向きのオプティカルフローが存在した場合、前記検出車両が斜め向きであると判定し、斜め向きとなった車両側面の一方の端点を正面または背面向きの車両の両端点に加え、車両位置として出力する車両向き判定ステップと、
を含むことを特徴とする車両検出方法。
【図１】
【図３】
【図４】
【図５】
【図７】
【図２】
【図６】
【図３】
【図４】
【図５】
【図７】
【図２】
【図６】
【公開番号】特開２０１１−４８４２０（Ｐ２０１１−４８４２０Ａ）
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２００９−１９３８５１（Ｐ２００９−１９３８５１）
【出願日】平成２１年８月２５日（２００９．８．２５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２１年８月２５日（２００９．８．２５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]