車両用落下物検出装置
【課題】先行車両による落下物の落下を後方車両の乗員が把握していなくても、回避を容易にする車両用落下物検出装置を提供すること。
【解決手段】前方を繰り返し撮影する撮影手段１１と、走行状態を検出する走行状態検出手段１４と、先行車両を特定する先行車両特定手段１５と、画像データを画像処理して水平ラインを検出し、水平ラインが検出された画像データを時系列に複数個記憶する画像データ記憶手段１３と、物体が水平ラインを横切る画像データをトリガーに、画像データが含む水平ラインＡと、該画像データよりも後に撮影された画像データが含む水平ラインＡよりも下方の水平ラインＢとの間の距離、及び、２つの画像データの撮影間隔から、物体が下方に移動する速度を算出して、物体が自由落下する落下物である確度を数値化する数値化手段１５と、数値化された確度が閾値より大きい場合、運転者に警告する警告手段１６と、を有することを特徴とする。
【解決手段】前方を繰り返し撮影する撮影手段１１と、走行状態を検出する走行状態検出手段１４と、先行車両を特定する先行車両特定手段１５と、画像データを画像処理して水平ラインを検出し、水平ラインが検出された画像データを時系列に複数個記憶する画像データ記憶手段１３と、物体が水平ラインを横切る画像データをトリガーに、画像データが含む水平ラインＡと、該画像データよりも後に撮影された画像データが含む水平ラインＡよりも下方の水平ラインＢとの間の距離、及び、２つの画像データの撮影間隔から、物体が下方に移動する速度を算出して、物体が自由落下する落下物である確度を数値化する数値化手段１５と、数値化された確度が閾値より大きい場合、運転者に警告する警告手段１６と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の前方を走行する先行車両から落下した落下物を検出する車両用落下物検出装置に関する。
【背景技術】
【０００２】
道路上に積載物や落石などの落下物がある場合に、これを検出して走行中の運転者に回避行動を促す技術が考えられている（例えば、特許文献１参照。）。特許文献１には、カメラにより撮影された前方道路上の落下物を画像解析により検出し、落下物が、操舵角等により予測した自車両の走行軌跡上に存在すると判定されると運転者に警告する車両用障害物検知装置が開示されている。
【０００３】
また、車両の積載物が落下する場合があり、自車両から積載物が落下したことを検出する技術が考えられている（例えば、特許文献２参照。）。特許文献２には、自車両の荷室に設置したカメラにより積載物の落下を検出する荷室監視装置が開示されている。
【特許文献１】特開２００４−１１０３９４号公報
【特許文献２】特開平８−２３８９７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２記載の荷室監視装置は、落下物を検出しても後方車両に通知することができず、結局、積載物を落下した直後の車両の運転者の注意力及び車両操作に、回避できるか否かがゆだねられてしまう。しかし、このような咄嗟の車両操作は難易度が高く、全ての運転者が落下物を回避できるとは限らないという問題がある。
【０００５】
本発明は上記課題に鑑み、先行車両による落下物の落下を後方車両の乗員が把握していなくても、回避を容易にする車両用落下物検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題に鑑み、本発明は、自車両の前方を繰り返し撮影する撮影手段と、自車両の走行状態を検出する走行状態検出手段と、撮影された画像の画像データを画像処理して先行車両を特定する先行車両特定手段と、画像データを画像処理して水平ラインを検出し、水平ラインが検出された前記画像データを時系列に複数個記憶する画像データ記憶手段と、物体が水平ラインを横切る前記画像データをトリガーに、画像データが含む水平ラインＡと、該画像データよりも後に撮影された前記画像データが含む水平ラインＡよりも下方の水平ラインＢとの間の距離、及び、画像データの撮影間隔から、物体が下方に移動する速度を算出して、物体が自由落下する落下物である確度を数値化する数値化手段と、数値化された確度が閾値より大きい場合、運転者に警告する警告手段と、を有することを特徴とする。
【発明の効果】
【０００７】
先行車両による落下物の落下を後方車両の乗員が把握していなくても、回避を容易にする車両用落下物検出装置を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明を実施するための最良の形態について図面を参照しながら説明する。
図1は、本実施形態の車両用落下物検出装置１００による落下物の検出を模式的に説明する図の一例である。
（１）車両用落下物検出装置１００は、車載した前方カメラ１１により前方を連続的に撮影している。
（２）自車両の前方を先行車両が走行していると、撮影された前方の画像の画像データを処理し先行車両の特徴的なライン（特に、時間的に変化しない垂直・水平方向のライン）を検出し蓄積する。これと自車両の走行状態から先行車両が特定される。
（３）車両用落下物検出装置１００は、保存した最新の数個の画像データと自車両の走行状態より、特定した先行車両からの落下物を検出する必要があるか否かを判定する。
（４）落下物を検出する必要があれば、画像処理により、特定された先行車両の水平ラインを鉛直方向に横切る物体を検出する。この物体は落下物の候補になる。
（５）物体の落下速度に基づき、物体が先行車両からの落下物である可能性を数値化（以下、落下物である確度という）する。画像データに撮影されるノイズなどの影響を考慮して、確度を補正する。
（６）数値化された確度が閾値を超えると、車両用落下物検出装置１００は運転者に警告する。これにより、運転者は落下物があることを早期に把握して、回避行動に移ることができる。また、運転者がブレーキペダルを操作しなくても減速するなどの運転支援が可能になる。
【０００９】
したがって、車両用落下物検出装置１００は、落下速度を算出したりノイズを考慮して物体が先行車両からの落下物である確度を決定することで、落下物以外の物体を落下物であると誤検知することを低減し、落下物の検出精度を向上できる。
【００１０】
図２は、車両用落下物検出装置１００の機能ブロック図の一例を示す。車両用落下物検出装置１００は、所定のＥＣＵ（Electronic Control Unit）により制御され、そのＥＣＵが実現するソフト的又はハード的な機能を実装する。
【００１１】
前方カメラ１１は、例えばルームミラーの背面に配置され、車両前方のやや下向きに光軸を有し、所定のフレームレート（例えば３０ｆｐｓ）で連続して画像を撮影する。少なくとも1枚以上の画像に、落下物が自由落下した際に先行車両の水平ラインを横切る瞬間が撮影されている必要があるので、フレームレートはおよその落下物の大きさと自由落下の速度から決定することができる。
【００１２】
撮影された前方の画像の画像データは１フレームごとに画像処理装置１２に出力される。画像処理装置１２は、各画像データに先行車両を特定する処理と水平ラインを検出する画像処理を施す。このため、例えば垂直・水平方向のエッジを検出する。垂直方向、水平方向に連続するエッジは先行車両の輪郭を検出しやすく、先行車両の特定に有利である。さらにパターンマッチングにより先行車両を検出してもよい。
【００１３】
また、水平方向に連続しているエッジは後述する落下物の検出に使用される。水平方向のエッジには背景などのエッジも含まれるが、これらは自車両の移動に伴いいずれ消失するのに対し、先行車両の水平ラインは自車両と同程度の車速で移動するので、時系列に撮影された各画像で同じものが検出される。このように安定して検出される水平ラインに例えば識別番号を付して監視する。なお、この水平ラインのエッジは、例えば、輪郭（ルーフ）、荷台、バンパ、等である。画像が次々と撮影されても、バンパならバンパの水平ラインを定常的に検出できる。
【００１４】
画像記憶装置１３は、最新の数個の画像データを時系列に記憶するハードディスクやフラッシュメモリ、ＲＡＭなどの記憶手段を実体とする。記憶する画像データは、画像処理が施されたものである。数個とは、例えば１〜２秒程度の間に撮影される画像データである。記憶される画像データは、落下物が水平ラインを横切る過程で落下速度の算出に用いられるので、落下する直前から水平ラインを横切るまでの数秒の画像データが記憶されていればよい。
【００１５】
自車両走行状態監視装置１４は、車載された種々のセンサ又は他のＥＣＵが提供する車両情報をＣＡＮ（Controller Area Network）等の車載ＬＡＮ用を介して取得し、車両情報に基づき自車両の走行状態を監視する。車両情報は、例えば、車輪速センサによる車速、操舵角センサによる車両の進行方向、ジャイロセンサによる車両の仰角等である。進行方向と仰角から撮影方向を特定できるので、先行車両の特定が容易になる。
【００１６】
落下物判定分析装置１４は、先行車両を特定し、また、水平ラインを横切った物体が落下物である確度を数値化する。すなわち、落下物判定分析装置１４は、Ａ）監視の必要な先行車両を特定し、特定した状態でＢ）物体が水平ラインを横切ったことを検出すると、Ｃ）物体が落下物である確度を数値化する。この結果、落下物判定分析装置１４は３つの状態を遷移する。
【００１７】
〔落下物判定分析装置１４の状態遷移〕
図３は、落下物判定分析装置１４の状態遷移図の一例を示す。３つの状態の１つは「先行車監視停止」状態である。この状態では落下物判定分析装置１４は、画像データを蓄積しながら監視の必要な先行車両が走行しているか否かの判定を繰り返している。エンジンで走行する車両の場合はイグニッションオン直後又はハイブリッド車や電気自動車の場合はシステム起動直後、落下物判定分析装置１４はこの「先行車監視停止」状態となる。
【００１８】
「先行車監視停止」状態からは、「先行車監視中」状態に遷移する。遷移条件は、先行車両が存在すること、及び、自車両が走行していて、かつ、先行車両との相対速度が、両車両が接近していること示していることである。「先行車両が存在すること」が条件となるのは先行車両が存在しなければ、落下物も生じないからである。「自車両が走行していること」が条件となるのは、自車両が走行していなければ落下物に接近するおそれがないからである。「先行車両との相対速度が、両車両が接近していること示していること」が条件となるのは、離間していれば道路上の落下物に到達するまで十分な時間があるからである。
【００１９】
先行車両は、画像データから検出される。画像データから安定した垂直ライン・水平ラインが検出される場合は、監視すべき先行車両である。先行車両との相対速度も画像データから検出される。画像データのいくつかの水平ラインの長さの変化から相対速度を算出できる。レーザレーダにより相対速度を検出してもよい。
【００２０】
「先行車監視中」状態の落下物判定分析装置１４は、画像記憶装置１３に蓄積した直前の画像データの水平ラインと最新の画像データの水平ラインを比較して、物体が水平ラインを横切ったか否かの判定を繰り返す。物体が水平ラインを横切ると水平ラインは途切れる。したがって、時系列に撮影された同じ水平ラインを比較して、最新の水平ラインが途切れていれば物体が水平ラインを横切ったことを検出できる。
【００２１】
なお、ここで検出する物体が横切った水平ラインは車両の荷台のものであることが好ましい。乗用車（ワンボックスやバンを含む）の荷台は、ルーフ上に設けられ（ルーフキャリヤ）、トラックの荷台は平ボディに揺動可能な半板やほろで囲われている。これらの荷台の水平ラインとは別に車体の輪郭の水平ラインが検出されるため、荷台の水平ラインは２本以上ある水平ラインのうち最下段でないものである。したがって、落下物判定分析装置１４は、２本以上ある水平ラインのうち物体が最下段以外の水平ラインを横切ったことを検出する。
【００２２】
「先行車監視中」状態からは、「落下物確率算出ＯＮ」状態と「先行車監停止」状態に遷移する。前者の遷移条件は、物体が水平ラインを横切ったことが検出されることであり、後者の遷移条件は物体が水平ラインを横切らないことである。後者の遷移条件が満たされた場合、「先行車監視停止」状態に遷移しても「先行車監視中」への遷移条件を満たせばすぐに「先行車監視中」に遷移してしまう。このため「先行車監視中」状態への遷移条件を満たしている間は、「先行車監視停止」状態に遷移することを禁止してもよい。
【００２３】
「落下物確率算出ＯＮ」状態の落下物判定分析装置１４は、水平ラインを横切った物体が落下物である確度を数値化する。「落下物確率算出ＯＮ」状態からは、「先行車監視中」状態と「先行車監視停止」状態に遷移する。前者の遷移条件は、落下物の確度の数値化が終了したことであり、後者の遷移条件は回避行動により自車両が停止したり先行車両を補足しなくなったことである。
【００２４】
〔落下物である確度の数値化〕
物体が落下物である確度の数値化について説明する。落下物判定分析装置１４は、「落下物確率算出ＯＮ」状態に遷移した画像データから始めていくつかの画像データを用いて、物体が落下する様子を検証する。すなわち、落下物であれば、最初に横切られた水平ラインよりも下方の水平ラインを、落下物が徐々に横切ると考えられる。したがって、時系列の画像データから徐々に下方の水平ラインに着目し、水平ラインを物体が横切るか、横切る場合は自由落下速度に近いか否かにより、落下物である確度を数値化する。
【００２５】
自由落下であると仮定すると、重力加速度ｇ（９．８〔ｍ／ｓ２〕）、及び、落下を開始してから物体が横切った水平ラインの画像データが撮影されるまでの経過時間ｔから、自由落下速度は次式で表せる。なお、最初に横切った水平ラインにおける物体の速度を例えば０〔ｍ／ｓ〕又は所定の初期速度に設定する。
自由落下速度＝ｇ・ｔ＋初期速度
また、落下物判定分析装置１４は、物体が横切った複数の水平ラインを各画像データから特定し、画像データの撮影時刻と水平ラインの間隔から、物体の落下速度を算出する。
落下速度＝順番に横切った水平ラインの間隔／横切った２つの水平ラインを含む画像データの撮影時間間隔
例えば、落下速度を物体が次々と横切る水平ライン間で算出し、その平均値が自由落下速度の８０〜１２０％程度に入れば、水平ラインを横切った物体が落下物である確度が高い。したがって、この場合、落下物判定分析装置１４は落下物である確度を７０〜１００程度に決定する。ここでは確度を最高で「１００」とした。７０〜１００と幅を持たせたのは、横切った水平ラインの数が多いほど、算出された落下速度の信頼性が高いと考えられ、横切った水平ラインの数に応じて確度を大きくすべきだからである。例えば、横切った水平ラインの数が５本以上で「１００」、４本で「９０」、３本で「８０」、２本で「７０」のように決定する。
【００２６】
なお、物体が落下する速度でなく物体の加速度を評価してもよい。物体の加速度は、２点の落下速度をそれらが算出された際の時間間隔で割れば計算できる。この場合、自由落下の加速度は重力加速度ｇになるので、自由落下速度の計算が不要になる。
【００２７】
一方、走行中にバイクが自車両と先行車両の間を横切る場合があるが、この場合も複数の水平ラインは途切れ、水平ラインを物体が横切ったことが検出される。しかしながら、バイクのような移動体は同じ画像データの複数の水平ラインを一度に横切る。したがって、算出される落下速度は自由落下速度と大きく異なる。このように算出された落下速度と自由落下速度が大きく異なる場合、落下物判定分析装置１４は物体が落下物である確度を「０」に決定する。これにより、落下物の誤検出を防止できる。
【００２８】
落下速度が遅いパターンとして、例えばビニール、紙袋や枯れ葉等があるが、この場合も落下速度と自由落下速度が大きく異なるので、落下物判定分析装置１４は物体が落下物である確度を「０」に決定する。
【００２９】
また、水平ラインが途切れてもそれが物体の落下でない場合もあるので、そのような場合は落下物である確度を低く見積もることが好ましい。落下物以外で水平ラインが途切れる場合とは、例えばほろが風ではためくような場合である。この場合、水平ラインの途切れが断続的にほぼ同じ位置で生じるので、落下物判定分析装置１４は同じ水平ラインが断続的に途切れる場合、画像データにノイズが多いため落下物である確度を小さくする。例えば、上記の７０〜１００の算出結果を−１０〜−３０する（したがって、４０〜９０程度になる）。
【００３０】
なお、形状から落下物の確度を補正してもよい。落下の過程で形状が変化する物体は仮に落下物であっても液体や粉状の物質であるので接触しても自車両への影響も少ない。このため、落下物判定分析装置１４は、水平ラインを横切る物体の形状が大きく変化する場合は物体が落下物である確度を「０」に決定する。
【００３１】
最終的に、落下物判定分析装置１４は数値化された落下物である確度と閾値を比較して、確度が閾値より大きいと、ドライバ警告装置１６に警告するよう要求する。なお、この閾値は単一の値でなくいくつかの値の集合としてもよい。閾値α＞閾値β＞閾値γとすれば、それぞれの閾値α〜γをどこまで超えるかに応じて、運転者への警告態様を変えることができる。
【００３２】
図２に戻り、ドライバ警告装置１６は、例えば警告音や警告音声を発生するオーディオ装置、警告音声を表示するディスプレイ、警告ランプを点灯するメータパネル等である。ドライバ警告装置１６は、落下物判定分析装置１４から要求があると、これらの１以上を組み合わせて運転者に落下物が検出された旨を報知する。
【００３３】
警告の態様は、例えば、閾値γだけを確度が超えた場合は、ディスプレイ又はメータパネルの表示のみ、閾値βを確度が超えた場合は、音声メッセージ「落下物が検出されました」を出力し、閾値αを超えた場合は、大音量の警報音を吹鳴する等である。
【００３４】
〔車両用落下物検出装置１００による落下物検出手順〕
以上の構成を用いて、車両用落下物検出装置１００が落下物を検出する手順を図4のフローチャート図に基づき説明する。図4のフローチャート図は、例えばイグニッションオン又はシステム起動によりスタートする。したがって、落下物判定分析装置１４は「先行車監視停止」状態である。
【００３５】
前方カメラ１１は、所定のフレームレートで撮影を繰り返し、画像を画像処理装置１２に送出する（Ｓ１０）。
【００３６】
画像処理装置１２は、各画像データから検出された垂直・水平エッジのエッジ間を補完して得られた垂直・水平ラインの検出された画像データを上書きしながら、画像記憶装置１３に記憶していく（Ｓ２０）。
【００３７】
また、自車両走行状態監視装置１４は車両情報を取得する（Ｓ３０）。そして、落下物判定分析装置１４は、画像記憶装置１３から垂直・水平エッジが検出された画像データを読み出し、これと車両情報から、先行車両があれば特定する。すなわち、進行方向に定常的に検出される垂直・水平ラインが先行車両である。
【００３８】
ついで、落下物判定分析装置１４は、「先行車監視中」に遷移する遷移条件を満たしているか否かを判定する（Ｓ４０）。落下物判定分析装置１４は、例えば、先行車両が検出されており、自車両の速度が１０〔ｋｍ／ｈ〕より大きく、相対速度が１０〔ｋｍ／ｈ〕未満の場合、遷移条件を満たすと判定する。遷移条件を満たさない場合は（Ｓ４０のＮｏ）、ステップＳ１０から処理を繰り返す。
【００３９】
遷移条件を満たす場合（Ｓ４０のＹｅｓ）、落下物判定分析装置１４は「先行車監視中」状態に遷移し、「落下物確率算出ＯＮ」状態か否かを判定する（Ｓ５０）。デフォルトでは「落下物確率算出ＯＮ」状態でないので、ステップＳ５０の判定はＮｏとなる。なお、例えば、「先行車監視中」状態に遷移するのと同時に「落下物確率算出ＯＮ」状態となれば、ステップＳ５０の判定はＹｅｓとなる。「落下物確率算出ＯＮ」状態ではそのまま、物体が落下物である確度が数値化される。
【００４０】
「落下物確率算出ＯＮ」状態でない場合（Ｓ５０のＮｏ）、落下物判定分析装置１４は水平ラインを横切る物体があるか否かを判定する（Ｓ６０）。水平ラインを横切る物体が検出されない場合（Ｓ６０のＮｏ）、ステップＳ１０に戻る。なお、先行車が検出された状態では「先行車監視停止」状態に遷移しないことで、２つの状態を短時間に遷移することを防止する。
【００４１】
水平ラインを横切る物体が検出された場合（Ｓ６０のＹｅｓ）、落下物判定分析装置１４は「落下物確率算出ＯＮ」状態に遷移する（Ｓ７０）。そして、落下物判定分析装置１４は物体が落下物である確度を算出する（Ｓ８０）。
【００４２】
落下物判定分析装置１４は数値化された確度と閾値を比較し（Ｓ９０）、閾値を超えた場合（Ｓ９０Ｙｅｓ）、ドライバ警告装置１６に警告を要求する（Ｓ１００）。閾値を超えない場合（Ｓ９０Ｎｏ）、ステップＳ１０に戻る。この場合、落下物判定分析装置１４は「先行車監視中」状態に遷移する。
【００４３】
以上説明したように、本実施形態の車両用落下物検出装置１００は、先行車両からの落下物である確度を数値化することで、等落下物以外を落下物を誤検知することを低減し、落下物の検出精度を向上できる。
【図面の簡単な説明】
【００４４】
【図１】車両用落下物検出装置による落下物の検出を模式的に説明する図の一例である。
【図２】車両用落下物検出装置の機能ブロック図の一例である。
【図３】落下物判定分析装置の状態遷移図の一例である。
【図４】車両用落下物検出装置が落下物を検出する手順を示すフローチャート図の一例である。
【符号の説明】
【００４５】
１１ 前方カメラ
１２ 画像処理装置
１３ 画像記憶装置
１４ 自車両走行状態監視装置
１５ 落下物判定分析装置
１６ ドライバ警告装置
１００ 車両用落下物検出装置
【技術分野】
【０００１】
本発明は、自車両の前方を走行する先行車両から落下した落下物を検出する車両用落下物検出装置に関する。
【背景技術】
【０００２】
道路上に積載物や落石などの落下物がある場合に、これを検出して走行中の運転者に回避行動を促す技術が考えられている（例えば、特許文献１参照。）。特許文献１には、カメラにより撮影された前方道路上の落下物を画像解析により検出し、落下物が、操舵角等により予測した自車両の走行軌跡上に存在すると判定されると運転者に警告する車両用障害物検知装置が開示されている。
【０００３】
また、車両の積載物が落下する場合があり、自車両から積載物が落下したことを検出する技術が考えられている（例えば、特許文献２参照。）。特許文献２には、自車両の荷室に設置したカメラにより積載物の落下を検出する荷室監視装置が開示されている。
【特許文献１】特開２００４−１１０３９４号公報
【特許文献２】特開平８−２３８９７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２記載の荷室監視装置は、落下物を検出しても後方車両に通知することができず、結局、積載物を落下した直後の車両の運転者の注意力及び車両操作に、回避できるか否かがゆだねられてしまう。しかし、このような咄嗟の車両操作は難易度が高く、全ての運転者が落下物を回避できるとは限らないという問題がある。
【０００５】
本発明は上記課題に鑑み、先行車両による落下物の落下を後方車両の乗員が把握していなくても、回避を容易にする車両用落下物検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題に鑑み、本発明は、自車両の前方を繰り返し撮影する撮影手段と、自車両の走行状態を検出する走行状態検出手段と、撮影された画像の画像データを画像処理して先行車両を特定する先行車両特定手段と、画像データを画像処理して水平ラインを検出し、水平ラインが検出された前記画像データを時系列に複数個記憶する画像データ記憶手段と、物体が水平ラインを横切る前記画像データをトリガーに、画像データが含む水平ラインＡと、該画像データよりも後に撮影された前記画像データが含む水平ラインＡよりも下方の水平ラインＢとの間の距離、及び、画像データの撮影間隔から、物体が下方に移動する速度を算出して、物体が自由落下する落下物である確度を数値化する数値化手段と、数値化された確度が閾値より大きい場合、運転者に警告する警告手段と、を有することを特徴とする。
【発明の効果】
【０００７】
先行車両による落下物の落下を後方車両の乗員が把握していなくても、回避を容易にする車両用落下物検出装置を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明を実施するための最良の形態について図面を参照しながら説明する。
図1は、本実施形態の車両用落下物検出装置１００による落下物の検出を模式的に説明する図の一例である。
（１）車両用落下物検出装置１００は、車載した前方カメラ１１により前方を連続的に撮影している。
（２）自車両の前方を先行車両が走行していると、撮影された前方の画像の画像データを処理し先行車両の特徴的なライン（特に、時間的に変化しない垂直・水平方向のライン）を検出し蓄積する。これと自車両の走行状態から先行車両が特定される。
（３）車両用落下物検出装置１００は、保存した最新の数個の画像データと自車両の走行状態より、特定した先行車両からの落下物を検出する必要があるか否かを判定する。
（４）落下物を検出する必要があれば、画像処理により、特定された先行車両の水平ラインを鉛直方向に横切る物体を検出する。この物体は落下物の候補になる。
（５）物体の落下速度に基づき、物体が先行車両からの落下物である可能性を数値化（以下、落下物である確度という）する。画像データに撮影されるノイズなどの影響を考慮して、確度を補正する。
（６）数値化された確度が閾値を超えると、車両用落下物検出装置１００は運転者に警告する。これにより、運転者は落下物があることを早期に把握して、回避行動に移ることができる。また、運転者がブレーキペダルを操作しなくても減速するなどの運転支援が可能になる。
【０００９】
したがって、車両用落下物検出装置１００は、落下速度を算出したりノイズを考慮して物体が先行車両からの落下物である確度を決定することで、落下物以外の物体を落下物であると誤検知することを低減し、落下物の検出精度を向上できる。
【００１０】
図２は、車両用落下物検出装置１００の機能ブロック図の一例を示す。車両用落下物検出装置１００は、所定のＥＣＵ（Electronic Control Unit）により制御され、そのＥＣＵが実現するソフト的又はハード的な機能を実装する。
【００１１】
前方カメラ１１は、例えばルームミラーの背面に配置され、車両前方のやや下向きに光軸を有し、所定のフレームレート（例えば３０ｆｐｓ）で連続して画像を撮影する。少なくとも1枚以上の画像に、落下物が自由落下した際に先行車両の水平ラインを横切る瞬間が撮影されている必要があるので、フレームレートはおよその落下物の大きさと自由落下の速度から決定することができる。
【００１２】
撮影された前方の画像の画像データは１フレームごとに画像処理装置１２に出力される。画像処理装置１２は、各画像データに先行車両を特定する処理と水平ラインを検出する画像処理を施す。このため、例えば垂直・水平方向のエッジを検出する。垂直方向、水平方向に連続するエッジは先行車両の輪郭を検出しやすく、先行車両の特定に有利である。さらにパターンマッチングにより先行車両を検出してもよい。
【００１３】
また、水平方向に連続しているエッジは後述する落下物の検出に使用される。水平方向のエッジには背景などのエッジも含まれるが、これらは自車両の移動に伴いいずれ消失するのに対し、先行車両の水平ラインは自車両と同程度の車速で移動するので、時系列に撮影された各画像で同じものが検出される。このように安定して検出される水平ラインに例えば識別番号を付して監視する。なお、この水平ラインのエッジは、例えば、輪郭（ルーフ）、荷台、バンパ、等である。画像が次々と撮影されても、バンパならバンパの水平ラインを定常的に検出できる。
【００１４】
画像記憶装置１３は、最新の数個の画像データを時系列に記憶するハードディスクやフラッシュメモリ、ＲＡＭなどの記憶手段を実体とする。記憶する画像データは、画像処理が施されたものである。数個とは、例えば１〜２秒程度の間に撮影される画像データである。記憶される画像データは、落下物が水平ラインを横切る過程で落下速度の算出に用いられるので、落下する直前から水平ラインを横切るまでの数秒の画像データが記憶されていればよい。
【００１５】
自車両走行状態監視装置１４は、車載された種々のセンサ又は他のＥＣＵが提供する車両情報をＣＡＮ（Controller Area Network）等の車載ＬＡＮ用を介して取得し、車両情報に基づき自車両の走行状態を監視する。車両情報は、例えば、車輪速センサによる車速、操舵角センサによる車両の進行方向、ジャイロセンサによる車両の仰角等である。進行方向と仰角から撮影方向を特定できるので、先行車両の特定が容易になる。
【００１６】
落下物判定分析装置１４は、先行車両を特定し、また、水平ラインを横切った物体が落下物である確度を数値化する。すなわち、落下物判定分析装置１４は、Ａ）監視の必要な先行車両を特定し、特定した状態でＢ）物体が水平ラインを横切ったことを検出すると、Ｃ）物体が落下物である確度を数値化する。この結果、落下物判定分析装置１４は３つの状態を遷移する。
【００１７】
〔落下物判定分析装置１４の状態遷移〕
図３は、落下物判定分析装置１４の状態遷移図の一例を示す。３つの状態の１つは「先行車監視停止」状態である。この状態では落下物判定分析装置１４は、画像データを蓄積しながら監視の必要な先行車両が走行しているか否かの判定を繰り返している。エンジンで走行する車両の場合はイグニッションオン直後又はハイブリッド車や電気自動車の場合はシステム起動直後、落下物判定分析装置１４はこの「先行車監視停止」状態となる。
【００１８】
「先行車監視停止」状態からは、「先行車監視中」状態に遷移する。遷移条件は、先行車両が存在すること、及び、自車両が走行していて、かつ、先行車両との相対速度が、両車両が接近していること示していることである。「先行車両が存在すること」が条件となるのは先行車両が存在しなければ、落下物も生じないからである。「自車両が走行していること」が条件となるのは、自車両が走行していなければ落下物に接近するおそれがないからである。「先行車両との相対速度が、両車両が接近していること示していること」が条件となるのは、離間していれば道路上の落下物に到達するまで十分な時間があるからである。
【００１９】
先行車両は、画像データから検出される。画像データから安定した垂直ライン・水平ラインが検出される場合は、監視すべき先行車両である。先行車両との相対速度も画像データから検出される。画像データのいくつかの水平ラインの長さの変化から相対速度を算出できる。レーザレーダにより相対速度を検出してもよい。
【００２０】
「先行車監視中」状態の落下物判定分析装置１４は、画像記憶装置１３に蓄積した直前の画像データの水平ラインと最新の画像データの水平ラインを比較して、物体が水平ラインを横切ったか否かの判定を繰り返す。物体が水平ラインを横切ると水平ラインは途切れる。したがって、時系列に撮影された同じ水平ラインを比較して、最新の水平ラインが途切れていれば物体が水平ラインを横切ったことを検出できる。
【００２１】
なお、ここで検出する物体が横切った水平ラインは車両の荷台のものであることが好ましい。乗用車（ワンボックスやバンを含む）の荷台は、ルーフ上に設けられ（ルーフキャリヤ）、トラックの荷台は平ボディに揺動可能な半板やほろで囲われている。これらの荷台の水平ラインとは別に車体の輪郭の水平ラインが検出されるため、荷台の水平ラインは２本以上ある水平ラインのうち最下段でないものである。したがって、落下物判定分析装置１４は、２本以上ある水平ラインのうち物体が最下段以外の水平ラインを横切ったことを検出する。
【００２２】
「先行車監視中」状態からは、「落下物確率算出ＯＮ」状態と「先行車監停止」状態に遷移する。前者の遷移条件は、物体が水平ラインを横切ったことが検出されることであり、後者の遷移条件は物体が水平ラインを横切らないことである。後者の遷移条件が満たされた場合、「先行車監視停止」状態に遷移しても「先行車監視中」への遷移条件を満たせばすぐに「先行車監視中」に遷移してしまう。このため「先行車監視中」状態への遷移条件を満たしている間は、「先行車監視停止」状態に遷移することを禁止してもよい。
【００２３】
「落下物確率算出ＯＮ」状態の落下物判定分析装置１４は、水平ラインを横切った物体が落下物である確度を数値化する。「落下物確率算出ＯＮ」状態からは、「先行車監視中」状態と「先行車監視停止」状態に遷移する。前者の遷移条件は、落下物の確度の数値化が終了したことであり、後者の遷移条件は回避行動により自車両が停止したり先行車両を補足しなくなったことである。
【００２４】
〔落下物である確度の数値化〕
物体が落下物である確度の数値化について説明する。落下物判定分析装置１４は、「落下物確率算出ＯＮ」状態に遷移した画像データから始めていくつかの画像データを用いて、物体が落下する様子を検証する。すなわち、落下物であれば、最初に横切られた水平ラインよりも下方の水平ラインを、落下物が徐々に横切ると考えられる。したがって、時系列の画像データから徐々に下方の水平ラインに着目し、水平ラインを物体が横切るか、横切る場合は自由落下速度に近いか否かにより、落下物である確度を数値化する。
【００２５】
自由落下であると仮定すると、重力加速度ｇ（９．８〔ｍ／ｓ２〕）、及び、落下を開始してから物体が横切った水平ラインの画像データが撮影されるまでの経過時間ｔから、自由落下速度は次式で表せる。なお、最初に横切った水平ラインにおける物体の速度を例えば０〔ｍ／ｓ〕又は所定の初期速度に設定する。
自由落下速度＝ｇ・ｔ＋初期速度
また、落下物判定分析装置１４は、物体が横切った複数の水平ラインを各画像データから特定し、画像データの撮影時刻と水平ラインの間隔から、物体の落下速度を算出する。
落下速度＝順番に横切った水平ラインの間隔／横切った２つの水平ラインを含む画像データの撮影時間間隔
例えば、落下速度を物体が次々と横切る水平ライン間で算出し、その平均値が自由落下速度の８０〜１２０％程度に入れば、水平ラインを横切った物体が落下物である確度が高い。したがって、この場合、落下物判定分析装置１４は落下物である確度を７０〜１００程度に決定する。ここでは確度を最高で「１００」とした。７０〜１００と幅を持たせたのは、横切った水平ラインの数が多いほど、算出された落下速度の信頼性が高いと考えられ、横切った水平ラインの数に応じて確度を大きくすべきだからである。例えば、横切った水平ラインの数が５本以上で「１００」、４本で「９０」、３本で「８０」、２本で「７０」のように決定する。
【００２６】
なお、物体が落下する速度でなく物体の加速度を評価してもよい。物体の加速度は、２点の落下速度をそれらが算出された際の時間間隔で割れば計算できる。この場合、自由落下の加速度は重力加速度ｇになるので、自由落下速度の計算が不要になる。
【００２７】
一方、走行中にバイクが自車両と先行車両の間を横切る場合があるが、この場合も複数の水平ラインは途切れ、水平ラインを物体が横切ったことが検出される。しかしながら、バイクのような移動体は同じ画像データの複数の水平ラインを一度に横切る。したがって、算出される落下速度は自由落下速度と大きく異なる。このように算出された落下速度と自由落下速度が大きく異なる場合、落下物判定分析装置１４は物体が落下物である確度を「０」に決定する。これにより、落下物の誤検出を防止できる。
【００２８】
落下速度が遅いパターンとして、例えばビニール、紙袋や枯れ葉等があるが、この場合も落下速度と自由落下速度が大きく異なるので、落下物判定分析装置１４は物体が落下物である確度を「０」に決定する。
【００２９】
また、水平ラインが途切れてもそれが物体の落下でない場合もあるので、そのような場合は落下物である確度を低く見積もることが好ましい。落下物以外で水平ラインが途切れる場合とは、例えばほろが風ではためくような場合である。この場合、水平ラインの途切れが断続的にほぼ同じ位置で生じるので、落下物判定分析装置１４は同じ水平ラインが断続的に途切れる場合、画像データにノイズが多いため落下物である確度を小さくする。例えば、上記の７０〜１００の算出結果を−１０〜−３０する（したがって、４０〜９０程度になる）。
【００３０】
なお、形状から落下物の確度を補正してもよい。落下の過程で形状が変化する物体は仮に落下物であっても液体や粉状の物質であるので接触しても自車両への影響も少ない。このため、落下物判定分析装置１４は、水平ラインを横切る物体の形状が大きく変化する場合は物体が落下物である確度を「０」に決定する。
【００３１】
最終的に、落下物判定分析装置１４は数値化された落下物である確度と閾値を比較して、確度が閾値より大きいと、ドライバ警告装置１６に警告するよう要求する。なお、この閾値は単一の値でなくいくつかの値の集合としてもよい。閾値α＞閾値β＞閾値γとすれば、それぞれの閾値α〜γをどこまで超えるかに応じて、運転者への警告態様を変えることができる。
【００３２】
図２に戻り、ドライバ警告装置１６は、例えば警告音や警告音声を発生するオーディオ装置、警告音声を表示するディスプレイ、警告ランプを点灯するメータパネル等である。ドライバ警告装置１６は、落下物判定分析装置１４から要求があると、これらの１以上を組み合わせて運転者に落下物が検出された旨を報知する。
【００３３】
警告の態様は、例えば、閾値γだけを確度が超えた場合は、ディスプレイ又はメータパネルの表示のみ、閾値βを確度が超えた場合は、音声メッセージ「落下物が検出されました」を出力し、閾値αを超えた場合は、大音量の警報音を吹鳴する等である。
【００３４】
〔車両用落下物検出装置１００による落下物検出手順〕
以上の構成を用いて、車両用落下物検出装置１００が落下物を検出する手順を図4のフローチャート図に基づき説明する。図4のフローチャート図は、例えばイグニッションオン又はシステム起動によりスタートする。したがって、落下物判定分析装置１４は「先行車監視停止」状態である。
【００３５】
前方カメラ１１は、所定のフレームレートで撮影を繰り返し、画像を画像処理装置１２に送出する（Ｓ１０）。
【００３６】
画像処理装置１２は、各画像データから検出された垂直・水平エッジのエッジ間を補完して得られた垂直・水平ラインの検出された画像データを上書きしながら、画像記憶装置１３に記憶していく（Ｓ２０）。
【００３７】
また、自車両走行状態監視装置１４は車両情報を取得する（Ｓ３０）。そして、落下物判定分析装置１４は、画像記憶装置１３から垂直・水平エッジが検出された画像データを読み出し、これと車両情報から、先行車両があれば特定する。すなわち、進行方向に定常的に検出される垂直・水平ラインが先行車両である。
【００３８】
ついで、落下物判定分析装置１４は、「先行車監視中」に遷移する遷移条件を満たしているか否かを判定する（Ｓ４０）。落下物判定分析装置１４は、例えば、先行車両が検出されており、自車両の速度が１０〔ｋｍ／ｈ〕より大きく、相対速度が１０〔ｋｍ／ｈ〕未満の場合、遷移条件を満たすと判定する。遷移条件を満たさない場合は（Ｓ４０のＮｏ）、ステップＳ１０から処理を繰り返す。
【００３９】
遷移条件を満たす場合（Ｓ４０のＹｅｓ）、落下物判定分析装置１４は「先行車監視中」状態に遷移し、「落下物確率算出ＯＮ」状態か否かを判定する（Ｓ５０）。デフォルトでは「落下物確率算出ＯＮ」状態でないので、ステップＳ５０の判定はＮｏとなる。なお、例えば、「先行車監視中」状態に遷移するのと同時に「落下物確率算出ＯＮ」状態となれば、ステップＳ５０の判定はＹｅｓとなる。「落下物確率算出ＯＮ」状態ではそのまま、物体が落下物である確度が数値化される。
【００４０】
「落下物確率算出ＯＮ」状態でない場合（Ｓ５０のＮｏ）、落下物判定分析装置１４は水平ラインを横切る物体があるか否かを判定する（Ｓ６０）。水平ラインを横切る物体が検出されない場合（Ｓ６０のＮｏ）、ステップＳ１０に戻る。なお、先行車が検出された状態では「先行車監視停止」状態に遷移しないことで、２つの状態を短時間に遷移することを防止する。
【００４１】
水平ラインを横切る物体が検出された場合（Ｓ６０のＹｅｓ）、落下物判定分析装置１４は「落下物確率算出ＯＮ」状態に遷移する（Ｓ７０）。そして、落下物判定分析装置１４は物体が落下物である確度を算出する（Ｓ８０）。
【００４２】
落下物判定分析装置１４は数値化された確度と閾値を比較し（Ｓ９０）、閾値を超えた場合（Ｓ９０Ｙｅｓ）、ドライバ警告装置１６に警告を要求する（Ｓ１００）。閾値を超えない場合（Ｓ９０Ｎｏ）、ステップＳ１０に戻る。この場合、落下物判定分析装置１４は「先行車監視中」状態に遷移する。
【００４３】
以上説明したように、本実施形態の車両用落下物検出装置１００は、先行車両からの落下物である確度を数値化することで、等落下物以外を落下物を誤検知することを低減し、落下物の検出精度を向上できる。
【図面の簡単な説明】
【００４４】
【図１】車両用落下物検出装置による落下物の検出を模式的に説明する図の一例である。
【図２】車両用落下物検出装置の機能ブロック図の一例である。
【図３】落下物判定分析装置の状態遷移図の一例である。
【図４】車両用落下物検出装置が落下物を検出する手順を示すフローチャート図の一例である。
【符号の説明】
【００４５】
１１ 前方カメラ
１２ 画像処理装置
１３ 画像記憶装置
１４ 自車両走行状態監視装置
１５ 落下物判定分析装置
１６ ドライバ警告装置
１００ 車両用落下物検出装置
【特許請求の範囲】
【請求項１】
自車両の前方を繰り返し撮影する撮影手段と、
自車両の走行状態を検出する走行状態検出手段と、
撮影された画像の画像データを画像処理して先行車両を特定する先行車両特定手段と、
前記画像データを画像処理して水平ラインを検出し、水平ラインが検出された前記画像データを時系列に複数個記憶する画像データ記憶手段と、
物体が水平ラインを横切る前記画像データをトリガーに、前記画像データが含む水平ラインＡと、該画像データよりも後に撮影された前記画像データが含む水平ラインＡよりも下方の水平ラインＢとの間の距離、及び、２つの前記画像データの撮影間隔から、前記物体が下方に移動する速度を算出して、前記物体が自由落下する落下物である確度を数値化する数値化手段と、
前記数値化された確度が閾値より大きい場合、運転者に警告する警告手段と、
を有することを特徴とする車両用落下物検出装置。
【請求項１】
自車両の前方を繰り返し撮影する撮影手段と、
自車両の走行状態を検出する走行状態検出手段と、
撮影された画像の画像データを画像処理して先行車両を特定する先行車両特定手段と、
前記画像データを画像処理して水平ラインを検出し、水平ラインが検出された前記画像データを時系列に複数個記憶する画像データ記憶手段と、
物体が水平ラインを横切る前記画像データをトリガーに、前記画像データが含む水平ラインＡと、該画像データよりも後に撮影された前記画像データが含む水平ラインＡよりも下方の水平ラインＢとの間の距離、及び、２つの前記画像データの撮影間隔から、前記物体が下方に移動する速度を算出して、前記物体が自由落下する落下物である確度を数値化する数値化手段と、
前記数値化された確度が閾値より大きい場合、運転者に警告する警告手段と、
を有することを特徴とする車両用落下物検出装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−１０８３７１（Ｐ２０１０−１０８３７１Ａ）
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願番号】特願２００８−２８１７７１（Ｐ２００８−２８１７７１）
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]