前方監視装置
【課題】運転者にとって必要な報知を適切に行うことができる前方監視装置を提供する。
【解決手段】車両３周囲の画像を取得する画像センサ２０と、画像取得手段により取得した画像に基づいて他車両の進行方向の合図を検出する環境情報認識ＥＣＵ１０と、運転者の有効視野を検出する運転者状態認識ＥＣＵ１１と、画像取得手段により取得した進行方向の合図の画像範囲、及び視野検出手段により検出した運転者の有効視野に基づいて運転者の認知度を推定する認知度推定ＥＣＵ１２と、認知度に応じて警報を発生する運転支援ＥＣＵ１３と、を備えることで、先行車両５の点滅するウィンカを検出して、点滅するウィンカの画像範囲Ｄ及び運転者の有効視野Ｃ１、Ｃ２に基づいて認知度Ｐを推定し、認知度Ｐに応じて警報を発生させることが可能となるので、認識しづらい先行車両５のウィンカを適切に報知することができる。よって、運転者にとって必要な報知を適切に行うことが可能となる。
【解決手段】車両３周囲の画像を取得する画像センサ２０と、画像取得手段により取得した画像に基づいて他車両の進行方向の合図を検出する環境情報認識ＥＣＵ１０と、運転者の有効視野を検出する運転者状態認識ＥＣＵ１１と、画像取得手段により取得した進行方向の合図の画像範囲、及び視野検出手段により検出した運転者の有効視野に基づいて運転者の認知度を推定する認知度推定ＥＣＵ１２と、認知度に応じて警報を発生する運転支援ＥＣＵ１３と、を備えることで、先行車両５の点滅するウィンカを検出して、点滅するウィンカの画像範囲Ｄ及び運転者の有効視野Ｃ１、Ｃ２に基づいて認知度Ｐを推定し、認知度Ｐに応じて警報を発生させることが可能となるので、認識しづらい先行車両５のウィンカを適切に報知することができる。よって、運転者にとって必要な報知を適切に行うことが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前方を監視する装置に関するものである。
【背景技術】
【０００２】
従来、車両の前方を監視する装置が知られている（例えば、特許文献１参照）。特許文献１記載の装置は、運転者に対して警報対象物の存在を警報音で報知するものであって、運転者の有効視野角及び有効注視距離に基づいて警報音の強さを設定するものである。
【特許文献１】特許第３８４７０６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の前方監視装置にあっては、運転者に対する警報が運転者にとって最適でない場合がある。例えば、運転者は警報対象物の態様によっては有効視野内であっても当該警報対象物を認識しづらい場合があり、大きな警報レベルを望むことがある。また、例えば、運転者は警報対象物を認識している場合には、警報が煩わしいと感じることがある。
【０００４】
そこで、本発明はこのような技術課題を解決するためになされたものであって、運転者にとって必要な監視を適切に行うことができる前方監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち本発明に係る前方監視装置は、車両周囲の画像を取得する画像取得手段と、画像取得手段により取得した画像に基づいて他車両の進行方向の合図を検出する進行方向検出手段と、運転者の有効視野を検出する視野検出手段と、画像取得手段により取得した進行方向の合図の位置情報及び視野検出手段により検出した運転者の有効視野に基づいて、他車両の進行方向の合図を運転者が認識している度合いを示す認知度を推定する認知推定手段と、を備えて構成される。
【０００６】
この発明によれば、他車両の進行方向の合図を検出し、進行方向の合図の位置情報及び運転者の有効視野に基づいて、運転者が他車両の進行方向の合図を認知している度合い（認知度）を推定することができる。このため、認識している進行方向の合図と、認識しづらい進行方向の合図とを区別して監視することが可能となるので、運転者にとって必要な監視を適切に行うことができる。
【０００７】
ここで、前方監視装置において、進行方向検出手段は、他車両の進行方向の合図として、方向指示器の光、又は周囲より反射された方向指示器の光を検出することが好適である。このように構成することで、例えば画像に基づいて周囲からの反射光を検出することで運転者の死角となる方向指示器を検出することができるので、運転者が認識しづらい他車両の進行方向の合図を画像から的確に取得することが可能となる。よって、運転者にとって必要な監視を適切に行うことができる。
【０００８】
また、前方監視装置において、進行方向検出手段は、方向指示器の点滅周期情報に基づいて他車両の進行方向の合図を検出することが好適である。このように構成することで、点滅する方向指示器等を画像情報に基づいて容易に特定することができる。
【０００９】
また、前方監視装置において、点滅する前記方向指示器の位置及びナンバープレートの位置に基づいて前記他車両における進行方向が左方向か右方向かを判定することが好適である。このように構成することで、他車両の進行方向を画像情報に基づいて簡易に判定することができる。
【００１０】
また、前方監視装置において、認知推定手段は、有効視野内における運転者の視覚を刺激する光刺激量に基づいて認知度を推定することが好適である。このように構成することで、運転者の認知度を画像情報に基づいて推定することができる。
【００１１】
また、前方監視装置において、認知推定手段は、他車両の移動速度に基づいて認知度を推定することが好適である。このように構成することで、移動する物体の見えやすさを考慮できるので、運転者の認知度を精度良く推定することが可能となる。
【００１２】
また、前方監視装置は、認知度に応じて警報を発生する警報発生手段を備えることが好適である。このように構成することで、例えば認識しづらい警報対象物を適切に報知したり、運転者が警報を煩わしく感じたりすることを回避することができる。よって、運転者にとって必要な報知を適切に行うことが可能となる。
【００１３】
さらに、前方監視装置において、警報発生手段は、認知推定手段により推定された認知度が低い場合ほど、警報の開始タイミングを早くすることが好適である。このように構成することで、運転者が認知していない場合ほど早期に警告することができるので、警報効果を一層高めることが可能となる。
【００１４】
また、本発明に係る車両は、周辺車両のウィンカ動作を検知し、検知した結果に応じた情報を運転者に報知することを特徴として構成される。本発明によれば、ウィンカの点滅等の動作を検知して検知結果に応じた情報を運転者に報知することができるので、自車両及び他車両が通信装置を備えていなくても運転者にとって必要な監視を適切に行うことができる。
【発明の効果】
【００１５】
本発明によれば、運転者にとって必要な報知を適切に行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００１７】
本実施形態に係る前方監視装置は、例えば対象物の認識を支援するプリクラッシュセーフティシステムを備える車両に好適に採用されるものである。
【００１８】
最初に、本実施形態に係る前方監視装置を備える車両の概要から説明する。図１は、本実施形態に係る前方監視装置１を備える車両の概要図である。図１に示す車両３は、環境情報を取得するための画像センサ（画像取得手段）２０、前方／側方センサ２１、ナビゲーションシステム２２及び環境情報認識ＥＣＵ（進行方向検出手段）１０、運転者の状態を認識するための視線計測装置２３及び運転者状態認識ＥＣＵ（視野検出手段）１１、車両状態を認識するための舵角センサ２４、車速センサ２５、ウィンカセンサ２６及び車両情報認識ＥＣＵ１４、運転者の認識の度合いを推定する認知度推定ＥＣＵ（認知推定手段）１２、運転支援を行う運転支援ＥＣＵ（警報発生手段）１３、スピーカ３０及び表示部３１を備えている。
【００１９】
画像センサ２０は、画像を取得するためのセンサであって、例えば車両３の周囲の画像情報（各画素のＲＧＢ値）を取得する機能を有している。ＲＧＢ値は、画素の赤、緑、青の三原色の輝度を表すものであり、各画素のＲＧＢ値は行列として表現される。また、画像センサ２０は、取得した画像情報を環境情報認識ＥＣＵ１０へ出力する機能を有している。
【００２０】
前方／側方センサ２１は、車両進行方向の前方あるいは側方の対象物を検出する機能を有しており、例えばミリ波センサが用いられる。前方／側方センサ２１は、例えば、検出した他車両の位置情報等を環境情報認識ＥＣＵ１０へ出力する機能を有している。
【００２１】
ナビゲーションシステム２２は、全地球測位システム（GlobalPositioning System）を利用して車両３の現在位置や周辺他車両の位置を検出する機能を有している。また、ナビゲーションシステム２２は、走行目的地までの経路案内等を行う機能を有している。また、ナビゲーションシステム２２は、地図情報データベースを参照可能に構成されており、車両３の周辺又は走行予定経路について、道路形状や車線、付近の店舗や土地の用途等に関する情報を入力する機能を有している。また、ナビゲーションシステム２２は、他車両の位置、道路形状等に関する情報、ルート案内情報等を環境情報認識ＥＣＵ１０へ出力する機能を有している。
【００２２】
環境情報認識ＥＣＵ１０は、画像センサ２０、前方／側方センサ２１及びナビゲーションシステム２２に接続され、それぞれから入力した情報に基づいて、車両３の周囲の道路状況や交通状況を認識する機能を有している。例えば、環境情報認識ＥＣＵ１０は、ナビゲーションシステム２２により出力されたルート案内情報に基づいて、車両３が直進するのか、右左折するのか等の運転場面を取得する機能を有している。また、環境情報認識ＥＣＵ１０は、画像センサ２０により取得した画像に基づいて他車両のウィンカ（方向指示器）の合図を検出する機能を有している。例えば、環境情報認識ＥＣＵ１０は、ウィンカの光、又は周囲より反射されたウィンカの光を検出することでウィンカの合図を検出する機能を有している。ここで、周囲とは、例えばガードレール等の路側物や、道路、周辺車両等である。また、例えば、ウィンカの検出を点滅周期情報に基づいて行う機能を有している。また、環境情報認識ＥＣＵ１０は、点滅するウィンカの位置及びナンバープレートの位置に基づいて他車両における進行方向の左右を判定する機能を有している。さらに、環境情報認識ＥＣＵ１０は、取得した情報や判定した内容を認知度推定ＥＣＵ１２へ出力する機能を有している。
【００２３】
視線計測装置２３は、例えば運転者の視線を検出する機能を有している。視線計測装置２３は、例えば、運転者の顔を撮像する機能と、撮像した顔に基づいて運転者の顔の向きや視線方向を検出する機能を有している。また、視線計測装置２３は、運転者の顔の向きや視線方向に関する情報を運転者状態認識ＥＣＵ１１へ出力する機能を有している。
【００２４】
運転者状態認識ＥＣＵ１１は、視線計測装置２３が出力した情報に基づいて、運転者の有効視野を検出する機能を有している。ここで、有効視野とは、視野の中で物体等の認知に寄与する部分をいう。この有効視野は、中心視野と周辺視野に分別することができる。中心視野とは、視点中心における分解能が高い視野であり、周辺視野とは、中心視野の周囲の視野であって、動く物体等に対して反応が良い視野である。運転者状態認識ＥＣＵ１１は、検出した有効視野を認知度推定ＥＣＵ１２へ出力する機能を有している。
【００２５】
認知度推定ＥＣＵ１２は、環境情報認識ＥＣＵ１０及び運転者状態認識ＥＣＵ１１の出力に基づいて運転者の認知度を算出する機能を有している。運転者の認知度とは、警報の対象となる事象を運転者が認知している度合いを示すものである。例えば、他車両のウィンカの点滅（進行方向の合図）をどの程度認知しているかを示す度合いである。認知度推定ＥＣＵ１２は、例えば、ウィンカに対応する画素領域、及び、有効視野の座標系に変換した場合の画素領域に基づいて運転者の認知度を推定する機能を有している。また、認知度推定ＥＣＵ１２は、有効視野内における運転者の視覚を刺激する光刺激量に基づいて、認知度を推定する機能を有している。また、認知度推定ＥＣＵ１２は、有効視野内における他車両の移動速度に基づいて、認知度を推定する機能を有している。さらに、認知度推定ＥＣＵ１２は、推定した認知度を運転支援ＥＣＵ１３へ出力する機能を有している。
【００２６】
舵角センサ２４は、ハンドルの操舵角を検出するセンサである。舵角センサ２４として、例えば、ホール素子やフォトインタラプタ等を有する位置検出センサが用いられる。また、舵角センサ２４は、検出した操舵角を車両情報認識ＥＣＵ１４へ出力する機能を有している。
【００２７】
車速センサ２５は、車両３の車速を検出するセンサである。車速センサ２５として、例えば、車輪側に設けられた磁石と車体側に設けられたホール素子により車輪の回転をパルスとして検出することで車速を検出するセンサが用いられる。また、車速センサ２５は、検出した車速を車両情報認識ＥＣＵ１４へ出力する機能を有している。
【００２８】
ウィンカセンサ２６は、車両３のウィンカの状態を検出するセンサである。例えば、ウィンカの操作部（不図示）が操作されているか否かを検出することによりウィンカの状態を検出する機能を有している。また、操作部が操作されている場合には、左右のどちらの合図を出力する操作なのかを検出する機能を有している。また、ウィンカセンサ２６は、検出したウィンカの状態を車両情報認識ＥＣＵ１４へ出力する機能を有している。
【００２９】
車両情報認識ＥＣＵ１４は、舵角センサ２４、車速センサ２５及びウィンカセンサ２６の出力した情報に基づいて、車両３の実際の運動に関する情報を取得する機能を有している。また、車両情報認識ＥＣＵ１４は、取得した運動に関する情報を運転支援ＥＣＵ１３へ出力する機能を有している。
【００３０】
運転支援ＥＣＵ１３は、環境情報認識ＥＣＵ１０が出力した運転場面や交通情報に基づいて運転支援の態様を変更する必要があるか否かを判定する機能を有している。また、運転支援ＥＣＵ１３は、認知度推定ＥＣＵ１２が出力した認知度に基づいて運転支援を行う機能を有している。例えば、運転支援ＥＣＵ１３は、環境情報認識ＥＣＵ１０が出力した他車情報及び車両情報認識ＥＣＵ１４が出力した自車両情報に基づいて通常の警報タイミングや警報音を算出し、認知度に応じて警報タイミングや警報音を変化させる機能を有している。運転支援ＥＣＵ１３は、スピーカ３０に出力させる警報の大きさやタイミング、表示部３１に表示させる態様等に関する信号をスピーカ３０又は表示部３１へ出力する機能を有している。スピーカ３０及び表示部３１は、運転支援ＥＣＵ１３が出力した信号に基づいて警報音や警報表示を出力して運転者に報知する機能を有している。
【００３１】
上述した画像センサ２０、環境情報認識ＥＣＵ１０、運転者状態認識ＥＣＵ１１、認知度推定ＥＣＵ１２及び運転支援ＥＣＵ１３を備えて前方監視装置１が構成される。
【００３２】
次に、本実施形態に係る前方監視装置１を備える車両３の動作について説明する。図２は、本実施形態に係る前方監視装置１を備える車両３の動作を示すフローチャート、図３、４は図２に示すフローチャートを説明するための概要図である。図２に示す制御処理は、例えば、イグニッションオンされたタイミングで開始され、所定の間隔で繰り返し実行される。なお、以下では説明理解の容易性を考慮して、車両３の運転者に対して先行車両５のウィンカ点灯を報知する場合を説明する。
【００３３】
図２に示す制御処理が開始されると、運転場面取得処理から開始する（Ｓ１０）。Ｓ１０の処理は、環境情報認識ＥＣＵ１０が実行し、環境情報を入力する処理である。環境情報認識ＥＣＵ１０は、ナビゲーションシステム２２からルート案内情報を入力し、車両３の運転場面を取得する。例えば、ルート案内情報に基づいて、車両３は直進するのか、あるいは右左折するのか等を取得する。あるいは、ナビゲーションシステム２２から現在位置、及び車両情報認識ＥＣＵ１４から操舵角を入力して、車両３の運転場面を特定してもよい。また、環境情報認識ＥＣＵ１０は、先行車両の情報を取得する。例えば、ナビゲーションシステム２２により出力された他車両の情報に基づいて、先行車両の有無及び先行車両の位置情報を入力する。あるいは、画像センサ２０又は前方／側方センサ２１により出力された先行車両情報に基づいて、先行車両の有無及び先行車両の位置情報を入力する。Ｓ１０の処理が終了すると、運転場面判定処理へ移行する（Ｓ１２）。
【００３４】
Ｓ１２の処理は、環境情報認識ＥＣＵ１０及び運転支援ＥＣＵ１３が実行し、車両３が右左折する運転場面であるのか否かを判定する処理である。Ｓ１０の処理で取得した車両３の運転場面が右左折するものである場合には、地図情報取得処理へ移行する（Ｓ１４）。
【００３５】
Ｓ１４の処理は、環境情報認識ＥＣＵ１０が実行し、車両３周囲の地図情報の詳細を入力する処理である。環境情報認識ＥＣＵ１０は、例えば、ナビゲーションシステム２２が提供する地図情報を参照して、車両３の現在地点周囲の地図情報を入力する。この地図情報には、道路形状の他に信号や建物に関する情報が含まれている。Ｓ１４の処理が終了すると、死角判定処理へ移行する（Ｓ１６）。
【００３６】
Ｓ１６の処理は、認知度推定ＥＣＵ１２が実行し、車両３の進行方向において死角となる状況が発生するか否かを判定する処理である。例えば、車両３が右左折する交差路上に分岐路や駐車場等が存在する場合、すなわち右左折した直後に分岐路や駐車場等が現われるような状況であるか否かを判定する。認知度推定ＥＣＵ１２は、Ｓ１４の処理で入力した道路形状や建物に関する情報に基づいて、交差点の近くに分岐路や駐車場等があるか否かを判定する。また、Ｓ１０の処理で入力した先行車両の有無及び位置情報に基づいて、先行車両が車両３の走行ルートと同一であるか否かを判定する。Ｓ１６の処理において、先行車両に続いて車両３が交差点を同一方向に右左折する場合であって、当該交差点の近くに分岐路があると判定した場合には、差分画像情報抽出処理へ移行する（Ｓ１８）。
【００３７】
Ｓ１８の処理は、環境情報認識ＥＣＵ１０及び認知度推定ＥＣＵ１２が実行し、差分画像情報を抽出する処理である。環境情報認識ＥＣＵ１０は、画像センサ２０により所定期間に出力された前方画像を入力する。そして、認知度推定ＥＣＵ１２は、環境情報認識ＥＣＵ１０が入力した所定時刻の前方画像と、所定時間経過後の前方画像との差分である画像を抽出する。ここで、所定時刻をｔ、サンプリング周期をα、所定の係数をＫ、時刻ｔにおける画像情報（各画素のＲＧＢ値）をＡ（ｔ）とすると、抽出する差分画像情報Ｂは以下式１で表すことができる。
【００３８】
Ｂ＝Ａ（ｔ＋α・Ｋ）−Ａ（ｔ） …（１）
【００３９】
認知度推定ＥＣＵ１２が式１を用いて差分画像情報Ｂを算出すると、Ｓ１８の処理は終了し、ウィンカ検出処理へ移行する（Ｓ２０）。
【００４０】
Ｓ２０の処理は、認知度推定ＥＣＵ１２が実行し、差分画像情報Ｂに基づいて、先行車両がウィンカを点滅させているか否かを判定する処理である。認知度推定ＥＣＵ１２は、差分画像情報Ｂの中に、ウィンカの点滅周期に近い間隔で、ウィンカランプ光の波長に近いＲＧＢ値を示す画像領域が存在する場合には、先行車両がウィンカを点滅させていると判定する。ここで、ウィンカの点滅周期をＴＷ、ウィンカランプ光の波長をλ、ウィンカランプ光による画像情報をＲＧＢ（λ）、サンプリング間隔をα、所定の係数をＫとすると、以下式２かつ式３を満たす場合には、先行車両はウィンカを点滅させていると判定することができる。
【００４１】
α・Ｋ＝ＴＷ …（２）
【００４２】
ＲＧＢ（λ）∈Ｂ …（３）
【００４３】
また、認知度推定ＥＣＵ１２は、点滅しているウィンカが先行車両のどの位置に取り付けられているウィンカであるのかを判定する。例えば、認知度推定ＥＣＵ１２は、Ｓ１８の処理で入力した画像情報に基づいて、パターンマッチング等の画像処理技術により先行車両のナンバープレートの画像情報Ｎを取得し、画像情報Ｎの画像領域とＲＧＢ（λ）の画像領域との位置関係を取得する。そして、例えばＲＧＢ（λ）の画像領域が画像情報Ｎの画像領域よりも左側にあれば、点灯しているウィンカは左ウィンカであると判定する。Ｓ２０の処理において、先行車両のウィンカを検出した場合には、認知度算出処理へ移行する（Ｓ２２）。
【００４４】
Ｓ２２の処理は、運転者状態認識ＥＣＵ１１及び認知度推定ＥＣＵ１２が実行し、車両３の運転者がＳ２０の処理で検出した点滅するウィンカをどの程度認識しているのかを推定する処理である。ここで、説明理解の容易性を考慮して、交差点において先行車両に続いて車両３が右折する場合を、図３、４を用いて説明する。図３は、車両３が交差点で右折する場面を示す概要図であり、図４は、図３の車両３の前方画像である。図３に示す運転場面は、先行車両５に続いて車両３が交差点６０で右折しようとする運転場面であって、先行車両５は分岐路６１に進入するために左ウィンカを点滅させている。運転者状態認識ＥＣＵ１１は、視線計測装置２３から出力された運転者の視線方向を入力し、視線方向を中心として有効視野（中心視野及び周辺視野）を推定する。例えば、図３に示すように、運転者の視線が車両中心に向けられているとすると、運転者の中心視野Ｃ１は先行車両５の中心近傍であり、周辺視野Ｃ２は車両全体をほぼ覆う程度である。視野の推定は視野方向や対象物までの距離等に基づいて行われるものであり、運転者ごとの特性を学習して反映させてもよい。そして、認知度推定ＥＣＵ１２は、運転者状態認識ＥＣＵ１１が推定した有効視野に基づいて、有効視野に対応する画像上の領域を算出する。例えば、図４に示す前方画像において、中心視野Ｃ１及び周辺視野Ｃ２に対応する中心視野領域Ｃｇ１、周辺視野領域Ｃｇ２を算出する。また、認知度推定ＥＣＵ１２は、Ｓ２０の処理で算出したウィンカ領域（ウィンカランプ光の波長に近いＲＧＢ値を示す画像領域）Ｄを入力する。そして、認知度推定ＥＣＵ１２は、算出した中心視野領域Ｃｇ１、周辺視野領域Ｃｇ２及びウィンカ領域Ｄが重なる領域Ｅの情報に基づいて運転者がウィンカを認識している度合いを推定する。領域Ｅの情報として、光刺激量や移動速度が用いられる。光刺激量は、光による刺激の強さを示すものであり、領域面積、輝度、距離等によって定められるものである。例えば、領域Ｅの面積が大きいほど光刺激量は大きくなる。また、領域Ｅの輝度が大きいほど光刺激量は大きくなる。さらに、領域Ｅまでの距離が大きくなるほど光刺激量は大きくなる。一般的に光刺激量が大きいほど運転者の認知度は高いと推定することができる。また、有効視野のうち周辺視野Ｃ２では変化量が大きいものほど見やすいという人間の特性があるので、一般的に領域Ｅの移動速度が大きいほど運転者の認知度は高いと推定することができる。すなわち、領域Ｅの面積をｕ、輝度をｖ、車両３から物体までの距離をｗ、物体の速度をｘ、定数をＬ、Ｍ、Ｎ、Ｏとすると、運転者の認知度Ｐは以下式４で表すことができる。
【００４５】
Ｐ＝Ｌ・ｕ＋Ｍ・ｖ＋Ｎ・ｗ＋Ｏ・ｘ …（４）
【００４６】
認知度推定ＥＣＵ１２は、式４を用いて認知度Ｐを算出する。Ｓ２２の処理が終了すると、運転支援変更処理へ移行する（Ｓ２４）。
【００４７】
Ｓ２４の処理は、運転支援ＥＣＵ１３が実行し、運転支援を変更する処理である。例えば、図３に示すように、先行車両５が交差点６０を右折した直後に分岐路６１に進入しようとして減速している状況を説明する。この状況において車両３が減速していない場合には、通常、警報を出力する運転支援を行う。ここで、運転支援ＥＣＵ１３は、Ｓ２２の処理で算出した認知度Ｐに基づいて運転支援のタイミングを変更する。例えば、上記運転場面において、認知度Ｐが大きい場合には、運転者は先行車両５を認知していると予測されるので、例えば通常の警報タイミングより遅いタイミングで警報を行う。一方、認知度Ｐが低い場合には、運転者は先行車両５を認識していないと予測されるので、例えば警報の開始タイミングを通常の警報の開始タイミングよりも早く設定する。例えば、通常の警報の開始タイミングよりも時間Ｔだけ先のタイミングでスピーカ３０や表示部３１により警報を行う。例えば時間Ｔを認知度Ｐに反比例させることにより、運転者の認知度Ｐに応じた警報を行うことができる。Ｓ２４の処理が終了すると、図２に示す制御処理を終了する。
【００４８】
一方、Ｓ１２の処理において、車両３の運転場面が右左折するものでない場合には、警報の発生タイミング等を変更する必要性に乏しいので、図２に示す制御処理を終了する。一方、Ｓ１６の処理において、先行車両に続いて車両３が交差点を同一方向に右左折する場合でない場合や、当該交差点の近くに分岐路がないと判定した場合には、死角が無いので警報の発生タイミング等を変更する必要性に乏しいため、図２に示す制御処理を終了する。一方、Ｓ２０の処理において、先行車両のウィンカを検出していない場合には、警報の発生タイミング等を変更する必要性に乏しいため、図２に示す制御処理を終了する。
【００４９】
以上で図２の制御処理を終了する。図２に示す制御処理を実行することにより、運転者に対して適切な警告をすることができる。
【００５０】
次に、本実施形態に係る前方監視装置１の作用効果について図５を用いて説明する。図５は本実施形態に係る前方監視装置１の作用効果を説明するための概要図である。前方監視装置１は、図２に示す制御処理を実行することにより、認知度Ｐが大きい場合には、図５に示すように通常の警報開始タイミングＴａよりも時間Ｔだけ早い警報開始タイミングＴｂで警報を開始する。このため、警報開始タイミングＴｂの場合における車両３の速度ｘ２は、警報開始タイミングＴａの場合における車両３の速度ｘ１に比べて、早い段階で減速を完了することができる。このため、不測の事態に対応する時間を確保することが可能となる。
【００５１】
上述したように、本実施形態に係る前方監視装置１によれば、先行車両５の点滅するウィンカを検出して、点滅するウィンカの画像範囲Ｄ及び運転者の有効視野Ｃ１、Ｃ２に基づいて認知度Ｐを推定することができる。このため、推定した認知度Ｐに応じて警報を発生させることが可能となるので、認識している先行車両５のウィンカと、認識しづらい先行車両５のウィンカとを区別して適切に報知することができる。よって、運転者にとって必要な報知を適切に行うことが可能となる。
【００５２】
また、本実施形態に係る前方監視装置１によれば、画像情報を用いることで、運転者の死角となるウィンカを、そのウィンカの反射光に基づいて検出することができるので、運転者が認識しづらい先行車両５のウィンカを的確に取得することが可能となる。よって、運転者にとって必要な報知を適切に行うことができる。
【００５３】
また、本実施形態に係る前方監視装置１によれば、点滅周期情報に基づいて先行車両５のウィンカを検出することで、点滅するウィンカを容易に特定することができる。
【００５４】
また、本実施形態に係る前方監視装置１によれば、点滅するウィンカの位置及びナンバープレートの位置に基づいて先行車両５における進行方向の左右の合図を容易に判定することができる。
【００５５】
また、本実施形態に係る前方監視装置１によれば、有効視野内における運転者の視覚を刺激する光刺激量に基づいて認知度Ｐを推定することができるので、認知度Ｐに基づいて運転者にとって必要な報知を適切に行うことが可能となる。
【００５６】
また、本実施形態に係る前方監視装置１によれば、先行車両５の移動速度ｘを考慮して認知度Ｐを推定することができるので、運転者の認知度Ｐを精度良く推定することが可能となる。このため、認知度Ｐに基づいて運転者にとって必要な報知を適切に行うことが可能となる。
【００５７】
また、本実施形態に係る前方監視装置１によれば、運転者が認知していない場合には早期に警告することができるので、警報効果を高めることが可能となる。
【００５８】
さらに、本実施形態に係る前方監視装置１を備える車両３は、周囲の状況を検知して検知した情報に基づいて運転者に報知するため、自車両及び他車両が通信装置を備える必要がない。よって、汎用性が高い前方監視装置１及び車両３とすることができる。
【００５９】
なお、上述した実施形態は本発明に係る前方監視装置の一例を示すものである。本発明に係る前方監視装置は、実施形態に係る前方監視装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る前方監視装置１を変形し、又は他のものに適用したものであってもよい。
【００６０】
例えば、上述した実施形態では、車両３が先行車両５に続いて右折する運転場合を例に説明したが、右折に限られるものではなく、警報が必要な全ての運転支援時に適用することができる。
【００６１】
また、上述した実施形態では、先行車両５のウィンカを警報対象として説明したが、先行車両５に限られるものではなく、周囲に存在する周辺車両のウィンカに適用するであってもよい。
【００６２】
また、上述した実施形態では、警報開始タイミングの変更量は、認知度Ｐに反比例させた時間Ｔであるとして説明したが、例えば、時間Ｔを固定値とし、認知度Ｐが所定の閾値を超えた時に警報開始タイミングを変更するように構成してもよい。
【００６３】
また、上述した実施形態では、認知度Ｐを領域Ｅの面積ｕ、輝度ｖ、車両３から物体までの距離ｗ、物体の速度ｘに基づいて算出する例を説明したが、認知度Ｐの算出方法はこれに限られるものではなく、面積ｕ、輝度ｖ、距離ｗ、速度ｘの少なくとも一つを含んでいればよい。
【００６４】
また、上述した実施形態では、有効視野を画像における座標に変換し、画像に対して運転者の有効視野を投影する形により認知度Ｐを算出している例を説明したが、例えば、画像におけるウィンカの領域Ｄの座標を有効視野の座標に変換して重ね合わせて認知度Ｐを算出する場合であってもよい。すなわち、認知度Ｐは、有効視野とウィンカとの位置関係に基づいて算出すればよく、何れかの座標系に統一して有効視野とウィンカとの位置関係を算出する場合や、あるいは全く別個の座標系にそれぞれ変換して有効視野とウィンカとの位置関係を算出する場合であっても、本実施形態と同様の認知度Ｐを算出することができる。
【００６５】
また、上述した実施形態では、図２に示す制御処理を全て実行する例を説明したが、Ｓ１０〜Ｓ１６の処理については、要求される性能に応じて実行すればよく、必ずしも実行する必要はない。
【００６６】
また、上述した実施形態では、運転支援として、警報開始タイミングを変更する例を説明したが、警報開始タイミングの他に、警報音の音量を変化させてもよい。この場合、認知度Ｐが低いほど警報音を大きく設定することで、認識していない対象を適切に報知することができるとともに、認知度Ｐが高いほど警報音を小さく設定することで、運転者が煩わしさを感じることのない警報を行うことが可能となる。また、運転支援として、ブレーキ量をアシストする運転支援を採用している場合には、認知度Ｐが小さいほどアシストタイミングやアシスト量を大きくしてもよい。さらに、運転支援として、車両３がアダプティブクルーズコントロール（ＡＣＣ）を採用している場合には、認知度Ｐが所定の閾値を超えた場合、手動での車両制御をＡＣＣに切り替えてもよい。
【図面の簡単な説明】
【００６７】
【図１】実施形態に係る前方監視装置を備える車両の構成概要を示すブロック図である。
【図２】実施形態に係る前方監視装置の動作を示すフローチャートである。
【図３】実施形態に係る前方監視装置の動作を説明する概要図である。
【図４】実施形態に係る前方監視装置の動作を説明する概要図である。
【図５】実施形態に係る前方監視装置の作用効果を説明する概要図である。
【符号の説明】
【００６８】
１…前方監視装置、２０…画像センサ（画像取得手段）、１０…環境情報認識ＥＣＵ（進行方向検出手段）、１１…運転者状態認識ＥＣＵ（視野検出手段）、１２…認知度推定ＥＣＵ（認知推定手段）、１３…運転支援ＥＣＵ（警報発生手段）。
【技術分野】
【０００１】
本発明は、前方を監視する装置に関するものである。
【背景技術】
【０００２】
従来、車両の前方を監視する装置が知られている（例えば、特許文献１参照）。特許文献１記載の装置は、運転者に対して警報対象物の存在を警報音で報知するものであって、運転者の有効視野角及び有効注視距離に基づいて警報音の強さを設定するものである。
【特許文献１】特許第３８４７０６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の前方監視装置にあっては、運転者に対する警報が運転者にとって最適でない場合がある。例えば、運転者は警報対象物の態様によっては有効視野内であっても当該警報対象物を認識しづらい場合があり、大きな警報レベルを望むことがある。また、例えば、運転者は警報対象物を認識している場合には、警報が煩わしいと感じることがある。
【０００４】
そこで、本発明はこのような技術課題を解決するためになされたものであって、運転者にとって必要な監視を適切に行うことができる前方監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち本発明に係る前方監視装置は、車両周囲の画像を取得する画像取得手段と、画像取得手段により取得した画像に基づいて他車両の進行方向の合図を検出する進行方向検出手段と、運転者の有効視野を検出する視野検出手段と、画像取得手段により取得した進行方向の合図の位置情報及び視野検出手段により検出した運転者の有効視野に基づいて、他車両の進行方向の合図を運転者が認識している度合いを示す認知度を推定する認知推定手段と、を備えて構成される。
【０００６】
この発明によれば、他車両の進行方向の合図を検出し、進行方向の合図の位置情報及び運転者の有効視野に基づいて、運転者が他車両の進行方向の合図を認知している度合い（認知度）を推定することができる。このため、認識している進行方向の合図と、認識しづらい進行方向の合図とを区別して監視することが可能となるので、運転者にとって必要な監視を適切に行うことができる。
【０００７】
ここで、前方監視装置において、進行方向検出手段は、他車両の進行方向の合図として、方向指示器の光、又は周囲より反射された方向指示器の光を検出することが好適である。このように構成することで、例えば画像に基づいて周囲からの反射光を検出することで運転者の死角となる方向指示器を検出することができるので、運転者が認識しづらい他車両の進行方向の合図を画像から的確に取得することが可能となる。よって、運転者にとって必要な監視を適切に行うことができる。
【０００８】
また、前方監視装置において、進行方向検出手段は、方向指示器の点滅周期情報に基づいて他車両の進行方向の合図を検出することが好適である。このように構成することで、点滅する方向指示器等を画像情報に基づいて容易に特定することができる。
【０００９】
また、前方監視装置において、点滅する前記方向指示器の位置及びナンバープレートの位置に基づいて前記他車両における進行方向が左方向か右方向かを判定することが好適である。このように構成することで、他車両の進行方向を画像情報に基づいて簡易に判定することができる。
【００１０】
また、前方監視装置において、認知推定手段は、有効視野内における運転者の視覚を刺激する光刺激量に基づいて認知度を推定することが好適である。このように構成することで、運転者の認知度を画像情報に基づいて推定することができる。
【００１１】
また、前方監視装置において、認知推定手段は、他車両の移動速度に基づいて認知度を推定することが好適である。このように構成することで、移動する物体の見えやすさを考慮できるので、運転者の認知度を精度良く推定することが可能となる。
【００１２】
また、前方監視装置は、認知度に応じて警報を発生する警報発生手段を備えることが好適である。このように構成することで、例えば認識しづらい警報対象物を適切に報知したり、運転者が警報を煩わしく感じたりすることを回避することができる。よって、運転者にとって必要な報知を適切に行うことが可能となる。
【００１３】
さらに、前方監視装置において、警報発生手段は、認知推定手段により推定された認知度が低い場合ほど、警報の開始タイミングを早くすることが好適である。このように構成することで、運転者が認知していない場合ほど早期に警告することができるので、警報効果を一層高めることが可能となる。
【００１４】
また、本発明に係る車両は、周辺車両のウィンカ動作を検知し、検知した結果に応じた情報を運転者に報知することを特徴として構成される。本発明によれば、ウィンカの点滅等の動作を検知して検知結果に応じた情報を運転者に報知することができるので、自車両及び他車両が通信装置を備えていなくても運転者にとって必要な監視を適切に行うことができる。
【発明の効果】
【００１５】
本発明によれば、運転者にとって必要な報知を適切に行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００１７】
本実施形態に係る前方監視装置は、例えば対象物の認識を支援するプリクラッシュセーフティシステムを備える車両に好適に採用されるものである。
【００１８】
最初に、本実施形態に係る前方監視装置を備える車両の概要から説明する。図１は、本実施形態に係る前方監視装置１を備える車両の概要図である。図１に示す車両３は、環境情報を取得するための画像センサ（画像取得手段）２０、前方／側方センサ２１、ナビゲーションシステム２２及び環境情報認識ＥＣＵ（進行方向検出手段）１０、運転者の状態を認識するための視線計測装置２３及び運転者状態認識ＥＣＵ（視野検出手段）１１、車両状態を認識するための舵角センサ２４、車速センサ２５、ウィンカセンサ２６及び車両情報認識ＥＣＵ１４、運転者の認識の度合いを推定する認知度推定ＥＣＵ（認知推定手段）１２、運転支援を行う運転支援ＥＣＵ（警報発生手段）１３、スピーカ３０及び表示部３１を備えている。
【００１９】
画像センサ２０は、画像を取得するためのセンサであって、例えば車両３の周囲の画像情報（各画素のＲＧＢ値）を取得する機能を有している。ＲＧＢ値は、画素の赤、緑、青の三原色の輝度を表すものであり、各画素のＲＧＢ値は行列として表現される。また、画像センサ２０は、取得した画像情報を環境情報認識ＥＣＵ１０へ出力する機能を有している。
【００２０】
前方／側方センサ２１は、車両進行方向の前方あるいは側方の対象物を検出する機能を有しており、例えばミリ波センサが用いられる。前方／側方センサ２１は、例えば、検出した他車両の位置情報等を環境情報認識ＥＣＵ１０へ出力する機能を有している。
【００２１】
ナビゲーションシステム２２は、全地球測位システム（GlobalPositioning System）を利用して車両３の現在位置や周辺他車両の位置を検出する機能を有している。また、ナビゲーションシステム２２は、走行目的地までの経路案内等を行う機能を有している。また、ナビゲーションシステム２２は、地図情報データベースを参照可能に構成されており、車両３の周辺又は走行予定経路について、道路形状や車線、付近の店舗や土地の用途等に関する情報を入力する機能を有している。また、ナビゲーションシステム２２は、他車両の位置、道路形状等に関する情報、ルート案内情報等を環境情報認識ＥＣＵ１０へ出力する機能を有している。
【００２２】
環境情報認識ＥＣＵ１０は、画像センサ２０、前方／側方センサ２１及びナビゲーションシステム２２に接続され、それぞれから入力した情報に基づいて、車両３の周囲の道路状況や交通状況を認識する機能を有している。例えば、環境情報認識ＥＣＵ１０は、ナビゲーションシステム２２により出力されたルート案内情報に基づいて、車両３が直進するのか、右左折するのか等の運転場面を取得する機能を有している。また、環境情報認識ＥＣＵ１０は、画像センサ２０により取得した画像に基づいて他車両のウィンカ（方向指示器）の合図を検出する機能を有している。例えば、環境情報認識ＥＣＵ１０は、ウィンカの光、又は周囲より反射されたウィンカの光を検出することでウィンカの合図を検出する機能を有している。ここで、周囲とは、例えばガードレール等の路側物や、道路、周辺車両等である。また、例えば、ウィンカの検出を点滅周期情報に基づいて行う機能を有している。また、環境情報認識ＥＣＵ１０は、点滅するウィンカの位置及びナンバープレートの位置に基づいて他車両における進行方向の左右を判定する機能を有している。さらに、環境情報認識ＥＣＵ１０は、取得した情報や判定した内容を認知度推定ＥＣＵ１２へ出力する機能を有している。
【００２３】
視線計測装置２３は、例えば運転者の視線を検出する機能を有している。視線計測装置２３は、例えば、運転者の顔を撮像する機能と、撮像した顔に基づいて運転者の顔の向きや視線方向を検出する機能を有している。また、視線計測装置２３は、運転者の顔の向きや視線方向に関する情報を運転者状態認識ＥＣＵ１１へ出力する機能を有している。
【００２４】
運転者状態認識ＥＣＵ１１は、視線計測装置２３が出力した情報に基づいて、運転者の有効視野を検出する機能を有している。ここで、有効視野とは、視野の中で物体等の認知に寄与する部分をいう。この有効視野は、中心視野と周辺視野に分別することができる。中心視野とは、視点中心における分解能が高い視野であり、周辺視野とは、中心視野の周囲の視野であって、動く物体等に対して反応が良い視野である。運転者状態認識ＥＣＵ１１は、検出した有効視野を認知度推定ＥＣＵ１２へ出力する機能を有している。
【００２５】
認知度推定ＥＣＵ１２は、環境情報認識ＥＣＵ１０及び運転者状態認識ＥＣＵ１１の出力に基づいて運転者の認知度を算出する機能を有している。運転者の認知度とは、警報の対象となる事象を運転者が認知している度合いを示すものである。例えば、他車両のウィンカの点滅（進行方向の合図）をどの程度認知しているかを示す度合いである。認知度推定ＥＣＵ１２は、例えば、ウィンカに対応する画素領域、及び、有効視野の座標系に変換した場合の画素領域に基づいて運転者の認知度を推定する機能を有している。また、認知度推定ＥＣＵ１２は、有効視野内における運転者の視覚を刺激する光刺激量に基づいて、認知度を推定する機能を有している。また、認知度推定ＥＣＵ１２は、有効視野内における他車両の移動速度に基づいて、認知度を推定する機能を有している。さらに、認知度推定ＥＣＵ１２は、推定した認知度を運転支援ＥＣＵ１３へ出力する機能を有している。
【００２６】
舵角センサ２４は、ハンドルの操舵角を検出するセンサである。舵角センサ２４として、例えば、ホール素子やフォトインタラプタ等を有する位置検出センサが用いられる。また、舵角センサ２４は、検出した操舵角を車両情報認識ＥＣＵ１４へ出力する機能を有している。
【００２７】
車速センサ２５は、車両３の車速を検出するセンサである。車速センサ２５として、例えば、車輪側に設けられた磁石と車体側に設けられたホール素子により車輪の回転をパルスとして検出することで車速を検出するセンサが用いられる。また、車速センサ２５は、検出した車速を車両情報認識ＥＣＵ１４へ出力する機能を有している。
【００２８】
ウィンカセンサ２６は、車両３のウィンカの状態を検出するセンサである。例えば、ウィンカの操作部（不図示）が操作されているか否かを検出することによりウィンカの状態を検出する機能を有している。また、操作部が操作されている場合には、左右のどちらの合図を出力する操作なのかを検出する機能を有している。また、ウィンカセンサ２６は、検出したウィンカの状態を車両情報認識ＥＣＵ１４へ出力する機能を有している。
【００２９】
車両情報認識ＥＣＵ１４は、舵角センサ２４、車速センサ２５及びウィンカセンサ２６の出力した情報に基づいて、車両３の実際の運動に関する情報を取得する機能を有している。また、車両情報認識ＥＣＵ１４は、取得した運動に関する情報を運転支援ＥＣＵ１３へ出力する機能を有している。
【００３０】
運転支援ＥＣＵ１３は、環境情報認識ＥＣＵ１０が出力した運転場面や交通情報に基づいて運転支援の態様を変更する必要があるか否かを判定する機能を有している。また、運転支援ＥＣＵ１３は、認知度推定ＥＣＵ１２が出力した認知度に基づいて運転支援を行う機能を有している。例えば、運転支援ＥＣＵ１３は、環境情報認識ＥＣＵ１０が出力した他車情報及び車両情報認識ＥＣＵ１４が出力した自車両情報に基づいて通常の警報タイミングや警報音を算出し、認知度に応じて警報タイミングや警報音を変化させる機能を有している。運転支援ＥＣＵ１３は、スピーカ３０に出力させる警報の大きさやタイミング、表示部３１に表示させる態様等に関する信号をスピーカ３０又は表示部３１へ出力する機能を有している。スピーカ３０及び表示部３１は、運転支援ＥＣＵ１３が出力した信号に基づいて警報音や警報表示を出力して運転者に報知する機能を有している。
【００３１】
上述した画像センサ２０、環境情報認識ＥＣＵ１０、運転者状態認識ＥＣＵ１１、認知度推定ＥＣＵ１２及び運転支援ＥＣＵ１３を備えて前方監視装置１が構成される。
【００３２】
次に、本実施形態に係る前方監視装置１を備える車両３の動作について説明する。図２は、本実施形態に係る前方監視装置１を備える車両３の動作を示すフローチャート、図３、４は図２に示すフローチャートを説明するための概要図である。図２に示す制御処理は、例えば、イグニッションオンされたタイミングで開始され、所定の間隔で繰り返し実行される。なお、以下では説明理解の容易性を考慮して、車両３の運転者に対して先行車両５のウィンカ点灯を報知する場合を説明する。
【００３３】
図２に示す制御処理が開始されると、運転場面取得処理から開始する（Ｓ１０）。Ｓ１０の処理は、環境情報認識ＥＣＵ１０が実行し、環境情報を入力する処理である。環境情報認識ＥＣＵ１０は、ナビゲーションシステム２２からルート案内情報を入力し、車両３の運転場面を取得する。例えば、ルート案内情報に基づいて、車両３は直進するのか、あるいは右左折するのか等を取得する。あるいは、ナビゲーションシステム２２から現在位置、及び車両情報認識ＥＣＵ１４から操舵角を入力して、車両３の運転場面を特定してもよい。また、環境情報認識ＥＣＵ１０は、先行車両の情報を取得する。例えば、ナビゲーションシステム２２により出力された他車両の情報に基づいて、先行車両の有無及び先行車両の位置情報を入力する。あるいは、画像センサ２０又は前方／側方センサ２１により出力された先行車両情報に基づいて、先行車両の有無及び先行車両の位置情報を入力する。Ｓ１０の処理が終了すると、運転場面判定処理へ移行する（Ｓ１２）。
【００３４】
Ｓ１２の処理は、環境情報認識ＥＣＵ１０及び運転支援ＥＣＵ１３が実行し、車両３が右左折する運転場面であるのか否かを判定する処理である。Ｓ１０の処理で取得した車両３の運転場面が右左折するものである場合には、地図情報取得処理へ移行する（Ｓ１４）。
【００３５】
Ｓ１４の処理は、環境情報認識ＥＣＵ１０が実行し、車両３周囲の地図情報の詳細を入力する処理である。環境情報認識ＥＣＵ１０は、例えば、ナビゲーションシステム２２が提供する地図情報を参照して、車両３の現在地点周囲の地図情報を入力する。この地図情報には、道路形状の他に信号や建物に関する情報が含まれている。Ｓ１４の処理が終了すると、死角判定処理へ移行する（Ｓ１６）。
【００３６】
Ｓ１６の処理は、認知度推定ＥＣＵ１２が実行し、車両３の進行方向において死角となる状況が発生するか否かを判定する処理である。例えば、車両３が右左折する交差路上に分岐路や駐車場等が存在する場合、すなわち右左折した直後に分岐路や駐車場等が現われるような状況であるか否かを判定する。認知度推定ＥＣＵ１２は、Ｓ１４の処理で入力した道路形状や建物に関する情報に基づいて、交差点の近くに分岐路や駐車場等があるか否かを判定する。また、Ｓ１０の処理で入力した先行車両の有無及び位置情報に基づいて、先行車両が車両３の走行ルートと同一であるか否かを判定する。Ｓ１６の処理において、先行車両に続いて車両３が交差点を同一方向に右左折する場合であって、当該交差点の近くに分岐路があると判定した場合には、差分画像情報抽出処理へ移行する（Ｓ１８）。
【００３７】
Ｓ１８の処理は、環境情報認識ＥＣＵ１０及び認知度推定ＥＣＵ１２が実行し、差分画像情報を抽出する処理である。環境情報認識ＥＣＵ１０は、画像センサ２０により所定期間に出力された前方画像を入力する。そして、認知度推定ＥＣＵ１２は、環境情報認識ＥＣＵ１０が入力した所定時刻の前方画像と、所定時間経過後の前方画像との差分である画像を抽出する。ここで、所定時刻をｔ、サンプリング周期をα、所定の係数をＫ、時刻ｔにおける画像情報（各画素のＲＧＢ値）をＡ（ｔ）とすると、抽出する差分画像情報Ｂは以下式１で表すことができる。
【００３８】
Ｂ＝Ａ（ｔ＋α・Ｋ）−Ａ（ｔ） …（１）
【００３９】
認知度推定ＥＣＵ１２が式１を用いて差分画像情報Ｂを算出すると、Ｓ１８の処理は終了し、ウィンカ検出処理へ移行する（Ｓ２０）。
【００４０】
Ｓ２０の処理は、認知度推定ＥＣＵ１２が実行し、差分画像情報Ｂに基づいて、先行車両がウィンカを点滅させているか否かを判定する処理である。認知度推定ＥＣＵ１２は、差分画像情報Ｂの中に、ウィンカの点滅周期に近い間隔で、ウィンカランプ光の波長に近いＲＧＢ値を示す画像領域が存在する場合には、先行車両がウィンカを点滅させていると判定する。ここで、ウィンカの点滅周期をＴＷ、ウィンカランプ光の波長をλ、ウィンカランプ光による画像情報をＲＧＢ（λ）、サンプリング間隔をα、所定の係数をＫとすると、以下式２かつ式３を満たす場合には、先行車両はウィンカを点滅させていると判定することができる。
【００４１】
α・Ｋ＝ＴＷ …（２）
【００４２】
ＲＧＢ（λ）∈Ｂ …（３）
【００４３】
また、認知度推定ＥＣＵ１２は、点滅しているウィンカが先行車両のどの位置に取り付けられているウィンカであるのかを判定する。例えば、認知度推定ＥＣＵ１２は、Ｓ１８の処理で入力した画像情報に基づいて、パターンマッチング等の画像処理技術により先行車両のナンバープレートの画像情報Ｎを取得し、画像情報Ｎの画像領域とＲＧＢ（λ）の画像領域との位置関係を取得する。そして、例えばＲＧＢ（λ）の画像領域が画像情報Ｎの画像領域よりも左側にあれば、点灯しているウィンカは左ウィンカであると判定する。Ｓ２０の処理において、先行車両のウィンカを検出した場合には、認知度算出処理へ移行する（Ｓ２２）。
【００４４】
Ｓ２２の処理は、運転者状態認識ＥＣＵ１１及び認知度推定ＥＣＵ１２が実行し、車両３の運転者がＳ２０の処理で検出した点滅するウィンカをどの程度認識しているのかを推定する処理である。ここで、説明理解の容易性を考慮して、交差点において先行車両に続いて車両３が右折する場合を、図３、４を用いて説明する。図３は、車両３が交差点で右折する場面を示す概要図であり、図４は、図３の車両３の前方画像である。図３に示す運転場面は、先行車両５に続いて車両３が交差点６０で右折しようとする運転場面であって、先行車両５は分岐路６１に進入するために左ウィンカを点滅させている。運転者状態認識ＥＣＵ１１は、視線計測装置２３から出力された運転者の視線方向を入力し、視線方向を中心として有効視野（中心視野及び周辺視野）を推定する。例えば、図３に示すように、運転者の視線が車両中心に向けられているとすると、運転者の中心視野Ｃ１は先行車両５の中心近傍であり、周辺視野Ｃ２は車両全体をほぼ覆う程度である。視野の推定は視野方向や対象物までの距離等に基づいて行われるものであり、運転者ごとの特性を学習して反映させてもよい。そして、認知度推定ＥＣＵ１２は、運転者状態認識ＥＣＵ１１が推定した有効視野に基づいて、有効視野に対応する画像上の領域を算出する。例えば、図４に示す前方画像において、中心視野Ｃ１及び周辺視野Ｃ２に対応する中心視野領域Ｃｇ１、周辺視野領域Ｃｇ２を算出する。また、認知度推定ＥＣＵ１２は、Ｓ２０の処理で算出したウィンカ領域（ウィンカランプ光の波長に近いＲＧＢ値を示す画像領域）Ｄを入力する。そして、認知度推定ＥＣＵ１２は、算出した中心視野領域Ｃｇ１、周辺視野領域Ｃｇ２及びウィンカ領域Ｄが重なる領域Ｅの情報に基づいて運転者がウィンカを認識している度合いを推定する。領域Ｅの情報として、光刺激量や移動速度が用いられる。光刺激量は、光による刺激の強さを示すものであり、領域面積、輝度、距離等によって定められるものである。例えば、領域Ｅの面積が大きいほど光刺激量は大きくなる。また、領域Ｅの輝度が大きいほど光刺激量は大きくなる。さらに、領域Ｅまでの距離が大きくなるほど光刺激量は大きくなる。一般的に光刺激量が大きいほど運転者の認知度は高いと推定することができる。また、有効視野のうち周辺視野Ｃ２では変化量が大きいものほど見やすいという人間の特性があるので、一般的に領域Ｅの移動速度が大きいほど運転者の認知度は高いと推定することができる。すなわち、領域Ｅの面積をｕ、輝度をｖ、車両３から物体までの距離をｗ、物体の速度をｘ、定数をＬ、Ｍ、Ｎ、Ｏとすると、運転者の認知度Ｐは以下式４で表すことができる。
【００４５】
Ｐ＝Ｌ・ｕ＋Ｍ・ｖ＋Ｎ・ｗ＋Ｏ・ｘ …（４）
【００４６】
認知度推定ＥＣＵ１２は、式４を用いて認知度Ｐを算出する。Ｓ２２の処理が終了すると、運転支援変更処理へ移行する（Ｓ２４）。
【００４７】
Ｓ２４の処理は、運転支援ＥＣＵ１３が実行し、運転支援を変更する処理である。例えば、図３に示すように、先行車両５が交差点６０を右折した直後に分岐路６１に進入しようとして減速している状況を説明する。この状況において車両３が減速していない場合には、通常、警報を出力する運転支援を行う。ここで、運転支援ＥＣＵ１３は、Ｓ２２の処理で算出した認知度Ｐに基づいて運転支援のタイミングを変更する。例えば、上記運転場面において、認知度Ｐが大きい場合には、運転者は先行車両５を認知していると予測されるので、例えば通常の警報タイミングより遅いタイミングで警報を行う。一方、認知度Ｐが低い場合には、運転者は先行車両５を認識していないと予測されるので、例えば警報の開始タイミングを通常の警報の開始タイミングよりも早く設定する。例えば、通常の警報の開始タイミングよりも時間Ｔだけ先のタイミングでスピーカ３０や表示部３１により警報を行う。例えば時間Ｔを認知度Ｐに反比例させることにより、運転者の認知度Ｐに応じた警報を行うことができる。Ｓ２４の処理が終了すると、図２に示す制御処理を終了する。
【００４８】
一方、Ｓ１２の処理において、車両３の運転場面が右左折するものでない場合には、警報の発生タイミング等を変更する必要性に乏しいので、図２に示す制御処理を終了する。一方、Ｓ１６の処理において、先行車両に続いて車両３が交差点を同一方向に右左折する場合でない場合や、当該交差点の近くに分岐路がないと判定した場合には、死角が無いので警報の発生タイミング等を変更する必要性に乏しいため、図２に示す制御処理を終了する。一方、Ｓ２０の処理において、先行車両のウィンカを検出していない場合には、警報の発生タイミング等を変更する必要性に乏しいため、図２に示す制御処理を終了する。
【００４９】
以上で図２の制御処理を終了する。図２に示す制御処理を実行することにより、運転者に対して適切な警告をすることができる。
【００５０】
次に、本実施形態に係る前方監視装置１の作用効果について図５を用いて説明する。図５は本実施形態に係る前方監視装置１の作用効果を説明するための概要図である。前方監視装置１は、図２に示す制御処理を実行することにより、認知度Ｐが大きい場合には、図５に示すように通常の警報開始タイミングＴａよりも時間Ｔだけ早い警報開始タイミングＴｂで警報を開始する。このため、警報開始タイミングＴｂの場合における車両３の速度ｘ２は、警報開始タイミングＴａの場合における車両３の速度ｘ１に比べて、早い段階で減速を完了することができる。このため、不測の事態に対応する時間を確保することが可能となる。
【００５１】
上述したように、本実施形態に係る前方監視装置１によれば、先行車両５の点滅するウィンカを検出して、点滅するウィンカの画像範囲Ｄ及び運転者の有効視野Ｃ１、Ｃ２に基づいて認知度Ｐを推定することができる。このため、推定した認知度Ｐに応じて警報を発生させることが可能となるので、認識している先行車両５のウィンカと、認識しづらい先行車両５のウィンカとを区別して適切に報知することができる。よって、運転者にとって必要な報知を適切に行うことが可能となる。
【００５２】
また、本実施形態に係る前方監視装置１によれば、画像情報を用いることで、運転者の死角となるウィンカを、そのウィンカの反射光に基づいて検出することができるので、運転者が認識しづらい先行車両５のウィンカを的確に取得することが可能となる。よって、運転者にとって必要な報知を適切に行うことができる。
【００５３】
また、本実施形態に係る前方監視装置１によれば、点滅周期情報に基づいて先行車両５のウィンカを検出することで、点滅するウィンカを容易に特定することができる。
【００５４】
また、本実施形態に係る前方監視装置１によれば、点滅するウィンカの位置及びナンバープレートの位置に基づいて先行車両５における進行方向の左右の合図を容易に判定することができる。
【００５５】
また、本実施形態に係る前方監視装置１によれば、有効視野内における運転者の視覚を刺激する光刺激量に基づいて認知度Ｐを推定することができるので、認知度Ｐに基づいて運転者にとって必要な報知を適切に行うことが可能となる。
【００５６】
また、本実施形態に係る前方監視装置１によれば、先行車両５の移動速度ｘを考慮して認知度Ｐを推定することができるので、運転者の認知度Ｐを精度良く推定することが可能となる。このため、認知度Ｐに基づいて運転者にとって必要な報知を適切に行うことが可能となる。
【００５７】
また、本実施形態に係る前方監視装置１によれば、運転者が認知していない場合には早期に警告することができるので、警報効果を高めることが可能となる。
【００５８】
さらに、本実施形態に係る前方監視装置１を備える車両３は、周囲の状況を検知して検知した情報に基づいて運転者に報知するため、自車両及び他車両が通信装置を備える必要がない。よって、汎用性が高い前方監視装置１及び車両３とすることができる。
【００５９】
なお、上述した実施形態は本発明に係る前方監視装置の一例を示すものである。本発明に係る前方監視装置は、実施形態に係る前方監視装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る前方監視装置１を変形し、又は他のものに適用したものであってもよい。
【００６０】
例えば、上述した実施形態では、車両３が先行車両５に続いて右折する運転場合を例に説明したが、右折に限られるものではなく、警報が必要な全ての運転支援時に適用することができる。
【００６１】
また、上述した実施形態では、先行車両５のウィンカを警報対象として説明したが、先行車両５に限られるものではなく、周囲に存在する周辺車両のウィンカに適用するであってもよい。
【００６２】
また、上述した実施形態では、警報開始タイミングの変更量は、認知度Ｐに反比例させた時間Ｔであるとして説明したが、例えば、時間Ｔを固定値とし、認知度Ｐが所定の閾値を超えた時に警報開始タイミングを変更するように構成してもよい。
【００６３】
また、上述した実施形態では、認知度Ｐを領域Ｅの面積ｕ、輝度ｖ、車両３から物体までの距離ｗ、物体の速度ｘに基づいて算出する例を説明したが、認知度Ｐの算出方法はこれに限られるものではなく、面積ｕ、輝度ｖ、距離ｗ、速度ｘの少なくとも一つを含んでいればよい。
【００６４】
また、上述した実施形態では、有効視野を画像における座標に変換し、画像に対して運転者の有効視野を投影する形により認知度Ｐを算出している例を説明したが、例えば、画像におけるウィンカの領域Ｄの座標を有効視野の座標に変換して重ね合わせて認知度Ｐを算出する場合であってもよい。すなわち、認知度Ｐは、有効視野とウィンカとの位置関係に基づいて算出すればよく、何れかの座標系に統一して有効視野とウィンカとの位置関係を算出する場合や、あるいは全く別個の座標系にそれぞれ変換して有効視野とウィンカとの位置関係を算出する場合であっても、本実施形態と同様の認知度Ｐを算出することができる。
【００６５】
また、上述した実施形態では、図２に示す制御処理を全て実行する例を説明したが、Ｓ１０〜Ｓ１６の処理については、要求される性能に応じて実行すればよく、必ずしも実行する必要はない。
【００６６】
また、上述した実施形態では、運転支援として、警報開始タイミングを変更する例を説明したが、警報開始タイミングの他に、警報音の音量を変化させてもよい。この場合、認知度Ｐが低いほど警報音を大きく設定することで、認識していない対象を適切に報知することができるとともに、認知度Ｐが高いほど警報音を小さく設定することで、運転者が煩わしさを感じることのない警報を行うことが可能となる。また、運転支援として、ブレーキ量をアシストする運転支援を採用している場合には、認知度Ｐが小さいほどアシストタイミングやアシスト量を大きくしてもよい。さらに、運転支援として、車両３がアダプティブクルーズコントロール（ＡＣＣ）を採用している場合には、認知度Ｐが所定の閾値を超えた場合、手動での車両制御をＡＣＣに切り替えてもよい。
【図面の簡単な説明】
【００６７】
【図１】実施形態に係る前方監視装置を備える車両の構成概要を示すブロック図である。
【図２】実施形態に係る前方監視装置の動作を示すフローチャートである。
【図３】実施形態に係る前方監視装置の動作を説明する概要図である。
【図４】実施形態に係る前方監視装置の動作を説明する概要図である。
【図５】実施形態に係る前方監視装置の作用効果を説明する概要図である。
【符号の説明】
【００６８】
１…前方監視装置、２０…画像センサ（画像取得手段）、１０…環境情報認識ＥＣＵ（進行方向検出手段）、１１…運転者状態認識ＥＣＵ（視野検出手段）、１２…認知度推定ＥＣＵ（認知推定手段）、１３…運転支援ＥＣＵ（警報発生手段）。
【特許請求の範囲】
【請求項１】
車両周囲の画像を取得する画像取得手段と、
前記画像取得手段により取得した画像に基づいて他車両の進行方向の合図を検出する進行方向検出手段と、
運転者の有効視野を検出する視野検出手段と、
前記画像取得手段により取得した前記進行方向の合図の位置情報及び前記視野検出手段により検出した前記運転者の有効視野に基づいて、前記他車両の進行方向の合図を前記運転者が認識している度合いを示す認知度を推定する認知推定手段と、
を備える前方監視装置。
【請求項２】
前記進行方向検出手段は、他車両の進行方向の合図として、方向指示器の光、又は周囲より反射された方向指示器の光を検出する請求項１に記載の前方監視装置。
【請求項３】
前記進行方向検出手段は、前記方向指示器の点滅周期情報に基づいて他車両の進行方向の合図を検出する請求項２に記載の前方監視装置。
【請求項４】
前記進行方向検出手段は、点滅する前記方向指示器の位置及びナンバープレートの位置に基づいて前記他車両における進行方向が左方向か右方向かを判定する請求項２又は３に記載の前方監視装置。
【請求項５】
前記認知推定手段は、前記有効視野内における運転者の視覚を刺激する光刺激量に基づいて前記認知度を推定する請求項１〜４の何れか一項に記載の前方監視装置。
【請求項６】
前記認知推定手段は、前記他車両の移動速度に基づいて前記認知度を推定する請求項１〜５の何れか一項に記載の前方監視装置。
【請求項７】
前記認知度に応じた運転支援を行う運転支援手段を備える請求項１〜６の何れか一項に記載の前方監視装置。
【請求項８】
前記運転支援手段は、前記認知推定手段により推定された前記認知度が低い場合ほど、運転支援の開始タイミングを早くする請求項７に記載の前方監視装置。
【請求項９】
周辺車両のウィンカ動作を検知し、検知した結果に応じた情報を運転者に報知することを特徴とする車両。
【請求項１】
車両周囲の画像を取得する画像取得手段と、
前記画像取得手段により取得した画像に基づいて他車両の進行方向の合図を検出する進行方向検出手段と、
運転者の有効視野を検出する視野検出手段と、
前記画像取得手段により取得した前記進行方向の合図の位置情報及び前記視野検出手段により検出した前記運転者の有効視野に基づいて、前記他車両の進行方向の合図を前記運転者が認識している度合いを示す認知度を推定する認知推定手段と、
を備える前方監視装置。
【請求項２】
前記進行方向検出手段は、他車両の進行方向の合図として、方向指示器の光、又は周囲より反射された方向指示器の光を検出する請求項１に記載の前方監視装置。
【請求項３】
前記進行方向検出手段は、前記方向指示器の点滅周期情報に基づいて他車両の進行方向の合図を検出する請求項２に記載の前方監視装置。
【請求項４】
前記進行方向検出手段は、点滅する前記方向指示器の位置及びナンバープレートの位置に基づいて前記他車両における進行方向が左方向か右方向かを判定する請求項２又は３に記載の前方監視装置。
【請求項５】
前記認知推定手段は、前記有効視野内における運転者の視覚を刺激する光刺激量に基づいて前記認知度を推定する請求項１〜４の何れか一項に記載の前方監視装置。
【請求項６】
前記認知推定手段は、前記他車両の移動速度に基づいて前記認知度を推定する請求項１〜５の何れか一項に記載の前方監視装置。
【請求項７】
前記認知度に応じた運転支援を行う運転支援手段を備える請求項１〜６の何れか一項に記載の前方監視装置。
【請求項８】
前記運転支援手段は、前記認知推定手段により推定された前記認知度が低い場合ほど、運転支援の開始タイミングを早くする請求項７に記載の前方監視装置。
【請求項９】
周辺車両のウィンカ動作を検知し、検知した結果に応じた情報を運転者に報知することを特徴とする車両。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１０５５０２（Ｐ２０１０−１０５５０２Ａ）
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願番号】特願２００８−２７８７０６（Ｐ２００８−２７８７０６）
【出願日】平成２０年１０月２９日（２００８．１０．２９）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願日】平成２０年１０月２９日（２００８．１０．２９）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]