車両制御システム及び安全確認判定装置
【課題】ドライバモニタカメラから取得するドライバの視点方向と車外カメラから取得する障害物方向とを照合する際に、ドライバの視点方向の情報を安定化して、ドライバが障害物を認識していないとする誤判定を防止する車両制御システムを提供する。
【解決手段】車両制御システム１０は、ドライバの視点方向を所定周期で検出するドライバモニタカメラ３４ｆと、角度座標上でのドライバの視点移動速度を検出する視点クラスタ処理部３１ｂと、ドライバの視点の注視期間を検出する視点同定処理部３１ｃと、視点移動速度と注視期間に基づいて算出されるドライバの視野範囲に、車外カメラ３２ｃで検出された障害物方向が含まれるか否かを判定し、ドライバの視野範囲に障害物方向が含まれないと判定された場合に車両制御の実行が可能な安全確認判定部３１とを備える。
【解決手段】車両制御システム１０は、ドライバの視点方向を所定周期で検出するドライバモニタカメラ３４ｆと、角度座標上でのドライバの視点移動速度を検出する視点クラスタ処理部３１ｂと、ドライバの視点の注視期間を検出する視点同定処理部３１ｃと、視点移動速度と注視期間に基づいて算出されるドライバの視野範囲に、車外カメラ３２ｃで検出された障害物方向が含まれるか否かを判定し、ドライバの視野範囲に障害物方向が含まれないと判定された場合に車両制御の実行が可能な安全確認判定部３１とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバモニタカメラで取得するドライバの視点方向と車外カメラで取得した障害物方向とを照合して、当該照合の結果に基づいて各種の車両制御を行う車両制御システムに関する。
【背景技術】
【０００２】
従来より、ドライバモニタカメラ等の車内カメラにより検出されるドライバの視点方向と車外カメラやナビ情報等から検出される障害物方向とを同一座標系上で照合（オーバレイ）して、ドライバが障害物を認識しているか否かを判断するシステムが用いられている。
【０００３】
このシステムにおいては、例えば、超広角ＣＣＤカメラ等の車外カメラで撮像されるドライバ前方の映像とドライバモニタカメラで撮像されるドライバの顔画像とを専用ＰＣを用いて組み合わせて、ドライバの視点方向が前景映像の何処と交差するか演算し、その位置を車外カメラの映像上にオーバレイする。そして、危険な障害物がドライバの視線外に検出できた場合には警告やブレーキ等の車両制御を行う。
【０００４】
ところで、交差点等において歩行者等の確認の警告が必要な場合にのみ警告を行って運転者の運転を支援することが可能な運転支援装置が提供されている（例えば、特許文献１参照）。この運転支援装置においては、自車両の進行方向前方の交差点にある地物情報と、カメラＥＣＵを介して取得した運転者の顔向き及び視点方向の検出信号とに基づいて、運転者が交差点における各地物を認識していないと判定した場合に警告を行うものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１２３４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来のシステムにおいては、ドライバが障害物を認識しているか否かをドライバモニタカメラから取得したドライバの視点方向と車外カメラで取得する障害物方向とを照合して判断するだけなので、以下の問題がある。
【０００７】
すなわち、（Ｉ）図２に示すように、通常ドライバが運転中に認識できる視野範囲２０１には視野中心から一定の角度幅を有しているが、上記従来のシステムにおいては、ドライバの視点方向と車外カメラからの障害物方向とが、ほぼ一致しないとドライバが障害物を認識していないと判定する。このため、従来のシステムにおいては、ドライバが実際に障害物を認識している場合でも認識していないと誤判定するという問題がある。
【０００８】
また、（ＩＩ）図４（ａ）の視点（黒点で示す）の動きに示すように、人間の眼球は実際には例えば毎秒８０回程度、約１０μｍ縦方向にトレモアと呼ばれる微動をしている状態であり、視線の動きは、トレモアによる細かな微動と、視対象物の変化による大きな移動からなる。そして、上記の従来のシステムにおいては、トレモアによる細かな視点移動を忠実に視点方向として検出してしまい、このためドライバの視線情報が安定せず、障害物の認識判定精度が不安定となり誤判定を生じて、ひいては誤った警報の吹鳴や不吹鳴を繰り返してしまうという問題もある。
【０００９】
本発明は以上の課題に鑑みてなされたものであり、車外カメラで取得した障害物方向とドライバモニタカメラで取得するドライバの視点方向とを照合する際に、ドライバの視点方向の情報を安定化して、ドライバが障害物を認識しているのに認識していないと誤判定することを防止して、より正確な照合結果に基づいてドライバの安全を確認する安全確認判定装置、及び当該照合結果に基づいて車両制御を行う車両制御システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
以上の課題を解決するために、本発明に係る車両制御システムは、ドライバモニタカメラを用いて検出されるドライバの視点方向と、車外カメラを用いて検出される障害物方向とを照合し、当該照合の結果を用いて車両制御を行う車両制御システムであって、ドライバの視点方向を所定周期で検出する視点検出手段と、角度座標上でのドライバの視点移動速度を検出する視点移動速度検出手段と、ドライバの視点の注視期間を検出する注視期間検出手段と、上記視点移動速度と上記注視期間に基づいて算出されるドライバの視野範囲に、上記車外カメラで検出された障害物方向が含まれるか否かを判定する安全確認判定手段と、上記安全確認判定手段において、ドライバの上記視野範囲に上記障害物方向が含まれないと判定された場合に車両制御の実行が可能な電子制御手段とを備えることを特徴とする。
【００１１】
この構成により、車外カメラで取得した障害物方向とドライバモニタカメラで取得するドライバの視点方向とを照合する際に、上記安全確認判定手段は、上記視点移動速度検出手段において検出される視点移動速度と、上記注視期間検出手段において検出される注視期間との情報を用いてドライバの視野範囲を特定して、ドライバが障害物を認識しているか否かを判定できる。このため、本発明では、ドライバが障害物を認識しているのに認識していないと誤判定することを防止して、より正確な照合結果に基づいて車両制御を行うことができる。
【００１２】
また、本発明に係る車両制御システムは、さらに、上記視点移動速度検出手段で検出される上記視点移動速度が閾値未満の場合には上記視点を注視点として記録する一方、上記視点移動速度が閾値以上の場合には、以前に記録された連続する複数の注視点を含む範囲を１つの視野範囲とするクラスタを生成する視点クラスタ生成手段を備え、上記電子制御手段は、上記視点クラスタ生成手段において生成されたクラスタに対応したドライバの視野範囲に、上記車外カメラで検出された障害物方向が含まれない場合に車両制御を実行可能とすることを特徴とする。
【００１３】
この構成により、上記安全確認判定手段は、視点が上記視点クラスタ手段において生成された同一クラスタ内である場合には、ドライバは同一視野範囲を認識していると判定することが可能とり、ドライバの視点方向を安定化することができる。
【００１４】
また、本発明に係る車両制御システムは、さらに、上記視点クラスタ生成手段においてクラスタが生成された場合、上記視点移動速度が閾値以上の視点の注視期間を検出して、当該注視期間が閾値以下の場合には、当該生成されたクラスタの記録を削除する一方、上記注視期間が閾値以上の場合には、当該生成されたクラスタと当該視点を含む新たなクラスタを生成してドライバの視野範囲の同定処理を行う視点同定処理手段を備え、上記電子制御手段は、上記視点同定処理手段において生成された上記新たなクラスタに対応するドライバの視野範囲内に、上記車外カメラで検出される障害物方向が含まれない場合に車両制御を実行可能とすることを特徴とする。
【００１５】
この構成により、上記視点同定手段は、上記注視期間検出手段で検出される注視期間の閾値を用いることで、視点移動速度が閾値以上の視点の動きがある場合でも、ドライバが同一物体を認識しているとする新たなクラスタを生成し、このクラスタに基づいてドライバの視点方向を安定化することができる。
【００１６】
また、本発明に係る車両制御システムは、さらに、上記視点検出手段において所定周期で視点が検出されたか否かを判定し、所定周期での視点検出にトラッキングエラーが発生している場合には１つ前に取得した視点データが注視点か否かを判定し、注視点の場合には当該注視点のデータを使用し、注視点でない場合にはトラッキングエラー発生時の視点データをないものとするトラッキングエラー補正手段を備えることを特徴とする。
【００１７】
この構成により、上記トラッキングエラー補正手段は、車両環境によりドライバの視点情報にトラッキングエラーが発生した場合でも、以前の注視点のデータを使用する等できるためトラッキングエラーが発生しても補正処理を行うことができる。
【００１８】
なお、本発明に係る車両制御システムを構成する処理手段をステップとする車両制御方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、当該プログラムをＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００１９】
本発明に係る車両制御システムでは、車外カメラで取得した障害物方向とドライバモニタカメラで取得するドライバの視点方向とを照合する際、ドライバモニタカメラで取得するドライバの視点方向の情報を安定化して、ドライバが障害物を認識しているのに認識していないと誤判定することを防止して、より正確な照合結果に基づいて各種の車両制御を行うことができる。
【図面の簡単な説明】
【００２０】
【図１】実施の形態に係る車両制御システムの全体図
【図２】一般的な運転中におけるドライバの視野範囲の一例を示す図
【図３】実施の形態に係る車両制御システムの機能ブロック図
【図４】実施の形態に係る安全確認判定部における視点安定化処理の説明図
【図５】実施の形態に係る車両制御システムの全体の動作手順を示すフローチャート
【図６】ステップＳ１１に示すトラッキングエラー補正時の動作手順を示すフローチ ャート
【図７】ステップＳ１２に示す視点クラスタ処理時の動作手順を示すフローチャート
【図８】ステップＳ１３に示す視点同定処理時の動作手順を示すフローチャート
【図９】視点同定処理におけるクラスタの別の形態を説明する図
【発明を実施するための形態】
【００２１】
以下、本発明に係る車両制御システム及び安全確認判定装置の実施の形態に関して、図面を参照しながら説明を行う。
【００２２】
（実施の形態）
図１は、本実施の形態に係る車両制御システム１０の全体図を示している。
車両制御システム１０は、ドライバモニタカメラ１０１を用いてドライバ１００の視点方向を取得し、また、車外カメラ１０２を用いて前方画像から所定領域１０４の障害物１０３と車両との相対方向を取得する。
【００２３】
そして、図１（ｂ）に示すように、車両制御システム１０は、ドライバ１００の視点中心１０６から所定の角度幅を有する視野範囲１０５に障害物１０３が存在するか否かでドライバの安全確認状態を判定し、障害物１０３がドライバの視野範囲１０５内で認識されていない場合には、警報や自動ブレーキ等の各種の車両制御を実施するものである。
【００２４】
図２は、一般的な運転中におけるドライバの視野範囲２０１の一例を示す図であり、ドライバが運転中に前方障害物を正確に認識できる視野範囲２０１は、例えば視野中心から略±５〜２０度（但しドライバの意識状態で変化する）の角度幅を有する楕円形状となる。
【００２５】
図３は、本実施の形態に係る車両制御システム１０の機能ブロック図を示す。
【００２６】
車両制御システム１０においては、安全確認判定部３１（特許請求の範囲の安全確認判定装置に該当）、環境情報獲得部３２、警報通知部３３、及び運転情報獲得部３４が互いにバスを介して接続されている。
【００２７】
環境情報獲得部３２は、車両周辺の各種の環境情報を取得して安全確認判定部３１に送信する処理部であり、ＧＰＳ（Global Positioning System）情報を取得するＧＰＳ情報取得部３２ａ、道路に関する地図情報が記録された道路データベース３２ｂ、車体のフロントガラスの上部付近に設けられたＣＣＤ（charged coupled device）カメラ等の車外カメラ３２ｃ、及び前方や側方の障害物までの距離を測定する距離測定機能や障害物に対する速度を測定する速度測定機能を備えたミリ波レーダ等のレーダ３２ｄを備えている。
【００２８】
警報通知部３３は、安全確認判定部３１から車両制御が必要な場合に送信される信号を受信した場合に、ドライバに対して所定の警告を表示する液晶パネル等の表示部であるディスプレイ３３ａ、及び警告音を発するスピーカ３３ｂを備えている。
【００２９】
運転情報獲得部３４は、ドライバの運転情報を取得して安全確認判定部３１に送信する処理部であり、車速信号を取得する車速センサ３４ａ、アクセルペダル信号を取得するアクセルセンサ３４ｂ、例えば磁気ロータの回転による磁気の変化を検出するブレーキセンサ３４ｃ、運転者がハンドルを切った時の前輪の操舵角を感知する舵角センサ３４ｄ、左右方向のシグナル信号を取得するターンシグナルセンサ３４ｅ、ドライバの視点方向を検知するドライバモニタカメラ３４ｆを備えている。
【００３０】
安全確認判定部３１は、環境情報獲得部３２及び運転情報獲得部３４から取得した情報に基づいて、ドライバの視点方向と車外カメラ３２ｃにおいて撮像された障害物方向とを同一座標系上に展開して車両制御を行うか否かの判定を行う。
【００３１】
また、この安全確認判定部３１は、トラッキングエラー補正部３１ａ、視点クラスタ処理部３１ｂ、及び視点同定処理部３１ｃを備え、ドライバモニタカメラ３４ｆから取得するドライバの視点方向の安定化処理を行う。
【００３２】
トラッキングエラー補正部３１ａは、ドライバモニタカメラ３４ｆで所定間隔（例えば１００ｍｓ）でのドライバの視線情報を正確に取得できているか否かの判定を行う。例えば、天気が良い場合に太陽光がドライバの眼鏡に反射すると反射角度によってはドライバモニタカメラ３４ｆにおいてドライバの視点方向が検出できない。従って、このような場合に、トラッキングエラー補正部３１ａは、トラッキングエラーが発生したことを検知してドライバの視線データを補正する処理を行う。
【００３３】
なお、ドライバモニタカメラ３４ｆを用いたドライバの視点方向検出には、例えば、ドライバの瞳孔を抽出し易くするため近赤外線カメラを使用する。近赤外画像では、瞳孔は周囲に比べ最も輝度値が低い特徴を示す。従って、取得したドライバの画像情報を用いて瞳孔領域の画像からより正確な瞳孔中心の座標を求め、画像中の瞳孔中心座標と、眼球の表面に映り込んだ点光源の像の中心座標の位置関係からグローバル座標系における視点方向を算出することにより検出することができる。
【００３４】
視点クラスタ処理部３１ｂは、ドライバの所定周期で検出される検出された視点間の移動速度を検出して、この視点移動速度に基づいてドライバが同一物体を認識しているか否かを検出し、同一物体を認識していると判断される視野領域を「クラスタ」として取り込む処理を行う。
【００３５】
視点同定処理部３１ｃは、ドライバの視点が別の視点位置に移動していない注視している期間である注視期間を検出して、例えば、視点移動速度が所定値以上で素早く動いた場合でも、移動後の視点の注視期間が所定値以上であるならば、同一物体を認識している等、ドライバの視点の同定処理を行う。
【００３６】
安全確認判定部３１は、車外カメラ３２ｃから取得する画像情報に基づいて進行方向の障害物方向を算出する。また、運転情報獲得部３４のドライバモニタカメラ３４ｆから取得する画像情報からトラッキングエラー補正部３１ａ、視点クラスタ処理部３１ｂ、及び視点同定処理部３１ｃを用いて視点方向が安定化処理されたドライバの視点方向を取得する。そして、安全確認判定部３１は、当該障害物方向と当該視点方向とに基づいて、ドライバの視野範囲内に障害物があるか否かを判定する。
【００３７】
また、安全確認判定部３１は、障害物がドライバの視野範囲外で所定距離よりも接近する等、ドライバが障害物に対して安全確認をしていないと判定する場合、ディスプレイ３３ａを用いて警告表示、若しくはスピーカ３３ｂを用いてドライバに警告音を発するための制御信号を警報通知部３３に送信する。
【００３８】
図４は、本実施の形態に係る安全確認判定部３１における視点安定化処理の説明図である。なお、本図に示す黒点は所定間隔で検出される視点の座標である。
【００３９】
図４（ａ）は、視点クラスタ処理部３１ｂにおいて生成されたクラスタ４０１、クラスタ４０２、クラスタ４０３、及びクラスタ４０４を示している。本図では、視点移動速度の大きな動きである「サッカード４０５〜４０７」による移動により、１つの視野範囲であるクラスタ４０１〜４０４が生成される。そして、本発明では、同一クラスタ内ではドライバは同一の視野範囲を認識していると判定して、ドライバの視点方向を安定化できる。
【００４０】
図４（ｂ）は、ドライバの視点の動きとクラスタ４１０の関係を示し、安全確認判定部３１は、視点が同一クラスタ４１０内である場合には、ドライバは同一視野範囲を認識していると判定することが可能となる。
【００４１】
図４（ｃ）は、本実施の形態で定義する視点の素早い動きである「サッカード」の説明図である。クラスタ４２１の中心に開始点４２０が設定されると、クラスタ４２１中の視点２ａ、２ｂ、２ｃは「注視点」としてラベルされる一方、クラスタ４２１外の視点２ｄ、２ｅは視点の素早い動きに該当する「サッカード」としてラベルされる。
【００４２】
図５（ａ）は、本実施の形態に係る車両制御システムの全体の動作手順を示すフローチャートである。
【００４３】
最初に、安全確認判定部３１は、ドライバモニタカメラ３４ｆから取得するドライバの視点方向の安定化処理を行い（ステップＳ５０１）、また、安定化処理が施された後のドライバの視点方向及び車外カメラより前方の障害物方向を取得して同一座標系にオーバレイする処理を行う（ステップＳ５０２）。
【００４４】
次に、安全確認判定部３１は、ドライバの視野範囲に障害物があるか否かを判定して（ステップＳ５０３）、障害物が認識できていない危険な場合には（ステップＳ５０３でＹＥＳ）、スピーカ３３ｂを用いて警報を行う（ステップＳ５０４）。
【００４５】
図５（ｂ）は、ステップＳ５０１に示すドライバの視点方向の安定化処理における動作手順を示すフローチャートである。
【００４６】
最初に、安全確認判定部３１は、リアルタイムバッファに蓄積されたドライバの現在の視点データを読み込む（ステップＳ１０）。
次に、トラッキングエラー補正部３１ａは、所定間隔で取得されるドライバの視点からトラッキングエラーを検出して補正処理を行う（ステップＳ１１）。この詳細な動作手順は図６において説明する。
【００４７】
そして、視点クラスタ処理部３１ｂは、複数の視点情報を用いてクラスタを生成する処理を行う（ステップＳ１２）。この詳細な動作手順は図７において説明する。
最後に、視点同定処理部３１ｃは、ドライバが同一物体を認識しているか否かを判定して、ドライバの視点の同定処理を行う（ステップＳ１３）。この詳細な動作手順は図８において説明する。
【００４８】
図６は、ステップＳ１１に示すトラッキングエラー補正時の動作手順を示すフローチャートである。
【００４９】
最初に、トラッキングエラー補正部３１ａは、所定間隔で読み込まれるリアルタイムバッファのドライバの視点データから、視点データが取得できない「ミシングデータ」が検出されるか否かを判定する（ステップＳ６０１）。
【００５０】
ここで、ミシングデータとは、例えば１００ｍｓ毎に検出されるべきドライバの視点方向のデータが検出できない状態である。例えばドライバの視線データが取得できた場合にはtruck＿status=0となり、取得できていない期間においてはtruck＿status=1と定義されるために、トラッキングエラー補正部３１ａは、このtruck＿statusの数値によりトラッキングエラーが発生しているか否かを検出できる。
【００５１】
次に、トラッキングエラー補正部３１ａは、ミシングデータが検出されない正規の処理の場合には（ステップＳ６０１でＮＯ）、ステップＳ１２に示す視点クラスタ処理に移行する。
【００５２】
一方、ミシングデータが検出された場合には（ステップＳ６０１でＹＥＳ）、トラッキングエラー補正部３１ａは、１つ前に取得された視点が注視点であるか否かを判定する（ステップＳ６０２）。
【００５３】
そして、１つ前の視点が注視点の場合には（ステップＳ６０２でＹＥＳ）、トラッキングエラー補正部３１ａは、１つ前の注視点を今回の視点として使用する（ステップＳ６０４）。一方、１つ前の点が注視点でない場合には（ステップＳ６０２でＮＯ）、トラッキングエラー補正部３１ａは、トラッキングエラーを無視して（ステップＳ６０３）、ステップＳ１０に戻り、再度リアルタイムバッファ内におけるドライバの視点データの読み込み処理を行う。
【００５４】
このように、トラッキングエラー補正部３１ａは、車両環境によりドライバの視点が検出されない場合、以前の注視点のデータを使用してトラッキングエラーが発生しても補正処理を行うことができる。
【００５５】
図７は、ステップＳ１２に示す視点クラスタ処理時の動作手順を示すフローチャートである。
【００５６】
最初に、視点クラスタ処理部３１ｂは、異なる視点間の移動速度である視点移動速度を検出して（ステップＳ７０１）、検出された視点移動速度が閾値未満か否かを判定する（ステップＳ７０２）。ここで、視点クラスタ処理部３１ｂの視点移動速度の検出には角度座標系を用いて、例えば、サンプリング周波数が６０Ｈｚの場合、視点移動速度の閾値は２deg（＝１２０deg/sec）、２．５deg（＝１５０deg/sec）、３deg（＝１８０deg/sec）等とする。また、サンプリング周波数の６０Ｈｚや視点移動速度の閾値は一例であり、本発明の内容がこれに限定されるものではない。
【００５７】
次に、検出された視点移動速度が閾値以上の場合には（ステップＳ７０２でＮＯ）、視点クラスタ処理部３１ｂは、視点を素早い動きを意味する「サッカード」としてラベルして（ステップＳ７０３）、ステップＳ１３に示す視点同定処理に移行する。
【００５８】
一方、速度が閾値未満の場合には（ステップＳ７０２でＹＥＳ）、視点クラスタ処理部３１ｂは、眼が素早く動いていないために、「注視点」としてラベルしてリアルタイムバッファ内にデータを記録して（ステップＳ７０４）、再度ステップＳ１０に戻り、リアルタイムバッファ内におけるドライバの視点データの読み込み処理を行う。
【００５９】
図８は、ステップＳ１３に示す視点同定処理時の動作手順を示すフローチャートである。
【００６０】
最初に、視点同定処理部３１ｃは、サッカードとラベルされた視点以前の複数の連続する注視点を同一クラスタ内として取り込む処理を行う（ステップＳ８０１）。
【００６１】
次に、視点同定処理部３１ｃは、サッカードとラベルされた視点の注視期間を検出して注視期間が閾値未満か否かを判定する（ステップＳ８０２）。ここで、閾値は、例えばサンプリング周波数が６０Ｈｚの時には、８５〜１００ｍｓとなる。すなわち、注視期間が１００ｍｓの場合、視点が０．１秒以上注視している場合にはドライバが同一物体を認識しているとみなす。
【００６２】
そして、視点同定処理部３１ｃは、注視期間が閾値未満の場合には（ステップＳ８０２でＹＥＳ）、ドライバは別の物体を認識したとして以前のクラスタ情報を削除する（ステップＳ８０３）。
【００６３】
一方、注視期間が閾値以上の場合には（ステップＳ８０２でＮＯ）、同一クラスタとして取り込み、クラスタの中心点及び注視期間を算出する（ステップＳ８０４）。すなわち本発明では、注視期間の閾値を用いることで、サッカードとラベルされる視点の動きがある場合でも、ドライバが同じ物体を認識しているとして、同じクラスタ内に視点を取り込むことができる。
【００６４】
そして、視点同定処理部３１ｃにおいて視点同定処理が終了したら再度ステップＳ１０に戻り、リアルタイムバッファからドライバの視点データの読み込み処理が行われる。
【００６５】
なお、図９は、視点同定処理におけるクラスタの別の形態を説明する図である。本図において視点同定処理部３１ｃは、サッカードとラベルされた視点９０１の注視期間が長いために、中心点９０２とした新たなクラスタ９００を作成する。そして、視点同定処理部３１ｃは、クラスタ９００内での視点の移動は同一物体を認識していると定義することができる。
【００６６】
以上の説明のように、本発明に係る車両制御システム１０において、視点クラスタ処理部３１ｂは、視点移動速度に基づいて連続した注視点の範囲をクラスタとして決定し、安全確認判定部３１は、車外カメラ３２ｃで取得した障害物方向とドライバモニタカメラ３４ｆで取得するドライバの視点方向とを用いた照合処理において、そのクラスタ内に障害物方向が一致すればドライバが障害物を認識していると判定することが可能となる。
【００６７】
また、安全確認判定部３１は、クラスタを用いることにより、細かな移動は同じ視点として扱って同一の視点方向とすることができ、視線情報を安定させ、照合判定も安定させることができる。従って、本発明に係る車両制御システム１０では、車外カメラ３２ｃで取得した障害物方向とドライバモニタカメラ３４ｆで取得するドライバの視点方向とを用いた照合の認識判定精度を向上して、より正確に車両制御を行うことができる。
【産業上の利用可能性】
【００６８】
本発明に係る車両制御システム及び安全確認装置は、例えば車両等の移動体に用いることができる。
【符号の説明】
【００６９】
１０ 車両制御システム
３１ 安全確認判定部
３１ａ トラッキングエラー補正部
３１ｂ 視点クラスタ処理部
３１ｃ 視点同定処理部
３２ 環境情報獲得部
３２ａ ＧＰＳ情報取得部
３２ｂ 道路データベース
３２ｃ，１０２ 車外カメラ
３２ｄ レーダ
３３ 警報通知部
３３ａ ディスプレイ
３３ｂ スピーカ
３４ 運転情報獲得部
３４ａ 車速センサ
３４ｂ アクセルセンサ
３４ｃ ブレーキセンサ
３４ｄ 舵角センサ
３４ｅ ターンシグナルセンサ
３４ｆ，１０１ ドライバモニタカメラ
１００ ドライバ
１０３ 障害物
【技術分野】
【０００１】
本発明は、ドライバモニタカメラで取得するドライバの視点方向と車外カメラで取得した障害物方向とを照合して、当該照合の結果に基づいて各種の車両制御を行う車両制御システムに関する。
【背景技術】
【０００２】
従来より、ドライバモニタカメラ等の車内カメラにより検出されるドライバの視点方向と車外カメラやナビ情報等から検出される障害物方向とを同一座標系上で照合（オーバレイ）して、ドライバが障害物を認識しているか否かを判断するシステムが用いられている。
【０００３】
このシステムにおいては、例えば、超広角ＣＣＤカメラ等の車外カメラで撮像されるドライバ前方の映像とドライバモニタカメラで撮像されるドライバの顔画像とを専用ＰＣを用いて組み合わせて、ドライバの視点方向が前景映像の何処と交差するか演算し、その位置を車外カメラの映像上にオーバレイする。そして、危険な障害物がドライバの視線外に検出できた場合には警告やブレーキ等の車両制御を行う。
【０００４】
ところで、交差点等において歩行者等の確認の警告が必要な場合にのみ警告を行って運転者の運転を支援することが可能な運転支援装置が提供されている（例えば、特許文献１参照）。この運転支援装置においては、自車両の進行方向前方の交差点にある地物情報と、カメラＥＣＵを介して取得した運転者の顔向き及び視点方向の検出信号とに基づいて、運転者が交差点における各地物を認識していないと判定した場合に警告を行うものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１２３４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来のシステムにおいては、ドライバが障害物を認識しているか否かをドライバモニタカメラから取得したドライバの視点方向と車外カメラで取得する障害物方向とを照合して判断するだけなので、以下の問題がある。
【０００７】
すなわち、（Ｉ）図２に示すように、通常ドライバが運転中に認識できる視野範囲２０１には視野中心から一定の角度幅を有しているが、上記従来のシステムにおいては、ドライバの視点方向と車外カメラからの障害物方向とが、ほぼ一致しないとドライバが障害物を認識していないと判定する。このため、従来のシステムにおいては、ドライバが実際に障害物を認識している場合でも認識していないと誤判定するという問題がある。
【０００８】
また、（ＩＩ）図４（ａ）の視点（黒点で示す）の動きに示すように、人間の眼球は実際には例えば毎秒８０回程度、約１０μｍ縦方向にトレモアと呼ばれる微動をしている状態であり、視線の動きは、トレモアによる細かな微動と、視対象物の変化による大きな移動からなる。そして、上記の従来のシステムにおいては、トレモアによる細かな視点移動を忠実に視点方向として検出してしまい、このためドライバの視線情報が安定せず、障害物の認識判定精度が不安定となり誤判定を生じて、ひいては誤った警報の吹鳴や不吹鳴を繰り返してしまうという問題もある。
【０００９】
本発明は以上の課題に鑑みてなされたものであり、車外カメラで取得した障害物方向とドライバモニタカメラで取得するドライバの視点方向とを照合する際に、ドライバの視点方向の情報を安定化して、ドライバが障害物を認識しているのに認識していないと誤判定することを防止して、より正確な照合結果に基づいてドライバの安全を確認する安全確認判定装置、及び当該照合結果に基づいて車両制御を行う車両制御システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
以上の課題を解決するために、本発明に係る車両制御システムは、ドライバモニタカメラを用いて検出されるドライバの視点方向と、車外カメラを用いて検出される障害物方向とを照合し、当該照合の結果を用いて車両制御を行う車両制御システムであって、ドライバの視点方向を所定周期で検出する視点検出手段と、角度座標上でのドライバの視点移動速度を検出する視点移動速度検出手段と、ドライバの視点の注視期間を検出する注視期間検出手段と、上記視点移動速度と上記注視期間に基づいて算出されるドライバの視野範囲に、上記車外カメラで検出された障害物方向が含まれるか否かを判定する安全確認判定手段と、上記安全確認判定手段において、ドライバの上記視野範囲に上記障害物方向が含まれないと判定された場合に車両制御の実行が可能な電子制御手段とを備えることを特徴とする。
【００１１】
この構成により、車外カメラで取得した障害物方向とドライバモニタカメラで取得するドライバの視点方向とを照合する際に、上記安全確認判定手段は、上記視点移動速度検出手段において検出される視点移動速度と、上記注視期間検出手段において検出される注視期間との情報を用いてドライバの視野範囲を特定して、ドライバが障害物を認識しているか否かを判定できる。このため、本発明では、ドライバが障害物を認識しているのに認識していないと誤判定することを防止して、より正確な照合結果に基づいて車両制御を行うことができる。
【００１２】
また、本発明に係る車両制御システムは、さらに、上記視点移動速度検出手段で検出される上記視点移動速度が閾値未満の場合には上記視点を注視点として記録する一方、上記視点移動速度が閾値以上の場合には、以前に記録された連続する複数の注視点を含む範囲を１つの視野範囲とするクラスタを生成する視点クラスタ生成手段を備え、上記電子制御手段は、上記視点クラスタ生成手段において生成されたクラスタに対応したドライバの視野範囲に、上記車外カメラで検出された障害物方向が含まれない場合に車両制御を実行可能とすることを特徴とする。
【００１３】
この構成により、上記安全確認判定手段は、視点が上記視点クラスタ手段において生成された同一クラスタ内である場合には、ドライバは同一視野範囲を認識していると判定することが可能とり、ドライバの視点方向を安定化することができる。
【００１４】
また、本発明に係る車両制御システムは、さらに、上記視点クラスタ生成手段においてクラスタが生成された場合、上記視点移動速度が閾値以上の視点の注視期間を検出して、当該注視期間が閾値以下の場合には、当該生成されたクラスタの記録を削除する一方、上記注視期間が閾値以上の場合には、当該生成されたクラスタと当該視点を含む新たなクラスタを生成してドライバの視野範囲の同定処理を行う視点同定処理手段を備え、上記電子制御手段は、上記視点同定処理手段において生成された上記新たなクラスタに対応するドライバの視野範囲内に、上記車外カメラで検出される障害物方向が含まれない場合に車両制御を実行可能とすることを特徴とする。
【００１５】
この構成により、上記視点同定手段は、上記注視期間検出手段で検出される注視期間の閾値を用いることで、視点移動速度が閾値以上の視点の動きがある場合でも、ドライバが同一物体を認識しているとする新たなクラスタを生成し、このクラスタに基づいてドライバの視点方向を安定化することができる。
【００１６】
また、本発明に係る車両制御システムは、さらに、上記視点検出手段において所定周期で視点が検出されたか否かを判定し、所定周期での視点検出にトラッキングエラーが発生している場合には１つ前に取得した視点データが注視点か否かを判定し、注視点の場合には当該注視点のデータを使用し、注視点でない場合にはトラッキングエラー発生時の視点データをないものとするトラッキングエラー補正手段を備えることを特徴とする。
【００１７】
この構成により、上記トラッキングエラー補正手段は、車両環境によりドライバの視点情報にトラッキングエラーが発生した場合でも、以前の注視点のデータを使用する等できるためトラッキングエラーが発生しても補正処理を行うことができる。
【００１８】
なお、本発明に係る車両制御システムを構成する処理手段をステップとする車両制御方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、当該プログラムをＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００１９】
本発明に係る車両制御システムでは、車外カメラで取得した障害物方向とドライバモニタカメラで取得するドライバの視点方向とを照合する際、ドライバモニタカメラで取得するドライバの視点方向の情報を安定化して、ドライバが障害物を認識しているのに認識していないと誤判定することを防止して、より正確な照合結果に基づいて各種の車両制御を行うことができる。
【図面の簡単な説明】
【００２０】
【図１】実施の形態に係る車両制御システムの全体図
【図２】一般的な運転中におけるドライバの視野範囲の一例を示す図
【図３】実施の形態に係る車両制御システムの機能ブロック図
【図４】実施の形態に係る安全確認判定部における視点安定化処理の説明図
【図５】実施の形態に係る車両制御システムの全体の動作手順を示すフローチャート
【図６】ステップＳ１１に示すトラッキングエラー補正時の動作手順を示すフローチ ャート
【図７】ステップＳ１２に示す視点クラスタ処理時の動作手順を示すフローチャート
【図８】ステップＳ１３に示す視点同定処理時の動作手順を示すフローチャート
【図９】視点同定処理におけるクラスタの別の形態を説明する図
【発明を実施するための形態】
【００２１】
以下、本発明に係る車両制御システム及び安全確認判定装置の実施の形態に関して、図面を参照しながら説明を行う。
【００２２】
（実施の形態）
図１は、本実施の形態に係る車両制御システム１０の全体図を示している。
車両制御システム１０は、ドライバモニタカメラ１０１を用いてドライバ１００の視点方向を取得し、また、車外カメラ１０２を用いて前方画像から所定領域１０４の障害物１０３と車両との相対方向を取得する。
【００２３】
そして、図１（ｂ）に示すように、車両制御システム１０は、ドライバ１００の視点中心１０６から所定の角度幅を有する視野範囲１０５に障害物１０３が存在するか否かでドライバの安全確認状態を判定し、障害物１０３がドライバの視野範囲１０５内で認識されていない場合には、警報や自動ブレーキ等の各種の車両制御を実施するものである。
【００２４】
図２は、一般的な運転中におけるドライバの視野範囲２０１の一例を示す図であり、ドライバが運転中に前方障害物を正確に認識できる視野範囲２０１は、例えば視野中心から略±５〜２０度（但しドライバの意識状態で変化する）の角度幅を有する楕円形状となる。
【００２５】
図３は、本実施の形態に係る車両制御システム１０の機能ブロック図を示す。
【００２６】
車両制御システム１０においては、安全確認判定部３１（特許請求の範囲の安全確認判定装置に該当）、環境情報獲得部３２、警報通知部３３、及び運転情報獲得部３４が互いにバスを介して接続されている。
【００２７】
環境情報獲得部３２は、車両周辺の各種の環境情報を取得して安全確認判定部３１に送信する処理部であり、ＧＰＳ（Global Positioning System）情報を取得するＧＰＳ情報取得部３２ａ、道路に関する地図情報が記録された道路データベース３２ｂ、車体のフロントガラスの上部付近に設けられたＣＣＤ（charged coupled device）カメラ等の車外カメラ３２ｃ、及び前方や側方の障害物までの距離を測定する距離測定機能や障害物に対する速度を測定する速度測定機能を備えたミリ波レーダ等のレーダ３２ｄを備えている。
【００２８】
警報通知部３３は、安全確認判定部３１から車両制御が必要な場合に送信される信号を受信した場合に、ドライバに対して所定の警告を表示する液晶パネル等の表示部であるディスプレイ３３ａ、及び警告音を発するスピーカ３３ｂを備えている。
【００２９】
運転情報獲得部３４は、ドライバの運転情報を取得して安全確認判定部３１に送信する処理部であり、車速信号を取得する車速センサ３４ａ、アクセルペダル信号を取得するアクセルセンサ３４ｂ、例えば磁気ロータの回転による磁気の変化を検出するブレーキセンサ３４ｃ、運転者がハンドルを切った時の前輪の操舵角を感知する舵角センサ３４ｄ、左右方向のシグナル信号を取得するターンシグナルセンサ３４ｅ、ドライバの視点方向を検知するドライバモニタカメラ３４ｆを備えている。
【００３０】
安全確認判定部３１は、環境情報獲得部３２及び運転情報獲得部３４から取得した情報に基づいて、ドライバの視点方向と車外カメラ３２ｃにおいて撮像された障害物方向とを同一座標系上に展開して車両制御を行うか否かの判定を行う。
【００３１】
また、この安全確認判定部３１は、トラッキングエラー補正部３１ａ、視点クラスタ処理部３１ｂ、及び視点同定処理部３１ｃを備え、ドライバモニタカメラ３４ｆから取得するドライバの視点方向の安定化処理を行う。
【００３２】
トラッキングエラー補正部３１ａは、ドライバモニタカメラ３４ｆで所定間隔（例えば１００ｍｓ）でのドライバの視線情報を正確に取得できているか否かの判定を行う。例えば、天気が良い場合に太陽光がドライバの眼鏡に反射すると反射角度によってはドライバモニタカメラ３４ｆにおいてドライバの視点方向が検出できない。従って、このような場合に、トラッキングエラー補正部３１ａは、トラッキングエラーが発生したことを検知してドライバの視線データを補正する処理を行う。
【００３３】
なお、ドライバモニタカメラ３４ｆを用いたドライバの視点方向検出には、例えば、ドライバの瞳孔を抽出し易くするため近赤外線カメラを使用する。近赤外画像では、瞳孔は周囲に比べ最も輝度値が低い特徴を示す。従って、取得したドライバの画像情報を用いて瞳孔領域の画像からより正確な瞳孔中心の座標を求め、画像中の瞳孔中心座標と、眼球の表面に映り込んだ点光源の像の中心座標の位置関係からグローバル座標系における視点方向を算出することにより検出することができる。
【００３４】
視点クラスタ処理部３１ｂは、ドライバの所定周期で検出される検出された視点間の移動速度を検出して、この視点移動速度に基づいてドライバが同一物体を認識しているか否かを検出し、同一物体を認識していると判断される視野領域を「クラスタ」として取り込む処理を行う。
【００３５】
視点同定処理部３１ｃは、ドライバの視点が別の視点位置に移動していない注視している期間である注視期間を検出して、例えば、視点移動速度が所定値以上で素早く動いた場合でも、移動後の視点の注視期間が所定値以上であるならば、同一物体を認識している等、ドライバの視点の同定処理を行う。
【００３６】
安全確認判定部３１は、車外カメラ３２ｃから取得する画像情報に基づいて進行方向の障害物方向を算出する。また、運転情報獲得部３４のドライバモニタカメラ３４ｆから取得する画像情報からトラッキングエラー補正部３１ａ、視点クラスタ処理部３１ｂ、及び視点同定処理部３１ｃを用いて視点方向が安定化処理されたドライバの視点方向を取得する。そして、安全確認判定部３１は、当該障害物方向と当該視点方向とに基づいて、ドライバの視野範囲内に障害物があるか否かを判定する。
【００３７】
また、安全確認判定部３１は、障害物がドライバの視野範囲外で所定距離よりも接近する等、ドライバが障害物に対して安全確認をしていないと判定する場合、ディスプレイ３３ａを用いて警告表示、若しくはスピーカ３３ｂを用いてドライバに警告音を発するための制御信号を警報通知部３３に送信する。
【００３８】
図４は、本実施の形態に係る安全確認判定部３１における視点安定化処理の説明図である。なお、本図に示す黒点は所定間隔で検出される視点の座標である。
【００３９】
図４（ａ）は、視点クラスタ処理部３１ｂにおいて生成されたクラスタ４０１、クラスタ４０２、クラスタ４０３、及びクラスタ４０４を示している。本図では、視点移動速度の大きな動きである「サッカード４０５〜４０７」による移動により、１つの視野範囲であるクラスタ４０１〜４０４が生成される。そして、本発明では、同一クラスタ内ではドライバは同一の視野範囲を認識していると判定して、ドライバの視点方向を安定化できる。
【００４０】
図４（ｂ）は、ドライバの視点の動きとクラスタ４１０の関係を示し、安全確認判定部３１は、視点が同一クラスタ４１０内である場合には、ドライバは同一視野範囲を認識していると判定することが可能となる。
【００４１】
図４（ｃ）は、本実施の形態で定義する視点の素早い動きである「サッカード」の説明図である。クラスタ４２１の中心に開始点４２０が設定されると、クラスタ４２１中の視点２ａ、２ｂ、２ｃは「注視点」としてラベルされる一方、クラスタ４２１外の視点２ｄ、２ｅは視点の素早い動きに該当する「サッカード」としてラベルされる。
【００４２】
図５（ａ）は、本実施の形態に係る車両制御システムの全体の動作手順を示すフローチャートである。
【００４３】
最初に、安全確認判定部３１は、ドライバモニタカメラ３４ｆから取得するドライバの視点方向の安定化処理を行い（ステップＳ５０１）、また、安定化処理が施された後のドライバの視点方向及び車外カメラより前方の障害物方向を取得して同一座標系にオーバレイする処理を行う（ステップＳ５０２）。
【００４４】
次に、安全確認判定部３１は、ドライバの視野範囲に障害物があるか否かを判定して（ステップＳ５０３）、障害物が認識できていない危険な場合には（ステップＳ５０３でＹＥＳ）、スピーカ３３ｂを用いて警報を行う（ステップＳ５０４）。
【００４５】
図５（ｂ）は、ステップＳ５０１に示すドライバの視点方向の安定化処理における動作手順を示すフローチャートである。
【００４６】
最初に、安全確認判定部３１は、リアルタイムバッファに蓄積されたドライバの現在の視点データを読み込む（ステップＳ１０）。
次に、トラッキングエラー補正部３１ａは、所定間隔で取得されるドライバの視点からトラッキングエラーを検出して補正処理を行う（ステップＳ１１）。この詳細な動作手順は図６において説明する。
【００４７】
そして、視点クラスタ処理部３１ｂは、複数の視点情報を用いてクラスタを生成する処理を行う（ステップＳ１２）。この詳細な動作手順は図７において説明する。
最後に、視点同定処理部３１ｃは、ドライバが同一物体を認識しているか否かを判定して、ドライバの視点の同定処理を行う（ステップＳ１３）。この詳細な動作手順は図８において説明する。
【００４８】
図６は、ステップＳ１１に示すトラッキングエラー補正時の動作手順を示すフローチャートである。
【００４９】
最初に、トラッキングエラー補正部３１ａは、所定間隔で読み込まれるリアルタイムバッファのドライバの視点データから、視点データが取得できない「ミシングデータ」が検出されるか否かを判定する（ステップＳ６０１）。
【００５０】
ここで、ミシングデータとは、例えば１００ｍｓ毎に検出されるべきドライバの視点方向のデータが検出できない状態である。例えばドライバの視線データが取得できた場合にはtruck＿status=0となり、取得できていない期間においてはtruck＿status=1と定義されるために、トラッキングエラー補正部３１ａは、このtruck＿statusの数値によりトラッキングエラーが発生しているか否かを検出できる。
【００５１】
次に、トラッキングエラー補正部３１ａは、ミシングデータが検出されない正規の処理の場合には（ステップＳ６０１でＮＯ）、ステップＳ１２に示す視点クラスタ処理に移行する。
【００５２】
一方、ミシングデータが検出された場合には（ステップＳ６０１でＹＥＳ）、トラッキングエラー補正部３１ａは、１つ前に取得された視点が注視点であるか否かを判定する（ステップＳ６０２）。
【００５３】
そして、１つ前の視点が注視点の場合には（ステップＳ６０２でＹＥＳ）、トラッキングエラー補正部３１ａは、１つ前の注視点を今回の視点として使用する（ステップＳ６０４）。一方、１つ前の点が注視点でない場合には（ステップＳ６０２でＮＯ）、トラッキングエラー補正部３１ａは、トラッキングエラーを無視して（ステップＳ６０３）、ステップＳ１０に戻り、再度リアルタイムバッファ内におけるドライバの視点データの読み込み処理を行う。
【００５４】
このように、トラッキングエラー補正部３１ａは、車両環境によりドライバの視点が検出されない場合、以前の注視点のデータを使用してトラッキングエラーが発生しても補正処理を行うことができる。
【００５５】
図７は、ステップＳ１２に示す視点クラスタ処理時の動作手順を示すフローチャートである。
【００５６】
最初に、視点クラスタ処理部３１ｂは、異なる視点間の移動速度である視点移動速度を検出して（ステップＳ７０１）、検出された視点移動速度が閾値未満か否かを判定する（ステップＳ７０２）。ここで、視点クラスタ処理部３１ｂの視点移動速度の検出には角度座標系を用いて、例えば、サンプリング周波数が６０Ｈｚの場合、視点移動速度の閾値は２deg（＝１２０deg/sec）、２．５deg（＝１５０deg/sec）、３deg（＝１８０deg/sec）等とする。また、サンプリング周波数の６０Ｈｚや視点移動速度の閾値は一例であり、本発明の内容がこれに限定されるものではない。
【００５７】
次に、検出された視点移動速度が閾値以上の場合には（ステップＳ７０２でＮＯ）、視点クラスタ処理部３１ｂは、視点を素早い動きを意味する「サッカード」としてラベルして（ステップＳ７０３）、ステップＳ１３に示す視点同定処理に移行する。
【００５８】
一方、速度が閾値未満の場合には（ステップＳ７０２でＹＥＳ）、視点クラスタ処理部３１ｂは、眼が素早く動いていないために、「注視点」としてラベルしてリアルタイムバッファ内にデータを記録して（ステップＳ７０４）、再度ステップＳ１０に戻り、リアルタイムバッファ内におけるドライバの視点データの読み込み処理を行う。
【００５９】
図８は、ステップＳ１３に示す視点同定処理時の動作手順を示すフローチャートである。
【００６０】
最初に、視点同定処理部３１ｃは、サッカードとラベルされた視点以前の複数の連続する注視点を同一クラスタ内として取り込む処理を行う（ステップＳ８０１）。
【００６１】
次に、視点同定処理部３１ｃは、サッカードとラベルされた視点の注視期間を検出して注視期間が閾値未満か否かを判定する（ステップＳ８０２）。ここで、閾値は、例えばサンプリング周波数が６０Ｈｚの時には、８５〜１００ｍｓとなる。すなわち、注視期間が１００ｍｓの場合、視点が０．１秒以上注視している場合にはドライバが同一物体を認識しているとみなす。
【００６２】
そして、視点同定処理部３１ｃは、注視期間が閾値未満の場合には（ステップＳ８０２でＹＥＳ）、ドライバは別の物体を認識したとして以前のクラスタ情報を削除する（ステップＳ８０３）。
【００６３】
一方、注視期間が閾値以上の場合には（ステップＳ８０２でＮＯ）、同一クラスタとして取り込み、クラスタの中心点及び注視期間を算出する（ステップＳ８０４）。すなわち本発明では、注視期間の閾値を用いることで、サッカードとラベルされる視点の動きがある場合でも、ドライバが同じ物体を認識しているとして、同じクラスタ内に視点を取り込むことができる。
【００６４】
そして、視点同定処理部３１ｃにおいて視点同定処理が終了したら再度ステップＳ１０に戻り、リアルタイムバッファからドライバの視点データの読み込み処理が行われる。
【００６５】
なお、図９は、視点同定処理におけるクラスタの別の形態を説明する図である。本図において視点同定処理部３１ｃは、サッカードとラベルされた視点９０１の注視期間が長いために、中心点９０２とした新たなクラスタ９００を作成する。そして、視点同定処理部３１ｃは、クラスタ９００内での視点の移動は同一物体を認識していると定義することができる。
【００６６】
以上の説明のように、本発明に係る車両制御システム１０において、視点クラスタ処理部３１ｂは、視点移動速度に基づいて連続した注視点の範囲をクラスタとして決定し、安全確認判定部３１は、車外カメラ３２ｃで取得した障害物方向とドライバモニタカメラ３４ｆで取得するドライバの視点方向とを用いた照合処理において、そのクラスタ内に障害物方向が一致すればドライバが障害物を認識していると判定することが可能となる。
【００６７】
また、安全確認判定部３１は、クラスタを用いることにより、細かな移動は同じ視点として扱って同一の視点方向とすることができ、視線情報を安定させ、照合判定も安定させることができる。従って、本発明に係る車両制御システム１０では、車外カメラ３２ｃで取得した障害物方向とドライバモニタカメラ３４ｆで取得するドライバの視点方向とを用いた照合の認識判定精度を向上して、より正確に車両制御を行うことができる。
【産業上の利用可能性】
【００６８】
本発明に係る車両制御システム及び安全確認装置は、例えば車両等の移動体に用いることができる。
【符号の説明】
【００６９】
１０ 車両制御システム
３１ 安全確認判定部
３１ａ トラッキングエラー補正部
３１ｂ 視点クラスタ処理部
３１ｃ 視点同定処理部
３２ 環境情報獲得部
３２ａ ＧＰＳ情報取得部
３２ｂ 道路データベース
３２ｃ，１０２ 車外カメラ
３２ｄ レーダ
３３ 警報通知部
３３ａ ディスプレイ
３３ｂ スピーカ
３４ 運転情報獲得部
３４ａ 車速センサ
３４ｂ アクセルセンサ
３４ｃ ブレーキセンサ
３４ｄ 舵角センサ
３４ｅ ターンシグナルセンサ
３４ｆ，１０１ ドライバモニタカメラ
１００ ドライバ
１０３ 障害物
【特許請求の範囲】
【請求項１】
ドライバモニタカメラを用いて検出されるドライバの視点方向と、車外カメラを用いて検出される障害物方向とを照合し、当該照合の結果を用いて車両制御を行う車両制御システムであって、
ドライバの視点方向を所定周期で検出する視点検出手段と、
角度座標上でのドライバの視点移動速度を検出する視点移動速度検出手段と、
ドライバの視点の注視期間を検出する注視期間検出手段と、
前記視点移動速度と前記注視期間に基づいて算出されるドライバの視野範囲に、前記車外カメラで検出された障害物方向が含まれるか否かを判定する安全確認判定手段と、
前記安全確認判定手段において、ドライバの前記視野範囲に前記障害物方向が含まれないと判定された場合に車両制御の実行が可能な電子制御手段とを備える
ことを特徴とする車両制御システム。
【請求項２】
前記車両制御システムは、さらに、
前記視点移動速度検出手段で検出される前記視点移動速度が閾値未満の場合には前記視点を注視点として記録する一方、前記視点移動速度が閾値以上の場合には、以前に記録された連続する複数の注視点を含む範囲を１つの視野範囲とするクラスタを生成する視点クラスタ生成手段を備え、
前記電子制御手段は、前記視点クラスタ生成手段において生成されたクラスタに対応したドライバの視野範囲に、前記車外カメラで検出された障害物方向が含まれない場合に車両制御を実行可能とする
ことを特徴とする請求項１記載の車両制御システム。
【請求項３】
前記車両制御システムは、さらに、
前記視点クラスタ生成手段においてクラスタが生成された場合、前記視点移動速度が閾値以上の視点の注視期間を検出して、当該注視期間が閾値以下の場合には、当該生成されたクラスタの記録を削除する一方、前記注視期間が閾値以上の場合には、当該生成されたクラスタと当該視点を含む新たなクラスタを生成してドライバの視野範囲の同定処理を行う視点同定処理手段を備え、
前記電子制御手段は、前記視点同定処理手段において生成された前記新たなクラスタに対応するドライバの視野範囲内に、前記車外カメラで検出される障害物方向が含まれない場合に車両制御を実行可能とする
ことを特徴とする請求項２記載の車両制御システム。
【請求項４】
前記車両制御システムは、さらに、
前記視点検出手段において所定周期で視点が検出されたか否かを判定し、所定周期での視点検出にトラッキングエラーが発生している場合には１つ前に取得した視点データが注視点か否かを判定し、注視点の場合には当該注視点のデータを使用し、注視点でない場合にはトラッキングエラー発生時の視点データをないものとするトラッキングエラー補正手段を備える
ことを特徴とする請求項１から３のいずれか１項に記載の車両制御システム。
【請求項５】
ドライバモニタカメラを用いて検出されるドライバの視点方向と、車外カメラを用いて検出される障害物方向とを同一座標系上で照合してドライバの安全を判定する安全確認判定装置であって、
ドライバの視点方向を所定周期で検出する視点検出手段と、
角度座標上でのドライバの視点移動速度を検出する視点移動速度検出手段と、
ドライバの視点の注視期間を検出する注視期間検出手段と、
前記視点移動速度と前記注視期間に基づいて算出されるドライバの視野範囲に、前記車外カメラで検出された障害物方向が含まれるか否かを判定する安全確認判定手段とを備える
ことを特徴とする安全確認判定装置。
【請求項６】
ドライバモニタカメラを用いて検出されるドライバの視点方向と、車外カメラを用いて検出される障害物方向とを照合し、当該照合の結果を用いて車両制御を行う車両制御方法であって、
ドライバの視点方向を所定周期で検出する視点検出ステップと、
角度座標上でのドライバの視点移動速度を検出する視点移動速度検出ステップと、
ドライバの視点の注視期間を検出する注視期間検出ステップと、
前記視点移動速度と前記注視期間に基づいて算出されるドライバの視野範囲に、前記車外カメラで検出された障害物方向が含まれるか否かを判定する安全確認判定ステップと、
前記安全確認判定ステップにおいて、ドライバの前記視野範囲に前記障害物方向が含まれないと判定された場合に車両制御の実行が可能な電子制御ステップとを含む
ことを特徴とする車両制御方法。
【請求項１】
ドライバモニタカメラを用いて検出されるドライバの視点方向と、車外カメラを用いて検出される障害物方向とを照合し、当該照合の結果を用いて車両制御を行う車両制御システムであって、
ドライバの視点方向を所定周期で検出する視点検出手段と、
角度座標上でのドライバの視点移動速度を検出する視点移動速度検出手段と、
ドライバの視点の注視期間を検出する注視期間検出手段と、
前記視点移動速度と前記注視期間に基づいて算出されるドライバの視野範囲に、前記車外カメラで検出された障害物方向が含まれるか否かを判定する安全確認判定手段と、
前記安全確認判定手段において、ドライバの前記視野範囲に前記障害物方向が含まれないと判定された場合に車両制御の実行が可能な電子制御手段とを備える
ことを特徴とする車両制御システム。
【請求項２】
前記車両制御システムは、さらに、
前記視点移動速度検出手段で検出される前記視点移動速度が閾値未満の場合には前記視点を注視点として記録する一方、前記視点移動速度が閾値以上の場合には、以前に記録された連続する複数の注視点を含む範囲を１つの視野範囲とするクラスタを生成する視点クラスタ生成手段を備え、
前記電子制御手段は、前記視点クラスタ生成手段において生成されたクラスタに対応したドライバの視野範囲に、前記車外カメラで検出された障害物方向が含まれない場合に車両制御を実行可能とする
ことを特徴とする請求項１記載の車両制御システム。
【請求項３】
前記車両制御システムは、さらに、
前記視点クラスタ生成手段においてクラスタが生成された場合、前記視点移動速度が閾値以上の視点の注視期間を検出して、当該注視期間が閾値以下の場合には、当該生成されたクラスタの記録を削除する一方、前記注視期間が閾値以上の場合には、当該生成されたクラスタと当該視点を含む新たなクラスタを生成してドライバの視野範囲の同定処理を行う視点同定処理手段を備え、
前記電子制御手段は、前記視点同定処理手段において生成された前記新たなクラスタに対応するドライバの視野範囲内に、前記車外カメラで検出される障害物方向が含まれない場合に車両制御を実行可能とする
ことを特徴とする請求項２記載の車両制御システム。
【請求項４】
前記車両制御システムは、さらに、
前記視点検出手段において所定周期で視点が検出されたか否かを判定し、所定周期での視点検出にトラッキングエラーが発生している場合には１つ前に取得した視点データが注視点か否かを判定し、注視点の場合には当該注視点のデータを使用し、注視点でない場合にはトラッキングエラー発生時の視点データをないものとするトラッキングエラー補正手段を備える
ことを特徴とする請求項１から３のいずれか１項に記載の車両制御システム。
【請求項５】
ドライバモニタカメラを用いて検出されるドライバの視点方向と、車外カメラを用いて検出される障害物方向とを同一座標系上で照合してドライバの安全を判定する安全確認判定装置であって、
ドライバの視点方向を所定周期で検出する視点検出手段と、
角度座標上でのドライバの視点移動速度を検出する視点移動速度検出手段と、
ドライバの視点の注視期間を検出する注視期間検出手段と、
前記視点移動速度と前記注視期間に基づいて算出されるドライバの視野範囲に、前記車外カメラで検出された障害物方向が含まれるか否かを判定する安全確認判定手段とを備える
ことを特徴とする安全確認判定装置。
【請求項６】
ドライバモニタカメラを用いて検出されるドライバの視点方向と、車外カメラを用いて検出される障害物方向とを照合し、当該照合の結果を用いて車両制御を行う車両制御方法であって、
ドライバの視点方向を所定周期で検出する視点検出ステップと、
角度座標上でのドライバの視点移動速度を検出する視点移動速度検出ステップと、
ドライバの視点の注視期間を検出する注視期間検出ステップと、
前記視点移動速度と前記注視期間に基づいて算出されるドライバの視野範囲に、前記車外カメラで検出された障害物方向が含まれるか否かを判定する安全確認判定ステップと、
前記安全確認判定ステップにおいて、ドライバの前記視野範囲に前記障害物方向が含まれないと判定された場合に車両制御の実行が可能な電子制御ステップとを含む
ことを特徴とする車両制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２６２４７８（Ｐ２０１０−２６２４７８Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１２７８１（Ｐ２００９−１１２７８１）
【出願日】平成２１年５月７日（２００９．５．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年５月７日（２００９．５．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]