視線方向検出装置
【課題】検出精度の向上を図った視線方向検出装置を提供すること。
【解決手段】人物Ｄの視線方向Ｌ１を検出する視線方向検出手段を備え、注視すべき対象物１０２が検出された際に、注視すべき対象物１０２の存在する方向を視線方向基準線Ｌ０として、視線方向検出手段によって検出された視線方向Ｌ１を視線方向基準線Ｌ０に沿うように補正する。これにより、注視すべき対象物１０２の存在する方向を人物Ｄが注視している方向と想定し、検出された視線方向Ｌ１を補正するので、視線方向の検出精度を向上させることが可能となる。
【解決手段】人物Ｄの視線方向Ｌ１を検出する視線方向検出手段を備え、注視すべき対象物１０２が検出された際に、注視すべき対象物１０２の存在する方向を視線方向基準線Ｌ０として、視線方向検出手段によって検出された視線方向Ｌ１を視線方向基準線Ｌ０に沿うように補正する。これにより、注視すべき対象物１０２の存在する方向を人物Ｄが注視している方向と想定し、検出された視線方向Ｌ１を補正するので、視線方向の検出精度を向上させることが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の視線方向を検出する視線方向検出装置に関する。
【背景技術】
【０００２】
従来、ドライバの顔を撮像するカメラを備え、カメラからの映像信号に基づいて画像処理を行い、ドライバの視線方向を検出する技術が知られている（例えば、特許文献１参照）。
【特許文献１】特開２０００−３５１３３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来技術では、検出された視線方向と実際の視線方向とにズレが生じることがあり、検出精度の向上が求められている。例えば、斜視のドライバの場合、ドライバが正面を見ている場合であっても、正面を見ていないと判定される場合があった。
【０００４】
本発明は、このような課題を解決するために成されたものであり、検出精度の向上を図った視線方向検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明による視線方向検出装置は、人物の視線方向を検出する視線方向検出手段と、人物が注視すべき対象物を検出する対象物検出手段と、対象物検出手段によって注視すべき対象物が検出された際に、注視すべき対象物の存在する方向を視線方向基準線とし、視線方向基準線に沿うように視線方向を補正する補正手段とを備えることを特徴としている。
【０００６】
このような視線方向検出装置によれば、人物の視線方向を検出する視線方向検出手段を備え、注視すべき対象物が検出された際に、注視すべき対象物の存在する方向を視線方向基準線として、視線方向検出手段によって検出された視線方向を補正する。これにより、注視すべき対象物の存在する方向を人物が注視している方向と想定し、視線方向検出手段により検出された視線方向が補正されるので、視線方向の検出精度を向上させることが可能となる。なお、「人物が注視すべき対象物」とは、人物が注視している対象物、及び人物が注視していると想定される対象物を含むものである。
【０００７】
また、視線方向検出手段は、車両を操縦するドライバの視線方向を検出するものであり、対象物検出手段は、ドライバが注視すべき他車両を検出するものであることが好ましい。これにより、注視すべき他車両の存在する方向をドライバが注視している方向と想定し、視線方向検出手段により検出された視線方向が補正される。
【０００８】
また、他車両によってドライバが受けるプレッシャの大きさを示すプレッシャ度合を算出するプレッシャ度合算出手段を更に備え、対象物検出手段は、プレッシャ度合算出手段によって算出されたプレッシャ度合に基づいて、他車両が、ドライバが注視すべき対象物であるか否かを判定することが好ましい。
【０００９】
また、他車両によってドライバが受けるプレッシャの大きさを示すプレッシャ度合を算出するプレッシャ度合算出手段を更に備え、対象物検出手段は、プレッシャ度合算出手段によって算出されたプレッシャ度合に基づいて、他車両がドライバが注視すべき対象物であるか否かを判定することが好ましい。例えば、他車両である先行車との車間距離に基づいて、プレッシャ度合を算出することができる。具体的には、自車と先行車とが接近している場合には、車間距離が開いている場合に比して、ドライバが受けるプレッシャ（圧迫感）が大きいので、ドライバが先行車を見ている可能性が高いと判定することができる。そのため、プレッシャ度合が大きい場合には、先行車をドライバが注視すべき対象物と判定することができ、先行車が存在する方向を視線方向基準線として、この視線方向基準線に沿うように、視線方向を補正することで、検出精度を向上させることができる。
【００１０】
また、視線方向検出手段によって検出された視線方向と、視線方向基準線との角度が所定の判定閾値よりも大きい場合に、補正手段による補正を禁止することが好ましい。検出対象の人物がいねむりしている場合、意図的に注視すべき対象物を見ていない場合には、視線方向検出手段によって検出された視線方向と、視線方向基準線との方向が大きく異なることが想定されるため、検出された視線方向と視線方向基準線との角度が所定の判定閾値よりも大きい場合には、補正手段による補正を禁止することで、不必要な補正がなされることを防止することができる。なお、「所定の判定閾値」とは、例えば実験等により設定されるものであって、人物が対象物を見ていないと想定することができ、補正手段による補正が不要であると判定するための判定閾値を指す。
【発明の効果】
【００１１】
本発明の視線方向検出装置によれば、人物が注視すべき対象物が検出された場合に、注視すべき対象物の存在する方向に基づいて、視線方向検出手段によって検出される視線方向を補正するため、視線方向の検出精度を向上させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の第１実施形態に係る視線方向検出装置のブロック構成図、図２は、先行車を注視すべき対象物とした場合の視線方向基準線、キャリブレーション前の視線方向、及びキャリブレーション後の視線方向を示す平面図である。
【００１３】
図１に示す視線方向検出装置１０は、自車両１０１（図２参照）に搭載され、例えば運転者Ｄの視線方向を検出して脇見判定を行うものであり、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、顔画像撮像カメラ１２からの映像信号に基づいて画像処理を行って運転者Ｄの視線方向を判定する視線方向判定用電子制御ユニット（以下、「判定用ＥＣＵ」という）１４を備えている。顔画像撮像カメラ１２は、例えばコラムカバー（不図示）の上面に設置され、運転者Ｄの顔画像を取得するものである。
【００１４】
判定用ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などを備え、本発明の視線方向検出手段、対象物検出手段、及びプレッシャ度合算出手段を構成する（詳しくは後述する）。
【００１５】
判定用ＥＣＵ１４には、運転者Ｄに警告を報知する警報器１６が電気的に接続されている。判定用ＥＣＵ１４は、運転者Ｄの脇見を検出した場合に、指令信号を送信して、警報器１６によって警告することで、運転者Ｄに脇見を止めるように促すことができる。
【００１６】
また、視線方向検出装置１０は、車両前方画像撮像カメラ１８、前方画像処理ＥＣＵ２０、ミリ波レーダ２２、及び車速センサ２４を備えている。車両前方画像撮像カメラ１８は、自車両１０１（図２参照）前方を撮影するものであり、前方画像処理ＥＣＵ２０は、車両前方画像撮像カメラ１８からのデータに基づいて画像処理を行い、車両前方画像を生成する。生成された車両前方画像に関するデータは、判定用ＥＣＵ１４に出力される。視線方向検出装置１０では、自車両１０１の前方を走行する先行車１０２を撮像して、先行車１０２の画像データを判定用ＥＣＵ１４に出力することができる。送信された先行車１０２の画像データは、後述するプレッシャ値（プレッシャ度合）の算出に利用される。
【００１７】
ミリ波レーダ２２は、自車両１０１の前面に設けられ、先行車１０２の位置情報（方位及び距離に関する情報）及び相対速度を、先行車１０２に関する情報として出力する。出力された先行車１０２に関する情報は、プレッシャ値の算出に利用される。なお、自車両１０１の側方を検知する側方用ミリ波レーダを更に備える構成としてもよい。
【００１８】
車速センサ２４は、自車両１０１の車速を検出するものであり、検出された車速に関するデータは、判定用ＥＣＵ１４に送信される。送信された車速に関するデータは、プレッシャ値の算出に利用される。
【００１９】
ここで、本発明の視線方向検出装置１０の判定用ＥＣＵ１４は、検出された視線方向Ｌ１を補正するキャリブレーション機能（ゼロ点調整機能）を有している。このキャリブレーション機能は、図２に示すように、運転者Ｄが注視すべき対象物（例えば先行車１０２）が検出された際には、対象物の存在方向を運転者Ｄの視線方向Ｌ２として、補正するものである。なお、「運転者Ｄが注視すべき対象物」とは、運転者が注視していると想定される対象物を含み、例えば、自車両１０１の前方を走行する先行車１０２が挙げられる。
【００２０】
判定用ＥＣＵ１４のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、図１に示すように、視線方向検出部２６、プレッシャ値算出部２８、対象物検出部３０、視線方向基準線算出部３２、補正部３４、及び脇見判定部３６が構成される。
【００２１】
視線方向検出部２６は、顔画像撮像カメラ１２から入力された映像信号に基づいて、画像処理を行い運転者Ｄの目画像を抽出し、運転者Ｄの視線方向Ｌ１を検出する。
【００２２】
プレッシャ値算出部２８は、検出された先行車１０２のプレッシャ値を算出するものである。なお、「プレッシャ値」とは、先行車１０２によって運転者が受けるプレッシャ（圧迫感）の度合いを示すものであり、プレッシャ値が大きい場合には、運転者が受けるプレッシャは、プレッシャ値が小さいに比して大きくなる。
【００２３】
次に、プレッシャ値の算出方法について説明する。プレッシャ値として、例えば「先行車との距離に基づくプレッシャ値」、「先行車との相対速度に基づくプレッシャ値」、「先行車までのＴＴＣに基づくプレッシャ値」、「先行車の大きさに基づくプレッシャ値」、及び「自車速度に基づくプレッシャ値」が挙げられる。
【００２４】
「先行車との距離に基づくプレッシャ値」は、図２に示すように、自車両１０１と先行車１０２との車間距離Ｄａに応じて算出される。運転者Ｄは、車間距離Ｄａが短い場合には、車間距離Ｄａが長い場合に比して、プレッシャを強く感じていると想定され、先行車１０２を注視している可能性が高い。そのため、車間距離Ｄａに応じて、プレッシャ値を算出することができ、車間距離Ｄａが短い場合には、車間距離Ｄａが長い場合に比して、プレッシャ値が大きくなるように算出する。プレッシャ値算出部２８は、ミリ波レーダ２２によって計測された車間距離Ｄａに基づいて、「先行車との距離に基づくプレッシャ値」を算出することができる。
【００２５】
「先行車との相対速度に基づくプレッシャ値」は、自車両１０１と先行車１０２との相対速度に応じて算出される。運転者Ｄは、先行車１０２との相対速度が大きく自車両１０１が先行車１０２に接近している場合には、相対速度が小さく先行車１０２が自車両から離間している場合に比して、プレッシャを強く感じていると想定され、先行車１０２を注視している可能性が高い、そのため、先行車１０２との相対速度に応じて、プレッシャ値を算出することができ、相対速度が大きい場合には、相対速度が小さい場合に比して、プレッシャ値が大きくなるように算出する。プレッシャ値算出部２８は、ミリ波レーダ２２によって計測された先行車１０２との相対速度に基づいて、「先行車との相対速度に基づくプレッシャ値」を算出することができる。
【００２６】
「先行車までのＴＴＣに基づくプレッシャ値」は、自車両１０１と先行車１０２とのＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）に応じて算出される。ＴＴＣは、自車両１０１が先行車１０２と衝突するまでの時間であり、車間距離Ｄａを相対速度で割ったものである。運転者Ｄは、ＴＴＣが短い場合には、ＴＴＣが長い場合に比して、プレッシャを強く感じていると想定され、先行車１０２を注視している可能性が高い、そのため、先行車１０２とのＴＴＣに応じてプレッシャ値を算出することができ、ＴＴＣが短い場合には、ＴＴＣが長い場合に比して、プレッシャ値が大きくなるように算出する。プレッシャ値算出部２８は、ミリ波レーダ２２によって計測された先行車１０２との相対速度及び相対距離に基づいてＴＴＣを算出し、算出されたＴＴＣに基づいて、「先行車までのＴＴＣに基づくプレッシャ値」を算出することができる。
【００２７】
「先行車の大きさに基づくプレッシャ値」は、先行車１０２の投影面積に応じて算出される。ここでいう「先行車１０２の投影面積」とは、運転者から先行車１０２を見た場合の面積である。運転者Ｄは、先行車１０２の投影面積が大きい場合には、投影面積が小さい場合に比して、プレッシャを強く感じていると想定され、先行車１０２を注視している可能性が高い、そのため、先行車１０２の投影面積に応じてプレッシャ値を算出することができ、先行車１０２の投影面積が大きい場合には、小さい場合に比して、プレッシャ値が大きくなるように算出する。プレッシャ値算出部２８は、前方画像処理ＥＣＵ２０から画像データに基づいて、先行車１０２の投影面積を算出し、算出された投影面積に基づいて、「先行車の大きさに基づくプレッシャ値」を算出することができる。なお、先行車１０２の投影面積の変化率に基づいて、プレッシャ値を算出するようにしてもよい。
【００２８】
「自車速度に基づくプレッシャ値」は、自車両１０１の速度に応じて算出される。運転者Ｄは、自車速が大きい場合には、自車速が小さい場合に比して、プレッシャを強く感じていると想定され、先行車１０２を注視している可能性が高い、そのため、自車速に応じてプレッシャ値を算出することができ、自車速が大きい場合には、小さい場合に比して、プレッシャ値が大きくなるように算出する。プレッシャ値算出部２８は、車速センサ２４によって計測された自車速に基づいて、「自車速度に基づくプレッシャ値」を算出することができる。なお、プレッシャ値は、上述した複数のプレッシャ値を組み合わせて算出してもよい。
【００２９】
対象物検出部３０は、プレッシャ値算出部２８によって算出されたプレッシャ値に基づいて、検出された先行車１０２が運転者が注視すべき対象物であるか否かの判定を行う。対象物検出部３０は、例えば、プレッシャ値が所定の閾値より大きい場合には、プレッシャ値が大きいと判定する。なお、所定の閾値とは、例えば実験等によって任意に設定される値であり、プレッシャ値が大きいか否かを判定するための値である。運転者が対象物を注視しているか可能性が高い場合には、プレッシャ値が大きいと判定することができる。
【００３０】
視線方向基準線算出部３２は、注視すべき対象物が検出された際に、注視すべき対象物の存在する方向を視線方向基準線として算出する。例えば、運転者Ｄと先行車１０２の後部中央とを結ぶ線を視線方向基準線Ｌ０と設定する。補正部３４は、視線方向検出部２６によって検出された視線方向Ｌ１を、視線方向基準線算出部３２によって算出された視線方向基準線Ｌ０に沿うように補正する。すなわち、視線方向検出部２６のキャリブレーションを行う。図２では、実線で示すＬ２が補正後の視線方向となり、キャリブレーション後において、視線方向検出部２６は、視線方向Ｌ２を運転者Ｄの視線方向として出力する。
【００３１】
脇見判定部３６は、検出された運転者Ｄの視線方向に基づいて、運転者Ｄが脇見をしているか否かの脇見判定を行う。運転者Ｄが脇見運転中であると判定した場合には、警報器１６に駆動信号を送信して、運転者Ｄに対して警報を行う。
【００３２】
次に、判定用ＥＣＵ１４で実行される制御処理について、図３及び図４を参照して説明する。図３は、本発明の実施形態に係る判定用ＥＣＵで実行される「メイン制御処理」の手順を示すフローチャートである。まず、判定用ＥＣＵ１４は、顔画像撮像カメラ１２から運転者Ｄの顔画像に関する映像信号を入力する（Ｓ１）。次に、判定用ＥＣＵ１４は、入力された運転者Ｄの映像信号に基いて、運転者Ｄの眼画像を抽出し（Ｓ２）、この抽出された眼画像に基いて、運転者Ｄの視線方向Ｌ１を検出する（Ｓ３）。
【００３３】
続いて、判定用ＥＣＵ１４は、キャリブレーション時間が経過したか否かを判定する（Ｓ４）。キャリブレーション時間は、キャリブレーションの実行間隔を設定するための時間であり、キャリブレーション時間を変更することで、キャリブレーションの実行間隔を変更することができる。キャリブレーション時間が経過したと判定された場合には、ステップＳ５に進み、キャリブレーション時間が経過したと判定されなかった場合には、ステップＳ６に進む。
【００３４】
ステップＳ５では、キャリブレーション実行処理を行う。図４は、「キャリブレーション実行処理」の手順を示すフローチャートである。判定用ＥＣＵ１４は、ステップＳ５のキャリブレーション実行処理として、図４に示すステップＳ１１〜Ｓ２２の処理を実行する。
【００３５】
判定用ＥＣＵ１４は、「キャリブレーション実行処理」を開始すると、まず、キャリブレーションタイマをスタートさせる（Ｓ１１）。次に、判定用ＥＣＵ１４は、タイムアウトであるか否かを判定する（Ｓ１２）。判定用ＥＣＵ１４は、キャリブレーションタイマによる経過時間が予め設定されたタイムアウト時間を経過した場合には、タイムアウトと判定し、「キャリブレーション実行処理」を終了して、図３に示すメイン処理のステップＳ６に進む。タイムアウトと判定されなかった場合には、ステップＳ１３に進む。
【００３６】
続くステップＳ１３では、先行車１０２を検出しているか否かを判定する。判定用ＥＣＵ１４は、先行車１０２を検出していない場合には、ステップＳ１２に戻る。判定用ＥＣＵ１４は、タイムアウト時間が経過するまで、繰り返して先行車１０２を検出しているか否かを判定し、タイムアウト時間内に先行車１０２を検出することができなかった場合には、「キャリブレーション実行処理」を終了する。先行車１０２が検出されている場合には、ステップＳ１４に進む。
【００３７】
ステップＳ１４では、判定用ＥＣＵ１４は、プレッシャ値Ｐを算出する。次に、判定用ＥＣＵ１４は、プレッシャ値Ｐが大きいか否かを判定する（Ｓ１５）。例えば、プレッシャ値Ｐがプレッシャ判定閾値Ｐｔｈより大きい場合には、プレッシャ値Ｐが大きいと判定し、検出された先行車１０２が、「運転者Ｄが注視すべき対象物である」と判定する。プレッシャ値Ｐが大きいと判定された場合には、ステップＳ１６に進み、プレッシャ値Ｐが大きいと判定されなかった場合には、ステップＳ１７に進む。なお、プレッシャ値が大きいと判定されなかった場合には、ステップＳ１２に戻り、ステップＳ１２〜Ｓ１５の処理を繰り返すようにしてもよい。
【００３８】
ステップＳ１６では、判定用ＥＣＵ１４は、リセット閾値Ｔｔｈを変更する。「リセット閾値Ｔｔｈ」は、後述するステップ１８における判定に用いられる判定閾値である。ここでは、プレッシャ値Ｐが大きいと判定された場合には、リセット閾値Ｔｔｈを小さな値とすることで、キャリブレーションを実行し易くする。また、リセット閾値Ｔｔｈをプレッシャ値Ｐの大きさ比例するように変更してもよい。
【００３９】
次に、判定用ＥＣＵ１４は、プレッシャ継続時間Ｔ１を積算する（Ｓ１７）。ここでは、プレッシャ値Ｐがプレッシャ判定閾値Ｐｔｈを超えている時間を、プレッシャ継続時間Ｔ１として算出する。すなわち、ステップＳ１５において、プレッシャ値Ｐが大きいと判定されてからの継続時間を算出する。
【００４０】
続いて判定用ＥＣＵ１４は、プレッシャ継続時間Ｔ１がリセット閾値Ｔｔｈより大きいか否かの判定を行う（Ｓ１８）。プレッシャ継続時間Ｔ１がリセット閾値Ｔｔｈより大きいと判定された場合には、ステップＳ１９に進む。プレッシャ継続時間Ｔ１がリセット閾値Ｔｔｈより大きいと判定されなかった場合には、ステップＳ１２に戻り、ステップＳ１２〜Ｓ１８の処理を繰り返す。
【００４１】
ステップＳ１９では、判定用ＥＣＵ１４は、注視すべき対象物（先行車１０２）の存在する方向を視線方向基準線Ｌ０として算出する。次に、判定用ＥＣＵ１４は、ステップＳ３で検出された視線方向Ｌ１とステップＳ１９で算出された視線方向基準線Ｌ０との角度θを算出し、算出された角度θが角度判定閾値θｔｈより大きいか否かを判定する（Ｓ２０）。角度θが角度判定閾値θｔｈより大きいと判定された場合には、処理を終了して、メイン処理に復帰する。一方、角度θが角度判定閾値θｔｈより大きいと判定されなかった場合には、ステップＳ２１に進み、キャリブレーションを実行する。すなわち、顔画像撮像カメラ１２によって検出された運転者Ｄの視線方向Ｌ１と、視線方向基準線Ｌ０との開きが大きい場合には、運転者Ｄが先行車１０２を注視していない可能性が高いため、キャリブレーションを実行しないようにしている。なお、「角度判定閾値角度θｔｈ」は、実験等によって任意に設定される値であり、運転者Ｄが対象物を注視していないと判定するための閾値である。
【００４２】
ステップＳ２１では、判定用ＥＣＵ１４は、検出された視線方向Ｌ１を視線方向基準線Ｌ０に沿うように補正して、キャリブレーションを実行する。続いて、判定用ＥＣＵ１４は、キャリブレーション周期を変更（Ｓ２２）してメイン処理に復帰する。ステップＳ２２でキャリブレーション周期を変更することで、メイン処理におけるステップＳ４の判定閾値が変更されて、キャリブレーション実行処理を行う間隔を修正することができる。例えば、プレッシャ継続時間が長い場合（プレッシャ値の積算値が大きい場合）に、キャリブレーション間隔を短くすることで、視線方向の検出精度を向上させるようにしてもよい。
【００４３】
続いて、判定用ＥＣＵ１４は、「キャリブレーション実行処理」を終了すると、脇見判定を実行する（Ｓ６）。判定用ＥＣＵ１４は、運転者Ｄの視線方向に基いて、脇見をしているか否かの判定を行い、脇見をしていると判定した場合には、運転者Ｄに脇見をしないように警告する。
【００４４】
このような本実施形態の視線方向検出装置１０によれば、注視すべき対象物として先行車１０２が検出された場合には、先行車１０２の存在する方向を視線方向基準線Ｌ０として、検出された視線方向Ｌ１を視線方向基準線Ｌ０に沿うようにキャリブレーションを行っている。キャリブレーション後の視線方向Ｌ２のようになる。このように、注視すべき対象物が検出された場合に、運転者が対象物を注視していると想定して、キャリブレーションが実行されるので、視線方向の検出精度を向上させることができる。
【００４５】
また、先行車１０２によって運転者が受けるプレッシャの大きさの示すプレッシャ値に基いて、検出された先行車１０２が注視すべき対象物であるか否かの判定を行うことができる。これは、運転者Ｄが受けるプレッシャが大きい場合には、運転者Ｄは、対象物を注視している可能性が極めて高いため、プレッシャ値に基いて、注視すべき対象物であるか否かを判定することで、精度良くキャリブレーションを実行することができる。
【００４６】
また、補正前の視線方向Ｌ１と、視線方向基準線Ｌ０との角度θが判定閾値よりも大きい場合には、キャリブレーションの実行を中止しているので、運転者Ｄが居眠りしている場合、意図的に先行車１０２を注視していない場合には、キャリブレーションが実行されないので、不要なキャリブレーションの実行を防止することができる。
【００４７】
以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。
【００４８】
上記実施形態において、注視すべき対象物を先行車１０２としているが、注視すべき対象物は、先行車１０２に限定されない。例えば、注視すべき対象物を、対向車としてもよい。図５は、対向車を注視すべき対象物とした場合の視線方向基準線、キャリブレーション前の視線方向、及びキャリブレーション後の視線方向を示す平面図である。
【００４９】
例えば、ミリ波レーダ２２によって検出された対向車１０３の移動と、視線方向検出部２６によって検出された運転者の視線方向Ｌ３，Ｌ４の変化とが同期している場合には、対向車１０３を注視すべき対象物と判定してもよい。この場合、対向車１０３の存在する方向を視線方向基準線Ｌ５，Ｌ６として、検出された視線方向Ｌ３，Ｌ４を、視線方向基準線Ｌ５，Ｌ６に沿うようにキャリブレーションを行う。なお、対向車１０３に対して、プレッシャ値Ｐを算出し、算出されたプレッシャ値Ｐに基づいて、対向車が注視すべき対象物であるか否かを判定してもよい。
【００５０】
また、注視すべき対象物は、上記先行車、対向車に限定されない。例えば、歩行者、道路標識、信号、ナビ画面、計器の表示部等を注視すべき対象物としてもよい。また、音声によって、運転者に注視すべき対象物を注視するように促して、キャリブレーションを実行するようにしてもよい。
【００５１】
また、上記実施形態において、車両１０１に搭載され運転者Ｄの視線方向を検出する視線方向検出装置としているが、例えば、鉄道、飛行機等に搭載され、操縦者の視線方向を検出する視線方向検出装置としてもよく、プラント等の計器室に設置され、オペレータの視線方向を検出する視線方向検出装置としてもよい。要は、人物の視線方向検出するものであればよい。
【００５２】
また、上記実施形態では、検出された視線方向と、視線方向基準線との角度θが所定の判定閾値以上である場合に、キャリブレーションの実行を禁止する構成としているが、角度θが所定の判定閾値以上である場合に、キャリブレーションの実行を禁止しなくてもよい。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態に係る視線方向検出装置を示すブロック構成図である。
【図２】先行車を注視すべき対象物とした場合の視線方向基準線、キャリブレーション前の視線方向、及びキャリブレーション後の視線方向を示す平面図である。
【図３】本発明の実施形態に係る判定用ＥＣＵで実行される「メイン制御処理」の手順を示すフローチャートである。
【図４】本発明の実施形態に係る判定用ＥＣＵで実行される「キャリブレーション処理」の手順を示すフローチャートである。
【図５】対向車を注視すべき対象物とした場合の視線方向基準線、キャリブレーション前の視線方向、及びキャリブレーション後の視線方向を示す平面図である。
【符号の説明】
【００５４】
１０…視線方向検出装置、１２…顔画像撮像カメラ、１４…判定用ＥＣＵ（視線方向検出手段、対象物検出手段、プレッシャ度合算出手段）、１６…警報器、１８…車両前方画像撮像カメラ、２０…前方画像処理ＥＣＵ、２２…ミリ波レーダ、２４…車速センサ、２６…視線方向検出部、２８…プレッシャ値算出部、３０…対象物検出部、３２…視線方向基準線算出部、３４…補正部、３６…脇見判定部、１０１…自車両、１０２…先行車（注視すべき対象物）、１０３…対向車（注視すべき対象物）、Ｄ…運転者（人物）、Ｄａ…先行車と自車両との車間距離、Ｌ０，Ｌ５，Ｌ６…視線方向基準線、Ｌ１，Ｌ３，Ｌ４…検出された視線方向。
【技術分野】
【０００１】
本発明は、人物の視線方向を検出する視線方向検出装置に関する。
【背景技術】
【０００２】
従来、ドライバの顔を撮像するカメラを備え、カメラからの映像信号に基づいて画像処理を行い、ドライバの視線方向を検出する技術が知られている（例えば、特許文献１参照）。
【特許文献１】特開２０００−３５１３３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来技術では、検出された視線方向と実際の視線方向とにズレが生じることがあり、検出精度の向上が求められている。例えば、斜視のドライバの場合、ドライバが正面を見ている場合であっても、正面を見ていないと判定される場合があった。
【０００４】
本発明は、このような課題を解決するために成されたものであり、検出精度の向上を図った視線方向検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明による視線方向検出装置は、人物の視線方向を検出する視線方向検出手段と、人物が注視すべき対象物を検出する対象物検出手段と、対象物検出手段によって注視すべき対象物が検出された際に、注視すべき対象物の存在する方向を視線方向基準線とし、視線方向基準線に沿うように視線方向を補正する補正手段とを備えることを特徴としている。
【０００６】
このような視線方向検出装置によれば、人物の視線方向を検出する視線方向検出手段を備え、注視すべき対象物が検出された際に、注視すべき対象物の存在する方向を視線方向基準線として、視線方向検出手段によって検出された視線方向を補正する。これにより、注視すべき対象物の存在する方向を人物が注視している方向と想定し、視線方向検出手段により検出された視線方向が補正されるので、視線方向の検出精度を向上させることが可能となる。なお、「人物が注視すべき対象物」とは、人物が注視している対象物、及び人物が注視していると想定される対象物を含むものである。
【０００７】
また、視線方向検出手段は、車両を操縦するドライバの視線方向を検出するものであり、対象物検出手段は、ドライバが注視すべき他車両を検出するものであることが好ましい。これにより、注視すべき他車両の存在する方向をドライバが注視している方向と想定し、視線方向検出手段により検出された視線方向が補正される。
【０００８】
また、他車両によってドライバが受けるプレッシャの大きさを示すプレッシャ度合を算出するプレッシャ度合算出手段を更に備え、対象物検出手段は、プレッシャ度合算出手段によって算出されたプレッシャ度合に基づいて、他車両が、ドライバが注視すべき対象物であるか否かを判定することが好ましい。
【０００９】
また、他車両によってドライバが受けるプレッシャの大きさを示すプレッシャ度合を算出するプレッシャ度合算出手段を更に備え、対象物検出手段は、プレッシャ度合算出手段によって算出されたプレッシャ度合に基づいて、他車両がドライバが注視すべき対象物であるか否かを判定することが好ましい。例えば、他車両である先行車との車間距離に基づいて、プレッシャ度合を算出することができる。具体的には、自車と先行車とが接近している場合には、車間距離が開いている場合に比して、ドライバが受けるプレッシャ（圧迫感）が大きいので、ドライバが先行車を見ている可能性が高いと判定することができる。そのため、プレッシャ度合が大きい場合には、先行車をドライバが注視すべき対象物と判定することができ、先行車が存在する方向を視線方向基準線として、この視線方向基準線に沿うように、視線方向を補正することで、検出精度を向上させることができる。
【００１０】
また、視線方向検出手段によって検出された視線方向と、視線方向基準線との角度が所定の判定閾値よりも大きい場合に、補正手段による補正を禁止することが好ましい。検出対象の人物がいねむりしている場合、意図的に注視すべき対象物を見ていない場合には、視線方向検出手段によって検出された視線方向と、視線方向基準線との方向が大きく異なることが想定されるため、検出された視線方向と視線方向基準線との角度が所定の判定閾値よりも大きい場合には、補正手段による補正を禁止することで、不必要な補正がなされることを防止することができる。なお、「所定の判定閾値」とは、例えば実験等により設定されるものであって、人物が対象物を見ていないと想定することができ、補正手段による補正が不要であると判定するための判定閾値を指す。
【発明の効果】
【００１１】
本発明の視線方向検出装置によれば、人物が注視すべき対象物が検出された場合に、注視すべき対象物の存在する方向に基づいて、視線方向検出手段によって検出される視線方向を補正するため、視線方向の検出精度を向上させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の第１実施形態に係る視線方向検出装置のブロック構成図、図２は、先行車を注視すべき対象物とした場合の視線方向基準線、キャリブレーション前の視線方向、及びキャリブレーション後の視線方向を示す平面図である。
【００１３】
図１に示す視線方向検出装置１０は、自車両１０１（図２参照）に搭載され、例えば運転者Ｄの視線方向を検出して脇見判定を行うものであり、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、顔画像撮像カメラ１２からの映像信号に基づいて画像処理を行って運転者Ｄの視線方向を判定する視線方向判定用電子制御ユニット（以下、「判定用ＥＣＵ」という）１４を備えている。顔画像撮像カメラ１２は、例えばコラムカバー（不図示）の上面に設置され、運転者Ｄの顔画像を取得するものである。
【００１４】
判定用ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などを備え、本発明の視線方向検出手段、対象物検出手段、及びプレッシャ度合算出手段を構成する（詳しくは後述する）。
【００１５】
判定用ＥＣＵ１４には、運転者Ｄに警告を報知する警報器１６が電気的に接続されている。判定用ＥＣＵ１４は、運転者Ｄの脇見を検出した場合に、指令信号を送信して、警報器１６によって警告することで、運転者Ｄに脇見を止めるように促すことができる。
【００１６】
また、視線方向検出装置１０は、車両前方画像撮像カメラ１８、前方画像処理ＥＣＵ２０、ミリ波レーダ２２、及び車速センサ２４を備えている。車両前方画像撮像カメラ１８は、自車両１０１（図２参照）前方を撮影するものであり、前方画像処理ＥＣＵ２０は、車両前方画像撮像カメラ１８からのデータに基づいて画像処理を行い、車両前方画像を生成する。生成された車両前方画像に関するデータは、判定用ＥＣＵ１４に出力される。視線方向検出装置１０では、自車両１０１の前方を走行する先行車１０２を撮像して、先行車１０２の画像データを判定用ＥＣＵ１４に出力することができる。送信された先行車１０２の画像データは、後述するプレッシャ値（プレッシャ度合）の算出に利用される。
【００１７】
ミリ波レーダ２２は、自車両１０１の前面に設けられ、先行車１０２の位置情報（方位及び距離に関する情報）及び相対速度を、先行車１０２に関する情報として出力する。出力された先行車１０２に関する情報は、プレッシャ値の算出に利用される。なお、自車両１０１の側方を検知する側方用ミリ波レーダを更に備える構成としてもよい。
【００１８】
車速センサ２４は、自車両１０１の車速を検出するものであり、検出された車速に関するデータは、判定用ＥＣＵ１４に送信される。送信された車速に関するデータは、プレッシャ値の算出に利用される。
【００１９】
ここで、本発明の視線方向検出装置１０の判定用ＥＣＵ１４は、検出された視線方向Ｌ１を補正するキャリブレーション機能（ゼロ点調整機能）を有している。このキャリブレーション機能は、図２に示すように、運転者Ｄが注視すべき対象物（例えば先行車１０２）が検出された際には、対象物の存在方向を運転者Ｄの視線方向Ｌ２として、補正するものである。なお、「運転者Ｄが注視すべき対象物」とは、運転者が注視していると想定される対象物を含み、例えば、自車両１０１の前方を走行する先行車１０２が挙げられる。
【００２０】
判定用ＥＣＵ１４のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、図１に示すように、視線方向検出部２６、プレッシャ値算出部２８、対象物検出部３０、視線方向基準線算出部３２、補正部３４、及び脇見判定部３６が構成される。
【００２１】
視線方向検出部２６は、顔画像撮像カメラ１２から入力された映像信号に基づいて、画像処理を行い運転者Ｄの目画像を抽出し、運転者Ｄの視線方向Ｌ１を検出する。
【００２２】
プレッシャ値算出部２８は、検出された先行車１０２のプレッシャ値を算出するものである。なお、「プレッシャ値」とは、先行車１０２によって運転者が受けるプレッシャ（圧迫感）の度合いを示すものであり、プレッシャ値が大きい場合には、運転者が受けるプレッシャは、プレッシャ値が小さいに比して大きくなる。
【００２３】
次に、プレッシャ値の算出方法について説明する。プレッシャ値として、例えば「先行車との距離に基づくプレッシャ値」、「先行車との相対速度に基づくプレッシャ値」、「先行車までのＴＴＣに基づくプレッシャ値」、「先行車の大きさに基づくプレッシャ値」、及び「自車速度に基づくプレッシャ値」が挙げられる。
【００２４】
「先行車との距離に基づくプレッシャ値」は、図２に示すように、自車両１０１と先行車１０２との車間距離Ｄａに応じて算出される。運転者Ｄは、車間距離Ｄａが短い場合には、車間距離Ｄａが長い場合に比して、プレッシャを強く感じていると想定され、先行車１０２を注視している可能性が高い。そのため、車間距離Ｄａに応じて、プレッシャ値を算出することができ、車間距離Ｄａが短い場合には、車間距離Ｄａが長い場合に比して、プレッシャ値が大きくなるように算出する。プレッシャ値算出部２８は、ミリ波レーダ２２によって計測された車間距離Ｄａに基づいて、「先行車との距離に基づくプレッシャ値」を算出することができる。
【００２５】
「先行車との相対速度に基づくプレッシャ値」は、自車両１０１と先行車１０２との相対速度に応じて算出される。運転者Ｄは、先行車１０２との相対速度が大きく自車両１０１が先行車１０２に接近している場合には、相対速度が小さく先行車１０２が自車両から離間している場合に比して、プレッシャを強く感じていると想定され、先行車１０２を注視している可能性が高い、そのため、先行車１０２との相対速度に応じて、プレッシャ値を算出することができ、相対速度が大きい場合には、相対速度が小さい場合に比して、プレッシャ値が大きくなるように算出する。プレッシャ値算出部２８は、ミリ波レーダ２２によって計測された先行車１０２との相対速度に基づいて、「先行車との相対速度に基づくプレッシャ値」を算出することができる。
【００２６】
「先行車までのＴＴＣに基づくプレッシャ値」は、自車両１０１と先行車１０２とのＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）に応じて算出される。ＴＴＣは、自車両１０１が先行車１０２と衝突するまでの時間であり、車間距離Ｄａを相対速度で割ったものである。運転者Ｄは、ＴＴＣが短い場合には、ＴＴＣが長い場合に比して、プレッシャを強く感じていると想定され、先行車１０２を注視している可能性が高い、そのため、先行車１０２とのＴＴＣに応じてプレッシャ値を算出することができ、ＴＴＣが短い場合には、ＴＴＣが長い場合に比して、プレッシャ値が大きくなるように算出する。プレッシャ値算出部２８は、ミリ波レーダ２２によって計測された先行車１０２との相対速度及び相対距離に基づいてＴＴＣを算出し、算出されたＴＴＣに基づいて、「先行車までのＴＴＣに基づくプレッシャ値」を算出することができる。
【００２７】
「先行車の大きさに基づくプレッシャ値」は、先行車１０２の投影面積に応じて算出される。ここでいう「先行車１０２の投影面積」とは、運転者から先行車１０２を見た場合の面積である。運転者Ｄは、先行車１０２の投影面積が大きい場合には、投影面積が小さい場合に比して、プレッシャを強く感じていると想定され、先行車１０２を注視している可能性が高い、そのため、先行車１０２の投影面積に応じてプレッシャ値を算出することができ、先行車１０２の投影面積が大きい場合には、小さい場合に比して、プレッシャ値が大きくなるように算出する。プレッシャ値算出部２８は、前方画像処理ＥＣＵ２０から画像データに基づいて、先行車１０２の投影面積を算出し、算出された投影面積に基づいて、「先行車の大きさに基づくプレッシャ値」を算出することができる。なお、先行車１０２の投影面積の変化率に基づいて、プレッシャ値を算出するようにしてもよい。
【００２８】
「自車速度に基づくプレッシャ値」は、自車両１０１の速度に応じて算出される。運転者Ｄは、自車速が大きい場合には、自車速が小さい場合に比して、プレッシャを強く感じていると想定され、先行車１０２を注視している可能性が高い、そのため、自車速に応じてプレッシャ値を算出することができ、自車速が大きい場合には、小さい場合に比して、プレッシャ値が大きくなるように算出する。プレッシャ値算出部２８は、車速センサ２４によって計測された自車速に基づいて、「自車速度に基づくプレッシャ値」を算出することができる。なお、プレッシャ値は、上述した複数のプレッシャ値を組み合わせて算出してもよい。
【００２９】
対象物検出部３０は、プレッシャ値算出部２８によって算出されたプレッシャ値に基づいて、検出された先行車１０２が運転者が注視すべき対象物であるか否かの判定を行う。対象物検出部３０は、例えば、プレッシャ値が所定の閾値より大きい場合には、プレッシャ値が大きいと判定する。なお、所定の閾値とは、例えば実験等によって任意に設定される値であり、プレッシャ値が大きいか否かを判定するための値である。運転者が対象物を注視しているか可能性が高い場合には、プレッシャ値が大きいと判定することができる。
【００３０】
視線方向基準線算出部３２は、注視すべき対象物が検出された際に、注視すべき対象物の存在する方向を視線方向基準線として算出する。例えば、運転者Ｄと先行車１０２の後部中央とを結ぶ線を視線方向基準線Ｌ０と設定する。補正部３４は、視線方向検出部２６によって検出された視線方向Ｌ１を、視線方向基準線算出部３２によって算出された視線方向基準線Ｌ０に沿うように補正する。すなわち、視線方向検出部２６のキャリブレーションを行う。図２では、実線で示すＬ２が補正後の視線方向となり、キャリブレーション後において、視線方向検出部２６は、視線方向Ｌ２を運転者Ｄの視線方向として出力する。
【００３１】
脇見判定部３６は、検出された運転者Ｄの視線方向に基づいて、運転者Ｄが脇見をしているか否かの脇見判定を行う。運転者Ｄが脇見運転中であると判定した場合には、警報器１６に駆動信号を送信して、運転者Ｄに対して警報を行う。
【００３２】
次に、判定用ＥＣＵ１４で実行される制御処理について、図３及び図４を参照して説明する。図３は、本発明の実施形態に係る判定用ＥＣＵで実行される「メイン制御処理」の手順を示すフローチャートである。まず、判定用ＥＣＵ１４は、顔画像撮像カメラ１２から運転者Ｄの顔画像に関する映像信号を入力する（Ｓ１）。次に、判定用ＥＣＵ１４は、入力された運転者Ｄの映像信号に基いて、運転者Ｄの眼画像を抽出し（Ｓ２）、この抽出された眼画像に基いて、運転者Ｄの視線方向Ｌ１を検出する（Ｓ３）。
【００３３】
続いて、判定用ＥＣＵ１４は、キャリブレーション時間が経過したか否かを判定する（Ｓ４）。キャリブレーション時間は、キャリブレーションの実行間隔を設定するための時間であり、キャリブレーション時間を変更することで、キャリブレーションの実行間隔を変更することができる。キャリブレーション時間が経過したと判定された場合には、ステップＳ５に進み、キャリブレーション時間が経過したと判定されなかった場合には、ステップＳ６に進む。
【００３４】
ステップＳ５では、キャリブレーション実行処理を行う。図４は、「キャリブレーション実行処理」の手順を示すフローチャートである。判定用ＥＣＵ１４は、ステップＳ５のキャリブレーション実行処理として、図４に示すステップＳ１１〜Ｓ２２の処理を実行する。
【００３５】
判定用ＥＣＵ１４は、「キャリブレーション実行処理」を開始すると、まず、キャリブレーションタイマをスタートさせる（Ｓ１１）。次に、判定用ＥＣＵ１４は、タイムアウトであるか否かを判定する（Ｓ１２）。判定用ＥＣＵ１４は、キャリブレーションタイマによる経過時間が予め設定されたタイムアウト時間を経過した場合には、タイムアウトと判定し、「キャリブレーション実行処理」を終了して、図３に示すメイン処理のステップＳ６に進む。タイムアウトと判定されなかった場合には、ステップＳ１３に進む。
【００３６】
続くステップＳ１３では、先行車１０２を検出しているか否かを判定する。判定用ＥＣＵ１４は、先行車１０２を検出していない場合には、ステップＳ１２に戻る。判定用ＥＣＵ１４は、タイムアウト時間が経過するまで、繰り返して先行車１０２を検出しているか否かを判定し、タイムアウト時間内に先行車１０２を検出することができなかった場合には、「キャリブレーション実行処理」を終了する。先行車１０２が検出されている場合には、ステップＳ１４に進む。
【００３７】
ステップＳ１４では、判定用ＥＣＵ１４は、プレッシャ値Ｐを算出する。次に、判定用ＥＣＵ１４は、プレッシャ値Ｐが大きいか否かを判定する（Ｓ１５）。例えば、プレッシャ値Ｐがプレッシャ判定閾値Ｐｔｈより大きい場合には、プレッシャ値Ｐが大きいと判定し、検出された先行車１０２が、「運転者Ｄが注視すべき対象物である」と判定する。プレッシャ値Ｐが大きいと判定された場合には、ステップＳ１６に進み、プレッシャ値Ｐが大きいと判定されなかった場合には、ステップＳ１７に進む。なお、プレッシャ値が大きいと判定されなかった場合には、ステップＳ１２に戻り、ステップＳ１２〜Ｓ１５の処理を繰り返すようにしてもよい。
【００３８】
ステップＳ１６では、判定用ＥＣＵ１４は、リセット閾値Ｔｔｈを変更する。「リセット閾値Ｔｔｈ」は、後述するステップ１８における判定に用いられる判定閾値である。ここでは、プレッシャ値Ｐが大きいと判定された場合には、リセット閾値Ｔｔｈを小さな値とすることで、キャリブレーションを実行し易くする。また、リセット閾値Ｔｔｈをプレッシャ値Ｐの大きさ比例するように変更してもよい。
【００３９】
次に、判定用ＥＣＵ１４は、プレッシャ継続時間Ｔ１を積算する（Ｓ１７）。ここでは、プレッシャ値Ｐがプレッシャ判定閾値Ｐｔｈを超えている時間を、プレッシャ継続時間Ｔ１として算出する。すなわち、ステップＳ１５において、プレッシャ値Ｐが大きいと判定されてからの継続時間を算出する。
【００４０】
続いて判定用ＥＣＵ１４は、プレッシャ継続時間Ｔ１がリセット閾値Ｔｔｈより大きいか否かの判定を行う（Ｓ１８）。プレッシャ継続時間Ｔ１がリセット閾値Ｔｔｈより大きいと判定された場合には、ステップＳ１９に進む。プレッシャ継続時間Ｔ１がリセット閾値Ｔｔｈより大きいと判定されなかった場合には、ステップＳ１２に戻り、ステップＳ１２〜Ｓ１８の処理を繰り返す。
【００４１】
ステップＳ１９では、判定用ＥＣＵ１４は、注視すべき対象物（先行車１０２）の存在する方向を視線方向基準線Ｌ０として算出する。次に、判定用ＥＣＵ１４は、ステップＳ３で検出された視線方向Ｌ１とステップＳ１９で算出された視線方向基準線Ｌ０との角度θを算出し、算出された角度θが角度判定閾値θｔｈより大きいか否かを判定する（Ｓ２０）。角度θが角度判定閾値θｔｈより大きいと判定された場合には、処理を終了して、メイン処理に復帰する。一方、角度θが角度判定閾値θｔｈより大きいと判定されなかった場合には、ステップＳ２１に進み、キャリブレーションを実行する。すなわち、顔画像撮像カメラ１２によって検出された運転者Ｄの視線方向Ｌ１と、視線方向基準線Ｌ０との開きが大きい場合には、運転者Ｄが先行車１０２を注視していない可能性が高いため、キャリブレーションを実行しないようにしている。なお、「角度判定閾値角度θｔｈ」は、実験等によって任意に設定される値であり、運転者Ｄが対象物を注視していないと判定するための閾値である。
【００４２】
ステップＳ２１では、判定用ＥＣＵ１４は、検出された視線方向Ｌ１を視線方向基準線Ｌ０に沿うように補正して、キャリブレーションを実行する。続いて、判定用ＥＣＵ１４は、キャリブレーション周期を変更（Ｓ２２）してメイン処理に復帰する。ステップＳ２２でキャリブレーション周期を変更することで、メイン処理におけるステップＳ４の判定閾値が変更されて、キャリブレーション実行処理を行う間隔を修正することができる。例えば、プレッシャ継続時間が長い場合（プレッシャ値の積算値が大きい場合）に、キャリブレーション間隔を短くすることで、視線方向の検出精度を向上させるようにしてもよい。
【００４３】
続いて、判定用ＥＣＵ１４は、「キャリブレーション実行処理」を終了すると、脇見判定を実行する（Ｓ６）。判定用ＥＣＵ１４は、運転者Ｄの視線方向に基いて、脇見をしているか否かの判定を行い、脇見をしていると判定した場合には、運転者Ｄに脇見をしないように警告する。
【００４４】
このような本実施形態の視線方向検出装置１０によれば、注視すべき対象物として先行車１０２が検出された場合には、先行車１０２の存在する方向を視線方向基準線Ｌ０として、検出された視線方向Ｌ１を視線方向基準線Ｌ０に沿うようにキャリブレーションを行っている。キャリブレーション後の視線方向Ｌ２のようになる。このように、注視すべき対象物が検出された場合に、運転者が対象物を注視していると想定して、キャリブレーションが実行されるので、視線方向の検出精度を向上させることができる。
【００４５】
また、先行車１０２によって運転者が受けるプレッシャの大きさの示すプレッシャ値に基いて、検出された先行車１０２が注視すべき対象物であるか否かの判定を行うことができる。これは、運転者Ｄが受けるプレッシャが大きい場合には、運転者Ｄは、対象物を注視している可能性が極めて高いため、プレッシャ値に基いて、注視すべき対象物であるか否かを判定することで、精度良くキャリブレーションを実行することができる。
【００４６】
また、補正前の視線方向Ｌ１と、視線方向基準線Ｌ０との角度θが判定閾値よりも大きい場合には、キャリブレーションの実行を中止しているので、運転者Ｄが居眠りしている場合、意図的に先行車１０２を注視していない場合には、キャリブレーションが実行されないので、不要なキャリブレーションの実行を防止することができる。
【００４７】
以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。
【００４８】
上記実施形態において、注視すべき対象物を先行車１０２としているが、注視すべき対象物は、先行車１０２に限定されない。例えば、注視すべき対象物を、対向車としてもよい。図５は、対向車を注視すべき対象物とした場合の視線方向基準線、キャリブレーション前の視線方向、及びキャリブレーション後の視線方向を示す平面図である。
【００４９】
例えば、ミリ波レーダ２２によって検出された対向車１０３の移動と、視線方向検出部２６によって検出された運転者の視線方向Ｌ３，Ｌ４の変化とが同期している場合には、対向車１０３を注視すべき対象物と判定してもよい。この場合、対向車１０３の存在する方向を視線方向基準線Ｌ５，Ｌ６として、検出された視線方向Ｌ３，Ｌ４を、視線方向基準線Ｌ５，Ｌ６に沿うようにキャリブレーションを行う。なお、対向車１０３に対して、プレッシャ値Ｐを算出し、算出されたプレッシャ値Ｐに基づいて、対向車が注視すべき対象物であるか否かを判定してもよい。
【００５０】
また、注視すべき対象物は、上記先行車、対向車に限定されない。例えば、歩行者、道路標識、信号、ナビ画面、計器の表示部等を注視すべき対象物としてもよい。また、音声によって、運転者に注視すべき対象物を注視するように促して、キャリブレーションを実行するようにしてもよい。
【００５１】
また、上記実施形態において、車両１０１に搭載され運転者Ｄの視線方向を検出する視線方向検出装置としているが、例えば、鉄道、飛行機等に搭載され、操縦者の視線方向を検出する視線方向検出装置としてもよく、プラント等の計器室に設置され、オペレータの視線方向を検出する視線方向検出装置としてもよい。要は、人物の視線方向検出するものであればよい。
【００５２】
また、上記実施形態では、検出された視線方向と、視線方向基準線との角度θが所定の判定閾値以上である場合に、キャリブレーションの実行を禁止する構成としているが、角度θが所定の判定閾値以上である場合に、キャリブレーションの実行を禁止しなくてもよい。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態に係る視線方向検出装置を示すブロック構成図である。
【図２】先行車を注視すべき対象物とした場合の視線方向基準線、キャリブレーション前の視線方向、及びキャリブレーション後の視線方向を示す平面図である。
【図３】本発明の実施形態に係る判定用ＥＣＵで実行される「メイン制御処理」の手順を示すフローチャートである。
【図４】本発明の実施形態に係る判定用ＥＣＵで実行される「キャリブレーション処理」の手順を示すフローチャートである。
【図５】対向車を注視すべき対象物とした場合の視線方向基準線、キャリブレーション前の視線方向、及びキャリブレーション後の視線方向を示す平面図である。
【符号の説明】
【００５４】
１０…視線方向検出装置、１２…顔画像撮像カメラ、１４…判定用ＥＣＵ（視線方向検出手段、対象物検出手段、プレッシャ度合算出手段）、１６…警報器、１８…車両前方画像撮像カメラ、２０…前方画像処理ＥＣＵ、２２…ミリ波レーダ、２４…車速センサ、２６…視線方向検出部、２８…プレッシャ値算出部、３０…対象物検出部、３２…視線方向基準線算出部、３４…補正部、３６…脇見判定部、１０１…自車両、１０２…先行車（注視すべき対象物）、１０３…対向車（注視すべき対象物）、Ｄ…運転者（人物）、Ｄａ…先行車と自車両との車間距離、Ｌ０，Ｌ５，Ｌ６…視線方向基準線、Ｌ１，Ｌ３，Ｌ４…検出された視線方向。
【特許請求の範囲】
【請求項１】
人物の視線方向を検出する視線方向検出手段と、
前記人物が注視すべき対象物を検出する対象物検出手段と、
前記対象物検出手段によって前記注視すべき対象物が検出された際に、前記注視すべき対象物の存在する方向を視線方向基準線とし、前記視線方向基準線に沿うように前記視線方向を補正する補正手段とを備えることを特徴とする視線方向検出装置。
【請求項２】
前記視線方向検出手段は、車両を操縦するドライバの視線方向を検出するものであり、
前記対象物検出手段は、前記ドライバが注視すべき他車両を検出するものであることを特徴とする請求項１記載の視線方向検出装置。
【請求項３】
他車両によって前記ドライバが受けるプレッシャの大きさを示すプレッシャ度合を算出するプレッシャ度合算出手段を更に備え、
前記対象物検出手段は、
前記プレッシャ度合算出手段によって算出された前記プレッシャ度合に基づいて、前記他車両がドライバが注視すべき対象物であるか否かを判定することを特徴とする請求項２記載の視線方向検出装置。
【請求項４】
前記視線方向検出手段によって検出された前記視線方向と前記視線方向基準線との角度が所定の判定閾値よりも大きい場合に、前記補正手段による補正を禁止することを特徴とする請求項１〜３の何れか１項に記載の視線方向検出装置。
【請求項１】
人物の視線方向を検出する視線方向検出手段と、
前記人物が注視すべき対象物を検出する対象物検出手段と、
前記対象物検出手段によって前記注視すべき対象物が検出された際に、前記注視すべき対象物の存在する方向を視線方向基準線とし、前記視線方向基準線に沿うように前記視線方向を補正する補正手段とを備えることを特徴とする視線方向検出装置。
【請求項２】
前記視線方向検出手段は、車両を操縦するドライバの視線方向を検出するものであり、
前記対象物検出手段は、前記ドライバが注視すべき他車両を検出するものであることを特徴とする請求項１記載の視線方向検出装置。
【請求項３】
他車両によって前記ドライバが受けるプレッシャの大きさを示すプレッシャ度合を算出するプレッシャ度合算出手段を更に備え、
前記対象物検出手段は、
前記プレッシャ度合算出手段によって算出された前記プレッシャ度合に基づいて、前記他車両がドライバが注視すべき対象物であるか否かを判定することを特徴とする請求項２記載の視線方向検出装置。
【請求項４】
前記視線方向検出手段によって検出された前記視線方向と前記視線方向基準線との角度が所定の判定閾値よりも大きい場合に、前記補正手段による補正を禁止することを特徴とする請求項１〜３の何れか１項に記載の視線方向検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−１５５３３（Ｐ２００９−１５５３３Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７５５８７（Ｐ２００７−１７５５８７）
【出願日】平成１９年７月３日（２００７．７．３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月３日（２００７．７．３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]