車両走行情報記録装置
【課題】 その目的は、車両事故等が発生した場合に、運転者がどのような運転を行っていたのかをより詳細に把握することができる車両走行情報記録装置を提供する。
【解決手段】 画像認識装置２２は、運転者顔監視カメラ２１が撮像した運転者の眼の画像より視線方向を判定し、カーナビゲーション装置１の制御回路２は、車速センサ１４等により検出された走行データ、位置検出器４により取得された位置データ、周囲状況監視カメラ２０により撮像された周辺画像データ、及び上記視線方向データを、時刻と共にメモリ２３に周期的に記録する。
【解決手段】 画像認識装置２２は、運転者顔監視カメラ２１が撮像した運転者の眼の画像より視線方向を判定し、カーナビゲーション装置１の制御回路２は、車速センサ１４等により検出された走行データ、位置検出器４により取得された位置データ、周囲状況監視カメラ２０により撮像された周辺画像データ、及び上記視線方向データを、時刻と共にメモリ２３に周期的に記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両が走行している状態で得られる各種の情報を記録するための車両走行情報記録装置に関する。
【背景技術】
【０００２】
車両事故が発生した場合に、その事故が発生する直前まで運転者がどのような運転を行っていたのかが分かれば、事故原因の特定や責任の追及を正確且つ迅速に行うことができる。例えば、特許文献１には、そのような目的で、車両の状況データや位置データ、また車両に搭載した撮像装置によって撮像される周辺画像のデータを記録するドライブレコーダが開示されている。
【特許文献１】特開平８−２３５４９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に開示されている技術は、事故の解析を車両の挙動を中心として行なうものであるため、その車両の挙動から、運転者がどのような運転を行っていたのかを間接的に把握することはできる。しかしながら、例えば事故の補償や自動車保険の支払いに関するような、事故原因の特定をより厳密に行なう必要があるものについては、運転者が行っていた運転の状態をより直接的に把握することが望ましい。
本発明は上記事情に鑑みてなされたものであり、その目的は、車両事故等が発生した場合に、運転者がどのような運転を行っていたのかをより詳細に把握することができる車両走行情報記録装置を提供することにある。
【課題を解決するための手段】
【０００４】
請求項１記載の車両走行情報記録装置によれば、視線方向判定手段は、運転者の眼の画像を撮像するとその眼画像より前記運転者の視線方向を判定し、データ記録手段は、走行データ検出手段により検出された走行データ、位置取得手段により取得された位置データ、周辺画像撮像手段により撮像された周辺画像データ、及び視線方向判定手段によって判定された視線方向データを、時刻と共に周期的に記録する。従って、車両に事故が発生した場合は、その事故発生時点より遡ってデータ記録手段によって記録されているデータを解析すれば、運転者がどの方向に視線を向けて運転していたのかが判明するので、運転者がどのような運転を行っていたのかをより詳細に、具体的に把握することができる。
【０００５】
請求項２記載の車両走行情報記録装置によれば、運転者画像撮像手段は、運転者の眼の画像を撮像し、データ記録手段は、走行データ検出手段により検出された走行データ、位置取得手段により取得された位置データ、周辺画像撮像手段により撮像された周辺画像データ、及び運転者画像撮像手段により撮像された眼画像データを時刻と共に周期的に記録する。そして、視線方向判定手段は、データ記録手段によって記録された眼画像データに基づいて運転者の視線方向を判定する。
従って、車両に事故が発生した場合は、その事故発生時点より遡ってデータ記録手段に記録されているデータを解析すれば、視線方向判定手段の作用により運転者がどの方向に視線を向けて運転していたのかが判明するので、請求項１と同様に、運転者がどのような運転を行っていたのかをより詳細に、具体的に把握することができる。
【０００６】
請求項３記載の車両走行情報記録装置によれば、視線方向判定手段は、運転者の顔全体の画像も撮像し、その顔画像に基づいて前記運転者の顔方向を判定すると、その判定結果も加えて当該運転者の視線方向を判定する。即ち、実際の運転者の視線方向は、その基準となる顔が向いている方向に応じて変化する。従って、運転者の顔方向を考慮することで、運転者の視線方向をより高い精度で判定することができる。
【０００７】
請求項４記載の車両走行情報記録装置によれば、運転者画像撮像手段は、運転者の顔全体の画像も撮像し、データ記録手段は、その顔画像データも併せて記録する。そして、視線方向判定手段は、データ記録手段によって記録された顔画像データに基づいて運転者の顔方向を判定し、その判定結果も加えて当該運転者の視線方向を判定する。従って、請求項２の構成を前提とする場合においても、請求項３と同様に、運転者の視線方向をより高い精度で判定することができる。
【０００８】
請求項５記載の車両走行情報記録装置によれば、表示制御手段は、データ記録手段によって記録された周辺画像データを読み出して表示手段に表示させる際に、その周辺画像データに、視線方向判定手段によって判定された運転者の視線方向が示す位置を重畳して表示させる。従って、データ記録手段によって記録されたデータを解析する場合は、表示手段に表示される画像を参照することで、運転者の視線がどこを捉えていたのかを容易に把握することができる。
【０００９】
請求項６記載の車両走行情報記録装置によれば、視線方向判定手段は、眼画像より黒目部分と白目部分とを認識し、黒目部分，白目部分の画像分布状態に応じて運転者の視線方向を判定する。例えば、視線が正面方向を向いており瞳（黒目）が眼の中心に位置する場合は、その両側にある白目部分の面積は略同じであるが、視線が左右どちらかに向いた場合は瞳の位置が左右のどちらかにずれるため、その両側の白目部分の面積が大きく異なる。従って、その面積差の大きさが一定値以上となった場合は、視線が左右のどちらかを向いていると判定することが可能である。
また、視線が上方向を向いている場合は瞳の下部に白目部分が顕著に現れ、逆に視線が下方向を向いている場合は瞳の上部に白目部分が顕著に現れるため、その状態に応じて視線が上下の何れを向いているかを判定できる。即ち、眼の外形を示す枠の内部において、黒目の周囲にある白目がどのように分布しているかを参照することで、運転者の視線が向いている方向を簡単に判定することができる。
【発明を実施するための最良の形態】
【００１０】
（第１実施例）
以下、本発明の第１実施例について図１乃至図６を参照して説明する。図１は、本発明の車両走行情報記録装置を、車両用ナビゲーション装置を利用して構成した場合の機能ブロック図を示すものである。この図１に示すように、カーナビゲーション装置（車両走行情報記録装置）１は、制御回路（データ記録手段，表示制御手段）２に対して、表示装置（表示手段）３、位置取得手段としての位置検出器４、地図データ取得手段としての地図データ入力器５、操作手段としての操作スイッチ群６、音声出力／音声認識装置７、リモコン８からの信号を検出するリモコンセンサ９、外部記憶装置１０、移動電話機（通信手段）１１などを接続して構成されている。
【００１１】
制御回路２は、マイクロコンピュータとして構成されたもので、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインタフェース（いずれも図示せず）を備えている。これらのうち、ＲＯＭには、ナビゲーション用のプログラムなどが格納され、ＲＡＭにはプログラム実行時の処理データや地図データ入力器５から取得した地図データなどが一時的に格納される。
【００１２】
位置検出器４は、角速度センサ（走行データ検出手段）１２、ヨー角速度（ヨーレート）を検出するためのジャイロスコープ（走行データ検出手段）１３、車両の走行距離を検出するための車速センサ（走行データ検出手段）１４およびＧＰＳ用人工衛星からの信号を受信するＧＰＳ受信機１５から構成されており、車両の現在位置情報（経度・緯度情報）や進行方向を算出する部分である。この位置検出器４は、各構成要素が性質の異なる検出誤差を有するため、互いに検出誤差を補間しながら精度の高い位置検出を行うようになっているが、要求される検出精度で現在位置を算出可能であれば全部の構成要素を備える必要はない。
【００１３】
地図データ入力器５は、記憶手段としての例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭのような大容量の情報記録媒体から地図データを読み取るためのものである。なお、情報記録媒体としては、ハードディスク、光磁気ディスク、大容量メモリカードなどを用いることもできる。情報記録媒体が記憶している地図データには、地図データの他に、道路や建物の詳細データや、施設の名称やその位置を示した施設データなどが含まれている。
【００１４】
表示装置３は、地図を表示するための例えばカラー液晶ディスプレイからなる表示画面１６（図６参照）を含んで構成されている。操作スイッチ群６は、表示装置３において、表示画面１６の周辺に配置されたメカニカルスイッチ１７や表示画面１６上に設けられたタッチパネル１８などから成り、各種のデータや設定事項などの操作入力を制御回路２に与えるための操作手段として機能する。リモコンセンサ９はリモコン８からの操作入力を受信して制御回路２に与えるようになっている。
【００１５】
音声出力／音声認識装置７は、音声合成回路、アンプ、スピーカ、マイク、音声認識回路などを含んで構成され、制御回路２からの音声情報に応じた任意の音声出力を発生できるようになっている。また、この音声出力／音声認識装置７は、人の音声を認識し、その音声の内容に応じた処理を実行するように制御回路２に音声認識情報を入力する。
移動電話機１１は、基地局を介して移動電話網やインターネットなどに接続可能で、インターネットを通じて地図情報センターに接続できるようになっている。このため、移動電話機１１を地図データ取得手段として利用して、現在位置情報を地図情報センターに送信し、地図情報センターから現在位置周辺の地図データを受信するように構成することも可能である。
【００１６】
制御回路２は、現在位置を地図上に位置付けるマップマッチング処理を実行するという基本的な機能の他に、経路探索機能および経路案内機能を備えている。そのうち、経路探索機能は、操作スイッチ群６やリモコン８により出発地と目的地、場合によっては経由地点などの地点データが入力されたときに、その地点データに基づいて出発地から目的地までの経路探索動作を例えばダイクストラ法によって行う機能である。また、経路案内機能は、経路探索結果に応じた案内経路を表示装置３の表示画面１６の地図上に表示し、且つ交差点や分岐点などで音声出力／音声認識装置７から音声を出力したり、表示画面１６へ拡大図を表示したりして車両の進行方向を案内する機能である。
【００１７】
また、ナビゲーション装置１には、車両に配置され、衝突事故等の発生時に図示しないエアバッグ装置を作動させるためのＧ（加速度）センサ１９の出力信号や、車両の少なくとも前方を含む周囲状況を撮像するための周囲状況監視カメラ（周辺画像撮像手段）２０の映像信号が与えられている。更に、運転者顔監視カメラ（視線方向判定手段）２１は車室内の例えばサンバイザ付近などに配置されており、運転者の顔を正面方向から撮像する。そして、その画像信号は、画像認識装置（視線方向判定手段）２２を介してナビゲーション装置１に与えられている。画像認識装置２２は、上記画像信号に基づいて後述するように運転者の視線方向を判定し、その判定結果のデータを制御回路２に出力するようになっている。
【００１８】
制御回路２は、上記視線方向データと共に、周囲状況監視カメラ２０の映像信号（周辺画像データ）や位置検出器４より与えられる車両の位置情報や走行データ、また、受信したＧＰＳ信号をデコードすることで得られる正確な時刻データなどを、メモリ（データ記録手段）２３に書き込んで記憶させるようになっている。尚、制御回路２に内蔵されている上記のＲＡＭが十分な容量を有している場合には、メモリ２３に記憶させるデータを当該ＲＡＭに記憶させても良い。
【００１９】
次に、本実施例の作用について図２乃至図６も参照して説明する。図２は、車両が走行中である場合に制御回路２によって実行されるデータ記録処理の内容を示すフローチャートである。制御回路２は、所定時間が経過すると（ステップＳ１，「ＹＥＳ」）、上記の時刻データ，位置データ，走行データ，周辺画像データ，視線方向データをメモリ２３に書き込んで記録させる（ステップＳ２〜Ｓ６）。そして、これらデータの記録は、車両に衝突事故等が発生することでＧセンサ１９が大きな衝撃を検出してセンサ信号（衝撃検出信号）を出力するまでは（ステップＳ７，「ＮＯ」）、ステップＳ１に戻り所定時間毎に繰り返し行なわれる。
尚、メモリ２３の記憶容量には限りがあるため、上記データの記録は順次オーバーライトされ、例えば最新時点から遡って数分までに取得されたものが記録されるようになっている。また、動画像データについては、必要に応じてＭＰＥＧ（Moving Picture Expert Group）コーディングを行い圧縮した状態で記録させても良い。
【００２０】
即ち、事故等の発生によりＧセンサ１９がセンサ信号を出力すると（ステップＳ７，「ＹＥＳ」）、その時点でメモリ２３に対するデータの記録は終了するため、事故等の発生時点から遡る例えば数分前までに記録されたデータがメモリ２３に保持される。また、データの記録は、Ｇセンサ１９がセンサ信号を出力した時点から数秒〜数１０秒が経過するまで継続するようにしても良い。
【００２１】
次に、画像処理装置２２によって行なわれる運転者の視線方向判定処理について、図３及び図４を参照して説明する。図３は、視線方向を判定するための原理を説明するものである。運転者顔監視カメラ２１が撮像した画像には運転者の眼の画像も含まれているが、その眼の画像には、瞳である黒目の部分と白目の部分とがある（図３（ａ））。そして、運転者が車両前方を正面として右方向を見ている場合は（図３（ｂ））、黒目の両脇に分布する白目部分の面積に差が生じる。また、運転者が上方向を見ている場合は（図３（ｃ））、黒目の上下に分布する白目部分の面積に差が生じる。これらの状態を、運転者の眼を撮像した画像を処理して判別することで、視線方向を判定する。
【００２２】
図４は、画像処理装置２２による視線方向判定処理を示すフローチャートである。先ず、画像処理装置２２は、運転者顔監視カメラ２１が撮像した画像を取得すると（ステップＳ１１）、運転者の眼の白目面積ＡＬ，ＡＲの差がしきい値Ｋ未満であるか否かを判断する（ステップＳ１２）。白目面積ＡＬ，ＡＲは、図４に示すように、運転者側から見て左側の白目面積がＡＬ，右側の白目面積がＡＲと定義されている。
【００２３】
ステップＳ１２において、（ＡＲ−ＡＬ）の値が±Ｋの範囲よりも小さい場合は（「ＹＥＳ」）、続いて、瞳の上下端から眼の淵までの距離ＷＵ，ＷＬの差がしきい値Ｍ未満であるか否かを判断する（ステップＳ１３）。距離ＷＵ，ＷＬは、図４に示すように、瞳の上端から眼の淵までが距離ＷＵ，瞳の下端から眼の淵までが距離ＷＬと定義されている。そして、（ＷＵ−ＷＬ）の値が±Ｍの範囲よりも小さい場合は（「ＹＥＳ」）、視線方向を「真正面」であると判定する（ステップＳ１４）。
【００２４】
一方、ステップＳ１２において、（ＡＲ−ＡＬ）の値が大きく±Ｋの範囲以上となる場合は（「ＮＯ」）、白目面積ＡＬ，ＡＲの大小を比較する（ステップＳ１５）。ＡＲ＜ＡＬであれば（「ＹＥＳ」）、その時点で視線方向が「右方向」であると決定され（ステップＳ１６）、ＡＲ≧ＡＬであれば（「ＮＯ」）視線方向が「左方向」であると決定される（ステップＳ１７）。
また、ステップＳ１３において（ＷＵ−ＷＬ）の値が大きく±Ｍの範囲以上となる場合は（「ＮＯ」）、距離ＷＵ，ＷＬの大小を比較する（ステップＳ１８）。ＷＵ＜ＷＬであれば（「ＹＥＳ」）、その時点で視線方向が「真上」であると決定され（ステップＳ１９）、ＷＵ≧ＷＬであれば（「ＮＯ」）視線方向が「真下」であると決定される（ステップＳ２０）。
【００２５】
更に、視線方向が「右方向」である場合（ステップＳ１６）、その時点でステップＳ１３と同様に距離ＷＵ，ＷＬの差がしきい値Ｍ未満であるか否かを判断し（ステップＳ２１）、（ＷＵ−ＷＬ）の値が±Ｍの範囲よりも小さい場合は（「ＹＥＳ」）、視線方向が「真右」であると判定する（ステップＳ２２）。また、ステップＳ２１において（ＷＵ−ＷＬ）の値が±Ｍの範囲以上となる場合は（「ＮＯ」）、ステップＳ１８と同様に距離ＷＵ，ＷＬの大小を比較し（ステップＳ２３）、ＷＵ＜ＷＬであれば（「ＹＥＳ」）、その時点で視線方向が「右上」であると決定され（ステップＳ２４）、ＷＵ≧ＷＬであれば（「ＮＯ」）視線方向が「右下」であると決定される（ステップＳ２５）。
【００２６】
同様に、視線方向が「左方向」である場合も（ステップＳ１７）距離ＷＵ，ＷＬの差がしきい値Ｍ未満であるか否かを判断し（ステップＳ２６）、（ＷＵ−ＷＬ）の値が±Ｍの範囲よりも小さい場合は（「ＹＥＳ」）視線方向が「真左」であると判定し（ステップＳ２７）、ステップＳ２６において（ＷＵ−ＷＬ）の値が±Ｍの範囲以上となる場合は（「ＮＯ」）、距離ＷＵ，ＷＬの大小を比較し（ステップＳ２８）、ＷＵ＜ＷＬであれば（「ＹＥＳ」）その時点で視線方向が「左上」であると決定され（ステップＳ２９）、ＷＵ≧ＷＬであれば（「ＮＯ」）視線方向が「左下」であると決定される（ステップＳ３０）。
即ち、図４のフローチャートに従うことで、視線方向は、「左上」、「真上」、「右上」、「真左」、「真正面」、「真右」、「左下」、「真下」、「右下」の９種類に判定されるようになり、図２に示すステップＳ６ではその判定結果が記録される。
【００２７】
次に、図５は、図２に示す処理によってメモリ２３に記録されたデータを読み出して再生する、即ち、表示装置３の画面に動画像として表示させる場合の処理を示すフローチャートであり、制御回路２によって実行されるものである。また、図６は、その場合の表示装置３の画面イメージの一例を示すものである。
【００２８】
制御回路２は、周辺画像データを読み出して表示装置３に表示させる（ステップＳ３１）。ここで、周辺画像は、上述したように運転者側から車両のフロントウインドウ越しに見た車両前方を中心とする画像として撮像されており、それが図６（ａ）に示すように表示される（尚、画面の下端側に映り込んでいるのは、車両のフロント部分である）。
それから、制御回路２は、視線方向データを読み出すと、その視線方向が周辺画像上で示す位置を、例えば星型のマーカなどで表示させる。即ち、画像処理装置２２は、図４に示す処理によって運転者の視線方向を９種類に分類しているので、表示装置３の画面を図６（ｂ）に示すように９個のセルに分割して、９種類のセルをそれらに対応させる。そして、対応するセルの中心に視線方向を示すマーカを重畳して表示させる（図６（ｃ）参照）。図６（ｃ）に示す場合、視線方向は「左上」となっている。
【００２９】
また、制御回路２は、上記画像にデータが記録された時刻と、並行して記録された車両の走行データも、例えば画面の右上隅側に表示させる（ステップＳ３３）。更に、制御回路には、メモリ２３に記録された緯度，経度から、その位置に対応して地図データ入力器５より得られる地図データ上の具体的な地点名（場所）を検索し、その地点名を位置情報として画面に表示させる（ステップＳ３４）。そして、メモリ２３に記録された全てのデータを表示するまでは（ステップＳ３５，「ＮＯ」）上記の処理を繰り返す。
図６（ｃ）に示す表示例では、時刻情報として「２１時１２分２５秒」，車両の走行データとして走行速度「６０ｋｍ／ｈ」，及び「オイル漏れ」の発生検知（車両側にオイル漏れ検知センサが設けられている場合），位置情報として「刈谷市栄町交差点」が表示されている。
【００３０】
以上のように本実施例によれば、画像認識装置２２は、運転者顔監視カメラ２１が撮像した運転者の眼の画像より視線方向を判定し、カーナビゲーション装置１の制御回路２は、車速センサ１４等により検出された走行データ、位置検出器４により取得された位置データ、周囲状況監視カメラ２０により撮像された周辺画像データ、及び上記視線方向データを時刻と共にメモリ２３に周期的に記録するようにした。
従って、車両に事故が発生した場合は、その事故発生時点より遡ってメモリ２３に記録されているデータを解析すれば、運転者がどの方向に視線を向けて運転していたのかが判明するので、運転者がどのような運転を行っていたのかをより詳細に、具体的に把握することができる。故に、その解析結果を、事故の発生に対する過失責任の有無或いはその割合などを確定させるために、有効な証拠として使用することができる。
【００３１】
また、制御回路２は、メモリ２３に記録された周辺画像データを読み出して表示装置３に表示させる際に、その周辺画像データに運転者の視線方向が示す位置を重畳して表示させるので、記録されたデータを解析する場合は、表示装置３に表示される画像を参照することで、運転者の視線がどこを捉えていたのかを容易に把握することができる。
そして、画像認識装置２２は、眼画像より黒目部分と白目部分とを認識し、黒目部分，白目部分の画像分布状態に応じて運転者の視線方向を判定するので、運転者の視線が向いている方向を簡単に判定することができる。
【００３２】
（第２実施例）
図７及び図８は本発明の第２実施例を示すものであり、第１実施例と同一部分には同一符号を付して説明を省略し、以下異なる部分についてのみ説明する。第２実施例の構成は基本的に第１実施例と同様であり、画像認識装置２２による視線方向判定処理の内容が異なっている。第２実施例では、画像認識装置２２は、運転者顔監視カメラ２１が撮像している運転者の顔全体の画像に基づいて、運転者の顔の正面が向いている方向（顔方向）を判定し、その判定結果も加えて運転者の視線方向を判定するようにしている。
画像認識装置２２は、顔方向を例えば視線方向の判定と同様の９種類に分類するため、図８に示すように、予め９通りの顔方向の標準パターン画像を内部の図示しないメモリに記憶している。
【００３３】
図７は、顔方向判定と視線方向判定とを組み合わせて行なう処理の内容を示すフローチャートである。画像認識装置２２は、撮像された運転者の顔全体の画像をパターン化すると（ステップＳ４１）、その画像パターンを図８に示す９通りの標準パターンと照合する（ステップＳ４２）。そして、前者が後者の何れに最も近似しているかによって顔方向を決定する（ステップＳ４３）。
続いて、画像認識装置２２は、決定した顔方向が「真正面」であるか否かを判断する（ステップＳ４４）。「真正面」である場合は（「ＹＥＳ」）、第１実施例と同様に図４に示す視線判定処理を行ない（ステップＳ４５）、「真正面」以外の方向である場合は（「ＮＯ」）視線判定処理を行なわず、ステップＳ４３で決定した顔方向をそのまま視線方向とする（ステップＳ４６）。
【００３４】
以上のように第２実施例によれば、画像認識装置２２は、運転者顔監視カメラ２１が撮像している運転者の顔全体の画像に基づいて運転者の顔方向を判定すると、その判定結果も加えて当該運転者の視線方向を判定するようにした。即ち、実際の運転者の視線方向は、その基準となる顔が向いている方向に応じて変化するので、運転者の顔方向を考慮することで、運転者の視線方向をより高い精度で判定することができる。
【００３５】
本発明は上記し又は図面に記載した実施例にのみ限定されるものではなく、以下のような変形が可能である。
視線方向等の判定は、必ずしも９種類とする必要は無く、例えば１６種類や２５種類などに判別しても良い。
運転者の顔方向を判定する必要がない場合は、カメラによって運転者の眼の画像だけを撮像すれば良い。
上記実施例では、車両の走行中に、運転者の視線方向を判定して記録するようにしたが、例えば、走行中は運転者の眼の画像を撮像して（運転者画像撮像手段）その画像データをそのまま記録させておき、視線方向の判定は、記録された画像データに基づいて後程行うようにしても良い。例えば、記録された画像を再生する時点で判定を行っても良い。第２実施例における顔方向の判定についても同様である。
第２実施例のように顔方向も加味して視線方向を判定する場合は、その他、例えば顔方向が「右」であり、視線方向が「上」であるとすれば、両者を合成して「右上」と判定するようにしても良い。
【００３６】
記録されたデータを表示装置３に表示させる場合、並行して記録されている車両の走行データや時刻、位置情報などを同時に表示させる処理は、必要に応じて行えば良い。
視線方向を判定する手法については、上記実施例に限ることなく、例えば特開平７−６９１３９号公報に開示されているものや、その他の公知の手法を用いても良い。
制御回路２の処理能力が十分である場合は、画像処理装置２２の機能を制御回路２に持たせても良い。
記録されたデータを解析する場合は、必ずしも画像として表示する必要は無く、例えば、データを数値として出力させたものを解析しても良い。
カーナビゲーション装置を利用して構成するものに限ることなく、車両走行情報記録装置としての機能だけを備えた専用の装置として構成しても良い。
【図面の簡単な説明】
【００３７】
【図１】本発明を車両用ナビゲーション装置に適用した場合の第１実施例であり、車両用ナビゲーション装置の電気的構成を示す機能ブロック図
【図２】車両が走行中である場合に、ナビゲーション装置の制御回路によって実行されるデータ記録処理の内容を示すフローチャート
【図３】視線方向を判定するための原理を説明する図
【図４】画像処理装置による視線方向判定処理を示すフローチャート
【図５】メモリに記録されたデータを読み出して表示装置の画面に動画像として表示させる場合の処理を示すフローチャート
【図６】図５のフローチャートを実行した場合、表示装置の画面イメージを示す図
【図７】本発明の第２実施例であり、顔方向判定と視線方向判定とを組み合わせて行なう処理の内容を示すフローチャート
【図８】顔方向の標準パターン画像を示す図
【符号の説明】
【００３８】
図面中、１はカーナビゲーション装置（車両走行情報記録装置）、２は制御回路（データ記録手段，表示制御手段）、３は表示装置（表示手段）、４は位置検出器（位置取得手段）、１２は角速度センサ（走行データ検出手段）、１３はジャイロスコープ（走行データ検出手段）、１４は車速センサ（走行データ検出手段）、２０は周囲状況監視カメラ（周辺画像撮像手段）、２１は運転者顔監視カメラ（視線方向判定手段）、２２は画像認識装置（視線方向判定手段）、２３はメモリ（データ記録手段）を示す。
【技術分野】
【０００１】
本発明は、車両が走行している状態で得られる各種の情報を記録するための車両走行情報記録装置に関する。
【背景技術】
【０００２】
車両事故が発生した場合に、その事故が発生する直前まで運転者がどのような運転を行っていたのかが分かれば、事故原因の特定や責任の追及を正確且つ迅速に行うことができる。例えば、特許文献１には、そのような目的で、車両の状況データや位置データ、また車両に搭載した撮像装置によって撮像される周辺画像のデータを記録するドライブレコーダが開示されている。
【特許文献１】特開平８−２３５４９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に開示されている技術は、事故の解析を車両の挙動を中心として行なうものであるため、その車両の挙動から、運転者がどのような運転を行っていたのかを間接的に把握することはできる。しかしながら、例えば事故の補償や自動車保険の支払いに関するような、事故原因の特定をより厳密に行なう必要があるものについては、運転者が行っていた運転の状態をより直接的に把握することが望ましい。
本発明は上記事情に鑑みてなされたものであり、その目的は、車両事故等が発生した場合に、運転者がどのような運転を行っていたのかをより詳細に把握することができる車両走行情報記録装置を提供することにある。
【課題を解決するための手段】
【０００４】
請求項１記載の車両走行情報記録装置によれば、視線方向判定手段は、運転者の眼の画像を撮像するとその眼画像より前記運転者の視線方向を判定し、データ記録手段は、走行データ検出手段により検出された走行データ、位置取得手段により取得された位置データ、周辺画像撮像手段により撮像された周辺画像データ、及び視線方向判定手段によって判定された視線方向データを、時刻と共に周期的に記録する。従って、車両に事故が発生した場合は、その事故発生時点より遡ってデータ記録手段によって記録されているデータを解析すれば、運転者がどの方向に視線を向けて運転していたのかが判明するので、運転者がどのような運転を行っていたのかをより詳細に、具体的に把握することができる。
【０００５】
請求項２記載の車両走行情報記録装置によれば、運転者画像撮像手段は、運転者の眼の画像を撮像し、データ記録手段は、走行データ検出手段により検出された走行データ、位置取得手段により取得された位置データ、周辺画像撮像手段により撮像された周辺画像データ、及び運転者画像撮像手段により撮像された眼画像データを時刻と共に周期的に記録する。そして、視線方向判定手段は、データ記録手段によって記録された眼画像データに基づいて運転者の視線方向を判定する。
従って、車両に事故が発生した場合は、その事故発生時点より遡ってデータ記録手段に記録されているデータを解析すれば、視線方向判定手段の作用により運転者がどの方向に視線を向けて運転していたのかが判明するので、請求項１と同様に、運転者がどのような運転を行っていたのかをより詳細に、具体的に把握することができる。
【０００６】
請求項３記載の車両走行情報記録装置によれば、視線方向判定手段は、運転者の顔全体の画像も撮像し、その顔画像に基づいて前記運転者の顔方向を判定すると、その判定結果も加えて当該運転者の視線方向を判定する。即ち、実際の運転者の視線方向は、その基準となる顔が向いている方向に応じて変化する。従って、運転者の顔方向を考慮することで、運転者の視線方向をより高い精度で判定することができる。
【０００７】
請求項４記載の車両走行情報記録装置によれば、運転者画像撮像手段は、運転者の顔全体の画像も撮像し、データ記録手段は、その顔画像データも併せて記録する。そして、視線方向判定手段は、データ記録手段によって記録された顔画像データに基づいて運転者の顔方向を判定し、その判定結果も加えて当該運転者の視線方向を判定する。従って、請求項２の構成を前提とする場合においても、請求項３と同様に、運転者の視線方向をより高い精度で判定することができる。
【０００８】
請求項５記載の車両走行情報記録装置によれば、表示制御手段は、データ記録手段によって記録された周辺画像データを読み出して表示手段に表示させる際に、その周辺画像データに、視線方向判定手段によって判定された運転者の視線方向が示す位置を重畳して表示させる。従って、データ記録手段によって記録されたデータを解析する場合は、表示手段に表示される画像を参照することで、運転者の視線がどこを捉えていたのかを容易に把握することができる。
【０００９】
請求項６記載の車両走行情報記録装置によれば、視線方向判定手段は、眼画像より黒目部分と白目部分とを認識し、黒目部分，白目部分の画像分布状態に応じて運転者の視線方向を判定する。例えば、視線が正面方向を向いており瞳（黒目）が眼の中心に位置する場合は、その両側にある白目部分の面積は略同じであるが、視線が左右どちらかに向いた場合は瞳の位置が左右のどちらかにずれるため、その両側の白目部分の面積が大きく異なる。従って、その面積差の大きさが一定値以上となった場合は、視線が左右のどちらかを向いていると判定することが可能である。
また、視線が上方向を向いている場合は瞳の下部に白目部分が顕著に現れ、逆に視線が下方向を向いている場合は瞳の上部に白目部分が顕著に現れるため、その状態に応じて視線が上下の何れを向いているかを判定できる。即ち、眼の外形を示す枠の内部において、黒目の周囲にある白目がどのように分布しているかを参照することで、運転者の視線が向いている方向を簡単に判定することができる。
【発明を実施するための最良の形態】
【００１０】
（第１実施例）
以下、本発明の第１実施例について図１乃至図６を参照して説明する。図１は、本発明の車両走行情報記録装置を、車両用ナビゲーション装置を利用して構成した場合の機能ブロック図を示すものである。この図１に示すように、カーナビゲーション装置（車両走行情報記録装置）１は、制御回路（データ記録手段，表示制御手段）２に対して、表示装置（表示手段）３、位置取得手段としての位置検出器４、地図データ取得手段としての地図データ入力器５、操作手段としての操作スイッチ群６、音声出力／音声認識装置７、リモコン８からの信号を検出するリモコンセンサ９、外部記憶装置１０、移動電話機（通信手段）１１などを接続して構成されている。
【００１１】
制御回路２は、マイクロコンピュータとして構成されたもので、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインタフェース（いずれも図示せず）を備えている。これらのうち、ＲＯＭには、ナビゲーション用のプログラムなどが格納され、ＲＡＭにはプログラム実行時の処理データや地図データ入力器５から取得した地図データなどが一時的に格納される。
【００１２】
位置検出器４は、角速度センサ（走行データ検出手段）１２、ヨー角速度（ヨーレート）を検出するためのジャイロスコープ（走行データ検出手段）１３、車両の走行距離を検出するための車速センサ（走行データ検出手段）１４およびＧＰＳ用人工衛星からの信号を受信するＧＰＳ受信機１５から構成されており、車両の現在位置情報（経度・緯度情報）や進行方向を算出する部分である。この位置検出器４は、各構成要素が性質の異なる検出誤差を有するため、互いに検出誤差を補間しながら精度の高い位置検出を行うようになっているが、要求される検出精度で現在位置を算出可能であれば全部の構成要素を備える必要はない。
【００１３】
地図データ入力器５は、記憶手段としての例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭのような大容量の情報記録媒体から地図データを読み取るためのものである。なお、情報記録媒体としては、ハードディスク、光磁気ディスク、大容量メモリカードなどを用いることもできる。情報記録媒体が記憶している地図データには、地図データの他に、道路や建物の詳細データや、施設の名称やその位置を示した施設データなどが含まれている。
【００１４】
表示装置３は、地図を表示するための例えばカラー液晶ディスプレイからなる表示画面１６（図６参照）を含んで構成されている。操作スイッチ群６は、表示装置３において、表示画面１６の周辺に配置されたメカニカルスイッチ１７や表示画面１６上に設けられたタッチパネル１８などから成り、各種のデータや設定事項などの操作入力を制御回路２に与えるための操作手段として機能する。リモコンセンサ９はリモコン８からの操作入力を受信して制御回路２に与えるようになっている。
【００１５】
音声出力／音声認識装置７は、音声合成回路、アンプ、スピーカ、マイク、音声認識回路などを含んで構成され、制御回路２からの音声情報に応じた任意の音声出力を発生できるようになっている。また、この音声出力／音声認識装置７は、人の音声を認識し、その音声の内容に応じた処理を実行するように制御回路２に音声認識情報を入力する。
移動電話機１１は、基地局を介して移動電話網やインターネットなどに接続可能で、インターネットを通じて地図情報センターに接続できるようになっている。このため、移動電話機１１を地図データ取得手段として利用して、現在位置情報を地図情報センターに送信し、地図情報センターから現在位置周辺の地図データを受信するように構成することも可能である。
【００１６】
制御回路２は、現在位置を地図上に位置付けるマップマッチング処理を実行するという基本的な機能の他に、経路探索機能および経路案内機能を備えている。そのうち、経路探索機能は、操作スイッチ群６やリモコン８により出発地と目的地、場合によっては経由地点などの地点データが入力されたときに、その地点データに基づいて出発地から目的地までの経路探索動作を例えばダイクストラ法によって行う機能である。また、経路案内機能は、経路探索結果に応じた案内経路を表示装置３の表示画面１６の地図上に表示し、且つ交差点や分岐点などで音声出力／音声認識装置７から音声を出力したり、表示画面１６へ拡大図を表示したりして車両の進行方向を案内する機能である。
【００１７】
また、ナビゲーション装置１には、車両に配置され、衝突事故等の発生時に図示しないエアバッグ装置を作動させるためのＧ（加速度）センサ１９の出力信号や、車両の少なくとも前方を含む周囲状況を撮像するための周囲状況監視カメラ（周辺画像撮像手段）２０の映像信号が与えられている。更に、運転者顔監視カメラ（視線方向判定手段）２１は車室内の例えばサンバイザ付近などに配置されており、運転者の顔を正面方向から撮像する。そして、その画像信号は、画像認識装置（視線方向判定手段）２２を介してナビゲーション装置１に与えられている。画像認識装置２２は、上記画像信号に基づいて後述するように運転者の視線方向を判定し、その判定結果のデータを制御回路２に出力するようになっている。
【００１８】
制御回路２は、上記視線方向データと共に、周囲状況監視カメラ２０の映像信号（周辺画像データ）や位置検出器４より与えられる車両の位置情報や走行データ、また、受信したＧＰＳ信号をデコードすることで得られる正確な時刻データなどを、メモリ（データ記録手段）２３に書き込んで記憶させるようになっている。尚、制御回路２に内蔵されている上記のＲＡＭが十分な容量を有している場合には、メモリ２３に記憶させるデータを当該ＲＡＭに記憶させても良い。
【００１９】
次に、本実施例の作用について図２乃至図６も参照して説明する。図２は、車両が走行中である場合に制御回路２によって実行されるデータ記録処理の内容を示すフローチャートである。制御回路２は、所定時間が経過すると（ステップＳ１，「ＹＥＳ」）、上記の時刻データ，位置データ，走行データ，周辺画像データ，視線方向データをメモリ２３に書き込んで記録させる（ステップＳ２〜Ｓ６）。そして、これらデータの記録は、車両に衝突事故等が発生することでＧセンサ１９が大きな衝撃を検出してセンサ信号（衝撃検出信号）を出力するまでは（ステップＳ７，「ＮＯ」）、ステップＳ１に戻り所定時間毎に繰り返し行なわれる。
尚、メモリ２３の記憶容量には限りがあるため、上記データの記録は順次オーバーライトされ、例えば最新時点から遡って数分までに取得されたものが記録されるようになっている。また、動画像データについては、必要に応じてＭＰＥＧ（Moving Picture Expert Group）コーディングを行い圧縮した状態で記録させても良い。
【００２０】
即ち、事故等の発生によりＧセンサ１９がセンサ信号を出力すると（ステップＳ７，「ＹＥＳ」）、その時点でメモリ２３に対するデータの記録は終了するため、事故等の発生時点から遡る例えば数分前までに記録されたデータがメモリ２３に保持される。また、データの記録は、Ｇセンサ１９がセンサ信号を出力した時点から数秒〜数１０秒が経過するまで継続するようにしても良い。
【００２１】
次に、画像処理装置２２によって行なわれる運転者の視線方向判定処理について、図３及び図４を参照して説明する。図３は、視線方向を判定するための原理を説明するものである。運転者顔監視カメラ２１が撮像した画像には運転者の眼の画像も含まれているが、その眼の画像には、瞳である黒目の部分と白目の部分とがある（図３（ａ））。そして、運転者が車両前方を正面として右方向を見ている場合は（図３（ｂ））、黒目の両脇に分布する白目部分の面積に差が生じる。また、運転者が上方向を見ている場合は（図３（ｃ））、黒目の上下に分布する白目部分の面積に差が生じる。これらの状態を、運転者の眼を撮像した画像を処理して判別することで、視線方向を判定する。
【００２２】
図４は、画像処理装置２２による視線方向判定処理を示すフローチャートである。先ず、画像処理装置２２は、運転者顔監視カメラ２１が撮像した画像を取得すると（ステップＳ１１）、運転者の眼の白目面積ＡＬ，ＡＲの差がしきい値Ｋ未満であるか否かを判断する（ステップＳ１２）。白目面積ＡＬ，ＡＲは、図４に示すように、運転者側から見て左側の白目面積がＡＬ，右側の白目面積がＡＲと定義されている。
【００２３】
ステップＳ１２において、（ＡＲ−ＡＬ）の値が±Ｋの範囲よりも小さい場合は（「ＹＥＳ」）、続いて、瞳の上下端から眼の淵までの距離ＷＵ，ＷＬの差がしきい値Ｍ未満であるか否かを判断する（ステップＳ１３）。距離ＷＵ，ＷＬは、図４に示すように、瞳の上端から眼の淵までが距離ＷＵ，瞳の下端から眼の淵までが距離ＷＬと定義されている。そして、（ＷＵ−ＷＬ）の値が±Ｍの範囲よりも小さい場合は（「ＹＥＳ」）、視線方向を「真正面」であると判定する（ステップＳ１４）。
【００２４】
一方、ステップＳ１２において、（ＡＲ−ＡＬ）の値が大きく±Ｋの範囲以上となる場合は（「ＮＯ」）、白目面積ＡＬ，ＡＲの大小を比較する（ステップＳ１５）。ＡＲ＜ＡＬであれば（「ＹＥＳ」）、その時点で視線方向が「右方向」であると決定され（ステップＳ１６）、ＡＲ≧ＡＬであれば（「ＮＯ」）視線方向が「左方向」であると決定される（ステップＳ１７）。
また、ステップＳ１３において（ＷＵ−ＷＬ）の値が大きく±Ｍの範囲以上となる場合は（「ＮＯ」）、距離ＷＵ，ＷＬの大小を比較する（ステップＳ１８）。ＷＵ＜ＷＬであれば（「ＹＥＳ」）、その時点で視線方向が「真上」であると決定され（ステップＳ１９）、ＷＵ≧ＷＬであれば（「ＮＯ」）視線方向が「真下」であると決定される（ステップＳ２０）。
【００２５】
更に、視線方向が「右方向」である場合（ステップＳ１６）、その時点でステップＳ１３と同様に距離ＷＵ，ＷＬの差がしきい値Ｍ未満であるか否かを判断し（ステップＳ２１）、（ＷＵ−ＷＬ）の値が±Ｍの範囲よりも小さい場合は（「ＹＥＳ」）、視線方向が「真右」であると判定する（ステップＳ２２）。また、ステップＳ２１において（ＷＵ−ＷＬ）の値が±Ｍの範囲以上となる場合は（「ＮＯ」）、ステップＳ１８と同様に距離ＷＵ，ＷＬの大小を比較し（ステップＳ２３）、ＷＵ＜ＷＬであれば（「ＹＥＳ」）、その時点で視線方向が「右上」であると決定され（ステップＳ２４）、ＷＵ≧ＷＬであれば（「ＮＯ」）視線方向が「右下」であると決定される（ステップＳ２５）。
【００２６】
同様に、視線方向が「左方向」である場合も（ステップＳ１７）距離ＷＵ，ＷＬの差がしきい値Ｍ未満であるか否かを判断し（ステップＳ２６）、（ＷＵ−ＷＬ）の値が±Ｍの範囲よりも小さい場合は（「ＹＥＳ」）視線方向が「真左」であると判定し（ステップＳ２７）、ステップＳ２６において（ＷＵ−ＷＬ）の値が±Ｍの範囲以上となる場合は（「ＮＯ」）、距離ＷＵ，ＷＬの大小を比較し（ステップＳ２８）、ＷＵ＜ＷＬであれば（「ＹＥＳ」）その時点で視線方向が「左上」であると決定され（ステップＳ２９）、ＷＵ≧ＷＬであれば（「ＮＯ」）視線方向が「左下」であると決定される（ステップＳ３０）。
即ち、図４のフローチャートに従うことで、視線方向は、「左上」、「真上」、「右上」、「真左」、「真正面」、「真右」、「左下」、「真下」、「右下」の９種類に判定されるようになり、図２に示すステップＳ６ではその判定結果が記録される。
【００２７】
次に、図５は、図２に示す処理によってメモリ２３に記録されたデータを読み出して再生する、即ち、表示装置３の画面に動画像として表示させる場合の処理を示すフローチャートであり、制御回路２によって実行されるものである。また、図６は、その場合の表示装置３の画面イメージの一例を示すものである。
【００２８】
制御回路２は、周辺画像データを読み出して表示装置３に表示させる（ステップＳ３１）。ここで、周辺画像は、上述したように運転者側から車両のフロントウインドウ越しに見た車両前方を中心とする画像として撮像されており、それが図６（ａ）に示すように表示される（尚、画面の下端側に映り込んでいるのは、車両のフロント部分である）。
それから、制御回路２は、視線方向データを読み出すと、その視線方向が周辺画像上で示す位置を、例えば星型のマーカなどで表示させる。即ち、画像処理装置２２は、図４に示す処理によって運転者の視線方向を９種類に分類しているので、表示装置３の画面を図６（ｂ）に示すように９個のセルに分割して、９種類のセルをそれらに対応させる。そして、対応するセルの中心に視線方向を示すマーカを重畳して表示させる（図６（ｃ）参照）。図６（ｃ）に示す場合、視線方向は「左上」となっている。
【００２９】
また、制御回路２は、上記画像にデータが記録された時刻と、並行して記録された車両の走行データも、例えば画面の右上隅側に表示させる（ステップＳ３３）。更に、制御回路には、メモリ２３に記録された緯度，経度から、その位置に対応して地図データ入力器５より得られる地図データ上の具体的な地点名（場所）を検索し、その地点名を位置情報として画面に表示させる（ステップＳ３４）。そして、メモリ２３に記録された全てのデータを表示するまでは（ステップＳ３５，「ＮＯ」）上記の処理を繰り返す。
図６（ｃ）に示す表示例では、時刻情報として「２１時１２分２５秒」，車両の走行データとして走行速度「６０ｋｍ／ｈ」，及び「オイル漏れ」の発生検知（車両側にオイル漏れ検知センサが設けられている場合），位置情報として「刈谷市栄町交差点」が表示されている。
【００３０】
以上のように本実施例によれば、画像認識装置２２は、運転者顔監視カメラ２１が撮像した運転者の眼の画像より視線方向を判定し、カーナビゲーション装置１の制御回路２は、車速センサ１４等により検出された走行データ、位置検出器４により取得された位置データ、周囲状況監視カメラ２０により撮像された周辺画像データ、及び上記視線方向データを時刻と共にメモリ２３に周期的に記録するようにした。
従って、車両に事故が発生した場合は、その事故発生時点より遡ってメモリ２３に記録されているデータを解析すれば、運転者がどの方向に視線を向けて運転していたのかが判明するので、運転者がどのような運転を行っていたのかをより詳細に、具体的に把握することができる。故に、その解析結果を、事故の発生に対する過失責任の有無或いはその割合などを確定させるために、有効な証拠として使用することができる。
【００３１】
また、制御回路２は、メモリ２３に記録された周辺画像データを読み出して表示装置３に表示させる際に、その周辺画像データに運転者の視線方向が示す位置を重畳して表示させるので、記録されたデータを解析する場合は、表示装置３に表示される画像を参照することで、運転者の視線がどこを捉えていたのかを容易に把握することができる。
そして、画像認識装置２２は、眼画像より黒目部分と白目部分とを認識し、黒目部分，白目部分の画像分布状態に応じて運転者の視線方向を判定するので、運転者の視線が向いている方向を簡単に判定することができる。
【００３２】
（第２実施例）
図７及び図８は本発明の第２実施例を示すものであり、第１実施例と同一部分には同一符号を付して説明を省略し、以下異なる部分についてのみ説明する。第２実施例の構成は基本的に第１実施例と同様であり、画像認識装置２２による視線方向判定処理の内容が異なっている。第２実施例では、画像認識装置２２は、運転者顔監視カメラ２１が撮像している運転者の顔全体の画像に基づいて、運転者の顔の正面が向いている方向（顔方向）を判定し、その判定結果も加えて運転者の視線方向を判定するようにしている。
画像認識装置２２は、顔方向を例えば視線方向の判定と同様の９種類に分類するため、図８に示すように、予め９通りの顔方向の標準パターン画像を内部の図示しないメモリに記憶している。
【００３３】
図７は、顔方向判定と視線方向判定とを組み合わせて行なう処理の内容を示すフローチャートである。画像認識装置２２は、撮像された運転者の顔全体の画像をパターン化すると（ステップＳ４１）、その画像パターンを図８に示す９通りの標準パターンと照合する（ステップＳ４２）。そして、前者が後者の何れに最も近似しているかによって顔方向を決定する（ステップＳ４３）。
続いて、画像認識装置２２は、決定した顔方向が「真正面」であるか否かを判断する（ステップＳ４４）。「真正面」である場合は（「ＹＥＳ」）、第１実施例と同様に図４に示す視線判定処理を行ない（ステップＳ４５）、「真正面」以外の方向である場合は（「ＮＯ」）視線判定処理を行なわず、ステップＳ４３で決定した顔方向をそのまま視線方向とする（ステップＳ４６）。
【００３４】
以上のように第２実施例によれば、画像認識装置２２は、運転者顔監視カメラ２１が撮像している運転者の顔全体の画像に基づいて運転者の顔方向を判定すると、その判定結果も加えて当該運転者の視線方向を判定するようにした。即ち、実際の運転者の視線方向は、その基準となる顔が向いている方向に応じて変化するので、運転者の顔方向を考慮することで、運転者の視線方向をより高い精度で判定することができる。
【００３５】
本発明は上記し又は図面に記載した実施例にのみ限定されるものではなく、以下のような変形が可能である。
視線方向等の判定は、必ずしも９種類とする必要は無く、例えば１６種類や２５種類などに判別しても良い。
運転者の顔方向を判定する必要がない場合は、カメラによって運転者の眼の画像だけを撮像すれば良い。
上記実施例では、車両の走行中に、運転者の視線方向を判定して記録するようにしたが、例えば、走行中は運転者の眼の画像を撮像して（運転者画像撮像手段）その画像データをそのまま記録させておき、視線方向の判定は、記録された画像データに基づいて後程行うようにしても良い。例えば、記録された画像を再生する時点で判定を行っても良い。第２実施例における顔方向の判定についても同様である。
第２実施例のように顔方向も加味して視線方向を判定する場合は、その他、例えば顔方向が「右」であり、視線方向が「上」であるとすれば、両者を合成して「右上」と判定するようにしても良い。
【００３６】
記録されたデータを表示装置３に表示させる場合、並行して記録されている車両の走行データや時刻、位置情報などを同時に表示させる処理は、必要に応じて行えば良い。
視線方向を判定する手法については、上記実施例に限ることなく、例えば特開平７−６９１３９号公報に開示されているものや、その他の公知の手法を用いても良い。
制御回路２の処理能力が十分である場合は、画像処理装置２２の機能を制御回路２に持たせても良い。
記録されたデータを解析する場合は、必ずしも画像として表示する必要は無く、例えば、データを数値として出力させたものを解析しても良い。
カーナビゲーション装置を利用して構成するものに限ることなく、車両走行情報記録装置としての機能だけを備えた専用の装置として構成しても良い。
【図面の簡単な説明】
【００３７】
【図１】本発明を車両用ナビゲーション装置に適用した場合の第１実施例であり、車両用ナビゲーション装置の電気的構成を示す機能ブロック図
【図２】車両が走行中である場合に、ナビゲーション装置の制御回路によって実行されるデータ記録処理の内容を示すフローチャート
【図３】視線方向を判定するための原理を説明する図
【図４】画像処理装置による視線方向判定処理を示すフローチャート
【図５】メモリに記録されたデータを読み出して表示装置の画面に動画像として表示させる場合の処理を示すフローチャート
【図６】図５のフローチャートを実行した場合、表示装置の画面イメージを示す図
【図７】本発明の第２実施例であり、顔方向判定と視線方向判定とを組み合わせて行なう処理の内容を示すフローチャート
【図８】顔方向の標準パターン画像を示す図
【符号の説明】
【００３８】
図面中、１はカーナビゲーション装置（車両走行情報記録装置）、２は制御回路（データ記録手段，表示制御手段）、３は表示装置（表示手段）、４は位置検出器（位置取得手段）、１２は角速度センサ（走行データ検出手段）、１３はジャイロスコープ（走行データ検出手段）、１４は車速センサ（走行データ検出手段）、２０は周囲状況監視カメラ（周辺画像撮像手段）、２１は運転者顔監視カメラ（視線方向判定手段）、２２は画像認識装置（視線方向判定手段）、２３はメモリ（データ記録手段）を示す。
【特許請求の範囲】
【請求項１】
車両の走行状態を表す走行データを検出する走行データ検出手段と、
車両の現在位置を取得する位置取得手段と、
少なくとも車両の進行方向側を含む当該車両周辺の画像を撮像する周辺画像撮像手段と、
運転者の眼の画像を撮像し、その眼画像より前記運転者の視線方向を判定する視線方向判定手段と、
前記走行データ検出手段により検出された走行データ、前記位置取得手段により取得された位置データ、前記周辺画像撮像手段により撮像された周辺画像データ、及び前記視線方向判定手段によって判定された視線方向データを、時刻と共に周期的に記録するデータ記録手段とで構成される車両走行情報記録装置。
【請求項２】
車両の走行状態を表す走行データを検出する走行データ検出手段と、
車両の現在位置を取得する位置取得手段と、
少なくとも車両の進行方向側を含む当該車両周辺の画像を撮像する周辺画像撮像手段と、
運転者の眼の画像を撮像する運転者画像撮像手段と、
前記走行データ検出手段により検出された走行データ、前記位置取得手段により取得された位置データ、前記周辺画像撮像手段により撮像された周辺画像データ、及び前記運転者画像撮像手段により撮像された眼画像データを、時刻と共に周期的に記録するデータ記録手段と、
前記データ記録手段によって記録された眼画像データに基づいて、前記運転者の視線方向を判定する視線方向判定手段とを備えることを特徴とする車両走行情報記録装置。
【請求項３】
前記視線方向判定手段は、前記運転者の顔全体の画像も撮像し、その顔画像に基づいて前記運転者の顔の正面が向いている方向（顔方向）を判定し、その判定結果も加えて当該運転者の視線方向を判定することを特徴とする請求項１記載の車両走行情報記録装置。
【請求項４】
前記運転者画像撮像手段は、前記運転者の顔全体の画像も撮像し、
前記データ記録手段は、前記顔画像データも併せて記録し、
前記視線方向判定手段は、前記データ記録手段によって記録された顔画像データに基づいて、前記運転者の顔の正面が向いている方向（顔方向）を判定し、その判定結果も加えて当該運転者の視線方向を判定することを特徴とする請求項２記載の車両走行情報記録装置。
【請求項５】
前記データ記録手段によって記録された周辺画像データを読み出して、表示手段に表示させる表示制御手段を備え、
前記表示制御手段は、前記周辺画像データに、前記視線方向判定手段によって判定された前記運転者の視線方向が示す位置を重畳して表示させることを特徴とする請求項１乃至４の何れかに記載の車両走行情報記録装置。
【請求項６】
前記視線方向判定手段は、前記眼画像より黒目部分と白目部分とを認識し、前記黒目部分，白目部分の画像分布状態に応じて、前記運転者の視線方向を判定することを特徴とする請求項１乃至５の何れかに記載の車両走行情報記録装置。
【請求項１】
車両の走行状態を表す走行データを検出する走行データ検出手段と、
車両の現在位置を取得する位置取得手段と、
少なくとも車両の進行方向側を含む当該車両周辺の画像を撮像する周辺画像撮像手段と、
運転者の眼の画像を撮像し、その眼画像より前記運転者の視線方向を判定する視線方向判定手段と、
前記走行データ検出手段により検出された走行データ、前記位置取得手段により取得された位置データ、前記周辺画像撮像手段により撮像された周辺画像データ、及び前記視線方向判定手段によって判定された視線方向データを、時刻と共に周期的に記録するデータ記録手段とで構成される車両走行情報記録装置。
【請求項２】
車両の走行状態を表す走行データを検出する走行データ検出手段と、
車両の現在位置を取得する位置取得手段と、
少なくとも車両の進行方向側を含む当該車両周辺の画像を撮像する周辺画像撮像手段と、
運転者の眼の画像を撮像する運転者画像撮像手段と、
前記走行データ検出手段により検出された走行データ、前記位置取得手段により取得された位置データ、前記周辺画像撮像手段により撮像された周辺画像データ、及び前記運転者画像撮像手段により撮像された眼画像データを、時刻と共に周期的に記録するデータ記録手段と、
前記データ記録手段によって記録された眼画像データに基づいて、前記運転者の視線方向を判定する視線方向判定手段とを備えることを特徴とする車両走行情報記録装置。
【請求項３】
前記視線方向判定手段は、前記運転者の顔全体の画像も撮像し、その顔画像に基づいて前記運転者の顔の正面が向いている方向（顔方向）を判定し、その判定結果も加えて当該運転者の視線方向を判定することを特徴とする請求項１記載の車両走行情報記録装置。
【請求項４】
前記運転者画像撮像手段は、前記運転者の顔全体の画像も撮像し、
前記データ記録手段は、前記顔画像データも併せて記録し、
前記視線方向判定手段は、前記データ記録手段によって記録された顔画像データに基づいて、前記運転者の顔の正面が向いている方向（顔方向）を判定し、その判定結果も加えて当該運転者の視線方向を判定することを特徴とする請求項２記載の車両走行情報記録装置。
【請求項５】
前記データ記録手段によって記録された周辺画像データを読み出して、表示手段に表示させる表示制御手段を備え、
前記表示制御手段は、前記周辺画像データに、前記視線方向判定手段によって判定された前記運転者の視線方向が示す位置を重畳して表示させることを特徴とする請求項１乃至４の何れかに記載の車両走行情報記録装置。
【請求項６】
前記視線方向判定手段は、前記眼画像より黒目部分と白目部分とを認識し、前記黒目部分，白目部分の画像分布状態に応じて、前記運転者の視線方向を判定することを特徴とする請求項１乃至５の何れかに記載の車両走行情報記録装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−７２５６７（Ｐ２００７−７２５６７Ａ）
【公開日】平成１９年３月２２日（２００７．３．２２）
【国際特許分類】
【出願番号】特願２００５−２５６２９６（Ｐ２００５−２５６２９６）
【出願日】平成１７年９月５日（２００５．９．５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成１９年３月２２日（２００７．３．２２）
【国際特許分類】
【出願日】平成１７年９月５日（２００５．９．５）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]