視線認識装置、及び視線認識方法
【課題】 計測対象者の視線挙動の検出精度を向上する。
【解決手段】 視線認識装置は、計測対象者の頭部運動及び眼球運動を検出する検出手段１２と、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸を演算する演算手段１４と、計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する環境撮像カメラ１６と、撮像画像データを、視線軸を基準とする視野画像データに射影変換する射影変換部２２と、視野画像データに基づいて、計測対象者の視線の挙動を認識する第三処理部４０と、を備えている。
【解決手段】 視線認識装置は、計測対象者の頭部運動及び眼球運動を検出する検出手段１２と、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸を演算する演算手段１４と、計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する環境撮像カメラ１６と、撮像画像データを、視線軸を基準とする視野画像データに射影変換する射影変換部２２と、視野画像データに基づいて、計測対象者の視線の挙動を認識する第三処理部４０と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線挙動や注目対象などを認識するための視線認識装置、及び視線認識方法に関する。
【背景技術】
【０００２】
特許文献１に係る装置では、計測対象者の傍に、計測対象者の視野領域を撮像する固定カメラと、計測対象者の眼球運動を検出するセンサと、が設置されており、計測対象者の眼球運動に基づいて、撮像画像における計測対象者の視線の挙動を認識していた。
【特許文献１】特開平６−５９８０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記の特許文献１に係る装置では、計測対象者の視線挙動（視線位置、注目状態など）の検出精度が低いという問題がある。例えば、計測対象者が姿勢を変えつつ同じ位置を注目する状況では、計測対象者の眼球は運動する。よって、上記装置では、計測対象者が同じ位置を注目しているにも拘らず、計測対象者の眼球の変化に応じて計測対象者の視線位置が変化しているものと判定されてしまう。
【０００４】
そこで、本発明は、視線認識装置において、計測対象者の視線挙動の検出精度を向上することを目的とする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明に係る視線認識装置によれば、計測対象者の頭部運動及び眼球運動を検出する検出手段と、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸を演算する演算手段と、計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像手段と、撮像画像データを、視線軸を基準とする視野画像データに射影変換する変換手段と、視野画像データに基づいて、計測対象者の視線の挙動を認識する認識手段と、を備えたことを特徴とする。
【０００６】
上述した構成の視線認識装置によれば、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸が算出されるため、計測対象者の姿勢変化に対応した視線軸が算出される。そして、視線認識装置は、撮像手段の撮像軸を基準とする撮像画像データを、計測対象者の視線軸を基準とする視野画像データに射影変換してから、この視野画像データに基づいて計測対象者の視線の挙動を認識する。よって、計測対象者の姿勢変化によって検出精度を低下させることなく、計測対象者の視線挙動を認識することができる。なお、視線の挙動とは、例えば、視線の位置、視線の注目状態などである。
【０００７】
上述した視線認識装置において、認識手段は、異なる時刻に生成された２つの視野画像データの位置ずれに基づいて、視線が注目状態にあるか否かを判定することが好ましい。この構成によれば、撮像画像データを視野画像データに射影変換しているため、異なる時刻に生成された２つの視野画像データの位置ずれを求めることにより、計測対象者の視線の位置が移動しているか否かを判定する。よって、計測対象者の姿勢変化により検出精度を低下させることなく、計測対象者が注目状態にあるか否かを判定することができる。
【０００８】
上述した視線認識装置において、認識手段は、視野画像データにおいて、視線軸に対応する画素の対象物を、計測対象者の視線の位置にある対象物として認識することが好ましい。この構成によれば、計測対象者の姿勢変化により検出精度を低下させることなく、計測対象者の視線の位置にある対象物を認識することができる。また、視線軸を基準とした視野画像データを用いることで、計測対象者からの奥行きを考慮することなく、計測対象者の視線の位置にある対象物を認識することができる。
【０００９】
ここで、認識手段が対象物を認識するための一つの方法としては、上述した視線認識装置において、対象物の位置情報に基づいて対象物を視野画像データの画素に関連付ける関連付け手段をさらに備え、認識手段は、視野画像データにおいて、視線軸に対応する画素に関連付けられた対象物を、計測対象者の視線の位置にある対象物として認識してもよい。また、認識手段が対象物を認識するための別の方法としては、視野画像データの特徴量を演算し、特徴量に基づいて計測対象者の視線の位置にある対象物を認識してもよい。
【００１０】
上述した目的を達成するために、本発明に係る視線認識方法によれば、計測対象者の頭部運動及び眼球運動を検出する検出ステップと、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸を演算する演算ステップと、計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像ステップと、撮像画像データを、視線軸を基準とする視野画像データに射影変換する変換ステップと、視野画像データに基づいて、計測対象者の視線の挙動を認識する認識ステップと、を備えたことを特徴とする。
【発明の効果】
【００１１】
本発明に係る視線認識装置によれば、計測対象者の視線挙動の検出精度を向上することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明の実施形態に係る視線認識装置について詳細に説明する。本実施形態に係る視線認識装置は、車両に搭載され、計測対象者である運転者の視線の挙動を認識する。なお、以下の説明で、車両中心を原点として、車両の前後方向Ｘ、左右方向Ｙ及び上下方向Ｚに延びる３軸からなる３次元座標系を、視線の挙動の計測における基準座標系としている。
【００１３】
図１には、視線認識装置１の全体構成が示されている。視線認識装置１は、物理的には、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ、画像データを生成するカメラ等を組み合わせて構成されている。また、視線認識装置１は、機能的には、頭部／眼球運動を検出するための頭部／眼球運動検出処理部１０と、車両前方の環境を撮像するための環境撮影カメラ１６と、カメラ１６により生成された画像データを射影変換してから蓄積する第一処理部２０と、射影変換後の画像データに外部環境にある対象物を関連付ける第二処理部３０と、射影変換後の画像データに基づいて運転者の視線挙動を認識する第三処理部４０と、で構成される。
【００１４】
頭部／眼球運動検出処理部１０は、車室内に設置されて運転者の頭部周辺を撮像する１台のカメラ（検出手段）１２と、カメラ１２により生成された画像データを処理する１台の演算装置１４とで構成される。基準座標系におけるカメラ１２の位置は予めキャリブレーションされており、カメラ１２の位置の座標値は、演算装置が有するメモリに格納されている。演算装置１４は、カメラ１２により生成された画像データを取り込んで、画像データを処理することで、運転者の頭部中心位置の座標値と、左右眼球中心位置の座標値とを算出する。また、演算装置１４は、運転者の視線の方向のベクトル、即ち、頭部中心位置から左右眼球中心位置の方向に延びる方向ベクトル（以下、視線ベクトルと呼ぶ）を算出する。これらのデータ（以下、視線データと呼ぶ）は、後段の処理で、左右眼球中心位置を始点として視線ベクトルの方向に延びる視線軸を規定するために利用される。頭部／眼球運動検出処理部１０は、上述した処理を所定時間ごとに繰り返して、視線データを計測時刻情報と共に第一処理部２０に繰り返し送信する。
【００１５】
環境撮影カメラ１６（撮像手段）は、車両のフロントウィンドウ上部に前方を向いて設置された１台のカメラであり、例えばＣＣＤカメラ、赤外線カメラなどである。基準座標系における環境撮影カメラ１６の位置は予めキャリブレーションされており、環境撮影カメラ１６の位置の座標値は、射影変換部２２が有するメモリに格納されている。環境撮影カメラ１６により撮像される車両前方の領域は、通常の運転状態で運転者の視野にある領域であるため、環境撮影カメラ１６により運転者の視野領域の画像データが生成される。画像撮像カメラは、画像データ、カメラパラメータ（カメラの焦点距離、レンズの歪み係数、画像中心、空間中のカメラの位置と方向を決める回転行列、平行移動ベクトルなど）、計測時刻情報を第一処理部２０に送信する。なお、以下の説明では、撮像画像データ及びカメラパラメータをまとめて撮影データと呼ぶ。
【００１６】
次に、第一処理部２０について説明する。第一処理部２０は、撮像画像データを射影変換する射影変換部２２と、射影変換後の画像データを記憶する視野画像蓄積部２４とで構成される。
【００１７】
射影変換部２２では、視線データ及び撮影データを取り込むと、両データに付随する計測時刻情報を比較して、両データが同じタイミングで計測されたことを確認する。そして、射影変換部２２は、撮像画像データを、運転者の視線で見た画像データ（以下、視野画像データと呼ぶ）に変換する処理を行う。この変換処理を、図２を参照して説明する。
【００１８】
環境撮影カメラ１６により撮像された撮像画像データＰＣは、環境撮影カメラ１６から前方に延びる撮像軸ＡＣを中心とした領域を撮像した画像データである。射影変換部２２は、カメラパラメータに基づいて撮像軸ＡＣを表す直線を算出する。次に、射影変換部２２は、視線データに基づいて視線軸ＡＧを表す直線を算出する。そして、射影変換部２２は、撮像軸ＡＣを基準とする撮像画像データＰＣを、視線軸ＡＧを基準とする視野画像データＰＧに射影変換するための変換行列を求め、この変換行列を用いて撮像画像データＰＣを構成する各画素を処理して、視野画像データＰＧを得る。この処理により、環境撮影カメラ１６により撮像された対象物Ｏは、視野画像データＰＧにおいて運転者の視線で見た形状に変換される。射影変換部２２は、視野画像データＰＧを計測時刻情報と共に視野画像蓄積部２４へ送信する。
【００１９】
視野画像蓄積部２４は、視野画像データを取り込むたびに、視野画像データを計測時刻情報と共にメモリに記憶し、続いて、現計測時刻における視野画像データ及びその計測時刻情報を、視線変化検出部４２及び対象存在マップ生成部３６に送信する。また、視野画像蓄積部２４は、視線変化検出部４２から送信要求があったときには、要求された計測時刻の視野画像データを視線変化検出部４２に送信する。
【００２０】
次に、第二処理部３０について説明する。第二処理部３０は、車両周辺にある対象物の種別及び位置の情報を有する環境情報学習部３２及び環境情報獲得センサ３４と、対象物を視野画像に関連付けた対象存在マップを生成する対象存在マップ生成部３６とで構成される。
【００２１】
環境情報学習部３２は、視野画像蓄積部２４に蓄積された視野画像データを取り込んで、視野画像データを処理することにより、視野画像データの各領域について特徴量を演算する。そして、環境情報学習部３２は、各領域の特徴量に基づいて特定の対象物（路面、レーンマーク、信号機、構造物など）の存在確率、及び対象物の存在位置を算出する。また、環境情報学習部３２は、車両前方の空間を基準座標系の各方向に一定間隔ごとに区切って、多数の立方空間のブロックＢｎ（ｎ＝１，２，３，・・，ｋ，・・，ｎ）として把握している。環境情報学習部３２は、多数のブロックＢｎのそれぞれについて、当該ブロックＢｎに存在する対象物の存在確率を関連付ける。例えば、環境情報学習部３２は、いずれか１つのブロックＢｋについて、路面ｒｄの存在確率Ｐ（ｒｄ|Ｂｋ）、レーンマークｌｍの存在確率Ｐ（ｌｍ|Ｂｋ）、信号機ｔｓの存在確率Ｐ（ｔｓ|Ｂｋ）を関連付ける。環境情報学習部３２が、このような処理を行うことで、各ブロックＢｎごとに各種対象物の存在確率Ｐを表したデータ集合が得られる。環境情報学習部３２は、このデータ集合を対象存在マップ生成部３６に送信する。
【００２２】
環境情報獲得センサ３４では、ＧＰＳ（GlobalPositioning System）受信装置、地図データベース、レーダ装置などで構成されている。環境情報獲得センサ３４は、ＧＰＳ受信装置により現在地情報が演算されると、地図データベースから現在地周辺の地図情報を抽出する。これにより、環境情報獲得センサ３４は、現在地周辺に存在する対象物（路面、レーンマーク、信号機、構造物など）の種別情報と、当該対象物の存在位置情報を取得する。また、環境情報獲得センサ３４は、レーダ装置を用いて前方障害物（対象物）の存在位置を算出する。環境情報獲得センサ３４は、各対象物の種別情報と存在位置情報を、対象存在マップ生成部３６に送信する。
【００２３】
対象存在マップ生成部３６は、環境情報学習部３２から対象物の存在確率のデータ集合を取り込み、さらに環境情報獲得センサ３４から対象物の種別情報及び位置情報を取り込むと、次の処理を行う。対象存在マップ生成部３６は、視野画像データを格子状に区切って、視野画像データを多数の正方形領域Ｒｎの集合として把握している。また、対象存在マップ生成部３６は、前述した多数の立方空間のブロックＢｎのそれぞれについて、ブロックＢｎが投影される視野画像上の正方形領域Ｒｎを把握している。対象存在マップ生成部３６は、環境情報学習部３２からのデータ集合を参照して、各ブロックＢｎが投影される関係にある正方形領域Ｒｎに、各ブロックＢｎの対象物の種別情報及び存在確率情報を関連付ける。
【００２４】
次に、対象存在マップ生成部３６は、環境情報獲得センサ３４からの対象物の種別情報及び位置情報に基づいて、視野画像データの各正方形領域Ｒｎに各対象物を投影する。ここで、対象物の存在確率が割り当てられた正方形領域Ｒｎに、同種の対象物が投影された場合には、対象存在マップ生成部３６は、その対象物が確実に存在するものと判断し、当該正方形領域Ｒｎにおける存在確率を１に更新する。一方、対象物の存在確率が割り当てられた正方形領域Ｒｎに、同種の対象物が投影されない場合には、対象存在マップ生成部３６は、その対象物が存在しないものと判断し、当該正方形領域における存在確率を０に更新する。以上の処理により、対象存在マップが生成される。対象存在マップ生成部３６は、対象存在マップを、注目対象判定部４８に送信する。
【００２５】
次に、第三処理部４０について説明する。第三処理部４０は、運転者の視線位置の変化を認識する視線変化検出部４２と、視線位置変化の認識結果に基づいて注目状態であるか否かを判定する注目状態判定部４６と、時間計測タイマ４４と、運転者が注目する対象物を判定する注目対象判定部４８とで構成される。
【００２６】
視線変化検出部４２は、視野画像蓄積部２４から、現在の計測時刻における視野画像データ及び計測時刻情報を取り込むと、続いて、時間計測タイマ４４に設定されている比較用計測時刻を読み出して、比較用計測時刻の情報を視野画像蓄積部２４に送信する。ここで、時間計測タイマ４４には、比較用計測時刻として、現在の時刻より一定時間前の時刻が設定されている。視野画像蓄積部２４は、比較用計測時刻の情報を取り込むと、当該比較用計測時刻と共に格納された視野画像データ（以下、比較用視野画像データと呼ぶ）を読み出して、視線変化検出部４２に送信する。視線変化検出部４２は、現計測時刻の視野画像データと比較用視野画像データとを比較して、両画像データの位置ずれ量ｄを算出する。画像データの位置ずれ量ｄの算出方法について、図３及び図４を参照して説明する。
【００２７】
視線変化検出部４２は、現計測時刻における視野画像データＰｎを処理することで、基準座標系における３次元位置が既知かつ不変な対象物Ｏ（例えば、車体の一部）を検出し、現計測時刻における視野画像データＰｎにおいて対象物Ｏに対応する画素ｍｎを特徴点として抽出する。また、視線変化検出部４２は、比較用視野画像データＰｎ−１を同様に処理することで、同じ対象物Ｏを検出し、比較用視野画像データＰｎ−１において対象物Ｏに対応する画素ｍｎ−１を特徴点として抽出する。そして、視線変化検出部４２は、特徴点ｍｎの画素位置と特徴点ｍｎ−１の画素位置との差分を求め、その差分を現計測時刻の視野画像データと比較用視野画像データのずれ量ｄとする。ここで、運転者が視線軸ＡＧを変化させたときには、視線軸ＡＧの変化に応じて対象物Ｏの画素位置が変化するため、ずれ量ｄは視線軸ＡＧの変化量に応じた値となる。次に、視線変化検出部４２は、両画像データのずれ量ｄを、現計測時刻と比較用計測時刻との時間差分ｔｎ−ｔｎ−１で除算することで、運転者の視線軸ＡＧの移動速度ｖを算出する。視線変化検出部４２は、視線軸ＡＧの移動速度ｖを、計測時刻情報ｔｎ及び時間差分ｔｎ−ｔｎ−１と共に注目状態判定部４６に送信する。
【００２８】
注目状態判定部４６は、視線変化検出部４２から、視線移動速度ｖ、計測時刻情報ｔｎ及び時間差分ｔｎ−ｔｎ−１を取り込むと、これらに基づいて運転者が対象物Ｏを注目しているか否かを判定する処理を行う。注目状態判定部４６は、この処理によって、運転者が注目状態にあるか否かを示す注目状態フラグＦＧ、及び注目継続時間Ｔｄを取得する。そして、注目状態判定部４６は、計測時刻ｔ、注目状態フラグＦＧ、注目継続時間Ｔｄを、注目対象判定部４８に送信する。
【００２９】
注目対象判定部４８は、注目状態判定部４６から、計測時刻情報ｔ、注目状態フラグＦＧ、持続時間Ｔｄを取り込み、さらに対象存在マップ生成部３６から対象存在マップを取り込むと、これらの情報に基づいて運転者が注目している対象物を判定する処理を行う。具体的には、注目対象判定部４８は、注目状態フラグが１である場合に、対象存在マップにおいて視線軸に対応する中央の正方形領域Ｒｎにおいて存在確率が１である対象物を、運転者が注目する対象物であると判定する。
【００３０】
本実施形態の視線認識装置１によれば、頭部運動及び眼球運動の検出値に基づいて運転者の視線軸が算出されるため、運転者の姿勢変化に対応した視線軸が算出される。そして、撮像手段の撮像軸を基準とする撮像画像データを、運転者の視線軸を基準とする視野画像データに射影変換し、この視野画像データに基づいて運転者の視線の挙動を認識する。よって、運転者の姿勢変化により検出精度を低下させることなく、運転者の視線位置や注目状態などを判定することができる。さらには、運転者の姿勢変化により検出精度を低下させることなく、運転者の注目する対象物を判定することができる。
【００３１】
また、本実施形態の視線認識装置１では、運転者の視線軸を基準とした視野画像データを用いることで、運転者からの奥行きを考慮することなく、運転者の視線の位置にある対象物を認識することを可能としている。仮に、従来技術のように撮像画像データを用いて運転者の視線の位置にある対象物を認識しようとすると、運転者から対象物までの奥行きを考慮して、撮像画像データにおいて運転者の視線位置に対応する画素領域を特定する必要がある。これに対して、本実施形態のように、運転者の視線軸を基準とした視野画像データを求めれば、視野画像データにおいて視線軸に対応する画素領域を特定することで、運転者からの奥行きを考慮することなく、運転者の視線位置にある対象物を認識することができる。
【００３２】
図５を参照して、上述した視線認識装置１が行う処理の流れについて説明する。視線認識装置１は、頭部運動及び眼球運動の検出値から視線データを算出する（Ｓ５０１）と共に、車両前方の撮像画像データを生成する（Ｓ５０２）。次に、視線認識装置１は、撮像軸を基準とする撮像画像データを、視線軸を基準とする視野画像データに射影変換してから、メモリに記憶する（Ｓ５０３）。次に、視線認識装置１は、特徴点のずれ量を求め、運転者が注目状態にあるか否かを判定する（Ｓ５０４）。また同時に、視線認識装置１は、対象存在マップを生成する（Ｓ５０５）。そして、視線認識装置１は、運転者が注目している対象物を認識して、処理を終了する（Ｓ５０６）。なお、上述したステップ５０１〜ステップ５０５の処理は、車両の走行中に所定時間ごとに繰り返し行われる。
【００３３】
上述したステップ５０４の処理において、視線挙動を判定する処理について、図６を参照して詳しく説明する。なお、図６に示される視線挙動判定処理は、注目状態判定部４６により行われる処理である。
【００３４】
注目状態判定部４６は、特徴点移動速度ｖが視線位置停止判定用の閾値ｔｈｄｖを下回っているか否かを判定する（Ｓ６０１）。ここで、特徴点移動速度ｖが閾値ｔｈｄｖを下回っている場合には、運転者の視線位置がほぼ変化しない状態にあることを判定し、注目状態判定部４６は、視線位置の停止時間を表す変数Ｔａに時間差分ｄｔを加算する（Ｓ６０２）。一方、特徴点移動速度ｖが閾値ｔｈｄｖを上回っている場合には、運転者の視線位置が変化している状態にあることを判定し、注目状態判定部４６は、視線位置の停止時間を表す変数Ｔａを０にリセットする（Ｓ６０３）。
【００３５】
次に、注目状態判定部４６は、視線位置の停止時間を表す変数Ｔａが、注目状態判定用の閾値ｔｈｄＴａを上回っているか否かを判定する（Ｓ６０４）。ここで、変数Ｔａが閾値ｔｈｄＴａを上回っている場合には、運転者がいずれかの対象物を注目している状態にあることを判定して、注目状態フラグＦＧ（ｔ）に１を設定すると共に、注目継続時間を表す変数Ｔｄ（ｔ）に、視線位置が停止する時間を表す変数Ｔａの値を格納する（Ｓ６０５）。一方、視線位置の停止時間を表す変数Ｔａが閾値ｔｈｄＴａを下回っている場合には、運転者が注目状態にないことを判定して、注目状態フラグＦＧ（ｔ）に０を設定すると共に、注目継続時間を表す変数Ｔｄ（ｔ）に０を設定する（Ｓ６０６）。そして、注目状態判定部４６は、計測時刻ｔ、注目状態フラグＦＧ（ｔ）、注目継続時間Ｔｄ（ｔ）を、注目対象判定部４８に送信する（Ｓ６０７）。
【００３６】
また、図５のフローチャートのステップ５０６の処理において、注目対象を判定する処理について、図７を参照して詳しく説明する。なお、図７に示される注目対象判定処理は、注目対象判定部により行われる処理である。
【００３７】
注目対象判定部は、注目状態フラグＦＧ（ｔ）が１であるか否かを判定する（Ｓ７０１）。ここで、注目状態フラグＦＧ（ｔ）が１である場合には、運転者がいずれかの対象物を注目している状態にあると判定して、運転者が注目する対象物を認識すべくステップ７０２の処理に進む。ステップ７０２では、注目対象判定部は、対象存在マップ画像Ｉ（ｔ）の中央及びその周囲の領域を、運転者が注目する注目領域として決定する（Ｓ７０３）。次に、注目対象判定部は、注目領域において存在確率Ｐ（ｏｂｊ）が１である対象物ｏｂｊを、運転者が注目する対象物Ｏａｔｎ（ｔ）であると判定する（Ｓ７０３）。
【００３８】
次に、注目対象判定部４８は、現計測時刻ｔにおける注目対象物Ｏａｔｎ（ｔ）と、前計測時刻ｔｐｒｖにおける注目対象物Ｏａｔｎ（ｔｐｒｖ）が同一であるか否かを判定する（Ｓ７０４）。ここで、注目対象物Ｏａｔｎ（ｔ），Ｏａｔｎ（ｔｐｒｖ）が同一である場合には、注目状態が依然として継続しているため、前計測時刻における注目継続時間Ｔａｔｎ（ｔｐｒｖ）に時間差ｔ−ｔｐｒｖを加算した値を、現計測時刻における注目継続時間Ｔａｔｎ（ｔ）とする（Ｓ７０５）。一方、注目対象物Ｏａｔｎ（ｔ），Ｏａｔｎ（ｔｐｒｖ）が異なる場合には、注目対象物Ｏａｔｎ（ｔ）が変化しているため、現計測時刻における注目継続時間Ｔａｔｎ（ｔ）を０にリセットする（Ｓ７０６）。そして、注目対象判定部４８は、注目対象物と注目継続時間の情報を外部に出力する（Ｓ７０７）。
【００３９】
ステップ７０１の処理で、注目状態フラグＦＧ（ｔ）が１でないと判定された場合には、運転者はいずれの対象物も注目していない状態にあると判定して、注目対象物にＮＵＬＬを設定し、注目継続時間に０を設定する（Ｓ７０８）。そして、注目対象判定部４８は、注目対象物と注目継続時間の情報を外部に出力する（Ｓ７０７）。
【００４０】
なお、上述した実施形態の視線認識装置１では、環境撮影カメラ１６は１つであるが、他の実施形態では、環境撮影カメラ１６を２台以上としてもよい。この場合、射影変換部２２は、複数の環境撮影カメラ１６のうち、視線軸と撮像軸の内積が最小となる環境撮影カメラ１６を選択して、上述した視線挙動を認識する処理を行えばよい。
【００４１】
また、上述した実施形態の視線認識装置１では、頭部／眼球運動検出処理部１０が有する画像撮像装置を１台としたが、他の実施形態では、画像撮像装置を２台以上としてもよい。この場合、頭部運動及び眼球運動を最もよく撮像した画像撮像装置を選択すればよい。
【図面の簡単な説明】
【００４２】
【図１】視線判定装置の概略構成を示す機能ブロック図である。
【図２】撮像画像データの射影変換を説明するための模式図である。
【図３】視線変化の検出を説明するための模式図である。
【図４】視線変化の検出を説明するための模式図である。
【図５】視線認識装置による処理を示すフローチャートである。
【図６】注目状態判定部による処理を示すフローチャートである。
【図７】注目対象認識部による処理を示すフローチャートである。
【符号の説明】
【００４３】
１…視線認識装置、１０…眼球運動検出処理部、１２…カメラ（検出手段）、１４…演算装置（演算手段）、１６…環境撮影カメラ（撮像手段）、２０…第一処理部、２２…射影変換部（変換手段）、２４…視野画像蓄積部、３０…第二処理部（関連付け手段）、３２…環境情報学習部、３４…環境情報獲得センサ、３６…対象物存在マップ生成部、４０…第三処理部（認識手段）、４２…視線変化検出部、４４…時間計測タイマ、４６…注目状態判定部、４８…注目対象判定部。
【技術分野】
【０００１】
本発明は、視線挙動や注目対象などを認識するための視線認識装置、及び視線認識方法に関する。
【背景技術】
【０００２】
特許文献１に係る装置では、計測対象者の傍に、計測対象者の視野領域を撮像する固定カメラと、計測対象者の眼球運動を検出するセンサと、が設置されており、計測対象者の眼球運動に基づいて、撮像画像における計測対象者の視線の挙動を認識していた。
【特許文献１】特開平６−５９８０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記の特許文献１に係る装置では、計測対象者の視線挙動（視線位置、注目状態など）の検出精度が低いという問題がある。例えば、計測対象者が姿勢を変えつつ同じ位置を注目する状況では、計測対象者の眼球は運動する。よって、上記装置では、計測対象者が同じ位置を注目しているにも拘らず、計測対象者の眼球の変化に応じて計測対象者の視線位置が変化しているものと判定されてしまう。
【０００４】
そこで、本発明は、視線認識装置において、計測対象者の視線挙動の検出精度を向上することを目的とする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明に係る視線認識装置によれば、計測対象者の頭部運動及び眼球運動を検出する検出手段と、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸を演算する演算手段と、計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像手段と、撮像画像データを、視線軸を基準とする視野画像データに射影変換する変換手段と、視野画像データに基づいて、計測対象者の視線の挙動を認識する認識手段と、を備えたことを特徴とする。
【０００６】
上述した構成の視線認識装置によれば、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸が算出されるため、計測対象者の姿勢変化に対応した視線軸が算出される。そして、視線認識装置は、撮像手段の撮像軸を基準とする撮像画像データを、計測対象者の視線軸を基準とする視野画像データに射影変換してから、この視野画像データに基づいて計測対象者の視線の挙動を認識する。よって、計測対象者の姿勢変化によって検出精度を低下させることなく、計測対象者の視線挙動を認識することができる。なお、視線の挙動とは、例えば、視線の位置、視線の注目状態などである。
【０００７】
上述した視線認識装置において、認識手段は、異なる時刻に生成された２つの視野画像データの位置ずれに基づいて、視線が注目状態にあるか否かを判定することが好ましい。この構成によれば、撮像画像データを視野画像データに射影変換しているため、異なる時刻に生成された２つの視野画像データの位置ずれを求めることにより、計測対象者の視線の位置が移動しているか否かを判定する。よって、計測対象者の姿勢変化により検出精度を低下させることなく、計測対象者が注目状態にあるか否かを判定することができる。
【０００８】
上述した視線認識装置において、認識手段は、視野画像データにおいて、視線軸に対応する画素の対象物を、計測対象者の視線の位置にある対象物として認識することが好ましい。この構成によれば、計測対象者の姿勢変化により検出精度を低下させることなく、計測対象者の視線の位置にある対象物を認識することができる。また、視線軸を基準とした視野画像データを用いることで、計測対象者からの奥行きを考慮することなく、計測対象者の視線の位置にある対象物を認識することができる。
【０００９】
ここで、認識手段が対象物を認識するための一つの方法としては、上述した視線認識装置において、対象物の位置情報に基づいて対象物を視野画像データの画素に関連付ける関連付け手段をさらに備え、認識手段は、視野画像データにおいて、視線軸に対応する画素に関連付けられた対象物を、計測対象者の視線の位置にある対象物として認識してもよい。また、認識手段が対象物を認識するための別の方法としては、視野画像データの特徴量を演算し、特徴量に基づいて計測対象者の視線の位置にある対象物を認識してもよい。
【００１０】
上述した目的を達成するために、本発明に係る視線認識方法によれば、計測対象者の頭部運動及び眼球運動を検出する検出ステップと、頭部運動及び眼球運動の検出値に基づいて計測対象者の視線軸を演算する演算ステップと、計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像ステップと、撮像画像データを、視線軸を基準とする視野画像データに射影変換する変換ステップと、視野画像データに基づいて、計測対象者の視線の挙動を認識する認識ステップと、を備えたことを特徴とする。
【発明の効果】
【００１１】
本発明に係る視線認識装置によれば、計測対象者の視線挙動の検出精度を向上することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明の実施形態に係る視線認識装置について詳細に説明する。本実施形態に係る視線認識装置は、車両に搭載され、計測対象者である運転者の視線の挙動を認識する。なお、以下の説明で、車両中心を原点として、車両の前後方向Ｘ、左右方向Ｙ及び上下方向Ｚに延びる３軸からなる３次元座標系を、視線の挙動の計測における基準座標系としている。
【００１３】
図１には、視線認識装置１の全体構成が示されている。視線認識装置１は、物理的には、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ、画像データを生成するカメラ等を組み合わせて構成されている。また、視線認識装置１は、機能的には、頭部／眼球運動を検出するための頭部／眼球運動検出処理部１０と、車両前方の環境を撮像するための環境撮影カメラ１６と、カメラ１６により生成された画像データを射影変換してから蓄積する第一処理部２０と、射影変換後の画像データに外部環境にある対象物を関連付ける第二処理部３０と、射影変換後の画像データに基づいて運転者の視線挙動を認識する第三処理部４０と、で構成される。
【００１４】
頭部／眼球運動検出処理部１０は、車室内に設置されて運転者の頭部周辺を撮像する１台のカメラ（検出手段）１２と、カメラ１２により生成された画像データを処理する１台の演算装置１４とで構成される。基準座標系におけるカメラ１２の位置は予めキャリブレーションされており、カメラ１２の位置の座標値は、演算装置が有するメモリに格納されている。演算装置１４は、カメラ１２により生成された画像データを取り込んで、画像データを処理することで、運転者の頭部中心位置の座標値と、左右眼球中心位置の座標値とを算出する。また、演算装置１４は、運転者の視線の方向のベクトル、即ち、頭部中心位置から左右眼球中心位置の方向に延びる方向ベクトル（以下、視線ベクトルと呼ぶ）を算出する。これらのデータ（以下、視線データと呼ぶ）は、後段の処理で、左右眼球中心位置を始点として視線ベクトルの方向に延びる視線軸を規定するために利用される。頭部／眼球運動検出処理部１０は、上述した処理を所定時間ごとに繰り返して、視線データを計測時刻情報と共に第一処理部２０に繰り返し送信する。
【００１５】
環境撮影カメラ１６（撮像手段）は、車両のフロントウィンドウ上部に前方を向いて設置された１台のカメラであり、例えばＣＣＤカメラ、赤外線カメラなどである。基準座標系における環境撮影カメラ１６の位置は予めキャリブレーションされており、環境撮影カメラ１６の位置の座標値は、射影変換部２２が有するメモリに格納されている。環境撮影カメラ１６により撮像される車両前方の領域は、通常の運転状態で運転者の視野にある領域であるため、環境撮影カメラ１６により運転者の視野領域の画像データが生成される。画像撮像カメラは、画像データ、カメラパラメータ（カメラの焦点距離、レンズの歪み係数、画像中心、空間中のカメラの位置と方向を決める回転行列、平行移動ベクトルなど）、計測時刻情報を第一処理部２０に送信する。なお、以下の説明では、撮像画像データ及びカメラパラメータをまとめて撮影データと呼ぶ。
【００１６】
次に、第一処理部２０について説明する。第一処理部２０は、撮像画像データを射影変換する射影変換部２２と、射影変換後の画像データを記憶する視野画像蓄積部２４とで構成される。
【００１７】
射影変換部２２では、視線データ及び撮影データを取り込むと、両データに付随する計測時刻情報を比較して、両データが同じタイミングで計測されたことを確認する。そして、射影変換部２２は、撮像画像データを、運転者の視線で見た画像データ（以下、視野画像データと呼ぶ）に変換する処理を行う。この変換処理を、図２を参照して説明する。
【００１８】
環境撮影カメラ１６により撮像された撮像画像データＰＣは、環境撮影カメラ１６から前方に延びる撮像軸ＡＣを中心とした領域を撮像した画像データである。射影変換部２２は、カメラパラメータに基づいて撮像軸ＡＣを表す直線を算出する。次に、射影変換部２２は、視線データに基づいて視線軸ＡＧを表す直線を算出する。そして、射影変換部２２は、撮像軸ＡＣを基準とする撮像画像データＰＣを、視線軸ＡＧを基準とする視野画像データＰＧに射影変換するための変換行列を求め、この変換行列を用いて撮像画像データＰＣを構成する各画素を処理して、視野画像データＰＧを得る。この処理により、環境撮影カメラ１６により撮像された対象物Ｏは、視野画像データＰＧにおいて運転者の視線で見た形状に変換される。射影変換部２２は、視野画像データＰＧを計測時刻情報と共に視野画像蓄積部２４へ送信する。
【００１９】
視野画像蓄積部２４は、視野画像データを取り込むたびに、視野画像データを計測時刻情報と共にメモリに記憶し、続いて、現計測時刻における視野画像データ及びその計測時刻情報を、視線変化検出部４２及び対象存在マップ生成部３６に送信する。また、視野画像蓄積部２４は、視線変化検出部４２から送信要求があったときには、要求された計測時刻の視野画像データを視線変化検出部４２に送信する。
【００２０】
次に、第二処理部３０について説明する。第二処理部３０は、車両周辺にある対象物の種別及び位置の情報を有する環境情報学習部３２及び環境情報獲得センサ３４と、対象物を視野画像に関連付けた対象存在マップを生成する対象存在マップ生成部３６とで構成される。
【００２１】
環境情報学習部３２は、視野画像蓄積部２４に蓄積された視野画像データを取り込んで、視野画像データを処理することにより、視野画像データの各領域について特徴量を演算する。そして、環境情報学習部３２は、各領域の特徴量に基づいて特定の対象物（路面、レーンマーク、信号機、構造物など）の存在確率、及び対象物の存在位置を算出する。また、環境情報学習部３２は、車両前方の空間を基準座標系の各方向に一定間隔ごとに区切って、多数の立方空間のブロックＢｎ（ｎ＝１，２，３，・・，ｋ，・・，ｎ）として把握している。環境情報学習部３２は、多数のブロックＢｎのそれぞれについて、当該ブロックＢｎに存在する対象物の存在確率を関連付ける。例えば、環境情報学習部３２は、いずれか１つのブロックＢｋについて、路面ｒｄの存在確率Ｐ（ｒｄ|Ｂｋ）、レーンマークｌｍの存在確率Ｐ（ｌｍ|Ｂｋ）、信号機ｔｓの存在確率Ｐ（ｔｓ|Ｂｋ）を関連付ける。環境情報学習部３２が、このような処理を行うことで、各ブロックＢｎごとに各種対象物の存在確率Ｐを表したデータ集合が得られる。環境情報学習部３２は、このデータ集合を対象存在マップ生成部３６に送信する。
【００２２】
環境情報獲得センサ３４では、ＧＰＳ（GlobalPositioning System）受信装置、地図データベース、レーダ装置などで構成されている。環境情報獲得センサ３４は、ＧＰＳ受信装置により現在地情報が演算されると、地図データベースから現在地周辺の地図情報を抽出する。これにより、環境情報獲得センサ３４は、現在地周辺に存在する対象物（路面、レーンマーク、信号機、構造物など）の種別情報と、当該対象物の存在位置情報を取得する。また、環境情報獲得センサ３４は、レーダ装置を用いて前方障害物（対象物）の存在位置を算出する。環境情報獲得センサ３４は、各対象物の種別情報と存在位置情報を、対象存在マップ生成部３６に送信する。
【００２３】
対象存在マップ生成部３６は、環境情報学習部３２から対象物の存在確率のデータ集合を取り込み、さらに環境情報獲得センサ３４から対象物の種別情報及び位置情報を取り込むと、次の処理を行う。対象存在マップ生成部３６は、視野画像データを格子状に区切って、視野画像データを多数の正方形領域Ｒｎの集合として把握している。また、対象存在マップ生成部３６は、前述した多数の立方空間のブロックＢｎのそれぞれについて、ブロックＢｎが投影される視野画像上の正方形領域Ｒｎを把握している。対象存在マップ生成部３６は、環境情報学習部３２からのデータ集合を参照して、各ブロックＢｎが投影される関係にある正方形領域Ｒｎに、各ブロックＢｎの対象物の種別情報及び存在確率情報を関連付ける。
【００２４】
次に、対象存在マップ生成部３６は、環境情報獲得センサ３４からの対象物の種別情報及び位置情報に基づいて、視野画像データの各正方形領域Ｒｎに各対象物を投影する。ここで、対象物の存在確率が割り当てられた正方形領域Ｒｎに、同種の対象物が投影された場合には、対象存在マップ生成部３６は、その対象物が確実に存在するものと判断し、当該正方形領域Ｒｎにおける存在確率を１に更新する。一方、対象物の存在確率が割り当てられた正方形領域Ｒｎに、同種の対象物が投影されない場合には、対象存在マップ生成部３６は、その対象物が存在しないものと判断し、当該正方形領域における存在確率を０に更新する。以上の処理により、対象存在マップが生成される。対象存在マップ生成部３６は、対象存在マップを、注目対象判定部４８に送信する。
【００２５】
次に、第三処理部４０について説明する。第三処理部４０は、運転者の視線位置の変化を認識する視線変化検出部４２と、視線位置変化の認識結果に基づいて注目状態であるか否かを判定する注目状態判定部４６と、時間計測タイマ４４と、運転者が注目する対象物を判定する注目対象判定部４８とで構成される。
【００２６】
視線変化検出部４２は、視野画像蓄積部２４から、現在の計測時刻における視野画像データ及び計測時刻情報を取り込むと、続いて、時間計測タイマ４４に設定されている比較用計測時刻を読み出して、比較用計測時刻の情報を視野画像蓄積部２４に送信する。ここで、時間計測タイマ４４には、比較用計測時刻として、現在の時刻より一定時間前の時刻が設定されている。視野画像蓄積部２４は、比較用計測時刻の情報を取り込むと、当該比較用計測時刻と共に格納された視野画像データ（以下、比較用視野画像データと呼ぶ）を読み出して、視線変化検出部４２に送信する。視線変化検出部４２は、現計測時刻の視野画像データと比較用視野画像データとを比較して、両画像データの位置ずれ量ｄを算出する。画像データの位置ずれ量ｄの算出方法について、図３及び図４を参照して説明する。
【００２７】
視線変化検出部４２は、現計測時刻における視野画像データＰｎを処理することで、基準座標系における３次元位置が既知かつ不変な対象物Ｏ（例えば、車体の一部）を検出し、現計測時刻における視野画像データＰｎにおいて対象物Ｏに対応する画素ｍｎを特徴点として抽出する。また、視線変化検出部４２は、比較用視野画像データＰｎ−１を同様に処理することで、同じ対象物Ｏを検出し、比較用視野画像データＰｎ−１において対象物Ｏに対応する画素ｍｎ−１を特徴点として抽出する。そして、視線変化検出部４２は、特徴点ｍｎの画素位置と特徴点ｍｎ−１の画素位置との差分を求め、その差分を現計測時刻の視野画像データと比較用視野画像データのずれ量ｄとする。ここで、運転者が視線軸ＡＧを変化させたときには、視線軸ＡＧの変化に応じて対象物Ｏの画素位置が変化するため、ずれ量ｄは視線軸ＡＧの変化量に応じた値となる。次に、視線変化検出部４２は、両画像データのずれ量ｄを、現計測時刻と比較用計測時刻との時間差分ｔｎ−ｔｎ−１で除算することで、運転者の視線軸ＡＧの移動速度ｖを算出する。視線変化検出部４２は、視線軸ＡＧの移動速度ｖを、計測時刻情報ｔｎ及び時間差分ｔｎ−ｔｎ−１と共に注目状態判定部４６に送信する。
【００２８】
注目状態判定部４６は、視線変化検出部４２から、視線移動速度ｖ、計測時刻情報ｔｎ及び時間差分ｔｎ−ｔｎ−１を取り込むと、これらに基づいて運転者が対象物Ｏを注目しているか否かを判定する処理を行う。注目状態判定部４６は、この処理によって、運転者が注目状態にあるか否かを示す注目状態フラグＦＧ、及び注目継続時間Ｔｄを取得する。そして、注目状態判定部４６は、計測時刻ｔ、注目状態フラグＦＧ、注目継続時間Ｔｄを、注目対象判定部４８に送信する。
【００２９】
注目対象判定部４８は、注目状態判定部４６から、計測時刻情報ｔ、注目状態フラグＦＧ、持続時間Ｔｄを取り込み、さらに対象存在マップ生成部３６から対象存在マップを取り込むと、これらの情報に基づいて運転者が注目している対象物を判定する処理を行う。具体的には、注目対象判定部４８は、注目状態フラグが１である場合に、対象存在マップにおいて視線軸に対応する中央の正方形領域Ｒｎにおいて存在確率が１である対象物を、運転者が注目する対象物であると判定する。
【００３０】
本実施形態の視線認識装置１によれば、頭部運動及び眼球運動の検出値に基づいて運転者の視線軸が算出されるため、運転者の姿勢変化に対応した視線軸が算出される。そして、撮像手段の撮像軸を基準とする撮像画像データを、運転者の視線軸を基準とする視野画像データに射影変換し、この視野画像データに基づいて運転者の視線の挙動を認識する。よって、運転者の姿勢変化により検出精度を低下させることなく、運転者の視線位置や注目状態などを判定することができる。さらには、運転者の姿勢変化により検出精度を低下させることなく、運転者の注目する対象物を判定することができる。
【００３１】
また、本実施形態の視線認識装置１では、運転者の視線軸を基準とした視野画像データを用いることで、運転者からの奥行きを考慮することなく、運転者の視線の位置にある対象物を認識することを可能としている。仮に、従来技術のように撮像画像データを用いて運転者の視線の位置にある対象物を認識しようとすると、運転者から対象物までの奥行きを考慮して、撮像画像データにおいて運転者の視線位置に対応する画素領域を特定する必要がある。これに対して、本実施形態のように、運転者の視線軸を基準とした視野画像データを求めれば、視野画像データにおいて視線軸に対応する画素領域を特定することで、運転者からの奥行きを考慮することなく、運転者の視線位置にある対象物を認識することができる。
【００３２】
図５を参照して、上述した視線認識装置１が行う処理の流れについて説明する。視線認識装置１は、頭部運動及び眼球運動の検出値から視線データを算出する（Ｓ５０１）と共に、車両前方の撮像画像データを生成する（Ｓ５０２）。次に、視線認識装置１は、撮像軸を基準とする撮像画像データを、視線軸を基準とする視野画像データに射影変換してから、メモリに記憶する（Ｓ５０３）。次に、視線認識装置１は、特徴点のずれ量を求め、運転者が注目状態にあるか否かを判定する（Ｓ５０４）。また同時に、視線認識装置１は、対象存在マップを生成する（Ｓ５０５）。そして、視線認識装置１は、運転者が注目している対象物を認識して、処理を終了する（Ｓ５０６）。なお、上述したステップ５０１〜ステップ５０５の処理は、車両の走行中に所定時間ごとに繰り返し行われる。
【００３３】
上述したステップ５０４の処理において、視線挙動を判定する処理について、図６を参照して詳しく説明する。なお、図６に示される視線挙動判定処理は、注目状態判定部４６により行われる処理である。
【００３４】
注目状態判定部４６は、特徴点移動速度ｖが視線位置停止判定用の閾値ｔｈｄｖを下回っているか否かを判定する（Ｓ６０１）。ここで、特徴点移動速度ｖが閾値ｔｈｄｖを下回っている場合には、運転者の視線位置がほぼ変化しない状態にあることを判定し、注目状態判定部４６は、視線位置の停止時間を表す変数Ｔａに時間差分ｄｔを加算する（Ｓ６０２）。一方、特徴点移動速度ｖが閾値ｔｈｄｖを上回っている場合には、運転者の視線位置が変化している状態にあることを判定し、注目状態判定部４６は、視線位置の停止時間を表す変数Ｔａを０にリセットする（Ｓ６０３）。
【００３５】
次に、注目状態判定部４６は、視線位置の停止時間を表す変数Ｔａが、注目状態判定用の閾値ｔｈｄＴａを上回っているか否かを判定する（Ｓ６０４）。ここで、変数Ｔａが閾値ｔｈｄＴａを上回っている場合には、運転者がいずれかの対象物を注目している状態にあることを判定して、注目状態フラグＦＧ（ｔ）に１を設定すると共に、注目継続時間を表す変数Ｔｄ（ｔ）に、視線位置が停止する時間を表す変数Ｔａの値を格納する（Ｓ６０５）。一方、視線位置の停止時間を表す変数Ｔａが閾値ｔｈｄＴａを下回っている場合には、運転者が注目状態にないことを判定して、注目状態フラグＦＧ（ｔ）に０を設定すると共に、注目継続時間を表す変数Ｔｄ（ｔ）に０を設定する（Ｓ６０６）。そして、注目状態判定部４６は、計測時刻ｔ、注目状態フラグＦＧ（ｔ）、注目継続時間Ｔｄ（ｔ）を、注目対象判定部４８に送信する（Ｓ６０７）。
【００３６】
また、図５のフローチャートのステップ５０６の処理において、注目対象を判定する処理について、図７を参照して詳しく説明する。なお、図７に示される注目対象判定処理は、注目対象判定部により行われる処理である。
【００３７】
注目対象判定部は、注目状態フラグＦＧ（ｔ）が１であるか否かを判定する（Ｓ７０１）。ここで、注目状態フラグＦＧ（ｔ）が１である場合には、運転者がいずれかの対象物を注目している状態にあると判定して、運転者が注目する対象物を認識すべくステップ７０２の処理に進む。ステップ７０２では、注目対象判定部は、対象存在マップ画像Ｉ（ｔ）の中央及びその周囲の領域を、運転者が注目する注目領域として決定する（Ｓ７０３）。次に、注目対象判定部は、注目領域において存在確率Ｐ（ｏｂｊ）が１である対象物ｏｂｊを、運転者が注目する対象物Ｏａｔｎ（ｔ）であると判定する（Ｓ７０３）。
【００３８】
次に、注目対象判定部４８は、現計測時刻ｔにおける注目対象物Ｏａｔｎ（ｔ）と、前計測時刻ｔｐｒｖにおける注目対象物Ｏａｔｎ（ｔｐｒｖ）が同一であるか否かを判定する（Ｓ７０４）。ここで、注目対象物Ｏａｔｎ（ｔ），Ｏａｔｎ（ｔｐｒｖ）が同一である場合には、注目状態が依然として継続しているため、前計測時刻における注目継続時間Ｔａｔｎ（ｔｐｒｖ）に時間差ｔ−ｔｐｒｖを加算した値を、現計測時刻における注目継続時間Ｔａｔｎ（ｔ）とする（Ｓ７０５）。一方、注目対象物Ｏａｔｎ（ｔ），Ｏａｔｎ（ｔｐｒｖ）が異なる場合には、注目対象物Ｏａｔｎ（ｔ）が変化しているため、現計測時刻における注目継続時間Ｔａｔｎ（ｔ）を０にリセットする（Ｓ７０６）。そして、注目対象判定部４８は、注目対象物と注目継続時間の情報を外部に出力する（Ｓ７０７）。
【００３９】
ステップ７０１の処理で、注目状態フラグＦＧ（ｔ）が１でないと判定された場合には、運転者はいずれの対象物も注目していない状態にあると判定して、注目対象物にＮＵＬＬを設定し、注目継続時間に０を設定する（Ｓ７０８）。そして、注目対象判定部４８は、注目対象物と注目継続時間の情報を外部に出力する（Ｓ７０７）。
【００４０】
なお、上述した実施形態の視線認識装置１では、環境撮影カメラ１６は１つであるが、他の実施形態では、環境撮影カメラ１６を２台以上としてもよい。この場合、射影変換部２２は、複数の環境撮影カメラ１６のうち、視線軸と撮像軸の内積が最小となる環境撮影カメラ１６を選択して、上述した視線挙動を認識する処理を行えばよい。
【００４１】
また、上述した実施形態の視線認識装置１では、頭部／眼球運動検出処理部１０が有する画像撮像装置を１台としたが、他の実施形態では、画像撮像装置を２台以上としてもよい。この場合、頭部運動及び眼球運動を最もよく撮像した画像撮像装置を選択すればよい。
【図面の簡単な説明】
【００４２】
【図１】視線判定装置の概略構成を示す機能ブロック図である。
【図２】撮像画像データの射影変換を説明するための模式図である。
【図３】視線変化の検出を説明するための模式図である。
【図４】視線変化の検出を説明するための模式図である。
【図５】視線認識装置による処理を示すフローチャートである。
【図６】注目状態判定部による処理を示すフローチャートである。
【図７】注目対象認識部による処理を示すフローチャートである。
【符号の説明】
【００４３】
１…視線認識装置、１０…眼球運動検出処理部、１２…カメラ（検出手段）、１４…演算装置（演算手段）、１６…環境撮影カメラ（撮像手段）、２０…第一処理部、２２…射影変換部（変換手段）、２４…視野画像蓄積部、３０…第二処理部（関連付け手段）、３２…環境情報学習部、３４…環境情報獲得センサ、３６…対象物存在マップ生成部、４０…第三処理部（認識手段）、４２…視線変化検出部、４４…時間計測タイマ、４６…注目状態判定部、４８…注目対象判定部。
【特許請求の範囲】
【請求項１】
計測対象者の頭部運動及び眼球運動を検出する検出手段と、
前記頭部運動及び眼球運動の検出値に基づいて前記計測対象者の視線軸を演算する演算手段と、
前記計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像手段と、
前記撮像画像データを、前記視線軸を基準とする視野画像データに射影変換する変換手段と、
前記視野画像データに基づいて、前記計測対象者の視線の挙動を認識する認識手段と、
を備えたことを特徴とする視線認識装置。
【請求項２】
前記認識手段は、異なる時刻に生成された２つの視野画像データの位置ずれに基づいて、前記視線が注目状態にあるか否かを判定することを特徴とする請求項１に記載の視線認識装置。
【請求項３】
前記認識手段は、前記視野画像データにおいて、前記視線軸に対応する画素の対象物を、前記計測対象者の視線の位置にある対象物として認識することを特徴とする請求項１に記載の視線認識装置。
【請求項４】
前記対象物の位置情報に基づいて前記対象物を前記視野画像データの画素に関連付ける関連付け手段をさらに備え、
前記認識手段は、前記視野画像データにおいて、前記視線軸に対応する画素に関連付けられた対象物を、前記計測対象者の視線の位置にある対象物として認識することを特徴とする請求項３に記載の視線認識装置。
【請求項５】
計測対象者の頭部運動及び眼球運動を検出する検出ステップと、
前記頭部運動及び眼球運動の検出値に基づいて前記計測対象者の視線軸を演算する演算ステップと、
前記計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像ステップと、
前記撮像画像データを、前記視線軸を基準とする視野画像データに射影変換する変換ステップと、
前記視野画像データに基づいて、前記計測対象者の視線の挙動を認識する認識ステップと、
を備えたことを特徴とする視線認識方法。
【請求項１】
計測対象者の頭部運動及び眼球運動を検出する検出手段と、
前記頭部運動及び眼球運動の検出値に基づいて前記計測対象者の視線軸を演算する演算手段と、
前記計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像手段と、
前記撮像画像データを、前記視線軸を基準とする視野画像データに射影変換する変換手段と、
前記視野画像データに基づいて、前記計測対象者の視線の挙動を認識する認識手段と、
を備えたことを特徴とする視線認識装置。
【請求項２】
前記認識手段は、異なる時刻に生成された２つの視野画像データの位置ずれに基づいて、前記視線が注目状態にあるか否かを判定することを特徴とする請求項１に記載の視線認識装置。
【請求項３】
前記認識手段は、前記視野画像データにおいて、前記視線軸に対応する画素の対象物を、前記計測対象者の視線の位置にある対象物として認識することを特徴とする請求項１に記載の視線認識装置。
【請求項４】
前記対象物の位置情報に基づいて前記対象物を前記視野画像データの画素に関連付ける関連付け手段をさらに備え、
前記認識手段は、前記視野画像データにおいて、前記視線軸に対応する画素に関連付けられた対象物を、前記計測対象者の視線の位置にある対象物として認識することを特徴とする請求項３に記載の視線認識装置。
【請求項５】
計測対象者の頭部運動及び眼球運動を検出する検出ステップと、
前記頭部運動及び眼球運動の検出値に基づいて前記計測対象者の視線軸を演算する演算ステップと、
前記計測対象者の視野領域を撮像して、撮像軸を基準とする撮像画像データを生成する撮像ステップと、
前記撮像画像データを、前記視線軸を基準とする視野画像データに射影変換する変換ステップと、
前記視野画像データに基づいて、前記計測対象者の視線の挙動を認識する認識ステップと、
を備えたことを特徴とする視線認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−３４６２（Ｐ２００７−３４６２Ａ）
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願番号】特願２００５−１８６５１８（Ｐ２００５−１８６５１８）
【出願日】平成１７年６月２７日（２００５．６．２７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願日】平成１７年６月２７日（２００５．６．２７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]