視線検出装置
【課題】視線方向の検出精度および検出結果の信頼性を向上させる。
【解決手段】視線検出装置１０の視線方向選択部３０は、第１視線方向および第２視線方向が検出された場合に、第１視線方向と第２視線方向との角度差の絶対値が第１所定値未満である場合には第１視線方向を選択し、角度差の絶対値が第１所定値以上である場合には第２視線方向を選択する。視線方向選択部３０は、第１視線方向のみが検出された場合、この第１視線方向（現フレームの第１視線方向）と、１つ前のフレームの第１視線方向（前フレームの第１視線方向）との角度差が第２所定値未満である場合には、現フレームの第１視線方向を選択し、角度差が第２所定値以上である場合には、前フレームの視線方向を車両の乗員の視線方向として選択する。視線方向選択部３０は、第２視線方向のみが検出された場合には、この第２視線方向を車両の乗員の視線方向として選択する。
【解決手段】視線検出装置１０の視線方向選択部３０は、第１視線方向および第２視線方向が検出された場合に、第１視線方向と第２視線方向との角度差の絶対値が第１所定値未満である場合には第１視線方向を選択し、角度差の絶対値が第１所定値以上である場合には第２視線方向を選択する。視線方向選択部３０は、第１視線方向のみが検出された場合、この第１視線方向（現フレームの第１視線方向）と、１つ前のフレームの第１視線方向（前フレームの第１視線方向）との角度差が第２所定値未満である場合には、現フレームの第１視線方向を選択し、角度差が第２所定値以上である場合には、前フレームの視線方向を車両の乗員の視線方向として選択する。視線方向選択部３０は、第２視線方向のみが検出された場合には、この第２視線方向を車両の乗員の視線方向として選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出装置に関する。
【背景技術】
【０００２】
従来、例えば予め運転者が注視する所定の注視点の距離を変化させたときの網膜反射像の輝度の変化を計測して計測結果を記憶しておき、運転者の注視点を検知するときに計測した網膜反射像の輝度と、予め記憶している計測結果とを用いて、運転者の注視点の位置を計測する注視点計測装置が知られている（例えば、特許文献１参照）。
また、従来、例えば運転者の顔画像から推定される顔向き方向と、複数の運転者毎に登録された顔向きの時系列変化と注視対象との対応関係を示すモデルとを用いて、運転者の視線方向を推定する視線方向推定装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３５５４３号公報
【特許文献２】特開２００８−１４６３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る注視点計測装置によれば、例えば外光などによって網膜反射像や角膜反射像を適切に検出することが出来ない場合には、注視点位置の計測が困難になるという問題が生じる。
また、上記従来技術に係る視線方向推定装置によれば、視線方向は運転者毎の視認行動の学習結果に基づく推定により得られるだけであって、視線方向の推定精度を向上させることが困難であるという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、視線方向の検出精度および検出結果の信頼性を向上させることが可能な視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る視線検出装置は、ひとの顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１２）と、前記ひとが存在する方向に向かって光を照射可能に配置された光源（例えば、実施の形態での光源１１）と、前記撮像手段から出力された前記顔画像から瞳孔の位置および前記光源から照射された前記光による角膜反射像の位置を検出して検出結果を出力する位置検出手段（例えば、実施の形態での瞳孔位置検出部２４、角膜反射像検出部２５）と、該位置検出手段から出力された前記検出結果に基づいて前記ひとの視線方向を検出して検出結果を出力する第１検出手段（例えば、実施の形態での第１視線方向検知部２７）とを備える視線検出装置であって、前記位置検出手段から出力された前記検出結果の前記瞳孔の位置と、前記位置検出手段から出力された前記検出結果の前記角膜反射像を含まない前記顔画像での所定部位の位置（例えば、実施の形態での目頭の位置）とに基づいて前記ひとの視線方向を検出して検出結果を出力する第２検出手段（例えば、実施の形態での第２視線方向検知部２８）と、前記第１検出手段から出力された前記検出結果と前記第２検出手段から出力された前記検出結果とを比較して前記検出結果同士の差を比較結果として出力する比較手段（例えば、実施の形態での比較部２９）と、前記比較手段から出力された前記比較結果の前記差が所定値未満である場合には前記第１検出手段から出力された前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出し、前記比較手段から出力された前記比較結果の前記差が所定値以上である場合には前記第２検出手段から出力された前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出する視線方向検出手段（例えば、実施の形態での視線方向選択部３０）とを備える。
【０００７】
さらに、本発明の第２態様に係る視線検出装置では、前記位置検出手段は、前記撮像手段から順次出力された前記顔画像を所定時間毎に区分した各フレーム毎に前記瞳孔の位置を前記顔画像全体から検出すると共に、前記各フレームのうち所定のフレームよりも１つ前のフレームにおいて前記瞳孔の位置を検出した場合には、前記所定のフレームにおいて、前記１つ前のフレームにおいて検出した前記瞳孔の位置の近傍における前記顔画像全体よりも小さい所定範囲内から前記瞳孔の位置を検出する。
【０００８】
さらに、本発明の第３態様に係る視線検出装置は、前記位置検出手段は、前記撮像手段から順次出力された前記顔画像を所定時間毎に区分した各フレーム毎に前記瞳孔の位置および前記角膜反射像の位置を検出して検出結果を出力しており、前記視線方向検出手段は、前記第１検出手段および前記第２検出手段の何れか一方のみから前記検出結果が出力されたときに、前記検出結果が前記第２検出手段から出力された場合、あるいは、前記各フレームのうち適宜のフレームにおいて前記検出結果が前記第１検出手段から出力されたときに当該適宜のフレームにおいて前記第１検出手段から出力された前記検出結果の前記視線方向と前記適宜のフレームの１つ前のフレームにおいて前記視線方向検出手段により検出された前記視線方向との差が所定値未満である場合に、前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出する。
【発明の効果】
【０００９】
本発明の第１態様に係る視線検出装置によれば、各検出手段から逐次出力される検出結果に対して、瞳孔の位置および角膜反射像の位置に基づいて視線方向を検出する第１検出手段では、角膜反射像によらずに視線方向を検出する第２検出手段に比べて、各検出結果の検出精度が高くなる可能性は高いが各検出結果の信頼性や複数の検出結果の安定性は低くなる場合がある。
このため、各検出手段の検出結果の差が所定値未満になることで第２検出手段の検出結果によって第１検出手段の検出結果の信頼性および安定性が高いと判断することができる場合には、第１検出手段の検出結果に基づき視線方向を検出することによって、視線方向の検出精度を向上させることができる。
また、各検出手段の検出結果の差が所定値以上になることで第１検出手段の検出結果の信頼性および安定性が低いと判断することができる場合には、第２検出手段の検出結果に基づき視線方向を検出することによって、視線方向の検出結果に対して所望の信頼性および安定性を確保することができる。
【００１０】
さらに、本発明の第２態様に係る視線検出装置によれば、適宜のフレームにおいて、１つ前のフレームで瞳孔の位置を検出した場合には、この瞳孔の位置の近傍の所定範囲内を探索することから、顔画像の全体を探索する場合に比べて、処理負荷を低減することができる。
【００１１】
さらに、本発明の第３態様に係る視線検出装置によれば、第２検出手段のみから検出結果が出力された場合には、この検出結果に基づき視線方向を検出することによって、視線方向の検出結果に対して所望の信頼性および安定性を確保することができる。
また、第１検出手段のみから検出結果が出力された場合であっても、この検出結果と１つ前のフレームで視線方向検出手段により検出された視線方向との差が所定値未満であれば、第１検出手段の検出結果が所望の信頼性および安定性を有すると判断することができ、この検出結果に基づき所望の信頼性および安定性を確保して視線方向を検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る視線検出装置の構成図である。
【図２】本発明の実施の形態に係る視線検出装置の瞳孔位置検出部により前フレームにおいて検出された瞳孔あるいは虹彩の中心位置の近傍における所定範囲の例を示す図である。
【図３】本発明の実施の形態に係る視線検出装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の視線検出装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による視線検出装置１０は、例えば図１に示すように、光源１１と、乗員カメラ１２と、処理装置１３とを備えて構成されている。
【００１４】
光源１１は、撮像対象（例えば、運転席に着座した運転者の顔など）に可視光線および赤外線などの光を照射する。
乗員カメラ１２は、少なくとも座席に着座した乗員の顔を撮像対象として撮像領域内に含み、例えば可視光領域および赤外線領域にて撮像可能であって、順次撮像して得られる乗員の顔を含む顔画像を出力する。
【００１５】
処理装置１３は、例えば、照射制御部２１と、乗員撮像制御部２２と、顔画像取得部２３と、瞳孔位置検出部２４と、角膜反射像検出部２５と、目頭検出部２６と、第１視線方向検知部２７と、第２視線方向検知部２８と、比較部２９と、視線方向選択部３０と、視線方向記憶部３１とを備えて構成されている。
【００１６】
乗員撮像制御部２２は、乗員カメラ１２による撮像を制御する。
照射制御部２１は、光源１１による光の照射を制御する。
顔画像取得部２３は、乗員カメラ１２から順次出力される顔画像を取得する。
【００１７】
瞳孔位置検出部２４は、顔画像取得部２３により順次取得された顔画像を所定時間毎に区分した複数のフレーム毎に乗員の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、この処理結果に基づき、眼の瞳孔あるいは虹彩の中心位置を検出する。
【００１８】
なお、瞳孔位置検出部２４は、処理対象となるフレームに対して、１つ前のフレーム（前フレーム）において瞳孔あるいは虹彩の中心位置を検出した場合には、前フレームにおいて検出した瞳孔あるいは虹彩の中心位置の近傍における所定範囲内、つまり顔画像全体よりも小さい所定範囲（例えば、図２に示す左側範囲Ｌおよび右側範囲Ｒなど）内のみを処理対象として瞳孔あるいは虹彩の中心位置を検出する。
一方、１つ前のフレーム（前フレーム）において瞳孔あるいは虹彩の中心位置を検出していない場合には、顔画像全体を処理対象として瞳孔あるいは虹彩の中心位置を検出する。
【００１９】
角膜反射像検出部２５は、顔画像取得部２３により順次取得された顔画像を所定時間毎に区分した複数のフレーム毎に乗員の左右の眼球周辺において、光源１１から照射された光の角膜表面における反射点（例えば、赤外線の反射像であるプルキニエ像の中心位置）を検出する。
【００２０】
目頭検出部２６は、顔画像取得部２３により順次取得された顔画像を所定時間毎に区分した複数のフレーム毎に乗員の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、この処理結果に基づき、眼の目頭の位置を検出する。
【００２１】
第１視線方向検知部２７は、複数のフレーム毎に、瞳孔位置検出部２４により検出される眼の瞳孔あるいは虹彩の中心位置と、角膜反射像検出部２５により検出される角膜表面の反射点との相対距離に基づき視線方向（第１視線方向）を検知する。
【００２２】
第２視線方向検知部２８は、複数のフレーム毎に、瞳孔位置検出部２４により検出される眼の瞳孔あるいは虹彩の中心位置と、目頭検出部２６により検出される目頭の位置との相対距離に基づき視線方向（第２視線方向）を検知する。
【００２３】
比較部２９は、各フレーム毎に、第１視線方向検知部２７により検知された視線方向（第１視線方向）と、第２視線方向検知部２８により検知された視線方向（第２視線方向）とを比較し、第１視線方向と第２視線方向との差の絶対値が第１所定値未満であるか否かを判定する。
なお、第１視線方向と第２視線方向との差は、所定方向（例えば、座席に着座した乗員の正面方向など）を基準とした各視線方向の角度の差である。
【００２４】
視線方向選択部３０は、各フレーム毎に、第１視線方向検知部２７および第２視線方向検知部２８により各視線方向が検出された場合において、比較部２９による比較結果の差の絶対値が第１所定値未満である場合には第１視線方向を車両の乗員の視線方向として選択し、比較部２９による比較結果の差の絶対値が第１所定値以上である場合には第２視線方向を車両の乗員の視線方向として選択する。
【００２５】
また、視線方向選択部３０は、各フレーム毎に、第１視線方向検知部２７のみによって視線方向（第１視線方向）が検出された場合には、この第１視線方向（現フレームの第１視線方向）と、１つ前のフレーム（前フレーム）において視線方向選択部３０により選択されて視線方向記憶部３１に記憶された視線方向（前フレームの視線方向）との差が第２所定値未満である場合に、現フレームの第１視線方向を車両の乗員の視線方向として選択する。
一方、現フレームの第１視線方向と前フレームの視線方向との差が第２所定値以上である場合に、前フレームの視線方向を車両の乗員の視線方向として選択する。
【００２６】
なお、現フレームの第１視線方向と前フレームの視線方向の差は、所定方向（例えば、座席に着座した乗員の正面方向など）を基準とした各視線方向の角度の差であり、例えば第２所定値は第１所定値よりも大きい値である。
また、視線方向選択部３０は、各フレーム毎に、第２視線方向検知部２８のみによって視線方向（第２視線方向）が検出された場合には、この第２視線方向を車両の乗員の視線方向として選択する。
【００２７】
視線方向記憶部３１は、視線方向選択部３０により選択された各フレーム毎の視線方向を記憶する。
【００２８】
この実施の形態による視線検出装置１０は上記構成を備えており、次に、この視線検出装置１０の動作について説明する。
【００２９】
先ず、例えば図３に示すステップＳ０１においては、今回の処理対象であるフレーム（現フレーム）の一つ前のフレーム（前フレーム）において第１視線方向検知部２７または第２視線方向検知部２８によって視線方向が検知されたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０２に進み、このステップＳ０２
においては、前フレームにおいて検出した瞳孔あるいは虹彩の中心位置の近傍における所定範囲内、つまり顔画像全体よりも小さい所定範囲（例えば、図２に示す左側範囲Ｌおよび右側範囲Ｒなど）内のみを瞳孔あるいは虹彩の中心位置の探索範囲に設定する。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０３に進み、このステップＳ０３においては、顔画像全体を瞳孔あるいは虹彩の中心位置の探索範囲に設定する。
【００３０】
次に、ステップＳ０４においては、瞳孔位置検出部２４により検出される眼の瞳孔あるいは虹彩の中心位置と、角膜反射像検出部２５により検出される角膜表面の反射点との相対距離に基づき視線方向（第１視線方向）を検知する第１視線検知の処理を実行する。
【００３１】
次に、ステップＳ０５においては、瞳孔位置検出部２４により検出される眼の瞳孔あるいは虹彩の中心位置と、目頭検出部２６により検出される目頭の位置との相対距離に基づき視線方向（第２視線方向）を検知する第２視線検知の処理を実行する。
【００３２】
次に、ステップＳ０６においては、第１視線検知および第２視線検知の両方で各視線方向が不検知であったか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進み、このステップＳ０７においては、車両の乗員の視線方向が不検知であることを示す信号を出力し、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０８に進む。
【００３３】
そして、ステップＳ０８においては、第１視線検知および第２視線検知の両方で各視線方向を検知したか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進む。
そして、ステップＳ０９においては、第１視線方向の角度と第２視線方向の角度との差の絶対値が第１所定値未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１０に進み、このステップＳ１０においては、車両の乗員の視線方向として第１視線方向を採用して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１１に進み、このステップＳ１１においては、車両の乗員の視線方向として第２視線方向を採用して、リターンに進む。
【００３４】
そして、ステップＳ１２においては、第１視線検知で第１視線方向を検知したか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ１１に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。
そして、ステップＳ１３においては、現フレームと前フレームとの第１視線方向の角度の差の絶対値が第２所定値未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１４に進み、このステップＳ１４においては、車両の乗員の視線方向として現フレームの第１視線方向を採用して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１５に進み、このステップＳ１５においては、車両の乗員の視線方向として前フレームの視線方向を採用して、リターンに進む。
【００３５】
上述したように、本実施の形態による視線検出装置１０によれば、瞳孔の位置および角膜反射像の位置に基づいて第１視線方向を検出する第１視線方向検知部２７では、角膜反射像によらずに第２視線方向を検出する第２視線方向検知部２８に比べて、視線方向の検出精度が高くなる可能性は高いが検出方向の信頼性や安定性は低くなる場合がある。
このため、第１視線方向と第２視線方向との差の絶対値が第１所定値未満になることで第２視線方向によって第１視線方向の信頼性および安定性が高いと判断することができる場合には、第１視線方向に基づき乗員の視線方向を検出することによって、視線方向の検出精度を向上させることができる。
また、第１視線方向と第２視線方向との差の絶対値が第１所定値以上になることで第１視線方向の信頼性および安定性が低いと判断することができる場合には、第２視線方向に基づき乗員の視線方向を検出することによって、視線方向の検出結果に対して所望の信頼性および安定性を確保することができる。
【００３６】
さらに、瞳孔位置検出部２４は、処理対象となるフレームに対して、１つ前のフレーム（前フレーム）で瞳孔の位置を検出した場合には、この瞳孔の位置の近傍の所定範囲内を探索することから、顔画像の全体を探索する場合に比べて、処理負荷を低減することができる。
【００３７】
さらに、第２視線方向のみが検出された場合には、この第２視線方向を乗員の視線方向として採用することによって、視線方向の検出結果に対して所望の信頼性および安定性を確保することができる。
また、第１視線方向のみが検出された場合であっても、この検出結果（現フレームでの第１視線方向）と１つ前のフレームでの視線方向（前フレームでの視線方向）との差が第２所定値未満であれば、現フレームでの第１視線方向が所望の信頼性および安定性を有すると判断することができ、この現フレームでの第１視線方向を乗員の視線方向として採用することによって所望の信頼性および安定性を確保して視線方向を検出することができる。
一方、この検出結果（現フレームでの第１視線方向）と１つ前のフレームでの視線方向（前フレームでの視線方向）との差が第２所定値以上であれば、前フレームでの視線方向を乗員の視線方向として採用することによって所望の信頼性および安定性を確保して視線方向を検出することができる。
【００３８】
なお、第２視線方向検知部２８は、目頭の位置に限定されず、例えば目尻の位置などの目の他の位置と、瞳孔位置検出部２４により検出される眼の瞳孔あるいは虹彩の中心位置との相対距離に基づき視線方向（第２視線方向）を検知してもよい。
【００３９】
なお、上述したステップＳ１５においては、車両の乗員の視線方向として前フレームの視線方向を採用するとしたが、これに限定されず、車両の乗員の視線方向が不検知であることを示す信号を出力してもよい。
【符号の説明】
【００４０】
１０ 視線検出装置
１１ 光源
１２ 乗員カメラ（撮像手段）
２４ 瞳孔位置検出部（位置検出手段）
２５ 角膜反射像検出部（位置検出手段）
２７ 第１視線方向検知部（第１検出手段）
２８ 第２視線方向検知部（第２検出手段）
２９ 比較部（比較手段）
３０ 視線方向選択部（視線方向検出手段）
【技術分野】
【０００１】
本発明は、視線検出装置に関する。
【背景技術】
【０００２】
従来、例えば予め運転者が注視する所定の注視点の距離を変化させたときの網膜反射像の輝度の変化を計測して計測結果を記憶しておき、運転者の注視点を検知するときに計測した網膜反射像の輝度と、予め記憶している計測結果とを用いて、運転者の注視点の位置を計測する注視点計測装置が知られている（例えば、特許文献１参照）。
また、従来、例えば運転者の顔画像から推定される顔向き方向と、複数の運転者毎に登録された顔向きの時系列変化と注視対象との対応関係を示すモデルとを用いて、運転者の視線方向を推定する視線方向推定装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３５５４３号公報
【特許文献２】特開２００８−１４６３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る注視点計測装置によれば、例えば外光などによって網膜反射像や角膜反射像を適切に検出することが出来ない場合には、注視点位置の計測が困難になるという問題が生じる。
また、上記従来技術に係る視線方向推定装置によれば、視線方向は運転者毎の視認行動の学習結果に基づく推定により得られるだけであって、視線方向の推定精度を向上させることが困難であるという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、視線方向の検出精度および検出結果の信頼性を向上させることが可能な視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る視線検出装置は、ひとの顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１２）と、前記ひとが存在する方向に向かって光を照射可能に配置された光源（例えば、実施の形態での光源１１）と、前記撮像手段から出力された前記顔画像から瞳孔の位置および前記光源から照射された前記光による角膜反射像の位置を検出して検出結果を出力する位置検出手段（例えば、実施の形態での瞳孔位置検出部２４、角膜反射像検出部２５）と、該位置検出手段から出力された前記検出結果に基づいて前記ひとの視線方向を検出して検出結果を出力する第１検出手段（例えば、実施の形態での第１視線方向検知部２７）とを備える視線検出装置であって、前記位置検出手段から出力された前記検出結果の前記瞳孔の位置と、前記位置検出手段から出力された前記検出結果の前記角膜反射像を含まない前記顔画像での所定部位の位置（例えば、実施の形態での目頭の位置）とに基づいて前記ひとの視線方向を検出して検出結果を出力する第２検出手段（例えば、実施の形態での第２視線方向検知部２８）と、前記第１検出手段から出力された前記検出結果と前記第２検出手段から出力された前記検出結果とを比較して前記検出結果同士の差を比較結果として出力する比較手段（例えば、実施の形態での比較部２９）と、前記比較手段から出力された前記比較結果の前記差が所定値未満である場合には前記第１検出手段から出力された前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出し、前記比較手段から出力された前記比較結果の前記差が所定値以上である場合には前記第２検出手段から出力された前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出する視線方向検出手段（例えば、実施の形態での視線方向選択部３０）とを備える。
【０００７】
さらに、本発明の第２態様に係る視線検出装置では、前記位置検出手段は、前記撮像手段から順次出力された前記顔画像を所定時間毎に区分した各フレーム毎に前記瞳孔の位置を前記顔画像全体から検出すると共に、前記各フレームのうち所定のフレームよりも１つ前のフレームにおいて前記瞳孔の位置を検出した場合には、前記所定のフレームにおいて、前記１つ前のフレームにおいて検出した前記瞳孔の位置の近傍における前記顔画像全体よりも小さい所定範囲内から前記瞳孔の位置を検出する。
【０００８】
さらに、本発明の第３態様に係る視線検出装置は、前記位置検出手段は、前記撮像手段から順次出力された前記顔画像を所定時間毎に区分した各フレーム毎に前記瞳孔の位置および前記角膜反射像の位置を検出して検出結果を出力しており、前記視線方向検出手段は、前記第１検出手段および前記第２検出手段の何れか一方のみから前記検出結果が出力されたときに、前記検出結果が前記第２検出手段から出力された場合、あるいは、前記各フレームのうち適宜のフレームにおいて前記検出結果が前記第１検出手段から出力されたときに当該適宜のフレームにおいて前記第１検出手段から出力された前記検出結果の前記視線方向と前記適宜のフレームの１つ前のフレームにおいて前記視線方向検出手段により検出された前記視線方向との差が所定値未満である場合に、前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出する。
【発明の効果】
【０００９】
本発明の第１態様に係る視線検出装置によれば、各検出手段から逐次出力される検出結果に対して、瞳孔の位置および角膜反射像の位置に基づいて視線方向を検出する第１検出手段では、角膜反射像によらずに視線方向を検出する第２検出手段に比べて、各検出結果の検出精度が高くなる可能性は高いが各検出結果の信頼性や複数の検出結果の安定性は低くなる場合がある。
このため、各検出手段の検出結果の差が所定値未満になることで第２検出手段の検出結果によって第１検出手段の検出結果の信頼性および安定性が高いと判断することができる場合には、第１検出手段の検出結果に基づき視線方向を検出することによって、視線方向の検出精度を向上させることができる。
また、各検出手段の検出結果の差が所定値以上になることで第１検出手段の検出結果の信頼性および安定性が低いと判断することができる場合には、第２検出手段の検出結果に基づき視線方向を検出することによって、視線方向の検出結果に対して所望の信頼性および安定性を確保することができる。
【００１０】
さらに、本発明の第２態様に係る視線検出装置によれば、適宜のフレームにおいて、１つ前のフレームで瞳孔の位置を検出した場合には、この瞳孔の位置の近傍の所定範囲内を探索することから、顔画像の全体を探索する場合に比べて、処理負荷を低減することができる。
【００１１】
さらに、本発明の第３態様に係る視線検出装置によれば、第２検出手段のみから検出結果が出力された場合には、この検出結果に基づき視線方向を検出することによって、視線方向の検出結果に対して所望の信頼性および安定性を確保することができる。
また、第１検出手段のみから検出結果が出力された場合であっても、この検出結果と１つ前のフレームで視線方向検出手段により検出された視線方向との差が所定値未満であれば、第１検出手段の検出結果が所望の信頼性および安定性を有すると判断することができ、この検出結果に基づき所望の信頼性および安定性を確保して視線方向を検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る視線検出装置の構成図である。
【図２】本発明の実施の形態に係る視線検出装置の瞳孔位置検出部により前フレームにおいて検出された瞳孔あるいは虹彩の中心位置の近傍における所定範囲の例を示す図である。
【図３】本発明の実施の形態に係る視線検出装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の視線検出装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による視線検出装置１０は、例えば図１に示すように、光源１１と、乗員カメラ１２と、処理装置１３とを備えて構成されている。
【００１４】
光源１１は、撮像対象（例えば、運転席に着座した運転者の顔など）に可視光線および赤外線などの光を照射する。
乗員カメラ１２は、少なくとも座席に着座した乗員の顔を撮像対象として撮像領域内に含み、例えば可視光領域および赤外線領域にて撮像可能であって、順次撮像して得られる乗員の顔を含む顔画像を出力する。
【００１５】
処理装置１３は、例えば、照射制御部２１と、乗員撮像制御部２２と、顔画像取得部２３と、瞳孔位置検出部２４と、角膜反射像検出部２５と、目頭検出部２６と、第１視線方向検知部２７と、第２視線方向検知部２８と、比較部２９と、視線方向選択部３０と、視線方向記憶部３１とを備えて構成されている。
【００１６】
乗員撮像制御部２２は、乗員カメラ１２による撮像を制御する。
照射制御部２１は、光源１１による光の照射を制御する。
顔画像取得部２３は、乗員カメラ１２から順次出力される顔画像を取得する。
【００１７】
瞳孔位置検出部２４は、顔画像取得部２３により順次取得された顔画像を所定時間毎に区分した複数のフレーム毎に乗員の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、この処理結果に基づき、眼の瞳孔あるいは虹彩の中心位置を検出する。
【００１８】
なお、瞳孔位置検出部２４は、処理対象となるフレームに対して、１つ前のフレーム（前フレーム）において瞳孔あるいは虹彩の中心位置を検出した場合には、前フレームにおいて検出した瞳孔あるいは虹彩の中心位置の近傍における所定範囲内、つまり顔画像全体よりも小さい所定範囲（例えば、図２に示す左側範囲Ｌおよび右側範囲Ｒなど）内のみを処理対象として瞳孔あるいは虹彩の中心位置を検出する。
一方、１つ前のフレーム（前フレーム）において瞳孔あるいは虹彩の中心位置を検出していない場合には、顔画像全体を処理対象として瞳孔あるいは虹彩の中心位置を検出する。
【００１９】
角膜反射像検出部２５は、顔画像取得部２３により順次取得された顔画像を所定時間毎に区分した複数のフレーム毎に乗員の左右の眼球周辺において、光源１１から照射された光の角膜表面における反射点（例えば、赤外線の反射像であるプルキニエ像の中心位置）を検出する。
【００２０】
目頭検出部２６は、顔画像取得部２３により順次取得された顔画像を所定時間毎に区分した複数のフレーム毎に乗員の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、この処理結果に基づき、眼の目頭の位置を検出する。
【００２１】
第１視線方向検知部２７は、複数のフレーム毎に、瞳孔位置検出部２４により検出される眼の瞳孔あるいは虹彩の中心位置と、角膜反射像検出部２５により検出される角膜表面の反射点との相対距離に基づき視線方向（第１視線方向）を検知する。
【００２２】
第２視線方向検知部２８は、複数のフレーム毎に、瞳孔位置検出部２４により検出される眼の瞳孔あるいは虹彩の中心位置と、目頭検出部２６により検出される目頭の位置との相対距離に基づき視線方向（第２視線方向）を検知する。
【００２３】
比較部２９は、各フレーム毎に、第１視線方向検知部２７により検知された視線方向（第１視線方向）と、第２視線方向検知部２８により検知された視線方向（第２視線方向）とを比較し、第１視線方向と第２視線方向との差の絶対値が第１所定値未満であるか否かを判定する。
なお、第１視線方向と第２視線方向との差は、所定方向（例えば、座席に着座した乗員の正面方向など）を基準とした各視線方向の角度の差である。
【００２４】
視線方向選択部３０は、各フレーム毎に、第１視線方向検知部２７および第２視線方向検知部２８により各視線方向が検出された場合において、比較部２９による比較結果の差の絶対値が第１所定値未満である場合には第１視線方向を車両の乗員の視線方向として選択し、比較部２９による比較結果の差の絶対値が第１所定値以上である場合には第２視線方向を車両の乗員の視線方向として選択する。
【００２５】
また、視線方向選択部３０は、各フレーム毎に、第１視線方向検知部２７のみによって視線方向（第１視線方向）が検出された場合には、この第１視線方向（現フレームの第１視線方向）と、１つ前のフレーム（前フレーム）において視線方向選択部３０により選択されて視線方向記憶部３１に記憶された視線方向（前フレームの視線方向）との差が第２所定値未満である場合に、現フレームの第１視線方向を車両の乗員の視線方向として選択する。
一方、現フレームの第１視線方向と前フレームの視線方向との差が第２所定値以上である場合に、前フレームの視線方向を車両の乗員の視線方向として選択する。
【００２６】
なお、現フレームの第１視線方向と前フレームの視線方向の差は、所定方向（例えば、座席に着座した乗員の正面方向など）を基準とした各視線方向の角度の差であり、例えば第２所定値は第１所定値よりも大きい値である。
また、視線方向選択部３０は、各フレーム毎に、第２視線方向検知部２８のみによって視線方向（第２視線方向）が検出された場合には、この第２視線方向を車両の乗員の視線方向として選択する。
【００２７】
視線方向記憶部３１は、視線方向選択部３０により選択された各フレーム毎の視線方向を記憶する。
【００２８】
この実施の形態による視線検出装置１０は上記構成を備えており、次に、この視線検出装置１０の動作について説明する。
【００２９】
先ず、例えば図３に示すステップＳ０１においては、今回の処理対象であるフレーム（現フレーム）の一つ前のフレーム（前フレーム）において第１視線方向検知部２７または第２視線方向検知部２８によって視線方向が検知されたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０２に進み、このステップＳ０２
においては、前フレームにおいて検出した瞳孔あるいは虹彩の中心位置の近傍における所定範囲内、つまり顔画像全体よりも小さい所定範囲（例えば、図２に示す左側範囲Ｌおよび右側範囲Ｒなど）内のみを瞳孔あるいは虹彩の中心位置の探索範囲に設定する。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０３に進み、このステップＳ０３においては、顔画像全体を瞳孔あるいは虹彩の中心位置の探索範囲に設定する。
【００３０】
次に、ステップＳ０４においては、瞳孔位置検出部２４により検出される眼の瞳孔あるいは虹彩の中心位置と、角膜反射像検出部２５により検出される角膜表面の反射点との相対距離に基づき視線方向（第１視線方向）を検知する第１視線検知の処理を実行する。
【００３１】
次に、ステップＳ０５においては、瞳孔位置検出部２４により検出される眼の瞳孔あるいは虹彩の中心位置と、目頭検出部２６により検出される目頭の位置との相対距離に基づき視線方向（第２視線方向）を検知する第２視線検知の処理を実行する。
【００３２】
次に、ステップＳ０６においては、第１視線検知および第２視線検知の両方で各視線方向が不検知であったか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進み、このステップＳ０７においては、車両の乗員の視線方向が不検知であることを示す信号を出力し、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０８に進む。
【００３３】
そして、ステップＳ０８においては、第１視線検知および第２視線検知の両方で各視線方向を検知したか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進む。
そして、ステップＳ０９においては、第１視線方向の角度と第２視線方向の角度との差の絶対値が第１所定値未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１０に進み、このステップＳ１０においては、車両の乗員の視線方向として第１視線方向を採用して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１１に進み、このステップＳ１１においては、車両の乗員の視線方向として第２視線方向を採用して、リターンに進む。
【００３４】
そして、ステップＳ１２においては、第１視線検知で第１視線方向を検知したか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ１１に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。
そして、ステップＳ１３においては、現フレームと前フレームとの第１視線方向の角度の差の絶対値が第２所定値未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１４に進み、このステップＳ１４においては、車両の乗員の視線方向として現フレームの第１視線方向を採用して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１５に進み、このステップＳ１５においては、車両の乗員の視線方向として前フレームの視線方向を採用して、リターンに進む。
【００３５】
上述したように、本実施の形態による視線検出装置１０によれば、瞳孔の位置および角膜反射像の位置に基づいて第１視線方向を検出する第１視線方向検知部２７では、角膜反射像によらずに第２視線方向を検出する第２視線方向検知部２８に比べて、視線方向の検出精度が高くなる可能性は高いが検出方向の信頼性や安定性は低くなる場合がある。
このため、第１視線方向と第２視線方向との差の絶対値が第１所定値未満になることで第２視線方向によって第１視線方向の信頼性および安定性が高いと判断することができる場合には、第１視線方向に基づき乗員の視線方向を検出することによって、視線方向の検出精度を向上させることができる。
また、第１視線方向と第２視線方向との差の絶対値が第１所定値以上になることで第１視線方向の信頼性および安定性が低いと判断することができる場合には、第２視線方向に基づき乗員の視線方向を検出することによって、視線方向の検出結果に対して所望の信頼性および安定性を確保することができる。
【００３６】
さらに、瞳孔位置検出部２４は、処理対象となるフレームに対して、１つ前のフレーム（前フレーム）で瞳孔の位置を検出した場合には、この瞳孔の位置の近傍の所定範囲内を探索することから、顔画像の全体を探索する場合に比べて、処理負荷を低減することができる。
【００３７】
さらに、第２視線方向のみが検出された場合には、この第２視線方向を乗員の視線方向として採用することによって、視線方向の検出結果に対して所望の信頼性および安定性を確保することができる。
また、第１視線方向のみが検出された場合であっても、この検出結果（現フレームでの第１視線方向）と１つ前のフレームでの視線方向（前フレームでの視線方向）との差が第２所定値未満であれば、現フレームでの第１視線方向が所望の信頼性および安定性を有すると判断することができ、この現フレームでの第１視線方向を乗員の視線方向として採用することによって所望の信頼性および安定性を確保して視線方向を検出することができる。
一方、この検出結果（現フレームでの第１視線方向）と１つ前のフレームでの視線方向（前フレームでの視線方向）との差が第２所定値以上であれば、前フレームでの視線方向を乗員の視線方向として採用することによって所望の信頼性および安定性を確保して視線方向を検出することができる。
【００３８】
なお、第２視線方向検知部２８は、目頭の位置に限定されず、例えば目尻の位置などの目の他の位置と、瞳孔位置検出部２４により検出される眼の瞳孔あるいは虹彩の中心位置との相対距離に基づき視線方向（第２視線方向）を検知してもよい。
【００３９】
なお、上述したステップＳ１５においては、車両の乗員の視線方向として前フレームの視線方向を採用するとしたが、これに限定されず、車両の乗員の視線方向が不検知であることを示す信号を出力してもよい。
【符号の説明】
【００４０】
１０ 視線検出装置
１１ 光源
１２ 乗員カメラ（撮像手段）
２４ 瞳孔位置検出部（位置検出手段）
２５ 角膜反射像検出部（位置検出手段）
２７ 第１視線方向検知部（第１検出手段）
２８ 第２視線方向検知部（第２検出手段）
２９ 比較部（比較手段）
３０ 視線方向選択部（視線方向検出手段）
【特許請求の範囲】
【請求項１】
ひとの顔を撮像して顔画像を出力する撮像手段と、前記ひとが存在する方向に向かって光を照射可能に配置された光源と、前記撮像手段から出力された前記顔画像から瞳孔の位置および前記光源から照射された前記光による角膜反射像の位置を検出して検出結果を出力する位置検出手段と、該位置検出手段から出力された前記検出結果に基づいて前記ひとの視線方向を検出して検出結果を出力する第１検出手段とを備える視線検出装置であって、
前記位置検出手段から出力された前記検出結果の前記瞳孔の位置と、前記位置検出手段から出力された前記検出結果の前記角膜反射像を含まない前記顔画像での所定部位の位置とに基づいて前記ひとの視線方向を検出して検出結果を出力する第２検出手段と、
前記第１検出手段から出力された前記検出結果と前記第２検出手段から出力された前記検出結果とを比較して前記検出結果同士の差を比較結果として出力する比較手段と、
前記比較手段から出力された前記比較結果の前記差が所定値未満である場合には前記第１検出手段から出力された前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出し、前記比較手段から出力された前記比較結果の前記差が所定値以上である場合には前記第２検出手段から出力された前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出する視線方向検出手段とを備えることを特徴とする視線検出装置。
【請求項２】
前記位置検出手段は、前記撮像手段から順次出力された前記顔画像を所定時間毎に区分した各フレーム毎に前記瞳孔の位置を前記顔画像全体から検出すると共に、前記各フレームのうち所定のフレームよりも１つ前のフレームにおいて前記瞳孔の位置を検出した場合には、前記所定のフレームにおいて、前記１つ前のフレームにおいて検出した前記瞳孔の位置の近傍における前記顔画像全体よりも小さい所定範囲内から前記瞳孔の位置を検出することを特徴とする請求項１に記載の視線検出装置。
【請求項３】
前記位置検出手段は、前記撮像手段から順次出力された前記顔画像を所定時間毎に区分した各フレーム毎に前記瞳孔の位置および前記角膜反射像の位置を検出して検出結果を出力しており、
前記視線方向検出手段は、前記第１検出手段および前記第２検出手段の何れか一方のみから前記検出結果が出力されたときに、
前記検出結果が前記第２検出手段から出力された場合、あるいは、前記各フレームのうち適宜のフレームにおいて前記検出結果が前記第１検出手段から出力されたときに当該適宜のフレームにおいて前記第１検出手段から出力された前記検出結果の前記視線方向と前記適宜のフレームの１つ前のフレームにおいて前記視線方向検出手段により検出された前記視線方向との差が所定値未満である場合に、前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出することを特徴とする請求項１または請求項２に記載の視線検出装置。
【請求項１】
ひとの顔を撮像して顔画像を出力する撮像手段と、前記ひとが存在する方向に向かって光を照射可能に配置された光源と、前記撮像手段から出力された前記顔画像から瞳孔の位置および前記光源から照射された前記光による角膜反射像の位置を検出して検出結果を出力する位置検出手段と、該位置検出手段から出力された前記検出結果に基づいて前記ひとの視線方向を検出して検出結果を出力する第１検出手段とを備える視線検出装置であって、
前記位置検出手段から出力された前記検出結果の前記瞳孔の位置と、前記位置検出手段から出力された前記検出結果の前記角膜反射像を含まない前記顔画像での所定部位の位置とに基づいて前記ひとの視線方向を検出して検出結果を出力する第２検出手段と、
前記第１検出手段から出力された前記検出結果と前記第２検出手段から出力された前記検出結果とを比較して前記検出結果同士の差を比較結果として出力する比較手段と、
前記比較手段から出力された前記比較結果の前記差が所定値未満である場合には前記第１検出手段から出力された前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出し、前記比較手段から出力された前記比較結果の前記差が所定値以上である場合には前記第２検出手段から出力された前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出する視線方向検出手段とを備えることを特徴とする視線検出装置。
【請求項２】
前記位置検出手段は、前記撮像手段から順次出力された前記顔画像を所定時間毎に区分した各フレーム毎に前記瞳孔の位置を前記顔画像全体から検出すると共に、前記各フレームのうち所定のフレームよりも１つ前のフレームにおいて前記瞳孔の位置を検出した場合には、前記所定のフレームにおいて、前記１つ前のフレームにおいて検出した前記瞳孔の位置の近傍における前記顔画像全体よりも小さい所定範囲内から前記瞳孔の位置を検出することを特徴とする請求項１に記載の視線検出装置。
【請求項３】
前記位置検出手段は、前記撮像手段から順次出力された前記顔画像を所定時間毎に区分した各フレーム毎に前記瞳孔の位置および前記角膜反射像の位置を検出して検出結果を出力しており、
前記視線方向検出手段は、前記第１検出手段および前記第２検出手段の何れか一方のみから前記検出結果が出力されたときに、
前記検出結果が前記第２検出手段から出力された場合、あるいは、前記各フレームのうち適宜のフレームにおいて前記検出結果が前記第１検出手段から出力されたときに当該適宜のフレームにおいて前記第１検出手段から出力された前記検出結果の前記視線方向と前記適宜のフレームの１つ前のフレームにおいて前記視線方向検出手段により検出された前記視線方向との差が所定値未満である場合に、前記検出結果の前記視線方向に基づき前記ひとの視線方向を検出することを特徴とする請求項１または請求項２に記載の視線検出装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−５５４２８（Ｐ２０１２−５５４２８Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０００５９（Ｐ２０１０−２０００５９）
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]