注視判定装置
【課題】視線方向に基づく注視対象の判定に対する較正の利便性を適切に向上させる。
【解決手段】注視判定装置１０は、車載機器毎の存在領域である第１領域が一時的に拡大された第２領域と視線方向とが交差する場合に、視線検出部２１により検出された視線方向に対応する座標位置を車載機器毎に格納する座標位置格納部２５と、車載機器毎の座標位置の格納数が所定数以上である場合に座標位置の中央位置を算出する中央位置算出部２７と、第１領域記憶部２３に記憶された車載機器毎の第１領域の中心座標位置が中央位置算出部２７により算出された中央位置に一致するようにして第１領域の位置を変更する第１領域位置変更部２８と、視線方向が第１領域位置変更部２８により位置が変更された第１領域と交差する場合に、運転者が第１領域に対応する車載機器を注視していると判定する注視判定部２２とを備える。
【解決手段】注視判定装置１０は、車載機器毎の存在領域である第１領域が一時的に拡大された第２領域と視線方向とが交差する場合に、視線検出部２１により検出された視線方向に対応する座標位置を車載機器毎に格納する座標位置格納部２５と、車載機器毎の座標位置の格納数が所定数以上である場合に座標位置の中央位置を算出する中央位置算出部２７と、第１領域記憶部２３に記憶された車載機器毎の第１領域の中心座標位置が中央位置算出部２７により算出された中央位置に一致するようにして第１領域の位置を変更する第１領域位置変更部２８と、視線方向が第１領域位置変更部２８により位置が変更された第１領域と交差する場合に、運転者が第１領域に対応する車載機器を注視していると判定する注視判定部２２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注視判定装置に関する。
【背景技術】
【０００２】
従来、例えば操作者により操作された車載機器の位置情報と、この操作時における操作者の視線に応じた位置情報との差異が所定値未満である場合に、眼球センサの検出値を較正する視線検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５９９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る視線検出装置によれば、眼球センサの検出値を較正するためには操作者による車載機器の操作が必要であり、較正が行なわれるタイミングが制限されてしまうという問題が生じる。しかも、較正のために操作者による意図的な操作が必要とされることで煩わしさが生じてしまうという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、視線の検出結果に基づく注視対象の判定処理に対する較正の利便性を適切に向上させることが可能な注視判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る注視判定装置は、運転席に着座した運転者の眼を撮像して画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１１）と、該撮像手段から出力された前記画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線検出手段（例えば、実施の形態での視線検出部２１）と、少なくとも１つ以上の車載機器毎の存在領域を第１領域として記憶する記憶手段（例えば、実施の形態での第１領域記憶部２３）と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記記憶手段に記憶された前記第１領域と交差する場合に、前記運転者が当該第１領域に対応する前記車載機器を注視していると判定する注視判定手段（例えば、実施の形態での注視判定部２２）とを備える注視判定装置であって、前記車載機器毎の前記第１領域を前記車載機器近傍において一時的に拡大して拡大結果を前記車載機器毎の第２領域として出力する領域拡大手段（例えば、実施の形態での領域拡大部２４）と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域拡大手段から出力された前記第２領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する格納手段（例えば、実施の形態での座標位置格納部２５）と、前記格納手段に格納された前記車載機器毎の前記座標位置の格納数が所定数以上であるか否かを判定して判定結果を出力する格納数判定手段（例えば、実施の形態での格納数判定部２６）と、前記格納数判定手段から出力された前記判定結果において前記格納数が所定数以上である場合に、前記車載機器毎の前記座標位置の中央位置を算出して算出結果を出力する中央位置算出手段（例えば、実施の形態での中央位置算出部２７）と、前記記憶手段に記憶された前記車載機器毎の前記第１領域の中心座標位置が前記中央位置算出手段から出力された前記算出結果の前記車載機器毎の前記中央位置に一致するようにして、前記第１領域の位置を変更して変更結果を出力する領域位置変更手段（例えば、実施の形態での第１領域位置変更部２８）とを備え、前記注視判定手段は、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域位置変更手段から出力された前記変更結果の前記第１領域と交差する場合に、前記運転者が当該第１領域に対応する前記車載機器を注視していると判定する。
【０００７】
さらに、本発明の第２態様に係る注視判定装置は、少なくとも１つ以上の方向での車両の加速度を取得して取得結果を出力する加速度取得手段（例えば、実施の形態での加速度センサ１３）と、前記加速度取得手段から出力された前記取得結果の前記加速度が所定値以下であるか否かを判定して判定結果を出力する加速度判定手段（例えば、実施の形態でのステップＳ３１）とを備え、前記格納手段は、前記視線検出手段から出力された前記検出結果の前記視線方向のうち、前記加速度判定手段から出力された前記判定結果において前記加速度が前記所定値以下であるときに前記視線検出手段により検出された前記視線方向が、前記領域拡大手段から出力された前記第２領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する。
【０００８】
さらに、本発明の第３態様に係る注視判定装置では、前記領域拡大手段は、前記車載機器毎の前記第１領域を、該第１領域の周縁部を前記車載機器の周縁部に対応する形状で所定程度だけ拡大するようにして、一時的に拡大する。
【発明の効果】
【０００９】
本発明の第１態様に係る注視判定装置によれば、運転者による特別な操作を必要とせずに車載機器毎の存在領域である第１領域の位置を変更して較正を行なうことができ、利便性を向上させることができる。
また、車載機器近傍において第１領域を拡大して得られる第２領域に対してのみ、視線方向に対応する座標位置を格納することから、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
また、第１領域の位置を変更する較正の実行途中において、視線検出手段から出力された検出結果の視線方向が、第２領域と交差する場合に、運転者が当該第２領域に対応する車載機器を注視していると判定する判定手段を備えた場合には、較正の実行途中であっても、運転者が車載機器を注視しているか否かを判定することができ、装置の信頼性を向上させることができる。
【００１０】
さらに、本発明の第２態様に係る注視判定装置によれば、加速度が所定値よりも大きい場合、つまり運転者の姿勢が定常状態ではない可能性が高い場合に検出された視線方向を除外して、視線方向に対応する座標位置を格納することから、第１領域の位置の変更を精度良く行なうことができる。
【００１１】
さらに、本発明の第３態様に係る注視判定装置によれば、第１領域の周縁部を車載機器の周縁部に対応する形状で所定程度だけ拡大して第２領域を設定することにより、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る注視判定装置の構成図である。
【図２】本発明の実施の形態に係る第１領域および第２領域の例を示す図である。
【図３】本発明の実施の形態に係る注視判定装置の動作を示すフローチャートである。
【図４】図３に示す注視判定の処理を示すフローチャートである。
【図５】図３に示す補正を伴う注視判定の処理を示すフローチャートである。
【図６】本発明の実施の形態の第１変形例に係る補正を伴う注視判定の処理を示すフローチャートである。
【図７】本発明の実施の形態の第２変形例に係る注視判定装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の注視判定装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による注視判定装置１０は、例えば図１に示すように、乗員カメラ１１と、処理装置１２と、加速度センサ１３とを備えて構成され、さらに、処理装置１２は、視線検出部２１と、注視判定部２２と、第１領域記憶部２３と、領域拡大部２４と、座標位置格納部２５と、格納数判定部２６と、中央位置算出部２７と、第１領域位置変更部２８とを備えて構成されている。
【００１４】
乗員カメラ１１は、少なくとも車両の運転席に着座した運転者の眼を撮像対象として、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の眼を含む画像を出力する。
【００１５】
処理装置１２の視線検出部２１は、乗員カメラ１１から出力された画像に基づき、例えば運転者の眼を検知対象とした所定の認識処理を行ない、認識した眼に基づき、運転者の視線方向（つまり、視線ベクトルの方向）を検出して、検出結果を出力する。
注視判定部２２は、視線検出部２１から出力された検出結果と、第１領域記憶部２３に記憶されている第１領域とに基づき、例えば運転者の視線方向が第１領域と交差するか否かを判定することにより、運転者が第１領域に対応する車載機器を注視しているか否かを判定して、判定結果を出力する。
なお、注視判定部２２は、後述する補正処理の実行中（つまり、第２領域が設定されている状態）では、例えば運転者の視線方向が第２領域と交差するか否かを判定することにより、運転者が第２領域に対応する車載機器を注視しているか否かを判定して、判定結果を出力する。
【００１６】
第１領域記憶部２３は、各種の車載機器毎の存在領域を第１領域として記憶している。
この第１領域は、例えば車載機器の実際の存在位置に応じて予め設定された既定の存在領域（例えば図２（Ａ）に示すドアミラー、ルームミラー、ナビゲーション画面などに対する各領域Ａ１〜Ａ４など）である。
【００１７】
領域拡大部２４は、第１領域記憶部２３に記憶されている第１領域の位置を補正する補正処理の実行時に、第１領域記憶部２３に記憶されている第１領域を一時的に拡大して第２領域（例えば図２（Ｂ）に示す各領域Ｃ１〜Ｃ４など）を設定する。
領域拡大部２４は、車載機器毎に車載機器近傍において第１領域を拡大しており、例えば第１領域の周縁部を、車載機器の周縁部に対応する形状で所定程度だけ拡大する。
【００１８】
なお、第１領域および第２領域の形状は、対応する車載機器の形状に限定されず、例えば矩形や楕円形などの各種の形状であってもよい。
また、第１領域を拡大する場合には、例えば適宜の倍率（縦方向に１．４倍かつ横方向に１．２倍など）で拡大してもよいし、適宜の加算（縦方向にプラス１５ｃｍかつ横方向にプラス２０ｃｍなど）で拡大してもよい。
【００１９】
座標位置格納部２５は、視線検出部２１から出力された検出結果の視線方向が、車載機器毎の第２領域と交差する場合に、この視線方向に対応する第２領域上の座標位置（つまり、視線方向と第２領域との交点の座標位置）を車載機器毎に格納する。
また、座標位置格納部２５は、例えば加速度センサ１３から出力される加速度の検出結果に基づき、視線方向に対応する第２領域上の座標位置を格納するか否かを決定しており、先ず、加速度センサ１３により検出された加速度が所定の閾値以下であるか否かを判定する。そして、検出された加速度が所定値以下であるときに視線検出部２１により検出された視線方向が第２領域と交差する場合に、この視線方向に対応する第２領域上の座標位置を車載機器毎に格納する。
なお、加速度に対する所定の閾値は、例えば、前後方向加速度に対して０．５Ｇ、上下方向加速度に対して０．２Ｇ、左右方向加速度に対して０．４Ｇなどである。
【００２０】
格納数判定部２６は、座標位置格納部２５に格納された車載機器毎の座標位置の格納数（例えば、車両が始動してから累積された格納数など）が所定数以上であるか否かを車載機器毎に判定して、判定結果を出力する。
中央位置算出部２７は、格納数判定部２６から出力された判定結果において何れかの車載機器に対する座標位置の格納数が所定数以上である場合には、この車載機器に対して座標位置格納部２５に格納されている複数の座標位置の中央位置（例えば図２（Ｃ）に示す各中央位置Ｄ１〜Ｄ４など）を算出して、算出結果を出力する。
なお、座標位置の格納数に対する所定数は、例えば各座標位置での視線方向の停留時間を積算して得られる積算時間が所定時間となる状態に対応する座標位置の格納数などである。
なお、複数の座標位置の中央位置が算出された車載機器に対しては、第１領域の一時的な拡大により第２領域を設定する動作は解除される。
【００２１】
第１領域位置変更部２８は、中央位置算出部２７から出力された車載機器毎の中央位置を補正位置として、第１領域記憶部２３に記憶されている車載機器毎の第１領域の中心座標位置が補正位置に一致するようにして、第１領域記憶部２３に記憶されている車載機器毎の第１領域の位置を変更して、変更結果（例えば図２（Ｃ）に示す位置変更後の各領域Ｂ１〜Ｂ４など）を出力する。
【００２２】
この実施の形態による注視判定装置１０は上記構成を備えており、次に、この注視判定装置１０の動作について説明する。
【００２３】
先ず、例えば図３に示すステップＳ０１においては、運転者の視線ベクトルを取得する。
次に、ステップＳ０２においては、第１領域記憶部２３に記憶されている第１領域の中心座標位置を変更する補正処理が完了しているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０３に進み、このステップＳ０３においては、後述する注視判定の処理を実行し、エンドに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０４に進み、このステップＳ０４においては、後述する補正を伴う注視判定の処理を実行し、エンドに進む。
【００２４】
以下に、上述したステップＳ０３での注視判定の処理について説明する。
先ず、例えば図４に示すステップＳ１１においては、第１領域記憶部２３に記憶されている車載機器毎の第１領域の中心座標位置を、補正処理により設定された補正位置に一致させるようにして第１領域の位置を変更する。
【００２５】
次に、ステップＳ１２においては、視線ベクトルが第１領域に交差しているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進み、このステップＳ１３においては、運転者が第１領域に対応する対象（車載機器）を注視していると判定し、エンドに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１４に進み、このステップＳ１４においては、運転者が第１領域に対応する対象（車載機器）を注視していないと判定し、エンドに進む。
【００２６】
以下に、上述したステップＳ０４での補正を伴う注視判定の処理について説明する。
先ず、例えば図５に示すステップＳ２１においては、例えば車載機器毎に車載機器近傍において第１領域を拡大することなどによって、第２領域を取得する。
次に、ステップＳ２２においては、視線ベクトルが第２領域に交差しているか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ２３に進み、このステップＳ２３においては、運転者が第２領域に対応する対象（車載機器）を注視していないと判定し、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２４に進む。
【００２７】
次に、ステップＳ２４においては、視線ベクトルと第２領域との交点の座標位置を車載機器毎に格納する。
次に、ステップＳ２５においては、何れかの車載機器に対する座標位置の格納数が所定数以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ２８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２６に進む。
【００２８】
次に、ステップＳ２６においては、格納した座標位置の中央位置を補正位置として、第１領域の中心座標位置を補正位置に一致させる。
次に、ステップＳ２７においては、補正処理を完了する。
次に、ステップＳ２８においては、運転者が第２領域に対応する対象（車載機器）を注視していると判定し、エンドに進む。
【００２９】
上述したように、本実施の形態による注視判定装置１０によれば、運転者による特別な操作を必要とせずに車載機器毎の存在領域である第１領域の位置を変更する補正によって注視判定の較正を行なうことができ、利便性を向上させることができる。
また、車載機器近傍において第１領域を拡大して得られる第２領域に対してのみ、視線方向に対応する座標位置を格納することから、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
また、第１領域の位置を変更する補正処理の実行途中において、視線検出部２１から出力された検出結果の視線方向が、第２領域と交差する場合に、運転者が当該第２領域に対応する車載機器を注視していると判定することにより、補正処理の実行途中であっても、運転者が車載機器を注視しているか否かを判定することができ、装置の信頼性を向上させることができる。
【００３０】
さらに、第１領域の周縁部を、車載機器の周縁部に対応する形状で所定程度だけ拡大して第２領域を設定することにより、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
【００３１】
なお、上述した実施の形態においては、例えば図６に示す第１変形例のように、加速度センサ１３により検出された加速度が所定の閾値以下である場合にのみ、視線ベクトルと第２領域との交点の座標位置を車載機器毎に格納してもよい。
この第１変形例では、上述したステップＳ２２の判定結果が「ＹＥＳ」の場合には、ステップＳ３１に進む。
そして、ステップＳ３１においては、加速度センサ１３により検出された加速度が所定の閾値以下であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ２８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、上述したステップＳ２４に進む。
【００３２】
この第１変形例によれば、加速度が所定の閾値よりも大きい場合、つまり旋回時や加減速時などにおいて運転者の姿勢が定常状態ではない可能性が高い場合に検出された視線方向を除外して、視線方向に対応する座標位置を格納することから、第１領域の位置の変更を精度良く行なうことができる。
なお、加速度が所定の閾値よりも大きくなって座標位置の格納が行われない場合であっても、視線方向が第２領域と交差するか否かに応じて注視判定が実行されることにより、装置の信頼性を向上させることができる。
【００３３】
なお、上述した実施の形態においては、例えば図７に示す第２変形例のように、運転者毎に車載機器毎の補正位置のデータを記憶して、運転者毎の補正位置に基づいて第１領域の中心座標位置を変更してもよい。
この第２変形例では、先ず、ステップＳ４１において、乗員カメラ１１から出力された画像に基づき運転者の顔を認識する。
次に、ステップＳ４２においては、認識した運転者に応じた補正位置が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ４４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４３に進む。
【００３４】
次に、ステップＳ４３においては、認識した運転者に応じた補正位置を取得し、第１領域記憶部２３に記憶されている車載機器毎の第１領域の中心座標位置を補正位置に一致させるようにして第１領域の位置を変更する。
次に、ステップＳ４４においては、運転者の視線ベクトルを取得する。
次に、ステップＳ４５においては、第１領域記憶部２３に記憶されている第１領域または運転者に応じた補正位置によって補正された第１領域の中心座標位置を変更する補正処理が完了しているか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ４６に進み、このステップＳ４６においては、上述した補正を伴う注視判定の処理を実行し、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４７に進む。
そして、ステップＳ４７においては、補正処理により設定された補正位置を運転者に対応させて記憶する。
そして、ステップＳ４８においては、上述した注視判定の処理を実行し、エンドに進む。
この第２変形例によれば、運転者毎に応じて第１領域の位置変更の変更精度を向上させることができる。
【００３５】
なお、上述した実施の形態においては、第１領域を一時的に拡大して第２領域を設定するとしたが、これに限定されず、単に、補正処理の実行中においては第２領域を用いて、補正処理の実行中以外においては第１領域を用いて、視線方向と各領域との交差の有無を判定する際に、補正処理の実行有無に応じて第１領域と第２領域とを切り替えてもよい。この場合、第２領域は第１領域が拡大されて設定された領域であればよい。
【符号の説明】
【００３６】
１０ 注視判定装置
１１ 乗員カメラ（撮像手段）
１３ 加速度センサ（加速度取得手段）
２１ 視線検出部（視線検出手段）
２２ 注視判定部（注視判定手段）
２３ 第１領域記憶部（記憶手段）
２４ 領域拡大部（領域拡大手段）
２５ 座標位置格納部（格納手段）
２６ 格納数判定部（格納数判定手段）
２７ 中央位置算出部（中央位置算出手段）
２８ 第１領域位置変更部（領域位置変更手段）
ステップＳ３１ 加速度判定手段
【技術分野】
【０００１】
本発明は、注視判定装置に関する。
【背景技術】
【０００２】
従来、例えば操作者により操作された車載機器の位置情報と、この操作時における操作者の視線に応じた位置情報との差異が所定値未満である場合に、眼球センサの検出値を較正する視線検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５９９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る視線検出装置によれば、眼球センサの検出値を較正するためには操作者による車載機器の操作が必要であり、較正が行なわれるタイミングが制限されてしまうという問題が生じる。しかも、較正のために操作者による意図的な操作が必要とされることで煩わしさが生じてしまうという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、視線の検出結果に基づく注視対象の判定処理に対する較正の利便性を適切に向上させることが可能な注視判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る注視判定装置は、運転席に着座した運転者の眼を撮像して画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１１）と、該撮像手段から出力された前記画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線検出手段（例えば、実施の形態での視線検出部２１）と、少なくとも１つ以上の車載機器毎の存在領域を第１領域として記憶する記憶手段（例えば、実施の形態での第１領域記憶部２３）と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記記憶手段に記憶された前記第１領域と交差する場合に、前記運転者が当該第１領域に対応する前記車載機器を注視していると判定する注視判定手段（例えば、実施の形態での注視判定部２２）とを備える注視判定装置であって、前記車載機器毎の前記第１領域を前記車載機器近傍において一時的に拡大して拡大結果を前記車載機器毎の第２領域として出力する領域拡大手段（例えば、実施の形態での領域拡大部２４）と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域拡大手段から出力された前記第２領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する格納手段（例えば、実施の形態での座標位置格納部２５）と、前記格納手段に格納された前記車載機器毎の前記座標位置の格納数が所定数以上であるか否かを判定して判定結果を出力する格納数判定手段（例えば、実施の形態での格納数判定部２６）と、前記格納数判定手段から出力された前記判定結果において前記格納数が所定数以上である場合に、前記車載機器毎の前記座標位置の中央位置を算出して算出結果を出力する中央位置算出手段（例えば、実施の形態での中央位置算出部２７）と、前記記憶手段に記憶された前記車載機器毎の前記第１領域の中心座標位置が前記中央位置算出手段から出力された前記算出結果の前記車載機器毎の前記中央位置に一致するようにして、前記第１領域の位置を変更して変更結果を出力する領域位置変更手段（例えば、実施の形態での第１領域位置変更部２８）とを備え、前記注視判定手段は、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域位置変更手段から出力された前記変更結果の前記第１領域と交差する場合に、前記運転者が当該第１領域に対応する前記車載機器を注視していると判定する。
【０００７】
さらに、本発明の第２態様に係る注視判定装置は、少なくとも１つ以上の方向での車両の加速度を取得して取得結果を出力する加速度取得手段（例えば、実施の形態での加速度センサ１３）と、前記加速度取得手段から出力された前記取得結果の前記加速度が所定値以下であるか否かを判定して判定結果を出力する加速度判定手段（例えば、実施の形態でのステップＳ３１）とを備え、前記格納手段は、前記視線検出手段から出力された前記検出結果の前記視線方向のうち、前記加速度判定手段から出力された前記判定結果において前記加速度が前記所定値以下であるときに前記視線検出手段により検出された前記視線方向が、前記領域拡大手段から出力された前記第２領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する。
【０００８】
さらに、本発明の第３態様に係る注視判定装置では、前記領域拡大手段は、前記車載機器毎の前記第１領域を、該第１領域の周縁部を前記車載機器の周縁部に対応する形状で所定程度だけ拡大するようにして、一時的に拡大する。
【発明の効果】
【０００９】
本発明の第１態様に係る注視判定装置によれば、運転者による特別な操作を必要とせずに車載機器毎の存在領域である第１領域の位置を変更して較正を行なうことができ、利便性を向上させることができる。
また、車載機器近傍において第１領域を拡大して得られる第２領域に対してのみ、視線方向に対応する座標位置を格納することから、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
また、第１領域の位置を変更する較正の実行途中において、視線検出手段から出力された検出結果の視線方向が、第２領域と交差する場合に、運転者が当該第２領域に対応する車載機器を注視していると判定する判定手段を備えた場合には、較正の実行途中であっても、運転者が車載機器を注視しているか否かを判定することができ、装置の信頼性を向上させることができる。
【００１０】
さらに、本発明の第２態様に係る注視判定装置によれば、加速度が所定値よりも大きい場合、つまり運転者の姿勢が定常状態ではない可能性が高い場合に検出された視線方向を除外して、視線方向に対応する座標位置を格納することから、第１領域の位置の変更を精度良く行なうことができる。
【００１１】
さらに、本発明の第３態様に係る注視判定装置によれば、第１領域の周縁部を車載機器の周縁部に対応する形状で所定程度だけ拡大して第２領域を設定することにより、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る注視判定装置の構成図である。
【図２】本発明の実施の形態に係る第１領域および第２領域の例を示す図である。
【図３】本発明の実施の形態に係る注視判定装置の動作を示すフローチャートである。
【図４】図３に示す注視判定の処理を示すフローチャートである。
【図５】図３に示す補正を伴う注視判定の処理を示すフローチャートである。
【図６】本発明の実施の形態の第１変形例に係る補正を伴う注視判定の処理を示すフローチャートである。
【図７】本発明の実施の形態の第２変形例に係る注視判定装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の注視判定装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による注視判定装置１０は、例えば図１に示すように、乗員カメラ１１と、処理装置１２と、加速度センサ１３とを備えて構成され、さらに、処理装置１２は、視線検出部２１と、注視判定部２２と、第１領域記憶部２３と、領域拡大部２４と、座標位置格納部２５と、格納数判定部２６と、中央位置算出部２７と、第１領域位置変更部２８とを備えて構成されている。
【００１４】
乗員カメラ１１は、少なくとも車両の運転席に着座した運転者の眼を撮像対象として、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の眼を含む画像を出力する。
【００１５】
処理装置１２の視線検出部２１は、乗員カメラ１１から出力された画像に基づき、例えば運転者の眼を検知対象とした所定の認識処理を行ない、認識した眼に基づき、運転者の視線方向（つまり、視線ベクトルの方向）を検出して、検出結果を出力する。
注視判定部２２は、視線検出部２１から出力された検出結果と、第１領域記憶部２３に記憶されている第１領域とに基づき、例えば運転者の視線方向が第１領域と交差するか否かを判定することにより、運転者が第１領域に対応する車載機器を注視しているか否かを判定して、判定結果を出力する。
なお、注視判定部２２は、後述する補正処理の実行中（つまり、第２領域が設定されている状態）では、例えば運転者の視線方向が第２領域と交差するか否かを判定することにより、運転者が第２領域に対応する車載機器を注視しているか否かを判定して、判定結果を出力する。
【００１６】
第１領域記憶部２３は、各種の車載機器毎の存在領域を第１領域として記憶している。
この第１領域は、例えば車載機器の実際の存在位置に応じて予め設定された既定の存在領域（例えば図２（Ａ）に示すドアミラー、ルームミラー、ナビゲーション画面などに対する各領域Ａ１〜Ａ４など）である。
【００１７】
領域拡大部２４は、第１領域記憶部２３に記憶されている第１領域の位置を補正する補正処理の実行時に、第１領域記憶部２３に記憶されている第１領域を一時的に拡大して第２領域（例えば図２（Ｂ）に示す各領域Ｃ１〜Ｃ４など）を設定する。
領域拡大部２４は、車載機器毎に車載機器近傍において第１領域を拡大しており、例えば第１領域の周縁部を、車載機器の周縁部に対応する形状で所定程度だけ拡大する。
【００１８】
なお、第１領域および第２領域の形状は、対応する車載機器の形状に限定されず、例えば矩形や楕円形などの各種の形状であってもよい。
また、第１領域を拡大する場合には、例えば適宜の倍率（縦方向に１．４倍かつ横方向に１．２倍など）で拡大してもよいし、適宜の加算（縦方向にプラス１５ｃｍかつ横方向にプラス２０ｃｍなど）で拡大してもよい。
【００１９】
座標位置格納部２５は、視線検出部２１から出力された検出結果の視線方向が、車載機器毎の第２領域と交差する場合に、この視線方向に対応する第２領域上の座標位置（つまり、視線方向と第２領域との交点の座標位置）を車載機器毎に格納する。
また、座標位置格納部２５は、例えば加速度センサ１３から出力される加速度の検出結果に基づき、視線方向に対応する第２領域上の座標位置を格納するか否かを決定しており、先ず、加速度センサ１３により検出された加速度が所定の閾値以下であるか否かを判定する。そして、検出された加速度が所定値以下であるときに視線検出部２１により検出された視線方向が第２領域と交差する場合に、この視線方向に対応する第２領域上の座標位置を車載機器毎に格納する。
なお、加速度に対する所定の閾値は、例えば、前後方向加速度に対して０．５Ｇ、上下方向加速度に対して０．２Ｇ、左右方向加速度に対して０．４Ｇなどである。
【００２０】
格納数判定部２６は、座標位置格納部２５に格納された車載機器毎の座標位置の格納数（例えば、車両が始動してから累積された格納数など）が所定数以上であるか否かを車載機器毎に判定して、判定結果を出力する。
中央位置算出部２７は、格納数判定部２６から出力された判定結果において何れかの車載機器に対する座標位置の格納数が所定数以上である場合には、この車載機器に対して座標位置格納部２５に格納されている複数の座標位置の中央位置（例えば図２（Ｃ）に示す各中央位置Ｄ１〜Ｄ４など）を算出して、算出結果を出力する。
なお、座標位置の格納数に対する所定数は、例えば各座標位置での視線方向の停留時間を積算して得られる積算時間が所定時間となる状態に対応する座標位置の格納数などである。
なお、複数の座標位置の中央位置が算出された車載機器に対しては、第１領域の一時的な拡大により第２領域を設定する動作は解除される。
【００２１】
第１領域位置変更部２８は、中央位置算出部２７から出力された車載機器毎の中央位置を補正位置として、第１領域記憶部２３に記憶されている車載機器毎の第１領域の中心座標位置が補正位置に一致するようにして、第１領域記憶部２３に記憶されている車載機器毎の第１領域の位置を変更して、変更結果（例えば図２（Ｃ）に示す位置変更後の各領域Ｂ１〜Ｂ４など）を出力する。
【００２２】
この実施の形態による注視判定装置１０は上記構成を備えており、次に、この注視判定装置１０の動作について説明する。
【００２３】
先ず、例えば図３に示すステップＳ０１においては、運転者の視線ベクトルを取得する。
次に、ステップＳ０２においては、第１領域記憶部２３に記憶されている第１領域の中心座標位置を変更する補正処理が完了しているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０３に進み、このステップＳ０３においては、後述する注視判定の処理を実行し、エンドに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０４に進み、このステップＳ０４においては、後述する補正を伴う注視判定の処理を実行し、エンドに進む。
【００２４】
以下に、上述したステップＳ０３での注視判定の処理について説明する。
先ず、例えば図４に示すステップＳ１１においては、第１領域記憶部２３に記憶されている車載機器毎の第１領域の中心座標位置を、補正処理により設定された補正位置に一致させるようにして第１領域の位置を変更する。
【００２５】
次に、ステップＳ１２においては、視線ベクトルが第１領域に交差しているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進み、このステップＳ１３においては、運転者が第１領域に対応する対象（車載機器）を注視していると判定し、エンドに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１４に進み、このステップＳ１４においては、運転者が第１領域に対応する対象（車載機器）を注視していないと判定し、エンドに進む。
【００２６】
以下に、上述したステップＳ０４での補正を伴う注視判定の処理について説明する。
先ず、例えば図５に示すステップＳ２１においては、例えば車載機器毎に車載機器近傍において第１領域を拡大することなどによって、第２領域を取得する。
次に、ステップＳ２２においては、視線ベクトルが第２領域に交差しているか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ２３に進み、このステップＳ２３においては、運転者が第２領域に対応する対象（車載機器）を注視していないと判定し、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２４に進む。
【００２７】
次に、ステップＳ２４においては、視線ベクトルと第２領域との交点の座標位置を車載機器毎に格納する。
次に、ステップＳ２５においては、何れかの車載機器に対する座標位置の格納数が所定数以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ２８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２６に進む。
【００２８】
次に、ステップＳ２６においては、格納した座標位置の中央位置を補正位置として、第１領域の中心座標位置を補正位置に一致させる。
次に、ステップＳ２７においては、補正処理を完了する。
次に、ステップＳ２８においては、運転者が第２領域に対応する対象（車載機器）を注視していると判定し、エンドに進む。
【００２９】
上述したように、本実施の形態による注視判定装置１０によれば、運転者による特別な操作を必要とせずに車載機器毎の存在領域である第１領域の位置を変更する補正によって注視判定の較正を行なうことができ、利便性を向上させることができる。
また、車載機器近傍において第１領域を拡大して得られる第２領域に対してのみ、視線方向に対応する座標位置を格納することから、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
また、第１領域の位置を変更する補正処理の実行途中において、視線検出部２１から出力された検出結果の視線方向が、第２領域と交差する場合に、運転者が当該第２領域に対応する車載機器を注視していると判定することにより、補正処理の実行途中であっても、運転者が車載機器を注視しているか否かを判定することができ、装置の信頼性を向上させることができる。
【００３０】
さらに、第１領域の周縁部を、車載機器の周縁部に対応する形状で所定程度だけ拡大して第２領域を設定することにより、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
【００３１】
なお、上述した実施の形態においては、例えば図６に示す第１変形例のように、加速度センサ１３により検出された加速度が所定の閾値以下である場合にのみ、視線ベクトルと第２領域との交点の座標位置を車載機器毎に格納してもよい。
この第１変形例では、上述したステップＳ２２の判定結果が「ＹＥＳ」の場合には、ステップＳ３１に進む。
そして、ステップＳ３１においては、加速度センサ１３により検出された加速度が所定の閾値以下であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ２８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、上述したステップＳ２４に進む。
【００３２】
この第１変形例によれば、加速度が所定の閾値よりも大きい場合、つまり旋回時や加減速時などにおいて運転者の姿勢が定常状態ではない可能性が高い場合に検出された視線方向を除外して、視線方向に対応する座標位置を格納することから、第１領域の位置の変更を精度良く行なうことができる。
なお、加速度が所定の閾値よりも大きくなって座標位置の格納が行われない場合であっても、視線方向が第２領域と交差するか否かに応じて注視判定が実行されることにより、装置の信頼性を向上させることができる。
【００３３】
なお、上述した実施の形態においては、例えば図７に示す第２変形例のように、運転者毎に車載機器毎の補正位置のデータを記憶して、運転者毎の補正位置に基づいて第１領域の中心座標位置を変更してもよい。
この第２変形例では、先ず、ステップＳ４１において、乗員カメラ１１から出力された画像に基づき運転者の顔を認識する。
次に、ステップＳ４２においては、認識した運転者に応じた補正位置が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ４４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４３に進む。
【００３４】
次に、ステップＳ４３においては、認識した運転者に応じた補正位置を取得し、第１領域記憶部２３に記憶されている車載機器毎の第１領域の中心座標位置を補正位置に一致させるようにして第１領域の位置を変更する。
次に、ステップＳ４４においては、運転者の視線ベクトルを取得する。
次に、ステップＳ４５においては、第１領域記憶部２３に記憶されている第１領域または運転者に応じた補正位置によって補正された第１領域の中心座標位置を変更する補正処理が完了しているか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ４６に進み、このステップＳ４６においては、上述した補正を伴う注視判定の処理を実行し、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４７に進む。
そして、ステップＳ４７においては、補正処理により設定された補正位置を運転者に対応させて記憶する。
そして、ステップＳ４８においては、上述した注視判定の処理を実行し、エンドに進む。
この第２変形例によれば、運転者毎に応じて第１領域の位置変更の変更精度を向上させることができる。
【００３５】
なお、上述した実施の形態においては、第１領域を一時的に拡大して第２領域を設定するとしたが、これに限定されず、単に、補正処理の実行中においては第２領域を用いて、補正処理の実行中以外においては第１領域を用いて、視線方向と各領域との交差の有無を判定する際に、補正処理の実行有無に応じて第１領域と第２領域とを切り替えてもよい。この場合、第２領域は第１領域が拡大されて設定された領域であればよい。
【符号の説明】
【００３６】
１０ 注視判定装置
１１ 乗員カメラ（撮像手段）
１３ 加速度センサ（加速度取得手段）
２１ 視線検出部（視線検出手段）
２２ 注視判定部（注視判定手段）
２３ 第１領域記憶部（記憶手段）
２４ 領域拡大部（領域拡大手段）
２５ 座標位置格納部（格納手段）
２６ 格納数判定部（格納数判定手段）
２７ 中央位置算出部（中央位置算出手段）
２８ 第１領域位置変更部（領域位置変更手段）
ステップＳ３１ 加速度判定手段
【特許請求の範囲】
【請求項１】
運転席に着座した運転者の眼を撮像して画像を出力する撮像手段と、該撮像手段から出力された前記画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線検出手段と、少なくとも１つ以上の車載機器毎の存在領域を第１領域として記憶する記憶手段と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記記憶手段に記憶された前記第１領域と交差する場合に、前記運転者が当該第１領域に対応する前記車載機器を注視していると判定する注視判定手段とを備える注視判定装置であって、
前記車載機器毎の前記第１領域を前記車載機器近傍において一時的に拡大して拡大結果を前記車載機器毎の第２領域として出力する領域拡大手段と、
前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域拡大手段から出力された前記第２領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する格納手段と、
前記格納手段に格納された前記車載機器毎の前記座標位置の格納数が所定数以上であるか否かを判定して判定結果を出力する格納数判定手段と、
前記格納数判定手段から出力された前記判定結果において前記格納数が所定数以上である場合に、前記車載機器毎の前記座標位置の中央位置を算出して算出結果を出力する中央位置算出手段と、
前記記憶手段に記憶された前記車載機器毎の前記第１領域の中心座標位置が前記中央位置算出手段から出力された前記算出結果の前記車載機器毎の前記中央位置に一致するようにして、前記第１領域の位置を変更して変更結果を出力する領域位置変更手段とを備え、
前記注視判定手段は、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域位置変更手段から出力された前記変更結果の前記第１領域と交差する場合に、前記運転者が当該第１領域に対応する前記車載機器を注視していると判定することを特徴とする注視判定装置。
【請求項２】
少なくとも１つ以上の方向での車両の加速度を取得して取得結果を出力する加速度取得手段と、
前記加速度取得手段から出力された前記取得結果の前記加速度が所定値以下であるか否かを判定して判定結果を出力する加速度判定手段とを備え、
前記格納手段は、前記視線検出手段から出力された前記検出結果の前記視線方向のうち、前記加速度判定手段から出力された前記判定結果において前記加速度が前記所定値以下であるときに前記視線検出手段により検出された前記視線方向が、前記領域拡大手段から出力された前記第２領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納することを特徴とする請求項１に記載の注視判定装置。
【請求項３】
前記領域拡大手段は、前記車載機器毎の前記第１領域を、該第１領域の周縁部を前記車載機器の周縁部に対応する形状で所定程度だけ拡大するようにして、一時的に拡大することを特徴とする請求項１に記載の注視判定装置。
【請求項１】
運転席に着座した運転者の眼を撮像して画像を出力する撮像手段と、該撮像手段から出力された前記画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線検出手段と、少なくとも１つ以上の車載機器毎の存在領域を第１領域として記憶する記憶手段と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記記憶手段に記憶された前記第１領域と交差する場合に、前記運転者が当該第１領域に対応する前記車載機器を注視していると判定する注視判定手段とを備える注視判定装置であって、
前記車載機器毎の前記第１領域を前記車載機器近傍において一時的に拡大して拡大結果を前記車載機器毎の第２領域として出力する領域拡大手段と、
前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域拡大手段から出力された前記第２領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する格納手段と、
前記格納手段に格納された前記車載機器毎の前記座標位置の格納数が所定数以上であるか否かを判定して判定結果を出力する格納数判定手段と、
前記格納数判定手段から出力された前記判定結果において前記格納数が所定数以上である場合に、前記車載機器毎の前記座標位置の中央位置を算出して算出結果を出力する中央位置算出手段と、
前記記憶手段に記憶された前記車載機器毎の前記第１領域の中心座標位置が前記中央位置算出手段から出力された前記算出結果の前記車載機器毎の前記中央位置に一致するようにして、前記第１領域の位置を変更して変更結果を出力する領域位置変更手段とを備え、
前記注視判定手段は、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域位置変更手段から出力された前記変更結果の前記第１領域と交差する場合に、前記運転者が当該第１領域に対応する前記車載機器を注視していると判定することを特徴とする注視判定装置。
【請求項２】
少なくとも１つ以上の方向での車両の加速度を取得して取得結果を出力する加速度取得手段と、
前記加速度取得手段から出力された前記取得結果の前記加速度が所定値以下であるか否かを判定して判定結果を出力する加速度判定手段とを備え、
前記格納手段は、前記視線検出手段から出力された前記検出結果の前記視線方向のうち、前記加速度判定手段から出力された前記判定結果において前記加速度が前記所定値以下であるときに前記視線検出手段により検出された前記視線方向が、前記領域拡大手段から出力された前記第２領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納することを特徴とする請求項１に記載の注視判定装置。
【請求項３】
前記領域拡大手段は、前記車載機器毎の前記第１領域を、該第１領域の周縁部を前記車載機器の周縁部に対応する形状で所定程度だけ拡大するようにして、一時的に拡大することを特徴とする請求項１に記載の注視判定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１１６２４８（Ｐ２０１１−１１６２４８Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７５６９３（Ｐ２００９−２７５６９３）
【出願日】平成２１年１２月３日（２００９．１２．３）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月３日（２００９．１２．３）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]