顔向き判定装置
【課題】光環境に影響されることなく対象者の顔向きを判定することができる顔向き判定装置を提供する。
【解決手段】顔向き判定装置１は、車室内において運転者の顔向きを判定するＥＣＵ２と、赤外線サーモグラフィ３が備えられており、ＥＣＵ２には、赤外線サーモグラフィ３から送信される温度分布画像を取得する温度分布画像取得部５と、温度分布画像から顔領域と息領域を検出する画像処理部６と、画像処理部６で検出された息領域と顔領域から運転者の顔向きを判定する顔向き判定部７とが備えられている。そして、顔向き判定部７は、顔領域に対する息領域の位置関係に基づいて、運転者から吐出される息の方向を算出し、この算出結果に基づいて運転者の顔向きを判定する。
【解決手段】顔向き判定装置１は、車室内において運転者の顔向きを判定するＥＣＵ２と、赤外線サーモグラフィ３が備えられており、ＥＣＵ２には、赤外線サーモグラフィ３から送信される温度分布画像を取得する温度分布画像取得部５と、温度分布画像から顔領域と息領域を検出する画像処理部６と、画像処理部６で検出された息領域と顔領域から運転者の顔向きを判定する顔向き判定部７とが備えられている。そして、顔向き判定部７は、顔領域に対する息領域の位置関係に基づいて、運転者から吐出される息の方向を算出し、この算出結果に基づいて運転者の顔向きを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象者の顔向きを判定する顔向き判定装置に関する。
【背景技術】
【０００２】
従来から、運転者のよそ見などに起因する車両の衝突を未然に防止するために、運転者の顔向きを判定する顔向き判定装置が知られている。この従来の顔向き判定装置は、ＣＣＤカメラ等により撮像された運転者の顔画像から、特徴点となる顔、目、鼻、口等のエッジを検出し、この検出したエッジの左右対称性から運転者の顔向きを判定している（例えば、特許文献１参照）。
【特許文献１】特開２００７−０７２６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の顔向き判定装置では、直射日光などの光環境により、撮像された顔画像が白とびしてしまい、特徴点のエッジを検出することができないという問題があった。
【０００４】
そこで、本発明は、光環境に影響されることなく対象者の顔向きを判定することができる顔向き判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の顔向き検出装置は、対象者の顔の向きを判定する顔向き判定装置であって、対象者の周囲の温度情報を取得する温度情報取得手段と、温度情報取得手段により取得された温度情報に基づいて対象者から吐出された息の息位置を検出する息位置検出手段と、息位置検出手段により検出された息位置に基づいて対象者の顔向きを判定する顔向き判定手段と、を備えることを特徴とする。
【０００６】
本発明に係る顔向き判定装置によれば、対象者から吐出された息は、所定範囲の温度域で纏まって存在することから、対象者の周囲の温度情報に基づいて息位置を検出することができる。そして、息は顔が向けられている方向に吐出されることから、検出した息位置に基づいて対象者の顔向きを判定することができる。このように、温度情報に基づいて検出される息位置から対象者の顔向きを判定することができるため、光環境に影響されることなく対象者の顔向きを判定することができる。
【０００７】
この場合、温度情報取得手段により取得された温度情報に基づいて対象者の顔位置を検出する顔位置検出手段を更に備え、顔向き判定手段は、顔位置と息位置との関係に基づいて対象者の顔向きを判定することが好ましい。この顔向き判定装置によれば、温度情報に基づいて検出された顔位置と息位置とを対比することで、顔位置に対する息位置の方向を求めることができる。このため、対象者の顔向きを高精度に判定することができる。
【０００８】
また、上記顔向き判定手段は、息位置検出手段により異なる時刻に検出された息位置に基づいて対象者の顔向きを判定することが好ましい。この顔向き判定装置によれば、異なる時刻に検出された息位置の関係により、対象者から吐出された息の進行方向を求めることができる。このため、対象者の顔向きを高精度に判定することができる。
【発明の効果】
【０００９】
本発明によれば、光環境に影響されることなく対象者の顔向きを検出することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明に係る顔向き検出装置の好適な実施形態について詳細に説明する。なお、全図中、同一又は相当部分には同一符号を付すこととする。
【００１１】
［第１実施形態］
図１は、第１の実施形態に係る顔向き判定装置のブロック構成を示した図である。図に示すように、本実施形態の顔向き判定装置１は、車室内において運転者の顔向きを判定するＥＣＵ（Electronic Control Unit）２を備えており、このＥＣＵ２には、赤外線サーモグラフィ３が接続されている。
【００１２】
赤外線サーモグラフィ３は、図２に示すように、車室内における運転席の上部前方に設置されており、運転席に座った運転者の顔に向けられている。赤外線サーモグラフィ３は、赤外線により車室内の温度分布を測定し、この測定した温度分布を温度ごとに色分けして画像化するものでなお、そして、赤外線サーモグラフィ３は、運転席に座った運転者の顔の周囲の温度分布を測定すると共に、この測定した温度分布を画像化した温度分布画像を生成し、映像信号としてＥＣＵ２に送信する。
【００１３】
そして、ＥＣＵ２は、赤外線サーモグラフィ３から送信される温度分布画像に基づいて、運転者の顔向きを判定する。このため、ＥＣＵ２には、温度分布画像取得部５と、画像処理部６と、顔向き判定部７とが備えられている。なお、ＥＣＵ２は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータを主体として構成されている。
【００１４】
温度分布画像取得部５は、赤外線サーモグラフィ３と通信可能に接続されている。そして、温度分布画像取得部５は、赤外線サーモグラフィ３から映像信号として送信される温度分布画像を取得する。
【００１５】
画像処理部６は、温度分布画像取得部５により取得された温度分布画像を画像処理して、運転者の顔に対応する顔領域と、運転者から吐出された息に対応する息領域とを検出する。すなわち、画像処理部６には、所定の顔温度範囲及び息温度範囲が設定されている。そして、画像処理部６は、温度分布画像から顔温度範囲となる領域を抽出することで、顔領域を検出する。また、画像処理部６は、この検出した顔領域の近傍において、温度分布画像から息温度範囲となる領域を抽出することで、息領域を検出する。なお、画像処理部６において検出された顔領域及び息領域は、温度分布画像における位置情報として管理され、検出履歴として記憶装置（不図示）に保持される。
【００１６】
顔向き判定部７は、画像処理部６において検出された顔領域と息領域とに基づいて、運転者の顔向きを判定する。すなわち、顔向き判定部７は、顔領域に対する息領域の位置関係に基づいて、運転者から吐出される息の方向を算出し、この算出結果に基づいて運転者の顔向きを判定する。
【００１７】
次に、図３〜図５を参照しながら、本実施形態に係る顔向き判定装置１の処理動作について説明する。図３は、ＥＣＵの動作を示すフローチャート、図４は、ＥＣＵの顔向き判定処理を示すフローチャートであり、図５は、ＥＣＵが取得した温度分布画像を示す図である。
【００１８】
顔向き判定装置１は、運転者によりイグニションがＯＮにされることで処理が開始され、イグニションがＯＦＦにされるまで、下記の処理が繰り返し行われる。
【００１９】
まず、ステップＳ１において、ＥＣＵ２では、赤外線サーモグラフィ３から送信された温度分布画像が取得される。すなわち、ステップＳ１では、まず、赤外線サーモグラフィ３において、運転者の顔の周囲の温度分布が測定され、この測定された温度分布に基づいて、温度ごとに色分けされた温度分布画像が生成される。そして、この生成された温度分布画像がＥＣＵ２に送信されることで、ＥＣＵ２において、温度分布画像が取得される。なお、図５（ａ）は、前々回（Ｔ−２）取得した温度分布画像を示しており、図５（ｂ）は、前回（Ｔ−１）取得した温度分布画像を示しており、図５（ｃ）は、今回（Ｔ）取得した温度分布画像を示している。
【００２０】
次に、ステップＳ２において、ＥＣＵ２では、温度分布画像から顔領域を検出する顔領域検出処理が行われる。この顔領域検出処理では、図５に示すように、ステップＳ１において取得された温度分布画像Ａから、顔温度範囲（顔温度範囲を示す色）の領域Ｂが位置情報として抽出される。更に、この抽出した領域Ｂに対する楕円フィッティングにより、この領域Ｂが顔に対応するものであるか否かの信頼性評価が行われる。そして、この信頼性評価が所定値よりも高い場合に、この領域Ｂが、運転者の顔に対応する顔領域Ｂであると判断され、顔領域Ｂが検出される。
【００２１】
次に、ステップＳ３において、ＥＣＵ２では、温度分布画像から息領域を検出する息領域検出処理が行われる。この息領域検出処理では、図５に示すように、ステップＳ１において取得された温度分布画像Ａから、ステップＳ２において検出された顔領域Ｂの近傍において、息温度範囲（息温度範囲を示す色）の領域Ｃが位置情報として抽出される。なお、領域Ｃは、顔領域Ｂの近傍において部分的に高温となる領域を抽出することとしてもよい。そして、この抽出した領域Ｃが、運転者から吐出された息に対応する息領域Ｃであると判断され、息領域Ｃが検出される。なお、ステップＳ３において検出された息領域は、検出履歴として記憶装置に追加保存される。
【００２２】
次に、ステップＳ４において、ＥＣＵ２では、息領域が所定回数連続して検出されたか否かの判定処理が行われる。この判定では、ステップＳ３において、過去に遡って複数回（例えば３回）連続して息領域が検出されたか否かが判定される。すなわち、この判定では、複数回にわたって連続して息領域を検出することで、この息領域が運転者から吐出された息に対応するものであるとの信頼性を向上させる。図５に示すように、前々回（Ｔ−１）息領域Ｃ１が検出され、前回（Ｔ−１）息領域Ｃ２が検出され、今回（Ｔ）息領域Ｃ３が検出されると、息領域が３回連続して検出されたため、この息領域Ｃ３が、運転者から吐出された息を示すものであると判断される。一方、今回息領域が検出されたとしても、前々回も前回も息領域が検出されなかった場合は、今回検出された息領域が、運転者から吐出された息に対応したものであるとの信頼性が十分高くない。このため、今回検出した領域は、運転者から吐出された息に対応したものと判断されない。
【００２３】
ステップＳ４において、息領域が所定回数連続して検出したと判定された場合、ＥＣＵ２では、ステップＳ３に戻り、再度、息領域検出処理が行われる。
【００２４】
一方、ステップＳ４において、息領域が所定回数連続して検出されていないと判定された場合、ＥＣＵ２では、ステップＳ５に進み、顔向き判定処理が行われる。この顔向き判定処理は、図４に示すように、以下の処理が行われる。
【００２５】
まず、ステップＳ１１において、ＥＣＵ２では、顔領域に対する息領域の方向の算出処理が行われる。この算出処理では、ステップＳ２において検出された顔領域と、ステップＳ３において検出された息領域とを対比することにより、この顔領域に対する息領域の方向が算出される。すなわち、図５（ｃ）に示すように、顔領域Ｂの中心点ｐと息領域Ｃ３の中心点ｐ３の位置が求められ、この中心点ｐから中心点ｐ３に向かう直線Ｌ１が算出される。そして、この直線Ｌ１の向きが、顔領域に対する息領域の方向であると判断される。
【００２６】
そして、ステップＳ１２において、ＥＣＵ２では、ステップＳ１１において算出された顔領域に対する息領域の方向が、運転者の顔向きであると判定される。
【００２７】
このように、ステップＳ５において運転者の顔向きが判定されることで、顔向き判定装置１による処理動作が終了する。
【００２８】
［第２実施形態］
次に、第２の実施形態について説明する。第２の実施形態に係る顔向き判定装置は、第１の実施形態に係る顔向き判定装置と、顔向き判定処理（ステップＳ５）の処理動作のみ異なり、構成及び他の処理動作は同一である。このため、以下では、顔向き判定処理のみ説明する。
【００２９】
図６は、第２の実施形態におけるＥＣＵの顔向き判定処理を示すフローチャートであり、図７は、図５（ａ）〜図５（ｃ）の温度分布画像を合成した図である。
【００３０】
図６に示すように、まず、ステップＳ２１において、ＥＣＵ２では、息領域の検出履歴の近似直線の算出処理が行われる。この算出処理では、ステップＳ３において検出された息領域の検出履歴から、異なる時間に検出された複数個の息領域に近似される近似曲線が算出される。なお、ステップＳ２１では、今回検出された息領域と、直近に検出された１つの息領域又は数点の息領域に基づき、近似曲線が算出される。すなわち、図７では、前々回に検出された息領域Ｃ１の中心点ｐ１と、前回検出された息領域Ｃ２の中心点ｐ２と、今回検出された息領域Ｃ３の中心点ｐ３とに近似される近似曲線Ｌ２（本実施形態では、この近似曲線Ｌ２が直線であるものとして説明する）が算出される。なお、近似曲線の近似対象となる複数個の息領域は、連続して検出された複数個の息領域を採用してもよく、所定時間ごとに検出された複数個の息領域を採用してもよい。
【００３１】
次に、ステップＳ２２において、ＥＣＵ２では、近似曲線の方向が判断される。この判断では、ステップＳ２において検出された顔領域と、ステップＳ３において検出された息領域とが対比される。そして、この顔領域から息領域に向かう方向が、近似曲線の前方向であると判断される。すなわち、図７では、顔領域Ｂから息領域Ｃに向かう方向が、近似曲線Ｌ２の前方向（矢印方向）であると判断される。なお、ステップＳ２２では、息領域の検出履歴のみに基づいて、近似曲線の方向を判断してもよい。すなわち、過去に検出された息領域Ｃ１又は息領域Ｃ２から、今回検出された息領域Ｃ３に向かう方向が、近似曲線Ｌ２の前方向であると判断してもよい。
【００３２】
そして、ステップＳ２３において、ＥＣＵ２では、ステップＳ２２において判断された近似曲線の方向が、運転者の顔向きであると判定される。
【００３３】
このように上記実施形態によれば、運転者から吐出される息は所定範囲の温度域で纏まって存在することから、赤外線サーモグラフィ３で測定された車室内の温度分布画像に基づいて息領域を検出することができる。そして、息は顔が向けられている方向に吐出されることから、検出した息領域に基づいて運転者の顔向きを判定することができる。このように、温度情報に基づいて検出される息領域から運転者の顔向きを判定することができるため、光環境に影響されることなく運転者の顔向きを判定することができる。
【００３４】
また、上記実施形態によれば、温度分布画像から検出された顔領域と息領域とを対比させることで、顔領域に対する息領域の方向を求めることができる。このため、運転者の顔向きを高精度に判定することができる。
【００３５】
また、上記実施形態によれば、異なる時刻に検出された複数の息位置から算出される近似曲線から、運転者から吐出された息の進行方向を求めることができる。このため、運転者の顔向きを高精度に判定することができる。
【００３６】
そして、顔向き判定装置１により判定された運転者の顔向き結果を利用することにより、運転者が目視している方向を推認することができる。このため、例えば、運転者がよそ見をしていると判断した場合は、周辺の障害物等を検知する周辺環境監視システムのセンシングレベルを上げたり、障害物の接近に伴う警報を通常時よりも早期に発したり、自動制動制御を通常時よりも早期に作動させたりすることで、より安全に車両を走行させることができる。
【００３７】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、顔領域に対する息領域の方向、又は、近似曲線の方向に基づいて、運転者の顔向きを判定するものとして説明したが、例えば、顔領域と息領域とを対比することにより、顔領域において息が吐出される息吐出箇所を特定し、顔領域における息吐出箇所の方向に基づいて、運転者の顔向きを判定してもよい。
【００３８】
また、上記実施形態において、ＥＣＵ２は、赤外線サーモグラフィ３により生成される温度分布画像を画像処理することにより、顔領域及び息領域を検出するものとして説明したが、赤外線サーモグラフィ３により測定された温度分布を画像化することなく、温度分布から直接顔領域及び息領域を検出してもよい。
【００３９】
また、第２の実施形態では、複数の息位置を直線に近似するものとして説明したが、曲線に近似して、車室内の風や運転者の顔向き動作などの影響を考慮してもよい。
【図面の簡単な説明】
【００４０】
【図１】第１の実施形態に係る顔向き判定装置のブロック構成を示した図である。
【図２】赤外線サーモグラフィの設置例を示した図である。
【図３】ＥＣＵの動作を示すフローチャートである。
【図４】ＥＣＵの顔向き判定処理を示すフローチャートである。
【図５】ＥＣＵが取得した温度分布画像を示す図である。
【図６】第２の実施形態におけるＥＣＵの顔向き判定処理を示すフローチャートである。
【図７】図５（ａ）〜図５（ｃ）の温度分布画像を合成した図である。
【符号の説明】
【００４１】
１…顔向き判定装置、２…ＥＣＵ（温度情報取得手段、息位置検出手段、顔向き判定手段、顔位置検出手段）、３…赤外線サーモグラフィ（温度情報取得手段）、５…温度分布画像取得部（温度情報取得手段）、６…画像処理部（息位置検出手段、顔位置検出手段）、７…顔向き判定部。
【技術分野】
【０００１】
本発明は、対象者の顔向きを判定する顔向き判定装置に関する。
【背景技術】
【０００２】
従来から、運転者のよそ見などに起因する車両の衝突を未然に防止するために、運転者の顔向きを判定する顔向き判定装置が知られている。この従来の顔向き判定装置は、ＣＣＤカメラ等により撮像された運転者の顔画像から、特徴点となる顔、目、鼻、口等のエッジを検出し、この検出したエッジの左右対称性から運転者の顔向きを判定している（例えば、特許文献１参照）。
【特許文献１】特開２００７−０７２６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の顔向き判定装置では、直射日光などの光環境により、撮像された顔画像が白とびしてしまい、特徴点のエッジを検出することができないという問題があった。
【０００４】
そこで、本発明は、光環境に影響されることなく対象者の顔向きを判定することができる顔向き判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の顔向き検出装置は、対象者の顔の向きを判定する顔向き判定装置であって、対象者の周囲の温度情報を取得する温度情報取得手段と、温度情報取得手段により取得された温度情報に基づいて対象者から吐出された息の息位置を検出する息位置検出手段と、息位置検出手段により検出された息位置に基づいて対象者の顔向きを判定する顔向き判定手段と、を備えることを特徴とする。
【０００６】
本発明に係る顔向き判定装置によれば、対象者から吐出された息は、所定範囲の温度域で纏まって存在することから、対象者の周囲の温度情報に基づいて息位置を検出することができる。そして、息は顔が向けられている方向に吐出されることから、検出した息位置に基づいて対象者の顔向きを判定することができる。このように、温度情報に基づいて検出される息位置から対象者の顔向きを判定することができるため、光環境に影響されることなく対象者の顔向きを判定することができる。
【０００７】
この場合、温度情報取得手段により取得された温度情報に基づいて対象者の顔位置を検出する顔位置検出手段を更に備え、顔向き判定手段は、顔位置と息位置との関係に基づいて対象者の顔向きを判定することが好ましい。この顔向き判定装置によれば、温度情報に基づいて検出された顔位置と息位置とを対比することで、顔位置に対する息位置の方向を求めることができる。このため、対象者の顔向きを高精度に判定することができる。
【０００８】
また、上記顔向き判定手段は、息位置検出手段により異なる時刻に検出された息位置に基づいて対象者の顔向きを判定することが好ましい。この顔向き判定装置によれば、異なる時刻に検出された息位置の関係により、対象者から吐出された息の進行方向を求めることができる。このため、対象者の顔向きを高精度に判定することができる。
【発明の効果】
【０００９】
本発明によれば、光環境に影響されることなく対象者の顔向きを検出することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明に係る顔向き検出装置の好適な実施形態について詳細に説明する。なお、全図中、同一又は相当部分には同一符号を付すこととする。
【００１１】
［第１実施形態］
図１は、第１の実施形態に係る顔向き判定装置のブロック構成を示した図である。図に示すように、本実施形態の顔向き判定装置１は、車室内において運転者の顔向きを判定するＥＣＵ（Electronic Control Unit）２を備えており、このＥＣＵ２には、赤外線サーモグラフィ３が接続されている。
【００１２】
赤外線サーモグラフィ３は、図２に示すように、車室内における運転席の上部前方に設置されており、運転席に座った運転者の顔に向けられている。赤外線サーモグラフィ３は、赤外線により車室内の温度分布を測定し、この測定した温度分布を温度ごとに色分けして画像化するものでなお、そして、赤外線サーモグラフィ３は、運転席に座った運転者の顔の周囲の温度分布を測定すると共に、この測定した温度分布を画像化した温度分布画像を生成し、映像信号としてＥＣＵ２に送信する。
【００１３】
そして、ＥＣＵ２は、赤外線サーモグラフィ３から送信される温度分布画像に基づいて、運転者の顔向きを判定する。このため、ＥＣＵ２には、温度分布画像取得部５と、画像処理部６と、顔向き判定部７とが備えられている。なお、ＥＣＵ２は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータを主体として構成されている。
【００１４】
温度分布画像取得部５は、赤外線サーモグラフィ３と通信可能に接続されている。そして、温度分布画像取得部５は、赤外線サーモグラフィ３から映像信号として送信される温度分布画像を取得する。
【００１５】
画像処理部６は、温度分布画像取得部５により取得された温度分布画像を画像処理して、運転者の顔に対応する顔領域と、運転者から吐出された息に対応する息領域とを検出する。すなわち、画像処理部６には、所定の顔温度範囲及び息温度範囲が設定されている。そして、画像処理部６は、温度分布画像から顔温度範囲となる領域を抽出することで、顔領域を検出する。また、画像処理部６は、この検出した顔領域の近傍において、温度分布画像から息温度範囲となる領域を抽出することで、息領域を検出する。なお、画像処理部６において検出された顔領域及び息領域は、温度分布画像における位置情報として管理され、検出履歴として記憶装置（不図示）に保持される。
【００１６】
顔向き判定部７は、画像処理部６において検出された顔領域と息領域とに基づいて、運転者の顔向きを判定する。すなわち、顔向き判定部７は、顔領域に対する息領域の位置関係に基づいて、運転者から吐出される息の方向を算出し、この算出結果に基づいて運転者の顔向きを判定する。
【００１７】
次に、図３〜図５を参照しながら、本実施形態に係る顔向き判定装置１の処理動作について説明する。図３は、ＥＣＵの動作を示すフローチャート、図４は、ＥＣＵの顔向き判定処理を示すフローチャートであり、図５は、ＥＣＵが取得した温度分布画像を示す図である。
【００１８】
顔向き判定装置１は、運転者によりイグニションがＯＮにされることで処理が開始され、イグニションがＯＦＦにされるまで、下記の処理が繰り返し行われる。
【００１９】
まず、ステップＳ１において、ＥＣＵ２では、赤外線サーモグラフィ３から送信された温度分布画像が取得される。すなわち、ステップＳ１では、まず、赤外線サーモグラフィ３において、運転者の顔の周囲の温度分布が測定され、この測定された温度分布に基づいて、温度ごとに色分けされた温度分布画像が生成される。そして、この生成された温度分布画像がＥＣＵ２に送信されることで、ＥＣＵ２において、温度分布画像が取得される。なお、図５（ａ）は、前々回（Ｔ−２）取得した温度分布画像を示しており、図５（ｂ）は、前回（Ｔ−１）取得した温度分布画像を示しており、図５（ｃ）は、今回（Ｔ）取得した温度分布画像を示している。
【００２０】
次に、ステップＳ２において、ＥＣＵ２では、温度分布画像から顔領域を検出する顔領域検出処理が行われる。この顔領域検出処理では、図５に示すように、ステップＳ１において取得された温度分布画像Ａから、顔温度範囲（顔温度範囲を示す色）の領域Ｂが位置情報として抽出される。更に、この抽出した領域Ｂに対する楕円フィッティングにより、この領域Ｂが顔に対応するものであるか否かの信頼性評価が行われる。そして、この信頼性評価が所定値よりも高い場合に、この領域Ｂが、運転者の顔に対応する顔領域Ｂであると判断され、顔領域Ｂが検出される。
【００２１】
次に、ステップＳ３において、ＥＣＵ２では、温度分布画像から息領域を検出する息領域検出処理が行われる。この息領域検出処理では、図５に示すように、ステップＳ１において取得された温度分布画像Ａから、ステップＳ２において検出された顔領域Ｂの近傍において、息温度範囲（息温度範囲を示す色）の領域Ｃが位置情報として抽出される。なお、領域Ｃは、顔領域Ｂの近傍において部分的に高温となる領域を抽出することとしてもよい。そして、この抽出した領域Ｃが、運転者から吐出された息に対応する息領域Ｃであると判断され、息領域Ｃが検出される。なお、ステップＳ３において検出された息領域は、検出履歴として記憶装置に追加保存される。
【００２２】
次に、ステップＳ４において、ＥＣＵ２では、息領域が所定回数連続して検出されたか否かの判定処理が行われる。この判定では、ステップＳ３において、過去に遡って複数回（例えば３回）連続して息領域が検出されたか否かが判定される。すなわち、この判定では、複数回にわたって連続して息領域を検出することで、この息領域が運転者から吐出された息に対応するものであるとの信頼性を向上させる。図５に示すように、前々回（Ｔ−１）息領域Ｃ１が検出され、前回（Ｔ−１）息領域Ｃ２が検出され、今回（Ｔ）息領域Ｃ３が検出されると、息領域が３回連続して検出されたため、この息領域Ｃ３が、運転者から吐出された息を示すものであると判断される。一方、今回息領域が検出されたとしても、前々回も前回も息領域が検出されなかった場合は、今回検出された息領域が、運転者から吐出された息に対応したものであるとの信頼性が十分高くない。このため、今回検出した領域は、運転者から吐出された息に対応したものと判断されない。
【００２３】
ステップＳ４において、息領域が所定回数連続して検出したと判定された場合、ＥＣＵ２では、ステップＳ３に戻り、再度、息領域検出処理が行われる。
【００２４】
一方、ステップＳ４において、息領域が所定回数連続して検出されていないと判定された場合、ＥＣＵ２では、ステップＳ５に進み、顔向き判定処理が行われる。この顔向き判定処理は、図４に示すように、以下の処理が行われる。
【００２５】
まず、ステップＳ１１において、ＥＣＵ２では、顔領域に対する息領域の方向の算出処理が行われる。この算出処理では、ステップＳ２において検出された顔領域と、ステップＳ３において検出された息領域とを対比することにより、この顔領域に対する息領域の方向が算出される。すなわち、図５（ｃ）に示すように、顔領域Ｂの中心点ｐと息領域Ｃ３の中心点ｐ３の位置が求められ、この中心点ｐから中心点ｐ３に向かう直線Ｌ１が算出される。そして、この直線Ｌ１の向きが、顔領域に対する息領域の方向であると判断される。
【００２６】
そして、ステップＳ１２において、ＥＣＵ２では、ステップＳ１１において算出された顔領域に対する息領域の方向が、運転者の顔向きであると判定される。
【００２７】
このように、ステップＳ５において運転者の顔向きが判定されることで、顔向き判定装置１による処理動作が終了する。
【００２８】
［第２実施形態］
次に、第２の実施形態について説明する。第２の実施形態に係る顔向き判定装置は、第１の実施形態に係る顔向き判定装置と、顔向き判定処理（ステップＳ５）の処理動作のみ異なり、構成及び他の処理動作は同一である。このため、以下では、顔向き判定処理のみ説明する。
【００２９】
図６は、第２の実施形態におけるＥＣＵの顔向き判定処理を示すフローチャートであり、図７は、図５（ａ）〜図５（ｃ）の温度分布画像を合成した図である。
【００３０】
図６に示すように、まず、ステップＳ２１において、ＥＣＵ２では、息領域の検出履歴の近似直線の算出処理が行われる。この算出処理では、ステップＳ３において検出された息領域の検出履歴から、異なる時間に検出された複数個の息領域に近似される近似曲線が算出される。なお、ステップＳ２１では、今回検出された息領域と、直近に検出された１つの息領域又は数点の息領域に基づき、近似曲線が算出される。すなわち、図７では、前々回に検出された息領域Ｃ１の中心点ｐ１と、前回検出された息領域Ｃ２の中心点ｐ２と、今回検出された息領域Ｃ３の中心点ｐ３とに近似される近似曲線Ｌ２（本実施形態では、この近似曲線Ｌ２が直線であるものとして説明する）が算出される。なお、近似曲線の近似対象となる複数個の息領域は、連続して検出された複数個の息領域を採用してもよく、所定時間ごとに検出された複数個の息領域を採用してもよい。
【００３１】
次に、ステップＳ２２において、ＥＣＵ２では、近似曲線の方向が判断される。この判断では、ステップＳ２において検出された顔領域と、ステップＳ３において検出された息領域とが対比される。そして、この顔領域から息領域に向かう方向が、近似曲線の前方向であると判断される。すなわち、図７では、顔領域Ｂから息領域Ｃに向かう方向が、近似曲線Ｌ２の前方向（矢印方向）であると判断される。なお、ステップＳ２２では、息領域の検出履歴のみに基づいて、近似曲線の方向を判断してもよい。すなわち、過去に検出された息領域Ｃ１又は息領域Ｃ２から、今回検出された息領域Ｃ３に向かう方向が、近似曲線Ｌ２の前方向であると判断してもよい。
【００３２】
そして、ステップＳ２３において、ＥＣＵ２では、ステップＳ２２において判断された近似曲線の方向が、運転者の顔向きであると判定される。
【００３３】
このように上記実施形態によれば、運転者から吐出される息は所定範囲の温度域で纏まって存在することから、赤外線サーモグラフィ３で測定された車室内の温度分布画像に基づいて息領域を検出することができる。そして、息は顔が向けられている方向に吐出されることから、検出した息領域に基づいて運転者の顔向きを判定することができる。このように、温度情報に基づいて検出される息領域から運転者の顔向きを判定することができるため、光環境に影響されることなく運転者の顔向きを判定することができる。
【００３４】
また、上記実施形態によれば、温度分布画像から検出された顔領域と息領域とを対比させることで、顔領域に対する息領域の方向を求めることができる。このため、運転者の顔向きを高精度に判定することができる。
【００３５】
また、上記実施形態によれば、異なる時刻に検出された複数の息位置から算出される近似曲線から、運転者から吐出された息の進行方向を求めることができる。このため、運転者の顔向きを高精度に判定することができる。
【００３６】
そして、顔向き判定装置１により判定された運転者の顔向き結果を利用することにより、運転者が目視している方向を推認することができる。このため、例えば、運転者がよそ見をしていると判断した場合は、周辺の障害物等を検知する周辺環境監視システムのセンシングレベルを上げたり、障害物の接近に伴う警報を通常時よりも早期に発したり、自動制動制御を通常時よりも早期に作動させたりすることで、より安全に車両を走行させることができる。
【００３７】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、顔領域に対する息領域の方向、又は、近似曲線の方向に基づいて、運転者の顔向きを判定するものとして説明したが、例えば、顔領域と息領域とを対比することにより、顔領域において息が吐出される息吐出箇所を特定し、顔領域における息吐出箇所の方向に基づいて、運転者の顔向きを判定してもよい。
【００３８】
また、上記実施形態において、ＥＣＵ２は、赤外線サーモグラフィ３により生成される温度分布画像を画像処理することにより、顔領域及び息領域を検出するものとして説明したが、赤外線サーモグラフィ３により測定された温度分布を画像化することなく、温度分布から直接顔領域及び息領域を検出してもよい。
【００３９】
また、第２の実施形態では、複数の息位置を直線に近似するものとして説明したが、曲線に近似して、車室内の風や運転者の顔向き動作などの影響を考慮してもよい。
【図面の簡単な説明】
【００４０】
【図１】第１の実施形態に係る顔向き判定装置のブロック構成を示した図である。
【図２】赤外線サーモグラフィの設置例を示した図である。
【図３】ＥＣＵの動作を示すフローチャートである。
【図４】ＥＣＵの顔向き判定処理を示すフローチャートである。
【図５】ＥＣＵが取得した温度分布画像を示す図である。
【図６】第２の実施形態におけるＥＣＵの顔向き判定処理を示すフローチャートである。
【図７】図５（ａ）〜図５（ｃ）の温度分布画像を合成した図である。
【符号の説明】
【００４１】
１…顔向き判定装置、２…ＥＣＵ（温度情報取得手段、息位置検出手段、顔向き判定手段、顔位置検出手段）、３…赤外線サーモグラフィ（温度情報取得手段）、５…温度分布画像取得部（温度情報取得手段）、６…画像処理部（息位置検出手段、顔位置検出手段）、７…顔向き判定部。
【特許請求の範囲】
【請求項１】
対象者の顔の向きを判定する顔向き判定装置であって、
前記対象者の周囲の温度情報を取得する温度情報取得手段と、
前記温度情報取得手段により取得された前記温度情報に基づいて前記対象者から吐出された息の息位置を検出する息位置検出手段と、
前記息位置検出手段により検出された前記息位置に基づいて前記対象者の顔向きを判定する顔向き判定手段と、
を備えることを特徴とする顔向き判定装置。
【請求項２】
前記温度情報取得手段により取得された前記温度情報に基づいて前記対象者の顔位置を検出する顔位置検出手段を更に備え、
前記顔向き判定手段は、前記顔位置と前記息位置との関係に基づいて前記対象者の顔向きを判定することを特徴とする請求項１に記載の顔向き判定装置。
【請求項３】
前記顔向き判定手段は、前記息位置検出手段により異なる時刻に検出された前記息位置に基づいて前記対象者の顔向きを判定することを特徴とする請求項１又は２に記載の顔向き判定装置。
【請求項１】
対象者の顔の向きを判定する顔向き判定装置であって、
前記対象者の周囲の温度情報を取得する温度情報取得手段と、
前記温度情報取得手段により取得された前記温度情報に基づいて前記対象者から吐出された息の息位置を検出する息位置検出手段と、
前記息位置検出手段により検出された前記息位置に基づいて前記対象者の顔向きを判定する顔向き判定手段と、
を備えることを特徴とする顔向き判定装置。
【請求項２】
前記温度情報取得手段により取得された前記温度情報に基づいて前記対象者の顔位置を検出する顔位置検出手段を更に備え、
前記顔向き判定手段は、前記顔位置と前記息位置との関係に基づいて前記対象者の顔向きを判定することを特徴とする請求項１に記載の顔向き判定装置。
【請求項３】
前記顔向き判定手段は、前記息位置検出手段により異なる時刻に検出された前記息位置に基づいて前記対象者の顔向きを判定することを特徴とする請求項１又は２に記載の顔向き判定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−１４６１４３（Ｐ２００９−１４６１４３Ａ）
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願番号】特願２００７−３２２３５１（Ｐ２００７−３２２３５１）
【出願日】平成１９年１２月１３日（２００７．１２．１３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願日】平成１９年１２月１３日（２００７．１２．１３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]