顔向き検出装置
【課題】運転者の顔の向きを正確に検出する。
【解決手段】顔向き検出装置は、車両の運転者の顔向きを検出する。顔向き検出手段は、判断処理手段と、推測手段と、学習手段とを備えている。判断処理手段は、運転者を撮影する撮影手段によって撮影された画像を用いて当該運転者の顔向きを判断する判断処理を行う。推測手段は、運転者の運転状態に基づいて、運転者が正面を向いているか否かを推測する。学習手段は、運転者が正面を向いていると推測される場合に撮影手段によって撮影された画像から検出される顔向きが正面の向きであると判断されるように判断処理に関して学習を行う。
【解決手段】顔向き検出装置は、車両の運転者の顔向きを検出する。顔向き検出手段は、判断処理手段と、推測手段と、学習手段とを備えている。判断処理手段は、運転者を撮影する撮影手段によって撮影された画像を用いて当該運転者の顔向きを判断する判断処理を行う。推測手段は、運転者の運転状態に基づいて、運転者が正面を向いているか否かを推測する。学習手段は、運転者が正面を向いていると推測される場合に撮影手段によって撮影された画像から検出される顔向きが正面の向きであると判断されるように判断処理に関して学習を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者等の顔の向きを検出する顔向き検出装置に関する。
【背景技術】
【０００２】
従来、車両の運転者の脇見運転を監視する等の目的で、運転者の顔をカメラによって撮影し、撮影された画像から運転者の顔の向きを検出することが行われている。例えば、特許文献１には、運転者が正面を向いているときの顔を撮影し、そのときの顔の画像から顔モデルを作成し、作成した顔モデルを用いて顔の向きを判定することが記載されている。
【特許文献１】特開２００３−３０８５３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、カメラと運転者との位置関係は、運転者が運転席に座るときの姿勢等によって変化し、カメラは運転者に対して正面方向に必ずしも位置するわけではない。また、運転者によってドライビングポジションは様々であり、運転者自身が正面と感じる向きは運転者毎に異なる。したがって、カメラで撮影した画像において正面向きの運転者が映っていても（運転者がカメラの方を向いていても）、そのときの運転者が車両の正面を向いているとは限らず、運転者が車両の正面を向いている場合にカメラからは斜めを向いているように見えることもある。したがって、カメラで撮影した画像のみに基づいて運転者の顔の向きを判断すると、運転者が正面を向いているか否かを正確に判定することができないおそれがある。その結果、運転者の顔の向きを正確に検出することができないおそれがある。
【０００４】
それ故、本発明の目的は、運転者の顔の向きを正確に検出することができる顔向き検出装置を提供することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は以下の構成を採用した。すなわち、本発明は、車両の運転者の顔向きを検出する顔向き検出装置である。顔向き検出手段は、判断処理手段と、推測手段と、学習手段とを備えている。判断処理手段は、運転者を撮影する撮影手段によって撮影された画像を用いて当該運転者の顔向きを判断する判断処理を行う。推測手段は、運転者の運転状態に基づいて、運転者が正面を向いているか否かを推測する。学習手段は、運転者が正面を向いていると推測される場合に撮影手段によって撮影された画像から検出される顔向きが正面の向きであると判断されるように判断処理に関して学習を行う。
【０００６】
上記によれば、顔向き検出装置は、運転者が実際に正面を向いている場合における運転者の顔向きが、正面の向きであると判断されるように学習を行うことができる。したがって、運転者が正面を向いた状態が撮像手段に対して正面向きでない場合であっても、運転者にとっての実際の正面の向きを検出することができ、運転者の顔の向きを正確に検出することができる。
【０００７】
また、判断処理は、運転者の顔向きを検出して運転者が正面を向いているか否かを判断する処理であってもよい。このとき、学習手段は、判断処理において運転者が正面を向いていると判断される角度範囲を学習によって変更する。
【０００８】
上記によれば、学習によって、運転者にとっての実際の正面の向きに合わせて上記角度範囲を設定することができる。したがって、運転者が正面を向いているか否かの判断を正確に行うことができる。これによれば、例えば運転者が脇見運転をしているか否かを正確に判断することができる。
【０００９】
また、学習手段は、撮影手段によって撮影された画像における中心位置と、当該画像における運転者の顔の位置とのオフセット量に基づいて学習を行うようにしてもよい。
【００１０】
上記によれば、オフセット量を考慮して学習が行われる。ここで、運転者にとっての正面方向は、オフセット量が大きくなるほど、運転者が撮像手段の正面位置に位置する場合における正面方向から、ずれると考えられる。したがって、オフセット量を考慮して学習を行うことによって、このようなずれを補正することができ、顔向きを正確に算出することができる。
【００１１】
また、判断処理手段は、撮影手段によって撮影された画像における運転者の顔の位置として、当該運転者の顔の所定部位の位置から顔の中心線の位置を算出してもよい。
【００１２】
上記によれば、撮影された画像における運転者の顔の位置を、顔の中心線によって容易に算出することができる。
【００１３】
また、判断処理手段は、撮影手段によって撮影された画像における運転者の顔の位置として、当該運転者の顔の両端の中心の位置を算出してもよい。
【００１４】
上記によれば、撮影された画像における運転者の顔の位置を、顔の両端の位置から容易に算出することができる。
【００１５】
また、推測手段は、車両の速度が所定の速度以上であることを少なくとも条件として、運転者が正面を向いていると推測してもよい。また、推測手段は、車両が直進走行していることを少なくとも条件として、運転者が正面を向いていると推測してもよい。
【００１６】
上記によれば、実際に運転者が正面を向いている可能性が高い場合における顔向きを正面の向きとして学習することができるので、運転者の顔の向きを正確に検出することができる。
【００１７】
さらに、推測手段は、撮影手段によって撮影された画像から検出される顔向きの変化量が所定量以下であることをさらに条件として、運転者が正面を向いていると推測してもよい。また、推測手段は、撮影手段によって撮影された画像から検出される顔向きが、運転者から撮影手段への方向を中心とした所定範囲内の向きであることをさらに条件として、運転者が正面を向いていると推測してもよい。また、推測手段は、車両のブレーキが操作中であることを少なくとも条件として、運転者が正面を向いていると推測してもよい。
【００１８】
上記によれば、実際に運転者が正面を向いている可能性がより高い場合における顔向きを正面の向きとして学習することができるので、運転者の顔の向きをより正確に検出することができる。
【発明の効果】
【００１９】
本発明によれば、運転者が実際に正面を向いている場合における運転者の顔向きが、正面の向きであると判断されるように学習を行うことによって、運転者にとっての実際の正面の向きを検出することができるので、運転者の顔の向きを正確に検出することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態に係る顔向き検出装置について説明する。図１は、本実施形態における顔向き検出装置の構成を示すブロック図である。図１に示すように、顔向き検出装置１は、カメラ２、ドライバモニタＥＣＵ（Electronic Control Unit）３、ドライバサポートシステムＥＣＵ（以下、「ＤＳＳＥＣＵ」と記載）４、ステアリングセンサ５、ブレーキＥＣＵ６、および車輪速センサ７を備えている。なお、本実施形態においては、ドライバモニタＥＣＵ３とＤＳＳＥＣＵ４とが第１のＣＡＮ（Controller Area Network）８に接続されており、ＤＳＳＥＣＵ４とステアリングセンサ５とブレーキＥＣＵ６とが第２のＣＡＮ９に接続されているが、各構成間の通信形態はどのような形態であってもよい。
【００２１】
顔向き検出装置１は、車両に搭載され、車両の運転者の顔の向き（顔向き）を検出するものである。また、本実施形態においては、顔向き検出装置１は、運転者が正面を向いているか否かを判断し、判断結果に応じて、運転者の安全を確保するための動作（ブレーキ等）を行うものである。以下、顔向き検出装置１の各部について説明する。
【００２２】
カメラ２は、運転者の顔を撮影する撮影手段であり、例えばＣＣＤカメラや赤外線カメラ等である。カメラ２は、運転席に着座した運転者の顔を撮影可能な位置に設置される。カメラ２の設置場所の一例として、運転席のメーターフード内、メーターパネル内、およびステアリングコラム上等が挙げられる。また、カメラ２は、例えば、所定時間間隔で運転者の顔を撮影し、撮影した画像をドライバモニタＥＣＵ３へ逐次出力する。
【００２３】
ドライバモニタＥＣＵ３は、カメラ２による撮影画像を用いて画像認識を行い、運転者の顔向きを検出する。さらに本実施形態では、ドライバモニタＥＣＵ３は、上記撮影画像を用いて画像認識を行い、運転者の目の状態（瞼開度（目の開き具合）等）を検出する。ドライバモニタＥＣＵ３は、運転者の顔向きを示す顔向き情報、および、運転者の目の状態を示す状態情報を第１のＣＡＮ８を介してＤＳＳＥＣＵ４へ逐次出力する。
【００２４】
なお、本実施形態では、ドライバモニタＥＣＵ３は、メインマイクロコンピュータ（以下メインマイコンと称す）、および、サブマイクロコンピュータ（以下サブマイコンと称す）という２つのマイコンを有している。メインマイコンは、運転者の顔向きの検出を主に行う。サブマイコンは、運転者の目の状態の検出を行う。つまり、ドライバモニタＥＣＵ３は、上記２つのマイコンによって運転者の顔向きの検出と運転者の目の状態の検出とを並列処理することが可能であり、高速に検出を行うことができる。また、ドライバモニタＥＣＵ３は、人の顔画像パターンを表すデータを記憶する記憶部を有している。
【００２５】
ＤＳＳＥＣＵ４は、ドライバモニタＥＣＵ３からの情報に基づいて運転者の状態を判断する。具体的には、ＤＳＳＥＣＵ４は、運転者の顔向きの情報を用いて、運転者が車両の正面を向いているか否か（脇見をしていないか否か）の判断を行う。さらに、本実施形態においては、ＤＳＳＥＣＵ４は、運転者の目に関する顔情報を用いて、運転者が居眠りをしていないか否か等の判断を行う。また、ＤＳＳＥＣＵ４は、これらの判断結果に基づき、車両に設置されている各種装置の動作を制御して運転者および乗員の安全を図る。例えば、上記判断結果に基づいて、運転者の状態が事故に繋がるような状態であると予想される場合には、車両の警告灯を点灯させたり警報ブザーを鳴動させたりして運転者に注意喚起を促す。また、例えば、ＤＳＳＥＣＵ４は、車両に設けられたレーダ装置からの情報（他車両の位置や速度等の情報）に基づいて自車両と他車両との衝突予測を行うようにしてもよい。このとき、ＤＳＳＥＣＵ４は、上記判断結果と衝突予測の結果とに基づいて、運転者に注意喚起を促したり、衝突回避のための動作（ブレーキを作動させる等）を行ったり、衝突時の被害を軽減させる動作（エアバックの作動を準備する等）を行ったりしてもよい。
【００２６】
ステアリングセンサ５、ブレーキＥＣＵ６、および車輪速センサ７は、運転者の運転状態を検出する。具体的には、ステアリングセンサ５は、車両のステアリングの操舵角を検出する。検出された操舵角を示す操舵角情報は、第２のＣＡＮ９を介してＤＳＳＥＣＵ４へ出力される。ブレーキＥＣＵ６は、車両のブレーキが運転者によって操作されているか否かを検出する。ブレーキが操作されているか否かを示すブレーキ情報は、第２のＣＡＮ９を介してＤＳＳＥＣＵ４へ出力される。車輪速センサ７は、車両の車輪の回転速度を検出する。検出された回転速度を示す速度情報はブレーキＥＣＵ６および第２のＣＡＮを介してＤＳＳＥＣＵ４へ出力される。また、ブレーキＥＣＵ６は、車両のブレーキの動作制御等を行う。本実施形態では、ブレーキＥＣＵ６は、ＤＳＳＥＣＵ４による指示に従ってブレーキを作動させる。
【００２７】
以下、顔向き検出装置１の動作を説明する。図２は、本実施形態における顔向き検出装置の動作の流れを示すフローチャートである。本実施形態においては、図２に示す動作は、ドライバモニタＥＣＵ３およびＤＳＳＥＣＵ４によって行われる。また、図２に示す動作は、例えば車両の走行中、あるいは、車両のイグニッションスイッチがオンである間、実行される。
【００２８】
図２において、まず、ステップＳ１において、ドライバモニタＥＣＵ３は、カメラ２による撮影画像を取得する。続くステップＳ２において、ドライバモニタＥＣＵ３（上記メインマイコン）は、顔向き検出処理を実行する。顔向き検出処理は、上記撮影画像に基づいて運転者の顔向き（顔向きの角度）を検出する処理である。本実施形態では、運転者の顔向きを判断する判断処理として、ステップＳ２において顔向きが検出され、後述するステップＳ８において検出された顔向きが正面の向きであるか否かが判断される。したがって、本実施形態では、ステップＳ２を実行するドライバモニタＥＣＵ３およびステップＳ７を実行するＤＳＳＥＣＵ４が、請求項に記載の判断処理手段に相当する。以下、図３を参照して顔向き検出処理の詳細について説明する。
【００２９】
図３は、図２に示すステップＳ２（顔向き検出処理）の詳細を示すフローチャートである。図３におけるステップＳ１１において、ドライバモニタＥＣＵ３は、上記ステップＳ１で取得した撮影画像における運転者の顔における左右両端の位置を算出する。続くステップＳ１２において、ドライバモニタＥＣＵ３は、撮影画像における運転者の所定部位（ここでは、目、鼻、および口）の位置を算出する。なお、ステップＳ１１およびＳ１２における画像認識処理の内容はどのようなものであってもよい。ステップＳ１２の次にステップＳ１３の処理が実行される。
【００３０】
ステップＳ１３において、ドライバモニタＥＣＵ３は、運転者の顔の中心線を算出する。顔の中心線とは、撮影画像上における顔の領域の中心（すなわち、運転者の左右両端の中心）ではなく、実際の顔における中心を通る線であり、両目の間、鼻、および口を通る線である。ドライバモニタＥＣＵ３は、ステップＳ１２で算出された各所定部位の位置を用いて上記中心線を算出する。ステップＳ１３の次にステップＳ１４の処理が実行される。
【００３１】
ステップＳ１４において、ドライバモニタＥＣＵ３は、運転者の顔向きを算出する。顔向きは、上記ステップＳ１１で算出された顔の左右両端の位置と、顔の中心線の位置とを用いて算出される。具体的には、ドライバモニタＥＣＵ３は、顔の左端から中心線までの長さと、中心線から顔の右端までの長さの比率に基づいて顔向きを算出する。例えば、両者の長さが等しければ、顔向きは、カメラ２に対して正面の向き（０°）であると判断することができる。なお、ここでは、顔向きは、カメラ２の方向を０°とした角度（顔向き角度）で表されるものとする。以上のステップＳ１４の完了後、ドライバモニタＥＣＵ３は顔向き検出処理を終了する。なお、以上に説明した顔向き検出処理における顔向きの検出方法は一例であり、ドライバモニタＥＣＵ３は、どのような方法で顔向きを検出してもよい。
【００３２】
図２の説明に戻り、ステップＳ３において、ドライバモニタＥＣＵ３（上記サブマイコン）は、運転者の目の瞼開度（目が開いている度合）を算出する。目の瞼開度は、どのような方法によって算出されてもよいが、上記ステップＳ２において目の部位が抽出されている場合には、ステップＳ２で得られた情報を用いて算出されてもよい。ステップＳ３の次にステップＳ４の処理が実行される。
【００３３】
ステップＳ４において、ドライバモニタＥＣＵ３は、ステップＳ２およびＳ３による処理結果をＤＳＳＥＣＵ４へ出力する。すなわち、運転者の顔向きを示す顔向き情報、および、運転者の目の状態を示す状態情報が第１のＣＡＮ８を介してＤＳＳＥＣＵ４へ出力される。ステップＳ４の次にステップＳ５の処理が実行される。
【００３４】
ステップＳ５において、ＤＳＳＥＣＵ４は、運転者の運転状態を表す（運転者の運転状態を判断するために用いる）各種情報を取得する。本実施形態では、ＤＳＳＥＣＵ４は、ステアリングセンサ５から操舵角情報を取得し、ブレーキＥＣＵ６からブレーキ情報を取得し、車輪速センサ７から速度情報を取得する。ステップＳ５の次にステップＳ６の処理が実行される。
【００３５】
ステップＳ６において、ＤＳＳＥＣＵ４は、運転者の運転状態に基づいて、運転者が正面を向いているか否かを推測する。本実施形態では、ステップＳ６を実行するＤＳＳＥＣＵ４が、請求項に記載の推測手段に相当する。本実施形態では、ステップＳ６における推測は、上記ステップＳ５で取得された情報、および、ドライバモニタＥＣＵ３から入力される顔向き情報を用いて行われる。具体的には、ＤＳＳＥＣＵ４は、次の［条件Ａ］〜［条件Ｄ］の全ての条件が満たされる場合に運転者が正面を向いていると推測する。
［条件Ａ］車両の速度が所定の速度以上であること
［条件Ｂ］車両が直進走行していること
［条件Ｃ］車両のブレーキが操作中であること
［条件Ｄ］現在の顔向きが、運転者からカメラ２への方向を中心とした所定範囲内の向きであること
［条件Ａ］は上記速度情報により判断することができ、［条件Ｂ］は上記操舵角情報により判断することができ、［条件Ｃ］は上記ブレーキ情報により判断することができ、［条件Ｄ］は最後に実行されるステップＳ２で得られた顔向きにより判断することができる。なお、［条件Ｄ］における「現在の顔向き」とは、運転者が正面を向いていると推測される場合にカメラ２によって撮影された画像から検出される顔向きである。ＤＳＳＥＣＵ４は、運転者が正面を向いていると推測される場合、ステップＳ７の処理を実行する。一方、運転者が正面を向いていると推測されない場合、ＤＳＳＥＣＵ４は、ステップＳ７の処理をスキップして後述するステップＳ８の処理を実行する。
【００３６】
上記［条件Ａ］〜［条件Ｃ］が満たされる場合には、運転者が正面を向いている可能性はかなり高いと考えられる。さらに、［条件Ｄ］によって、正面から大きく外れた向きを向いている場合に運転者が正面を向いていると推測されることを排除することができる。したがって、本実施形態によれば、上記［条件Ａ］〜［条件Ｄ］が全て満たされることを条件とすることにより、運転者が正面を向いていることを正確に推測することができる。なお、他の実施形態においては、運転者が正面を向いていると推測するための条件は、上記に限らず、どのような条件であってもよい。例えば、［条件Ａ］〜［条件Ｄ］のうちの一部の条件のみが用いられてもよいし、［条件Ａ］〜［条件Ｄ］に加えてさらに別の条件が用いられてもよい。また、例えば、ＤＳＳＥＣＵ４は、［条件Ｄ］に代えて（または［条件Ｄ］とともに）、「運転者の顔向きの（単位時間あたりにおける）変化量が所定量以下であること」を条件として用いてもよい。
【００３７】
ステップＳ７において、ＤＳＳＥＣＵ４は、後述するステップＳ８における判断処理に関して、現在の顔向きが正面の向きであると判断されるように学習を行う。本実施形態では、ステップＳ７を実行するＤＳＳＥＣＵ４が、請求項に記載の学習手段に相当する。以下、ステップＳ７における学習処理について、図４〜図９を参照して説明する。
【００３８】
まず、図４〜図７を参照して、学習処理を行う必要性について説明する。図４は、運転者Ｄとカメラ２との位置関係の例を示す図であり、図５は、図４に示す場合にカメラ２によって撮影される画像の例を示す図である。図４に示されるように、カメラ２の正面に運転者Ｄが位置する場合には、図５に示されるように、カメラ２による撮影画像における運転者Ｄの顔は、正面から見たものとなる。またこのとき、運転者Ｄの顔は、撮影画像の左右方向に関して中央に位置する。図４に示す場合においては、運転者Ｄにとっての正面方向は、カメラ２の方向を向く向きであり、撮影画像において運転者Ｄの顔向きが正面向きであれば、実際にも運転者Ｄは正面を向いていると判断することができる。
【００３９】
また、図６は、運転者Ｄとカメラ２との位置関係の他の例を示す図であり、図７は、図６に示す場合にカメラ２によって撮影される画像の例を示す図である。図６に示されるように、カメラ２の正面の位置からずれた位置に運転者Ｄが位置する場合には、図７に示されるように、カメラ２による撮影画像における運転者Ｄの顔は、正面から見たものとはならない可能性がある。また、図６の場合においては、運転者にとっての正面方向（運転者Ｄ自身が正面と感じる方向）は、図４の場合における正面方向とは異なる可能性がある。以上より、図７に示す撮影画像における顔向きをそのまま運転者の顔向きとして判断すると、運転者にとっての正面方向を正確に判断することができないおそれがある。例えば、図７に示す撮影画像から、「運転者Ｄの顔向きは、正面方向よりやや外側の向きである」と判断するのは正確ではない。以上のように、カメラ２による撮影画像における顔向きをそのまま実際の運転者の顔向きとすることは適切ではなく、学習処理によって実際の運転者の正面方向を学習する必要がある。
【００４０】
そこで、本実施形態では、ＤＳＳＥＣＵ４は、正面を向いていると判断される範囲（正面範囲）を、ステップＳ７の学習処理において補正する。正面範囲とは、運転者が正面を向いているか否かを判断する処理（後述するステップＳ８）において用いられる情報であって、当該処理においては、ドライバモニタＥＣＵ３から取得された顔向き（顔向き角度）が当該正面範囲内の値であれば、運転者は正面を向いていると判断される。図８は、正面範囲の一例を示す図である。正面範囲は、運転者Ｄからカメラ２への方向を基準（０°）とした角度で表され、具体的には、正面範囲の中心に対して一方の側の第１境界値Ｓと、他方の側の第２境界値Ｔとにより表される。なお、ここでは、上記基準に対して上記一方の側の角度を正の値で表し、上記基準に対して上記他方の側の角度を負の値で表す。したがって、図８においては、第１境界値Ｓは正の値であり、第２境界値Ｔは負の値である。また、本実施形態では、上記基準の方向を中心とした範囲を、正面範囲の初期値とする。
【００４１】
ステップＳ７の学習処理においては、運転者が正面を向いていると推測された場合にカメラ２によって撮影された画像から検出される顔向き（ステップＳ２で検出された顔向き）が、正面の向きであると判断されるように、正面範囲が補正される。図９は、ステップＳ７の学習処理を説明するための図である。図９において、角度Ａは、ステップＳ２で検出された現在の顔向き角度である。このとき、ＤＳＳＥＣＵ４は、補正後の正面範囲を次の式（１）に従って算出する。
Ｎ＝Ｓ＋Ａ
Ｍ＝Ｔ−Ａ …（１）
上式（１）において、変数Ｎは補正後の第１境界値であり、変数Ｍは補正後の第２境界値である。上式（１）によって、図９に示されるように、補正後の正面範囲は、現在の顔向き角度Ａを中心とした範囲に補正される。
【００４２】
なお、ＤＳＳＥＣＵ４は、上式（１）に代えて、下記の式（２）に従って補正後の正面範囲を算出してもよい。
Ｎ＝Ｓ＋Ｌ×Ｐ＋Ａ
Ｍ＝Ｔ−Ｌ×Ｑ−Ａ …（２）
上式（２）において、変数Ｌは、撮影画像における中心位置から運転者の顔の位置までのオフセット量（図７参照）である。また、定数ＰおよびＱは予め定められている。なお、撮影画像における運転者の顔の位置は、例えば、上記顔の中心線（ステップＳ１３参照）の位置としてもよいし、顔の左右両端の位置の中心位置としてもよいし、顔の所定部位（例えば鼻の位置）としてもよい。ここで、運転者にとっての正面方向は、上記オフセット量Ｌが大きくなるほど（すなわち、運転者の位置がカメラ２の正面位置からずれるほど）、運転者がカメラ２の正面位置に位置する場合における正面方向から、ずれると考えられる。上式（２）は、このことを考慮して、オフセット量に応じた量だけ正面範囲を補正するようにしたものである。
【００４３】
なお、上記ステップＳ７においては、正面範囲は、１回の補正で、現在の顔向き角度Ａを中心とした範囲に補正された。ここで、他の実施形態においては、ＤＳＳＥＣＵ４は、複数回の補正で、現在の顔向き角度Ａを中心とした範囲となるように正面範囲を次第に補正してもよい。このとき、１回の補正で補正範囲を変化させる量は、上記オフセット量Ｌに応じて決定されてもよい。
【００４４】
図２の説明に戻り、ステップＳ８において、ＤＳＳＥＣＵ４は、運転者が正面を向いているか否かを判断する。すなわち、ＤＳＳＥＣＵ４は、上記ステップＳ２で検出された顔向き角度が、上記正面範囲内の値であるか否かを判断する。また、ＤＳＳＥＣＵ４は、判断結果に基づいて、車両に設置されている各種装置の動作を制御して運転者および乗員の安全を図る。上記ステップＳ８の後、ステップＳ１の処理が再度実行される。以降、ステップＳ１〜Ｓ８の処理がくり返し実行される。
【００４５】
以上のように、本実施形態によれば、運転者が実際に正面を向いているか否かが推測され（ステップＳ６）、実際に正面を向いていると推測される場合における顔向き角度が、正面方向を向いているときの顔向き角度となるように学習が行われる（ステップＳ７）。したがって、運転者が正面を向いた状態が撮像手段に対して正面向きでない場合であっても、運転者にとっての実際の正面の向きを正確に検出することができ、運転者が正面を向いているか否かを正確に判断することができる。
【００４６】
なお、上記実施形態においては、顔向き検出装置は、運転者の顔向きを検出して運転者が正面を向いているか否かを判断するための判断処理に関して学習を行った。ここで、他の実施形態においては、判断処理は、カメラ２によって撮影された画像を用いて運転者の顔向きを判断する処理であればよく、正面を向いているか否かの判断を行うものでなくてもよい。例えば、判断処理は、運転者にとっての正面方向を基準（０°）として顔向き角度を算出する処理であってもよい。このとき、基準となる方向を学習によって補正することで、正面方向を基準とした顔向き角度を正確に算出することができる。
【産業上の利用可能性】
【００４７】
本発明は、運転者の顔の向きを正確に検出すること等を目的として、例えば、運転者が脇見をしているか否かを判定する車両安全システム等に利用することが可能である。
【図面の簡単な説明】
【００４８】
【図１】本実施形態における顔向き検出装置の構成を示すブロック図
【図２】本実施形態における顔向き検出装置の動作の流れを示すフローチャート
【図３】図２に示すステップＳ２（顔向き検出処理）の詳細を示すフローチャート
【図４】運転者Ｄとカメラ２との位置関係の例を示す図
【図５】図４に示す場合にカメラ２によって撮影される画像の例を示す図
【図６】運転者Ｄとカメラ２との位置関係の他の例を示す図
【図７】図６に示す場合にカメラ２によって撮影される画像の例を示す図
【図８】正面範囲の一例を示す図
【図９】ステップＳ７の学習処理を説明するための図
【符号の説明】
【００４９】
１ 顔向き検出装置
２ カメラ
３ ドライバモニタＥＣＵ
４ ドライバサポートシステムＥＣＵ
５ ステアリングセンサ
６ ブレーキＥＣＵ
７ 車輪速センサ
【技術分野】
【０００１】
本発明は、車両の運転者等の顔の向きを検出する顔向き検出装置に関する。
【背景技術】
【０００２】
従来、車両の運転者の脇見運転を監視する等の目的で、運転者の顔をカメラによって撮影し、撮影された画像から運転者の顔の向きを検出することが行われている。例えば、特許文献１には、運転者が正面を向いているときの顔を撮影し、そのときの顔の画像から顔モデルを作成し、作成した顔モデルを用いて顔の向きを判定することが記載されている。
【特許文献１】特開２００３−３０８５３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、カメラと運転者との位置関係は、運転者が運転席に座るときの姿勢等によって変化し、カメラは運転者に対して正面方向に必ずしも位置するわけではない。また、運転者によってドライビングポジションは様々であり、運転者自身が正面と感じる向きは運転者毎に異なる。したがって、カメラで撮影した画像において正面向きの運転者が映っていても（運転者がカメラの方を向いていても）、そのときの運転者が車両の正面を向いているとは限らず、運転者が車両の正面を向いている場合にカメラからは斜めを向いているように見えることもある。したがって、カメラで撮影した画像のみに基づいて運転者の顔の向きを判断すると、運転者が正面を向いているか否かを正確に判定することができないおそれがある。その結果、運転者の顔の向きを正確に検出することができないおそれがある。
【０００４】
それ故、本発明の目的は、運転者の顔の向きを正確に検出することができる顔向き検出装置を提供することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は以下の構成を採用した。すなわち、本発明は、車両の運転者の顔向きを検出する顔向き検出装置である。顔向き検出手段は、判断処理手段と、推測手段と、学習手段とを備えている。判断処理手段は、運転者を撮影する撮影手段によって撮影された画像を用いて当該運転者の顔向きを判断する判断処理を行う。推測手段は、運転者の運転状態に基づいて、運転者が正面を向いているか否かを推測する。学習手段は、運転者が正面を向いていると推測される場合に撮影手段によって撮影された画像から検出される顔向きが正面の向きであると判断されるように判断処理に関して学習を行う。
【０００６】
上記によれば、顔向き検出装置は、運転者が実際に正面を向いている場合における運転者の顔向きが、正面の向きであると判断されるように学習を行うことができる。したがって、運転者が正面を向いた状態が撮像手段に対して正面向きでない場合であっても、運転者にとっての実際の正面の向きを検出することができ、運転者の顔の向きを正確に検出することができる。
【０００７】
また、判断処理は、運転者の顔向きを検出して運転者が正面を向いているか否かを判断する処理であってもよい。このとき、学習手段は、判断処理において運転者が正面を向いていると判断される角度範囲を学習によって変更する。
【０００８】
上記によれば、学習によって、運転者にとっての実際の正面の向きに合わせて上記角度範囲を設定することができる。したがって、運転者が正面を向いているか否かの判断を正確に行うことができる。これによれば、例えば運転者が脇見運転をしているか否かを正確に判断することができる。
【０００９】
また、学習手段は、撮影手段によって撮影された画像における中心位置と、当該画像における運転者の顔の位置とのオフセット量に基づいて学習を行うようにしてもよい。
【００１０】
上記によれば、オフセット量を考慮して学習が行われる。ここで、運転者にとっての正面方向は、オフセット量が大きくなるほど、運転者が撮像手段の正面位置に位置する場合における正面方向から、ずれると考えられる。したがって、オフセット量を考慮して学習を行うことによって、このようなずれを補正することができ、顔向きを正確に算出することができる。
【００１１】
また、判断処理手段は、撮影手段によって撮影された画像における運転者の顔の位置として、当該運転者の顔の所定部位の位置から顔の中心線の位置を算出してもよい。
【００１２】
上記によれば、撮影された画像における運転者の顔の位置を、顔の中心線によって容易に算出することができる。
【００１３】
また、判断処理手段は、撮影手段によって撮影された画像における運転者の顔の位置として、当該運転者の顔の両端の中心の位置を算出してもよい。
【００１４】
上記によれば、撮影された画像における運転者の顔の位置を、顔の両端の位置から容易に算出することができる。
【００１５】
また、推測手段は、車両の速度が所定の速度以上であることを少なくとも条件として、運転者が正面を向いていると推測してもよい。また、推測手段は、車両が直進走行していることを少なくとも条件として、運転者が正面を向いていると推測してもよい。
【００１６】
上記によれば、実際に運転者が正面を向いている可能性が高い場合における顔向きを正面の向きとして学習することができるので、運転者の顔の向きを正確に検出することができる。
【００１７】
さらに、推測手段は、撮影手段によって撮影された画像から検出される顔向きの変化量が所定量以下であることをさらに条件として、運転者が正面を向いていると推測してもよい。また、推測手段は、撮影手段によって撮影された画像から検出される顔向きが、運転者から撮影手段への方向を中心とした所定範囲内の向きであることをさらに条件として、運転者が正面を向いていると推測してもよい。また、推測手段は、車両のブレーキが操作中であることを少なくとも条件として、運転者が正面を向いていると推測してもよい。
【００１８】
上記によれば、実際に運転者が正面を向いている可能性がより高い場合における顔向きを正面の向きとして学習することができるので、運転者の顔の向きをより正確に検出することができる。
【発明の効果】
【００１９】
本発明によれば、運転者が実際に正面を向いている場合における運転者の顔向きが、正面の向きであると判断されるように学習を行うことによって、運転者にとっての実際の正面の向きを検出することができるので、運転者の顔の向きを正確に検出することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態に係る顔向き検出装置について説明する。図１は、本実施形態における顔向き検出装置の構成を示すブロック図である。図１に示すように、顔向き検出装置１は、カメラ２、ドライバモニタＥＣＵ（Electronic Control Unit）３、ドライバサポートシステムＥＣＵ（以下、「ＤＳＳＥＣＵ」と記載）４、ステアリングセンサ５、ブレーキＥＣＵ６、および車輪速センサ７を備えている。なお、本実施形態においては、ドライバモニタＥＣＵ３とＤＳＳＥＣＵ４とが第１のＣＡＮ（Controller Area Network）８に接続されており、ＤＳＳＥＣＵ４とステアリングセンサ５とブレーキＥＣＵ６とが第２のＣＡＮ９に接続されているが、各構成間の通信形態はどのような形態であってもよい。
【００２１】
顔向き検出装置１は、車両に搭載され、車両の運転者の顔の向き（顔向き）を検出するものである。また、本実施形態においては、顔向き検出装置１は、運転者が正面を向いているか否かを判断し、判断結果に応じて、運転者の安全を確保するための動作（ブレーキ等）を行うものである。以下、顔向き検出装置１の各部について説明する。
【００２２】
カメラ２は、運転者の顔を撮影する撮影手段であり、例えばＣＣＤカメラや赤外線カメラ等である。カメラ２は、運転席に着座した運転者の顔を撮影可能な位置に設置される。カメラ２の設置場所の一例として、運転席のメーターフード内、メーターパネル内、およびステアリングコラム上等が挙げられる。また、カメラ２は、例えば、所定時間間隔で運転者の顔を撮影し、撮影した画像をドライバモニタＥＣＵ３へ逐次出力する。
【００２３】
ドライバモニタＥＣＵ３は、カメラ２による撮影画像を用いて画像認識を行い、運転者の顔向きを検出する。さらに本実施形態では、ドライバモニタＥＣＵ３は、上記撮影画像を用いて画像認識を行い、運転者の目の状態（瞼開度（目の開き具合）等）を検出する。ドライバモニタＥＣＵ３は、運転者の顔向きを示す顔向き情報、および、運転者の目の状態を示す状態情報を第１のＣＡＮ８を介してＤＳＳＥＣＵ４へ逐次出力する。
【００２４】
なお、本実施形態では、ドライバモニタＥＣＵ３は、メインマイクロコンピュータ（以下メインマイコンと称す）、および、サブマイクロコンピュータ（以下サブマイコンと称す）という２つのマイコンを有している。メインマイコンは、運転者の顔向きの検出を主に行う。サブマイコンは、運転者の目の状態の検出を行う。つまり、ドライバモニタＥＣＵ３は、上記２つのマイコンによって運転者の顔向きの検出と運転者の目の状態の検出とを並列処理することが可能であり、高速に検出を行うことができる。また、ドライバモニタＥＣＵ３は、人の顔画像パターンを表すデータを記憶する記憶部を有している。
【００２５】
ＤＳＳＥＣＵ４は、ドライバモニタＥＣＵ３からの情報に基づいて運転者の状態を判断する。具体的には、ＤＳＳＥＣＵ４は、運転者の顔向きの情報を用いて、運転者が車両の正面を向いているか否か（脇見をしていないか否か）の判断を行う。さらに、本実施形態においては、ＤＳＳＥＣＵ４は、運転者の目に関する顔情報を用いて、運転者が居眠りをしていないか否か等の判断を行う。また、ＤＳＳＥＣＵ４は、これらの判断結果に基づき、車両に設置されている各種装置の動作を制御して運転者および乗員の安全を図る。例えば、上記判断結果に基づいて、運転者の状態が事故に繋がるような状態であると予想される場合には、車両の警告灯を点灯させたり警報ブザーを鳴動させたりして運転者に注意喚起を促す。また、例えば、ＤＳＳＥＣＵ４は、車両に設けられたレーダ装置からの情報（他車両の位置や速度等の情報）に基づいて自車両と他車両との衝突予測を行うようにしてもよい。このとき、ＤＳＳＥＣＵ４は、上記判断結果と衝突予測の結果とに基づいて、運転者に注意喚起を促したり、衝突回避のための動作（ブレーキを作動させる等）を行ったり、衝突時の被害を軽減させる動作（エアバックの作動を準備する等）を行ったりしてもよい。
【００２６】
ステアリングセンサ５、ブレーキＥＣＵ６、および車輪速センサ７は、運転者の運転状態を検出する。具体的には、ステアリングセンサ５は、車両のステアリングの操舵角を検出する。検出された操舵角を示す操舵角情報は、第２のＣＡＮ９を介してＤＳＳＥＣＵ４へ出力される。ブレーキＥＣＵ６は、車両のブレーキが運転者によって操作されているか否かを検出する。ブレーキが操作されているか否かを示すブレーキ情報は、第２のＣＡＮ９を介してＤＳＳＥＣＵ４へ出力される。車輪速センサ７は、車両の車輪の回転速度を検出する。検出された回転速度を示す速度情報はブレーキＥＣＵ６および第２のＣＡＮを介してＤＳＳＥＣＵ４へ出力される。また、ブレーキＥＣＵ６は、車両のブレーキの動作制御等を行う。本実施形態では、ブレーキＥＣＵ６は、ＤＳＳＥＣＵ４による指示に従ってブレーキを作動させる。
【００２７】
以下、顔向き検出装置１の動作を説明する。図２は、本実施形態における顔向き検出装置の動作の流れを示すフローチャートである。本実施形態においては、図２に示す動作は、ドライバモニタＥＣＵ３およびＤＳＳＥＣＵ４によって行われる。また、図２に示す動作は、例えば車両の走行中、あるいは、車両のイグニッションスイッチがオンである間、実行される。
【００２８】
図２において、まず、ステップＳ１において、ドライバモニタＥＣＵ３は、カメラ２による撮影画像を取得する。続くステップＳ２において、ドライバモニタＥＣＵ３（上記メインマイコン）は、顔向き検出処理を実行する。顔向き検出処理は、上記撮影画像に基づいて運転者の顔向き（顔向きの角度）を検出する処理である。本実施形態では、運転者の顔向きを判断する判断処理として、ステップＳ２において顔向きが検出され、後述するステップＳ８において検出された顔向きが正面の向きであるか否かが判断される。したがって、本実施形態では、ステップＳ２を実行するドライバモニタＥＣＵ３およびステップＳ７を実行するＤＳＳＥＣＵ４が、請求項に記載の判断処理手段に相当する。以下、図３を参照して顔向き検出処理の詳細について説明する。
【００２９】
図３は、図２に示すステップＳ２（顔向き検出処理）の詳細を示すフローチャートである。図３におけるステップＳ１１において、ドライバモニタＥＣＵ３は、上記ステップＳ１で取得した撮影画像における運転者の顔における左右両端の位置を算出する。続くステップＳ１２において、ドライバモニタＥＣＵ３は、撮影画像における運転者の所定部位（ここでは、目、鼻、および口）の位置を算出する。なお、ステップＳ１１およびＳ１２における画像認識処理の内容はどのようなものであってもよい。ステップＳ１２の次にステップＳ１３の処理が実行される。
【００３０】
ステップＳ１３において、ドライバモニタＥＣＵ３は、運転者の顔の中心線を算出する。顔の中心線とは、撮影画像上における顔の領域の中心（すなわち、運転者の左右両端の中心）ではなく、実際の顔における中心を通る線であり、両目の間、鼻、および口を通る線である。ドライバモニタＥＣＵ３は、ステップＳ１２で算出された各所定部位の位置を用いて上記中心線を算出する。ステップＳ１３の次にステップＳ１４の処理が実行される。
【００３１】
ステップＳ１４において、ドライバモニタＥＣＵ３は、運転者の顔向きを算出する。顔向きは、上記ステップＳ１１で算出された顔の左右両端の位置と、顔の中心線の位置とを用いて算出される。具体的には、ドライバモニタＥＣＵ３は、顔の左端から中心線までの長さと、中心線から顔の右端までの長さの比率に基づいて顔向きを算出する。例えば、両者の長さが等しければ、顔向きは、カメラ２に対して正面の向き（０°）であると判断することができる。なお、ここでは、顔向きは、カメラ２の方向を０°とした角度（顔向き角度）で表されるものとする。以上のステップＳ１４の完了後、ドライバモニタＥＣＵ３は顔向き検出処理を終了する。なお、以上に説明した顔向き検出処理における顔向きの検出方法は一例であり、ドライバモニタＥＣＵ３は、どのような方法で顔向きを検出してもよい。
【００３２】
図２の説明に戻り、ステップＳ３において、ドライバモニタＥＣＵ３（上記サブマイコン）は、運転者の目の瞼開度（目が開いている度合）を算出する。目の瞼開度は、どのような方法によって算出されてもよいが、上記ステップＳ２において目の部位が抽出されている場合には、ステップＳ２で得られた情報を用いて算出されてもよい。ステップＳ３の次にステップＳ４の処理が実行される。
【００３３】
ステップＳ４において、ドライバモニタＥＣＵ３は、ステップＳ２およびＳ３による処理結果をＤＳＳＥＣＵ４へ出力する。すなわち、運転者の顔向きを示す顔向き情報、および、運転者の目の状態を示す状態情報が第１のＣＡＮ８を介してＤＳＳＥＣＵ４へ出力される。ステップＳ４の次にステップＳ５の処理が実行される。
【００３４】
ステップＳ５において、ＤＳＳＥＣＵ４は、運転者の運転状態を表す（運転者の運転状態を判断するために用いる）各種情報を取得する。本実施形態では、ＤＳＳＥＣＵ４は、ステアリングセンサ５から操舵角情報を取得し、ブレーキＥＣＵ６からブレーキ情報を取得し、車輪速センサ７から速度情報を取得する。ステップＳ５の次にステップＳ６の処理が実行される。
【００３５】
ステップＳ６において、ＤＳＳＥＣＵ４は、運転者の運転状態に基づいて、運転者が正面を向いているか否かを推測する。本実施形態では、ステップＳ６を実行するＤＳＳＥＣＵ４が、請求項に記載の推測手段に相当する。本実施形態では、ステップＳ６における推測は、上記ステップＳ５で取得された情報、および、ドライバモニタＥＣＵ３から入力される顔向き情報を用いて行われる。具体的には、ＤＳＳＥＣＵ４は、次の［条件Ａ］〜［条件Ｄ］の全ての条件が満たされる場合に運転者が正面を向いていると推測する。
［条件Ａ］車両の速度が所定の速度以上であること
［条件Ｂ］車両が直進走行していること
［条件Ｃ］車両のブレーキが操作中であること
［条件Ｄ］現在の顔向きが、運転者からカメラ２への方向を中心とした所定範囲内の向きであること
［条件Ａ］は上記速度情報により判断することができ、［条件Ｂ］は上記操舵角情報により判断することができ、［条件Ｃ］は上記ブレーキ情報により判断することができ、［条件Ｄ］は最後に実行されるステップＳ２で得られた顔向きにより判断することができる。なお、［条件Ｄ］における「現在の顔向き」とは、運転者が正面を向いていると推測される場合にカメラ２によって撮影された画像から検出される顔向きである。ＤＳＳＥＣＵ４は、運転者が正面を向いていると推測される場合、ステップＳ７の処理を実行する。一方、運転者が正面を向いていると推測されない場合、ＤＳＳＥＣＵ４は、ステップＳ７の処理をスキップして後述するステップＳ８の処理を実行する。
【００３６】
上記［条件Ａ］〜［条件Ｃ］が満たされる場合には、運転者が正面を向いている可能性はかなり高いと考えられる。さらに、［条件Ｄ］によって、正面から大きく外れた向きを向いている場合に運転者が正面を向いていると推測されることを排除することができる。したがって、本実施形態によれば、上記［条件Ａ］〜［条件Ｄ］が全て満たされることを条件とすることにより、運転者が正面を向いていることを正確に推測することができる。なお、他の実施形態においては、運転者が正面を向いていると推測するための条件は、上記に限らず、どのような条件であってもよい。例えば、［条件Ａ］〜［条件Ｄ］のうちの一部の条件のみが用いられてもよいし、［条件Ａ］〜［条件Ｄ］に加えてさらに別の条件が用いられてもよい。また、例えば、ＤＳＳＥＣＵ４は、［条件Ｄ］に代えて（または［条件Ｄ］とともに）、「運転者の顔向きの（単位時間あたりにおける）変化量が所定量以下であること」を条件として用いてもよい。
【００３７】
ステップＳ７において、ＤＳＳＥＣＵ４は、後述するステップＳ８における判断処理に関して、現在の顔向きが正面の向きであると判断されるように学習を行う。本実施形態では、ステップＳ７を実行するＤＳＳＥＣＵ４が、請求項に記載の学習手段に相当する。以下、ステップＳ７における学習処理について、図４〜図９を参照して説明する。
【００３８】
まず、図４〜図７を参照して、学習処理を行う必要性について説明する。図４は、運転者Ｄとカメラ２との位置関係の例を示す図であり、図５は、図４に示す場合にカメラ２によって撮影される画像の例を示す図である。図４に示されるように、カメラ２の正面に運転者Ｄが位置する場合には、図５に示されるように、カメラ２による撮影画像における運転者Ｄの顔は、正面から見たものとなる。またこのとき、運転者Ｄの顔は、撮影画像の左右方向に関して中央に位置する。図４に示す場合においては、運転者Ｄにとっての正面方向は、カメラ２の方向を向く向きであり、撮影画像において運転者Ｄの顔向きが正面向きであれば、実際にも運転者Ｄは正面を向いていると判断することができる。
【００３９】
また、図６は、運転者Ｄとカメラ２との位置関係の他の例を示す図であり、図７は、図６に示す場合にカメラ２によって撮影される画像の例を示す図である。図６に示されるように、カメラ２の正面の位置からずれた位置に運転者Ｄが位置する場合には、図７に示されるように、カメラ２による撮影画像における運転者Ｄの顔は、正面から見たものとはならない可能性がある。また、図６の場合においては、運転者にとっての正面方向（運転者Ｄ自身が正面と感じる方向）は、図４の場合における正面方向とは異なる可能性がある。以上より、図７に示す撮影画像における顔向きをそのまま運転者の顔向きとして判断すると、運転者にとっての正面方向を正確に判断することができないおそれがある。例えば、図７に示す撮影画像から、「運転者Ｄの顔向きは、正面方向よりやや外側の向きである」と判断するのは正確ではない。以上のように、カメラ２による撮影画像における顔向きをそのまま実際の運転者の顔向きとすることは適切ではなく、学習処理によって実際の運転者の正面方向を学習する必要がある。
【００４０】
そこで、本実施形態では、ＤＳＳＥＣＵ４は、正面を向いていると判断される範囲（正面範囲）を、ステップＳ７の学習処理において補正する。正面範囲とは、運転者が正面を向いているか否かを判断する処理（後述するステップＳ８）において用いられる情報であって、当該処理においては、ドライバモニタＥＣＵ３から取得された顔向き（顔向き角度）が当該正面範囲内の値であれば、運転者は正面を向いていると判断される。図８は、正面範囲の一例を示す図である。正面範囲は、運転者Ｄからカメラ２への方向を基準（０°）とした角度で表され、具体的には、正面範囲の中心に対して一方の側の第１境界値Ｓと、他方の側の第２境界値Ｔとにより表される。なお、ここでは、上記基準に対して上記一方の側の角度を正の値で表し、上記基準に対して上記他方の側の角度を負の値で表す。したがって、図８においては、第１境界値Ｓは正の値であり、第２境界値Ｔは負の値である。また、本実施形態では、上記基準の方向を中心とした範囲を、正面範囲の初期値とする。
【００４１】
ステップＳ７の学習処理においては、運転者が正面を向いていると推測された場合にカメラ２によって撮影された画像から検出される顔向き（ステップＳ２で検出された顔向き）が、正面の向きであると判断されるように、正面範囲が補正される。図９は、ステップＳ７の学習処理を説明するための図である。図９において、角度Ａは、ステップＳ２で検出された現在の顔向き角度である。このとき、ＤＳＳＥＣＵ４は、補正後の正面範囲を次の式（１）に従って算出する。
Ｎ＝Ｓ＋Ａ
Ｍ＝Ｔ−Ａ …（１）
上式（１）において、変数Ｎは補正後の第１境界値であり、変数Ｍは補正後の第２境界値である。上式（１）によって、図９に示されるように、補正後の正面範囲は、現在の顔向き角度Ａを中心とした範囲に補正される。
【００４２】
なお、ＤＳＳＥＣＵ４は、上式（１）に代えて、下記の式（２）に従って補正後の正面範囲を算出してもよい。
Ｎ＝Ｓ＋Ｌ×Ｐ＋Ａ
Ｍ＝Ｔ−Ｌ×Ｑ−Ａ …（２）
上式（２）において、変数Ｌは、撮影画像における中心位置から運転者の顔の位置までのオフセット量（図７参照）である。また、定数ＰおよびＱは予め定められている。なお、撮影画像における運転者の顔の位置は、例えば、上記顔の中心線（ステップＳ１３参照）の位置としてもよいし、顔の左右両端の位置の中心位置としてもよいし、顔の所定部位（例えば鼻の位置）としてもよい。ここで、運転者にとっての正面方向は、上記オフセット量Ｌが大きくなるほど（すなわち、運転者の位置がカメラ２の正面位置からずれるほど）、運転者がカメラ２の正面位置に位置する場合における正面方向から、ずれると考えられる。上式（２）は、このことを考慮して、オフセット量に応じた量だけ正面範囲を補正するようにしたものである。
【００４３】
なお、上記ステップＳ７においては、正面範囲は、１回の補正で、現在の顔向き角度Ａを中心とした範囲に補正された。ここで、他の実施形態においては、ＤＳＳＥＣＵ４は、複数回の補正で、現在の顔向き角度Ａを中心とした範囲となるように正面範囲を次第に補正してもよい。このとき、１回の補正で補正範囲を変化させる量は、上記オフセット量Ｌに応じて決定されてもよい。
【００４４】
図２の説明に戻り、ステップＳ８において、ＤＳＳＥＣＵ４は、運転者が正面を向いているか否かを判断する。すなわち、ＤＳＳＥＣＵ４は、上記ステップＳ２で検出された顔向き角度が、上記正面範囲内の値であるか否かを判断する。また、ＤＳＳＥＣＵ４は、判断結果に基づいて、車両に設置されている各種装置の動作を制御して運転者および乗員の安全を図る。上記ステップＳ８の後、ステップＳ１の処理が再度実行される。以降、ステップＳ１〜Ｓ８の処理がくり返し実行される。
【００４５】
以上のように、本実施形態によれば、運転者が実際に正面を向いているか否かが推測され（ステップＳ６）、実際に正面を向いていると推測される場合における顔向き角度が、正面方向を向いているときの顔向き角度となるように学習が行われる（ステップＳ７）。したがって、運転者が正面を向いた状態が撮像手段に対して正面向きでない場合であっても、運転者にとっての実際の正面の向きを正確に検出することができ、運転者が正面を向いているか否かを正確に判断することができる。
【００４６】
なお、上記実施形態においては、顔向き検出装置は、運転者の顔向きを検出して運転者が正面を向いているか否かを判断するための判断処理に関して学習を行った。ここで、他の実施形態においては、判断処理は、カメラ２によって撮影された画像を用いて運転者の顔向きを判断する処理であればよく、正面を向いているか否かの判断を行うものでなくてもよい。例えば、判断処理は、運転者にとっての正面方向を基準（０°）として顔向き角度を算出する処理であってもよい。このとき、基準となる方向を学習によって補正することで、正面方向を基準とした顔向き角度を正確に算出することができる。
【産業上の利用可能性】
【００４７】
本発明は、運転者の顔の向きを正確に検出すること等を目的として、例えば、運転者が脇見をしているか否かを判定する車両安全システム等に利用することが可能である。
【図面の簡単な説明】
【００４８】
【図１】本実施形態における顔向き検出装置の構成を示すブロック図
【図２】本実施形態における顔向き検出装置の動作の流れを示すフローチャート
【図３】図２に示すステップＳ２（顔向き検出処理）の詳細を示すフローチャート
【図４】運転者Ｄとカメラ２との位置関係の例を示す図
【図５】図４に示す場合にカメラ２によって撮影される画像の例を示す図
【図６】運転者Ｄとカメラ２との位置関係の他の例を示す図
【図７】図６に示す場合にカメラ２によって撮影される画像の例を示す図
【図８】正面範囲の一例を示す図
【図９】ステップＳ７の学習処理を説明するための図
【符号の説明】
【００４９】
１ 顔向き検出装置
２ カメラ
３ ドライバモニタＥＣＵ
４ ドライバサポートシステムＥＣＵ
５ ステアリングセンサ
６ ブレーキＥＣＵ
７ 車輪速センサ
【特許請求の範囲】
【請求項１】
車両の運転者の顔向きを検出する顔向き検出装置であって、
前記運転者を撮影する撮影手段によって撮影された画像を用いて当該運転者の顔向きを判断する判断処理を行う判断処理手段と、
前記運転者の運転状態に基づいて、前記運転者が正面を向いているか否かを推測する推測手段と、
前記運転者が正面を向いていると推測される場合に前記撮影手段によって撮影された画像から検出される顔向きが正面の向きであると判断されるように前記判断処理に関して学習を行う学習手段とを備える、顔向き検出装置。
【請求項２】
前記判断処理は、前記運転者の顔向きを検出して前記運転者が正面を向いているか否かを判断する処理であり、
前記学習手段は、前記判断処理において前記運転者が正面を向いていると判断される角度範囲を学習によって変更する、請求項１に記載の顔向き検出装置。
【請求項３】
前記学習手段は、前記撮影手段によって撮影された画像における中心位置と、当該画像における前記運転者の顔の位置とのオフセット量に基づいて学習を行う、請求項１または請求項２のいずれか１項に記載の顔向き検出装置。
【請求項４】
前記判断処理手段は、前記撮影手段によって撮影された画像における前記運転者の顔の位置として、当該運転者の顔の所定部位の位置から顔の中心線の位置を算出する、請求項３に記載の顔向き検出装置。
【請求項５】
前記判断処理手段は、前記撮影手段によって撮影された画像における前記運転者の顔の位置として、当該運転者の顔の両端の中心の位置を算出する、請求項３に記載の顔向き検出装置。
【請求項６】
前記推測手段は、前記車両の速度が所定の速度以上であることを少なくとも条件として、前記運転者が正面を向いていると推測する、請求項１から請求項５のいずれか１項に記載の顔向き検出装置。
【請求項７】
前記推測手段は、前記車両が直進走行していることを少なくとも条件として、前記運転者が正面を向いていると推測する、請求項１から請求項６のいずれか１項に記載の顔向き検出装置。
【請求項８】
前記推測手段は、前記撮影手段によって撮影された画像から検出される顔向きの変化量が所定量以下であることをさらに条件として、前記運転者が正面を向いていると推測する、請求項６または請求項７のいずれか１項に記載の顔向き検出装置。
【請求項９】
前記推測手段は、前記撮影手段によって撮影された画像から検出される顔向きが、前記運転者から前記撮影手段への方向を中心とした所定範囲内の向きであることをさらに条件として、前記運転者が正面を向いていると推測する、請求項６または請求項７のいずれか１項に記載の顔向き検出装置。
【請求項１０】
前記推測手段は、前記車両のブレーキが操作中であることを少なくとも条件として、前記運転者が正面を向いていると推測する、請求項６または請求項７のいずれか１項に記載の顔向き検出装置。
【請求項１】
車両の運転者の顔向きを検出する顔向き検出装置であって、
前記運転者を撮影する撮影手段によって撮影された画像を用いて当該運転者の顔向きを判断する判断処理を行う判断処理手段と、
前記運転者の運転状態に基づいて、前記運転者が正面を向いているか否かを推測する推測手段と、
前記運転者が正面を向いていると推測される場合に前記撮影手段によって撮影された画像から検出される顔向きが正面の向きであると判断されるように前記判断処理に関して学習を行う学習手段とを備える、顔向き検出装置。
【請求項２】
前記判断処理は、前記運転者の顔向きを検出して前記運転者が正面を向いているか否かを判断する処理であり、
前記学習手段は、前記判断処理において前記運転者が正面を向いていると判断される角度範囲を学習によって変更する、請求項１に記載の顔向き検出装置。
【請求項３】
前記学習手段は、前記撮影手段によって撮影された画像における中心位置と、当該画像における前記運転者の顔の位置とのオフセット量に基づいて学習を行う、請求項１または請求項２のいずれか１項に記載の顔向き検出装置。
【請求項４】
前記判断処理手段は、前記撮影手段によって撮影された画像における前記運転者の顔の位置として、当該運転者の顔の所定部位の位置から顔の中心線の位置を算出する、請求項３に記載の顔向き検出装置。
【請求項５】
前記判断処理手段は、前記撮影手段によって撮影された画像における前記運転者の顔の位置として、当該運転者の顔の両端の中心の位置を算出する、請求項３に記載の顔向き検出装置。
【請求項６】
前記推測手段は、前記車両の速度が所定の速度以上であることを少なくとも条件として、前記運転者が正面を向いていると推測する、請求項１から請求項５のいずれか１項に記載の顔向き検出装置。
【請求項７】
前記推測手段は、前記車両が直進走行していることを少なくとも条件として、前記運転者が正面を向いていると推測する、請求項１から請求項６のいずれか１項に記載の顔向き検出装置。
【請求項８】
前記推測手段は、前記撮影手段によって撮影された画像から検出される顔向きの変化量が所定量以下であることをさらに条件として、前記運転者が正面を向いていると推測する、請求項６または請求項７のいずれか１項に記載の顔向き検出装置。
【請求項９】
前記推測手段は、前記撮影手段によって撮影された画像から検出される顔向きが、前記運転者から前記撮影手段への方向を中心とした所定範囲内の向きであることをさらに条件として、前記運転者が正面を向いていると推測する、請求項６または請求項７のいずれか１項に記載の顔向き検出装置。
【請求項１０】
前記推測手段は、前記車両のブレーキが操作中であることを少なくとも条件として、前記運転者が正面を向いていると推測する、請求項６または請求項７のいずれか１項に記載の顔向き検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−６７０５８（Ｐ２０１０−６７０５８Ａ）
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願番号】特願２００８−２３３５２０（Ｐ２００８−２３３５２０）
【出願日】平成２０年９月１１日（２００８．９．１１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願日】平成２０年９月１１日（２００８．９．１１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]