顔向き検出装置
【課題】検出精度の向上及び演算負荷の低減の少なくとも一方につながる新たな顔向き検出装置を提供する。
【解決手段】顔向き検出装置１２は、特徴部抽出手段２４により抽出された複数の特徴部の中から人物１００の鼻孔１２４を抽出する鼻孔抽出手段２４を有する。鼻孔抽出手段２４は、複数の特徴部のうち最も移動量の大きい特徴部を鼻孔１２４として抽出する。
【解決手段】顔向き検出装置１２は、特徴部抽出手段２４により抽出された複数の特徴部の中から人物１００の鼻孔１２４を抽出する鼻孔抽出手段２４を有する。鼻孔抽出手段２４は、複数の特徴部のうち最も移動量の大きい特徴部を鼻孔１２４として抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人物（車両の乗員等）の顔向きを検出する顔向き検出装置に関する。
【背景技術】
【０００２】
特許文献１には、化粧等を施した場合でも、顔画像から眼部を精度良く検出する装置を提供するため、顔画像において特定部位のエッジを検出し、当該エッジに基づいて眼の状態を判定する技術が記載されている（要約）。特許文献１では、判定した眼部の状態を、視線方向の計測及び覚醒度の推定に用いることが念頭に置かれている（［０００２］）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４０２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のように、特許文献１では、視線方向の計測や覚醒度の推定のために眼部を精度良く検出することが企図されているが、検出精度や演算負荷の点で未だ改善する余地がある。
【０００５】
この発明はこのような課題を考慮してなされたものであり、検出精度の向上及び演算負荷の低減の少なくとも一方につながる新たな顔向き検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る顔向き検出装置は、人物の画像（以下「人物画像」という。）から前記人物の顔端を検出する顔端検出手段と、前記顔端検出手段により検出された前記顔端に基づいて前記人物の頭部回転軸を算出する頭部回転軸算出手段と、前記人物画像から所定の大きさを持った複数の特徴部を抽出する特徴部抽出手段と、前記特徴部抽出手段により抽出された複数の特徴部の中から前記人物の鼻孔を抽出する鼻孔抽出手段と、前記鼻孔抽出手段により抽出された前記鼻孔と前記頭部回転軸算出手段により算出された前記頭部回転軸に応じて前記人物の左右の顔向きを検出する顔向き検出手段とを備え、前記鼻孔抽出手段は、前記複数の特徴部のうち最も移動量の大きい特徴部を前記鼻孔として抽出することを特徴とする。
【０００７】
この発明によれば、鼻孔を用いて乗員の顔向きを検出する。このため、例えば、眼部を検出する従来技術に加えてこの発明を用いることで顔向き検出又は視線方向の検出の精度を向上させることが可能となる。また、乗員が眼鏡又はサングラスをかけている場合でも顔向きの検出が可能となる。従って、乗員が眼鏡又はサングラスをかけている場合に検出不能となる可能性がある視線方向の検出の場合と比べて適用場面を広げることが可能となる。また、左右の顔向きを変化させる場合、目、眉、口及び髭と比較して、鼻孔は頭部回転軸から相対的に離れた位置にあるため、顔向きの変化に伴う移動量が相対的に大きくなる。このため、鼻孔を用いることにより、左右の顔向きの変化を高精度に検出することが可能となる。
【０００８】
さらに、この発明によれば、人物画像から顔端を検出し、検出した顔端に基づいて頭部回転軸を算出する。また、人物画像から複数の特徴部を抽出し、抽出した複数の特徴部のうち最も移動量が大きいものを鼻孔として抽出する。そして、算出した頭部回転軸と抽出した鼻孔とを用いて左右の顔向きを検出する。これにより、左右の顔向きに関する新たな検出方法を提供することができる。加えて、複数の特徴部の検出方法や各特徴部の移動量の演算方法によっては、処理負荷を軽減することが可能となる。
【０００９】
前記特徴部抽出手段は、所定の大きさを持ち且つ所定輝度より低い複数の低輝度領域を前記複数の特徴部として前記人物画像から抽出する低輝度領域抽出手段を備え、前記鼻孔抽出手段は、前記低輝度領域抽出手段により抽出された前記複数の低輝度領域のうち最も移動量の多い低輝度領域を前記鼻孔として抽出してもよい。
【００１０】
人物画像において所定の大きさを持った低輝度領域は、当該所定の大きさによって限定されたものとなる。例えば、人種によっては、瞳孔、眉及び髭等がそのもの自体の色として低輝度であり、また、鼻孔及び口（口の中）等が陰の発生により低輝度となる。このように抽出対象となる低輝度領域は、限定されたものとすることが可能であると共に、輝度に応じた２値化をした上での処理が可能となる。このため、比較的単純且つ高精度な処理を行うことが可能となる。
【００１１】
前記低輝度領域抽出手段は、前記顔端検出手段により検出された前記顔端の内側を鼻孔候補抽出領域とし、該鼻孔候補抽出領域内だけで所定の大きさを持った複数の低輝度領域を抽出してもよい。これにより、鼻孔の抽出領域を限定することができるため、演算負荷を低減し、処理速度を向上することが可能となる。
【００１２】
前記顔向き検出装置は、さらに、車両に搭載されて前記車両の乗員が操作可能な複数の車載機器と、前記乗員の顔を撮像可能な撮像手段と、前記顔向き検出手段により検出された前記顔向きに基づいて前記複数の車載機器のうちいずれかの車載機器を特定する車載機器特定手段とを備え、前記顔端検出手段は、前記撮像手段が撮像した前記乗員の顔画像を前記人物画像として前記乗員の顔端を検出し、前記車載機器特定手段は、前記顔向き検出手段により検出された前記顔向きに基づいて前記車載機器を特定してもよい。
【００１３】
乗員が操作を意図する車載機器のある方向に顔を向けて当該車載機器を操作対象機器として特定する車両では、車載機器の操作のために頭部の回転角度が比較的大きくなる場合が多いといえる。このため、鼻孔の検出精度を上げ易くなるため、この発明を適用することにより、顔向きの検出精度を向上することが可能となる。
【００１４】
この発明に係る顔向き検出装置は、人物の頭部を撮像する撮像部と、前記頭部の画像（以下「頭部画像」という。）から前記頭部の左右のエッジを検出するエッジ検出部と、前記左右のエッジを用いて前記頭部画像における前記頭部の回転軸の位置を特定する回転軸特定部と、前記頭部画像において所定輝度よりも低い閾値を下回る領域又は前記所定輝度よりも高い閾値を上回る領域である複数の特徴領域を抽出する特徴領域抽出部と、前記複数の特徴領域それぞれについて前記頭部の回転に伴う変位量を演算する変位量算出部と、前記複数の特徴領域のうち前記変位量が最も大きい領域（以下「最大変位領域」という。）を特定する最大変位領域特定部と、前記顔を正面からみたときの前記顔における上下方向の中心線を前記最大変位領域に基づいて特定する中心線特定部と、前記頭部画像における前記回転軸と前記中心線との相対的な位置関係に基づいて前記顔の向きを算出する顔向き算出部とを備えることを特徴とする。
【００１５】
この発明によれば、顔向きの新たな検出方法を提供することができる。また、この発明では、いわゆるパターンマッチングを使用しないため、演算負荷を軽減できる可能性がある。
【発明の効果】
【００１６】
この発明によれば、鼻孔を用いて乗員の顔向きを検出する。このため、例えば、眼部を検出する従来技術に加えてこの発明を用いることで顔向き検出又は視線方向の検出の精度を向上させることが可能となる。また、乗員が眼鏡又はサングラスをかけている場合でも顔向きの検出が可能となる。従って、乗員が眼鏡又はサングラスをかけている場合に検出不能となる可能性がある視線方向の検出の場合と比べて適用場面を広げることが可能となる。また、左右の顔向きを変化させる場合、目、眉、口及び髭と比較して、鼻孔は頭部回転軸から相対的に離れた位置にあるため、顔向きの変化に伴う移動量が相対的に大きくなる。このため、鼻孔を用いることにより、左右の顔向きの変化を高精度に検出することが可能となる。
【００１７】
さらに、この発明によれば、人物画像から顔端を検出し、検出した顔端に基づいて頭部回転軸を算出する。また、人物画像から複数の特徴部を抽出し、抽出した複数の特徴部のうち最も移動量が大きいものを鼻孔として抽出する。そして、算出した頭部回転軸と抽出した鼻孔とを用いて左右の顔向きを検出する。これにより、左右の顔向きに関する新たな検出方法を提供することができる。加えて、複数の特徴部の検出方法や各特徴部の移動量の演算方法によっては、処理負荷を軽減することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施形態に係る顔向き検出装置としての車載機器操作装置を搭載した車両の全体ブロック図である。
【図２】前記車両のフロントウィンドウ周辺の外観図である。
【図３】前記車両のステアリングホイールの外観正面図である。
【図４】前記車両のドアミラーの外観斜視図である。
【図５】前記フロントウィンドウ周辺を５つの領域に区切った状態を示す図である。
【図６Ａ】オーディオ装置の音量を変える場合の運転者の第１動作例を示す図である。
【図６Ｂ】オーディオ装置の音量を変える場合の運転者の第２動作例を示す図である。
【図６Ｃ】オーディオ装置の音量を変える場合の運転者の第３動作例を示す図である。
【図７Ａ】ヘッドアップディスプレイ（ＨＵＤ）を表示し、車速や燃費を確認する場合の運転者の第１動作例を示す図である。
【図７Ｂ】前記ＨＵＤを表示し、車速や燃費を確認する場合の運転者の第２動作例を示す図である。
【図７Ｃ】前記ＨＵＤを表示し、車速や燃費を確認する場合の運転者の第３動作例を示す図である。
【図８Ａ】助手席側ウィンドウを開閉する場合の運転者の第１動作例を示す図である。
【図８Ｂ】助手席側ウィンドウを開閉する場合の運転者の第２動作例を示す図である。
【図８Ｃ】助手席側ウィンドウを開閉する場合の運転者の第３動作例を示す図である。
【図９】各車載機器の選択方法と操作方法の一覧を表示する図である。
【図１０】各機能のボタン割当一覧を表示する図である。
【図１１】各車載機器を選択又は操作するフローチャートである。
【図１２】シリンダ法の概要を説明するための説明図である。
【図１３】電子制御装置（以下「ＥＣＵ」という。）が運転者の注視方向を検知するフローチャートである。
【図１４Ａ】顔画像の取得を行う様子を示す図である。
【図１４Ｂ】特徴点の抽出を行う様子を示す図である。
【図１４Ｃ】顔端の検出、並びに顔（頭部）の回転軸、乗員カメラの光軸と前記回転軸がなす角度及び顔（頭部）の半径の算出を行う様子を示す図である。
【図１４Ｄ】鼻孔候補抽出領域の絞り込みを行う様子を示す図である。
【図１４Ｅ】鼻孔候補の抽出を行う様子を示す図である。
【図１４Ｆ】鼻孔の検出、及び顔を正面からみたときの上下方向の中心線の算出を行う様子を示す図である。
【図１５】顔向きθの算出方法を説明するための平面図である。
【図１６】顔が回転したときにおける目及び鼻孔の移動量及び形状変化を説明するための説明図である。
【図１７】前記ＥＣＵが操作対象機器を選択するフローチャートである。
【図１８】運転者の注視方向が中央方向である場合に操作対象機器を選択するフローチャートである。
【図１９】運転者の注視方向が正面方向である場合に操作対象機器を選択するフローチャートである。
【図２０】運転者の注視方向が右方向である場合に操作対象機器を選択するフローチャートである。
【図２１】運転者の注視方向が左方向である場合に操作対象機器を選択するフローチャートである。
【図２２】前記ＥＣＵが操作対象機器を操作するフローチャートである。
【図２３】ナビゲーション装置の操作を行うフローチャートである。
【図２４】オーディオ装置の操作を行うフローチャートである。
【図２５】エアコンディショナの操作を行うフローチャートである。
【図２６】ＨＵＤの操作を行うフローチャートである。
【図２７】ハザードランプの操作を行うフローチャートである。
【図２８】運転者用のシートの操作を行うフローチャートである。
【図２９】後方ライトの操作を行うフローチャートである。
【図３０】運転席側ウィンドウの操作を行うフローチャートである。
【図３１】助手席側ウィンドウの操作を行うフローチャートである。
【図３２】図５の第１変形例として、フロントウィンドウ周辺を３つの領域に区切った状態を示す図である。
【図３３】図５の第２変形例として、フロントウィンドウ周辺を８つの領域に区切った状態を示す図である。
【発明を実施するための形態】
【００１９】
１．全体的な構成の説明
［１−１．全体構成］
図１は、この発明の一実施形態に係る顔向き検出装置としての車載機器操作装置１２（以下「操作装置１２」ともいう。）を搭載した車両１０の全体ブロック図である。図２は、車両１０のフロントウィンドウ１１周辺の外観図である。図１及び図２に示すように、操作装置１２は、乗員カメラ１４と、ステアリングホイール１６に設けられた十字キー１８と、複数の車載機器２０と、複数のパイロットランプ２２ａ〜２２ｄ（以下「パイロットランプ２２」と総称する。）と、電子制御装置２４（以下「ＥＣＵ２４」という。）とを有する。図２からもわかるように、本実施形態の車両１０は、いわゆる右ハンドル車である。代わりに、左ハンドル車であっても同様の構成を採用することができる。
【００２０】
［１−２．乗員カメラ１４］
図２に示すように、乗員カメラ１４は、図示しないステアリングコラムにおいて運転者の正面に設置され、運転者の顔（頭部）の画像（以下「顔画像」又は「頭部画像」という。）を取得する。乗員カメラ１４の位置は、これに限らず、例えば、インストルメントパネル５９のいずれかの場所に配置してもよい。また、乗員カメラ１４は、単一の方向から撮像するものに限らず、複数の方向から撮像するもの（いわゆるステレオカメラ）であってもよい。さらに、乗員カメラ１４は、カラーカメラ又はモノクロカメラのいずれであってもよい。
【００２１】
［１−３．十字キー１８］
運転者は、十字キー１８を用いて操作対象となる車載機器２０（以下「操作対象機器」という。）の特定及び特定した車載機器２０の操作入力を行うことができる。図３に示すように、十字キー１８は、中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６及び右ボタン３８を有する。なお、図２における十字キー１８は、拡大して表示されている。十字キー１８の操作方法については、後述する。
【００２２】
［１−４．複数の車載機器２０］
本実施形態において、複数の車載機器２０（図１）には、ナビゲーション装置４０と、オーディオ装置４２と、エアコンディショナ４４と、ヘッドアップディスプレイ４６（以下「ＨＵＤ４６」という。）と、ハザードランプ４８と、運転者用のシート５０と、ドアミラー５２と、後方ライト５４と、運転席側ウィンドウ５６と、助手席側ウィンドウ５８とが含まれる。
【００２３】
図４に示すように、後方ライト５４はドアミラー５２下部にある発光ダイオード（ＬＥＤ）で車両１０の側面後方を照らすものである。
【００２４】
［１−５．パイロットランプ２２ａ〜２２ｄ］
本実施形態では、４つのパイロットランプ２２ａ〜２２ｄが設けられている。すなわち、図２に示すように、中央に設けられたパイロットランプ２２ａと、正面に設けられたパイロットランプ２２ｂと、右側に設けられたパイロットランプ２２ｃと、左側に設けられたパイロットランプ２２ｄとが含まれる。パイロットランプ２２ａ〜２２ｄは、後述する複数の車載機器群Ａ〜Ｄ（又は「グループＡ〜Ｄ」ともいう。）のいずれが選択されているかを示す。
【００２５】
［１−６．ＥＣＵ２４］
ＥＣＵ２４は、車載機器操作装置１２（本実施形態では、特に、各車載機器２０）を制御するものであり、図１に示すように、入出力装置６０、演算装置６２及び記憶装置６４を備える。演算装置６２は、注視方向検出機能７０と、車載機器群特定機能７２と、個別車載機器特定機能７４と、車載機器制御機能７６とを備える。
【００２６】
本実施形態では、これらの機能７０、７２、７４、７６を用いることにより、各車載機器２０を簡易に制御することができる。すなわち、運転者は、操作対象とする車載機器２０（以下「操作対象機器」という。）が存在する車幅方向に顔を向けると共に、十字キー１８を操作することにより、操作対象機器を制御することが可能である。なお、後述するように、その他の方法により操作対象機器を特定及び制御することもできる。
【００２７】
注視方向検出機能７０は、運転者（乗員）の顔向きに基づいて、運転者の注視方向を検出する機能である。これに加えて、視線方向（眼球向き）を用いてもよい。車載機器群特定機能７２は、注視方向検出機能７０が検出した注視方向に存在する車載機器群（グループＡ〜Ｄ）を特定する機能である。個別車載機器特定機能７４は、車載機器群特定機能７２に特定された車載機器群に含まれる複数の車載機器２０の中から運転者の操作に応じて操作対象機器を特定する機能である。車載機器制御機能７６は、個別車載機器特定機能７４により特定された操作対象機器を、運転者の操作入力に応じて制御する機能である。
【００２８】
２．本実施形態の制御の概要
上記のように、本実施形態では、運転者は、操作対象機器が存在する車幅方向に顔を向けると共に、十字キー１８を操作することにより、操作対象機器を制御することが可能である。
【００２９】
当該制御を実現するため、本実施形態では、まず乗員カメラ１４が撮像した運転者の顔画像に基づいて顔向きを検出し、これらに基づいて車幅方向における注視方向を判定する。その後、十字キー１８の操作に基づいて高さ方向（上下方向）を特定する。これにより、操作対象機器を特定する。
【００３０】
本実施形態において、車幅方向における注視方向としては、図５に示す５つの方向を設定している。すなわち、フロントウィンドウ１１周辺を５つの領域Ａ１〜Ａ５に区切っている。より具体的には、中央方向の領域Ａ１、正面方向の領域Ａ２、右方向の領域Ａ３、左方向の領域Ａ４及びその他の方向の領域Ａ５である。これらの各方向（グループＡ〜Ｄ）に対し、各車載機器２０が割り当てられている。
【００３１】
中央方向の領域Ａ１には、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４（グループＡ）が割り当てられている。なお、図５等において、「ナビ」は「ナビゲーション装置」を意味し、「オーディオ」は「オーディオ装置」を意味し、「エアコン」は「エアコンディショナ」を意味する。
【００３２】
正面方向の領域Ａ２には、ＨＵＤ４６、ハザードランプ４８及びシート５０（グループＢ）が割り当てられている。なお、図５等において、「ハザード」は「ハザードランプ」を意味する。右方向の領域Ａ３には、ドアミラー５２、後方ライト５４及び運転席側ウィンドウ５６（グループＣ）が割り当てられ、左方向の領域Ａ４には、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８（グループＤ）が割り当てられている。その他の方向の領域Ａ５には何らの車載機器２０も割り当てられていない。なお、本実施形態では、左右のドアミラー５２は同時に展開及び格納させる。また、左右の後方ライト５４は同時に操作する。
【００３３】
ＥＣＵ２４（注視方向検出機能７０）は、乗員カメラ１４からの顔画像に基づき、顔向きを検出し、これらを用いて運転者の注視方向を判定する。そして、ＥＣＵ２４（車載機器群特定機能７２）は、判定した注視方向に基づいて車載機器群（グループＡ〜Ｄ）を特定する。次いで、十字キー１８のうち押し下げられたボタン（ボタン３０、３２、３４、３６、３８のいずれか）に応じて、操作対象機器を特定する。その後、十字キー１８の操作に応じて操作対象機器を操作する。
【００３４】
３．本実施形態における操作対象機器の選択方法と動作例
［３−１．オーディオ装置４２の音量を変える場合］
図６Ａ〜図６Ｃは、オーディオ装置４２の音量を変える場合の運転者１００の第１〜第３動作例を示す。まず、図６Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、オーディオ装置４２のある領域Ａ１（中央方向）に顔を向ける。これにより、ＥＣＵ２４は、後述する注視方向判定技術を用いて車載機器群（グループＡ）を特定する。なお、図６Ａ中の矢印Ｘは、運転者１００の注視方向を示している（その他の図においても同様である。）。なお、ここにいう注視方向Ｘは、基本的に、顔向きに基づくものであり、必要に応じて視線方向（眼球の向き）で補正することもできる（詳細は後述する。）。
【００３５】
図６Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうちオーディオ装置４２に対応するのは中央ボタン３０なので、運転者１００は、中央ボタン３０を押し下げる。これにより、グループＡが選択され、中央のパイロットランプ２２ａが点灯する。
【００３６】
図６Ｃにおいて、運転者１００は、十字キー１８を操作することで、オーディオ装置４２の音量を調整する。すなわち、上ボタン３２を押す度に音量レベルが１増加し、下ボタン３４を押す度に音量レベルが１減少する。この際、運転者１００は、対象領域（グループＡに対応する中央方向の領域Ａ１）や車載機器２０（ここでは、オーディオ装置４２）を見る必要はなく、前方を見ながらでも操作対象機器（オーディオ装置４２）の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。
【００３７】
［３−２．ＨＵＤ４６を表示し、車速や燃費を確認する場合］
図７Ａ〜図７Ｃは、ＨＵＤ４６を表示し、車速や燃費を確認する場合の運転者１００の第１〜第３動作例を示す。まず、図７Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、ＨＵＤ４６のある領域Ａ２（正面方向）に顔を向ける。これにより、ＥＣＵ２４は、注視方向判定技術を用いて車載機器群Ｂ（グループＢ）を特定する。
【００３８】
図７Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ＨＵＤ４６、ハザードランプ４８及びシート５０）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうちＨＵＤ４６に対応するのは上ボタン３２なので、運転者１００は、上ボタン３２を押し下げる。これにより、正面のパイロットランプ２２ｂが点灯する。
【００３９】
図７Ｃにおいて、運転者１００は、十字キー１８を操作することで、ＨＵＤ４６の表示を切り替える。すなわち、上ボタン３２を押す度に、ＨＵＤ４６の表示が、車速１１０→走行距離１１２→燃費１１４→車速１１０の順に切り替わる。反対に、下ボタン３４を押す度に、ＨＵＤ４６の表示が、車速１１０→燃費１１４→走行距離１１２→車速１１０の順に切り替わる。車速１１０、走行距離１１２及び燃費１１４以外の表示（例えば、ガソリン量、バッテリの残容量又は走行可能距離）を行ってもよい。この際、運転者１００は、対象領域（グループＢに対応する正面方向の領域Ａ２）や車載機器２０（ここでは、ＨＵＤ４６）を見る必要はなく、前方を見ながらでもＨＵＤ４６の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。これにより、ＨＵＤ４６が消灯する。
【００４０】
［３−３．助手席側ウィンドウ５８を開閉する場合］
図８Ａ〜図８Ｃは、助手席側ウィンドウ５８を開閉する場合の運転者１００の第１〜第３動作例を示す。まず、図８Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、助手席側ウィンドウ５８のある領域Ａ４（左方向）に顔を向ける。これにより、注視方向判定技術を用いて車載機器群Ｄ（グループＤ）を特定する。
【００４１】
図８Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうち助手席側ウィンドウ５８に対応するのは上ボタン３２及び下ボタン３４なので、運転者１００は、上ボタン３２又は下ボタン３４を押し下げる。これにより、左側のパイロットランプ２２ｄが点灯する。
【００４２】
なお、ドアミラー５２及び後方ライト５４の位置関係は上下に存在するが、助手席側ウィンドウ５８については基準位置をどこに置くかにより、ドアミラー５２及び後方ライト５４との上下関係が逆転する。ここでは、助手席側ウィンドウ５８の図示しない駆動部の位置を基準としたが、別の場所を基準位置とすることもできる。これに伴い、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８と各ボタンの対応関係は変更してもよい。但し、通常、ドアミラー５２の展開及び格納が略水平方向に行われるのに対し、助手席側ウィンドウ５８の開閉が略垂直方向に行われるため、それぞれの可動方向を考慮すると、ドアミラー５２に左ボタン３６及び右ボタン３８を割り当て、助手席側ウィンドウ５８に上ボタン３２及び下ボタン３４を割り当てる方が直感的な操作を行い易い。
【００４３】
図８Ｃにおいて、運転者１００は、十字キー１８を操作することで、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４を押す度に、助手席側ウィンドウ５８が開き、上ボタン３２を押す度に、助手席側ウィンドウ５８が閉じる。この際、運転者１００は、車載機器２０（ここでは、助手席側ウィンドウ５８）を見る必要はなく、前方を見ながらでも操作対象機器（助手席側ウィンドウ５８）の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。
【００４４】
４．車載機器２０の選択方法と動作方法のまとめ
図９は、各車載機器２０の選択方法と操作方法の一覧を表示し、図１０は、各機能のボタン割当一覧を表示する。運転者１００は、図９及び図１０に沿った操作をすることにより、操作対象機器を簡易に操作することができる。
【００４５】
５．具体的なフローチャート
［５−１．全体フロー］
図１１は、各車載機器２０を選択又は操作するフローチャートである。ステップＳ１において、ＥＣＵ２４は、乗員カメラ１４が取得した運転者１００の顔画像に基づいて運転者１００の注視方向Ｘを検知する。ステップＳ２において、ＥＣＵ２４は、十字キー１８のいずれかのボタンが押し下げられたか否かを判定する。いずれのボタンも押し下げられていない場合（Ｓ２：ＮＯ）、今回の処理を終える。いずれかのボタンが押し下げられた場合（Ｓ２：ＹＥＳ）、ステップＳ３において、ＥＣＵ２４は、現在、操作対象機器が選択中であるか否かを判定する。操作対象機器が選択中でない場合（Ｓ３：ＮＯ）、ステップＳ４において、ＥＣＵ２４は、運転者１００による操作に応じて操作対象機器を選択する。操作対象機器が選択中である場合（Ｓ３：ＹＥＳ）、ステップＳ５において、ＥＣＵ２４は、運転者１００による操作に応じて操作対象機器を制御する。
【００４６】
［５−２．運転者１００の注視方向Ｘの検知（図１１のＳ１）］
（５−２−１．概要）
運転者１００の注視方向Ｘの検出は、運転者１００の顔向きを検出することで行う。換言すると、検出した顔向きをそのまま注視方向Ｘとして用いる。後述するように、当該顔向きの検出に加え、運転者１００の視線方向を検知し、顔向きを補正する又は場合によっては、顔向きの代わりに視線方向を注視方向Ｘとして用いることもできる。
【００４７】
本実施形態において、ＥＣＵ２４（注視方向検出機能７０）は、シリンダ法を用いて運転者１００の顔向きθ（図１５参照）を検知する。図１２は、シリンダ法の概要を説明するための説明図である。シリンダ法では、顔８０（頭部）を円柱（シリンダ）形状に見立てて顔向きθを検出する。すなわち、シリンダ法では、乗員カメラ１４から出力された顔画像９０（図１４Ａ）に基づき、顔８０の回転軸Ａと、顔８０の半径ｒと、正面視における顔８０の上下方向の中心線Ｌとを求め、これらに基づいて顔向きθを算出する（詳細は後述する。）。ここでの顔向きθは、広義の意味で用いられており、顔８０の正面側のみならずその他の部分（例えば、後頭部）を含んでもよい。
【００４８】
（５−２−２．処理の全体）
図１３は、ＥＣＵ２４が注視方向Ｘを検知するフローチャート（図１１のＳ１の詳細）である。図１４Ａ〜図１４Ｆは、注視方向Ｘを検知する際の様子を示す図である。図１５は、顔向きθの算出方法を説明するための平面図である。
【００４９】
ステップＳ１１において、ＥＣＵ２４は、乗員カメラ１４から運転者１００の顔画像９０を取得する（図１４Ａ参照）。なお、本実施形態における運転者１００は黄色人種を想定している。このため、運転者１００は、瞳孔、眉及び髭等がそのもの自体の色として例えば黒色である。ステップＳ１２において、ＥＣＵ２４は、エッジ処理を行い、顔画像９０中の特徴点を抽出する（図１４Ｂ参照）。特徴点は、後述する顔端Ｅ１、Ｅ２の候補となるものである。
【００５０】
ステップＳ１３において、ＥＣＵ２４は、顔端Ｅ１、Ｅ２を検出する（図１４Ｃ参照）。顔端Ｅ１は、顔画像９０における顔８０の右側の端部である。換言すると、運転者１００側から見て左側の端部である。顔端Ｅ２は、顔画像９０における顔８０の左側の端部である。換言すると、運転者１００側から見て右側の端部である。本実施形態において、顔端Ｅ１、Ｅ２の検出は、顔画像９０において最も右側の部位を顔端Ｅ１とし、最も左側の部位を顔端Ｅ２とする。なお、図１４Ｃに示すように、本実施形態の顔端Ｅ１、Ｅ２は、顔画像９０において最も左側又は右側の１つのドットではなく、当該最も左側又は右側の１つのドットを含む上下方向の直線として構成される。但し、顔端Ｅ１、Ｅ２を１つのドット又は領域として定義することもできる。
【００５１】
ステップＳ１４において、ＥＣＵ２４は、顔画像９０｛画像平面Ｐ（図１５参照）｝における顔８０の回転軸Ａの位置を算出する（図１４Ｃ参照）。ここにいう回転軸Ａは、図１２に示すように、顔８０をシリンダ形状と仮定することによって設定される軸である。回転軸Ａは、顔画像９０（画像平面Ｐ）において顔端Ｅ１、Ｅ２の中心に位置する直線として定義される。
【００５２】
ステップＳ１５において、ＥＣＵ２４は、乗員カメラ１４の光軸Ａｏと回転軸Ａとがなす角度α（図１５参照）を算出する。図１４Ｃに示すように、角度αは、光軸Ａｏを含む垂直方向の直線と回転軸Ａとの距離により算出可能である。このため、ＥＣＵ２４は、前記直線と回転軸Ａとの距離を算出することで角度αを求める。
【００５３】
ステップＳ１６において、ＥＣＵ２４は、顔８０の半径ｒを算出する（図１４Ｃ参照）。図１２に示すように、顔８０はシリンダ形状であると仮定されるため、顔端Ｅ１、Ｅ２間の距離の半分を半径ｒとして演算することができる。
【００５４】
ステップＳ１７において、ＥＣＵ２４は、鼻孔候補抽出領域Ｒを絞り込む（図１４Ｄ参照）。鼻孔候補抽出領域Ｒは、鼻孔１２４が存在する可能性のある領域であり、顔８０（頭部）のうち髪の毛を除いた部分として定義される。
【００５５】
ステップＳ１８において、ＥＣＵ２４は、鼻孔候補抽出領域Ｒ内について２値化処理を行い、鼻孔１２４の候補となる部位を抽出する（図１４Ｅ参照）。すなわち、顔８０のうち肌に相当する部位の輝度よりも低い値について輝度閾値を設定し、当該輝度閾値を上回る部位については白色とし、当該輝度閾値を下回る部位については黒色とする。なお、鼻孔候補抽出領域Ｒ以外の範囲については、黒色とする。これにより、２値化処理後の顔画像９０では、眉１２０、目１２２（瞳孔）、鼻孔１２４、髭１２６及び口１２８が黒色領域（低輝度領域）となる。これらの黒色領域が鼻孔１２４の候補として抽出される。また、黒色領域を抽出する際は、黒色領域の大きさ（面積）に面積閾値（下限値）を設けておき、当該下限値を下回るものについては、鼻孔１２４の候補とはしないことができる。同様に、黒色領域の大きさ（面積）に別の面積閾値（上限値）を設けておき、当該上限値を上回るものについては、鼻孔１２４の候補とはしないこともできる。
【００５６】
ステップＳ１９において、ＥＣＵ２４は、これらの黒色領域の中から鼻孔１２４を検出する。本実施形態において、鼻孔１２４の検出は、次のように行う。すなわち、ＥＣＵ２４は、一定時間を空けた少なくとも２枚の顔画像９０について各黒色領域を検出する。そして、左右方向における各黒色領域の移動量を測定する（図１４Ｆ参照）。ここでの移動量は、複数の顔画像９０における差として定義可能であるので、実質的に、各黒色領域の移動速度を示すこととなる。ここで、黒色領域の移動量（移動速度）及び形状変化について検討する。
【００５７】
図１６は、顔８０が回転したときにおける目１２２及び鼻孔１２４の移動量及び形状変化を説明するための説明図である。図１６に示すように、顔向きθが変化する場合、目１２２よりも鼻孔１２４の移動量の方が大きくなる。これは、目１２２と比べて、鼻孔１２４の方が顔８０の回転軸Ａから遠いため、顔８０の回転角が同一でも鼻孔１２４の軌跡が描く円弧の方が、目１２２の軌跡が描く円弧よりも長くなるためである。また、目１２２と比べて、鼻孔１２４（鼻）の方が立体的な形状を有している。このため、顔向きθが変化した場合、目１２２よりも鼻孔１２４の方が形状変化が大きくなる（図１６参照）。鼻孔１２４を、眉１２０、髭１２６及び口１２８と比較した場合も同様である（図１４Ｆ参照）。
【００５８】
そこで、本実施形態では、２値化後の顔画像９０において単位時間当たりの移動量が最も大きいものを鼻孔１２４として特定する。なお、上記のように形状変化の相違を踏まえ、形状変化（黒色領域の面積変化）のみをもって又は移動量及び形状変化の両方を用いて鼻孔１２４を特定することもできる。
【００５９】
図１３に戻り、ステップＳ２０において、ＥＣＵ２４は、２値化後の顔画像９０における中心線Ｌの位置を特定する（図１４Ｆ参照）。上記のように、中心線Ｌは、顔８０を正面から見た際の上下方向の中心線である（図１２も参照）。中心線Ｌの特定は、ステップＳ１９で検出した鼻孔１２４の位置を用いて行う。例えば、顔画像９０（画像平面Ｐ）において、２つの鼻孔１２４の中心位置を通る上下方向の線を中心線Ｌとして用いることができる。
【００６０】
ステップＳ２１において、ＥＣＵ２４は距離ｄを算出する。距離ｄは、図１５における中心線Ｌと点Ｓを結ぶ距離である。なお、図１５は平面図であるため、中心線Ｌは、図１５において点として示される。また、点Ｓは、乗員カメラ１４と回転軸Ａを結ぶ線分と、中心線Ｌから画像平面Ｐと平行に引いた半直線との交点である。
【００６１】
距離ｄの算出は、次のように行う。まず、線分ＬＳに対して回転軸Ａから垂直に引いた直線と線分ＬＳとの交点をＱとおく。そして、線分ＬＱと線分ＳＱそれぞれの長さを求めることで線分ＬＳの長さ、すなわち、距離ｄを求める。
【００６２】
線分ＬＱの長さは、画像平面Ｐにおける中心線Ｌの射影Ｌｐと回転軸Ａの射影Ａｐとの距離（ドット数）を測定することにより算出することができる。
【００６３】
線分ＳＱの長さについては、上記のように線分ＬＱの長さがわかると、直角三角形ＡＬＱについて辺ＡＬ、ＬＱ（長さ）がわかることとなり、三平方の定理より辺ＡＱを求めることができる。また、図１５において、乗員カメラ１４と回転軸Ａを結ぶ線分と光軸Ａｏとがなす角αは、角ＱＡＳと等しい。そうすると、ｔａｎα＝ＳＱ／ＡＱとなるから線分ＳＱの長さを求めることができる。
【００６４】
そして、線分ＬＱと線分ＳＱの長さを足すことで距離ｄを算出することができる。なお、後述するように、距離ｄを用いなくても、半径ｒ及び線分ＬＱの長さがわかれば、顔向きθを算出することが可能である。
【００６５】
図１３に戻り、ステップＳ２２において、ＥＣＵ２４は、顔向きθ（図１５参照）を算出する。具体的には、９０°−αをβと定義するとき、次の式（１）及び式（２）から導き出される式（３）を用いて顔向きθを演算する。
【００６６】
【数１】
【００６７】
なお、式（１）は、正弦定理から導かれるものであり、式（２）は、式（１）を変形したものである。
【００６８】
以上のような方法を採ることにより、顔向きθを求めることができる。
【００６９】
［５−３．操作対象機器の選択（図１１のＳ４）］
（５−３−１．概要）
図１７は、ＥＣＵ２４が操作対象機器を選択するフローチャートである。ステップＳ１１１において、ＥＣＵ２４は、図１１のステップＳ１で特定した運転者１００の注視方向Ｘが、中央、正面、右、左又はその他のいずれであるかを確認する。
【００７０】
運転者１００の注視方向Ｘが中央方向（領域Ａ１）である場合、ステップＳ１１２において、ＥＣＵ２４は、中央方向の車載機器群、すなわち、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４からなるグループＡを特定し、グループＡの中から操作対象機器を選択する。
【００７１】
運転者１００の注視方向Ｘが正面方向（領域Ａ２）である場合、ステップＳ１１３において、ＥＣＵ２４は、正面方向の車載機器群、すなわち、ＨＵＤ４６、ハザードランプ４８及びシート５０からなるグループＢを特定し、グループＢの中から操作対象機器を選択する。
【００７２】
運転者１００の注視方向Ｘが右方向（領域Ａ３）である場合、ステップＳ１１４において、ＥＣＵ２４は、右方向の車載機器群、すなわち、ドアミラー５２、後方ライト５４及び運転席側ウィンドウ５６からなるグループＣを特定し、グループＣの中から操作対象機器を選択する。
【００７３】
運転者１００の注視方向Ｘが左方向（領域Ａ４）である場合、ステップＳ１１５において、ＥＣＵ２４は、左方向の車載機器群、すなわち、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８からなるグループＤを特定し、グループＤの中から操作対象機器を選択する。
【００７４】
運転者１００の注視方向Ｘがその他の方向（領域Ａ５）である場合、ＥＣＵ２４は、いずれの車載機器２０も選択せずに今回の処理を終える。
【００７５】
（５−３−２．中央方向）
図１８は、運転者１００の注視方向Ｘが中央方向（領域Ａ１）である場合に操作対象機器を選択するフローチャートである。ステップＳ１２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
【００７６】
押し下げられたボタンが上ボタン３２である場合、ステップＳ１２２において、ＥＣＵ２４は、ナビゲーション装置４０を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２３において、ＥＣＵ２４は、ナビゲーション装置４０を操作対象機器として設定する。
【００７７】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１２４において、ＥＣＵ２４は、オーディオ装置４２を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２５において、ＥＣＵ２４は、オーディオ装置４２を操作対象機器として設定する。
【００７８】
押し下げられたボタンが下ボタン３４である場合、ステップＳ１２６において、ＥＣＵ２４は、エアコンディショナ４４を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２７において、ＥＣＵ２４は、エアコンディショナ４４を操作対象機器として設定する。
【００７９】
押し下げられたボタンが上ボタン３２、中央ボタン３０及び下ボタン３４のいずれでもない場合、ＥＣＵ２４は、今回の処理を終える。
【００８０】
（５−３−３．正面方向）
図１９は、運転者１００の注視方向Ｘが正面方向（領域Ａ２）である場合に操作対象機器を選択するフローチャートである。ステップＳ１３１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２又は下ボタン３４のいずれであるかを判定する。
【００８１】
押し下げられたボタンが上ボタン３２である場合、ステップＳ１３２において、ＥＣＵ２４は、ＨＵＤ４６を選択し、正面のパイロットランプ２２ｂを点灯させる。続くステップＳ１３３において、ＥＣＵ２４は、ＨＵＤ４６をオンにする。これにより、フロントウィンドウ１１にＨＵＤ４６が表示される。ステップＳ１３４において、ＥＣＵ２４は、ＨＵＤ４６を操作対象機器として設定する。
【００８２】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１３５において、ＥＣＵ２４は、ハザードランプ４８を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１３６において、ＥＣＵ２４は、ハザードランプ４８を点滅させる。ステップＳ１３７において、ＥＣＵ２４は、ハザードランプ４８を操作対象機器として設定する。
【００８３】
押し下げられたボタンが下ボタン３４である場合、ステップＳ１３８において、ＥＣＵ２４は、シート５０を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１３９において、ＥＣＵ２４は、シート５０を操作対象機器として設定する。
【００８４】
押し下げられたボタンが上ボタン３２、中央ボタン３０及び下ボタン３４のいずれでもない場合、ＥＣＵ２４は、今回の処理を終える。
【００８５】
（５−３−４．右方向）
図２０は、運転者１００の注視方向Ｘが右方向（領域Ａ３）である場合に操作対象機器を選択するフローチャートである。ステップＳ１４１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【００８６】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ１４２において、ＥＣＵ２４は、運転席側ウィンドウ５６を選択し、右側のパイロットランプ２２ｃを点灯させる。続くステップＳ１４３において、ＥＣＵ２４は、運転席側ウィンドウ５６を開閉する。すなわち、下ボタン３４が押し下げられている場合、運転席側ウィンドウ５６を開き、上ボタン３２が押し下げられている場合、運転席側ウィンドウ５６を閉じる。ステップＳ１４４において、ＥＣＵ２４は、運転席側ウィンドウ５６を操作対象機器として設定する。
【００８７】
押し下げられたボタンが左ボタン３６である場合、ステップＳ１４５において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が格納状態である場合、今回の処理を終える。ドアミラー５２が展開状態である場合、ステップＳ１４６において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、右側のパイロットランプ２２ｃを点灯させる。
【００８８】
ステップＳ１４７において、ＥＣＵ２４は、左右のドアミラー５２を格納する。ステップＳ１４８において、ＥＣＵ２４は、左右のドアミラー５２を選択して、右側のパイロットランプ２２ｃを消灯する。
【００８９】
押し下げられたボタンが右ボタン３８である場合、ステップＳ１４９において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が展開状態である場合、今回の処理を終える。ドアミラー５２が格納状態である場合、ステップＳ１５０において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、右側のパイロットランプ２２ｃを点灯させる。
【００９０】
ステップＳ１５１において、ＥＣＵ２４は、左右のドアミラー５２を展開する。ステップＳ１５２において、ＥＣＵ２４は、左右のドアミラー５２を選択して、右側のパイロットランプ２２ｃを消灯する。
【００９１】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１５３において、ＥＣＵ２４は、後方ライト５４を選択し、右側のパイロットランプ２２ｃを点灯させる。続くステップＳ１５４において、ＥＣＵ２４は、後方ライト５４を点灯させる。ステップＳ１５５において、後方ライト５４を操作対象機器として設定する。
【００９２】
（５−３−５．左方向）
図２１は、運転者１００の注視方向Ｘが左方向（領域Ａ４）である場合に操作対象機器を選択するフローチャートである。ステップＳ１６１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが上ボタン３２、中央ボタン３０、下ボタン３４、右ボタン３８又は左ボタン３６のいずれであるかを判定する。
【００９３】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ１６２において、ＥＣＵ２４は、助手席側ウィンドウ５８を選択し、左側のパイロットランプ２２ｄを点灯させる。続くステップＳ１６３において、ＥＣＵ２４は、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４が押し下げられている場合、助手席側ウィンドウ５８を開き、上ボタン３２が押し下げられている場合、助手席側ウィンドウ５８を閉じる。ステップＳ１６４において、ＥＣＵ２４は、助手席側ウィンドウ５８を操作対象機器として設定する。
【００９４】
押し下げられたボタンが左ボタン３６である場合、ステップＳ１６５において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が展開状態である場合、今回の処理を終える。ドアミラー５２が格納状態である場合、ステップＳ１６６において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、左側のパイロットランプ２２ｄを点灯させる。
【００９５】
ステップＳ１６７において、ＥＣＵ２４は、左右のドアミラー５２を展開する。ステップＳ１６８において、ＥＣＵ２４は、左右のドアミラー５２を選択して、左側のパイロットランプ２２ｄを消灯する。
【００９６】
押し下げられたボタンが右ボタン３８である場合、ステップＳ１６９において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が格納状態である場合、今回の処理を終える。ドアミラー５２が展開状態である場合、ステップＳ１７０において、ＥＣＵ２４は、左右のドアミラー５２を選択し、左側のパイロットランプ２２ｄを点灯させる。
【００９７】
ステップＳ１７１において、ＥＣＵ２４は、左右のドアミラー５２を格納する。ステップＳ１７２において、ＥＣＵ２４は、左右のドアミラー５２を選択して、左側のパイロットランプ２２ｄを消灯する。
【００９８】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１７３において、ＥＣＵ２４は、後方ライト５４を選択し、左側のパイロットランプ２２ｄを点灯させる。続くステップＳ１７４において、ＥＣＵ２４は、後方ライト５４を点灯させる。ステップＳ１７５において、後方ライト５４を操作対象機器として設定する。
【００９９】
［５−４．操作対象機器の操作（図１１のＳ５）］
（５−４−１．概要）
図２２は、ＥＣＵ２４が操作対象機器を操作するフローチャートである。ステップＳ１８１において、ＥＣＵ２４は、図１１のステップＳ４により選択中の操作対象機器を確認する。選択中の操作対象機器がナビゲーション装置４０である場合、ステップＳ１８２において、ＥＣＵ２４は、ナビゲーション装置４０の操作を行う。選択中の操作対象機器がオーディオ装置４２である場合、ステップＳ１８３において、ＥＣＵ２４は、オーディオ装置４２の操作を行う。選択中の操作対象機器がエアコンディショナ４４である場合、ステップＳ１８４において、ＥＣＵ２４は、エアコンディショナ４４の操作を行う。
【０１００】
選択中の操作対象機器がＨＵＤ４６である場合、ステップＳ１８５において、ＥＣＵ２４は、ＨＵＤ４６の操作を行う。選択中の操作対象機器がハザードランプ４８である場合、ステップＳ１８６において、ＥＣＵ２４は、ハザードランプ４８の操作を行う。選択中の操作対象機器がシート５０である場合、ステップＳ１８７において、ＥＣＵ２４は、シート５０の操作を行う。選択中の操作対象機器が後方ライト５４である場合、ステップＳ１８８において、ＥＣＵ２４は、後方ライト５４の操作を行う。選択中の操作対象機器が運転席側ウィンドウ５６である場合、ステップＳ１８９において、ＥＣＵ２４は、運転席側ウィンドウ５６の操作を行う。選択中の操作対象機器が助手席側ウィンドウ５８である場合、ステップＳ１９０において、ＥＣＵ２４は、助手席側ウィンドウ５８の操作を行う。
【０１０１】
（５−４−２．ナビゲーション装置４０の操作）
図２３は、ナビゲーション装置４０の操作を行うフローチャートである。ステップＳ２０１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１０２】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２０２において、ＥＣＵ２４は、ナビゲーション装置４０の表示の縮尺を変更する。すなわち、上ボタン３２が押し下げられている場合、縮尺を拡大し、下ボタン３４が押し下げられている場合、縮尺を縮小する。
【０１０３】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２０３において、ＥＣＵ２４は、ナビゲーション装置４０の表示方向を切り替える。すなわち、左ボタン３６が押し下げられた場合、表示方向を北向きとし、右ボタン３８が押し下げられた場合、表示方向を車両１０の進行方向とする。
【０１０４】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２０４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２０５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１０５】
（５−４−３．オーディオ装置４２の操作）
図２４は、オーディオ装置４２の操作を行うフローチャートである。ステップＳ２１１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１０６】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２１２において、ＥＣＵ２４は、オーディオ装置４２の音量を調整する。すなわち、上ボタン３２が押し下げられている場合、音量を増大させ、下ボタン３４が押し下げられている場合、音量を減少させる。
【０１０７】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２１３において、ＥＣＵ２４は、オーディオ装置４２の選曲又は選局を切り替える。すなわち、左ボタン３６が押し下げられている場合、前の楽曲又は前の放送局に切り替え、右ボタン３８が押し下げられている場合、次の楽曲又は次の放送局に切り替える。
【０１０８】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２１４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２１５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１０９】
（５−４−４．エアコンディショナ４４の操作）
図２５は、エアコンディショナ４４の操作を行うフローチャートである。ステップＳ２２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１１０】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２２２において、ＥＣＵ２４は、エアコンディショナ４４の設定温度を調整する。すなわち、上ボタン３２が押し下げられている場合、設定温度を増加させ、下ボタン３４が押し下げられている場合、設定温度を減少させる。
【０１１１】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２２３において、ＥＣＵ２４は、エアコンディショナ４４の設定風量を調整する。すなわち、左ボタン３６が押し下げられている場合、設定風量を減少させ、右ボタン３８が押し下げられている場合、設定風量を増加させる。
【０１１２】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２２４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２２５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１１３】
（５−４−５．ＨＵＤ４６の操作）
図２６は、ＨＵＤ４６の操作を行うフローチャートである。ステップＳ２３１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
【０１１４】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２３２において、ＥＣＵ２４は、ＨＵＤ４６の表示情報を切り替える。例えば、上ボタン３２が押し下げられている場合、車速１１０→走行距離１１２→燃費１１４→車速１１０→走行距離１１２、、、のように表示情報を切り替える（図７Ｃ参照）。下ボタン３４が押し下げられている場合、車速１１０→燃費１１４→走行距離１１２→車速１１０→燃費１１４、、、のように表示情報を切り替える。
【０１１５】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２３３において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。続くステップＳ２３４において、ＥＣＵ２４は、ＨＵＤ４６をオフにする。ステップＳ２３５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１１６】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１１７】
（５−４−６．ハザードランプ４８の操作）
図２７は、ハザードランプ４８の操作を行うフローチャートである。ステップＳ２４１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０又はその他のボタンのいずれであるかを判定する。
【０１１８】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２４２において、ＥＣＵ２４は、ハザードランプ４８を消灯する。続くステップＳ２４３において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。ステップＳ２４４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１１９】
押し下げられたボタンがその他のボタン（上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１２０】
（５−４−７．シート５０の操作）
図２８は、運転者１００用のシート５０の操作を行うフローチャートである。ステップＳ２５１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１２１】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２５２において、ＥＣＵ２４は、シート５０の前後スライド調整を行う。すなわち、上ボタン３２が押し下げられている場合、シート５０を前進させ、下ボタン３４が押し下げられている場合、シート５０を後退させる。
【０１２２】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２５３において、ＥＣＵ２４は、シート５０のリクライニング角度を調整する。すなわち、左ボタン３６が押し下げられている場合、リクライニング角度を減少させ、右ボタン３８が押し下げられている場合、リクライニング角度を増大させる。
【０１２３】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２５４において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。続くステップＳ２５５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１２４】
（５−４−８．後方ライト５４の操作）
図２９は、後方ライト５４の操作を行うフローチャートである。ステップＳ２６１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０又はその他のボタンのいずれであるかを判定する。
【０１２５】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２６２において、ＥＣＵ２４は、後方ライト５４を消灯させる。続くステップＳ２６３において、ＥＣＵ２４は、点灯中の右側又は左側のパイロットランプ２２ｃ、２２ｄを消灯させる。続くステップＳ２６４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１２６】
押し下げられたボタンがその他のボタン（上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１２７】
（５−４−９．運転席側ウィンドウ５６の操作）
図３０は、運転席側ウィンドウ５６の操作を行うフローチャートである。ステップＳ２７１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のボタンのいずれであるかを判定する。
【０１２８】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２７２において、ＥＣＵ２４は、運転席側ウィンドウ５６を開閉する。すなわち、下ボタン３４が押し下げられている場合、運転席側ウィンドウ５６を開き、上ボタン３２が押し下げられている場合、運転席側ウィンドウ５６を閉じる。
【０１２９】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２７３において、ＥＣＵ２４は、右側のパイロットランプ２２ｃを消灯させる。続くステップＳ２７４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１３０】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１３１】
（５−４−１０．助手席側ウィンドウ５８の操作）
図３１は、助手席側ウィンドウ５８の操作を行うフローチャートである。ステップＳ２８１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のボタンのいずれであるかを判定する。
【０１３２】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２８２において、ＥＣＵ２４は、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４が押し下げられている場合、助手席側ウィンドウ５８を開き、上ボタン３２が押し下げられている場合、助手席側ウィンドウ５８を閉じる。
【０１３３】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２８３において、ＥＣＵ２４は、左側のパイロットランプ２２ｄを消灯させる。続くステップＳ２８４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１３４】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１３５】
６．本実施形態の効果
以上説明したように、本実施形態によれば、鼻孔１２４を用いて運転者１００の顔向きθを検出する。このため、例えば、眼部を検出する従来技術（特許文献１）に加えて本実施形態を用いることで顔向き検出又は視線方向の検出の精度を向上させることが可能となる。また、運転者１００が眼鏡又はサングラスをかけている場合でも顔向きθの検出が可能となる。従って、運転者１００が眼鏡又はサングラスをかけている場合に検出不能となる可能性がある視線方向の検出の場合と比べて適用場面を広げることが可能となる。また、顔向きθを変化させる場合、眉１２０、目１２２、髭１２６及び口１２８と比較して、鼻孔１２４は回転軸Ａから相対的に離れた位置にあるため、顔向きθの変化に伴う移動量が相対的に大きくなる。このため、鼻孔１２４を用いることにより、顔向きθの変化を高精度に検出することが可能となる。
【０１３６】
さらに、本実施形態によれば、顔画像９０から顔端Ｅ１、Ｅ２を検出し、検出した顔端Ｅ１、Ｅ２に基づいて回転軸Ａを算出する。また、顔画像９０から複数の特徴部を抽出し、抽出した複数の特徴部のうち最も移動量が大きいものを鼻孔１２４として抽出する。そして、算出した回転軸Ａと抽出した鼻孔１２４とを用いて顔向きθを検出する。これにより、顔向きθに関する新たな検出方法を提供することができる。加えて、複数の特徴部の検出方法や各特徴部の移動量の演算方法によっては、処理負荷を軽減することが可能となる。
【０１３７】
本実施形態において、ＥＣＵ２４は、特徴部の抽出の際、顔画像９０から所定の大きさを持った複数の黒色領域を前記複数の特徴部として抽出し、抽出した複数の黒色領域のうち最も移動量の多い黒色領域を鼻孔１２４として抽出する。
【０１３８】
顔画像９０において所定の大きさを持った黒色領域（低輝度領域）は、当該所定の大きさによって限定されたものとなる。例えば、人種によっては、眉１２０、目１２２（瞳孔）及び髭１２６等がそのもの自体の色として黒色（又は低輝度）であり、また、鼻孔１２４及び口１２８（口の中）等が陰の発生により黒色（又は低輝度）となる。このように抽出対象となる黒色領域は、限定されたものとすることが可能であると共に、輝度に応じた２値化をした上での処理が可能となる。このため、比較的単純且つ高精度な処理を行うことが可能となる。
【０１３９】
本実施形態において、ＥＣＵ２４は、検出した顔端Ｅ１、Ｅ２の内側を鼻孔候補抽出領域Ｒとし、鼻孔候補抽出領域Ｒ内だけで所定の大きさを持った複数の黒色領域を抽出する。これにより、鼻孔１２４の抽出領域を限定することができるため、演算負荷を低減し、処理速度を向上することが可能となる。
【０１４０】
本実施形態において、ＥＣＵ２４は、乗員カメラ１４が撮像した顔画像９０から顔端Ｅ１、Ｅ２を検出し、検出した顔向きθに基づいて車載機器２０を特定する。運転者１００が操作を意図する車載機器２０のある方向に顔８０を向けて当該車載機器２０を操作対象機器として特定する車両１０では、車載機器２０の操作のために顔８０の回転角度が比較的大きくなる場合が多いといえる。このため、鼻孔１２４の検出精度を上げ易くなるため、本実施形態を適用することにより、顔向きθの検出精度を向上することが可能となる。
【０１４１】
７．変形例
なお、この発明は、上記実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
【０１４２】
［７−１．搭載対象及び搭載用途］
上記実施形態では、操作装置１２を車両１０に搭載したが、これに限らず、別の対象に搭載してもよい。例えば、操作装置１２を船舶や航空機等の移動体に用いることもできる。また、移動体に限らず、対象者の注視方向を特定することを要する装置であれば、その他の装置であってもよい。
【０１４３】
上記実施形態では、操作装置１２における顔向きθの検出を操作対象機器の特定に用いたが、対象者の注視方向を特定することを要する装置であれば、これに限らない。例えば、運転者１００の脇見検知に用いることもできる。
【０１４４】
［７−２．注視方向Ｘの検出］
注視方向Ｘの検出対象としての乗員は、運転者１００に限らず、その他の乗員（助手席に座っている乗員、後部座席に座っている乗員等）であってもよい。
【０１４５】
上記実施形態では、フロントウィンドウ１１周辺を５つの領域Ａ１〜Ａ５に区切ったが（図５）、領域の数は、これに限らない。例えば、図３２のように、フロントウィンドウ１１周辺を３つの領域Ａ１１〜Ａ１３に区切ることもできる。或いは、図３３のように、フロントウィンドウ１１周辺を８つの領域Ａ２１〜Ａ２８に区切ることもできる。
【０１４６】
上記実施形態では、注視方向Ｘの検出を車幅方向（運転者１００にとっての左右方向）の顔向きθの検出として取り扱ったが、シリンダ法を用いることができるもの｛換言すると、顔８０の回転軸Ａを中心とした顔８０の回転角度（すなわち、顔向きθ）を検出するもの｝であれば、これに限らず、上下方向又は斜め方向についても用いることができる。
【０１４７】
上記実施形態では、鼻孔１２４の抽出に際し、特徴点として黒色領域を抽出したが（図１３のＳ１８、図１４Ｅ）、鼻孔１２４の抽出に当たっては、必ずしも黒色領域の抽出を伴う必要はない。例えば、図１３のステップＳ１２（エッジ処理）で抽出した各部のエッジ自体から鼻孔１２４を抽出することも可能である。
【０１４８】
上記実施形態では、顔向きθの算出に上記式（３）を用いたが、顔向きθを算出できるものであれば、これに限らない。例えば、図１５において、顔８０の半径ｒと線分ＬＱを算出すれば、ｓｉｎθ＝ＬＱ／ｒより顔向きθを算出することも可能である。なお、図１５において、画像平面Ｐ上における回転軸Ａの射影Ａｐと中心線Ｌの射影Ｌｐの位置関係がわかれば、運転者１００が左右のいずれを向いているかの判定をすることが可能である。さらに、半径ｒと線分ＬＱ等を算出することにより顔向きθを演算することができる。或いは、半径ｒは予め所定の値を設定しておくことも可能である。
【０１４９】
上記実施形態では、注視方向Ｘの検出のために鼻孔１２４を検出したが、鼻孔１２４の検出に限らず、移動量が大きいものであって顔８０の中心線Ｌを検出可能なもの（例えば、眼鏡、まつげ）を用いることも可能である。
【０１５０】
［７−３．操作対象機器の特定］
上記実施形態では、車両１０の車幅方向の特定を顔向きθに基づいて行い、車両１０の高さ方向の特定を十字キー１８の操作により行ったが、車幅方向の特定を顔向きθに基づいて行うものであれば、これに限らない。例えば、車幅方向の顔向きθに加え、視線方向を合わせて検出して顔向きθを補正し又は顔向きθが検出できない場合（例えば、マスクをして鼻孔１２４が検出できない場合）に利用してもよい。或いは、例えば、車両１０の高さ方向の特定を視線方向に基づいて行うこともできる。或いは、高さ方向に含まれる車載機器２０を１つのみ設定し、車幅方向の特定に伴って車載機器２０を特定するようにすることもできる。
【０１５１】
上記実施形態では、図１１、図１３、図１７〜図２１のフローチャートを用いて操作対象機器を特定したが、車両１０の車幅方向において車載機器群（グループＡ〜Ｄ）を特定すると共に、車両１０の高さ方向において操作対象機器を特定するものであれば、操作対象機器の特定方法は、これに限らない。例えば、図１１のフローチャートでは、ステップＳ２において十字キー１８においていずれかのボタンが押し下げられたか否かを判定しているが、当該判定は省略すること（例えば、図１７のステップＳ１１１と組み合わせること）もできる。また、図１８〜図２１のフローチャートでは、選択した操作対象機器に対応させてパイロットランプ２２を点灯させたが、パイロットランプ２２を点灯させなくてもよい。
【０１５２】
［７−４．操作手段］
上記実施形態では、操作対象機器を特定するために運転者１００（乗員）が操作する手段（操作手段）として、十字キー１８を用いたが、車両機器群（グループＡ〜Ｄ）において上下方向に配置されている車載機器２０を特定又は選択することができるものであれば、これに限らない。例えば、上記実施形態の十字キー１８は、中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６及び右ボタン３８を有していたが、上ボタン３２及び下ボタン３４のみの構成又は中央ボタン３０、上ボタン３２及び下ボタン３４のみの構成であってもよい。或いは、各ボタンが連結されている構成（例えば、特開２０１０−１０５４１７号公報の図４に示されるような十字ボタン）であってもよい。また、上記実施形態の十字キー１８の各ボタンは、いわゆるプッシュ式スイッチの類であったが（図３参照）、スライドスイッチ、レバースイッチ等その他の種類のスイッチであってもよい。
【０１５３】
上記実施形態では、十字キー１８が、車載機器群（グループＡ〜Ｄ）において操作対象機器を特定するための手段と、特定した操作対象機器を操作するための手段との両方を兼ねていたが、特定した操作対象機器を操作するための手段は別に設けることもできる。
【０１５４】
上記実施形態では、十字キー１８をステアリングホイール１６に設けたが、十字キー１８を設ける位置は、これに限らない。例えば、ステアリングコラムやインスツルメントパネルのいずれかの位置に設けることもできる。
【０１５５】
［７−５．車載機器２０及び車載機器群］
上記実施形態では、複数の車載機器２０として、ナビゲーション装置４０、オーディオ装置４２、エアコンディショナ４４、ＨＵＤ４６、ハザードランプ４８、シート５０、ドアミラー５２、後方ライト５４、運転席側ウィンドウ５６及び助手席側ウィンドウ５８を挙げたが、車両１０の乗員が操作可能な複数の車載機器が車幅方向に配置されていれば、これに限らない。このため、各領域Ａ１〜Ａ５に配置される車載機器は１つであってもよい。
【符号の説明】
【０１５６】
１０…車両
１２…車載機器操作装置（顔向き検出装置）
１４…乗員カメラ（撮像手段、撮像部） ２０…車載機器
２４…ＥＣＵ（顔端検出手段、頭部回転軸算出手段、特徴部抽出手段、鼻孔抽出手段、顔向き検出手段、低輝度領域抽出手段、エッジ検出部、回転軸特定部、特徴領域抽出部、変位速度算出部、高速変位領域特定部、中心線特定部、顔向き算出部）
７２…車載機器群特定機能（車載機器特定手段）
８０…顔（頭部） ９０…顔画像（人物画像、頭部画像）
１００…運転者（人物、乗員） １２４…鼻孔
Ａ…顔の回転軸（頭部回転軸） Ａｏ…光軸
Ｅ１、Ｅ２…顔端（左右のエッジ） Ｌ…顔の中心線
Ｒ…鼻孔候補抽出領域 α…第１角度
θ…顔向き
【技術分野】
【０００１】
この発明は、人物（車両の乗員等）の顔向きを検出する顔向き検出装置に関する。
【背景技術】
【０００２】
特許文献１には、化粧等を施した場合でも、顔画像から眼部を精度良く検出する装置を提供するため、顔画像において特定部位のエッジを検出し、当該エッジに基づいて眼の状態を判定する技術が記載されている（要約）。特許文献１では、判定した眼部の状態を、視線方向の計測及び覚醒度の推定に用いることが念頭に置かれている（［０００２］）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４０２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のように、特許文献１では、視線方向の計測や覚醒度の推定のために眼部を精度良く検出することが企図されているが、検出精度や演算負荷の点で未だ改善する余地がある。
【０００５】
この発明はこのような課題を考慮してなされたものであり、検出精度の向上及び演算負荷の低減の少なくとも一方につながる新たな顔向き検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る顔向き検出装置は、人物の画像（以下「人物画像」という。）から前記人物の顔端を検出する顔端検出手段と、前記顔端検出手段により検出された前記顔端に基づいて前記人物の頭部回転軸を算出する頭部回転軸算出手段と、前記人物画像から所定の大きさを持った複数の特徴部を抽出する特徴部抽出手段と、前記特徴部抽出手段により抽出された複数の特徴部の中から前記人物の鼻孔を抽出する鼻孔抽出手段と、前記鼻孔抽出手段により抽出された前記鼻孔と前記頭部回転軸算出手段により算出された前記頭部回転軸に応じて前記人物の左右の顔向きを検出する顔向き検出手段とを備え、前記鼻孔抽出手段は、前記複数の特徴部のうち最も移動量の大きい特徴部を前記鼻孔として抽出することを特徴とする。
【０００７】
この発明によれば、鼻孔を用いて乗員の顔向きを検出する。このため、例えば、眼部を検出する従来技術に加えてこの発明を用いることで顔向き検出又は視線方向の検出の精度を向上させることが可能となる。また、乗員が眼鏡又はサングラスをかけている場合でも顔向きの検出が可能となる。従って、乗員が眼鏡又はサングラスをかけている場合に検出不能となる可能性がある視線方向の検出の場合と比べて適用場面を広げることが可能となる。また、左右の顔向きを変化させる場合、目、眉、口及び髭と比較して、鼻孔は頭部回転軸から相対的に離れた位置にあるため、顔向きの変化に伴う移動量が相対的に大きくなる。このため、鼻孔を用いることにより、左右の顔向きの変化を高精度に検出することが可能となる。
【０００８】
さらに、この発明によれば、人物画像から顔端を検出し、検出した顔端に基づいて頭部回転軸を算出する。また、人物画像から複数の特徴部を抽出し、抽出した複数の特徴部のうち最も移動量が大きいものを鼻孔として抽出する。そして、算出した頭部回転軸と抽出した鼻孔とを用いて左右の顔向きを検出する。これにより、左右の顔向きに関する新たな検出方法を提供することができる。加えて、複数の特徴部の検出方法や各特徴部の移動量の演算方法によっては、処理負荷を軽減することが可能となる。
【０００９】
前記特徴部抽出手段は、所定の大きさを持ち且つ所定輝度より低い複数の低輝度領域を前記複数の特徴部として前記人物画像から抽出する低輝度領域抽出手段を備え、前記鼻孔抽出手段は、前記低輝度領域抽出手段により抽出された前記複数の低輝度領域のうち最も移動量の多い低輝度領域を前記鼻孔として抽出してもよい。
【００１０】
人物画像において所定の大きさを持った低輝度領域は、当該所定の大きさによって限定されたものとなる。例えば、人種によっては、瞳孔、眉及び髭等がそのもの自体の色として低輝度であり、また、鼻孔及び口（口の中）等が陰の発生により低輝度となる。このように抽出対象となる低輝度領域は、限定されたものとすることが可能であると共に、輝度に応じた２値化をした上での処理が可能となる。このため、比較的単純且つ高精度な処理を行うことが可能となる。
【００１１】
前記低輝度領域抽出手段は、前記顔端検出手段により検出された前記顔端の内側を鼻孔候補抽出領域とし、該鼻孔候補抽出領域内だけで所定の大きさを持った複数の低輝度領域を抽出してもよい。これにより、鼻孔の抽出領域を限定することができるため、演算負荷を低減し、処理速度を向上することが可能となる。
【００１２】
前記顔向き検出装置は、さらに、車両に搭載されて前記車両の乗員が操作可能な複数の車載機器と、前記乗員の顔を撮像可能な撮像手段と、前記顔向き検出手段により検出された前記顔向きに基づいて前記複数の車載機器のうちいずれかの車載機器を特定する車載機器特定手段とを備え、前記顔端検出手段は、前記撮像手段が撮像した前記乗員の顔画像を前記人物画像として前記乗員の顔端を検出し、前記車載機器特定手段は、前記顔向き検出手段により検出された前記顔向きに基づいて前記車載機器を特定してもよい。
【００１３】
乗員が操作を意図する車載機器のある方向に顔を向けて当該車載機器を操作対象機器として特定する車両では、車載機器の操作のために頭部の回転角度が比較的大きくなる場合が多いといえる。このため、鼻孔の検出精度を上げ易くなるため、この発明を適用することにより、顔向きの検出精度を向上することが可能となる。
【００１４】
この発明に係る顔向き検出装置は、人物の頭部を撮像する撮像部と、前記頭部の画像（以下「頭部画像」という。）から前記頭部の左右のエッジを検出するエッジ検出部と、前記左右のエッジを用いて前記頭部画像における前記頭部の回転軸の位置を特定する回転軸特定部と、前記頭部画像において所定輝度よりも低い閾値を下回る領域又は前記所定輝度よりも高い閾値を上回る領域である複数の特徴領域を抽出する特徴領域抽出部と、前記複数の特徴領域それぞれについて前記頭部の回転に伴う変位量を演算する変位量算出部と、前記複数の特徴領域のうち前記変位量が最も大きい領域（以下「最大変位領域」という。）を特定する最大変位領域特定部と、前記顔を正面からみたときの前記顔における上下方向の中心線を前記最大変位領域に基づいて特定する中心線特定部と、前記頭部画像における前記回転軸と前記中心線との相対的な位置関係に基づいて前記顔の向きを算出する顔向き算出部とを備えることを特徴とする。
【００１５】
この発明によれば、顔向きの新たな検出方法を提供することができる。また、この発明では、いわゆるパターンマッチングを使用しないため、演算負荷を軽減できる可能性がある。
【発明の効果】
【００１６】
この発明によれば、鼻孔を用いて乗員の顔向きを検出する。このため、例えば、眼部を検出する従来技術に加えてこの発明を用いることで顔向き検出又は視線方向の検出の精度を向上させることが可能となる。また、乗員が眼鏡又はサングラスをかけている場合でも顔向きの検出が可能となる。従って、乗員が眼鏡又はサングラスをかけている場合に検出不能となる可能性がある視線方向の検出の場合と比べて適用場面を広げることが可能となる。また、左右の顔向きを変化させる場合、目、眉、口及び髭と比較して、鼻孔は頭部回転軸から相対的に離れた位置にあるため、顔向きの変化に伴う移動量が相対的に大きくなる。このため、鼻孔を用いることにより、左右の顔向きの変化を高精度に検出することが可能となる。
【００１７】
さらに、この発明によれば、人物画像から顔端を検出し、検出した顔端に基づいて頭部回転軸を算出する。また、人物画像から複数の特徴部を抽出し、抽出した複数の特徴部のうち最も移動量が大きいものを鼻孔として抽出する。そして、算出した頭部回転軸と抽出した鼻孔とを用いて左右の顔向きを検出する。これにより、左右の顔向きに関する新たな検出方法を提供することができる。加えて、複数の特徴部の検出方法や各特徴部の移動量の演算方法によっては、処理負荷を軽減することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施形態に係る顔向き検出装置としての車載機器操作装置を搭載した車両の全体ブロック図である。
【図２】前記車両のフロントウィンドウ周辺の外観図である。
【図３】前記車両のステアリングホイールの外観正面図である。
【図４】前記車両のドアミラーの外観斜視図である。
【図５】前記フロントウィンドウ周辺を５つの領域に区切った状態を示す図である。
【図６Ａ】オーディオ装置の音量を変える場合の運転者の第１動作例を示す図である。
【図６Ｂ】オーディオ装置の音量を変える場合の運転者の第２動作例を示す図である。
【図６Ｃ】オーディオ装置の音量を変える場合の運転者の第３動作例を示す図である。
【図７Ａ】ヘッドアップディスプレイ（ＨＵＤ）を表示し、車速や燃費を確認する場合の運転者の第１動作例を示す図である。
【図７Ｂ】前記ＨＵＤを表示し、車速や燃費を確認する場合の運転者の第２動作例を示す図である。
【図７Ｃ】前記ＨＵＤを表示し、車速や燃費を確認する場合の運転者の第３動作例を示す図である。
【図８Ａ】助手席側ウィンドウを開閉する場合の運転者の第１動作例を示す図である。
【図８Ｂ】助手席側ウィンドウを開閉する場合の運転者の第２動作例を示す図である。
【図８Ｃ】助手席側ウィンドウを開閉する場合の運転者の第３動作例を示す図である。
【図９】各車載機器の選択方法と操作方法の一覧を表示する図である。
【図１０】各機能のボタン割当一覧を表示する図である。
【図１１】各車載機器を選択又は操作するフローチャートである。
【図１２】シリンダ法の概要を説明するための説明図である。
【図１３】電子制御装置（以下「ＥＣＵ」という。）が運転者の注視方向を検知するフローチャートである。
【図１４Ａ】顔画像の取得を行う様子を示す図である。
【図１４Ｂ】特徴点の抽出を行う様子を示す図である。
【図１４Ｃ】顔端の検出、並びに顔（頭部）の回転軸、乗員カメラの光軸と前記回転軸がなす角度及び顔（頭部）の半径の算出を行う様子を示す図である。
【図１４Ｄ】鼻孔候補抽出領域の絞り込みを行う様子を示す図である。
【図１４Ｅ】鼻孔候補の抽出を行う様子を示す図である。
【図１４Ｆ】鼻孔の検出、及び顔を正面からみたときの上下方向の中心線の算出を行う様子を示す図である。
【図１５】顔向きθの算出方法を説明するための平面図である。
【図１６】顔が回転したときにおける目及び鼻孔の移動量及び形状変化を説明するための説明図である。
【図１７】前記ＥＣＵが操作対象機器を選択するフローチャートである。
【図１８】運転者の注視方向が中央方向である場合に操作対象機器を選択するフローチャートである。
【図１９】運転者の注視方向が正面方向である場合に操作対象機器を選択するフローチャートである。
【図２０】運転者の注視方向が右方向である場合に操作対象機器を選択するフローチャートである。
【図２１】運転者の注視方向が左方向である場合に操作対象機器を選択するフローチャートである。
【図２２】前記ＥＣＵが操作対象機器を操作するフローチャートである。
【図２３】ナビゲーション装置の操作を行うフローチャートである。
【図２４】オーディオ装置の操作を行うフローチャートである。
【図２５】エアコンディショナの操作を行うフローチャートである。
【図２６】ＨＵＤの操作を行うフローチャートである。
【図２７】ハザードランプの操作を行うフローチャートである。
【図２８】運転者用のシートの操作を行うフローチャートである。
【図２９】後方ライトの操作を行うフローチャートである。
【図３０】運転席側ウィンドウの操作を行うフローチャートである。
【図３１】助手席側ウィンドウの操作を行うフローチャートである。
【図３２】図５の第１変形例として、フロントウィンドウ周辺を３つの領域に区切った状態を示す図である。
【図３３】図５の第２変形例として、フロントウィンドウ周辺を８つの領域に区切った状態を示す図である。
【発明を実施するための形態】
【００１９】
１．全体的な構成の説明
［１−１．全体構成］
図１は、この発明の一実施形態に係る顔向き検出装置としての車載機器操作装置１２（以下「操作装置１２」ともいう。）を搭載した車両１０の全体ブロック図である。図２は、車両１０のフロントウィンドウ１１周辺の外観図である。図１及び図２に示すように、操作装置１２は、乗員カメラ１４と、ステアリングホイール１６に設けられた十字キー１８と、複数の車載機器２０と、複数のパイロットランプ２２ａ〜２２ｄ（以下「パイロットランプ２２」と総称する。）と、電子制御装置２４（以下「ＥＣＵ２４」という。）とを有する。図２からもわかるように、本実施形態の車両１０は、いわゆる右ハンドル車である。代わりに、左ハンドル車であっても同様の構成を採用することができる。
【００２０】
［１−２．乗員カメラ１４］
図２に示すように、乗員カメラ１４は、図示しないステアリングコラムにおいて運転者の正面に設置され、運転者の顔（頭部）の画像（以下「顔画像」又は「頭部画像」という。）を取得する。乗員カメラ１４の位置は、これに限らず、例えば、インストルメントパネル５９のいずれかの場所に配置してもよい。また、乗員カメラ１４は、単一の方向から撮像するものに限らず、複数の方向から撮像するもの（いわゆるステレオカメラ）であってもよい。さらに、乗員カメラ１４は、カラーカメラ又はモノクロカメラのいずれであってもよい。
【００２１】
［１−３．十字キー１８］
運転者は、十字キー１８を用いて操作対象となる車載機器２０（以下「操作対象機器」という。）の特定及び特定した車載機器２０の操作入力を行うことができる。図３に示すように、十字キー１８は、中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６及び右ボタン３８を有する。なお、図２における十字キー１８は、拡大して表示されている。十字キー１８の操作方法については、後述する。
【００２２】
［１−４．複数の車載機器２０］
本実施形態において、複数の車載機器２０（図１）には、ナビゲーション装置４０と、オーディオ装置４２と、エアコンディショナ４４と、ヘッドアップディスプレイ４６（以下「ＨＵＤ４６」という。）と、ハザードランプ４８と、運転者用のシート５０と、ドアミラー５２と、後方ライト５４と、運転席側ウィンドウ５６と、助手席側ウィンドウ５８とが含まれる。
【００２３】
図４に示すように、後方ライト５４はドアミラー５２下部にある発光ダイオード（ＬＥＤ）で車両１０の側面後方を照らすものである。
【００２４】
［１−５．パイロットランプ２２ａ〜２２ｄ］
本実施形態では、４つのパイロットランプ２２ａ〜２２ｄが設けられている。すなわち、図２に示すように、中央に設けられたパイロットランプ２２ａと、正面に設けられたパイロットランプ２２ｂと、右側に設けられたパイロットランプ２２ｃと、左側に設けられたパイロットランプ２２ｄとが含まれる。パイロットランプ２２ａ〜２２ｄは、後述する複数の車載機器群Ａ〜Ｄ（又は「グループＡ〜Ｄ」ともいう。）のいずれが選択されているかを示す。
【００２５】
［１−６．ＥＣＵ２４］
ＥＣＵ２４は、車載機器操作装置１２（本実施形態では、特に、各車載機器２０）を制御するものであり、図１に示すように、入出力装置６０、演算装置６２及び記憶装置６４を備える。演算装置６２は、注視方向検出機能７０と、車載機器群特定機能７２と、個別車載機器特定機能７４と、車載機器制御機能７６とを備える。
【００２６】
本実施形態では、これらの機能７０、７２、７４、７６を用いることにより、各車載機器２０を簡易に制御することができる。すなわち、運転者は、操作対象とする車載機器２０（以下「操作対象機器」という。）が存在する車幅方向に顔を向けると共に、十字キー１８を操作することにより、操作対象機器を制御することが可能である。なお、後述するように、その他の方法により操作対象機器を特定及び制御することもできる。
【００２７】
注視方向検出機能７０は、運転者（乗員）の顔向きに基づいて、運転者の注視方向を検出する機能である。これに加えて、視線方向（眼球向き）を用いてもよい。車載機器群特定機能７２は、注視方向検出機能７０が検出した注視方向に存在する車載機器群（グループＡ〜Ｄ）を特定する機能である。個別車載機器特定機能７４は、車載機器群特定機能７２に特定された車載機器群に含まれる複数の車載機器２０の中から運転者の操作に応じて操作対象機器を特定する機能である。車載機器制御機能７６は、個別車載機器特定機能７４により特定された操作対象機器を、運転者の操作入力に応じて制御する機能である。
【００２８】
２．本実施形態の制御の概要
上記のように、本実施形態では、運転者は、操作対象機器が存在する車幅方向に顔を向けると共に、十字キー１８を操作することにより、操作対象機器を制御することが可能である。
【００２９】
当該制御を実現するため、本実施形態では、まず乗員カメラ１４が撮像した運転者の顔画像に基づいて顔向きを検出し、これらに基づいて車幅方向における注視方向を判定する。その後、十字キー１８の操作に基づいて高さ方向（上下方向）を特定する。これにより、操作対象機器を特定する。
【００３０】
本実施形態において、車幅方向における注視方向としては、図５に示す５つの方向を設定している。すなわち、フロントウィンドウ１１周辺を５つの領域Ａ１〜Ａ５に区切っている。より具体的には、中央方向の領域Ａ１、正面方向の領域Ａ２、右方向の領域Ａ３、左方向の領域Ａ４及びその他の方向の領域Ａ５である。これらの各方向（グループＡ〜Ｄ）に対し、各車載機器２０が割り当てられている。
【００３１】
中央方向の領域Ａ１には、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４（グループＡ）が割り当てられている。なお、図５等において、「ナビ」は「ナビゲーション装置」を意味し、「オーディオ」は「オーディオ装置」を意味し、「エアコン」は「エアコンディショナ」を意味する。
【００３２】
正面方向の領域Ａ２には、ＨＵＤ４６、ハザードランプ４８及びシート５０（グループＢ）が割り当てられている。なお、図５等において、「ハザード」は「ハザードランプ」を意味する。右方向の領域Ａ３には、ドアミラー５２、後方ライト５４及び運転席側ウィンドウ５６（グループＣ）が割り当てられ、左方向の領域Ａ４には、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８（グループＤ）が割り当てられている。その他の方向の領域Ａ５には何らの車載機器２０も割り当てられていない。なお、本実施形態では、左右のドアミラー５２は同時に展開及び格納させる。また、左右の後方ライト５４は同時に操作する。
【００３３】
ＥＣＵ２４（注視方向検出機能７０）は、乗員カメラ１４からの顔画像に基づき、顔向きを検出し、これらを用いて運転者の注視方向を判定する。そして、ＥＣＵ２４（車載機器群特定機能７２）は、判定した注視方向に基づいて車載機器群（グループＡ〜Ｄ）を特定する。次いで、十字キー１８のうち押し下げられたボタン（ボタン３０、３２、３４、３６、３８のいずれか）に応じて、操作対象機器を特定する。その後、十字キー１８の操作に応じて操作対象機器を操作する。
【００３４】
３．本実施形態における操作対象機器の選択方法と動作例
［３−１．オーディオ装置４２の音量を変える場合］
図６Ａ〜図６Ｃは、オーディオ装置４２の音量を変える場合の運転者１００の第１〜第３動作例を示す。まず、図６Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、オーディオ装置４２のある領域Ａ１（中央方向）に顔を向ける。これにより、ＥＣＵ２４は、後述する注視方向判定技術を用いて車載機器群（グループＡ）を特定する。なお、図６Ａ中の矢印Ｘは、運転者１００の注視方向を示している（その他の図においても同様である。）。なお、ここにいう注視方向Ｘは、基本的に、顔向きに基づくものであり、必要に応じて視線方向（眼球の向き）で補正することもできる（詳細は後述する。）。
【００３５】
図６Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうちオーディオ装置４２に対応するのは中央ボタン３０なので、運転者１００は、中央ボタン３０を押し下げる。これにより、グループＡが選択され、中央のパイロットランプ２２ａが点灯する。
【００３６】
図６Ｃにおいて、運転者１００は、十字キー１８を操作することで、オーディオ装置４２の音量を調整する。すなわち、上ボタン３２を押す度に音量レベルが１増加し、下ボタン３４を押す度に音量レベルが１減少する。この際、運転者１００は、対象領域（グループＡに対応する中央方向の領域Ａ１）や車載機器２０（ここでは、オーディオ装置４２）を見る必要はなく、前方を見ながらでも操作対象機器（オーディオ装置４２）の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。
【００３７】
［３−２．ＨＵＤ４６を表示し、車速や燃費を確認する場合］
図７Ａ〜図７Ｃは、ＨＵＤ４６を表示し、車速や燃費を確認する場合の運転者１００の第１〜第３動作例を示す。まず、図７Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、ＨＵＤ４６のある領域Ａ２（正面方向）に顔を向ける。これにより、ＥＣＵ２４は、注視方向判定技術を用いて車載機器群Ｂ（グループＢ）を特定する。
【００３８】
図７Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ＨＵＤ４６、ハザードランプ４８及びシート５０）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうちＨＵＤ４６に対応するのは上ボタン３２なので、運転者１００は、上ボタン３２を押し下げる。これにより、正面のパイロットランプ２２ｂが点灯する。
【００３９】
図７Ｃにおいて、運転者１００は、十字キー１８を操作することで、ＨＵＤ４６の表示を切り替える。すなわち、上ボタン３２を押す度に、ＨＵＤ４６の表示が、車速１１０→走行距離１１２→燃費１１４→車速１１０の順に切り替わる。反対に、下ボタン３４を押す度に、ＨＵＤ４６の表示が、車速１１０→燃費１１４→走行距離１１２→車速１１０の順に切り替わる。車速１１０、走行距離１１２及び燃費１１４以外の表示（例えば、ガソリン量、バッテリの残容量又は走行可能距離）を行ってもよい。この際、運転者１００は、対象領域（グループＢに対応する正面方向の領域Ａ２）や車載機器２０（ここでは、ＨＵＤ４６）を見る必要はなく、前方を見ながらでもＨＵＤ４６の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。これにより、ＨＵＤ４６が消灯する。
【００４０】
［３−３．助手席側ウィンドウ５８を開閉する場合］
図８Ａ〜図８Ｃは、助手席側ウィンドウ５８を開閉する場合の運転者１００の第１〜第３動作例を示す。まず、図８Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、助手席側ウィンドウ５８のある領域Ａ４（左方向）に顔を向ける。これにより、注視方向判定技術を用いて車載機器群Ｄ（グループＤ）を特定する。
【００４１】
図８Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうち助手席側ウィンドウ５８に対応するのは上ボタン３２及び下ボタン３４なので、運転者１００は、上ボタン３２又は下ボタン３４を押し下げる。これにより、左側のパイロットランプ２２ｄが点灯する。
【００４２】
なお、ドアミラー５２及び後方ライト５４の位置関係は上下に存在するが、助手席側ウィンドウ５８については基準位置をどこに置くかにより、ドアミラー５２及び後方ライト５４との上下関係が逆転する。ここでは、助手席側ウィンドウ５８の図示しない駆動部の位置を基準としたが、別の場所を基準位置とすることもできる。これに伴い、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８と各ボタンの対応関係は変更してもよい。但し、通常、ドアミラー５２の展開及び格納が略水平方向に行われるのに対し、助手席側ウィンドウ５８の開閉が略垂直方向に行われるため、それぞれの可動方向を考慮すると、ドアミラー５２に左ボタン３６及び右ボタン３８を割り当て、助手席側ウィンドウ５８に上ボタン３２及び下ボタン３４を割り当てる方が直感的な操作を行い易い。
【００４３】
図８Ｃにおいて、運転者１００は、十字キー１８を操作することで、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４を押す度に、助手席側ウィンドウ５８が開き、上ボタン３２を押す度に、助手席側ウィンドウ５８が閉じる。この際、運転者１００は、車載機器２０（ここでは、助手席側ウィンドウ５８）を見る必要はなく、前方を見ながらでも操作対象機器（助手席側ウィンドウ５８）の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。
【００４４】
４．車載機器２０の選択方法と動作方法のまとめ
図９は、各車載機器２０の選択方法と操作方法の一覧を表示し、図１０は、各機能のボタン割当一覧を表示する。運転者１００は、図９及び図１０に沿った操作をすることにより、操作対象機器を簡易に操作することができる。
【００４５】
５．具体的なフローチャート
［５−１．全体フロー］
図１１は、各車載機器２０を選択又は操作するフローチャートである。ステップＳ１において、ＥＣＵ２４は、乗員カメラ１４が取得した運転者１００の顔画像に基づいて運転者１００の注視方向Ｘを検知する。ステップＳ２において、ＥＣＵ２４は、十字キー１８のいずれかのボタンが押し下げられたか否かを判定する。いずれのボタンも押し下げられていない場合（Ｓ２：ＮＯ）、今回の処理を終える。いずれかのボタンが押し下げられた場合（Ｓ２：ＹＥＳ）、ステップＳ３において、ＥＣＵ２４は、現在、操作対象機器が選択中であるか否かを判定する。操作対象機器が選択中でない場合（Ｓ３：ＮＯ）、ステップＳ４において、ＥＣＵ２４は、運転者１００による操作に応じて操作対象機器を選択する。操作対象機器が選択中である場合（Ｓ３：ＹＥＳ）、ステップＳ５において、ＥＣＵ２４は、運転者１００による操作に応じて操作対象機器を制御する。
【００４６】
［５−２．運転者１００の注視方向Ｘの検知（図１１のＳ１）］
（５−２−１．概要）
運転者１００の注視方向Ｘの検出は、運転者１００の顔向きを検出することで行う。換言すると、検出した顔向きをそのまま注視方向Ｘとして用いる。後述するように、当該顔向きの検出に加え、運転者１００の視線方向を検知し、顔向きを補正する又は場合によっては、顔向きの代わりに視線方向を注視方向Ｘとして用いることもできる。
【００４７】
本実施形態において、ＥＣＵ２４（注視方向検出機能７０）は、シリンダ法を用いて運転者１００の顔向きθ（図１５参照）を検知する。図１２は、シリンダ法の概要を説明するための説明図である。シリンダ法では、顔８０（頭部）を円柱（シリンダ）形状に見立てて顔向きθを検出する。すなわち、シリンダ法では、乗員カメラ１４から出力された顔画像９０（図１４Ａ）に基づき、顔８０の回転軸Ａと、顔８０の半径ｒと、正面視における顔８０の上下方向の中心線Ｌとを求め、これらに基づいて顔向きθを算出する（詳細は後述する。）。ここでの顔向きθは、広義の意味で用いられており、顔８０の正面側のみならずその他の部分（例えば、後頭部）を含んでもよい。
【００４８】
（５−２−２．処理の全体）
図１３は、ＥＣＵ２４が注視方向Ｘを検知するフローチャート（図１１のＳ１の詳細）である。図１４Ａ〜図１４Ｆは、注視方向Ｘを検知する際の様子を示す図である。図１５は、顔向きθの算出方法を説明するための平面図である。
【００４９】
ステップＳ１１において、ＥＣＵ２４は、乗員カメラ１４から運転者１００の顔画像９０を取得する（図１４Ａ参照）。なお、本実施形態における運転者１００は黄色人種を想定している。このため、運転者１００は、瞳孔、眉及び髭等がそのもの自体の色として例えば黒色である。ステップＳ１２において、ＥＣＵ２４は、エッジ処理を行い、顔画像９０中の特徴点を抽出する（図１４Ｂ参照）。特徴点は、後述する顔端Ｅ１、Ｅ２の候補となるものである。
【００５０】
ステップＳ１３において、ＥＣＵ２４は、顔端Ｅ１、Ｅ２を検出する（図１４Ｃ参照）。顔端Ｅ１は、顔画像９０における顔８０の右側の端部である。換言すると、運転者１００側から見て左側の端部である。顔端Ｅ２は、顔画像９０における顔８０の左側の端部である。換言すると、運転者１００側から見て右側の端部である。本実施形態において、顔端Ｅ１、Ｅ２の検出は、顔画像９０において最も右側の部位を顔端Ｅ１とし、最も左側の部位を顔端Ｅ２とする。なお、図１４Ｃに示すように、本実施形態の顔端Ｅ１、Ｅ２は、顔画像９０において最も左側又は右側の１つのドットではなく、当該最も左側又は右側の１つのドットを含む上下方向の直線として構成される。但し、顔端Ｅ１、Ｅ２を１つのドット又は領域として定義することもできる。
【００５１】
ステップＳ１４において、ＥＣＵ２４は、顔画像９０｛画像平面Ｐ（図１５参照）｝における顔８０の回転軸Ａの位置を算出する（図１４Ｃ参照）。ここにいう回転軸Ａは、図１２に示すように、顔８０をシリンダ形状と仮定することによって設定される軸である。回転軸Ａは、顔画像９０（画像平面Ｐ）において顔端Ｅ１、Ｅ２の中心に位置する直線として定義される。
【００５２】
ステップＳ１５において、ＥＣＵ２４は、乗員カメラ１４の光軸Ａｏと回転軸Ａとがなす角度α（図１５参照）を算出する。図１４Ｃに示すように、角度αは、光軸Ａｏを含む垂直方向の直線と回転軸Ａとの距離により算出可能である。このため、ＥＣＵ２４は、前記直線と回転軸Ａとの距離を算出することで角度αを求める。
【００５３】
ステップＳ１６において、ＥＣＵ２４は、顔８０の半径ｒを算出する（図１４Ｃ参照）。図１２に示すように、顔８０はシリンダ形状であると仮定されるため、顔端Ｅ１、Ｅ２間の距離の半分を半径ｒとして演算することができる。
【００５４】
ステップＳ１７において、ＥＣＵ２４は、鼻孔候補抽出領域Ｒを絞り込む（図１４Ｄ参照）。鼻孔候補抽出領域Ｒは、鼻孔１２４が存在する可能性のある領域であり、顔８０（頭部）のうち髪の毛を除いた部分として定義される。
【００５５】
ステップＳ１８において、ＥＣＵ２４は、鼻孔候補抽出領域Ｒ内について２値化処理を行い、鼻孔１２４の候補となる部位を抽出する（図１４Ｅ参照）。すなわち、顔８０のうち肌に相当する部位の輝度よりも低い値について輝度閾値を設定し、当該輝度閾値を上回る部位については白色とし、当該輝度閾値を下回る部位については黒色とする。なお、鼻孔候補抽出領域Ｒ以外の範囲については、黒色とする。これにより、２値化処理後の顔画像９０では、眉１２０、目１２２（瞳孔）、鼻孔１２４、髭１２６及び口１２８が黒色領域（低輝度領域）となる。これらの黒色領域が鼻孔１２４の候補として抽出される。また、黒色領域を抽出する際は、黒色領域の大きさ（面積）に面積閾値（下限値）を設けておき、当該下限値を下回るものについては、鼻孔１２４の候補とはしないことができる。同様に、黒色領域の大きさ（面積）に別の面積閾値（上限値）を設けておき、当該上限値を上回るものについては、鼻孔１２４の候補とはしないこともできる。
【００５６】
ステップＳ１９において、ＥＣＵ２４は、これらの黒色領域の中から鼻孔１２４を検出する。本実施形態において、鼻孔１２４の検出は、次のように行う。すなわち、ＥＣＵ２４は、一定時間を空けた少なくとも２枚の顔画像９０について各黒色領域を検出する。そして、左右方向における各黒色領域の移動量を測定する（図１４Ｆ参照）。ここでの移動量は、複数の顔画像９０における差として定義可能であるので、実質的に、各黒色領域の移動速度を示すこととなる。ここで、黒色領域の移動量（移動速度）及び形状変化について検討する。
【００５７】
図１６は、顔８０が回転したときにおける目１２２及び鼻孔１２４の移動量及び形状変化を説明するための説明図である。図１６に示すように、顔向きθが変化する場合、目１２２よりも鼻孔１２４の移動量の方が大きくなる。これは、目１２２と比べて、鼻孔１２４の方が顔８０の回転軸Ａから遠いため、顔８０の回転角が同一でも鼻孔１２４の軌跡が描く円弧の方が、目１２２の軌跡が描く円弧よりも長くなるためである。また、目１２２と比べて、鼻孔１２４（鼻）の方が立体的な形状を有している。このため、顔向きθが変化した場合、目１２２よりも鼻孔１２４の方が形状変化が大きくなる（図１６参照）。鼻孔１２４を、眉１２０、髭１２６及び口１２８と比較した場合も同様である（図１４Ｆ参照）。
【００５８】
そこで、本実施形態では、２値化後の顔画像９０において単位時間当たりの移動量が最も大きいものを鼻孔１２４として特定する。なお、上記のように形状変化の相違を踏まえ、形状変化（黒色領域の面積変化）のみをもって又は移動量及び形状変化の両方を用いて鼻孔１２４を特定することもできる。
【００５９】
図１３に戻り、ステップＳ２０において、ＥＣＵ２４は、２値化後の顔画像９０における中心線Ｌの位置を特定する（図１４Ｆ参照）。上記のように、中心線Ｌは、顔８０を正面から見た際の上下方向の中心線である（図１２も参照）。中心線Ｌの特定は、ステップＳ１９で検出した鼻孔１２４の位置を用いて行う。例えば、顔画像９０（画像平面Ｐ）において、２つの鼻孔１２４の中心位置を通る上下方向の線を中心線Ｌとして用いることができる。
【００６０】
ステップＳ２１において、ＥＣＵ２４は距離ｄを算出する。距離ｄは、図１５における中心線Ｌと点Ｓを結ぶ距離である。なお、図１５は平面図であるため、中心線Ｌは、図１５において点として示される。また、点Ｓは、乗員カメラ１４と回転軸Ａを結ぶ線分と、中心線Ｌから画像平面Ｐと平行に引いた半直線との交点である。
【００６１】
距離ｄの算出は、次のように行う。まず、線分ＬＳに対して回転軸Ａから垂直に引いた直線と線分ＬＳとの交点をＱとおく。そして、線分ＬＱと線分ＳＱそれぞれの長さを求めることで線分ＬＳの長さ、すなわち、距離ｄを求める。
【００６２】
線分ＬＱの長さは、画像平面Ｐにおける中心線Ｌの射影Ｌｐと回転軸Ａの射影Ａｐとの距離（ドット数）を測定することにより算出することができる。
【００６３】
線分ＳＱの長さについては、上記のように線分ＬＱの長さがわかると、直角三角形ＡＬＱについて辺ＡＬ、ＬＱ（長さ）がわかることとなり、三平方の定理より辺ＡＱを求めることができる。また、図１５において、乗員カメラ１４と回転軸Ａを結ぶ線分と光軸Ａｏとがなす角αは、角ＱＡＳと等しい。そうすると、ｔａｎα＝ＳＱ／ＡＱとなるから線分ＳＱの長さを求めることができる。
【００６４】
そして、線分ＬＱと線分ＳＱの長さを足すことで距離ｄを算出することができる。なお、後述するように、距離ｄを用いなくても、半径ｒ及び線分ＬＱの長さがわかれば、顔向きθを算出することが可能である。
【００６５】
図１３に戻り、ステップＳ２２において、ＥＣＵ２４は、顔向きθ（図１５参照）を算出する。具体的には、９０°−αをβと定義するとき、次の式（１）及び式（２）から導き出される式（３）を用いて顔向きθを演算する。
【００６６】
【数１】
【００６７】
なお、式（１）は、正弦定理から導かれるものであり、式（２）は、式（１）を変形したものである。
【００６８】
以上のような方法を採ることにより、顔向きθを求めることができる。
【００６９】
［５−３．操作対象機器の選択（図１１のＳ４）］
（５−３−１．概要）
図１７は、ＥＣＵ２４が操作対象機器を選択するフローチャートである。ステップＳ１１１において、ＥＣＵ２４は、図１１のステップＳ１で特定した運転者１００の注視方向Ｘが、中央、正面、右、左又はその他のいずれであるかを確認する。
【００７０】
運転者１００の注視方向Ｘが中央方向（領域Ａ１）である場合、ステップＳ１１２において、ＥＣＵ２４は、中央方向の車載機器群、すなわち、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４からなるグループＡを特定し、グループＡの中から操作対象機器を選択する。
【００７１】
運転者１００の注視方向Ｘが正面方向（領域Ａ２）である場合、ステップＳ１１３において、ＥＣＵ２４は、正面方向の車載機器群、すなわち、ＨＵＤ４６、ハザードランプ４８及びシート５０からなるグループＢを特定し、グループＢの中から操作対象機器を選択する。
【００７２】
運転者１００の注視方向Ｘが右方向（領域Ａ３）である場合、ステップＳ１１４において、ＥＣＵ２４は、右方向の車載機器群、すなわち、ドアミラー５２、後方ライト５４及び運転席側ウィンドウ５６からなるグループＣを特定し、グループＣの中から操作対象機器を選択する。
【００７３】
運転者１００の注視方向Ｘが左方向（領域Ａ４）である場合、ステップＳ１１５において、ＥＣＵ２４は、左方向の車載機器群、すなわち、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８からなるグループＤを特定し、グループＤの中から操作対象機器を選択する。
【００７４】
運転者１００の注視方向Ｘがその他の方向（領域Ａ５）である場合、ＥＣＵ２４は、いずれの車載機器２０も選択せずに今回の処理を終える。
【００７５】
（５−３−２．中央方向）
図１８は、運転者１００の注視方向Ｘが中央方向（領域Ａ１）である場合に操作対象機器を選択するフローチャートである。ステップＳ１２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
【００７６】
押し下げられたボタンが上ボタン３２である場合、ステップＳ１２２において、ＥＣＵ２４は、ナビゲーション装置４０を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２３において、ＥＣＵ２４は、ナビゲーション装置４０を操作対象機器として設定する。
【００７７】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１２４において、ＥＣＵ２４は、オーディオ装置４２を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２５において、ＥＣＵ２４は、オーディオ装置４２を操作対象機器として設定する。
【００７８】
押し下げられたボタンが下ボタン３４である場合、ステップＳ１２６において、ＥＣＵ２４は、エアコンディショナ４４を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２７において、ＥＣＵ２４は、エアコンディショナ４４を操作対象機器として設定する。
【００７９】
押し下げられたボタンが上ボタン３２、中央ボタン３０及び下ボタン３４のいずれでもない場合、ＥＣＵ２４は、今回の処理を終える。
【００８０】
（５−３−３．正面方向）
図１９は、運転者１００の注視方向Ｘが正面方向（領域Ａ２）である場合に操作対象機器を選択するフローチャートである。ステップＳ１３１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２又は下ボタン３４のいずれであるかを判定する。
【００８１】
押し下げられたボタンが上ボタン３２である場合、ステップＳ１３２において、ＥＣＵ２４は、ＨＵＤ４６を選択し、正面のパイロットランプ２２ｂを点灯させる。続くステップＳ１３３において、ＥＣＵ２４は、ＨＵＤ４６をオンにする。これにより、フロントウィンドウ１１にＨＵＤ４６が表示される。ステップＳ１３４において、ＥＣＵ２４は、ＨＵＤ４６を操作対象機器として設定する。
【００８２】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１３５において、ＥＣＵ２４は、ハザードランプ４８を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１３６において、ＥＣＵ２４は、ハザードランプ４８を点滅させる。ステップＳ１３７において、ＥＣＵ２４は、ハザードランプ４８を操作対象機器として設定する。
【００８３】
押し下げられたボタンが下ボタン３４である場合、ステップＳ１３８において、ＥＣＵ２４は、シート５０を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１３９において、ＥＣＵ２４は、シート５０を操作対象機器として設定する。
【００８４】
押し下げられたボタンが上ボタン３２、中央ボタン３０及び下ボタン３４のいずれでもない場合、ＥＣＵ２４は、今回の処理を終える。
【００８５】
（５−３−４．右方向）
図２０は、運転者１００の注視方向Ｘが右方向（領域Ａ３）である場合に操作対象機器を選択するフローチャートである。ステップＳ１４１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【００８６】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ１４２において、ＥＣＵ２４は、運転席側ウィンドウ５６を選択し、右側のパイロットランプ２２ｃを点灯させる。続くステップＳ１４３において、ＥＣＵ２４は、運転席側ウィンドウ５６を開閉する。すなわち、下ボタン３４が押し下げられている場合、運転席側ウィンドウ５６を開き、上ボタン３２が押し下げられている場合、運転席側ウィンドウ５６を閉じる。ステップＳ１４４において、ＥＣＵ２４は、運転席側ウィンドウ５６を操作対象機器として設定する。
【００８７】
押し下げられたボタンが左ボタン３６である場合、ステップＳ１４５において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が格納状態である場合、今回の処理を終える。ドアミラー５２が展開状態である場合、ステップＳ１４６において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、右側のパイロットランプ２２ｃを点灯させる。
【００８８】
ステップＳ１４７において、ＥＣＵ２４は、左右のドアミラー５２を格納する。ステップＳ１４８において、ＥＣＵ２４は、左右のドアミラー５２を選択して、右側のパイロットランプ２２ｃを消灯する。
【００８９】
押し下げられたボタンが右ボタン３８である場合、ステップＳ１４９において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が展開状態である場合、今回の処理を終える。ドアミラー５２が格納状態である場合、ステップＳ１５０において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、右側のパイロットランプ２２ｃを点灯させる。
【００９０】
ステップＳ１５１において、ＥＣＵ２４は、左右のドアミラー５２を展開する。ステップＳ１５２において、ＥＣＵ２４は、左右のドアミラー５２を選択して、右側のパイロットランプ２２ｃを消灯する。
【００９１】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１５３において、ＥＣＵ２４は、後方ライト５４を選択し、右側のパイロットランプ２２ｃを点灯させる。続くステップＳ１５４において、ＥＣＵ２４は、後方ライト５４を点灯させる。ステップＳ１５５において、後方ライト５４を操作対象機器として設定する。
【００９２】
（５−３−５．左方向）
図２１は、運転者１００の注視方向Ｘが左方向（領域Ａ４）である場合に操作対象機器を選択するフローチャートである。ステップＳ１６１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが上ボタン３２、中央ボタン３０、下ボタン３４、右ボタン３８又は左ボタン３６のいずれであるかを判定する。
【００９３】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ１６２において、ＥＣＵ２４は、助手席側ウィンドウ５８を選択し、左側のパイロットランプ２２ｄを点灯させる。続くステップＳ１６３において、ＥＣＵ２４は、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４が押し下げられている場合、助手席側ウィンドウ５８を開き、上ボタン３２が押し下げられている場合、助手席側ウィンドウ５８を閉じる。ステップＳ１６４において、ＥＣＵ２４は、助手席側ウィンドウ５８を操作対象機器として設定する。
【００９４】
押し下げられたボタンが左ボタン３６である場合、ステップＳ１６５において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が展開状態である場合、今回の処理を終える。ドアミラー５２が格納状態である場合、ステップＳ１６６において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、左側のパイロットランプ２２ｄを点灯させる。
【００９５】
ステップＳ１６７において、ＥＣＵ２４は、左右のドアミラー５２を展開する。ステップＳ１６８において、ＥＣＵ２４は、左右のドアミラー５２を選択して、左側のパイロットランプ２２ｄを消灯する。
【００９６】
押し下げられたボタンが右ボタン３８である場合、ステップＳ１６９において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が格納状態である場合、今回の処理を終える。ドアミラー５２が展開状態である場合、ステップＳ１７０において、ＥＣＵ２４は、左右のドアミラー５２を選択し、左側のパイロットランプ２２ｄを点灯させる。
【００９７】
ステップＳ１７１において、ＥＣＵ２４は、左右のドアミラー５２を格納する。ステップＳ１７２において、ＥＣＵ２４は、左右のドアミラー５２を選択して、左側のパイロットランプ２２ｄを消灯する。
【００９８】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１７３において、ＥＣＵ２４は、後方ライト５４を選択し、左側のパイロットランプ２２ｄを点灯させる。続くステップＳ１７４において、ＥＣＵ２４は、後方ライト５４を点灯させる。ステップＳ１７５において、後方ライト５４を操作対象機器として設定する。
【００９９】
［５−４．操作対象機器の操作（図１１のＳ５）］
（５−４−１．概要）
図２２は、ＥＣＵ２４が操作対象機器を操作するフローチャートである。ステップＳ１８１において、ＥＣＵ２４は、図１１のステップＳ４により選択中の操作対象機器を確認する。選択中の操作対象機器がナビゲーション装置４０である場合、ステップＳ１８２において、ＥＣＵ２４は、ナビゲーション装置４０の操作を行う。選択中の操作対象機器がオーディオ装置４２である場合、ステップＳ１８３において、ＥＣＵ２４は、オーディオ装置４２の操作を行う。選択中の操作対象機器がエアコンディショナ４４である場合、ステップＳ１８４において、ＥＣＵ２４は、エアコンディショナ４４の操作を行う。
【０１００】
選択中の操作対象機器がＨＵＤ４６である場合、ステップＳ１８５において、ＥＣＵ２４は、ＨＵＤ４６の操作を行う。選択中の操作対象機器がハザードランプ４８である場合、ステップＳ１８６において、ＥＣＵ２４は、ハザードランプ４８の操作を行う。選択中の操作対象機器がシート５０である場合、ステップＳ１８７において、ＥＣＵ２４は、シート５０の操作を行う。選択中の操作対象機器が後方ライト５４である場合、ステップＳ１８８において、ＥＣＵ２４は、後方ライト５４の操作を行う。選択中の操作対象機器が運転席側ウィンドウ５６である場合、ステップＳ１８９において、ＥＣＵ２４は、運転席側ウィンドウ５６の操作を行う。選択中の操作対象機器が助手席側ウィンドウ５８である場合、ステップＳ１９０において、ＥＣＵ２４は、助手席側ウィンドウ５８の操作を行う。
【０１０１】
（５−４−２．ナビゲーション装置４０の操作）
図２３は、ナビゲーション装置４０の操作を行うフローチャートである。ステップＳ２０１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１０２】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２０２において、ＥＣＵ２４は、ナビゲーション装置４０の表示の縮尺を変更する。すなわち、上ボタン３２が押し下げられている場合、縮尺を拡大し、下ボタン３４が押し下げられている場合、縮尺を縮小する。
【０１０３】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２０３において、ＥＣＵ２４は、ナビゲーション装置４０の表示方向を切り替える。すなわち、左ボタン３６が押し下げられた場合、表示方向を北向きとし、右ボタン３８が押し下げられた場合、表示方向を車両１０の進行方向とする。
【０１０４】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２０４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２０５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１０５】
（５−４−３．オーディオ装置４２の操作）
図２４は、オーディオ装置４２の操作を行うフローチャートである。ステップＳ２１１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１０６】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２１２において、ＥＣＵ２４は、オーディオ装置４２の音量を調整する。すなわち、上ボタン３２が押し下げられている場合、音量を増大させ、下ボタン３４が押し下げられている場合、音量を減少させる。
【０１０７】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２１３において、ＥＣＵ２４は、オーディオ装置４２の選曲又は選局を切り替える。すなわち、左ボタン３６が押し下げられている場合、前の楽曲又は前の放送局に切り替え、右ボタン３８が押し下げられている場合、次の楽曲又は次の放送局に切り替える。
【０１０８】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２１４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２１５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１０９】
（５−４−４．エアコンディショナ４４の操作）
図２５は、エアコンディショナ４４の操作を行うフローチャートである。ステップＳ２２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１１０】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２２２において、ＥＣＵ２４は、エアコンディショナ４４の設定温度を調整する。すなわち、上ボタン３２が押し下げられている場合、設定温度を増加させ、下ボタン３４が押し下げられている場合、設定温度を減少させる。
【０１１１】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２２３において、ＥＣＵ２４は、エアコンディショナ４４の設定風量を調整する。すなわち、左ボタン３６が押し下げられている場合、設定風量を減少させ、右ボタン３８が押し下げられている場合、設定風量を増加させる。
【０１１２】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２２４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２２５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１１３】
（５−４−５．ＨＵＤ４６の操作）
図２６は、ＨＵＤ４６の操作を行うフローチャートである。ステップＳ２３１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
【０１１４】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２３２において、ＥＣＵ２４は、ＨＵＤ４６の表示情報を切り替える。例えば、上ボタン３２が押し下げられている場合、車速１１０→走行距離１１２→燃費１１４→車速１１０→走行距離１１２、、、のように表示情報を切り替える（図７Ｃ参照）。下ボタン３４が押し下げられている場合、車速１１０→燃費１１４→走行距離１１２→車速１１０→燃費１１４、、、のように表示情報を切り替える。
【０１１５】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２３３において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。続くステップＳ２３４において、ＥＣＵ２４は、ＨＵＤ４６をオフにする。ステップＳ２３５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１１６】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１１７】
（５−４−６．ハザードランプ４８の操作）
図２７は、ハザードランプ４８の操作を行うフローチャートである。ステップＳ２４１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０又はその他のボタンのいずれであるかを判定する。
【０１１８】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２４２において、ＥＣＵ２４は、ハザードランプ４８を消灯する。続くステップＳ２４３において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。ステップＳ２４４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１１９】
押し下げられたボタンがその他のボタン（上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１２０】
（５−４−７．シート５０の操作）
図２８は、運転者１００用のシート５０の操作を行うフローチャートである。ステップＳ２５１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１２１】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２５２において、ＥＣＵ２４は、シート５０の前後スライド調整を行う。すなわち、上ボタン３２が押し下げられている場合、シート５０を前進させ、下ボタン３４が押し下げられている場合、シート５０を後退させる。
【０１２２】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２５３において、ＥＣＵ２４は、シート５０のリクライニング角度を調整する。すなわち、左ボタン３６が押し下げられている場合、リクライニング角度を減少させ、右ボタン３８が押し下げられている場合、リクライニング角度を増大させる。
【０１２３】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２５４において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。続くステップＳ２５５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１２４】
（５−４−８．後方ライト５４の操作）
図２９は、後方ライト５４の操作を行うフローチャートである。ステップＳ２６１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０又はその他のボタンのいずれであるかを判定する。
【０１２５】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２６２において、ＥＣＵ２４は、後方ライト５４を消灯させる。続くステップＳ２６３において、ＥＣＵ２４は、点灯中の右側又は左側のパイロットランプ２２ｃ、２２ｄを消灯させる。続くステップＳ２６４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１２６】
押し下げられたボタンがその他のボタン（上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１２７】
（５−４−９．運転席側ウィンドウ５６の操作）
図３０は、運転席側ウィンドウ５６の操作を行うフローチャートである。ステップＳ２７１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のボタンのいずれであるかを判定する。
【０１２８】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２７２において、ＥＣＵ２４は、運転席側ウィンドウ５６を開閉する。すなわち、下ボタン３４が押し下げられている場合、運転席側ウィンドウ５６を開き、上ボタン３２が押し下げられている場合、運転席側ウィンドウ５６を閉じる。
【０１２９】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２７３において、ＥＣＵ２４は、右側のパイロットランプ２２ｃを消灯させる。続くステップＳ２７４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１３０】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１３１】
（５−４−１０．助手席側ウィンドウ５８の操作）
図３１は、助手席側ウィンドウ５８の操作を行うフローチャートである。ステップＳ２８１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のボタンのいずれであるかを判定する。
【０１３２】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２８２において、ＥＣＵ２４は、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４が押し下げられている場合、助手席側ウィンドウ５８を開き、上ボタン３２が押し下げられている場合、助手席側ウィンドウ５８を閉じる。
【０１３３】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２８３において、ＥＣＵ２４は、左側のパイロットランプ２２ｄを消灯させる。続くステップＳ２８４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１３４】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１３５】
６．本実施形態の効果
以上説明したように、本実施形態によれば、鼻孔１２４を用いて運転者１００の顔向きθを検出する。このため、例えば、眼部を検出する従来技術（特許文献１）に加えて本実施形態を用いることで顔向き検出又は視線方向の検出の精度を向上させることが可能となる。また、運転者１００が眼鏡又はサングラスをかけている場合でも顔向きθの検出が可能となる。従って、運転者１００が眼鏡又はサングラスをかけている場合に検出不能となる可能性がある視線方向の検出の場合と比べて適用場面を広げることが可能となる。また、顔向きθを変化させる場合、眉１２０、目１２２、髭１２６及び口１２８と比較して、鼻孔１２４は回転軸Ａから相対的に離れた位置にあるため、顔向きθの変化に伴う移動量が相対的に大きくなる。このため、鼻孔１２４を用いることにより、顔向きθの変化を高精度に検出することが可能となる。
【０１３６】
さらに、本実施形態によれば、顔画像９０から顔端Ｅ１、Ｅ２を検出し、検出した顔端Ｅ１、Ｅ２に基づいて回転軸Ａを算出する。また、顔画像９０から複数の特徴部を抽出し、抽出した複数の特徴部のうち最も移動量が大きいものを鼻孔１２４として抽出する。そして、算出した回転軸Ａと抽出した鼻孔１２４とを用いて顔向きθを検出する。これにより、顔向きθに関する新たな検出方法を提供することができる。加えて、複数の特徴部の検出方法や各特徴部の移動量の演算方法によっては、処理負荷を軽減することが可能となる。
【０１３７】
本実施形態において、ＥＣＵ２４は、特徴部の抽出の際、顔画像９０から所定の大きさを持った複数の黒色領域を前記複数の特徴部として抽出し、抽出した複数の黒色領域のうち最も移動量の多い黒色領域を鼻孔１２４として抽出する。
【０１３８】
顔画像９０において所定の大きさを持った黒色領域（低輝度領域）は、当該所定の大きさによって限定されたものとなる。例えば、人種によっては、眉１２０、目１２２（瞳孔）及び髭１２６等がそのもの自体の色として黒色（又は低輝度）であり、また、鼻孔１２４及び口１２８（口の中）等が陰の発生により黒色（又は低輝度）となる。このように抽出対象となる黒色領域は、限定されたものとすることが可能であると共に、輝度に応じた２値化をした上での処理が可能となる。このため、比較的単純且つ高精度な処理を行うことが可能となる。
【０１３９】
本実施形態において、ＥＣＵ２４は、検出した顔端Ｅ１、Ｅ２の内側を鼻孔候補抽出領域Ｒとし、鼻孔候補抽出領域Ｒ内だけで所定の大きさを持った複数の黒色領域を抽出する。これにより、鼻孔１２４の抽出領域を限定することができるため、演算負荷を低減し、処理速度を向上することが可能となる。
【０１４０】
本実施形態において、ＥＣＵ２４は、乗員カメラ１４が撮像した顔画像９０から顔端Ｅ１、Ｅ２を検出し、検出した顔向きθに基づいて車載機器２０を特定する。運転者１００が操作を意図する車載機器２０のある方向に顔８０を向けて当該車載機器２０を操作対象機器として特定する車両１０では、車載機器２０の操作のために顔８０の回転角度が比較的大きくなる場合が多いといえる。このため、鼻孔１２４の検出精度を上げ易くなるため、本実施形態を適用することにより、顔向きθの検出精度を向上することが可能となる。
【０１４１】
７．変形例
なお、この発明は、上記実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
【０１４２】
［７−１．搭載対象及び搭載用途］
上記実施形態では、操作装置１２を車両１０に搭載したが、これに限らず、別の対象に搭載してもよい。例えば、操作装置１２を船舶や航空機等の移動体に用いることもできる。また、移動体に限らず、対象者の注視方向を特定することを要する装置であれば、その他の装置であってもよい。
【０１４３】
上記実施形態では、操作装置１２における顔向きθの検出を操作対象機器の特定に用いたが、対象者の注視方向を特定することを要する装置であれば、これに限らない。例えば、運転者１００の脇見検知に用いることもできる。
【０１４４】
［７−２．注視方向Ｘの検出］
注視方向Ｘの検出対象としての乗員は、運転者１００に限らず、その他の乗員（助手席に座っている乗員、後部座席に座っている乗員等）であってもよい。
【０１４５】
上記実施形態では、フロントウィンドウ１１周辺を５つの領域Ａ１〜Ａ５に区切ったが（図５）、領域の数は、これに限らない。例えば、図３２のように、フロントウィンドウ１１周辺を３つの領域Ａ１１〜Ａ１３に区切ることもできる。或いは、図３３のように、フロントウィンドウ１１周辺を８つの領域Ａ２１〜Ａ２８に区切ることもできる。
【０１４６】
上記実施形態では、注視方向Ｘの検出を車幅方向（運転者１００にとっての左右方向）の顔向きθの検出として取り扱ったが、シリンダ法を用いることができるもの｛換言すると、顔８０の回転軸Ａを中心とした顔８０の回転角度（すなわち、顔向きθ）を検出するもの｝であれば、これに限らず、上下方向又は斜め方向についても用いることができる。
【０１４７】
上記実施形態では、鼻孔１２４の抽出に際し、特徴点として黒色領域を抽出したが（図１３のＳ１８、図１４Ｅ）、鼻孔１２４の抽出に当たっては、必ずしも黒色領域の抽出を伴う必要はない。例えば、図１３のステップＳ１２（エッジ処理）で抽出した各部のエッジ自体から鼻孔１２４を抽出することも可能である。
【０１４８】
上記実施形態では、顔向きθの算出に上記式（３）を用いたが、顔向きθを算出できるものであれば、これに限らない。例えば、図１５において、顔８０の半径ｒと線分ＬＱを算出すれば、ｓｉｎθ＝ＬＱ／ｒより顔向きθを算出することも可能である。なお、図１５において、画像平面Ｐ上における回転軸Ａの射影Ａｐと中心線Ｌの射影Ｌｐの位置関係がわかれば、運転者１００が左右のいずれを向いているかの判定をすることが可能である。さらに、半径ｒと線分ＬＱ等を算出することにより顔向きθを演算することができる。或いは、半径ｒは予め所定の値を設定しておくことも可能である。
【０１４９】
上記実施形態では、注視方向Ｘの検出のために鼻孔１２４を検出したが、鼻孔１２４の検出に限らず、移動量が大きいものであって顔８０の中心線Ｌを検出可能なもの（例えば、眼鏡、まつげ）を用いることも可能である。
【０１５０】
［７−３．操作対象機器の特定］
上記実施形態では、車両１０の車幅方向の特定を顔向きθに基づいて行い、車両１０の高さ方向の特定を十字キー１８の操作により行ったが、車幅方向の特定を顔向きθに基づいて行うものであれば、これに限らない。例えば、車幅方向の顔向きθに加え、視線方向を合わせて検出して顔向きθを補正し又は顔向きθが検出できない場合（例えば、マスクをして鼻孔１２４が検出できない場合）に利用してもよい。或いは、例えば、車両１０の高さ方向の特定を視線方向に基づいて行うこともできる。或いは、高さ方向に含まれる車載機器２０を１つのみ設定し、車幅方向の特定に伴って車載機器２０を特定するようにすることもできる。
【０１５１】
上記実施形態では、図１１、図１３、図１７〜図２１のフローチャートを用いて操作対象機器を特定したが、車両１０の車幅方向において車載機器群（グループＡ〜Ｄ）を特定すると共に、車両１０の高さ方向において操作対象機器を特定するものであれば、操作対象機器の特定方法は、これに限らない。例えば、図１１のフローチャートでは、ステップＳ２において十字キー１８においていずれかのボタンが押し下げられたか否かを判定しているが、当該判定は省略すること（例えば、図１７のステップＳ１１１と組み合わせること）もできる。また、図１８〜図２１のフローチャートでは、選択した操作対象機器に対応させてパイロットランプ２２を点灯させたが、パイロットランプ２２を点灯させなくてもよい。
【０１５２】
［７−４．操作手段］
上記実施形態では、操作対象機器を特定するために運転者１００（乗員）が操作する手段（操作手段）として、十字キー１８を用いたが、車両機器群（グループＡ〜Ｄ）において上下方向に配置されている車載機器２０を特定又は選択することができるものであれば、これに限らない。例えば、上記実施形態の十字キー１８は、中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６及び右ボタン３８を有していたが、上ボタン３２及び下ボタン３４のみの構成又は中央ボタン３０、上ボタン３２及び下ボタン３４のみの構成であってもよい。或いは、各ボタンが連結されている構成（例えば、特開２０１０−１０５４１７号公報の図４に示されるような十字ボタン）であってもよい。また、上記実施形態の十字キー１８の各ボタンは、いわゆるプッシュ式スイッチの類であったが（図３参照）、スライドスイッチ、レバースイッチ等その他の種類のスイッチであってもよい。
【０１５３】
上記実施形態では、十字キー１８が、車載機器群（グループＡ〜Ｄ）において操作対象機器を特定するための手段と、特定した操作対象機器を操作するための手段との両方を兼ねていたが、特定した操作対象機器を操作するための手段は別に設けることもできる。
【０１５４】
上記実施形態では、十字キー１８をステアリングホイール１６に設けたが、十字キー１８を設ける位置は、これに限らない。例えば、ステアリングコラムやインスツルメントパネルのいずれかの位置に設けることもできる。
【０１５５】
［７−５．車載機器２０及び車載機器群］
上記実施形態では、複数の車載機器２０として、ナビゲーション装置４０、オーディオ装置４２、エアコンディショナ４４、ＨＵＤ４６、ハザードランプ４８、シート５０、ドアミラー５２、後方ライト５４、運転席側ウィンドウ５６及び助手席側ウィンドウ５８を挙げたが、車両１０の乗員が操作可能な複数の車載機器が車幅方向に配置されていれば、これに限らない。このため、各領域Ａ１〜Ａ５に配置される車載機器は１つであってもよい。
【符号の説明】
【０１５６】
１０…車両
１２…車載機器操作装置（顔向き検出装置）
１４…乗員カメラ（撮像手段、撮像部） ２０…車載機器
２４…ＥＣＵ（顔端検出手段、頭部回転軸算出手段、特徴部抽出手段、鼻孔抽出手段、顔向き検出手段、低輝度領域抽出手段、エッジ検出部、回転軸特定部、特徴領域抽出部、変位速度算出部、高速変位領域特定部、中心線特定部、顔向き算出部）
７２…車載機器群特定機能（車載機器特定手段）
８０…顔（頭部） ９０…顔画像（人物画像、頭部画像）
１００…運転者（人物、乗員） １２４…鼻孔
Ａ…顔の回転軸（頭部回転軸） Ａｏ…光軸
Ｅ１、Ｅ２…顔端（左右のエッジ） Ｌ…顔の中心線
Ｒ…鼻孔候補抽出領域 α…第１角度
θ…顔向き
【特許請求の範囲】
【請求項１】
人物の画像（以下「人物画像」という。）から前記人物の顔端を検出する顔端検出手段と、
前記顔端検出手段により検出された前記顔端に基づいて前記人物の頭部回転軸を算出する頭部回転軸算出手段と、
前記人物画像から所定の大きさを持った複数の特徴部を抽出する特徴部抽出手段と、
前記特徴部抽出手段により抽出された複数の特徴部の中から前記人物の鼻孔を抽出する鼻孔抽出手段と、
前記鼻孔抽出手段により抽出された前記鼻孔と前記頭部回転軸算出手段により算出された前記頭部回転軸に応じて前記人物の左右の顔向きを検出する顔向き検出手段と
を備え、
前記鼻孔抽出手段は、前記複数の特徴部のうち最も移動量の大きい特徴部を前記鼻孔として抽出する
ことを特徴とする顔向き検出装置。
【請求項２】
請求項１記載の顔向き検出装置において、
前記特徴部抽出手段は、所定の大きさを持ち且つ所定輝度より低い複数の低輝度領域を前記複数の特徴部として前記人物画像から抽出する低輝度領域抽出手段を備え、
前記鼻孔抽出手段は、前記低輝度領域抽出手段により抽出された前記複数の低輝度領域のうち最も移動量の多い低輝度領域を前記鼻孔として抽出する
ことを特徴とする顔向き検出装置。
【請求項３】
請求項２記載の顔向き検出装置において、
前記低輝度領域抽出手段は、前記顔端検出手段により検出された前記顔端の内側を鼻孔候補抽出領域とし、該鼻孔候補抽出領域内だけで所定の大きさを持った複数の低輝度領域を抽出する
ことを特徴とする顔向き検出装置。
【請求項４】
請求項１〜３のいずれか１項に記載の顔向き検出装置において、
車両に搭載されて前記車両の乗員が操作可能な複数の車載機器と、
前記乗員の顔を撮像可能な撮像手段と、
前記顔向き検出手段により検出された前記顔向きに基づいて前記複数の車載機器のうちいずれかの車載機器を特定する車載機器特定手段と
を備え、
前記顔端検出手段は、前記撮像手段が撮像した前記乗員の顔画像を前記人物画像として前記乗員の顔端を検出し、
前記車載機器特定手段は、前記顔向き検出手段により検出された前記顔向きに基づいて前記車載機器を特定する
ことを特徴とする顔向き検出装置。
【請求項５】
人物の頭部を撮像する撮像部と、
前記頭部の画像（以下「頭部画像」という。）から前記頭部の左右のエッジを検出するエッジ検出部と、
前記左右のエッジを用いて前記頭部画像における前記頭部の回転軸の位置を特定する回転軸特定部と、
前記頭部画像において所定輝度よりも低い閾値を下回る領域又は前記所定輝度よりも高い閾値を上回る領域である複数の特徴領域を抽出する特徴領域抽出部と、
前記複数の特徴領域それぞれについて前記頭部の回転に伴う変位量を演算する変位量算出部と、
前記複数の特徴領域のうち前記変位量が最も大きい領域（以下「最大変位領域」という。）を特定する最大変位領域特定部と、
前記顔を正面からみたときの前記顔における上下方向の中心線を前記最大変位領域に基づいて特定する中心線特定部と、
前記頭部画像における前記回転軸と前記中心線との相対的な位置関係に基づいて前記顔の向きを算出する顔向き算出部と
を備えることを特徴とする顔向き検出装置。
【請求項１】
人物の画像（以下「人物画像」という。）から前記人物の顔端を検出する顔端検出手段と、
前記顔端検出手段により検出された前記顔端に基づいて前記人物の頭部回転軸を算出する頭部回転軸算出手段と、
前記人物画像から所定の大きさを持った複数の特徴部を抽出する特徴部抽出手段と、
前記特徴部抽出手段により抽出された複数の特徴部の中から前記人物の鼻孔を抽出する鼻孔抽出手段と、
前記鼻孔抽出手段により抽出された前記鼻孔と前記頭部回転軸算出手段により算出された前記頭部回転軸に応じて前記人物の左右の顔向きを検出する顔向き検出手段と
を備え、
前記鼻孔抽出手段は、前記複数の特徴部のうち最も移動量の大きい特徴部を前記鼻孔として抽出する
ことを特徴とする顔向き検出装置。
【請求項２】
請求項１記載の顔向き検出装置において、
前記特徴部抽出手段は、所定の大きさを持ち且つ所定輝度より低い複数の低輝度領域を前記複数の特徴部として前記人物画像から抽出する低輝度領域抽出手段を備え、
前記鼻孔抽出手段は、前記低輝度領域抽出手段により抽出された前記複数の低輝度領域のうち最も移動量の多い低輝度領域を前記鼻孔として抽出する
ことを特徴とする顔向き検出装置。
【請求項３】
請求項２記載の顔向き検出装置において、
前記低輝度領域抽出手段は、前記顔端検出手段により検出された前記顔端の内側を鼻孔候補抽出領域とし、該鼻孔候補抽出領域内だけで所定の大きさを持った複数の低輝度領域を抽出する
ことを特徴とする顔向き検出装置。
【請求項４】
請求項１〜３のいずれか１項に記載の顔向き検出装置において、
車両に搭載されて前記車両の乗員が操作可能な複数の車載機器と、
前記乗員の顔を撮像可能な撮像手段と、
前記顔向き検出手段により検出された前記顔向きに基づいて前記複数の車載機器のうちいずれかの車載機器を特定する車載機器特定手段と
を備え、
前記顔端検出手段は、前記撮像手段が撮像した前記乗員の顔画像を前記人物画像として前記乗員の顔端を検出し、
前記車載機器特定手段は、前記顔向き検出手段により検出された前記顔向きに基づいて前記車載機器を特定する
ことを特徴とする顔向き検出装置。
【請求項５】
人物の頭部を撮像する撮像部と、
前記頭部の画像（以下「頭部画像」という。）から前記頭部の左右のエッジを検出するエッジ検出部と、
前記左右のエッジを用いて前記頭部画像における前記頭部の回転軸の位置を特定する回転軸特定部と、
前記頭部画像において所定輝度よりも低い閾値を下回る領域又は前記所定輝度よりも高い閾値を上回る領域である複数の特徴領域を抽出する特徴領域抽出部と、
前記複数の特徴領域それぞれについて前記頭部の回転に伴う変位量を演算する変位量算出部と、
前記複数の特徴領域のうち前記変位量が最も大きい領域（以下「最大変位領域」という。）を特定する最大変位領域特定部と、
前記顔を正面からみたときの前記顔における上下方向の中心線を前記最大変位領域に基づいて特定する中心線特定部と、
前記頭部画像における前記回転軸と前記中心線との相対的な位置関係に基づいて前記顔の向きを算出する顔向き算出部と
を備えることを特徴とする顔向き検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【図１４Ｅ】
【図１４Ｆ】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【図１４Ｅ】
【図１４Ｆ】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１３−６９１８１（Ｐ２０１３−６９１８１Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０８３３６（Ｐ２０１１−２０８３３６）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]