車載機器特定装置
【課題】操作対象の車載機器の誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能な車載機器特定装置を提供する。
【解決手段】車載機器特定装置１２の車載機器特定手段７２は、虹彩１２４又は瞳孔１３０が右側領域Ｅ３に位置していると検出した場合、顔向き検出手段８０により検出された顔向きに基づいて特定されたエリアの右側のエリアに配置された車載機器群を特定し、虹彩１２４又は瞳孔１３０が左側領域Ｅ２に位置していると検出した場合には、顔向き検出手段８０により検出された顔向きに基づいて特定されたエリアの左側のエリアに配置された車載機器群を特定し、虹彩１２４又は瞳孔１３０が中央領域Ｅ１に位置していると検出した場合には、顔向き検出手段８０により検出された顔向きに基づいて特定されたエリアに配置された車載機器群を特定する。
【解決手段】車載機器特定装置１２の車載機器特定手段７２は、虹彩１２４又は瞳孔１３０が右側領域Ｅ３に位置していると検出した場合、顔向き検出手段８０により検出された顔向きに基づいて特定されたエリアの右側のエリアに配置された車載機器群を特定し、虹彩１２４又は瞳孔１３０が左側領域Ｅ２に位置していると検出した場合には、顔向き検出手段８０により検出された顔向きに基づいて特定されたエリアの左側のエリアに配置された車載機器群を特定し、虹彩１２４又は瞳孔１３０が中央領域Ｅ１に位置していると検出した場合には、顔向き検出手段８０により検出された顔向きに基づいて特定されたエリアに配置された車載機器群を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、乗員の注視方向を用いて複数の車載機器を特定可能とする車載機器特定装置に関する。
【背景技術】
【０００２】
特許文献１では、運転者の瞳孔の向き及び大きさを検出して車両の運転者が注視する車載機器２１を制御対象として選択する。そして、ステアリングホイール５０に設けられた操作入力手段２８により操作可能とする（要約）。瞳孔の向きの検出に関し、特許文献１では、例えば、眼球に赤外線を照射すると共に、眼球を撮像して得た画像データから、瞳孔の位置及び角膜反射位置を検出し、その検出結果に基づいて、視線（すなわち、瞳孔の向き）を示す瞳孔向きデータを得る（［００１６］）。また、瞳孔の大きさの検出に関し、特許文献１では、例えば、眼球の画像データから抽出した特徴点に基づいて瞳孔の大きさを求める（［００１６］）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０５４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のように、特許文献１では、運転者の瞳孔の向き及び大きさに基づいて制御対象となる車載機器２１を選択するが、瞳孔は比較的小さいものであるため、誤差が大きくなり易く、選択すべき車載機器２１を誤判定するおそれがある。また、適切な検出精度を確保するために高性能のカメラ及び高度な画像処理を実行するための演算装置を用いると、コストの増加につながってしまう。
【０００５】
この発明はこのような課題を考慮してなされたものであり、操作対象の車載機器の誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能な車載機器特定装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る車載機器特定装置は、車両に搭載される複数の車載機器と、前記車両の乗員を含む画像を撮像可能に前記車両に設けられる撮像手段と、前記撮像手段により撮像された前記画像に基づいて前記車両の車幅方向における前記乗員の顔の向き（以下「顔向き」という。）を検出する顔向き検出手段と、前記撮像手段により撮像された前記画像に基づいて前記車両の車幅方向における前記乗員の眼球の向き（以下「眼球向き」という。）を検出する眼球向き検出手段と、前記顔向き検出手段により検出された前記顔向きに基づき前記複数の車載機器のうちいずれかの車載機器を特定する車載機器特定手段とを備え、前記複数の車載機器は、前記車幅方向にそれぞれ複数配置されていると共に、前記車幅方向において所定エリアごとに区切った複数の車載機器群に区分されており、前記眼球向き検出手段は、前記画像から前記乗員の目尻及び目頭と虹彩又は瞳孔とを認識して前記目尻と前記目頭の間を右側領域、左側領域及び中央領域に分割し、前記虹彩又は前記瞳孔が前記右側領域、前記左側領域及び前記中央領域のいずれに位置しているかを検出し、前記車載機器特定手段は、前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記右側領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定された前記エリアの右側のエリアに配置された前記車載機器群を特定し、前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記左側領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定された前記エリアの左側のエリアに配置された前記車載機器群を特定し、前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記中央領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定することを特徴とする。
【０００７】
この発明によれば、乗員の顔向き及び眼球向きに基づいて車幅方向の車載機器又は車載機器群を特定する。従って、操作対象の検出精度を向上し、誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能となる。
【０００８】
例えば、顔向きのみから操作対象を特定する構成と比べた場合、眼球向きを用いる分、検出精度を上げることが可能となる。また、虹彩又は瞳孔の向きのみから操作対象を特定する構成と比べた場合、虹彩又は瞳孔よりも大きな顔の画像を用いる分、向きの特定が容易となるため、検出精度の向上又は演算処理の低減を図ることが可能となる。さらに、眼球向きの検出は、顔向きの検出と合わせて用いるため、眼球向きの検出のみを用いる場合と比べて検出精度を低くすることが可能となる。この点からも演算処理の低減を図ることが可能となる。
【０００９】
前記車載機器特定手段は、前記虹彩又は前記瞳孔が前記右側領域に位置しており前記顔が正面よりも左に向いている場合、及び前記虹彩又は前記瞳孔が前記左側領域に位置しており前記顔が正面よりも右に向いている場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定してもよい。顔向きと眼球向きが逆の場合には乗員は特定の車載機器を注視しようとしているのではないと考えられる。このため、操作対象となる車載機器の特定が不要な場面で当該特定をすることに伴う誤作動を防止することが可能となる。
【００１０】
前記車載機器特定手段は、前記撮像手段により前記眼球が検出されない場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定してもよい。眼球が検出されていない場合でも顔向きだけで操作対象の車載機器を特定できるため、車載機器特定装置を使用できない状態を減らすことが可能となる。
【００１１】
前記顔向き検出手段は、前記顔向きが第１所定時間同一方向を向いている場合に検出を行い、前記眼球向き検出手段は、前記虹彩又は前記瞳孔が第２所定時間同一領域に位置している場合に検出を行い、前記第１所定時間は、前記第２所定時間よりも短くしてもよい。一般に、顔向きを変化させるよりも眼球向きを変化させる方が容易であると共に、運転中は、他の車両、歩行者及び信号の状態等、様々な情報を取得する必要があり、眼球向きが比較的激しくなる可能性がある。この発明では、顔向きの検出（特定）時間よりも眼球向きの検出（特定）時間を長くする。このため、操作対象を特定する意図がない眼球の短時間の動きにより車載機器の特定が誤って行われることを防止し易くなる。
【００１２】
或いは、前記第１所定時間は、前記第２所定時間よりも長くしてもよい。眼球向きの検出（特定）時間を短くすることにより、操作対象の車載機器を特定する際、比較的短い時間、眼球向きを変化させればよいこととなる。これにより、操作対象の特定以外に用いることのできる眼球の動きの自由度を向上することが可能となる。
【００１３】
この発明に係る車載機器特定装置は、車両において車幅方向に配置された複数の車載機器と、前記車両に設けられ前記車両の乗員を含む画像を撮像する撮像部と、前記画像に基づいて車幅方向における前記乗員の顔の向き（以下「顔向き」という。）を検出する顔向き検出部と、前記画像に基づいて前記車幅方向における前記乗員の顔に対する前記乗員の眼球の向き（以下「眼球向き」という。）を検出する眼球向き検出部と、前記顔向き及び前記眼球向きに基づき前記複数の車載機器から操作対象を特定する車載機器特定部とを備え、前記車載機器特定部は、前記眼球向きが前記乗員の顔の正面に向かって右側の第１位置よりも右寄りである場合には、前記顔向きの方向に位置する前記車載機器よりもさらに右側の１つ又は複数の前記車載機器から前記操作対象を特定し、前記眼球向きが前記乗員の顔の正面に向かって左側の第２位置よりも左寄りである場合には、前記顔向きの方向に位置する前記車載機器よりもさらに左側の１つ又は複数の前記車載機器から前記操作対象を特定し、前記眼球向きが前記乗員の顔の正面に向かって前記第１位置と前記第２位置の間にある場合には、前記顔向きの方向に位置する１つ又は複数の前記車載機器から前記操作対象を特定することを特徴とする。
【００１４】
この発明によれば、乗員の顔向き及び眼球向きに基づいて車幅方向の車載機器又は車載機器群を特定する。従って、操作対象の検出精度を向上し、誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能となる。
【００１５】
例えば、顔向きのみから操作対象を特定する構成と比べた場合、眼球向きを用いる分、検出精度を上げることが可能となる。また、瞳孔の向きのみから操作対象を特定する構成と比べた場合、瞳孔よりも大きな顔の画像を用いる分、向きの特定が容易となるため、検出精度の向上又は演算処理の低減を図ることが可能となる。さらに、眼球向きの検出は、顔向きの検出と合わせて用いるため、眼球向き（瞳孔位置）の検出のみを用いる場合と比べて検出精度を低くすることが可能となる。この点からも演算処理の低減を図ることが可能となる。
【００１６】
前記車載機器特定部は、前記眼球向きが前記乗員の顔に向かって前記第１位置よりも右寄りであり且つ前記顔が正面よりも左に向いている場合、又は前記眼球向きが前記乗員の顔に向かって前記第２位置よりも左寄りであり且つ前記顔が正面よりも右に向いている場合には、前記顔向きの方向に位置する１つ又は複数の前記車載機器から前記操作対象を特定してもよい。顔向きと眼球向きが逆の場合には乗員は特定の車載機器を注視しようとしているのではないと考えられる。このため、操作対象となる車載機器の特定が不要な場面で当該特定をすることに伴う誤作動を防止することが可能となる。
【発明の効果】
【００１７】
この発明によれば、乗員の顔向き及び眼球向きに基づいて車幅方向の車載機器又は車載機器群を特定する。従って、操作対象の検出精度を向上し、誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能となる。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施形態に係る車載機器特定装置としての車載機器操作装置を搭載した車両の全体ブロック図である。
【図２】前記車両のフロントウィンドウ周辺の外観図である。
【図３】前記車両のステアリングホイールの外観正面図である。
【図４】前記車両の後方ライトの外観斜視図である。
【図５】前記フロントウィンドウ周辺を５つの領域に区切った状態を示す図である。
【図６Ａ】オーディオ装置の音量を変える場合の運転者の第１動作例を示す図である。
【図６Ｂ】オーディオ装置の音量を変える場合の運転者の第２動作例を示す図である。
【図６Ｃ】オーディオ装置の音量を変える場合の運転者の第３動作例を示す図である。
【図７Ａ】ヘッドアップディスプレイ（ＨＵＤ）を表示し、車速や燃費を確認する場合の運転者の第１動作例を示す図である。
【図７Ｂ】前記ＨＵＤを表示し、車速や燃費を確認する場合の運転者の第２動作例を示す図である。
【図７Ｃ】前記ＨＵＤを表示し、車速や燃費を確認する場合の運転者の第３動作例を示す図である。
【図８Ａ】助手席側ウィンドウを開閉する場合の運転者の第１動作例を示す図である。
【図８Ｂ】助手席側ウィンドウを開閉する場合の運転者の第２動作例を示す図である。
【図８Ｃ】助手席側ウィンドウを開閉する場合の運転者の第３動作例を示す図である。
【図９】各車載機器の選択方法と操作方法の一覧を表示する図である。
【図１０】各機能のボタン割当一覧を表示する図である。
【図１１】各車載機器を選択又は操作するフローチャートである。
【図１２】電子制御装置（以下「ＥＣＵ」という。）が注視方向を検知するフローチャートである。
【図１３Ａ】顔向きと注視方向の間にずれが生じない場合を説明する側面図である。
【図１３Ｂ】顔向きと注視方向の間にずれが生じない場合を説明する平面図である。
【図１４Ａ】顔向きと注視方向の間にずれが生じる場合を説明する側面図である。
【図１４Ｂ】顔向きと注視方向の間にずれが生じる場合を説明する平面図である。
【図１５Ａ】虹彩が右寄りとなっている状態を示す図である。
【図１５Ｂ】虹彩が中央に位置している状態を示す図である。
【図１５Ｃ】虹彩が左寄りとなっている状態を示す図である。
【図１６】眼球の向きを検出するフローチャートである。
【図１７Ａ】虹彩又は瞳孔の中心又は重心とエリアの比較及び虹彩又は瞳孔の面積とエリアの比較により判定する場合の第１説明図である。
【図１７Ｂ】虹彩又は瞳孔の中心又は重心とエリアの比較及び虹彩又は瞳孔の面積とエリアの比較により判定する場合の第２説明図である。
【図１８Ａ】虹彩又は瞳孔の中心又は重心とエリアの比較及び虹彩又は瞳孔の面積とエリアの比較により判定する場合の第３説明図である。
【図１８Ｂ】虹彩又は瞳孔の中心又は重心とエリアの比較及び虹彩又は瞳孔の面積とエリアの比較により判定する場合の第４説明図である。
【図１９Ａ】虹彩又は瞳孔の縦エッジ（左エッジ及び右エッジ）とエリアの比較により判定する場合の第１説明図である。
【図１９Ｂ】虹彩又は瞳孔の縦エッジ（左エッジ及び右エッジ）とエリアの比較により判定する場合の第２説明図である。
【図２０Ａ】虹彩又は瞳孔の縦エッジ（左エッジ及び右エッジ）とエリアの比較により判定する場合の第３説明図である。
【図２０Ｂ】虹彩又は瞳孔の縦エッジ（左エッジ及び右エッジ）とエリアの比較により判定する場合の第４説明図である。
【図２１】顔向き及び眼球の向きの組合せと注視方向との関係を示す図である。
【図２２Ａ】図２１の関係を説明するための第１具体例を示す図である。
【図２２Ｂ】図２１の関係を説明するための第２具体例を示す図である。
【図２２Ｃ】図２１の関係を説明するための第３具体例を示す図である。
【図２３】前記ＥＣＵが操作対象機器を選択するフローチャートである。
【図２４】運転者の注視方向が中央方向である場合に操作対象機器を選択するフローチャートである。
【図２５】運転者の注視方向が正面方向である場合に操作対象機器を選択するフローチャートである。
【図２６】運転者の注視方向が右方向である場合に操作対象機器を選択するフローチャートである。
【図２７】運転者の注視方向が左方向である場合に操作対象機器を選択するフローチャートである。
【図２８】前記ＥＣＵが操作対象機器を操作するフローチャートである。
【図２９】ナビゲーション装置の操作を行うフローチャートである。
【図３０】オーディオ装置の操作を行うフローチャートである。
【図３１】エアコンディショナの操作を行うフローチャートである。
【図３２】ＨＵＤの操作を行うフローチャートである。
【図３３】ハザードランプの操作を行うフローチャートである。
【図３４】運転者用のシートの操作を行うフローチャートである。
【図３５】後方ライトの操作を行うフローチャートである。
【図３６】運転席側ウィンドウの操作を行うフローチャートである。
【図３７】助手席側ウィンドウの操作を行うフローチャートである。
【図３８】図５の第１変形例として、フロントウィンドウ周辺を３つの領域に区切った状態を示す図である。
【図３９】図５の第２変形例として、フロントウィンドウ周辺を８つの領域に区切った状態を示す図である。
【発明を実施するための形態】
【００１９】
１．全体的な構成の説明
［１−１．全体構成］
図１は、この発明の一実施形態に係る車載機器特定装置としての車載機器操作装置１２（以下「操作装置１２」ともいう。）を搭載した車両１０の全体ブロック図である。図２は、車両１０のフロントウィンドウ１１周辺の外観図である。図１及び図２に示すように、操作装置１２は、乗員カメラ１４と、ステアリングホイール１６に設けられた十字キー１８と、複数の車載機器２０と、複数のパイロットランプ２２ａ〜２２ｄ（以下「パイロットランプ２２」と総称する。）と、電子制御装置２４（以下「ＥＣＵ２４」という。）とを有する。図２からもわかるように、本実施形態の車両１０は、いわゆる右ハンドル車である。代わりに、左ハンドル車であっても同様の構成を採用することができる。
【００２０】
［１−２．乗員カメラ１４］
図２に示すように、乗員カメラ１４は、図示しないステアリングコラムにおいて運転者の正面に設置され、運転者の顔の画像（以下「顔画像」という。）を取得する。乗員カメラ１４の位置は、これに限らず、例えば、バックミラー２６の周辺に配置してもよい。また、乗員カメラ１４は、単一の方向から撮像するものに限らず、複数の方向から撮像するもの（いわゆるステレオカメラ）であってもよい。
【００２１】
［１−３．十字キー１８］
運転者は、十字キー１８を用いて操作対象となる車載機器２０（以下「操作対象機器」という。）の特定及び特定した車載機器２０の操作入力を行うことができる。図３に示すように、十字キー１８は、中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６及び右ボタン３８を有する。なお、図２における十字キー１８は、拡大して表示されている。十字キー１８の操作方法については、後述する。
【００２２】
［１−４．複数の車載機器２０］
本実施形態において、複数の車載機器２０（図１）には、ナビゲーション装置４０と、オーディオ装置４２と、エアコンディショナ４４と、ヘッドアップディスプレイ４６（以下「ＨＵＤ４６」という。）と、ハザードランプ４８と、運転者用のシート５０と、ドアミラー５２と、後方ライト５４と、運転席側ウィンドウ５６と、助手席側ウィンドウ５８とが含まれる。
【００２３】
図４に示すように、後方ライト５４はドアミラー５２下部にある発光ダイオード（ＬＥＤ）で車両１０の側面後方を照らすものである。
【００２４】
［１−５．パイロットランプ２２ａ〜２２ｄ］
本実施形態では、４つのパイロットランプ２２ａ〜２２ｄが設けられている。すなわち、中央に設けられたパイロットランプ２２ａと、正面に設けられたパイロットランプ２２ｂと、右側に設けられたパイロットランプ２２ｃと、左側に設けられたパイロットランプ２２ｄとが含まれる。パイロットランプ２２ａ〜２２ｄは、後述する複数の車載機器群Ａ〜Ｄ（又は「グループＡ〜Ｄ」ともいう。）のいずれが選択されているかを示す。
【００２５】
［１−６．ＥＣＵ２４］
ＥＣＵ２４は、車載機器操作装置１２（本実施形態では、特に、各車載機器２０）を制御するものであり、図１に示すように、入出力装置６０、演算装置６２及び記憶装置６４を備える。演算装置６２は、注視方向検出機能７０と、車載機器群特定機能７２と、個別車載機器特定機能７４と、車載機器制御機能７６とを備える。
【００２６】
本実施形態では、これらの機能７０、７２、７４、７６を用いることにより、各車載機器２０を簡易に制御することができる。すなわち、運転者は、操作対象とする車載機器２０（以下「操作対象機器」という。）が存在する車幅方向に視線又は顔を向けると共に、十字キー１８を操作することにより、操作対象機器を制御することが可能である。なお、後述するように、その他の方法により操作対象機器を特定及び制御することもできる。
【００２７】
注視方向検出機能７０は、運転者（乗員）の顔向き及び視線方向（眼球向き）に基づいて、運転者の注視方向を検出する機能である。注視方向検出機能７０は、運転者の顔向きを検出する顔向き検出機能８０（顔向き検出手段又は顔向き検出部）と、運転者の視線方向（眼球向き）を検出する眼球向き検出機能８２（眼球向き検出手段又は眼球位置検出部）とを備える。
【００２８】
車載機器群特定機能７２は、運転者の顔向き及び視線方向（眼球向き又は相対位置）に基づいて運転者の注視方向を検出し、当該注視方向に存在する車載機器群（グループＡ〜Ｄ）を特定する機能である。個別車載機器特定機能７４は、車載機器群特定機能７２に特定された車載機器群に含まれる複数の車載機器２０の中から運転者の操作に応じて操作対象機器を特定する機能である。車載機器制御機能７６は、個別車載機器特定機能７４により特定された操作対象機器を、運転者の操作入力に応じて制御する機能である。
【００２９】
２．本実施形態の制御の概要
上記のように、本実施形態では、運転者は、操作対象機器が存在する車幅方向に視線又は顔を向けると共に、十字キー１８を操作することにより、操作対象機器を制御することが可能である。
【００３０】
当該制御を実現するため、本実施形態では、まず乗員カメラ１４が撮像した運転者の顔画像に基づいて顔向き及び眼球向き（眼球の相対位置）を検出し、これらに基づいて車幅方向における注視方向を判定する。その後、十字キー１８の操作に基づいて高さ方向（上下方向）を特定する。これにより、操作対象機器を特定する。
【００３１】
本実施形態において、車幅方向における注視方向としては、図５に示す５つの方向を設定している。すなわち、フロントウィンドウ１１周辺を５つの領域Ａ１〜Ａ５に区切っている。より具体的には、中央方向の領域Ａ１、正面方向の領域Ａ２、右方向の領域Ａ３、左方向の領域Ａ４及びその他の方向の領域Ａ５である。これらの各方向（グループＡ〜Ｄ）に対し、各車載機器２０が割り当てられている。
【００３２】
中央方向の領域Ａ１には、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４（グループＡ）が割り当てられている。なお、図５等において、「ナビ」は「ナビゲーション装置」を意味し、「オーディオ」は「オーディオ装置」を意味し、「エアコン」は「エアコンディショナ」を意味する。
【００３３】
正面方向の領域Ａ２には、ＨＵＤ４６、ハザードランプ４８及びシート５０（グループＢ）が割り当てられている。なお、図５等において、「ハザード」は「ハザードランプ」を意味する。右方向の領域Ａ３には、ドアミラー５２、後方ライト５４及び運転席側ウィンドウ５６（グループＣ）が割り当てられ、左方向の領域Ａ４には、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８（グループＤ）が割り当てられている。その他の方向の領域Ａ５には何らの車載機器２０も割り当てられていない。なお、本実施形態では、左右のドアミラー５２は同時に展開及び格納させる。また、左右の後方ライト５４は同時に操作する。
【００３４】
ＥＣＵ２４（注視方向検出機能７０）は、乗員カメラ１４からの顔画像に基づき、顔向き及び眼球向き（眼球の相対位置）を検出し、これらを用いて運転者の注視方向を判定する。そして、ＥＣＵ２４（車載機器群特定機能７２）は、判定した注視方向に基づいて車載機器群（グループＡ〜Ｄ）を特定する。次いで、十字キー１８のうち押し下げられたボタン（ボタン３０、３２、３４、３６、３８のいずれか）に応じて、操作対象機器を特定する。その後、十字キー１８の操作に応じて操作対象機器を操作する。
【００３５】
３．本実施形態における操作対象機器の選択方法と動作例
［３−１．オーディオ装置４２の音量を変える場合］
図６Ａ〜図６Ｃは、オーディオ装置４２の音量を変える場合の運転者１００の第１〜第３動作例を示す。まず、図６Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、オーディオ装置４２のある領域Ａ１（中央方向）を見る又は顔を向ける。これにより、ＥＣＵ２４は、後述する注視方向判定技術を用いて車載機器群Ａ（グループＡ）を特定する。なお、図６Ａ中の矢印Ｘは、運転者１００の注視方向を示している（その他の図においても同様である。）。なお、ここにいう注視方向Ｘは、基本的に、顔向きを眼球向きで補正したものである（詳細は後述する。）。
【００３６】
図６Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうちオーディオ装置４２に対応するのは中央ボタン３０なので、運転者１００は、中央ボタン３０を押し下げる。これにより、グループＡが選択され、中央のパイロットランプ２２ａが点灯する。
【００３７】
図６Ｃにおいて、運転者１００は、十字キー１８を操作することで、オーディオ装置４２の音量を調整する。すなわち、上ボタン３２を押す度に音量レベルが１増加し、下ボタン３４を押す度に音量レベルが１減少する。この際、運転者１００は、対象領域（グループＡに対応する中央方向の領域Ａ１）や車載機器２０（ここでは、オーディオ装置４２）を見る必要はなく、前方を見ながらでも操作対象機器（オーディオ装置４２）の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。
【００３８】
［３−２．ＨＵＤ４６を表示し、車速や燃費を確認する場合］
図７Ａ〜図７Ｃは、ＨＵＤ４６を表示し、車速や燃費を確認する場合の運転者１００の第１〜第３動作例を示す。まず、図７Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、ＨＵＤ４６のある領域Ａ２（正面方向）を見る又は顔を向ける。これにより、ＥＣＵ２４は、注視方向判定技術を用いて車載機器群Ｂ（グループＢ）を特定する。
【００３９】
図７Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ＨＵＤ４６、ハザードランプ４８及びシート５０）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうちＨＵＤ４６に対応するのは上ボタン３２なので、運転者１００は、上ボタン３２を押し下げる。これにより、正面のパイロットランプ２２ｂが点灯する。
【００４０】
図７Ｃにおいて、運転者１００は、十字キー１８を操作することで、ＨＵＤ４６の表示を切り替える。すなわち、上ボタン３２を押す度に、ＨＵＤ４６の表示が、車速１１０→走行距離１１２→燃費１１４→車速１１０の順に切り替わる。反対に、下ボタン３４を押す度に、ＨＵＤ４６の表示が、車速１１０→燃費１１４→走行距離１１２→車速１１０の順に切り替わる。車速１１０、走行距離１１２及び燃費１１４以外の表示（例えば、ガソリン量、バッテリの残容量又は走行可能距離）を行ってもよい。この際、運転者１００は、対象領域（グループＢに対応する正面方向の領域Ａ２）や車載機器２０（ここでは、ＨＵＤ４６）を見る必要はなく、前方を見ながらでも操作対象機器（ＨＵＤ４６）の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。これにより、ＨＵＤ４６が消灯する。
【００４１】
［３−３．助手席側ウィンドウ５８を開閉する場合］
図８Ａ〜図８Ｃは、助手席側ウィンドウ５８を開閉する場合の運転者１００の第１〜第３動作例を示す。まず、図８Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、助手席側ウィンドウ５８のある領域Ａ４（左方向）を見る又は顔を向ける。これにより、注視方向判定技術を用いて車載機器群Ｄ（グループＤ）を特定する。
【００４２】
図８Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうち助手席側ウィンドウ５８に対応するのは上ボタン３２及び下ボタン３４なので、運転者１００は、上ボタン３２又は下ボタン３４を押し下げる。これにより、左側のパイロットランプ２２ｄが点灯する。
【００４３】
なお、ドアミラー５２及び後方ライト５４の位置関係は上下に存在するが、助手席側ウィンドウ５８については基準位置をどこに置くかにより、ドアミラー５２及び後方ライト５４との上下関係が逆転する。ここでは、助手席側ウィンドウ５８の図示しない駆動部の位置を基準としたが、別の場所を基準位置とすることもできる。これに伴い、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８と各ボタンの対応関係は変更してもよい。但し、通常、ドアミラー５２の展開及び格納が略水平方向に行われるのに対し、助手席側ウィンドウ５８の開閉が略垂直方向に行われるため、それぞれの可動方向を考慮すると、ドアミラー５２に左ボタン３６及び右ボタン３８を割り当て、助手席側ウィンドウ５８に上ボタン３２及び下ボタン３４を割り当てる方が直感的な操作を行い易い。
【００４４】
図８Ｃにおいて、運転者１００は、十字キー１８を操作することで、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４を押す度に、助手席側ウィンドウ５８が開き、上ボタン３２を押す度に、助手席側ウィンドウ５８が閉じる。この際、運転者１００は、車載機器２０（ここでは、助手席側ウィンドウ５８）を見る必要はなく、前方を見ながらでも操作対象機器（助手席側ウィンドウ５８）の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。
【００４５】
４．車載機器２０の選択方法と動作方法のまとめ
図９は、各車載機器２０の選択方法と操作方法の一覧を表示し、図１０は、各機能のボタン割当一覧を表示する。運転者１００は、図９及び図１０に沿った操作をすることにより、操作対象機器を簡易に操作することができる。
【００４６】
５．具体的なフローチャート
［５−１．全体フロー］
図１１は、各車載機器２０を選択又は操作するフローチャートである。ステップＳ１において、ＥＣＵ２４は、乗員カメラ１４が取得した運転者１００の顔画像に基づいて運転者１００の注視方向を検知する。ステップＳ２において、ＥＣＵ２４は、十字キー１８のいずれかのボタンが押し下げられたか否かを判定する。いずれのボタンも押し下げられていない場合（Ｓ２：ＮＯ）、今回の処理を終える。いずれかのボタンが押し下げられた場合（Ｓ２：ＹＥＳ）、ステップＳ３において、ＥＣＵ２４は、現在、操作対象機器が選択中であるか否かを判定する。操作対象機器が選択中でない場合（Ｓ３：ＮＯ）、ステップＳ４において、ＥＣＵ２４は、運転者１００による操作に応じて操作対象機器を選択する。操作対象機器が選択中である場合（Ｓ３：ＹＥＳ）、ステップＳ５において、ＥＣＵ２４は、運転者１００による操作に応じて操作対象機器を制御する。
【００４７】
［５−２．運転者１００の注視方向の検知（図１１のＳ１）］
（５−２−１．概要）
図１２は、ＥＣＵ２４が注視方向を検知するフローチャート（図１１のＳ１の詳細）である。ステップＳ１１において、ＥＣＵ２４は、乗員カメラ１４から運転者１００の顔画像を取得する。ステップＳ１２において、ＥＣＵ２４（顔向き検出機能８０）は、顔画像から運転者１００の顔向きを検出する。
【００４８】
運転者の顔向きの検知は、例えば、次のような方法により行うことができる。すなわち、ＥＣＵ２４（顔向き検出機能８０）は、乗員カメラ１４から出力された顔画像に基づき、顔中心位置と、左右の顔端位置を検出する。そして、これらの検出結果に基づき、例えば、人の顔をシリンダ形状に近似して顔向きを算出する（シリンダ法）。なお、ここでの顔向きは、広義の意味で用いられており、頭の正面側のみならずその他の部分（例えば、後頭部）を含んでもよい。
【００４９】
また、顔向きを判定する際は、同一の検出結果が所定時間｛第１時間Ｔ１（例えば、０．１〜１．０秒間のいずれかの値）｝続いた場合に顔向きを検出又は確定することができる。
【００５０】
ステップＳ１３において、ＥＣＵ２４（眼球向き検出機能８２）は、顔画像から運転者１００の眼球向き（眼球の相対位置）を検出する。これにより、運転者１００の顔に対する眼球向き（眼球が顔の正面、左側又は右側のいずれを向いているのか）を検出する。換言すると、開いた状態の目の輪郭に対する虹彩又は瞳孔の一部又は全部の相対位置を検出する。眼球向きを判定する際は、同一の検出結果が所定時間｛第２時間Ｔ２（例えば、０．８〜２．０秒間のいずれかの値）｝続いた場合に眼球向きを検出又は確定することができる。本実施形態において、第２時間Ｔ２は、第１時間Ｔ１よりも所定程度（例えば、２〜１０倍の範囲におけるいずれかの値の分）長く設定される。なお、眼球向きの検出は、片目又は両目のいずれで行ってもよい。両目を用いる場合、例えば、両目の平均値を用いることができる。眼球向きの検出の詳細については、後述する。
【００５１】
ステップＳ１４において、ＥＣＵ２４は、ステップＳ１２において顔向きを検出できたか否かを判定する。顔向きを検出できた場合（Ｓ１４：ＹＥＳ）、ステップＳ１６に進む。顔向きを検出できなかった場合（Ｓ１４：ＮＯ）、ステップＳ１５において、ＥＣＵ２４は、注視方向を判定できなかったとして、操作対象機器の選択及び操作を行わずに今回の処理を終える。なお、顔向きが検出できない場合としては、例えば、暗がりのため乗員カメラ１４の受光量が不足している場合、周囲が明る過ぎるため乗員カメラ１４の受光量が飽和している場合を挙げることができる。
【００５２】
ステップＳ１６において、ＥＣＵ２４は、ステップＳ１３において眼球向きを検出できたか否かを判定する。眼球向きを検出できた場合（Ｓ１６：ＹＥＳ）、ステップＳ１８に進む。眼球向きを検出できなかった場合（Ｓ１６：ＮＯ）、ステップＳ１７において、ＥＣＵ２４は、顔向きをそのまま注視方向として出力する。なお、眼球向きが検出できない場合としては、例えば、暗がりのため乗員カメラ１４の受光量が不足している場合、周囲が明る過ぎるため乗員カメラ１４の受光量が飽和している場合、眼鏡（サングラスを含む。）により眼球１２０の位置検出が困難な場合を挙げることができる。
【００５３】
ステップＳ１８において、ＥＣＵ２４は、顔向き及び眼球向きに基づいて注視方向を判定する。換言すると、顔向きに対応する注視方向を眼球向きに応じて補正する（注視方向補正処理）。そして、判定した注視方向をその後の処理のために出力する。当該判定の詳細については後述する。
【００５４】
（５−２−２．注視方向補正処理の意味合い）
図１３Ａ及び図１３Ｂは、顔向きＹと注視方向Ｘの間にずれが生じない場合を説明する側面図及び平面図であり、図１４Ａ及び図１４Ｂは、顔向きＹと注視方向Ｘの間にずれが生じる場合を説明する図である。図１３Ａ及び図１３Ｂに示すように、運転者１００の目１２０（虹彩又は瞳孔）が運転者１００の顔１２２の向きと同一方向を向いている場合、顔向きＹと注視方向Ｘは一致する。一方、図１４Ａ及び図１４Ｂに示すように、運転者１００の目１２０（以下「眼球１２０」ともいう。）が運転者１００の顔１２２の向きと異なる方向を向いている場合、顔向きＹと注視方向Ｘは一致しない。このような場合、顔向きＹのみを用いて操作対象機器を選択すると、運転者１００の意図と異なる操作対象機器を選択してしまう。
【００５５】
そこで、本実施形態の注視方向補正処理では、顔向きＹを眼球１２０の向き（眼球１２０の相対位置）により補正した注視方向Ｘを用いる。
【００５６】
（５−２−３．眼球１２０の向きの検出）
図１５Ａは、虹彩１２４が右寄りとなっている状態を示す図であり、図１５Ｂは、虹彩１２４が中央に位置している状態を示す図であり、図１５Ｃは、虹彩１２４が左寄りとなっている状態を示す図である。図１５Ａ〜図１５Ｃは、運転者１００の顔１２２の正面から目１２０を見ている（換言すると、乗員カメラ１４の撮像方向で見ている）のに対し、図１５Ａ〜図１５Ｃ中の文字「左」及び「右」が意味する左右は、運転者１００から見ての左右である。このため、図１５Ａ〜図１５Ｃ中の左右は、これらの図を見たときの左右と反対となっていることに留意されたい。なお、乗員カメラ１４の撮像方法で表記しても実質的な内容に変化はない。
【００５７】
図１５Ａ〜図１５Ｃに示すように、本実施形態では、目１２０の輪郭を３つのエリア（中央エリアＥ１、左側エリアＥ２及び右側エリアＥ３）に分割する。そして、虹彩１２４がいずれのエリアに入っているかを判定して眼球１２０の向きを判定する。以下では、各エリアＥ１〜Ｅ３をまとめて注視判定エリアＥ又はエリアＥともいう。
【００５８】
図１６は、眼球１２０の向きを検出するフローチャート（図１２のＳ１３の詳細）である。ステップＳ２１において、ＥＣＵ２４は、注視判定エリアＥを特定する。注視判定エリアＥの特定に際し、ＥＣＵ２４は、目１２０の目尻１２６｛目１２０の最も外側（右目であれば最も右側）｝及び目頭１２８｛目１２０の最も内側（右目であれば最も左側）｝を顔画像から判定する。そして、目尻１２６と目頭１２８の間を３等分して各注視判定エリアＥとする。
【００５９】
なお、ここで検出する眼球向きは、車幅方向のみに関するものである。このため、少なくとも車幅方向の向き又は位置を判定することができれば、いずれのエリアＥ１〜Ｅ３に属するかを判定することも可能である。例えば、中央エリアＥ１と左側エリアＥ２の境界を示す車幅方向の位置（座標）を第１位置Ｐ１とし、中央エリアＥ１と右側エリアＥ３の境界を示す車幅方向の位置（座標）を第２位置Ｐ２とすることができる。
【００６０】
なお、本実施形態では、目尻１２６及び目頭１２８の特定を眼球１２０の向きの検出に際して行うが、これに限らず、顔向きＹの検出に際して目尻１２６及び目頭１２８の特定を行ってもよい。
【００６１】
ステップＳ２２において、ＥＣＵ２４は、虹彩１２４又は瞳孔１３０（図１７Ａ等）が属するエリアＥを判定する。当該判定は、例えば、虹彩１２４又は瞳孔１３０の中心又は重心とエリアＥの比較、虹彩１２４又は瞳孔１３０の面積とエリアＥの比較、虹彩１２４又は瞳孔１３０のエッジとエリアＥの比較によることができる。
【００６２】
図１７Ａ、図１７Ｂ、図１８Ａ及び図１８Ｂは、虹彩１２４若しくは瞳孔１３０の中心若しくは重心とエリアＥの比較又は虹彩１２４若しくは瞳孔１３０の面積とエリアＥの比較により判定する場合の第１〜第４説明図である。図１７Ａ、図１７Ｂ、図１８Ａ及び図１８Ｂはいずれも左目に関するものである。図１７Ａ及び図１７Ｂは、瞳孔１３０が小さい場合であり、図１８Ａ及び図１８Ｂは、瞳孔１３０が大きい場合である。また、図１７Ａ、図１７Ｂ及び図１８Ａでは、縦方向における虹彩１２４又は瞳孔１３０の位置は略中央であるが、図１８Ｂでは、縦方向における虹彩１２４又は瞳孔１３０の位置は下側に位置している。
【００６３】
図１７Ａ及び図１８Ａでは、虹彩１２４／瞳孔１３０の中心／重心が左側エリアＥ２内にあり、虹彩１２４／瞳孔１３０の面積が最も大きいエリアが左側エリアＥ２である。従って、眼球１２０の向きは「左寄り」ということになる。図１７Ｂ及び図１８Ｂでは、虹彩１２４／瞳孔１３０の中心／重心が中央エリアＥ１内にあり、虹彩１２４／瞳孔１３０の面積が最も大きいエリアが中央エリアＥ１である。従って、眼球１２０の向きは「中央」ということになる。
【００６４】
なお、上記のアルゴリズム以外も採用可能であり、例えば、虹彩１２４と強膜１３２（白色部）の面積の比率（虹彩１２４の面積／強膜１３２の面積）の大きさで判定してもよい。
【００６５】
図１９Ａ、図１９Ｂ、図２０Ａ及び図２０Ｂは、虹彩１２４の縦エッジ（左エッジ１３４及び右エッジ１３６）とエリアＥの比較により判定する場合の第１〜第４説明図である。図１９Ａ、図１９Ｂ、図２０Ａ及び図２０Ｂはいずれも左目に関するものである。図１９Ａ及び図１９Ｂは、瞳孔１３０が小さい場合であり、図２０Ａ及び図２０Ｂは、瞳孔１３０が大きい場合である。また、図１９Ａ、図１９Ｂ及び図２０Ａでは、縦方向における虹彩１２４又は瞳孔１３０の位置は略中央であるが、図２０Ｂでは、縦方向における虹彩１２４又は瞳孔１３０の位置は下側に位置している。虹彩１２４の縦エッジ（左エッジ１３４及び右エッジ１３６）は、画像処理により検出される。虹彩１２４の縦エッジの代わりに、瞳孔１３０の縦エッジを用いることもできる。
【００６６】
図１９Ａでは、左エッジ１３４及び右エッジ１３６の中央を結ぶ中心が左側エリアＥ２内にある。従って、眼球１２０の向きは「左寄り」ということになる。図１９Ｂ及び図２０Ｂは、左エッジ１３４及び右エッジ１３６の中央を結ぶ中心が中央エリアＥ１内にある。従って、眼球１２０の向きは「中央」ということになる。図２０Ａでは、左エッジ１３４及び右エッジ１３６の中央を結ぶ中心が右側エリアＥ３内にある。従って、眼球１２０の向きは「右寄り」ということになる。
【００６７】
なお、上記のアルゴリズム以外も採用可能であり、例えば、各エリアＥに対する左エッジ１３４及び右エッジ１３６の位置により属するエリアＥを判定してもよい。例えば、左エッジ１３４が左側エリアＥ２の真ん中よりも左側にある場合、左側エリアＥ２に属し、右エッジ１３６が右側エリアＥ３の真ん中よりも右側にある場合、右側エリアＥ３に属すると判定してもよい。或いは、左エッジ１３４と右エッジ１３６の長さの比率又は差で属するエリアＥを判定することもできる。例えば、当該比率又は差が第１閾値を越えれば、左側エリアＥ２に属し、当該比率又は差が第２閾値を越えれば、右側エリアＥ３に属すると判定してもよい。
【００６８】
（５−２−４．注視方向Ｘの判定）
図２１は、顔向きＹ及び眼球１２０の向きの組合せと注視方向Ｘとの関係を示す図である。図２２Ａ〜図２２Ｃは、図２１の関係を説明するための第１〜第３具体例を示す図である。
【００６９】
顔向きＹ及び眼球１２０の向きの組合せと注視方向Ｘとの関係に関する基本的考え方は、次の通りである。すなわち、眼球１２０の向きが正面である場合、顔向きＹをそのまま注視方向Ｘとする。眼球１２０の向きが左寄り（左方向）である場合、顔向きＹを左方向に補正したものを注視方向Ｘとする。眼球１２０の向きが右寄り（右方向）である場合、顔向きＹを右方向に補正したものを注視方向Ｘとする。但し、顔１２２の向きと眼球１２０の向きが反対である場合、顔１２２の向きをそのまま用いる。
【００７０】
本実施形態の場合、より具体的には、次のようにする。まず、顔向きＹに対応する領域Ａ１〜Ａ５（図５）を特定する。また、眼球１２０の向きが正面である場合、顔向きＹに対応する領域Ａ１〜Ａ５をそのまま用いる。眼球１２０の向きが左寄りである場合、顔向きＹに対応する領域Ａ１〜Ａ５の１つ左側の領域を特定する。眼球１２０の向きが右寄りである場合、顔向きＹに対応する領域Ａ１〜Ａ５の１つ右側の領域を特定する。
【００７１】
但し、顔向きＹと眼球１２０の向きが反対の場合は、顔向きＹに対応する領域Ａ１〜Ａ５をそのまま用いる。顔１２２が左を向いている（すなわち、顔向きＹが領域Ａ１、Ａ４、Ａ５のいずれかに対応する）一方、眼球１２０の向きが右寄りである場合、顔向きＹに対応する領域Ａ１、Ａ４、Ａ５をそのまま用いる。同様に、顔１２２が右を向いている（すなわち、顔向きＹが右方向の領域Ａ３に対応する）一方、眼球１２０の向きが左寄りである場合、顔向きＹに対応する領域Ａ３をそのまま用いる。
【００７２】
例えば、図２１及び図２２Ａに示すように、顔向きＹに対応する領域が中央方向の領域Ａ１であり且つ眼球１２０の向きが中央である場合、顔向きＹに対応する領域Ａ１をそのまま注視方向Ｘとして用いる。
【００７３】
図２１及び図２２Ｂに示すように、顔向きＹに対応する領域が中央方向の領域Ａ１であり且つ眼球１２０の向きが左寄りである場合、顔向きＹに対応する領域Ａ１の１つ左側の領域（その他の方向の領域Ａ５）を注視方向Ｘとして用いる。
【００７４】
図２１及び図２２Ｃに示すように、顔向きＹに対応する領域が中央方向の領域Ａ１であり且つ眼球１２０の向きが右寄りである場合、顔向きＹに対応する領域Ａ１をそのまま注視方向Ｘとして用いる。中央方向の領域Ａ１は、正面方向の領域Ａ２よりも左側であり、顔１２２は、左側を向いているのに対し、眼球１２０の向きがこれと反対の右寄り（右方向）であるためである。
【００７５】
なお、上記では、眼球１２０の向きが左寄り又は右寄りである場合、領域Ａ１〜Ａ５を１つ左側又は右側にずらしたが、これに限らない。例えば、眼球１２０の向きを４段階以上に分ける場合、眼球１２０の向きに応じて領域Ａ１〜Ａ５（場合によっては、より多い又は少ない領域）を２段階以上左側又は右側にずらしてもよい。また、領域Ａ１〜Ａ５をずらすことに代えて、次のような方法を採ることもできる。すなわち、眼球１２０の向きに応じて顔向きＹ（角度）の補正量αを算出する。そして、検出した顔向きＹに補正量αを加えた合計角度が領域Ａ１〜Ａ５のいずれに該当する。
【００７６】
［５−３．操作対象機器の選択（図１１のＳ４）］
（５−３−１．概要）
図２３は、ＥＣＵ２４が操作対象機器を選択するフローチャートである。ステップＳ１１１において、ＥＣＵ２４は、図１１のステップＳ１で特定した運転者１００の注視方向（顔向きを眼球向きで補正したもの）が、中央、正面、右、左又はその他のいずれであるかを確認する。
【００７７】
運転者１００の注視方向が中央方向（領域Ａ１）である場合、ステップＳ１１２において、ＥＣＵ２４は、中央方向の車載機器群、すなわち、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４からなるグループＡを特定し、グループＡの中から操作対象機器を選択する。
【００７８】
運転者１００の注視方向が正面方向（領域Ａ２）である場合、ステップＳ１１３において、ＥＣＵ２４は、正面方向の車載機器群、すなわち、ＨＵＤ４６、ハザードランプ４８及びシート５０からなるグループＢを特定し、グループＢの中から操作対象機器を選択する。
【００７９】
運転者１００の注視方向が右方向（領域Ａ３）である場合、ステップＳ１１４において、ＥＣＵ２４は、右方向の車載機器群、すなわち、ドアミラー５２、後方ライト５４及び運転席側ウィンドウ５６からなるグループＣを特定し、グループＣの中から操作対象機器を選択する。
【００８０】
運転者１００の注視方向が左方向（領域Ａ４）である場合、ステップＳ１１５において、ＥＣＵ２４は、左方向の車載機器群、すなわち、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８からなるグループＤを特定し、グループＤの中から操作対象機器を選択する。
【００８１】
運転者１００の注視方向がその他の方向（領域Ａ５）である場合、ＥＣＵ２４は、いずれの車載機器２０も選択せずに今回の処理を終える。
【００８２】
（５−３−２．中央方向）
図２４は、運転者１００の注視方向が中央方向（領域Ａ１）である場合に操作対象機器を選択するフローチャートである。ステップＳ１２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
【００８３】
押し下げられたボタンが上ボタン３２である場合、ステップＳ１２２において、ＥＣＵ２４は、ナビゲーション装置４０を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２３において、ＥＣＵ２４は、ナビゲーション装置４０を操作対象機器として設定する。
【００８４】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１２４において、ＥＣＵ２４は、オーディオ装置４２を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２５において、ＥＣＵ２４は、オーディオ装置４２を操作対象機器として設定する。
【００８５】
押し下げられたボタンが下ボタン３４である場合、ステップＳ１２６において、ＥＣＵ２４は、エアコンディショナ４４を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２７において、ＥＣＵ２４は、エアコンディショナ４４を操作対象機器として設定する。
【００８６】
押し下げられたボタンが上ボタン３２、中央ボタン３０及び下ボタン３４のいずれでもない場合、ＥＣＵ２４は、今回の処理を終える。
【００８７】
（５−３−３．正面方向）
図２５は、運転者１００の注視方向が正面方向（領域Ａ２）である場合に操作対象機器を選択するフローチャートである。ステップＳ１３１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２又は下ボタン３４のいずれであるかを判定する。
【００８８】
押し下げられたボタンが上ボタン３２である場合、ステップＳ１３２において、ＥＣＵ２４は、ＨＵＤ４６を選択し、正面のパイロットランプ２２ｂを点灯させる。続くステップＳ１３３において、ＥＣＵ２４は、ＨＵＤ４６をオンにする。これにより、フロントウィンドウ１１にＨＵＤ４６が表示される。ステップＳ１３４において、ＥＣＵ２４は、ＨＵＤ４６を操作対象機器として設定する。
【００８９】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１３５において、ＥＣＵ２４は、ハザードランプ４８を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１３６において、ＥＣＵ２４は、ハザードランプ４８を点滅させる。ステップＳ１３７において、ＥＣＵ２４は、ハザードランプ４８を操作対象機器として設定する。
【００９０】
押し下げられたボタンが下ボタン３４である場合、ステップＳ１３８において、ＥＣＵ２４は、シート５０を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１３９において、ＥＣＵ２４は、シート５０を操作対象機器として設定する。
【００９１】
押し下げられたボタンが上ボタン３２、中央ボタン３０及び下ボタン３４のいずれでもない場合、ＥＣＵ２４は、今回の処理を終える。
【００９２】
（５−３−４．右方向）
図２６は、運転者１００の注視方向が右方向（領域Ａ３）である場合に操作対象機器を選択するフローチャートである。ステップＳ１４１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【００９３】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ１４２において、ＥＣＵ２４は、運転席側ウィンドウ５６を選択し、右側のパイロットランプ２２ｃを点灯させる。続くステップＳ１４３において、ＥＣＵ２４は、運転席側ウィンドウ５６を開閉する。すなわち、下ボタン３４が押し下げられている場合、運転席側ウィンドウ５６を開き、上ボタン３２が押し下げられている場合、運転席側ウィンドウ５６を閉じる。ステップＳ１４４において、ＥＣＵ２４は、運転席側ウィンドウ５６を操作対象機器として設定する。
【００９４】
押し下げられたボタンが左ボタン３６である場合、ステップＳ１４５において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が格納状態である場合、今回の処理を終える。ドアミラー５２が展開状態である場合、ステップＳ１４６において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、右側のパイロットランプ２２ｃを点灯させる。
【００９５】
ステップＳ１４７において、ＥＣＵ２４は、左右のドアミラー５２を格納する。ステップＳ１４８において、ＥＣＵ２４は、左右のドアミラー５２を選択して、右側のパイロットランプ２２ｃを消灯する。
【００９６】
押し下げられたボタンが右ボタン３８である場合、ステップＳ１４９において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が展開状態である場合、今回の処理を終える。ドアミラー５２が格納状態である場合、ステップＳ１５０において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、右側のパイロットランプ２２ｃを点灯させる。
【００９７】
ステップＳ１５１において、ＥＣＵ２４は、左右のドアミラー５２を展開する。ステップＳ１５２において、ＥＣＵ２４は、左右のドアミラー５２を選択して、右側のパイロットランプ２２ｃを消灯する。
【００９８】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１５３において、ＥＣＵ２４は、後方ライト５４を選択し、右側のパイロットランプ２２ｃを点灯させる。続くステップＳ１５４において、ＥＣＵ２４は、後方ライト５４を点灯させる。ステップＳ１５５において、後方ライト５４を操作対象機器として設定する。
【００９９】
（５−３−５．左方向）
図２７は、運転者１００の注視方向が左方向（領域Ａ４）である場合に操作対象機器を選択するフローチャートである。ステップＳ１６１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが上ボタン３２、中央ボタン３０、下ボタン３４、右ボタン３８又は左ボタン３６のいずれであるかを判定する。
【０１００】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ１６２において、ＥＣＵ２４は、助手席側ウィンドウ５８を選択し、左側のパイロットランプ２２ｄを点灯させる。続くステップＳ１６３において、ＥＣＵ２４は、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４が押し下げられている場合、助手席側ウィンドウ５８を開き、上ボタン３２が押し下げられている場合、助手席側ウィンドウ５８を閉じる。ステップＳ１６４において、ＥＣＵ２４は、助手席側ウィンドウ５８を操作対象機器として設定する。
【０１０１】
押し下げられたボタンが左ボタン３６である場合、ステップＳ１６５において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が展開状態である場合、今回の処理を終える。ドアミラー５２が格納状態である場合、ステップＳ１６６において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、左側のパイロットランプ２２ｄを点灯させる。
【０１０２】
ステップＳ１６７において、ＥＣＵ２４は、左右のドアミラー５２を展開する。ステップＳ１６８において、ＥＣＵ２４は、左右のドアミラー５２を選択して、左側のパイロットランプ２２ｄを消灯する。
【０１０３】
押し下げられたボタンが右ボタン３８である場合、ステップＳ１６９において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が格納状態である場合、今回の処理を終える。ドアミラー５２が展開状態である場合、ステップＳ１７０において、ＥＣＵ２４は、左右のドアミラー５２を選択し、左側のパイロットランプ２２ｄを点灯させる。
【０１０４】
ステップＳ１７１において、ＥＣＵ２４は、左右のドアミラー５２を格納する。ステップＳ１７２において、ＥＣＵ２４は、左右のドアミラー５２を選択して、左側のパイロットランプ２２ｄを消灯する。
【０１０５】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１７３において、ＥＣＵ２４は、後方ライト５４を選択し、左側のパイロットランプ２２ｄを点灯させる。続くステップＳ１７４において、ＥＣＵ２４は、後方ライト５４を点灯させる。ステップＳ１７５において、後方ライト５４を操作対象機器として設定する。
【０１０６】
［５−４．操作対象機器の操作（図１１のＳ５）］
（５−４−１．概要）
図２８は、ＥＣＵ２４が操作対象機器を操作するフローチャートである。ステップＳ１８１において、ＥＣＵ２４は、図１１のステップＳ４により選択中の操作対象機器を確認する。選択中の操作対象機器がナビゲーション装置４０である場合、ステップＳ１８２において、ＥＣＵ２４は、ナビゲーション装置４０の操作を行う。選択中の操作対象機器がオーディオ装置４２である場合、ステップＳ１８３において、ＥＣＵ２４は、オーディオ装置４２の操作を行う。選択中の操作対象機器がエアコンディショナ４４である場合、ステップＳ１８４において、ＥＣＵ２４は、エアコンディショナ４４の操作を行う。
【０１０７】
選択中の操作対象機器がＨＵＤ４６である場合、ステップＳ１８５において、ＥＣＵ２４は、ＨＵＤ４６の操作を行う。選択中の操作対象機器がハザードランプ４８である場合、ステップＳ１８６において、ＥＣＵ２４は、ハザードランプ４８の操作を行う。選択中の操作対象機器がシート５０である場合、ステップＳ１８７において、ＥＣＵ２４は、シート５０の操作を行う。選択中の操作対象機器が後方ライト５４である場合、ステップＳ１８８において、ＥＣＵ２４は、後方ライト５４の操作を行う。選択中の操作対象機器が運転席側ウィンドウ５６である場合、ステップＳ１８９において、ＥＣＵ２４は、運転席側ウィンドウ５６の操作を行う。選択中の操作対象機器が助手席側ウィンドウ５８である場合、ステップＳ１９０において、ＥＣＵ２４は、助手席側ウィンドウ５８の操作を行う。
【０１０８】
（５−４−２．ナビゲーション装置４０の操作）
図２９は、ナビゲーション装置４０の操作を行うフローチャートである。ステップＳ２０１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１０９】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２０２において、ＥＣＵ２４は、ナビゲーション装置４０の表示の縮尺を変更する。すなわち、上ボタン３２が押し下げられている場合、縮尺を拡大し、下ボタン３４が押し下げられている場合、縮尺を縮小する。
【０１１０】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２０３において、ＥＣＵ２４は、ナビゲーション装置４０の表示方向を切り替える。すなわち、左ボタン３６が押し下げられた場合、表示方向を北向きとし、右ボタン３８が押し下げられた場合、表示方向を車両１０の進行方向とする。
【０１１１】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２０４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２０５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１１２】
（５−４−３．オーディオ装置４２の操作）
図３０は、オーディオ装置４２の操作を行うフローチャートである。ステップＳ２１１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１１３】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２１２において、ＥＣＵ２４は、オーディオ装置４２の音量を調整する。すなわち、上ボタン３２が押し下げられている場合、音量を増大させ、下ボタン３４が押し下げられている場合、音量を減少させる。
【０１１４】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２１３において、ＥＣＵ２４は、オーディオ装置４２の選曲又は選局を切り替える。すなわち、左ボタン３６が押し下げられている場合、前の楽曲又は前の放送局に切り替え、右ボタン３８が押し下げられている場合、次の楽曲又は次の放送局に切り替える。
【０１１５】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２１４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２１５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１１６】
（５−４−４．エアコンディショナ４４の操作）
図３１は、エアコンディショナ４４の操作を行うフローチャートである。ステップＳ２２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１１７】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２２２において、ＥＣＵ２４は、エアコンディショナ４４の設定温度を調整する。すなわち、上ボタン３２が押し下げられている場合、設定温度を増加させ、下ボタン３４が押し下げられている場合、設定温度を減少させる。
【０１１８】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２２３において、ＥＣＵ２４は、エアコンディショナ４４の設定風量を調整する。すなわち、左ボタン３６が押し下げられている場合、設定風量を減少させ、右ボタン３８が押し下げられている場合、設定風量を増加させる。
【０１１９】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２２４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２２５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１２０】
（５−４−５．ＨＵＤ４６の操作）
図３２は、ＨＵＤ４６の操作を行うフローチャートである。ステップＳ２３１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
【０１２１】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２３２において、ＥＣＵ２４は、ＨＵＤ４６の表示情報を切り替える。例えば、上ボタン３２が押し下げられている場合、車速１１０→走行距離１１２→燃費１１４→車速１１０→走行距離１１２、、、のように表示情報を切り替える（図７Ｃ参照）。下ボタン３４が押し下げられている場合、車速１１０→燃費１１４→走行距離１１２→車速１１０→燃費１１４、、、のように表示情報を切り替える。
【０１２２】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２３３において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。続くステップＳ２３４において、ＥＣＵ２４は、ＨＵＤ４６をオフにする。ステップＳ２３５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１２３】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１２４】
（５−４−６．ハザードランプ４８の操作）
図３３は、ハザードランプ４８の操作を行うフローチャートである。ステップＳ２４１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０又はその他のボタンのいずれであるかを判定する。
【０１２５】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２４２において、ＥＣＵ２４は、ハザードランプ４８を消灯する。続くステップＳ２４３において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。ステップＳ２４４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１２６】
押し下げられたボタンがその他のボタン（上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１２７】
（５−４−７．シート５０の操作）
図３４は、運転者１００用のシート５０の操作を行うフローチャートである。ステップＳ２５１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１２８】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２５２において、ＥＣＵ２４は、シート５０の前後スライド調整を行う。すなわち、上ボタン３２が押し下げられている場合、シート５０を前進させ、下ボタン３４が押し下げられている場合、シート５０を後退させる。
【０１２９】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２５３において、ＥＣＵ２４は、シート５０のリクライニング角度を調整する。すなわち、左ボタン３６が押し下げられている場合、リクライニング角度を減少させ、右ボタン３８が押し下げられている場合、リクライニング角度を増大させる。
【０１３０】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２５４において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。続くステップＳ２５５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１３１】
（５−４−８．後方ライト５４の操作）
図３５は、後方ライト５４の操作を行うフローチャートである。ステップＳ２６１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０又はその他のボタンのいずれであるかを判定する。
【０１３２】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２６２において、ＥＣＵ２４は、後方ライト５４を消灯させる。続くステップＳ２６３において、ＥＣＵ２４は、点灯中の右側又は左側のパイロットランプ２２ｃ、２２ｄを消灯させる。続くステップＳ２６４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１３３】
押し下げられたボタンがその他のボタン（上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１３４】
（５−４−９．運転席側ウィンドウ５６の操作）
図３６は、運転席側ウィンドウ５６の操作を行うフローチャートである。ステップＳ２７１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のボタンのいずれであるかを判定する。
【０１３５】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２７２において、ＥＣＵ２４は、運転席側ウィンドウ５６を開閉する。すなわち、下ボタン３４が押し下げられている場合、運転席側ウィンドウ５６を開き、上ボタン３２が押し下げられている場合、運転席側ウィンドウ５６を閉じる。
【０１３６】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２７３において、ＥＣＵ２４は、右側のパイロットランプ２２ｃを消灯させる。続くステップＳ２７４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１３７】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１３８】
（５−４−１０．助手席側ウィンドウ５８の操作）
図３７は、助手席側ウィンドウ５８の操作を行うフローチャートである。ステップＳ２８１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のボタンのいずれであるかを判定する。
【０１３９】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２８２において、ＥＣＵ２４は、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４が押し下げられている場合、助手席側ウィンドウ５８を開き、上ボタン３２が押し下げられている場合、助手席側ウィンドウ５８を閉じる。
【０１４０】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２８３において、ＥＣＵ２４は、左側のパイロットランプ２２ｄを消灯させる。続くステップＳ２８４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１４１】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１４２】
６．本実施形態の効果
以上説明したように、本実施形態によれば、運転者１００の顔１２２の向き及び眼球１２０の向きに基づいて車載機器群（グループＡ〜Ｄ）を特定する。従って、操作対象機器の検出精度を向上し、誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能となる。
【０１４３】
例えば、顔向きのみから操作対象を特定する構成と比べた場合、眼球向きを用いる分、検出精度を上げることが可能となる。また、虹彩１２４又は瞳孔１３０の向きのみから操作対象機器を特定する構成と比べた場合、虹彩１２４又は瞳孔１３０よりも大きな顔１２２の画像を用いる分、向きの特定が容易となるため、検出精度の向上又は演算処理の低減を図ることが可能となる。さらに、眼球１２０の向きの検出は、顔１２２の向きの検出と合わせて用いるため、眼球１２０の向きの検出のみを用いる場合と比べて検出精度を低くすることが可能となる。この点からも演算処理の低減を図ることが可能となる。
【０１４４】
本実施形態では、虹彩１２４又は瞳孔１３０が右側エリアＥ３に位置しており顔１２２が左に向いている場合、及び虹彩１２４又は瞳孔１３０が左側エリアＥ２に位置しており顔１２２が右に向いている場合には、顔向き検出機能８０により検出された顔１２２の向きに基づいて特定されたエリアＥに配置された車載機器群（グループＡ〜Ｄ）を特定する（図２１及び図２２Ｃ参照）。顔向きと眼球向きが逆の場合には運転者１００は特定の車載機器２０を注視しようとしているのではないと考えられる。このため、操作対象機器の特定が不要な場面で当該特定をすることに伴う誤作動を防止することが可能となる。
【０１４５】
本実施形態において、眼球１２０の向きが検出されない場合には、顔向き検出機能８０により検出された顔１２２の向きに基づいて特定されたエリアＥに配置された車載機器群（グループＡ〜Ｄ）を特定する（図１２のＳ１７）。眼球１２０が検出されていない場合でも顔１２２の向きだけで操作対象機器を特定できるため、車載機器特定装置１２を使用できない状態を減らすことが可能となる。
【０１４６】
本実施形態では、顔向き検出機能８０は、顔１２２の向きが第１時間Ｔ１同一方向を向いている場合に検出（又は検出結果の確定）を行い、眼球向き検出機能８２は、虹彩１２４又は瞳孔１３０が第２時間Ｔ２同一エリアＥに位置している場合に検出（又は検出結果の確定）を行い、第１時間Ｔ１は、第２時間Ｔ２よりも短い。一般に、顔向きを変化させるよりも眼球１２０の向きを変化させる方が容易であると共に、運転中は、他の車両、歩行者及び信号の状態等、様々な情報を取得する必要があり、眼球１２０の向きが比較的激しくなる可能性がある。本実施形態では、顔向きの検出（特定）時間よりも眼球１２０の向きの検出（特定）時間を長くする。このため、操作対象機器を特定する意図がない眼球１２０の短時間の動きにより車載機器２０の特定が誤って行われることを防止し易くなる。
【０１４７】
７．変形例
なお、この発明は、上記実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
【０１４８】
［７−１．搭載対象］
上記実施形態では、操作装置１２を車両１０に搭載したが、これに限らず、別の対象に搭載してもよい。例えば、操作装置１２を船舶や航空機等の移動体に用いることもできる。また、移動体に限らず、対象者の注視方向を特定することを要する装置であれば、その他の装置であってもよい。
【０１４９】
［７−２．注視方向の検出］
注視方向Ｘの検出対象としての乗員は、運転者１００に限らず、その他の乗員（助手席に座っている乗員、後部座席に座っている乗員等）であってもよい。
【０１５０】
上記実施形態では、フロントウィンドウ１１周辺を５つの領域Ａ１〜Ａ５に区切ったが（図５）、領域の数は、これに限らない。例えば、図３８のように、フロントウィンドウ１１周辺を３つの領域Ａ１１〜Ａ１３に区切ることもできる。或いは、図３９のように、フロントウィンドウ１１周辺を８つの領域Ａ２１〜Ａ２８に区切ることもできる。
【０１５１】
上記実施形態では、眼球向きの検出又は確定に用いる第２時間Ｔ２を、顔向きの検出又は確定に用いる第１時間Ｔ１よりも長く設定したが、これに限らず、第２時間Ｔ２を第１時間Ｔ１よりも短く設定してもよい。眼球向きの検出又は確定時間を短くすることにより、操作対象の車載機器群（グループＡ〜Ｄ）を特定する際、比較的短い時間、眼球向きを変化させればよいこととなる。これにより、操作対象の特定以外に用いることのできる眼球の動きの自由度を向上することが可能となる。なお、第１時間Ｔ１は、例えば、０．５〜２．０秒間のいずれかの値とし、第２時間Ｔ２は、例えば、０．２〜１．０秒間のいずれかの値とし、第１時間Ｔ１は、第２時間Ｔ２より所定程度（例えば、２〜１０倍のいずれか）長くすることができる。
【０１５２】
［７−３．操作対象機器の特定］
上記実施形態では、車両１０の車幅方向の特定を顔向き及び眼球向きに基づいて行い、車両１０の高さ方向の特定を十字キー１８の操作により行ったが、車幅方向の特定を顔向き及び眼球向きに基づいて行うものであれば、これに限らない。例えば、車両１０の高さ方向の特定を顔向き及び眼球の向きの少なくとも一方に基づいて行うこともできる。或いは、高さ方向に含まれる車載機器２０を１つのみ設定し、車幅方向の特定に伴って車載機器２０を特定するようにすることもできる。
【０１５３】
上記実施形態では、図１１、図１２、図１６、図２３〜図２７のフローチャートを用いて操作対象機器を特定したが、車両１０の車幅方向において車載機器群（グループＡ〜Ｄ）を特定し、その後、車両１０の高さ方向において操作対象機器を特定するものであれば、操作対象機器の特定方法は、これに限らない。例えば、図１１のフローチャートでは、ステップＳ２において十字キー１８においていずれかのボタンが押し下げられたか否かを判定しているが、当該判定は省略すること（例えば、図２３のステップＳ１１１と組み合わせること）もできる。また、図２４〜図２７のフローチャートでは、選択した操作対象機器に対応させてパイロットランプ２２を点灯させたが、パイロットランプ２２を点灯させなくてもよい。
【０１５４】
［７−４．操作手段］
上記実施形態では、操作対象機器を特定するために運転者１００（乗員）が操作する手段（操作手段）として、十字キー１８を用いたが、車両機器群（グループＡ〜Ｄ）において上下方向に配置されている車載機器２０を特定又は選択することができるものであれば、これに限らない。例えば、上記実施形態の十字キー１８は、中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６及び右ボタン３８を有していたが、上ボタン３２及び下ボタン３４のみの構成又は中央ボタン３０、上ボタン３２及び下ボタン３４のみの構成であってもよい。或いは、各ボタンが連結されている構成（例えば、特許文献１の図４に示されるような十字ボタン）であってもよい。また、上記実施形態の十字キー１８の各ボタンは、いわゆるプッシュ式スイッチの類であったが（図３参照）、スライドスイッチ、レバースイッチ等その他の種類のスイッチであってもよい。
【０１５５】
上記実施形態では、十字キー１８が、車載機器群（グループＡ〜Ｄ）において操作対象機器を特定するための手段と、特定した操作対象機器を操作するための手段段との両方を兼ねていたが、特定した操作対象機器を操作するための手段は別に設けることもできる。
【０１５６】
上記実施形態では、十字キー１８をステアリングホイール１６に設けたが、十字キー１８を設ける位置は、これに限らない。例えば、ステアリングコラムやインスツルメントパネルのいずれかの位置に設けることもできる。
【０１５７】
［７−５．車載機器２０及び車載機器群］
上記実施形態では、複数の車載機器２０として、ナビゲーション装置４０、オーディオ装置４２、エアコンディショナ４４、ＨＵＤ４６、ハザードランプ４８、シート５０、ドアミラー５２、後方ライト５４、運転席側ウィンドウ５６及び助手席側ウィンドウ５８を挙げたが、車両１０の乗員が操作可能な複数の車載機器が車幅方向に配置されていれば、これに限らない。このため、各領域Ａ１〜Ａ５に配置される車載機器は１つであってもよい。
【符号の説明】
【０１５８】
１０…車両
１２…車載機器操作装置（車載機器特定装置）
１４…乗員カメラ（撮像手段、撮像部） ２０…車載機器
２４…ＥＣＵ
７２…車載機器群特定機能（車載機器特定手段／車載機器特性部の一部）
７４…個別車載機器特定機能（車載機器特定手段／車載機器特性部の一部）
８０…顔向き検出機能（顔向き検出手段、顔向き検出部）
８２…眼球向き検出機能（眼球向き検出手段、眼球向き検出部）
１００…運転者（乗員） １２０…眼球
１２２…顔 １２４…虹彩
１３０…瞳孔 Ｅ１…中央エリア
Ｅ２…左側エリア Ｅ３…右側エリア
【技術分野】
【０００１】
この発明は、乗員の注視方向を用いて複数の車載機器を特定可能とする車載機器特定装置に関する。
【背景技術】
【０００２】
特許文献１では、運転者の瞳孔の向き及び大きさを検出して車両の運転者が注視する車載機器２１を制御対象として選択する。そして、ステアリングホイール５０に設けられた操作入力手段２８により操作可能とする（要約）。瞳孔の向きの検出に関し、特許文献１では、例えば、眼球に赤外線を照射すると共に、眼球を撮像して得た画像データから、瞳孔の位置及び角膜反射位置を検出し、その検出結果に基づいて、視線（すなわち、瞳孔の向き）を示す瞳孔向きデータを得る（［００１６］）。また、瞳孔の大きさの検出に関し、特許文献１では、例えば、眼球の画像データから抽出した特徴点に基づいて瞳孔の大きさを求める（［００１６］）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０５４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のように、特許文献１では、運転者の瞳孔の向き及び大きさに基づいて制御対象となる車載機器２１を選択するが、瞳孔は比較的小さいものであるため、誤差が大きくなり易く、選択すべき車載機器２１を誤判定するおそれがある。また、適切な検出精度を確保するために高性能のカメラ及び高度な画像処理を実行するための演算装置を用いると、コストの増加につながってしまう。
【０００５】
この発明はこのような課題を考慮してなされたものであり、操作対象の車載機器の誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能な車載機器特定装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る車載機器特定装置は、車両に搭載される複数の車載機器と、前記車両の乗員を含む画像を撮像可能に前記車両に設けられる撮像手段と、前記撮像手段により撮像された前記画像に基づいて前記車両の車幅方向における前記乗員の顔の向き（以下「顔向き」という。）を検出する顔向き検出手段と、前記撮像手段により撮像された前記画像に基づいて前記車両の車幅方向における前記乗員の眼球の向き（以下「眼球向き」という。）を検出する眼球向き検出手段と、前記顔向き検出手段により検出された前記顔向きに基づき前記複数の車載機器のうちいずれかの車載機器を特定する車載機器特定手段とを備え、前記複数の車載機器は、前記車幅方向にそれぞれ複数配置されていると共に、前記車幅方向において所定エリアごとに区切った複数の車載機器群に区分されており、前記眼球向き検出手段は、前記画像から前記乗員の目尻及び目頭と虹彩又は瞳孔とを認識して前記目尻と前記目頭の間を右側領域、左側領域及び中央領域に分割し、前記虹彩又は前記瞳孔が前記右側領域、前記左側領域及び前記中央領域のいずれに位置しているかを検出し、前記車載機器特定手段は、前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記右側領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定された前記エリアの右側のエリアに配置された前記車載機器群を特定し、前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記左側領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定された前記エリアの左側のエリアに配置された前記車載機器群を特定し、前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記中央領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定することを特徴とする。
【０００７】
この発明によれば、乗員の顔向き及び眼球向きに基づいて車幅方向の車載機器又は車載機器群を特定する。従って、操作対象の検出精度を向上し、誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能となる。
【０００８】
例えば、顔向きのみから操作対象を特定する構成と比べた場合、眼球向きを用いる分、検出精度を上げることが可能となる。また、虹彩又は瞳孔の向きのみから操作対象を特定する構成と比べた場合、虹彩又は瞳孔よりも大きな顔の画像を用いる分、向きの特定が容易となるため、検出精度の向上又は演算処理の低減を図ることが可能となる。さらに、眼球向きの検出は、顔向きの検出と合わせて用いるため、眼球向きの検出のみを用いる場合と比べて検出精度を低くすることが可能となる。この点からも演算処理の低減を図ることが可能となる。
【０００９】
前記車載機器特定手段は、前記虹彩又は前記瞳孔が前記右側領域に位置しており前記顔が正面よりも左に向いている場合、及び前記虹彩又は前記瞳孔が前記左側領域に位置しており前記顔が正面よりも右に向いている場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定してもよい。顔向きと眼球向きが逆の場合には乗員は特定の車載機器を注視しようとしているのではないと考えられる。このため、操作対象となる車載機器の特定が不要な場面で当該特定をすることに伴う誤作動を防止することが可能となる。
【００１０】
前記車載機器特定手段は、前記撮像手段により前記眼球が検出されない場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定してもよい。眼球が検出されていない場合でも顔向きだけで操作対象の車載機器を特定できるため、車載機器特定装置を使用できない状態を減らすことが可能となる。
【００１１】
前記顔向き検出手段は、前記顔向きが第１所定時間同一方向を向いている場合に検出を行い、前記眼球向き検出手段は、前記虹彩又は前記瞳孔が第２所定時間同一領域に位置している場合に検出を行い、前記第１所定時間は、前記第２所定時間よりも短くしてもよい。一般に、顔向きを変化させるよりも眼球向きを変化させる方が容易であると共に、運転中は、他の車両、歩行者及び信号の状態等、様々な情報を取得する必要があり、眼球向きが比較的激しくなる可能性がある。この発明では、顔向きの検出（特定）時間よりも眼球向きの検出（特定）時間を長くする。このため、操作対象を特定する意図がない眼球の短時間の動きにより車載機器の特定が誤って行われることを防止し易くなる。
【００１２】
或いは、前記第１所定時間は、前記第２所定時間よりも長くしてもよい。眼球向きの検出（特定）時間を短くすることにより、操作対象の車載機器を特定する際、比較的短い時間、眼球向きを変化させればよいこととなる。これにより、操作対象の特定以外に用いることのできる眼球の動きの自由度を向上することが可能となる。
【００１３】
この発明に係る車載機器特定装置は、車両において車幅方向に配置された複数の車載機器と、前記車両に設けられ前記車両の乗員を含む画像を撮像する撮像部と、前記画像に基づいて車幅方向における前記乗員の顔の向き（以下「顔向き」という。）を検出する顔向き検出部と、前記画像に基づいて前記車幅方向における前記乗員の顔に対する前記乗員の眼球の向き（以下「眼球向き」という。）を検出する眼球向き検出部と、前記顔向き及び前記眼球向きに基づき前記複数の車載機器から操作対象を特定する車載機器特定部とを備え、前記車載機器特定部は、前記眼球向きが前記乗員の顔の正面に向かって右側の第１位置よりも右寄りである場合には、前記顔向きの方向に位置する前記車載機器よりもさらに右側の１つ又は複数の前記車載機器から前記操作対象を特定し、前記眼球向きが前記乗員の顔の正面に向かって左側の第２位置よりも左寄りである場合には、前記顔向きの方向に位置する前記車載機器よりもさらに左側の１つ又は複数の前記車載機器から前記操作対象を特定し、前記眼球向きが前記乗員の顔の正面に向かって前記第１位置と前記第２位置の間にある場合には、前記顔向きの方向に位置する１つ又は複数の前記車載機器から前記操作対象を特定することを特徴とする。
【００１４】
この発明によれば、乗員の顔向き及び眼球向きに基づいて車幅方向の車載機器又は車載機器群を特定する。従って、操作対象の検出精度を向上し、誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能となる。
【００１５】
例えば、顔向きのみから操作対象を特定する構成と比べた場合、眼球向きを用いる分、検出精度を上げることが可能となる。また、瞳孔の向きのみから操作対象を特定する構成と比べた場合、瞳孔よりも大きな顔の画像を用いる分、向きの特定が容易となるため、検出精度の向上又は演算処理の低減を図ることが可能となる。さらに、眼球向きの検出は、顔向きの検出と合わせて用いるため、眼球向き（瞳孔位置）の検出のみを用いる場合と比べて検出精度を低くすることが可能となる。この点からも演算処理の低減を図ることが可能となる。
【００１６】
前記車載機器特定部は、前記眼球向きが前記乗員の顔に向かって前記第１位置よりも右寄りであり且つ前記顔が正面よりも左に向いている場合、又は前記眼球向きが前記乗員の顔に向かって前記第２位置よりも左寄りであり且つ前記顔が正面よりも右に向いている場合には、前記顔向きの方向に位置する１つ又は複数の前記車載機器から前記操作対象を特定してもよい。顔向きと眼球向きが逆の場合には乗員は特定の車載機器を注視しようとしているのではないと考えられる。このため、操作対象となる車載機器の特定が不要な場面で当該特定をすることに伴う誤作動を防止することが可能となる。
【発明の効果】
【００１７】
この発明によれば、乗員の顔向き及び眼球向きに基づいて車幅方向の車載機器又は車載機器群を特定する。従って、操作対象の検出精度を向上し、誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能となる。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施形態に係る車載機器特定装置としての車載機器操作装置を搭載した車両の全体ブロック図である。
【図２】前記車両のフロントウィンドウ周辺の外観図である。
【図３】前記車両のステアリングホイールの外観正面図である。
【図４】前記車両の後方ライトの外観斜視図である。
【図５】前記フロントウィンドウ周辺を５つの領域に区切った状態を示す図である。
【図６Ａ】オーディオ装置の音量を変える場合の運転者の第１動作例を示す図である。
【図６Ｂ】オーディオ装置の音量を変える場合の運転者の第２動作例を示す図である。
【図６Ｃ】オーディオ装置の音量を変える場合の運転者の第３動作例を示す図である。
【図７Ａ】ヘッドアップディスプレイ（ＨＵＤ）を表示し、車速や燃費を確認する場合の運転者の第１動作例を示す図である。
【図７Ｂ】前記ＨＵＤを表示し、車速や燃費を確認する場合の運転者の第２動作例を示す図である。
【図７Ｃ】前記ＨＵＤを表示し、車速や燃費を確認する場合の運転者の第３動作例を示す図である。
【図８Ａ】助手席側ウィンドウを開閉する場合の運転者の第１動作例を示す図である。
【図８Ｂ】助手席側ウィンドウを開閉する場合の運転者の第２動作例を示す図である。
【図８Ｃ】助手席側ウィンドウを開閉する場合の運転者の第３動作例を示す図である。
【図９】各車載機器の選択方法と操作方法の一覧を表示する図である。
【図１０】各機能のボタン割当一覧を表示する図である。
【図１１】各車載機器を選択又は操作するフローチャートである。
【図１２】電子制御装置（以下「ＥＣＵ」という。）が注視方向を検知するフローチャートである。
【図１３Ａ】顔向きと注視方向の間にずれが生じない場合を説明する側面図である。
【図１３Ｂ】顔向きと注視方向の間にずれが生じない場合を説明する平面図である。
【図１４Ａ】顔向きと注視方向の間にずれが生じる場合を説明する側面図である。
【図１４Ｂ】顔向きと注視方向の間にずれが生じる場合を説明する平面図である。
【図１５Ａ】虹彩が右寄りとなっている状態を示す図である。
【図１５Ｂ】虹彩が中央に位置している状態を示す図である。
【図１５Ｃ】虹彩が左寄りとなっている状態を示す図である。
【図１６】眼球の向きを検出するフローチャートである。
【図１７Ａ】虹彩又は瞳孔の中心又は重心とエリアの比較及び虹彩又は瞳孔の面積とエリアの比較により判定する場合の第１説明図である。
【図１７Ｂ】虹彩又は瞳孔の中心又は重心とエリアの比較及び虹彩又は瞳孔の面積とエリアの比較により判定する場合の第２説明図である。
【図１８Ａ】虹彩又は瞳孔の中心又は重心とエリアの比較及び虹彩又は瞳孔の面積とエリアの比較により判定する場合の第３説明図である。
【図１８Ｂ】虹彩又は瞳孔の中心又は重心とエリアの比較及び虹彩又は瞳孔の面積とエリアの比較により判定する場合の第４説明図である。
【図１９Ａ】虹彩又は瞳孔の縦エッジ（左エッジ及び右エッジ）とエリアの比較により判定する場合の第１説明図である。
【図１９Ｂ】虹彩又は瞳孔の縦エッジ（左エッジ及び右エッジ）とエリアの比較により判定する場合の第２説明図である。
【図２０Ａ】虹彩又は瞳孔の縦エッジ（左エッジ及び右エッジ）とエリアの比較により判定する場合の第３説明図である。
【図２０Ｂ】虹彩又は瞳孔の縦エッジ（左エッジ及び右エッジ）とエリアの比較により判定する場合の第４説明図である。
【図２１】顔向き及び眼球の向きの組合せと注視方向との関係を示す図である。
【図２２Ａ】図２１の関係を説明するための第１具体例を示す図である。
【図２２Ｂ】図２１の関係を説明するための第２具体例を示す図である。
【図２２Ｃ】図２１の関係を説明するための第３具体例を示す図である。
【図２３】前記ＥＣＵが操作対象機器を選択するフローチャートである。
【図２４】運転者の注視方向が中央方向である場合に操作対象機器を選択するフローチャートである。
【図２５】運転者の注視方向が正面方向である場合に操作対象機器を選択するフローチャートである。
【図２６】運転者の注視方向が右方向である場合に操作対象機器を選択するフローチャートである。
【図２７】運転者の注視方向が左方向である場合に操作対象機器を選択するフローチャートである。
【図２８】前記ＥＣＵが操作対象機器を操作するフローチャートである。
【図２９】ナビゲーション装置の操作を行うフローチャートである。
【図３０】オーディオ装置の操作を行うフローチャートである。
【図３１】エアコンディショナの操作を行うフローチャートである。
【図３２】ＨＵＤの操作を行うフローチャートである。
【図３３】ハザードランプの操作を行うフローチャートである。
【図３４】運転者用のシートの操作を行うフローチャートである。
【図３５】後方ライトの操作を行うフローチャートである。
【図３６】運転席側ウィンドウの操作を行うフローチャートである。
【図３７】助手席側ウィンドウの操作を行うフローチャートである。
【図３８】図５の第１変形例として、フロントウィンドウ周辺を３つの領域に区切った状態を示す図である。
【図３９】図５の第２変形例として、フロントウィンドウ周辺を８つの領域に区切った状態を示す図である。
【発明を実施するための形態】
【００１９】
１．全体的な構成の説明
［１−１．全体構成］
図１は、この発明の一実施形態に係る車載機器特定装置としての車載機器操作装置１２（以下「操作装置１２」ともいう。）を搭載した車両１０の全体ブロック図である。図２は、車両１０のフロントウィンドウ１１周辺の外観図である。図１及び図２に示すように、操作装置１２は、乗員カメラ１４と、ステアリングホイール１６に設けられた十字キー１８と、複数の車載機器２０と、複数のパイロットランプ２２ａ〜２２ｄ（以下「パイロットランプ２２」と総称する。）と、電子制御装置２４（以下「ＥＣＵ２４」という。）とを有する。図２からもわかるように、本実施形態の車両１０は、いわゆる右ハンドル車である。代わりに、左ハンドル車であっても同様の構成を採用することができる。
【００２０】
［１−２．乗員カメラ１４］
図２に示すように、乗員カメラ１４は、図示しないステアリングコラムにおいて運転者の正面に設置され、運転者の顔の画像（以下「顔画像」という。）を取得する。乗員カメラ１４の位置は、これに限らず、例えば、バックミラー２６の周辺に配置してもよい。また、乗員カメラ１４は、単一の方向から撮像するものに限らず、複数の方向から撮像するもの（いわゆるステレオカメラ）であってもよい。
【００２１】
［１−３．十字キー１８］
運転者は、十字キー１８を用いて操作対象となる車載機器２０（以下「操作対象機器」という。）の特定及び特定した車載機器２０の操作入力を行うことができる。図３に示すように、十字キー１８は、中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６及び右ボタン３８を有する。なお、図２における十字キー１８は、拡大して表示されている。十字キー１８の操作方法については、後述する。
【００２２】
［１−４．複数の車載機器２０］
本実施形態において、複数の車載機器２０（図１）には、ナビゲーション装置４０と、オーディオ装置４２と、エアコンディショナ４４と、ヘッドアップディスプレイ４６（以下「ＨＵＤ４６」という。）と、ハザードランプ４８と、運転者用のシート５０と、ドアミラー５２と、後方ライト５４と、運転席側ウィンドウ５６と、助手席側ウィンドウ５８とが含まれる。
【００２３】
図４に示すように、後方ライト５４はドアミラー５２下部にある発光ダイオード（ＬＥＤ）で車両１０の側面後方を照らすものである。
【００２４】
［１−５．パイロットランプ２２ａ〜２２ｄ］
本実施形態では、４つのパイロットランプ２２ａ〜２２ｄが設けられている。すなわち、中央に設けられたパイロットランプ２２ａと、正面に設けられたパイロットランプ２２ｂと、右側に設けられたパイロットランプ２２ｃと、左側に設けられたパイロットランプ２２ｄとが含まれる。パイロットランプ２２ａ〜２２ｄは、後述する複数の車載機器群Ａ〜Ｄ（又は「グループＡ〜Ｄ」ともいう。）のいずれが選択されているかを示す。
【００２５】
［１−６．ＥＣＵ２４］
ＥＣＵ２４は、車載機器操作装置１２（本実施形態では、特に、各車載機器２０）を制御するものであり、図１に示すように、入出力装置６０、演算装置６２及び記憶装置６４を備える。演算装置６２は、注視方向検出機能７０と、車載機器群特定機能７２と、個別車載機器特定機能７４と、車載機器制御機能７６とを備える。
【００２６】
本実施形態では、これらの機能７０、７２、７４、７６を用いることにより、各車載機器２０を簡易に制御することができる。すなわち、運転者は、操作対象とする車載機器２０（以下「操作対象機器」という。）が存在する車幅方向に視線又は顔を向けると共に、十字キー１８を操作することにより、操作対象機器を制御することが可能である。なお、後述するように、その他の方法により操作対象機器を特定及び制御することもできる。
【００２７】
注視方向検出機能７０は、運転者（乗員）の顔向き及び視線方向（眼球向き）に基づいて、運転者の注視方向を検出する機能である。注視方向検出機能７０は、運転者の顔向きを検出する顔向き検出機能８０（顔向き検出手段又は顔向き検出部）と、運転者の視線方向（眼球向き）を検出する眼球向き検出機能８２（眼球向き検出手段又は眼球位置検出部）とを備える。
【００２８】
車載機器群特定機能７２は、運転者の顔向き及び視線方向（眼球向き又は相対位置）に基づいて運転者の注視方向を検出し、当該注視方向に存在する車載機器群（グループＡ〜Ｄ）を特定する機能である。個別車載機器特定機能７４は、車載機器群特定機能７２に特定された車載機器群に含まれる複数の車載機器２０の中から運転者の操作に応じて操作対象機器を特定する機能である。車載機器制御機能７６は、個別車載機器特定機能７４により特定された操作対象機器を、運転者の操作入力に応じて制御する機能である。
【００２９】
２．本実施形態の制御の概要
上記のように、本実施形態では、運転者は、操作対象機器が存在する車幅方向に視線又は顔を向けると共に、十字キー１８を操作することにより、操作対象機器を制御することが可能である。
【００３０】
当該制御を実現するため、本実施形態では、まず乗員カメラ１４が撮像した運転者の顔画像に基づいて顔向き及び眼球向き（眼球の相対位置）を検出し、これらに基づいて車幅方向における注視方向を判定する。その後、十字キー１８の操作に基づいて高さ方向（上下方向）を特定する。これにより、操作対象機器を特定する。
【００３１】
本実施形態において、車幅方向における注視方向としては、図５に示す５つの方向を設定している。すなわち、フロントウィンドウ１１周辺を５つの領域Ａ１〜Ａ５に区切っている。より具体的には、中央方向の領域Ａ１、正面方向の領域Ａ２、右方向の領域Ａ３、左方向の領域Ａ４及びその他の方向の領域Ａ５である。これらの各方向（グループＡ〜Ｄ）に対し、各車載機器２０が割り当てられている。
【００３２】
中央方向の領域Ａ１には、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４（グループＡ）が割り当てられている。なお、図５等において、「ナビ」は「ナビゲーション装置」を意味し、「オーディオ」は「オーディオ装置」を意味し、「エアコン」は「エアコンディショナ」を意味する。
【００３３】
正面方向の領域Ａ２には、ＨＵＤ４６、ハザードランプ４８及びシート５０（グループＢ）が割り当てられている。なお、図５等において、「ハザード」は「ハザードランプ」を意味する。右方向の領域Ａ３には、ドアミラー５２、後方ライト５４及び運転席側ウィンドウ５６（グループＣ）が割り当てられ、左方向の領域Ａ４には、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８（グループＤ）が割り当てられている。その他の方向の領域Ａ５には何らの車載機器２０も割り当てられていない。なお、本実施形態では、左右のドアミラー５２は同時に展開及び格納させる。また、左右の後方ライト５４は同時に操作する。
【００３４】
ＥＣＵ２４（注視方向検出機能７０）は、乗員カメラ１４からの顔画像に基づき、顔向き及び眼球向き（眼球の相対位置）を検出し、これらを用いて運転者の注視方向を判定する。そして、ＥＣＵ２４（車載機器群特定機能７２）は、判定した注視方向に基づいて車載機器群（グループＡ〜Ｄ）を特定する。次いで、十字キー１８のうち押し下げられたボタン（ボタン３０、３２、３４、３６、３８のいずれか）に応じて、操作対象機器を特定する。その後、十字キー１８の操作に応じて操作対象機器を操作する。
【００３５】
３．本実施形態における操作対象機器の選択方法と動作例
［３−１．オーディオ装置４２の音量を変える場合］
図６Ａ〜図６Ｃは、オーディオ装置４２の音量を変える場合の運転者１００の第１〜第３動作例を示す。まず、図６Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、オーディオ装置４２のある領域Ａ１（中央方向）を見る又は顔を向ける。これにより、ＥＣＵ２４は、後述する注視方向判定技術を用いて車載機器群Ａ（グループＡ）を特定する。なお、図６Ａ中の矢印Ｘは、運転者１００の注視方向を示している（その他の図においても同様である。）。なお、ここにいう注視方向Ｘは、基本的に、顔向きを眼球向きで補正したものである（詳細は後述する。）。
【００３６】
図６Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうちオーディオ装置４２に対応するのは中央ボタン３０なので、運転者１００は、中央ボタン３０を押し下げる。これにより、グループＡが選択され、中央のパイロットランプ２２ａが点灯する。
【００３７】
図６Ｃにおいて、運転者１００は、十字キー１８を操作することで、オーディオ装置４２の音量を調整する。すなわち、上ボタン３２を押す度に音量レベルが１増加し、下ボタン３４を押す度に音量レベルが１減少する。この際、運転者１００は、対象領域（グループＡに対応する中央方向の領域Ａ１）や車載機器２０（ここでは、オーディオ装置４２）を見る必要はなく、前方を見ながらでも操作対象機器（オーディオ装置４２）の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。
【００３８】
［３−２．ＨＵＤ４６を表示し、車速や燃費を確認する場合］
図７Ａ〜図７Ｃは、ＨＵＤ４６を表示し、車速や燃費を確認する場合の運転者１００の第１〜第３動作例を示す。まず、図７Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、ＨＵＤ４６のある領域Ａ２（正面方向）を見る又は顔を向ける。これにより、ＥＣＵ２４は、注視方向判定技術を用いて車載機器群Ｂ（グループＢ）を特定する。
【００３９】
図７Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ＨＵＤ４６、ハザードランプ４８及びシート５０）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうちＨＵＤ４６に対応するのは上ボタン３２なので、運転者１００は、上ボタン３２を押し下げる。これにより、正面のパイロットランプ２２ｂが点灯する。
【００４０】
図７Ｃにおいて、運転者１００は、十字キー１８を操作することで、ＨＵＤ４６の表示を切り替える。すなわち、上ボタン３２を押す度に、ＨＵＤ４６の表示が、車速１１０→走行距離１１２→燃費１１４→車速１１０の順に切り替わる。反対に、下ボタン３４を押す度に、ＨＵＤ４６の表示が、車速１１０→燃費１１４→走行距離１１２→車速１１０の順に切り替わる。車速１１０、走行距離１１２及び燃費１１４以外の表示（例えば、ガソリン量、バッテリの残容量又は走行可能距離）を行ってもよい。この際、運転者１００は、対象領域（グループＢに対応する正面方向の領域Ａ２）や車載機器２０（ここでは、ＨＵＤ４６）を見る必要はなく、前方を見ながらでも操作対象機器（ＨＵＤ４６）の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。これにより、ＨＵＤ４６が消灯する。
【００４１】
［３−３．助手席側ウィンドウ５８を開閉する場合］
図８Ａ〜図８Ｃは、助手席側ウィンドウ５８を開閉する場合の運転者１００の第１〜第３動作例を示す。まず、図８Ａに示すように、運転者１００は、５つの領域Ａ１〜Ａ５のうち、助手席側ウィンドウ５８のある領域Ａ４（左方向）を見る又は顔を向ける。これにより、注視方向判定技術を用いて車載機器群Ｄ（グループＤ）を特定する。
【００４２】
図８Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうち助手席側ウィンドウ５８に対応するのは上ボタン３２及び下ボタン３４なので、運転者１００は、上ボタン３２又は下ボタン３４を押し下げる。これにより、左側のパイロットランプ２２ｄが点灯する。
【００４３】
なお、ドアミラー５２及び後方ライト５４の位置関係は上下に存在するが、助手席側ウィンドウ５８については基準位置をどこに置くかにより、ドアミラー５２及び後方ライト５４との上下関係が逆転する。ここでは、助手席側ウィンドウ５８の図示しない駆動部の位置を基準としたが、別の場所を基準位置とすることもできる。これに伴い、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８と各ボタンの対応関係は変更してもよい。但し、通常、ドアミラー５２の展開及び格納が略水平方向に行われるのに対し、助手席側ウィンドウ５８の開閉が略垂直方向に行われるため、それぞれの可動方向を考慮すると、ドアミラー５２に左ボタン３６及び右ボタン３８を割り当て、助手席側ウィンドウ５８に上ボタン３２及び下ボタン３４を割り当てる方が直感的な操作を行い易い。
【００４４】
図８Ｃにおいて、運転者１００は、十字キー１８を操作することで、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４を押す度に、助手席側ウィンドウ５８が開き、上ボタン３２を押す度に、助手席側ウィンドウ５８が閉じる。この際、運転者１００は、車載機器２０（ここでは、助手席側ウィンドウ５８）を見る必要はなく、前方を見ながらでも操作対象機器（助手席側ウィンドウ５８）の操作が可能である。操作対象機器の操作を終了するには、中央ボタン３０を押し下げる。
【００４５】
４．車載機器２０の選択方法と動作方法のまとめ
図９は、各車載機器２０の選択方法と操作方法の一覧を表示し、図１０は、各機能のボタン割当一覧を表示する。運転者１００は、図９及び図１０に沿った操作をすることにより、操作対象機器を簡易に操作することができる。
【００４６】
５．具体的なフローチャート
［５−１．全体フロー］
図１１は、各車載機器２０を選択又は操作するフローチャートである。ステップＳ１において、ＥＣＵ２４は、乗員カメラ１４が取得した運転者１００の顔画像に基づいて運転者１００の注視方向を検知する。ステップＳ２において、ＥＣＵ２４は、十字キー１８のいずれかのボタンが押し下げられたか否かを判定する。いずれのボタンも押し下げられていない場合（Ｓ２：ＮＯ）、今回の処理を終える。いずれかのボタンが押し下げられた場合（Ｓ２：ＹＥＳ）、ステップＳ３において、ＥＣＵ２４は、現在、操作対象機器が選択中であるか否かを判定する。操作対象機器が選択中でない場合（Ｓ３：ＮＯ）、ステップＳ４において、ＥＣＵ２４は、運転者１００による操作に応じて操作対象機器を選択する。操作対象機器が選択中である場合（Ｓ３：ＹＥＳ）、ステップＳ５において、ＥＣＵ２４は、運転者１００による操作に応じて操作対象機器を制御する。
【００４７】
［５−２．運転者１００の注視方向の検知（図１１のＳ１）］
（５−２−１．概要）
図１２は、ＥＣＵ２４が注視方向を検知するフローチャート（図１１のＳ１の詳細）である。ステップＳ１１において、ＥＣＵ２４は、乗員カメラ１４から運転者１００の顔画像を取得する。ステップＳ１２において、ＥＣＵ２４（顔向き検出機能８０）は、顔画像から運転者１００の顔向きを検出する。
【００４８】
運転者の顔向きの検知は、例えば、次のような方法により行うことができる。すなわち、ＥＣＵ２４（顔向き検出機能８０）は、乗員カメラ１４から出力された顔画像に基づき、顔中心位置と、左右の顔端位置を検出する。そして、これらの検出結果に基づき、例えば、人の顔をシリンダ形状に近似して顔向きを算出する（シリンダ法）。なお、ここでの顔向きは、広義の意味で用いられており、頭の正面側のみならずその他の部分（例えば、後頭部）を含んでもよい。
【００４９】
また、顔向きを判定する際は、同一の検出結果が所定時間｛第１時間Ｔ１（例えば、０．１〜１．０秒間のいずれかの値）｝続いた場合に顔向きを検出又は確定することができる。
【００５０】
ステップＳ１３において、ＥＣＵ２４（眼球向き検出機能８２）は、顔画像から運転者１００の眼球向き（眼球の相対位置）を検出する。これにより、運転者１００の顔に対する眼球向き（眼球が顔の正面、左側又は右側のいずれを向いているのか）を検出する。換言すると、開いた状態の目の輪郭に対する虹彩又は瞳孔の一部又は全部の相対位置を検出する。眼球向きを判定する際は、同一の検出結果が所定時間｛第２時間Ｔ２（例えば、０．８〜２．０秒間のいずれかの値）｝続いた場合に眼球向きを検出又は確定することができる。本実施形態において、第２時間Ｔ２は、第１時間Ｔ１よりも所定程度（例えば、２〜１０倍の範囲におけるいずれかの値の分）長く設定される。なお、眼球向きの検出は、片目又は両目のいずれで行ってもよい。両目を用いる場合、例えば、両目の平均値を用いることができる。眼球向きの検出の詳細については、後述する。
【００５１】
ステップＳ１４において、ＥＣＵ２４は、ステップＳ１２において顔向きを検出できたか否かを判定する。顔向きを検出できた場合（Ｓ１４：ＹＥＳ）、ステップＳ１６に進む。顔向きを検出できなかった場合（Ｓ１４：ＮＯ）、ステップＳ１５において、ＥＣＵ２４は、注視方向を判定できなかったとして、操作対象機器の選択及び操作を行わずに今回の処理を終える。なお、顔向きが検出できない場合としては、例えば、暗がりのため乗員カメラ１４の受光量が不足している場合、周囲が明る過ぎるため乗員カメラ１４の受光量が飽和している場合を挙げることができる。
【００５２】
ステップＳ１６において、ＥＣＵ２４は、ステップＳ１３において眼球向きを検出できたか否かを判定する。眼球向きを検出できた場合（Ｓ１６：ＹＥＳ）、ステップＳ１８に進む。眼球向きを検出できなかった場合（Ｓ１６：ＮＯ）、ステップＳ１７において、ＥＣＵ２４は、顔向きをそのまま注視方向として出力する。なお、眼球向きが検出できない場合としては、例えば、暗がりのため乗員カメラ１４の受光量が不足している場合、周囲が明る過ぎるため乗員カメラ１４の受光量が飽和している場合、眼鏡（サングラスを含む。）により眼球１２０の位置検出が困難な場合を挙げることができる。
【００５３】
ステップＳ１８において、ＥＣＵ２４は、顔向き及び眼球向きに基づいて注視方向を判定する。換言すると、顔向きに対応する注視方向を眼球向きに応じて補正する（注視方向補正処理）。そして、判定した注視方向をその後の処理のために出力する。当該判定の詳細については後述する。
【００５４】
（５−２−２．注視方向補正処理の意味合い）
図１３Ａ及び図１３Ｂは、顔向きＹと注視方向Ｘの間にずれが生じない場合を説明する側面図及び平面図であり、図１４Ａ及び図１４Ｂは、顔向きＹと注視方向Ｘの間にずれが生じる場合を説明する図である。図１３Ａ及び図１３Ｂに示すように、運転者１００の目１２０（虹彩又は瞳孔）が運転者１００の顔１２２の向きと同一方向を向いている場合、顔向きＹと注視方向Ｘは一致する。一方、図１４Ａ及び図１４Ｂに示すように、運転者１００の目１２０（以下「眼球１２０」ともいう。）が運転者１００の顔１２２の向きと異なる方向を向いている場合、顔向きＹと注視方向Ｘは一致しない。このような場合、顔向きＹのみを用いて操作対象機器を選択すると、運転者１００の意図と異なる操作対象機器を選択してしまう。
【００５５】
そこで、本実施形態の注視方向補正処理では、顔向きＹを眼球１２０の向き（眼球１２０の相対位置）により補正した注視方向Ｘを用いる。
【００５６】
（５−２−３．眼球１２０の向きの検出）
図１５Ａは、虹彩１２４が右寄りとなっている状態を示す図であり、図１５Ｂは、虹彩１２４が中央に位置している状態を示す図であり、図１５Ｃは、虹彩１２４が左寄りとなっている状態を示す図である。図１５Ａ〜図１５Ｃは、運転者１００の顔１２２の正面から目１２０を見ている（換言すると、乗員カメラ１４の撮像方向で見ている）のに対し、図１５Ａ〜図１５Ｃ中の文字「左」及び「右」が意味する左右は、運転者１００から見ての左右である。このため、図１５Ａ〜図１５Ｃ中の左右は、これらの図を見たときの左右と反対となっていることに留意されたい。なお、乗員カメラ１４の撮像方法で表記しても実質的な内容に変化はない。
【００５７】
図１５Ａ〜図１５Ｃに示すように、本実施形態では、目１２０の輪郭を３つのエリア（中央エリアＥ１、左側エリアＥ２及び右側エリアＥ３）に分割する。そして、虹彩１２４がいずれのエリアに入っているかを判定して眼球１２０の向きを判定する。以下では、各エリアＥ１〜Ｅ３をまとめて注視判定エリアＥ又はエリアＥともいう。
【００５８】
図１６は、眼球１２０の向きを検出するフローチャート（図１２のＳ１３の詳細）である。ステップＳ２１において、ＥＣＵ２４は、注視判定エリアＥを特定する。注視判定エリアＥの特定に際し、ＥＣＵ２４は、目１２０の目尻１２６｛目１２０の最も外側（右目であれば最も右側）｝及び目頭１２８｛目１２０の最も内側（右目であれば最も左側）｝を顔画像から判定する。そして、目尻１２６と目頭１２８の間を３等分して各注視判定エリアＥとする。
【００５９】
なお、ここで検出する眼球向きは、車幅方向のみに関するものである。このため、少なくとも車幅方向の向き又は位置を判定することができれば、いずれのエリアＥ１〜Ｅ３に属するかを判定することも可能である。例えば、中央エリアＥ１と左側エリアＥ２の境界を示す車幅方向の位置（座標）を第１位置Ｐ１とし、中央エリアＥ１と右側エリアＥ３の境界を示す車幅方向の位置（座標）を第２位置Ｐ２とすることができる。
【００６０】
なお、本実施形態では、目尻１２６及び目頭１２８の特定を眼球１２０の向きの検出に際して行うが、これに限らず、顔向きＹの検出に際して目尻１２６及び目頭１２８の特定を行ってもよい。
【００６１】
ステップＳ２２において、ＥＣＵ２４は、虹彩１２４又は瞳孔１３０（図１７Ａ等）が属するエリアＥを判定する。当該判定は、例えば、虹彩１２４又は瞳孔１３０の中心又は重心とエリアＥの比較、虹彩１２４又は瞳孔１３０の面積とエリアＥの比較、虹彩１２４又は瞳孔１３０のエッジとエリアＥの比較によることができる。
【００６２】
図１７Ａ、図１７Ｂ、図１８Ａ及び図１８Ｂは、虹彩１２４若しくは瞳孔１３０の中心若しくは重心とエリアＥの比較又は虹彩１２４若しくは瞳孔１３０の面積とエリアＥの比較により判定する場合の第１〜第４説明図である。図１７Ａ、図１７Ｂ、図１８Ａ及び図１８Ｂはいずれも左目に関するものである。図１７Ａ及び図１７Ｂは、瞳孔１３０が小さい場合であり、図１８Ａ及び図１８Ｂは、瞳孔１３０が大きい場合である。また、図１７Ａ、図１７Ｂ及び図１８Ａでは、縦方向における虹彩１２４又は瞳孔１３０の位置は略中央であるが、図１８Ｂでは、縦方向における虹彩１２４又は瞳孔１３０の位置は下側に位置している。
【００６３】
図１７Ａ及び図１８Ａでは、虹彩１２４／瞳孔１３０の中心／重心が左側エリアＥ２内にあり、虹彩１２４／瞳孔１３０の面積が最も大きいエリアが左側エリアＥ２である。従って、眼球１２０の向きは「左寄り」ということになる。図１７Ｂ及び図１８Ｂでは、虹彩１２４／瞳孔１３０の中心／重心が中央エリアＥ１内にあり、虹彩１２４／瞳孔１３０の面積が最も大きいエリアが中央エリアＥ１である。従って、眼球１２０の向きは「中央」ということになる。
【００６４】
なお、上記のアルゴリズム以外も採用可能であり、例えば、虹彩１２４と強膜１３２（白色部）の面積の比率（虹彩１２４の面積／強膜１３２の面積）の大きさで判定してもよい。
【００６５】
図１９Ａ、図１９Ｂ、図２０Ａ及び図２０Ｂは、虹彩１２４の縦エッジ（左エッジ１３４及び右エッジ１３６）とエリアＥの比較により判定する場合の第１〜第４説明図である。図１９Ａ、図１９Ｂ、図２０Ａ及び図２０Ｂはいずれも左目に関するものである。図１９Ａ及び図１９Ｂは、瞳孔１３０が小さい場合であり、図２０Ａ及び図２０Ｂは、瞳孔１３０が大きい場合である。また、図１９Ａ、図１９Ｂ及び図２０Ａでは、縦方向における虹彩１２４又は瞳孔１３０の位置は略中央であるが、図２０Ｂでは、縦方向における虹彩１２４又は瞳孔１３０の位置は下側に位置している。虹彩１２４の縦エッジ（左エッジ１３４及び右エッジ１３６）は、画像処理により検出される。虹彩１２４の縦エッジの代わりに、瞳孔１３０の縦エッジを用いることもできる。
【００６６】
図１９Ａでは、左エッジ１３４及び右エッジ１３６の中央を結ぶ中心が左側エリアＥ２内にある。従って、眼球１２０の向きは「左寄り」ということになる。図１９Ｂ及び図２０Ｂは、左エッジ１３４及び右エッジ１３６の中央を結ぶ中心が中央エリアＥ１内にある。従って、眼球１２０の向きは「中央」ということになる。図２０Ａでは、左エッジ１３４及び右エッジ１３６の中央を結ぶ中心が右側エリアＥ３内にある。従って、眼球１２０の向きは「右寄り」ということになる。
【００６７】
なお、上記のアルゴリズム以外も採用可能であり、例えば、各エリアＥに対する左エッジ１３４及び右エッジ１３６の位置により属するエリアＥを判定してもよい。例えば、左エッジ１３４が左側エリアＥ２の真ん中よりも左側にある場合、左側エリアＥ２に属し、右エッジ１３６が右側エリアＥ３の真ん中よりも右側にある場合、右側エリアＥ３に属すると判定してもよい。或いは、左エッジ１３４と右エッジ１３６の長さの比率又は差で属するエリアＥを判定することもできる。例えば、当該比率又は差が第１閾値を越えれば、左側エリアＥ２に属し、当該比率又は差が第２閾値を越えれば、右側エリアＥ３に属すると判定してもよい。
【００６８】
（５−２−４．注視方向Ｘの判定）
図２１は、顔向きＹ及び眼球１２０の向きの組合せと注視方向Ｘとの関係を示す図である。図２２Ａ〜図２２Ｃは、図２１の関係を説明するための第１〜第３具体例を示す図である。
【００６９】
顔向きＹ及び眼球１２０の向きの組合せと注視方向Ｘとの関係に関する基本的考え方は、次の通りである。すなわち、眼球１２０の向きが正面である場合、顔向きＹをそのまま注視方向Ｘとする。眼球１２０の向きが左寄り（左方向）である場合、顔向きＹを左方向に補正したものを注視方向Ｘとする。眼球１２０の向きが右寄り（右方向）である場合、顔向きＹを右方向に補正したものを注視方向Ｘとする。但し、顔１２２の向きと眼球１２０の向きが反対である場合、顔１２２の向きをそのまま用いる。
【００７０】
本実施形態の場合、より具体的には、次のようにする。まず、顔向きＹに対応する領域Ａ１〜Ａ５（図５）を特定する。また、眼球１２０の向きが正面である場合、顔向きＹに対応する領域Ａ１〜Ａ５をそのまま用いる。眼球１２０の向きが左寄りである場合、顔向きＹに対応する領域Ａ１〜Ａ５の１つ左側の領域を特定する。眼球１２０の向きが右寄りである場合、顔向きＹに対応する領域Ａ１〜Ａ５の１つ右側の領域を特定する。
【００７１】
但し、顔向きＹと眼球１２０の向きが反対の場合は、顔向きＹに対応する領域Ａ１〜Ａ５をそのまま用いる。顔１２２が左を向いている（すなわち、顔向きＹが領域Ａ１、Ａ４、Ａ５のいずれかに対応する）一方、眼球１２０の向きが右寄りである場合、顔向きＹに対応する領域Ａ１、Ａ４、Ａ５をそのまま用いる。同様に、顔１２２が右を向いている（すなわち、顔向きＹが右方向の領域Ａ３に対応する）一方、眼球１２０の向きが左寄りである場合、顔向きＹに対応する領域Ａ３をそのまま用いる。
【００７２】
例えば、図２１及び図２２Ａに示すように、顔向きＹに対応する領域が中央方向の領域Ａ１であり且つ眼球１２０の向きが中央である場合、顔向きＹに対応する領域Ａ１をそのまま注視方向Ｘとして用いる。
【００７３】
図２１及び図２２Ｂに示すように、顔向きＹに対応する領域が中央方向の領域Ａ１であり且つ眼球１２０の向きが左寄りである場合、顔向きＹに対応する領域Ａ１の１つ左側の領域（その他の方向の領域Ａ５）を注視方向Ｘとして用いる。
【００７４】
図２１及び図２２Ｃに示すように、顔向きＹに対応する領域が中央方向の領域Ａ１であり且つ眼球１２０の向きが右寄りである場合、顔向きＹに対応する領域Ａ１をそのまま注視方向Ｘとして用いる。中央方向の領域Ａ１は、正面方向の領域Ａ２よりも左側であり、顔１２２は、左側を向いているのに対し、眼球１２０の向きがこれと反対の右寄り（右方向）であるためである。
【００７５】
なお、上記では、眼球１２０の向きが左寄り又は右寄りである場合、領域Ａ１〜Ａ５を１つ左側又は右側にずらしたが、これに限らない。例えば、眼球１２０の向きを４段階以上に分ける場合、眼球１２０の向きに応じて領域Ａ１〜Ａ５（場合によっては、より多い又は少ない領域）を２段階以上左側又は右側にずらしてもよい。また、領域Ａ１〜Ａ５をずらすことに代えて、次のような方法を採ることもできる。すなわち、眼球１２０の向きに応じて顔向きＹ（角度）の補正量αを算出する。そして、検出した顔向きＹに補正量αを加えた合計角度が領域Ａ１〜Ａ５のいずれに該当する。
【００７６】
［５−３．操作対象機器の選択（図１１のＳ４）］
（５−３−１．概要）
図２３は、ＥＣＵ２４が操作対象機器を選択するフローチャートである。ステップＳ１１１において、ＥＣＵ２４は、図１１のステップＳ１で特定した運転者１００の注視方向（顔向きを眼球向きで補正したもの）が、中央、正面、右、左又はその他のいずれであるかを確認する。
【００７７】
運転者１００の注視方向が中央方向（領域Ａ１）である場合、ステップＳ１１２において、ＥＣＵ２４は、中央方向の車載機器群、すなわち、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４からなるグループＡを特定し、グループＡの中から操作対象機器を選択する。
【００７８】
運転者１００の注視方向が正面方向（領域Ａ２）である場合、ステップＳ１１３において、ＥＣＵ２４は、正面方向の車載機器群、すなわち、ＨＵＤ４６、ハザードランプ４８及びシート５０からなるグループＢを特定し、グループＢの中から操作対象機器を選択する。
【００７９】
運転者１００の注視方向が右方向（領域Ａ３）である場合、ステップＳ１１４において、ＥＣＵ２４は、右方向の車載機器群、すなわち、ドアミラー５２、後方ライト５４及び運転席側ウィンドウ５６からなるグループＣを特定し、グループＣの中から操作対象機器を選択する。
【００８０】
運転者１００の注視方向が左方向（領域Ａ４）である場合、ステップＳ１１５において、ＥＣＵ２４は、左方向の車載機器群、すなわち、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８からなるグループＤを特定し、グループＤの中から操作対象機器を選択する。
【００８１】
運転者１００の注視方向がその他の方向（領域Ａ５）である場合、ＥＣＵ２４は、いずれの車載機器２０も選択せずに今回の処理を終える。
【００８２】
（５−３−２．中央方向）
図２４は、運転者１００の注視方向が中央方向（領域Ａ１）である場合に操作対象機器を選択するフローチャートである。ステップＳ１２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
【００８３】
押し下げられたボタンが上ボタン３２である場合、ステップＳ１２２において、ＥＣＵ２４は、ナビゲーション装置４０を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２３において、ＥＣＵ２４は、ナビゲーション装置４０を操作対象機器として設定する。
【００８４】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１２４において、ＥＣＵ２４は、オーディオ装置４２を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２５において、ＥＣＵ２４は、オーディオ装置４２を操作対象機器として設定する。
【００８５】
押し下げられたボタンが下ボタン３４である場合、ステップＳ１２６において、ＥＣＵ２４は、エアコンディショナ４４を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１２７において、ＥＣＵ２４は、エアコンディショナ４４を操作対象機器として設定する。
【００８６】
押し下げられたボタンが上ボタン３２、中央ボタン３０及び下ボタン３４のいずれでもない場合、ＥＣＵ２４は、今回の処理を終える。
【００８７】
（５−３−３．正面方向）
図２５は、運転者１００の注視方向が正面方向（領域Ａ２）である場合に操作対象機器を選択するフローチャートである。ステップＳ１３１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２又は下ボタン３４のいずれであるかを判定する。
【００８８】
押し下げられたボタンが上ボタン３２である場合、ステップＳ１３２において、ＥＣＵ２４は、ＨＵＤ４６を選択し、正面のパイロットランプ２２ｂを点灯させる。続くステップＳ１３３において、ＥＣＵ２４は、ＨＵＤ４６をオンにする。これにより、フロントウィンドウ１１にＨＵＤ４６が表示される。ステップＳ１３４において、ＥＣＵ２４は、ＨＵＤ４６を操作対象機器として設定する。
【００８９】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１３５において、ＥＣＵ２４は、ハザードランプ４８を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１３６において、ＥＣＵ２４は、ハザードランプ４８を点滅させる。ステップＳ１３７において、ＥＣＵ２４は、ハザードランプ４８を操作対象機器として設定する。
【００９０】
押し下げられたボタンが下ボタン３４である場合、ステップＳ１３８において、ＥＣＵ２４は、シート５０を選択し、中央のパイロットランプ２２ａを点灯させる。続くステップＳ１３９において、ＥＣＵ２４は、シート５０を操作対象機器として設定する。
【００９１】
押し下げられたボタンが上ボタン３２、中央ボタン３０及び下ボタン３４のいずれでもない場合、ＥＣＵ２４は、今回の処理を終える。
【００９２】
（５−３−４．右方向）
図２６は、運転者１００の注視方向が右方向（領域Ａ３）である場合に操作対象機器を選択するフローチャートである。ステップＳ１４１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【００９３】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ１４２において、ＥＣＵ２４は、運転席側ウィンドウ５６を選択し、右側のパイロットランプ２２ｃを点灯させる。続くステップＳ１４３において、ＥＣＵ２４は、運転席側ウィンドウ５６を開閉する。すなわち、下ボタン３４が押し下げられている場合、運転席側ウィンドウ５６を開き、上ボタン３２が押し下げられている場合、運転席側ウィンドウ５６を閉じる。ステップＳ１４４において、ＥＣＵ２４は、運転席側ウィンドウ５６を操作対象機器として設定する。
【００９４】
押し下げられたボタンが左ボタン３６である場合、ステップＳ１４５において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が格納状態である場合、今回の処理を終える。ドアミラー５２が展開状態である場合、ステップＳ１４６において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、右側のパイロットランプ２２ｃを点灯させる。
【００９５】
ステップＳ１４７において、ＥＣＵ２４は、左右のドアミラー５２を格納する。ステップＳ１４８において、ＥＣＵ２４は、左右のドアミラー５２を選択して、右側のパイロットランプ２２ｃを消灯する。
【００９６】
押し下げられたボタンが右ボタン３８である場合、ステップＳ１４９において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が展開状態である場合、今回の処理を終える。ドアミラー５２が格納状態である場合、ステップＳ１５０において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、右側のパイロットランプ２２ｃを点灯させる。
【００９７】
ステップＳ１５１において、ＥＣＵ２４は、左右のドアミラー５２を展開する。ステップＳ１５２において、ＥＣＵ２４は、左右のドアミラー５２を選択して、右側のパイロットランプ２２ｃを消灯する。
【００９８】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１５３において、ＥＣＵ２４は、後方ライト５４を選択し、右側のパイロットランプ２２ｃを点灯させる。続くステップＳ１５４において、ＥＣＵ２４は、後方ライト５４を点灯させる。ステップＳ１５５において、後方ライト５４を操作対象機器として設定する。
【００９９】
（５−３−５．左方向）
図２７は、運転者１００の注視方向が左方向（領域Ａ４）である場合に操作対象機器を選択するフローチャートである。ステップＳ１６１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが上ボタン３２、中央ボタン３０、下ボタン３４、右ボタン３８又は左ボタン３６のいずれであるかを判定する。
【０１００】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ１６２において、ＥＣＵ２４は、助手席側ウィンドウ５８を選択し、左側のパイロットランプ２２ｄを点灯させる。続くステップＳ１６３において、ＥＣＵ２４は、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４が押し下げられている場合、助手席側ウィンドウ５８を開き、上ボタン３２が押し下げられている場合、助手席側ウィンドウ５８を閉じる。ステップＳ１６４において、ＥＣＵ２４は、助手席側ウィンドウ５８を操作対象機器として設定する。
【０１０１】
押し下げられたボタンが左ボタン３６である場合、ステップＳ１６５において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が展開状態である場合、今回の処理を終える。ドアミラー５２が格納状態である場合、ステップＳ１６６において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、左側のパイロットランプ２２ｄを点灯させる。
【０１０２】
ステップＳ１６７において、ＥＣＵ２４は、左右のドアミラー５２を展開する。ステップＳ１６８において、ＥＣＵ２４は、左右のドアミラー５２を選択して、左側のパイロットランプ２２ｄを消灯する。
【０１０３】
押し下げられたボタンが右ボタン３８である場合、ステップＳ１６９において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が格納状態である場合、今回の処理を終える。ドアミラー５２が展開状態である場合、ステップＳ１７０において、ＥＣＵ２４は、左右のドアミラー５２を選択し、左側のパイロットランプ２２ｄを点灯させる。
【０１０４】
ステップＳ１７１において、ＥＣＵ２４は、左右のドアミラー５２を格納する。ステップＳ１７２において、ＥＣＵ２４は、左右のドアミラー５２を選択して、左側のパイロットランプ２２ｄを消灯する。
【０１０５】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ１７３において、ＥＣＵ２４は、後方ライト５４を選択し、左側のパイロットランプ２２ｄを点灯させる。続くステップＳ１７４において、ＥＣＵ２４は、後方ライト５４を点灯させる。ステップＳ１７５において、後方ライト５４を操作対象機器として設定する。
【０１０６】
［５−４．操作対象機器の操作（図１１のＳ５）］
（５−４−１．概要）
図２８は、ＥＣＵ２４が操作対象機器を操作するフローチャートである。ステップＳ１８１において、ＥＣＵ２４は、図１１のステップＳ４により選択中の操作対象機器を確認する。選択中の操作対象機器がナビゲーション装置４０である場合、ステップＳ１８２において、ＥＣＵ２４は、ナビゲーション装置４０の操作を行う。選択中の操作対象機器がオーディオ装置４２である場合、ステップＳ１８３において、ＥＣＵ２４は、オーディオ装置４２の操作を行う。選択中の操作対象機器がエアコンディショナ４４である場合、ステップＳ１８４において、ＥＣＵ２４は、エアコンディショナ４４の操作を行う。
【０１０７】
選択中の操作対象機器がＨＵＤ４６である場合、ステップＳ１８５において、ＥＣＵ２４は、ＨＵＤ４６の操作を行う。選択中の操作対象機器がハザードランプ４８である場合、ステップＳ１８６において、ＥＣＵ２４は、ハザードランプ４８の操作を行う。選択中の操作対象機器がシート５０である場合、ステップＳ１８７において、ＥＣＵ２４は、シート５０の操作を行う。選択中の操作対象機器が後方ライト５４である場合、ステップＳ１８８において、ＥＣＵ２４は、後方ライト５４の操作を行う。選択中の操作対象機器が運転席側ウィンドウ５６である場合、ステップＳ１８９において、ＥＣＵ２４は、運転席側ウィンドウ５６の操作を行う。選択中の操作対象機器が助手席側ウィンドウ５８である場合、ステップＳ１９０において、ＥＣＵ２４は、助手席側ウィンドウ５８の操作を行う。
【０１０８】
（５−４−２．ナビゲーション装置４０の操作）
図２９は、ナビゲーション装置４０の操作を行うフローチャートである。ステップＳ２０１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１０９】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２０２において、ＥＣＵ２４は、ナビゲーション装置４０の表示の縮尺を変更する。すなわち、上ボタン３２が押し下げられている場合、縮尺を拡大し、下ボタン３４が押し下げられている場合、縮尺を縮小する。
【０１１０】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２０３において、ＥＣＵ２４は、ナビゲーション装置４０の表示方向を切り替える。すなわち、左ボタン３６が押し下げられた場合、表示方向を北向きとし、右ボタン３８が押し下げられた場合、表示方向を車両１０の進行方向とする。
【０１１１】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２０４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２０５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１１２】
（５−４−３．オーディオ装置４２の操作）
図３０は、オーディオ装置４２の操作を行うフローチャートである。ステップＳ２１１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１１３】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２１２において、ＥＣＵ２４は、オーディオ装置４２の音量を調整する。すなわち、上ボタン３２が押し下げられている場合、音量を増大させ、下ボタン３４が押し下げられている場合、音量を減少させる。
【０１１４】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２１３において、ＥＣＵ２４は、オーディオ装置４２の選曲又は選局を切り替える。すなわち、左ボタン３６が押し下げられている場合、前の楽曲又は前の放送局に切り替え、右ボタン３８が押し下げられている場合、次の楽曲又は次の放送局に切り替える。
【０１１５】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２１４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２１５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１１６】
（５−４−４．エアコンディショナ４４の操作）
図３１は、エアコンディショナ４４の操作を行うフローチャートである。ステップＳ２２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１１７】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２２２において、ＥＣＵ２４は、エアコンディショナ４４の設定温度を調整する。すなわち、上ボタン３２が押し下げられている場合、設定温度を増加させ、下ボタン３４が押し下げられている場合、設定温度を減少させる。
【０１１８】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２２３において、ＥＣＵ２４は、エアコンディショナ４４の設定風量を調整する。すなわち、左ボタン３６が押し下げられている場合、設定風量を減少させ、右ボタン３８が押し下げられている場合、設定風量を増加させる。
【０１１９】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２２４において、ＥＣＵ２４は、中央のパイロットランプ２２ａを消灯させる。続くステップＳ２２５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１２０】
（５−４−５．ＨＵＤ４６の操作）
図３２は、ＨＵＤ４６の操作を行うフローチャートである。ステップＳ２３１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
【０１２１】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２３２において、ＥＣＵ２４は、ＨＵＤ４６の表示情報を切り替える。例えば、上ボタン３２が押し下げられている場合、車速１１０→走行距離１１２→燃費１１４→車速１１０→走行距離１１２、、、のように表示情報を切り替える（図７Ｃ参照）。下ボタン３４が押し下げられている場合、車速１１０→燃費１１４→走行距離１１２→車速１１０→燃費１１４、、、のように表示情報を切り替える。
【０１２２】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２３３において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。続くステップＳ２３４において、ＥＣＵ２４は、ＨＵＤ４６をオフにする。ステップＳ２３５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１２３】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１２４】
（５−４−６．ハザードランプ４８の操作）
図３３は、ハザードランプ４８の操作を行うフローチャートである。ステップＳ２４１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０又はその他のボタンのいずれであるかを判定する。
【０１２５】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２４２において、ＥＣＵ２４は、ハザードランプ４８を消灯する。続くステップＳ２４３において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。ステップＳ２４４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１２６】
押し下げられたボタンがその他のボタン（上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１２７】
（５−４−７．シート５０の操作）
図３４は、運転者１００用のシート５０の操作を行うフローチャートである。ステップＳ２５１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
【０１２８】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２５２において、ＥＣＵ２４は、シート５０の前後スライド調整を行う。すなわち、上ボタン３２が押し下げられている場合、シート５０を前進させ、下ボタン３４が押し下げられている場合、シート５０を後退させる。
【０１２９】
押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２５３において、ＥＣＵ２４は、シート５０のリクライニング角度を調整する。すなわち、左ボタン３６が押し下げられている場合、リクライニング角度を減少させ、右ボタン３８が押し下げられている場合、リクライニング角度を増大させる。
【０１３０】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２５４において、ＥＣＵ２４は、正面のパイロットランプ２２ｂを消灯させる。続くステップＳ２５５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１３１】
（５−４−８．後方ライト５４の操作）
図３５は、後方ライト５４の操作を行うフローチャートである。ステップＳ２６１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０又はその他のボタンのいずれであるかを判定する。
【０１３２】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２６２において、ＥＣＵ２４は、後方ライト５４を消灯させる。続くステップＳ２６３において、ＥＣＵ２４は、点灯中の右側又は左側のパイロットランプ２２ｃ、２２ｄを消灯させる。続くステップＳ２６４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１３３】
押し下げられたボタンがその他のボタン（上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１３４】
（５−４−９．運転席側ウィンドウ５６の操作）
図３６は、運転席側ウィンドウ５６の操作を行うフローチャートである。ステップＳ２７１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のボタンのいずれであるかを判定する。
【０１３５】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２７２において、ＥＣＵ２４は、運転席側ウィンドウ５６を開閉する。すなわち、下ボタン３４が押し下げられている場合、運転席側ウィンドウ５６を開き、上ボタン３２が押し下げられている場合、運転席側ウィンドウ５６を閉じる。
【０１３６】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２７３において、ＥＣＵ２４は、右側のパイロットランプ２２ｃを消灯させる。続くステップＳ２７４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１３７】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１３８】
（５−４−１０．助手席側ウィンドウ５８の操作）
図３７は、助手席側ウィンドウ５８の操作を行うフローチャートである。ステップＳ２８１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のボタンのいずれであるかを判定する。
【０１３９】
押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２８２において、ＥＣＵ２４は、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４が押し下げられている場合、助手席側ウィンドウ５８を開き、上ボタン３２が押し下げられている場合、助手席側ウィンドウ５８を閉じる。
【０１４０】
押し下げられたボタンが中央ボタン３０である場合、ステップＳ２８３において、ＥＣＵ２４は、左側のパイロットランプ２２ｄを消灯させる。続くステップＳ２８４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
【０１４１】
押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
【０１４２】
６．本実施形態の効果
以上説明したように、本実施形態によれば、運転者１００の顔１２２の向き及び眼球１２０の向きに基づいて車載機器群（グループＡ〜Ｄ）を特定する。従って、操作対象機器の検出精度を向上し、誤判定を防止すること及びコストを低減することの少なくとも一方を実現可能となる。
【０１４３】
例えば、顔向きのみから操作対象を特定する構成と比べた場合、眼球向きを用いる分、検出精度を上げることが可能となる。また、虹彩１２４又は瞳孔１３０の向きのみから操作対象機器を特定する構成と比べた場合、虹彩１２４又は瞳孔１３０よりも大きな顔１２２の画像を用いる分、向きの特定が容易となるため、検出精度の向上又は演算処理の低減を図ることが可能となる。さらに、眼球１２０の向きの検出は、顔１２２の向きの検出と合わせて用いるため、眼球１２０の向きの検出のみを用いる場合と比べて検出精度を低くすることが可能となる。この点からも演算処理の低減を図ることが可能となる。
【０１４４】
本実施形態では、虹彩１２４又は瞳孔１３０が右側エリアＥ３に位置しており顔１２２が左に向いている場合、及び虹彩１２４又は瞳孔１３０が左側エリアＥ２に位置しており顔１２２が右に向いている場合には、顔向き検出機能８０により検出された顔１２２の向きに基づいて特定されたエリアＥに配置された車載機器群（グループＡ〜Ｄ）を特定する（図２１及び図２２Ｃ参照）。顔向きと眼球向きが逆の場合には運転者１００は特定の車載機器２０を注視しようとしているのではないと考えられる。このため、操作対象機器の特定が不要な場面で当該特定をすることに伴う誤作動を防止することが可能となる。
【０１４５】
本実施形態において、眼球１２０の向きが検出されない場合には、顔向き検出機能８０により検出された顔１２２の向きに基づいて特定されたエリアＥに配置された車載機器群（グループＡ〜Ｄ）を特定する（図１２のＳ１７）。眼球１２０が検出されていない場合でも顔１２２の向きだけで操作対象機器を特定できるため、車載機器特定装置１２を使用できない状態を減らすことが可能となる。
【０１４６】
本実施形態では、顔向き検出機能８０は、顔１２２の向きが第１時間Ｔ１同一方向を向いている場合に検出（又は検出結果の確定）を行い、眼球向き検出機能８２は、虹彩１２４又は瞳孔１３０が第２時間Ｔ２同一エリアＥに位置している場合に検出（又は検出結果の確定）を行い、第１時間Ｔ１は、第２時間Ｔ２よりも短い。一般に、顔向きを変化させるよりも眼球１２０の向きを変化させる方が容易であると共に、運転中は、他の車両、歩行者及び信号の状態等、様々な情報を取得する必要があり、眼球１２０の向きが比較的激しくなる可能性がある。本実施形態では、顔向きの検出（特定）時間よりも眼球１２０の向きの検出（特定）時間を長くする。このため、操作対象機器を特定する意図がない眼球１２０の短時間の動きにより車載機器２０の特定が誤って行われることを防止し易くなる。
【０１４７】
７．変形例
なお、この発明は、上記実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
【０１４８】
［７−１．搭載対象］
上記実施形態では、操作装置１２を車両１０に搭載したが、これに限らず、別の対象に搭載してもよい。例えば、操作装置１２を船舶や航空機等の移動体に用いることもできる。また、移動体に限らず、対象者の注視方向を特定することを要する装置であれば、その他の装置であってもよい。
【０１４９】
［７−２．注視方向の検出］
注視方向Ｘの検出対象としての乗員は、運転者１００に限らず、その他の乗員（助手席に座っている乗員、後部座席に座っている乗員等）であってもよい。
【０１５０】
上記実施形態では、フロントウィンドウ１１周辺を５つの領域Ａ１〜Ａ５に区切ったが（図５）、領域の数は、これに限らない。例えば、図３８のように、フロントウィンドウ１１周辺を３つの領域Ａ１１〜Ａ１３に区切ることもできる。或いは、図３９のように、フロントウィンドウ１１周辺を８つの領域Ａ２１〜Ａ２８に区切ることもできる。
【０１５１】
上記実施形態では、眼球向きの検出又は確定に用いる第２時間Ｔ２を、顔向きの検出又は確定に用いる第１時間Ｔ１よりも長く設定したが、これに限らず、第２時間Ｔ２を第１時間Ｔ１よりも短く設定してもよい。眼球向きの検出又は確定時間を短くすることにより、操作対象の車載機器群（グループＡ〜Ｄ）を特定する際、比較的短い時間、眼球向きを変化させればよいこととなる。これにより、操作対象の特定以外に用いることのできる眼球の動きの自由度を向上することが可能となる。なお、第１時間Ｔ１は、例えば、０．５〜２．０秒間のいずれかの値とし、第２時間Ｔ２は、例えば、０．２〜１．０秒間のいずれかの値とし、第１時間Ｔ１は、第２時間Ｔ２より所定程度（例えば、２〜１０倍のいずれか）長くすることができる。
【０１５２】
［７−３．操作対象機器の特定］
上記実施形態では、車両１０の車幅方向の特定を顔向き及び眼球向きに基づいて行い、車両１０の高さ方向の特定を十字キー１８の操作により行ったが、車幅方向の特定を顔向き及び眼球向きに基づいて行うものであれば、これに限らない。例えば、車両１０の高さ方向の特定を顔向き及び眼球の向きの少なくとも一方に基づいて行うこともできる。或いは、高さ方向に含まれる車載機器２０を１つのみ設定し、車幅方向の特定に伴って車載機器２０を特定するようにすることもできる。
【０１５３】
上記実施形態では、図１１、図１２、図１６、図２３〜図２７のフローチャートを用いて操作対象機器を特定したが、車両１０の車幅方向において車載機器群（グループＡ〜Ｄ）を特定し、その後、車両１０の高さ方向において操作対象機器を特定するものであれば、操作対象機器の特定方法は、これに限らない。例えば、図１１のフローチャートでは、ステップＳ２において十字キー１８においていずれかのボタンが押し下げられたか否かを判定しているが、当該判定は省略すること（例えば、図２３のステップＳ１１１と組み合わせること）もできる。また、図２４〜図２７のフローチャートでは、選択した操作対象機器に対応させてパイロットランプ２２を点灯させたが、パイロットランプ２２を点灯させなくてもよい。
【０１５４】
［７−４．操作手段］
上記実施形態では、操作対象機器を特定するために運転者１００（乗員）が操作する手段（操作手段）として、十字キー１８を用いたが、車両機器群（グループＡ〜Ｄ）において上下方向に配置されている車載機器２０を特定又は選択することができるものであれば、これに限らない。例えば、上記実施形態の十字キー１８は、中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６及び右ボタン３８を有していたが、上ボタン３２及び下ボタン３４のみの構成又は中央ボタン３０、上ボタン３２及び下ボタン３４のみの構成であってもよい。或いは、各ボタンが連結されている構成（例えば、特許文献１の図４に示されるような十字ボタン）であってもよい。また、上記実施形態の十字キー１８の各ボタンは、いわゆるプッシュ式スイッチの類であったが（図３参照）、スライドスイッチ、レバースイッチ等その他の種類のスイッチであってもよい。
【０１５５】
上記実施形態では、十字キー１８が、車載機器群（グループＡ〜Ｄ）において操作対象機器を特定するための手段と、特定した操作対象機器を操作するための手段段との両方を兼ねていたが、特定した操作対象機器を操作するための手段は別に設けることもできる。
【０１５６】
上記実施形態では、十字キー１８をステアリングホイール１６に設けたが、十字キー１８を設ける位置は、これに限らない。例えば、ステアリングコラムやインスツルメントパネルのいずれかの位置に設けることもできる。
【０１５７】
［７−５．車載機器２０及び車載機器群］
上記実施形態では、複数の車載機器２０として、ナビゲーション装置４０、オーディオ装置４２、エアコンディショナ４４、ＨＵＤ４６、ハザードランプ４８、シート５０、ドアミラー５２、後方ライト５４、運転席側ウィンドウ５６及び助手席側ウィンドウ５８を挙げたが、車両１０の乗員が操作可能な複数の車載機器が車幅方向に配置されていれば、これに限らない。このため、各領域Ａ１〜Ａ５に配置される車載機器は１つであってもよい。
【符号の説明】
【０１５８】
１０…車両
１２…車載機器操作装置（車載機器特定装置）
１４…乗員カメラ（撮像手段、撮像部） ２０…車載機器
２４…ＥＣＵ
７２…車載機器群特定機能（車載機器特定手段／車載機器特性部の一部）
７４…個別車載機器特定機能（車載機器特定手段／車載機器特性部の一部）
８０…顔向き検出機能（顔向き検出手段、顔向き検出部）
８２…眼球向き検出機能（眼球向き検出手段、眼球向き検出部）
１００…運転者（乗員） １２０…眼球
１２２…顔 １２４…虹彩
１３０…瞳孔 Ｅ１…中央エリア
Ｅ２…左側エリア Ｅ３…右側エリア
【特許請求の範囲】
【請求項１】
車両に搭載される複数の車載機器と、
前記車両の乗員を含む画像を撮像可能に前記車両に設けられる撮像手段と、
前記撮像手段により撮像された前記画像に基づいて前記車両の車幅方向における前記乗員の顔の向き（以下「顔向き」という。）を検出する顔向き検出手段と、
前記撮像手段により撮像された前記画像に基づいて前記車両の車幅方向における前記乗員の眼球の向き（以下「眼球向き」という。）を検出する眼球向き検出手段と、
前記顔向き検出手段により検出された前記顔向きに基づき前記複数の車載機器のうちいずれかの車載機器を特定する車載機器特定手段と
を備え、
前記複数の車載機器は、前記車幅方向にそれぞれ複数配置されていると共に、前記車幅方向において所定エリアごとに区切った複数の車載機器群に区分されており、
前記眼球向き検出手段は、前記画像から前記乗員の目尻及び目頭と虹彩又は瞳孔とを認識して前記目尻と前記目頭の間を右側領域、左側領域及び中央領域に分割し、前記虹彩又は前記瞳孔が前記右側領域、前記左側領域及び前記中央領域のいずれに位置しているかを検出し、
前記車載機器特定手段は、
前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記右側領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定された前記エリアの右側のエリアに配置された前記車載機器群を特定し、
前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記左側領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定された前記エリアの左側のエリアに配置された前記車載機器群を特定し、
前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記中央領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定する
ことを特徴とする車載機器特定装置。
【請求項２】
請求項１記載の車載機器特定装置において、
前記車載機器特定手段は、
前記虹彩又は前記瞳孔が前記右側領域に位置しており前記顔が正面よりも左に向いている場合、及び前記虹彩又は前記瞳孔が前記左側領域に位置しており前記顔が正面よりも右に向いている場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定する
ことを特徴とする車載機器特定装置。
【請求項３】
請求項１又は２記載の車載機器特定装置において、
前記車載機器特定手段は、
前記撮像手段により前記眼球が検出されない場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定する
ことを特徴とする車載機器特定装置。
【請求項４】
請求項１〜３のいずれか１項に記載の車載機器特定装置において、
前記顔向き検出手段は、前記顔向きが第１所定時間同一方向を向いている場合に検出を行い、
前記眼球向き検出手段は、前記虹彩又は前記瞳孔が第２所定時間同一領域に位置している場合に検出を行い、
前記第１所定時間は、前記第２所定時間よりも短い
ことを特徴とする車載機器特定装置。
【請求項５】
請求項１〜３のいずれか１項に記載の車載機器特定装置において、
前記顔向き検出手段は、前記顔向きが第１所定時間同一方向を向いている場合に検出を行い、
前記眼球向き検出手段は、前記虹彩又は前記瞳孔が第２所定時間同一領域に位置している場合に検出を行い、
前記第１所定時間は、前記第２所定時間よりも長い
ことを特徴とする車載機器特定装置。
【請求項６】
車両において車幅方向に配置された複数の車載機器と、
前記車両に設けられ前記車両の乗員を含む画像を撮像する撮像部と、
前記画像に基づいて車幅方向における前記乗員の顔の向き（以下「顔向き」という。）を検出する顔向き検出部と、
前記画像に基づいて前記車幅方向における前記乗員の顔に対する前記乗員の眼球の向き（以下「眼球向き」という。）を検出する眼球向き検出部と、
前記顔向き及び前記眼球向きに基づき前記複数の車載機器から操作対象を特定する車載機器特定部と
を備え、
前記車載機器特定部は、
前記眼球向きが前記乗員の顔の正面に向かって右側の第１位置よりも右寄りである場合には、前記顔向きの方向に位置する前記車載機器よりもさらに右側の１つ又は複数の前記車載機器から前記操作対象を特定し、
前記眼球向きが前記乗員の顔の正面に向かって左側の第２位置よりも左寄りである場合には、前記顔向きの方向に位置する前記車載機器よりもさらに左側の１つ又は複数の前記車載機器から前記操作対象を特定し、
前記眼球向きが前記乗員の顔の正面に向かって前記第１位置と前記第２位置の間にある場合には、前記顔向きの方向に位置する１つ又は複数の前記車載機器から前記操作対象を特定する
ことを特徴とする車載機器特定装置。
【請求項７】
請求項６記載の車載機器特定装置において、
前記車載機器特定部は、
前記眼球向きが前記乗員の顔に向かって前記第１位置よりも右寄りであり且つ前記顔が正面よりも左に向いている場合、又は前記眼球向きが前記乗員の顔に向かって前記第２位置よりも左寄りであり且つ前記顔が正面よりも右に向いている場合には、前記顔向きの方向に位置する１つ又は複数の前記車載機器から前記操作対象を特定する
ことを特徴とする車載機器特定装置。
【請求項１】
車両に搭載される複数の車載機器と、
前記車両の乗員を含む画像を撮像可能に前記車両に設けられる撮像手段と、
前記撮像手段により撮像された前記画像に基づいて前記車両の車幅方向における前記乗員の顔の向き（以下「顔向き」という。）を検出する顔向き検出手段と、
前記撮像手段により撮像された前記画像に基づいて前記車両の車幅方向における前記乗員の眼球の向き（以下「眼球向き」という。）を検出する眼球向き検出手段と、
前記顔向き検出手段により検出された前記顔向きに基づき前記複数の車載機器のうちいずれかの車載機器を特定する車載機器特定手段と
を備え、
前記複数の車載機器は、前記車幅方向にそれぞれ複数配置されていると共に、前記車幅方向において所定エリアごとに区切った複数の車載機器群に区分されており、
前記眼球向き検出手段は、前記画像から前記乗員の目尻及び目頭と虹彩又は瞳孔とを認識して前記目尻と前記目頭の間を右側領域、左側領域及び中央領域に分割し、前記虹彩又は前記瞳孔が前記右側領域、前記左側領域及び前記中央領域のいずれに位置しているかを検出し、
前記車載機器特定手段は、
前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記右側領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定された前記エリアの右側のエリアに配置された前記車載機器群を特定し、
前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記左側領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定された前記エリアの左側のエリアに配置された前記車載機器群を特定し、
前記眼球向き検出手段が、前記虹彩又は前記瞳孔が前記中央領域に位置していると検出した場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定する
ことを特徴とする車載機器特定装置。
【請求項２】
請求項１記載の車載機器特定装置において、
前記車載機器特定手段は、
前記虹彩又は前記瞳孔が前記右側領域に位置しており前記顔が正面よりも左に向いている場合、及び前記虹彩又は前記瞳孔が前記左側領域に位置しており前記顔が正面よりも右に向いている場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定する
ことを特徴とする車載機器特定装置。
【請求項３】
請求項１又は２記載の車載機器特定装置において、
前記車載機器特定手段は、
前記撮像手段により前記眼球が検出されない場合には、前記顔向き検出手段により検出された前記顔向きに基づいて特定されたエリアに配置された前記車載機器群を特定する
ことを特徴とする車載機器特定装置。
【請求項４】
請求項１〜３のいずれか１項に記載の車載機器特定装置において、
前記顔向き検出手段は、前記顔向きが第１所定時間同一方向を向いている場合に検出を行い、
前記眼球向き検出手段は、前記虹彩又は前記瞳孔が第２所定時間同一領域に位置している場合に検出を行い、
前記第１所定時間は、前記第２所定時間よりも短い
ことを特徴とする車載機器特定装置。
【請求項５】
請求項１〜３のいずれか１項に記載の車載機器特定装置において、
前記顔向き検出手段は、前記顔向きが第１所定時間同一方向を向いている場合に検出を行い、
前記眼球向き検出手段は、前記虹彩又は前記瞳孔が第２所定時間同一領域に位置している場合に検出を行い、
前記第１所定時間は、前記第２所定時間よりも長い
ことを特徴とする車載機器特定装置。
【請求項６】
車両において車幅方向に配置された複数の車載機器と、
前記車両に設けられ前記車両の乗員を含む画像を撮像する撮像部と、
前記画像に基づいて車幅方向における前記乗員の顔の向き（以下「顔向き」という。）を検出する顔向き検出部と、
前記画像に基づいて前記車幅方向における前記乗員の顔に対する前記乗員の眼球の向き（以下「眼球向き」という。）を検出する眼球向き検出部と、
前記顔向き及び前記眼球向きに基づき前記複数の車載機器から操作対象を特定する車載機器特定部と
を備え、
前記車載機器特定部は、
前記眼球向きが前記乗員の顔の正面に向かって右側の第１位置よりも右寄りである場合には、前記顔向きの方向に位置する前記車載機器よりもさらに右側の１つ又は複数の前記車載機器から前記操作対象を特定し、
前記眼球向きが前記乗員の顔の正面に向かって左側の第２位置よりも左寄りである場合には、前記顔向きの方向に位置する前記車載機器よりもさらに左側の１つ又は複数の前記車載機器から前記操作対象を特定し、
前記眼球向きが前記乗員の顔の正面に向かって前記第１位置と前記第２位置の間にある場合には、前記顔向きの方向に位置する１つ又は複数の前記車載機器から前記操作対象を特定する
ことを特徴とする車載機器特定装置。
【請求項７】
請求項６記載の車載機器特定装置において、
前記車載機器特定部は、
前記眼球向きが前記乗員の顔に向かって前記第１位置よりも右寄りであり且つ前記顔が正面よりも左に向いている場合、又は前記眼球向きが前記乗員の顔に向かって前記第２位置よりも左寄りであり且つ前記顔が正面よりも右に向いている場合には、前記顔向きの方向に位置する１つ又は複数の前記車載機器から前記操作対象を特定する
ことを特徴とする車載機器特定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１８Ａ】
【図１８Ｂ】
【図１９Ａ】
【図１９Ｂ】
【図２０Ａ】
【図２０Ｂ】
【図２１】
【図２２Ａ】
【図２２Ｂ】
【図２２Ｃ】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１８Ａ】
【図１８Ｂ】
【図１９Ａ】
【図１９Ｂ】
【図２０Ａ】
【図２０Ｂ】
【図２１】
【図２２Ａ】
【図２２Ｂ】
【図２２Ｃ】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【公開番号】特開２０１３−５６６０８（Ｐ２０１３−５６６０８Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９５６８６（Ｐ２０１１−１９５６８６）
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]