車載機器制御装置
【課題】ユーザの視線によってスイッチを選択する車載機器制御装置において、車両前方を見ることが疎かになることなく、ユーザが所望するスイッチを精度よく選択できるようにすること。
【解決手段】ＨＵＤによって車両２のフロントウィンドウ４１のスイッチ表示領域６０に複数のスイッチ６１〜６４を表示させる。運転者が車両前方を注視していときに視線が通常位置する領域として、フロントウィンドウ４１の一部の領域と重複する形で視線監視領域５０を定める。カメラ４によって撮像された運転者の眼球の画像に基づいて、運転者の視線が視線監視領域５０から外れたか否かを判断する。外れた場合には運転者の視線の動きを追跡し、複数のスイッチ６１〜６４のうち、視線が最も長く停留したスイッチ、視線が最後に通過したスイッチ又は視線の進行方向にあるスイッチを、運転者が所望するスイッチとして決定する。
【解決手段】ＨＵＤによって車両２のフロントウィンドウ４１のスイッチ表示領域６０に複数のスイッチ６１〜６４を表示させる。運転者が車両前方を注視していときに視線が通常位置する領域として、フロントウィンドウ４１の一部の領域と重複する形で視線監視領域５０を定める。カメラ４によって撮像された運転者の眼球の画像に基づいて、運転者の視線が視線監視領域５０から外れたか否かを判断する。外れた場合には運転者の視線の動きを追跡し、複数のスイッチ６１〜６４のうち、視線が最も長く停留したスイッチ、視線が最後に通過したスイッチ又は視線の進行方向にあるスイッチを、運転者が所望するスイッチとして決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された車載機器の制御を実行する車載機器制御装置に関する。
【背景技術】
【０００２】
従来、車両に搭載された車載機器の制御を実行する車載機器制御装置において、その車両のユーザの視線を利用して、制御対象となる車載機器を選択したり、車載機器の制御内容を選択したりするものが知られている（例えば、特許文献１〜４参照）。例えば、特許文献１〜４の技術では、ユーザが車両の前方を注視したまま車載機器を操作できるようにするために、ヘッドアップディスプレイ（ＨＵＤ）によって、車両のフロントウィンドウの一部の領域に、車載機器の操作項目を示した複数のスイッチ（アイコン）を表示させる。また、ユーザの視線を検出する視線検出手段を備え、その視線検出手段に検出された視線に基づいて、フロントウィンドウに表示された複数のスイッチのうち、ユーザが一定時間以上注視したスイッチを特定する。そして、その特定したスイッチに対応する操作項目がユーザによって選択されたものとして、その操作項目に応じた制御を実行する。例えば、エアコンの操作項目が選択された場合には、ステアリングに設けられたステアリングスイッチの操作に基づいて、エアコンの設定温度を設定する制御を実行する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２４８２１６号公報
【特許文献２】特開平７−２２９７１４号公報
【特許文献３】特開平５−２７０２９６号公報
【特許文献４】特開２００７−３０２１１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、表示されたスイッチを選択するために、ユーザは所望のスイッチを一定時間以上注視する必要があるため、その分、車両前方を見ることが疎かになるという問題点があった。その問題点を解消するために、一定時間以上のスイッチの注視という要件を外すことも考えられるが、この場合には、ユーザが所望しないスイッチを選択してしまうことが予想される。
【０００５】
本発明は上記問題点に鑑みてなされたものであり、車両前方を見ることが疎かになることなく、ユーザが所望するスイッチを精度よく選択することができる車載機器制御装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、予め表示された複数のスイッチの中からユーザの視線によって選択されたスイッチである選択スイッチに応じて、車両に搭載された車載機器の制御を実行する車載機器制御装置であって、
前記ユーザの視線が予め定められた視線監視領域から外れたか否かを判断する視線移動判断手段と、
その視線移動判断手段が前記ユーザの視線が前記視線監視領域から外れたと判断したことに基づいて、前記ユーザの視線の動きを追跡する視線追跡手段と、
前記視線監視領域外に表示された前記複数のスイッチのうち、前記視線追跡手段が追跡した前記視線の動きに応じたスイッチを、前記選択スイッチとして決定するスイッチ決定手段と、を備えることを特徴とする。
【０００７】
これによれば、視線監視領域が予め定められており、その視線監視領域外に、車載機器に関する複数のスイッチが表示される。そして、視線移動判断手段が、ユーザの視線が視線監視領域から外れたか否かを判断するので、その判断結果に応じて、ユーザがスイッチを選択しようとしているか否かの見当をつけることができる。すなわち、ユーザの視線が視線監視領域から外れた場合には、視線が視線監視領域内にある場合に比べて、ユーザはスイッチを選択する意思があると考えることができる。そして、ユーザの視線が視線監視領域から外れた場合には、視線追跡手段がユーザの視線の動きを追跡し、スイッチ決定手段がその視線の動きに応じたスイッチを選択スイッチとして決定する。
【０００８】
これにより、常にユーザの視線の動きを追跡して選択スイッチを決定する場合に比べて、ユーザが所望するスイッチを精度よく選択することができる。また、ユーザの視線が視線監視領域から外れた場合には、ユーザはスイッチを選択する意思があると考えることができるので、一定時間以上スイッチを注視していなくてもそのスイッチを選択スイッチとして決定することができる。よって、車両前方を見ることが疎かになることを防止できる。
【０００９】
また、本発明の車載機器制御装置における前記スイッチ決定手段は、前記視線が通過した通過線上又はその通過線の先にある前記スイッチを前記選択スイッチとして決定することを特徴とする。
【００１０】
このように、ユーザの視線が通過した通過線上にあるスイッチを選択スイッチとして決定することにより、ユーザが所望するスイッチを精度よく選択することができる。さらに、視線の通過線の先にあるスイッチも選択スイッチとして決定することにより、ユーザは所望するスイッチまで視線を移動させる必要がないので、ユーザの利便性を向上できる。
【００１１】
また、本発明の車載機器制御装置における前記スイッチ決定手段は、前記ユーザの視線が前記視線監視領域から外れているときにおける特定期間をスイッチ選択期間としたときに、複数回の前記スイッチ選択期間における前記視線の動きに応じた前記スイッチを、前記選択スイッチとして決定することを特徴とする。
【００１２】
これによれば、複数回の視線の動きに応じたスイッチを選択スイッチとして決定するので、一回の視線の動きで選択スイッチを決定する場合に比べて、決定した選択スイッチの精度を向上できる。
【００１３】
また、本発明の車載機器制御装置における前記スイッチ選択期間は、前記ユーザの視線が前記視線監視領域から外れてから前記視線監視領域に復帰するまでの期間であることを特徴とする。
【００１４】
これによれば、ユーザの視線が視線監視領域から外れてから視線監視領域に復帰するまでの期間は、ユーザはスイッチを選択するために視線を動かしている可能性があるので、その期間をスイッチ選択期間とすることにより、より一層、精度のよい選択スイッチを決定することができる。
【００１５】
また、本発明の車載機器制御装置において、前記ユーザの視線が前回に前記視線監視領域に復帰してから所定時間が経過するまでに、再度、前記ユーザの視線が前記視線監視領域から外れたか否かを判断する再移動判断手段を備え、
前記スイッチ決定手段は、前記再移動判断手段が前記視線が前記視線監視領域から外れていないと判断した場合には、前記選択スイッチの決定を中止することを特徴とする。
【００１６】
これによれば、複数回の視線の移動で選択スイッチを決定する場合に、ユーザの視線が前回に視線監視領域に復帰してから所定時間が経過するまでに、次の視線の移動がなされなかった場合には選択スイッチの決定を中止する。よって、ユーザがスイッチを選択する意思がないにもかかわらず、ユーザの視線がたまたま視線監視領域から外れてしまった場合には、所定時間が経過するまでに次の視線の移動がなされない可能性が大きいので、この場合に選択スイッチが決定されてしまうのを防止できる。
【００１７】
また、本発明における前記スイッチ決定手段は、各回の前記スイッチ選択期間における前記視線の動きに応じた１又は複数の前記スイッチからなる群をスイッチ群としたときに、複数の前記スイッチ群の間で重複する前記スイッチを前記選択スイッチとして決定することを特徴とする。
【００１８】
これによれば、ユーザが視線によって所望のスイッチを選択する場合、各回のスイッチ選択期間において、その所望のスイッチを選択しようとする視線の移動を行うと考えられるので、各スイッチ群にそのスイッチが含まれる可能性が高い。よって、複数のスイッチ群の間で重複するスイッチを選択スイッチとして決定することで、ユーザが所望するスイッチを精度よく選択することができる。
【００１９】
また、本発明における前記スイッチ決定手段は、
各回の前記スイッチ選択期間ごとに、前記視線の動きに応じた１つの前記スイッチを、前記選択スイッチの候補となる候補スイッチとして決定する候補スイッチ決定手段と、
その候補スイッチ決定手段が決定した複数の前記候補スイッチ間で重複する候補スイッチを前記選択スイッチとして決定する最終決定手段と、を備えることを特徴とする。
【００２０】
これによれば、候補スイッチ決定手段が、各回のスイッチ選択期間ごとに視線の動きに応じた１つの候補スイッチを決定するので、各回のスイッチ選択期間ごとにユーザが所望するスイッチを選択することができる。そして、最終決定手段が、複数の候補スイッチ間で重複する候補スイッチを選択スイッチとして決定するので、真にユーザが所望するスイッチを選択することができる。
【００２１】
また、本発明における前記候補スイッチ決定手段は、前記視線が最も長く停留した前記スイッチ又は前記視線が最後に通過した前記スイッチを前記候補スイッチとして決定することを特徴とする。
【００２２】
これによれば、視線が最も長く停留したスイッチ又は視線が最後に通過したスイッチは、ユーザが選択しようとするスイッチである可能性が高いと考えられるところ、これらのスイッチを候補スイッチとして決定することで、スイッチ選択期間ごとにユーザが所望するスイッチを１つ決定することができる。
【００２３】
また、本発明における前記候補スイッチ決定手段は、前記視線が最も長く停留した前記スイッチ及び前記視線が最後に通過した前記スイッチが無い場合には、前記視線の通過線の先にある前記スイッチを前記候補スイッチとして決定することを特徴とする。
【００２４】
これにより、視線が最も長く停留したスイッチ及び視線が最後に通過したスイッチが無い場合であっても、候補スイッチを１つ決定することができる。この場合、視線の通過線の先にあるスイッチを候補スイッチとして決定するので、ユーザは所望するスイッチまで視線を移動させる必要がなく、ユーザの利便性を向上できる。
【００２５】
また、本発明における前記最終決定手段は、前回の前記スイッチ選択期間にて決定された前記候補スイッチと今回の前記スイッチ選択期間にて決定された前記候補スイッチとが一致するか否かを判断する一致判断手段を備え、その一致判断手段が一致すると判断した前記候補スイッチを前記選択スイッチとして決定することを特徴とする。
【００２６】
このように、前回と今回とで一致する候補スイッチを選択スイッチとして決定することで、ユーザが所望するスイッチを精度よく選択することができる。
【００２７】
また、本発明における前記最終決定手段は、各回の前記スイッチ選択期間にて決定された複数の前記候補スイッチのうち最多の候補スイッチを前記選択スイッチとして決定することを特徴とする。
【００２８】
このように、複数の候補スイッチのうち最多の候補スイッチを選択スイッチとして決定してもよく、これによっても、ユーザが所望するスイッチを精度よく選択することができる。
【００２９】
また、本発明において、前記視線監視領域は、前記車両のフロントウィンドウの一部の領域と重なるように定められており、
前記フロントウィンドウに画像を表示させる表示手段と、
前記フロントウィンドウの特定のスイッチ表示領域に、前記スイッチを示した画像を前記表示手段によって表示させる表示制御手段と、を備えることを特徴とする。
【００３０】
このように、車両のフロントウィンドウに、視線監視領域を定め、スイッチを示した画像を表示させることで、ユーザは、車両前方を注視しつつ、簡易に所望のスイッチを選択することができる。
【００３１】
また、本発明における前記スイッチ表示領域は、異なる位置に複数定められており、前記表示制御手段は、同一の前記スイッチを、複数の前記スイッチ表示領域に表示させることを特徴とする。
【００３２】
これによれば、同一のスイッチが複数のスイッチ表示領域に表示されるので、ユーザに各スイッチを選択しやすくすることができる。
【００３３】
また、本発明における前記表示制御手段は、複数の前記スイッチ表示領域のそれぞれに、同じ組み合わせの複数の前記スイッチを表示させるものであり、各スイッチ表示領域における前記複数のスイッチ間の表示位置関係を、前記スイッチ表示領域ごとに異ならせることを特徴とする。
【００３４】
これによれば、複数のスイッチ表示領域のそれぞれに、同じ組み合わせの複数のスイッチが表示されるので、ユーザは、どのスイッチ表示領域に視線を移動させたとしても、所望のスイッチを選択することができる。また、各スイッチ表示領域における複数のスイッチ間の表示位置関係が、スイッチ表示領域ごとに異なっているので、各スイッチの選択のしやすさをスイッチ表示領域ごとに変えることができる。よって、ユーザは、所望のスイッチを選択しやすいスイッチ表示領域に視線を移動させることで、その所望のスイッチを容易に選択することができる。
【００３５】
また、本発明における前記表示制御手段は、今回の前記スイッチ選択期間における前記視線の動きに応じた前記スイッチが複数ある場合には、それら複数のスイッチ間の表示位置関係を変更することを特徴とする。
【００３６】
これによれば、今回の視線の移動で選択されたスイッチが複数ある場合には、ユーザが所望するスイッチの候補が複数あることになるので、その複数のスイッチの表示位置関係を変更することで、次回のスイッチ選択期間に、ユーザに、その変更した表示位置関係に応じた視線の移動をさせることができる。よって、ユーザが所望するスイッチを決定しやすくできる。
【図面の簡単な説明】
【００３７】
【図１】車載機器制御装置１の概略構成を示したブロック図である。
【図２】車載機器制御装置１の車両２におけるレイアウトを説明する図である。
【図３】第一実施形態のスイッチ選択処理のメインルーチンを示したフローチャートである。
【図４】図３のＳ１２及びＳ１６の詳細を示したフローチャートである。
【図５】視線が通過した通過線を例示した図である。
【図６】一回目の視線の追跡結果に応じて、スイッチ６１〜６４の表示を変更した例を示した図である。
【図７】第二実施形態のスイッチ選択処理のメインルーチンを示したフローチャートである。
【図８】一回当たりの視線の移動を一定時間で区切った場合の各期間Ｓ１、Ｓ２、Ｓ３を示した図である。
【図９】一回目と二回目とで視線が通過したスイッチを例示した図である。
【図１０】複数のスイッチ表示領域６０ａ、６０ｂにスイッチを表示した例を示した図である。
【図１１】各スイッチ表示領域６０ａ、６０ｂで表示されるスイッチの表示位置関係を例示した図である。
【図１２】３つの視線監視領域５１ａ〜５１ｃがある場合を示した図である。
【図１３】４つの視線監視領域５２ａ〜５２ｄがある場合を示した図である。
【発明を実施するための形態】
【００３８】
（第一実施形態）
次に、本発明の車載機器制御装置の第一実施形態を図面を参照しながら説明する。図１は、本実施形態の車載機器制御装置１の概略構成を示したブロック図である。図２は、車載機器制御装置１の車両２におけるレイアウトを説明する図であり、車載機器制御装置１が搭載された車両２の車内の運転席付近を示している。先ず、これら図１、図２を参照して、車載機器制御装置１の構成について説明する。
【００３９】
図１に示すように、車載機器制御装置１は、画像入力装置４、視線抽出部１１、視線通過判定部１２、視線停留判定部１３、視線進行方向判定部１４、選択結果判定部１５、車載機器制御部１６、表示制御部１７、ヘッドアップディスプレイ（ＨＵＤ）１８、メインスイッチ２１、ステアリングスイッチ２２及びこれらと接続する制御部１０を備える。
【００４０】
画像入力装置４は、車両２のユーザである運転者の眼球３０（図２参照）を逐次撮像して、その撮像した画像を視線抽出部１１に入力するカメラである。その撮像素子には例えばＣＣＤイメージセンサが使用される。画像入力装置４は、図２に示すようにステアリング４２の近傍の計器盤上に設置され、その撮像範囲が運転者の眼球３０を撮像できる範囲に予め設定されている。なお、上記特許文献１〜３に開示された手法により運転者の視線を検出する場合には、その運転者の眼球３０を照らす照明（図示外）が設けられる。
【００４１】
視線抽出部１１は、画像入力装置４から入力された運転者の眼球３０の画像に基づいて、その運転者の視線を算出する部分である。その算出手法は公知の手法が用いられ、例えば特許文献１〜３に開示された手法が用いられる。すなわち、運転者の眼球３０を照らす照明（図示外）による眼球３０の画像における網膜反射像や角膜反射像の位置に基づいて、運転者の視線を算出する手法が用いられる。その手法の詳細はここでは割愛する。なお、画像入力装置４は、運転者の眼球３０を逐次撮像し、各時点における眼球３０の画像を視線抽出部１１に入力するので、視線抽出部１１は、それら画像に基づいて、各時点における視線を算出することになる。すなわち、運転者の視線が移動した場合には、視線抽出部１１によって、その視線の移動が算出される。
【００４２】
視線抽出部１１で算出された運転者の視線を示した情報は、視線通過判定部１２、視線停留判定部１３及び視線進行方向判定部１４に送られる。視線通過判定部１２は、視線抽出部１１から送られてきた運転者の視線の移動（各時点における運転者の視線）に基づいて、運転者の視線が、後述するフロントウィンドウ４１に表示された各スイッチ６１〜６４（図２参照）を通過したか否かを判定する部分である。また、視線停留判定部１３は、その運転者の視線が、各スイッチ６１〜６４を一定時間以上停留したか否かを判定する部分である。また、視線進行方向判定部１４は、その視線の進行方向を算出して、その進行方向の先に、各スイッチ６１〜６４があるか否かを判定する部分である。
【００４３】
これら判定部１２〜１４の判定結果は、選択結果判定部１５に送られる。その選択結果判定部１５は、判定部１２〜１４の判定結果に基づいて、複数のスイッチ６１〜６４（図２参照）のうち、運転者が所望するスイッチである選択スイッチを決定する部分である。なお、これら判定部１２〜１５が行う処理の詳細は、車載機器制御装置１の全体の処理を説明する際に、説明する。
【００４４】
選択結果判定部１５で決定された選択スイッチを示した情報は、車載機器制御部１６に送られる。車載機器制御部１６は、車両２に搭載された所定の複数の車載機器２０が接続されており、選択結果判定部１５から送られてきた選択スイッチに応じて、車載機器２０の制御を実行する部分である。車載機器２０は、具体的には、例えば、車載ナビゲーション装置、オーディオ、エアコン（空調装置）、ヘッドライト等のライトを点灯させる点灯装置、変速装置である。また、車載機器２０の制御としては、車載ナビゲーションに関しては例えば表示する地図の縮尺を設定する制御であり、オーディオに関しては例えば音量を設定する制御である。また、エアコンに関しては例えば温度設定をする制御であり、ライトに関しては例えば光量を設定する制御であり、変速装置に関しては例えばギアポジション（シフト）を切り替える制御である。すなわち、車載機器制御部１６は、選択スイッチに応じて、例えば、オーディオの音量を設定したり、エアコンの温度設定をしたりする。
【００４５】
なお、車室内には、車載機器２０を操作するための操作パネル等の操作部２０ａ（図２参照）が設けられており、ユーザは、その操作部２０ａを直接操作することで、車載機器２０に上記の各制御を行わせることもできる。なお、図２では、操作部２０ａとして、車載機器２０が車載ナビゲーション装置、オーディオ、エアコンの場合におけるその車載機器２０の操作パネル２０ａを示している。
【００４６】
ヘッドアップディスプレイ（ＨＵＤ）１８は、プロジェクタ、反射鏡等の光学系を有し、その光学系を利用して車両２のフロントウィンドウ４１に、各種画像を表示させるものである。そのＨＵＤ１８は、例えば、車両２のダッシュボード１９（図２参照）内に設けられる。なお、ＨＵＤ１８が本発明の「表示手段」に相当する。
【００４７】
表示制御部１７は、ＨＵＤ１８と接続されており、ＨＵＤ１８に表示させる画像を制御する部分である。具体的には、表示制御部１７は、制御対象となる車載機器２０を示したスイッチや、車載機器２０の制御内容を示したスイッチを表示させるように、ＨＵＤ１８を制御する。より具体的には、図２に示すように、表示制御部１７は、デフォルト表示として、後述する視線監視領域５０外の、フロントウィンドウ４１の下部に定められたスイッチ表示領域６０に、第一のスイッチ６１、第二のスイッチ６２、第三のスイッチ６３及び第四のスイッチ６４の４つのスイッチを表示させる。これらスイッチ６１〜６４は、例えばそれぞれ同じ大きさの正方形状の画像であり、横一列に配置される。各スイッチ６１〜６４は、それぞれ、複数の車載機器２０のうちのいずれかが割り当てられており、割り当てられた車載機器２０を表示するアイコン画像とされる。
【００４８】
また、表示制御部１７は、車載機器制御部１６と接続されており、スイッチ６１〜６４の他に、車載機器制御部１６による制御内容に応じた画像（図示外）もフロントウィンドウ４１に表示させる。具体的には、車載機器制御部１６は、制御対象とする車載機器２０から、現在の音量（オーディオの場合）や温度設定（エアコンの場合）等の現在の設定値を取得する。そして、表示制御部１７は、車載機器制御部１６からその設定値を取得して、その設定値を示した画像をフロントウィンドウ４１に表示させる。なお、表示制御部１７が本発明の「表示制御手段」に相当する。
【００４９】
なお、上記の各処理を実行する各処理部１１〜１７は、それぞれ、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有したコンピュータとして構成され、各ＣＰＵが、各ＲＯＭに予め記憶されたプログラムにしたがった処理を実行することで、上記の処理を行っている。なお、これら処理部１１〜１７は、一つのコンピュータとして構成してもよく、また、後述する制御部１０の一機能として実現してもよい。
【００５０】
メインスイッチ２１は、ステアリング４２に設けられ（図２参照）、後述する制御部１０によるスイッチ選択処理の開始又は終了を指示するスイッチとされる。そのメインスイッチ２１は、ユーザによってメインスイッチ２１が操作された場合には、その操作されたことを示す信号を制御部１０に入力する。
【００５１】
ステアリングスイッチ２２は、メインスイッチ２１とともにステアリング４２に設けられ（図２参照）、車載機器２０の設定値を設定するために用いられるスイッチである。そのステアリングスイッチ２２は、車載機器２０の設定値の増加を指示したり、減少を指示したりするアップダウンスイッチとして構成される。そして、ユーザによってステアリングスイッチ２２が操作された場合には、ステアリングスイッチ２２は、設定値の増加を指示する信号又は減少を指示する信号を制御部１０に入力する。
【００５２】
制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有したコンピュータとして構成され、車載機器制御装置１の全体の制御を司る部分とされる。具体的には、制御部１０は、上記各処理部１１〜１７の動作を制御して、運転者の視線によって指示されるスイッチを選択スイッチとして決定するとともに、その選択スイッチに応じた車載機器２０の制御を行うスイッチ選択処理を実行する。次に、そのスイッチ選択処理の詳細について説明する。ここで、図３は、スイッチ選択処理のメインルーチンを示したフローチャートである。また、図４は、図３のＳ１２、Ｓ１６の視線追跡処理の詳細を示したフローチャートである。この図３のスイッチ選択処理は、ユーザによってメインスイッチ２１が操作された場合に開始され、再度、メインスイッチ２１が操作された場合に終了される。
【００５３】
先ず、図２に示すように、フロントウィンドウ４１の下部のスイッチ表示領域６０に各スイッチ６１〜６４を表示させる（Ｓ１０）。このＳ１０の処理は、表示制御部１７（図１参照）が主となって行う処理である。
【００５４】
次いで、運転者の視線が、予め定められた視線監視領域５０（図２参照）から外れたか否かを判断する（Ｓ１１）。この視線監視領域５０は、図２に示すように、フロントウィンドウ４１の一部の領域と重複する形で定められ、より具体的には、フロントウィンドウ４１の上部及び下部を除く領域と重複する形で定められている。その視線監視領域５０は、運転者が車両２の前方を注視している際におけるその運転者の視線が通常位置する領域として定められ、例えば、運転者の眼球３０（図２参照）の高さと同程度の高さ、フロントウィンドウ４１の幅と同程度の幅の領域とされる。
【００５５】
そしてＳ１１では、画像入力装置４によって撮像された現時点における運転者の眼球３０の画像に基づいて、視線抽出部１１が、現時点における運転者の視線を算出する。そして、その運転者の視線が視線監視領域５０から外れたか否かを判断する。運転者の視線が視線監視領域５０から外れていない場合、すなわち、視線監視領域５０内にある場合は（Ｓ１１：Ｎｏ）、再度このＳ１１の処理を実行する。すなわち、繰り返しＳ１１の処理を実行して、運転者の視線が視線監視領域５０内にあることを監視する。なお、Ｓ１１を実行する制御部１０及び各処理部１１〜１７が本発明の「視線移動判断手段」に相当する。
【００５６】
Ｓ１１において運転者の視線が視線監視領域５０から外れた場合には（Ｓ１１：Ｙｅｓ）、視線が視線監視領域５０から外れている間、その視線の動きを追跡する視線追跡処理を実行する（Ｓ１２）。具体的には、先ず、図４のＳ１０１において、運転者の視線が視線監視領域５０外における各時点における運転者の眼球３０を画像入力装置４に撮像させる（Ｓ１０１）。その画像入力装置４で撮像された眼球３０の画像は、視線抽出部１１に入力される（Ｓ１０１）。次いで、視線抽出部１１が、各時点における眼球３０の画像に基づいて、各時点における運転者の視線を算出する（Ｓ１０２）。
【００５７】
次いで、それら各時点おける視線に基づいて、フロントウィンドウ４１における視線の通過点及び視線の進行方向を算出する（Ｓ１０３）。具体的には、視線の通過点については、フロントウィンドウ４１に対応する面データを予め記憶しておき、視線がその面データのどの位置で交差するかに基づいて、視線の通過点を算出する。また、視線の進行方向については、例えば、一つ前の時点における通過点と現時点における通過点とを結んだ直線の方向を、視線の進行方向として算出する。なお、このＳ１０３の処理は、視線通過判定部１２及び視線進行方向判定部１４が主となって行う処理である。
【００５８】
ここで、図５は、各時点における視線の通過点を結んだ線である視線の通過線を例示した図であり、図５（ａ）は、視線がスイッチ表示領域６０を通過した場合の通過線１００を示し、図５（ｂ）は、視線がスイッチ表示領域６０を通過しない場合の通過線１０１を示している。なお、図５（ａ）の視線の通過線１００は、先ず第三のスイッチ６３を通過し、次に第四のスイッチ６４を通過し、その後、スイッチ表示領域６０から離れる線である。一方、図５（ｂ）の通過線１０１は、スイッチ表示領域６０の第三のスイッチ６３に向けて進行し、第三のスイッチ６３の到達する前にスイッチ表示領域６０から離れていく線である。また、図５（ａ）の通過線１００は、説明の便宜のために１０個の通過点Ｐ１〜Ｐ１０から構成されているとする。例えば視線が図５（ａ）のように移動したとすると、Ｓ１０３では、それら通過点Ｐ１〜Ｐ１０を算出することになる。また、図５（ａ）では、通過点Ｐ２の時点における視線の進行方向Ｑ２を示している。なお、Ｓ１０１〜Ｓ１０３を実行する制御部１０及び各処理部１１〜１７が本発明の「視線追跡手段」に相当する。
【００５９】
次いで、Ｓ１０３で算出した各通過点から構成される通過線上に、スイッチ表示領域６０に表示されたスイッチ６１〜６４があるか否かを判断する（Ｓ１０４）。具体的には、スイッチ６１〜６４の表示位置を予め記憶しておき、その表示位置と視線の通過線とを比較することで、通過線上にスイッチ６１〜６４があるか否かを判断する。例えば視線が図５（ａ）のように移動したとすると、通過線１００上にスイッチ６３及びスイッチ６４があるので、視線の通過線上にスイッチ６１〜６４があると判断される（Ｓ１０４：Ｙｅｓ）。この場合、処理をＳ１０５に進める。なお、このＳ１０４の処理は、視線通過判定部１２が主となって行う処理である。
【００６０】
Ｓ１０５では、スイッチ６１〜６４での視線の停留点及びその停留時間を算出する（Ｓ１０５）。なお、本実施形態における視線の停留とは、継続して一定時間以上、視線（視線の通過線上の通過点）が一つのスイッチ６１〜６４上にある場合をいうものとする。各時点における視線の通過点が、一つのスイッチ６１〜６４上に多くあるほど、視線がそのスイッチ６１〜６４上に長く停留したことになる。よって、Ｓ１０５では、例えば、スイッチ６１〜６４上にある通過点の個数が所定の複数の個数以上の場合に視線の停留であるとして、それら複数の通過点を視線の停留点とする。また、それら通過点の個数に基づいて、視線の停留時間を算出する。
【００６１】
例えば視線が図５（ａ）のように移動したとすると、第三のスイッチ６３上には３つの時点における通過点Ｐ５〜Ｐ７が位置しているので、Ｓ１０５では、それら通過点Ｐ５〜Ｐ７を停留点Ｔ１とする。そして、３つの時点に対応する時間を視線の停留時間として算出する。一方、第四のスイッチ６４上には１つの時点における通過点Ｐ８しかないので、Ｓ１０５では、第四のスイッチ６４には視線が停留しなかったとして処理する。
【００６２】
次いで、Ｓ１０５で算出した停留点及び停留時間に基づいて、視線が一定時間以上停留したスイッチ６１〜６４があるか否かを判断する（Ｓ１０６）。なお、このＳ１０６における一定時間は、例えば０．５秒とする。よって、図５（ａ）の場合では、３つの時点の通過点Ｐ５〜Ｐ７に対応する停留時間が０．５秒以上か否かを判断する（Ｓ１０６）。なお、Ｓ１０５で算出した停留点が複数ある場合には、各停留点に対する停留時間がそれぞれ一定時間以上か否かを判断する（Ｓ１０６）。視線が一定時間以上停留したスイッチ６１〜６４がある場合には（Ｓ１０６：Ｙｅｓ）、処理をＳ１０７に進める。
【００６３】
そして、Ｓ１０７では、視線が一定時間以上停留したスイッチ６１〜６４のうち、最も長く視線が停留したスイッチ、すなわち、Ｓ１０５で算出した停留時間が最も長いスイッチを抽出する（Ｓ１０７）。次いで、その抽出したスイッチを、運転者が所望する選択スイッチの候補となる候補スイッチとして決定する（Ｓ１１０）。図５（ａ）において、例えば第三のスイッチ６３での停留時間が一定時間以上の場合には（Ｓ１０６：Ｙｅｓ）、その第三のスイッチ６３が候補スイッチとして決定される（Ｓ１０７、Ｓ１１０）。運転者は、所望するスイッチ６１〜６４に長く視線を停留させると考えられるので、最も長く停留したスイッチ６１〜６４を候補スイッチとすることにより、運転者が所望するスイッチ６１〜６４を選択できるようにすることができる。その後、図４のフローチャートの処理を終了する。なお、Ｓ１０５〜Ｓ１０７の処理は、視線停留判定部が主となって行う処理である。また、Ｓ１１０の処理は、選択結果判定部１５が主となって行う処理である。
【００６４】
一方、Ｓ１０６において、視線が一定時間以上停留したスイッチ６１〜６４がない場合には（Ｓ１０６：Ｎｏ）、処理をＳ１０８に進める。そして、視線が最後に通過したスイッチ６１〜６４を抽出し（Ｓ１０８）、その抽出したスイッチを候補スイッチとして決定する（Ｓ１１０）。図５（ａ）において、例えば第三のスイッチ６３での停留時間が一定時間未満の場合には（Ｓ１０６：Ｎｏ）、視線が最後に通過した第四のスイッチ６４が候補スイッチとして決定される（Ｓ１０８、Ｓ１１０）。運転者は、所望するスイッチ６１〜６４に視線を最後に通過させた後に視線を元に戻すと考えられるので、視線が最後に通過したスイッチ６１〜６４を候補スイッチとすることにより、運転者が所望するスイッチ６１〜６４を選択できるようにすることができる。その後、図４のフローチャートの処理を終了する。なお、Ｓ１０８の処理は、視線通過判定部１２が主となって行う処理である。
【００６５】
また、Ｓ１０４において、視線の通過線上にスイッチ６１〜６４がない場合には（Ｓ１０４：Ｎｏ）、処理をＳ１０９に進める。例えば視線が図５（ｂ）のように移動したとすると、視線の通過線１０１上にはスイッチ６１〜６４がないので、この場合にはＳ１０９の処理が実行される。そのＳ１０９では、先のＳ１０３で算出した視線の進行方向にあるスイッチ６１〜６４を抽出する（Ｓ１０９）。図５（ｂ）においては、視線の通過線１０１の、ある時点における進行方向Ｑに第三のスイッチ６３があるので、Ｓ１０９では、その第三のスイッチ６３が抽出される。次いで、Ｓ１０９で抽出したスイッチ６１〜６４を候補スイッチとして決定する（Ｓ１１０）。運転者は、所望するスイッチ６１〜６４に向かって視線を移動させると考えられるので、視線の進行方向のスイッチ６１〜６４を候補スイッチとすることにより、運転者が所望するスイッチ６１〜６４を選択できるようにすることができる。また、運転者は所望するスイッチ６１〜６４まで視線を移動させる必要がないので、ユーザの利便性を向上できる。その後、図４のフローチャートの処理を終了する。なお。Ｓ１０４〜Ｓ１１０の処理を実行する制御部１０及び各処理部１１〜１７が本発明の「候補スイッチ決定手段」に相当する。
【００６６】
図３の処理に戻り、Ｓ１２の視線追跡処理を実行した後、すなわち運転者の視線が視線監視領域５０に復帰すると、Ｓ１２の視線追跡処理の追跡結果に応じて、スイッチ表示領域６０に表示された各スイッチ６１〜６４の表示を変更する（Ｓ１３）。具体的には、一回目の視線の移動の際における、その視線が通過したスイッチ６１〜６４及びその視線の進行方向のスイッチ６１〜６４から構成されるスイッチ群の各スイッチ６１〜６４間の表示位置関係を変更する（Ｓ１３）。より具体的には、そのスイッチ群の各スイッチ６１〜６４間の間隔（距離）がデフォルト表示のときよりも大きくなるように、各スイッチ６１〜６４間の表示位置関係を変更する（Ｓ１３）。
【００６７】
例えば、スイッチ表示領域６０におけるスイッチ６１〜６４が、図６（ａ）のようにデフォルト表示されていたとする。すなわち、第一のスイッチ６１が、ギアポジションを切り替える変速装置を示したアイコン画像（「シフトレバー」）であり、第二のスイッチ６２が、オーディオを示したアイコン画像（「オーディオ」）であり、第三のスイッチ６３が、エアコンを示したアイコン画像（「エアコン」）であり、第四のスイッチ６４が、車載ナビゲーション装置を示したアイコン画像（「ナビ」）であるとする。また、一回目の視線の移動の際に、その視線が図５（ａ）のように移動したとする。つまり、一回目の視線の移動の際に、その視線が第三のスイッチ６３（「エアコン」のスイッチ）及び第四のスイッチ６４（「ナビ」のスイッチ）を通過したとする。この場合、Ｓ１３では、例えば図６（ｂ）のように、第三のスイッチ６３と第四のスイッチ６４の表示位置関係を変更する。すなわち、第三のスイッチ６３（「エアコン」のスイッチ）をスイッチ表示領域６０の一番右側の位置に表示させ、第四のスイッチ６４（「ナビ」のスイッチ）をスイッチ表示領域６０の左から２番目の位置に表示させる。それに伴い、第三のスイッチ６３と第四のスイッチ６４の間（スイッチ表示領域６０の左から３番目の位置）に、第二のスイッチ６２（「オーディオ」のスイッチ）を表示させる。
【００６８】
このように、一回目の視線が通過した第三のスイッチ６３と第四のスイッチ６４との間隔が大きくされることで、二回目の視線の移動の際に、それら第三のスイッチ６３、第四のスイッチ６４のうちの運転者が所望するスイッチを、運転者に選択させやすくできる。
【００６９】
また、Ｓ１３において、一回目の視線が通過した複数のスイッチ６１〜６４のうちのＳ１２で決定された候補スイッチは、運転者が所望するスイッチの可能性が高いので、その候補スイッチをスイッチ表示領域６０の端の位置（一番右側の位置又は一番左側の位置）に表示させるようにしてもよい。例えば、Ｓ１２において、第三のスイッチ６３（「エアコン」のスイッチ）が候補スイッチとして決定された場合には、図６（ｂ）に示すように、その第三のスイッチ６３をスイッチ表示領域６０の一番右側の位置に表示させる。これによって、二回目の視線の移動の際に、その第三のスイッチ６３（候補スイッチ）を選択させやすくできる。なお、Ｓ１３の処理は、主に表示制御部１７が行う処理である。
【００７０】
図３の説明に戻り、次いで、前回（一回目）に視線が視線監視領域５０に復帰してから所定時間内に、再び、視線が視線監視領域５０から外れたか否かを判断する（Ｓ１４）。具体的には、Ｓ１１の判断と同様に、画像入力装置４から入力された運転者の眼球３０の画像に基づいて、視線抽出部１１が運転者の視線を算出する（Ｓ１４）。そして、その算出した視線が視線監視領域５０にあるか否かを判断する（Ｓ１４）。なお、Ｓ１４の処理を実行する制御部１０及び各処理部１１〜１７が本発明の「再移動判断手段」に相当する。
【００７１】
このＳ１４の処理は、一回目の視線の移動がスイッチ６１〜６４を選択する意図してなされたものであるかを判断するための処理である。すなわち、一回目の視線の移動がスイッチ６１〜６４を選択する意図してなされたものである場合には、視線が視線監視領域５０に復帰してから早い時期に二回目の視線の移動もなされる可能性が高いと考えられる。よって、所定時間内に、視線が再び視線監視領域５０から外れなかった場合には（Ｓ１４：Ｎｏ）、運転者はスイッチ６１〜６４を選択する意思がないとする。この場合、表示制御部１７が、Ｓ１３で変更した表示を元のデフォルト表示に戻す（Ｓ１５）。なお、Ｓ１４における所定時間は例えば「５秒」とする。その後、Ｓ１１の処理に戻る。
【００７２】
Ｓ１４において、所定時間内に、視線が再び視線監視領域５０から外れた場合には（Ｓ１４：Ｙｅｓ）、運転者はスイッチ６１〜６４を選択する意思がある可能性が高いとして、Ｓ１６以降の処理を実行する。具体的には、今回（二回目）の視線の移動に対する視線追跡処理を実行する（Ｓ１６）。このＳ１６の処理は、先に説明したＳ１２（図４のフローチャートの処理）と同じ処理である。つまり、二回目の視線の移動に対して、運転者が所望する選択スイッチの候補となる候補スイッチを決定する（Ｓ１６）。
【００７３】
次いで、前回（一回目）の視線追跡処理（Ｓ１２）によって決定された候補スイッチと、今回（二回目）の視線追跡処理（Ｓ１６）によって決定された候補スイッチとが、同じスイッチであるか否かを判断する（Ｓ１７）。同じスイッチでない場合には（Ｓ１７：Ｎｏ）、一回目及び二回目の視線の移動がともに、スイッチ６１〜６４を選択する意図がなく偶然なされたものであるとして、選択スイッチの決定を行わない。この場合（Ｓ１７：Ｎｏ）、スイッチ表示領域６０の表示を元のデフォルト表示に戻す（Ｓ１５）。その後、Ｓ１１の処理に戻る。
【００７４】
Ｓ１７において、一回目に決定された候補スイッチと二回目に決定された候補スイッチとが同じスイッチである場合には（Ｓ１７：Ｙｅｓ）、その候補スイッチを、運転者が所望する選択スイッチとして決定する（Ｓ１８）。なお、Ｓ１７及びＳ１８の処理は、選択結果判定部１５が主となって行う処理である。なお、Ｓ１７及びＳ１８を実行する制御部１０及び各処理部１１〜１７が本発明の「最終決定手段」に相当する。また、Ｓ１７を実行する制御部１０及び各処理部１１〜１７が本発明の「一致判断手段」に相当する。
【００７５】
次いで、Ｓ１８にて決定した選択スイッチに応じた車載機器２０の制御を実行する（Ｓ１９）。例えば、選択スイッチが、エアコンに対応するスイッチである場合には、車載機器２０としてのエアコンに関する制御を実行する。具体的には、例えば、表示制御部１７が、現在のエアコンの設定温度を示した画像をフロントウィンドウ４１に表示させる。また、ステアリング４２に設けられたステアリングスイッチ２２の操作によって、エアコンの設定温度を設定できるようにする。すなわち、車載機器制御部１６が、ステアリングスイッチ２２からの信号に応じた分だけ、現在のエアコンの設定温度を増加させ、又は減少させるように、エアコン（車載機器２０）を制御する。このように、運転者は、車載機器２０の操作パネル２０ａ（図２参照）を直接操作しなくても、フロントウィンドウ４１に表示された現在の設定値を確認しつつ、ステアリングスイッチ２２によってその設定値を変更することができる。よって、車両２の前方から視線が離れるのを防止できる。その後、Ｓ１０の処理に戻って、メインスイッチ２１が再度操作されるまで、上記の処理を繰り返し実行する。なお、本実施形態では、メインスイッチ２１により上記の処理の開始と終了を指定しているが、メインスイッチ２１の設置にかかわらず、上記の処理を常時繰り返す実施形態を排除するものではない。
【００７６】
以上説明したように、本実施形態では、運転者の視線が視線監視領域５０から外れている間における視線の動きに基づいて、運転者が所望する選択スイッチを決定しているので、運転者の視線の動きを常に追跡して選択スイッチを決定する場合に比べて、その決定の精度を向上できる。また、一定時間以上スイッチを注視していなくても、つまりスイッチをチラ見するだけでそのスイッチを選択スイッチとして決定することができるので、車両前方を見ることが疎かになることを防止できる。さらに、二回のチラ見の結果に基づいて選択スイッチを決定しているので、その決定の精度をより一層向上できる。
【００７７】
（第二実施形態）
次に、本発明の車載機器制御装置の第二実施形態について、第一実施形態と異なる部分を中心に説明する。第二実施形態における車載機器制御装置の構成は、図１、図２の第一実施形態のそれと同じである。一方、制御部１０及び各処理部１１〜１７が実行する、選択スイッチを決定するスイッチ選択処理が、第一実施形態のそれ（図３の処理）と異なる。以下、本実施形態のスイッチ選択処理について説明する。
【００７８】
ここで、図７は、本実施形態のスイッチ選択処理のメインルーチンを示したフローチャートである。なお、図７において、図３の処理と同じ処理ステップには同じ符号を付している。先ず、フロントウィンドウ４１下部のスイッチ表示領域６０に、４つのスイッチ６１〜６４を表示させる（Ｓ１０）。次いで、運転者の視線が視線監視領域５０から外れたか否かを判断する（Ｓ１１）。外れた場合には（Ｓ１１：Ｙｅｓ）、視線を追跡して候補スイッチを決定する（Ｓ１２）。次いで、Ｓ１２の追跡結果に応じて、スイッチ表示領域６０に表示されたスイッチ６１〜６４（図２参照）の表示を変更する（Ｓ１３）。次いで、所定時間内に、再度、視線が視線監視領域５０から外れたか否かを判断する（Ｓ１４）。外れなかった場合には（Ｓ１４：Ｎｏ）、スイッチ６１〜６４の表示をデフォルト表示に戻す（Ｓ１５）。一方、所定時間内に視線が再度視線監視領域５０から外れた場合には（Ｓ１４：Ｙｅｓ）、再度、視線を追跡して候補スイッチを決定する（Ｓ１６）。
【００７９】
次いで、視線が視線監視領域５０から外れて視線監視領域５０に復帰するまでの視線の移動を一回の視線の移動としたときに、視線の移動が所定回数されたか否かを判断する（Ｓ２０）。このＳ２０の所定回数は、三回以上の回数とする（二回の場合では、第一実施形態と同じ内容となるため）。なお、Ｓ２０の処理は、Ｓ１２及びＳ１６にて決定された候補スイッチの個数が所定個数になったか否かを判断することと同義である。ここで、視線の移動の回数が未だ所定回数に達していない場合は（Ｓ２０：Ｎｏ）、Ｓ１４の処理に戻る。この場合、所定時間内に、再度、視線が視線監視領域５０から外れた場合には（Ｓ１４：Ｙｅｓ）、候補スイッチを決定する（Ｓ１６）。そして、視線の移動回数を一回プラスして、再度、視線の移動が所定回数されたか否かを判断する（Ｓ２０）。つまり、視線の移動が所定回数されるまでは、Ｓ１４、Ｓ１６、Ｓ２０の処理が繰り返し実行されて、候補スイッチが繰り返し決定される。一方、視線の移動が所定回数される前に、前回に視線が視線監視領域５０に復帰してから所定時間内に今回の視線の移動がなされなかった場合には（Ｓ１４：Ｎｏ）、選択スイッチの決定を行わない。この場合（Ｓ１４：Ｎｏ）、デフォルト表示に戻して（Ｓ１５）、Ｓ１１の処理に戻る。
【００８０】
Ｓ２０において、視線の移動が所定回数された場合には（Ｓ２０：Ｙｅｓ）、Ｓ１２及びＳ１６で決定された複数の候補スイッチのうち最多の候補スイッチを、運転者が所望する選択スイッチとして決定する（Ｓ２１）。例えば、５つの候補スイッチを決定したとして、そのうちの３つが第三のスイッチ６３（図２参照）である場合には、その第三のスイッチ６３を選択スイッチとして決定する（Ｓ２１）。なお、Ｓ２１の処理は、選択結果判定部１５が主となって行う処理である。次いで、決定した選択スイッチに応じた車載機器２０の制御を実行する（Ｓ１９）。その後、Ｓ１０の処理に戻って、メインスイッチ２１が再度操作されるまで、上記の処理を繰り返し実行する。なお、Ｓ２１を実行する制御部１０及び各処理部１１〜１７が本発明の「最終決定手段」に相当する。
【００８１】
以上説明したように、本実施形態では、三回以上のチラ見の結果に基づいて、すなわち、複数の候補スイッチの中から多数決で選択スイッチを決定しているので、その決定の精度を向上できる。
【００８２】
（変形例１）
なお、本発明に係る車載機器制御装置は、上記実施形態に限定されるものではなく、特許請求の範囲の記載を逸脱しない限度で適宜変更することができる。例えば、上記第一、第二実施形態では、視線が視線監視領域５０から外れてから視線監視領域５０に復帰するまでを一回の視線の移動としていたが、図８に示すように、視線が視線監視領域５０外にある間において、一定時間当たりの視線の移動を一回の視線の移動としてもよい。この場合、図８に示すように、視線監視領域５０から外れてから最初に一定時間が経過するまでの期間Ｓ１、その次に一定時間が経過するまでの期間Ｓ２、その次に一定時間が経過するまでの期間Ｓ３、・・・としたときに、各期間Ｓ１、Ｓ２、Ｓ３・・・ごとの視線の動きに基づいて、選択スイッチを決定する。具体的には、例えば、各期間ごとに一つの候補スイッチを決定し、第一実施形態のように、今回の期間で決定された候補スイッチが、前回の期間で決定された候補スイッチと同じ場合には、その候補スイッチを選択スイッチとして決定する。また、例えば、第二実施形態のように、所定回数の期間の分だけ候補スイッチを決定し、それら複数の候補スイッチのうち最多の候補スイッチを選択スイッチとして決定する。
【００８３】
また、各期間において一つの候補スイッチを決定しないで、前回の期間にて視線が通過した１又は複数のスイッチからなるスイッチ群と、今回の期間にて視線が通過した１又は複数のスイッチからなるスイッチ群との間で、重複するスイッチを選択スイッチとして決定してもよい。ここで、図９は、その決定方法の具体例を示した図であり、具体的には、図９（ａ）は、前回（一回目）に視線が通過したスイッチ７１、７２、７３を示しており、図９（ｂ）は、今回（二回目）に視線が通過したスイッチ７４、７２、７５を示している。この場合、図９（ａ）、（ｂ）に示すように、一回目と二回目とで、「ナビ」のスイッチ７２が重複するので、そのスイッチ７２を選択スイッチとして決定する。
【００８４】
（変形例２）
上記実施形態では、フロントウィンドウ４１の下部の一箇所（スイッチ表示領域６０、図２参照）にスイッチ６１〜６４を表示していたが、同一のスイッチを複数箇所に表示するようにしてもよい。ここで、図１０は、図２と対応する図であり、同一のスイッチを複数箇所に表示した例を示している。なお、図１０において、図２と変更がない部分には同一の符号を付している。図１０に示すように、フロントウィンドウ４１の下部に第一のスイッチ表示領域６０ａが設けられ、その第一のスイッチ表示領域６０ａには、４つのスイッチ６１ａ〜６４ａが表示される。また、フロントウィンドウ４１の上部に第二のスイッチ表示領域６０ｂが設けられ、その第二のスイッチ表示領域６０ｂには、４つのスイッチ６１ｂ〜６４ｂが表示される。これらスイッチ６１ａ〜６４ａとスイッチ６１ｂ〜６４ｂとはそれぞれ同じスイッチであり、具体的には、スイッチ６１ａとスイッチ６１ｂとが同じであり、スイッチ６２ａとスイッチ６２ｂとが同じであり、スイッチ６３ａとスイッチ６３ｂとが同じであり、スイッチ６４ａとスイッチ６４ｂとが同じである。
【００８５】
このように、同一のスイッチを複数のスイッチ表示領域に表示することで、運転者に各スイッチを選択させやすくすることができる。
【００８６】
また、図１０では、第一のスイッチ表示領域６０ａのスイッチ６１ａ〜６４ａの表示位置関係と、第二のスイッチ表示領域６０ｂのスイッチ６１ｂ〜６４ｂの表示位置関係とが同じであったが、図１１に示すように、それら表示位置関係を互いに異ならせても良い。すなわち、図１１では、第一のスイッチ表示領域６０ａの左から３番目の位置に表示されたスイッチ６３ａは、第二のスイッチ表示領域６０ｂにおいては、一番右側の位置にスイッチ６３ｂとして表示されている。それに伴い、第一のスイッチ表示領域６０ａの一番右側の位置に表示されたスイッチ６４ａは、第二のスイッチ表示領域６０ｂにおいては、左から３番目の位置にスイッチ６４ｂとして表示されている。
【００８７】
これによって、各スイッチの選択のしやすさをスイッチ表示領域ごとに変えることができる。具体的には、例えば図１１において、第一のスイッチ表示領域６０ａにおいては左から３番目のスイッチ６３ａが、運転者によっては選択し難かったとする。この場合、第二のスイッチ表示領域６０ｂにおいては、そのスイッチ６３ａに対応するスイッチ６３ｂが一番右側の位置に表示されているので、そのスイッチ６３ｂを選択しやすくなると考えられる。
【００８８】
なお、図１１で例示した他に、一のスイッチ表示領域においては横一列にスイッチを表示し、他のスイッチ表示領域においては縦一列にスイッチを表示してもよい。また、他のスイッチ表示領域においては複数列にスイッチを表示してもよい。また、他のスイッチ表示領域においては、隣り合う２つのスイッチの間隔を変更してもよい。
【００８９】
（その他変形例）
上記実施形態では、一つの視線監視領域５０（図２参照）を定めていたが、図１２、図１３に示すように、複数の視線監視領域を定めてもよい。すなわち、図１２に示すように、３つの視線監視領域５１ａ〜５１ｃからなる視線監視領域５１を定めてもよく、図１３に示すように、４つの視線監視領域５２ａ〜５２ｄからなる視線監視領域５２を定めてもよい。なお、図１２、図１３では、図２と変更がない部分には同一の符号を付している。
【００９０】
また、上記実施形態では、運転者の視線によって選択されるスイッチとして、フロントウィンドウ４１に表示されたアイコン画像を対象としていたが、車載機器２０の操作パネル２０ａ（図２参照）に表示されたボタン、スイッチ、アイコン画像を、運転者の視線によって選択されるスイッチの対象としてもよい。また、車載機器２０（車載機器２０の操作パネル２０ａ）そのものをスイッチと考えて、その車載機器２０を視線で選択できるようにしてもよい。
【００９１】
また、上記実施形態では、複数の車載機器２０のいずれかに割り当てられた複数のスイッチを表示していたが、一の車載機器２０のいずれかの機能に割り当てられた複数のスイッチを表示してもよい。具体的には、例えば、車載機器２０としてオーディオを考えた場合、音量を設定するためのスイッチ、ＣＤ、ＤＶＤ等のソースを切り替えるためのスイッチ等、機能別の複数のスイッチを表示してもよい。また、上記実施形態では、一のスイッチ表示領域あたりに４つのスイッチを表示していたが、何個のスイッチを表示してもよい。
【符号の説明】
【００９２】
１ 車載機器制御装置
２ 車両
４ 画像入力装置（カメラ）
１０ 制御部
１１ 視線抽出部
１２ 視線通過判定部
１３ 視線停留判定部
１４ 視線進行方向判定部
１５ 選択結果判定部
１６ 車載機器制御部
１７ 表示制御部
１８ ＨＵＤ（表示手段）
２０ 車載機器
２０ａ 車載機器２０の操作パネル
２１ メインスイッチ
２２ ステアリングスイッチ
４１ フロントウィンドウ
５０、５１、５２ 視線監視領域
６０、６０ａ、６０ｂ スイッチ表示領域
６１〜６４、６１ａ〜６４ａ、６１ｂ〜６４ｂ、７１〜７５ スイッチ
【技術分野】
【０００１】
本発明は、車両に搭載された車載機器の制御を実行する車載機器制御装置に関する。
【背景技術】
【０００２】
従来、車両に搭載された車載機器の制御を実行する車載機器制御装置において、その車両のユーザの視線を利用して、制御対象となる車載機器を選択したり、車載機器の制御内容を選択したりするものが知られている（例えば、特許文献１〜４参照）。例えば、特許文献１〜４の技術では、ユーザが車両の前方を注視したまま車載機器を操作できるようにするために、ヘッドアップディスプレイ（ＨＵＤ）によって、車両のフロントウィンドウの一部の領域に、車載機器の操作項目を示した複数のスイッチ（アイコン）を表示させる。また、ユーザの視線を検出する視線検出手段を備え、その視線検出手段に検出された視線に基づいて、フロントウィンドウに表示された複数のスイッチのうち、ユーザが一定時間以上注視したスイッチを特定する。そして、その特定したスイッチに対応する操作項目がユーザによって選択されたものとして、その操作項目に応じた制御を実行する。例えば、エアコンの操作項目が選択された場合には、ステアリングに設けられたステアリングスイッチの操作に基づいて、エアコンの設定温度を設定する制御を実行する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２４８２１６号公報
【特許文献２】特開平７−２２９７１４号公報
【特許文献３】特開平５−２７０２９６号公報
【特許文献４】特開２００７−３０２１１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、表示されたスイッチを選択するために、ユーザは所望のスイッチを一定時間以上注視する必要があるため、その分、車両前方を見ることが疎かになるという問題点があった。その問題点を解消するために、一定時間以上のスイッチの注視という要件を外すことも考えられるが、この場合には、ユーザが所望しないスイッチを選択してしまうことが予想される。
【０００５】
本発明は上記問題点に鑑みてなされたものであり、車両前方を見ることが疎かになることなく、ユーザが所望するスイッチを精度よく選択することができる車載機器制御装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、予め表示された複数のスイッチの中からユーザの視線によって選択されたスイッチである選択スイッチに応じて、車両に搭載された車載機器の制御を実行する車載機器制御装置であって、
前記ユーザの視線が予め定められた視線監視領域から外れたか否かを判断する視線移動判断手段と、
その視線移動判断手段が前記ユーザの視線が前記視線監視領域から外れたと判断したことに基づいて、前記ユーザの視線の動きを追跡する視線追跡手段と、
前記視線監視領域外に表示された前記複数のスイッチのうち、前記視線追跡手段が追跡した前記視線の動きに応じたスイッチを、前記選択スイッチとして決定するスイッチ決定手段と、を備えることを特徴とする。
【０００７】
これによれば、視線監視領域が予め定められており、その視線監視領域外に、車載機器に関する複数のスイッチが表示される。そして、視線移動判断手段が、ユーザの視線が視線監視領域から外れたか否かを判断するので、その判断結果に応じて、ユーザがスイッチを選択しようとしているか否かの見当をつけることができる。すなわち、ユーザの視線が視線監視領域から外れた場合には、視線が視線監視領域内にある場合に比べて、ユーザはスイッチを選択する意思があると考えることができる。そして、ユーザの視線が視線監視領域から外れた場合には、視線追跡手段がユーザの視線の動きを追跡し、スイッチ決定手段がその視線の動きに応じたスイッチを選択スイッチとして決定する。
【０００８】
これにより、常にユーザの視線の動きを追跡して選択スイッチを決定する場合に比べて、ユーザが所望するスイッチを精度よく選択することができる。また、ユーザの視線が視線監視領域から外れた場合には、ユーザはスイッチを選択する意思があると考えることができるので、一定時間以上スイッチを注視していなくてもそのスイッチを選択スイッチとして決定することができる。よって、車両前方を見ることが疎かになることを防止できる。
【０００９】
また、本発明の車載機器制御装置における前記スイッチ決定手段は、前記視線が通過した通過線上又はその通過線の先にある前記スイッチを前記選択スイッチとして決定することを特徴とする。
【００１０】
このように、ユーザの視線が通過した通過線上にあるスイッチを選択スイッチとして決定することにより、ユーザが所望するスイッチを精度よく選択することができる。さらに、視線の通過線の先にあるスイッチも選択スイッチとして決定することにより、ユーザは所望するスイッチまで視線を移動させる必要がないので、ユーザの利便性を向上できる。
【００１１】
また、本発明の車載機器制御装置における前記スイッチ決定手段は、前記ユーザの視線が前記視線監視領域から外れているときにおける特定期間をスイッチ選択期間としたときに、複数回の前記スイッチ選択期間における前記視線の動きに応じた前記スイッチを、前記選択スイッチとして決定することを特徴とする。
【００１２】
これによれば、複数回の視線の動きに応じたスイッチを選択スイッチとして決定するので、一回の視線の動きで選択スイッチを決定する場合に比べて、決定した選択スイッチの精度を向上できる。
【００１３】
また、本発明の車載機器制御装置における前記スイッチ選択期間は、前記ユーザの視線が前記視線監視領域から外れてから前記視線監視領域に復帰するまでの期間であることを特徴とする。
【００１４】
これによれば、ユーザの視線が視線監視領域から外れてから視線監視領域に復帰するまでの期間は、ユーザはスイッチを選択するために視線を動かしている可能性があるので、その期間をスイッチ選択期間とすることにより、より一層、精度のよい選択スイッチを決定することができる。
【００１５】
また、本発明の車載機器制御装置において、前記ユーザの視線が前回に前記視線監視領域に復帰してから所定時間が経過するまでに、再度、前記ユーザの視線が前記視線監視領域から外れたか否かを判断する再移動判断手段を備え、
前記スイッチ決定手段は、前記再移動判断手段が前記視線が前記視線監視領域から外れていないと判断した場合には、前記選択スイッチの決定を中止することを特徴とする。
【００１６】
これによれば、複数回の視線の移動で選択スイッチを決定する場合に、ユーザの視線が前回に視線監視領域に復帰してから所定時間が経過するまでに、次の視線の移動がなされなかった場合には選択スイッチの決定を中止する。よって、ユーザがスイッチを選択する意思がないにもかかわらず、ユーザの視線がたまたま視線監視領域から外れてしまった場合には、所定時間が経過するまでに次の視線の移動がなされない可能性が大きいので、この場合に選択スイッチが決定されてしまうのを防止できる。
【００１７】
また、本発明における前記スイッチ決定手段は、各回の前記スイッチ選択期間における前記視線の動きに応じた１又は複数の前記スイッチからなる群をスイッチ群としたときに、複数の前記スイッチ群の間で重複する前記スイッチを前記選択スイッチとして決定することを特徴とする。
【００１８】
これによれば、ユーザが視線によって所望のスイッチを選択する場合、各回のスイッチ選択期間において、その所望のスイッチを選択しようとする視線の移動を行うと考えられるので、各スイッチ群にそのスイッチが含まれる可能性が高い。よって、複数のスイッチ群の間で重複するスイッチを選択スイッチとして決定することで、ユーザが所望するスイッチを精度よく選択することができる。
【００１９】
また、本発明における前記スイッチ決定手段は、
各回の前記スイッチ選択期間ごとに、前記視線の動きに応じた１つの前記スイッチを、前記選択スイッチの候補となる候補スイッチとして決定する候補スイッチ決定手段と、
その候補スイッチ決定手段が決定した複数の前記候補スイッチ間で重複する候補スイッチを前記選択スイッチとして決定する最終決定手段と、を備えることを特徴とする。
【００２０】
これによれば、候補スイッチ決定手段が、各回のスイッチ選択期間ごとに視線の動きに応じた１つの候補スイッチを決定するので、各回のスイッチ選択期間ごとにユーザが所望するスイッチを選択することができる。そして、最終決定手段が、複数の候補スイッチ間で重複する候補スイッチを選択スイッチとして決定するので、真にユーザが所望するスイッチを選択することができる。
【００２１】
また、本発明における前記候補スイッチ決定手段は、前記視線が最も長く停留した前記スイッチ又は前記視線が最後に通過した前記スイッチを前記候補スイッチとして決定することを特徴とする。
【００２２】
これによれば、視線が最も長く停留したスイッチ又は視線が最後に通過したスイッチは、ユーザが選択しようとするスイッチである可能性が高いと考えられるところ、これらのスイッチを候補スイッチとして決定することで、スイッチ選択期間ごとにユーザが所望するスイッチを１つ決定することができる。
【００２３】
また、本発明における前記候補スイッチ決定手段は、前記視線が最も長く停留した前記スイッチ及び前記視線が最後に通過した前記スイッチが無い場合には、前記視線の通過線の先にある前記スイッチを前記候補スイッチとして決定することを特徴とする。
【００２４】
これにより、視線が最も長く停留したスイッチ及び視線が最後に通過したスイッチが無い場合であっても、候補スイッチを１つ決定することができる。この場合、視線の通過線の先にあるスイッチを候補スイッチとして決定するので、ユーザは所望するスイッチまで視線を移動させる必要がなく、ユーザの利便性を向上できる。
【００２５】
また、本発明における前記最終決定手段は、前回の前記スイッチ選択期間にて決定された前記候補スイッチと今回の前記スイッチ選択期間にて決定された前記候補スイッチとが一致するか否かを判断する一致判断手段を備え、その一致判断手段が一致すると判断した前記候補スイッチを前記選択スイッチとして決定することを特徴とする。
【００２６】
このように、前回と今回とで一致する候補スイッチを選択スイッチとして決定することで、ユーザが所望するスイッチを精度よく選択することができる。
【００２７】
また、本発明における前記最終決定手段は、各回の前記スイッチ選択期間にて決定された複数の前記候補スイッチのうち最多の候補スイッチを前記選択スイッチとして決定することを特徴とする。
【００２８】
このように、複数の候補スイッチのうち最多の候補スイッチを選択スイッチとして決定してもよく、これによっても、ユーザが所望するスイッチを精度よく選択することができる。
【００２９】
また、本発明において、前記視線監視領域は、前記車両のフロントウィンドウの一部の領域と重なるように定められており、
前記フロントウィンドウに画像を表示させる表示手段と、
前記フロントウィンドウの特定のスイッチ表示領域に、前記スイッチを示した画像を前記表示手段によって表示させる表示制御手段と、を備えることを特徴とする。
【００３０】
このように、車両のフロントウィンドウに、視線監視領域を定め、スイッチを示した画像を表示させることで、ユーザは、車両前方を注視しつつ、簡易に所望のスイッチを選択することができる。
【００３１】
また、本発明における前記スイッチ表示領域は、異なる位置に複数定められており、前記表示制御手段は、同一の前記スイッチを、複数の前記スイッチ表示領域に表示させることを特徴とする。
【００３２】
これによれば、同一のスイッチが複数のスイッチ表示領域に表示されるので、ユーザに各スイッチを選択しやすくすることができる。
【００３３】
また、本発明における前記表示制御手段は、複数の前記スイッチ表示領域のそれぞれに、同じ組み合わせの複数の前記スイッチを表示させるものであり、各スイッチ表示領域における前記複数のスイッチ間の表示位置関係を、前記スイッチ表示領域ごとに異ならせることを特徴とする。
【００３４】
これによれば、複数のスイッチ表示領域のそれぞれに、同じ組み合わせの複数のスイッチが表示されるので、ユーザは、どのスイッチ表示領域に視線を移動させたとしても、所望のスイッチを選択することができる。また、各スイッチ表示領域における複数のスイッチ間の表示位置関係が、スイッチ表示領域ごとに異なっているので、各スイッチの選択のしやすさをスイッチ表示領域ごとに変えることができる。よって、ユーザは、所望のスイッチを選択しやすいスイッチ表示領域に視線を移動させることで、その所望のスイッチを容易に選択することができる。
【００３５】
また、本発明における前記表示制御手段は、今回の前記スイッチ選択期間における前記視線の動きに応じた前記スイッチが複数ある場合には、それら複数のスイッチ間の表示位置関係を変更することを特徴とする。
【００３６】
これによれば、今回の視線の移動で選択されたスイッチが複数ある場合には、ユーザが所望するスイッチの候補が複数あることになるので、その複数のスイッチの表示位置関係を変更することで、次回のスイッチ選択期間に、ユーザに、その変更した表示位置関係に応じた視線の移動をさせることができる。よって、ユーザが所望するスイッチを決定しやすくできる。
【図面の簡単な説明】
【００３７】
【図１】車載機器制御装置１の概略構成を示したブロック図である。
【図２】車載機器制御装置１の車両２におけるレイアウトを説明する図である。
【図３】第一実施形態のスイッチ選択処理のメインルーチンを示したフローチャートである。
【図４】図３のＳ１２及びＳ１６の詳細を示したフローチャートである。
【図５】視線が通過した通過線を例示した図である。
【図６】一回目の視線の追跡結果に応じて、スイッチ６１〜６４の表示を変更した例を示した図である。
【図７】第二実施形態のスイッチ選択処理のメインルーチンを示したフローチャートである。
【図８】一回当たりの視線の移動を一定時間で区切った場合の各期間Ｓ１、Ｓ２、Ｓ３を示した図である。
【図９】一回目と二回目とで視線が通過したスイッチを例示した図である。
【図１０】複数のスイッチ表示領域６０ａ、６０ｂにスイッチを表示した例を示した図である。
【図１１】各スイッチ表示領域６０ａ、６０ｂで表示されるスイッチの表示位置関係を例示した図である。
【図１２】３つの視線監視領域５１ａ〜５１ｃがある場合を示した図である。
【図１３】４つの視線監視領域５２ａ〜５２ｄがある場合を示した図である。
【発明を実施するための形態】
【００３８】
（第一実施形態）
次に、本発明の車載機器制御装置の第一実施形態を図面を参照しながら説明する。図１は、本実施形態の車載機器制御装置１の概略構成を示したブロック図である。図２は、車載機器制御装置１の車両２におけるレイアウトを説明する図であり、車載機器制御装置１が搭載された車両２の車内の運転席付近を示している。先ず、これら図１、図２を参照して、車載機器制御装置１の構成について説明する。
【００３９】
図１に示すように、車載機器制御装置１は、画像入力装置４、視線抽出部１１、視線通過判定部１２、視線停留判定部１３、視線進行方向判定部１４、選択結果判定部１５、車載機器制御部１６、表示制御部１７、ヘッドアップディスプレイ（ＨＵＤ）１８、メインスイッチ２１、ステアリングスイッチ２２及びこれらと接続する制御部１０を備える。
【００４０】
画像入力装置４は、車両２のユーザである運転者の眼球３０（図２参照）を逐次撮像して、その撮像した画像を視線抽出部１１に入力するカメラである。その撮像素子には例えばＣＣＤイメージセンサが使用される。画像入力装置４は、図２に示すようにステアリング４２の近傍の計器盤上に設置され、その撮像範囲が運転者の眼球３０を撮像できる範囲に予め設定されている。なお、上記特許文献１〜３に開示された手法により運転者の視線を検出する場合には、その運転者の眼球３０を照らす照明（図示外）が設けられる。
【００４１】
視線抽出部１１は、画像入力装置４から入力された運転者の眼球３０の画像に基づいて、その運転者の視線を算出する部分である。その算出手法は公知の手法が用いられ、例えば特許文献１〜３に開示された手法が用いられる。すなわち、運転者の眼球３０を照らす照明（図示外）による眼球３０の画像における網膜反射像や角膜反射像の位置に基づいて、運転者の視線を算出する手法が用いられる。その手法の詳細はここでは割愛する。なお、画像入力装置４は、運転者の眼球３０を逐次撮像し、各時点における眼球３０の画像を視線抽出部１１に入力するので、視線抽出部１１は、それら画像に基づいて、各時点における視線を算出することになる。すなわち、運転者の視線が移動した場合には、視線抽出部１１によって、その視線の移動が算出される。
【００４２】
視線抽出部１１で算出された運転者の視線を示した情報は、視線通過判定部１２、視線停留判定部１３及び視線進行方向判定部１４に送られる。視線通過判定部１２は、視線抽出部１１から送られてきた運転者の視線の移動（各時点における運転者の視線）に基づいて、運転者の視線が、後述するフロントウィンドウ４１に表示された各スイッチ６１〜６４（図２参照）を通過したか否かを判定する部分である。また、視線停留判定部１３は、その運転者の視線が、各スイッチ６１〜６４を一定時間以上停留したか否かを判定する部分である。また、視線進行方向判定部１４は、その視線の進行方向を算出して、その進行方向の先に、各スイッチ６１〜６４があるか否かを判定する部分である。
【００４３】
これら判定部１２〜１４の判定結果は、選択結果判定部１５に送られる。その選択結果判定部１５は、判定部１２〜１４の判定結果に基づいて、複数のスイッチ６１〜６４（図２参照）のうち、運転者が所望するスイッチである選択スイッチを決定する部分である。なお、これら判定部１２〜１５が行う処理の詳細は、車載機器制御装置１の全体の処理を説明する際に、説明する。
【００４４】
選択結果判定部１５で決定された選択スイッチを示した情報は、車載機器制御部１６に送られる。車載機器制御部１６は、車両２に搭載された所定の複数の車載機器２０が接続されており、選択結果判定部１５から送られてきた選択スイッチに応じて、車載機器２０の制御を実行する部分である。車載機器２０は、具体的には、例えば、車載ナビゲーション装置、オーディオ、エアコン（空調装置）、ヘッドライト等のライトを点灯させる点灯装置、変速装置である。また、車載機器２０の制御としては、車載ナビゲーションに関しては例えば表示する地図の縮尺を設定する制御であり、オーディオに関しては例えば音量を設定する制御である。また、エアコンに関しては例えば温度設定をする制御であり、ライトに関しては例えば光量を設定する制御であり、変速装置に関しては例えばギアポジション（シフト）を切り替える制御である。すなわち、車載機器制御部１６は、選択スイッチに応じて、例えば、オーディオの音量を設定したり、エアコンの温度設定をしたりする。
【００４５】
なお、車室内には、車載機器２０を操作するための操作パネル等の操作部２０ａ（図２参照）が設けられており、ユーザは、その操作部２０ａを直接操作することで、車載機器２０に上記の各制御を行わせることもできる。なお、図２では、操作部２０ａとして、車載機器２０が車載ナビゲーション装置、オーディオ、エアコンの場合におけるその車載機器２０の操作パネル２０ａを示している。
【００４６】
ヘッドアップディスプレイ（ＨＵＤ）１８は、プロジェクタ、反射鏡等の光学系を有し、その光学系を利用して車両２のフロントウィンドウ４１に、各種画像を表示させるものである。そのＨＵＤ１８は、例えば、車両２のダッシュボード１９（図２参照）内に設けられる。なお、ＨＵＤ１８が本発明の「表示手段」に相当する。
【００４７】
表示制御部１７は、ＨＵＤ１８と接続されており、ＨＵＤ１８に表示させる画像を制御する部分である。具体的には、表示制御部１７は、制御対象となる車載機器２０を示したスイッチや、車載機器２０の制御内容を示したスイッチを表示させるように、ＨＵＤ１８を制御する。より具体的には、図２に示すように、表示制御部１７は、デフォルト表示として、後述する視線監視領域５０外の、フロントウィンドウ４１の下部に定められたスイッチ表示領域６０に、第一のスイッチ６１、第二のスイッチ６２、第三のスイッチ６３及び第四のスイッチ６４の４つのスイッチを表示させる。これらスイッチ６１〜６４は、例えばそれぞれ同じ大きさの正方形状の画像であり、横一列に配置される。各スイッチ６１〜６４は、それぞれ、複数の車載機器２０のうちのいずれかが割り当てられており、割り当てられた車載機器２０を表示するアイコン画像とされる。
【００４８】
また、表示制御部１７は、車載機器制御部１６と接続されており、スイッチ６１〜６４の他に、車載機器制御部１６による制御内容に応じた画像（図示外）もフロントウィンドウ４１に表示させる。具体的には、車載機器制御部１６は、制御対象とする車載機器２０から、現在の音量（オーディオの場合）や温度設定（エアコンの場合）等の現在の設定値を取得する。そして、表示制御部１７は、車載機器制御部１６からその設定値を取得して、その設定値を示した画像をフロントウィンドウ４１に表示させる。なお、表示制御部１７が本発明の「表示制御手段」に相当する。
【００４９】
なお、上記の各処理を実行する各処理部１１〜１７は、それぞれ、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有したコンピュータとして構成され、各ＣＰＵが、各ＲＯＭに予め記憶されたプログラムにしたがった処理を実行することで、上記の処理を行っている。なお、これら処理部１１〜１７は、一つのコンピュータとして構成してもよく、また、後述する制御部１０の一機能として実現してもよい。
【００５０】
メインスイッチ２１は、ステアリング４２に設けられ（図２参照）、後述する制御部１０によるスイッチ選択処理の開始又は終了を指示するスイッチとされる。そのメインスイッチ２１は、ユーザによってメインスイッチ２１が操作された場合には、その操作されたことを示す信号を制御部１０に入力する。
【００５１】
ステアリングスイッチ２２は、メインスイッチ２１とともにステアリング４２に設けられ（図２参照）、車載機器２０の設定値を設定するために用いられるスイッチである。そのステアリングスイッチ２２は、車載機器２０の設定値の増加を指示したり、減少を指示したりするアップダウンスイッチとして構成される。そして、ユーザによってステアリングスイッチ２２が操作された場合には、ステアリングスイッチ２２は、設定値の増加を指示する信号又は減少を指示する信号を制御部１０に入力する。
【００５２】
制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有したコンピュータとして構成され、車載機器制御装置１の全体の制御を司る部分とされる。具体的には、制御部１０は、上記各処理部１１〜１７の動作を制御して、運転者の視線によって指示されるスイッチを選択スイッチとして決定するとともに、その選択スイッチに応じた車載機器２０の制御を行うスイッチ選択処理を実行する。次に、そのスイッチ選択処理の詳細について説明する。ここで、図３は、スイッチ選択処理のメインルーチンを示したフローチャートである。また、図４は、図３のＳ１２、Ｓ１６の視線追跡処理の詳細を示したフローチャートである。この図３のスイッチ選択処理は、ユーザによってメインスイッチ２１が操作された場合に開始され、再度、メインスイッチ２１が操作された場合に終了される。
【００５３】
先ず、図２に示すように、フロントウィンドウ４１の下部のスイッチ表示領域６０に各スイッチ６１〜６４を表示させる（Ｓ１０）。このＳ１０の処理は、表示制御部１７（図１参照）が主となって行う処理である。
【００５４】
次いで、運転者の視線が、予め定められた視線監視領域５０（図２参照）から外れたか否かを判断する（Ｓ１１）。この視線監視領域５０は、図２に示すように、フロントウィンドウ４１の一部の領域と重複する形で定められ、より具体的には、フロントウィンドウ４１の上部及び下部を除く領域と重複する形で定められている。その視線監視領域５０は、運転者が車両２の前方を注視している際におけるその運転者の視線が通常位置する領域として定められ、例えば、運転者の眼球３０（図２参照）の高さと同程度の高さ、フロントウィンドウ４１の幅と同程度の幅の領域とされる。
【００５５】
そしてＳ１１では、画像入力装置４によって撮像された現時点における運転者の眼球３０の画像に基づいて、視線抽出部１１が、現時点における運転者の視線を算出する。そして、その運転者の視線が視線監視領域５０から外れたか否かを判断する。運転者の視線が視線監視領域５０から外れていない場合、すなわち、視線監視領域５０内にある場合は（Ｓ１１：Ｎｏ）、再度このＳ１１の処理を実行する。すなわち、繰り返しＳ１１の処理を実行して、運転者の視線が視線監視領域５０内にあることを監視する。なお、Ｓ１１を実行する制御部１０及び各処理部１１〜１７が本発明の「視線移動判断手段」に相当する。
【００５６】
Ｓ１１において運転者の視線が視線監視領域５０から外れた場合には（Ｓ１１：Ｙｅｓ）、視線が視線監視領域５０から外れている間、その視線の動きを追跡する視線追跡処理を実行する（Ｓ１２）。具体的には、先ず、図４のＳ１０１において、運転者の視線が視線監視領域５０外における各時点における運転者の眼球３０を画像入力装置４に撮像させる（Ｓ１０１）。その画像入力装置４で撮像された眼球３０の画像は、視線抽出部１１に入力される（Ｓ１０１）。次いで、視線抽出部１１が、各時点における眼球３０の画像に基づいて、各時点における運転者の視線を算出する（Ｓ１０２）。
【００５７】
次いで、それら各時点おける視線に基づいて、フロントウィンドウ４１における視線の通過点及び視線の進行方向を算出する（Ｓ１０３）。具体的には、視線の通過点については、フロントウィンドウ４１に対応する面データを予め記憶しておき、視線がその面データのどの位置で交差するかに基づいて、視線の通過点を算出する。また、視線の進行方向については、例えば、一つ前の時点における通過点と現時点における通過点とを結んだ直線の方向を、視線の進行方向として算出する。なお、このＳ１０３の処理は、視線通過判定部１２及び視線進行方向判定部１４が主となって行う処理である。
【００５８】
ここで、図５は、各時点における視線の通過点を結んだ線である視線の通過線を例示した図であり、図５（ａ）は、視線がスイッチ表示領域６０を通過した場合の通過線１００を示し、図５（ｂ）は、視線がスイッチ表示領域６０を通過しない場合の通過線１０１を示している。なお、図５（ａ）の視線の通過線１００は、先ず第三のスイッチ６３を通過し、次に第四のスイッチ６４を通過し、その後、スイッチ表示領域６０から離れる線である。一方、図５（ｂ）の通過線１０１は、スイッチ表示領域６０の第三のスイッチ６３に向けて進行し、第三のスイッチ６３の到達する前にスイッチ表示領域６０から離れていく線である。また、図５（ａ）の通過線１００は、説明の便宜のために１０個の通過点Ｐ１〜Ｐ１０から構成されているとする。例えば視線が図５（ａ）のように移動したとすると、Ｓ１０３では、それら通過点Ｐ１〜Ｐ１０を算出することになる。また、図５（ａ）では、通過点Ｐ２の時点における視線の進行方向Ｑ２を示している。なお、Ｓ１０１〜Ｓ１０３を実行する制御部１０及び各処理部１１〜１７が本発明の「視線追跡手段」に相当する。
【００５９】
次いで、Ｓ１０３で算出した各通過点から構成される通過線上に、スイッチ表示領域６０に表示されたスイッチ６１〜６４があるか否かを判断する（Ｓ１０４）。具体的には、スイッチ６１〜６４の表示位置を予め記憶しておき、その表示位置と視線の通過線とを比較することで、通過線上にスイッチ６１〜６４があるか否かを判断する。例えば視線が図５（ａ）のように移動したとすると、通過線１００上にスイッチ６３及びスイッチ６４があるので、視線の通過線上にスイッチ６１〜６４があると判断される（Ｓ１０４：Ｙｅｓ）。この場合、処理をＳ１０５に進める。なお、このＳ１０４の処理は、視線通過判定部１２が主となって行う処理である。
【００６０】
Ｓ１０５では、スイッチ６１〜６４での視線の停留点及びその停留時間を算出する（Ｓ１０５）。なお、本実施形態における視線の停留とは、継続して一定時間以上、視線（視線の通過線上の通過点）が一つのスイッチ６１〜６４上にある場合をいうものとする。各時点における視線の通過点が、一つのスイッチ６１〜６４上に多くあるほど、視線がそのスイッチ６１〜６４上に長く停留したことになる。よって、Ｓ１０５では、例えば、スイッチ６１〜６４上にある通過点の個数が所定の複数の個数以上の場合に視線の停留であるとして、それら複数の通過点を視線の停留点とする。また、それら通過点の個数に基づいて、視線の停留時間を算出する。
【００６１】
例えば視線が図５（ａ）のように移動したとすると、第三のスイッチ６３上には３つの時点における通過点Ｐ５〜Ｐ７が位置しているので、Ｓ１０５では、それら通過点Ｐ５〜Ｐ７を停留点Ｔ１とする。そして、３つの時点に対応する時間を視線の停留時間として算出する。一方、第四のスイッチ６４上には１つの時点における通過点Ｐ８しかないので、Ｓ１０５では、第四のスイッチ６４には視線が停留しなかったとして処理する。
【００６２】
次いで、Ｓ１０５で算出した停留点及び停留時間に基づいて、視線が一定時間以上停留したスイッチ６１〜６４があるか否かを判断する（Ｓ１０６）。なお、このＳ１０６における一定時間は、例えば０．５秒とする。よって、図５（ａ）の場合では、３つの時点の通過点Ｐ５〜Ｐ７に対応する停留時間が０．５秒以上か否かを判断する（Ｓ１０６）。なお、Ｓ１０５で算出した停留点が複数ある場合には、各停留点に対する停留時間がそれぞれ一定時間以上か否かを判断する（Ｓ１０６）。視線が一定時間以上停留したスイッチ６１〜６４がある場合には（Ｓ１０６：Ｙｅｓ）、処理をＳ１０７に進める。
【００６３】
そして、Ｓ１０７では、視線が一定時間以上停留したスイッチ６１〜６４のうち、最も長く視線が停留したスイッチ、すなわち、Ｓ１０５で算出した停留時間が最も長いスイッチを抽出する（Ｓ１０７）。次いで、その抽出したスイッチを、運転者が所望する選択スイッチの候補となる候補スイッチとして決定する（Ｓ１１０）。図５（ａ）において、例えば第三のスイッチ６３での停留時間が一定時間以上の場合には（Ｓ１０６：Ｙｅｓ）、その第三のスイッチ６３が候補スイッチとして決定される（Ｓ１０７、Ｓ１１０）。運転者は、所望するスイッチ６１〜６４に長く視線を停留させると考えられるので、最も長く停留したスイッチ６１〜６４を候補スイッチとすることにより、運転者が所望するスイッチ６１〜６４を選択できるようにすることができる。その後、図４のフローチャートの処理を終了する。なお、Ｓ１０５〜Ｓ１０７の処理は、視線停留判定部が主となって行う処理である。また、Ｓ１１０の処理は、選択結果判定部１５が主となって行う処理である。
【００６４】
一方、Ｓ１０６において、視線が一定時間以上停留したスイッチ６１〜６４がない場合には（Ｓ１０６：Ｎｏ）、処理をＳ１０８に進める。そして、視線が最後に通過したスイッチ６１〜６４を抽出し（Ｓ１０８）、その抽出したスイッチを候補スイッチとして決定する（Ｓ１１０）。図５（ａ）において、例えば第三のスイッチ６３での停留時間が一定時間未満の場合には（Ｓ１０６：Ｎｏ）、視線が最後に通過した第四のスイッチ６４が候補スイッチとして決定される（Ｓ１０８、Ｓ１１０）。運転者は、所望するスイッチ６１〜６４に視線を最後に通過させた後に視線を元に戻すと考えられるので、視線が最後に通過したスイッチ６１〜６４を候補スイッチとすることにより、運転者が所望するスイッチ６１〜６４を選択できるようにすることができる。その後、図４のフローチャートの処理を終了する。なお、Ｓ１０８の処理は、視線通過判定部１２が主となって行う処理である。
【００６５】
また、Ｓ１０４において、視線の通過線上にスイッチ６１〜６４がない場合には（Ｓ１０４：Ｎｏ）、処理をＳ１０９に進める。例えば視線が図５（ｂ）のように移動したとすると、視線の通過線１０１上にはスイッチ６１〜６４がないので、この場合にはＳ１０９の処理が実行される。そのＳ１０９では、先のＳ１０３で算出した視線の進行方向にあるスイッチ６１〜６４を抽出する（Ｓ１０９）。図５（ｂ）においては、視線の通過線１０１の、ある時点における進行方向Ｑに第三のスイッチ６３があるので、Ｓ１０９では、その第三のスイッチ６３が抽出される。次いで、Ｓ１０９で抽出したスイッチ６１〜６４を候補スイッチとして決定する（Ｓ１１０）。運転者は、所望するスイッチ６１〜６４に向かって視線を移動させると考えられるので、視線の進行方向のスイッチ６１〜６４を候補スイッチとすることにより、運転者が所望するスイッチ６１〜６４を選択できるようにすることができる。また、運転者は所望するスイッチ６１〜６４まで視線を移動させる必要がないので、ユーザの利便性を向上できる。その後、図４のフローチャートの処理を終了する。なお。Ｓ１０４〜Ｓ１１０の処理を実行する制御部１０及び各処理部１１〜１７が本発明の「候補スイッチ決定手段」に相当する。
【００６６】
図３の処理に戻り、Ｓ１２の視線追跡処理を実行した後、すなわち運転者の視線が視線監視領域５０に復帰すると、Ｓ１２の視線追跡処理の追跡結果に応じて、スイッチ表示領域６０に表示された各スイッチ６１〜６４の表示を変更する（Ｓ１３）。具体的には、一回目の視線の移動の際における、その視線が通過したスイッチ６１〜６４及びその視線の進行方向のスイッチ６１〜６４から構成されるスイッチ群の各スイッチ６１〜６４間の表示位置関係を変更する（Ｓ１３）。より具体的には、そのスイッチ群の各スイッチ６１〜６４間の間隔（距離）がデフォルト表示のときよりも大きくなるように、各スイッチ６１〜６４間の表示位置関係を変更する（Ｓ１３）。
【００６７】
例えば、スイッチ表示領域６０におけるスイッチ６１〜６４が、図６（ａ）のようにデフォルト表示されていたとする。すなわち、第一のスイッチ６１が、ギアポジションを切り替える変速装置を示したアイコン画像（「シフトレバー」）であり、第二のスイッチ６２が、オーディオを示したアイコン画像（「オーディオ」）であり、第三のスイッチ６３が、エアコンを示したアイコン画像（「エアコン」）であり、第四のスイッチ６４が、車載ナビゲーション装置を示したアイコン画像（「ナビ」）であるとする。また、一回目の視線の移動の際に、その視線が図５（ａ）のように移動したとする。つまり、一回目の視線の移動の際に、その視線が第三のスイッチ６３（「エアコン」のスイッチ）及び第四のスイッチ６４（「ナビ」のスイッチ）を通過したとする。この場合、Ｓ１３では、例えば図６（ｂ）のように、第三のスイッチ６３と第四のスイッチ６４の表示位置関係を変更する。すなわち、第三のスイッチ６３（「エアコン」のスイッチ）をスイッチ表示領域６０の一番右側の位置に表示させ、第四のスイッチ６４（「ナビ」のスイッチ）をスイッチ表示領域６０の左から２番目の位置に表示させる。それに伴い、第三のスイッチ６３と第四のスイッチ６４の間（スイッチ表示領域６０の左から３番目の位置）に、第二のスイッチ６２（「オーディオ」のスイッチ）を表示させる。
【００６８】
このように、一回目の視線が通過した第三のスイッチ６３と第四のスイッチ６４との間隔が大きくされることで、二回目の視線の移動の際に、それら第三のスイッチ６３、第四のスイッチ６４のうちの運転者が所望するスイッチを、運転者に選択させやすくできる。
【００６９】
また、Ｓ１３において、一回目の視線が通過した複数のスイッチ６１〜６４のうちのＳ１２で決定された候補スイッチは、運転者が所望するスイッチの可能性が高いので、その候補スイッチをスイッチ表示領域６０の端の位置（一番右側の位置又は一番左側の位置）に表示させるようにしてもよい。例えば、Ｓ１２において、第三のスイッチ６３（「エアコン」のスイッチ）が候補スイッチとして決定された場合には、図６（ｂ）に示すように、その第三のスイッチ６３をスイッチ表示領域６０の一番右側の位置に表示させる。これによって、二回目の視線の移動の際に、その第三のスイッチ６３（候補スイッチ）を選択させやすくできる。なお、Ｓ１３の処理は、主に表示制御部１７が行う処理である。
【００７０】
図３の説明に戻り、次いで、前回（一回目）に視線が視線監視領域５０に復帰してから所定時間内に、再び、視線が視線監視領域５０から外れたか否かを判断する（Ｓ１４）。具体的には、Ｓ１１の判断と同様に、画像入力装置４から入力された運転者の眼球３０の画像に基づいて、視線抽出部１１が運転者の視線を算出する（Ｓ１４）。そして、その算出した視線が視線監視領域５０にあるか否かを判断する（Ｓ１４）。なお、Ｓ１４の処理を実行する制御部１０及び各処理部１１〜１７が本発明の「再移動判断手段」に相当する。
【００７１】
このＳ１４の処理は、一回目の視線の移動がスイッチ６１〜６４を選択する意図してなされたものであるかを判断するための処理である。すなわち、一回目の視線の移動がスイッチ６１〜６４を選択する意図してなされたものである場合には、視線が視線監視領域５０に復帰してから早い時期に二回目の視線の移動もなされる可能性が高いと考えられる。よって、所定時間内に、視線が再び視線監視領域５０から外れなかった場合には（Ｓ１４：Ｎｏ）、運転者はスイッチ６１〜６４を選択する意思がないとする。この場合、表示制御部１７が、Ｓ１３で変更した表示を元のデフォルト表示に戻す（Ｓ１５）。なお、Ｓ１４における所定時間は例えば「５秒」とする。その後、Ｓ１１の処理に戻る。
【００７２】
Ｓ１４において、所定時間内に、視線が再び視線監視領域５０から外れた場合には（Ｓ１４：Ｙｅｓ）、運転者はスイッチ６１〜６４を選択する意思がある可能性が高いとして、Ｓ１６以降の処理を実行する。具体的には、今回（二回目）の視線の移動に対する視線追跡処理を実行する（Ｓ１６）。このＳ１６の処理は、先に説明したＳ１２（図４のフローチャートの処理）と同じ処理である。つまり、二回目の視線の移動に対して、運転者が所望する選択スイッチの候補となる候補スイッチを決定する（Ｓ１６）。
【００７３】
次いで、前回（一回目）の視線追跡処理（Ｓ１２）によって決定された候補スイッチと、今回（二回目）の視線追跡処理（Ｓ１６）によって決定された候補スイッチとが、同じスイッチであるか否かを判断する（Ｓ１７）。同じスイッチでない場合には（Ｓ１７：Ｎｏ）、一回目及び二回目の視線の移動がともに、スイッチ６１〜６４を選択する意図がなく偶然なされたものであるとして、選択スイッチの決定を行わない。この場合（Ｓ１７：Ｎｏ）、スイッチ表示領域６０の表示を元のデフォルト表示に戻す（Ｓ１５）。その後、Ｓ１１の処理に戻る。
【００７４】
Ｓ１７において、一回目に決定された候補スイッチと二回目に決定された候補スイッチとが同じスイッチである場合には（Ｓ１７：Ｙｅｓ）、その候補スイッチを、運転者が所望する選択スイッチとして決定する（Ｓ１８）。なお、Ｓ１７及びＳ１８の処理は、選択結果判定部１５が主となって行う処理である。なお、Ｓ１７及びＳ１８を実行する制御部１０及び各処理部１１〜１７が本発明の「最終決定手段」に相当する。また、Ｓ１７を実行する制御部１０及び各処理部１１〜１７が本発明の「一致判断手段」に相当する。
【００７５】
次いで、Ｓ１８にて決定した選択スイッチに応じた車載機器２０の制御を実行する（Ｓ１９）。例えば、選択スイッチが、エアコンに対応するスイッチである場合には、車載機器２０としてのエアコンに関する制御を実行する。具体的には、例えば、表示制御部１７が、現在のエアコンの設定温度を示した画像をフロントウィンドウ４１に表示させる。また、ステアリング４２に設けられたステアリングスイッチ２２の操作によって、エアコンの設定温度を設定できるようにする。すなわち、車載機器制御部１６が、ステアリングスイッチ２２からの信号に応じた分だけ、現在のエアコンの設定温度を増加させ、又は減少させるように、エアコン（車載機器２０）を制御する。このように、運転者は、車載機器２０の操作パネル２０ａ（図２参照）を直接操作しなくても、フロントウィンドウ４１に表示された現在の設定値を確認しつつ、ステアリングスイッチ２２によってその設定値を変更することができる。よって、車両２の前方から視線が離れるのを防止できる。その後、Ｓ１０の処理に戻って、メインスイッチ２１が再度操作されるまで、上記の処理を繰り返し実行する。なお、本実施形態では、メインスイッチ２１により上記の処理の開始と終了を指定しているが、メインスイッチ２１の設置にかかわらず、上記の処理を常時繰り返す実施形態を排除するものではない。
【００７６】
以上説明したように、本実施形態では、運転者の視線が視線監視領域５０から外れている間における視線の動きに基づいて、運転者が所望する選択スイッチを決定しているので、運転者の視線の動きを常に追跡して選択スイッチを決定する場合に比べて、その決定の精度を向上できる。また、一定時間以上スイッチを注視していなくても、つまりスイッチをチラ見するだけでそのスイッチを選択スイッチとして決定することができるので、車両前方を見ることが疎かになることを防止できる。さらに、二回のチラ見の結果に基づいて選択スイッチを決定しているので、その決定の精度をより一層向上できる。
【００７７】
（第二実施形態）
次に、本発明の車載機器制御装置の第二実施形態について、第一実施形態と異なる部分を中心に説明する。第二実施形態における車載機器制御装置の構成は、図１、図２の第一実施形態のそれと同じである。一方、制御部１０及び各処理部１１〜１７が実行する、選択スイッチを決定するスイッチ選択処理が、第一実施形態のそれ（図３の処理）と異なる。以下、本実施形態のスイッチ選択処理について説明する。
【００７８】
ここで、図７は、本実施形態のスイッチ選択処理のメインルーチンを示したフローチャートである。なお、図７において、図３の処理と同じ処理ステップには同じ符号を付している。先ず、フロントウィンドウ４１下部のスイッチ表示領域６０に、４つのスイッチ６１〜６４を表示させる（Ｓ１０）。次いで、運転者の視線が視線監視領域５０から外れたか否かを判断する（Ｓ１１）。外れた場合には（Ｓ１１：Ｙｅｓ）、視線を追跡して候補スイッチを決定する（Ｓ１２）。次いで、Ｓ１２の追跡結果に応じて、スイッチ表示領域６０に表示されたスイッチ６１〜６４（図２参照）の表示を変更する（Ｓ１３）。次いで、所定時間内に、再度、視線が視線監視領域５０から外れたか否かを判断する（Ｓ１４）。外れなかった場合には（Ｓ１４：Ｎｏ）、スイッチ６１〜６４の表示をデフォルト表示に戻す（Ｓ１５）。一方、所定時間内に視線が再度視線監視領域５０から外れた場合には（Ｓ１４：Ｙｅｓ）、再度、視線を追跡して候補スイッチを決定する（Ｓ１６）。
【００７９】
次いで、視線が視線監視領域５０から外れて視線監視領域５０に復帰するまでの視線の移動を一回の視線の移動としたときに、視線の移動が所定回数されたか否かを判断する（Ｓ２０）。このＳ２０の所定回数は、三回以上の回数とする（二回の場合では、第一実施形態と同じ内容となるため）。なお、Ｓ２０の処理は、Ｓ１２及びＳ１６にて決定された候補スイッチの個数が所定個数になったか否かを判断することと同義である。ここで、視線の移動の回数が未だ所定回数に達していない場合は（Ｓ２０：Ｎｏ）、Ｓ１４の処理に戻る。この場合、所定時間内に、再度、視線が視線監視領域５０から外れた場合には（Ｓ１４：Ｙｅｓ）、候補スイッチを決定する（Ｓ１６）。そして、視線の移動回数を一回プラスして、再度、視線の移動が所定回数されたか否かを判断する（Ｓ２０）。つまり、視線の移動が所定回数されるまでは、Ｓ１４、Ｓ１６、Ｓ２０の処理が繰り返し実行されて、候補スイッチが繰り返し決定される。一方、視線の移動が所定回数される前に、前回に視線が視線監視領域５０に復帰してから所定時間内に今回の視線の移動がなされなかった場合には（Ｓ１４：Ｎｏ）、選択スイッチの決定を行わない。この場合（Ｓ１４：Ｎｏ）、デフォルト表示に戻して（Ｓ１５）、Ｓ１１の処理に戻る。
【００８０】
Ｓ２０において、視線の移動が所定回数された場合には（Ｓ２０：Ｙｅｓ）、Ｓ１２及びＳ１６で決定された複数の候補スイッチのうち最多の候補スイッチを、運転者が所望する選択スイッチとして決定する（Ｓ２１）。例えば、５つの候補スイッチを決定したとして、そのうちの３つが第三のスイッチ６３（図２参照）である場合には、その第三のスイッチ６３を選択スイッチとして決定する（Ｓ２１）。なお、Ｓ２１の処理は、選択結果判定部１５が主となって行う処理である。次いで、決定した選択スイッチに応じた車載機器２０の制御を実行する（Ｓ１９）。その後、Ｓ１０の処理に戻って、メインスイッチ２１が再度操作されるまで、上記の処理を繰り返し実行する。なお、Ｓ２１を実行する制御部１０及び各処理部１１〜１７が本発明の「最終決定手段」に相当する。
【００８１】
以上説明したように、本実施形態では、三回以上のチラ見の結果に基づいて、すなわち、複数の候補スイッチの中から多数決で選択スイッチを決定しているので、その決定の精度を向上できる。
【００８２】
（変形例１）
なお、本発明に係る車載機器制御装置は、上記実施形態に限定されるものではなく、特許請求の範囲の記載を逸脱しない限度で適宜変更することができる。例えば、上記第一、第二実施形態では、視線が視線監視領域５０から外れてから視線監視領域５０に復帰するまでを一回の視線の移動としていたが、図８に示すように、視線が視線監視領域５０外にある間において、一定時間当たりの視線の移動を一回の視線の移動としてもよい。この場合、図８に示すように、視線監視領域５０から外れてから最初に一定時間が経過するまでの期間Ｓ１、その次に一定時間が経過するまでの期間Ｓ２、その次に一定時間が経過するまでの期間Ｓ３、・・・としたときに、各期間Ｓ１、Ｓ２、Ｓ３・・・ごとの視線の動きに基づいて、選択スイッチを決定する。具体的には、例えば、各期間ごとに一つの候補スイッチを決定し、第一実施形態のように、今回の期間で決定された候補スイッチが、前回の期間で決定された候補スイッチと同じ場合には、その候補スイッチを選択スイッチとして決定する。また、例えば、第二実施形態のように、所定回数の期間の分だけ候補スイッチを決定し、それら複数の候補スイッチのうち最多の候補スイッチを選択スイッチとして決定する。
【００８３】
また、各期間において一つの候補スイッチを決定しないで、前回の期間にて視線が通過した１又は複数のスイッチからなるスイッチ群と、今回の期間にて視線が通過した１又は複数のスイッチからなるスイッチ群との間で、重複するスイッチを選択スイッチとして決定してもよい。ここで、図９は、その決定方法の具体例を示した図であり、具体的には、図９（ａ）は、前回（一回目）に視線が通過したスイッチ７１、７２、７３を示しており、図９（ｂ）は、今回（二回目）に視線が通過したスイッチ７４、７２、７５を示している。この場合、図９（ａ）、（ｂ）に示すように、一回目と二回目とで、「ナビ」のスイッチ７２が重複するので、そのスイッチ７２を選択スイッチとして決定する。
【００８４】
（変形例２）
上記実施形態では、フロントウィンドウ４１の下部の一箇所（スイッチ表示領域６０、図２参照）にスイッチ６１〜６４を表示していたが、同一のスイッチを複数箇所に表示するようにしてもよい。ここで、図１０は、図２と対応する図であり、同一のスイッチを複数箇所に表示した例を示している。なお、図１０において、図２と変更がない部分には同一の符号を付している。図１０に示すように、フロントウィンドウ４１の下部に第一のスイッチ表示領域６０ａが設けられ、その第一のスイッチ表示領域６０ａには、４つのスイッチ６１ａ〜６４ａが表示される。また、フロントウィンドウ４１の上部に第二のスイッチ表示領域６０ｂが設けられ、その第二のスイッチ表示領域６０ｂには、４つのスイッチ６１ｂ〜６４ｂが表示される。これらスイッチ６１ａ〜６４ａとスイッチ６１ｂ〜６４ｂとはそれぞれ同じスイッチであり、具体的には、スイッチ６１ａとスイッチ６１ｂとが同じであり、スイッチ６２ａとスイッチ６２ｂとが同じであり、スイッチ６３ａとスイッチ６３ｂとが同じであり、スイッチ６４ａとスイッチ６４ｂとが同じである。
【００８５】
このように、同一のスイッチを複数のスイッチ表示領域に表示することで、運転者に各スイッチを選択させやすくすることができる。
【００８６】
また、図１０では、第一のスイッチ表示領域６０ａのスイッチ６１ａ〜６４ａの表示位置関係と、第二のスイッチ表示領域６０ｂのスイッチ６１ｂ〜６４ｂの表示位置関係とが同じであったが、図１１に示すように、それら表示位置関係を互いに異ならせても良い。すなわち、図１１では、第一のスイッチ表示領域６０ａの左から３番目の位置に表示されたスイッチ６３ａは、第二のスイッチ表示領域６０ｂにおいては、一番右側の位置にスイッチ６３ｂとして表示されている。それに伴い、第一のスイッチ表示領域６０ａの一番右側の位置に表示されたスイッチ６４ａは、第二のスイッチ表示領域６０ｂにおいては、左から３番目の位置にスイッチ６４ｂとして表示されている。
【００８７】
これによって、各スイッチの選択のしやすさをスイッチ表示領域ごとに変えることができる。具体的には、例えば図１１において、第一のスイッチ表示領域６０ａにおいては左から３番目のスイッチ６３ａが、運転者によっては選択し難かったとする。この場合、第二のスイッチ表示領域６０ｂにおいては、そのスイッチ６３ａに対応するスイッチ６３ｂが一番右側の位置に表示されているので、そのスイッチ６３ｂを選択しやすくなると考えられる。
【００８８】
なお、図１１で例示した他に、一のスイッチ表示領域においては横一列にスイッチを表示し、他のスイッチ表示領域においては縦一列にスイッチを表示してもよい。また、他のスイッチ表示領域においては複数列にスイッチを表示してもよい。また、他のスイッチ表示領域においては、隣り合う２つのスイッチの間隔を変更してもよい。
【００８９】
（その他変形例）
上記実施形態では、一つの視線監視領域５０（図２参照）を定めていたが、図１２、図１３に示すように、複数の視線監視領域を定めてもよい。すなわち、図１２に示すように、３つの視線監視領域５１ａ〜５１ｃからなる視線監視領域５１を定めてもよく、図１３に示すように、４つの視線監視領域５２ａ〜５２ｄからなる視線監視領域５２を定めてもよい。なお、図１２、図１３では、図２と変更がない部分には同一の符号を付している。
【００９０】
また、上記実施形態では、運転者の視線によって選択されるスイッチとして、フロントウィンドウ４１に表示されたアイコン画像を対象としていたが、車載機器２０の操作パネル２０ａ（図２参照）に表示されたボタン、スイッチ、アイコン画像を、運転者の視線によって選択されるスイッチの対象としてもよい。また、車載機器２０（車載機器２０の操作パネル２０ａ）そのものをスイッチと考えて、その車載機器２０を視線で選択できるようにしてもよい。
【００９１】
また、上記実施形態では、複数の車載機器２０のいずれかに割り当てられた複数のスイッチを表示していたが、一の車載機器２０のいずれかの機能に割り当てられた複数のスイッチを表示してもよい。具体的には、例えば、車載機器２０としてオーディオを考えた場合、音量を設定するためのスイッチ、ＣＤ、ＤＶＤ等のソースを切り替えるためのスイッチ等、機能別の複数のスイッチを表示してもよい。また、上記実施形態では、一のスイッチ表示領域あたりに４つのスイッチを表示していたが、何個のスイッチを表示してもよい。
【符号の説明】
【００９２】
１ 車載機器制御装置
２ 車両
４ 画像入力装置（カメラ）
１０ 制御部
１１ 視線抽出部
１２ 視線通過判定部
１３ 視線停留判定部
１４ 視線進行方向判定部
１５ 選択結果判定部
１６ 車載機器制御部
１７ 表示制御部
１８ ＨＵＤ（表示手段）
２０ 車載機器
２０ａ 車載機器２０の操作パネル
２１ メインスイッチ
２２ ステアリングスイッチ
４１ フロントウィンドウ
５０、５１、５２ 視線監視領域
６０、６０ａ、６０ｂ スイッチ表示領域
６１〜６４、６１ａ〜６４ａ、６１ｂ〜６４ｂ、７１〜７５ スイッチ
【特許請求の範囲】
【請求項１】
予め表示された複数のスイッチの中からユーザの視線によって選択されたスイッチである選択スイッチに応じて、車両に搭載された車載機器の制御を実行する車載機器制御装置であって、
前記ユーザの視線が予め定められた視線監視領域から外れたか否かを判断する視線移動判断手段と、
その視線移動判断手段が前記ユーザの視線が前記視線監視領域から外れたと判断したことに基づいて、前記ユーザの視線の動きを追跡する視線追跡手段と、
前記視線監視領域外に表示された前記複数のスイッチのうち、前記視線追跡手段が追跡した前記視線の動きに応じたスイッチを、前記選択スイッチとして決定するスイッチ決定手段と、を備えることを特徴とする車載機器制御装置。
【請求項２】
前記スイッチ決定手段は、前記視線が通過した通過線上又はその通過線の先にある前記スイッチを前記選択スイッチとして決定することを特徴とする請求項１に記載の車載機器制御装置。
【請求項３】
前記スイッチ決定手段は、前記ユーザの視線が前記視線監視領域から外れているときにおける特定期間をスイッチ選択期間としたときに、複数回の前記スイッチ選択期間における前記視線の動きに応じた前記スイッチを、前記選択スイッチとして決定することを特徴とする請求項１又は２に記載の車載機器制御装置。
【請求項４】
前記スイッチ選択期間は、前記ユーザの視線が前記視線監視領域から外れてから前記視線監視領域に復帰するまでの期間であることを特徴とする請求項３に記載の車載機器制御装置。
【請求項５】
前記ユーザの視線が前回に前記視線監視領域に復帰してから所定時間が経過するまでに、再度、前記ユーザの視線が前記視線監視領域から外れたか否かを判断する再移動判断手段を備え、
前記スイッチ決定手段は、前記再移動判断手段が前記視線が前記視線監視領域から外れていないと判断した場合には、前記選択スイッチの決定を中止することを特徴とする請求項４に記載の車載機器制御装置。
【請求項６】
前記スイッチ決定手段は、各回の前記スイッチ選択期間における前記視線の動きに応じた１又は複数の前記スイッチからなる群をスイッチ群としたときに、複数の前記スイッチ群の間で重複する前記スイッチを前記選択スイッチとして決定することを特徴とする請求項３〜５のいずれか１項に記載の車載機器制御装置。
【請求項７】
前記スイッチ決定手段は、
各回の前記スイッチ選択期間ごとに、前記視線の動きに応じた１つの前記スイッチを、前記選択スイッチの候補となる候補スイッチとして決定する候補スイッチ決定手段と、
その候補スイッチ決定手段が決定した複数の前記候補スイッチ間で重複する候補スイッチを前記選択スイッチとして決定する最終決定手段と、を備えることを特徴とする請求項３〜６のいずれか１項に記載の車載機器制御装置。
【請求項８】
前記候補スイッチ決定手段は、前記視線が最も長く停留した前記スイッチ又は前記視線が最後に通過した前記スイッチを前記候補スイッチとして決定することを特徴とする請求項７に記載の車載機器制御装置。
【請求項９】
前記候補スイッチ決定手段は、前記視線が最も長く停留した前記スイッチ及び前記視線が最後に通過した前記スイッチが無い場合には、前記視線の通過線の先にある前記スイッチを前記候補スイッチとして決定することを特徴とする請求項８に記載の車載機器制御装置。
【請求項１０】
前記最終決定手段は、前回の前記スイッチ選択期間にて決定された前記候補スイッチと今回の前記スイッチ選択期間にて決定された前記候補スイッチとが一致するか否かを判断する一致判断手段を備え、その一致判断手段が一致すると判断した前記候補スイッチを前記選択スイッチとして決定することを特徴とする請求項７〜９のいずれか１項に記載の車載機器制御装置。
【請求項１１】
前記最終決定手段は、各回の前記スイッチ選択期間にて決定された複数の前記候補スイッチのうち最多の候補スイッチを前記選択スイッチとして決定することを特徴とする請求項７〜９のいずれか１項に記載の車載機器制御装置。
【請求項１２】
前記視線監視領域は、前記車両のフロントウィンドウの一部の領域と重なるように定められており、
前記フロントウィンドウに画像を表示させる表示手段と、
前記フロントウィンドウの特定のスイッチ表示領域に、前記スイッチを示した画像を前記表示手段によって表示させる表示制御手段と、を備えることを特徴とする請求項３〜１１のいずれか１項に記載の車載機器制御装置。
【請求項１３】
前記スイッチ表示領域は、異なる位置に複数定められており、
前記表示制御手段は、同一の前記スイッチを、複数の前記スイッチ表示領域に表示させることを特徴とする請求項１２に記載の車載機器制御装置。
【請求項１４】
前記表示制御手段は、複数の前記スイッチ表示領域のそれぞれに、同じ組み合わせの複数の前記スイッチを表示させるものであり、各スイッチ表示領域における前記複数のスイッチ間の表示位置関係を、前記スイッチ表示領域ごとに異ならせることを特徴とする請求項１３に記載の車載機器制御装置。
【請求項１５】
前記表示制御手段は、今回の前記スイッチ選択期間における前記視線の動きに応じた前記スイッチが複数ある場合には、それら複数のスイッチ間の表示位置関係を変更することを特徴とする請求項１２〜１４のいずれか１項に記載の車載機器制御装置。
【請求項１】
予め表示された複数のスイッチの中からユーザの視線によって選択されたスイッチである選択スイッチに応じて、車両に搭載された車載機器の制御を実行する車載機器制御装置であって、
前記ユーザの視線が予め定められた視線監視領域から外れたか否かを判断する視線移動判断手段と、
その視線移動判断手段が前記ユーザの視線が前記視線監視領域から外れたと判断したことに基づいて、前記ユーザの視線の動きを追跡する視線追跡手段と、
前記視線監視領域外に表示された前記複数のスイッチのうち、前記視線追跡手段が追跡した前記視線の動きに応じたスイッチを、前記選択スイッチとして決定するスイッチ決定手段と、を備えることを特徴とする車載機器制御装置。
【請求項２】
前記スイッチ決定手段は、前記視線が通過した通過線上又はその通過線の先にある前記スイッチを前記選択スイッチとして決定することを特徴とする請求項１に記載の車載機器制御装置。
【請求項３】
前記スイッチ決定手段は、前記ユーザの視線が前記視線監視領域から外れているときにおける特定期間をスイッチ選択期間としたときに、複数回の前記スイッチ選択期間における前記視線の動きに応じた前記スイッチを、前記選択スイッチとして決定することを特徴とする請求項１又は２に記載の車載機器制御装置。
【請求項４】
前記スイッチ選択期間は、前記ユーザの視線が前記視線監視領域から外れてから前記視線監視領域に復帰するまでの期間であることを特徴とする請求項３に記載の車載機器制御装置。
【請求項５】
前記ユーザの視線が前回に前記視線監視領域に復帰してから所定時間が経過するまでに、再度、前記ユーザの視線が前記視線監視領域から外れたか否かを判断する再移動判断手段を備え、
前記スイッチ決定手段は、前記再移動判断手段が前記視線が前記視線監視領域から外れていないと判断した場合には、前記選択スイッチの決定を中止することを特徴とする請求項４に記載の車載機器制御装置。
【請求項６】
前記スイッチ決定手段は、各回の前記スイッチ選択期間における前記視線の動きに応じた１又は複数の前記スイッチからなる群をスイッチ群としたときに、複数の前記スイッチ群の間で重複する前記スイッチを前記選択スイッチとして決定することを特徴とする請求項３〜５のいずれか１項に記載の車載機器制御装置。
【請求項７】
前記スイッチ決定手段は、
各回の前記スイッチ選択期間ごとに、前記視線の動きに応じた１つの前記スイッチを、前記選択スイッチの候補となる候補スイッチとして決定する候補スイッチ決定手段と、
その候補スイッチ決定手段が決定した複数の前記候補スイッチ間で重複する候補スイッチを前記選択スイッチとして決定する最終決定手段と、を備えることを特徴とする請求項３〜６のいずれか１項に記載の車載機器制御装置。
【請求項８】
前記候補スイッチ決定手段は、前記視線が最も長く停留した前記スイッチ又は前記視線が最後に通過した前記スイッチを前記候補スイッチとして決定することを特徴とする請求項７に記載の車載機器制御装置。
【請求項９】
前記候補スイッチ決定手段は、前記視線が最も長く停留した前記スイッチ及び前記視線が最後に通過した前記スイッチが無い場合には、前記視線の通過線の先にある前記スイッチを前記候補スイッチとして決定することを特徴とする請求項８に記載の車載機器制御装置。
【請求項１０】
前記最終決定手段は、前回の前記スイッチ選択期間にて決定された前記候補スイッチと今回の前記スイッチ選択期間にて決定された前記候補スイッチとが一致するか否かを判断する一致判断手段を備え、その一致判断手段が一致すると判断した前記候補スイッチを前記選択スイッチとして決定することを特徴とする請求項７〜９のいずれか１項に記載の車載機器制御装置。
【請求項１１】
前記最終決定手段は、各回の前記スイッチ選択期間にて決定された複数の前記候補スイッチのうち最多の候補スイッチを前記選択スイッチとして決定することを特徴とする請求項７〜９のいずれか１項に記載の車載機器制御装置。
【請求項１２】
前記視線監視領域は、前記車両のフロントウィンドウの一部の領域と重なるように定められており、
前記フロントウィンドウに画像を表示させる表示手段と、
前記フロントウィンドウの特定のスイッチ表示領域に、前記スイッチを示した画像を前記表示手段によって表示させる表示制御手段と、を備えることを特徴とする請求項３〜１１のいずれか１項に記載の車載機器制御装置。
【請求項１３】
前記スイッチ表示領域は、異なる位置に複数定められており、
前記表示制御手段は、同一の前記スイッチを、複数の前記スイッチ表示領域に表示させることを特徴とする請求項１２に記載の車載機器制御装置。
【請求項１４】
前記表示制御手段は、複数の前記スイッチ表示領域のそれぞれに、同じ組み合わせの複数の前記スイッチを表示させるものであり、各スイッチ表示領域における前記複数のスイッチ間の表示位置関係を、前記スイッチ表示領域ごとに異ならせることを特徴とする請求項１３に記載の車載機器制御装置。
【請求項１５】
前記表示制御手段は、今回の前記スイッチ選択期間における前記視線の動きに応じた前記スイッチが複数ある場合には、それら複数のスイッチ間の表示位置関係を変更することを特徴とする請求項１２〜１４のいずれか１項に記載の車載機器制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−５６３５９（Ｐ２０１２−５６３５９Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９９１６９（Ｐ２０１０−１９９１６９）
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]