車載用電子機器操作装置
【課題】タッチ入力部と手撮影手段との双方を入力手段として備えるとともに、両者をより有効に活用することにより、操作装置の画面を注視できない状況等でも、その操作性を大幅に向上できる車載用電子機器操作装置を提供する。
【解決手段】画像表示装置上に操作対象となる車載電子機器に固有の操作画面を表示するとともに、ユーザーインターフェースエンジンにより、タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と車載電子機器への操作指令出力内容との関係を予め定められたインターフェース仕様として設定し、操作画面上での指示入力状態に応じてインターフェース仕様に基づき操作指令情報を出力する。そして、検出された撮影指先点の個数に応じてインターフェース仕様が変更されるように構成されるので、検出される指の数に応じて操作領域の種別を増加させることで、複数本の指による操作入力の多様化及び効率化を図る。
【解決手段】画像表示装置上に操作対象となる車載電子機器に固有の操作画面を表示するとともに、ユーザーインターフェースエンジンにより、タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と車載電子機器への操作指令出力内容との関係を予め定められたインターフェース仕様として設定し、操作画面上での指示入力状態に応じてインターフェース仕様に基づき操作指令情報を出力する。そして、検出された撮影指先点の個数に応じてインターフェース仕様が変更されるように構成されるので、検出される指の数に応じて操作領域の種別を増加させることで、複数本の指による操作入力の多様化及び効率化を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車載用電子機器操作装置に関する。
【背景技術】
【０００２】
【特許文献１】特開２０００−３３５３３０号公報
【特許文献２】特開２００１−２１６０６９号公報
【０００３】
従来、カーナビゲーション装置のような車載機器の操作装置として、操作者の手をカメラで撮影し、その撮影データから指画像を抽出し、抽出した指画像域を車載機器のＧＵＩ入力画面（例えば、ナビ画面など）に重畳表示するタイプのものが提案されている。例えば、特許文献１には、車体の天井に取り付けたカメラを用いて、座席手元のタッチパネルを操作する手の様子を撮影し、撮影した手とタッチパネルとを、操作者の前方に対向配置された液晶パネルに表示する構成が開示されている。また、特許文献２には、ユーザーの指等とディスプレイの画面との距離に応じて異なる操作内容を割り当てる操作入力装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の操作システムにおいては、カメラによる手の撮影情報が、操作位置を示す手輪郭画像の画面上への重畳表示に利用されるに留まり、画像情報自体が入力情報として有効に利用されているとはいい難かった。特に、運転中においては、運転者は操作装置の画面を注視できないため誤操作を生じやすく、複雑な操作が困難である。特許文献１の操作装置は、手の撮影情報とタッチ検出情報との２系統の入力情報が利用するにもかかわらず、操作性の向上を目的としてそれらが有効に活用されていたとはいいがたい。
【０００５】
本発明の課題は、タッチ入力部と手撮影手段との双方を入力手段として備えるとともに、両者をより有効に活用することにより、操作装置の画面を注視できない状況等でも、その操作性を大幅に向上できる車載用電子機器操作装置を提供することにある。
【課題を解決する手段及び発明の効果】
【０００６】
本発明に関連する構成は、車載電子機器の操作入力を行なうために車両に搭載して使用される操作装置であって、上記の課題を解決するために、
操作者の指先によるタッチ操作を受け付ける操作面を有し、操作によるタッチ入力点を検出するタッチ入力装置と、
操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する操作者の手を撮影する撮影装置と、
撮影装置が撮影取得する手画像データに基づき手の指先点を撮影指先点として検出する撮影指先点検出手段と、
操作面ならびに撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
画像表示装置に対し指先点を指示する指示体画像を表示画面上に表示させる指示体画像表示制御手段と、
画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示する操作画面表示制御手段と、
タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と車載電子機器への操作指令出力内容との関係が、予め定められたインターフェース仕様として設定され、操作画面上での指示入力状態に応じて前記インターフェース仕様に基づき操作指令情報を出力するユーザーインターフェースエンジンと、
車両の走行状態を検出する走行状態検出手段と、
検出された走行状態に応じてユーザーインターフェースエンジンのインターフェース仕様を変更するインターフェース仕様変更手段と、を備えたことが想定される。
【０００７】
上記の本発明に関連する構成によると、画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示するとともに、ユーザーインターフェースエンジンにより、タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と車載電子機器への操作指令出力内容との関係を予め定められたインターフェース仕様として設定し、操作画面上での指示入力状態に応じて前記インターフェース仕様に基づき操作指令情報を出力する。そして、検出された車両の走行状態に応じてインターフェース仕様が変更されるように構成されるので、車載用電子機器操作装置の操作性を車両走行状態に応じて随時適正化することができる。
【０００８】
インターフェース仕様変更手段は、車両の走行状態に応じて操作画面の表示内容を、該表示内容に対応する操作指令出力内容とともに変更するものとして構成できる。すなわち、タッチ操作と撮影指先点検出とを入力情報とする操作画面を用いたユーザーインターフェース（一種のグラフィカルユーザーインターフェースである）において、車両の走行状態に応じて操作画面の表示内容（すなわち、操作画面の視覚的な構成）を変更することで、操作装置の画面を注視できない操作状況が車両走行状態に応じて発生した場合でも、適正な操作支援を行なうことができる。
【０００９】
具体的には、走行状態検出手段に車速検出手段を設け、インターフェース仕様として、検出された車速値が閾値未満の場合に使用する低速走行時（停車時含む）インターフェース仕様と、検出された車速値が閾値を超える場合に使用する高速走行時インターフェース仕様とを用意することができる。そして、インターフェース仕様変更手段を、車速値に応じてインターフェース仕様を低速走行時インターフェース仕様と高速走行時インターフェース仕様との間で切り替えるものとして構成することができる。車速が小さい場合（特に停車中）は、運転者は操作画面の注視時間や頻度を高く確保できるが、車速が大きい場合は前方を注視しなければならず、操作画面の長時間の直視は難しくなる。そこで、上記のごとく、低速走行時インターフェース仕様と高速走行時インターフェース仕様とを予め用意し、車速ひいては操作画面の注視可能度に応じて随時切り替えて使用することで、各状況に適した操作性確保を適切に図ることができる。
【００１０】
操作画面表示制御手段は、互いに異なる操作指令出力を行なうための複数の操作領域（例えば操作ボタンや入力ウィンドウなど）を操作画面上に表示形成するものとして構成できる。この場合、インターフェース仕様変更手段は、高速走行時インターフェース仕様における有効な操作領域の表示形成数を、低速走行時インターフェース仕様における有効な操作領域の表示形成数よりも少なく設定するものとして構成できる。また、高速走行時インターフェース仕様における有効な操作領域の表示形成寸法を、低速走行時インターフェース仕様における有効な操作領域の表示形成寸法よりも大きく設定するものとして構成することもできる。操作画面を注視しにくい高速走行時にあっては、操作は手探りになりがちであり、操作領域の数が多すぎたり、あるいは個々の操作領域の面積が小さすぎたりすると誤操作を生じやすくなる。そこで、上記のように構成することで、このような不具合を効果的に解消することができる。
【００１１】
また、撮影指先点検出手段は手画像データに基づき複数個の指先点を同時検出可能に構成することができる。操作画面表示制御手段は、検出された指先点の数が多いほど操作画面上に表示形成する操作領域の種別を増加させるように構成できる。検出される指の数に応じて操作領域の種別を増加させることで、複数本の指による操作入力の多様化及び効率化を図ることができる。特に、指先点が検出される毎に、各指先点に対応する位置に操作領域を動的に設定・形成するように構成すれば、指毎に固有の操作領域が設定されることになり、各指の機能分担が明確化して複雑な入力もより直感的に行ないやすくすることができる。
【００１２】
この場合、インターフェース仕様変更手段は、高速走行時インターフェース仕様における操作領域の最大表示形成種別数を、低速走行時インターフェース仕様における操作領域の最大表示形成種別数よりも小さく設定するように構成できる。画面注視が困難な低速走行時に、最大表示形成種別数の小さいインターフェース仕様に切り替えることで、誤操作を発生しにくくすることができる。
【００１３】
一方、操作画面表示制御手段は、タッチ入力装置の操作面に沿うドラッグ操作を検出して、画面上にて有効となる操作領域を、操作指令出力内容の異なる複数のものの間で切替え表示するものとして構成することもできる。インターフェース仕様変更手段は、低速走行時インターフェース仕様においては１回のドラッグ操作の継続中は操作領域を連続的に切り替える一方、高速走行時インターフェース仕様においては、１回のドラッグ操作が生ずる毎に操作領域を断続的に切り替えるように構成することができる。ドラッグ操作により操作領域が連続切替えできれば、次々と切り替わる操作領域の内容を確認しながら、望む操作領域に迅速にたどり着くことができる利点がある。しかし、画面が直視しにくい（高速）走行時には、連続的に切り替わると所望の操作領域が飛ばされてしまい、これに狙い通りにたどり着けない場合がある。そこで、高速走行時インターフェース仕様においては、１回のドラッグ操作が生ずる毎に操作領域を断続的に切り替えるように構成することで、所望の操作領域に確実にたどり着くことができるようになる。
【００１４】
また、さらに別の態様としては、画像指先点の操作面に沿う特定の動きを操作動作パターンとして検出する操作動作パターン検出手段を設け、操作画面表示制御手段は、互いに異なる操作指令出力を行なうための複数の操作領域を操作画面上に表示形成する構成を採用することもできる。ユーザーインターフェースエンジンは、操作動作パターンが検出されるに伴ない該操作動作パターンに対応する第一操作指令情報を出力する一方、タッチ入力点又は撮影指先点により操作領域が選択された場合に、当該操作領域と対応付けられた第二操作指令情報を出力する操作指令情報出力手段を有するものとして構成する。そして、インターフェース仕様変更手段は、低速走行時インターフェース仕様においては操作領域の選択に応じた第二操作指令情報を少なくとも能動化し、高速走行時インターフェース仕様においては操作動作パターンの検出に応じた第一操作指令情報のみを能動化するものとして構成することができる。この構成によると、低速走行時インターフェース仕様では、画面を見ながらの操作領域の選択操作が可能となる一方、高速走行時インターフェース仕様においては操作領域の選択操作が排除され、画面を注視しなくても可能な操作動作パターン（つまり、ジェスチュア）のみが能動化されるので操作性が向上する。
【００１５】
次に、本発明の第一は、車載電子機器の操作入力を行なうために車両に搭載して使用される操作装置であって、上記の課題を解決するために、
操作者の指先によるタッチ操作を受け付ける操作面を有し、タッチ操作によるタッチ入力点を検出するタッチ入力装置と、
操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する操作者の手を撮影する撮影装置と、
撮影装置が撮影取得する手画像データに基づき手の指先点を撮影指先点として複数同時に検出可能に構成された撮影指先点検出手段と、
操作面ならびに撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
画像表示装置に対し指先点を指示する指示体画像を表示画面上に表示させる指示体画像表示制御手段と、
画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示する操作画面表示制御手段と、
タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と車載電子機器への操作指令情報における出力内容との関係が、予め定められたインターフェース仕様として設定され、操作画面上での指示入力状態に応じてインターフェース仕様に基づき操作指令情報を出力するユーザーインターフェースエンジンと、
撮影指先点検出手段が検出する撮影指先点の個数に応じてユーザーインターフェースエンジンのインターフェース仕様を変更するインターフェース仕様変更手段と、を備えたことを特徴とする。
【００１６】
撮影指先点の個数に応じてユーザーインターフェースエンジンのインターフェース仕様を変更することにより、検出される指の本数に応じて入力仕様の適正化を図ることができる。例えば、操作画面表示制御手段が、互いに異なる操作指令出力を行なうための複数の操作領域を操作画面上に表示形成するものである場合、インターフェース仕様変更手段は、撮影指先点検出手段が検出する撮影指先点の数が複数個の場合の有効な操作領域の表示形成数を、同じく撮影指先点の数が１個の場合の有効な操作領域の表示形成数よりも多く設定するように構成できる。検出される指の数に応じて操作領域の種別を増加させることで、複数本の指による操作入力の多様化及び効率化を図ることができる。
【００１７】
本発明の第二は、車載電子機器の操作入力を行なうために車両に搭載して使用される操作装置であって、上記の課題を解決するために、
操作者の指先によるタッチ操作を受け付ける操作面を有し、タッチ操作によるタッチ入力点を検出するタッチ入力装置と、
操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する操作者の手を撮影する撮影装置と、
撮影装置が撮影取得する手画像データに基づき手の指先点を撮影指先点として検出する撮影指先点検出手段と、
操作面ならびに撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
画像表示装置に対し指先点を指示する指示体画像を表示画面上に表示させる指示体画像表示制御手段と、
画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示する操作画面表示制御手段と、
タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と車載電子機器への操作指令情報における出力内容との関係が、予め定められたインターフェース仕様として設定され、操作画面上での指示入力状態に応じてインターフェース仕様に基づき操作指令情報を出力するユーザーインターフェースエンジンと、
撮影指先点が検出された場合に、タッチ入力装置へのタッチ操作が同時に検出されているか否かに応じてユーザーインターフェースエンジンのインターフェース仕様を変更するインターフェース仕様変更手段と、を備えたことを特徴とする。
【００１８】
上記の構成によると、操作入力系が、タッチ入力装置と手の撮影装置との二系統からなることを利用して、撮影指先点が検出された場合に、タッチ入力装置へのタッチ操作が同時に検出されているか否かに応じてユーザーインターフェースエンジンのインターフェース仕様を変更するようにしたから、操作装置の入力利用形態の大幅な拡張を図ることができる。
【００１９】
具体的には、操作画面表示制御手段は、タッチ入力装置の操作面に沿うドラッグ操作を検出して、画像表示装置の画面上に表示中の画像情報を該ドラッグ操作に対応する向きにスクロール表示処理するものとして構成できる。この場合、インターフェース仕様変更手段は、撮影指先点とともにタッチ操作が検出されている場合の画像情報のスクロール速度を、タッチ操作が検出されていない場合のスクロール速度よりも小さく設定するものとして構成できる。操作面にタッチしながらドラッグするか、タッチせずにドラッグするかに応じて、画面のスクロール速度を容易にかつ直感的に切り替えることができる。
【００２０】
他方、操作画面表示制御手段は、タッチ入力装置の操作面に沿うドラッグ操作を検出して、画像表示装置の画面上に表示中の階層型の情報出力メニューをスクロール表示処理するものとして構成することもできる。インターフェース仕様変更手段は、タッチ操作が検出されている場合と、タッチ操作が検出されていない場合とで、情報出力メニューの互いに異なる階層をスクロール表示処理するものとして構成することができる。操作面にタッチしながらドラッグするか、タッチせずにドラッグするかを切り替えることにより、スクロールする情報出力メニューの階層が変更されるので、メニュー検索の利便性を大幅に向上することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の操作装置の車内取付形態の一例を示す斜視図。
【図２】その操作部の内部構造の一例を示す断面模式図。
【図３】図１の操作装置の電気的構成の一例を示すブロック図。
【図４】撮影指先点を決定する画像処理の流れを示す説明図。
【図５】撮影指先点特定処理の流れを示すフローチャート。
【図６】指先判定処理の詳細を示すフローチャート。
【図７】先端領域の幅の概念を説明する図。
【図８】複数の先端領域を分離するためのラベリング処理の概念を説明する図。
【図９】手撮影カメラにより取得された手画像を重畳表示する実施形態を示す図。
【図１０】指示体画像を重畳した画面表示例を示す図。
【図１１】本発明に関連する第一参考形態を示す図。
【図１２】同じく第二参考形態を示す図。
【図１３】同じく第三参考形態を示す図。
【図１４】同じく第四参考形態を示す図。
【図１５】同じく第五参考形態を示す図。
【図１６】同じく第六参考形態を示す図。
【図１７】本発明の第一に係る第一実施形態を示す図。
【図１８】本発明の第二に係る第一実施形態を示す図。
【図１９】図１８に続く説明図。
【図２０】図１９に続く説明図。
【図２１】本発明の第二に係る第二実施形態を示す図。
【図２２】図２１に続く説明図。
【図２３】図２２に続く説明図。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明の画像表示装置の適用対象となる、車載用電子機器の操作装置の一例を示すものである。この操作装置１は、自動車の車室内において、インパネ中央部にモニタ（表示装置）１５が配置され、センターコンソールＣの、運転席２Ｄ及び助手席２Ｐのいずれからも操作可能な位置に操作部１２が配置されている。使用目的は特には限定されないが、例えばセンターコンソールに設けられたモニタ１５の画面を見ながら、カーナビゲーション装置やカーオーディオ装置の機能操作を行なうためのものである。
【００２３】
操作部１２は、入力操作面が上向きとなるように取り付けられている。該入力操作面を形成するのは周知のタッチパネル１２ａであり、抵抗膜方式、表面弾性波方式あるいは静電容量方式のいずれを採用してもよい。タッチパネル１２ａは、その基材が透明樹脂板あるいはガラス板等により透明入力支持板として構成され、操作者の指先によるタッチ操作を上面側にて支持しつつ受け付ける。そして、モニタ１５の画面領域に対応した入力座標系が板面に沿って設定される。
【００２４】
図２は、入力部１２の内部構造を模式的に示す断面図であり、筐体１２２ｅの上面に前述のタッチパネル１２ａが、入力操作面１０２ｂ側が上となるように嵌め込まれている。筐体１２ｄの内部には、照明光源１２ｃ及び撮影光学系とともに手撮影カメラ（撮影装置）１２ｂが収容されており、撮影画像取得手段を構成している。照明光源１２ｃは、凸曲面形態のモールドにより素子直上側への輝度指向性を高めた発光ダイオード光源（従って、単色光源である）であり、タッチパネル１２ａの下面を取り囲む形態で複数配置されている。各照明光源１２ｃは、高輝度となるモールド先端側をタッチパネル１２ａの下面内側に向けそれぞれ傾けて取り付けてあり、入力操作面１０２ｂ上の操作者の手Ｈの掌面による一次撮像反射光ＲＢ１が、タッチパネル１２ａを透過する形で下向きに生ずるようになっている。
【００２５】
撮影光学系は、第一反射部１２ｐと第二反射部１２ｒとを有する。第一反射部１２ｐは、タッチパネル１２ａの直下に対向配置されたプリズム板（三角柱状の微小プリズムを面内に並列に配置した透明材料板：以下、プリズム板１２ｐともいう）であり、操作者の手Ｈからの一次撮像反射光ＲＢ１を斜め上方に反射することにより、該プリズム板１２ｐとタッチパネル１２ａとの対向空間１２ｆの側方外側へ二次撮像反射光ＲＢ２として導く。第二反射部１２ｒは上記対向空間の側方外側に配置された平面反射鏡（以下、平面反射鏡１２ｒともいう）であり、上記二次撮像反射光ＲＢ２を側方へ反射することにより、対向空間１２ｆを挟んで第二反射部１２ｒの反対側に位置する手撮影カメラ１２ｂに対し三次撮像反射光ＲＢ３として導く。手撮影カメラ１２ｂは該三次撮像反射光ＲＢ３の焦点に対応する位置に設けられ、操作者の指を含む手Ｈの撮影画像を取得する。
【００２６】
プリズム板１２ｐは、図２内に拡大して示すように、ミラー基面ＭＢＰに対しそれぞれ等角度で傾斜する反射面を有したリブ状の微小プリズムを、ミラー基面ＭＢＰに沿って互いに平行となるように密接形成したものであり、ミラー基面ＭＢＰを傾けずとも、その法線方向に入射する光を（斜め）側方へ反射することができる。従って、側方反射のための第一反射部１２ｐをタッチパネル１２ａの下方に平行対向する形で配置でき、対向空間１２ｆの高さ方向寸法を大幅に縮小できる。
【００２７】
また、その対向空間１２ｆを側方から挟んで第二反射部１２ｒと手撮影カメラ１２ｂとを対向配置することで、手撮影カメラ１２ｂに直接入射する三次撮像反射光ＲＢを、対向空間１２ｆを横切る形で導くことができる。これにより、第二反射部１２ｒと手撮影カメラ１２ｂとを、タッチパネル１２ａの側縁に近接配置でき、かつ、手Ｈから手撮影カメラ１２ｂへの撮像反射光の入射経路が、対向空間１２ｆ内でいわば三つ折状に畳み込まれる形になるので、撮像光学系全体の大幅なコンパクト化と、筐体１２ｄの薄型化とが実現されている。特に、タッチパネル１２ａのサイズ（つまり、入力操作面１０２ｂの縦横寸法）を縮小することで、入力部１２全体の劇的な小形化及び薄型化が実現し、図１のセンターコンソール部Ｃの幅が比較的小さい車両や、シフトレーバー前方の限られた取付スペースしか活用できない車両にも問題なく取り付けが可能となる。
【００２８】
タッチパネル１２の入力操作面１０２ｂは、手撮影カメラ１２ｂの撮影範囲１０２ｂに対応しており、平均的な寸法の大人の手を想定した場合に、中指の指先端を含む長手方向の一部のみが入力操作面１０２ｂ内に入るように、その上下方向（Ｙ方向）寸法が定められている（例えば、６０〜９０ｍｍ（具体例として７５ｍｍ））。これにより、モニタ１５の画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。また、入力操作面１０２ｂの左右方向（Ｘ方向）寸法は１１０〜１３０ｍｍ（例えば、１２０ｍｍ）であり、手を乗せて各指を大きく開いた状態では、人差し指、中指、薬指及び小指が撮影範囲内となり、親指が撮影範囲外となっている。ただし、各指を適当に閉じれば全ての指を撮影範囲内に収めることも可能である。
【００２９】
図３は、操作装置１の電気的構成を示すブロック図である。操作装置１の制御主体をなすのは操作ＥＣＵ１０である。該操作ＥＣＵ１０は、ＣＰＵ１０１を主体とするコンピュータハードウェア基板として構成され、具体的には、ＣＰＵ１０１、ＲＡＭ１１０２、ＲＯＭ１０３、グラフィックコントローラ１１０、ビデオインターフェース１１２、タッチパネルインターフェース１１４、汎用入出力部１０４及びシリアル通信インターフェース１１６が内部バス１０５により相互接続された構造を有する。グラフィックコントローラ１１０には表示用ビデオＲＡＭ１１１及びモニタ１５が、ビデオインターフェース１１２には撮影用ビデオＲＡＭ１１３及び手撮影カメラ１２ｂが、タッチパネルインターフェース１１４にはタッチパネル１２ａが、そして、汎用入出力部１０４にはドライバ（駆動回路）１１５を介して照明光源１２ｃがそれぞれ接続されている。また、シリアル通信インターフェース１１６には、ＣＡＮ通信バスなどの車載用シリアル通信バス３０が接続され、これにネットワーク接続された他のＥＣＵ、具体的にはカーナビゲーション装置の制御を司るナビＥＣＵ２００およびボデー系ＥＣＵ３０１と相互通信可能とされている。
【００３０】
ビデオインターフェース１１２には、手撮影カメラ１２ｂが取得するアナログもしくはデジタルの映像信号が継続的に入力されるとともに、撮影用ビデオＲＡＭ１１３内に画像フレームデータとして、所定の時間間隔で取り込まれる。撮影用ビデオＲＡＭ１１３の記憶内容は、新しい画像フレームデータが取り込まれる毎に随時更新される。
【００３１】
グラフィックコントローラ１１０は、通信インターフェース１１６を介してナビＥＣＵ２００から入力画面画像フレームデータを取得するとともに、ＣＰＵ１０１側からは指示体画像が所定位置に張り込まれた指示体画像フレームデータを取得し、表示用ビデオＲＡＭ１１１上にて周知のアルファブレンディング処理等によりフレーム合成し、モニタ１５に出力する。
【００３２】
タッチパネルインターフェース１１４は、タッチパネル１２ａの方式に応じた固有の駆動回路を有するとともに、タッチパネル１２ａからの信号入力状態に基づいて、入力操作面１０２ｂへのタッチ操作による入力位置（タッチ入力点）を検出し、その検出結果を位置入力座標情報として出力する。
【００３３】
なお、手撮影カメラ１２ｂの撮影範囲（撮影視野；ひいては、該手撮影カメラ１２ｂにより取得される撮影画像）、タッチパネル１２ｂの入力操作面、モニタ１５の画面領域（ひいては、その表示内容を決定する入力画面画像フレームデータ及び指示体画像フレームデータ）には、二次元座標対応関係が一義的に定められている。
【００３４】
また、ＲＯＭ１０３には、ＣＰＵ１０１が実行する以下のようなソフトウェアが格納されている。
・タッチパネル制御ソフトウェア１０３ａ：タッチパネルインターフェース１１４からタッチ入力点の座標を取得し、入力画面画像フレームデータとともにナビＥＣＵ２００から送られてくる、操作入力内容の判定参照情報（例えば、ソフトボタンの領域特定情報や、当該ソフトボタンがタッチ操作されたときに出力するべき操作コマンド内容等の情報を含む）を取得する。そして、該タッチ入力点座標と取得した判定参照情報とに基づいて現在の操作入力内容を特定し、ナビＥＣＵ２００に対して対応する操作コマンドの実行指令出力を行なう。
【００３５】
・表示制御ソフトウェア１０３ｂ：グラフィックコントローラ１１０への入力画面画像フレームデータの取り込み指令を行なうとともに、後述の方法により作成した指示体画像フレームデータをグラフィックコントローラ１１０へ転送する。
・指先点演算ソフトウェア１０３ｃ（先端抽出手段、画像先端位置特定手段、指先判定手段）：ＲＡＭ１１０２の指先点演算処理メモリ１１０２ａを作業領域として動作する。手撮影カメラ１２ｂが撮影した操作者の手の撮影画像を二値化し、その実指像の指先位置を撮影指先点として特定する演算、具体的には、二値化された撮影画像の挿入方向における先端領域ｔａの所定の代表点（ここでは幾何学的重心位置）を撮影指先点ｔｐとして特定する演算を行なう。また、先端領域ｔａの寸法及び面積の少なくともいずれかに基づいて、撮影指先点ｔｐが真の指先点ｔｐを示すものであるか否かを判定する。なお、手の撮影画像の二値化処理は、ビデオインターフェースの出力段に画素の二値化回路を組み込んで事前に行なうようにしてもよい。
・指示体画像合成ソフトウェア１０３ｄ（指示体画像表示手段）：ＲＡＭ１１０２の指示体画像合成用メモリ１１０２ｂを作業領域として動作する。図９に示すように、撮影された手画像ＳＦ’を指示体画像として画面に重畳表示するようにしてもよいし、図１０に示すように、その手画像よりも指幅の細い指示体画像Ｆ１を、撮影画像とは別に用意した指示体画像データ１０３ｅに基づいて作成し、画面に重畳表示するようにしてもよい。この場合、指示体画像Ｆ１は、その指先位置が撮影指先点と一致するように、指示体画像フレーム上に貼り付ける処理がなされる。
【００３６】
・ユーザーインターフェースエンジン１０３ｅ：タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と、車載電子機器（本実施形態ではカーナビゲーションシステム及びカーオーディオシステム）への操作指令出力内容との関係を予め定められたインターフェース仕様として設定するとともに、操作画面上での指示入力状態に応じて該インターフェース仕様に基づき操作指令情報を出力すると処理を行なう。また、車両の走行状態（特に、車速）、撮影指先点の個数、あるいは、撮影指先点が検出された場合にタッチ入力装置１２へのタッチ操作が同時に検出されているか否か、等に応じて上記インターフェース仕様を適宜変更する機能（インターフェース仕様変更手段）を有している。
【００３７】
以下、操作装置１において、撮影される手の撮影指先点がどのようにして特定されるかを、フローチャートを用いて説明する。該処理の要部は指先点演算ソフトウェア１０３ｃが担う。まず、モニタ１５の画面（領域）には、先行するコマンド入力（例えば別画面でのタッチ入力操作に基づく）により、図３２のキーボード入力画面（ただし手画像ＳＦは除く）が表示されているものとする（ただし、地図画面など、他の入力画面であってもよい）。
【００３８】
図５は指先点特定処理の流れ（一定のサイクルで反復して実行される）を示すものであり、上記の状態で、図２に示すように、タッチパネル１２ａの入力操作面１０２ｂに手Ｈを近づけると、手撮影カメラ１２ｂは、照明光源１２ｃからの照明光の手による反射光に基づいて手像を撮影する。図５のＳ１０１で、その撮影画像を取り込む。手像の画素は反射光の受光により背景領域よりも明るく現れる。従って、図４のＡに示すように、画素の輝度を適当な閾値で二値化すれば、高輝度画素値（ここでは「１」とする）を示す領域を被写体領域（図中黒で表している）、低輝度画素値（ここでは「０」とする）を示す領域を背景領域（図中白で表している）として、互いに画像分離できる。Ｓ１０２では、この二値化された画像データを第一画像データ（Ａ）として保存する。
【００３９】
なお、Ｓ１０３では、第一画像データにおける被写体領域の面積率σを演算する。手撮影カメラ１２ｂの撮影範囲内に被写体が存在しない場合は、被写体領域の面積率σがある閾値σ０未満となるので、この場合は以下の処理をスキップする。
【００４０】
次に、図５のＳ１０５では、該第一画像データを手像の掌長方向（Ｙ方向）に所定距離（例えば、中指第一関節より先を指先部分として、その２０％〜８０％（実距離にして５〜２０ｍｍ程度））だけ平行移動させて得られる画像データを、図４のＢに示す第二画像データとする。そして、Ｓ１０６では、図４のＣに示すように、両画像データを重ね合わせたときの指先側に現れる非重なり領域を手の挿入方向における先端領域（指先領域）ｔａとして特定する。取得された原画像データを手像の掌長方向に平行移動して重ね合わせることにより、指先領域を非重なり領域として簡単に特定することができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。
【００４１】
図４のＣにおいては、第二画像データＢを、第一画像データＡを掌長方向（Ｙ方向）にて手首側へ後退移動させて作成しており、第一画像データＡの手像指先側に現れる非重なり領域が先端領域（指先領域）として特定される。撮影範囲（ひいてはモニタ１５の画面領域）との座標対応関係が保存される第一画像データＡ上にて指先領域を特定でき、後述の指先点、ひいては、画面領域上の対応座標点の特定処理を簡便に行なうことができる。
【００４２】
また、第一及び第二画像データはいずれも二値化されており、非重なり領域は、第一画像データと第二画像データとの画像差分を演算することで特定される。これにより、非重なり領域の画素を特定する処理は、第一及び第二画像データの対応する画素間の論理演算に転換できる（具体的には、対応画素間の排他的論理和が０になれば、それを非重なり領域の画素として特定できる）。なお、第一及び第二画像データの非重なり領域は、指の側面部分に細く生ずる場合がある。しかし、このような側面部分は、「１」となる画素のＸ方向の連続個数が所定値未満となる場合に、それら画素列を「０」反転する処理を行なえば、簡単に除去することができる。
【００４３】
次に、図５のＳ１０７においては、上記のように抽出された各指先領域に対し、図４のＤに示すような収縮処理が施される。具体的には、値が「１」となっている全ての画素について、これと一定の隣接関係にある画素（具体的には、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該画素の値を「０」反転する処理を行なう。該処理は、必要に応じて複数回繰り返し実施してもよい。
【００４４】
そして、収縮処理後は、画像データ上において個々の先端領域に分離する処理を行なう。すなわち、図８に示すように、画像を所定の方向（例えばｘ方向）に走査し、「１」となっている画素の途切れが一定数（例えば３ビット）以上生じたか否かにより、同一の先端領域であるか別の先端領域であるかを判別しながら、各画素にラベリング符号（本実施例では、１、２、３‥‥等の数字で表している）を施してゆく。なお、走査２列目以降は、「０」画素の検出状態から「１」画素の検出に転じた時に、その「１」画素を取り囲む例えば８つの画素のラベリング状態を判別し、既に認識済の画素のラベリング符号が検出されれば、これと同一のラベリング符号を施し、何も検出されなければ新たなラベリング符号を施すようにする。そして、異なるラベリング符号が付された画素集合同士は、異なる先端領域として認識することとなる。
【００４５】
次に、Ｓ１０８に進み、分離・特定された各先端領域が真の指先領域であるか否かの判定処理を行なう（指先判定処理）。基本となるのは、図７に示すごとく、特定された先端領域ｔａの指幅方向の寸法（以下、単に「幅」とも称する）Ｌが、一般的な大人の幅寸法を基準に定められた規定範囲（上限値Ｗｔｈ１、下限値Ｗｔｈ２）内に存在することを必要条件として、真の指先領域と判定する処理である。図１に示すように、インパネに配置されたモニタ（表示装置）１５を見ながら、車長方向にてその後方側（着座した乗員から見れば手前側）のセンターコンソールＣ上に配置されたタッチパネル１２ａの操作入力面１０２ａ、ひいては、該操作入力面１０２ａ上の操作者の手を下側から撮影する手撮影カメラ１２ｂの撮影範囲１０２ｂに対し、該撮影範囲１０２ｂの後方縁側から前方に挿入される。従って、手の挿入方向は横長長方形状の撮影範囲１０２ｂの長辺と直交する向き（つまり、Ｙ方向）に想定され、指幅方向は操作入力面１０２ａの面内において該手の挿入方向と直交する向き、すなわち、撮影範囲１０２ｂの長辺と一致する向き（つまり、Ｘ方向）に定められている。つまり、先端領域ｔａの幅はＸ方向、すなわち、撮影範囲１０２ｂの長辺方向に固定的に測定されるようになっている。
【００４６】
図６は、指先判定処理の詳細の一例を示すフローチャートである。
Ｓ１では、分離・特定された個々の先端領域ｔａの幅Ｗが特定される。具体的には、先端領域ｔａの個々の構成画素のＸ座標のうち、最小の値をＸｍｉｎ、最大の値をＸｍａｘとして、Ｗ＝Ｘｍａｘ−Ｘｍｉｎにより計算することができる。Ｓ１００２では、上記のように特定された先端領域ｔａの幅Ｗが前述の規定範囲内にあるか否かが判定される。タッチパネル１２ａはセンターコンソールＣ上に配置されているが、その脇に着座した運転者や助手席乗員はセンターコンソールＣをしばしば物置代わりに利用する。このとき、手以外の物品がタッチパネル１２ａの操作入力面１０２ａ、つまり、撮影範囲１０２ｂ内に置かれれば、当然、該物品が乗員の手の代わりに撮影される。撮影取得される第一画像と、そのＹ方向への平行移動により得られる第二画像との差分画像として抽出される先端領域ｔａの幅Ｗを用いた判定方式を採用すると、書類や本などが置かれた場合は、抽出・特定される先端領域の幅は、一般的な大人の幅寸法を基準に定められた規定範囲の上限値を明らかに上回るので、非指先領域として確実に判定が可能である。また、携帯電話が置かれた場合は、例えば突出したアンテナ部分に由来する第一先端領域の幅が、アンテナが指より明らかに細いため規定範囲の下限値を下回り、非指先領域として判定することができる。
【００４７】
なお、真の手が画像検出されている場合にあって、伸ばした状態の指が１本ないし２本（例えば、人差し指のみ、あるいは人差し指と中指など）であり、残余の指が曲げられた状態（例えば拳状に握った状態）になっている場合、閉じられている部分の先端領域の幅が規定範囲の上限値を超え、伸ばした状態の指については幅が規定範囲内となるようなこともありえる。従って、複数の先端領域が抽出されうる形状の物品に合っては、該複数の先端領域の少なくとも１つについて幅が規定範囲内となっていれば、該先端領域を真の指先領域として判定するように構成することが可能である。
【００４８】
次に、非指先領域でありながら、その幅Ｗが規定範囲内に収まっているために真の指先領域として誤認されうる形状の物品がタッチパネルの入力操作面１０２ｂ上に置かれる場合がある。例えば、貨幣が入力操作面上に置かれた場合、貨幣の寸法が指幅に近接しているために、収縮処理後の先端領域の幅は規定範囲内となり、このままでは指先領域として誤判定される。指と貨幣の画像上の違いは、指の場合は、指基端側の画像領域が撮影範囲の後端縁（手挿入側の縁）まで伸びる形となるのに対し、貨幣の場合は撮影範囲内に孤立した円形領域となり、その円形領域の後端縁と撮影範囲の後端縁との間が被写体の背景領域（つまり、「０」画素領域）となる点にある。そこで、撮影画像の総面積をＳとし、個々の非重なり領域から、撮影範囲の後端縁までの合計距離をｄとして、Ｓ／ｄの値を指幅として推定すると、上記のような誤判定を効果的に回避することができる。すなわち、貨幣の場合は、撮影範囲の後端縁側に上記背景領域が介在するために総面積Ｓが減少する。従って、Ｓ／ｄにより演算された推定指幅値が規定範囲の下限値未満となれば、これを非指先領域として除外することができる。図６のフローチャートでは、Ｓ１００５とＳ１００６とにおいて上記原理に基づく判定を行なっている。
【００４９】
次に、図６のＳ１００７では、Ｓ１００２及びＳ１００６において除外判定されなかった先端領域ｔａについて代表点を決定する。本実施形態では、領域の幾何学的な重心位置Ｇを代表点として用いる。演算方法は周知であり、例えば先端領域を構成する全画素のＸ座標値及びＹ座標値の各総和を求め。それぞれ画素の個数で除することにより重心位置Ｇの座標を計算できる。なお、重心位置Ｇではなく、例えばＹ座標値が最大となる画素を代表点として採用することも可能である。
【００５０】
なお、タッチパネルの入力操作面１０２ｂに実際に接触するのは、指先端からＸ方向に少し下がった指腹付近の領域であるから、図４のＦでは、Ｅで計算された重心位置をＹ方向へ所定距離オフセットさせ、これを画像指先点Ｇとして決定する。ただし、Ｅの重心位置をそのまま画像指先点Ｇとして用いてもよく、この場合は該Ｆの処理は不要である。
【００５１】
次に、撮影範囲１０２ｂに対する手の位置関係によっては、差分画像を用いた上記アルゴリズムにより決定される代表点が、真の指先点に対応しないケースが生じうる。具体的には、指先部分が撮影範囲の外にはみ出して位置する場合である。撮影範囲１０２ｂと、タッチパネルの入力操作面１０２ｂと、モニタ１５の画面との対応座標範囲が互いに一致している場合は、真の指先位置が撮影範囲１０２ｂ（ひいては、入力操作面１０２ｂ及びモニタ１５の画面）の外周縁領域に収まっている場合と、指先部分が撮影範囲１０２ｂの外にはみ出し、真の指先部分が画像的に途切れている場合とのいずれにおいても、差分画像から特定される先端領域は上記外周縁領域に収まる形となる。そして、指先部分がはみ出す場合についても、指の画像の一部分であることに変わりはなく、領域幅が前記規定範囲内に収まる可能性が高いから、上記外周縁領域に生ずる先端領域を真の指先領域として誤認することにつながる。
【００５２】
そこで、本実施形態においては、撮影範囲１０２ｂの有効座標範囲の外周縁領域を表示外撮影領域として、モニタ１５の表示画面にかかる有効座標範囲の外側に延出形成する構成が採用されている。画面外にはみ出す指部分はこの表示外撮影領域内に被写体領域を形成するので、差分画像に基づいて特定される先端領域ひいてはその代表点にて特定される撮影指先点もこの表示外撮影領域内に生ずる。他方、図１３の右に示すごとく、真の指先が表示外撮影領域内に入り込まず画面の外周縁領域にとどまる場合は、先端領域ひいては撮影指先点も画面内に生ずる。従って、先端領域ｔａが表示外撮影領域１０２ｅ内に存在している場合はこれを真の指先として認識せず（無効）、表示外撮影領域１０２ｅ内に存在していない場合は真の指先として認識する（有効）ように処理が可能である。例えば、図１４のように、複数の撮影指先点ｔｐが特定される場合も、それぞれ表示外撮影領域１０２ｅ内に存在するか否かに基づき、有効／無効の判定を個別に行なうことができる。図６のフローチャートでは、Ｓ１００８〜Ｓ１０１０において上記原理に基づく判定を行なっている。なお、手挿入側となる表示画面のＹ方向後端縁については、撮影範囲１０２ｂの後端縁と一致させ、表示外撮影領域１０２ｅを特に形成しない構成とすることも可能である。
【００５３】
なお、先端領域ｔａが真の指先領域であるか否かを判定するアルゴリズムには、上記以外にも種々の方式を採用することができる。例えば、第二画像を得るための第一画像のＹ方向平行移動距離を一般的な大人の指幅値よりも小さく設定した場合、第一画像と第二画像との差分画像として得られる先端領域ｔａは、Ｘ方向寸法ＷＸ（つまり、幅）がＹ方向寸法ＷＹよりも大きい横長の領域となりやすい。そこで、先端領域ｔａのＸ／Ｙアスペクト比φ（≡ＷＸ／ＷＹ）が規定範囲内にあるか否かに基づいて真の指先領域であるか否かを判定することが可能である。例えば、図１０左に示す紙や書類の場合はφが極度に大きくなり、同じく右に示す携帯電話のアンテナ（指より細い）については、Ｘ方向寸法ＷＸが不足する分だけφの値も小さくなるので、いずれも非指先領域として除外することが可能である。
【００５４】
なお、指がＹ方向に対して傾いて挿入される場合を考慮し、図１６に示すように、先端領域ｔａに外接する平行線対を、角度を変えながら種々生成し、最大となる平行線間距離をＷｍａｘ、最小となる平行線間距離をＷｍｉｎとして、上記アスペクト比φをＷｍａｘ／Ｗｍｉｎにより算出するようにしてもよい。
【００５５】
また、図１７に示すように、撮影画像の被写体領域（「１」画素領域）の総面積をＳとし、特定された先端領域（非重なり領域）ｔａの個数をＮとして、Ｓ／Ｎの値を平均指面積として推定し、該Ｓ／Ｎが規定範囲内にあるか否かに基づいて、先端領域ｔａが真の指先領域であるか否かを判定することも可能である。これは特に、手が撮影されたとき被写体領域が主として指領域のみにより形成されるよう、撮影領域のＹ方向寸法が指先端側の一部分のみを包含可能な値に設定されている場合に有効な手法であるといえる。
【００５６】
図５に戻り、上記のごとくＳ１０８の指先判定処理が終了すれば、Ｓ１０９にて、特定された各先端領域のいずれが真の指先領域として判定されたかを調べ、Ｓ１１０において、該真の指先領域についてのみ代表点の座標（重心座標Ｇ）を（真の）撮影指先点として記憶し、真の指先領域でないものについては破棄ないし無効化する。
【００５７】
次に、ユーザーインターフェースエンジン１０３ｅが実現する本発明の種々の実施形態について説明する。図３に示すように、操作ＥＣＵ１０はシリアル通信バス３０を介してボデーＥＣＵ３００から、車速センサ３０１が検出する車速情報を取得し、閾車速（１〜１０ｋｍ／ｈｒ、例えば５ｋｍ／ｈｒに設定される）未満であれば低速走行状態（停車状態）と判定し、閾車速を超えていれば高速走行状態（走行状態）と判定する。
【００５８】
ユーザーインターフェースエンジン１０３ｅのインターフェース仕様データは、低速走行時インターフェース仕様（停車時インターフェース仕様）データと高速走行時インターフェース仕様（走行時インターフェース仕様）データとの２通りが用意されており、停車状態においては前者が、走行状態においては後者がそれぞれ切り替えて使用される。図１１は、その第一参考形態を示すものであり、具体的には、走行時インターフェース仕様（右）における有効な操作領域ＳＢ，ＦＨＷの表示形成数を、停車時インターフェース仕様（左）における有効な操作領域ＳＢの表示形成数よりも少なく設定する例を示すものである。適用対象は、カーナビゲーションシステムの目的地や経由地等を文字入力するための文字入力画面である。
【００５９】
停車時インターフェース仕様では操作領域は、文字入力キーボードＫＢを構成する個別の文字入力ソフトボタンＳＢとなっている。画像指先点を希望する文字のソフトボタンに位置決めし、タッチパネル１２ａ上にて対応する位置に（すなわち、ソフトボタンの領域内にタッチ入力点が発生するように）タッチ操作を行なうことで、対応する文字入力がなされ、該当する文字のコードが操作指令情報として出力され、カーナビゲーションシステムに送信される。
【００６０】
一方、走行時インターフェース仕様ではキーボードは表示されず、手書き入力を行なうためのフリーハンド入力ウィンドウＦＨＷが操作領域として表示・形成されている。フリーハンド入力ウィンドウＦＨＷは、停車時インターフェース仕様における文字入力ソフトボタンＳＢよりも大きく形成され、例えば文字入力キーボードＫＢとほぼ同等の大きさに形成されている。タッチ入力点又は画像指先点のいずれかの時間的変化を描画軌跡としてキャプチャするとともに、該描画軌跡が文字リスト上の個々の文字形状と比較され、マッチングする文字のコードが操作指令情報として出力され、カーナビゲーションシステムに送信される。なお、走行時インターフェース仕様におけるソフトボタンＳＢは、フリーハンドによる入力途中の履歴を消去する消去ボタンと、フリーハンド入力内容を確定させる確定ボタンとが表示・形成されるにとどまっている。
【００６１】
次に、図１２は、その第二参考形態を示すものであり、具体的には、走行時インターフェース仕様（右）における有効な操作領域の表示形成寸法を、停車時インターフェース仕様（左）における有効な操作領域の表示形成寸法よりも大きく設定する例を示すものである。適用対象は、カーナビゲーションシステムの目的地を設定するためのメニュー画面である。
【００６２】
停車時インターフェース仕様では操作領域は個別のメニューボタンＳＢ１となっている。ここでも、画像指先点を希望するメニューのソフトボタンに位置決めし、タッチパネル１２ａ上にて対応する位置に（すなわち、ソフトボタンの領域内にタッチ入力点が発生するように）タッチ操作を行なうことで、対応するメニューが選択され、その内容が操作指令情報としてカーナビゲーションシステムに出力・送信される。
【００６３】
一方、走行時インターフェース仕様ではメニューボタンＳＢ１の数が減じられるとともに、特定のメニュー（ここでは、目的地履歴）を上位階層とする下位メニューボタン（ここでは、目的地候補）ＳＢ２が、停車時インターフェース仕様におけるメニューボタンＳＢ１よりも横長に表示・形成されている。画像指先点を希望するメニューのソフトボタンに位置決めし、タッチパネル１２ａ上にて対応する位置に（すなわち、ソフトボタンの領域内にタッチ入力点が発生するように）タッチ操作を行なうことで、対応するメニューが選択され、その内容が操作指令情報としてカーナビゲーションシステムに出力・送信される。
【００６４】
図１３は第三参考形態を示すものであり、具体的には、検出された画像指先点Ｇの数が多いほど操作画面上に表示形成する操作領域の種別を増加さるとともに、走行時インターフェース仕様における操作領域の最大表示形成種別数を、停車時インターフェース仕様における操作領域の最大表示形成種別数よりも小さく設定する例を示す。適用対象は、カーオーディオシステムの再生操作画面である。
【００６５】
停車時インターフェース仕様では、操作領域として、検出される画像指先点Ｇの数が１つの場合は、図示はしていないが再生／停止ボタンＰ／Ｓを画像指先点Ｇに対応する位置に表示する。また、検出される画像指先点Ｇの数が２つの場合は、図１３の上段右に示すように、早送りボタンＦＦ及び逆戻しボタンＲＦを各画像指先点Ｇに対応する位置に表示する。さらに、検出される画像指先点Ｇの数が３つの場合は、図１３の上段左に示すように、早送りボタンＦＦ、再生／停止ボタンＰ／Ｓ及び逆戻しボタンＲＦを各画像指先点Ｇに対応する位置に表示する。どの場合も、いずれかの指にてタッチパネル１２ａにタッチ操作を行なうことで、対応するボタンの機能が選択され、その内容が操作指令情報として出力される。ここで、操作領域の最大表示形成種別数は、検出される画像指先点Ｇの数が３つの場合の「３」である。
【００６６】
一方、走行時インターフェース仕様では、検出される画像指先点Ｇの数とは無関係に、有効となる操作領域は再生／停止ボタンＰ／Ｓのみとされる（つまり、最大表示形成種別数は「１」）。図１３の下段左においては、検出される画像指先点Ｇの数が３つであるが、操作領域をなす再生／停止ボタンＰ／Ｓは、画像指先点Ｇから外れた位置に１つのみ表示形成されている。また、図１３の下段中央においては、各画像指先点Ｇに再生／停止ボタンＰ／Ｓを個別に（つまり、画像指先点Ｇの数だけ）表示している。つまり、操作領域は画像指先点Ｇに対応して複数表示されているが、操作領域の種別としては「１」であることに変わりがない。いずれも、指示体画像ＦＩは各画像指先点Ｇに個別に表示されている。他方、図１３の下段右においては、画像指先点Ｇが複数検出されていても、指示体画像ＦＩは１つのみを表示し、操作領域もこれに対応して１つのみを表示形成している。いずれの場合も、どの指でタッチ操作を行なっても再生／停止ボタンＰ／Ｓのみが操作される。
【００６７】
図１４は、第四参考形態を示すものである。適用対象はカーオーディオシステムの選曲画面であり、再生対象となるオーディオファイル群は、アルバム（第一階層メニュータイトル）毎に複数の収録曲（第二階層メニュータイトル）がまとめられた階層メニュー構造を有する。現在選択中のアルバムのタイトル画像は現在アルバムウィンドウＡＷ（画面上にて有効となる操作領域である）に表示され、対応するアルバム名が操作指令出力、すなわちアルバム選択情報として出力される。この実施形態では、前後に配列するアルバム群を示す準備アルバムウィンドウ群ＡＷ’が、現在アルバムウィンドウＡＷの左右に（部分的に重なるように）連なって表示・形成されている。また、現在選択中のアルバム名はアルバム名ウィンドウＡＴＷに表示される。
【００６８】
該画面上では、タッチ入力装置１２の操作面１０２ｂに沿うドラッグ操作が検出される（ここでは、タッチ入力点ＴＰの時間変化でドラッグ操作を検出しているが、撮影指先点の変化でドラッグ操作を検出してもよい）。そして、アルバムウィンドウ群ＡＷ，ＡＷ’の配列方向にドラッグ操作を行なうと、準備アルバムウィンドウ群ＡＷ’に対応するアルバムのタイトル画像が現在アルバムウィンドウＡＷに順次切り替え表示される（これに合わせ、アルバム名ウィンドウＡＴＷに表示されるアルバム名も順次切り替わる）。なお、ドラッグ操作の向きが変われば、アルバムの切替え方向も逆とされる。
【００６９】
そして、停車時インターフェース仕様においては、図１４の上に示すように、１回のドラッグ操作の継続中はアルバムのタイトル画像（操作領域）が連続的に切り替わる。なお、ロックマークＵＲＭが、連続切替え可能であることを示す「開錠」の形態で合わせて表示されている。他方、走行時インターフェース仕様においては、１回のドラッグ操作が生ずる毎にアルバムのタイトル画像（操作領域）が１つのみ（つまり、断続的に）切り替わる。ロックマークＵＲＭは、連続切替え不能であることを示す「施錠」の形態で表示されている。
【００７０】
図１５は、第五参考形態を示すものである。図１４にて、現在アルバムウィンドウＡＷはタッチ操作を行なうと、現在選択中のアルバムの収録曲リストウィンドウＬＷが表示される。該リスト上の個々の曲名表示エリアは、それぞれ曲選択のためのソフトボタンを形成し、タッチ操作により操作指令出力、すなわち選曲情報として出力される。収録曲リストウィンドウＬＷ上で曲名表示エリアの配列方向（ここでは、上下方向）にドラッグ操作を行なうと、収録曲リストウィンドウＬＷ内の曲名表示エリアが順次対応する向きにスクロールされる。停車時インターフェース仕様においては、図１５の上に示すように、１回のドラッグ操作の継続中は曲名表示エリアが連続的に切り替わるようにスクロールされる。他方、走行時インターフェース仕様においては、図１５の下に示すように、タッチ操作が生ずる毎に、画面上の方向マークＢＡのうちタッチ入力点に近い側に位置するものが示す向きに、選択中の曲が１つのみ移動する（つまり、対応する方向マークＢＡ側において現在演奏中の曲の次の曲に切り替えて再生処理が行なわれる）。
【００７１】
図１６は第六参考形態を示すものである。適用対象となる電子機器はここではエアコンである。図１６左は停車時インターフェース仕様を示すもので、複数の操作領域としてエアコンの種々のモード切替操作を行なうためのモード切替ボタンＳＢが表示形成されている。これらは、いずれかのモード切替ボタンＳＢ内にタッチ入力点が検出されれば、対応するモードの切替信号が第二操作指令情報として出力される。一方、画面内には、設定温度の切替え操作領域ＧＡ１と風量の切替え操作領域ＧＡ２とが形成されている。これらはいずれも、領域内にて規定の方向にドラッグ操作（操作動作パターン：ジェスチャ）を行なうことで、そのタッチ入力点ないし画像指先点の位置変化量に応じて、設定温度ないし風量が操作に対応する向きに連続的に変更され、その変更内容を示す情報が第一操作指令情報として出力される（つまり、第一操作指令情報と第二操作指令情報との双方が能動化されている）。また、図１６右は走行時インターフェース仕様を示すもので、モード切替ボタンＳＢが省略（あるいは無効化）され、設定温度の切替え操作領域ＧＡ１と風量の切替え操作領域ＧＡ２のみが形成されている（つまり、第一操作指令情報のみが能動化されている）。
【００７２】
次に、図１７は、本発明の第一にかかる実施形態を示すものであり、適用対象は、カーナビゲーションシステムの目的地を設定するためのメニュー画面である。操作領域は個別のメニューボタンＳＢ１となっており、画像指先点を希望するメニューのソフトボタンに位置決めし、タッチパネル１２ａ上にて対応する位置にタッチ操作を行なうことで、対応するメニューが選択され、その内容が操作指令情報としてカーナビゲーションシステムに出力・送信される。図１７左は撮影指先点が複数個同時に検出されている場合の、同じく右は撮影指先点が１個のみ検出されている場合のインターフェース使用を示すものであり、複数個同時に検出されている場合のメニューボタンＳＢＳの表示形成数が、１個のみ検出されている場合のメニューボタンＳＢＬの表示形成数よりも多く設定されている。なお、後者においては、メニューボタンＳＢ１の表示形成数が少なくなるに伴ない、個々のメニューボタンＳＢ１の形成寸法が拡大されている。
【００７３】
図１８〜図２０は、本発明の第二にかかる第一実施形態を示すものであり、撮影指先点が検出された場合に、タッチ入力装置１２へのタッチ操作が同時に検出されているか否かに応じてユーザーインターフェースエンジン１０３ｅのインターフェース仕様が切り替わるようになっている。適用対象は、カーナビゲーションシステムの地図表示画面であり、地図表示領域ＭＡとスクロールボタンＳＢとが形成されている。図１８に示すように、このスクロールボタンＳＢにタッチ操作することで、地図表示領域ＭＡにおける地図のスクロール操作が可能となる。
【００７４】
図１９は、どれか１本の指により地図表示領域ＭＡ上にタッチを伴なうドラッグ操作を加えたときのインターフェース仕様を示しており、この場合は、地図表示領域ＭＡにて地図がドラッグ操作方向に第一速度Ｖ１でスクロールされる。一方、図２０は、地図表示領域ＭＡ上にタッチを伴なわない（つまり、撮影指先点Ｇのみが特定される状態での）ドラッグ操作を加えたときのインターフェース仕様を示している。このドラッグ操作は、複数本の指の撮影指先点Ｇが検出されることを考慮して、最初に検出された撮影指先点Ｇの追尾か、撮影指先点の検出個数の時間的変化（０→１→２→３→２→１→１）のどちらかで検出が可能である。該仕様では、地図表示領域ＭＡにて地図がドラッグ操作方向に、前述の第一速度Ｖ１よりも大きい第二速度Ｖ１にてスクロールされる。
【００７５】
図２１〜図２３は、本発明の第二にかかる第二実施形態を示すものであり、適用対象は図１４及び図１５と同様のカーオーディオシステムの選曲画面である。図２１に示すように、現在アルバムウィンドウＡＷと準備アルバムウィンドウ群ＡＷ’とが図１４と同様に表示形成されており、また、アルバムの収録曲リストウィンドウＬＷが現在アルバムウィンドウＡＷの下側に合わせて表示されている。図２２は、地図表示領域ＭＡ上にタッチを伴なわない（つまり、撮影指先点Ｇのみが特定される状態での）ドラッグ操作を行なう場合のインターフェース仕様を示すものである。アルバムウィンドウ群ＡＷ，ＡＷ’の配列方向に該ドラッグ操作を行なうことにより、準備アルバムウィンドウ群ＡＷ’に対応するアルバムのタイトル画像が現在アルバムウィンドウＡＷに順次切り替え表示される（これに合わせ、収録曲リストウィンドウＬＷに表示される収録曲も順次切り替わる）。なお、ドラッグ操作の向きが変われば、アルバムの切替え方向も逆とされる。また、図２３は、タッチ操作を行なった場合のインターフェース仕様を示すものである。収録曲リストウィンドウＬＷ内の曲名表示エリアにタッチすれば、タッチした曲名の演奏に切り替わる。なお、現在アルバムウィンドウＡＷにタッチしたとき、現在選択中のものの次の曲に演奏が切り替わるように構成してもよい。
【符号の説明】
【００７６】
１ 操作装置
１０ 操作ＥＣＵ
１２ 入力部
１２ａ タッチ入力装置
１２ｂ 手撮影カメラ（撮影装置）
１５ 画像表示装置
１０１ ＣＰＵ（撮影指先点検出手段、指示体画像表示制御手段、作画面表示制御手段）
１０３ｅ ユーザーインターフェースエンジン
３０１ 車速センサ（走行状態検出手段）
ＳＦ、ＳＩ 指示体画像
ｔｐ タッチ入力点
Ｇ 撮影指先点
【技術分野】
【０００１】
本発明は車載用電子機器操作装置に関する。
【背景技術】
【０００２】
【特許文献１】特開２０００−３３５３３０号公報
【特許文献２】特開２００１−２１６０６９号公報
【０００３】
従来、カーナビゲーション装置のような車載機器の操作装置として、操作者の手をカメラで撮影し、その撮影データから指画像を抽出し、抽出した指画像域を車載機器のＧＵＩ入力画面（例えば、ナビ画面など）に重畳表示するタイプのものが提案されている。例えば、特許文献１には、車体の天井に取り付けたカメラを用いて、座席手元のタッチパネルを操作する手の様子を撮影し、撮影した手とタッチパネルとを、操作者の前方に対向配置された液晶パネルに表示する構成が開示されている。また、特許文献２には、ユーザーの指等とディスプレイの画面との距離に応じて異なる操作内容を割り当てる操作入力装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の操作システムにおいては、カメラによる手の撮影情報が、操作位置を示す手輪郭画像の画面上への重畳表示に利用されるに留まり、画像情報自体が入力情報として有効に利用されているとはいい難かった。特に、運転中においては、運転者は操作装置の画面を注視できないため誤操作を生じやすく、複雑な操作が困難である。特許文献１の操作装置は、手の撮影情報とタッチ検出情報との２系統の入力情報が利用するにもかかわらず、操作性の向上を目的としてそれらが有効に活用されていたとはいいがたい。
【０００５】
本発明の課題は、タッチ入力部と手撮影手段との双方を入力手段として備えるとともに、両者をより有効に活用することにより、操作装置の画面を注視できない状況等でも、その操作性を大幅に向上できる車載用電子機器操作装置を提供することにある。
【課題を解決する手段及び発明の効果】
【０００６】
本発明に関連する構成は、車載電子機器の操作入力を行なうために車両に搭載して使用される操作装置であって、上記の課題を解決するために、
操作者の指先によるタッチ操作を受け付ける操作面を有し、操作によるタッチ入力点を検出するタッチ入力装置と、
操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する操作者の手を撮影する撮影装置と、
撮影装置が撮影取得する手画像データに基づき手の指先点を撮影指先点として検出する撮影指先点検出手段と、
操作面ならびに撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
画像表示装置に対し指先点を指示する指示体画像を表示画面上に表示させる指示体画像表示制御手段と、
画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示する操作画面表示制御手段と、
タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と車載電子機器への操作指令出力内容との関係が、予め定められたインターフェース仕様として設定され、操作画面上での指示入力状態に応じて前記インターフェース仕様に基づき操作指令情報を出力するユーザーインターフェースエンジンと、
車両の走行状態を検出する走行状態検出手段と、
検出された走行状態に応じてユーザーインターフェースエンジンのインターフェース仕様を変更するインターフェース仕様変更手段と、を備えたことが想定される。
【０００７】
上記の本発明に関連する構成によると、画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示するとともに、ユーザーインターフェースエンジンにより、タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と車載電子機器への操作指令出力内容との関係を予め定められたインターフェース仕様として設定し、操作画面上での指示入力状態に応じて前記インターフェース仕様に基づき操作指令情報を出力する。そして、検出された車両の走行状態に応じてインターフェース仕様が変更されるように構成されるので、車載用電子機器操作装置の操作性を車両走行状態に応じて随時適正化することができる。
【０００８】
インターフェース仕様変更手段は、車両の走行状態に応じて操作画面の表示内容を、該表示内容に対応する操作指令出力内容とともに変更するものとして構成できる。すなわち、タッチ操作と撮影指先点検出とを入力情報とする操作画面を用いたユーザーインターフェース（一種のグラフィカルユーザーインターフェースである）において、車両の走行状態に応じて操作画面の表示内容（すなわち、操作画面の視覚的な構成）を変更することで、操作装置の画面を注視できない操作状況が車両走行状態に応じて発生した場合でも、適正な操作支援を行なうことができる。
【０００９】
具体的には、走行状態検出手段に車速検出手段を設け、インターフェース仕様として、検出された車速値が閾値未満の場合に使用する低速走行時（停車時含む）インターフェース仕様と、検出された車速値が閾値を超える場合に使用する高速走行時インターフェース仕様とを用意することができる。そして、インターフェース仕様変更手段を、車速値に応じてインターフェース仕様を低速走行時インターフェース仕様と高速走行時インターフェース仕様との間で切り替えるものとして構成することができる。車速が小さい場合（特に停車中）は、運転者は操作画面の注視時間や頻度を高く確保できるが、車速が大きい場合は前方を注視しなければならず、操作画面の長時間の直視は難しくなる。そこで、上記のごとく、低速走行時インターフェース仕様と高速走行時インターフェース仕様とを予め用意し、車速ひいては操作画面の注視可能度に応じて随時切り替えて使用することで、各状況に適した操作性確保を適切に図ることができる。
【００１０】
操作画面表示制御手段は、互いに異なる操作指令出力を行なうための複数の操作領域（例えば操作ボタンや入力ウィンドウなど）を操作画面上に表示形成するものとして構成できる。この場合、インターフェース仕様変更手段は、高速走行時インターフェース仕様における有効な操作領域の表示形成数を、低速走行時インターフェース仕様における有効な操作領域の表示形成数よりも少なく設定するものとして構成できる。また、高速走行時インターフェース仕様における有効な操作領域の表示形成寸法を、低速走行時インターフェース仕様における有効な操作領域の表示形成寸法よりも大きく設定するものとして構成することもできる。操作画面を注視しにくい高速走行時にあっては、操作は手探りになりがちであり、操作領域の数が多すぎたり、あるいは個々の操作領域の面積が小さすぎたりすると誤操作を生じやすくなる。そこで、上記のように構成することで、このような不具合を効果的に解消することができる。
【００１１】
また、撮影指先点検出手段は手画像データに基づき複数個の指先点を同時検出可能に構成することができる。操作画面表示制御手段は、検出された指先点の数が多いほど操作画面上に表示形成する操作領域の種別を増加させるように構成できる。検出される指の数に応じて操作領域の種別を増加させることで、複数本の指による操作入力の多様化及び効率化を図ることができる。特に、指先点が検出される毎に、各指先点に対応する位置に操作領域を動的に設定・形成するように構成すれば、指毎に固有の操作領域が設定されることになり、各指の機能分担が明確化して複雑な入力もより直感的に行ないやすくすることができる。
【００１２】
この場合、インターフェース仕様変更手段は、高速走行時インターフェース仕様における操作領域の最大表示形成種別数を、低速走行時インターフェース仕様における操作領域の最大表示形成種別数よりも小さく設定するように構成できる。画面注視が困難な低速走行時に、最大表示形成種別数の小さいインターフェース仕様に切り替えることで、誤操作を発生しにくくすることができる。
【００１３】
一方、操作画面表示制御手段は、タッチ入力装置の操作面に沿うドラッグ操作を検出して、画面上にて有効となる操作領域を、操作指令出力内容の異なる複数のものの間で切替え表示するものとして構成することもできる。インターフェース仕様変更手段は、低速走行時インターフェース仕様においては１回のドラッグ操作の継続中は操作領域を連続的に切り替える一方、高速走行時インターフェース仕様においては、１回のドラッグ操作が生ずる毎に操作領域を断続的に切り替えるように構成することができる。ドラッグ操作により操作領域が連続切替えできれば、次々と切り替わる操作領域の内容を確認しながら、望む操作領域に迅速にたどり着くことができる利点がある。しかし、画面が直視しにくい（高速）走行時には、連続的に切り替わると所望の操作領域が飛ばされてしまい、これに狙い通りにたどり着けない場合がある。そこで、高速走行時インターフェース仕様においては、１回のドラッグ操作が生ずる毎に操作領域を断続的に切り替えるように構成することで、所望の操作領域に確実にたどり着くことができるようになる。
【００１４】
また、さらに別の態様としては、画像指先点の操作面に沿う特定の動きを操作動作パターンとして検出する操作動作パターン検出手段を設け、操作画面表示制御手段は、互いに異なる操作指令出力を行なうための複数の操作領域を操作画面上に表示形成する構成を採用することもできる。ユーザーインターフェースエンジンは、操作動作パターンが検出されるに伴ない該操作動作パターンに対応する第一操作指令情報を出力する一方、タッチ入力点又は撮影指先点により操作領域が選択された場合に、当該操作領域と対応付けられた第二操作指令情報を出力する操作指令情報出力手段を有するものとして構成する。そして、インターフェース仕様変更手段は、低速走行時インターフェース仕様においては操作領域の選択に応じた第二操作指令情報を少なくとも能動化し、高速走行時インターフェース仕様においては操作動作パターンの検出に応じた第一操作指令情報のみを能動化するものとして構成することができる。この構成によると、低速走行時インターフェース仕様では、画面を見ながらの操作領域の選択操作が可能となる一方、高速走行時インターフェース仕様においては操作領域の選択操作が排除され、画面を注視しなくても可能な操作動作パターン（つまり、ジェスチュア）のみが能動化されるので操作性が向上する。
【００１５】
次に、本発明の第一は、車載電子機器の操作入力を行なうために車両に搭載して使用される操作装置であって、上記の課題を解決するために、
操作者の指先によるタッチ操作を受け付ける操作面を有し、タッチ操作によるタッチ入力点を検出するタッチ入力装置と、
操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する操作者の手を撮影する撮影装置と、
撮影装置が撮影取得する手画像データに基づき手の指先点を撮影指先点として複数同時に検出可能に構成された撮影指先点検出手段と、
操作面ならびに撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
画像表示装置に対し指先点を指示する指示体画像を表示画面上に表示させる指示体画像表示制御手段と、
画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示する操作画面表示制御手段と、
タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と車載電子機器への操作指令情報における出力内容との関係が、予め定められたインターフェース仕様として設定され、操作画面上での指示入力状態に応じてインターフェース仕様に基づき操作指令情報を出力するユーザーインターフェースエンジンと、
撮影指先点検出手段が検出する撮影指先点の個数に応じてユーザーインターフェースエンジンのインターフェース仕様を変更するインターフェース仕様変更手段と、を備えたことを特徴とする。
【００１６】
撮影指先点の個数に応じてユーザーインターフェースエンジンのインターフェース仕様を変更することにより、検出される指の本数に応じて入力仕様の適正化を図ることができる。例えば、操作画面表示制御手段が、互いに異なる操作指令出力を行なうための複数の操作領域を操作画面上に表示形成するものである場合、インターフェース仕様変更手段は、撮影指先点検出手段が検出する撮影指先点の数が複数個の場合の有効な操作領域の表示形成数を、同じく撮影指先点の数が１個の場合の有効な操作領域の表示形成数よりも多く設定するように構成できる。検出される指の数に応じて操作領域の種別を増加させることで、複数本の指による操作入力の多様化及び効率化を図ることができる。
【００１７】
本発明の第二は、車載電子機器の操作入力を行なうために車両に搭載して使用される操作装置であって、上記の課題を解決するために、
操作者の指先によるタッチ操作を受け付ける操作面を有し、タッチ操作によるタッチ入力点を検出するタッチ入力装置と、
操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する操作者の手を撮影する撮影装置と、
撮影装置が撮影取得する手画像データに基づき手の指先点を撮影指先点として検出する撮影指先点検出手段と、
操作面ならびに撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
画像表示装置に対し指先点を指示する指示体画像を表示画面上に表示させる指示体画像表示制御手段と、
画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示する操作画面表示制御手段と、
タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と車載電子機器への操作指令情報における出力内容との関係が、予め定められたインターフェース仕様として設定され、操作画面上での指示入力状態に応じてインターフェース仕様に基づき操作指令情報を出力するユーザーインターフェースエンジンと、
撮影指先点が検出された場合に、タッチ入力装置へのタッチ操作が同時に検出されているか否かに応じてユーザーインターフェースエンジンのインターフェース仕様を変更するインターフェース仕様変更手段と、を備えたことを特徴とする。
【００１８】
上記の構成によると、操作入力系が、タッチ入力装置と手の撮影装置との二系統からなることを利用して、撮影指先点が検出された場合に、タッチ入力装置へのタッチ操作が同時に検出されているか否かに応じてユーザーインターフェースエンジンのインターフェース仕様を変更するようにしたから、操作装置の入力利用形態の大幅な拡張を図ることができる。
【００１９】
具体的には、操作画面表示制御手段は、タッチ入力装置の操作面に沿うドラッグ操作を検出して、画像表示装置の画面上に表示中の画像情報を該ドラッグ操作に対応する向きにスクロール表示処理するものとして構成できる。この場合、インターフェース仕様変更手段は、撮影指先点とともにタッチ操作が検出されている場合の画像情報のスクロール速度を、タッチ操作が検出されていない場合のスクロール速度よりも小さく設定するものとして構成できる。操作面にタッチしながらドラッグするか、タッチせずにドラッグするかに応じて、画面のスクロール速度を容易にかつ直感的に切り替えることができる。
【００２０】
他方、操作画面表示制御手段は、タッチ入力装置の操作面に沿うドラッグ操作を検出して、画像表示装置の画面上に表示中の階層型の情報出力メニューをスクロール表示処理するものとして構成することもできる。インターフェース仕様変更手段は、タッチ操作が検出されている場合と、タッチ操作が検出されていない場合とで、情報出力メニューの互いに異なる階層をスクロール表示処理するものとして構成することができる。操作面にタッチしながらドラッグするか、タッチせずにドラッグするかを切り替えることにより、スクロールする情報出力メニューの階層が変更されるので、メニュー検索の利便性を大幅に向上することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の操作装置の車内取付形態の一例を示す斜視図。
【図２】その操作部の内部構造の一例を示す断面模式図。
【図３】図１の操作装置の電気的構成の一例を示すブロック図。
【図４】撮影指先点を決定する画像処理の流れを示す説明図。
【図５】撮影指先点特定処理の流れを示すフローチャート。
【図６】指先判定処理の詳細を示すフローチャート。
【図７】先端領域の幅の概念を説明する図。
【図８】複数の先端領域を分離するためのラベリング処理の概念を説明する図。
【図９】手撮影カメラにより取得された手画像を重畳表示する実施形態を示す図。
【図１０】指示体画像を重畳した画面表示例を示す図。
【図１１】本発明に関連する第一参考形態を示す図。
【図１２】同じく第二参考形態を示す図。
【図１３】同じく第三参考形態を示す図。
【図１４】同じく第四参考形態を示す図。
【図１５】同じく第五参考形態を示す図。
【図１６】同じく第六参考形態を示す図。
【図１７】本発明の第一に係る第一実施形態を示す図。
【図１８】本発明の第二に係る第一実施形態を示す図。
【図１９】図１８に続く説明図。
【図２０】図１９に続く説明図。
【図２１】本発明の第二に係る第二実施形態を示す図。
【図２２】図２１に続く説明図。
【図２３】図２２に続く説明図。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明の画像表示装置の適用対象となる、車載用電子機器の操作装置の一例を示すものである。この操作装置１は、自動車の車室内において、インパネ中央部にモニタ（表示装置）１５が配置され、センターコンソールＣの、運転席２Ｄ及び助手席２Ｐのいずれからも操作可能な位置に操作部１２が配置されている。使用目的は特には限定されないが、例えばセンターコンソールに設けられたモニタ１５の画面を見ながら、カーナビゲーション装置やカーオーディオ装置の機能操作を行なうためのものである。
【００２３】
操作部１２は、入力操作面が上向きとなるように取り付けられている。該入力操作面を形成するのは周知のタッチパネル１２ａであり、抵抗膜方式、表面弾性波方式あるいは静電容量方式のいずれを採用してもよい。タッチパネル１２ａは、その基材が透明樹脂板あるいはガラス板等により透明入力支持板として構成され、操作者の指先によるタッチ操作を上面側にて支持しつつ受け付ける。そして、モニタ１５の画面領域に対応した入力座標系が板面に沿って設定される。
【００２４】
図２は、入力部１２の内部構造を模式的に示す断面図であり、筐体１２２ｅの上面に前述のタッチパネル１２ａが、入力操作面１０２ｂ側が上となるように嵌め込まれている。筐体１２ｄの内部には、照明光源１２ｃ及び撮影光学系とともに手撮影カメラ（撮影装置）１２ｂが収容されており、撮影画像取得手段を構成している。照明光源１２ｃは、凸曲面形態のモールドにより素子直上側への輝度指向性を高めた発光ダイオード光源（従って、単色光源である）であり、タッチパネル１２ａの下面を取り囲む形態で複数配置されている。各照明光源１２ｃは、高輝度となるモールド先端側をタッチパネル１２ａの下面内側に向けそれぞれ傾けて取り付けてあり、入力操作面１０２ｂ上の操作者の手Ｈの掌面による一次撮像反射光ＲＢ１が、タッチパネル１２ａを透過する形で下向きに生ずるようになっている。
【００２５】
撮影光学系は、第一反射部１２ｐと第二反射部１２ｒとを有する。第一反射部１２ｐは、タッチパネル１２ａの直下に対向配置されたプリズム板（三角柱状の微小プリズムを面内に並列に配置した透明材料板：以下、プリズム板１２ｐともいう）であり、操作者の手Ｈからの一次撮像反射光ＲＢ１を斜め上方に反射することにより、該プリズム板１２ｐとタッチパネル１２ａとの対向空間１２ｆの側方外側へ二次撮像反射光ＲＢ２として導く。第二反射部１２ｒは上記対向空間の側方外側に配置された平面反射鏡（以下、平面反射鏡１２ｒともいう）であり、上記二次撮像反射光ＲＢ２を側方へ反射することにより、対向空間１２ｆを挟んで第二反射部１２ｒの反対側に位置する手撮影カメラ１２ｂに対し三次撮像反射光ＲＢ３として導く。手撮影カメラ１２ｂは該三次撮像反射光ＲＢ３の焦点に対応する位置に設けられ、操作者の指を含む手Ｈの撮影画像を取得する。
【００２６】
プリズム板１２ｐは、図２内に拡大して示すように、ミラー基面ＭＢＰに対しそれぞれ等角度で傾斜する反射面を有したリブ状の微小プリズムを、ミラー基面ＭＢＰに沿って互いに平行となるように密接形成したものであり、ミラー基面ＭＢＰを傾けずとも、その法線方向に入射する光を（斜め）側方へ反射することができる。従って、側方反射のための第一反射部１２ｐをタッチパネル１２ａの下方に平行対向する形で配置でき、対向空間１２ｆの高さ方向寸法を大幅に縮小できる。
【００２７】
また、その対向空間１２ｆを側方から挟んで第二反射部１２ｒと手撮影カメラ１２ｂとを対向配置することで、手撮影カメラ１２ｂに直接入射する三次撮像反射光ＲＢを、対向空間１２ｆを横切る形で導くことができる。これにより、第二反射部１２ｒと手撮影カメラ１２ｂとを、タッチパネル１２ａの側縁に近接配置でき、かつ、手Ｈから手撮影カメラ１２ｂへの撮像反射光の入射経路が、対向空間１２ｆ内でいわば三つ折状に畳み込まれる形になるので、撮像光学系全体の大幅なコンパクト化と、筐体１２ｄの薄型化とが実現されている。特に、タッチパネル１２ａのサイズ（つまり、入力操作面１０２ｂの縦横寸法）を縮小することで、入力部１２全体の劇的な小形化及び薄型化が実現し、図１のセンターコンソール部Ｃの幅が比較的小さい車両や、シフトレーバー前方の限られた取付スペースしか活用できない車両にも問題なく取り付けが可能となる。
【００２８】
タッチパネル１２の入力操作面１０２ｂは、手撮影カメラ１２ｂの撮影範囲１０２ｂに対応しており、平均的な寸法の大人の手を想定した場合に、中指の指先端を含む長手方向の一部のみが入力操作面１０２ｂ内に入るように、その上下方向（Ｙ方向）寸法が定められている（例えば、６０〜９０ｍｍ（具体例として７５ｍｍ））。これにより、モニタ１５の画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。また、入力操作面１０２ｂの左右方向（Ｘ方向）寸法は１１０〜１３０ｍｍ（例えば、１２０ｍｍ）であり、手を乗せて各指を大きく開いた状態では、人差し指、中指、薬指及び小指が撮影範囲内となり、親指が撮影範囲外となっている。ただし、各指を適当に閉じれば全ての指を撮影範囲内に収めることも可能である。
【００２９】
図３は、操作装置１の電気的構成を示すブロック図である。操作装置１の制御主体をなすのは操作ＥＣＵ１０である。該操作ＥＣＵ１０は、ＣＰＵ１０１を主体とするコンピュータハードウェア基板として構成され、具体的には、ＣＰＵ１０１、ＲＡＭ１１０２、ＲＯＭ１０３、グラフィックコントローラ１１０、ビデオインターフェース１１２、タッチパネルインターフェース１１４、汎用入出力部１０４及びシリアル通信インターフェース１１６が内部バス１０５により相互接続された構造を有する。グラフィックコントローラ１１０には表示用ビデオＲＡＭ１１１及びモニタ１５が、ビデオインターフェース１１２には撮影用ビデオＲＡＭ１１３及び手撮影カメラ１２ｂが、タッチパネルインターフェース１１４にはタッチパネル１２ａが、そして、汎用入出力部１０４にはドライバ（駆動回路）１１５を介して照明光源１２ｃがそれぞれ接続されている。また、シリアル通信インターフェース１１６には、ＣＡＮ通信バスなどの車載用シリアル通信バス３０が接続され、これにネットワーク接続された他のＥＣＵ、具体的にはカーナビゲーション装置の制御を司るナビＥＣＵ２００およびボデー系ＥＣＵ３０１と相互通信可能とされている。
【００３０】
ビデオインターフェース１１２には、手撮影カメラ１２ｂが取得するアナログもしくはデジタルの映像信号が継続的に入力されるとともに、撮影用ビデオＲＡＭ１１３内に画像フレームデータとして、所定の時間間隔で取り込まれる。撮影用ビデオＲＡＭ１１３の記憶内容は、新しい画像フレームデータが取り込まれる毎に随時更新される。
【００３１】
グラフィックコントローラ１１０は、通信インターフェース１１６を介してナビＥＣＵ２００から入力画面画像フレームデータを取得するとともに、ＣＰＵ１０１側からは指示体画像が所定位置に張り込まれた指示体画像フレームデータを取得し、表示用ビデオＲＡＭ１１１上にて周知のアルファブレンディング処理等によりフレーム合成し、モニタ１５に出力する。
【００３２】
タッチパネルインターフェース１１４は、タッチパネル１２ａの方式に応じた固有の駆動回路を有するとともに、タッチパネル１２ａからの信号入力状態に基づいて、入力操作面１０２ｂへのタッチ操作による入力位置（タッチ入力点）を検出し、その検出結果を位置入力座標情報として出力する。
【００３３】
なお、手撮影カメラ１２ｂの撮影範囲（撮影視野；ひいては、該手撮影カメラ１２ｂにより取得される撮影画像）、タッチパネル１２ｂの入力操作面、モニタ１５の画面領域（ひいては、その表示内容を決定する入力画面画像フレームデータ及び指示体画像フレームデータ）には、二次元座標対応関係が一義的に定められている。
【００３４】
また、ＲＯＭ１０３には、ＣＰＵ１０１が実行する以下のようなソフトウェアが格納されている。
・タッチパネル制御ソフトウェア１０３ａ：タッチパネルインターフェース１１４からタッチ入力点の座標を取得し、入力画面画像フレームデータとともにナビＥＣＵ２００から送られてくる、操作入力内容の判定参照情報（例えば、ソフトボタンの領域特定情報や、当該ソフトボタンがタッチ操作されたときに出力するべき操作コマンド内容等の情報を含む）を取得する。そして、該タッチ入力点座標と取得した判定参照情報とに基づいて現在の操作入力内容を特定し、ナビＥＣＵ２００に対して対応する操作コマンドの実行指令出力を行なう。
【００３５】
・表示制御ソフトウェア１０３ｂ：グラフィックコントローラ１１０への入力画面画像フレームデータの取り込み指令を行なうとともに、後述の方法により作成した指示体画像フレームデータをグラフィックコントローラ１１０へ転送する。
・指先点演算ソフトウェア１０３ｃ（先端抽出手段、画像先端位置特定手段、指先判定手段）：ＲＡＭ１１０２の指先点演算処理メモリ１１０２ａを作業領域として動作する。手撮影カメラ１２ｂが撮影した操作者の手の撮影画像を二値化し、その実指像の指先位置を撮影指先点として特定する演算、具体的には、二値化された撮影画像の挿入方向における先端領域ｔａの所定の代表点（ここでは幾何学的重心位置）を撮影指先点ｔｐとして特定する演算を行なう。また、先端領域ｔａの寸法及び面積の少なくともいずれかに基づいて、撮影指先点ｔｐが真の指先点ｔｐを示すものであるか否かを判定する。なお、手の撮影画像の二値化処理は、ビデオインターフェースの出力段に画素の二値化回路を組み込んで事前に行なうようにしてもよい。
・指示体画像合成ソフトウェア１０３ｄ（指示体画像表示手段）：ＲＡＭ１１０２の指示体画像合成用メモリ１１０２ｂを作業領域として動作する。図９に示すように、撮影された手画像ＳＦ’を指示体画像として画面に重畳表示するようにしてもよいし、図１０に示すように、その手画像よりも指幅の細い指示体画像Ｆ１を、撮影画像とは別に用意した指示体画像データ１０３ｅに基づいて作成し、画面に重畳表示するようにしてもよい。この場合、指示体画像Ｆ１は、その指先位置が撮影指先点と一致するように、指示体画像フレーム上に貼り付ける処理がなされる。
【００３６】
・ユーザーインターフェースエンジン１０３ｅ：タッチ入力点と撮影指先点との一方または双方による操作画面上での指示入力状態と、車載電子機器（本実施形態ではカーナビゲーションシステム及びカーオーディオシステム）への操作指令出力内容との関係を予め定められたインターフェース仕様として設定するとともに、操作画面上での指示入力状態に応じて該インターフェース仕様に基づき操作指令情報を出力すると処理を行なう。また、車両の走行状態（特に、車速）、撮影指先点の個数、あるいは、撮影指先点が検出された場合にタッチ入力装置１２へのタッチ操作が同時に検出されているか否か、等に応じて上記インターフェース仕様を適宜変更する機能（インターフェース仕様変更手段）を有している。
【００３７】
以下、操作装置１において、撮影される手の撮影指先点がどのようにして特定されるかを、フローチャートを用いて説明する。該処理の要部は指先点演算ソフトウェア１０３ｃが担う。まず、モニタ１５の画面（領域）には、先行するコマンド入力（例えば別画面でのタッチ入力操作に基づく）により、図３２のキーボード入力画面（ただし手画像ＳＦは除く）が表示されているものとする（ただし、地図画面など、他の入力画面であってもよい）。
【００３８】
図５は指先点特定処理の流れ（一定のサイクルで反復して実行される）を示すものであり、上記の状態で、図２に示すように、タッチパネル１２ａの入力操作面１０２ｂに手Ｈを近づけると、手撮影カメラ１２ｂは、照明光源１２ｃからの照明光の手による反射光に基づいて手像を撮影する。図５のＳ１０１で、その撮影画像を取り込む。手像の画素は反射光の受光により背景領域よりも明るく現れる。従って、図４のＡに示すように、画素の輝度を適当な閾値で二値化すれば、高輝度画素値（ここでは「１」とする）を示す領域を被写体領域（図中黒で表している）、低輝度画素値（ここでは「０」とする）を示す領域を背景領域（図中白で表している）として、互いに画像分離できる。Ｓ１０２では、この二値化された画像データを第一画像データ（Ａ）として保存する。
【００３９】
なお、Ｓ１０３では、第一画像データにおける被写体領域の面積率σを演算する。手撮影カメラ１２ｂの撮影範囲内に被写体が存在しない場合は、被写体領域の面積率σがある閾値σ０未満となるので、この場合は以下の処理をスキップする。
【００４０】
次に、図５のＳ１０５では、該第一画像データを手像の掌長方向（Ｙ方向）に所定距離（例えば、中指第一関節より先を指先部分として、その２０％〜８０％（実距離にして５〜２０ｍｍ程度））だけ平行移動させて得られる画像データを、図４のＢに示す第二画像データとする。そして、Ｓ１０６では、図４のＣに示すように、両画像データを重ね合わせたときの指先側に現れる非重なり領域を手の挿入方向における先端領域（指先領域）ｔａとして特定する。取得された原画像データを手像の掌長方向に平行移動して重ね合わせることにより、指先領域を非重なり領域として簡単に特定することができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。
【００４１】
図４のＣにおいては、第二画像データＢを、第一画像データＡを掌長方向（Ｙ方向）にて手首側へ後退移動させて作成しており、第一画像データＡの手像指先側に現れる非重なり領域が先端領域（指先領域）として特定される。撮影範囲（ひいてはモニタ１５の画面領域）との座標対応関係が保存される第一画像データＡ上にて指先領域を特定でき、後述の指先点、ひいては、画面領域上の対応座標点の特定処理を簡便に行なうことができる。
【００４２】
また、第一及び第二画像データはいずれも二値化されており、非重なり領域は、第一画像データと第二画像データとの画像差分を演算することで特定される。これにより、非重なり領域の画素を特定する処理は、第一及び第二画像データの対応する画素間の論理演算に転換できる（具体的には、対応画素間の排他的論理和が０になれば、それを非重なり領域の画素として特定できる）。なお、第一及び第二画像データの非重なり領域は、指の側面部分に細く生ずる場合がある。しかし、このような側面部分は、「１」となる画素のＸ方向の連続個数が所定値未満となる場合に、それら画素列を「０」反転する処理を行なえば、簡単に除去することができる。
【００４３】
次に、図５のＳ１０７においては、上記のように抽出された各指先領域に対し、図４のＤに示すような収縮処理が施される。具体的には、値が「１」となっている全ての画素について、これと一定の隣接関係にある画素（具体的には、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該画素の値を「０」反転する処理を行なう。該処理は、必要に応じて複数回繰り返し実施してもよい。
【００４４】
そして、収縮処理後は、画像データ上において個々の先端領域に分離する処理を行なう。すなわち、図８に示すように、画像を所定の方向（例えばｘ方向）に走査し、「１」となっている画素の途切れが一定数（例えば３ビット）以上生じたか否かにより、同一の先端領域であるか別の先端領域であるかを判別しながら、各画素にラベリング符号（本実施例では、１、２、３‥‥等の数字で表している）を施してゆく。なお、走査２列目以降は、「０」画素の検出状態から「１」画素の検出に転じた時に、その「１」画素を取り囲む例えば８つの画素のラベリング状態を判別し、既に認識済の画素のラベリング符号が検出されれば、これと同一のラベリング符号を施し、何も検出されなければ新たなラベリング符号を施すようにする。そして、異なるラベリング符号が付された画素集合同士は、異なる先端領域として認識することとなる。
【００４５】
次に、Ｓ１０８に進み、分離・特定された各先端領域が真の指先領域であるか否かの判定処理を行なう（指先判定処理）。基本となるのは、図７に示すごとく、特定された先端領域ｔａの指幅方向の寸法（以下、単に「幅」とも称する）Ｌが、一般的な大人の幅寸法を基準に定められた規定範囲（上限値Ｗｔｈ１、下限値Ｗｔｈ２）内に存在することを必要条件として、真の指先領域と判定する処理である。図１に示すように、インパネに配置されたモニタ（表示装置）１５を見ながら、車長方向にてその後方側（着座した乗員から見れば手前側）のセンターコンソールＣ上に配置されたタッチパネル１２ａの操作入力面１０２ａ、ひいては、該操作入力面１０２ａ上の操作者の手を下側から撮影する手撮影カメラ１２ｂの撮影範囲１０２ｂに対し、該撮影範囲１０２ｂの後方縁側から前方に挿入される。従って、手の挿入方向は横長長方形状の撮影範囲１０２ｂの長辺と直交する向き（つまり、Ｙ方向）に想定され、指幅方向は操作入力面１０２ａの面内において該手の挿入方向と直交する向き、すなわち、撮影範囲１０２ｂの長辺と一致する向き（つまり、Ｘ方向）に定められている。つまり、先端領域ｔａの幅はＸ方向、すなわち、撮影範囲１０２ｂの長辺方向に固定的に測定されるようになっている。
【００４６】
図６は、指先判定処理の詳細の一例を示すフローチャートである。
Ｓ１では、分離・特定された個々の先端領域ｔａの幅Ｗが特定される。具体的には、先端領域ｔａの個々の構成画素のＸ座標のうち、最小の値をＸｍｉｎ、最大の値をＸｍａｘとして、Ｗ＝Ｘｍａｘ−Ｘｍｉｎにより計算することができる。Ｓ１００２では、上記のように特定された先端領域ｔａの幅Ｗが前述の規定範囲内にあるか否かが判定される。タッチパネル１２ａはセンターコンソールＣ上に配置されているが、その脇に着座した運転者や助手席乗員はセンターコンソールＣをしばしば物置代わりに利用する。このとき、手以外の物品がタッチパネル１２ａの操作入力面１０２ａ、つまり、撮影範囲１０２ｂ内に置かれれば、当然、該物品が乗員の手の代わりに撮影される。撮影取得される第一画像と、そのＹ方向への平行移動により得られる第二画像との差分画像として抽出される先端領域ｔａの幅Ｗを用いた判定方式を採用すると、書類や本などが置かれた場合は、抽出・特定される先端領域の幅は、一般的な大人の幅寸法を基準に定められた規定範囲の上限値を明らかに上回るので、非指先領域として確実に判定が可能である。また、携帯電話が置かれた場合は、例えば突出したアンテナ部分に由来する第一先端領域の幅が、アンテナが指より明らかに細いため規定範囲の下限値を下回り、非指先領域として判定することができる。
【００４７】
なお、真の手が画像検出されている場合にあって、伸ばした状態の指が１本ないし２本（例えば、人差し指のみ、あるいは人差し指と中指など）であり、残余の指が曲げられた状態（例えば拳状に握った状態）になっている場合、閉じられている部分の先端領域の幅が規定範囲の上限値を超え、伸ばした状態の指については幅が規定範囲内となるようなこともありえる。従って、複数の先端領域が抽出されうる形状の物品に合っては、該複数の先端領域の少なくとも１つについて幅が規定範囲内となっていれば、該先端領域を真の指先領域として判定するように構成することが可能である。
【００４８】
次に、非指先領域でありながら、その幅Ｗが規定範囲内に収まっているために真の指先領域として誤認されうる形状の物品がタッチパネルの入力操作面１０２ｂ上に置かれる場合がある。例えば、貨幣が入力操作面上に置かれた場合、貨幣の寸法が指幅に近接しているために、収縮処理後の先端領域の幅は規定範囲内となり、このままでは指先領域として誤判定される。指と貨幣の画像上の違いは、指の場合は、指基端側の画像領域が撮影範囲の後端縁（手挿入側の縁）まで伸びる形となるのに対し、貨幣の場合は撮影範囲内に孤立した円形領域となり、その円形領域の後端縁と撮影範囲の後端縁との間が被写体の背景領域（つまり、「０」画素領域）となる点にある。そこで、撮影画像の総面積をＳとし、個々の非重なり領域から、撮影範囲の後端縁までの合計距離をｄとして、Ｓ／ｄの値を指幅として推定すると、上記のような誤判定を効果的に回避することができる。すなわち、貨幣の場合は、撮影範囲の後端縁側に上記背景領域が介在するために総面積Ｓが減少する。従って、Ｓ／ｄにより演算された推定指幅値が規定範囲の下限値未満となれば、これを非指先領域として除外することができる。図６のフローチャートでは、Ｓ１００５とＳ１００６とにおいて上記原理に基づく判定を行なっている。
【００４９】
次に、図６のＳ１００７では、Ｓ１００２及びＳ１００６において除外判定されなかった先端領域ｔａについて代表点を決定する。本実施形態では、領域の幾何学的な重心位置Ｇを代表点として用いる。演算方法は周知であり、例えば先端領域を構成する全画素のＸ座標値及びＹ座標値の各総和を求め。それぞれ画素の個数で除することにより重心位置Ｇの座標を計算できる。なお、重心位置Ｇではなく、例えばＹ座標値が最大となる画素を代表点として採用することも可能である。
【００５０】
なお、タッチパネルの入力操作面１０２ｂに実際に接触するのは、指先端からＸ方向に少し下がった指腹付近の領域であるから、図４のＦでは、Ｅで計算された重心位置をＹ方向へ所定距離オフセットさせ、これを画像指先点Ｇとして決定する。ただし、Ｅの重心位置をそのまま画像指先点Ｇとして用いてもよく、この場合は該Ｆの処理は不要である。
【００５１】
次に、撮影範囲１０２ｂに対する手の位置関係によっては、差分画像を用いた上記アルゴリズムにより決定される代表点が、真の指先点に対応しないケースが生じうる。具体的には、指先部分が撮影範囲の外にはみ出して位置する場合である。撮影範囲１０２ｂと、タッチパネルの入力操作面１０２ｂと、モニタ１５の画面との対応座標範囲が互いに一致している場合は、真の指先位置が撮影範囲１０２ｂ（ひいては、入力操作面１０２ｂ及びモニタ１５の画面）の外周縁領域に収まっている場合と、指先部分が撮影範囲１０２ｂの外にはみ出し、真の指先部分が画像的に途切れている場合とのいずれにおいても、差分画像から特定される先端領域は上記外周縁領域に収まる形となる。そして、指先部分がはみ出す場合についても、指の画像の一部分であることに変わりはなく、領域幅が前記規定範囲内に収まる可能性が高いから、上記外周縁領域に生ずる先端領域を真の指先領域として誤認することにつながる。
【００５２】
そこで、本実施形態においては、撮影範囲１０２ｂの有効座標範囲の外周縁領域を表示外撮影領域として、モニタ１５の表示画面にかかる有効座標範囲の外側に延出形成する構成が採用されている。画面外にはみ出す指部分はこの表示外撮影領域内に被写体領域を形成するので、差分画像に基づいて特定される先端領域ひいてはその代表点にて特定される撮影指先点もこの表示外撮影領域内に生ずる。他方、図１３の右に示すごとく、真の指先が表示外撮影領域内に入り込まず画面の外周縁領域にとどまる場合は、先端領域ひいては撮影指先点も画面内に生ずる。従って、先端領域ｔａが表示外撮影領域１０２ｅ内に存在している場合はこれを真の指先として認識せず（無効）、表示外撮影領域１０２ｅ内に存在していない場合は真の指先として認識する（有効）ように処理が可能である。例えば、図１４のように、複数の撮影指先点ｔｐが特定される場合も、それぞれ表示外撮影領域１０２ｅ内に存在するか否かに基づき、有効／無効の判定を個別に行なうことができる。図６のフローチャートでは、Ｓ１００８〜Ｓ１０１０において上記原理に基づく判定を行なっている。なお、手挿入側となる表示画面のＹ方向後端縁については、撮影範囲１０２ｂの後端縁と一致させ、表示外撮影領域１０２ｅを特に形成しない構成とすることも可能である。
【００５３】
なお、先端領域ｔａが真の指先領域であるか否かを判定するアルゴリズムには、上記以外にも種々の方式を採用することができる。例えば、第二画像を得るための第一画像のＹ方向平行移動距離を一般的な大人の指幅値よりも小さく設定した場合、第一画像と第二画像との差分画像として得られる先端領域ｔａは、Ｘ方向寸法ＷＸ（つまり、幅）がＹ方向寸法ＷＹよりも大きい横長の領域となりやすい。そこで、先端領域ｔａのＸ／Ｙアスペクト比φ（≡ＷＸ／ＷＹ）が規定範囲内にあるか否かに基づいて真の指先領域であるか否かを判定することが可能である。例えば、図１０左に示す紙や書類の場合はφが極度に大きくなり、同じく右に示す携帯電話のアンテナ（指より細い）については、Ｘ方向寸法ＷＸが不足する分だけφの値も小さくなるので、いずれも非指先領域として除外することが可能である。
【００５４】
なお、指がＹ方向に対して傾いて挿入される場合を考慮し、図１６に示すように、先端領域ｔａに外接する平行線対を、角度を変えながら種々生成し、最大となる平行線間距離をＷｍａｘ、最小となる平行線間距離をＷｍｉｎとして、上記アスペクト比φをＷｍａｘ／Ｗｍｉｎにより算出するようにしてもよい。
【００５５】
また、図１７に示すように、撮影画像の被写体領域（「１」画素領域）の総面積をＳとし、特定された先端領域（非重なり領域）ｔａの個数をＮとして、Ｓ／Ｎの値を平均指面積として推定し、該Ｓ／Ｎが規定範囲内にあるか否かに基づいて、先端領域ｔａが真の指先領域であるか否かを判定することも可能である。これは特に、手が撮影されたとき被写体領域が主として指領域のみにより形成されるよう、撮影領域のＹ方向寸法が指先端側の一部分のみを包含可能な値に設定されている場合に有効な手法であるといえる。
【００５６】
図５に戻り、上記のごとくＳ１０８の指先判定処理が終了すれば、Ｓ１０９にて、特定された各先端領域のいずれが真の指先領域として判定されたかを調べ、Ｓ１１０において、該真の指先領域についてのみ代表点の座標（重心座標Ｇ）を（真の）撮影指先点として記憶し、真の指先領域でないものについては破棄ないし無効化する。
【００５７】
次に、ユーザーインターフェースエンジン１０３ｅが実現する本発明の種々の実施形態について説明する。図３に示すように、操作ＥＣＵ１０はシリアル通信バス３０を介してボデーＥＣＵ３００から、車速センサ３０１が検出する車速情報を取得し、閾車速（１〜１０ｋｍ／ｈｒ、例えば５ｋｍ／ｈｒに設定される）未満であれば低速走行状態（停車状態）と判定し、閾車速を超えていれば高速走行状態（走行状態）と判定する。
【００５８】
ユーザーインターフェースエンジン１０３ｅのインターフェース仕様データは、低速走行時インターフェース仕様（停車時インターフェース仕様）データと高速走行時インターフェース仕様（走行時インターフェース仕様）データとの２通りが用意されており、停車状態においては前者が、走行状態においては後者がそれぞれ切り替えて使用される。図１１は、その第一参考形態を示すものであり、具体的には、走行時インターフェース仕様（右）における有効な操作領域ＳＢ，ＦＨＷの表示形成数を、停車時インターフェース仕様（左）における有効な操作領域ＳＢの表示形成数よりも少なく設定する例を示すものである。適用対象は、カーナビゲーションシステムの目的地や経由地等を文字入力するための文字入力画面である。
【００５９】
停車時インターフェース仕様では操作領域は、文字入力キーボードＫＢを構成する個別の文字入力ソフトボタンＳＢとなっている。画像指先点を希望する文字のソフトボタンに位置決めし、タッチパネル１２ａ上にて対応する位置に（すなわち、ソフトボタンの領域内にタッチ入力点が発生するように）タッチ操作を行なうことで、対応する文字入力がなされ、該当する文字のコードが操作指令情報として出力され、カーナビゲーションシステムに送信される。
【００６０】
一方、走行時インターフェース仕様ではキーボードは表示されず、手書き入力を行なうためのフリーハンド入力ウィンドウＦＨＷが操作領域として表示・形成されている。フリーハンド入力ウィンドウＦＨＷは、停車時インターフェース仕様における文字入力ソフトボタンＳＢよりも大きく形成され、例えば文字入力キーボードＫＢとほぼ同等の大きさに形成されている。タッチ入力点又は画像指先点のいずれかの時間的変化を描画軌跡としてキャプチャするとともに、該描画軌跡が文字リスト上の個々の文字形状と比較され、マッチングする文字のコードが操作指令情報として出力され、カーナビゲーションシステムに送信される。なお、走行時インターフェース仕様におけるソフトボタンＳＢは、フリーハンドによる入力途中の履歴を消去する消去ボタンと、フリーハンド入力内容を確定させる確定ボタンとが表示・形成されるにとどまっている。
【００６１】
次に、図１２は、その第二参考形態を示すものであり、具体的には、走行時インターフェース仕様（右）における有効な操作領域の表示形成寸法を、停車時インターフェース仕様（左）における有効な操作領域の表示形成寸法よりも大きく設定する例を示すものである。適用対象は、カーナビゲーションシステムの目的地を設定するためのメニュー画面である。
【００６２】
停車時インターフェース仕様では操作領域は個別のメニューボタンＳＢ１となっている。ここでも、画像指先点を希望するメニューのソフトボタンに位置決めし、タッチパネル１２ａ上にて対応する位置に（すなわち、ソフトボタンの領域内にタッチ入力点が発生するように）タッチ操作を行なうことで、対応するメニューが選択され、その内容が操作指令情報としてカーナビゲーションシステムに出力・送信される。
【００６３】
一方、走行時インターフェース仕様ではメニューボタンＳＢ１の数が減じられるとともに、特定のメニュー（ここでは、目的地履歴）を上位階層とする下位メニューボタン（ここでは、目的地候補）ＳＢ２が、停車時インターフェース仕様におけるメニューボタンＳＢ１よりも横長に表示・形成されている。画像指先点を希望するメニューのソフトボタンに位置決めし、タッチパネル１２ａ上にて対応する位置に（すなわち、ソフトボタンの領域内にタッチ入力点が発生するように）タッチ操作を行なうことで、対応するメニューが選択され、その内容が操作指令情報としてカーナビゲーションシステムに出力・送信される。
【００６４】
図１３は第三参考形態を示すものであり、具体的には、検出された画像指先点Ｇの数が多いほど操作画面上に表示形成する操作領域の種別を増加さるとともに、走行時インターフェース仕様における操作領域の最大表示形成種別数を、停車時インターフェース仕様における操作領域の最大表示形成種別数よりも小さく設定する例を示す。適用対象は、カーオーディオシステムの再生操作画面である。
【００６５】
停車時インターフェース仕様では、操作領域として、検出される画像指先点Ｇの数が１つの場合は、図示はしていないが再生／停止ボタンＰ／Ｓを画像指先点Ｇに対応する位置に表示する。また、検出される画像指先点Ｇの数が２つの場合は、図１３の上段右に示すように、早送りボタンＦＦ及び逆戻しボタンＲＦを各画像指先点Ｇに対応する位置に表示する。さらに、検出される画像指先点Ｇの数が３つの場合は、図１３の上段左に示すように、早送りボタンＦＦ、再生／停止ボタンＰ／Ｓ及び逆戻しボタンＲＦを各画像指先点Ｇに対応する位置に表示する。どの場合も、いずれかの指にてタッチパネル１２ａにタッチ操作を行なうことで、対応するボタンの機能が選択され、その内容が操作指令情報として出力される。ここで、操作領域の最大表示形成種別数は、検出される画像指先点Ｇの数が３つの場合の「３」である。
【００６６】
一方、走行時インターフェース仕様では、検出される画像指先点Ｇの数とは無関係に、有効となる操作領域は再生／停止ボタンＰ／Ｓのみとされる（つまり、最大表示形成種別数は「１」）。図１３の下段左においては、検出される画像指先点Ｇの数が３つであるが、操作領域をなす再生／停止ボタンＰ／Ｓは、画像指先点Ｇから外れた位置に１つのみ表示形成されている。また、図１３の下段中央においては、各画像指先点Ｇに再生／停止ボタンＰ／Ｓを個別に（つまり、画像指先点Ｇの数だけ）表示している。つまり、操作領域は画像指先点Ｇに対応して複数表示されているが、操作領域の種別としては「１」であることに変わりがない。いずれも、指示体画像ＦＩは各画像指先点Ｇに個別に表示されている。他方、図１３の下段右においては、画像指先点Ｇが複数検出されていても、指示体画像ＦＩは１つのみを表示し、操作領域もこれに対応して１つのみを表示形成している。いずれの場合も、どの指でタッチ操作を行なっても再生／停止ボタンＰ／Ｓのみが操作される。
【００６７】
図１４は、第四参考形態を示すものである。適用対象はカーオーディオシステムの選曲画面であり、再生対象となるオーディオファイル群は、アルバム（第一階層メニュータイトル）毎に複数の収録曲（第二階層メニュータイトル）がまとめられた階層メニュー構造を有する。現在選択中のアルバムのタイトル画像は現在アルバムウィンドウＡＷ（画面上にて有効となる操作領域である）に表示され、対応するアルバム名が操作指令出力、すなわちアルバム選択情報として出力される。この実施形態では、前後に配列するアルバム群を示す準備アルバムウィンドウ群ＡＷ’が、現在アルバムウィンドウＡＷの左右に（部分的に重なるように）連なって表示・形成されている。また、現在選択中のアルバム名はアルバム名ウィンドウＡＴＷに表示される。
【００６８】
該画面上では、タッチ入力装置１２の操作面１０２ｂに沿うドラッグ操作が検出される（ここでは、タッチ入力点ＴＰの時間変化でドラッグ操作を検出しているが、撮影指先点の変化でドラッグ操作を検出してもよい）。そして、アルバムウィンドウ群ＡＷ，ＡＷ’の配列方向にドラッグ操作を行なうと、準備アルバムウィンドウ群ＡＷ’に対応するアルバムのタイトル画像が現在アルバムウィンドウＡＷに順次切り替え表示される（これに合わせ、アルバム名ウィンドウＡＴＷに表示されるアルバム名も順次切り替わる）。なお、ドラッグ操作の向きが変われば、アルバムの切替え方向も逆とされる。
【００６９】
そして、停車時インターフェース仕様においては、図１４の上に示すように、１回のドラッグ操作の継続中はアルバムのタイトル画像（操作領域）が連続的に切り替わる。なお、ロックマークＵＲＭが、連続切替え可能であることを示す「開錠」の形態で合わせて表示されている。他方、走行時インターフェース仕様においては、１回のドラッグ操作が生ずる毎にアルバムのタイトル画像（操作領域）が１つのみ（つまり、断続的に）切り替わる。ロックマークＵＲＭは、連続切替え不能であることを示す「施錠」の形態で表示されている。
【００７０】
図１５は、第五参考形態を示すものである。図１４にて、現在アルバムウィンドウＡＷはタッチ操作を行なうと、現在選択中のアルバムの収録曲リストウィンドウＬＷが表示される。該リスト上の個々の曲名表示エリアは、それぞれ曲選択のためのソフトボタンを形成し、タッチ操作により操作指令出力、すなわち選曲情報として出力される。収録曲リストウィンドウＬＷ上で曲名表示エリアの配列方向（ここでは、上下方向）にドラッグ操作を行なうと、収録曲リストウィンドウＬＷ内の曲名表示エリアが順次対応する向きにスクロールされる。停車時インターフェース仕様においては、図１５の上に示すように、１回のドラッグ操作の継続中は曲名表示エリアが連続的に切り替わるようにスクロールされる。他方、走行時インターフェース仕様においては、図１５の下に示すように、タッチ操作が生ずる毎に、画面上の方向マークＢＡのうちタッチ入力点に近い側に位置するものが示す向きに、選択中の曲が１つのみ移動する（つまり、対応する方向マークＢＡ側において現在演奏中の曲の次の曲に切り替えて再生処理が行なわれる）。
【００７１】
図１６は第六参考形態を示すものである。適用対象となる電子機器はここではエアコンである。図１６左は停車時インターフェース仕様を示すもので、複数の操作領域としてエアコンの種々のモード切替操作を行なうためのモード切替ボタンＳＢが表示形成されている。これらは、いずれかのモード切替ボタンＳＢ内にタッチ入力点が検出されれば、対応するモードの切替信号が第二操作指令情報として出力される。一方、画面内には、設定温度の切替え操作領域ＧＡ１と風量の切替え操作領域ＧＡ２とが形成されている。これらはいずれも、領域内にて規定の方向にドラッグ操作（操作動作パターン：ジェスチャ）を行なうことで、そのタッチ入力点ないし画像指先点の位置変化量に応じて、設定温度ないし風量が操作に対応する向きに連続的に変更され、その変更内容を示す情報が第一操作指令情報として出力される（つまり、第一操作指令情報と第二操作指令情報との双方が能動化されている）。また、図１６右は走行時インターフェース仕様を示すもので、モード切替ボタンＳＢが省略（あるいは無効化）され、設定温度の切替え操作領域ＧＡ１と風量の切替え操作領域ＧＡ２のみが形成されている（つまり、第一操作指令情報のみが能動化されている）。
【００７２】
次に、図１７は、本発明の第一にかかる実施形態を示すものであり、適用対象は、カーナビゲーションシステムの目的地を設定するためのメニュー画面である。操作領域は個別のメニューボタンＳＢ１となっており、画像指先点を希望するメニューのソフトボタンに位置決めし、タッチパネル１２ａ上にて対応する位置にタッチ操作を行なうことで、対応するメニューが選択され、その内容が操作指令情報としてカーナビゲーションシステムに出力・送信される。図１７左は撮影指先点が複数個同時に検出されている場合の、同じく右は撮影指先点が１個のみ検出されている場合のインターフェース使用を示すものであり、複数個同時に検出されている場合のメニューボタンＳＢＳの表示形成数が、１個のみ検出されている場合のメニューボタンＳＢＬの表示形成数よりも多く設定されている。なお、後者においては、メニューボタンＳＢ１の表示形成数が少なくなるに伴ない、個々のメニューボタンＳＢ１の形成寸法が拡大されている。
【００７３】
図１８〜図２０は、本発明の第二にかかる第一実施形態を示すものであり、撮影指先点が検出された場合に、タッチ入力装置１２へのタッチ操作が同時に検出されているか否かに応じてユーザーインターフェースエンジン１０３ｅのインターフェース仕様が切り替わるようになっている。適用対象は、カーナビゲーションシステムの地図表示画面であり、地図表示領域ＭＡとスクロールボタンＳＢとが形成されている。図１８に示すように、このスクロールボタンＳＢにタッチ操作することで、地図表示領域ＭＡにおける地図のスクロール操作が可能となる。
【００７４】
図１９は、どれか１本の指により地図表示領域ＭＡ上にタッチを伴なうドラッグ操作を加えたときのインターフェース仕様を示しており、この場合は、地図表示領域ＭＡにて地図がドラッグ操作方向に第一速度Ｖ１でスクロールされる。一方、図２０は、地図表示領域ＭＡ上にタッチを伴なわない（つまり、撮影指先点Ｇのみが特定される状態での）ドラッグ操作を加えたときのインターフェース仕様を示している。このドラッグ操作は、複数本の指の撮影指先点Ｇが検出されることを考慮して、最初に検出された撮影指先点Ｇの追尾か、撮影指先点の検出個数の時間的変化（０→１→２→３→２→１→１）のどちらかで検出が可能である。該仕様では、地図表示領域ＭＡにて地図がドラッグ操作方向に、前述の第一速度Ｖ１よりも大きい第二速度Ｖ１にてスクロールされる。
【００７５】
図２１〜図２３は、本発明の第二にかかる第二実施形態を示すものであり、適用対象は図１４及び図１５と同様のカーオーディオシステムの選曲画面である。図２１に示すように、現在アルバムウィンドウＡＷと準備アルバムウィンドウ群ＡＷ’とが図１４と同様に表示形成されており、また、アルバムの収録曲リストウィンドウＬＷが現在アルバムウィンドウＡＷの下側に合わせて表示されている。図２２は、地図表示領域ＭＡ上にタッチを伴なわない（つまり、撮影指先点Ｇのみが特定される状態での）ドラッグ操作を行なう場合のインターフェース仕様を示すものである。アルバムウィンドウ群ＡＷ，ＡＷ’の配列方向に該ドラッグ操作を行なうことにより、準備アルバムウィンドウ群ＡＷ’に対応するアルバムのタイトル画像が現在アルバムウィンドウＡＷに順次切り替え表示される（これに合わせ、収録曲リストウィンドウＬＷに表示される収録曲も順次切り替わる）。なお、ドラッグ操作の向きが変われば、アルバムの切替え方向も逆とされる。また、図２３は、タッチ操作を行なった場合のインターフェース仕様を示すものである。収録曲リストウィンドウＬＷ内の曲名表示エリアにタッチすれば、タッチした曲名の演奏に切り替わる。なお、現在アルバムウィンドウＡＷにタッチしたとき、現在選択中のものの次の曲に演奏が切り替わるように構成してもよい。
【符号の説明】
【００７６】
１ 操作装置
１０ 操作ＥＣＵ
１２ 入力部
１２ａ タッチ入力装置
１２ｂ 手撮影カメラ（撮影装置）
１５ 画像表示装置
１０１ ＣＰＵ（撮影指先点検出手段、指示体画像表示制御手段、作画面表示制御手段）
１０３ｅ ユーザーインターフェースエンジン
３０１ 車速センサ（走行状態検出手段）
ＳＦ、ＳＩ 指示体画像
ｔｐ タッチ入力点
Ｇ 撮影指先点
【特許請求の範囲】
【請求項１】
車載電子機器の操作入力を行なうために車両に搭載して使用される操作装置であって、
操作者の指先によるタッチ操作を受け付ける操作面を有し、前記タッチ操作によるタッチ入力点を検出するタッチ入力装置と、
前記操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する前記操作者の手を撮影する撮影装置と、
前記撮影装置が撮影取得する手画像データに基づき前記手の指先点を撮影指先点として複数同時に検出可能に構成された撮影指先点検出手段と、
前記操作面ならびに前記撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
前記画像表示装置に対し前記指先点を指示する指示体画像を前記表示画面上に表示させる指示体画像表示制御手段と、
前記画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示する操作画面表示制御手段と、
前記タッチ入力点と前記撮影指先点との一方または双方による前記操作画面上での指示入力状態と前記車載電子機器への操作指令情報における出力内容との関係が、予め定められたインターフェース仕様として設定され、前記操作画面上での前記指示入力状態に応じて前記インターフェース仕様に基づき前記操作指令情報を出力するユーザーインターフェースエンジンと、
前記撮影指先点検出手段が検出する前記撮影指先点の個数に応じて前記ユーザーインターフェースエンジンの前記インターフェース仕様を変更するインターフェース仕様変更手段と、
を備えたことを特徴とする車載用電子機器操作装置。
【請求項２】
前記操作画面表示制御手段は、互いに異なる操作指令出力を行なうための複数の操作領域を前記操作画面上に表示形成するものであり、
前記インターフェース仕様変更手段は、前記撮影指先点検出手段が検出する前記撮影指先点の数が複数個の場合の有効な前記操作領域の表示形成数を、同じく前記撮影指先点の数が１個の場合の有効な前記操作領域の表示形成数よりも多く設定する請求項１記載の車載用電子機器操作装置。
【請求項３】
車載電子機器の操作入力を行なうために車両に搭載して使用される操作装置であって、
操作者の指先によるタッチ操作を受け付ける操作面を有し、前記タッチ操作によるタッチ入力点を検出するタッチ入力装置と、
前記操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する前記操作者の手を撮影する撮影装置と、
前記撮影装置が撮影取得する手画像データに基づき前記手の指先点を撮影指先点として検出する撮影指先点検出手段と、
前記操作面ならびに前記撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
前記画像表示装置に対し前記指先点を指示する指示体画像を前記表示画面上に表示させる指示体画像表示制御手段と、
前記画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示する操作画面表示制御手段と、
前記タッチ入力点と前記撮影指先点との一方または双方による前記操作画面上での指示入力状態と前記車載電子機器への操作指令情報における出力内容との関係が、予め定められたインターフェース仕様として設定され、前記操作画面上での前記指示入力状態に応じて前記インターフェース仕様に基づき前記操作指令情報を出力するユーザーインターフェースエンジンと、
前記撮影指先点が検出された場合に、前記タッチ入力装置へのタッチ操作が同時に検出されているか否かに応じて前記ユーザーインターフェースエンジンの前記インターフェース仕様を変更するインターフェース仕様変更手段と、
を備えたことを特徴とする車載用電子機器操作装置。
【請求項４】
前記操作画面表示制御手段は、前記タッチ入力装置の前記操作面に沿うドラッグ操作を検出して、前記画像表示装置の画面上に表示中の画像情報を該ドラッグ操作に対応する向きにスクロール表示処理するものであり、
前記インターフェース仕様変更手段は、前記撮影指先点とともに前記タッチ操作が検出されている場合の前記画像情報のスクロール速度を、前記タッチ操作が検出されていない場合のスクロール速度よりも小さく設定する請求項３記載の車載用電子機器操作装置。
【請求項５】
前記操作画面表示制御手段は、前記タッチ入力装置の前記操作面に沿うドラッグ操作を検出して、前記画像表示装置の画面上に表示中の階層型の情報出力メニューをスクロール表示処理するものであり、
前記インターフェース仕様変更手段は、前記タッチ操作が検出されている場合と、前記タッチ操作が検出されていない場合とで、前記情報出力メニューの互いに異なる階層をスクロール表示処理するものである請求項３記載の車載用電子機器操作装置。
【請求項１】
車載電子機器の操作入力を行なうために車両に搭載して使用される操作装置であって、
操作者の指先によるタッチ操作を受け付ける操作面を有し、前記タッチ操作によるタッチ入力点を検出するタッチ入力装置と、
前記操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する前記操作者の手を撮影する撮影装置と、
前記撮影装置が撮影取得する手画像データに基づき前記手の指先点を撮影指先点として複数同時に検出可能に構成された撮影指先点検出手段と、
前記操作面ならびに前記撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
前記画像表示装置に対し前記指先点を指示する指示体画像を前記表示画面上に表示させる指示体画像表示制御手段と、
前記画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示する操作画面表示制御手段と、
前記タッチ入力点と前記撮影指先点との一方または双方による前記操作画面上での指示入力状態と前記車載電子機器への操作指令情報における出力内容との関係が、予め定められたインターフェース仕様として設定され、前記操作画面上での前記指示入力状態に応じて前記インターフェース仕様に基づき前記操作指令情報を出力するユーザーインターフェースエンジンと、
前記撮影指先点検出手段が検出する前記撮影指先点の個数に応じて前記ユーザーインターフェースエンジンの前記インターフェース仕様を変更するインターフェース仕様変更手段と、
を備えたことを特徴とする車載用電子機器操作装置。
【請求項２】
前記操作画面表示制御手段は、互いに異なる操作指令出力を行なうための複数の操作領域を前記操作画面上に表示形成するものであり、
前記インターフェース仕様変更手段は、前記撮影指先点検出手段が検出する前記撮影指先点の数が複数個の場合の有効な前記操作領域の表示形成数を、同じく前記撮影指先点の数が１個の場合の有効な前記操作領域の表示形成数よりも多く設定する請求項１記載の車載用電子機器操作装置。
【請求項３】
車載電子機器の操作入力を行なうために車両に搭載して使用される操作装置であって、
操作者の指先によるタッチ操作を受け付ける操作面を有し、前記タッチ操作によるタッチ入力点を検出するタッチ入力装置と、
前記操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する前記操作者の手を撮影する撮影装置と、
前記撮影装置が撮影取得する手画像データに基づき前記手の指先点を撮影指先点として検出する撮影指先点検出手段と、
前記操作面ならびに前記撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
前記画像表示装置に対し前記指先点を指示する指示体画像を前記表示画面上に表示させる指示体画像表示制御手段と、
前記画像表示装置上に、操作対象となる車載電子機器に固有の操作画面を表示する操作画面表示制御手段と、
前記タッチ入力点と前記撮影指先点との一方または双方による前記操作画面上での指示入力状態と前記車載電子機器への操作指令情報における出力内容との関係が、予め定められたインターフェース仕様として設定され、前記操作画面上での前記指示入力状態に応じて前記インターフェース仕様に基づき前記操作指令情報を出力するユーザーインターフェースエンジンと、
前記撮影指先点が検出された場合に、前記タッチ入力装置へのタッチ操作が同時に検出されているか否かに応じて前記ユーザーインターフェースエンジンの前記インターフェース仕様を変更するインターフェース仕様変更手段と、
を備えたことを特徴とする車載用電子機器操作装置。
【請求項４】
前記操作画面表示制御手段は、前記タッチ入力装置の前記操作面に沿うドラッグ操作を検出して、前記画像表示装置の画面上に表示中の画像情報を該ドラッグ操作に対応する向きにスクロール表示処理するものであり、
前記インターフェース仕様変更手段は、前記撮影指先点とともに前記タッチ操作が検出されている場合の前記画像情報のスクロール速度を、前記タッチ操作が検出されていない場合のスクロール速度よりも小さく設定する請求項３記載の車載用電子機器操作装置。
【請求項５】
前記操作画面表示制御手段は、前記タッチ入力装置の前記操作面に沿うドラッグ操作を検出して、前記画像表示装置の画面上に表示中の階層型の情報出力メニューをスクロール表示処理するものであり、
前記インターフェース仕様変更手段は、前記タッチ操作が検出されている場合と、前記タッチ操作が検出されていない場合とで、前記情報出力メニューの互いに異なる階層をスクロール表示処理するものである請求項３記載の車載用電子機器操作装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図９】
【公開番号】特開２０１１−２２２０３１（Ｐ２０１１−２２２０３１Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１１−１１４５５６（Ｐ２０１１−１１４５５６）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【分割の表示】特願２００９−１１１４０１（Ｐ２００９−１１１４０１）の分割
【原出願日】平成２１年４月３０日（２００９．４．３０）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【分割の表示】特願２００９−１１１４０１（Ｐ２００９−１１１４０１）の分割
【原出願日】平成２１年４月３０日（２００９．４．３０）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]