操作装置
【課題】 タッチ入力装置を使用しつつ、操作者の指がタッチ操作面から離れても、表示画面上の移動対象画像を、現在の指先点を示す指示体画像とともに連動移動表示できようにする。
【解決手段】 撮影された手画像に基づいて検出される指先点のうち、タッチ操作に対応する指先点を対象指先点として、表示画面上の対象指先点の対応位置に、選択された移動対象画像１６１ｉを指示体画像ＦＩとともに表示する。そして、対象指先点１６１ｉが撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像１６１ｉを指示体画像ＦＩとともに連動移動させる。
【解決手段】 撮影された手画像に基づいて検出される指先点のうち、タッチ操作に対応する指先点を対象指先点として、表示画面上の対象指先点の対応位置に、選択された移動対象画像１６１ｉを指示体画像ＦＩとともに表示する。そして、対象指先点１６１ｉが撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像１６１ｉを指示体画像ＦＩとともに連動移動させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は操作装置に関する。
【背景技術】
【０００２】
従来、カーナビゲーション装置のような車載機器の操作装置として、操作者の手をカメラで撮影し、その撮影データから指画像を抽出し、抽出した指画像域を車載機器のＧＵＩ入力画面（例えば、ナビ画面など）に重畳表示するタイプのものが提案されている。例えば、特許文献１には、車体の天井に取り付けたカメラを用いて、座席手元のタッチ入力装置を操作する手の様子を撮影し、撮影した手とスイッチパネルとを、操作者の前方に対向配置された液晶パネルに表示する構成が開示されている。また、特許文献２には、車両のルーフに配置されたビデオカメラを用いてドライバの手を撮影して輪郭抽出し、表示器上のソフトボタンにその輪郭画像を重畳表示する構成が開示されている。さらに、特許文献３には、スイッチマトリックス上の操作ボタンと手とを撮像し、タッチセンサによりスイッチマトリックスに手が近づいたことを検出して、手画像をスーパーインポーズして表示する構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３３５３３０号公報
【特許文献２】特開２０００− ６６８７号公報
【特許文献３】特開２００４− ２６０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の操作システムにて使用されるタッチ入力装置は二次元入力面を有し、本来的にはマウスやトラックボールないしトラックパッドと同様の連続的な二次元位置検出が可能な入力デバイスである。しかし、メニュー選択や文字入力、あるいは地図上での位置選択といった操作が主体的となる場合（特に、車載電子機器の場合）は、画面上の個別のキー、ボタンあるいは地図上の所望位置等を狙ってタッチする操作が主体的となり、入力面との接触状態を保って連続的に指を動かす操作は、経過位置での誤入力を招きやすいため忌避される傾向にある。その結果、その入力形態は、入力と無関係な指の移動はパネル面から指を離して行ない、入力希望位置でのみパネル面に指を接触させる離散的なものとなる。このような入力形態となる要因は、タッチ入力装置の場合、タッチ操作面上での位置検出機構と希望位置での入力検出機構とがタッチ面への接触検出機構により一本化され、マウスのクリックボタンのように位置検出機構から分離構成された入力検出機構を持たない点にある。
【０００５】
例えば、マウスであれば、画面上のアイコン等の対象図形にポインタを位置合わせし、次いでボタンクリックにより選択状態として、そのボタンクリック状態を維持しつつ操作面上でマウスを動かすことにより、対象図形のドラッグ操作を簡単に行なうことができる。移動中のマウス位置は位置検出機構により刻々検出されるので、対象図形の画面上の移動軌跡はマウスの操作軌跡によく対応し、直感的な操作が可能である。しかし、タッチ入力装置では、対象図形の選択と、その移動先の指定とはタッチ操作で実行できても、指がタッチ操作面から離れてしまうと指位置検出ひいてはドラッグ移動軌跡のモニタリングが不能となる。その結果、対象図形を指先移動軌跡に対応させて画面上で移動表示する処理が行なえず、マウス等と同等の直感的な操作を実現することができなかった。
【０００６】
本発明の課題は、タッチ入力装置を使用しつつ、操作者の指がタッチ操作面から離れても、表示画面上の移動対象画像を、現在の指先点を示す指示体画像とともに連動移動表示でき、ひいては直感的な画像ドラッグ操作が可能な入力装置を提供することにある。
【課題を解決する手段及び発明の効果】
【０００７】
上記の課題を解決するために、本発明の操作装置は、
操作者の指先によるタッチ操作を受け付ける操作面を有し、該タッチ操作による入力位置を検出し出力するタッチ入力装置と、
操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する操作者の手を撮影する撮影装置と、
撮影装置が撮影取得する手画像データに基づき手の指先点を特定する指先点特定手段と、
操作面ならびに撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
画像表示装置に対し指先点を指示する指示体画像を表示画面上に表示させる指示体画像表示制御手段と、
画像表示装置に対し表示画面上の予め定められた位置に選択受付領域を設定する選択受付領域設定手段と、
操作面上にて選択受付領域の対応位置にタッチ操作が検出されるに伴い、該選択受付領域に対応付けて用意された移動対象画像を選択する移動対象画像選択手段と、
指先点特定手段が検出する指先点のうち、タッチ操作に対応する指先点を対象指先点として、表示画面上の対象指先点の対応位置に、選択された移動対象画像を指示体画像とともに表示するとともに、対象指先点が撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像を指示体画像とともに連動移動させる画像移動表示手段と、を備えたことを特徴とする。
【０００８】
本発明の操作装置においては、特許文献１〜３に開示された従来の操作装置と同様に、タッチ入力装置に接近する操作者の手を撮影する撮影装置を設ける。上記従来の操作装置においては、手の撮影情報が操作位置を示す手輪郭画像の画面上への重畳表示に利用されるに留まり、画像情報自体が入力情報として有効に利用されているとはいい難かった。本発明者は、撮影取得される手画像に、操作者の指先点の位置情報も内包されており、かつ、手画像を用いた指先点の特定が、タッチ入力装置における上記指先点に対応するタッチ操作位置検出とは独立して行なえる点に着目して本発明を完成させるに至った。
【０００９】
すなわち、本発明においては、撮影された手画像に基づいて検出される指先点のうち、タッチ操作に対応する指先点を対象指先点として、表示画面上の対象指先点の対応位置に、選択された移動対象画像を指示体画像とともに表示する。そして、対象指先点が撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像を指示体画像とともに連動移動させる。すなわち、移動対象画像を選択するためのタッチ操作の後、指が操作面から離れても、指先点を撮影取得された手画像に基づいて刻々追跡することができ、表示画面上の移動対象画像を、現在の指先点を示す指示体画像とともに連動移動表示できるので、直感的な画像ドラッグ操作を問題なく実現することができる。
【００１０】
指示体画像表示制御手段は、撮影装置の撮影画像から抽出される手の実指像を指示体画像として使用するものとして構成できる。この構成によると、撮影された手画像、すなわち手の実指像が指示体画像として使用され、画面上に重畳表示される操作者自身の指の像を見ながらタッチ入力装置上での入力操作を行なうことができるので、より直感的な操作が可能となる。
【００１１】
他方、指示体画像表示制御手段は、撮影装置が撮影取得する画像データとは別に用意された指示体画像データを用いて指示体画像を表示するように構成することもできる。このような指示体画像は、例えば、矢印図形等を用いた一般的なポインタ画像としてもよいし、事前に撮影取得されている操作者自身ないし他人の手（指）の画像を使用することも可能である。
【００１２】
他方、撮影画像から抽出される手の実指像を指示体画像として使用する場合は、操作面の寸法が表示画面寸法に対して相対的に縮小すると、手の表示寸法が入力画面上で拡大されてしまい、指が過度に太く表示されて指先点の正確な把握が困難になる問題がある。このような場合、リアルタイムで撮影取得される実指像はあくまで指先点の特定にのみ用い、画面領域上には、別に用意された指示体画像を貼り付け表示することにより、撮影画像上での実指像の状態とは無関係に、個々の指を示す指示体画像を該実指像よりも細くした形で画面上に確実に表示することができ、ひいては指像が過度に太く表示されることによる違和感の発生を防止することができる。
【００１３】
この場合、具体的には、指示体画像として、撮影装置の撮影画像から抽出される手の実指像よりも狭幅となる、指の輪郭形状を模した模擬指画像を使用することができる。このような模擬指画像を使用することで、実指像を用いなくとも、現在の操作位置をより直感的に把握することが可能となる。
【００１４】
画像移動表示手段は、選択受付領域へのタッチ操作を第一タッチ操作として、該第一タッチ操作により移動対象画像が選択された後該第一タッチ操作が解除され、その状態で対象指先点が移動した場合に、移動対象画像を指示体画像とともに連動移動表示する連動移動モードとなり、該対象指先点の移動後に操作面上の該対象指先点の対応位置にて第二タッチ操作が検出されるに伴い、当該第二タッチ操作の検出位置にて該連動移動表示モードを解除するものとして構成できる。これによると、選択受付領域への第一タッチ操作により移動対象画像を選択し、その後は、タッチ操作が生じない状態で移動対象画像を希望位置まで指示体画像とともに連動移動表示（ドラッグ表示）でき、第二タッチ操作が発生した位置で連動移動表示を終了できる。つまり、操作面への非タッチ操作期間を挟む２つのタッチ操作により、連動移動表示（ドラッグ表示）の開始タイミング及び位置と終了タイミング及び位置とを簡単かつ明確に規定することができる。
【００１５】
本発明の入力装置は、所定のプログラムの実行に基づき、その入力情報を用いてデータ処理を行なうための、コンピュータハードウェアを主体としたデータ処理装置に適用される。撮影画像から特定される対象指先点には、対応位置でのタッチ操作が必ず随伴しており、そのタッチ操作は、上記データ処理装置における何らかのデータ処理の起動に使用される。他方、タッチ入力装置では、手で直接操作する状況では、複数本の指が撮影により特定されるケースも多く、この場合は、表示画面上においても複数の指先点が特定され、各々指示体画像が表示されることとなる。この場合、直感的でわかりやすい操作を実現するためには、上記データ処理の起動トリガを与えるタッチ操作がどの指で行なわれたか、つまりどの指先点が対象指先点となっているかを、表示画面上で明確に識別できることが必須となる。
【００１６】
従来のこの種の入力装置では、画面上に位置固定に表示された個別のキーやボタン等に対するタッチ操作が生じた場合にのみデータ処理の起動トリガを与えればよかったので、タッチ操作がどの指で行なわれたかは、そのタッチ操作がなされたキーやボタンを色反転したり、あるいは操作音を発生させることにより比較的簡単に把握ができた。しかし、タッチ操作解除後の対象指先点の動きを追跡したい場合、タッチ入力情報に基づく位置変化追跡は本質的に不能である。そこで、上記の移動対象画像は、対象指先点の位置を強調する目印画像とすることができる。すなわち、撮影画像から対象指先点を追跡し、目印画像を該対象指先点に随伴する移動対象画像とすることで、タッチ操作解除後においても対象指先点の動きを明確に把握することができる。
【００１７】
この場合、目印画像を意匠として含む操作ボタン画像を表示画面上の選択受付領域に表示する操作ボタン画像表示制御手段を設けることができる。選択受付領域に操作ボタン画像を表示することにより、該操作ボタン画像にタッチ操作することで、操作ボタン画像と対応付けられた機能選択を直感的に行なうことが可能となる。また、操作ボタン画像上の目印画像が移動対象画像として対象指先点に貼り付けられ対象指先点と連動して移動するので、操作者は対象指先点の移動中にあっても、どの操作ボタンの選択中であるかを常に明確に把握することができる。
【００１８】
この場合、連動移動表示モードが解除されるに伴い、表示画面上の第二タッチ操作の検出対応位置に目印画像を貼り付ける形で固定表示する目印画像貼り付け手段を設けることができる。この構成は、特に画面上での位置設定が必要な機器機能設定に有効であり、ボタン操作した指先点の現在位置及び移動軌跡は目印画像の連動移動により、第二タッチ操作により確定した設定位置は目印画像の貼り付け位置によりそれぞれ容易に把握でき、極めて直感的でわかりやすい位置設定操作が可能となる。一方、上記の操作により一旦確定された設定位置の解除を行ないたい場合は、連動移動表示モードが解除されるに伴い、表示画面上の第二タッチ操作の検出対応位置にて、指示体画像と連動移動表示されていた目印画像を消去する目印画像消去手段を設けておくと便利である。
【００１９】
目印画像は操作装置の適用対象となる電子機器の特定機能と一義的に対応付けられてなり、第二タッチ操作が検出されるに伴い、該目印画像に対応する特定機能の制御コマンドを起動する制御コマンド起動手段を設けておくことができる。これにより、機器機能の起動を、その機能が要求する位置設定とともに第二タッチ操作により一括して実行でき、かつ、選択した機能の種別と最終的な設定位置とを、貼り付けられた目印画像により簡単に把握することができる。
【００２０】
特に、位置設定の必要な機能が複数用意されている場合は、表示画面上の互いに異なる複数の選択受付領域に、複数の電子機器機能に一対一に対応付けられた個別の目印画像を意匠として含む操作ボタン画像をそれぞれ表示する操作ボタン画像表示制御手段を設けておくとよい。画像移動表示手段は、第一タッチ操作がなされた操作ボタン画像に対応する目印画像を選択して連動移動モードへ移行するとともに、制御コマンド起動手段は、選択された目印画像に対応する特定機能の制御コマンドを起動するように構成される。目印画像の意匠が異なる複数の操作ボタン画像を選択受付領域に配列することにより複数機能のラインナップを視覚的に容易に把握でき、そのうちのどの機能を選択中であるかを、連動移動表示される目印画像の意匠により容易に識別することができる。
【００２１】
次に、タッチ入力装置は、操作面の一部のみをコマンド起動有効領域として定めておくことができる。コマンド起動手段は、操作面のコマンド起動有効領域にて第二タッチ操作が検出された場合に制御コマンドを起動し、該コマンド起動有効領域外に第二タッチ操作が検出された場合は制御コマンドを起動しないように構成される。この場合、操作ボタン画像は、表示画面上にてコマンド起動有効領域に対応する画面領域外に表示しておくことで、操作ボタン画像の周囲領域に誤タッチ操作を行なっても、コマンド起動有効領域への意図せざるタッチ操作を生じにくくなり、それによる機器の誤動作も防止することができる。
【００２２】
特に、表示装置の画面領域（画面）が操作者に対し、該操作者が入力操作面上の指を直視する向きから外れて配置されている構成では、操作を行なう手元と画面との双方を同時に直視できない。従って、画面上の指示体画像と、これと連動移動する目印画像とを用いた本発明の概念を適用することにより、位置指定を伴なう機能操作を、手元を見ずとも極めて直感的にかつ確実に実行することができる。
【００２３】
車載電子機器の具体例として、カーナビゲーションシステムを例示できる。この場合、入力操作面は操作者の着座する座席の左右脇（ないしその斜め前方）に配し、表示装置の画面を該入力操作面よりも上方にて、操作者の前方ないし斜め前方に対向配置することができる。表示画面の一部はコマンド起動有効領域に対応した地図表示領域として定められ、カーナビゲーションシステムの該地図表示領域上での地点指定を伴う制御コマンドを、該地図表示領域外に表示される選択受付領域をなす操作ボタン画像に対応付けることができる。コマンド起動手段は、操作面の地図表示領域の対応領域内にて第二タッチ操作が検出された場合に制御コマンドを起動し、該対応領域外に第二タッチ操作が検出された場合は制御コマンドを起動しないものとして構成される。地図表示領域上での地点指定を伴う制御コマンドは、具体的には、地図表示領域上への目的地設定コマンド、地図表示領域上への経由地設定コマンド、周辺施設検索コマンド及び地図拡大表示コマンドなどである。
【００２４】
表示画面には、指示体画像を表示可能な一定の有効領域を定めておくことができる。画像移動表示手段は、連動移動モードの実行中において対象指先点が有効領域から脱出した場合に、目印画像の選択状態と連動移動モードとを解除するように構成できる。これにより、目印画像を一旦選択した後も、指を上記の有効領域外に出すことで該選択状態を簡単に解除することができる。
【００２５】
一方、目印画像の選択状態（つまり連動移動モード状態）にて、指を上記の有効領域外に出した場合、該選択状態（連動移動モード状態）を解除せず、選択保持状態とすることも可能である。この場合、画像移動表示手段は、連動移動モードの実行中において対象指先点が有効領域から脱出した場合に、目印画像を選択保持するとともに、その状態で、脱出した対象指先点もしくは当該対象指先点の代替として予め定められた指先点が有効領域内に検出された場合に、当該指先点を新たな対象指先点として、選択保持中の目印画像を用い、連動移動モードを継続するように構成することができる。特に、目印画像の選択状態で指を誤って有効領域の外に出してしまった場合においても、該選択状態が保持されるので、再度目印画像を選択しなおす必要がない。
【００２６】
一方、画像移動表示手段は、連動移動モードの実行中において対象指先点の動作を検出する対象指先点動作検出手段を有し、検出された動作が予め定められた連動移動モード解除動作に該当する場合に、目印画像の選択状態と連動移動モードとを解除するように構成することもできる。対象指先点の動作に特定の連動移動モード解除動作を定めておけば、目印画像を一旦選択した後も、該解除動作を行なうことにより該選択状態を簡単に解除することができる。
【００２７】
撮影装置は、撮影範囲に対し予め定められた挿入方向に操作者の手が挿入されるものとして構成できる。この場合、撮影画像の挿入方向における先端領域を抽出する先端抽出手段と、撮影範囲における先端領域の位置を画像先端位置として特定する画像先端位置特定手段と、先端領域の寸法及び面積の少なくともいずれかに基づいて、画像先端位置が真の指先点を示すものであるか否かを判定する指先判定手段と、先端位置が真の指先点と判定された場合に、先端位置の座標を真の指先点の座標として出力する指先点座標出力手段とを設けることができる。
【００２８】
上記構成によると、撮影装置の撮影範囲には、予め定められた挿入方向に操作者の手が挿入され、その挿入方向の先端に指先も位置する。そこで、撮影画像の挿入方向における先端領域を抽出し、その先端領域の寸法や面積が妥当な値になっているか否かに応じて、該先端領域が真の指先を示すものであるか否かをより正確に判定することができる。
【００２９】
先端抽出手段は、撮影画像を第一画像とし、該第一画像を挿入方向に平行移動して得られる画像を第二画像として、挿入方向の先端側に生ずる、それら第一画像と第二画像との非重なり領域を先端領域として抽出するものとして構成することができる。この構成によると、撮影画像を手の挿入方向（つまり、掌長方向）に平行移動して重ね合わせることにより、指先領域を両画像の非重なり領域として簡単に特定することができる。
【００３０】
この方法では、撮影範囲に挿入される手を掌面側から反射光により撮影することになるが、上記のような平行移動による第二画像との差分（非重なり領域）により指先領域を抽出・特定する方式であれば、特許文献２のごとく、斜め上方からの撮影により指腹を撮影する方式を採用せずとも、手の外形輪郭が明確に撮影できればよいので、撮影装置は、撮影範囲に対し掌面を下向きにして水平方向前方に差し出される手を下側から撮影するものとして構成できる。これにより、特許文献２のように、天井に設けたカメラと手との間に入り込む外乱光や異物の影響を受ける心配がない。特に、手の撮像側表面に照明光を投射する照明手段を設け、照明光の手による反射光に基づいて手像を撮影するように撮影装置を構成すれば、手像と背景との画像分離を容易に図ることができる。
【００３１】
当然、画像先端位置座標特定手段は、非重なり領域として特定される先端領域の位置を、指先点の候補となる画像の先端位置として特定することができる。非重なり領域の位置は、該領域と一定の幾何学的関係を充足する代表点により座標規定できるが、具体的には非重なり領域の幾何学的重心位置をその代表点として採用できる。ただし、代表点は幾何学的重心位置に限定されるものではない。
【００３２】
非重なり領域の寸法又は面積は、それが真の指先領域であるならば、人の指に対応した規定範囲内の値を示すはずであるから、逆にその規定範囲を逸脱する寸法又や面積を示す非重なり領域は、操作者の指先ではない領域（例えば手以外の撮影物や、手であっても指先ではない領域）として確実に除外判定することが可能である。つまり、指先判定手段は、抽出された先端領域をなす非重なり領域の寸法又は面積が規定範囲内にあるか否かに基づいて、該非重なり領域が真の指先領域であるか否かを判定するものとして構成することができる。
【００３３】
次に、撮影装置に関連して、操作者の手を撮影範囲に対し、挿入方向をガイド方向として該ガイド方向に規制しつつ挿入させる手ガイド部を設けることができる。これにより、撮影範囲に対する操作者の手の挿入方向をより一定化することができる。すると、撮影される操作者の指長手方向は、上記のガイド方向にほぼ常に平行な位置関係を示すことになり、非重なり領域の寸法は、そのガイド方向と直交する向きにおいて幅寸法とほぼ一致することとなる。そこで、抽出された非重なり領域の、ガイド方向と直交する向きの寸法を幅寸法として、指先判定手段は該幅寸法が規定範囲内にあるか否かに基づき、先端領域が真の指先領域であるか否かを判定することができる。これにより、非重なり領域の寸法測定方向を一定化すること、例えば、ガイド方向と直交（ただし、±４５゜程度の角度範囲であれば、真の直交方向からずれていても差し支えない）する方向に固定することができ、先端領域が真の指先領域であるか否かを判定するための測定アルゴリズムを大幅に簡略化することができる。
【００３４】
上記のように、撮影画像である第一画像と、その手挿入方向への平行移動画像である第二画像との非重なり領域により指先領域を抽出する方式を用いれば、先端抽出手段は、撮影範囲内に複数本の指が挿入されることにより、第一画像と第二画像との非重なり領域が複数分離して特定された場合に、それら複数の非重なり領域をそれぞれ指先領域の候補として抽出することができ、ひいては複数の指先領域を同時に位置入力に活用することも可能となるので、操作装置の入力の自由度を高めることができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。
【００３５】
また、指先判定手段は、撮影画像の総面積をＳとし、個々の非重なり領域から、撮影範囲の手の挿入側に位置する縁までの合計距離をｄとしてＳ／ｄの値を指幅として推定し、該Ｓ／ｄが規定範囲内にあるか否かに基づいて、非重なり領域が真の指先領域であるか否かを判定するように構成することができる。単に重なり領域の幅を直接特定するだけでなく、さらに撮影画像の総面積をＳとし、個々の非重なり領域から撮影範囲の手の挿入側に位置する縁までの合計距離をｄとして、Ｓ／ｄの値を指幅として推定することで、先端位置から撮影範囲の手の挿入側に位置する縁まで連続的につながった指画像を撮影画像が含んでいるか否かを特定でき、先端位置付近のみ断片的に検出される指ではない撮影物（例えば、貨幣等の小異物）を指と誤認する不具合を効果的に防止できる。同様に、指先判定手段は、撮影画像の総面積をＳとし、非重なり領域の個数をＮとして、Ｓ／Ｎの値を平均指面積として推定し、該Ｓ／Ｎが規定範囲内にあるか否かに基づいて、非重なり領域が真の指先領域であるか否かを判定することも可能である。
【００３６】
前述の指示体画像は、撮影画像の先端領域が真の指先領域として判定された場合にのみ、該指先領域が示す指先点にこれを表示し、撮影画像の先端領域が真の指先領域として判定されなかった場合は表示しないようにする。真の指先点と判定されなかった先端位置に指示体画像を表示しないように構成することで、指以外の撮影物により誤検出された指先位置にも指示体画像が貼り込まれ、操作者としては撮影範囲内に手を入れていないことを明らかに把握しているにもかかわらず、画面上に指画像が表れて違和感が大きくなってしまう問題も根本的に生じない。
【００３７】
また、本発明の操作装置においては、操作者の指先部分が撮影範囲の外へはみ出した場合に、撮影範囲内に残っている指部分の先端を真の指先領域と誤認する可能性がある。そこで、撮影範囲は、画面領域に対応する画面対応領域と、該画面対応領域の外周縁に沿って外側に所定幅で形成される画面外領域とを有するものとして形成できる。指先点座標出力手段は、画像先端位置座標特定手段による撮影画像の先端位置座標が画面対応領域内に位置することを条件として、先端位置の座標を指先点の座標として出力するように構成する。すなわち、操作者の手画像が画面外領域にまではみ出して撮影取得されている場合は、真の指先は明らかに、表示対照となる画面領域の外にあることが明確に把握できるので、この場合は、抽出された画像の先端位置の座標を指先点として認定せず、座標として出力しないように構成することで、上記の不具合を効果的に防止することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の操作装置の車内取付形態の一例を示す斜視図。
【図２】その操作部の内部構造の一例を示す断面模式図。
【図３】図１の操作装置に係る電気的構成の一例を示すブロック図。
【図４】図１の操作装置の適用対象となるカーナビゲーション装置に係る電気的構成の一例を示すブロック図。
【図５】手撮影カメラの撮影範囲とカーナビゲーション装置の表示画面との対応関係を示す説明図。
【図６】指先位置を決定する画像処理の流れを示す説明図。
【図７】指先位置メモリの内容を示す概念図。
【図８】アイコン登録メモリの内容を示す概念図。
【図９】取消動作の解析例を示す模式図。
【図１０】図４の構成に係る操作装置の主処理の流れを示すフローチャート。
【図１１Ａ】指先位置特定処理の流れを示すフローチャート。
【図１１Ｂ】指先判定処理の詳細を示すフローチャート。
【図１２】アイコン登録処理の流れを示すフローチャート。
【図１３】アイコン登録管理処理の流れを示すフローチャート。
【図１４】アイコン合成表示処理の流れを示すフローチャート。
【図１５】コマンド実行処理の流れを示すフローチャート。
【図１６】目的地設定に係る操作流れ及び表示状態遷移を示す説明図。
【図１７】図１６に続く説明図。
【図１８】図１７に続く説明図。
【図１９】アイコン登録解除に係る操作流れ及び表示状態遷移を示す説明図。
【図２０】連動移動モード解除動作を用いた操作流れ及び表示状態遷移を示す説明図。
【図２１】消しゴムツールの操作流れ及び表示状態遷移を示す説明図。
【図２２】図２０に続く説明図。
【図２３】地図スクロールに係る操作流れ及び表示状態遷移を示す説明図。
【図２４】経由地設定に係る操作流れ及び表示状態遷移を示す説明図。
【図２５】周辺検索に係る操作流れ及び表示状態遷移を示す説明図。
【図２６】図２５に続く説明図。
【図２７】地図拡大に係る操作流れ及び表示状態遷移を示す説明図。
【図２８】図２７に続く説明図。
【図２９】本発明の操作装置の変形例を示す側面模式図。
【図３０】その入力部の一例を拡大して示す斜視図。
【図３１】先端領域の幅の概念を説明する図。
【図３２】複数の先端領域を分離するためのラベリング処理の概念を説明する図。
【図３３】二値化された種々の撮影画像の例を示す説明図。
【図３４】手以外の被写体の先端領域を非指先領域として除外する処理の例を説明する図。
【図３５】被写体領域の面積と先端領域のＹ方向位置とに基づいて指幅推定演算を行なう概念を示す図。
【図３６】表示画面外に指先がはみ出す場合の問題点を説明する図。
【図３７】表示外撮影領域の導入により、図３６の問題を解決する概念を説明する図。
【図３８】図３７の原理により、複数の先端領域のそれぞれについて真の指先領域であるか否かを判定する例を示す図。
【図３９】先端領域のアスペクト比に基づいて真の指先領域であるか否かを判定する概念を説明する図。
【図４０】先端領域のアスペクト比に基づいて真の指先領域であるか否かを判定する別例を示す図。
【図４１】被写体領域の面積と先端領域の個数とに基づいての指先領域であるか否かを判定する概念を説明する図。
【図４２】指先位置移動距離に基づいてアイコン登録を維持するか否かを判定する概念を説明する図。
【図４３】指先位置が表示領域外となった場合にアイコン登録を保留する実施形態を説明する図。
【図４４】本発明が適用可能な移動対象画像の別例を示す説明図。
【図４５】手首規定点及び指直線を決定する幾何学的な原理を説明する図。
【図４６】図４５で決定された指直線に沿って指示体画像を貼り付けた状態を示す説明図。
【図４７】模擬指画像の第一例を示す図。
【図４８】同じく第二例を示す図。
【図４９】同じく第三例を示す図。
【図５０】入力操作面を縮小寸法とした場合の指画像と入力操作面との位置関係、及び該指画像を重畳した画面表示例を示す図。
【図５１】指示体画像を重畳した画面表示例を示す図。
【図５２】手首規定点を決定する第一の別例を説明する図。
【図５３】手首規定点を決定する第二の別例を説明する図。
【図５４】手首規定点を決定する第三の別例を説明する図。
【発明を実施するための形態】
【００３９】
以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明の画像表示装置の適用対象となる、車載用電子機器の操作装置の一例を示すものである。この操作装置１は、自動車の車室内において、インパネ中央部にモニタ（表示装置）１５が配置され、センターコンソールＣの、運転席２Ｄ及び助手席２Ｐのいずれからも操作可能な位置に操作部１２が配置されている。使用目的は特には限定されないが、例えばセンターコンソールに設けられたモニタ１５の画面を見ながら、カーナビゲーション装置やカーオーディオ装置の機能操作を行なうためのものである。
【００４０】
操作部１２は、入力操作面が上向きとなるように取り付けられている。該入力操作面を形成するのは周知のタッチパネル１２ａであり、抵抗膜方式、表面弾性波方式あるいは静電容量方式のいずれを採用してもよい。タッチパネル１２ａは、その基材が透明樹脂板あるいはガラス板等により透明入力支持板として構成され、操作者の指先によるタッチ操作を上面側にて支持しつつ受け付ける。そして、モニタ１５の画面領域に対応した入力座標系が板面に沿って設定される。
【００４１】
図２は、入力部１２の内部構造を模式的に示す断面図であり、筐体１２２ｅの上面に前述のタッチパネル１２ａが、入力操作面１０２ａ側が上となるように嵌め込まれている。筐体１２ｄの内部には、照明光源１２ｃ及び撮影光学系とともに手撮影カメラ（撮影装置）１２ｂが収容されており、撮影画像取得手段を構成している。照明光源１２ｃは、凸曲面形態のモールドにより素子直上側への輝度指向性を高めた発光ダイオード光源（従って、単色光源である）であり、タッチパネル１２ａの下面を取り囲む形態で複数配置されている。各照明光源１２ｃは、高輝度となるモールド先端側をタッチパネル１２ａの下面内側に向けそれぞれ傾けて取り付けてあり、入力操作面１０２ａ上の操作者の手Ｈの掌面による一次撮像反射光ＲＢ１が、タッチパネル１２ａを透過する形で下向きに生ずるようになっている。
【００４２】
撮影光学系は、第一反射部１２ｐと第二反射部１２ｒとを有する。第一反射部１２ｐは、タッチパネル１２ａの直下に対向配置されたプリズム板（三角柱状の微小プリズムを面内に並列に配置した透明材料板：以下、プリズム板１２ｐともいう）であり、操作者の手Ｈからの一次撮像反射光ＲＢ１を斜め上方に反射することにより、該プリズム板１２ｐとタッチパネル１２ａとの対向空間１２ｆの側方外側へ二次撮像反射光ＲＢ２として導く。第二反射部１２ｒは上記対向空間の側方外側に配置された平面反射鏡（以下、平面反射鏡１２ｒともいう）であり、上記二次撮像反射光ＲＢ２を側方へ反射することにより、対向空間１２ｆを挟んで第二反射部１２ｒの反対側に位置する手撮影カメラ１２ｂに対し三次撮像反射光ＲＢ３として導く。手撮影カメラ１２ｂは該三次撮像反射光ＲＢ３の焦点に対応する位置に設けられ、操作者の指を含む手Ｈの撮影画像を取得する。
【００４３】
プリズム板１２ｐは、図２内に拡大して示すように、ミラー基面ＭＢＰに対しそれぞれ等角度で傾斜する反射面を有したリブ状の微小プリズムを、ミラー基面ＭＢＰに沿って互いに平行となるように密接形成したものであり、ミラー基面ＭＢＰを傾けずとも、その法線方向に入射する光を（斜め）側方へ反射することができる。従って、側方反射のための第一反射部１２ｐをタッチパネル１２ａの下方に平行対向する形で配置でき、対向空間１２ｆの高さ方向寸法を大幅に縮小できる。
【００４４】
また、その対向空間１２ｆを側方から挟んで第二反射部１２ｒと手撮影カメラ１２ｂとを対向配置することで、手撮影カメラ１２ｂに直接入射する三次撮像反射光ＲＢを、対向空間１２ｆを横切る形で導くことができる。これにより、第二反射部１２ｒと手撮影カメラ１２ｂとを、タッチパネル１２ａの側縁に近接配置でき、かつ、手Ｈから手撮影カメラ１２ｂへの撮像反射光の入射経路が、対向空間１２ｆ内でいわば三つ折状に畳み込まれる形になるので、撮像光学系全体の大幅なコンパクト化と、筐体１２ｄの薄型化とが実現されている。特に、タッチパネル１２ａのサイズ（つまり、入力操作面１０２ａの縦横寸法）を縮小することで、入力部１２全体の劇的な小形化及び薄型化が実現し、図１のセンターコンソール部Ｃの幅が比較的小さい車両や、シフトレーバー前方の限られた取付スペースしか活用できない車両にも問題なく取り付けが可能となる。
【００４５】
タッチパネル１２の入力操作面１０２ａは、手撮影カメラ１２ｂの撮影範囲１０２ｂに対応しており、平均的な寸法の大人の手を想定した場合に、中指の指先端を含む長手方向の一部のみが入力操作面１０２ａ内に入るように、その上下方向（Ｙ方向）寸法が定められている（例えば、６０〜９０ｍｍ（具体例として７５ｍｍ））。これにより、モニタ１５の画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。また、入力操作面１０２ａの左右方向（Ｘ方向）寸法は１１０〜１３０ｍｍ（例えば、１２０ｍｍ）であり、手を乗せて各指を大きく開いた状態では、人差し指、中指、薬指及び小指が撮影範囲内となり、親指が撮影範囲外となっている。ただし、各指を適当に閉じれば全ての指を撮影範囲内に収めることも可能である。
【００４６】
図３は、操作装置１の電気的構成を示すブロック図である。操作装置１の制御主体をなすのは操作ＥＣＵ１０である。該操作ＥＣＵ１０は、ＣＰＵ１０１を主体とするコンピュータハードウェア基板として構成され、具体的には、ＣＰＵ１０１、ＲＡＭ１１０２、ＲＯＭ１０３、ビデオインターフェース１１２、タッチパネルインターフェース１１４、汎用入出力部１０４及びシリアル通信インターフェース１１６が内部バス１０５により相互接続された構造を有する。ビデオインターフェース１１２には撮影用ビデオＲＡＭ１１３及び手撮影カメラ１２ｂ（撮影装置）が、タッチパネルインターフェース１１４にはタッチパネル１２ａ（タッチ入力装置）が、そして、汎用入出力部１０４にはドライバ（駆動回路）１１５を介して照明光源１２ｃがそれぞれ接続されている。また、シリアル通信インターフェース１１６には、ＣＡＮ通信バスなどの車載用シリアル通信バス３０が接続され、これにネットワーク接続された他のＥＣＵ、具体的にはカーナビゲーション装置２００（図４）の制御を司るナビＥＣＵ５１と相互通信可能とされている。
【００４７】
ビデオインターフェース１１２には、手撮影カメラ１２ｂが取得するアナログもしくはデジタルの映像信号が継続的に入力されるとともに、撮影用ビデオＲＡＭ１１３内に画像フレームデータとして、所定の時間間隔で取り込まれる。撮影用ビデオＲＡＭ１１３の記憶内容は、新しい画像フレームデータが取り込まれる毎に随時更新される。
【００４８】
タッチパネルインターフェース１１４は、タッチパネル１２ａの方式に応じた固有の駆動回路を有するとともに、タッチパネル１２ａからの信号入力状態に基づいて、入力操作面１０２ａへのタッチ操作による入力位置を検出し、その検出結果を位置入力座標情報として出力する。
【００４９】
なお、手撮影カメラ１２ｂの撮影範囲（撮影視野；ひいては、該手撮影カメラ１２ｂにより取得される撮影画像）、タッチパネル１２ｂの入力操作面、モニタ１５の画面領域（ひいては、その表示内容を決定する入力画面画像フレームデータ及び指示体画像フレームデータ）には、二次元座標対応関係が一義的に定められている。
【００５０】
また、ＲＯＭ１０３には、ＣＰＵ１０１が実行する以下のようなソフトウェアが格納されている。
・タッチパネル制御ソフトウェア１０３ａ：タッチパネルインターフェース１１４から入力位置座標（タッチ操作位置）を取得し、入力画面画像フレームデータとともにナビＥＣＵ５１から送られてくる、操作入力内容の判定参照情報（例えば、ソフトボタンの領域特定情報や、当該ソフトボタンがタッチ操作されたときに出力するべき操作コマンド内容等の情報を含む）を取得する。そして、該入力位置座標と取得した判定参照情報とに基づいて現在の操作入力内容を特定し、ナビＥＣＵ５１に対して対応する操作コマンドの実行指令出力を行なう。
【００５１】
・指先点演算ソフトウェア１０３ｂ（指先点特定手段）：ＲＡＭ１１０２内の指先点演算処理メモリ１１０２ａ’を作業領域として動作する。手撮影カメラ１２ｂが撮影した操作者の手の撮影画像を二値化し、その実指像の指先位置を指先点として特定する演算、具体的には、二値化された撮影画像の挿入方向における先端領域ｔａの所定の代表点（ここでは幾何学的重心位置）を画像先端位置ｔｐ（指先点ｔｐ）として特定する演算を行なう。また、先端領域ｔａの寸法及び面積の少なくともいずれかに基づいて、画像先端位置ｔｐが真の指先点ｔｐを示すものであるか否かを判定する。なお、手の撮影画像の二値化処理は、ビデオインターフェースの出力段に画素の二値化回路を組み込んで事前に行なうようにしてもよい。特定された指先点（指先位置）の座標は、図７に示すように、当該作業領域内の指先点メモリ１１０２ａ’内に記憶される（同時に特定される複数個（例えば、最大５個まで）の指先点を記憶可能である）。
【００５２】
・表示制御ソフトウェア１０３ｂ（選択受付領域設定手段、移動対象画像選択手段）：モニタ１５の表示画面上の予め定められた位置に選択受付領域（後述の操作ボタン画像１６１〜１６５（図５））を設定する。また、タッチパネル１２ａの操作面上にて選択受付領域の対応位置にタッチ操作が検出されるに伴い、該選択受付領域に対応付けて用意された移動対象画像（この実施形態では、後述のアイコン（目印画像）１６１ｉ〜１６５ｉ（図５）：選択されたアイコンの画像は、ＲＡＭ１１０２内のアイコン登録メモリ１１０２ｃに登録される）を選択する。グラフィックコントローラ１１０への入力画面画像フレームデータの取り込み指令を行なうとともに、後述の方法により作成した指示体画像フレームデータをグラフィックコントローラ１１０へ転送する。図８はアイコン登録メモリ１１０２ｃの構成例を示すものであり、アイコン種別の特定データ及びアイコン画像データと指先位置座標データとの組を１組のみ登録・記憶できるようになっている（つまり、１回の操作で移動でき、かつ対応する制御コマンドが実行できるアイコンは１個のみとされている）。また、指先動作を解析するために、過去一定期間の指先位置の履歴も合わせて記憶される。
【００５３】
・画像合成ソフトウェア１０３ｄ（指先点表示手段、指示体画像表示手段）：ＲＡＭ１１０２の画像合成用メモリ１１０２ｂを作業領域として動作する。指示体画像（手撮影カメラ１２ｂが撮影取得した実手画像ＦＩ（図５）又は別途用意された指示体画像データ１０３ｅによる模擬指画像ＳＦ（図４３））を指示体画像フレーム上に貼り付ける処理を行なう。また、指先点演算ソフトウェア１０３ｂが特定した指先点のうち、第一タッチ操作がなされた指先点を対象指先点（後述の登録指先位置と一致する概念である）として、表示画面上の対象指先点の対応位置に、選択された移動対象画像を指示体画像とともに表示する。そして、対象指先点が撮影範囲１０２ｂ内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像を指示体画像とともに連動移動させる。
【００５４】
図４は、カーナビゲーション装置２００の詳細構成を示すブロック図である。
カーナビゲーション装置２００は、位置検出器２０１、音声案内等のための音声合成回路２２４、音声出力用のアンプ２２５及びスピーカー２１５、ＬＣＤ等からなるモニタ１５、これらの接続された主制御部をなすナビＥＣＵ５１、リモコン端末２１２及び主記憶装置をなすＨＤＤ（ハードディスク装置）２２１等を備えている。ＨＤＤ２２１には、道路データを含む地図データ２２１ｍと、目的地データや目的地の案内情報からなるナビデータ２２１ｄと、ＧＵＩ表示データ２２１ｕとが記憶されている。
【００５５】
カーナビゲーション装置２００を動作制御するための操作入力は、シリアル通信バス３０を介して接続された上記の操作装置１から行なう。また、音声認識ユニット２３０を用いて種々の指示を入力することも可能である。これは、音声認識ユニット２３０に接続されるマイク２３１から音声を入力することによって、その音声信号を周知の音声認識技術により音声認識処理して、その結果に応じた操作コマンドに変換するものである。
【００５６】
位置検出器２０１は、周知の地磁気センサ２０２、ジャイロスコープ２０３、距離センサ２０４、および衛星からの電波に基づいて車両の位置を検出するＧＰＳのためのＧＰＳ受信機２０５を有している。これらのセンサ等２０２，２０３，２０４，２０５は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。
【００５７】
ナビＥＣＵ５１は、ＣＰＵ２８１、ＲＯＭ２８２、ＲＡＭ２８３及び入出力部２８４がバス５１５により接続されたマイコンハードウェアを主体とするものである。ＨＤＤ２２１はインターフェース２２９ｆを介してバス接続されている。また、地図やナビ操作画面を表示する描画情報に基づいて、モニタ１５に画像出力する機能を担うグラフィックコントローラ２１０と、描画処理用の表示用ビデオＲＡＭ２１１とが同様にバス５１５に接続されている。グラフィックコントローラ１１０は、ナビＥＣＵ５１から入力画面画像フレームデータを取得するとともに、通信インターフェース２２６及びシリアル通信バス３０を介して操作装置１側からは指示体画像が所定位置に張り込まれた指示体画像フレームデータ（ＧＵＩ表示データ２２１ｕに基づいて作成される）を取得し、さらに、必要に応じて目印画像をなす前述のアイコン（ＧＵＩ表示データ２２１ｕに含まれるアイコンデータに基づいて作成される）とともに、表示用ビデオＲＡＭ１１１上にて周知のアルファブレンディング処理等によりフレーム合成し、モニタ１５に出力する。
【００５８】
ナビＥＣＵ５１のＣＰＵ２８１によりナビプログラム２２１ｐが起動されると、位置検出器２０１からの現在位置情報が取得され、ＨＤＤ２２１から該現在位置周辺の地図データ（２２１ｍ）が読み出されるとともに、コマンド起動有効領域１５０（図５：上）をなす地図表示領域１５０’（図５：下）に該地図データに基づく地図が現在位置マーク１５２とともに表示される。
【００５９】
モニタ１５の画面にて、地図表示領域１５０’の周囲領域（例えば、図５では、地図表示領域１５０’の右側に生じている余白領域）に操作ボタン画像１６１〜１６５が表示されている。個々の操作ボタン画像１６１〜１６５の表示領域は選択受付領域を形成し、タッチパネル１２ａの対応位置にタッチ操作が検出されるに伴い、該選択受付領域１６１〜１６５に対応付けて用意された移動対象画像１６１ｉ〜１６５ｉが選択されるようになっている。操作ボタン画像１６１〜１６５は、それぞれ該地図表示領域１５０’上での地点指定を伴う制御コマンドを起動するためのものであり、具体的には、地図表示領域１５０’上への目的地設定コマンド（ボタン１６１）、地図表示領域１５０’上への経由地設定コマンド（ボタン１６２）、周辺施設検索コマンド（ボタン１６３）及び地図拡大表示コマンド（１６４）である。一方、ボタン１６５は、設定済みの目的地や経由地を消去するコマンドを実行するための消しゴムツールである。
【００６０】
以下、操作の概略を説明する。目的地設定コマンド（ボタン１６１）を起動する場合は、図１６の状態１に示すように、操作装置１の撮影範囲内に手を差し入れると、モニタ１５の画面には、操作装置１の手撮影カメラ１２ｂが撮影する手画像（指示体画像）ＦＩが重畳表示される。状態２で操作者は、自分の指位置を該手画像ＦＩにて確認しながら所望の操作ボタン画像１６１に指先位置を合わせ、タッチパネル１２ｂの操作面１０２ａ上にて第一タッチ操作を行なう。これにより、操作ボタン画像（以下、単に「ボタン」等という）１６１に意匠表示されていた目印画像１６１ｉ（目的地アイコン）が選択される。
【００６１】
その状態で操作者が、操作面１０２ａから指Ｆを離間させ地図に沿って指先を動かすと、手撮影カメラ１２ｂが撮影する手画像から指先位置が追跡され、目印画像１６１ｉが指先位置（対象指先点）に付着した状態で手画像ＦＩとともに画面上を移動する。つまり、対象指先点が撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って目印画像１６１ｉ（移動対象画像）は手画像（指示体画像）ＦＩとともに連動移動する。目印画像１６１ｉは、操作に伴ない刻々変化する対象指先点の位置を強調する役割を果たしている。そして、操作者は地図上の所望の目的地に指先を合わせこみ、状態４のごとく第二タッチ操作を行なう。これにより、図１８の状態５に示すように、該第二タッチ位置にて目的地が仮設定され（つまり、目的地設定の制御コマンドを起動され）、さらに、目印画像１６１ｉ（目的地アイコン）が設定された目的地に貼り付け表示される。本実施形態では、地図表示領域１５０’の外側に確認メッセージと設定確定用のボタン画像１７１とを表示し、設定確定を行なう選択操作（ここでは、「する」ボタンにタッチする）を行なうことで目的地設定が確定するようになっている。
【００６２】
なお、図１９に示すように、連動移動モード（目印画像１６１ｉを手画像ＦＩの指先位置に付着した状態）にて、手を操作面から所定距離以上に離したり（状態３０１）、あるいは撮影領域（表示画面）の外へ移動させたりした場合は（状態３０２）、目印画像１６１ｉの選択状態及び連動移動モードが解除される。つまり、連動移動モードの実行中において、指示体画像ＦＩを表示可能な画面上の有効領域から対象指先点ｔｐが脱出した場合は、目印画像１６１ｉの選択状態と連動移動モードとが解除される（この実施形態では、モニタ１５の表示画面の全体が有効領域として定められているが、表示画面の一部のみを有効領域として定めてもよい）。従って、その後、手を撮影範囲内に戻しても目印画像１６１ｉは消去された状態となる（状態３’）。また、図２０に示すように、連動移動モードにて特定の連動移動モード解除動作（状態３０３：ここでは、指Ｆを左右に振る動作（以下、取消動作ともいう）を行なった場合も、目印画像１６１ｉの選択状態と連動移動モードとが解除される。
【００６３】
また、一旦設定した目的地を取り消す場合は、消しゴムツールを用い、次のようにして行なう。図２１の状態１１は、目的地アイコン１６１ｉが示す目的地設定が完了している状態を示す。この目的地を消去したい場合、操作者は消しゴムボタン１６５に第一タッチ操作を行なう。これにより、ボタン１６５に意匠表示されていた目印画像１６５ｉ（消しゴムアイコン）が選択される。その状態で操作者は、操作面１０２ａから指Ｆを離間させ指先を設定済みの目的地に向け移動させる。消しゴムアイコン１６５ｉは、指先位置に付着した状態で手画像ＦＩとともに画面上を移動する（状態１２：連動移動モード）。そして、操作者は地図上の所望の目的地アイコン１６１ｉに指先を合わせこみ、図２２の状態１３のごとく第二タッチ操作を行なう。すると、状態１４に示すように、設定された目的地は仮設定解除状態となる。本実施形態では、地図表示領域１５０’の外側に確認メッセージと設定確定用のボタン画像１７２とを表示し、設定確定を行なう選択操作（ここでは、「する」ボタンにタッチする）を行なうことで目的地設定解除が確定するようになっている。少なくとも目的地設定解除が確定した状態では、該第二タッチ位置にて目的地アイコン１６１ｉと消しゴムアイコン１６５ｉとが消去される。
【００６４】
また、図２３の状態２１のごとく、どれかの指ＦＩ（１）でボタン１６１に第一タッチ操作を行ない、対応する目印画像１６１ｉが該指ＦＩ（１）に貼り付けられた状態で、目印画像１６１ｉが貼り付けられていない別の指ＦＩ（２）により地図上に第二タッチ操作を行なうと、状態２２のごとく、その別の指ＦＩ（２）による第二タッチ位置を基準に地図のスクロール処理がなされる。ここでは、の指ＦＩ（２）による第二タッチ位置が指示する地図上の地点が地図表示領域１５０’上の基準点（例えば、中心点）へ移動する形でスクロールがなされている。
【００６５】
図２４は、経由地設定コマンド（ボタン１６２）を起動する場合を示す。基本的な流れは図１６〜図２０にて説明した目的地設定の場合と全く同様である。状態３１に示すように、操作者は、自分の指位置を該手画像ＦＩにて確認しながら操作ボタン画像１６２に指先位置を合わせ、第一タッチ操作を行なう。これにより、操作ボタン画像１６２に意匠表示されていた目印画像１６２ｉ（経由地アイコン）が選択される。その状態で操作者が、操作面１０２ａから指Ｆを離間させ地図に沿って指先を動かすと、状態３２に示すように、手撮影カメラ１２ｂが撮影する手画像から指先位置が追跡され、目印画像１６２ｉが指先位置（対象指先点）に付着した状態で手画像ＦＩとともに画面上を移動する（連動移動モード）。その後、操作者は地図上の所望の経由地に指先を合わせこみ、第二タッチ操作を行なうことにより、経由地が設定され、目印画像１６２ｉ（経由地アイコン）が設定された経由地に貼り付け表示される。
【００６６】
図２５は、周辺検索コマンド（ボタン１６３）を起動する場合を示す。状態４１に示すように、操作者は、自分の指位置を該手画像ＦＩにて確認しながら操作ボタン画像１６３に指先位置を合わせ、第一タッチ操作を行なう。これにより、操作ボタン画像１６３に意匠表示されていた目印画像１６３ｉ（周辺検索アイコン）が選択される。その状態で操作者が、操作面１０２ａから指Ｆを離間させ地図に沿って指先を動かすと、状態４２に示すように、目印画像１６３ｉが指先位置（対象指先点）に付着した状態で手画像ＦＩとともに画面上を移動する（連動移動モード）。その後、操作者は、周辺検索を行ないたい地図上の所望の位置に指先を合わせこみ、第二タッチ操作を行なう。すると、検索のための地点設定がなされ、図２６の状態４３に示すごとく、目印画像１６３ｉ（周辺検索アイコン）が設定された経由地に貼り付け表示される。また、設定された経由地を中心にして規定距離範囲内の周辺施設が目的地ないし経由地の候補として検索される。図２６においては、地図表示領域１５０’の外側に、施設ジャンルの選択を促すメッセージと、ジャンル選択用のボタン画像１７３とを表示している。操作者がボタン１７３へのタッチ操作により所望のジャンルを選択すると、該当するジャンルの周辺施設が検索され、該検索結果が、例えばジャンル別の施設アイコンによる地図表示か、あるいは施設名と距離及び方向とを対応付けた一覧表示形態で出力がなされる。
【００６７】
図２７及び図２８は、拡大コマンド（ボタン１６４）を起動する場合を示す。図２７の状態５１に示すように、操作者は、自分の指位置を該手画像ＦＩにて確認しながら操作ボタン画像１６４に指先位置を合わせ、第一タッチ操作を行なう。これにより、操作ボタン画像１６４に意匠表示されていた目印画像１６４ｉ（拡大アイコン）が選択される。その状態で操作者が、操作面１０２ａから指Ｆを離間させ地図に沿って指先を動かすと、状態５２に示すように、目印画像１６４ｉが指先位置（対象指先点）に付着した状態で手画像ＦＩとともに画面上を移動する（連動移動モード）。その後、操作者は、拡大表示を行ないたい地図上の所望の位置に指先を合わせこみ、図２８の状態５３に示すごとく、第二タッチ操作を行なう。すると、検索のための地点設定がなされ、状態５４に示すように、第二タッチ操作を中心として所定倍率で地図を拡大した表示がなされる。また、地図が拡大されるとともに、目印画像１６４ｉ（拡大アイコン）は消去される。拡大後の地図においては、同様の操作を行なうことにより、予め定められた最大縮尺まで更なる拡大表示が順次可能とされている。
【００６８】
以下、操作装置１の動作の流れを、フローチャートを用いて説明する。
図１０は主処理の流れを示すもので、車両のＩＧスイッチがＯＮとなるに伴ない起動される。まず、Ｓ０にてＲＡＭ１０２内の各メモリを初期化する。Ｓ１では手撮影カメラ１２ｂによる撮影画像を用いた指先位置特定処理が実行される。Ｓ２では、図１６等に示すボタン１６１〜１６５への第一タッチ操作検出に伴ない、手画像ＦＩとともに連動移動させるアイコン（目印画像）を指先位置と対応付けて登録するアイコン登録処理を行なう。Ｓ３では、登録されたアイコンの消去（すなわち、登録解除）及び指先位置の更新等に係るアイコン登録管理処理が実行される。Ｓ４では、手画像ＦＩに対し、登録された指先位置に対応するアイコンの画像を貼り込み合成するとともに、手の動きに応じて更新される指先位置に合わせ、アイコンと手画像（指示体画像）とを連動表示するアイコン合成処理が実行される。Ｓ５では、連動表示モードから第二タッチ処理が発生するに伴ない、アイコンと対応付けられた上記種々の制御コマンドを実行するコマンド実行処理となる。Ｓ６でＩＧスイッチがＯＦＦになれば主処理は終了する。他方、ＯＦＦにならなければＳ１に戻り、以下Ｓ５までの一連の処理を繰り返し実行する。
【００６９】
図１１Ａは指先位置特定処理の詳細を示すものであり、図２に示すように、タッチパネル１２ａの入力操作面１０２ａに手Ｈを近づけると、手撮影カメラ１２ｂは、照明光源１２ｃからの照明光の手による反射光に基づいて手像を撮影する。図１１ＡのＳ１０１で、その撮影画像を取り込む。手像の画素は反射光の受光により背景領域よりも明るく現れる。従って、図６のＡに示すように、画素の輝度を適当な閾値で二値化すれば、高輝度画素値（ここでは「１」とする）を示す領域を被写体領域（図中黒で表している）、低輝度画素値（ここでは「０」とする）を示す領域を背景領域（図中白で表している）として、互いに画像分離できる。Ｓ１０２では、この二値化された画像データを第一画像データ（Ａ）として保存する。
【００７０】
なお、Ｓ１０３では、第一画像データにおける被写体領域の面積率σを演算する。手撮影カメラ１２ｂの撮影範囲内に被写体が存在しない場合は、被写体領域の面積率σがある閾値σ０未満 となるので、この場合は以下の処理をスキップする。
【００７１】
次に、図１１ＡのＳ１０５では、該第一画像データを手像の掌長方向（Ｙ方向）に所定距離（例えば、中指第一関節より先を指先部分として、その２０％〜８０％（実距離にして５〜２０ｍｍ程度））だけ平行移動させて得られる画像データを、図６のＢに示す第二画像データとする。そして、Ｓ１０６では、図６のＣに示すように、両画像データを重ね合わせたときの指先側に現れる非重なり領域を手の挿入方向における先端領域（指先領域）ｔａとして特定する。取得された原画像データを手像の掌長方向に平行移動して重ね合わせることにより、指先領域を非重なり領域として簡単に特定することができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。
【００７２】
図６のＣにおいては、第二画像データＢを、第一画像データＡを掌長方向（Ｙ方向）にて手首側へ後退移動させて作成しており、第一画像データＡの手像指先側に現れる非重なり領域が先端領域（指先領域）として特定される。撮影範囲（ひいてはモニタ１５の画面領域）との座標対応関係が保存される第一画像データＡ上にて指先領域を特定でき、指先点（指先位置）ひいては画面領域上の対応座標点の特定処理を簡便に行なうことができる。
【００７３】
また、第一及び第二画像データはいずれも二値化されており、非重なり領域は、第一画像データと第二画像データとの画像差分を演算することで特定される。これにより、非重なり領域の画素を特定する処理は、第一及び第二画像データの対応する画素間の論理演算に転換できる（具体的には、対応画素間の排他的論理和が０になれば、それを非重なり領域の画素として特定できる）。なお、第一及び第二画像データの非重なり領域は、指の側面部分に細く生ずる場合がある。しかし、このような側面部分は、「１」となる画素のＸ方向の連続個数が所定値未満となる場合に、それら画素列を「０」反転する処理を行なえば、簡単に除去することができる。
【００７４】
次に、図１１ＡのＳ１０７においては、上記のように抽出された各指先領域に対し、図６のＤに示すような収縮処理が施される。具体的には、値が「１」となっている全ての画素について、これと一定の隣接関係にある画素（具体的には、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該画素の値を「０」反転する処理を行なう。該処理は、必要に応じて複数回繰り返し実施してもよい。
【００７５】
そして、収縮処理後は、画像データ上において個々の先端領域に分離する処理を行なう。すなわち、図３２に示すように、画像を所定の方向（例えばｘ方向）に走査し、「１」となっている画素の途切れが一定数（例えば３ビット）以上生じたか否かにより、同一の先端領域であるか別の先端領域であるかを判別しながら、各画素にラベリング符号（本実施例では、１、２、３‥‥等の数字で表している）を施してゆく。なお、走査２列目以降は、「０」画素の検出状態から「１」画素の検出に転じた時に、その「１」画素を取り囲む例えば８つの画素のラベリング状態を判別し、既に認識済の画素のラベリング符号が検出されれば、これと同一のラベリング符号を施し、何も検出されなければ新たなラベリング符号を施すようにする。そして、異なるラベリング符号が付された画素集合同士は、異なる先端領域として認識することとなる。
【００７６】
次に、図１１ＡではＳ１０８に進み、分離・特定された各先端領域が真の指先領域であるか否かの判定処理を行なう（指先判定処理）。基本となるのは、図３１に示すごとく、特定された先端領域ｔａの指幅方向の寸法（以下、単に「幅」とも称する）Ｌが、一般的な大人の幅寸法を基準に定められた規定範囲（上限値Ｗｔｈ１、下限値Ｗｔｈ２）内に存在することを必要条件として、真の指先領域と判定する処理である。図１に示すように、インパネに配置されたモニタ（表示装置）１５を見ながら、車長方向にてその後方側（着座した乗員から見れば手前側）のセンターコンソールＣ上に配置されたタッチパネル１２ａの操作入力面１０２ａ、ひいては、該操作入力面１０２ａ上の操作者の手を下側から撮影する手撮影カメラ１２ｂの撮影範囲１０２ｂに対し、該撮影範囲１０２ｂの後方縁側から前方に挿入される。従って、手の挿入方向は横長長方形状の撮影範囲１０２ｂの長辺と直交する向き（つまり、Ｙ方向）に想定され、指幅方向は操作入力面１０２ａの面内において該手の挿入方向と直交する向き、すなわち、撮影範囲１０２ｂの長辺と一致する向き（つまり、Ｘ方向）に定められている。つまり、先端領域ｔａの幅はＸ方向、すなわち、撮影範囲１０２ｂの長辺方向に固定的に測定されるようになっている。
【００７７】
図１１Ｂは、指先判定処理の詳細の一例を示すフローチャートである。
Ｓ１００１では、分離・特定された個々の先端領域ｔａの幅Ｗが特定される。具体的には、先端領域ｔａの個々の構成画素のＸ座標のうち、最小の値をＸｍｉｎ、最大の値をＸｍａｘとして、Ｗ＝Ｘｍａｘ−Ｘｍｉｎにより計算することができる。Ｓ１００２では、上記のように特定された先端領域ｔａの幅Ｗが前述の規定範囲内にあるか否かが判定される。タッチパネル１２ａはセンターコンソールＣ上に配置されているが、その脇に着座した運転者や助手席乗員はセンターコンソールＣをしばしば物置代わりに利用する。このとき、手以外の物品がタッチパネル１２ａの操作入力面１０２ａ、つまり、撮影範囲１０２ｂ内に置かれたれば、当然、該物品が乗員の手の代わりに撮影される。
【００７８】
図３３の上段は手が撮影された場合の、中段は携帯電話が撮影された場合の、下段は書類が撮影された場合の、各二値化画像を示している。携帯電話や書類の画像輪郭は手の画像輪郭よりもはるかに単純であり、形態的にも明らかに異なるが、特許文献２のごとく、輪郭線に外接する楕円近似を行なえば、形態的に複雑な手の画像輪郭は、より単純な形状である楕円形態に還元されてしまうため、携帯電話や書類など、もともと単純な形状の物品との区別をつけにくい問題がある。他方、特許文献３のように、指腹輪郭を高次関数で近似する手法では、近似により得られる高次関数の係数等から真正な指輪郭であるか否かを一義的に判定することが困難である。また、特許文献４のように、撮影画像の外接矩形を複数個の副矩形領域に分割し、各副矩形の画像面積率により指先座標を求めなくてもよい像形状か否かを判定する方式では、手以外の物品が撮影された場合でも、その画像面積率が手像の場合の画像面積率と偶発的に一致した場合は、区別がもはや不可能である。
【００７９】
しかし、撮影取得される第一画像と、そのＹ方向への平行移動により得られる第二画像との差分画像として抽出される先端領域ｔａの幅Ｗを用いた判定方式を採用すると、図３４の左に示すごとく、書類や本などが置かれた場合は、抽出・特定される先端領域ｔａの幅Ｗは、一般的な大人の幅寸法を基準に定められた規定範囲の上限値Ｗｔｈ１を明らかに上回るので、非指先領域として確実に判定が可能である。また、図３４の右に示す携帯電話の場合は、突出したアンテナ部分に由来する第一先端領域ｔａ１の幅Ｗ１は、アンテナが指より明らかに細いため規定範囲の下限値Ｗｔｈ２を下回り、指より広幅の本体部分に由来する第二先端領域ｔａ２の幅Ｗ２は規定範囲の上限値Ｗｔｈ１を上回るため非指先領域として判定することができる。
【００８０】
なお、真の手が画像検出されている場合にあって、伸ばした状態の指が１本ないし２本（例えば、人差し指のみ、あるいは人差し指と中指など）であり、残余の指が曲げられた状態（例えば拳状に握った状態）になっている場合、閉じられている部分の先端領域の幅が規定範囲の上限値Ｗｔｈ１を超え、伸ばした状態の指については幅が規定範囲内となるようなこともありえる。従って、複数の先端領域が抽出されうる形状の物品に合っては、該複数の先端領域の少なくとも１つについて幅が規定範囲内となっていれば、該先端領域を真の指先領域として判定するように構成することが可能である。
【００８１】
次に、非指先領域でありながら、その幅Ｗが規定範囲内に収まっているために真の指先領域として誤認されうる形状の物品がタッチパネルの入力操作面１０２ａ上に置かれる場合がある。例えば、図３５のＡは貨幣が入力操作面１０２ａ上に置かれた場合の二値化画像の状態を示している。ＢのごとくＹ方向に後退移動し、Ｃのごとく差分画像を求め、Ｄのごとく収縮処理を施したとき、貨幣の寸法が指幅に近接しているために、収縮処理後の先端領域ｔａの幅Ｗは規定範囲内となり、このままでは指先領域として誤判定される。
【００８２】
指と貨幣の画像上の違いは、指の場合は、指基端側の画像領域が撮影範囲１０２ｂの後端縁（手挿入側の縁）まで伸びる形となるのに対し、貨幣の場合は撮影範囲１０２ｂ内に孤立した円形領域となり、その円形領域の後端縁と撮影範囲１０２ｂの後端縁との間が被写体の背景領域（つまり、「０」画素領域）となる点にある。そこで、撮影画像の総面積をＳ（図３５のＡにおいてＳ１＋Ｓ２＋Ｓ３）とし、個々の非重なり領域ｔａから、撮影範囲１０２ｂの後端縁までの合計距離をｄ（図３５のＡにおいてＨ１＋Ｈ２＋Ｈ３）として、Ｓ／ｄの値を指幅として推定すると、上記のような誤判定を効果的に回避することができる。すなわち、貨幣の場合は、撮影範囲１０２ｂの後端縁側に上記背景領域が介在するために総面積Ｓが減少する。従って、Ｓ／ｄにより演算された推定指幅値が規定範囲の下限値Ｗｔｈ１未満となれば、これを非指先領域として除外することができる。図１１Ｂのフローチャートでは、Ｓ１００５とＳ１００６とにおいて上記原理に基づく判定を行なっている。
【００８３】
次に、図１１ＢのＳ１００７では、Ｓ１００２及びＳ１００６において除外判定されなかった先端領域ｔａについて代表点を決定する。本実施形態では、領域の幾何学的な重心位置Ｇを代表点として用いる。演算方法は周知であり、例えば先端領域を構成する全画素のＸ座標値及びＹ座標値の各総和を求め。それぞれ画素の個数で除することにより重心位置Ｇの座標を計算できる。なお、重心位置Ｇではなく、例えばＹ座標値が最大となる画素を代表点として採用することも可能である。
【００８４】
なお、タッチパネルの入力操作面１０２ａに実際に接触するのは、指先端からＸ方向に少し下がった指腹付近の領域であるから、図６（ないし図３５）のＦでは、Ｅで計算された重心位置をＹ方向へ所定距離オフセットさせ、これを指先点Ｇとして決定する。ただし、Ｅの重心位置をそのまま指先点Ｇとして用いてもよく、この場合は該Ｆの処理は不要である。
【００８５】
次に、撮影範囲１０２ｂに対する手の位置関係によっては、差分画像を用いた上記アルゴリズムにより決定される代表点が、真の指先点に対応しないケースが生じうる。具体的には、図３６の左上に示すごとく、指先部分が撮影範囲１０２ｂの外にはみ出して位置する場合である。撮影範囲１０２ｂと、タッチパネルの入力操作面１０２ａと、モニタ１５の画面との対応座標範囲が互いに一致している場合は、図３６の右上に示すように、真の指先位置が撮影範囲１０２ｂ（ひいては、入力操作面１０２ａ及びモニタ１５の画面）の外周縁領域に収まっている場合と、指先部分が撮影範囲１０２ｂの外にはみ出し、真の指先部分が画像的に途切れている場合とのいずれにおいても、差分画像から特定される先端領域は上記外周縁領域に収まる形となる。そして、指先部分がはみ出す図３６左上の場合についても、指の画像の一部分であることに変わりはなく、領域幅が前記規定範囲内に収まる可能性が高いから、上記外周縁領域に生ずる先端領域を真の指先領域として誤認することにつながる。
【００８６】
そこで、本実施形態においては、図３７に示すように、撮影範囲１０２ｂの有効座標範囲の外周縁領域を表示外撮影領域１０２ｅとして、モニタ１５の表示画面に係る有効座標範囲の外側に延出形成する構成が採用されている（なお、ここでは入力操作面１０２ａの有効座標範囲はモニタ１５の表示画面の有効座標範囲は互いに一致させてある）。
【００８７】
図３７の左に示すごとく、画面外にはみ出す指部分はこの表示外撮影領域１０２ｅ内に被写体領域を形成するので、差分画像に基づいて特定される先端領域ｔａひいてはその代表点にて特定される指先位置ｔｐもこの表示外撮影領域１０２ｅ内に生ずる。他方、図３７の右に示すごとく、真の指先が表示外撮影領域１０２ｅ内に入り込まず画面の外周縁領域にとどまる場合は、先端領域ｔａひいては指先位置ｔｐも画面内に生ずる。従って、先端領域ｔａが表示外撮影領域１０２ｅ内に存在している場合はこれを真の指先として認識せず（無効）、表示外撮影領域１０２ｅ内に存在していない場合は真の指先として認識する（有効）ように処理が可能である。例えば、図３８のように、複数の指先位置ｔｐが特定される場合も、それぞれ表示外撮影領域１０２ｅ内に存在するか否かに基づき、有効／無効の判定を個別に行なうことができる。図１１Ｂのフローチャートでは、Ｓ１００８〜Ｓ１０１０において上記原理に基づく判定を行なっている。なお、手挿入側となる表示画面のＹ方向後端縁については、撮影範囲１０２ｂの後端縁と一致させ、表示外撮影領域１０２ｅを特に形成しない構成とすることも可能である。
【００８８】
なお、先端領域ｔａが真の指先領域であるか否かを判定するアルゴリズムには、上記以外にも種々の方式を採用することができる。例えば、第二画像を得るための第一画像のＹ方向平行移動距離を一般的な大人の指幅値よりも小さく設定した場合、第一画像と第二画像との差分画像として得られる先端領域ｔａは、Ｘ方向寸法ＷＸ（つまり、幅）がＹ方向寸法ＷＹよりも大きい横長の領域となりやすい。そこで、先端領域ｔａのＸ／Ｙアスペクト比φ（≡ＷＸ／ＷＹ）が規定範囲内にあるか否かに基づいて真の指先領域であるか否かを判定することが可能である。例えば、図３４左に示す紙や書類の場合はφが極度に大きくなり、同じく右に示す携帯電話のアンテナ（指より細い）については、Ｘ方向寸法ＷＸが不足する分だけφの値も小さくなるので、いずれも非指先領域として除外することが可能である。
【００８９】
なお、指がＹ方向に対して傾いて挿入される場合を考慮し、図４０に示すように、先端領域ｔａに外接する平行線対を、角度を変えながら種々生成し、最大となる平行線間距離をＷｍａｘ、最小となる平行線間距離をＷｍｉｎとして、上記アスペクト比φをＷｍａｘ／Ｗｍｉｎにより算出するようにしてもよい。
【００９０】
また、図４１に示すように、撮影画像の被写体領域（「１」画素領域）の総面積をＳとし、特定された先端領域（非重なり領域）ｔａの個数をＮとして、Ｓ／Ｎの値を平均指面積として推定し、該Ｓ／Ｎが規定範囲内にあるか否かに基づいて、先端領域ｔａが真の指先領域であるか否かを判定することも可能である。これは特に、手が撮影されたとき被写体領域が主として指領域のみにより形成されるよう、撮影領域のＹ方向寸法が指先端側の一部分のみを包含可能な値に設定されている場合に有効な手法であるといえる。
【００９１】
図１１Ａに戻り、上記のごとくＳ１０８の指先判定処理が終了すれば、Ｓ１０９にて、特定された各先端領域のいずれが真の指先領域として判定されたかを調べ、Ｓ１１０において、該真の指先領域についてのみ代表点の座標（重心座標Ｇ）を（真の）指先位置として記憶し、真の指先領域でないものについては破棄ないし無効化する。以上で指先位置特定処理を終了する。
【００９２】
次に、図１２はアイコン登録処理の詳細を示すものである。まず、Ｓ２０１では、図８のアイコン登録メモリ１１０２ｃにて、登録アイコンが存在しないことを確認する。Ｓ２０２では、図１６に示すような地図表示領域１５０’がモニタ１５の画面上に表示されていることを確認する。Ｓ２０３では、アイコンを有した操作ボタン画像１６１〜１６５（以下、アイコン付ボタンとも言う）が画面内に存在することを確認する。Ｓ２０４では、指先位置メモリ（図７：１１０２ａ’）にて現在の指先位置を取得し、Ｓ２０５では、その指先位置と重なるアイコンが存在することを確認する。Ｓ２０６では、該指先位置にてタッチパネル１２ａにタッチ操作（第一タッチ操作）があることを確認し、Ｓ２０７で、該タッチ操作にて対応するアイコン（目印画像）が選択したと判断し、アイコンを指先位置と対応付けてアイコン登録メモリ１１０２ｃに登録する。なお、Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０５及びＳ２０６のいずれかにて、否定的な判定（フローチャート中で「Ｎｏ」）がなされた場合は、アイコン登録は行なわれない。アイコン登録メモリ１１０２ｃに登録されたアイコンは、後述の登録管理処理にて登録指先位置が更新されるに伴ない、手画像ＦＩ（指示体画像）とともに連動表示される。他方、登録管理処理にてアイコン登録が解消されるに伴ない、連動表示は解除される。
【００９３】
図１３は、アイコン登録管理処理の詳細を示すものである。Ｓ３０１では登録されているアイコンが存在することを確認する。Ｓ３０２では指先位置が検出中であることを確認し、Ｓ３０３ではアイコン登録メモリ１１０２ｃに登録されている指先位置（登録済指先位置）を読み出す。そして、Ｓ３０４では、現在検出中の最新指先位置のうち、登録済指先位置に最も近いものを特定するとともに、最新指先位置が最低１つは表示範囲内にあること（つまり、表示外撮影領域１０２ｅへはみ出していないこと）を確認する。最新指先位置が表示範囲内に全く存在しなければアイコン登録を取り消す（Ｓ３０９）。さらに、Ｓ３０５では、表示範囲内の最新指先位置と登録済指先位置との距離ｄｍを算出する。そして、その距離ｄｍが規定範囲（閾距離ｄｓ未満）に収まっていることを確認する。収まっていなければアイコン登録を取り消す（Ｓ３０９）。
【００９４】
つまり、図４２の上に示すように、主処理（図１０）のサイクルタイムを考慮した場合、１サイクルの時間が例えば１０〜１００ｍｓであれば、アイコン登録状態にて１サイクルの間にアイコン操作する指が移動する距離はそれほど大きくない（通常身体能力の人間の手動きであれば、例えば高々５ｍｍ〜１５ｍｍ程度（閾距離ｄｓに対応））から、図４２の上に示すように、距離ｄｍが閾距離ｄｓ未満であればアイコン登録維持と判断するのである。図４２の上では、最新指先位置Ｆ１ｅ，Ｆ３ＣのうちＦ１ｅが表示領域外にはみ出し、図１１ＢのＳ１００８→Ｓ１００９の流れにより非先端領域と判定され、指先位置は無効化（つまり、指先位置メモリ１１０２ａ’（図７）から削除）されている。このＦ１ｅに対応する指先位置Ｆ１Ａが登録指先位置、つまりアイコンとの連動移動対象としてアイコン登録メモリ１１０２ｃ（図８）に登録されている指先位置であった場合、対応する最新指先位置Ｆ３Ｃは無効だから、これに最も近い指先位置は別の指の指先点Ｆ３Ｃとなる。しかし、登録指先位置Ｆ１Ａは別の指の指先位置なので、両者の距離ｄｍは閾距離ｄｓを越えてしまうことになる。この場合は、アイコン登録を解消するのである。
【００９５】
次に、Ｓ３０７では、アイコン登録メモリ１１０２ｃの指先位置の履歴を読み出し、その動作を解析する。Ｓ３０８にて、その解析された動作が前述の取消動作に該当している場合はアイコン登録を取り消す（Ｓ３０９）。図２０のような左右の指振り動作が取消動作として定められている場合、指先位置の履歴においては、Ｙ座標値の変化はそれほど大きくないが、Ｘ座標値は一定範囲内を往復する形で大きく変化する。そこで、図９に示すように、そのＸ座標が一定範囲内で周期的に変化するかどうかを確認すれば、指振り動作があったかどうかを容易に判定できる。
【００９６】
そして、Ｓ３０２、Ｓ３０４及びＳ３０８のいずれにおいてもアイコン登録に対して肯定的な判定（Ｙｅｓ側）がなされた場合はＳ３１０に進み、アイコン登録を維持する。ただし、登録指先位置は現在検出されている最新の指先位置に更新する。
【００９７】
図１４はアイコン合成表示処理の詳細を示すものである。Ｓ４０１では、指示体画像をなす手画像の撮影データ、つまり、図６のＡに示す第一画像データを読み出す。Ｓ４０２では、登録されているアイコンがあるか否かを確認する登録されていればＳ４０４に進み、アイコン登録メモリ１１０２ｃから登録アイコン画像と登録指先位置とを読み出し、第一画像データ上にて登録アイコン画像を登録指先位置に合成し、Ｓ４０６にてその合成画像を画面に表示する（つまり、手画像を画面に重畳表示する）。登録アイコン画像が変更されなければ、主処理が１サイクル実施される毎に、アイコンを合成するための登録指先位置が更新されるので（図１３のＳ３１０）、アイコンは手画像とともに連動移動表示されることが明らかである。他方、Ｓ４０２にて登録アイコンが存在しなければＳ４０４とＳ４０５とをスキップしてＳ４０６に進み、アイコン未合成の手画像が画面される。
【００９８】
図１５はコマンド実行処理の詳細を示すものである。Ｓ５０１で登録アイコンが存在すればＳ５０２に進み、登録指先位置を読み出す。Ｓ５０４では、タッチパネル１２ａにて、その登録指先位置に対応するタッチ操作、つまり第二タッチ操作があるか否かを確認する。第二タッチ操作があればＳ５０５に進み、登録アイコンが示す制御コマンドを特定する。ここで、目的地設定コマンド（図１６：ボタン１６１）、経由地設定コマンド（図１６：ボタン１６２）及び周辺施設検索コマンド（図１６：ボタン１６３）は、対応するアイコン（目印画像）を第二タッチ操作にて設定される位置に貼り付けるタイプの制御コマンド（以下、アイコン貼付型コマンドという）であり、地図拡大表示コマンド（図１６：ボタン１６４）及び消しゴムツール（図１６：ボタン１６５）は、第二タッチ操作にて設定される位置にはアイコンを貼り付けず、実行後はアイコンが消去されてしまうタイプの制御コマンド（以下、アイコン消去型コマンドという）である。
【００９９】
そこで、Ｓ５０６では、特定された制御コマンドがいずれのタイプのものであるかを判定し、アイコン貼付型コマンドであればＳ５０７に進み、第二タッチ位置にアイコンを貼り付け表示する。他方、アイコン消去型コマンドの場合はＳ５０７をスキップする。そして、いずれの場合もＳ５０８で対応する制御コマンドを実行し、Ｓ５０９でアイコン登録を解除する。
【０１００】
次に、Ｓ５０４にて登録指先位置でのタッチ操作がない場合はＳ５１０に進み、地図表示領域１５０’内にて登録指先位置以外の位置でのタッチ操作があるか否かを確認する。このタッチ操作が検出された場合は、指先位置が登録されているのと異なる指にてタッチ操作があったことを意味し、Ｓ５１１に進んで図２３に示す地図スクロール処理を実行する。
【０１０１】
以下、本発明の種々の変形実施形態について説明する。
上記の実施形態では、連動移動モードにて、アイコンを貼り付けた指が表示領域外に脱出した場合は連動移動モードが解除され、同じ指を再び表示領域内に戻してもアイコンを貼り付けた状態には復帰しないようになっていた。しかし、指が表示領域外に脱出した場合に連動移動モードを保留し、指が再び表示領域内に戻った場合にアイコンを貼り付け状態に復帰させるように構成することもできる。図４３はその一例を示すものであり、撮影範囲にて、表示外撮影領域に隣接してその内側、つまり、モニタ１５の表示領域の外周縁に沿って一定幅ξの辺縁領域を設定し、辺縁領域に入った登録指先位置（対象指先点）Ｆ１Ａがさらに移動して表示外撮影領域に入った場合（Ｆ１Ｃ）、前回の辺縁領域内の登録指先位置Ｆ１Ａを保留指先位置ＦＲとして例えば一定時間記憶する（アイコン登録状態は維持する）。その後、辺縁領域内に再び指先位置が検出された場合は、その再検出された指先位置を登録指先位置Ｆ１Ｃとすることで、該位置にアイコンが貼り付けられ、連動移動モードに復帰する。なお、辺縁領域内に複数の指先位置が検出された場合は、保留指先位置ＦＲに最も近い指先位置が登録指先位置Ｆ１Ｃとして選択される。
【０１０２】
また、移動対象画像は制御コマンドに対応した目印画像（アイコン）に限らず、例えば図４４に示すような、フォルダやファイルを示すアイコン７０１であってもよい。この場合、第一タッチ操作によりアイコン７０１が選択され、その状態で指をタッチパネル１２ａから離して指を移動させることでアイコン７０１は、第二タッチ操作を行なった位置まで連動移動し、フォルダやファイルのいわゆるドラッグ移動が可能となる。
【０１０３】
また、カメラ撮影された実指像とはデータ的に無関係な画像を指示体画像として表示することができる。図４５は、各指先位置（Ｇ１〜Ｇ５）が、入力操作面１０２ａ、ひいては画像フレーム上にて座標特定された状態を示している。そして、該画像フレーム上の各指先点Ｇ１〜Ｇ５に、上記のような指示体画像を順次貼り込んで、指示体画像フレームを作成する。この指示体画像は、実指像ＦＩよりも相対的に狭幅となるように作成される。例えば、１８歳以上の日本人全体の指幅分布にて、平均値を中心として９０％の対象者が包含される範囲の下限値に相当する指幅の、例えば５０％以上８０％以下となるように指示体画像の幅寸法を設定しておけば（例えば、人差し指の場合は、第一関節位置での指実寸換算にて７ｍｍ以上１４ｍｍ以下）、子供を除くほとんど全ての操作者に対して、指示体画像を実指像よりも相対的に狭幅とすることができる。
【０１０４】
なお、真の指先領域として判定されなかった先端領域については、指先位置として記憶されず、結果として指示体画像の貼込みもなされない。これにより、指以外の撮影物により誤検出された指先位置にも指示体画像が貼り込まれ、操作者としては撮影範囲１０２ｂ内に手を入れていないことを明らかに把握しているにもかかわらず、画面上に指画像が表れて違和感が大きくなってしまう問題が根本的に生じない。
【０１０５】
指示体画像としては、指の輪郭形状を模した模擬指画像を使用できる。単純なものとしては、図４７に示すように、指先部分の輪郭を示す円弧図形２０１と、残余の部分の輪郭を示す矩形図形２０２とを組み合わせた模擬指画像を例示できる。指先部分を円弧とすることで、その円弧の中心点２０１ｇを、上記指先点に合わせ込むべき指先位置として活用しやすい利点がある。また、模擬指画像よりもさらに単純な指示図形、例えばポインタに類した矢印状の図形を表示することも可能である。
【０１０６】
一方、図４８に示すように、実際の指をより精密に模した指輪郭線を折れ線や曲線（例えば、Ｂスプライン曲線やベジェ曲線）により表現した指輪郭画像データＳＦ１〜ＳＦ５を使用してもよい。該指輪郭画像データＳＦ１〜ＳＦ５は、指輪郭に対応して配列する一連のハンドリング点ＨＰにより規定されるベクトルアウトラインデータとして構成できる。
【０１０７】
また、指示体画像として、個々の指を分離した形で事前に取得された人の実指画像（例えば、操作者本人の指画像や、手専門のパーツモデルから取得したモデル指画像を採用できる）を使用することも可能である。この場合、指撮影画像から周知のエッジ検出処理により輪郭線を抽出し、これを近似するベクトルアウトラインデータを作成することにより、図４８と同様の指輪郭画像データＳＦ１〜ＳＦ５を得ることができる。また、図４９に示すように、指撮影画像を二値化したビットマップ図形データを指示体画像ＳＦとして用いてもよい（この場合は、指輪郭線の抽出は不要である）。
【０１０８】
図４６の右に示すように、指示体画像ＳＦの先端部には予め定められた位置に指示体指先点Ｇ’が定められており、この指示体指先点Ｇ’を各指先点（Ｇ１〜Ｇ５）に合わせこむ形で、画像フレーム上に指示体画像ＳＦを貼り込んでゆくことになる。しかし、この貼り込みを行なうためには、指先位置Ｇ’のほかに指の方向を情報として特定する必要がある。そこで、図４５に示すように、画像フレーム（表示座標平面）上に指先点（Ｇ１〜Ｇ５）とは別に指方向規定点Ｗを設定し、該指方向規定点Ｗと指先点Ｇを結ぶ直線を指直線（Ｌ１〜Ｌ５）として定める演算を行なう。図４６に示すように、各指示体画像ＳＦ１〜ＳＦ５は、指先位置Ｇ’が指先点（Ｇ１〜Ｇ５）と一致し、かつ、決定された指直線（Ｌ１〜Ｌ５）に該指示体画像ＳＦの長手方向基準線（指示体画像ＳＦ１〜ＳＦ５毎に予め定められている）が一致するように貼り込まれ、指示体画像フレームが作成される。
【０１０９】
手の各指骨は手首関節に向けて収束する形態に配列しているから、図４５において指方向規定点Ｗは、この手首に相当する手首規定点（以下、手首規定点Ｗとも記す）として規定されている。前述のごとく、入力操作面１０２ａ（撮影範囲）が、掌の指先側をなす一部分だけが収まるように寸法設定されており、かつ、撮影範囲に対して手前側から手を伸ばし入れる形で操作がなされるので、手首規定点Ｗは画面領域の下側に外れた形で設定される。図４５においては、Ｙ方向にて画面領域の下縁から一定長Ｙ０だけ下側に離間した位置に手首規定点Ｗが設定されている。画面上の指先点（Ｇ１〜Ｇ５）のＹ座標とは無関係に、手首規定点ＷのＹ方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点Ｗの決定アルゴリズムが簡略化できる。手首規定点ＷのＸ座標は、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に固定されている。なお、画面領域のＹ方向高さをＬとしたとき、Ｙ０＋Ｌ／２の値は、例えば１００ｍｍ以上２００ｍｍ以下に調整するとよい。
【０１１０】
こうして図４６のごとく作成された指示体画像フレームはグラフィックコントローラ１１０に転送され、別途取得されている入力画面画像フレームデータと合成され、モニタ１５に表示される。入力画面画像フレームデータと指示体画像フレームデータとを合成する方法としては、指示体画像ＳＦのデータ形態により次にような手法を採用することができる。
（１）指示体画像データがはじめからビットマップデータにより記述されている場合は、対応する画素同士のアルファブレンディング処理により、指示体画像を入力画面上に透かし形態で重ね表示することができる。
（２）指示体画像データがベクトルアウトラインデータで記述されている場合は、指示体画像フレーム上で該データを用いて指示体画像の輪郭線を生成し、さらにその内部をラスタライジングしてビットマップ化し、その後は（１）と同様のアルファブレンディング処理を行なう。
（３）指示体画像データをなすベクトルアウトラインデータを用いて入力画面画像フレーム上に輪郭線を描画し、その内部に位置する入力画面画像の画素を抽出するとともに、該抽出された画素の設定値を一律にシフトさせる。
【０１１１】
（１）〜（３）のいずれにおいても、指示体画像データの輪郭線を形成する画素については、指示体画像データ側のブレンド比を高めることで、輪郭線の強調された指示体画像を重畳表示できる。また、指示体画像データを、ビットマップデータもしくはベクトルアウトラインデータで記述された輪郭線のみの画像データとし、輪郭線のみを重ね表示することも可能である。
【０１１２】
図１に示すように、モニタ１５の画面は、運転席２Ｄないし助手席２Ｐに着座する操作者から見て、タッチパネル１２ａ上の指を直視する向きから外れて配置されているから、操作を行なう手元とモニタ１５との双方を同時に直視することができない。従って、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源となる。上記のように、撮影画像上での実指像の状態とは無関係に、個々の指を示す指示体画像ＳＦを該実指像よりも細くした形で画面上に確実に表示することができれば、撮影された実指像がそのまま太く拡大表示されて操作性に支障をきたす不具合を効果的に解消することができる。
【０１１３】
該効果は、図４５に一点鎖線で示すように、撮影範囲１０２ｂ（ひいては、タッチパネルの入力操作面１０２ａ）が縮小された場合に、さらに顕著となる。人差し指、中指及び薬指のうち、２本の全体が少なくとも撮影可能であり、４本の全体は撮影不能な大きさに設定されている場合、つまり、図５０に示すように、人差し指、中指、薬指及び小指の全てが入るのではなく、人差し指、中指、薬指の３本、あるいは、人差し指と中指（もしくは中指と薬指）の２本が入る大きさに設定されている場合がこれに該当する。
【０１１４】
この場合、撮影範囲１０２ｂ（入力操作面１０２ａ）の寸法を具体的な数値で表すと、Ｘ方向寸法は、６０ｍｍ以上８０ｍｍ以下（例えば７０ｍｍ）、Ｙ方向寸法が３０ｍｍ以上５５ｍｍ以下（例えば、４３ｍｍ）である。撮影範囲に収まる指の数は２本であるが、図５１に破線で示すように、もし、撮影された実指像ＦＩを二値化しただけでそのままモニタ１５の画面領域に表示しようとすると、撮影範囲が縮小される分だけ２本の実指像ＦＩが大きく拡大されて表示されることとなる。例えば図５１のように、画面切替えにより、モニタ１５に五十音入力用のソフトキーボードＫＢが表示可能な場合、ソフトボタンＳＢの数は５０を超え、拡大された実指像ＦＩの幅方向には３個を超えるソフトボタンＳＢの画像が重なる（つまり、このソフトキーボードＫＢの表示画面には、撮影画像上の実指像ＦＩを、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該実指像ＦＩの仮想投影領域に対しソフトボタンＳＢ画像が、指幅方向に複数（具体的には、２個を超える数で）包含される寸法ならびに配列間隔にて表示形成されている）。これでは、手指が狙ったソフトボタンに正しく向けられているのか否かが非常にわかりにくく、当然、狙ったボタンの隣を押し違えたりする不具合も生じやすい。
【０１１５】
しかし、図５１に実線で示すように、この実指像ＦＩよりも狭幅化した指示体画像ＳＦでこれを置き換え表示すれば、指示体画像ＳＦの幅方向に重なるソフトボタンＳＢの数は２個ないし１個に減じられ、指示体画像ＳＦ付近のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンＳＢのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上することは明らかである。
【０１１６】
なお、Ｙ方向の入力位置が大きく変化しうる場合は、それに伴なう手首位置のＹ方向変化も考慮する必要がある。この場合、図５２に示すように、表示座標平面上にて手首規定点Ｗを、特定された指先点Ｇと予め定められた位置関係を有するものとなるように設定すると、指示体画像ＳＦの配置方向のリアリティをより高めることができる。具体的には、Ｙ方向にて画面領域内に特定された指先点Ｇから一定長Ｙ２（例えば、Ｙ２は１００ｍｍ以上２００ｍｍ以下である）だけ下側に離間した位置に手首規定点Ｗを設定するとよい。
【０１１７】
次に、図１のような配置形態の操作部１２を、座席２Ｄないし座席２Ｐから手元操作しようとした場合を考える。着座状態で、体の左（運転席２Ｄの場合）ないし右（助手席２Ｐの場合）脇の操作部１２上に置いた手をＹ方向に移動する場合は、肩関節及び肘関節を動かしながら前方に伸ばした下椀部を前後に移動させる動作が中心となる。その結果、入力操作面１０２ａ上で撮影される掌の動きは、Ｙ方向にほぼ平行移動する形に近く、入力に関与する指の方向（角度）もそれほど大きくは変化しない。しかし、手をＸ方向に移動する場合は手首の回転動が主体的となり、入力操作面１０２ａ上で撮影される掌の動きは、掌中央付近の軸線周りに手を回転させる形態に近くなる。その結果、指入力に関与する指の方向（角度）は、手の回転角度に応じて変化することになる。
【０１１８】
そこで、図５３に示すごとく、指方向を決める手首規定点ＷのＸ座標を指先点ＧのＸ座標に応じて変化させる方式を採用すれば、上記のような手の動きを反映させる上で好都合である。図５３においては、画面領域（撮影範囲）の下方に、基準手首位置を示す基準手首規定点Ｗ０を固定的に定め、実指像ＦＩのＹ方向に対する傾斜角度θが大きくなるほど、基準手首規定点Ｗ０からのＸ方向への変位量が大きくなるように手首規定点ＷのＸ座標値を決定することができる。
【０１１９】
図５３においては、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に基準手首規定点Ｗ０のＸ座標を定め、また、既に特定された複数の指先点のうち、指先位置が最も上方に位置するもの（図２６では、中指に対応する指先点Ｇ３）を基準として、そこから一定値Ｙ２だけ下方へ移動した位置に基準手首規定点Ｗ０のＹ座標を定めている。
【０１２０】
上記のごとく、回転中心が掌の内側に存在する想定では、指先がＸ方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。そこで、方向に対し右上がり形態に傾斜している実指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し左側に変位するように手首規定点ＷのＸ座標値を決定し、Ｙ方向に対し左上がり形態に傾斜している実指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し右側に変位するように手首規定点ＷのＸ座標値を決定する。具体的には、指先位置が最も上方に位置する実指像ＦＩ（指先点Ｇ３に対応）を代表実指像として用い、該実指像ＦＩのＹ方向に対する傾斜角度（時計回りを正方向として定義する）θを求める。該傾斜角度θは、例えば実指像ＦＩを構成する画素点に最小二乗法を適用して得られる直線の勾配から計算することができる。求めるべき手首規定点Ｗの基準手首規定点Ｗ０からのＸ方向変位（あるいは、Ｘ座標値そのものであってもよい）を各種θの値毎に事前に定め、図３のＲＯＭ１０３に記憶しておけば、計算されたθに対応するＸ方向変位は、該テーブルから読み出すことで容易に決定できる。図５３においては、手首規定点ＷのＹ座標は、基準手首規定点Ｗ０のＹ座標と常に等しくなるように定めてある。つまり、手首規定点Ｗは、角度θに応じて、基準手首規定点Ｗ０を通ってＸ軸と平行な直線上を動く形で設定されている。ただし、円弧状の経路に沿って手首規定点Ｗを定めてもよい。
【０１２１】
なお、代表実指像としては、撮影範囲のＸ方向（またはＹ方向）の中心に最も近いＸ座標（またはＹ座標）を指先点として有するものを採用してもよい。また、複数の指先点（Ｇ１〜Ｇ５）のＸ座標及びＹ座標を平均化して得られる点を代表指先点として用いる形で手首規定点Ｗを定めてもよい。また、指先位置が奇数個の場合は中央にある実指像の指先点を、偶数個の場合は中央に近い２つの実指像を採用して、それらの指先点のＸ座標及びＹ座標を平均化して得られる点を、それぞれ代表指先点として定める方式も可能である。
【０１２２】
次に、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しＸ方向に互いに異なる位置に接続することとなる。そこで、図５４に示すように、複数の指先点Ｇ１〜Ｇ５について独立な手首規定点Ｗ１〜Ｗ５を決定し、指示体画像の配置方向を、各指先点Ｇ１〜Ｇ５について対応する手首規定点Ｗ１〜Ｗ５を用いて決定することができる。具体的には、基準手首規定点Ｗ０よりもＸ方向右側に位置している指先点Ｇ１，Ｇ２については、Ｘ座標が基準手首規定点Ｗ０よりも右側に位置するように対応する手首規定点Ｗ１，Ｗ２を設定し、基準手首規定点Ｗ０よりもＸ方向左側に位置している指先点Ｇ３，Ｇ４，Ｇ５については、Ｘ座標が基準手首規定点Ｗ０よりも左側に位置するように対応する手首規定点Ｗ３，Ｗ４，Ｗ５を設定している。
【０１２３】
なお、基準手首規定点Ｗ０に対するＸ方向変位（ｈ１〜ｈ５）の大きい指先点ほど、対応する手首規定点のＸ座標は基準手首規定点Ｗ０からのＸ方向への変位が大きくなるように定められている。具体的には、指先点の基準手首規定点Ｗ０に対するＸ方向変位に一定の倍率係数ｋ（例えば、０．１≦ｋ≦０．３）を乗じた値を、手首規定点ＷのＸ座標に係る基準手首規定点Ｗ０からのＸ方向変位として算出している。
【０１２４】
また、図２９は、操作者の手を手撮影カメラ１２ｂの撮影範囲１０２ｂに対し、挿入方向をガイド方向として該ガイド方向に規制しつつ挿入させる手ガイド部を設けた操作装置の構成例を示すものである。前述の先端領域（非重なり領域）の幅寸法は、そのガイド方向と直交する向きの寸法として規定される。図３０は、その入力部１２を拡大して示すものであり、筐体１２ｄの上面に、操作者の掌を乗せるためのパームレスト部１２ｐが形成されている。パームレスト部１２ｐの上面は、車両の前後方向（つまり、Ｙ方向）において中間が上向きに膨出した凸曲面状のガイド面１２０ｐとされ、手の掌長方向をＹ方向に一致させるように規制する働きをなす。そして、図２９に示すように、ガイド面１２０ｐ上に手を載せたとき、指の先端側部分がタッチパネル１２ａに係るように（つまり、指の先端側部分が撮影されるように）、該ガイド面１２０ｐの先端側に続く形でタッチパネル１２ａが配置されている。また、ガイド面１２０ｐのＸ方向における両縁には、Ｙ方向に伸びるガイドリブ１２０ｑが形成されており、ガイド面１２０ｐ上の手指がタッチパネル１２ａつまり撮影範囲に対しＹ方向に規制しつつ挿入されるようになっている。これらガイド面１２０ｐとガイドリブ１２０ｑとが前述の手ガイド部を形成している。撮影範囲の寸法は図５０に示すものと同様である。
【０１２５】
以上、本発明の画像表示装置を車載用電子機器の操作装置に適用した例について説明したが、本発明はこれに限定されるものではなく、例えば、パーソナルコンピュータ用のＧＵＩ入力デバイスなどにも適用可能である。
【符号の説明】
【０１２６】
１ 操作装置
１０ 操作ＥＣＵ
１２ 入力部
１２ａ タッチパネル（タッチ入力装置）
５１ ナビＥＣＵ（コマンド起動手段）
１０２ａ 操作面
１０２ｂ 撮影範囲
１２ｂ 手撮影カメラ（撮影装置）
１５ モニタ（画像表示装置、画像移動表示手段）
１０１ ＣＰＵ（指先点特定手段、指示体画像表示制御手段、画像移動表示手段、目印画像貼り付け手段、目印画像消去手段、操作ボタン画像表示制御手段）
ＦＩ 実手画像（指示体画像）
ＳＦ 模擬指画像（指示体画像）
１６１〜１６５ 操作ボタン画像（選択受付領域）
１６１ｉ〜１６５ｉ アイコン（目印画像、移動対象画像）
【技術分野】
【０００１】
本発明は操作装置に関する。
【背景技術】
【０００２】
従来、カーナビゲーション装置のような車載機器の操作装置として、操作者の手をカメラで撮影し、その撮影データから指画像を抽出し、抽出した指画像域を車載機器のＧＵＩ入力画面（例えば、ナビ画面など）に重畳表示するタイプのものが提案されている。例えば、特許文献１には、車体の天井に取り付けたカメラを用いて、座席手元のタッチ入力装置を操作する手の様子を撮影し、撮影した手とスイッチパネルとを、操作者の前方に対向配置された液晶パネルに表示する構成が開示されている。また、特許文献２には、車両のルーフに配置されたビデオカメラを用いてドライバの手を撮影して輪郭抽出し、表示器上のソフトボタンにその輪郭画像を重畳表示する構成が開示されている。さらに、特許文献３には、スイッチマトリックス上の操作ボタンと手とを撮像し、タッチセンサによりスイッチマトリックスに手が近づいたことを検出して、手画像をスーパーインポーズして表示する構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３３５３３０号公報
【特許文献２】特開２０００− ６６８７号公報
【特許文献３】特開２００４− ２６０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の操作システムにて使用されるタッチ入力装置は二次元入力面を有し、本来的にはマウスやトラックボールないしトラックパッドと同様の連続的な二次元位置検出が可能な入力デバイスである。しかし、メニュー選択や文字入力、あるいは地図上での位置選択といった操作が主体的となる場合（特に、車載電子機器の場合）は、画面上の個別のキー、ボタンあるいは地図上の所望位置等を狙ってタッチする操作が主体的となり、入力面との接触状態を保って連続的に指を動かす操作は、経過位置での誤入力を招きやすいため忌避される傾向にある。その結果、その入力形態は、入力と無関係な指の移動はパネル面から指を離して行ない、入力希望位置でのみパネル面に指を接触させる離散的なものとなる。このような入力形態となる要因は、タッチ入力装置の場合、タッチ操作面上での位置検出機構と希望位置での入力検出機構とがタッチ面への接触検出機構により一本化され、マウスのクリックボタンのように位置検出機構から分離構成された入力検出機構を持たない点にある。
【０００５】
例えば、マウスであれば、画面上のアイコン等の対象図形にポインタを位置合わせし、次いでボタンクリックにより選択状態として、そのボタンクリック状態を維持しつつ操作面上でマウスを動かすことにより、対象図形のドラッグ操作を簡単に行なうことができる。移動中のマウス位置は位置検出機構により刻々検出されるので、対象図形の画面上の移動軌跡はマウスの操作軌跡によく対応し、直感的な操作が可能である。しかし、タッチ入力装置では、対象図形の選択と、その移動先の指定とはタッチ操作で実行できても、指がタッチ操作面から離れてしまうと指位置検出ひいてはドラッグ移動軌跡のモニタリングが不能となる。その結果、対象図形を指先移動軌跡に対応させて画面上で移動表示する処理が行なえず、マウス等と同等の直感的な操作を実現することができなかった。
【０００６】
本発明の課題は、タッチ入力装置を使用しつつ、操作者の指がタッチ操作面から離れても、表示画面上の移動対象画像を、現在の指先点を示す指示体画像とともに連動移動表示でき、ひいては直感的な画像ドラッグ操作が可能な入力装置を提供することにある。
【課題を解決する手段及び発明の効果】
【０００７】
上記の課題を解決するために、本発明の操作装置は、
操作者の指先によるタッチ操作を受け付ける操作面を有し、該タッチ操作による入力位置を検出し出力するタッチ入力装置と、
操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する操作者の手を撮影する撮影装置と、
撮影装置が撮影取得する手画像データに基づき手の指先点を特定する指先点特定手段と、
操作面ならびに撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
画像表示装置に対し指先点を指示する指示体画像を表示画面上に表示させる指示体画像表示制御手段と、
画像表示装置に対し表示画面上の予め定められた位置に選択受付領域を設定する選択受付領域設定手段と、
操作面上にて選択受付領域の対応位置にタッチ操作が検出されるに伴い、該選択受付領域に対応付けて用意された移動対象画像を選択する移動対象画像選択手段と、
指先点特定手段が検出する指先点のうち、タッチ操作に対応する指先点を対象指先点として、表示画面上の対象指先点の対応位置に、選択された移動対象画像を指示体画像とともに表示するとともに、対象指先点が撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像を指示体画像とともに連動移動させる画像移動表示手段と、を備えたことを特徴とする。
【０００８】
本発明の操作装置においては、特許文献１〜３に開示された従来の操作装置と同様に、タッチ入力装置に接近する操作者の手を撮影する撮影装置を設ける。上記従来の操作装置においては、手の撮影情報が操作位置を示す手輪郭画像の画面上への重畳表示に利用されるに留まり、画像情報自体が入力情報として有効に利用されているとはいい難かった。本発明者は、撮影取得される手画像に、操作者の指先点の位置情報も内包されており、かつ、手画像を用いた指先点の特定が、タッチ入力装置における上記指先点に対応するタッチ操作位置検出とは独立して行なえる点に着目して本発明を完成させるに至った。
【０００９】
すなわち、本発明においては、撮影された手画像に基づいて検出される指先点のうち、タッチ操作に対応する指先点を対象指先点として、表示画面上の対象指先点の対応位置に、選択された移動対象画像を指示体画像とともに表示する。そして、対象指先点が撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像を指示体画像とともに連動移動させる。すなわち、移動対象画像を選択するためのタッチ操作の後、指が操作面から離れても、指先点を撮影取得された手画像に基づいて刻々追跡することができ、表示画面上の移動対象画像を、現在の指先点を示す指示体画像とともに連動移動表示できるので、直感的な画像ドラッグ操作を問題なく実現することができる。
【００１０】
指示体画像表示制御手段は、撮影装置の撮影画像から抽出される手の実指像を指示体画像として使用するものとして構成できる。この構成によると、撮影された手画像、すなわち手の実指像が指示体画像として使用され、画面上に重畳表示される操作者自身の指の像を見ながらタッチ入力装置上での入力操作を行なうことができるので、より直感的な操作が可能となる。
【００１１】
他方、指示体画像表示制御手段は、撮影装置が撮影取得する画像データとは別に用意された指示体画像データを用いて指示体画像を表示するように構成することもできる。このような指示体画像は、例えば、矢印図形等を用いた一般的なポインタ画像としてもよいし、事前に撮影取得されている操作者自身ないし他人の手（指）の画像を使用することも可能である。
【００１２】
他方、撮影画像から抽出される手の実指像を指示体画像として使用する場合は、操作面の寸法が表示画面寸法に対して相対的に縮小すると、手の表示寸法が入力画面上で拡大されてしまい、指が過度に太く表示されて指先点の正確な把握が困難になる問題がある。このような場合、リアルタイムで撮影取得される実指像はあくまで指先点の特定にのみ用い、画面領域上には、別に用意された指示体画像を貼り付け表示することにより、撮影画像上での実指像の状態とは無関係に、個々の指を示す指示体画像を該実指像よりも細くした形で画面上に確実に表示することができ、ひいては指像が過度に太く表示されることによる違和感の発生を防止することができる。
【００１３】
この場合、具体的には、指示体画像として、撮影装置の撮影画像から抽出される手の実指像よりも狭幅となる、指の輪郭形状を模した模擬指画像を使用することができる。このような模擬指画像を使用することで、実指像を用いなくとも、現在の操作位置をより直感的に把握することが可能となる。
【００１４】
画像移動表示手段は、選択受付領域へのタッチ操作を第一タッチ操作として、該第一タッチ操作により移動対象画像が選択された後該第一タッチ操作が解除され、その状態で対象指先点が移動した場合に、移動対象画像を指示体画像とともに連動移動表示する連動移動モードとなり、該対象指先点の移動後に操作面上の該対象指先点の対応位置にて第二タッチ操作が検出されるに伴い、当該第二タッチ操作の検出位置にて該連動移動表示モードを解除するものとして構成できる。これによると、選択受付領域への第一タッチ操作により移動対象画像を選択し、その後は、タッチ操作が生じない状態で移動対象画像を希望位置まで指示体画像とともに連動移動表示（ドラッグ表示）でき、第二タッチ操作が発生した位置で連動移動表示を終了できる。つまり、操作面への非タッチ操作期間を挟む２つのタッチ操作により、連動移動表示（ドラッグ表示）の開始タイミング及び位置と終了タイミング及び位置とを簡単かつ明確に規定することができる。
【００１５】
本発明の入力装置は、所定のプログラムの実行に基づき、その入力情報を用いてデータ処理を行なうための、コンピュータハードウェアを主体としたデータ処理装置に適用される。撮影画像から特定される対象指先点には、対応位置でのタッチ操作が必ず随伴しており、そのタッチ操作は、上記データ処理装置における何らかのデータ処理の起動に使用される。他方、タッチ入力装置では、手で直接操作する状況では、複数本の指が撮影により特定されるケースも多く、この場合は、表示画面上においても複数の指先点が特定され、各々指示体画像が表示されることとなる。この場合、直感的でわかりやすい操作を実現するためには、上記データ処理の起動トリガを与えるタッチ操作がどの指で行なわれたか、つまりどの指先点が対象指先点となっているかを、表示画面上で明確に識別できることが必須となる。
【００１６】
従来のこの種の入力装置では、画面上に位置固定に表示された個別のキーやボタン等に対するタッチ操作が生じた場合にのみデータ処理の起動トリガを与えればよかったので、タッチ操作がどの指で行なわれたかは、そのタッチ操作がなされたキーやボタンを色反転したり、あるいは操作音を発生させることにより比較的簡単に把握ができた。しかし、タッチ操作解除後の対象指先点の動きを追跡したい場合、タッチ入力情報に基づく位置変化追跡は本質的に不能である。そこで、上記の移動対象画像は、対象指先点の位置を強調する目印画像とすることができる。すなわち、撮影画像から対象指先点を追跡し、目印画像を該対象指先点に随伴する移動対象画像とすることで、タッチ操作解除後においても対象指先点の動きを明確に把握することができる。
【００１７】
この場合、目印画像を意匠として含む操作ボタン画像を表示画面上の選択受付領域に表示する操作ボタン画像表示制御手段を設けることができる。選択受付領域に操作ボタン画像を表示することにより、該操作ボタン画像にタッチ操作することで、操作ボタン画像と対応付けられた機能選択を直感的に行なうことが可能となる。また、操作ボタン画像上の目印画像が移動対象画像として対象指先点に貼り付けられ対象指先点と連動して移動するので、操作者は対象指先点の移動中にあっても、どの操作ボタンの選択中であるかを常に明確に把握することができる。
【００１８】
この場合、連動移動表示モードが解除されるに伴い、表示画面上の第二タッチ操作の検出対応位置に目印画像を貼り付ける形で固定表示する目印画像貼り付け手段を設けることができる。この構成は、特に画面上での位置設定が必要な機器機能設定に有効であり、ボタン操作した指先点の現在位置及び移動軌跡は目印画像の連動移動により、第二タッチ操作により確定した設定位置は目印画像の貼り付け位置によりそれぞれ容易に把握でき、極めて直感的でわかりやすい位置設定操作が可能となる。一方、上記の操作により一旦確定された設定位置の解除を行ないたい場合は、連動移動表示モードが解除されるに伴い、表示画面上の第二タッチ操作の検出対応位置にて、指示体画像と連動移動表示されていた目印画像を消去する目印画像消去手段を設けておくと便利である。
【００１９】
目印画像は操作装置の適用対象となる電子機器の特定機能と一義的に対応付けられてなり、第二タッチ操作が検出されるに伴い、該目印画像に対応する特定機能の制御コマンドを起動する制御コマンド起動手段を設けておくことができる。これにより、機器機能の起動を、その機能が要求する位置設定とともに第二タッチ操作により一括して実行でき、かつ、選択した機能の種別と最終的な設定位置とを、貼り付けられた目印画像により簡単に把握することができる。
【００２０】
特に、位置設定の必要な機能が複数用意されている場合は、表示画面上の互いに異なる複数の選択受付領域に、複数の電子機器機能に一対一に対応付けられた個別の目印画像を意匠として含む操作ボタン画像をそれぞれ表示する操作ボタン画像表示制御手段を設けておくとよい。画像移動表示手段は、第一タッチ操作がなされた操作ボタン画像に対応する目印画像を選択して連動移動モードへ移行するとともに、制御コマンド起動手段は、選択された目印画像に対応する特定機能の制御コマンドを起動するように構成される。目印画像の意匠が異なる複数の操作ボタン画像を選択受付領域に配列することにより複数機能のラインナップを視覚的に容易に把握でき、そのうちのどの機能を選択中であるかを、連動移動表示される目印画像の意匠により容易に識別することができる。
【００２１】
次に、タッチ入力装置は、操作面の一部のみをコマンド起動有効領域として定めておくことができる。コマンド起動手段は、操作面のコマンド起動有効領域にて第二タッチ操作が検出された場合に制御コマンドを起動し、該コマンド起動有効領域外に第二タッチ操作が検出された場合は制御コマンドを起動しないように構成される。この場合、操作ボタン画像は、表示画面上にてコマンド起動有効領域に対応する画面領域外に表示しておくことで、操作ボタン画像の周囲領域に誤タッチ操作を行なっても、コマンド起動有効領域への意図せざるタッチ操作を生じにくくなり、それによる機器の誤動作も防止することができる。
【００２２】
特に、表示装置の画面領域（画面）が操作者に対し、該操作者が入力操作面上の指を直視する向きから外れて配置されている構成では、操作を行なう手元と画面との双方を同時に直視できない。従って、画面上の指示体画像と、これと連動移動する目印画像とを用いた本発明の概念を適用することにより、位置指定を伴なう機能操作を、手元を見ずとも極めて直感的にかつ確実に実行することができる。
【００２３】
車載電子機器の具体例として、カーナビゲーションシステムを例示できる。この場合、入力操作面は操作者の着座する座席の左右脇（ないしその斜め前方）に配し、表示装置の画面を該入力操作面よりも上方にて、操作者の前方ないし斜め前方に対向配置することができる。表示画面の一部はコマンド起動有効領域に対応した地図表示領域として定められ、カーナビゲーションシステムの該地図表示領域上での地点指定を伴う制御コマンドを、該地図表示領域外に表示される選択受付領域をなす操作ボタン画像に対応付けることができる。コマンド起動手段は、操作面の地図表示領域の対応領域内にて第二タッチ操作が検出された場合に制御コマンドを起動し、該対応領域外に第二タッチ操作が検出された場合は制御コマンドを起動しないものとして構成される。地図表示領域上での地点指定を伴う制御コマンドは、具体的には、地図表示領域上への目的地設定コマンド、地図表示領域上への経由地設定コマンド、周辺施設検索コマンド及び地図拡大表示コマンドなどである。
【００２４】
表示画面には、指示体画像を表示可能な一定の有効領域を定めておくことができる。画像移動表示手段は、連動移動モードの実行中において対象指先点が有効領域から脱出した場合に、目印画像の選択状態と連動移動モードとを解除するように構成できる。これにより、目印画像を一旦選択した後も、指を上記の有効領域外に出すことで該選択状態を簡単に解除することができる。
【００２５】
一方、目印画像の選択状態（つまり連動移動モード状態）にて、指を上記の有効領域外に出した場合、該選択状態（連動移動モード状態）を解除せず、選択保持状態とすることも可能である。この場合、画像移動表示手段は、連動移動モードの実行中において対象指先点が有効領域から脱出した場合に、目印画像を選択保持するとともに、その状態で、脱出した対象指先点もしくは当該対象指先点の代替として予め定められた指先点が有効領域内に検出された場合に、当該指先点を新たな対象指先点として、選択保持中の目印画像を用い、連動移動モードを継続するように構成することができる。特に、目印画像の選択状態で指を誤って有効領域の外に出してしまった場合においても、該選択状態が保持されるので、再度目印画像を選択しなおす必要がない。
【００２６】
一方、画像移動表示手段は、連動移動モードの実行中において対象指先点の動作を検出する対象指先点動作検出手段を有し、検出された動作が予め定められた連動移動モード解除動作に該当する場合に、目印画像の選択状態と連動移動モードとを解除するように構成することもできる。対象指先点の動作に特定の連動移動モード解除動作を定めておけば、目印画像を一旦選択した後も、該解除動作を行なうことにより該選択状態を簡単に解除することができる。
【００２７】
撮影装置は、撮影範囲に対し予め定められた挿入方向に操作者の手が挿入されるものとして構成できる。この場合、撮影画像の挿入方向における先端領域を抽出する先端抽出手段と、撮影範囲における先端領域の位置を画像先端位置として特定する画像先端位置特定手段と、先端領域の寸法及び面積の少なくともいずれかに基づいて、画像先端位置が真の指先点を示すものであるか否かを判定する指先判定手段と、先端位置が真の指先点と判定された場合に、先端位置の座標を真の指先点の座標として出力する指先点座標出力手段とを設けることができる。
【００２８】
上記構成によると、撮影装置の撮影範囲には、予め定められた挿入方向に操作者の手が挿入され、その挿入方向の先端に指先も位置する。そこで、撮影画像の挿入方向における先端領域を抽出し、その先端領域の寸法や面積が妥当な値になっているか否かに応じて、該先端領域が真の指先を示すものであるか否かをより正確に判定することができる。
【００２９】
先端抽出手段は、撮影画像を第一画像とし、該第一画像を挿入方向に平行移動して得られる画像を第二画像として、挿入方向の先端側に生ずる、それら第一画像と第二画像との非重なり領域を先端領域として抽出するものとして構成することができる。この構成によると、撮影画像を手の挿入方向（つまり、掌長方向）に平行移動して重ね合わせることにより、指先領域を両画像の非重なり領域として簡単に特定することができる。
【００３０】
この方法では、撮影範囲に挿入される手を掌面側から反射光により撮影することになるが、上記のような平行移動による第二画像との差分（非重なり領域）により指先領域を抽出・特定する方式であれば、特許文献２のごとく、斜め上方からの撮影により指腹を撮影する方式を採用せずとも、手の外形輪郭が明確に撮影できればよいので、撮影装置は、撮影範囲に対し掌面を下向きにして水平方向前方に差し出される手を下側から撮影するものとして構成できる。これにより、特許文献２のように、天井に設けたカメラと手との間に入り込む外乱光や異物の影響を受ける心配がない。特に、手の撮像側表面に照明光を投射する照明手段を設け、照明光の手による反射光に基づいて手像を撮影するように撮影装置を構成すれば、手像と背景との画像分離を容易に図ることができる。
【００３１】
当然、画像先端位置座標特定手段は、非重なり領域として特定される先端領域の位置を、指先点の候補となる画像の先端位置として特定することができる。非重なり領域の位置は、該領域と一定の幾何学的関係を充足する代表点により座標規定できるが、具体的には非重なり領域の幾何学的重心位置をその代表点として採用できる。ただし、代表点は幾何学的重心位置に限定されるものではない。
【００３２】
非重なり領域の寸法又は面積は、それが真の指先領域であるならば、人の指に対応した規定範囲内の値を示すはずであるから、逆にその規定範囲を逸脱する寸法又や面積を示す非重なり領域は、操作者の指先ではない領域（例えば手以外の撮影物や、手であっても指先ではない領域）として確実に除外判定することが可能である。つまり、指先判定手段は、抽出された先端領域をなす非重なり領域の寸法又は面積が規定範囲内にあるか否かに基づいて、該非重なり領域が真の指先領域であるか否かを判定するものとして構成することができる。
【００３３】
次に、撮影装置に関連して、操作者の手を撮影範囲に対し、挿入方向をガイド方向として該ガイド方向に規制しつつ挿入させる手ガイド部を設けることができる。これにより、撮影範囲に対する操作者の手の挿入方向をより一定化することができる。すると、撮影される操作者の指長手方向は、上記のガイド方向にほぼ常に平行な位置関係を示すことになり、非重なり領域の寸法は、そのガイド方向と直交する向きにおいて幅寸法とほぼ一致することとなる。そこで、抽出された非重なり領域の、ガイド方向と直交する向きの寸法を幅寸法として、指先判定手段は該幅寸法が規定範囲内にあるか否かに基づき、先端領域が真の指先領域であるか否かを判定することができる。これにより、非重なり領域の寸法測定方向を一定化すること、例えば、ガイド方向と直交（ただし、±４５゜程度の角度範囲であれば、真の直交方向からずれていても差し支えない）する方向に固定することができ、先端領域が真の指先領域であるか否かを判定するための測定アルゴリズムを大幅に簡略化することができる。
【００３４】
上記のように、撮影画像である第一画像と、その手挿入方向への平行移動画像である第二画像との非重なり領域により指先領域を抽出する方式を用いれば、先端抽出手段は、撮影範囲内に複数本の指が挿入されることにより、第一画像と第二画像との非重なり領域が複数分離して特定された場合に、それら複数の非重なり領域をそれぞれ指先領域の候補として抽出することができ、ひいては複数の指先領域を同時に位置入力に活用することも可能となるので、操作装置の入力の自由度を高めることができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。
【００３５】
また、指先判定手段は、撮影画像の総面積をＳとし、個々の非重なり領域から、撮影範囲の手の挿入側に位置する縁までの合計距離をｄとしてＳ／ｄの値を指幅として推定し、該Ｓ／ｄが規定範囲内にあるか否かに基づいて、非重なり領域が真の指先領域であるか否かを判定するように構成することができる。単に重なり領域の幅を直接特定するだけでなく、さらに撮影画像の総面積をＳとし、個々の非重なり領域から撮影範囲の手の挿入側に位置する縁までの合計距離をｄとして、Ｓ／ｄの値を指幅として推定することで、先端位置から撮影範囲の手の挿入側に位置する縁まで連続的につながった指画像を撮影画像が含んでいるか否かを特定でき、先端位置付近のみ断片的に検出される指ではない撮影物（例えば、貨幣等の小異物）を指と誤認する不具合を効果的に防止できる。同様に、指先判定手段は、撮影画像の総面積をＳとし、非重なり領域の個数をＮとして、Ｓ／Ｎの値を平均指面積として推定し、該Ｓ／Ｎが規定範囲内にあるか否かに基づいて、非重なり領域が真の指先領域であるか否かを判定することも可能である。
【００３６】
前述の指示体画像は、撮影画像の先端領域が真の指先領域として判定された場合にのみ、該指先領域が示す指先点にこれを表示し、撮影画像の先端領域が真の指先領域として判定されなかった場合は表示しないようにする。真の指先点と判定されなかった先端位置に指示体画像を表示しないように構成することで、指以外の撮影物により誤検出された指先位置にも指示体画像が貼り込まれ、操作者としては撮影範囲内に手を入れていないことを明らかに把握しているにもかかわらず、画面上に指画像が表れて違和感が大きくなってしまう問題も根本的に生じない。
【００３７】
また、本発明の操作装置においては、操作者の指先部分が撮影範囲の外へはみ出した場合に、撮影範囲内に残っている指部分の先端を真の指先領域と誤認する可能性がある。そこで、撮影範囲は、画面領域に対応する画面対応領域と、該画面対応領域の外周縁に沿って外側に所定幅で形成される画面外領域とを有するものとして形成できる。指先点座標出力手段は、画像先端位置座標特定手段による撮影画像の先端位置座標が画面対応領域内に位置することを条件として、先端位置の座標を指先点の座標として出力するように構成する。すなわち、操作者の手画像が画面外領域にまではみ出して撮影取得されている場合は、真の指先は明らかに、表示対照となる画面領域の外にあることが明確に把握できるので、この場合は、抽出された画像の先端位置の座標を指先点として認定せず、座標として出力しないように構成することで、上記の不具合を効果的に防止することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の操作装置の車内取付形態の一例を示す斜視図。
【図２】その操作部の内部構造の一例を示す断面模式図。
【図３】図１の操作装置に係る電気的構成の一例を示すブロック図。
【図４】図１の操作装置の適用対象となるカーナビゲーション装置に係る電気的構成の一例を示すブロック図。
【図５】手撮影カメラの撮影範囲とカーナビゲーション装置の表示画面との対応関係を示す説明図。
【図６】指先位置を決定する画像処理の流れを示す説明図。
【図７】指先位置メモリの内容を示す概念図。
【図８】アイコン登録メモリの内容を示す概念図。
【図９】取消動作の解析例を示す模式図。
【図１０】図４の構成に係る操作装置の主処理の流れを示すフローチャート。
【図１１Ａ】指先位置特定処理の流れを示すフローチャート。
【図１１Ｂ】指先判定処理の詳細を示すフローチャート。
【図１２】アイコン登録処理の流れを示すフローチャート。
【図１３】アイコン登録管理処理の流れを示すフローチャート。
【図１４】アイコン合成表示処理の流れを示すフローチャート。
【図１５】コマンド実行処理の流れを示すフローチャート。
【図１６】目的地設定に係る操作流れ及び表示状態遷移を示す説明図。
【図１７】図１６に続く説明図。
【図１８】図１７に続く説明図。
【図１９】アイコン登録解除に係る操作流れ及び表示状態遷移を示す説明図。
【図２０】連動移動モード解除動作を用いた操作流れ及び表示状態遷移を示す説明図。
【図２１】消しゴムツールの操作流れ及び表示状態遷移を示す説明図。
【図２２】図２０に続く説明図。
【図２３】地図スクロールに係る操作流れ及び表示状態遷移を示す説明図。
【図２４】経由地設定に係る操作流れ及び表示状態遷移を示す説明図。
【図２５】周辺検索に係る操作流れ及び表示状態遷移を示す説明図。
【図２６】図２５に続く説明図。
【図２７】地図拡大に係る操作流れ及び表示状態遷移を示す説明図。
【図２８】図２７に続く説明図。
【図２９】本発明の操作装置の変形例を示す側面模式図。
【図３０】その入力部の一例を拡大して示す斜視図。
【図３１】先端領域の幅の概念を説明する図。
【図３２】複数の先端領域を分離するためのラベリング処理の概念を説明する図。
【図３３】二値化された種々の撮影画像の例を示す説明図。
【図３４】手以外の被写体の先端領域を非指先領域として除外する処理の例を説明する図。
【図３５】被写体領域の面積と先端領域のＹ方向位置とに基づいて指幅推定演算を行なう概念を示す図。
【図３６】表示画面外に指先がはみ出す場合の問題点を説明する図。
【図３７】表示外撮影領域の導入により、図３６の問題を解決する概念を説明する図。
【図３８】図３７の原理により、複数の先端領域のそれぞれについて真の指先領域であるか否かを判定する例を示す図。
【図３９】先端領域のアスペクト比に基づいて真の指先領域であるか否かを判定する概念を説明する図。
【図４０】先端領域のアスペクト比に基づいて真の指先領域であるか否かを判定する別例を示す図。
【図４１】被写体領域の面積と先端領域の個数とに基づいての指先領域であるか否かを判定する概念を説明する図。
【図４２】指先位置移動距離に基づいてアイコン登録を維持するか否かを判定する概念を説明する図。
【図４３】指先位置が表示領域外となった場合にアイコン登録を保留する実施形態を説明する図。
【図４４】本発明が適用可能な移動対象画像の別例を示す説明図。
【図４５】手首規定点及び指直線を決定する幾何学的な原理を説明する図。
【図４６】図４５で決定された指直線に沿って指示体画像を貼り付けた状態を示す説明図。
【図４７】模擬指画像の第一例を示す図。
【図４８】同じく第二例を示す図。
【図４９】同じく第三例を示す図。
【図５０】入力操作面を縮小寸法とした場合の指画像と入力操作面との位置関係、及び該指画像を重畳した画面表示例を示す図。
【図５１】指示体画像を重畳した画面表示例を示す図。
【図５２】手首規定点を決定する第一の別例を説明する図。
【図５３】手首規定点を決定する第二の別例を説明する図。
【図５４】手首規定点を決定する第三の別例を説明する図。
【発明を実施するための形態】
【００３９】
以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明の画像表示装置の適用対象となる、車載用電子機器の操作装置の一例を示すものである。この操作装置１は、自動車の車室内において、インパネ中央部にモニタ（表示装置）１５が配置され、センターコンソールＣの、運転席２Ｄ及び助手席２Ｐのいずれからも操作可能な位置に操作部１２が配置されている。使用目的は特には限定されないが、例えばセンターコンソールに設けられたモニタ１５の画面を見ながら、カーナビゲーション装置やカーオーディオ装置の機能操作を行なうためのものである。
【００４０】
操作部１２は、入力操作面が上向きとなるように取り付けられている。該入力操作面を形成するのは周知のタッチパネル１２ａであり、抵抗膜方式、表面弾性波方式あるいは静電容量方式のいずれを採用してもよい。タッチパネル１２ａは、その基材が透明樹脂板あるいはガラス板等により透明入力支持板として構成され、操作者の指先によるタッチ操作を上面側にて支持しつつ受け付ける。そして、モニタ１５の画面領域に対応した入力座標系が板面に沿って設定される。
【００４１】
図２は、入力部１２の内部構造を模式的に示す断面図であり、筐体１２２ｅの上面に前述のタッチパネル１２ａが、入力操作面１０２ａ側が上となるように嵌め込まれている。筐体１２ｄの内部には、照明光源１２ｃ及び撮影光学系とともに手撮影カメラ（撮影装置）１２ｂが収容されており、撮影画像取得手段を構成している。照明光源１２ｃは、凸曲面形態のモールドにより素子直上側への輝度指向性を高めた発光ダイオード光源（従って、単色光源である）であり、タッチパネル１２ａの下面を取り囲む形態で複数配置されている。各照明光源１２ｃは、高輝度となるモールド先端側をタッチパネル１２ａの下面内側に向けそれぞれ傾けて取り付けてあり、入力操作面１０２ａ上の操作者の手Ｈの掌面による一次撮像反射光ＲＢ１が、タッチパネル１２ａを透過する形で下向きに生ずるようになっている。
【００４２】
撮影光学系は、第一反射部１２ｐと第二反射部１２ｒとを有する。第一反射部１２ｐは、タッチパネル１２ａの直下に対向配置されたプリズム板（三角柱状の微小プリズムを面内に並列に配置した透明材料板：以下、プリズム板１２ｐともいう）であり、操作者の手Ｈからの一次撮像反射光ＲＢ１を斜め上方に反射することにより、該プリズム板１２ｐとタッチパネル１２ａとの対向空間１２ｆの側方外側へ二次撮像反射光ＲＢ２として導く。第二反射部１２ｒは上記対向空間の側方外側に配置された平面反射鏡（以下、平面反射鏡１２ｒともいう）であり、上記二次撮像反射光ＲＢ２を側方へ反射することにより、対向空間１２ｆを挟んで第二反射部１２ｒの反対側に位置する手撮影カメラ１２ｂに対し三次撮像反射光ＲＢ３として導く。手撮影カメラ１２ｂは該三次撮像反射光ＲＢ３の焦点に対応する位置に設けられ、操作者の指を含む手Ｈの撮影画像を取得する。
【００４３】
プリズム板１２ｐは、図２内に拡大して示すように、ミラー基面ＭＢＰに対しそれぞれ等角度で傾斜する反射面を有したリブ状の微小プリズムを、ミラー基面ＭＢＰに沿って互いに平行となるように密接形成したものであり、ミラー基面ＭＢＰを傾けずとも、その法線方向に入射する光を（斜め）側方へ反射することができる。従って、側方反射のための第一反射部１２ｐをタッチパネル１２ａの下方に平行対向する形で配置でき、対向空間１２ｆの高さ方向寸法を大幅に縮小できる。
【００４４】
また、その対向空間１２ｆを側方から挟んで第二反射部１２ｒと手撮影カメラ１２ｂとを対向配置することで、手撮影カメラ１２ｂに直接入射する三次撮像反射光ＲＢを、対向空間１２ｆを横切る形で導くことができる。これにより、第二反射部１２ｒと手撮影カメラ１２ｂとを、タッチパネル１２ａの側縁に近接配置でき、かつ、手Ｈから手撮影カメラ１２ｂへの撮像反射光の入射経路が、対向空間１２ｆ内でいわば三つ折状に畳み込まれる形になるので、撮像光学系全体の大幅なコンパクト化と、筐体１２ｄの薄型化とが実現されている。特に、タッチパネル１２ａのサイズ（つまり、入力操作面１０２ａの縦横寸法）を縮小することで、入力部１２全体の劇的な小形化及び薄型化が実現し、図１のセンターコンソール部Ｃの幅が比較的小さい車両や、シフトレーバー前方の限られた取付スペースしか活用できない車両にも問題なく取り付けが可能となる。
【００４５】
タッチパネル１２の入力操作面１０２ａは、手撮影カメラ１２ｂの撮影範囲１０２ｂに対応しており、平均的な寸法の大人の手を想定した場合に、中指の指先端を含む長手方向の一部のみが入力操作面１０２ａ内に入るように、その上下方向（Ｙ方向）寸法が定められている（例えば、６０〜９０ｍｍ（具体例として７５ｍｍ））。これにより、モニタ１５の画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。また、入力操作面１０２ａの左右方向（Ｘ方向）寸法は１１０〜１３０ｍｍ（例えば、１２０ｍｍ）であり、手を乗せて各指を大きく開いた状態では、人差し指、中指、薬指及び小指が撮影範囲内となり、親指が撮影範囲外となっている。ただし、各指を適当に閉じれば全ての指を撮影範囲内に収めることも可能である。
【００４６】
図３は、操作装置１の電気的構成を示すブロック図である。操作装置１の制御主体をなすのは操作ＥＣＵ１０である。該操作ＥＣＵ１０は、ＣＰＵ１０１を主体とするコンピュータハードウェア基板として構成され、具体的には、ＣＰＵ１０１、ＲＡＭ１１０２、ＲＯＭ１０３、ビデオインターフェース１１２、タッチパネルインターフェース１１４、汎用入出力部１０４及びシリアル通信インターフェース１１６が内部バス１０５により相互接続された構造を有する。ビデオインターフェース１１２には撮影用ビデオＲＡＭ１１３及び手撮影カメラ１２ｂ（撮影装置）が、タッチパネルインターフェース１１４にはタッチパネル１２ａ（タッチ入力装置）が、そして、汎用入出力部１０４にはドライバ（駆動回路）１１５を介して照明光源１２ｃがそれぞれ接続されている。また、シリアル通信インターフェース１１６には、ＣＡＮ通信バスなどの車載用シリアル通信バス３０が接続され、これにネットワーク接続された他のＥＣＵ、具体的にはカーナビゲーション装置２００（図４）の制御を司るナビＥＣＵ５１と相互通信可能とされている。
【００４７】
ビデオインターフェース１１２には、手撮影カメラ１２ｂが取得するアナログもしくはデジタルの映像信号が継続的に入力されるとともに、撮影用ビデオＲＡＭ１１３内に画像フレームデータとして、所定の時間間隔で取り込まれる。撮影用ビデオＲＡＭ１１３の記憶内容は、新しい画像フレームデータが取り込まれる毎に随時更新される。
【００４８】
タッチパネルインターフェース１１４は、タッチパネル１２ａの方式に応じた固有の駆動回路を有するとともに、タッチパネル１２ａからの信号入力状態に基づいて、入力操作面１０２ａへのタッチ操作による入力位置を検出し、その検出結果を位置入力座標情報として出力する。
【００４９】
なお、手撮影カメラ１２ｂの撮影範囲（撮影視野；ひいては、該手撮影カメラ１２ｂにより取得される撮影画像）、タッチパネル１２ｂの入力操作面、モニタ１５の画面領域（ひいては、その表示内容を決定する入力画面画像フレームデータ及び指示体画像フレームデータ）には、二次元座標対応関係が一義的に定められている。
【００５０】
また、ＲＯＭ１０３には、ＣＰＵ１０１が実行する以下のようなソフトウェアが格納されている。
・タッチパネル制御ソフトウェア１０３ａ：タッチパネルインターフェース１１４から入力位置座標（タッチ操作位置）を取得し、入力画面画像フレームデータとともにナビＥＣＵ５１から送られてくる、操作入力内容の判定参照情報（例えば、ソフトボタンの領域特定情報や、当該ソフトボタンがタッチ操作されたときに出力するべき操作コマンド内容等の情報を含む）を取得する。そして、該入力位置座標と取得した判定参照情報とに基づいて現在の操作入力内容を特定し、ナビＥＣＵ５１に対して対応する操作コマンドの実行指令出力を行なう。
【００５１】
・指先点演算ソフトウェア１０３ｂ（指先点特定手段）：ＲＡＭ１１０２内の指先点演算処理メモリ１１０２ａ’を作業領域として動作する。手撮影カメラ１２ｂが撮影した操作者の手の撮影画像を二値化し、その実指像の指先位置を指先点として特定する演算、具体的には、二値化された撮影画像の挿入方向における先端領域ｔａの所定の代表点（ここでは幾何学的重心位置）を画像先端位置ｔｐ（指先点ｔｐ）として特定する演算を行なう。また、先端領域ｔａの寸法及び面積の少なくともいずれかに基づいて、画像先端位置ｔｐが真の指先点ｔｐを示すものであるか否かを判定する。なお、手の撮影画像の二値化処理は、ビデオインターフェースの出力段に画素の二値化回路を組み込んで事前に行なうようにしてもよい。特定された指先点（指先位置）の座標は、図７に示すように、当該作業領域内の指先点メモリ１１０２ａ’内に記憶される（同時に特定される複数個（例えば、最大５個まで）の指先点を記憶可能である）。
【００５２】
・表示制御ソフトウェア１０３ｂ（選択受付領域設定手段、移動対象画像選択手段）：モニタ１５の表示画面上の予め定められた位置に選択受付領域（後述の操作ボタン画像１６１〜１６５（図５））を設定する。また、タッチパネル１２ａの操作面上にて選択受付領域の対応位置にタッチ操作が検出されるに伴い、該選択受付領域に対応付けて用意された移動対象画像（この実施形態では、後述のアイコン（目印画像）１６１ｉ〜１６５ｉ（図５）：選択されたアイコンの画像は、ＲＡＭ１１０２内のアイコン登録メモリ１１０２ｃに登録される）を選択する。グラフィックコントローラ１１０への入力画面画像フレームデータの取り込み指令を行なうとともに、後述の方法により作成した指示体画像フレームデータをグラフィックコントローラ１１０へ転送する。図８はアイコン登録メモリ１１０２ｃの構成例を示すものであり、アイコン種別の特定データ及びアイコン画像データと指先位置座標データとの組を１組のみ登録・記憶できるようになっている（つまり、１回の操作で移動でき、かつ対応する制御コマンドが実行できるアイコンは１個のみとされている）。また、指先動作を解析するために、過去一定期間の指先位置の履歴も合わせて記憶される。
【００５３】
・画像合成ソフトウェア１０３ｄ（指先点表示手段、指示体画像表示手段）：ＲＡＭ１１０２の画像合成用メモリ１１０２ｂを作業領域として動作する。指示体画像（手撮影カメラ１２ｂが撮影取得した実手画像ＦＩ（図５）又は別途用意された指示体画像データ１０３ｅによる模擬指画像ＳＦ（図４３））を指示体画像フレーム上に貼り付ける処理を行なう。また、指先点演算ソフトウェア１０３ｂが特定した指先点のうち、第一タッチ操作がなされた指先点を対象指先点（後述の登録指先位置と一致する概念である）として、表示画面上の対象指先点の対応位置に、選択された移動対象画像を指示体画像とともに表示する。そして、対象指先点が撮影範囲１０２ｂ内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像を指示体画像とともに連動移動させる。
【００５４】
図４は、カーナビゲーション装置２００の詳細構成を示すブロック図である。
カーナビゲーション装置２００は、位置検出器２０１、音声案内等のための音声合成回路２２４、音声出力用のアンプ２２５及びスピーカー２１５、ＬＣＤ等からなるモニタ１５、これらの接続された主制御部をなすナビＥＣＵ５１、リモコン端末２１２及び主記憶装置をなすＨＤＤ（ハードディスク装置）２２１等を備えている。ＨＤＤ２２１には、道路データを含む地図データ２２１ｍと、目的地データや目的地の案内情報からなるナビデータ２２１ｄと、ＧＵＩ表示データ２２１ｕとが記憶されている。
【００５５】
カーナビゲーション装置２００を動作制御するための操作入力は、シリアル通信バス３０を介して接続された上記の操作装置１から行なう。また、音声認識ユニット２３０を用いて種々の指示を入力することも可能である。これは、音声認識ユニット２３０に接続されるマイク２３１から音声を入力することによって、その音声信号を周知の音声認識技術により音声認識処理して、その結果に応じた操作コマンドに変換するものである。
【００５６】
位置検出器２０１は、周知の地磁気センサ２０２、ジャイロスコープ２０３、距離センサ２０４、および衛星からの電波に基づいて車両の位置を検出するＧＰＳのためのＧＰＳ受信機２０５を有している。これらのセンサ等２０２，２０３，２０４，２０５は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。
【００５７】
ナビＥＣＵ５１は、ＣＰＵ２８１、ＲＯＭ２８２、ＲＡＭ２８３及び入出力部２８４がバス５１５により接続されたマイコンハードウェアを主体とするものである。ＨＤＤ２２１はインターフェース２２９ｆを介してバス接続されている。また、地図やナビ操作画面を表示する描画情報に基づいて、モニタ１５に画像出力する機能を担うグラフィックコントローラ２１０と、描画処理用の表示用ビデオＲＡＭ２１１とが同様にバス５１５に接続されている。グラフィックコントローラ１１０は、ナビＥＣＵ５１から入力画面画像フレームデータを取得するとともに、通信インターフェース２２６及びシリアル通信バス３０を介して操作装置１側からは指示体画像が所定位置に張り込まれた指示体画像フレームデータ（ＧＵＩ表示データ２２１ｕに基づいて作成される）を取得し、さらに、必要に応じて目印画像をなす前述のアイコン（ＧＵＩ表示データ２２１ｕに含まれるアイコンデータに基づいて作成される）とともに、表示用ビデオＲＡＭ１１１上にて周知のアルファブレンディング処理等によりフレーム合成し、モニタ１５に出力する。
【００５８】
ナビＥＣＵ５１のＣＰＵ２８１によりナビプログラム２２１ｐが起動されると、位置検出器２０１からの現在位置情報が取得され、ＨＤＤ２２１から該現在位置周辺の地図データ（２２１ｍ）が読み出されるとともに、コマンド起動有効領域１５０（図５：上）をなす地図表示領域１５０’（図５：下）に該地図データに基づく地図が現在位置マーク１５２とともに表示される。
【００５９】
モニタ１５の画面にて、地図表示領域１５０’の周囲領域（例えば、図５では、地図表示領域１５０’の右側に生じている余白領域）に操作ボタン画像１６１〜１６５が表示されている。個々の操作ボタン画像１６１〜１６５の表示領域は選択受付領域を形成し、タッチパネル１２ａの対応位置にタッチ操作が検出されるに伴い、該選択受付領域１６１〜１６５に対応付けて用意された移動対象画像１６１ｉ〜１６５ｉが選択されるようになっている。操作ボタン画像１６１〜１６５は、それぞれ該地図表示領域１５０’上での地点指定を伴う制御コマンドを起動するためのものであり、具体的には、地図表示領域１５０’上への目的地設定コマンド（ボタン１６１）、地図表示領域１５０’上への経由地設定コマンド（ボタン１６２）、周辺施設検索コマンド（ボタン１６３）及び地図拡大表示コマンド（１６４）である。一方、ボタン１６５は、設定済みの目的地や経由地を消去するコマンドを実行するための消しゴムツールである。
【００６０】
以下、操作の概略を説明する。目的地設定コマンド（ボタン１６１）を起動する場合は、図１６の状態１に示すように、操作装置１の撮影範囲内に手を差し入れると、モニタ１５の画面には、操作装置１の手撮影カメラ１２ｂが撮影する手画像（指示体画像）ＦＩが重畳表示される。状態２で操作者は、自分の指位置を該手画像ＦＩにて確認しながら所望の操作ボタン画像１６１に指先位置を合わせ、タッチパネル１２ｂの操作面１０２ａ上にて第一タッチ操作を行なう。これにより、操作ボタン画像（以下、単に「ボタン」等という）１６１に意匠表示されていた目印画像１６１ｉ（目的地アイコン）が選択される。
【００６１】
その状態で操作者が、操作面１０２ａから指Ｆを離間させ地図に沿って指先を動かすと、手撮影カメラ１２ｂが撮影する手画像から指先位置が追跡され、目印画像１６１ｉが指先位置（対象指先点）に付着した状態で手画像ＦＩとともに画面上を移動する。つまり、対象指先点が撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って目印画像１６１ｉ（移動対象画像）は手画像（指示体画像）ＦＩとともに連動移動する。目印画像１６１ｉは、操作に伴ない刻々変化する対象指先点の位置を強調する役割を果たしている。そして、操作者は地図上の所望の目的地に指先を合わせこみ、状態４のごとく第二タッチ操作を行なう。これにより、図１８の状態５に示すように、該第二タッチ位置にて目的地が仮設定され（つまり、目的地設定の制御コマンドを起動され）、さらに、目印画像１６１ｉ（目的地アイコン）が設定された目的地に貼り付け表示される。本実施形態では、地図表示領域１５０’の外側に確認メッセージと設定確定用のボタン画像１７１とを表示し、設定確定を行なう選択操作（ここでは、「する」ボタンにタッチする）を行なうことで目的地設定が確定するようになっている。
【００６２】
なお、図１９に示すように、連動移動モード（目印画像１６１ｉを手画像ＦＩの指先位置に付着した状態）にて、手を操作面から所定距離以上に離したり（状態３０１）、あるいは撮影領域（表示画面）の外へ移動させたりした場合は（状態３０２）、目印画像１６１ｉの選択状態及び連動移動モードが解除される。つまり、連動移動モードの実行中において、指示体画像ＦＩを表示可能な画面上の有効領域から対象指先点ｔｐが脱出した場合は、目印画像１６１ｉの選択状態と連動移動モードとが解除される（この実施形態では、モニタ１５の表示画面の全体が有効領域として定められているが、表示画面の一部のみを有効領域として定めてもよい）。従って、その後、手を撮影範囲内に戻しても目印画像１６１ｉは消去された状態となる（状態３’）。また、図２０に示すように、連動移動モードにて特定の連動移動モード解除動作（状態３０３：ここでは、指Ｆを左右に振る動作（以下、取消動作ともいう）を行なった場合も、目印画像１６１ｉの選択状態と連動移動モードとが解除される。
【００６３】
また、一旦設定した目的地を取り消す場合は、消しゴムツールを用い、次のようにして行なう。図２１の状態１１は、目的地アイコン１６１ｉが示す目的地設定が完了している状態を示す。この目的地を消去したい場合、操作者は消しゴムボタン１６５に第一タッチ操作を行なう。これにより、ボタン１６５に意匠表示されていた目印画像１６５ｉ（消しゴムアイコン）が選択される。その状態で操作者は、操作面１０２ａから指Ｆを離間させ指先を設定済みの目的地に向け移動させる。消しゴムアイコン１６５ｉは、指先位置に付着した状態で手画像ＦＩとともに画面上を移動する（状態１２：連動移動モード）。そして、操作者は地図上の所望の目的地アイコン１６１ｉに指先を合わせこみ、図２２の状態１３のごとく第二タッチ操作を行なう。すると、状態１４に示すように、設定された目的地は仮設定解除状態となる。本実施形態では、地図表示領域１５０’の外側に確認メッセージと設定確定用のボタン画像１７２とを表示し、設定確定を行なう選択操作（ここでは、「する」ボタンにタッチする）を行なうことで目的地設定解除が確定するようになっている。少なくとも目的地設定解除が確定した状態では、該第二タッチ位置にて目的地アイコン１６１ｉと消しゴムアイコン１６５ｉとが消去される。
【００６４】
また、図２３の状態２１のごとく、どれかの指ＦＩ（１）でボタン１６１に第一タッチ操作を行ない、対応する目印画像１６１ｉが該指ＦＩ（１）に貼り付けられた状態で、目印画像１６１ｉが貼り付けられていない別の指ＦＩ（２）により地図上に第二タッチ操作を行なうと、状態２２のごとく、その別の指ＦＩ（２）による第二タッチ位置を基準に地図のスクロール処理がなされる。ここでは、の指ＦＩ（２）による第二タッチ位置が指示する地図上の地点が地図表示領域１５０’上の基準点（例えば、中心点）へ移動する形でスクロールがなされている。
【００６５】
図２４は、経由地設定コマンド（ボタン１６２）を起動する場合を示す。基本的な流れは図１６〜図２０にて説明した目的地設定の場合と全く同様である。状態３１に示すように、操作者は、自分の指位置を該手画像ＦＩにて確認しながら操作ボタン画像１６２に指先位置を合わせ、第一タッチ操作を行なう。これにより、操作ボタン画像１６２に意匠表示されていた目印画像１６２ｉ（経由地アイコン）が選択される。その状態で操作者が、操作面１０２ａから指Ｆを離間させ地図に沿って指先を動かすと、状態３２に示すように、手撮影カメラ１２ｂが撮影する手画像から指先位置が追跡され、目印画像１６２ｉが指先位置（対象指先点）に付着した状態で手画像ＦＩとともに画面上を移動する（連動移動モード）。その後、操作者は地図上の所望の経由地に指先を合わせこみ、第二タッチ操作を行なうことにより、経由地が設定され、目印画像１６２ｉ（経由地アイコン）が設定された経由地に貼り付け表示される。
【００６６】
図２５は、周辺検索コマンド（ボタン１６３）を起動する場合を示す。状態４１に示すように、操作者は、自分の指位置を該手画像ＦＩにて確認しながら操作ボタン画像１６３に指先位置を合わせ、第一タッチ操作を行なう。これにより、操作ボタン画像１６３に意匠表示されていた目印画像１６３ｉ（周辺検索アイコン）が選択される。その状態で操作者が、操作面１０２ａから指Ｆを離間させ地図に沿って指先を動かすと、状態４２に示すように、目印画像１６３ｉが指先位置（対象指先点）に付着した状態で手画像ＦＩとともに画面上を移動する（連動移動モード）。その後、操作者は、周辺検索を行ないたい地図上の所望の位置に指先を合わせこみ、第二タッチ操作を行なう。すると、検索のための地点設定がなされ、図２６の状態４３に示すごとく、目印画像１６３ｉ（周辺検索アイコン）が設定された経由地に貼り付け表示される。また、設定された経由地を中心にして規定距離範囲内の周辺施設が目的地ないし経由地の候補として検索される。図２６においては、地図表示領域１５０’の外側に、施設ジャンルの選択を促すメッセージと、ジャンル選択用のボタン画像１７３とを表示している。操作者がボタン１７３へのタッチ操作により所望のジャンルを選択すると、該当するジャンルの周辺施設が検索され、該検索結果が、例えばジャンル別の施設アイコンによる地図表示か、あるいは施設名と距離及び方向とを対応付けた一覧表示形態で出力がなされる。
【００６７】
図２７及び図２８は、拡大コマンド（ボタン１６４）を起動する場合を示す。図２７の状態５１に示すように、操作者は、自分の指位置を該手画像ＦＩにて確認しながら操作ボタン画像１６４に指先位置を合わせ、第一タッチ操作を行なう。これにより、操作ボタン画像１６４に意匠表示されていた目印画像１６４ｉ（拡大アイコン）が選択される。その状態で操作者が、操作面１０２ａから指Ｆを離間させ地図に沿って指先を動かすと、状態５２に示すように、目印画像１６４ｉが指先位置（対象指先点）に付着した状態で手画像ＦＩとともに画面上を移動する（連動移動モード）。その後、操作者は、拡大表示を行ないたい地図上の所望の位置に指先を合わせこみ、図２８の状態５３に示すごとく、第二タッチ操作を行なう。すると、検索のための地点設定がなされ、状態５４に示すように、第二タッチ操作を中心として所定倍率で地図を拡大した表示がなされる。また、地図が拡大されるとともに、目印画像１６４ｉ（拡大アイコン）は消去される。拡大後の地図においては、同様の操作を行なうことにより、予め定められた最大縮尺まで更なる拡大表示が順次可能とされている。
【００６８】
以下、操作装置１の動作の流れを、フローチャートを用いて説明する。
図１０は主処理の流れを示すもので、車両のＩＧスイッチがＯＮとなるに伴ない起動される。まず、Ｓ０にてＲＡＭ１０２内の各メモリを初期化する。Ｓ１では手撮影カメラ１２ｂによる撮影画像を用いた指先位置特定処理が実行される。Ｓ２では、図１６等に示すボタン１６１〜１６５への第一タッチ操作検出に伴ない、手画像ＦＩとともに連動移動させるアイコン（目印画像）を指先位置と対応付けて登録するアイコン登録処理を行なう。Ｓ３では、登録されたアイコンの消去（すなわち、登録解除）及び指先位置の更新等に係るアイコン登録管理処理が実行される。Ｓ４では、手画像ＦＩに対し、登録された指先位置に対応するアイコンの画像を貼り込み合成するとともに、手の動きに応じて更新される指先位置に合わせ、アイコンと手画像（指示体画像）とを連動表示するアイコン合成処理が実行される。Ｓ５では、連動表示モードから第二タッチ処理が発生するに伴ない、アイコンと対応付けられた上記種々の制御コマンドを実行するコマンド実行処理となる。Ｓ６でＩＧスイッチがＯＦＦになれば主処理は終了する。他方、ＯＦＦにならなければＳ１に戻り、以下Ｓ５までの一連の処理を繰り返し実行する。
【００６９】
図１１Ａは指先位置特定処理の詳細を示すものであり、図２に示すように、タッチパネル１２ａの入力操作面１０２ａに手Ｈを近づけると、手撮影カメラ１２ｂは、照明光源１２ｃからの照明光の手による反射光に基づいて手像を撮影する。図１１ＡのＳ１０１で、その撮影画像を取り込む。手像の画素は反射光の受光により背景領域よりも明るく現れる。従って、図６のＡに示すように、画素の輝度を適当な閾値で二値化すれば、高輝度画素値（ここでは「１」とする）を示す領域を被写体領域（図中黒で表している）、低輝度画素値（ここでは「０」とする）を示す領域を背景領域（図中白で表している）として、互いに画像分離できる。Ｓ１０２では、この二値化された画像データを第一画像データ（Ａ）として保存する。
【００７０】
なお、Ｓ１０３では、第一画像データにおける被写体領域の面積率σを演算する。手撮影カメラ１２ｂの撮影範囲内に被写体が存在しない場合は、被写体領域の面積率σがある閾値σ０未満 となるので、この場合は以下の処理をスキップする。
【００７１】
次に、図１１ＡのＳ１０５では、該第一画像データを手像の掌長方向（Ｙ方向）に所定距離（例えば、中指第一関節より先を指先部分として、その２０％〜８０％（実距離にして５〜２０ｍｍ程度））だけ平行移動させて得られる画像データを、図６のＢに示す第二画像データとする。そして、Ｓ１０６では、図６のＣに示すように、両画像データを重ね合わせたときの指先側に現れる非重なり領域を手の挿入方向における先端領域（指先領域）ｔａとして特定する。取得された原画像データを手像の掌長方向に平行移動して重ね合わせることにより、指先領域を非重なり領域として簡単に特定することができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。
【００７２】
図６のＣにおいては、第二画像データＢを、第一画像データＡを掌長方向（Ｙ方向）にて手首側へ後退移動させて作成しており、第一画像データＡの手像指先側に現れる非重なり領域が先端領域（指先領域）として特定される。撮影範囲（ひいてはモニタ１５の画面領域）との座標対応関係が保存される第一画像データＡ上にて指先領域を特定でき、指先点（指先位置）ひいては画面領域上の対応座標点の特定処理を簡便に行なうことができる。
【００７３】
また、第一及び第二画像データはいずれも二値化されており、非重なり領域は、第一画像データと第二画像データとの画像差分を演算することで特定される。これにより、非重なり領域の画素を特定する処理は、第一及び第二画像データの対応する画素間の論理演算に転換できる（具体的には、対応画素間の排他的論理和が０になれば、それを非重なり領域の画素として特定できる）。なお、第一及び第二画像データの非重なり領域は、指の側面部分に細く生ずる場合がある。しかし、このような側面部分は、「１」となる画素のＸ方向の連続個数が所定値未満となる場合に、それら画素列を「０」反転する処理を行なえば、簡単に除去することができる。
【００７４】
次に、図１１ＡのＳ１０７においては、上記のように抽出された各指先領域に対し、図６のＤに示すような収縮処理が施される。具体的には、値が「１」となっている全ての画素について、これと一定の隣接関係にある画素（具体的には、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該画素の値を「０」反転する処理を行なう。該処理は、必要に応じて複数回繰り返し実施してもよい。
【００７５】
そして、収縮処理後は、画像データ上において個々の先端領域に分離する処理を行なう。すなわち、図３２に示すように、画像を所定の方向（例えばｘ方向）に走査し、「１」となっている画素の途切れが一定数（例えば３ビット）以上生じたか否かにより、同一の先端領域であるか別の先端領域であるかを判別しながら、各画素にラベリング符号（本実施例では、１、２、３‥‥等の数字で表している）を施してゆく。なお、走査２列目以降は、「０」画素の検出状態から「１」画素の検出に転じた時に、その「１」画素を取り囲む例えば８つの画素のラベリング状態を判別し、既に認識済の画素のラベリング符号が検出されれば、これと同一のラベリング符号を施し、何も検出されなければ新たなラベリング符号を施すようにする。そして、異なるラベリング符号が付された画素集合同士は、異なる先端領域として認識することとなる。
【００７６】
次に、図１１ＡではＳ１０８に進み、分離・特定された各先端領域が真の指先領域であるか否かの判定処理を行なう（指先判定処理）。基本となるのは、図３１に示すごとく、特定された先端領域ｔａの指幅方向の寸法（以下、単に「幅」とも称する）Ｌが、一般的な大人の幅寸法を基準に定められた規定範囲（上限値Ｗｔｈ１、下限値Ｗｔｈ２）内に存在することを必要条件として、真の指先領域と判定する処理である。図１に示すように、インパネに配置されたモニタ（表示装置）１５を見ながら、車長方向にてその後方側（着座した乗員から見れば手前側）のセンターコンソールＣ上に配置されたタッチパネル１２ａの操作入力面１０２ａ、ひいては、該操作入力面１０２ａ上の操作者の手を下側から撮影する手撮影カメラ１２ｂの撮影範囲１０２ｂに対し、該撮影範囲１０２ｂの後方縁側から前方に挿入される。従って、手の挿入方向は横長長方形状の撮影範囲１０２ｂの長辺と直交する向き（つまり、Ｙ方向）に想定され、指幅方向は操作入力面１０２ａの面内において該手の挿入方向と直交する向き、すなわち、撮影範囲１０２ｂの長辺と一致する向き（つまり、Ｘ方向）に定められている。つまり、先端領域ｔａの幅はＸ方向、すなわち、撮影範囲１０２ｂの長辺方向に固定的に測定されるようになっている。
【００７７】
図１１Ｂは、指先判定処理の詳細の一例を示すフローチャートである。
Ｓ１００１では、分離・特定された個々の先端領域ｔａの幅Ｗが特定される。具体的には、先端領域ｔａの個々の構成画素のＸ座標のうち、最小の値をＸｍｉｎ、最大の値をＸｍａｘとして、Ｗ＝Ｘｍａｘ−Ｘｍｉｎにより計算することができる。Ｓ１００２では、上記のように特定された先端領域ｔａの幅Ｗが前述の規定範囲内にあるか否かが判定される。タッチパネル１２ａはセンターコンソールＣ上に配置されているが、その脇に着座した運転者や助手席乗員はセンターコンソールＣをしばしば物置代わりに利用する。このとき、手以外の物品がタッチパネル１２ａの操作入力面１０２ａ、つまり、撮影範囲１０２ｂ内に置かれたれば、当然、該物品が乗員の手の代わりに撮影される。
【００７８】
図３３の上段は手が撮影された場合の、中段は携帯電話が撮影された場合の、下段は書類が撮影された場合の、各二値化画像を示している。携帯電話や書類の画像輪郭は手の画像輪郭よりもはるかに単純であり、形態的にも明らかに異なるが、特許文献２のごとく、輪郭線に外接する楕円近似を行なえば、形態的に複雑な手の画像輪郭は、より単純な形状である楕円形態に還元されてしまうため、携帯電話や書類など、もともと単純な形状の物品との区別をつけにくい問題がある。他方、特許文献３のように、指腹輪郭を高次関数で近似する手法では、近似により得られる高次関数の係数等から真正な指輪郭であるか否かを一義的に判定することが困難である。また、特許文献４のように、撮影画像の外接矩形を複数個の副矩形領域に分割し、各副矩形の画像面積率により指先座標を求めなくてもよい像形状か否かを判定する方式では、手以外の物品が撮影された場合でも、その画像面積率が手像の場合の画像面積率と偶発的に一致した場合は、区別がもはや不可能である。
【００７９】
しかし、撮影取得される第一画像と、そのＹ方向への平行移動により得られる第二画像との差分画像として抽出される先端領域ｔａの幅Ｗを用いた判定方式を採用すると、図３４の左に示すごとく、書類や本などが置かれた場合は、抽出・特定される先端領域ｔａの幅Ｗは、一般的な大人の幅寸法を基準に定められた規定範囲の上限値Ｗｔｈ１を明らかに上回るので、非指先領域として確実に判定が可能である。また、図３４の右に示す携帯電話の場合は、突出したアンテナ部分に由来する第一先端領域ｔａ１の幅Ｗ１は、アンテナが指より明らかに細いため規定範囲の下限値Ｗｔｈ２を下回り、指より広幅の本体部分に由来する第二先端領域ｔａ２の幅Ｗ２は規定範囲の上限値Ｗｔｈ１を上回るため非指先領域として判定することができる。
【００８０】
なお、真の手が画像検出されている場合にあって、伸ばした状態の指が１本ないし２本（例えば、人差し指のみ、あるいは人差し指と中指など）であり、残余の指が曲げられた状態（例えば拳状に握った状態）になっている場合、閉じられている部分の先端領域の幅が規定範囲の上限値Ｗｔｈ１を超え、伸ばした状態の指については幅が規定範囲内となるようなこともありえる。従って、複数の先端領域が抽出されうる形状の物品に合っては、該複数の先端領域の少なくとも１つについて幅が規定範囲内となっていれば、該先端領域を真の指先領域として判定するように構成することが可能である。
【００８１】
次に、非指先領域でありながら、その幅Ｗが規定範囲内に収まっているために真の指先領域として誤認されうる形状の物品がタッチパネルの入力操作面１０２ａ上に置かれる場合がある。例えば、図３５のＡは貨幣が入力操作面１０２ａ上に置かれた場合の二値化画像の状態を示している。ＢのごとくＹ方向に後退移動し、Ｃのごとく差分画像を求め、Ｄのごとく収縮処理を施したとき、貨幣の寸法が指幅に近接しているために、収縮処理後の先端領域ｔａの幅Ｗは規定範囲内となり、このままでは指先領域として誤判定される。
【００８２】
指と貨幣の画像上の違いは、指の場合は、指基端側の画像領域が撮影範囲１０２ｂの後端縁（手挿入側の縁）まで伸びる形となるのに対し、貨幣の場合は撮影範囲１０２ｂ内に孤立した円形領域となり、その円形領域の後端縁と撮影範囲１０２ｂの後端縁との間が被写体の背景領域（つまり、「０」画素領域）となる点にある。そこで、撮影画像の総面積をＳ（図３５のＡにおいてＳ１＋Ｓ２＋Ｓ３）とし、個々の非重なり領域ｔａから、撮影範囲１０２ｂの後端縁までの合計距離をｄ（図３５のＡにおいてＨ１＋Ｈ２＋Ｈ３）として、Ｓ／ｄの値を指幅として推定すると、上記のような誤判定を効果的に回避することができる。すなわち、貨幣の場合は、撮影範囲１０２ｂの後端縁側に上記背景領域が介在するために総面積Ｓが減少する。従って、Ｓ／ｄにより演算された推定指幅値が規定範囲の下限値Ｗｔｈ１未満となれば、これを非指先領域として除外することができる。図１１Ｂのフローチャートでは、Ｓ１００５とＳ１００６とにおいて上記原理に基づく判定を行なっている。
【００８３】
次に、図１１ＢのＳ１００７では、Ｓ１００２及びＳ１００６において除外判定されなかった先端領域ｔａについて代表点を決定する。本実施形態では、領域の幾何学的な重心位置Ｇを代表点として用いる。演算方法は周知であり、例えば先端領域を構成する全画素のＸ座標値及びＹ座標値の各総和を求め。それぞれ画素の個数で除することにより重心位置Ｇの座標を計算できる。なお、重心位置Ｇではなく、例えばＹ座標値が最大となる画素を代表点として採用することも可能である。
【００８４】
なお、タッチパネルの入力操作面１０２ａに実際に接触するのは、指先端からＸ方向に少し下がった指腹付近の領域であるから、図６（ないし図３５）のＦでは、Ｅで計算された重心位置をＹ方向へ所定距離オフセットさせ、これを指先点Ｇとして決定する。ただし、Ｅの重心位置をそのまま指先点Ｇとして用いてもよく、この場合は該Ｆの処理は不要である。
【００８５】
次に、撮影範囲１０２ｂに対する手の位置関係によっては、差分画像を用いた上記アルゴリズムにより決定される代表点が、真の指先点に対応しないケースが生じうる。具体的には、図３６の左上に示すごとく、指先部分が撮影範囲１０２ｂの外にはみ出して位置する場合である。撮影範囲１０２ｂと、タッチパネルの入力操作面１０２ａと、モニタ１５の画面との対応座標範囲が互いに一致している場合は、図３６の右上に示すように、真の指先位置が撮影範囲１０２ｂ（ひいては、入力操作面１０２ａ及びモニタ１５の画面）の外周縁領域に収まっている場合と、指先部分が撮影範囲１０２ｂの外にはみ出し、真の指先部分が画像的に途切れている場合とのいずれにおいても、差分画像から特定される先端領域は上記外周縁領域に収まる形となる。そして、指先部分がはみ出す図３６左上の場合についても、指の画像の一部分であることに変わりはなく、領域幅が前記規定範囲内に収まる可能性が高いから、上記外周縁領域に生ずる先端領域を真の指先領域として誤認することにつながる。
【００８６】
そこで、本実施形態においては、図３７に示すように、撮影範囲１０２ｂの有効座標範囲の外周縁領域を表示外撮影領域１０２ｅとして、モニタ１５の表示画面に係る有効座標範囲の外側に延出形成する構成が採用されている（なお、ここでは入力操作面１０２ａの有効座標範囲はモニタ１５の表示画面の有効座標範囲は互いに一致させてある）。
【００８７】
図３７の左に示すごとく、画面外にはみ出す指部分はこの表示外撮影領域１０２ｅ内に被写体領域を形成するので、差分画像に基づいて特定される先端領域ｔａひいてはその代表点にて特定される指先位置ｔｐもこの表示外撮影領域１０２ｅ内に生ずる。他方、図３７の右に示すごとく、真の指先が表示外撮影領域１０２ｅ内に入り込まず画面の外周縁領域にとどまる場合は、先端領域ｔａひいては指先位置ｔｐも画面内に生ずる。従って、先端領域ｔａが表示外撮影領域１０２ｅ内に存在している場合はこれを真の指先として認識せず（無効）、表示外撮影領域１０２ｅ内に存在していない場合は真の指先として認識する（有効）ように処理が可能である。例えば、図３８のように、複数の指先位置ｔｐが特定される場合も、それぞれ表示外撮影領域１０２ｅ内に存在するか否かに基づき、有効／無効の判定を個別に行なうことができる。図１１Ｂのフローチャートでは、Ｓ１００８〜Ｓ１０１０において上記原理に基づく判定を行なっている。なお、手挿入側となる表示画面のＹ方向後端縁については、撮影範囲１０２ｂの後端縁と一致させ、表示外撮影領域１０２ｅを特に形成しない構成とすることも可能である。
【００８８】
なお、先端領域ｔａが真の指先領域であるか否かを判定するアルゴリズムには、上記以外にも種々の方式を採用することができる。例えば、第二画像を得るための第一画像のＹ方向平行移動距離を一般的な大人の指幅値よりも小さく設定した場合、第一画像と第二画像との差分画像として得られる先端領域ｔａは、Ｘ方向寸法ＷＸ（つまり、幅）がＹ方向寸法ＷＹよりも大きい横長の領域となりやすい。そこで、先端領域ｔａのＸ／Ｙアスペクト比φ（≡ＷＸ／ＷＹ）が規定範囲内にあるか否かに基づいて真の指先領域であるか否かを判定することが可能である。例えば、図３４左に示す紙や書類の場合はφが極度に大きくなり、同じく右に示す携帯電話のアンテナ（指より細い）については、Ｘ方向寸法ＷＸが不足する分だけφの値も小さくなるので、いずれも非指先領域として除外することが可能である。
【００８９】
なお、指がＹ方向に対して傾いて挿入される場合を考慮し、図４０に示すように、先端領域ｔａに外接する平行線対を、角度を変えながら種々生成し、最大となる平行線間距離をＷｍａｘ、最小となる平行線間距離をＷｍｉｎとして、上記アスペクト比φをＷｍａｘ／Ｗｍｉｎにより算出するようにしてもよい。
【００９０】
また、図４１に示すように、撮影画像の被写体領域（「１」画素領域）の総面積をＳとし、特定された先端領域（非重なり領域）ｔａの個数をＮとして、Ｓ／Ｎの値を平均指面積として推定し、該Ｓ／Ｎが規定範囲内にあるか否かに基づいて、先端領域ｔａが真の指先領域であるか否かを判定することも可能である。これは特に、手が撮影されたとき被写体領域が主として指領域のみにより形成されるよう、撮影領域のＹ方向寸法が指先端側の一部分のみを包含可能な値に設定されている場合に有効な手法であるといえる。
【００９１】
図１１Ａに戻り、上記のごとくＳ１０８の指先判定処理が終了すれば、Ｓ１０９にて、特定された各先端領域のいずれが真の指先領域として判定されたかを調べ、Ｓ１１０において、該真の指先領域についてのみ代表点の座標（重心座標Ｇ）を（真の）指先位置として記憶し、真の指先領域でないものについては破棄ないし無効化する。以上で指先位置特定処理を終了する。
【００９２】
次に、図１２はアイコン登録処理の詳細を示すものである。まず、Ｓ２０１では、図８のアイコン登録メモリ１１０２ｃにて、登録アイコンが存在しないことを確認する。Ｓ２０２では、図１６に示すような地図表示領域１５０’がモニタ１５の画面上に表示されていることを確認する。Ｓ２０３では、アイコンを有した操作ボタン画像１６１〜１６５（以下、アイコン付ボタンとも言う）が画面内に存在することを確認する。Ｓ２０４では、指先位置メモリ（図７：１１０２ａ’）にて現在の指先位置を取得し、Ｓ２０５では、その指先位置と重なるアイコンが存在することを確認する。Ｓ２０６では、該指先位置にてタッチパネル１２ａにタッチ操作（第一タッチ操作）があることを確認し、Ｓ２０７で、該タッチ操作にて対応するアイコン（目印画像）が選択したと判断し、アイコンを指先位置と対応付けてアイコン登録メモリ１１０２ｃに登録する。なお、Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０５及びＳ２０６のいずれかにて、否定的な判定（フローチャート中で「Ｎｏ」）がなされた場合は、アイコン登録は行なわれない。アイコン登録メモリ１１０２ｃに登録されたアイコンは、後述の登録管理処理にて登録指先位置が更新されるに伴ない、手画像ＦＩ（指示体画像）とともに連動表示される。他方、登録管理処理にてアイコン登録が解消されるに伴ない、連動表示は解除される。
【００９３】
図１３は、アイコン登録管理処理の詳細を示すものである。Ｓ３０１では登録されているアイコンが存在することを確認する。Ｓ３０２では指先位置が検出中であることを確認し、Ｓ３０３ではアイコン登録メモリ１１０２ｃに登録されている指先位置（登録済指先位置）を読み出す。そして、Ｓ３０４では、現在検出中の最新指先位置のうち、登録済指先位置に最も近いものを特定するとともに、最新指先位置が最低１つは表示範囲内にあること（つまり、表示外撮影領域１０２ｅへはみ出していないこと）を確認する。最新指先位置が表示範囲内に全く存在しなければアイコン登録を取り消す（Ｓ３０９）。さらに、Ｓ３０５では、表示範囲内の最新指先位置と登録済指先位置との距離ｄｍを算出する。そして、その距離ｄｍが規定範囲（閾距離ｄｓ未満）に収まっていることを確認する。収まっていなければアイコン登録を取り消す（Ｓ３０９）。
【００９４】
つまり、図４２の上に示すように、主処理（図１０）のサイクルタイムを考慮した場合、１サイクルの時間が例えば１０〜１００ｍｓであれば、アイコン登録状態にて１サイクルの間にアイコン操作する指が移動する距離はそれほど大きくない（通常身体能力の人間の手動きであれば、例えば高々５ｍｍ〜１５ｍｍ程度（閾距離ｄｓに対応））から、図４２の上に示すように、距離ｄｍが閾距離ｄｓ未満であればアイコン登録維持と判断するのである。図４２の上では、最新指先位置Ｆ１ｅ，Ｆ３ＣのうちＦ１ｅが表示領域外にはみ出し、図１１ＢのＳ１００８→Ｓ１００９の流れにより非先端領域と判定され、指先位置は無効化（つまり、指先位置メモリ１１０２ａ’（図７）から削除）されている。このＦ１ｅに対応する指先位置Ｆ１Ａが登録指先位置、つまりアイコンとの連動移動対象としてアイコン登録メモリ１１０２ｃ（図８）に登録されている指先位置であった場合、対応する最新指先位置Ｆ３Ｃは無効だから、これに最も近い指先位置は別の指の指先点Ｆ３Ｃとなる。しかし、登録指先位置Ｆ１Ａは別の指の指先位置なので、両者の距離ｄｍは閾距離ｄｓを越えてしまうことになる。この場合は、アイコン登録を解消するのである。
【００９５】
次に、Ｓ３０７では、アイコン登録メモリ１１０２ｃの指先位置の履歴を読み出し、その動作を解析する。Ｓ３０８にて、その解析された動作が前述の取消動作に該当している場合はアイコン登録を取り消す（Ｓ３０９）。図２０のような左右の指振り動作が取消動作として定められている場合、指先位置の履歴においては、Ｙ座標値の変化はそれほど大きくないが、Ｘ座標値は一定範囲内を往復する形で大きく変化する。そこで、図９に示すように、そのＸ座標が一定範囲内で周期的に変化するかどうかを確認すれば、指振り動作があったかどうかを容易に判定できる。
【００９６】
そして、Ｓ３０２、Ｓ３０４及びＳ３０８のいずれにおいてもアイコン登録に対して肯定的な判定（Ｙｅｓ側）がなされた場合はＳ３１０に進み、アイコン登録を維持する。ただし、登録指先位置は現在検出されている最新の指先位置に更新する。
【００９７】
図１４はアイコン合成表示処理の詳細を示すものである。Ｓ４０１では、指示体画像をなす手画像の撮影データ、つまり、図６のＡに示す第一画像データを読み出す。Ｓ４０２では、登録されているアイコンがあるか否かを確認する登録されていればＳ４０４に進み、アイコン登録メモリ１１０２ｃから登録アイコン画像と登録指先位置とを読み出し、第一画像データ上にて登録アイコン画像を登録指先位置に合成し、Ｓ４０６にてその合成画像を画面に表示する（つまり、手画像を画面に重畳表示する）。登録アイコン画像が変更されなければ、主処理が１サイクル実施される毎に、アイコンを合成するための登録指先位置が更新されるので（図１３のＳ３１０）、アイコンは手画像とともに連動移動表示されることが明らかである。他方、Ｓ４０２にて登録アイコンが存在しなければＳ４０４とＳ４０５とをスキップしてＳ４０６に進み、アイコン未合成の手画像が画面される。
【００９８】
図１５はコマンド実行処理の詳細を示すものである。Ｓ５０１で登録アイコンが存在すればＳ５０２に進み、登録指先位置を読み出す。Ｓ５０４では、タッチパネル１２ａにて、その登録指先位置に対応するタッチ操作、つまり第二タッチ操作があるか否かを確認する。第二タッチ操作があればＳ５０５に進み、登録アイコンが示す制御コマンドを特定する。ここで、目的地設定コマンド（図１６：ボタン１６１）、経由地設定コマンド（図１６：ボタン１６２）及び周辺施設検索コマンド（図１６：ボタン１６３）は、対応するアイコン（目印画像）を第二タッチ操作にて設定される位置に貼り付けるタイプの制御コマンド（以下、アイコン貼付型コマンドという）であり、地図拡大表示コマンド（図１６：ボタン１６４）及び消しゴムツール（図１６：ボタン１６５）は、第二タッチ操作にて設定される位置にはアイコンを貼り付けず、実行後はアイコンが消去されてしまうタイプの制御コマンド（以下、アイコン消去型コマンドという）である。
【００９９】
そこで、Ｓ５０６では、特定された制御コマンドがいずれのタイプのものであるかを判定し、アイコン貼付型コマンドであればＳ５０７に進み、第二タッチ位置にアイコンを貼り付け表示する。他方、アイコン消去型コマンドの場合はＳ５０７をスキップする。そして、いずれの場合もＳ５０８で対応する制御コマンドを実行し、Ｓ５０９でアイコン登録を解除する。
【０１００】
次に、Ｓ５０４にて登録指先位置でのタッチ操作がない場合はＳ５１０に進み、地図表示領域１５０’内にて登録指先位置以外の位置でのタッチ操作があるか否かを確認する。このタッチ操作が検出された場合は、指先位置が登録されているのと異なる指にてタッチ操作があったことを意味し、Ｓ５１１に進んで図２３に示す地図スクロール処理を実行する。
【０１０１】
以下、本発明の種々の変形実施形態について説明する。
上記の実施形態では、連動移動モードにて、アイコンを貼り付けた指が表示領域外に脱出した場合は連動移動モードが解除され、同じ指を再び表示領域内に戻してもアイコンを貼り付けた状態には復帰しないようになっていた。しかし、指が表示領域外に脱出した場合に連動移動モードを保留し、指が再び表示領域内に戻った場合にアイコンを貼り付け状態に復帰させるように構成することもできる。図４３はその一例を示すものであり、撮影範囲にて、表示外撮影領域に隣接してその内側、つまり、モニタ１５の表示領域の外周縁に沿って一定幅ξの辺縁領域を設定し、辺縁領域に入った登録指先位置（対象指先点）Ｆ１Ａがさらに移動して表示外撮影領域に入った場合（Ｆ１Ｃ）、前回の辺縁領域内の登録指先位置Ｆ１Ａを保留指先位置ＦＲとして例えば一定時間記憶する（アイコン登録状態は維持する）。その後、辺縁領域内に再び指先位置が検出された場合は、その再検出された指先位置を登録指先位置Ｆ１Ｃとすることで、該位置にアイコンが貼り付けられ、連動移動モードに復帰する。なお、辺縁領域内に複数の指先位置が検出された場合は、保留指先位置ＦＲに最も近い指先位置が登録指先位置Ｆ１Ｃとして選択される。
【０１０２】
また、移動対象画像は制御コマンドに対応した目印画像（アイコン）に限らず、例えば図４４に示すような、フォルダやファイルを示すアイコン７０１であってもよい。この場合、第一タッチ操作によりアイコン７０１が選択され、その状態で指をタッチパネル１２ａから離して指を移動させることでアイコン７０１は、第二タッチ操作を行なった位置まで連動移動し、フォルダやファイルのいわゆるドラッグ移動が可能となる。
【０１０３】
また、カメラ撮影された実指像とはデータ的に無関係な画像を指示体画像として表示することができる。図４５は、各指先位置（Ｇ１〜Ｇ５）が、入力操作面１０２ａ、ひいては画像フレーム上にて座標特定された状態を示している。そして、該画像フレーム上の各指先点Ｇ１〜Ｇ５に、上記のような指示体画像を順次貼り込んで、指示体画像フレームを作成する。この指示体画像は、実指像ＦＩよりも相対的に狭幅となるように作成される。例えば、１８歳以上の日本人全体の指幅分布にて、平均値を中心として９０％の対象者が包含される範囲の下限値に相当する指幅の、例えば５０％以上８０％以下となるように指示体画像の幅寸法を設定しておけば（例えば、人差し指の場合は、第一関節位置での指実寸換算にて７ｍｍ以上１４ｍｍ以下）、子供を除くほとんど全ての操作者に対して、指示体画像を実指像よりも相対的に狭幅とすることができる。
【０１０４】
なお、真の指先領域として判定されなかった先端領域については、指先位置として記憶されず、結果として指示体画像の貼込みもなされない。これにより、指以外の撮影物により誤検出された指先位置にも指示体画像が貼り込まれ、操作者としては撮影範囲１０２ｂ内に手を入れていないことを明らかに把握しているにもかかわらず、画面上に指画像が表れて違和感が大きくなってしまう問題が根本的に生じない。
【０１０５】
指示体画像としては、指の輪郭形状を模した模擬指画像を使用できる。単純なものとしては、図４７に示すように、指先部分の輪郭を示す円弧図形２０１と、残余の部分の輪郭を示す矩形図形２０２とを組み合わせた模擬指画像を例示できる。指先部分を円弧とすることで、その円弧の中心点２０１ｇを、上記指先点に合わせ込むべき指先位置として活用しやすい利点がある。また、模擬指画像よりもさらに単純な指示図形、例えばポインタに類した矢印状の図形を表示することも可能である。
【０１０６】
一方、図４８に示すように、実際の指をより精密に模した指輪郭線を折れ線や曲線（例えば、Ｂスプライン曲線やベジェ曲線）により表現した指輪郭画像データＳＦ１〜ＳＦ５を使用してもよい。該指輪郭画像データＳＦ１〜ＳＦ５は、指輪郭に対応して配列する一連のハンドリング点ＨＰにより規定されるベクトルアウトラインデータとして構成できる。
【０１０７】
また、指示体画像として、個々の指を分離した形で事前に取得された人の実指画像（例えば、操作者本人の指画像や、手専門のパーツモデルから取得したモデル指画像を採用できる）を使用することも可能である。この場合、指撮影画像から周知のエッジ検出処理により輪郭線を抽出し、これを近似するベクトルアウトラインデータを作成することにより、図４８と同様の指輪郭画像データＳＦ１〜ＳＦ５を得ることができる。また、図４９に示すように、指撮影画像を二値化したビットマップ図形データを指示体画像ＳＦとして用いてもよい（この場合は、指輪郭線の抽出は不要である）。
【０１０８】
図４６の右に示すように、指示体画像ＳＦの先端部には予め定められた位置に指示体指先点Ｇ’が定められており、この指示体指先点Ｇ’を各指先点（Ｇ１〜Ｇ５）に合わせこむ形で、画像フレーム上に指示体画像ＳＦを貼り込んでゆくことになる。しかし、この貼り込みを行なうためには、指先位置Ｇ’のほかに指の方向を情報として特定する必要がある。そこで、図４５に示すように、画像フレーム（表示座標平面）上に指先点（Ｇ１〜Ｇ５）とは別に指方向規定点Ｗを設定し、該指方向規定点Ｗと指先点Ｇを結ぶ直線を指直線（Ｌ１〜Ｌ５）として定める演算を行なう。図４６に示すように、各指示体画像ＳＦ１〜ＳＦ５は、指先位置Ｇ’が指先点（Ｇ１〜Ｇ５）と一致し、かつ、決定された指直線（Ｌ１〜Ｌ５）に該指示体画像ＳＦの長手方向基準線（指示体画像ＳＦ１〜ＳＦ５毎に予め定められている）が一致するように貼り込まれ、指示体画像フレームが作成される。
【０１０９】
手の各指骨は手首関節に向けて収束する形態に配列しているから、図４５において指方向規定点Ｗは、この手首に相当する手首規定点（以下、手首規定点Ｗとも記す）として規定されている。前述のごとく、入力操作面１０２ａ（撮影範囲）が、掌の指先側をなす一部分だけが収まるように寸法設定されており、かつ、撮影範囲に対して手前側から手を伸ばし入れる形で操作がなされるので、手首規定点Ｗは画面領域の下側に外れた形で設定される。図４５においては、Ｙ方向にて画面領域の下縁から一定長Ｙ０だけ下側に離間した位置に手首規定点Ｗが設定されている。画面上の指先点（Ｇ１〜Ｇ５）のＹ座標とは無関係に、手首規定点ＷのＹ方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点Ｗの決定アルゴリズムが簡略化できる。手首規定点ＷのＸ座標は、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に固定されている。なお、画面領域のＹ方向高さをＬとしたとき、Ｙ０＋Ｌ／２の値は、例えば１００ｍｍ以上２００ｍｍ以下に調整するとよい。
【０１１０】
こうして図４６のごとく作成された指示体画像フレームはグラフィックコントローラ１１０に転送され、別途取得されている入力画面画像フレームデータと合成され、モニタ１５に表示される。入力画面画像フレームデータと指示体画像フレームデータとを合成する方法としては、指示体画像ＳＦのデータ形態により次にような手法を採用することができる。
（１）指示体画像データがはじめからビットマップデータにより記述されている場合は、対応する画素同士のアルファブレンディング処理により、指示体画像を入力画面上に透かし形態で重ね表示することができる。
（２）指示体画像データがベクトルアウトラインデータで記述されている場合は、指示体画像フレーム上で該データを用いて指示体画像の輪郭線を生成し、さらにその内部をラスタライジングしてビットマップ化し、その後は（１）と同様のアルファブレンディング処理を行なう。
（３）指示体画像データをなすベクトルアウトラインデータを用いて入力画面画像フレーム上に輪郭線を描画し、その内部に位置する入力画面画像の画素を抽出するとともに、該抽出された画素の設定値を一律にシフトさせる。
【０１１１】
（１）〜（３）のいずれにおいても、指示体画像データの輪郭線を形成する画素については、指示体画像データ側のブレンド比を高めることで、輪郭線の強調された指示体画像を重畳表示できる。また、指示体画像データを、ビットマップデータもしくはベクトルアウトラインデータで記述された輪郭線のみの画像データとし、輪郭線のみを重ね表示することも可能である。
【０１１２】
図１に示すように、モニタ１５の画面は、運転席２Ｄないし助手席２Ｐに着座する操作者から見て、タッチパネル１２ａ上の指を直視する向きから外れて配置されているから、操作を行なう手元とモニタ１５との双方を同時に直視することができない。従って、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源となる。上記のように、撮影画像上での実指像の状態とは無関係に、個々の指を示す指示体画像ＳＦを該実指像よりも細くした形で画面上に確実に表示することができれば、撮影された実指像がそのまま太く拡大表示されて操作性に支障をきたす不具合を効果的に解消することができる。
【０１１３】
該効果は、図４５に一点鎖線で示すように、撮影範囲１０２ｂ（ひいては、タッチパネルの入力操作面１０２ａ）が縮小された場合に、さらに顕著となる。人差し指、中指及び薬指のうち、２本の全体が少なくとも撮影可能であり、４本の全体は撮影不能な大きさに設定されている場合、つまり、図５０に示すように、人差し指、中指、薬指及び小指の全てが入るのではなく、人差し指、中指、薬指の３本、あるいは、人差し指と中指（もしくは中指と薬指）の２本が入る大きさに設定されている場合がこれに該当する。
【０１１４】
この場合、撮影範囲１０２ｂ（入力操作面１０２ａ）の寸法を具体的な数値で表すと、Ｘ方向寸法は、６０ｍｍ以上８０ｍｍ以下（例えば７０ｍｍ）、Ｙ方向寸法が３０ｍｍ以上５５ｍｍ以下（例えば、４３ｍｍ）である。撮影範囲に収まる指の数は２本であるが、図５１に破線で示すように、もし、撮影された実指像ＦＩを二値化しただけでそのままモニタ１５の画面領域に表示しようとすると、撮影範囲が縮小される分だけ２本の実指像ＦＩが大きく拡大されて表示されることとなる。例えば図５１のように、画面切替えにより、モニタ１５に五十音入力用のソフトキーボードＫＢが表示可能な場合、ソフトボタンＳＢの数は５０を超え、拡大された実指像ＦＩの幅方向には３個を超えるソフトボタンＳＢの画像が重なる（つまり、このソフトキーボードＫＢの表示画面には、撮影画像上の実指像ＦＩを、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該実指像ＦＩの仮想投影領域に対しソフトボタンＳＢ画像が、指幅方向に複数（具体的には、２個を超える数で）包含される寸法ならびに配列間隔にて表示形成されている）。これでは、手指が狙ったソフトボタンに正しく向けられているのか否かが非常にわかりにくく、当然、狙ったボタンの隣を押し違えたりする不具合も生じやすい。
【０１１５】
しかし、図５１に実線で示すように、この実指像ＦＩよりも狭幅化した指示体画像ＳＦでこれを置き換え表示すれば、指示体画像ＳＦの幅方向に重なるソフトボタンＳＢの数は２個ないし１個に減じられ、指示体画像ＳＦ付近のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンＳＢのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上することは明らかである。
【０１１６】
なお、Ｙ方向の入力位置が大きく変化しうる場合は、それに伴なう手首位置のＹ方向変化も考慮する必要がある。この場合、図５２に示すように、表示座標平面上にて手首規定点Ｗを、特定された指先点Ｇと予め定められた位置関係を有するものとなるように設定すると、指示体画像ＳＦの配置方向のリアリティをより高めることができる。具体的には、Ｙ方向にて画面領域内に特定された指先点Ｇから一定長Ｙ２（例えば、Ｙ２は１００ｍｍ以上２００ｍｍ以下である）だけ下側に離間した位置に手首規定点Ｗを設定するとよい。
【０１１７】
次に、図１のような配置形態の操作部１２を、座席２Ｄないし座席２Ｐから手元操作しようとした場合を考える。着座状態で、体の左（運転席２Ｄの場合）ないし右（助手席２Ｐの場合）脇の操作部１２上に置いた手をＹ方向に移動する場合は、肩関節及び肘関節を動かしながら前方に伸ばした下椀部を前後に移動させる動作が中心となる。その結果、入力操作面１０２ａ上で撮影される掌の動きは、Ｙ方向にほぼ平行移動する形に近く、入力に関与する指の方向（角度）もそれほど大きくは変化しない。しかし、手をＸ方向に移動する場合は手首の回転動が主体的となり、入力操作面１０２ａ上で撮影される掌の動きは、掌中央付近の軸線周りに手を回転させる形態に近くなる。その結果、指入力に関与する指の方向（角度）は、手の回転角度に応じて変化することになる。
【０１１８】
そこで、図５３に示すごとく、指方向を決める手首規定点ＷのＸ座標を指先点ＧのＸ座標に応じて変化させる方式を採用すれば、上記のような手の動きを反映させる上で好都合である。図５３においては、画面領域（撮影範囲）の下方に、基準手首位置を示す基準手首規定点Ｗ０を固定的に定め、実指像ＦＩのＹ方向に対する傾斜角度θが大きくなるほど、基準手首規定点Ｗ０からのＸ方向への変位量が大きくなるように手首規定点ＷのＸ座標値を決定することができる。
【０１１９】
図５３においては、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に基準手首規定点Ｗ０のＸ座標を定め、また、既に特定された複数の指先点のうち、指先位置が最も上方に位置するもの（図２６では、中指に対応する指先点Ｇ３）を基準として、そこから一定値Ｙ２だけ下方へ移動した位置に基準手首規定点Ｗ０のＹ座標を定めている。
【０１２０】
上記のごとく、回転中心が掌の内側に存在する想定では、指先がＸ方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。そこで、方向に対し右上がり形態に傾斜している実指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し左側に変位するように手首規定点ＷのＸ座標値を決定し、Ｙ方向に対し左上がり形態に傾斜している実指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し右側に変位するように手首規定点ＷのＸ座標値を決定する。具体的には、指先位置が最も上方に位置する実指像ＦＩ（指先点Ｇ３に対応）を代表実指像として用い、該実指像ＦＩのＹ方向に対する傾斜角度（時計回りを正方向として定義する）θを求める。該傾斜角度θは、例えば実指像ＦＩを構成する画素点に最小二乗法を適用して得られる直線の勾配から計算することができる。求めるべき手首規定点Ｗの基準手首規定点Ｗ０からのＸ方向変位（あるいは、Ｘ座標値そのものであってもよい）を各種θの値毎に事前に定め、図３のＲＯＭ１０３に記憶しておけば、計算されたθに対応するＸ方向変位は、該テーブルから読み出すことで容易に決定できる。図５３においては、手首規定点ＷのＹ座標は、基準手首規定点Ｗ０のＹ座標と常に等しくなるように定めてある。つまり、手首規定点Ｗは、角度θに応じて、基準手首規定点Ｗ０を通ってＸ軸と平行な直線上を動く形で設定されている。ただし、円弧状の経路に沿って手首規定点Ｗを定めてもよい。
【０１２１】
なお、代表実指像としては、撮影範囲のＸ方向（またはＹ方向）の中心に最も近いＸ座標（またはＹ座標）を指先点として有するものを採用してもよい。また、複数の指先点（Ｇ１〜Ｇ５）のＸ座標及びＹ座標を平均化して得られる点を代表指先点として用いる形で手首規定点Ｗを定めてもよい。また、指先位置が奇数個の場合は中央にある実指像の指先点を、偶数個の場合は中央に近い２つの実指像を採用して、それらの指先点のＸ座標及びＹ座標を平均化して得られる点を、それぞれ代表指先点として定める方式も可能である。
【０１２２】
次に、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しＸ方向に互いに異なる位置に接続することとなる。そこで、図５４に示すように、複数の指先点Ｇ１〜Ｇ５について独立な手首規定点Ｗ１〜Ｗ５を決定し、指示体画像の配置方向を、各指先点Ｇ１〜Ｇ５について対応する手首規定点Ｗ１〜Ｗ５を用いて決定することができる。具体的には、基準手首規定点Ｗ０よりもＸ方向右側に位置している指先点Ｇ１，Ｇ２については、Ｘ座標が基準手首規定点Ｗ０よりも右側に位置するように対応する手首規定点Ｗ１，Ｗ２を設定し、基準手首規定点Ｗ０よりもＸ方向左側に位置している指先点Ｇ３，Ｇ４，Ｇ５については、Ｘ座標が基準手首規定点Ｗ０よりも左側に位置するように対応する手首規定点Ｗ３，Ｗ４，Ｗ５を設定している。
【０１２３】
なお、基準手首規定点Ｗ０に対するＸ方向変位（ｈ１〜ｈ５）の大きい指先点ほど、対応する手首規定点のＸ座標は基準手首規定点Ｗ０からのＸ方向への変位が大きくなるように定められている。具体的には、指先点の基準手首規定点Ｗ０に対するＸ方向変位に一定の倍率係数ｋ（例えば、０．１≦ｋ≦０．３）を乗じた値を、手首規定点ＷのＸ座標に係る基準手首規定点Ｗ０からのＸ方向変位として算出している。
【０１２４】
また、図２９は、操作者の手を手撮影カメラ１２ｂの撮影範囲１０２ｂに対し、挿入方向をガイド方向として該ガイド方向に規制しつつ挿入させる手ガイド部を設けた操作装置の構成例を示すものである。前述の先端領域（非重なり領域）の幅寸法は、そのガイド方向と直交する向きの寸法として規定される。図３０は、その入力部１２を拡大して示すものであり、筐体１２ｄの上面に、操作者の掌を乗せるためのパームレスト部１２ｐが形成されている。パームレスト部１２ｐの上面は、車両の前後方向（つまり、Ｙ方向）において中間が上向きに膨出した凸曲面状のガイド面１２０ｐとされ、手の掌長方向をＹ方向に一致させるように規制する働きをなす。そして、図２９に示すように、ガイド面１２０ｐ上に手を載せたとき、指の先端側部分がタッチパネル１２ａに係るように（つまり、指の先端側部分が撮影されるように）、該ガイド面１２０ｐの先端側に続く形でタッチパネル１２ａが配置されている。また、ガイド面１２０ｐのＸ方向における両縁には、Ｙ方向に伸びるガイドリブ１２０ｑが形成されており、ガイド面１２０ｐ上の手指がタッチパネル１２ａつまり撮影範囲に対しＹ方向に規制しつつ挿入されるようになっている。これらガイド面１２０ｐとガイドリブ１２０ｑとが前述の手ガイド部を形成している。撮影範囲の寸法は図５０に示すものと同様である。
【０１２５】
以上、本発明の画像表示装置を車載用電子機器の操作装置に適用した例について説明したが、本発明はこれに限定されるものではなく、例えば、パーソナルコンピュータ用のＧＵＩ入力デバイスなどにも適用可能である。
【符号の説明】
【０１２６】
１ 操作装置
１０ 操作ＥＣＵ
１２ 入力部
１２ａ タッチパネル（タッチ入力装置）
５１ ナビＥＣＵ（コマンド起動手段）
１０２ａ 操作面
１０２ｂ 撮影範囲
１２ｂ 手撮影カメラ（撮影装置）
１５ モニタ（画像表示装置、画像移動表示手段）
１０１ ＣＰＵ（指先点特定手段、指示体画像表示制御手段、画像移動表示手段、目印画像貼り付け手段、目印画像消去手段、操作ボタン画像表示制御手段）
ＦＩ 実手画像（指示体画像）
ＳＦ 模擬指画像（指示体画像）
１６１〜１６５ 操作ボタン画像（選択受付領域）
１６１ｉ〜１６５ｉ アイコン（目印画像、移動対象画像）
【特許請求の範囲】
【請求項１】
操作者の指先によるタッチ操作を受け付ける操作面を有し、該タッチ操作による入力位置を検出し出力するタッチ入力装置と、
前記操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する前記操作者の手を撮影する撮影装置と、
前記撮影装置が撮影取得する手画像データに基づき前記手の指先点を特定する指先点特定手段と、
前記操作面ならびに前記撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
前記画像表示装置に対し前記指先点を指示する指示体画像を前記表示画面上に表示させる指示体画像表示制御手段と、
前記画像表示装置に対し前記表示画面上の予め定められた位置に選択受付領域を設定する選択受付領域設定手段と、
前記操作面上にて前記選択受付領域の対応位置に前記タッチ操作が検出されるに伴い、該選択受付領域に対応付けて用意された移動対象画像を選択する移動対象画像選択手段と、
前記指先点特定手段が検出する指先点のうち、前記タッチ操作に対応する指先点を対象指先点として、前記表示画面上の前記対象指先点の対応位置に、選択された前記移動対象画像を前記指示体画像とともに表示するとともに、前記対象指先点が前記撮影範囲内を移動するに伴い、前記表示画面上の該対象指先点の対応移動軌跡に沿って前記移動対象画像を前記指示体画像とともに連動移動させる画像移動表示手段と、
を備えたことを特徴とする操作装置。
【請求項２】
前記指示体画像表示制御手段は、前記撮影装置の撮影画像から抽出される前記手の実指像を前記指示体画像として使用する請求項１記載の操作装置。
【請求項３】
前記指示体画像表示制御手段は、前記撮影装置が撮影取得する画像データとは別に用意された指示体画像データを用いて前記指示体画像を表示する請求項１記載の操作装置。
【請求項４】
前記指示体画像として、前記撮影装置の撮影画像から抽出される前記手の実指像よりも狭幅となる、指の輪郭形状を模した模擬指画像が使用される請求項３記載の操作装置。
【請求項５】
前記画像移動表示手段は、前記選択受付領域への前記タッチ操作を第一タッチ操作として、該第一タッチ操作により前記移動対象画像が選択された後該第一タッチ操作が解除され、その状態で前記対象指先点が移動した場合に、前記移動対象画像を前記指示体画像とともに連動移動表示する連動移動モードとなり、該対象指先点の移動後に前記操作面上の該対象指先点の対応位置にて第二タッチ操作が検出されるに伴い、当該第二タッチ操作の検出位置にて該連動移動表示モードを解除するものである請求項１ないし請求項４のいずれか１項に記載の操作装置。
【請求項６】
前記移動対象画像が、前記対象指先点の位置を強調する目印画像とされている請求項５記載の操作装置。
【請求項７】
前記表示画面上の前記選択受付領域に、前記目印画像を意匠として含む操作ボタン画像を表示する操作ボタン画像表示制御手段を有する請求項６記載の操作装置。
【請求項８】
前記連動移動表示モードが解除されるに伴い、前記表示画面上の前記第二タッチ操作の検出対応位置に前記目印画像を貼り付ける形で固定表示する目印画像貼り付け手段が設けられている請求項６又は請求項７に記載の操作装置。
【請求項９】
前記連動移動表示モードが解除されるに伴い、前記表示画面上の前記第二タッチ操作の検出対応位置にて、前記指示体画像と連動移動表示されていた前記目印画像を消去する目印画像消去手段が設けられている請求項６又は請求項７に記載の操作装置。
【請求項１０】
前記目印画像は前記操作装置の適用対象となる電子機器の特定機能と一義的に対応付けられてなり、前記第二タッチ操作が検出されるに伴い、該目印画像に対応する特定機能の制御コマンドを起動する制御コマンド起動手段が設けられている請求項６ないし請求項８のいずれか１項に記載の操作装置。
【請求項１１】
前記表示画面上の互いに異なる複数の前記選択受付領域に、複数の前記電子機器機能に一対一に対応付けられた個別の前記目印画像を意匠として含む操作ボタン画像をそれぞれ表示する操作ボタン画像表示制御手段を有し、
前記画像移動表示手段は、前記第一タッチ操作がなされた操作ボタン画像に対応する目印画像を選択して前記連動移動モードへ移行するとともに、前記制御コマンド起動手段は、選択された目印画像に対応する前記特定機能の制御コマンドを起動するものである請求項１０記載の操作装置。
【請求項１２】
前記操作面の一部がコマンド起動有効領域として定められ、前記表示画面上にて前記操作ボタン画像が前記コマンド起動有効領域に対応する画面領域外に表示される一方、前記コマンド起動手段は、前記操作面の前記コマンド起動有効領域にて前記第二タッチ操作が検出された場合に前記制御コマンドを起動し、該コマンド起動有効領域外に前記第二タッチ操作が検出された場合は前記制御コマンドを起動しない請求項１０又は請求項１１に記載の操作装置。
【請求項１３】
前記電子機器は車載電子機器であり、
前記位置入力装置と前記表示装置とが、車両の座席に着座した前記操作者から見て、前記表示装置の前記表示画面が前記位置入力装置の前記入力面上の指を直視する向きから外れる相対位置関係となるように、前記車両内に配置されている請求項１０ないし請求項１２のいずれか１項に記載の操作装置。
【請求項１４】
前記車載電子機器がカーナビゲーションシステムである請求項１３記載の操作装置。
【請求項１５】
前記表示画面の一部が前記コマンド起動有効領域に対応した地図表示領域として定められ、前記カーナビゲーションシステムの該地図表示領域上での地点指定を伴う前記制御コマンドが、該地図表示領域外に表示される前記選択受付領域をなす操作ボタン画像に対応付けられてなり、
前記コマンド起動手段は、前記操作面の前記地図表示領域の対応領域内にて前記第二タッチ操作が検出された場合に前記制御コマンドを起動し、該対応領域外に前記第二タッチ操作が検出された場合は前記制御コマンドを起動しない請求項１４に記載の操作装置。
【請求項１６】
前記制御コマンドが、前記地図表示領域上への目的地設定コマンド、前記地図表示領域上への経由地設定コマンド、周辺施設検索コマンド及び地図拡大表示コマンドのいずれかである請求項１５記載の操作装置。
【請求項１７】
前記表示画面には、前記指示体画像を表示可能な一定の有効領域が定められてなり、前記画像移動表示手段は、前記連動移動モードの実行中において前記対象指先点が前記有効領域から脱出した場合に、前記目印画像の選択状態と前記連動移動モードとを解除する請求項６ないし請求項１６のいずれか１項に記載の操作装置。
【請求項１８】
前記画像移動表示手段は、前記連動移動モードの実行中において前記対象指先点が前記有効領域から脱出した場合に、前記目印画像を選択保持するとともに、その状態で、脱出した前記対象指先点、もしくは当該対象指先点の代替として予め定められた指先点が前記有効領域内に検出された場合に、当該指先点を新たな対象指先点として、選択保持中の前記目印画像を用い、前記連動移動モードを継続するものである請求項６ないし請求項１６のいずれか１項に記載の操作装置。
【請求項１９】
前記画像移動表示手段は、前記連動移動モードの実行中において前記対象指先点の動作を検出する対象指先点動作検出手段を有し、検出された動作が予め定められた連動移動モード解除動作に該当する場合に、前記目印画像の選択状態と前記連動移動モードとを解除する請求項６ないし請求項１８のいずれか１項に記載の操作装置。
【請求項１】
操作者の指先によるタッチ操作を受け付ける操作面を有し、該タッチ操作による入力位置を検出し出力するタッチ入力装置と、
前記操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する前記操作者の手を撮影する撮影装置と、
前記撮影装置が撮影取得する手画像データに基づき前記手の指先点を特定する指先点特定手段と、
前記操作面ならびに前記撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
前記画像表示装置に対し前記指先点を指示する指示体画像を前記表示画面上に表示させる指示体画像表示制御手段と、
前記画像表示装置に対し前記表示画面上の予め定められた位置に選択受付領域を設定する選択受付領域設定手段と、
前記操作面上にて前記選択受付領域の対応位置に前記タッチ操作が検出されるに伴い、該選択受付領域に対応付けて用意された移動対象画像を選択する移動対象画像選択手段と、
前記指先点特定手段が検出する指先点のうち、前記タッチ操作に対応する指先点を対象指先点として、前記表示画面上の前記対象指先点の対応位置に、選択された前記移動対象画像を前記指示体画像とともに表示するとともに、前記対象指先点が前記撮影範囲内を移動するに伴い、前記表示画面上の該対象指先点の対応移動軌跡に沿って前記移動対象画像を前記指示体画像とともに連動移動させる画像移動表示手段と、
を備えたことを特徴とする操作装置。
【請求項２】
前記指示体画像表示制御手段は、前記撮影装置の撮影画像から抽出される前記手の実指像を前記指示体画像として使用する請求項１記載の操作装置。
【請求項３】
前記指示体画像表示制御手段は、前記撮影装置が撮影取得する画像データとは別に用意された指示体画像データを用いて前記指示体画像を表示する請求項１記載の操作装置。
【請求項４】
前記指示体画像として、前記撮影装置の撮影画像から抽出される前記手の実指像よりも狭幅となる、指の輪郭形状を模した模擬指画像が使用される請求項３記載の操作装置。
【請求項５】
前記画像移動表示手段は、前記選択受付領域への前記タッチ操作を第一タッチ操作として、該第一タッチ操作により前記移動対象画像が選択された後該第一タッチ操作が解除され、その状態で前記対象指先点が移動した場合に、前記移動対象画像を前記指示体画像とともに連動移動表示する連動移動モードとなり、該対象指先点の移動後に前記操作面上の該対象指先点の対応位置にて第二タッチ操作が検出されるに伴い、当該第二タッチ操作の検出位置にて該連動移動表示モードを解除するものである請求項１ないし請求項４のいずれか１項に記載の操作装置。
【請求項６】
前記移動対象画像が、前記対象指先点の位置を強調する目印画像とされている請求項５記載の操作装置。
【請求項７】
前記表示画面上の前記選択受付領域に、前記目印画像を意匠として含む操作ボタン画像を表示する操作ボタン画像表示制御手段を有する請求項６記載の操作装置。
【請求項８】
前記連動移動表示モードが解除されるに伴い、前記表示画面上の前記第二タッチ操作の検出対応位置に前記目印画像を貼り付ける形で固定表示する目印画像貼り付け手段が設けられている請求項６又は請求項７に記載の操作装置。
【請求項９】
前記連動移動表示モードが解除されるに伴い、前記表示画面上の前記第二タッチ操作の検出対応位置にて、前記指示体画像と連動移動表示されていた前記目印画像を消去する目印画像消去手段が設けられている請求項６又は請求項７に記載の操作装置。
【請求項１０】
前記目印画像は前記操作装置の適用対象となる電子機器の特定機能と一義的に対応付けられてなり、前記第二タッチ操作が検出されるに伴い、該目印画像に対応する特定機能の制御コマンドを起動する制御コマンド起動手段が設けられている請求項６ないし請求項８のいずれか１項に記載の操作装置。
【請求項１１】
前記表示画面上の互いに異なる複数の前記選択受付領域に、複数の前記電子機器機能に一対一に対応付けられた個別の前記目印画像を意匠として含む操作ボタン画像をそれぞれ表示する操作ボタン画像表示制御手段を有し、
前記画像移動表示手段は、前記第一タッチ操作がなされた操作ボタン画像に対応する目印画像を選択して前記連動移動モードへ移行するとともに、前記制御コマンド起動手段は、選択された目印画像に対応する前記特定機能の制御コマンドを起動するものである請求項１０記載の操作装置。
【請求項１２】
前記操作面の一部がコマンド起動有効領域として定められ、前記表示画面上にて前記操作ボタン画像が前記コマンド起動有効領域に対応する画面領域外に表示される一方、前記コマンド起動手段は、前記操作面の前記コマンド起動有効領域にて前記第二タッチ操作が検出された場合に前記制御コマンドを起動し、該コマンド起動有効領域外に前記第二タッチ操作が検出された場合は前記制御コマンドを起動しない請求項１０又は請求項１１に記載の操作装置。
【請求項１３】
前記電子機器は車載電子機器であり、
前記位置入力装置と前記表示装置とが、車両の座席に着座した前記操作者から見て、前記表示装置の前記表示画面が前記位置入力装置の前記入力面上の指を直視する向きから外れる相対位置関係となるように、前記車両内に配置されている請求項１０ないし請求項１２のいずれか１項に記載の操作装置。
【請求項１４】
前記車載電子機器がカーナビゲーションシステムである請求項１３記載の操作装置。
【請求項１５】
前記表示画面の一部が前記コマンド起動有効領域に対応した地図表示領域として定められ、前記カーナビゲーションシステムの該地図表示領域上での地点指定を伴う前記制御コマンドが、該地図表示領域外に表示される前記選択受付領域をなす操作ボタン画像に対応付けられてなり、
前記コマンド起動手段は、前記操作面の前記地図表示領域の対応領域内にて前記第二タッチ操作が検出された場合に前記制御コマンドを起動し、該対応領域外に前記第二タッチ操作が検出された場合は前記制御コマンドを起動しない請求項１４に記載の操作装置。
【請求項１６】
前記制御コマンドが、前記地図表示領域上への目的地設定コマンド、前記地図表示領域上への経由地設定コマンド、周辺施設検索コマンド及び地図拡大表示コマンドのいずれかである請求項１５記載の操作装置。
【請求項１７】
前記表示画面には、前記指示体画像を表示可能な一定の有効領域が定められてなり、前記画像移動表示手段は、前記連動移動モードの実行中において前記対象指先点が前記有効領域から脱出した場合に、前記目印画像の選択状態と前記連動移動モードとを解除する請求項６ないし請求項１６のいずれか１項に記載の操作装置。
【請求項１８】
前記画像移動表示手段は、前記連動移動モードの実行中において前記対象指先点が前記有効領域から脱出した場合に、前記目印画像を選択保持するとともに、その状態で、脱出した前記対象指先点、もしくは当該対象指先点の代替として予め定められた指先点が前記有効領域内に検出された場合に、当該指先点を新たな対象指先点として、選択保持中の前記目印画像を用い、前記連動移動モードを継続するものである請求項６ないし請求項１６のいずれか１項に記載の操作装置。
【請求項１９】
前記画像移動表示手段は、前記連動移動モードの実行中において前記対象指先点の動作を検出する対象指先点動作検出手段を有し、検出された動作が予め定められた連動移動モード解除動作に該当する場合に、前記目印画像の選択状態と前記連動移動モードとを解除する請求項６ないし請求項１８のいずれか１項に記載の操作装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４７】
【図４８】
【図４９】
【図５１】
【図５２】
【図５３】
【図５４】
【図４６】
【図５０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４７】
【図４８】
【図４９】
【図５１】
【図５２】
【図５３】
【図５４】
【図４６】
【図５０】
【公開番号】特開２０１０−１７３５８４（Ｐ２０１０−１７３５８４Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−２０６３５（Ｐ２００９−２０６３５）
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]