説明

表示方法、表示装置、及び操作入力装置

【課題】 手指に対応する位置指示画像を別の画像に重畳ないし合成する表示において、位置指示に使用する実際の指を容易に特定できるような位置指先画像の表示方法、該表示方法を採用する表示装置、及び該表示装置を備える操作入力装置を提供する。
【解決手段】 タッチ操作面１２ａ１に指が対向するに伴い当該指位置に対応する表示装置１５の画面位置に、位置指示画像２００Ｐを合成ないしは重畳する表示方法であって、タッチ操作面１２ａ１に対向する指の指先に対応する位置に位置指示画像２００Ｈを表示するとともに、そのうちの予め定められた方法で指定された位置指示用の指に対応する位置指示画像２００Ｐを、残余の指に対応する位置指示画像２００Ｒよりも相対的に強調して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手指に対応する画像を別の画像に重畳ないし合成する形で表示する表示方法と、当該表示方法を採用してなる表示装置、さらには、当該表示装置を備えてなる操作入力装置に関する。
【背景技術】
【０００２】
近年では、操作入力装置（特許文献１）として遠隔的に機器操作を行う操作入力装置が開発されている。このような操作入力装置は、操作画面（メイン画面）を表示する表示装置とは別に、操作者の手元に遠隔操作部を設け、さらに、その遠隔操作部を操作する手を撮影・抽出し、得られた手画像および手操作を表示装置の操作画面（メイン画面）に反映して、あたかも操作画面を直接タッチ操作しているかのように表示制御するものである。また、このような操作入力装置のうち、車両に設けられるものについては、その操作性を増すために、遠隔操作部が座席に着座したユーザーの手元に設けられる。そして、その遠隔操作部は、タッチ操作面を有してなるタッチ操作式の操作部として構成されることが多い。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−６６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような操作入力装置において、その表示装置では、遠隔操作部を操作する手を実際に操作画面上に表示すると、手が遠隔操作部に近い場合には、図３５（ｃ）に示すように、指のみが表示された状態となる。ところが、多数本の指が同時に並んで表示されていると、どの指で操作してよいかの迷いが生じるし、表示された指と、実際に操作者が位置指示に使いたい指との対応関係がわからなくなって、誤操作を招く可能性もあった。特に、上記操作入力装置が車両用のものである場合、車両運転中の運転者は操作画面を凝視できないので、運転しながらの多数本指での操作入力は難しく、誤操作を生じやすかった。
【０００５】
本発明の課題は、手指に対応する位置指示画像を別の画像に重畳ないし合成する表示において、位置指示に使用する実際の指を容易に特定できるような位置指先画像の表示方法、該表示方法を採用する表示装置、及び該表示装置を備える操作入力装置を提供することにある。
【課題を解決するための手段および発明の効果】
【０００６】
上記課題を解決するために、本発明の表示方法は、
表示画面を有した表示手段と、表示画面への操作を遠隔的に行うための遠隔操作面を有した遠隔操作部とを備える表示装置において、遠隔操作部の手前側にて指が対向するに伴い当該指位置に対応する表示画面上の画面位置に、背景をなす画像に合成ないしは重畳する形で、位置指示画像を表示する表示方法であって、
遠隔操作部の手前側で対向する手において指を特定する指特定ステップと、
特定された指から遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指を指定する操作対象指指定ステップと、
表示画面上の背景画像に合成ないしは重畳する形で、特定された指の指示位置を示す位置指示画像を表示する表示ステップであって、表示される位置指示画像のうち、指定された操作対象指に対応する位置指示画像を、当該位置指示用指とは異なる指に対応する位置指示画像よりも相対的に強調する強調表示にて行う位置指示画像強調表示ステップと、
を有することを特徴とする。
【０００７】
上記本発明によれば、多数本の指が遠隔操作面に対向し、それら全てが画面表示された場合でも、予め定められた方法、予め定められたルールに従い操作対象指の位置に対応する位置指示画像が特定され、その位置指示画像が他の指よりも相対的に強調してなされる。これにより、ユーザーは、どの指で操作を行うべきかを画面上から容易に認識することができる。また、表示されている指と実際の指との対応関係は、操作対象指の決められ方さえユーザーが把握しておけば容易に認識できる。従って、遠隔位置指示に適した位置指示画像の表示が可能となる。
【０００８】
また、本発明においては、遠隔操作面に対向する手において指先を特定する指先特定ステップを設けることができる。具体的にいえば、上記指特定ステップは、遠隔操作面に対向する手から指先を特定する指先特定ステップであり、当該指先を特定する形で前記指を特定するステップとすることができる。そして、この場合、位置指示画像強調表示ステップは、表示画面上の背景画像に合成ないしは重畳する形で、特定された指先に対応する位置に位置指示画像の表示を行うことを前提とする表示ステップとして、上記強調表示を実施するようにするものとできる。
【０００９】
なお、本発明において、指先とは、指の先端側の予め定められた領域（例えば第一間接まで等）や、その中に含まれる特定の位置（例えば指先端から第一間接までの領域の重心位置等）として定められるものとする。
【００１０】
また、操作対象指指定ステップは、操作対象指として１本の指を指定するものとすることができる。特に１本としておけば、操作対象指を明確認識し易く、特にプッシュ操作を含む接触操作がなされる遠隔操作部への適用に好適である。また、一本指状態は非常にシンプルな手形状であるから各処理を容易化できる。
【００１１】
また、操作対象指指定ステップは、操作対象指として２本又は３本の指を指定するものとすることができる。２本又は３本としておけば、プル操作や回転操作等を行う遠隔操作部への適用に好適である。
【００１２】
また、位置指示画像強調表示ステップにおいて、前記操作対象指とは異なる指に対応する位置指示画像を非表示としないことができる。これにより、表示されている操作対象指と、実際の操作対象指との対応関係を、それ以外の指の表示状態も参照にしながら把握できるようになる。
【００１３】
また、本発明においては、指特定ステップにより特定された指の形状に係る指形状情報を指定指情報として取得する指定指情報取得ステップを設けることができる。この場合、上記の操作対象指指定ステップは、取得された指形状情報に基づいて、指特定ステップにより特定された指のうち、当該指の形状に係る予め定められた選定条件に最も適する指形状情報を有した指を優先して操作対象指として指定するステップとすることができる。操作対象指が一本だけ特定される場合には、選定条件に最も適した指を操作対象指として指定することができる。
【００１４】
この構成によれば、例えば指の形状に係る情報から予め決められた種類の指を特定ないし推定して、その指を操作対象指として指定することも可能となる。各指にはそれぞれ種類毎に形状の違いがあるので、これらから指を特定ないし推定することができるから、位置指示に使用しやすい人差し指や中指を特定ないし推定することも可能となる。
【００１５】
具体的にいえば、指定指情報取得ステップは、指特定ステップにより特定された指同士の、遠隔操作面方向における長さ関係を反映した指長情報を指形状情報として取得するステップとすることができ、この場合、上記の操作対象指指定ステップは、取得された指長情報に基づいて、指特定ステップにより特定された指のうち、当該指長情報に係る予め定められた選定条件に適する指を優先して操作対象指として指定するステップとすることができる。この構成によれば、指の長さ関係が明らかになるので、この長さの比較から予め決められた種類の指を特定ないし推定して、その指を操作対象指として指定することができる。例えば、位置指示に使用しやすい中指であれば、最も長いと特定される（あるいは推定される）指として特定できる。人差し指であれば、操作手が左右いずれの手であるかさえ分かれば、最も長いと特定されるあるいは推定される指に隣接する一方側の指として特定できる。また、この構成によれば、最も長く表れる指は操作に使用される可能性が一般的には高いから、その逆の、操作に使用する意図が無いような中途半端にのびた指は確実に排除することが可能となる。
【００１６】
また、指定指情報取得ステップは、指特定ステップにより特定された指同士の、遠隔操作面方向における幅の関係を反映した指幅情報を指形状情報として取得するものであり、ステップとすることもでき、この場合、上記の操作対象指指定ステップは、取得された指幅情報に基づいて、指特定ステップにより特定された指のうち、当該指幅情報に係る予め定められた選定条件に適する指を優先して操作対象指として指定するステップとすることができる。この構成によれば、指の幅（太さ）の関係が明らかになるので、この幅の比較から予め決められた種類の指を特定ないし推定し、その指を操作対象指として指定することもできる。
【００１７】
また、本発明においては、指特定ステップにより特定された指同士の、遠隔操作面方向（遠隔操作面の広がる方向、即ち該遠隔操作面の法線に対し垂直をなす方向）における位置関係に係る位置関係情報を指定指情報として取得する指定指情報取得ステップを設けることができ、上記の操作対象指指定ステップは、取得された該位置関係情報に基づいて、指特定ステップにより特定された指のうち、当該位置関係に係る予め定められた選定条件に最も適する位置関係情報を有した指を優先して操作対象指として指定するステップとすることができる。操作対象指が一本だけ特定される場合には、選定条件に最も適した指を操作対象指として指定することができる。
【００１８】
この構成によれば、例えば特定された複数本の指の遠隔操作面方向における位置関係から予め決められた種類の指を特定ないし推定して、その指を操作対象指として指定することも可能となる。各指はその種類毎に位置関係が決められているから、これを用いて指を特定することができる。例えば、位置指示に最も使用しやすい人差し指であれば、指形状等から親指を排除した上で、操作する手が左手の場合は最も右に位置する指として特定でき、操作する手が右手の場合は最も左の指として特定できる。人差し指を特定できるならば、それに隣接する指を中指として特定することもできる。また、この構成では、指の位置関係によって操作対象指を選定するので、ユーザーにとってどの指が選定されるか分かりやすくなる。
【００１９】
具体的にいえば、指定指情報取得ステップは、指先特定ステップにより特定された指先を遠隔操作部との対向方向に投影し、その投影面上の予め定められた位置に１本の軸を設定して一次元の座標系を定め、投影された該指先の当該座標系における座標値を特定し、当該座標値を反映した軸座標情報を位置関係情報として取得するステップであり、この場合、上記の操作対象指指定ステップは、取得された該軸座標情報に基づいて、指特定ステップにより特定された指のうち、当該軸座標情報に係る予め定められた選定条件に対し適する指を優先して操作対象指として指定するステップとすることができる。この構成によると、上記位置次元座標系における各指先の位置する座標のみで、操作対象指を簡易に特定できる。なお、この場合の軸線は、例えば、遠隔操作面において操作対象指が最も位置し易い領域から位置し難い領域に向かう、あるいはその逆の直線として定めることができる。
【００２０】
また、指定指情報取得ステップは、指先特定ステップにより特定された指先を遠隔操作部との対向方向に投影し、その投影面上の予め定められた領域に設定される基準領域と投影された指先との間の距離を反映した距離情報を位置関係情報として取得するステップとすることができ、この場合、上記の操作対象指指定ステップは、取得された該距離情報に基づいて、指特定ステップにより特定された指のうち、当該距離情報に係る予め定められた選定条件に対し適する指を優先して操作対象指として指定するステップとすることができる。この構成によると、基準領域との距離演算のみで、操作対象指を簡易に特定できる。この場合の基準領域は、例えば、遠隔操作面において操作対象指が最も位置し易い領域、あるいはその逆の領域として定めることができる。
【００２１】
また、本発明においては、指特定ステップにより特定された指同士の、遠隔操作面への接近距離関係を反映した接近距離情報を指定指情報として取得する指定指情報取得ステップを設けることができ、この場合、上記の操作対象指指定ステップは、当該接近距離に関する予め定められた選定条件に対し適する指を優先して操作対象指として指定するステップとすることができる。この構成によれば、例えば特定された複数本の指の遠隔操作面への接近方向における位置関係から操作対象指を特定することが可能となる。なお、遠隔操作面への操作は手の指先による接触を伴うものであるから、この指先が遠隔操作面に最も近い指ほど位置指示の可能性が高い指である。従って、操作対象指指定ステップを、取得された該接近距離情報に基づいて、指特定ステップにより特定された指のうち、遠隔操作面に対し近い指先の指ほど優先して操作対象指として指定するステップとすれば、位置指示に最も適した指を操作対象指に指定できる。
【００２２】
また、指定指情報取得ステップは、撮影手段により撮影された手の画像の輝度を接近距離情報として取得するステップとすることができる。この場合、上記の操作対象指指定ステップは、当該輝度に関する予め定められた選定条件に対し適する指を優先して操作対象指として指定するステップとすることができる。なお、これを実現するために、本発明において、遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を遠隔操作面の裏側から撮影手段により撮影する撮影ステップが必要となる。撮影手段は、遠隔操作面を操作する手の反射光を捉える形で撮影を行うので、遠隔操作面に最も近い指先ほど高輝度に表れるから、輝度を用いて接近距離情報を容易に得ることができ、実際に接近距離を測るような手段・処理を省略できる。また、指先が遠隔操作面に最も近い指ほど、位置指示の可能性が高い指であるから、ここでの操作対象指指定ステップは、指特定ステップにより特定された指のうち、指先特定手段により特定された指先の輝度が最も高い指ほど優先して操作対象指として指定するステップとすることができる。
【００２３】
ところで、上記の全ての指定指情報取得ステップは、撮影ステップによる撮影画像に基づいて指定指情報を取得するステップとすることができる。この構成によると、撮影画像から得られる情報を使って容易に指指定情報を得ることができる。なお、これを実現するためには、撮影ステップとして、遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を遠隔操作面の裏側から撮影手段により撮影するステップが必要となる。
【００２４】
なお、本発明において、遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を遠隔操作面の裏側から撮影手段により撮影する撮影ステップを設けることができるが、この場合、指特定ステップは、撮影された手の画像から指を特定するステップとすることができる。さらにいえば、上記指先特定ステップは、撮影された手の画像から指先を特定するステップとすることができる。さらには、位置指示画像を表示する表示ステップを、撮影された手の画像に基づいて生成された位置指示画像を表示するステップとすることもできる。これらの構成によれば、カメラ等の１つの撮影手段の撮影画像により、指の特定、指先の特定、さらには操作対象指の特定や位置指示表示も可能となるので、これらの手段を個別に設けた構成と比べて、構成を単純化できる。
【００２５】
ところで、本発明における遠隔操作部は、例えばタッチパネル等のように、遠隔操作面がタッチ操作面をなすとともに当該タッチ操作面へのタッチ操作の有無及びタッチ位置を検出するタッチ操作部として構成することができる。この場合、操作対象指指定ステップは、指特定ステップにより特定された指のうち、タッチ操作面へのタッチ操作を行った指を操作対象指として指定するステップとすることができる。この構成によると、実際に位置指示がなされた後、その位置指示に使用された指が操作対象指として特定される。一般的な操作者は、操作対象指を固定して使用する傾向にあるので、正確に操作対象指を定め、これを強調した表示を行うことができる。また、タッチ操作をした指が強調表示されることにより、このタッチ操作をきっかけにして、画面表示された多数本の指と実際の指との対応関係を明確に認識できるようになる。
【００２６】
なお、誤って遠隔操作部に触れてタッチ操作をしてしまった場合に、その操作が入力に反映されないようにし、さらには強調表示に繁栄されないようにすることができる。具体的にいえば、操作対象指指定ステップを、タッチ操作が予め定められた押圧操作時間を上回るタッチ操作であった場合に、当該タッチ操作を行った指を操作対象指として指定するステップとすればよい。また、操作対象指指定ステップを、初回のタッチ操作が予め定められた押圧操作力を上回るタッチ操作であった場合に、当該タッチ操作を行った指を操作対象指として指定するステップとしてもよい。これらの構成によれば、一定以上の負荷を伴う操作でなれば、タッチ操作として有効とならないので、誤操作を防止できる。
【００２７】
ところで、本発明における位置指示画像強調表示ステップは、強調表示を、所定時間をかけて段階的に強調レベルを変化させる形で行うステップとすることができる。つまり、強調表示において、強調表示を開始してから強調表示が完了するまでの間に、強調開始前及び強調完了後の双方の状態とは異なる１以上の変化途中状態を経るような表示とすることができる。この構成によると、強調表示変化の過程が表示されるので、その過程を見ることで、表示されている指（特に操作対象指）と、実際の指との対応関係を認識しやすい。
【００２８】
また、この位置指示画像強調表示ステップは、強調表示として、該強調表示の開始時においては、操作対象指に対応する位置指示画像と、該位置指示用指とは異なる指に対応する位置指示画像とが強調レベル（強調度合い）が同じ状態でなされるとともに、該強調表示の開始から時間が経過するに従い操作対象指に対応する位置指示画像の相対的な強調レベルが段階的に増すように変化する表示を実行するステップとすることもできる。この場合によると、操作対象指に対応する位置指示画像の強調レベルが（相対的に）徐々に増していく構成となる。いきなり強調完了状態となると、その直後、強調表示されている操作対象指が実際にどの指に当たるのかを認識するのに戸惑いを感じてしまうが、徐々に強調表示が進むようにすることにより、そうした戸惑いを無くすことができる。
【００２９】
このように、強調表示前の状態を表示する重要性を考慮するならば、位置指示画像強調表示ステップを、操作対象指指定ステップにより操作対象指が指定されてから所定時間経過した後に、相対強調表示を開始するステップとすることがよい。ただし、上記のような強調レベルが徐々に増す構成においては、その変化の過程を時間をかけて視認できるので、位置指示画像強調表示ステップを、操作対象指指定ステップにより操作対象指が指定されるに伴い相対強調表示を開始するようにしてもよい。
【００３０】
本発明においては、遠隔操作面に対向する手の画像を撮影する手画像撮影ステップを備えて構成することができる。この場合、指特定ステップは、撮影された手の画像に基づいて、遠隔操作面に対向する手の指を特定するものとすることができる。さらに、この場合、位置指示画像強調表示ステップは、特定された手の指の輪郭が少なくとも特定可能となる実指画像を、撮影された手の画像に基づいて生成し、生成された実指画像を位置指示画像として表示するものとできる。操作画面上に実際の手の輪郭が表示されるため、その輪郭から手の位置を把握することができる。実際の手の輪郭であることから位置を認識しやすく、操作がより容易となる。
【００３１】
また、本発明において、位置指示画像強調表示ステップは、指の延びる方向が少なくとも特定可能となる擬似指画像、又は、指の指先位置が少なくとも特定可能となる指先位置画像のいずれかを前記位置指示画像として表示するように構成することもできる。位置指示画像として、指の指示位置が分かる程度に簡略された画像を用いることで処理負担を軽減できる。
【００３２】
ところで、本発明における強調表示は、位置指示画像の輪郭線に対してなされるものとできる。輪郭線が強調されることで、特定の指の指示位置がより分かり易くなる。
【００３３】
また、本発明における強調表示は、位置指示画像の表示色の濃淡を変える、位置指示画像の形状を変える、位置指示画像の透過度を変える、位置指示画像を点滅表示する形でなされるものであってもよい。これら単純な画像処理により強調表示を実施することで、処理負担を軽減できる。また、これらの強調表示でも十分に、特定の指を強調することができる。
【００３４】
ところで、本発明においては、遠隔操作部への操作に使用する、あるいは使用すると推定される指を操作対象指として指定し、指定された操作対象指に対応して表示される位置指示画像を、他の指に対応して表示される位置指示画像よりも相対的に強調して表示することを特徴としている。この場合、常に一定の指が操作対象指として指定される方が操作性の観点で優れる。つまり、操作対象指として同一の指が継続して指定されることが望ましい。
【００３５】
そのための構成として、本発明の表示方法は、操作対象指指定ステップにて前記操作対象指が指定された後、当該操作対象指に指定された指の移動を追跡する操作対象指追跡ステップを有し、操作対象指指定ステップは、前記操作対象指追跡ステップによる追跡結果に基づいて、前記操作対象指に指定された指と同一の指を継続的に前記操作対象指として指定するものとすることができる。この構成によれば、操作対象指に指定された指の移動が追跡されるから、常に同一の指を操作対象指として指定することができる。指の移動に伴い操作対象指が変化する場合と比較して、操作しやすい。
【００３６】
また、本発明の指特定ステップは、前記遠隔操作部の手前側にて予め定められている指特定可能範囲内に存在する手の指を、所定時間間隔にて順次特定とするものとできる。例えば、指特定ステップが撮影手段により動画撮影される手の画像から指を特定するものである場合、撮影により所定時間間隔おきに順次取得される動画像フレーム毎に、フレーム内に映る手画像から指を特定することになる。こうした場合、指特定ステップにより順次特定される指ごとの位置情報を取得し、当該位置情報を追跡情報として予め定められた追跡情報記憶部に記憶することにより、前記指特定ステップにより順次特定される指の移動を指ごとに追跡する指追跡ステップを設けることにより、操作対象指追跡ステップは、前記指追跡ステップにより記憶される指ごとの追跡情報のうち前記操作対象指の追跡情報に基づいて、当該操作対象指に指定された指の移動を追跡することができる。この構成によると、指特定ステップにより特定される全ての指の移動が追跡されるから、どの指が操作対象指に指定されても対応できる。また、操作対象指の移動は他の指と連動して生ずるから、操作対象指だけでなく他の指の追跡情報も収集しておけば、これを操作対象指の追跡に利用することで、より正確な追跡も可能となる。
【００３７】
また、指追跡ステップは、指特定ステップ毎に前記追跡情報を記憶している追跡中の各指が、次回の前記指特定ステップにて位置すると推定される次回位置を、対応する前記追跡情報に基づいて算出する次回位置推定ステップを有するものとできる。この場合、指追跡ステップは、当該次回位置推定ステップにて算出される前記追跡中の各指の前記次回位置と、次回の前記指特定ステップにて実際に特定される各指の実位置との位置関係が、予め定められた基準条件を満たすペアを特定するとともに、当該ペアの一方である前記追跡中の指と前記指特定ステップにて実際に特定された指とは互いを同一の指と判断し、当該追跡中の指が同一と判断された実際に特定された指の位置に移動したものとして、当該指の移動追跡を継続するものとできる。具体的に言えば、同一と認識された当該実際に特定された指の位置情報を、当該追跡中の指の最新の位置情報として前記追跡情報記憶部に記憶する形で当該追跡情報記憶部に記憶されている前記追跡情報を更新することにより、当該指の移動追跡を継続するものとできる。この構成によると、追跡情報が記憶されることで、過去の追跡情報から追跡中の指の次回の移動先を推定できる。さらに、その推定された位置と実際に指が特定された位置との位置関係を比較して、双方が例えば所定レベル以上近接した位置関係にある場合には、追跡中の指が推定どおりに移動したものと判断できる。つまり、追跡中の移動先の推定を、過去の追跡情報を用いることで高い精度で行うことができ、さらに指の移動追跡は、その推定結果を用いてなされるから、高い追跡精度が得られる。
【００３８】
上記追跡情報は、複数回の前記指特定ステップにより特定された対応する前記追跡中の指の各位置情報を含むことを可能とできる。この場合、次回位置推定ステップは、当該各位置情報に基づいて、対応する追跡中の指の前記次回位置を算出するものとできる。この構成によると、追跡中の指の過去複数回の位置から次回の位置が推定されるので、高い推定精度を得ることができる。
【００３９】
また、本発明の次回位置推定ステップは、前記追跡情報に、前回及び前々回の前記指特定ステップにより特定された対応する前記追跡中の指の各位置情報が含まれる場合には、それら双方の位置情報に基づいて、当該追跡中の指の前記次回位置を算出することができる一方で、前記追跡情報に、前回の前記指特定ステップにより特定された対応する前記追跡中の指の位置情報が含まれ、前々回の前記指特定ステップにより特定された対応する前記追跡中の指の位置情報が含まれていない場合には、前回の前記指特定ステップにより特定された際の前記位置情報と、当該位置情報が示す位置に近接する前記指特定可能範囲の縁部の位置とに基づいて、当該追跡中の指の前記次回位置を算出することができる。追跡中の指の前回及び前々回の位置が分かる場合には、それら双方を用いて、次回の位置を高い精度で推定することができるが、追跡中の指の位置が前回の分だけしか分からない場合、即ち追跡中の指が前回新規に出現した指である場合には、１つの位置しか分からないためそれだけでは高い精度で次回の位置を推定できない。ところが、上記構成によれば、前々回の位置の代わりに、前回の位置に近接する指特定可能範囲の縁部の位置を用いる。この場合、前回新規に出現したばかりの指は、指特定可能範囲の最も近接する縁部から出現した可能性が高いから、当該縁部を前々回の位置として利用することで、前々回の位置がなくても、次の位置を十分な精度で推定できる。
【００４０】
本発明の指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に実際に特定された指とは前記基準条件を満たさなかった前記追跡中の指がある場合には、当該追跡中の指を追跡不可の指として認識を切り替えるとともに、追跡不可と認識されたときの当該指に係る情報を追跡復帰判断情報として、予め定められた追跡復帰判断情報記憶部に記憶するものとできる。この場合、前記指追跡ステップはさらに、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指がある場合には、前記追跡復帰判断情報記憶部に記憶されている前記追跡復帰判断情報に基づいて、実際に特定された当該指が過去に追跡不可とされた指と同一であるか否かを判断し、同一であると判断された場合には、当該追跡復帰判断情報に対応する追跡不可とされていた指が、実際に特定された当該指の位置に再出現したと認識して、当該指の移動追跡を再開する一方で、同一ではないと判断された場合には、実際に特定された当該指が新規出現した指であると認識して、当該指の移動追跡を新たに開始するものとできる。具体的に言えば、同一であると判断された場合には、実際に特定された指の位置情報を、同一と認識された追跡不可とされていた当該指の最新の位置情報として前記追跡情報記憶部に記憶する形で、当該追跡情報記憶部に記憶されている前記追跡情報を更新することにより、当該指の移動追跡を再開する一方で、同一でないと判断された場合には、新規出現の指の位置情報を前記追跡情報として前記追跡情報記憶部に記憶することにより、当該指の移動追跡を新たに開始するものとできる。操作対象指は、指特定ステップにおいて特定可能な範囲外に移動した際には特定されなくなるが、特定されなくなったからといって、その指以外の指を操作対象指とすることは得策であるとはいい難い。例えば、人差し指が操作対象指とされていた状態で、この人差し指が特定範囲外に移動した場合に、薬指が特定されているからといって、この薬指を操作対象指に変更することはあまり望ましいことではなく、再び人差し指が特定されるまでは、操作対象指を指定しないほうがよい。つまり、一定の指が常に操作対象指として指定される方が、操作しやすいのである。上記構成によれば、追跡中の指をロスト（追跡不可）した場合には、ロスト時の状況が追跡復帰判断情報として記憶され、追跡されていなかった指が新たに特定された場合には、蓄積された追跡復帰判断情報を根拠に、その指が過去にロストした指であるか否かが判断されるから、一度ロストした指が再出現した場合には、これを同じ指と認識することができる。ロストした指が操作対象指である場合には、再出現した際に再び操作対象指として直ちに指定することができ、そのまま移動追跡を再開できる。
【００４１】
この場合の追跡情報は、少なくとも前記指特定ステップにより特定された指の最新の位置情報を含むものとすることができ、前記追跡復帰判断情報も、対応する指が追跡不可と認識される前の最後の位置情報を含むものとできる。この構成によると、指追跡ステップにて、ロスト（追跡不可）する直前の位置と、再出現の位置とを比較し、互いが近い位置関係にあるペアを同一の指と判断できる。つまり、ロスト時に直前の位置を記憶し、再出現時に位置の比較するだけで、新たに特定された指が再出現した指であるか否かを容易に判断可能となる。
【００４２】
本発明の指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されており、なおかつ追跡復帰判断情報記憶部に、複数の指の追跡復帰判断情報が記憶されている場合には、実際に特定された当該指の位置情報と、それら前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とに基づいて、実際に特定された当該指に最も近い位置を示す前記位置情報を含む前記追跡復帰判断情報に対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定するものとできる。この構成によると、ロスト（追跡不可）した指が複数存在する場合であっても、それらロスト中の指の最終特定位置と新たに特定された指の位置とを比較し、最も近いかったロスト中の指を、新たに特定された指と同一と判断される。ロストした指は、ロストした箇所と同じ位置から出現する可能性が高いから、これを利用することで、新たに特定された指が新規に出現したものかロストしていた指が再出現したものかを正確に特定できる。
【００４３】
本発明の指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されている場合に、実際に特定された当該指の位置情報と、前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とが示すそれぞれの位置間の距離が、予め定められた基準距離を下回る場合には、実際に特定された当該指と当該追跡復帰判断情報に対応する追跡不可とされている指とを同一と認識することを許可する一方で、前記基準距離を下回らない場合には、実際に特定された当該指と当該追跡復帰判断情報に対応する追跡不可とされている指とを同一と認識することを禁止するものとできる。ロスト（追跡不可）中の指の最終特定位置と新たに特定された指の位置とを比較したときに、両者の距離があまりにかけ離れた位置にある場合には、両指は異なる指である可能性が高い。上記構成とすることで、新たに特定された指が新規に出現したものかロストしていた指が再出現したものかをより正確に特定できる。
【００４４】
本発明の指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に実際に特定された指とは前記基準条件を満たさなかった前記追跡中の指があり、当該追跡中の指が追跡不可と認識された場合には、追跡不可と認識されたときの当該指に係る情報と共に、他の追跡不可の指との追跡不可認識時期の前後関係が特定可能となる追跡不可認識順序を、追跡復帰判断情報として前記追跡復帰判断情報記憶部に記憶するものとできる。この場合、前記指追跡ステップはさらに、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されており、なおかつ前記追跡復帰判断情報記憶部には、複数の指の追跡復帰判断情報が記憶されている場合には、実際に特定された当該指の位置情報と、それら前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とに基づいて、実際に特定された当該指に最も近い位置を示す前記位置情報を含む前記追跡復帰判断情報を特定することができる。ただし、実際に特定された当該指に最も近い位置を示す前記位置情報を含む追跡復帰判断情報が１つ特定されている場合には、当該追跡復帰判断情報に対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定する一方で、実際に特定された当該指に最も近い位置を示す前記位置情報を含む追跡復帰判断情報が２以上特定される場合には（つまり、複数の前記追跡復帰判断情報に含まれる位置情報が示す位置が予め定められた近接条件を満たす位置関係にある場合には）、それら追跡復帰判断情報に含まれる前記追跡不可認識順序を参照して、それら追跡復帰判断情報のうち追跡不可認識時期が最も新しいものに対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定するものとできる。人間の手における指の並びからすると、複数の指がほぼ同じ位置を最後にロスト（追跡不可）した場合には、それらが再び出現する時には、最後にロストした指から順に出現する可能性が高い。上記構成とすることで、ロスト中の指が複数あったとしても、新たに特定された指がロスト中のどの指と同一であるかを正確に特定できる。
【００４５】
なお、本発明の追跡復帰判断情報は、対応する指が追跡不可と認識される際に、追跡情報記憶部に記憶されていた当該指の前記追跡情報とすることができる。この構成によると、追跡中の指をロスト（追跡不可）した際に、追跡情報記憶部に記憶されていた当該指の追跡情報をそのまま追跡復帰判断情報に記憶するだけでよい。追跡情報記憶部と追跡復帰判断情報記憶部とが同じとするならば、記憶されている追跡情報をそのまま残しておくだけでよい。
【００４６】
本発明の指追跡ステップは、前記指特定ステップにより指が特定され、なおかつ特定された当該指が新規出現の指として認識した際には、当該新規の指に対し新たな識別情報を付与するとともに、当該識別情報に対応付けた形で、各指の前記追跡情報を前記追跡情報記憶部に記憶するものとできる。これにより、指特定ステップにより特定された指には識別情報が付されるので、指に対応する情報管理が容易となる。
【００４７】
また、追跡復帰判断情報記憶部を有した本発明の構成において、指追跡ステップは、前記識別情報が付与されている前記追跡中の指を追跡不可の指として認識した際には、当該指の前記識別情報に前記追跡復帰判断情報を対応付けた形で前記追跡復帰判断情報記憶部に記憶するものとできる。この場合、追跡中の指をロスト（追跡不可）してもその指の識別情報はそのまま残されるから、ロスト後もその指に対応する情報を容易に管理できる。
【００４８】
本発明の指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に、追跡情報記憶部に記憶された追跡情報と、さらには追跡復帰判断情報記憶部に記憶された追跡復帰判断情報とに基づいて、当該指特定ステップにより実際に特定された指が前記追跡中の指であるか否か、さらには追跡不可の指であるか否かを、前記識別情報が付された指ごとに判定し、その判定結果を追跡状況として前記識別情報に対応付けた形で、予め定められた追跡状況記憶部に記憶するものとできる。この構成によると、識別情報が付された指の追跡状況（追跡中、ロスト等）を容易に特定することができる。
【００４９】
本発明の指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に、指が特定されなかった場合には、前記識別情報及び当該識別情報に対応付けて記憶される各種情報を消去し、初期化するものとできる。順次特定される指の各種情報が識別情報に対応付けて記憶更新されていく中で、指が特定されなかったタイミングで一度全ての情報の初期化を図ることができる。
【００５０】
また、本発明の表示装置は、上記した本発明の表示方法における各ステップ（指特定ステップ、操作対象指指定ステップ、指先特定ステップ、位置指示画像強調表示ステップ、指定指情報取得ステップ）を実現する手段（指特定手段、操作対象指指定手段、指先特定手段、位置指示画像強調表示手段、指定指情報取得手段）を備えて構成することができる。これにより、表示装置において上記効果を実現できる。
【００５１】
また、本発明の操作入力装置は、上記表示装置を備えて構成することができる。具体的にいえば、表示画面は、機器の操作などを行うための画面として構成し、遠隔操作面は、表示画面とは異なる位置に設けられて当該表示画面における操作入力を遠隔的に行うための操作面として構成するとともに、上記表示画面を有した表示手段と、上記遠隔操作面を有した遠隔操作部と、遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付手段と、遠隔操作面に対向する手の画像を撮影する手画像撮影手段と、当該手により位置指示された表示画面上の位置に撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像強調表示手段と、を備えて構成することができる。これにより、上記表示方法の効果を有した遠隔操作用の操作入力装置を実現できる。
【００５２】
また、本発明の操作入力装置は車両用操作入力装置とすることができる。具体的にいえば、上記機器は車載搭載機器であり、表示画面は運転者よりも車両前方側にて該運転者により視認可能に配置され、遠隔操作面は、表示画面よりも運転者に近い位置に設けることができる。操作対象指が分かり易い表示がなされるので、操作が容易となる。特に運転者の操作の簡易化に貢献できる。
【図面の簡単な説明】
【００５３】
【図１】本発明のタッチ式操作入力装置の一例である車両用操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図。
【図２】車両用操作入力装置の概要を説明するための車室内の要部斜視図。
【図３】操作情報入力部の第一の構成を示す断面図。
【図４】操作パネルに対向する手の撮影及び表示を説明する第一の図。
【図５】操作パネルに対向する手の撮影及び表示を説明する第二の図。
【図６】位置指示画像の強調表示処理の流れを示すフローチャート。
【図７】本発明の第一実施形態における操作対象指の特定処理の流れを示すフローチャート。
【図８】指先の特定方法を説明する図。
【図９】本発明の第一実施形態において操作対象指を特定する方法の第一例を説明する図。
【図１０】本発明の第一実施形態において操作対象指を特定する方法の第二例を説明する図。
【図１１】本発明の第一実施形態において操作対象指を特定する方法の第三例を説明する図。
【図１２】位置指示画像の強調表示の一例を示す図。
【図１３】タッチ操作入力処理の流れを示すフローチャート。
【図１４】本発明の第一実施形態の第一変形例における操作対象指の特定処理の流れを示すフローチャート。
【図１５】本発明の第一実施形態の第一変形例において操作対象指を特定する方法の第一例を説明する図。
【図１６】本発明の第一実施形態の第一変形例において操作対象指を特定する方法の第二例を説明する図。
【図１７】本発明の第一実施形態の第二変形例における操作対象指の特定処理の流れを示すフローチャート。
【図１８】本発明の第一実施形態の第二変形例において操作対象指を特定する方法の一例を説明する図。
【図１９】本発明の第一実施形態の第三変形例における操作対象指の特定処理の流れを示すフローチャート。
【図２０】本発明の第一実施形態の第三変形例における操作対象指の特定処理の流れを示すフローチャート。
【図２１】本発明の第一実施形態の第四変形例において操作対象指を特定する方法の一例を説明する図。
【図２２】本発明の第一実施形態の第五変形例において操作対象指を特定する方法の一例を説明する図。
【図２３】本発明の第一実施形態の第五変形例において操作対象指を特定する方法の一例を説明する図。
【図２４】本発明の第一実施形態の第六変形例において操作対象指を特定する方法の一例を説明する図。
【図２５】本発明の第一実施形態の第六変形例において操作対象指を特定する方法を説明する第一の図。
【図２６】本発明の第一実施形態の第六変形例において操作対象指を特定する方法を説明する第一の図。
【図２７】図２とは異なる車両用操作入力装置の概要を説明するための車室内の要部斜視図。
【図２８】操作者を特定するために撮影された画像の一例を示す図。
【図２９】図４又は図５の（ｃ）とは異なる表示画像の一例。
【図３０】本発明の第一実施形態の第七変形例においてつまみ操作を前提とする操作部を簡略的に示す斜視図。
【図３１】図３０に示すｘ方向、ｙ方向、ｚ方向からの撮影画像の一例。
【図３２】図３１に基づく表示画像の一例。
【図３３】図３２とは異なる、図３１に基づく表示画像の一例。
【図３４】本発明の第一実施形態の第七変形例において操作対象指を特定する方法の第二例を説明する図。
【図３５】従来の車両用操作入力装置において、操作パネルに対向する手の撮影及び表示を説明する図。
【図３６】指追跡処理の流れを示すフローチャート。
【図３７】図３６に続くフローチャート。
【図３８】指先位置を予測する制御回路に記憶される追跡情報を説明する図。
【図３９】動画像フレーム間で指先を追跡する基本アルゴリズムを説明する図。
【図４０】指先（指）の出現予測位置の算出方法を示す図。
【図４１】前フレームにて新規出現した指先の次フレームでの出現予測位置の算出方法を説明する図。
【図４２】指先の新規出現及び指先のロストを説明する図。
【図４３】本発明における位置指示画像の強調表示の時間変化の一例を示す図。
【図４４】本発明における位置指示画像の強調表示の時間変化の一例を示す図。
【図４５】本発明の第十実施形態における位置指示画像の強調表示の一表示例を示す図。
【図４６】本発明の第十実施形態における位置指示画像の強調表示の一表示例を示す図。
【図４７】本発明の第十実施形態における位置指示画像の強調表示の一表示例を示す図。
【図４８】本発明の第十実施形態における位置指示画像の強調表示の一表示例を示す図。
【図４９】本発明における位置指示画像を擬似指画像にて表示した一表示例を示す図。
【図５０】本発明における位置指示画像を指先位置画像にて表示した一表示例を示す図。
【図５１】操作パネルに対向する手の撮影及び表示を説明する第三の図。
【図５２】本発明の第二実施形態の位置指示画像表示処理を示すフローチャート。
【図５３】本発明の第三実施形態のタッチ操作入力処理を示すフローチャート。
【図５４】操作パネルに対向する手の撮影及び表示を説明する第四の図。
【図５５】本発明の第四実施形態の位置指示画像表示処理を示すフローチャート。
【図５６】本発明の第六実施形態のタッチ操作入力処理を示すフローチャート。
【図５７】本発明において設定可能な表示許可期間の第一例を示す図。
【図５８】本発明の第四実施形態における表示許可期間を示す図。
【図５９】本発明の第五実施形態における表示許可期間を示す図。
【図６０】本発明の第七実施形態の位置指示画像表示処理を示すフローチャート。
【図６１】本発明の第八実施形態の位置指示画像表示処理を示すフローチャート。
【図６２】本発明の第九実施形態の位置指示画像表示処理を示すフローチャート。
【図６３】車速閾値の設定例を示す図。
【図６４】本発明の第十実施形態の位置指示画像表示処理を示すフローチャート。
【図６５】本発明における操作画面の一例。
【図６６】本発明における操作画面の一例。
【図６７】本発明における操作画面の一例。
【図６８】所定指状態の一例を説明する図。
【図６９】所定指状態の一例を説明する図。
【図７０】所定指状態の一例を説明する図。
【図７１】所定指状態の一例を説明する図。
【図７２】表示モード切替制御の実施対象となる画面条件の例を示す図。
【図７３】所定指状態の例示。
【発明を実施するための形態】
【００５４】
以下、本発明の操作入力装置の一実施形態を、図面を参照して説明する。
【００５５】
（第一実施形態）
図１は、本発明の操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図である。本実施形態においては、操作入力装置１として、表示画面上にタッチ操作用のスイッチ画像（操作アイコン）等の操作入力用画像を表示可能な表示装置１５と、それら表示画面へのタッチ操作を遠隔的に行うための操作パネル１２ａとが別位置に設けられてなる操作入力装置を採用している。なお、本実施形態のタッチ式操作入力装置の操作対象は、ナビゲーション機能のみに限られず、車内ＬＡＮ５０を介して接続するＥＣＵ１００が制御する他の車載電子機器の機器機能（オーディオ、エアコン、パワーウィンドウ、シート調整機能等）も含むことができる。
【００５６】
ナビゲーション装置１０は、車両の現在位置を検出する位置検出器１１と、運転者等の操作者からの各種指示を入力するための操作情報入力部１２と、地図データや各種の情報を記録した外部記録媒体から地図データ等を入力する地図データ入力器１４と、地図表示画面やＴＶ（Television）画面等の各種表示を行うための表示装置１５と、各種のガイド音声等を出力したり運転者等の操作者の音声を入力したりするための音声入出力装置１６と、車両情報等の各種のデータを記憶するためのハードディスク記憶装置１７と、車両情報の授受を行うための車両Ｉ／Ｆ（Interface）部１９と、他の通信装置１３ａと近距離無線通信を行うための無線通信機１３と、これら１１〜１９と接続する制御回路１８とを備えている。また、制御回路１８は、カメラ２０，４０及び車速センサ３０に接続することもできる。
【００５７】
位置検出器１１は、ＧＰＳ（Global Positioning System）用の人工衛星からの送信電波をＧＰＳアンテナを介して受信し、車両の位置，方位，速度等を検出するＧＰＳ受信機１１ａと、車両に加えられる回転運動の大きさを検出するジャイロスコープ１１ｂと、車両の前後方向の加速度等から走行した距離を検出する距離センサ１１ｃと、地磁気から進行方位を検出する地磁気センサ１１ｄとを備えている。そして、これら各センサ等１１ａ〜１１ｄは、各々が性質の異なる誤差を有しているため、互いに補完しながら使用するように構成されている。なお、精度によっては、上述したうちの一部のセンサで構成してもよく、また、ステアリングの回転センサや各転動輪の車輪センサ等（図示せず）を用いてもよい。
【００５８】
操作情報入力部１２は、図３に示すように、予め定められた波長帯の光を照射する光源１２ｃと、該光源１２ｃからの照射光が表面１２ａ２側から表面１２ａ１側に向けて透過するよう配置された透光性を有する操作パネル１２ａと、該操作パネル１２ａを撮影範囲に含む形で該操作パネル１２ａの裏面１２ａ２側から撮影するカメラ（接近対象物撮影手段）１２ｂと、を備えている。
【００５９】
なお、本実施形態の操作情報入力部１２は、図２に示すように、車両のセンターコンソール部Ｃのような、車両のフロントガラス下縁よりも下側で、かつ隣接する左右両座席から操作可能な位置に設置されている。さらに言えば、表示装置１５の表示画面よりも下側で、かつ隣接する左右両座席の両座部の間の前側に配置されている。なお、本実施形態における隣接する左右両座席とは、図２の運転席２Ｄ及び助手席２Ｐのことであるが、例えば後列の左右の座席であってもよい。さらに、左右両座席から操作可能な位置に限らず、例えば、ステアリング部やドア部など、操作者が操作しやすい位置に設置されていてもよい。
【００６０】
操作パネル１２ａは、少なくとも光源１２ｃから照射される光に対して透光性を有したパネルからなる。本実施形態においては縦方向透明電極と横方向透明電極とを備えた周知の抵抗膜方式のタッチパネルとして構成されており、その出力が制御回路１８に入力される。
【００６１】
図３に示すように、操作パネル１２ａは、中空の筐体１２ｆの前端開口に嵌め込まれており、表面１２ａ１がタッチ操作面（遠隔操作面）とされている。前端開口を形成する筐体前端部１２１ｅの外縁からは、後方に向けて筒状の壁部１２２ｅが設けられており、その後端部が回路基板に固定されている。この筐体１２ｆは、車室内の所定位置の固定配置されており、内部には、カメラ１２ｂ及び光源１２ｃが配置されている。
【００６２】
光源１２ｃは、図３に示すように、操作パネル１２ａを裏面１２ａ２から表面１２ａ１に透過させる形で光を照射する。光源１２ｃからの光（照射光）は、タッチ操作面１２ａ１を被うように位置する接近対象物（例えば手等）が存在しない限り、該タッチ操作面１２ａ１から外に通過していくが、該タッチ操作面１２ａ１に対向する形で接近した接近対象物Ｈが存在する場合には、当該接近対象物Ｈに反射して、その光（反射光）の一部は裏面１２ａ２側に戻り、カメラ１２ｂに捉えられる。
【００６３】
カメラ１２ｂは、光源１２ｃから照射された光が接近対象物Ｈにて反射した反射光を捉える形で、当該接近対象物Ｈを操作パネル１２ａの裏面１２ａ２側から撮影するものであり、予め定められた撮影範囲を撮影するよう車体側に固定されている。具体的にいえば、当該撮影範囲をカメラ１２ｂにより撮影できるように反射部材１２ｒが設けられ、カメラ１２ｂはその反射画像を撮影している。反射部材１２ｒが無い場合は、当該撮影範囲をカメラ１２ｂにより直接撮影する形となるから、撮影後の画像に左右反転処理を施す必要がある。
【００６４】
本実施形態において、光源１２ｃは赤外光光源であり、カメラ１２ｂは、暗所での撮影にも適した赤外線カメラ（可視光をシャットアウトする図示しない赤外線フィルタを備え、これを介して撮影を行う）である。赤外光光源１２ｃから照射された光（赤外線）が接近対象物Ｈにて反射した反射光をカメラ１２ｂが捉える形で撮影がなされる。カメラ１２ｂは、車体側に固定された基板上に固定配置されており、撮影範囲として、タッチ操作面１２ａ１が含まれる範囲が設定されている。また、赤外光光源１２は、操作パネル１２ａの裏面側後方に位置するＬＥＤである。また、本実施形態における操作パネル１２ａは、光源１２ｃの光に対してのみ透光性を有した材料にて構成されているので、カメラ１２ｂ内の赤外線フィルタを不要とすることができ、かつ、筐体１２ｆの内部が外部から視認できないようになっている。
【００６５】
なお、本実施形態におけるカメラ１２ｂは、本発明の撮影手段として機能するものである。このカメラ１２ｂは、操作パネル１２ａに対向する形で接近する接近対象物を撮影する接近対象物撮影手段として機能するものであり、接近対象物に手が含まれることを考慮すれば、その手の画像を撮影する手画像撮影手段、さらには手の指の画像を撮影する指画像撮影手段として機能しているともいえる。
【００６６】
図４、図５、及び図５１は、操作パネル１２ａに対向する手（指）の撮影を説明する図である。各図の（ａ）は、操作パネル１２ａと、その表面１２ａ１に対向する手の状態（指の状態）を示しており、各図の（ｂ）は、（ａ）の状態の手をカメラ１２ｂにて撮影した映像１５０であり、操作パネル１２ａ全体を撮影領域として撮影された画像である。ただし、本実施形態における（ｂ）の映像１５０は、撮影後にその映像を２値化したものである。（ｂ）において、符号１５０Ｈは接近対象物Ｈが映った領域、符号１５０Ｂは何も映らなかった領域である。符号１５０Ｂの領域は本来、操作パネル１２ａが映る領域であるが、該操作パネル１２ａが光源１２ｃの光に対し透光性を有するので映らない。また、それであっても、その操作パネル１２ａ越しに背景（本実施形態でいえば車両の天井面等）が映っていてもおかしくないが、そうした背景は除去されている。背景除去に関しては、特開２００７−２７２５９６号公報に記載されているように、異なる照明条件の画像を使用することで可能となる。ちなみに、各図の（ｃ）は、（ｂ）の映像１５０が撮影されているときの、表示装置１５における画面表示の一例である。本発明においては、操作パネル１２ａに複数の指が対向している場合には、図４（ｃ）に示すように、特定の指に対応する位置指示画像２００Ｈの表示領域が残余の指に対応する位置指示画像２００Ｈの表示領域よりも相対的に強調された形で、背景画像２００Ｂに対し合成ないし重畳されて表示される。
【００６７】
図１に戻り、表示装置１５は、図２の運転席２Ｄの車両前方側で、運転者により視認可能に設置されたカラー表示装置であり、表示画面がタッチ操作面１２ａ１よりも運転者から遠い位置に設けられている。表示装置１５としては、例えば液晶ディスプレイ，プラズマディスプレイ，有機ＥＬディスプレイ等のいずれを用いてもよい。また、表示画面には、位置検出器１１にて検出した車両の現在位置と地図データ入力器１４より入力された地図データとから特定した現在地を示すマーク，目的地までの誘導経路，名称，目印，各種施設のマーク等の付加データとを重ねて表示することができる。また、施設のガイド等も表示できる。なお、表示装置１５が本発明の表示手段に相当する。
【００６８】
また、表示装置１５は、車両が備える機器の操作などを行うための表示画面を有するものであり、本実施形態においては、表示画面上にタッチパネル１５ａを備えている。既に述べた操作情報入力部１２のタッチパネル１２ａは、当該タッチパネル１５ａの操作を、それよりも運転者や助手席搭乗者に近い位置から遠隔的に操作できるよう設けられた遠隔操作部である。当該タッチ操作面１２ａ１になされたタッチ操作に基づいて、そのタッチ操作位置に対応した、表示装置１５の画面位置（タッチパネル１５ａのタッチ操作面位置）への入力が受け付けられる。具体的にいえば、表示装置１５の表示画面上に定められる二次元座標系（タッチパネル１５ａのタッチ操作面上に定められる二次元座標系）と、該操作パネル１２ａのタッチ操作面１２ａ１上に定められる二次元座標系との間には一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされており、タッチ操作面１２ａ１にタッチ操作があった場合には、その対応関係に基づいて、当該タッチ操作がなされた位置座標に対応する、表示装置１５の表示画面上の位置座標への操作入力が受け付けられる。
【００６９】
つまり、タッチ操作面１２ａ１にタッチ操作があった場合には、制御回路１８が、そのタッチ操作がなされたタッチ操作面１２ａ１上の位置座標を特定し、さらに、特定したタッチ操作面１２ａ１上の位置座標に対応する、表示装置１５の表示画面上の位置座標を特定して、その上で、特定された当該表示画面上の位置座標に対応する制御内容を実行する制御信号を出力する。例えば、表示装置１５の表示画面にスイッチ画像（操作アイコン等）２００Ｉが表示された場合には、タッチ操作面１２ａ１上において、当該スイッチ画像２００Ｉに対応する位置にタッチ操作をすれば、制御回路１８では、当該スイッチ画像２００Ｉへのタッチ操作があったとして入力が受け付けられ、これに伴い当該スイッチ画像２００Ｉに対応する制御内容が実行される。表示装置１５の表示画面にて表示送り可能な地図画面（地図操作用画像）が表示された場合には、タッチ操作面１２ａ１上において、該地図上の位置にタッチ操作をすれば、制御回路１８では、当該タッチ操作位置への入力が受け付けられ、これに伴い該タッチ操作位置を新たな画面中心として地図を表示する表示送り制御が実行される。
【００７０】
表示装置１５の表示画面は、運転者よりも車両前方側にて該運転者により視認可能に配置されており、タッチ操作面１２ａ１よりも運転者から遠い位置に設けられている。なお、表示装置１５としては、図２に示すようなセンターコンソールＣ内に配置されるものに限られず、例えばフロントガラスＦＧ下縁よりも上方に設置されるものであってもよい。具体的には、車両のフロントガラスＦＧに、上述の画像・データを表示するヘッドアップディスプレイ（ＨＵＤ）や、ステアリングホイールの奥に位置するメーター表示装置等を例示できる。
【００７１】
図１に戻り、地図データ入力器１４は、ネットワークデータとしての道路データ，位置特定の精度向上のためのいわゆるマップマッチング用データ等の地図データ，施設を示すマークデータ，案内用の画像や音声データ等を含む各種のデータを入力するための装置である。これらのデータの記録媒体としては、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスク，メモリ，メモリカード等を用いることができる。
【００７２】
音声入出力装置１６は、地図データ入力器１４より入力した施設のガイドや各種案内の音声や、Ｉ／Ｆ１９を介して取得した情報の読み上げ音声を出力することができる。また、音声入出力装置１６は、図示しないマイクおよび周知の音声認識ユニットを含み、運転者等の操作者の音声をコマンド等として制御回路１８に入力することができる。
【００７３】
無線通信機１３は、他の通信装置１３ａと狭帯域通信を行うためのものであり、例えばＤＳＲＣ（Dedicated Short Range Communications），Ｂｌｕｅｔｏｏｔｈ（登録商標），無線ＬＡＮ（Local Area Network），ＵＷＢ（Ultra Wideband）などが使用されている。
【００７４】
ＬＡＮ Ｉ／Ｆ１９は、車内ＬＡＮ５０を介して他の車載電子機器やセンサとのデータの遣り取りを行うためのインターフェース回路である。また、ＬＡＮ Ｉ／Ｆ１９を介して、例えば他のＥＣＵ（図１のＥＣＵ１００等）からのデータ取り込みを行ってもよい。
【００７５】
制御回路１８は、図示しない周知のＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ（Input/Output）およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、位置検出器１１からの各検出信号に基づき座標および進行方向の組として車両の現在位置を算出し、地図データ入力器１４を介して読み込んだ現在位置付近の地図や、操作情報入力部１２の操作によって指示された範囲の地図等を、図５に示すようなメイン画像（動画・静止画を含む）２００Ｂとして表示装置１５に画面表示する地図表示処理や、地図データ入力器１４に格納された地点データに基づき、操作情報入力部１２の操作に従って目的地となる施設を選択し、現在位置から目的地までの最適な経路を自動的に求める経路計算を行って経路案内を行う経路案内処理等を行う。このように自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。
【００７６】
また、制御回路１８は、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、スイッチ画像（操作アイコン）２００Ｉ、操作情報入力部１２から取得した接近対象物画像１５０Ｈに基づく加工画像２００Ｈ等をサブ画像とし、これらをメイン画像２００Ｂ（地図操作用画像等）に合成して表示する、あるいは重ね表示するための画像処理部１８ａを有している。本実施形態においては、接近対象物画像１５０Ｈが指等の映った手の画像である場合、撮影された手の画像１５０Ｈに基づいて生成された加工画像２００を、その手の指により位置指示された表示画面上の位置を指示する位置指示画像２００Ｈとして重ね表示する。つまり、該加工画像２００Ｈを、その手の指により位置指示された表示画面上の位置を指示する位置指示画像２００Ｈとして重ね表示する。
【００７７】
なお、接近対象物画像１５０Ｈに基づく加工画像２００Ｈとは、本実施形態においては、当該接近対象物画像１５０Ｈの少なくとも外形形状（輪郭）が反映されるよう加工・生成された接近対象物外形反映画像２００Ｈである。そして、この画像２００Ｈがメイン画像２００Ｂに重畳表示される。重畳表示ではなく、画像２００Ｈをメイン画像２００Ｂに合成して表示してもよい。これにより、運転者等の操作者が、例えば手の指等を、操作パネル１２ａのタッチ操作面１２ａ１に対面させる形で移動させると、これに併せて、表示装置１５の表示画面上には手形状（指形状）を反映した加工画像２００Ｈが移動して表示され、あたかも表示装置１５の表示画面に操作パネル１２ａが存在しているかのような感覚で操作を行うことができる。
【００７８】
また、位置指示画像２００Ｈは、必ずしも撮影された手形状・指形状の輪郭を反映していなくともよく、少なくとも撮影された手の指が指し示す位置を指示する画像であればよく、例えば手の指部分だけであったり、指先だけであったり、あるいはポインタ等の画像であってもよい。また、位置指示画像２００Ｈとして、カメラ１２ｂにより撮影された手の画像（ないし指の画像）１５０Ｈを加工せずにそのまま表示（重畳表示や合成表示）しても問題はないが、これと重なる位置に表示されるはずのメイン画像２００Ｂの一部分が見えなくなること等を考慮すると、より操作がし易くなるような加工（例えば半透過合成）を施しておいた方がより望ましい。
【００７９】
また、制御回路１８のＲＯＭ等の記憶部には、スイッチ画像２００Ｉを表示するためのスイッチ画像データが記憶されており、スイッチ画像２００Ｉの重ね表示ないし合成表示に用いられている。一方で、制御回路１８のＲＯＭ等の記憶部には、各スイッチ画像２００Ｉに対応付けた形で、各々への操作入力（対応するタッチ操作面１２ａ１上の領域へのタッチ入力）により実施される制御内容も記憶されている。制御回路１８により、表示画面に表示されたメイン画像２００Ｂ上にスイッチ画像２００Ｉが重なった画像２００が表示されると、タッチパネル１２ａ，１５ａの双方のタッチ操作面には、スイッチ画像２００Ｉの表示位置に対応する領域に操作入力受付範囲（操作入力位置）が設定される（操作入力位置設定手段）。また、表示画面に、メイン画像２００Ｂとして表示送り可能な地図画面（地図操作用画像）２００Ｂ２が表示されると、表示されている地図領域全体に操作入力受付範囲（操作入力位置）が設定される（操作入力位置設定手段）。
【００８０】
また、制御回路１８は、自身のタイマ１８ｂを起動し、カウンタ１８ｃをカウントアップする形で時間計時を行うことができる。後述する処理において時間計時を行う場合にはこれらが用いられる。
【００８１】
次に、表示装置１５の表示される位置指示画像の表示処理について、図６を用いて説明する。なお、当該処理は、制御回路１８の記憶部に格納されたプログラムをＣＰＵが実行する形で実施される。
【００８２】
Ｔ１では、制御回路１８が、タッチ操作面（遠隔操作面）１２ａ１の手前側（ここではカメラ１２ｂの逆側）にて、当該タッチ操作面１２ａ１に対向する手の指を特定する（指特定ステップ）。ここでは、カメラ１２ｂによって撮影された撮影画像に基づいて、操作者の手指の画像を取得したか否かを判定する。カメラ１２ｂは、操作パネル１２ａの裏面１２ａ２側から該操作パネル１２ａを介してタッチ操作面（表面）１２ａ１側に接近する接近対象物（例えば運転者等の操作者の手）Ｈを常時撮影しており（撮影ステップ）、その撮影画像は常に制御回路１８の画像処理部１８ａに入力される。タッチ操作面１２ａ１と対面する位置に接近対象物Ｈが進入してくると、当然その接近対象物Ｈを含む撮影画像１５０が画像処理部１８ａに入力される。入力された撮影画像１５０は、画像処理部１８ａにて公知の画像解析手法によって解析され、色の相違等に基づいて接近対象物画像１５０Ｈが抽出される。そして、抽出された接近対象物画像１５０Ｈの形状に基づいて、当該画像１５０Ｈに、人の手指の画像１５０Ｆが含まれるか否かを判定する。なお、手指の画像の認識は、抽出された手画像１５０Ｈの全体形状から、所定長さ以上の軸線を有する略直線的な棒状の画像パターンを識別して、当該棒状の画像パターンがあった場合に、これを指画像１５０Ｆとして認識する。判定結果は制御回路１８に出力され、手指の画像が認識されたと判定された場合にはＴ２に進み、判定されなければ本処理を終了する。
【００８３】
Ｔ２では、制御回路１８が、取得した指画像１５０Ｆから指先を検出する。指先の検出は、特定された指画像１５０Ｆから指先Ｑを特定する形で行う（指先特定ステップ）。本実施形態における指先Ｑの特定は、図８に示すような形で行われる。即ち、図８（ａ）に示すように指画像１５０Ｆが特定されると、画像処理部１８ａが、特定された指画像１５０Ｆを含む手画像１５０Ｈと、当該手画像１５０Ｈをその指画像１５０Ｆの指長さ方向に所定量だけずらした移動手画像１６０Ｈとを互いに重ね合わせて、互いの指画像１５０Ｈ，１６０Ｈが重ならない非重畳領域１７０を特定し、当該非重畳領域１７０の重心位置を算出する。そして、当該重心位置を指先（指先位置）Ｑと特定する。なお、指先Ｑの特定方法は他の方法であってもよく、例えば湾曲して表れる指先の輪郭を抽出・平滑化した上でその曲率中心として定めてもよい。また、指先Ｑの特定方法は、上記のように指の一点として特定するのではなく、指の第一関節までの領域を指先（指先領域）Ｑとして特定するものであってもよい。
【００８４】
なお、Ｔ１とＴ２は、それぞれ指特定処理と指先特定処理を行うステップであるが、これらを同時に実行してもよい。即ち、指画像から指先を特定するのではなく、カメラ１２ｂによって撮影された撮影画像から直接指先を特定し、指先の特定によって指を特定するという処理としてもよい。これにより処理が簡略化される。
【００８５】
続くＴ３では、制御回路１８が、遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指（位置指示用の指）Ｐを指定する（操作対象指指定ステップ）。具体的には、特定された指先Ｑ同士の、タッチ操作面方向（タッチ操作面１２ａ１の広がる方向、即ち該タッチ操作面１２ａ１の法線に対し垂直をなす方向）における位置関係を反映した位置関係情報を指定指情報として取得し（指定指情報取得ステップ）、その上で、取得された該位置関係情報に基づいて、Ｔ１により特定された指のうち、当該位置関係に関する予め定められた選定条件に最も適する位置関係情報を有した指を優先して操作対象指Ｐとして指定する。
【００８６】
なお、操作対象指Ｐとして、複数本の指を指定することができるが、接触式操作部１２ａへの操作が分かり易くなるように位置指示するという観点からすると、１本又は２本といった比較的少数の指を指定するものとすることが望ましい。本実施形態においては１本である。さらに、指定対象となる指の種類としては、位置指示において好適とされる人差し指（図４の（ｃ）を参照）、中指（図４５参照）、あるいは人差し指及び中指の２本（図２９参照）を想定することが望ましく、本実施形態においては人差し指を想定している。
【００８７】
本実施形態のＴ３の処理は、図７のフローチャートに示す処理として実行される。即ち、Ｔ１１にて、図８（ｃ）のように特定された指先Ｑを仮想的な二次元座標系の面１８０上にて特定し、その面１８０上に定められた１本の軸Ｘにより、上記二次元座標系内に別の一次元座標系を定める。ここでは、特定された指先Ｑをタッチ操作面１２ａ１に向けて（遠隔操作部との対向方向に）投影し、その投影面を上記の面１８０とし、該投影面上の予め定められた位置に１本の軸Ｘを設定して一次元座標系を定める。Ｔ１２では、面１８０上にて特定された指先Ｑの当該一次元座標系における位置座標（座標値）ＸＱを特定し、その位置座標ＸＱを反映した軸座標情報を、位置関係情報として取得する。その上で、Ｔ１３にて、取得された該軸座標情報に基づいて、図６のＴ１にて特定された指のうち、当該軸座標情報に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する。
【００８８】
また、本実施形態においては、助手席搭乗者の右手による操作が想定されており、さらに、操作対象指Ｐとしてその操作者の人差し指が指定されるように軸Ｘが設定されている。このため、Ｔ１１では、図９に示す位置に軸Ｘが設定されている。Ｔ１２では、設定されたこの軸Ｘに向けて指先Ｑを投影し、投影された各位置の座標値Ｘ１〜Ｘ３を算出するとともに、Ｔ１３では、取得した座標値Ｘ１〜Ｘ３のうち座標値が最も大きい指先Ｑを特定して、この指先Ｑを有する指が人差し指であると推定し、この指を操作対象指Ｐとして指定している。
【００８９】
また、本実施形態における軸Ｘは、図９に示すように、右手の人差し指が位置しにくい撮影画像の右下から、右手の人差し指が位置しやすい左上に向かうように決められているが、例えば、図１０や図１１のような設定であってもよい。図１０の場合は、最も座標値が大きいものを中指として推定することに適しており、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定することもできる。図１１の場合は、操作手が左右のいずれであるか推定ないし特定できれば、左右いずれかの最も端にある指を人差し指として推定することに好適であり、それに隣接する指を中指として推定できる。
【００９０】
なお、本実施形態において、カメラ１２ｂによって撮影された撮影画像は、指先Ｑをタッチ操作面１２ａ１に向けて投影した投影面１８０ということができる。従って、カメラ１２ｂによって撮影された撮影画像におけるタッチ操作面１２ａが位置する操作パネル画像領域（タッチ操作面１２ａが映る領域：ここでは撮影画像１５０の全領域）と、上記投影面１８０とは、同一の座標系を有する二次元平面として認識することができ、操作パネル画像領域上の指先Ｑの座標位置を、そのまま投影面１８０における投影された指先Ｑの座標位置として使用することができる。Ｔ３では、この仮想的に定められる投影面１８０における座標系上での計算により操作対象指Ｐを指定しており、画像処理を要することはない。つまり、操作対象指Ｐの指定処理に画像データを使用しないため演算コスト（演算量・メモリ量）を低減することができる。
【００９１】
図６に戻る。Ｔ４では、制御回路１８が、図１２（ｃ）に示すように、表示装置１５の表示画面上の背景画像２００Ｂに合成ないしは重畳する形で、特定された指先Ｑに対応する該表示画面上の位置に、位置指示用の画像２００Ｈを表示する。ただし、この表示は、表示される位置指示画像２００Ｈのうち、指定された操作対象指Ｐに対応する位置指示画像２００Ｈの表示領域２００Ｐを、当該操作対象指Ｐとは異なる残余の指Ｒに対応する位置指示画像２００Ｈの表示領域２００Ｒよりも相対的に強調して表示する強調表示の形でなされる。これにより、操作対象指Ｐの視認性が向上し、操作すべき指がユーザーに伝わりやすく、また、操作性も向上する。
【００９２】
本実施形態においては、制御回路１８が、まず、表示装置１５の表示画面と撮影された手指との位置関係を特定する。つまり、撮影された指が、表示画面上のどの位置に対向するのかを特定する。本実施形態においては、カメラ１２ｂによって撮影された撮影画像１５０上に、タッチ操作面１２ａが位置する操作パネル画像領域（タッチ操作面１２ａが映る領域：ここでは撮影画像１５０の全領域）を特定するとともに、当該操作パネル画像領域上に二次元の操作座標系を設定して、撮影された指の位置を当該操作座標系上で特定する。そして、該操作座標系上で特定された指の位置に対応する、表示装置１５の表示画面上における位置を、当該表示画面上に定められた二次元の表示座標系において特定する。
【００９３】
その上で、表示装置１５の表示画面上にて特定された位置に、図１２（ａ）に示すように、位置指示画像２００Ｈをメイン画像２００Ｂの対応する位置座標に重ね表示される。そして、上記した位置指示画像２００Ｈ（２００Ｐ，２００Ｒ）の強調表示を、図４３に示すように、所定時間ｔ１をかけて段階的に強調レベル（強調度合い）を変化させる形で行う。つまり、強調表示変化の過程において、図１２（ｂ）に示すような変化途中状態を有し、このような強調変化途中状態を経て、図１２（ｃ）のような強調変化が完了するようにする。強調表示によって特定されていない指を見えにくくした場合、いきなりそれらの指を見えにくくしてはどの指が強調されているのか認識しづらくなる可能性がある。このため、最初は図１２（ａ）のようにすべての指を同じように表示し、その上で、段階的に強調レベルを変化させれば、ユーザーにとって画面上に表示された指と自分の指との対応づけが容易になる。
【００９４】
また、強調表示は、位置指示画像２００Ｈの指表示領域２００Ｐないし２００Ｒの全体、輪郭、輪郭内部のみに対し、色の変化（図４６参照）、濃淡の変化（図４６参照：なお、操作対象指以外の指を消してもよい）、形状変化（図４７：ここでは一例として操作対象指Ｐを相対的に太くしている）、別画像への切り替え、透過度の変化（図４参照）、点滅（図４８参照）、あるいはそれらの組み合わせにより行う。本実施形態においては、位置指示画像２００Ｈをなす加工画像の輪郭内部の透過度を変化する形で実行する。また、ここでの強調表示は、操作対象指Ｐに対応する位置指示画像２００Ｈの表示領域２００Ｐの強調状態を一定に保持し、残余の指Ｒに対応する位置指示画像２００Ｈの表示領域２００Ｒの強調レベルを減じる形で行われている。残余の指Ｒに対応する位置指示画像領域２００Ｒは消去されてもよいが、操作性を考慮すれば、消去時よりも強調レベルは低くなるものの比較的容易に視認できる状態であるとよい。
【００９５】
また、Ｔ４における強調表示は、図４３に示すように、Ｔ３において操作対象指Ｐが指定されるに伴いすぐに開始されるようにしてもよいし、図４４に示すように、Ｔ３にて操作対象指Ｐが指定されてから所定時間経過した後に開始されるようにしてもよい。特に、強調表示が段階的になされないような構成の場合は、後者が選択されることが望ましい。
【００９６】
Ｔ４の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル１２ａに対向する手が移動すると、これに合わせて、表示装置１５の表示画面に表示される位置指示画像２００Ｈの表示位置も移動する。強調変化途中で手が動いた場合は、強調変化を継続しながら位置指示画像２００Ｈ（２００Ｐ及び２００Ｒ）の表示位置が移動し、強調変化が完了している状態で手が動いた場合には、当該強調状態を保持したまま位置指示画像２００Ｈ（２００Ｐ及び２００Ｒ）の表示位置が移動する。
【００９７】
なお、この位置指示画像の表示処理には、指特定ステップ、指先特定ステップ、操作対象指指定ステップ、位置指示画像強調表示ステップ、指定指情報取得ステップが含まれており、制御回路１８は、ＣＰＵにより当該処理を実行することで、これら各ステップを実行する手段（指特定手段、指先特定手段、操作対象指指定手段、位置指示画像強調表示手段、指定指情報取得手段）として機能する。
【００９８】
最後に、操作情報入力部１２の操作パネル１２ａへのタッチ操作入力処理について、図１３を用いて説明する。なお、当該処理も、制御回路１８の記憶部に格納されたプログラムをＣＰＵが実行する形で実施される。
【００９９】
Ｔ１０１では、制御回路１８が、操作パネル１２ａへのタッチ操作の有無を判定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力されるから、その入力の有無に基づいて判定する。操作パネル１２ａへのタッチ操作があった場合はＴ１０２に進み、タッチ操作が無かった場合は本処理を終了する。
【０１００】
続くＴ１０２では、操作パネル１２ａへのタッチ操作位置、即ちタッチ操作面１２ａ１上へのタッチ操作位置を特定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力される。そして、その操作信号には、タッチ操作位置が操作面１２ａ１に定められる操作座標系上の座標情報として反映されているので、制御回路１８が、この操作信号に基づいて、タッチ操作位置を特定する。
【０１０１】
続くＴ１０３では、制御回路１８が、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する。具体的にいえば、操作パネル１２ａのタッチ操作面１２ａ１上の各位置は、表示画面１５の表示画面上の位置と対応しているので、Ｔ１０３にて特定されたタッチ操作面１２ａ１上の位置に対応する、表示画面１５の表示画面上の位置に定められた制御内容を実施する。具体的には、制御回路１８が、当該制御内容を実施するための制御信号を出力する。例えばＴ１０３にて特定されたタッチ操作面１２ａ１上の位置が、表示画面１５の表示画面に表示されたスイッチ画像２００Ｉに位置に対応していれば、制御回路１８は、当該スイッチ画像に割り当てられた制御内容を実行するための制御信号を出力する。
【０１０２】
Ｔ１０３の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、制御回路１８は、そのときどきにタッチ操作された位置に応じた制御内容を実施する、あるいは他の制御部（例えばＥＣＵ１００等）にて実施させる。
【０１０３】
なお、制御回路１８は、ＣＰＵにより当該タッチ操作入力処理を実行することで、入力受付手段、操作入力制御手段として機能する。
【０１０４】
以上、本発明の一実施形態を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。
【０１０５】
例えば、上記実施形態においては、本発明の表示方法を車両用操作入力装置により実現した構成となっているが、操作入力装置は車両用に限られるものではなく、例えば一般の家電機器の操作入力装置であってもよい。さらにいえば、機器動作を行うための操作入力装置ではなく、画面表示をメイン機能とする一般の表示装置であってもよい。
【０１０６】
以下、上記実施形態を第一実施形態とし、それとは異なる実施形態を説明する。なお、共通する構成については、同符号を用いることで説明を略する。
【０１０７】
第一実施形態の第一変形例について説明する。
【０１０８】
第一実施形態の第一変形例は、図１４〜図１６に示すように、操作対象指Ｐの指定方法が、上記第一実施形態と異なる。第一変形例においては、図１４のフローチャートに示すように、Ｔ２１にて、図６のＴ２にて特定された指先Ｑをタッチ操作面１２ａ１に向けて投影し、その投影面１８０上の予め定められた領域に基準領域Ｙを設定し（図１５又は図１６参照）、Ｔ２２にて、設定された基準領域Ｙと投影された指先Ｑとの間の距離を反映した距離情報を位置関係情報として取得し（指定指情報取得ステップ）、Ｔ２３にて、取得された該距離情報に基づいて、図６のＴ１にて特定された指のうち、当該距離に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する（操作対象指指定ステップ）。
【０１０９】
なお、本変形例においても、上記第一実施形態と同様に仮想的に定められた面１８０上に指先Ｑを特定し、さらに上記基準領域Ｙを定める（Ｔ２１）。その上で、上記各距離を算出し（Ｔ２２）、それに基づいて操作対象指Ｐを指定する（Ｔ２３）。ここでは、操作対象指Ｐとして操作者の中指が想定されており、上規格距離の最も長い指が操作対象指Ｐとして指定される。なお、基準領域Ｙは面積を持つ領域として定めてもよいし、面積を持たない点や線として定めてもよい。
【０１１０】
また、基準領域Ｙは、例えば図１５のように、カメラ１２ｂにて指が撮影される状態において手の甲が位置すると推定される予め決められた位置に配置することができる。この場合の距離情報は、Ｔ１にて特定された指の長さを直接反映はしないもののそれに関連する情報であり、その距離の長さから、特定の指を指定できる。例えば、当該距離が最も長い指を中指と推定できるし、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定できる。また、操作対象指Ｐとして人差し指等を想定する場合には、２番目に長い指を人差し指と推定し、指定してもよい。
【０１１１】
また、基準領域Ｙは、例えば図１６のように、カメラ１２ｂにて指が撮影される状態において操作対象指Ｐとして想定する指の指先が最も位置しやすい位置に配置することができる。この場合、基準領域Ｙとの距離が最も短い指先Ｑを有する指を操作対象指Ｐとして指定することができる。図１６の場合は、操作手が右手である場合を想定しており、最も左上に位置している。
【０１１２】
第一実施形態の第二変形例について説明する。
【０１１３】
第一実施形態の第二変形例は、図１７及び図１８に示すように、操作対象指Ｐの指定方法が、上記実施形態と異なる。第二変形例においては、図１７のフローチャートに示すように、Ｔ３１にて、図６のＴ１にて特定された各指の形状に係る指形状情報を指定指情報として取得し（指定指情報取得ステップ）、Ｔ３２にて、取得された該指形状情報に基づいて、Ｔ１にて特定された指のうち、当該指の形状に関する予め定められた選定条件に最も適する接近距離情報を有した指を優先して操作対象指として指定する（操作対象指指定ステップ）。
【０１１４】
指形状情報としては、図６のＴ１にて特定された指同士の、タッチ操作面方向における長さ関係に係る指長情報を定めることができる。具体的にいえば、図６のＴ２において特定された指先Ｑから、撮影画像１５０上に表れる指端縁の線分の中点に相当する位置までの長さｄ１〜ｄ３（図１８参照）を算出し、これらを上記指長情報とすることができる。この場合、指長情報は、Ｔ１にて特定される指の長さが反映された情報であるから、その長さから特定の指を指定できる。例えば、当該距離が最も長い指を中指と推定できるし、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定できる。また、操作対象指Ｐとして人差し指等を想定する場合には、２番目に長い指を人差し指と推定し、指定してもよい。この構成によると、操作に使用する意図が無いような中途半端にのびた指が位置指示用に指定される可能性を確実に排除することができる。なお、指長情報ｄ１〜ｄ３は、少なくとも各指の長さを反映した情報であればよく、例えば、湾曲する指先の先端位置から、撮影画像１５０上に表れる指端縁までの指の長さ方向に沿った距離としてもよい。
【０１１５】
また、指形状情報としては、図６のＴ１にて特定された指同士の、タッチ操作面方向における幅の関係に係る指幅情報を定めることもできる。具体的にいえば、図６のＴ２において特定された指先Ｑを通り、その指の長さ方向に垂直な幅方向の長さｗ１〜ｗ３（図１８参照）を、上記指幅情報とすることができる。この場合、指幅情報は、指がタッチ操作面１２ａ１に接近しているほど大きく表れるから、当該タッチ操作面１２ａ１への接近距離関係を反映した接近距離情報ともいうことができ、最も指幅の大きい指を操作対象指Ｐとして指定することができる。なお、指幅情報ｗ１〜ｗ３は、少なくとも各指の幅を反映した情報であればよく、上記とは別の位置にて算出された指幅であってもよい。
【０１１６】
本発明の第一実施形態の第三変形例について説明する。
【０１１７】
第一実施形態の第三変形例は、図１９に示すように、操作対象指Ｐの指定方法が、上記実施形態と異なる。第三変形例においては、図１９のフローチャートに示すように、Ｔ４１にて、図６のＴ１にて特定された指によりタッチ操作面１２ａ１へのタッチ操作位置Ｔを検出して、Ｔ４２にて、検出されたの初回のタッチ操作を行った指を操作対象指Ｐとして指定する（操作対象指指定ステップ）。つまり、タッチ操作面１２ａ１へのタッチ操作位置Ｔを指定指情報として取得し、これに基づいて操作対象指Ｐを指定する。この構成によると、強調表示の開始トリガーが、ユーザーのタッチ操作として定められているので、強調表示による表示変化を見逃すことが無くなる。なお、この場合、指定された操作対象指Ｐは、手操作により移動する際に追跡され、当該指Ｐが画面から消失するまで、あるいは新たなタッチ操作がなされるまで指定され続ける。あるいは、画面から消失した後、再び画面上に現れた際にも同じ指が操作対象指Ｐとされるように、他の指Ｒとの位置関係情報や当該指Ｐの指形状情報等の条件を、制御回路１８内の記憶部に記憶して、これに基づいて操作対象指Ｐを指定するようにしてもよい。
【０１１８】
本発明の第一実施形態の第四変形例について説明する。
【０１１９】
第一実施形態の第四変形例は、図２０及び図２１に示すように、操作対象指Ｐの指定方法が、上記実施形態と異なる。第四変形例においては、図２０のフローチャートに示すように、Ｔ５１にて、図６のＴ１にて特定された指によりタッチ操作面１２ａ１へのタッチ操作位置Ｔを検出し、該タッチ操作位置Ｔが検出されるに伴いＴ５２にて、図２１に示すように、検出されたのタッチ操作位置Ｔに最も近い指を操作対象指Ｐとして指定する（操作対象指指定ステップ）。なお、この場合、図６のＴ４における強調表示は、タッチ操作面１２ａ１へのタッチ操作がなされるに伴い（すぐに）開始されるようにしてもよいし、タッチ操作面１２ａ１へのタッチ操作がなされてから所定時間経過した後に開始されるようにしてもよい。特に、強調表示が段階的になされないような構成の場合は、後者が選択されることが望ましい。
【０１２０】
なお、第一実施形態における第三および第四変形例において、誤ってタッチ操作面１２ａ１に触れてタッチ操作をしてしまった場合に、強調表示が開始されないようにすることができる。具体的にいえば、Ｔ４１ないしＴ５１におけるタッチ操作として、通常のタッチ操作（操作入力が有効となるタッチ操作）よりも操作負担が大となるタッチ操作を強調表示開始操作として定めることができる。例えば、強調表示開始用のタッチ操作（強調表示開始操作）として、通常のタッチ操作よりも入力が有効となるまでの押圧操作継続時間が長いタッチ操作を定めたり、通常のタッチ操作よりも強い押圧操作力によるタッチ操作を定めたりすることができる。この場合、Ｔ４１ないしＴ５１において、定められた強調表示開始操作があった場合に限りＴ４２ないしＴ５２にて進み、強調表示開始操作がない場合は、当該強調表示開始操作があるまで強調表示を開始しない待機状態とするようできる。
【０１２１】
本発明の第一実施形態の第五変形例について説明する。
【０１２２】
第一実施形態の第五変形例は、図２２及び図２３に示すように、操作対象指Ｐの指定方法が、上記実施形態と異なる。第五変形例においては、図２２のフローチャートに示すように、Ｔ６１にて、撮影された指の画像の輝度情報を指定指情報として取得し（指定指情報取得ステップ）、Ｔ６２にて、取得された輝度情報に基づいて、撮影された指の画像のうち、当該輝度情報に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する（操作対象指指定ステップ）。カメラ１２ｂは、タッチ操作面１２ａ１を操作する手の反射光を捉える形で撮影を行うので、該タッチ操作面１２ａ１に最も近い指先ほど高輝度に表れる。つまり、輝度情報とは、既に述べた接近距離情報（指定指情報）であるといえる。一方で、タッチ操作面１２ａ１を操作する指先は、当該タッチ操作面１２ａ１に近い指ほど位置指示の可能性が高いから、例えば、輝度の最も高い指を優先して操作対象指Ｐとして指定するように構成することができる。
【０１２３】
カメラ１２ｂは、図３に示すように、光源１２ｃの反射光を捉える形で撮影を行っている。従って、撮影映像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本変形例のカメラ１２ｂにより撮影される撮影映像１５０は多階調の撮影画像（ここではモノクロの撮影画像）であるから、画像処理部１８ａでは、これを予め定められた階調閾値を用いて各画素の階調レベルを２値化して、図８の（ａ）のようにし、当該階調閾値を上回る領域を接近対象物画像１５０Ｈとして抽出する。また、画像処理部１８ａでは、抽出された接近対象物画像１５０Ｈから人の手・指の画像を特定するために、まずは、当該接近対象物画像１５０Ｈの形状と、制御回路１８の記憶部に記憶された手や指の形状パターンと比較して、それらパターンに合致する接近対象物画像１５０Ｈを手指の画像として認識する。本変形例においては、手や指の画像を特定するための上記階調閾値を第一の階調閾値とし、さらに、それよりも高い第二の階調閾値を定め、当該第二の階調閾値を越える領域Ｌ１（図２３参照）を有する指先の指を、操作対象指Ｐとして指定することができる。また別の方法として、指先Ｑの輝度または、指先Ｑを基準にする予め決められた領域の平均（または最大／最小）輝度の比較により操作対象指Ｐを指定してもよい。なお、図２３の領域Ｌ１〜Ｌ３は、撮影映像１５０において輝度の異なる領域を示すものであり、Ｌ１，Ｌ２，Ｌ３の順で輝度が低くなっている。
【０１２４】
つまり、第一実施形態の第五変形例では、図６のＴ１が、カメラ１２ｂにより撮影された画像の輝度に基づいて指画像を特定して、当該指画像により指を特定するステップであり、図６のＴ２が、カメラ１２ｂにより撮影された手の画像を用いて指先を特定するステップである。さらに、図６のＴ３は、同じくカメラ１２ｂにより撮影された手の画像の輝度に基づいて、操作対象指Ｐを特定するステップである。従って、第一実施形態の第五変形例においては、カメラ１２ｂの撮影画像から、指の特定、指先の特定、さらには操作対象指Ｐの指定までもが可能となっている。
【０１２５】
また、ここでは、指全体ではなく指先部分の画像情報を使用して、操作対象指Ｐを指定する処理とする。これにより、操作対象指Ｐの指定処理の対象となるデータを限定することが可能となり演算コスト（演算量・メモリ量）を低減することができる。具体的にいえば、図２３に示すように、Ｔ２で特定された指先Ｑを中心に、指先全体が含まれる所定形状（ここでは四角）の領域Ｓを設定し、Ｔ１で特定された全ての指に関し、Ｔ６１にて当該領域Ｓにおける輝度情報を特定・取得し、Ｔ６２にて、取得した輝度情報のうち最も高輝度である領域Ｓの指を優先して操作対象指Ｐとして指定するようにしている。
【０１２６】
本発明の第一実施形態の第六変形例について説明する。
【０１２７】
第一実施形態の第六変形例は、図２４〜図２６に示すように、操作対象指Ｐの指定方法が、上記実施形態と異なる。第六変形例においては、図２４のフローチャートに示すように、Ｔ６１にて、図６のＴ１にて特定された指先の、タッチ操作面１２ａ１への接近距離関係を反映した接近距離情報を指定指情報として取得し（指定指情報取得ステップ）、Ｔ６２にて、取得された接近距離情報に基づいて、指特定ステップにより特定された指のうち、当該接近距離に関する予め定められた選定条件に対し適する指を優先して操作対象指として指定する（操作対象指指定ステップ）。ただし、この構成の場合、タッチ操作面１２ａ１と操作手の指先との距離を検出する手段が必要となる。上記第六変形例のように輝度を接近距離情報として取得することもできるが、例えば図２５に示すように、カメラ（撮影手段）４０を接近距離情報を取得するための手段とすることができる。カメラ４０は、タッチ操作面１２ａ１と操作手の指先との距離が映るように配置され、その撮影画像（例えば図２６）から、制御回路１８が、タッチ操作面１２ａ１に対する操作手の各指の指先との距離ｄ１〜ｄ４を算出して、例えば最も距離の近い指先の指を操作対象指Ｐとして指定することができる。図２６は、図２５のカメラ４０による撮影映像の一例である。
【０１２８】
本発明の第一実施形態の第七変形例について説明する。
上記した位置関係情報、指形状情報等の複数種の指定指情報を組み合わせる形で、操作対象指を指定してもよい。これにより、人差し指や中指といった決められた種類の指をより正確に特定することが可能となる。
【０１２９】
本発明の第一実施形態の第八変形例について説明する。
上記した全ての実施形態及び変形例においては、手画像撮影手段をなすカメラ１２ｂは、タッチパネル１２ａのタッチ操作面（表面）１２ａ１と対向する車室内の固定領域を撮影するカメラであって、上記した実施形態及び変形例のように、タッチパネル１２ａの裏面１２ａ２側から撮影する構成を有している。ところが、本発明では、このような構成に限られるものではない。例えば、図２７に示すように、車両のセンターコンソール部Ｃにタッチパネル１２ａのタッチ操作面１２ａ１を斜め上側から撮影するように取り付けて、当該タッチ操作面１２ａ１に接近する接近物を、タッチ操作面１２ａ１側から撮影するように構成してもよい。この場合、上記した実施形態及び変形襟とは異なり、撮影画像内の特定の画像（例えば手画像）を抽出して表示部１５に表示する際には、画像を左右反転する処理を省略できる。
【０１３０】
また、手画像撮影手段をなすカメラ１２ｂは、操作パネル１２ａのタッチ操作面１２ａ１を含むその周辺領域を撮影するカメラ２０に兼用させてもよい。
【０１３１】
このカメラ２０は、制御回路１８に接続するとともに、図２７に示すように、例えば車両前方上部のバックミラー周辺部に設けることができる。具体的に言えば、例えば図２８に示すような撮影画像３００を撮影するものであり、撮影範囲が、操作パネル１２ａの操作者の手だけでなく、その手から続く腕まで映るように定められており、撮影される操作パネル周辺画像を取得する制御回路１８では、画像処理部１８ａにて、手からのびる腕の方向を特定して、操作者が左右いずれの搭乗者であるかを特定する。これにより、タッチ操作面１２ａ１の操作者が、該タッチ操作面１２ａ１の左側に位置する者であれば、その操作手を右手と特定することができるし、該タッチ操作面１２ａ１の右側に位置する者であれば、その操作手を左手と特定することができる。
【０１３２】
そして、制御回路１８は、その操作手の特定結果に基づいて、操作対象指Ｐの指定条件を切り替えるようにすることができる。具体的にいえば、人差し指を特定する場合には、操作手が左手の場合は、最も右に出現する指として特定したり、最も長く表れる中指の右に隣接する指として特定することができ、他方、操作手が右手の場合は、最も左に出現する指として特定したり、最も長く表れる中指の左に隣接する指として特定することができる。従って、操作対象指Ｐを指定する際に、操作手が左手であるか右手であるかに応じて選定条件が切り替わる場合は、当該操作手の特定結果に基づいて、その切り替えを行うようにすることができる。また、操作手が運転者の手と特定された場合に、操作ができないよう表示を行わないようにしてもよい。こうすると、左側の助手席搭乗者のみを操作者として指定できるから、操作手として絶えず右手を定めることができ、ひいては、これを操作対象指Ｐの選定条件に予め反映しておくことができる。
【０１３３】
図２８の撮影画像３００においては、符号３００Ｈが手画像、符号３００Ａが手から続く腕の画像、符号３１２ａが操作パネル１２ａの映った領域であり、操作パネル１２ａの操作者の腕は撮影画像の右側から、即ち運転席側から延びているので、当該操作者が運転者であると特定される。本変形例においては、このカメラ２０が、制御回路１８（画像処理部１８ａ）とともに操作者特定手段として機能している。なお、操作パネル１２ａの操作者が運転者であるか否かを特定する方法は、他の方法であってもよい。例えば、タッチ操作面１２ａの車両左右両側にそれぞれ接近物を検知する接近物検知部（例えば赤外反射センサ等の反射式光学センサ）を設け、これにより操作者を特定してもよい。
【０１３４】
本発明の第一実施形態の第九変形例について説明する。
上記した全ての実施形態及び変形例において、上記のような強調表示を、２以上の指が特定された場合にのみ実施するようにしてもよい。指特定手段として機能する制御回路１８は、指の本数を特定することが可能であるから、特定された指本数が２以上である場合に上記位置指示画像表示処理を実行し、１本の場合には、その指に対応する位置指示画像のみを表示するシンプルな表示処理を実行するように構成するようにできる。
【０１３５】
本発明の第一実施形態の第十変形例について説明する。
上記した全ての実施形態及び変形例において、遠隔操作部は接触操作（プッシュ操作やタッチ操作）を前提としているため、１本の指を位置指示用に指定している。さらに、場合によっては図２９に示すように２本の指を位置指示用に指定するように構成できることも述べられている。ところが、遠隔操作部は、ダイアル操作部等のような、操作ノブをつまむ形での操作が前提となる操作部であってもよく、この場合は、２本あるいは３本といった本数の指を操作対象指Ｐとして指定することもできる。なお、つまむ形での操作における指の特定ないしは指先の特定は、上記した接近距離情報（遠隔操作面への接近距離関係を反映した情報）を用いて行うことができる。
【０１３６】
例えば、図３０に示すように、本発明の遠隔操作部としてダイアル操作部１２ａ’（ダイアルノブ周辺の筐体前端部１２１ｅもダイアル操作部１２ａ’の一部とする）を設け、これを操作するために接近する手をカメラ４１，４２（制御回路１８に接続する形で構成する）にて撮影するように構成する。カメラ４１，４２は、撮影範囲が異なっており、双方の撮影方向がダイアル操作部１２ａ’の回転軸線に対し垂直な平面上にて直交するように定められている。これらカメラ４１，４２の撮影画像（図４及び図５の（ｂ）と同様の２値化後の画像）１５０ａ，１５０ｂの一例が、図３１（ａ）、（ｂ）に示されている。一方で、操作情報入力部１２の内部にも図３に示す形でカメラ１２ｂが設置されている（図２７のように外部にあってもよい）。カメラ１２ｂの撮影画像（図４及び図５の（ｂ）と同様の２値化後の画像）１５０ｃの一例が、図３１（ｃ）に示されている。なお、これらの画像１５０ａ，１５０ｂ，１５０ｃの画像領域１５０Ｓは、操作部１２ａ’の映った領域である。
【０１３７】
ここで、この構成において実施される上記のような強調表示について、その処理の流れを説明する。
【０１３８】
まずは、図３１（ａ）、（ｂ）の画像１５０ａ，１５０ｂを取得し（図６のＴ１に相当する処理）、画像１５０ａ，１５０ｂから抽出される手画像１５０Ｈから指先Ｑを特定する。その上で、指先Ｑの具体的な位置を特定する（図６のＴ２に相当する処理）。ここでは、図３０に示すようなｘ軸、ｙ軸、ｚ軸を有する三次元座標系（車室内座標系）を車室内に定めて、当該座標系における位置座標として特定する。具体的には、画像１５０ａ，１５０ｂにｘ−ｚ座標系、ｙ−ｚ座標系を定めて、これらから筐体前端部１２１ｅ側に延出する突出画像１５０Ｆの先端領域に既に述べたいずれかの方法により指先Ｑを特定するとともに、当該指先Ｑの位置座標を特定して、これらから上記車室内座標系における三次元位置座標を特定する。
【０１３９】
続いて、操作対象指Ｐを特定する。ここでは、各指先Ｑから筐体前端部１２１ｅの前端面間までの距離を算出して、筐体前端部１２１ｅの前端面に最も近い位置にある指先Ｑと、それに次いで近い位置にあるＱとの双方を、操作対象指Ｐとして特定する。なお、ここでの距離の算出は、画像１５０ａ，１５０ｂに筐体前端部１２１ｅの前端面が映るので（符号１５０Ｅ）、これを用いて算出してもよいし、画像１５０ｃの輝度から算出してもよい。
【０１４０】
そして、特定された操作対象指Ｐの指先Ｑに対応する位置指示画像２００Ｈの位置指示領域２００Ｑ（２００Ｐ）を、他の指先Ｑに対応する位置指示画像２００Ｈの位置指示領域２００Ｑ（２００Ｒ）よりも強調する形で、図３２に示すような形で背景画像２００Ｂに重ねて表示する、あるいは合成して表示する。なお、図３２における背景画像２００Ｂ（２００Ｂ３）は、スイッチ画像２００Ｉとして、ダイアルスイッチ画像が表示されており、遠隔操作部をなすダイアル操作部１２ａ’の回転操作に応じた回転表示がなされ、回転位置に応じた制御内容が実施される。
【０１４１】
なお、ここでの操作対象指Ｐの指定方法は、既に述べた第一実施形態の第一変形例のように、特定された指先Ｑを、遠隔操作部をなすダイアル操作部１２ａ’に向けて（ダイアル操作部１２ａ’との対向方向に）投影し、その投影面１８０上の予め定められた領域に設定される基準領域Ｙと投影された指先Ｑとの間の距離を反映した距離情報を位置関係情報として取得して、取得された該距離情報を用いて、当該距離に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する。なお、ここで設定される基準領域Ｙは、図３４に示すように、ダイアル操作部１２ａ’を投影面１８０に投影した投影領域１２０の中心位置として設定することができる。
【０１４２】
また、ここでの操作対象指Ｐの指定方法は、少なくとも親指が含まれるように定められるような方法であるとよい。具体的には、他の指との太さの違い、他の指との位置関係の違い、指の延出方向の違い等、様々な要素から特定できる。また、操作対象指Ｐが２本である場合は、残り１本の指は、親指以外で最も筐体前端部１２１ｅの前端面に近い指とすることができる。ただし、つまみ操作のしやすさから人差し指又は中指が指定されることが望ましく、例えば親指を基準として（たとえば親指からの位置関係により）指定することができる。また、上記のようなつまみ操作を前提とするような遠隔操作部の場合は、図３３のように、３本の指の指先を強調してもよい。この場合は、望ましくは、親指、人差し指、中指が操作対象指Ｐに指定されるとよい。
【０１４３】
また、上記した実施形態及び変形例では、位置指示画像２００Ｈにおける指先領域２００Ｑを位置指示領域としているが、既に述べた他の実施形態のように、位置指示画像２００Ｈに含まれる指全体を位置指示領域としてもよい。逆に、既に述べた他の実施形態において、位置指示画像２００Ｈにおける指先領域２００Ｑを位置指示領域としてもよい。
【０１４４】
上記した全ての実施形態及び変形例において適用可能な指ないし指先の追跡処理について説明する。
【０１４５】
上記した実施形態及び変形例においては、撮影映像のフレーム毎に操作対象指Ｐが特定される構成となっているが、この場合、操作パネル１２ａ（１２ａ’）と操作する手の位置関係が変わった際に、操作対象指Ｐが自動的に別の指に切り替わってしまう可能性がある。特に、第三および第四変形例のように、遠隔操作部への接触位置（ユーザー操作）に基づいて操作対象指Ｐが特定される場合には、タッチ操作が基準となって操作対象指Ｐが特定されるため、手や指の位置が移動したからといって簡単に別の指が操作対象指Ｐとされることは望ましくない。また、上記第一実施形態以外においても、予め定められた所定指状態（後述する操作意思表示用指状態や簡易操作用指状態等）として、予め定められた指の種別が特定される指状態が定められている場合（例えば人差し指や中指のいずれか又は双方が特定される指状態）も、当該種別の指が特定された後に、手や指の位置が移動したからといって、特定されていた指が簡単に別の種別の指として特定されてしまうことは望ましくない。このため、操作対象指Ｐ等の指が指定ないし特定された後、指定ないし特定された指の移動を追跡する処理を追加し、その追跡結果に基づいて、同一の指を継続的に指定ないし特定し続けることで、上記の問題を解決することができる。
【０１４６】
図３６及び図３７は、図６のＴ１で特定される全ての指を追跡するための処理、さらにいえばＴ２で特定される全ての指先を追跡する処理である。ここでは、遠隔操作部をなす操作パネル１２ａ（１２ａ’）を操作するために当該操作パネル１２ａ（１２ａ’）の手前側にて対向した手（指）を、撮影手段であるカメラ１２ｂにより撮影される動画像に基づいて特定するよう構成されている。この場合、操作パネル１２ａ（１２ａ’）の手前側にて対向する手（指）の指特定可能範囲（指先特定可能範囲）は、固定配置されたカメラ１２ｂの撮影範囲である。カメラ１２ｂは、当該範囲の動画像を撮影し、制御回路１８は所定時間間隔おきに順次撮影された動画像フレームを取得する。
【０１４７】
図３６及び図３７の指追跡処理（指追跡ステップ）では、順次取得される動画像フレームから特定される各指先の当該フレーム内での位置を算出して、算出された位置情報を追跡情報として、制御回路１８のＲＯＭ等の設けられた所定の追跡情報記憶部に記憶・蓄積することで、順次取得される動画像フレームから特定される各指先を識別しながら、それぞれの移動を追跡する。
【０１４８】
追跡情報は、図３８の符号５００に示すような形で記憶される。図３８に示す追跡情報５００には、取得した動画像フレームにて特定された各指先に指先ＩＤ（識別情報）を付与し、当該指先ＩＤに対応付けた形で、各指先の前回の動画像フレーム（以下、前フレーム称する）及び前々回の動画像フレーム（以下、前々フレームと称する）内での位置を示す位置情報を記憶可能としている。なお、ここでの位置情報は、動画像フレーム内に定められる所定の二次元座標系上での各指先の位置座標である。図３８の上図は、当該二次元座標系が定められた動画像フレーム（指特定可能範囲ともいえる）を図示したものであり、図３８の追跡情報５００として記憶されている、前フレームにて特定された指先の位置座標Pi(-1)及び前々フレームにて特定された指先の位置座標Pi(-2)、さらに現フレームにて特定された指先のRj(0)が表示されている。図３８に示すように、新たな動画像フレームが取得されるに伴い各指先の位置座標が順次記憶・更新されていく。なお、記憶保持される位置座標は、ここでは前フレーム及び前々フレームの位置座標であって、前々フレームよりも以前のフレームの位置座標は順次消去される。
【０１４９】
また、追跡情報５００には、最新の動画像フレーム（以下、現フレームと称する）から特定される各指先の当該フレーム上での位置を示す位置情報が含まれており、追跡情報記憶部には、当該位置情報が指先ＩＤごとに記憶される。さらに、追跡情報には、現フレームにおいて各指先が位置するであろう予測位置（次回位置）が含まれており、追跡情報記憶部には、当該予測位置を示す予測位置情報が記憶される。さらに、現フレームにおける指先の位置情報と、現フレームに関し予測された指先の予測位置情報との対応関係を特定し、その対応結果から、指先ＩＤごとに、現フレーム取得時における対応する指先の追跡状況が特定され、これも追跡情報として追跡情報記憶部に記憶される。追跡状況としては、指先の追跡が前フレーム時から現フレームにかけて継続している追跡継続状態（追跡中）と、前フレームまでは追跡されていた指先を現フレームにてロスト（消滅）した追跡不可状態（ロスト）と、前フレームまでは追跡されていなかった指先が新規に出現した新規出現状態（新規出現）との少なくとも３状態を有している。
【０１５０】
指先の予測位置の算出方法としては、例えば以下のような算出方法を例示できる。即ち、過去複数回の動画像フレーム上の各指先の位置を示す位置情報に基づいて算出する方法である。ここでは、各指の追跡情報として、前フレーム回及び前々フレーム上の各指先の位置情報が含まれているから、それら位置情報に基づいて、各指先の移動を推定し、次フレーム上の各指先の推定移動先を上記予測位置として算出する。具体例としては、図４０（ａ）に示すように、各動画像フレーム上に共通に定められる動画像フレーム４００上の二次元座標系において、前々フレーム上に特定される指の位置座標Pi(-2)から、前フレーム上に特定される位置座標Pi(-1)に移動した際の、当該位置座標Pi(-1)における指の速度ベクトルVi(-1)を、当該移動の移動方向及び移動距離に基づいて算出する。そして次フレームでは、位置座標Pi(-1)に位置する指が速度ベクトルVi(-1)だけ移動すると推定し、その推定移動先の位置座標Qi(-0)を算出する（Qi(-0)＝Pi(-1)＋Vi(-1)）。算出された位置座標Qi(-0)が予測位置情報であり、追跡情報の一つとして制御回路１８の追跡情報記憶部に記憶される。
【０１５１】
ただし、前フレームにおいて新規に出現した指先に対し、次フレームでの出現を予測することは、上記のように前フレームと前々フレームとの双方を用いた予測方法では実施できない。こうした場合、ここでは、前フレーム上にて特定された指先の位置情報に基づいて、当該指先の前々フレームにおける位置を仮位置として定め、この仮位置を示す位置情報と、前フレームの位置情報とに基づいて、当該指先の次フレーム上での出現位置を特定する。この仮位置の決定方法は以下の通りである。即ち、図４１に示すように、動画像フレーム（指先特定可能範囲）４００内の領域を、各縁部（ここでは上下左右の縁部）に対応付けた形で予め区画して（区画線は破線で図示）、各縁部４０１（４０１ａ〜４０１ｄ）に対応する縁部対応領域４１０を設定しておき、その上で、まずは、前フレーム上にて特定された指先位置Pi(-1)が存在する縁部対応領域４１０（４０１Ａ〜４０１Ｄ）を特定する。Pi(-1)が存在する縁部対応領域４１０が特定された場合には、当該Pi(-1)に最近接する当該縁部対応領域４１０の縁部４０１上の位置を、前々フレームの仮位置として決定する。つまり、前フレーム上にて特定された指先位置Pi(-1)を通過し、当該指先位置Pi(-1)が存在する縁部対応領域４１０の縁部４０１に向かう垂線と、当該縁部４０１との交点を仮位置Pi'(-2)と定める。
【０１５２】
なお、上記の指先の予測位置の算出方法は、前フレーム回及び前々フレーム上の各指先の位置情報に基づいて算出する方法であったが、より高い精度で算出するために、図４０（ｂ）に示すように算出する。即ち、各動画像フレーム上に共通に定められる動画像フレーム４００上の二次元座標系において、現フレームから１回前フレーム上に特定される位置座標Pi(-1)上における指の速度ベクトルVi(-1)と加速ベクトルAi(-1)をそれぞれ算出し、次フレームでは、当該位置座標Pi(-1)に位置する指がこれら速度ベクトルVi(-1)と加速ベクトルAi(-1)の分に相当する移動が生ずると推定して、その推定移動先の位置座標Qi(-0)を算出する（Qi(-0)＝Pi(-1)＋Vi(0)＝Pi(-1)＋Vi(-1)＋Ai(-1)）。まずは、現フレームから３回前のフレーム上に特定される指の位置座標Pi(-3)から、現フレームから２回前フレーム上に特定される位置座標Pi(-2)に移動した際の移動方向及び移動距離に基づいて、位置座標Pi(-2)における当該指の速度ベクトルVi(-2)を算出する。その上でこの指を、動画像フレーム４００上の位置座標Pi(-2)から速度ベクトルVi(-2)だけ移動した先の位置座標から、現フレームから１回前フレーム上に特定される位置座標Pi(-1)に移動した際の移動方向及び移動距離に基づいて、加速ベクトルAi(-1)を算出する（Ai(-1)＝Vi(-1)−Vi(-2)＝Pi(-1)−Pi(-2)−Vi(-2)）。また、速度ベクトルVi(-1)は、現フレームから２回前フレーム上に特定される位置座標Pi(-2)から、現フレームから１回前フレーム上に特定される位置座標Pi(-1)に移動した際の、移動方向及び移動距離に基づいて算出する。
【０１５３】
指先の追跡状況の特定方法としては、例えば以下のような特定方法を例示できる。即ち、現フレーム上に特定された指先の位置情報と、当該指先の現フレーム上での予測位置情報とを比較し、これらの位置関係が予め定められた基準条件を満たすか否かに基づいて特定する方法である。例えば、図３８に示すように、現フレームに関して算出された各予測位置情報が示す指先の位置座標Q1(-0)、Q2(-0)、Q3(-0)と、現フレームにおいて実際に特定された全ての指先の位置座標Ra(0)、Rb(0)、Rc(0)、…との中から、動画像フレーム内において最も位置が近接するペアを対応するペアを、基準条件を満たすペアとして認識するようにする。ただし、ペアをなす両位置間の距離が予め定められた基準距離を下回らないような、一定以上離れた位置関係にある場合については、当該ペアを対応するペアとして認識しないようにする。対応するペアについては、現フレームにて実際に特定された指先と、予測位置情報を算出するための根拠となった前フレームの位置情報に対応する指先とが同一の指先であると判定し、当該指先の追跡が前フレーム時から現フレームにかけて継続している追跡継続状態（追跡中）と特定する。現フレームにて実際に特定された指先のうち、対応するペアが見つからなかった指先は、新規出現状態（新規出現）として特定する。現フレームに関して算出された予測位置情報に対応する指先（前フレームにて追跡中と特定された指先）のうち、対応するペアが見つからなかった指先は、追跡不可状態（ロスト）として特定する。特定された各指先の追跡状況は、各指先ＩＤに対応付けた形で制御回路１８の追跡情報記憶部に記憶される。
【０１５４】
なお、追跡状況として追跡不可状態（ロスト）が特定された場合には、この追跡不可状態（追跡状況）や、この追跡不可状態が特定される直前のフレーム上での当該指先の位置情報と共に、他の追跡不可状態の指との追跡不可特定時期の前後関係が特定可能となる追跡不可認識順序が、追跡復帰判断情報として追跡情報記憶部（追跡復帰判断情報記憶部）に記憶される。なお、ここではこの追跡復帰判断情報も追跡情報の一つとして取り扱うこととする。
【０１５５】
ここで、図３６及び図３７に示す指追跡処理（指追跡ステップ）の流れを説明する。この指追跡処理は、制御回路１８が、カメラ１２ｂから動画像フレームを取得するたびに実行する処理であり、これにより当該制御回路１８が指追跡手段として機能する。
【０１５６】
まずＲ２０１（図３６）では、制御回路１８が、カメラ１２ｂによる動画撮影により取得した新たな動画像フレーム（現フレーム）内に、指先が特定されるか否かを判定し、指先が特定された場合にはＲ２０２に進み、指先が特定されなかった場合にはＲ２１５に進む。なお、指先の特定方法については、図６のＴ１及びＴ２と同様である。
【０１５７】
Ｒ２０２では、制御回路１８が、現フレーム上に特定される各指先と、前フレーム上に特定される各指先との対応関係を特定する。ここでは、現フレームにおける指先の位置情報と、現フレームに関し予測された指先の予測位置情報との対応関係を特定し、その対応結果から、現フレーム取得時における各指先の追跡状況が、追跡継続状態（追跡中）・追跡不可状態（ロスト）・新規出現状態（新規出現）・未特定（未出現）のいずれの状況にあるかを、指先ＩＤごとに特定する。特定された追跡状況は、図３８の符号５００に示すような形で、対応する指先ＩＤごとに制御回路１８の追跡情報記憶部に記憶する。ここでは、前フレーム上に特定された指先と上記基準条件を満たす、現フレーム上に特定された指先が存在する場合を、追跡継続状態（追跡中）と認識し、前フレーム上に特定された指先のいずれとも上記基準条件を満たさない、現フレーム上に特定された指先が存在する場合を、新規出現状態（新規出現）と認識し、現フレーム上に特定されたいずれの指先とも上記基準条件を満たさない、前フレーム上に特定された指先が存在する場合を、追跡不可状態（ロスト）と認識する。
【０１５８】
Ｒ２０３では、前フレーム上に特定された指先と現フレーム上に特定された指先とにおいて同一の指が存在するか否か、言い換えれば、現フレーム上に追跡継続状態（追跡中）の指先が存在するか否かを判定する。追跡継続状態（追跡中）の指先が存在する場合にはＲ２０４に進み、追跡継続状態（追跡中）の指先が存在しない場合は図３７のＲ２０５に進む。
【０１５９】
Ｒ２０４では、追跡継続状態（追跡中）の指先の指先ＩＤに対応する追跡情報を更新する。追跡継続状態（追跡中）の指先とは前フレーム取得時に追跡情報の更新を行った指先であり、当該指先の指先ＩＤに対応する現フレームの位置情報を、当該指先の現フレームにおける位置を示す位置情報により更新する。さらに、これまで記憶されていた現フレームの位置情報を前フレームの位置情報として更新し、これまで記憶されていた前フレームの位置情報を前々フレームの位置情報として更新する。
【０１６０】
Ｒ２０５では、前フレーム上に特定された指先のうち、現フレーム上に特定されなかった指先が存在するか否か、言い換えれば、図４２に示すP1(0)ような、現フレームにて追跡不可となった指先が存在するか否かを判定する。追跡不可状態（追跡中）の指先が存在する場合にはＲ２０６に進み、追跡継続状態（追跡中）の指先が存在しない場合はＲ２０７に進む。
【０１６１】
Ｒ２０６では、追跡不可状態（ロスト）の指先の指先ＩＤに対応付ける形で、追跡不可と認識されたときの当該指に係る情報を追跡復帰判断情報として記憶する。この追跡復帰判断情報は、後に取得される動画像フレームにおいて追跡中でない新たな指先が出現した時に、その指がここで追跡不可と認識された指であるか否かを判定するために使用される情報である。これにより、一度フレームから外れた指先が再度フレーム内に進入した場合に、両者を同じ指として認識することができ、改めてその指の追跡を行うことが可能となる。ここでは、追跡不可状態となった指先の指先ＩＤを消去することなく記憶保持し、当該指先ＩＤに対応付ける形で、当該指先ＩＤに対応する前フレームの位置情報（消滅直前位置）と共に、他の追跡不可の指との追跡不可認識時期の前後関係が特定可能となる追跡不可認識順序（消滅順）を追跡復帰判断情報として記憶する。図３８の場合、指先ＩＤ「２」に消滅順として「１」が付されており、後に取得される動画像フレームにて新たの指先が追跡不可となった場合には、その指先ＩＤには消滅順として「２」が付されることになり、付された番号の大きいものほど、追跡不可認識時期が新しいと判断できる。
【０１６２】
Ｒ２０７では、現フレーム上に特定された指先のうち、前フレーム上に特定されなかった指先が存在するか否か、言い換えれば、現フレームにて新規出現した指先が存在するか否かを判定する。新規出現状態（新規出現）の指先が存在する場合にはＲ２０８に進み、追跡継続状態の指先が存在しない場合はＲ２０９に進む。
【０１６３】
Ｒ２０８では、Ｒ２０７にて新規出現状態（新規出現）の指先が存在すると特定された段階で、現在、追跡不可状態（ロスト）を継続している指先が存在するか否かを判定する。この判定は、図３８に示す追跡情報において、追跡復帰判断情報が記憶されている指先ＩＤが存在するか否かに基づいて行う。この段階で、追跡不可状態（ロスト）を継続している指先が存在しないと判定された場合にはＲ２１３に進み、Ｒ２０７にて特定された新規出現状態の指先に、これまで付されていない新たな指先ＩＤを付与し、当該指先ＩＤに対応付ける形で、当該新規出現状態の指先の現フレーム上にて特定された位置を示す位置情報を記憶する。さらに、当該指先ＩＤに対応する追跡状況を追跡不可状態から追跡継続状態（追跡再開）に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。Ｒ２１３を終了すると、本処理は終了となる。他方、Ｒ２０８にて、追跡不可状態（ロスト）を継続している指先が存在すると判定された場合にはＲ２０９に進む。
【０１６４】
Ｒ２０９では、新規出現の指先のうち、現在、追跡不可状態（ロスト）を継続している指先と同一の指があるか否かを特定する。具体的には、Ｒ２０７にて実際に特定された新規出現の指先の現フレームにおける位置情報と、追跡情報５００に含まれる追跡不可状態の指先の最後の位置を示す位置情報（追跡復帰判断情報）とに基づいて、追跡不可状態となっている指先のうち、実際に特定された新規出現の指先の位置に対し、一定範囲内にて最も近接するものが存在するか否かを判定する。ここでは、現フレームにて実際に特定された各指先の指先位置と、追跡不可状態となっている各指先の指先位置との間の距離を算出し、それらの距離のうち、最も距離が短く、なおかつ予め定められた基準距離よりを下回る距離を特定して、当該距離に対応するする現フレームにて実際に特定された各指先と追跡不可状態となっている各指先とを同一の指先と判定する。ただし、一定範囲内に存在する追跡不可状態となっている指先が複数存在する場合には、追跡不可認識順序（追跡復帰判断情報）に基づいて、最も最近に追跡不可状態となった指先を、現フレームにおいて新規出願と特定された指先と同一と特定する。
【０１６５】
続くＲ２１０では、Ｒ２０９の結果に基づいて、現フレームにおいて新規出願と特定された指先のうち、追跡不可状態（ロスト）を継続している指先と同一のものが存在するか否かを判定して、存在する場合にはＲ２１１に進み、存在しない場合にはＲ２１３に進む。
【０１６６】
Ｒ２１１では、Ｒ２０９の結果に基づいて、現フレームにおいて新規出願と特定された指先のうち、追跡不可状態（ロスト）を継続している指先と同一と判定された指先が複数あるか否かを判定する。複数ではなく１つであると判定されている場合にはＲ２１２に進む。Ｒ２１２では、当該１つの指先の追跡不可状態（ロスト）における指先ＩＤに対応付ける形で、当該指先と同一と判定された、現フレーム上で特定された新規出願の指先の位置情報を記憶し、当該指先ＩＤの追跡情報を更新する。これにより、追跡不可状態の指先の位置追跡が再開される。なお、このとき、当該指先ＩＤに対応する追跡状況を追跡不可状態から追跡継続状態（追跡再開）に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。Ｒ２１２を終了すると、本処理は終了となる。
【０１６７】
他方、Ｒ２１１にて、Ｒ２０９の結果に基づいて、現フレームにおいて新規出願と特定された指先のうち、追跡不可状態（ロスト）を継続している指先と同一と判定された指先が複数あると判定された場合にはＲ２１４に進む。Ｒ２１４では、それら複数の指先のうち、追跡不可認識順序（追跡復帰判断情報）に基づいて、最も最近に追跡不可状態となった指先を特定し、特定された指先の指先ＩＤに対応付ける形で、当該指先と同一と判定された、現フレーム上で特定された新規出願の指先の位置情報を記憶し、当該指先ＩＤの追跡情報を更新する。これにより、追跡不可状態の指先の位置追跡が再開される。なお、このとき、当該指先ＩＤに対応する追跡状況を追跡不可状態から追跡継続状態（追跡再開）に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。Ｒ２１４を終了すると、本処理は終了となる。
【０１６８】
なお、Ｒ２０１において、取得した新たな動画像フレーム内に指先が特定されなかった場合には、図３８に示すような追跡情報５００はリセットされ、各ＩＤに対応する情報は消去されるものとする。
【０１６９】
このように、カメラ１２ｂが撮影する動画像から特定される全ての指先を、フレームアウト時も考慮して継続的に追跡することにより、操作対象指Ｐを同じ指に固定して定めることができる。具体的には、操作対象指Ｐを特定する処理によって操作対象指Ｐが指定された際に、図３８に示すように、操作対象指Ｐを示す操作対象指情報を指先ＩＤに対応付ける形で記憶しておくことで、これを参照することにより、どのタイミングにおいても操作対象指Ｐを特定することができる。即ち、図３６及び図３７のような指追跡処理を追加することにより、所定周期で繰り返し実施される図６の位置指示画像の表示処理において、Ｔ３による操作対象指Ｐの特定処理は別途実施するものとし、Ｔ３では、指先ＩＤに対応付けて記憶されている操作対象指情報に基づいて、操作対象指Ｐを特定すればよい。
【０１７０】
また、この指先追跡処理の適用は、図１９の第三変形例や図２０の第四変形例のように、ユーザーによりなされる操作対象指指定操作の操作内容に基づいて、操作対象指Ｐが指定される実施形態にとって好適となる。図１９の第三変形例や図２０の第四変形例では、タッチパネル１２ａへのタッチ操作が操作対象指指定操作であり、当該タッチ操作の操作内容に基づいて、操作対象指Ｐが指定される。つまり、ユーザーによる操作対象指指定操作がなされない限り操作対象指Ｐが変更されない実施形態であれば、動画像フレームを取得するたびに操作対象指Ｐを特定する演算をする必要が無くなり、各指の追跡情報から指定すべき指をピックアップするだけで、容易に操作対象指Ｐを特定することができる。
【０１７１】
以下、本発明の第二実施形態について説明する。
【０１７２】
上記実施形態においては、ユーザーの手元に遠隔操作部が設けられるので、意図しないで操作部に触れてしまい、誤った操作入力がされることが課題となる。特に、タッチ操作式の操作部であれば、何かのはずみで接触しただけでも入力がされてしまうことがある。この課題を解決するために、操作者の指状態として予め定められた所定指状態を特定した場合に、予め定められた表示許可期間の間だけ上記第一実施形態における位置指示画像２００Ｈの強調表示を実施する一方で、それ以外の場合には、図５４のように、手がタッチ操作面１２ａ１に対向した状態にあっても位置指示画像２００Ｈの表示をしないように構成することができる。具体的には、図５２に示すような位置指示画像表示処理を実施する。なお、当該処理も、制御回路１８の記憶部に格納されたプログラムをＣＰＵが実行する形で実施される。
【０１７３】
Ｓ１では、制御回路１８が、カメラ１２ｂによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。カメラ１２ｂは、操作パネル１２ａの裏面１２ａ２側から該操作パネル１２ａを介してタッチ操作面（表面）１２ａ１側に接近する接近対象物（例えば運転者等の操作者の手）Ｈを常時撮影しており（撮影ステップ）、その撮影画像は常に制御回路１８の画像処理部１８ａに入力されている。タッチ操作面１２ａ１と対面する位置に接近対象物Ｈが進入してくると、当然その接近対象物Ｈを含む撮影画像１５０が画像処理部１８ａに入力される。入力された撮影画像１５０は、画像処理部１８ａにて公知の画像解析手法によって解析され、色の相違等に基づいて接近対象物画像１５０Ｈが抽出される。そして、抽出された接近対象物画像１５０Ｈの形状から、当該画像１５０Ｈが人の手の画像であるか否かを判定する。判定結果は制御回路１８に出力され、手の画像が認識されたと判定された場合にはＳ２に進み、判定されなければ本処理を終了する。
【０１７４】
なお、本実施形態においては、光源１２ｃが配置されており、カメラ１２ｂは、当該光源１２ｃの反射光を捉える形で撮影を行っている。従って、撮影映像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施形態のカメラ１２ｂにより撮影される撮影映像１５０は多階調の撮影画像（本実施形態ではモノクロの撮影画像）であるから、画像処理部１８ａでは、これを予め定められた階調閾値を用いて各画素の階調レベルを２値化して、図４、図５、図５１、図５４の（ｂ）のようにし、当該階調閾値を上回る領域を接近対象物画像１５０Ｈとして抽出する。また、画像処理部１８ａでは、抽出された接近対象物画像１５０Ｈから人の手の画像を特定するために、当該接近対象物画像１５０Ｈの形状と、制御回路１８の記憶部に記憶された手形状パターンと比較して、それらパターンに合致する接近対象物画像１５０Ｈを手の画像として認識する（手画像認識手段）。
【０１７５】
Ｓ２では、取得した手の画像に基づいて、その手の状態が予め定められた所定指状態であるか否かを特定する（所定指状態特定手段）。ここでは、予め定められた操作意思表示用指状態であるか否かを特定する（操作意思表示用指状態特定手段）。操作意思表示用指状態とは、本実施形態においては簡易操作用指状態であり、例えば、操作対象となりうる指、即ちタッチ操作面１２ａに略沿ってのびた状態の指が、１本ないし２本程度の少数である状態等である。付言するならば、入力を早くするために５本の指を使う操作は難易度の高い指状態であり、ここでいう簡易操作用指状態はこうした指状態とは異なるものである。本実施形態においては、取得した手の画像にて、タッチ操作面１２ａの面方向（面の広がる方向）側にのびた状態の指が１本だけ表れている一本指操作状態にある場合のみを操作意思表示用指状態として特定する。具体的にいえば、Ｓ１にて、手の画像を抽出した画像処理部１８ａが、その手画像の全体形状から、所定長さ以上の軸線を有する略直線的な棒状の画像パターンを識別して、当該棒状の画像パターンがあった場合に、これを指画像１５０Ｆとして認識・特定する（指特定手段）。特定された結果は制御回路１８に出力され、制御回路１８は、該指画像１５０Ｆの数を特定し（指本数特定手段：手形状認識手段）、その数が１つである場合を予め定められた操作意思表示用指状態（操作意思表示用指形状）であると特定する。
【０１７６】
続くＳ３では、その出力結果に基づいて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを判定し、予め定められた所定指状態であると判定された場合にＳ４に進む。Ｓ４では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定し、Ｓ５に進む。なお、設定された表示モードは、制御回路１８の記憶部に設けられた所定記憶領域（表示モード記憶部）に記憶される。Ｓ４では、当該記憶領域に表示許可モードを記憶する。
【０１７７】
Ｓ５では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。つまり、撮影された手の画像Ｈが、表示画面上のどの位置に対向しているかを特定する。本実施形態においては、カメラ１２ｂによって撮影された撮影画像上に、タッチ操作面１２ａが位置する操作パネル画像領域を特定するとともに、当該操作パネル画像領域上にタッチ操作面１２ａの操作座標系を設定し、その上で、撮影された手画像Ｈの位置を、設定された該操作座標系上で特定する。そして、表示装置１５の表示画面上に定められた表示座標系において、当該操作座標系上で特定された該手画像Ｈの位置に対応する位置を特定する。本実施形態においては、図４、図５、図５１、図５４の（ｂ）に示す撮影画像（２値化画像）１５０が、タッチ操作面１２ａ１の全体を撮影した操作パネル画像領域となっている。
【０１７８】
さらにＳ６では、図５、図５１の（ｃ）に示すように、表示装置１５の表示画面の、上記操作パネル画像領域上にて特定された該手画像Ｈに対応する位置に、位置指示画像２００Ｈを表示する（位置指示画像表示手段）。本実施形態においては、手画像１５０Ｈの外形形状が明確に表示され、かつ輪郭内部が半透過状態とされた加工画像２００Ｈが生成され、表示装置１５の画面上において、表示されているメイン画像２００Ｂの対応する座標位置に重ね表示される。さらに、Ｓ６では、第一実施形態における位置指示画像の強調表示処理（図６）が実施されて、操作対象指Ｐとして特定された指の位置指示画像２００Ｈが残余の指に対し相対的に強調して表示される。
【０１７９】
なお、ここでは、強調される操作対象指Ｐは人差し指と定められているものとする。従って、一本指状態であっても、そのときのびている指が人差し指ではないのであれば、この指に対応する位置指示画像は非強調状態にて表示される。他方、一本指状態が人差し指であれば、図５、図５１の（ｃ）に示すように、人差し指が強調状態にて表示されるが、非強調状態の指は表示されない。
【０１８０】
他方、Ｓ３にて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）でないと判定された場合はＳ７に進む。Ｓ７では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定する。これにより、Ｓ５及びＳ６での位置指示画像２００Ｈの表示がされず、表示装置１５の表示画面には、例えば図５４（ｃ）に示すように、位置指示画像２００Ｈが表示されないままとなる。なお、設定された表示禁止モードは、制御回路１８の記憶部に設けられた所定記憶領域（表示モード記憶部）に記憶される。
【０１８１】
Ｓ６及びＳ７の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル１２ａに対向する予め定められた所定指状態の手が移動すると、これに合わせて、表示装置１５の表示画面に表示される位置指示画像（加工画像）２００Ｈの表示位置も移動する。
【０１８２】
この位置指示画像の表示処理においては、図５７に示すように、表示許可期間として、予め定められた所定指状態が非特定となるまでの期間が定められた形となっている。つまり、予め定められた所定指状態が特定されている場合には表示許可モードを設定し、予め定められた所定指状態が特定されていない場合には表示禁止モードを設定するような処理となっている。なお、制御回路１８は、この位置指示画像の表示処理を実行することにより、本発明の表示モード設定手段として機能する。
【０１８３】
従来の方式の操作入力装置では、遠隔操作する手を実際に操作画面上に表示すると、手がタッチパネル１２ａ（遠隔操作部）に近い場合には、指のみが表示された状態となる。ユーザーの中には、早く入力するために、片手の５本の指でタッチ操作入力を行う人もおり、この場合、操作画面上では、多数本の指が同時に並んで表示されるので、表示された指と、実際に操作者が指示に使いたい指との対応関係がわからなくなり、誤操作を招き易いという課題があった。これに対し、上記実施形態においては、予め定められた所定指状態でないと、操作パネル１２ａへのタッチ操作入力が受け付けられない構成となっているので、上記のような課題を解消することができる。
【０１８４】
以下、本発明の第三実施形態について説明する。
【０１８５】
上記した第二実施形態において、操作情報入力部１２の操作パネル（遠隔操作部）１２ａへのタッチ操作入力処理は、図１３のような処理ではなく、図５３のような処理とすることができる。なお、当該処理も、制御回路１８の記憶部に格納されたプログラムをＣＰＵが実行する形で実施される。
【０１８６】
図５３のタッチ操作入力処理では、表示許可モードが設定されている場合には、操作パネル１２ａへのタッチ操作入力の受け付けを許可（制御回路１８が入力許可モードを設定）し、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けを禁止（制御回路１８が入力禁止モードを設定）する操作入力受付制御が含まれた処理である。制御回路１８は、このタッチ操作入力処理を実行することにより本発明の操作入力制御手段として機能する。
【０１８７】
Ｓ１０１では、制御回路１８が、操作パネル１２ａへのタッチ操作の有無を判定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力されるので、その入力の有無に基づいて判定する。操作パネル１２ａへのタッチ操作があった場合はＳ１０２に進み、タッチ操作が無かった場合は本処理を終了する。
【０１８８】
Ｓ１０２では、制御回路１８が、現在の表示モードが表示許可モードであるか否かを判定する。現在の表示モードは、制御回路１８の記憶部に設けられた所定記憶領域（表示モード記憶部）に記憶されているので、記憶されている表示モード情報に基づいて判定する。現在の表示モードが表示許可モードであると判定された場合はＳ１０３に進み、表示許可モードでないと判定された場合、即ち表示禁止モードであると判定された場合は本処理を終了する。
【０１８９】
Ｓ１０３では、操作パネル１２ａへのタッチ操作位置、即ちタッチ操作面１２ａ１上へのタッチ操作位置を特定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力される。そして、その操作信号には、タッチ操作位置が操作面１２ａ１に定められる操作座標系上の座標情報として反映されているので、制御回路１８が、この操作信号に基づいて、タッチ操作位置を特定する。
【０１９０】
続くＳ１０４では、制御回路１８が、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する。具体的にいえば、操作パネル１２ａのタッチ操作面１２ａ１上の各位置は、表示画面１５の表示画面上の位置と対応しているので、Ｓ１０３にて特定されたタッチ操作面１２ａ１上の位置に対応する、表示画面１５の表示画面上の位置に定められた制御内容を実施する。具体的には、制御回路１８が、当該制御内容を実施するための制御信号を出力する。例えばＳ１０３にて特定されたタッチ操作面１２ａ１上の位置が、表示画面１５の表示画面に表示されたスイッチ画像２００Ｉに位置に対応していれば、制御回路１８は、当該スイッチ画像に割り当てられた制御内容を実行するための制御信号を出力する。
【０１９１】
Ｓ１０４の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、制御回路１８は、そのときどきにタッチ操作された位置に応じた制御内容を実施する、あるいは他の制御部（例えばＥＣＵ１００等）にて実施させる。
【０１９２】
このタッチ操作入力処理においては、表示許可モードが設定されている場合には、操作パネル１２ａへのタッチ操作入力の受け付けが許可され（入力許可モード）、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けが禁止される（入力禁止モード）。ただし、図５２の位置指示画像表示処理においては、予め定められた所定指状態が特定されている場合に表示許可モードが設定され、予め定められた所定指状態が特定されていない場合に表示禁止モードが設定されるので、結果として、ユーザーの指状態が予め定められた所定指状態でないと、操作パネル１２ａへのタッチ操作入力が受け付けられないようになっている。ここでは、一本指状態という簡易操作用指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）とされている。
【０１９３】
以下、本発明の第四実施形態について説明する。
【０１９４】
上記第二及び第三実施形態においては、表示許可期間として、図５７に示すように、予め定められた所定指状態が非特定となるまでの期間が定められた形となっているが、この表示許可期間として、図５８に示すように、予め決められた時間を定めることができる。つまり、表示許可モードに切り替わってから予め定められた時間（禁止モード復帰時間）が経過するまでの期間を表示許可期間と定め、当該禁止モード復帰時間が経過するに伴い表示禁止モードに復帰させるように構成することができる。この構成によれば、ユーザーが特定の指状態を示したことをきっかけに位置指示画像が表示可能な期間（表示許可モード）が始まって、該位置指示画像を見ながらのタッチ操作面１２ａ１への位置指示入力（タッチ操作）が可能となる一方で、ユーザーが特定の指状態を示さなければ位置指示画像は表示されず、位置指示入力を行うためのタッチ操作をスムーズに行えない。つまり、ユーザーが位置指示入力を行うという明確な意思を表示した場合にのみ位置指示画像の表示が許可されるようになっており、その意思表示をユーザーの指状態の特定により確認する構成となっている。なお、ここでは、表示許可モードが設定されている場合に、予め定められた所定指状態とは異なる指状態の画像も表示可能となる。具体的にいえば、図５２に示す位置指示画像表示処理を、図５５に示すような処理とすることで実現できる。
【０１９５】
Ｓ１０では、制御回路１８が、カメラ１２ｂによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。この処理は図５２のＳ１の処理と同様である。
【０１９６】
Ｓ１１では、制御回路１８が、現在の表示モードが表示許可モードであるか否かを判定する。現在の表示モードは、制御回路１８の記憶部に設けられた所定記憶領域（表示モード記憶部）に記憶されているので、記憶されている表示モード情報に基づいて判定する。現在の表示モードが表示禁止モードであると判定された場合はＳ１２に進み、表示許可モードでないと判定された場合、即ち表示禁止モードであると判定された場合はＳ１９に進む。
【０１９７】
Ｓ１２では、取得した手の画像に基づいて、その手の状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを特定する（所定指状態特定手段：操作意思表示用指状態特定手段）。この処理は図５２のＳ２の処理と同様である。続くＳ１３にて、現在の指状態が予め定められた所定指状態であると判定された場合はＳ１４に進む。
【０１９８】
Ｓ１４では、表示モードを、位置指示画像の表示が許可される表示許可モードに設定し、Ｓ１５に進む。なお、設定された表示許可モードは、制御回路１８の所定記憶領域（表示モード記憶部）に記憶される。
【０１９９】
続くＳ１５では、制御回路１８に設けられたタイマー１８ｂを起動し、時間カウントを開始してＳ１６に進む。時間はカウンタ１８ｃにおいてカウントアップされる形で記憶される。タイマー起動前にはカウンタ１８ｃのカウント値がリセットされる。
【０２００】
Ｓ１６では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。このＳ１６の処理は、図５２のＳ５と同様の処理である。続くＳ１７では、図４、図５、及び図５１の（ｃ）に示すように、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像強調表示手段）。このＳ１７の処理は、図５２のＳ６と同様、図６に示す位置指示画像の強調表示処理である。ただし、第二実施携帯においては、Ｓ１６及びＳ１７において、図４（ｃ）のような位置指示画像２００Ｈも表示される。つまり、第四実施形態においては、表示許可モードが設定されている限り、手画像（指画像）の重ね表示（あるいは合成表示）が許可されており、少なくとも手画像に基づく指の指示位置を示す画像であればどのような形で位置指示画像２００Ｈを表示してもよい。従って、表示許可モードが設定されている場合には、図４（ｃ）に示すような多本数の指形状の重ね表示もありうる。ただし、操作対象指Ｐが残余の指よりも強調されて表示される。
【０２０１】
他方、Ｓ１３にて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）でないと判定された場合はＳ１８に進む。Ｓ１８では表示禁止モードが設定され、それが制御回路１８の記憶部に設けられた所定記憶領域（表示モード記憶部）に記憶される。
【０２０２】
Ｓ１７及びＳ１８の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施され、手画像が取得され、かつ表示許可モードが継続する限り、Ｓ１６及びＳ１７による位置指示画像の表示許可状態が継続する。つまり、この間は、指状態が予め定められた所定指状態でなくても、その時の指状態に基いて位置指示画像が表示される。ところが、表示許可モードは、Ｓ１９にて、Ｓ１５にて起動したタイマー１８ｂにより所定時間が経過したと判定された場合に、Ｓ２０にて、強制的に表示禁止モードが設定され、本処理が終了となる。なお、Ｓ２０の処理はＳ１８の処理と同様である。
【０２０３】
この実施形態においては、ユーザーが操作の意思を手形状（操作意思表示用指状態）により示し、それが示された場合には、一定時間の間だけ表示許可モードが設定される構成となっている。この場合、操作意思表示用指状態は、一本指状態（例えば図５及び図５１参照）のような簡易操作用指状態に限らず、二本の指をのばした状態（図６８参照）、三本の指を伸ばした状態（図６９参照）、４本の指を伸ばした状態（図７０参照）等と様々に定めることができる。また、一本指状態であっても、その指が人差し指である場合（図５及び図５１参照）のみを操作意思表示用指状態としてもよいし、中指である場合（図７１参照）のみを操作意思表示用指状態としてもよい。また、二本指状態においても、それらの指が人差し指と中指である場合（図６８参照）のみ、操作意思表示用指状態としてもよい。また、これらのうちのいずれか又は複数を操作意思表示用指状態として定めてもよい。誤操作防止の観点からすれば、日頃ユーザーが行わないような手状態（指状態）を操作意思表示用指状態として定めることが望ましい。また、処理の観点からすれば、より識別しやすい手状態（指状態）を定めることが望ましい。
【０２０４】
以下、本発明の第五実施形態について説明する。
【０２０５】
なお、図５２のＳ２における操作意思表示用指状態及び簡易操作用指状態等の所定指状態の特定は、上記のように撮影画像に基づいて実施されるものでなくともよい。例えば、制御回路１８が、予め定められた期間の間にタッチ操作面１２ａ１（遠隔操作面）になされたタッチ操作による入力のうち、タッチ操作面１２ａ１の異なる位置になされたタッチ操作による入力の数を特定し（操作数特定手段）、当該期間内に特定された入力数が予め定められた数（簡易操作用の数や操作意思表示用の数）であった場合を所定指状態として特定するようにしてもよい。この場合、例えば１秒以内の間に３回のタッチ操作がそれぞれ異なる位置になされた場合に（同時でもよい）、３本の指があると特定され、予め定められた指の本数が３本と定められている場合には、これをもって所定指状態として特定するようにできる。具体的には、図５９に示すように、表示禁止モード（さらには入力禁止モード）が設定されている状態にて、タッチ操作面１２ａ１へのタッチ操作があった場合に、制御回路１８が、自身のタイマー１８ｂを起動し、カウンタ１８ｃをカウントアップする形で時間計時を開始し、所定期間ｔ０内に、時間計時開始時のタッチ操作を含めたタッチ操作による入力数をカウントする。ただし、タッチ操作面１２ａ１にタッチ操作がなされる際に、タッチ位置情報（例えばタッチ操作面１２ａ１内における位置座標）を取得して、タッチ操作面１２ａ１内の同一位置への再タッチ操作に関しては、その入力をカウントしないようにする。そして、所定期間ｔ０が経過した際の当該入力数が、所定指状態を定める予め定められた指の数と同数であった場合には、現在の操作者の手の指状態が所定指状態であると特定し、特定された時から予め定められた表示許可期間の間だけ表示許可モード（さらには入力許可モード）を設定する。表示許可期間が終了すると、再び表示禁止モード（さらには入力禁止モード）が設定される。
【０２０６】
以下、本発明の第六実施形態について説明する。
【０２０７】
図５３に示すタッチ操作入力処理において、表示許可モードが設定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容を実行する、即ち対応する制御内容の実行が許可され、表示禁止モードが設定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容を実行しない、即ち、対応する制御内容の実行が禁止されていた。ところが、表示許可モードが設定されている場合ではなく予め定められた所定指状態（ここでは操作意思表示用指状態）が特定されている場合に、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容の実行が許可され、表示禁止モードが設定されている場合ではなく予め定められた所定指状態が特定されていない場合に、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容の実行を禁止するように構成することができる。
【０２０８】
具体的にいえば、予め定められた所定指状態（ここでは操作意思表示用指状態）が特定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力の受け付けを許可し、予め定められた所定指状態が特定されていない場合には、遠隔タッチ操作面１２ａへのタッチ操作入力の受け付けを禁止する操作入力受付制御を実行するように構成することができる。以下、その具体的な処理の流れについて、その一例を、図５６を用いて説明する。
【０２０９】
Ｓ１１１では、制御回路１８が、操作パネル１２ａへのタッチ操作の有無を判定する。Ｓ１１１の処理は図５３のＳ１０１と同様である。Ｓ１１２では、制御回路１８が、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを判定する。本実施形態においては、図５２のＳ２あるいは図５５のＳ１２等の処理と同様、予め定められた所定指状態であるか否を特定する処理だけでなく、現在の指状態が特定されるに伴い、特定された指状態を制御回路１８の記憶部に設けられた所定記憶領域（指状態記憶部）に記憶する処理を行う。そして、Ｓ１１２では、この記憶領域（指状態記憶部）に記憶された指状態情報に基づいて、現在の指状態が予め定められた所定指状態であるか否かを判定する。予め定められた所定指状態であると判定された場合にＳ１１３に進み、予め定められた所定指状態でないと判定された場合に本処理を終了する。
【０２１０】
Ｓ１１３では、操作パネル１２ａへのタッチ操作位置、即ちタッチ操作面１２ａ１へのタッチ操作位置を特定する。この処理は、図５３のＳ１０３と同様の処理である。続くＳ１１４では、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する。この処理は、図５３のＳ１０４と同様の処理である。Ｓ１１４の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。
【０２１１】
なお、図５６に示すタッチ操作入力処理を実行する実施形態における位置指示画像表示処理は、図５２及び図５５、さらには後述する位置指示画像表示処理のいずれのものであってもよい。
【０２１２】
以下、本発明の第七実施形態について説明する。
【０２１３】
上記実施形態においては、予め定められた所定指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、予め定められた所定指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定するように構成されていたが、こうした表示モード切替制御を、車両が所定の走行状態である場合に実施し、所定の走行状態ではない場合には、表示モードとして表示許可モードを設定するように構成することができる。この場合、車両の走行状態を検出する車両走行状態検出手段を備えた構成となる。図６０は、こうした処理の一例であり、ここでは、車両の車速を検出する車速センサ（車速検出手段）３０が制御回路１８に接続する構成を有し、該制御回路１８が、車両が予め定められた車速レベル（車速閾値）を上回る車両走行状態にある場合には表示モード切替制御を実行し、当該車両走行状態にない場合には、指状態に関らず、表示モードとして表示許可モードを設定するようになっている。
【０２１４】
具体的には、Ｓ２１では、制御回路１８が、操作者の手の画像を取得したか否かを判定する。これは図５２のＳ１の処理と同様である。操作者の手の画像が取得された場合はＳ２２に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。
【０２１５】
Ｓ２２では、車両の現在の走行状態を特定する。即ち、車両が予め定められた車速レベルを上回る走行状態にあるか否かを判定する。制御回路１８は、ＲＯＭ等の所定の記憶部に車速閾値を予め記憶させておき、車速センサ３０が検出した車速が当該車速閾値を上回るかを判定し、上回る場合を車両走行状態と特定し、上回らない場合を低速走行状態（停車状態を含む）と特定する。ここでは、上記車速閾値として５ｋｍ／ｈ等を固定的に定めるものとする。そして、Ｓ２３では、現在の車両が上記の車両走行状態にあるか否かを判定して、車両走行状態にあると判定された場合にはＳ２４に進む。他方、Ｓ２３にて、車両走行状態にないと判定された場合（停車状態を含む低速走行状態が特定された場合）にはＳ２６に進む。
【０２１６】
Ｓ２４では、操作者の手（操作手）が、予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを特定する。所定指状態の特定は、図５２のＳ２の処理と同様の処理で行われる。続くＳ２５にて、現在の指状態が予め定められた所定指状態であると判定された場合はＳ２６に進み、予め定められた所定指状態でないと判定された場合はＳ２９に進む。
【０２１７】
Ｓ２６では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路１８の所定記憶領域（表示モード記憶部）に記憶される。続くＳ２７では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。この処理は、図５２のＳ５の処理と同様である。続くＳ２８では、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示手段）。この処理は、図５２のＳ６と同様である。
【０２１８】
具体的にいえば、Ｓ２３にて、現在の車両が所定の車両走行状態にないと判定された場合（停車状態を含む低速走行状態が特定された場合）には、Ｓ２７及びＳ２８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図４、図５、図５１の（ｃ）参照）、Ｓ２２にて、車両走行状態にあると判定され、かつＳ２５にて現在の操作者の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であると判定された場合には、Ｓ２７及びＳ２８の処理により、操作者が行っている予め定められた所定指状態に基づく位置指示画像２００Ｈが表示される（図５及び図５１の（ｃ）参照）。
【０２１９】
他方、Ｓ２５にて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）でないと判定された場合はＳ２９に進む。Ｓ２９では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定し、これを制御回路１８の所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ２７及びＳ２８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５４（ｃ）に示すように、位置指示画像２００Ｈが表示されない。
【０２２０】
Ｓ２８及びＳ２９の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。
【０２２１】
なお、本実施形態においては、上記の予め定められた車速レベル（車速閾値）が５ｋｍ／ｈと定められており、当該車速レベルを上回らない車両の徐行走行状態においては、常に表示許可モードが設定されるようになっている。ただし、この車速レベルは、図６３に示すように、０ｋｍ／ｈより速く５ｋｍより遅い車速範囲内、あるいは５ｋｍ／ｈ以上１０ｋｍ／ｈ未満の車速範囲内（車両の徐行走行状態）において設定されるようにしてもよいし、０ｋｍ／ｈと設定して、車両停車状態において常に表示許可モードが設定されるようにしてもよい。また、この車速レベルは、１０ｋｍ／以上３０ｋｍ未満の車速範囲内（車両の低速走行状態）に設定されるようにしてもよいし、３０ｋｍ／ｈ以上６０ｋｍ／ｈ未満の車速範囲内（車両の中速走行状態）に設定されるようにしてもよいし、６０ｋｍ／ｈ以上の車速範囲内（車両の高速走行状態）に設定されるようにしてもよい。
【０２２２】
また、図６０の処理においては、所定の車両走行状態である場合（車速閾値よりも高速側）に上記表示モード切替制御が実施され、所定の車両走行状態にない場合（車速閾値よりも低速側）に表示許可モードが固定的に設定される実施形態であったが、所定の車両走行状態である場合（車速閾値よりも高速側）に表示禁止モードが固定的に設定され、所定の車両走行状態にない場合（車速閾値よりも低速側）に上記表示モード切替制御が実施される実施形態としてもよい。
【０２２３】
以下、本発明の第八実施形態について説明する。
【０２２４】
上記実施形態においては、予め定められた所定指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、予め定められた所定指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定するように構成されていたが、こうした表示モード切替制御を、タッチ操作面１２ａ１の操作者として運転者が特定されている場合には、表示モード切替制御を実行し、車両走行状態にない場合には、指状態に関らず、表示モードとして表示許可モードを設定するように構成することができる。以下、その具体的な処理の流れを、図６１を用いて説明する。
【０２２５】
Ｓ３１では、制御回路１８が、操作者の手の画像を取得したか否かを判定する。これは図５２のＳ１の処理と同様である。操作者の手の画像が取得された場合はＳ３２に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。
【０２２６】
Ｓ３２では、操作パネル１２ａに手を対向させるようにしている操作者が運転者であるか否かを特定する（操作者特定手段）。操作者の特定は、例えば、図２７に示すカメラ２０の撮影画像（図２８）に基づいて行うことができる。具体的にいえば、当該カメラ２０の撮影画像から、腕がのびてくる方向を特定して、その方向が運転席２Ｄ側からのびてきたものであるか否かを判定することにより、操作者が運転者であるか否かを特定する。Ｓ３３では、操作パネル１２ａの操作者が運転者であるか否かを判定して、運転者であると判定された場合にはＳ３４に進む。他方、Ｓ３３にて、操作パネル１２ａの操作者が運転者以外の者であると判定された場合にはＳ３６に進む。
【０２２７】
Ｓ３４では、操作者である運転者の手（操作手）が、予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを特定する。所定指状態の特定は、図５２のＳ２の処理と同様の処理で行われる。続くＳ３５では、現在の指状態が予め定められた所定指状態であるか否かが判定され、予め定められた所定指状態であると判定された場合はＳ３６に進み、予め定められた所定指状態でないと判定された場合はＳ３９に進む。
【０２２８】
Ｓ３６では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路１８の所定記憶領域（表示モード記憶部）に記憶される。続くＳ３７では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。この処理は、図５２のＳ５の処理と同様である。続くＳ３８では、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示手段）。この処理は、図５２のＳ６と同様である。
【０２２９】
具体的にいえば、Ｓ３３にて、操作パネル１２ａの操作者として運転者とは異なる者が特定された場合には、Ｓ３７及びＳ３８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図４、図５、図５１の（ｃ）参照）、Ｓ３２にて、操作パネル１２ａの操作者として運転者が特定され、かつＳ３５にてその指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であると判定された場合には、Ｓ３７及びＳ３８の処理により、運転者が行っている所定指状態に基づく位置指示画像２００Ｈが表示される（図５及び図５１の（ｃ）参照）。
【０２３０】
他方、Ｓ３５にて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であると判定された場合はＳ３９に進む。Ｓ３９では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定し、これを制御回路１８の所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ３７及びＳ３８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５４（ｃ）に示すように、位置指示画像２００Ｈが表示されない。
【０２３１】
Ｓ３８及びＳ３９の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施される。
【０２３２】
以下、本発明の第九実施形態について説明する。
【０２３３】
本実施形態は、既に述べた位置指示画像表示処理を、図６０及び図６１の双方を組み合わせた形の処理として実施するものである。即ち、車両の走行状態（例えば車両の車速）を検出し、さらに、遠隔タッチ操作面１２ａの操作者が運転者であるか否かを特定して、車両が所定の走行状態（例えば停車状態を含む予め定められた車速レベルを下回る低速走行状態にない走行状態）であり、かつ特定された遠隔タッチ操作面１２ａの操作者が運転者である場合には、予め定められた所定指状態が特定されている場合に限り位置指示画像２００Ｈの表示を許可するが、予め定められた所定指状態が特定されていない場合には位置指示画像２００Ｈの表示を禁止するようにする。そして、車両が上記所定の走行状態にない場合、あるいは特定された遠隔タッチ操作面１２ａの操作者が運転者ではない場合、あるいはそれら双方が同時に生じている場合には、特定された指状態に関らず、位置指示画像２００Ｈの表示を許可するような処理とすることができる。以下、その具体的な処理の流れを、図６２を用いて説明する。
【０２３４】
即ち、Ｓ４１にて、遠隔タッチ操作面１２ａの操作者の手画像が取得されると（図５２のＳ１と同様の処理）、Ｓ４２及びＳ４３で車両が車両速走行状態であるか否かを判定し（図６０のＳ２２、Ｓ２３と同様の処理）、車両速走行状態であればＳ４４及びＳ４５に進み、遠隔タッチ操作面１２ａの操作者が運転者であるか否かを判定する（図６１のＳ３２、Ｓ３３と同様の処理）。
【０２３５】
Ｓ４２〜Ｓ４５にて、車両が車両速走行状態であり、かつ遠隔タッチ操作面１２ａの操作者が運転者であるとされた場合にはＳ４６及びＳ４７に進み、操作者の手（操作手）が予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを特定し（図５２のＳ２及びＳ３と同様の処理）、現在の指状態が予め定められた所定指状態であると判定された場合はＳ４８に進み、予め定められた所定指状態でないと判定された場合はＳ５１に進む。
【０２３６】
Ｓ４８では、表示モードとして表示許可モードに設定し、これを所定記憶領域（表示モード記憶部）に記憶する。続くＳ４９では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定し、さらにＳ５０では、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示手段）。これらの処理は、図５２のＳ４〜Ｓ６の処理と同様である。
【０２３７】
具体的にいえば、Ｓ４２にて車両が車両走行状態ではないとされた場合、Ｓ４４にて、操作パネル１２ａの操作者として運転者とは異なる者が特定された場合には、Ｓ４８〜Ｓ５０の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される（図４、図５、図５１の（ｃ）参照）。一方、Ｓ４２にて車両が車両走行状態であるとされ、かつＳ４４にて操作パネル１２ａの操作者として運転者が特定され、その上で、Ｓ４６にて予め定められた所定指状態（ここでは操作意思表示用指状態）が特定された場合には、Ｓ４８〜Ｓ５０の処理により、運転者が行っている所定指状態に基づく位置指示画像２００Ｈが表示される（図５及び図５１の（ｃ）参照）。
【０２３８】
他方、Ｓ４７にて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）でないと判定された場合はＳ５１に進む。Ｓ５１では、表示モードとして表示禁止モードに設定し、これを所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ４９及びＳ５０にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５４（ｃ）に示すように、位置指示画像２００Ｈが表示されない。
【０２３９】
Ｓ５０及びＳ５１の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施される。
【０２４０】
なお、図６２の処理においては、車両が所定の車両走行状態（車速閾値よりも高速側）であり、なおかつ操作者が運転者である場合に上記表示モード切替制御が実施され、それ以外の場合（所定の車両走行状態にない場合（車速閾値よりも低速側）や操作者が運転者でない場合）に表示許可モードが固定的に設定される実施形態であったが、車両が所定の車両走行状態であり、なおかつ操作者が運転者である場合に表示禁止モードが固定的に設定され、車両が所定の車両走行状態ではなく、なおかつ操作者が運転者である場合に上記表示モード切替制御が実施され、それ以外の場合（操作者が運転者でない場合）には、表示許可モードが固定的に設定される実施形態としてもよい。
【０２４１】
以下、本発明の第十実施形態について説明する。
【０２４２】
上記実施形態においては、手画像撮影手段をなすカメラ１２ｂは、タッチパネル１２ａのタッチ操作面（表面）１２ａ１と対向する車室内の固定領域を撮影するカメラであって、上記実施形態のように、タッチパネル１２ａの裏面１２ａ２側から撮影する構成を有している。ところが、本発明は、このような構成に限られるものではない。例えば、図２７に示すように、車両のセンターコンソール部Ｃにタッチパネル１２ａのタッチ操作面１２ａ１を斜め上側から撮影するように取り付けて、当該タッチ操作面１２ａ１に接近する接近物を、タッチ操作面１２ａ１側から撮影するように構成してもよい。この場合、上記した実施形態とは異なり、撮影画像内の特定の画像（例えば手画像）を抽出して表示部１５に表示する際には、画像を左右反転する処理を省略できる。また、手画像撮影手段をなすカメラ１２ｂは、操作パネル１２ａのタッチ操作面１２ａ１を含むその周辺領域を撮影するカメラ２０に兼用させてもよい。
【０２４３】
以下、本発明の第十一実施形態について説明する。
【０２４４】
上記実施形態のうち、表示装置１５に表示されるあらゆる操作画面において、上記のような表示モード切替制御を実行する構成のものについては、予め定められた操作画面においてのみ表示モード切替制御を実行し、それ以外の操作画面では、表示許可モード、あるいは表示禁止モードに固定的に設定されるようにしてもよい。
【０２４５】
表示装置１５は、制御回路１８からの制御指令に基づいて、タッチ操作面１２ａ１への押圧操作による入力が受け付けられる複数の操作画面２００を、表示画面上において切り替えることができる（操作画面表示手段）。例えば、図６５に示すようなメニュー選択画面２００３や図６６に示すようなカーエアコンの風量設定画面２００４、図６７に示すようなカーオーディオのボリューム設定画面２００５、さらには、既に述べたカーナビゲーションの地図表示画面２００２（図５（ｃ））や文字入力画面２００１（図４（ｃ））等を、様々な入力に応じて切り替えて表示することができる。これら複数の操作画面のうち上記表示モード切替制御の実行対象とされる操作画面の特定を可能とする表示モード実行可否情報を、制御回路１８の所定の記憶領域（表示モード実行可否情報記憶手段）に予め記憶しておき、制御回路１８は、位置指示画像表示処理を実施するに際して、表示モード実行可否情報を参照し、これに基づいて、表示装置１５により表示される操作画面が上記のような表示モード切替制御の実行対象であると特定される場合に限り、特定された操作画面にて該表示モード切替制御を実行するように構成する。以下、その具体的な処理の流れを、図６４を用いて説明する。
【０２４６】
Ｓ６１では、制御回路１８が、操作者の手の画像を取得したか否かを判定する。これは図５２のＳ１の処理と同様である。操作者の手の画像が取得された場合はＳ６２に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。
【０２４７】
Ｓ６２では、制御回路１８が、現在表示中の操作画面２００の種別を特定し、予め定められた、表示モード切替制御の実行対象であるか否かを特定する。ここでは、制御回路１８の所定記憶領域に記憶される上記表示モード実行可否情報にて、操作画面のうち、タッチ操作面１２ａ１への押圧操作が予め定められた操作負担レベルを上回る操作を含む複雑操作画面が表示モード切替制御の実行対象と定められ、タッチ操作面１２ａ１への押圧操作が当該操作負担レベルを上回らない操作のみからなる簡易操作画面が表示許可モードの固定設定対象と定められている。制御回路１８が当該表示モード実行可否情報を参照することにより、現在表示されている操作画面２００が表示モード切替制御の実行対象であるか否かを特定する。
【０２４８】
なお、表示モード実行可否情報は、以下のように画面種別を分類した情報として記憶することができる。即ち、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像（あるいは当該操作入力画像（操作アイコン）２００Ｉに対応してタッチ操作面１２ａ１上に定められる全ての押圧操作領域）の、画面全体（あるいは該タッチ操作面１２ａ１の全領域）に対し占める割合ＳＩ／ＳＡが、予め定められた割合Ｓ０を上回る操作画面を定め、上回らない操作画面を簡易操作画面として定めることができる（図７２の例１）。また、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像（あるいは当該操作入力画像に対応してタッチ操作面１２ａ１上に定められる押圧操作領域）２００Ｉの数ＫＩが予め定められた数Ｋ０を上回る操作画面を定め、上回らないものを簡易操作画面として定めることもできる（図７２の例２）。また、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像２００Ｉ間の間隔（あるいは当該操作入力画像に対応してタッチ操作面１２ａ１上に定められる隣接する押圧操作領域間の間隔）ＬＩが、予め定められた間隔Ｌ０よりも狭い操作画面を定め、上回らない操作画面を簡易操作画面として定めることもできる（図７２の例３）。ここでは、図６５〜図６７、さらには図５（ｃ）に示すような画面２００１，２００３，３００４，２００５が簡易操作画面、図４（ｃ）に示すような文字入力画面２００２（例えば目的地名称入力画面等）が複雑操作画面として定められている。
【０２４９】
Ｓ６４にて、制御回路１８が、上記複雑操作画面及び簡易操作画面を特定可能な表示モード実行可否情報を参照して、現在表示されている操作画面２００が表示モード切替制御の実行対象（ここでは複雑操作画面）であるか否かを特定するとＳ６３に進む。Ｓ６３にて、現在表示中の操作画面２００が表示モード切替制御の実行対象であると判定された場合にはＳ６９に進み、表示モード切替制御の実行対象でないと判定された場合にはＳ６６に進む。
【０２５０】
Ｓ６４では、操作者の手（操作手）が、予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを特定する（図５２のＳ２と同様の処理）。続くＳ６５にて、現在の指状態が予め定められた所定指状態であると判定された場合はＳ６６に進み、予め定められた所定指状態でないと判定された場合はＳ６９に進む。
【０２５１】
Ｓ６６では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路１８の所定記憶領域（表示モード記憶部）に記憶される。続くＳ６７では、制御回路１８が、表示装置１５の表示画面２００と、撮影された手との位置関係を特定する（図５２のＳ５と同様）。続くＳ６８では、表示装置１５の表示画面２００において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示手段：図５２のＳ６と同様）。
【０２５２】
具体的にいえば、Ｓ６２にて、現在表示中の操作画面２００が表示モード切替制御の実行対象でないと判定された場合（ここでは簡易操作画面であると特定された場合）には、Ｓ６７及びＳ６８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図４、図５、図５１の（ｃ）参照）、Ｓ６２にて、現在表示中の操作画面２００が表示モード切替制御の実行対象であると判定された場合（ここでは複雑操作画面であると特定された場合）には、Ｓ６７及びＳ６８の処理により、操作者が行っている操作意思表示用指状態に基づく位置指示画像２００Ｈが表示される（図５及び図５１の（ｃ）参照）。
【０２５３】
他方、Ｓ６５にて、現在の指状態が予め定められた所定指状態でないと判定された場合はＳ６９に進む。Ｓ６９では、表示モードを、位置指示画像２００Ｈの表示が禁止される表示禁止モードに設定し、これを制御回路１８の所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ６７及びＳ６８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面２００には、例えば図５４（ｃ）に示すように、位置指示画像２００Ｈが表示されない。
【０２５４】
Ｓ６８及びＳ６９の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。
【０２５５】
なお、図６４の処理においては、複雑操作画面において上記表示モード切替制御が実施され、簡易操作画面において表示許可モードが固定的に設定される実施形態であったが、複雑操作画面において表示禁止モードが固定的に設定され、簡易操作画面において上記表示モード切替制御が実施される実施形態としてもよい。
【０２５６】
以下、本発明の第十二実施形態について説明する。
【０２５７】
上記第二ないし第十一実施形態においては、操作者の指状態として予め定められた所定指状態を特定した場合に、予め定められた表示許可期間の間だけ上記第一実施形態における位置指示画像２００Ｈの強調表示を実施する一方で、それ以外の場合には、位置指示画像２００Ｈの表示をしないような構成とされており、その所定指状態として操作意思表示用指状態が定められていたが（図７３の例１）、他の特徴的な指状態でもよいし、簡易操作用指状態（操作を簡易に行うことができる指状態（特定の数又は種別の指が伸びた状態）：図７３例２）であってもよい。
【０２５８】
以下、他の実施形態の実施形態について説明する。
【０２５９】
また、上記した実施形態においては、位置指示画像２００Ｈとして、撮影された指の輪郭形状をそのまま反映させた加工画像（実指画像）２００Ｈを表示しているが、撮影された指の指先Ｑ（即ち撮影された指の指示位置）を指し示す指先位置画像（ポインタ等：図５０参照）２００Ｈ２のように、指形状とは全く異なる画像を表示してもよい。強調表示を行うのであれば、指先Ｑを含む指先領域（例えば、指の第一関節までや、指先位置Ｑを中心とする所定半径内領域等）だけを強調して表示してもよい。この場合は、撮影された指の指先Ｑが、表示画面上のどの位置に対向するのかを特定して、特定された画面位置にポインタ等の所定の位置指示画像を表示する。また、位置指示画像２００Ｈとして、撮影された指の長さ方向Ｆ及び指先Ｑを簡略的に示す擬似指画像（ここでは棒状の画像：図４９参照）２００Ｈ１等を表示してもよい。
【０２６０】
また、上述した第一実施形態における操作対象指Ｐを、既に述べた簡易操作指状態において特定される指と一致するように構成してもよい。
【０２６１】
また、上記実施形態においては、本発明の遠隔操作部としてタッチパネルを設けて構成しているが、プッシュスイッチやシーソースイッチ等の押圧操作を伴うスイッチを備える操作部であってもよい。また、上記実施形態においては、操作パネル１２ａとして抵抗膜式のタッチパネルを用いているが、他の方式のタッチパネルを用いてもよい。
【０２６２】
また、操作パネル１２ａとして、タッチ操作の位置検出を、カメラ等の撮影手段により撮影された撮影画像への画像処理により行うものを、タッチパネルに代わって採用してもよい。具体的にいえば、操作パネル１２ａを、表面１２ａ１がタッチ操作面をなす透光性を有したパネルとし、この操作パネル１２ａにタッチ操作面１２ａ１側から接近する接近対象物に予め定められた波長帯の光を、当該操作パネル１２ａを介して照射する光源１２ｃを設ける。そして、手画像撮影手段をなすカメラ１２ｂを、少なくともその光源１２ｃから照射された光が接近対象物にて反射した反射光を捉える形で、当該接近対象物を操作パネル１２ａ１の裏面１２ａ２側から撮影する撮影手段とする。さらに、制御回路１８を、このカメラ１２ｂにより撮影された画像上において、反射光の強度が予め定められた閾強度を上回る光反射領域を特定する光反射領域特定手段として機能させるとともに、特定されたこの光反射領域に基づいて、当該光反射領域へのタッチ入力を受け付ける入力受付手段としても機能させるように構成する。
【０２６３】
この構成によると、カメラ１２ｂの撮影画像に予め定められた閾強度を上回る光反射領域が特定された場合に、その特定された領域にタッチ操作入力があったと判定して、入力が受け付けられる。つまり、カメラ１２ｂの撮影画像は、上記した実施形態と同様に位置指示画像の表示に利用されるだけでなく、光反射領域の特定にも利用されるように構成されている。また、この場合、特定された前記光反射領域の面積が予め定められた閾面積を上回った場合に、当該光反射領域へのタッチ操作入力を受け付けるようにすることもできる。
【０２６４】
なお、上記した各実施形態について、各要素を組み合わせて実施することももちろん可能である。
【符号の説明】
【０２６５】
１０ 車両用ナビゲーション装置
１２ 操作情報入力部（遠隔操作部）
１２ａ 操作パネル
１２ｂ カメラ（手画像撮影手段）
１２ｃ 光源
１５ 表示装置（表示手段）
１５ａ タッチパネル
１８ 制御回路（入力受付手段、位置指示画像表示手段、簡易操作用指状態特定手段、操作入力制御手段、表示モード設定手段、操作者特定手段、走行状態特定手段、位置指示画像強調表示手段、指特定手段、操作対象指指定手段、指先特定手段、指定指情報取得手段）
１８ａ 画像処理部
２０ カメラ
３０ 車速センサ
４０ カメラ
４１，４２ カメラ
５０ 車両内ＬＡＮ
１００ ＥＣＵ
１５０ 撮影画像
２００Ｂ メイン画像
２００Ｉ スイッチ画像（操作アイコン）
２００Ｈ 位置指示画像（手画像）
Ｈ 接近対象物（手・指）
【特許請求の範囲】
【請求項１】
表示画面を有した表示手段と、前記表示画面への操作を遠隔的に行うための遠隔操作面を有した遠隔操作部とを備える表示装置において、前記遠隔操作部の手前側にて指が対向するに伴い当該指位置に対応する前記表示画面上の画面位置に、背景をなす画像に合成ないしは重畳する形で、位置指示画像を表示する表示方法であって、
前記遠隔操作部の手前側で対向する手において指を特定する指特定ステップと、
特定された前記指から前記遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指を指定する操作対象指指定ステップと、
前記表示画面上の背景画像に合成ないしは重畳する形で、特定された前記指の指示位置を示す前記位置指示画像を表示する表示ステップであって、表示される前記位置指示画像のうち、指定された前記操作対象指に対応する位置指示画像を、当該操作対象指とは異なる指に対応する位置指示画像よりも相対的に強調する強調表示にて行う位置指示画像強調表示ステップと、
を有することを特徴とする表示方法。
【請求項２】
前記指特定ステップは、前記手から指先を特定する指先特定ステップであり、当該指先を特定する形で前記指が特定されるステップとされている請求項１記載の表示方法。
【請求項３】
前記操作対象指指定ステップは、前記操作対象指として１本の指を指定するものである請求項１又は請求項２に記載の表示方法。
【請求項４】
前記操作対象指指定ステップは、前記操作対象指として２本又は３本の指を指定するものである請求項１又は請求項２記載の表示方法。
【請求項５】
前記指特定ステップにより特定された指の形状に係る指形状情報を指定指情報として取得する指定指情報取得ステップを有し、
前記操作対象指指定ステップは、取得された指形状情報に基づいて、前記指特定ステップにより特定された指のうち、当該指の形状に係る予め定められた選定条件に最も適する前記指形状情報を有した指を優先して前記操作対象指として指定するものである請求項１ないし請求項４のいずれか１項に記載の表示方法。
【請求項６】
前記指定指情報取得ステップは、前記指特定ステップにより特定された指同士の、前記遠隔操作面方向における長さ関係を反映した指長情報を前記指形状情報として取得するものであり、
前記操作対象指指定ステップは、取得された指長情報に基づいて、前記指特定ステップにより特定された指のうち、当該指長情報に係る予め定められた選定条件に適する指を優先して前記操作対象指として指定するものである請求項５記載の表示方法。
【請求項７】
前記指定指情報取得ステップは、前記指特定ステップにより特定された指同士の、前記遠隔操作面方向における幅の関係を反映した指幅情報を前記指形状情報として取得するものであり、
前記操作対象指指定ステップは、取得された指幅情報に基づいて、前記指特定ステップにより特定された指のうち、当該指幅情報に係る予め定められた選定条件に適する指を優先して前記操作対象指として指定するものである請求項５記載の表示方法。
【請求項８】
前記指特定ステップにより特定された指同士の、前記遠隔操作面方向における位置関係に係る位置関係情報を指定指情報として取得する指定指情報取得ステップを備え、
前記操作対象指指定ステップは、取得された該位置関係情報に基づいて、前記指特定ステップにより特定された指のうち、当該位置関係に係る予め定められた選定条件に最も適する前記位置関係情報を有した指を優先して前記操作対象指として指定するものである請求項１ないし請求項４のいずれか１項に記載の表示方法。
【請求項９】
請求項２記載の要件を備え、
前記指定指情報取得ステップは、前記指先特定ステップにより特定された前記指先を前記遠隔操作部との対向方向に投影し、その投影面上の予め定められた位置に１本の軸を設定して一次元の座標系を定め、投影された該指先の当該座標系における座標値を特定し、当該座標値を反映した軸座標情報を前記位置関係情報として取得するものであり、
前記操作対象指指定ステップは、取得された該軸座標情報に基づいて、前記指特定ステップにより特定された指のうち、当該軸座標情報に係る予め定められた選定条件に対し適する指を優先して前記操作対象指として指定するものである請求項８記載の表示方法。
【請求項１０】
請求項２記載の要件を備え、
前記指定指情報取得ステップは、前記指先特定ステップにより特定された指先を前記遠隔操作部との対向方向に投影し、その投影面上の予め定められた領域に設定される基準領域と投影された指先との間の距離を反映した距離情報を前記位置関係情報として取得するものであり、
前記操作対象指指定ステップは、取得された該距離情報に基づいて、前記指特定ステップにより特定された指のうち、当該距離情報に係る予め定められた選定条件に対し適する指を優先して前記操作対象指として指定するものである請求項８記載の表示方法。
【請求項１１】
前記指特定ステップにより特定された指同士の、前記遠隔操作面への接近距離関係を反映した接近距離情報を指定指情報として取得する指定指情報取得ステップと、
前記操作対象指指定ステップは、取得された該接近距離情報に基づいて、前記指特定ステップにより特定された指のうち、前記遠隔操作面に対し近い指先の指ほど優先して前記操作対象指として指定するものである請求項１ないし請求項４のいずれか１項に記載の表示方法。
【請求項１２】
前記遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を前記遠隔操作面の裏側から撮影手段により撮影する撮影ステップを有し、
前記指定指情報取得ステップは、前記撮影手段により撮影された手の画像の輝度を前記接近距離情報として取得するとともに、
前記操作対象指指定ステップは、前記指特定ステップにより特定された指のうち、前記指先特定手段により特定された指先の前記輝度が最も高い指ほど優先して前記操作対象指として指定するものであるである請求項１１記載の表示方法。
【請求項１３】
前記遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を前記遠隔操作面の裏側から撮影手段により撮影する撮影ステップを有し、
前記指定指情報取得ステップは、前記撮影ステップによる撮影画像に基づいて前記指定指情報を取得するものである請求項５ないし請求項１２のいずれか１項に記載の表示方法。
【請求項１４】
前記遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を前記遠隔操作面の裏側から撮影手段により撮影する撮影ステップを有し、
前記指特定ステップは、撮影された前記手の画像から前記指を特定するものである請求項１ないし請求項１３のいずれか１項に記載の表示方法。
【請求項１５】
前記遠隔操作面に接近する手を前記遠隔操作面の裏側から撮影手段により撮影する撮影ステップを有し、前記位置指示画像を表示する表示ステップでは、撮影された手の画像に基づいて生成された位置指示画像を表示するものである請求項１ないし請求項１４のいずれか１項に記載の表示方法。
【請求項１６】
前記遠隔操作部は、前記遠隔操作面がタッチ操作面をなすとともに当該タッチ操作面へのタッチ操作の有無及びタッチ位置を検出するタッチ操作部であり、
前記操作対象指指定ステップは、前記指特定ステップにより特定された指のうち、前記タッチ操作面へのタッチ操作を行った指を前記操作対象指として指定するものである請求項１ないし請求項４のいずれか１項に記載の表示方法。
【請求項１７】
前記位置指示画像強調表示ステップは、前記強調表示を、所定時間をかけて段階的に強調レベルを変化させる形で行うものである請求項１ないし請求項１６のいずれか１項に記載の表示方法。
【請求項１８】
前記位置指示画像強調表示ステップは、前記強調表示として、該強調表示の開始時においては、前記操作対象指に対応する前記位置指示画像と、該位置指示用指とは異なる指に対応する前記位置指示画像とを強調レベルを同じ状態にして表示するとともに、該強調表示の開始から時間が経過するに従い前記操作対象指に対応する前記位置指示画像の相対的な強調レベルが段階的に増すように変化する表示を実行するものである表示される請求項１７記載の表示方法。
【請求項１９】
前記位置指示画像強調表示ステップは、前記操作対象指指定ステップにより前記操作対象指が指定されるに伴い前記相対強調表示を開始するものである請求項１７又は請求項１８の表示方法。
【請求項２０】
前記位置指示画像強調表示ステップは、前記操作対象指指定ステップにより前記操作対象指が指定されてから所定時間経過した後に、前記相対強調表示を開始するものである請求項１７又は請求項１８の表示方法。
【請求項２１】
前記遠隔操作面に対向する手の画像を撮影する手画像撮影ステップを備え、
前記指特定ステップは、撮影された手の画像に基づいて、前記遠隔操作面に対向する手の指を特定するものであり、
前記位置指示画像強調表示ステップは、特定された手の指の輪郭が少なくとも特定可能となる実指画像を、撮影された手の画像に基づいて生成し、生成された実指画像を前記位置指示画像として表示するものである請求項１ないし請求項２０のいずれか１項に記載の表示方法。
【請求項２２】
前記位置指示画像強調表示ステップは、指の延びる方向が少なくとも特定可能となる擬似指画像、又は、指の指先位置が少なくとも特定可能となる指先位置画像のいずれかを前記位置指示画像として表示するものである請求項１ないし請求項２０のいずれか１項に記載の表示方法。
【請求項２３】
前記強調表示は、前記位置指示画像の輪郭線に対してなされるものである請求項１ないし請求項２２のいずれか１項に記載の表示方法。
【請求項２４】
前記強調表示は、前記位置指示画像の表示色を変える形でなされるものである請求項１ないし請求項２２のいずれか１項に記載の表示方法。
【請求項２５】
前記強調表示は、前記位置指示画像の表示色の濃淡を変える形でなされるものである請求項１ないし請求項２２のいずれか１項に記載の表示方法。
【請求項２６】
前記強調表示は、前記位置指示画像の形状を変える形でなされるものである請求項１ないし請求項２２のいずれか１項に記載の表示方法。
【請求項２７】
前記強調表示は、前記位置指示画像の透過度を変える形でなされるものである請求項１ないし請求項２２のいずれか１項に記載の表示方法。
【請求項２８】
前記強調表示は、前記位置指示画像を点滅表示する形でなされるものである請求項１ないし請求項２２のいずれか１項に記載の表示方法。
【請求項２９】
前記操作対象指指定ステップにて前記操作対象指が指定された後、当該操作対象指に指定された指の移動を追跡する操作対象指追跡ステップを有し、
前記操作対象指指定ステップは、前記操作対象指追跡ステップによる追跡結果に基づいて、前記操作対象指に指定された指と同一の指を継続的に前記操作対象指として指定するものである請求項１ないし請求項２８のいずれか１項に記載の表示方法。
【請求項３０】
前記指特定ステップは、前記遠隔操作部の手前側にて予め定められている指特定可能範囲内に存在する前記手の指を、所定時間間隔にて順次特定とするものであり、
前記指特定ステップにより順次特定される前記指ごとの位置情報を取得し、当該位置情報を追跡情報として予め定められた追跡情報記憶部に記憶することにより、前記指特定ステップにより順次特定される指の移動を指ごとに追跡する指追跡ステップを有し、
前記操作対象指追跡ステップは、前記指追跡ステップにより記憶される指ごとの追跡情報から前記操作対象指の追跡情報を特定し、当該操作対象指の追跡情報に基づいて、当該操作対象指に指定された指の移動を追跡するものである請求項２９記載の表示方法。
【請求項３１】
前記指追跡ステップは、前記指特定ステップ毎に前記追跡情報を記憶している追跡中の各指が、次回の前記指特定ステップにて位置すると推定される次回位置を、対応する前記追跡情報に基づいて算出する次回位置推定ステップを有し、当該次回位置推定ステップにて算出される前記追跡中の各指の前記次回位置と、次回の前記指特定ステップにて実際に特定される各指の実位置との位置関係が、予め定められた基準条件を満たすペアを特定するとともに、当該ペアの一方である前記追跡中の指と前記指特定ステップにて実際に特定された指とは互いを同一の指と判断し、当該追跡中の指が同一と判断された実際に特定された指の位置に移動したものとして、当該指の移動追跡を継続するものである請求項３０記載の表示方法。
【請求項３２】
前記追跡情報は、複数回の前記指特定ステップにより特定された対応する前記追跡中の指の各位置情報を含むことが可能であり、
前記次回位置推定ステップは、当該各位置情報に基づいて、対応する追跡中の指の前記次回位置を算出するものである請求項３１記載の表示方法。
【請求項３３】
前記次回位置推定ステップは、前記追跡情報に、前回及び前々回の前記指特定ステップにより特定された対応する前記追跡中の指の各位置情報が含まれる場合には、それら双方の位置情報に基づいて、当該追跡中の指の前記次回位置を算出する一方で、前記追跡情報に、前回の前記指特定ステップにより特定された対応する前記追跡中の指の位置情報が含まれ、前々回の前記指特定ステップにより特定された対応する前記追跡中の指の位置情報が含まれていない場合には、前回の前記指特定ステップにより特定された際の前記位置情報と、当該位置情報が示す位置に近接する前記指特定可能範囲の縁部の位置とに基づいて、当該追跡中の指の前記次回位置を算出するものである請求項３２記載の表示方法。
【請求項３４】
前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に実際に特定された指とは前記基準条件を満たさなかった前記追跡中の指がある場合には、当該追跡中の指を追跡不可の指として認識を切り替えるとともに、追跡不可と認識されたときの当該指に係る情報を追跡復帰判断情報として、予め定められた追跡復帰判断情報記憶部に記憶し、
さらに前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指がある場合には、記憶されている前記追跡復帰判断情報に基づいて、実際に特定された当該指が過去に追跡不可と認識された指と同一であるか否かを判断し、同一であると判断された場合には、当該追跡復帰判断情報に対応する追跡不可とされていた指が、実際に特定された当該指の位置に再出現したと認識して、当該指の移動追跡を再開する一方で、同一ではないと判断された場合には、実際に特定された当該指が新規出現した指であると認識して、当該指の移動追跡を新たに開始するものである請求項３１ないし請求項３３のいずれか１項に記載の表示方法。
【請求項３５】
前記追跡情報には、少なくとも前記指特定ステップにより特定された指の最新の位置情報が含まれており、前記追跡復帰判断情報にも、対応する指が追跡不可と認識される前の最後の位置情報が含まれている請求項３４記載の表示方法。
【請求項３６】
前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されており、なおかつ前記追跡復帰判断情報記憶部に、複数の指の追跡復帰判断情報が記憶されている場合には、実際に特定された当該指の位置情報と、それら前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とに基づいて、実際に特定された当該指に最も近い位置を示す前記位置情報を含む前記追跡復帰判断情報に対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定するものである請求項３５記載の表示方法。
【請求項３７】
前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されている場合に、実際に特定された当該指の位置情報と、前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とが示すそれぞれの位置間の距離が、予め定められた基準距離を下回る場合には、実際に特定された当該指と当該追跡復帰判断情報に対応する追跡不可とされている指とを同一と認識することを許可する一方で、前記基準距離を下回らない場合には、実際に特定された当該指と当該追跡復帰判断情報に対応する追跡不可とされている指とを同一と認識することを禁止するものである請求項３５又は請求項３６に記載の表示方法。
【請求項３８】
前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に実際に特定された指とは前記基準条件を満たさなかった前記追跡中の指があり、当該追跡中の指が追跡不可と認識された場合には、追跡不可と認識されたときの当該指に係る情報と共に、他の追跡不可の指との追跡不可認識時期の前後関係が特定可能となる追跡不可認識順序を、追跡復帰判断情報として前記追跡復帰判断情報記憶部に記憶し、
さらに前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されており、なおかつ前記追跡復帰判断情報記憶部には、複数の指の追跡復帰判断情報が記憶されている場合には、実際に特定された当該指の位置情報と、それら前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とに基づいて、実際に特定された当該指に最も近い位置を示す前記位置情報を含む前記追跡復帰判断情報を特定するとともに、当該追跡復帰判断情報が１つ特定される場合には、当該追跡復帰判断情報に対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定する一方で、当該追跡復帰判断情報が２以上特定される場合には、それら追跡復帰判断情報に含まれる前記追跡不可認識順序を参照して、それら追跡復帰判断情報のうち前記追跡不可認識時期が最も新しいものに対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定するものである請求項３５ないし請求項３７のいずれか１項に記載の表示方法。
【請求項３９】
前記追跡復帰判断情報は、対応する指が追跡不可と認識される際に、前記追跡情報記憶部に記憶されていた当該指の前記追跡情報である請求項３５ないし請求項３８のいずれか１項に記載の表示方法。
【請求項４０】
前記指追跡ステップは、前記指特定ステップにより指が特定され、なおかつ特定された当該指が新規出現の指として認識した際には、当該新規の指に対し新たな識別情報を付与するとともに、当該識別情報に対応付けた形で、各指の前記追跡情報を前記追跡情報記憶部に記憶するものである請求項３０ないし請求項３９のいずれか１項に記載の表示方法。
【請求項４１】
請求項３５ないし請求項３９のいずれか１項に記載の要件を備え、
前記指追跡ステップは、前記識別情報が付与されている前記追跡中の指を追跡不可の指として認識した際には、当該指の前記識別情報に前記追跡復帰判断情報を対応付けた形で前記追跡復帰判断情報記憶部に記憶するものである請求項３９記載の表示方法。
【請求項４２】
前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に、前記追跡情報記憶部に記憶された前記追跡情報と、さらには前記追跡復帰判断情報記憶部に記憶された前記追跡復帰判断情報とに基づいて、当該指特定ステップにより実際に特定された指が前記追跡中の指であるか否か、さらには追跡不可の指であるか否かを、前記識別情報が付された指ごとに判定し、その判定結果を追跡状況として前記識別情報に対応付けた形で、予め定められた追跡状況記憶部に記憶するものである請求項４１記載の表示方法。
【請求項４３】
前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に、指が特定されなかった場合には、前記識別情報及び当該識別情報に対応付けて記憶される各種情報を消去し、初期化するものとできる請求項４０ないし請求項４２のいずれか１項に記載の表示方法。
【請求項４４】
請求項１ないし請求項４３のいずれか１項に記載の表示方法における各ステップを実現する手段を備えてなることを特徴とする表示装置。
【請求項４５】
請求項４４に記載の表示装置を備えるとともに、
前記表示画面は、機器の操作などを行うための画面であり、前記遠隔操作面は、前記表示画面とは異なる位置に設けられ、当該表示画面における操作入力を遠隔的に行うための操作面であって、前記表示手段と、前記遠隔操作部と、前記遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付手段と、前記遠隔操作面に対向する手の画像を撮影する手画像撮影手段と、当該手により位置指示された前記表示画面上の位置に前記撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像強調表示手段と、を備えることを特徴とする操作入力装置。
【請求項４６】
前記機器は車載搭載機器であり、前記表示画面は運転者よりも車両前方側にて該運転者により視認可能に配置され、前記遠隔操作面は、前記表示画面よりも運転者に近い位置に設けられている請求項４５記載の操作入力装置。
【図１】
image rotate

【図２】
image rotate

【図３】
image rotate

【図４】
image rotate

【図５】
image rotate

【図６】
image rotate

【図７】
image rotate

【図８】
image rotate

【図９】
image rotate

【図１０】
image rotate

【図１１】
image rotate

【図１２】
image rotate

【図１３】
image rotate

【図１４】
image rotate

【図１５】
image rotate

【図１６】
image rotate

【図１７】
image rotate

【図１８】
image rotate

【図１９】
image rotate

【図２０】
image rotate

【図２１】
image rotate

【図２２】
image rotate

【図２３】
image rotate

【図２４】
image rotate

【図２５】
image rotate

【図２６】
image rotate

【図２７】
image rotate

【図２８】
image rotate

【図２９】
image rotate

【図３０】
image rotate

【図３１】
image rotate

【図３２】
image rotate

【図３３】
image rotate

【図３４】
image rotate

【図３５】
image rotate

【図３６】
image rotate

【図３７】
image rotate

【図３８】
image rotate

【図３９】
image rotate

【図４０】
image rotate

【図４１】
image rotate

【図４２】
image rotate

【図４３】
image rotate

【図４４】
image rotate

【図４５】
image rotate

【図４６】
image rotate

【図４７】
image rotate

【図４８】
image rotate

【図４９】
image rotate

【図５０】
image rotate

【図５１】
image rotate

【図５２】
image rotate

【図５３】
image rotate

【図５４】
image rotate

【図５５】
image rotate

【図５６】
image rotate

【図５７】
image rotate

【図５８】
image rotate

【図５９】
image rotate

【図６０】
image rotate

【図６１】
image rotate

【図６２】
image rotate

【図６３】
image rotate

【図６４】
image rotate

【図６５】
image rotate

【図６６】
image rotate

【図６７】
image rotate

【図６８】
image rotate

【図６９】
image rotate

【図７０】
image rotate

【図７１】
image rotate

【図７２】
image rotate

【図７３】
image rotate

【公開番号】特開２０１０−１４０４５８（Ｐ２０１０−１４０４５８Ａ）
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願番号】特願２００９−２１００３（Ｐ２００９−２１００３）
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】

[ Back to top ]