操作入力装置
【課題】入力ミスを防止できる操作入力装置を提供すること。
【解決手段】ステップ１００にて、メニュー画像を取得する。ステップ１１０では、カメラ画像から手指領域を抽出する。ステップ１２０では、手指領域を用い、差分画像を利用する手法により、指先領域を抽出する。ステップ１３０では、重心及びそのオフセットを利用する手法により、指先領域から指先位置を検出する。ステップ１４０では、指先位置をメニュー画像に表示する。それとともに、半透明の指先画像をメニュー画像に重ねて表示する。ステップ１５０では、各指先位置に対応する（一致する）操作ボタン２１を検索する。ステップ１６０では、指先位置に対応する操作ボタン２１を強調表示する。
【解決手段】ステップ１００にて、メニュー画像を取得する。ステップ１１０では、カメラ画像から手指領域を抽出する。ステップ１２０では、手指領域を用い、差分画像を利用する手法により、指先領域を抽出する。ステップ１３０では、重心及びそのオフセットを利用する手法により、指先領域から指先位置を検出する。ステップ１４０では、指先位置をメニュー画像に表示する。それとともに、半透明の指先画像をメニュー画像に重ねて表示する。ステップ１５０では、各指先位置に対応する（一致する）操作ボタン２１を検索する。ステップ１６０では、指先位置に対応する操作ボタン２１を強調表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルを用いて入力が可能な操作入力装置に関する。
【背景技術】
【０００２】
従来より、カーナビ等の車載装置を操作する装置としてリモコンが知られているが、このリモコンの扱いにくさ（例えば手探りでリモコンを見つけて、手に持ち、ボタン入力することなど）を解決するために、各種の技術が提案されている。
【０００３】
例えば特許文献１には、タッチパネルの上部に設けた赤外光によるスキャニング機構によって、手がタッチパネルに接近したことを感知して、ディスプレイ上に操作メニューを表示するとともに、カメラによりタッチパネル上の手を撮影して、操作の様子を操作メニューに重畳させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２６９０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、操作者がタッチパネルへの指の接触点を把握し難いために、入力ミス（押し間違い）が生じるという問題があった。
また、タッチ入力されるまで、どこが入力されようとしているが分かり難く、その点からも、入力ミスが生じるという問題があった。
【０００６】
更に、例えばカーナビ操作の５０音検索のように、入力ボタンが多く、かつ、入力ボタンが小さくなると、一層指先とボタンとの位置が合わせ難く、入力ミスが発生し易いという問題もあった。
【０００７】
本発明は、上記点に鑑み、入力ミスを防止し、容易に入力が可能な操作入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）請求項１の発明は、指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、を備え、前記指先位置と前記メニュー画像の操作ボタンの位置との位置の対応関係を判定し、所定の位置の対応関係がある場合には、指先に対応する操作ボタンを強調表示することを特徴とする。
【０００９】
本発明では、指先位置とメニュー画像の操作ボタンの位置との位置の対応関係（位置関係）を判定し、指先に対応する操作ボタンがある場合には、その操作ボタンを強調表示する。
【００１０】
これによって、操作者は、タッチパネルのどの位置に指があるということを意識しなくとも、メニュー画像上にて（指先位置によって）強調表示された操作ボタンにより、指先がどの操作ボタンを操作できる状態にあるかを明確に認識することができる。これにより、入力ミスを防ぐことができる。
【００１１】
なお、指先位置と操作ボタンの位置との位置の対応付けは、指先位置と操作ボタンの位置とが一致する場合に限らず、指先位置が操作ボタンの所定範囲内にある場合に、一致したと見なして、強調表示するようにしてもよい。
【００１２】
なお、ここで指先位置とは、指先において、例えばメニュー画像等の操作画面上の操作ボタン等を操作するとされる位置であり、後述する様に、実際に、この指先位置に該当するタッチパネルの座標を指先でタッチするとは限らない。
【００１３】
（２）請求項２の発明は、前記メニュー画像上に前記指先位置を表示し、前記指先位置に最も近い前記メニュー画像の操作ボタンを対応させて強調表示することを特徴とする。
本発明では、メニュー画像上に指先位置を表示し、指先位置に最も近いメニュー画像の操作ボタンを対応させて強調表示する。これにより、表示画面にて強調表示された操作ボタンが指先位置と対応していることが分かるので、操作ボタンを瞬時にして把握することができる。
【００１４】
（３）請求項３の発明は、入力を受け付けている操作ボタンのみを強調表示することを特徴とする。
入力を受け付けている操作ボタンのみを強調表示することにより、どの操作ボタンが操作可能かを操作者に知らせることができる。
【００１５】
（４）請求項４の発明は、前記指先位置も前記手指領域画像に重畳表示することを特徴とする。
これにより、操作者は指先位置が分かるので、指をどの方向に動かせば良いかを容易に把握することができる。
【００１６】
（５）請求項５の発明は、前記強調表示とは、前記操作ボタンの色の変更、前記操作ボタンの文字表示の書式の変更、前記操作ボタンの枠の太さの変更、前記操作ボタンの立体的な表示状態の変更、前記操作ボタンの一部又は全体の大きさの変更、前記操作ボタンの明滅表示への変更、前記操作ボタンと指先との距離に対応した操作ボタンの明るさの変更のうち、少なくとも１種であることを特徴とする。
【００１７】
本発明は、強調表示する内容を例示したものである。
（６）請求項６の発明は、指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、を備え、前記メニュー画像上に前記指先位置を表示し、前記タッチパネルの入力が検出された場合には、当該検出した入力座標を、その入力座標に近接する前記表示装置における指先位置の座標に置き換える補正を行うことを特徴とする。
【００１８】
図３に示す様に、タッチパネルの座標と表示装置の表示画面の座標とは対応している。従って、タッチパネルでの入力座標が検出された場合には、表示画面においても対応する座標が定まる。
【００１９】
しかし、本発明では、メニュー画像上に指先位置を表示し、タッチパネルで（指での）入力を検出した場合には、検出した入力座標を、表示画像における座標とするのではなく、その座標に近接する（表示装置における）指先位置の座標に置き換える補正を行う。
【００２０】
つまり、タッチ入力があった場合には、実際にタッチパネルで検出された座標ではなく、指先位置の座標にて、（タッチパネルにて）入力されたと見なすのである。
これにより、タッチパネルでの入力位置にかかわらず、表示画面における指先（特に指先位置）や例えば強調表示された操作ボタンを認識していれば、どの操作ボタンを操作するのか或いは操作したかが分かるので、非常に便利である。
【００２１】
（７）請求項７の発明では、前記タッチパネルの入力座標が前記指先位置の座標から所定の範囲内にある場合に、前記補正の処理を行うことを特徴とする。
これにより、タッチパネルの入力座標と指先位置の座標が多少離れていても、その対応関係がある場合には、指先位置に対応する操作ボタンによる入力を行うことができる。
【００２２】
（８）請求項８の発明では、前記請求項１〜５のいずれか１項に記載の処理により、前記操作ボタンを強調表示することを特徴とする。
本発明では、操作ボタンの強調表示も行うので、操作が容易になる。
【００２３】
（９）請求項９の発明では、前記タッチパネルの入力が検出された場合には、前記強調表示された操作ボタンが操作されたとして処理することを特徴とする。
これにより、タッチパネルの入力位置にかかわらず、操作ボタンを操作したとして処理できるので、操作者は、表示画面のみを注目していればよく、操作が非常に容易になる。
【００２４】
（１０）請求項１０の発明は、指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、前記手指領域画像と表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、を備え、前記メニュー画像上に前記指先位置を表示し、前記メニュー画像の操作ボタンと前記指先位置との距離が所定範囲内のときに、前記タッチパネルの入力が検出された場合には、前記操作ボタンが操作されたとして処理することを特徴とする。
【００２５】
本発明では、メニュー画像上に指先位置を表示し、メニュー画像の操作ボタンと指先位置との距離が所定範囲内のとき（例えば一致したとき）に、タッチパネルの入力が検出された場合には、（指先位置が所定範囲内にある）操作ボタンが操作されたとして処理する。
【００２６】
よって、タッチパネルでの入力位置にかかわらず、表示画面における指先位置と操作ボタンとの位置関係を認識していれば、どの操作ボタンを操作するかが分かるので、非常に便利である。
【００２７】
（１１）請求項１１の発明は、前記指先位置検出部が、下記(1)〜(6)のいずれか１種の処理を行う指先位置検出部であることを特徴とする。
本発明は、利用できる指先位置検出部を例示したものである。以下、各処理に説明する。
【００２８】
(1)前記手指領域画像と該手指領域画像を指の付け根方向にずらした移動画像との差分の画像を、指先領域として求め、該指先領域を基準として指先位置を抽出する処理
ここでは、手指領域画像と（その手指領域画像を指の付け根方向にずらした）移動画像との差分の画像を、指先領域として求め、その指先領域を基準として指先位置を抽出している。従って、基本的に、撮影された指先の画像だけで、指先位置を抽出することが可能である。
【００２９】
また、この様にして画像上で指先位置を特定できれば、例えば指先位置を表示したり、その指先位置に対応する操作ボタンを強調表示することができるので、操作者がタッチパネルにおける指の接触点を把握し難くても、画面を見ればどの位置で操作ボタン等を操作するかが分かるため、入力ミス（押し間違い）を防止できるという効果がある。
【００３０】
更に、指先位置が分かれば、タッチ入力前に、どこが入力されようとしているが分かり易く、その点からも、入力ミスが生じにくいという効果がある。
しかも、例えばカーナビ操作の５０音検索のように、操作ボタンが多く、かつ、操作ボタンが小さくなった場合でも、画像上で指先位置が分かれば、指先と操作ボタンとの位置合わせが容易であり、この点からも、入力ミスを防止する効果が高いという利点がある。
【００３１】
(2)前記指先領域画像に対して収縮演算を行って、指先以外の領域を削除する処理
上述した様に差分の画像を取った場合でも、例えば指が傾いていた様な場合には、図１１に例示するように、指先以外の領域も抽出される可能性がある。その様な場合には、例えば全方向又は水平方向などの画素を削除する収縮演算によって、画像を収縮する。これによって、指先領域以外の例えば指の側方などの幅の狭い画像領域は削除されるので、指先のみを好適に抽出することができる。
【００３２】
(3)前記指先領域画像に対して平滑化処理を行って、指先以外の領域を削除する処理
前記(2)と同様に、例えば指が傾いていた様な場合には、指先以外の領域も抽出される可能性があるので、その様な場合には、平滑化処理を行うと、指先部分とそれ以外の部分の画像信号（例えばピクセル値）に差を付けることができる。よって、所定のピクセル値以上の部分のみを取り出すことにより、指先のみを好適に抽出することができる。
【００３３】
(4)前記指先領域の重心を、指先位置を抽出するための基準とする処理
指先領域の重心は、ほぼ指先領域の中央（即ち前記移動方向に沿って存在すると推定される指先位置に対応した位置）と考えることができる。よって、この重心を基準として指先位置を設定することが可能である。
【００３４】
(5)前記指先領域の重心から、所定距離だけ指の付け根方向にオフセットした位置を指先位置とする処理
上述した様に、指先領域の重心の前記移動方向（指の付け根方向）に、指先位置があると考えられるので、ここでは、そのように指先位置を設定している。
【００３５】
(6)前記タッチパネルの裏側からの撮影によって手指領域を抽出する場合には、前記指先領域と一致する指の実画像の領域において、最も明るい画素の座標を指先位置の基準点とする処理
図１３に例示するように（特願２００６−９７９２３号参照）、タッチパネルの下に照明装置や撮像装置を配置し、タッチパネルの下側から手指の位置を抽出する場合には、照明装置が下方にあるので、指先領域と一致する指先の実画像の領域において、最も明るい画素の座標が、（タッチパネルに触れる可能性の高い）指の腹に近い部分と思われる。よって、この座標を指先位置の基準点とすることができる。
【図面の簡単な説明】
【００３６】
【図１】第１実施形態の車載の操作入力装置の構成を示す説明図である。
【図２】操作入力装置の構成を示すブロック図である。
【図３】タッチパネルの座標と表示装置の表示画面の座標との関係を示す説明図である。
【図４】指先位置の検出方法を示す説明図である。
【図５】操作ボタンの強調表示が無い場合とある場合を比較して示す説明図である。
【図６】操作ボタンの表示状態の変化を示す説明図である。
【図７】指先位置の補正方法を示す説明図である。
【図８】メニュー画像の表示の処理を示すフローチャートである。
【図９】タッチ入力に対応した処理を示すフローチャートである。
【図１０】タッチ入力と指と操作ボタンとの関係を示す説明図である。
【図１１】第２実施形態における指先領域の抽出方法を示す説明図である。
【図１２】第２実施形態における指先領域の他の抽出方法を示す説明図である。
【図１３】タッチパネルの下側から手指を撮影して抽出する装置を示す説明図である。
【発明を実施するための形態】
【００３７】
次に、本発明の最良の形態（実施形態）について説明する。
［第１実施形態］
ａ）まず、本実施形態の操作入力装置の概略構成を説明する。
【００３８】
図１及び図２に示す様に、本実施形態の操作入力装置１は、例えばカーナビゲーション装置の入力装置として用いられるものであり、タッチパネル３と、タッチパネル３の表面を上方より撮影するカメラ（ビデオカメラ）５と、メニュー画像（メニュー画面）等を表示する表示装置（ディスプレイ）７と、それらを制御する制御部である電子制御装置９とを備えている。
【００３９】
前記タッチパネル３には、図３に示す様に、どこをタッチされたかが区別できるように、ＸＹ座標が設定されており、それに対応して、表示装置７の表示画面（例えばメニュー画像が表示されるメニュー画面）にも、同様にＸＹ座標が設定されている。
【００４０】
従って、通常は、例えばタッチパネル３にて、（１、１）座標がタッチされた場合には、表示装置７にても、それに対応した（１、１）座標に関する処理（例えばマーク等を表示する処理など）を行うことが可能である。
【００４１】
また、前記電子制御装置９は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどから構成されており、タッチパネル３からの信号（入力座標を示すタッチ信号）やカメラ５からの信号（画像信号）を入力し、それらの信号に基づいて、表示装置７に画像を表示する処理や、他の機器を操作する処理などを行う。
【００４２】
この電子制御装置９は、図２に機能的に表現する様に、カメラ画像から、タッチパネル３上に位置する手指の部分（手指領域）を画像として抽出する手指領域抽出部１１と、手指領域の画像（手指領域画像）に基づいて、指先位置を検出する指先位置検出部１３と、手指領域画像と表示装置７に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成（半透過合成）する画像合成部１５と、タッチパネル３からの信号を入力して、指先が触れた座標を求めるタッチパネル制御部と、タッチパネル制御部からの情報（タッチ入力情報）と指先位置を示す情報（指先位置情報）とに基づいて、各種の処理を行う操作制御部１９とを有している。
【００４３】
特に操作制御部１９では、後に詳述するように、タッチ入力情報と指先位置情報とに基づいて、メニュー画像のどの操作ボタン（メニューボタン）２１が操作されたかを表示したり、操作された操作ボタン２１に応じて、例えばカーナビのルート検索などの他の機能を実施したり、例えばエアコンやオーディオ等の他の機器を制御する処理などを行う。
【００４４】
ｂ）次に、電子制御装置９にて行われる特徴的な処理の手法について説明する。
(1)指先位置の検出方法
ここでは、指先位置検出部１３にて行われる処理の手順について説明するが、これは、カメラ５で撮影した画像から複数の指先（特に指先位置）を検出するものである。
【００４５】
図４に示す様に、まず、カメラ５で撮影した画像から手指領域画像Ａを抽出する。
次に、この手指領域画像Ａを指の根元方向（ここでは画面の下方向）に移動し、移動画像（手指領域画像Ｂ）を作成する。
【００４６】
次に、手指領域画像Ａと手指領域画像Ｂとの差分（Ａ−Ｂ）をとって、差分画像（指先領域画像Ｃ）を作成する。
次に、各指先の指先領域の重心Ｄ（同図の×印で示す基準点）を求める。
【００４７】
次に、重心Ｄから下方に所定量離れた位置を指先位置（同図の＋印で示す）とする。これにより、タッチパネル３の接触点（実際に指が触れる部分）付近に指先位置を補正する。これは、指の腹が最も出ている部分でタッチパネル３を押す可能性が高く、この部分は、指先から所定距離だけ根元側にあると考えられるからである。
【００４８】
次に、指先領域の画像（例えば輪郭強調しモデル化した半透過性の指の画像）を表示するとともに、それに重ね合わせて指先位置も表示する。よって、どの部分で操作ボタン２１等を操作するかを、乗員に分かりやすく示すことができる。
【００４９】
(2)指先に対応する操作ボタンの強調表示方法
・図５の（ａ）に示す様に、メニュー画像と半透過性の手指画像（手指領域画像Ａを半透過性とした画像）とを重ね合わせただけでは、指でどの操作ボタン２１を押すのかが区別し難い。
【００５０】
よって、本実施形態では、図５の（ｂ）に示す様に、半透過性の手指画像に重ねて指先位置を十印で示している。
また、指先位置と操作ボタン２１とが一致した場合には、その操作ボタン２１を強調表示する。ここでは、タッチ入力されていない場合でも、指先位置と操作ボタン２１の画像が一致すれば強調表示する。なお、図５の（ｂ）では、左下の「っ」は、入力を受け付けていないので、強調表示はしていない。
【００５１】
・次に、入力を受け付けていない場合などの表示状態の切り替えについて、更に説明する。
図６の左端の（ａ）に示す様に、指先位置が操作ボタン２１からずれている場合には、操作ボタン２１の強調表示をしない。
【００５２】
図６の（ｂ）の様に、指先位置が操作ボタン２１の「れ」と一致する場合には、「れ」は入力可能であるので、「れ」の操作ボタン２１を強調表示する。
図６の（ｃ）の様に、指先位置が操作ボタン２１の「゛」と一致する場合には、「゛」は入力不可であるので、「゛」の操作ボタン２１を強調表示しない。
【００５３】
図６の（ｄ）の様に、指先位置が操作ボタン２１の「む」と一致する場合には、「む」は入力可能であるので、「む」の操作ボタン２１を強調表示する。
更に、実際に、「む」を押したと見なされた場合には、図６の（ｅ）の様に、「む」を更に強く強調表示する。
【００５４】
(3)タッチパネルの入力補正方法
ペン入力では、ペン先による点での入力となり、高い精度でタッチパネル３に入力できるが、指先入力では、指の腹などにより面での入力となるため、タッチパネル３の検出座標にバラツキが生じる。
【００５５】
そこで、本実施形態では、タッチパネル３で検出した座標を、画像から検出した指先位置に合わせ込む処理を行う。つまり、タッチパネル３での入力があった場合には、タッチパネル３の座標ではなく、画像の指先位置の座標にて入力があったものとして処理するのである。
【００５６】
具体的には、図７（ａ）に示すように、＋印で示すように指先位置がある場合でも、実際のタッチ位置は、×印のようにズレがある。
そこで、図７（ｂ）に示す様に、タッチパネル３で検出した入力座標がｘ印であったとしても、＋印の指先位置の座標を入力座標として処理する（即ち入力座標を指先位置の座標に置き換える：合わせ込む）のである。
【００５７】
ｃ）次に、電子制御装置９にて行われる処理の内容について、フローチャートに基づいて説明する。
(1)表示装置７に表示するための処理
図８に示す様に、ステップ（Ｓ）１００にて、例えばＲＯＭ等から、メニュー画像を取得する。なお、この段階で、メニュー画像を表示装置７に表示してもよく、ステップ１００及び表示装置７への表示は、ステップ１４０及びステップ１６０より前に実行されていればよいため、ステップ１１０前に限定するものではない。
【００５８】
続くステップ１１０では、カメラ画像から手指領域を抽出する。
続くステップ１２０では、手指領域を用い、上述した差分画像を利用する手法により、指先領域を抽出する。
【００５９】
続くステップ１３０では、上述した重心及びそのオフセットを利用する手法により、指
先領域から指先位置を検出する。
続くステップ１４０では、指先位置をメニュー画像に表示する。それとともに、半透明の指先画像をメニュー画像に重ねて表示する。なお、このステップ１４０は、ステップ１５０又はステップ１６０の後に実行してもよい。
【００６０】
続くステップ１５０では、各指先位置に対応する（一致する）操作ボタン２１を検索する。なお、指先位置と操作ボタン２１の位置が一致しない場合でも、指先位置が操作ボタン２１から所定範囲内（例えば操作ボタン２１の中心や外周から所定範囲内）にあるときは、一致しているとみなすことができる。なお、このステップ１５０は、ステップ１３０とステップ１４０との間で実行してもよい。
【００６１】
続くステップ１６０では、指先位置に対応する操作ボタン２１を強調表示する。
その後、一旦本処理を終了する。
なお、ステップ１２０はステップ１１０の後、ステップ１３０はステップ１２０の後、ステップ１４０はステップ１３０の後、ステップ１５０はステップ１３０より後、ステップ１６０はステップ１５０より後、という条件が成り立つ範囲であれば、順序が入れ替わっても、並列実行されても構わない。
【００６２】
(2)タッチパネル３による操作入力に関する処理
・図９に示す様に、ステップ２００では、タッチ入力されたか否か、即ち、タッチパネル３に指による入力がなされたか否かを判定する。
【００６３】
ここで肯定判断されると、ステップ２１０で、タッチ入力された座標を取得する。
続くステップ２２０では、タッチ座標に対応する指先を選択する。例えばタッチ座標に最も近い指の指先位置を有する指先を、タッチ入力した指先として選択する。
【００６４】
続くステップ２３０では、タッチ座標を、選択された指先位置に置き換える補正を行う。つまり、指先位置の座標にてタッチ入力されたとして処理する。
続くステップ２４０では、タッチ入力されたと見なされた指先位置に、対応する操作ボタン２１があるか否かを判定する。ここで肯定判断されるとステップ２５０に進み、一方否定判断されるとステップ２６０に進む。
【００６５】
ステップ２５０では、指先位置と操作ボタン２１が一致しているので、その操作ボタン２１が操作されたとして、必要な処理を行う。例えば「あ」、「い」などの文字に入力、或いは、カーナビのルート検索などの処理等を行い、一旦本処理を終了する。
【００６６】
一方、ステップ２６０では、指先位置と操作ボタン２１が一致していないので、何も処理しないか（例えば指先が操作ボタン２１から遠いので、該当ボタン無しとして処理する）、或いは、予め設定された各種の処理（例えば地図のスクロール等の処理）を行う。
【００６７】
・ここで、タッチと指先と操作ボタン２１との関係を説明する。
図１０に示す様に、メニュー画像に指先（イ）〜（ニ）が表示され、操作ボタン２１として（Ａ）〜（Ｅ）があったときに、タッチがあった場合には、タッチの座標と最も近い指先（ロ）を選択する。そして、指先（ロ）と操作ボタン（Ｂ）が一致している場合には、指先（ロ）にて操作ボタン（Ｂ）が押されたと判断する。
【００６８】
なお、指先（イ）と指先（ハ）には、一致する操作ボタン２１が無く、指先（ニ）には、一致する操作ボタン（Ｄ）があるものの、タッチ座標から遠いので、選択されない。
ｄ）この様に、本実施形態では、カメラ画像から抽出した指先画像をメニュー画像に半透過画像として重ねて表示するので、乗員にとっては、指がどの操作ボタン２１を操作し
ようとしているかが容易に分かる。
【００６９】
また、指が操作ボタン２１に近づいたり一致した場合には、その操作ボタン２１を強調表示するので、操作ボタン２１が小さくても、どの操作ボタン２１を操作するのかが、容易に分かる。
【００７０】
更に、操作ボタン２１を強調表示した状態で、指がタッチパネル３に触れれば、指の位置が多少ずれていても、強調表示された操作ボタン２１が押されたとみなされるので、操作ミスが極めて少ないという顕著な効果を奏する。
【００７１】
つまり、本実施形態の操作入力装置１では、乗員は、各指により入力可能な操作ボタン２１を瞬時に認知可能になるとともに、タッチパネル３の押し間違いによる入力座標のバラツキに影響されず、確実に意図した操作ボタン２１による入力を行うことができるという顕著な効果が得られる。
【００７２】
［第２実施形態］
次に、第２実施形態の操作入力装置について説明するが、前記第１実施形態と同様な内容の説明は省略する。
【００７３】
本実施形態は、指先領域の抽出方法に特徴があるので、その方法について説明する。
図１１に示す様に、まず、カメラ画像から２値化画像である手指領域画像Ａを抽出する。
【００７４】
次に、その手指領域画像Ａを指の根元方向（ここでは画面の下方向）に移動し、移動画像（手指領域画像Ｂ）を作成する。
次に、手指領域画像Ａと手指領域画像Ｂとの差分（Ａ−Ｂ）をとって、差分画像（指先領域画像Ｃ）を作成する。なお、指が傾いている場合には、差分を取るとマイナスになる領域が発生することがあるが、その場合は、マイナスは０として処理する。
【００７５】
次に、指先領域画像Ｃの収縮を行って、指先領域画像Ｄを作成する。なお、ここでは、例えば全方向（水平方向及び垂直方向）での収縮を行う。具体的には、指先領域画像Ｃの内側に向かって水平方向及び水平方向に数画素分削除する処理を行う。
【００７６】
そして、その後は、前記第１実施形態と同様に、各指先の指先領域の重心Ｄを求め、重心Ｄから下方に所定量離れた位置を指先位置とする。
本実施形態は、差分画像を収縮させるので、指先以外の差分領域を削除することができ、特に指が傾いている場合には、指先領域を好適に抽出できるので好ましい。
【００７７】
なお、これ以外に、例えば図１２に示す様に、差分画像を水平方向のみ収縮させてもよい。
或いは、差分画像に対して平滑化処理を行い、この平滑化画像に対して所定のピクセル値以上の範囲を抽出して指先領域としてもよい。
【００７８】
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
【００７９】
（１）例えば、上述したタッチパネルの上方からカメラで撮影して手指領域を抽出する装置以外に、例えば特願２００６−９７９２３号に記載の様に（図１３参照）、タッチパネル３１の下に照明装置３３や撮像装置３５を配置し、タッチパネル３１の下側から手指
の位置を抽出するようにしてもよい。
【００８０】
この場合には、照明装置３３が下方にあるので、指先位置を検出する際には、指先領域と一致する指先の実画像の領域において、最も明るい画素の座標（指の腹に近いと思われる座標）を指先位置の基準点とすることができる。
【００８１】
（２）また、本発明は、タッチパネルの操作ボタンの操作以外に、任意位置への入力である例えば地図画面のスクロール等にも適用できる。
（３）更に、本発明は、車載のナビゲーション装置など以外に、車載以外の各種の操作入力装置に適用できる。
【００８２】
（４）なお、強調表示の方法としては、操作する前よりも操作したあとを強調する表示であればよい。例えば操作ボタンの色の変更、操作ボタンの文字表示の書式の変更、操作ボタンの枠の太さの変更、操作ボタンの立体的な表示状態の変更、操作ボタンの一部又は全体の大きさの変更、操作ボタンの明滅表示への変更、操作ボタンと指先との距離に対応した操作ボタンの明るさの変更を採用でき、それらを組み合わせてもよい。
【符号の説明】
【００８３】
１…操作入力装置、
３、３１…タッチパネル、
５…カメラ、
７…表示装置、
９…電子制御装置、
１１…手指領域抽出部、
１３…指先位置検出部、
１５…画像合成部、
１７…タッチパネル制御部、
１９…操作制御部
【技術分野】
【０００１】
本発明は、タッチパネルを用いて入力が可能な操作入力装置に関する。
【背景技術】
【０００２】
従来より、カーナビ等の車載装置を操作する装置としてリモコンが知られているが、このリモコンの扱いにくさ（例えば手探りでリモコンを見つけて、手に持ち、ボタン入力することなど）を解決するために、各種の技術が提案されている。
【０００３】
例えば特許文献１には、タッチパネルの上部に設けた赤外光によるスキャニング機構によって、手がタッチパネルに接近したことを感知して、ディスプレイ上に操作メニューを表示するとともに、カメラによりタッチパネル上の手を撮影して、操作の様子を操作メニューに重畳させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２６９０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、操作者がタッチパネルへの指の接触点を把握し難いために、入力ミス（押し間違い）が生じるという問題があった。
また、タッチ入力されるまで、どこが入力されようとしているが分かり難く、その点からも、入力ミスが生じるという問題があった。
【０００６】
更に、例えばカーナビ操作の５０音検索のように、入力ボタンが多く、かつ、入力ボタンが小さくなると、一層指先とボタンとの位置が合わせ難く、入力ミスが発生し易いという問題もあった。
【０００７】
本発明は、上記点に鑑み、入力ミスを防止し、容易に入力が可能な操作入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）請求項１の発明は、指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、を備え、前記指先位置と前記メニュー画像の操作ボタンの位置との位置の対応関係を判定し、所定の位置の対応関係がある場合には、指先に対応する操作ボタンを強調表示することを特徴とする。
【０００９】
本発明では、指先位置とメニュー画像の操作ボタンの位置との位置の対応関係（位置関係）を判定し、指先に対応する操作ボタンがある場合には、その操作ボタンを強調表示する。
【００１０】
これによって、操作者は、タッチパネルのどの位置に指があるということを意識しなくとも、メニュー画像上にて（指先位置によって）強調表示された操作ボタンにより、指先がどの操作ボタンを操作できる状態にあるかを明確に認識することができる。これにより、入力ミスを防ぐことができる。
【００１１】
なお、指先位置と操作ボタンの位置との位置の対応付けは、指先位置と操作ボタンの位置とが一致する場合に限らず、指先位置が操作ボタンの所定範囲内にある場合に、一致したと見なして、強調表示するようにしてもよい。
【００１２】
なお、ここで指先位置とは、指先において、例えばメニュー画像等の操作画面上の操作ボタン等を操作するとされる位置であり、後述する様に、実際に、この指先位置に該当するタッチパネルの座標を指先でタッチするとは限らない。
【００１３】
（２）請求項２の発明は、前記メニュー画像上に前記指先位置を表示し、前記指先位置に最も近い前記メニュー画像の操作ボタンを対応させて強調表示することを特徴とする。
本発明では、メニュー画像上に指先位置を表示し、指先位置に最も近いメニュー画像の操作ボタンを対応させて強調表示する。これにより、表示画面にて強調表示された操作ボタンが指先位置と対応していることが分かるので、操作ボタンを瞬時にして把握することができる。
【００１４】
（３）請求項３の発明は、入力を受け付けている操作ボタンのみを強調表示することを特徴とする。
入力を受け付けている操作ボタンのみを強調表示することにより、どの操作ボタンが操作可能かを操作者に知らせることができる。
【００１５】
（４）請求項４の発明は、前記指先位置も前記手指領域画像に重畳表示することを特徴とする。
これにより、操作者は指先位置が分かるので、指をどの方向に動かせば良いかを容易に把握することができる。
【００１６】
（５）請求項５の発明は、前記強調表示とは、前記操作ボタンの色の変更、前記操作ボタンの文字表示の書式の変更、前記操作ボタンの枠の太さの変更、前記操作ボタンの立体的な表示状態の変更、前記操作ボタンの一部又は全体の大きさの変更、前記操作ボタンの明滅表示への変更、前記操作ボタンと指先との距離に対応した操作ボタンの明るさの変更のうち、少なくとも１種であることを特徴とする。
【００１７】
本発明は、強調表示する内容を例示したものである。
（６）請求項６の発明は、指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、を備え、前記メニュー画像上に前記指先位置を表示し、前記タッチパネルの入力が検出された場合には、当該検出した入力座標を、その入力座標に近接する前記表示装置における指先位置の座標に置き換える補正を行うことを特徴とする。
【００１８】
図３に示す様に、タッチパネルの座標と表示装置の表示画面の座標とは対応している。従って、タッチパネルでの入力座標が検出された場合には、表示画面においても対応する座標が定まる。
【００１９】
しかし、本発明では、メニュー画像上に指先位置を表示し、タッチパネルで（指での）入力を検出した場合には、検出した入力座標を、表示画像における座標とするのではなく、その座標に近接する（表示装置における）指先位置の座標に置き換える補正を行う。
【００２０】
つまり、タッチ入力があった場合には、実際にタッチパネルで検出された座標ではなく、指先位置の座標にて、（タッチパネルにて）入力されたと見なすのである。
これにより、タッチパネルでの入力位置にかかわらず、表示画面における指先（特に指先位置）や例えば強調表示された操作ボタンを認識していれば、どの操作ボタンを操作するのか或いは操作したかが分かるので、非常に便利である。
【００２１】
（７）請求項７の発明では、前記タッチパネルの入力座標が前記指先位置の座標から所定の範囲内にある場合に、前記補正の処理を行うことを特徴とする。
これにより、タッチパネルの入力座標と指先位置の座標が多少離れていても、その対応関係がある場合には、指先位置に対応する操作ボタンによる入力を行うことができる。
【００２２】
（８）請求項８の発明では、前記請求項１〜５のいずれか１項に記載の処理により、前記操作ボタンを強調表示することを特徴とする。
本発明では、操作ボタンの強調表示も行うので、操作が容易になる。
【００２３】
（９）請求項９の発明では、前記タッチパネルの入力が検出された場合には、前記強調表示された操作ボタンが操作されたとして処理することを特徴とする。
これにより、タッチパネルの入力位置にかかわらず、操作ボタンを操作したとして処理できるので、操作者は、表示画面のみを注目していればよく、操作が非常に容易になる。
【００２４】
（１０）請求項１０の発明は、指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、前記手指領域画像と表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、を備え、前記メニュー画像上に前記指先位置を表示し、前記メニュー画像の操作ボタンと前記指先位置との距離が所定範囲内のときに、前記タッチパネルの入力が検出された場合には、前記操作ボタンが操作されたとして処理することを特徴とする。
【００２５】
本発明では、メニュー画像上に指先位置を表示し、メニュー画像の操作ボタンと指先位置との距離が所定範囲内のとき（例えば一致したとき）に、タッチパネルの入力が検出された場合には、（指先位置が所定範囲内にある）操作ボタンが操作されたとして処理する。
【００２６】
よって、タッチパネルでの入力位置にかかわらず、表示画面における指先位置と操作ボタンとの位置関係を認識していれば、どの操作ボタンを操作するかが分かるので、非常に便利である。
【００２７】
（１１）請求項１１の発明は、前記指先位置検出部が、下記(1)〜(6)のいずれか１種の処理を行う指先位置検出部であることを特徴とする。
本発明は、利用できる指先位置検出部を例示したものである。以下、各処理に説明する。
【００２８】
(1)前記手指領域画像と該手指領域画像を指の付け根方向にずらした移動画像との差分の画像を、指先領域として求め、該指先領域を基準として指先位置を抽出する処理
ここでは、手指領域画像と（その手指領域画像を指の付け根方向にずらした）移動画像との差分の画像を、指先領域として求め、その指先領域を基準として指先位置を抽出している。従って、基本的に、撮影された指先の画像だけで、指先位置を抽出することが可能である。
【００２９】
また、この様にして画像上で指先位置を特定できれば、例えば指先位置を表示したり、その指先位置に対応する操作ボタンを強調表示することができるので、操作者がタッチパネルにおける指の接触点を把握し難くても、画面を見ればどの位置で操作ボタン等を操作するかが分かるため、入力ミス（押し間違い）を防止できるという効果がある。
【００３０】
更に、指先位置が分かれば、タッチ入力前に、どこが入力されようとしているが分かり易く、その点からも、入力ミスが生じにくいという効果がある。
しかも、例えばカーナビ操作の５０音検索のように、操作ボタンが多く、かつ、操作ボタンが小さくなった場合でも、画像上で指先位置が分かれば、指先と操作ボタンとの位置合わせが容易であり、この点からも、入力ミスを防止する効果が高いという利点がある。
【００３１】
(2)前記指先領域画像に対して収縮演算を行って、指先以外の領域を削除する処理
上述した様に差分の画像を取った場合でも、例えば指が傾いていた様な場合には、図１１に例示するように、指先以外の領域も抽出される可能性がある。その様な場合には、例えば全方向又は水平方向などの画素を削除する収縮演算によって、画像を収縮する。これによって、指先領域以外の例えば指の側方などの幅の狭い画像領域は削除されるので、指先のみを好適に抽出することができる。
【００３２】
(3)前記指先領域画像に対して平滑化処理を行って、指先以外の領域を削除する処理
前記(2)と同様に、例えば指が傾いていた様な場合には、指先以外の領域も抽出される可能性があるので、その様な場合には、平滑化処理を行うと、指先部分とそれ以外の部分の画像信号（例えばピクセル値）に差を付けることができる。よって、所定のピクセル値以上の部分のみを取り出すことにより、指先のみを好適に抽出することができる。
【００３３】
(4)前記指先領域の重心を、指先位置を抽出するための基準とする処理
指先領域の重心は、ほぼ指先領域の中央（即ち前記移動方向に沿って存在すると推定される指先位置に対応した位置）と考えることができる。よって、この重心を基準として指先位置を設定することが可能である。
【００３４】
(5)前記指先領域の重心から、所定距離だけ指の付け根方向にオフセットした位置を指先位置とする処理
上述した様に、指先領域の重心の前記移動方向（指の付け根方向）に、指先位置があると考えられるので、ここでは、そのように指先位置を設定している。
【００３５】
(6)前記タッチパネルの裏側からの撮影によって手指領域を抽出する場合には、前記指先領域と一致する指の実画像の領域において、最も明るい画素の座標を指先位置の基準点とする処理
図１３に例示するように（特願２００６−９７９２３号参照）、タッチパネルの下に照明装置や撮像装置を配置し、タッチパネルの下側から手指の位置を抽出する場合には、照明装置が下方にあるので、指先領域と一致する指先の実画像の領域において、最も明るい画素の座標が、（タッチパネルに触れる可能性の高い）指の腹に近い部分と思われる。よって、この座標を指先位置の基準点とすることができる。
【図面の簡単な説明】
【００３６】
【図１】第１実施形態の車載の操作入力装置の構成を示す説明図である。
【図２】操作入力装置の構成を示すブロック図である。
【図３】タッチパネルの座標と表示装置の表示画面の座標との関係を示す説明図である。
【図４】指先位置の検出方法を示す説明図である。
【図５】操作ボタンの強調表示が無い場合とある場合を比較して示す説明図である。
【図６】操作ボタンの表示状態の変化を示す説明図である。
【図７】指先位置の補正方法を示す説明図である。
【図８】メニュー画像の表示の処理を示すフローチャートである。
【図９】タッチ入力に対応した処理を示すフローチャートである。
【図１０】タッチ入力と指と操作ボタンとの関係を示す説明図である。
【図１１】第２実施形態における指先領域の抽出方法を示す説明図である。
【図１２】第２実施形態における指先領域の他の抽出方法を示す説明図である。
【図１３】タッチパネルの下側から手指を撮影して抽出する装置を示す説明図である。
【発明を実施するための形態】
【００３７】
次に、本発明の最良の形態（実施形態）について説明する。
［第１実施形態］
ａ）まず、本実施形態の操作入力装置の概略構成を説明する。
【００３８】
図１及び図２に示す様に、本実施形態の操作入力装置１は、例えばカーナビゲーション装置の入力装置として用いられるものであり、タッチパネル３と、タッチパネル３の表面を上方より撮影するカメラ（ビデオカメラ）５と、メニュー画像（メニュー画面）等を表示する表示装置（ディスプレイ）７と、それらを制御する制御部である電子制御装置９とを備えている。
【００３９】
前記タッチパネル３には、図３に示す様に、どこをタッチされたかが区別できるように、ＸＹ座標が設定されており、それに対応して、表示装置７の表示画面（例えばメニュー画像が表示されるメニュー画面）にも、同様にＸＹ座標が設定されている。
【００４０】
従って、通常は、例えばタッチパネル３にて、（１、１）座標がタッチされた場合には、表示装置７にても、それに対応した（１、１）座標に関する処理（例えばマーク等を表示する処理など）を行うことが可能である。
【００４１】
また、前記電子制御装置９は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどから構成されており、タッチパネル３からの信号（入力座標を示すタッチ信号）やカメラ５からの信号（画像信号）を入力し、それらの信号に基づいて、表示装置７に画像を表示する処理や、他の機器を操作する処理などを行う。
【００４２】
この電子制御装置９は、図２に機能的に表現する様に、カメラ画像から、タッチパネル３上に位置する手指の部分（手指領域）を画像として抽出する手指領域抽出部１１と、手指領域の画像（手指領域画像）に基づいて、指先位置を検出する指先位置検出部１３と、手指領域画像と表示装置７に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成（半透過合成）する画像合成部１５と、タッチパネル３からの信号を入力して、指先が触れた座標を求めるタッチパネル制御部と、タッチパネル制御部からの情報（タッチ入力情報）と指先位置を示す情報（指先位置情報）とに基づいて、各種の処理を行う操作制御部１９とを有している。
【００４３】
特に操作制御部１９では、後に詳述するように、タッチ入力情報と指先位置情報とに基づいて、メニュー画像のどの操作ボタン（メニューボタン）２１が操作されたかを表示したり、操作された操作ボタン２１に応じて、例えばカーナビのルート検索などの他の機能を実施したり、例えばエアコンやオーディオ等の他の機器を制御する処理などを行う。
【００４４】
ｂ）次に、電子制御装置９にて行われる特徴的な処理の手法について説明する。
(1)指先位置の検出方法
ここでは、指先位置検出部１３にて行われる処理の手順について説明するが、これは、カメラ５で撮影した画像から複数の指先（特に指先位置）を検出するものである。
【００４５】
図４に示す様に、まず、カメラ５で撮影した画像から手指領域画像Ａを抽出する。
次に、この手指領域画像Ａを指の根元方向（ここでは画面の下方向）に移動し、移動画像（手指領域画像Ｂ）を作成する。
【００４６】
次に、手指領域画像Ａと手指領域画像Ｂとの差分（Ａ−Ｂ）をとって、差分画像（指先領域画像Ｃ）を作成する。
次に、各指先の指先領域の重心Ｄ（同図の×印で示す基準点）を求める。
【００４７】
次に、重心Ｄから下方に所定量離れた位置を指先位置（同図の＋印で示す）とする。これにより、タッチパネル３の接触点（実際に指が触れる部分）付近に指先位置を補正する。これは、指の腹が最も出ている部分でタッチパネル３を押す可能性が高く、この部分は、指先から所定距離だけ根元側にあると考えられるからである。
【００４８】
次に、指先領域の画像（例えば輪郭強調しモデル化した半透過性の指の画像）を表示するとともに、それに重ね合わせて指先位置も表示する。よって、どの部分で操作ボタン２１等を操作するかを、乗員に分かりやすく示すことができる。
【００４９】
(2)指先に対応する操作ボタンの強調表示方法
・図５の（ａ）に示す様に、メニュー画像と半透過性の手指画像（手指領域画像Ａを半透過性とした画像）とを重ね合わせただけでは、指でどの操作ボタン２１を押すのかが区別し難い。
【００５０】
よって、本実施形態では、図５の（ｂ）に示す様に、半透過性の手指画像に重ねて指先位置を十印で示している。
また、指先位置と操作ボタン２１とが一致した場合には、その操作ボタン２１を強調表示する。ここでは、タッチ入力されていない場合でも、指先位置と操作ボタン２１の画像が一致すれば強調表示する。なお、図５の（ｂ）では、左下の「っ」は、入力を受け付けていないので、強調表示はしていない。
【００５１】
・次に、入力を受け付けていない場合などの表示状態の切り替えについて、更に説明する。
図６の左端の（ａ）に示す様に、指先位置が操作ボタン２１からずれている場合には、操作ボタン２１の強調表示をしない。
【００５２】
図６の（ｂ）の様に、指先位置が操作ボタン２１の「れ」と一致する場合には、「れ」は入力可能であるので、「れ」の操作ボタン２１を強調表示する。
図６の（ｃ）の様に、指先位置が操作ボタン２１の「゛」と一致する場合には、「゛」は入力不可であるので、「゛」の操作ボタン２１を強調表示しない。
【００５３】
図６の（ｄ）の様に、指先位置が操作ボタン２１の「む」と一致する場合には、「む」は入力可能であるので、「む」の操作ボタン２１を強調表示する。
更に、実際に、「む」を押したと見なされた場合には、図６の（ｅ）の様に、「む」を更に強く強調表示する。
【００５４】
(3)タッチパネルの入力補正方法
ペン入力では、ペン先による点での入力となり、高い精度でタッチパネル３に入力できるが、指先入力では、指の腹などにより面での入力となるため、タッチパネル３の検出座標にバラツキが生じる。
【００５５】
そこで、本実施形態では、タッチパネル３で検出した座標を、画像から検出した指先位置に合わせ込む処理を行う。つまり、タッチパネル３での入力があった場合には、タッチパネル３の座標ではなく、画像の指先位置の座標にて入力があったものとして処理するのである。
【００５６】
具体的には、図７（ａ）に示すように、＋印で示すように指先位置がある場合でも、実際のタッチ位置は、×印のようにズレがある。
そこで、図７（ｂ）に示す様に、タッチパネル３で検出した入力座標がｘ印であったとしても、＋印の指先位置の座標を入力座標として処理する（即ち入力座標を指先位置の座標に置き換える：合わせ込む）のである。
【００５７】
ｃ）次に、電子制御装置９にて行われる処理の内容について、フローチャートに基づいて説明する。
(1)表示装置７に表示するための処理
図８に示す様に、ステップ（Ｓ）１００にて、例えばＲＯＭ等から、メニュー画像を取得する。なお、この段階で、メニュー画像を表示装置７に表示してもよく、ステップ１００及び表示装置７への表示は、ステップ１４０及びステップ１６０より前に実行されていればよいため、ステップ１１０前に限定するものではない。
【００５８】
続くステップ１１０では、カメラ画像から手指領域を抽出する。
続くステップ１２０では、手指領域を用い、上述した差分画像を利用する手法により、指先領域を抽出する。
【００５９】
続くステップ１３０では、上述した重心及びそのオフセットを利用する手法により、指
先領域から指先位置を検出する。
続くステップ１４０では、指先位置をメニュー画像に表示する。それとともに、半透明の指先画像をメニュー画像に重ねて表示する。なお、このステップ１４０は、ステップ１５０又はステップ１６０の後に実行してもよい。
【００６０】
続くステップ１５０では、各指先位置に対応する（一致する）操作ボタン２１を検索する。なお、指先位置と操作ボタン２１の位置が一致しない場合でも、指先位置が操作ボタン２１から所定範囲内（例えば操作ボタン２１の中心や外周から所定範囲内）にあるときは、一致しているとみなすことができる。なお、このステップ１５０は、ステップ１３０とステップ１４０との間で実行してもよい。
【００６１】
続くステップ１６０では、指先位置に対応する操作ボタン２１を強調表示する。
その後、一旦本処理を終了する。
なお、ステップ１２０はステップ１１０の後、ステップ１３０はステップ１２０の後、ステップ１４０はステップ１３０の後、ステップ１５０はステップ１３０より後、ステップ１６０はステップ１５０より後、という条件が成り立つ範囲であれば、順序が入れ替わっても、並列実行されても構わない。
【００６２】
(2)タッチパネル３による操作入力に関する処理
・図９に示す様に、ステップ２００では、タッチ入力されたか否か、即ち、タッチパネル３に指による入力がなされたか否かを判定する。
【００６３】
ここで肯定判断されると、ステップ２１０で、タッチ入力された座標を取得する。
続くステップ２２０では、タッチ座標に対応する指先を選択する。例えばタッチ座標に最も近い指の指先位置を有する指先を、タッチ入力した指先として選択する。
【００６４】
続くステップ２３０では、タッチ座標を、選択された指先位置に置き換える補正を行う。つまり、指先位置の座標にてタッチ入力されたとして処理する。
続くステップ２４０では、タッチ入力されたと見なされた指先位置に、対応する操作ボタン２１があるか否かを判定する。ここで肯定判断されるとステップ２５０に進み、一方否定判断されるとステップ２６０に進む。
【００６５】
ステップ２５０では、指先位置と操作ボタン２１が一致しているので、その操作ボタン２１が操作されたとして、必要な処理を行う。例えば「あ」、「い」などの文字に入力、或いは、カーナビのルート検索などの処理等を行い、一旦本処理を終了する。
【００６６】
一方、ステップ２６０では、指先位置と操作ボタン２１が一致していないので、何も処理しないか（例えば指先が操作ボタン２１から遠いので、該当ボタン無しとして処理する）、或いは、予め設定された各種の処理（例えば地図のスクロール等の処理）を行う。
【００６７】
・ここで、タッチと指先と操作ボタン２１との関係を説明する。
図１０に示す様に、メニュー画像に指先（イ）〜（ニ）が表示され、操作ボタン２１として（Ａ）〜（Ｅ）があったときに、タッチがあった場合には、タッチの座標と最も近い指先（ロ）を選択する。そして、指先（ロ）と操作ボタン（Ｂ）が一致している場合には、指先（ロ）にて操作ボタン（Ｂ）が押されたと判断する。
【００６８】
なお、指先（イ）と指先（ハ）には、一致する操作ボタン２１が無く、指先（ニ）には、一致する操作ボタン（Ｄ）があるものの、タッチ座標から遠いので、選択されない。
ｄ）この様に、本実施形態では、カメラ画像から抽出した指先画像をメニュー画像に半透過画像として重ねて表示するので、乗員にとっては、指がどの操作ボタン２１を操作し
ようとしているかが容易に分かる。
【００６９】
また、指が操作ボタン２１に近づいたり一致した場合には、その操作ボタン２１を強調表示するので、操作ボタン２１が小さくても、どの操作ボタン２１を操作するのかが、容易に分かる。
【００７０】
更に、操作ボタン２１を強調表示した状態で、指がタッチパネル３に触れれば、指の位置が多少ずれていても、強調表示された操作ボタン２１が押されたとみなされるので、操作ミスが極めて少ないという顕著な効果を奏する。
【００７１】
つまり、本実施形態の操作入力装置１では、乗員は、各指により入力可能な操作ボタン２１を瞬時に認知可能になるとともに、タッチパネル３の押し間違いによる入力座標のバラツキに影響されず、確実に意図した操作ボタン２１による入力を行うことができるという顕著な効果が得られる。
【００７２】
［第２実施形態］
次に、第２実施形態の操作入力装置について説明するが、前記第１実施形態と同様な内容の説明は省略する。
【００７３】
本実施形態は、指先領域の抽出方法に特徴があるので、その方法について説明する。
図１１に示す様に、まず、カメラ画像から２値化画像である手指領域画像Ａを抽出する。
【００７４】
次に、その手指領域画像Ａを指の根元方向（ここでは画面の下方向）に移動し、移動画像（手指領域画像Ｂ）を作成する。
次に、手指領域画像Ａと手指領域画像Ｂとの差分（Ａ−Ｂ）をとって、差分画像（指先領域画像Ｃ）を作成する。なお、指が傾いている場合には、差分を取るとマイナスになる領域が発生することがあるが、その場合は、マイナスは０として処理する。
【００７５】
次に、指先領域画像Ｃの収縮を行って、指先領域画像Ｄを作成する。なお、ここでは、例えば全方向（水平方向及び垂直方向）での収縮を行う。具体的には、指先領域画像Ｃの内側に向かって水平方向及び水平方向に数画素分削除する処理を行う。
【００７６】
そして、その後は、前記第１実施形態と同様に、各指先の指先領域の重心Ｄを求め、重心Ｄから下方に所定量離れた位置を指先位置とする。
本実施形態は、差分画像を収縮させるので、指先以外の差分領域を削除することができ、特に指が傾いている場合には、指先領域を好適に抽出できるので好ましい。
【００７７】
なお、これ以外に、例えば図１２に示す様に、差分画像を水平方向のみ収縮させてもよい。
或いは、差分画像に対して平滑化処理を行い、この平滑化画像に対して所定のピクセル値以上の範囲を抽出して指先領域としてもよい。
【００７８】
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
【００７９】
（１）例えば、上述したタッチパネルの上方からカメラで撮影して手指領域を抽出する装置以外に、例えば特願２００６−９７９２３号に記載の様に（図１３参照）、タッチパネル３１の下に照明装置３３や撮像装置３５を配置し、タッチパネル３１の下側から手指
の位置を抽出するようにしてもよい。
【００８０】
この場合には、照明装置３３が下方にあるので、指先位置を検出する際には、指先領域と一致する指先の実画像の領域において、最も明るい画素の座標（指の腹に近いと思われる座標）を指先位置の基準点とすることができる。
【００８１】
（２）また、本発明は、タッチパネルの操作ボタンの操作以外に、任意位置への入力である例えば地図画面のスクロール等にも適用できる。
（３）更に、本発明は、車載のナビゲーション装置など以外に、車載以外の各種の操作入力装置に適用できる。
【００８２】
（４）なお、強調表示の方法としては、操作する前よりも操作したあとを強調する表示であればよい。例えば操作ボタンの色の変更、操作ボタンの文字表示の書式の変更、操作ボタンの枠の太さの変更、操作ボタンの立体的な表示状態の変更、操作ボタンの一部又は全体の大きさの変更、操作ボタンの明滅表示への変更、操作ボタンと指先との距離に対応した操作ボタンの明るさの変更を採用でき、それらを組み合わせてもよい。
【符号の説明】
【００８３】
１…操作入力装置、
３、３１…タッチパネル、
５…カメラ、
７…表示装置、
９…電子制御装置、
１１…手指領域抽出部、
１３…指先位置検出部、
１５…画像合成部、
１７…タッチパネル制御部、
１９…操作制御部
【特許請求の範囲】
【請求項１】
指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、
前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、
前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、
前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、
前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、
前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、
を備え、
前記指先位置と前記メニュー画像の操作ボタンの位置との位置の対応関係を判定し、所定の位置の対応関係がある場合には、指先に対応する操作ボタンを強調表示することを特徴とする操作入力装置。
【請求項２】
前記メニュー画像上に前記指先位置を表示し、前記指先位置に最も近い前記メニュー画
像の操作ボタンを対応させて強調表示することを特徴とする請求項１に記載の操作入力装置。
【請求項３】
入力を受け付けている操作ボタンのみを強調表示することを特徴とする請求項１又は２に記載の操作入力装置。
【請求項４】
前記指先位置も前記手指領域画像に重畳表示することを特徴とする請求項１〜３のいずれか１項に記載の操作入力装置。
【請求項５】
前記強調表示とは、前記操作ボタンの色の変更、前記操作ボタンの文字表示の書式の変更、前記操作ボタンの枠の太さの変更、前記操作ボタンの立体的な表示状態の変更、前記操作ボタンの一部又は全体の大きさの変更、前記操作ボタンの明滅表示への変更、前記操作ボタンと指先との距離に対応した操作ボタンの明るさの変更のうち、少なくとも１種であることを特徴とする請求項１〜４のいずれか１項に記載の操作入力装置。
【請求項６】
指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、
前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、
前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、
前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、
前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、
前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、
を備え、
前記メニュー画像上に前記指先位置を表示し、前記タッチパネルの入力が検出された場合には、当該検出した入力座標を、その入力座標に近接する前記表示装置における指先位置の座標に置き換える補正を行うことを特徴とする操作入力装置。
【請求項７】
前記タッチパネルの入力座標が前記指先位置の座標から所定の範囲内にある場合に、前記補正の処理を行うことを特徴とする請求項６に記載の操作入力装置。
【請求項８】
前記請求項１〜５のいずれか１項に記載の処理により、前記操作ボタンを強調表示することを特徴とする請求項７に記載の操作入力装置。
【請求項９】
前記タッチパネルの入力が検出された場合には、前記強調表示された操作ボタンが操作されたとして処理することを特徴とする請求項８に記載の操作入力装置。
【請求項１０】
指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、
前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、
前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、
前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、
前記手指領域画像と表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、
前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、
を備え、
前記メニュー画像上に前記指先位置を表示し、前記メニュー画像の操作ボタンと前記指先位置との距離が所定範囲内のときに、前記タッチパネルの入力が検出された場合には、前記操作ボタンが操作されたとして処理することを特徴とする操作入力装置。
【請求項１１】
前記指先位置検出部が、下記(1)〜(6)のいずれか１種の処理を行う指先位置検出部であることを特徴とする請求項１〜１０のいずれか１項に記載の操作入力装置。
(1)前記手指領域画像と該手指領域画像を指の付け根方向にずらした移動画像との差分の画像を、指先領域として求め、該指先領域を基準として指先位置を抽出する処理
(2)前記指先領域画像に対して収縮演算を行って、指先以外の領域を削除する処理
(3)前記指先領域画像に対して平滑化処理を行って、指先以外の領域を削除する処理
(4)前記指先領域の重心を、指先位置を抽出するための基準とする処理
(5)前記指先領域の重心から、所定距離だけ指の付け根方向にオフセットした位置を指先位置とする処理
(6)前記タッチパネルの裏側からの撮影によって手指領域を抽出する場合には、前記指先領域と一致する指の実画像の領域において、最も明るい画素の座標を指先位置の基準点とする処理
【請求項１】
指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、
前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、
前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、
前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、
前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、
前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、
を備え、
前記指先位置と前記メニュー画像の操作ボタンの位置との位置の対応関係を判定し、所定の位置の対応関係がある場合には、指先に対応する操作ボタンを強調表示することを特徴とする操作入力装置。
【請求項２】
前記メニュー画像上に前記指先位置を表示し、前記指先位置に最も近い前記メニュー画
像の操作ボタンを対応させて強調表示することを特徴とする請求項１に記載の操作入力装置。
【請求項３】
入力を受け付けている操作ボタンのみを強調表示することを特徴とする請求項１又は２に記載の操作入力装置。
【請求項４】
前記指先位置も前記手指領域画像に重畳表示することを特徴とする請求項１〜３のいずれか１項に記載の操作入力装置。
【請求項５】
前記強調表示とは、前記操作ボタンの色の変更、前記操作ボタンの文字表示の書式の変更、前記操作ボタンの枠の太さの変更、前記操作ボタンの立体的な表示状態の変更、前記操作ボタンの一部又は全体の大きさの変更、前記操作ボタンの明滅表示への変更、前記操作ボタンと指先との距離に対応した操作ボタンの明るさの変更のうち、少なくとも１種であることを特徴とする請求項１〜４のいずれか１項に記載の操作入力装置。
【請求項６】
指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、
前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、
前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、
前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、
前記手指領域画像と前記表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、
前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、
を備え、
前記メニュー画像上に前記指先位置を表示し、前記タッチパネルの入力が検出された場合には、当該検出した入力座標を、その入力座標に近接する前記表示装置における指先位置の座標に置き換える補正を行うことを特徴とする操作入力装置。
【請求項７】
前記タッチパネルの入力座標が前記指先位置の座標から所定の範囲内にある場合に、前記補正の処理を行うことを特徴とする請求項６に記載の操作入力装置。
【請求項８】
前記請求項１〜５のいずれか１項に記載の処理により、前記操作ボタンを強調表示することを特徴とする請求項７に記載の操作入力装置。
【請求項９】
前記タッチパネルの入力が検出された場合には、前記強調表示された操作ボタンが操作されたとして処理することを特徴とする請求項８に記載の操作入力装置。
【請求項１０】
指による入力位置を検出するタッチパネルからの信号と、前記タッチパネル上の手指を撮影する撮影装置からの信号と、を入力し、
前記タッチパネルからの信号に基づいて、表示装置に表示するメニューの操作を行う操作入力装置において、
前記撮影装置によって撮影された画像から、手指領域を画像として抽出する手指領域抽出部と、
前記手指領域画像に基づいて、指先位置を検出する指先位置検出部と、
前記手指領域画像と表示装置に表示するメニュー画像とを、両画像が視認可能なように重ね合わせて合成する画像合成部と、
前記タッチパネルの入力に基づき、前記メニュー画像を操作する操作制御部と、
を備え、
前記メニュー画像上に前記指先位置を表示し、前記メニュー画像の操作ボタンと前記指先位置との距離が所定範囲内のときに、前記タッチパネルの入力が検出された場合には、前記操作ボタンが操作されたとして処理することを特徴とする操作入力装置。
【請求項１１】
前記指先位置検出部が、下記(1)〜(6)のいずれか１種の処理を行う指先位置検出部であることを特徴とする請求項１〜１０のいずれか１項に記載の操作入力装置。
(1)前記手指領域画像と該手指領域画像を指の付け根方向にずらした移動画像との差分の画像を、指先領域として求め、該指先領域を基準として指先位置を抽出する処理
(2)前記指先領域画像に対して収縮演算を行って、指先以外の領域を削除する処理
(3)前記指先領域画像に対して平滑化処理を行って、指先以外の領域を削除する処理
(4)前記指先領域の重心を、指先位置を抽出するための基準とする処理
(5)前記指先領域の重心から、所定距離だけ指の付け根方向にオフセットした位置を指先位置とする処理
(6)前記タッチパネルの裏側からの撮影によって手指領域を抽出する場合には、前記指先領域と一致する指の実画像の領域において、最も明るい画素の座標を指先位置の基準点とする処理
【図２】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１】
【図５】
【図６】
【図７】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２５７４９５（Ｐ２０１０−２５７４９５Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２０１０−１８５２３３（Ｐ２０１０−１８５２３３）
【出願日】平成２２年８月２０日（２０１０．８．２０）
【分割の表示】特願２００７−７７３３０（Ｐ２００７−７７３３０）の分割
【原出願日】平成１９年３月２３日（２００７．３．２３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２２年８月２０日（２０１０．８．２０）
【分割の表示】特願２００７−７７３３０（Ｐ２００７−７７３３０）の分割
【原出願日】平成１９年３月２３日（２００７．３．２３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]