画像表示方法、画像表示装置及びそれを用いた操作装置
【課題】 撮影等により取得した画像データ上での原指像の状態とは無関係に、個々の指を示す画像を該原指像よりも細くした形で画面上に確実に表示できる画像表示装置を提供する。
【解決手段】 取得した画像データにおける原指像ＦＩの指先部分の位置を画像指先点として特定し、モニタ１５の画面領域上にてその画像指先点に対応する位置に、原指像ＦＩよりも相対的に狭幅となる指示体画像ＳＦを、原指像ＦＩの画像データとは別の指示体画像データを用いて表示する。原指像ＦＩはあくまでユーザーによる指示位置特定にのみ用い、画面領域上には、別に用意された指示体画像ＳＦを貼り付け表示する。これにより、画像データ上での原指像ＦＩの状態とは無関係に、個々の指を示す指示体画像ＳＦを該原指像ＦＩよりも細くした形で画面上に確実に表示することができ、ひいては指像が過度に太く表示されることによる違和感の発生を防止することができる。
【解決手段】 取得した画像データにおける原指像ＦＩの指先部分の位置を画像指先点として特定し、モニタ１５の画面領域上にてその画像指先点に対応する位置に、原指像ＦＩよりも相対的に狭幅となる指示体画像ＳＦを、原指像ＦＩの画像データとは別の指示体画像データを用いて表示する。原指像ＦＩはあくまでユーザーによる指示位置特定にのみ用い、画面領域上には、別に用意された指示体画像ＳＦを貼り付け表示する。これにより、画像データ上での原指像ＦＩの状態とは無関係に、個々の指を示す指示体画像ＳＦを該原指像ＦＩよりも細くした形で画面上に確実に表示することができ、ひいては指像が過度に太く表示されることによる違和感の発生を防止することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示方法、画像表示装置及びそれを用いた操作装置に関する。
【背景技術】
【０００２】
【特許文献１】特開２０００−３３５３３０号公報
【特許文献２】特開２０００− ６６８７号公報
【特許文献３】特開２００４− ２６０４６号公報
【０００３】
従来、カーナビゲーション装置のような車載機器の操作装置として、操作者の手をカメラで撮影し、その撮影データから指画像を抽出し、抽出した指画像域を車載機器のＧＵＩ入力画面（例えば、ナビ画面など）に重畳表示するタイプのものが提案されている。例えば、特許文献１には、車体の天井に取り付けたカメラを用いて、座席手元のスイッチパネルを操作する手の様子を撮影し、撮影した手とスイッチパネルとを、操作者の前方に対向配置された液晶パネルに表示する構成が開示されている。また、特許文献２には、車両のルーフに配置されたビデオカメラを用いてドライバの手を撮影して輪郭抽出し、表示器上のソフトボタンにその輪郭画像を重畳表示する構成が開示されている。さらに、特許文献３には、スイッチマトリックス上の操作ボタンと手とを撮像し、タッチセンサによりスイッチマトリックスに手が近づいたことを検出して、手画像をスーパーインポーズして表示する構成が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の操作システムにおいては、車両への搭載スペースの節約や、操作時の手指移動量の低減を目的として、操作面寸法の小型化が進んでいる。この場合、次のような問題が生じる。すなわち、操作面と入力画面（画面領域）とは、指による操作面上の入力位置と画面上の指示位置とが幾何学的に対応するよう、一義的な座標関係が定められている。その結果、操作面上で撮影される操作者の手（指）の画像を入力画面上に重畳表示する場合、操作面寸法が画面寸法に対して相対的に縮小すると、手の表示寸法が入力画面上で拡大されてしまい、指が過度に太く表示されて違和感を生ずる問題がある。
【０００５】
図１４は、操作面上に重ね配置されたタッチパネルによる、入力画面１５上のソフトボタンへの仮想的な指操作入力を、画面１５上に重畳表示される手画像ＳＦにより支援する事例を示している。操作面１０２ａは、横幅約１２０ｍｍであり、普通の大人の広げた掌のうち、親指を除く４本の指の全体が包含される程度のサイズとなっている。対応する画面１５にはキーワード入力用上の日本語五十音キーボードが表示されており、上記操作面と手の寸法関係を想定し、指一本の画像幅に対しソフトボタンの配列個数が高々２個程度となるように、個々のボタンの表示寸法及び配列間隔が調整されている。手画像ＳＦの指先部分に対するボタンの密集感がそれほど生じておらず、違和感のない入力が可能となっている。
【０００６】
一方、図１５は、画面１５の寸法を変えずに、操作面１０２ａの横幅を７０ｍｍに小型化した場合の表示例を示すものである。図１４の場合と異なり、操作面１０２ａ上に収まっている指ＦＩの本数は２本程度であり、これが画面１５上に相対的に拡大されて表示される。その結果、指一本の画像幅に対応するソフトボタンの配列個数が３個を超え、手画像ＳＦに対するボタンの密集感が格段に増していることがわかる。これでは、画面上に複数配置されたボタンのどれを操作しているのかが非常にわかりにくく、操作性の悪化は必至であり、狙ったボタンの隣を押し違えたりするといった不具合も当然生じやすくなる。もちろん、入力画面がキーボードではなく、例えばポインタによる位置指定入力が可能な地図画面等であっても、操作性が悪化する事情は全く同じである。
【０００７】
この場合、指画像に合わせて入力画面の表示内容（例えば前述のソフトボタン等）も拡大することが考えられるが、モニタ寸法を拡大することは、表示装置の大型化や取付レイアウト変更（特に、はめ込み取り付けの場合は、インパネ等、はめ込み先となる内装樹脂成型品の設計変更も余儀なくされる）を招き、コストアップが避けがたい。他方、モニタ寸法を変えずに表示内容のみを拡大すると、それまで１画面に収まっていた入力画面内容の分割やスクロールが必要となり、操作性の悪化や表示アプリケーションの内容変更など、余分な開発工数が必要となる。
【０００８】
そこで、撮影された指画像を実際よりも細くなるように加工して入力画面に重畳表示す方式が考えられる。このような細指化加工の具体的な方法としては、例えば、画像の収縮処理に基づく方法を例示できる。これは、例えば、二値画像の場合、画面上の閉じた処理対象領域内の全ての画素が同じ値（例えば「１」）に設定されている場合、着目画素と一定の隣接関係にある画素（例えば、左右又は上下の２画素、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素など）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該着目画素の値を反転設定する処理である。こうした条件を満たす画素は通常、領域の輪郭線を構成する画素だから、輪郭線に沿った画素が一律に反転処理されることで、処理対象領域を内側に１画素分だけ一様に収縮させることができる。
【０００９】
上記のような収縮処理では、図１５のように、互いに分離された指画像が得られる場合は、個々の指を独立して細指化できる。しかし、図１６に示すように、指と指とが密着した状態では、指輪郭のコントラストを形成する背景領域の画素が密着区間で不在となり、当該区間では２本の指が一体の領域として認識されてしまうため、個別の細指化加工ができない問題がある。また、指と指とを分離認識できる輪郭区間が断続的に生ずるような緩い密着状態では、分離認識された輪郭区間でのみ画像収縮が不均一に進む形となり、指の密着区間では両指間に非反転画素領域が橋渡し状に残存して、くっついた部分と離れた部分とが混在した不自然な細指化結果しか得られない問題がある。
【００１０】
本発明の課題は、撮影等により取得した画像データ上での原指像の状態とは無関係に、個々の指を示す画像を該原指像よりも細くした形で画面上に確実に表示できる方法及び装置と、それを用いた操作装置とを提供することにある。
【課題を解決する手段及び発明の効果】
【００１１】
上記の課題を解決するために、本発明の画像表示方法は、
人の指の像を原指像として含む画像データを取得し、
画像データ上にて原指像の指先位置を画像指先点として特定し、
表示装置の、画像データとの間に一義的な座標対応関係を有する画面領域において、画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を、画像データとは別に用意された指示体画像データに基づいて表示することを特徴とする。
【００１２】
また、本発明の画像表示装置は、
人の指の像を原指像として含む画像データを取得する画像データ取得手段と、
画像データ上にて原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
画像データとの間に一義的な座標対応関係を有する画面領域を備えた表示装置と、
画面領域の画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を、画像データとは別に用意された指示体画像データに基づいて表示する指示体画像表示手段と、を備えたことを特徴とする。
【００１３】
上記本発明によると、取得した画像データにおける原指像の指先部分の位置を画像指先点として特定し、表示装置の画面領域上にてその画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を、原指像の画像データとは別の指示体画像データを用いて表示する。すなわち、原指像はあくまでユーザーによる指示位置特定にのみ用い、画面領域上には、別に用意された指示体画像を貼り付け表示する。これにより、画像データ上での原指像の状態とは無関係に、個々の指を示す指示体画像を該原指像よりも細くした形で画面上に確実に表示することができ、ひいては指像が過度に太く表示されることによる違和感の発生を防止することができる。
【００１４】
画像指先点特定手段は、画像データに複数本の原指像が含まれている場合に、該複数の原指像について画像指先点を特定するように構成できる。この場合、指示体画像表示手段は、画面領域にて複数の原指像の各画像指先点に対応する位置に、それぞれ指示体画像を表示するものとして構成できる。画像データ上に複数の原指像が表れている場合にも、複数の指示体画像を組み合わせて代替表示することにより、複数の指同士が密着して画像データ上で複数の原指像への分離が困難な場合にも、表示上はその細指化を問題なく図ることができる。
【００１５】
撮影距離規制手段は、手撮影カメラに対し一定の位置関係を充足するように固定配置され、撮影対象となる手を一方の板面側にて支持する透明支持板を有するものとして構成できる。手撮影カメラは、透明支持板の他方の板面側から該透明支持板を介して手を撮影するものとして構成できる。透明支持板上に撮影すべき手を載置することにより、手撮影カメラまでの撮影距離を常に一定に保つことができる。
【００１６】
この透明支持板は、手撮影カメラの撮影範囲に対応した入力操作面が板面に設定された位置入力装置をなすものとして構成でき、表示装置は、指示体画像により、入力座標系に対応する画面領域上での入力位置を指示表示するものとして構成できる。
【００１７】
また、本発明の操作装置は、
操作者の指先によるタッチ操作を一方の板面側にて支持しつつ受け付ける透明入力支持板を有し、画面領域に対応した入力座標系が該透明入力支持板の板面に沿って設定されるとともに、タッチ操作による入力位置を検出してその座標情報を出力する位置入力装置と、
透明入力支持板の他方の板面側から該透明入力支持板を介して、手撮影カメラにより操作者の指を含む手の画像データを撮影取得する画像データ取得手段と、
画像データ上にて指の像である原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
画面領域の画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を表示する指示体画像表示手段と、を備えたことを特徴とする。
【００１８】
これにより、操作者は、画面上の指示体画像により入力操作面上の指位置を把握でき、画面表示内容に従った入力操作を的確に実施できる。特に、表示装置の画面領域（画面）が操作者に対し、該操作者が入力操作面上の指を直視する向きから外れて配置されている構成（例えば、カーナビゲーションシステム等の車載用電子機器の操作装置の場合、操作者の着座する座席の左右脇（ないしその斜め前方）に入力操作面が配置され、表示装置の画面が該入力操作面よりも上方にて、操作者の前方ないし斜め前方に対向配置される構成）では、操作を行なう手元と画面との双方を同時に直視できないので、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源となる。そして、本発明の採用により、入力操作面（手撮影カメラの撮影範囲）の面積が画面領域の面積に対して相対的に縮小された構成においても、撮影された原指像がそのまま太く拡大表示されて操作性に支障をきたす課題を、効果的に解決することができる。
【００１９】
表示装置は、位置入力装置の入力操作面上に設定されたボタン操作領域に対応するソフトボタン画像を、画面領域の対応する座標位置に表示するものとして構成できる。本発明の採用により、太く拡大された原指像によるソフトボタンの指示位置が不明確となる不具合を効果的に解消することができる。例えば、画像データ上の原指像を、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該原指像の仮想投影領域に対しソフトボタン画像が、指幅方向に複数包含される寸法ならびに配列間隔にて表示形成される構成を採用することができる。本発明では、画面上に表示されるのが原指像よりも狭幅化された指示体画像であるから、指示体画像と重なるソフトボタンの配列個数が、原指像をそのまま採用する場合と比較して減じられ、指示体画像先端近傍のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上する。
【００２０】
本発明では、原指像とはデータ的に無関係な指示体画像を画面領域に対し、原指像から特定される画像指先点に、いわば後付けで貼り込む構成なので、指先位置のほかに指の方向を情報として特定する必要がある。これを前提に、指示体画像表示手段は、例えば、画面領域への指示体画像の表示位置を規定する表示座標平面上に指方向規定点を設定する指方向規定点設定手段と、設定された指方向規定点と画像指先点とに基づいて指示体画像の配置方向を決定する指示体配置方向決定手段とを備え、指示体画像の先端部の位置が画像指先点と一致し、かつ、決定された配置方向に該指示体画像の長手方向が沿うように、該指示体画像を画面領域上に表示するものとして構成することができる。指先端位置以外に、指長手方向の存在する別の一点を指方向規定点として指定することで、両点を結ぶ直線（以下、指直線ともいう）を指示体画像の配置方向として簡便かつ一義的に決定することができる。
【００２１】
手の各指骨は手首関節に向けて収束する形態に配列しているから、この手首に相当する位置を指方向規定点として利用することにより、指示体画像（特に、模擬指画像や実指画像）を、実際の手に近いリアルな形態で配置できる利点がある。カメラ等により取得される手の画像データは、掌の指先側をなす一部分なので、指方向規定点設定手段は、指方向規定点を、手首位置を想定した手首規定点として画面領域外に設定するように構成すればよい。操作装置として本発明の画像表示装置を活用する場合は、操作者は撮影領域に対して手前側から手を伸ばし入れる操作形態となるのが通常だから、画面領域にが、指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されることになる。
【００２２】
この場合、方向規定点設定手段は、表示座標平面上にて画面領域の上下方向（垂直方向）をＹ方向とし、これと直交する方向（左右方向ないし水平方向）をＸ方向として、Ｙ方向にて画面領域の下縁から一定長下側に離間した位置に手首規定点を設定することができる。この方法は、画面上の画像指先点の位置座標とは無関係に、手首規定点のＹ方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点の決定アルゴリズムを簡略化できる利点がある。また、上記手首規定点から見て実際の操作者の手寸法と整合した画面上の所定範囲内に画像指先点が存在する場合には、指示体画像の配置方向にかかるリアリティも比較的良好に確保できる。
【００２３】
しかし、Ｙ方向の入力位置が大きく変化しうる入力画面（例えばキーボード画面や地図画面など）が採用されている場合は、手首位置もＹ方向に大きく変動しうるので、表示座標平面上にて手首規定点を、特定された画像指先点と予め定められた位置関係を有するものとなるように設定するよう、指方向規定点設定手段を構成することが、指示体画像の配置方向のリアリティを高める上で望ましい。具体的には、画面領域に指を含む掌の画像を、該画面領域の下側に手首位置が外れる位置関係にて表示する前提にて、指方向規定点設定手段を、表示座標平面上にて画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、Ｙ方向にて画面領域内に特定された画像指先点から一定長下側に離間した位置に手首規定点を設定するとよい。
【００２４】
例えば座席への着座状態のように体の位置が固定となる場合において、入力操作面内で操作位置を変更する際の操作者の手及び腕の動きを分析すると、Ｘ方向に指先を移動する場合は、操作者の癖によっても多少の違いはあるが、肘関節の動きは比較的小さく、掌を、該掌の中央付近に位置する軸線周りに回転させる感覚で指先を移動させる動きが主体的となることが多く、指方向角度も該掌の回転角度ひいては画像指先点のＸ座標に応じて変化することになる。
【００２５】
従って、前述の指方向規定点設定手段は、画像指先点のＸ座標に応じて、指方向を決める手首規定点のＸ座標が変化するように該手首規定点を変更設定するように構成すると、指示体画像の配置方向にかかるリアリティをさらに高めることができる。例えば、画面領域の下方に（基準手首位置を示す）基準手首規定点を固定的に定め、指方向規定点設定手段を、原指像のＹ方向に対する傾斜角度が大きくなるほど、基準手首規定点からのＸ方向への変位量が大きくなるように手首規定点のＸ座標値を決定するものとして構成すると、Ｘ方向への手の操作移動形態をよりリアルに模写した指示体画像表示が可能となる。
【００２６】
上記のごとく、回転中心が掌の内側に存在する想定では、指先がＸ方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。従って、方向に対し右上がり形態に傾斜している原指像については、Ｘ方向にて基準手首規定点に対し左側に変位するように手首規定点のＸ座標値を決定し、Ｙ方向に対し左上がり形態に傾斜している原指像については、Ｘ方向にて基準手首規定点に対し右側に変位するように手首規定点のＸ座標値を決定するように、指方向規定点設定手段を構成するのが妥当である。
【００２７】
次に、画像指先点が画面領域上に複数特定される場合には、指方向規定点設定手段は、各画像指先点について共通の手首規定点を決定するものとして構成できる。これは各指の方向が手首側の一点に収束するという前提での、手首規定点決定にかかる近似アルゴリズムであり、複数の指示体画像の配置方向を比較的簡単に決定できる利点がある。この場合、指方向規定点設定手段は、画面領域上にてＹ方向における最も上側に画像指先点が位置する原指像を代表原指像として用い、該代表原指像のＹ方向に対する傾斜角度が大きくなるほど、基準手首規定点からのＸ方向への変位量が大きくなるように手首規定点のＸ座標値を決定するように構成することができる。
【００２８】
一方、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しＸ方向に互いに異なる位置に接続することとなる。従って、画像指先点が画面領域上に複数特定される場合は、指方向規定点設定手段を、手首規定点を各画像指先点について独立に決定するとともに、指示体画像の配置方向を、各画像指先点について対応する手首規定点を用いて決定するように構成することができる。この構成では、手首規定点を指毎に別々に決定しなければならないが、指示体画像の配置方向を、実際の手形態により忠実に反映した形で決定することが可能である。
【００２９】
具体的には、指方向規定点設定手段は、基準手首規定点よりもＸ方向右側に位置している画像指先点については、手首規定点のＸ座標を基準手首規定点よりも右側に設定し、基準手首規定点よりもＸ方向左側に位置している画像指先点については、手首規定点のＸ座標を基準手首規定点よりも左側に設定するように構成できる。この場合、基準手首規定点に対するＸ方向変位の大きい画像指先点ほど、基準手首規定点からのＸ方向への変位が大きくなるように手首規定点を設定すれば、実際の手形態への近似度をより高めることができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明の画像表示装置の適用対象となる、車載用電子機器の操作装置の一例を示すものである。この操作装置１は、自動車の車室内において、インパネ中央部にモニタ（表示装置）１５が配置され、センターコンソールＣの、運転席２Ｄ及び助手席２Ｐのいずれからも操作可能な位置に操作部１２が配置されている。使用目的は特には限定されないが、例えばセンターコンソールに設けられたモニタ１５の画面を見ながら、カーナビゲーション装置やカーオーディオ装置の機能操作を行なうためのものである。
【００３１】
操作部１２は、入力操作面が上向きとなるように取り付けられている。該入力操作面を形成するのは周知のタッチパネル１２ａであり、抵抗膜方式、表面弾性波方式あるいは静電容量方式のいずれを採用してもよい。タッチパネル１２ａは、その基材が透明樹脂板あるいはガラス板等により透明入力支持板として構成され、操作者の指先によるタッチ操作を上面側にて支持しつつ受け付ける。そして、モニタ１５の画面領域に対応した入力座標系が板面に沿って設定される。
【００３２】
図２は、入力部１２の内部構造を模式的に示す断面図であり、筐体１２２ｅの上面に前述のタッチパネル１２ａが、入力操作面１０２ａ側が上となるように嵌め込まれている。筐体１２ｄの内部には、照明光源１２ｃ及び撮影光学系とともに手撮影カメラ１２ｂが収容されており、画像データ取得手段を構成している。照明光源１２ｃは、凸曲面形態のモールドにより素子直上側への輝度指向性を高めた発光ダイオード光源（従って、単色光源である）であり、タッチパネル１２ａの下面を取り囲む形態で複数配置されている。各照明光源１２ｃは、高輝度となるモールド先端側をタッチパネル１２ａの下面内側に向けそれぞれ傾けて取り付けてあり、入力操作面１０２ａ上の操作者の手Ｈの掌面による一次撮像反射光ＲＢ１が、タッチパネル１２ａを透過する形で下向きに生ずるようになっている。
【００３３】
撮影光学系は、第一反射部１２ｐと第二反射部１２ｒとを有する。第一反射部１２ｐは、タッチパネル１２ａの直下に対向配置されたプリズム板（三角柱状の微小プリズムを面内に並列に配置した透明材料板：以下、プリズム板１２ｐともいう）であり、操作者の手Ｈからの一次撮像反射光ＲＢ１を斜め上方に反射することにより、該プリズム板１２ｐとタッチパネル１２ａとの対向空間１２ｆの側方外側へ二次撮像反射光ＲＢ２として導く。第二反射部１２ｒは上記対向空間の側方外側に配置された平面反射鏡（以下、平面反射鏡１２ｒともいう）であり、上記二次撮像反射光ＲＢ２を側方へ反射することにより、対向空間１２ｆを挟んで第二反射部１２ｒの反対側に位置する手撮影カメラ１２ｂに対し三次撮像反射光ＲＢ３として導く。手撮影カメラ１２ｂは該三次撮像反射光ＲＢ３の焦点に対応する位置に設けられ、操作者の指を含む手Ｈの画像データを撮影取得する。
【００３４】
プリズム板１２ｐは、図２内に拡大して示すように、ミラー基面ＭＢＰに対しそれぞれ等角度で傾斜する反射面を有したリブ状の微小プリズムを、ミラー基面ＭＢＰに沿って互いに平行となるように密接形成したものであり、ミラー基面ＭＢＰを傾けずとも、その法線方向に入射する光を（斜め）側方へ反射することができる。従って、側方反射のための第一反射部１２ｐをタッチパネル１２ａの下方に平行対向する形で配置でき、対向空間１２ｆの高さ方向寸法を大幅に縮小できる。
【００３５】
また、その対向空間１２ｆを側方から挟んで第二反射部１２ｒと手撮影カメラ１２ｂとを対向配置することで、手撮影カメラ１２ｂに直接入射する三次撮像反射光ＲＢを、対向空間１２ｆを横切る形で導くことができる。これにより、第二反射部１２ｒと手撮影カメラ１２ｂとを、タッチパネル１２ａの側縁に近接配置でき、かつ、手Ｈから手撮影カメラ１２ｂへの撮像反射光の入射経路が、対向空間１２ｆ内でいわば三つ折状に畳み込まれる形になるので、撮像光学系全体の大幅なコンパクト化と、筐体１２ｄの薄型化とが実現されている。特に、タッチパネル１２ａのサイズ（つまり、入力操作面１０２ａの縦横寸法）を縮小することで、入力部１２全体の劇的な小形化及び薄型化が実現し、図１のセンターコンソール部Ｃの幅が比較的小さい車両や、シフトレーバー前方の限られた取付スペースしか活用できない車両にも問題なく取り付けが可能となる。
【００３６】
上記の光学系では、撮像光は手撮影カメラ１２ｂに入射するまでに奇数回（手Ｈ、第一反射部１２ｐ及び第二反射部１２ｒ）の反射を繰り返す。手Ｈは掌面側から撮影されるので、手撮影カメラ１２ｂが取得する画像データ上には、掌面側から見た手Ｈを鏡映反転した形で手像が表れる。この手像の輪郭線は、手Ｈを甲側から見た場合の輪郭線と一致するから、結局、手撮影カメラ１２ｂが取得する画像データは、特に鏡映反転処理することなくモニタ１５への表示用に活用することができる。
【００３７】
タッチパネル１２の入力操作面１０２ａは、手撮影カメラ１２ｂの撮影範囲１０２ｂに対応しており、平均的な寸法の大人の手を想定した場合に、中指の指先端を含む長手方向の一部のみが入力操作面１０２ａ内に入るように、その上下方向（Ｙ方向）寸法が定められている（例えば、６０〜９０ｍｍ（具体例として７５ｍｍ））。これにより、モニタ１５の画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。また、入力操作面１０２ａの左右方向（Ｘ方向）寸法は１１０〜１３０ｍｍ（例えば、１２０ｍｍ）であり、手を乗せて各指を大きく開いた状態では、人差し指、中指、薬指及び小指が撮影範囲内となり、親指が撮影範囲外となっている。ただし、各指を適当に閉じれば全ての指を撮影範囲内に収めることも可能である。
【００３８】
図３は、操作装置１の電気的構成を示すブロック図である。操作装置１の制御主体をなすのは操作ＥＣＵ１０である。該操作ＥＣＵ１０は、ＣＰＵ１０１を主体とするコンピュータハードウェア基板として構成され、具体的には、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、グラフィックコントローラ１１０、ビデオインターフェース１１２、タッチパネルインターフェース１１４、汎用入出力部１０４及びシリアル通信インターフェース１１６が内部バス１０５により相互接続された構造を有する。グラフィックコントローラ１１０には表示用ビデオＲＡＭ１１１及びモニタ１５が、ビデオインターフェース１１２には撮影用ビデオＲＡＭ１１３及び手撮影カメラ１２ｂが、タッチパネルインターフェース１１４にはタッチパネル１２ａが、そして、汎用入出力部１０４にはドライバ（駆動回路）１１５を介して照明光源１２ｃがそれぞれ接続されている。また、シリアル通信インターフェース１１６には、ＣＡＮ通信バスなどの車載用シリアル通信バス３０が接続され、これにネットワーク接続された他のＥＣＵ、具体的にはカーナビゲーション装置の制御を司るナビＥＣＵ２００と相互通信可能とされている。
【００３９】
ビデオインターフェース１１２には、手撮影カメラ１２ｂが撮影取得するアナログもしくはデジタルの映像信号が継続的に入力されるとともに、撮影用ビデオＲＡＭ１１３内に画像フレームデータとして、所定の時間間隔で取り込まれる。撮影用ビデオＲＡＭ１１３の記憶内容は、新しい画像フレームデータが取り込まれる毎に随時更新される。
【００４０】
グラフィックコントローラ１１０は、通信インターフェース１１６を介してナビＥＣＵ２００から入力画面画像フレームデータを取得するとともに、ＣＰＵ１０１側からは指示体画像が所定位置に張り込まれた指示体画像フレームデータを取得し、表示用ビデオＲＡＭ１１１上にて周知のアルファブレンディング処理等によりフレーム合成し、モニタ１５に出力する。
【００４１】
タッチパネルインターフェース１１４は、タッチパネル１２ａの方式に応じた固有の駆動回路を有するとともに、タッチパネル１２ａからの信号入力状態に基づいて、入力操作面１０２ａへのタッチ操作による入力位置を検出し、その検出結果を位置入力座標情報として出力する。
【００４２】
なお、手撮影カメラ１２ｂの撮影範囲（撮影視野；ひいては、該手撮影カメラ１２ｂにより撮影取得される画像データ）、タッチパネル１２ｂの操作入力面、モニタ１５の画面領域（ひいては、その表示内容を決定する入力画面画像フレームデータ及び指示体画像フレームデータ）には、二次元座標対応関係が一義的に定められている。
【００４３】
また、ＲＯＭ１０３には、ＣＰＵ１０１が実行する以下のようなソフトウェアが格納されている。これにより、ＣＰＵ１０１は、画像指先点特定手段、指方向規定点設定手段及び指示体配置方向決定手段として機能する。
・タッチパネル制御ソフトウェア１０３ａ：タッチパネルインターフェース１１４から入力位置座標を取得し、入力画面画像フレームデータとともにナビＥＣＵ２００から送られてくる、操作入力内容の判定参照情報（例えば、ソフトボタンの領域特定情報や、当該ソフトボタンがタッチ操作されたときに出力するべき操作コマンド内容等の情報を含む）を取得する。そして、該入力位置座標と取得した判定参照情報とに基づいて現在の操作入力内容を特定し、ナビＥＣＵ２００に対して対応する操作コマンドの実行指令出力を行なう。
【００４４】
・表示制御ソフトウェア１０３ｂ：グラフィックコントローラ１１０への入力画面画像フレームデータの取り込み指令を行なうとともに、後述の方法により作成した指示体画像フレームデータをグラフィックコントローラ１１０へ転送する。
・画像指先点演算ソフトウェア１０３ｃ：手撮影カメラ１２ｂが撮影した操作者の手の画像データを二値化し、その原指像の指先位置を画像指先点として特定する演算を行なう（なお、手の画像データの二値化処理は、ビデオインターフェースの出力段に画素の二値化回路を組み込んで事前に行なうようにしてもよい）。
・指示体画像合成ソフトウェア１０３ｄ：指示体画像データ１０３ｅに基づいて作成した指示体画像を、その指先位置が画像指先点と一致するように、指示体画像フレーム上に貼り付ける処理を行なう。
【００４５】
以下、操作装置１の動作について説明する。
モニタ１５の画面（領域）には、先行するコマンド入力（例えば別画面でのタッチ入力操作に基づく）により、すでに図１４あるいは図１５と同様の（ただし手画像ＳＦは除く）キーボード入力画面（地図画面など、他の入力画面であってもよい）が表示されているものとする。この状態で、図２に示すように、タッチパネル１２ａの入力操作面１０２ａに手Ｈを近づけると、手撮影カメラ１２ｂは、照明光源１２ｃからの照明光の手による反射光に基づいて手像を撮影する。手像の画素は反射光の受光により背景領域よりも明るく現れる。従って、図４のＡに示すように、画素の輝度を適当な閾値で二値化すれば、高輝度画素値（ここでは「１」とする）を示す領域を手像領域（図中黒で表している）、低輝度画素値（ここでは「０」とする）を示す領域を背景領域（図中白で表している）として、互いに画像分離できる。
【００４６】
次に、二値化された上記の原画像データを第一画像データ（Ａ）として、該第一画像データを手像の掌長方向（Ｙ方向）に所定距離（例えば、中指第一関節より先を指先部分として、その２０％〜８０％（実距離にして５〜２０ｍｍ程度））だけ平行移動させて得られる画像データを、図４のＢに示す第二画像データとする。そして、図４のＣに示すように、両画像データを重ね合わせたときの、指先側に現れる手像非重なり領域を指先領域として特定する。撮影取得された原画像データを手像の掌長方向に平行移動して重ね合わせることにより、指先領域を手像非重なり領域として簡単に特定することができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。
【００４７】
図４のＣにおいては、第二画像データＢを、第一画像データＡを掌長方向（Ｙ方向）にて手首側へ後退移動させて作成しており、第一画像データＡの手像指先側に現れる非重なり領域が指先領域として特定される。撮影範囲（ひいてはモニタ１５の画面領域）との座標対応関係が保存される第一画像データＡ上にて指先領域を特定でき、後述の画像指先点、ひいては、画面領域上の対応座標点の特定処理を簡便に行なうことができる。
【００４８】
また、第一及び第二画像データはいずれも二値化されており、手像非重なり領域は、第一画像データと第二画像データとの画像差分を演算することで特定される。これにより、非重なり領域の画素を特定する処理は、第一及び第二画像データの対応する画素間の論理演算に転換できる（具体的には、対応画素間の排他的論理和が０になれば、それを非重なり領域の画素として特定できる）。なお、第一及び第二画像データの非重なり領域は、指の側面部分に細く生ずる場合がある。しかし、このような側面部分は、「１」となる画素のＸ方向の連続個数が所定値未満となる場合に、それら画素列を「０」反転する処理を行なえば、簡単に除去することができる。
【００４９】
こうして抽出された各指先領域は、図４のＤに示すように、既に説明した収縮処理が施される。具体的には、値が「１」となっている全ての画素について、これと一定の隣接関係にある画素（具体的には、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該画素の値を「０」反転する処理を行なう。該処理は。複数回繰り返し実施してもよい。
【００５０】
そして、図４のＥに示すように、該収縮処理後の各指先領域の重心座標を演算する。具体的には、隣接画素のラベリング処理等により、個々の指先領域を分離特定し、指先領域毎に全ての画素のＸ座標合計及びＹ座標合計を演算し、それぞれ総画素数で除することにより、各指先領域の重心のＸ座標及びＹ座標を特定できる。
【００５１】
なお、タッチパネルの入力操作面１０２ａに実際に接触するのは、指先端からＸ方向に少し下がった指腹付近の領域であるから、図４のＦでは、Ｅで計算された重心位置をＹ方向へ所定距離オフセットさせ、これを画像指先点Ｇとして決定する。ただし、Ｅの重心位置をそのまま画像指先点Ｇとして用いてもよく、この場合は該Ｆの処理は不要である。
【００５２】
図５は、各指の画像指先点（Ｇ１〜Ｇ５）が、入力操作面１０２ａ、ひいては画像フレーム上にて座標特定された状態を示している。そして、該画像フレーム上の各画像指先点Ｇ１〜Ｇ５に、原指像ＦＩとはデータ的に無関係な指示体画像を順次貼り込んで、指示体画像フレームを作成する。この指示体画像は、原指像ＦＩよりも相対的に狭幅となるように作成される。例えば、１８歳以上の日本人全体の指幅分布にて、平均値を中心として９０％の対象者が包含される範囲の下限値に相当する指幅の、例えば５０％以上８０％以下となるように指示体画像の幅寸法を設定しておけば（例えば、人差し指の場合は、第一関節位置での指実寸換算にて７ｍｍ以上１４ｍｍ以下）、子供を除くほとんど全ての操作者に対して、指示体画像を原指像よりも相対的に狭幅とすることができる。
【００５３】
指示体画像としては、指の輪郭形状を模した模擬指画像を使用できる。単純なものとしては、図１０に示すように、指先部分の輪郭を示す円弧図形２０１と、残余の部分の輪郭を示す矩形図形２０２とを組み合わせた模擬指画像を例示できる。指先部分を円弧とすることで、その円弧の中心点２０１ｇを、上記画像指先点に合わせ込むべき指先位置として活用しやすい利点がある。また、模擬指画像よりもさらに単純な指示図形、例えばポインタに類した矢印状の図形を表示することも可能である。
【００５４】
一方、図１１に示すように、実際の指をより精密に模した指輪郭線を折れ線や曲線（例えば、Ｂスプライン曲線やペジェ曲線）により表現した指輪郭画像データＳＦ１〜ＳＦ５を使用してもよい。該指輪郭画像データＳＦ１〜ＳＦ５は、指輪郭に対応して配列する一連のハンドリング点ＨＰにより規定されるベクトルアウトラインデータとして構成できる。
【００５５】
また、指示体画像として、個々の指を分離した形で事前に撮影取得された人の実指画像（例えば、操作者本人の指画像や、手専門のパーツモデルから撮影取得したモデル指画像を採用できる）を使用することも可能である。この場合、指撮影画像から周知のエッジ検出処理により輪郭線を抽出し、これを近似するベクトルアウトラインデータを作成することにより、図１１と同様の指輪郭画像データＳＦ１〜ＳＦ５を得ることができる。また、図１２に示すように、指撮影画像を二値化したビットマップ図形データを指示体画像ＳＦとして用いてもよい（この場合は、指輪郭線の抽出は不要である）。
【００５６】
図６の右に示すように、指示体画像ＳＦの先端部には予め定められた位置に指示体指先点Ｇ’が定められており、図６の右に示すように、この指示体指先点Ｇ’を各画像指先点（Ｇ１〜Ｇ５）に合わせこむ形で、画像フレーム上に指示体画像ＳＦを貼り込んでゆくことになる。しかし、この貼り込みを行なうためには、指先位置Ｇ’のほかに指の方向を情報として特定する必要がある。そこで、図５に示すように、画像フレーム（表示座標平面）上に画像指先点（Ｇ１〜Ｇ５）とは別に指方向規定点Ｗを設定し、該指方向規定点Ｗと画像指先点Ｇを結ぶ直線を指直線（Ｌ１〜Ｌ５）として定める演算を行なう。図６に示すように、各指示体画像ＳＦ１〜ＳＦ５は、指先位置Ｇ’が画像指先点（Ｇ１〜Ｇ５）と一致し、かつ、決定された指直線（Ｌ１〜Ｌ５）に該指示体画像ＳＦの長手方向基準線（指示体画像ＳＦ１〜ＳＦ５毎に予め定められている）が一致するように貼り込まれ、指示体画像フレームが作成される。
【００５７】
手の各指骨は手首関節に向けて収束する形態に配列しているから、図５において指方向規定点Ｗは、この手首に相当する手首規定点（以下、手首規定点Ｗとも記す）として規定されている。前述のごとく、入力操作面１０２ａ（撮影範囲）が、掌の指先側をなす一部分だけが収まるように寸法設定されており、かつ、撮影領域に対して手前側から手を伸ばし入れる形で操作がなされるので、手首規定点Ｗは画面領域の下側に外れた形で設定される。図５においては、Ｙ方向にて画面領域の下縁から一定長Ｙ０だけ下側に離間した位置に手首規定点Ｗが設定されている。画面上の画像指先点（Ｇ１〜Ｇ５）のＹ座標とは無関係に、手首規定点ＷのＹ方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点Ｗの決定アルゴリズムが簡略化できる。図５の実施形態において、手首規定点ＷのＸ座標は、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に固定されている。なお、画面領域のＹ方向高さをＬとしたとき、Ｙ０＋Ｌ／２の値は、例えば１００ｍｍ以上２００ｍｍ以下に調整するとよい。
【００５８】
こうして図６のごとく作成された指示体画像フレームはグラフィックコントローラ１１０に転送され、別途取得されている入力画面画像フレームデータと合成され、モニタ１５に表示される。入力画面画像フレームデータと指示体画像フレームデータとを合成する方法としては、指示体画像ＳＦのデータ形態により次にような手法を採用することができる。
（１）指示体画像データがはじめからビットマップデータにより記述されている場合は、対応する画素同士のアルファブレンディング処理により、指示体画像を入力画面上に透かし形態で重ね表示することができる。
（２）指示体画像データがベクトルアウトラインデータで記述されている場合は、指示体画像フレーム上で該データを用いて指示体画像の輪郭線を生成し、さらにその内部をラスタライジングしてビットマップ化し、その後は（１）と同様のアルファブレンディング処理を行なう。
（３）指示体画像データをなすベクトルアウトラインデータを用いて入力画面画像フレーム上に輪郭線を描画し、その内部に位置する入力画面画像の画素を抽出するとともに、該抽出された画素の設定値を一律にシフトさせる。
【００５９】
（１）〜（３）のいずれにおいても、指示体画像データの輪郭線を形成する画素については、指示体画像データ側のブレンド比を高めることで、輪郭線の強調された指示体画像を重畳表示できる。また、指示体画像データを、ビットマップデータもしくはベクトルアウトラインデータで記述された輪郭線のみの画像データとし、輪郭線のみを重ね表示することも可能である。
【００６０】
本実施形態の操作装置１により実現できる効果は以下のごとくである。
すなわち、図１に示すように、モニタ１５の画面は、運転席２Ｄないし助手席２Ｐに着座する操作者から見て、タッチパネル１２ａ上の指を直視する向きから外れて配置されているから、操作を行なう手元とモニタ１５との双方を同時に直視することができない。従って、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源となる。本発明においては、画像データ上での原指像ＦＩの状態とは無関係に、個々の指を示す指示体画像ＳＦを該原指像ＦＩよりも細くした形で画面上に確実に表示することができ、ひいては、撮影された原指像がそのまま太く拡大表示されて操作性に支障をきたす不具合を効果的に解消することができる。
【００６１】
該効果は、図５に一点鎖線で示すように、撮影範囲（ひいては、タッチパネルの操作入力面１０２ｂ）が縮小された場合に、さらに顕著となる。人差し指、中指及び薬指のうち、２本の全体が少なくとも撮影可能であり、４本の全体は撮影不能な大きさに設定されている場合、つまり、図１４のように、人差し指、中指、薬指及び小指の全てが入るのではなく、人差し指、中指、薬指の３本、あるいは、図１５のように、人差し指と中指（もしくは中指と薬指）の２本が入る大きさに設定されている場合がこれに該当する。
【００６２】
特に、図１５の場合、入力操作面１０２ａ（撮影範囲）の寸法を具体的な数値で表すと、Ｘ方向寸法は、６０ｍｍ以上８０ｍｍ以下（例えば７０ｍｍ）、Ｙ方向寸法が３０ｍｍ以上５５ｍｍ以下（例えば、４３ｍｍ）である。撮影範囲に収まる指の数は２本であるが、もし、撮影された原指像ＦＩを二値化しただけでそのままモニタ１５の画面領域に表示しようとすると、図１３に破線で示すように、撮影範囲が縮小される分だけ２本の原指像ＦＩが大きく拡大されて表示されることとなる。モニタ１５には、五十音入力用のソフトキーボードＫＢが表示されているが、ソフトボタンＳＢの数は５０を超え、拡大された原指像ＦＩの幅方向には３個を超えるソフトボタンＳＢの画像が重なっている（つまり、このソフトキーボードＫＢの表示画面には、画像データ上の原指像ＦＩを、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該原指像ＦＩの仮想投影領域に対しソフトボタンＳＢ画像が、指幅方向に複数（具体的には、２個を超える数で）包含される寸法ならびに配列間隔にて表示形成されている）。これでは、手指が狙ったソフトボタンに正しく向けられているのか否かが非常にわかりにくく、当然、狙ったボタンの隣を押し違えたりする不具合も生じやすい。
【００６３】
しかし、図１３に実線で示すように、この原指像ＦＩよりも狭幅化した指示体画像ＳＦでこれを置き換え表示すれば、指示体画像ＳＦの幅方向に重なるソフトボタンＳＢの数は２個ないし１個に減じられ、指示体画像ＳＦ付近のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンＳＢのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上することは明らかである。
【００６４】
以下、手首規定点の設定方式にかかる種々の変形例について説明する。
まず、Ｙ方向の入力位置が大きく変化しうる場合は、それに伴なう手首位置のＹ方向変化も考慮する必要がある。この場合、図７に示すように、表示座標平面上にて手首規定点Ｗを、特定された画像指先点Ｇと予め定められた位置関係を有するものとなるように設定すると、指示体画像ＳＦの配置方向のリアリティをより高めることができる。具体的には、Ｙ方向にて画面領域内に特定された画像指先点Ｇから一定長Ｙ２（例えば、Ｙ２は１００ｍｍ以上２００ｍｍ以下である）だけ下側に離間した位置に手首規定点Ｗを設定するとよい。
【００６５】
次に、図１のような配置形態の操作部１２を、座席２Ｄないし座席２Ｐから手元操作しようとした場合を考える。着座状態で、体の左（運転席２Ｄの場合）ないし右（助手席２Ｐの場合）脇の操作部１２上に置いた手をＹ方向に移動する場合は、肩関節及び肘関節を動しながら前方に伸ばした下椀部を前後に移動させる動作が中心となる。その結果、入力操作面１０２ａ上で撮影される掌の動きは、Ｙ方向にほぼ平行移動する形に近く、入力に関与する指の方向（角度）もそれほど大きくは変化しない。しかし、手をＸ方向に移動する場合は手首の回転動が主体的となり、入力操作面１０２ａ上で撮影される掌の動きは、掌中央付近の軸線周りに手を回転させる形態に近くなる。その結果、指入力に関与する指の方向（角度）は、手の回転角度に応じて変化することになる。
【００６６】
そこで、図８に示すごとく、指方向を決める手首規定点ＷのＸ座標を画像指先点ＧのＸ座標に応じて変化させる方式を採用すれば、上記のような手の動きを反映させる上で好都合である。図８においては、画面領域（撮影範囲）の下方に、基準手首位置を示す基準手首規定点Ｗ０を固定的に定め、原指像ＦＩのＹ方向に対する傾斜角度θが大きくなるほど、基準手首規定点Ｗ０からのＸ方向への変位量が大きくなるように手首規定点ＷのＸ座標値を決定することができる。
【００６７】
図８においては、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に基準手首規定点Ｗ０のＸ座標を定め、また、既に特定された複数の画像指先点のうち、指先位置が最も上方に位置するもの（図８では、中指に対応する画像指先点Ｇ３）を基準として、そこから一定値Ｙ２だけ下方へ移動した位置に基準手首規定点Ｗ０のＹ座標を定めている。
【００６８】
上記のごとく、回転中心が掌の内側に存在する想定では、指先がＸ方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。そこで、方向に対し右上がり形態に傾斜している原指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し左側に変位するように手首規定点ＷのＸ座標値を決定し、Ｙ方向に対し左上がり形態に傾斜している原指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し右側に変位するように手首規定点ＷのＸ座標値を決定する。具体的には、指先位置が最も上方に位置する原指像ＦＩ（画像指先点Ｇ３に対応）を代表原指像として用い、該原指像ＦＩのＹ方向に対する傾斜角度（時計回りを正方向として定義する）θを求める。該傾斜角度θは、例えば原指像ＦＩを構成する画素点に最小二乗法を適用して得られる直線の勾配から計算することができる。求めるべき手首規定点Ｗの基準手首規定点Ｗ０からのＸ方向変位（あるいは、Ｘ座標値そのものであってもよい）を各種θの値毎に事前に定め、図３のＲＯＭ１０３に記憶しておけば、計算されたθに対応するＸ方向変位は、該テーブルから読み出すことで容易に決定できる。図８においては、手首規定点ＷのＹ座標は、基準手首規定点Ｗ０のＹ座標と常に等しくなるように定めてある。つまり、手首規定点Ｗは、角度θに応じて、基準手首規定点Ｗ０を通ってＸ軸と平行な直線上を動く形で設定されている。ただし、円弧状の経路に沿って手首規定点Ｗを定めてもよい。
【００６９】
なお、代表原指像としては、撮影範囲のＸ方向（またはＹ方向）の中心に最も近いＸ座標（またはＹ座標）を画像指先点として有するものを採用してもよい。また、複数の画像指先点（Ｇ１〜Ｇ５）のＸ座標及びＹ座標を平均化して得られる点を代表画像指先点として用いる形で手首規定点Ｗを定めてもよい。また、指先位置が奇数個の場合は中央にある原指像の画像指先点を、偶数個の場合は中央に近い２つの原指像を採用して、それらの画像指先点のＸ座標及びＹ座標を平均化して得られる点を、それぞれ代表画像指先点として定める方式も可能である。
【００７０】
次に、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しＸ方向に互いに異なる位置に接続することとなる。そこで、図９に示すように、複数の画像指先点Ｇ１〜Ｇ５について独立な手首規定点Ｗ１〜Ｗ５を決定し、指示体画像の配置方向を、各画像指先点Ｇ１〜Ｇ５について対応する手首規定点Ｗ１〜Ｗ５を用いて決定することができる。具体的には、基準手首規定点Ｗ０よりもＸ方向右側に位置している画像指先点Ｇ１，Ｇ２については、Ｘ座標が基準手首規定点Ｗ０よりも右側に位置するように対応する手首規定点Ｗ１，Ｗ２を設定し、基準手首規定点Ｗ０よりもＸ方向左側に位置している画像指先点Ｇ３，Ｇ４，Ｇ５については、Ｘ座標が基準手首規定点Ｗ０よりも左側に位置するように対応する手首規定点Ｗ３，Ｗ４，Ｗ５を設定している。
【００７１】
なお、基準手首規定点Ｗ０に対するＸ方向変位（ｈ１〜ｈ５）の大きい画像指先点ほど、対応する手首規定点のＸ座標は基準手首規定点Ｗ０からのＸ方向への変位が大きくなるように定められている。具体的には、画像指先点の基準手首規定点Ｗ０に対するＸ方向変位に一定の倍率係数ｋ（例えば、０．１≦ｋ≦０．３）を乗じた値を、手首規定点ＷのＸ座標にかかる基準手首規定点Ｗ０からのＸ方向変位として算出している。
【００７２】
以上、本発明の画像表示装置を車載用電子機器の操作装置に適用した例について説明したが、本発明はこれに限定されるものではなく、例えば、パーソナルコンピュータ用のＧＵＩ入力デバイスなどにも適用可能である。
【図面の簡単な説明】
【００７３】
【図１】本発明の適用対象となる車載用電子機器操作装置の車内取付形態の一例を示す斜視図。
【図２】操作部の内部構造の一例を示す断面模式図。
【図３】図１の車載用電子機器操作装置の電気的構成の一例を示すブロック図。
【図４】画像指先点を決定する画像処理の流れを示す説明図。
【図５】手首規定点及び指直線を決定する幾何学的な原理を説明する図。
【図６】図５で決定された指直線に沿って指示体画像を貼り付けた状態を示す説明図。
【図７】手首規定点を決定する第一の別例を説明する図。
【図８】手首規定点を決定する第二の別例を説明する図。
【図９】手首規定点を決定する第三の別例を説明する図。
【図１０】指示体画像の第一例を示す図。
【図１１】同じく第二例を示す図。
【図１２】同じく第三例を示す図。
【図１３】指示体画像を重畳した画面表示例を示す図。
【図１４】入力操作面を通常寸法とした場合の指画像と入力操作面との位置関係、及び該指画像を重畳した従来の画面表示例を示す図。
【図１５】入力操作面を縮小寸法とした場合の指画像と入力操作面との位置関係、及び該指画像を重畳した従来の画面表示例を示す図。
【図１６】収縮処理の問題点を説明する図。
【符号の説明】
【００７４】
１ 車載電子機器用操作装置（画像表示装置）
１０ 操作ＥＣＵ
１２ 入力部
１２ａ タッチパネル（位置入力装置）
１２ｂ 手撮影カメラ（画像データ取得手段）
１５ モニタ（表示装置）
１０１ ＣＰＵ（画像指先点特定手段、指方向規定点設定手段、指示体配置方向決定手段）
ＦＩ 原指像
ＳＦ 指示体画像
Ｇ 画像指先点
【技術分野】
【０００１】
本発明は、画像表示方法、画像表示装置及びそれを用いた操作装置に関する。
【背景技術】
【０００２】
【特許文献１】特開２０００−３３５３３０号公報
【特許文献２】特開２０００− ６６８７号公報
【特許文献３】特開２００４− ２６０４６号公報
【０００３】
従来、カーナビゲーション装置のような車載機器の操作装置として、操作者の手をカメラで撮影し、その撮影データから指画像を抽出し、抽出した指画像域を車載機器のＧＵＩ入力画面（例えば、ナビ画面など）に重畳表示するタイプのものが提案されている。例えば、特許文献１には、車体の天井に取り付けたカメラを用いて、座席手元のスイッチパネルを操作する手の様子を撮影し、撮影した手とスイッチパネルとを、操作者の前方に対向配置された液晶パネルに表示する構成が開示されている。また、特許文献２には、車両のルーフに配置されたビデオカメラを用いてドライバの手を撮影して輪郭抽出し、表示器上のソフトボタンにその輪郭画像を重畳表示する構成が開示されている。さらに、特許文献３には、スイッチマトリックス上の操作ボタンと手とを撮像し、タッチセンサによりスイッチマトリックスに手が近づいたことを検出して、手画像をスーパーインポーズして表示する構成が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の操作システムにおいては、車両への搭載スペースの節約や、操作時の手指移動量の低減を目的として、操作面寸法の小型化が進んでいる。この場合、次のような問題が生じる。すなわち、操作面と入力画面（画面領域）とは、指による操作面上の入力位置と画面上の指示位置とが幾何学的に対応するよう、一義的な座標関係が定められている。その結果、操作面上で撮影される操作者の手（指）の画像を入力画面上に重畳表示する場合、操作面寸法が画面寸法に対して相対的に縮小すると、手の表示寸法が入力画面上で拡大されてしまい、指が過度に太く表示されて違和感を生ずる問題がある。
【０００５】
図１４は、操作面上に重ね配置されたタッチパネルによる、入力画面１５上のソフトボタンへの仮想的な指操作入力を、画面１５上に重畳表示される手画像ＳＦにより支援する事例を示している。操作面１０２ａは、横幅約１２０ｍｍであり、普通の大人の広げた掌のうち、親指を除く４本の指の全体が包含される程度のサイズとなっている。対応する画面１５にはキーワード入力用上の日本語五十音キーボードが表示されており、上記操作面と手の寸法関係を想定し、指一本の画像幅に対しソフトボタンの配列個数が高々２個程度となるように、個々のボタンの表示寸法及び配列間隔が調整されている。手画像ＳＦの指先部分に対するボタンの密集感がそれほど生じておらず、違和感のない入力が可能となっている。
【０００６】
一方、図１５は、画面１５の寸法を変えずに、操作面１０２ａの横幅を７０ｍｍに小型化した場合の表示例を示すものである。図１４の場合と異なり、操作面１０２ａ上に収まっている指ＦＩの本数は２本程度であり、これが画面１５上に相対的に拡大されて表示される。その結果、指一本の画像幅に対応するソフトボタンの配列個数が３個を超え、手画像ＳＦに対するボタンの密集感が格段に増していることがわかる。これでは、画面上に複数配置されたボタンのどれを操作しているのかが非常にわかりにくく、操作性の悪化は必至であり、狙ったボタンの隣を押し違えたりするといった不具合も当然生じやすくなる。もちろん、入力画面がキーボードではなく、例えばポインタによる位置指定入力が可能な地図画面等であっても、操作性が悪化する事情は全く同じである。
【０００７】
この場合、指画像に合わせて入力画面の表示内容（例えば前述のソフトボタン等）も拡大することが考えられるが、モニタ寸法を拡大することは、表示装置の大型化や取付レイアウト変更（特に、はめ込み取り付けの場合は、インパネ等、はめ込み先となる内装樹脂成型品の設計変更も余儀なくされる）を招き、コストアップが避けがたい。他方、モニタ寸法を変えずに表示内容のみを拡大すると、それまで１画面に収まっていた入力画面内容の分割やスクロールが必要となり、操作性の悪化や表示アプリケーションの内容変更など、余分な開発工数が必要となる。
【０００８】
そこで、撮影された指画像を実際よりも細くなるように加工して入力画面に重畳表示す方式が考えられる。このような細指化加工の具体的な方法としては、例えば、画像の収縮処理に基づく方法を例示できる。これは、例えば、二値画像の場合、画面上の閉じた処理対象領域内の全ての画素が同じ値（例えば「１」）に設定されている場合、着目画素と一定の隣接関係にある画素（例えば、左右又は上下の２画素、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素など）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該着目画素の値を反転設定する処理である。こうした条件を満たす画素は通常、領域の輪郭線を構成する画素だから、輪郭線に沿った画素が一律に反転処理されることで、処理対象領域を内側に１画素分だけ一様に収縮させることができる。
【０００９】
上記のような収縮処理では、図１５のように、互いに分離された指画像が得られる場合は、個々の指を独立して細指化できる。しかし、図１６に示すように、指と指とが密着した状態では、指輪郭のコントラストを形成する背景領域の画素が密着区間で不在となり、当該区間では２本の指が一体の領域として認識されてしまうため、個別の細指化加工ができない問題がある。また、指と指とを分離認識できる輪郭区間が断続的に生ずるような緩い密着状態では、分離認識された輪郭区間でのみ画像収縮が不均一に進む形となり、指の密着区間では両指間に非反転画素領域が橋渡し状に残存して、くっついた部分と離れた部分とが混在した不自然な細指化結果しか得られない問題がある。
【００１０】
本発明の課題は、撮影等により取得した画像データ上での原指像の状態とは無関係に、個々の指を示す画像を該原指像よりも細くした形で画面上に確実に表示できる方法及び装置と、それを用いた操作装置とを提供することにある。
【課題を解決する手段及び発明の効果】
【００１１】
上記の課題を解決するために、本発明の画像表示方法は、
人の指の像を原指像として含む画像データを取得し、
画像データ上にて原指像の指先位置を画像指先点として特定し、
表示装置の、画像データとの間に一義的な座標対応関係を有する画面領域において、画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を、画像データとは別に用意された指示体画像データに基づいて表示することを特徴とする。
【００１２】
また、本発明の画像表示装置は、
人の指の像を原指像として含む画像データを取得する画像データ取得手段と、
画像データ上にて原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
画像データとの間に一義的な座標対応関係を有する画面領域を備えた表示装置と、
画面領域の画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を、画像データとは別に用意された指示体画像データに基づいて表示する指示体画像表示手段と、を備えたことを特徴とする。
【００１３】
上記本発明によると、取得した画像データにおける原指像の指先部分の位置を画像指先点として特定し、表示装置の画面領域上にてその画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を、原指像の画像データとは別の指示体画像データを用いて表示する。すなわち、原指像はあくまでユーザーによる指示位置特定にのみ用い、画面領域上には、別に用意された指示体画像を貼り付け表示する。これにより、画像データ上での原指像の状態とは無関係に、個々の指を示す指示体画像を該原指像よりも細くした形で画面上に確実に表示することができ、ひいては指像が過度に太く表示されることによる違和感の発生を防止することができる。
【００１４】
画像指先点特定手段は、画像データに複数本の原指像が含まれている場合に、該複数の原指像について画像指先点を特定するように構成できる。この場合、指示体画像表示手段は、画面領域にて複数の原指像の各画像指先点に対応する位置に、それぞれ指示体画像を表示するものとして構成できる。画像データ上に複数の原指像が表れている場合にも、複数の指示体画像を組み合わせて代替表示することにより、複数の指同士が密着して画像データ上で複数の原指像への分離が困難な場合にも、表示上はその細指化を問題なく図ることができる。
【００１５】
撮影距離規制手段は、手撮影カメラに対し一定の位置関係を充足するように固定配置され、撮影対象となる手を一方の板面側にて支持する透明支持板を有するものとして構成できる。手撮影カメラは、透明支持板の他方の板面側から該透明支持板を介して手を撮影するものとして構成できる。透明支持板上に撮影すべき手を載置することにより、手撮影カメラまでの撮影距離を常に一定に保つことができる。
【００１６】
この透明支持板は、手撮影カメラの撮影範囲に対応した入力操作面が板面に設定された位置入力装置をなすものとして構成でき、表示装置は、指示体画像により、入力座標系に対応する画面領域上での入力位置を指示表示するものとして構成できる。
【００１７】
また、本発明の操作装置は、
操作者の指先によるタッチ操作を一方の板面側にて支持しつつ受け付ける透明入力支持板を有し、画面領域に対応した入力座標系が該透明入力支持板の板面に沿って設定されるとともに、タッチ操作による入力位置を検出してその座標情報を出力する位置入力装置と、
透明入力支持板の他方の板面側から該透明入力支持板を介して、手撮影カメラにより操作者の指を含む手の画像データを撮影取得する画像データ取得手段と、
画像データ上にて指の像である原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
画面領域の画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を表示する指示体画像表示手段と、を備えたことを特徴とする。
【００１８】
これにより、操作者は、画面上の指示体画像により入力操作面上の指位置を把握でき、画面表示内容に従った入力操作を的確に実施できる。特に、表示装置の画面領域（画面）が操作者に対し、該操作者が入力操作面上の指を直視する向きから外れて配置されている構成（例えば、カーナビゲーションシステム等の車載用電子機器の操作装置の場合、操作者の着座する座席の左右脇（ないしその斜め前方）に入力操作面が配置され、表示装置の画面が該入力操作面よりも上方にて、操作者の前方ないし斜め前方に対向配置される構成）では、操作を行なう手元と画面との双方を同時に直視できないので、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源となる。そして、本発明の採用により、入力操作面（手撮影カメラの撮影範囲）の面積が画面領域の面積に対して相対的に縮小された構成においても、撮影された原指像がそのまま太く拡大表示されて操作性に支障をきたす課題を、効果的に解決することができる。
【００１９】
表示装置は、位置入力装置の入力操作面上に設定されたボタン操作領域に対応するソフトボタン画像を、画面領域の対応する座標位置に表示するものとして構成できる。本発明の採用により、太く拡大された原指像によるソフトボタンの指示位置が不明確となる不具合を効果的に解消することができる。例えば、画像データ上の原指像を、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該原指像の仮想投影領域に対しソフトボタン画像が、指幅方向に複数包含される寸法ならびに配列間隔にて表示形成される構成を採用することができる。本発明では、画面上に表示されるのが原指像よりも狭幅化された指示体画像であるから、指示体画像と重なるソフトボタンの配列個数が、原指像をそのまま採用する場合と比較して減じられ、指示体画像先端近傍のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上する。
【００２０】
本発明では、原指像とはデータ的に無関係な指示体画像を画面領域に対し、原指像から特定される画像指先点に、いわば後付けで貼り込む構成なので、指先位置のほかに指の方向を情報として特定する必要がある。これを前提に、指示体画像表示手段は、例えば、画面領域への指示体画像の表示位置を規定する表示座標平面上に指方向規定点を設定する指方向規定点設定手段と、設定された指方向規定点と画像指先点とに基づいて指示体画像の配置方向を決定する指示体配置方向決定手段とを備え、指示体画像の先端部の位置が画像指先点と一致し、かつ、決定された配置方向に該指示体画像の長手方向が沿うように、該指示体画像を画面領域上に表示するものとして構成することができる。指先端位置以外に、指長手方向の存在する別の一点を指方向規定点として指定することで、両点を結ぶ直線（以下、指直線ともいう）を指示体画像の配置方向として簡便かつ一義的に決定することができる。
【００２１】
手の各指骨は手首関節に向けて収束する形態に配列しているから、この手首に相当する位置を指方向規定点として利用することにより、指示体画像（特に、模擬指画像や実指画像）を、実際の手に近いリアルな形態で配置できる利点がある。カメラ等により取得される手の画像データは、掌の指先側をなす一部分なので、指方向規定点設定手段は、指方向規定点を、手首位置を想定した手首規定点として画面領域外に設定するように構成すればよい。操作装置として本発明の画像表示装置を活用する場合は、操作者は撮影領域に対して手前側から手を伸ばし入れる操作形態となるのが通常だから、画面領域にが、指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されることになる。
【００２２】
この場合、方向規定点設定手段は、表示座標平面上にて画面領域の上下方向（垂直方向）をＹ方向とし、これと直交する方向（左右方向ないし水平方向）をＸ方向として、Ｙ方向にて画面領域の下縁から一定長下側に離間した位置に手首規定点を設定することができる。この方法は、画面上の画像指先点の位置座標とは無関係に、手首規定点のＹ方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点の決定アルゴリズムを簡略化できる利点がある。また、上記手首規定点から見て実際の操作者の手寸法と整合した画面上の所定範囲内に画像指先点が存在する場合には、指示体画像の配置方向にかかるリアリティも比較的良好に確保できる。
【００２３】
しかし、Ｙ方向の入力位置が大きく変化しうる入力画面（例えばキーボード画面や地図画面など）が採用されている場合は、手首位置もＹ方向に大きく変動しうるので、表示座標平面上にて手首規定点を、特定された画像指先点と予め定められた位置関係を有するものとなるように設定するよう、指方向規定点設定手段を構成することが、指示体画像の配置方向のリアリティを高める上で望ましい。具体的には、画面領域に指を含む掌の画像を、該画面領域の下側に手首位置が外れる位置関係にて表示する前提にて、指方向規定点設定手段を、表示座標平面上にて画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、Ｙ方向にて画面領域内に特定された画像指先点から一定長下側に離間した位置に手首規定点を設定するとよい。
【００２４】
例えば座席への着座状態のように体の位置が固定となる場合において、入力操作面内で操作位置を変更する際の操作者の手及び腕の動きを分析すると、Ｘ方向に指先を移動する場合は、操作者の癖によっても多少の違いはあるが、肘関節の動きは比較的小さく、掌を、該掌の中央付近に位置する軸線周りに回転させる感覚で指先を移動させる動きが主体的となることが多く、指方向角度も該掌の回転角度ひいては画像指先点のＸ座標に応じて変化することになる。
【００２５】
従って、前述の指方向規定点設定手段は、画像指先点のＸ座標に応じて、指方向を決める手首規定点のＸ座標が変化するように該手首規定点を変更設定するように構成すると、指示体画像の配置方向にかかるリアリティをさらに高めることができる。例えば、画面領域の下方に（基準手首位置を示す）基準手首規定点を固定的に定め、指方向規定点設定手段を、原指像のＹ方向に対する傾斜角度が大きくなるほど、基準手首規定点からのＸ方向への変位量が大きくなるように手首規定点のＸ座標値を決定するものとして構成すると、Ｘ方向への手の操作移動形態をよりリアルに模写した指示体画像表示が可能となる。
【００２６】
上記のごとく、回転中心が掌の内側に存在する想定では、指先がＸ方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。従って、方向に対し右上がり形態に傾斜している原指像については、Ｘ方向にて基準手首規定点に対し左側に変位するように手首規定点のＸ座標値を決定し、Ｙ方向に対し左上がり形態に傾斜している原指像については、Ｘ方向にて基準手首規定点に対し右側に変位するように手首規定点のＸ座標値を決定するように、指方向規定点設定手段を構成するのが妥当である。
【００２７】
次に、画像指先点が画面領域上に複数特定される場合には、指方向規定点設定手段は、各画像指先点について共通の手首規定点を決定するものとして構成できる。これは各指の方向が手首側の一点に収束するという前提での、手首規定点決定にかかる近似アルゴリズムであり、複数の指示体画像の配置方向を比較的簡単に決定できる利点がある。この場合、指方向規定点設定手段は、画面領域上にてＹ方向における最も上側に画像指先点が位置する原指像を代表原指像として用い、該代表原指像のＹ方向に対する傾斜角度が大きくなるほど、基準手首規定点からのＸ方向への変位量が大きくなるように手首規定点のＸ座標値を決定するように構成することができる。
【００２８】
一方、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しＸ方向に互いに異なる位置に接続することとなる。従って、画像指先点が画面領域上に複数特定される場合は、指方向規定点設定手段を、手首規定点を各画像指先点について独立に決定するとともに、指示体画像の配置方向を、各画像指先点について対応する手首規定点を用いて決定するように構成することができる。この構成では、手首規定点を指毎に別々に決定しなければならないが、指示体画像の配置方向を、実際の手形態により忠実に反映した形で決定することが可能である。
【００２９】
具体的には、指方向規定点設定手段は、基準手首規定点よりもＸ方向右側に位置している画像指先点については、手首規定点のＸ座標を基準手首規定点よりも右側に設定し、基準手首規定点よりもＸ方向左側に位置している画像指先点については、手首規定点のＸ座標を基準手首規定点よりも左側に設定するように構成できる。この場合、基準手首規定点に対するＸ方向変位の大きい画像指先点ほど、基準手首規定点からのＸ方向への変位が大きくなるように手首規定点を設定すれば、実際の手形態への近似度をより高めることができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明の画像表示装置の適用対象となる、車載用電子機器の操作装置の一例を示すものである。この操作装置１は、自動車の車室内において、インパネ中央部にモニタ（表示装置）１５が配置され、センターコンソールＣの、運転席２Ｄ及び助手席２Ｐのいずれからも操作可能な位置に操作部１２が配置されている。使用目的は特には限定されないが、例えばセンターコンソールに設けられたモニタ１５の画面を見ながら、カーナビゲーション装置やカーオーディオ装置の機能操作を行なうためのものである。
【００３１】
操作部１２は、入力操作面が上向きとなるように取り付けられている。該入力操作面を形成するのは周知のタッチパネル１２ａであり、抵抗膜方式、表面弾性波方式あるいは静電容量方式のいずれを採用してもよい。タッチパネル１２ａは、その基材が透明樹脂板あるいはガラス板等により透明入力支持板として構成され、操作者の指先によるタッチ操作を上面側にて支持しつつ受け付ける。そして、モニタ１５の画面領域に対応した入力座標系が板面に沿って設定される。
【００３２】
図２は、入力部１２の内部構造を模式的に示す断面図であり、筐体１２２ｅの上面に前述のタッチパネル１２ａが、入力操作面１０２ａ側が上となるように嵌め込まれている。筐体１２ｄの内部には、照明光源１２ｃ及び撮影光学系とともに手撮影カメラ１２ｂが収容されており、画像データ取得手段を構成している。照明光源１２ｃは、凸曲面形態のモールドにより素子直上側への輝度指向性を高めた発光ダイオード光源（従って、単色光源である）であり、タッチパネル１２ａの下面を取り囲む形態で複数配置されている。各照明光源１２ｃは、高輝度となるモールド先端側をタッチパネル１２ａの下面内側に向けそれぞれ傾けて取り付けてあり、入力操作面１０２ａ上の操作者の手Ｈの掌面による一次撮像反射光ＲＢ１が、タッチパネル１２ａを透過する形で下向きに生ずるようになっている。
【００３３】
撮影光学系は、第一反射部１２ｐと第二反射部１２ｒとを有する。第一反射部１２ｐは、タッチパネル１２ａの直下に対向配置されたプリズム板（三角柱状の微小プリズムを面内に並列に配置した透明材料板：以下、プリズム板１２ｐともいう）であり、操作者の手Ｈからの一次撮像反射光ＲＢ１を斜め上方に反射することにより、該プリズム板１２ｐとタッチパネル１２ａとの対向空間１２ｆの側方外側へ二次撮像反射光ＲＢ２として導く。第二反射部１２ｒは上記対向空間の側方外側に配置された平面反射鏡（以下、平面反射鏡１２ｒともいう）であり、上記二次撮像反射光ＲＢ２を側方へ反射することにより、対向空間１２ｆを挟んで第二反射部１２ｒの反対側に位置する手撮影カメラ１２ｂに対し三次撮像反射光ＲＢ３として導く。手撮影カメラ１２ｂは該三次撮像反射光ＲＢ３の焦点に対応する位置に設けられ、操作者の指を含む手Ｈの画像データを撮影取得する。
【００３４】
プリズム板１２ｐは、図２内に拡大して示すように、ミラー基面ＭＢＰに対しそれぞれ等角度で傾斜する反射面を有したリブ状の微小プリズムを、ミラー基面ＭＢＰに沿って互いに平行となるように密接形成したものであり、ミラー基面ＭＢＰを傾けずとも、その法線方向に入射する光を（斜め）側方へ反射することができる。従って、側方反射のための第一反射部１２ｐをタッチパネル１２ａの下方に平行対向する形で配置でき、対向空間１２ｆの高さ方向寸法を大幅に縮小できる。
【００３５】
また、その対向空間１２ｆを側方から挟んで第二反射部１２ｒと手撮影カメラ１２ｂとを対向配置することで、手撮影カメラ１２ｂに直接入射する三次撮像反射光ＲＢを、対向空間１２ｆを横切る形で導くことができる。これにより、第二反射部１２ｒと手撮影カメラ１２ｂとを、タッチパネル１２ａの側縁に近接配置でき、かつ、手Ｈから手撮影カメラ１２ｂへの撮像反射光の入射経路が、対向空間１２ｆ内でいわば三つ折状に畳み込まれる形になるので、撮像光学系全体の大幅なコンパクト化と、筐体１２ｄの薄型化とが実現されている。特に、タッチパネル１２ａのサイズ（つまり、入力操作面１０２ａの縦横寸法）を縮小することで、入力部１２全体の劇的な小形化及び薄型化が実現し、図１のセンターコンソール部Ｃの幅が比較的小さい車両や、シフトレーバー前方の限られた取付スペースしか活用できない車両にも問題なく取り付けが可能となる。
【００３６】
上記の光学系では、撮像光は手撮影カメラ１２ｂに入射するまでに奇数回（手Ｈ、第一反射部１２ｐ及び第二反射部１２ｒ）の反射を繰り返す。手Ｈは掌面側から撮影されるので、手撮影カメラ１２ｂが取得する画像データ上には、掌面側から見た手Ｈを鏡映反転した形で手像が表れる。この手像の輪郭線は、手Ｈを甲側から見た場合の輪郭線と一致するから、結局、手撮影カメラ１２ｂが取得する画像データは、特に鏡映反転処理することなくモニタ１５への表示用に活用することができる。
【００３７】
タッチパネル１２の入力操作面１０２ａは、手撮影カメラ１２ｂの撮影範囲１０２ｂに対応しており、平均的な寸法の大人の手を想定した場合に、中指の指先端を含む長手方向の一部のみが入力操作面１０２ａ内に入るように、その上下方向（Ｙ方向）寸法が定められている（例えば、６０〜９０ｍｍ（具体例として７５ｍｍ））。これにより、モニタ１５の画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。また、入力操作面１０２ａの左右方向（Ｘ方向）寸法は１１０〜１３０ｍｍ（例えば、１２０ｍｍ）であり、手を乗せて各指を大きく開いた状態では、人差し指、中指、薬指及び小指が撮影範囲内となり、親指が撮影範囲外となっている。ただし、各指を適当に閉じれば全ての指を撮影範囲内に収めることも可能である。
【００３８】
図３は、操作装置１の電気的構成を示すブロック図である。操作装置１の制御主体をなすのは操作ＥＣＵ１０である。該操作ＥＣＵ１０は、ＣＰＵ１０１を主体とするコンピュータハードウェア基板として構成され、具体的には、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、グラフィックコントローラ１１０、ビデオインターフェース１１２、タッチパネルインターフェース１１４、汎用入出力部１０４及びシリアル通信インターフェース１１６が内部バス１０５により相互接続された構造を有する。グラフィックコントローラ１１０には表示用ビデオＲＡＭ１１１及びモニタ１５が、ビデオインターフェース１１２には撮影用ビデオＲＡＭ１１３及び手撮影カメラ１２ｂが、タッチパネルインターフェース１１４にはタッチパネル１２ａが、そして、汎用入出力部１０４にはドライバ（駆動回路）１１５を介して照明光源１２ｃがそれぞれ接続されている。また、シリアル通信インターフェース１１６には、ＣＡＮ通信バスなどの車載用シリアル通信バス３０が接続され、これにネットワーク接続された他のＥＣＵ、具体的にはカーナビゲーション装置の制御を司るナビＥＣＵ２００と相互通信可能とされている。
【００３９】
ビデオインターフェース１１２には、手撮影カメラ１２ｂが撮影取得するアナログもしくはデジタルの映像信号が継続的に入力されるとともに、撮影用ビデオＲＡＭ１１３内に画像フレームデータとして、所定の時間間隔で取り込まれる。撮影用ビデオＲＡＭ１１３の記憶内容は、新しい画像フレームデータが取り込まれる毎に随時更新される。
【００４０】
グラフィックコントローラ１１０は、通信インターフェース１１６を介してナビＥＣＵ２００から入力画面画像フレームデータを取得するとともに、ＣＰＵ１０１側からは指示体画像が所定位置に張り込まれた指示体画像フレームデータを取得し、表示用ビデオＲＡＭ１１１上にて周知のアルファブレンディング処理等によりフレーム合成し、モニタ１５に出力する。
【００４１】
タッチパネルインターフェース１１４は、タッチパネル１２ａの方式に応じた固有の駆動回路を有するとともに、タッチパネル１２ａからの信号入力状態に基づいて、入力操作面１０２ａへのタッチ操作による入力位置を検出し、その検出結果を位置入力座標情報として出力する。
【００４２】
なお、手撮影カメラ１２ｂの撮影範囲（撮影視野；ひいては、該手撮影カメラ１２ｂにより撮影取得される画像データ）、タッチパネル１２ｂの操作入力面、モニタ１５の画面領域（ひいては、その表示内容を決定する入力画面画像フレームデータ及び指示体画像フレームデータ）には、二次元座標対応関係が一義的に定められている。
【００４３】
また、ＲＯＭ１０３には、ＣＰＵ１０１が実行する以下のようなソフトウェアが格納されている。これにより、ＣＰＵ１０１は、画像指先点特定手段、指方向規定点設定手段及び指示体配置方向決定手段として機能する。
・タッチパネル制御ソフトウェア１０３ａ：タッチパネルインターフェース１１４から入力位置座標を取得し、入力画面画像フレームデータとともにナビＥＣＵ２００から送られてくる、操作入力内容の判定参照情報（例えば、ソフトボタンの領域特定情報や、当該ソフトボタンがタッチ操作されたときに出力するべき操作コマンド内容等の情報を含む）を取得する。そして、該入力位置座標と取得した判定参照情報とに基づいて現在の操作入力内容を特定し、ナビＥＣＵ２００に対して対応する操作コマンドの実行指令出力を行なう。
【００４４】
・表示制御ソフトウェア１０３ｂ：グラフィックコントローラ１１０への入力画面画像フレームデータの取り込み指令を行なうとともに、後述の方法により作成した指示体画像フレームデータをグラフィックコントローラ１１０へ転送する。
・画像指先点演算ソフトウェア１０３ｃ：手撮影カメラ１２ｂが撮影した操作者の手の画像データを二値化し、その原指像の指先位置を画像指先点として特定する演算を行なう（なお、手の画像データの二値化処理は、ビデオインターフェースの出力段に画素の二値化回路を組み込んで事前に行なうようにしてもよい）。
・指示体画像合成ソフトウェア１０３ｄ：指示体画像データ１０３ｅに基づいて作成した指示体画像を、その指先位置が画像指先点と一致するように、指示体画像フレーム上に貼り付ける処理を行なう。
【００４５】
以下、操作装置１の動作について説明する。
モニタ１５の画面（領域）には、先行するコマンド入力（例えば別画面でのタッチ入力操作に基づく）により、すでに図１４あるいは図１５と同様の（ただし手画像ＳＦは除く）キーボード入力画面（地図画面など、他の入力画面であってもよい）が表示されているものとする。この状態で、図２に示すように、タッチパネル１２ａの入力操作面１０２ａに手Ｈを近づけると、手撮影カメラ１２ｂは、照明光源１２ｃからの照明光の手による反射光に基づいて手像を撮影する。手像の画素は反射光の受光により背景領域よりも明るく現れる。従って、図４のＡに示すように、画素の輝度を適当な閾値で二値化すれば、高輝度画素値（ここでは「１」とする）を示す領域を手像領域（図中黒で表している）、低輝度画素値（ここでは「０」とする）を示す領域を背景領域（図中白で表している）として、互いに画像分離できる。
【００４６】
次に、二値化された上記の原画像データを第一画像データ（Ａ）として、該第一画像データを手像の掌長方向（Ｙ方向）に所定距離（例えば、中指第一関節より先を指先部分として、その２０％〜８０％（実距離にして５〜２０ｍｍ程度））だけ平行移動させて得られる画像データを、図４のＢに示す第二画像データとする。そして、図４のＣに示すように、両画像データを重ね合わせたときの、指先側に現れる手像非重なり領域を指先領域として特定する。撮影取得された原画像データを手像の掌長方向に平行移動して重ね合わせることにより、指先領域を手像非重なり領域として簡単に特定することができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。
【００４７】
図４のＣにおいては、第二画像データＢを、第一画像データＡを掌長方向（Ｙ方向）にて手首側へ後退移動させて作成しており、第一画像データＡの手像指先側に現れる非重なり領域が指先領域として特定される。撮影範囲（ひいてはモニタ１５の画面領域）との座標対応関係が保存される第一画像データＡ上にて指先領域を特定でき、後述の画像指先点、ひいては、画面領域上の対応座標点の特定処理を簡便に行なうことができる。
【００４８】
また、第一及び第二画像データはいずれも二値化されており、手像非重なり領域は、第一画像データと第二画像データとの画像差分を演算することで特定される。これにより、非重なり領域の画素を特定する処理は、第一及び第二画像データの対応する画素間の論理演算に転換できる（具体的には、対応画素間の排他的論理和が０になれば、それを非重なり領域の画素として特定できる）。なお、第一及び第二画像データの非重なり領域は、指の側面部分に細く生ずる場合がある。しかし、このような側面部分は、「１」となる画素のＸ方向の連続個数が所定値未満となる場合に、それら画素列を「０」反転する処理を行なえば、簡単に除去することができる。
【００４９】
こうして抽出された各指先領域は、図４のＤに示すように、既に説明した収縮処理が施される。具体的には、値が「１」となっている全ての画素について、これと一定の隣接関係にある画素（具体的には、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該画素の値を「０」反転する処理を行なう。該処理は。複数回繰り返し実施してもよい。
【００５０】
そして、図４のＥに示すように、該収縮処理後の各指先領域の重心座標を演算する。具体的には、隣接画素のラベリング処理等により、個々の指先領域を分離特定し、指先領域毎に全ての画素のＸ座標合計及びＹ座標合計を演算し、それぞれ総画素数で除することにより、各指先領域の重心のＸ座標及びＹ座標を特定できる。
【００５１】
なお、タッチパネルの入力操作面１０２ａに実際に接触するのは、指先端からＸ方向に少し下がった指腹付近の領域であるから、図４のＦでは、Ｅで計算された重心位置をＹ方向へ所定距離オフセットさせ、これを画像指先点Ｇとして決定する。ただし、Ｅの重心位置をそのまま画像指先点Ｇとして用いてもよく、この場合は該Ｆの処理は不要である。
【００５２】
図５は、各指の画像指先点（Ｇ１〜Ｇ５）が、入力操作面１０２ａ、ひいては画像フレーム上にて座標特定された状態を示している。そして、該画像フレーム上の各画像指先点Ｇ１〜Ｇ５に、原指像ＦＩとはデータ的に無関係な指示体画像を順次貼り込んで、指示体画像フレームを作成する。この指示体画像は、原指像ＦＩよりも相対的に狭幅となるように作成される。例えば、１８歳以上の日本人全体の指幅分布にて、平均値を中心として９０％の対象者が包含される範囲の下限値に相当する指幅の、例えば５０％以上８０％以下となるように指示体画像の幅寸法を設定しておけば（例えば、人差し指の場合は、第一関節位置での指実寸換算にて７ｍｍ以上１４ｍｍ以下）、子供を除くほとんど全ての操作者に対して、指示体画像を原指像よりも相対的に狭幅とすることができる。
【００５３】
指示体画像としては、指の輪郭形状を模した模擬指画像を使用できる。単純なものとしては、図１０に示すように、指先部分の輪郭を示す円弧図形２０１と、残余の部分の輪郭を示す矩形図形２０２とを組み合わせた模擬指画像を例示できる。指先部分を円弧とすることで、その円弧の中心点２０１ｇを、上記画像指先点に合わせ込むべき指先位置として活用しやすい利点がある。また、模擬指画像よりもさらに単純な指示図形、例えばポインタに類した矢印状の図形を表示することも可能である。
【００５４】
一方、図１１に示すように、実際の指をより精密に模した指輪郭線を折れ線や曲線（例えば、Ｂスプライン曲線やペジェ曲線）により表現した指輪郭画像データＳＦ１〜ＳＦ５を使用してもよい。該指輪郭画像データＳＦ１〜ＳＦ５は、指輪郭に対応して配列する一連のハンドリング点ＨＰにより規定されるベクトルアウトラインデータとして構成できる。
【００５５】
また、指示体画像として、個々の指を分離した形で事前に撮影取得された人の実指画像（例えば、操作者本人の指画像や、手専門のパーツモデルから撮影取得したモデル指画像を採用できる）を使用することも可能である。この場合、指撮影画像から周知のエッジ検出処理により輪郭線を抽出し、これを近似するベクトルアウトラインデータを作成することにより、図１１と同様の指輪郭画像データＳＦ１〜ＳＦ５を得ることができる。また、図１２に示すように、指撮影画像を二値化したビットマップ図形データを指示体画像ＳＦとして用いてもよい（この場合は、指輪郭線の抽出は不要である）。
【００５６】
図６の右に示すように、指示体画像ＳＦの先端部には予め定められた位置に指示体指先点Ｇ’が定められており、図６の右に示すように、この指示体指先点Ｇ’を各画像指先点（Ｇ１〜Ｇ５）に合わせこむ形で、画像フレーム上に指示体画像ＳＦを貼り込んでゆくことになる。しかし、この貼り込みを行なうためには、指先位置Ｇ’のほかに指の方向を情報として特定する必要がある。そこで、図５に示すように、画像フレーム（表示座標平面）上に画像指先点（Ｇ１〜Ｇ５）とは別に指方向規定点Ｗを設定し、該指方向規定点Ｗと画像指先点Ｇを結ぶ直線を指直線（Ｌ１〜Ｌ５）として定める演算を行なう。図６に示すように、各指示体画像ＳＦ１〜ＳＦ５は、指先位置Ｇ’が画像指先点（Ｇ１〜Ｇ５）と一致し、かつ、決定された指直線（Ｌ１〜Ｌ５）に該指示体画像ＳＦの長手方向基準線（指示体画像ＳＦ１〜ＳＦ５毎に予め定められている）が一致するように貼り込まれ、指示体画像フレームが作成される。
【００５７】
手の各指骨は手首関節に向けて収束する形態に配列しているから、図５において指方向規定点Ｗは、この手首に相当する手首規定点（以下、手首規定点Ｗとも記す）として規定されている。前述のごとく、入力操作面１０２ａ（撮影範囲）が、掌の指先側をなす一部分だけが収まるように寸法設定されており、かつ、撮影領域に対して手前側から手を伸ばし入れる形で操作がなされるので、手首規定点Ｗは画面領域の下側に外れた形で設定される。図５においては、Ｙ方向にて画面領域の下縁から一定長Ｙ０だけ下側に離間した位置に手首規定点Ｗが設定されている。画面上の画像指先点（Ｇ１〜Ｇ５）のＹ座標とは無関係に、手首規定点ＷのＹ方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点Ｗの決定アルゴリズムが簡略化できる。図５の実施形態において、手首規定点ＷのＸ座標は、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に固定されている。なお、画面領域のＹ方向高さをＬとしたとき、Ｙ０＋Ｌ／２の値は、例えば１００ｍｍ以上２００ｍｍ以下に調整するとよい。
【００５８】
こうして図６のごとく作成された指示体画像フレームはグラフィックコントローラ１１０に転送され、別途取得されている入力画面画像フレームデータと合成され、モニタ１５に表示される。入力画面画像フレームデータと指示体画像フレームデータとを合成する方法としては、指示体画像ＳＦのデータ形態により次にような手法を採用することができる。
（１）指示体画像データがはじめからビットマップデータにより記述されている場合は、対応する画素同士のアルファブレンディング処理により、指示体画像を入力画面上に透かし形態で重ね表示することができる。
（２）指示体画像データがベクトルアウトラインデータで記述されている場合は、指示体画像フレーム上で該データを用いて指示体画像の輪郭線を生成し、さらにその内部をラスタライジングしてビットマップ化し、その後は（１）と同様のアルファブレンディング処理を行なう。
（３）指示体画像データをなすベクトルアウトラインデータを用いて入力画面画像フレーム上に輪郭線を描画し、その内部に位置する入力画面画像の画素を抽出するとともに、該抽出された画素の設定値を一律にシフトさせる。
【００５９】
（１）〜（３）のいずれにおいても、指示体画像データの輪郭線を形成する画素については、指示体画像データ側のブレンド比を高めることで、輪郭線の強調された指示体画像を重畳表示できる。また、指示体画像データを、ビットマップデータもしくはベクトルアウトラインデータで記述された輪郭線のみの画像データとし、輪郭線のみを重ね表示することも可能である。
【００６０】
本実施形態の操作装置１により実現できる効果は以下のごとくである。
すなわち、図１に示すように、モニタ１５の画面は、運転席２Ｄないし助手席２Ｐに着座する操作者から見て、タッチパネル１２ａ上の指を直視する向きから外れて配置されているから、操作を行なう手元とモニタ１５との双方を同時に直視することができない。従って、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源となる。本発明においては、画像データ上での原指像ＦＩの状態とは無関係に、個々の指を示す指示体画像ＳＦを該原指像ＦＩよりも細くした形で画面上に確実に表示することができ、ひいては、撮影された原指像がそのまま太く拡大表示されて操作性に支障をきたす不具合を効果的に解消することができる。
【００６１】
該効果は、図５に一点鎖線で示すように、撮影範囲（ひいては、タッチパネルの操作入力面１０２ｂ）が縮小された場合に、さらに顕著となる。人差し指、中指及び薬指のうち、２本の全体が少なくとも撮影可能であり、４本の全体は撮影不能な大きさに設定されている場合、つまり、図１４のように、人差し指、中指、薬指及び小指の全てが入るのではなく、人差し指、中指、薬指の３本、あるいは、図１５のように、人差し指と中指（もしくは中指と薬指）の２本が入る大きさに設定されている場合がこれに該当する。
【００６２】
特に、図１５の場合、入力操作面１０２ａ（撮影範囲）の寸法を具体的な数値で表すと、Ｘ方向寸法は、６０ｍｍ以上８０ｍｍ以下（例えば７０ｍｍ）、Ｙ方向寸法が３０ｍｍ以上５５ｍｍ以下（例えば、４３ｍｍ）である。撮影範囲に収まる指の数は２本であるが、もし、撮影された原指像ＦＩを二値化しただけでそのままモニタ１５の画面領域に表示しようとすると、図１３に破線で示すように、撮影範囲が縮小される分だけ２本の原指像ＦＩが大きく拡大されて表示されることとなる。モニタ１５には、五十音入力用のソフトキーボードＫＢが表示されているが、ソフトボタンＳＢの数は５０を超え、拡大された原指像ＦＩの幅方向には３個を超えるソフトボタンＳＢの画像が重なっている（つまり、このソフトキーボードＫＢの表示画面には、画像データ上の原指像ＦＩを、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該原指像ＦＩの仮想投影領域に対しソフトボタンＳＢ画像が、指幅方向に複数（具体的には、２個を超える数で）包含される寸法ならびに配列間隔にて表示形成されている）。これでは、手指が狙ったソフトボタンに正しく向けられているのか否かが非常にわかりにくく、当然、狙ったボタンの隣を押し違えたりする不具合も生じやすい。
【００６３】
しかし、図１３に実線で示すように、この原指像ＦＩよりも狭幅化した指示体画像ＳＦでこれを置き換え表示すれば、指示体画像ＳＦの幅方向に重なるソフトボタンＳＢの数は２個ないし１個に減じられ、指示体画像ＳＦ付近のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンＳＢのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上することは明らかである。
【００６４】
以下、手首規定点の設定方式にかかる種々の変形例について説明する。
まず、Ｙ方向の入力位置が大きく変化しうる場合は、それに伴なう手首位置のＹ方向変化も考慮する必要がある。この場合、図７に示すように、表示座標平面上にて手首規定点Ｗを、特定された画像指先点Ｇと予め定められた位置関係を有するものとなるように設定すると、指示体画像ＳＦの配置方向のリアリティをより高めることができる。具体的には、Ｙ方向にて画面領域内に特定された画像指先点Ｇから一定長Ｙ２（例えば、Ｙ２は１００ｍｍ以上２００ｍｍ以下である）だけ下側に離間した位置に手首規定点Ｗを設定するとよい。
【００６５】
次に、図１のような配置形態の操作部１２を、座席２Ｄないし座席２Ｐから手元操作しようとした場合を考える。着座状態で、体の左（運転席２Ｄの場合）ないし右（助手席２Ｐの場合）脇の操作部１２上に置いた手をＹ方向に移動する場合は、肩関節及び肘関節を動しながら前方に伸ばした下椀部を前後に移動させる動作が中心となる。その結果、入力操作面１０２ａ上で撮影される掌の動きは、Ｙ方向にほぼ平行移動する形に近く、入力に関与する指の方向（角度）もそれほど大きくは変化しない。しかし、手をＸ方向に移動する場合は手首の回転動が主体的となり、入力操作面１０２ａ上で撮影される掌の動きは、掌中央付近の軸線周りに手を回転させる形態に近くなる。その結果、指入力に関与する指の方向（角度）は、手の回転角度に応じて変化することになる。
【００６６】
そこで、図８に示すごとく、指方向を決める手首規定点ＷのＸ座標を画像指先点ＧのＸ座標に応じて変化させる方式を採用すれば、上記のような手の動きを反映させる上で好都合である。図８においては、画面領域（撮影範囲）の下方に、基準手首位置を示す基準手首規定点Ｗ０を固定的に定め、原指像ＦＩのＹ方向に対する傾斜角度θが大きくなるほど、基準手首規定点Ｗ０からのＸ方向への変位量が大きくなるように手首規定点ＷのＸ座標値を決定することができる。
【００６７】
図８においては、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に基準手首規定点Ｗ０のＸ座標を定め、また、既に特定された複数の画像指先点のうち、指先位置が最も上方に位置するもの（図８では、中指に対応する画像指先点Ｇ３）を基準として、そこから一定値Ｙ２だけ下方へ移動した位置に基準手首規定点Ｗ０のＹ座標を定めている。
【００６８】
上記のごとく、回転中心が掌の内側に存在する想定では、指先がＸ方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。そこで、方向に対し右上がり形態に傾斜している原指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し左側に変位するように手首規定点ＷのＸ座標値を決定し、Ｙ方向に対し左上がり形態に傾斜している原指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し右側に変位するように手首規定点ＷのＸ座標値を決定する。具体的には、指先位置が最も上方に位置する原指像ＦＩ（画像指先点Ｇ３に対応）を代表原指像として用い、該原指像ＦＩのＹ方向に対する傾斜角度（時計回りを正方向として定義する）θを求める。該傾斜角度θは、例えば原指像ＦＩを構成する画素点に最小二乗法を適用して得られる直線の勾配から計算することができる。求めるべき手首規定点Ｗの基準手首規定点Ｗ０からのＸ方向変位（あるいは、Ｘ座標値そのものであってもよい）を各種θの値毎に事前に定め、図３のＲＯＭ１０３に記憶しておけば、計算されたθに対応するＸ方向変位は、該テーブルから読み出すことで容易に決定できる。図８においては、手首規定点ＷのＹ座標は、基準手首規定点Ｗ０のＹ座標と常に等しくなるように定めてある。つまり、手首規定点Ｗは、角度θに応じて、基準手首規定点Ｗ０を通ってＸ軸と平行な直線上を動く形で設定されている。ただし、円弧状の経路に沿って手首規定点Ｗを定めてもよい。
【００６９】
なお、代表原指像としては、撮影範囲のＸ方向（またはＹ方向）の中心に最も近いＸ座標（またはＹ座標）を画像指先点として有するものを採用してもよい。また、複数の画像指先点（Ｇ１〜Ｇ５）のＸ座標及びＹ座標を平均化して得られる点を代表画像指先点として用いる形で手首規定点Ｗを定めてもよい。また、指先位置が奇数個の場合は中央にある原指像の画像指先点を、偶数個の場合は中央に近い２つの原指像を採用して、それらの画像指先点のＸ座標及びＹ座標を平均化して得られる点を、それぞれ代表画像指先点として定める方式も可能である。
【００７０】
次に、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しＸ方向に互いに異なる位置に接続することとなる。そこで、図９に示すように、複数の画像指先点Ｇ１〜Ｇ５について独立な手首規定点Ｗ１〜Ｗ５を決定し、指示体画像の配置方向を、各画像指先点Ｇ１〜Ｇ５について対応する手首規定点Ｗ１〜Ｗ５を用いて決定することができる。具体的には、基準手首規定点Ｗ０よりもＸ方向右側に位置している画像指先点Ｇ１，Ｇ２については、Ｘ座標が基準手首規定点Ｗ０よりも右側に位置するように対応する手首規定点Ｗ１，Ｗ２を設定し、基準手首規定点Ｗ０よりもＸ方向左側に位置している画像指先点Ｇ３，Ｇ４，Ｇ５については、Ｘ座標が基準手首規定点Ｗ０よりも左側に位置するように対応する手首規定点Ｗ３，Ｗ４，Ｗ５を設定している。
【００７１】
なお、基準手首規定点Ｗ０に対するＸ方向変位（ｈ１〜ｈ５）の大きい画像指先点ほど、対応する手首規定点のＸ座標は基準手首規定点Ｗ０からのＸ方向への変位が大きくなるように定められている。具体的には、画像指先点の基準手首規定点Ｗ０に対するＸ方向変位に一定の倍率係数ｋ（例えば、０．１≦ｋ≦０．３）を乗じた値を、手首規定点ＷのＸ座標にかかる基準手首規定点Ｗ０からのＸ方向変位として算出している。
【００７２】
以上、本発明の画像表示装置を車載用電子機器の操作装置に適用した例について説明したが、本発明はこれに限定されるものではなく、例えば、パーソナルコンピュータ用のＧＵＩ入力デバイスなどにも適用可能である。
【図面の簡単な説明】
【００７３】
【図１】本発明の適用対象となる車載用電子機器操作装置の車内取付形態の一例を示す斜視図。
【図２】操作部の内部構造の一例を示す断面模式図。
【図３】図１の車載用電子機器操作装置の電気的構成の一例を示すブロック図。
【図４】画像指先点を決定する画像処理の流れを示す説明図。
【図５】手首規定点及び指直線を決定する幾何学的な原理を説明する図。
【図６】図５で決定された指直線に沿って指示体画像を貼り付けた状態を示す説明図。
【図７】手首規定点を決定する第一の別例を説明する図。
【図８】手首規定点を決定する第二の別例を説明する図。
【図９】手首規定点を決定する第三の別例を説明する図。
【図１０】指示体画像の第一例を示す図。
【図１１】同じく第二例を示す図。
【図１２】同じく第三例を示す図。
【図１３】指示体画像を重畳した画面表示例を示す図。
【図１４】入力操作面を通常寸法とした場合の指画像と入力操作面との位置関係、及び該指画像を重畳した従来の画面表示例を示す図。
【図１５】入力操作面を縮小寸法とした場合の指画像と入力操作面との位置関係、及び該指画像を重畳した従来の画面表示例を示す図。
【図１６】収縮処理の問題点を説明する図。
【符号の説明】
【００７４】
１ 車載電子機器用操作装置（画像表示装置）
１０ 操作ＥＣＵ
１２ 入力部
１２ａ タッチパネル（位置入力装置）
１２ｂ 手撮影カメラ（画像データ取得手段）
１５ モニタ（表示装置）
１０１ ＣＰＵ（画像指先点特定手段、指方向規定点設定手段、指示体配置方向決定手段）
ＦＩ 原指像
ＳＦ 指示体画像
Ｇ 画像指先点
【特許請求の範囲】
【請求項１】
人の指の像を原指像として含む画像データを取得し、
前記画像データ上にて前記原指像の指先位置を画像指先点として特定し、
表示装置の、前記画像データとの間に一義的な座標対応関係を有する画面領域において、前記画像指先点に対応する位置に、前記原指像よりも相対的に狭幅となる指示体画像を、前記画像データとは別に用意された指示体画像データに基づいて表示することを特徴とする画像表示方法。
【請求項２】
人の指の像を原指像として含む画像データを取得する画像データ取得手段と、
前記画像データ上にて前記原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
前記画像データとの間に一義的な座標対応関係を有する画面領域を備えた表示装置と、
前記画面領域の前記画像指先点に対応する位置に、前記原指像よりも相対的に狭幅となる指示体画像を、前記画像データとは別に用意された指示体画像データに基づいて表示する指示体画像表示手段と、
を備えたことを特徴とする画像表示装置。
【請求項３】
前記画像指先点特定手段は、前記画像データに複数本の前記原指像が含まれている場合に、該複数の原指像について前記画像指先点を特定するものであり、前記指示体画像表示手段は、前記画面領域にて前記複数の原指像の各前記画像指先点に対応する位置に、それぞれ前記指示体画像を表示する請求項２記載の画像表示装置。
【請求項４】
前記指示体画像として、指の輪郭形状を模した模擬指画像又は個々の指を分離した形で撮影取得された人の実指画像が使用される請求項２又は請求項３に記載の画像表示装置。
【請求項５】
前記画面領域は、前記指画像の、指先端を含む指長手方向の一部のみを表示するものである請求項４記載の画像表示装置。
【請求項６】
前記指示体画像表示手段は、
前記画面領域への前記指示体画像の表示位置を規定する表示座標平面上に指方向規定点を設定する指方向規定点設定手段と、
設定された指方向規定点と前記画像指先点とに基づいて前記指示体画像の配置方向を決定する指示体配置方向決定手段とを備え、
前記指示体画像の先端部の位置が前記画像指先点と一致し、かつ、決定された前記配置方向に該指示体画像の長手方向が沿うように、該指示体画像を前記画面領域上に表示する請求項３ないし請求項５のいずれか１項に記載の画像表示装置。
【請求項７】
前記指方向規定点設定手段は、前記指方向規定点を、手首位置を想定した手首規定点として前記画面領域外に設定する請求項６記載の画像表示装置。
【請求項８】
前記画面領域に前記指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されるものであり、
前記指方向規定点設定手段は、前記表示座標平面上にて前記画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、前記Ｙ方向にて前記画面領域の下縁から一定長下側に離間した位置に前記手首規定点を設定する請求項７記載の画像表示装置。
【請求項９】
前記指方向規定点設定手段は、前記表示座標平面上にて前記手首規定点を、特定された前記画像指先点と予め定められた位置関係を有するものとなるように設定する請求項８記載の画像表示装置。
【請求項１０】
前記画面領域に前記指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されるものであり、
前記指方向規定点設定手段は、前記表示座標平面上にて前記画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、前記Ｙ方向にて前記画面領域内に特定された前記画像指先点から一定長下側に離間した位置に前記手首規定点を設定する請求項９記載の画像表示装置。
【請求項１１】
前記指方向規定点設定手段は、前記画像指先点のＸ座標に応じて前記手首規定点を、該手首規定点のＸ座標が可変となるように設定する請求項６ないし請求項１０のいずれか１項に記載の画像表示装置。
【請求項１２】
前記画面領域の下方に基準手首規定点が固定的に定められ、前記指方向規定点設定手段は、前記原指像の前記Ｙ方向に対する傾斜角度が大きくなるほど、前記基準手首規定点からのＸ方向への変位量が大きくなるように前記手首規定点のＸ座標値を決定する請求項１１記載の画像表示装置。
【請求項１３】
前記指方向規定点設定手段は、前記Ｙ方向に対し右上がり形態に傾斜している前記原指像については、前記Ｘ方向にて前記基準手首規定点に対し左側に変位するように前記手首規定点のＸ座標値を決定し、前記Ｙ方向に対し左上がり形態に傾斜している前記原指像については、前記Ｘ方向にて前記基準手首規定点に対し右側に変位するように前記手首規定点のＸ座標値を決定する請求項１２記載の画像表示装置。
【請求項１４】
前記画像指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、各画像指先点について共通の前記手首規定点を決定するものである請求項７ないし請求項１３のいずれか１項に記載の画像表示装置。
【請求項１５】
前記画面領域の下方に基準手首規定点が固定的に定められ、前記画像指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、前記画面領域上にて前記Ｙ方向における最も上側に画像指先点が位置する原指像を代表原指像として用い、該代表原指像の前記Ｙ方向に対する傾斜角度が大きくなるほど、前記基準手首規定点からのＸ方向への変位量が大きくなるように前記手首規定点のＸ座標値を決定する請求項１４記載の画像表示装置。
【請求項１６】
前記画像指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、前記手首規定点を各画像指先点について独立に決定するものであり、前記指示体画像の前記配置方向が、各画像指先点について対応する手首規定点を用いて決定される請求項７ないし請求項１３のいずれか１項に記載の画像表示装置。
【請求項１７】
前記指方向規定点設定手段は、前記基準手首規定点よりもＸ方向右側に位置している前記画像指先点については、前記手首規定点のＸ座標を前記基準手首規定点よりも右側に設定し、前記基準手首規定点よりもＸ方向左側に位置している前記画像指先点については、前記手首規定点のＸ座標を前記基準手首規定点よりも左側に設定する請求項１６記載の画像表示装置。
【請求項１８】
前記指方向規定点設定手段は、前記基準手首規定点に対するＸ方向変位の大きい前記画像指先点ほど、前記基準手首規定点からのＸ方向への変位が大きくなるように前記手首規定点を設定する請求項１７記載の画像表示装置。
【請求項１９】
操作者の指先によるタッチ操作を一方の板面側にて支持しつつ受け付ける透明入力支持板を有し、前記画面領域に対応した入力座標系が該透明入力支持板の前記板面に沿って設定されるとともに、前記タッチ操作による入力位置を検出してその座標情報を出力する位置入力装置と、
前記透明入力支持板の他方の板面側から該透明入力支持板を介して、手撮影カメラにより前記操作者の指を含む手の画像データを撮影取得する画像データ取得手段と、
前記画像データ上にて前記指の像である原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
前記画面領域の前記画像指先点に対応する位置に、前記原指像よりも相対的に狭幅となる指示体画像を表示する指示体画像表示手段と、
を備えたことを特徴とする操作装置。
【請求項１】
人の指の像を原指像として含む画像データを取得し、
前記画像データ上にて前記原指像の指先位置を画像指先点として特定し、
表示装置の、前記画像データとの間に一義的な座標対応関係を有する画面領域において、前記画像指先点に対応する位置に、前記原指像よりも相対的に狭幅となる指示体画像を、前記画像データとは別に用意された指示体画像データに基づいて表示することを特徴とする画像表示方法。
【請求項２】
人の指の像を原指像として含む画像データを取得する画像データ取得手段と、
前記画像データ上にて前記原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
前記画像データとの間に一義的な座標対応関係を有する画面領域を備えた表示装置と、
前記画面領域の前記画像指先点に対応する位置に、前記原指像よりも相対的に狭幅となる指示体画像を、前記画像データとは別に用意された指示体画像データに基づいて表示する指示体画像表示手段と、
を備えたことを特徴とする画像表示装置。
【請求項３】
前記画像指先点特定手段は、前記画像データに複数本の前記原指像が含まれている場合に、該複数の原指像について前記画像指先点を特定するものであり、前記指示体画像表示手段は、前記画面領域にて前記複数の原指像の各前記画像指先点に対応する位置に、それぞれ前記指示体画像を表示する請求項２記載の画像表示装置。
【請求項４】
前記指示体画像として、指の輪郭形状を模した模擬指画像又は個々の指を分離した形で撮影取得された人の実指画像が使用される請求項２又は請求項３に記載の画像表示装置。
【請求項５】
前記画面領域は、前記指画像の、指先端を含む指長手方向の一部のみを表示するものである請求項４記載の画像表示装置。
【請求項６】
前記指示体画像表示手段は、
前記画面領域への前記指示体画像の表示位置を規定する表示座標平面上に指方向規定点を設定する指方向規定点設定手段と、
設定された指方向規定点と前記画像指先点とに基づいて前記指示体画像の配置方向を決定する指示体配置方向決定手段とを備え、
前記指示体画像の先端部の位置が前記画像指先点と一致し、かつ、決定された前記配置方向に該指示体画像の長手方向が沿うように、該指示体画像を前記画面領域上に表示する請求項３ないし請求項５のいずれか１項に記載の画像表示装置。
【請求項７】
前記指方向規定点設定手段は、前記指方向規定点を、手首位置を想定した手首規定点として前記画面領域外に設定する請求項６記載の画像表示装置。
【請求項８】
前記画面領域に前記指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されるものであり、
前記指方向規定点設定手段は、前記表示座標平面上にて前記画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、前記Ｙ方向にて前記画面領域の下縁から一定長下側に離間した位置に前記手首規定点を設定する請求項７記載の画像表示装置。
【請求項９】
前記指方向規定点設定手段は、前記表示座標平面上にて前記手首規定点を、特定された前記画像指先点と予め定められた位置関係を有するものとなるように設定する請求項８記載の画像表示装置。
【請求項１０】
前記画面領域に前記指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されるものであり、
前記指方向規定点設定手段は、前記表示座標平面上にて前記画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、前記Ｙ方向にて前記画面領域内に特定された前記画像指先点から一定長下側に離間した位置に前記手首規定点を設定する請求項９記載の画像表示装置。
【請求項１１】
前記指方向規定点設定手段は、前記画像指先点のＸ座標に応じて前記手首規定点を、該手首規定点のＸ座標が可変となるように設定する請求項６ないし請求項１０のいずれか１項に記載の画像表示装置。
【請求項１２】
前記画面領域の下方に基準手首規定点が固定的に定められ、前記指方向規定点設定手段は、前記原指像の前記Ｙ方向に対する傾斜角度が大きくなるほど、前記基準手首規定点からのＸ方向への変位量が大きくなるように前記手首規定点のＸ座標値を決定する請求項１１記載の画像表示装置。
【請求項１３】
前記指方向規定点設定手段は、前記Ｙ方向に対し右上がり形態に傾斜している前記原指像については、前記Ｘ方向にて前記基準手首規定点に対し左側に変位するように前記手首規定点のＸ座標値を決定し、前記Ｙ方向に対し左上がり形態に傾斜している前記原指像については、前記Ｘ方向にて前記基準手首規定点に対し右側に変位するように前記手首規定点のＸ座標値を決定する請求項１２記載の画像表示装置。
【請求項１４】
前記画像指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、各画像指先点について共通の前記手首規定点を決定するものである請求項７ないし請求項１３のいずれか１項に記載の画像表示装置。
【請求項１５】
前記画面領域の下方に基準手首規定点が固定的に定められ、前記画像指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、前記画面領域上にて前記Ｙ方向における最も上側に画像指先点が位置する原指像を代表原指像として用い、該代表原指像の前記Ｙ方向に対する傾斜角度が大きくなるほど、前記基準手首規定点からのＸ方向への変位量が大きくなるように前記手首規定点のＸ座標値を決定する請求項１４記載の画像表示装置。
【請求項１６】
前記画像指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、前記手首規定点を各画像指先点について独立に決定するものであり、前記指示体画像の前記配置方向が、各画像指先点について対応する手首規定点を用いて決定される請求項７ないし請求項１３のいずれか１項に記載の画像表示装置。
【請求項１７】
前記指方向規定点設定手段は、前記基準手首規定点よりもＸ方向右側に位置している前記画像指先点については、前記手首規定点のＸ座標を前記基準手首規定点よりも右側に設定し、前記基準手首規定点よりもＸ方向左側に位置している前記画像指先点については、前記手首規定点のＸ座標を前記基準手首規定点よりも左側に設定する請求項１６記載の画像表示装置。
【請求項１８】
前記指方向規定点設定手段は、前記基準手首規定点に対するＸ方向変位の大きい前記画像指先点ほど、前記基準手首規定点からのＸ方向への変位が大きくなるように前記手首規定点を設定する請求項１７記載の画像表示装置。
【請求項１９】
操作者の指先によるタッチ操作を一方の板面側にて支持しつつ受け付ける透明入力支持板を有し、前記画面領域に対応した入力座標系が該透明入力支持板の前記板面に沿って設定されるとともに、前記タッチ操作による入力位置を検出してその座標情報を出力する位置入力装置と、
前記透明入力支持板の他方の板面側から該透明入力支持板を介して、手撮影カメラにより前記操作者の指を含む手の画像データを撮影取得する画像データ取得手段と、
前記画像データ上にて前記指の像である原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
前記画面領域の前記画像指先点に対応する位置に、前記原指像よりも相対的に狭幅となる指示体画像を表示する指示体画像表示手段と、
を備えたことを特徴とする操作装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図６】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図６】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−７２８４０（Ｐ２０１０−７２８４０Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３８２７４（Ｐ２００８−２３８２７４）
【出願日】平成２０年９月１７日（２００８．９．１７）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１７日（２００８．９．１７）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]