説明

入力装置

【課題】 機器に対する命令や情報の入力を、遠方の画面を見ながら手元で簡便に誤操作なく行える入力装置を提供すること。
【解決手段】 ユーザーの手元に操作用のタッチパッド4が設置される。ディスプレー2には、ユーザーが所望の命令や情報を入力するための1つ以上のGUI部品3が表示される。ユーザーがGUI部品3を選択するためにタッチパッド4上に手6を載せると、タッチパッド4は、手6との接触領域を示す接触位置データを出力する。タッチパッド4から出力された接触位置データから手形状モデルの画像7が作成され、ディスプレー2に表示される。ユーザーは、ディスプレー2に表示された手形状モデルの画像7を見ながら、手形状モデルの指先が所望のGUI部品3上に来るように手6を移動させてからタッチパッド4を押す。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザーが機器に対して命令や情報を入力するための入力装置に関し、より特定的には、ディスプレー等に表示された情報をもとにユーザーが手などの身体を用いて命令や情報を入力することのできる入力装置に関する。
【背景技術】
【0002】
従来、ディスプレー等の表示画面に表示された情報をもとにユーザーが指などを用いて命令や情報を入力する入力装置として、タッチパネルディスプレーがある。タッチパネルディスプレーは、ディスプレーの表示画面上にタッチパネルを設けた構成である。画面に表示されるGUI(Graphical User Interface)には、メニューやボタンスイッチに代表される表示部品(以下では、GUI部品と呼ぶ)が含まれる。ユーザーは、画面上で所望のGUI部品に触れることによって、そのGUI部品に関連付けられた命令や情報を入力することができる。このように、タッチパネルディスプレーを利用すれば、簡単かつ直感的に命令や情報を入力することができるため、入力操作に不慣れな者にも分かりやすい入力インターフェースを実現できる。そのため、タッチパネルディスプレーは、銀行のATM(Automated Teller Machine)やカーナビゲーション装置などに広く採用されている。
【0003】
一方、タッチパネルディスプレーのようにユーザーが表示画面に触れるのではなく、表示画面から離れた場所にある操作部を利用して入力を行うことのできる入力インターフェースとして、タッチトレーサーや、PC(Personal Computer)の入力装置として一般的に利用されているタブレットなどがある(例えば、特許文献1参照)。これらの入力インターフェースでは、表示画面に矢印などの形状のカーソルが表示され、ユーザーが指またはペンを操作部に設けられた所定の操作面に接触させた状態で移動させると、その動きに対応して画面上のカーソルが移動する。ユーザーは、カーソルが所望のGUI部品上に移動したことを確認してから所定の確定動作(例えばクリック操作)を行うことによって、そのGUI部品に関連づけられた命令や情報を入力することができる。
【0004】
さらには、タッチパネルディスプレーやタブレットのように操作面に直接触れるのではなく、ユーザーの手などの動きをカメラを用いて検出し、その動きに対応して画面に表示されたカーソルを移動させる入力インターフェースもある(例えば、特許文献2参照)。この場合、ユーザーがカメラの視野内で、画面に表示されているカーソルを移動させたい方向に向かって空中で手を移動させると、その動きに対応して画面上のカーソルが移動する。ユーザーは、カーソルが所望のGUI部品上に移動したことを確認してから所定の確定動作(例えばこぶしを作る動作)を行うことによって、そのGUI部品に関連づけられた命令や情報を入力することができる。
【特許文献1】特開平11−3169号公報
【特許文献2】特開2000−181601号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、前述のような従来の入力インターフェースには以下のような欠点がある。
【0006】
タッチパネルディスプレーは、表示画面に直接触れることによって入力を行うため、表示画面の設置位置に関して一種のジレンマが生じる。
【0007】
ユーザーが指でタッチパネルディスプレーに触れるためには表示画面を身体の近くに置かなければならない。人間工学では、VDT(Video Display Terminal)の操作などに関する入力インターフェースの最適な配置条件が定められており、身体から半径50cm以内がよいとされている。
【0008】
一方で、表示画面はなるべく遠くに設置した方がよい場合がある。その一例が、家庭に設置される大型テレビや、車内に設置されるカーナビゲーション装置である。テレビを30cm程度の近距離で見ることは、目にとって良くないばかりでなく、てんかんなどの発作を誘発する恐れもある。また、車の運転中に用いるカーナビゲーション装置では、運転者が目の焦点距離を調節するのにかかる時間が、運転に対する注意の妨げになることが報告されている。つまり、運転中の焦点距離(数m先)とカーナビゲーション装置の表示画面を見るときの焦点距離との差はより小さい方がより安全である。ところで、表示画面を見るときの焦点距離を離すことのできる表示装置として、レンズや鏡を用いたHUD(Head Up Display)に代表される遠焦点ディスプレーが存在するが、この遠焦点ディスプレーではユーザーが表示画面に触れることができないため、タッチパネルを適用することができない。
【0009】
さらに、タッチパネルディスプレーは、ユーザーの入力操作によって表示画面に指紋がつくため表示の視認性が悪化するという本質的な問題も抱えている。
【0010】
一方、タッチトレーサーやタブレットでは、表示画面と操作部が分離しているため、表示画面を遠くに、操作部を近くに置くことが可能である。またユーザーが画面を触ることがないので画面に指紋が付く心配もない。
【0011】
しかし、表示画面と操作部が分離された入力インターフェースは、操作部の操作面上で指やペンをスライドさせることによって画面に表示されたカーソルを移動させる必要があるため、タッチパネルディスプレーのように所望のGUI部品をワンタッチで選択することはできない。すなわち、カーソルの現在位置を確認してから、指を操作面上でスライドさせてカーソルを所望のGUI部品上に移動させる操作が必要になるので、タッチパネルディスプレーのような素早い入力は困難である。このように、表示画面と操作部が分離された入力インターフェースはタッチパネルディスプレーのような直感的な入力が不可能であり、タッチパネルディスプレーよりも操作性に劣る。
【0012】
また、前述のようにカメラを利用して手の動きを検出する方法でも、タッチトレーサーやタブレットの例と同様に、空中で手を動かしてカーソルを所望のGUI部品上に移動させる操作が必要になるので、タッチパネルディスプレーのような素早い入力は困難である。さらに、ユーザーは空中で手を動かす必要があるため、疲労を招きやすいという欠点もある。
【0013】
なお、上記のようにカメラを利用した場合に、手指の“動き(すなわち相対的な位置の変化)”を検出するのではなく、ユーザーの指の向きを検出してその向きからユーザーが指している表示画面上の“位置”を検出することも考えられる。しかし、人間が遠くの物体を指さすときには、目の位置による視差の影響のため、ユーザーが指している指の先にユーザーが意図している物体があることはまれである。よって、指の向きだけからユーザーが指している表示画面上の位置を精度良く特定することは不可能である。また、ユーザーは空中で手を動かす必要があるため、手の位置が不安定になり、入力の精度が良くない。
【0014】
それゆえに本発明の目的は、表示画面と操作部が分離していても直感的かつ正確に入力が可能な入力装置を提供することである。
【課題を解決するための手段】
【0015】
上記目的を達成するために、本発明は以下の構成を採用した。なお、括弧内の参照符号や図番号や補足説明は、本発明の理解を助けるために、図面との対応関係を示したものであって、本発明の範囲を何ら限定するものではない。
【0016】
第1の発明は、操作面を有し、当該操作面においてユーザーの身体部分(6)と接触または接近している領域を検出して当該領域を示す接触位置データ(150A、150B)を出力する検出部(4、100)と、前記接触位置データに基づいてユーザーによる特定の入力操作(プッシュ操作など)を検出する操作内容決定部(500)と、前記接触位置データに基づいて、前記検出部の操作面においてユーザーの身体部分と接触または接近している領域に対応する接触領域画像(図10B、図11B、図12B、図13B、図14Bの103、図15Bの104、図1の7)を作成する身体位置表示部(600)と、ユーザーによる操作の補助となる表示画像を生成する表示情報作成部(700)と、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成する画像合成部(800)と、前記画像合成部が合成した画像を表示する表示部(2、200)とを備えた入力装置。
【0017】
第2の発明は、第1の発明に準ずる発明であって、前記検出部は、接触型の座標入力デバイス(例えばタッチパネルやタッチパッド)であることを特徴とする。
【0018】
第3の発明は、第1の発明に準ずる発明であって、前記検出部は、前記操作面に沿って配置された複数の静電容量センサ(101)を含むことを特徴とする(図3)。これにより、静電容量センサの設定によっては、ユーザーの身体部分の接触だけではなく接近も検出でき、ユーザーは軽快に入力操作を行うことができる。
【0019】
第4の発明は、第3の発明に準ずる発明であって、前記身体位置表示部は、前記検出部の各静電容量センサにそれぞれ対応するドットから成る接触領域画像(図10B)を作成するものであることを特徴とする。これにより、接触領域画像の作成のための処理負荷が軽くなる。また、どの静電容量センサがユーザーの身体部分の接触を検知しているのかが分かるため、より細かく正確な入力操作が可能となる。
【0020】
第5の発明は、第3の発明に準ずる発明であって、前記身体位置表示部は、前記検出部の各静電容量センサにそれぞれ対応するドットのうち、互いに近接するドット群を1つの図形で近似して成る接触領域画像(図11B)を作成するものであることを特徴とする。これにより、ユーザーにとって接触領域の形状が直感的に把握でき、違和感が少ない。
【0021】
第6の発明は、第1の発明に準ずる発明であって、前記検出部は、前記操作面に沿って配置された複数の圧力センサ(102)を含むことを特徴とする(図4)。これにより、圧力センサの検出値に基づいて、触れる、軽く押す、強く押すなどの入力操作を簡単に区別して検知することが可能となり、ユーザーは容易に多彩な入力操作を行うことができる。
【0022】
第7の発明は、第6の発明に準ずる発明であって、前記接触位置データには、前記検出部の各圧力センサによって検知される圧力値が含まれ(150B)、前記身体位置表示部は、前記接触位置データに基づいて、前記検出部の各圧力センサによって検知される圧力値に応じた接触領域画像を作成するものであることを特徴とする。これにより、操作面のどの点にどの程度の圧力が加わっているかをユーザーに提示することができる。
【0023】
第8の発明は、第7の発明に準ずる発明であって、前記身体位置表示部が作成する接触領域画像の各部分の色が、前記検出部の各圧力センサによって検知される圧力値に応じて変化することを特徴とする(図12B、図13B)。これにより、操作面のどの点にどの程度の圧力が加わっているかを色によりユーザーに提示することができる。
【0024】
第9の発明は、第1の発明に準ずる発明であって、前記検出部の操作面を覆う遮蔽部(図9、130)をさらに備えたことを特徴とする。これにより、検出部の操作面にものが落下することによる故障を回避することができる。
【0025】
第10の発明は、第1の発明に準ずる発明であって、前記身体位置表示部は、予め保持しておいた身体形状パターン(図14Aの103、図15Aの104)と前記検出部から出力される接触位置データに基づいて、前記検出部の操作面上に載せられているユーザーの身体部分の形状をモデリングし、当該モデリングの結果得られた身体形状モデル(図14Bの103、図15Bの104)の画像(7)を前記接触領域画像として作成するものであることを特徴とする。これにより、検出部の操作面に載せているユーザーの手の形状が表示部に表示されるため、あたかも画面に直接触れているかのような直感的な入力操作が可能となる。
【0026】
第11の発明は、第10の発明に準ずる発明であって、前記身体位置表示部は、前記検出部から出力される接触位置データに基づいて、ユーザーの身体部分の特徴(各指の長さなど)を取得するキャリブレーション処理を行い、このキャリブレーション処理の結果に基づいてユーザーの身体部分の形状をモデリングするものであることを特徴とする。これにより、より正確なモデリングが可能となる。
【0027】
第12の発明は、第10の発明に準ずる発明であって、前記検出部の近傍に赤外線センサ(110)などの非接触型の位置検出センサをさらに備えたことを特徴とする(図16)。これにより、より正確なモデリングが可能となる。
【0028】
第13の発明は、第10の発明に準ずる発明であって、前記画像合成部は、前記身体形状モデルの輪郭のみを、前記表示情報作成部が作成した表示画像に合成するものであることを特徴とする(図23B)。これにより、身体形状モデルを表示することによって表示情報が隠れてしまうことを回避できる。
【0029】
第14の発明は、第10の発明に準ずる発明であって、前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルの透明度を変化させるものであることを特徴とする(図23C)。これにより、身体形状モデルを表示することによって表示情報が隠れてしまうことを回避できる。
【0030】
第15の発明は、第10の発明に準ずる発明であって、前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルの輪郭を強調するものであることを特徴とする(図23C)。これにより、身体形状モデルを明確に表示することができる。
【0031】
第16の発明は、第10の発明に準ずる発明であって、前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルの指先部分を強調するものであることを特徴とする(図23D)。これにより、入力操作に大きく関わる指先部分の現在位置をユーザーに分かり易く提示することができ、操作性が向上する。
【0032】
第17の発明は、第16の発明に準ずる発明であって、前記検出部は、前記操作面に沿って配置された複数の静電容量センサ(101)または圧力センサ(102)から成るセンサ群を含み、前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記センサ群の各センサにそれぞれ対応するドットから成る画像(図10B、図12B)を利用して、前記身体形状モデルの指先部分を強調するものであることを特徴とする。これにより、どのセンサがユーザーの身体部分の接触を検知しているのかが分かるため、より細かく正確な入力操作が可能となる。
【0033】
第18の発明は、第16の発明に準ずる発明であって、前記検出部は、前記操作面に沿って配置された複数の静電容量センサまたは圧力センサから成るセンサ群を含み、前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記センサ群の各センサにそれぞれ対応するドットのうち、互いに近接するドット群を1つの図形で近似して成る画像(図11B、図13B)を利用して、前記身体形状モデルの指先部分を強調するものであることを特徴とする。これにより、違和感が少なく、滑らかな接触領域画像を表示することができる。
【0034】
第19の発明は、第10の発明に準ずる発明であって、前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルによって隠れてしまう前記表示画像中の表示情報を、当該身体形状モデルによって隠れてしまわないような領域にポップアップ表示させるものであることを特徴とする(図23F)。これにより、ユーザーは、身体形状モデルを表示することによって隠れてしまった表示情報も確認することができる。
【0035】
第20の発明は、第10の発明に準ずる発明であって、前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルによって隠れてしまう前記表示画像中の表示情報を、当該身体形状モデルよりも前面に表示させるものであることを特徴とする(図23G)。これにより、ユーザーは、身体形状モデルを表示することによって隠れてしまった表示情報も確認することができる。
【0036】
第21の発明は、第10の発明に準ずる発明であって、前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルの指先部分に重なる前記表示画像中の表示情報を強調するものであることを特徴とする(図23H)。これにより、ユーザーは、自分の指先の位置に対応する表示情報がどれかを容易に確認することができる。
【0037】
第22の発明は、第21の発明に準ずる発明であって、前記画像合成部は、前記指先部分に重なる前記表示画像中の表示情報を拡大する、もしくは当該表示情報の色を変化させる(図23H)、もしくは当該表示情報を立体的に見えるように変化させることによって、当該表示情報を強調するものであることを特徴とする。これにより、ユーザーは、現在の自分の指先の位置に対応する表示情報がどれかを容易に確認することができる。
【0038】
第23の発明は、第1の発明に準ずる発明であって、前記表示情報作成部は、前記検出部から出力される接触位置データに応じて、作成すべき表示画像を変更するものであることを特徴とする。これにより、状況に応じて適切な表示情報を作成することができる。
【0039】
第24の発明は、第23の発明に準ずる発明であって、前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの身体部分が接触または接近しているかどうかを判定する制御部(400)を更に備え、前記表示情報作成部は、前記制御部によって、前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの身体部分が接触または接近していると判定された場合にのみ、表示画像を作成するものであることを特徴とする。これにより、身体部分が検出されない場合に画像表示処理を行わないようにして、消費電力を抑えることができる。
【0040】
第25の発明は、第23の発明に準ずる発明であって、前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの身体部分が接触または接近しているかどうかを判定する制御部(400)を更に備え、前記表示情報作成部は、前記制御部によって、前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの身体部分が接触または接近していると判定された場合に、作成すべき表示画像中のGUI部品を強調するものであることを特徴とする(図19B、図20B)。これにより、身体部分が検出されない場合にはGUI部品を目立たないように表示し、GUI部品以外の表示情報を見やすくしたり、その情報量を増やしたりすることができる。
【0041】
第26の発明は、第1の発明に準ずる発明であって、前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触または接近しているユーザーの身体部分の特徴を検出する特徴検出手段(400、600)を更に備え、前記表示情報生成部は、前記特徴検出手段によって検出されたユーザーの身体部分の特徴に応じて、作成すべき表示画像を変更するものであることを特徴とする。これにより、ユーザーの身体部分の特徴に応じて適切な表示情報を作成することができる。
【0042】
第27の発明は、第26の発明に準ずる発明であって、前記特徴検出手段は、前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触または接近しているユーザーの身体部分が右手か左手かを判定するものであり、前記表示情報作成部は、前記特徴検出手段の判定結果に応じて、作成すべき表示画像を変更するものであることを特徴とする(図21A、図21B)。これにより、ユーザーの身体部分が右手か左手かによって適切な表示情報を作成することができる。
【0043】
第28の発明は、第27の発明に準ずる発明であって、前記表示情報作成部は、前記検出部の操作面に接触または接近しているユーザーの身体部分が右手または左手の場合にのみ表示情報を作成するものであることを特徴とする。これにより、例えばユーザーが検出部の右側から入力操作をしている場合にのみ表示情報を表示したり、ユーザーが検出部の左側から入力操作をしている場合にのみ表示情報を表示したりといったことが可能である。
【0044】
第29の発明は、第27の発明に準ずる発明であって、前記表示情報作成部は、前記検出部の操作面に接触または接近しているユーザーの身体部分が右手または左手の場合に、作成すべき表示画像中のGUI部品を強調表示、もしくは当該GUI部品の位置を変更(図21A、図21B)、もしくは当該GUI部品の有効性を変更するものであることを特徴とする。これにより、ユーザーが検出部の右側(または左側)から入力操作をしている場合にのみ、GUI部品を強調したり、GUI部品を有効にしたり、GUI部品が無効化されていることを表示したりすることができる。また、ユーザーの位置に合わせてGUI部品の位置を入力操作のしやすい位置に変更することができる。
【0045】
第30の発明は、第26の発明に準ずる発明であって、前記特徴検出手段は、前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触または接近しているユーザーの身体部分が大人のものか子供のものかを判定するものであり、前記身体位置表示部は、前記特徴検出手段の判定結果に応じて、作成すべき表示画像を変更するものであることを特徴とする(図22A、図22B)。これにより、ユーザーの身体部分が大人のものか子供のものかによって適切な表示情報を作成することができる。
【0046】
第31の発明は、第30の発明に準ずる発明であって、前記表示情報作成部は、前記検出部の操作面に接触または接近しているユーザーの身体部分が大人または子供のものの場合にのみ表示情報を作成するものであることを特徴とする。これにより、例えばユーザーが大人の場合にのみ表示情報を表示したり、ユーザーが子供の場合にのみ表示情報を表示したりといったことが可能である。
【0047】
第32の発明は、第30の発明に準ずる発明であって、前記表示情報作成部は、前記検出部の操作面に接触または接近しているユーザーの身体部分が大人または子供のものの場合に、作成すべき表示画像中のGUI部品を強調表示、もしくは当該GUI部品の位置を変更、もしくは当該GUI部品の有効性を変更するものであることを特徴とする。これにより、ユーザーが大人(または子供)の場合にのみ、GUI部品を強調したり、GUI部品を有効にしたり(図22A)、GUI部品が無効化されていることを表示したり(図22B)することができる。また、ユーザーが大人か子供かによって、GUI部品の位置を入力操作のしやすい位置に変更することができる。
【0048】
第33の発明は、第1の発明に準ずる発明であって、当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの2つの操作モードを有し、前記画像合成部は、ユーザーによる入力操作が可能なモードのときには、前記表示情報作成部が作成した表示画像を、前記接触領域画像と合成することなしに、そのまま前記表示部に表示させるものであることを特徴とする。これにより、ユーザーによる入力操作が不可能なモードであるときに、それをユーザーに示唆することができる。
【0049】
第34の発明は、第1の発明に準ずる発明であって、当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの2つの操作モードを有し、前記画像合成部は、前記操作モードに応じて、前記表示情報作成部が作成した表示画像と前記接触領域画像との合成方法を変更するものであることを特徴とする。これにより、例えばユーザーによる入力操作が不可能なモードであるときに、その旨を画面に表示するといったことが可能である。
【0050】
第35の発明は、第34の発明に準ずる発明であって、前記画像合成部は、ユーザーによる入力操作が可能なモードのときには前記接触領域画像が半透明で表示、もしくは輪郭を強調して表示、もしくは半透明でかつ輪郭を強調して表示され、ユーザーによる入力操作が不可能なモードのときには当該接触領域画像が不透明で表示されるように、前記表示画像と前記接触領域画像を合成するものであることを特徴とする。これにより、ユーザーによる入力操作が不可能なモードであるときに、それをユーザーに示唆することができる。
【0051】
第36の発明は、第1の発明に準ずる発明であって、前記表示部が、画像をスクリーンに投影するプロジェクターであることを特徴とする。このように直接画面に触れることができない表示手段を用いた場合でも、直感的な入力操作が可能である。
【0052】
第37の発明は、操作面を有し、当該操作面においてユーザーの身体部分(6)と接触または接近している領域を検出して当該領域を示す接触位置データ(150A、150B)を出力する検出部(4、100)と、前記接触位置データに基づいてユーザーによる特定の入力操作(プッシュ操作など)を検出する操作内容決定部(500)と、前記接触位置データに基づいて、前記検出部の操作面においてユーザーの身体部分と接触または接近している領域に対応する接触領域画像(図10B、図11B、図12B、図13B、図14Bの103、図15Bの104、図1の7)を作成する身体位置表示部(600)と、ユーザーによる操作の補助となる表示画像を生成する表示情報作成部(700)と、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成する画像合成部(800)と、前記画像合成部が合成した画像を表示する表示部(2、200)とを備えた車両である。これにより、運転者や搭乗者は画面に直接触れることなしに入力操作を行うことができるため、入力操作が楽である。また、特に運転中に運転者が入力操作を行う場合には、手元を見なくても確実に入力操作を行えるため、視点の移動量が抑えられ安全である。
【0053】
第38の発明は、第37の発明に準ずる発明であって、前記検出部が、運転席の左側または右側に設置され、かつ運転者が肘置きに肘をおいた状態で操作できる位置に設置されていることを特徴とする(図5、図7)。これにより、運転者は楽な姿勢で入力操作を行うことができる。
【0054】
第39の発明は、第37の発明に準ずる発明であって、前記検出部がステアリング上に設置されていることを特徴とする(図6)。これにより、ステアリングと検出部が近いため、運転中にも素早く入力操作を行うことができる。
【0055】
第40の発明は、第37の発明に準ずる発明であって、前記検出部が、後部座席の中央に設置されていることを特徴とする(図8)。これにより、後部座席の搭乗者が入力操作を行うことができる。
【発明の効果】
【0056】
以上のような本発明により、ユーザーの身体部分が接触(または接近)している操作面上の位置が、画面上のどの位置に対応しているのかを正確に把握できるため、表示画面と検出部が分離していても、タッチパネルのようにあたかも画面に直接触れて入力しているかのような、直感的かつ正確な入力が可能となる。
【発明を実施するための最良の形態】
【0057】
以下に、本発明の実施形態について詳しく説明する。
【0058】
図1は、本発明の一実施形態にかかる入力装置の概念図である。図1において、ユーザーの手元に操作用のタッチパッド4が設置され、ユーザーから離れた位置にディスプレー2が設置されている。ディスプレー2には、ユーザーが所望の命令や情報を入力するための1つ以上のGUI部品3が表示されている。
【0059】
タッチパッド4の操作面の各点は、ディスプレー2の表示画面の各点と一対一で対応しており、ユーザーがタッチパッド4の操作面のある点を指で押すと、その接触位置を示すデータがタッチパッド4から図示しない制御部へと出力され、このデータに基づいて、その接触位置に対応するGUI部品3が特定され、そのGUI部品3に関連付けられた命令や情報が入力される。
【0060】
一方、ユーザーがGUI部品3を選択するためにタッチパッド4上に手6を載せると、タッチパッド4上のユーザーの手6と触れている領域(通常はユーザーの指先と手のひらに触れている領域)がタッチパッド4によって検出され、その接触領域を示すデータがタッチパッド4から演算部へと送られる。演算部は、タッチパッド4から受け取ったデータからタッチパッド4に載せられている手の形状を推定し、推定された形状に基づく手形状モデルの画像7をCGなどによって生成する。そして、生成した手形状モデルの画像7をスーパーインポーズによってディスプレー2に表示する。ユーザーは、ディスプレー2に表示された手形状モデルを見ながら、手形状モデルの指先が所望のGUI部品3上に来るように手6を移動させてからタッチパッド4を押す。するとその接触位置に対応するGUI部品3(すなわち、手形状モデルの指先に位置するGUI部品3)に関連付けられた命令や情報が入力される。
【0061】
なお、仮に手形状モデルの画像7が画面に表示されない場合を想定してみる。この場合、ユーザーは例えば画面の中央に表示されているGUI部品3を選択しようとするときに、タッチパッド4の操作面に視線を移してタッチパッド4の中央位置を確かめてから指で押す必要があり不便である。特に車の運転中では視線を手元に移すことは危険である。しかし本発明の入力装置によれば、ディスプレー2に表示された手形状モデルの画像7を見ることによって、現在の指の位置が画面上のどの位置に対応しているのかを確認することができる。よって、ユーザーはタッチパッド4に視線を移すことなくディスプレー2だけを見ながらGUI部品3を選択することができる。
【0062】
以下、入力装置についてより詳細に説明する。
【0063】
図2は、入力装置の構成を示すブロック図である。図2において、入力装置1000は、検出部100、表示部200および演算部300からなる。演算部300は、演算部300全体を制御する制御部400、ユーザーの特定の入力操作を検出する操作内容決定部500、検出部100に対するユーザーの身体の接触領域を示す画像(例えば図1の7)を作成する身体位置表示部600、ユーザーによる命令や情報の入力に必要となる表示情報(すなわちGUI部品3を含む画像)を作成する表示情報作成部700、および、身体位置表示部600によって作成された画像と表示情報作成部700によって作成された表示情報とを合成する画像合成部800とからなる。以下、各部の構成について詳細に説明する。
【0064】
(検出部100)
まず、検出部100について説明する。
【0065】
検出部100は、ユーザーが手などの身体部分を利用して命令や情報を入力するための手段であり、ユーザーがその操作面に触れたときに、その接触位置を示すデータを出力する機能を備えている。検出部100としては、典型的にはタッチパネルやタッチパッドを利用することができる。ただし、一般的なタッチパネルやタッチパッドでは同時に一箇所の接触位置しか検出することができないが、本発明で利用する検出部100は、ユーザーが操作面上の複数の箇所に同時に触れたときに、それら複数の接触位置を同時に検出する機能を有しているものとする。このような機能は、複数の静電容量センサ(または圧力センサ)を検出部100の操作面に沿って平面状に配置することにより実現される。
【0066】
図3および図4に、検出部100から出力されるデータの例を示す。
【0067】
図3は、検出部100に複数の静電容量センサを用いた場合の例である。図3において、検出部100にはその操作面に沿って平面状に複数の静電容量センサ101が設けられている。ユーザーの身体部分(ここでは手6)が操作面に触れる(または近づく)と、検出部100と身体部分の間の静電容量が変化し、この変化が静電容量センサ101によって検知される。検出部100は、各静電容量センサ101の検出結果に基づいて、図3に示すような、操作面におけるユーザーの身体部分の接触位置を示す接触位置データ150Aを出力する。
【0068】
図4は、検出部100に複数の圧力センサを用いた場合の例である。図4において、検出部100にはその操作面に沿って平面状に複数の圧力センサ102が設けられている。ユーザーの身体部分(ここでは手6)が操作面に触れると、身体部分によって操作面に与えられる圧力が圧力センサ102によって検出される。検出部100は、各圧力センサ102の検出結果に基づいて、図4に示すような、操作面におけるユーザーの身体部分の接触位置およびその圧力を示す接触位置データ150Bを出力する。なお、図4の接触位置データ150Bでは、大きな圧力が加わっている部分ほど濃い色で表されている。
【0069】
次に、図5〜図8を用いて、車内における検出部100の設置例を説明する。
【0070】
図5は第1の設置例を示している。この設置例では、検出部100がセンターコンソールの延長上であって、運転者が肘置きに肘をおいた状態で操作できるような位置に設置される。これにより、運転者は肘を肘置きに乗せた状態で入力操作を行うことができるので、入力操作の際に車が振動していても安定して操作することが可能となる。また、安定した入力操作が可能なので運転者が入力操作に気を取られることがなく、走行中に入力操作を行っても運転に支障を来さない。また、検出部100がセンターコンソールに設置してあることで、運転者だけでなく、助手席や後部座席にいる人間でも入力操作が可能である。
【0071】
図6は第2の設置例を示している。この設置例では、検出部100がステアリングの中央部に斜め上向きに設置される。この設置例ではステアリングと検出部100との距離が非常に近いので、運転者は、両手でステアリングを操作している状態から手を大きく移動させることなく速やかに入力操作を行うことが可能である。
【0072】
図7は第3の設置例を示している。この設置例では、検出部100が運転席のドアの内側であって、運転者が肘置きに肘をおいた状態で操作できるような位置に設置される。これにより、運転者が右手(すなわち多くの人間にとっての利き手)で入力操作を行うことができるので、多くの運転者にとって、より自然でかつ安定した入力操作が可能となる。
【0073】
図8は第4の設置例を示している。この設置例では、検出部100が後部座席の中央にある肘掛け上に設置される。この場合、表示部200としては、図8のような後部座席専用ディスプレーを用いてもよいし、図5〜図7のような運転席や助手席のディスプレーを用いてもよい。この第4の設置例によれば、後部座席の搭乗者による入力操作が可能である。よって、本発明をビデオゲーム等の入力装置として利用するなど、本発明の入力装置を、後部座席特有のエンタテイメントのために利用することができる。また、検出部100を後部座席の中央に配置したことで、後部座席の2人の搭乗者が検出部100を共用することができる。
【0074】
なお、図9のように、検出部100の操作面を覆うような遮蔽部130を設けてもよい。これにより、操作面に対するユーザーの身体部分以外の物体の不慮の接触を防止することができ、例えば検出部100の操作面にものが落下して機器が誤動作したりセンサが故障したりする不具合を回避することができる。
【0075】
(表示部200)
次に、表示部200について説明する。
【0076】
表示部200は、画像合成部800が合成した画像を画面に表示するものであり、表示部200としては、液晶ディスプレー、CRT(Cathode Ray Tube)ディスプレー、EL(Electronic Luminescence)ディスプレーなどが利用できる。
【0077】
なお、表示部200は、例えばHUD(Head Up Display)やHMD(Head Mounted Display)のように、画像合成部800が合成した画像をハーフミラー、鏡、レンズなどを用いて空中に結像させるディスプレーであってもよい。この場合、例えば車両のフロントボンネットの上方のように、表示部200の設置が困難な位置にも画像を表示することが可能となる。
【0078】
また、表示部200としてプロジェクターを利用してもよい。この場合、画像合成部800が合成した画像がプロジェクターによってスクリーンに投影されるため、安価に大画面表示を実現することができる。
【0079】
このように、表示部200の構成は、設置場所や表示目的などに応じて適宜に選択すればよい。
【0080】
次に、演算部300の各部について説明する。
【0081】
(身体位置表示部600)
まず、身体位置表示部600について説明する。
【0082】
身体位置表示部600は、検出部100から出力される接触位置データ(図3の150Aまたは図4の150B)を制御部400を通じて取得し、この接触位置データに基づいて、検出部100に対するユーザーの身体の接触領域を示す画像(以下、接触領域画像と称す)を作成し、作成した画像を制御部400へ出力するものである。以下、身体位置表示部600における接触領域画像の作成手法を具体的に説明する。
【0083】
検出部100に対するユーザーの身体の接触領域を表示部200の画面に表示する方法としては2通りの方法が考えられる。一つ目は、接触領域の形状そのものを接触領域画像として表示する方法であり、二つ目は、接触領域の形状から検出部100に載せられているユーザーの手の位置および形状を推定し、その推定結果に基づいて手形状モデルを作成し、作成した手形状モデルの画像(図1の7)を接触領域画像として表示する方法である。以下、各方法について順番に説明する。
【0084】
まず、接触領域の形状そのものを接触領域画像として表示する場合について、図10A〜図12Bを参照して説明する。
【0085】
まず、図10Aおよび図10Bを参照して、接触領域の形状そのものを接触領域画像として表示する場合の第1の具体例を説明する。図10Aは、600個(20×30)の静電容量センサ101を備えた検出部100の操作面にユーザーの手が載せられているときの各静電容量センサ101の検出結果(2値)を示している。なお、静電容量センサ101の個数(すなわち検出部100の解像度)は単なる一例であって、本発明はこれに限定されない。検出部100からは、図10Aの各静電容量センサ101の検出結果が接触位置データとして出力されることになる。身体位置表示部600は、この接触位置データに基づいて、図10Bのように、手の接触(または接近)を検知した各静電容量センサ101に対応する位置にそれぞれ所定サイズのドットを配置した接触領域画像を作成する。こうして作成された接触領域画像は、後述する画像合成部800の処理によって表示情報と合成され、表示部200に表示される。このような表示により、ユーザーは、自分の手の下に位置する各静電容量センサ101の位置を画面上で確かめることができるため、特定の静電容量センサ101を狙ってダブルタップ操作などの入力操作を行うことが可能である。よって、小さいGUI部品を選択するなどの細かい入力操作が要求される場合に特に有効である。
【0086】
次に、図11Aおよび図11Bを参照して、接触領域の形状そのものを接触領域画像として表示する場合の第2の具体例を説明する。図11Aは、図10Aと同様に、600個(20×30)の静電容量センサ101を備えた検出部100の操作面にユーザーの手が載せられているときの各静電容量センサ101の検出結果(2値)を示している。なお、静電容量センサ101の個数(すなわち検出部100の解像度)は単なる一例であって、本発明はこれに限定されない。検出部100からは、図11Aの各静電容量センサ101の検出結果が接触位置データとして出力されることになる。身体位置表示部600は、この接触位置データに基づいて、図11Bのように実際の接触領域の形状に近い接触領域画像を作成する。具体的には、手の接触(または接近)を検知した静電容量センサ101のうち、互いに近接するものを1グループとして、このグループの形状を任意の図形(例えば楕円)で近似する。または、図10Bの接触領域画像における近接するドット間の隙間を埋めて図11Bに近い接触領域画像を作成するようにしてもよい。このような表示により、ユーザーにとって接触領域の形状が直感的に把握でき、違和感が少ないという効果がある。表示のバリエーションとして、接触領域の輪郭のみを表示したり、接触領域に所定のテクスチャーを貼り付けたり、接触面積に応じて接触領域の色や透明度を変化させたりしてもよい。
【0087】
次に、図12Aおよび図12Bを参照して、接触領域の形状そのものを接触領域画像として表示する場合の第3の具体例を説明する。図12Aは、600個(20×30)の圧力センサ102を備えた検出部100の操作面にユーザーの手が載せられているときの各圧力センサ102の検出結果(多値)を示している。なお、圧力センサ102の個数(すなわち検出部100の解像度)は単なる一例であって、本発明はこれに限定されない。検出部100からは、図12Aの各圧力センサ102の検出結果が接触位置データとして出力されることになる。身体位置表示部600は、この接触位置データに基づいて、図12Bのように、圧力を検出した各圧力センサ102に対応する位置にそれぞれ所定サイズのドットを配置するとともに、圧力センサ102によって検出された圧力が大きいほど、その圧力センサ102に対応するドットの色が濃くなるような接触領域画像を作成する。このような表示により、ユーザーは、自分の手の下に位置する各圧力センサ102の位置を画面上で確かめることができるため、特定の圧力センサ102を狙ってダブルタップ操作などの入力操作を行うことが可能である。よって、小さいGUI部品を選択するなどの細かい入力操作が要求される場合に特に有効である。また、各圧力センサ102によって検出されている圧力を画面上で確かめることができるため、ユーザーは、例えば前述のプッシュ操作のときにどの程度の力が必要かや、操作面に最も大きな圧力を与えているのは指先のどの部分かを把握することができる。これにより、例えば狙ったGUI部品とは別のGUI部品を誤って選択してしまったような場合に、その原因(例えば意図せずに手のひら部分で操作面に強い圧力を加えてしまっていたなど)を確かめることができる。なお、図12Bの例では圧力に応じてドットの色を変化させているが、本発明はこれに限定されない。例えば、圧力に応じてドットの大きさ、ドットの透明度、ドットの形状、ドットの輪郭線の有無、ドットの輪郭線の線種、ドットの輪郭線の太さを変化させても良い。また、これらの変化を組み合わせてもよい。
【0088】
次に、図13Aおよび図13Bを参照して、接触領域の形状そのものを接触領域画像として表示する場合の第4の具体例を説明する。図13Aは、図12Aと同様に、600個(20×30)の圧力センサ102を備えた検出部100の操作面にユーザーの手が載せられているときの各圧力センサ102の検出結果(多値)を示している。なお、圧力センサ102の個数(すなわち検出部100の解像度)は単なる一例であって、本発明はこれに限定されない。検出部100からは、図13Aの各圧力センサ102の検出結果が接触位置データとして出力されることになる。身体位置表示部600は、この接触位置データに基づいて、図13Bのように実際の接触領域の形状に近い接触領域画像を作成する。具体的には、所定値以上の圧力を検出した圧力センサ102のうち、互いに近接するものを1グループとして、このグループの形状を任意の図形(例えば楕円)で近似し、さらに、各圧力センサ102によって検出された圧力に応じてこの図形の色にグラデーションを与える。例えば、圧力が大きい部分は赤で、圧力が小さい部分は青で、圧力がそれらの中間である部分は紫で表示する。このような表示により、ユーザーにとって接触領域の形状が直感的に把握でき、違和感が少ないという効果がある。なお、図13Bの例では圧力に応じて各楕円の色を変化させているが、本発明はこれに限定されない。例えば、圧力に応じて楕円の大きさ、楕円の透明度、楕円の形状、楕円の輪郭線の有無、楕円の輪郭線の線種、楕円の輪郭線の太さを変化させても良い。また、これらの変化を組み合わせてもよい。
【0089】
次に、接触領域の形状に基づいて作成された手形状モデルの画像を接触領域画像として表示する場合について、図14A〜図16を参照して説明する。
【0090】
身体位置表示部600は、検出部100から出力される接触位置データ(図3の150Aまたは図4の150B)に基づいて、手形状のモデリングを行う。
【0091】
手形状のモデリングのためには、ユーザーによる入力操作に先だって、ユーザー毎にキャリブレーション処理を行う必要がある。このキャリブレーション処理は、予め用意された手形状モデルに各ユーザーの手の特徴を反映させるための処理であり、ユーザーが入力装置を操作する前に一度だけ実行されればよい。ユーザーの手の特徴(例えば、手のひらの大きさや形状、各指の長さや太さ、指先から第1間接や第2間接までの長さなどのパラメータ)は、ユーザーが任意の入力手段を利用して身体位置表示部600に直接入力してもよいし、ユーザーが検出部100の操作面に手を押し当て、検出部100から出力される接触位置データに基づいて身体位置表示部600が自動的に認識してもよい。このようにして得られたユーザー固有の特徴パラメータは、ユーザーの識別情報(例えば名前)と一緒に任意の記憶装置に記憶しておけば後で再利用することができる。これにより、ユーザーが入力装置を利用する度にキャリブレーション処理を行う必要がなくなる。
【0092】
身体位置表示部600は、検出部100から出力される接触位置データから手のひらの付け根の位置と各指先の位置を判定し、これらの位置とキャリブレーション処理によって得られたユーザーの手の特徴とに基づいて、図14Aのような予め用意された手形状モデル103を図14Bのように変形させ、変形させた手形状モデルの画像を接触領域画像として制御部400に出力する。
【0093】
なお、場合によってはユーザーが5本の指の全てを検出部100の操作面に接触させていないこともあり得る。例えば、ユーザーが5本の指のうちの人差し指と親指だけを操作面に接触させている場合も考えられる。このような場合に対応するためには、ユーザーが接触させている指の本数またはその組み合わせに応じた複数パターンの手形状モデルを予め用意しておき、身体位置表示部600は、検出部100から出力される接触位置データに基づいて、ユーザーがどの指を操作面に接触させているかを判定し、この判定結果に応じた手形状モデルを用いて接触領域画像を作成すればよい。例えば、ユーザーが5本の指のうちの人差し指と親指だけを操作面に接触させている場合には、予め用意された図15Aに示すような手形状モデル104を、接触位置データおよびユーザーの手の特徴とに基づいて図15Bのように変形させればよい。
【0094】
なお、5本の指のうちのどの指が接触しているかを判定する方法としては、検出部100における接触位置を考慮して推定する方法や、接触領域間の相対位置を考慮して推定する方法や、接触位置の遷移の履歴を考慮して推定する方法などが考えられる。また、5本の指のうちのどの指が接触しているかを特定することなしに、接触している指の本数のみに応じて手形状モデルを選択してもよい。例えば、指が1本だけ接触している場合に、実際にその指が人差し指か否かに関わらず、人差し指だけを延ばしているような手形状モデルを用いるようにしてもよい。
【0095】
なお、場合によってはユーザーが指だけしか検出部100の操作面に接触させていないこともあり得る。この場合には、身体位置表示部600は、検出部100に対してユーザーがどの方向から入力操作を行うのかを考慮して、指先の接触位置から手のひらの位置を推定する。例えば図7の例では、ユーザーは肘置きに肘を置いた状態で入力操作を行うと想定されるため、ユーザーの手のひらは指先の位置に対して常に後部座席方向に位置すると考えられる。身体位置表示部600は、推定した手のひらの位置と、接触位置データおよびユーザーの手の特徴とに基づいて、手形状モデルの画像を作成する。
【0096】
なお、図16のように、検出部100の操作面の縁の一部に、または操作面全体を取り囲むように、複数の赤外線センサ110を配置し、各赤外線センサ110の上部に人体が存在するか否かを検知するようにしてもよい。これらの赤外線センサ110の検知結果を考慮することにより、身体位置表示部600は、たとえユーザーが手のひらを検出部100の操作面に接触させていない場合であっても、ユーザーの手の向きを容易に判定することができる。また、検出部100の上方の操作面から離れた位置にユーザーの手があることも検知することができる。
【0097】
なお、場合によってはユーザーが手のひらだけしか検出部100の操作面に接触させていないこともあり得る。この場合、身体位置表示部600は、例えば手を開いている状態の手形状モデルの画像を表示すればよい。さらには、その手形状モデルの画像を半透明にするなどして、操作面に指先が接していないことをユーザーに示唆するようにしてもよい。このような表示により、ユーザーは、表示部200に表示される画像から自分の手の状態を容易に把握でき、安心することができる。
【0098】
なお、検出部100の操作面に指先も手のひらも両方とも接していないときには身体位置表示部600は接触領域画像を作成しない。これにより、ユーザーは、表示部200に表示される画像から自分の手の状態(すなわち操作面から手を離していること)を容易に把握でき、安心することができる。
【0099】
(操作内容決定部500)
次に、操作内容決定部500について説明する。
【0100】
操作内容決定部500は、検出部100から出力される接触位置データを制御部400を通じて取得し、この接触位置データに基づいてユーザーの特定の入力操作を検知し、その結果を制御部400へ出力するものである。操作内容決定部500が検知する特定の入力操作の例として、操作面を押す操作(以下、プッシュ操作と称す)や、操作面を例えば指で押した状態でその指をスライドさせる操作や、操作面上のあるポイントに一定時間以上触れる操作(以下、ホールド操作と称す)や、操作面上のあるポイントに一瞬だけ触れる操作(以下、タップ操作と称す)や、操作面上のあるポイントに短時間で2度触れる操作(以下、ダブルタップ動作と称す)が挙げられる。なお、ホールド操作、タップ操作およびダブルタップ操作を検知するためには、接触位置の時間的な変化を考慮する必要があるため、操作面上の各ポイントに対して身体部分が接触した時間や履歴を適宜保持しておく必要がある。
【0101】
なお、プッシュ操作は、検出部100に複数の圧力センサ102を用いる場合には、圧力センサによって検出された圧力を所定の閾値と比較することによって簡単に検知することができるが、検出部100に複数の静電容量センサ101を用いる場合には工夫が必要である。検出部100に複数の静電容量センサ101を用いる場合には、例えば接触位置データからユーザーの指先が接している領域の面積を計算し、この面積の変化をモニタすることによってプッシュ操作を検知することが可能である。これは、ユーザーが単に手を操作面に載せている状態では指先と操作面との接触面積が比較的小さいのに対して、ユーザーが指先を操作面に押しつけたときにはその接触面積が1.2倍から2倍程度にまで大きくなることを利用している。
【0102】
なお、図17に示すように、表示部200に例えば音量調節用のロータリースイッチをGUI部品によって模擬的に表示し、検出部100の操作面に円を描くようなドラッグ操作を操作内容決定部500で検知したときに、そのドラッグ操作に応じて音量を変化させるようにしてもよい。これにより、あたかも実際にロータリースイッチを回しているかのような直感的な入力操作が可能となる。
【0103】
(制御部400)
次に、制御部400について説明する。
【0104】
制御部400の処理は、大きく分けて、検出部100の操作面に対するユーザーの身体部分の接触領域を示す接触領域画像を表示部200に表示するために実行される処理と、ユーザーの入力操作があったときに実行される処理とに分けられる。
【0105】
まず、接触領域画像を表示部200に表示するために実行される制御部400の処理の流れを、図18のシーケンス図を参照して説明する。
【0106】
ステップS501において検出部100が操作面に対するユーザーの身体部分の接触(または接近)位置を検出すると、検出部100は制御部400に検出位置データを送る。
【0107】
ステップS502において、制御部400は、その時点での操作モードをチェックする。ここでは、操作モードとして、ユーザーによる入力操作が許可されているモードと、ユーザーによる入力操作が禁止されているモードの2通りのモードが用意されているものとする。特にカーナビゲーション装置では、運転者が移動中にカーナビゲーション装置を操作することは危険につながるため、移動中はユーザーによる入力操作が禁止されるのが普通である。ステップS502のチェックによってユーザーによる入力操作が許可されていないと判断されると、制御部400は、表示情報作成部700が作成した表示情報をそのまま(すなわち、表示情報と接触領域画像を合成することなく)表示部200に出力するように画像合成部800に指示する。
【0108】
ステップS502のチェックによってユーザーによる入力操作が許可されていると判断されると、制御部400はステップS503において、身体位置表示部600に対して接触領域画像の作成を指示し、さらにステップS504において、表示情報作成部700に対して表示部200に表示すべき表示情報を変更するように指示する。ここで必要であれば、制御部400は、検出部100の操作面に載せられている身体部分に関する特性(手の大きさ、左手か右手かなど)を検出し、その特性を表示情報作成部700に送っても良い。身体位置表示部600における接触領域画像の作成処理については前述した通りであるので説明を省略する。ここでは、身体位置表示部600は、接触位置データに基づく手形状モデルの画像を接触領域画像として作成するものとする。
【0109】
表示情報作成部700は、制御部400の指示に従って表示情報を変更する。ここでの表示情報作成部700による表示情報の変更例を以下に説明する。
【0110】
図19Aおよび図19Bは、検出部100が接触位置を検出した場合(すなわちユーザーの身体部分が検出部100の操作面上に載せられている場合)と検出していない場合(すなわちユーザーの身体部分が検出部100の操作面上に載せられていない場合)とで表示情報を変更する第1の例である。検出部100が接触位置を検出したかどうかは、検出部100から出力される接触位置データに基づいて制御部400が判定することができる。制御部400はこの判定結果に基づいて表示情報作成部700に表示情報の変更を指示する。図19Aは、検出部100が接触位置を検出していない場合の画面表示例である。ここでは、ユーザーが選択することのできるGUI部品(ここではボタン)の輪郭が、「目的地まで24分」と書かれた単なるメッセージ表示用の欄と同じ線種で表示されている。図19Bは、検出部100が接触位置を検出した場合の、図19Aに対応する画面表示例である。ここでは、ボタンが立体的に表示されるため、ユーザーは選択の対象となる領域がどこかを一目で認識することができる。このように表示情報を変更することによって、ユーザーが入力操作をしようとしていないときには表示情報を簡素化して表示情報の視認性を向上し、ユーザーが入力操作をしようとしているときには選択対象を強調表示して操作性を向上することができる。
【0111】
図20Aおよび図20Bは、検出部100が接触位置を検出した場合(すなわちユーザーの身体部分が検出部100の操作面上に載せられている場合)と検出していない場合(すなわちユーザーの身体部分が検出部100の操作面上に載せられていない場合)とで表示情報を変更する第2の例である。図20Aは、検出部100が接触位置を検出していない場合の別の画面表示例である。ここでは、ユーザーが選択することのできるGUI部品(ここではボタン)が比較的小さい大きさで表示されている。図20Bは、検出部100が接触位置を検出した場合の、図20Aに対応する画面表示例である。ここでは、ボタンが図20Aと比較してより大きく表示されるため、ユーザーはボタンを選択し易くなる。このように表示情報を変更することによって、ユーザーが入力操作をしようとしていないときにはボタン以外の情報を見易くし、ユーザーが入力操作をしようとしているときにはボタンを拡大表示して操作性を向上することができる。
【0112】
図21Aおよび図21Bは、検出部100の操作面に右手が載せられている場合と左手が載せられている場合とで表示情報を変更する例である。検出部100の操作面に右手が載せられているか左手が載せられているかは、検出部100から出力される接触位置データに基づいて制御部400が判定してもよいし、前述のキャリブレーション処理において判定してもよい。この判定には、既存の種々のアルゴリズムを用いることができる。制御部400はこの判定結果に基づいて表示情報作成部700に表示情報の変更を指示する。図21Aは、検出部100の操作面に右手が載せられている場合の画面表示例であり、図21Bは、検出部100の操作面に左手が載せられている場合の画面表示例である。ここでは、車内の運転席と助手席の間に検出部100が設置されている場合のように、検出部100の左右両側に2人のユーザーが存在し、検出部100の右側に存在するユーザーは検出部100を左手で操作し、検出部100の左側に存在するユーザーは検出部100を右手で操作するという状況を想定している。つまり、検出部100の操作面に右手が載せられているということは、検出部100を操作しているユーザーは検出部100の左側にいると考えられる。このとき、仮にGUI部品(ここではボタン)が画面の右上に表示されていると、ユーザーがそのボタンを押そうとするときに検出部100の中央付近がユーザーの手のひらで覆われてしまい、その結果として表示画面の中央付近が手形状モデルの画像で覆われることとなり、画面が見づらくなってしまう。そこで、このような問題を避けるために、検出部100の操作面に右手が載せられている場合には、図21Aのようにボタンが画面の左側に表示され、逆に、検出部100の操作面に左手が載せられている場合には、図21Bのようにボタンが画面の右側に表示される。
【0113】
なお、上の例では、検出部100の操作面に右手が載せられている場合と左手が載せられている場合とでボタンの配置位置を変更するようにしたが、ボタンの機能や形や大きさや数などを変更するようにしても良い。例えば、検出部100が車内の運転席と助手席の間に設置されている場合に、車両の移動中に右手(すなわち助手席の搭乗者の手)が載せられた場合には、文字入力のように比較的複雑な入力操作を要するボタンも画面スクロールのように比較的簡単な入力操作を要するボタンも表示するが、車両の移動中に左手(すなわち運転者の手)が載せられた場合には、安全のために比較的簡単な入力操作を要するボタンだけを表示することが考えられる。
【0114】
図22Aおよび図22Bは、検出部100の操作面に比較的大きい手(すなわち大人の手)が載せられている場合と比較的小さい手(すなわち子供の手)が載せられている場合とで表示情報を変更する例である。検出部100の操作面に比較的大きい手が載せられているか比較的小さい手が載せられているかは、検出部100から出力される接触位置データに基づいて制御部400が判定してもよいし、前述のキャリブレーション処理において判定してもよい。この判定には、既存の種々のアルゴリズムを用いることができる。制御部400はこの判定結果に基づいて表示情報作成部700に表示情報の変更を指示する。図22Aは、検出部100の操作面に比較的大きい手が載せられている場合の画面表示例である。検出部100の操作面に比較的大きい手が載せられているということは、大人が操作しようとしていると考えられるので、入力操作は特に制限されない。図22Bは、検出部100の操作面に比較的小さい手が載せられている場合の画面表示例である。検出部100の操作面に比較的大きい手が載せられているということは、子供が操作しようとしていると考えられるので、一部または全てのボタンを無効化して入力操作を制限し、さらにボタンが無効化されていることがユーザーに分かるように、ボタンの色を変化させたり目印を付けたりする。
【0115】
なお、上の例では、検出部100の操作面に比較的小さい手が載せられている場合にボタンの色を変えたり目印を付けたりするとしたが、これに限らず、種々の表示情報の変更例が考えられる。例えば、表示情報に含まれる難しい単語を易しい単語に変更したり、画面構成や色遣いを子供風に変更したりすることも考えられる。
【0116】
なお、表示情報の変更の他の例として、表示情報作成部700は、操作面上にユーザーの身体部分が載せられていると判定された場合にのみ表示情報を生成するようにしてもよい。これにより、ユーザーが入力操作を行わないときに画像表示に係る処理を中断するため、消費電力を抑えることができる。同様に、表示情報作成部700は、操作面上にユーザーの右手(または左手)が載せられていると判定された場合にのみ表示情報を生成するようにしてもよい。同様に、表示情報作成部700は、操作面上に大人の手(または子供の手)が載せられていると判定された場合にのみ表示情報を生成するようにしてもよい。
【0117】
なお、検出部100の操作面に載せられている物体が必ずしもユーザーの身体部分であるとは限らない。そこで、制御部400が、検出部100の操作面に載せられている物体がユーザーの身体部分かどうかを検出部100からの接触位置データに基づいて判定し、身体部分だった場合と、そうでない場合(例えば荷物などだった場合)とで表示情報を変更するようにしても構わない。例えば、検出部100の操作面に載せられている物体が身体部分でないと判定された場合には、表示情報作成部700は表示情報を生成しないようにしてもよい。検出部100の操作面に載せられている物体が身体部分かどうかの判定は、例えばパターンマッチング等の手法により可能である。
【0118】
表示情報が変更されると、制御部400はステップS505において、画像合成部800に対して、身体位置表示部600によって作成された接触領域画像と表示情報作成部700によって作成(変更)された表示情報とを合成するように指示する。画像合成部800はこの指示に従って接触領域画像と表示情報を合成する。画像合成部800によって合成された画像例を以下に説明する。
【0119】
図23Aは、身体位置表示部600が作成した接触領域画像(ここではリアルな手形状モデルの画像)を、表示情報作成部700が作成した表示情報に上書きした場合の画面例である。このようにリアルな手形状モデルの画像を表示することにより、実際に画面に触れているかのような感覚をユーザーに与えることができ、直感的な入力操作が可能となる。
【0120】
図23Bは、身体位置表示部600が作成した接触領域画像の輪郭のみを、表示情報作成部700が作成した表示情報に上書きした場合の画面例である。このような画像合成により、接触領域の形状と位置が表示されると同時に、接触領域画像の内側の表示情報も表示されるので、操作中にも表示情報を確認し易くなる。
【0121】
図23Cは、身体位置表示部600が作成したリアルな手形状モデルの画像を、輪郭を不透明にして内部を半透明にするように加工してから、表示情報作成部700が作成した表示情報に上書きした場合の画面例である。このような画像合成により、直感的な入力操作が可能となると同時に、操作中にも表示情報を確認し易くなる。
【0122】
図23Dは、身体位置表示部600が作成した接触領域画像の輪郭を、指先部分が強調表示されるように加工してから、表示情報作成部700が作成した表示情報に上書きした場合の画面例である。このような画像合成により、ユーザーは自分が押そうとしている位置を素早く確認することができ、なおかつ接触領域画像の内側の表示情報も表示されるので、操作中にも表示情報を確認し易くなる。なお、指先部分を検出する方法としては、例えば輪郭の形状からパターンマッチング手法を用いて指先部分を特定したり、手形状モデルから爪の部分を抽出したりといった方法が考えられる。強調表示の例としては、印を表示したり、色を変更したり、透明度を変更したり、さらには、指先に行くほど徐々に輪郭の色を濃くしたり、指先に行くほど徐々に輪郭の透明度を小さくしたりすることが挙げられる。さらには、身体位置表示部600が作成した手形状モデル(またはその輪郭)と表示情報作成部700が作成した表示情報を画像合成部800で合成する際に、さらに図10B(または図11B、図12B、図13B)の画像の少なくとも指先部分を合成することによって、手形状モデルの指先部分を強調することも可能である。
【0123】
図23Eは、身体位置表示部600が作成した接触領域画像を、半透明または不透明の影を付加してから、表示情報作成部700が作成した表示情報に上書きした場合の画面例である。このような画像合成により、実際に画面に触れているかのような感覚をユーザーに与えることができる。
【0124】
上記の図23A〜図23Eの例は、接触領域画像を必要に応じて加工してから表示情報作成部700が作成した表示情報に上書きするものであるが、画像合成の際に接触領域画像以外を加工することも考えられる。以下、そのような例について説明する。
【0125】
図23Fは、身体位置表示部600が作成した接触領域画像を表示情報に上書きするとその一部または全体が隠れてしまうようなGUI部品について、その近傍に補助情報(GUI部品のラベルや補助説明などの情報)をポップアップ表示した例である。この表示を実現するために、画像合成部800はまず、表示情報作成部700が作成した表示情報に含まれる各GUI部品が接触領域画像と重なるかどうかを既知のアルゴリズムを用いて判断する。そして、接触領域画像と重なるGUI部品があれば、そのGUI部品の位置から所定の方向(右方向や上方向など)に離れて存在する接触領域画像と重ならないような領域を見つけ、その領域にそのGUI部品の補助情報を表示する。このような画像合成により、ユーザーは、画面に表示された任意のGUI部品に関する情報を、そのGUI部品に接触領域画像を重ねることによって簡単に取得することができる。また、接触領域画像によって隠れてしまったGUI部品を、手を移動させることなく識別することができ、操作性が向上する。
【0126】
図23Gは、身体位置表示部600が作成した接触領域画像を表示情報に上書きするとその一部または全体が隠れてしまうようなGUI部品について、そのGUI部品のラベルを接触領域画像に上書きした例である。なお、図23Gの例では、隠れたGUI部品のラベルのみを接触領域画像に上書きしているが、隠れたGUI部品の形状もあわせて上書きしても良い。このような画像合成により、ユーザーは、接触領域画像によって隠れてしまったGUI部品を、手を移動させることなく識別することができ、操作性が向上する。
【0127】
図23Hは、身体位置表示部600が作成した接触領域画像を表示情報に上書きしたときに接触領域画像の指先部分に重なるGUI部品を強調表示した例である。このような画像合成により、ユーザーは接触領域画像の指先がどのGUI部品の上にあるのかを容易に確認することができる。なお、指先部分の位置を検出する方法としては、例えば輪郭の形状からパターンマッチング手法を用いて指先部分を特定したり、手形状モデルから爪の部分を抽出したりといった方法が考えられる。また、強調表示は、例えば、色の変更、透明度の変更、形状の変更、線種・線の太さの変更、文字書式の変更、アイコンの変更、色や透明度の連続的な変更(グラデーション)など、種々の方法により可能である。
【0128】
なお、上記の例では、ステップS502のチェックによってユーザーによる入力操作が許可されていないと判断されると、制御部400は、表示情報作成部700が作成した表示情報をそのまま表示部200に出力するように画像合成部800に指示するとしたが、本発明はこれに限らない。すなわち、現在の操作モードに応じて、画像合成部800における画像合成方法を変更してもよい。より具体的には、ユーザーによる入力操作が可能なモードのときには接触領域画像が半透明で表示、もしくは輪郭を強調して表示、もしくは半透明でかつ輪郭を強調して表示され、ユーザーによる入力操作が不可能なモードのときには接触領域画像が不透明で表示されるように、表示画像と接触領域画像とが合成されるようにしてもよい。
【0129】
次に、ユーザーによる特定の入力操作(ここではプッシュ操作)があったときに実行される制御部400の処理の流れを、図24のシーケンス図を参照して説明する。
【0130】
ステップS511において、操作内容決定部500は、ユーザーによるプッシュ操作を検出すると制御部400にメッセージを送る。
【0131】
ステップS512において、制御部400は、表示情報作成部700に対して表示情報を変更するように指示する。表示情報作成部700は、制御部400の指示に従って表示情報を変更する。ここでの表示情報の変更例を図25Aおよび図25Bを用いて説明する。
【0132】
図25Aは、ユーザーが押した検出部100上の点に対応するGUI部品(すなわちユーザーによって選択されたGUI部品)を強調表示する例である。図25Aの例では、ユーザーによって選択されたGUI部品(ここではボタン)が、ボタンが押し込まれたような画像に変更されている。なお図25Aでは便宜上、接触領域画像が図示されているが、実際には、表示情報作成部700が作成する表示情報に接触領域画像は含まれない。このような表示情報の変更により、ユーザーは、自分が選択しようとしたGUI部品を正しく選択できたかどうかを容易に確認することができ、操作性が向上する。
【0133】
図25Bは、ユーザーが押した検出部100上の点に対応する画面上の点を強調表示する例である。図25Bの例では、ユーザーが押した検出部100上の点に対応する画面上の点に、あたかも指紋が残ったかのように、円形の目印が上書きされている。この円形の目印は、この目印が表示されてから一定時間が経過するか、ユーザーが再び検出部100上の別の点を押すまでの間表示される。このような表示情報の変更により、ユーザーは、自分が指定しようとした画面上の点を正しく指定できたかどうかを容易に確認することができる。特に、自分が指定しようとした点と実際に指定された点とがずれていた場合に、ずれた方向と距離を確認することができる。
【0134】
表示情報が変更されると、制御部400はステップS513において、画像合成部800に対して、身体位置表示部600によって作成された接触領域画像と表示情報作成部700によって作成された表示情報とを合成するように指示する。画像合成部800はこの指示に従って接触領域画像と表示情報を合成する。
【0135】
以上のように、本実施形態の入力装置によれば、ユーザーが画面に直接触れることなく、しかも操作時に手元を見ることなしに、GUIを利用した直感的な入力操作を行うことができる。
【産業上の利用可能性】
【0136】
本発明の入力装置は、タッチパネルディスプレーのような直感的な入力操作を、画面に直接触れることなしに行えるようにしたものであり、ディスプレーから離れた位置で入力操作を行う場合や、表示手段として遠焦点ディスプレーを利用する場合に好適である。また、入力操作時に手元を見る必要がないため、カーナビゲーション装置の入力装置としても好適である。
【図面の簡単な説明】
【0137】
【図1】本発明の一実施形態に係る入力装置の概念図
【図2】入力装置の構成を示すブロック図
【図3】検出部100に静電容量センサ101を用いた場合に検出部100から出力される接触位置データの例
【図4】検出部100に圧力センサ102を用いた場合に検出部100から出力される接触位置データの例
【図5】車内における入力装置の設置例
【図6】車内における入力装置の設置例
【図7】車内における入力装置の設置例
【図8】車内における入力装置の設置例
【図9】検出部100を覆うように遮蔽部130を設けた例
【図10A】検出部100に静電容量センサ101を用いた場合の接触位置データの例
【図10B】検出部100に静電容量センサ101を用いた場合の接触領域画像の例
【図11A】検出部100に静電容量センサ101を用いた場合の接触位置データの例
【図11B】検出部100に静電容量センサ101を用いた場合の接触領域画像の例
【図12A】検出部100に圧力センサ102を用いた場合の接触位置データの例
【図12B】検出部100に圧力センサ102を用いた場合の接触領域画像の例
【図13A】検出部100に圧力センサ102を用いた場合の接触位置データの例
【図13B】検出部100に圧力センサ102を用いた場合の接触領域画像の例
【図14A】予め用意される手形状モデル103の例
【図14B】接触位置データに基づいて変形された手形状モデル103の例
【図15A】予め用意される手形状モデル104の例
【図15B】接触位置データに基づいて変形された手形状モデル104の例
【図16】検出部100の近傍に赤外線センサ110を設けた例
【図17】ユーザーによる特定の入力操作の例
【図18】接触領域画像を表示するための制御部400の処理の流れを示すシーケンス図
【図19A】接触領域が検出されていない場合に表示情報作成部700によって作成される表示情報の例
【図19B】接触領域が検出された場合に表示情報作成部700によって作成される表示情報の例
【図20A】接触領域が検出されていない場合に表示情報作成部700によって作成される表示情報の例
【図20B】接触領域が検出された場合に表示情報作成部700によって作成される表示情報の例
【図21A】右手が検出された場合に表示情報作成部700によって作成される表示情報の例
【図21B】左手が検出された場合に表示情報作成部700によって作成される表示情報の例
【図22A】比較的大きい手が検出された場合に表示情報作成部700によって作成される表示情報の例
【図22B】比較的小さい手が検出された場合に表示情報作成部700によって作成される表示情報の例
【図23A】画像合成部800によって合成された画像例
【図23B】画像合成部800によって合成された画像例
【図23C】画像合成部800によって合成された画像例
【図23D】画像合成部800によって合成された画像例
【図23E】画像合成部800によって合成された画像例
【図23F】画像合成部800によって合成された画像例
【図23G】画像合成部800によって合成された画像例
【図23H】画像合成部800によって合成された画像例
【図24】ユーザーによるプッシュ操作が検知されたときの制御部400の処理の流れを示すシーケンス図
【図25A】ユーザーによるプッシュ操作があった時に表示情報作成部700によって作成される表示情報の例
【図25B】ユーザーによるプッシュ操作があった時に表示情報作成部700によって作成される表示情報の例
【符号の説明】
【0138】
2 ディスプレー
3 GUI部品
4 タッチパッド
6 操作者の手
7 手形状モデルの画像
100 検出部
101 静電容量センサ
102 応力センサ
103 手形状モデル
104 手形状モデル
110 赤外線センサ
130 遮蔽部
150A 接触位置データ
150B 接触位置データ
200 表示部
300 演算部
400 制御部
500 操作内容決定部
600 身体位置表示部
700 表示情報作成部
800 画像合成部
1000 入力装置

【特許請求の範囲】
【請求項1】
ユーザーが機器に対して命令や情報を入力するための入力装置であって、
操作面を有し、当該操作面においてユーザーの身体部分と接触または接近している領域を検出して当該領域を示す接触位置データを出力する検出部と、
前記接触位置データに基づいてユーザーによる特定の入力操作を検出する操作内容決定部と、
前記接触位置データに基づいて、前記検出部の操作面においてユーザーの身体部分と接触または接近している領域に対応する接触領域画像を作成する身体位置表示部と、
ユーザーによる操作の補助となる表示画像を生成する表示情報作成部と、
前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成する画像合成部と、
前記画像合成部が合成した画像を表示する表示部とを備えた入力装置。
【請求項2】
前記検出部は、接触型の座標入力デバイスであることを特徴とする、請求項1に記載の入力装置。
【請求項3】
前記検出部は、前記操作面に沿って配置された複数の静電容量センサを含むことを特徴とする、請求項1に記載の入力装置。
【請求項4】
前記身体位置表示部は、前記検出部の各静電容量センサにそれぞれ対応するドットから成る接触領域画像を作成するものであることを特徴とする、請求項3に記載の入力装置。
【請求項5】
前記身体位置表示部は、前記検出部の各静電容量センサにそれぞれ対応するドットのうち、互いに近接するドット群を1つの図形で近似して成る接触領域画像を作成するものであることを特徴とする、請求項3に記載の入力装置。
【請求項6】
前記検出部は、前記操作面に沿って配置された複数の圧力センサを含むことを特徴とする、請求項1に記載の入力装置。
【請求項7】
前記接触位置データには、前記検出部の各圧力センサによって検知される圧力値が含まれ、
前記身体位置表示部は、前記接触位置データに基づいて、前記検出部の各圧力センサによって検知される圧力値に応じた接触領域画像を作成するものであることを特徴とする、請求項6に記載の入力装置。
【請求項8】
前記身体位置表示部が作成する接触領域画像の各部分の色が、前記検出部の各圧力センサによって検知される圧力値に応じて変化することを特徴とする、請求項7に記載の入力装置。
【請求項9】
前記検出部の操作面を覆う遮蔽部をさらに備えた、請求項1に記載の入力装置。
【請求項10】
前記身体位置表示部は、予め保持しておいた身体形状パターンと前記検出部から出力される接触位置データに基づいて、前記検出部の操作面上に載せられているユーザーの身体部分の形状をモデリングし、当該モデリングの結果得られた身体形状モデルの画像を前記接触領域画像として作成するものであることを特徴とする、請求項1に記載の入力装置。
【請求項11】
前記身体位置表示部は、前記検出部から出力される接触位置データに基づいて、ユーザーの身体部分の特徴を取得するキャリブレーション処理を行い、このキャリブレーション処理の結果に基づいてユーザーの身体部分の形状をモデリングするものであることを特徴とする、請求項10に記載の入力装置。
【請求項12】
前記検出部の近傍に赤外線センサなどの非接触型の位置検出センサをさらに備えた、請求項10に記載の入力装置。
【請求項13】
前記画像合成部は、前記身体形状モデルの輪郭のみを、前記表示情報作成部が作成した表示画像に合成するものであることを特徴とする、請求項10に記載の入力装置。
【請求項14】
前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルの透明度を変化させるものであることを特徴とする、請求項10に記載の入力装置。
【請求項15】
前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルの輪郭を強調するものであることを特徴とする、請求項10に記載の入力装置。
【請求項16】
前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルの指先部分を強調するものであることを特徴とする、請求項10に記載の入力装置。
【請求項17】
前記検出部は、前記操作面に沿って配置された複数の静電容量センサまたは圧力センサから成るセンサ群を含み、
前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記センサ群の各センサにそれぞれ対応するドットから成る画像を利用して、前記身体形状モデルの指先部分を強調するものであることを特徴とする、請求項16に記載の入力装置。
【請求項18】
前記検出部は、前記操作面に沿って配置された複数の静電容量センサまたは圧力センサから成るセンサ群を含み、
前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記センサ群の各センサにそれぞれ対応するドットのうち、互いに近接するドット群を1つの図形で近似して成る画像を利用して、前記身体形状モデルの指先部分を強調するものであることを特徴とする、請求項16に記載の入力装置。
【請求項19】
前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルによって隠れてしまう前記表示画像中の表示情報を、当該身体形状モデルによって隠れてしまわないような領域にポップアップ表示させるものであることを特徴とする、請求項10に記載の入力装置。
【請求項20】
前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルによって隠れてしまう前記表示画像中の表示情報を、当該身体形状モデルよりも前面に表示させるものであることを特徴とする、請求項10に記載の入力装置。
【請求項21】
前記画像合成部は、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成するときに、前記身体形状モデルの指先部分に重なる前記表示画像中の表示情報を強調するものであることを特徴とする、請求項10に記載の入力装置。
【請求項22】
前記画像合成部は、前記指先部分に重なる前記表示画像中の表示情報を拡大する、もしくは当該表示情報の色を変化させる、もしくは当該表示情報を立体的に見えるように変化させることによって、当該表示情報を強調するものであることを特徴とする、請求項21に記載の入力装置。
【請求項23】
前記表示情報作成部は、前記検出部から出力される接触位置データに応じて、作成すべき表示画像を変更するものであることを特徴とする、請求項1に記載の入力装置。
【請求項24】
前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの身体部分が接触または接近しているかどうかを判定する制御部を更に備え、
前記表示情報作成部は、前記制御部によって、前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの身体部分が接触または接近していると判定された場合にのみ、表示画像を作成するものであることを特徴とする、請求項23に記載の入力装置。
【請求項25】
前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの身体部分が接触または接近しているかどうかを判定する制御部を更に備え、
前記表示情報作成部は、前記制御部によって、前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの身体部分が接触または接近していると判定された場合に、作成すべき表示画像中のGUI部品を強調するものであることを特徴とする、請求項23に記載の入力装置。
【請求項26】
前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触または接近しているユーザーの身体部分の特徴を検出する特徴検出手段を更に備え、
前記表示情報生成部は、前記特徴検出手段によって検出されたユーザーの身体部分の特徴に応じて、作成すべき表示画像を変更するものであることを特徴とする、請求項1に記載の入力装置。
【請求項27】
前記特徴検出手段は、前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触または接近しているユーザーの身体部分が右手か左手かを判定するものであり、
前記表示情報作成部は、前記特徴検出手段の判定結果に応じて、作成すべき表示画像を変更するものであることを特徴とする、請求項26に記載の入力装置。
【請求項28】
前記表示情報作成部は、前記検出部の操作面に接触または接近しているユーザーの身体部分が右手または左手の場合にのみ表示情報を作成するものであることを特徴とする、請求項27に記載の入力装置。
【請求項29】
前記表示情報作成部は、前記検出部の操作面に接触または接近しているユーザーの身体部分が右手または左手の場合に、作成すべき表示画像中のGUI部品を強調表示、もしくは当該GUI部品の位置を変更、もしくは当該GUI部品の有効性を変更するものであることを特徴とする、請求項27に記載の入力装置。
【請求項30】
前記特徴検出手段は、前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触または接近しているユーザーの身体部分が大人のものか子供のものかを判定するものであり、
前記身体位置表示部は、前記特徴検出手段の判定結果に応じて、作成すべき表示画像を変更するものであることを特徴とする、請求項26に記載の入力装置。
【請求項31】
前記表示情報作成部は、前記検出部の操作面に接触または接近しているユーザーの身体部分が大人または子供のものの場合にのみ表示情報を作成するものであることを特徴とする、請求項30に記載の入力装置。
【請求項32】
前記表示情報作成部は、前記検出部の操作面に接触または接近しているユーザーの身体部分が大人または子供のものの場合に、作成すべき表示画像中のGUI部品を強調表示、もしくは当該GUI部品の位置を変更、もしくは当該GUI部品の有効性を変更するものであることを特徴とする、請求項30に記載の入力装置。
【請求項33】
当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの2つの操作モードを有し、
前記画像合成部は、ユーザーによる入力操作が可能なモードのときには、前記表示情報作成部が作成した表示画像を、前記接触領域画像と合成することなしに、そのまま前記表示部に表示させるものであることを特徴とする、請求項1に記載の入力装置。
【請求項34】
当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの2つの操作モードを有し、
前記画像合成部は、前記操作モードに応じて、前記表示情報作成部が作成した表示画像と前記接触領域画像との合成方法を変更するものであることを特徴とする、請求項1に記載の入力装置。
【請求項35】
前記画像合成部は、ユーザーによる入力操作が可能なモードのときには前記接触領域画像が半透明で表示、もしくは輪郭を強調して表示、もしくは半透明でかつ輪郭を強調して表示され、ユーザーによる入力操作が不可能なモードのときには当該接触領域画像が不透明で表示されるように、前記表示画像と前記接触領域画像を合成するものであることを特徴とする、請求項34に記載の入力装置。
【請求項36】
前記表示部が、画像をスクリーンに投影するプロジェクターであることを特徴とする、請求項1に記載の入力装置。
【請求項37】
操作面を有し、当該操作面においてユーザーの身体部分と接触または接近している領域を検出して当該領域を示す接触位置データを出力する検出部と、
前記接触位置データに基づいてユーザーによる特定の入力操作を検出する操作内容決定部と、
前記接触位置データに基づいて、前記検出部の操作面においてユーザーの身体部分と接触または接近している領域に対応する接触領域画像を作成する身体位置表示部と、
ユーザーによる操作の補助となる表示画像を生成する表示情報作成部と、
前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成する画像合成部と、
前記画像合成部が合成した画像を表示する表示部とを備えた車両。
【請求項38】
前記検出部が、運転席の左側または右側に設置され、かつ運転者が肘置きに肘をおいた状態で操作できる位置に設置されていることを特徴とする、請求項37に記載の車両。
【請求項39】
前記検出部がステアリング上に設置されていることを特徴とする、請求項37に記載の車両。
【請求項40】
前記検出部が、後部座席の中央に設置されていることを特徴とする、請求項37に記載の車両。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10A】
image rotate

【図10B】
image rotate

【図11A】
image rotate

【図11B】
image rotate

【図12A】
image rotate

【図12B】
image rotate

【図13A】
image rotate

【図13B】
image rotate

【図14A】
image rotate

【図14B】
image rotate

【図15A】
image rotate

【図15B】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19A】
image rotate

【図19B】
image rotate

【図20A】
image rotate

【図20B】
image rotate

【図21A】
image rotate

【図21B】
image rotate

【図22A】
image rotate

【図22B】
image rotate

【図23A】
image rotate

【図23B】
image rotate

【図23C】
image rotate

【図23D】
image rotate

【図23E】
image rotate

【図23F】
image rotate

【図23G】
image rotate

【図23H】
image rotate

【図24】
image rotate

【図25A】
image rotate

【図25B】
image rotate


【公開番号】特開2006−72854(P2006−72854A)
【公開日】平成18年3月16日(2006.3.16)
【国際特許分類】
【出願番号】特願2004−257649(P2004−257649)
【出願日】平成16年9月3日(2004.9.3)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】