入力装置および入力方法
【課題】ユーザの手形状を手モデルに忠実に反映できる入力装置を提供する。
【解決手段】指を伸ばした初期状態からの接触領域の移動量および接触領域の面積の変化を算出し、初期状態からの接触領域の移動量および接触領域の面積の変化に基づいて、ＣＧモデルの平行移動量、各指関節の曲り角度を決定し、決定した平行移動量および各指関節の曲り角度に従って、ＣＧモデルの変形形状を決定する。そして、変形形状が決定されたＣＧモデルと保持されているＧＵＩパーツとを重畳した画像を作成して表示部に表示させ、ＧＵＩパーツとＣＧモデルの指先との衝突を判定し、衝突が判定されると、衝突が判定されたＧＵＩパーツに割当てられたコマンドを機器に送信する。
【解決手段】指を伸ばした初期状態からの接触領域の移動量および接触領域の面積の変化を算出し、初期状態からの接触領域の移動量および接触領域の面積の変化に基づいて、ＣＧモデルの平行移動量、各指関節の曲り角度を決定し、決定した平行移動量および各指関節の曲り角度に従って、ＣＧモデルの変形形状を決定する。そして、変形形状が決定されたＣＧモデルと保持されているＧＵＩパーツとを重畳した画像を作成して表示部に表示させ、ＧＵＩパーツとＣＧモデルの指先との衝突を判定し、衝突が判定されると、衝突が判定されたＧＵＩパーツに割当てられたコマンドを機器に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが機器に対して命令等を入力するための入力装置および入力方法に関し、より特定的には、ユーザがディスプレイ等に表示された情報に基づいて手等の身体部分を用いて、命令等を入力することのできる入力装置および入力方法に関する。
【背景技術】
【０００２】
近年の情報機器端末の多機能化に伴って、ユーザがより使い易いユーザインターフェイスが求められている。使い易いユーザインターフェイスの一例として、タッチパネルディスプレイがある。タッチパネルディスプレイは、ディスプレイに表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）パーツを押す操作をすることによって、ユーザが命令等を情報機器端末等に入力する装置である。このことから、タッチパネルディスプレイは、初心者でも直感的に操作できるインターフェイスと言える。
【０００３】
しかし、タッチパネルディスプレイにおいては、タッチを検知するデバイス（以下、操作部という）と表示部とが一体であるので、当該タッチパネルディスプレイがユーザの手元にないと操作できないという課題があった。
【０００４】
この課題を解決するために、特許文献１の技術は、操作部と表示部とを分離し、操作部に置かれた操作者の手を検知し、コンピュータグラフィック（以下、ＣＧという）の手形状モデル（以下、単に、手モデルという）を、表示部に表示されるＧＵＩに重畳して表示する。このことによって、ユーザは、表示部から離れている場合でも、タッチパネルディスプレイの直感的な操作感を維持した操作を行うことができる。
【特許文献１】特開２００６−７２８５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の技術は、操作者であるユーザの指の曲りを算出できないので、ユーザが指を曲げて操作を行った場合には、ユーザの手形状と大幅に異なる形状の
手モデルを表示部に表示する。この結果として、操作中にユーザが違和感を感じるという問題があった。
【課題を解決するための手段】
【０００６】
本発明は、操作面に置かれた手のＣＧモデルを表示部に表示して機器を操作する入力装置であって、操作面と前記手との複数の接触領域を検知する接触領域検知部と、手の指を伸ばした初期状態からの接触領域の移動量および前記接触領域の面積の変化を算出する移動量算出部と、初期状態からの接触領域の移動量および接触領域の面積の変化に基づいて、ＣＧモデルの平行移動量、指曲げによる移動量を決定するモデル移動量決定部と、指曲げによる移動量に基づいて、ＣＧモデルの各指関節の曲り角度を決定する指曲り角度決定部と、ＣＧモデルの平行移動量および各指関節の曲り角度に従って、ＣＧモデルの位置および変形形状を決定するモデル形状決定部と、機器に対するコマンドを割り当てたＧＵＩパーツを保持するＧＵＩパーツ保持部と、モデル形状決定部で形状が決定されたＣＧモデルとＧＵＩパーツ保持部に保持されたＧＵＩパーツとを重畳した画像を作成して表示部に表示させる重畳画像作成部と、ＧＵＩパーツとＣＧモデルの指先との衝突を判定する衝突判定部と、衝突判定部によって衝突が判定されると、当該衝突が判定されたＧＵＩパーツに割当てられたコマンドを機器に送信するコマンド送信部とを備える。
【０００７】
これにより、本発明の入力装置は、操作者の手の動きをＣＧモデルに反映させることができ、更に、操作者の各指の動きまでもＣＧモデルに反映させることができる。
【０００８】
また、好ましくは、移動量算出部は、接触領域中の指先に対応する位置を示す指先位置点を決定し、当該指先位置点を用いて、指を伸ばした初期状態からの接触領域の移動量を算出する。
【０００９】
これにより、本発明の入力装置は、より正確な手の動きを検出できるので、更に正確な手の動きをＣＧモデルに反映させることができる。
【００１０】
また、好ましくは、モデル移動量決定部は、初期状態からの接触領域の面積の変化率の絶対値が所定の閾値より小さい場合に、初期状態からの接触領域の移動量をＣＧモデルの平行移動量として決定し、初期状態からの接触領域の面積の変化率の絶対値が所定の閾値より大きい場合に、初期状態からの接触領域の移動量をＣＧモデルの指曲げによる移動量として決定する。
【００１１】
これにより、操作者が操作面上において手全体は動かさずに指を曲げたのか、手全体を下方に動かしたのかを判別でき、更に正確な手の動きをＣＧモデルに反映させることができる。
【００１２】
また、好ましくは、指曲り角度決定部は、ＣＧモデルの同一の指の各指関節の曲り角度は一定という拘束条件を用いて、ＣＧモデルの各指関節の曲り角度を決定する。
【００１３】
これにより、本発明の入力装置は、ＣＧモデルの各指関節の曲り角度を決定するための計算の量を大幅に削減できるので、ＣＧモデルの形状を迅速に変形でき、更に装置のコストを抑えることができる。
【００１４】
また、接触領域検知部の操作面上の領域をＸ座標及びＹ座標で表すと、接触領域検知部は、接触領域のＸ座標とＹ座標とをそれぞれ独立に検知し、その交点を接触領域として検出するセンサを備え、モデル移動量決定部は、接触領域を示すＹ座標の領域の幅の初期状態からの変化率の絶対値が所定の閾値より小さい場合に、初期状態からの接触領域の移動量をＣＧモデルの平行移動量として決定し、接触領域を示すＹ座標の領域の幅の初期状態からの変化率の絶対値が所定の閾値より大きい場合に、初期状態からの接触領域の移動量を前記ＣＧモデルの指曲げによる移動量として決定する。
【００１５】
これにより、Ｘ座標軸方向とＹ座標軸方向との交点を接触領域として、光センサ、導電膜、静電容量等で検出するタッチパッドを接触領域検知部として用いた場合にも、操作者が操作面上において手全体は動かさずに指を曲げたのか、手全体を下方に動かしたのかを判別でき、更に正確な手の動きをＣＧモデルに反映させることができる。
【００１６】
本発明は、操作面に置かれた手のＣＧモデルを表示部に表示して機器を操作する入力方法にも向けられている。そして、上記目的を達成させるために、本発明の入力方法は、操作面と手との複数の接触領域を検知する接触領域検知ステップと、手の指を伸ばした初期状態からの接触領域の移動量および接触領域の面積の変化を算出する移動量算出ステップと、初期状態からの接触領域の移動量および接触領域の面積の変化に基づいて、ＣＧモデルの平行移動量、指曲げによる移動量を決定するモデル移動量決定ステップと、指曲げによる移動量に基づいて、ＣＧモデルの各指関節の曲り角度を決定する指曲り角度決定ステップと、ＣＧモデルの平行移動量および各指関節の曲り角度に従って、ＣＧモデルの位置および変形形状を決定するモデル形状決定ステップと、モデル形状決定ステップで形状が決定されたＣＧモデルと、機器に対するコマンドを割り当てた予め保持されているＧＵＩパーツとを重畳した画像を作成して前記表示部に表示させる重畳画像作成ステップと、ＧＵＩパーツと前記ＣＧモデルの指先との衝突を判定する衝突判定ステップと、衝突判定ステップによって衝突が判定されると、当該衝突が判定されたＧＵＩパーツに割当てられたコマンドを機器に送信するコマンド送信ステップとを備える。
【００１７】
これにより、本発明の入力方法は、操作者の手の動きをＣＧモデルに反映させることができ、更に、操作者の各指の動きまでもＣＧモデルに反映させることができる。
【発明の効果】
【００１８】
本発明の入力装置および入力方法によれば、ユーザが指を曲げて操作した場合であっても、ユーザの手形状を手モデルに忠実に反映できる。この結果として、本発明の入力装置およびその方法によれば、ユーザは、違和感を感じることなく操作を行うことができる。
【発明を実施するための最良の形態】
【００１９】
（実施の形態１）
図１は、本発明の第１の実施形態に係る入力装置１００の動作の概要を説明するための図である。以下では、図１を用いて、入力装置１００の動作について簡単に説明する。
【００２０】
図１に示す通り、入力装置１００は、接触領域検知部１と演算部２とを備える。接触領域検知部１は、当該接触領域検知部１の操作面上に置いたユーザ（以下、操作者という）の手が接触した領域を検出し、検出した接触領域の情報（以下、単に、接触領域情報という）を演算部２に出力する。接触領域検知部１は、例えば、多点で接触を検知するタッチパッドである。なお、接触領域検知部１は、独立した多点で接触を検知できればよく、光学式、静電容量方式、感圧方式、抵抗膜方式等を用いる一般的なデバイスでよい。
【００２１】
演算部２は、接触領域検知部１が検知した接触領域情報を用いて表示データを作成して表示部３に出力する。具体的には、演算部２は、接触領域情報を用いてＣＧの手モデルを作成し、当該手モデルをＧＵＩに重畳した表示データを作成して表示部３に出力する。また、演算部２は、作成した手モデルとＧＵＩパーツとの位置関係を用いて操作者が意図するコマンドを決定し、決定したコマンドを情報端末機器等である操作対象機器４に出力する。なお、演算部２は、一般的なパーソナルコンピュータ（以下、ＰＣという）でもよいし、専用のグラフィックＩＣ等を組み込んだ汎用性のない専用機でもよい。また、演算部２は、接触領域検知部１から入力される信号を受信するインターフェイスと、ＣＰＵ、ＲＯＭ、ＲＡＭと、各モジュール間を結ぶバスと、計算結果を映像として出力するインターフェイスとを含む。
【００２２】
表示部３は、演算部２から入力された表示データを用いて表示を行う。表示部３は、例えば、液晶ディスプレイやＣＲＴ等のディスプレイである。操作対象機器４は、演算部２から入力されたコマンドを実行する。
【００２３】
以上の構成によって、操作者は、表示部３に表示されたＧＵＩパーツ上に重畳された手モデルを目視しながら、接触領域検知部１の操作面上の手を動かして手モデルを操作することによって、操作対象機器４を操作することができる。
【００２４】
以下では、入力装置１００の構成および動作について詳しく説明する。図２は、入力装置１００の構成例を示す図である。図２に示すように、入力装置１００は、接触領域検知部１と演算部２とを備える。演算部２は、移動量算出部１２と、モデル移動量決定部１３と、指曲り角度決定部１４と、モデル保持部１５と、モデル形状決定部１６と、ＧＵＩパーツ保持部１７と、重畳画像作成部１８と、衝突判定部１９と、コマンド送信部２０とを含む。
【００２５】
図３は、入力装置１００の動作を説明するためのフローチャートである。操作者等によってスタートスイッチがオンにされると、入力装置１００は動作を開始する。
【００２６】
まず、ステップＳ１０１において、接触領域検知部１は、当該接触領域検知部１の操作面上に操作者の手が置かれているか否かを判定する。操作者の手が置かれていない場合、接触領域検知部１は、処理待ち状態となり、操作者の手が置かれると、ステップＳ１０２に移る。なお、ステップＳ１０１における判定は、接触が検知されたか否かによって行うことができる。
【００２７】
次に、ステップＳ１０２において、接触領域検知部１は、操作者の手が当該接触領域検知部１に接触している領域を点群（以下、接触点群という）として検知し、検知した接触点群のデータを移動量算出部１２に出力する。移動量算出部１２は、入力された接触点群のデータを用いて、操作者の４つの指先の位置を示す点（以下、指先位置点という）と接触面積を取得する。なお、指先位置点と接触面積を取得する方法は、後述する。
【００２８】
次に、ステップＳ１０３において、移動量算出部１２は、４つの指先位置点と接触面積を取得したか否かを判定し、取得した場合にはステップＳ１０４に進む。取得していない場合にはステップＳ１０２に戻る。
【００２９】
ステップＳ１０４において、移動量算出部１２は、操作者が手を開いた状態（指を伸ばした状態）の指先位置点である初期位置点が取得済みか否かを判定する。初期位置点が取得済みの場合は、ステップＳ１０６に移る。初期位置点が取得済みでない場合は、ステップＳ１０５に移る。ここで、初期位置点が取得済みか否かの判定は、入力装置１００が今回起動した後に初期位置点を取得したか否かを判定するものである。
【００３０】
ステップＳ１０５において、移動量算出部１２は、操作者に接触領域検知部１に置いた手を開くように促すメッセージを通知して初期位置点と接触面積を取得する。このメッセージは、例えば、表示部３に表示されて操作者に通知される。その後、移動量算出部１２は、取得した初期位置点を用いて操作者が手を開いた状態の手モデル（以下、初期手モデルという）を作成する。ステップＳ１０５で取得された初期位置点、接触面積および初期手モデルのデータは、モデル保持部１５に保存される。その後、ステップＳ１０２に戻る。つまり、入力装置１００は、起動後最初に操作者が手を接触領域検知部１に置いた時で、初期位置点、接触面積および初期手モデルを取得する。初期位置点、接触面積および初期手モデルの取得方法は、後述する。
【００３１】
なお、操作者が交代した場合には、初期位置点、接触面積および初期手モデルを更新するために、後の操作者の指示に応答して既に取得済みの前の操作者の初期位置点、接触面積および初期手モデルを破棄し、ステップＳ１０５の動作を再度行うことで後の操作者の初期位置点、接触面積および初期手モデルを取得してもよい。また、初期位置点、接触面積および初期手モデルを起動毎に取得せず、操作者の指示に応答してステップＳ１０５の動作を行うことによって初期位置点、接触面積および初期手モデルを新たに取得してもよい。また、ステップＳ１０１において接触領域検知部１が所定期間手の接触を検知しない場合には、既に取得済みの初期位置点、接触面積および初期手モデルを破棄し、ステップＳ１０５の動作を再度行って新たな初期位置点、接触面積および初期モデルを取得してもよい。
【００３２】
ステップＳ１０６において、移動量算出部１２は、指先位置点の初期位置点からの移動量と接触面積の変化を、それぞれ取得する。ここで、各点の移動量を取得するために、移動後の各点と移動前の各点との対応をとる方法は、一般的な手法でよい。
【００３３】
次に、ステップＳ１０７において、モデル移動量決定部１３は、ステップＳ１０６で取得した指先位置点の初期位置点からの移動量と接触面積の変化を用いて、手モデルの平行移動量、指曲げによる移動量を決定する。この平行移動量、指曲げによる移動量の決定方法は、後述する。
【００３４】
次に、ステップＳ１０８において、指曲り角度決定部１４は、ステップＳ１０７で取得した指先位置点の初期位置点からの指曲げによる移動量を用いて、手モデルの各指関節の曲り角度を決定する。この各指関節の曲り角度を決定する方法は、後述する。
【００３５】
次に、ステップＳ１０９において、モデル形状決定部１６は、ステップＳ１０７およびＳ１０８で決定された手モデルの平行移動量、各指関節の曲り角度を用いて、モデル保持部１５に保持された手モデルを読出して変形を反映させる。ここで、モデル保持部１５に初期手モデルが保持されている場合には、当該初期手モデルを読出して変形を反映させる。
【００３６】
なお、モデル保持部１５に保持される手モデルは、一般的な骨格（以下、ボーン構造という）を持つＣＧモデルであることが好ましい。モデル保持部１５が保持する手モデルの一例を図４に示す。図４に示す手モデルは、複数のポリゴンとボーン構造を示すラインとから構成される。また、手モデルをモデル保持部１５に保持するファイル形式は、一般的な形式でよい。一例として、ポリゴンの頂点座標を格納したファイル形式が挙げられる。また、手モデルは、併せてテクスチャ情報も保持し、手モデルの現実感を増幅させてもよい。
【００３７】
次に、ステップＳ１１０において、重畳画像作成部１８は、ＧＵＩパーツ保持部１７が予め保持しているＧＵＩパーツを読み出し、読出したＧＵＩパーツを配置した操作画像を作成する。ここで、ＧＵＩパーツとは、表示部３に表示される制御命令を割り当てたボタン等である。なお、ＧＵＩパーツおよびその配置方法は、一般的なものでよい。その後、重畳画像作成部１８は、ステップＳ１０９で変形を反映された手モデルと、ＧＵＩパーツが配置された操作画像とを重畳して重畳画像を作成し、当該重畳画像を表示部３に表示する。
【００３８】
次に、ステップＳ１１１において、衝突判定部１９は、ＧＵＩパーツと手モデルの指先位置点との衝突の有無を判定する。この衝突判定の詳細は、後述する。衝突がないと判定されている場合は、ステップＳ１０１〜Ｓ１１１の処理が繰り返されて、操作者の手の動きに応じて重畳画像内の手モデルが変形する。衝突が有ると判定されると、衝突判定部１９は、衝突が有ったＧＵＩパーツに割当てられたコマンドをコマンド送信部２０に通知し、ステップＳ１１２に移る。
【００３９】
ステップＳ１１２において、コマンド送信部２０は、通知されたコマンドを操作対象機器４に送信し、ステップＳ１０１に戻る。操作対象機器４は、送信されたコマンドを受信して実行する。以上の処理が繰り返されることによって、入力装置１００は、コマンドの送信を繰り返して操作対象機器４を操作する。なお、操作者等によってスタートスイッチがオフにされると処理は終了する。
【００４０】
以上に説明した動作によって、操作者は、表示部３に表示された重畳画像を目視しながら手を動かすことによって、重畳画像内の手モデルを操作できる。そして、操作者は、手モデルを操作して指先の位置をＧＵＩパーツに重ね合わせることによって、操作対象機器４を操作できることとなる。
【００４１】
以下では、図３を用いて説明した各ステップについて、詳細に説明する。
【００４２】
図５は、図３のステップＳ１０１およびＳ１０２における接触領域検知部１の動作について説明するための図である。図５（ａ）は、接触領域検知部１の操作面に操作者の手か置かれた状態の一例を示す。図５（ｂ）は、接触領域検知部１が検知した接触点群を黒丸群で表した図である。図５に示すように、接触領域検知部１は、図３のステップＳ１０１およびＳ１０２において、接触点（接触点群）を検知することによって、手の接触領域を検知する。
【００４３】
図６は、図３のステップＳ１０２を詳細に説明するためのフローチャートである。図７は、図３のステップＳ１０２で取得される指先位置点を説明するための図である。以下、図６および図７を用いて、図３のステップＳ１０２の処理を詳細に説明する。
【００４４】
まず、Ｓ１０２−１において、移動量算出部１２は、接触領域検知部１から図５（ｂ）を用いて説明した接触点群を示すデータを取得する。
【００４５】
次に、ステップＳ１０２−２において、移動量算出部１２は、接触点の位置関係に基づいて、複数の領域を算出する。Ｓ１０２−２において複数の領域を算出する方法は、一般的な方法でよい。例えば、接触点の近傍に他の接触点が存在する場合はこれらの接触点を同一の領域とみなすことによって、複数の領域に区分する方法がある。
【００４６】
次に、ステップＳ１０２−３において、移動量算出部１２は、ステップＳ１０２−２で算出した各領域に対して、楕円フィッティング処理を行う。図７は、指先位置点の算出方法について説明するための図ある。ステップＳ１０２−３において、移動量算出部１２は、図７（ａ）の楕円Ａで示すように指の接触点群を楕円で囲む。その後、移動量算出部１２は、例えば、楕円Ａの中心を指先位置点とする（図７（ｂ）を参照）。なお、指先位置点は、他の方法を用い、また、他の位置に決定してもよい。
【００４７】
指先位置点を決定した後、各指先位置点について接触面積を求める。接触面積は、各指先が操作面に接触している面積で、例えば、上記の様に指先位置点を楕円フィッティングで求めた場合には楕円の面積を計算することで求めることができる。また、各領域内にある接触点の数を接触面積とすることもできる。
【００４８】
次に、ステップＳ１０２−４において、移動量算出部１２は、ステップＳ１０２−３で取得した指先位置点の位置と接触面積を保持する。図８は、図６のステップＳ１０２−３で取得された指先位置点の位置の一例を示す図である。図８において、黒丸は指先位置点８０１、点線の楕円８０２は接触面積の領域を示している。
【００４９】
図９は、図３のステップＳ１０５の処理を詳しく説明するためのフローチャートである。まず、ステップＳ１０５−１において、移動量算出部１２は、操作者に接触領域検知部１の操作面上の手を開くように促すメッセージを通知して４つの初期位置点および接触面積を取得する。
【００５０】
次に、ステップＳ１０５−２において、移動量算出部１２は、ステップＳ１０５−１で取得した初期位置点（指先位置点）と、モデル保持部１５が当初から保持しているひな形であるひな形手モデルの対応する指先位置点とが重なるように、当該ひな形手モデルを変形して初期手モデルを作成する。ここで、４つの初期位置点は、それぞれ小指、薬指、中指、人差し指に対応する。操作者の操作が左手に限定される場合には、左手のひな形手モデルを使用して、左から小指、薬指、中指、人差し指の順番に初期位置点とが重なるように、当該ひな形手モデルを変形して初期手モデルを作成する。
【００５１】
ここで、初期手モデルを作成する際には、接触領域検知部１に対して操作者がどの方向から手を進入させたかを知る必要がある。逆方向から手を進入させた場合には、同じ４つの初期位置点であっても、初期手モデルが反対向きに作成されてしまう。そのため、接触領域検知部１に対して操作者がどの方向から手を進入させるかは、予め分っているものとする。
【００５２】
図１９は接触領域検知部１の車への設置位置の例を示している。図１９（ａ）は車両のセンターコンソールに取り付けられた場合の一例を示す図である。図１９（ｂ）は、接触領域検知部１が車両のドアの操作部に取り付けられた場合の一例を示す図である。図１９（ｃ）は、接触領域検知部１が車両のハンドルに取り付けられた場合の一例を示す図である。図１９（ａ）に示すような車両の位置に、接触領域検知部１を取り付けることで、ドライバである操作者は接触領域検知部１に対して左手を矢印１９０１の方向に進入させることは予め分る。また、図１９（ｂ）に示すような車両の位置に、接触領域検知部１を取り付けることで、ドライバである操作者は接触領域検知部１に対して右手を矢印１９０２の方向に進入させることは予め分る。図１９（ｃ）の場合には、ドライバである操作者は接触領域検知部１に対して手を矢印１９０３の方向に進入させることは予め分る。ただ、この場合には、操作者が右手で操作するか左手で操作するかは分らないため、事前に操作者の好みで右手もしくは左手で操作するかの情報を入力できる様にしておけばよい。
【００５３】
また、操作者が右手もしくは左手で操作する場合には、通常は小指は他の指と比較して小さく、操作面との接触面積も小さいため、ステップＳ１０５−１で取得した接触面積が最も小さい領域を小指と判断し、他の領域との位置関係から右手か左手かを特定することもできる。すなわち、小指と特定された領域が他の３つの領域より、最も左側に存在すれば左手と判断し、左手のひな形手モデルを変形する。逆に、小指と特定された領域が他の３つの領域より、最も右側に存在すれば右手と判断し、右手のひな形手モデルを変形する。
【００５４】
図９に戻り、その後、移動量算出部１２は、作成した初期手モデルを、表示部３に表示する。この処理によって、移動量算出部１２は、操作者の手の大きさを反映した初期手モデルを作成し、表示部３に表示できる。
【００５５】
次に、ステップＳ１０５−３において、移動量算出部１２は、ステップＳ１０５−１で取得した初期位置点の位置、接触面積と、ステップＳ１０５−２で作成した初期手モデルとをモデル保持部１５に保存し、ステップＳ１０２に戻る（図３を参照）。
【００５６】
図１０は、図３のステップＳ１０７およびＳ１０８の処理を説明するためのフローチャートである。図３のステップＳ１０７およびＳ１０８の処理は、一体となって行われる。従って、以下では、図１０を参照して、図３のステップＳ１０７およびＳ１０８の処理を、同時に説明する。また、以下では、説明の都合上、図１０の各ステップを実行する主体をモデル移動量決定部１３又は指曲り角度決定部１４としているが、ステップによってはこの主体は入れ替わってもよい。
【００５７】
まず、ステップＳ１７８−１において、モデル移動量決定部１３は、ステップＳ１０６で取得された指先位置点の初期位置点からの移動量から、何れかの指先位置点が移動したか否かを判定する。何れの指先位置点も移動していない場合には、ステップＳ１０９へ進み、何れかの指先位置点が移動した場合には、ステップＳ１７８−２に進む。
【００５８】
次に、ステップＳ１７８−２では、モデル移動量決定部１３は、４つ全ての指先位置点が同じ方向（図５で示す、上もしくは下の方向）に移動したか否かを判定する。４つ全ての指先位置点が同じ方向に移動した場合には、ステップＳ１７８−３へ進み、移動していない場合には、ステップＳ１７８−６に進む。
【００５９】
次に、ステップＳ１７８−３では、モデル移動量決定部１３は、ステップＳ１０６で取得した指先位置点の接触面積が、初期位置点の接触面積から変化したか否かを判定する。図１１は操作者が接触領域検知部１の操作面上の手を動かした時の各指先位置点の接触面積の変化を示している。図１１（ａ）は、操作者が手全体は動かさずに４つの指を曲げた場合を示しており、指を曲げることにより操作面と指との接触位置が、各指の腹の部分から、爪の方に移動するため、接触面積は小さくなる。逆に、指を曲げた状態から伸ばすと、その接触面積は大きくなる。図１１（ｂ）は、操作者が接触領域検知部１の操作面上の手全体を下方に動かした場合を示しており、操作面と指との接触位置は各指の腹の部分のままで、その接触面積はあまり変わらない。
【００６０】
指先位置点の移動だけでは両者を区別することはできないが、ステップＳ１７８−３では、この接触面積の変化の違いを利用して、両者を区別している。すなわち、ステップＳ１０６で取得した指先位置点の接触面積の変化が、初期位置点の接触面積からの減少を示している場合には、操作者が指を曲げたと判断して、指の曲り角度を算出する処理（ステップＳ１７８−６、Ｓ１７８−７）に進み、ステップＳ１０６で取得した指先位置点の接触面積の変化が、初期位置点の接触面積から変化していないことを示している場合には、操作者が接触領域検知部１の操作面上の手全体を下方もしくは上方に動かしたと判断して、手モデルを平行移動させる処理（ステップＳ１７８−４、Ｓ１７８−５）に進む。
【００６１】
ここで、操作者の手の大きさや接触領域検知部１の操作面への指の押し付け方により、接触面積は多少変わるので、指先位置点の移動前後の接触面積の変化率について所定の閾値を予め設定しておき、接触面積の変化率（絶対値）が所定の閾値より大きい場合に接触面積が変化したと判断しても良い。また、接触面積の変化率の計算は、各指先位置点ごとに行っても良いし、４つの指先位置点に対応する接触面積の総和で変化率を計算しても良い。
【００６２】
次に、ステップＳ１７８−４では、モデル移動量決定部１３は、ステップＳ１０６で取得した指先位置点の初期位置からの移動量を、手モデルの平行移動量として決定し、ステップＳ１７８−５で、現在の指先位置点を手モデルの初期位置点として、モデル保持部１５に保存する。
【００６３】
ステップＳ１７８−６では、モデル移動量決定部１３は、手モデルの付け根点と各指先位置点との距離をそれぞれ算出する。ここで、手モデルの付け根点は、手モデルの下部、中央の掌側の点であり、手モデルの基準位置となる。図１２は、手モデル１２０１の付け根点１２０２から各指先位置点１２１１〜１２１４までの距離Ｒ１〜Ｒ４を示す図である。操作者は、手全体は移動させずに指を曲げたもしくは伸ばしたため、手モデルの付け根点１２０２は移動していない。図１２に示すＲ１〜Ｒ４の長さの変化量は、それぞれ、指曲げにより生じる移動量である。モデル移動量決定部１３は、ステップＳ１０６で取得した指先位置点の初期位置からの移動量を、指曲げにより生じる移動量として決定する。
【００６４】
次に、ステップＳ１７８−７において、指曲り角度決定部１４は、ステップＳ１７８−６で算出した指曲げによる移動量を用いて、各指の各関節の曲り角度を決定する。
【００６５】
ここで、指先の変位から指関節の曲り角度を求める方法として、ロボット工学分野等で周知であるインバースキネマティクス（以下、ＩＫという）技術がある。ＩＫ技術は、複数の可動部を持つアームの先端を目的位置に移動させるために用いられる。そして、アームが複数の可動部を持つ場合、ＩＫ技術を用いて目的位置にアームの先端を移動させるためには、可動部の曲り角度には複数の解が存在する。
【００６６】
本発明においても、指には複数の関節があるので、指関節の曲り角度には複数の解が存在する。このため、本発明では、一例として、操作者の掌および指先は操作面上（同一平面上）に存在するという拘束条件と、各指関節の曲り角度は等しいという拘束条件とを用いて、解を一意に求める。
【００６７】
図１３（ａ）は、一例として、人差し指を曲げた場合の指先位置点の変位を示している。図１３（ｂ）は、図１３（ａ）に示す曲げた状態の人差し指１３００の手モデルを側面から見た図である。図１３から分るように、通常、指を曲げると３つの指関節は同時に曲がるので、各指関節の曲り角度１３０１〜１３０３は等しいという拘束条件を用いて手モデルを変形すると、操作者は違和感無く操作を行うことができる。また、この様な拘束条件を用いて手モデルを変形すると、演算量が大幅に低減できるので、操作者の手の動きに瞬時に応答する手モデルの変形が可能である。
【００６８】
なお、指関節の曲り角度を算出するための拘束条件は、これには限定されず、解を一意に求めらる拘束条件であればよい。しかし、上記したように、指関節の曲り角度を算出するための拘束条件は、操作者が違和感を感じない手モデルとなる拘束条件が好ましく、操作者の操作行為が自然に行える手モデルとなる拘束条件が好ましい。また、ＩＫ技術において目的位置からアーム可動部の曲り角度を求める方法として、ヤコビ行列を用いて繰り返し計算を行う方法や幾何学的に算出する方法等が知られているが、本発明においてはいずれを用いてもよい。
【００６９】
以上に説明した一連の処理を行うことによって、モデル移動量決定部１３および指曲り角度決定部１４は、図３のステップＳ１０７およびＳ１０８の処理を行い、手モデルの平行移動量、各指関節の曲り角度を決定する。
【００７０】
図１４は、図３のステップＳ１０９の処理を説明するためのフローチャートである。図１４のフローチャートの処理によって、ステップＳ１０７およびＳ１０８で決定された各値を用いて手モデルの変形形状が決定される。以下では、図１４を参照して、図３のステップＳ１０９処理について詳しく説明する。
【００７１】
まず、ステップＳ１０９−１において、モデル形状決定部１６は、ステップＳ１０７で決定された手モデルの平行移動量を用いて、手モデルの位置を決定する。
【００７２】
次に、ステップＳ１０９−２において、モデル形状決定部１６は、ステップＳ１０８で決定された各指関節の曲り角度を用いて、手モデルの変形形状を決定する。その後、ステップＳ１１０に移る。
【００７３】
図１５は、図３のステップＳ１０９における手モデルの変形の具体例を示す図である。図１５（ａ）は、初期位置点（操作者が手を開いた状態の指先位置点）を示す。図１５（ｂ）は、図１５（ａ）に示す初期位置点を用いて描画された初期手モデルである。図１５（ｃ）は、一例として、操作者が人差し指を曲げた場合の指先位置点を示す。図１５（ｄ）は、図１５（ｃ）に示す指先位置点を用いて変形された手モデルである。図１６（ａ）、（ｂ）はそれぞれ、図１５（ｂ）および（ｄ）に示した手モデルを側面から見た図である。図１５および図１６に示すように、図３のステップＳ１０９において、手モデルは、操作者の手の変形に応じてリアルに変形する。
【００７４】
図１７は、図３のステップＳ１１０の処理を説明するための図である。図１７に示す通り、ステップＳ１１０において、重畳画像作成部１８は、ＧＵＩパーツ１７０１を配置した操作画像１７００と、変形された手モデル１７１０とを重畳して、重畳画像１７２０を作成し、表示部３に表示する。なお、重畳画像１７２０を作成する際、手モデルと重なるＧＵＩパーツを視認し易くするために、手モデルを半透過等にしてもよい。
【００７５】
図１８は、図３のステップＳ１１１の処理について説明するための図である。衝突判定部１９は、図１８の矢印１８２０で示すように、ステップＳ１１０で作成された重畳画像においてＧＵＩパーツ１８０１〜１８０４と手モデル１８１０の指先位置点とが重なった場合には、当該ＧＵＩパーツ１８０１〜１８０４と手モデル１８１０の指先位置点とが衝突したと判定する。図１８の場合には、衝突判定部１９は、衝突が判定されたＧＵＩパーツ１８０２に割当てられたコマンドをコマンド送信部２０に通知する。
【００７６】
その後、ステップＳ１１２でコマンドが操作対象装置４に送信される。操作対象装置４は、受信したコマンドを実行する。
【００７７】
以上に説明したように、本発明に係る入力装置１００によれば、操作者は、表示部３から離れている場合でも、タッチパネルディスプレイの直感的な操作感を維持した操作を行うことができる。また、本発明に係る入力装置１００は、操作者の指の動きを忠実に再現した手モデルを表示部３に表示することができる。この結果として、本発明に係る入力装置１００は、操作者に違和感の無い快適な操作感覚を提供することができる。
【００７８】
なお、本実施形態においては、４つの指先位置点と接触面積を取得することとしたが、４つに限られることはない。右手か左手かが分っており、接触する指が特定できる場合には（例えば、人差し指で接触）、手の進入方向が分っていれば手モデルの位置を決定できるため、１〜３つの指先位置点と接触面積を取得することにしてもよい。
【００７９】
（実施の形態２）
第２の実施形態に係る入力装置のハードウェア構成、及び機能ブロックについては、図１及び図２を援用して説明する。第２の実施形態に係る入力装置は、第１の実施形態に係る入力装置１００と比較して、接触領域検知部の構成が異なる。第１の実施形態に係る接触領域検知部１は、各接触領域を独立して取得できるタッチパッドであったが、第２の実施形態に係る接触領域検知部は、図２０に示すように、接触領域のＸ座標とＹ座標とをそれぞれ独立に検知し、その交点を接触領域として検出するセンサである。
【００８０】
図２０（ａ）は、本発明の第２の実施形態に係る接触領域検知部１ａの構成例を示す図である。ただし、接触領域検知部１ａの操作面上の領域をＸ座標とＹ座標とで表すものとする。また、操作者の手の長手方向をＹ座標軸の方向とし、Ｙ座標軸と直交する方向をＸ座標軸の方向と定義する。
【００８１】
図２０（ａ）において、接触領域検知部１ａは、Ｘ座標軸と垂直な方向に光を発する多数の発光部と、多数の発光部が発した光を受光する多数の受光部とを備える。また、接触領域検知部１ａは、Ｙ座標軸と垂直な方向に光を発する多数の発光部と、当該多数の発光部が発した光を受光する多数の受光部とを備える。
【００８２】
例えば、接触領域検知部１ａは、操作面の形状が長方形である場合、Ｘ座標軸と平行し、互いに対向する２辺のうち一辺に光を発する多数の発光部と、他の一辺に当該発光部が発した光を受光する多数の受光部とを備える。また、接触領域検知部１ａは、Ｙ座標軸と平行し、互いに対向する２辺のうち一辺に光を発する多数の発光部と、他の一辺に当該発光部が発した光を受光する多数の受光部とを備える。
【００８３】
操作面に操作者の手が接触した場合、多数の発光部から発した一部の光が、操作者の手によって遮られ、一部の受光部に届かなくなるために、接触領域検知部１ａは、接触領域のＸ座標及びＹ座標を検知することができる。
【００８４】
図２０（ｂ）は、本発明の第２の実施形態に係る接触領域検知部１ｂの構成例を示す図である。図２０（ｂ）において、接触領域検知部１ｂは、Ｘ座標方向にストライプ状に電流を流すストライプ状導電膜が形成された基板と、Ｙ座標方向にストライプ状に電流を流すストライプ状導電膜が形成された基板とを、所定の空間を介して導電膜が対向するように上下に重ねて構成されている。この例では、Ｘ座標方向のストライブ状導電膜が上側に、Ｙ座標方向のストライブ状導電膜が下側に重ねられている。操作面に手が接触した場合、通常は上下に離れているＸ座標方向のストライプ状導電膜とＹ座標方向のストライプ状導電膜が、接触した位置で通電し、接触領域検知部１ｂは、接触領域のＸ座標及びＹ座標を検知することができる。
【００８５】
その他、接触領域のＸ座標とＹ座標とをそれぞれ独立に検知し、その交点を接触領域として検出するセンサとしては、静電容量方式等も用いることができる。
【００８６】
しかしながら、これら検出方式のセンサを接触領域検知部に用いた場合には、以下のような課題がある。図２１は、第２の実施形態に係る接触領域検知部の課題を説明する図である。ただし、Ｘ座標Ｙ座標で表される領域を（Ｘ，Ｙ）領域と記す。接触領域検知部の操作面上において、人間の左手の形状を想定して、操作者の指先が黒丸で示す点で接触している場合を想定する。接触領域検知部は、上記の様な検出方式であるために、（Ｘ１，Ｙ２）領域２１０１、（Ｘ２，Ｙ１）領域２１０２、（Ｘ３，Ｙ１）領域２１０３、及び（Ｘ４、Ｙ１）領域２１０４以外に、（Ｘ１，Ｙ１）領域２１１１、（Ｘ２，Ｙ２）領域２１１２、（Ｘ３，Ｙ２）領域２１１３、（Ｘ４，Ｙ２）領域２１１４の、実際には操作者の指先が接触していない領域を検出してしまう。また、（Ｘ２，Ｙ１）領域２１０２、（Ｘ３，Ｙ１）領域２１０３、及び（Ｘ４、Ｙ１）領域２１０４のＹ座標が同じになってしまう。これは、例えば接触領域検知部１ａで説明すると、薬指、中指、人指し指のＹ座標が近接しているので、発光部が発した光がこれら３本の指で遮られて、別個に特定できず、領域Ｙ１という幅の広い領域内に有るということだけしか検出できないためである。
【００８７】
上述したような課題に対して、第１の実施の形態の図３のステップＳ１０５で初期手モデルを作成する際に、操作者が接触領域検知部に各指を置く際の時間差を利用して、接触した領域を特定するなどの方法が考えられる。しかし、第１の実施の形態の図１１において示したのと同様に、指先位置点の移動だけでは、操作者が手全体は動かさずに４つの指を曲げた場合と、操作者が接触領域検知部の操作面上の手全体を下方に動かした場合とを区別することはできないという課題がある。
【００８８】
そこで、本実施形態においては、上述したような課題に対して、以下のように課題を解決する。図２２は図２０に示した接触位置検知部１ａまたは１ｂを用いた場合の、両者を区別する方法を説明するための図である。図２２（ａ）は図１１（ａ）同様に操作者が手全体は動かさずに４つの指を曲げた場合を示す図で、図２２（ｂ）は図１１（ｂ）同様に操作者が接触領域検知部の操作面上の手全体を下方に動かした場合を示す図である。
【００８９】
図２２（ａ）では、左から小指、薬指、中指、人差し指に対応する接触領域２２０１〜２２０４が、手全体は動かさずに４つの指を曲げたことにより接触領域２２１１〜２２１４に移動している。その際、指を曲げることにより操作面と指との接触位置が、各指の腹の部分から、爪の方に移動するため、接触領域の面積は小さくなる。そのため、接触領域検知部１ａまたは１ｂを用いた場合に検出されるＹ座標の領域は、領域Ｙ１から領域Ｙ３へ、領域Ｙ２から領域Ｙ４へそれぞれ移動し、各領域の幅は小さくなる。
【００９０】
図２２（ｂ）では、左から小指、薬指、中指、人差し指に対応する接触領域２２０１〜２２０４が、接触領域検知部の操作面上の手全体を下方に動かしたことにより接触領域２２２１〜２２２４に移動している。その際、操作面と指との接触位置は各指の腹の部分のままで、その接触面積はあまり変わらない。そのため、接触領域検知部１ａまたは１ｂを用いた場合に検出されるＹ座標の領域は、領域Ｙ１から領域Ｙ５へ、領域Ｙ２から領域Ｙ６へそれぞれ移動し、各領域の幅はあまり変わらない。
【００９１】
指先位置点の移動だけでは両者を区別することはできないが、このＹ座標の領域の幅の変化の違いを利用して、第１の実施の形態と同様に、両者を区別することができる。
【００９２】
すなわち、本実施形態においては、第１の実施の形態の図３のステップＳ１０２においてモデル移動量決定部は、指先位置点の接触面積としてＹ座標の領域の幅を取得し、図１０のステップＳ１７８−３において、モデル移動量決定部は、接触面積の変化としてＹ座標の領域の幅の変化を検出する。
【００９３】
モデル移動量決定部は、接触領域を示すＹ座標の領域の幅の初期状態からの変化率の絶対値が所定の閾値より小さい場合に、初期状態からの接触領域の移動量をＣＧモデルの平行移動量として決定し、接触領域を示すＹ座標の領域の幅の初期状態からの変化率の絶対値が所定の閾値より大きい場合に、初期状態からの接触領域の移動量をＣＧモデルの指曲げによる移動量として決定する。
【産業上の利用可能性】
【００９４】
本発明は、入力装置および入力方法等に利用可能であり、特に、操作者の手のＣＧモデルを操作者の手の動きに併せてよりリアルに変形させたい場合等に有用である。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施形態に係る入力装置１００の動作の概要を説明するための図
【図２】本発明の実施形態に係る入力装置１００の構成例を示す図
【図３】本発明の実施形態に係る入力装置１００の動作を説明するためのフローチャート
【図４】モデル保持部１５が保持する手モデルの一例を示す図
【図５】図３のステップＳ１０１およびＳ１０２における接触領域検知部１の動作について説明するための図で、（ａ）接触領域検知部１の操作面に操作者の手か置かれた状態の一例を示す図、（ｂ）接触領域検知部１が検知した接触点群を黒丸群で表した図
【図６】図３のステップＳ１０２を詳細に説明するためのフローチャート
【図７】図３のステップＳ１０２で取得される指先位置点を説明するための図で、（ａ）接触点群を楕円フィッティング処理した一例を示す図、（ｂ）楕円から指先位置点を決定する一例を示す図
【図８】図６のステップＳ１０２−３で取得された指先位置点の位置の一例を示す図
【図９】図３のステップＳ１０５の処理を詳しく説明するためのフローチャート
【図１０】図３のステップＳ１０７およびＳ１０８の処理を説明するためのフローチャート
【図１１】操作者が接触領域検知部１の操作面上の手を動かした時の各指先位置点の接触面積の変化を示す図で、（ａ）操作者が手全体は動かさずに４つの指を曲げた場合を示す図、（ｂ）操作者が接触領域検知部１の操作面上の手全体を下方に動かした場合を示す図
【図１２】付け根点から各指先位置点までの距離Ｒ１〜Ｒ４を示す図
【図１３】図３のステップＳ１０８において、手モデルの指曲り角度を決定する方法を説明するための図で、（ａ）人差し指１３００を曲げた場合の指先位置点の変位を示す図、（ｂ）曲げた状態の人差し指１３００の手モデルを側面から見た図
【図１４】図３のステップＳ１０９の処理を説明するためのフローチャート
【図１５】図３のステップＳ１０９における手モデルの変形の具体例を示す図で、（ａ）初期位置点を示す図、（ｂ）初期位置点を用いて描画された初期手モデルを示す図、（ｃ）操作者が人差し指を曲げた場合の指先位置点を示す図、（ｄ）人差し指を曲げた時の指先位置点を用いて変形された手モデルを示す図
【図１６】図１５に示した手モデルを側面から見た図で、（ａ）図１５ｂに示した手モデルを側面から見た図、（ｂ）図１５ｄに示した手モデルを側面から見た図
【図１７】図３のステップＳ１１０の処理を説明するための図
【図１８】図３のステップＳ１１１の処理について説明するための図
【図１９】接触領域検知部１の車への設置位置の例を示す図で、（ａ）車両のセンターコンソールに取り付けられた場合の一例を示す図、（ｂ）車両のドアの操作部に取り付けられた場合の一例を示す図、（ｃ）車両のハンドルに取り付けられた場合の一例を示す図
【図２０】本発明の第２の実施形態に係る接触領域検知部の構成例を示す図で、（ａ）発光部と受光部により接触位置を検出する構成例を示す図、（ｂ）ストライプ状導電膜により接触位置を検出する構成例を示す図
【図２１】第２の実施形態に係る接触領域検知部の課題を説明する図
【図２２】接触位置検知部１ａまたは１ｂを用いた場合の、接触領域を示すＹ座標の領域の変化を示す図で、（ａ）操作者が手全体は動かさずに４つの指を曲げた場合を示す図、（ｂ）操作者が接触領域検知部の操作面上の手全体を下方に動かした場合を示す図
【符号の説明】
【００９６】
１、１ａ、１ｂ 接触領域検知部
２ 演算部
３ 表示部
４ 操作対象機器
１２ 移動量算出部
１３ モデル移動量決定部
１４ 指曲り角度決定部
１５ モデル保持部
１６ モデル形状決定部
１７ ＧＵＩパーツ保持部
１８ 重畳画像作成部
１９ 衝突判定部
２０ コマンド送信部
１００ 入力装置
【技術分野】
【０００１】
本発明は、ユーザが機器に対して命令等を入力するための入力装置および入力方法に関し、より特定的には、ユーザがディスプレイ等に表示された情報に基づいて手等の身体部分を用いて、命令等を入力することのできる入力装置および入力方法に関する。
【背景技術】
【０００２】
近年の情報機器端末の多機能化に伴って、ユーザがより使い易いユーザインターフェイスが求められている。使い易いユーザインターフェイスの一例として、タッチパネルディスプレイがある。タッチパネルディスプレイは、ディスプレイに表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）パーツを押す操作をすることによって、ユーザが命令等を情報機器端末等に入力する装置である。このことから、タッチパネルディスプレイは、初心者でも直感的に操作できるインターフェイスと言える。
【０００３】
しかし、タッチパネルディスプレイにおいては、タッチを検知するデバイス（以下、操作部という）と表示部とが一体であるので、当該タッチパネルディスプレイがユーザの手元にないと操作できないという課題があった。
【０００４】
この課題を解決するために、特許文献１の技術は、操作部と表示部とを分離し、操作部に置かれた操作者の手を検知し、コンピュータグラフィック（以下、ＣＧという）の手形状モデル（以下、単に、手モデルという）を、表示部に表示されるＧＵＩに重畳して表示する。このことによって、ユーザは、表示部から離れている場合でも、タッチパネルディスプレイの直感的な操作感を維持した操作を行うことができる。
【特許文献１】特開２００６−７２８５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の技術は、操作者であるユーザの指の曲りを算出できないので、ユーザが指を曲げて操作を行った場合には、ユーザの手形状と大幅に異なる形状の
手モデルを表示部に表示する。この結果として、操作中にユーザが違和感を感じるという問題があった。
【課題を解決するための手段】
【０００６】
本発明は、操作面に置かれた手のＣＧモデルを表示部に表示して機器を操作する入力装置であって、操作面と前記手との複数の接触領域を検知する接触領域検知部と、手の指を伸ばした初期状態からの接触領域の移動量および前記接触領域の面積の変化を算出する移動量算出部と、初期状態からの接触領域の移動量および接触領域の面積の変化に基づいて、ＣＧモデルの平行移動量、指曲げによる移動量を決定するモデル移動量決定部と、指曲げによる移動量に基づいて、ＣＧモデルの各指関節の曲り角度を決定する指曲り角度決定部と、ＣＧモデルの平行移動量および各指関節の曲り角度に従って、ＣＧモデルの位置および変形形状を決定するモデル形状決定部と、機器に対するコマンドを割り当てたＧＵＩパーツを保持するＧＵＩパーツ保持部と、モデル形状決定部で形状が決定されたＣＧモデルとＧＵＩパーツ保持部に保持されたＧＵＩパーツとを重畳した画像を作成して表示部に表示させる重畳画像作成部と、ＧＵＩパーツとＣＧモデルの指先との衝突を判定する衝突判定部と、衝突判定部によって衝突が判定されると、当該衝突が判定されたＧＵＩパーツに割当てられたコマンドを機器に送信するコマンド送信部とを備える。
【０００７】
これにより、本発明の入力装置は、操作者の手の動きをＣＧモデルに反映させることができ、更に、操作者の各指の動きまでもＣＧモデルに反映させることができる。
【０００８】
また、好ましくは、移動量算出部は、接触領域中の指先に対応する位置を示す指先位置点を決定し、当該指先位置点を用いて、指を伸ばした初期状態からの接触領域の移動量を算出する。
【０００９】
これにより、本発明の入力装置は、より正確な手の動きを検出できるので、更に正確な手の動きをＣＧモデルに反映させることができる。
【００１０】
また、好ましくは、モデル移動量決定部は、初期状態からの接触領域の面積の変化率の絶対値が所定の閾値より小さい場合に、初期状態からの接触領域の移動量をＣＧモデルの平行移動量として決定し、初期状態からの接触領域の面積の変化率の絶対値が所定の閾値より大きい場合に、初期状態からの接触領域の移動量をＣＧモデルの指曲げによる移動量として決定する。
【００１１】
これにより、操作者が操作面上において手全体は動かさずに指を曲げたのか、手全体を下方に動かしたのかを判別でき、更に正確な手の動きをＣＧモデルに反映させることができる。
【００１２】
また、好ましくは、指曲り角度決定部は、ＣＧモデルの同一の指の各指関節の曲り角度は一定という拘束条件を用いて、ＣＧモデルの各指関節の曲り角度を決定する。
【００１３】
これにより、本発明の入力装置は、ＣＧモデルの各指関節の曲り角度を決定するための計算の量を大幅に削減できるので、ＣＧモデルの形状を迅速に変形でき、更に装置のコストを抑えることができる。
【００１４】
また、接触領域検知部の操作面上の領域をＸ座標及びＹ座標で表すと、接触領域検知部は、接触領域のＸ座標とＹ座標とをそれぞれ独立に検知し、その交点を接触領域として検出するセンサを備え、モデル移動量決定部は、接触領域を示すＹ座標の領域の幅の初期状態からの変化率の絶対値が所定の閾値より小さい場合に、初期状態からの接触領域の移動量をＣＧモデルの平行移動量として決定し、接触領域を示すＹ座標の領域の幅の初期状態からの変化率の絶対値が所定の閾値より大きい場合に、初期状態からの接触領域の移動量を前記ＣＧモデルの指曲げによる移動量として決定する。
【００１５】
これにより、Ｘ座標軸方向とＹ座標軸方向との交点を接触領域として、光センサ、導電膜、静電容量等で検出するタッチパッドを接触領域検知部として用いた場合にも、操作者が操作面上において手全体は動かさずに指を曲げたのか、手全体を下方に動かしたのかを判別でき、更に正確な手の動きをＣＧモデルに反映させることができる。
【００１６】
本発明は、操作面に置かれた手のＣＧモデルを表示部に表示して機器を操作する入力方法にも向けられている。そして、上記目的を達成させるために、本発明の入力方法は、操作面と手との複数の接触領域を検知する接触領域検知ステップと、手の指を伸ばした初期状態からの接触領域の移動量および接触領域の面積の変化を算出する移動量算出ステップと、初期状態からの接触領域の移動量および接触領域の面積の変化に基づいて、ＣＧモデルの平行移動量、指曲げによる移動量を決定するモデル移動量決定ステップと、指曲げによる移動量に基づいて、ＣＧモデルの各指関節の曲り角度を決定する指曲り角度決定ステップと、ＣＧモデルの平行移動量および各指関節の曲り角度に従って、ＣＧモデルの位置および変形形状を決定するモデル形状決定ステップと、モデル形状決定ステップで形状が決定されたＣＧモデルと、機器に対するコマンドを割り当てた予め保持されているＧＵＩパーツとを重畳した画像を作成して前記表示部に表示させる重畳画像作成ステップと、ＧＵＩパーツと前記ＣＧモデルの指先との衝突を判定する衝突判定ステップと、衝突判定ステップによって衝突が判定されると、当該衝突が判定されたＧＵＩパーツに割当てられたコマンドを機器に送信するコマンド送信ステップとを備える。
【００１７】
これにより、本発明の入力方法は、操作者の手の動きをＣＧモデルに反映させることができ、更に、操作者の各指の動きまでもＣＧモデルに反映させることができる。
【発明の効果】
【００１８】
本発明の入力装置および入力方法によれば、ユーザが指を曲げて操作した場合であっても、ユーザの手形状を手モデルに忠実に反映できる。この結果として、本発明の入力装置およびその方法によれば、ユーザは、違和感を感じることなく操作を行うことができる。
【発明を実施するための最良の形態】
【００１９】
（実施の形態１）
図１は、本発明の第１の実施形態に係る入力装置１００の動作の概要を説明するための図である。以下では、図１を用いて、入力装置１００の動作について簡単に説明する。
【００２０】
図１に示す通り、入力装置１００は、接触領域検知部１と演算部２とを備える。接触領域検知部１は、当該接触領域検知部１の操作面上に置いたユーザ（以下、操作者という）の手が接触した領域を検出し、検出した接触領域の情報（以下、単に、接触領域情報という）を演算部２に出力する。接触領域検知部１は、例えば、多点で接触を検知するタッチパッドである。なお、接触領域検知部１は、独立した多点で接触を検知できればよく、光学式、静電容量方式、感圧方式、抵抗膜方式等を用いる一般的なデバイスでよい。
【００２１】
演算部２は、接触領域検知部１が検知した接触領域情報を用いて表示データを作成して表示部３に出力する。具体的には、演算部２は、接触領域情報を用いてＣＧの手モデルを作成し、当該手モデルをＧＵＩに重畳した表示データを作成して表示部３に出力する。また、演算部２は、作成した手モデルとＧＵＩパーツとの位置関係を用いて操作者が意図するコマンドを決定し、決定したコマンドを情報端末機器等である操作対象機器４に出力する。なお、演算部２は、一般的なパーソナルコンピュータ（以下、ＰＣという）でもよいし、専用のグラフィックＩＣ等を組み込んだ汎用性のない専用機でもよい。また、演算部２は、接触領域検知部１から入力される信号を受信するインターフェイスと、ＣＰＵ、ＲＯＭ、ＲＡＭと、各モジュール間を結ぶバスと、計算結果を映像として出力するインターフェイスとを含む。
【００２２】
表示部３は、演算部２から入力された表示データを用いて表示を行う。表示部３は、例えば、液晶ディスプレイやＣＲＴ等のディスプレイである。操作対象機器４は、演算部２から入力されたコマンドを実行する。
【００２３】
以上の構成によって、操作者は、表示部３に表示されたＧＵＩパーツ上に重畳された手モデルを目視しながら、接触領域検知部１の操作面上の手を動かして手モデルを操作することによって、操作対象機器４を操作することができる。
【００２４】
以下では、入力装置１００の構成および動作について詳しく説明する。図２は、入力装置１００の構成例を示す図である。図２に示すように、入力装置１００は、接触領域検知部１と演算部２とを備える。演算部２は、移動量算出部１２と、モデル移動量決定部１３と、指曲り角度決定部１４と、モデル保持部１５と、モデル形状決定部１６と、ＧＵＩパーツ保持部１７と、重畳画像作成部１８と、衝突判定部１９と、コマンド送信部２０とを含む。
【００２５】
図３は、入力装置１００の動作を説明するためのフローチャートである。操作者等によってスタートスイッチがオンにされると、入力装置１００は動作を開始する。
【００２６】
まず、ステップＳ１０１において、接触領域検知部１は、当該接触領域検知部１の操作面上に操作者の手が置かれているか否かを判定する。操作者の手が置かれていない場合、接触領域検知部１は、処理待ち状態となり、操作者の手が置かれると、ステップＳ１０２に移る。なお、ステップＳ１０１における判定は、接触が検知されたか否かによって行うことができる。
【００２７】
次に、ステップＳ１０２において、接触領域検知部１は、操作者の手が当該接触領域検知部１に接触している領域を点群（以下、接触点群という）として検知し、検知した接触点群のデータを移動量算出部１２に出力する。移動量算出部１２は、入力された接触点群のデータを用いて、操作者の４つの指先の位置を示す点（以下、指先位置点という）と接触面積を取得する。なお、指先位置点と接触面積を取得する方法は、後述する。
【００２８】
次に、ステップＳ１０３において、移動量算出部１２は、４つの指先位置点と接触面積を取得したか否かを判定し、取得した場合にはステップＳ１０４に進む。取得していない場合にはステップＳ１０２に戻る。
【００２９】
ステップＳ１０４において、移動量算出部１２は、操作者が手を開いた状態（指を伸ばした状態）の指先位置点である初期位置点が取得済みか否かを判定する。初期位置点が取得済みの場合は、ステップＳ１０６に移る。初期位置点が取得済みでない場合は、ステップＳ１０５に移る。ここで、初期位置点が取得済みか否かの判定は、入力装置１００が今回起動した後に初期位置点を取得したか否かを判定するものである。
【００３０】
ステップＳ１０５において、移動量算出部１２は、操作者に接触領域検知部１に置いた手を開くように促すメッセージを通知して初期位置点と接触面積を取得する。このメッセージは、例えば、表示部３に表示されて操作者に通知される。その後、移動量算出部１２は、取得した初期位置点を用いて操作者が手を開いた状態の手モデル（以下、初期手モデルという）を作成する。ステップＳ１０５で取得された初期位置点、接触面積および初期手モデルのデータは、モデル保持部１５に保存される。その後、ステップＳ１０２に戻る。つまり、入力装置１００は、起動後最初に操作者が手を接触領域検知部１に置いた時で、初期位置点、接触面積および初期手モデルを取得する。初期位置点、接触面積および初期手モデルの取得方法は、後述する。
【００３１】
なお、操作者が交代した場合には、初期位置点、接触面積および初期手モデルを更新するために、後の操作者の指示に応答して既に取得済みの前の操作者の初期位置点、接触面積および初期手モデルを破棄し、ステップＳ１０５の動作を再度行うことで後の操作者の初期位置点、接触面積および初期手モデルを取得してもよい。また、初期位置点、接触面積および初期手モデルを起動毎に取得せず、操作者の指示に応答してステップＳ１０５の動作を行うことによって初期位置点、接触面積および初期手モデルを新たに取得してもよい。また、ステップＳ１０１において接触領域検知部１が所定期間手の接触を検知しない場合には、既に取得済みの初期位置点、接触面積および初期手モデルを破棄し、ステップＳ１０５の動作を再度行って新たな初期位置点、接触面積および初期モデルを取得してもよい。
【００３２】
ステップＳ１０６において、移動量算出部１２は、指先位置点の初期位置点からの移動量と接触面積の変化を、それぞれ取得する。ここで、各点の移動量を取得するために、移動後の各点と移動前の各点との対応をとる方法は、一般的な手法でよい。
【００３３】
次に、ステップＳ１０７において、モデル移動量決定部１３は、ステップＳ１０６で取得した指先位置点の初期位置点からの移動量と接触面積の変化を用いて、手モデルの平行移動量、指曲げによる移動量を決定する。この平行移動量、指曲げによる移動量の決定方法は、後述する。
【００３４】
次に、ステップＳ１０８において、指曲り角度決定部１４は、ステップＳ１０７で取得した指先位置点の初期位置点からの指曲げによる移動量を用いて、手モデルの各指関節の曲り角度を決定する。この各指関節の曲り角度を決定する方法は、後述する。
【００３５】
次に、ステップＳ１０９において、モデル形状決定部１６は、ステップＳ１０７およびＳ１０８で決定された手モデルの平行移動量、各指関節の曲り角度を用いて、モデル保持部１５に保持された手モデルを読出して変形を反映させる。ここで、モデル保持部１５に初期手モデルが保持されている場合には、当該初期手モデルを読出して変形を反映させる。
【００３６】
なお、モデル保持部１５に保持される手モデルは、一般的な骨格（以下、ボーン構造という）を持つＣＧモデルであることが好ましい。モデル保持部１５が保持する手モデルの一例を図４に示す。図４に示す手モデルは、複数のポリゴンとボーン構造を示すラインとから構成される。また、手モデルをモデル保持部１５に保持するファイル形式は、一般的な形式でよい。一例として、ポリゴンの頂点座標を格納したファイル形式が挙げられる。また、手モデルは、併せてテクスチャ情報も保持し、手モデルの現実感を増幅させてもよい。
【００３７】
次に、ステップＳ１１０において、重畳画像作成部１８は、ＧＵＩパーツ保持部１７が予め保持しているＧＵＩパーツを読み出し、読出したＧＵＩパーツを配置した操作画像を作成する。ここで、ＧＵＩパーツとは、表示部３に表示される制御命令を割り当てたボタン等である。なお、ＧＵＩパーツおよびその配置方法は、一般的なものでよい。その後、重畳画像作成部１８は、ステップＳ１０９で変形を反映された手モデルと、ＧＵＩパーツが配置された操作画像とを重畳して重畳画像を作成し、当該重畳画像を表示部３に表示する。
【００３８】
次に、ステップＳ１１１において、衝突判定部１９は、ＧＵＩパーツと手モデルの指先位置点との衝突の有無を判定する。この衝突判定の詳細は、後述する。衝突がないと判定されている場合は、ステップＳ１０１〜Ｓ１１１の処理が繰り返されて、操作者の手の動きに応じて重畳画像内の手モデルが変形する。衝突が有ると判定されると、衝突判定部１９は、衝突が有ったＧＵＩパーツに割当てられたコマンドをコマンド送信部２０に通知し、ステップＳ１１２に移る。
【００３９】
ステップＳ１１２において、コマンド送信部２０は、通知されたコマンドを操作対象機器４に送信し、ステップＳ１０１に戻る。操作対象機器４は、送信されたコマンドを受信して実行する。以上の処理が繰り返されることによって、入力装置１００は、コマンドの送信を繰り返して操作対象機器４を操作する。なお、操作者等によってスタートスイッチがオフにされると処理は終了する。
【００４０】
以上に説明した動作によって、操作者は、表示部３に表示された重畳画像を目視しながら手を動かすことによって、重畳画像内の手モデルを操作できる。そして、操作者は、手モデルを操作して指先の位置をＧＵＩパーツに重ね合わせることによって、操作対象機器４を操作できることとなる。
【００４１】
以下では、図３を用いて説明した各ステップについて、詳細に説明する。
【００４２】
図５は、図３のステップＳ１０１およびＳ１０２における接触領域検知部１の動作について説明するための図である。図５（ａ）は、接触領域検知部１の操作面に操作者の手か置かれた状態の一例を示す。図５（ｂ）は、接触領域検知部１が検知した接触点群を黒丸群で表した図である。図５に示すように、接触領域検知部１は、図３のステップＳ１０１およびＳ１０２において、接触点（接触点群）を検知することによって、手の接触領域を検知する。
【００４３】
図６は、図３のステップＳ１０２を詳細に説明するためのフローチャートである。図７は、図３のステップＳ１０２で取得される指先位置点を説明するための図である。以下、図６および図７を用いて、図３のステップＳ１０２の処理を詳細に説明する。
【００４４】
まず、Ｓ１０２−１において、移動量算出部１２は、接触領域検知部１から図５（ｂ）を用いて説明した接触点群を示すデータを取得する。
【００４５】
次に、ステップＳ１０２−２において、移動量算出部１２は、接触点の位置関係に基づいて、複数の領域を算出する。Ｓ１０２−２において複数の領域を算出する方法は、一般的な方法でよい。例えば、接触点の近傍に他の接触点が存在する場合はこれらの接触点を同一の領域とみなすことによって、複数の領域に区分する方法がある。
【００４６】
次に、ステップＳ１０２−３において、移動量算出部１２は、ステップＳ１０２−２で算出した各領域に対して、楕円フィッティング処理を行う。図７は、指先位置点の算出方法について説明するための図ある。ステップＳ１０２−３において、移動量算出部１２は、図７（ａ）の楕円Ａで示すように指の接触点群を楕円で囲む。その後、移動量算出部１２は、例えば、楕円Ａの中心を指先位置点とする（図７（ｂ）を参照）。なお、指先位置点は、他の方法を用い、また、他の位置に決定してもよい。
【００４７】
指先位置点を決定した後、各指先位置点について接触面積を求める。接触面積は、各指先が操作面に接触している面積で、例えば、上記の様に指先位置点を楕円フィッティングで求めた場合には楕円の面積を計算することで求めることができる。また、各領域内にある接触点の数を接触面積とすることもできる。
【００４８】
次に、ステップＳ１０２−４において、移動量算出部１２は、ステップＳ１０２−３で取得した指先位置点の位置と接触面積を保持する。図８は、図６のステップＳ１０２−３で取得された指先位置点の位置の一例を示す図である。図８において、黒丸は指先位置点８０１、点線の楕円８０２は接触面積の領域を示している。
【００４９】
図９は、図３のステップＳ１０５の処理を詳しく説明するためのフローチャートである。まず、ステップＳ１０５−１において、移動量算出部１２は、操作者に接触領域検知部１の操作面上の手を開くように促すメッセージを通知して４つの初期位置点および接触面積を取得する。
【００５０】
次に、ステップＳ１０５−２において、移動量算出部１２は、ステップＳ１０５−１で取得した初期位置点（指先位置点）と、モデル保持部１５が当初から保持しているひな形であるひな形手モデルの対応する指先位置点とが重なるように、当該ひな形手モデルを変形して初期手モデルを作成する。ここで、４つの初期位置点は、それぞれ小指、薬指、中指、人差し指に対応する。操作者の操作が左手に限定される場合には、左手のひな形手モデルを使用して、左から小指、薬指、中指、人差し指の順番に初期位置点とが重なるように、当該ひな形手モデルを変形して初期手モデルを作成する。
【００５１】
ここで、初期手モデルを作成する際には、接触領域検知部１に対して操作者がどの方向から手を進入させたかを知る必要がある。逆方向から手を進入させた場合には、同じ４つの初期位置点であっても、初期手モデルが反対向きに作成されてしまう。そのため、接触領域検知部１に対して操作者がどの方向から手を進入させるかは、予め分っているものとする。
【００５２】
図１９は接触領域検知部１の車への設置位置の例を示している。図１９（ａ）は車両のセンターコンソールに取り付けられた場合の一例を示す図である。図１９（ｂ）は、接触領域検知部１が車両のドアの操作部に取り付けられた場合の一例を示す図である。図１９（ｃ）は、接触領域検知部１が車両のハンドルに取り付けられた場合の一例を示す図である。図１９（ａ）に示すような車両の位置に、接触領域検知部１を取り付けることで、ドライバである操作者は接触領域検知部１に対して左手を矢印１９０１の方向に進入させることは予め分る。また、図１９（ｂ）に示すような車両の位置に、接触領域検知部１を取り付けることで、ドライバである操作者は接触領域検知部１に対して右手を矢印１９０２の方向に進入させることは予め分る。図１９（ｃ）の場合には、ドライバである操作者は接触領域検知部１に対して手を矢印１９０３の方向に進入させることは予め分る。ただ、この場合には、操作者が右手で操作するか左手で操作するかは分らないため、事前に操作者の好みで右手もしくは左手で操作するかの情報を入力できる様にしておけばよい。
【００５３】
また、操作者が右手もしくは左手で操作する場合には、通常は小指は他の指と比較して小さく、操作面との接触面積も小さいため、ステップＳ１０５−１で取得した接触面積が最も小さい領域を小指と判断し、他の領域との位置関係から右手か左手かを特定することもできる。すなわち、小指と特定された領域が他の３つの領域より、最も左側に存在すれば左手と判断し、左手のひな形手モデルを変形する。逆に、小指と特定された領域が他の３つの領域より、最も右側に存在すれば右手と判断し、右手のひな形手モデルを変形する。
【００５４】
図９に戻り、その後、移動量算出部１２は、作成した初期手モデルを、表示部３に表示する。この処理によって、移動量算出部１２は、操作者の手の大きさを反映した初期手モデルを作成し、表示部３に表示できる。
【００５５】
次に、ステップＳ１０５−３において、移動量算出部１２は、ステップＳ１０５−１で取得した初期位置点の位置、接触面積と、ステップＳ１０５−２で作成した初期手モデルとをモデル保持部１５に保存し、ステップＳ１０２に戻る（図３を参照）。
【００５６】
図１０は、図３のステップＳ１０７およびＳ１０８の処理を説明するためのフローチャートである。図３のステップＳ１０７およびＳ１０８の処理は、一体となって行われる。従って、以下では、図１０を参照して、図３のステップＳ１０７およびＳ１０８の処理を、同時に説明する。また、以下では、説明の都合上、図１０の各ステップを実行する主体をモデル移動量決定部１３又は指曲り角度決定部１４としているが、ステップによってはこの主体は入れ替わってもよい。
【００５７】
まず、ステップＳ１７８−１において、モデル移動量決定部１３は、ステップＳ１０６で取得された指先位置点の初期位置点からの移動量から、何れかの指先位置点が移動したか否かを判定する。何れの指先位置点も移動していない場合には、ステップＳ１０９へ進み、何れかの指先位置点が移動した場合には、ステップＳ１７８−２に進む。
【００５８】
次に、ステップＳ１７８−２では、モデル移動量決定部１３は、４つ全ての指先位置点が同じ方向（図５で示す、上もしくは下の方向）に移動したか否かを判定する。４つ全ての指先位置点が同じ方向に移動した場合には、ステップＳ１７８−３へ進み、移動していない場合には、ステップＳ１７８−６に進む。
【００５９】
次に、ステップＳ１７８−３では、モデル移動量決定部１３は、ステップＳ１０６で取得した指先位置点の接触面積が、初期位置点の接触面積から変化したか否かを判定する。図１１は操作者が接触領域検知部１の操作面上の手を動かした時の各指先位置点の接触面積の変化を示している。図１１（ａ）は、操作者が手全体は動かさずに４つの指を曲げた場合を示しており、指を曲げることにより操作面と指との接触位置が、各指の腹の部分から、爪の方に移動するため、接触面積は小さくなる。逆に、指を曲げた状態から伸ばすと、その接触面積は大きくなる。図１１（ｂ）は、操作者が接触領域検知部１の操作面上の手全体を下方に動かした場合を示しており、操作面と指との接触位置は各指の腹の部分のままで、その接触面積はあまり変わらない。
【００６０】
指先位置点の移動だけでは両者を区別することはできないが、ステップＳ１７８−３では、この接触面積の変化の違いを利用して、両者を区別している。すなわち、ステップＳ１０６で取得した指先位置点の接触面積の変化が、初期位置点の接触面積からの減少を示している場合には、操作者が指を曲げたと判断して、指の曲り角度を算出する処理（ステップＳ１７８−６、Ｓ１７８−７）に進み、ステップＳ１０６で取得した指先位置点の接触面積の変化が、初期位置点の接触面積から変化していないことを示している場合には、操作者が接触領域検知部１の操作面上の手全体を下方もしくは上方に動かしたと判断して、手モデルを平行移動させる処理（ステップＳ１７８−４、Ｓ１７８−５）に進む。
【００６１】
ここで、操作者の手の大きさや接触領域検知部１の操作面への指の押し付け方により、接触面積は多少変わるので、指先位置点の移動前後の接触面積の変化率について所定の閾値を予め設定しておき、接触面積の変化率（絶対値）が所定の閾値より大きい場合に接触面積が変化したと判断しても良い。また、接触面積の変化率の計算は、各指先位置点ごとに行っても良いし、４つの指先位置点に対応する接触面積の総和で変化率を計算しても良い。
【００６２】
次に、ステップＳ１７８−４では、モデル移動量決定部１３は、ステップＳ１０６で取得した指先位置点の初期位置からの移動量を、手モデルの平行移動量として決定し、ステップＳ１７８−５で、現在の指先位置点を手モデルの初期位置点として、モデル保持部１５に保存する。
【００６３】
ステップＳ１７８−６では、モデル移動量決定部１３は、手モデルの付け根点と各指先位置点との距離をそれぞれ算出する。ここで、手モデルの付け根点は、手モデルの下部、中央の掌側の点であり、手モデルの基準位置となる。図１２は、手モデル１２０１の付け根点１２０２から各指先位置点１２１１〜１２１４までの距離Ｒ１〜Ｒ４を示す図である。操作者は、手全体は移動させずに指を曲げたもしくは伸ばしたため、手モデルの付け根点１２０２は移動していない。図１２に示すＲ１〜Ｒ４の長さの変化量は、それぞれ、指曲げにより生じる移動量である。モデル移動量決定部１３は、ステップＳ１０６で取得した指先位置点の初期位置からの移動量を、指曲げにより生じる移動量として決定する。
【００６４】
次に、ステップＳ１７８−７において、指曲り角度決定部１４は、ステップＳ１７８−６で算出した指曲げによる移動量を用いて、各指の各関節の曲り角度を決定する。
【００６５】
ここで、指先の変位から指関節の曲り角度を求める方法として、ロボット工学分野等で周知であるインバースキネマティクス（以下、ＩＫという）技術がある。ＩＫ技術は、複数の可動部を持つアームの先端を目的位置に移動させるために用いられる。そして、アームが複数の可動部を持つ場合、ＩＫ技術を用いて目的位置にアームの先端を移動させるためには、可動部の曲り角度には複数の解が存在する。
【００６６】
本発明においても、指には複数の関節があるので、指関節の曲り角度には複数の解が存在する。このため、本発明では、一例として、操作者の掌および指先は操作面上（同一平面上）に存在するという拘束条件と、各指関節の曲り角度は等しいという拘束条件とを用いて、解を一意に求める。
【００６７】
図１３（ａ）は、一例として、人差し指を曲げた場合の指先位置点の変位を示している。図１３（ｂ）は、図１３（ａ）に示す曲げた状態の人差し指１３００の手モデルを側面から見た図である。図１３から分るように、通常、指を曲げると３つの指関節は同時に曲がるので、各指関節の曲り角度１３０１〜１３０３は等しいという拘束条件を用いて手モデルを変形すると、操作者は違和感無く操作を行うことができる。また、この様な拘束条件を用いて手モデルを変形すると、演算量が大幅に低減できるので、操作者の手の動きに瞬時に応答する手モデルの変形が可能である。
【００６８】
なお、指関節の曲り角度を算出するための拘束条件は、これには限定されず、解を一意に求めらる拘束条件であればよい。しかし、上記したように、指関節の曲り角度を算出するための拘束条件は、操作者が違和感を感じない手モデルとなる拘束条件が好ましく、操作者の操作行為が自然に行える手モデルとなる拘束条件が好ましい。また、ＩＫ技術において目的位置からアーム可動部の曲り角度を求める方法として、ヤコビ行列を用いて繰り返し計算を行う方法や幾何学的に算出する方法等が知られているが、本発明においてはいずれを用いてもよい。
【００６９】
以上に説明した一連の処理を行うことによって、モデル移動量決定部１３および指曲り角度決定部１４は、図３のステップＳ１０７およびＳ１０８の処理を行い、手モデルの平行移動量、各指関節の曲り角度を決定する。
【００７０】
図１４は、図３のステップＳ１０９の処理を説明するためのフローチャートである。図１４のフローチャートの処理によって、ステップＳ１０７およびＳ１０８で決定された各値を用いて手モデルの変形形状が決定される。以下では、図１４を参照して、図３のステップＳ１０９処理について詳しく説明する。
【００７１】
まず、ステップＳ１０９−１において、モデル形状決定部１６は、ステップＳ１０７で決定された手モデルの平行移動量を用いて、手モデルの位置を決定する。
【００７２】
次に、ステップＳ１０９−２において、モデル形状決定部１６は、ステップＳ１０８で決定された各指関節の曲り角度を用いて、手モデルの変形形状を決定する。その後、ステップＳ１１０に移る。
【００７３】
図１５は、図３のステップＳ１０９における手モデルの変形の具体例を示す図である。図１５（ａ）は、初期位置点（操作者が手を開いた状態の指先位置点）を示す。図１５（ｂ）は、図１５（ａ）に示す初期位置点を用いて描画された初期手モデルである。図１５（ｃ）は、一例として、操作者が人差し指を曲げた場合の指先位置点を示す。図１５（ｄ）は、図１５（ｃ）に示す指先位置点を用いて変形された手モデルである。図１６（ａ）、（ｂ）はそれぞれ、図１５（ｂ）および（ｄ）に示した手モデルを側面から見た図である。図１５および図１６に示すように、図３のステップＳ１０９において、手モデルは、操作者の手の変形に応じてリアルに変形する。
【００７４】
図１７は、図３のステップＳ１１０の処理を説明するための図である。図１７に示す通り、ステップＳ１１０において、重畳画像作成部１８は、ＧＵＩパーツ１７０１を配置した操作画像１７００と、変形された手モデル１７１０とを重畳して、重畳画像１７２０を作成し、表示部３に表示する。なお、重畳画像１７２０を作成する際、手モデルと重なるＧＵＩパーツを視認し易くするために、手モデルを半透過等にしてもよい。
【００７５】
図１８は、図３のステップＳ１１１の処理について説明するための図である。衝突判定部１９は、図１８の矢印１８２０で示すように、ステップＳ１１０で作成された重畳画像においてＧＵＩパーツ１８０１〜１８０４と手モデル１８１０の指先位置点とが重なった場合には、当該ＧＵＩパーツ１８０１〜１８０４と手モデル１８１０の指先位置点とが衝突したと判定する。図１８の場合には、衝突判定部１９は、衝突が判定されたＧＵＩパーツ１８０２に割当てられたコマンドをコマンド送信部２０に通知する。
【００７６】
その後、ステップＳ１１２でコマンドが操作対象装置４に送信される。操作対象装置４は、受信したコマンドを実行する。
【００７７】
以上に説明したように、本発明に係る入力装置１００によれば、操作者は、表示部３から離れている場合でも、タッチパネルディスプレイの直感的な操作感を維持した操作を行うことができる。また、本発明に係る入力装置１００は、操作者の指の動きを忠実に再現した手モデルを表示部３に表示することができる。この結果として、本発明に係る入力装置１００は、操作者に違和感の無い快適な操作感覚を提供することができる。
【００７８】
なお、本実施形態においては、４つの指先位置点と接触面積を取得することとしたが、４つに限られることはない。右手か左手かが分っており、接触する指が特定できる場合には（例えば、人差し指で接触）、手の進入方向が分っていれば手モデルの位置を決定できるため、１〜３つの指先位置点と接触面積を取得することにしてもよい。
【００７９】
（実施の形態２）
第２の実施形態に係る入力装置のハードウェア構成、及び機能ブロックについては、図１及び図２を援用して説明する。第２の実施形態に係る入力装置は、第１の実施形態に係る入力装置１００と比較して、接触領域検知部の構成が異なる。第１の実施形態に係る接触領域検知部１は、各接触領域を独立して取得できるタッチパッドであったが、第２の実施形態に係る接触領域検知部は、図２０に示すように、接触領域のＸ座標とＹ座標とをそれぞれ独立に検知し、その交点を接触領域として検出するセンサである。
【００８０】
図２０（ａ）は、本発明の第２の実施形態に係る接触領域検知部１ａの構成例を示す図である。ただし、接触領域検知部１ａの操作面上の領域をＸ座標とＹ座標とで表すものとする。また、操作者の手の長手方向をＹ座標軸の方向とし、Ｙ座標軸と直交する方向をＸ座標軸の方向と定義する。
【００８１】
図２０（ａ）において、接触領域検知部１ａは、Ｘ座標軸と垂直な方向に光を発する多数の発光部と、多数の発光部が発した光を受光する多数の受光部とを備える。また、接触領域検知部１ａは、Ｙ座標軸と垂直な方向に光を発する多数の発光部と、当該多数の発光部が発した光を受光する多数の受光部とを備える。
【００８２】
例えば、接触領域検知部１ａは、操作面の形状が長方形である場合、Ｘ座標軸と平行し、互いに対向する２辺のうち一辺に光を発する多数の発光部と、他の一辺に当該発光部が発した光を受光する多数の受光部とを備える。また、接触領域検知部１ａは、Ｙ座標軸と平行し、互いに対向する２辺のうち一辺に光を発する多数の発光部と、他の一辺に当該発光部が発した光を受光する多数の受光部とを備える。
【００８３】
操作面に操作者の手が接触した場合、多数の発光部から発した一部の光が、操作者の手によって遮られ、一部の受光部に届かなくなるために、接触領域検知部１ａは、接触領域のＸ座標及びＹ座標を検知することができる。
【００８４】
図２０（ｂ）は、本発明の第２の実施形態に係る接触領域検知部１ｂの構成例を示す図である。図２０（ｂ）において、接触領域検知部１ｂは、Ｘ座標方向にストライプ状に電流を流すストライプ状導電膜が形成された基板と、Ｙ座標方向にストライプ状に電流を流すストライプ状導電膜が形成された基板とを、所定の空間を介して導電膜が対向するように上下に重ねて構成されている。この例では、Ｘ座標方向のストライブ状導電膜が上側に、Ｙ座標方向のストライブ状導電膜が下側に重ねられている。操作面に手が接触した場合、通常は上下に離れているＸ座標方向のストライプ状導電膜とＹ座標方向のストライプ状導電膜が、接触した位置で通電し、接触領域検知部１ｂは、接触領域のＸ座標及びＹ座標を検知することができる。
【００８５】
その他、接触領域のＸ座標とＹ座標とをそれぞれ独立に検知し、その交点を接触領域として検出するセンサとしては、静電容量方式等も用いることができる。
【００８６】
しかしながら、これら検出方式のセンサを接触領域検知部に用いた場合には、以下のような課題がある。図２１は、第２の実施形態に係る接触領域検知部の課題を説明する図である。ただし、Ｘ座標Ｙ座標で表される領域を（Ｘ，Ｙ）領域と記す。接触領域検知部の操作面上において、人間の左手の形状を想定して、操作者の指先が黒丸で示す点で接触している場合を想定する。接触領域検知部は、上記の様な検出方式であるために、（Ｘ１，Ｙ２）領域２１０１、（Ｘ２，Ｙ１）領域２１０２、（Ｘ３，Ｙ１）領域２１０３、及び（Ｘ４、Ｙ１）領域２１０４以外に、（Ｘ１，Ｙ１）領域２１１１、（Ｘ２，Ｙ２）領域２１１２、（Ｘ３，Ｙ２）領域２１１３、（Ｘ４，Ｙ２）領域２１１４の、実際には操作者の指先が接触していない領域を検出してしまう。また、（Ｘ２，Ｙ１）領域２１０２、（Ｘ３，Ｙ１）領域２１０３、及び（Ｘ４、Ｙ１）領域２１０４のＹ座標が同じになってしまう。これは、例えば接触領域検知部１ａで説明すると、薬指、中指、人指し指のＹ座標が近接しているので、発光部が発した光がこれら３本の指で遮られて、別個に特定できず、領域Ｙ１という幅の広い領域内に有るということだけしか検出できないためである。
【００８７】
上述したような課題に対して、第１の実施の形態の図３のステップＳ１０５で初期手モデルを作成する際に、操作者が接触領域検知部に各指を置く際の時間差を利用して、接触した領域を特定するなどの方法が考えられる。しかし、第１の実施の形態の図１１において示したのと同様に、指先位置点の移動だけでは、操作者が手全体は動かさずに４つの指を曲げた場合と、操作者が接触領域検知部の操作面上の手全体を下方に動かした場合とを区別することはできないという課題がある。
【００８８】
そこで、本実施形態においては、上述したような課題に対して、以下のように課題を解決する。図２２は図２０に示した接触位置検知部１ａまたは１ｂを用いた場合の、両者を区別する方法を説明するための図である。図２２（ａ）は図１１（ａ）同様に操作者が手全体は動かさずに４つの指を曲げた場合を示す図で、図２２（ｂ）は図１１（ｂ）同様に操作者が接触領域検知部の操作面上の手全体を下方に動かした場合を示す図である。
【００８９】
図２２（ａ）では、左から小指、薬指、中指、人差し指に対応する接触領域２２０１〜２２０４が、手全体は動かさずに４つの指を曲げたことにより接触領域２２１１〜２２１４に移動している。その際、指を曲げることにより操作面と指との接触位置が、各指の腹の部分から、爪の方に移動するため、接触領域の面積は小さくなる。そのため、接触領域検知部１ａまたは１ｂを用いた場合に検出されるＹ座標の領域は、領域Ｙ１から領域Ｙ３へ、領域Ｙ２から領域Ｙ４へそれぞれ移動し、各領域の幅は小さくなる。
【００９０】
図２２（ｂ）では、左から小指、薬指、中指、人差し指に対応する接触領域２２０１〜２２０４が、接触領域検知部の操作面上の手全体を下方に動かしたことにより接触領域２２２１〜２２２４に移動している。その際、操作面と指との接触位置は各指の腹の部分のままで、その接触面積はあまり変わらない。そのため、接触領域検知部１ａまたは１ｂを用いた場合に検出されるＹ座標の領域は、領域Ｙ１から領域Ｙ５へ、領域Ｙ２から領域Ｙ６へそれぞれ移動し、各領域の幅はあまり変わらない。
【００９１】
指先位置点の移動だけでは両者を区別することはできないが、このＹ座標の領域の幅の変化の違いを利用して、第１の実施の形態と同様に、両者を区別することができる。
【００９２】
すなわち、本実施形態においては、第１の実施の形態の図３のステップＳ１０２においてモデル移動量決定部は、指先位置点の接触面積としてＹ座標の領域の幅を取得し、図１０のステップＳ１７８−３において、モデル移動量決定部は、接触面積の変化としてＹ座標の領域の幅の変化を検出する。
【００９３】
モデル移動量決定部は、接触領域を示すＹ座標の領域の幅の初期状態からの変化率の絶対値が所定の閾値より小さい場合に、初期状態からの接触領域の移動量をＣＧモデルの平行移動量として決定し、接触領域を示すＹ座標の領域の幅の初期状態からの変化率の絶対値が所定の閾値より大きい場合に、初期状態からの接触領域の移動量をＣＧモデルの指曲げによる移動量として決定する。
【産業上の利用可能性】
【００９４】
本発明は、入力装置および入力方法等に利用可能であり、特に、操作者の手のＣＧモデルを操作者の手の動きに併せてよりリアルに変形させたい場合等に有用である。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施形態に係る入力装置１００の動作の概要を説明するための図
【図２】本発明の実施形態に係る入力装置１００の構成例を示す図
【図３】本発明の実施形態に係る入力装置１００の動作を説明するためのフローチャート
【図４】モデル保持部１５が保持する手モデルの一例を示す図
【図５】図３のステップＳ１０１およびＳ１０２における接触領域検知部１の動作について説明するための図で、（ａ）接触領域検知部１の操作面に操作者の手か置かれた状態の一例を示す図、（ｂ）接触領域検知部１が検知した接触点群を黒丸群で表した図
【図６】図３のステップＳ１０２を詳細に説明するためのフローチャート
【図７】図３のステップＳ１０２で取得される指先位置点を説明するための図で、（ａ）接触点群を楕円フィッティング処理した一例を示す図、（ｂ）楕円から指先位置点を決定する一例を示す図
【図８】図６のステップＳ１０２−３で取得された指先位置点の位置の一例を示す図
【図９】図３のステップＳ１０５の処理を詳しく説明するためのフローチャート
【図１０】図３のステップＳ１０７およびＳ１０８の処理を説明するためのフローチャート
【図１１】操作者が接触領域検知部１の操作面上の手を動かした時の各指先位置点の接触面積の変化を示す図で、（ａ）操作者が手全体は動かさずに４つの指を曲げた場合を示す図、（ｂ）操作者が接触領域検知部１の操作面上の手全体を下方に動かした場合を示す図
【図１２】付け根点から各指先位置点までの距離Ｒ１〜Ｒ４を示す図
【図１３】図３のステップＳ１０８において、手モデルの指曲り角度を決定する方法を説明するための図で、（ａ）人差し指１３００を曲げた場合の指先位置点の変位を示す図、（ｂ）曲げた状態の人差し指１３００の手モデルを側面から見た図
【図１４】図３のステップＳ１０９の処理を説明するためのフローチャート
【図１５】図３のステップＳ１０９における手モデルの変形の具体例を示す図で、（ａ）初期位置点を示す図、（ｂ）初期位置点を用いて描画された初期手モデルを示す図、（ｃ）操作者が人差し指を曲げた場合の指先位置点を示す図、（ｄ）人差し指を曲げた時の指先位置点を用いて変形された手モデルを示す図
【図１６】図１５に示した手モデルを側面から見た図で、（ａ）図１５ｂに示した手モデルを側面から見た図、（ｂ）図１５ｄに示した手モデルを側面から見た図
【図１７】図３のステップＳ１１０の処理を説明するための図
【図１８】図３のステップＳ１１１の処理について説明するための図
【図１９】接触領域検知部１の車への設置位置の例を示す図で、（ａ）車両のセンターコンソールに取り付けられた場合の一例を示す図、（ｂ）車両のドアの操作部に取り付けられた場合の一例を示す図、（ｃ）車両のハンドルに取り付けられた場合の一例を示す図
【図２０】本発明の第２の実施形態に係る接触領域検知部の構成例を示す図で、（ａ）発光部と受光部により接触位置を検出する構成例を示す図、（ｂ）ストライプ状導電膜により接触位置を検出する構成例を示す図
【図２１】第２の実施形態に係る接触領域検知部の課題を説明する図
【図２２】接触位置検知部１ａまたは１ｂを用いた場合の、接触領域を示すＹ座標の領域の変化を示す図で、（ａ）操作者が手全体は動かさずに４つの指を曲げた場合を示す図、（ｂ）操作者が接触領域検知部の操作面上の手全体を下方に動かした場合を示す図
【符号の説明】
【００９６】
１、１ａ、１ｂ 接触領域検知部
２ 演算部
３ 表示部
４ 操作対象機器
１２ 移動量算出部
１３ モデル移動量決定部
１４ 指曲り角度決定部
１５ モデル保持部
１６ モデル形状決定部
１７ ＧＵＩパーツ保持部
１８ 重畳画像作成部
１９ 衝突判定部
２０ コマンド送信部
１００ 入力装置
【特許請求の範囲】
【請求項１】
操作面に置かれた手のＣＧモデルを表示部に表示して機器を操作する入力装置であって、
前記操作面と前記手との複数の接触領域を検知する接触領域検知部と、
前記手の指を伸ばした初期状態からの前記接触領域の移動量および前記接触領域の面積の変化を算出する移動量算出部と、
前記初期状態からの前記接触領域の移動量および前記接触領域の面積の変化に基づいて、前記ＣＧモデルの平行移動量、指曲げによる移動量を決定するモデル移動量決定部と、
前記指曲げによる移動量に基づいて、前記ＣＧモデルの各指関節の曲り角度を決定する指曲り角度決定部と、
前記ＣＧモデルの平行移動量および各指関節の曲り角度に従って、前記ＣＧモデルの位置および変形形状を決定するモデル形状決定部と、
前記機器に対するコマンドを割り当てたＧＵＩパーツを保持するＧＵＩパーツ保持部と、
前記モデル形状決定部で形状が決定された前記ＣＧモデルと前記ＧＵＩパーツ保持部に保持されたＧＵＩパーツとを重畳した画像を作成して前記表示部に表示させる重畳画像作成部と、
前記ＧＵＩパーツと前記ＣＧモデルの指先との衝突を判定する衝突判定部と、
前記衝突判定部によって衝突が判定されると、当該衝突が判定されたＧＵＩパーツに割当てられたコマンドを前記機器に送信するコマンド送信部とを備える、入力装置。
【請求項２】
前記移動量算出部は、前記接触領域中の前記指先に対応する位置を示す指先位置点を決定し、当該指先位置点を用いて、前記指を伸ばした初期状態からの前記接触領域の移動量を算出することを特徴とする、請求項１に記載の入力装置。
【請求項３】
前記モデル移動量決定部は、前記初期状態からの前記接触領域の面積の変化率の絶対値が所定の閾値より小さい場合に、前記初期状態からの前記接触領域の移動量を前記ＣＧモデルの平行移動量として決定し、前記初期状態からの前記接触領域の面積の変化率の絶対値が所定の閾値より大きい場合に、前記初期状態からの前記接触領域の移動量を前記ＣＧモデルの指曲げによる移動量として決定することを特徴とする、請求項１に記載の入力装置。
【請求項４】
前記指曲り角度決定部は、前記ＣＧモデルの同一の指の各指関節の曲り角度は一定という拘束条件を用いて、前記ＣＧモデルの各指関節の曲り角度を決定することを特徴とする、請求項１に記載の入力装置。
【請求項５】
前記接触領域検知部の操作面上の領域をＸ座標及びＹ座標で表すと、
前記接触領域検知部は、前記接触領域のＸ座標とＹ座標とをそれぞれ独立に検知し、その交点を接触領域として検出するセンサを備え、
前記モデル移動量決定部は、前記接触領域を示すＹ座標の領域の幅の前記初期状態からの変化率の絶対値が所定の閾値より小さい場合に、前記初期状態からの前記接触領域の移動量を前記ＣＧモデルの平行移動量として決定し、前記接触領域を示すＹ座標の領域の幅の前記初期状態からの変化率の絶対値が所定の閾値より大きい場合に、前記初期状態からの前記接触領域の移動量を前記ＣＧモデルの指曲げによる移動量として決定することを特徴とする、請求項１に記載の入力装置。
【請求項６】
操作面に置かれた手のＣＧモデルを表示部に表示して機器を操作する入力方法であって、
前記操作面と前記手との複数の接触領域を検知する接触領域検知ステップと、
前記手の指を伸ばした初期状態からの前記接触領域の移動量および前記接触領域の面積の変化を算出する移動量算出ステップと、
前記初期状態からの前記接触領域の移動量および前記接触領域の面積の変化に基づいて、前記ＣＧモデルの平行移動量、指曲げによる移動量を決定するモデル移動量決定ステップと、
前記指曲げによる移動量に基づいて、前記ＣＧモデルの各指関節の曲り角度を決定する指曲り角度決定ステップと、
前記ＣＧモデルの平行移動量および各指関節の曲り角度に従って、前記ＣＧモデルの位置および変形形状を決定するモデル形状決定ステップと、
前記モデル形状決定ステップで形状が決定された前記ＣＧモデルと、前記機器に対するコマンドを割り当てた予め保持されているＧＵＩパーツとを重畳した画像を作成して前記表示部に表示させる重畳画像作成ステップと、
前記ＧＵＩパーツと前記ＣＧモデルの指先との衝突を判定する衝突判定ステップと、
前記衝突判定ステップによって衝突が判定されると、当該衝突が判定されたＧＵＩパーツに割当てられたコマンドを前記機器に送信するコマンド送信ステップとを備える、入力方法。
【請求項１】
操作面に置かれた手のＣＧモデルを表示部に表示して機器を操作する入力装置であって、
前記操作面と前記手との複数の接触領域を検知する接触領域検知部と、
前記手の指を伸ばした初期状態からの前記接触領域の移動量および前記接触領域の面積の変化を算出する移動量算出部と、
前記初期状態からの前記接触領域の移動量および前記接触領域の面積の変化に基づいて、前記ＣＧモデルの平行移動量、指曲げによる移動量を決定するモデル移動量決定部と、
前記指曲げによる移動量に基づいて、前記ＣＧモデルの各指関節の曲り角度を決定する指曲り角度決定部と、
前記ＣＧモデルの平行移動量および各指関節の曲り角度に従って、前記ＣＧモデルの位置および変形形状を決定するモデル形状決定部と、
前記機器に対するコマンドを割り当てたＧＵＩパーツを保持するＧＵＩパーツ保持部と、
前記モデル形状決定部で形状が決定された前記ＣＧモデルと前記ＧＵＩパーツ保持部に保持されたＧＵＩパーツとを重畳した画像を作成して前記表示部に表示させる重畳画像作成部と、
前記ＧＵＩパーツと前記ＣＧモデルの指先との衝突を判定する衝突判定部と、
前記衝突判定部によって衝突が判定されると、当該衝突が判定されたＧＵＩパーツに割当てられたコマンドを前記機器に送信するコマンド送信部とを備える、入力装置。
【請求項２】
前記移動量算出部は、前記接触領域中の前記指先に対応する位置を示す指先位置点を決定し、当該指先位置点を用いて、前記指を伸ばした初期状態からの前記接触領域の移動量を算出することを特徴とする、請求項１に記載の入力装置。
【請求項３】
前記モデル移動量決定部は、前記初期状態からの前記接触領域の面積の変化率の絶対値が所定の閾値より小さい場合に、前記初期状態からの前記接触領域の移動量を前記ＣＧモデルの平行移動量として決定し、前記初期状態からの前記接触領域の面積の変化率の絶対値が所定の閾値より大きい場合に、前記初期状態からの前記接触領域の移動量を前記ＣＧモデルの指曲げによる移動量として決定することを特徴とする、請求項１に記載の入力装置。
【請求項４】
前記指曲り角度決定部は、前記ＣＧモデルの同一の指の各指関節の曲り角度は一定という拘束条件を用いて、前記ＣＧモデルの各指関節の曲り角度を決定することを特徴とする、請求項１に記載の入力装置。
【請求項５】
前記接触領域検知部の操作面上の領域をＸ座標及びＹ座標で表すと、
前記接触領域検知部は、前記接触領域のＸ座標とＹ座標とをそれぞれ独立に検知し、その交点を接触領域として検出するセンサを備え、
前記モデル移動量決定部は、前記接触領域を示すＹ座標の領域の幅の前記初期状態からの変化率の絶対値が所定の閾値より小さい場合に、前記初期状態からの前記接触領域の移動量を前記ＣＧモデルの平行移動量として決定し、前記接触領域を示すＹ座標の領域の幅の前記初期状態からの変化率の絶対値が所定の閾値より大きい場合に、前記初期状態からの前記接触領域の移動量を前記ＣＧモデルの指曲げによる移動量として決定することを特徴とする、請求項１に記載の入力装置。
【請求項６】
操作面に置かれた手のＣＧモデルを表示部に表示して機器を操作する入力方法であって、
前記操作面と前記手との複数の接触領域を検知する接触領域検知ステップと、
前記手の指を伸ばした初期状態からの前記接触領域の移動量および前記接触領域の面積の変化を算出する移動量算出ステップと、
前記初期状態からの前記接触領域の移動量および前記接触領域の面積の変化に基づいて、前記ＣＧモデルの平行移動量、指曲げによる移動量を決定するモデル移動量決定ステップと、
前記指曲げによる移動量に基づいて、前記ＣＧモデルの各指関節の曲り角度を決定する指曲り角度決定ステップと、
前記ＣＧモデルの平行移動量および各指関節の曲り角度に従って、前記ＣＧモデルの位置および変形形状を決定するモデル形状決定ステップと、
前記モデル形状決定ステップで形状が決定された前記ＣＧモデルと、前記機器に対するコマンドを割り当てた予め保持されているＧＵＩパーツとを重畳した画像を作成して前記表示部に表示させる重畳画像作成ステップと、
前記ＧＵＩパーツと前記ＣＧモデルの指先との衝突を判定する衝突判定ステップと、
前記衝突判定ステップによって衝突が判定されると、当該衝突が判定されたＧＵＩパーツに割当てられたコマンドを前記機器に送信するコマンド送信ステップとを備える、入力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１０−９７５２９（Ｐ２０１０−９７５２９Ａ）
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願番号】特願２００８−２６９４４４（Ｐ２００８−２６９４４４）
【出願日】平成２０年１０月２０日（２００８．１０．２０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願日】平成２０年１０月２０日（２００８．１０．２０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]