情報入力方法及び情報入力装置
【課題】対象物の３次元空間における位置情報並びに物性情報を検出して、少なくとも１つのポイントの位置情報または変位情報を検出して、電子機器などの機器に対して、たとえ複数の高精度なデータであっても、その情報入力を行うことができる技術である。
【解決手段】電磁波を発信する電磁波発信手段１０からの電磁波に対して、一つ以上の対象物によって反射波が生成され、反射波が電磁波受信手段２０で受信される。信号処理手段３０で、受信した電磁波の信号に基づき、反射波を生成した対象物の３次元空間における位置情報を算出すると共に対象物をそれと同定する物性情報を検出し、こうして検出した複数の情報に基づき入力信号を一つ以上生成して、入力信号を機器に対して提供する。
【解決手段】電磁波を発信する電磁波発信手段１０からの電磁波に対して、一つ以上の対象物によって反射波が生成され、反射波が電磁波受信手段２０で受信される。信号処理手段３０で、受信した電磁波の信号に基づき、反射波を生成した対象物の３次元空間における位置情報を算出すると共に対象物をそれと同定する物性情報を検出し、こうして検出した複数の情報に基づき入力信号を一つ以上生成して、入力信号を機器に対して提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マウス、キーボードまたはリモコンのように、コンピュータを含む機器などに対して所望の情報入力を行うユーザーインターフェース、特に身体の動作（ジェスチャ）を入力情報として機器の操作を行うジェスチャ入力インターフェースなどの情報入力方法、及び情報入力装置等に関する。
【背景技術】
【０００２】
従来、身体の動作を検出して情報入力を行う技術として、グラフィック入力方法、グラフィックオブジェクト操作方法などが提案されている（特許文献１参照）。本提案のグラフィックス用入力装置は、半透明なスクリーンを備え、その後部にビデオカメラを配置していて、このカメラは、スクリーンに接触する指等のオブジェクトの複数の影（“接触点”）を検出するように設定されている。この手法では、画像処理を簡単にすると同時に、ユーザーは拘束されることなく、自由な入力動作環境が提供される。すなわち、カメラはスクリーン上の影を検出するのみで良いため、その画像処理は２次元でよい。さらに、その画像はコントラストが大きいため、その画像処理は暗部分と明部分を分離するのみであり、グラフィックス入力環境はユーザーにとって自然で拘束性を持たないものとなっている。この方法は複数のジェスチャによる入力コマンドの発生をも可能とする。こうして、この特質を生かして、ユーザーを拘束せずに、ユーザーの複数の指の位置やジェスチャを利用して、便利で、実用的で、しかも直感的な入力装置を実現できる。また、装置本体とスクリーンの間に力を感知するセンサを装着させ、スクリーンに加えられる力を感知することで、グラフィックス表示オブジェクトの操作において“Z”方向の入力コマンドの発生を選択的に付加することも可能である。
【０００３】
また、ポインティング装置、ポインタの移動方法なども提案されている（特許文献２参照）。本提案においては、電波測位を用いてポインティング装置自身の空間的な位置を把握し、その位置情報或いは位置情報を変換した移動情報を、ポインタを動かすための情報として提供する。すなわち、本提案のポインティグ装置は、現在地を示す位置情報を取得するための電波信号を受信可能な位置情報取得手段と、コンピュータのユーザーインタフェース上のポインタを動かすための情報として上記位置情報などを供給可能なポインティング情報供給手段とを有する。
【特許文献１】特開平７−１８２１０１号公報
【特許文献２】特開平１０−１７１５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記グラフィック入力方法、グラフィックオブジェクト操作方法などのように、カメラなどの撮像手段で身体の部位の位置情報またはその変位情報を検出する技術では、対象物の３次元空間における絶対位置の情報、または３次元的形状データの取得が困難である。また、画像内の対象物は画像処理に応じた何らかのパターンを有している必要があり、対象物体に制限があった。
【０００５】
また、前記ポインティング装置、ポインタの移動方法などのような電波測位の技術では、３次元空間における一つのポイントの位置情報または変位情報は検出できるが、対象となる複数のポイントの集合データ、すなわち形状的データを取得するためには構成が複雑になりがちであった。
【課題を解決するための手段】
【０００６】
上記課題に鑑み、本発明の情報入力方法は、電磁波を発信する電磁波発信工程と、一つ以上の対象物（例えば、対象となる身体などの複数の部位）によって前記電磁波に対する反射波が生成される反射波生成工程と、前記反射波を受信する電磁波受信工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報を算出する第１情報検出工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物をそれと同定する物性情報を検出する第２情報検出工程と、前記第１情報検出工程及び第２情報検出工程によって検出した複数の情報に基づき入力信号を一つ以上生成して電子機器などの機器に対して提供する入力信号生成工程を有することを特徴とする。
【０００７】
また、上記課題に鑑み、本発明の情報入力装置は、電磁波を発信する電磁波発信手段と、一つ以上の対象物で生成される反射波を受信する電磁波受信手段と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報及び前記対象物をそれと同定する物性情報を検出し、それらの情報に基づき入力信号を生成して電子機器などの機器に提供する信号処理手段を有することを特徴とする。これにより、身体上の対象部位の形状的ジェスチャ（例えば、グー、チョキ、パーのような、身体の部位が静止した状態で何らかの意図を示すジェスチャ）、方向的ジェスチャ（例えば、手を振ったり首を回したりするような身体の部位の動きによって何らかの意図を示すジェスチャ）などを検出して、それに基づいて入力信号を生成する比較的簡単で精度の良い装置が提供される。
【０００８】
また、上記課題に鑑み、本発明の電子画像操作装置は、少なくとも表示手段を含む電子機器などの機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する上記の情報入力装置を有し、前記入力信号に基づいて前記表示手段に表示されている電子画像の操作を行うことを特徴とする。ここにおいて、前記機器は、機器の使用者の視覚に対して出力を行う表示手段の他に、聴覚に対して出力を行う音声発生手段などを含んでも良い。
【０００９】
また、上記課題に鑑み、本発明の電子楽音操作装置は、少なくとも音声発生手段を含む電子機器などの機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する上記の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により楽音の演奏の操作を行うことを特徴とする。ここにおいても、前記機器は、聴覚に対して出力を行う音声発生手段の他に、機器の使用者の視覚に対して出力を行う表示手段、触覚に対して出力を行う圧覚発生手段などを含んでも良い。
【００１０】
また、上記課題に鑑み、本発明の動作音声変換装置、少なくとも音声発生手段を含む電子機器などの機器と、対象物である動物の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する上記の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により動物のしぐさを人間が用いる言語の音声に変換することを特徴とする。
【発明の効果】
【００１１】
本発明の情報入力方法等によれば、対象物の３次元空間における位置情報並びに物性情報を検出することによって、少なくとも１つ（典型的には複数であるが、１つでもよい）のポイントの位置情報または変位情報を検出して、電子機器などの機器に対して、たとえ複数の高精度なデータであっても、その情報入力を行うことができる技術を提供できる。
【発明を実施するための最良の形態】
【００１２】
本発明に関わる幾つかの実施の形態及び実施例を図面を参照しながら説明する。尚、各図面において実質的に同一の素子には同じ番号を付している。
【００１３】
（第１実施形態）
本発明に関わる第１の実施の形態として、人体の部位の３次元空間における位置情報及び変位情報を検出することで入力信号を生成して、表示装置に表示されている電子画像の制御を行う態様を説明する。始めに第１の実施形態における情報入力装置の構成について図１に基づいて説明する。
【００１４】
図１の情報入力装置は、人間の指や手、表情など何らかの意図を表現するのに用いられる身体の部位に対して電磁波を照射する電磁波発信手段１０と、対象の部位によって生成された反射波を受信する電磁波受信手段２０（この電磁波受信手段が対象部位までの距離のみを測定するものであれば、好適には、本装置を使用する空間における３次元的な絶対位置を算出する場合には、少なくとも３つ以上設置する）と、電磁波受信手段２０で検出した信号に基づき機器に対する入力信号を提供する信号処理手段３０と、機器のユーザーに対して視覚的な出力を行う表示手段４０とで構成される。
【００１５】
前記信号処理手段３０の構成についてより詳細に説明する。信号処理手段３０は、電磁波受信手段２０で受信した電磁波信号をデジタル信号に変換処理する信号変換手段３１と、デジタル信号に基づき対象物の位置情報及び物性情報を夫々算出する位置情報算出手段３２及び物性情報算出手段３３と、位置情報及び物性情報を夫々記憶する位置情報記憶手段３４及び物性情報記憶手段３５と、対象物の位置情報及び物性情報に関する時系列パターンデータが事前に格納された時系列パターン記憶手段３６と、逐次算出され位置情報記憶手段３４及び物性情報記憶手段３５に格納される対象物の位置情報及び物性情報の時系列データと時系列パターン記憶手段３６に格納されている位置情報及び物性情報の時系列パターンとを照合して、該当する時系列パターンが確認された場合に表示手段４０に対する所定の入力信号を生成する入力信号生成手段３７とで構成されている。
【００１６】
次に、上記構成で実行される第１の実施形態における情報入力方法の各工程について図２に基づいて説明する。この情報入力方法は、人体の対象部位に対して電磁波を照射する工程（Ｓ１）と、対象部位によって反射波が生成される工程（Ｓ２）と、この反射波を受信する工程（Ｓ３）と、反射波信号に基づいて対象部位の３次元空間における位置情報を算出する工程（Ｓ４ａ）と、位置情報をメモリに記憶する工程（Ｓ５ａ）と、反射波信号に基づいて対象物の物性情報を検出する工程（Ｓ４ｂ）と、この物性情報をメモリに記憶する工程（Ｓ５ｂ）と、逐次検出される前記位置情報及び物性情報を、事前に備えている位置情報及び物性情報の時系列パターンのデータベースと照合してユーザーからの制御指令を判定する工程（Ｓ６）と、もし検出した位置情報及び物性情報の時系列データがデータベースにおける時系列パターンと合致した場合には、ユーザーが機器を制御するために意図的に動作を行ったとして、所定の入力信号を生成して機器に提供する工程（Ｓ７）、検出した位置情報及び物性情報の時系列データがデータベースにおける時系列パターンと合致しない場合には、ユーザーからの制御指令は発生していないとして継続して同様の工程を繰り返す工程（Ｓ８）からなる。こうして、ユーザーの意図的な動作に基づいて機器への入力信号が生成され、それに関連した表示が表示手段４０で行われる。
【００１７】
（第２実施形態）
本発明に関わる第２の実施の形態について説明する。本実施形態は第１の実施形態とほぼ同じで、第１の実施形態の構成に加えて、聴覚に対して出力を行う音声発生手段と、触覚に対して出力を行う圧覚発生手段を備えている点が異なるのみである。
【００１８】
（第３実施形態）
本発明に関わる第３の実施の形態について説明する。本実施形態も第１実施形態とほぼ同じで、第１の実施形態の構成における表示手段４０に代えて、音声発生手段を導入する点で異なるのみである。身体の動作の検出の方法や機器に対する入力信号の生成などは前述の第１実施形態と同様である。
【実施例】
【００１９】
以下、より具体的な実施例を説明する。
（第１実施例）
第１の実施例として、モニタ９などの表示装置に表示されているテキストなどの電子画像７の制御を行うジェスチャ入力について図３に基づいて説明する。本実施例の装置の構成は、上記第１の実施形態の構成と基本的に同じである。
【００２０】
図３に示すように、本実施例では、モニタ９上に複数ページで構成されたテキストの電子画像７をモニタ９前のユーザー（ここでは、手３として示す）が操作を行う。始めに複数ページのテキストの電子画像７をめくる操作について説明する。図４に示すように、ユーザーはジェスチャを行う各指にサック５ａ〜５ｅ（以下簡単のためサック５とも記す）を装着する。サック５の特徴的な部位（各指先、はら、関節など）の任意の個所には、電磁波発信器から照射される電磁波に対して夫々反射特性の異なる物質６ａ〜６ｅ（以下簡単のため反射材６とも記す）が付着されている。本実施例では、反射材６として誘電体材料で作成された多層膜を用いていて、電磁波発信器から照射される電磁波に対する反射特性を変化させるため、例えば多層膜の層数を変えたり、誘電体材料の組成を変えたりして、夫々異なる部位に付着してある。これにより、各部位と反射電磁波が一対一に対応して、受信側で各部位が同定できることになる。また、対象が１つである場合にも、それと認識できることになる。
【００２１】
ここで、例えば複数ページで構成されたテキスト画像７を３ページ分めくる操作について説明する。まず、ユーザーは、テキスト画像７の端部が表示されている領域の方に手３を移動させる。図３に示す様に、例えばテキスト画像７の左下の方に右手３を移動させ、親指４ａのみを、めくるような払う動作で動かす。この時、各指の反射材６によって生成された反射波を電磁波受信手段の一つで検出した受信信号の概形の一例を図５に示す。電磁波受信器で受信される信号は、各反射材６が反射波を生成した３次元空間中の位置に応じて、検出される時刻が異なるため、それに基づいて反射材６の３次元空間における位置が算出される。図５では、受信信号は同じように描かれているが、実際は各指の反射材６によって異なるので、反射材６を識別することによって各指の３次元空間における位置が算出される。この算出方法としては、例えば、電磁波発信器から外に発信されたパルスとは別に、遅延器で電磁波発信器からのパルスのタイミングを遅延させ、遅延器によって遅延させられた電磁波パルスと受信パルス（これは、電磁波発生器からのパルス発生から各部位に応じた時間だけ遅延して受信される）をミキサでミキシングして受信パルスの遅延時間を検出し、演算器でこの遅延時間から人物の各部位までの３次元位置情報（例えば、３次元位置情報の距離と方向のうち、距離とは、反射してくる電磁波を検出する検出部に対する対象物との距離であり、また方向とは反射してくる電磁波を検出する検出部の傾きから算出された方向である）を算出する。
【００２２】
そこで、親指４ａのみが紙を払う動作を行った場合の図５の例では、親指４ａから小指４ｅの５本の指の反射材６による反射波信号の時系列パターンを示しており、親指４ａ以外の４本の指は変位が十分小さいため、反射波信号が検出されるタイミングは図のように変化が小さく一定時間間隔を保つが、親指４ａは人差し指４ｂ側から小指４ｅ側に変位するため時間を経るにつれて反射波信号が検出されるタイミングが小指４ｅによる反射波信号側にシフトする。このように動作に応じて指の相対位置関係の時間変化により生成される固有の信号パターンの検出によって、対象物の変位（すなわち動作）の情報を検出する。
【００２３】
また、上述した様に、各指毎に生成された反射波の信号は、反射材６である誘電体多層膜の構造（層数）、材料によって異なる。例えば、電磁波発信器が電磁波パルスを照射した場合には、図１０に示すように反射エコーパルスの数が誘電体１０１の積層数の増加に従って増加するため、反射エコーパルスの数を時間サンプリングによって計数すれば、反射波を生成した物質の構造的特徴（誘電体多層膜の積層数）、すなわち各対象物の物性情報を検出できる。
【００２４】
従って、各指の部位毎に装着されている各反射材６の位置情報及び物性情報を検出できるため、どの指がどれくらい変位したのかを算出できて、例えば３次元空間における複数の指の位置及び変位を区別して独立に検出できる。
【００２５】
以上のようにして、ページをめくるための親指を払う動作が検出される。一回の親指を払う動作によって生成される各指からの反射波信号パターンは信号パターンデータベースに事前に格納されているので、該信号パターンの応じた入力信号が生成されてモニタ９へ提供される。ここでの例では、この入力信号に応じて、モニタ９上のテキスト画像７の左下角部６１が、図６に示す様に、めくられた状態の表示が行なわれる。同様にして、親指４ａを払う動作を行う毎に、テキスト画像７の左下角部６１がめくられた画像の表示を行う入力信号が生成されて、モニタ９に提供される。
【００２６】
今回のように３ページをめくる場合には３回この操作を行い、テキスト画像７の左下角部６１が３枚めくられた状態の表示にする。
【００２７】
次に親指のみの動作ではなく、親指４ａ及び人差し指４ｂで紙をつまむ動作を行い、その状態でめくりたい方向へ所望の距離だけ手３を移動させることによって、テキスト画像７の表示を変える入力について説明する。この入力動作では、始めに親指４ａと人差し指４ｂの指先を接触させて紙をつまむような姿勢（すなわち形状的ジェスチャ）によって生成される各反射材からの反射波信号が検出される。続いて、手３を移動させる動作（すなわち方向的ジェスチャ）によって生成される各反射材からの反射波信号が検出される。信号パターンデータベースには上記のジェスチャに相当する信号パターンが格納されているため、反射波信号パターンと格納された信号パターンが対応することが確認される。格納されている当該信号パターンにはテキスト画像７が手３の移動に応じてめくられる状態になるような表示を行うための入力信号が対応つけられているため、信号パターンの対応が確認されるごとにモニタ９に入力信号が提供される。めくられた状態から元の状態に戻す場合には、上述の動作を逆にして、親指４ａ及び人差し指４ｂで紙をつまむジェスチャのままめくる時と逆の方向に手３を移動させれば良い。
【００２８】
上記動作例ではテキスト画像７の左下角部６１からめくる操作について説明したが、テキスト画像７の端部であれば、いずれの部分から動作を行っても良い。また、上記動作例では親指４ａで紙をめくるような払う動作とテキスト画像７の左下角部６１の表示の切り換え表示が対応していたが、これに限ったものではなく、ユーザーの利便性に応じて、入力信号生成のための動作を割り当てても良い。
【００２９】
（第２実施例）
上記第２の実施形態を採用した第２実施例として、電子ピアノの演奏について図７、図８を用いて説明する。身体の姿勢・動作を検出し、入力信号を生成する点は第１実施例と全く同様であるので、ここでの説明は省略する。
【００３０】
本実施例において、ユーザーは図７に示すようなグローブ７１を手に装着する。グローブ７１の一部または全部に反射材６が付着されている。本実施例における反射材６には、プラスチックに周期的な空洞を形成したフォトニック結晶を用いる。グローブ７１の各指４ａから４ｅの一部または全部に付着している反射材６には、夫々異なる構造のフォトニック結晶を採用し、構造的特徴から各反射材６の反射特性を生成する。図１１に、異なる構造を有する二つのプラスチック材料を反射材６に採用した場合に検出される照射電磁波パルスに対する反射波信号の時間波形の一例を示す。図のように空洞を異なる周期で作製した場合、その空洞の周期のピッチ、空洞のサイズ、形状などによって反射波信号の振動周期、及びピーク電力が異なって検出される。従って、夫々の構造を制御することで反射特性も制御できるため、反射波信号の特徴（すなわち反射材６の物性情報）を検出することによって反射材６を独立に区別できる。こうして、反射材６を装着している指を特定して、どの指がどれくらい変位したのかという情報を検出できる。また、前記グローブ７１には、例えば圧電素子などを含む圧覚センサ付圧覚発生手段（不図示）が各指先近くの部分に備えられており、無線で入力信号がここに提供されて、指先に圧覚を与える。
【００３１】
図８に電子ピアノの概観を示す。モニタ９にピアノの鍵盤が表示されており、ユーザーは、モニタ９が見える位置で、グローブ７１を装着した状態で左右どちらかまたは両方の手３を前方に伸ばし、横長の長方形を描く動作を行う。この時の動作が上述した様に電磁波によって検出され、ユーザーが操作する意図を示したとしてモニタ９への入力信号が生成される。該入力信号によってモニタ９の画面上に手の画像が表示される。同時に、前記の動作で、横長の長方形を描いた位置にピアノの鍵盤が仮想的に存在するように空間座標が設定される。そして、それに応じてユーザーの手３の実空間における位置と、モニタ９における仮想空間における手の位置が対応する様にモニタ９への入力信号が提供される。
【００３２】
例えば、ユーザーがモニタ９に表示された鍵盤を見ながら中指４ｃで任意の鍵盤を押す動作を行った場合には、設定されている空間座標内での中指４ｃの変位情報及び中指４ｃに装着している反射材６固有の物性情報を電磁波によって検出して、反射波を生成した物体が中指４ｃであるという情報と、その変位によって生じた反射電磁波による信号の時系列パターンが計測される。第１実施例の入力信号の生成の場合と同様にして、中指４ｃを下方に移動したときに生成される信号の時系列パターンと同じ信号パターンを事前に信号パターンデータベースに格納しておき、その信号パターンが照合された時に、入力信号を生成するように割り当てておく。この場合には、モニタ９に対して、画面内の手が鍵盤を中指で押すような表示に切り換える信号と、画面内の鍵盤に対応した音声を発生するようにスピーカ１２に対して提供する信号と、中指４ｃが鍵盤を押したときに感じるような感覚を提供する圧覚センサ付圧覚発生手段に対する信号が生成されて、提供される。
【００３３】
上記の例と同様に、左右の各指４ａから４ｅの演奏の動作夫々に入力信号が割り当てられているので、実物のピアノを演奏するのと同じ感覚で電子ピアノの演奏を行うことができる。
【００３４】
本実施例で導入したスピーカ１２のような音声発生手段及び／または圧覚センサ付圧覚発生手段を第１実施例に示した電子画像のページめくり装置にも適用できることは言うまでもない。すなわち、ページをめくる動作に応じて「ピラッ」といったような音声を発生させたり、紙をめくる時に感じるような感覚を指に発生させたりすることで、一層自然な感覚で情報入力を行うことが期待される。
【００３５】
また、モニタ９内の任意の場所に演奏対象となる楽曲の楽譜の電子画像を表示させて、演奏の補助に用いると共に、前記楽譜のページめくりを第１実施例と同様な操作で実行することも可能である。
【００３６】
尚、本実施例では圧覚センサ付圧覚発生手段に対する信号入力を無線通信で行っているが、有線による信号伝送でも構わない。
【００３７】
（第３実施例）
上記第３の実施形態を採用した第３実施例として、動作・音声変換装置について説明する。より詳細には、犬や猫のような人間が飼育する動物のしぐさを電磁波によって検出して、この動物が表現したい意図、感情を推量して人間の言葉による音声で出力するための装置である。
【００３８】
図９に、本装置を犬２５に適用した場合の概観を示す。犬２５の身体の手足、首、耳、口などの各部位に反射材６が付着した粘着シール１３を貼り付ける。犬２５は首輪９２に結ばれたロープ９１によって繋がれ、人間はロープ９１の一端に装着されたハンドル９３を保持する。例えば、前記電磁波発信器、電磁波受信器、スピーカなどの少なくとも１つをハンドル９３に設けることも可能である。
【００３９】
本実施例の動作を説明する。例えば、犬２５が図９のように座る姿勢を取り、しっぽ９４を左右に振る動作を行った場合、電磁波によって座った姿勢における手足、首、耳などの粘着シール１３に付着している反射材６の空間内の位置が検出されると共に、しっぽ９４が左右に振れる動きも検出される。各部位の反射材６による反射波信号の時系列パターンから犬２５の姿勢・動作を検出して、それに基づき例えばスピーカに対する入力信号を生成する。例えば、図９の犬２５の姿勢、動作が疲労している場合の典型的な姿勢、動作であると見なして、「あ〜あ、疲れた。」のような音声を発生する入力信号を生成するように、事前に信号パターンデータベースに格納する信号パターンと、生成する入力信号を対応付けておく。この他にも、犬２５が示す多様な姿勢、動作に対応する音声信号を備えることで、動物と人間のコミュニケーションが一層深められることが期待できる。
【００４０】
以上の第１実施例から第３実施例で用いる電磁波発信器から発信される電磁波としては、指の細かい動きなどを検出するのに十分な位置分解能(1cm〜10μm)を得るために、ミリ波からテラヘルツ波（30GHz〜30THz）の領域の電磁波が好ましいが、それ以外の領域の電磁波を用いることも可能である。
【００４１】
上記の第１実施例から第３実施例において、位置情報の検出対象物の装着の態様としてサック５及びグローブ７１及び粘着シール１３などを用いたが、これらの形態にとらわれるものではなく、検出すべき対象物に応じて最適な形態を選択するのが好ましい。
【００４２】
また、上記の第１実施例から第３実施例において用いたモニタ９として、例えば液晶ディスプレイや、ＣＲＴディスプレイ、プラズマディスプレイ、SED（表面電界ディスプレイ）、有機ELディスプレイ、電子ペーパーなど、任意の表示手段を用いることが可能である。
【００４３】
さらに、上記の実施例では反射材６として誘電体多層膜やフォトニック結晶という照射電磁波に対して反射特性の異なる材料を採用したが、これらに限定されるものではなく、照射される電磁波に対する反射特性を検出できる材料であれば任意に選択して採用することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明に関わる情報入力装置の構成を示すブロック図である。
【図２】本発明に関わる情報入力方法のフローを示す流れ図である。
【図３】第１実施例における情報入力装置を操作している状況を説明する図である。
【図４】第１実施例においてユ−ザーが反射材の付着したサックを装着した概観図である。
【図５】ページめくりの動作によって各指で生成される反射波信号の時系列パターンの一例を示す図である。
【図６】第１実施例の情報入力装置におけるページめくり操作の説明図である。
【図７】第２実施例においてユーザーが反射材の付着したグローブを装着した概観図である。
【図８】第２実施例における電子ピアノの概観図である。
【図９】第３実施例における情報入力装置の概観図である。
【図１０】反射材としての誘電体多層膜を説明する図である。
【図１１】反射材としてのフォトニック結晶を説明する図である。
【符号の説明】
【００４５】
３・・・手（対象物）
５ａ〜５ｅ・・・サック（装着物）
６ａ〜６ｅ・・・反射材（装着物）
７・・・テキスト画像（電子画像）
９、４０・・・モニタ（表示手段）
１０・・・電磁波発信器（電磁波発信手段）
１２・・・スピーカ（音声発生手段）
１３・・・粘着シール（装着物）
２０・・・電磁波受信器（電磁波受信手段）
２５・・・犬（対象物）
３０・・・信号処理手段
７１・・・グローブ（装着物）
【技術分野】
【０００１】
本発明は、マウス、キーボードまたはリモコンのように、コンピュータを含む機器などに対して所望の情報入力を行うユーザーインターフェース、特に身体の動作（ジェスチャ）を入力情報として機器の操作を行うジェスチャ入力インターフェースなどの情報入力方法、及び情報入力装置等に関する。
【背景技術】
【０００２】
従来、身体の動作を検出して情報入力を行う技術として、グラフィック入力方法、グラフィックオブジェクト操作方法などが提案されている（特許文献１参照）。本提案のグラフィックス用入力装置は、半透明なスクリーンを備え、その後部にビデオカメラを配置していて、このカメラは、スクリーンに接触する指等のオブジェクトの複数の影（“接触点”）を検出するように設定されている。この手法では、画像処理を簡単にすると同時に、ユーザーは拘束されることなく、自由な入力動作環境が提供される。すなわち、カメラはスクリーン上の影を検出するのみで良いため、その画像処理は２次元でよい。さらに、その画像はコントラストが大きいため、その画像処理は暗部分と明部分を分離するのみであり、グラフィックス入力環境はユーザーにとって自然で拘束性を持たないものとなっている。この方法は複数のジェスチャによる入力コマンドの発生をも可能とする。こうして、この特質を生かして、ユーザーを拘束せずに、ユーザーの複数の指の位置やジェスチャを利用して、便利で、実用的で、しかも直感的な入力装置を実現できる。また、装置本体とスクリーンの間に力を感知するセンサを装着させ、スクリーンに加えられる力を感知することで、グラフィックス表示オブジェクトの操作において“Z”方向の入力コマンドの発生を選択的に付加することも可能である。
【０００３】
また、ポインティング装置、ポインタの移動方法なども提案されている（特許文献２参照）。本提案においては、電波測位を用いてポインティング装置自身の空間的な位置を把握し、その位置情報或いは位置情報を変換した移動情報を、ポインタを動かすための情報として提供する。すなわち、本提案のポインティグ装置は、現在地を示す位置情報を取得するための電波信号を受信可能な位置情報取得手段と、コンピュータのユーザーインタフェース上のポインタを動かすための情報として上記位置情報などを供給可能なポインティング情報供給手段とを有する。
【特許文献１】特開平７−１８２１０１号公報
【特許文献２】特開平１０−１７１５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記グラフィック入力方法、グラフィックオブジェクト操作方法などのように、カメラなどの撮像手段で身体の部位の位置情報またはその変位情報を検出する技術では、対象物の３次元空間における絶対位置の情報、または３次元的形状データの取得が困難である。また、画像内の対象物は画像処理に応じた何らかのパターンを有している必要があり、対象物体に制限があった。
【０００５】
また、前記ポインティング装置、ポインタの移動方法などのような電波測位の技術では、３次元空間における一つのポイントの位置情報または変位情報は検出できるが、対象となる複数のポイントの集合データ、すなわち形状的データを取得するためには構成が複雑になりがちであった。
【課題を解決するための手段】
【０００６】
上記課題に鑑み、本発明の情報入力方法は、電磁波を発信する電磁波発信工程と、一つ以上の対象物（例えば、対象となる身体などの複数の部位）によって前記電磁波に対する反射波が生成される反射波生成工程と、前記反射波を受信する電磁波受信工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報を算出する第１情報検出工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物をそれと同定する物性情報を検出する第２情報検出工程と、前記第１情報検出工程及び第２情報検出工程によって検出した複数の情報に基づき入力信号を一つ以上生成して電子機器などの機器に対して提供する入力信号生成工程を有することを特徴とする。
【０００７】
また、上記課題に鑑み、本発明の情報入力装置は、電磁波を発信する電磁波発信手段と、一つ以上の対象物で生成される反射波を受信する電磁波受信手段と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報及び前記対象物をそれと同定する物性情報を検出し、それらの情報に基づき入力信号を生成して電子機器などの機器に提供する信号処理手段を有することを特徴とする。これにより、身体上の対象部位の形状的ジェスチャ（例えば、グー、チョキ、パーのような、身体の部位が静止した状態で何らかの意図を示すジェスチャ）、方向的ジェスチャ（例えば、手を振ったり首を回したりするような身体の部位の動きによって何らかの意図を示すジェスチャ）などを検出して、それに基づいて入力信号を生成する比較的簡単で精度の良い装置が提供される。
【０００８】
また、上記課題に鑑み、本発明の電子画像操作装置は、少なくとも表示手段を含む電子機器などの機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する上記の情報入力装置を有し、前記入力信号に基づいて前記表示手段に表示されている電子画像の操作を行うことを特徴とする。ここにおいて、前記機器は、機器の使用者の視覚に対して出力を行う表示手段の他に、聴覚に対して出力を行う音声発生手段などを含んでも良い。
【０００９】
また、上記課題に鑑み、本発明の電子楽音操作装置は、少なくとも音声発生手段を含む電子機器などの機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する上記の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により楽音の演奏の操作を行うことを特徴とする。ここにおいても、前記機器は、聴覚に対して出力を行う音声発生手段の他に、機器の使用者の視覚に対して出力を行う表示手段、触覚に対して出力を行う圧覚発生手段などを含んでも良い。
【００１０】
また、上記課題に鑑み、本発明の動作音声変換装置、少なくとも音声発生手段を含む電子機器などの機器と、対象物である動物の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する上記の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により動物のしぐさを人間が用いる言語の音声に変換することを特徴とする。
【発明の効果】
【００１１】
本発明の情報入力方法等によれば、対象物の３次元空間における位置情報並びに物性情報を検出することによって、少なくとも１つ（典型的には複数であるが、１つでもよい）のポイントの位置情報または変位情報を検出して、電子機器などの機器に対して、たとえ複数の高精度なデータであっても、その情報入力を行うことができる技術を提供できる。
【発明を実施するための最良の形態】
【００１２】
本発明に関わる幾つかの実施の形態及び実施例を図面を参照しながら説明する。尚、各図面において実質的に同一の素子には同じ番号を付している。
【００１３】
（第１実施形態）
本発明に関わる第１の実施の形態として、人体の部位の３次元空間における位置情報及び変位情報を検出することで入力信号を生成して、表示装置に表示されている電子画像の制御を行う態様を説明する。始めに第１の実施形態における情報入力装置の構成について図１に基づいて説明する。
【００１４】
図１の情報入力装置は、人間の指や手、表情など何らかの意図を表現するのに用いられる身体の部位に対して電磁波を照射する電磁波発信手段１０と、対象の部位によって生成された反射波を受信する電磁波受信手段２０（この電磁波受信手段が対象部位までの距離のみを測定するものであれば、好適には、本装置を使用する空間における３次元的な絶対位置を算出する場合には、少なくとも３つ以上設置する）と、電磁波受信手段２０で検出した信号に基づき機器に対する入力信号を提供する信号処理手段３０と、機器のユーザーに対して視覚的な出力を行う表示手段４０とで構成される。
【００１５】
前記信号処理手段３０の構成についてより詳細に説明する。信号処理手段３０は、電磁波受信手段２０で受信した電磁波信号をデジタル信号に変換処理する信号変換手段３１と、デジタル信号に基づき対象物の位置情報及び物性情報を夫々算出する位置情報算出手段３２及び物性情報算出手段３３と、位置情報及び物性情報を夫々記憶する位置情報記憶手段３４及び物性情報記憶手段３５と、対象物の位置情報及び物性情報に関する時系列パターンデータが事前に格納された時系列パターン記憶手段３６と、逐次算出され位置情報記憶手段３４及び物性情報記憶手段３５に格納される対象物の位置情報及び物性情報の時系列データと時系列パターン記憶手段３６に格納されている位置情報及び物性情報の時系列パターンとを照合して、該当する時系列パターンが確認された場合に表示手段４０に対する所定の入力信号を生成する入力信号生成手段３７とで構成されている。
【００１６】
次に、上記構成で実行される第１の実施形態における情報入力方法の各工程について図２に基づいて説明する。この情報入力方法は、人体の対象部位に対して電磁波を照射する工程（Ｓ１）と、対象部位によって反射波が生成される工程（Ｓ２）と、この反射波を受信する工程（Ｓ３）と、反射波信号に基づいて対象部位の３次元空間における位置情報を算出する工程（Ｓ４ａ）と、位置情報をメモリに記憶する工程（Ｓ５ａ）と、反射波信号に基づいて対象物の物性情報を検出する工程（Ｓ４ｂ）と、この物性情報をメモリに記憶する工程（Ｓ５ｂ）と、逐次検出される前記位置情報及び物性情報を、事前に備えている位置情報及び物性情報の時系列パターンのデータベースと照合してユーザーからの制御指令を判定する工程（Ｓ６）と、もし検出した位置情報及び物性情報の時系列データがデータベースにおける時系列パターンと合致した場合には、ユーザーが機器を制御するために意図的に動作を行ったとして、所定の入力信号を生成して機器に提供する工程（Ｓ７）、検出した位置情報及び物性情報の時系列データがデータベースにおける時系列パターンと合致しない場合には、ユーザーからの制御指令は発生していないとして継続して同様の工程を繰り返す工程（Ｓ８）からなる。こうして、ユーザーの意図的な動作に基づいて機器への入力信号が生成され、それに関連した表示が表示手段４０で行われる。
【００１７】
（第２実施形態）
本発明に関わる第２の実施の形態について説明する。本実施形態は第１の実施形態とほぼ同じで、第１の実施形態の構成に加えて、聴覚に対して出力を行う音声発生手段と、触覚に対して出力を行う圧覚発生手段を備えている点が異なるのみである。
【００１８】
（第３実施形態）
本発明に関わる第３の実施の形態について説明する。本実施形態も第１実施形態とほぼ同じで、第１の実施形態の構成における表示手段４０に代えて、音声発生手段を導入する点で異なるのみである。身体の動作の検出の方法や機器に対する入力信号の生成などは前述の第１実施形態と同様である。
【実施例】
【００１９】
以下、より具体的な実施例を説明する。
（第１実施例）
第１の実施例として、モニタ９などの表示装置に表示されているテキストなどの電子画像７の制御を行うジェスチャ入力について図３に基づいて説明する。本実施例の装置の構成は、上記第１の実施形態の構成と基本的に同じである。
【００２０】
図３に示すように、本実施例では、モニタ９上に複数ページで構成されたテキストの電子画像７をモニタ９前のユーザー（ここでは、手３として示す）が操作を行う。始めに複数ページのテキストの電子画像７をめくる操作について説明する。図４に示すように、ユーザーはジェスチャを行う各指にサック５ａ〜５ｅ（以下簡単のためサック５とも記す）を装着する。サック５の特徴的な部位（各指先、はら、関節など）の任意の個所には、電磁波発信器から照射される電磁波に対して夫々反射特性の異なる物質６ａ〜６ｅ（以下簡単のため反射材６とも記す）が付着されている。本実施例では、反射材６として誘電体材料で作成された多層膜を用いていて、電磁波発信器から照射される電磁波に対する反射特性を変化させるため、例えば多層膜の層数を変えたり、誘電体材料の組成を変えたりして、夫々異なる部位に付着してある。これにより、各部位と反射電磁波が一対一に対応して、受信側で各部位が同定できることになる。また、対象が１つである場合にも、それと認識できることになる。
【００２１】
ここで、例えば複数ページで構成されたテキスト画像７を３ページ分めくる操作について説明する。まず、ユーザーは、テキスト画像７の端部が表示されている領域の方に手３を移動させる。図３に示す様に、例えばテキスト画像７の左下の方に右手３を移動させ、親指４ａのみを、めくるような払う動作で動かす。この時、各指の反射材６によって生成された反射波を電磁波受信手段の一つで検出した受信信号の概形の一例を図５に示す。電磁波受信器で受信される信号は、各反射材６が反射波を生成した３次元空間中の位置に応じて、検出される時刻が異なるため、それに基づいて反射材６の３次元空間における位置が算出される。図５では、受信信号は同じように描かれているが、実際は各指の反射材６によって異なるので、反射材６を識別することによって各指の３次元空間における位置が算出される。この算出方法としては、例えば、電磁波発信器から外に発信されたパルスとは別に、遅延器で電磁波発信器からのパルスのタイミングを遅延させ、遅延器によって遅延させられた電磁波パルスと受信パルス（これは、電磁波発生器からのパルス発生から各部位に応じた時間だけ遅延して受信される）をミキサでミキシングして受信パルスの遅延時間を検出し、演算器でこの遅延時間から人物の各部位までの３次元位置情報（例えば、３次元位置情報の距離と方向のうち、距離とは、反射してくる電磁波を検出する検出部に対する対象物との距離であり、また方向とは反射してくる電磁波を検出する検出部の傾きから算出された方向である）を算出する。
【００２２】
そこで、親指４ａのみが紙を払う動作を行った場合の図５の例では、親指４ａから小指４ｅの５本の指の反射材６による反射波信号の時系列パターンを示しており、親指４ａ以外の４本の指は変位が十分小さいため、反射波信号が検出されるタイミングは図のように変化が小さく一定時間間隔を保つが、親指４ａは人差し指４ｂ側から小指４ｅ側に変位するため時間を経るにつれて反射波信号が検出されるタイミングが小指４ｅによる反射波信号側にシフトする。このように動作に応じて指の相対位置関係の時間変化により生成される固有の信号パターンの検出によって、対象物の変位（すなわち動作）の情報を検出する。
【００２３】
また、上述した様に、各指毎に生成された反射波の信号は、反射材６である誘電体多層膜の構造（層数）、材料によって異なる。例えば、電磁波発信器が電磁波パルスを照射した場合には、図１０に示すように反射エコーパルスの数が誘電体１０１の積層数の増加に従って増加するため、反射エコーパルスの数を時間サンプリングによって計数すれば、反射波を生成した物質の構造的特徴（誘電体多層膜の積層数）、すなわち各対象物の物性情報を検出できる。
【００２４】
従って、各指の部位毎に装着されている各反射材６の位置情報及び物性情報を検出できるため、どの指がどれくらい変位したのかを算出できて、例えば３次元空間における複数の指の位置及び変位を区別して独立に検出できる。
【００２５】
以上のようにして、ページをめくるための親指を払う動作が検出される。一回の親指を払う動作によって生成される各指からの反射波信号パターンは信号パターンデータベースに事前に格納されているので、該信号パターンの応じた入力信号が生成されてモニタ９へ提供される。ここでの例では、この入力信号に応じて、モニタ９上のテキスト画像７の左下角部６１が、図６に示す様に、めくられた状態の表示が行なわれる。同様にして、親指４ａを払う動作を行う毎に、テキスト画像７の左下角部６１がめくられた画像の表示を行う入力信号が生成されて、モニタ９に提供される。
【００２６】
今回のように３ページをめくる場合には３回この操作を行い、テキスト画像７の左下角部６１が３枚めくられた状態の表示にする。
【００２７】
次に親指のみの動作ではなく、親指４ａ及び人差し指４ｂで紙をつまむ動作を行い、その状態でめくりたい方向へ所望の距離だけ手３を移動させることによって、テキスト画像７の表示を変える入力について説明する。この入力動作では、始めに親指４ａと人差し指４ｂの指先を接触させて紙をつまむような姿勢（すなわち形状的ジェスチャ）によって生成される各反射材からの反射波信号が検出される。続いて、手３を移動させる動作（すなわち方向的ジェスチャ）によって生成される各反射材からの反射波信号が検出される。信号パターンデータベースには上記のジェスチャに相当する信号パターンが格納されているため、反射波信号パターンと格納された信号パターンが対応することが確認される。格納されている当該信号パターンにはテキスト画像７が手３の移動に応じてめくられる状態になるような表示を行うための入力信号が対応つけられているため、信号パターンの対応が確認されるごとにモニタ９に入力信号が提供される。めくられた状態から元の状態に戻す場合には、上述の動作を逆にして、親指４ａ及び人差し指４ｂで紙をつまむジェスチャのままめくる時と逆の方向に手３を移動させれば良い。
【００２８】
上記動作例ではテキスト画像７の左下角部６１からめくる操作について説明したが、テキスト画像７の端部であれば、いずれの部分から動作を行っても良い。また、上記動作例では親指４ａで紙をめくるような払う動作とテキスト画像７の左下角部６１の表示の切り換え表示が対応していたが、これに限ったものではなく、ユーザーの利便性に応じて、入力信号生成のための動作を割り当てても良い。
【００２９】
（第２実施例）
上記第２の実施形態を採用した第２実施例として、電子ピアノの演奏について図７、図８を用いて説明する。身体の姿勢・動作を検出し、入力信号を生成する点は第１実施例と全く同様であるので、ここでの説明は省略する。
【００３０】
本実施例において、ユーザーは図７に示すようなグローブ７１を手に装着する。グローブ７１の一部または全部に反射材６が付着されている。本実施例における反射材６には、プラスチックに周期的な空洞を形成したフォトニック結晶を用いる。グローブ７１の各指４ａから４ｅの一部または全部に付着している反射材６には、夫々異なる構造のフォトニック結晶を採用し、構造的特徴から各反射材６の反射特性を生成する。図１１に、異なる構造を有する二つのプラスチック材料を反射材６に採用した場合に検出される照射電磁波パルスに対する反射波信号の時間波形の一例を示す。図のように空洞を異なる周期で作製した場合、その空洞の周期のピッチ、空洞のサイズ、形状などによって反射波信号の振動周期、及びピーク電力が異なって検出される。従って、夫々の構造を制御することで反射特性も制御できるため、反射波信号の特徴（すなわち反射材６の物性情報）を検出することによって反射材６を独立に区別できる。こうして、反射材６を装着している指を特定して、どの指がどれくらい変位したのかという情報を検出できる。また、前記グローブ７１には、例えば圧電素子などを含む圧覚センサ付圧覚発生手段（不図示）が各指先近くの部分に備えられており、無線で入力信号がここに提供されて、指先に圧覚を与える。
【００３１】
図８に電子ピアノの概観を示す。モニタ９にピアノの鍵盤が表示されており、ユーザーは、モニタ９が見える位置で、グローブ７１を装着した状態で左右どちらかまたは両方の手３を前方に伸ばし、横長の長方形を描く動作を行う。この時の動作が上述した様に電磁波によって検出され、ユーザーが操作する意図を示したとしてモニタ９への入力信号が生成される。該入力信号によってモニタ９の画面上に手の画像が表示される。同時に、前記の動作で、横長の長方形を描いた位置にピアノの鍵盤が仮想的に存在するように空間座標が設定される。そして、それに応じてユーザーの手３の実空間における位置と、モニタ９における仮想空間における手の位置が対応する様にモニタ９への入力信号が提供される。
【００３２】
例えば、ユーザーがモニタ９に表示された鍵盤を見ながら中指４ｃで任意の鍵盤を押す動作を行った場合には、設定されている空間座標内での中指４ｃの変位情報及び中指４ｃに装着している反射材６固有の物性情報を電磁波によって検出して、反射波を生成した物体が中指４ｃであるという情報と、その変位によって生じた反射電磁波による信号の時系列パターンが計測される。第１実施例の入力信号の生成の場合と同様にして、中指４ｃを下方に移動したときに生成される信号の時系列パターンと同じ信号パターンを事前に信号パターンデータベースに格納しておき、その信号パターンが照合された時に、入力信号を生成するように割り当てておく。この場合には、モニタ９に対して、画面内の手が鍵盤を中指で押すような表示に切り換える信号と、画面内の鍵盤に対応した音声を発生するようにスピーカ１２に対して提供する信号と、中指４ｃが鍵盤を押したときに感じるような感覚を提供する圧覚センサ付圧覚発生手段に対する信号が生成されて、提供される。
【００３３】
上記の例と同様に、左右の各指４ａから４ｅの演奏の動作夫々に入力信号が割り当てられているので、実物のピアノを演奏するのと同じ感覚で電子ピアノの演奏を行うことができる。
【００３４】
本実施例で導入したスピーカ１２のような音声発生手段及び／または圧覚センサ付圧覚発生手段を第１実施例に示した電子画像のページめくり装置にも適用できることは言うまでもない。すなわち、ページをめくる動作に応じて「ピラッ」といったような音声を発生させたり、紙をめくる時に感じるような感覚を指に発生させたりすることで、一層自然な感覚で情報入力を行うことが期待される。
【００３５】
また、モニタ９内の任意の場所に演奏対象となる楽曲の楽譜の電子画像を表示させて、演奏の補助に用いると共に、前記楽譜のページめくりを第１実施例と同様な操作で実行することも可能である。
【００３６】
尚、本実施例では圧覚センサ付圧覚発生手段に対する信号入力を無線通信で行っているが、有線による信号伝送でも構わない。
【００３７】
（第３実施例）
上記第３の実施形態を採用した第３実施例として、動作・音声変換装置について説明する。より詳細には、犬や猫のような人間が飼育する動物のしぐさを電磁波によって検出して、この動物が表現したい意図、感情を推量して人間の言葉による音声で出力するための装置である。
【００３８】
図９に、本装置を犬２５に適用した場合の概観を示す。犬２５の身体の手足、首、耳、口などの各部位に反射材６が付着した粘着シール１３を貼り付ける。犬２５は首輪９２に結ばれたロープ９１によって繋がれ、人間はロープ９１の一端に装着されたハンドル９３を保持する。例えば、前記電磁波発信器、電磁波受信器、スピーカなどの少なくとも１つをハンドル９３に設けることも可能である。
【００３９】
本実施例の動作を説明する。例えば、犬２５が図９のように座る姿勢を取り、しっぽ９４を左右に振る動作を行った場合、電磁波によって座った姿勢における手足、首、耳などの粘着シール１３に付着している反射材６の空間内の位置が検出されると共に、しっぽ９４が左右に振れる動きも検出される。各部位の反射材６による反射波信号の時系列パターンから犬２５の姿勢・動作を検出して、それに基づき例えばスピーカに対する入力信号を生成する。例えば、図９の犬２５の姿勢、動作が疲労している場合の典型的な姿勢、動作であると見なして、「あ〜あ、疲れた。」のような音声を発生する入力信号を生成するように、事前に信号パターンデータベースに格納する信号パターンと、生成する入力信号を対応付けておく。この他にも、犬２５が示す多様な姿勢、動作に対応する音声信号を備えることで、動物と人間のコミュニケーションが一層深められることが期待できる。
【００４０】
以上の第１実施例から第３実施例で用いる電磁波発信器から発信される電磁波としては、指の細かい動きなどを検出するのに十分な位置分解能(1cm〜10μm)を得るために、ミリ波からテラヘルツ波（30GHz〜30THz）の領域の電磁波が好ましいが、それ以外の領域の電磁波を用いることも可能である。
【００４１】
上記の第１実施例から第３実施例において、位置情報の検出対象物の装着の態様としてサック５及びグローブ７１及び粘着シール１３などを用いたが、これらの形態にとらわれるものではなく、検出すべき対象物に応じて最適な形態を選択するのが好ましい。
【００４２】
また、上記の第１実施例から第３実施例において用いたモニタ９として、例えば液晶ディスプレイや、ＣＲＴディスプレイ、プラズマディスプレイ、SED（表面電界ディスプレイ）、有機ELディスプレイ、電子ペーパーなど、任意の表示手段を用いることが可能である。
【００４３】
さらに、上記の実施例では反射材６として誘電体多層膜やフォトニック結晶という照射電磁波に対して反射特性の異なる材料を採用したが、これらに限定されるものではなく、照射される電磁波に対する反射特性を検出できる材料であれば任意に選択して採用することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明に関わる情報入力装置の構成を示すブロック図である。
【図２】本発明に関わる情報入力方法のフローを示す流れ図である。
【図３】第１実施例における情報入力装置を操作している状況を説明する図である。
【図４】第１実施例においてユ−ザーが反射材の付着したサックを装着した概観図である。
【図５】ページめくりの動作によって各指で生成される反射波信号の時系列パターンの一例を示す図である。
【図６】第１実施例の情報入力装置におけるページめくり操作の説明図である。
【図７】第２実施例においてユーザーが反射材の付着したグローブを装着した概観図である。
【図８】第２実施例における電子ピアノの概観図である。
【図９】第３実施例における情報入力装置の概観図である。
【図１０】反射材としての誘電体多層膜を説明する図である。
【図１１】反射材としてのフォトニック結晶を説明する図である。
【符号の説明】
【００４５】
３・・・手（対象物）
５ａ〜５ｅ・・・サック（装着物）
６ａ〜６ｅ・・・反射材（装着物）
７・・・テキスト画像（電子画像）
９、４０・・・モニタ（表示手段）
１０・・・電磁波発信器（電磁波発信手段）
１２・・・スピーカ（音声発生手段）
１３・・・粘着シール（装着物）
２０・・・電磁波受信器（電磁波受信手段）
２５・・・犬（対象物）
３０・・・信号処理手段
７１・・・グローブ（装着物）
【特許請求の範囲】
【請求項１】
電磁波を発信する電磁波発信工程と、一つ以上の対象物によって前記電磁波に対する反射波が生成される反射波生成工程と、前記反射波を受信する電磁波受信工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報を算出する第１情報検出工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物をそれと同定する物性情報を検出する第２情報検出工程と、前記第１情報検出工程及び第２情報検出工程によって検出した複数の情報に基づき入力信号を一つ以上生成して機器に対して提供する入力信号生成工程を有することを特徴とする情報入力方法。
【請求項２】
複数の前記対象物は、照射された電磁波に対して特有の反射波を生成する装着物を着している請求項１記載の情報入力方法。
【請求項３】
前記装着物は、誘電体多層膜またはフォトニック結晶を含む物である請求項２記載の情報入力方法。
【請求項４】
前記入力信号は、機器の使用者の視覚に対して出力を行う表示手段、聴覚に対して出力を行う音声発生手段、触覚に対して出力を行う圧覚発生手段の少なくとも一つに提供される請求項１乃至３のいずれかに記載の情報入力方法。
【請求項５】
前記発信される電磁波はミリ波からテラヘルツ波（30GHz〜30THz）の領域の電磁波である請求項１乃至４のいずれかに記載の情報入力方法。
【請求項６】
電磁波を発信する電磁波発信手段と、一つ以上の対象物で生成される反射波を受信する電磁波受信手段と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報及び前記対象物をそれと同定する物性情報を検出し、それらの情報に基づき入力信号を生成して機器に提供する信号処理手段を有することを特徴とする情報入力装置。
【請求項７】
前記電磁波発信手段から発信される電磁波はミリ波からテラヘルツ波（30GHz〜30THz）の領域の電磁波である請求項６記載の情報入力装置。
【請求項８】
少なくとも表示手段を含む機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する請求項６または７記載の情報入力装置を有し、前記入力信号に基づいて前記表示手段に表示されている電子画像の操作を行うことを特徴とする電子画像操作装置。
【請求項９】
少なくとも音声発生手段を含む機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する請求項６または７記載の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により楽音の演奏の操作を行うことを特徴とする電子楽音操作装置。
【請求項１０】
少なくとも音声発生手段を含む機器と、対象物である動物の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する請求項６または７記載の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により動物のしぐさを人間が用いる言語の音声に変換することを特徴とする動作音声変換装置。
【請求項１】
電磁波を発信する電磁波発信工程と、一つ以上の対象物によって前記電磁波に対する反射波が生成される反射波生成工程と、前記反射波を受信する電磁波受信工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報を算出する第１情報検出工程と、受信した電磁波の信号に基づき前記反射波を生成した対象物をそれと同定する物性情報を検出する第２情報検出工程と、前記第１情報検出工程及び第２情報検出工程によって検出した複数の情報に基づき入力信号を一つ以上生成して機器に対して提供する入力信号生成工程を有することを特徴とする情報入力方法。
【請求項２】
複数の前記対象物は、照射された電磁波に対して特有の反射波を生成する装着物を着している請求項１記載の情報入力方法。
【請求項３】
前記装着物は、誘電体多層膜またはフォトニック結晶を含む物である請求項２記載の情報入力方法。
【請求項４】
前記入力信号は、機器の使用者の視覚に対して出力を行う表示手段、聴覚に対して出力を行う音声発生手段、触覚に対して出力を行う圧覚発生手段の少なくとも一つに提供される請求項１乃至３のいずれかに記載の情報入力方法。
【請求項５】
前記発信される電磁波はミリ波からテラヘルツ波（30GHz〜30THz）の領域の電磁波である請求項１乃至４のいずれかに記載の情報入力方法。
【請求項６】
電磁波を発信する電磁波発信手段と、一つ以上の対象物で生成される反射波を受信する電磁波受信手段と、受信した電磁波の信号に基づき前記反射波を生成した対象物の３次元空間における位置情報及び前記対象物をそれと同定する物性情報を検出し、それらの情報に基づき入力信号を生成して機器に提供する信号処理手段を有することを特徴とする情報入力装置。
【請求項７】
前記電磁波発信手段から発信される電磁波はミリ波からテラヘルツ波（30GHz〜30THz）の領域の電磁波である請求項６記載の情報入力装置。
【請求項８】
少なくとも表示手段を含む機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する請求項６または７記載の情報入力装置を有し、前記入力信号に基づいて前記表示手段に表示されている電子画像の操作を行うことを特徴とする電子画像操作装置。
【請求項９】
少なくとも音声発生手段を含む機器と、対象物である人間の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する請求項６または７記載の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により楽音の演奏の操作を行うことを特徴とする電子楽音操作装置。
【請求項１０】
少なくとも音声発生手段を含む機器と、対象物である動物の身体上の一つ以上の部位の位置情報または変位情報によって入力信号を生成して前記機器に提供する請求項６または７記載の情報入力装置を有し、前記入力信号に基づいて前記音声発生手段により動物のしぐさを人間が用いる言語の音声に変換することを特徴とする動作音声変換装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−１６３８８６（Ｐ２００６−１６３８８６Ａ）
【公開日】平成１８年６月２２日（２００６．６．２２）
【国際特許分類】
【出願番号】特願２００４−３５５１２２（Ｐ２００４−３５５１２２）
【出願日】平成１６年１２月８日（２００４．１２．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年６月２２日（２００６．６．２２）
【国際特許分類】
【出願日】平成１６年１２月８日（２００４．１２．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]