ユーザの身体動作による遠隔命令入力装置
【課題】機器の遠隔操作において、実世界の機器のように初めて触れるユーザでもすぐわかる直観的な入力を提供すること。
【解決手段】物体操作を特徴付ける、ユーザの手の像２の幾何学量を測定し、測定される幾何学量の種類を音量つまみ１１など実世界の機器の制御部を表示してユーザに通知し、テレビ映像１４を出力するテレビなど操作対象機器を制御する入力値に測定値を変換し、音量バー１６などを表示してユーザに入力値を通知する。このようにして、実世界の機器のように直観的で身体的な入力できるようにする。
【解決手段】物体操作を特徴付ける、ユーザの手の像２の幾何学量を測定し、測定される幾何学量の種類を音量つまみ１１など実世界の機器の制御部を表示してユーザに通知し、テレビ映像１４を出力するテレビなど操作対象機器を制御する入力値に測定値を変換し、音量バー１６などを表示してユーザに入力値を通知する。このようにして、実世界の機器のように直観的で身体的な入力できるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの身体動作により命令を入力する装置に関する。
【背景技術】
【０００２】
近年、機器の遠隔操作においてボタン式のリモコンを用いて行う命令入力の代わりに、ユーザの身体動作で命令入力を行うものがある。機器の操作を人が行う「身振り」「手振り」などに代表される身体動作で行うことで、ユーザは身体を使った動きで機器を操作できる。最近では、身体動作による遠隔操作で家電を制御するものが研究され発表されている。
【０００３】
非特許文献１では、ユーザは指のジェスチャで機器への命令入力を行う。テレビの音量調節をする操作例では、ユーザは、まずテレビを指差し、次に指を２本示すことで音量を上げ、３本示すことで音量を下げる。
【０００４】
【非特許文献１】入江耕太、若村直弘、梅田和昇，「ジェスチャ認識を用いたインテリジェントルームの構築 -手のジェスチャによる家電製品の操作- 」，第21回日本ロボット学会学術講演会予稿集，Vol.CD-ROM，2J15，2003.
【０００５】
非特許文献２では、指の動きや手の傾きを測定するセンサを装着し、ユーザは手振りで機器への命令入力を行う。テレビの音量調節をする操作例では、ユーザは、まずテレビを指差し、次に手首を右に回すことで音量を上げ、左に回すことで音量を下げる。
【０００６】
【非特許文献２】塚田浩二、安村通晃，「Ubi-Finger:モバイル指向ジェスチャ入力デバイスの提案」，情報処理学会研究報告 2001-HI-94，pp.9-14，2001.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このようなユーザの身体動作による命令入力では、新しい機器を初めて使うユーザは、各操作に対応するジェスチャが何であるのか不明である。これに対して、実世界の機器の操作であれば直観的に操作方法がわかる。例えば、機器についている操作ボタンや操作ダイヤルであれば直観的に操作方法がわかる。
【０００８】
そこで、本研究の目的は、実世界の機器のように初めて触れるユーザでもすぐわかる直観的な命令入力を提供することである。
【課題を解決するための手段】
【０００９】
請求項１記載の発明の入力装置は、機器に対する命令を入力する装置であって、物体操作を特徴付ける、ユーザの、所持物を含めた身体に関する幾何学量を測定する測定手段と、該測定手段が測定する幾何学量の種類をユーザに通知する幾何学量通知手段と、該測定手段から得られる測定値を入力値に変換する変換手段と、該変換手段から得られる入力値をユーザに通知する入力値通知手段と、を備えることにより、上記目的を達成している。
【００１０】
上記構成によれば、測定手段が測定する、ユーザの、所持物を含めた身体に関する物体操作を特徴付ける幾何学量が何であるのかをユーザに通知するため、新しい機器を初めて使うユーザであっても操作方法がわかる。また、測定手段から得られる測定値を変換手段が機器に対する入力値と変換することで、機器への数値を入力でき、数値に命令を割り当てれば命令を入力できる。
【００１１】
この場合、例えば、請求項２に記載するように、幾何学量通知手段は、測定幾何学量の種類を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えてもよい。
【００１２】
上記構成によれば、測定する幾何学量が位置と回転量である場合に、可視化手段でコンピュータグラフィクス（ＣＧ）のダイヤルを生成し、該可視化手段から得られたダイヤルを表示手段に表示できる。これにより、実世界でユーザは手でダイヤルに触って回す操作と同じように、ユーザは手など操作を行うものをＣＧのダイヤルがある位置に合わせて回せばよいとわかる。このように、表示されたダイヤルの位置と調節方法を視覚化することで、測定手段が何を測定するのかをユーザに伝えることができる。また、必要があれば、テロップで操作方法を表示してもよい。
【００１３】
また、例えば、請求項３に記載するように、入力値通知手段は、入力値を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えてもよい。
【００１４】
上記構成によれば、例えば、入力値を音量調節として使う場合、可視化手段で音量バーをＣＧで生成し、表示手段に該可視化手段から得られたダイヤルを表示できる。これにより、ユーザは表示された音量バーを見て、所望の音量が入力されていることがわかる。
【００１５】
さらに、例えば、請求項４に記載するように、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作をユーザに通知する動作通知手段を設けてもよい。
【００１６】
上記構成によれば、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作をユーザに通知するため、ユーザは、自分の、所持物を含めた身体のどの動作での幾何学量が測定されているのかわかるから、測定させる値を制御できる。
【００１７】
また、例えば、請求項５に記載するように、動作通知手段は、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の動作を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えてもよい。
【００１８】
上記構成によれば、可視化手段が、ユーザの、所持物を含めた身体をＣＧのカーソルや手のアイコンとして生成し、表示手段に該可視化手段から得られた情報を表示できる。例えば、測定手段が測定する幾何学量が位置と角度である場合、ユーザは、ユーザの、所持物を含めた身体の位置と特定の領域との位置関係と、どの動作での幾何学量が測定されているのかわかるから、測定させる値を制御できる。
【００１９】
さらに、例えば、請求項６に記載するように、ユーザ又は物体を、撮影して映像として取り込む撮影手段を設け、表示手段に表示してもよい。
【００２０】
上記構成によれば、実世界のユーザや物体を映像として表示手段に表示することができる。これにより、自分自身の手の像で実世界の物体を操作する映像が表示されるため、ユーザは表示された映像が、実世界で表示されたその場所で実際に操作が行われているかのように感じる。
【００２１】
また、例えば、請求項７に記載するように、命令を入力する対象機器に表示手段が備えられていれば該対象機器の表示手段と、幾何学量通知手段と入力値通知手段及び動作通知手段に表示手段が備えられていれば各手段の表示手段、が表示する映像を加工して重ね合
せるなどして合成する映像合成手段を設け、該映像合成手段から得られる合成映像を表示手段に表示してもよい。
【００２２】
上記構成によれば、例えば、命令を入力する対象機器としてテレビが表示するテレビ番組と、幾何学量測定手段に表示される映像としてのＣＧの音量つまみと、入力値通知手段に表示される映像としてのＣＧの音量バーと、動作通知手段に表示される映像としてのＣＧの手のアイコンと、を重ね合わせて合成してテレビ番組に音量つまみ及びバー、手のアイコンが表示されている映像を作り出せる。このように、測定手段が測定する領域にＣＧのボリュームつまみを重ね合わせることで位置と幾何学量の種類をユーザに通知できる。さらに、機器への入力のための映像をテレビ番組と一緒に表示することができ、ユーザはテレビ画面を見ながら自身の身体を用いて、テレビの音量を調節することができる。
【００２３】
さらに、例えば、請求項８に記載するように、撮影手段からの映像からユーザや物体のみを切り抜いた映像にする領域抽出手段を設け、映像合成手段が行う映像の加工は該領域抽出手段で行う映像の切り抜きであってもよい。
【００２４】
上記構成によれば、ユーザの、所持物を含めた身体の位置に自分自身の手の映像、幾何学量測定手段に音量つまみの映像を表示する。これにより、ユーザは、実世界の映像である音量つまみを操作しているのが自分自身の手の映像であるため、自分自身がまさに表示された音量つまみがある場所にいて操作していると感じる。
【００２５】
また、例えば、請求項９に記載するように、測定手段は、撮影手段から得られたユーザの、所持物を含めた身体の映像に関する幾何学量を測定する映像処理測定手段を備えてもよい。
【００２６】
上記構成によれば、表示されたユーザの手の映像の幾何学量を測定手段が測定しているため、ユーザは測定手段がどのような映像から測定しているのか見えるのでユーザに対して測定対象が透過的である。
【００２７】
さらに、例えば、請求項１０に記載するように、幾何学量通知手段は、測定幾何学量の種類を可聴化する可聴化手段と該可聴化手段から得られる音を鳴らすスピーカ手段を備えていることを特徴とする入力装置。
【００２８】
上記構成によれば、可聴化手段は測定幾何学量に音声にして、スピーカ手段から該音声を鳴らすことができる。例えば、幾何学量が時間であり、その時間が2秒間であるとき、可聴化手段があらかじめ用意しておいた「2秒間」という声をスピーカ手段が出力して、ユーザに測定幾何学量を通知することができる。
【００２９】
また、例えば、請求項１１に記載するように、測定値通知手段は、入力値を可聴化する可聴化手段と該可聴化手段から得られる音を鳴らすスピーカ手段を備えてもよい。
【００３０】
上記構成によれば、可聴化手段が入力値を音の大きさで表現し、スピーカ手段から音を鳴らして、ユーザに入力値を通知することができる。
【００３１】
さらに、例えば、請求項１２に記載するように、動作通知手段は、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作に応答する音を鳴らすスピーカ手段を備えてもよい。
【００３２】
上記構成によれば、例えば、測定手段が測定する幾何学量が位置である場合、ユーザの、所持物を含めた身体が特定の領域に位置していると「ピー」という音を鳴る。このように、ユーザはどの動作で幾何学量が測定されているのかわかから、測定させる値を制御できる。
【００３３】
また、例えば、請求項１３に記載するように、入力値通知手段は、物体を動かして入力値を視覚的、触覚的、及び聴覚的、の少なくともどれか一つでユーザに通知する駆動手段を備えてもよい。
【００３４】
上記構成によれば、例えば、テレビに別途上下に位置が移動するダイヤルを設け、実際にダイヤルが上下への動くことと回転することで入力値をユーザに通知ことができる。ダイヤルがチャンネル調節をしたいときは上に、音量を調節したいときには下に、位置して回ることで、ユーザに入力値を通知する。
【発明の効果】
【００３５】
以上説明したように、本発明によれば、ユーザはあたかも実世界の機器を扱うかのように直観的に操作し命令入力を行うことができる。
【発明を実施するための最良の形態】
【００３６】
本発明の実施例について図面を参照して説明する。なお、同一部位は同一符号で示し、重複した説明を省略する。
【００３７】
図１は、実施例の概観を示した図である。図１に示すように、本実施例は、家電の例としてのテレビ８及びエアコン７と、使用者１０を撮影するビデオカメラ４（撮影手段）と、イベント検出や映像合成を行うパソコン５（映像処理測定手段、領域抽出手段、視覚化手段、映像合成手段）と、合成映像を映し出すディスプレイ６（表示手段）を必要とする。ここで必要としたディスプレイ６は、パソコン５からの出力をテレビ８に表示すればテレビ８で代用できる。ビデオカメラ４は、使用者１０の背後に設置され、使用者１０の手を撮影するようになっている。パソコン５で映像から背景を除去し使用者１０の手のみの映像を切り抜き、ディスプレイ６に表示する。使用者１０はディスプレイ８に投影された手の像２（自分自身の映像）を見ながら家電への命令入力を行う。
【００３８】
ビデオカメラ４はディスプレイ６付近に配置する必要がなく、設置場所を使用者１０に合わせることができ、使用者１０がディスプレイ６と離れていてもよい。ここで、ビデオカメラを複数台用意すれば部屋全体をカバーできる。その設置例を図２に示す。ビデオカメラ４ａ、４ｂ、４ｃから出ている破線は、ビデオカメラの撮影範囲である。また、ビデオカメラに使用者１０を自動追跡させることで、使用者１０はビデオカメラの位置を意識する必要がなくなる。
【００３９】
図３〜５は、使用者１０が手の像２を用いて家電を操作する様子を表したものである。操作は手の像２が行うのではないが見かけ上は操作しているかのように見える。以下このような見かけ上の行為を「」で囲み表記する。
【００４０】
図３は、本実施例を用いてテレビ８の音量を調節をするときのディスプレイ６の表示内容を示した図である。ディスプレイ６には、テレビ映像１４、ＣＧのボリュームつまみ１１と音量バー１６、テロップ１８、手の像２、操作対象であるテレビ７のテレビアイコン１２が表示される。使用者１０はボリュームつまみ１１を手の像２で「つかむ」ことができる。「つかん」だ状態で使用者１０は手を回すと、手の像２がボリュームつまみ１１を「回す」ことができる。手の像２がボリュームつまみ１１を右に「回す」と音量バー１６が伸びてテレビの音量が大きくなる。同様に、ボリュームつまみ１１を左に「回せ」ば、テレビの音量が小さくなる。また、ディスプレイ６に操作内容をＣＧの音量バー１６やテロップ１８などが表示され、使用者１０の操作に対する応答が使用者１０にフィードバックされる。
【００４１】
図４は、本実施例を用いてエアコン７の温度調節をするときのディスプレイ６の表示内容を示した図である。ディスプレイ６には、ＣＧの温度計２２とつまみカーソル２４、手の像２、テロップ１８、操作方法表示テロップ１９、及び操作対象であるエアコン７を示すエアコンアイコン２０が表示される。温度計２２とつまみカーソル２４と操作対象のエアコンは同期が取れていて、つまみカーソル２４が温度計２２を指し示す温度がエアコンの設定温度である。使用者１０はつまみカーソル２４を手の像２で「つまむ」ことができる。その状態で使用者１０は手を上下に動かすと、手の像２が温度計のつまみカーソル２４を上下に「動かす」ことでエアコン７の温度を調節できる。ここで、操作画面にテレビ映像など操作に関係ない映像を加えてもよい。
【００４２】
図５は、本実施例を用いてエアコン７の風向調節をするときのディスプレイ６の表示内容を示した図である。ディスプレイ６には、ＣＧのエアコン２１とエアコンの羽２３とつまみカーソル２４、手の像２、操作方法表示テロップ１９、及び操作対象であるエアコン７のアイコン２０が表示される。エアコンの羽２３と操作対象のエアコン７の風向は同期が取れていて、エアコンの羽２３の向いている方向がエアコンの風向である。使用者１０はエアコンの羽２３を手の像２で「つまむ」ことができる。その状態で使用者１０は手を上下左右に動かすと、手の像２がエアコンの羽２３を上下左右に「動かす」ことでエアコン７の風向を調節できる。
【００４３】
図６は、本実施例を用いて操作する家電を選択するときのディスプレイ６の表示内容を示した図である。ディスプレイ６に表示するのは、家電のアイコン（例えば、テレビ１２、エアコン２０）と手の像２である。ここで、家電のアイコンは、パソコン５で生成したＣＧの代わりに、ビデオカメラ４やカメラで撮影した家電の映像や画像でもよい。使用者１０は、手の像２をテレビアイコン１２を「つまみ」、手の像２でテレビアイコン１２を「動かし」て実行アイコン２５の上で「離す」ことでテレビ８を操作対象に選択することができる。選択すると上記例のように家電に対応したそれぞれのインタフェースがディスプレイ６に表示される。
【００４４】
上記ユーザ映像の動作検出は、ディスプレイ６に投影された手の像２の状態を認識するため、入力されたデータが使用者１０に対して透過的である。そのため、手の像２の状態を検出するために適した手の像に使用者１０が調節でき、行為検出に困難な映像処理を用いる必要がないという利点がある。
【００４５】
図７はデータフローを示している。ビデオカメラ４（撮影手段）で使用者１０の手を撮影し、その映像を領域抽出器２６（領域抽出手段）に送信する。領域抽出器２６で映像から背景を切り抜き手の像２を作り出し、幾何学量測定器２８（映像処理測定手段）と映像合成器３４（映像合成手段）に送信する。幾何学量測定器２８で、手の像２から後述する幾何学量を測定し、命令生成器３０（変換手段）に送信する。命令生成器３０で測定値に応じて命令信号を生成し、家電（テレビ８、エアコン７、その他家電３６）と映像生成器３２（可視化手段）に命令信号を送信し、また映像合成器３４に位置情報を送信する。映像生成器３２で後述するＣＧを生成し、映像合成器３４に送信する。映像合成器３４で位置情報を用いて映像の重ね合わせを行い上述の合成映像を作り、ディスプレイ６（表示手段）に送る。ディスプレイ６には、該合成映像が表示される。
【００４６】
領域抽出器２６では、映像から肌色部分以外の色を特定の色（例えば、緑）に変えている。領域抽出の処理を図８に示す。最初に、ビデオカメラで撮影された生映像の色情報をRGB方式からHSV方式に変換する（ステップ１）。二番目に、HSV方式の肌色である範囲の値（例えば、色彩Ｈが６〜３８、明度Ｖが９５〜２５５）をしきい値と置き、その値に含まれない領域を緑色に変える（ステップ２）。最後に、映像に含まれている雑音をモルフォロジーを用いて除去し、ユーザ映像を作り出す（ステップ３）。ここでは、ユーザの手をユーザ映像として抽出するために、手肌の色情報に基づいた領域抽出方法を用いている。また、背景差分法などの他の抽出法を用いてユーザ映像を抽出しても良い。
【００４７】
幾何学量測定器２８では、ユーザ映像からイベント検出に使う幾何学量を測定する。本実施例では、ユーザの右手の映像でのみ使用可能な処理を行っている。詳細を以下に、図９を用いて記す。生映像のピクセルを左から右に下から上へと走査し、手の輪郭線と水平線が交わる左から３番目の点の中で、２番目に交わる点と一定の間隔（例えば、１〜３０ピクセル）離れている点取り、その距離が最小の点（間隔が１ピクセルに近い点）を点Ａ、最大の点（間隔が３０ピクセルに近い点）を点Ｂと置く。また、線分ＡＢと水平線がなす角度を角θと置き、画像の重心を点Ｃと置く。
【００４８】
測定する幾何学量が位置と時間及び角度である場合を図１０を用いて記す。点Ｃと線分ＡＢが、測定領域３８と重なり、２秒間経過することで位置と時間の幾何学量が測定される。また、その状態で角θが角度の幾何学量として測定される。
【００４９】
命令生成器３０では、測定値に応じてイベントを検出し、入力数値と命令信号を発行する。上記測定値から音量調節のイベントを検出し、該測定値を命令信号と入力値に変換する処理を以下記す。まず、位置と時間が測定されていれば、手の像がオブジェクトを「つかむ」イベントを検出する。その状態で、手の像が回転すると、角θの値が変化する。幾何学量を表示した手の像の回転前と回転後の図を、それぞれ図１１と図１２に示す。そのときの角θの変化量を入力値に変換して、テレビに送信する。
【００５０】
映像生成器３２では、CGによる映像やテロップを出力する。例えば、図３では、ボリュームつまみ１１と、音量バー１６と、テロップ１８と、テレビアイコン１２を、図４では、温度計２２と、つまみカーソル２４と、操作方法表示テロップ１９を、図５では、ＣＧのエアコン２１とエアコンの羽２４を出力した。他にも、ビデオカメラで撮影した映像などの生映像も出力する。次に、出力された映像を、命令生成器からの信号によりリアルタイムに画像を変化（例えば、アイコンを回転）させる。
【００５１】
映像合成器３４では、領域抽出器からの手の像２と映像生成器からのＣＧ及びテレビ画面からのテレビ番組を加工して、深さ情報を用いて三次元的映像に合成して合成映像を作る。加工は、それぞれの映像の特定の色（緑色）の部分に透明化処理を行い、深さ情報に従い重ね合わせている。
【図面の簡単な説明】
【００５２】
【図１】本発明が適応された家電操作インタフェースの概観を示す図である。
【図２】本発明の実施例における複数台のビデオカメラを用いて部屋全体を撮影できることを示した図である。
【図３】本発明の実施例を用いてテレビの音量を調節するときのディスプレイの表示内容を示した図である。
【図４】本発明の実施例を用いてエアコンの温度を調節するときのディスプレイの表示内容を示した図である。
【図５】本発明の実施例を用いてエアコンの風向を調節するときのディスプレイの表示内容を示した図である。
【図６】本発明の実施例を用いてユーザの手の像で操作対象家電を選択している様子を示した図である。
【図７】本発明の実施例における家電操作を説明するためのフロー図である。
【図８】本発明の実施例における色情報による領域抽出の処理を説明するためのフロー図である。
【図９】本発明の実施例におけるユーザの手の像から特徴点を検出する処理を説明するためのフロー図である。
【図１０】本発明の実施例における幾何学量測定値がユーザの手の像の位置を測定するときの処理のための説明図である。
【図１１】本発明の実施例におけるユーザの手の像が回転する前の様子を示した図である。
【図１２】本発明の実施例におけるユーザの手の像が回転した後の様子を示した図である。
【符号の説明】
【００５３】
2 手の像
4、4a、4b、4c ビデオカメラ
5 パソコン
6 ディスプレイ
7 エアコン
8 テレビ
10 使用者
11 ボリュームつまみ
12 テレビアイコン
14 テレビ画面
16 音量バー
18 テロップ
19 操作方法表示テロップ
20 エアコンアイコン
21 CGのエアコン
22 温度計
23 エアコンの羽
24 つまみカーソル
25 実行アイコン
26 領域抽出器
28 幾何学量測定器
30 命令生成器
32 映像生成器
34 映像合成器
36 その他家電
38 測定領域
【技術分野】
【０００１】
本発明は、ユーザの身体動作により命令を入力する装置に関する。
【背景技術】
【０００２】
近年、機器の遠隔操作においてボタン式のリモコンを用いて行う命令入力の代わりに、ユーザの身体動作で命令入力を行うものがある。機器の操作を人が行う「身振り」「手振り」などに代表される身体動作で行うことで、ユーザは身体を使った動きで機器を操作できる。最近では、身体動作による遠隔操作で家電を制御するものが研究され発表されている。
【０００３】
非特許文献１では、ユーザは指のジェスチャで機器への命令入力を行う。テレビの音量調節をする操作例では、ユーザは、まずテレビを指差し、次に指を２本示すことで音量を上げ、３本示すことで音量を下げる。
【０００４】
【非特許文献１】入江耕太、若村直弘、梅田和昇，「ジェスチャ認識を用いたインテリジェントルームの構築 -手のジェスチャによる家電製品の操作- 」，第21回日本ロボット学会学術講演会予稿集，Vol.CD-ROM，2J15，2003.
【０００５】
非特許文献２では、指の動きや手の傾きを測定するセンサを装着し、ユーザは手振りで機器への命令入力を行う。テレビの音量調節をする操作例では、ユーザは、まずテレビを指差し、次に手首を右に回すことで音量を上げ、左に回すことで音量を下げる。
【０００６】
【非特許文献２】塚田浩二、安村通晃，「Ubi-Finger:モバイル指向ジェスチャ入力デバイスの提案」，情報処理学会研究報告 2001-HI-94，pp.9-14，2001.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このようなユーザの身体動作による命令入力では、新しい機器を初めて使うユーザは、各操作に対応するジェスチャが何であるのか不明である。これに対して、実世界の機器の操作であれば直観的に操作方法がわかる。例えば、機器についている操作ボタンや操作ダイヤルであれば直観的に操作方法がわかる。
【０００８】
そこで、本研究の目的は、実世界の機器のように初めて触れるユーザでもすぐわかる直観的な命令入力を提供することである。
【課題を解決するための手段】
【０００９】
請求項１記載の発明の入力装置は、機器に対する命令を入力する装置であって、物体操作を特徴付ける、ユーザの、所持物を含めた身体に関する幾何学量を測定する測定手段と、該測定手段が測定する幾何学量の種類をユーザに通知する幾何学量通知手段と、該測定手段から得られる測定値を入力値に変換する変換手段と、該変換手段から得られる入力値をユーザに通知する入力値通知手段と、を備えることにより、上記目的を達成している。
【００１０】
上記構成によれば、測定手段が測定する、ユーザの、所持物を含めた身体に関する物体操作を特徴付ける幾何学量が何であるのかをユーザに通知するため、新しい機器を初めて使うユーザであっても操作方法がわかる。また、測定手段から得られる測定値を変換手段が機器に対する入力値と変換することで、機器への数値を入力でき、数値に命令を割り当てれば命令を入力できる。
【００１１】
この場合、例えば、請求項２に記載するように、幾何学量通知手段は、測定幾何学量の種類を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えてもよい。
【００１２】
上記構成によれば、測定する幾何学量が位置と回転量である場合に、可視化手段でコンピュータグラフィクス（ＣＧ）のダイヤルを生成し、該可視化手段から得られたダイヤルを表示手段に表示できる。これにより、実世界でユーザは手でダイヤルに触って回す操作と同じように、ユーザは手など操作を行うものをＣＧのダイヤルがある位置に合わせて回せばよいとわかる。このように、表示されたダイヤルの位置と調節方法を視覚化することで、測定手段が何を測定するのかをユーザに伝えることができる。また、必要があれば、テロップで操作方法を表示してもよい。
【００１３】
また、例えば、請求項３に記載するように、入力値通知手段は、入力値を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えてもよい。
【００１４】
上記構成によれば、例えば、入力値を音量調節として使う場合、可視化手段で音量バーをＣＧで生成し、表示手段に該可視化手段から得られたダイヤルを表示できる。これにより、ユーザは表示された音量バーを見て、所望の音量が入力されていることがわかる。
【００１５】
さらに、例えば、請求項４に記載するように、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作をユーザに通知する動作通知手段を設けてもよい。
【００１６】
上記構成によれば、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作をユーザに通知するため、ユーザは、自分の、所持物を含めた身体のどの動作での幾何学量が測定されているのかわかるから、測定させる値を制御できる。
【００１７】
また、例えば、請求項５に記載するように、動作通知手段は、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の動作を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えてもよい。
【００１８】
上記構成によれば、可視化手段が、ユーザの、所持物を含めた身体をＣＧのカーソルや手のアイコンとして生成し、表示手段に該可視化手段から得られた情報を表示できる。例えば、測定手段が測定する幾何学量が位置と角度である場合、ユーザは、ユーザの、所持物を含めた身体の位置と特定の領域との位置関係と、どの動作での幾何学量が測定されているのかわかるから、測定させる値を制御できる。
【００１９】
さらに、例えば、請求項６に記載するように、ユーザ又は物体を、撮影して映像として取り込む撮影手段を設け、表示手段に表示してもよい。
【００２０】
上記構成によれば、実世界のユーザや物体を映像として表示手段に表示することができる。これにより、自分自身の手の像で実世界の物体を操作する映像が表示されるため、ユーザは表示された映像が、実世界で表示されたその場所で実際に操作が行われているかのように感じる。
【００２１】
また、例えば、請求項７に記載するように、命令を入力する対象機器に表示手段が備えられていれば該対象機器の表示手段と、幾何学量通知手段と入力値通知手段及び動作通知手段に表示手段が備えられていれば各手段の表示手段、が表示する映像を加工して重ね合
せるなどして合成する映像合成手段を設け、該映像合成手段から得られる合成映像を表示手段に表示してもよい。
【００２２】
上記構成によれば、例えば、命令を入力する対象機器としてテレビが表示するテレビ番組と、幾何学量測定手段に表示される映像としてのＣＧの音量つまみと、入力値通知手段に表示される映像としてのＣＧの音量バーと、動作通知手段に表示される映像としてのＣＧの手のアイコンと、を重ね合わせて合成してテレビ番組に音量つまみ及びバー、手のアイコンが表示されている映像を作り出せる。このように、測定手段が測定する領域にＣＧのボリュームつまみを重ね合わせることで位置と幾何学量の種類をユーザに通知できる。さらに、機器への入力のための映像をテレビ番組と一緒に表示することができ、ユーザはテレビ画面を見ながら自身の身体を用いて、テレビの音量を調節することができる。
【００２３】
さらに、例えば、請求項８に記載するように、撮影手段からの映像からユーザや物体のみを切り抜いた映像にする領域抽出手段を設け、映像合成手段が行う映像の加工は該領域抽出手段で行う映像の切り抜きであってもよい。
【００２４】
上記構成によれば、ユーザの、所持物を含めた身体の位置に自分自身の手の映像、幾何学量測定手段に音量つまみの映像を表示する。これにより、ユーザは、実世界の映像である音量つまみを操作しているのが自分自身の手の映像であるため、自分自身がまさに表示された音量つまみがある場所にいて操作していると感じる。
【００２５】
また、例えば、請求項９に記載するように、測定手段は、撮影手段から得られたユーザの、所持物を含めた身体の映像に関する幾何学量を測定する映像処理測定手段を備えてもよい。
【００２６】
上記構成によれば、表示されたユーザの手の映像の幾何学量を測定手段が測定しているため、ユーザは測定手段がどのような映像から測定しているのか見えるのでユーザに対して測定対象が透過的である。
【００２７】
さらに、例えば、請求項１０に記載するように、幾何学量通知手段は、測定幾何学量の種類を可聴化する可聴化手段と該可聴化手段から得られる音を鳴らすスピーカ手段を備えていることを特徴とする入力装置。
【００２８】
上記構成によれば、可聴化手段は測定幾何学量に音声にして、スピーカ手段から該音声を鳴らすことができる。例えば、幾何学量が時間であり、その時間が2秒間であるとき、可聴化手段があらかじめ用意しておいた「2秒間」という声をスピーカ手段が出力して、ユーザに測定幾何学量を通知することができる。
【００２９】
また、例えば、請求項１１に記載するように、測定値通知手段は、入力値を可聴化する可聴化手段と該可聴化手段から得られる音を鳴らすスピーカ手段を備えてもよい。
【００３０】
上記構成によれば、可聴化手段が入力値を音の大きさで表現し、スピーカ手段から音を鳴らして、ユーザに入力値を通知することができる。
【００３１】
さらに、例えば、請求項１２に記載するように、動作通知手段は、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作に応答する音を鳴らすスピーカ手段を備えてもよい。
【００３２】
上記構成によれば、例えば、測定手段が測定する幾何学量が位置である場合、ユーザの、所持物を含めた身体が特定の領域に位置していると「ピー」という音を鳴る。このように、ユーザはどの動作で幾何学量が測定されているのかわかから、測定させる値を制御できる。
【００３３】
また、例えば、請求項１３に記載するように、入力値通知手段は、物体を動かして入力値を視覚的、触覚的、及び聴覚的、の少なくともどれか一つでユーザに通知する駆動手段を備えてもよい。
【００３４】
上記構成によれば、例えば、テレビに別途上下に位置が移動するダイヤルを設け、実際にダイヤルが上下への動くことと回転することで入力値をユーザに通知ことができる。ダイヤルがチャンネル調節をしたいときは上に、音量を調節したいときには下に、位置して回ることで、ユーザに入力値を通知する。
【発明の効果】
【００３５】
以上説明したように、本発明によれば、ユーザはあたかも実世界の機器を扱うかのように直観的に操作し命令入力を行うことができる。
【発明を実施するための最良の形態】
【００３６】
本発明の実施例について図面を参照して説明する。なお、同一部位は同一符号で示し、重複した説明を省略する。
【００３７】
図１は、実施例の概観を示した図である。図１に示すように、本実施例は、家電の例としてのテレビ８及びエアコン７と、使用者１０を撮影するビデオカメラ４（撮影手段）と、イベント検出や映像合成を行うパソコン５（映像処理測定手段、領域抽出手段、視覚化手段、映像合成手段）と、合成映像を映し出すディスプレイ６（表示手段）を必要とする。ここで必要としたディスプレイ６は、パソコン５からの出力をテレビ８に表示すればテレビ８で代用できる。ビデオカメラ４は、使用者１０の背後に設置され、使用者１０の手を撮影するようになっている。パソコン５で映像から背景を除去し使用者１０の手のみの映像を切り抜き、ディスプレイ６に表示する。使用者１０はディスプレイ８に投影された手の像２（自分自身の映像）を見ながら家電への命令入力を行う。
【００３８】
ビデオカメラ４はディスプレイ６付近に配置する必要がなく、設置場所を使用者１０に合わせることができ、使用者１０がディスプレイ６と離れていてもよい。ここで、ビデオカメラを複数台用意すれば部屋全体をカバーできる。その設置例を図２に示す。ビデオカメラ４ａ、４ｂ、４ｃから出ている破線は、ビデオカメラの撮影範囲である。また、ビデオカメラに使用者１０を自動追跡させることで、使用者１０はビデオカメラの位置を意識する必要がなくなる。
【００３９】
図３〜５は、使用者１０が手の像２を用いて家電を操作する様子を表したものである。操作は手の像２が行うのではないが見かけ上は操作しているかのように見える。以下このような見かけ上の行為を「」で囲み表記する。
【００４０】
図３は、本実施例を用いてテレビ８の音量を調節をするときのディスプレイ６の表示内容を示した図である。ディスプレイ６には、テレビ映像１４、ＣＧのボリュームつまみ１１と音量バー１６、テロップ１８、手の像２、操作対象であるテレビ７のテレビアイコン１２が表示される。使用者１０はボリュームつまみ１１を手の像２で「つかむ」ことができる。「つかん」だ状態で使用者１０は手を回すと、手の像２がボリュームつまみ１１を「回す」ことができる。手の像２がボリュームつまみ１１を右に「回す」と音量バー１６が伸びてテレビの音量が大きくなる。同様に、ボリュームつまみ１１を左に「回せ」ば、テレビの音量が小さくなる。また、ディスプレイ６に操作内容をＣＧの音量バー１６やテロップ１８などが表示され、使用者１０の操作に対する応答が使用者１０にフィードバックされる。
【００４１】
図４は、本実施例を用いてエアコン７の温度調節をするときのディスプレイ６の表示内容を示した図である。ディスプレイ６には、ＣＧの温度計２２とつまみカーソル２４、手の像２、テロップ１８、操作方法表示テロップ１９、及び操作対象であるエアコン７を示すエアコンアイコン２０が表示される。温度計２２とつまみカーソル２４と操作対象のエアコンは同期が取れていて、つまみカーソル２４が温度計２２を指し示す温度がエアコンの設定温度である。使用者１０はつまみカーソル２４を手の像２で「つまむ」ことができる。その状態で使用者１０は手を上下に動かすと、手の像２が温度計のつまみカーソル２４を上下に「動かす」ことでエアコン７の温度を調節できる。ここで、操作画面にテレビ映像など操作に関係ない映像を加えてもよい。
【００４２】
図５は、本実施例を用いてエアコン７の風向調節をするときのディスプレイ６の表示内容を示した図である。ディスプレイ６には、ＣＧのエアコン２１とエアコンの羽２３とつまみカーソル２４、手の像２、操作方法表示テロップ１９、及び操作対象であるエアコン７のアイコン２０が表示される。エアコンの羽２３と操作対象のエアコン７の風向は同期が取れていて、エアコンの羽２３の向いている方向がエアコンの風向である。使用者１０はエアコンの羽２３を手の像２で「つまむ」ことができる。その状態で使用者１０は手を上下左右に動かすと、手の像２がエアコンの羽２３を上下左右に「動かす」ことでエアコン７の風向を調節できる。
【００４３】
図６は、本実施例を用いて操作する家電を選択するときのディスプレイ６の表示内容を示した図である。ディスプレイ６に表示するのは、家電のアイコン（例えば、テレビ１２、エアコン２０）と手の像２である。ここで、家電のアイコンは、パソコン５で生成したＣＧの代わりに、ビデオカメラ４やカメラで撮影した家電の映像や画像でもよい。使用者１０は、手の像２をテレビアイコン１２を「つまみ」、手の像２でテレビアイコン１２を「動かし」て実行アイコン２５の上で「離す」ことでテレビ８を操作対象に選択することができる。選択すると上記例のように家電に対応したそれぞれのインタフェースがディスプレイ６に表示される。
【００４４】
上記ユーザ映像の動作検出は、ディスプレイ６に投影された手の像２の状態を認識するため、入力されたデータが使用者１０に対して透過的である。そのため、手の像２の状態を検出するために適した手の像に使用者１０が調節でき、行為検出に困難な映像処理を用いる必要がないという利点がある。
【００４５】
図７はデータフローを示している。ビデオカメラ４（撮影手段）で使用者１０の手を撮影し、その映像を領域抽出器２６（領域抽出手段）に送信する。領域抽出器２６で映像から背景を切り抜き手の像２を作り出し、幾何学量測定器２８（映像処理測定手段）と映像合成器３４（映像合成手段）に送信する。幾何学量測定器２８で、手の像２から後述する幾何学量を測定し、命令生成器３０（変換手段）に送信する。命令生成器３０で測定値に応じて命令信号を生成し、家電（テレビ８、エアコン７、その他家電３６）と映像生成器３２（可視化手段）に命令信号を送信し、また映像合成器３４に位置情報を送信する。映像生成器３２で後述するＣＧを生成し、映像合成器３４に送信する。映像合成器３４で位置情報を用いて映像の重ね合わせを行い上述の合成映像を作り、ディスプレイ６（表示手段）に送る。ディスプレイ６には、該合成映像が表示される。
【００４６】
領域抽出器２６では、映像から肌色部分以外の色を特定の色（例えば、緑）に変えている。領域抽出の処理を図８に示す。最初に、ビデオカメラで撮影された生映像の色情報をRGB方式からHSV方式に変換する（ステップ１）。二番目に、HSV方式の肌色である範囲の値（例えば、色彩Ｈが６〜３８、明度Ｖが９５〜２５５）をしきい値と置き、その値に含まれない領域を緑色に変える（ステップ２）。最後に、映像に含まれている雑音をモルフォロジーを用いて除去し、ユーザ映像を作り出す（ステップ３）。ここでは、ユーザの手をユーザ映像として抽出するために、手肌の色情報に基づいた領域抽出方法を用いている。また、背景差分法などの他の抽出法を用いてユーザ映像を抽出しても良い。
【００４７】
幾何学量測定器２８では、ユーザ映像からイベント検出に使う幾何学量を測定する。本実施例では、ユーザの右手の映像でのみ使用可能な処理を行っている。詳細を以下に、図９を用いて記す。生映像のピクセルを左から右に下から上へと走査し、手の輪郭線と水平線が交わる左から３番目の点の中で、２番目に交わる点と一定の間隔（例えば、１〜３０ピクセル）離れている点取り、その距離が最小の点（間隔が１ピクセルに近い点）を点Ａ、最大の点（間隔が３０ピクセルに近い点）を点Ｂと置く。また、線分ＡＢと水平線がなす角度を角θと置き、画像の重心を点Ｃと置く。
【００４８】
測定する幾何学量が位置と時間及び角度である場合を図１０を用いて記す。点Ｃと線分ＡＢが、測定領域３８と重なり、２秒間経過することで位置と時間の幾何学量が測定される。また、その状態で角θが角度の幾何学量として測定される。
【００４９】
命令生成器３０では、測定値に応じてイベントを検出し、入力数値と命令信号を発行する。上記測定値から音量調節のイベントを検出し、該測定値を命令信号と入力値に変換する処理を以下記す。まず、位置と時間が測定されていれば、手の像がオブジェクトを「つかむ」イベントを検出する。その状態で、手の像が回転すると、角θの値が変化する。幾何学量を表示した手の像の回転前と回転後の図を、それぞれ図１１と図１２に示す。そのときの角θの変化量を入力値に変換して、テレビに送信する。
【００５０】
映像生成器３２では、CGによる映像やテロップを出力する。例えば、図３では、ボリュームつまみ１１と、音量バー１６と、テロップ１８と、テレビアイコン１２を、図４では、温度計２２と、つまみカーソル２４と、操作方法表示テロップ１９を、図５では、ＣＧのエアコン２１とエアコンの羽２４を出力した。他にも、ビデオカメラで撮影した映像などの生映像も出力する。次に、出力された映像を、命令生成器からの信号によりリアルタイムに画像を変化（例えば、アイコンを回転）させる。
【００５１】
映像合成器３４では、領域抽出器からの手の像２と映像生成器からのＣＧ及びテレビ画面からのテレビ番組を加工して、深さ情報を用いて三次元的映像に合成して合成映像を作る。加工は、それぞれの映像の特定の色（緑色）の部分に透明化処理を行い、深さ情報に従い重ね合わせている。
【図面の簡単な説明】
【００５２】
【図１】本発明が適応された家電操作インタフェースの概観を示す図である。
【図２】本発明の実施例における複数台のビデオカメラを用いて部屋全体を撮影できることを示した図である。
【図３】本発明の実施例を用いてテレビの音量を調節するときのディスプレイの表示内容を示した図である。
【図４】本発明の実施例を用いてエアコンの温度を調節するときのディスプレイの表示内容を示した図である。
【図５】本発明の実施例を用いてエアコンの風向を調節するときのディスプレイの表示内容を示した図である。
【図６】本発明の実施例を用いてユーザの手の像で操作対象家電を選択している様子を示した図である。
【図７】本発明の実施例における家電操作を説明するためのフロー図である。
【図８】本発明の実施例における色情報による領域抽出の処理を説明するためのフロー図である。
【図９】本発明の実施例におけるユーザの手の像から特徴点を検出する処理を説明するためのフロー図である。
【図１０】本発明の実施例における幾何学量測定値がユーザの手の像の位置を測定するときの処理のための説明図である。
【図１１】本発明の実施例におけるユーザの手の像が回転する前の様子を示した図である。
【図１２】本発明の実施例におけるユーザの手の像が回転した後の様子を示した図である。
【符号の説明】
【００５３】
2 手の像
4、4a、4b、4c ビデオカメラ
5 パソコン
6 ディスプレイ
7 エアコン
8 テレビ
10 使用者
11 ボリュームつまみ
12 テレビアイコン
14 テレビ画面
16 音量バー
18 テロップ
19 操作方法表示テロップ
20 エアコンアイコン
21 CGのエアコン
22 温度計
23 エアコンの羽
24 つまみカーソル
25 実行アイコン
26 領域抽出器
28 幾何学量測定器
30 命令生成器
32 映像生成器
34 映像合成器
36 その他家電
38 測定領域
【特許請求の範囲】
【請求項１】
機器に対する命令を入力する装置であって、物体操作を特徴付ける、ユーザの、所持物を含めた身体に関する幾何学量を測定する測定手段と、該測定手段が測定する幾何学量の種類をユーザに通知する幾何学量通知手段と、該測定手段から得られる測定値を入力値に変換する変換手段と、該変換手段から得られる入力値をユーザに通知する入力値通知手段と、を備えた入力装置。
【請求項２】
請求項１において、幾何学量通知手段は、測定幾何学量の種類を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えていることを特徴とする入力装置。
【請求項３】
請求項１又は２において、入力値通知手段は、入力値を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えていることを特徴とする入力装置。
【請求項４】
請求項１、２、又は３において、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作をユーザに通知する動作通知手段を設けたことを特徴とする入力装置
【請求項５】
請求項４において、動作通知手段は、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えていることを特徴とする入力装置。
【請求項６】
請求項２又は５において、請求項２であればユーザを、請求項５であれば物体を、撮影して映像として取り込む撮影手段を設け、表示手段に表示することを特徴とする入力装置
【請求項７】
請求項２、３、５、及び６において、命令を入力する対象機器に表示手段が備えられていれば該対象機器の表示手段と、幾何学量通知手段と入力値通知手段及び動作通知手段に表示手段が備えられていれば各手段の表示手段、が表示する情報を加工して重ね合わせるなどして合成する映像合成手段を設け、該映像合成手段から得られる合成映像を表示手段に表示することを特徴とした入力装置。
【請求項８】
請求項７において、撮影手段からの映像からユーザや物体のみを切り抜いた映像にする領域抽出手段を設け、映像合成手段が行う映像の加工は該領域抽出手段で行う映像の切り抜きであることを特徴とする入力装置。
【請求項９】
請求項６から８のいずれかにおいて、測定手段は、撮影手段又は領域抽出手段から得られたユーザの、所持物を含めた身体の映像に関する幾何学量を測定する映像処理測定手段を備えていることを特徴とする入力装置。
【請求項１０】
請求項１から９のいずれかにおいて、幾何学量通知手段は、測定幾何学量の種類を可聴化する可聴化手段と該可聴化手段から得られる音を鳴らすスピーカ手段を備えていることを特徴とする入力装置。
【請求項１１】
請求項１から１０のいずれかにおいて、測定値通知手段は、入力値を可聴化する可聴化手段と該可聴化手段から得られる音を鳴らすスピーカ手段を備えていることを特徴とする入力装置。
【請求項１２】
請求項１から１１のいずれかにおいて、動作通知手段は、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作に応答する音を鳴らすスピーカ手段を備えていることを特徴とする入力装置。
【請求項１３】
請求項１から１２のいずれかにおいて、入力値通知手段は、物体を動かして入力値を視覚的、触覚的、及び聴覚的、の少なくともどれか一つでユーザに通知する駆動手段を備えていることを特徴とする入力装置。
【請求項１】
機器に対する命令を入力する装置であって、物体操作を特徴付ける、ユーザの、所持物を含めた身体に関する幾何学量を測定する測定手段と、該測定手段が測定する幾何学量の種類をユーザに通知する幾何学量通知手段と、該測定手段から得られる測定値を入力値に変換する変換手段と、該変換手段から得られる入力値をユーザに通知する入力値通知手段と、を備えた入力装置。
【請求項２】
請求項１において、幾何学量通知手段は、測定幾何学量の種類を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えていることを特徴とする入力装置。
【請求項３】
請求項１又は２において、入力値通知手段は、入力値を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えていることを特徴とする入力装置。
【請求項４】
請求項１、２、又は３において、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作をユーザに通知する動作通知手段を設けたことを特徴とする入力装置
【請求項５】
請求項４において、動作通知手段は、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作を可視化する可視化手段と該可視化手段から得られる情報を表示する表示手段を備えていることを特徴とする入力装置。
【請求項６】
請求項２又は５において、請求項２であればユーザを、請求項５であれば物体を、撮影して映像として取り込む撮影手段を設け、表示手段に表示することを特徴とする入力装置
【請求項７】
請求項２、３、５、及び６において、命令を入力する対象機器に表示手段が備えられていれば該対象機器の表示手段と、幾何学量通知手段と入力値通知手段及び動作通知手段に表示手段が備えられていれば各手段の表示手段、が表示する情報を加工して重ね合わせるなどして合成する映像合成手段を設け、該映像合成手段から得られる合成映像を表示手段に表示することを特徴とした入力装置。
【請求項８】
請求項７において、撮影手段からの映像からユーザや物体のみを切り抜いた映像にする領域抽出手段を設け、映像合成手段が行う映像の加工は該領域抽出手段で行う映像の切り抜きであることを特徴とする入力装置。
【請求項９】
請求項６から８のいずれかにおいて、測定手段は、撮影手段又は領域抽出手段から得られたユーザの、所持物を含めた身体の映像に関する幾何学量を測定する映像処理測定手段を備えていることを特徴とする入力装置。
【請求項１０】
請求項１から９のいずれかにおいて、幾何学量通知手段は、測定幾何学量の種類を可聴化する可聴化手段と該可聴化手段から得られる音を鳴らすスピーカ手段を備えていることを特徴とする入力装置。
【請求項１１】
請求項１から１０のいずれかにおいて、測定値通知手段は、入力値を可聴化する可聴化手段と該可聴化手段から得られる音を鳴らすスピーカ手段を備えていることを特徴とする入力装置。
【請求項１２】
請求項１から１１のいずれかにおいて、動作通知手段は、測定手段が幾何学量を測定する、ユーザの、所持物を含めた身体の、動作に応答する音を鳴らすスピーカ手段を備えていることを特徴とする入力装置。
【請求項１３】
請求項１から１２のいずれかにおいて、入力値通知手段は、物体を動かして入力値を視覚的、触覚的、及び聴覚的、の少なくともどれか一つでユーザに通知する駆動手段を備えていることを特徴とする入力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−２６８２０９（Ｐ２００６−２６８２０９Ａ）
【公開日】平成１８年１０月５日（２００６．１０．５）
【国際特許分類】
【出願番号】特願２００５−８２９５７（Ｐ２００５−８２９５７）
【出願日】平成１７年３月２３日（２００５．３．２３）
【出願人】（３０４０１５７３７）
【出願人】（５０４２７５８３４）
【出願人】（３０５００７０８９）
【Ｆターム（参考）】
【公開日】平成１８年１０月５日（２００６．１０．５）
【国際特許分類】
【出願日】平成１７年３月２３日（２００５．３．２３）
【出願人】（３０４０１５７３７）
【出願人】（５０４２７５８３４）
【出願人】（３０５００７０８９）
【Ｆターム（参考）】
[ Back to top ]