頭部運動による入力装置及び方法
【課題】ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を直観的なインターフェースで操作することが望まれているが、習得が難しい問題や、利用制約が大である問題があった。
【解決手段】操作者のジョイスティック的な頭部運動を検出する傾斜センサ等を、頭部に装着し、ヘッドマウントディスプレイ等で表示することにより、直観的なインターフェースで、外部機器や仮想空間の物体を操作できる。
【解決手段】操作者のジョイスティック的な頭部運動を検出する傾斜センサ等を、頭部に装着し、ヘッドマウントディスプレイ等で表示することにより、直観的なインターフェースで、外部機器や仮想空間の物体を操作できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者が直観的インターフェースで機器を操作することができる頭部運動による入力装置及び方法に関する。
【背景技術】
【０００２】
現在、ロボット工学、介護福祉機器開発、エンターテインメントの分野では、機器の操作は、各種スイッチ、ジョイスティックやマウス等の手による入力操作が主である。一方、介護福祉機器の開発分野では、手足が不自由な操作者のために身体の他の部分で操作できる機器が望まれている。
【０００３】
介護福祉機器の分野において、手足による入力の代わりに手足以外の部分の操作により各種機器のスイッチ等の入力を行う装置が工夫されている。頭部運動による操作を利用する例に、頭部運動を非接触で検出し電気電子機器の入力情報を得る装置（特許文献１参照）がある。特許文献１には、手足の不自由な障害者が頭部でスイッチを操作するために、光学式センサによって頭部運動を検出する技術が示されている。
【０００４】
また、手足の運動による入力ではなく、頭部の機能の一部である眼の動きを用いた視線入力などのインターフェースに関する技術が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２０７２０１号公報
【特許文献２】特開平１１−２１１４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を直観的なインターフェースで操作することが望まれている。しかしながら、これらの目的で研究開発された新たな各種入力装置はそれぞれ独自の入力方式や入力装置が必要であり、各種入力装置をそれぞれ購入しなければならず、またそれぞれの操作を習得するのに時間がかかるという問題がある。
【０００７】
また、介護機器の操作では頭部運動に着目したものがあるが（特許文献１参照）、光学センサを環境に配置したりする必要があり、操作者の位置が限定されるなどの利用制約が大きいという問題がある。
【０００８】
特に、頭部の運動により入力操作をすることを実際に行おうとすると、操作者の頭部を上下や左右や前後に運動するヘッドトラック時に、操作対象となる機器装置は顔の正面方向からずれているために、対象が見えなくなったり、補償的な眼球運動が必要になったりしてしまうという問題がある。操作対象の機器が眼前にある機器でなく、遠隔地の機器を操作する場合には、モニター表示装置を見る必要があることが考えられるが、同様に視野から外れてしまう問題がある。
【０００９】
なお、頭部にめがねのようにディスプレイを装着するヘッドマウントディスプレイの技術が知られている。また、例えば、特許文献２には、仮想空間技術に使用されるヘッドマウントディスプレイにおいて、頭部の動きを検出するセンサ（ジャイロ、地磁気センサ、加速度センサ）からの入力信号をもとにヘッドマウントディスプレイに提示する映像範囲を変える技術が記載されている。このヘッドマウントディスプレイには、頭部の動きを検出するセンサが設けられているが、これは単に映像範囲を変えるためであり、実機の操作や制御を行うことはできないという欠点がある。また同様に仮想空間内の機器の操作や制御を行うこともできないという欠点がある。
【００１０】
本発明は、これらの問題を解決しようとするものであり、ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を直観的なインターフェースで操作することを目的とするものである。また、本発明は、操作者にとって操作が簡単で、操作を容易に習得できる装置を実現することを目的とするものである。また、操作入力のためのセンサの環境への配置が不要であることを目的とするものである。また、操作者が操作しながら操作結果を確認して、直観的なインターフェースで操作できることを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明は、前記目的を達成するために、以下の特徴を有するものである。
【００１２】
本発明の装置は、操作者の頭部に装着され、頭部のジョイスティック的な運動を検出する検出手段と、前記検出手段の出力に基づき機器を操作する制御装置と、操作結果をリアルタイムで表示する表示装置とを備え、前記表示装置により操作者にフィードバックすることを特徴とする装置である。また、本発明の装置において、前記検出手段は、頭部の前後及び左右の４方向、又は前後左右を含む８方向、又は前後左右を含む３６０度方向の運動を検出することを特徴とする。また、本発明の装置において、前記検出手段は、頭部の傾斜を検出することを特徴とする。また、本発明の装置において、前記検出手段は、加速度センサ、地磁気センサ及びジャイロセンサのうちのいずれか１つ以上のセンサからなることを特徴とする。また、本発明の装置において、前記機器は、ロボット、福祉機器、可動カメラ、可動ビデオカメラ、その他無線操縦機器のうちのいずれか１つ以上の実機であることを特徴とする。また、本発明の装置において、前記機器は、仮想空間内のアバター（自分の分身となるキャラクター）、仮想空間内の移動体（例えば電動車椅子シミュレータ）、電子文字盤、電子メッセージボードのうちのいずれか１つ以上の機器であることを特徴とする。また、本発明の装置において、前記表示装置は、操作者の視野内に配置された表示装置であることを特徴とする。また、本発明の装置において、前記表示装置は、ヘッドマウントディスプレイであることを特徴とする。また、本発明の装置の検出手段は、頭部の額、頭頂、髪等に装着又は固着されるものであることを特徴とする。また、本発明の装置は、さらに、ジョイスティック的動作以外の頭部の身体動作を検出する第２の検出手段、例えば、筋電スイッチ、呼気スイッチ、プッシュスイッチ、音声スイッチのような第２の検出手段を備え、第２の検出手段の出力に基づきマウスボタンのように外部機器を操作することを特徴とする。
【００１３】
これらの特徴により、本発明の装置は、操作者の頭部のジョイスティック的な運動を検出するので、操作者が直観的な操作することができ、かつ、操作結果や操作状況をリアルタイムで表示するので、操作者のフィードバック制御が可能となる。ここで、操作者のフィードバック制御が可能とは、通常人間の手足の運動を考えると、眼によるフィードバック制御により手や足を動かして目的の動作を遂行しているが、この状態に近い状態を実現していることをいう。
【００１４】
本発明の方法は、操作者の頭部のジョイスティック的な運動を、頭部に装着された検出手段により検出して、該検出された信号に基づき機器を操作制御すると同時に、操作結果を操作者の視野内に配置された表示装置に表示することを特徴とする方法である。また、本発明の方法において、操作者の視野内に配置された表示装置は、ヘッドマウントディスプレイであることを特徴とする。また、前記検出手段を、頭部の額、頭頂、髪等に装着又は固着して使用するものであることを特徴とする。また、本発明の方法において、前記機器を操作制御することが、外部機器のカメラを操作制御することである場合は、前記表示装置は前記カメラの写す映像を表示することを特徴とする。また、本発明の方法において、前記機器を操作制御することが、外部機器である物体を移動することである場合は、前記表示装置は前記物体の移動状況を表示することを特徴とする。また、本発明の方法において、前記機器を操作制御することが、仮想空間内の視点の移動である場合は、前記表示装置は視点移動結果（仮想空間の景色の変化）の映像を表示することを特徴とする。また、本発明の方法において、前記機器を操作制御することが、仮想空間内のオブジェクトを移動する操作制御である場合は、表示装置は前記オブジェクトの移動結果をオブジェクト視点に立った仮想空間内の景色の移動、あるいは静止した仮想空間の俯瞰的視野からオブジェクトの位置移動として表示することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を直観的なインターフェースで操作することができる。本発明は頭部をジョイスティック的に動かす動作に着目してこれを検出するものであるので、手足を使わずに外部機器を直観的に操作できる。例えば移動体（ロボットや無線操縦機器）を操作する際、頭を前に傾ければ前進、後ろに傾ければ後進する。また、頭を左に傾ければ左回転、右に傾ければ右回転する。また、本発明によれば、操作入力のためのセンサの環境への配置が不要であり、操作者の位置の自由度が高く、小型化できる。また、本発明によれば、様々な外部機器を頭部のジョイスティック的動作という同一の操作方法で操作可能である。特に身体に障害のある人や両手を他の作業に使っている人でも使えるインターフェースである。
【００１６】
本発明によれば、操作者が操作しながら操作結果を確認して操作することができるので操作者のフィードバック制御が可能である。それゆえ、上肢運動機能障害者や手を使えない状態の操作者にとって操作方法が簡単で、操作を容易に習得できる。表示装置としてヘッドマウントディスプレイを用いた場合は、表示される映像が視野内の見やすい位置にあるためにより直観的なインターフェースを実現することができる。また、ヘッドマウントディスプレイのような視野内に位置する表示装置を設けることにより、頭部動作が生じた時もカメラ・ＣＧ映像を眼前に補足し続けることができる。
【００１７】
本発明によれば、直観的インターフェースで、インターネットやイントラネットなどを介して遠隔地の外部機器の移動操作などができる。また、直観的インターフェースで、インターネットやイントラネットなどを介して遠隔地の可動カメラの操作や外部機器の移動や操作結果のカメラ映像の取得ができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の装置を示す概念図。
【図２】本発明の動作原理を示すブロック図。
【図３】本発明の装置を用いて、操作者が立位或いは座位（ａ）又は寝て（ｂ）、ジョイスティック的動作を行いこれを検出するときの説明図。
【発明を実施するための形態】
【００１９】
本発明は、操作者が直観的インターフェースで機器を操作することができる頭部運動による入力装置及び方法である。
【００２０】
（第１の実施の形態）
本発明の第１の実施の形態について、図１を参照して以下説明する。図１は、頭部運動による入力装置及び方法を模式的に示す図である。
【００２１】
図１では、操作者は、頭部の前頭部や額にセンサを装着している。センサは、簡易的に接着剤により肌に固着したり、装着具により装着したり、ヘッドマウントディスプレイの一部に固着したりして固定する。頭部のどこの位置であってもセンサにより操作者のジョイスティック的動作を検出できる位置に固着するとよい。操作者が、図１の操作者頭部に矢印で示すように、頭部を前後左右又は３６０度にわたり、ジョイスティック的に動かすと、センサは頭部の傾斜を検出し検出信号を出力する。図１では、首を軸にして頭を前後左右又は３６０度の方向にわたり傾ける動作を図示している。
【００２２】
図１のように、センサの出力信号、すなわち検出信号がコンピューターに入力されてさらに制御信号処理が実行されて、従来のジョイスティックの入力信号が入力される場合と同様に、機器を操作制御する。
【００２３】
図１において、操作者はヘッドマウントディスプレイを頭部に装着している。機器が操作されると同時に操作結果や操作状況が映像としてカメラなどにより取り込まれコンピューターで映像信号処理が実行されて、ディスプレイにリアルタイムで操作結果や操作状況が表示される。操作者は、頭をジョイスティック的に動作することで機器の操作を行い、その操作結果や操作状況が表示装置に提示されているので、当該操作結果や操作状況を操作者自身が眼で確認しながら、いわゆる操作者のフィードバック制御が可能となる。操作者にとって、直観的なインターフェースで機器を操作することができる。
【００２４】
図１において、操作対象としてカメラ付き無線操縦機器（ラジオコントロールカー）を想定して説明する。操作者の頭部運動を検出した信号により無線操縦機器を移動操作する。無線操縦機器の天井に前向きに設置されているカメラの撮影する映像が、コンピューターを介して操作者の視野内にあるヘッドマウントディスプレイに表示されるように設定する。無線操縦機器が操作されて移動している場合、無線操縦機器のカメラの撮影する映像が逐次ヘッドマウントディスプレイに表示される。このようにリアルタイムでフィードバックすることにより、その移動の操作性を高めることができる。例えば頭部を前に傾けると無線操縦機器は前方に進み、頭部を後ろに傾けると無線操縦機器は後退し、頭部を右に傾けると無線操縦機器は右回転して右方向へ進み、頭部を左に傾けると無線操縦機器は左回転して左方向へ進むというように、操作制御する。このときリアルタイムでカメラからの映像を操作者がみることができるので直観的インターフェースで操作が可能である。
【００２５】
図１のように、操作対象として、無線操縦機器以外に、外部機器のカメラ制御、外部機器の物体移動、仮想空間での視点移動、仮想空間での物体移動がある。操作対象が外部機器のカメラを操作制御することである場合は、表示装置はカメラの写す映像を表示する。また、操作対象が、外部機器である物体（例えばロボットアーム）を移動することである場合は、表示装置は物体（オブジェクト）の形状や位置の変化（例えばロボットアームの動き）を映像表示する。また、操作対象が、仮想空間内での視点の移動である場合は、表示装置は視点移動結果（仮想空間の景色の変化）の映像を表示する。また、操作対象が、仮想空間内の物体を移動することである場合は、表示装置は仮想空間内での該物体移動状況を映像表示する。
【００２６】
頭部のジョイスティック的な運動を検出する検出手段について、さらに説明する。
【００２７】
ジョイスティック的に動かす頭部運動とは、図１のように首を支点として、重力方向の軸をジョイスティックの軸と対応させた運動の他にも次のようなものを指す。操作者が立っている状態、あるいは椅子やベッドで体を起こした状態で、腰などの胴体部分を支点とし、頭部を含むそれよりも上の身体部位全体を用いてジョイスティック的に動かす場合も頭部のジョイスティック的運動という。また、操作者がベッドの上で横たわっている状態、例えば仰向けに寝た状態においても、首を支点として頭部の中心を含む重力方向の軸をジョイスティックの軸と対応させたイメージでの、顔を左右に向けたり、あごを上げ下げしたりする運動も、ジョイスティック的頭部運動という。いずれの場合も傾斜センサは、ジョイスティック的運動による頭部の傾斜を検出できるかぎり、頭頂あるいは額など頭部のどの位置にあってもよい。ただし、センサは軸上の最も高い頭部位置に設置することで最大の利得を得ることができる。
【００２８】
重力加速度を検出する傾斜センサを用いることで、頭部が同じ状態で傾斜し続けている限り、一定の信号を出し続けるため、安定した制御が可能である。動きを検出するジャイロセンサや加速度センサでも、動作開始からの変化を積分することで頭部の傾斜の程度を推定することは可能であるが、動きだす前の状態（初期値）を設定する別の方法が必要となる。なお直立状態で首の横振りなどを検出するためには地磁気センサが使用されることが多いが、本発明で着目する頭部の傾斜は地磁気センサでは測定できない。光学センサやカメラ撮影による画像解析などでも頭部の傾斜は測定できるが、本発明では重力加速度センサを額や頭頂など頭部のどこかに設置するだけなので、操作者は外部環境の測定装置の有無や測定範囲の制約のない状態で動かせる。操作者が立って（立位）或いは椅子等に座って（座位）ジョイスティック的動作を行う例を図３（ａ）に、操作者が寝てジョイスティック的動作を行う例を図３（ｂ）に図示する。傾斜センサを３軸方向に対応した３個の重力加速度センサからなる構成にすることによって、図３のように、同一人物が椅子に座っている状態から、仰向けに寝ている状態や体を横にしている状態に、体の位置や姿勢を変えても、制御用ＰＣでのわずかな設定作業（軸方向の変更）で外部機器等の操作を継続することが可能である。
【００２９】
検出手段の出力に基づき機器を操作する制御装置について説明する。
【００３０】
ここで、図２は、装置の動作原理を説明するための図である。図２においてユーザーの頭部に取り付けられた傾斜センサで検出された頭部運動に関する情報は、無線あるいは有線によってデータ解析用のＰＣ上の制御プロセスのひとつ「操作指令ユニット」に送られる。このユニットでは、センサ入力の補正（ゲインの調節や極性の選択によるキャリブレーション）が行われ、センサのデータがオブジェクト（操作対象）を直感的かつリアルタイムに動かすことができるような操作指令に変換され、実際にオブジェクトに信号が送られる。この際、最適パラメーターをファイルに保存・読み出し機能を付加しておくことにより、常に同じような環境を再現することが可能である。具体的にはユーザーや使用センサの違い、操作対象のオブジェクト種類などの組み合わせごとに異なるパラメーターファイルに保存すると設定が迅速となり利便性が向上する。
【００３１】
操作対象の機器について説明する。
【００３２】
操作制御対象の機器としては、可動カメラ、カメラ付き移動体（ロボットや自動車型玩具など）、カメラ監視下にあるロボット（もしくは無線操縦機器など）などの実機に加え、仮想空間内のアバター（移動方向や身体動作）、電子文字盤、電子メッセージボードなどのプログラムも対象としている。ここで、頭部動作が外部機器等の直接連動していることが本発明の特徴であり、必ずしもパソコン画面上のマウスカーソル等を動かして、さらに何かを操作するという必要がない。現実に存在する外部機器であっても仮想空間内の機器であっても同様の原理で移動可能である（両者を総称して「オブジェクト」と呼ぶ）。
【００３３】
ここで、外部機器として実機が操作者の近くにある場合はシリアル接続やその他有線による制御を行う場合もあるが、遠隔地の機器はインターネット／イントラネット経由などを介して制御信号を送る。コンピューターのプログラムの場合は、そのプログラムを制御用ＰＣ上、もしくはインターネットのサーバー上で稼働させる。
【００３４】
オブジェクト側の「操作対象部位」に送られる操作指令にはオブジェクト全体を移動する場合やオブジェクトの一部、例えばカメラの向きを変える操作する場合などがありうる。外部環境、あるいは仮想空間でオブジェクト全体が移動する場合において、オブジェクトの視点における風景の移動や、空間全体におけるオブジェクトの俯瞰的位置の変化を撮影した画像としてユーザーにフィードバックを行う。オブジェクトの一部を変化させる場合、例えばロボットアームを動かす場合でも、外部からロボットアームを撮影した映像だけでなく、アーム先端にあるカメラからの映像を記録し、その変化をフィードバックさせることが可能である。また、電子文字盤のメニュー、あるいは仮想空間内の複数の物体のうちの一つを選び、画像的にマーキングするなどのフィードバックも可能である。これらの処理は制御プロセスの「フィードバックユニット」の働きにより、信号の変換などが行われ、リアルタイムでユーザー側の表示装置へ出力される。
【００３５】
表示装置の表示についてさらに説明する。
【００３６】
オブジェクトの移動の結果をヘッドマウントディスプレイなどのモニター画面にリアルタイムでフィードバックすることにより、その移動の操作性を高めることができる。フィードバックする画像としては、オブジェクトを離れた位置から観察するカメラ（もしくはＣＧアングル）でとらえることもできるし、オブジェクトに取り付けたカメラの映像（もしくはオブジェクト視点のＣＧ）を提示する。実写カメラ映像や、仮想空間のＣＧ、その他プログラム画面は、汎用「フィードバックユニット」の機能によって単眼もしくは両眼ヘッドマウントディスプレイ（ＨＭＤ）に提示する。
【００３７】
オブジェクト操作のフィードバック画像をヘッドマウントディスプレイ（ＨＭＤ）上に提示することにより、頭部を移動させても常に対象を眼前に捉えることが可能である。従来の視線の動きにより入力するような視線移動方式のインターフェースでは、不用意な眼球運動で誤作動が生じるという欠点があるのに対して、本発明では、ヘッドマウントディスプレイ画面の画像を詳しく見ることができる上に、眼球運動を行っても誤作動が生じない。使用するヘッドマウントディスプレイとしては、視野範囲を変更するための傾斜センサ内蔵タイプのものもあるが、傾斜センサが付いていないものでもよい。またヘッドマウントディスプレイのフレームに、あるいはヘッドマウントディスプレイから離れた場所にセンサを取り付けたものであってもよい。
【００３８】
ここで、実写カメラ映像の取得は制御用ＰＣに直接つながったＵＳＢカメラで行えるが、遠隔地の場合はＬＡＮ環境下で作動するネットワークカメラを利用する。
【００３９】
表示装置は頭部運動を行っても視野からなずれないものであればヘッドマウントディスプレイでなくても、操作結果を操作者の視野内に配置された表示装置であればよく、操作者の視野内に配置されたディスプレイやモニターなどの表示装置でよい。
【００４０】
本発明の装置によって、次のような直観的操作も可能となる。立って体全体を前後に傾けたり左右に傾けたりすることは、あたかも操作者の体全体がジョイスティックの棒に相当するような運動であり、例えば、一輪車や二輪車に乗ったり、スキーやスノボーを行う際の体の操作感覚と類似であるから、操作者が直観的に前進・後進・停止・左折・右折などの操作を、直観的に行うことができる。また操作を習得することが簡単である。
【００４１】
例えば、立って体全体を前後に傾けたり左右に傾けたりすると、頭部に装着されたセンサ、例えば傾斜センサが、頭部の前後への傾斜や左右への傾斜を検出する。この検出信号に応じて、表示装置においての表示が、機器が前進や後進した映像、左折や右折した映像というように変化したり、映像視野が変化したりする。
【００４２】
（第２の実施の形態）
第１の実施の形態では、カメラ付き無線操縦機器（ラジオコントロールカー）を具体例として説明したが、第２の実施の形態では、操作対象の機器として、可動カメラを用いて試作を行った例について述べる。操作者が頭部運動を行い、この頭部運動を傾斜センサにより検出した信号をコンピューターに入力した。検出信号に基づき、「操作指令ユニット」により、離れた場所の可動カメラの制御信号（操作指令）を出力して可動カメラを操作すると共に、可動カメラからの映像をコンピューターに取り込んで「フィードバックユニット」によりヘッドマウントディスプレイに表示した。このようなシステムにより、操作者の操作のフィードバックを可能にした。
【００４３】
（第３の実施の形態）
操作対象の機器として、移動ロボットを用いて試作を行った例について述べる。操作者が頭部運動を行い、この頭部運動を傾斜センサにより検出した信号をコンピューターに入力した。検出信号に基づき、「操作指令ユニット」がロボットの移動方向に関する制御信号を、無線ＬＡＮを介して出力して移動操作を行うとともに、ロボットに設けたカメラからの映像を、無線ＬＡＮを介してコンピューターに取り込んだ「フィードバックユニット」によりヘッドマウントディスプレイに表示した。このようなシステムにより、操作者の操作のフィードバックを可能にした。また、ロボットに設けたカメラからの映像の代わりに、天井に設置したカメラによって撮影したロボットの物体移動の映像を表示するようにしてもよい。さらに、制御対象としてはロボットの代わりに玩具などの移動可能な装置であってもよい。
【００４４】
（第４の実施の形態）
操作対象の機器として、電動車いすシミュレーターを用いて試作を行った例について述べる。電動車いすシミュレーターとは、仮想空間において電動車いすの移動の様子を再現するソフトであり、電動車いすを実際に使用する前に練習をしたり、電動車いすを制御するインターフェースを開発したりするためのものである。操作者が頭部運動を行い、この頭部運動を傾斜センサにより検出した信号をコンピューターに入力した。検出信号に基づき、「操作指令ユニット」により、電動車いすシミュレーターの制御信号を出力して電動車いすシミュレーターの移動シミュレーター操作を行うとともに、あたかも電動車いすに乗っているときのようなＣＧ映像を「フィードバックユニット」からヘッドマウントディスプレイに表示した。このようなシステムにより、操作者の操作のリアルタイムフィードバックを可能にした。ここで表示される映像は、電動車いすシミュレーターの操作者の視点の仮想空間の風景ＣＧ映像でもよいし、その代わりに、電動車椅子自体の物体移動の様子がわかる別視点の映像であってもよい。
【００４５】
（第５の実施の形態）
操作対象の機器として、電子メッセージボードを用いて試作を行った例について述べる。電子メッセージボードは重度の運動機能や発話機能に重度の障害を持つ人々のための意思伝達支援ツールである。簡単なものでは「はい」か「いいえ」の選択を、複雑なものであれば喜怒哀楽の感情種や具体的なトイレや体のケアなど具体的なメッセージ内容を、キーボードやタッチパネルで選択することによって他者とのコミュニケーションを行うものである。メッセージが書かれたボタンなどを用いた装置もあるが、コンピューターソフトとマウスなどのポインティングデバイスで操作するものも多い。このような装置のモデルをソフト的に試作すると同時に、頭部運動によって選択肢を指し示すカーソル移動、あるいは選択肢自身の移動を行うインターフェースを構築した。選択肢としてはまとまった言葉によるメッセージだけでなく、絵や写真、あるいはメッセージとそれらの組み合わせも可能である。また、ひらがなやカタカナ、アルファベットなどの１文字１文字を選ぶ方式であってもよい。また、メッセージの入力を助けるバックスペースキー（直前の選択を取り消す）や、漢字変換操作、選択決定のボタンなどの編集操作のための選択なども頭部動作によって行うことが可能である。
【００４６】
本発明では、第１から第５の各実施形態で示した複数種類の操作対象機器と、頭部運動のジョイスティック的頭部運動として例示した運動と、表示装置として例示したディスプレイを適宜組み合わせて実施することができる。
【００４７】
実施の形態において、頭部運動としてジョイスティック的運動のみの例を示したが、さらに、頭部運動の検出に基づいて、他の１つ又は２つ以上のスイッチ機能を追加してもよい。まぶたやほほあるいは耳などの表情筋の筋活動を、生体アンプでモニターすることによって１つの筋電スイッチとして併用することも可能である。また、左右のまばたきやほほの筋肉の収縮など左右独立して動かせる場合などは２つのスイッチとして利用することも可能である。その場合はコンピューターマウスの左右ボタンのクリック操作を行う感覚で機器を制御する機能も付加できる。このように、ジョイスティック的動作以外の頭部の身体動作の検出の例としては、まぶたやほほあるいは耳などの表情筋の筋活動を筋電スイッチ等で検出すること、顎の動きをプッシュスイッチ等で検出すること、呼気の量（空気圧）を呼気スイッチ等により検出すること、声を音声スイッチにより検出すること等がある。
【００４８】
本発明で使用する傾斜センサとしては、近年、高精度で安価、低電力のパーツとして利用が盛んな重力加速度センサが最適であるが、ジャイロセンサなど他のセンサによっても代替することは可能である。また、図３のように寝た状態において、首を横に振る方向でなく、立位と同様、首の耳の方向への傾斜を検出する方式で入力を行うためには、地磁気センサを利用することが可能である（首の縦方向の検出は重力加速度センサが利用可能）。
【００４９】
なお、上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
【産業上の利用可能性】
【００５０】
本発明の頭部運動による直観的インターフェースを実現する装置及び方法によれば、重度身体障害者の「生活の質」を向上させる福祉機器の開発、素早い操作が要求されるロボット制御システムの開発、臨場感のあるゲームの開発、仮想空間における自然な移動手段の開発に有用である。
【技術分野】
【０００１】
本発明は、操作者が直観的インターフェースで機器を操作することができる頭部運動による入力装置及び方法に関する。
【背景技術】
【０００２】
現在、ロボット工学、介護福祉機器開発、エンターテインメントの分野では、機器の操作は、各種スイッチ、ジョイスティックやマウス等の手による入力操作が主である。一方、介護福祉機器の開発分野では、手足が不自由な操作者のために身体の他の部分で操作できる機器が望まれている。
【０００３】
介護福祉機器の分野において、手足による入力の代わりに手足以外の部分の操作により各種機器のスイッチ等の入力を行う装置が工夫されている。頭部運動による操作を利用する例に、頭部運動を非接触で検出し電気電子機器の入力情報を得る装置（特許文献１参照）がある。特許文献１には、手足の不自由な障害者が頭部でスイッチを操作するために、光学式センサによって頭部運動を検出する技術が示されている。
【０００４】
また、手足の運動による入力ではなく、頭部の機能の一部である眼の動きを用いた視線入力などのインターフェースに関する技術が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２０７２０１号公報
【特許文献２】特開平１１−２１１４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を直観的なインターフェースで操作することが望まれている。しかしながら、これらの目的で研究開発された新たな各種入力装置はそれぞれ独自の入力方式や入力装置が必要であり、各種入力装置をそれぞれ購入しなければならず、またそれぞれの操作を習得するのに時間がかかるという問題がある。
【０００７】
また、介護機器の操作では頭部運動に着目したものがあるが（特許文献１参照）、光学センサを環境に配置したりする必要があり、操作者の位置が限定されるなどの利用制約が大きいという問題がある。
【０００８】
特に、頭部の運動により入力操作をすることを実際に行おうとすると、操作者の頭部を上下や左右や前後に運動するヘッドトラック時に、操作対象となる機器装置は顔の正面方向からずれているために、対象が見えなくなったり、補償的な眼球運動が必要になったりしてしまうという問題がある。操作対象の機器が眼前にある機器でなく、遠隔地の機器を操作する場合には、モニター表示装置を見る必要があることが考えられるが、同様に視野から外れてしまう問題がある。
【０００９】
なお、頭部にめがねのようにディスプレイを装着するヘッドマウントディスプレイの技術が知られている。また、例えば、特許文献２には、仮想空間技術に使用されるヘッドマウントディスプレイにおいて、頭部の動きを検出するセンサ（ジャイロ、地磁気センサ、加速度センサ）からの入力信号をもとにヘッドマウントディスプレイに提示する映像範囲を変える技術が記載されている。このヘッドマウントディスプレイには、頭部の動きを検出するセンサが設けられているが、これは単に映像範囲を変えるためであり、実機の操作や制御を行うことはできないという欠点がある。また同様に仮想空間内の機器の操作や制御を行うこともできないという欠点がある。
【００１０】
本発明は、これらの問題を解決しようとするものであり、ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を直観的なインターフェースで操作することを目的とするものである。また、本発明は、操作者にとって操作が簡単で、操作を容易に習得できる装置を実現することを目的とするものである。また、操作入力のためのセンサの環境への配置が不要であることを目的とするものである。また、操作者が操作しながら操作結果を確認して、直観的なインターフェースで操作できることを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明は、前記目的を達成するために、以下の特徴を有するものである。
【００１２】
本発明の装置は、操作者の頭部に装着され、頭部のジョイスティック的な運動を検出する検出手段と、前記検出手段の出力に基づき機器を操作する制御装置と、操作結果をリアルタイムで表示する表示装置とを備え、前記表示装置により操作者にフィードバックすることを特徴とする装置である。また、本発明の装置において、前記検出手段は、頭部の前後及び左右の４方向、又は前後左右を含む８方向、又は前後左右を含む３６０度方向の運動を検出することを特徴とする。また、本発明の装置において、前記検出手段は、頭部の傾斜を検出することを特徴とする。また、本発明の装置において、前記検出手段は、加速度センサ、地磁気センサ及びジャイロセンサのうちのいずれか１つ以上のセンサからなることを特徴とする。また、本発明の装置において、前記機器は、ロボット、福祉機器、可動カメラ、可動ビデオカメラ、その他無線操縦機器のうちのいずれか１つ以上の実機であることを特徴とする。また、本発明の装置において、前記機器は、仮想空間内のアバター（自分の分身となるキャラクター）、仮想空間内の移動体（例えば電動車椅子シミュレータ）、電子文字盤、電子メッセージボードのうちのいずれか１つ以上の機器であることを特徴とする。また、本発明の装置において、前記表示装置は、操作者の視野内に配置された表示装置であることを特徴とする。また、本発明の装置において、前記表示装置は、ヘッドマウントディスプレイであることを特徴とする。また、本発明の装置の検出手段は、頭部の額、頭頂、髪等に装着又は固着されるものであることを特徴とする。また、本発明の装置は、さらに、ジョイスティック的動作以外の頭部の身体動作を検出する第２の検出手段、例えば、筋電スイッチ、呼気スイッチ、プッシュスイッチ、音声スイッチのような第２の検出手段を備え、第２の検出手段の出力に基づきマウスボタンのように外部機器を操作することを特徴とする。
【００１３】
これらの特徴により、本発明の装置は、操作者の頭部のジョイスティック的な運動を検出するので、操作者が直観的な操作することができ、かつ、操作結果や操作状況をリアルタイムで表示するので、操作者のフィードバック制御が可能となる。ここで、操作者のフィードバック制御が可能とは、通常人間の手足の運動を考えると、眼によるフィードバック制御により手や足を動かして目的の動作を遂行しているが、この状態に近い状態を実現していることをいう。
【００１４】
本発明の方法は、操作者の頭部のジョイスティック的な運動を、頭部に装着された検出手段により検出して、該検出された信号に基づき機器を操作制御すると同時に、操作結果を操作者の視野内に配置された表示装置に表示することを特徴とする方法である。また、本発明の方法において、操作者の視野内に配置された表示装置は、ヘッドマウントディスプレイであることを特徴とする。また、前記検出手段を、頭部の額、頭頂、髪等に装着又は固着して使用するものであることを特徴とする。また、本発明の方法において、前記機器を操作制御することが、外部機器のカメラを操作制御することである場合は、前記表示装置は前記カメラの写す映像を表示することを特徴とする。また、本発明の方法において、前記機器を操作制御することが、外部機器である物体を移動することである場合は、前記表示装置は前記物体の移動状況を表示することを特徴とする。また、本発明の方法において、前記機器を操作制御することが、仮想空間内の視点の移動である場合は、前記表示装置は視点移動結果（仮想空間の景色の変化）の映像を表示することを特徴とする。また、本発明の方法において、前記機器を操作制御することが、仮想空間内のオブジェクトを移動する操作制御である場合は、表示装置は前記オブジェクトの移動結果をオブジェクト視点に立った仮想空間内の景色の移動、あるいは静止した仮想空間の俯瞰的視野からオブジェクトの位置移動として表示することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を直観的なインターフェースで操作することができる。本発明は頭部をジョイスティック的に動かす動作に着目してこれを検出するものであるので、手足を使わずに外部機器を直観的に操作できる。例えば移動体（ロボットや無線操縦機器）を操作する際、頭を前に傾ければ前進、後ろに傾ければ後進する。また、頭を左に傾ければ左回転、右に傾ければ右回転する。また、本発明によれば、操作入力のためのセンサの環境への配置が不要であり、操作者の位置の自由度が高く、小型化できる。また、本発明によれば、様々な外部機器を頭部のジョイスティック的動作という同一の操作方法で操作可能である。特に身体に障害のある人や両手を他の作業に使っている人でも使えるインターフェースである。
【００１６】
本発明によれば、操作者が操作しながら操作結果を確認して操作することができるので操作者のフィードバック制御が可能である。それゆえ、上肢運動機能障害者や手を使えない状態の操作者にとって操作方法が簡単で、操作を容易に習得できる。表示装置としてヘッドマウントディスプレイを用いた場合は、表示される映像が視野内の見やすい位置にあるためにより直観的なインターフェースを実現することができる。また、ヘッドマウントディスプレイのような視野内に位置する表示装置を設けることにより、頭部動作が生じた時もカメラ・ＣＧ映像を眼前に補足し続けることができる。
【００１７】
本発明によれば、直観的インターフェースで、インターネットやイントラネットなどを介して遠隔地の外部機器の移動操作などができる。また、直観的インターフェースで、インターネットやイントラネットなどを介して遠隔地の可動カメラの操作や外部機器の移動や操作結果のカメラ映像の取得ができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の装置を示す概念図。
【図２】本発明の動作原理を示すブロック図。
【図３】本発明の装置を用いて、操作者が立位或いは座位（ａ）又は寝て（ｂ）、ジョイスティック的動作を行いこれを検出するときの説明図。
【発明を実施するための形態】
【００１９】
本発明は、操作者が直観的インターフェースで機器を操作することができる頭部運動による入力装置及び方法である。
【００２０】
（第１の実施の形態）
本発明の第１の実施の形態について、図１を参照して以下説明する。図１は、頭部運動による入力装置及び方法を模式的に示す図である。
【００２１】
図１では、操作者は、頭部の前頭部や額にセンサを装着している。センサは、簡易的に接着剤により肌に固着したり、装着具により装着したり、ヘッドマウントディスプレイの一部に固着したりして固定する。頭部のどこの位置であってもセンサにより操作者のジョイスティック的動作を検出できる位置に固着するとよい。操作者が、図１の操作者頭部に矢印で示すように、頭部を前後左右又は３６０度にわたり、ジョイスティック的に動かすと、センサは頭部の傾斜を検出し検出信号を出力する。図１では、首を軸にして頭を前後左右又は３６０度の方向にわたり傾ける動作を図示している。
【００２２】
図１のように、センサの出力信号、すなわち検出信号がコンピューターに入力されてさらに制御信号処理が実行されて、従来のジョイスティックの入力信号が入力される場合と同様に、機器を操作制御する。
【００２３】
図１において、操作者はヘッドマウントディスプレイを頭部に装着している。機器が操作されると同時に操作結果や操作状況が映像としてカメラなどにより取り込まれコンピューターで映像信号処理が実行されて、ディスプレイにリアルタイムで操作結果や操作状況が表示される。操作者は、頭をジョイスティック的に動作することで機器の操作を行い、その操作結果や操作状況が表示装置に提示されているので、当該操作結果や操作状況を操作者自身が眼で確認しながら、いわゆる操作者のフィードバック制御が可能となる。操作者にとって、直観的なインターフェースで機器を操作することができる。
【００２４】
図１において、操作対象としてカメラ付き無線操縦機器（ラジオコントロールカー）を想定して説明する。操作者の頭部運動を検出した信号により無線操縦機器を移動操作する。無線操縦機器の天井に前向きに設置されているカメラの撮影する映像が、コンピューターを介して操作者の視野内にあるヘッドマウントディスプレイに表示されるように設定する。無線操縦機器が操作されて移動している場合、無線操縦機器のカメラの撮影する映像が逐次ヘッドマウントディスプレイに表示される。このようにリアルタイムでフィードバックすることにより、その移動の操作性を高めることができる。例えば頭部を前に傾けると無線操縦機器は前方に進み、頭部を後ろに傾けると無線操縦機器は後退し、頭部を右に傾けると無線操縦機器は右回転して右方向へ進み、頭部を左に傾けると無線操縦機器は左回転して左方向へ進むというように、操作制御する。このときリアルタイムでカメラからの映像を操作者がみることができるので直観的インターフェースで操作が可能である。
【００２５】
図１のように、操作対象として、無線操縦機器以外に、外部機器のカメラ制御、外部機器の物体移動、仮想空間での視点移動、仮想空間での物体移動がある。操作対象が外部機器のカメラを操作制御することである場合は、表示装置はカメラの写す映像を表示する。また、操作対象が、外部機器である物体（例えばロボットアーム）を移動することである場合は、表示装置は物体（オブジェクト）の形状や位置の変化（例えばロボットアームの動き）を映像表示する。また、操作対象が、仮想空間内での視点の移動である場合は、表示装置は視点移動結果（仮想空間の景色の変化）の映像を表示する。また、操作対象が、仮想空間内の物体を移動することである場合は、表示装置は仮想空間内での該物体移動状況を映像表示する。
【００２６】
頭部のジョイスティック的な運動を検出する検出手段について、さらに説明する。
【００２７】
ジョイスティック的に動かす頭部運動とは、図１のように首を支点として、重力方向の軸をジョイスティックの軸と対応させた運動の他にも次のようなものを指す。操作者が立っている状態、あるいは椅子やベッドで体を起こした状態で、腰などの胴体部分を支点とし、頭部を含むそれよりも上の身体部位全体を用いてジョイスティック的に動かす場合も頭部のジョイスティック的運動という。また、操作者がベッドの上で横たわっている状態、例えば仰向けに寝た状態においても、首を支点として頭部の中心を含む重力方向の軸をジョイスティックの軸と対応させたイメージでの、顔を左右に向けたり、あごを上げ下げしたりする運動も、ジョイスティック的頭部運動という。いずれの場合も傾斜センサは、ジョイスティック的運動による頭部の傾斜を検出できるかぎり、頭頂あるいは額など頭部のどの位置にあってもよい。ただし、センサは軸上の最も高い頭部位置に設置することで最大の利得を得ることができる。
【００２８】
重力加速度を検出する傾斜センサを用いることで、頭部が同じ状態で傾斜し続けている限り、一定の信号を出し続けるため、安定した制御が可能である。動きを検出するジャイロセンサや加速度センサでも、動作開始からの変化を積分することで頭部の傾斜の程度を推定することは可能であるが、動きだす前の状態（初期値）を設定する別の方法が必要となる。なお直立状態で首の横振りなどを検出するためには地磁気センサが使用されることが多いが、本発明で着目する頭部の傾斜は地磁気センサでは測定できない。光学センサやカメラ撮影による画像解析などでも頭部の傾斜は測定できるが、本発明では重力加速度センサを額や頭頂など頭部のどこかに設置するだけなので、操作者は外部環境の測定装置の有無や測定範囲の制約のない状態で動かせる。操作者が立って（立位）或いは椅子等に座って（座位）ジョイスティック的動作を行う例を図３（ａ）に、操作者が寝てジョイスティック的動作を行う例を図３（ｂ）に図示する。傾斜センサを３軸方向に対応した３個の重力加速度センサからなる構成にすることによって、図３のように、同一人物が椅子に座っている状態から、仰向けに寝ている状態や体を横にしている状態に、体の位置や姿勢を変えても、制御用ＰＣでのわずかな設定作業（軸方向の変更）で外部機器等の操作を継続することが可能である。
【００２９】
検出手段の出力に基づき機器を操作する制御装置について説明する。
【００３０】
ここで、図２は、装置の動作原理を説明するための図である。図２においてユーザーの頭部に取り付けられた傾斜センサで検出された頭部運動に関する情報は、無線あるいは有線によってデータ解析用のＰＣ上の制御プロセスのひとつ「操作指令ユニット」に送られる。このユニットでは、センサ入力の補正（ゲインの調節や極性の選択によるキャリブレーション）が行われ、センサのデータがオブジェクト（操作対象）を直感的かつリアルタイムに動かすことができるような操作指令に変換され、実際にオブジェクトに信号が送られる。この際、最適パラメーターをファイルに保存・読み出し機能を付加しておくことにより、常に同じような環境を再現することが可能である。具体的にはユーザーや使用センサの違い、操作対象のオブジェクト種類などの組み合わせごとに異なるパラメーターファイルに保存すると設定が迅速となり利便性が向上する。
【００３１】
操作対象の機器について説明する。
【００３２】
操作制御対象の機器としては、可動カメラ、カメラ付き移動体（ロボットや自動車型玩具など）、カメラ監視下にあるロボット（もしくは無線操縦機器など）などの実機に加え、仮想空間内のアバター（移動方向や身体動作）、電子文字盤、電子メッセージボードなどのプログラムも対象としている。ここで、頭部動作が外部機器等の直接連動していることが本発明の特徴であり、必ずしもパソコン画面上のマウスカーソル等を動かして、さらに何かを操作するという必要がない。現実に存在する外部機器であっても仮想空間内の機器であっても同様の原理で移動可能である（両者を総称して「オブジェクト」と呼ぶ）。
【００３３】
ここで、外部機器として実機が操作者の近くにある場合はシリアル接続やその他有線による制御を行う場合もあるが、遠隔地の機器はインターネット／イントラネット経由などを介して制御信号を送る。コンピューターのプログラムの場合は、そのプログラムを制御用ＰＣ上、もしくはインターネットのサーバー上で稼働させる。
【００３４】
オブジェクト側の「操作対象部位」に送られる操作指令にはオブジェクト全体を移動する場合やオブジェクトの一部、例えばカメラの向きを変える操作する場合などがありうる。外部環境、あるいは仮想空間でオブジェクト全体が移動する場合において、オブジェクトの視点における風景の移動や、空間全体におけるオブジェクトの俯瞰的位置の変化を撮影した画像としてユーザーにフィードバックを行う。オブジェクトの一部を変化させる場合、例えばロボットアームを動かす場合でも、外部からロボットアームを撮影した映像だけでなく、アーム先端にあるカメラからの映像を記録し、その変化をフィードバックさせることが可能である。また、電子文字盤のメニュー、あるいは仮想空間内の複数の物体のうちの一つを選び、画像的にマーキングするなどのフィードバックも可能である。これらの処理は制御プロセスの「フィードバックユニット」の働きにより、信号の変換などが行われ、リアルタイムでユーザー側の表示装置へ出力される。
【００３５】
表示装置の表示についてさらに説明する。
【００３６】
オブジェクトの移動の結果をヘッドマウントディスプレイなどのモニター画面にリアルタイムでフィードバックすることにより、その移動の操作性を高めることができる。フィードバックする画像としては、オブジェクトを離れた位置から観察するカメラ（もしくはＣＧアングル）でとらえることもできるし、オブジェクトに取り付けたカメラの映像（もしくはオブジェクト視点のＣＧ）を提示する。実写カメラ映像や、仮想空間のＣＧ、その他プログラム画面は、汎用「フィードバックユニット」の機能によって単眼もしくは両眼ヘッドマウントディスプレイ（ＨＭＤ）に提示する。
【００３７】
オブジェクト操作のフィードバック画像をヘッドマウントディスプレイ（ＨＭＤ）上に提示することにより、頭部を移動させても常に対象を眼前に捉えることが可能である。従来の視線の動きにより入力するような視線移動方式のインターフェースでは、不用意な眼球運動で誤作動が生じるという欠点があるのに対して、本発明では、ヘッドマウントディスプレイ画面の画像を詳しく見ることができる上に、眼球運動を行っても誤作動が生じない。使用するヘッドマウントディスプレイとしては、視野範囲を変更するための傾斜センサ内蔵タイプのものもあるが、傾斜センサが付いていないものでもよい。またヘッドマウントディスプレイのフレームに、あるいはヘッドマウントディスプレイから離れた場所にセンサを取り付けたものであってもよい。
【００３８】
ここで、実写カメラ映像の取得は制御用ＰＣに直接つながったＵＳＢカメラで行えるが、遠隔地の場合はＬＡＮ環境下で作動するネットワークカメラを利用する。
【００３９】
表示装置は頭部運動を行っても視野からなずれないものであればヘッドマウントディスプレイでなくても、操作結果を操作者の視野内に配置された表示装置であればよく、操作者の視野内に配置されたディスプレイやモニターなどの表示装置でよい。
【００４０】
本発明の装置によって、次のような直観的操作も可能となる。立って体全体を前後に傾けたり左右に傾けたりすることは、あたかも操作者の体全体がジョイスティックの棒に相当するような運動であり、例えば、一輪車や二輪車に乗ったり、スキーやスノボーを行う際の体の操作感覚と類似であるから、操作者が直観的に前進・後進・停止・左折・右折などの操作を、直観的に行うことができる。また操作を習得することが簡単である。
【００４１】
例えば、立って体全体を前後に傾けたり左右に傾けたりすると、頭部に装着されたセンサ、例えば傾斜センサが、頭部の前後への傾斜や左右への傾斜を検出する。この検出信号に応じて、表示装置においての表示が、機器が前進や後進した映像、左折や右折した映像というように変化したり、映像視野が変化したりする。
【００４２】
（第２の実施の形態）
第１の実施の形態では、カメラ付き無線操縦機器（ラジオコントロールカー）を具体例として説明したが、第２の実施の形態では、操作対象の機器として、可動カメラを用いて試作を行った例について述べる。操作者が頭部運動を行い、この頭部運動を傾斜センサにより検出した信号をコンピューターに入力した。検出信号に基づき、「操作指令ユニット」により、離れた場所の可動カメラの制御信号（操作指令）を出力して可動カメラを操作すると共に、可動カメラからの映像をコンピューターに取り込んで「フィードバックユニット」によりヘッドマウントディスプレイに表示した。このようなシステムにより、操作者の操作のフィードバックを可能にした。
【００４３】
（第３の実施の形態）
操作対象の機器として、移動ロボットを用いて試作を行った例について述べる。操作者が頭部運動を行い、この頭部運動を傾斜センサにより検出した信号をコンピューターに入力した。検出信号に基づき、「操作指令ユニット」がロボットの移動方向に関する制御信号を、無線ＬＡＮを介して出力して移動操作を行うとともに、ロボットに設けたカメラからの映像を、無線ＬＡＮを介してコンピューターに取り込んだ「フィードバックユニット」によりヘッドマウントディスプレイに表示した。このようなシステムにより、操作者の操作のフィードバックを可能にした。また、ロボットに設けたカメラからの映像の代わりに、天井に設置したカメラによって撮影したロボットの物体移動の映像を表示するようにしてもよい。さらに、制御対象としてはロボットの代わりに玩具などの移動可能な装置であってもよい。
【００４４】
（第４の実施の形態）
操作対象の機器として、電動車いすシミュレーターを用いて試作を行った例について述べる。電動車いすシミュレーターとは、仮想空間において電動車いすの移動の様子を再現するソフトであり、電動車いすを実際に使用する前に練習をしたり、電動車いすを制御するインターフェースを開発したりするためのものである。操作者が頭部運動を行い、この頭部運動を傾斜センサにより検出した信号をコンピューターに入力した。検出信号に基づき、「操作指令ユニット」により、電動車いすシミュレーターの制御信号を出力して電動車いすシミュレーターの移動シミュレーター操作を行うとともに、あたかも電動車いすに乗っているときのようなＣＧ映像を「フィードバックユニット」からヘッドマウントディスプレイに表示した。このようなシステムにより、操作者の操作のリアルタイムフィードバックを可能にした。ここで表示される映像は、電動車いすシミュレーターの操作者の視点の仮想空間の風景ＣＧ映像でもよいし、その代わりに、電動車椅子自体の物体移動の様子がわかる別視点の映像であってもよい。
【００４５】
（第５の実施の形態）
操作対象の機器として、電子メッセージボードを用いて試作を行った例について述べる。電子メッセージボードは重度の運動機能や発話機能に重度の障害を持つ人々のための意思伝達支援ツールである。簡単なものでは「はい」か「いいえ」の選択を、複雑なものであれば喜怒哀楽の感情種や具体的なトイレや体のケアなど具体的なメッセージ内容を、キーボードやタッチパネルで選択することによって他者とのコミュニケーションを行うものである。メッセージが書かれたボタンなどを用いた装置もあるが、コンピューターソフトとマウスなどのポインティングデバイスで操作するものも多い。このような装置のモデルをソフト的に試作すると同時に、頭部運動によって選択肢を指し示すカーソル移動、あるいは選択肢自身の移動を行うインターフェースを構築した。選択肢としてはまとまった言葉によるメッセージだけでなく、絵や写真、あるいはメッセージとそれらの組み合わせも可能である。また、ひらがなやカタカナ、アルファベットなどの１文字１文字を選ぶ方式であってもよい。また、メッセージの入力を助けるバックスペースキー（直前の選択を取り消す）や、漢字変換操作、選択決定のボタンなどの編集操作のための選択なども頭部動作によって行うことが可能である。
【００４６】
本発明では、第１から第５の各実施形態で示した複数種類の操作対象機器と、頭部運動のジョイスティック的頭部運動として例示した運動と、表示装置として例示したディスプレイを適宜組み合わせて実施することができる。
【００４７】
実施の形態において、頭部運動としてジョイスティック的運動のみの例を示したが、さらに、頭部運動の検出に基づいて、他の１つ又は２つ以上のスイッチ機能を追加してもよい。まぶたやほほあるいは耳などの表情筋の筋活動を、生体アンプでモニターすることによって１つの筋電スイッチとして併用することも可能である。また、左右のまばたきやほほの筋肉の収縮など左右独立して動かせる場合などは２つのスイッチとして利用することも可能である。その場合はコンピューターマウスの左右ボタンのクリック操作を行う感覚で機器を制御する機能も付加できる。このように、ジョイスティック的動作以外の頭部の身体動作の検出の例としては、まぶたやほほあるいは耳などの表情筋の筋活動を筋電スイッチ等で検出すること、顎の動きをプッシュスイッチ等で検出すること、呼気の量（空気圧）を呼気スイッチ等により検出すること、声を音声スイッチにより検出すること等がある。
【００４８】
本発明で使用する傾斜センサとしては、近年、高精度で安価、低電力のパーツとして利用が盛んな重力加速度センサが最適であるが、ジャイロセンサなど他のセンサによっても代替することは可能である。また、図３のように寝た状態において、首を横に振る方向でなく、立位と同様、首の耳の方向への傾斜を検出する方式で入力を行うためには、地磁気センサを利用することが可能である（首の縦方向の検出は重力加速度センサが利用可能）。
【００４９】
なお、上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
【産業上の利用可能性】
【００５０】
本発明の頭部運動による直観的インターフェースを実現する装置及び方法によれば、重度身体障害者の「生活の質」を向上させる福祉機器の開発、素早い操作が要求されるロボット制御システムの開発、臨場感のあるゲームの開発、仮想空間における自然な移動手段の開発に有用である。
【特許請求の範囲】
【請求項１】
操作者の頭部に装着され、頭部のジョイスティック的な運動を検出する検出手段と、前記検出手段の出力に基づき機器を操作する制御装置と、操作結果をリアルタイムで表示する表示装置とを備え、前記表示装置により操作者にフィードバックすることを特徴とする入力装置。
【請求項２】
前記表示装置は、操作者の視野内に配置された表示装置であることを特徴とする請求項１記載の入力装置。
【請求項３】
前記表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項２記載の入力装置。
【請求項４】
前記検出手段は、頭部の前後及び左右の４方向、又は前後左右を含む８方向、又は前後左右を含む３６０度方向の運動を検出することを特徴とする請求項１記載の入力装置。
【請求項５】
前記検出手段は、頭部の傾斜を検出することを特徴とする請求項４記載の入力装置。
【請求項６】
前記検出手段は、加速度センサ、地磁気センサ及びジャイロセンサのうちのいずれか１つ以上のセンサからなることを特徴とする請求項５記載の入力装置。
【請求項７】
前記機器は、ロボット、福祉機器、可動カメラ、可動ビデオカメラ及び可動玩具のうちのいずれか１つ以上の実機であることを特徴とする請求項１記載の入力装置。
【請求項８】
前記機器は、仮想空間内のアバター、仮想空間内の移動体、電子文字盤及び電子メッセージボードのうちのいずれか１つ以上の機器であることを特徴とする請求項１記載の入力装置。
【請求項９】
前記入力装置は、さらに、ジョイスティック的運動以外の頭部の身体動作を検出する第２の検出手段を備え、第２の検出手段の出力に基づき外部機器を操作することを特徴とする請求項１に記載の入力装置。
【請求項１０】
操作者の頭部のジョイスティック的な運動を、頭部に装着された検出手段により検出して、該検出された信号に基づき機器を操作制御すると同時に、操作結果を操作者の視野内に配置された表示装置に表示することを特徴とする入力方法。
【請求項１１】
前記表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１０記載の入力方法。
【請求項１２】
前記検出手段を、頭部の額、頭頂及び髪のうちいずれかに１つ以上に装着することを特徴とする請求項１０記載の入力方法。
【請求項１３】
前記機器を操作制御することが、外部機器のカメラを操作制御することである場合は、前記表示装置は前記カメラの写す映像を表示することを特徴とする請求項１０記載の入力方法。
【請求項１４】
前記機器を操作制御することが、外部機器である物体を移動することである場合は、前記表示装置は前記物体の移動状況を表示することを特徴とする請求項１０記載の入力方法。
【請求項１５】
前記機器を操作制御することが、仮想空間内の視点の移動である場合は、前記表示装置は視点移動結果の映像を表示することを特徴とする請求項１０記載の入力方法。
【請求項１６】
前記機器を操作制御することが、仮想空間内のオブジェクトを移動する操作制御である場合は、前記表示装置は、前記オブジェクトの移動結果をオブジェクト視点に立った仮想空間内の景色の移動、あるいは静止した仮想空間の俯瞰的視野からのオブジェクトの位置移動として表示することを特徴とする請求項１０記載の入力方法。
【請求項１】
操作者の頭部に装着され、頭部のジョイスティック的な運動を検出する検出手段と、前記検出手段の出力に基づき機器を操作する制御装置と、操作結果をリアルタイムで表示する表示装置とを備え、前記表示装置により操作者にフィードバックすることを特徴とする入力装置。
【請求項２】
前記表示装置は、操作者の視野内に配置された表示装置であることを特徴とする請求項１記載の入力装置。
【請求項３】
前記表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項２記載の入力装置。
【請求項４】
前記検出手段は、頭部の前後及び左右の４方向、又は前後左右を含む８方向、又は前後左右を含む３６０度方向の運動を検出することを特徴とする請求項１記載の入力装置。
【請求項５】
前記検出手段は、頭部の傾斜を検出することを特徴とする請求項４記載の入力装置。
【請求項６】
前記検出手段は、加速度センサ、地磁気センサ及びジャイロセンサのうちのいずれか１つ以上のセンサからなることを特徴とする請求項５記載の入力装置。
【請求項７】
前記機器は、ロボット、福祉機器、可動カメラ、可動ビデオカメラ及び可動玩具のうちのいずれか１つ以上の実機であることを特徴とする請求項１記載の入力装置。
【請求項８】
前記機器は、仮想空間内のアバター、仮想空間内の移動体、電子文字盤及び電子メッセージボードのうちのいずれか１つ以上の機器であることを特徴とする請求項１記載の入力装置。
【請求項９】
前記入力装置は、さらに、ジョイスティック的運動以外の頭部の身体動作を検出する第２の検出手段を備え、第２の検出手段の出力に基づき外部機器を操作することを特徴とする請求項１に記載の入力装置。
【請求項１０】
操作者の頭部のジョイスティック的な運動を、頭部に装着された検出手段により検出して、該検出された信号に基づき機器を操作制御すると同時に、操作結果を操作者の視野内に配置された表示装置に表示することを特徴とする入力方法。
【請求項１１】
前記表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１０記載の入力方法。
【請求項１２】
前記検出手段を、頭部の額、頭頂及び髪のうちいずれかに１つ以上に装着することを特徴とする請求項１０記載の入力方法。
【請求項１３】
前記機器を操作制御することが、外部機器のカメラを操作制御することである場合は、前記表示装置は前記カメラの写す映像を表示することを特徴とする請求項１０記載の入力方法。
【請求項１４】
前記機器を操作制御することが、外部機器である物体を移動することである場合は、前記表示装置は前記物体の移動状況を表示することを特徴とする請求項１０記載の入力方法。
【請求項１５】
前記機器を操作制御することが、仮想空間内の視点の移動である場合は、前記表示装置は視点移動結果の映像を表示することを特徴とする請求項１０記載の入力方法。
【請求項１６】
前記機器を操作制御することが、仮想空間内のオブジェクトを移動する操作制御である場合は、前記表示装置は、前記オブジェクトの移動結果をオブジェクト視点に立った仮想空間内の景色の移動、あるいは静止した仮想空間の俯瞰的視野からのオブジェクトの位置移動として表示することを特徴とする請求項１０記載の入力方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−２３１２９０（Ｐ２０１０−２３１２９０Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７５３６６（Ｐ２００９−７５３６６）
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]