ヘッドマウントディスプレイ
【課題】ヘッドマウントディスプレイの動作を指示するための操作に関し、操作性に優れたヘッドマウントディスプレイを提供することを目的とする。
【解決手段】ヘッドマウントディスプレイを装着している利用者の顔を構成する部分の中で、利用者が意識して動かすことによって特定の状態となる眉、頬及び口の状態を検知するとともに（Ｓ２０２，Ｓ２０６，Ｓ２０８）、眉、頬及び口のいずれかの状態が特定の状態であることを条件として、検知された状態に対応付けられた動作が、ヘッドマウントディスプレイにおいて実行されるよう、ヘッドマウントディスプレイを制御する（Ｓ２１０）こととした。
【解決手段】ヘッドマウントディスプレイを装着している利用者の顔を構成する部分の中で、利用者が意識して動かすことによって特定の状態となる眉、頬及び口の状態を検知するとともに（Ｓ２０２，Ｓ２０６，Ｓ２０８）、眉、頬及び口のいずれかの状態が特定の状態であることを条件として、検知された状態に対応付けられた動作が、ヘッドマウントディスプレイにおいて実行されるよう、ヘッドマウントディスプレイを制御する（Ｓ２１０）こととした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者の眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示し、この利用者にコンテンツ画像を認識させるヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
利用者の眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示し、この利用者にコンテンツ画像を認識させるヘッドマウントディスプレイに関する技術が提案されている。例えば、ヘッドマウントディスプレイの操作性を向上させるものとして、ヘッドマウントディスプレイを装着している使用者（利用者）の視線方向、焦点距離、瞳孔の状態、眼底パターン、まぶたの動きをセンサで検出し、センサで取得された情報から、使用者の意志又は状況を判定し、判定結果に基づいて、画像（コンテンツ画像）の表示を行う表示手段における表示動作に関する制御を行う技術が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００８−６５１６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ヘッドマウントディスプレイの動作に関し、利用者が意図する動作を指示する操作を、利用者が手等を介して直接操作するユーザインターフェースを介さず、利用者の身体の瞳孔の状態、眼底パターン、まぶたの動きに基づき行うことができる技術は、ユーザの操作負担を軽減することが可能で、有用な技術である。例えば、製品の生産現場において、ヘッドマウントディスプレイを用いて作業指示を、これを装着する利用者に提示し、この利用者が、製品を組み立てるような場面において、作業中である利用者の両手は、製品の組立作業に利用されており、ヘッドマウントディスプレイを操作することは困難である。
【０００４】
このような場面において、上記技術は、ヘッドマウントディスプレイを装着した利用者の、ヘッドマウントディスプレイに対する操作の負担を軽減することができる。ただし、この場合、利用者の意図に合致した動作が、ヘッドマウントディスプレイにおいて正確に実行されることが重要である。例えば、視線方向を人為的に一定方向に固定した状態を保つことは人間にとって苦痛をともなう動作であり、通常、利用者の視線方向は絶えず変化している。さらに、外界からの種々の刺激によっては操作する意図なしに視線方向を変えることもある。したがって、視線方向を検出する方式では利用者が意図したのか、意図しない眼球運動であるのか区別が難しく誤検出が発生する。まぶたの動きも同様であり、通常無意識に瞬きを行ったり、疲れなどにより操作する意図なしにまぶたを閉じることもあり、誤検出が発生し易い。また、瞳孔の状態、眼底パターンは意図的に変化させることは困難である。
【０００５】
本発明は、ヘッドマウントディスプレイの動作を指示するための操作に関し、操作性に優れた信頼性の高いヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記従来の課題に鑑みなされた本発明のヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着している利用者の顔を構成する部分の中で、無意識的な動きがほとんどなくかつ利用者が意識して動かすことによって特定の状態となる特定部分の状態を検知するとともに、特定部分の状態が、特定の状態であることを条件として、検知された状態に対応付けられた動作が、ヘッドマウントディスプレイにおいて実行されるよう制御することとしたものである。
【０００７】
本発明を反映した第１の課題解決手段は、利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの動作を制御する制御手段と、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、前記検知手段は、前記利用者の眉の状態が所定の状態であると検知し、前記制御手段は、前記検知手段が前記利用者の眉の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイである。
【０００８】
本発明を反映した第２の課題解決手段は、利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの動作を制御する制御手段と、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、前記検知手段は、前記利用者の頬の状態が所定の状態であると検知し、前記制御手段は、前記検知手段が前記利用者の頬の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイである。
【０００９】
本発明を反映した第３の課題解決手段は、利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの動作を制御する制御手段と、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、前記検知手段は、前記利用者の口の状態が所定の状態であると検知し、前記制御手段は、前記検知手段が前記利用者の口の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイである。
【００１０】
第１乃至第３の課題解決手段のヘッドマウントディスプレイによれば、ヘッドマウントディスプレイを装着した利用者が特に意識しなければ、大きな状態変化が生じ難い、眉、頬又は口の状態に基づき、ヘッドマウントディスプレイの動作を制御することができるため、誤動作を抑制しつつ、ヘッドマウントディスプレイの操作性を向上させることができる。
【００１１】
なお、第１乃至第３の課題解決手段において、「ヘッドマウントディスプレイの動作」は、例えば、コンテンツデータの選択、利用者の眼への提示に際し実行されるコンテンツデータに対する再生・停止、コンテンツ画像の利用者の眼への提示に係る処理、又は、ヘッドマウントディスプレイへの電源の供給若しくは遮断、その他ヘッドマウントディスプレイにおいて実現される各種動作を含む。また、ヘッドマウントディスプレイは、必ずしも１つの装置である必要はなく、例えば、２つの装置による構成であってもよい。例えば、制御手段を別の装置として構成し、ヘッドマウントディスプレイと所定の信号ケーブルで接続した構成とすることもできる。
【００１２】
第４の課題解決手段は、第１乃至第３の課題解決手段のうちいずれか１つのヘッドマウントディスプレイであって、前記検知手段は、前記利用者の顔の特定の部分の特定画像を撮像可能な撮像手段と、前記撮像手段が撮像した前記特定画像を解析する解析手段と、を含み、前記解析手段の解析結果にしたがい、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知することを特徴とする。これによれば、利用者の顔の特定部分の状態を適切に検知することができる。
【００１３】
第５の課題解決手段は、第１乃至第３の課題解決手段のうちいずれか１つのヘッドマウントディスプレイであって、前記検知手段は、前記利用者の顔の特定の部分に光を照射可能な発光素子と、前記利用者の顔の特定の部分に照射した前記光が反射した反射光を検出する光検出素子と、を含み、前記光検出素子が検出した反射光の強度が、所定の基準値を逸脱した場合、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知することを特徴とする。これによれば、利用者の顔の特定部分の状態を適切に検知することができる。
【００１４】
第６の課題解決手段は、第１乃至第５の課題解決手段のうちいずれか１つのヘッドマウントディスプレイであって、前記制御手段は、前記ヘッドマウントディスプレイの動作として、第１動作及び第２動作を制御し、前記検知手段は、前記利用者の顔の特定の部分の状態が第１の状態である場合、前記所定の状態として前記第１状態を検知し、前記利用者の顔の特定の部分の状態が第２の状態である場合、前記所定の状態として前記第２状態を検知し、前記制御手段は、前記検知手段が前記第１状態であると検知したことを条件として、前記第１状態に対応付けられた前記第１動作を制御し、前記検知手段が前記第２状態であると検知したことを条件として、前記第２状態に対応付けられた前記第２動作を制御することを特徴とする。これによれば、利用者の顔の特定の部分の状態に対して複数の動作を割り当て、複数の動作を制御することができる。
【発明の効果】
【００１５】
本発明によれば、ヘッドマウントディスプレイの動作を指示するための操作に関し無意識動作による誤操作が発生しにくく、手を使わずに利用者の意図に応じて信頼性の高い操作を行うことができるヘッドマウントディスプレイを得ることができる。
【発明を実施するための最良の形態】
【００１６】
本発明を反映した上記課題解決手段を実施するための実施形態について、図面を用いて以下に詳細に説明する。なお、上記課題解決手段は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下の説明では、ヘッドマウントディスプレイ本体と、ヘッドマウントディスプレイ本体にコンテンツ画像を提供する制御ボックスと、を接続して構成されたヘッドマウントディスプレイを例に説明するが、これら各装置を一体の装置として構成することもできる。なお、以下の説明において、ヘッドマウントディスプレイ本体を、単にヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ／以下、「ＨＭＤ」という。）という。
【００１７】
（ヘッドマウントディスプレイの概要）
図１に、ＨＭＤの構成、より具体的には、図１（ａ）にＨＭＤの上面図、図１（ｂ）にＨＭＤの正面図、図１（ｃ）にＨＭＤの左側面図を示す。また、図２にＨＭＤを利用者が装着した状態を示す。
【００１８】
ＨＭＤ１００は、一端に利用者の耳に当たるモダン１０２Ａ，１０２Ｂが取り付けられたテンプル１０４Ａ，１０４Ｂと、テンプル１０４Ａ，１０４Ｂの他端に兆番１１２Ａ，１１２Ｂを介して連結されたヨロイ１０６Ａ，１０６Ｂと、ヨロイ１０６Ａ，１０６Ｂを連結するフロントフレーム１０８と、フロントフレーム１０８の中央部に取り付けられ、利用者の鼻に当接する鼻パッド１１０と、により骨格部が形成されている。ヨロイ１０６Ａ，１０６Ｂに形成された兆番１１２Ａ，１１２Ｂでテンプル１０４Ａ，１０４Ｂを折りたたむことができる。ＨＭＤ１００の骨格部の構成は、例えば、通常の眼鏡と同様であり、ＨＭＤ１００は、利用者に装着された状態において、モダン１０２Ａ，１０２Ｂと、鼻パッド１１０と、により利用者の顔に支持される（図２参照）。なお、図１（ｂ）において、モダン１０２Ａ，１０２Ｂ及びテンプル１０４Ａ，１０４Ｂの描画を省略している。
【００１９】
ＨＭＤ１００の骨格部には、画像提示装置１１４が、ヨロイ１０６Ａ付近に配設された（設けられた）取付部１２２を介して取り付けられている。画像提示装置１１４は、ヨロイ１０６Ａ付近に取付部１２２を介して取り付けられた状態において、ＨＭＤ１００を装着した利用者の左眼１１８と略同一の高さとなる位置に配設される。画像提示装置１１４は、制御ボックス２００（図２参照。詳細については後述する図３参照）と、所定の信号ケーブル２５０（図２参照）を介して接続されている。詳細は後述するが、制御ボックス２００は、所定の領域に記憶されたコンテンツデータに対しレンダリング処理を実行し、自装置が備える入出力インターフェース（以下、「Ｉ／Ｆ」という。）を制御し、レンダリング処理（再生処理）によって得られたコンテンツ画像を含むコンテンツ画像信号を、信号ケーブル２５０を介して画像提示装置１１４に出力する。画像提示装置１１４は、制御ボックス２００が出力するコンテンツ画像信号を、図１及び２には描画していない入出力Ｉ／Ｆを介して受信し、これを取得する。そして、コンテンツ画像信号に基づくコンテンツ画像を、ハーフミラー１１６に向けて光学的に出射する。
【００２０】
画像提示装置１１４から出射されたコンテンツ画像（光線）は、ハーフミラー１１６で反射し、利用者の左眼１１８に入射、換言すれば、視認可能に提示（投影）される。これにより、利用者はコンテンツ画像を認識する。ここで、図１（ａ）において符号１２０ａは、画像提示装置１１４から出射されたコンテンツ画像に関する光線を示し、符号１２０ｂは、ハーフミラー１１６を反射し、利用者の左眼１１８に入射する光線を示す。なお、画像提示装置１１４は、取得したコンテンツ画像信号に応じた光線１２０ａ，１２０ｂを２次元方向に走査し、その走査された光線１２０ａ，１２０ｂを利用者の左眼１１８に導き網膜上にコンテンツ画像を形成する網膜走査型のディスプレイを用いて構成することができる他、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイその他の装置を用いた構成とすることもできる。
【００２１】
画像提示装置１１４の上面には眉センサ２１４が取り付けられ、下面には頬センサ２１６が取り付けられている。また、テンプル１０４Ａには口センサ２１８が先端に取り付けられたステー１２４（図１において描画を省略。図２参照）が取り付けられている。眉センサ２１４、頬センサ２１６及び口センサ２１８については、次に記載の「制御ボックスの構成」で説明する。
【００２２】
（制御ボックスの構成）
図３に、制御ボックスの構成を示す機能ブロックを示す。なお、制御ボックス２００は、例えば、利用者の腰等に取り付け、利用される。制御ボックス２００は、自装置の制御を司るＣＰＵ２０２と、各種プログラムを記憶するＲＯＭ２０４と、作業領域としてのＲＡＭ２０６と、コンテンツデータ２０８２及びテーブル２０８４を記憶する記憶部２０８と、ＨＭＤ１００との間で各種信号の送受信を行う入出力Ｉ／Ｆ２１０と、利用者によって操作され、利用者からの指示を受け付ける操作部２１２と、を備えている。また、制御ボックス２００には、画像提示装置１１４の上面に取り付けられた眉センサ２１４と、下面に取り付けられた頬センサ２１６と、ステー１２４（図２参照）の先端に取り付けられた口センサ２１８と、が接続されている。
【００２３】
ここで、記憶部２０８は、例えば、ハードディスクにより構成されている。記憶部２０８に記憶されるコンテンツデータ２０８２は、例えば、所定の製品の組立方法について記述された作業指図書を内容とするものである（以下、コンテンツデータが作業指図書である場合を例として説明する。）。テーブル２０８４は、ＨＭＤ１００に取り付けられた眉センサ２１４、頬センサ２１６及び口センサ２１８によって検知される眉、頬及び口の各状態と、ＨＭＤ１００及び制御ボックス２００において実現される各動作と、を対応付けて登録したテーブルである。操作部２１２は、例えば、キーにより構成され、コンテンツデータの再生開始及び再生終了の指示を受け付ける。
【００２４】
また、眉センサ２１４は利用者の左側の眉の状態（動き）を検知し、頬センサ２１６は利用者の頬の状態（動き）を検知する。また、口センサ２１８は利用者の口、より具体的には利用者の唇の状態（形状）を検知する。眉センサ２１４、頬センサ２１６及び口センサ２１８は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）から構成される画像センサ、又は、発光素子及び光検出素子から構成される光電センサを用いることができる。各センサ２１４，２１６，２１８によって検知された状態（画像センサの場合、眉等の状態を示す画像によって示され、光電センサの場合、反射光の強度によって示される。）を含む検知信号は、制御ボックス２００に入力され、ＲＡＭ２０６上に記憶される。
【００２５】
ＣＰＵ２０２は、ＲＯＭ２０４に記憶されているコンテンツデータ２０８２を再生（レンダリング）するためのプログラムをＲＡＭ２０６上で実行することで、コンテンツ画像を取得する。そして、ＲＯＭ２０４に記憶されている入出力Ｉ／Ｆ２１０を制御するためのプログラムをＲＡＭ２０６上で実行し、コンテンツ画像を含むコンテンツ画像信号を、入出力Ｉ／Ｆ２１０からＨＭＤ１００に出力する。また、ＣＰＵ２０２は、ＲＯＭ２０４に記憶されている解析用プログラム（例えば、パターンマッチングのためのプログラム）を、各センサ２１４，２１６，２１８によって検知され、ＲＡＭ２０６に記憶された検知信号及びテーブル２０８４を用いて、ＲＡＭ２０６上で実行することで、利用者の眉、頬及び口の状態について解析する。さらに、ＣＰＵ２０２は、ＲＯＭ２０４に記憶されているＨＭＤ１００を制御するためのプログラムをＲＡＭ２０６上で実行し、操作部２１２によって指示されたＨＭＤ１００の動作と、解析結果に基づいたＨＭＤ１００の動作と、を制御する。したがって、ＣＰＵ２０２が、コンテンツデータ２０８２、テーブル２０８４及び検知信号等の各種データを用い、ＲＯＭ２０４に記憶された各種プログラムをＲＡＭ２０６上で実行することにより、各種機能手段（例えば、制御手段及び解析手段）が構成される。
【００２６】
図４は、テーブル２０８４の登録状態を概念的に示す図である。先ず、テーブル２０８４には、標準状態における利用者の顔画像である標準顔画像が登録されている（図４（ａ）参照）。標準顔画像には、ＨＭＤ１００の動作は対応付けがなされていない。換言すれば、標準顔画像には、ＨＭＤ１００で進行中の動作を継続する、例えば、再生動作を継続して実行することが対応付けられている。
【００２７】
図４（ｂ）は、眉の状態と、ＨＭＤ１００及び制御ボックス２００とによって実現される動作との対応について示す図である。「眉を上げた」状態を示す顔画像に、動作「次へ進む」が対応付けられている。例えば、所定のコンテンツ画像が利用者の左眼１１８に提示されている状態において、利用者が眉を上ると、提示中のコンテンツ画像の次のコンテンツ画像が提示される。より具体的には、第１工程に関する作業指図を内容とするコンテンツ画像が提示されている状態において、第１工程の作業を終えた利用者が、眉を上げると、第２工程に関する作業指図を内容とするコンテンツ画像が提示される。
【００２８】
また、「眉を寄せた」状態を示す顔画像に、動作「前に戻る」が対応付けられている。具体的には、第２工程に関する作業指図を内容とするコンテンツ画像が提示されている状態において、利用者が眉を寄せると、第１工程に関する作業指図を内容とするコンテンツ画像が提示される。なお、図１及び図２に示すＨＭＤ１００において眉センサ２１４は、利用者の左眉に対向して配設されているため、眉が上がった状態等であるか否かは、左眉の状態に基づき判断される。
【００２９】
図４（ｃ）は、頬の状態と、ＨＭＤ１００及び制御ボックス２００とによって実現される動作との対応について示す図である。「頬を上げた」状態を示す顔画像に、動作「決定」が対応付けられている。また、「頬を凹ませた」状態を示す顔画像に、動作「取消し」が対応付けられている。例えば、第１工程の作業指図を内容とするコンテンツ画像と、第２工程の作業指図を内容とするコンテンツ画像と、第３工程の作業指図を内容とするコンテンツ画像と、が順次所定の間隔で切り替えられながら表示されている状態において、第２工程の作業指図を内容とするコンテンツ画像が提示されている間に、利用者が頬を上に上げると、第２工程の作業指図を内容とするコンテンツ画像が継続して提示されるコンテンツ画像に決定されるとともに、決定後、頬を凹ませると、この決定が取り消される。なお、頬センサ２１６についても、眉センサ２１４同様、利用者の左頬に対向して配設されているため、頬が膨れた状態等であるか否かは、左頬の状態に基づき判断される。
【００３０】
図４（ｄ）は、口の状態（形状）と、ＨＭＤ１００及び制御ボックス２００とによって実現される動作との対応について示す図である。「え」を発声するときの口の状態を示す顔画像に、提示されるコンテンツ画像の「明るさ調整」が対応付けられている。また、「あ」を発声するときの口の状態を示す画像に、「明るさアップ」が対応付けられている。さらに、「お」を発生するときの口の状態に、「明るさダウン」が対応付けられている。より具体的に説明すると、利用者の左眼１１８に第１工程の作業指図を内容とするコンテンツ画像が提示されている状態において、利用者が「え」と発声する口の形にすると、明るさ調整用の設定画面が提示される。そして、設定画面が提示された状態で、利用者が「あ」と発声する口の形にすると、明るさが１段階アップする一方、「お」と発声する口の形にすると、明るさが１段階ダウンする。なお、利用者が「あ」又は「お」を、例えば、２回連続して発声する口の形にすると、明るさが２段階、アップ又はダウンする。
【００３１】
（制御ボックスによって実行される処理）
図５に、制御ボックス２００において実行されるメイン処理のフローを示す。なお、この処理は、ＨＭＤ１００及び制御ボックス２００の電源ＯＮを条件として、ＣＰＵ２０２がＲＯＭ２０４に記憶されたプログラムをＲＡＭ２０６上で実行することで開始される。この処理の実行において、眉センサ２１４、頬センサ２１６及び口センサ２１８によって検知され、制御ボックス２００に入力される検知信号、記憶部２０８に記憶されたコンテンツデータ２０８２及びテーブル２０８４が、所定のタイミングで利用される。
【００３２】
処理を開始したＣＰＵ２０２は、先ず、制御ボックス２００の各構成を初期化するとともに（Ｓ１００）、各センサ２１４，２１６，２１８を初期化し（Ｓ１０２）、処理をＳ１０４に移行する。Ｓ１０４でＣＰＵ２０２は、操作部２１２を介して利用者がコンテンツデータ２０８２の再生開始の指示を入力したか否かを判断する。判断の結果、再生開始の指示が入力されていない場合（Ｓ１０４：Ｎｏ）、再生開始の指示が入力されるまで待機する。これに対し、再生開始の指示が入力された場合（Ｓ１０４：Ｙｅｓ）、ＣＰＵ２０２は、コンテンツ画像信号出力処理を開始する（Ｓ１０６）。ここで、コンテンツ画像出力処理とは、コンテンツデータ２０８２を記憶部２０８からＲＡＭ２０６上に読み出し、コンテンツデータ２０８２をレンダリングし、レンダリングによって得られたコンテンツ画像を含むコンテンツ画像信号を、入出力Ｉ／Ｆ２１０を制御し、ＨＭＤ１００に出力する処理である。
【００３３】
Ｓ１０６でコンテンツ画像信号出力処理を開始したＣＰＵ２０２は、各センサ２１４，２１６，２１８のいずれかのセンサから顔動作トリガが検出されたか否かを判断する（Ｓ１０８）。Ｓ１０８について、詳細に説明する。例えば、ＣＰＵ２０２は、眉センサ２１４から制御ボックス２００に入力される検知信号に含まれる利用者の眉（左眉）の状態と、標準顔画像（図４（ａ）参照）の左眉の状態と、の間でパターンマッチング処理を実行し、両者の間でマッチングが取れるか否かを判断する。また、ＣＰＵ２０２は、頬センサ２１６から入力される検知信号に含まれる利用者の頬（左頬）の状態と、標準顔画像（図４（ａ）参照）の左頬上部の状態と、の間でパターンマッチング処理を実行し、両者の間でマッチングが取れるか否かを判断する。さらに、ＣＰＵ２０２は、口センサ２１８から入力される検知信号に含まれる利用者の口の状態（形状）と、標準顔画像（図４（ａ）参照）の口の状態（形状）と、の間でパターンマッチング処理を実行し、両者の間でマッチングが取れるか否かを判断する。
【００３４】
Ｓ１０８においてマッチングが取れた場合、換言すれば、利用者の眉、頬及び口の状態と、標準画像によって示される左眉等の状態とが一致する場合、ＣＰＵ２０２は顔動作トリガが入力されていないと判断し（Ｓ１０８：Ｎｏ）、処理をＳ１１２に移行する。これに対し、利用者の眉、頬及び口の状態のいずれか１つでも、標準画像によって示される左眉等の状態に一致しない場合、ＣＰＵ２０２は顔動作トリガが入力されたと判断し（Ｓ１０８：Ｙｅｓ）、状態判定処理を実行する（Ｓ１１０）。
【００３５】
図６に、Ｓ１１０で実行される状態判定処理のフローを示す。状態判定処理を開始したＣＰＵ２０２は、Ｓ１０８で検出された顔動作トリガが、眉の状態の変化に基づくものであるか否かを判断する（Ｓ２００）。Ｓ２００の判断について説明を続けると、ＣＰＵ２０２はＳ１０８で、利用者の左眉の状態と、標準画像によって示される左眉の状態とが一致する場合、眉の状態の変化に基づくものでないと判断し（Ｓ２００：Ｎｏ）、処理をＳ２０４に移行する一方、両者が一致しない場合、顔動作トリガは眉の状態の変化に基づくものであると判断し（Ｓ２００：Ｙｅｓ）、処理をＳ２０２に移行する。
【００３６】
Ｓ２０２でＣＰＵ２０２は、眉センサ２１４によって制御ボックス２００に入力された検知信号に含まれる利用者の左眉の状態が、どのような状態であるかを、再度、パターンマッチング処理を実行し、判定する。Ｓ２０２の判定について具体的に説明すると、ＣＰＵ２０２は、眉センサ２１４によって入力された検知信号に含まる利用者の眉の状態が、テーブル２０８４に登録された眉の状態（図４（ｂ）参照）のいずれに該当するかを、判定する。判定の結果、例えば、検知信号に含まれる利用者の眉の状態が、上がった状態を示す画像に一致（マッチング）する場合、ＣＰＵ２０２は、動作「次へ進む」を特定する。同様に、検知信号に含まれる利用者の眉の状態が、寄った状態を示す画像に一致する場合、ＣＰＵ２０２は、動作「前へ戻る」を特定する。ＣＰＵ２０２はＳ２０２を実行後、処理をＳ２１０に移行する。
【００３７】
Ｓ２０４でＣＰＵ２０２は、Ｓ１０８で検出された顔動作トリガが、頬の状態の変化に基づくものであるか否かを判断する（Ｓ２０４）。Ｓ２０４の判断について説明を続けると、ＣＰＵ２０２は、Ｓ１０８で、利用者の左頬の状態と、標準画像によって示される左頬の状態とが一致する場合、頬の状態の変化に基づくものでないと判断し（Ｓ２０４：Ｎｏ）、処理をＳ２０８に移行する一方、両者が一致しない場合、顔動作トリガは頬の状態の変化に基づくものであると判断し（Ｓ２０４：Ｙｅｓ）、処理をＳ２０６に移行する。
【００３８】
Ｓ２０６でＣＰＵ２０２は、頬センサ２１６によって制御ボックス２００に入力された検知信号に含まれる利用者の左頬の状態が、どのような状態であるかを、パターンマッチング処理を実行し、判定する。Ｓ２０６の判定について具体的に説明すると、ＣＰＵ２０２は、頬センサ２１６によって入力された検知信号に含まる利用者の頬の状態が、テーブル２０８４に登録された頬の状態（図４（ｃ）参照）のいずれに該当するかを、判定する。判定の結果、例えば、検知信号に含まれる利用者の頬の状態が、上げた状態を示す画像に一致（マッチング）する場合、ＣＰＵ２０２は動作「決定」を特定する。同様に、検知信号に含まれる利用者の頬の状態が、凹んだ状態を示す画像に一致する場合、ＣＰＵ２０２は、動作「取消し」を特定する。ＣＰＵ２０２はＳ２０６を実行後、処理をＳ２１０に移行する。
【００３９】
Ｓ２０８でＣＰＵ２０２は、Ｓ１０８で検出された顔動作トリガが、口の状態（形状）の変化に基づくものであると判断し、口センサ２１８によって制御ボックス２００に入力された検知信号に含まれる利用者の口（唇）の状態が、「え」、「あ」及び「お」のいずれを発生したときのものであるかを、パターンマッチング処理を実行し、判定する。Ｓ２０８の判定について説明を続けると、ＣＰＵ２０２は、口センサ２１８によって入力された検知信号に含まる利用者の口の状態（形状）が、テーブル２０８４に登録された口の状態（図４（ｄ）参照）のいずれに該当するかを、判定する。判定の結果、例えば、検知信号に含まれる利用者の口の状態が、「え」を発声したときの画像に一致（マッチング）する場合、ＣＰＵ２０２は動作「明るさ調整」を特定する。同様に、検知信号に含まれる利用者の口の状態が、「あ」を発声したときの画像に一致する場合、ＣＰＵ２０２は動作「明るさアップ」を特定し、「お」を発声したときの画像に一致する場合、ＣＰＵ２０２は動作「明るさダウン」を特定する。ＣＰＵ２０２はＳ２０６を実行後、処理をＳ２１０に移行する。
【００４０】
Ｓ２１０でＣＰＵ２０２は、Ｓ２０２，Ｓ２０６又はＳ２０８で特定された動作が、実行中のコンテンツ画像出力処理において実行されるよう制御する。例えば、第１工程に関する作業指図を内容とするコンテンツ画が提示されている状態において、Ｓ２０２で動作「次へ進む」が特定された場合、ＣＰＵ２０２は、第２工程に関する作業指図を内容とするコンテンツ画像が提示されるよう、レンダリング処理を実行し、第２工程に関する作業指図を内容とするコンテンツ画像を含むコンテンツ画像信号を、入出力Ｉ／Ｆ２１０からＨＭＤ１００に出力し、画像提示装置１１４は、第２工程に関する作業指図を内容とするコンテンツ画像基づくコンテンツ画像を、ハーフミラー１１６に向けて光学的に出射する。Ｓ２１０を実行後、ＣＰＵ２０２は、この状態判定処理を終了し、処理をＳ１１２（図５参照）に移行する。
【００４１】
説明を図５に戻し、Ｓ１１２でＣＰＵ２０２は、操作部２１２を介して利用者がコンテンツデータ２０８２の再生が終了したか否か、換言すれば、コンテンツデータを最後まで処理したか否かを判断する。判断の結果、再生が終了していない場合（Ｓ１１２：Ｎｏ）、処理をＳ１０８に移行する一方、再生が終了した場合（Ｓ１１２：Ｙｅｓ）、ＣＰＵ２０２は、コンテンツ画像信号出力処理の終了処理を実行し（Ｓ１１４）、このメイン処理を終了する。
【００４２】
なお、上記説明では、眉センサ２１４、頬センサ２１６及び口センサ２１８を画像センサで構成した例に基づき説明した。しかし、上述したとおり、各センサ２１４，２１６，２１８を光電センサとすることもできる。この場合、テーブル２０８４には、ＨＭＤ１００の各動作に対応付けて反射光の強度が登録され、ＣＰＵ２０２は、このテーブル２０８４に登録された強度と、各センサ２１４，２１６，２１８からＨＭＤ１００に入力される反射光の強度とに基づき、利用者の眉、頬及び口の状態を判定する。図７に、光電センサを採用した場合のテーブル２０８４への登録状態を、「眉の状態」を例として概念的に示す。なお、図７において、「ハッチングされた長方形」は、利用者の眉を示し、「○」は、発光素子から「光スポット」を示す。
【００４３】
例えば、利用者の顔の状態が標準状態であるときの反射光の強度（基準値）が、「眉：８０±１５（６５〜９５）」（図７参照）、「頬：１２０±１５（１０５〜１３５）」及び「口：１００±１５（８５〜１１５）」であるとテーブル２０８４に登録されている場合、眉センサ２１４、頬センサ２１６及び口センサ２１８各々から、反射光の強度が「眉：８２」、「頬：１１８」及び「口：１００」であることを含む検知信号が制御ボックス２００に、各々入力された場合、ＣＰＵ２０２は、Ｓ１０８（図５参照）で顔動作トリガが検出されていないと判断する（Ｓ１０８：Ｎｏ）。
【００４４】
また、テーブル２０８４に、「眉を上げた」状態の変化量として、例えば、変化量の基準値「８０±１５（６５〜９５）」を逸脱した「１１０±１４（９６≦強度≦１２４）」と登録されている状態（図７参照）で、眉センサ２１４から反射光の強度が「眉：１１５」であることを含む検知信号が入力された場合、ＣＰＵ２０２は、Ｓ１０８（図５参照）及びＳ２００（図６参照）の判断を肯定し（Ｓ１０８，Ｓ２００：Ｙｅｓ）、Ｓ２０２で動作「次へ進む」を特定する。
【００４５】
さらに、テーブル２０８４に、「眉を寄せた」状態の変化量として、例えば、基準値を逸脱した「５０±１４（３６≦強度≦６４）」と登録されている状態（図７参照）で、眉センサ２１４から反射光の強度が「眉：４５」であることを含む検知信号が入力された場合、ＣＰＵ２０２は、Ｓ１０８（図５参照）及びＳ２００（図６参照）の判断を肯定し（Ｓ１０８，Ｓ２００：Ｙｅｓ）、Ｓ２０２で動作「拡大」を特定する。
【００４６】
また、上記説明では、眉センサ２１４、頬センサ２１６及び口センサ２１８の各々から制御ボックス２００に入力される検知信号に含まれる利用者の顔の特定の部分単独の状態と、ＨＭＤ１００の動作とを対応付けた構成に基づき説明した。このような構成の他、次のような構成とすることもできる。例えば、「眉を上げた」状態と、「頬を上げた」状態との組合せ、換言すれば、「眉を上げつつ、頬を上げた」状態に、ＨＭＤ１００の動作、例えば、「早送り」を対応付けた構成とすることもできる。この場合、ＣＰＵ２０２は、眉センサ２１４及び頬センサ２１６から入力された検知信号に基づき、顔動作トリガが入力されたと判断し（図５のＳ１０８：Ｙｅｓ参照）、状態判定処理を実行する（図５のＳ１１０。詳細は図６参照）。なお、状態判定処理において、ＣＰＵ２０２は、図６のＳ２００の判断を行うとともに、その判断を肯定後（図６Ｓ２００：Ｙｅｓ参照）、再度、図６のＳ２０４と同一の判断を行い、この判断も肯定し、「眉を上げつつ、頬を上げた」状態であると判定できた場合、動作「早送り」を特定する。
【００４７】
さらに、上記説明では、例えば、眉センサ２１４に関し、片方の眉、具体的には、左側の眉の状態（動き）を検知する構成としたが、左右両側の眉の状態を検知する構成とし、左右の眉の状態の組合せ、具体的には、「左側の眉を上げ、右側の眉を下げた」状態に、ＨＭＤ１００の動作、例えば、「縮小」を対応付けた構成とすることもできる。この場合、ＣＰＵ２０２は、左右両側の眉センサ２１４から入力された検知信号に基づき、顔動作トリガが入力されたと判断し（図５のＳ１０８：Ｙｅｓ参照）、状態判定処理を実行する（図５のＳ１１０。詳細は図６参照）。なお、状態判定処理において、ＣＰＵ２０２は、左右両側の眉の状態について、図６のＳ２００の判断を行う。そして、ＣＰＵ２０２は、左右両側の眉の状態について、判断を肯定した場合（図６のＳ２００：Ｙｅｓ参照）、「左側の眉を上げ、右側の眉を下げた」状態であると判定し、動作「縮小」を特定する。
【００４８】
また、上記説明では、ＨＭＤ１００を装着している利用者の顔を構成する部分の中で、利用者が意識して動かすことによって特定の状態となる特定部分を、特に、眉、頬及び口に限定した。例えば、おでこ又は顎の状態を検知する構成とすることもできる。
【００４９】
さらに、ＨＭＤ１００及び制御ボックス２００によって実現される動作として、「次へ進む」、「拡大」、「前へ戻る」、「決定」、「取消し」、「明るさ調整」、「明るさアップ」及び「明るさダウン」を例に説明したが、これ以外の動作をテーブル２０８４に登録することもできる。例えば、複数のコンテンツデータ２０８２がＨＤＤ２０８に記憶されている状態において「再生するコンテンツデータ２０８２の選択・確定」に関する動作、又は、コンテンツデータの「再生の開始若しくは停止」に関する動作（上記説明では、操作部２１２を介して入力される例を説明。再生の開始について図５のＳ１０４参照）を、眉、頬又は口の状態に対応付けてテーブル２０８４に登録してもよい。また、ＨＭＤ１００又は制御ボックス２００への「電源の供給又は供給されている電源の遮断」に関する動作を、眉等の所定の状態と対応付けて登録してもよい。
【００５０】
（実施形態の構成に基づく有利な効果）
上記実施形態のＨＭＤ１００と制御ボックス２００による構成によれば、ＨＭＤ１００を装着した利用者が意識して動かさないと、その状態が変化しない、眉、頬及び口の状態と、ＨＭＤ１００及び制御ボックス２００によって実現される動作とを対応付け登録するとともに、これらの各部の状態をセンシングし、眉、頬及び口の状態が、登録された状態である場合、その状態に対応付けられた動作が実行される構成を採用した。
【００５１】
これによれば、利用者が意図しない動作に関する操作指示が制御ボックス２００に入力されることを防止しつつ、ハンズフリーの操作を実現することができる。具体的には、利用者は、例えば、所定の製品を組み立てるための第１工程に関する作業指図を内容とするコンテンツ画像を視認している状態において、作業中である自身の両手を介してＨＭＤ１００又は制御ボックス２００を操作することなく、眉を上げるという行為によって、第２工程に関する作業指図を視認し、認識することができる。
【図面の簡単な説明】
【００５２】
【図１】（ａ）乃至（ｃ）は、本発明の実施形態におけるＨＭＤの外観を示す図
【図２】本発明の実施形態におけるＨＭＤを装着した状態を示す図
【図３】本発明の実施形態におけるＨＭＤに接続される制御ボックスの機能ブロックを示す図
【図４】（ａ）乃至（ｄ）は、本発明の実施形態におけるテーブルの登録状態を概念的に示す図
【図５】本発明の実施形態におけるメイン処理のフローを示す図
【図６】本発明の実施形態における状態判定処理のフローを示す図
【図７】本発明の実施形態における他のテーブルの登録状態（眉の状態に関する登録状態）を概念的に示す図
【符号の説明】
【００５３】
１００ ヘッドマウントディスプレイ（ＨＭＤ）
１１６ 画像提示装置
１２０ａ，１２０ｂ 光線（コンテンツ画像）
２００ 制御ボックス
２０２ ＣＰＵ
２０４ ＲＯＭ
２０６ ＲＡＭ
２０８ 記憶部
２０８２ コンテンツデータ
２０８４ テーブル
２１４ 眉センサ
２１６ 頬センサ
２１８ 口センサ
【技術分野】
【０００１】
本発明は、利用者の眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示し、この利用者にコンテンツ画像を認識させるヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
利用者の眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示し、この利用者にコンテンツ画像を認識させるヘッドマウントディスプレイに関する技術が提案されている。例えば、ヘッドマウントディスプレイの操作性を向上させるものとして、ヘッドマウントディスプレイを装着している使用者（利用者）の視線方向、焦点距離、瞳孔の状態、眼底パターン、まぶたの動きをセンサで検出し、センサで取得された情報から、使用者の意志又は状況を判定し、判定結果に基づいて、画像（コンテンツ画像）の表示を行う表示手段における表示動作に関する制御を行う技術が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００８−６５１６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ヘッドマウントディスプレイの動作に関し、利用者が意図する動作を指示する操作を、利用者が手等を介して直接操作するユーザインターフェースを介さず、利用者の身体の瞳孔の状態、眼底パターン、まぶたの動きに基づき行うことができる技術は、ユーザの操作負担を軽減することが可能で、有用な技術である。例えば、製品の生産現場において、ヘッドマウントディスプレイを用いて作業指示を、これを装着する利用者に提示し、この利用者が、製品を組み立てるような場面において、作業中である利用者の両手は、製品の組立作業に利用されており、ヘッドマウントディスプレイを操作することは困難である。
【０００４】
このような場面において、上記技術は、ヘッドマウントディスプレイを装着した利用者の、ヘッドマウントディスプレイに対する操作の負担を軽減することができる。ただし、この場合、利用者の意図に合致した動作が、ヘッドマウントディスプレイにおいて正確に実行されることが重要である。例えば、視線方向を人為的に一定方向に固定した状態を保つことは人間にとって苦痛をともなう動作であり、通常、利用者の視線方向は絶えず変化している。さらに、外界からの種々の刺激によっては操作する意図なしに視線方向を変えることもある。したがって、視線方向を検出する方式では利用者が意図したのか、意図しない眼球運動であるのか区別が難しく誤検出が発生する。まぶたの動きも同様であり、通常無意識に瞬きを行ったり、疲れなどにより操作する意図なしにまぶたを閉じることもあり、誤検出が発生し易い。また、瞳孔の状態、眼底パターンは意図的に変化させることは困難である。
【０００５】
本発明は、ヘッドマウントディスプレイの動作を指示するための操作に関し、操作性に優れた信頼性の高いヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記従来の課題に鑑みなされた本発明のヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着している利用者の顔を構成する部分の中で、無意識的な動きがほとんどなくかつ利用者が意識して動かすことによって特定の状態となる特定部分の状態を検知するとともに、特定部分の状態が、特定の状態であることを条件として、検知された状態に対応付けられた動作が、ヘッドマウントディスプレイにおいて実行されるよう制御することとしたものである。
【０００７】
本発明を反映した第１の課題解決手段は、利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの動作を制御する制御手段と、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、前記検知手段は、前記利用者の眉の状態が所定の状態であると検知し、前記制御手段は、前記検知手段が前記利用者の眉の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイである。
【０００８】
本発明を反映した第２の課題解決手段は、利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの動作を制御する制御手段と、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、前記検知手段は、前記利用者の頬の状態が所定の状態であると検知し、前記制御手段は、前記検知手段が前記利用者の頬の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイである。
【０００９】
本発明を反映した第３の課題解決手段は、利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの動作を制御する制御手段と、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、前記検知手段は、前記利用者の口の状態が所定の状態であると検知し、前記制御手段は、前記検知手段が前記利用者の口の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイである。
【００１０】
第１乃至第３の課題解決手段のヘッドマウントディスプレイによれば、ヘッドマウントディスプレイを装着した利用者が特に意識しなければ、大きな状態変化が生じ難い、眉、頬又は口の状態に基づき、ヘッドマウントディスプレイの動作を制御することができるため、誤動作を抑制しつつ、ヘッドマウントディスプレイの操作性を向上させることができる。
【００１１】
なお、第１乃至第３の課題解決手段において、「ヘッドマウントディスプレイの動作」は、例えば、コンテンツデータの選択、利用者の眼への提示に際し実行されるコンテンツデータに対する再生・停止、コンテンツ画像の利用者の眼への提示に係る処理、又は、ヘッドマウントディスプレイへの電源の供給若しくは遮断、その他ヘッドマウントディスプレイにおいて実現される各種動作を含む。また、ヘッドマウントディスプレイは、必ずしも１つの装置である必要はなく、例えば、２つの装置による構成であってもよい。例えば、制御手段を別の装置として構成し、ヘッドマウントディスプレイと所定の信号ケーブルで接続した構成とすることもできる。
【００１２】
第４の課題解決手段は、第１乃至第３の課題解決手段のうちいずれか１つのヘッドマウントディスプレイであって、前記検知手段は、前記利用者の顔の特定の部分の特定画像を撮像可能な撮像手段と、前記撮像手段が撮像した前記特定画像を解析する解析手段と、を含み、前記解析手段の解析結果にしたがい、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知することを特徴とする。これによれば、利用者の顔の特定部分の状態を適切に検知することができる。
【００１３】
第５の課題解決手段は、第１乃至第３の課題解決手段のうちいずれか１つのヘッドマウントディスプレイであって、前記検知手段は、前記利用者の顔の特定の部分に光を照射可能な発光素子と、前記利用者の顔の特定の部分に照射した前記光が反射した反射光を検出する光検出素子と、を含み、前記光検出素子が検出した反射光の強度が、所定の基準値を逸脱した場合、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知することを特徴とする。これによれば、利用者の顔の特定部分の状態を適切に検知することができる。
【００１４】
第６の課題解決手段は、第１乃至第５の課題解決手段のうちいずれか１つのヘッドマウントディスプレイであって、前記制御手段は、前記ヘッドマウントディスプレイの動作として、第１動作及び第２動作を制御し、前記検知手段は、前記利用者の顔の特定の部分の状態が第１の状態である場合、前記所定の状態として前記第１状態を検知し、前記利用者の顔の特定の部分の状態が第２の状態である場合、前記所定の状態として前記第２状態を検知し、前記制御手段は、前記検知手段が前記第１状態であると検知したことを条件として、前記第１状態に対応付けられた前記第１動作を制御し、前記検知手段が前記第２状態であると検知したことを条件として、前記第２状態に対応付けられた前記第２動作を制御することを特徴とする。これによれば、利用者の顔の特定の部分の状態に対して複数の動作を割り当て、複数の動作を制御することができる。
【発明の効果】
【００１５】
本発明によれば、ヘッドマウントディスプレイの動作を指示するための操作に関し無意識動作による誤操作が発生しにくく、手を使わずに利用者の意図に応じて信頼性の高い操作を行うことができるヘッドマウントディスプレイを得ることができる。
【発明を実施するための最良の形態】
【００１６】
本発明を反映した上記課題解決手段を実施するための実施形態について、図面を用いて以下に詳細に説明する。なお、上記課題解決手段は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下の説明では、ヘッドマウントディスプレイ本体と、ヘッドマウントディスプレイ本体にコンテンツ画像を提供する制御ボックスと、を接続して構成されたヘッドマウントディスプレイを例に説明するが、これら各装置を一体の装置として構成することもできる。なお、以下の説明において、ヘッドマウントディスプレイ本体を、単にヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ／以下、「ＨＭＤ」という。）という。
【００１７】
（ヘッドマウントディスプレイの概要）
図１に、ＨＭＤの構成、より具体的には、図１（ａ）にＨＭＤの上面図、図１（ｂ）にＨＭＤの正面図、図１（ｃ）にＨＭＤの左側面図を示す。また、図２にＨＭＤを利用者が装着した状態を示す。
【００１８】
ＨＭＤ１００は、一端に利用者の耳に当たるモダン１０２Ａ，１０２Ｂが取り付けられたテンプル１０４Ａ，１０４Ｂと、テンプル１０４Ａ，１０４Ｂの他端に兆番１１２Ａ，１１２Ｂを介して連結されたヨロイ１０６Ａ，１０６Ｂと、ヨロイ１０６Ａ，１０６Ｂを連結するフロントフレーム１０８と、フロントフレーム１０８の中央部に取り付けられ、利用者の鼻に当接する鼻パッド１１０と、により骨格部が形成されている。ヨロイ１０６Ａ，１０６Ｂに形成された兆番１１２Ａ，１１２Ｂでテンプル１０４Ａ，１０４Ｂを折りたたむことができる。ＨＭＤ１００の骨格部の構成は、例えば、通常の眼鏡と同様であり、ＨＭＤ１００は、利用者に装着された状態において、モダン１０２Ａ，１０２Ｂと、鼻パッド１１０と、により利用者の顔に支持される（図２参照）。なお、図１（ｂ）において、モダン１０２Ａ，１０２Ｂ及びテンプル１０４Ａ，１０４Ｂの描画を省略している。
【００１９】
ＨＭＤ１００の骨格部には、画像提示装置１１４が、ヨロイ１０６Ａ付近に配設された（設けられた）取付部１２２を介して取り付けられている。画像提示装置１１４は、ヨロイ１０６Ａ付近に取付部１２２を介して取り付けられた状態において、ＨＭＤ１００を装着した利用者の左眼１１８と略同一の高さとなる位置に配設される。画像提示装置１１４は、制御ボックス２００（図２参照。詳細については後述する図３参照）と、所定の信号ケーブル２５０（図２参照）を介して接続されている。詳細は後述するが、制御ボックス２００は、所定の領域に記憶されたコンテンツデータに対しレンダリング処理を実行し、自装置が備える入出力インターフェース（以下、「Ｉ／Ｆ」という。）を制御し、レンダリング処理（再生処理）によって得られたコンテンツ画像を含むコンテンツ画像信号を、信号ケーブル２５０を介して画像提示装置１１４に出力する。画像提示装置１１４は、制御ボックス２００が出力するコンテンツ画像信号を、図１及び２には描画していない入出力Ｉ／Ｆを介して受信し、これを取得する。そして、コンテンツ画像信号に基づくコンテンツ画像を、ハーフミラー１１６に向けて光学的に出射する。
【００２０】
画像提示装置１１４から出射されたコンテンツ画像（光線）は、ハーフミラー１１６で反射し、利用者の左眼１１８に入射、換言すれば、視認可能に提示（投影）される。これにより、利用者はコンテンツ画像を認識する。ここで、図１（ａ）において符号１２０ａは、画像提示装置１１４から出射されたコンテンツ画像に関する光線を示し、符号１２０ｂは、ハーフミラー１１６を反射し、利用者の左眼１１８に入射する光線を示す。なお、画像提示装置１１４は、取得したコンテンツ画像信号に応じた光線１２０ａ，１２０ｂを２次元方向に走査し、その走査された光線１２０ａ，１２０ｂを利用者の左眼１１８に導き網膜上にコンテンツ画像を形成する網膜走査型のディスプレイを用いて構成することができる他、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイその他の装置を用いた構成とすることもできる。
【００２１】
画像提示装置１１４の上面には眉センサ２１４が取り付けられ、下面には頬センサ２１６が取り付けられている。また、テンプル１０４Ａには口センサ２１８が先端に取り付けられたステー１２４（図１において描画を省略。図２参照）が取り付けられている。眉センサ２１４、頬センサ２１６及び口センサ２１８については、次に記載の「制御ボックスの構成」で説明する。
【００２２】
（制御ボックスの構成）
図３に、制御ボックスの構成を示す機能ブロックを示す。なお、制御ボックス２００は、例えば、利用者の腰等に取り付け、利用される。制御ボックス２００は、自装置の制御を司るＣＰＵ２０２と、各種プログラムを記憶するＲＯＭ２０４と、作業領域としてのＲＡＭ２０６と、コンテンツデータ２０８２及びテーブル２０８４を記憶する記憶部２０８と、ＨＭＤ１００との間で各種信号の送受信を行う入出力Ｉ／Ｆ２１０と、利用者によって操作され、利用者からの指示を受け付ける操作部２１２と、を備えている。また、制御ボックス２００には、画像提示装置１１４の上面に取り付けられた眉センサ２１４と、下面に取り付けられた頬センサ２１６と、ステー１２４（図２参照）の先端に取り付けられた口センサ２１８と、が接続されている。
【００２３】
ここで、記憶部２０８は、例えば、ハードディスクにより構成されている。記憶部２０８に記憶されるコンテンツデータ２０８２は、例えば、所定の製品の組立方法について記述された作業指図書を内容とするものである（以下、コンテンツデータが作業指図書である場合を例として説明する。）。テーブル２０８４は、ＨＭＤ１００に取り付けられた眉センサ２１４、頬センサ２１６及び口センサ２１８によって検知される眉、頬及び口の各状態と、ＨＭＤ１００及び制御ボックス２００において実現される各動作と、を対応付けて登録したテーブルである。操作部２１２は、例えば、キーにより構成され、コンテンツデータの再生開始及び再生終了の指示を受け付ける。
【００２４】
また、眉センサ２１４は利用者の左側の眉の状態（動き）を検知し、頬センサ２１６は利用者の頬の状態（動き）を検知する。また、口センサ２１８は利用者の口、より具体的には利用者の唇の状態（形状）を検知する。眉センサ２１４、頬センサ２１６及び口センサ２１８は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）から構成される画像センサ、又は、発光素子及び光検出素子から構成される光電センサを用いることができる。各センサ２１４，２１６，２１８によって検知された状態（画像センサの場合、眉等の状態を示す画像によって示され、光電センサの場合、反射光の強度によって示される。）を含む検知信号は、制御ボックス２００に入力され、ＲＡＭ２０６上に記憶される。
【００２５】
ＣＰＵ２０２は、ＲＯＭ２０４に記憶されているコンテンツデータ２０８２を再生（レンダリング）するためのプログラムをＲＡＭ２０６上で実行することで、コンテンツ画像を取得する。そして、ＲＯＭ２０４に記憶されている入出力Ｉ／Ｆ２１０を制御するためのプログラムをＲＡＭ２０６上で実行し、コンテンツ画像を含むコンテンツ画像信号を、入出力Ｉ／Ｆ２１０からＨＭＤ１００に出力する。また、ＣＰＵ２０２は、ＲＯＭ２０４に記憶されている解析用プログラム（例えば、パターンマッチングのためのプログラム）を、各センサ２１４，２１６，２１８によって検知され、ＲＡＭ２０６に記憶された検知信号及びテーブル２０８４を用いて、ＲＡＭ２０６上で実行することで、利用者の眉、頬及び口の状態について解析する。さらに、ＣＰＵ２０２は、ＲＯＭ２０４に記憶されているＨＭＤ１００を制御するためのプログラムをＲＡＭ２０６上で実行し、操作部２１２によって指示されたＨＭＤ１００の動作と、解析結果に基づいたＨＭＤ１００の動作と、を制御する。したがって、ＣＰＵ２０２が、コンテンツデータ２０８２、テーブル２０８４及び検知信号等の各種データを用い、ＲＯＭ２０４に記憶された各種プログラムをＲＡＭ２０６上で実行することにより、各種機能手段（例えば、制御手段及び解析手段）が構成される。
【００２６】
図４は、テーブル２０８４の登録状態を概念的に示す図である。先ず、テーブル２０８４には、標準状態における利用者の顔画像である標準顔画像が登録されている（図４（ａ）参照）。標準顔画像には、ＨＭＤ１００の動作は対応付けがなされていない。換言すれば、標準顔画像には、ＨＭＤ１００で進行中の動作を継続する、例えば、再生動作を継続して実行することが対応付けられている。
【００２７】
図４（ｂ）は、眉の状態と、ＨＭＤ１００及び制御ボックス２００とによって実現される動作との対応について示す図である。「眉を上げた」状態を示す顔画像に、動作「次へ進む」が対応付けられている。例えば、所定のコンテンツ画像が利用者の左眼１１８に提示されている状態において、利用者が眉を上ると、提示中のコンテンツ画像の次のコンテンツ画像が提示される。より具体的には、第１工程に関する作業指図を内容とするコンテンツ画像が提示されている状態において、第１工程の作業を終えた利用者が、眉を上げると、第２工程に関する作業指図を内容とするコンテンツ画像が提示される。
【００２８】
また、「眉を寄せた」状態を示す顔画像に、動作「前に戻る」が対応付けられている。具体的には、第２工程に関する作業指図を内容とするコンテンツ画像が提示されている状態において、利用者が眉を寄せると、第１工程に関する作業指図を内容とするコンテンツ画像が提示される。なお、図１及び図２に示すＨＭＤ１００において眉センサ２１４は、利用者の左眉に対向して配設されているため、眉が上がった状態等であるか否かは、左眉の状態に基づき判断される。
【００２９】
図４（ｃ）は、頬の状態と、ＨＭＤ１００及び制御ボックス２００とによって実現される動作との対応について示す図である。「頬を上げた」状態を示す顔画像に、動作「決定」が対応付けられている。また、「頬を凹ませた」状態を示す顔画像に、動作「取消し」が対応付けられている。例えば、第１工程の作業指図を内容とするコンテンツ画像と、第２工程の作業指図を内容とするコンテンツ画像と、第３工程の作業指図を内容とするコンテンツ画像と、が順次所定の間隔で切り替えられながら表示されている状態において、第２工程の作業指図を内容とするコンテンツ画像が提示されている間に、利用者が頬を上に上げると、第２工程の作業指図を内容とするコンテンツ画像が継続して提示されるコンテンツ画像に決定されるとともに、決定後、頬を凹ませると、この決定が取り消される。なお、頬センサ２１６についても、眉センサ２１４同様、利用者の左頬に対向して配設されているため、頬が膨れた状態等であるか否かは、左頬の状態に基づき判断される。
【００３０】
図４（ｄ）は、口の状態（形状）と、ＨＭＤ１００及び制御ボックス２００とによって実現される動作との対応について示す図である。「え」を発声するときの口の状態を示す顔画像に、提示されるコンテンツ画像の「明るさ調整」が対応付けられている。また、「あ」を発声するときの口の状態を示す画像に、「明るさアップ」が対応付けられている。さらに、「お」を発生するときの口の状態に、「明るさダウン」が対応付けられている。より具体的に説明すると、利用者の左眼１１８に第１工程の作業指図を内容とするコンテンツ画像が提示されている状態において、利用者が「え」と発声する口の形にすると、明るさ調整用の設定画面が提示される。そして、設定画面が提示された状態で、利用者が「あ」と発声する口の形にすると、明るさが１段階アップする一方、「お」と発声する口の形にすると、明るさが１段階ダウンする。なお、利用者が「あ」又は「お」を、例えば、２回連続して発声する口の形にすると、明るさが２段階、アップ又はダウンする。
【００３１】
（制御ボックスによって実行される処理）
図５に、制御ボックス２００において実行されるメイン処理のフローを示す。なお、この処理は、ＨＭＤ１００及び制御ボックス２００の電源ＯＮを条件として、ＣＰＵ２０２がＲＯＭ２０４に記憶されたプログラムをＲＡＭ２０６上で実行することで開始される。この処理の実行において、眉センサ２１４、頬センサ２１６及び口センサ２１８によって検知され、制御ボックス２００に入力される検知信号、記憶部２０８に記憶されたコンテンツデータ２０８２及びテーブル２０８４が、所定のタイミングで利用される。
【００３２】
処理を開始したＣＰＵ２０２は、先ず、制御ボックス２００の各構成を初期化するとともに（Ｓ１００）、各センサ２１４，２１６，２１８を初期化し（Ｓ１０２）、処理をＳ１０４に移行する。Ｓ１０４でＣＰＵ２０２は、操作部２１２を介して利用者がコンテンツデータ２０８２の再生開始の指示を入力したか否かを判断する。判断の結果、再生開始の指示が入力されていない場合（Ｓ１０４：Ｎｏ）、再生開始の指示が入力されるまで待機する。これに対し、再生開始の指示が入力された場合（Ｓ１０４：Ｙｅｓ）、ＣＰＵ２０２は、コンテンツ画像信号出力処理を開始する（Ｓ１０６）。ここで、コンテンツ画像出力処理とは、コンテンツデータ２０８２を記憶部２０８からＲＡＭ２０６上に読み出し、コンテンツデータ２０８２をレンダリングし、レンダリングによって得られたコンテンツ画像を含むコンテンツ画像信号を、入出力Ｉ／Ｆ２１０を制御し、ＨＭＤ１００に出力する処理である。
【００３３】
Ｓ１０６でコンテンツ画像信号出力処理を開始したＣＰＵ２０２は、各センサ２１４，２１６，２１８のいずれかのセンサから顔動作トリガが検出されたか否かを判断する（Ｓ１０８）。Ｓ１０８について、詳細に説明する。例えば、ＣＰＵ２０２は、眉センサ２１４から制御ボックス２００に入力される検知信号に含まれる利用者の眉（左眉）の状態と、標準顔画像（図４（ａ）参照）の左眉の状態と、の間でパターンマッチング処理を実行し、両者の間でマッチングが取れるか否かを判断する。また、ＣＰＵ２０２は、頬センサ２１６から入力される検知信号に含まれる利用者の頬（左頬）の状態と、標準顔画像（図４（ａ）参照）の左頬上部の状態と、の間でパターンマッチング処理を実行し、両者の間でマッチングが取れるか否かを判断する。さらに、ＣＰＵ２０２は、口センサ２１８から入力される検知信号に含まれる利用者の口の状態（形状）と、標準顔画像（図４（ａ）参照）の口の状態（形状）と、の間でパターンマッチング処理を実行し、両者の間でマッチングが取れるか否かを判断する。
【００３４】
Ｓ１０８においてマッチングが取れた場合、換言すれば、利用者の眉、頬及び口の状態と、標準画像によって示される左眉等の状態とが一致する場合、ＣＰＵ２０２は顔動作トリガが入力されていないと判断し（Ｓ１０８：Ｎｏ）、処理をＳ１１２に移行する。これに対し、利用者の眉、頬及び口の状態のいずれか１つでも、標準画像によって示される左眉等の状態に一致しない場合、ＣＰＵ２０２は顔動作トリガが入力されたと判断し（Ｓ１０８：Ｙｅｓ）、状態判定処理を実行する（Ｓ１１０）。
【００３５】
図６に、Ｓ１１０で実行される状態判定処理のフローを示す。状態判定処理を開始したＣＰＵ２０２は、Ｓ１０８で検出された顔動作トリガが、眉の状態の変化に基づくものであるか否かを判断する（Ｓ２００）。Ｓ２００の判断について説明を続けると、ＣＰＵ２０２はＳ１０８で、利用者の左眉の状態と、標準画像によって示される左眉の状態とが一致する場合、眉の状態の変化に基づくものでないと判断し（Ｓ２００：Ｎｏ）、処理をＳ２０４に移行する一方、両者が一致しない場合、顔動作トリガは眉の状態の変化に基づくものであると判断し（Ｓ２００：Ｙｅｓ）、処理をＳ２０２に移行する。
【００３６】
Ｓ２０２でＣＰＵ２０２は、眉センサ２１４によって制御ボックス２００に入力された検知信号に含まれる利用者の左眉の状態が、どのような状態であるかを、再度、パターンマッチング処理を実行し、判定する。Ｓ２０２の判定について具体的に説明すると、ＣＰＵ２０２は、眉センサ２１４によって入力された検知信号に含まる利用者の眉の状態が、テーブル２０８４に登録された眉の状態（図４（ｂ）参照）のいずれに該当するかを、判定する。判定の結果、例えば、検知信号に含まれる利用者の眉の状態が、上がった状態を示す画像に一致（マッチング）する場合、ＣＰＵ２０２は、動作「次へ進む」を特定する。同様に、検知信号に含まれる利用者の眉の状態が、寄った状態を示す画像に一致する場合、ＣＰＵ２０２は、動作「前へ戻る」を特定する。ＣＰＵ２０２はＳ２０２を実行後、処理をＳ２１０に移行する。
【００３７】
Ｓ２０４でＣＰＵ２０２は、Ｓ１０８で検出された顔動作トリガが、頬の状態の変化に基づくものであるか否かを判断する（Ｓ２０４）。Ｓ２０４の判断について説明を続けると、ＣＰＵ２０２は、Ｓ１０８で、利用者の左頬の状態と、標準画像によって示される左頬の状態とが一致する場合、頬の状態の変化に基づくものでないと判断し（Ｓ２０４：Ｎｏ）、処理をＳ２０８に移行する一方、両者が一致しない場合、顔動作トリガは頬の状態の変化に基づくものであると判断し（Ｓ２０４：Ｙｅｓ）、処理をＳ２０６に移行する。
【００３８】
Ｓ２０６でＣＰＵ２０２は、頬センサ２１６によって制御ボックス２００に入力された検知信号に含まれる利用者の左頬の状態が、どのような状態であるかを、パターンマッチング処理を実行し、判定する。Ｓ２０６の判定について具体的に説明すると、ＣＰＵ２０２は、頬センサ２１６によって入力された検知信号に含まる利用者の頬の状態が、テーブル２０８４に登録された頬の状態（図４（ｃ）参照）のいずれに該当するかを、判定する。判定の結果、例えば、検知信号に含まれる利用者の頬の状態が、上げた状態を示す画像に一致（マッチング）する場合、ＣＰＵ２０２は動作「決定」を特定する。同様に、検知信号に含まれる利用者の頬の状態が、凹んだ状態を示す画像に一致する場合、ＣＰＵ２０２は、動作「取消し」を特定する。ＣＰＵ２０２はＳ２０６を実行後、処理をＳ２１０に移行する。
【００３９】
Ｓ２０８でＣＰＵ２０２は、Ｓ１０８で検出された顔動作トリガが、口の状態（形状）の変化に基づくものであると判断し、口センサ２１８によって制御ボックス２００に入力された検知信号に含まれる利用者の口（唇）の状態が、「え」、「あ」及び「お」のいずれを発生したときのものであるかを、パターンマッチング処理を実行し、判定する。Ｓ２０８の判定について説明を続けると、ＣＰＵ２０２は、口センサ２１８によって入力された検知信号に含まる利用者の口の状態（形状）が、テーブル２０８４に登録された口の状態（図４（ｄ）参照）のいずれに該当するかを、判定する。判定の結果、例えば、検知信号に含まれる利用者の口の状態が、「え」を発声したときの画像に一致（マッチング）する場合、ＣＰＵ２０２は動作「明るさ調整」を特定する。同様に、検知信号に含まれる利用者の口の状態が、「あ」を発声したときの画像に一致する場合、ＣＰＵ２０２は動作「明るさアップ」を特定し、「お」を発声したときの画像に一致する場合、ＣＰＵ２０２は動作「明るさダウン」を特定する。ＣＰＵ２０２はＳ２０６を実行後、処理をＳ２１０に移行する。
【００４０】
Ｓ２１０でＣＰＵ２０２は、Ｓ２０２，Ｓ２０６又はＳ２０８で特定された動作が、実行中のコンテンツ画像出力処理において実行されるよう制御する。例えば、第１工程に関する作業指図を内容とするコンテンツ画が提示されている状態において、Ｓ２０２で動作「次へ進む」が特定された場合、ＣＰＵ２０２は、第２工程に関する作業指図を内容とするコンテンツ画像が提示されるよう、レンダリング処理を実行し、第２工程に関する作業指図を内容とするコンテンツ画像を含むコンテンツ画像信号を、入出力Ｉ／Ｆ２１０からＨＭＤ１００に出力し、画像提示装置１１４は、第２工程に関する作業指図を内容とするコンテンツ画像基づくコンテンツ画像を、ハーフミラー１１６に向けて光学的に出射する。Ｓ２１０を実行後、ＣＰＵ２０２は、この状態判定処理を終了し、処理をＳ１１２（図５参照）に移行する。
【００４１】
説明を図５に戻し、Ｓ１１２でＣＰＵ２０２は、操作部２１２を介して利用者がコンテンツデータ２０８２の再生が終了したか否か、換言すれば、コンテンツデータを最後まで処理したか否かを判断する。判断の結果、再生が終了していない場合（Ｓ１１２：Ｎｏ）、処理をＳ１０８に移行する一方、再生が終了した場合（Ｓ１１２：Ｙｅｓ）、ＣＰＵ２０２は、コンテンツ画像信号出力処理の終了処理を実行し（Ｓ１１４）、このメイン処理を終了する。
【００４２】
なお、上記説明では、眉センサ２１４、頬センサ２１６及び口センサ２１８を画像センサで構成した例に基づき説明した。しかし、上述したとおり、各センサ２１４，２１６，２１８を光電センサとすることもできる。この場合、テーブル２０８４には、ＨＭＤ１００の各動作に対応付けて反射光の強度が登録され、ＣＰＵ２０２は、このテーブル２０８４に登録された強度と、各センサ２１４，２１６，２１８からＨＭＤ１００に入力される反射光の強度とに基づき、利用者の眉、頬及び口の状態を判定する。図７に、光電センサを採用した場合のテーブル２０８４への登録状態を、「眉の状態」を例として概念的に示す。なお、図７において、「ハッチングされた長方形」は、利用者の眉を示し、「○」は、発光素子から「光スポット」を示す。
【００４３】
例えば、利用者の顔の状態が標準状態であるときの反射光の強度（基準値）が、「眉：８０±１５（６５〜９５）」（図７参照）、「頬：１２０±１５（１０５〜１３５）」及び「口：１００±１５（８５〜１１５）」であるとテーブル２０８４に登録されている場合、眉センサ２１４、頬センサ２１６及び口センサ２１８各々から、反射光の強度が「眉：８２」、「頬：１１８」及び「口：１００」であることを含む検知信号が制御ボックス２００に、各々入力された場合、ＣＰＵ２０２は、Ｓ１０８（図５参照）で顔動作トリガが検出されていないと判断する（Ｓ１０８：Ｎｏ）。
【００４４】
また、テーブル２０８４に、「眉を上げた」状態の変化量として、例えば、変化量の基準値「８０±１５（６５〜９５）」を逸脱した「１１０±１４（９６≦強度≦１２４）」と登録されている状態（図７参照）で、眉センサ２１４から反射光の強度が「眉：１１５」であることを含む検知信号が入力された場合、ＣＰＵ２０２は、Ｓ１０８（図５参照）及びＳ２００（図６参照）の判断を肯定し（Ｓ１０８，Ｓ２００：Ｙｅｓ）、Ｓ２０２で動作「次へ進む」を特定する。
【００４５】
さらに、テーブル２０８４に、「眉を寄せた」状態の変化量として、例えば、基準値を逸脱した「５０±１４（３６≦強度≦６４）」と登録されている状態（図７参照）で、眉センサ２１４から反射光の強度が「眉：４５」であることを含む検知信号が入力された場合、ＣＰＵ２０２は、Ｓ１０８（図５参照）及びＳ２００（図６参照）の判断を肯定し（Ｓ１０８，Ｓ２００：Ｙｅｓ）、Ｓ２０２で動作「拡大」を特定する。
【００４６】
また、上記説明では、眉センサ２１４、頬センサ２１６及び口センサ２１８の各々から制御ボックス２００に入力される検知信号に含まれる利用者の顔の特定の部分単独の状態と、ＨＭＤ１００の動作とを対応付けた構成に基づき説明した。このような構成の他、次のような構成とすることもできる。例えば、「眉を上げた」状態と、「頬を上げた」状態との組合せ、換言すれば、「眉を上げつつ、頬を上げた」状態に、ＨＭＤ１００の動作、例えば、「早送り」を対応付けた構成とすることもできる。この場合、ＣＰＵ２０２は、眉センサ２１４及び頬センサ２１６から入力された検知信号に基づき、顔動作トリガが入力されたと判断し（図５のＳ１０８：Ｙｅｓ参照）、状態判定処理を実行する（図５のＳ１１０。詳細は図６参照）。なお、状態判定処理において、ＣＰＵ２０２は、図６のＳ２００の判断を行うとともに、その判断を肯定後（図６Ｓ２００：Ｙｅｓ参照）、再度、図６のＳ２０４と同一の判断を行い、この判断も肯定し、「眉を上げつつ、頬を上げた」状態であると判定できた場合、動作「早送り」を特定する。
【００４７】
さらに、上記説明では、例えば、眉センサ２１４に関し、片方の眉、具体的には、左側の眉の状態（動き）を検知する構成としたが、左右両側の眉の状態を検知する構成とし、左右の眉の状態の組合せ、具体的には、「左側の眉を上げ、右側の眉を下げた」状態に、ＨＭＤ１００の動作、例えば、「縮小」を対応付けた構成とすることもできる。この場合、ＣＰＵ２０２は、左右両側の眉センサ２１４から入力された検知信号に基づき、顔動作トリガが入力されたと判断し（図５のＳ１０８：Ｙｅｓ参照）、状態判定処理を実行する（図５のＳ１１０。詳細は図６参照）。なお、状態判定処理において、ＣＰＵ２０２は、左右両側の眉の状態について、図６のＳ２００の判断を行う。そして、ＣＰＵ２０２は、左右両側の眉の状態について、判断を肯定した場合（図６のＳ２００：Ｙｅｓ参照）、「左側の眉を上げ、右側の眉を下げた」状態であると判定し、動作「縮小」を特定する。
【００４８】
また、上記説明では、ＨＭＤ１００を装着している利用者の顔を構成する部分の中で、利用者が意識して動かすことによって特定の状態となる特定部分を、特に、眉、頬及び口に限定した。例えば、おでこ又は顎の状態を検知する構成とすることもできる。
【００４９】
さらに、ＨＭＤ１００及び制御ボックス２００によって実現される動作として、「次へ進む」、「拡大」、「前へ戻る」、「決定」、「取消し」、「明るさ調整」、「明るさアップ」及び「明るさダウン」を例に説明したが、これ以外の動作をテーブル２０８４に登録することもできる。例えば、複数のコンテンツデータ２０８２がＨＤＤ２０８に記憶されている状態において「再生するコンテンツデータ２０８２の選択・確定」に関する動作、又は、コンテンツデータの「再生の開始若しくは停止」に関する動作（上記説明では、操作部２１２を介して入力される例を説明。再生の開始について図５のＳ１０４参照）を、眉、頬又は口の状態に対応付けてテーブル２０８４に登録してもよい。また、ＨＭＤ１００又は制御ボックス２００への「電源の供給又は供給されている電源の遮断」に関する動作を、眉等の所定の状態と対応付けて登録してもよい。
【００５０】
（実施形態の構成に基づく有利な効果）
上記実施形態のＨＭＤ１００と制御ボックス２００による構成によれば、ＨＭＤ１００を装着した利用者が意識して動かさないと、その状態が変化しない、眉、頬及び口の状態と、ＨＭＤ１００及び制御ボックス２００によって実現される動作とを対応付け登録するとともに、これらの各部の状態をセンシングし、眉、頬及び口の状態が、登録された状態である場合、その状態に対応付けられた動作が実行される構成を採用した。
【００５１】
これによれば、利用者が意図しない動作に関する操作指示が制御ボックス２００に入力されることを防止しつつ、ハンズフリーの操作を実現することができる。具体的には、利用者は、例えば、所定の製品を組み立てるための第１工程に関する作業指図を内容とするコンテンツ画像を視認している状態において、作業中である自身の両手を介してＨＭＤ１００又は制御ボックス２００を操作することなく、眉を上げるという行為によって、第２工程に関する作業指図を視認し、認識することができる。
【図面の簡単な説明】
【００５２】
【図１】（ａ）乃至（ｃ）は、本発明の実施形態におけるＨＭＤの外観を示す図
【図２】本発明の実施形態におけるＨＭＤを装着した状態を示す図
【図３】本発明の実施形態におけるＨＭＤに接続される制御ボックスの機能ブロックを示す図
【図４】（ａ）乃至（ｄ）は、本発明の実施形態におけるテーブルの登録状態を概念的に示す図
【図５】本発明の実施形態におけるメイン処理のフローを示す図
【図６】本発明の実施形態における状態判定処理のフローを示す図
【図７】本発明の実施形態における他のテーブルの登録状態（眉の状態に関する登録状態）を概念的に示す図
【符号の説明】
【００５３】
１００ ヘッドマウントディスプレイ（ＨＭＤ）
１１６ 画像提示装置
１２０ａ，１２０ｂ 光線（コンテンツ画像）
２００ 制御ボックス
２０２ ＣＰＵ
２０４ ＲＯＭ
２０６ ＲＡＭ
２０８ 記憶部
２０８２ コンテンツデータ
２０８４ テーブル
２１４ 眉センサ
２１６ 頬センサ
２１８ 口センサ
【特許請求の範囲】
【請求項１】
利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの動作を制御する制御手段と、
前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、
前記検知手段は、前記利用者の眉の状態が所定の状態であると検知し、
前記制御手段は、前記検知手段が前記利用者の眉の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイ。
【請求項２】
利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの動作を制御する制御手段と、
前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、
前記検知手段は、前記利用者の頬の状態が所定の状態であると検知し、
前記制御手段は、前記検知手段が前記利用者の頬の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイ。
【請求項３】
利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの動作を制御する制御手段と、
前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、
前記検知手段は、前記利用者の口の状態が所定の状態であると検知し、
前記制御手段は、前記検知手段が前記利用者の口の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイ。
【請求項４】
前記検知手段は、
前記利用者の顔の特定の部分の特定画像を撮像可能な撮像手段と、
前記撮像手段が撮像した前記特定画像を解析する解析手段と、を含み、
前記解析手段の解析結果にしたがい、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知することを特徴とする請求項１乃至請求項３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項５】
前記検知手段は、
前記利用者の顔の特定の部分に光を照射可能な発光素子と、
前記利用者の顔の特定の部分に照射した前記光が反射した反射光を検出する光検出素子と、を含み、
前記光検出素子が検出した反射光の強度が、所定の基準値を逸脱した場合、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知することを特徴とする請求項１乃至請求項３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項６】
前記制御手段は、前記ヘッドマウントディスプレイの動作として、第１動作及び第２動作を制御し、
前記検知手段は、前記利用者の顔の特定の部分の状態が第１の状態である場合、前記所定の状態として前記第１状態を検知し、前記利用者の顔の特定の部分の状態が第２の状態である場合、前記所定の状態として前記第２状態を検知し、
前記制御手段は、前記検知手段が前記第１状態であると検知したことを条件として、前記第１状態に対応付けられた前記第１動作を制御し、前記検知手段が前記第２状態であると検知したことを条件として、前記第２状態に対応付けられた前記第２動作を制御することを特徴とする請求項１乃至請求項５のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項１】
利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの動作を制御する制御手段と、
前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、
前記検知手段は、前記利用者の眉の状態が所定の状態であると検知し、
前記制御手段は、前記検知手段が前記利用者の眉の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイ。
【請求項２】
利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの動作を制御する制御手段と、
前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、
前記検知手段は、前記利用者の頬の状態が所定の状態であると検知し、
前記制御手段は、前記検知手段が前記利用者の頬の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイ。
【請求項３】
利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの動作を制御する制御手段と、
前記利用者の顔の特定の部分の状態が、所定の状態であることを検知する検知手段と、を備え、
前記検知手段は、前記利用者の口の状態が所定の状態であると検知し、
前記制御手段は、前記検知手段が前記利用者の口の状態が前記所定の状態であると検知したことを条件として、前記所定の状態に対応付けられた前記動作を制御することを特徴とするヘッドマウントディスプレイ。
【請求項４】
前記検知手段は、
前記利用者の顔の特定の部分の特定画像を撮像可能な撮像手段と、
前記撮像手段が撮像した前記特定画像を解析する解析手段と、を含み、
前記解析手段の解析結果にしたがい、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知することを特徴とする請求項１乃至請求項３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項５】
前記検知手段は、
前記利用者の顔の特定の部分に光を照射可能な発光素子と、
前記利用者の顔の特定の部分に照射した前記光が反射した反射光を検出する光検出素子と、を含み、
前記光検出素子が検出した反射光の強度が、所定の基準値を逸脱した場合、前記利用者の顔の特定の部分の状態が、所定の状態であることを検知することを特徴とする請求項１乃至請求項３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項６】
前記制御手段は、前記ヘッドマウントディスプレイの動作として、第１動作及び第２動作を制御し、
前記検知手段は、前記利用者の顔の特定の部分の状態が第１の状態である場合、前記所定の状態として前記第１状態を検知し、前記利用者の顔の特定の部分の状態が第２の状態である場合、前記所定の状態として前記第２状態を検知し、
前記制御手段は、前記検知手段が前記第１状態であると検知したことを条件として、前記第１状態に対応付けられた前記第１動作を制御し、前記検知手段が前記第２状態であると検知したことを条件として、前記第２状態に対応付けられた前記第２動作を制御することを特徴とする請求項１乃至請求項５のいずれか１項に記載のヘッドマウントディスプレイ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１３４０５７（Ｐ２０１０−１３４０５７Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３０８０４５（Ｐ２００８−３０８０４５）
【出願日】平成２０年１２月２日（２００８．１２．２）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月２日（２００８．１２．２）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]