ヘッドマウントディスプレイ
【課題】物理的なボタンを触ることなく、画面の切替等の操作をすることができるヘッドマウントディスプレイを提供する。
【解決手段】各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置された立体視画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置及び動作から、前記ユーザの前記仮想パネルの選択動作を検出し、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とするヘッドマウントディスプレイ。
【解決手段】各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置された立体視画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置及び動作から、前記ユーザの前記仮想パネルの選択動作を検出し、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とするヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの頭部に装着して、画像を見ることができるヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来から、特許文献１に示されるようなヘッドマウントディスプレイが知られている。このようなヘッドマウントディスプレイは、ユーザの頭部に装着される頭部装着部と、この頭部装着部の前部に取り付けられ、ユーザに画像を視認させる画像生成部とから構成されている。このようなヘッドマウントディスプレイは、今後、生産工場等の作業現場で多用されることが想定される。例えば、画像生成部が、指示書や設計図を作業者に視認させれば、作業者は、必要に応じて指示書や設計図を見ることにより、より確実な作業を行うことができる。作業者は、紙媒体の指示書や設計図を手に取って見る必要がないので、作業を中止することなく、作業をしながら、画像表示部に表示された指示書や設計図を見ることができるので、作業性が向上するだけでなく、作業ミスを防止することが可能となる。
【０００３】
画像生成部で生成される画像を切り替えるには、従来、物理的なボタンを押下する必要があったが、手に油が付着している場合には、前記ボタンが油で滑ってしまい、前記ボタンを操作するのが難しいという問題があった。また、油等で手が汚れている場合には、前記ボタンやその周辺が汚れてしまうという問題があった。さらに、前記ボタンはヘッドマウントディスプレイに設けられているので、ヘッドマウントディスプレイ装着中は直接ボタンを見ることができず、手探りで操作しなければならず、作業性が悪化してしまうという問題があった。
【０００４】
【特許文献１】特開平９−２１１３７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記問題を解決し、物理的なボタンを触ることなく、画面の切替等の操作をすることができるヘッドマウントディスプレイを提供するためになされたものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するためになされた請求項１に記載の発明は、ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、前記ユーザに画像を視認させる画像生成部を有するヘッドマウントディスプレイにおいて、
各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置されたように視認される画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、
前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、
前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置から、前記ユーザが選択しようとしている仮想パネルを検出し、前記ユーザの選択動作から、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、
手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段とから構成し、
コマンド選択手段は、前記手座標算出手段が算出した前記ユーザの手の奥行き方向の座標に基づいて、前記ユーザの手の奥行き方向の位置及び動作を算出し、当該ユーザの手の奥行き方向の位置及び動作に基づいて、仮想パネルに割り当てられたコマンドを選択することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１に記載の発明において、
手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段と、
ユーザの手の動作を検出し手動作信号を生成する、ユーザの手に取り付けられたセンサとから構成し、
コマンド選択手段は、
前記手座標算出手段が算出した前記ユーザの手奥行き方向の座標に基づいて、ユーザが選択しようとしている仮想パネルを認識し、
前記センサが検出した手動作信号から、ユーザの前記仮想パネルの選択動作を判断し、当該仮想パネルに割り当てられたコマンドを選択することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
仮想パネル生成手段は、
仮想パネル画像を生成する前に、
ユーザから近位置及び遠位置に仮想的に表示されるマーカ画像を生成して画像生成部に出力し、
ユーザの各マーカ画像の選択動作から手位置動作検出手段が検出したユーザの手の奥行き方向の位置情報から、前記遠位置及び近位置の奥行き方向の座標を算出し、
算出された前記近位置及び遠位置の間に、複数の仮想パネルを、積層配置して仮想パネル画像を生成することを特徴とする。
【００１０】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
仮想パネル生成手段は、コマンド選択手段が検出したユーザの手のある位置の仮想パネルを、強調表示することを特徴とする。
【００１１】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
コマンド選択手段は、手位置動作検出手段が検出したユーザの手の位置が、一定時間以上、所定範囲内にあると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする。
【００１２】
請求項７に記載の発明は、請求項１〜請求項５に記載の発明において、コマンド選択手段は、手位置動作検出手段が検出したユーザの手の動作が、予め設定されている選択動作であると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする。
【発明の効果】
【００１３】
請求項１に記載の発明は、各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置されたように視認される画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置から、前記ユーザが選択しようとしている仮想パネルを検出し、前記ユーザの選択動作から、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とする。
このため、ユーザが物理的なボタンを触ることなく、画面の切替等の操作をすることが可能となる。
なお、ユーザの頭がわずかでも動いた場合、ヘッドマウントディスプレイが表示する仮想パネルと検出された手の位置は、ユーザの視線方向に垂直な面方向では、大きくずれてしまうが、ヘッドマウントディスプレイに対するユーザの手の奥行き方向の位置関係はほぼ変化しない。通常、ヘッドマウントディスプレイを装着したユーザの頭は絶えずわずかながらでも動いているが、このようなユーザの頭の自然な動きがあっても、本発明では、ヘッドマウントディスプレイに対するユーザの手の奥行き方向の位置を検知して、コマンドを選択することとしたので、仮想パネルとユーザの手の奥行き方向の位置関係はほぼ変化しないことから、極めて誤検出の少なく、信頼性が高く、コマンドを選択することが可能となる。
また、ユーザの頭部がどの方向を向いたとしても、画像表示部で仮想パネル画像を表示することができ、ユーザが不自然な作業を強いられる状況下であっても、ユーザは仮想パネルに割り当てられたコマンドを選択することが可能となり、大変利用価値が高い。
【００１４】
請求項２に記載の発明は、手位置動作検出手段を、間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段とから構成し、コマンド選択手段は、前記手座標算出手段が算出した前記ユーザの手の奥行き方向の座標に基づいて、前記ユーザの手の奥行き方向の位置及び動作を算出し、当該ユーザの手の奥行き方向の位置及び動作に基づいて、仮想パネルに割り当てられたコマンドを選択することを特徴とする。
このため、コマンドを選択するための、センサをユーザが手に装着する必要がなく、手を自由に使うことができる。
また、ユーザの頭が揺れたとしても、ユーザの頭の動きにつれて複数の撮像装置も動き、撮影装置に対するユーザの手の位置が変化しても、複数の撮像装置が撮像するユーザの手の視差は変わらないので、ヘッドマウントディスプレイに対するユーザの手の奥行き方向の座標を安定して検出することができる。
【００１５】
請求項３に記載の発明は、手位置動作検出手段を、間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段と、ユーザの手の動作を検出し手動作信号を生成する、ユーザの手に取り付けられたセンサとから構成し、コマンド選択手段は、前記手座標算出手段が算出した前記ユーザの手奥行き方向の座標に基づいて、ユーザが選択しようとしている仮想パネルを認識し、前記センサが検出した手動作信号から、ユーザの前記仮想パネルの選択動作を判断し、当該仮想パネルに割り当てられたコマンドを選択することを特徴とする。
このため、ユーザの頭が動いて、撮像装置で手が振られた動作のように撮像されたとしても、ユーザの手に取り付けられたセンサで、仮想パネルの選択動作を検出するので、ユーザの頭の動きにより、仮想パネルが誤選択されることを確実に防止し、ユーザが選択を所望する仮想パネルを確実に検出することが可能となる。
【００１６】
請求項４に記載の発明は、仮想パネル生成手段は、仮想パネル画像を生成する前に、ユーザの眼球から近位置及び遠位置に仮想的に表示されるマーカ画像を生成して画像生成部に出力し、ユーザの各マーカ画像の選択動作から手位置動作検出手段が検出したユーザの手の奥行き方向の位置情報から、前記遠位置及び近位置の奥行き方向の座標を算出し、算出された前記近位置及び遠位置の間に、複数の仮想パネルを、積層配置して仮想パネル画像を生成することを特徴とする。
このように、マーカ画像の奥行き方向の位置としてユーザが認識したい位置と、手の奥行き方向の実際の位置との対応を、ユーザ自身が決定することができるようにすると、奥行き方向に積層配置されたようにユーザが感じるよう平面上に表示された仮想パネルであっても、ユーザごとの個人差を吸収し、ユーザが操作しやすい手の動作範囲に仮想パネルを生成することが可能となる。
【００１７】
請求項５に記載の発明は、仮想パネル生成手段は、コマンド選択手段が検出したユーザの手のある位置の仮想パネルを、強調表示することを特徴とする。
このため、ユーザは、コマンドを選択する前に、選択しようとしているコマンドに対応する仮想パネルを確認することができ、誤操作を回避することが可能となる。
仮想パネルは奥行き方向に積層配置されたようにユーザが感じるよう表示されているが、平面映像のため、積層されて見える仮想パネルの位置と手の奥行き方向の位置の対応が取りにくい。しかし、請求項５に記載の発明では、手のある位置の仮想パネルを強調表示することにしたので、強調表示された仮想パネルを見ながら手の奥行き位置を、ユーザが調整して誤りなく所望の仮想パネルを選択することが可能となる。
【００１８】
請求項６に記載の発明は、コマンド選択手段は、手位置動作検出手段が検出したユーザの手の動作が、一定時間以上、所定範囲内にあると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする。
このため、ユーザが手を一定時間以上停止させるという簡単な操作で、コマンドを選択することができ、ユーザフレンドリーである。
【００１９】
請求項７に記載の発明は、コマンド選択手段は、手位置動作検出手段が検出したユーザの手の動作が、予め設定されている選択動作であると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする。
このため、予め設定されている選択動作でしか、コマンドが選択されないので、誤ってコマンドを選択してしまうことを回避することが可能となる。なお、撮像装置が手を撮像しているときに、手を止めて頭を動かしても生じないような手の動作を、選択動作として予め設定しておけば、頭が動いても誤検出することなくユーザの手のある位置の仮想パネルを選択することができる。
【発明を実施するための最良の形態】
【００２０】
（本発明のヘッドマウントディスプレイの概要）
以下に、図面を参照しつつ本発明の好ましい実施の形態を示す。図１は第１の実施形態のヘッドマウントディスプレイ１００の全体図である。第１の実施形態のヘッドマウントディスプレイ１００は、頭部装着部１０、画像生成部２０、撮像装置３１、３２、制御部４０とから構成されている。
【００２１】
頭部装着部１０は、図に示される実施形態では、眼鏡のフレーム形状であるが、ヘルメット形状等であってもよく、ユーザの頭部に装着される構造のものであれはすべて含まれる。
【００２２】
画像生成部２０は、頭部装着部１０の側前部に取り付けられている。画像生成部２０は、画像を生成し、当該画像をユーザに視認させるものである。本実施形態では、レーザ光を直接ユーザの眼球に走査することにより、ユーザに画像を視認させている。前記画像には、静止画像ファイル、文章ファイル、動画ファイルが含まれる。ユーザは、画像生成部２０が生成する画像を視認すると同時に、外界を視認することができるようになっている。図１に示される実施形態では、画像生成部２０は、頭部装着部１０の一方の側前部に取り付けられているが、画像生成部２０を頭部装着部１０の両側前部に取り付け、ユーザが、両眼で画像生成部２０が生成する画像を視認する構成にしても差し支えない。
【００２３】
撮像装置３１、３２は、一定間隔をおいて頭部装着部１０の前部に取り付けられている。撮像装置３１、３２は、イメージセンサや結像光学系等から構成されている。
【００２４】
制御部４０は、本発明のヘッドマウントディスプレイ１００を制御するものであり、画像生成部２０、撮像装置３１、３２と接続している。
【００２５】
図２及び図３に本発明の概要を、説明図を示して、以下本発明の概要を説明する。図２はユーザの視界を表した図である。５００は、画像生成部２０が生成する仮想パネル画像である。仮想パネル画像５００は、複数の仮想パネル５０１を、奥行き方向(ユーザ視線の手前から遠い方向)に積層配置したように見える画像である。図に示した実施形態では、ユーザから見て上方からやや見下ろすように、仮想パネル５０１を表示している。つまり、手前の仮想パネル５０１ほど、仮想パネル５０１の下端を下側に表示し、奥の仮想パネル５０１ほど、仮想パネル５０１の上端を、上側に表示している。各仮想パネル５０１には、各コマンドが割り当てられている。
【００２６】
ユーザの手（指）６０１が、ある仮想パネル５０１に、一定時間以上ある場合には、当該仮想パネル５０１に対応するコマンドが実行されるようになっている。第１の実施形態では、図３の（Ａ）に示されるように、左右の撮像装置３１、３２がユーザの手（指）６０１の奥行き方向の座標（ｚ）を検出し、制御部４０が仮想パネル５０１に、ユーザの手（指）６０１が一定時間以上あるか否かを判断する。なお、ユーザの手（指）６０１が、ある仮想パネル５０１にあるとは、例えば、奥の方に積層配置された仮想パネル５０１を選択する場合には、手前にある仮想パネル５０１を順次突き抜けた先にある仮想パネル５０１に、ユーザの手（指）６０１があることをいう。図２の（Ｂ）に示される実施兄弟では、ユーザの手（指）６０１は、１番の仮想パネル５０１ａ及び２番の仮想パネル５０１ｂを突き抜け、３番の仮想パネル５０１ｃは突き抜けていないので、手前から奥の方に向かって、ユーザの手（指）６０１が仮想パネル５０１ａ、ｂを突き抜けた先にある３番の仮想パネル５０１ｃが選択されることになる。
【００２７】
なお、ユーザの頭がわずかでも動いた場合、画像生成部２０が表示する仮想パネル５０１と、検出されたユーザの手（指）６０１の位置は、ユーザの視線方向に垂直な面方向では、大きくずれてしまうが、ヘッドマウントディスプレイ１００に対するユーザの手の奥行き方向の位置関係はほぼ変化しない。通常、ヘッドマウントディスプレイ１００を装着したユーザの頭は絶えずわずかながらでも動いているが、このようなユーザの頭の自然な動きがあっても、本発明では、ヘッドマウントディスプレイ１００に対するユーザの手の奥行き方向の位置を検知して、コマンドを選択することとしたので、仮想パネルとユーザの手の奥行き方向の位置関係はほぼ変化しないことから、極めて誤検出の少なく、信頼性が高く、コマンドを選択することが可能となる。
【００２８】
図２に示されるように、手前から奥に順次所定の間隔を空けて、ユーザを中心として同心円状に積層されているかのような奥行き感を出した仮想パネル５０１を表示すると、ユーザの頭の動きがあっても、仮想パネル５０１と奥行き方向の位置関係は変化しないので、更に誤検出の少なく、コマンドを選択することが可能となる。
【００２９】
仮想パネル５０１に割り当てられたコマンドには、画像生成部２０で生成する画像を操作するためのコマンドが含まれる。例えば、画像を次に進ませるコマンド、画像を前に戻させるコマンド、画像を拡大・縮小するコマンド、画像の一覧表示を表示するコマンド等が含まれる。なお、仮想パネル画像５００は、図１２の（Ｂ）に示されるように、ツリー構造であっても差し支えない。
例えば、図１２の（Ｂ）に示される例では、ユーザはツリー階層において「画像選択」のコマンドを選択し、第２階層において「フォルダの一覧を表示」のコマンドを選択し、第３階層において「フォルダａを選択」のコマンドを選択し、第４階層において「フォルダＡを選択」のコマンドを選択し、最下階層において「ファイル１を表示」のコマンドを選択すると、ファイル１が画像生成部２０で表示される。或いは、ファイルが画像生成部２０で表示されている状態において、ユーザが、最下階層において「次のファイルに進む」のコマンドを選択すると、同一フォルダ内の次のファイルが画像生成部２０で表示される。
【００３０】
（第１の実施形態のヘッドマウントディスプレイのブロック図）
制御部４０は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、不揮発性メモリ４４、右撮像装置コントローラ４５、右撮像装置用ＶＲＡＭ４６、左撮像装置コントローラ４７、左撮像装置用ＶＲＡＭ４８、画像生成部コントローラ４９、画像生成部用ＶＲＡＭ５０、インターフェース５１とから構成され、これらは相互にバス５５で接続されている。
【００３１】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）４１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）４２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）４３と協動して、各種演算、処理を行うものである。
【００３２】
ＲＡＭ４２は、ＣＰＵ４１で処理されるプログラムや、ＣＰＵ４１が処理するデータを、そのアドレス空間に一時的に保存するものである。
【００３３】
ＲＯＭ４３には、ヘッドマウントディスプレイ１００を制御する各種プログラムやパラメータが保存されている。当該各種プログラムが、ＣＰＵ４１で処理されることにより、各種機能を実現している。ＲＯＭ４３には、後述する仮想パネル生成プログラム４３ａ、手位置検出プログラム４３ｂ、手座標算出手段４３ｃ、コマンド選択手段４３ｄ、手マッチングデータ４３ｅ等のプログラムやデータが保存されている。なお、不揮発性メモリ４４に、これらプログラムやデータを保存することにしても差し支えない。
【００３４】
仮想パネル生成プログラム４３ａは、画像生成部コントローラ４９に、仮想パネル画像５００を生成する命令を出力する。なお、仮想パネル画像５００を生成する「仮想パネル生成手段」は、仮想パネル生成プログラム４３ａ、ＣＰＵ４１、ＲＡＭ４２、画像生成部コントローラ４９、画像生成部用ＶＲＡＭ５０とから構成されている。
【００３５】
手位置検出プログラム４３ｂは、右撮像装置３１及び左撮像装置３２が撮像した「撮像画像」から、後述する手マッチングデータ４３ｅと照合し、ユーザの手を検出するともに当該ユーザの手の位置を検出し、「撮像画像」におけるユーザの手の上下（ｙ）・左右（ｘ）の座標位置である「撮像座標」を算出する。
【００３６】
手座標算出手段４３ｃは、手位置検出プログラム４３ｂが算出したユーザの手の各「撮像座標」（２次元座標）から、ユーザの手の「手座標」を算出する。なお、「手座標」、とは、ヘッドマウントディスプレイ１００を基準とする、ユーザの手の位置の３次元座標である。
【００３７】
コマンド選択手段４３ｄは、手座標算出手段４３ｃが算出したユーザの手の位置の「手座標」に基づいて、ユーザの手の奥行き方向の位置及び動作を算出し、当該ユーザの手の奥行き方向の位置及び動作に基づいて、仮想パネル５０１に割り当てられたコマンドを選択する。
【００３８】
手マッチングデータ４３ｅは、多数の手や指等の輪郭を表したデータの集合である。
【００３９】
なお、仮想パネル生成プログラム４３ａ、手位置検出プログラム４３ｂ、手座標算出手段４３ｃ、コマンド選択手段４３ｄを、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成することとしても差し支えない。
【００４０】
不揮発性メモリ４４は、ヘッドマウントディスプレイ１００の各種設定や画像ファイルを保存するものである。
【００４１】
右撮像装置コントローラ４５は、バス５５、右撮像装置３１及び右撮像装置用ＶＲＡＭ４６と接続している。右撮像装置コントローラ４５は、右撮像装置３１を制御し、後述する右撮像装置３１のイメージセンサの出力を、ＲＧＢそれぞれの色について階調表現して「撮像画像」を生成し、右撮像装置用ＶＲＡＭ４６に保存する。
【００４２】
右撮像装置用ＶＲＡＭ４６は、右撮像装置コントローラ４５及びバス５５と接続している。右撮像装置用ＶＲＡＭ４６は、保存された「撮像画像」をバス５５に引き渡す。
【００４３】
左撮像装置コントローラ４７は、左撮像装置３２と接続している。左撮像装置コントローラ４７は、右撮像装置コントローラ４５と同一の構造のものである。左撮像装置用ＶＲＡＭ４８は、左撮像装置コントローラ４７及びバス５５と接続している。左撮像装置用ＶＲＡＭ４８は、右撮像装置用ＶＲＡＭ４６と同一の構造である。
【００４４】
画像生成部コントローラ４９は、画像生成部２０及び、画像生成部用ＶＲＡＭ５０、バス５５と接続している。画像生成部コントローラ４９は、所謂ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、仮想パネル生成プログラム４３ａの命令を受けて、ピクセルデータである仮想パネル画像５００を生成し、画像生成部用ＶＲＡＭ５０に保存するとともに、画像生成部用ＶＲＡＭ５０に保存された仮想パネル画像５００を「画像信号」として画像生成部２０に出力する。また、画像生成部２０は、インターフェース５１に入力された「画像信号」や「画像ファイル」から、ピクセルデータである「画像データ」を生成し、画像生成部用ＶＲＡＭ５０に保存するとともに、画像生成部用ＶＲＡＭ５０に保存された「画像データ」を「画像信号」として画像生成部２０に出力する。更に、画像生成部コントローラ４９は、画像生成部２０に、制御信号を出力する。制御信号には、画像生成部２０の電源の投入・遮断、画像位置の調整、ピント調整等の制御信号が含まれる。
【００４５】
画像生成部用ＶＲＡＭ５０は、画像生成部コントローラ４９及びバス５５と接続している。画像生成部用ＶＲＡＭ５０は、画像生成部コントローラ４９が生成した仮想パネル画像５００を保存するとともに、当該仮想パネル画像５００を画像生成部コントローラ４９に出力する。
【００４６】
インターフェース５１は、信号の物理的、論理的な形式を変換するものである。インターフェース５１は、操作スイッチ６０、電源ランプ６１及びバス５５と接続している。操作スイッチ６０は、ヘッドマウントディスプレイ１００の電源をＯＮ・ＯＦＦ状態にする等の操作を行うためのスイッチである。電源ランプ６１は、ヘッドマウントディスプレイ１００がＯＮ状態の時に点灯するようになっている。また、インターフェース５１には、「画像信号」や、「画像ファイル」が入力される。インターフェース５１に入力された「画像信号」は、バス５５を経由して、画像生成部用ＶＲＡＭ５０に入力される。また、インターフェース５１に入力された「画像ファイル」は、バス５５を経由してＲＡＭ４２及び不揮発性メモリ４４の少なくとも一方に保存される。
【００４７】
右撮像装置３１及び左撮像装置３２は、イメージセンサ及び結像光学系、フォーカス装置を有している。イメージセンサは、センサ面上の光を検出して２次元画像信号を出力するものである。イメージセンサには、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ ＳｅｎＳｏｒ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｗｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサ上で結像させるものである。フォーカス装置は、結像光学系に入光した像が、イメージセンサ上で結像するように合焦させる装置である。結像光学系で結像された被撮像物の画像は、イメージセンサで画像信号に変換され、画像信号が右撮像装置コントローラ４５に出力される。なお、結像光学系がパンフォーカスを実現している場合には、前記フォーカス装置は不要である。
【００４８】
ユーザの手の位置又は動作を検出する「手位置動作検出手段」は、手位置検出プログラム４３ｂ、ＣＰＵ４１、ＲＡＭ４２、右撮像装置３１、右撮像装置コントローラ４５、右撮像装置用ＶＲＡＭ４６、左撮像装置３２、左撮像装置コントローラ４７、左撮像装置用ＶＲＡＭ４８とから構成されている。
【００４９】
画像生成部２０は、画像を生成し、当該画像をユーザに視認させる装置であり、例えば図５に示されるような構成をしている。画像生成部２０は、画像光生成部２１、コリメート光学系２２、水平走査部２３、垂直走査部２４、リレー光学系２５、リレー光学系２６を有している。
【００５０】
画像光生成部２１は、画像生成部コントローラ４９が出力する画像信号を、ドットクロック毎に読み出し、読み出した画像信号に応じて強度変調して画像光を生成する装置である。画像生成部２１は、信号処理回路２１１、光源部２１２、光合成部２１３を有している。
【００５１】
信号処理回路２１１は、画像生成部コントローラ４９と接続している。信号処理回路２１１は、画像生成部コントローラ４９から入力された画像信号に基づいて、画像光を生成するための要素となるＢ（青）、Ｇ（緑）、Ｒ（赤）の各画像信号２１４ａ〜２１４ｃが生成し、光源部２１２に出力する。また、信号処理回路２１１は、後述する水平走査部２３の水平走査制御回路２３ｂと接続し、この水平走査制御回路２３ｂに、画像生成部コントローラ４９から入力された画像信号に基づいて生成した水平駆動信号２１５を出力する。更に、信号処理回路２１１は、後述する垂直走査制御回路２４ｂと接続し、この垂直走査制御回路２４ｂに、画像生成部コントローラ４９から入力された画像信号に基づいて垂直駆動信号２１６を出力する。
【００５２】
光源部２１２は、Ｂレーザドライバ２１２ａ、Ｇレーザドライバ２１２ｂ、Ｒレーザドライバ２１２ｃ、Ｂレーザ２１２ｄ、Ｇレーザ２１２ｅ、Ｒレーザ２１２ｆから構成されている。Ｂレーザドライバ２１２ａは、信号処理回路２１１からドットクロック毎に出力されたＢ（青）の画像信号２１４ａに基づき、Ｂレーザ２１２ｄを駆動させる。Ｂレーザ２１２ｄは、Ｂ（青）の画像信号２１４ａに基づき、強度変調された青色のレーザ光を出射する。Ｇレーザ２１２ｅ及びＲレーザ２１２ｆも、同様に、それぞれ強度変調された、緑色のレーザ光、赤色のレーザ光を出射する。
【００５３】
各レーザ２１２ｄ〜２１２ｆには、半導体レーザや、高調波発生機能付固定レーザが含まれる。なお、半導体レーザを用いる場合には、駆動電流を直接変調して、レーザ光の強度変調を行う。また、高調波発生機能付固定レーザを用いる場合には、各レーザ２１２ｄ〜２１２ｆそれぞれに、外部変調器を備えてレーザ光の強度変調を行う。
【００５４】
光合成部２１３は、コリメート光学系２１３ａ〜２１３ｃ、ダイクロイックミラー２１３ｄ〜２１３ｆ、結合光学系２１３ｇとから構成されている。コリメート光学系２１３ａ〜２１３ｃは、それぞれ、レーザ２１２ｄ〜２１２ｆの前方に配設されていて、各レーザ２１２ｄ〜２１２ｆが出射したレーザ光を、平行光化する。ダイクロイックミラー２１３ｄ〜２１３ｆは、それぞれ、コリメート光学系２１３ａ〜２１３ｃの前方に配設されていて、各コリメート光学系２１３ａ〜２１３ｃが平行化した各レーザ光を、所定の範囲の波長のレーザ光のみを選択的に、反射又は透過する。
【００５５】
結合光学系２１３ｇは、ダイクロイックミラー２１３ｄ〜２１３ｆの前方に配設されている。ダイクロイックミラー２１３ｄを透過した青色のレーザ光及び、ダイクロイックミラー２１３ｅ、２１３ｆをそれぞれ反射した、緑色のレーザ光、赤色のレーザ光が、結合光学系２１３ｇに入射する。結合光学系２１３ｇは、各３原色のレーザ光を集光させて、光ファイバ２７に入射させる。
【００５６】
水平走査部２３及び垂直走査部２４は、光ファイバ２７に入射されたレーザ光を、画像として照射するために、当該レーザ光を水平方向と垂直方向に走査して走査画像光を生成する。
【００５７】
水平走査部２３は、共振型偏向素子２３ａ、水平走査制御回路２３ｂ、水平走査角検出回路２３ｃとから構成されている。光ファイバ２７に入射されたレーザ光は、コリメート光学系２２で平行光化され、共振型偏向素子２３ａに入射される。共振型偏向素子２３ａは、水平走査制御回路２３ｂで揺動される反射面２３ｄを有し、入射されたレーザ光を、揺動する反射面２３ｄで反射させて水平方向に走査する。水平走査制御回路２３ｂは、信号処理回路２１１から出力される水平駆動信号２１５に基づいて、共振型偏向素子２３ａの反射面２３ｄを揺動させる駆動信号を発生する。水平走査角検出回路２３ｃは、共振型偏向素子２３ａから出力される変位信号に基づいて、共振型偏向素子２３ａの反射面２３ｄの揺動範囲及び揺動周波数等の揺動状態を検出し、当該揺動状態を示す信号を、画像生成部コントローラ４９に出力する。
【００５８】
垂直走査部２４は、偏向素子２４ａ、垂直走査制御回路２４ｂ、垂直走査角検出回路２４ｃとから構成されている。偏向素子２４ａは、垂直走査制御回路２４ｂで揺動される反射面２４ｄを有し、入射されたレーザ光を、揺動する反射面２４ｄで反射させて垂直方向に走査し、２次元的に走査された画像光として、リレー光学系２６に出射する。垂直走査制御回路２４ｂは、信号処理回路２１１から出力される垂直駆動信号２１６に基づいて、偏向素子２４ａの反射面２４ｄを揺動させる駆動信号を発生する。垂直走査角検出回路２４ｃは、偏向素子２４ａから出力される変位信号に基づいて、偏向素子２４ａの反射面２４ｄの揺動範囲及び揺動周波数等の揺動状態を検出し、当該揺動状態を示す信号を、画像生成部コントローラ４９に出力する。
【００５９】
リレー光学系２５は、共振型偏向素子２３ａと偏向素子２４ａの間に配設されている。リレー光学系２５は、共振型偏向素子２３ａの反射面２３ｄで、水平方向に走査されたレーザ光を収束させて、偏向素子２４ａの反射面２４ｄに入射させる。
【００６０】
信号処理回路２１１は、画像生成部コントローラ４９から入力された画像信号に基づいて、水平駆動信号２１５と垂直駆動信号２１６を、それぞれ水平走査制御回路２３ｂと垂直走査制御回路２４ｂに出力し、反射面２３ｄ、２４ｄの走査角を変更することにより、生成する画像光の輝度を調整している。
【００６１】
こうして変更された反射面２３ｄ、２４ｄの走査角度は、水平走査角検出回路２３ｃ及び垂直走査角検出回路２４ｃによって検出信号として検出され、当該検出信号が画像生成部コントローラ４９に入力され、水平駆動信号２１５及び垂直駆動信号２１６にフィードバックされる。
【００６２】
リレー光学系２６は、正の屈折力を持つレンズ系２６ａ、２６ｂを有している。偏向素子２４ａから出射された画像光は、レンズ系２６ａによって、それぞれの画像光が、その画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。前記収束画像光は、レンズ系２６ｂによってそれぞれほぼ平行な走査画像光となるとともに、これらの走査画像光の中心線がユーザの瞳孔Ｅａに収束するように集光される。
【００６３】
なお、本実施形態では、光ファイバ２７から入射されたレーザ光を、水平走査部２３で水平方向に走査した後、垂直走査部２４によって垂直方向に走査することとしたが、水平走査部２３と垂直走査部２４の配置を入れ替え、垂直走査部２４に垂直方向に走査した後、水平走査部２３で水平方向に走査するように構成しても差し支えない。
【００６４】
このようなレーザ光を網膜上で走査して画像を表示する方式は焦点深度が深く、ユーザが手を奥行き方向に動かし、それにつられてユーザの眼の焦点位置が奥行き方向に移動しても、仮想パネルを鮮明に視認させることができ、積層された仮想パネルの表示において奥行き感を感じさせることができる。
【００６５】
なお、画像生成部２０を、ユーザの眼球Ｅに、強度が画像に応じて変調されたレーザ光を２次元に走査した画像光を直接照射し、ユーザに画像を視認させる実施形態について説明したが、画像生成部２０はこの実施形態に限定されず、ユーザの眼球の前面に配設されたＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ等、ユーザに画像を視認させる装置であっても差し支えない。
【００６６】
（第１の実施形態のメイン処理）
図６に第１の実施形態のメイン処理のフロー図を示し、以下当該フローについて説明する。第１の実施形態のメインフロー処理が開始すると、Ｓ１１「キャリブレーション」の処理に進む。Ｓ１１の処理において、仮想パネル生成プログラム４３ａは、「キャリブレーション」処理を実行する。詳しくは、図７及び図８を用いて後述するが、この処理において、仮想パネル生成プログラム４３ａは、各仮想パネル５０１を積層配置する、奥行き方向の座標（ｚ座標）を決定する。Ｓ１１の処理が終了すると、Ｓ１２「仮想パネル表示」の処理に進む。
【００６７】
Ｓ１２「仮想パネル表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１１の処理で決定した各仮想パネル５０１の奥行き方向の座標（ｚ座標）に基づいて、仮想パネル画像５００を生成する命令を、画像生成部用コントローラ４９に出力する。画像生成部用コントローラ４９は、前記命令に基づいて、仮想パネル５０１を積層配置して、ビットマップデータである仮想パネル画像５００を生成し、画像生成部用ＶＲＡＭ５０に保存するとともに、画像生成部２０に出力し、画像生成部２０は、仮想パネル画像５００を生成して表示する。Ｓ１２の処理が終了すると、Ｓ１３「手位置検出」の処理に進む。
【００６８】
Ｓ１３「手位置検出」の処理において、後で図９、図１０、図１１を用いて詳細に説明するが、手座標算出手段４３ｃは、ユーザの手（指）６０１を検出し、ユーザの手（指）６０１の「手座標」を算出する。Ｓ１３の処理が終了すると、Ｓ１４「選択された仮想パネルを認識」の処理に進む。
【００６９】
Ｓ１４「選択された仮想パネルを認識」の処理において、コマンド選択手段４３ｄは、手座標算出手段４３ｃが算出したユーザの手（指）６０１の「手座標」の奥行き方向の座標（ｚ座標）に基づいて、ユーザが選択した仮想パネル５０１を認識する。図３の（Ｂ）に示されるように、コマンド選択手段４３ｄは、ユーザの手（指）６０１の「手座標」の奥行き方向（ｚ方向）の座標が、それぞれの仮想パネル５０１に規定されている座標（ｚ１、ｚ２、ｚ３…）を突き抜けているか否かを判断し、突き抜けた先の仮想パネル５０１の中で、最も近い仮想パネル５０１を、ユーザが選択した仮想パネル５０１として認識する。なお、図３（Ｂ）において、ｚ１’、ｚ２’、ｚ３’は、それぞれ、仮想パネル５０１に規定されている座標（ｚ１、ｚ２、ｚ３）に最も近いと判断される範囲を表している。ユーザの手（指）６０１の「手座標」の奥行き方向の座標（ｚ座標）が、ｚ２’の範囲内にあれば、２番の仮想パネル５０１ｂが選択されたと判断する。或いは、ユーザの手（指）６０１の「手座標」の奥行き方向の座標（ｚ座標）が、ｚ３’の範囲内にあれば３番の仮想パネル５０１ｃが選択されたと判断する。なお、最前列の仮想パネル５０１ａについては、その前には突き抜ける仮想パネル５０１はないので、最前列の仮想パネル５０１ａを突き抜けないように、最前列の仮想パネル５０１ａの手前にユーザの手（指）６０１があれば、コマンド選択手段４３ｄは、最前列の仮想パネル５０１ａを、ユーザが選択した仮想パネル５０１として認識する。或いは、図３の（Ｃ）に示されるように、コマンド選択手段４３ｄは、ユーザの手（指）６０１の「手座標」の奥行き方向（ｚ方向）の座標に、最も近い仮想パネル５０１を、ユーザが選択した仮想パネル５０１として認識することとしても差し支えない。なお、図３（Ｃ）において、ｚ１’’、ｚ２’’、ｚ３’’は、それぞれ、仮想パネル５０１に規定されている座標（ｚ１、ｚ２、ｚ３）に最も近いと判断される範囲を表している。Ｓ１４の処理が終了すると、Ｓ１５「選択されたタッチパネルを強調表示」の処理に進む。
【００７０】
Ｓ１５「選択されたタッチパネルを強調表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１４の処理でコマンド選択手段４３ｂが認識した仮想パネル５０１を、例えば図２に示されるように番号を点滅させて強調表示する命令を、画像生成部コントローラ４９に出力する。なお、仮想パネル５０１自体を点滅させる、仮想パネル５０１の色を変える、仮想パネル５０１の大きく表示する等の画像処理を行い、仮想パネル５０１を強調表示することとしても差し支えない。このように、仮想パネル５０１を強調表示することにより、ユーザは選択しようとしている仮想パネル５０１を認識することができる。仮想パネル５０１は奥行き方向に積層配置されたようにユーザが感じるよう表示されているが、平面映像のため、積層されて見える仮想パネル５０１の位置とヘッドマウントディスプレイ１００にたいするユーザの手（指）６０１の奥行き方向の位置の対応が取りにくい。しかし本実施形態では、手（指）６０１のある位置の仮想パネル５０１を、強調表示することとしたので、強調表示された仮想パネル５０１を見ながら、ヘッドマウントディスプレイ１００に対する手（指）６０１の奥行き位置を、ユーザが調整して誤りなく所望の仮想パネル５０１を選択することが可能となっている。Ｓ１５の処理が終了すると、Ｓ１６「仮想パネル押下？」の判断処理に進む。
【００７１】
Ｓ１６「仮想パネル押下？」の判断処理において、コマンド選択手段４３ｄは、Ｓ１４の処理で選択され、Ｓ１５の処理で強調表示された仮想パネル５０１が、押下されたか否かを判断する。具体的には、コマンド選択手段４３ｄは、一定時間以上、ユーザの手が、設定範囲内で停止しているか否かを判断する。なお、前記設定範囲とは、左右・上下方向（ｘ、ｙ方向）に関しては、左右・上下方向に関して仮想パネル５０１が表示される範囲であり、奥行き方向（ｚ方向）に関しては、図３の（Ｂ）に示されるそれぞれの仮想パネル５０１に規定されている範囲（ｚ１’、ｚ２’、ｚ３’…）である。コマンド選択手段４３ｄが、一定時間以上、ユーザの手が、設定範囲内で停止していると判断した場合には、Ｓ１７「仮想パネル押下表示」の処理に進む。一方で、コマンド選択手段４３ｄが、一定時間以上、ユーザの手が、設定範囲内で停止していなく、設定範囲から外れたと判断した場合には、Ｓ１３の処理に戻る。
【００７２】
Ｓ１７「仮想パネル押下表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１４の処理で選択された仮想パネル５０１を、押下した旨の表示をさせる命令を画像生成部コントローラ４９に出力する。仮想パネル５０１を押下した旨の表示には、「押下」の文字を表示する、選択された仮想パネル５０１の色を変化させる等が含まれる。Ｓ１７の処理が終了すると、Ｓ１８「コマンド選択」の処理に進む。
【００７３】
Ｓ１８「コマンド選択」の処理において、Ｓ１７の処理で強調表示した仮想パネル５０１に対応するコマンドを選択する。Ｓ１８の処理が終了すると、Ｓ１９「最終選択？」の判断処理に進む。
【００７４】
Ｓ１９「最終選択？」の判断処理において、コマンド選択手段４３ｄは、Ｓ１８の処理で選択したコマンドに対応する仮想パネル５０１が、最下階層の仮想パネル画像５００（図１２に示す）にある仮想パネル５０１であるか否かを判断する。コマンド選択手段４３ｄが、Ｓ１８の処理で選択したコマンドに対応する仮想パネル５０１が、最下階層の仮想パネル画像５００にある仮想パネル５０１であると判断した場合には、Ｓ２０「コマンド実行」の処理に進む。一方で、コマンド選択手段４３ｄが、Ｓ１８の処理で選択したコマンドに対応する仮想パネル５０１が、最下階層の仮想パネル画像５００にある仮想パネル５０１でないと判断した場合には、Ｓ２５「次階層の仮想パネル画像を表示」の処理に進む。
【００７５】
Ｓ２５「次階層の仮想パネル画像を表示」の処理において、仮想パネル生成プログラム４３ａは、次階層（下階層）の仮想パネル画像５００を生成する命令を、画像生成部コントローラ４９に出力する。画像生成部用コントローラ４９は、仮想パネル生成プログラム４３ａの命令に従って、仮想パネル画像５００を生成するとともに、当該仮想パネル画像５００を画像生成部２０に出力する。Ｓ２５の処理が終了すると、Ｓ１３の処理に戻る。このような階層構造でコマンドを選択できると、手の奥行き方向の検知だけで、複雑な操作を行うことができる。
【００７６】
Ｓ２０「コマンド実行」の処理において、コマンド選択手段４３ｄは、Ｓ１８の処理で選択したコマンドを実行する。Ｓ２０の処理が終了すると、Ｓ２１「画像生成」の処理に進む。
【００７７】
Ｓ２１「画像生成」の処理において、画像生成部コントローラ４９は、Ｓ２０の処理においてＣＰＵ４１で実行される命令に基づき、画像を生成し、画像生成部用ＶＲＡＭ５０に出力するとともに、画像生成部２０に出力する。Ｓ２０の処理で実行されるコマンドには、画像生成部２０が生成している画像の、拡大・縮小・移動、次の画像進む処理、前の画像に戻る処理等が含まれる。Ｓ２１の処理が終了すると、メイン処理のフローが終了する。
【００７８】
なお、Ｓ２０の処理で実行されるコマンドが、画像生成部２０で生成される画像に変更がない場合（例えば現在表示中の画像の保存）には、Ｓ２１の処理が実行されない。
【００７９】
本実施形態では、Ｓ１６の処理において、ユーザが一定時間以上手を仮想パネル５０１の設定範囲に停止させた場合に、コマンド選択手段４３ｄは、当該仮想パネル５０１を押下したと判断することにしているが、Ｓ１６の処理はこれに限定されず、ユーザが所定の動作をした場合、例えばユーザが手（指）６０１を折る、手（指）６０１を振る等の動作をさせた場合に、手座標算出手段４３ｃが算出したユーザの手（指）６０１の「手座標」に基づき、コマンド選択手段４３ｄが仮想パネル５０１を押下したと判断することにしても差し支えない。なお、ユーザの手（指）６０１の動作は頭の動きでは生じないような動作を選択動作として設定しておけば、頭の動きで誤検出が生じることはなく、信頼性の高い押下判断を行うことができる。例えば、前記選択動作には、手（指）６０１を折ったり、頭を振る速度より速く手（指）６０１を振ったりする動作が含まれる。
【００８０】
（キャリブレーション処理）
図７にキャリブレーション処理のフロー図を示し、図８にキャリブレーション処理の説明図を示して、以下キャリブレーション処理について説明をする。なお、図８はユーザの視界を示した図である。キャリブレーション処理は、ユーザが近いと感じる位置（近位置）に、画像生成部２０がマーカ画像５０５を表示させ（図８の（Ａ））、ユーザが遠いと感じる位置（遠位置）に、画像生成部２０がマーカ画像５０６を表示させ（図８の（Ｂ））、ユーザに前記マーカ画像５０５、５０６を選択させて、当該マーカ画像５０５、５０６の間に、仮想パネル５０１を配置するための座標を算出する処理である。このように、キャリブレーション処理を行うことにより、画像生成部２０で生成させる画像のユーザ毎の遠近感の個人差を吸収し、ユーザが違和感を覚えないようにしている。
【００８１】
キャリブレーション処理が開始すると、S３１「近位置調整用マーカ画像表示」の処理において、図８の（Ａ）に示されるように、仮想パネル生成プログラム４３ａは、ユーザが近位置に見えるマーカ画像５０５を生成する命令を、画像生成部コントローラ４９に出力する。図８の（Ａ）に示されるように、画像生成部２０は、下側に大きいマーカ画像５０５を生成し、表示する。Ｓ３１の処理が終了すると、Ｓ３２「手位置検出」の処理に進む。
【００８２】
Ｓ３２「手位置検出」の処理において、手位置検出プログラム４３ｂは、手位置検出処理を実行する。詳しくは、図９を用いて後述するが、この処理において、手位置検出プログラム４３ｂはユーザと手（指）６０１の位置を検出し、手座標算出手段４３ｃは、ヘッドマウントディスプレイ１００を基準とするユーザの手（指）６０１の位置の３次元座標である「手座標」を算出する。Ｓ３２の処理が終了すると、Ｓ３３「設定位置に手がある？」の判断処理に進む。
【００８３】
Ｓ３３「設定位置に手がある？」の判断処理において、仮想パネル生成プログラム４３ａは、設定位置にユーザの手があるか否かを判断する。設定位置とは、マーカ画像５０５が表示されている、ｘ座標及びｙ座標の範囲内の位置である。仮想パネル生成プログラム４３ａが、ユーザの手（指）６０１が、前記マーカ画像５０５が表示されている範囲にあると判断した場合には、Ｓ３４「設定位置に設定時間手がある？」の判断処理に進む。一方で、仮想パネル生成プログラム４３ａが、ユーザの手（指）６０１が、前記マーカ画像５０５が表示されている範囲内にないと判断した場合には、Ｓ３２の処理に戻る。
【００８４】
Ｓ３４「設定位置に設定時間手がある？」の判断処理において、仮想パネル生成プログラム４３ａは、設定位置に設定時間ユーザの手（指）６０１があるか否かを判断する。仮想パネル生成プログラム４３ａが、設定位置に設定時間ユーザの手（指）６０１があると判断した場合には、Ｓ３５「近位置設定（Z1）」の処理に進む。一方で、仮想パネル生成プログラム４３ａが、設定位置に設定時間ユーザの手（指）６０１がないと判断した場合には、Ｓ３２の処理に戻る。
【００８５】
Ｓ３５「近位置設定（Z1）」の処理において、仮想パネル生成プログラム４３ａは、Ｓ３２の処理で検出した、ユーザの手（指）６０１の「手座標」のうち、奥行き方向の座標（Ｚ座標）を、近位置（Z1）として設定する。Ｓ３５の処理が終了すると、Ｓ３６「遠位置調整用マーカ画像表示」の処理に進む。
【００８６】
Ｓ３６「遠位置調整用マーカ画像表示」の処理において、図８の（Ｂ）に示されるように、仮想パネル生成プログラム４３ａは、ユーザが遠位置に見えるマーカ画像５０６を生成する命令を、画像生成部コントローラ４９に出力する。図８の（Ｂ）に示されるように、画像生成部２０は、上側に小さいマーカ画像５０６を生成する。Ｓ３６の処理が終了すると、Ｓ３７「手位置検出」の処理に進む。
【００８７】
Ｓ３７「手位置検出」の処理において、手位置検出プログラム４３ｂは、手位置検出処理を実行する。Ｓ３７の処理は、Ｓ３２の処理と同一である。Ｓ３７の処理が終了すると、Ｓ３８「設定位置に手がある？」の処理に進む。
【００８８】
Ｓ３８「設定位置に手がある？」の判断処理において、仮想パネル生成プログラム４３ａは、設定位置にユーザの手があるか否かを判断する。仮想パネル生成プログラム４３ａが、ユーザの手（指）６０１が、前記マーカ画像５０６が表示されている範囲にあると判断した場合には、Ｓ３９「設定位置に設定時間手がある？」の判断処理に進む。一方で、仮想パネル生成プログラム４３ａが、ユーザの手（指）６０１が、前記マーカ画像５０６が表示されている範囲内にないと判断した場合には、Ｓ３７の処理に戻る。
【００８９】
Ｓ３９「設定位置に設定時間手がある？」の判断処理において、仮想パネル生成プログラム４３ａは、設定位置に設定時間ユーザの手（指）６０１があるか否かを判断する。仮想パネル生成プログラム４３ａが、設定位置に設定時間ユーザの手（指）６０１があると判断した場合には、Ｓ４０「遠位置設定（Ｚｎ）」の処理に進む。一方で、仮想パネル生成プログラム４３ａが、設定位置に設定時間ユーザの手（指）６０１がないと判断した場合には、Ｓ３７の処理に戻る。
【００９０】
Ｓ４０「遠位置設定（Ｚｎ）」の処理において、仮想パネル生成プログラム４３ａは、Ｓ３９の処理で検出した、ユーザの手（指）６０１の「手座標」のうち、奥行き方向の座標（Ｚ座標）を、遠位置（Ｚｎ）として設定する。Ｓ４０の処理が終了すると、Ｓ４１「ｎ枚の仮想パネル座標決定」の処理に進む。
【００９１】
Ｓ４１「ｎ枚の仮想パネル座標決定」の処理において、仮想パネル生成プログラム４３ａは、Ｓ３５の処理で設定した奥行き方向の座標（Ｚ１）を、最も手前に表示される仮想パネル５０１の奥行き方向の座標（Ｚ１）として決定し、Ｓ４０の処理で設定した奥行き方向の座標（Ｚｎ）を最も遠くに表示される仮想パネル５０１の奥行き方向の座標（Ｚｎ）として決定し、最も手間及び最も遠くに表示される仮想パネル５０１の間にｎ―２枚積層配置する仮想パネル５０１の各奥行き方向の座標を、ＺｎとＺ１の差分を（ｎ−１）で除し、当該数値をＺ１に加算することにより算出する処理を行い、各仮想パネル５０１の奥行き方向の座標（Ｚ座標：Ｚ１、Ｚ２…Ｚｎ）を決定する。Ｓ４１の処理が終了すると、キャリブレーション処理が終了し、図６のメインフローのＳ１２の処理に進む。
【００９２】
このような「キャリブレーション処理」により、マーカ画像５０５、５０６の奥行き方向の位置としてユーザが認識したい位置と、ヘッドマウントディスプレイ１００に対するユーザの手（指）６０１の奥行き方向の実際の位置との対応を、ユーザ自身が決定することができるようにしている。このため、奥行き方向に積層配置されたようにユーザが感じるよう平面上に表示された仮想パネル５０１であっても、ユーザごとの個人差を吸収し、ユーザが操作しやすい手の動作範囲に仮想パネル５０１を生成することが可能となる。
【００９３】
（手位置検出処理）
図９に手位置検出処理のフロー図を示し、以下当該フローについて説明する。手位置検出処理が開始すると、Ｓ５１「右撮像装置撮像」の処理に進む。Ｓ５１の処理において、右撮像装置３１は、撮像処理を行い、右撮像装置３１のイメージセンサの出力信号を、順次、右撮像装置コントローラ４５に出力する。右撮像装置コントローラ４５は、右撮像装置３１のイメージセンサの各画素のＲ（赤）Ｇ（緑）Ｂ（青）の各原色の信号に基づいて、各画素についての各原色（Ｒ、Ｇ、Ｂ）を階調表現し、「撮像画像」を生成し、右撮像装置用ＶＲＡＭ４６に保存する。Ｓ５１の処理が終了すると、Ｓ５２「色解析」の処理に進む。
【００９４】
Ｓ５２「色解析」の処理において、手位置検出プログラム４３ｂは、手検出処理を実行する。詳しくは、図１０を用いて後述するが、この処理において、手位置検出プログラム４３ｂは、右撮像装置３１で撮像された「撮像画像」の色解析処理を行い、手（指）の色成分の画素の抽出を行う。Ｓ５２の処理が終了すると、Ｓ５３「手を検出？」の判断処理に進む。
【００９５】
Ｓ５３「手を検出？」の判断処理において、手位置検出プログラム４３ｂは、Ｓ５２（Ｓ６２）の処理で抽出された画素の集合と、ＲＯＭ４３に保存された手マッチングデータ４３ｅと照合し、Ｓ５２（Ｓ６２）の処理で抽出された画素の集合が手（指）であるか否かを判断する。Ｓ５３の処理では、手位置検出プログラム４３ｂは、所定の閾値の用いて、Ｓ５２（Ｓ６２）の処理で抽出された画素の集合が手（指）であるか否かを判断する。手位置検出プログラム４３ｂが、Ｓ５２（Ｓ６２）の処理で抽出された画素の集合が手（指）であると判断した場合には、Ｓ５４「手の撮像座標算出」の処理に進む。一方で、手位置検出プログラム４３ｂが、Ｓ５２（Ｓ６２）の処理で抽出された画素の集合が手（指）であると判断しない場合には、Ｓ５２の処理に戻る。
【００９６】
Ｓ５４「手の撮像座標算出」の処理において、Ｓ５３の判断処理において検出された手（指）の撮像画像上の縦（ｙ）・横（ｘ）方向の座標（以下、撮像座標とする）を算出する。本実施形態では、指先の撮像座標を算出している。すなわち、検出された手（指）６０１の撮像画像上の縦（ｙ）方向の座標が最大となる撮影座標が指先の座標となる。Ｓ５４の処理が終了すると、Ｓ５５「左撮像装置撮像」の処理に進む。
【００９７】
Ｓ５５「左撮像装置撮像」の処理において、Ｓ５１の処理と同様に、左撮像装置３２は、撮像処理を行い、当該左撮像装置３２で撮像された「撮像画像」が、左撮像装置用ＶＲＡＭ４８に保存される。Ｓ５５の処理が終了すると、Ｓ５６「色解析」の処理に進む。
【００９８】
Ｓ５６「色解析」の処理において、手位置検出プログラム４３ｂは、手検出処理を実行する。Ｓ５６の処理は、Ｓ５２の処理と同一である。Ｓ５６の処理が終了すると、Ｓ５７「手を検出？」の判断処理に進む。
【００９９】
Ｓ５７「手を検出？」の判断処理において、手位置検出プログラム４３ｂは、Ｓ５６（Ｓ６２）の処理で抽出された画素の集合と、ＲＯＭ４３に保存された手マッチングデータ４３ｅと照合し、Ｓ５６（Ｓ６２）の処理で抽出された画素の集合が手（指）であるか否かを判断する。手位置検出プログラム４３ｂが、Ｓ５６（Ｓ６２）の処理で抽出された画素の集合が手（指）であると判断した場合には、Ｓ５８「手の撮像座標算出」の処理に進む。一方で、手位置検出プログラム４３ｂが、Ｓ５６（Ｓ６２）の処理で抽出された画素の集合が手（指）であると判断しない場合には、Ｓ５２の処理に戻る。
【０１００】
Ｓ５８「手の撮像座標算出」の処理において、Ｓ５７の判断処理において検出された手（指）の撮像座標を算出する。Ｓ５８の処理が終了すると、Ｓ５９「手座標算出」の処理に進む。
【０１０１】
Ｓ５９「手座標算出」の処理において、手座標算出手段４３ｃは、Ｓ５４の処理及びＳ５８の処理で算出した各「撮像座標」に基づいて、ヘッドマウントディスプレイ１００を基準原点とする３次元座標である「手座標」を算出する。図１１に示されるように、例えば、ユーザの手（指）６０１が、左右撮像装置３１、３２の中心に位置している場合において、右撮像装置３１で撮像したユーザの手（指）６０１の撮像座標は、右撮像装置３１の撮像範囲の中心よりも横方向（ｘ方向）左側にずれる。また、左撮像装置３２で撮像したユーザの手（指）６０１の撮像座標は、左撮像装置３１の撮像範囲の中心よりも横方向（ｘ方向）右側にずれる。この撮像座標のずれ量（視差）から、ヘッドマウントディスプレイ１００を基準とする、ユーザの手（指）６０１の奥行き方向の座標（ｚ座標）を算出する。なお、ユーザの手（指）６０１が左右撮像装置３１、３２の中心に位置していない場合であっても、左右撮像装置３１、３２で撮像したユーザの手（指）６０１の「撮像座標」は、横方向（ｘ方向）に関して異なるので、左右撮像装置３１、３２で撮像したユーザの手（指）６０１の「撮像座標」から、奥行き方向（ｚ方向）の座標を算出する。このように、手座標算出手段４３ｃは、一定間隔をおいて配設された左右撮像装置３１、３２が撮像した、同一位置にあるユーザの手（指）６０１の「撮像座標」のずれ量（視差）に基づいて、ヘッドマウントディスプレイ１００を基準とするユーザの指６０１の奥行き方向の座標（ｚ座標）を算出する。
【０１０２】
このように、間隔をおいて頭部装着部１０に取り付けられた、撮像装置３１、３２で、ユーザの指６０１を撮像することにより、ヘッドマウントディスプレイ１００に対するユーザの指６０１の奥行き方向の座標（ｚ座標）を算出することにしたので、ユーザの頭が揺れたとしても、ユーザの頭の動きにつれて撮像装置３１、３２も動き、撮影画像３１、３２に対してユーザの指６０１の位置が変化しても、撮像装置３１、３２が撮像するユーザの指６０１の視差は変わらないので、ヘッドマウントディスプレイ１００に対するユーザの指６０１の奥行き方向の座標（ｚ座標）を安定して検出することができる。
【０１０３】
また、手座標算出手段４３ｃは、右撮像装置３１及び左撮像装置３２で撮像したユーザの手（指）６０１の「撮像座標」のうち横方向の座標（ｘ座標）を平均し、ユーザの手（指）６０１の横方向の座標（ｘ座標）を算出する。また、手座標算出手段４３ｃは、右撮像装置３１及び左撮像装置３２で撮像したユーザの手（指）６０１の「撮像座標」のうち上下方向の座標（ｙ座標）を平均し、又はどちらか一方を選択し、ユーザの手（指）６０１の上下方向の座標（ｙ座標）を算出する。このようにして、手座標算出手段４３ｃは、ヘッドマウントディスプレイ１００を基準とするユーザの手（指）６０１の位置の３次元座標である「手座標」を算出する。Ｓ５９の処理が終了すると、「手位置検出処理」が終了し、図７に示される「キャリブレーション処理」に戻る。このとき、ユーザの頭は絶えず動いており、撮像装置３１、３２もそれにつられて動く。通常は首を中心として頭が回転する動きが多いので、この撮像装置３１、３２の動きにより、ｘ座標、ｙ座標は頭及び撮像装置３１、３２の動きに対応して変化するが、奥行き方向の座標であるｚ座標はほとんど変化しない。
【０１０４】
（色解析処理）
図１０に色解析処理のフロー図を示して、以下当該処理について説明する。色解析処理が開始すると、Ｓ６１「ＲＧＢ分解」の処理において、手位置検出プログラム４３ｂは、右撮像装置用ＶＲＡＭ４６に保存された「撮像画像」の各画素についてＲＧＢの各原色の階調の強弱を数値化する処理を行う。Ｓ６１の処理が終了すると、Ｓ６３「設定色領域抽出」の処理に進む。
【０１０５】
Ｓ６３「設定色領域抽出」の処理において、手位置検出プログラム４３ｂは、Ｓ６１の処理で、ＲＧＢの各原色の階調の強弱を数値化された各画素について、手の設定色（肌色）の範囲内にあるか否かを判断し、手の設定色の画素を抽出する。Ｓ６３の処理が終了すると、色解析の処理が終了する。
【０１０６】
（第２の実施形態のヘッドマウントディスプレイ）
図１３に第２の実施形態のヘッドマウントディスプレイ１１０のブロック図を示し、図１５に第２の実施形態のヘッドマウントディスプレイ１１０の全体図を示して、以下、第１の実施形態と異なる点について第２の実施形態のヘッドマウントディスプレイ１１０について説明する。第２の実施形態では、仮想パネル５０１の押下を、ユーザの手に取り付けられたセンサ７０が検出したユーザの手の動きにより、決定する実施形態である。
【０１０７】
第２の実施形態のヘッドマウントディスプレイ１１０は、第１の実施形態のヘッドマウントディスプレイ１００に加えて、更に、ユーザの手に取り付けられるセンサ７０と、当該センサ７０が検出した「手動作信号」を、物理的・論理的な変換を行い、バス５５に引き渡すセンサ用インターフェース５２を有している。なお、バス５５に引き渡された、「手動作信号」は、ＲＡＭ４２に保存される。
【０１０８】
センサ７０は、例えば、ユーザの手（指）６０１の動きの加速度を検出する加速度センサ、ユーザの手の動作（例えば指６０１を曲げた等）を検出するポテンショメータやひずみ計等が含まれ、ユーザの手の動作を検出し、「手動作信号」を生成するセンサである。なお、図１５の（Ｂ）に示される実施形態のセンサ７０は、ユーザの指６０１の屈伸を検出するセンサである。
【０１０９】
図１４に第２の実施形態のヘッドマウントディスプレイ１１０のメイン処理のフロー図を示し、以下、当該フローについて説明をする。第２の実施形態のメインフロー処理が開始すると、Ｓ１１１「キャリブレーション」の処理に進む。Ｓ１１１の処理において、仮想パネル生成プログラム４３ａは、「キャリブレーション」処理を実行する。この処理において、仮想パネル生成プログラム４３ａは、各仮想パネル５０１の奥行き方向の座標（ｚ座標）を決定する。なお、Ｓ１１１の処理は、前述した第１の実施形態のキャリブレーション処理（図７に示す）と同一の処理である。Ｓ１１１の処理が終了すると、Ｓ１１２「仮想パネル表示」の処理に進む。
【０１１０】
Ｓ１１２「仮想パネル表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１１１の処理で決定した各仮想パネル５０１の奥行き方向の座標（ｚ座標）に基づいて、仮想パネル画像５００を生成する命令を、画像生成部用コントローラ４９に出力する。画像生成部用コントローラ４９は、前記命令に基づいて、仮想パネル５０１を積層配置して、仮想パネル画像５００を生成し、画像生成部用ＶＲＡＭ５０に保存するとともに、画像生成部２０に出力し、画像生成部２０は、仮想パネル画像５００を生成して表示する。Ｓ１１２の処理が終了すると、Ｓ１１３「手位置検出」の処理に進む。
【０１１１】
Ｓ１１３「手位置検出」の処理において、手座標算出手段４３ｃは、ユーザの手（指）６０１を検出し、ユーザの手（指）６０１の「手座標」を算出する。なお、Ｓ１１３の処理は、前述した第１の実施形態の手位置検出処理（図９に示す）と同一の処理である。Ｓ１１３の処理が終了すると、Ｓ１１４「選択された仮想パネルを認識」の処理に進む。
【０１１２】
Ｓ１１４「選択された仮想パネルを認識」の処理において、コマンド選択手段４３ｄは、手座標算出手段４３ｃが算出したユーザの手（指）６０１の「手座標」の奥行き方向の座標（ｚ座標）に基づいて、ユーザが選択した仮想パネル５０１を認識する。図３の（Ｂ）に示されるように、コマンド選択手段４３ｄは、ユーザの手（指）６０１の「手座標」の奥行き方向（ｚ方向）の座標が、それぞれの仮想パネル５０１に規定されている範囲（ｚ１、ｚ２、ｚ３…）にあるか否かを判断し、ユーザが選択した仮想パネル５０１を認識する。Ｓ１１４の処理が終了すると、Ｓ１１５「選択されたタッチパネルを強調表示」の処理に進む。
【０１１３】
Ｓ１１５「選択されたタッチパネルを強調表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１１４の処理でコマンド選択手段４３ｄが認識した仮想パネル５０１を、例えば、図２に示されるように番号を点滅させて強調表示する命令を、画像生成部コントローラ４９に出力する。なお、仮想パネル５０１自体を点滅させる、仮想パネル５０１の色を変える、仮想パネル５０１の大きく表示する等の画像処理を行い、仮想パネル５０１を強調表示することとしても差し支えない。このように、仮想パネル５０１を強調表示することにより、ユーザは選択しようとしている仮想パネル５０１を認識することができる。仮想パネル５０１は奥行き方向に積層配置されたようにユーザが感じるよう表示されているが、平面映像のため、積層されて見える仮想パネル５０１の位置とヘッドマウントディスプレイ１００に対するユーザの手（指）６０１の奥行き方向の位置の対応が取りにくい。しかし、本実施形態では、手（指）６０１のある位置の仮想パネル５０１を強調表示することとしたので、強調表示された仮想パネル５０１を見ながら、ヘッドマウントディスプレイ１００に対する手（指）６０１の奥行き位置を、ユーザが調整して誤りなく所望の仮想パネル５０１を選択することが可能となる。Ｓ１１５の処理が終了すると、Ｓ１１６「手作動情報入力？」の判断処理に進む。
【０１１４】
Ｓ１１６「手作動情報入力？」の判断処理において、コマンド選択手段４３ｄは、「手動作信号」がセンサ用インターフェース５２に入力されたか否かを判断する。コマンド選択手段４３ｄが、「手動作信号」がセンサ用インターフェース５２に入力されたと判断した場合には、Ｓ１１８「手動作信号が押下レベルか？」の判断処理に進む。一方で、コマンド選択手段４３ｄが、「手動作信号」がセンサ用インターフェース５２に入力されていないと判断した場合には、Ｓ１１３の処理に戻る。
【０１１５】
Ｓ１１８「手動作信号が押下レベルか？」の判断処理において、コマンド選択手段４３ｄは、Ｓ１１６の判断処理で入力された「手動作信号」の強弱を判断し、当該「手動作信号」が押下レベルか否かを判断する。コマンド選択手段４３ｄが、Ｓ１１６の判断処理で入力された「手動作信号」が、押下レベルであると判断した場合には、Ｓ１１９「仮想パネル押下表示」の処理に進む。一方で、コマンド選択手段４３ｄが、Ｓ１１６の判断処理で入力された「手動作信号」が、押下レベルでないと判断した場合には、Ｓ１１３の処理に戻る。ユーザの頭が動いて、撮像装置３１、３２でユーザの手（指）６０１が振られた動作のように撮像されたとしても、本実施形態では、ユーザの手（指）６０１に取り付けられたセンサ７０で、仮想パネル５０１の選択動作を検出することとしたので、ユーザの頭の動きにより仮想パネル５０１が誤選択されることを確実に防止し、ユーザが選択することを所望する仮想パネル５０１を確実に検出することが可能となる。
【０１１６】
Ｓ１１９「仮想パネル押下表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１１７の処理で算出された、ユーザの手（指）６０１の「手座標」の奥行き方向（ｚ方向）の座標が、それぞれの仮想パネル５０１に規定されている範囲（ｚ１’、ｚ２’、ｚ３’…）にあるか否かを判断し、ユーザが選択した仮想パネル５０１を認識し、当該仮想パネル５０１を、押下した旨の表示をさせる命令を画像生成部コントローラ４９に出力する。仮想パネル５０１を押下した旨の表示には、「押下」の文字を表示する、選択された仮想パネル５０１の色を変化させる等が含まれる。Ｓ１１９の処理が終了すると、Ｓ１２０「コマンド選択」の処理に進む。
【０１１７】
Ｓ１２０「コマンド選択」の処理において、Ｓ１１９の処理で強調表示した仮想パネル５０１に対応するコマンドを選択する。Ｓ１２０の処理が終了すると、Ｓ１２１「最終選択？」の判断処理に進む。
【０１１８】
Ｓ１２１「最終選択？」の判断処理において、コマンド選択手段４３ｄは、Ｓ１２０の処理で選択したコマンドに対応する仮想パネル５０１が、最下層の仮想パネル画像５００（図１２に示す）にある仮想パネル５０１であるか否かを判断する。コマンド選択手段４３ｄが、Ｓ１２０の処理で選択したコマンドに対応する仮想パネル５０１が、最下層の仮想パネル画像５００にある仮想パネル５０１であると判断した場合には、Ｓ１２２「コマンド実行」の処理に進む。一方で、コマンド選択手段４３ｄが、Ｓ１２０の処理で選択したコマンドに対応する仮想パネル５０１が、最下層の仮想パネル画像５００にある仮想パネル５０１でないと判断した場合には、Ｓ１２５「次レイヤーの仮想パネル画像を表示」の処理に進む。
【０１１９】
Ｓ１２５「次レイヤーの仮想パネル画像を表示」の処理において、仮想パネル生成プログラム４３ａは、次レイヤー（下層）の仮想パネル画像５００を生成する命令を、画像生成部コントローラ４９に出力する。画像生成部用コントローラ４９は、仮想パネル生成プログラム４３ａの命令に従って、仮想パネル画像５００を生成するとともに、当該仮想パネル画像５００を画像生成部２０に出力する。Ｓ１２５の処理が終了すると、Ｓ１１３の処理に戻る。
【０１２０】
Ｓ１２２「コマンド実行」の処理において、コマンド選択手段４３ｄは、Ｓ１２０の処理で選択したコマンドを実行する。Ｓ１２２の処理が終了すると、Ｓ１２３「画像生成」の処理に進む。
【０１２１】
Ｓ１２３「画像生成」の処理において、画像生成部コントローラ４９は、Ｓ１２２の処理においてＣＰＵ４１で実行される命令に基づき、画像を生成し、画像生成部用ＶＲＡＭ５０に出力するとともに、画像生成部２０に出力する。Ｓ１２２の処理で実行されるコマンドには、画像生成部２０が生成している画像の、拡大・縮小・移動、次の画像に進む処理、前の画像に戻る処理等が含まれる。Ｓ１２３の処理が終了すると、メイン処理のフローが終了する。
【０１２２】
なお、Ｓ１２２の処理で実行されるコマンドが、画像生成部２０で生成される画像に変更がない場合（例えば現在表示中の画像の保存）には、Ｓ１２３の処理が実行されない。
【０１２３】
なお、本明細書において、「手」には、例えば、手に持った、鉛筆やペン等の筆記用具、手に装着した手袋、リモートコントローラ等に設けられたマーカや光点等、手の代わりに操作できるものも含まれるものとする。また、以上説明した実施形態では、２つの撮像装置３１、３２を、頭部装着部１０の前部に所定間隔をおいて取り付けているが、３以上の撮像装置を、頭部装着部１０の前部に所定間隔をおいて取り付け、当該３以上の撮像装置で、ユーザの手（指）６０１の奥行き方向の位置や動きを検出することにしても差し支えない。
【０１２４】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。
【図面の簡単な説明】
【０１２５】
【図１】本発明のヘッドマウントディスプレイの全体図である。（第１の実施形態）
【図２】ユーザの視覚を表した図である。
【図３】仮想パネル選択説明図である。
【図４】本発明のブロック図である。（第１の実施形態）
【図５】画像生成部のブロック図である。
【図６】本発明のメイン処理のフロー図である。（第１の実施形態）
【図７】キャリブレーション処理のフロー図である。（第１の実施形態）
【図８】キャリブレーション処理の説明図である。
【図９】手位置検出処理のフロー図である。（第１の実施形態）
【図１０】色解析処理のフロー図である。（第１の実施形態）
【図１１】撮像座標から手座標を算出する説明図である。
【図１２】仮想パネルのツリー構造の説明図である。
【図１３】第２の実施形態のヘッドマウントディスプレイのブロック図である。
【図１４】第２の実施形態のメイン処理のフロー図である。
【図１５】第２の実施形態のヘッドマウントディスプレイの全体図である。
【符号の説明】
【０１２６】
１０ 頭部装着部
２０ 画像生成部
２１ 画像光生成部
２２ コリメート光学系
２３ 水平走査部
２３ａ 共振型偏向素子
２３ｂ 水平走査制御回路
２３ｃ 水平走査角検出回路
２３ｄ 反射面
２４ 垂直走査部
２４ａ 偏向素子
２４ｂ 垂直走査制御回路
２４ｃ 垂直走査検出回路
２４ｄ 反射面
２５ リレー光学系
２６ リレー光学系
２６ａ レンズ系
２６ｂ レンズ系
２７ 光ファイバ
３１ 右撮像装置
３２ 左撮像装置
４０ 制御部
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
４３ａ 仮想パネル生成プログラム
４３ｂ 手位置検出プログラム
４３ｃ 手座標算出手段
４３ｄ コマンド選択手段
４３ｅ 手マッチングデータ
４４ 不揮発性メモリ
４５ 右撮像装置コントローラ
４６ 右撮像装置用ＶＲＡＭ
４７ 左撮像装置コントローラ
４８ 左撮像装置用ＶＲＡＭ
４９ 画像生成部コントローラ
５０ 画像生成部用ＶＲＡＭ
５１ インターフェース
５２ センサ用インターフェース
５５ バス
６０ 操作スイッチ
６１ 電源ランプ
７０ センサ
１００ ヘッドマウントディスプレイ（第１の実施形態）
１１０ ヘッドマウントディスプレイ（第２の実施形態）
２１１ 信号処理回路
２１２ 光源部
２１２ａ Ｂレーザドライバ
２１２ｂ Ｇレーザドライバ
２１２ｃ Ｒレーザドライバ
２１２ｄ Ｂレーザ
２１２ｅ Ｇレーザ
２１２ｆ Ｒレーザ
２１３ 光合成部
２１３ａ〜２１３ｃ コリメート光学系
２１３ｄ〜２１３ｆ ダイナミックミラー
２１３ｇ 結合光学系
２１４ａ Ｂ（青）の画像信号
２１４ｂ Ｇ（緑）の画像信号
２１４ｃ Ｒ（赤）の画像信号
２１５ 水平駆動信号
２１６ 垂直駆動信号
５００ 仮想パネル画像
５０１ 仮想パネル
５０５ マーカ画像（近位置）
５０６ マーカ画像（遠位置）
６０１ ユーザの手（指）
Ｅ 眼球
Ｅａ 瞳孔
【技術分野】
【０００１】
本発明は、ユーザの頭部に装着して、画像を見ることができるヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来から、特許文献１に示されるようなヘッドマウントディスプレイが知られている。このようなヘッドマウントディスプレイは、ユーザの頭部に装着される頭部装着部と、この頭部装着部の前部に取り付けられ、ユーザに画像を視認させる画像生成部とから構成されている。このようなヘッドマウントディスプレイは、今後、生産工場等の作業現場で多用されることが想定される。例えば、画像生成部が、指示書や設計図を作業者に視認させれば、作業者は、必要に応じて指示書や設計図を見ることにより、より確実な作業を行うことができる。作業者は、紙媒体の指示書や設計図を手に取って見る必要がないので、作業を中止することなく、作業をしながら、画像表示部に表示された指示書や設計図を見ることができるので、作業性が向上するだけでなく、作業ミスを防止することが可能となる。
【０００３】
画像生成部で生成される画像を切り替えるには、従来、物理的なボタンを押下する必要があったが、手に油が付着している場合には、前記ボタンが油で滑ってしまい、前記ボタンを操作するのが難しいという問題があった。また、油等で手が汚れている場合には、前記ボタンやその周辺が汚れてしまうという問題があった。さらに、前記ボタンはヘッドマウントディスプレイに設けられているので、ヘッドマウントディスプレイ装着中は直接ボタンを見ることができず、手探りで操作しなければならず、作業性が悪化してしまうという問題があった。
【０００４】
【特許文献１】特開平９−２１１３７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記問題を解決し、物理的なボタンを触ることなく、画面の切替等の操作をすることができるヘッドマウントディスプレイを提供するためになされたものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するためになされた請求項１に記載の発明は、ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、前記ユーザに画像を視認させる画像生成部を有するヘッドマウントディスプレイにおいて、
各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置されたように視認される画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、
前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、
前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置から、前記ユーザが選択しようとしている仮想パネルを検出し、前記ユーザの選択動作から、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、
手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段とから構成し、
コマンド選択手段は、前記手座標算出手段が算出した前記ユーザの手の奥行き方向の座標に基づいて、前記ユーザの手の奥行き方向の位置及び動作を算出し、当該ユーザの手の奥行き方向の位置及び動作に基づいて、仮想パネルに割り当てられたコマンドを選択することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１に記載の発明において、
手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段と、
ユーザの手の動作を検出し手動作信号を生成する、ユーザの手に取り付けられたセンサとから構成し、
コマンド選択手段は、
前記手座標算出手段が算出した前記ユーザの手奥行き方向の座標に基づいて、ユーザが選択しようとしている仮想パネルを認識し、
前記センサが検出した手動作信号から、ユーザの前記仮想パネルの選択動作を判断し、当該仮想パネルに割り当てられたコマンドを選択することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
仮想パネル生成手段は、
仮想パネル画像を生成する前に、
ユーザから近位置及び遠位置に仮想的に表示されるマーカ画像を生成して画像生成部に出力し、
ユーザの各マーカ画像の選択動作から手位置動作検出手段が検出したユーザの手の奥行き方向の位置情報から、前記遠位置及び近位置の奥行き方向の座標を算出し、
算出された前記近位置及び遠位置の間に、複数の仮想パネルを、積層配置して仮想パネル画像を生成することを特徴とする。
【００１０】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
仮想パネル生成手段は、コマンド選択手段が検出したユーザの手のある位置の仮想パネルを、強調表示することを特徴とする。
【００１１】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
コマンド選択手段は、手位置動作検出手段が検出したユーザの手の位置が、一定時間以上、所定範囲内にあると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする。
【００１２】
請求項７に記載の発明は、請求項１〜請求項５に記載の発明において、コマンド選択手段は、手位置動作検出手段が検出したユーザの手の動作が、予め設定されている選択動作であると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする。
【発明の効果】
【００１３】
請求項１に記載の発明は、各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置されたように視認される画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置から、前記ユーザが選択しようとしている仮想パネルを検出し、前記ユーザの選択動作から、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とする。
このため、ユーザが物理的なボタンを触ることなく、画面の切替等の操作をすることが可能となる。
なお、ユーザの頭がわずかでも動いた場合、ヘッドマウントディスプレイが表示する仮想パネルと検出された手の位置は、ユーザの視線方向に垂直な面方向では、大きくずれてしまうが、ヘッドマウントディスプレイに対するユーザの手の奥行き方向の位置関係はほぼ変化しない。通常、ヘッドマウントディスプレイを装着したユーザの頭は絶えずわずかながらでも動いているが、このようなユーザの頭の自然な動きがあっても、本発明では、ヘッドマウントディスプレイに対するユーザの手の奥行き方向の位置を検知して、コマンドを選択することとしたので、仮想パネルとユーザの手の奥行き方向の位置関係はほぼ変化しないことから、極めて誤検出の少なく、信頼性が高く、コマンドを選択することが可能となる。
また、ユーザの頭部がどの方向を向いたとしても、画像表示部で仮想パネル画像を表示することができ、ユーザが不自然な作業を強いられる状況下であっても、ユーザは仮想パネルに割り当てられたコマンドを選択することが可能となり、大変利用価値が高い。
【００１４】
請求項２に記載の発明は、手位置動作検出手段を、間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段とから構成し、コマンド選択手段は、前記手座標算出手段が算出した前記ユーザの手の奥行き方向の座標に基づいて、前記ユーザの手の奥行き方向の位置及び動作を算出し、当該ユーザの手の奥行き方向の位置及び動作に基づいて、仮想パネルに割り当てられたコマンドを選択することを特徴とする。
このため、コマンドを選択するための、センサをユーザが手に装着する必要がなく、手を自由に使うことができる。
また、ユーザの頭が揺れたとしても、ユーザの頭の動きにつれて複数の撮像装置も動き、撮影装置に対するユーザの手の位置が変化しても、複数の撮像装置が撮像するユーザの手の視差は変わらないので、ヘッドマウントディスプレイに対するユーザの手の奥行き方向の座標を安定して検出することができる。
【００１５】
請求項３に記載の発明は、手位置動作検出手段を、間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段と、ユーザの手の動作を検出し手動作信号を生成する、ユーザの手に取り付けられたセンサとから構成し、コマンド選択手段は、前記手座標算出手段が算出した前記ユーザの手奥行き方向の座標に基づいて、ユーザが選択しようとしている仮想パネルを認識し、前記センサが検出した手動作信号から、ユーザの前記仮想パネルの選択動作を判断し、当該仮想パネルに割り当てられたコマンドを選択することを特徴とする。
このため、ユーザの頭が動いて、撮像装置で手が振られた動作のように撮像されたとしても、ユーザの手に取り付けられたセンサで、仮想パネルの選択動作を検出するので、ユーザの頭の動きにより、仮想パネルが誤選択されることを確実に防止し、ユーザが選択を所望する仮想パネルを確実に検出することが可能となる。
【００１６】
請求項４に記載の発明は、仮想パネル生成手段は、仮想パネル画像を生成する前に、ユーザの眼球から近位置及び遠位置に仮想的に表示されるマーカ画像を生成して画像生成部に出力し、ユーザの各マーカ画像の選択動作から手位置動作検出手段が検出したユーザの手の奥行き方向の位置情報から、前記遠位置及び近位置の奥行き方向の座標を算出し、算出された前記近位置及び遠位置の間に、複数の仮想パネルを、積層配置して仮想パネル画像を生成することを特徴とする。
このように、マーカ画像の奥行き方向の位置としてユーザが認識したい位置と、手の奥行き方向の実際の位置との対応を、ユーザ自身が決定することができるようにすると、奥行き方向に積層配置されたようにユーザが感じるよう平面上に表示された仮想パネルであっても、ユーザごとの個人差を吸収し、ユーザが操作しやすい手の動作範囲に仮想パネルを生成することが可能となる。
【００１７】
請求項５に記載の発明は、仮想パネル生成手段は、コマンド選択手段が検出したユーザの手のある位置の仮想パネルを、強調表示することを特徴とする。
このため、ユーザは、コマンドを選択する前に、選択しようとしているコマンドに対応する仮想パネルを確認することができ、誤操作を回避することが可能となる。
仮想パネルは奥行き方向に積層配置されたようにユーザが感じるよう表示されているが、平面映像のため、積層されて見える仮想パネルの位置と手の奥行き方向の位置の対応が取りにくい。しかし、請求項５に記載の発明では、手のある位置の仮想パネルを強調表示することにしたので、強調表示された仮想パネルを見ながら手の奥行き位置を、ユーザが調整して誤りなく所望の仮想パネルを選択することが可能となる。
【００１８】
請求項６に記載の発明は、コマンド選択手段は、手位置動作検出手段が検出したユーザの手の動作が、一定時間以上、所定範囲内にあると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする。
このため、ユーザが手を一定時間以上停止させるという簡単な操作で、コマンドを選択することができ、ユーザフレンドリーである。
【００１９】
請求項７に記載の発明は、コマンド選択手段は、手位置動作検出手段が検出したユーザの手の動作が、予め設定されている選択動作であると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする。
このため、予め設定されている選択動作でしか、コマンドが選択されないので、誤ってコマンドを選択してしまうことを回避することが可能となる。なお、撮像装置が手を撮像しているときに、手を止めて頭を動かしても生じないような手の動作を、選択動作として予め設定しておけば、頭が動いても誤検出することなくユーザの手のある位置の仮想パネルを選択することができる。
【発明を実施するための最良の形態】
【００２０】
（本発明のヘッドマウントディスプレイの概要）
以下に、図面を参照しつつ本発明の好ましい実施の形態を示す。図１は第１の実施形態のヘッドマウントディスプレイ１００の全体図である。第１の実施形態のヘッドマウントディスプレイ１００は、頭部装着部１０、画像生成部２０、撮像装置３１、３２、制御部４０とから構成されている。
【００２１】
頭部装着部１０は、図に示される実施形態では、眼鏡のフレーム形状であるが、ヘルメット形状等であってもよく、ユーザの頭部に装着される構造のものであれはすべて含まれる。
【００２２】
画像生成部２０は、頭部装着部１０の側前部に取り付けられている。画像生成部２０は、画像を生成し、当該画像をユーザに視認させるものである。本実施形態では、レーザ光を直接ユーザの眼球に走査することにより、ユーザに画像を視認させている。前記画像には、静止画像ファイル、文章ファイル、動画ファイルが含まれる。ユーザは、画像生成部２０が生成する画像を視認すると同時に、外界を視認することができるようになっている。図１に示される実施形態では、画像生成部２０は、頭部装着部１０の一方の側前部に取り付けられているが、画像生成部２０を頭部装着部１０の両側前部に取り付け、ユーザが、両眼で画像生成部２０が生成する画像を視認する構成にしても差し支えない。
【００２３】
撮像装置３１、３２は、一定間隔をおいて頭部装着部１０の前部に取り付けられている。撮像装置３１、３２は、イメージセンサや結像光学系等から構成されている。
【００２４】
制御部４０は、本発明のヘッドマウントディスプレイ１００を制御するものであり、画像生成部２０、撮像装置３１、３２と接続している。
【００２５】
図２及び図３に本発明の概要を、説明図を示して、以下本発明の概要を説明する。図２はユーザの視界を表した図である。５００は、画像生成部２０が生成する仮想パネル画像である。仮想パネル画像５００は、複数の仮想パネル５０１を、奥行き方向(ユーザ視線の手前から遠い方向)に積層配置したように見える画像である。図に示した実施形態では、ユーザから見て上方からやや見下ろすように、仮想パネル５０１を表示している。つまり、手前の仮想パネル５０１ほど、仮想パネル５０１の下端を下側に表示し、奥の仮想パネル５０１ほど、仮想パネル５０１の上端を、上側に表示している。各仮想パネル５０１には、各コマンドが割り当てられている。
【００２６】
ユーザの手（指）６０１が、ある仮想パネル５０１に、一定時間以上ある場合には、当該仮想パネル５０１に対応するコマンドが実行されるようになっている。第１の実施形態では、図３の（Ａ）に示されるように、左右の撮像装置３１、３２がユーザの手（指）６０１の奥行き方向の座標（ｚ）を検出し、制御部４０が仮想パネル５０１に、ユーザの手（指）６０１が一定時間以上あるか否かを判断する。なお、ユーザの手（指）６０１が、ある仮想パネル５０１にあるとは、例えば、奥の方に積層配置された仮想パネル５０１を選択する場合には、手前にある仮想パネル５０１を順次突き抜けた先にある仮想パネル５０１に、ユーザの手（指）６０１があることをいう。図２の（Ｂ）に示される実施兄弟では、ユーザの手（指）６０１は、１番の仮想パネル５０１ａ及び２番の仮想パネル５０１ｂを突き抜け、３番の仮想パネル５０１ｃは突き抜けていないので、手前から奥の方に向かって、ユーザの手（指）６０１が仮想パネル５０１ａ、ｂを突き抜けた先にある３番の仮想パネル５０１ｃが選択されることになる。
【００２７】
なお、ユーザの頭がわずかでも動いた場合、画像生成部２０が表示する仮想パネル５０１と、検出されたユーザの手（指）６０１の位置は、ユーザの視線方向に垂直な面方向では、大きくずれてしまうが、ヘッドマウントディスプレイ１００に対するユーザの手の奥行き方向の位置関係はほぼ変化しない。通常、ヘッドマウントディスプレイ１００を装着したユーザの頭は絶えずわずかながらでも動いているが、このようなユーザの頭の自然な動きがあっても、本発明では、ヘッドマウントディスプレイ１００に対するユーザの手の奥行き方向の位置を検知して、コマンドを選択することとしたので、仮想パネルとユーザの手の奥行き方向の位置関係はほぼ変化しないことから、極めて誤検出の少なく、信頼性が高く、コマンドを選択することが可能となる。
【００２８】
図２に示されるように、手前から奥に順次所定の間隔を空けて、ユーザを中心として同心円状に積層されているかのような奥行き感を出した仮想パネル５０１を表示すると、ユーザの頭の動きがあっても、仮想パネル５０１と奥行き方向の位置関係は変化しないので、更に誤検出の少なく、コマンドを選択することが可能となる。
【００２９】
仮想パネル５０１に割り当てられたコマンドには、画像生成部２０で生成する画像を操作するためのコマンドが含まれる。例えば、画像を次に進ませるコマンド、画像を前に戻させるコマンド、画像を拡大・縮小するコマンド、画像の一覧表示を表示するコマンド等が含まれる。なお、仮想パネル画像５００は、図１２の（Ｂ）に示されるように、ツリー構造であっても差し支えない。
例えば、図１２の（Ｂ）に示される例では、ユーザはツリー階層において「画像選択」のコマンドを選択し、第２階層において「フォルダの一覧を表示」のコマンドを選択し、第３階層において「フォルダａを選択」のコマンドを選択し、第４階層において「フォルダＡを選択」のコマンドを選択し、最下階層において「ファイル１を表示」のコマンドを選択すると、ファイル１が画像生成部２０で表示される。或いは、ファイルが画像生成部２０で表示されている状態において、ユーザが、最下階層において「次のファイルに進む」のコマンドを選択すると、同一フォルダ内の次のファイルが画像生成部２０で表示される。
【００３０】
（第１の実施形態のヘッドマウントディスプレイのブロック図）
制御部４０は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、不揮発性メモリ４４、右撮像装置コントローラ４５、右撮像装置用ＶＲＡＭ４６、左撮像装置コントローラ４７、左撮像装置用ＶＲＡＭ４８、画像生成部コントローラ４９、画像生成部用ＶＲＡＭ５０、インターフェース５１とから構成され、これらは相互にバス５５で接続されている。
【００３１】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）４１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）４２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）４３と協動して、各種演算、処理を行うものである。
【００３２】
ＲＡＭ４２は、ＣＰＵ４１で処理されるプログラムや、ＣＰＵ４１が処理するデータを、そのアドレス空間に一時的に保存するものである。
【００３３】
ＲＯＭ４３には、ヘッドマウントディスプレイ１００を制御する各種プログラムやパラメータが保存されている。当該各種プログラムが、ＣＰＵ４１で処理されることにより、各種機能を実現している。ＲＯＭ４３には、後述する仮想パネル生成プログラム４３ａ、手位置検出プログラム４３ｂ、手座標算出手段４３ｃ、コマンド選択手段４３ｄ、手マッチングデータ４３ｅ等のプログラムやデータが保存されている。なお、不揮発性メモリ４４に、これらプログラムやデータを保存することにしても差し支えない。
【００３４】
仮想パネル生成プログラム４３ａは、画像生成部コントローラ４９に、仮想パネル画像５００を生成する命令を出力する。なお、仮想パネル画像５００を生成する「仮想パネル生成手段」は、仮想パネル生成プログラム４３ａ、ＣＰＵ４１、ＲＡＭ４２、画像生成部コントローラ４９、画像生成部用ＶＲＡＭ５０とから構成されている。
【００３５】
手位置検出プログラム４３ｂは、右撮像装置３１及び左撮像装置３２が撮像した「撮像画像」から、後述する手マッチングデータ４３ｅと照合し、ユーザの手を検出するともに当該ユーザの手の位置を検出し、「撮像画像」におけるユーザの手の上下（ｙ）・左右（ｘ）の座標位置である「撮像座標」を算出する。
【００３６】
手座標算出手段４３ｃは、手位置検出プログラム４３ｂが算出したユーザの手の各「撮像座標」（２次元座標）から、ユーザの手の「手座標」を算出する。なお、「手座標」、とは、ヘッドマウントディスプレイ１００を基準とする、ユーザの手の位置の３次元座標である。
【００３７】
コマンド選択手段４３ｄは、手座標算出手段４３ｃが算出したユーザの手の位置の「手座標」に基づいて、ユーザの手の奥行き方向の位置及び動作を算出し、当該ユーザの手の奥行き方向の位置及び動作に基づいて、仮想パネル５０１に割り当てられたコマンドを選択する。
【００３８】
手マッチングデータ４３ｅは、多数の手や指等の輪郭を表したデータの集合である。
【００３９】
なお、仮想パネル生成プログラム４３ａ、手位置検出プログラム４３ｂ、手座標算出手段４３ｃ、コマンド選択手段４３ｄを、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成することとしても差し支えない。
【００４０】
不揮発性メモリ４４は、ヘッドマウントディスプレイ１００の各種設定や画像ファイルを保存するものである。
【００４１】
右撮像装置コントローラ４５は、バス５５、右撮像装置３１及び右撮像装置用ＶＲＡＭ４６と接続している。右撮像装置コントローラ４５は、右撮像装置３１を制御し、後述する右撮像装置３１のイメージセンサの出力を、ＲＧＢそれぞれの色について階調表現して「撮像画像」を生成し、右撮像装置用ＶＲＡＭ４６に保存する。
【００４２】
右撮像装置用ＶＲＡＭ４６は、右撮像装置コントローラ４５及びバス５５と接続している。右撮像装置用ＶＲＡＭ４６は、保存された「撮像画像」をバス５５に引き渡す。
【００４３】
左撮像装置コントローラ４７は、左撮像装置３２と接続している。左撮像装置コントローラ４７は、右撮像装置コントローラ４５と同一の構造のものである。左撮像装置用ＶＲＡＭ４８は、左撮像装置コントローラ４７及びバス５５と接続している。左撮像装置用ＶＲＡＭ４８は、右撮像装置用ＶＲＡＭ４６と同一の構造である。
【００４４】
画像生成部コントローラ４９は、画像生成部２０及び、画像生成部用ＶＲＡＭ５０、バス５５と接続している。画像生成部コントローラ４９は、所謂ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、仮想パネル生成プログラム４３ａの命令を受けて、ピクセルデータである仮想パネル画像５００を生成し、画像生成部用ＶＲＡＭ５０に保存するとともに、画像生成部用ＶＲＡＭ５０に保存された仮想パネル画像５００を「画像信号」として画像生成部２０に出力する。また、画像生成部２０は、インターフェース５１に入力された「画像信号」や「画像ファイル」から、ピクセルデータである「画像データ」を生成し、画像生成部用ＶＲＡＭ５０に保存するとともに、画像生成部用ＶＲＡＭ５０に保存された「画像データ」を「画像信号」として画像生成部２０に出力する。更に、画像生成部コントローラ４９は、画像生成部２０に、制御信号を出力する。制御信号には、画像生成部２０の電源の投入・遮断、画像位置の調整、ピント調整等の制御信号が含まれる。
【００４５】
画像生成部用ＶＲＡＭ５０は、画像生成部コントローラ４９及びバス５５と接続している。画像生成部用ＶＲＡＭ５０は、画像生成部コントローラ４９が生成した仮想パネル画像５００を保存するとともに、当該仮想パネル画像５００を画像生成部コントローラ４９に出力する。
【００４６】
インターフェース５１は、信号の物理的、論理的な形式を変換するものである。インターフェース５１は、操作スイッチ６０、電源ランプ６１及びバス５５と接続している。操作スイッチ６０は、ヘッドマウントディスプレイ１００の電源をＯＮ・ＯＦＦ状態にする等の操作を行うためのスイッチである。電源ランプ６１は、ヘッドマウントディスプレイ１００がＯＮ状態の時に点灯するようになっている。また、インターフェース５１には、「画像信号」や、「画像ファイル」が入力される。インターフェース５１に入力された「画像信号」は、バス５５を経由して、画像生成部用ＶＲＡＭ５０に入力される。また、インターフェース５１に入力された「画像ファイル」は、バス５５を経由してＲＡＭ４２及び不揮発性メモリ４４の少なくとも一方に保存される。
【００４７】
右撮像装置３１及び左撮像装置３２は、イメージセンサ及び結像光学系、フォーカス装置を有している。イメージセンサは、センサ面上の光を検出して２次元画像信号を出力するものである。イメージセンサには、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ ＳｅｎＳｏｒ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｗｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサ上で結像させるものである。フォーカス装置は、結像光学系に入光した像が、イメージセンサ上で結像するように合焦させる装置である。結像光学系で結像された被撮像物の画像は、イメージセンサで画像信号に変換され、画像信号が右撮像装置コントローラ４５に出力される。なお、結像光学系がパンフォーカスを実現している場合には、前記フォーカス装置は不要である。
【００４８】
ユーザの手の位置又は動作を検出する「手位置動作検出手段」は、手位置検出プログラム４３ｂ、ＣＰＵ４１、ＲＡＭ４２、右撮像装置３１、右撮像装置コントローラ４５、右撮像装置用ＶＲＡＭ４６、左撮像装置３２、左撮像装置コントローラ４７、左撮像装置用ＶＲＡＭ４８とから構成されている。
【００４９】
画像生成部２０は、画像を生成し、当該画像をユーザに視認させる装置であり、例えば図５に示されるような構成をしている。画像生成部２０は、画像光生成部２１、コリメート光学系２２、水平走査部２３、垂直走査部２４、リレー光学系２５、リレー光学系２６を有している。
【００５０】
画像光生成部２１は、画像生成部コントローラ４９が出力する画像信号を、ドットクロック毎に読み出し、読み出した画像信号に応じて強度変調して画像光を生成する装置である。画像生成部２１は、信号処理回路２１１、光源部２１２、光合成部２１３を有している。
【００５１】
信号処理回路２１１は、画像生成部コントローラ４９と接続している。信号処理回路２１１は、画像生成部コントローラ４９から入力された画像信号に基づいて、画像光を生成するための要素となるＢ（青）、Ｇ（緑）、Ｒ（赤）の各画像信号２１４ａ〜２１４ｃが生成し、光源部２１２に出力する。また、信号処理回路２１１は、後述する水平走査部２３の水平走査制御回路２３ｂと接続し、この水平走査制御回路２３ｂに、画像生成部コントローラ４９から入力された画像信号に基づいて生成した水平駆動信号２１５を出力する。更に、信号処理回路２１１は、後述する垂直走査制御回路２４ｂと接続し、この垂直走査制御回路２４ｂに、画像生成部コントローラ４９から入力された画像信号に基づいて垂直駆動信号２１６を出力する。
【００５２】
光源部２１２は、Ｂレーザドライバ２１２ａ、Ｇレーザドライバ２１２ｂ、Ｒレーザドライバ２１２ｃ、Ｂレーザ２１２ｄ、Ｇレーザ２１２ｅ、Ｒレーザ２１２ｆから構成されている。Ｂレーザドライバ２１２ａは、信号処理回路２１１からドットクロック毎に出力されたＢ（青）の画像信号２１４ａに基づき、Ｂレーザ２１２ｄを駆動させる。Ｂレーザ２１２ｄは、Ｂ（青）の画像信号２１４ａに基づき、強度変調された青色のレーザ光を出射する。Ｇレーザ２１２ｅ及びＲレーザ２１２ｆも、同様に、それぞれ強度変調された、緑色のレーザ光、赤色のレーザ光を出射する。
【００５３】
各レーザ２１２ｄ〜２１２ｆには、半導体レーザや、高調波発生機能付固定レーザが含まれる。なお、半導体レーザを用いる場合には、駆動電流を直接変調して、レーザ光の強度変調を行う。また、高調波発生機能付固定レーザを用いる場合には、各レーザ２１２ｄ〜２１２ｆそれぞれに、外部変調器を備えてレーザ光の強度変調を行う。
【００５４】
光合成部２１３は、コリメート光学系２１３ａ〜２１３ｃ、ダイクロイックミラー２１３ｄ〜２１３ｆ、結合光学系２１３ｇとから構成されている。コリメート光学系２１３ａ〜２１３ｃは、それぞれ、レーザ２１２ｄ〜２１２ｆの前方に配設されていて、各レーザ２１２ｄ〜２１２ｆが出射したレーザ光を、平行光化する。ダイクロイックミラー２１３ｄ〜２１３ｆは、それぞれ、コリメート光学系２１３ａ〜２１３ｃの前方に配設されていて、各コリメート光学系２１３ａ〜２１３ｃが平行化した各レーザ光を、所定の範囲の波長のレーザ光のみを選択的に、反射又は透過する。
【００５５】
結合光学系２１３ｇは、ダイクロイックミラー２１３ｄ〜２１３ｆの前方に配設されている。ダイクロイックミラー２１３ｄを透過した青色のレーザ光及び、ダイクロイックミラー２１３ｅ、２１３ｆをそれぞれ反射した、緑色のレーザ光、赤色のレーザ光が、結合光学系２１３ｇに入射する。結合光学系２１３ｇは、各３原色のレーザ光を集光させて、光ファイバ２７に入射させる。
【００５６】
水平走査部２３及び垂直走査部２４は、光ファイバ２７に入射されたレーザ光を、画像として照射するために、当該レーザ光を水平方向と垂直方向に走査して走査画像光を生成する。
【００５７】
水平走査部２３は、共振型偏向素子２３ａ、水平走査制御回路２３ｂ、水平走査角検出回路２３ｃとから構成されている。光ファイバ２７に入射されたレーザ光は、コリメート光学系２２で平行光化され、共振型偏向素子２３ａに入射される。共振型偏向素子２３ａは、水平走査制御回路２３ｂで揺動される反射面２３ｄを有し、入射されたレーザ光を、揺動する反射面２３ｄで反射させて水平方向に走査する。水平走査制御回路２３ｂは、信号処理回路２１１から出力される水平駆動信号２１５に基づいて、共振型偏向素子２３ａの反射面２３ｄを揺動させる駆動信号を発生する。水平走査角検出回路２３ｃは、共振型偏向素子２３ａから出力される変位信号に基づいて、共振型偏向素子２３ａの反射面２３ｄの揺動範囲及び揺動周波数等の揺動状態を検出し、当該揺動状態を示す信号を、画像生成部コントローラ４９に出力する。
【００５８】
垂直走査部２４は、偏向素子２４ａ、垂直走査制御回路２４ｂ、垂直走査角検出回路２４ｃとから構成されている。偏向素子２４ａは、垂直走査制御回路２４ｂで揺動される反射面２４ｄを有し、入射されたレーザ光を、揺動する反射面２４ｄで反射させて垂直方向に走査し、２次元的に走査された画像光として、リレー光学系２６に出射する。垂直走査制御回路２４ｂは、信号処理回路２１１から出力される垂直駆動信号２１６に基づいて、偏向素子２４ａの反射面２４ｄを揺動させる駆動信号を発生する。垂直走査角検出回路２４ｃは、偏向素子２４ａから出力される変位信号に基づいて、偏向素子２４ａの反射面２４ｄの揺動範囲及び揺動周波数等の揺動状態を検出し、当該揺動状態を示す信号を、画像生成部コントローラ４９に出力する。
【００５９】
リレー光学系２５は、共振型偏向素子２３ａと偏向素子２４ａの間に配設されている。リレー光学系２５は、共振型偏向素子２３ａの反射面２３ｄで、水平方向に走査されたレーザ光を収束させて、偏向素子２４ａの反射面２４ｄに入射させる。
【００６０】
信号処理回路２１１は、画像生成部コントローラ４９から入力された画像信号に基づいて、水平駆動信号２１５と垂直駆動信号２１６を、それぞれ水平走査制御回路２３ｂと垂直走査制御回路２４ｂに出力し、反射面２３ｄ、２４ｄの走査角を変更することにより、生成する画像光の輝度を調整している。
【００６１】
こうして変更された反射面２３ｄ、２４ｄの走査角度は、水平走査角検出回路２３ｃ及び垂直走査角検出回路２４ｃによって検出信号として検出され、当該検出信号が画像生成部コントローラ４９に入力され、水平駆動信号２１５及び垂直駆動信号２１６にフィードバックされる。
【００６２】
リレー光学系２６は、正の屈折力を持つレンズ系２６ａ、２６ｂを有している。偏向素子２４ａから出射された画像光は、レンズ系２６ａによって、それぞれの画像光が、その画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。前記収束画像光は、レンズ系２６ｂによってそれぞれほぼ平行な走査画像光となるとともに、これらの走査画像光の中心線がユーザの瞳孔Ｅａに収束するように集光される。
【００６３】
なお、本実施形態では、光ファイバ２７から入射されたレーザ光を、水平走査部２３で水平方向に走査した後、垂直走査部２４によって垂直方向に走査することとしたが、水平走査部２３と垂直走査部２４の配置を入れ替え、垂直走査部２４に垂直方向に走査した後、水平走査部２３で水平方向に走査するように構成しても差し支えない。
【００６４】
このようなレーザ光を網膜上で走査して画像を表示する方式は焦点深度が深く、ユーザが手を奥行き方向に動かし、それにつられてユーザの眼の焦点位置が奥行き方向に移動しても、仮想パネルを鮮明に視認させることができ、積層された仮想パネルの表示において奥行き感を感じさせることができる。
【００６５】
なお、画像生成部２０を、ユーザの眼球Ｅに、強度が画像に応じて変調されたレーザ光を２次元に走査した画像光を直接照射し、ユーザに画像を視認させる実施形態について説明したが、画像生成部２０はこの実施形態に限定されず、ユーザの眼球の前面に配設されたＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ等、ユーザに画像を視認させる装置であっても差し支えない。
【００６６】
（第１の実施形態のメイン処理）
図６に第１の実施形態のメイン処理のフロー図を示し、以下当該フローについて説明する。第１の実施形態のメインフロー処理が開始すると、Ｓ１１「キャリブレーション」の処理に進む。Ｓ１１の処理において、仮想パネル生成プログラム４３ａは、「キャリブレーション」処理を実行する。詳しくは、図７及び図８を用いて後述するが、この処理において、仮想パネル生成プログラム４３ａは、各仮想パネル５０１を積層配置する、奥行き方向の座標（ｚ座標）を決定する。Ｓ１１の処理が終了すると、Ｓ１２「仮想パネル表示」の処理に進む。
【００６７】
Ｓ１２「仮想パネル表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１１の処理で決定した各仮想パネル５０１の奥行き方向の座標（ｚ座標）に基づいて、仮想パネル画像５００を生成する命令を、画像生成部用コントローラ４９に出力する。画像生成部用コントローラ４９は、前記命令に基づいて、仮想パネル５０１を積層配置して、ビットマップデータである仮想パネル画像５００を生成し、画像生成部用ＶＲＡＭ５０に保存するとともに、画像生成部２０に出力し、画像生成部２０は、仮想パネル画像５００を生成して表示する。Ｓ１２の処理が終了すると、Ｓ１３「手位置検出」の処理に進む。
【００６８】
Ｓ１３「手位置検出」の処理において、後で図９、図１０、図１１を用いて詳細に説明するが、手座標算出手段４３ｃは、ユーザの手（指）６０１を検出し、ユーザの手（指）６０１の「手座標」を算出する。Ｓ１３の処理が終了すると、Ｓ１４「選択された仮想パネルを認識」の処理に進む。
【００６９】
Ｓ１４「選択された仮想パネルを認識」の処理において、コマンド選択手段４３ｄは、手座標算出手段４３ｃが算出したユーザの手（指）６０１の「手座標」の奥行き方向の座標（ｚ座標）に基づいて、ユーザが選択した仮想パネル５０１を認識する。図３の（Ｂ）に示されるように、コマンド選択手段４３ｄは、ユーザの手（指）６０１の「手座標」の奥行き方向（ｚ方向）の座標が、それぞれの仮想パネル５０１に規定されている座標（ｚ１、ｚ２、ｚ３…）を突き抜けているか否かを判断し、突き抜けた先の仮想パネル５０１の中で、最も近い仮想パネル５０１を、ユーザが選択した仮想パネル５０１として認識する。なお、図３（Ｂ）において、ｚ１’、ｚ２’、ｚ３’は、それぞれ、仮想パネル５０１に規定されている座標（ｚ１、ｚ２、ｚ３）に最も近いと判断される範囲を表している。ユーザの手（指）６０１の「手座標」の奥行き方向の座標（ｚ座標）が、ｚ２’の範囲内にあれば、２番の仮想パネル５０１ｂが選択されたと判断する。或いは、ユーザの手（指）６０１の「手座標」の奥行き方向の座標（ｚ座標）が、ｚ３’の範囲内にあれば３番の仮想パネル５０１ｃが選択されたと判断する。なお、最前列の仮想パネル５０１ａについては、その前には突き抜ける仮想パネル５０１はないので、最前列の仮想パネル５０１ａを突き抜けないように、最前列の仮想パネル５０１ａの手前にユーザの手（指）６０１があれば、コマンド選択手段４３ｄは、最前列の仮想パネル５０１ａを、ユーザが選択した仮想パネル５０１として認識する。或いは、図３の（Ｃ）に示されるように、コマンド選択手段４３ｄは、ユーザの手（指）６０１の「手座標」の奥行き方向（ｚ方向）の座標に、最も近い仮想パネル５０１を、ユーザが選択した仮想パネル５０１として認識することとしても差し支えない。なお、図３（Ｃ）において、ｚ１’’、ｚ２’’、ｚ３’’は、それぞれ、仮想パネル５０１に規定されている座標（ｚ１、ｚ２、ｚ３）に最も近いと判断される範囲を表している。Ｓ１４の処理が終了すると、Ｓ１５「選択されたタッチパネルを強調表示」の処理に進む。
【００７０】
Ｓ１５「選択されたタッチパネルを強調表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１４の処理でコマンド選択手段４３ｂが認識した仮想パネル５０１を、例えば図２に示されるように番号を点滅させて強調表示する命令を、画像生成部コントローラ４９に出力する。なお、仮想パネル５０１自体を点滅させる、仮想パネル５０１の色を変える、仮想パネル５０１の大きく表示する等の画像処理を行い、仮想パネル５０１を強調表示することとしても差し支えない。このように、仮想パネル５０１を強調表示することにより、ユーザは選択しようとしている仮想パネル５０１を認識することができる。仮想パネル５０１は奥行き方向に積層配置されたようにユーザが感じるよう表示されているが、平面映像のため、積層されて見える仮想パネル５０１の位置とヘッドマウントディスプレイ１００にたいするユーザの手（指）６０１の奥行き方向の位置の対応が取りにくい。しかし本実施形態では、手（指）６０１のある位置の仮想パネル５０１を、強調表示することとしたので、強調表示された仮想パネル５０１を見ながら、ヘッドマウントディスプレイ１００に対する手（指）６０１の奥行き位置を、ユーザが調整して誤りなく所望の仮想パネル５０１を選択することが可能となっている。Ｓ１５の処理が終了すると、Ｓ１６「仮想パネル押下？」の判断処理に進む。
【００７１】
Ｓ１６「仮想パネル押下？」の判断処理において、コマンド選択手段４３ｄは、Ｓ１４の処理で選択され、Ｓ１５の処理で強調表示された仮想パネル５０１が、押下されたか否かを判断する。具体的には、コマンド選択手段４３ｄは、一定時間以上、ユーザの手が、設定範囲内で停止しているか否かを判断する。なお、前記設定範囲とは、左右・上下方向（ｘ、ｙ方向）に関しては、左右・上下方向に関して仮想パネル５０１が表示される範囲であり、奥行き方向（ｚ方向）に関しては、図３の（Ｂ）に示されるそれぞれの仮想パネル５０１に規定されている範囲（ｚ１’、ｚ２’、ｚ３’…）である。コマンド選択手段４３ｄが、一定時間以上、ユーザの手が、設定範囲内で停止していると判断した場合には、Ｓ１７「仮想パネル押下表示」の処理に進む。一方で、コマンド選択手段４３ｄが、一定時間以上、ユーザの手が、設定範囲内で停止していなく、設定範囲から外れたと判断した場合には、Ｓ１３の処理に戻る。
【００７２】
Ｓ１７「仮想パネル押下表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１４の処理で選択された仮想パネル５０１を、押下した旨の表示をさせる命令を画像生成部コントローラ４９に出力する。仮想パネル５０１を押下した旨の表示には、「押下」の文字を表示する、選択された仮想パネル５０１の色を変化させる等が含まれる。Ｓ１７の処理が終了すると、Ｓ１８「コマンド選択」の処理に進む。
【００７３】
Ｓ１８「コマンド選択」の処理において、Ｓ１７の処理で強調表示した仮想パネル５０１に対応するコマンドを選択する。Ｓ１８の処理が終了すると、Ｓ１９「最終選択？」の判断処理に進む。
【００７４】
Ｓ１９「最終選択？」の判断処理において、コマンド選択手段４３ｄは、Ｓ１８の処理で選択したコマンドに対応する仮想パネル５０１が、最下階層の仮想パネル画像５００（図１２に示す）にある仮想パネル５０１であるか否かを判断する。コマンド選択手段４３ｄが、Ｓ１８の処理で選択したコマンドに対応する仮想パネル５０１が、最下階層の仮想パネル画像５００にある仮想パネル５０１であると判断した場合には、Ｓ２０「コマンド実行」の処理に進む。一方で、コマンド選択手段４３ｄが、Ｓ１８の処理で選択したコマンドに対応する仮想パネル５０１が、最下階層の仮想パネル画像５００にある仮想パネル５０１でないと判断した場合には、Ｓ２５「次階層の仮想パネル画像を表示」の処理に進む。
【００７５】
Ｓ２５「次階層の仮想パネル画像を表示」の処理において、仮想パネル生成プログラム４３ａは、次階層（下階層）の仮想パネル画像５００を生成する命令を、画像生成部コントローラ４９に出力する。画像生成部用コントローラ４９は、仮想パネル生成プログラム４３ａの命令に従って、仮想パネル画像５００を生成するとともに、当該仮想パネル画像５００を画像生成部２０に出力する。Ｓ２５の処理が終了すると、Ｓ１３の処理に戻る。このような階層構造でコマンドを選択できると、手の奥行き方向の検知だけで、複雑な操作を行うことができる。
【００７６】
Ｓ２０「コマンド実行」の処理において、コマンド選択手段４３ｄは、Ｓ１８の処理で選択したコマンドを実行する。Ｓ２０の処理が終了すると、Ｓ２１「画像生成」の処理に進む。
【００７７】
Ｓ２１「画像生成」の処理において、画像生成部コントローラ４９は、Ｓ２０の処理においてＣＰＵ４１で実行される命令に基づき、画像を生成し、画像生成部用ＶＲＡＭ５０に出力するとともに、画像生成部２０に出力する。Ｓ２０の処理で実行されるコマンドには、画像生成部２０が生成している画像の、拡大・縮小・移動、次の画像進む処理、前の画像に戻る処理等が含まれる。Ｓ２１の処理が終了すると、メイン処理のフローが終了する。
【００７８】
なお、Ｓ２０の処理で実行されるコマンドが、画像生成部２０で生成される画像に変更がない場合（例えば現在表示中の画像の保存）には、Ｓ２１の処理が実行されない。
【００７９】
本実施形態では、Ｓ１６の処理において、ユーザが一定時間以上手を仮想パネル５０１の設定範囲に停止させた場合に、コマンド選択手段４３ｄは、当該仮想パネル５０１を押下したと判断することにしているが、Ｓ１６の処理はこれに限定されず、ユーザが所定の動作をした場合、例えばユーザが手（指）６０１を折る、手（指）６０１を振る等の動作をさせた場合に、手座標算出手段４３ｃが算出したユーザの手（指）６０１の「手座標」に基づき、コマンド選択手段４３ｄが仮想パネル５０１を押下したと判断することにしても差し支えない。なお、ユーザの手（指）６０１の動作は頭の動きでは生じないような動作を選択動作として設定しておけば、頭の動きで誤検出が生じることはなく、信頼性の高い押下判断を行うことができる。例えば、前記選択動作には、手（指）６０１を折ったり、頭を振る速度より速く手（指）６０１を振ったりする動作が含まれる。
【００８０】
（キャリブレーション処理）
図７にキャリブレーション処理のフロー図を示し、図８にキャリブレーション処理の説明図を示して、以下キャリブレーション処理について説明をする。なお、図８はユーザの視界を示した図である。キャリブレーション処理は、ユーザが近いと感じる位置（近位置）に、画像生成部２０がマーカ画像５０５を表示させ（図８の（Ａ））、ユーザが遠いと感じる位置（遠位置）に、画像生成部２０がマーカ画像５０６を表示させ（図８の（Ｂ））、ユーザに前記マーカ画像５０５、５０６を選択させて、当該マーカ画像５０５、５０６の間に、仮想パネル５０１を配置するための座標を算出する処理である。このように、キャリブレーション処理を行うことにより、画像生成部２０で生成させる画像のユーザ毎の遠近感の個人差を吸収し、ユーザが違和感を覚えないようにしている。
【００８１】
キャリブレーション処理が開始すると、S３１「近位置調整用マーカ画像表示」の処理において、図８の（Ａ）に示されるように、仮想パネル生成プログラム４３ａは、ユーザが近位置に見えるマーカ画像５０５を生成する命令を、画像生成部コントローラ４９に出力する。図８の（Ａ）に示されるように、画像生成部２０は、下側に大きいマーカ画像５０５を生成し、表示する。Ｓ３１の処理が終了すると、Ｓ３２「手位置検出」の処理に進む。
【００８２】
Ｓ３２「手位置検出」の処理において、手位置検出プログラム４３ｂは、手位置検出処理を実行する。詳しくは、図９を用いて後述するが、この処理において、手位置検出プログラム４３ｂはユーザと手（指）６０１の位置を検出し、手座標算出手段４３ｃは、ヘッドマウントディスプレイ１００を基準とするユーザの手（指）６０１の位置の３次元座標である「手座標」を算出する。Ｓ３２の処理が終了すると、Ｓ３３「設定位置に手がある？」の判断処理に進む。
【００８３】
Ｓ３３「設定位置に手がある？」の判断処理において、仮想パネル生成プログラム４３ａは、設定位置にユーザの手があるか否かを判断する。設定位置とは、マーカ画像５０５が表示されている、ｘ座標及びｙ座標の範囲内の位置である。仮想パネル生成プログラム４３ａが、ユーザの手（指）６０１が、前記マーカ画像５０５が表示されている範囲にあると判断した場合には、Ｓ３４「設定位置に設定時間手がある？」の判断処理に進む。一方で、仮想パネル生成プログラム４３ａが、ユーザの手（指）６０１が、前記マーカ画像５０５が表示されている範囲内にないと判断した場合には、Ｓ３２の処理に戻る。
【００８４】
Ｓ３４「設定位置に設定時間手がある？」の判断処理において、仮想パネル生成プログラム４３ａは、設定位置に設定時間ユーザの手（指）６０１があるか否かを判断する。仮想パネル生成プログラム４３ａが、設定位置に設定時間ユーザの手（指）６０１があると判断した場合には、Ｓ３５「近位置設定（Z1）」の処理に進む。一方で、仮想パネル生成プログラム４３ａが、設定位置に設定時間ユーザの手（指）６０１がないと判断した場合には、Ｓ３２の処理に戻る。
【００８５】
Ｓ３５「近位置設定（Z1）」の処理において、仮想パネル生成プログラム４３ａは、Ｓ３２の処理で検出した、ユーザの手（指）６０１の「手座標」のうち、奥行き方向の座標（Ｚ座標）を、近位置（Z1）として設定する。Ｓ３５の処理が終了すると、Ｓ３６「遠位置調整用マーカ画像表示」の処理に進む。
【００８６】
Ｓ３６「遠位置調整用マーカ画像表示」の処理において、図８の（Ｂ）に示されるように、仮想パネル生成プログラム４３ａは、ユーザが遠位置に見えるマーカ画像５０６を生成する命令を、画像生成部コントローラ４９に出力する。図８の（Ｂ）に示されるように、画像生成部２０は、上側に小さいマーカ画像５０６を生成する。Ｓ３６の処理が終了すると、Ｓ３７「手位置検出」の処理に進む。
【００８７】
Ｓ３７「手位置検出」の処理において、手位置検出プログラム４３ｂは、手位置検出処理を実行する。Ｓ３７の処理は、Ｓ３２の処理と同一である。Ｓ３７の処理が終了すると、Ｓ３８「設定位置に手がある？」の処理に進む。
【００８８】
Ｓ３８「設定位置に手がある？」の判断処理において、仮想パネル生成プログラム４３ａは、設定位置にユーザの手があるか否かを判断する。仮想パネル生成プログラム４３ａが、ユーザの手（指）６０１が、前記マーカ画像５０６が表示されている範囲にあると判断した場合には、Ｓ３９「設定位置に設定時間手がある？」の判断処理に進む。一方で、仮想パネル生成プログラム４３ａが、ユーザの手（指）６０１が、前記マーカ画像５０６が表示されている範囲内にないと判断した場合には、Ｓ３７の処理に戻る。
【００８９】
Ｓ３９「設定位置に設定時間手がある？」の判断処理において、仮想パネル生成プログラム４３ａは、設定位置に設定時間ユーザの手（指）６０１があるか否かを判断する。仮想パネル生成プログラム４３ａが、設定位置に設定時間ユーザの手（指）６０１があると判断した場合には、Ｓ４０「遠位置設定（Ｚｎ）」の処理に進む。一方で、仮想パネル生成プログラム４３ａが、設定位置に設定時間ユーザの手（指）６０１がないと判断した場合には、Ｓ３７の処理に戻る。
【００９０】
Ｓ４０「遠位置設定（Ｚｎ）」の処理において、仮想パネル生成プログラム４３ａは、Ｓ３９の処理で検出した、ユーザの手（指）６０１の「手座標」のうち、奥行き方向の座標（Ｚ座標）を、遠位置（Ｚｎ）として設定する。Ｓ４０の処理が終了すると、Ｓ４１「ｎ枚の仮想パネル座標決定」の処理に進む。
【００９１】
Ｓ４１「ｎ枚の仮想パネル座標決定」の処理において、仮想パネル生成プログラム４３ａは、Ｓ３５の処理で設定した奥行き方向の座標（Ｚ１）を、最も手前に表示される仮想パネル５０１の奥行き方向の座標（Ｚ１）として決定し、Ｓ４０の処理で設定した奥行き方向の座標（Ｚｎ）を最も遠くに表示される仮想パネル５０１の奥行き方向の座標（Ｚｎ）として決定し、最も手間及び最も遠くに表示される仮想パネル５０１の間にｎ―２枚積層配置する仮想パネル５０１の各奥行き方向の座標を、ＺｎとＺ１の差分を（ｎ−１）で除し、当該数値をＺ１に加算することにより算出する処理を行い、各仮想パネル５０１の奥行き方向の座標（Ｚ座標：Ｚ１、Ｚ２…Ｚｎ）を決定する。Ｓ４１の処理が終了すると、キャリブレーション処理が終了し、図６のメインフローのＳ１２の処理に進む。
【００９２】
このような「キャリブレーション処理」により、マーカ画像５０５、５０６の奥行き方向の位置としてユーザが認識したい位置と、ヘッドマウントディスプレイ１００に対するユーザの手（指）６０１の奥行き方向の実際の位置との対応を、ユーザ自身が決定することができるようにしている。このため、奥行き方向に積層配置されたようにユーザが感じるよう平面上に表示された仮想パネル５０１であっても、ユーザごとの個人差を吸収し、ユーザが操作しやすい手の動作範囲に仮想パネル５０１を生成することが可能となる。
【００９３】
（手位置検出処理）
図９に手位置検出処理のフロー図を示し、以下当該フローについて説明する。手位置検出処理が開始すると、Ｓ５１「右撮像装置撮像」の処理に進む。Ｓ５１の処理において、右撮像装置３１は、撮像処理を行い、右撮像装置３１のイメージセンサの出力信号を、順次、右撮像装置コントローラ４５に出力する。右撮像装置コントローラ４５は、右撮像装置３１のイメージセンサの各画素のＲ（赤）Ｇ（緑）Ｂ（青）の各原色の信号に基づいて、各画素についての各原色（Ｒ、Ｇ、Ｂ）を階調表現し、「撮像画像」を生成し、右撮像装置用ＶＲＡＭ４６に保存する。Ｓ５１の処理が終了すると、Ｓ５２「色解析」の処理に進む。
【００９４】
Ｓ５２「色解析」の処理において、手位置検出プログラム４３ｂは、手検出処理を実行する。詳しくは、図１０を用いて後述するが、この処理において、手位置検出プログラム４３ｂは、右撮像装置３１で撮像された「撮像画像」の色解析処理を行い、手（指）の色成分の画素の抽出を行う。Ｓ５２の処理が終了すると、Ｓ５３「手を検出？」の判断処理に進む。
【００９５】
Ｓ５３「手を検出？」の判断処理において、手位置検出プログラム４３ｂは、Ｓ５２（Ｓ６２）の処理で抽出された画素の集合と、ＲＯＭ４３に保存された手マッチングデータ４３ｅと照合し、Ｓ５２（Ｓ６２）の処理で抽出された画素の集合が手（指）であるか否かを判断する。Ｓ５３の処理では、手位置検出プログラム４３ｂは、所定の閾値の用いて、Ｓ５２（Ｓ６２）の処理で抽出された画素の集合が手（指）であるか否かを判断する。手位置検出プログラム４３ｂが、Ｓ５２（Ｓ６２）の処理で抽出された画素の集合が手（指）であると判断した場合には、Ｓ５４「手の撮像座標算出」の処理に進む。一方で、手位置検出プログラム４３ｂが、Ｓ５２（Ｓ６２）の処理で抽出された画素の集合が手（指）であると判断しない場合には、Ｓ５２の処理に戻る。
【００９６】
Ｓ５４「手の撮像座標算出」の処理において、Ｓ５３の判断処理において検出された手（指）の撮像画像上の縦（ｙ）・横（ｘ）方向の座標（以下、撮像座標とする）を算出する。本実施形態では、指先の撮像座標を算出している。すなわち、検出された手（指）６０１の撮像画像上の縦（ｙ）方向の座標が最大となる撮影座標が指先の座標となる。Ｓ５４の処理が終了すると、Ｓ５５「左撮像装置撮像」の処理に進む。
【００９７】
Ｓ５５「左撮像装置撮像」の処理において、Ｓ５１の処理と同様に、左撮像装置３２は、撮像処理を行い、当該左撮像装置３２で撮像された「撮像画像」が、左撮像装置用ＶＲＡＭ４８に保存される。Ｓ５５の処理が終了すると、Ｓ５６「色解析」の処理に進む。
【００９８】
Ｓ５６「色解析」の処理において、手位置検出プログラム４３ｂは、手検出処理を実行する。Ｓ５６の処理は、Ｓ５２の処理と同一である。Ｓ５６の処理が終了すると、Ｓ５７「手を検出？」の判断処理に進む。
【００９９】
Ｓ５７「手を検出？」の判断処理において、手位置検出プログラム４３ｂは、Ｓ５６（Ｓ６２）の処理で抽出された画素の集合と、ＲＯＭ４３に保存された手マッチングデータ４３ｅと照合し、Ｓ５６（Ｓ６２）の処理で抽出された画素の集合が手（指）であるか否かを判断する。手位置検出プログラム４３ｂが、Ｓ５６（Ｓ６２）の処理で抽出された画素の集合が手（指）であると判断した場合には、Ｓ５８「手の撮像座標算出」の処理に進む。一方で、手位置検出プログラム４３ｂが、Ｓ５６（Ｓ６２）の処理で抽出された画素の集合が手（指）であると判断しない場合には、Ｓ５２の処理に戻る。
【０１００】
Ｓ５８「手の撮像座標算出」の処理において、Ｓ５７の判断処理において検出された手（指）の撮像座標を算出する。Ｓ５８の処理が終了すると、Ｓ５９「手座標算出」の処理に進む。
【０１０１】
Ｓ５９「手座標算出」の処理において、手座標算出手段４３ｃは、Ｓ５４の処理及びＳ５８の処理で算出した各「撮像座標」に基づいて、ヘッドマウントディスプレイ１００を基準原点とする３次元座標である「手座標」を算出する。図１１に示されるように、例えば、ユーザの手（指）６０１が、左右撮像装置３１、３２の中心に位置している場合において、右撮像装置３１で撮像したユーザの手（指）６０１の撮像座標は、右撮像装置３１の撮像範囲の中心よりも横方向（ｘ方向）左側にずれる。また、左撮像装置３２で撮像したユーザの手（指）６０１の撮像座標は、左撮像装置３１の撮像範囲の中心よりも横方向（ｘ方向）右側にずれる。この撮像座標のずれ量（視差）から、ヘッドマウントディスプレイ１００を基準とする、ユーザの手（指）６０１の奥行き方向の座標（ｚ座標）を算出する。なお、ユーザの手（指）６０１が左右撮像装置３１、３２の中心に位置していない場合であっても、左右撮像装置３１、３２で撮像したユーザの手（指）６０１の「撮像座標」は、横方向（ｘ方向）に関して異なるので、左右撮像装置３１、３２で撮像したユーザの手（指）６０１の「撮像座標」から、奥行き方向（ｚ方向）の座標を算出する。このように、手座標算出手段４３ｃは、一定間隔をおいて配設された左右撮像装置３１、３２が撮像した、同一位置にあるユーザの手（指）６０１の「撮像座標」のずれ量（視差）に基づいて、ヘッドマウントディスプレイ１００を基準とするユーザの指６０１の奥行き方向の座標（ｚ座標）を算出する。
【０１０２】
このように、間隔をおいて頭部装着部１０に取り付けられた、撮像装置３１、３２で、ユーザの指６０１を撮像することにより、ヘッドマウントディスプレイ１００に対するユーザの指６０１の奥行き方向の座標（ｚ座標）を算出することにしたので、ユーザの頭が揺れたとしても、ユーザの頭の動きにつれて撮像装置３１、３２も動き、撮影画像３１、３２に対してユーザの指６０１の位置が変化しても、撮像装置３１、３２が撮像するユーザの指６０１の視差は変わらないので、ヘッドマウントディスプレイ１００に対するユーザの指６０１の奥行き方向の座標（ｚ座標）を安定して検出することができる。
【０１０３】
また、手座標算出手段４３ｃは、右撮像装置３１及び左撮像装置３２で撮像したユーザの手（指）６０１の「撮像座標」のうち横方向の座標（ｘ座標）を平均し、ユーザの手（指）６０１の横方向の座標（ｘ座標）を算出する。また、手座標算出手段４３ｃは、右撮像装置３１及び左撮像装置３２で撮像したユーザの手（指）６０１の「撮像座標」のうち上下方向の座標（ｙ座標）を平均し、又はどちらか一方を選択し、ユーザの手（指）６０１の上下方向の座標（ｙ座標）を算出する。このようにして、手座標算出手段４３ｃは、ヘッドマウントディスプレイ１００を基準とするユーザの手（指）６０１の位置の３次元座標である「手座標」を算出する。Ｓ５９の処理が終了すると、「手位置検出処理」が終了し、図７に示される「キャリブレーション処理」に戻る。このとき、ユーザの頭は絶えず動いており、撮像装置３１、３２もそれにつられて動く。通常は首を中心として頭が回転する動きが多いので、この撮像装置３１、３２の動きにより、ｘ座標、ｙ座標は頭及び撮像装置３１、３２の動きに対応して変化するが、奥行き方向の座標であるｚ座標はほとんど変化しない。
【０１０４】
（色解析処理）
図１０に色解析処理のフロー図を示して、以下当該処理について説明する。色解析処理が開始すると、Ｓ６１「ＲＧＢ分解」の処理において、手位置検出プログラム４３ｂは、右撮像装置用ＶＲＡＭ４６に保存された「撮像画像」の各画素についてＲＧＢの各原色の階調の強弱を数値化する処理を行う。Ｓ６１の処理が終了すると、Ｓ６３「設定色領域抽出」の処理に進む。
【０１０５】
Ｓ６３「設定色領域抽出」の処理において、手位置検出プログラム４３ｂは、Ｓ６１の処理で、ＲＧＢの各原色の階調の強弱を数値化された各画素について、手の設定色（肌色）の範囲内にあるか否かを判断し、手の設定色の画素を抽出する。Ｓ６３の処理が終了すると、色解析の処理が終了する。
【０１０６】
（第２の実施形態のヘッドマウントディスプレイ）
図１３に第２の実施形態のヘッドマウントディスプレイ１１０のブロック図を示し、図１５に第２の実施形態のヘッドマウントディスプレイ１１０の全体図を示して、以下、第１の実施形態と異なる点について第２の実施形態のヘッドマウントディスプレイ１１０について説明する。第２の実施形態では、仮想パネル５０１の押下を、ユーザの手に取り付けられたセンサ７０が検出したユーザの手の動きにより、決定する実施形態である。
【０１０７】
第２の実施形態のヘッドマウントディスプレイ１１０は、第１の実施形態のヘッドマウントディスプレイ１００に加えて、更に、ユーザの手に取り付けられるセンサ７０と、当該センサ７０が検出した「手動作信号」を、物理的・論理的な変換を行い、バス５５に引き渡すセンサ用インターフェース５２を有している。なお、バス５５に引き渡された、「手動作信号」は、ＲＡＭ４２に保存される。
【０１０８】
センサ７０は、例えば、ユーザの手（指）６０１の動きの加速度を検出する加速度センサ、ユーザの手の動作（例えば指６０１を曲げた等）を検出するポテンショメータやひずみ計等が含まれ、ユーザの手の動作を検出し、「手動作信号」を生成するセンサである。なお、図１５の（Ｂ）に示される実施形態のセンサ７０は、ユーザの指６０１の屈伸を検出するセンサである。
【０１０９】
図１４に第２の実施形態のヘッドマウントディスプレイ１１０のメイン処理のフロー図を示し、以下、当該フローについて説明をする。第２の実施形態のメインフロー処理が開始すると、Ｓ１１１「キャリブレーション」の処理に進む。Ｓ１１１の処理において、仮想パネル生成プログラム４３ａは、「キャリブレーション」処理を実行する。この処理において、仮想パネル生成プログラム４３ａは、各仮想パネル５０１の奥行き方向の座標（ｚ座標）を決定する。なお、Ｓ１１１の処理は、前述した第１の実施形態のキャリブレーション処理（図７に示す）と同一の処理である。Ｓ１１１の処理が終了すると、Ｓ１１２「仮想パネル表示」の処理に進む。
【０１１０】
Ｓ１１２「仮想パネル表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１１１の処理で決定した各仮想パネル５０１の奥行き方向の座標（ｚ座標）に基づいて、仮想パネル画像５００を生成する命令を、画像生成部用コントローラ４９に出力する。画像生成部用コントローラ４９は、前記命令に基づいて、仮想パネル５０１を積層配置して、仮想パネル画像５００を生成し、画像生成部用ＶＲＡＭ５０に保存するとともに、画像生成部２０に出力し、画像生成部２０は、仮想パネル画像５００を生成して表示する。Ｓ１１２の処理が終了すると、Ｓ１１３「手位置検出」の処理に進む。
【０１１１】
Ｓ１１３「手位置検出」の処理において、手座標算出手段４３ｃは、ユーザの手（指）６０１を検出し、ユーザの手（指）６０１の「手座標」を算出する。なお、Ｓ１１３の処理は、前述した第１の実施形態の手位置検出処理（図９に示す）と同一の処理である。Ｓ１１３の処理が終了すると、Ｓ１１４「選択された仮想パネルを認識」の処理に進む。
【０１１２】
Ｓ１１４「選択された仮想パネルを認識」の処理において、コマンド選択手段４３ｄは、手座標算出手段４３ｃが算出したユーザの手（指）６０１の「手座標」の奥行き方向の座標（ｚ座標）に基づいて、ユーザが選択した仮想パネル５０１を認識する。図３の（Ｂ）に示されるように、コマンド選択手段４３ｄは、ユーザの手（指）６０１の「手座標」の奥行き方向（ｚ方向）の座標が、それぞれの仮想パネル５０１に規定されている範囲（ｚ１、ｚ２、ｚ３…）にあるか否かを判断し、ユーザが選択した仮想パネル５０１を認識する。Ｓ１１４の処理が終了すると、Ｓ１１５「選択されたタッチパネルを強調表示」の処理に進む。
【０１１３】
Ｓ１１５「選択されたタッチパネルを強調表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１１４の処理でコマンド選択手段４３ｄが認識した仮想パネル５０１を、例えば、図２に示されるように番号を点滅させて強調表示する命令を、画像生成部コントローラ４９に出力する。なお、仮想パネル５０１自体を点滅させる、仮想パネル５０１の色を変える、仮想パネル５０１の大きく表示する等の画像処理を行い、仮想パネル５０１を強調表示することとしても差し支えない。このように、仮想パネル５０１を強調表示することにより、ユーザは選択しようとしている仮想パネル５０１を認識することができる。仮想パネル５０１は奥行き方向に積層配置されたようにユーザが感じるよう表示されているが、平面映像のため、積層されて見える仮想パネル５０１の位置とヘッドマウントディスプレイ１００に対するユーザの手（指）６０１の奥行き方向の位置の対応が取りにくい。しかし、本実施形態では、手（指）６０１のある位置の仮想パネル５０１を強調表示することとしたので、強調表示された仮想パネル５０１を見ながら、ヘッドマウントディスプレイ１００に対する手（指）６０１の奥行き位置を、ユーザが調整して誤りなく所望の仮想パネル５０１を選択することが可能となる。Ｓ１１５の処理が終了すると、Ｓ１１６「手作動情報入力？」の判断処理に進む。
【０１１４】
Ｓ１１６「手作動情報入力？」の判断処理において、コマンド選択手段４３ｄは、「手動作信号」がセンサ用インターフェース５２に入力されたか否かを判断する。コマンド選択手段４３ｄが、「手動作信号」がセンサ用インターフェース５２に入力されたと判断した場合には、Ｓ１１８「手動作信号が押下レベルか？」の判断処理に進む。一方で、コマンド選択手段４３ｄが、「手動作信号」がセンサ用インターフェース５２に入力されていないと判断した場合には、Ｓ１１３の処理に戻る。
【０１１５】
Ｓ１１８「手動作信号が押下レベルか？」の判断処理において、コマンド選択手段４３ｄは、Ｓ１１６の判断処理で入力された「手動作信号」の強弱を判断し、当該「手動作信号」が押下レベルか否かを判断する。コマンド選択手段４３ｄが、Ｓ１１６の判断処理で入力された「手動作信号」が、押下レベルであると判断した場合には、Ｓ１１９「仮想パネル押下表示」の処理に進む。一方で、コマンド選択手段４３ｄが、Ｓ１１６の判断処理で入力された「手動作信号」が、押下レベルでないと判断した場合には、Ｓ１１３の処理に戻る。ユーザの頭が動いて、撮像装置３１、３２でユーザの手（指）６０１が振られた動作のように撮像されたとしても、本実施形態では、ユーザの手（指）６０１に取り付けられたセンサ７０で、仮想パネル５０１の選択動作を検出することとしたので、ユーザの頭の動きにより仮想パネル５０１が誤選択されることを確実に防止し、ユーザが選択することを所望する仮想パネル５０１を確実に検出することが可能となる。
【０１１６】
Ｓ１１９「仮想パネル押下表示」の処理において、仮想パネル生成プログラム４３ａは、Ｓ１１７の処理で算出された、ユーザの手（指）６０１の「手座標」の奥行き方向（ｚ方向）の座標が、それぞれの仮想パネル５０１に規定されている範囲（ｚ１’、ｚ２’、ｚ３’…）にあるか否かを判断し、ユーザが選択した仮想パネル５０１を認識し、当該仮想パネル５０１を、押下した旨の表示をさせる命令を画像生成部コントローラ４９に出力する。仮想パネル５０１を押下した旨の表示には、「押下」の文字を表示する、選択された仮想パネル５０１の色を変化させる等が含まれる。Ｓ１１９の処理が終了すると、Ｓ１２０「コマンド選択」の処理に進む。
【０１１７】
Ｓ１２０「コマンド選択」の処理において、Ｓ１１９の処理で強調表示した仮想パネル５０１に対応するコマンドを選択する。Ｓ１２０の処理が終了すると、Ｓ１２１「最終選択？」の判断処理に進む。
【０１１８】
Ｓ１２１「最終選択？」の判断処理において、コマンド選択手段４３ｄは、Ｓ１２０の処理で選択したコマンドに対応する仮想パネル５０１が、最下層の仮想パネル画像５００（図１２に示す）にある仮想パネル５０１であるか否かを判断する。コマンド選択手段４３ｄが、Ｓ１２０の処理で選択したコマンドに対応する仮想パネル５０１が、最下層の仮想パネル画像５００にある仮想パネル５０１であると判断した場合には、Ｓ１２２「コマンド実行」の処理に進む。一方で、コマンド選択手段４３ｄが、Ｓ１２０の処理で選択したコマンドに対応する仮想パネル５０１が、最下層の仮想パネル画像５００にある仮想パネル５０１でないと判断した場合には、Ｓ１２５「次レイヤーの仮想パネル画像を表示」の処理に進む。
【０１１９】
Ｓ１２５「次レイヤーの仮想パネル画像を表示」の処理において、仮想パネル生成プログラム４３ａは、次レイヤー（下層）の仮想パネル画像５００を生成する命令を、画像生成部コントローラ４９に出力する。画像生成部用コントローラ４９は、仮想パネル生成プログラム４３ａの命令に従って、仮想パネル画像５００を生成するとともに、当該仮想パネル画像５００を画像生成部２０に出力する。Ｓ１２５の処理が終了すると、Ｓ１１３の処理に戻る。
【０１２０】
Ｓ１２２「コマンド実行」の処理において、コマンド選択手段４３ｄは、Ｓ１２０の処理で選択したコマンドを実行する。Ｓ１２２の処理が終了すると、Ｓ１２３「画像生成」の処理に進む。
【０１２１】
Ｓ１２３「画像生成」の処理において、画像生成部コントローラ４９は、Ｓ１２２の処理においてＣＰＵ４１で実行される命令に基づき、画像を生成し、画像生成部用ＶＲＡＭ５０に出力するとともに、画像生成部２０に出力する。Ｓ１２２の処理で実行されるコマンドには、画像生成部２０が生成している画像の、拡大・縮小・移動、次の画像に進む処理、前の画像に戻る処理等が含まれる。Ｓ１２３の処理が終了すると、メイン処理のフローが終了する。
【０１２２】
なお、Ｓ１２２の処理で実行されるコマンドが、画像生成部２０で生成される画像に変更がない場合（例えば現在表示中の画像の保存）には、Ｓ１２３の処理が実行されない。
【０１２３】
なお、本明細書において、「手」には、例えば、手に持った、鉛筆やペン等の筆記用具、手に装着した手袋、リモートコントローラ等に設けられたマーカや光点等、手の代わりに操作できるものも含まれるものとする。また、以上説明した実施形態では、２つの撮像装置３１、３２を、頭部装着部１０の前部に所定間隔をおいて取り付けているが、３以上の撮像装置を、頭部装着部１０の前部に所定間隔をおいて取り付け、当該３以上の撮像装置で、ユーザの手（指）６０１の奥行き方向の位置や動きを検出することにしても差し支えない。
【０１２４】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。
【図面の簡単な説明】
【０１２５】
【図１】本発明のヘッドマウントディスプレイの全体図である。（第１の実施形態）
【図２】ユーザの視覚を表した図である。
【図３】仮想パネル選択説明図である。
【図４】本発明のブロック図である。（第１の実施形態）
【図５】画像生成部のブロック図である。
【図６】本発明のメイン処理のフロー図である。（第１の実施形態）
【図７】キャリブレーション処理のフロー図である。（第１の実施形態）
【図８】キャリブレーション処理の説明図である。
【図９】手位置検出処理のフロー図である。（第１の実施形態）
【図１０】色解析処理のフロー図である。（第１の実施形態）
【図１１】撮像座標から手座標を算出する説明図である。
【図１２】仮想パネルのツリー構造の説明図である。
【図１３】第２の実施形態のヘッドマウントディスプレイのブロック図である。
【図１４】第２の実施形態のメイン処理のフロー図である。
【図１５】第２の実施形態のヘッドマウントディスプレイの全体図である。
【符号の説明】
【０１２６】
１０ 頭部装着部
２０ 画像生成部
２１ 画像光生成部
２２ コリメート光学系
２３ 水平走査部
２３ａ 共振型偏向素子
２３ｂ 水平走査制御回路
２３ｃ 水平走査角検出回路
２３ｄ 反射面
２４ 垂直走査部
２４ａ 偏向素子
２４ｂ 垂直走査制御回路
２４ｃ 垂直走査検出回路
２４ｄ 反射面
２５ リレー光学系
２６ リレー光学系
２６ａ レンズ系
２６ｂ レンズ系
２７ 光ファイバ
３１ 右撮像装置
３２ 左撮像装置
４０ 制御部
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
４３ａ 仮想パネル生成プログラム
４３ｂ 手位置検出プログラム
４３ｃ 手座標算出手段
４３ｄ コマンド選択手段
４３ｅ 手マッチングデータ
４４ 不揮発性メモリ
４５ 右撮像装置コントローラ
４６ 右撮像装置用ＶＲＡＭ
４７ 左撮像装置コントローラ
４８ 左撮像装置用ＶＲＡＭ
４９ 画像生成部コントローラ
５０ 画像生成部用ＶＲＡＭ
５１ インターフェース
５２ センサ用インターフェース
５５ バス
６０ 操作スイッチ
６１ 電源ランプ
７０ センサ
１００ ヘッドマウントディスプレイ（第１の実施形態）
１１０ ヘッドマウントディスプレイ（第２の実施形態）
２１１ 信号処理回路
２１２ 光源部
２１２ａ Ｂレーザドライバ
２１２ｂ Ｇレーザドライバ
２１２ｃ Ｒレーザドライバ
２１２ｄ Ｂレーザ
２１２ｅ Ｇレーザ
２１２ｆ Ｒレーザ
２１３ 光合成部
２１３ａ〜２１３ｃ コリメート光学系
２１３ｄ〜２１３ｆ ダイナミックミラー
２１３ｇ 結合光学系
２１４ａ Ｂ（青）の画像信号
２１４ｂ Ｇ（緑）の画像信号
２１４ｃ Ｒ（赤）の画像信号
２１５ 水平駆動信号
２１６ 垂直駆動信号
５００ 仮想パネル画像
５０１ 仮想パネル
５０５ マーカ画像（近位置）
５０６ マーカ画像（遠位置）
６０１ ユーザの手（指）
Ｅ 眼球
Ｅａ 瞳孔
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、前記ユーザに画像を視認させる画像生成部を有するヘッドマウントディスプレイにおいて、
各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置されたように視認される画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、
前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、
前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置から、前記ユーザが選択しようとしている仮想パネルを検出し、前記ユーザの選択動作から、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とするヘッドマウントディスプレイ。
【請求項２】
手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段とから構成し、
コマンド選択手段は、前記手座標算出手段が算出した前記ユーザの手の奥行き方向の座標に基づいて、前記ユーザの手の奥行き方向の位置及び動作を算出し、当該ユーザの手の奥行き方向の位置及び動作に基づいて、仮想パネルに割り当てられたコマンドを選択することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段と、
ユーザの手の動作を検出し手動作信号を生成する、ユーザの手に取り付けられたセンサとから構成し、
コマンド選択手段は、
前記手座標算出手段が算出した前記ユーザの手奥行き方向の座標に基づいて、ユーザが選択しようとしている仮想パネルを認識し、
前記センサが検出した手動作信号から、ユーザの前記仮想パネルの選択動作を判断し、当該仮想パネルに割り当てられたコマンドを選択することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項４】
仮想パネル生成手段は、
仮想パネル画像を生成する前に、
ユーザから近位置及び遠位置に仮想的に表示されるマーカ画像を生成して画像生成部に出力し、
ユーザの各マーカ画像の選択動作から手位置動作検出手段が検出したユーザの手の奥行き方向の位置情報から、前記遠位置及び近位置の奥行き方向の座標を算出し、
算出された前記近位置及び遠位置の間に、複数の仮想パネルを、積層配置して仮想パネル画像を生成することを特徴とする請求項１〜３のいずれかに記載のヘッドマウントディスプレイ。
【請求項５】
仮想パネル生成手段は、コマンド選択手段が検出したユーザの手のある位置の仮想パネルを、強調表示することを特徴とする請求項１〜４のいずれかに記載のヘッドマウントディスプレイ。
【請求項６】
コマンド選択手段は、手位置動作検出手段が検出したユーザの手の位置が、一定時間以上、所定範囲内にあると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする請求項１〜５のいずれかに記載のヘッドマウントディスプレイ。
【請求項７】
コマンド選択手段は、手位置動作検出手段が検出したユーザの手の動作が、予め設定されている選択動作であると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする請求項１〜５のいずれかに記載のヘッドマウントディスプレイ。
【請求項１】
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、前記ユーザに画像を視認させる画像生成部を有するヘッドマウントディスプレイにおいて、
各コマンドが割り当てられた仮想パネルが奥行き方向に積層配置されたように視認される画像である仮想パネル画像を生成し、前記画像生成部に出力する仮想パネル生成手段と、
前記ユーザの手の奥行き方向位置及び動作を検出する手位置動作検出手段と、
前記手位置動作検出手段が検出した前記ユーザの手の奥行き方向位置から、前記ユーザが選択しようとしている仮想パネルを検出し、前記ユーザの選択動作から、当該仮想パネルに割り当てられたコマンドを選択するコマンド選択手段を有することを特徴とするヘッドマウントディスプレイ。
【請求項２】
手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段とから構成し、
コマンド選択手段は、前記手座標算出手段が算出した前記ユーザの手の奥行き方向の座標に基づいて、前記ユーザの手の奥行き方向の位置及び動作を算出し、当該ユーザの手の奥行き方向の位置及び動作に基づいて、仮想パネルに割り当てられたコマンドを選択することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
手位置動作検出手段を、
間隔をおいて頭部装着部の前部に取り付けられた複数の撮像装置と、
前記各撮像装置が撮像した撮像画像から、ユーザの手の撮像座標を算出し、当該各撮像座標から、前記ユーザの手の奥行き方向の座標を算出する手座標算出手段と、
ユーザの手の動作を検出し手動作信号を生成する、ユーザの手に取り付けられたセンサとから構成し、
コマンド選択手段は、
前記手座標算出手段が算出した前記ユーザの手奥行き方向の座標に基づいて、ユーザが選択しようとしている仮想パネルを認識し、
前記センサが検出した手動作信号から、ユーザの前記仮想パネルの選択動作を判断し、当該仮想パネルに割り当てられたコマンドを選択することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項４】
仮想パネル生成手段は、
仮想パネル画像を生成する前に、
ユーザから近位置及び遠位置に仮想的に表示されるマーカ画像を生成して画像生成部に出力し、
ユーザの各マーカ画像の選択動作から手位置動作検出手段が検出したユーザの手の奥行き方向の位置情報から、前記遠位置及び近位置の奥行き方向の座標を算出し、
算出された前記近位置及び遠位置の間に、複数の仮想パネルを、積層配置して仮想パネル画像を生成することを特徴とする請求項１〜３のいずれかに記載のヘッドマウントディスプレイ。
【請求項５】
仮想パネル生成手段は、コマンド選択手段が検出したユーザの手のある位置の仮想パネルを、強調表示することを特徴とする請求項１〜４のいずれかに記載のヘッドマウントディスプレイ。
【請求項６】
コマンド選択手段は、手位置動作検出手段が検出したユーザの手の位置が、一定時間以上、所定範囲内にあると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする請求項１〜５のいずれかに記載のヘッドマウントディスプレイ。
【請求項７】
コマンド選択手段は、手位置動作検出手段が検出したユーザの手の動作が、予め設定されている選択動作であると判断した場合に、前記手位置動作検出手段が検出したユーザの手のある位置の仮想パネルを選択することを特徴とする請求項１〜５のいずれかに記載のヘッドマウントディスプレイ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−１４６４８１（Ｐ２０１０−１４６４８１Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３２５７６０（Ｐ２００８−３２５７６０）
【出願日】平成２０年１２月２２日（２００８．１２．２２）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月２２日（２００８．１２．２２）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]