画像表示システム
【課題】 ヘッドマウントディスプレイを含む画像表示システムにおいて、スイッチ操作を行うことなく画像表示を開始することができるとともに、ユーザの意に反して画像表示が開始されるのを抑制することを目的とする。
【解決手段】 ユーザの頭部及び胴体に装着され、頭部及び胴体の回転動作をそれぞれ検出する頭部センサ１１及び胴体センサ１２と、ユーザの視線方向を検出するカメラ１３と、ユーザの視野内に画像表示を行う画像表示部１４と、頭部センサ１１及び胴体センサ１２の検出結果に基づいて、ユーザの首振り角θＶ，θＨを求める首振り角判別部２１とを備え、画像表示部１４は、視線方向及び首振り角θＶ，θＨに基づいて、画像表示を開始する。
【解決手段】 ユーザの頭部及び胴体に装着され、頭部及び胴体の回転動作をそれぞれ検出する頭部センサ１１及び胴体センサ１２と、ユーザの視線方向を検出するカメラ１３と、ユーザの視野内に画像表示を行う画像表示部１４と、頭部センサ１１及び胴体センサ１２の検出結果に基づいて、ユーザの首振り角θＶ，θＨを求める首振り角判別部２１とを備え、画像表示部１４は、視線方向及び首振り角θＶ，θＨに基づいて、画像表示を開始する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システムに係り、更に詳しくは、ユーザの視野内に画像を表示する画像表示部がユーザの頭部に装着された画像表示システム、例えばヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）の改良に関する。
【背景技術】
【０００２】
いわゆるヘッドマウントディスプレイ（以下、ＨＭＤという）は、ユーザの頭部に装着され、至近距離から画像を視認させる画像表示端末である。例えば、ユーザの眼の近傍にハーフミラーを配置し、液晶パネル上に表示された画像を上記ハーフミラーで反射させることにより、上記ハーフミラーを透過する外光に重畳させ、ユーザの視野内に上記画像を表示する透過型ＨＭＤが知られている。
【０００３】
ＨＭＤを用いることにより、ユーザは、移動しながら表示画像を閲覧することができる。また、一般的な携帯表示端末のように手で端末を保持し、また、閲覧時に顔を端末に向ける必要がないため、何らかの作業中であれば、その作業を中断することなく画像を閲覧することができる。このため、作業の関連情報をＨＭＤを用いて表示すれば、その作業効率を向上させることができる。例えば、倉庫内でピッキング作業を行う場合、作業者がＨＭＤを装着し、当該ＨＭＤにピッキング作業に必要な情報を表示させることにより、作業効率を向上させることができる。
【０００４】
特許文献１には、ヘリコプターのパイロットが装着するＨＭＤについて記載されている。このＨＭＤは、パイロットの頭部の向きを検出し、頭部の向きの応じた画像を表示している。このため、スイッチ操作などを必要としないハンズフリーによって表示画像を切り替えることができ、パイロットは操縦に集中することができる。また、パイロットのヘルメットだけでなく、搭乗機にもジャイロセンサを配置し、その差分を求めることにより、パイロットの頭部の向きを正確に検出している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１０３３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、ＨＭＤによる画像表示中は、表示画像にユーザの注意が引きつけられ、作業ミスが生じやすい。また、ＨＭＤは、画像を表示することにより周辺環境の視認性が低下するため、安全性確保の観点からユーザの移動中に画像表示を行うことは好ましくない。そこで、画像表示の有無を作業中のユーザが制御するように構成することが考えられる。この場合も、スイッチ操作などを行うことなく、ハンズフリーで制御できれば、作業効率を向上させることができる。
【０００７】
しかしながら、従来のＨＭＤを改良し、頭部の向きにより画像表示の有無を制御するように構成した場合、ユーザの意に反して画像表示が開始され、作業ミスを誘発し、あるいは、安全性が損なわれるおそれがある。例えば、ユーザが周辺環境を確認するために振り向いた場合に、その頭部の動きに応じてＨＭＤが画像表示を開始すれば、周辺環境の視認性が低下するとともに、表示画像にユーザの注意が引きつけられることから、ＨＭＤの利便性を著しく低下させると考えられる。
【０００８】
本発明は、上記の事情に鑑みてなされたものであり、ＨＭＤを含む画像表示システムにおいて、ユーザの意に反して、画像表示が開始されるのを抑制することを目的とする。特に、スイッチ操作などを必要とせず、ユーザの意思に基づいて画像表示を開始することができるとともに、ユーザの意に反して画像表示が開始されるのを抑制することを目的とする。
【０００９】
また、本発明は、ＨＭＤを装着して作業を行うユーザの作業効率を向上させることを目的とする。さらに、ＨＭＤを装着して移動するユーザの安全性を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
第１の本発明による画像表示システムは、ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、上記頭部に装着され、上記頭部の回転動作を検出する頭部センサと、上記ユーザの視線方向を検出する視線検出部と、上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部とを備え、上記画像表示部は、上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を開始するように構成される。
【００１１】
この様な構成によれば、情報表示エリアにおける画像表示を開始するために、ユーザは、作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像表示を開始するか否かを視線方向及び首振り角に基づいて判断することにより、ユーザの意に反して画像表示が開始され、作業効率が低下するのを防止することができる。また、不要な画像表示を抑制することにより、作業中のユーザの安全性を向上させることができる。
【００１２】
なお、頭部センサが検出するユーザの頭部の回転動作は、上下方向の回転動作であってもよいし、左右方向の回転動作であってもよい。また、情報表示エリアは、画像表示部が画像を表示する表示エリアの全体であってもよいし、上記表示エリアの一部であってもよい。
【００１３】
第２の本発明による画像表示システムは、上記構成に加えて、画像表示部が、上記首振り角が画像表示角より大きく、かつ、上記視線方向が正面方向を含まない表示開始領域内にある場合に、上記情報表示エリアにおける画像表示を開始するように構成される。
【００１４】
この様な構成により、ユーザが正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、ユーザの首振り角が画像表示角を越えた場合であっても、視線方向が表示開始領域内になければ、画像表示が開始されることはない。このため、ユーザの意に反して画像表示が開始されるのを防止することができる。
【００１５】
第３の本発明による画像表示システムは、上記構成に加えて、上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、上記画像表示部は、上記首振り角が画像表示角より大きく、かつ、上記視線方向が上記首振り方向とは反対方向である場合に、上記情報表示エリアにおける画像表示を開始するように構成される。
【００１６】
この様な構成により、ユーザが正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、ユーザの首振り角が画像表示角を越えた場合であっても、視線方向が首振り方向とは反対方向でなければ、画像表示が開始されることはない。一般に、視線方向と首振り方向が互いに反対方向になるという動作は、意識的に行わなければ生じない不自然な動作であるため、この様な条件に基づいて画像表示を開始することにより、ユーザの意に反して画像表示が開始されるのを防止することができる。
【００１７】
第４の本発明による画像表示システムは、上記構成に加えて、上記ユーザの胴体に装着され、上記胴体の回転動作を検出する胴体センサを備え、上記首振り角判別部は、上記頭部センサ及び上記胴体センサの検出結果に基づいて左右方向に関する上記首振り角を求める。
【００１８】
この様な構成により、頭部センサによって検出された頭部の左右方向の回転動作から、胴体の左右方向の回転動作を除去することにより、左右方向の首振り動作を正確に検出することができる。このため、頭部センサの検出結果のみを用いる場合に比べて、ユーザの左右方向の首振り角を精度よく求めることができ、ユーザの意に反して画像表示が開始されるのを防止することができる。
【００１９】
第５の本発明による画像表示システムは、上記構成に加えて、上記首振り角判別部が、上記頭部センサの検出結果に基づいて上下方向に関する上記首振り角を求めるように構成される。
【００２０】
この様な構成により、首振り角が画像表示角よりも大きくなるように、ユーザが頭部を上下方向に回転させることにより、情報表示エリアにおける画面表示を開始させることができる。
【００２１】
第６の本発明による画像表示システムは、上記構成に加えて、上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、上記画像表示部が、上記首振り方向に応じた画像を表示するように構成される。
【００２２】
この様な構成により、ユーザは首振り方向を選択することにより、情報表示エリアに表示される画像を選択することができる。
【００２３】
第７の本発明による画像表示システムは、上記構成に加えて、上記視線検出部が、上記ユーザの眼を撮影する撮影部と、撮影された画像内における瞳の位置を判別する瞳位置判別部とを有し、上記瞳の位置により視線方向を求めるように構成される。この様な構成により、ユーザの視線方向を検出することができる。
【００２４】
第８の本発明による画像表示システムは、上記構成に加えて、上記画像表示部が、上記画像を出力する画像出力部と、上記ユーザの眼の近傍に配置されたハーフミラーとを備え、上記ハーフミラーを透過した外光に対し、上記ハーフミラーで反射した上記画像出力部からの出射光が重畳され、上記眼に入射されるように構成される。
【００２５】
このような構成により、普通に視認できる周辺環境に対し、画像表示を重畳させて表示することにより、画像表示中も周辺環境をある程度視認することができる。これに加えて、不要な画像表示を抑制することにより、ユーザは、周辺環境に注意を向けることができるとともに、周辺環境がより視認しやすくなる。このため、作業効率を向上させるとともに、作業中のユーザの安全性を向上させることができる。
【００２６】
第９の本発明による画像表示システムは、上記構成に加えて、上記ユーザの音声が入力されるマイクロホンと、上記情報表示エリアにおける画像表示中に入力された上記音声から音声コマンドを識別し、入力信号を生成する音声コマンド識別部とを備え、上記情報表示エリアにおける画像非表示中に入力された上記音声から上記入力信号を生成しないように構成される。
【００２７】
この様な構成により、情報表示エリア内に画像が表示されていれば、音声コマンドを受け付け、画像が表示されていない場合には、音声コマンドを受け付けないようにすることができる。通常、ユーザは画像表示を見て音声コマンドを入力することから、画像表示されていない場合に、音声コマンドを受け付けないようにすれば、作業中の雑音などが音声コマンドとして誤認識されるのを防止できる。
【００２８】
第１０の本発明による画像表示システムは、互いに無線通信可能な携帯表示端末及び表示制御装置からなる画像表示システムであって、上記携帯表示端末は、ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、上記頭部の回転動作を検出する頭部センサと、上記ユーザの視線方向を検出する視線検出部とを備え、上記表示制御装置は、上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部と、上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を制御するための表示制御信号を生成する表示制御部とを備え、上記画像表示部は、上記表示制御信号に基づいて、上記情報表示エリアにおける画像表示を開始するように構成される。
【発明の効果】
【００２９】
本発明による画像表示システムによれば、視線方向及び上記首振り角に基づいて、ユーザの視野内の情報表示エリアにおける画像表示が開始される。このため、情報表示エリアに画像を表示させたい場合に、ユーザが作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像表示を開始するか否かを首振り角のみに基づいて判断する場合に比べて、ユーザの意に反して画像表示が開始され、作業効率が低下するのを防止することができる。また、不要な画像表示を抑制することにより、作業中のユーザの安全性を向上させることができる。
【００３０】
また、本発明による画像表示システムによれば、首振り角が画像表示角より大きく、かつ、視線方向が正面方向を含まない表示開始領域内にある場合に、情報表示エリアにおける画像表示部が開始される。このため、ユーザの頭部が正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、視線方向が表示開始領域内になければ、画像表示が開始されることはなく、ユーザの意に反して画像表示が開始されるのを防止することができる。
【００３１】
また、本発明による画像表示システムによれば、首振り角が画像表示角より大きく、かつ、視線方向が首振り方向とは反対方向である場合に、情報表示エリアにおける画像表示が開始される。このため、ユーザの頭部が正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、不自然な動作に基づいて画像表示を開始することにより、ユーザの意に反して画像表示が開始されるのを防止することができる。
【００３２】
また、本発明による画像表示システムによれば、情報表示エリア内に画像が表示されていれば、音声コマンドを受け付け、画像が表示されていない場合には、音声コマンドを受け付けない。このため、作業中の雑音などが音声コマンドとして誤認識されるのを防止できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態１による画像表示システム１００の一構成例を示したシステム図である。
【図２】図１の頭部ユニット１Ａを後方から見た様子を示した外観図である。
【図３】図１の画像表示システム１００の機能構成の一例を示したブロック図である。
【図４】図３の首振り角判別部２１における判別処理についての説明図である。
【図５】画像表示が行われる首振り角の範囲をユーザから見た仮想的な領域として示した説明図である。
【図６】視線方向の判別処理に用いられる表示開始領域５の一例を示した図である。
【図７】表示制御処理の一例を示したフローチャートである。
【図８】音声入力処理の一例を示したフローチャートである。
【図９】本発明の実施の形態２による画像表示システム１０１の機能構成の一例を示したブロックである。
【図１０】本発明の実施の形態２による視線方向判別処理についての説明図である。
【図１１】図９の画像表示システム１０１における表示制御処理の一例を示したフローチャートである。
【図１２】本発明の実施の形態３による画像表示の一例を示した図である。
【発明を実施するための形態】
【００３４】
実施の形態１．
図１は、本実施の形態による画像表示システム１００の一構成例を示した図であり、図２は、図１の頭部ユニット１Ａを後方から見た様子を示した外観図である。この画像表示システム１００は、ユーザが装着するＨＭＤ１と、無線通信を介してＨＭＤ１に接続された管理サーバ２とからなる。
【００３５】
ＨＭＤ１は、ユーザの身体に装着され、管理サーバ２から受信した画像を至近距離からユーザの視野内に表示する携帯表示端末である。また、ユーザの視線方向や首振り動作を検出し、検出信号を管理サーバ２へ送信する。管理サーバ２は、これらの検出信号を受信し、ＨＭＤ１の表示制御を行っている。つまり、管理サーバ２は、ＨＭＤ１からの検出信号に基づいて、画像表示を行うか否かを判別し、画像表示を行う場合には、画像データを含む表示制御信号をＨＭＤ１へ送信し、ＨＭＤ１が当該画像データに基づく画像表示を行う。
【００３６】
この画像表示は、ユーザの視線方向及び首振り角が一定条件を満たしたときに開始される。このため、作業を中断してスイッチ操作などを行わなくても、必要なときに画像表示を開始させることができる。しかも、視線方向の条件と首振り角の条件をともに満たしたときに画像表示が開始されるため、ユーザの意に反して画像表示が開始されるのを抑制することができる。
【００３７】
本実施の形態では、ユーザの視線方向が表示開始領域内にあり、かつ、ユーザの首振り角が画像表示角を越えた場合に、ＨＭＤ１による画像表示が開始される。このため、ユーザの首振り動作のみに基づいて画像表示を開始する場合に比べて、ユーザの意に反して画像表示が開始されるのをより効果的に抑制することができる。
【００３８】
ＨＭＤ１は、ユーザの頭部に装着される頭部ユニット１Ａと、ユーザの胴体に装着される胴体ユニット１Ｂとによって構成される。ここでは、頭部ユニット１Ａ及び胴体ユニット１Ｂが、通信ケーブル３２を介して互いに接続されている場合について説明するが、Ｂｌｕｅｔｏｏｔｈなどの無線通信回線を介して互いに接続されていてもよい。
【００３９】
頭部ユニット１Ａは、眼鏡型フレーム３０、メインモジュール３１、ハーフミラー１４２及びマイクロホン１５からなる。眼鏡型フレーム３０は、一般的な眼鏡と同様の形状からなり、頭部ユニット１Ａをユーザの頭部に装着する装着手段である。この眼鏡型フレーム３０には、カメラ１３、マイクロホン１５、メインモジュール３１及びハーフミラー１４２が取り付けられている。
【００４０】
カメラ１３は、ユーザの視線方向を検出するためにユーザの眼を撮影する視線検出部であり、眼鏡型フレーム３０のレンズフレームのユーザ側に配置されている。例えば、ＣＣＤカメラやＣＭＯＳイメージセンサをカメラ１３として用いることができる。このカメラ１３が出力する撮影画像内における瞳の位置を識別することにより、ユーザの視線方向を判別することができる。
【００４１】
マイクロホン１５は、ユーザの音声を入力するための音声入力部である。マイクロホン１５に音声が入力されると、当該音声に含まれる音声コマンドが識別される。このため、ユーザは、スイッチ操作などを行うことなく、入力を行うことができる。
【００４２】
メインモジュール３１は、ユーザの左眼の近傍に配置されている。このメインモジュール３１には、画像出力部１４１及び頭部センサ１１が内蔵されている。画像出力部１４１は、管理サーバ２から受信した画像データに基づいて画像を出力する画像出力部であり、例えば、液晶パネルが用いられる。頭部センサ１１は、ユーザの頭部の上下方向及び左右方向の回転動作を検出するためのセンサであり、例えば、周知のジャイロセンサが用いられる。
【００４３】
ハーフミラー１４２は、メインモジュール３１に取り付けられ、ユーザの左眼の視野内に配置されている。ユーザの周辺環境から入射する外光は、その一部がハーフミラー１４２を透過し、ユーザの左眼に入射する。また、画像出力部１４１からの出力光は、ハーフミラー１４２で反射され、ユーザの左眼に入射する。つまり、外光及び出力光がともにユーザの眼に入射され、画像出力部１４１の画像は、外光に重畳されてユーザの視野内に表示される。ただし、一般に、ＨＭＤ１による画像表示中は、周辺環境の視認性は著しく低下する。
【００４４】
胴体ユニット１Ｂは、通信ケーブル３２を介して頭部ユニット１Ａと接続され、頭部ユニット１Ａを制御するコントローラであり、例えば、ユーザのウエストに装着される。この胴体ユニット１Ｂは、管理サーバ２と通信するためのアンテナが設けられているとともに、胴体センサ１２が内蔵されている。
【００４５】
胴体センサ１２は、ユーザの胴体の左右方向の回転動作を検出するためのセンサであり、例えば、周知のジャイロセンサが用いられる。頭部センサ１１が検出した左右方向の回転動作と、胴体センサ１２が検出した左右方向の回転動作とを用いることにより、左右方向に関するユーザの首振り角を正確に判別することができる。
【００４６】
図３は、図１の画像表示システム１００の機能構成の一例を示したブロック図であり、ＨＭＤ１及び管理サーバ２の詳細構成例が示されている。ＨＭＤ１は、通信部１０、頭部センサ１１、胴体センサ１２、カメラ１３、画像表示部１４及びマイクロホン１５からなる。また、管理サーバ２は、通信部２０、首振り角判別部２１、首振り方向判別部２２、視線方向判別部２３、音声コマンド識別部２５及び表示制御部２６からなる。
【００４７】
通信部１０，２０は、無線通信を行うための通信手段であり、ＨＭＤ１及び管理サーバ２は、無線通信回線を介して接続されている。例えば、管理サーバ２が無線ＬＡＮのアクセスポイントに接続され、ＨＭＤ１が当該アクセスポイントとの間で無線通信を行うことにより、ＨＭＤ１及び管理サーバ２が、無線ＬＡＮを介して互いに接続されるように構成される。ここでは、通信部１０，２０を介して、検出信号Ｓ１〜Ｓ４が、ＨＭＤ１から管理サーバ２へ送信され、表示制御信号Ｃ１が、管理サーバ２からＨＭＤ１へ送信されるものとする。
【００４８】
頭部センサ１１は、ユーザの頭部の回転動作を検出し、検出信号Ｓ１を出力する。ここでは、２個のジャイロセンサを用いて、上下方向の回転動作の角速度ωＶと、左右方向の回転動作の角速度ωＨ１とを求め、これらの角速度ωＶ，ωＨ１を含む検出信号Ｓ１を生成している。
【００４９】
胴体センサ１２は、ユーザの胴体の回転動作を検出し、検出信号Ｓ２を出力する。ここでは、１個のジャイロセンサを用いて、左右方向の回転運動の角速度ωＨ２を求め、この角速度ωＨ２を含む検出信号Ｓ２を生成している。
【００５０】
カメラ１３は、ユーザの眼を撮影し、撮影画像を含む検出信号Ｓ３を出力する。画像表示部１４は、画像出力部１４１及びハーフミラー１４２からなり、表示制御部２６からの表示制御信号Ｃ１に基づいて、画像出力部１４１が画像を生成し、ハーフミラー１４２が、当該画像をユーザの視野内に表示する。マイクロホン１５は、ユーザの音声を電気信号に変換し、音声信号を含む検出信号Ｓ４を生成する。
【００５１】
首振り角判別部２１は、検出信号Ｓ１，Ｓ２に基づいてユーザの首振り角を求め、これらの首振り角を予め定められた画像表示角と比較する。この画像表示システム１００では、首振り角が画像表示角よりも大きな首振り動作が行われたことが画像表示の条件となっている。このため、首振り角判別部２１は、この開始条件が成立しているか否かを判別し、判別結果を表示制御部２６へ出力する。
【００５２】
首振り角は、ユーザの顔の正面方向が基準方向に対してなす角度であり、首振り角判別部２１は、上下方向及び左右方向の首振り角θＶ，θＨをそれぞれ求めている。
【００５３】
上下方向の首振り角θＶは、鉛直面内において顔の正面方向が基準方向に対してなす角度として定義される。ここでは、水平方向を基準方向とし、顔の正面方向が水平方向に対してなす角度が、上下方向の首振り角θＶとして求められるものとする。このような上下方向の首振り角θＶは、頭部センサ１１が検出した上下方向の角速度ωＶを積分することによって求められる。なお、頭部センサ１１が角度センサであれば、上下方向の首振り角θＶが、頭部センサ１１によって直接求められる。
【００５４】
また、左右方向の首振り角θＨは、水平面内において顔の正面方向が基準方向に対してなす角度として定義される。ここでは、ユーザの胴体の正面方向を基準方向とし、顔の正面方向が胴体の正面方向に対してなす角度が、左右方向の首振り角θＨとして求められるものとする。このような左右方向の首振り角θＨは、頭部センサ１１が検出した左右方向の角速度ωＶ１と、胴体センサ１２が検出した左右方向の角速度ωＶ２との差を積分することによって求められる。
【００５５】
首振り方向判別部２２は、検出信号Ｓ１，Ｓ２に基づいてユーザの首振り方向を判別する。この画像表示システム１００では、首振り方向に応じた画像が表示される。このため、首振り方向判別部２２は、首振り方向を判別し、この判別結果を表示制御部２６へ出力する。ここでは、上下左右の４方向のうち、いずれの方向へ首が振られているのかが、首振り方向判別部２２によって判別される。このような判別は、首振り角判別部２１が求めた上下方向の首振り角θＶと、左右方向の首振り角θＨとの絶対値を比較することにより行うことができる。
【００５６】
視線方向判別部２３は、カメラ１３からの検出信号Ｓ３に基づいて、ユーザの視線方向が、画像表示の開示条件を満足しているか否かを判別する。この画像表示システム１００では、視線方向が予め定められた表示開始領域内であることが画像表示の開始条件となっている。このため、視線方向判別部２３は、ユーザの視線方向を求め、当該視線方向が表示開始領域内であるか否かを判別し、この判別結果を表示制御部２６へ出力する。ここでは、カメラ１３の撮影画像からユーザの瞳の画像を識別し、撮影画像内における瞳の位置に基づいて、ユーザの視線方向が求められるものとする。
【００５７】
音声コマンド識別部２５は、マイクロホン１５からの検出信号Ｓ４に基づいて入力信号を生成している。この画像表示システム１００では、画像表示中に音声が入力された場合、当該音声から音声コマンドを抽出し、音声コマンドに対応する入力処理が行われる。このため、音声コマンド識別部２５は、検出信号Ｓ４が入力されると、マイクロホン１５からの音声信号に含まれる音声コマンドを識別し、当該音声コマンドに対応する入力信号を生成する。例えば、音声コマンドの特徴データが予め与えられており、音声信号について当該特徴データとのマッチングを行うことにより、音声信号から音声コマンドを抽出し、当該音声コマンドに対応する入力信号を生成する。
【００５８】
ただし、このような音声コマンドの識別処理は、画像表示中に入力された音声について行われ、画像の非表示中に入力された音声については行われない。一般に、音声入力が行われるのは画像表示中であるため、画像非表示中に音声入力を受け付けないことにより、ユーザの音声以外のノイズが音声コマンドとして誤認識されるのを防止することができる。ここでは、音声コマンド識別部２５が、表示状態信号Ｃ２に基づいて、音声コマンドの識別処理を行っているものとする。表示状態信号Ｃ２は、画像表示中であるか否かを示す信号であり、表示制御部２６によって生成される。
【００５９】
表示制御部２６は、表示制御信号Ｃ１を出力し、画像表示部１４による画像表示を制御する。この表示制御部２６は、首振り方向判別部２２の判別結果に基づいて、ユーザの首振り方向に予め対応づけられた画像を表示画像として選択する。このため、ユーザの首振り方向に対応する画像が、画像表示部１４によって表示される。また、音声コマンド識別部２５からの入力信号に基づいて、画像表示が行われる。例えば、ユーザが表示画像を指定する音声コマンドを入力した場合、表示制御部２６は、指定された画像をＨＭＤ１の表示画像として選択する。
【００６０】
さらに、画像が表示されていないが画像非表示中であれば、表示制御部２６は、首振り角判別部２１及び視線方向判別部２３の判別結果に基づいて画像表示を開始する。このため、画像の非表示状態では、ユーザの首振り角及び視線方向が所定条件を満たすことにより、画像表示部１４による画像表示が開始される。
【００６１】
一方、画像が表示されている画像表示中であれば、表示制御部２６が、首振り角判別部２１の判別結果に基づいて画像表示を終了する。つまり、ユーザの首振り角が画像表示角よりも小さくなれば、直ちに画像表示を終了し、あるいは、一定時間の経過後に画像表示を終了する。
【００６２】
図４は、図３の首振り角判別部２１における判別処理についての説明図であり、図中の（ａ）には、ＨＭＤ１を装着したユーザを上から見た場合の様子が示され、図中の（ｂ）には、ユーザを右から見た場合の様子が示されている。図中のハッチングを付した領域は、ユーザの首振り角θＨ，θＶが、画像表示角θＨ１，θＶ１，θＶ２を越える領域であり、ＨＭＤ１による画像表示が行われる領域である。
【００６３】
首振り角判別部２１は、左右方向の首振り角θＨの絶対値を画像表示角θＨ１と比較し、左方向又は右方向に画像表示角θＨ１よりも大きな首振りが行われた否かを判別する。例えば、画像表示角θＨ１が４０°である場合、胴体正面の基準方向を挟んで８０°の角度範囲内では画像表示が行われず、左右いずれかに４０°以上の首振りが行われていれば画像表示が行われる。一般に、左右方向の首振りの限界角度は約６０°であるため、画像表示角θＨ１が４０°であれば、限界角度までに約２０°のマージンがあり、ユーザは、左方向又は右方向のいずれかに４０〜６０°の角度範囲で首振りを行えば、画像を表示させることができる。
【００６４】
また、首振り角判別部２１は、上下方向の首振り角θＶを画像表示角θＶ１，θＶ２と比較し、上方向の画像表示角θＶ１又は下方向の画像表示角θＶ２よりも大きな首振りが行われた否かを判別する。例えば、上方向の画像表示角θＶ１が３０°、下方向の画像表示角θＶ２が４０°である場合、水平方向を挟んで７０°の角度範囲内では画像表示が行われず、上方向に３０°以上あるいは下方向に４０°以上の首振りが行われていれば画像表示が行われる。一般に、上下方向の首振りの限界角度は上方向が下方向よりも狭い。このため、ここでは、上方向の画像表示角θＶ１と下方向の画像表示角θＶ２とを異ならせている。
【００６５】
なお、本実施の形態では、左方向及び右方向の画像表示角θＨ１を一致させる場合の例について説明するが、作業中のユーザの動作等を考慮し、これらの画像表示角θＨ１を互いに異ならせることもできる。また、ここでは、上方向及び下方向の画像表示角θＶ１，θＶ２を互いに異ならせる場合の例について説明するが、必要に応じて一致させることもできる。
【００６６】
図５は、画像表示が行われる首振り角の範囲をユーザから見た仮想的な領域として示した説明図であり、図４の（ａ）及び（ｂ）を組み合わせて３次元的に示した図に相当する。
【００６７】
図中の基準方向４０は、首振りを行っていないときのユーザの正面方向、つまり、左右方向が胴体の正面方向であって、上下方向が水平方向となる方向である。非表示ゾーン４１は、ユーザが顔を向けた場合に、ＨＭＤ１による画像表示を終了させる仮想領域であり、表示ゾーン４２は、ユーザが顔を向けた場合に、ＨＭＤ１による画像表示を継続させ、あるいは、視線方向の条件を満たせば、ＨＭＤ１による画像表示を開始させる仮想領域であり、ハッチングを付して示されている。
【００６８】
非表示ゾーン４１は、基準方向４０を含む矩形領域からなる。この矩形領域の高さは、上下方向の画像表示角の和（θＶ１＋θＶ２）に相当し、幅は左右方向の画像表示角の和２θＨ１に相当する。
【００６９】
一方、表示ゾーン４２は、非表示ゾーン４１の周囲に形成された矩形枠領域である。また、表示ゾーン４２は、首振り方向が異なる４つの表示ゾーン４２ａ〜４２ｄからなる。すなわち、首振り方向が、４２ａは左方向、４２ｂは右方向、４２ｃは上方向、４２ｄは下方向である場合の表示ゾーンであり、ユーザの首振り方向に応じた画像が表示される。
【００７０】
図６は、視線方向の判別処理に用いられる表示開始領域５の一例を示した図である。この図では、表示開始領域５が、左レンズ内の左下の領域として示されている。視線方向判別部２３は、ユーザの視線方向が、表示開始領域５内にあるか否かを判別している。視線方向が表示開始領域５内になければ、画像表示の開始条件が成立せず、視線方向が表示開始領域５内にあれば、画像表示の開始条件が成立する。なお、ここでは、表示開始領域５が、左レンズ内の左下の領域である場合の例を示したが、表示開始領域５は、少なくとも正面方向を含まない予め定められた領域であればよく、任意に定めることができる。
【００７１】
図７のステップＳ１０１〜Ｓ１０８は、図３の画像表示システム１００における表示制御処理の一例を示したフローチャートである。この表示制御処理は、ユーザの頭部の回転動作が検出された場合に開始される処理であり、頭部センサ１１又は胴体センサ１２からの検出信号Ｓ１，Ｓ２に基づいて実行される。
【００７２】
まず、首振り角判別部２１が、検出信号Ｓ１，Ｓ２に基づいて、左右方向の首振り角θＨと、上下方向の首振り角θＶを求める（ステップＳ１０１）。次に、首振り角判別部２１は、求められた首振り角θＨ，θＶに基づいて、ユーザの顔が非表示ゾーン４１又は表示ゾーン４２のいずれを向いているのかを判別する（ステップＳ１０２）。すなわち、左右方向の首振り角θＨの絶対値を左右方向の画像表示角θＨ１と比較するとともに、上下方向の首振り角θＶを左右方向の画像表示角θＶ１，θＶ２と比較する。その結果、首振り角θＨ，θＶのいずれかが画像表示角よりも大きければ、ユーザの顔は表示ゾーン４２内を向いていると判断する。一方、首振り角θＨ，θＶがいずれも画像表示角以下であれば、ユーザの顔が非表示ゾーン４１内を向いていると判断する。
【００７３】
その結果、ユーザの顔が非表示ゾーン４１内を向いていると判断すれば、画像を非表示にして当該表示制御処理を終了する（ステップＳ１０３）。つまり、ユーザの首振り角が、画像表示角よりも小さければ、画像表示を終了する。
【００７４】
一方、ステップＳ１０２において、ユーザの顔が表示ゾーン４２内を向いていると判断した場合、ＨＭＤ１の表示状態に基づいて動作が異なる（ステップＳ１０４）。すなわち、既に画像が表示されている画像表示中であれば、ステップＳ１０７へ進む。一方、画像が表示されていない画像非表示中であれば、ステップＳ１０５へ進み、画像表示の開始条件として視線方向の判別処理が行われる。
【００７５】
ＨＭＤ１が画像非表示中であった場合、視線方向判別部２３が、カメラ１３からの検出信号Ｓ３に基づいて、ユーザの視線方向が求められる（ステップＳ１０５）。次に、視線方向判別部２３は、求められた視線方向が、表示開始領域５内であるか否かを判別する（ステップＳ１０６）。
【００７６】
その結果、ユーザの視線方向が表示開始領域５外であると判別すれば、当該表示制御処理を終了する。つまり、画像表示は開始されず、ＨＭＤ１は非表示状態を維持する。一方、ユーザの視線方向が表示開始領域５内であると判別すれば、この判別結果に基づいて、表示制御部２６が、画像表示を開始するための表示制御信号を生成し、ＨＭＤ１は、画像非表示状態から画像表示状態へ移行する。
【００７７】
ステップＳ１０４において画像表示中であった場合、あるいは、ステップＳ１０６において視線方向が表示開始領域５内であった場合、首振り方向判別部２２により、ユーザの首振り方向が判別される（ステップＳ１０７）。例えば、ユーザが首を振った方向が、上下左右の４方向のうち、いずれの方向であるのかが判別される。この判別結果に基づいて、表示制御部２６は、首振り方向に対応する画像データを選択し、当該画像データを含む表示制御信号Ｃ１を生成し、この表示制御信号Ｃ１に基づいて、画像表示部１４が、首振り方向に対応する画像表示を行う（ステップＳ１０８）。
【００７８】
図８のステップＳ２０１〜Ｓ２０４は、図１の画像表示システム１００における音声入力処理の一例を示したフローチャートである。この音声入力処理は、ユーザが音声入力を行った場合に開始される処理であり、マイクロホン１５からの検出信号Ｓ４に基づいて実行される。
【００７９】
マイクロホン１５に音声が入力された場合、ＨＭＤ１の表示状態に基づいて動作が異なる（ステップＳ２０１）。すなわち、画像非表示中であれば、何も行わずに当該音声入力処理を終了する。つまり、画像非表示中における音声入力は受け付けられない。
【００８０】
一方、画像表示中であった場合、音声コマンド識別部２５が、音声信号に含まれる音声コマンドを識別する。すなわち、音声信号に予め定められた音声コマンドが含まれているか否かを判別する（ステップＳ２０２）。その結果、音声コマンドが識別できなかった場合には、処理を終了する（ステップＳ２０３）。
【００８１】
ステップＳ２０３において、音声信号から音声コマンドを抽出することができた場合、音声コマンド識別部２５は、当該音声コマンドに対応する入力信号を生成し、当該音声入力処理を終了する（ステップＳ２０４）。例えば、識別された音声コマンドが表示制御のための入力であれば、当該入力信号は表示制御部２６へ出力される。また、識別された音声コマンドが表示制御以外の入力であれば、図示しないその他の制御部へ出力される。
【００８２】
本実施の形態による画像表示システム１００では、ユーザの頭部に装着された頭部センサ１１がユーザの頭部の回転動作を検出し、首振り角判別部２１が、この検出結果に基づいて、ユーザの首振り角を求めている。また、ユーザの頭部に装着されたカメラ１３の撮影画像を用いて、視線方向判別部２３が、ユーザの視線方向を検出している。そして、これらの検出結果に基づいて、ＨＭＤ１による画像表示が開始される。
【００８３】
このため、画像表示を開始するために、ユーザは、作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像表示を開始するか否かを視線方向及び首振り角に基づいて判断することにより、ユーザの意に反して画像表示が開始され、作業効率が低下するのを防止することができる。また、不要な画像表示を抑制することにより、作業中のユーザの安全性を向上させることができる。
【００８４】
また、本実施の形態による画像表示システム１００では、首振り角判別部２１が、ユーザの首振り角を画像表示角と比較し、首振り角が画像表示角よりも大きいか否かを判別している。また、視線方向判別部２３により、視線方向がユーザの顔の正面方向を含まない表示開始領域５内であるか否かが判別される。そして、これらの検出結果に基づいて画像表示が開始される。
【００８５】
このため、ユーザが正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、ユーザの首振り角が画像表示角よりも大きい場合であっても、視線方向が表示開始領域内になければ、画像表示が開始されることはなく、ユーザの意に反して画像表示が開始されるのを抑制することができる。
【００８６】
また、本実施の形態による画像表示システム１００では、ユーザの胴体に装着された胴体センサ１２がユーザの胴体の回転動作を検出し、首振り角判別部２１が、頭部センサ１１及び胴体センサ１２の検出結果に基づいて、左右方向の首振り角を求めている。
【００８７】
このため、頭部センサ１１の検出結果のみを用いる場合に比べて、左右方向の首振り角を正確に検出することができ、ユーザの意に反して画像表示が開始されるのを抑制することができる。
【００８８】
また、本実施の形態による画像表示システム１００では、マイクロホン１５が、ユーザの音声を音声信号に変換し、音声コマンド識別部２５が、画像表示中に入力された音声信号に含まれる音声コマンドを識別し、この識別結果に基づいて入力信号を生成している。しかも、画像非表示中に音声入力が行われても入力信号は生成されず、画像非表示中における音声入力は受け付けていない。
【００８９】
このため、入力を行うために、ユーザは、作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像非表示中における音声入力を受け付けないため、ノイズなどを音声コマンドとして誤認識するのを抑制することができる。
【００９０】
実施の形態２．
実施の形態１では、首振り角が画像表示角よりも大きく、かつ、視線方向が表示開始領域５内にある場合に、画像表示を開始する画像表示システム１００について説明した。これに対し、本実施の形態では、首振り角が画像表示角よりも大きく、かつ、視線方向が首振り方向とは反対方向である場合に、画像表示を開始する画像表示システム１０１について説明する。なお、実施の形態２による画像表示システム１０１の基本的構成は、実施の形態１による画像表示システム１００の場合と同様であるため、ここでは、両者の相違点について説明する。
【００９１】
図９は、本発明の実施の形態２による画像表示システム１０１の機能構成の一例を示したブロックである。実施の形態１による画像表示システムの構成（図３）と比較すれば、首振り方向判別部２２による首振り方向の判別結果が視線方向判別部２３へ入力されている点で異なる。
【００９２】
視線方向判別部２３は、ユーザの視線方向が首振り方向と反対方向であるか否かを判別している。ここでは、首振り方向判別部２２が、首振り方向が上下左右の４方向のいずれであるのかを判別しているため、視線方向判別部２３も、視線方向が上下左右の４方向のうち、いずれの方向であるのかを判別する。そして、判別された視線方向を首振り方向と比較することにより、互いに反対方向であるのか否かを判別している。
【００９３】
図１０は、本発明の実施の形態２による視線方向判別処理についての説明図である。図中には、４つの視線方向判別領域５ａ〜５ｄが、左レンズ内の一部の領域として示されている。視線方向判別部２３は、ユーザの視線方向が視線方向判別領域５ａ内にあれば、視線方向が左方向であると判別する。同様にして、視線方向判別領域５ｂ，５ｃ，５ｄ内にあれば、それぞれ右方向、上方向、下方向であると判別する。この様にして視線方向が上下左右のいずれであるのかが判別できれば、この判別結果を首振り方向と比較することにより、互いに反対方向であるか否かを判別することができる。なお、方向判別部５ａ〜５ｄのいずれにも属していない場合には、正面方向であると判別され、首振り方向と反対方向ではないと判断される。
【００９４】
図１１のステップＳ３０１〜Ｓ３０８は、図９の画像表示システム１０１における表示制御処理の一例を示したフローチャートである。このフローチャートは、ステップＳ３０４，Ｓ３０６及びＳ３０７を除き、図７のフローチャートと同様である。
【００９５】
ステップＳ３０２において、ユーザの顔が表示ゾーン４２内を向いていると判断された場合、首振り方向判別部２２が、ユーザの首振り方向を判別する（ステップＳ３０４）。例えば、ユーザが首を振った方向が、上下左右の４方向のうち、いずれの方向であるのかを判別する。
【００９６】
次に、ＨＭＤ１が画像表示中である場合には、ＨＭＤ１の表示画像が、首振り方向に対応する画像に切り替えられ、当該表示制御処理を終了する（ステップＳ３０５，Ｓ３０８）。
【００９７】
一方、ＨＭＤ１が画像非表示中である場合には、視線方向判別部２３が、ユーザの視線方向が上下左右の４方向のうち、いずれの方向であるのかを判別する（ステップＳ３０６）。そして、判別された視線方向が首振り方向と反対方向であるのかを判別する（ステップＳ３０７）。
【００９８】
その結果、視線方向が首振り方向と反対方向でないと判別すれば、当該表示制御処理を終了する。つまり、画像表示は開始されず、ＨＭＤ１は非表示状態を維持する。一方、ユーザの視線方向が首振り方向と反対方向であると判別すれば、この判別結果に基づいて、表示制御部２６が、画像表示を開始するための表示制御信号Ｃ１を生成し、ＨＭＤ１は、画像非表示状態から画像表示状態へ移行する。
【００９９】
本実施の形態による画像表示システムでは、首振り角が画像表示角より大きく、かつ、視線方向が首振り方向とは反対方向である場合に、画像表示が開始される。一般に、視線方向と首振り方向が互いに反対方向になるという動作は、意識的に行わなければ生じない不自然な動作であるため、この様な条件に基づいて画像表示を開始することにより、ユーザの意に反して画像表示が開始されるのを防止することができる。
【０１００】
実施の形態３．
上記実施の形態１，２では、首振り角及び視線方向に基づいて、ＨＭＤ１による画像表示の有無をユーザが制御する画像表示システム１００，１０１について説明した。これに対し、実施の形態３では、ＨＭＤ１による表示領域の全体ではなく、その一部について、同様の制御を行う場合について説明する。
【０１０１】
図１２は、本発明の実施の形態３による画像表示の一例を示した図であり、ＨＭＤ１を装着してピッキング作業を行っているユーザが視認するＨＭＤ１の表示画像の一例が示されている。また、図中の（ａ）には、画像非表示中の様子が示され、（ｂ）には、画像表示中の様子が示されている。
【０１０２】
このＨＭＤ１は、ユーザが視認可能な矩形の画像表示エリア６０を有している。この画像表示エリア６０は、上部の常時表示エリア６１と、下部の情報表示エリア６２とに分割されている。
【０１０３】
常時表示エリア６１は、無線通信の電波状態、電池残量、ユーザ名、作業名などの基本的情報を表示するための表示領域であり、ＨＭＤ１への電源投入中は常時表示され、その表示の有無をユーザが制御することはできない。ただし、常時表示エリア６１は、画像表示エリア６０の周縁部に設けられた比較的狭い領域であることから、常時表示されていても、ユーザの作業効率を低下させず、また、安全性にもほとんど影響を与えない。
【０１０４】
一方、情報表示エリア６２は、作業に必要な詳細情報が表示される表示エリアであり、ユーザの首振り動作及び視線方向により、その表示の有無を制御することができる。この情報表示エリア６２は、画像表示エリア６０の大部分を占めるとともに、画像表示エリア６０の中央を含んでいるため、ユーザは、必要なときには画像を表示させ、不要なときには画像を表示させないことが望ましい。
【０１０５】
本実施の形態による画像表示システムは、ユーザの視線方向及び首振り角に基づいて、情報表示エリア６２における画像表示の有無が制御される。つまり、情報表示エリアがＨＭＤ１の画像表示エリア６０の一部の領域であれば、その一部の領域について、ユーザが表示又は非表示の制御を行うことができる。なお、ＨＭＤ１の画像表示エリアの全体が情報表示エリア６２であってもよいことは言うまでもない。
【０１０６】
なお、上記実施の形態１〜３では、画像表示システム１００，１０１が管理サーバ２を備えている場合について説明したが、本発明は、このような構成のみに限定されない。例えば、管理サーバ２の機能を胴体ユニット１Ｂ内に取り込むことにより、管理サーバ２を必要としない画像表示システムとして実現することもできる。
【０１０７】
また、胴体センサ１２を除き、胴体センサ１２の機能を頭部ユニット１Ａ内に取り込むことにより、胴体ユニット１Ｂを必要としないＨＭＤ１を実現することができる。この場合、管理サーバ２の機能も頭部ユニット１Ａ内に取り込めば、頭部ユニット１Ａのみで構成される画像表示システムを実現することができる。
【０１０８】
また、上記実施の形態では、上下左右の首振り角を検出し、ユーザの顔について、上下左右の２次元の向きを判別し、画像の表示又は非表示を制御する場合について説明したが、本発明は、このような場合のみに限定されない。例えば、左右方向の首振り角のみを検出し、ユーザの顔の左右方向の向きに基づいて、画像の表示又は非表示を制御することもできる。同様にして、上下方向の首振り角のみを検出し、ユーザの顔の上下方向の向きに基づいて、画像の表示又は非表示を制御することもできる。
【０１０９】
また、上記実施の形態では、頭部センサ１１及び胴体センサ１２が、頭部及び胴体の角速度をそれぞれ検出する場合について説明したが、本発明は、このような場合のみに限定されない。例えば、頭部及び胴体の回転角をそれぞれ検出するものであってよい。
【０１１０】
また、上記実施の形態では、ハーフミラー１４２を備えた画像表示システムについて説明したが、本発明は、この様な場合のみに限定されない。例えば、ビーム光を網膜上でスキャンさせることにより、画像を視認させるようが画像表示システムであっても、本発明を適用することができる。
【符号の説明】
【０１１１】
４２ａ〜４２ｄ 表示ゾーン
１ ＨＭＤ（ヘッドマウントディスプレイ）
１Ａ 頭部ユニット
１Ｂ 胴体ユニット
１０，２０ 通信部
１１ 頭部センサ
１２ 胴体センサ
１３ カメラ
１４ 画像表示部
１４１ 画像出力部
１４２ ハーフミラー
１５ マイクロホン
２ 管理サーバ
２１ 首振り角判別部
２２ 首振り方向判別部
２３ 視線方向判別部
２５ 音声コマンド識別部
２６ 表示制御部
３０ 眼鏡型フレーム
３１ メインモジュール
３２ 通信ケーブル
４０ 基準方向
４１ 非表示ゾーン
４２ 表示ゾーン
５ 表示開始領域
５ａ〜５ｄ 視線方向判別領域
６０ 画像表示エリア
６１ 常時表示エリア
６２ 情報表示エリア
１００，１０１ 画像表示システム
Ｃ１ 表示制御信号
Ｃ２ 表示状態信号
Ｓ１〜Ｓ４ 検出信号
θＨ，θＶ 首振り角
θＨ１，θＶ１，θＶ２ 画像表示角
ωＶ，ωＨ１，ωＨ２ 角速度
【技術分野】
【０００１】
本発明は、画像表示システムに係り、更に詳しくは、ユーザの視野内に画像を表示する画像表示部がユーザの頭部に装着された画像表示システム、例えばヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）の改良に関する。
【背景技術】
【０００２】
いわゆるヘッドマウントディスプレイ（以下、ＨＭＤという）は、ユーザの頭部に装着され、至近距離から画像を視認させる画像表示端末である。例えば、ユーザの眼の近傍にハーフミラーを配置し、液晶パネル上に表示された画像を上記ハーフミラーで反射させることにより、上記ハーフミラーを透過する外光に重畳させ、ユーザの視野内に上記画像を表示する透過型ＨＭＤが知られている。
【０００３】
ＨＭＤを用いることにより、ユーザは、移動しながら表示画像を閲覧することができる。また、一般的な携帯表示端末のように手で端末を保持し、また、閲覧時に顔を端末に向ける必要がないため、何らかの作業中であれば、その作業を中断することなく画像を閲覧することができる。このため、作業の関連情報をＨＭＤを用いて表示すれば、その作業効率を向上させることができる。例えば、倉庫内でピッキング作業を行う場合、作業者がＨＭＤを装着し、当該ＨＭＤにピッキング作業に必要な情報を表示させることにより、作業効率を向上させることができる。
【０００４】
特許文献１には、ヘリコプターのパイロットが装着するＨＭＤについて記載されている。このＨＭＤは、パイロットの頭部の向きを検出し、頭部の向きの応じた画像を表示している。このため、スイッチ操作などを必要としないハンズフリーによって表示画像を切り替えることができ、パイロットは操縦に集中することができる。また、パイロットのヘルメットだけでなく、搭乗機にもジャイロセンサを配置し、その差分を求めることにより、パイロットの頭部の向きを正確に検出している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１０３３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、ＨＭＤによる画像表示中は、表示画像にユーザの注意が引きつけられ、作業ミスが生じやすい。また、ＨＭＤは、画像を表示することにより周辺環境の視認性が低下するため、安全性確保の観点からユーザの移動中に画像表示を行うことは好ましくない。そこで、画像表示の有無を作業中のユーザが制御するように構成することが考えられる。この場合も、スイッチ操作などを行うことなく、ハンズフリーで制御できれば、作業効率を向上させることができる。
【０００７】
しかしながら、従来のＨＭＤを改良し、頭部の向きにより画像表示の有無を制御するように構成した場合、ユーザの意に反して画像表示が開始され、作業ミスを誘発し、あるいは、安全性が損なわれるおそれがある。例えば、ユーザが周辺環境を確認するために振り向いた場合に、その頭部の動きに応じてＨＭＤが画像表示を開始すれば、周辺環境の視認性が低下するとともに、表示画像にユーザの注意が引きつけられることから、ＨＭＤの利便性を著しく低下させると考えられる。
【０００８】
本発明は、上記の事情に鑑みてなされたものであり、ＨＭＤを含む画像表示システムにおいて、ユーザの意に反して、画像表示が開始されるのを抑制することを目的とする。特に、スイッチ操作などを必要とせず、ユーザの意思に基づいて画像表示を開始することができるとともに、ユーザの意に反して画像表示が開始されるのを抑制することを目的とする。
【０００９】
また、本発明は、ＨＭＤを装着して作業を行うユーザの作業効率を向上させることを目的とする。さらに、ＨＭＤを装着して移動するユーザの安全性を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
第１の本発明による画像表示システムは、ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、上記頭部に装着され、上記頭部の回転動作を検出する頭部センサと、上記ユーザの視線方向を検出する視線検出部と、上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部とを備え、上記画像表示部は、上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を開始するように構成される。
【００１１】
この様な構成によれば、情報表示エリアにおける画像表示を開始するために、ユーザは、作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像表示を開始するか否かを視線方向及び首振り角に基づいて判断することにより、ユーザの意に反して画像表示が開始され、作業効率が低下するのを防止することができる。また、不要な画像表示を抑制することにより、作業中のユーザの安全性を向上させることができる。
【００１２】
なお、頭部センサが検出するユーザの頭部の回転動作は、上下方向の回転動作であってもよいし、左右方向の回転動作であってもよい。また、情報表示エリアは、画像表示部が画像を表示する表示エリアの全体であってもよいし、上記表示エリアの一部であってもよい。
【００１３】
第２の本発明による画像表示システムは、上記構成に加えて、画像表示部が、上記首振り角が画像表示角より大きく、かつ、上記視線方向が正面方向を含まない表示開始領域内にある場合に、上記情報表示エリアにおける画像表示を開始するように構成される。
【００１４】
この様な構成により、ユーザが正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、ユーザの首振り角が画像表示角を越えた場合であっても、視線方向が表示開始領域内になければ、画像表示が開始されることはない。このため、ユーザの意に反して画像表示が開始されるのを防止することができる。
【００１５】
第３の本発明による画像表示システムは、上記構成に加えて、上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、上記画像表示部は、上記首振り角が画像表示角より大きく、かつ、上記視線方向が上記首振り方向とは反対方向である場合に、上記情報表示エリアにおける画像表示を開始するように構成される。
【００１６】
この様な構成により、ユーザが正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、ユーザの首振り角が画像表示角を越えた場合であっても、視線方向が首振り方向とは反対方向でなければ、画像表示が開始されることはない。一般に、視線方向と首振り方向が互いに反対方向になるという動作は、意識的に行わなければ生じない不自然な動作であるため、この様な条件に基づいて画像表示を開始することにより、ユーザの意に反して画像表示が開始されるのを防止することができる。
【００１７】
第４の本発明による画像表示システムは、上記構成に加えて、上記ユーザの胴体に装着され、上記胴体の回転動作を検出する胴体センサを備え、上記首振り角判別部は、上記頭部センサ及び上記胴体センサの検出結果に基づいて左右方向に関する上記首振り角を求める。
【００１８】
この様な構成により、頭部センサによって検出された頭部の左右方向の回転動作から、胴体の左右方向の回転動作を除去することにより、左右方向の首振り動作を正確に検出することができる。このため、頭部センサの検出結果のみを用いる場合に比べて、ユーザの左右方向の首振り角を精度よく求めることができ、ユーザの意に反して画像表示が開始されるのを防止することができる。
【００１９】
第５の本発明による画像表示システムは、上記構成に加えて、上記首振り角判別部が、上記頭部センサの検出結果に基づいて上下方向に関する上記首振り角を求めるように構成される。
【００２０】
この様な構成により、首振り角が画像表示角よりも大きくなるように、ユーザが頭部を上下方向に回転させることにより、情報表示エリアにおける画面表示を開始させることができる。
【００２１】
第６の本発明による画像表示システムは、上記構成に加えて、上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、上記画像表示部が、上記首振り方向に応じた画像を表示するように構成される。
【００２２】
この様な構成により、ユーザは首振り方向を選択することにより、情報表示エリアに表示される画像を選択することができる。
【００２３】
第７の本発明による画像表示システムは、上記構成に加えて、上記視線検出部が、上記ユーザの眼を撮影する撮影部と、撮影された画像内における瞳の位置を判別する瞳位置判別部とを有し、上記瞳の位置により視線方向を求めるように構成される。この様な構成により、ユーザの視線方向を検出することができる。
【００２４】
第８の本発明による画像表示システムは、上記構成に加えて、上記画像表示部が、上記画像を出力する画像出力部と、上記ユーザの眼の近傍に配置されたハーフミラーとを備え、上記ハーフミラーを透過した外光に対し、上記ハーフミラーで反射した上記画像出力部からの出射光が重畳され、上記眼に入射されるように構成される。
【００２５】
このような構成により、普通に視認できる周辺環境に対し、画像表示を重畳させて表示することにより、画像表示中も周辺環境をある程度視認することができる。これに加えて、不要な画像表示を抑制することにより、ユーザは、周辺環境に注意を向けることができるとともに、周辺環境がより視認しやすくなる。このため、作業効率を向上させるとともに、作業中のユーザの安全性を向上させることができる。
【００２６】
第９の本発明による画像表示システムは、上記構成に加えて、上記ユーザの音声が入力されるマイクロホンと、上記情報表示エリアにおける画像表示中に入力された上記音声から音声コマンドを識別し、入力信号を生成する音声コマンド識別部とを備え、上記情報表示エリアにおける画像非表示中に入力された上記音声から上記入力信号を生成しないように構成される。
【００２７】
この様な構成により、情報表示エリア内に画像が表示されていれば、音声コマンドを受け付け、画像が表示されていない場合には、音声コマンドを受け付けないようにすることができる。通常、ユーザは画像表示を見て音声コマンドを入力することから、画像表示されていない場合に、音声コマンドを受け付けないようにすれば、作業中の雑音などが音声コマンドとして誤認識されるのを防止できる。
【００２８】
第１０の本発明による画像表示システムは、互いに無線通信可能な携帯表示端末及び表示制御装置からなる画像表示システムであって、上記携帯表示端末は、ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、上記頭部の回転動作を検出する頭部センサと、上記ユーザの視線方向を検出する視線検出部とを備え、上記表示制御装置は、上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部と、上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を制御するための表示制御信号を生成する表示制御部とを備え、上記画像表示部は、上記表示制御信号に基づいて、上記情報表示エリアにおける画像表示を開始するように構成される。
【発明の効果】
【００２９】
本発明による画像表示システムによれば、視線方向及び上記首振り角に基づいて、ユーザの視野内の情報表示エリアにおける画像表示が開始される。このため、情報表示エリアに画像を表示させたい場合に、ユーザが作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像表示を開始するか否かを首振り角のみに基づいて判断する場合に比べて、ユーザの意に反して画像表示が開始され、作業効率が低下するのを防止することができる。また、不要な画像表示を抑制することにより、作業中のユーザの安全性を向上させることができる。
【００３０】
また、本発明による画像表示システムによれば、首振り角が画像表示角より大きく、かつ、視線方向が正面方向を含まない表示開始領域内にある場合に、情報表示エリアにおける画像表示部が開始される。このため、ユーザの頭部が正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、視線方向が表示開始領域内になければ、画像表示が開始されることはなく、ユーザの意に反して画像表示が開始されるのを防止することができる。
【００３１】
また、本発明による画像表示システムによれば、首振り角が画像表示角より大きく、かつ、視線方向が首振り方向とは反対方向である場合に、情報表示エリアにおける画像表示が開始される。このため、ユーザの頭部が正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、不自然な動作に基づいて画像表示を開始することにより、ユーザの意に反して画像表示が開始されるのを防止することができる。
【００３２】
また、本発明による画像表示システムによれば、情報表示エリア内に画像が表示されていれば、音声コマンドを受け付け、画像が表示されていない場合には、音声コマンドを受け付けない。このため、作業中の雑音などが音声コマンドとして誤認識されるのを防止できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態１による画像表示システム１００の一構成例を示したシステム図である。
【図２】図１の頭部ユニット１Ａを後方から見た様子を示した外観図である。
【図３】図１の画像表示システム１００の機能構成の一例を示したブロック図である。
【図４】図３の首振り角判別部２１における判別処理についての説明図である。
【図５】画像表示が行われる首振り角の範囲をユーザから見た仮想的な領域として示した説明図である。
【図６】視線方向の判別処理に用いられる表示開始領域５の一例を示した図である。
【図７】表示制御処理の一例を示したフローチャートである。
【図８】音声入力処理の一例を示したフローチャートである。
【図９】本発明の実施の形態２による画像表示システム１０１の機能構成の一例を示したブロックである。
【図１０】本発明の実施の形態２による視線方向判別処理についての説明図である。
【図１１】図９の画像表示システム１０１における表示制御処理の一例を示したフローチャートである。
【図１２】本発明の実施の形態３による画像表示の一例を示した図である。
【発明を実施するための形態】
【００３４】
実施の形態１．
図１は、本実施の形態による画像表示システム１００の一構成例を示した図であり、図２は、図１の頭部ユニット１Ａを後方から見た様子を示した外観図である。この画像表示システム１００は、ユーザが装着するＨＭＤ１と、無線通信を介してＨＭＤ１に接続された管理サーバ２とからなる。
【００３５】
ＨＭＤ１は、ユーザの身体に装着され、管理サーバ２から受信した画像を至近距離からユーザの視野内に表示する携帯表示端末である。また、ユーザの視線方向や首振り動作を検出し、検出信号を管理サーバ２へ送信する。管理サーバ２は、これらの検出信号を受信し、ＨＭＤ１の表示制御を行っている。つまり、管理サーバ２は、ＨＭＤ１からの検出信号に基づいて、画像表示を行うか否かを判別し、画像表示を行う場合には、画像データを含む表示制御信号をＨＭＤ１へ送信し、ＨＭＤ１が当該画像データに基づく画像表示を行う。
【００３６】
この画像表示は、ユーザの視線方向及び首振り角が一定条件を満たしたときに開始される。このため、作業を中断してスイッチ操作などを行わなくても、必要なときに画像表示を開始させることができる。しかも、視線方向の条件と首振り角の条件をともに満たしたときに画像表示が開始されるため、ユーザの意に反して画像表示が開始されるのを抑制することができる。
【００３７】
本実施の形態では、ユーザの視線方向が表示開始領域内にあり、かつ、ユーザの首振り角が画像表示角を越えた場合に、ＨＭＤ１による画像表示が開始される。このため、ユーザの首振り動作のみに基づいて画像表示を開始する場合に比べて、ユーザの意に反して画像表示が開始されるのをより効果的に抑制することができる。
【００３８】
ＨＭＤ１は、ユーザの頭部に装着される頭部ユニット１Ａと、ユーザの胴体に装着される胴体ユニット１Ｂとによって構成される。ここでは、頭部ユニット１Ａ及び胴体ユニット１Ｂが、通信ケーブル３２を介して互いに接続されている場合について説明するが、Ｂｌｕｅｔｏｏｔｈなどの無線通信回線を介して互いに接続されていてもよい。
【００３９】
頭部ユニット１Ａは、眼鏡型フレーム３０、メインモジュール３１、ハーフミラー１４２及びマイクロホン１５からなる。眼鏡型フレーム３０は、一般的な眼鏡と同様の形状からなり、頭部ユニット１Ａをユーザの頭部に装着する装着手段である。この眼鏡型フレーム３０には、カメラ１３、マイクロホン１５、メインモジュール３１及びハーフミラー１４２が取り付けられている。
【００４０】
カメラ１３は、ユーザの視線方向を検出するためにユーザの眼を撮影する視線検出部であり、眼鏡型フレーム３０のレンズフレームのユーザ側に配置されている。例えば、ＣＣＤカメラやＣＭＯＳイメージセンサをカメラ１３として用いることができる。このカメラ１３が出力する撮影画像内における瞳の位置を識別することにより、ユーザの視線方向を判別することができる。
【００４１】
マイクロホン１５は、ユーザの音声を入力するための音声入力部である。マイクロホン１５に音声が入力されると、当該音声に含まれる音声コマンドが識別される。このため、ユーザは、スイッチ操作などを行うことなく、入力を行うことができる。
【００４２】
メインモジュール３１は、ユーザの左眼の近傍に配置されている。このメインモジュール３１には、画像出力部１４１及び頭部センサ１１が内蔵されている。画像出力部１４１は、管理サーバ２から受信した画像データに基づいて画像を出力する画像出力部であり、例えば、液晶パネルが用いられる。頭部センサ１１は、ユーザの頭部の上下方向及び左右方向の回転動作を検出するためのセンサであり、例えば、周知のジャイロセンサが用いられる。
【００４３】
ハーフミラー１４２は、メインモジュール３１に取り付けられ、ユーザの左眼の視野内に配置されている。ユーザの周辺環境から入射する外光は、その一部がハーフミラー１４２を透過し、ユーザの左眼に入射する。また、画像出力部１４１からの出力光は、ハーフミラー１４２で反射され、ユーザの左眼に入射する。つまり、外光及び出力光がともにユーザの眼に入射され、画像出力部１４１の画像は、外光に重畳されてユーザの視野内に表示される。ただし、一般に、ＨＭＤ１による画像表示中は、周辺環境の視認性は著しく低下する。
【００４４】
胴体ユニット１Ｂは、通信ケーブル３２を介して頭部ユニット１Ａと接続され、頭部ユニット１Ａを制御するコントローラであり、例えば、ユーザのウエストに装着される。この胴体ユニット１Ｂは、管理サーバ２と通信するためのアンテナが設けられているとともに、胴体センサ１２が内蔵されている。
【００４５】
胴体センサ１２は、ユーザの胴体の左右方向の回転動作を検出するためのセンサであり、例えば、周知のジャイロセンサが用いられる。頭部センサ１１が検出した左右方向の回転動作と、胴体センサ１２が検出した左右方向の回転動作とを用いることにより、左右方向に関するユーザの首振り角を正確に判別することができる。
【００４６】
図３は、図１の画像表示システム１００の機能構成の一例を示したブロック図であり、ＨＭＤ１及び管理サーバ２の詳細構成例が示されている。ＨＭＤ１は、通信部１０、頭部センサ１１、胴体センサ１２、カメラ１３、画像表示部１４及びマイクロホン１５からなる。また、管理サーバ２は、通信部２０、首振り角判別部２１、首振り方向判別部２２、視線方向判別部２３、音声コマンド識別部２５及び表示制御部２６からなる。
【００４７】
通信部１０，２０は、無線通信を行うための通信手段であり、ＨＭＤ１及び管理サーバ２は、無線通信回線を介して接続されている。例えば、管理サーバ２が無線ＬＡＮのアクセスポイントに接続され、ＨＭＤ１が当該アクセスポイントとの間で無線通信を行うことにより、ＨＭＤ１及び管理サーバ２が、無線ＬＡＮを介して互いに接続されるように構成される。ここでは、通信部１０，２０を介して、検出信号Ｓ１〜Ｓ４が、ＨＭＤ１から管理サーバ２へ送信され、表示制御信号Ｃ１が、管理サーバ２からＨＭＤ１へ送信されるものとする。
【００４８】
頭部センサ１１は、ユーザの頭部の回転動作を検出し、検出信号Ｓ１を出力する。ここでは、２個のジャイロセンサを用いて、上下方向の回転動作の角速度ωＶと、左右方向の回転動作の角速度ωＨ１とを求め、これらの角速度ωＶ，ωＨ１を含む検出信号Ｓ１を生成している。
【００４９】
胴体センサ１２は、ユーザの胴体の回転動作を検出し、検出信号Ｓ２を出力する。ここでは、１個のジャイロセンサを用いて、左右方向の回転運動の角速度ωＨ２を求め、この角速度ωＨ２を含む検出信号Ｓ２を生成している。
【００５０】
カメラ１３は、ユーザの眼を撮影し、撮影画像を含む検出信号Ｓ３を出力する。画像表示部１４は、画像出力部１４１及びハーフミラー１４２からなり、表示制御部２６からの表示制御信号Ｃ１に基づいて、画像出力部１４１が画像を生成し、ハーフミラー１４２が、当該画像をユーザの視野内に表示する。マイクロホン１５は、ユーザの音声を電気信号に変換し、音声信号を含む検出信号Ｓ４を生成する。
【００５１】
首振り角判別部２１は、検出信号Ｓ１，Ｓ２に基づいてユーザの首振り角を求め、これらの首振り角を予め定められた画像表示角と比較する。この画像表示システム１００では、首振り角が画像表示角よりも大きな首振り動作が行われたことが画像表示の条件となっている。このため、首振り角判別部２１は、この開始条件が成立しているか否かを判別し、判別結果を表示制御部２６へ出力する。
【００５２】
首振り角は、ユーザの顔の正面方向が基準方向に対してなす角度であり、首振り角判別部２１は、上下方向及び左右方向の首振り角θＶ，θＨをそれぞれ求めている。
【００５３】
上下方向の首振り角θＶは、鉛直面内において顔の正面方向が基準方向に対してなす角度として定義される。ここでは、水平方向を基準方向とし、顔の正面方向が水平方向に対してなす角度が、上下方向の首振り角θＶとして求められるものとする。このような上下方向の首振り角θＶは、頭部センサ１１が検出した上下方向の角速度ωＶを積分することによって求められる。なお、頭部センサ１１が角度センサであれば、上下方向の首振り角θＶが、頭部センサ１１によって直接求められる。
【００５４】
また、左右方向の首振り角θＨは、水平面内において顔の正面方向が基準方向に対してなす角度として定義される。ここでは、ユーザの胴体の正面方向を基準方向とし、顔の正面方向が胴体の正面方向に対してなす角度が、左右方向の首振り角θＨとして求められるものとする。このような左右方向の首振り角θＨは、頭部センサ１１が検出した左右方向の角速度ωＶ１と、胴体センサ１２が検出した左右方向の角速度ωＶ２との差を積分することによって求められる。
【００５５】
首振り方向判別部２２は、検出信号Ｓ１，Ｓ２に基づいてユーザの首振り方向を判別する。この画像表示システム１００では、首振り方向に応じた画像が表示される。このため、首振り方向判別部２２は、首振り方向を判別し、この判別結果を表示制御部２６へ出力する。ここでは、上下左右の４方向のうち、いずれの方向へ首が振られているのかが、首振り方向判別部２２によって判別される。このような判別は、首振り角判別部２１が求めた上下方向の首振り角θＶと、左右方向の首振り角θＨとの絶対値を比較することにより行うことができる。
【００５６】
視線方向判別部２３は、カメラ１３からの検出信号Ｓ３に基づいて、ユーザの視線方向が、画像表示の開示条件を満足しているか否かを判別する。この画像表示システム１００では、視線方向が予め定められた表示開始領域内であることが画像表示の開始条件となっている。このため、視線方向判別部２３は、ユーザの視線方向を求め、当該視線方向が表示開始領域内であるか否かを判別し、この判別結果を表示制御部２６へ出力する。ここでは、カメラ１３の撮影画像からユーザの瞳の画像を識別し、撮影画像内における瞳の位置に基づいて、ユーザの視線方向が求められるものとする。
【００５７】
音声コマンド識別部２５は、マイクロホン１５からの検出信号Ｓ４に基づいて入力信号を生成している。この画像表示システム１００では、画像表示中に音声が入力された場合、当該音声から音声コマンドを抽出し、音声コマンドに対応する入力処理が行われる。このため、音声コマンド識別部２５は、検出信号Ｓ４が入力されると、マイクロホン１５からの音声信号に含まれる音声コマンドを識別し、当該音声コマンドに対応する入力信号を生成する。例えば、音声コマンドの特徴データが予め与えられており、音声信号について当該特徴データとのマッチングを行うことにより、音声信号から音声コマンドを抽出し、当該音声コマンドに対応する入力信号を生成する。
【００５８】
ただし、このような音声コマンドの識別処理は、画像表示中に入力された音声について行われ、画像の非表示中に入力された音声については行われない。一般に、音声入力が行われるのは画像表示中であるため、画像非表示中に音声入力を受け付けないことにより、ユーザの音声以外のノイズが音声コマンドとして誤認識されるのを防止することができる。ここでは、音声コマンド識別部２５が、表示状態信号Ｃ２に基づいて、音声コマンドの識別処理を行っているものとする。表示状態信号Ｃ２は、画像表示中であるか否かを示す信号であり、表示制御部２６によって生成される。
【００５９】
表示制御部２６は、表示制御信号Ｃ１を出力し、画像表示部１４による画像表示を制御する。この表示制御部２６は、首振り方向判別部２２の判別結果に基づいて、ユーザの首振り方向に予め対応づけられた画像を表示画像として選択する。このため、ユーザの首振り方向に対応する画像が、画像表示部１４によって表示される。また、音声コマンド識別部２５からの入力信号に基づいて、画像表示が行われる。例えば、ユーザが表示画像を指定する音声コマンドを入力した場合、表示制御部２６は、指定された画像をＨＭＤ１の表示画像として選択する。
【００６０】
さらに、画像が表示されていないが画像非表示中であれば、表示制御部２６は、首振り角判別部２１及び視線方向判別部２３の判別結果に基づいて画像表示を開始する。このため、画像の非表示状態では、ユーザの首振り角及び視線方向が所定条件を満たすことにより、画像表示部１４による画像表示が開始される。
【００６１】
一方、画像が表示されている画像表示中であれば、表示制御部２６が、首振り角判別部２１の判別結果に基づいて画像表示を終了する。つまり、ユーザの首振り角が画像表示角よりも小さくなれば、直ちに画像表示を終了し、あるいは、一定時間の経過後に画像表示を終了する。
【００６２】
図４は、図３の首振り角判別部２１における判別処理についての説明図であり、図中の（ａ）には、ＨＭＤ１を装着したユーザを上から見た場合の様子が示され、図中の（ｂ）には、ユーザを右から見た場合の様子が示されている。図中のハッチングを付した領域は、ユーザの首振り角θＨ，θＶが、画像表示角θＨ１，θＶ１，θＶ２を越える領域であり、ＨＭＤ１による画像表示が行われる領域である。
【００６３】
首振り角判別部２１は、左右方向の首振り角θＨの絶対値を画像表示角θＨ１と比較し、左方向又は右方向に画像表示角θＨ１よりも大きな首振りが行われた否かを判別する。例えば、画像表示角θＨ１が４０°である場合、胴体正面の基準方向を挟んで８０°の角度範囲内では画像表示が行われず、左右いずれかに４０°以上の首振りが行われていれば画像表示が行われる。一般に、左右方向の首振りの限界角度は約６０°であるため、画像表示角θＨ１が４０°であれば、限界角度までに約２０°のマージンがあり、ユーザは、左方向又は右方向のいずれかに４０〜６０°の角度範囲で首振りを行えば、画像を表示させることができる。
【００６４】
また、首振り角判別部２１は、上下方向の首振り角θＶを画像表示角θＶ１，θＶ２と比較し、上方向の画像表示角θＶ１又は下方向の画像表示角θＶ２よりも大きな首振りが行われた否かを判別する。例えば、上方向の画像表示角θＶ１が３０°、下方向の画像表示角θＶ２が４０°である場合、水平方向を挟んで７０°の角度範囲内では画像表示が行われず、上方向に３０°以上あるいは下方向に４０°以上の首振りが行われていれば画像表示が行われる。一般に、上下方向の首振りの限界角度は上方向が下方向よりも狭い。このため、ここでは、上方向の画像表示角θＶ１と下方向の画像表示角θＶ２とを異ならせている。
【００６５】
なお、本実施の形態では、左方向及び右方向の画像表示角θＨ１を一致させる場合の例について説明するが、作業中のユーザの動作等を考慮し、これらの画像表示角θＨ１を互いに異ならせることもできる。また、ここでは、上方向及び下方向の画像表示角θＶ１，θＶ２を互いに異ならせる場合の例について説明するが、必要に応じて一致させることもできる。
【００６６】
図５は、画像表示が行われる首振り角の範囲をユーザから見た仮想的な領域として示した説明図であり、図４の（ａ）及び（ｂ）を組み合わせて３次元的に示した図に相当する。
【００６７】
図中の基準方向４０は、首振りを行っていないときのユーザの正面方向、つまり、左右方向が胴体の正面方向であって、上下方向が水平方向となる方向である。非表示ゾーン４１は、ユーザが顔を向けた場合に、ＨＭＤ１による画像表示を終了させる仮想領域であり、表示ゾーン４２は、ユーザが顔を向けた場合に、ＨＭＤ１による画像表示を継続させ、あるいは、視線方向の条件を満たせば、ＨＭＤ１による画像表示を開始させる仮想領域であり、ハッチングを付して示されている。
【００６８】
非表示ゾーン４１は、基準方向４０を含む矩形領域からなる。この矩形領域の高さは、上下方向の画像表示角の和（θＶ１＋θＶ２）に相当し、幅は左右方向の画像表示角の和２θＨ１に相当する。
【００６９】
一方、表示ゾーン４２は、非表示ゾーン４１の周囲に形成された矩形枠領域である。また、表示ゾーン４２は、首振り方向が異なる４つの表示ゾーン４２ａ〜４２ｄからなる。すなわち、首振り方向が、４２ａは左方向、４２ｂは右方向、４２ｃは上方向、４２ｄは下方向である場合の表示ゾーンであり、ユーザの首振り方向に応じた画像が表示される。
【００７０】
図６は、視線方向の判別処理に用いられる表示開始領域５の一例を示した図である。この図では、表示開始領域５が、左レンズ内の左下の領域として示されている。視線方向判別部２３は、ユーザの視線方向が、表示開始領域５内にあるか否かを判別している。視線方向が表示開始領域５内になければ、画像表示の開始条件が成立せず、視線方向が表示開始領域５内にあれば、画像表示の開始条件が成立する。なお、ここでは、表示開始領域５が、左レンズ内の左下の領域である場合の例を示したが、表示開始領域５は、少なくとも正面方向を含まない予め定められた領域であればよく、任意に定めることができる。
【００７１】
図７のステップＳ１０１〜Ｓ１０８は、図３の画像表示システム１００における表示制御処理の一例を示したフローチャートである。この表示制御処理は、ユーザの頭部の回転動作が検出された場合に開始される処理であり、頭部センサ１１又は胴体センサ１２からの検出信号Ｓ１，Ｓ２に基づいて実行される。
【００７２】
まず、首振り角判別部２１が、検出信号Ｓ１，Ｓ２に基づいて、左右方向の首振り角θＨと、上下方向の首振り角θＶを求める（ステップＳ１０１）。次に、首振り角判別部２１は、求められた首振り角θＨ，θＶに基づいて、ユーザの顔が非表示ゾーン４１又は表示ゾーン４２のいずれを向いているのかを判別する（ステップＳ１０２）。すなわち、左右方向の首振り角θＨの絶対値を左右方向の画像表示角θＨ１と比較するとともに、上下方向の首振り角θＶを左右方向の画像表示角θＶ１，θＶ２と比較する。その結果、首振り角θＨ，θＶのいずれかが画像表示角よりも大きければ、ユーザの顔は表示ゾーン４２内を向いていると判断する。一方、首振り角θＨ，θＶがいずれも画像表示角以下であれば、ユーザの顔が非表示ゾーン４１内を向いていると判断する。
【００７３】
その結果、ユーザの顔が非表示ゾーン４１内を向いていると判断すれば、画像を非表示にして当該表示制御処理を終了する（ステップＳ１０３）。つまり、ユーザの首振り角が、画像表示角よりも小さければ、画像表示を終了する。
【００７４】
一方、ステップＳ１０２において、ユーザの顔が表示ゾーン４２内を向いていると判断した場合、ＨＭＤ１の表示状態に基づいて動作が異なる（ステップＳ１０４）。すなわち、既に画像が表示されている画像表示中であれば、ステップＳ１０７へ進む。一方、画像が表示されていない画像非表示中であれば、ステップＳ１０５へ進み、画像表示の開始条件として視線方向の判別処理が行われる。
【００７５】
ＨＭＤ１が画像非表示中であった場合、視線方向判別部２３が、カメラ１３からの検出信号Ｓ３に基づいて、ユーザの視線方向が求められる（ステップＳ１０５）。次に、視線方向判別部２３は、求められた視線方向が、表示開始領域５内であるか否かを判別する（ステップＳ１０６）。
【００７６】
その結果、ユーザの視線方向が表示開始領域５外であると判別すれば、当該表示制御処理を終了する。つまり、画像表示は開始されず、ＨＭＤ１は非表示状態を維持する。一方、ユーザの視線方向が表示開始領域５内であると判別すれば、この判別結果に基づいて、表示制御部２６が、画像表示を開始するための表示制御信号を生成し、ＨＭＤ１は、画像非表示状態から画像表示状態へ移行する。
【００７７】
ステップＳ１０４において画像表示中であった場合、あるいは、ステップＳ１０６において視線方向が表示開始領域５内であった場合、首振り方向判別部２２により、ユーザの首振り方向が判別される（ステップＳ１０７）。例えば、ユーザが首を振った方向が、上下左右の４方向のうち、いずれの方向であるのかが判別される。この判別結果に基づいて、表示制御部２６は、首振り方向に対応する画像データを選択し、当該画像データを含む表示制御信号Ｃ１を生成し、この表示制御信号Ｃ１に基づいて、画像表示部１４が、首振り方向に対応する画像表示を行う（ステップＳ１０８）。
【００７８】
図８のステップＳ２０１〜Ｓ２０４は、図１の画像表示システム１００における音声入力処理の一例を示したフローチャートである。この音声入力処理は、ユーザが音声入力を行った場合に開始される処理であり、マイクロホン１５からの検出信号Ｓ４に基づいて実行される。
【００７９】
マイクロホン１５に音声が入力された場合、ＨＭＤ１の表示状態に基づいて動作が異なる（ステップＳ２０１）。すなわち、画像非表示中であれば、何も行わずに当該音声入力処理を終了する。つまり、画像非表示中における音声入力は受け付けられない。
【００８０】
一方、画像表示中であった場合、音声コマンド識別部２５が、音声信号に含まれる音声コマンドを識別する。すなわち、音声信号に予め定められた音声コマンドが含まれているか否かを判別する（ステップＳ２０２）。その結果、音声コマンドが識別できなかった場合には、処理を終了する（ステップＳ２０３）。
【００８１】
ステップＳ２０３において、音声信号から音声コマンドを抽出することができた場合、音声コマンド識別部２５は、当該音声コマンドに対応する入力信号を生成し、当該音声入力処理を終了する（ステップＳ２０４）。例えば、識別された音声コマンドが表示制御のための入力であれば、当該入力信号は表示制御部２６へ出力される。また、識別された音声コマンドが表示制御以外の入力であれば、図示しないその他の制御部へ出力される。
【００８２】
本実施の形態による画像表示システム１００では、ユーザの頭部に装着された頭部センサ１１がユーザの頭部の回転動作を検出し、首振り角判別部２１が、この検出結果に基づいて、ユーザの首振り角を求めている。また、ユーザの頭部に装着されたカメラ１３の撮影画像を用いて、視線方向判別部２３が、ユーザの視線方向を検出している。そして、これらの検出結果に基づいて、ＨＭＤ１による画像表示が開始される。
【００８３】
このため、画像表示を開始するために、ユーザは、作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像表示を開始するか否かを視線方向及び首振り角に基づいて判断することにより、ユーザの意に反して画像表示が開始され、作業効率が低下するのを防止することができる。また、不要な画像表示を抑制することにより、作業中のユーザの安全性を向上させることができる。
【００８４】
また、本実施の形態による画像表示システム１００では、首振り角判別部２１が、ユーザの首振り角を画像表示角と比較し、首振り角が画像表示角よりも大きいか否かを判別している。また、視線方向判別部２３により、視線方向がユーザの顔の正面方向を含まない表示開始領域５内であるか否かが判別される。そして、これらの検出結果に基づいて画像表示が開始される。
【００８５】
このため、ユーザが正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、ユーザの首振り角が画像表示角よりも大きい場合であっても、視線方向が表示開始領域内になければ、画像表示が開始されることはなく、ユーザの意に反して画像表示が開始されるのを抑制することができる。
【００８６】
また、本実施の形態による画像表示システム１００では、ユーザの胴体に装着された胴体センサ１２がユーザの胴体の回転動作を検出し、首振り角判別部２１が、頭部センサ１１及び胴体センサ１２の検出結果に基づいて、左右方向の首振り角を求めている。
【００８７】
このため、頭部センサ１１の検出結果のみを用いる場合に比べて、左右方向の首振り角を正確に検出することができ、ユーザの意に反して画像表示が開始されるのを抑制することができる。
【００８８】
また、本実施の形態による画像表示システム１００では、マイクロホン１５が、ユーザの音声を音声信号に変換し、音声コマンド識別部２５が、画像表示中に入力された音声信号に含まれる音声コマンドを識別し、この識別結果に基づいて入力信号を生成している。しかも、画像非表示中に音声入力が行われても入力信号は生成されず、画像非表示中における音声入力は受け付けていない。
【００８９】
このため、入力を行うために、ユーザは、作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像非表示中における音声入力を受け付けないため、ノイズなどを音声コマンドとして誤認識するのを抑制することができる。
【００９０】
実施の形態２．
実施の形態１では、首振り角が画像表示角よりも大きく、かつ、視線方向が表示開始領域５内にある場合に、画像表示を開始する画像表示システム１００について説明した。これに対し、本実施の形態では、首振り角が画像表示角よりも大きく、かつ、視線方向が首振り方向とは反対方向である場合に、画像表示を開始する画像表示システム１０１について説明する。なお、実施の形態２による画像表示システム１０１の基本的構成は、実施の形態１による画像表示システム１００の場合と同様であるため、ここでは、両者の相違点について説明する。
【００９１】
図９は、本発明の実施の形態２による画像表示システム１０１の機能構成の一例を示したブロックである。実施の形態１による画像表示システムの構成（図３）と比較すれば、首振り方向判別部２２による首振り方向の判別結果が視線方向判別部２３へ入力されている点で異なる。
【００９２】
視線方向判別部２３は、ユーザの視線方向が首振り方向と反対方向であるか否かを判別している。ここでは、首振り方向判別部２２が、首振り方向が上下左右の４方向のいずれであるのかを判別しているため、視線方向判別部２３も、視線方向が上下左右の４方向のうち、いずれの方向であるのかを判別する。そして、判別された視線方向を首振り方向と比較することにより、互いに反対方向であるのか否かを判別している。
【００９３】
図１０は、本発明の実施の形態２による視線方向判別処理についての説明図である。図中には、４つの視線方向判別領域５ａ〜５ｄが、左レンズ内の一部の領域として示されている。視線方向判別部２３は、ユーザの視線方向が視線方向判別領域５ａ内にあれば、視線方向が左方向であると判別する。同様にして、視線方向判別領域５ｂ，５ｃ，５ｄ内にあれば、それぞれ右方向、上方向、下方向であると判別する。この様にして視線方向が上下左右のいずれであるのかが判別できれば、この判別結果を首振り方向と比較することにより、互いに反対方向であるか否かを判別することができる。なお、方向判別部５ａ〜５ｄのいずれにも属していない場合には、正面方向であると判別され、首振り方向と反対方向ではないと判断される。
【００９４】
図１１のステップＳ３０１〜Ｓ３０８は、図９の画像表示システム１０１における表示制御処理の一例を示したフローチャートである。このフローチャートは、ステップＳ３０４，Ｓ３０６及びＳ３０７を除き、図７のフローチャートと同様である。
【００９５】
ステップＳ３０２において、ユーザの顔が表示ゾーン４２内を向いていると判断された場合、首振り方向判別部２２が、ユーザの首振り方向を判別する（ステップＳ３０４）。例えば、ユーザが首を振った方向が、上下左右の４方向のうち、いずれの方向であるのかを判別する。
【００９６】
次に、ＨＭＤ１が画像表示中である場合には、ＨＭＤ１の表示画像が、首振り方向に対応する画像に切り替えられ、当該表示制御処理を終了する（ステップＳ３０５，Ｓ３０８）。
【００９７】
一方、ＨＭＤ１が画像非表示中である場合には、視線方向判別部２３が、ユーザの視線方向が上下左右の４方向のうち、いずれの方向であるのかを判別する（ステップＳ３０６）。そして、判別された視線方向が首振り方向と反対方向であるのかを判別する（ステップＳ３０７）。
【００９８】
その結果、視線方向が首振り方向と反対方向でないと判別すれば、当該表示制御処理を終了する。つまり、画像表示は開始されず、ＨＭＤ１は非表示状態を維持する。一方、ユーザの視線方向が首振り方向と反対方向であると判別すれば、この判別結果に基づいて、表示制御部２６が、画像表示を開始するための表示制御信号Ｃ１を生成し、ＨＭＤ１は、画像非表示状態から画像表示状態へ移行する。
【００９９】
本実施の形態による画像表示システムでは、首振り角が画像表示角より大きく、かつ、視線方向が首振り方向とは反対方向である場合に、画像表示が開始される。一般に、視線方向と首振り方向が互いに反対方向になるという動作は、意識的に行わなければ生じない不自然な動作であるため、この様な条件に基づいて画像表示を開始することにより、ユーザの意に反して画像表示が開始されるのを防止することができる。
【０１００】
実施の形態３．
上記実施の形態１，２では、首振り角及び視線方向に基づいて、ＨＭＤ１による画像表示の有無をユーザが制御する画像表示システム１００，１０１について説明した。これに対し、実施の形態３では、ＨＭＤ１による表示領域の全体ではなく、その一部について、同様の制御を行う場合について説明する。
【０１０１】
図１２は、本発明の実施の形態３による画像表示の一例を示した図であり、ＨＭＤ１を装着してピッキング作業を行っているユーザが視認するＨＭＤ１の表示画像の一例が示されている。また、図中の（ａ）には、画像非表示中の様子が示され、（ｂ）には、画像表示中の様子が示されている。
【０１０２】
このＨＭＤ１は、ユーザが視認可能な矩形の画像表示エリア６０を有している。この画像表示エリア６０は、上部の常時表示エリア６１と、下部の情報表示エリア６２とに分割されている。
【０１０３】
常時表示エリア６１は、無線通信の電波状態、電池残量、ユーザ名、作業名などの基本的情報を表示するための表示領域であり、ＨＭＤ１への電源投入中は常時表示され、その表示の有無をユーザが制御することはできない。ただし、常時表示エリア６１は、画像表示エリア６０の周縁部に設けられた比較的狭い領域であることから、常時表示されていても、ユーザの作業効率を低下させず、また、安全性にもほとんど影響を与えない。
【０１０４】
一方、情報表示エリア６２は、作業に必要な詳細情報が表示される表示エリアであり、ユーザの首振り動作及び視線方向により、その表示の有無を制御することができる。この情報表示エリア６２は、画像表示エリア６０の大部分を占めるとともに、画像表示エリア６０の中央を含んでいるため、ユーザは、必要なときには画像を表示させ、不要なときには画像を表示させないことが望ましい。
【０１０５】
本実施の形態による画像表示システムは、ユーザの視線方向及び首振り角に基づいて、情報表示エリア６２における画像表示の有無が制御される。つまり、情報表示エリアがＨＭＤ１の画像表示エリア６０の一部の領域であれば、その一部の領域について、ユーザが表示又は非表示の制御を行うことができる。なお、ＨＭＤ１の画像表示エリアの全体が情報表示エリア６２であってもよいことは言うまでもない。
【０１０６】
なお、上記実施の形態１〜３では、画像表示システム１００，１０１が管理サーバ２を備えている場合について説明したが、本発明は、このような構成のみに限定されない。例えば、管理サーバ２の機能を胴体ユニット１Ｂ内に取り込むことにより、管理サーバ２を必要としない画像表示システムとして実現することもできる。
【０１０７】
また、胴体センサ１２を除き、胴体センサ１２の機能を頭部ユニット１Ａ内に取り込むことにより、胴体ユニット１Ｂを必要としないＨＭＤ１を実現することができる。この場合、管理サーバ２の機能も頭部ユニット１Ａ内に取り込めば、頭部ユニット１Ａのみで構成される画像表示システムを実現することができる。
【０１０８】
また、上記実施の形態では、上下左右の首振り角を検出し、ユーザの顔について、上下左右の２次元の向きを判別し、画像の表示又は非表示を制御する場合について説明したが、本発明は、このような場合のみに限定されない。例えば、左右方向の首振り角のみを検出し、ユーザの顔の左右方向の向きに基づいて、画像の表示又は非表示を制御することもできる。同様にして、上下方向の首振り角のみを検出し、ユーザの顔の上下方向の向きに基づいて、画像の表示又は非表示を制御することもできる。
【０１０９】
また、上記実施の形態では、頭部センサ１１及び胴体センサ１２が、頭部及び胴体の角速度をそれぞれ検出する場合について説明したが、本発明は、このような場合のみに限定されない。例えば、頭部及び胴体の回転角をそれぞれ検出するものであってよい。
【０１１０】
また、上記実施の形態では、ハーフミラー１４２を備えた画像表示システムについて説明したが、本発明は、この様な場合のみに限定されない。例えば、ビーム光を網膜上でスキャンさせることにより、画像を視認させるようが画像表示システムであっても、本発明を適用することができる。
【符号の説明】
【０１１１】
４２ａ〜４２ｄ 表示ゾーン
１ ＨＭＤ（ヘッドマウントディスプレイ）
１Ａ 頭部ユニット
１Ｂ 胴体ユニット
１０，２０ 通信部
１１ 頭部センサ
１２ 胴体センサ
１３ カメラ
１４ 画像表示部
１４１ 画像出力部
１４２ ハーフミラー
１５ マイクロホン
２ 管理サーバ
２１ 首振り角判別部
２２ 首振り方向判別部
２３ 視線方向判別部
２５ 音声コマンド識別部
２６ 表示制御部
３０ 眼鏡型フレーム
３１ メインモジュール
３２ 通信ケーブル
４０ 基準方向
４１ 非表示ゾーン
４２ 表示ゾーン
５ 表示開始領域
５ａ〜５ｄ 視線方向判別領域
６０ 画像表示エリア
６１ 常時表示エリア
６２ 情報表示エリア
１００，１０１ 画像表示システム
Ｃ１ 表示制御信号
Ｃ２ 表示状態信号
Ｓ１〜Ｓ４ 検出信号
θＨ，θＶ 首振り角
θＨ１，θＶ１，θＶ２ 画像表示角
ωＶ，ωＨ１，ωＨ２ 角速度
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、
上記頭部に装着され、上記頭部の回転動作を検出する頭部センサと、
上記ユーザの視線方向を検出する視線検出部と、
上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部とを備え、
上記画像表示部は、上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を開始することを特徴とする画像表示システム。
【請求項２】
上記画像表示部は、上記首振り角が画像表示角より大きく、かつ、上記視線方向が正面方向を含まない表示開始領域内にある場合に、上記情報表示エリアにおける画像表示を開始することを特徴とする請求項１に記載の画像表示システム。
【請求項３】
上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、
上記画像表示部は、上記首振り角が画像表示角より大きく、かつ、上記視線方向が上記首振り方向とは反対方向である場合に、上記情報表示エリアにおける画像表示を開始することを特徴とする請求項１に記載の画像表示システム。
【請求項４】
上記ユーザの胴体に装着され、上記胴体の回転動作を検出する胴体センサを備え、
上記首振り角判別部は、上記頭部センサ及び上記胴体センサの検出結果に基づいて左右方向に関する上記首振り角を求めることを特徴とする請求項１〜３のいずれかに記載の画像表示システム。
【請求項５】
上記首振り角判別部は、上記頭部センサの検出結果に基づいて上下方向に関する上記首振り角を求めることを特徴とする請求項１〜３に記載の画像表示システム。
【請求項６】
上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、
上記画像表示部は、上記首振り方向に応じた画像を表示することを特徴とする請求項１に記載の画像表示システム。
【請求項７】
上記視線検出部は、上記ユーザの眼を撮影する撮影部と、撮影された画像内における瞳の位置を判別する瞳位置判別部とを有し、上記瞳の位置により視線方向を求めることを特徴とする請求項１に記載の画像表示システム。
【請求項８】
上記画像表示部は、上記画像を出力する画像出力部と、上記ユーザの眼の近傍に配置されたハーフミラーとを備え、
上記ハーフミラーを透過した外光に対し、上記ハーフミラーで反射した上記画像出力部からの出射光が重畳され、上記眼に入射されることを特徴とする請求項１に記載の画像表示システム。
【請求項９】
上記ユーザの音声が入力されるマイクロホンと、
上記情報表示エリアにおける画像表示中に入力された上記音声から音声コマンドを識別し、入力信号を生成する音声コマンド識別部とを備え、
上記情報表示エリアにおける画像非表示中に入力された上記音声から上記入力信号を生成しないことを特徴とする請求項１に記載の画像表示システム。
【請求項１０】
互いに無線通信可能な携帯表示端末及び表示制御装置からなる画像表示システムにおいて、
上記携帯表示端末は、
ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、
上記頭部の回転動作を検出する頭部センサと、
上記ユーザの視線方向を検出する視線検出部とを備え、
上記表示制御装置は、上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部と、
上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を制御するための表示制御信号を生成する表示制御部とを備え、
上記画像表示部は、上記表示制御信号に基づいて、上記情報表示エリアにおける画像表示を開始することを特徴とする画像表示システム。
【請求項１】
ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、
上記頭部に装着され、上記頭部の回転動作を検出する頭部センサと、
上記ユーザの視線方向を検出する視線検出部と、
上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部とを備え、
上記画像表示部は、上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を開始することを特徴とする画像表示システム。
【請求項２】
上記画像表示部は、上記首振り角が画像表示角より大きく、かつ、上記視線方向が正面方向を含まない表示開始領域内にある場合に、上記情報表示エリアにおける画像表示を開始することを特徴とする請求項１に記載の画像表示システム。
【請求項３】
上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、
上記画像表示部は、上記首振り角が画像表示角より大きく、かつ、上記視線方向が上記首振り方向とは反対方向である場合に、上記情報表示エリアにおける画像表示を開始することを特徴とする請求項１に記載の画像表示システム。
【請求項４】
上記ユーザの胴体に装着され、上記胴体の回転動作を検出する胴体センサを備え、
上記首振り角判別部は、上記頭部センサ及び上記胴体センサの検出結果に基づいて左右方向に関する上記首振り角を求めることを特徴とする請求項１〜３のいずれかに記載の画像表示システム。
【請求項５】
上記首振り角判別部は、上記頭部センサの検出結果に基づいて上下方向に関する上記首振り角を求めることを特徴とする請求項１〜３に記載の画像表示システム。
【請求項６】
上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、
上記画像表示部は、上記首振り方向に応じた画像を表示することを特徴とする請求項１に記載の画像表示システム。
【請求項７】
上記視線検出部は、上記ユーザの眼を撮影する撮影部と、撮影された画像内における瞳の位置を判別する瞳位置判別部とを有し、上記瞳の位置により視線方向を求めることを特徴とする請求項１に記載の画像表示システム。
【請求項８】
上記画像表示部は、上記画像を出力する画像出力部と、上記ユーザの眼の近傍に配置されたハーフミラーとを備え、
上記ハーフミラーを透過した外光に対し、上記ハーフミラーで反射した上記画像出力部からの出射光が重畳され、上記眼に入射されることを特徴とする請求項１に記載の画像表示システム。
【請求項９】
上記ユーザの音声が入力されるマイクロホンと、
上記情報表示エリアにおける画像表示中に入力された上記音声から音声コマンドを識別し、入力信号を生成する音声コマンド識別部とを備え、
上記情報表示エリアにおける画像非表示中に入力された上記音声から上記入力信号を生成しないことを特徴とする請求項１に記載の画像表示システム。
【請求項１０】
互いに無線通信可能な携帯表示端末及び表示制御装置からなる画像表示システムにおいて、
上記携帯表示端末は、
ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、
上記頭部の回転動作を検出する頭部センサと、
上記ユーザの視線方向を検出する視線検出部とを備え、
上記表示制御装置は、上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部と、
上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を制御するための表示制御信号を生成する表示制御部とを備え、
上記画像表示部は、上記表示制御信号に基づいて、上記情報表示エリアにおける画像表示を開始することを特徴とする画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−８３７３１（Ｐ２０１３−８３７３１Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２２３６２（Ｐ２０１１−２２２３６２）
【出願日】平成２３年１０月６日（２０１１．１０．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月６日（２０１１．１０．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
[ Back to top ]