画像表示装置
【課題】画像信号に応じた画像を虚像である表示画像として観察者に表示するヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置において、外部から入力された連続画像を欠落なく再生する。
【解決手段】判定部１１８により、表示画像を表す画像光が観察者の眼に入射しない画像光不入射時であるとの判定（以下、「不入射判定」という。）が開始されると、画像信号入力回路１００に入力されてそこから出力された画像信号によって表される入力画像を再生する通常再生が自動的に中止される。それと並行して、入力回路１００から出力された入力画像が自動的に録画される。前記不入射判定が終了すると、録画再生部１１４により、録画された画像を古い方から順に再生する録画再生が自動的に行われる。
【解決手段】判定部１１８により、表示画像を表す画像光が観察者の眼に入射しない画像光不入射時であるとの判定（以下、「不入射判定」という。）が開始されると、画像信号入力回路１００に入力されてそこから出力された画像信号によって表される入力画像を再生する通常再生が自動的に中止される。それと並行して、入力回路１００から出力された入力画像が自動的に録画される。前記不入射判定が終了すると、録画再生部１１４により、録画された画像を古い方から順に再生する録画再生が自動的に行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号に応じた画像を虚像である表示画像として観察者に表示するヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置に関し、特に、外部から入力された連続画像を欠落なく再生する技術に関する。
【背景技術】
【０００２】
表示すべき画像を表す画像光を観察者の眼に投射するために観察者の頭部に装着されるＨＭＤを有する画像表示装置が既に知られている（例えば、特許文献１参照。）。この画像表示装置によれば、観察者は、画像が投影されるスクリーンを媒介にすることなく、画像を直接的に観察することができる。
【０００３】
ＨＭＤを、画像光形成方式によって分類すると、例えば特許文献１に開示されている空間変調型、すなわち、画像信号に応じて作動する空間変調素子（例えば、液晶または有機ＥＬ（エレクトロ・ルミネッセンス））を用いて、光源の出射光から前記画像光を形成する方式と、走査型、すなわち、光源の出射光であって、前記画像信号に応じた強度を有するものを走査することによって前記画像光を形成する方式とに分類される。
【０００４】
また、ＨＭＤを、表示画像の観察方式によって分類すると、例えば特許文献１に開示されているシースルー型、すなわち、観察者が、当該ＨＭＤによる表示画像に重ねて外界の景色を観察することが可能である方式と、密閉型、すなわち、現実外界を表す外光の入射を遮断し、観察者が、ＨＭＤによる表示画像のみを観察することを可能である方式とに分類される。
【０００５】
ＨＭＤについては、それがシースルー型であるか密閉型であるかを問わず、ＨＭＤによる消費電力の無駄を省略したいという要望がある。この要望を満たすべく、特許文献１は、観察者が睡眠状態にある（観察者が瞼を閉じている）か否かを判定し、睡眠状態にある場合には、ＨＭＤの電源を自動的に切断する技術を開示している。この技術によれば、観察者が睡眠状態にあるにもかかわらず、画像光が無駄に生成されて観察者の眼に投射されることが防止され、それにより、消費電力の無駄が省略される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２４９０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明者らは、観察者が瞼を閉じて睡眠している状態を、ＨＭＤが画像光を生成してもその画像光が観察者の眼に入射しない画像光不入射状態の一例と考え、さらに、画像光不入射状態の別の例として、例えば、観察者の瞳孔位置が当該ＨＭＤの射出瞳から外れているために、画像を再生しても、その画像が観察者によって観察されない状態を考えた。
【０００８】
さらに、本発明者らは、上述のような画像光不入射状態は、前述の、観察者の睡眠状態ほどに強い継続性を有せず、一時的な事象であり、そのため、画像光不入射状態が開始されても、短時間後には、画像光が観察者の眼に入射する状態に復帰するというのが通常であることに気が付いた。
【０００９】
このような知見に基づき、本発明者らは、ＨＭＤにおいて、一時的な画像光不入射状態が開始されたら、ＨＭＤの電源を切断することなく、画像の再生のみを停止し、その一時的な画像光不入射状態が終了したら、画像の再生を再開するという技術を提案した。
【００１０】
しかし、その提案技術によれば、画像の表示すなわち画像の再生のために外部からＨＭＤに入力される画像が静止画像ではなく、連続画像（動画、ストリーミングコンテンツの一例）である場合に、画像光不入射状態が発生すると、動画の再生が自動的に停止され、その後、画像光不入射状態が終了すると、動画の再生が自動的に再開される。しかし、動画のうち、画像光不入射状態が発生しなかったなら再生されていたはずの部分が、その画像光不入射状態の終了後に再生されることはない。そのため、この提案技術では、画像光不入射状態の発生に伴う画像表示の停止に起因して、動画の一部を観察者が観察することができないという問題がある。
【００１１】
再生すべき動画をＨＭＤに送信する外部機器であって、送信、一時停止、録画等の操作をＨＭＤのユーザが当該外部機器に対して行うことが可能であるものをＨＭＤに接続するという対策を講ずれば、観察者は、画像光不入射状態である時に、再生すべき動画を外部機器に録画でき、その画像光不入射状態の終了後には、その録画した動画をいつでもＨＭＤに送信して再生できるため、この対策を講ずれば、画像光不入射状態における画像表示の停止に起因して、動画の一部を観察することができないという問題は生じないが、この対策を講ずる場合には、観察者は、画像光不入射状態である時などに、上述の外部機器に対し、一時停止および録画という操作を行うのは、家庭でパソコンを操作するなどのような場合とは異なり、面倒であるという問題が生じる。
【００１２】
以上説明した事情を背景として、本発明は、画像信号に応じた表示画像を観察者が観察することが可能なＨＭＤを有する画像表示装置において、外部から入力された連続画像を欠落なく再生することを課題としてなされたものである。
【課題を解決するための手段】
【００１３】
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。
【００１４】
（１） 画像信号に応じた画像を虚像である表示画像として観察者に表示するヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置であって、
前記画像信号が入力される入力部と、
その入力部から出力された画像信号により表される入力画像を再生する通常再生によって前記表示画像を形成する通常再生部と、
録画再生用メモリと、
その録画再生用メモリに前記入力画像を録画する録画部と、
前記録画再生用メモリから前記入力画像を読み出して再生する録画再生によって前記表示画像を形成する録画再生部と、
前記表示画像を表す画像光が観察者の眼に入射しない画像光不入射時であるか否かを判定する判定部と
を含み、
前記通常再生部は、少なくとも、前記画像光不入射時であるとの判定の開始時点から終了時点までの期間、前記通常再生を中止し、
前記録画部は、少なくとも、前記画像光不入射時であるとの判定の開始時点から、前記入力部から出力された入力画像を前記録画再生用メモリに録画し、
前記録画再生部は、前記画像光不入射時であるとの判定の終了時点から、前記録画再生用メモリに録画された前記入力画像を古い方から順に読み出して前記録画再生を行う画像表示装置。
【００１５】
（２） さらに、
前記録画再生用メモリに画像を記憶することが可能な記憶可能時間Ｔ１より短い記憶可能時間Ｔ２を有する遅延メモリと、
前記入力部から出力された前記入力画像を前記遅延メモリにリアルタイムに記憶させる一時記憶部と、
前記遅延メモリから読み出されて再生された画像を前記遅延メモリから消去する遅延メモリ用消去部と
を含み、
それにより、前記遅延メモリには、現時点から前記記憶可能時間Ｔ２と同じ長さだけ過去に戻った時点から現時点までに前記入力部から出力された前記入力画像が記憶され、
前記録画再生部は、前記移動が存在するとの判定の終了時点から、前記遅延メモリから画像を古い方から順に読み出して第１の録画再生を行い、その遅延メモリが空になった後に、前記録画再生メモリから画像を古い方から順に読み出して第２の録画再生を、前記第１の録画再生と連続するように行う（１）項に記載の画像表示装置。
【００１６】
（３） 前記通常再生部は、前記遅延メモリから前記入力画像を、前記遅延再生用メモリへの記憶時点から、前記記憶可能時間Ｔ２と同じ時間だけ遅延するタイミングで読み出して再生する遅延再生を行う（２）項に記載の画像表示装置。
【００１７】
（４） さらに、前記録画再生部によって画像が再生されると、その再生された画像を古い方から順に前記録画再生用メモリから消去する録画再生用メモリ用消去部を含む（１）ないし（３）項のいずれかに記載の画像表示装置。
【００１８】
（５） 前記判定部は、
前記ＨＭＤは前記画像光を正常に出射しているが観察者の眼が前記画像光を受光する状態にはないという第１条件と、
前記ＨＭＤが、それ自体は正常であるが、前記画像光を出射することができないという第２条件と、
前記ＨＭＤが、それ自体は正常であるが、前記画像光を受光することが観察者にとって不適切であるために前記ＨＭＤが前記画像光の出射を停止するという第３条件と、
前記ＨＭＤが、それ自体が異常であるために、前記画像光を出射することができないという第４条件と
のうちの少なくとも一つが成立すると、前記画像光不入射時であると判定する（１）ないし（４）項のいずれかに記載の画像表示装置。
【００１９】
（６） さらに、観察者の眼を撮像するカメラを含み、
前記判定部は、そのカメラによって撮像された画像に基づき、観察者の視線方向を推定し、その推定された視線方向に基づき、観察者の眼が前記画像光を受光する状態にあるか否かを判定する（１）ないし（５）項のいずれかに記載の画像表示装置。
【００２０】
（７） さらに、観察者の眼を撮像するカメラを含み、
前記判定部は、そのカメラによって撮像された画像に基づき、観察者の瞳孔位置を推定し、その推定された瞳孔位置に基づき、観察者の眼が前記画像光を受光する状態にあるか否かを判定する（１）ないし（５）項のいずれかに記載の画像表示装置。
【発明の効果】
【００２１】
本発明によれば、画像光が観察者の眼に入射しない画像光不入射時であるとの判定（以下、「不入射判定」という。）が開始されると、入力部に入力されてその入力部から出力された画像信号によって表される入力画像を再生する通常再生が自動的に中止される。それと並行して、前記入力部から出力された入力画像が自動的に録画される。前記不入射判定が終了すると、録画された画像を古い方から順に再生する録画再生が自動的に行われる。
【００２２】
したがって、本発明によれば、不入射判定の終了後に画像の再生が自動的に再開されると、その不入射判定の開始時点と終了時点との間の期間中に前記入力部に入力された画像が、追加の操作を観察者に要求することなく、自動的に再生される。その結果、本発明によれば、画像光が眼に入射しない不入射期間に移行すると、画像再生が自動的に一時的に停止させられるにもかかわらず、その不入射期間が終了して画像再生が再開されると、画像の部分的欠落なしで、画像を再生することが可能となり、よって、当該画像表示装置の使い勝手が向上する。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に従う画像表示装置を、それのＨＭＤが観察者の頭部に装着された使用状態で、制御ユニットと共に正面図である。
【図２】図１に示す画像表示装置の構成を概念的に表す機能ブロック図である。
【図３】図２に示す制御ユニットの構成を概念的に表す機能ブロック図である。
【図４】図３に示す制御ユニットがある例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。
【図５】図３に示す制御ユニットが別の例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。
【図６】図２に示すプログラムＲＯＭに記憶されているプログラムを概念的に表すフローチャートである。
【図７】本発明の第２実施形態に従う画像表示装置の構成を概念的に表す機能ブロック図である。
【図８】図７に示す制御ユニットの構成を概念的に表す機能ブロック図である。
【図９】図８に示す制御ユニットが図４と同じ例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。
【図１０】図７に示すプログラムＲＯＭに記憶されているプログラムを概念的に表すフローチャートである。
【図１１】本発明の第３実施形態に従う画像表示装置における制御ユニットが図４と同じ例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。
【図１２】上記第３実施形態に従う画像表示装置におけるプログラムＲＯＭに記憶されているプログラムを概念的に表すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明のさらに具体的な実施の形態のうちのいくつかを図面に基づいて例示的に詳細に説明する。
【００２５】
図１には、本発明の第１実施形態に従う画像表示装置１０が使用状態で平面図で示されている。この画像表示装置１０は、シースルー型のＨＭＤ１２を有する。このＨＭＤ１２は、画像を表す画像光を観察者の眼に投影するように構成されている。このＨＭＤ１２は、ヘッドマウント装置１４により、観察者の頭部に装着される。
【００２６】
ヘッドマウント装置１４は、フレーム１６と、アタッチメント装置１８とを備えている。フレーム１６は、観察者が装着している眼鏡（図示しない）のフレームであるか、専用のフレームであるかを問わず、観察者の両耳にかけられる状態で観察者の頭部に装着される。このフレーム１６の一部に、アタッチメント装置１８を介してＨＭＤ１２が搭載される。
【００２７】
次に、図１および図２を参照することにより、ＨＭＤ１２およびそのＨＭＤ１２を制御するための制御ユニット２０であってコンピュータを主体として構成されているものを説明する。
【００２８】
なお付言するに、本実施形態おいては、共に独立した部品であるＨＭＤ１２と制御ユニット２０とが互いに組み合わされて画像表示装置１０を構成しているが、制御ユニット２０をＨＭＤ１２内に組み込むことによって画像表示装置１０を構成してもよい。
【００２９】
まず、ＨＭＤ１２の概略を説明する。図１には、このＨＭＤ１２が平面図で示されている。このＨＭＤ１２は、単眼式であり、画像を表す画像光を観察者の片眼に眼前から投影して前記画像を観察者に表示する。
【００３０】
図２に示すように、ＨＭＤ１２は、空間変調型であり、光源（例えば、ＬＥＤ（発光ダイオード））３０からの面状の光を、空間変調素子としてのＬＣＤ（液晶ディスプレイ）３２を用いて、各画素ごとに空間的に変調し、その変調された光を観察者の眼３４の瞳孔３６を経て、網膜３８上に投影し、それにより、観察者が画像を虚像として観察することを可能にする。
【００３１】
図２に示すように、光源３０は、光源駆動回路４０によって駆動され、また、ＬＣＤ３２は、ＬＣＤ駆動回路４２によって駆動される。ＨＭＤ１２は、さらに、光源３０からの光に対して必要な光学処理を施してＬＣＤ３２に入射する照明光学系４４と、ＬＣＤ３２から出射した画像光を瞳孔３６に誘導する接眼光学系４６とを備えている。
【００３２】
図１に示すように、ＨＭＤ１２は、前述のように、シースルー型であるため、このＨＭＤ１２から出射する画像光を曲げて瞳孔３６に誘導する反射部材としてのハーフミラー４８を有している。観察者の眼３４には、ハーフミラー４８から反射した画像光のみならず、外界の景色を表す光（外光）がハーフミラー４８を透過して入射する。その結果、観察者は、画像光によって表示される画像（表示画像）に重ねて外界の景色を観察することが可能となる。
【００３３】
なお付言するに、本実施形態においては、ＨＭＤ１２が単眼式、空間変調型およびシースルー型であるが、両眼式に変更したり、網膜走査型、すなわち、レーザ等、光源からの、画像信号に応じた強度を有する光束をスキャナによって走査し、その走査された光束を観察者の網膜３８に投影することにより、観察者が画像を虚像として観察することを可能にする型式に変更したり、表示画像の観察と並行して現実外界を観察することができない密閉型に変更することが可能である。
【００３４】
図２に示すように、ＨＭＤ１２は、さらに、音声信号出力回路５０を備えている。その音声信号出力回路５０は、観察者の耳５２に装着されるイヤホン５４（耳に接近したスピーカを用いて音声を出力するデバイスの一例であり、他の例としては、ヘッドホンがある）に音声信号を有線または無線で出力する。ＨＭＤ１２は、映像と音声とを一緒に再生して観察者（ユーザ）に出力することが可能である。
【００３５】
次に、制御ユニット２０を説明する。この制御ユニット２０はＨＭＤ１２に、図１に示すように、ケーブル６０を介して接続されている。ケーブル６０は、いずれも図示しないが、制御信号を供給する制御ラインと、電力を供給するパワーラインと、映像信号を供給する映像ラインとを含んでいる。ＨＭＤ１２が観察者の頭部に装着されるのに対し、制御ユニット２０は、観察者のうち、頭部以外の部分（例えば、腰）に装着される。
【００３６】
制御ユニット２０は、図２に機能ブロック図で概念的に表すように、前記コンピュータを主体として構成されている。具体的には、制御ユニット２０は、プロセッサとしてのＣＰＵ(Central Processing Unit)７０と、不揮発性メモリとしてのプログラムＲＯＭ(Read Only Memory)７２および録画再生用メモリ７４と、揮発性メモリとしてのＲＡＭ(Random Access Memory)７６とを備えている。録画再生用メモリ７４は、例えば、フラッシュＲＯＭ、ＨＤＤ（ハードディスクドライブ）に装着されるＨＤ（ハードディスク）である。ＲＡＭ７６は、ビデオＲＡＭを有する。それらＣＰＵ７０，プログラムＲＯＭ７２，録画再生用メモリ７４およびＲＡＭ７６は、バス７８を介して互いに接続され、それにより、前記コンピュータが構成される。
【００３７】
バス７８には、さらに、ユーザである観察者が種々の要求（例えば、外部から送信されたコンテンツとしての連続画像（動画、一連の複数枚のフレームにより構成される映像）を再生することを要求する再生要求、その再生要求の解除など）、情報等を制御ユニット２０に対して入力するためにユーザによって操作される操作部としての操作パネル（例えば、キー、ボタン、タッチスクリーン）９０が接続されている。このバス７８には、さらに、時間を計測するためのタイマ９２と、撮像素子としてのカメラ９４（例えば、ＣＣＤ(Charge-Coupled Device)カメラ）とが接続されている。
【００３８】
カメラ９４は、観察者の両眼のうち、ＨＭＤ１２による表示画像を観察すべき観察眼を撮像するために、ＨＭＤ１２またはフレーム１４に装着される。具体的には、カメラ９４は、眼を撮像した画像に基づき、瞳孔３６の位置（瞳孔位置）または眼３４の視線方向を検出するために、眼３４の状態を検出する眼状態検出部の一例として設けられている。ただし、その眼状態検出部は、カメラ９４に限定されることなく、例えば、眼３４の表面からの反射光を受光してそれの強度を検出する受光センサを主体とするものとして構成することが可能である。
【００３９】
バス７８には、さらに、外部から画像信号が入力される画像信号入力回路１００と、外部から音声信号が入力される音声信号入力回路１０２と、画像処理回路１０４とが接続されている。画像信号入力回路１００には、無線または有線で接続された外部機器（例えば、パーソナルコンピュータや、コンテンツサーバ）から、再生すべき連続画像（以下、単に「画像」という。）を表すデータがストリーミングによって連続的に送信される。画像信号入力回路１００は、ＡＤコンバータ（図示しない）を有し、それにより、入力されたアナログの画像信号を、デジタルの画像信号（画像データ）に変換してバス７８に出力する。画像信号の受信と同期して、音声信号入力回路１０２は、同じ外部機器から、再生すべき音声を表すデータをストリーミングによって連続的に受信する。なお、画像信号入力回路１００に入力される画像信号がデジタル信号である場合もあり、この場合には、ＡＤコンバータは不要である。
【００４０】
画像処理回路１０４は、画像信号入力回路１００から出力された画像信号を光源駆動信号とＬＣＤ駆動信号とに変換し、光源駆動信号は光源駆動回路４０に、ＬＣＤ駆動信号はＬＣＤ駆動回路４２にそれぞれ供給する。バス７８には、さらに、ＨＭＤ１２内の音声信号出力回路５０も接続されており、音声信号入力回路１０２から出力された音声信号が、その音声信号出力回路５０を介してイヤホン５４に出力される。
【００４１】
図３には、制御ユニット２０のうち、画像再生制御に関する部分が機能ブロック図で概念的に表されている。この制御ユニット２０は、画像信号入力回路１００から出力された画像信号により表される入力画像を再生する通常再生を行い、それにより、表示画像を形成する通常再生部１１０を備えている。通常再生部１１０は、入力画像をリアルタイムに再生するリアルタイム再生を行う。この制御ユニット２０は、さらに、録画再生用メモリ７４に入力画像を録画する録画部１１２と、録画再生用メモリ７４から画像データを読み出して再生する録画再生を行い、それにより、表示画像を形成する録画再生部１１４とを備えている。通常再生部１１０および録画再生部１１４は、それぞれの画像信号（画像データ）を画像処理回路１０４を介してＨＭＤ１２に供給する。
【００４２】
図３に示すように、制御ユニット２０は、さらに、カメラ９４によって撮像された眼３４の画像に基づき、表示画像を表す画像光が観察者の眼３４に入射しない画像光不入射時であるか否かを判定する判定部１１８を備えている。
【００４３】
具体的には、その判定部１１８は、次の４つの条件のうちの少なくとも一つが成立すると、前記画像光不入射時であると判定するように設計することが可能である。
【００４４】
（ａ）第１条件：ＨＭＤ１２は前記画像光を正常に出射しているが観察者の眼３４が前記画像光を受光する状態（例えば、瞳孔３６の位置が、ＨＭＤ１２の射出瞳の位置に一致するか、眼３４の視線方向が、前記画像光の進行方向に一致するか、または、観察者の眼３４の瞼が開いている状態）にはないという条件
【００４５】
（ｂ）第２条件：ＨＭＤ１２が、それ自体は正常であるが、前記画像光を出射することができない（例えば、ＨＭＤ１２が、電源投入直後、光源の経時変化を補償する輝度調整等、キャリブレーションを行う段階にあるために、前記画像光を出射することができない）という条件
【００４６】
（ｃ）第３条件：ＨＭＤ１２が、それ自体は正常であるが、前記画像光を受光することが観察者にとって不適切である（例えば、観察者が、これ以上長い時間、表示画像を観察し続けると、眼３４の過労につながる可能性がある）ためにＨＭＤ１２が前記画像光の出射を自動的に停止する（光源を停止させる）という条件
【００４７】
（ｄ）第４条件：ＨＭＤ１２が、それ自体が異常である（例えば、光源が故障した）ために、前記画像光を出射することができないという条件
【００４８】
ただし、本実施形態においては、判定部１１８は、カメラ９４によって撮像された眼３４の画像に基づき、観察者の瞳孔３６の位置を前記画像光（すなわち、ＨＭＤ１２の射出瞳の位置）に対して相対的に推定し、その推定された瞳孔位置に基づき、観察者の眼が前記画像光を受光する状態（すなわち、瞳孔３６の位置が、ＨＭＤ１２の射出瞳の位置に一致する状態）にはないか否かを判定するように設計されている。眼３４の画像から瞳孔位置を推定する手法としては、例えば、特開２００８−６１４９号公報に開示されているように、眼３４の画像を２値化し、低輝度領域内の円形の領域を瞳孔３６の画像として抽出し、その抽出された瞳孔３６の画像から、瞳孔位置を推定する手法を採用することが可能である。
【００４９】
これに代えて、判定部１１８は、カメラ９４によって撮像された眼３４の画像に基づき、観察者の眼３４の視線方向を前記画像光に対して相対的に推定し、その推定された視線方向に基づき、観察者の眼３４が前記画像光を受光する状態（眼３４の視線方向が、前記画像光の進行方向に一致する状態）にはないか否かを判定するように設計することが可能である。眼３４の画像から視線を推定する手法としては、例えば、特開２００７−１３６０００号公報に開示されているように、眼３４に赤外線を照射したときに眼３４の角膜表面から発生する反射光によって表される像の位置と瞳孔３６の位置との間の距離から視線を推定する手法を採用することが可能である。
【００５０】
なお、前述の第２条件の成否は、ＨＭＤ１２（特に、画像光生成部）の動作状態を検出する検出部からの信号に基づいて行い、また、前述の第３条件の成否は、観察者がＨＭＤ１２を使用する状態（例えば、連続使用時間）を検出する部からの信号に基づいて行い、また、前述の第４条件の成否は、ＨＭＤ１２（特に、光源）の動作状態を検出する検出部からの信号に基づいて行うことが可能である。
【００５１】
以上説明した判定部１１８の判定結果に基づき、通常再生部１１０、録画部１１２および録画再生部１１４のそれぞれの作動状態が変化する。
【００５２】
図３に示すように、制御ユニット２０は、さらに、第１消去部１２０を備えている。その第１消去部１２０は、録画再生部１１０が画像を録画再生用メモリ７４から読み出して再生すると、その再生された画像を録画再生用メモリ７４から消去する。
【００５３】
図４には、再生開始時点ｔ１から再生終了時点ｔ５までの間に、判定部１１８による、画像光不入射時であるとの判定（以下、単に「不入射判定」という。）が１回のみ行われるという、説明の便宜を優先させた仮想的なシナリオのもとで、通常再生部１１０、録画部１１２、録画再生部１１４、判定部１１８および第１消去部１２０のそれぞれの作動状態の時間的変化がタイムチャートで例示されている。
【００５４】
図４に示すように、通常再生部１１０は、再生開始時点ｔ１から、通常再生（本実施形態においては、入力画像をリアルタイムに再生すること）を行う。通常再生部１１０は、判定部１１８による、不入射判定の開始時点ｔ２から、通常再生を中止する。録画部１１２は、不入射判定の開始時点ｔ２（通常再生が中止された時点に等しい）から、画像信号入力回路１００から出力された入力画像を録画再生用メモリ７４に録画する。録画部１１２は、不入射判定の終了時点ｔ３の到来後も、画像信号入力回路１００から出力された入力画像を録画再生用メモリ７４に録画することをシームレスで継続する。録画再生部１１４は、不入射判定の終了時点ｔ３から、録画再生用メモリ７４から、録画された画像を読み出して録画再生を行う。第１消去部１２０は、録画再生部１１０が画像を録画再生用メモリ７４から読み出して再生すると、直ちに、その再生された画像を録画再生用メモリ７４から消去する。
【００５５】
したがって、本実施形態によれば、画像光が眼３４に入射しない期間（以下、「不入射期間」という。）内にあるために、画像を再生してもその画像が観察者に観察されない期間中に、画像の再生が中止され、さらに、その不入射期間が終了すると、画像が再生されればその画像が観察者に観察される環境において、再生が中止された画像が再生される。再生が中止された画像の再生が終了すると、不入射判定の終了時点ｔ３から録画再生用メモリ７４に録画された画像が、先行する画像再生に対してシームレスに再生される。
【００５６】
録画再生用メモリ７４の記憶容量は、理想的には、無限であるが、現実的には、有限である。そのため、不入射判定の開始時点ｔ２と終了時点ｔ３との間の時間間隔の長さが、録画再生用メモリ７４の記憶可能時間Ｔ１を超えない限り、録画再生を、入力画像の欠落なしで行うことが可能である。
【００５７】
図４に対し、図５には、再生開始時点ｔ１から再生終了時点ｔ７までの間に、不入射判定が２回行われるという、図４より現実性を増した仮想的なシナリオのもとで、通常再生部１１０、録画部１１２、録画再生部１１４、判定部１１８および第１消去部１２０のそれぞれの作動状態の時間的変化がタイムチャートで例示されている。
【００５８】
図６には、上述の画像再生制御を実行するために制御ユニット２０のＣＰＵ７０によって実行されるプログラムがフローチャートで概念的に表されている。
【００５９】
ステップＳ１において、ユーザが画像表示装置１０の電源（図示しない）を投入すると、このプログラムの実行が開始される。このプログラムにおいては、まず、ステップＳ２において、所定のスタンバイ処理が行われ、次に、ステップＳ３において、ユーザが操作パネル９０を操作することにより、再生要求を入力するのが待たれる。ユーザが再生要求を入力すると、ステップＳ３の判定がＹＥＳとなり、ステップＳ４において、カメラ９４により、観察者の眼３４が撮像され、撮像データが生成される。
【００６０】
続いて、ステップＳ５において、その生成された撮像データに基づき、前述のようにして、画像光不入射時であるか否かが判定される。
【００６１】
今回は、画像光不入射時ではないと仮定すると、このステップＳ５の判定がＮＯとなり、ステップＳ６において、録画再生用メモリ７４に、これから再生すべき画像データすなわち録画データが存在しているか否かが判定される。今回は、そのような録画データが録画再生用メモリ７４に存在しないと仮定すると、ステップＳ７において、通常再生が行われ、入力画像がリアルタイム再生される。その後、ステップＳ８に進む。
【００６２】
このステップＳ８においては、ユーザからの再生要求が終了したか否か、すなわち、ユーザが再生の終了を要求しているか否かが判定される。今回は、再生要求が終了していないと仮定すると、ステップＳ９において、再生すべき画像データが存在しない（すなわち、新たな入力画像も、録画再生用メモリ７４に録画されている未再生画像データも存在しない）か否かが判定される。今回は、再生すべき画像データが存在すると仮定すれば、ステップＳ４に戻る。
【００６３】
その後、不入射期間に移行すると、このプログラムの実行中、ステップＳ５の判定がＹＥＳとなり、ステップＳ１０において、画像入力中であるか否かが判定される。画像入力中でなければ、ステップＳ４に戻るが、画像入力中であれば、ステップＳ１１において、画像信号入力回路１００から出力された入力画像がリアルタイムに録画再生用メモリ７４に録画され、これにより、録画が行われる。続いて、ステップＳ１２において、通常再生であるか録画再生であるかを問わず、画像の再生が中止される。その後、ステップＳ８に進む。
【００６４】
その後、今回の不入射期間が終了すると、このプログラムの実行中、ステップＳ５の判定がＮＯとなり、ステップＳ６において、録画データが録画再生用メモリ７４に存在しているか否かが判定されると、今回は、録画データが存在しているため、ステップＳ６の判定がＹＥＳとなる。続いて、ステップＳ１３において、録画再生が行われ、録画された画像が古い方から順に録画再生用メモリ７４から読み出されて再生される。その後、ステップＳ１４において、再生された画像データが、録画再生用メモリ７４から消去される。ステップＳ１５において、画像信号入力回路１００から出力された新しい入力画像が録画再生用メモリ７４にリアルタイムに録画される。なお、図６には、フローチャートにより表現することの都合上、このステップＳ１５が、ステップＳ１３の実行後に行われるように表現されているが、このステップＳ１５による録画は、ステップＳ１３による録画再生と実質的に並行的に行われる。その後、ステップＳ８に進む。
【００６５】
前記再生要求が終了したためにステップＳ８の判定がＹＥＳとなるか、または、再生要求が終了していないが再生すべき画像データが存在しないためにステップＳ９の判定がＹＥＳとなると、ステップＳ１６において、画像表示装置１０の電源がＯＦＦである（すなわち、ユーザが、画像表示装置１０の電源を切断した）か否かが判定される。今回は、電源がＯＦＦではないと仮定すれば、ステップＳ３に戻るが、今回は、電源がＯＦＦであると仮定すれば、ステップＳ１７において、所定の終了処理が画像表示装置１０の各部品に対して行われる。その後、ステップＳ１８において、このプログラムの実行が終了する。
【００６６】
以上の説明から明らかなように、本実施形態においては、制御ユニット２０のうち、図６に示すステップＳ４およびＳ５を実行する部分が、図３に示す判定部１１８を構成し、制御ユニット２０のうち、ステップＳ６、Ｓ７、Ｓ１０およびＳ１２を実行する部分が、通常再生部１１０を構成し、制御ユニット２０のうち、ステップＳ６、Ｓ１５、Ｓ１０およびＳ１１を構成する部分が、録画部１１２を構成し、制御ユニット２０のうち、ステップＳ６およびＳ１３を実行する部分が、録画再生部１１４を構成し、制御ユニット２０のうち、ステップＳ１４を実行する部分が、第１消去部１１８（前記「録画再生用メモリ用消去部」の一例）を構成している。また、画像信号入力回路１００が、前記（１）項における「入力部」の一例を構成している。
【００６７】
以上、本実施形態においては、再生すべき画像がストリーミングによって連続的に制御ユニット２０に入力される環境において、不入射判定の継続中に入力画像のリアルタイム再生が中止され、その間、リアルタイム再生が中止された入力画像が録画され、その不入射判定の終了後、録画された画像が再生されることを説明したが、このような再生処理は、画像のみならず、音声についても行われる。その結果、本実施形態においては、不入射判定の終了後に再開される画像の再生が、音声と同期して行われることになる。
【００６８】
次に、本発明の第２実施形態に従う画像表示装置２００を説明する。ただし、本実施形態は、第１実施形態と共通する要素が多いため、共通する要素については、同一の符号または名称を付して引用することにより、重複した説明を省略し、異なる要素についてのみ、詳細に説明する。
【００６９】
第１実施形態においては、図６に示すように、ステップＳ４において、眼状態検出部の一例であるカメラ９４により、観察者の眼３４が撮像され、その後、ステップＳ５において、その撮像結果に基づき、画像光不入射時であるか否か（例えば、瞳孔３６の位置がＨＭＤ１２の射出瞳の位置に一致しないか否か）が判定される。その判定の確度を確保するため、不入射期間が実際に開始されてから、ステップＳ５において、画像光不入射時であるとの判定が開始されるまでには、図９にタイムチャートで例示するように、タイムラグがあることを避け得ない。そのため、そのタイムラグの期間中は、不入射期間が実際に開始されても、画像の再生が中止されない。
【００７０】
これに対し、本実施形態に従う画像表示装置２００においては、図７に示すように、上記タイムラグの通常の時間長さ以上の長さで画像データをリアルタイムにかつ一時的に記憶する遅延メモリ２０２（後に詳述する）が、図２に示す画像表示装置１０に対して追加されている。さらに、本実施形態においては、前記不入射判定の終了時点ｔ３から、まずは、遅延メモリ２０２から画像データを読み出して第１の録画再生が行われ、その遅延メモリ２０２が空になると、今度は、録画再生用メモリ７４から画像データを読み出して第２録画再生が、第１の録画再生に連続するようにシームレスで行われる。
【００７１】
したがって、本実施形態によれば、上記タイムラグの期間中に再生された画像と同じものが、前記不入射判定が終了してから、すなわち、不入射期間が完全に終了してから、再度、再生される。よって、観察者は、上記タイムラグの期間中に再生された画像を正常に観察することができなくても、同じ画像を、不入射期間の終了後に正常に観察することが可能となる。
【００７２】
図７には、本実施形態に従う画像表示装置２００の構成が、図２に示す画像表示装置１０と同様に、機能ブロック図で表されている。画像表示装置２００は、上述のように、画像表示装置１０に対し、遅延メモリ２０２を追加的に備え、さらに、一時記憶部２１２と、第２消去部２１６とを、それぞれ追加的な部品として備えている。
【００７３】
遅延メモリ２０２は、ＦＩＦＯ式の画像データバッファとして機能するように使用され、記憶可能時間（最大記憶時間）Ｔ２だけ連続する最新の画像データを記憶する容量を有している。その結果、この遅延メモリ２０２は、現時点より、記憶可能時間Ｔ２の長さと同じ時間だけ過去の時間帯内に入力された画像データを、逐次更新しつつ、一時記憶する。通常、前記タイムラグの長さは、前記不入射判定の開始時点ｔ２から終了時点ｔ３までの時間の長さより短いため、遅延メモリ２０２の記憶可能時間Ｔ２は、録画再生用メモリ７４の記憶可能時間Ｔ１より短くて済む。
【００７４】
一時記憶部２１２は、画像信号入力回路１００から出力された入力画像をリアルタイムに遅延メモリ２０２に記憶させる。第２消去部２１６は、遅延メモリ２０２から読み出されて再生された画像をリアルタイムに遅延メモリ２０２から消去する。
【００７５】
図８には、画像表示装置２００のうちの制御ユニット２０の構成が、図３と同様に、機能ブロック図で表されている。画像表示装置２００は、録画再生部１１４に代わる録画再生部２２０を有している。録画再生部２２０は、前述の第１および第２の録画再生を行う。
【００７６】
図９には、本実施形態に従う画像再生制御が、図４と同じシナリオのもとで行われることを想定した場合の様子がタイムチャートで表されている。
【００７７】
図９に示すように、通常再生部１１０は、図４と同様に、外部から入力された画像をＲＡＭ７６からリアルタイムで読み出して再生する。これに対し、録画再生部２２０は、前記不入射判定の終了時点ｔ３から、第１の録画再生を行い、その後、第２の録画再生を行う。録画再生部２００は、第１の録画再生においては、遅延メモリ２０２に一時記憶された画像、すなわち、前記不入射判定の開始時点ｔ２から記憶可能時間Ｔ２と同じ時間だけ過去に戻った第１時点から、前記不入射判定の開始時点ｔ２と等しい第２時点までの期間中に遅延メモリ２０２に一時記憶されたもの（遅延メモリ２０２に記憶されている画像すべて）を古い方から順に遅延メモリ２０２から読み出して再生する。一方、録画再生部２２０は、第２の録画再生においては、録画再生用メモリ７４から画像を古い方から順に読み出して再生する。
【００７８】
図１０には、上述の画像再生制御を実行するために制御ユニット２０のＣＰＵ７０によって実行されるプログラムがフローチャートで概念的に表されている。
【００７９】
このプログラムにおいては、ステップＳ１０１−Ｓ１０６が、図６に示すステップＳ１−Ｓ６と同様にして実行され、また、ステップＳ１１１、Ｓ１１２およびＳ１２３−Ｓ１２５が、図６に示すステップＳ８、Ｓ９およびＳ１６−Ｓ１８と同様にして実行される。
【００８０】
図１０に示すプログラムにおいては、不入射期間が開始されていないと仮定すると、ステップＳ１０５の判定がＮＯとなり、その後、ステップＳ１０６において、録画再生用メモリ７４に録画データが存在しているか否かが判定される。
【００８１】
今回は、そのような録画データは録画再生用メモリ７４に存在しないと仮定すると、ステップＳ１０７において、画像信号入力回路１００から出力された入力画像がリアルタイムに遅延メモリ２０２に一時記憶される。続いて、ステップＳ１０８において、その一時記憶によって遅延メモリ２０２から溢れた画像データがある場合には、その画像データが消去される。それらステップＳ１０７とＳ１０８の共同により、遅延メモリ２０２に、記憶可能時間Ｔ２を超えない時間分の画像データが一時記憶される。その後、ステップＳ１０９において、画像信号出力回路１００から出力された入力画像がリアルタイムにＲＡＭ７６から読み出されて通常再生される。
【００８２】
その後、不入射期間が開始されると、このプログラムの実行中、ステップＳ１０５の判定がＹＥＳとなり、ステップＳ１１３において、画像入力中であるか否かが判定される。画像入力中でなければ、ステップＳ１０４に戻るが、画像入力中であれば、ステップＳ１１４において、画像信号出力回路１００から出力された入力画像が遅延メモリ２０２に一時記憶されることが中止される。続いて、ステップＳ１１５において、画像信号出力回路１００から出力された入力画像が録画再生用メモリ７４に録画され、録画される。その後、ステップＳ１１６において、通常再生であるか録画再生であるかを問わず、画像の再生が中止される。続いて、ステップＳ１１１に進む。
【００８３】
その後、今回の不入射期間が終了すると、このプログラムの実行中、ステップＳ１０５の判定がＮＯとなり、今回は、録画データが録画再生用メモリ７４に存在するから、ステップＳ１０６の判定がＹＥＳとなる。続いて、ステップＳ１１７において、遅延メモリ２０２に一時記憶されている画像データすなわち遅延データが遅延メモリ２０２に存在するか否かが判定される。今回は、遅延データが存在するから、ステップＳ１１８において、遅延メモリ２０２から画像が古い方から順に読み出されて録画再生される。前記第１の録画再生が行われるのである。その後、ステップＳ１１９において、再生された画像が遅延メモリ２０２から消去される。それらステップＳ１１８およびＳ１１９の実行が反復された結果、遅延メモリ２０２が空になると、ステップＳ１１７の判定がＮＯとなる。
【００８４】
遅延メモリ２０２が空になると、ステップＳ１２０において、録画再生用メモリ７４から画像が古い方から順に読み出されて録画再生される。前記第２の録画再生が行われるのである。その後、ステップＳ１２１において、再生された画像が録画再生用メモリ７から消去される。ステップＳ１２２において、画像信号入力回路１００から出力された新しい入力画像がリアルタイムに録画再生用メモリ７４に録画される。なお、図１０には、フローチャートにより表現することの都合上、このステップＳ１２２が、ステップＳ１２０の実行後に行われるように表現されているが、このステップＳ１２２による録画は、ステップＳ１２０による録画再生と実質的に並行的に行われる。その後、ステップＳ１１１に進む。
【００８５】
以上の説明から明らかなように、本実施形態においては、制御ユニット２０のうち、図１０に示すステップＳ１０４およびＳ１０５を実行する部分が、図８に示す判定部１１８を構成し、制御ユニット２０のうち、ステップＳ１０６、Ｓ１０９、Ｓ１１７、Ｓ１２０、Ｓ１１３およびＳ１１６を実行する部分が、通常再生部１１０を構成し、制御ユニット２０のうち、ステップＳ１１７、Ｓ１２２、Ｓ１１３およびＳ１１５を実行する部分が、録画部１１２を構成し、制御ユニット２０のうち、ステップＳ１０６およびＳ１１７−Ｓ１２０を構成する部分が、録画再生部２２０を構成し、制御ユニット２０のうち、ステップＳ１２２を実行する部分が、第１消去部１１８（前記「録画再生用メモリ用消去部」の一例）を構成し、制御ユニット２０のうち、ステップＳ１０８およびＳ１１９を実行する部分が、第２消去部２１６（前記「遅延メモリ用消去部」の一例）を構成し、制御ユニット２０のうち、ステップＳ１０６、Ｓ１０７、Ｓ１１３およびＳ１１４を実行する部分が、一時記憶部２１２を構成している。
【００８６】
なお付言するに、本実施形態においては、遅延メモリ２０２と、ソフトウエアで構成された第２消去部２１６（図１０に示すステップＳ１０８）との共同により、現時点から過去一定時間内に外部から受信された画像データを絶えず更新しつつ一時的に記憶する画像データバッファが構成されているが、この画像データバッファは、これに限らず、例えば、ハードウエアによって構成されたシフトレジスタとして構成することが可能である。この場合には、制御ユニット２０のハードウエア構成を複雑にすることなく、ソフトウエア構成を単純化することが容易である。
【００８７】
次に、本発明の第３実施形態に従う画像表示装置２００を説明する。ただし、本実施形態は、第２実施形態と共通する要素が多いため、共通する要素については、同一の符号または名称を付して引用することにより、重複した説明を省略し、異なる要素についてのみ、詳細に説明する。
【００８８】
第２実施形態においては、図９にタイムチャートで示すように、再生開始時点ｔ１から、入力画像がリアルタイムにＲＡＭ７６から読み出されて再生される。これに対し、本実施形態においては、図９と同様にして図１１にタイムチャートで示すように、再生開始時点ｔ１から、遅延メモリ２０２が画像データで満杯になる時点ｔ１’まで、画像の再生開始が遅延される。時点ｔ１’が到来すると、遅延メモリ２０２から画像データが古い方から順に読み出されて再生され、それにより、リアルタイム再生ではなく、画像が入力されるタイミングより遅いタイミングで入力画像を再生する遅延再生が行われる。
【００８９】
図１２には、本実施形態に従う画像表示装置２００において、画像再生制御のために、制御ユニット２０のＣＰＵ７０によって実行されるプログラムが、図１０と同様にして、フローチャートで概念的に表されている。以下、このプログラムを説明するが、図１０に示すプログラムとは異なるステップのみにつき、詳細に説明し、共通のステップについては、重複した説明を省略する。
【００９０】
ステップＳ１０６の判定がＮＯとなると、ステップＳ２０７において、画像信号入力回路１００から出力された入力画像がリアルタイムに遅延メモリ２０２に一時記憶される。続いて、ステップＳ２０８において、再生開始時点ｔ１から、遅延メモリ２０２の記憶可能時間Ｔ２と同じ時間が経過するのが待たれる。遅延メモリ２０２が画像データで満杯になるのが待たれるのである。時間Ｔ２が経過し、遅延メモリ２０２が画像データで満杯になると、ステップＳ２０９において、遅延メモリ２０２から最も古い画像データが読み出されて再生される。ある画像データが遅延メモリ２０２に記憶された時点から時間Ｔ２だだけ遅延するタイミングで、その画像データが再生され、それにより、遅延再生が行われるのである。その後、ステップＳ２１０において、今回再生された画像データが遅延メモリ２０２から消去される。続いて、ステップＳ１１１に進む。
【００９１】
以上の説明から明らかなように、本実施形態においては、制御ユニット２０のうち、ステップＳ１０６、Ｓ２０８、Ｓ２０９、Ｓ１１７、Ｓ１２０、Ｓ１１３およびＳ１１６を実行する部分が、通常再生部１１０を構成し、制御ユニット２０のうち、ステップＳ２１０およびＳ１１９を実行する部分が、第２消去部２１６（前記「遅延メモリ用消去部」の一例）を構成し、制御ユニット２０のうち、ステップＳ１０６、Ｓ２０７、Ｓ１１３およびＳ１１４を実行する部分が、一時記憶部２１２を構成している。
【００９２】
以上、本発明の実施形態のうちのいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【技術分野】
【０００１】
本発明は、画像信号に応じた画像を虚像である表示画像として観察者に表示するヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置に関し、特に、外部から入力された連続画像を欠落なく再生する技術に関する。
【背景技術】
【０００２】
表示すべき画像を表す画像光を観察者の眼に投射するために観察者の頭部に装着されるＨＭＤを有する画像表示装置が既に知られている（例えば、特許文献１参照。）。この画像表示装置によれば、観察者は、画像が投影されるスクリーンを媒介にすることなく、画像を直接的に観察することができる。
【０００３】
ＨＭＤを、画像光形成方式によって分類すると、例えば特許文献１に開示されている空間変調型、すなわち、画像信号に応じて作動する空間変調素子（例えば、液晶または有機ＥＬ（エレクトロ・ルミネッセンス））を用いて、光源の出射光から前記画像光を形成する方式と、走査型、すなわち、光源の出射光であって、前記画像信号に応じた強度を有するものを走査することによって前記画像光を形成する方式とに分類される。
【０００４】
また、ＨＭＤを、表示画像の観察方式によって分類すると、例えば特許文献１に開示されているシースルー型、すなわち、観察者が、当該ＨＭＤによる表示画像に重ねて外界の景色を観察することが可能である方式と、密閉型、すなわち、現実外界を表す外光の入射を遮断し、観察者が、ＨＭＤによる表示画像のみを観察することを可能である方式とに分類される。
【０００５】
ＨＭＤについては、それがシースルー型であるか密閉型であるかを問わず、ＨＭＤによる消費電力の無駄を省略したいという要望がある。この要望を満たすべく、特許文献１は、観察者が睡眠状態にある（観察者が瞼を閉じている）か否かを判定し、睡眠状態にある場合には、ＨＭＤの電源を自動的に切断する技術を開示している。この技術によれば、観察者が睡眠状態にあるにもかかわらず、画像光が無駄に生成されて観察者の眼に投射されることが防止され、それにより、消費電力の無駄が省略される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２４９０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明者らは、観察者が瞼を閉じて睡眠している状態を、ＨＭＤが画像光を生成してもその画像光が観察者の眼に入射しない画像光不入射状態の一例と考え、さらに、画像光不入射状態の別の例として、例えば、観察者の瞳孔位置が当該ＨＭＤの射出瞳から外れているために、画像を再生しても、その画像が観察者によって観察されない状態を考えた。
【０００８】
さらに、本発明者らは、上述のような画像光不入射状態は、前述の、観察者の睡眠状態ほどに強い継続性を有せず、一時的な事象であり、そのため、画像光不入射状態が開始されても、短時間後には、画像光が観察者の眼に入射する状態に復帰するというのが通常であることに気が付いた。
【０００９】
このような知見に基づき、本発明者らは、ＨＭＤにおいて、一時的な画像光不入射状態が開始されたら、ＨＭＤの電源を切断することなく、画像の再生のみを停止し、その一時的な画像光不入射状態が終了したら、画像の再生を再開するという技術を提案した。
【００１０】
しかし、その提案技術によれば、画像の表示すなわち画像の再生のために外部からＨＭＤに入力される画像が静止画像ではなく、連続画像（動画、ストリーミングコンテンツの一例）である場合に、画像光不入射状態が発生すると、動画の再生が自動的に停止され、その後、画像光不入射状態が終了すると、動画の再生が自動的に再開される。しかし、動画のうち、画像光不入射状態が発生しなかったなら再生されていたはずの部分が、その画像光不入射状態の終了後に再生されることはない。そのため、この提案技術では、画像光不入射状態の発生に伴う画像表示の停止に起因して、動画の一部を観察者が観察することができないという問題がある。
【００１１】
再生すべき動画をＨＭＤに送信する外部機器であって、送信、一時停止、録画等の操作をＨＭＤのユーザが当該外部機器に対して行うことが可能であるものをＨＭＤに接続するという対策を講ずれば、観察者は、画像光不入射状態である時に、再生すべき動画を外部機器に録画でき、その画像光不入射状態の終了後には、その録画した動画をいつでもＨＭＤに送信して再生できるため、この対策を講ずれば、画像光不入射状態における画像表示の停止に起因して、動画の一部を観察することができないという問題は生じないが、この対策を講ずる場合には、観察者は、画像光不入射状態である時などに、上述の外部機器に対し、一時停止および録画という操作を行うのは、家庭でパソコンを操作するなどのような場合とは異なり、面倒であるという問題が生じる。
【００１２】
以上説明した事情を背景として、本発明は、画像信号に応じた表示画像を観察者が観察することが可能なＨＭＤを有する画像表示装置において、外部から入力された連続画像を欠落なく再生することを課題としてなされたものである。
【課題を解決するための手段】
【００１３】
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。
【００１４】
（１） 画像信号に応じた画像を虚像である表示画像として観察者に表示するヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置であって、
前記画像信号が入力される入力部と、
その入力部から出力された画像信号により表される入力画像を再生する通常再生によって前記表示画像を形成する通常再生部と、
録画再生用メモリと、
その録画再生用メモリに前記入力画像を録画する録画部と、
前記録画再生用メモリから前記入力画像を読み出して再生する録画再生によって前記表示画像を形成する録画再生部と、
前記表示画像を表す画像光が観察者の眼に入射しない画像光不入射時であるか否かを判定する判定部と
を含み、
前記通常再生部は、少なくとも、前記画像光不入射時であるとの判定の開始時点から終了時点までの期間、前記通常再生を中止し、
前記録画部は、少なくとも、前記画像光不入射時であるとの判定の開始時点から、前記入力部から出力された入力画像を前記録画再生用メモリに録画し、
前記録画再生部は、前記画像光不入射時であるとの判定の終了時点から、前記録画再生用メモリに録画された前記入力画像を古い方から順に読み出して前記録画再生を行う画像表示装置。
【００１５】
（２） さらに、
前記録画再生用メモリに画像を記憶することが可能な記憶可能時間Ｔ１より短い記憶可能時間Ｔ２を有する遅延メモリと、
前記入力部から出力された前記入力画像を前記遅延メモリにリアルタイムに記憶させる一時記憶部と、
前記遅延メモリから読み出されて再生された画像を前記遅延メモリから消去する遅延メモリ用消去部と
を含み、
それにより、前記遅延メモリには、現時点から前記記憶可能時間Ｔ２と同じ長さだけ過去に戻った時点から現時点までに前記入力部から出力された前記入力画像が記憶され、
前記録画再生部は、前記移動が存在するとの判定の終了時点から、前記遅延メモリから画像を古い方から順に読み出して第１の録画再生を行い、その遅延メモリが空になった後に、前記録画再生メモリから画像を古い方から順に読み出して第２の録画再生を、前記第１の録画再生と連続するように行う（１）項に記載の画像表示装置。
【００１６】
（３） 前記通常再生部は、前記遅延メモリから前記入力画像を、前記遅延再生用メモリへの記憶時点から、前記記憶可能時間Ｔ２と同じ時間だけ遅延するタイミングで読み出して再生する遅延再生を行う（２）項に記載の画像表示装置。
【００１７】
（４） さらに、前記録画再生部によって画像が再生されると、その再生された画像を古い方から順に前記録画再生用メモリから消去する録画再生用メモリ用消去部を含む（１）ないし（３）項のいずれかに記載の画像表示装置。
【００１８】
（５） 前記判定部は、
前記ＨＭＤは前記画像光を正常に出射しているが観察者の眼が前記画像光を受光する状態にはないという第１条件と、
前記ＨＭＤが、それ自体は正常であるが、前記画像光を出射することができないという第２条件と、
前記ＨＭＤが、それ自体は正常であるが、前記画像光を受光することが観察者にとって不適切であるために前記ＨＭＤが前記画像光の出射を停止するという第３条件と、
前記ＨＭＤが、それ自体が異常であるために、前記画像光を出射することができないという第４条件と
のうちの少なくとも一つが成立すると、前記画像光不入射時であると判定する（１）ないし（４）項のいずれかに記載の画像表示装置。
【００１９】
（６） さらに、観察者の眼を撮像するカメラを含み、
前記判定部は、そのカメラによって撮像された画像に基づき、観察者の視線方向を推定し、その推定された視線方向に基づき、観察者の眼が前記画像光を受光する状態にあるか否かを判定する（１）ないし（５）項のいずれかに記載の画像表示装置。
【００２０】
（７） さらに、観察者の眼を撮像するカメラを含み、
前記判定部は、そのカメラによって撮像された画像に基づき、観察者の瞳孔位置を推定し、その推定された瞳孔位置に基づき、観察者の眼が前記画像光を受光する状態にあるか否かを判定する（１）ないし（５）項のいずれかに記載の画像表示装置。
【発明の効果】
【００２１】
本発明によれば、画像光が観察者の眼に入射しない画像光不入射時であるとの判定（以下、「不入射判定」という。）が開始されると、入力部に入力されてその入力部から出力された画像信号によって表される入力画像を再生する通常再生が自動的に中止される。それと並行して、前記入力部から出力された入力画像が自動的に録画される。前記不入射判定が終了すると、録画された画像を古い方から順に再生する録画再生が自動的に行われる。
【００２２】
したがって、本発明によれば、不入射判定の終了後に画像の再生が自動的に再開されると、その不入射判定の開始時点と終了時点との間の期間中に前記入力部に入力された画像が、追加の操作を観察者に要求することなく、自動的に再生される。その結果、本発明によれば、画像光が眼に入射しない不入射期間に移行すると、画像再生が自動的に一時的に停止させられるにもかかわらず、その不入射期間が終了して画像再生が再開されると、画像の部分的欠落なしで、画像を再生することが可能となり、よって、当該画像表示装置の使い勝手が向上する。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に従う画像表示装置を、それのＨＭＤが観察者の頭部に装着された使用状態で、制御ユニットと共に正面図である。
【図２】図１に示す画像表示装置の構成を概念的に表す機能ブロック図である。
【図３】図２に示す制御ユニットの構成を概念的に表す機能ブロック図である。
【図４】図３に示す制御ユニットがある例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。
【図５】図３に示す制御ユニットが別の例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。
【図６】図２に示すプログラムＲＯＭに記憶されているプログラムを概念的に表すフローチャートである。
【図７】本発明の第２実施形態に従う画像表示装置の構成を概念的に表す機能ブロック図である。
【図８】図７に示す制御ユニットの構成を概念的に表す機能ブロック図である。
【図９】図８に示す制御ユニットが図４と同じ例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。
【図１０】図７に示すプログラムＲＯＭに記憶されているプログラムを概念的に表すフローチャートである。
【図１１】本発明の第３実施形態に従う画像表示装置における制御ユニットが図４と同じ例示的なシナリオのもとで作動する様子を説明するためのタイムチャートである。
【図１２】上記第３実施形態に従う画像表示装置におけるプログラムＲＯＭに記憶されているプログラムを概念的に表すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明のさらに具体的な実施の形態のうちのいくつかを図面に基づいて例示的に詳細に説明する。
【００２５】
図１には、本発明の第１実施形態に従う画像表示装置１０が使用状態で平面図で示されている。この画像表示装置１０は、シースルー型のＨＭＤ１２を有する。このＨＭＤ１２は、画像を表す画像光を観察者の眼に投影するように構成されている。このＨＭＤ１２は、ヘッドマウント装置１４により、観察者の頭部に装着される。
【００２６】
ヘッドマウント装置１４は、フレーム１６と、アタッチメント装置１８とを備えている。フレーム１６は、観察者が装着している眼鏡（図示しない）のフレームであるか、専用のフレームであるかを問わず、観察者の両耳にかけられる状態で観察者の頭部に装着される。このフレーム１６の一部に、アタッチメント装置１８を介してＨＭＤ１２が搭載される。
【００２７】
次に、図１および図２を参照することにより、ＨＭＤ１２およびそのＨＭＤ１２を制御するための制御ユニット２０であってコンピュータを主体として構成されているものを説明する。
【００２８】
なお付言するに、本実施形態おいては、共に独立した部品であるＨＭＤ１２と制御ユニット２０とが互いに組み合わされて画像表示装置１０を構成しているが、制御ユニット２０をＨＭＤ１２内に組み込むことによって画像表示装置１０を構成してもよい。
【００２９】
まず、ＨＭＤ１２の概略を説明する。図１には、このＨＭＤ１２が平面図で示されている。このＨＭＤ１２は、単眼式であり、画像を表す画像光を観察者の片眼に眼前から投影して前記画像を観察者に表示する。
【００３０】
図２に示すように、ＨＭＤ１２は、空間変調型であり、光源（例えば、ＬＥＤ（発光ダイオード））３０からの面状の光を、空間変調素子としてのＬＣＤ（液晶ディスプレイ）３２を用いて、各画素ごとに空間的に変調し、その変調された光を観察者の眼３４の瞳孔３６を経て、網膜３８上に投影し、それにより、観察者が画像を虚像として観察することを可能にする。
【００３１】
図２に示すように、光源３０は、光源駆動回路４０によって駆動され、また、ＬＣＤ３２は、ＬＣＤ駆動回路４２によって駆動される。ＨＭＤ１２は、さらに、光源３０からの光に対して必要な光学処理を施してＬＣＤ３２に入射する照明光学系４４と、ＬＣＤ３２から出射した画像光を瞳孔３６に誘導する接眼光学系４６とを備えている。
【００３２】
図１に示すように、ＨＭＤ１２は、前述のように、シースルー型であるため、このＨＭＤ１２から出射する画像光を曲げて瞳孔３６に誘導する反射部材としてのハーフミラー４８を有している。観察者の眼３４には、ハーフミラー４８から反射した画像光のみならず、外界の景色を表す光（外光）がハーフミラー４８を透過して入射する。その結果、観察者は、画像光によって表示される画像（表示画像）に重ねて外界の景色を観察することが可能となる。
【００３３】
なお付言するに、本実施形態においては、ＨＭＤ１２が単眼式、空間変調型およびシースルー型であるが、両眼式に変更したり、網膜走査型、すなわち、レーザ等、光源からの、画像信号に応じた強度を有する光束をスキャナによって走査し、その走査された光束を観察者の網膜３８に投影することにより、観察者が画像を虚像として観察することを可能にする型式に変更したり、表示画像の観察と並行して現実外界を観察することができない密閉型に変更することが可能である。
【００３４】
図２に示すように、ＨＭＤ１２は、さらに、音声信号出力回路５０を備えている。その音声信号出力回路５０は、観察者の耳５２に装着されるイヤホン５４（耳に接近したスピーカを用いて音声を出力するデバイスの一例であり、他の例としては、ヘッドホンがある）に音声信号を有線または無線で出力する。ＨＭＤ１２は、映像と音声とを一緒に再生して観察者（ユーザ）に出力することが可能である。
【００３５】
次に、制御ユニット２０を説明する。この制御ユニット２０はＨＭＤ１２に、図１に示すように、ケーブル６０を介して接続されている。ケーブル６０は、いずれも図示しないが、制御信号を供給する制御ラインと、電力を供給するパワーラインと、映像信号を供給する映像ラインとを含んでいる。ＨＭＤ１２が観察者の頭部に装着されるのに対し、制御ユニット２０は、観察者のうち、頭部以外の部分（例えば、腰）に装着される。
【００３６】
制御ユニット２０は、図２に機能ブロック図で概念的に表すように、前記コンピュータを主体として構成されている。具体的には、制御ユニット２０は、プロセッサとしてのＣＰＵ(Central Processing Unit)７０と、不揮発性メモリとしてのプログラムＲＯＭ(Read Only Memory)７２および録画再生用メモリ７４と、揮発性メモリとしてのＲＡＭ(Random Access Memory)７６とを備えている。録画再生用メモリ７４は、例えば、フラッシュＲＯＭ、ＨＤＤ（ハードディスクドライブ）に装着されるＨＤ（ハードディスク）である。ＲＡＭ７６は、ビデオＲＡＭを有する。それらＣＰＵ７０，プログラムＲＯＭ７２，録画再生用メモリ７４およびＲＡＭ７６は、バス７８を介して互いに接続され、それにより、前記コンピュータが構成される。
【００３７】
バス７８には、さらに、ユーザである観察者が種々の要求（例えば、外部から送信されたコンテンツとしての連続画像（動画、一連の複数枚のフレームにより構成される映像）を再生することを要求する再生要求、その再生要求の解除など）、情報等を制御ユニット２０に対して入力するためにユーザによって操作される操作部としての操作パネル（例えば、キー、ボタン、タッチスクリーン）９０が接続されている。このバス７８には、さらに、時間を計測するためのタイマ９２と、撮像素子としてのカメラ９４（例えば、ＣＣＤ(Charge-Coupled Device)カメラ）とが接続されている。
【００３８】
カメラ９４は、観察者の両眼のうち、ＨＭＤ１２による表示画像を観察すべき観察眼を撮像するために、ＨＭＤ１２またはフレーム１４に装着される。具体的には、カメラ９４は、眼を撮像した画像に基づき、瞳孔３６の位置（瞳孔位置）または眼３４の視線方向を検出するために、眼３４の状態を検出する眼状態検出部の一例として設けられている。ただし、その眼状態検出部は、カメラ９４に限定されることなく、例えば、眼３４の表面からの反射光を受光してそれの強度を検出する受光センサを主体とするものとして構成することが可能である。
【００３９】
バス７８には、さらに、外部から画像信号が入力される画像信号入力回路１００と、外部から音声信号が入力される音声信号入力回路１０２と、画像処理回路１０４とが接続されている。画像信号入力回路１００には、無線または有線で接続された外部機器（例えば、パーソナルコンピュータや、コンテンツサーバ）から、再生すべき連続画像（以下、単に「画像」という。）を表すデータがストリーミングによって連続的に送信される。画像信号入力回路１００は、ＡＤコンバータ（図示しない）を有し、それにより、入力されたアナログの画像信号を、デジタルの画像信号（画像データ）に変換してバス７８に出力する。画像信号の受信と同期して、音声信号入力回路１０２は、同じ外部機器から、再生すべき音声を表すデータをストリーミングによって連続的に受信する。なお、画像信号入力回路１００に入力される画像信号がデジタル信号である場合もあり、この場合には、ＡＤコンバータは不要である。
【００４０】
画像処理回路１０４は、画像信号入力回路１００から出力された画像信号を光源駆動信号とＬＣＤ駆動信号とに変換し、光源駆動信号は光源駆動回路４０に、ＬＣＤ駆動信号はＬＣＤ駆動回路４２にそれぞれ供給する。バス７８には、さらに、ＨＭＤ１２内の音声信号出力回路５０も接続されており、音声信号入力回路１０２から出力された音声信号が、その音声信号出力回路５０を介してイヤホン５４に出力される。
【００４１】
図３には、制御ユニット２０のうち、画像再生制御に関する部分が機能ブロック図で概念的に表されている。この制御ユニット２０は、画像信号入力回路１００から出力された画像信号により表される入力画像を再生する通常再生を行い、それにより、表示画像を形成する通常再生部１１０を備えている。通常再生部１１０は、入力画像をリアルタイムに再生するリアルタイム再生を行う。この制御ユニット２０は、さらに、録画再生用メモリ７４に入力画像を録画する録画部１１２と、録画再生用メモリ７４から画像データを読み出して再生する録画再生を行い、それにより、表示画像を形成する録画再生部１１４とを備えている。通常再生部１１０および録画再生部１１４は、それぞれの画像信号（画像データ）を画像処理回路１０４を介してＨＭＤ１２に供給する。
【００４２】
図３に示すように、制御ユニット２０は、さらに、カメラ９４によって撮像された眼３４の画像に基づき、表示画像を表す画像光が観察者の眼３４に入射しない画像光不入射時であるか否かを判定する判定部１１８を備えている。
【００４３】
具体的には、その判定部１１８は、次の４つの条件のうちの少なくとも一つが成立すると、前記画像光不入射時であると判定するように設計することが可能である。
【００４４】
（ａ）第１条件：ＨＭＤ１２は前記画像光を正常に出射しているが観察者の眼３４が前記画像光を受光する状態（例えば、瞳孔３６の位置が、ＨＭＤ１２の射出瞳の位置に一致するか、眼３４の視線方向が、前記画像光の進行方向に一致するか、または、観察者の眼３４の瞼が開いている状態）にはないという条件
【００４５】
（ｂ）第２条件：ＨＭＤ１２が、それ自体は正常であるが、前記画像光を出射することができない（例えば、ＨＭＤ１２が、電源投入直後、光源の経時変化を補償する輝度調整等、キャリブレーションを行う段階にあるために、前記画像光を出射することができない）という条件
【００４６】
（ｃ）第３条件：ＨＭＤ１２が、それ自体は正常であるが、前記画像光を受光することが観察者にとって不適切である（例えば、観察者が、これ以上長い時間、表示画像を観察し続けると、眼３４の過労につながる可能性がある）ためにＨＭＤ１２が前記画像光の出射を自動的に停止する（光源を停止させる）という条件
【００４７】
（ｄ）第４条件：ＨＭＤ１２が、それ自体が異常である（例えば、光源が故障した）ために、前記画像光を出射することができないという条件
【００４８】
ただし、本実施形態においては、判定部１１８は、カメラ９４によって撮像された眼３４の画像に基づき、観察者の瞳孔３６の位置を前記画像光（すなわち、ＨＭＤ１２の射出瞳の位置）に対して相対的に推定し、その推定された瞳孔位置に基づき、観察者の眼が前記画像光を受光する状態（すなわち、瞳孔３６の位置が、ＨＭＤ１２の射出瞳の位置に一致する状態）にはないか否かを判定するように設計されている。眼３４の画像から瞳孔位置を推定する手法としては、例えば、特開２００８−６１４９号公報に開示されているように、眼３４の画像を２値化し、低輝度領域内の円形の領域を瞳孔３６の画像として抽出し、その抽出された瞳孔３６の画像から、瞳孔位置を推定する手法を採用することが可能である。
【００４９】
これに代えて、判定部１１８は、カメラ９４によって撮像された眼３４の画像に基づき、観察者の眼３４の視線方向を前記画像光に対して相対的に推定し、その推定された視線方向に基づき、観察者の眼３４が前記画像光を受光する状態（眼３４の視線方向が、前記画像光の進行方向に一致する状態）にはないか否かを判定するように設計することが可能である。眼３４の画像から視線を推定する手法としては、例えば、特開２００７−１３６０００号公報に開示されているように、眼３４に赤外線を照射したときに眼３４の角膜表面から発生する反射光によって表される像の位置と瞳孔３６の位置との間の距離から視線を推定する手法を採用することが可能である。
【００５０】
なお、前述の第２条件の成否は、ＨＭＤ１２（特に、画像光生成部）の動作状態を検出する検出部からの信号に基づいて行い、また、前述の第３条件の成否は、観察者がＨＭＤ１２を使用する状態（例えば、連続使用時間）を検出する部からの信号に基づいて行い、また、前述の第４条件の成否は、ＨＭＤ１２（特に、光源）の動作状態を検出する検出部からの信号に基づいて行うことが可能である。
【００５１】
以上説明した判定部１１８の判定結果に基づき、通常再生部１１０、録画部１１２および録画再生部１１４のそれぞれの作動状態が変化する。
【００５２】
図３に示すように、制御ユニット２０は、さらに、第１消去部１２０を備えている。その第１消去部１２０は、録画再生部１１０が画像を録画再生用メモリ７４から読み出して再生すると、その再生された画像を録画再生用メモリ７４から消去する。
【００５３】
図４には、再生開始時点ｔ１から再生終了時点ｔ５までの間に、判定部１１８による、画像光不入射時であるとの判定（以下、単に「不入射判定」という。）が１回のみ行われるという、説明の便宜を優先させた仮想的なシナリオのもとで、通常再生部１１０、録画部１１２、録画再生部１１４、判定部１１８および第１消去部１２０のそれぞれの作動状態の時間的変化がタイムチャートで例示されている。
【００５４】
図４に示すように、通常再生部１１０は、再生開始時点ｔ１から、通常再生（本実施形態においては、入力画像をリアルタイムに再生すること）を行う。通常再生部１１０は、判定部１１８による、不入射判定の開始時点ｔ２から、通常再生を中止する。録画部１１２は、不入射判定の開始時点ｔ２（通常再生が中止された時点に等しい）から、画像信号入力回路１００から出力された入力画像を録画再生用メモリ７４に録画する。録画部１１２は、不入射判定の終了時点ｔ３の到来後も、画像信号入力回路１００から出力された入力画像を録画再生用メモリ７４に録画することをシームレスで継続する。録画再生部１１４は、不入射判定の終了時点ｔ３から、録画再生用メモリ７４から、録画された画像を読み出して録画再生を行う。第１消去部１２０は、録画再生部１１０が画像を録画再生用メモリ７４から読み出して再生すると、直ちに、その再生された画像を録画再生用メモリ７４から消去する。
【００５５】
したがって、本実施形態によれば、画像光が眼３４に入射しない期間（以下、「不入射期間」という。）内にあるために、画像を再生してもその画像が観察者に観察されない期間中に、画像の再生が中止され、さらに、その不入射期間が終了すると、画像が再生されればその画像が観察者に観察される環境において、再生が中止された画像が再生される。再生が中止された画像の再生が終了すると、不入射判定の終了時点ｔ３から録画再生用メモリ７４に録画された画像が、先行する画像再生に対してシームレスに再生される。
【００５６】
録画再生用メモリ７４の記憶容量は、理想的には、無限であるが、現実的には、有限である。そのため、不入射判定の開始時点ｔ２と終了時点ｔ３との間の時間間隔の長さが、録画再生用メモリ７４の記憶可能時間Ｔ１を超えない限り、録画再生を、入力画像の欠落なしで行うことが可能である。
【００５７】
図４に対し、図５には、再生開始時点ｔ１から再生終了時点ｔ７までの間に、不入射判定が２回行われるという、図４より現実性を増した仮想的なシナリオのもとで、通常再生部１１０、録画部１１２、録画再生部１１４、判定部１１８および第１消去部１２０のそれぞれの作動状態の時間的変化がタイムチャートで例示されている。
【００５８】
図６には、上述の画像再生制御を実行するために制御ユニット２０のＣＰＵ７０によって実行されるプログラムがフローチャートで概念的に表されている。
【００５９】
ステップＳ１において、ユーザが画像表示装置１０の電源（図示しない）を投入すると、このプログラムの実行が開始される。このプログラムにおいては、まず、ステップＳ２において、所定のスタンバイ処理が行われ、次に、ステップＳ３において、ユーザが操作パネル９０を操作することにより、再生要求を入力するのが待たれる。ユーザが再生要求を入力すると、ステップＳ３の判定がＹＥＳとなり、ステップＳ４において、カメラ９４により、観察者の眼３４が撮像され、撮像データが生成される。
【００６０】
続いて、ステップＳ５において、その生成された撮像データに基づき、前述のようにして、画像光不入射時であるか否かが判定される。
【００６１】
今回は、画像光不入射時ではないと仮定すると、このステップＳ５の判定がＮＯとなり、ステップＳ６において、録画再生用メモリ７４に、これから再生すべき画像データすなわち録画データが存在しているか否かが判定される。今回は、そのような録画データが録画再生用メモリ７４に存在しないと仮定すると、ステップＳ７において、通常再生が行われ、入力画像がリアルタイム再生される。その後、ステップＳ８に進む。
【００６２】
このステップＳ８においては、ユーザからの再生要求が終了したか否か、すなわち、ユーザが再生の終了を要求しているか否かが判定される。今回は、再生要求が終了していないと仮定すると、ステップＳ９において、再生すべき画像データが存在しない（すなわち、新たな入力画像も、録画再生用メモリ７４に録画されている未再生画像データも存在しない）か否かが判定される。今回は、再生すべき画像データが存在すると仮定すれば、ステップＳ４に戻る。
【００６３】
その後、不入射期間に移行すると、このプログラムの実行中、ステップＳ５の判定がＹＥＳとなり、ステップＳ１０において、画像入力中であるか否かが判定される。画像入力中でなければ、ステップＳ４に戻るが、画像入力中であれば、ステップＳ１１において、画像信号入力回路１００から出力された入力画像がリアルタイムに録画再生用メモリ７４に録画され、これにより、録画が行われる。続いて、ステップＳ１２において、通常再生であるか録画再生であるかを問わず、画像の再生が中止される。その後、ステップＳ８に進む。
【００６４】
その後、今回の不入射期間が終了すると、このプログラムの実行中、ステップＳ５の判定がＮＯとなり、ステップＳ６において、録画データが録画再生用メモリ７４に存在しているか否かが判定されると、今回は、録画データが存在しているため、ステップＳ６の判定がＹＥＳとなる。続いて、ステップＳ１３において、録画再生が行われ、録画された画像が古い方から順に録画再生用メモリ７４から読み出されて再生される。その後、ステップＳ１４において、再生された画像データが、録画再生用メモリ７４から消去される。ステップＳ１５において、画像信号入力回路１００から出力された新しい入力画像が録画再生用メモリ７４にリアルタイムに録画される。なお、図６には、フローチャートにより表現することの都合上、このステップＳ１５が、ステップＳ１３の実行後に行われるように表現されているが、このステップＳ１５による録画は、ステップＳ１３による録画再生と実質的に並行的に行われる。その後、ステップＳ８に進む。
【００６５】
前記再生要求が終了したためにステップＳ８の判定がＹＥＳとなるか、または、再生要求が終了していないが再生すべき画像データが存在しないためにステップＳ９の判定がＹＥＳとなると、ステップＳ１６において、画像表示装置１０の電源がＯＦＦである（すなわち、ユーザが、画像表示装置１０の電源を切断した）か否かが判定される。今回は、電源がＯＦＦではないと仮定すれば、ステップＳ３に戻るが、今回は、電源がＯＦＦであると仮定すれば、ステップＳ１７において、所定の終了処理が画像表示装置１０の各部品に対して行われる。その後、ステップＳ１８において、このプログラムの実行が終了する。
【００６６】
以上の説明から明らかなように、本実施形態においては、制御ユニット２０のうち、図６に示すステップＳ４およびＳ５を実行する部分が、図３に示す判定部１１８を構成し、制御ユニット２０のうち、ステップＳ６、Ｓ７、Ｓ１０およびＳ１２を実行する部分が、通常再生部１１０を構成し、制御ユニット２０のうち、ステップＳ６、Ｓ１５、Ｓ１０およびＳ１１を構成する部分が、録画部１１２を構成し、制御ユニット２０のうち、ステップＳ６およびＳ１３を実行する部分が、録画再生部１１４を構成し、制御ユニット２０のうち、ステップＳ１４を実行する部分が、第１消去部１１８（前記「録画再生用メモリ用消去部」の一例）を構成している。また、画像信号入力回路１００が、前記（１）項における「入力部」の一例を構成している。
【００６７】
以上、本実施形態においては、再生すべき画像がストリーミングによって連続的に制御ユニット２０に入力される環境において、不入射判定の継続中に入力画像のリアルタイム再生が中止され、その間、リアルタイム再生が中止された入力画像が録画され、その不入射判定の終了後、録画された画像が再生されることを説明したが、このような再生処理は、画像のみならず、音声についても行われる。その結果、本実施形態においては、不入射判定の終了後に再開される画像の再生が、音声と同期して行われることになる。
【００６８】
次に、本発明の第２実施形態に従う画像表示装置２００を説明する。ただし、本実施形態は、第１実施形態と共通する要素が多いため、共通する要素については、同一の符号または名称を付して引用することにより、重複した説明を省略し、異なる要素についてのみ、詳細に説明する。
【００６９】
第１実施形態においては、図６に示すように、ステップＳ４において、眼状態検出部の一例であるカメラ９４により、観察者の眼３４が撮像され、その後、ステップＳ５において、その撮像結果に基づき、画像光不入射時であるか否か（例えば、瞳孔３６の位置がＨＭＤ１２の射出瞳の位置に一致しないか否か）が判定される。その判定の確度を確保するため、不入射期間が実際に開始されてから、ステップＳ５において、画像光不入射時であるとの判定が開始されるまでには、図９にタイムチャートで例示するように、タイムラグがあることを避け得ない。そのため、そのタイムラグの期間中は、不入射期間が実際に開始されても、画像の再生が中止されない。
【００７０】
これに対し、本実施形態に従う画像表示装置２００においては、図７に示すように、上記タイムラグの通常の時間長さ以上の長さで画像データをリアルタイムにかつ一時的に記憶する遅延メモリ２０２（後に詳述する）が、図２に示す画像表示装置１０に対して追加されている。さらに、本実施形態においては、前記不入射判定の終了時点ｔ３から、まずは、遅延メモリ２０２から画像データを読み出して第１の録画再生が行われ、その遅延メモリ２０２が空になると、今度は、録画再生用メモリ７４から画像データを読み出して第２録画再生が、第１の録画再生に連続するようにシームレスで行われる。
【００７１】
したがって、本実施形態によれば、上記タイムラグの期間中に再生された画像と同じものが、前記不入射判定が終了してから、すなわち、不入射期間が完全に終了してから、再度、再生される。よって、観察者は、上記タイムラグの期間中に再生された画像を正常に観察することができなくても、同じ画像を、不入射期間の終了後に正常に観察することが可能となる。
【００７２】
図７には、本実施形態に従う画像表示装置２００の構成が、図２に示す画像表示装置１０と同様に、機能ブロック図で表されている。画像表示装置２００は、上述のように、画像表示装置１０に対し、遅延メモリ２０２を追加的に備え、さらに、一時記憶部２１２と、第２消去部２１６とを、それぞれ追加的な部品として備えている。
【００７３】
遅延メモリ２０２は、ＦＩＦＯ式の画像データバッファとして機能するように使用され、記憶可能時間（最大記憶時間）Ｔ２だけ連続する最新の画像データを記憶する容量を有している。その結果、この遅延メモリ２０２は、現時点より、記憶可能時間Ｔ２の長さと同じ時間だけ過去の時間帯内に入力された画像データを、逐次更新しつつ、一時記憶する。通常、前記タイムラグの長さは、前記不入射判定の開始時点ｔ２から終了時点ｔ３までの時間の長さより短いため、遅延メモリ２０２の記憶可能時間Ｔ２は、録画再生用メモリ７４の記憶可能時間Ｔ１より短くて済む。
【００７４】
一時記憶部２１２は、画像信号入力回路１００から出力された入力画像をリアルタイムに遅延メモリ２０２に記憶させる。第２消去部２１６は、遅延メモリ２０２から読み出されて再生された画像をリアルタイムに遅延メモリ２０２から消去する。
【００７５】
図８には、画像表示装置２００のうちの制御ユニット２０の構成が、図３と同様に、機能ブロック図で表されている。画像表示装置２００は、録画再生部１１４に代わる録画再生部２２０を有している。録画再生部２２０は、前述の第１および第２の録画再生を行う。
【００７６】
図９には、本実施形態に従う画像再生制御が、図４と同じシナリオのもとで行われることを想定した場合の様子がタイムチャートで表されている。
【００７７】
図９に示すように、通常再生部１１０は、図４と同様に、外部から入力された画像をＲＡＭ７６からリアルタイムで読み出して再生する。これに対し、録画再生部２２０は、前記不入射判定の終了時点ｔ３から、第１の録画再生を行い、その後、第２の録画再生を行う。録画再生部２００は、第１の録画再生においては、遅延メモリ２０２に一時記憶された画像、すなわち、前記不入射判定の開始時点ｔ２から記憶可能時間Ｔ２と同じ時間だけ過去に戻った第１時点から、前記不入射判定の開始時点ｔ２と等しい第２時点までの期間中に遅延メモリ２０２に一時記憶されたもの（遅延メモリ２０２に記憶されている画像すべて）を古い方から順に遅延メモリ２０２から読み出して再生する。一方、録画再生部２２０は、第２の録画再生においては、録画再生用メモリ７４から画像を古い方から順に読み出して再生する。
【００７８】
図１０には、上述の画像再生制御を実行するために制御ユニット２０のＣＰＵ７０によって実行されるプログラムがフローチャートで概念的に表されている。
【００７９】
このプログラムにおいては、ステップＳ１０１−Ｓ１０６が、図６に示すステップＳ１−Ｓ６と同様にして実行され、また、ステップＳ１１１、Ｓ１１２およびＳ１２３−Ｓ１２５が、図６に示すステップＳ８、Ｓ９およびＳ１６−Ｓ１８と同様にして実行される。
【００８０】
図１０に示すプログラムにおいては、不入射期間が開始されていないと仮定すると、ステップＳ１０５の判定がＮＯとなり、その後、ステップＳ１０６において、録画再生用メモリ７４に録画データが存在しているか否かが判定される。
【００８１】
今回は、そのような録画データは録画再生用メモリ７４に存在しないと仮定すると、ステップＳ１０７において、画像信号入力回路１００から出力された入力画像がリアルタイムに遅延メモリ２０２に一時記憶される。続いて、ステップＳ１０８において、その一時記憶によって遅延メモリ２０２から溢れた画像データがある場合には、その画像データが消去される。それらステップＳ１０７とＳ１０８の共同により、遅延メモリ２０２に、記憶可能時間Ｔ２を超えない時間分の画像データが一時記憶される。その後、ステップＳ１０９において、画像信号出力回路１００から出力された入力画像がリアルタイムにＲＡＭ７６から読み出されて通常再生される。
【００８２】
その後、不入射期間が開始されると、このプログラムの実行中、ステップＳ１０５の判定がＹＥＳとなり、ステップＳ１１３において、画像入力中であるか否かが判定される。画像入力中でなければ、ステップＳ１０４に戻るが、画像入力中であれば、ステップＳ１１４において、画像信号出力回路１００から出力された入力画像が遅延メモリ２０２に一時記憶されることが中止される。続いて、ステップＳ１１５において、画像信号出力回路１００から出力された入力画像が録画再生用メモリ７４に録画され、録画される。その後、ステップＳ１１６において、通常再生であるか録画再生であるかを問わず、画像の再生が中止される。続いて、ステップＳ１１１に進む。
【００８３】
その後、今回の不入射期間が終了すると、このプログラムの実行中、ステップＳ１０５の判定がＮＯとなり、今回は、録画データが録画再生用メモリ７４に存在するから、ステップＳ１０６の判定がＹＥＳとなる。続いて、ステップＳ１１７において、遅延メモリ２０２に一時記憶されている画像データすなわち遅延データが遅延メモリ２０２に存在するか否かが判定される。今回は、遅延データが存在するから、ステップＳ１１８において、遅延メモリ２０２から画像が古い方から順に読み出されて録画再生される。前記第１の録画再生が行われるのである。その後、ステップＳ１１９において、再生された画像が遅延メモリ２０２から消去される。それらステップＳ１１８およびＳ１１９の実行が反復された結果、遅延メモリ２０２が空になると、ステップＳ１１７の判定がＮＯとなる。
【００８４】
遅延メモリ２０２が空になると、ステップＳ１２０において、録画再生用メモリ７４から画像が古い方から順に読み出されて録画再生される。前記第２の録画再生が行われるのである。その後、ステップＳ１２１において、再生された画像が録画再生用メモリ７から消去される。ステップＳ１２２において、画像信号入力回路１００から出力された新しい入力画像がリアルタイムに録画再生用メモリ７４に録画される。なお、図１０には、フローチャートにより表現することの都合上、このステップＳ１２２が、ステップＳ１２０の実行後に行われるように表現されているが、このステップＳ１２２による録画は、ステップＳ１２０による録画再生と実質的に並行的に行われる。その後、ステップＳ１１１に進む。
【００８５】
以上の説明から明らかなように、本実施形態においては、制御ユニット２０のうち、図１０に示すステップＳ１０４およびＳ１０５を実行する部分が、図８に示す判定部１１８を構成し、制御ユニット２０のうち、ステップＳ１０６、Ｓ１０９、Ｓ１１７、Ｓ１２０、Ｓ１１３およびＳ１１６を実行する部分が、通常再生部１１０を構成し、制御ユニット２０のうち、ステップＳ１１７、Ｓ１２２、Ｓ１１３およびＳ１１５を実行する部分が、録画部１１２を構成し、制御ユニット２０のうち、ステップＳ１０６およびＳ１１７−Ｓ１２０を構成する部分が、録画再生部２２０を構成し、制御ユニット２０のうち、ステップＳ１２２を実行する部分が、第１消去部１１８（前記「録画再生用メモリ用消去部」の一例）を構成し、制御ユニット２０のうち、ステップＳ１０８およびＳ１１９を実行する部分が、第２消去部２１６（前記「遅延メモリ用消去部」の一例）を構成し、制御ユニット２０のうち、ステップＳ１０６、Ｓ１０７、Ｓ１１３およびＳ１１４を実行する部分が、一時記憶部２１２を構成している。
【００８６】
なお付言するに、本実施形態においては、遅延メモリ２０２と、ソフトウエアで構成された第２消去部２１６（図１０に示すステップＳ１０８）との共同により、現時点から過去一定時間内に外部から受信された画像データを絶えず更新しつつ一時的に記憶する画像データバッファが構成されているが、この画像データバッファは、これに限らず、例えば、ハードウエアによって構成されたシフトレジスタとして構成することが可能である。この場合には、制御ユニット２０のハードウエア構成を複雑にすることなく、ソフトウエア構成を単純化することが容易である。
【００８７】
次に、本発明の第３実施形態に従う画像表示装置２００を説明する。ただし、本実施形態は、第２実施形態と共通する要素が多いため、共通する要素については、同一の符号または名称を付して引用することにより、重複した説明を省略し、異なる要素についてのみ、詳細に説明する。
【００８８】
第２実施形態においては、図９にタイムチャートで示すように、再生開始時点ｔ１から、入力画像がリアルタイムにＲＡＭ７６から読み出されて再生される。これに対し、本実施形態においては、図９と同様にして図１１にタイムチャートで示すように、再生開始時点ｔ１から、遅延メモリ２０２が画像データで満杯になる時点ｔ１’まで、画像の再生開始が遅延される。時点ｔ１’が到来すると、遅延メモリ２０２から画像データが古い方から順に読み出されて再生され、それにより、リアルタイム再生ではなく、画像が入力されるタイミングより遅いタイミングで入力画像を再生する遅延再生が行われる。
【００８９】
図１２には、本実施形態に従う画像表示装置２００において、画像再生制御のために、制御ユニット２０のＣＰＵ７０によって実行されるプログラムが、図１０と同様にして、フローチャートで概念的に表されている。以下、このプログラムを説明するが、図１０に示すプログラムとは異なるステップのみにつき、詳細に説明し、共通のステップについては、重複した説明を省略する。
【００９０】
ステップＳ１０６の判定がＮＯとなると、ステップＳ２０７において、画像信号入力回路１００から出力された入力画像がリアルタイムに遅延メモリ２０２に一時記憶される。続いて、ステップＳ２０８において、再生開始時点ｔ１から、遅延メモリ２０２の記憶可能時間Ｔ２と同じ時間が経過するのが待たれる。遅延メモリ２０２が画像データで満杯になるのが待たれるのである。時間Ｔ２が経過し、遅延メモリ２０２が画像データで満杯になると、ステップＳ２０９において、遅延メモリ２０２から最も古い画像データが読み出されて再生される。ある画像データが遅延メモリ２０２に記憶された時点から時間Ｔ２だだけ遅延するタイミングで、その画像データが再生され、それにより、遅延再生が行われるのである。その後、ステップＳ２１０において、今回再生された画像データが遅延メモリ２０２から消去される。続いて、ステップＳ１１１に進む。
【００９１】
以上の説明から明らかなように、本実施形態においては、制御ユニット２０のうち、ステップＳ１０６、Ｓ２０８、Ｓ２０９、Ｓ１１７、Ｓ１２０、Ｓ１１３およびＳ１１６を実行する部分が、通常再生部１１０を構成し、制御ユニット２０のうち、ステップＳ２１０およびＳ１１９を実行する部分が、第２消去部２１６（前記「遅延メモリ用消去部」の一例）を構成し、制御ユニット２０のうち、ステップＳ１０６、Ｓ２０７、Ｓ１１３およびＳ１１４を実行する部分が、一時記憶部２１２を構成している。
【００９２】
以上、本発明の実施形態のうちのいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【特許請求の範囲】
【請求項１】
画像信号に応じた画像を虚像である表示画像として観察者に表示するヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置であって、
前記画像信号が入力される入力部と、
その入力部から出力された画像信号により表される入力画像を再生する通常再生によって前記表示画像を形成する通常再生部と、
録画再生用メモリと、
その録画再生用メモリに前記入力画像を録画する録画部と、
前記録画再生用メモリから前記入力画像を読み出して再生する録画再生によって前記表示画像を形成する録画再生部と、
前記表示画像を表す画像光が観察者の眼に入射しない画像光不入射時であるか否かを判定する判定部と
を含み、
前記通常再生部は、少なくとも、前記画像光不入射時であるとの判定の開始時点から終了時点までの期間、前記通常再生を中止し、
前記録画部は、少なくとも、前記画像光不入射時であるとの判定の開始時点から、前記入力部から出力された入力画像を前記録画再生用メモリに録画し、
前記録画再生部は、前記画像光不入射時であるとの判定の終了時点から、前記録画再生用メモリに録画された前記入力画像を古い方から順に読み出して前記録画再生を行う画像表示装置。
【請求項２】
さらに、
前記録画再生用メモリに画像を記憶することが可能な記憶可能時間Ｔ１より短い記憶可能時間Ｔ２を有する遅延メモリと、
前記入力部から出力された前記入力画像を前記遅延メモリにリアルタイムに記憶させる一時記憶部と、
前記遅延メモリから読み出されて再生された画像を前記遅延メモリから消去する遅延メモリ用消去部と
を含み、
それにより、前記遅延メモリには、現時点から前記記憶可能時間Ｔ２と同じ長さだけ過去に戻った時点から現時点までに前記入力部から出力された前記入力画像が記憶され、
前記録画再生部は、前記移動が存在するとの判定の終了時点から、前記遅延メモリから画像を古い方から順に読み出して第１の録画再生を行い、その遅延メモリが空になった後に、前記録画再生メモリから画像を古い方から順に読み出して第２の録画再生を、前記第１の録画再生と連続するように行う請求項１に記載の画像表示装置。
【請求項３】
前記通常再生部は、前記遅延メモリから前記入力画像を、前記遅延再生用メモリへの記憶時点から、前記記憶可能時間Ｔ２と同じ時間だけ遅延するタイミングで読み出して再生する遅延再生を行う請求項２に記載の画像表示装置。
【請求項４】
さらに、前記録画再生部によって画像が再生されると、その再生された画像を古い方から順に前記録画再生用メモリから消去する録画再生用メモリ用消去部を含む請求項１ないし３のいずれかに記載の画像表示装置。
【請求項５】
前記判定部は、
前記ＨＭＤは前記画像光を正常に出射しているが観察者の眼が前記画像光を受光する状態にはないという第１条件と、
前記ＨＭＤが、それ自体は正常であるが、前記画像光を出射することができないという第２条件と、
前記ＨＭＤが、それ自体は正常であるが、前記画像光を受光することが観察者にとって不適切であるために前記ＨＭＤが前記画像光の出射を停止するという第３条件と、
前記ＨＭＤが、それ自体が異常であるために、前記画像光を出射することができないという第４条件と
のうちの少なくとも一つが成立すると、前記画像光不入射時であると判定する請求項１ないし４のいずれかに記載の画像表示装置。
【請求項６】
さらに、観察者の眼を撮像するカメラを含み、
前記判定部は、そのカメラによって撮像された画像に基づき、観察者の視線方向を推定し、その推定された視線方向に基づき、観察者の眼が前記画像光を受光する状態にあるか否かを判定する請求項１ないし５のいずれかに記載の画像表示装置。
【請求項７】
さらに、観察者の眼を撮像するカメラを含み、
前記判定部は、そのカメラによって撮像された画像に基づき、観察者の瞳孔位置を推定し、その推定された瞳孔位置に基づき、観察者の眼が前記画像光を受光する状態にあるか否かを判定する請求項１ないし５のいずれかに記載の画像表示装置。
【請求項１】
画像信号に応じた画像を虚像である表示画像として観察者に表示するヘッドマウントディスプレイ（ＨＭＤ）を有する画像表示装置であって、
前記画像信号が入力される入力部と、
その入力部から出力された画像信号により表される入力画像を再生する通常再生によって前記表示画像を形成する通常再生部と、
録画再生用メモリと、
その録画再生用メモリに前記入力画像を録画する録画部と、
前記録画再生用メモリから前記入力画像を読み出して再生する録画再生によって前記表示画像を形成する録画再生部と、
前記表示画像を表す画像光が観察者の眼に入射しない画像光不入射時であるか否かを判定する判定部と
を含み、
前記通常再生部は、少なくとも、前記画像光不入射時であるとの判定の開始時点から終了時点までの期間、前記通常再生を中止し、
前記録画部は、少なくとも、前記画像光不入射時であるとの判定の開始時点から、前記入力部から出力された入力画像を前記録画再生用メモリに録画し、
前記録画再生部は、前記画像光不入射時であるとの判定の終了時点から、前記録画再生用メモリに録画された前記入力画像を古い方から順に読み出して前記録画再生を行う画像表示装置。
【請求項２】
さらに、
前記録画再生用メモリに画像を記憶することが可能な記憶可能時間Ｔ１より短い記憶可能時間Ｔ２を有する遅延メモリと、
前記入力部から出力された前記入力画像を前記遅延メモリにリアルタイムに記憶させる一時記憶部と、
前記遅延メモリから読み出されて再生された画像を前記遅延メモリから消去する遅延メモリ用消去部と
を含み、
それにより、前記遅延メモリには、現時点から前記記憶可能時間Ｔ２と同じ長さだけ過去に戻った時点から現時点までに前記入力部から出力された前記入力画像が記憶され、
前記録画再生部は、前記移動が存在するとの判定の終了時点から、前記遅延メモリから画像を古い方から順に読み出して第１の録画再生を行い、その遅延メモリが空になった後に、前記録画再生メモリから画像を古い方から順に読み出して第２の録画再生を、前記第１の録画再生と連続するように行う請求項１に記載の画像表示装置。
【請求項３】
前記通常再生部は、前記遅延メモリから前記入力画像を、前記遅延再生用メモリへの記憶時点から、前記記憶可能時間Ｔ２と同じ時間だけ遅延するタイミングで読み出して再生する遅延再生を行う請求項２に記載の画像表示装置。
【請求項４】
さらに、前記録画再生部によって画像が再生されると、その再生された画像を古い方から順に前記録画再生用メモリから消去する録画再生用メモリ用消去部を含む請求項１ないし３のいずれかに記載の画像表示装置。
【請求項５】
前記判定部は、
前記ＨＭＤは前記画像光を正常に出射しているが観察者の眼が前記画像光を受光する状態にはないという第１条件と、
前記ＨＭＤが、それ自体は正常であるが、前記画像光を出射することができないという第２条件と、
前記ＨＭＤが、それ自体は正常であるが、前記画像光を受光することが観察者にとって不適切であるために前記ＨＭＤが前記画像光の出射を停止するという第３条件と、
前記ＨＭＤが、それ自体が異常であるために、前記画像光を出射することができないという第４条件と
のうちの少なくとも一つが成立すると、前記画像光不入射時であると判定する請求項１ないし４のいずれかに記載の画像表示装置。
【請求項６】
さらに、観察者の眼を撮像するカメラを含み、
前記判定部は、そのカメラによって撮像された画像に基づき、観察者の視線方向を推定し、その推定された視線方向に基づき、観察者の眼が前記画像光を受光する状態にあるか否かを判定する請求項１ないし５のいずれかに記載の画像表示装置。
【請求項７】
さらに、観察者の眼を撮像するカメラを含み、
前記判定部は、そのカメラによって撮像された画像に基づき、観察者の瞳孔位置を推定し、その推定された瞳孔位置に基づき、観察者の眼が前記画像光を受光する状態にあるか否かを判定する請求項１ないし５のいずれかに記載の画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２２２６３０（Ｐ２０１２−２２２６３０Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８６７９５（Ｐ２０１１−８６７９５）
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]