画像表示装置
【課題】観察者の観察位置が変化した場合においても、観察対象を観察位置に追従させることで視認性を向上させる。
【解決手段】本発明に係る画像表示装置は、画像を表示する表示部と、表示部を観察する観察者を撮像して撮像情報を出力する撮像部と、撮像部から出力される撮像情報に基づいて、観察者の瞳の空間位置を検出する瞳位置検出処理と、瞳位置検出処理で検出した観察者の瞳の空間位置が、表示部前側の所定空間内に入るように表示部から出射される光束の方向を調整する光束方向調整処理と、を実行する制御部と、を備えることを特徴とする。
【解決手段】本発明に係る画像表示装置は、画像を表示する表示部と、表示部を観察する観察者を撮像して撮像情報を出力する撮像部と、撮像部から出力される撮像情報に基づいて、観察者の瞳の空間位置を検出する瞳位置検出処理と、瞳位置検出処理で検出した観察者の瞳の空間位置が、表示部前側の所定空間内に入るように表示部から出射される光束の方向を調整する光束方向調整処理と、を実行する制御部と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者に対して画像を表示するための画像表示装置に関する。
【背景技術】
【０００２】
近年、射出瞳の大きな光学系を用いた網膜投影型の画像表示装置が提案されている。例えば、特許文献１や非特許文献１に示されているものである。このような画像表示装置は、射出瞳が大きいため、接眼鏡などの射出瞳が小さな光学系を覗くよりも観察者に負担が少ない。また、形状も薄型で携帯しやすいなどの利点もある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６０５１５２号公報
【非特許文献】
【０００４】
【非特許文献１】「Head up and head mounted display performance improvements through advanced techniques in the manipulation of light.」，Paul. L. Wisely.，SPIE Vol.7327，2009年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年、可搬型の情報処理装置が広く利用される中、特許文献１や非特許文献１に開示される射出瞳の大きい画像表示装置を適用することも考えられる。手持ち（可搬型）の情報処理装置を利用した場合、観察者の瞳に対する観察面が所定の位置関係でないと観察される像の一部が欠けてしまうことがある。
【課題を解決するための手段】
【０００６】
本発明は、このような観察位置が所定範囲に限られた観察対象の視認性の向上を図るものであって、
そのため、本発明に係る画像表示装置は、
画像を表示する表示部と、
前記表示部を観察する観察者を撮像して撮像情報を出力する撮像部と、
前記撮像部から出力される撮像情報に基づいて、観察者の瞳の空間位置を検出する瞳位置検出処理と、
前記瞳位置検出処理で検出した観察者の瞳の空間位置が、前記表示部前側の所定空間内に入るように前記表示部から出射される光束の方向を調整する光束方向調整処理と、を実行する制御部と、を備えることを特徴とする。
【発明の効果】
【０００７】
以上、本発明の画像表示装置によれば、観察者の観察位置が移動した場合においても、表示部から射出する光束の方向を調整することで、視認性の向上を図ることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に係る画像表示装置の構成を示す図
【図２】実施形態１に係る表示部の構成を示す斜視図
【図３】実施形態１に係る画像表示装置と観察者眼球の位置関係を示す図（ＹＺ面）
【図４】実施形態１に係る画像表示装置と観察者眼球の位置関係を示す図（ＸＹ面）
【図５】実施形態１に係る画像表示装置を手持ちする様子を示す図
【図６】実施形態１に係る射出瞳領域を説明するための図
【図７】実施形態１に係る射出瞳領域を説明するための斜視図
【図８】実施形態１に係る光束方向の調整を説明するための図
【図９】実施形態２に係る画像表示装置の構成を示す図
【発明を実施するための形態】
【０００９】
以下、本発明のある態様に係る画像表示装置の実施形態を図面に基づいて詳細に説明する。
【００１０】
（実施形態１）
図１は、実施形態１に係る画像表示装置の構成を示している。本実施形態に係る画像表示装置１００は、ユーザーに対して各種視覚的情報を提供する情報処理装置に組み込まれて利用される。本実施形態の画像表示装置１００は、画像表示素子３１、投影光学系３２、駆動部３３、表示部４０、制御部２０を主要な構成として有する。
【００１１】
画像表示素子３１は、二次元方向に画像を形成する素子であって、ＬＥＤ表示素子、液晶表示素子などを利用することが可能である。投影光学系３２は、１または複数のレンズで構成され、表示部４０に対して、画像表示素子３１に表示される画像を投影する。本実施形態では、この投影光学系３２を駆動する駆動部３３が設けられており、この駆動部３３にて投影光学系３２を移動させることで、表示部４０から射出される光束の方向が調整される。ここで、光束の方向とは、画像表示装置の表示面側の面に対する、光束の出射角度をいう。本実施形態の駆動部３３には、投影光学系３２をｘ方向に移動させるｘ方向アクチュエータ３３１、ｙ方向に移動させるｙ方向アクチュエータ３３２が使用されている。なお、このローカル座標系は、図に示すように、画像表示素子３１に垂直な光軸をｚ軸、ｚ軸に垂直な平面をｘｙ平面にとった場合に設定される座標系である。
【００１２】
表示部４０は、観察者に対して像を観察させる表示面４３を有して構成される。本実施形態では、表示面４３を有する導光板４２と、投影光学系３２から出射される像を導光板４２に入射させるプリズム４１を備えて構成されている。この導光板４２は、ホログラムなどの光学的回折素子４２１を間に有して構成されている。また、導光板４２は、投影光学系３２から出射され、プリズム４１から入射した入射光を内面にて繰り返し反射させる。ここで、光が光学的回折素子４２１を通過すると、光は光学的回折素子４２１により回折される。この結果、画像表示装置１００は、表示面４３にて観察者に観察させる観察像を形成する。なお、表示部４０は、表示面４３から画像を投影できるのであれば、他の態様であっても良い。例えば、表示素子とフレネルレンズを組み合わせて、表示部としても良い。
【００１３】
図２には、本実施形態の表示部４０について、観察者が像を観察する際の様子が示されている。画像表示素子３１、投影光学系３２を備える投影部３０から射出された光は、プリズム４１を介して導光板４２に入射され、導光板４２に設けられた表示面４３から出射されて観察像を形成する。図１はＹＺ平面について、画像表示装置１００の構成を示しているが、図２の斜視図からも分かるように、実際には、Ｙ方向のみならず、Ｘ方向にも導光板４２は広がりを有しており、Ｘ方向へも光が伝搬してＹ方向と同様に光が射出する。結果的に導光板４２全体から光束が射出するため、この画像表示装置は射出瞳の領域が大きく、観察者は画像表示装置に眼を近づけなくても全画角の光束を見渡すことができる。
【００１４】
撮像部１１は、ＣＣＤなどを用いて構成され、画像表示装置１００と同じ筐体上に設置されている。この撮像部１１にて観察者を撮像し、撮像して得られた撮像情報に基づいて制御装置２０が観察者の瞳の空間位置を検出する。すなわち画像表示装置１００に対する
観察者の瞳の相対位置関係を検出する手段として機能する。なお、撮像部１１は、常に観察者の瞳を検出することが好ましいが、短かい間隔で間歇的に、観察者の瞳を検出してもよい。
【００１５】
特に、この撮像部１１は、制御装置２０が検出した瞳に対してコントラスト法を用いて合焦する。制御部２０は、合焦結果に基づいて撮像部１１から観察者の瞳までの距離を計測することができる。具体的な仕組みとしては合焦により移動させた光学系の位置を検出し、あらかじめ内蔵してあるテーブルにて物体までの距離を検出する。これにより、制御部２０は、撮像部１１から観察者の瞳までの距離を計測することができる。このように本実施形態の制御部２０は、画像表示装置１００に対する観察者の瞳の空間（３次元）位置を検出することとしている。なお、撮像部１１の合焦距離を利用することに代えて、撮像部１１に２つのカメラを利用することで、観察者を立体撮像して瞳の空間位置を検出することとしてもよい。また、撮像部１１以外に超音波センサー、赤外線センサーなどの補助センサーを設け、画像表示装置１００から観察者の顔面までの距離を計測することで、瞳の空間位置を検出することとしてもよい。
【００１６】
撮像部１１として、２つのカメラ（以下「ステレオカメラ」と称する）を利用した観察者の瞳の空間位置検出は、以下のように実行される。ステレオカメラにて観察者を撮像し、コントラスト法で合焦し、２つのカメラそれぞれから撮像情報を取得する。２つの撮像情報間における瞳位置に対する視差、２つのカメラの光軸間距離（基線長）、カメラの焦点距離に基づき、三角測量の原理を使用することで、ステレオカメラから瞳位置までの距離を測定することが可能である。このようなステレオカメラを使用した距離測定については、例えば、特開平９−１２６７５９号公報に開示されているように、よく知られた技術であるため、その詳細については省略する。
【００１７】
本実施形態では、このように撮像部１１を用いて観察者の瞳を検出すると共に、撮像部１１から観察者の瞳までの距離、すなわち、画像表示装置から観察者の瞳までの距離を計測し、画像表示装置と観察者の瞳との相対位置関係を計測することとしている。制御部２０は、この計測結果に基づいて、駆動部３３を駆動して、投影光学系３２を移動させ、表示部４０の表示面から出射される光束方向を調整する制御を実行する。
【００１８】
では、撮像部１１による観察者の瞳位置の検出について図を用いて説明する。図３は、ＹＺ平面における画像表示装置１００、撮像部１１、表示部４０の位置関係を示した図であり、図４は、ＸＹ平面における観察者眼球１の移動例を示した図となっている。
【００１９】
撮像部１１にて得られた撮像情報に基づいて、撮像部１１に対する観察者眼球１の瞳の位置と、撮像部１１から瞳までの距離Ｌが分かる。また、図３に示されるように装置自体の構成から、
ｈ：表示面４３の中心線Ｃ１から撮像部１１までのＹ方向の距離
α：撮像部１１の撮像面の中心線Ｃ２と表示面４３の中心線Ｃ１とのなす角
が得られる。
ここで、表示面４３の中心線Ｃ１とは、表示面４３の上下、左右の座標中心を通り、表示面に垂直な線をいう。また、撮像部１１の撮像面の中心線とは、撮像部１１の撮影レンズの光軸を通る線をいう。
【００２０】
ここで、例えば図４に示されるように、観察者眼球１が撮影され、瞳１ａの位置が検出された場合を考えてみる。いま、瞳１ａの位置は撮像部１１に内蔵される撮像素子上でＸ方向の値を０、Ｙ方向の値をＹ１であるとする。
【００２１】
撮像部１１に取り付けられた撮影レンズの焦点距離ｆとＹ１の値から、撮像部１１の中
心線Ｃ２と、撮像部１１と観察者の瞳１ａを結ぶ線Ａとのなす角βは、次式で求められる。
β＝ｔａｎ-1（Ｙ１／ｆ）
ここで、
表示面４３の中心線Ｃ１から観察者の瞳までのＹ方向の距離をＤとすると、次式がなりたつ。
【００２２】
（ｈ−Ｄ）／Ｌ＝ｓｉｎ（α−β）
よって、Ｄは、
Ｄ＝ｈ−Ｌｓｉｎ（α−β）
で求めることができる。
【００２３】
また、表示面４３の中心から瞳までの中心線Ｃ１（Ｚ方向）上の距離Ｓは、
Ｓ＝Ｌｃｏｓ（α−β）
で求めることができる。
【００２４】
このようにＤ、Ｓを求めることで、画像表示装置に対して観察者の瞳が空間上どの位置にあるかを求めることが可能である。なお、上記説明では、観察者の瞳がＹ方向にずれている場合のみを説明したが、Ｘ方向についても同様の手法にて求めることが可能である。また、表示面４３の中心線Ｃ１や、撮像部１１の撮像面の中心線Ｃ２等を用いて、ｈやαを定義したが、画像表示装置に対して観察者の瞳が空間上どの位置にあるかを求めることができれば、他の基準線を用いてもよい。
【００２５】
では、このような画像表示装置の構成において、観察者に対して良好な表示画像を提供するための制御について説明する。図５は、本実施形態に係る画像表示装置が組み込まれた画像表示装置を手に持って利用するときの様子を示した図である。このような場合、画像表示装置と観察者の相対位置が所定の関係に保たれないと、画像表示装置に表示される画像を視認することが困難な場合がある。特に、高齢者が利用する場合には、筋力の低下などの理由から、ある程度重量のある画像表示装置を好適な位置に維持して保持することは困難な状況も考えられる。
【００２６】
図６は、画像表示装置１００の表示部４０と、表示部４０から射出する光束の様子を示した模式図である。図６の矢印は、表示面４３の各位置から出射される光束のうち、紙面に対して、最も上向きの光束と最も下向きの光束を模式的に描いている。例えば表示面４３のＡ点から出射された最も上向きの光束はＬ１、最も下向きの光束はＬ２で示されている。実際には、表示面４３の各位置から発散光が出射されるため、図示していない方向の角度であって、紙面に対して、最も上向きの光束と、最も下向きの光束と、の間に出射される光束も存在する。観察者は、観察者眼球１に届く光のみを知覚することができる。
【００２７】
ここで、表示面４３の各位置から光束が出射されているが、観察者眼球１に対して、同じ角度で入射する光束は、全て同じ情報を有し、異なる角度で入射する光束は、異なる情報を有している。すなわち、観察者が、表示面４３から出射される光束から全ての情報を得るには、表示面４３上の何れかの位置からの最も上向きの光束と、表示面４３上の何れかの最も下向きの光束と、観察者眼球１に届く必要がある。何故なら、このような条件を満たせば、表示面４３から出射された光束のうち、全ての角度からの光束が観察者眼球１に届くためである。
【００２８】
従って、表示部４３から出射される光束により表示される画像全体を見渡すためには、表示面４３から出射される全ての光束を含む位置、すなわち、最も上向きの光束の下方部と、最も下向きの光束の上方部の間の領域（斜線部）に観察者眼球１を位置させる必要が
ある。この図ではＹ方向について示しているが、Ｘ方向についても同様である。
【００２９】
図７は、図６に示す領域の様子を立体的に示した図であって、表示部４０の表示面側前方に四角錐の空間領域が形成されることとなる。観察者の瞳がこの四角錐の空間領域内に存在するときには、観察者は表示面４３から出射される光束により表示される画像全体を見渡すことが可能となる。一方、この空間領域外に位置するときには、画像の一部が欠けた状態で観察されることとなる。この空間領域を以後、射出瞳領域と呼ぶこととする。射出瞳領域は、表示面４３からの距離が長くなるにしたがって小さくなることが分かる。したがって、例えば、画像表示装置を手に持って使用する場合に、表示面４３と観察者眼球１からの距離が長くなると、表示面４３と平行な面内において射出瞳領域は狭くなる。このとき、常に、表示面４３から出射される光束により表示される画像全体を見るために、観察者眼球１を射出瞳領域に留めるには、腕や顔の位置を細かく調整しなければならない。そうすると、観察者の負担が増してしまう。
【００３０】
そのため、本実施形態では、検出された観察者の瞳の位置が、射出瞳領域に含まれるように制御することで、観察者の負担を軽減することとしている。では、この制御について図８を用いて説明する。
【００３１】
図８は、本実施形態において、観察者の瞳がＺ方向にＳ、Ｙ方向にＤだけずれた状態を示したものであり、射出瞳領域から外れた状態を示している。この場合、観察者は全画角の光束を見渡すことができない。
【００３２】
ここで、表示面４３の中心Ｃ１と瞳とを結ぶ線Ｂを考え、表示面４３の中心から射出した光束がＢに平行な光線となるようにすることで、観察者の瞳の中心に表示部４０の射出瞳の中心が移動し、観察者の瞳が射出瞳領域内に位置することとなり、観察者は全画角の光束を見渡すことができるようになる。なお、表示面４３から観察者の瞳までの距離が長い場合には、いくら出射される光束の方向を調整しても射出瞳領域内に入らないことが考えられる。そのような場合、表示部４０に観察者眼球をもっと近づけるようにメッセージを表示させる、音あるいは別途設けた表示灯（ＬＥＤ）などを用い、観察者に対して注意を喚起するようにしてもよい。
【００３３】
制御部２０は、撮像部１１からの撮像情報に含まれる画像情報と合焦情報に基づいて、観察者の瞳の空間位置を測定し、それをもとに駆動部３３を駆動して投影光学系３２を移動させ、表示面４３から射出される光束の向きを変化させて常に観察者が表示面４３全体を見渡せるようにする。
【００３４】
では、どのようにして観察者の瞳を射出瞳領域内に位置させるかを説明する。具体的には、表示面４３の中心から射出した光束がＢに平行な光線となるように制御することで実行される。
【００３５】
初期状態では、画像表示素子３１の中心から射出した光線は投影光学系３２を通ったあと、投影光学系３２の光軸に対して平行に射出される。一方、本実施形態では、投影光学系３２を移動させるための駆動部３３として２つのアクチュエータ３３１、３３２が設けられている。これらは、それぞれ投影光学系３２のローカル座標系のｘ方向、ｙ方向に投影光学系３２を移動させることが可能である。本実施形態では、撮像部１１で取得した撮像情報に基づいて観察者の瞳位置を検出し、瞳位置に応じて駆動部３３を制御することで、表示面４３の中心から出射した光束がＢに平行な光線となるようにしている。
【００３６】
ここで、表示面４３の中心線Ｃ１とＢとのなす角をγとすると、投影光学系３２をローカル座標系のｙ方向に距離ｄだけ移動させることで、画像表示素子３１の中心から射出し
た光線はＢと平行に射出されることとなる。
ただし、撮像部１１の焦点距離ｆとする場合、
ｄ＝ｆｔａｎγ
このように、撮像部１１にて観察者の瞳を検出し、表示部４０から射出される光束の向きを調整することで、例えば、手持ちの画像表示装置において、手ぶれが生じた場合にも観察者は画像全体を見渡すこと可能となる。
なお、実施形態１では、投影光学系３２の代わりに画像表示素子３１を移動させても同様な効果が得られる。
【００３７】
（実施形態２）
実施形態１においては、投影光学系３２を移動させることで、表示部４０の表示面４３から出射される光束方向を調整することとしていた。光束方向の調整は、この形態に限らず、表示面４３の方向（より具体的には、表示面４３に対する垂線の方向）を変化させることにて行うこととしてもよい。
【００３８】
図９は、本発明の実施形態（実施形態２）に係る画像表示装置の構成を示す図である。本実施形態では、表示部４０の表示面４３の方向を調整することで、表示面１２３からの光束の方向が調整される。なお、前述の実施形態と同符号の構成については、実質、同じ機能を有するものであるため、ここでの説明は省略する。本実施形態では、画像表示素子３１、投影光学系３２、プリズム４１と導光板４２を含む表示部４０は、第２筐体５２上に設置されている。そして、撮像部１１は、画像表示装置１００の第１筐体５１に設置されている。本実施形態では、第１筐体５１に対して、第２筐体５２の方向を変化させることで、表示面４３の向く方向を変化させることが可能である。
【００３９】
第１筐体５１に対して第２筐体５２の方向を変化変化させる駆動部は、第１筐体５１上に配置され、回転軸に歯車５５が設けられたサーボモーター５４、同じく第１筐体５１上に配置され、第２筐体５２に回転可能に接する滑車５３、第２筐体５２上に配置され、前述の歯車とかみ合うように配置されたピニオン５６を備えて構成されている。このような構成により、第２筐体５２は第１筐体５１に対し、図に示す回動中心を中心としてＹＺ平面内で回動し、表示面４３の方向を変化させることが可能となる。制御部２０は、撮像部１１から得られる撮像情報に基づいて、サーボモーター５４を駆動することで、表示面４３から出射される光束が、観察者眼球１の方向を向くように制御することが可能となる。なお、図示されている構成は、Ｘ軸を中心に回動する機構であるが、図示しないＹ軸を中心に回動する機構によって、Ｙ軸を中心に回動させることとしている。
【００４０】
本実施形態においても、図６で説明したように、観察者の瞳位置を検出して、表示部４０から出射される光束が線Ｂの方向を向くように制御することで、手に持っている画像表示装置１００に手ぶれが生じた場合であっても、観察者は広い表示領域を見渡すことができる。本実施形態では表示部４０から出射される光束の方向調整は、第１筐体５１に対して第２筐体を回動させることで行われる。制御部２０は、撮像部１１で観察者を撮影して得られた撮像情報から角度γを計算し、角度γに応じた制御信号をサーボモーター５４に出力することで第２筐体５２を回動させる。その結果、表示面４３から出射される光束は線Ｂの方向に近づき、観察者の瞳は射出瞳領域内に位置することとなる。
【００４１】
以上、本発明の種々の実施形態について説明したが、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００４２】
１１…撮像部、１２…撮影レンズ、２０…制御部、３０…投影部、３１…画像表示素子、
３２…投影光学系、３３１…ｘ方向アクチュエータ、３３２…ｙ方向アクチュエータ、３３…駆動部、４０…表示部、４１…プリズム、４２…導光板、４２１…光学的回折素子、４３…表示面、５１…第１筐体、５２…第２筐体、５３…滑車、５４…サーボモーター、５５…歯車、５６…ピニオン、１００…画像表示装置
【技術分野】
【０００１】
本発明は、観察者に対して画像を表示するための画像表示装置に関する。
【背景技術】
【０００２】
近年、射出瞳の大きな光学系を用いた網膜投影型の画像表示装置が提案されている。例えば、特許文献１や非特許文献１に示されているものである。このような画像表示装置は、射出瞳が大きいため、接眼鏡などの射出瞳が小さな光学系を覗くよりも観察者に負担が少ない。また、形状も薄型で携帯しやすいなどの利点もある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６０５１５２号公報
【非特許文献】
【０００４】
【非特許文献１】「Head up and head mounted display performance improvements through advanced techniques in the manipulation of light.」，Paul. L. Wisely.，SPIE Vol.7327，2009年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年、可搬型の情報処理装置が広く利用される中、特許文献１や非特許文献１に開示される射出瞳の大きい画像表示装置を適用することも考えられる。手持ち（可搬型）の情報処理装置を利用した場合、観察者の瞳に対する観察面が所定の位置関係でないと観察される像の一部が欠けてしまうことがある。
【課題を解決するための手段】
【０００６】
本発明は、このような観察位置が所定範囲に限られた観察対象の視認性の向上を図るものであって、
そのため、本発明に係る画像表示装置は、
画像を表示する表示部と、
前記表示部を観察する観察者を撮像して撮像情報を出力する撮像部と、
前記撮像部から出力される撮像情報に基づいて、観察者の瞳の空間位置を検出する瞳位置検出処理と、
前記瞳位置検出処理で検出した観察者の瞳の空間位置が、前記表示部前側の所定空間内に入るように前記表示部から出射される光束の方向を調整する光束方向調整処理と、を実行する制御部と、を備えることを特徴とする。
【発明の効果】
【０００７】
以上、本発明の画像表示装置によれば、観察者の観察位置が移動した場合においても、表示部から射出する光束の方向を調整することで、視認性の向上を図ることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に係る画像表示装置の構成を示す図
【図２】実施形態１に係る表示部の構成を示す斜視図
【図３】実施形態１に係る画像表示装置と観察者眼球の位置関係を示す図（ＹＺ面）
【図４】実施形態１に係る画像表示装置と観察者眼球の位置関係を示す図（ＸＹ面）
【図５】実施形態１に係る画像表示装置を手持ちする様子を示す図
【図６】実施形態１に係る射出瞳領域を説明するための図
【図７】実施形態１に係る射出瞳領域を説明するための斜視図
【図８】実施形態１に係る光束方向の調整を説明するための図
【図９】実施形態２に係る画像表示装置の構成を示す図
【発明を実施するための形態】
【０００９】
以下、本発明のある態様に係る画像表示装置の実施形態を図面に基づいて詳細に説明する。
【００１０】
（実施形態１）
図１は、実施形態１に係る画像表示装置の構成を示している。本実施形態に係る画像表示装置１００は、ユーザーに対して各種視覚的情報を提供する情報処理装置に組み込まれて利用される。本実施形態の画像表示装置１００は、画像表示素子３１、投影光学系３２、駆動部３３、表示部４０、制御部２０を主要な構成として有する。
【００１１】
画像表示素子３１は、二次元方向に画像を形成する素子であって、ＬＥＤ表示素子、液晶表示素子などを利用することが可能である。投影光学系３２は、１または複数のレンズで構成され、表示部４０に対して、画像表示素子３１に表示される画像を投影する。本実施形態では、この投影光学系３２を駆動する駆動部３３が設けられており、この駆動部３３にて投影光学系３２を移動させることで、表示部４０から射出される光束の方向が調整される。ここで、光束の方向とは、画像表示装置の表示面側の面に対する、光束の出射角度をいう。本実施形態の駆動部３３には、投影光学系３２をｘ方向に移動させるｘ方向アクチュエータ３３１、ｙ方向に移動させるｙ方向アクチュエータ３３２が使用されている。なお、このローカル座標系は、図に示すように、画像表示素子３１に垂直な光軸をｚ軸、ｚ軸に垂直な平面をｘｙ平面にとった場合に設定される座標系である。
【００１２】
表示部４０は、観察者に対して像を観察させる表示面４３を有して構成される。本実施形態では、表示面４３を有する導光板４２と、投影光学系３２から出射される像を導光板４２に入射させるプリズム４１を備えて構成されている。この導光板４２は、ホログラムなどの光学的回折素子４２１を間に有して構成されている。また、導光板４２は、投影光学系３２から出射され、プリズム４１から入射した入射光を内面にて繰り返し反射させる。ここで、光が光学的回折素子４２１を通過すると、光は光学的回折素子４２１により回折される。この結果、画像表示装置１００は、表示面４３にて観察者に観察させる観察像を形成する。なお、表示部４０は、表示面４３から画像を投影できるのであれば、他の態様であっても良い。例えば、表示素子とフレネルレンズを組み合わせて、表示部としても良い。
【００１３】
図２には、本実施形態の表示部４０について、観察者が像を観察する際の様子が示されている。画像表示素子３１、投影光学系３２を備える投影部３０から射出された光は、プリズム４１を介して導光板４２に入射され、導光板４２に設けられた表示面４３から出射されて観察像を形成する。図１はＹＺ平面について、画像表示装置１００の構成を示しているが、図２の斜視図からも分かるように、実際には、Ｙ方向のみならず、Ｘ方向にも導光板４２は広がりを有しており、Ｘ方向へも光が伝搬してＹ方向と同様に光が射出する。結果的に導光板４２全体から光束が射出するため、この画像表示装置は射出瞳の領域が大きく、観察者は画像表示装置に眼を近づけなくても全画角の光束を見渡すことができる。
【００１４】
撮像部１１は、ＣＣＤなどを用いて構成され、画像表示装置１００と同じ筐体上に設置されている。この撮像部１１にて観察者を撮像し、撮像して得られた撮像情報に基づいて制御装置２０が観察者の瞳の空間位置を検出する。すなわち画像表示装置１００に対する
観察者の瞳の相対位置関係を検出する手段として機能する。なお、撮像部１１は、常に観察者の瞳を検出することが好ましいが、短かい間隔で間歇的に、観察者の瞳を検出してもよい。
【００１５】
特に、この撮像部１１は、制御装置２０が検出した瞳に対してコントラスト法を用いて合焦する。制御部２０は、合焦結果に基づいて撮像部１１から観察者の瞳までの距離を計測することができる。具体的な仕組みとしては合焦により移動させた光学系の位置を検出し、あらかじめ内蔵してあるテーブルにて物体までの距離を検出する。これにより、制御部２０は、撮像部１１から観察者の瞳までの距離を計測することができる。このように本実施形態の制御部２０は、画像表示装置１００に対する観察者の瞳の空間（３次元）位置を検出することとしている。なお、撮像部１１の合焦距離を利用することに代えて、撮像部１１に２つのカメラを利用することで、観察者を立体撮像して瞳の空間位置を検出することとしてもよい。また、撮像部１１以外に超音波センサー、赤外線センサーなどの補助センサーを設け、画像表示装置１００から観察者の顔面までの距離を計測することで、瞳の空間位置を検出することとしてもよい。
【００１６】
撮像部１１として、２つのカメラ（以下「ステレオカメラ」と称する）を利用した観察者の瞳の空間位置検出は、以下のように実行される。ステレオカメラにて観察者を撮像し、コントラスト法で合焦し、２つのカメラそれぞれから撮像情報を取得する。２つの撮像情報間における瞳位置に対する視差、２つのカメラの光軸間距離（基線長）、カメラの焦点距離に基づき、三角測量の原理を使用することで、ステレオカメラから瞳位置までの距離を測定することが可能である。このようなステレオカメラを使用した距離測定については、例えば、特開平９−１２６７５９号公報に開示されているように、よく知られた技術であるため、その詳細については省略する。
【００１７】
本実施形態では、このように撮像部１１を用いて観察者の瞳を検出すると共に、撮像部１１から観察者の瞳までの距離、すなわち、画像表示装置から観察者の瞳までの距離を計測し、画像表示装置と観察者の瞳との相対位置関係を計測することとしている。制御部２０は、この計測結果に基づいて、駆動部３３を駆動して、投影光学系３２を移動させ、表示部４０の表示面から出射される光束方向を調整する制御を実行する。
【００１８】
では、撮像部１１による観察者の瞳位置の検出について図を用いて説明する。図３は、ＹＺ平面における画像表示装置１００、撮像部１１、表示部４０の位置関係を示した図であり、図４は、ＸＹ平面における観察者眼球１の移動例を示した図となっている。
【００１９】
撮像部１１にて得られた撮像情報に基づいて、撮像部１１に対する観察者眼球１の瞳の位置と、撮像部１１から瞳までの距離Ｌが分かる。また、図３に示されるように装置自体の構成から、
ｈ：表示面４３の中心線Ｃ１から撮像部１１までのＹ方向の距離
α：撮像部１１の撮像面の中心線Ｃ２と表示面４３の中心線Ｃ１とのなす角
が得られる。
ここで、表示面４３の中心線Ｃ１とは、表示面４３の上下、左右の座標中心を通り、表示面に垂直な線をいう。また、撮像部１１の撮像面の中心線とは、撮像部１１の撮影レンズの光軸を通る線をいう。
【００２０】
ここで、例えば図４に示されるように、観察者眼球１が撮影され、瞳１ａの位置が検出された場合を考えてみる。いま、瞳１ａの位置は撮像部１１に内蔵される撮像素子上でＸ方向の値を０、Ｙ方向の値をＹ１であるとする。
【００２１】
撮像部１１に取り付けられた撮影レンズの焦点距離ｆとＹ１の値から、撮像部１１の中
心線Ｃ２と、撮像部１１と観察者の瞳１ａを結ぶ線Ａとのなす角βは、次式で求められる。
β＝ｔａｎ-1（Ｙ１／ｆ）
ここで、
表示面４３の中心線Ｃ１から観察者の瞳までのＹ方向の距離をＤとすると、次式がなりたつ。
【００２２】
（ｈ−Ｄ）／Ｌ＝ｓｉｎ（α−β）
よって、Ｄは、
Ｄ＝ｈ−Ｌｓｉｎ（α−β）
で求めることができる。
【００２３】
また、表示面４３の中心から瞳までの中心線Ｃ１（Ｚ方向）上の距離Ｓは、
Ｓ＝Ｌｃｏｓ（α−β）
で求めることができる。
【００２４】
このようにＤ、Ｓを求めることで、画像表示装置に対して観察者の瞳が空間上どの位置にあるかを求めることが可能である。なお、上記説明では、観察者の瞳がＹ方向にずれている場合のみを説明したが、Ｘ方向についても同様の手法にて求めることが可能である。また、表示面４３の中心線Ｃ１や、撮像部１１の撮像面の中心線Ｃ２等を用いて、ｈやαを定義したが、画像表示装置に対して観察者の瞳が空間上どの位置にあるかを求めることができれば、他の基準線を用いてもよい。
【００２５】
では、このような画像表示装置の構成において、観察者に対して良好な表示画像を提供するための制御について説明する。図５は、本実施形態に係る画像表示装置が組み込まれた画像表示装置を手に持って利用するときの様子を示した図である。このような場合、画像表示装置と観察者の相対位置が所定の関係に保たれないと、画像表示装置に表示される画像を視認することが困難な場合がある。特に、高齢者が利用する場合には、筋力の低下などの理由から、ある程度重量のある画像表示装置を好適な位置に維持して保持することは困難な状況も考えられる。
【００２６】
図６は、画像表示装置１００の表示部４０と、表示部４０から射出する光束の様子を示した模式図である。図６の矢印は、表示面４３の各位置から出射される光束のうち、紙面に対して、最も上向きの光束と最も下向きの光束を模式的に描いている。例えば表示面４３のＡ点から出射された最も上向きの光束はＬ１、最も下向きの光束はＬ２で示されている。実際には、表示面４３の各位置から発散光が出射されるため、図示していない方向の角度であって、紙面に対して、最も上向きの光束と、最も下向きの光束と、の間に出射される光束も存在する。観察者は、観察者眼球１に届く光のみを知覚することができる。
【００２７】
ここで、表示面４３の各位置から光束が出射されているが、観察者眼球１に対して、同じ角度で入射する光束は、全て同じ情報を有し、異なる角度で入射する光束は、異なる情報を有している。すなわち、観察者が、表示面４３から出射される光束から全ての情報を得るには、表示面４３上の何れかの位置からの最も上向きの光束と、表示面４３上の何れかの最も下向きの光束と、観察者眼球１に届く必要がある。何故なら、このような条件を満たせば、表示面４３から出射された光束のうち、全ての角度からの光束が観察者眼球１に届くためである。
【００２８】
従って、表示部４３から出射される光束により表示される画像全体を見渡すためには、表示面４３から出射される全ての光束を含む位置、すなわち、最も上向きの光束の下方部と、最も下向きの光束の上方部の間の領域（斜線部）に観察者眼球１を位置させる必要が
ある。この図ではＹ方向について示しているが、Ｘ方向についても同様である。
【００２９】
図７は、図６に示す領域の様子を立体的に示した図であって、表示部４０の表示面側前方に四角錐の空間領域が形成されることとなる。観察者の瞳がこの四角錐の空間領域内に存在するときには、観察者は表示面４３から出射される光束により表示される画像全体を見渡すことが可能となる。一方、この空間領域外に位置するときには、画像の一部が欠けた状態で観察されることとなる。この空間領域を以後、射出瞳領域と呼ぶこととする。射出瞳領域は、表示面４３からの距離が長くなるにしたがって小さくなることが分かる。したがって、例えば、画像表示装置を手に持って使用する場合に、表示面４３と観察者眼球１からの距離が長くなると、表示面４３と平行な面内において射出瞳領域は狭くなる。このとき、常に、表示面４３から出射される光束により表示される画像全体を見るために、観察者眼球１を射出瞳領域に留めるには、腕や顔の位置を細かく調整しなければならない。そうすると、観察者の負担が増してしまう。
【００３０】
そのため、本実施形態では、検出された観察者の瞳の位置が、射出瞳領域に含まれるように制御することで、観察者の負担を軽減することとしている。では、この制御について図８を用いて説明する。
【００３１】
図８は、本実施形態において、観察者の瞳がＺ方向にＳ、Ｙ方向にＤだけずれた状態を示したものであり、射出瞳領域から外れた状態を示している。この場合、観察者は全画角の光束を見渡すことができない。
【００３２】
ここで、表示面４３の中心Ｃ１と瞳とを結ぶ線Ｂを考え、表示面４３の中心から射出した光束がＢに平行な光線となるようにすることで、観察者の瞳の中心に表示部４０の射出瞳の中心が移動し、観察者の瞳が射出瞳領域内に位置することとなり、観察者は全画角の光束を見渡すことができるようになる。なお、表示面４３から観察者の瞳までの距離が長い場合には、いくら出射される光束の方向を調整しても射出瞳領域内に入らないことが考えられる。そのような場合、表示部４０に観察者眼球をもっと近づけるようにメッセージを表示させる、音あるいは別途設けた表示灯（ＬＥＤ）などを用い、観察者に対して注意を喚起するようにしてもよい。
【００３３】
制御部２０は、撮像部１１からの撮像情報に含まれる画像情報と合焦情報に基づいて、観察者の瞳の空間位置を測定し、それをもとに駆動部３３を駆動して投影光学系３２を移動させ、表示面４３から射出される光束の向きを変化させて常に観察者が表示面４３全体を見渡せるようにする。
【００３４】
では、どのようにして観察者の瞳を射出瞳領域内に位置させるかを説明する。具体的には、表示面４３の中心から射出した光束がＢに平行な光線となるように制御することで実行される。
【００３５】
初期状態では、画像表示素子３１の中心から射出した光線は投影光学系３２を通ったあと、投影光学系３２の光軸に対して平行に射出される。一方、本実施形態では、投影光学系３２を移動させるための駆動部３３として２つのアクチュエータ３３１、３３２が設けられている。これらは、それぞれ投影光学系３２のローカル座標系のｘ方向、ｙ方向に投影光学系３２を移動させることが可能である。本実施形態では、撮像部１１で取得した撮像情報に基づいて観察者の瞳位置を検出し、瞳位置に応じて駆動部３３を制御することで、表示面４３の中心から出射した光束がＢに平行な光線となるようにしている。
【００３６】
ここで、表示面４３の中心線Ｃ１とＢとのなす角をγとすると、投影光学系３２をローカル座標系のｙ方向に距離ｄだけ移動させることで、画像表示素子３１の中心から射出し
た光線はＢと平行に射出されることとなる。
ただし、撮像部１１の焦点距離ｆとする場合、
ｄ＝ｆｔａｎγ
このように、撮像部１１にて観察者の瞳を検出し、表示部４０から射出される光束の向きを調整することで、例えば、手持ちの画像表示装置において、手ぶれが生じた場合にも観察者は画像全体を見渡すこと可能となる。
なお、実施形態１では、投影光学系３２の代わりに画像表示素子３１を移動させても同様な効果が得られる。
【００３７】
（実施形態２）
実施形態１においては、投影光学系３２を移動させることで、表示部４０の表示面４３から出射される光束方向を調整することとしていた。光束方向の調整は、この形態に限らず、表示面４３の方向（より具体的には、表示面４３に対する垂線の方向）を変化させることにて行うこととしてもよい。
【００３８】
図９は、本発明の実施形態（実施形態２）に係る画像表示装置の構成を示す図である。本実施形態では、表示部４０の表示面４３の方向を調整することで、表示面１２３からの光束の方向が調整される。なお、前述の実施形態と同符号の構成については、実質、同じ機能を有するものであるため、ここでの説明は省略する。本実施形態では、画像表示素子３１、投影光学系３２、プリズム４１と導光板４２を含む表示部４０は、第２筐体５２上に設置されている。そして、撮像部１１は、画像表示装置１００の第１筐体５１に設置されている。本実施形態では、第１筐体５１に対して、第２筐体５２の方向を変化させることで、表示面４３の向く方向を変化させることが可能である。
【００３９】
第１筐体５１に対して第２筐体５２の方向を変化変化させる駆動部は、第１筐体５１上に配置され、回転軸に歯車５５が設けられたサーボモーター５４、同じく第１筐体５１上に配置され、第２筐体５２に回転可能に接する滑車５３、第２筐体５２上に配置され、前述の歯車とかみ合うように配置されたピニオン５６を備えて構成されている。このような構成により、第２筐体５２は第１筐体５１に対し、図に示す回動中心を中心としてＹＺ平面内で回動し、表示面４３の方向を変化させることが可能となる。制御部２０は、撮像部１１から得られる撮像情報に基づいて、サーボモーター５４を駆動することで、表示面４３から出射される光束が、観察者眼球１の方向を向くように制御することが可能となる。なお、図示されている構成は、Ｘ軸を中心に回動する機構であるが、図示しないＹ軸を中心に回動する機構によって、Ｙ軸を中心に回動させることとしている。
【００４０】
本実施形態においても、図６で説明したように、観察者の瞳位置を検出して、表示部４０から出射される光束が線Ｂの方向を向くように制御することで、手に持っている画像表示装置１００に手ぶれが生じた場合であっても、観察者は広い表示領域を見渡すことができる。本実施形態では表示部４０から出射される光束の方向調整は、第１筐体５１に対して第２筐体を回動させることで行われる。制御部２０は、撮像部１１で観察者を撮影して得られた撮像情報から角度γを計算し、角度γに応じた制御信号をサーボモーター５４に出力することで第２筐体５２を回動させる。その結果、表示面４３から出射される光束は線Ｂの方向に近づき、観察者の瞳は射出瞳領域内に位置することとなる。
【００４１】
以上、本発明の種々の実施形態について説明したが、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００４２】
１１…撮像部、１２…撮影レンズ、２０…制御部、３０…投影部、３１…画像表示素子、
３２…投影光学系、３３１…ｘ方向アクチュエータ、３３２…ｙ方向アクチュエータ、３３…駆動部、４０…表示部、４１…プリズム、４２…導光板、４２１…光学的回折素子、４３…表示面、５１…第１筐体、５２…第２筐体、５３…滑車、５４…サーボモーター、５５…歯車、５６…ピニオン、１００…画像表示装置
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
前記表示部を観察する観察者を撮像して撮像情報を出力する撮像部と、
前記撮像部から出力される撮像情報に基づいて、観察者の瞳の空間位置を検出する瞳位置検出処理と、前記瞳位置検出処理で検出した観察者の瞳の空間位置が、前記表示部前側の所定空間内に入るように前記表示部から出射される光束の方向を調整する光束方向調整処理と、を実行する制御部と、を備えることを特徴とする
画像表示装置。
【請求項２】
前記表示部前側の所定空間は、前記表示部の射出瞳領域であることを特徴とする
請求項１に記載の画像表示装置。
【請求項３】
前記表示部は、光を導光する導光板を有することを特徴とする
請求項１または請求項２に記載の画像表示装置。
【請求項４】
前記表示部は、画像表示素子と、前記画像表示素子から出射される光を前記導光板に入射させる投影光学系を備え、
前記投影光学系の位置を移動させる駆動部を備え、
前記制御部が実行する前記光束方向調整処理は、前記駆動部により前記投影光学系を移動させることで、前記表示部から出射される光束の方向を調整することを特徴とする
請求項３に記載の画像表示装置。
【請求項５】
前記表示部は、画像表示素子と、前記画像表示素子から出射される光を前記導光板に入射させる投影光学系を備え、
前記画像表示素子の位置を移動させる駆動部を備え、
前記制御部が実行する前記光束方向調整処理は、前記駆動部により前記画像表示素子を移動させることで、前記表示部から出射される光束の方向を調整することを特徴とする
請求項３に記載の画像表示装置。
【請求項６】
前記光束方向調整処理は、前記表示部の方向を変更することで、前記表示部から出射される光束の方向を調整することを特徴とする
請求項１に記載の画像表示装置。
【請求項７】
前記瞳位置検出処理は、前記撮像部の合焦距離に基づいて、観察者の瞳の空間位置を検出することを特徴とする
請求項１から請求項６の何れか１項に記載の画像表示装置。
【請求項８】
前記撮像部は、ステレオカメラであり、
前記瞳位置検出処理は、ステレオカメラから出力される複数の撮像情報に基づいて、観察者の瞳の空間位置を検出することを特徴とする
請求項１から請求項７の何れか１項に記載の画像表示装置。
【請求項１】
画像を表示する表示部と、
前記表示部を観察する観察者を撮像して撮像情報を出力する撮像部と、
前記撮像部から出力される撮像情報に基づいて、観察者の瞳の空間位置を検出する瞳位置検出処理と、前記瞳位置検出処理で検出した観察者の瞳の空間位置が、前記表示部前側の所定空間内に入るように前記表示部から出射される光束の方向を調整する光束方向調整処理と、を実行する制御部と、を備えることを特徴とする
画像表示装置。
【請求項２】
前記表示部前側の所定空間は、前記表示部の射出瞳領域であることを特徴とする
請求項１に記載の画像表示装置。
【請求項３】
前記表示部は、光を導光する導光板を有することを特徴とする
請求項１または請求項２に記載の画像表示装置。
【請求項４】
前記表示部は、画像表示素子と、前記画像表示素子から出射される光を前記導光板に入射させる投影光学系を備え、
前記投影光学系の位置を移動させる駆動部を備え、
前記制御部が実行する前記光束方向調整処理は、前記駆動部により前記投影光学系を移動させることで、前記表示部から出射される光束の方向を調整することを特徴とする
請求項３に記載の画像表示装置。
【請求項５】
前記表示部は、画像表示素子と、前記画像表示素子から出射される光を前記導光板に入射させる投影光学系を備え、
前記画像表示素子の位置を移動させる駆動部を備え、
前記制御部が実行する前記光束方向調整処理は、前記駆動部により前記画像表示素子を移動させることで、前記表示部から出射される光束の方向を調整することを特徴とする
請求項３に記載の画像表示装置。
【請求項６】
前記光束方向調整処理は、前記表示部の方向を変更することで、前記表示部から出射される光束の方向を調整することを特徴とする
請求項１に記載の画像表示装置。
【請求項７】
前記瞳位置検出処理は、前記撮像部の合焦距離に基づいて、観察者の瞳の空間位置を検出することを特徴とする
請求項１から請求項６の何れか１項に記載の画像表示装置。
【請求項８】
前記撮像部は、ステレオカメラであり、
前記瞳位置検出処理は、ステレオカメラから出力される複数の撮像情報に基づいて、観察者の瞳の空間位置を検出することを特徴とする
請求項１から請求項７の何れか１項に記載の画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−６５００１（Ｐ２０１３−６５００１Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１２−１８８２６２（Ｐ２０１２−１８８２６２）
【出願日】平成２４年８月２９日（２０１２．８．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２４年８月２９日（２０１２．８．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]