表示装置
【課題】優れた視認性を有する映像を表示することができる表示装置を提供する。
【解決手段】頭部もしくは顔前に装着される表示装置２であって、表示映像を表示する表示部１６と、前記表示部に表示された前記表示映像を観察者の眼球に投映する接眼光学系２２と、撮像光学系を介した被写体光を撮像する撮像部２６と、前記撮像部において撮像された画像の色要素に基づいて前記表示部に表示されている前記表示映像の色要素の補正を行う画像処理部５０とを備え、前記撮像光学系の物側焦点位置と前記接眼光学系により使用者が前記表示映像を視認する仮想焦点位置とが略同一である。
【解決手段】頭部もしくは顔前に装着される表示装置２であって、表示映像を表示する表示部１６と、前記表示部に表示された前記表示映像を観察者の眼球に投映する接眼光学系２２と、撮像光学系を介した被写体光を撮像する撮像部２６と、前記撮像部において撮像された画像の色要素に基づいて前記表示部に表示されている前記表示映像の色要素の補正を行う画像処理部５０とを備え、前記撮像光学系の物側焦点位置と前記接眼光学系により使用者が前記表示映像を視認する仮想焦点位置とが略同一である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に関するものである。
【背景技術】
【０００２】
頭部や顔前に装着し、映像を観察することができる表示装置が知られている（例えば、特許文献１参照）。この表示装置によれば、撮像部により撮像された画像データに基づいて表示映像に色要素の補正を行うことにより表示映像の視認性を向上させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６５７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この表示装置においては、色要素の補正を行う基となる画像データと実際に視認されるシーンのピントが異なるため、色要素の補正を行った表示映像が不自然に観察されるという問題があった。
【０００５】
本発明の目的は、優れた視認性を有する映像を表示することができる表示装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の表示装置は、頭部もしくは顔前に装着される表示装置であって、表示映像を表示する表示部と、前記表示部に表示された前記表示映像を観察者の眼球に投映する接眼光学系と、撮像光学系を介した被写体光を撮像する撮像部と、前記撮像部において撮像された画像の色要素に基づいて前記表示部に表示されている前記表示映像の色要素の補正を行う画像処理部とを備え、前記撮像光学系の物側焦点位置と前記接眼光学系により使用者が前記表示映像を視認する仮想焦点位置とが略同一であることを特徴とする。
【発明の効果】
【０００７】
本発明の表示装置によれば、優れた視認性を有する映像を表示することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態に係るヘッドマウントディスプレイのシステム構成を示すブロック図である。
【図２】第１の実施の形態に係るヘッドマウントディスプレイにおける映像観察の概略を示す模式図である。
【図３】第１の実施の形態に係るヘッドマウントディスプレイにおける撮像画像を示す模式図である。
【図４】第１の実施の形態に係るヘッドマウントディスプレイの処理を示すフローチャートである。
【図５】第２の実施の形態に係るヘッドマウントディスプレイのシステム構成を示すブロック図である。
【図６】第２の実施の形態に係るヘッドマウントディスプレイの処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の第１の実施の形態に係るヘッドマウントディスプレイについて説明する。図１は、第１の実施の形態に係るヘッドマウントディスプレイのシステム構成を示すブロック図である。ヘッドマウントディスプレイ２は二つの音声出力部４，６を有し、これらは図示しない連結部で連結されている。また、音声出力部４には図示しない回動軸を介して支持アーム１２が取り付けられ、支持アーム１２の先端部には表示部１４が取り付けられている。
【００１０】
ここで表示部１４内には、ＤＶＤ、ビデオ等のコンテンツ映像や、例えばサービスマニュアルの文書や図面等の線画像を表示するＬＣＤ表示部１６、ＬＣＤ表示部１６の背面から照明光を照射するバックライト１８、ＬＣＤ表示部１６に表示された映像が空中に拡大投映されているかのような虚像の観察を可能とする接眼光学系２２が配置されている。また表示部１４には、撮像光学系を介した被写体光を撮像して撮像信号を生成するＣＭＯＳ、ＣＣＤ等を備えるシーン撮像用カメラ２６が設けられている。なお、シーン撮像用カメラ２６の撮像光学系の物側焦点位置は、後述する仮想表示位置８６（図２参照）に固定されている。
【００１１】
ヘッドマウントディスプレイ２はＣＰＵ５０を備え、ＣＰＵ５０には、シーン撮像用カメラ２６、映像表示ボタン、音量調整ボタン等を備える操作部５２、ＬＣＤ表示部１６を駆動するＬＣＤ駆動部５４、シーン撮像用カメラ２６から出力された撮像信号を図示しないＡ／Ｄ変換部においてＡ／Ｄ変換することにより生成された画像データを記憶する記憶部５６、ＤＶＤ、ビデオ等のコンテンツ映像、図面、線画像等の映像データを記憶するメモリカード５８、バックライト１８を駆動するバックライト駆動部６２、映像データに色要素の補正を行う画像処理部６４、スピーカＳＲ、ＳＬが接続されている。
【００１２】
図２は、第１の実施の形態に係るヘッドマウントディスプレイにおける映像観察の概略を示す模式図である。本実施の形態におけるヘッドマウントディスプレイ２は、観察者が接眼光学系２２を介してＬＣＤ表示部１６に表示されている表示映像８０を観察することができ、かつＬＣＤ表示部１６を透視して外界のシーン８２を観察することが可能なシースルー光学系を採用している。このシースルー光学系においては、観察者の眼球８４の焦点が仮想表示位置８６に合わせられるため、外界のシーン８２は焦点が合わない状態で観察されることになる。例えば、観察者は視認映像８８のように、表示映像８０である「Ａ」には焦点が合っているが、外界のシーン８２である立木には焦点が合っていない映像を観察することになる。ここで、シースルー光学系において観察される視認映像８８は外界光の影響を大きく受けるため、表示映像８０の色要素が外界のシーン８２の色要素に近似する場合には、視認映像８８中の「Ａ」は観察者にとって極めて不鮮明な映像となることが多い。したがって、このような場合には、観察者が鮮明な視認映像８８を観察できるようにするために、表示映像８０の映像データに対して色要素の補正等の適確な画像処理を行う必要がある。
【００１３】
図３は、第１の実施の形態に係るヘッドマウントディスプレイにおける撮像画像を示す模式図である。ヘッドマウントディスプレイ２は、表示映像８０に対して画像処理を行う際に使用する画像を撮像するために、シーン撮像用カメラ２６を備える。このシーン撮像用カメラ２６において、シーン位置９０に撮像光学系の物側焦点を合わせて外界のシーン８２を撮像した場合には鮮明な画像９２が撮像され、仮想表示位置８６に物側焦点を合わせて外界のシーン８２を撮像した場合にはボケた画像９４が撮像される。ここで、鮮明な画像９２とボケた画像９４では画像要素を構成する色要素が相違するため、眼球８４の焦点位置である仮想表示位置８６とは異なるシーン位置に焦点を合せた鮮明な画像９２に基づいて表示映像８０の映像データに対して色要素の補正を行った場合、補正後の表示映像８０は観察者が不自然に感じる映像となるおそれがある。したがって、適切な画像処理を行うためには、眼球８４の焦点位置である仮想表示位置８６に物側焦点を合せて撮像したボケた画像９４に基づいて色要素の補正を行う必要がある。このボケた画像９４を取得するために、シーン撮像用カメラ２６の撮像光学系の物側焦点は仮想表示位置８６に固定されている。
【００１４】
また、眼球８４で観察される外界のシーン８２のボケ量は瞳孔の大きさで決定される。外界が明るい場合には瞳孔が収縮してボケ量が小さくなり、暗い場合には瞳孔が開大してボケ量が大きくなる。そのため、観察者の眼球８４の瞳孔径を考慮せずシーン撮像用カメラ２６において撮像を行い、撮像された画像に基づいて表示映像８０の映像データに対して色要素の補正を行った場合、補正後の表示映像８０は観察者が不自然と感じる映像となるおそれがある。したがって、観察者が観察する外界のシーン８２と同等のボケ量の画像を取得するために、シーン撮像用カメラ２６の撮像光学系における絞りの開口径を観察者の眼球８４の瞳孔径と連動させ、瞳孔径の変化に応じて絞りの開口径を決定した後に外界のシーン８２の撮像を行う。
【００１５】
次に、図４に示すフローチャートを参照して第１の実施の形態に係るヘッドマウントディスプレイの処理について説明する。ヘッドマウントディスプレイ２の図示しない電源をオンにするとＣＰＵ５０が起動し、ＣＰＵ５０は、シーン撮像用カメラ２６の撮像光学系の絞りの開口径を決定する（ステップＳ１１）。即ち、ＣＰＵ５０は、シーン撮像用カメラ２６により受光する光量に基づいて被写体の明るさを算出し、この明るさに基づいて瞳孔径を推定し、絞りの開口径を決定する。そしてＣＰＵ５０は、図示しない絞り駆動部を制御してシーン撮像用カメラ２６の撮像光学系の絞りの開口径を調節する（ステップＳ１３）。次に、シーン撮像用カメラ２６により外界のシーンの撮像を行う（ステップＳ１５）。次に、ＣＰＵ５０は、メモリカード５８から表示映像８０の映像データを読み出し、画像処理部６４において表示映像８０に対して色要素の補正を行う（ステップＳ１７）。即ち、シーン撮像用カメラ２６において撮像を行った画像の画像データに基づいて表示映像８０の映像データに対して、表示映像８０が鮮明になるように色要素の補正を行う。次に、ＣＰＵ５０は、ＬＣＤ駆動部５４及びバックライト駆動部６２に対して駆動開始の指示を行い、バックライト１８を点灯させると共に、ＬＣＤ表示部１６に補正後の表示映像を表示する（ステップＳ１９）。
【００１６】
この第１の実施の形態に係るヘッドマウントディスプレイ２によれば、観察者の眼球８４の瞳孔の大きさに対応させてシーン撮像用カメラ２６の撮像光学系の絞り開口径を調節し、かつ仮想表示位置８６に物側焦点を合わせて撮像した画像の画像データに基づいて表示映像８０の映像データに対して色要素の補正を行うことにより、優れた視認性を有する映像を表示することができる。
【００１７】
次に、図面を参照して本発明の第２の実施の形態に係るヘッドマウントディスプレイについて説明する。この第２の実施の形態に係るヘッドマウントディスプレイ２００は、第１の実施の形態に係るヘッドマウントディスプレイ２のようにシースルー光学系ではなく、表示映像８０を左眼で観察し、右眼で直接外界のシーン８２を観察する単眼式のヘッドマウントディスプレイである。図２においてシースルー光学系を例に映像観察の概略を説明したが、本実施の形態に係るヘッドマウントディスプレイにおいても、左眼でレンズ１９を介して観察する表示映像８０は、右眼で直接観察する外界のシーン８２の影響を受けるため、極めて不鮮明に視認されることがある。そのため、第１の実施の形態と同様に表示映像８０に対して適確な画像処理を行う必要がある。なお、本実施の形態の説明においては、第１の実施の形態と同一の構成についての詳細な説明は省略し、異なる部分のみについて詳細に説明する。また、第１の実施の形態と同一の構成には同一の符号を付して説明する。
【００１８】
図５は第２の実施の形態に係るヘッドマウントディスプレイのシステム構成を示すブロック図である。表示部１４にはＬＣＤ表示部１６に表示される画像を反射するミラー１７と、ミラー１７で反射された画像のサイズを調整するレンズ１９が備えられている。また、音声出力部６には、図示しない回動軸を介して支持アーム１３が取り付けられ、支持アーム１３の先端部には、観察者の瞳孔の大きさを計測するために用いる瞳孔撮像用カメラ２８が取り付けられている。
【００１９】
次に、図６に示すフローチャートを参照して第２の実施の形態に係るヘッドマウントディスプレイの処理について説明する。この第２の実施の形態に係るヘッドマウントディスプレイ２００においては、ヘッドマウントディスプレイ２００の図示しない電源をオンにするとＣＰＵ５０が起動し、ＣＰＵ５０は、シーン撮像用カメラ２６の撮像光学系の絞りの開口径を決定する（ステップＳ４１）。即ち、ＣＰＵ５０は、瞳孔撮像用カメラ２８により観察者の眼球８４を撮像する。ＣＰＵ５０は、眼球８４の画像に基づいての瞳孔径を計測し、計測した瞳孔径に基づいてシーン撮像用カメラ２６の撮像光学系の絞りの開口径を決定する。そして、ＣＰＵ５０は、図示しない絞り駆動部を制御してシーン撮像用カメラ２６の撮像光学系の絞りの開口径を調節する（ステップＳ４３）。次に、シーン撮像用カメラ２６により外界のシーンの撮像を行う（ステップＳ４５）。次に、ＣＰＵ５０は、メモリカード５８から表示映像８０の映像データを読み出し、画像処理部６４において表示映像８０に対して色要素の補正を行う（ステップＳ４７）。即ち、シーン撮像用カメラ２６において撮像を行った画像の画像データに基づいて表示映像８０の映像データに対して、表示映像８０が鮮明になるように色要素の補正を行う。次に、ＣＰＵ５０は、ＬＣＤ駆動部５４及びバックライト駆動部６２に対して駆動開始の指示を行い、バックライト１８を点灯させると共に、ＬＣＤ表示部１６に補正後の表示映像を表示する（ステップＳ４９）。
【００２０】
この第２の実施の形態に係るヘッドマウントディスプレイ２００によれば、観察者の眼球８４の瞳孔の大きさに対応させてシーン撮像用カメラ２６の撮像光学系の絞り開口径を調節し、かつ仮想表示位置８６に物側焦点を合わせて撮像した画像の画像データに基づいて表示映像８０の映像データに対して色要素の補正を行うことにより、優れた視認性を有する映像を表示することができる。
【００２１】
なお、上述の実施の形態においては、シーン撮像用カメラ２６の撮像光学系の物側焦点位置が一定の仮想表示位置８６に固定されているが、接眼光学系２２の光軸方向の位置及びシーン撮像用カメラ２６の撮像光学系の物側焦点位置を可変として、その位置が異なる場合は警告を表示するようにしてもよい。また、接眼光学系２２の光軸方向の位置を変化させ、これと連動させて撮像光学系の物側焦点位置を変化させるようにしてもよい。即ち、接眼光学系２２及びシーン撮像用カメラ２６に焦点調節機構を設け、両調節機構を図示しないギアで連結することにより連動を可能としてもよい。例えば、観察者が接眼光学系２２の光軸方向の位置を調節することにより仮想表示位置８６を変更するとギアが回動し、これに連動してシーン撮像用カメラ２６の物側焦点位置が変更後の仮想表示位置８６に合わせられるようにしてもよい。また、図示しないエンコーダを用いて検出した接眼光学系２２の光軸方向の位置に基づいて仮想表示位置８６を検出し、この仮想表示位置８６にシーン撮像用カメラ２６の撮像光学系の物側焦点位置を合わせるようにしてもよい。これにより、観察者が接眼光学系２２の光軸方向の位置を調節して仮想表示位置８６を変更した場合に、変更した仮想表示位置８６にシーン撮像用カメラ２６の撮像光学系の物側焦点位置を合わせることができる。
【００２２】
また、上述の実施の形態において、シーン撮像用カメラ２６の撮像光学系の絞りの開口径を決定する際に輝度センサを用いてもよい。この場合には、輝度センサにより被写体の輝度を取得し、取得した輝度に基づいて瞳孔径を推定し、推定した瞳孔径に基づいて絞りの開口径を決定する。
【００２３】
また、第１の実施の形態においては、シーン撮像用カメラ２６により受光する光量に基づいて被写体の明るさを算出し、この明るさに基づいて瞳孔径を推定しているが、瞳孔撮像用カメラ２８を用いてもよい。この場合、視認映像８８を観察する側の眼球８４の瞳孔径を計測することができる位置に配置することが好ましい。これにより、シースルー光学系のヘッドマウントディスプレイ２においても直接瞳孔の大きさを計測することができる。
【符号の説明】
【００２４】
２、２００…ヘッドマウントディスプレイ、４、６…音声出力部、１２…支持アーム、１４…表示部、１６…ＬＣＤ表示部、１８…バックライト、２２…接眼光学系、２６…シーン撮像用カメラ、５０…ＣＰＵ、５２…操作部、５４…ＬＣＤ駆動部、５６…記憶部、５８…メモリカード、６２…バックライト駆動部、６４…画像処理部。
【技術分野】
【０００１】
本発明は、表示装置に関するものである。
【背景技術】
【０００２】
頭部や顔前に装着し、映像を観察することができる表示装置が知られている（例えば、特許文献１参照）。この表示装置によれば、撮像部により撮像された画像データに基づいて表示映像に色要素の補正を行うことにより表示映像の視認性を向上させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６５７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この表示装置においては、色要素の補正を行う基となる画像データと実際に視認されるシーンのピントが異なるため、色要素の補正を行った表示映像が不自然に観察されるという問題があった。
【０００５】
本発明の目的は、優れた視認性を有する映像を表示することができる表示装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の表示装置は、頭部もしくは顔前に装着される表示装置であって、表示映像を表示する表示部と、前記表示部に表示された前記表示映像を観察者の眼球に投映する接眼光学系と、撮像光学系を介した被写体光を撮像する撮像部と、前記撮像部において撮像された画像の色要素に基づいて前記表示部に表示されている前記表示映像の色要素の補正を行う画像処理部とを備え、前記撮像光学系の物側焦点位置と前記接眼光学系により使用者が前記表示映像を視認する仮想焦点位置とが略同一であることを特徴とする。
【発明の効果】
【０００７】
本発明の表示装置によれば、優れた視認性を有する映像を表示することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態に係るヘッドマウントディスプレイのシステム構成を示すブロック図である。
【図２】第１の実施の形態に係るヘッドマウントディスプレイにおける映像観察の概略を示す模式図である。
【図３】第１の実施の形態に係るヘッドマウントディスプレイにおける撮像画像を示す模式図である。
【図４】第１の実施の形態に係るヘッドマウントディスプレイの処理を示すフローチャートである。
【図５】第２の実施の形態に係るヘッドマウントディスプレイのシステム構成を示すブロック図である。
【図６】第２の実施の形態に係るヘッドマウントディスプレイの処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の第１の実施の形態に係るヘッドマウントディスプレイについて説明する。図１は、第１の実施の形態に係るヘッドマウントディスプレイのシステム構成を示すブロック図である。ヘッドマウントディスプレイ２は二つの音声出力部４，６を有し、これらは図示しない連結部で連結されている。また、音声出力部４には図示しない回動軸を介して支持アーム１２が取り付けられ、支持アーム１２の先端部には表示部１４が取り付けられている。
【００１０】
ここで表示部１４内には、ＤＶＤ、ビデオ等のコンテンツ映像や、例えばサービスマニュアルの文書や図面等の線画像を表示するＬＣＤ表示部１６、ＬＣＤ表示部１６の背面から照明光を照射するバックライト１８、ＬＣＤ表示部１６に表示された映像が空中に拡大投映されているかのような虚像の観察を可能とする接眼光学系２２が配置されている。また表示部１４には、撮像光学系を介した被写体光を撮像して撮像信号を生成するＣＭＯＳ、ＣＣＤ等を備えるシーン撮像用カメラ２６が設けられている。なお、シーン撮像用カメラ２６の撮像光学系の物側焦点位置は、後述する仮想表示位置８６（図２参照）に固定されている。
【００１１】
ヘッドマウントディスプレイ２はＣＰＵ５０を備え、ＣＰＵ５０には、シーン撮像用カメラ２６、映像表示ボタン、音量調整ボタン等を備える操作部５２、ＬＣＤ表示部１６を駆動するＬＣＤ駆動部５４、シーン撮像用カメラ２６から出力された撮像信号を図示しないＡ／Ｄ変換部においてＡ／Ｄ変換することにより生成された画像データを記憶する記憶部５６、ＤＶＤ、ビデオ等のコンテンツ映像、図面、線画像等の映像データを記憶するメモリカード５８、バックライト１８を駆動するバックライト駆動部６２、映像データに色要素の補正を行う画像処理部６４、スピーカＳＲ、ＳＬが接続されている。
【００１２】
図２は、第１の実施の形態に係るヘッドマウントディスプレイにおける映像観察の概略を示す模式図である。本実施の形態におけるヘッドマウントディスプレイ２は、観察者が接眼光学系２２を介してＬＣＤ表示部１６に表示されている表示映像８０を観察することができ、かつＬＣＤ表示部１６を透視して外界のシーン８２を観察することが可能なシースルー光学系を採用している。このシースルー光学系においては、観察者の眼球８４の焦点が仮想表示位置８６に合わせられるため、外界のシーン８２は焦点が合わない状態で観察されることになる。例えば、観察者は視認映像８８のように、表示映像８０である「Ａ」には焦点が合っているが、外界のシーン８２である立木には焦点が合っていない映像を観察することになる。ここで、シースルー光学系において観察される視認映像８８は外界光の影響を大きく受けるため、表示映像８０の色要素が外界のシーン８２の色要素に近似する場合には、視認映像８８中の「Ａ」は観察者にとって極めて不鮮明な映像となることが多い。したがって、このような場合には、観察者が鮮明な視認映像８８を観察できるようにするために、表示映像８０の映像データに対して色要素の補正等の適確な画像処理を行う必要がある。
【００１３】
図３は、第１の実施の形態に係るヘッドマウントディスプレイにおける撮像画像を示す模式図である。ヘッドマウントディスプレイ２は、表示映像８０に対して画像処理を行う際に使用する画像を撮像するために、シーン撮像用カメラ２６を備える。このシーン撮像用カメラ２６において、シーン位置９０に撮像光学系の物側焦点を合わせて外界のシーン８２を撮像した場合には鮮明な画像９２が撮像され、仮想表示位置８６に物側焦点を合わせて外界のシーン８２を撮像した場合にはボケた画像９４が撮像される。ここで、鮮明な画像９２とボケた画像９４では画像要素を構成する色要素が相違するため、眼球８４の焦点位置である仮想表示位置８６とは異なるシーン位置に焦点を合せた鮮明な画像９２に基づいて表示映像８０の映像データに対して色要素の補正を行った場合、補正後の表示映像８０は観察者が不自然に感じる映像となるおそれがある。したがって、適切な画像処理を行うためには、眼球８４の焦点位置である仮想表示位置８６に物側焦点を合せて撮像したボケた画像９４に基づいて色要素の補正を行う必要がある。このボケた画像９４を取得するために、シーン撮像用カメラ２６の撮像光学系の物側焦点は仮想表示位置８６に固定されている。
【００１４】
また、眼球８４で観察される外界のシーン８２のボケ量は瞳孔の大きさで決定される。外界が明るい場合には瞳孔が収縮してボケ量が小さくなり、暗い場合には瞳孔が開大してボケ量が大きくなる。そのため、観察者の眼球８４の瞳孔径を考慮せずシーン撮像用カメラ２６において撮像を行い、撮像された画像に基づいて表示映像８０の映像データに対して色要素の補正を行った場合、補正後の表示映像８０は観察者が不自然と感じる映像となるおそれがある。したがって、観察者が観察する外界のシーン８２と同等のボケ量の画像を取得するために、シーン撮像用カメラ２６の撮像光学系における絞りの開口径を観察者の眼球８４の瞳孔径と連動させ、瞳孔径の変化に応じて絞りの開口径を決定した後に外界のシーン８２の撮像を行う。
【００１５】
次に、図４に示すフローチャートを参照して第１の実施の形態に係るヘッドマウントディスプレイの処理について説明する。ヘッドマウントディスプレイ２の図示しない電源をオンにするとＣＰＵ５０が起動し、ＣＰＵ５０は、シーン撮像用カメラ２６の撮像光学系の絞りの開口径を決定する（ステップＳ１１）。即ち、ＣＰＵ５０は、シーン撮像用カメラ２６により受光する光量に基づいて被写体の明るさを算出し、この明るさに基づいて瞳孔径を推定し、絞りの開口径を決定する。そしてＣＰＵ５０は、図示しない絞り駆動部を制御してシーン撮像用カメラ２６の撮像光学系の絞りの開口径を調節する（ステップＳ１３）。次に、シーン撮像用カメラ２６により外界のシーンの撮像を行う（ステップＳ１５）。次に、ＣＰＵ５０は、メモリカード５８から表示映像８０の映像データを読み出し、画像処理部６４において表示映像８０に対して色要素の補正を行う（ステップＳ１７）。即ち、シーン撮像用カメラ２６において撮像を行った画像の画像データに基づいて表示映像８０の映像データに対して、表示映像８０が鮮明になるように色要素の補正を行う。次に、ＣＰＵ５０は、ＬＣＤ駆動部５４及びバックライト駆動部６２に対して駆動開始の指示を行い、バックライト１８を点灯させると共に、ＬＣＤ表示部１６に補正後の表示映像を表示する（ステップＳ１９）。
【００１６】
この第１の実施の形態に係るヘッドマウントディスプレイ２によれば、観察者の眼球８４の瞳孔の大きさに対応させてシーン撮像用カメラ２６の撮像光学系の絞り開口径を調節し、かつ仮想表示位置８６に物側焦点を合わせて撮像した画像の画像データに基づいて表示映像８０の映像データに対して色要素の補正を行うことにより、優れた視認性を有する映像を表示することができる。
【００１７】
次に、図面を参照して本発明の第２の実施の形態に係るヘッドマウントディスプレイについて説明する。この第２の実施の形態に係るヘッドマウントディスプレイ２００は、第１の実施の形態に係るヘッドマウントディスプレイ２のようにシースルー光学系ではなく、表示映像８０を左眼で観察し、右眼で直接外界のシーン８２を観察する単眼式のヘッドマウントディスプレイである。図２においてシースルー光学系を例に映像観察の概略を説明したが、本実施の形態に係るヘッドマウントディスプレイにおいても、左眼でレンズ１９を介して観察する表示映像８０は、右眼で直接観察する外界のシーン８２の影響を受けるため、極めて不鮮明に視認されることがある。そのため、第１の実施の形態と同様に表示映像８０に対して適確な画像処理を行う必要がある。なお、本実施の形態の説明においては、第１の実施の形態と同一の構成についての詳細な説明は省略し、異なる部分のみについて詳細に説明する。また、第１の実施の形態と同一の構成には同一の符号を付して説明する。
【００１８】
図５は第２の実施の形態に係るヘッドマウントディスプレイのシステム構成を示すブロック図である。表示部１４にはＬＣＤ表示部１６に表示される画像を反射するミラー１７と、ミラー１７で反射された画像のサイズを調整するレンズ１９が備えられている。また、音声出力部６には、図示しない回動軸を介して支持アーム１３が取り付けられ、支持アーム１３の先端部には、観察者の瞳孔の大きさを計測するために用いる瞳孔撮像用カメラ２８が取り付けられている。
【００１９】
次に、図６に示すフローチャートを参照して第２の実施の形態に係るヘッドマウントディスプレイの処理について説明する。この第２の実施の形態に係るヘッドマウントディスプレイ２００においては、ヘッドマウントディスプレイ２００の図示しない電源をオンにするとＣＰＵ５０が起動し、ＣＰＵ５０は、シーン撮像用カメラ２６の撮像光学系の絞りの開口径を決定する（ステップＳ４１）。即ち、ＣＰＵ５０は、瞳孔撮像用カメラ２８により観察者の眼球８４を撮像する。ＣＰＵ５０は、眼球８４の画像に基づいての瞳孔径を計測し、計測した瞳孔径に基づいてシーン撮像用カメラ２６の撮像光学系の絞りの開口径を決定する。そして、ＣＰＵ５０は、図示しない絞り駆動部を制御してシーン撮像用カメラ２６の撮像光学系の絞りの開口径を調節する（ステップＳ４３）。次に、シーン撮像用カメラ２６により外界のシーンの撮像を行う（ステップＳ４５）。次に、ＣＰＵ５０は、メモリカード５８から表示映像８０の映像データを読み出し、画像処理部６４において表示映像８０に対して色要素の補正を行う（ステップＳ４７）。即ち、シーン撮像用カメラ２６において撮像を行った画像の画像データに基づいて表示映像８０の映像データに対して、表示映像８０が鮮明になるように色要素の補正を行う。次に、ＣＰＵ５０は、ＬＣＤ駆動部５４及びバックライト駆動部６２に対して駆動開始の指示を行い、バックライト１８を点灯させると共に、ＬＣＤ表示部１６に補正後の表示映像を表示する（ステップＳ４９）。
【００２０】
この第２の実施の形態に係るヘッドマウントディスプレイ２００によれば、観察者の眼球８４の瞳孔の大きさに対応させてシーン撮像用カメラ２６の撮像光学系の絞り開口径を調節し、かつ仮想表示位置８６に物側焦点を合わせて撮像した画像の画像データに基づいて表示映像８０の映像データに対して色要素の補正を行うことにより、優れた視認性を有する映像を表示することができる。
【００２１】
なお、上述の実施の形態においては、シーン撮像用カメラ２６の撮像光学系の物側焦点位置が一定の仮想表示位置８６に固定されているが、接眼光学系２２の光軸方向の位置及びシーン撮像用カメラ２６の撮像光学系の物側焦点位置を可変として、その位置が異なる場合は警告を表示するようにしてもよい。また、接眼光学系２２の光軸方向の位置を変化させ、これと連動させて撮像光学系の物側焦点位置を変化させるようにしてもよい。即ち、接眼光学系２２及びシーン撮像用カメラ２６に焦点調節機構を設け、両調節機構を図示しないギアで連結することにより連動を可能としてもよい。例えば、観察者が接眼光学系２２の光軸方向の位置を調節することにより仮想表示位置８６を変更するとギアが回動し、これに連動してシーン撮像用カメラ２６の物側焦点位置が変更後の仮想表示位置８６に合わせられるようにしてもよい。また、図示しないエンコーダを用いて検出した接眼光学系２２の光軸方向の位置に基づいて仮想表示位置８６を検出し、この仮想表示位置８６にシーン撮像用カメラ２６の撮像光学系の物側焦点位置を合わせるようにしてもよい。これにより、観察者が接眼光学系２２の光軸方向の位置を調節して仮想表示位置８６を変更した場合に、変更した仮想表示位置８６にシーン撮像用カメラ２６の撮像光学系の物側焦点位置を合わせることができる。
【００２２】
また、上述の実施の形態において、シーン撮像用カメラ２６の撮像光学系の絞りの開口径を決定する際に輝度センサを用いてもよい。この場合には、輝度センサにより被写体の輝度を取得し、取得した輝度に基づいて瞳孔径を推定し、推定した瞳孔径に基づいて絞りの開口径を決定する。
【００２３】
また、第１の実施の形態においては、シーン撮像用カメラ２６により受光する光量に基づいて被写体の明るさを算出し、この明るさに基づいて瞳孔径を推定しているが、瞳孔撮像用カメラ２８を用いてもよい。この場合、視認映像８８を観察する側の眼球８４の瞳孔径を計測することができる位置に配置することが好ましい。これにより、シースルー光学系のヘッドマウントディスプレイ２においても直接瞳孔の大きさを計測することができる。
【符号の説明】
【００２４】
２、２００…ヘッドマウントディスプレイ、４、６…音声出力部、１２…支持アーム、１４…表示部、１６…ＬＣＤ表示部、１８…バックライト、２２…接眼光学系、２６…シーン撮像用カメラ、５０…ＣＰＵ、５２…操作部、５４…ＬＣＤ駆動部、５６…記憶部、５８…メモリカード、６２…バックライト駆動部、６４…画像処理部。
【特許請求の範囲】
【請求項１】
頭部もしくは顔前に装着される表示装置であって、
表示映像を表示する表示部と、
前記表示部に表示された前記表示映像を観察者の眼球に投映する接眼光学系と、
撮像光学系を介した被写体光を撮像する撮像部と、
前記撮像部において撮像された画像の色要素に基づいて前記表示部に表示されている前記表示映像の色要素の補正を行う画像処理部とを備え、
前記撮像光学系の物側焦点位置と前記接眼光学系により使用者が前記表示映像を視認する仮想焦点位置とが略同一であることを特徴とする表示装置。
【請求項２】
前記撮像光学系及び前記接眼光学系はそれぞれ焦点位置を調節する焦点調節部を備え、
各々の前記焦点調節部の調節値が異なっている場合は、使用者に知らせる手段を備えることを特徴とする請求項１記載の表示装置。
【請求項３】
前記撮像光学系及び前記接眼光学系はそれぞれ焦点位置を調節する焦点調節部を備え、
各々の前記焦点調節部は連動して動作することを特徴とする請求項１記載の表示装置。
【請求項４】
前記撮像光学系に入射する前記被写体光の光量を調節する絞りと、
前記絞りを制御する絞り制御部とを備えることを特徴とする請求項１〜３のいずれか一項に記載の表示装置。
【請求項５】
前記絞り制御部は、前記被写体の明るさに基づいて前記絞りの開口径を調節することを特徴とする請求項４記載の表示装置。
【請求項６】
前記被写体の明るさは、前記撮像光学系を介して前記撮像部において受光した前記被写体光の光量から算出されることを特徴とする請求項５記載の表示装置。
【請求項７】
前記観察者の眼球の瞳孔径を測定する瞳孔径測定部を備え、
前記絞り制御部は、前記瞳孔径測定部において測定された瞳孔径に基づいて絞りの開口径を調節することを特徴とする請求項４記載の表示装置。
【請求項８】
前記表示部は、前記表示映像と前記被写体とを同一の眼で同時に観察可能なシースルー光学系であることを特徴とする請求項１〜７のいずれか一項に記載の表示装置。
【請求項９】
前記表示部は、前記接眼光学系を介して前記表示映像を一方の眼で観察し、他方の眼で直接前記被写体を観察する単眼式であることを特徴とする請求項１〜７のいずれか一項に記載の表示装置。
【請求項１】
頭部もしくは顔前に装着される表示装置であって、
表示映像を表示する表示部と、
前記表示部に表示された前記表示映像を観察者の眼球に投映する接眼光学系と、
撮像光学系を介した被写体光を撮像する撮像部と、
前記撮像部において撮像された画像の色要素に基づいて前記表示部に表示されている前記表示映像の色要素の補正を行う画像処理部とを備え、
前記撮像光学系の物側焦点位置と前記接眼光学系により使用者が前記表示映像を視認する仮想焦点位置とが略同一であることを特徴とする表示装置。
【請求項２】
前記撮像光学系及び前記接眼光学系はそれぞれ焦点位置を調節する焦点調節部を備え、
各々の前記焦点調節部の調節値が異なっている場合は、使用者に知らせる手段を備えることを特徴とする請求項１記載の表示装置。
【請求項３】
前記撮像光学系及び前記接眼光学系はそれぞれ焦点位置を調節する焦点調節部を備え、
各々の前記焦点調節部は連動して動作することを特徴とする請求項１記載の表示装置。
【請求項４】
前記撮像光学系に入射する前記被写体光の光量を調節する絞りと、
前記絞りを制御する絞り制御部とを備えることを特徴とする請求項１〜３のいずれか一項に記載の表示装置。
【請求項５】
前記絞り制御部は、前記被写体の明るさに基づいて前記絞りの開口径を調節することを特徴とする請求項４記載の表示装置。
【請求項６】
前記被写体の明るさは、前記撮像光学系を介して前記撮像部において受光した前記被写体光の光量から算出されることを特徴とする請求項５記載の表示装置。
【請求項７】
前記観察者の眼球の瞳孔径を測定する瞳孔径測定部を備え、
前記絞り制御部は、前記瞳孔径測定部において測定された瞳孔径に基づいて絞りの開口径を調節することを特徴とする請求項４記載の表示装置。
【請求項８】
前記表示部は、前記表示映像と前記被写体とを同一の眼で同時に観察可能なシースルー光学系であることを特徴とする請求項１〜７のいずれか一項に記載の表示装置。
【請求項９】
前記表示部は、前記接眼光学系を介して前記表示映像を一方の眼で観察し、他方の眼で直接前記被写体を観察する単眼式であることを特徴とする請求項１〜７のいずれか一項に記載の表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−３９２８４（Ｐ２０１１−３９２８４Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８６４２４（Ｐ２００９−１８６４２４）
【出願日】平成２１年８月１１日（２００９．８．１１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１１日（２００９．８．１１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]