ヘッドマウントディスプレイ装置
【課題】広範囲な視野を確保しつつ，活動を良好に行うことができるようにする。
【課題を解決するための手段】ヘッドマウントディスプレイ装置は、円周魚眼レンズを介して現実空間を外部映像Ｇとして撮影する。外部映像Ｇの中央部から主画像ＧＣを、その周辺から左画像ＧＬ、右画像ＧＲ、上画像ＧＵ、下画像ＧＤを副画像として取り出す。主画像ＧＣは広角レンズの歪曲収差を補正されて中央に表示され、その周囲に各副画像を表示する。
【課題を解決するための手段】ヘッドマウントディスプレイ装置は、円周魚眼レンズを介して現実空間を外部映像Ｇとして撮影する。外部映像Ｇの中央部から主画像ＧＣを、その周辺から左画像ＧＬ、右画像ＧＲ、上画像ＧＵ、下画像ＧＤを副画像として取り出す。主画像ＧＣは広角レンズの歪曲収差を補正されて中央に表示され、その周囲に各副画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部に装着した状態で画像を見ることができるヘッドマウントディスプレイ装置に関するものである。
【背景技術】
【０００２】
頭部に装着して装着者の眼前に映像を表示するヘッドマウントディスプレイ装置（以下、ＨＭＤという）が知られている。このＨＭＤの利用用途には様々なものがあるが、その１つには現実空間（外部の景色）に各種の付加情報（以下、ＡＲ情報という）を重ねて表示することによって情報を提供するものがある。このような用途で使用されるＨＭＤとしては、光透過型、ビデオ透過型がある。光透過型のＨＭＤでは、現実空間と液晶などに表示されるＡＲ情報とを、例えばハーフミラーで重ねて観察できるようにしている。一方のビデオ透過型では、使用者の視点からビデオカメラで現実空間を撮影し、その撮影で得られる外部映像にＡＲ情報を合成したものを使用者に観察させるようにしている。
【０００３】
上記ビデオ透過型のＨＭＤでは、装着者の観察できる視野がビデオカメラの撮影画角で制限されるため、通常では非装着状態に比べて視野が狭くなってしまう。しかしながら、このようなＨＭＤを装着した状態で装着者が活動する場合には、視野の制限の影響を受けて周囲、特に視野から外れる左右方向などの障害物に接触する可能性が高くなるという問題があった。
【０００４】
眼の前方に配される画像出力部と外部の障害物との距離を測定する探知センサを設け、探知センサの検出結果に基づいて、障害物が画像出力部と接触する可能性が高い距離まで近づいたときに、画像出力部を保持したアームを後退させて障害物との接触を回避するようにしたＨＭＤが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２３３９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１のようにＨＭＤの一部を移動させることでは、障害物を避けることができず、装着者自身が回避しなければならないことも多い。したがって、ビデオ透過型のＨＭＤを装着した状態でも広い視野を確保することが好ましい。そこで、視野を広くするために、焦点距離が短く広い範囲を撮影できる広角レンズを用いて現実空間を撮影することが考えられる。しかし、このような広角レンズでは撮影される画像に歪みの程度が大きい。このため、広角レンズを用いた場合では、装着者に広い視野を提供できるが、観察される現実空間が歪んでしまい、装着者の活動に支障をきたすという問題があった。
【０００７】
本発明は、上記課題を鑑みてなされたものであって、広範囲な視野を確保しつつ，活動を良好に行うことができるヘッドマウントディスプレイ装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を達成するために請求項１記載のヘッドマウントディスプレイ装置では、装着者と略同一の視点から広角レンズを介して現実空間を外部映像として撮影する撮影手段と、外部映像の一部を主画像として、また主画像の周囲の外部映像をまたは外部映像の周辺画像を副画像として取り出す画像分割手段と、主画像に対する広角レンズの歪曲収差を補正する歪み補正手段と、装着者の眼の前方に主画像を表示するとともに、主画像の周囲に副画像を表示する表示手段とを備えたものである。
【０００９】
請求項２記載のヘッドマウントディスプレイ装置では、画像分割手段を、主画像の一部と重複させて外部映像から副画像を取り出すようにしたものである。
【００１０】
請求項３記載のヘッドマウントディスプレイ装置では、画像分割手段を、副画像を主画像の左側及び右側から、または外部映像の左側周辺部及び右側周辺部から取り出し、表示手段を、主画像の左右に、それぞれ対応する副画像を表示するようにしたものである。
【００１１】
請求項４記載のヘッドマウントディスプレイ装置では、画像分割手段を、副画像を主画像の上下左右から、または外部映像の上下左右の周辺部から取り出し、表示手段を、主画像の上下左右に、それぞれ対応する副画像を表示するようにしたものである。
【００１２】
請求項５記載のヘッドマウントディスプレイ装置では、装着者の頭部の動きを検出する動き検出手段と、動き検出手段の検出結果に応じて、主画像による現実空間の表示範囲の広狭を変化させる広狭調節手段を備えたものである。
【００１３】
請求項６記載のヘッドマウントディスプレイ装置では、広狭調節手段を、動き検出手段によって動きが検出されている場合に、動きが検出されていない場合よりも、主画像による現実空間の表示範囲を広くするようにしたものである。
【００１４】
請求項７記載のヘッドマウントディスプレイ装置では、広狭調節手段を、動き検出手段によって検出される動きの速度が所定値以上である場合に、動きの速度が所定値未満である場合よりも主画像による現実空間の表示範囲を広くするようにしたものである。
【００１５】
請求項８記載のヘッドマウントディスプレイ装置では、画像分割手段を、主画像の中心を撮影手段によって撮影される外部映像の中心と一致させ、外部映像の中央部を主画像として取り出すようにしたものである。
【００１６】
請求項９記載のヘッドマウントディスプレイ装置では、主画像または副画像上での装着者の視点位置を検出する視点検出手段と、この視点検出手段の検出結果に基づいて、外部映像上での装着者の注視位置を検知し、検知される注視位置を中心として主画像を取り出すように画像分割手段を制御する中心制御手段とを備えたものである。
【００１７】
請求項１０記載ヘッドマウントディスプレイ装置では、歪み補正手段が、外部映像に歪み補正を行い、画像分割手段が、歪み補正手段によって歪みが補正された外部映像から主画像を取り出すようにしたものである。
【００１８】
請求項１１記載のヘッドマウントディスプレイ装置では、撮影手段は、その広角レンズが円周魚眼レンズとなっているものである。
【００１９】
請求項１２記載のヘッドマウントディスプレイ装置では、主画像または副画像に付加情報を重畳させて表示させる付加情報合成手段を備えたものである。
【発明の効果】
【００２０】
本発明によれば、広角レンズを介して現実空間を撮影した外部映像から主画像と、その周辺の副画像とを取り出し、主画像には広角レンズの歪曲収差を補正して、その主画像とともに、主画像の周囲に副画像を表示するようにしたから、装着者が主画像を観察しながら活動を良好に行えるとともに、副画像によりの周辺視野を提供することができ、障害物との接触の回避等を容易に行うことができる。
【図面の簡単な説明】
【００２１】
【図１】本発明を実施したＨＭＤの外観の構成を示す斜視図である。
【図２】ＨＭＤの構成を示すブロック図である。
【図３】画像処理ユニットの構成を示すブロック図である。
【図４】外部映像から主画像及び各副画像を生成する状態を示す説明図である。
【図５】主画像及び副画像の表示例を示す説明図である。
【図６】装着者の動きに応じて主画像が表示する現実空間の範囲を変化させる例を示す画像処理ユニットのブロック図である。
【図７】装着者の動きに応じて主画像が表示する現実空間の範囲を変化させる際の制御の概略を示すフローチャートである。
【図８】広角モードと標準モードでの主画像及び副画像の表示例を示す説明図である。
【図９】注視位置に応じて主画像の表示範囲を変化させる例を示す画像処理ユニットのブロック図である。
【図１０】注視位置に応じて主画像の表示範囲を変化させる際の制御の概略を示すフローチャートである。
【図１１】主画像の表示範囲が変化した主画像及び副画像の表示例を示す説明図である。
【発明を実施するための形態】
【００２２】
［第１実施形態］
本発明を実施したＨＭＤ（ヘッドマウントディスプレイ装置）の外観を図１に示す。ＨＭＤ１０は、ゴーグル形状にされており、眼前ユニット１２と、この眼前ユニット１２に一体に設けられた一対のテンプル（耳かけ）１３とからなる。このＨＭＤ１０は、テンプル１３を用いて使用者の頭部に装着される。眼前ユニット１２は、装着者の眼前を覆うように設けられた箱状の筐体１４と、筐体１４の前面に撮影レンズ１５ａが露呈されたカメラ１５と、筐体１４の内部に配された左側表示部１７Ｌと右側表示部１７Ｒや画像処理用の各種回路などから構成される。
【００２３】
カメラ１５は、撮影レンズ１５ａを介して現実空間（外部の景色）を外部映像として撮影する。各表示部１７Ｌ，１７Ｒは、左眼用、右眼用のＬＣＤ（液晶ディスプレイ）ユニット１８Ｌ，１８Ｒ（図２参照）や接眼光学系（図示省略）などから構成されており、それぞれ対応する左眼、右眼の前方に配されている。装着者は、ＬＣＤユニット１８Ｌ，１８Ｒに表示される画像を接眼光学系を介して観察する構成となっている。
【００２４】
各表示部１７Ｌ，１７Ｒには、カメラ１５で撮影された外部映像に各種画像処理を施し、またＡＲ情報を重畳した画像が表示される。なお、この例では各眼に対して表示部１７Ｌ，１７Ｒを設けているが、左右共通の表示部を設け、これを両眼で観察する構成でもよい。
【００２５】
カメラ１５は、前述の撮影レンズ１５ａとイメージセンサ１５ｂとからなる。撮影レンズ１５ａとしては、大きな撮影画角を有し広い視野を提供できる広角レンズが用いられる。この例では、撮影レンズ１５ａとして、撮影画角がほぼ１８０度であり、そのイメージサークルがイメージセンサ１５ｂの受光面に収まる円周魚眼レンズを用いている。
【００２６】
イメージセンサ１５ｂは、ＣＣＤ型やＭＯＳ型のものが用いられており、撮影レンズ１５ａによって結像される被写体像を光電変換して外部映像として出力する。このように構成されるカメラ１５は、撮影レンズ１５ａが装着者の前方に向けられており、装着者とほぼ同じ視点から撮影する。これにより、装着者の前面側で、装着者の真上から真下、及び真横を含む円形の外部映像が撮影される。
【００２７】
なお、撮影レンズとしては、円周魚眼レンズに限られるものではなく、対角魚眼レンズや、魚眼レンズよりも焦点距離が長い広角レンズを用いてもよい。なお、撮影レンズとしては、広い視野を提供するためにできるだけ短いものが好ましく、焦点距離２０ｍｍ（３５ｍｍ判換算値）以下とするのがよい。また、魚眼レンズ以外で撮影する場合にも、そのイメージサークルがイメージセンサ１５ｂの受光面に収まるようにして円形に外部映像を撮影してもよい。さらに、現実空間の目的物を記録に残すなどの目的のために、撮影レンズ１５ａをズームレンズとして、その記録に必要な焦点距離を確保できるようにしてもよい。
【００２８】
信号処理部２１は、カメラ１５からの出力信号に対してノイズ除去、信号増幅、デジタル変換などを行う。また、信号処理部２１は、デジタル変換された外部映像に対して、ホワイトバランス処理などの各種処理を行う。外部映像は、信号処理部２１から画像処理ユニット２２に送られる。
【００２９】
画像処理ユニット２２は、詳細を後述するように外部映像から主画像と副画像の取り出しや、主画像の歪み補正、ＡＲ情報の合成などを行う。副画像としては、右画像、左画像、上画像、下画像が取り出される。主画像や副画像は、各表示部１７Ｌ，１７Ｒに送られる。
【００３０】
情報発生部２３は、カメラの位置や撮影方向（方位、仰角など）を検出するセンサを有しており、これらセンサの検出結果に基づいて、撮影中の現実空間中の被写体の説明などからなるＡＲ情報を発生させる。このＡＲ情報には、それを合成すべき画像上の位置などを示す合成制御情報が含まれている。ＡＲ情報は、例えば無線通信手段（図示せず）を介して、各種のＡＲ情報を蓄積している外部サーバから取得する。この情報発生部２３からのＡＲ情報は、画像処理ユニット２２に送られる。
【００３１】
左側表示部１７Ｌは、前述のようにＬＣＤユニット１８Ｌと接眼光学系とで構成される。ＬＣＤユニット１８Ｌは、それぞれＬＣＤで構成される主画面２５Ｃ，左画面２５Ｌ，右画面２５Ｒ，上画面２５Ｕ，下画面２５Ｄからなり、各画面は、それの駆動回路（図示省略）を備えており、入力されるデータに基づいて画像を表示する。主画面２５Ｃは、主画像を表示し、左画面２５Ｌ，右画面２５Ｒ，上画面２５Ｕ，下画面２５Ｄは、それぞれ対応する左画像，右画像，上画像，下画像を表示する。
【００３２】
上記ＬＣＤユニット１８Ｌは、主画面２５Ｃを中心に、その左側に左画面２５Ｌが、右側に右画面２５Ｒが、上側に上画面２５Ｕが、下側に下画面２５Ｄがそれぞれ配されている。このように構成されるＬＣＤユニット１８Ｌを接眼光学系を介して観察することにより、左眼のほぼ正面に主画像を観察することができ、その主画像の右側に右画像を、左側に左画像を観察することができる。同様に、主画像の上側に上画像を、下側に下画像を観察することができる。
【００３３】
右側表示部１７Ｒは、左側表示部１７Ｌと同じ構成であり、ＬＣＤユニット１８Ｒと接眼光学系で構成され、ＬＣＤユニット１８Ｒは、主画像，左画像，右画像，上画像，下画像が表示される主画面２６Ｃ，右画面２６Ｒ，左画面２６Ｌ，上画面２６Ｕ，下画面２６Ｄから構成される。ＬＣＤユニット１８Ｒに表示される画像は、接眼光学系を介して右眼で観察される。
【００３４】
主画像及び左画像，右画像，上画像，下画像が観察されるサイズや装着者の視野に対する位置などは、主画像が明確に観察で、また左画像，右画像，上画像，下画像が明確には観察できないが視野内にほぼ観察されるように、ＬＣＤユニット１８Ｌ，１８Ｒの各画面のサイズや配置，接眼光学系の倍率などによって調整されている。主画像については、人が片眼で明確に見ることができる視野にほぼ一致して観察されるように調整されていることが好ましい。この例では、明確に見ることができる視野を４６度として、そのように主画像が観察されるようにしてある。また、このような明確に見ることができる視野の外側に左画像，右画像，上画像，下画像が観察されるにように、各画面２５Ｌ，２５Ｒ，２５Ｕ，２５Ｄ、２６Ｒ，２６Ｌ，２６Ｕ，２６Ｄのサイズや主画面２５Ｃ，２６Ｃとの位置関係、接眼光学系が調整されている。
【００３５】
なお、この例では、複数の画面を用いて主画像、及び各副画像を表示しているが、例えば１個のＬＣＤの表示面を分割して主画像、及び副画像を表示し、同様に観察されるようにしてもよい。
【００３６】
図３に示すように、画像処理ユニット２２は、画像分割部３１，歪み補正部３２，画像合成部３３から構成される。画像分割部３１は、外部映像から主画像と、副画像とを取り出す。この画像分割部３１は、外部映像の中央部を主画像として取り出し、外部映像の左右上下の各周辺画像を左画像，右画像，上画像，下画像として取り出す。左画像，右画像，上画像，下画像を取り出す際には、それら各画像の範囲の一部が主画像の範囲と重複するように取り出される。
【００３７】
歪み補正部３２には、画像分割部３１からの主画像が入力される。この歪み補正部３２は、主画像に対して撮影レンズ１５ａの歪曲収差をなく補正を行う。歪み補正部３２には、撮影レンズ１５ａの歪曲収差による画像の歪みをなくすための補正パラメータが設定されており、この補正パラメータを用いて主画像に対する歪み補正が行われる。補正パラメータは、例えば撮影レンズ１５ａの仕様に基づいて予め決められている。
【００３８】
各副画像には主画像のような補正を行わないこれは画像を限られたサイズの表示画面に表示しながら、見易い画像のサイズを確保し、また表示される現実空間の情報量の欠落をなくすためである。
【００３９】
画像合成部３３には、歪み補正部３２で歪み補正された主画像と、情報発生部２３からのＡＲ情報とが入力される。この画像合成部３３は、ＡＲ情報を、それに含まれる合成制御情報に基づいて主画像に合成し、各種のＡＲ情報を重畳した主画像を生成する。
【００４０】
画像合成部３３からの主画像は、主画面２５Ｃ，２６Ｃに送られて、これら主画面２５Ｃ，２６Ｃにそれぞれ表示される。また、画像分割部３１で取り出される左画像は、左画面２５Ｌ，２６Ｌに、右画像は右画面２５Ｒ，２６Ｒにそれぞれ送られて表示される。さらに、上画像は、上画面２５Ｕ，２６Ｕに、下画像は下画面２５Ｄ，２６Ｄにそれぞれ送られて表示される。これにより、主画像の左右上下に左画像，右画像，上画像，下画像を配した画像を表示する。
【００４１】
外部映像から主画像及び各副画像を生成する状態を図４に模式的に示す。撮影される外部映像Ｇは円形となっている（図４（ａ））。この外部映像Ｇから、画像分割部３１によって主画像ＧＣ0が取り出され（図４（ｂ））、また左画像ＧＬ，右画像ＧＲ，上画像ＧＵ，下画像ＧＤが取り出される（図４（ｃ））。主画像ＧＣ0は、歪み補正部３２によって補正されて矩形の主画像ＧＣとされる（図４（ｄ））。
【００４２】
図４（ａ）に破線で示す境界線の内側が主画像ＧＣ0を取り出す主画像領域Ｃ１となっている。この主画像領域Ｃ１は、その中心位置Ｐが外部映像Ｇの中心位置（撮影レンズ１５ａの光軸の位置）となるようにしてあり、主画像ＧＣ0及び補正後の主画像ＧＣと外部映像Ｇとの各中心位置が一致するようにしてある。また、主画像領域Ｃ１は、矩形よりも外側に膨らんだ樽型状になっている。これは、歪み補正部３２での補正後の主画像ＧＣを矩形とするためである。
【００４３】
二点鎖線で示す境界線の外側が各副画像を取り出する副画像領域Ｃ２〜Ｃ５となっており、外部映像Ｇの周辺部の左側、右側、上側、下側のそれぞれ設けられている。これら副画像領域Ｃ２〜Ｃ５のそれぞれは、主画像領域Ｃ１と一部が重複するように区画されており、図４（ａ）では、その重複している部分をハッチングで示してある。これにより、表示された主画像中の被写体像と各副画像中の被写体像との対応関係を把握しやすくしている。なお、この例では、外部映像の周辺部から取り出される副画像は、主画像の周囲から取り出される副画像でもある。
【００４４】
図５に撮影状態と表示状態の一例を示す。図５（ａ）は撮影された外部映像を示しており、図５（ｂ）は、この外部映像に対応する表示状態を示している。円形の外部映像Ｇ内の被写体像は、撮影レンズ１５ａの歪曲収差によって歪んでいる。この外部映像Ｇの中央部から取り出されて補正された主画像ＧＣが主画面２５Ｃ，２６Ｃに表示される。この主画像ＧＣは、歪みが補正されて表示されるとともに、建物の名称を示すＡＲ情報Ｆ１や道路の名称を示すＡＲ情報Ｆ２、近隣の駅の方向を示すＡＲ情報Ｆ３などが合成されて表示される。
【００４５】
また、外部映像Ｇの周辺部から取り出された左画像ＧＬが左画面２５Ｌ，２６Ｌに、右画像ＧＲが右画面２５Ｒ，２６Ｒに、上画像ＧＵが上画面２５Ｕ，２６Ｕに、下画像ＧＤが下画面２５Ｄ，２６Ｄにそれぞれ表示されている。これら副画像は、歪みが補正されることなく表示される。また、各副画像は、その一部が主画像と重複して表示される。図示した例では、例えば左画像ＧＬに自動車の被写体像Ｔ１ａが表示され、その自動車の先端部分の被写体像Ｔ１ｂが主画面ＧＣに表示されている。また、下画像ＧＤに横断歩道の一部の被写体像Ｔ２ａが表示されるとともに、その横断歩道の被写体像Ｔ２ｂが主画面ＧＣに表示されている。
【００４６】
次に上記構成の作用について説明する。ＨＭＤ１０を装着して電源をオンとすると、カメラ１５による撮影が開始される。撮影レンズ１５ａを通して現実空間が円形の外部映像として動画で撮影され、撮影される外部映像が１フレーム分ごとに信号処理部２１を介して画像処理ユニット２２に順次に送られる。
【００４７】
画像処理ユニット２２では、画像分割部３１によって、外部映像から主画像と、左画像，右画像，上画像，下画像とがそれぞれ取り出される。このときに、各副画像のそれぞれは、主画像と画像の一部が重複するようにして取り出される。取り出された主画像は、歪み補正部３２に送られ、各副画像は、ＬＣＤユニット２５，２６に送られる。歪み補正部３２では、入力される主画像に対して撮影レンズ１５ａの歪曲収差の補正を行い、収差をなくした主画像が画像合成部３３に送られる。
【００４８】
一方、情報発生部２３では、それに内蔵したセンサにより、カメラ１５の位置や撮影方向などが検出され、その検出結果に基づいてカメラ１５で現在撮影されている現実空間の建物や道などの特定が行われて、それらのＡＲ情報が発生される。そして、そのＡＲ情報が画像合成部３３に送られる。
【００４９】
ＡＲ情報が画像合成部３３に入力されると、それに含まれる合成制御情報に基づいた主画像上の合成位置にＡＲ情報が合成される。複数のＡＲ情報が入力されているときには、それぞれのＡＲ情報が主画像に合成される。そして、ＡＲ情報が合成された主画像がＬＣＤユニット２５，２６に送られる。なお、副画像にもＡＲ情報を合成するなどしてもよい。
【００５０】
上記のようにして得られる主画像と各副画像とがＬＣＤユニット２５，２６に送られ、主画面２５Ｃ，２６Ｃに主画像が表示される。また、この主画面２５Ｃ，２６Ｃの周囲に配された左画面２５Ｌ，２６Ｌに左画像が表示され、右画面２５Ｒ，２６Ｒに右画像が表示される。さらに、上画面２５Ｕ，２６Ｕに上画像が表示され、下画面２５Ｄ，２６Ｄに下画像が表示される。これにより、装着者は、接眼光学系を通して、図５（ｂ）に一例が示されるような主画像ＧＣ、左画像ＧＬ，右画像ＧＲ，上画像ＧＵ，下画像ＧＤを観察することができる。
【００５１】
カメラ１５の撮影に同期して、各画面に表示される主画像及び各副画像が更新されるので、装着者は、主画像及び各副画像を動画として観察することができ、装着者が向いている方向を変化させれば、それに応じて変化する主画像、各副画像を観察することができる。
【００５２】
歪み補正された主画像により、装着者は、装着者が向いている方向の現実空間を観察することができ、またそれに合成されているＡＲ情報を観察することができる。したがって、装着者は、主画像を観察しながら移動や作業などを良好に行うことができる。
【００５３】
一方で、左画像，右画像，上画像、下画像は、装着者の左右上下方向の現実空間の情報を多く含み、上述のように歪み補正せずに表示されているが、現実空間における装着者の左右上下方向の気配を感じるには十分であり、例えば接近してくる自動車などを早期に気づくことができる。また、このときに表示されている各副画像の一部が主画像と重複して表示されているから、副画像中の被写体像と主画像中の被写体像との対応関係を把握しやすい。
【００５４】
［第２実施形態］
装着者の頭部の動きに応じて、主画像による現実空間の表示範囲の広狭を変化させる第２実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその説明を省略する。
【００５５】
この例では、図６に示すように、動きセンサ５１が設けられるとともに、電子ズーム部５２が設けられている。動きセンサ５１は、加速度センサや角速度センサ等から構成されており、装着者の頭部の動きを検出する。頭部の動きとして検出されるのは、例えば装着者の頭部自体の動き（回転や直線運動等）の他、頭部の移動をともなう装着者自身の動きがある。
【００５６】
動きセンサ５１の検出結果は、電子ズーム部５２に送られる。電子ズーム部５２には、歪み補正部３２で歪み補正された主画像が入力される。この電子ズーム部５２は、広狭調節手段として機能し、動きセンサ５１の検出結果に応じたサイズの範囲に主画像をトリミングし、そのトリミングが施された主画像を元の主画像のサイズに拡大する。これにより、あたかも主画像を撮影する撮影レンズがズーミングされるようにして、主画像が表示する現実空間の範囲の広狭を調節して主画面２５Ｃ，２６Ｃに表示させる。なお、主画像をトリミングする際には、トリミングの前後で主画像の中心が変わらないようにしている。
【００５７】
この例では、広角モードと標準モードとがある。広角モードは、主画像で現実空間を広く表示するためのモードであり、電子ズーム部５２は、例えば８０°の撮影画角に相当する主画像をトリミング・拡大により生成して出力する。標準モードは、広角モードよりも狭い範囲の現実空間を主画像で表示するモードであり、電子ズーム部５２は、例えば５０°の撮影画角に相当する主画像をトリミング・拡大により生成して出力する。
【００５８】
図７に示すように、電子ズーム部５２は、装着者の頭部が予め設定されている規定値以上の速度、例えば通常に歩く程度の速度以上で移動していることを、動きセンサ５１の検出結果から検知しているときに、広角モードとし、規定値未満の速度での動きの場合には標準モードする。
【００５９】
この例によれば、装着者が例えば規定値以上の速度で歩行しているときには、広角モードとなり、図８（ａ）に示すように、主画面２５Ｃ，２６Ｃには、外部映像内で広く範囲設定された主画像ＧＣが表示され、移動のために十分な広範囲の現実空間が歪みない状態で観察できる。
【００６０】
これに対して、装着者が規定値未満の速度でゆっくりと歩行しているときや、静止しているときには、標準モードとなり、主画面２５Ｃ，２６Ｃには、外部映像内で狭く範囲設定された主画像ＧＣが表示され、現実空間の建物などを注視するのに適した状態となる。
【００６１】
上記の例では、規定値以上の速度で動いているか否かによって、主画像が表示する現実空間の範囲の広狭を調節しているが、これに限らず、例えば動いている否かで調節してもよい。また、一定時間以上の動きがあったとき、また動きが止まってから一定時間以上が経過したときに、主画像が表示する現実空間の範囲の広狭を変化するようにしてもよい。さらに、主画像が表示する現実空間の範囲の広狭を変化させるときには、徐々にその範囲を広くし、あるいは狭くするのがよい。
【００６２】
また、上記の例では、主画像が表示する現実空間の範囲の広狭を変化させるときに各副画像が表示する範囲の広狭を変化させていないが、各副画像によって表示される現実空間の範囲の広狭を、主画像に対応させて変化させてもよい。このときに、主画像が表示する現実空間の範囲の広狭と同じように、すなわち例えば主画像が表示する現実空間の範囲を狭くしたときに、各副画像が表示する現実空間の範囲をも狭くするように制御し、あるいは主画像が表示する現実空間の範囲の広狭と逆向きに、すなわち例えば主画像が表示する現実空間の範囲を狭くしたときに、各副画像が表示する現実空間の範囲を広くするように制御することもできる。前者のように制御する場合では、電子ズーム部に代えて、ズームタイプの撮影レンズ１５ａを用いて、その焦点距離の増減で行うこともできる。
【００６３】
［第３実施形態］
装着者の視点位置を検出し、その検出結果に基づいて、主画像が表示する現実空間の表示範囲を変化させる第３実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその説明を省略する。
【００６４】
この例における画像処理ユニット２２の構成を図９に示す。画像処理ユニット２２に外部映像が入力されると、その外部映像は歪み補正部６１と画像分割部６２とに送られる。歪み補正部６１は、第１実施形態の歪み補正部３２と同様に、撮影レンズ１５ａの歪曲収差の補正を行うが、この歪み補正部６１では、入力される外部映像の全部について歪み補正を行う。
【００６５】
画像分割部６２は、主画像分割手段６２ａと副画像分割手段６２ｂからなる。主画像分割手段６２ａは、後述する中心制御部６３に指定される外部映像上の位置を主画像領域Ｃ１の中心として主画像を外部映像から取り出す。副画像分割手段６２ｂは、入力される外部映像からその左右上下の各周辺部を左画像，右画像，上画像，下画像として取り出す。なお、歪み補正をした外部映像から主画像の取り出しを行っているが、補正前の外部映像から主画像を取り出し、これに歪み補正を行ってもよい。
【００６６】
主画像分割手段６２ａで取り出された主画像は、画像合成部３３を介して主画面２５Ｃ，２６Ｃに送られて表示される。また、副画像分割手段６２ｂで取り出された左画像ＧＬ，右画像ＧＲ，上画像ＧＵ，下画像ＧＤは、各画面２５Ｌ，２６Ｌ、２５Ｒ，２６Ｒ，２５Ｕ，２６Ｕ，２５Ｄ，２６Ｄに送られて表示される。
【００６７】
ＨＭＤ１０には、装着者の視点位置を検出する視点センサ６４が設けられている。視点センサ６４は、例えば赤外線を装着者の眼球に向けて照射する赤外線照射部と、その眼球を撮影するカメラなどから構成されており、周知の角膜反射法によって視点を検出する。なお、視点を他の手法によって検出してもよい。
【００６８】
中心制御部６３は、視点センサ６４の検出結果に基づいて、外部映像上の主画像領域Ｃ１の中心位置を決定し、その中心位置を主画像分割手段６２ａに指定する。この中心制御部６３は、視点センサ６４によって検出される装着者の視点位置から、装着者が注視している外部映像上の注視位置を求め、その注視位置が主画像の中心となるように主画像領域Ｃ１の中心位置を決定する。
【００６９】
この例では、図１０に示すように、視点が所定サイズの範囲内に留まっている時間が継続して規定時間以上であるときに、その範囲の例えば中心を注視位置として注視していると判定する。そして、注視していると判定した場合に、その注視位置を主画像分割手段６２ａに指定する。これにより、主画面２５Ｃ，２６Ｃに注視位置を中心とした主画像を表示させる。一方、注視していないと判定された場合には、外部映像の中心を主画像の中心位置として主画像分割手段６２ａに指定することにより、装着者が現実空間を通常に観察する状態とする。
【００７０】
例えば、注視しないと判定されて、図１１（ａ）のようにＬＣＤユニット１８Ｒ，１8Ｌに主画像と各副画像が表示されているときに、装着者が主画像ＧＣの上部、あるいは上画像ＧＵに表示されている「信号機」の被写体像Ｔ３を注視すると、図１１（ｂ）に示すように、その「信号機」の被写体像Ｔ３部分が中心となるように主画像ＧＣの表示が変化する。
【００７１】
なお、外部映像上で主画像の中心位置を移動させる場合には、主画像の中心位置を徐々に目的とする位置にまで移動させ、滑らかに主画面２５Ｃ，２６Ｃに表示される主画像の外部映像上の範囲を変化させることが好ましい。
【００７２】
主画像の表示範囲が移動するときに、各副画像の表示範囲については変化させていないが、各副画像によって表示される現実空間の範囲を、主画像に対応させて移動させてもよい。この場合には、主画像の周囲の画像を副画像として取り出すようにすればよい。このときにも、副画像と主画像との範囲が一部重複するようにするのがよい。また、注視によって主画像の範囲が変わるモードと、固定されたモードとを選択できるようにするのも好ましい。
【００７３】
上記各実施形態では、副画像を左右上下の各画像としたが、左右の各画像としてもよく、また上下の各画像としてもよい。
【符号の説明】
【００７４】
１０ ＨＭＤ
１５ カメラ
１５ａ 撮影レンズ
１7Ｌ，１７Ｒ 表示部
３１，６２ 画像分割部
３２，６１ 歪み補正部
５１ 動きセンサ
５２ 電子ズーム部
６４ 視点センサ
【技術分野】
【０００１】
本発明は、頭部に装着した状態で画像を見ることができるヘッドマウントディスプレイ装置に関するものである。
【背景技術】
【０００２】
頭部に装着して装着者の眼前に映像を表示するヘッドマウントディスプレイ装置（以下、ＨＭＤという）が知られている。このＨＭＤの利用用途には様々なものがあるが、その１つには現実空間（外部の景色）に各種の付加情報（以下、ＡＲ情報という）を重ねて表示することによって情報を提供するものがある。このような用途で使用されるＨＭＤとしては、光透過型、ビデオ透過型がある。光透過型のＨＭＤでは、現実空間と液晶などに表示されるＡＲ情報とを、例えばハーフミラーで重ねて観察できるようにしている。一方のビデオ透過型では、使用者の視点からビデオカメラで現実空間を撮影し、その撮影で得られる外部映像にＡＲ情報を合成したものを使用者に観察させるようにしている。
【０００３】
上記ビデオ透過型のＨＭＤでは、装着者の観察できる視野がビデオカメラの撮影画角で制限されるため、通常では非装着状態に比べて視野が狭くなってしまう。しかしながら、このようなＨＭＤを装着した状態で装着者が活動する場合には、視野の制限の影響を受けて周囲、特に視野から外れる左右方向などの障害物に接触する可能性が高くなるという問題があった。
【０００４】
眼の前方に配される画像出力部と外部の障害物との距離を測定する探知センサを設け、探知センサの検出結果に基づいて、障害物が画像出力部と接触する可能性が高い距離まで近づいたときに、画像出力部を保持したアームを後退させて障害物との接触を回避するようにしたＨＭＤが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２３３９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１のようにＨＭＤの一部を移動させることでは、障害物を避けることができず、装着者自身が回避しなければならないことも多い。したがって、ビデオ透過型のＨＭＤを装着した状態でも広い視野を確保することが好ましい。そこで、視野を広くするために、焦点距離が短く広い範囲を撮影できる広角レンズを用いて現実空間を撮影することが考えられる。しかし、このような広角レンズでは撮影される画像に歪みの程度が大きい。このため、広角レンズを用いた場合では、装着者に広い視野を提供できるが、観察される現実空間が歪んでしまい、装着者の活動に支障をきたすという問題があった。
【０００７】
本発明は、上記課題を鑑みてなされたものであって、広範囲な視野を確保しつつ，活動を良好に行うことができるヘッドマウントディスプレイ装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を達成するために請求項１記載のヘッドマウントディスプレイ装置では、装着者と略同一の視点から広角レンズを介して現実空間を外部映像として撮影する撮影手段と、外部映像の一部を主画像として、また主画像の周囲の外部映像をまたは外部映像の周辺画像を副画像として取り出す画像分割手段と、主画像に対する広角レンズの歪曲収差を補正する歪み補正手段と、装着者の眼の前方に主画像を表示するとともに、主画像の周囲に副画像を表示する表示手段とを備えたものである。
【０００９】
請求項２記載のヘッドマウントディスプレイ装置では、画像分割手段を、主画像の一部と重複させて外部映像から副画像を取り出すようにしたものである。
【００１０】
請求項３記載のヘッドマウントディスプレイ装置では、画像分割手段を、副画像を主画像の左側及び右側から、または外部映像の左側周辺部及び右側周辺部から取り出し、表示手段を、主画像の左右に、それぞれ対応する副画像を表示するようにしたものである。
【００１１】
請求項４記載のヘッドマウントディスプレイ装置では、画像分割手段を、副画像を主画像の上下左右から、または外部映像の上下左右の周辺部から取り出し、表示手段を、主画像の上下左右に、それぞれ対応する副画像を表示するようにしたものである。
【００１２】
請求項５記載のヘッドマウントディスプレイ装置では、装着者の頭部の動きを検出する動き検出手段と、動き検出手段の検出結果に応じて、主画像による現実空間の表示範囲の広狭を変化させる広狭調節手段を備えたものである。
【００１３】
請求項６記載のヘッドマウントディスプレイ装置では、広狭調節手段を、動き検出手段によって動きが検出されている場合に、動きが検出されていない場合よりも、主画像による現実空間の表示範囲を広くするようにしたものである。
【００１４】
請求項７記載のヘッドマウントディスプレイ装置では、広狭調節手段を、動き検出手段によって検出される動きの速度が所定値以上である場合に、動きの速度が所定値未満である場合よりも主画像による現実空間の表示範囲を広くするようにしたものである。
【００１５】
請求項８記載のヘッドマウントディスプレイ装置では、画像分割手段を、主画像の中心を撮影手段によって撮影される外部映像の中心と一致させ、外部映像の中央部を主画像として取り出すようにしたものである。
【００１６】
請求項９記載のヘッドマウントディスプレイ装置では、主画像または副画像上での装着者の視点位置を検出する視点検出手段と、この視点検出手段の検出結果に基づいて、外部映像上での装着者の注視位置を検知し、検知される注視位置を中心として主画像を取り出すように画像分割手段を制御する中心制御手段とを備えたものである。
【００１７】
請求項１０記載ヘッドマウントディスプレイ装置では、歪み補正手段が、外部映像に歪み補正を行い、画像分割手段が、歪み補正手段によって歪みが補正された外部映像から主画像を取り出すようにしたものである。
【００１８】
請求項１１記載のヘッドマウントディスプレイ装置では、撮影手段は、その広角レンズが円周魚眼レンズとなっているものである。
【００１９】
請求項１２記載のヘッドマウントディスプレイ装置では、主画像または副画像に付加情報を重畳させて表示させる付加情報合成手段を備えたものである。
【発明の効果】
【００２０】
本発明によれば、広角レンズを介して現実空間を撮影した外部映像から主画像と、その周辺の副画像とを取り出し、主画像には広角レンズの歪曲収差を補正して、その主画像とともに、主画像の周囲に副画像を表示するようにしたから、装着者が主画像を観察しながら活動を良好に行えるとともに、副画像によりの周辺視野を提供することができ、障害物との接触の回避等を容易に行うことができる。
【図面の簡単な説明】
【００２１】
【図１】本発明を実施したＨＭＤの外観の構成を示す斜視図である。
【図２】ＨＭＤの構成を示すブロック図である。
【図３】画像処理ユニットの構成を示すブロック図である。
【図４】外部映像から主画像及び各副画像を生成する状態を示す説明図である。
【図５】主画像及び副画像の表示例を示す説明図である。
【図６】装着者の動きに応じて主画像が表示する現実空間の範囲を変化させる例を示す画像処理ユニットのブロック図である。
【図７】装着者の動きに応じて主画像が表示する現実空間の範囲を変化させる際の制御の概略を示すフローチャートである。
【図８】広角モードと標準モードでの主画像及び副画像の表示例を示す説明図である。
【図９】注視位置に応じて主画像の表示範囲を変化させる例を示す画像処理ユニットのブロック図である。
【図１０】注視位置に応じて主画像の表示範囲を変化させる際の制御の概略を示すフローチャートである。
【図１１】主画像の表示範囲が変化した主画像及び副画像の表示例を示す説明図である。
【発明を実施するための形態】
【００２２】
［第１実施形態］
本発明を実施したＨＭＤ（ヘッドマウントディスプレイ装置）の外観を図１に示す。ＨＭＤ１０は、ゴーグル形状にされており、眼前ユニット１２と、この眼前ユニット１２に一体に設けられた一対のテンプル（耳かけ）１３とからなる。このＨＭＤ１０は、テンプル１３を用いて使用者の頭部に装着される。眼前ユニット１２は、装着者の眼前を覆うように設けられた箱状の筐体１４と、筐体１４の前面に撮影レンズ１５ａが露呈されたカメラ１５と、筐体１４の内部に配された左側表示部１７Ｌと右側表示部１７Ｒや画像処理用の各種回路などから構成される。
【００２３】
カメラ１５は、撮影レンズ１５ａを介して現実空間（外部の景色）を外部映像として撮影する。各表示部１７Ｌ，１７Ｒは、左眼用、右眼用のＬＣＤ（液晶ディスプレイ）ユニット１８Ｌ，１８Ｒ（図２参照）や接眼光学系（図示省略）などから構成されており、それぞれ対応する左眼、右眼の前方に配されている。装着者は、ＬＣＤユニット１８Ｌ，１８Ｒに表示される画像を接眼光学系を介して観察する構成となっている。
【００２４】
各表示部１７Ｌ，１７Ｒには、カメラ１５で撮影された外部映像に各種画像処理を施し、またＡＲ情報を重畳した画像が表示される。なお、この例では各眼に対して表示部１７Ｌ，１７Ｒを設けているが、左右共通の表示部を設け、これを両眼で観察する構成でもよい。
【００２５】
カメラ１５は、前述の撮影レンズ１５ａとイメージセンサ１５ｂとからなる。撮影レンズ１５ａとしては、大きな撮影画角を有し広い視野を提供できる広角レンズが用いられる。この例では、撮影レンズ１５ａとして、撮影画角がほぼ１８０度であり、そのイメージサークルがイメージセンサ１５ｂの受光面に収まる円周魚眼レンズを用いている。
【００２６】
イメージセンサ１５ｂは、ＣＣＤ型やＭＯＳ型のものが用いられており、撮影レンズ１５ａによって結像される被写体像を光電変換して外部映像として出力する。このように構成されるカメラ１５は、撮影レンズ１５ａが装着者の前方に向けられており、装着者とほぼ同じ視点から撮影する。これにより、装着者の前面側で、装着者の真上から真下、及び真横を含む円形の外部映像が撮影される。
【００２７】
なお、撮影レンズとしては、円周魚眼レンズに限られるものではなく、対角魚眼レンズや、魚眼レンズよりも焦点距離が長い広角レンズを用いてもよい。なお、撮影レンズとしては、広い視野を提供するためにできるだけ短いものが好ましく、焦点距離２０ｍｍ（３５ｍｍ判換算値）以下とするのがよい。また、魚眼レンズ以外で撮影する場合にも、そのイメージサークルがイメージセンサ１５ｂの受光面に収まるようにして円形に外部映像を撮影してもよい。さらに、現実空間の目的物を記録に残すなどの目的のために、撮影レンズ１５ａをズームレンズとして、その記録に必要な焦点距離を確保できるようにしてもよい。
【００２８】
信号処理部２１は、カメラ１５からの出力信号に対してノイズ除去、信号増幅、デジタル変換などを行う。また、信号処理部２１は、デジタル変換された外部映像に対して、ホワイトバランス処理などの各種処理を行う。外部映像は、信号処理部２１から画像処理ユニット２２に送られる。
【００２９】
画像処理ユニット２２は、詳細を後述するように外部映像から主画像と副画像の取り出しや、主画像の歪み補正、ＡＲ情報の合成などを行う。副画像としては、右画像、左画像、上画像、下画像が取り出される。主画像や副画像は、各表示部１７Ｌ，１７Ｒに送られる。
【００３０】
情報発生部２３は、カメラの位置や撮影方向（方位、仰角など）を検出するセンサを有しており、これらセンサの検出結果に基づいて、撮影中の現実空間中の被写体の説明などからなるＡＲ情報を発生させる。このＡＲ情報には、それを合成すべき画像上の位置などを示す合成制御情報が含まれている。ＡＲ情報は、例えば無線通信手段（図示せず）を介して、各種のＡＲ情報を蓄積している外部サーバから取得する。この情報発生部２３からのＡＲ情報は、画像処理ユニット２２に送られる。
【００３１】
左側表示部１７Ｌは、前述のようにＬＣＤユニット１８Ｌと接眼光学系とで構成される。ＬＣＤユニット１８Ｌは、それぞれＬＣＤで構成される主画面２５Ｃ，左画面２５Ｌ，右画面２５Ｒ，上画面２５Ｕ，下画面２５Ｄからなり、各画面は、それの駆動回路（図示省略）を備えており、入力されるデータに基づいて画像を表示する。主画面２５Ｃは、主画像を表示し、左画面２５Ｌ，右画面２５Ｒ，上画面２５Ｕ，下画面２５Ｄは、それぞれ対応する左画像，右画像，上画像，下画像を表示する。
【００３２】
上記ＬＣＤユニット１８Ｌは、主画面２５Ｃを中心に、その左側に左画面２５Ｌが、右側に右画面２５Ｒが、上側に上画面２５Ｕが、下側に下画面２５Ｄがそれぞれ配されている。このように構成されるＬＣＤユニット１８Ｌを接眼光学系を介して観察することにより、左眼のほぼ正面に主画像を観察することができ、その主画像の右側に右画像を、左側に左画像を観察することができる。同様に、主画像の上側に上画像を、下側に下画像を観察することができる。
【００３３】
右側表示部１７Ｒは、左側表示部１７Ｌと同じ構成であり、ＬＣＤユニット１８Ｒと接眼光学系で構成され、ＬＣＤユニット１８Ｒは、主画像，左画像，右画像，上画像，下画像が表示される主画面２６Ｃ，右画面２６Ｒ，左画面２６Ｌ，上画面２６Ｕ，下画面２６Ｄから構成される。ＬＣＤユニット１８Ｒに表示される画像は、接眼光学系を介して右眼で観察される。
【００３４】
主画像及び左画像，右画像，上画像，下画像が観察されるサイズや装着者の視野に対する位置などは、主画像が明確に観察で、また左画像，右画像，上画像，下画像が明確には観察できないが視野内にほぼ観察されるように、ＬＣＤユニット１８Ｌ，１８Ｒの各画面のサイズや配置，接眼光学系の倍率などによって調整されている。主画像については、人が片眼で明確に見ることができる視野にほぼ一致して観察されるように調整されていることが好ましい。この例では、明確に見ることができる視野を４６度として、そのように主画像が観察されるようにしてある。また、このような明確に見ることができる視野の外側に左画像，右画像，上画像，下画像が観察されるにように、各画面２５Ｌ，２５Ｒ，２５Ｕ，２５Ｄ、２６Ｒ，２６Ｌ，２６Ｕ，２６Ｄのサイズや主画面２５Ｃ，２６Ｃとの位置関係、接眼光学系が調整されている。
【００３５】
なお、この例では、複数の画面を用いて主画像、及び各副画像を表示しているが、例えば１個のＬＣＤの表示面を分割して主画像、及び副画像を表示し、同様に観察されるようにしてもよい。
【００３６】
図３に示すように、画像処理ユニット２２は、画像分割部３１，歪み補正部３２，画像合成部３３から構成される。画像分割部３１は、外部映像から主画像と、副画像とを取り出す。この画像分割部３１は、外部映像の中央部を主画像として取り出し、外部映像の左右上下の各周辺画像を左画像，右画像，上画像，下画像として取り出す。左画像，右画像，上画像，下画像を取り出す際には、それら各画像の範囲の一部が主画像の範囲と重複するように取り出される。
【００３７】
歪み補正部３２には、画像分割部３１からの主画像が入力される。この歪み補正部３２は、主画像に対して撮影レンズ１５ａの歪曲収差をなく補正を行う。歪み補正部３２には、撮影レンズ１５ａの歪曲収差による画像の歪みをなくすための補正パラメータが設定されており、この補正パラメータを用いて主画像に対する歪み補正が行われる。補正パラメータは、例えば撮影レンズ１５ａの仕様に基づいて予め決められている。
【００３８】
各副画像には主画像のような補正を行わないこれは画像を限られたサイズの表示画面に表示しながら、見易い画像のサイズを確保し、また表示される現実空間の情報量の欠落をなくすためである。
【００３９】
画像合成部３３には、歪み補正部３２で歪み補正された主画像と、情報発生部２３からのＡＲ情報とが入力される。この画像合成部３３は、ＡＲ情報を、それに含まれる合成制御情報に基づいて主画像に合成し、各種のＡＲ情報を重畳した主画像を生成する。
【００４０】
画像合成部３３からの主画像は、主画面２５Ｃ，２６Ｃに送られて、これら主画面２５Ｃ，２６Ｃにそれぞれ表示される。また、画像分割部３１で取り出される左画像は、左画面２５Ｌ，２６Ｌに、右画像は右画面２５Ｒ，２６Ｒにそれぞれ送られて表示される。さらに、上画像は、上画面２５Ｕ，２６Ｕに、下画像は下画面２５Ｄ，２６Ｄにそれぞれ送られて表示される。これにより、主画像の左右上下に左画像，右画像，上画像，下画像を配した画像を表示する。
【００４１】
外部映像から主画像及び各副画像を生成する状態を図４に模式的に示す。撮影される外部映像Ｇは円形となっている（図４（ａ））。この外部映像Ｇから、画像分割部３１によって主画像ＧＣ0が取り出され（図４（ｂ））、また左画像ＧＬ，右画像ＧＲ，上画像ＧＵ，下画像ＧＤが取り出される（図４（ｃ））。主画像ＧＣ0は、歪み補正部３２によって補正されて矩形の主画像ＧＣとされる（図４（ｄ））。
【００４２】
図４（ａ）に破線で示す境界線の内側が主画像ＧＣ0を取り出す主画像領域Ｃ１となっている。この主画像領域Ｃ１は、その中心位置Ｐが外部映像Ｇの中心位置（撮影レンズ１５ａの光軸の位置）となるようにしてあり、主画像ＧＣ0及び補正後の主画像ＧＣと外部映像Ｇとの各中心位置が一致するようにしてある。また、主画像領域Ｃ１は、矩形よりも外側に膨らんだ樽型状になっている。これは、歪み補正部３２での補正後の主画像ＧＣを矩形とするためである。
【００４３】
二点鎖線で示す境界線の外側が各副画像を取り出する副画像領域Ｃ２〜Ｃ５となっており、外部映像Ｇの周辺部の左側、右側、上側、下側のそれぞれ設けられている。これら副画像領域Ｃ２〜Ｃ５のそれぞれは、主画像領域Ｃ１と一部が重複するように区画されており、図４（ａ）では、その重複している部分をハッチングで示してある。これにより、表示された主画像中の被写体像と各副画像中の被写体像との対応関係を把握しやすくしている。なお、この例では、外部映像の周辺部から取り出される副画像は、主画像の周囲から取り出される副画像でもある。
【００４４】
図５に撮影状態と表示状態の一例を示す。図５（ａ）は撮影された外部映像を示しており、図５（ｂ）は、この外部映像に対応する表示状態を示している。円形の外部映像Ｇ内の被写体像は、撮影レンズ１５ａの歪曲収差によって歪んでいる。この外部映像Ｇの中央部から取り出されて補正された主画像ＧＣが主画面２５Ｃ，２６Ｃに表示される。この主画像ＧＣは、歪みが補正されて表示されるとともに、建物の名称を示すＡＲ情報Ｆ１や道路の名称を示すＡＲ情報Ｆ２、近隣の駅の方向を示すＡＲ情報Ｆ３などが合成されて表示される。
【００４５】
また、外部映像Ｇの周辺部から取り出された左画像ＧＬが左画面２５Ｌ，２６Ｌに、右画像ＧＲが右画面２５Ｒ，２６Ｒに、上画像ＧＵが上画面２５Ｕ，２６Ｕに、下画像ＧＤが下画面２５Ｄ，２６Ｄにそれぞれ表示されている。これら副画像は、歪みが補正されることなく表示される。また、各副画像は、その一部が主画像と重複して表示される。図示した例では、例えば左画像ＧＬに自動車の被写体像Ｔ１ａが表示され、その自動車の先端部分の被写体像Ｔ１ｂが主画面ＧＣに表示されている。また、下画像ＧＤに横断歩道の一部の被写体像Ｔ２ａが表示されるとともに、その横断歩道の被写体像Ｔ２ｂが主画面ＧＣに表示されている。
【００４６】
次に上記構成の作用について説明する。ＨＭＤ１０を装着して電源をオンとすると、カメラ１５による撮影が開始される。撮影レンズ１５ａを通して現実空間が円形の外部映像として動画で撮影され、撮影される外部映像が１フレーム分ごとに信号処理部２１を介して画像処理ユニット２２に順次に送られる。
【００４７】
画像処理ユニット２２では、画像分割部３１によって、外部映像から主画像と、左画像，右画像，上画像，下画像とがそれぞれ取り出される。このときに、各副画像のそれぞれは、主画像と画像の一部が重複するようにして取り出される。取り出された主画像は、歪み補正部３２に送られ、各副画像は、ＬＣＤユニット２５，２６に送られる。歪み補正部３２では、入力される主画像に対して撮影レンズ１５ａの歪曲収差の補正を行い、収差をなくした主画像が画像合成部３３に送られる。
【００４８】
一方、情報発生部２３では、それに内蔵したセンサにより、カメラ１５の位置や撮影方向などが検出され、その検出結果に基づいてカメラ１５で現在撮影されている現実空間の建物や道などの特定が行われて、それらのＡＲ情報が発生される。そして、そのＡＲ情報が画像合成部３３に送られる。
【００４９】
ＡＲ情報が画像合成部３３に入力されると、それに含まれる合成制御情報に基づいた主画像上の合成位置にＡＲ情報が合成される。複数のＡＲ情報が入力されているときには、それぞれのＡＲ情報が主画像に合成される。そして、ＡＲ情報が合成された主画像がＬＣＤユニット２５，２６に送られる。なお、副画像にもＡＲ情報を合成するなどしてもよい。
【００５０】
上記のようにして得られる主画像と各副画像とがＬＣＤユニット２５，２６に送られ、主画面２５Ｃ，２６Ｃに主画像が表示される。また、この主画面２５Ｃ，２６Ｃの周囲に配された左画面２５Ｌ，２６Ｌに左画像が表示され、右画面２５Ｒ，２６Ｒに右画像が表示される。さらに、上画面２５Ｕ，２６Ｕに上画像が表示され、下画面２５Ｄ，２６Ｄに下画像が表示される。これにより、装着者は、接眼光学系を通して、図５（ｂ）に一例が示されるような主画像ＧＣ、左画像ＧＬ，右画像ＧＲ，上画像ＧＵ，下画像ＧＤを観察することができる。
【００５１】
カメラ１５の撮影に同期して、各画面に表示される主画像及び各副画像が更新されるので、装着者は、主画像及び各副画像を動画として観察することができ、装着者が向いている方向を変化させれば、それに応じて変化する主画像、各副画像を観察することができる。
【００５２】
歪み補正された主画像により、装着者は、装着者が向いている方向の現実空間を観察することができ、またそれに合成されているＡＲ情報を観察することができる。したがって、装着者は、主画像を観察しながら移動や作業などを良好に行うことができる。
【００５３】
一方で、左画像，右画像，上画像、下画像は、装着者の左右上下方向の現実空間の情報を多く含み、上述のように歪み補正せずに表示されているが、現実空間における装着者の左右上下方向の気配を感じるには十分であり、例えば接近してくる自動車などを早期に気づくことができる。また、このときに表示されている各副画像の一部が主画像と重複して表示されているから、副画像中の被写体像と主画像中の被写体像との対応関係を把握しやすい。
【００５４】
［第２実施形態］
装着者の頭部の動きに応じて、主画像による現実空間の表示範囲の広狭を変化させる第２実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその説明を省略する。
【００５５】
この例では、図６に示すように、動きセンサ５１が設けられるとともに、電子ズーム部５２が設けられている。動きセンサ５１は、加速度センサや角速度センサ等から構成されており、装着者の頭部の動きを検出する。頭部の動きとして検出されるのは、例えば装着者の頭部自体の動き（回転や直線運動等）の他、頭部の移動をともなう装着者自身の動きがある。
【００５６】
動きセンサ５１の検出結果は、電子ズーム部５２に送られる。電子ズーム部５２には、歪み補正部３２で歪み補正された主画像が入力される。この電子ズーム部５２は、広狭調節手段として機能し、動きセンサ５１の検出結果に応じたサイズの範囲に主画像をトリミングし、そのトリミングが施された主画像を元の主画像のサイズに拡大する。これにより、あたかも主画像を撮影する撮影レンズがズーミングされるようにして、主画像が表示する現実空間の範囲の広狭を調節して主画面２５Ｃ，２６Ｃに表示させる。なお、主画像をトリミングする際には、トリミングの前後で主画像の中心が変わらないようにしている。
【００５７】
この例では、広角モードと標準モードとがある。広角モードは、主画像で現実空間を広く表示するためのモードであり、電子ズーム部５２は、例えば８０°の撮影画角に相当する主画像をトリミング・拡大により生成して出力する。標準モードは、広角モードよりも狭い範囲の現実空間を主画像で表示するモードであり、電子ズーム部５２は、例えば５０°の撮影画角に相当する主画像をトリミング・拡大により生成して出力する。
【００５８】
図７に示すように、電子ズーム部５２は、装着者の頭部が予め設定されている規定値以上の速度、例えば通常に歩く程度の速度以上で移動していることを、動きセンサ５１の検出結果から検知しているときに、広角モードとし、規定値未満の速度での動きの場合には標準モードする。
【００５９】
この例によれば、装着者が例えば規定値以上の速度で歩行しているときには、広角モードとなり、図８（ａ）に示すように、主画面２５Ｃ，２６Ｃには、外部映像内で広く範囲設定された主画像ＧＣが表示され、移動のために十分な広範囲の現実空間が歪みない状態で観察できる。
【００６０】
これに対して、装着者が規定値未満の速度でゆっくりと歩行しているときや、静止しているときには、標準モードとなり、主画面２５Ｃ，２６Ｃには、外部映像内で狭く範囲設定された主画像ＧＣが表示され、現実空間の建物などを注視するのに適した状態となる。
【００６１】
上記の例では、規定値以上の速度で動いているか否かによって、主画像が表示する現実空間の範囲の広狭を調節しているが、これに限らず、例えば動いている否かで調節してもよい。また、一定時間以上の動きがあったとき、また動きが止まってから一定時間以上が経過したときに、主画像が表示する現実空間の範囲の広狭を変化するようにしてもよい。さらに、主画像が表示する現実空間の範囲の広狭を変化させるときには、徐々にその範囲を広くし、あるいは狭くするのがよい。
【００６２】
また、上記の例では、主画像が表示する現実空間の範囲の広狭を変化させるときに各副画像が表示する範囲の広狭を変化させていないが、各副画像によって表示される現実空間の範囲の広狭を、主画像に対応させて変化させてもよい。このときに、主画像が表示する現実空間の範囲の広狭と同じように、すなわち例えば主画像が表示する現実空間の範囲を狭くしたときに、各副画像が表示する現実空間の範囲をも狭くするように制御し、あるいは主画像が表示する現実空間の範囲の広狭と逆向きに、すなわち例えば主画像が表示する現実空間の範囲を狭くしたときに、各副画像が表示する現実空間の範囲を広くするように制御することもできる。前者のように制御する場合では、電子ズーム部に代えて、ズームタイプの撮影レンズ１５ａを用いて、その焦点距離の増減で行うこともできる。
【００６３】
［第３実施形態］
装着者の視点位置を検出し、その検出結果に基づいて、主画像が表示する現実空間の表示範囲を変化させる第３実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその説明を省略する。
【００６４】
この例における画像処理ユニット２２の構成を図９に示す。画像処理ユニット２２に外部映像が入力されると、その外部映像は歪み補正部６１と画像分割部６２とに送られる。歪み補正部６１は、第１実施形態の歪み補正部３２と同様に、撮影レンズ１５ａの歪曲収差の補正を行うが、この歪み補正部６１では、入力される外部映像の全部について歪み補正を行う。
【００６５】
画像分割部６２は、主画像分割手段６２ａと副画像分割手段６２ｂからなる。主画像分割手段６２ａは、後述する中心制御部６３に指定される外部映像上の位置を主画像領域Ｃ１の中心として主画像を外部映像から取り出す。副画像分割手段６２ｂは、入力される外部映像からその左右上下の各周辺部を左画像，右画像，上画像，下画像として取り出す。なお、歪み補正をした外部映像から主画像の取り出しを行っているが、補正前の外部映像から主画像を取り出し、これに歪み補正を行ってもよい。
【００６６】
主画像分割手段６２ａで取り出された主画像は、画像合成部３３を介して主画面２５Ｃ，２６Ｃに送られて表示される。また、副画像分割手段６２ｂで取り出された左画像ＧＬ，右画像ＧＲ，上画像ＧＵ，下画像ＧＤは、各画面２５Ｌ，２６Ｌ、２５Ｒ，２６Ｒ，２５Ｕ，２６Ｕ，２５Ｄ，２６Ｄに送られて表示される。
【００６７】
ＨＭＤ１０には、装着者の視点位置を検出する視点センサ６４が設けられている。視点センサ６４は、例えば赤外線を装着者の眼球に向けて照射する赤外線照射部と、その眼球を撮影するカメラなどから構成されており、周知の角膜反射法によって視点を検出する。なお、視点を他の手法によって検出してもよい。
【００６８】
中心制御部６３は、視点センサ６４の検出結果に基づいて、外部映像上の主画像領域Ｃ１の中心位置を決定し、その中心位置を主画像分割手段６２ａに指定する。この中心制御部６３は、視点センサ６４によって検出される装着者の視点位置から、装着者が注視している外部映像上の注視位置を求め、その注視位置が主画像の中心となるように主画像領域Ｃ１の中心位置を決定する。
【００６９】
この例では、図１０に示すように、視点が所定サイズの範囲内に留まっている時間が継続して規定時間以上であるときに、その範囲の例えば中心を注視位置として注視していると判定する。そして、注視していると判定した場合に、その注視位置を主画像分割手段６２ａに指定する。これにより、主画面２５Ｃ，２６Ｃに注視位置を中心とした主画像を表示させる。一方、注視していないと判定された場合には、外部映像の中心を主画像の中心位置として主画像分割手段６２ａに指定することにより、装着者が現実空間を通常に観察する状態とする。
【００７０】
例えば、注視しないと判定されて、図１１（ａ）のようにＬＣＤユニット１８Ｒ，１8Ｌに主画像と各副画像が表示されているときに、装着者が主画像ＧＣの上部、あるいは上画像ＧＵに表示されている「信号機」の被写体像Ｔ３を注視すると、図１１（ｂ）に示すように、その「信号機」の被写体像Ｔ３部分が中心となるように主画像ＧＣの表示が変化する。
【００７１】
なお、外部映像上で主画像の中心位置を移動させる場合には、主画像の中心位置を徐々に目的とする位置にまで移動させ、滑らかに主画面２５Ｃ，２６Ｃに表示される主画像の外部映像上の範囲を変化させることが好ましい。
【００７２】
主画像の表示範囲が移動するときに、各副画像の表示範囲については変化させていないが、各副画像によって表示される現実空間の範囲を、主画像に対応させて移動させてもよい。この場合には、主画像の周囲の画像を副画像として取り出すようにすればよい。このときにも、副画像と主画像との範囲が一部重複するようにするのがよい。また、注視によって主画像の範囲が変わるモードと、固定されたモードとを選択できるようにするのも好ましい。
【００７３】
上記各実施形態では、副画像を左右上下の各画像としたが、左右の各画像としてもよく、また上下の各画像としてもよい。
【符号の説明】
【００７４】
１０ ＨＭＤ
１５ カメラ
１５ａ 撮影レンズ
１7Ｌ，１７Ｒ 表示部
３１，６２ 画像分割部
３２，６１ 歪み補正部
５１ 動きセンサ
５２ 電子ズーム部
６４ 視点センサ
【特許請求の範囲】
【請求項１】
装着者の頭部に装着されて使用されるヘッドマウントディスプレイ装置において、
装着者と略同一の視点から広角レンズを介して現実空間を外部映像として撮影する撮影手段と、
外部映像の一部を主画像として、また前記主画像の周囲の外部映像をまたは外部映像の周辺画像を副画像として取り出す画像分割手段と、
前記主画像に対する広角レンズの歪曲収差を補正する歪み補正手段と、
装着者の眼の前方に主画像を表示するとともに、主画像の周囲に副画像を表示する表示手段とを備えることを特徴とするヘッドマウントディスプレイ装置。
【請求項２】
前記画像分割手段は、主画像の一部と重複させて外部映像から副画像を取り出すことを特徴とする請求項１記載のヘッドマウントディスプレイ装置。
【請求項３】
前記画像分割手段は、副画像を主画像の左側及び右側から、または外部映像の左側周辺部及び右側周辺部から取り出し、
前記表示手段は、主画像の左右に、それぞれ対応する副画像を表示することを特徴とする請求項１または２記載のヘッドマウントディスプレイ装置。
【請求項４】
前記画像分割手段は、副画像を主画像の上下左右から、または外部映像の上下左右の周辺部から取り出し、
前記表示手段は、主画像の上下左右に、それぞれ対応する副画像を表示することを特徴とする請求項１または２記載のヘッドマウントディスプレイ装置。
【請求項５】
装着者の頭部の動きを検出する動き検出手段と、
前記動き検出手段の検出結果に応じて、主画像による現実空間の表示範囲の広狭を変化させる広狭調節手段を備えることを特徴とする請求項１ないし４のいずれか１項に記載のヘッドマウントディスプレイ装置。
【請求項６】
前記広狭調節手段は、動き検出手段によって動きが検出されている場合に、動きが検出されていない場合よりも、主画像による現実空間の表示範囲を広くすることを特徴とする請求項５記載のヘッドマウントディスプレイ装置。
【請求項７】
前記広狭調節手段は、動き検出手段によって検出される動きの速度が所定値以上である場合に、動きの速度が所定値未満である場合よりも主画像による現実空間の表示範囲を広くすることを特徴とする請求項５記載のヘッドマウントディスプレイ装置。
【請求項８】
前記画像分割手段は、主画像の中心を前記撮影手段によって撮影される外部映像の中心と一致させ、外部映像の中央部を主画像として取り出すことを特徴とする請求項１ないし７のいずれか１項に記載のヘッドマウントディスプレイ装置。
【請求項９】
主画像または副画像上での装着者の視点位置を検出する視点検出手段と、
この視点検出手段の検出結果に基づいて、外部映像上での装着者の注視位置を検知し、検知される注視位置を中心として主画像を取り出すように前記画像分割手段を制御する中心制御手段とを備えたことを特徴とする請求項１ないし４のいずれか１項に記載ヘッドマウントディスプレイ装置。
【請求項１０】
前記歪み補正手段は、外部映像に歪み補正を行い、
前記画像分割手段は、前記歪み補正手段によって歪みが補正された外部映像から主画像を取り出すことを特徴とする請求項９記載のヘッドマウントディスプレイ装置。
【請求項１１】
前記撮影手段は、その広角レンズが円周魚眼レンズであることを特徴とする請求項１ないし１０のいずれか１項に記載のヘッドマウントディスプレイ装置。
【請求項１２】
主画像または副画像に付加情報を重畳させて表示させる付加情報合成手段を備えることを特徴とする請求項１ないし１１のいずれか１項に記載のヘッドマウントディスプレイ装置。
【請求項１】
装着者の頭部に装着されて使用されるヘッドマウントディスプレイ装置において、
装着者と略同一の視点から広角レンズを介して現実空間を外部映像として撮影する撮影手段と、
外部映像の一部を主画像として、また前記主画像の周囲の外部映像をまたは外部映像の周辺画像を副画像として取り出す画像分割手段と、
前記主画像に対する広角レンズの歪曲収差を補正する歪み補正手段と、
装着者の眼の前方に主画像を表示するとともに、主画像の周囲に副画像を表示する表示手段とを備えることを特徴とするヘッドマウントディスプレイ装置。
【請求項２】
前記画像分割手段は、主画像の一部と重複させて外部映像から副画像を取り出すことを特徴とする請求項１記載のヘッドマウントディスプレイ装置。
【請求項３】
前記画像分割手段は、副画像を主画像の左側及び右側から、または外部映像の左側周辺部及び右側周辺部から取り出し、
前記表示手段は、主画像の左右に、それぞれ対応する副画像を表示することを特徴とする請求項１または２記載のヘッドマウントディスプレイ装置。
【請求項４】
前記画像分割手段は、副画像を主画像の上下左右から、または外部映像の上下左右の周辺部から取り出し、
前記表示手段は、主画像の上下左右に、それぞれ対応する副画像を表示することを特徴とする請求項１または２記載のヘッドマウントディスプレイ装置。
【請求項５】
装着者の頭部の動きを検出する動き検出手段と、
前記動き検出手段の検出結果に応じて、主画像による現実空間の表示範囲の広狭を変化させる広狭調節手段を備えることを特徴とする請求項１ないし４のいずれか１項に記載のヘッドマウントディスプレイ装置。
【請求項６】
前記広狭調節手段は、動き検出手段によって動きが検出されている場合に、動きが検出されていない場合よりも、主画像による現実空間の表示範囲を広くすることを特徴とする請求項５記載のヘッドマウントディスプレイ装置。
【請求項７】
前記広狭調節手段は、動き検出手段によって検出される動きの速度が所定値以上である場合に、動きの速度が所定値未満である場合よりも主画像による現実空間の表示範囲を広くすることを特徴とする請求項５記載のヘッドマウントディスプレイ装置。
【請求項８】
前記画像分割手段は、主画像の中心を前記撮影手段によって撮影される外部映像の中心と一致させ、外部映像の中央部を主画像として取り出すことを特徴とする請求項１ないし７のいずれか１項に記載のヘッドマウントディスプレイ装置。
【請求項９】
主画像または副画像上での装着者の視点位置を検出する視点検出手段と、
この視点検出手段の検出結果に基づいて、外部映像上での装着者の注視位置を検知し、検知される注視位置を中心として主画像を取り出すように前記画像分割手段を制御する中心制御手段とを備えたことを特徴とする請求項１ないし４のいずれか１項に記載ヘッドマウントディスプレイ装置。
【請求項１０】
前記歪み補正手段は、外部映像に歪み補正を行い、
前記画像分割手段は、前記歪み補正手段によって歪みが補正された外部映像から主画像を取り出すことを特徴とする請求項９記載のヘッドマウントディスプレイ装置。
【請求項１１】
前記撮影手段は、その広角レンズが円周魚眼レンズであることを特徴とする請求項１ないし１０のいずれか１項に記載のヘッドマウントディスプレイ装置。
【請求項１２】
主画像または副画像に付加情報を重畳させて表示させる付加情報合成手段を備えることを特徴とする請求項１ないし１１のいずれか１項に記載のヘッドマウントディスプレイ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２０３４４６（Ｐ２０１１−２０３４４６Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７００５３（Ｐ２０１０−７００５３）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]