頭部装着型表示装置
【課題】 非同軸光学系を用いた頭部装着型表示装置において、その非同軸光学系の構造を簡単にしつつ、それでいて、バイザに歪みのない特殊画像を投影することができる頭部装着型表示装置を提供する。
【解決手段】 ヘルメット１１に支持され眼前に配置されるバイザ１２と、バイザ１２を通して前方を観察した直視像とは異なる感度で前方を撮影する特殊カメラ１３ａと、特殊カメラ１３ａで撮影した映像信号から特殊画像を作成する画像作成部１４ａと、画像を画面表示する画面表示部１７ａと、画面表示された画像を斜め方向からバイザ１２に投影し投影した画像と直視像とを視認できるようにする非同軸光学系１８ａとを備えた頭部装着型表示装置１であって、画像作成部１４は、バイザと非同軸光学系とにより生じる歪曲に合わせて予め特殊画像を歪曲させた歪曲特殊画像を作成する歪曲画像形成部２１ａを有し、画面表示部１７ａに歪曲特殊画像を出力する。
【解決手段】 ヘルメット１１に支持され眼前に配置されるバイザ１２と、バイザ１２を通して前方を観察した直視像とは異なる感度で前方を撮影する特殊カメラ１３ａと、特殊カメラ１３ａで撮影した映像信号から特殊画像を作成する画像作成部１４ａと、画像を画面表示する画面表示部１７ａと、画面表示された画像を斜め方向からバイザ１２に投影し投影した画像と直視像とを視認できるようにする非同軸光学系１８ａとを備えた頭部装着型表示装置１であって、画像作成部１４は、バイザと非同軸光学系とにより生じる歪曲に合わせて予め特殊画像を歪曲させた歪曲特殊画像を作成する歪曲画像形成部２１ａを有し、画面表示部１７ａに歪曲特殊画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼前に配置したバイザに対して画像を投影することにより、バイザ前方の風景とともに投影した画像を視認できるようにした頭部装着型表示装置に関し、さらに詳細には、暗視カメラや赤外線カメラなどの特殊カメラによって取得した映像情報を画像としてバイザに投影する頭部装着型表示装置に関する。
本発明にかかる頭部装着型表示装置は、航空機やヘリコプタの搭乗者が夜間飛行する場合や、消防士やレスキュー隊等の救助活動者が災害現場で使用する場合等、様々な状況で利用される。
【背景技術】
【０００２】
肉眼視では得られない視覚情報を、特殊カメラを使用して取得し、肉眼視による視覚情報ととともに利用することは有用である。例えば、航空機やヘリコプタのパイロットは、夜間飛行を行う場合に暗視装置を使用することがある。一般に、暗視装置はイメージインテンシファイアの出力を、接眼レンズで直視する単眼型のものや双眼鏡型のものが使用されている。
【０００３】
パイロットは、飛行中はヘルメットを装着していることから、ヘルメットに暗視装置を取り付けた暗視装置付きヘルメットが提案されている。（特許文献１、特許文献２）。
また、暗視ビデオの情報を、ヘルメットに取り付けたバイザの一部に映写するシステムが提案されている（特許文献３）。
【０００４】
また、熱線や赤外線像を可視できる表示装置をヘルメットに組み込んだ消防士用やレスキュー隊用の頭部装着型表示装置が開示されている（特許文献４）。
このようにヘルメットに取り付けた表示装置により、暗視画像や赤外線画像を眼前に表示するようにした頭部装着型表示装置が提案されている。
【特許文献１】特開平９−１８８９１１号公報
【特許文献２】特開２００３−５３３６１４号公報
【特許文献３】特開２００１−５１５１５０号公報
【特許文献４】特開平８−５４２８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
双眼鏡形状の暗視装置をヘルメットに取り付けたものは、左右両眼で同時に接眼レンズを覗くことになるので、一時的に暗視画像だけを見る状態が生じることとなり、視野障害や安全上の問題がある。また、眼前においてヘルメットの前方に突出した状態で使用されることになるので、誤って暗視装置に衝撃を与えてしまうことによる破損が生じやすい。
【０００６】
単眼の暗視装置をヘルメットに取り付けたものは、左右の眼で異なる視覚情報を見ることになるので、慣れるまでは不便であるが、片側の眼は外界を見ているので、視野障害や安全上の問題はない。しかしながら、双眼鏡形状の場合と同様に、眼前においてヘルメットの前方に突出した状態で使用されることになるので、誤って暗視装置に衝撃を与えてしまうことによる破損が生じやすい点は同様である。
【０００７】
これに対し、ヘルメットに支持されたバイザに暗視画像を投影するバイザ投影方式の暗視装置では、バイザ前方の風景も同時に視認でき、しかも、ヘルメット前方まで突出するように取り付けられる部材がないので、破損も生じにくい点で優れている。
【０００８】
しかしながら、バイザに向けて暗視画像を投影するには、複雑な光学系が必要となる。すなわち、ヘルメットに取り付けるバイザは、通常は曲面形状をしており、また、バイザの正面には顔面が対向することになるため、光学系は顔面および頭部を避けて、バイザの斜め方向から投影する必要があり、いわゆる非同軸光学系を構成することになる。
【０００９】
非同軸光学系を通して画像を表示させると、光学素子を用いて光学補正しない限り、非対称な歪みが加わった歪み画像を形成することになる。この歪み画像を光学素子で補正しようとすると、補正のためのレンズやミラーからなる光学素子の枚数を大幅に増加させる必要がある。また、枚数の増加に伴い、光学系全体が占める容積が増大することになる。
このような状況は、暗視カメラによる暗視画像をバイザに投影させる場合に限らず、赤外線カメラ等のその他の特殊カメラで撮影した画像をバイザに投影する場合も同様である。
【００１０】
そこで、本発明は、非同軸光学系を用いてバイザに暗視画像等の特殊画像を投影することにより、バイザ前方の直視像と特殊画像とを視認することができるようにした頭部装着型表示装置において、その非同軸光学系の構造を簡単にしつつ、それでいて、バイザに歪みのない特殊画像を投影することができる頭部装着型表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するためになされた本発明の頭部装着型表示装置は、ヘルメットに支持され眼前に配置されるバイザと、バイザを通して前方を観察した直視像とは異なる感度で前方を撮影する特殊カメラと、特殊カメラで撮影した映像信号から特殊画像を作成する画像作成部と、画像を画面表示する画面表示部と、画面表示された画像を斜め方向からバイザに投影し投影した画像と直視像とを視認できるようにする非同軸光学系とを備えた頭部装着型表示装置であって、画像作成部は、バイザと非同軸光学系とにより生じる歪曲に合わせて予め特殊画像を歪曲させた歪曲特殊画像を作成する歪曲画像形成部を有し、画面表示部に歪曲特殊画像を出力するようにしている。
【００１２】
ここで、ヘルメットとは、頭部に装着することができる形状のものであれば形状は限定されないが、少なくとも眼前にバイザを取り付けることが可能な構造のものをいう。また、バイザとは、ヘルメットに支持され使用時に眼前に配置される透明または半透明の部材をいう。バイザの形状についても特に限定されないが、非同軸光学系を介して画像が投影されるものであることを要する。例えば、左右眼前に独立して、あるいは片眼単独で配置されるいわゆるコンバイナのような形状のバイザであってもよいが、その場合でも非同軸光学系を介して画像が投影されることを要する。
【００１３】
また、特殊カメラとは、バイザを通しての肉眼視による直視観察では得ることができない視覚情報を得るためのカメラであり、例えば明るさに対する感度や波長に対する感度がバイザを通して行う肉眼視の感度とは大きく異なるカメラをいう。具体的には、明るさに対する感度が異なる特殊カメラとしては、イメージインテンシファイアを用いた暗視カメラ、暗視カメラを使用するほどの暗さではない状況（例えば夕闇程度の暗さ）において使用するためのＣＣＤ等を用いた低照度対応カメラが該当する。また、波長に対する感度が異なる特殊カメラとしては、赤外線カメラが該当する。
【００１４】
また、特殊画像とは、特殊カメラの映像信号に基づいて作成される画像（画像データ）をいい、暗視カメラの場合は暗視画像、低照度対応カメラの場合は低照度画像、赤外線カメラの場合は赤外線画像（熱線画像）となる。
【００１５】
本発明によれば、バイザを眼前に配置した状態にし、特殊カメラにより眼前の風景を撮影する。特殊カメラの映像信号は、画像作成部に出力されて特殊画像を作成するが、画像作成部に含まれる歪曲画像形成部は、予め特殊画像を歪曲させた歪曲特殊画像を作成する。すなわち、特殊画像を、そのまま非同軸光学系を介してバイザに投影すると、バイザの形状、バイザと非同軸光学系との位置関係、非同軸光学系の光学素子の配置により生じる歪曲が発生することになるが、予め、この歪曲を予定して、初めから特殊画像を歪曲させた歪曲特殊画像を、画像作成部にて電子画像処理手法を用いて作成しておき、これを、非同軸光学系を通してバイザに投影させることにより、歪曲を打ち消すようにし、歪曲のない正常な特殊画像をバイザに投影させるようにする。バイザへの投影は、直視像と投影像とを重ね合わせて表示するのが好ましいが、バイザの一部に小さく特殊画像を表示するようにしてもよい。
これにより、バイザの前方において、直視像と、歪曲のない特殊画像（虚像）とを視認することができる。
【発明の効果】
【００１６】
本発明によれば、非同軸光学系を用いてバイザに暗視画像等の特殊画像を投影する場合でも、最小限の光学系要素で構成される簡単な構造の非同軸光学系を用いることができ、しかも、バイザには歪みのない特殊画像を投影することができる。
【００１７】
（その他の課題を解決するための手段および効果）
上記発明において、特殊カメラは暗視カメラまたは低照度対応カメラまたは赤外線カメラのいずれかであってもよい。暗視カメラや低照度対応カメラを特殊カメラとして用いることにより、暗闇、夕闇においても前方の風景を鮮明に視認することができる。また、赤外線カメラを使用することにより熱源（例えば、火元、高温物体、動物等）を視認することができる。
【００１８】
上記発明において、画像作成部は歪曲画像形成部で作成された歪曲特殊画像の表示倍率を調整するスケーリング部を有し、歪曲特殊画像の表示倍率を調整することにより直視画像とバイザに投影される特殊画像とを重ね合わせて表示するようにしてもよい。
これによれば、直視像と特殊画像との双方の画像の特徴を重ねた像を視認することができる。また、直視像に対する特殊画像の大きさを調整することができるので、異なる特殊カメラの装着が可能となり、例えば状況（天候、明るさ等）に応じて、特殊カメラを付け替えて用いることも可能となる。
【００１９】
上記発明において、互いに異なる感度で前方を撮影する複数種類の特殊カメラを備え、画像作成部は少なくとも２種類の特殊カメラからの映像信号を合成処理した合成画像を特殊画像として作成する画像合成部を有するようにしてもよい。
これによれば、少なくとも２種類の特殊カメラによる映像信号を合成処理することで、それぞれの最適検出範囲を融合した合成画像を作成することができ、この合成画像を特殊画像とすることで、特徴を引き立たせた画像を視認することができる。なお、特殊カメラの種類数は３つ以上であっても構わないが、装置が複雑になりコストも上昇するので実用的には２つ程度が好ましい。
【００２０】
上記発明において、画像作成部は外部信号を入力するための外部信号入力部と、特殊カメラで撮影した映像信号と外部信号とを合成処理した合成画像を特殊画像として作成する画像合成部とを有するようにしてもよい。
これによれば、特殊カメラからの映像信号に外部信号を合成処理することで、外部の付加情報を加えた画像を特殊画像として表示することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００２２】
（実施形態１）
図１は、本発明の一実施形態である頭部装着型表示装置の構成を模式的に示すブロック図であり、図１（ａ）はその全体ブロック図、図１（ｂ）はその一部である画像作成部の機能ブロック図である。
【００２３】
頭部装着型表示装置１は、主として、ヘルメット１１、バイザ１２、低照度対応カメラ１３ａ，１３ｂ、画像作成部１４ａ，１４ｂ、画面表示部１７ａ，１７ｂ、非同軸光学系１８ａ，１８ｂとを備えている。以下、特に説明しない限り、右眼用には符号ａを付し、左眼用には符号ｂを付すこととする。
【００２４】
ヘルメット１１は、装着者(使用者)の頭部を被うととともに、顔面前方が開放された形状にしてある。バイザ１２は、上下にスライド可能な状態でヘルメット１１に支持されており、バイザ１２を下げると眼前に配置されるようにしてある。
【００２５】
低照度対応カメラ１３ａ，１３ｂは、左右眼の近傍のヘルメット１１側面に固定してあり、肉眼で観察できる前方風景と同じ風景が撮影できるように取り付けられている。この低照度対応カメラ１３ａ，１３ｂは、低照度状態、すなわち夕闇程度の明るさの状態でも前方の風景を鮮明に映し出すことができるように高感度ＣＣＤカメラを用いている。低照度対応カメラ１３ａ，１３ｂで撮影された映像信号は、バイザ１２を介して前方を直視した肉眼視による直視像とは異なる画像である特殊画像を形成するために利用されるものである。
【００２６】
画像作成部１４ａ，１４ｂは、低照度対応カメラ１３ａ，１３ｂから入力される映像信号に基づいて、画像データを形成するとともに、画像処理を行う電子画像処理回路で構成される。本実施形態では低照度対応カメラ１３ａ、１３ｂからの映像信号に基づいて特殊画像データを作成し、作成した特殊画像データを加工するための各種の画像処理を行う。画像作成部１４ａ、１４ｂが実行する画像処理を機能ブロックに分けて説明すると、図１（ｂ）に示すように、原画像作成部２０ａ，２０ｂ、歪曲画像形成部２１ａ，２１ｂ、スケーリング部２２ａ，２２ｂとが含まれる。
【００２７】
原画像作成部２０ａ，２０ｂは、低照度対応カメラ１３ａ，１３ｂからの映像信号に基づいて、特殊画像データ（原画像データ）を作成する画像処理を行う。低照度対応カメラの視野内に紛れ込んだスポット光等が影響して一部にハレーションを生じている特殊画像データの場合は、ハレーション発生領域を修正する画像処理も行う。すなわち、特殊画像データに含まれる各画素データのうちで、輝度が予め設定した閾値を超える領域を修正し、ハレーションを除去する画像処理を行う。
歪曲画像形成部２１ａ，２１ｂは、作成した特殊画像データに対し、バイザ１２や非同軸光学系１８ａ，１８ｂを、光が通過するときに受ける歪曲を予定し、その歪曲方向とは反対の方向に同等の歪曲を加えることで特殊画像データを予め歪曲させた歪曲特殊画像データを作成する画像処理を行う。
【００２８】
スケーリング部２２ａ，２２ｂは、作成した歪曲特殊画像データに対し、画像拡大処理・画像縮小処理を行うことにより、歪曲特殊画像データの表示倍率を調整する画像処理を行う。この調整により、バイザ１２に投影される投影像の大きさを調整することができるので、バイザ１２を通した肉眼視による直視像の大きさと同じ大きさのバイザ投影像が得られるようにする。
なお、スケーリング部２２ａ、２２ｂを設けないことも可能であるが、その場合は、特殊画像と直視像とが重なるように低照度対応カメラ１３ａ，１３ｂの画角調整を行うか、非同軸光学系１８ａ，１８ｂおよび画面表示部１７ａ，１７ｂの調整を行っておくか、非同軸光学系１８ａ，１８ｂに光学的な調整機構を備えることが好ましい。
【００２９】
画面表示部１７ａ、１７ｂは、表示素子からなる表示画面１５ａ，１５ｂと、ドライブ回路１６ａ，１６ｂとからなり、画像作成部１４ａ，１４ｂから出力される歪曲特殊画像データに基づいて、表示画面１５ａ，１５ｂに歪曲した特殊画像を画面表示する。
【００３０】
非同軸光学系１８ａ，１８ｂは、表示画面１５ａ，１５ｂから出射される歪曲した特殊画像の光線をバイザ１２の斜め後方から投影する。すなわち、バイザ１２の正面には装着者（使用者）の頭部があるので、頭部とヘルメット１１の壁面との間からバイザ１２に向けて投影する。表示画面１５ａ，１５ｂからの光線は、非同軸光学系１８ａ，１８ｂを通る際に歪曲するが、予め、歪曲させた特殊画像の光線を、非同軸光学系１８ａ，１８ｂに出射しているので、歪曲が打ち消されてバイザ１２には正常な特殊画像が投影されることになる。
【００３１】
バイザ１２に投影された特殊画像は、バイザ１２を通して前方を観察した直視像（肉眼視像）と結合された状態で視認される。
【００３２】
次に、本発明の頭部装着型表示装置１により表示される画像について説明する。図２は、図１の頭部装着型表示装置１の動作を説明する図である。
バイザ１２および低照度対応カメラ１３ａ，１３ｂの前方には、正方格子状の被写体Ｄ０があるものとし、これを低照度対応カメラ１３ａ，１３ｂで撮影するものとする。
画像作成部１４ａ，１４ｂでは、低照度対応カメラ１３ａ，１３ｂからの映像信号に基づいて、まず、原画像作成部２０ａ，２０ｂにより、被写体Ｄ０をそのまま画像データ化した特殊画像データＤ１（原画像データ）が作成される。特殊画像データＤ１は、正方格子の特徴をそのまま反映したデータである。
【００３３】
続いて、歪曲画像形成部２１ａ，２１ｂでは、特殊画像データＤ１を、歪曲させた歪曲特殊画像データＤ２が作成される。この歪曲は、予め、標準試料（例えばＤ０のような正方格子模様）を用いて非同軸光学系１８ａ，１８ｂとバイザ１２とによる歪曲率を計測し、特殊画像データＤ１にその歪曲率に対応する歪曲を反対方向に与えることで作成される。
【００３４】
続いて、スケーリング部２２ａ，２２ｂでは、歪曲特殊画像データＤ２の倍率を調整した歪曲特殊画像データＤ３を作成する。倍率についても、予め、標準試料を用いて非同軸光学系１８ａ，１８ｂを通してバイザ１２に表示させ、バイザ１２を通して前方を観察した直視像と画像が一致する倍率に調整することにより求めておく。
【００３５】
続いて、画像表示部１７ａ，１７ｂでは、歪曲特殊画像データＤ３に基づいて、これを表示画面１５ａ，１５ｂに画面表示した歪曲特殊画像Ｄ４を形成する。
【００３６】
続いて、画面表示された歪曲特殊画像Ｄ４を、非同軸光学系１８ａ，１８ｂを介してバイザ１２に投影する。非同軸光学系１８ａ，１８ｂを通過することにより、歪曲特殊画像Ｄ４は歪曲が打ち消され、歪曲のない正常な特殊画像Ｄ５がバイザ１２に投影される。
【００３７】
装着者（使用者）は、被写体Ｄ１の直視像と、歪曲のない正常な特殊画像Ｄ５とを重ね合わせた像を視認することができる。
これにより、例えば、前方の明るさが急激に変化する場合に、明るい状態のときは直視像Ｄ１のみで視認し、暗い状態に変化したときに歪曲のない正常な特殊画像Ｄ５を重畳した像を視認することで、連続して鮮明な像を視認できるようになる。この場合に、前方の明るさをモニタするための照度センサを取り付けておき、明るさに応じて自動的に切り替えを行うようにすることもできる。
また、ハレーション発生領域を除去した特殊画像を重ね合わせることで、直視像と投影像とからそれぞれの鮮明に映し出された部分どうしを組み合わせた像を視認することができる。
【００３８】
なお、上述した実施形態では、左右一対の特殊カメラを取り付けて、左右の眼にそれぞれ別々の特殊画像を投影するようにしたが、これに代えて、特殊カメラを１つにしてそこからの映像信号を分岐するようにし、左右の眼に対し、同じ特殊画像をそれぞれの非同軸光学系を介して投影するようにしてもよい。
【００３９】
また、上記実施形態においては、バイザ１２への投影は、直視像と投影像とを重ね合わせて表示するようにしたが、バイザ１２の一部に小さく特殊画像を表示するようにすることにより、直視像と別々に表示させることもできる。すなわち、スケーリング部２２により歪曲特殊画像データの倍率を小さくすることにより（必要に応じてバイザ１２上での表示位置も移動する）、バイザ１２の一部に特殊画像を表示し、直視像と投影画像との２つの像を並べて視認することもできる。
【００４０】
（実施形態２）
図３は、本発明の他の一実施形態である頭部装着型表示装置の構成を示すブロック図であり、図３（ａ）はその全体ブロック図、図３（ｂ）はその一部である画像作成部の機能ブロック図である。
本実施形態は、種類が異なる（感度が異なる）２種類の特殊カメラを使用して、各カメラで撮影した画像の合成画像を、直視像と重ね合わせて視認させるものである。図３において、図１と同じものについては、同符号を付すことにより説明の一部を省略する。
【００４１】
頭部装着型表示装置２は右眼側に赤外線カメラ１９ａ、左眼側に暗視カメラ１９ｂが取り付けられ、それぞれの映像信号が画像作成部２４に出力される。
画像作成部２４は、図１と同様の機能を実行する原画像作成部２０、歪曲画像作成部２１、スケーリング部２２に加えて、画像合成部２５を有している。
画像合成部２５は、暗視カメラ１９ａと赤外線カメラ１９ｂとから、それぞれ出力された２つの異なる映像信号を受けて、これら信号を任意の強度比率で合成した合成画像データを作成する処理を行う。作成された合成画像データは、原画像作成部２０、歪曲画像作成部２１、スケーリング部２２に順次送られ、上述した実施形態と同様の処理が行われる。その後、画像作成部２４（スケーリング部２２）からの出力が、左右の画像表示部１７ａ，１７ｂに同時並列に送られ、以後、非同軸光学系１８ａ，１８ｂ、バイザ１２を介して、左右眼に同じ特殊画像が投影されるようになる。
【００４２】
次に、本発明の頭部装着型表示装置により表示される像について説明する。図４は、図３の頭部装着型表示装置２の動作を説明する図である。
バイザ１２および赤外線カメラ１９ａ、暗視カメラ１９ｂの前方に、被写体Ｅ０があるものとする。被写体Ｅ０には、正方格子状の模様が存在するとともに、対角線および外周に沿って発熱領域が存在するものとする。そして、これを赤外線カメラ１９ａ、暗視カメラ１９ｂで撮影するものとする。
【００４３】
赤外線カメラ１９ａで撮影した映像信号には、発熱領域に対応する形状の画像情報Ｅ１が含まれている。また、暗視カメラ１９ｂで撮影した映像信号には、正方格子状の模様に対応した画像情報Ｅ２が含まれている。これら２つの映像信号は画像作成部２４に送られる。画像作成部２４では、画像合成部２５が２つの映像信号に基づいて、これらを合成した合成画像データＥ３を作成する。合成画像データＥ３を作成する際に、一方の正方形の大きさを他方の正方形の大きさに合わせるように調整したり、映像信号の強度比を任意に設定し所望の比率で合成画像データＥ３を作成したりするようにすることが好ましい。
【００４４】
続いて、合成画像データＥ３が原画像作成部２０に送られ、特殊画像データＥ４が作成される。特殊画像データＥ４は、合成画像データＥ３を元に、ハレーション発生領域を削除する修正等の画像処理が行われることにより作成される。
【００４５】
続いて、上述した実施形態と同様に、歪曲画像形成部２１にて、特殊画像データＥ４を歪曲させた歪曲特殊画像データＥ５が作成され、スケーリング部２２にて、歪曲特殊画像データＥ５を拡大・縮小した歪曲特殊画像データＥ６が作成される。
【００４６】
続いて、スケーリング部２２から歪曲特殊画像データＥ６が出力され、これが２つに分岐され、左右の画面表示部１７ａ，１７ｂに同時に送られる。画面表示部１７ａ，１７ｂでは、歪曲特殊画像データＥ６に基づいて、表示画面１５ａ，１５ｂ上に、歪曲特殊画像Ｅ７が表示される。
【００４７】
続いて、画面表示された歪曲特殊画像Ｅ７を、非同軸光学系１８ａ，１８ｂを介してバイザ１２に投影する。非同軸光学系１８ａ，１８ｂを通過することにより、歪曲特殊画像Ｅ７は歪曲が打ち消され、歪曲のない正常な特殊画像Ｅ８がバイザ１２に投影される。
【００４８】
バイザ１２に投影される正常な特殊画像Ｅ８と被写体Ｅ０とを比較すると、被写体Ｅ０を直視した像ではなく、その内部の発熱領域の形状（対角線）が加わった像を見ることができている。
【００４９】
そして、装着者（使用者）は、被写体Ｅ０の直視像と、正常な特殊画像Ｅ８とを重ね合わせた像を視認することになる。
この場合も、ハレーション発生領域等を除去した２種類の特殊画像を重ね合わせ、さらに直視像と投影像とを重ね合わせているので、それぞれの鮮明に映し出された部分どうしを引き立たせた像を視認することができる。
【００５０】
なお、本実施形態では、赤外線カメラ１９ａと暗視カメラ１９ｂとの映像信号により作成された合成画像を左右の眼で同時に利用しているが、左右それぞれに赤外線カメラと暗視カメラとを取り付けて、合計４つの特殊カメラを使用してもよい。この場合は、左眼と右眼とにおいて独立に、合成画像を作成することになる。
【００５１】
（実施形態３）
図５は、本発明の他の一実施形態である頭部装着型表示装置の構成を示すブロック図であり、図５（ａ）はその全体ブロック図、図５（ｂ）はその一部である画像作成部の機能ブロック図である。
本実施形態は、１つの特殊カメラで撮影した画像と付加情報との合成画像を、直視像と重ね合わせて視認させるものである。図５において、図１、図３と同じものについては、同符号を付すことにより説明の一部を省略する。
【００５２】
頭部装着型表示装置３では、右眼側に赤外線カメラ１９ａが取り付けられ、映像信号が画像作成部３１に出力される。
画像作成部３１は、図１あるいは図３と同様の機能を実行する原画像作成部２０、歪曲画像作成部２１、スケーリング部２２、画像合成部２５に加えて、外部信号入力部３２を有している。
【００５３】
外部信号入力部３２は、装着者（使用者）に有用な外部信号４１が入力できるようにしてある。有用な外部信号４１とは、例えば航空機・ヘリコプタのパイロットであれば、図示しない速度計、高度計、燃料計からの飛行速度情報、高度情報、燃料情報等、レスキュー隊であれば、地図情報、天候情報、時刻情報等である。また、過去に撮影したビデオ情報等であってもよい。これら情報は文字情報あるいは画像情報として送られてくる。
【００５４】
画像合成部２５は赤外線カメラ１９ａからの映像信号と、外部信号入力部３２から入力された外部信号４１とに基づいて、合成画像データを作成する処理を行う。
作成された合成画像データは、原画像作成部２０、歪曲画像作成部２１、スケーリング部２２に順次送られ、上述した実施形態と同様の処理が行われる。その後、画像作成部３１（スケーリング部２２）からの出力が、左右の画像表示部１７ａ，１７ｂに同時並列に送られ、以後、非同軸光学系１８ａ，１８ｂ、バイザ１２を介して、左右眼に同じ特殊画像が投影されるようになる。
【００５５】
次に、本発明の頭部装着型表示装置３により表示される像について説明する。図６は、図５の頭部装着型表示装置３の動作を説明する図である。
バイザ１２および赤外線カメラ１９ａの前方に、正方格子状の模様が付された被写体Ｆ０があるものとする。そして、これを赤外線カメラ１９ａで撮影するものとする。
【００５６】
赤外線カメラ１９ａで撮影した映像信号には、被写体Ｆ０の正方格子状の模様に対応した画像情報が含まれている。この映像信号は画像作成部３１に送られる。画像作成部３１の画像合成部２５は、外部信号４１（文字情報「○○」を含むものとする）と、赤外線カメラ１９ａからの映像信号とに基づいて、これらを合成した合成画像データＦ１を作成する。
【００５７】
続いて、合成画像データＦ１が原画像作成部２０に送られ、特殊画像データＦ２（原画像データ）作成される。特殊画像データＦ２は、合成画像データＦ２を元に、ハレーション発生領域を削除する修正等の画像処理が行われることにより作成される。
【００５８】
続いて、上述した実施形態と同様に、歪曲画像形成部２１にて、特殊画像データＦ２を歪曲させた歪曲特殊画像データＦ３が作成され、スケーリング部２２にて、歪曲特殊画像データＦ３を拡大・縮小した歪曲特殊画像データＦ４が作成される。
【００５９】
続いて、スケーリング部２２から歪曲特殊画像データＦ４が出力され、これが２つに分岐され、左右の画面表示部１７ａ，１７ｂに同時に送られる。画面表示部１７ａ，１７ｂでは、歪曲特殊画像データＦ４に基づいて、表示画面１５ａ，１５ｂ上に、歪曲特殊画像Ｆ５が表示される。
【００６０】
続いて、画面表示された歪曲特殊画像Ｆ５を、非同軸光学系１８ａ，１８ｂを介してバイザ１２に投影する。非同軸光学系１８ａ，１８ｂを通過することにより、歪曲特殊画像Ｆ５は歪曲が打ち消され、歪曲のない正常な特殊画像Ｆ６がバイザ１２に投影される。
【００６１】
バイザ１２に投影される正常な特殊画像Ｆ６と被写体Ｆ０とを比較すると、被写体Ｆ０を直視した像と同じ正方格子の像に、文字「○○」が加わった像を見ることになる。
【００６２】
そして、装着者（使用者）は、被写体Ｆ０の直視像と、正常な特殊画像Ｆ６とを重ね合わせた像を視認することになる。
この場合も、ハレーション発生領域等を除去した特殊画像と直視像とを重ね合わることで、それぞれの鮮明に映し出された部分どうしを引き立たせた像を視認することができる。加えて、有用な外部情報も同時に表示させることができている。
【産業上の利用可能性】
【００６３】
本発明は、暗視カメラや赤外線カメラなどの特殊カメラによって取得した映像情報を、画像としてバイザに投影する頭部装着型表示装置の製造に利用することができる。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態である頭部装着型表示装置の構成を示すブロック図。
【図２】図１の頭部装着型表示装置の動作を説明する図。
【図３】本発明の他の一実施形態である頭部装着型表示装置の構成を示すブロック図。
【図４】図３の頭部装着型表示装置の動作を説明する図。
【図５】本発明の他の一実施形態である頭部装着型表示装置の構成を示すブロック図。
【図６】図５の頭部装着型表示装置の動作を説明する図。
【符号の説明】
【００６５】
１、２、３： 頭部装着型表示装置
１１： ヘルメット
１２： バイザ
１３ａ，１３ｂ： 低照度対応カメラ（特殊カメラ）
１４ａ，１４ｂ： 画像作成部
１５ａ，１５ｂ： 表示画面
１７ａ，１７ｂ： 画面表示部
１８ａ，１８ｂ： 非同軸光学系
１９ａ： 暗視カメラ（特殊カメラ）
１９ｂ： 赤外線カメラ（特殊カメラ）
２０ａ，２０ｂ： 原画像作成部
２１ａ，２１ｂ： 歪曲画像形成部
２２ａ，２２ｂ： スケーリング部
２４： 画像作成部
２５： 画像合成部
３１： 画像作成部
３２： 外部信号入力部
【技術分野】
【０００１】
本発明は、眼前に配置したバイザに対して画像を投影することにより、バイザ前方の風景とともに投影した画像を視認できるようにした頭部装着型表示装置に関し、さらに詳細には、暗視カメラや赤外線カメラなどの特殊カメラによって取得した映像情報を画像としてバイザに投影する頭部装着型表示装置に関する。
本発明にかかる頭部装着型表示装置は、航空機やヘリコプタの搭乗者が夜間飛行する場合や、消防士やレスキュー隊等の救助活動者が災害現場で使用する場合等、様々な状況で利用される。
【背景技術】
【０００２】
肉眼視では得られない視覚情報を、特殊カメラを使用して取得し、肉眼視による視覚情報ととともに利用することは有用である。例えば、航空機やヘリコプタのパイロットは、夜間飛行を行う場合に暗視装置を使用することがある。一般に、暗視装置はイメージインテンシファイアの出力を、接眼レンズで直視する単眼型のものや双眼鏡型のものが使用されている。
【０００３】
パイロットは、飛行中はヘルメットを装着していることから、ヘルメットに暗視装置を取り付けた暗視装置付きヘルメットが提案されている。（特許文献１、特許文献２）。
また、暗視ビデオの情報を、ヘルメットに取り付けたバイザの一部に映写するシステムが提案されている（特許文献３）。
【０００４】
また、熱線や赤外線像を可視できる表示装置をヘルメットに組み込んだ消防士用やレスキュー隊用の頭部装着型表示装置が開示されている（特許文献４）。
このようにヘルメットに取り付けた表示装置により、暗視画像や赤外線画像を眼前に表示するようにした頭部装着型表示装置が提案されている。
【特許文献１】特開平９−１８８９１１号公報
【特許文献２】特開２００３−５３３６１４号公報
【特許文献３】特開２００１−５１５１５０号公報
【特許文献４】特開平８−５４２８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
双眼鏡形状の暗視装置をヘルメットに取り付けたものは、左右両眼で同時に接眼レンズを覗くことになるので、一時的に暗視画像だけを見る状態が生じることとなり、視野障害や安全上の問題がある。また、眼前においてヘルメットの前方に突出した状態で使用されることになるので、誤って暗視装置に衝撃を与えてしまうことによる破損が生じやすい。
【０００６】
単眼の暗視装置をヘルメットに取り付けたものは、左右の眼で異なる視覚情報を見ることになるので、慣れるまでは不便であるが、片側の眼は外界を見ているので、視野障害や安全上の問題はない。しかしながら、双眼鏡形状の場合と同様に、眼前においてヘルメットの前方に突出した状態で使用されることになるので、誤って暗視装置に衝撃を与えてしまうことによる破損が生じやすい点は同様である。
【０００７】
これに対し、ヘルメットに支持されたバイザに暗視画像を投影するバイザ投影方式の暗視装置では、バイザ前方の風景も同時に視認でき、しかも、ヘルメット前方まで突出するように取り付けられる部材がないので、破損も生じにくい点で優れている。
【０００８】
しかしながら、バイザに向けて暗視画像を投影するには、複雑な光学系が必要となる。すなわち、ヘルメットに取り付けるバイザは、通常は曲面形状をしており、また、バイザの正面には顔面が対向することになるため、光学系は顔面および頭部を避けて、バイザの斜め方向から投影する必要があり、いわゆる非同軸光学系を構成することになる。
【０００９】
非同軸光学系を通して画像を表示させると、光学素子を用いて光学補正しない限り、非対称な歪みが加わった歪み画像を形成することになる。この歪み画像を光学素子で補正しようとすると、補正のためのレンズやミラーからなる光学素子の枚数を大幅に増加させる必要がある。また、枚数の増加に伴い、光学系全体が占める容積が増大することになる。
このような状況は、暗視カメラによる暗視画像をバイザに投影させる場合に限らず、赤外線カメラ等のその他の特殊カメラで撮影した画像をバイザに投影する場合も同様である。
【００１０】
そこで、本発明は、非同軸光学系を用いてバイザに暗視画像等の特殊画像を投影することにより、バイザ前方の直視像と特殊画像とを視認することができるようにした頭部装着型表示装置において、その非同軸光学系の構造を簡単にしつつ、それでいて、バイザに歪みのない特殊画像を投影することができる頭部装着型表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するためになされた本発明の頭部装着型表示装置は、ヘルメットに支持され眼前に配置されるバイザと、バイザを通して前方を観察した直視像とは異なる感度で前方を撮影する特殊カメラと、特殊カメラで撮影した映像信号から特殊画像を作成する画像作成部と、画像を画面表示する画面表示部と、画面表示された画像を斜め方向からバイザに投影し投影した画像と直視像とを視認できるようにする非同軸光学系とを備えた頭部装着型表示装置であって、画像作成部は、バイザと非同軸光学系とにより生じる歪曲に合わせて予め特殊画像を歪曲させた歪曲特殊画像を作成する歪曲画像形成部を有し、画面表示部に歪曲特殊画像を出力するようにしている。
【００１２】
ここで、ヘルメットとは、頭部に装着することができる形状のものであれば形状は限定されないが、少なくとも眼前にバイザを取り付けることが可能な構造のものをいう。また、バイザとは、ヘルメットに支持され使用時に眼前に配置される透明または半透明の部材をいう。バイザの形状についても特に限定されないが、非同軸光学系を介して画像が投影されるものであることを要する。例えば、左右眼前に独立して、あるいは片眼単独で配置されるいわゆるコンバイナのような形状のバイザであってもよいが、その場合でも非同軸光学系を介して画像が投影されることを要する。
【００１３】
また、特殊カメラとは、バイザを通しての肉眼視による直視観察では得ることができない視覚情報を得るためのカメラであり、例えば明るさに対する感度や波長に対する感度がバイザを通して行う肉眼視の感度とは大きく異なるカメラをいう。具体的には、明るさに対する感度が異なる特殊カメラとしては、イメージインテンシファイアを用いた暗視カメラ、暗視カメラを使用するほどの暗さではない状況（例えば夕闇程度の暗さ）において使用するためのＣＣＤ等を用いた低照度対応カメラが該当する。また、波長に対する感度が異なる特殊カメラとしては、赤外線カメラが該当する。
【００１４】
また、特殊画像とは、特殊カメラの映像信号に基づいて作成される画像（画像データ）をいい、暗視カメラの場合は暗視画像、低照度対応カメラの場合は低照度画像、赤外線カメラの場合は赤外線画像（熱線画像）となる。
【００１５】
本発明によれば、バイザを眼前に配置した状態にし、特殊カメラにより眼前の風景を撮影する。特殊カメラの映像信号は、画像作成部に出力されて特殊画像を作成するが、画像作成部に含まれる歪曲画像形成部は、予め特殊画像を歪曲させた歪曲特殊画像を作成する。すなわち、特殊画像を、そのまま非同軸光学系を介してバイザに投影すると、バイザの形状、バイザと非同軸光学系との位置関係、非同軸光学系の光学素子の配置により生じる歪曲が発生することになるが、予め、この歪曲を予定して、初めから特殊画像を歪曲させた歪曲特殊画像を、画像作成部にて電子画像処理手法を用いて作成しておき、これを、非同軸光学系を通してバイザに投影させることにより、歪曲を打ち消すようにし、歪曲のない正常な特殊画像をバイザに投影させるようにする。バイザへの投影は、直視像と投影像とを重ね合わせて表示するのが好ましいが、バイザの一部に小さく特殊画像を表示するようにしてもよい。
これにより、バイザの前方において、直視像と、歪曲のない特殊画像（虚像）とを視認することができる。
【発明の効果】
【００１６】
本発明によれば、非同軸光学系を用いてバイザに暗視画像等の特殊画像を投影する場合でも、最小限の光学系要素で構成される簡単な構造の非同軸光学系を用いることができ、しかも、バイザには歪みのない特殊画像を投影することができる。
【００１７】
（その他の課題を解決するための手段および効果）
上記発明において、特殊カメラは暗視カメラまたは低照度対応カメラまたは赤外線カメラのいずれかであってもよい。暗視カメラや低照度対応カメラを特殊カメラとして用いることにより、暗闇、夕闇においても前方の風景を鮮明に視認することができる。また、赤外線カメラを使用することにより熱源（例えば、火元、高温物体、動物等）を視認することができる。
【００１８】
上記発明において、画像作成部は歪曲画像形成部で作成された歪曲特殊画像の表示倍率を調整するスケーリング部を有し、歪曲特殊画像の表示倍率を調整することにより直視画像とバイザに投影される特殊画像とを重ね合わせて表示するようにしてもよい。
これによれば、直視像と特殊画像との双方の画像の特徴を重ねた像を視認することができる。また、直視像に対する特殊画像の大きさを調整することができるので、異なる特殊カメラの装着が可能となり、例えば状況（天候、明るさ等）に応じて、特殊カメラを付け替えて用いることも可能となる。
【００１９】
上記発明において、互いに異なる感度で前方を撮影する複数種類の特殊カメラを備え、画像作成部は少なくとも２種類の特殊カメラからの映像信号を合成処理した合成画像を特殊画像として作成する画像合成部を有するようにしてもよい。
これによれば、少なくとも２種類の特殊カメラによる映像信号を合成処理することで、それぞれの最適検出範囲を融合した合成画像を作成することができ、この合成画像を特殊画像とすることで、特徴を引き立たせた画像を視認することができる。なお、特殊カメラの種類数は３つ以上であっても構わないが、装置が複雑になりコストも上昇するので実用的には２つ程度が好ましい。
【００２０】
上記発明において、画像作成部は外部信号を入力するための外部信号入力部と、特殊カメラで撮影した映像信号と外部信号とを合成処理した合成画像を特殊画像として作成する画像合成部とを有するようにしてもよい。
これによれば、特殊カメラからの映像信号に外部信号を合成処理することで、外部の付加情報を加えた画像を特殊画像として表示することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００２２】
（実施形態１）
図１は、本発明の一実施形態である頭部装着型表示装置の構成を模式的に示すブロック図であり、図１（ａ）はその全体ブロック図、図１（ｂ）はその一部である画像作成部の機能ブロック図である。
【００２３】
頭部装着型表示装置１は、主として、ヘルメット１１、バイザ１２、低照度対応カメラ１３ａ，１３ｂ、画像作成部１４ａ，１４ｂ、画面表示部１７ａ，１７ｂ、非同軸光学系１８ａ，１８ｂとを備えている。以下、特に説明しない限り、右眼用には符号ａを付し、左眼用には符号ｂを付すこととする。
【００２４】
ヘルメット１１は、装着者(使用者)の頭部を被うととともに、顔面前方が開放された形状にしてある。バイザ１２は、上下にスライド可能な状態でヘルメット１１に支持されており、バイザ１２を下げると眼前に配置されるようにしてある。
【００２５】
低照度対応カメラ１３ａ，１３ｂは、左右眼の近傍のヘルメット１１側面に固定してあり、肉眼で観察できる前方風景と同じ風景が撮影できるように取り付けられている。この低照度対応カメラ１３ａ，１３ｂは、低照度状態、すなわち夕闇程度の明るさの状態でも前方の風景を鮮明に映し出すことができるように高感度ＣＣＤカメラを用いている。低照度対応カメラ１３ａ，１３ｂで撮影された映像信号は、バイザ１２を介して前方を直視した肉眼視による直視像とは異なる画像である特殊画像を形成するために利用されるものである。
【００２６】
画像作成部１４ａ，１４ｂは、低照度対応カメラ１３ａ，１３ｂから入力される映像信号に基づいて、画像データを形成するとともに、画像処理を行う電子画像処理回路で構成される。本実施形態では低照度対応カメラ１３ａ、１３ｂからの映像信号に基づいて特殊画像データを作成し、作成した特殊画像データを加工するための各種の画像処理を行う。画像作成部１４ａ、１４ｂが実行する画像処理を機能ブロックに分けて説明すると、図１（ｂ）に示すように、原画像作成部２０ａ，２０ｂ、歪曲画像形成部２１ａ，２１ｂ、スケーリング部２２ａ，２２ｂとが含まれる。
【００２７】
原画像作成部２０ａ，２０ｂは、低照度対応カメラ１３ａ，１３ｂからの映像信号に基づいて、特殊画像データ（原画像データ）を作成する画像処理を行う。低照度対応カメラの視野内に紛れ込んだスポット光等が影響して一部にハレーションを生じている特殊画像データの場合は、ハレーション発生領域を修正する画像処理も行う。すなわち、特殊画像データに含まれる各画素データのうちで、輝度が予め設定した閾値を超える領域を修正し、ハレーションを除去する画像処理を行う。
歪曲画像形成部２１ａ，２１ｂは、作成した特殊画像データに対し、バイザ１２や非同軸光学系１８ａ，１８ｂを、光が通過するときに受ける歪曲を予定し、その歪曲方向とは反対の方向に同等の歪曲を加えることで特殊画像データを予め歪曲させた歪曲特殊画像データを作成する画像処理を行う。
【００２８】
スケーリング部２２ａ，２２ｂは、作成した歪曲特殊画像データに対し、画像拡大処理・画像縮小処理を行うことにより、歪曲特殊画像データの表示倍率を調整する画像処理を行う。この調整により、バイザ１２に投影される投影像の大きさを調整することができるので、バイザ１２を通した肉眼視による直視像の大きさと同じ大きさのバイザ投影像が得られるようにする。
なお、スケーリング部２２ａ、２２ｂを設けないことも可能であるが、その場合は、特殊画像と直視像とが重なるように低照度対応カメラ１３ａ，１３ｂの画角調整を行うか、非同軸光学系１８ａ，１８ｂおよび画面表示部１７ａ，１７ｂの調整を行っておくか、非同軸光学系１８ａ，１８ｂに光学的な調整機構を備えることが好ましい。
【００２９】
画面表示部１７ａ、１７ｂは、表示素子からなる表示画面１５ａ，１５ｂと、ドライブ回路１６ａ，１６ｂとからなり、画像作成部１４ａ，１４ｂから出力される歪曲特殊画像データに基づいて、表示画面１５ａ，１５ｂに歪曲した特殊画像を画面表示する。
【００３０】
非同軸光学系１８ａ，１８ｂは、表示画面１５ａ，１５ｂから出射される歪曲した特殊画像の光線をバイザ１２の斜め後方から投影する。すなわち、バイザ１２の正面には装着者（使用者）の頭部があるので、頭部とヘルメット１１の壁面との間からバイザ１２に向けて投影する。表示画面１５ａ，１５ｂからの光線は、非同軸光学系１８ａ，１８ｂを通る際に歪曲するが、予め、歪曲させた特殊画像の光線を、非同軸光学系１８ａ，１８ｂに出射しているので、歪曲が打ち消されてバイザ１２には正常な特殊画像が投影されることになる。
【００３１】
バイザ１２に投影された特殊画像は、バイザ１２を通して前方を観察した直視像（肉眼視像）と結合された状態で視認される。
【００３２】
次に、本発明の頭部装着型表示装置１により表示される画像について説明する。図２は、図１の頭部装着型表示装置１の動作を説明する図である。
バイザ１２および低照度対応カメラ１３ａ，１３ｂの前方には、正方格子状の被写体Ｄ０があるものとし、これを低照度対応カメラ１３ａ，１３ｂで撮影するものとする。
画像作成部１４ａ，１４ｂでは、低照度対応カメラ１３ａ，１３ｂからの映像信号に基づいて、まず、原画像作成部２０ａ，２０ｂにより、被写体Ｄ０をそのまま画像データ化した特殊画像データＤ１（原画像データ）が作成される。特殊画像データＤ１は、正方格子の特徴をそのまま反映したデータである。
【００３３】
続いて、歪曲画像形成部２１ａ，２１ｂでは、特殊画像データＤ１を、歪曲させた歪曲特殊画像データＤ２が作成される。この歪曲は、予め、標準試料（例えばＤ０のような正方格子模様）を用いて非同軸光学系１８ａ，１８ｂとバイザ１２とによる歪曲率を計測し、特殊画像データＤ１にその歪曲率に対応する歪曲を反対方向に与えることで作成される。
【００３４】
続いて、スケーリング部２２ａ，２２ｂでは、歪曲特殊画像データＤ２の倍率を調整した歪曲特殊画像データＤ３を作成する。倍率についても、予め、標準試料を用いて非同軸光学系１８ａ，１８ｂを通してバイザ１２に表示させ、バイザ１２を通して前方を観察した直視像と画像が一致する倍率に調整することにより求めておく。
【００３５】
続いて、画像表示部１７ａ，１７ｂでは、歪曲特殊画像データＤ３に基づいて、これを表示画面１５ａ，１５ｂに画面表示した歪曲特殊画像Ｄ４を形成する。
【００３６】
続いて、画面表示された歪曲特殊画像Ｄ４を、非同軸光学系１８ａ，１８ｂを介してバイザ１２に投影する。非同軸光学系１８ａ，１８ｂを通過することにより、歪曲特殊画像Ｄ４は歪曲が打ち消され、歪曲のない正常な特殊画像Ｄ５がバイザ１２に投影される。
【００３７】
装着者（使用者）は、被写体Ｄ１の直視像と、歪曲のない正常な特殊画像Ｄ５とを重ね合わせた像を視認することができる。
これにより、例えば、前方の明るさが急激に変化する場合に、明るい状態のときは直視像Ｄ１のみで視認し、暗い状態に変化したときに歪曲のない正常な特殊画像Ｄ５を重畳した像を視認することで、連続して鮮明な像を視認できるようになる。この場合に、前方の明るさをモニタするための照度センサを取り付けておき、明るさに応じて自動的に切り替えを行うようにすることもできる。
また、ハレーション発生領域を除去した特殊画像を重ね合わせることで、直視像と投影像とからそれぞれの鮮明に映し出された部分どうしを組み合わせた像を視認することができる。
【００３８】
なお、上述した実施形態では、左右一対の特殊カメラを取り付けて、左右の眼にそれぞれ別々の特殊画像を投影するようにしたが、これに代えて、特殊カメラを１つにしてそこからの映像信号を分岐するようにし、左右の眼に対し、同じ特殊画像をそれぞれの非同軸光学系を介して投影するようにしてもよい。
【００３９】
また、上記実施形態においては、バイザ１２への投影は、直視像と投影像とを重ね合わせて表示するようにしたが、バイザ１２の一部に小さく特殊画像を表示するようにすることにより、直視像と別々に表示させることもできる。すなわち、スケーリング部２２により歪曲特殊画像データの倍率を小さくすることにより（必要に応じてバイザ１２上での表示位置も移動する）、バイザ１２の一部に特殊画像を表示し、直視像と投影画像との２つの像を並べて視認することもできる。
【００４０】
（実施形態２）
図３は、本発明の他の一実施形態である頭部装着型表示装置の構成を示すブロック図であり、図３（ａ）はその全体ブロック図、図３（ｂ）はその一部である画像作成部の機能ブロック図である。
本実施形態は、種類が異なる（感度が異なる）２種類の特殊カメラを使用して、各カメラで撮影した画像の合成画像を、直視像と重ね合わせて視認させるものである。図３において、図１と同じものについては、同符号を付すことにより説明の一部を省略する。
【００４１】
頭部装着型表示装置２は右眼側に赤外線カメラ１９ａ、左眼側に暗視カメラ１９ｂが取り付けられ、それぞれの映像信号が画像作成部２４に出力される。
画像作成部２４は、図１と同様の機能を実行する原画像作成部２０、歪曲画像作成部２１、スケーリング部２２に加えて、画像合成部２５を有している。
画像合成部２５は、暗視カメラ１９ａと赤外線カメラ１９ｂとから、それぞれ出力された２つの異なる映像信号を受けて、これら信号を任意の強度比率で合成した合成画像データを作成する処理を行う。作成された合成画像データは、原画像作成部２０、歪曲画像作成部２１、スケーリング部２２に順次送られ、上述した実施形態と同様の処理が行われる。その後、画像作成部２４（スケーリング部２２）からの出力が、左右の画像表示部１７ａ，１７ｂに同時並列に送られ、以後、非同軸光学系１８ａ，１８ｂ、バイザ１２を介して、左右眼に同じ特殊画像が投影されるようになる。
【００４２】
次に、本発明の頭部装着型表示装置により表示される像について説明する。図４は、図３の頭部装着型表示装置２の動作を説明する図である。
バイザ１２および赤外線カメラ１９ａ、暗視カメラ１９ｂの前方に、被写体Ｅ０があるものとする。被写体Ｅ０には、正方格子状の模様が存在するとともに、対角線および外周に沿って発熱領域が存在するものとする。そして、これを赤外線カメラ１９ａ、暗視カメラ１９ｂで撮影するものとする。
【００４３】
赤外線カメラ１９ａで撮影した映像信号には、発熱領域に対応する形状の画像情報Ｅ１が含まれている。また、暗視カメラ１９ｂで撮影した映像信号には、正方格子状の模様に対応した画像情報Ｅ２が含まれている。これら２つの映像信号は画像作成部２４に送られる。画像作成部２４では、画像合成部２５が２つの映像信号に基づいて、これらを合成した合成画像データＥ３を作成する。合成画像データＥ３を作成する際に、一方の正方形の大きさを他方の正方形の大きさに合わせるように調整したり、映像信号の強度比を任意に設定し所望の比率で合成画像データＥ３を作成したりするようにすることが好ましい。
【００４４】
続いて、合成画像データＥ３が原画像作成部２０に送られ、特殊画像データＥ４が作成される。特殊画像データＥ４は、合成画像データＥ３を元に、ハレーション発生領域を削除する修正等の画像処理が行われることにより作成される。
【００４５】
続いて、上述した実施形態と同様に、歪曲画像形成部２１にて、特殊画像データＥ４を歪曲させた歪曲特殊画像データＥ５が作成され、スケーリング部２２にて、歪曲特殊画像データＥ５を拡大・縮小した歪曲特殊画像データＥ６が作成される。
【００４６】
続いて、スケーリング部２２から歪曲特殊画像データＥ６が出力され、これが２つに分岐され、左右の画面表示部１７ａ，１７ｂに同時に送られる。画面表示部１７ａ，１７ｂでは、歪曲特殊画像データＥ６に基づいて、表示画面１５ａ，１５ｂ上に、歪曲特殊画像Ｅ７が表示される。
【００４７】
続いて、画面表示された歪曲特殊画像Ｅ７を、非同軸光学系１８ａ，１８ｂを介してバイザ１２に投影する。非同軸光学系１８ａ，１８ｂを通過することにより、歪曲特殊画像Ｅ７は歪曲が打ち消され、歪曲のない正常な特殊画像Ｅ８がバイザ１２に投影される。
【００４８】
バイザ１２に投影される正常な特殊画像Ｅ８と被写体Ｅ０とを比較すると、被写体Ｅ０を直視した像ではなく、その内部の発熱領域の形状（対角線）が加わった像を見ることができている。
【００４９】
そして、装着者（使用者）は、被写体Ｅ０の直視像と、正常な特殊画像Ｅ８とを重ね合わせた像を視認することになる。
この場合も、ハレーション発生領域等を除去した２種類の特殊画像を重ね合わせ、さらに直視像と投影像とを重ね合わせているので、それぞれの鮮明に映し出された部分どうしを引き立たせた像を視認することができる。
【００５０】
なお、本実施形態では、赤外線カメラ１９ａと暗視カメラ１９ｂとの映像信号により作成された合成画像を左右の眼で同時に利用しているが、左右それぞれに赤外線カメラと暗視カメラとを取り付けて、合計４つの特殊カメラを使用してもよい。この場合は、左眼と右眼とにおいて独立に、合成画像を作成することになる。
【００５１】
（実施形態３）
図５は、本発明の他の一実施形態である頭部装着型表示装置の構成を示すブロック図であり、図５（ａ）はその全体ブロック図、図５（ｂ）はその一部である画像作成部の機能ブロック図である。
本実施形態は、１つの特殊カメラで撮影した画像と付加情報との合成画像を、直視像と重ね合わせて視認させるものである。図５において、図１、図３と同じものについては、同符号を付すことにより説明の一部を省略する。
【００５２】
頭部装着型表示装置３では、右眼側に赤外線カメラ１９ａが取り付けられ、映像信号が画像作成部３１に出力される。
画像作成部３１は、図１あるいは図３と同様の機能を実行する原画像作成部２０、歪曲画像作成部２１、スケーリング部２２、画像合成部２５に加えて、外部信号入力部３２を有している。
【００５３】
外部信号入力部３２は、装着者（使用者）に有用な外部信号４１が入力できるようにしてある。有用な外部信号４１とは、例えば航空機・ヘリコプタのパイロットであれば、図示しない速度計、高度計、燃料計からの飛行速度情報、高度情報、燃料情報等、レスキュー隊であれば、地図情報、天候情報、時刻情報等である。また、過去に撮影したビデオ情報等であってもよい。これら情報は文字情報あるいは画像情報として送られてくる。
【００５４】
画像合成部２５は赤外線カメラ１９ａからの映像信号と、外部信号入力部３２から入力された外部信号４１とに基づいて、合成画像データを作成する処理を行う。
作成された合成画像データは、原画像作成部２０、歪曲画像作成部２１、スケーリング部２２に順次送られ、上述した実施形態と同様の処理が行われる。その後、画像作成部３１（スケーリング部２２）からの出力が、左右の画像表示部１７ａ，１７ｂに同時並列に送られ、以後、非同軸光学系１８ａ，１８ｂ、バイザ１２を介して、左右眼に同じ特殊画像が投影されるようになる。
【００５５】
次に、本発明の頭部装着型表示装置３により表示される像について説明する。図６は、図５の頭部装着型表示装置３の動作を説明する図である。
バイザ１２および赤外線カメラ１９ａの前方に、正方格子状の模様が付された被写体Ｆ０があるものとする。そして、これを赤外線カメラ１９ａで撮影するものとする。
【００５６】
赤外線カメラ１９ａで撮影した映像信号には、被写体Ｆ０の正方格子状の模様に対応した画像情報が含まれている。この映像信号は画像作成部３１に送られる。画像作成部３１の画像合成部２５は、外部信号４１（文字情報「○○」を含むものとする）と、赤外線カメラ１９ａからの映像信号とに基づいて、これらを合成した合成画像データＦ１を作成する。
【００５７】
続いて、合成画像データＦ１が原画像作成部２０に送られ、特殊画像データＦ２（原画像データ）作成される。特殊画像データＦ２は、合成画像データＦ２を元に、ハレーション発生領域を削除する修正等の画像処理が行われることにより作成される。
【００５８】
続いて、上述した実施形態と同様に、歪曲画像形成部２１にて、特殊画像データＦ２を歪曲させた歪曲特殊画像データＦ３が作成され、スケーリング部２２にて、歪曲特殊画像データＦ３を拡大・縮小した歪曲特殊画像データＦ４が作成される。
【００５９】
続いて、スケーリング部２２から歪曲特殊画像データＦ４が出力され、これが２つに分岐され、左右の画面表示部１７ａ，１７ｂに同時に送られる。画面表示部１７ａ，１７ｂでは、歪曲特殊画像データＦ４に基づいて、表示画面１５ａ，１５ｂ上に、歪曲特殊画像Ｆ５が表示される。
【００６０】
続いて、画面表示された歪曲特殊画像Ｆ５を、非同軸光学系１８ａ，１８ｂを介してバイザ１２に投影する。非同軸光学系１８ａ，１８ｂを通過することにより、歪曲特殊画像Ｆ５は歪曲が打ち消され、歪曲のない正常な特殊画像Ｆ６がバイザ１２に投影される。
【００６１】
バイザ１２に投影される正常な特殊画像Ｆ６と被写体Ｆ０とを比較すると、被写体Ｆ０を直視した像と同じ正方格子の像に、文字「○○」が加わった像を見ることになる。
【００６２】
そして、装着者（使用者）は、被写体Ｆ０の直視像と、正常な特殊画像Ｆ６とを重ね合わせた像を視認することになる。
この場合も、ハレーション発生領域等を除去した特殊画像と直視像とを重ね合わることで、それぞれの鮮明に映し出された部分どうしを引き立たせた像を視認することができる。加えて、有用な外部情報も同時に表示させることができている。
【産業上の利用可能性】
【００６３】
本発明は、暗視カメラや赤外線カメラなどの特殊カメラによって取得した映像情報を、画像としてバイザに投影する頭部装着型表示装置の製造に利用することができる。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態である頭部装着型表示装置の構成を示すブロック図。
【図２】図１の頭部装着型表示装置の動作を説明する図。
【図３】本発明の他の一実施形態である頭部装着型表示装置の構成を示すブロック図。
【図４】図３の頭部装着型表示装置の動作を説明する図。
【図５】本発明の他の一実施形態である頭部装着型表示装置の構成を示すブロック図。
【図６】図５の頭部装着型表示装置の動作を説明する図。
【符号の説明】
【００６５】
１、２、３： 頭部装着型表示装置
１１： ヘルメット
１２： バイザ
１３ａ，１３ｂ： 低照度対応カメラ（特殊カメラ）
１４ａ，１４ｂ： 画像作成部
１５ａ，１５ｂ： 表示画面
１７ａ，１７ｂ： 画面表示部
１８ａ，１８ｂ： 非同軸光学系
１９ａ： 暗視カメラ（特殊カメラ）
１９ｂ： 赤外線カメラ（特殊カメラ）
２０ａ，２０ｂ： 原画像作成部
２１ａ，２１ｂ： 歪曲画像形成部
２２ａ，２２ｂ： スケーリング部
２４： 画像作成部
２５： 画像合成部
３１： 画像作成部
３２： 外部信号入力部
【特許請求の範囲】
【請求項１】
ヘルメットに支持され眼前に配置されるバイザと、バイザを通して前方を観察した直視像とは異なる感度で前方を撮影する特殊カメラと、特殊カメラで撮影した映像信号から特殊画像を作成する画像作成部と、画像を画面表示する画面表示部と、画面表示された画像を斜め方向からバイザに投影し投影画像と直視像とを視認できるようにする非同軸光学系とを備えた頭部装着型表示装置であって、
画像作成部は、バイザと非同軸光学系とにより生じる歪曲に合わせて予め特殊画像を歪曲させた歪曲特殊画像を作成する歪曲画像形成部を有し、画面表示部に歪曲特殊画像を出力することを特徴とする頭部装着型表示装置。
【請求項２】
特殊カメラは暗視カメラまたは低照度対応カメラまたは赤外線カメラであることを特徴とする請求項１に記載の頭部装着型表示装置。
【請求項３】
画像作成部は歪曲画像形成部で作成された歪曲特殊画像の表示倍率を調整するスケーリング部を有し、歪曲特殊画像の表示倍率を調整することにより直視像とバイザに投影される特殊画像とを重ね合わせて表示することを特徴とする請求項１または請求項２に記載の頭部装着型表示装置。
【請求項４】
互いに異なる感度で前方を撮影する複数種類の特殊カメラを備え、画像作成部は少なくとも２種類の特殊カメラからの映像信号を合成処理した合成画像を特殊画像として作成する画像合成部を有することを特徴とする請求項１〜請求項３のいずれかに記載の頭部装着型表示装置。
【請求項５】
画像作成部は外部信号を入力するための外部信号入力部と、特殊カメラで撮影した映像信号と外部信号とを合成処理した合成画像を特殊画像として作成する画像合成部とを有することを特徴とする請求項１〜請求項３のいずれかに記載の頭部装着型表示装置。
【請求項１】
ヘルメットに支持され眼前に配置されるバイザと、バイザを通して前方を観察した直視像とは異なる感度で前方を撮影する特殊カメラと、特殊カメラで撮影した映像信号から特殊画像を作成する画像作成部と、画像を画面表示する画面表示部と、画面表示された画像を斜め方向からバイザに投影し投影画像と直視像とを視認できるようにする非同軸光学系とを備えた頭部装着型表示装置であって、
画像作成部は、バイザと非同軸光学系とにより生じる歪曲に合わせて予め特殊画像を歪曲させた歪曲特殊画像を作成する歪曲画像形成部を有し、画面表示部に歪曲特殊画像を出力することを特徴とする頭部装着型表示装置。
【請求項２】
特殊カメラは暗視カメラまたは低照度対応カメラまたは赤外線カメラであることを特徴とする請求項１に記載の頭部装着型表示装置。
【請求項３】
画像作成部は歪曲画像形成部で作成された歪曲特殊画像の表示倍率を調整するスケーリング部を有し、歪曲特殊画像の表示倍率を調整することにより直視像とバイザに投影される特殊画像とを重ね合わせて表示することを特徴とする請求項１または請求項２に記載の頭部装着型表示装置。
【請求項４】
互いに異なる感度で前方を撮影する複数種類の特殊カメラを備え、画像作成部は少なくとも２種類の特殊カメラからの映像信号を合成処理した合成画像を特殊画像として作成する画像合成部を有することを特徴とする請求項１〜請求項３のいずれかに記載の頭部装着型表示装置。
【請求項５】
画像作成部は外部信号を入力するための外部信号入力部と、特殊カメラで撮影した映像信号と外部信号とを合成処理した合成画像を特殊画像として作成する画像合成部とを有することを特徴とする請求項１〜請求項３のいずれかに記載の頭部装着型表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２１２５７７（Ｐ２００７−２１２５７７Ａ）
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願番号】特願２００６−３０１９５（Ｐ２００６−３０１９５）
【出願日】平成１８年２月７日（２００６．２．７）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願日】平成１８年２月７日（２００６．２．７）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
[ Back to top ]