説明

赤外線映像の視認性向上方法とその機能を備えた装置

【課題】本発明の目的は、赤外線カメラ映像の表示において、着目領域部分の画像信号と大きくレベルを異にする非着目領域がある場合に、非着目領域の信号レベルに影響されず赤外線カメラ映像の着目領域部分の映像の視認性を向上させる技術、特に、航空機の操縦支援システムとして有効な赤外線映像技術を提供することにある。
【解決手段】本発明の赤外線映像の視認性向上方法は、航空機の位置情報に基づいて、蓄積されている地形/地物情報から表示画面上の着目/非着目エリアを識別し、それを赤外線カメラ視野角上に写像変換して、赤外線カメラから送られた非着目エリアの画像を表示しないようにすることにより、着目エリアの映像の視認性を向上させるようにした。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、DEM(Digital Elevation Map)等の地形情報に基づいて、赤外線カメラ映像等の必要な部分を強調したり、不要な部分を表示しないようにすることにより、映像の視認性を向上させる技術、特に、航空機の操縦支援システムとして有効な画像表示技術に関するものである。
【背景技術】
【0002】
赤外線カメラは夜間や低視程時に航空機の安全性や任務の達成性を向上させることから、多くの航空機に前方赤外線監視装置(FLIR:Foward Looking Infra Red)として搭載されるようになっている。この赤外線カメラの映像はコックピットの計器版やHUD(Head Up Display)、HMD(Head Mounted Display)に表示される。HUDやHMDに表示される場合には映像を透過して、外部視野と赤外線画像の両方を視認できることが大きな利点であるが、特に夜間などは、輝度やコントラストを適切に調整しないと明るすぎて外界が見えなくなるなどの運航上の弊害が生じる。すなわち、赤外線画像は被写体の温度差を輝度で表示するが、例えば、画像中の重要な着目部分(狭領域)の温度が極端に低く、それ以外の背景部分の温度が高い場合には、信号レベル差が大きくなる。そのままの画素信号を用い、着目部分の画像が見易いように輝度調整をすると、ディスプレイ画面のほとんどが白くなってしまう。これをHUDやHMDに表示すると画面全体が明るくなり、画像自体が見にくくなるだけでなくコックピット全体が明るくなってしまい外部の視認性が著しく低下する。かといって画面の輝度やコントラストを下げると重要な着目部分が見えなくなってしまうという問題がある。
【0003】
赤外線画像において着目領域と他の領域との温度差が大きい場合、全体の輝度スパンに比べ着目領域の輝度変化が小さくなるため、着目領域の鮮明な画像が得られないと言う問題に対して、特許文献1では次のような技術を提示している。この発明は実環境での気体流の温度変化は背景との温度差よりも微小であるが、赤外線単素子もしくは1次元素子を備える赤外線カメラは、このような微小な温度変化を観測できる程の感度とフレーム速度を有していないので、完全なシミュレーションを行うことが困難であるという問題を解決し、特別な気体を用いることなく実環境に近いシミュレーションを行うことのできる気体流の可視化方法を提供することを課題としたものである。この目的を達成するため、当該発明の気体流の可視化方法は、図4に示されるように0.01℃程度の温度差を検知できる高感度赤外線2次元センサ(赤外線温度計測装置)イを備え、高速スキャン可能な赤外線カメラで気体流ロの熱画像を取得し、取得した熱画像から背景ハの成分を除去し、図示していないTVモニタに気体流を表示することを特徴とするものである。
【0004】
この発明は、赤外線画像において着目領域と他の領域との温度差が大きいため、着目領域の鮮明な画像が得られないと言う点では、本明細書が従来技術の問題点としている事柄と共通するが、当該文献が問題としてる現象は温度差の大きい背景からの赤外線情報が着目領域の赤外線情報に重畳してしまうということであり、本発明の問題としている画像において着目領域と重ならない他の領域との温度差に起因する現象とは異なるものである。すなわち、特許文献1の技術は予め気体流(着目領域)が存在しない状態の背景画像を取得しておき、気体流が発生しているときの画像情報から背景画像成分を減算処理して気体流(着目領域)の画像を得ようというものであるから、本発明が課題とする着目領域以外の領域の信号レベルの影響の問題の解決には適用することは出来ない技術である。しかも、航空機のように広域を航行移動しながらの撮像であるから、予め背景画像を取得・蓄積しておくことが出来ないし、実時間処理の対応も出来ない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平7−225156号公報 「気体流の可視化方法」 平成7年8月22日公開
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、赤外線カメラ映像の表示において、着目領域部分の画像信号と大きくレベルを異にする非着目領域がある場合に、非着目領域の信号レベルに影響されず赤外線カメラ映像の着目領域部分の映像の視認性を向上させる技術、特に、航空機の操縦支援システムとして有効な赤外線映像技術を提供することにある。
【課題を解決するための手段】
【0007】
本発明の赤外線映像の視認性向上方法は、航空機の位置情報に基づいて、蓄積されている地形/地物情報から表示画面上の着目/非着目エリアを識別し、それを赤外線カメラ視野角上に写像変換して、赤外線カメラから送られた非着目エリアの画像を表示しないようにすることにより、着目エリアの映像の視認性を向上させるようにした。また、本発明の赤外線映像の視認性向上方法は、航空機の位置情報に基づいて、蓄積されている地形/地物情報から表示画面上の着目/非着目エリアを識別し、それを赤外線カメラ視野角上に写像変換して、赤外線カメラから送られた非着目エリアの画像の輝度を低くすると共に、着目エリアのコントラストを上げて映像の視認性を向上させるようにした。
【0008】
本発明の赤外線映像の視認性向上機能を備えた装置は、航空機の位置情報を得る手段と、地形/地物情報を記憶蓄積している手段を備えた航空機において、前記得られた位置情報に基づいて、前記蓄積されている地形/地物情報から表示画面上の着目/非着目エリアを識別する手段と、それを赤外線カメラ視野角上に写像変換して、赤外線カメラから送られた非着目エリアの画像を表示しないようにする手段とを備えることにより、着目エリアの映像の視認性を向上させることを特徴とした。
また、本発明の赤外線映像の視認性向上機能を備えた装置は、航空機の位置情報に基づいて、地形/地物情報を記憶蓄積している手段を備えた航空機において、前記得られた位置情報に基づいて、前記蓄積されている地形/地物情報から表示画面上の着目/非着目エリアを識別する手段と、それを赤外線カメラ視野角上に写像変換して、赤外線カメラから送られた非着目エリアの画像の輝度を低くすると共に、着目エリアのコントラストを上げて映像の視認性を向上させる手段とを備えることにより、着目エリアの映像の視認性を向上させるものとした。
また、上記の蓄積されている地形/地物情報としてDEM(Digital Elevation Map)を用いるものとした。
【発明の効果】
【0009】
本発明の赤外線映像の視認性向上方法は、航空機の位置情報に基づいて、蓄積されている地形/地物情報から表示画面上の着目/非着目エリアを識別し、それを赤外線カメラ視野角上に写像変換して、赤外線カメラから送られた非着目エリアの画像を表示しないように、または輝度を低く抑えることによって、非着目エリアの温度が着目エリアの温度に比較して極端に高い場合でも輝度レベルのレンジスパンを広くとる必要が無くなり、着目エリアの画像に対して十分なコントラストを取ることが可能となって、着目エリアの映像の視認性を向上させることができる。
また、そのことによってHUDやHMDに表示しても表示画面全体が明るくなりすぎ、外界の視認性が著しく低下し、パイロットの操縦に支障となるようなことがない。また、本発明の赤外線映像の視認性向上方法によれば、DEM(Digital Elevation Map)等の地形/地物情報を記憶蓄積したデータベースを搭載しておくことにより、運航中にリアルタイムで赤外線映像を適正表示させることが可能である。
【図面の簡単な説明】
【0010】
【図1】本発明の赤外線映像の視認性向上機能を備えた装置のシステム構成を示した図である。
【図2】陸地から10kmの地点から撮影した赤外線映像であり、Aは本発明の処理前画像、Bは処理した画像である。
【図3】陸地から2kmの地点から撮影した赤外線映像であり、Aは本発明の処理前画像、Bは処理した画像である。
【図4】赤外線画像において着目領域と他の領域との温度差が大きい場合の従来技術を説明する図である。
【発明を実施するための形態】
【0011】
図1に本発明の赤外線映像の視認性向上機能を備えた装置のシステム構成を示す。航空機に搭載されている前方赤外線監視装置(FLIR)に本発明を実施するものとして図1を参照しながら説明する。システムとして、画像の信号処理を行う計算機1、地形/地物情報が蓄積されているデータベース2、航空機に取付けられた赤外線カメラ3、画像を表示するHUDやHMD等のディスプレイ4が装備される。前記赤外線カメラ3から撮像した画像信号が得られる。従来はこの画像信号を直接ディスプレイ4に表示していた。本発明ではまず、航空機の位置を把握する。この位置情報は緯度・経度情報、高度情報、機体の姿勢角を含むが、これらの計測値を得る計器は航空機の通常装備であり、そのデータを用いることが出来る。機体の緯度・経度情報に基づき、地形/地物情報が蓄積されているデータベース2から、近傍の地形/地物情報を読み出す。読み出した近傍の地形/地物情報から表示画面上の着目エリア(例えば空港)の温度より高い温度の非着目エリア(例えば海面)を抽出するのであるが、海岸線が陸と海の境界となることから、図に示すように海岸線5を地形/地物情報から把握し、線情報として計算機上に取り込む。計算機上に取り込んだこの線情報は水平である海岸線を鉛直方向から捉えた線情報であることから、次に機体の姿勢角情報に基づいてこの水平面線情報を傾斜させ、機体から海岸線を見る視覚と一致するように加工する。この加工した線情報を赤外線カメラ3が捉えた前方画像に重ね合わせる。そして着目エリアである空港の温度より高い温度の非着目エリアである海面を画像情報において特定する。前記赤外線カメラ3が撮像した画像信号では海面領域は着目エリアである空港の温度より温度が高いため、ディスプレイ4の表示ではこの海面領域は輝度が高く画面全体が明るいものとなっている。したがって、パイロットは外界の視野が見にくくなると共に、着目エリアである空港の画像は不鮮明である。この元画像に対して海面である領域についてこの発明では画像信号をマスクしてしまうか、レベルを低く抑えて表示画面上で輝度を低くする。その結果、表示画面上での輝度スパンは狭くなり、着目エリアである空港の撮像領域のコントラストを強調してその画像を鮮明にすることが可能となる。表示画面上で海面の輝度を低くするようにレベルを低く抑える手法は、カメラ画像が被写体の距離に反比例した光量で受光されるものであることを勘案し、調整する。この様に処理することで、輝度が抑えられるが、その部分も自然な画像として映し出すことが出来る。
【0012】
図2は陸地から10kmの地点から撮影した赤外線映像であり、Aは本発明の処理前画像、Bは海面の輝度を抑える処理した画像である。Aに示した画像は海面に当たる下半分領域が真っ白になっており、陸上家屋の屋根は不鮮明であり判別できない。パイロットには画面が眩しい状態となっており、輝度を上げることが出来ない。Bに示した画像では海面領域の輝度が低く抑えられているので、陸地領域の画像のコントラストを強く調整することが可能となって、屋根が見えるように鮮明な画像を映すことが出来ている。海面領域を一様にマスクしてしまう処理をした場合、画像特に海岸線部分の画像がくっきりと区分されて表示されるため、若干の違和感があるが、海面の輝度を抑える処理した場合はこの様に自然な画像として表示される。航空機は時々刻々陸地に接近することになるが、その都度航空機の位置情報を更新し、その位置情報に基づいて近傍の地形/地物情報を更新して読み出し、海岸線5の把握、機体の姿勢角情報に基づいて線情報の傾斜加工、該線情報を赤外線カメラが捉えた前方画像に重ね合わせる作業を切り返す。このことによって、リアルタイムで赤外線映像を適正表示させることが可能となる。
【0013】
図3は陸地から2kmの地点から撮影した赤外線映像であり、Aは本発明の処理前画像、Bは処理した画像である。陸地に接近しているため、着目エリアである陸上の地物の像が大きくなっており、Aの画像では海面に当たる下半分領域が同様に真っ白になっており、この画像はパイロットには画面が眩しい状態となっており、輝度を上げることが出来ないので、陸上家屋の形状は判別できない。Bに示した画像では海面領域の輝度が低く抑えられているので、陸地領域の画像のコントラストを強く調整することが可能となって、陸地の風景が見えるようになって、建物の鮮明な画像を映すことが出来ている。
【産業上の利用可能性】
【0014】
本発明が関わる前方赤外線監視装置(FLIR)は夜間や低視程時に航空機の安全性や任務の達成性を向上させることから、民事用、軍事用に限られず多くの航空機に搭載されるようになっている。特に、本発明はその視認性向上を図った技術であるから、夜間や視界の悪い状況下でも安全航行を支援するシステムとして防災や救助活動に威力を発揮することが出来る。
【符号の説明】
【0015】
1 計算機 2 地形/地物情報が蓄積されたデータベース
3 赤外線カメラ 4 ディスプレイ
5 海岸線

【特許請求の範囲】
【請求項1】
航空機の位置情報に基づいて、蓄積されている地形/地物情報から表示画面上の着目/非着目エリアを識別し、それを赤外線カメラ視野角上に写像変換して、赤外線カメラから送られた非着目エリアの画像を表示しないようにすることにより、着目エリアの映像の視認性を向上させるようにしたことを特徴とする赤外線映像の視認性向上方法。
【請求項2】
航空機の位置情報に基づいて、蓄積されている地形/地物情報から表示画面上の着目/非着目エリアを識別し、それを赤外線カメラ視野角上に写像変換して、赤外線カメラから送られた非着目エリアの画像の輝度を低くすると共に、着目エリアのコントラストを上げて映像の視認性を向上させるようにしたことを特徴とする赤外線映像の視認性向上方法。
【請求項3】
航空機の位置情報を得る手段と、地形/地物情報を記憶蓄積している手段を備えた航空機において、前記得られた位置情報に基づいて、前記蓄積されている地形/地物情報から表示画面上の着目/非着目エリアを識別する手段と、それを赤外線カメラ視野角上に写像変換して、赤外線カメラから送られた非着目エリアの画像を表示しないようにする手段とを備えることにより、着目エリアの映像の視認性を向上させることを特徴とする赤外線映像の視認性向上機能を備えた装置。
【請求項4】
航空機の位置情報に基づいて、地形/地物情報を記憶蓄積している手段を備えた航空機において、前記得られた位置情報に基づいて、前記蓄積されている地形/地物情報から表示画面上の着目/非着目エリアを識別する手段と、それを赤外線カメラ視野角上に写像変換して、赤外線カメラから送られた非着目エリアの画像の輝度を低くすると共に、着目エリアのコントラストを上げて映像の視認性を向上させる手段とを備えることにより、着目エリアの映像の視認性を向上させることを特徴とする赤外線映像の視認性向上機能を備えた装置。
【請求項5】
蓄積されている地形/地物情報としてDEM(Digital Elevation Map)を用いるものとした請求項3または4に記載の赤外線映像の視認性向上機能を備えた装置。

【図1】
image rotate

【図4】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2012−224210(P2012−224210A)
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願番号】特願2011−93639(P2011−93639)
【出願日】平成23年4月20日(2011.4.20)
【出願人】(503361400)独立行政法人 宇宙航空研究開発機構 (453)
【出願人】(000001993)株式会社島津製作所 (3,708)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】