説明

画像表示装置

【課題】高輝度のノイズがHDR画像に含まれている場合や、様々な観測対象物がHDR画像の中に混在している場合でも、それぞれの観測対象物を分かり易く表示することができるようにする。
【解決手段】HDR画像を構成している画素のうち、隣り合う画素と輝度が近似している画素同士を同一のグループに分類し、同一のグループに属する画素が存在している領域を輝度変換対象領域(1)〜(N)に設定する輝度変換対象領域設定部3と、輝度変換対象領域(1)〜(N)内に存在しているノイズを除去してから、輝度変換対象領域(1)〜(N)内に存在している画素の輝度を可視範囲内の輝度に変換する輝度変換部4とを設ける。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、輝度が幅広い値をとるハイダイナミックレンジ画像(以下、「HDR画像」と称する)を、人間が視認可能な輝度範囲でかつ表示可能な階調数の画像に変換して表示する画像表示装置に関するものである。
【背景技術】
【0002】
HDR画像としては、例えば、合成開口レーダを用いて取得された電波画像であるSAR(synthetic aperture radar)画像(この画像には狭い範囲の高輝度ノイズも加算されている)や、ハイダイナミックレンジカメラを用いて撮影された画像などがある。
合成開口レーダを航空機や人工衛星に搭載し、合成開口レーダを用いて、地上を観測したデータを画像として表現する場合、画素の輝度が数万階調になることがある。
しかし、人間が輝度の差違を識別することが可能な輝度階調は数百階調であることから、合成開口レーダを用いて観測されたデータであるHDR画像を表示するためには、そのHDR画像を構成している画素の輝度を人間の可視範囲内の輝度(かつ数百の輝度階調)に変換する必要がある。
【0003】
ここで、HDR画像を構成している画素の輝度を人間の可視範囲内の輝度に変換する方式として、トーンマッピング(Tone Mapping)と呼ばれる方式(以下、「TMO方式」と称する)が知られている。
合成開口レーダを用いて観測されたデータのうち、金属のように電波を反射し易い観測対象物に係るデータは輝度が高くなり、水面のように電波を反射し難い観測対象物に係るデータは輝度が低くなる傾向がある。
このため、合成開口レーダを用いて観測されたデータをHDR画像として利用する場合において、例えば、車両のように高輝度で表現される部分を表示すると同時に、水田のように低輝度で表現される部分を表示しようとすると、輝度の差違が大き過ぎるため、同時に両方の輝度範囲を工夫しなければ、不鮮明な画像を表示することになる。
【0004】
具体的には、以下の通りである。
合成開口レーダを用いて、上空から観測されたデータが、例えば、図15に示すように、建物周辺の構造物が写っているHDR画像であるものとする。
また、この場合のHDR画像における観測対象物の輝度分布が、図16に示すような輝度分布であるものとする。
このとき、TMO方式を用いて、HDR画像における観測対象物の輝度を線形に可視範囲内の輝度に変換すると、図17に示すように、殆どの観測対象物の輝度が小さな値となる。
この結果、図18に示すように、ほぼ真っ暗な画像に変換されてしまい、視認可能なものが、極めて輝度が高いノイズだけになってしまうので、不鮮明な画像を表示することになる。
【0005】
以下の非特許文献1には、光学写真を対象とする従来のTMO方式を適用しても、合成開口レーダを用いて観測されたデータのように、観測対象が様々な輝度範囲に分離して記録されているHDR画像の可視化には適さない旨が記載されている。
即ち、以下の非特許文献1には、光学写真向けTMO方式を適用する場合、画面全体が白く見えるように変換されてしまうことや、人が試行錯誤して適用パラメータを決定する必要があることが記載されている。
また、合成開口レーダを用いて観測されたデータには、HDR画像の狭い領域において、高輝度のノイズが不規則に現れており、このノイズを除去することが課題であるとされている。
【0006】
以下の特許文献1には、HDR画像の輝度変換を実施する際、HDR画像を比較的明るい領域と、比較的暗い領域とに分割し、それぞれの領域に最適と思われるTMO変換を実施して、変換後の領域を合成する方式が開示されている。
この方式の場合、HDR画像が、高輝度の領域と低輝度の領域がはっきり分離していれば、適度な輝度変換が可能である。
しかし、合成開口レーダを用いて、上空から観測されたデータの場合、例えば、平らな地面の上に建物があり、その建物の屋上が平らになっていると、地面が低輝度に表現され、建物の縁が高輝度に表現され、建物の屋上の平らな部分が高輝度で表現される。
即ち、高輝度の領域と低輝度の領域が混在して表現されるため、高輝度の領域と低輝度の領域を適切に分離することができず、TMO方式を適用することが困難である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2006−345509号公報(段落番号[0006])
【非特許文献】
【0008】
【非特許文献1】Lambers, M. Nies, H. Kolb, A.:”Interactive Dynamic Range Reduction for SAR Images”,Geoscience and Remote Sensing Letters, Vol.5 Issue3 pp. 507-511, 2008
【発明の概要】
【発明が解決しようとする課題】
【0009】
従来の画像表示装置は以上のように構成されているので、観測対象物の近くに高輝度のノイズが現れると、そのノイズの影響で、観測対象物を分かり易く表示することができなくなる課題があった。
また、HDR画像の中に様々な観測対象物が混在している場合、高輝度の領域と低輝度の領域を適切に分離することができず、それぞれの観測対象物を分かり易く表示することができなくなる課題があった。
【0010】
また、HDR画像の中に混在している複数の観測対象物の輝度の差異が、複数の観測対象物の形状や状態の差異を表しているとき、その輝度の差異が小さい場合には、人間が見ても、輝度の差異を認識することが困難であるため、複数の観測対象物の形状や状態の差異を正確に把握することができなくなる課題があった。
さらに、人間が試行錯誤して適用パラメータを決定するのではなく、自動的にTMO方式の適用パラメータを決定する方式を採用する場合には、HDR画像の中の可視化が必要な領域だけでなく、可視化が不必要な領域も考慮されて、適用パラメータが決定されることが想定される。
このため、可視化が必要な領域の輝度変換に最適な適用パラメータが決定されるとは限らず、可視化が必要な領域を分かり易く表示することができなくなることがある課題があった。
【0011】
この発明は上記のような課題を解決するためになされたもので、高輝度のノイズがHDR画像に含まれている場合や、様々な観測対象物がHDR画像の中に混在している場合でも、それぞれの観測対象物を分かり易く表示することができる画像表示装置を得ることを目的とする。
また、この発明は、HDR画像の中に混在している複数の観測対象物の輝度の差異が僅かであっても、複数の観測対象物の形状や状態の差異を容易に視認することができる画像表示装置を得ることを目的とする。
さらに、この発明は、可視化が必要な領域の輝度変換を最適化して、可視化が必要な領域を分かり易く表示することができる画像表示装置を得ることを目的とする。
【課題を解決するための手段】
【0012】
この発明に係る画像表示装置は、可視範囲を超える輝度階調を有する画像を構成している画素のうち、隣り合う画素と輝度が近似している画素同士を同一のグループに分類し、同一のグループに属する画素が存在している領域を輝度変換対象領域に設定する輝度変換対象領域設定手段と、その輝度変換対象領域設定手段により設定された輝度変換対象領域毎に、当該輝度変換対象領域内に存在しているノイズを除去してから、当該輝度変換対象領域内に存在している画素の輝度を可視範囲内の輝度に変換する輝度変換手段とを設け、領域合成手段が輝度変換手段により画素の輝度が変換された1以上の輝度変換対象領域内の画像を合成して、合成画像を生成するようにしたものである。
【発明の効果】
【0013】
この発明によれば、可視範囲を超える輝度階調を有する画像を構成している画素のうち、隣り合う画素と輝度が近似している画素同士を同一のグループに分類し、同一のグループに属する画素が存在している領域を輝度変換対象領域に設定する輝度変換対象領域設定手段と、その輝度変換対象領域設定手段により設定された輝度変換対象領域毎に、当該輝度変換対象領域内に存在しているノイズを除去してから、当該輝度変換対象領域内に存在している画素の輝度を可視範囲内の輝度に変換する輝度変換手段とを設け、領域合成手段が輝度変換手段により画素の輝度が変換された1以上の輝度変換対象領域内の画像を合成して、合成画像を生成するように構成したので、様々な観測対象物が画像の中に混在している場合でも、それぞれの観測対象物を分かり易く表示することができる効果がある。
【図面の簡単な説明】
【0014】
【図1】この発明の実施の形態1による画像表示装置を示す構成図である。
【図2】この発明の実施の形態1による画像表示装置の輝度変換対象領域設定部3の内部を示す構成図である。
【図3】輝度変換対象領域設定部3により設定される輝度変換対象領域を示す説明図である。
【図4】クラスタリングの閾値とクラスタに含まれる画素の個数との対応関係を示す説明図である。
【図5】輝度変換対象領域の設定例を示す説明図である。
【図6】輝度変換対象領域における画素値のヒストグラムの一例を示す説明図である。
【図7】輝度変換部4の輝度変換結果の一例を示す説明図である。
【図8】領域合成部5により生成された合成画像の表示例を示す説明図である。
【図9】この発明の実施の形態2による画像表示装置の輝度変換対象領域設定部3の内部を示す構成図である。
【図10】図9の注目範囲における画素の輝度を示す説明図である。
【図11】輝度変換対象領域の設定例を示す説明図である。
【図12】この発明の実施の形態3による画像表示装置の輝度変換対象領域設定部3の内部を示す構成図である。
【図13】クラスタリング部3iによるヒストグラム評価例を示す説明図である。
【図14】輝度変換部4による輝度変換処理を示す説明図である。
【図15】観測対象物の配置例を示す説明図である。
【図16】HDR画像における輝度分布を示す説明図である。
【図17】TMO方式を用いて、輝度変換を実施した後の輝度分布を示す説明図である。
【図18】線形変換結果イメージを示す説明図である。
【発明を実施するための形態】
【0015】
実施の形態1.
図1はこの発明の実施の形態1による画像表示装置を示す構成図である。
図1において、HDR画像格納部1は人間の可視範囲を超え、かつ視認可能な階調数を超える輝度階調を有する画像であるハイダイナミックレンジ画像(HDR画像)として、例えば、合成開口レーダを用いて取得された電波画像であるSAR画像や、ハイダイナミックレンジカメラを用いて撮影された画像を格納しているメモリなどの記録媒体である。
なお、HDR画像は、縦の画素数がM、横の画素数がNである場合、M×N個の輝度情報を保持しており、1画素の輝度情報は、例えば8バイトで表現可能な整数で表現されている。輝度情報は、整数の値が大きい程、輝度が高いことを示している。
【0016】
変換領域範囲指定部2はHDR画像格納部1により格納されているHDR画像の中で輝度変換を行う領域の範囲の指定を受け付けて、その変換領域内のHDR画像を輝度変換対象領域設定部3に出力する処理を実施する。なお、変換領域範囲指定部2は変換領域範囲指定手段を構成している。
図1では、変換領域範囲指定部2の具体的な構成例を示していないが、例えば、以下に示すようなハードウェアで構成されている。
・HDR画像格納部1からHDR画像を読み込むメモリインタフェース
・輝度変換を行う領域の範囲の指定を受け付けるマンマシンインタフェース(例えば、キーボード、マウス)
・HDR画像から変換領域内の画像を切り出して輝度変換対象領域設定部3に出力する画像処理部(例えば、CPUを実装している半導体集積回路)
ここでは、メモリインタフェース、マンマシンインタフェース及び画像処理部から変換領域範囲指定部2が構成されている例を示したが、これは一例に過ぎず、例えば、変換領域範囲指定部2がワンチップマイコンなどで構成されていてもよい。
【0017】
輝度変換対象領域設定部3は変換領域範囲指定部2から出力された変換領域内のHDR画像を構成している画素のうち、隣り合う画素と輝度が近似している画素同士を同一のグループに分類し、同一のグループに属する画素が存在している領域を輝度変換対象領域に設定する処理を実施する。なお、輝度変換対象領域設定部3は輝度変換対象領域設定手段を構成している。
図1では、輝度変換対象領域設定部3がN個の輝度変換対象領域(1)〜(N)を設定して、N個の輝度変換対象領域(1)〜(N)を輝度変換部4に出力している例を示している。
輝度変換対象領域設定部3の具体的な構成例については後述する。
【0018】
輝度変換部4は輝度変換対象領域設定部3により設定された輝度変換対象領域(1)〜(N)毎に、輝度変換対象領域(n)内に存在しているノイズを除去してから、その輝度変換対象領域(n)内に存在している画素の輝度を線形輝度圧縮によって、可視範囲(例えば、255階調)内の輝度に変換する処理を実施する。ただし、n=1,2,・・・,Nである。
【0019】
あるいは、輝度変換部4は輝度変換対象領域設定部3により設定された輝度変換対象領域(1)〜(N)毎に、輝度変換対象領域(n)内に存在しているノイズを除去してから、その輝度変換対象領域(n)内に存在している画素の輝度の平均値μ及び分散値σを算出して、その平均値μ及び分散値σから、可視範囲内に於いて輝度変換範囲S(n)(例えば、平均値μを中心にして、平均値μの上下にそれぞれ分散値σの3倍の範囲)を決定し、その平均値μ及び分散値σを用いて、輝度変換対象領域(n)内に存在している画素の輝度を輝度変換範囲S(n)内の輝度に変換する処理を実施する。
なお、輝度変換部4は輝度変換手段を構成している。
【0020】
メモリ4a−1は輝度変換対象領域設定部3により設定された輝度変換対象領域(1)の画像を一時的に格納する記録媒体である。
メモリ4a−2は輝度変換対象領域設定部3により設定された輝度変換対象領域(2)の画像を一時的に格納する記録媒体である。
メモリ4a−Nは輝度変換対象領域設定部3により設定された輝度変換対象領域(N)の画像を一時的に格納する記録媒体である。
【0021】
輝度変換処理部4b−1は例えばCPUを実装している半導体集積回路から構成されており、輝度変換対象領域(1)内に存在しているノイズを除去してから、輝度変換対象領域(1)内に存在している画素の輝度を線形輝度圧縮によって、輝度変換範囲S(1)内の輝度に変換する処理を実施する。あるいは、輝度変換対象領域(1)内に存在しているノイズを除去してから、輝度変換対象領域(1)内に存在している画素の輝度の平均値μ及び分散値σを算出して、その平均値μ及び分散値σから輝度変換範囲S(1)を決定し、その平均値μ及び分散値σを用いて、輝度変換対象領域(1)内に存在している画素の輝度を輝度変換範囲S(1)内の輝度に変換する処理を実施する。
【0022】
輝度変換処理部4b−2は例えばCPUを実装している半導体集積回路から構成されており、輝度変換対象領域(2)内に存在しているノイズを除去してから、輝度変換対象領域(2)内に存在している画素の輝度を線形輝度圧縮によって、輝度変換範囲S(2)内の輝度に変換する処理を実施する。あるいは、輝度変換対象領域(2)内に存在しているノイズを除去してから、輝度変換対象領域(2)内に存在している画素の輝度の平均値μ及び分散値σを算出して、その平均値μ及び分散値σから輝度変換範囲S(2)を決定し、その平均値μ及び分散値σを用いて、輝度変換対象領域(2)内に存在している画素の輝度を輝度変換範囲S(2)内の輝度に変換する処理を実施する。
【0023】
輝度変換処理部4b−Nは例えばCPUを実装している半導体集積回路から構成されており、輝度変換対象領域(N)内に存在しているノイズを除去してから、輝度変換対象領域(N)内に存在している画素の輝度を線形輝度圧縮によって、輝度変換範囲S(N)内の輝度に変換する処理を実施する。あるいは、輝度変換対象領域(N)内に存在しているノイズを除去してから、輝度変換対象領域(N)内に存在している画素の輝度の平均値μ及び分散値σを算出して、その平均値μ及び分散値σから輝度変換範囲S(N)を決定し、その平均値μ及び分散値σを用いて、輝度変換対象領域(N)内に存在している画素の輝度を輝度変換範囲S(N)内の輝度に変換する処理を実施する。
【0024】
メモリ4c−1は輝度変換対象領域(1)の輝度変換後の画像を一時的に格納する記録媒体である。
メモリ4c−2は輝度変換対象領域(2)の輝度変換後の画像を一時的に格納する記録媒体である。
メモリ4c−Nは輝度変換対象領域(N)の輝度変換後の画像を一時的に格納する記録媒体である。
図1では、輝度変換部4がメモリ4a−1〜4a−N、輝度変換処理部4b−1〜4b−N及びメモリ4c−1〜4c−Nから構成されている例を示したが、これは一例に過ぎず、例えば、輝度変換部4がワンチップマイコンで構成されていてもよい。
【0025】
領域合成部5は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンから構成されており、メモリ4c−1〜4c−Nにより格納されている輝度変換対象領域(1)〜(N)の輝度変換後の画像を合成して、合成画像を生成する処理を実施する。
即ち、領域合成部5はHDR画像を構成している画素(変換領域範囲指定部2から出力された変換領域内のHDR画像を構成している画素)の輝度のうち、輝度変換処理部4b−1〜4b−Nにより輝度が変換される前の輝度変換対象領域(1)〜(N)内に存在している画素の輝度を、輝度変換処理部4b−1〜4b−Nにより変換された輝度に置き換える処理を実施する。なお、領域合成部5は領域合成手段を構成している。
【0026】
合成画像格納部6は領域合成部5により生成された合成画像を一時的に格納するメモリなどの記録媒体である。
立体表示部7は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンから構成されており、合成画像格納部6により格納されている合成画像を構成している画素の輝度を図示せぬディスプレイに立体的に表示する処理を実施する。なお、立体表示部7は立体表示手段を構成している。
【0027】
図1では、画像表示装置の構成要素であるHDR画像格納部1、変換領域範囲指定部2、輝度変換対象領域設定部3、輝度変換部4、領域合成部5、合成画像格納部6及び立体表示部7がそれぞれ専用のハードウェアで構成されている例を示したが、画像表示装置がコンピュータで構成されている場合には、変換領域範囲指定部2、輝度変換対象領域設定部3、輝度変換部4、領域合成部5及び立体表示部7の処理内容を示すプログラムをコンピュータのメモリに格納し、コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
【0028】
図2は輝度変換対象領域設定部3の内部を示す構成図である。
図2において、平滑化処理部3aは変換領域範囲指定部2から出力された変換領域内のHDR画像を構成している画素の輝度を平滑化する処理を実施する。
接峰面処理部3bは平滑化処理部3aにより輝度が平滑化された画素に対する接峰面処理を実施する。
微分オペレータ処理部3cは接峰面処理部3bにより接峰面処理が実施された画素に対する微分オペレータ処理を実施することで、接峰面処理後のHDR画像における画素値の勾配を算出する。
【0029】
グループ分類処理部3dは接峰面処理後のHDR画像を構成している画素のうち、微分オペレータ処理部3cにより算出された画素値の勾配が閾値以下である画素が集まっている画素群を一つのグループに分類する処理を実施する。
ただし、グループ分類処理部3dは一つのグループに分類する処理を実施する前に、閾値を最適化する処理を実施する。
即ち、グループ分類処理部3dは微分オペレータ処理部3cにより算出された画素値の勾配と比較する閾値を仮設定して、その閾値を順次減少させながら、一つのグループに属する画素の個数が急増する直前の閾値(最適な閾値)を探索する処理を実施する。
【0030】
輝度変換対象領域設定処理部3eはグループ分類処理部3dにより分類されたグループに属する画素を含む外接の領域(例えば、外接長方形、外接矩形、外接円)を輝度変換対象領域に設定する処理を実施する。
図2では、輝度変換対象領域設定部3が平滑化処理部3a、接峰面処理部3b、微分オペレータ処理部3c、グループ分類処理部3d及び輝度変換対象領域設定処理部3eから構成されている例を示したが、これは一例に過ぎず、例えば、輝度変換対象領域設定部3がワンチップマイコンで構成されていてもよい。
【0031】
次に動作について説明する。
変換領域範囲指定部2は、人間の可視範囲(例えば、255階調)を超える輝度階調を有する画像として、HDR画像格納部1からHDR画像を読み込むと、そのHDR画像を図示せぬディスプレイに表示する。
このとき、HDR画像を構成する画素の最大輝度がLMAX、最小輝度がLMINであるとする。
また、HDR画像の左上を原点として、原点から下方向にi画素、右方向にj画素進んだ位置(i,j)に存在する画素の輝度をL(i,j)とする。
この場合、変換領域範囲指定部2がディスプレイに表示する画素の輝度を例えば255階調とすると、ディスプレイに表示する画素の輝度を下記のL’(i,j)(ただし、小数点以下を切り捨てた整数値)とする。
L’(i,j)=L(i,j)×(LMAX−LMIN)/255
【0032】
変換領域範囲指定部2は、HDR画像をディスプレイに表示すると、輝度変換を行う領域の範囲の指定を受け付ける処理を行う。
即ち、ユーザがディスプレイに表示されているHDR画像を確認すると、変換領域範囲指定部2におけるキーボードやマウスなどを操作して、輝度変換を行う領域の範囲を指定する。
これにより、変換領域範囲指定部2が、ユーザの指定を受け付けて、輝度変換を行う領域の範囲を設定する。
図1では、点線で囲まれている領域が、輝度変換を行う領域の範囲として指定されている例を示している。
なお、指定する範囲の形状は、矩形形状であっても、円形形状であってもよい。また、折れ線による領域の指定であってもよい。
【0033】
変換領域範囲指定部2は、輝度変換を行う領域の範囲を設定すると、その変換領域内のHDR画像を輝度変換対象領域設定部3に出力する。
このとき、輝度変換対象領域設定部3に出力されるHDR画像の輝度情報は、ディスプレイに表示している255階調の整数ではなく、HDR画像格納部1により格納されている元のHDR画像における輝度L(i,j)の情報である。
また、この輝度情報は、元のHDR画像を構成している画素の位置(i,j)の情報も併せ持っている。
【0034】
輝度変換対象領域設定部3は、変換領域範囲指定部2から変換領域内のHDR画像(例えば、図1の点線で囲まれている領域の画像)を受けると、変換領域内のHDR画像を構成している画素のうち、隣り合う画素と輝度が近似している画素同士を同一のグループに分類し、同一のグループに属する画素が存在している領域を輝度変換対象領域に設定する。
即ち、輝度変換対象領域設定部3は、図3に示すように、変換領域内のHDR画像(例えば、図1の点線で囲まれている領域の画像)の中から、輝度が同程度の画素を含む近傍の領域(点線で囲まれている領域)を別々の輝度変換対象領域に設定している。
【0035】
以下、輝度変換対象領域設定部3の処理内容を具体的に説明する。
まず、輝度変換対象領域設定部3の平滑化処理部3aは、変換領域範囲指定部2から変換領域内のHDR画像を受けると、変換領域内のHDR画像を構成している画素の輝度を平滑化する。
即ち、平滑化処理部3aは、HDR画像に含まれているノイズ(小さな領域に現れている輝度が高い部分)を低減するために、移動平均と呼ばれるフィルタ処理を実施するものである。
具体的には、変換対象の画素を中心とする縦横3×3の9画素の輝度の値に“1/9”をそれぞれ乗算し、乗算後の各輝度の値の和を、当該画素の変換後の輝度の値とするものである。
これにより、図2に示すように、細かい数画素の高輝度(白い点)が消えるため、ノイズが低減される。
【0036】
ここでは、平滑化処理部3aが移動平均と呼ばれるフィルタ処理を実施するものについて示したが、変換領域内のHDR画像を構成している画素のうち、事前に設定されている閾値(基準の輝度レベル)より輝度が高い画素を探索し、その画素の輝度を当該閾値に変換するようにしてもよい。
なお、変換後の画素の最大輝度をLMAX、最小輝度をLMIN、各画素の表示輝度をL(i,j)×(LMAX−LMIN)/255として、各画素を再表示すれば、図2の平滑化表示例のように、ノイズが低減している画像の表示が可能となる。
【0037】
次に、輝度変換対象領域設定部3の接峰面処理部3bは、平滑化処理部3aにより輝度が平滑化された画素(注意:255階調にしたものではない)に対する接峰面処理を実施する。
合成開口レーダを用いて取得された電波画像であるHDR画像は、地上の均一な状態部分に関しても、輝度強弱が縞模様のように現れることがある。
接峰面処理は、縞の黒くなっている部分(輝度を表示した場合の凹みや縞などの溝)を埋める処理であり、接峰面処理では、変換対象の画素の周囲に位置している8画素の輝度のうち、最大の輝度を変換対象の画素の輝度に変換する。
なお、変換後の画素の最大輝度をLMAX、最小輝度をLMIN、各画素の表示輝度をL(i,j)×(LMAX−LMIN)/255として、各画素を再表示すれば、図2の接峰面処理表示例のように、それぞれの観測対象物が白く塗りつぶされたように表示することが可能となる。
【0038】
次に、輝度変換対象領域設定部3の微分オペレータ処理部3cは、接峰面処理部3bにより接峰面処理が実施された画素に対する微分オペレータ処理を実施する。
即ち、微分オペレータ処理部3cは、接峰面処理後のHDR画像における画素値の勾配を算出するために、8方向のラプラシアンフィルタを用いて、フィルタ処理を実施するものである。
画素値の勾配を使用することで、HDR画像における画素値の大小にかかわらず、周辺と比較して、画素値に変化がある領域の検出が可能になる。このため、混在している高輝度の領域と低輝度の領域を同時に検出することが可能になる。
なお、変換後の画素の最大輝度をLMAX、最小輝度をLMIN、各画素の表示輝度をL(i,j)×(LMAX−LMIN)/255として、各画素を再表示すれば、図2の微分オペレータ表示例のように、輝度の濃淡の変化があるエッジ部分を浮き上がらせることが可能となる。
【0039】
次に、輝度変換対象領域設定部3のグループ分類処理部3dは、接峰面処理後のHDR画像を構成している画素のうち、微分オペレータ処理部3cにより算出された画素値の勾配が閾値以下である画素が集まっている画素群を一つのグループに分類する処理を実施する。
以下、グループ分類処理部3dの処理内容を具体的に説明する。
【0040】
まず、グループ分類処理部3dは、観測対象物が存在している領域を推定する領域拡張法の開始点を設定するため、微分オペレータ処理部3cにより算出された勾配の絶対値を画素値とする画像中の変化領域をクラスタリングすることで、HDR画像において、画素値の変化が大きい領域(観測対象物が存在している領域)を検出する。
ただし、観測対象物が存在している領域においても、勾配が大きい点が連続しない場合もあり、離散点のクラスタリングが必要なことから、k平均法によってクラスタリングを行って、大きな勾配が集中する領域を求める。
グループ分類処理部3dは、領域拡張法の開始点をクラスタ(同一グループ)に含まれる点の重心に最も近い点に設定する。
【0041】
画素値勾配のクラスタリング結果には、画素値の高低が混在しているので、領域拡張法によって、観測対象物が存在している領域を推定する。
HDR画像は、接峰面処理によって、画素値を高さ方向に表現すると、観測対象物が存在している領域が凸包形状となるので、開始点から隣接する画素の値を比較し、画素値が設定している閾値以上であれば、当該画素をクラスタに含める処理により、観測対象物が存在している領域を推定する。
しかし、観測対象物が存在している領域の推定においては、クラスタリングの閾値によって、クラスタに含まれる画素の個数が変化する。
クラスタリングの閾値は、観測対象物を示す画素以外の画素と、観測対象物を示す画素との境界値を指すが、地表面の状態により、観測対象物が無い領域の画素値が一定値を示さないため、閾値を決定することができない。
【0042】
そこで、グループ分類処理部3dは、次のようにして、クラスタリングの閾値を最適化する。
図4はクラスタリングの閾値とクラスタに含まれる画素の個数との対応関係を示す説明図である。
図4において、縦軸はクラスタに含まれる画素の個数を示し、横軸はクラスタリングの閾値を示しており、閾値は図中左から右にいくほど減少している。
【0043】
周辺の画素と比較して輝度が高い画素が、観測対象物を示す画素であると推定するため、図4に示すように、閾値を減少させると、クラスタに含まれる画素の個数が増加する。
さらに、閾値を減少させると、観測対象物を示す画素以外の画素も、観測対象物を示す画素とみなされてしまうため、クラスタに含まれる画素の個数が急増する。
グループ分類処理部3dは、クラスタに含まれる画素の個数が急増する直前の閾値を領域拡張法におけるクラスタリングの閾値に設定する。
図4の例では、Aの閾値を用いる場合、観測対象物が存在している領域をクラスタリングできず、Cの閾値を用いる場合、観測対象物以外の範囲をクラスタリングしてしまって、クラスタに含まれる画素の個数が急増しているので、Cの閾値の直前の閾値であるBの閾値をクラスタリングの閾値に設定している。
ここで、閾値Bをクラスタリングすべき閾値として自動的に決定する方式を述べる。
閾値の値を変数(例えばx)とし、閾値xを用いてクラスタリングした結果求まるクラスタの画素数をu(x)とする。差分法からx1,x2の差分商を(u(x2)−u(x1))/(x2−x1)とする。
x1とx2の値の差分をΔxとし、2階差分商を{u(x+2Δx)−2u(x+Δx)+u(x)}/Δx^2とする。
Δxの値を予め一定の値に決め、xの値を変化させて、xに対応した2階差分商を計算して記録する。図4に示す閾値と画素数の場合、x=Bの値において、2階差分商が最小(マイナス値)となる。マイナス値をとる理由は、閾値の値の減少に対して画素数の増加が最大になるためである。このようにして、変曲点Bを求める。
【0044】
グループ分類処理部3dは、クラスタリングの閾値を最適化すると、接峰面処理後のHDR画像を構成している画素の中で、微分オペレータ処理部3cにより算出された画素値の勾配が、最適化している閾値以下である画素が集まっている画素群を一つのグループに分類する。
【0045】
次に、輝度変換対象領域設定部3の輝度変換対象領域設定処理部3eは、グループ分類処理部3dにより分類されたグループに属する画素を含む外接の領域を輝度変換対象領域に設定する処理を実施する。
図5は輝度変換対象領域の設定例を示す説明図である。
図5の例では、点線の部分が輝度変換対象領域に設定されている。
即ち、1つのグループに属する黒の輝度の画素を含む点線の部分(外接長方形)が輝度変換対象領域に設定されている。
ここでは、外接の領域が外接長方形である例を示しているが、外接の領域が外接矩形であっても、外接円であってもよい。また、グループに属する黒の輝度の画素から一定距離にある画素範囲であってもよい。
【0046】
図5において、点線に付加している番号は、説明のために付与したグループの番号である。グループ番号8のグループは、グループ番号2のグループをくりぬいたドーナツ型となる。
図5では、10個のグループに分類しているが、グループ同士の結合処理を行うようにしてもよい。
グループの結合処理は、グループに属する画素の距離が一定値以下であり、かつ、HDR画像から読み込んだグループに属する画素の輝度の平均値と分散値が、一定の差違に収まるグループ同士を同じグループとする処理である。
図5の例では、グループ番号3、グループ番号4、グループ番号5、グループ番号6及びグループ番号7のグループが同一のグループとなることが想定される。
【0047】
輝度変換対象領域設定処理部3eは、上記のようにして、N個の輝度変換対象領域(1)〜(N)を設定すると、その輝度変換対象領域(1)〜(N)内に存在している画素の輝度L(i,j)を輝度変換部4のメモリ4a−1〜4a−Nに格納する。
なお、メモリ4a−1〜4a−Nに格納される画素の輝度L(i,j)は、言うまでもないが、当該画素の輝度を示す情報だけでなく、当該画素が存在している元のHDR画像中の位置(i,j)を示す情報も含まれている。
【0048】
輝度変換部4は、輝度変換対象領域設定部3から輝度変換対象領域(1)〜(N)内に存在している画素の輝度L(i,j)を受けると、輝度変換対象領域設定部3により設定された輝度変換対象領域(1)〜(N)毎に、輝度変換対象領域(n)内に存在しているノイズを除去する。
即ち、輝度変換部4は、輝度変換対象領域(n)内に存在している画素のうち、周辺の画素の輝度と比べて、輝度が所定の閾値より高い画素が集まっている小さな領域をノイズが重畳されている領域であると判定する。
【0049】
ここで、図6は輝度変換対象領域における画素値のヒストグラムの一例を示す説明図である。
輝度変換部4は、画素値の増大に伴って頻度が低下した先で、頻度勾配が平坦となる変曲点を求め、その変曲点における画素値より輝度が高い画素をノイズと推定している。
図6の例では、画素をノイズと推定する閾値を“1935”としている。
以下、このノイズを推定するための閾値を自動的に求める方式を示す。
図6において、横軸は画素値のとりうる範囲を示している。
図6の横軸1目盛りの値が5である場合、画素値が目盛りの値から5以内である画素の個数を縦軸で示し、グラフ上では縦棒(ビンと呼ぶ)で示す。
図4における変曲点の求め方と同様に、図6においても変曲点を求める。
一つのビンの画素値の値を変数(例えばx)とする。図中、横軸メモリ幅が例えば5である場合、画素値x〜x+5の画素数をg(x)とする。
差分法からx1,x2の差分商を(g(x2)−g(x1))/(x2−x1)とする。
x1とx2の値の差分をΔxとすると、差分商は{g(x+Δx)−g(x)}/Δxとなる。
Δxの値を予め一定の値に決め、xの値を変化させて、xに対応した2階差分商を計算して記録する。
Δxの値および、xの値を変化させる差分量をビン幅の整数倍とすると、図6のグラフに示した値のみで、ノイズを推定するための閾値が求められる。Δxの値または、xの値を変化させる差分量をビン幅の整数倍としない場合には、ヒストグラムの再計算が必要となる。
差分商の値が以下の条件を全て満たす画素値x1を境として、高い画素値の画素をノイズとみなす。
条件1 x1<xとなるxに対してg(x)の値が別途定める閾値以下
条件2 x<x1となる画素値を示す画素数が、画像の画素数合計×別途定める割合(閾
値)以上。
条件3 予め定めた差分量Δx2に対して、
x−Δx2 < x < x1 である x における差分商の値が
x1 < x < x+Δx2 である x における差分商の値より小 さくなる区間の中で、差分商が予め定めた閾値以上となるx1の値
【0050】
輝度変換部4は、ノイズが重畳されている領域を推定すると、ローパスフィルタを用いて、そのノイズを除去することで、ノイズと推定する閾値に満たない画素値の変化を視認できるようにする。
輝度変換部4は、ノイズを除去すると、輝度変換対象領域(n)内に存在している画素の輝度を線形輝度圧縮によって、可視範囲(例えば、255階調)内の輝度に変換する処理を実施する。
ここでは、輝度変換部4が線形輝度圧縮によって、画素の輝度を変換するものを示したが、以下のようにして、画素の輝度を変換するようにしてもよい。
【0051】
輝度変換部4の輝度変換処理部4b−1は、メモリ4a−1から輝度変換対象領域設定部3により設定された輝度変換対象領域(1)の画像を読み込み、輝度変換対象領域(1)内に存在している画素の輝度の平均値μ及び分散値σを算出する。
次に、輝度変換処理部4b−1は、その平均値μ及び分散値σから輝度変換範囲S(1)を決定する。
例えば、平均値μを中心にして、平均値μの上下にそれぞれ分散値σの3倍の範囲を輝度変換範囲S(1)に決定する。
S(1)の下限値=μ−3×σ
S(1)の上限値=μ+3×σ
【0052】
次に、輝度変換処理部4b−1は、その輝度変換範囲S(1)を255階調で表現し、輝度変換対象領域(1)内に存在している画素の輝度L(i,j)を輝度変換範囲S(1)内の輝度cL(i,j)に変換する。
cL(i,j)=(L(i,j)−(μ−3×σ))/(6×σ/255)
ただし、輝度cL(i,j)は、上式の右辺の値から小数点を取り除いた値である。
なお、輝度変換対象領域(1)内に存在している画素の輝度が、その輝度変換範囲S(1)の下限値より低い場合、その画素の輝度を“0”に変換し、その輝度変換範囲S(1)の上限値より高い場合、その画素の輝度を“255”に変換する。
【0053】
輝度変換処理部4b−2は、メモリ4a−2から輝度変換対象領域設定部3により設定された輝度変換対象領域(2)の画像を読み込み、輝度変換対象領域(2)内に存在している画素の輝度の平均値μ及び分散値σを算出する。
次に、輝度変換処理部4b−2は、輝度変換処理部4b−1と同様に、その平均値μ及び分散値σから輝度変換範囲S(2)を決定して、その輝度変換範囲S(2)を255階調で表現し、輝度変換対象領域(2)内に存在している画素の輝度L(i,j)を輝度変換範囲S(2)内の輝度cL(i,j)に変換する。
【0054】
輝度変換処理部4b−Nは、メモリ4a−Nから輝度変換対象領域設定部3により設定された輝度変換対象領域(N)の画像を読み込み、輝度変換対象領域(N)内に存在している画素の輝度の平均値μ及び分散値σを算出する。
次に、輝度変換処理部4b−Nは、輝度変換処理部4b−1と同様に、その平均値μ及び分散値σから輝度変換範囲S(N)を決定して、その輝度変換範囲S(N)を255階調で表現し、輝度変換対象領域(N)内に存在している画素の輝度L(i,j)を輝度変換範囲S(N)内の輝度cL(i,j)に変換する。
【0055】
上記のように、輝度変換処理部4b−1〜4b−Nが同様の方法で輝度変換範囲S(1)〜S(N)を決定して、輝度変換対象領域(1)〜(N)内に存在している画素の輝度L(i,j)を輝度変換範囲S(1)〜S(N)内の輝度cL(i,j)に変換しているが、輝度変換対象領域(1)〜(N)における輝度の平均値μ及び分散値σは、輝度変換対象領域毎に異なるので、輝度変換対象領域毎に異なる輝度変換範囲S(1)〜S(N)が決定され、輝度変換範囲S(1)〜S(N)は、当該輝度変換対象領域に適する変換範囲となる。
したがって、輝度変換対象領域(1)〜(N)毎に最適な輝度変換を実現することができる。
【0056】
図7は輝度変換部4の輝度変換結果の一例を示す説明図である。
輝度変換結果は、図7に示すように、それぞれ本来の観測データの詳細ディテールを表現していることがわかる。
輝度変換対象領域(1)の輝度変換後の画像の輝度cL(i,j)は、メモリ4c−1に格納され、輝度変換対象領域(2)の輝度変換後の画像の輝度cL(i,j)は、メモリ4c−2に格納される。
また、輝度変換対象領域(N)の輝度変換後の画像の輝度cL(i,j)は、メモリ4c−Nに格納される。
【0057】
領域合成部5は、メモリ4c−1〜4c−Nにより格納されている輝度変換対象領域(1)〜(N)の輝度変換後の画像を合成して、合成画像を生成する。
即ち、領域合成部5は、変換領域範囲指定部2から変換領域内のHDR画像(例えば、図1の点線で囲まれている領域の画像)を受けると、そのHDR画像を構成している画素の最大輝度をLMAX、最小輝度をLMIN、各画素の表示輝度をL(i,j)×(LMAX−LMIN)/255として、各画素を図示せぬディスプレイに表示する。
次に、領域合成部5は、輝度変換部4のメモリ4c−1〜4c−Nに格納されている輝度変換対象領域(1)〜(N)の輝度変換後の画像を読み込み、ディスプレイに表示している輝度変換対象領域(1)〜(N)の画素の輝度L(i,j)を、輝度変換後の画像の輝度cL(i,j)に置き換える処理を行う。
領域合成部5による輝度変換後の画像は、合成画像として、合成画像格納部6に格納される。
図8は領域合成部5により生成された合成画像の表示例を示す説明図であり、この合成画像は、図示せぬディスプレイに表示される。
【0058】
ここでは、領域合成部5が、変換領域範囲指定部2により設定された変換領域内のHDR画像の中で、輝度変換対象領域(1)〜(N)以外の画像も合成画像に含められているが、輝度変換対象領域(1)〜(N)以外の画像を合成画像に含めずに、輝度変換対象領域(1)〜(N)の画像だけを合成して、合成画像を生成するようにしてもよい。
【0059】
立体表示部7は、領域合成部5が合成画像を合成画像格納部6に格納すると、合成画像格納部6から合成画像を読み込み、図1に示すように、その合成画像を構成している画素の輝度を図示せぬディスプレイに立体的に表示する。
即ち、立体表示部7は、合成画像の画素位置(i,j)における輝度(輝度変換対象領域(1)〜(N)の画像を構成している画素の輝度はcL(i,j)、輝度変換対象領域(1)〜(N)以外の画像を構成している画素の輝度はL(i,j)であるが、ここでは、説明の便宜上、合成画像を構成している全ての画素の輝度をcL(i,j)で表記する)から、3次元座標(a×i,a×j,cL(i,j))となる点を生成する。
ただし、aはユーザにより設定可能な任意の実数である。
【0060】
立体表示部7は、3次元座標(a×i,a×j,cL(i,j))となる点を生成すると、図1に示すように、その点を図示せぬディスプレイに表示する。
図1では、中心の輝度が高い部分を表示している例を示している。ただし、3次元の視点位置は自由に変えられることとする。
なお、立体表示部7による3次元の合成画像と、領域合成部5による2次元の合成画像とを重畳して表示するようにしてもよいし、並べて表示するようにしてもよい。
【0061】
以上で明らかなように、この実施の形態1によれば、HDR画像を構成している画素のうち、隣り合う画素と輝度が近似している画素同士を同一のグループに分類し、同一のグループに属する画素が存在している領域を輝度変換対象領域(1)〜(N)に設定する輝度変換対象領域設定部3と、輝度変換対象領域設定部3により設定された輝度変換対象領域(1)〜(N)毎に、輝度変換対象領域(n)内に存在しているノイズを除去してから、その輝度変換対象領域(n)内に存在している画素の輝度を可視範囲内の輝度cL(i,j)に変換する輝度変換部4とを設け、領域合成部5が輝度変換部4により画素の輝度が変換された輝度変換対象領域(1)〜(N)内の画像を合成して、合成画像を生成するように構成したので、高輝度のノイズがHDR画像に含まれている場合や、様々な観測対象物がHDR画像の中に混在している場合でも、それぞれの観測対象物を分かり易く表示することができる効果を奏する。
【0062】
また、この実施の形態1によれば、変換領域範囲指定部2がHDR画像の中で輝度変換を行う領域の範囲を指定し、その領域内の画像を輝度変換対象領域設定部3に出力するように構成したので、HDR画像の中の可視化が必要な領域(例えば、ユーザが表示を希望する領域)の範囲だけ輝度変換を行うことができるようになり、その結果、HDR画像に含まれる様々なノイズの影響を受けずに、可視化が必要な領域内の観測対象物を分かり易く表示することができる効果を奏する。
【0063】
この実施の形態1によれば、立体表示部7が領域合成部5により生成された合成画像を構成している画素の輝度を立体表示するように構成したので、HDR画像の中に混在している複数の観測対象物の輝度の差異が僅かであっても、複数の観測対象物の形状や状態の差異を容易に視認することができる効果を奏する。
【0064】
また、この実施の形態1によれば、輝度変換対象領域設定部3が、HDR画像を構成している画素の輝度を平滑化する平滑化処理部3aと、平滑化処理部3aにより輝度が平滑化された画素に対する接峰面処理を実施する接峰面処理部3bと、接峰面処理部3bにより接峰面処理が実施された画素に対する微分オペレータ処理を実施することで、接峰面処理後のHDR画像における画素値の勾配を算出する微分オペレータ処理部3cと、接峰面処理後のHDR画像を構成している画素のうち、微分オペレータ処理部3cにより算出された画素値の勾配が閾値以下である画素が集まっている画素群を一つのグループに分類するグループ分類処理部3dと、グループ分類処理部3dにより分類されたグループに属する画素を含む外接の領域を輝度変換対象領域に設定する輝度変換対象領域設定処理部3eとから構成されているので、輝度の特徴が似ている領域毎に、輝度変換を実施することが可能になり、各領域内の観測対象物を分かり易く表示することができる効果を奏する。
【0065】
この実施の形態1によれば、グループ分類処理部3dが一つのグループに分類する処理を実施する前に、微分オペレータ処理部3cにより算出された画素値の勾配と比較する閾値を仮設定して、その閾値を順次減少させながら、一つのグループに属する画素の個数が急増する直前の閾値(最適な閾値)を探索するように構成したので、観測対象物に係る画素群を正確に一つのグループに分類することができる効果を奏する。
【0066】
この実施の形態1によれば、輝度変換部4が、輝度変換対象領域設定部3により設定された輝度変換対象領域(1)〜(N)毎に、当該輝度変換対象領域(n)内に存在しているノイズを除去してから、輝度変換対象領域(n)内に存在している画素の輝度L(i,j)を線形輝度圧縮によって、可視範囲内の輝度cL(i,j)に変換するように構成したので、ノイズと推定する閾値に満たない画素値の変化を視認することができるとともに、輝度変換対象領域(1)〜(N)毎に最適な輝度変換を実現することができる。その結果、輝度変換対象領域(1)〜(N)内の観測対象物を分かり易く表示することができる効果を奏する。
【0067】
この実施の形態1によれば、輝度変換部4が、輝度変換対象領域設定部3により設定された輝度変換対象領域(1)〜(N)毎に、当該輝度変換対象領域(n)内に存在しているノイズを除去してから、当該輝度変換対象領域(n)内に存在している画素の輝度L(i,j)の平均値μ及び分散値σを算出して、その平均値μ及び分散値σから、可視範囲内に於いて輝度変換範囲S(1)〜S(N)を決定し、その平均値μ及び分散値σを用いて、当該輝度変換対象領域(n)内に存在している画素の輝度L(i,j)を輝度変換範囲S(n)内の輝度cL(i,j)に変換するように構成したので、ノイズと推定する閾値に満たない画素値の変化を視認することができるとともに、輝度変換対象領域(1)〜(N)毎に最適な輝度変換を実現することができる。その結果、輝度変換対象領域(1)〜(N)内の観測対象物を分かり易く表示することができる効果を奏する。
【0068】
実施の形態2.
図9はこの発明の実施の形態2による画像表示装置の輝度変換対象領域設定部3の内部を示す構成図である。
図9において、高輝度小領域除去部3fは変換領域範囲指定部2から出力された変換領域内のHDR画像を構成している画素の輝度と予め設定された閾値を比較することで、その閾値より輝度が高い画素が集まっている小領域(画素数が数個の領域)を検出し、その小領域内の画素の輝度を他の輝度(例えば、小領域以外の画素であって、その小領域から最も近い位置に存在している画素の輝度)に置き換える処理を実施する。
【0069】
クラスタリング部3gは高輝度小領域除去部3fによる置換処理後のHDR画像を構成している画素の輝度を順次走査して、隣り合う画素と輝度が近似している画素同士を同一のグループに分類する処理を実施する。
輝度変換対象領域設定処理部3hはクラスタリング部3gにより分類されたグループに属する画素を含む外接の領域(例えば、外接長方形、外接矩形、外接円)を輝度変換対象領域に設定する処理を実施する。
【0070】
上記実施の形態1では、輝度変換対象領域設定部3が平滑化処理部3a、接峰面処理部3b、微分オペレータ処理部3c、グループ分類処理部3d及び輝度変換対象領域設定処理部3eから構成されている例を示したが、これは一例に過ぎず、例えば、図9に示すように、輝度変換対象領域設定部3が高輝度小領域除去部3f、クラスタリング部3g及び輝度変換対象領域設定処理部3hから構成されていてもよい。
以下、輝度変換対象領域設定部3の処理内容を具体的に説明する。
【0071】
輝度変換対象領域設定部3の高輝度小領域除去部3fは、変換領域範囲指定部2から変換領域内のHDR画像を受けると、そのHDR画像を構成している画素の輝度と予め設定された輝度閾値を比較する。
高輝度小領域除去部3fは、輝度閾値より輝度が高い画素を1以上検出すると、それらの画素の距離が予め設定された距離閾値より短ければ、それらの画素をグループ化する。
ここでは、HDR画像を構成している画素の輝度と輝度閾値を比較するものについて示したが、比較対象の画素を中心に含む周辺3×3の画素のうち、比較対象の画素以外の8画素の輝度平均値と中心の画素の輝度を比較するようにしてもよい。
【0072】
次に、高輝度小領域除去部3fは、1つのグループに属している画素の個数が予め設定された個数閾値より少なければ、このグループ(画素数が数個の小領域)をノイズが重畳されている領域(以下、「ノイズグループ」と称する)であると認定する。
高輝度小領域除去部3fは、ノイズグループを認定すると、そのノイズグループに属している画素の輝度を他の輝度に置き換えることで、HDR画像に重畳されているノイズを除去する。
例えば、ノイズグループに属している画素の輝度を、そのノイズグループに属していない画素であって、そのノイズグループから最も近い位置に存在している画素の輝度に置き換える。
【0073】
これにより、変換後の画素の最大輝度をLMAX、最小輝度をLMIN、各画素の表示輝度をL(i,j)×(LMAX−LMIN)/255として、各画素を再表示すれば、図9の高輝度小領域除去結果表示例のように、ノイズが無い画像の表示が可能となる。
ただし、変換後の画素の輝度幅も大きいので、この段階では、全体的に暗い画像になり、視認が困難な部分が現れることがある。
【0074】
クラスタリング部3gは、高輝度小領域除去部3fから置換処理後のHDR画像を受けると、そのHDR画像を構成している画素の輝度を順次走査して、隣り合う画素と輝度が近似している画素同士を同一のグループに分類する処理を実施する。
以下、クラスタリング部3gの処理内容を具体的に説明する。
【0075】
まず、クラスタリング部3gは、図9に示すように、A,B,C,D,Eの位置で、HDR画像を構成している画素の輝度の高低を1次元的で取り出す処理を行う。
図9の例では、A〜Eの順番に走査線を移動しながら、輝度の高低を取り出す際、A〜Eにおける走査線の方向を縦方向にしているが、走査線の方向は縦方向に限るものではなく、横方向であっても、斜め方向であってもよい。
また、走査線の方向は、ユーザが任意に指定するようにしてもよいし、自動的に走査線の方向が決定されるようにしてもよい。
なお、A〜Eの順番に走査線を移動するが、図9のように、一部分だけではなく、変換領域範囲指定部2から出力された変換領域内のHDR画像の全域に亘って移動するようにしてもよい。
【0076】
ここで、図10は図9の注目範囲における画素の輝度を示す説明図である。
図10に示すように、Aの走査線では、画素の輝度が一様に低く、注目範囲における画素の輝度も低い値になっている。
B,C,Dの走査線では、注目範囲における画素の輝度が高い値になっており、Eの走査線では、注目範囲における画素の輝度が低い値になっている。
【0077】
クラスタリング部3gは、B,C,Dの走査線における注目範囲の高輝度部分をグループ化する。
即ち、クラスタリング部3gは、注目範囲において、低輝度となるAの走査線とEの走査線に囲まれている範囲を抽出し、その範囲を1つのグループに設定する。
高輝度、低輝度の判定は、予め一定の閾値を設定することで判断する。または、走査線上の画素の輝度値の平均値と分散値を求めて、平均値から分散値の一定倍数以上の輝度を高輝度と判断し、分散値の一定倍数以下の輝度を低輝度と判断するようにしてもよい。
または、走査方向及び走査方向と直交する方向に隣接している画素同士の輝度差異が、予め定めている閾値以下の場合に同じグループとする方式でもよい。この場合、クラスタリング部3gにおいて、上下左右に隣り合う画素と輝度が近似していない画素は、どこのグループにも属さないと判定する。グループに属さない画素の連結成分の外周にあたる画素位置を境界点として設定する。
【0078】
または、走査方向及び走査方向と直交する方向に隣接している画素同士の輝度差異が、予め定めている閾値(以下、「kido」と表現する)以下の場合に同じグループとする方式において、グループに属する画素の数が、予め定めた閾値(以下、この閾値を「gasonum」と表現することとし、ノイズ領域と判定する閾値より多い個数とする)に満たない場合は、そのグループへの分類を止めるものとする。このとき、kidoとgasonumの値を予め定めた範囲内で変化させて、各kido値、gasonum値におけるクラスタリング処理を実施する。これにより得られる各グループに属する画素数と、グループに属さない画素の固まりの画素数を求める。
kidoの変化により、電波の反射特性の変化が一定範囲内の領域をグループ化することができる。
gasonum値を固定し、kido値を増加させるクラスタリングを実施し、グループ数と各グループに属する画素数の増減の変化量が小さくなるgasonum値及びkido値を用いてクラスタリングすると、反射強度の強弱による過度なグループ分けがなされない。
【0079】
輝度変換対象領域設定処理部3hは、クラスタリング部3gにより分類されたグループに属する画素を含む外接の領域(例えば、外接長方形、外接矩形、外接円)を輝度変換対象領域に設定する。
図11は輝度変換対象領域の設定例を示す説明図である。
図11の例では、点線の部分が輝度変換対象領域に設定されている。
即ち、1つのグループに属する画素を含む点線の部分(外接長方形)が輝度変換対象領域に設定されている。
グループ番号2のグループは、外側の枠の中のパイプ状の線が含まれているが、輝度を取り出す直線は、外側の枠を通過するまでは平らとならず、内包した形状でグループ化されている。
【0080】
輝度変換対象領域設定処理部3hは、N個の輝度変換対象領域(1)〜(N)を設定すると、その輝度変換対象領域(1)〜(N)内に存在している画素の輝度L(i,j)を輝度変換部4のメモリ4a−1〜4a−Nに格納する。
なお、メモリ4a−1〜4a−Nに格納される画素の輝度L(i,j)は、言うまでもないが、当該画素の輝度を示す情報だけでなく、当該画素が存在している元のHDR画像中の位置(i,j)を示す情報も含まれている。
さらに、輝度変換部4の処理として、境界点の画素を予め定めた色に設定する処理を行う。
【0081】
以上で明らかなように、輝度変換対象領域設定部3が高輝度小領域除去部3f、クラスタリング部3g及び輝度変換対象領域設定処理部3hから構成されている場合でも、上記実施の形態1と同様に、輝度の特徴が似ている領域毎に、輝度変換を実施することが可能になり、各領域内の観測対象物を分かり易く表示することができる効果を奏する。
この実施の形態2によれば、高輝度小領域除去部3fが、ノイズ領域を判定して、ノイズに相当する画素を周辺の画素と同じ色に置き換え、クラスタリング部3gが、隣り合う画素で輝度変化の増減の多い部分を非グループとして、その周辺の境界点を検出し、輝度変換部4において、境界点の画素を特定の色に設定する。これにより、例えば、草原の中に、電波をよく反射する小さな鉄骨構造物がある場合に、この部分だけ画素の輝度変化が大きいので、この部分の周辺だけ特定色で分かり易く表示することができる効果を奏する。
また、クラスタリング部3gが、クラスタリングに必要な変数を自動的に決定することができるので、操作員のスキルに関係なく、輝度変換を行うことが可能である。
【0082】
実施の形態3.
図12はこの発明の実施の形態3による画像表示装置の輝度変換対象領域設定部3の内部を示す構成図であり、図において、図9と同一符号は同一又は相当部分を示すので説明を省略する。
クラスタリング部3iは高輝度小領域除去部3fによる置換処理後のHDR画像における指定点を中心にしてヒストグラムを描き、そのヒストグラムの勾配がフラットになる点で囲まれる区間(指定点を中心に含む区間)を1つのグループに設定する処理を実施する。
【0083】
上記実施の形態1では、輝度変換対象領域設定部3が平滑化処理部3a、接峰面処理部3b、微分オペレータ処理部3c、グループ分類処理部3d及び輝度変換対象領域設定処理部3eから構成されている例を示したが、これは一例に過ぎず、例えば、図12に示すように、輝度変換対象領域設定部3が高輝度小領域除去部3f、クラスタリング部3i及び輝度変換対象領域設定処理部3hから構成されていてもよい。
以下、輝度変換対象領域設定部3の処理内容を具体的に説明する。
【0084】
輝度変換対象領域設定部3の高輝度小領域除去部3fは、上記実施の形態2と同様に、ノイズグループを認定し、そのノイズグループに属している画素の輝度を他の輝度に置き換えることで、HDR画像に重畳されているノイズを除去する。
【0085】
クラスタリング部3iは、高輝度小領域除去部3fから置換処理後のHDR画像を受けると、そのHDR画像における指定点を中心にしてヒストグラムを描画する。
図12の例では、指定点として、点Aと点Bが指定されている。
指定点は、ユーザが任意に指定するようにしてもよいし、一定間隔で決定するようにしてもよいし、乱数で位置を決めてもよい。
ヒストグラムは、図13に示すように、HDR画像における指定点を中心にして、横軸に指定点の画素からの距離、縦軸に輝度をとることで描画する。ヒストグラムは、指定点から遠ざかるにしたがって勾配が低くなる。
図13の例では、方向Sと方向Tの距離を示している。方向Sと方向Tは直交する方向である。
また、図13の例では、方向Sと方向Tの2方向の距離を示しているが、3方向以上の距離を示すようにしてもよい。
【0086】
クラスタリング部3iは、ヒストグラムを描画すると、そのヒストグラムの勾配がフラットになる方向Sの点と方向Tの点とを特定し、方向Sの点と方向Tの点に囲まれる区間(指定点を中心に含む区間)を1つのグループに設定する。
ただし、同じ点を含むグループが複数設定される場合には、なるべく包含する方のグループを残して、包含される方のグループを消すようにする。
【0087】
輝度変換対象領域設定処理部3hは、クラスタリング部3iがグループを設定すると、上記実施の形態2と同様に、そのグループに属する画素を含む外接の領域(例えば、外接長方形、外接矩形、外接円)を輝度変換対象領域に設定する。
輝度変換対象領域設定処理部3hは、N個の輝度変換対象領域(1)〜(N)を設定すると、その輝度変換対象領域(1)〜(N)内に存在している画素の輝度L(i,j)を輝度変換部4のメモリ4a−1〜4a−Nに格納する。
なお、メモリ4a−1〜4a−Nに格納される画素の輝度L(i,j)は、言うまでもないが、当該画素の輝度を示す情報だけでなく、当該画素が存在している元のHDR画像中の位置(i,j)を示す情報も含まれている。
【0088】
以上で明らかなように、輝度変換対象領域設定部3が高輝度小領域除去部3f、クラスタリング部3i及び輝度変換対象領域設定処理部3hから構成されている場合でも、上記実施の形態1と同様に、輝度の特徴が似ている領域毎に、輝度変換を実施することが可能になり、各領域内の観測対象物を分かり易く表示することができる効果を奏する。
【0089】
実施の形態4.
上記実施の形態1では、輝度変換部4が、輝度変換対象領域設定部3により設定された輝度変換対象領域(1)〜(N)毎に、輝度変換対象領域(n)内に存在しているノイズを除去してから、輝度変換対象領域(n)内に存在している画素の輝度L(i,j)を線形輝度圧縮によって、輝度変換範囲S(n)内の輝度cL(i,j)に変換するものについて示したが、輝度変換対象領域(n)内に存在している画素の輝度L(i,j)の偏りを考慮して、画素の輝度L(i,j)を変換するようにしてもよい。
具体的には、以下の通りである。
【0090】
図14は輝度変換部4による輝度変換処理を示す説明図である。
図14では、点線範囲内のヒストグラムの輝度に対する点数を示しており、輝度変換部4が表示範囲と注目輝度範囲を決定する。
例えば、注目輝度範囲は、図14に示すように、ピーク(極大)の極大点を含み、ヒストグラムの勾配がなだらかになるまでの左右の範囲に決定する。
【0091】
表示範囲の決定方法としては、下記の4通りが考えられ、輝度変換部4がいずれかの決定方法にしたがって表示範囲を決定する。
(1)表示範囲を一定閾値以下に設定する方法
(2)輝度が低い画素から全体の画素数の90パーセントまでの範囲の画素を表示範囲に
設定する方法
(3)高輝度小領域除去部3fによる置換処理後のHDR画像の全域の画素を表示範囲に
設定する方法
(4)図14の左側のヒストグラムのように極大点を含み、左右に等画素数となるような
輝度範囲であり、かつ、輝度範囲の中の画素数が輝度変換対象領域の画素数の1/
3となる範囲を表示範囲に設定する方法
【0092】
輝度変換部4は、表示範囲と注目輝度範囲を決定すると、図14の右側のヒストグラムのように、255階調のうち、注目輝度範囲を中心の85階調(85〜169までの階調)に変換し、注目輝度範囲より小さい輝度を0〜84までの階調に変換する。また、注目輝度範囲より大きい輝度を170〜254までの階調に変換する。
【0093】
以上で明らかなように、輝度変換部4が輝度変換対象領域(n)内に存在している画素の輝度L(i,j)の偏りを考慮して、画素の輝度L(i,j)を変換するようにしても、上記実施の形態1と同様に、輝度変換対象領域(1)〜(N)毎に最適な輝度変換を実現することができるようになり、輝度変換対象領域(1)〜(N)内の観測対象物を分かり易く表示することができる効果を奏する。
【0094】
実施の形態5.
上記実施の形態1では、領域合成部5が、輝度変換部4のメモリ4c−1〜4c−Nに格納されている輝度変換対象領域(1)〜(N)の輝度変換後の画像を読み込み、ディスプレイに表示している輝度変換対象領域(1)〜(N)の画素の輝度L(i,j)を、輝度変換後の画像の輝度cL(i,j)に置き換えるものについて示したが、領域合成部5が輝度変換後の画像の輝度cL(i,j)に置き換える際、N個の輝度変換対象領域(1)〜(N)内の平均輝度Laveを算出し、その平均輝度Laveに応じて輝度変換部4により変換された輝度cL(i,j)の階調をシフトするようにしてもよい。
具体的には、以下の通りである。
【0095】
ここでは、説明の便宜上、3個の輝度変換対象領域(1)〜(3)が設定されているものとする。
領域合成部5は、輝度変換対象領域(1)の画像を読み込み、その画像を構成している画素の平均輝度Lave1を算出する。
また、同様にして、領域合成部5は、輝度変換対象領域(2),(3)の画像を構成している画素の平均輝度Lave2,Lave3を算出する。
【0096】
領域合成部5は、輝度変換対象領域(1)〜(3)内の平均輝度Lave1,Lave2,Lave3を算出すると、これらの平均輝度を相互に比較して、明るさの順位を判別する。
ここでは、説明の便宜上、輝度変換対象領域(2)内の平均輝度Lave2が最も明るく、次に輝度変換対象領域(1)内の平均輝度Lave1が明るく、輝度変換対象領域(3)内の平均輝度Lave3が最も暗いものとする。
ave2>Lave1>Lave3
【0097】
領域合成部5は、明るさの順位を判別すると、3個の輝度変換対象領域(1)〜(3)内の輝度変換後の画像(255階調の画像)を80%の階調(ただし、整数)にシフトする。
即ち、最も明るい輝度変換対象領域(2)内の輝度変換後の画像については、0.2×255〜1.0×255階調にシフトする。
次に明るい輝度変換対象領域(1)内の輝度変換後の画像については、0.1×255〜0.9×255階調にシフトする。
最も暗い輝度変換対象領域(3)内の輝度変換後の画像については、0×255〜0.8階調にシフトする。
ただし、輝度は、整数になるように値を丸めるものとする。
【0098】
領域合成部5は、輝度変換対象領域(1)〜(3)内の平均輝度Laveに応じて輝度変換部4により変換された輝度cL(i,j)の階調をシフトすると、ディスプレイに表示している輝度変換対象領域(1)〜(N)の画素の輝度L(i,j)を、階調シフト後の輝度cL(i,j)に置き換える。
【0099】
以上で明らかなように、この実施の形態5によれば、輝度変換対象領域設定部3により設定された輝度変換対象領域が複数存在する場合、複数の輝度変換対象領域内の平均輝度Laveを算出し、その平均輝度Laveに応じて輝度変換部4により変換された輝度cL(i,j)の階調をシフトするように構成したので、複数の輝度変換対象領域内の観測対象物を容易に見分けることができる効果を奏する。
【符号の説明】
【0100】
1 HDR画像格納部、2 変換領域範囲指定部(変換領域範囲指定手段)、3 輝度変換対象領域設定部(輝度変換対象領域設定手段)、3a 平滑化処理部、3b 接峰面処理部、3c 微分オペレータ処理部、3d グループ分類処理部、3e 輝度変換対象領域設定処理部、3f 高輝度小領域除去部、3g クラスタリング部、3h 輝度変換対象領域設定処理部、3i クラスタリング部、4 輝度変換部(輝度変換手段)、4a−1〜4a−N メモリ、4b−1〜4b−N 輝度変換処理部、4c−1〜4c−N メモリ、5 領域合成部(領域合成手段)、6 合成画像格納部、7 立体表示部(立体表示手段)。

【特許請求の範囲】
【請求項1】
可視範囲を超える輝度階調を有する画像を構成している画素のうち、隣り合う画素と輝度が近似している画素同士を同一のグループに分類し、同一のグループに属する画素が存在している領域を輝度変換対象領域に設定する輝度変換対象領域設定手段と、上記輝度変換対象領域設定手段により設定された輝度変換対象領域毎に、当該輝度変換対象領域内に存在しているノイズを除去してから、当該輝度変換対象領域内に存在している画素の輝度を可視範囲内の輝度に変換する輝度変換手段と、上記輝度変換手段により画素の輝度が変換された1以上の輝度変換対象領域の画像を合成して、合成画像を生成する領域合成手段とを備えた画像表示装置。
【請求項2】
可視範囲を超える輝度階調を有する画像の中で輝度変換を行う領域の範囲を指定し、上記領域内の画像を輝度変換対象領域設定手段に出力する変換領域範囲指定手段を設けたことを特徴とする請求項1記載の画像表示装置。
【請求項3】
領域合成手段により生成された合成画像を構成している画素の輝度を立体表示する立体表示手段を設けたことを特徴とする請求項1または請求項2記載の画像表示装置。
【請求項4】
輝度変換対象領域設定手段は、可視範囲を超える輝度階調を有する画像を構成している画素に対する接峰面処理を実施する接峰面処理部と、
上記接峰面処理部により接峰面処理が実施された画素に対する微分オペレータ処理を実施することで、接峰面処理後の画像における画素値の勾配を算出する微分オペレータ処理部と、
上記画像を構成している画素のうち、上記微分オペレータ処理部により算出された画素値の勾配が閾値以下である画素が集まっている画素群を一つのグループに分類するグループ分類処理部と、
上記グループ分類処理部により分類されたグループに属する画素を含む外接の領域を輝度変換対象領域に設定する輝度変換対象領域設定処理部と
から構成されていることを特徴とする請求項1から請求項3のうちのいずれか1項記載の画像表示装置。
【請求項5】
グループ分類処理部は、微分オペレータ処理部により算出された画素値の勾配と比較する閾値を仮設定して、上記閾値を順次減少させながら、一つのグループに属する画素の個数が急増する直前の閾値を探索し、上記微分オペレータ処理部により算出された画素値の勾配が上記閾値以下である画素が集まっている画素群を一つのグループに分類することを特徴とする請求項4記載の画像表示装置。
【請求項6】
輝度変換手段は、輝度変換対象領域内に存在している画素のうち、周辺の画素の輝度と比べて、輝度が所定値以上高い画素をノイズと判定し、ローパスフィルタを用いて、上記ノイズを除去することを特徴とする請求項1から請求項5のうちのいずれか1項記載の画像表示装置。
【請求項7】
輝度変換手段は、輝度変換対象領域内に存在しているノイズを除去したのち、当該輝度変換対象領域内に存在している画素の輝度を線形輝度圧縮によって上記輝度変換範囲内の輝度に変換することを特徴とする請求項6記載の画像表示装置。
【請求項8】
輝度変換手段は、輝度変換対象領域内に存在しているノイズを除去したのち、当該輝度変換対象領域内に存在している画素の輝度の平均値及び分散値を算出して、上記平均値及び分散値から、可視範囲内に於いて輝度変換範囲を決定し、上記平均値及び分散値を用いて、当該輝度変換対象領域内に存在している画素の輝度を上記輝度変換範囲内の輝度に変換することを特徴とする請求項6記載の画像表示装置。
【請求項9】
領域合成手段は、可視範囲を超える輝度階調を有する画像を構成している画素の輝度のうち、輝度変換対象領域設定手段により設定された輝度変換対象領域内に存在している画素の輝度を、輝度変換手段により変換された輝度に置き換えることを特徴とする請求項1から請求項8のうちのいずれか1項記載の画像表示装置。
【請求項10】
領域合成手段は、輝度変換対象領域設定手段により設定された輝度変換対象領域が複数存在する場合、複数の輝度変換対象領域内の平均輝度をそれぞれ算出し、上記平均輝度に応じて輝度変換手段により変換された輝度の階調をシフトすることを特徴とする請求項9記載の画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2012−14628(P2012−14628A)
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願番号】特願2010−153093(P2010−153093)
【出願日】平成22年7月5日(2010.7.5)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】