表面状態観測装置およびその方法
【課題】簡易かつ低コストな構成で、高精度に表面状態を観測する。
【解決手段】入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも3つ以上のバンドパスフィルタ5をそれぞれ相関演算し、分光画像を生成する分光画像生成部32と、分光画像生成部32により生成された各分光画像をグレースケール化するグレースケール処理部33と、グレースケール処理部33によりグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出部41とを備えた。
【解決手段】入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも3つ以上のバンドパスフィルタ5をそれぞれ相関演算し、分光画像を生成する分光画像生成部32と、分光画像生成部32により生成された各分光画像をグレースケール化するグレースケール処理部33と、グレースケール処理部33によりグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出部41とを備えた。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、観測領域を撮像した画像を用いて、当該観測領域の表面状態を観測する表面状態観測装置およびその方法に関するものである。
【背景技術】
【0002】
従来から、浄水場や河川、湖沼等の水面に存在する油膜を検知する油膜検知装置が知られている(例えば特許文献1〜4参照)。これらの油膜検知装置では、水面上に存在する油膜に外光が照射された際に、油膜表面での反射光と水面での反射光が分光干渉することに着目して、油膜検知を行っている。
【0003】
具体的には、特許文献1,2に開示される方式では、波長選択型カメラ装置を用いて、観測領域(水面)を短波長域(Blue)と長波長域(Red)で撮像することで分光画像を生成している。そして、生成した短波長域と長波長域の画像信号を差分して、油膜領域のコントラストを高くした画像を生成している。また、この分光画像を生成する波長選択型カメラ装置の構成として、回転盤とシャッタを用いて光学フィルタをサイクリックに切り替えるもの、液晶波長可変フィルタ等の透過波長を制御可能なバンドパスフィルタを用いたもの、プリズムと2波長の光学フィルタを用いたものが示されている。
また、特許文献3,4に開示される方式では、反射光の分光干渉によって生じる虹色パターンを検知することで、油膜検知を行っている。この際、この虹色パターンの発生に伴う、米国EIA規格の色度図上でのカラーデータの分布変化に基づき油膜検知を行っている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第3930164号公報
【特許文献2】特許第3772016号公報
【特許文献3】特開2007−147448号公報
【特許文献4】特開2009−063398号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1,2に開示される方式では、回転盤等の機械的構造物、液晶波長可変フィルタ、プリズムおよび2波長の光学フィルタ等のように一般的でない構成要素を使用しており、高額で扱いにくいという課題があった。また、特許文献1,2は、画像上の油膜領域のコントラストを高めることを目的としたものであるが、油膜とコントラストとの関係性が明確でないという課題があった。
また、特許文献3,4に開示される方式では、油膜の反射光によって生じる虹色パターンに伴う、色度図上でのカラーデータの分布変化を油膜検知の要としているため、油膜の存在と虹色パターンとの関連が一義的でなく、虹色パターンの検知だけでは油膜の特定に充分ではないという課題があった。
【0006】
この発明は、上記のような課題を解決するためになされたもので、簡易かつ低コストな構成で、高精度に表面状態を観測することが可能な表面状態観測装置およびその方法を提供することを目的としている。
【課題を解決するための手段】
【0007】
この発明に係る表面状態観測装置は、入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも3つ以上のバンドパスフィルタをそれぞれ相関演算し、分光画像を生成する分光画像生成部と、分光画像生成部により生成された各分光画像をグレースケール化するグレースケール処理部と、グレースケール処理部によりグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出部とを備えたものである。
【発明の効果】
【0008】
この発明によれば、上記のように構成したので、観測領域を撮像した画像に対して、仮想のバンドパスフィルタを用いて、所定波長に対応した複数の分光画像を生成することができるため、液晶波長可変フィルタ等の高額な光学部品を用いることなく、簡易かつ低コストな構成で、観測領域の表面状態を高精度に観測することができる。
【図面の簡単な説明】
【0009】
【図1】水面に存在する油膜による分光干渉を説明する図である。
【図2】図1に示す反射光のスペクトラム特性を示す図である。
【図3】この発明の実施の形態1に係る表面状態観測システムの構成を示すブロック図である。
【図4】この発明の実施の形態1におけるNBIフィルタの色コードを示す図である。
【図5】純粋なRGBの色コードを示す図である。
【図6】この発明の実施の形態1における乗算器による分光画像の生成を説明する図である。
【図7】この発明の実施の形態1に係る表面状態観測システムの観測動作を示すフローチャートである。
【図8】この発明の実施の形態1に係る表面状態観測システムの観測動作を説明する図であり、(a)各波長に対応したNBIフィルタであり、(b)各波長に対応した分光画像であり、(c)隣接波長間での差分画像である。
【図9】この発明の実施の形態1における閾値の変化に伴う2値化画像の変化を示す図である。
【図10】この発明の実施の形態1における撮像画像、総和差分画像および2値化画像を示す図である。
【図11】NBIフィルタとして純粋なRGB色コード画像を用いた場合(λ1,λ3,λ7をRGB色コード画像とした場合)での観測動作を説明する図であり、(a)各波長に対応したNBIフィルタであり、(b)各波長に対応した分光画像であり、(c)隣接波長間での差分画像である。
【発明を実施するための形態】
【0010】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
以下では、表面状態観測システムを用いて、浄水場や河川、湖沼等の水面上に存在する油膜を検知する場合について説明する。
【0011】
まず、水面上に存在する油膜による分光干渉について説明する。
図1に示すように、水面(N2)上に屈折率が異なる油膜(N1)が存在する場合に、光源からの連続スペクトラム光や太陽光等の外光が油膜に照射されると、この光の一部が油膜表面で反射し(図1の反射光A)、一部は屈折して透過する。また、油膜を透過した光の一部は水面で反射する(図1の反射光B)。そして、油膜表面で反射された光と水面で反射された光とが油膜の膜厚に応じた位相差で干渉する。
【0012】
この反射光のスペクトラム特性は例えば図2に示すようになる。なお図2では、油膜の膜厚をd=2μmとし、外光の入射角をθ=10°とした場合の450〜650nmの波長範囲内での反射率と反射率波長差分を示している。反射率波長差分は、隣接波長間での反射率を差分して反射率変化を示したものである。
図2に示すように、反射光は反射率6%程度で波打っている。すなわち、特定の波長では、油膜表面からの反射光と水面からの反射光が強め合うように作用し、また別の波長では油膜表面からの反射光と水面からの反射光が弱め合うように作用する分光干渉が生じている。このように、水面上に油膜が存在しない場合には、反射光の干渉はないため反射率は全波長範囲で一定であるが、油膜が存在する場合には、油膜の膜厚に応じた位相差で反射光が分光干渉するため、反射率は波長により変化する。
【0013】
そこで、実施の形態1に係る表面状態観測システムでは、観測領域(水面)を撮像した画像に対して、2次元の分光器を用いることで、所定波長に対応した分光画像を複数生成する。そして、各分光画像の輝度を隣接波長間で差分して、輝度変化(図2の反射率変化に相当)を検出することで表面状態観測(油膜検知)を行う。
なお、2次元の分光器は、液晶波長可変フィルタのようなデバイスで実現できる。しかしながら、このデバイスは、開発途上のデバイスであり価格も高価な上、付帯する制御装置が必要になる。そこで実施の形態1に係る表面状態観測システムでは、このような扱いにくいデバイスは使用せず、撮像画像と、空間情報を持たない、所定波長の分光特性に対応した色コードの無地画像からなるバンドパスフィルタ(NBIフィルタ5)とを用いて、2次元の分光器を実現する。
【0014】
次に、表面状態観測システムの構成について説明する。
表面状態観測システムは、図3に示すように、カラーカメラ1、および、分光エンジン3と干渉位相差検出部4とを有する表面状態観測装置2から構成されている。
カラーカメラ1は、観測領域(水面)を撮像するものである。このカラーカメラ1は、レンズ11、RGBフィルタ12、CCD(Charge Coupled Device)13およびUSB(Universal Serial Bus)インタフェース14から構成されている。なおカラーカメラ1は、RGBの3つの分解能を有する一般的なカメラであり、携帯電話に内蔵されたカメラを用いてもよい。
【0015】
レンズ11は、外光に対する観測領域からの反射光を集光するものである。
RGBフィルタ12は、R(赤),G(緑),B(青)の3色のマイクロカラーフィルタであり、レンズ11により集光された光をRGB成分の光に分離するものである。
【0016】
CCD13は、RGBフィルタ12によりRGB成分に分離された光を受光し、電気信号(アナログ画像)に変換するものである。
USBインタフェース14は、CCD13により変換されたアナログ画像をデジタル画像に変換し、分光エンジン3の後述する各波長別輝度調整部31にそれぞれ出力するものである。
【0017】
分光エンジン3は、カラーカメラ1により撮像された画像を所定波長に対応した分光画像に変換するものである。この分光エンジン3は、波長別輝度調整部31、乗算器(分光画像生成部)32、グレースケール処理部33および分光感度等価器34から構成されている。なお図3では、分光エンジン3の各機能部を波長ごと個々に設けて、個々に処理する場合について示しているが、全ての波長に対してまとめて処理を行ってもよい。
【0018】
また、分光エンジン3では、カラーカメラ1からの撮像画像を所定波長に対応した分光画像に変換するため、NBI(Narrow Band Imaging)フィルタ5を用いる。このNBIフィルタ5は、空間情報を持たない、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなるバンドパスフィルタ(仮想のバンドパスフィルタ)である。このNBIフィルタ5は、表面観測に用いる分光画像の数に応じて少なくとも3つ以上設けられ(図1では波長λ1〜λ7それぞれに対応したNBIフィルタ5が設けられている)、図4に示す色コードで構成されている。なお図4に示す色コードは、RGB(赤、緑、青)成分をそれぞれ8bit,255階調で表現したものである。また、NBIフィルタ5として、純粋なRGBの色コード(図5参照)は用いない。
例えば、波長λ1を赤(610〜750nm)、波長λ4を緑(500〜560nm)、波長λ7を青(435〜480nm)とした場合、λ2とλ3は、λ1よりも短波長であり、かつ、λ4より長波長の帯域から選択される。また、λ3はλ2よりも短い波長域から選択される。λ5とλ6も同様であり、λ1からλ7の波長の長さは、λ1>λ2>λ3・・・λ6>λ7とされる。そして、λ1に対応する色コードとしてRGB(234,62,66)が、λ4に対応する色コードとしてRGB(67,235,63)が、λ7に対応する色コードとしてRGB(76,72,219)が設定される。
【0019】
波長別輝度調整部31は、カラーカメラ1からの撮像画像に対して輝度調整を行うものである。
乗算器32は、波長別輝度調整部31により輝度調整された撮像画像に対して、対応するNBIフィルタ5を用いて相関演算を行い、分光画像を生成するものである。この際、乗算器32は、図6に示すように、まず、撮像画像とNBIフィルタ5とをそれぞれRGB成分で分割する。そして、このRGB成分それぞれの色ベクトル画像同士で乗算を行い、その乗算結果を再合成することで分光画像を生成する。
【0020】
グレースケール処理部33は、乗算器32により生成された分光画像をグレースケール化して輝度信号に変換するものである。この際、グレースケール処理部33は、図6に示すように、分光画像に対して色ベクトル画像のノルム(√(R2+G2+B2))を演算することで輝度信号に変換した分光画像(白黒画像)を生成する。
分光感度等価器34は、グレースケール処理部33によりグレースケール化された分光画像の感度を一定に調整するものである。
【0021】
干渉位相差検出部4は、分光エンジン3により生成された各分光画像の輝度を隣接波長間で差分し、輝度変化を検出することで、表面状態観測(油膜検知)が可能な画像を生成するものである。この干渉位相差検出部4は、波長差分算出部41、総和算出部42および2値化処理部43から構成されている。
【0022】
波長差分算出部41は、分光エンジン3からの各分光画像の輝度を隣接波長間で差分し、差分画像を生成するものである。この際、波長差分算出部41は、隣接波長の各分光画像の輝度をそれぞれIλH,IλLとした場合に、
差分=|IλH−IλL|/(IλH+IλL)
を用いて輝度の均一化を図ったうえで、輝度差分を行う。
なお図3では、波長差分算出部41を、隣接波長間ごとに個々に設けて、個々に処理を行う場合について示しているが、全ての隣接波長に対してまとめて処理を行ってもよい。
【0023】
総和算出部42は、各波長差分算出部41により生成された差分画像の輝度を総和し、総和差分画像を生成するものである。
2値化処理部43は、総和算出部42により生成された総和差分画像の輝度を所定閾値で2値化し、2値化画像を生成するものである。この2値化処理部43により生成された2値化画像はディスプレイ(不図示)上に表示される。
【0024】
次に、上記のように構成された表面状態観測システムの観測動作について説明する。
表面状態観測システムの観測動作では、図7に示すように、まず、カラーカメラ1が、観測領域(水面)を撮像する(ステップST1)。すなわち、カラーカメラ1は、レンズ11で集光した観測領域からの反射光を、RGBフィルタ12でRGB成分の光に分離する。そして、RGB成分に分離した光をCCD13で受光し、USBインタフェース14でデジタル画像に変換し分光エンジン3に出力する。
【0025】
次いで、分光エンジン3の各波長別輝度調整部31が、カラーカメラ1からの撮像画像に対して輝度調整を行う(ステップST2)。次いで、各乗算器32が、波長別輝度調整部31により輝度調整された撮像画像に対して、対応するNBIフィルタ5を用いて相関演算を行い、分光画像を生成する(ステップST3,分光画像生成ステップ)。
これにより、表面状態観測システムで用いられている光学フィルタは、RGBの3つの分解能のみを有するRGBフィルタ12だけであるのにも関わらず、図8(a)に示す各波長(λ1〜λ7)に対応した仮想のバンドパスフィルタ(NBIフィルタ5)を用いることで、図8(b)に示すような各波長に対応した分光画像を得ることができる。
【0026】
次いで、各グレースケール処理部33が、乗算器32により生成された分光画像をグレースケール化する(ステップST4,グレースケール処理ステップ)。次いで、各分光感度等価器34が、グレースケール処理部33によりグレースケール化された分光画像の感度を一定に調整する(ステップST5)。
【0027】
次いで、各波長差分算出部41が、分光感度等価器34により感度調整された、対応する隣接波長の分光画像の輝度を差分し、差分画像を生成する(ステップST6,波長差分算出ステップ)。この際、輝度の均一化を図ったうえで輝度差分を行う。
これにより、図8(c)に示すような、隣接波長間での輝度変化の度合いを示す分光画像を得ることができる。なお図8(c)に示す差分画像において、白く表示されている部分が輝度変化が大きい領域である。ここで、図8(c)の例では、左端の差分画像(λ1−λ2)、右から3番目の差分画像(λ4−λ5)、右端の差分画像(λ6−λ7)で輝度変化が大きくなっていることが分かる。
【0028】
この差分画像に示される輝度変化は図2での反射率変化に対応する。すなわち、水面上に油膜が存在しない場合には、反射光の干渉はないため反射率は全波長範囲で一定であり、輝度変化を有する差分画像はない。一方、油膜が存在する場合には、油膜の膜厚に応じた位相差で反射光が分光干渉するため、反射率は波長により変化し、輝度変化を有する差分画像が発生する。よって、この各波長差分算出部41で生成された差分画像を監視することで油膜の存在を検知することができる。
しかしながら、各波長差分算出部41で差分画像を算出しただけでは、どの差分画像に輝度変化が生じているかを特定することが難しく、輝度変化を有する差分画像があるかを1枚ずつ確認しなければならない。
【0029】
そこで、総和算出部42が、各波長差分算出部41により生成された差分画像の輝度を総和し、総和差分画像を生成する(ステップST7,総和算出ステップ)。次いで、2値化処理部43が、総和算出部42により生成された総和差分画像の輝度を所定閾値で2値化し、2値化画像を生成する(ステップST8,2値化処理ステップ)。この2値化処理部43により生成された2値化画像はディスプレイ上に表示される。
このように、各差分画像の輝度を総和した画像を生成して所定閾値で2値化することで、図9に示すように、輝度変化が生じているかを一目で判断することが可能となる。なお図9では、閾値の変化に伴う2値化画像の変化を示している。
【0030】
ここで、図10(a)に示すように、単にカラーカメラ1を用いて水面を撮像しただけでは、水面に存在する油膜を視認することは難しい。しかしながら、所定波長に対応したNBIフィルタ5を用いて、撮像画像を所定波長に対応した分光画像に変換し、隣接波長間での輝度変化を検出することで、図10(b),(c)に示すように、水面に存在する油膜を容易に視認することが可能となる。
【0031】
なお、NBIフィルタ5として、図5に示す純粋なRGBの色コードを用いた場合(例えば波長λ1,λ3,λ7をRGBの色コード画像とした場合)には、図11に示すような結果となる。
ここで、図8(b),11(b)に示すように、撮像画像とNBIフィルタ5との相関演算結果である分光画像には両者にそれほどの差異はない。しかしながら、図8(c),11(c)に示すように、隣接波長間の分光画像での輝度差分である差分画像には違いが現れ、純粋なRGBの色コードを用いた場合には、全面黒(輝度差分なし)または全面白(オーバースケール)となる差分画像が生じてしまい、バンドパスフィルタとして機能していないことが分かる。この結果から、NBIフィルタ5を作成する際には、隣接波長の差分に連続性を保てるような色コードの設定が重要となる。
【0032】
また、図3に示す表面状態観測装置2では、画像ファイルを乗除算する必要があるため、大きなハードウェア構成となる。そのため、表面観察処理に高速性が求められる場合には、表面状態観測装置2の各機能ブロックをIC化する。この際、各機能ブロックに対して個々にIC化を行ってもよいし、まとめてIC化してもよい。これにより、μ秒オーダで解析可能となる。
【0033】
また、通常の場合には、図3に示す表面状態観測装置2のハードウェアモデル構成をベースにしたモデル(構成)ベースデザインによるソフトウェア開発によってPCのCPUチップ内にシステム構築する。
ここで、PCのCPU機能を活用する場合には、表面状態観測装置2の開発プロトタイプまたは特殊タイプを、PCのカメラインタフェース、表示装置および入出力装置を活用して、デバッグ機器として開発する。すなわち、図3に示す表面状態観測装置2の構成をモデルベースデザインによってPCのOS上にシステム構築する。なお、外観はノートPCにUSBカメラを接続した形態をとる。
【0034】
また、組み込み型のCPUに移植する場合には、PC−OS上でシステム構築されたソフトウェアを機能圧縮して、マイクロコンピュータ上で動作可能なように開発プロトタイプを専用機器化する。すなわち、モデルベースデザインのシステム構築をマイクロコンピュータベースで行う。
また、FPGA(Field−Programmable Gate Array)化して全てハードウェアとする場合には、モデルベースデザインのソフトウェア開発に並行して、図3に示す表面状態観測装置2のモデルをFPGA化してマイクロコンピュータと組み合わせて一体化する。
【0035】
以上のように、この実施の形態1によれば、観測領域を撮像した画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも3つ以上のNBIフィルタ5をそれぞれ相関演算して、分光画像を生成し、隣接波長間での輝度差分を行うように構成したので、RGBの3つの分解能しか持たないカラー画像から仮想のバンドパスフィルタであるNBIフィルタ5によってRGBの分解能を超える分光画像を生成することができるため、液晶波長可変フィルタ等の高額な光学部品を用いることなく、簡易かつ低コストな構成で、観測領域の表面状態を高精度に観測することができる。
【0036】
なお、実施の形態1に係る表面状態観測システムでは、水面上に存在する油膜を検知する場合について説明を行ったが、これに限るものではなく、その他の表面状態観察、例えば、水面に存在するゴミや泡、道路上のスリップ痕等を検知する場合にも同様に適用可能である。なお、ここで言う「表面」には、外光の照射空間と所定の観測対象物質(例えば水)との境界面上(例えば水面上)だけでなく、撮像した三次元空間の画像から観察可能な奥行きのある範囲(観測対象物質内)も含まれる。すなわち、例えば水中に存在するゴミや泡等を検知する場合に対しても、このゴミや泡等に起因する反射率変化に相当する輝度変化を画像から検出可能であれば、同様に適用可能である。
【0037】
また、実施の形態1に係る表面状態観測装置2の干渉位相差検出部4では、総和算出部42および2値化算出部43を含めた場合について示したが、波長差分算出部41のみを有するように構成してもよい。この場合にも、各波長差分算出部41からの差分画像に輝度変化が高い領域が存在しているかを監視することで表面状態観測を行うことができる。
また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0038】
1 カラーカメラ
2 表面状態観測装置
3 分光エンジン
4 干渉位相差検出部
5 NBIフィルタ
11 レンズ
12 RGBフィルタ
13 CCD
14 USBインタフェース
31 波長別輝度調整部
32 乗算器(分光画像生成部)
33 グレースケール処理部
34 分光感度等価器
41 波長差分算出部
42 総和算出部
43 2値化処理部
【技術分野】
【0001】
この発明は、観測領域を撮像した画像を用いて、当該観測領域の表面状態を観測する表面状態観測装置およびその方法に関するものである。
【背景技術】
【0002】
従来から、浄水場や河川、湖沼等の水面に存在する油膜を検知する油膜検知装置が知られている(例えば特許文献1〜4参照)。これらの油膜検知装置では、水面上に存在する油膜に外光が照射された際に、油膜表面での反射光と水面での反射光が分光干渉することに着目して、油膜検知を行っている。
【0003】
具体的には、特許文献1,2に開示される方式では、波長選択型カメラ装置を用いて、観測領域(水面)を短波長域(Blue)と長波長域(Red)で撮像することで分光画像を生成している。そして、生成した短波長域と長波長域の画像信号を差分して、油膜領域のコントラストを高くした画像を生成している。また、この分光画像を生成する波長選択型カメラ装置の構成として、回転盤とシャッタを用いて光学フィルタをサイクリックに切り替えるもの、液晶波長可変フィルタ等の透過波長を制御可能なバンドパスフィルタを用いたもの、プリズムと2波長の光学フィルタを用いたものが示されている。
また、特許文献3,4に開示される方式では、反射光の分光干渉によって生じる虹色パターンを検知することで、油膜検知を行っている。この際、この虹色パターンの発生に伴う、米国EIA規格の色度図上でのカラーデータの分布変化に基づき油膜検知を行っている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第3930164号公報
【特許文献2】特許第3772016号公報
【特許文献3】特開2007−147448号公報
【特許文献4】特開2009−063398号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1,2に開示される方式では、回転盤等の機械的構造物、液晶波長可変フィルタ、プリズムおよび2波長の光学フィルタ等のように一般的でない構成要素を使用しており、高額で扱いにくいという課題があった。また、特許文献1,2は、画像上の油膜領域のコントラストを高めることを目的としたものであるが、油膜とコントラストとの関係性が明確でないという課題があった。
また、特許文献3,4に開示される方式では、油膜の反射光によって生じる虹色パターンに伴う、色度図上でのカラーデータの分布変化を油膜検知の要としているため、油膜の存在と虹色パターンとの関連が一義的でなく、虹色パターンの検知だけでは油膜の特定に充分ではないという課題があった。
【0006】
この発明は、上記のような課題を解決するためになされたもので、簡易かつ低コストな構成で、高精度に表面状態を観測することが可能な表面状態観測装置およびその方法を提供することを目的としている。
【課題を解決するための手段】
【0007】
この発明に係る表面状態観測装置は、入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも3つ以上のバンドパスフィルタをそれぞれ相関演算し、分光画像を生成する分光画像生成部と、分光画像生成部により生成された各分光画像をグレースケール化するグレースケール処理部と、グレースケール処理部によりグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出部とを備えたものである。
【発明の効果】
【0008】
この発明によれば、上記のように構成したので、観測領域を撮像した画像に対して、仮想のバンドパスフィルタを用いて、所定波長に対応した複数の分光画像を生成することができるため、液晶波長可変フィルタ等の高額な光学部品を用いることなく、簡易かつ低コストな構成で、観測領域の表面状態を高精度に観測することができる。
【図面の簡単な説明】
【0009】
【図1】水面に存在する油膜による分光干渉を説明する図である。
【図2】図1に示す反射光のスペクトラム特性を示す図である。
【図3】この発明の実施の形態1に係る表面状態観測システムの構成を示すブロック図である。
【図4】この発明の実施の形態1におけるNBIフィルタの色コードを示す図である。
【図5】純粋なRGBの色コードを示す図である。
【図6】この発明の実施の形態1における乗算器による分光画像の生成を説明する図である。
【図7】この発明の実施の形態1に係る表面状態観測システムの観測動作を示すフローチャートである。
【図8】この発明の実施の形態1に係る表面状態観測システムの観測動作を説明する図であり、(a)各波長に対応したNBIフィルタであり、(b)各波長に対応した分光画像であり、(c)隣接波長間での差分画像である。
【図9】この発明の実施の形態1における閾値の変化に伴う2値化画像の変化を示す図である。
【図10】この発明の実施の形態1における撮像画像、総和差分画像および2値化画像を示す図である。
【図11】NBIフィルタとして純粋なRGB色コード画像を用いた場合(λ1,λ3,λ7をRGB色コード画像とした場合)での観測動作を説明する図であり、(a)各波長に対応したNBIフィルタであり、(b)各波長に対応した分光画像であり、(c)隣接波長間での差分画像である。
【発明を実施するための形態】
【0010】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
以下では、表面状態観測システムを用いて、浄水場や河川、湖沼等の水面上に存在する油膜を検知する場合について説明する。
【0011】
まず、水面上に存在する油膜による分光干渉について説明する。
図1に示すように、水面(N2)上に屈折率が異なる油膜(N1)が存在する場合に、光源からの連続スペクトラム光や太陽光等の外光が油膜に照射されると、この光の一部が油膜表面で反射し(図1の反射光A)、一部は屈折して透過する。また、油膜を透過した光の一部は水面で反射する(図1の反射光B)。そして、油膜表面で反射された光と水面で反射された光とが油膜の膜厚に応じた位相差で干渉する。
【0012】
この反射光のスペクトラム特性は例えば図2に示すようになる。なお図2では、油膜の膜厚をd=2μmとし、外光の入射角をθ=10°とした場合の450〜650nmの波長範囲内での反射率と反射率波長差分を示している。反射率波長差分は、隣接波長間での反射率を差分して反射率変化を示したものである。
図2に示すように、反射光は反射率6%程度で波打っている。すなわち、特定の波長では、油膜表面からの反射光と水面からの反射光が強め合うように作用し、また別の波長では油膜表面からの反射光と水面からの反射光が弱め合うように作用する分光干渉が生じている。このように、水面上に油膜が存在しない場合には、反射光の干渉はないため反射率は全波長範囲で一定であるが、油膜が存在する場合には、油膜の膜厚に応じた位相差で反射光が分光干渉するため、反射率は波長により変化する。
【0013】
そこで、実施の形態1に係る表面状態観測システムでは、観測領域(水面)を撮像した画像に対して、2次元の分光器を用いることで、所定波長に対応した分光画像を複数生成する。そして、各分光画像の輝度を隣接波長間で差分して、輝度変化(図2の反射率変化に相当)を検出することで表面状態観測(油膜検知)を行う。
なお、2次元の分光器は、液晶波長可変フィルタのようなデバイスで実現できる。しかしながら、このデバイスは、開発途上のデバイスであり価格も高価な上、付帯する制御装置が必要になる。そこで実施の形態1に係る表面状態観測システムでは、このような扱いにくいデバイスは使用せず、撮像画像と、空間情報を持たない、所定波長の分光特性に対応した色コードの無地画像からなるバンドパスフィルタ(NBIフィルタ5)とを用いて、2次元の分光器を実現する。
【0014】
次に、表面状態観測システムの構成について説明する。
表面状態観測システムは、図3に示すように、カラーカメラ1、および、分光エンジン3と干渉位相差検出部4とを有する表面状態観測装置2から構成されている。
カラーカメラ1は、観測領域(水面)を撮像するものである。このカラーカメラ1は、レンズ11、RGBフィルタ12、CCD(Charge Coupled Device)13およびUSB(Universal Serial Bus)インタフェース14から構成されている。なおカラーカメラ1は、RGBの3つの分解能を有する一般的なカメラであり、携帯電話に内蔵されたカメラを用いてもよい。
【0015】
レンズ11は、外光に対する観測領域からの反射光を集光するものである。
RGBフィルタ12は、R(赤),G(緑),B(青)の3色のマイクロカラーフィルタであり、レンズ11により集光された光をRGB成分の光に分離するものである。
【0016】
CCD13は、RGBフィルタ12によりRGB成分に分離された光を受光し、電気信号(アナログ画像)に変換するものである。
USBインタフェース14は、CCD13により変換されたアナログ画像をデジタル画像に変換し、分光エンジン3の後述する各波長別輝度調整部31にそれぞれ出力するものである。
【0017】
分光エンジン3は、カラーカメラ1により撮像された画像を所定波長に対応した分光画像に変換するものである。この分光エンジン3は、波長別輝度調整部31、乗算器(分光画像生成部)32、グレースケール処理部33および分光感度等価器34から構成されている。なお図3では、分光エンジン3の各機能部を波長ごと個々に設けて、個々に処理する場合について示しているが、全ての波長に対してまとめて処理を行ってもよい。
【0018】
また、分光エンジン3では、カラーカメラ1からの撮像画像を所定波長に対応した分光画像に変換するため、NBI(Narrow Band Imaging)フィルタ5を用いる。このNBIフィルタ5は、空間情報を持たない、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなるバンドパスフィルタ(仮想のバンドパスフィルタ)である。このNBIフィルタ5は、表面観測に用いる分光画像の数に応じて少なくとも3つ以上設けられ(図1では波長λ1〜λ7それぞれに対応したNBIフィルタ5が設けられている)、図4に示す色コードで構成されている。なお図4に示す色コードは、RGB(赤、緑、青)成分をそれぞれ8bit,255階調で表現したものである。また、NBIフィルタ5として、純粋なRGBの色コード(図5参照)は用いない。
例えば、波長λ1を赤(610〜750nm)、波長λ4を緑(500〜560nm)、波長λ7を青(435〜480nm)とした場合、λ2とλ3は、λ1よりも短波長であり、かつ、λ4より長波長の帯域から選択される。また、λ3はλ2よりも短い波長域から選択される。λ5とλ6も同様であり、λ1からλ7の波長の長さは、λ1>λ2>λ3・・・λ6>λ7とされる。そして、λ1に対応する色コードとしてRGB(234,62,66)が、λ4に対応する色コードとしてRGB(67,235,63)が、λ7に対応する色コードとしてRGB(76,72,219)が設定される。
【0019】
波長別輝度調整部31は、カラーカメラ1からの撮像画像に対して輝度調整を行うものである。
乗算器32は、波長別輝度調整部31により輝度調整された撮像画像に対して、対応するNBIフィルタ5を用いて相関演算を行い、分光画像を生成するものである。この際、乗算器32は、図6に示すように、まず、撮像画像とNBIフィルタ5とをそれぞれRGB成分で分割する。そして、このRGB成分それぞれの色ベクトル画像同士で乗算を行い、その乗算結果を再合成することで分光画像を生成する。
【0020】
グレースケール処理部33は、乗算器32により生成された分光画像をグレースケール化して輝度信号に変換するものである。この際、グレースケール処理部33は、図6に示すように、分光画像に対して色ベクトル画像のノルム(√(R2+G2+B2))を演算することで輝度信号に変換した分光画像(白黒画像)を生成する。
分光感度等価器34は、グレースケール処理部33によりグレースケール化された分光画像の感度を一定に調整するものである。
【0021】
干渉位相差検出部4は、分光エンジン3により生成された各分光画像の輝度を隣接波長間で差分し、輝度変化を検出することで、表面状態観測(油膜検知)が可能な画像を生成するものである。この干渉位相差検出部4は、波長差分算出部41、総和算出部42および2値化処理部43から構成されている。
【0022】
波長差分算出部41は、分光エンジン3からの各分光画像の輝度を隣接波長間で差分し、差分画像を生成するものである。この際、波長差分算出部41は、隣接波長の各分光画像の輝度をそれぞれIλH,IλLとした場合に、
差分=|IλH−IλL|/(IλH+IλL)
を用いて輝度の均一化を図ったうえで、輝度差分を行う。
なお図3では、波長差分算出部41を、隣接波長間ごとに個々に設けて、個々に処理を行う場合について示しているが、全ての隣接波長に対してまとめて処理を行ってもよい。
【0023】
総和算出部42は、各波長差分算出部41により生成された差分画像の輝度を総和し、総和差分画像を生成するものである。
2値化処理部43は、総和算出部42により生成された総和差分画像の輝度を所定閾値で2値化し、2値化画像を生成するものである。この2値化処理部43により生成された2値化画像はディスプレイ(不図示)上に表示される。
【0024】
次に、上記のように構成された表面状態観測システムの観測動作について説明する。
表面状態観測システムの観測動作では、図7に示すように、まず、カラーカメラ1が、観測領域(水面)を撮像する(ステップST1)。すなわち、カラーカメラ1は、レンズ11で集光した観測領域からの反射光を、RGBフィルタ12でRGB成分の光に分離する。そして、RGB成分に分離した光をCCD13で受光し、USBインタフェース14でデジタル画像に変換し分光エンジン3に出力する。
【0025】
次いで、分光エンジン3の各波長別輝度調整部31が、カラーカメラ1からの撮像画像に対して輝度調整を行う(ステップST2)。次いで、各乗算器32が、波長別輝度調整部31により輝度調整された撮像画像に対して、対応するNBIフィルタ5を用いて相関演算を行い、分光画像を生成する(ステップST3,分光画像生成ステップ)。
これにより、表面状態観測システムで用いられている光学フィルタは、RGBの3つの分解能のみを有するRGBフィルタ12だけであるのにも関わらず、図8(a)に示す各波長(λ1〜λ7)に対応した仮想のバンドパスフィルタ(NBIフィルタ5)を用いることで、図8(b)に示すような各波長に対応した分光画像を得ることができる。
【0026】
次いで、各グレースケール処理部33が、乗算器32により生成された分光画像をグレースケール化する(ステップST4,グレースケール処理ステップ)。次いで、各分光感度等価器34が、グレースケール処理部33によりグレースケール化された分光画像の感度を一定に調整する(ステップST5)。
【0027】
次いで、各波長差分算出部41が、分光感度等価器34により感度調整された、対応する隣接波長の分光画像の輝度を差分し、差分画像を生成する(ステップST6,波長差分算出ステップ)。この際、輝度の均一化を図ったうえで輝度差分を行う。
これにより、図8(c)に示すような、隣接波長間での輝度変化の度合いを示す分光画像を得ることができる。なお図8(c)に示す差分画像において、白く表示されている部分が輝度変化が大きい領域である。ここで、図8(c)の例では、左端の差分画像(λ1−λ2)、右から3番目の差分画像(λ4−λ5)、右端の差分画像(λ6−λ7)で輝度変化が大きくなっていることが分かる。
【0028】
この差分画像に示される輝度変化は図2での反射率変化に対応する。すなわち、水面上に油膜が存在しない場合には、反射光の干渉はないため反射率は全波長範囲で一定であり、輝度変化を有する差分画像はない。一方、油膜が存在する場合には、油膜の膜厚に応じた位相差で反射光が分光干渉するため、反射率は波長により変化し、輝度変化を有する差分画像が発生する。よって、この各波長差分算出部41で生成された差分画像を監視することで油膜の存在を検知することができる。
しかしながら、各波長差分算出部41で差分画像を算出しただけでは、どの差分画像に輝度変化が生じているかを特定することが難しく、輝度変化を有する差分画像があるかを1枚ずつ確認しなければならない。
【0029】
そこで、総和算出部42が、各波長差分算出部41により生成された差分画像の輝度を総和し、総和差分画像を生成する(ステップST7,総和算出ステップ)。次いで、2値化処理部43が、総和算出部42により生成された総和差分画像の輝度を所定閾値で2値化し、2値化画像を生成する(ステップST8,2値化処理ステップ)。この2値化処理部43により生成された2値化画像はディスプレイ上に表示される。
このように、各差分画像の輝度を総和した画像を生成して所定閾値で2値化することで、図9に示すように、輝度変化が生じているかを一目で判断することが可能となる。なお図9では、閾値の変化に伴う2値化画像の変化を示している。
【0030】
ここで、図10(a)に示すように、単にカラーカメラ1を用いて水面を撮像しただけでは、水面に存在する油膜を視認することは難しい。しかしながら、所定波長に対応したNBIフィルタ5を用いて、撮像画像を所定波長に対応した分光画像に変換し、隣接波長間での輝度変化を検出することで、図10(b),(c)に示すように、水面に存在する油膜を容易に視認することが可能となる。
【0031】
なお、NBIフィルタ5として、図5に示す純粋なRGBの色コードを用いた場合(例えば波長λ1,λ3,λ7をRGBの色コード画像とした場合)には、図11に示すような結果となる。
ここで、図8(b),11(b)に示すように、撮像画像とNBIフィルタ5との相関演算結果である分光画像には両者にそれほどの差異はない。しかしながら、図8(c),11(c)に示すように、隣接波長間の分光画像での輝度差分である差分画像には違いが現れ、純粋なRGBの色コードを用いた場合には、全面黒(輝度差分なし)または全面白(オーバースケール)となる差分画像が生じてしまい、バンドパスフィルタとして機能していないことが分かる。この結果から、NBIフィルタ5を作成する際には、隣接波長の差分に連続性を保てるような色コードの設定が重要となる。
【0032】
また、図3に示す表面状態観測装置2では、画像ファイルを乗除算する必要があるため、大きなハードウェア構成となる。そのため、表面観察処理に高速性が求められる場合には、表面状態観測装置2の各機能ブロックをIC化する。この際、各機能ブロックに対して個々にIC化を行ってもよいし、まとめてIC化してもよい。これにより、μ秒オーダで解析可能となる。
【0033】
また、通常の場合には、図3に示す表面状態観測装置2のハードウェアモデル構成をベースにしたモデル(構成)ベースデザインによるソフトウェア開発によってPCのCPUチップ内にシステム構築する。
ここで、PCのCPU機能を活用する場合には、表面状態観測装置2の開発プロトタイプまたは特殊タイプを、PCのカメラインタフェース、表示装置および入出力装置を活用して、デバッグ機器として開発する。すなわち、図3に示す表面状態観測装置2の構成をモデルベースデザインによってPCのOS上にシステム構築する。なお、外観はノートPCにUSBカメラを接続した形態をとる。
【0034】
また、組み込み型のCPUに移植する場合には、PC−OS上でシステム構築されたソフトウェアを機能圧縮して、マイクロコンピュータ上で動作可能なように開発プロトタイプを専用機器化する。すなわち、モデルベースデザインのシステム構築をマイクロコンピュータベースで行う。
また、FPGA(Field−Programmable Gate Array)化して全てハードウェアとする場合には、モデルベースデザインのソフトウェア開発に並行して、図3に示す表面状態観測装置2のモデルをFPGA化してマイクロコンピュータと組み合わせて一体化する。
【0035】
以上のように、この実施の形態1によれば、観測領域を撮像した画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも3つ以上のNBIフィルタ5をそれぞれ相関演算して、分光画像を生成し、隣接波長間での輝度差分を行うように構成したので、RGBの3つの分解能しか持たないカラー画像から仮想のバンドパスフィルタであるNBIフィルタ5によってRGBの分解能を超える分光画像を生成することができるため、液晶波長可変フィルタ等の高額な光学部品を用いることなく、簡易かつ低コストな構成で、観測領域の表面状態を高精度に観測することができる。
【0036】
なお、実施の形態1に係る表面状態観測システムでは、水面上に存在する油膜を検知する場合について説明を行ったが、これに限るものではなく、その他の表面状態観察、例えば、水面に存在するゴミや泡、道路上のスリップ痕等を検知する場合にも同様に適用可能である。なお、ここで言う「表面」には、外光の照射空間と所定の観測対象物質(例えば水)との境界面上(例えば水面上)だけでなく、撮像した三次元空間の画像から観察可能な奥行きのある範囲(観測対象物質内)も含まれる。すなわち、例えば水中に存在するゴミや泡等を検知する場合に対しても、このゴミや泡等に起因する反射率変化に相当する輝度変化を画像から検出可能であれば、同様に適用可能である。
【0037】
また、実施の形態1に係る表面状態観測装置2の干渉位相差検出部4では、総和算出部42および2値化算出部43を含めた場合について示したが、波長差分算出部41のみを有するように構成してもよい。この場合にも、各波長差分算出部41からの差分画像に輝度変化が高い領域が存在しているかを監視することで表面状態観測を行うことができる。
また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0038】
1 カラーカメラ
2 表面状態観測装置
3 分光エンジン
4 干渉位相差検出部
5 NBIフィルタ
11 レンズ
12 RGBフィルタ
13 CCD
14 USBインタフェース
31 波長別輝度調整部
32 乗算器(分光画像生成部)
33 グレースケール処理部
34 分光感度等価器
41 波長差分算出部
42 総和算出部
43 2値化処理部
【特許請求の範囲】
【請求項1】
入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも3つ以上のバンドパスフィルタをそれぞれ相関演算し、分光画像を生成する分光画像生成部と、
前記分光画像生成部により生成された各分光画像をグレースケール化するグレースケール処理部と、
前記グレースケール処理部によりグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出部とを備えた
ことを特徴とする表面状態観測装置。
【請求項2】
前記波長差分算出部により生成された各差分画像の輝度を総和し、総和差分画像を生成する総和算出部と、
前記総和算出部により生成された総和差分画像の輝度を所定閾値で2値化し、2値化画像を生成する2値化処理部と
を備えたことを特徴とする請求項1記載の表面状態観測装置。
【請求項3】
前記波長差分算出部は、隣接波長の各分光画像の輝度をそれぞれIλH,IλLとした場合に、
差分=|IλH−IλL|/(IλH+IλL)
を用いて輝度の均一化を図る
ことを特徴とする請求項1または請求項2記載の表面状態観測装置。
【請求項4】
入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも3つ以上のバンドパスフィルタをそれぞれ相関演算し、分光画像を生成する分光画像生成ステップと、
前記分光画像生成ステップにおいて生成した各分光画像をグレースケール化するグレースケール処理ステップと、
前記グレースケール処理ステップにおいてグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出ステップとを有する
ことを特徴とする表面状態観測方法。
【請求項1】
入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも3つ以上のバンドパスフィルタをそれぞれ相関演算し、分光画像を生成する分光画像生成部と、
前記分光画像生成部により生成された各分光画像をグレースケール化するグレースケール処理部と、
前記グレースケール処理部によりグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出部とを備えた
ことを特徴とする表面状態観測装置。
【請求項2】
前記波長差分算出部により生成された各差分画像の輝度を総和し、総和差分画像を生成する総和算出部と、
前記総和算出部により生成された総和差分画像の輝度を所定閾値で2値化し、2値化画像を生成する2値化処理部と
を備えたことを特徴とする請求項1記載の表面状態観測装置。
【請求項3】
前記波長差分算出部は、隣接波長の各分光画像の輝度をそれぞれIλH,IλLとした場合に、
差分=|IλH−IλL|/(IλH+IλL)
を用いて輝度の均一化を図る
ことを特徴とする請求項1または請求項2記載の表面状態観測装置。
【請求項4】
入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも3つ以上のバンドパスフィルタをそれぞれ相関演算し、分光画像を生成する分光画像生成ステップと、
前記分光画像生成ステップにおいて生成した各分光画像をグレースケール化するグレースケール処理ステップと、
前記グレースケール処理ステップにおいてグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出ステップとを有する
ことを特徴とする表面状態観測方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−181132(P2012−181132A)
【公開日】平成24年9月20日(2012.9.20)
【国際特許分類】
【出願番号】特願2011−45029(P2011−45029)
【出願日】平成23年3月2日(2011.3.2)
【出願人】(000219451)東亜ディーケーケー株式会社 (204)
【Fターム(参考)】
【公開日】平成24年9月20日(2012.9.20)
【国際特許分類】
【出願日】平成23年3月2日(2011.3.2)
【出願人】(000219451)東亜ディーケーケー株式会社 (204)
【Fターム(参考)】
[ Back to top ]