画像処理装置
【課題】本発明では、入射光量の少ない暗い領域であっても被写体となる対象物を逃すことなく検出することができる画像処理装置の提供を目的とする。
【解決手段】遠赤外線カメラは撮像領域内に存在し遠赤外線を放射する熱を持った物体を検出するためガラスに反射した映り込み光を画像として撮像することはないという性質を利用し、遠赤外線カメラから取得した遠赤外線画像と可視光カメラから取得した可視光画像を比較し、比較結果に基づいて映り込み部分の補正を行う。
【解決手段】遠赤外線カメラは撮像領域内に存在し遠赤外線を放射する熱を持った物体を検出するためガラスに反射した映り込み光を画像として撮像することはないという性質を利用し、遠赤外線カメラから取得した遠赤外線画像と可視光カメラから取得した可視光画像を比較し、比較結果に基づいて映り込み部分の補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠赤外線画像と可視光画像との比較結果に応じて画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
一般に、可視光カメラや近赤外線カメラは被写体となる物体の、環境光や可視光や近赤外線投光器（夜間のみ）からの反射光を検出して映像信号として出力している。
【０００３】
遠赤外線カメラに用いる赤外線を検出する素子の１つとして、例えば赤外線ボロメータ素子がある。赤外線ボロメータ素子は、半導体素子では検出困難な遠赤外線領域の光を検出することができるため、特に、室温で動作する遠赤外撮像素子として利用される。
【０００４】
赤外線ボロメータ素子は、例えば、２次元配列された画素で構成される。赤外線ボロメータ素子を用いた遠赤外線カメラは、被写体から放射される遠赤外線の入射量（遠赤外線エネルギー）に応じて、構成されたそれぞれの画素の温度が変化する。この遠赤外線カメラは、それぞれの画素の温度を抵抗変化として検出して、被写体像の映像信号として出力するものである。
【０００５】
一般的に、遠赤外線は水分による散乱が少ないため、悪天候時（雨、霧等）において、被写体となる対象物を視認することが可能であり、可視光カメラや近赤外線カメラと異なり、外乱光の影響を受けにくいといった利点があるが、昼間は太陽の影響で人物以外の背景物体（建物、道路等）の温度が上昇するため、人物と背景物体との温度差を検出しにくくなるといった欠点がある。
【０００６】
そこで、夜間等の暗闇で物体を検出するために、可視光カメラと赤外線カメラとにより撮影された映像に基づいて、物体を検出する監視形態が運用されている。（特許文献１参照）
【０００７】
この様な監視システムの場合、昼間は、可視光カメラにて撮像し、夜間には可視光カメラと遠赤外線カメラの両方で撮像し、可視光カメラでは捉えきれない暗い撮像領域の中で赤外線を放射する熱を持った物体を遠赤外線カメラで撮像・検出することで、画像監視を行っている。
【０００８】
屋外等に設置される可視光カメラは、通常、撮像部をカメラハウジング（ケース）内部に設置することで耐環境性を向上させており、カメラハウジングの撮像方向はガラス面とすることで撮像部による撮像を可能としている。
しかし、ガラスの透過率は１００％ではないため、高輝度の被写体等があるとレンズ面とハウジングのガラス面で光が反射し、そこを撮像部で撮像するため、ガラス面に映り込んだ反射光も撮像することになり、その映り込み部分が監視画像の死角となってしまう。特に、侵入者等の被写体の検出を目的としている場合には、映り込み部分に存在・移動した場合は侵入者等の被写体の検出ができなくなってしまう。
【０００９】
従来の遠赤外線カメラと可視光カメラによる監視システムには、以上の様な問題があった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１００２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
以上の様な問題を鑑み、本発明では、入射光量の少ない暗い領域、つまり可視光カメラで直接捉えることが困難である非可視領域であっても被写体となる対象物を逃すことなく検出することができる画像処理装置の提供を目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、可視光画像と遠赤外線画像とが入力され、前記可視光画像と前記遠赤外線画像とに基づいて前記可視光画像の映り込み光を検出する映り込み光検出手段と、前記映り込み光検出手段により前記可視光画像の映り込み光が検出された場合に、前記可視光画像の前記映り込み光領域に対して補正処理を行う補正手段と、を備えることを特徴とする。
【００１３】
さらに、上記画像処理装置は、前記映り込み光検出手段は、前記可視光画像の高輝度領域の画像信号を記憶する第１のメモリと、前記可視光画像の所定の領域の画像信号を記憶する第２のメモリと、前記可視光画像の高輝度領域に対応する前記遠赤外線画像の領域の画像信号を記憶する第３のメモリと、前記可視光画像の所定の領域に対応する前記遠赤外線画像の領域の画像信号を記憶する第４のメモリと、前記第１のメモリに記憶された画像信号と前記第３のメモリに記憶された画像信号との差分値を算出する第１の減算手段と、前記第２のメモリに記憶された画像信号と前記第４のメモリに記憶された画像信号との差分値を算出する第２の減算手段と、前記第１の減算手段で算出された差分値と前記第２の減算手段で算出された差分値との差分値を算出する第３の減算手段と、前記第３の減算手段で算出された差分値と所定の閾値とを比較する比較手段と、を備え、前記第３の減算手段で検出された差分値が前記所定の閾値より大きい場合に、前記可視光画像に映り込み光が存在すると判断することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、遠赤外線カメラは撮像領域内に存在し遠赤外線を放射する熱を持った物体を検出するためガラスに反射した映り込み光を画像として撮像することはないという性質を利用し、遠赤外線カメラから取得した遠赤外線画像と可視光カメラから取得した可視光画像を比較し、比較結果に基づいて映り込み部分の補正を行うことで、入射光量の少ない暗い領域、つまり可視光カメラで直接捉えることが困難である非可視領域であっても被写体となる対象物を逃すことなく検出することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例の画像処理装置を用いた監視システムの全体構成の一例を示すブロック図である。
【図２】本発明の一実施例の画像処理装置による画像処理の様子を示す模式図である。
【図３】本発明の一実施例の画像処理装置を用いた監視システムの動作の流れを示すフローチャート図である。
【図４】本発明の一実施例の画像処理装置の内部構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態について詳細に説明する。
図１は、本発明の一実施例の画像処理装置を用いた監視システムの全体構成の一例を示すブロック図である。
１は撮像領域１０の可視光線を撮像して可視光画像を出力する可視光カメラ、２は可視光カメラ１を収納するカメラケース、３はカメラケース２のフロント部分に位置するフロントガラス、３４は撮像領域１０の遠赤外線を撮像して遠赤外線画像を出力する遠赤外線カメラ、４５は遠赤外線カメラ３４を収納するカメラケース、３６はカメラケース４５のフロント部分に位置するフロントガラス、７は可視光画像または遠赤外線画像若しくはその両方に所定の画像処理を施す画像処理装置、８は可視光画像または遠赤外線画像若しくはその両方を記録する画像記録装置、９は画像記録装置８に記録された画像を表示するモニタ、１０は可視光カメラ１および遠赤外線カメラ４の撮像対象となる撮像領域、１１は高輝度の照明、１２は人物等の被写体である。
【００１７】
耐環境のためにカメラケース２に収納された可視光カメラ１は、フロントガラス３を通して撮像領域１０を撮像し、可視光画像として画像処理装置７に出力する。同じくカメラケース５に収納された遠赤外線カメラ４は、フロントガラス６を通して撮像領域を撮像し、遠赤外線画像として画像処理装置に出力する。画像処理装置７は、入力された遠赤外線画像に基づいて可視光画像を画像処理し、遠赤外線画像と画像処理された可視光画像を画像記録装置８に出力する。この画像処理については後に詳細に説明する。画像記録装置８は、入力された可視光画像または遠赤外線画像若しくはその両方を記録する。モニタ９は、画像記録装置８より記録された可視光画像または遠赤外線画像を読み出して表示する。
なお、この場合、可視光カメラ１と遠赤外線カメラ４はできるだけ撮像領域１０に対する画角が同じになる様に設置され、さらに後段の画像処理装置にて画像の拡大・縮小機能や平行移動等により補正することで、ほぼ同一の領域を撮像した画像が出力されることが望ましい。
【００１８】
次に、図２〜４を用いて本発明の画像処理の一実施形態について説明する。
図２は、本発明の一実施例の画像処理装置による画像処理の様子を示す模式図である。
１２−１は被写体１２を可視光カメラ１で撮像した可視光画像の被写体、１２−２は被写体１２を遠赤外線カメラ１４で撮像した遠赤外線画像の被写体、５１は可視光カメラ１より出力された撮像領域１０の可視光画像、５２は照明１１を可視光カメラで撮像した可視光画像の照明、５３は照明１１等がフロントガラス３面に反射した映り込み光を可視光カメラで撮像した映り込み光、５４は遠赤外線カメラより出力された撮像領域１０の遠赤外線画像、５５は照明１１を遠赤外線カメラで撮像した遠赤外線画像の照明、５６は可視光画像の映り込み光５３の位置に対応する遠赤外線画像の領域、５７は画像処理されて映り込みを補正した可視光画像である。
なお、５６の白の破線は、実際には画像として出力されるものではないが、可視光画像にて映り込み光のある場所と同位置に遠赤外線画像の領域を示して、遠赤外線画像には映り込み光がないことを説明し易い様に記載している。
【００１９】
画像処理装置７は、入力された可視光画像と遠赤外線画像とを比較し、可視光画像の映り込み光を補正する。
可視光画像５１には被写体１２−１、照明５２および映り込み光５３が映し出されている。一方、遠赤外線画像５４には被写体１２−２および照明５５が映し出されている。このとき可視光画像５１には高輝度の領域である照明５２および映り込み光５３が存在しているため、これらの対応する遠赤外線画像５４の領域と比較する。可視光画像５１の照明５２と対応するのは遠赤外線画像５４の照明５５であり、遠赤外線画像５４の照明５５にも高温度の物体が映し出されているするため、熱を発する照明が存在すると判断し、照明５２の画像処理は行わない。一方、可視光画像の映り込み光５３と対応するのは遠赤外線画像の領域５６であり、遠赤外線画像５４の領域５６には温度のある物体が映し出されていないため、熱を発する物体が存在せず映り込み光５３は映り込み光である判断し、映り込み光５３の領域を補正する画像処理を行う。そして補正された可視光画像５７を出力する。
【００２０】
図３は本発明の一実施例の画像処理装置を用いた監視システムの動作の流れを示すフローチャート図である。
画像処理装置７は、可視光カメラ１および遠赤外線カメラ４よりそれぞれ可視光画像と遠赤外線画像が入力される（Ｓ１）。可視光画像内に所定の閾値以上の高輝度領域があるか検出する（Ｓ２）。高輝度領域が存在する場合（Ｙｅｓ）、可視光画像の高輝度領域と遠赤外線画像の対応する領域を比較する（Ｓ３）。それぞれの領域の画像信号のレベル差を算出し、その差分値が所定の閾値以上であれば映り込み光と判断し（Ｓ４）、可視光画像の映り込み光領域を補正し（Ｓ５）、補正した可視光画像を出力する（Ｓ６）。Ｓ２において可視光画像に高輝度領域が検出されなかった場合（Ｎｏ）、および、Ｓ４においてそれぞれの領域の画像信号のレベル差が所定の閾値未満であり映り込み光ではないと判断された場合、入力された可視光画像を画像処理することなく出力する（Ｓ７）。
【００２１】
図４は、本発明の一実施例の画像処理装置７の内部構成を示すブロック図である。
７０１は入力された可視光画像中の高輝度領域の有無を検出する高輝度領域検出部、７０２は可視光画像の所定の領域の画像信号を記憶するメモリ、７０３は可視光画像の高輝度領域の画像信号を記憶するメモリ、７０４は可視光画像の上記所定の領域に対応する遠赤外線画像の領域の画像信号を記憶するメモリ、７０５は可視光画像の上記高輝度領域に対応する遠赤外線画像の領域の画像信号を記憶するメモリ、７０６はメモリ７０２に記憶された画像信号とメモリ７０４に記憶された画像信号との差分を算出する減算部、７０７はメモリ７０３に記憶された画像信号とメモリ７０５に記憶された画像信号との差分を算出する減算部、７０８は減算部７０６で算出された差分と減算部７０７で算出された差分との差分を算出する減算部、７０９は所定の閾値を出力する閾値出力部、７１０は減算部７０８で算出された差分と閾値検出部７０９より出力された所定の閾値とを比較する比較部、７１１は比較部７１０により画像信号レベルの差分が所定の閾値以上か未満かで接点を切り替えるスイッチ、７１２は高輝度領域が映り込み光であると判断された場合に、可視光画像に補正処理を施す補正部である。
【００２２】
このとき、メモリ７０２およびメモリ７０４に記憶される画像信号の領域は、高輝度領域以外の適当な位置でも良いが、好ましくは、可視光画像にて暗部ではなく人物や動物、照明等以外の高い熱を持たない何らかの物体が映し出されている領域を検出して選択されることが望ましい。また、閾値出力部７０９に記憶される閾値は、可視光画像と遠赤外線画像を比較した平均の画像信号のレベル差を予め求めておいて、これに基づいた値を記憶しておくことが望ましい。
【００２３】
入力された可視光画像は、高輝度領域検出部７０１によって高輝度領域の有無を判定され、高輝度信号領域がなかった場合にはそのまま後段の画像記録装置８に出力され、高輝度領域があった場合にメモリ７０２とメモリ７０３に出力される。メモリ７０２では、入力された可視光画像の所定の領域の画像信号が記憶され、メモリ７０３では、入力された可視光画像の高輝度領域の画像信号が記憶される。一方、入力された遠赤外線画像は、メモリ７０４およびメモリ７０５に出力される。メモリ７０４では、メモリ７０２に記憶された可視光画像の所定の領域に対応する遠赤外線画像の領域の画像信号が記憶され、メモリ７０５では、メモリ７０３に記憶された可視光画像の高輝度領域に対応する遠赤外線画像の領域の画像信号を記憶する。
【００２４】
減算部７０６では、メモリ７０２から出力された可視光画像の所定の領域の画像信号とメモリ７０４から出力された遠赤外線画像の対応する所定の領域の画像信号との画像信号のレベル差の値が算出され減算器７０８へ出力される。減算部７０７では、メモリ７０３から出力された可視光画像の高輝度領域の画像信号とメモリ７０５から出力された遠赤外線画像の対応する領域の画像信号との画像信号のレベル差の値が算出され減算器７０８へ出力される。減算器７０８では、減算器７０６から出力された可視光画像と遠赤外線画像の所定の領域の画像信号のレベル差の値と、減算器７０７から出力された可視光画像と遠赤外線画像の高輝度領域の画像信号のレベル差の値が算出され、比較部７１０に出力される。
【００２５】
比較部７１０では、減算器７０８から出力された画像信号のレベル差と閾値出力部７０９より出力される所定の閾値とが比較される。このとき、画像信号のレベル差が所定の閾値以上である場合には、可視光画像の高輝度領域が映り込み信号であると判断され、スイッチ７１１に可視光画像を補正部７１２に出力する様に接点を切り替えるための信号を出力する。また、画像信号のレベル差が所定の閾値未満である場合には、可視光画像の高輝度領域が映り込み信号でないと判断され、スイッチ７１１に可視光画像をそのまま後段の画像記録装置８に出力する様に接点を切り替えるための信号を出力する。
【００２６】
スイッチ７１１では、比較部７１０より入力された信号に従って接点を切り替える。補正部７１２では、可視光画像の映り込み光である高輝度領域に対して高輝度領域を消す様な補正が施される。これは例えば、高輝度領域を周辺の画素の画像信号に置き替えたり、高輝度領域の画像信号を圧縮したりと、周知の方法を用いて補正される。
【００２７】
可視光画像の所定の領域と遠赤外線画像の対応する所定の領域との差分が大きい場合は、撮像領域の明るさに対する通常の領域（物体）の温度が高いため閾値は高く設定されるべきであり、逆に差分が小さい場合は、撮像領域の明るさに対する通常の領域（物体）の温度が低いため閾値は高く低く設定されるべきである。
【００２８】
以上に詳細に説明した様に、本発明によれば、遠赤外線カメラは撮像領域内に存在し遠赤外線を放射する熱を持った物体を検出するためガラスに反射した映り込み光を画像として撮像することはないという性質を利用し、遠赤外線カメラから取得した遠赤外線画像と可視光カメラから取得した可視光画像を比較し、比較結果に基づいて映り込み部分の補正を行うことで、入射光量の少ない暗い領域、つまり可視光カメラで直接捉えることが困難である非可視領域であっても被写体となる対象物を逃すことなく検出することができる。
【００２９】
なお、本発明は上記各実施形態に限定されるものではない。例えば、上記画像処理装置の補正機能をデイアンドナイトカメラ等のカメラ内や、エンコーダ、記録装置等の他の機器に用いることももちろん可能であり、その構成及び動作の手順とその内容についても本発明の要旨を逸脱しない範囲で種々に変形して実施できる。
【００３０】
要するに本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００３１】
１：可視光カメラ、２，５：カメラケース、３，６：フロントガラス、４：遠赤外線カメラ、７：画像処理装置、８：画像記録装置、９：モニタ、１０：撮像領域、１１：照明、１２：被写体、１２−１：可視光画像の被写体、１２−２−：遠赤外線画像の被写体、５１：可視光画像、５２：可視光画像の照明、５３：映り込み光、５４：遠赤外線画像、５５：遠赤外線画像の照明、５６：可視光画像の映り込み位置に対応する遠赤外線画像の領域、５７：画像処理後の可視光画像、１０１，１０２，１０３：メモリ、１０４：減算部、１０５：閾値出力部、１０６：比較部、１０７：セレクタ、７０１：高輝度領域検出部、７０２，７０３，７０４，７０５：メモリ、７０６，７０７，７０８：減算部、７０９：閾値出力部、７１０：比較部、７１１：スイッチ、７１２：補正部。
【技術分野】
【０００１】
本発明は、遠赤外線画像と可視光画像との比較結果に応じて画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
一般に、可視光カメラや近赤外線カメラは被写体となる物体の、環境光や可視光や近赤外線投光器（夜間のみ）からの反射光を検出して映像信号として出力している。
【０００３】
遠赤外線カメラに用いる赤外線を検出する素子の１つとして、例えば赤外線ボロメータ素子がある。赤外線ボロメータ素子は、半導体素子では検出困難な遠赤外線領域の光を検出することができるため、特に、室温で動作する遠赤外撮像素子として利用される。
【０００４】
赤外線ボロメータ素子は、例えば、２次元配列された画素で構成される。赤外線ボロメータ素子を用いた遠赤外線カメラは、被写体から放射される遠赤外線の入射量（遠赤外線エネルギー）に応じて、構成されたそれぞれの画素の温度が変化する。この遠赤外線カメラは、それぞれの画素の温度を抵抗変化として検出して、被写体像の映像信号として出力するものである。
【０００５】
一般的に、遠赤外線は水分による散乱が少ないため、悪天候時（雨、霧等）において、被写体となる対象物を視認することが可能であり、可視光カメラや近赤外線カメラと異なり、外乱光の影響を受けにくいといった利点があるが、昼間は太陽の影響で人物以外の背景物体（建物、道路等）の温度が上昇するため、人物と背景物体との温度差を検出しにくくなるといった欠点がある。
【０００６】
そこで、夜間等の暗闇で物体を検出するために、可視光カメラと赤外線カメラとにより撮影された映像に基づいて、物体を検出する監視形態が運用されている。（特許文献１参照）
【０００７】
この様な監視システムの場合、昼間は、可視光カメラにて撮像し、夜間には可視光カメラと遠赤外線カメラの両方で撮像し、可視光カメラでは捉えきれない暗い撮像領域の中で赤外線を放射する熱を持った物体を遠赤外線カメラで撮像・検出することで、画像監視を行っている。
【０００８】
屋外等に設置される可視光カメラは、通常、撮像部をカメラハウジング（ケース）内部に設置することで耐環境性を向上させており、カメラハウジングの撮像方向はガラス面とすることで撮像部による撮像を可能としている。
しかし、ガラスの透過率は１００％ではないため、高輝度の被写体等があるとレンズ面とハウジングのガラス面で光が反射し、そこを撮像部で撮像するため、ガラス面に映り込んだ反射光も撮像することになり、その映り込み部分が監視画像の死角となってしまう。特に、侵入者等の被写体の検出を目的としている場合には、映り込み部分に存在・移動した場合は侵入者等の被写体の検出ができなくなってしまう。
【０００９】
従来の遠赤外線カメラと可視光カメラによる監視システムには、以上の様な問題があった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１００２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
以上の様な問題を鑑み、本発明では、入射光量の少ない暗い領域、つまり可視光カメラで直接捉えることが困難である非可視領域であっても被写体となる対象物を逃すことなく検出することができる画像処理装置の提供を目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、可視光画像と遠赤外線画像とが入力され、前記可視光画像と前記遠赤外線画像とに基づいて前記可視光画像の映り込み光を検出する映り込み光検出手段と、前記映り込み光検出手段により前記可視光画像の映り込み光が検出された場合に、前記可視光画像の前記映り込み光領域に対して補正処理を行う補正手段と、を備えることを特徴とする。
【００１３】
さらに、上記画像処理装置は、前記映り込み光検出手段は、前記可視光画像の高輝度領域の画像信号を記憶する第１のメモリと、前記可視光画像の所定の領域の画像信号を記憶する第２のメモリと、前記可視光画像の高輝度領域に対応する前記遠赤外線画像の領域の画像信号を記憶する第３のメモリと、前記可視光画像の所定の領域に対応する前記遠赤外線画像の領域の画像信号を記憶する第４のメモリと、前記第１のメモリに記憶された画像信号と前記第３のメモリに記憶された画像信号との差分値を算出する第１の減算手段と、前記第２のメモリに記憶された画像信号と前記第４のメモリに記憶された画像信号との差分値を算出する第２の減算手段と、前記第１の減算手段で算出された差分値と前記第２の減算手段で算出された差分値との差分値を算出する第３の減算手段と、前記第３の減算手段で算出された差分値と所定の閾値とを比較する比較手段と、を備え、前記第３の減算手段で検出された差分値が前記所定の閾値より大きい場合に、前記可視光画像に映り込み光が存在すると判断することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、遠赤外線カメラは撮像領域内に存在し遠赤外線を放射する熱を持った物体を検出するためガラスに反射した映り込み光を画像として撮像することはないという性質を利用し、遠赤外線カメラから取得した遠赤外線画像と可視光カメラから取得した可視光画像を比較し、比較結果に基づいて映り込み部分の補正を行うことで、入射光量の少ない暗い領域、つまり可視光カメラで直接捉えることが困難である非可視領域であっても被写体となる対象物を逃すことなく検出することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例の画像処理装置を用いた監視システムの全体構成の一例を示すブロック図である。
【図２】本発明の一実施例の画像処理装置による画像処理の様子を示す模式図である。
【図３】本発明の一実施例の画像処理装置を用いた監視システムの動作の流れを示すフローチャート図である。
【図４】本発明の一実施例の画像処理装置の内部構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態について詳細に説明する。
図１は、本発明の一実施例の画像処理装置を用いた監視システムの全体構成の一例を示すブロック図である。
１は撮像領域１０の可視光線を撮像して可視光画像を出力する可視光カメラ、２は可視光カメラ１を収納するカメラケース、３はカメラケース２のフロント部分に位置するフロントガラス、３４は撮像領域１０の遠赤外線を撮像して遠赤外線画像を出力する遠赤外線カメラ、４５は遠赤外線カメラ３４を収納するカメラケース、３６はカメラケース４５のフロント部分に位置するフロントガラス、７は可視光画像または遠赤外線画像若しくはその両方に所定の画像処理を施す画像処理装置、８は可視光画像または遠赤外線画像若しくはその両方を記録する画像記録装置、９は画像記録装置８に記録された画像を表示するモニタ、１０は可視光カメラ１および遠赤外線カメラ４の撮像対象となる撮像領域、１１は高輝度の照明、１２は人物等の被写体である。
【００１７】
耐環境のためにカメラケース２に収納された可視光カメラ１は、フロントガラス３を通して撮像領域１０を撮像し、可視光画像として画像処理装置７に出力する。同じくカメラケース５に収納された遠赤外線カメラ４は、フロントガラス６を通して撮像領域を撮像し、遠赤外線画像として画像処理装置に出力する。画像処理装置７は、入力された遠赤外線画像に基づいて可視光画像を画像処理し、遠赤外線画像と画像処理された可視光画像を画像記録装置８に出力する。この画像処理については後に詳細に説明する。画像記録装置８は、入力された可視光画像または遠赤外線画像若しくはその両方を記録する。モニタ９は、画像記録装置８より記録された可視光画像または遠赤外線画像を読み出して表示する。
なお、この場合、可視光カメラ１と遠赤外線カメラ４はできるだけ撮像領域１０に対する画角が同じになる様に設置され、さらに後段の画像処理装置にて画像の拡大・縮小機能や平行移動等により補正することで、ほぼ同一の領域を撮像した画像が出力されることが望ましい。
【００１８】
次に、図２〜４を用いて本発明の画像処理の一実施形態について説明する。
図２は、本発明の一実施例の画像処理装置による画像処理の様子を示す模式図である。
１２−１は被写体１２を可視光カメラ１で撮像した可視光画像の被写体、１２−２は被写体１２を遠赤外線カメラ１４で撮像した遠赤外線画像の被写体、５１は可視光カメラ１より出力された撮像領域１０の可視光画像、５２は照明１１を可視光カメラで撮像した可視光画像の照明、５３は照明１１等がフロントガラス３面に反射した映り込み光を可視光カメラで撮像した映り込み光、５４は遠赤外線カメラより出力された撮像領域１０の遠赤外線画像、５５は照明１１を遠赤外線カメラで撮像した遠赤外線画像の照明、５６は可視光画像の映り込み光５３の位置に対応する遠赤外線画像の領域、５７は画像処理されて映り込みを補正した可視光画像である。
なお、５６の白の破線は、実際には画像として出力されるものではないが、可視光画像にて映り込み光のある場所と同位置に遠赤外線画像の領域を示して、遠赤外線画像には映り込み光がないことを説明し易い様に記載している。
【００１９】
画像処理装置７は、入力された可視光画像と遠赤外線画像とを比較し、可視光画像の映り込み光を補正する。
可視光画像５１には被写体１２−１、照明５２および映り込み光５３が映し出されている。一方、遠赤外線画像５４には被写体１２−２および照明５５が映し出されている。このとき可視光画像５１には高輝度の領域である照明５２および映り込み光５３が存在しているため、これらの対応する遠赤外線画像５４の領域と比較する。可視光画像５１の照明５２と対応するのは遠赤外線画像５４の照明５５であり、遠赤外線画像５４の照明５５にも高温度の物体が映し出されているするため、熱を発する照明が存在すると判断し、照明５２の画像処理は行わない。一方、可視光画像の映り込み光５３と対応するのは遠赤外線画像の領域５６であり、遠赤外線画像５４の領域５６には温度のある物体が映し出されていないため、熱を発する物体が存在せず映り込み光５３は映り込み光である判断し、映り込み光５３の領域を補正する画像処理を行う。そして補正された可視光画像５７を出力する。
【００２０】
図３は本発明の一実施例の画像処理装置を用いた監視システムの動作の流れを示すフローチャート図である。
画像処理装置７は、可視光カメラ１および遠赤外線カメラ４よりそれぞれ可視光画像と遠赤外線画像が入力される（Ｓ１）。可視光画像内に所定の閾値以上の高輝度領域があるか検出する（Ｓ２）。高輝度領域が存在する場合（Ｙｅｓ）、可視光画像の高輝度領域と遠赤外線画像の対応する領域を比較する（Ｓ３）。それぞれの領域の画像信号のレベル差を算出し、その差分値が所定の閾値以上であれば映り込み光と判断し（Ｓ４）、可視光画像の映り込み光領域を補正し（Ｓ５）、補正した可視光画像を出力する（Ｓ６）。Ｓ２において可視光画像に高輝度領域が検出されなかった場合（Ｎｏ）、および、Ｓ４においてそれぞれの領域の画像信号のレベル差が所定の閾値未満であり映り込み光ではないと判断された場合、入力された可視光画像を画像処理することなく出力する（Ｓ７）。
【００２１】
図４は、本発明の一実施例の画像処理装置７の内部構成を示すブロック図である。
７０１は入力された可視光画像中の高輝度領域の有無を検出する高輝度領域検出部、７０２は可視光画像の所定の領域の画像信号を記憶するメモリ、７０３は可視光画像の高輝度領域の画像信号を記憶するメモリ、７０４は可視光画像の上記所定の領域に対応する遠赤外線画像の領域の画像信号を記憶するメモリ、７０５は可視光画像の上記高輝度領域に対応する遠赤外線画像の領域の画像信号を記憶するメモリ、７０６はメモリ７０２に記憶された画像信号とメモリ７０４に記憶された画像信号との差分を算出する減算部、７０７はメモリ７０３に記憶された画像信号とメモリ７０５に記憶された画像信号との差分を算出する減算部、７０８は減算部７０６で算出された差分と減算部７０７で算出された差分との差分を算出する減算部、７０９は所定の閾値を出力する閾値出力部、７１０は減算部７０８で算出された差分と閾値検出部７０９より出力された所定の閾値とを比較する比較部、７１１は比較部７１０により画像信号レベルの差分が所定の閾値以上か未満かで接点を切り替えるスイッチ、７１２は高輝度領域が映り込み光であると判断された場合に、可視光画像に補正処理を施す補正部である。
【００２２】
このとき、メモリ７０２およびメモリ７０４に記憶される画像信号の領域は、高輝度領域以外の適当な位置でも良いが、好ましくは、可視光画像にて暗部ではなく人物や動物、照明等以外の高い熱を持たない何らかの物体が映し出されている領域を検出して選択されることが望ましい。また、閾値出力部７０９に記憶される閾値は、可視光画像と遠赤外線画像を比較した平均の画像信号のレベル差を予め求めておいて、これに基づいた値を記憶しておくことが望ましい。
【００２３】
入力された可視光画像は、高輝度領域検出部７０１によって高輝度領域の有無を判定され、高輝度信号領域がなかった場合にはそのまま後段の画像記録装置８に出力され、高輝度領域があった場合にメモリ７０２とメモリ７０３に出力される。メモリ７０２では、入力された可視光画像の所定の領域の画像信号が記憶され、メモリ７０３では、入力された可視光画像の高輝度領域の画像信号が記憶される。一方、入力された遠赤外線画像は、メモリ７０４およびメモリ７０５に出力される。メモリ７０４では、メモリ７０２に記憶された可視光画像の所定の領域に対応する遠赤外線画像の領域の画像信号が記憶され、メモリ７０５では、メモリ７０３に記憶された可視光画像の高輝度領域に対応する遠赤外線画像の領域の画像信号を記憶する。
【００２４】
減算部７０６では、メモリ７０２から出力された可視光画像の所定の領域の画像信号とメモリ７０４から出力された遠赤外線画像の対応する所定の領域の画像信号との画像信号のレベル差の値が算出され減算器７０８へ出力される。減算部７０７では、メモリ７０３から出力された可視光画像の高輝度領域の画像信号とメモリ７０５から出力された遠赤外線画像の対応する領域の画像信号との画像信号のレベル差の値が算出され減算器７０８へ出力される。減算器７０８では、減算器７０６から出力された可視光画像と遠赤外線画像の所定の領域の画像信号のレベル差の値と、減算器７０７から出力された可視光画像と遠赤外線画像の高輝度領域の画像信号のレベル差の値が算出され、比較部７１０に出力される。
【００２５】
比較部７１０では、減算器７０８から出力された画像信号のレベル差と閾値出力部７０９より出力される所定の閾値とが比較される。このとき、画像信号のレベル差が所定の閾値以上である場合には、可視光画像の高輝度領域が映り込み信号であると判断され、スイッチ７１１に可視光画像を補正部７１２に出力する様に接点を切り替えるための信号を出力する。また、画像信号のレベル差が所定の閾値未満である場合には、可視光画像の高輝度領域が映り込み信号でないと判断され、スイッチ７１１に可視光画像をそのまま後段の画像記録装置８に出力する様に接点を切り替えるための信号を出力する。
【００２６】
スイッチ７１１では、比較部７１０より入力された信号に従って接点を切り替える。補正部７１２では、可視光画像の映り込み光である高輝度領域に対して高輝度領域を消す様な補正が施される。これは例えば、高輝度領域を周辺の画素の画像信号に置き替えたり、高輝度領域の画像信号を圧縮したりと、周知の方法を用いて補正される。
【００２７】
可視光画像の所定の領域と遠赤外線画像の対応する所定の領域との差分が大きい場合は、撮像領域の明るさに対する通常の領域（物体）の温度が高いため閾値は高く設定されるべきであり、逆に差分が小さい場合は、撮像領域の明るさに対する通常の領域（物体）の温度が低いため閾値は高く低く設定されるべきである。
【００２８】
以上に詳細に説明した様に、本発明によれば、遠赤外線カメラは撮像領域内に存在し遠赤外線を放射する熱を持った物体を検出するためガラスに反射した映り込み光を画像として撮像することはないという性質を利用し、遠赤外線カメラから取得した遠赤外線画像と可視光カメラから取得した可視光画像を比較し、比較結果に基づいて映り込み部分の補正を行うことで、入射光量の少ない暗い領域、つまり可視光カメラで直接捉えることが困難である非可視領域であっても被写体となる対象物を逃すことなく検出することができる。
【００２９】
なお、本発明は上記各実施形態に限定されるものではない。例えば、上記画像処理装置の補正機能をデイアンドナイトカメラ等のカメラ内や、エンコーダ、記録装置等の他の機器に用いることももちろん可能であり、その構成及び動作の手順とその内容についても本発明の要旨を逸脱しない範囲で種々に変形して実施できる。
【００３０】
要するに本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００３１】
１：可視光カメラ、２，５：カメラケース、３，６：フロントガラス、４：遠赤外線カメラ、７：画像処理装置、８：画像記録装置、９：モニタ、１０：撮像領域、１１：照明、１２：被写体、１２−１：可視光画像の被写体、１２−２−：遠赤外線画像の被写体、５１：可視光画像、５２：可視光画像の照明、５３：映り込み光、５４：遠赤外線画像、５５：遠赤外線画像の照明、５６：可視光画像の映り込み位置に対応する遠赤外線画像の領域、５７：画像処理後の可視光画像、１０１，１０２，１０３：メモリ、１０４：減算部、１０５：閾値出力部、１０６：比較部、１０７：セレクタ、７０１：高輝度領域検出部、７０２，７０３，７０４，７０５：メモリ、７０６，７０７，７０８：減算部、７０９：閾値出力部、７１０：比較部、７１１：スイッチ、７１２：補正部。
【特許請求の範囲】
【請求項１】
可視光画像と遠赤外線画像とが入力され、
前記可視光画像と前記遠赤外線画像とに基づいて前記可視光画像の映り込み光を検出する映り込み光検出手段と、
前記映り込み光検出手段により前記可視光画像の映り込み光が検出された場合に、前記可視光画像の前記映り込み光領域に対して補正処理を行う補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記映り込み光検出手段は、
前記可視光画像の高輝度領域の画像信号を記憶する第１のメモリと、
前記可視光画像の所定の領域の画像信号を記憶する第２のメモリと、
前記可視光画像の高輝度領域に対応する前記遠赤外線画像の領域の画像信号を記憶する第３のメモリと、
前記可視光画像の所定の領域に対応する前記遠赤外線画像の領域の画像信号を記憶する第４のメモリと、
前記第１のメモリに記憶された画像信号と前記第３のメモリに記憶された画像信号との差分値を算出する第１の減算手段と、
前記第２のメモリに記憶された画像信号と前記第４のメモリに記憶された画像信号との差分値を算出する第２の減算手段と、
前記第１の減算手段で算出された差分値と前記第２の減算手段で算出された差分値との差分値を算出する第３の減算手段と、
前記第３の減算手段で算出された差分値と所定の閾値とを比較する比較手段と、を備え、
前記第３の減算手段で検出された差分値が前記所定の閾値より大きい場合に、前記可視光画像に映り込み光が存在すると判断することを特徴とする請求項１に記載の画像処理装置。
【請求項１】
可視光画像と遠赤外線画像とが入力され、
前記可視光画像と前記遠赤外線画像とに基づいて前記可視光画像の映り込み光を検出する映り込み光検出手段と、
前記映り込み光検出手段により前記可視光画像の映り込み光が検出された場合に、前記可視光画像の前記映り込み光領域に対して補正処理を行う補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記映り込み光検出手段は、
前記可視光画像の高輝度領域の画像信号を記憶する第１のメモリと、
前記可視光画像の所定の領域の画像信号を記憶する第２のメモリと、
前記可視光画像の高輝度領域に対応する前記遠赤外線画像の領域の画像信号を記憶する第３のメモリと、
前記可視光画像の所定の領域に対応する前記遠赤外線画像の領域の画像信号を記憶する第４のメモリと、
前記第１のメモリに記憶された画像信号と前記第３のメモリに記憶された画像信号との差分値を算出する第１の減算手段と、
前記第２のメモリに記憶された画像信号と前記第４のメモリに記憶された画像信号との差分値を算出する第２の減算手段と、
前記第１の減算手段で算出された差分値と前記第２の減算手段で算出された差分値との差分値を算出する第３の減算手段と、
前記第３の減算手段で算出された差分値と所定の閾値とを比較する比較手段と、を備え、
前記第３の減算手段で検出された差分値が前記所定の閾値より大きい場合に、前記可視光画像に映り込み光が存在すると判断することを特徴とする請求項１に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−２４３０３７（Ｐ２０１１−２４３０３７Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１５３１８（Ｐ２０１０−１１５３１８）
【出願日】平成２２年５月１９日（２０１０．５．１９）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１９日（２０１０．５．１９）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]