画像処理装置、及び画像処理プログラム
【課題】場所によって健全部分の温度が異なる被撮像物を撮像して得た温度画像から、その被撮像物の変状部分を検出する画像処理装置を提供する。
【解決手段】被撮像物の温度画像データが有する複数の画素の温度値それぞれに対して、各画素の周辺の画素群の温度値をパラメータとして用いた平滑化処理を行って、該各画素の背景温度値を算出する第１処理部と、前記各画素の温度値から前記背景温度を減算又は除算する第２処理部と、前記減算又は除算して得られる値が所定の範囲外の画素を検出する第３処理部とを備えることを特徴とする画像処理装置。
【解決手段】被撮像物の温度画像データが有する複数の画素の温度値それぞれに対して、各画素の周辺の画素群の温度値をパラメータとして用いた平滑化処理を行って、該各画素の背景温度値を算出する第１処理部と、前記各画素の温度値から前記背景温度を減算又は除算する第２処理部と、前記減算又は除算して得られる値が所定の範囲外の画素を検出する第３処理部とを備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、構造物の変状箇所の調査のため、構造物を撮影して得た画像を処理する装置及びプログラムに関するものである。
【背景技術】
【０００２】
トンネル等の構造物の変状箇所を調査する方法として、赤外線カメラによって撮影された温度画像を用いる方法がある。この方法は、構造物の内部に浮き・剥離等の変状部分があると、その部分の温度は健全部分の温度に比べて上昇しやすく、また下降しやすい、という現象を利用して、変状部分を検出している。つまり、温度画像を撮影し、画像中で周辺の健全部と比べて局所的に高温、または低温となる部分を変状部分として検出する。
【０００３】
温度画像を用いた変状検出方法として、例えば、温度画像から温度勾配を求め、これが所定の閾値以上となるときに、その部分を変状部とする方法が挙げられる（例えば、特許文献１を参照）。
【０００４】
しかし、例えばトンネルのような長大な構造物では、外気の影響を受けやすい出入り口付近と、影響を受けにくいトンネル中央付近との間で、健全部分の温度が異なる。その結果、変状箇所が存在する場所によって温度勾配の大きさが異なる。場所によって外気温が異なるために温度分布が生じている構造物を撮像した温度画像に、上記変状検出方法を適用すると、健全部分を変状部分として検出したり、変状部分を健全部分として検出したりするおそれがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３６６９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は以上を顧み、場所によって健全部分の温度が異なる被撮像物を撮像して得た温度画像から、その被撮像物の変状部分を検出する装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面によると、
被撮像物の温度画像データが有する複数の画素の温度値それぞれに対して、各画素の周辺の画素群の温度値をパラメータとして用いた平滑化処理を行って、該各画素の背景温度値を算出する第１処理部と、
前記各画素の温度値から前記背景温度を減算又は除算する第２処理部と、
前記減算又は除算して得られる値が所定の範囲外の画素を検出する第３処理部と
を備えることを特徴とする画像処理装置が提供される。
【発明の効果】
【０００８】
本発明の画像処理装置は、場所によって健全部分の温度が異なる被撮像物の温度画像から、被撮像物の変状部を検出することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１実施形態の画像処理装置の機能的な構成を示すブロック図である。
【図２】図２（ａ）〜図２（ｃ）は、被撮像物における温度と変状との関係を示すグラフである。
【図３】図３は、第１実施形態の画像処理装置が行う変状検出処理の流れ示す図である。
【図４】図４は、第１実施形態の変状検出処理に用いる被撮像物の温度画像データから抽出した、被撮像物のｘ＝ｋにおけるＹ方向の全範囲の温度分布Ｉ（ｋ，ｙ）を示すグラフである。
【図５】図５は、第１実施形態の画像処理装置が行う背景温度算出処理のフローチャートである。
【図６】図６（ａ）〜（ｄ）は、ＬＯＷＥＳＳを用いた温度分布ｊ（ｙ）のスムージング処理を説明するグラフである
【図７】図７は、被撮像物のｘ＝ｋにおけるＹ方向の全範囲の温度分布と背景温度ｂ（ｙ）とを示すグラフである。
【図８】図８は、第２実施形態の画像処置装置の機能的な構成を示すブロック図である。
【図９】図９は、第２実施形態の画像処置装置が行う被撮像物検出処理のフローチャートである。
【図１０】図１０は、一般的なコンピュータを用いて実現した第２実施形態の画像処理装置の一例を示す模式図である。
【発明を実施するための形態】
【００１０】
図１は、第１実施形態の画像処理装置の機能的な構成を示すブロック図である。画像処理装置１０は、背景温度算出処理部１１と、差分処理部１２と、変状検出処理部１３とを備える。
【００１１】
背景温度算出処理部１１は、温度画像取得手段２１によって撮像された被撮像物の温度画像データを取得し、取得した温度画像データの各画素について、その周辺の画素の温度を考慮した平滑化処理を行って背景温度を算出する。平滑化処理、背景温度等の詳細は後述する。
【００１２】
温度画像取得手段２１は、例えば、赤外線カメラとデータ処理手段を含んで構成される。赤外線カメラで取得された被撮像物の赤外線エネルギーデータは、データ処理手段で所定の温度画像データに変換される。データ処理手段が行う変換処理は、通常の赤外線サーモグラフィと同様である。赤外線放射エネルギーデータは、例えば、増幅、Ａ／Ｄ変換等を経て所定の温度画像データに変換される。
【００１３】
差分処理部１２は、温度画像データの各画素の温度から、各画素の背景温度を減算し、温度画像と背景温度算出処理された温度画像との差分データを取得する。
【００１４】
変状検出処理部１３は、減算して得た差分データの値が所定の範囲外の画素の位置を変状部分として検出する。検出された変状部分を示す画素の位置情報は、ディスプレイなどの出力装置２２に出力されてもよいし、ハードディスクなどの記憶装置２３に保存されてもよい。
【００１５】
次に、第１実施形態の画像処理装置を用いた変状検出処理について述べる。
【００１６】
被撮像物の内部に存在する浮き・剥離等の変状部分は、その部分の温度が健全部分の温度に比べて、周囲の温度（外気温）に応じて上昇しやすく、また下降しやすいという現象を利用して検出する。
【００１７】
本実施形態の変状検出処理に用いられる温度画像データは、温度値を２次元の画像データＩ（ｘ，ｙ）として得たものとする。ここで、ｘは画像の列（縦：Ｘ方向）の、ｙは行（横：Ｙ方向）の位置を示す。処理対象の温度画像データＩ（ｘ，ｙ）は、撮像対象部分が健全部分であるとしたときの温度分布を示す背景温度Ｂ（ｘ，ｙ）と、撮像対象部分の変状由来の温度Ｆ（ｘ，ｙ）の和で表すことができる。すなわち、温度画像データＩ（ｘ，ｙ）は、次式（１）で表される。
【００１８】
Ｉ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）＋Ｆ（ｘ，ｙ） （１）
図２（ａ）〜（ｃ）は、上記温度画像データＩ、背景温度Ｂ、及び変状由来の温度Ｆの関係を示すグラフであり、上記温度画像のうち、ある行ｙの列ｘにおける温度が示されている。但し、図２（ａ）〜（ｃ）において、被撮像物の温度画像のうち変状部分とその近傍のみを示している。図２（ａ）〜（ｃ）において、縦軸は温度値、横軸は温度画像の列方向（縦：Ｘ方向）の位置を示す。図２（ａ）は、撮像対象部分の一部が変状しているときの被撮像物の温度分布を示す。図２（ｂ）は、撮像対象部分がすべて健全であるときの被撮像物の温度分布を示す。図２（ｃ）は、被撮像物の変状由来の温度分布を示す。
【００１９】
第１実施形態において、背景温度算出処理部１１は、被撮像物の温度画像データＩ（ｘ，ｙ）から上記背景温度Ｂ（ｘ，ｙ）を算出する処理を行う。差分処理部１２は、温度画像データＩ（ｘ，ｙ）から背景温度Ｂ（ｘ，ｙ）を減算し、温度画像データと背景温度算出処理を行って得た温度画像データとの差分データを、変状由来の温度分布Ｆ（ｘ，ｙ）として取得する。変状検出処理部１３は、温度分布Ｆ（ｘ，ｙ）において温度値が所定の範囲を超える画素の位置を変状部分として検出する。
【００２０】
図３は、第１実施形態の画像処理装置が行う変状検出処理を示すフローチャートである。図４は、本実施形態の変状検出処理に用いる被撮像物の温度画像データから抽出した、被撮像物のｘ＝ｋにおけるＹ方向の全範囲の温度分布Ｉ（ｋ，ｙ）を示すグラフである。この温度分布Ｉ（ｋ，ｙ）の被撮像物は、例えば、コンクリート製のトンネルの壁面である。この温度分布Ｉにおいて、Ｙ方向の両端は例えばトンネルの入口と出口である。トンネルの中央部に比してトンネルの入口と出口は温度が高い。本実施形態の画像処理装置に用いられる温度画像データの撮像対象物は特に限定されるものではないが、場所によって外気温が異なることに起因して温度分布（ばらつき）が生じている構造物の温度画像データを用いた変状部分の検出に特に効果がある。
【００２１】
まず、背景温度算出処理部１１は、カメラ２１が撮像した被撮像物の温度画像データＩ（ｘ，ｙ）を取得し（Ｓ１０１）、温度画像データＩ（ｘ，ｙ）から背景温度Ｂ（ｘ，ｙ）を算出する（Ｓ１０２）。この背景温度算出処理については後述する。
【００２２】
次いで、差分処理部１２は、温度画像データＩ（ｘ，ｙ）から推定結果Ｂ（ｘ，ｙ）を減算して得られる差分データを、変状由来の温度Ｆ（ｘ，ｙ）として取得する（Ｓ１０３）。
【００２３】
次いで、変状検出処理部１３は、変状由来の温度Ｆ（ｘ，ｙ）が所定の範囲を超えている画素を変状部分として検出する（Ｓ１０４）。具体的には、例えば、二つの閾値Ｈ、Ｌ（ただし、Ｈ≧０≧Ｌを満たす）が設定され、
Ｆ（ｘ，ｙ）＞Ｈ （２）
又は
Ｆ（ｘ，ｙ）＜Ｌ （３）
を満たす画素を変状部とする。閾値Ｈ、Ｌとして、例えば、構造物の温度に関する過去の統計的データから算出した、健全部の温度と変状部の温度との温度差が利用されうる。また、例えば、それぞれ後述する背景温度画像処理において検出したピークの高さ又はその高さの７〜８割程度の値が利用されうる。
【００２４】
また、例えば、変状部の温度が健全部の温度よりも高くなるか低くなるかは、時間帯によって決まることを踏まえて、温度画像を撮像した時間帯に合わせて上記二つの閾値のうちいずれか一方のみを検出してもよい。すなわち、温度画像データＩ（ｘ，ｙ）が、昼間時など変状部が局所高温になる時刻の画像の場合、上記式（２）を満たす領域を変状部分として検出し、温度画像データＩ（ｘ，ｙ）が、夜間時など変状部が局所低温になる時刻の画像の場合、上記式（３）を満たす領域を変状部分として検出してもよい。
【００２５】
第１実施形態の画像処理装置は、ある時間帯において撮像された温度画像を用いて変状部の位置を検出しているが、同一被撮像物を複数の時間帯に撮像して得た複数の温度画像を用いて変状部分を検出してもよい。
【００２６】
例えば、まず、変状部の温度が健全部の温度よりも高くなる時間帯（例えば昼間）において撮像した温度画像に対して、上記背景温度算出処理及び差分処理を行って得た変状由来の温度ＦＤを取得する。そして、変状部の温度が健全部の温度よりも低くなる時間帯（例えば夜間）において撮像した温度画像に対して、上記背景温度算出処理及び差分処理を行って得た変状由来の温度ＦＮを取得する。次いで、得られた温度分布ＦＤ、及びＦＮが下記式（４）及び（５）の両方を満たす領域を変状部として検出してもよい。
【００２７】
ＦＤ（ｘ，ｙ）＞Ｈ （４）
ＦＮ（ｘ，ｙ）＜Ｌ （５）
（但し、Ｈ≧０≧Ｌ）
つまり、昼間に撮像した温度画像において昼間の健全部の温度よりも高い温度の画素であり、且つ夜間に撮像した温度画像において夜間の健全部の温度よりも低い温度の画素を変状部分として検出してもよい。
【００２８】
以下に、図５〜７を用いて、背景温度算出処理部が行う背景温度算出処理について説明する。
【００２９】
図５は、背景温度算出処理のフローチャートである。
【００３０】
まず、背景温度算出処理部１１は、温度画像取得手段２１により撮像された被撮像物の温度画像データＩ（ｘ，ｙ）を取得する（Ｓ２０１）。次いで、背景温度算出処理部１１は、温度画像データＩ（ｘ，ｙ）から、処理する列ｘ＝ｋの温度分布ｊ（ｙ）を読み込む（∀ｙ，ｊ（ｙ）＝Ｉ（ｋ，ｙ））（Ｓ２０２）。次いで、列ｘ＝ｋの温度分布ｊ（ｙ）に対し、各画素周辺の画素群（以下、第１画素群と称呼することがある。）の温度値を考慮したスムージング（平滑化）処理を行い（Ｓ２０３）、スムージング結果ｂ（ｙ）を、ｘ＝ｋにおける背景温度Ｂ（ｋ，ｙ）として入力する（∀ｙ，Ｂ（ｋ，ｙ）＝ｂ（ｙ））（Ｓ２０４）。
【００３１】
このスムージング処理により算出される位置ｙ＝ｙ１における画素の背景温度ｂ（ｙ１）は、その画素の周辺の第１画素群よりも更に離れた画素、すなわち、被撮像物の周囲の温度分布の影響により第１画素群の背景温度とは異なる背景温度を持つ他の画素群（以下、第２画素群と称呼する。）の影響が考慮されない。被撮像物の周囲の温度分布に依存した背景温度分布は、通常、変状由来の温度分布よりも広範囲にわたってなだらかに変化する。このスムージング処理で求められた背景温度は、被撮像物の周囲の温度分布に依存する広範囲にわたるなだらかな温度変化の影響が除外されている。また、狭い範囲にわたる変状由来の温度変化を示す画素の領域に対してスムージング処理がなされる。よって、このスムージング処理によれば温度分布ｊ（ｙ）から、各画素に対応する適切な背景温度を算出することができる。
【００３２】
上記、周辺の画素を考慮したスムージング処理に、平滑化フィルタ処理を用いる。平滑化フィルタ処理は、フィルタ処理（ある画素の画素値とその周辺の画素の画素値とで何らかの演算を行う。通常は重み付け和を行う。）の結果を平滑化結果とする方法である。ここで、「周辺の画素」とは、例えば、背景温度算出対象となるある画素を取り巻く画素（例えば、算出対象の画素を中心とするａ画素×ａ画素（ａは３以上の任意の整数）のうち、算出対象の画素を除いた部分）である。一次元方向（行方向、又は列方向）の画素に平滑化処理を行う場合、「周辺の画素」とは、ある画素を挟む画素（例えば、算出対象の画素を中心とするａ画素（ａは３以上の任意の整数）のうち、算出対象の画素を除いた部分）である。
【００３３】
算出対象の画素周辺の画素の範囲は、例えば以下のように設定される。変状箇所は、例えば、直径１０ｃｍ程度の握り拳大のものから、長さ１ｍ程度のひび割れのものがある。変状箇所の大きさは通常数ｃｍ〜数ｍである。一方、トンネルの全長は通常数十ｍ〜数ｋｍであり、多くは３００ｍ〜１ｋｍ程度である。また、トンネル壁面の周方向の長さは数十ｍであり、多くは２０〜４０ｍ程度である。変状箇所の大きさのオーダーはトンネルの全長やトンネル壁面の周方向の長さのオーダーよりも１〜４桁程度小さい。このオーダーの違いを利用し、例えば第１画素群の大きさは、変状箇所の大きさを想定して定められた所定値（例えば数ｃｍ〜数ｍ）の３〜５倍程度に対応する画素の大きさに設定される。また、例えば、第１画素群の大きさは取得した温度画像データの温度値から算出したピークの半値幅の２倍よりも大きく、且つ、ピークの半値幅の６〜１０倍程度に対応する画素の大きさに設定されてもよい。
【００３４】
また、第１画素群の大きさは、温度画像データの温度値から算出したピークの半値幅の２倍以上であり、且つ、第１画素群を構成する画素において、第１温度画像データの温度値と前記第２温度画像データの温度値との差が所定の範囲内になる範囲に設定されうる。
【００３５】
なお、被撮像物の実寸と画素数との関係は、例えば、カメラから物体までの距離と、カメラの仕様（１フレームに含まれる画素数及び画素の配列）とから算出することができる。
【００３６】
また、例えば、上記スムージング処理に局所回帰によるスムージングの一種であるＬＯＷＥＳＳ（ｌｏｃａｌｌｙ ｗｅｉｇｈｔｅｄ ｓｃａｔｔｅｒｐｌｏｔ ｓｍｏｏｔｈｉｎｇ）を用いることができる。ＬＯＷＥＳＳは、推定する点の周辺に重みを付け、重みを基に回帰曲線を求める手法である。本手法により得られる回帰曲線は、スムージング処理の対象となる曲線のトレンドによく追随する。ＬＯＷＥＳＳを上記スムージング処理に用いることは、背景温度算出に際して変状由来の温度ピークの影響を効果的に除去する点から好ましい。
【００３７】
図６（ａ）〜（ｄ）は、ＬＯＷＥＳＳを用いた温度分布ｊ（ｙ）のスムージング処理を説明するグラフである。図６（ａ）、（ｄ）において、縦軸は温度値、横軸は温度画像のｘ＝ｋにおける行方向（横：Ｙ方向）の位置を示す。図６（ｂ）、（ｃ）において、縦軸は重みの大きさ、軸は温度画像の行方向（横：Ｙ方向）の位置を示す。但し、図６（ａ）〜（ｄ）において、被撮像物のうち変状部分とその近傍のみを示している。
【００３８】
図６（ａ）は、被撮像物の温度分布を示す。ここで、背景温度を算出する対象となる画素の任意の位置をｙ＝ｙ１とする。図６（ｂ）は、位置ｙ＝ｙ１の周辺の重みの一例を示すグラフである。図６（ｂ）において、背景温度を算出する位置ｙ＝ｙ１を中心として重みづけがなされている。重みが付された範囲の画素が背景温度算出の際に考慮されるため、被撮像物の周囲の温度分布に依存した広範囲にわたるなだらかな温度の変化の影響は除外される。なお、本スムージング処理の説明においては、１次元方向のみに重み付けをしているが、位置ｙ＝ｙ１の画素の２次元方向の周辺（例えば、位置ｙ＝ｙ１の画素を中心とするａ画素×ａ画素（ａは３以上の任意の整数）など）に重み付けを行ってもよい。
【００３９】
図６（ｃ）は、ＬＯＷＥＳＳにより更新された重みの一例を示すグラフである。図６（ｃ）において、温度のピーク近傍の重みが小さい。よって、背景温度算出に際して変状由来の温度ピークの影響がより小さくなる。
【００４０】
図６（ｄ）は、図６（ａ）の温度分布と、図６（ｃ）の重みとから算出した回帰曲線を示すグラフである。算出した回帰曲線の位置ｙ＝ｙ１における温度値を、位置ｙ＝ｙ１における背景温度とする。
【００４１】
次いで、図６（ａ）〜（ｄ）を用いて説明した背景温度の算出と同様の手順で、すべての位置ｙでそれぞれ背景温度ｂ（ｙ）を算出する。図７は、被撮像物のｘ＝ｋにおけるＹ方向の全範囲の温度分布Ｉ（ｋ，ｙ）と背景温度ｂ（ｙ）とを示すグラフである。すべての位置ｙにおいてそれぞれ算出した背景温度ｂ（ｙ）は、被撮像物の周囲の温度分布に依存した広範囲にわたるなだらかな変化の影響が除外されるため、変状部分を除き温度Ｉ（ｋ，ｙ）によく追随している。
【００４２】
次いで、未処理の他の列ｋに対して、背景温度の算出が完了するまで、Ｓ２０２〜Ｓ２０４を繰り返す（Ｓ２０５）。すべての列ｘに対して背景温度の算出が完了したら（Ｓ２０５、Ｙｅｓ判定）、背景温度Ｂ（ｘ，ｙ）を出力する（Ｓ２０６）。
【００４３】
なお、周辺の画素を考慮したスムージング処理に、平均化フィルタ（移動平均フィルタ）、ガウシアンフィルタ、メジアンフィルタなどを用いてもよい。ＬＯＷＥＳＳは、これらの平滑化フィルタを比較すると、フィルタサイズや重みの付け方が画素ごとに可変であり、ノイズなどによる温度値の異常に対して頑健である点から好ましい。
【００４４】
この後、先述の差分処理（Ｓ１０３）と変状検出処理（Ｓ１０４、Ｓ１０５）を行う。
【００４５】
なお、差分処理部１２の代わりに設ける除算処理部が、温度画像データＩ（ｘ，ｙ）を背景温度Ｂ（ｘ，ｙ）で除算し、温度画像データを背景温度算出処理を行って得た温度画像データで除して算出される商の分布Ｆ’（ｘ，ｙ）を取得し、その後、変状検出処理部１３が、商の分布Ｆ’（ｘ，ｙ）において温度値が所定の範囲外の画素の位置を変状部分として検出してもよい。閾値Ｈ、Ｌとして、例えば、構造物の温度に関する過去の統計的データから算出した、変状部の温度に対する健全部の温度の温度比が利用されうる。このとき、Ｈ≧０≧Ｌのかわりに、Ｈ≧Ｌを満たす。
【００４６】
以上の被撮像物の温度画像を用いた変状部分の検出処理によれば、被撮像物の周囲の温度分布に依存した、広範囲にわたるなだらかな温度変化の影響が変状部の検出に寄与しないため、各画素に対応する適切な背景温度を算出することができる。よって、被撮像物の周囲の温度分布によらず、変状部の位置が精度良く検出されうる。
【００４７】
被撮像物が長大な構造物であるとき、本実施形態の画像処理装置に用いられる温度画像データとして、例えば、赤外線カメラを移動しながら被撮像物の各部分を個別に撮像した複数の温度画像データを取得し、それら複数の温度画像データを二次元座標上に配置した展開画像データが用いられてもよい。
【００４８】
具体的には、例えば、温度画像取得手段２１が、移動手段を備える赤外線カメラと、データ処理手段と、移動量取得手段と、展開画像作成手段を備える。移動手段に搭載した赤外線カメラが、移動手段によりカメラを移動させながらトンネルの壁面等の被撮像物の撮像を複数回行う。移動量取得手段によって、撮像時における、所定位置から撮像位置までの赤外線カメラの移動量を取得しておく。そして、展開画像作成手段は、移動量取得手段によって取得した赤外線カメラの移動量に基づき、撮像により得た複数の温度画像データを二次元座標上に配置した展開画像データを作成する。この展開画像データが、上記温度画像データとして、本実施形態の画像処理装置に用いられうる。
【００４９】
なお、温度画像取得手段に含まれる機能のうち一部又は全部が画像処理装置１０に含まれていてもよい。例えば、データ処理手段、及び展開画像作成手段は、画像処理装置１０に含まれていてもよい。
【００５０】
赤外線カメラの種類は特に限定されず、例えば、視覚センサが一次元方向に並んでいるラインセンサカメラ、視覚センサが二次元方向に並んでいるエリアセンサカメラのいずれを用いてもよい。ラインセンサカメラが撮像して得られるデータは一次元画像データであり、エリアセンサカメラが撮像して得られるデータは二次元画像データである。
【００５１】
赤外線カメラを移動する手段は特に限定されない。赤外線カメラは、例えば車両などの移動手段に搭載され、移動手段を動作させることで移動する。また、赤外線カメラは、移動手段により移動する方向に対して交差する方向に被撮像物を走査して撮像を行ってもよい。移動手段で移動する方向に対して交差する方向は、例えば前記移動方向に対して垂直である。例えば、移動方向に伸びる直線を中心として赤外線カメラのセンサと被撮像物とを結ぶ直線が回転するように赤外線カメラを回転させながら、赤外線カメラで撮像を行うことにより、被撮像物を走査できる。例えば、赤外線カメラは、被撮像物の上方から下方へと１回の走査を行った後、上方から下方への走査を繰り返す。被撮像物を走査する手段は、赤外線カメラに設けられ、赤外線カメラの向きや位置を動かす装置である。また、赤外線カメラに被撮像物を走査するための作動機構が内蔵された走査型のカメラを用いてもよい。
【００５２】
移動量取得手段は、所定位置から撮像位置までの赤外線カメラの移動量を取得する装置であり、例えば、赤外線カメラがある画像を撮像してから他の画像を撮像するまでの赤外線カメラの移動方向への移動量を計測する装置である。移動量は、通常、赤外線カメラによる画像の撮像と同期して取得される。移動量取得手段は、特に限定されないが、例えば、赤外線カメラの移動手段による移動方向の移動量を計測する移動量センサを用いることができる。赤外線カメラを車両に搭載して移動させるとき、例えば車両に設けた車速センサを移動量センサとして用いることができる。車速センサは、例えば車速パルス発生器が車軸の回転数に比例して発生させたパルス信号から、所定位置から撮像位置までの車両の移動量（例えば、ある撮像時から他の撮像時までの車両の移動量）を計測する。また更に、例えば、車両等の移動手段による移動方向に伸びる直線を中心として、赤外線カメラのセンサと被撮像物とを結ぶ直線が回転するように赤外線カメラを回転させながら、赤外線カメラで撮像を行う場合、その回転角度も移動量として計測する。
【００５３】
上記の手段で得られる展開画像データは、場所によって外気温が異なることに起因して温度分布（ばらつき）が生じる構造物の温度画像データであることが多い。この展開画像を用いた変状部分の検出処理によれば、被撮像物の周囲の温度分布に依存した、広範囲にわたるなだらかな温度変化の影響が変状部の検出に寄与しないため、各画素に対応する適切な背景温度を算出することができる。よって、被撮像物の周囲の温度分布によらず、変状部の位置が精度良く検出されうる。
【００５４】
なお、図４に示される温度画像データＩ（ｋ，ｙ）のように、トンネル内の雰囲気の温度の影響を受けて、トンネルの入口及び出口とトンネルの中央部とで背景温度が大きく異なる場合において、例えば壁面の平均温度を閾値として変状部を検出すると、変状部を健全部として検出したり、健全部を変状部として検出したりするおそれがある。
【００５５】
図８は、第２実施形態の画像処置装置の機能的な構成を示すブロック図である。なお、第１実施形態の画像処理装置と同様の部分については説明を省略する。
【００５６】
第２実施形態の画像処理装置１１０は、第１実施形態と同様、背景温度算出処理部１１と、差分処理部１２と、変状検出処理部１３とを備え、更に、被撮像物検出処理部３２を備える。
【００５７】
第２実施形態の画像処理装置に用いる温度画像データは、第１実施形態において説明した展開画像データである。展開画像データの説明は省略する。
【００５８】
被撮像物検出処理部３２は、不要部検出処理部３５、不要部除去処理部３４を含む。
【００５９】
不要部検出処理部３５は、展開画像データにおける不要部分を検出し、不要部除去処理部３４は、その不要部分を除去する。ここで不要部分とは、変状部の検出対象である被撮像物上又はその近傍に配置された他の物体に対応する画素データである。他の物体は、例えば、被撮像物がトンネルの壁面の場合、壁面に取り付けられた照明器具である。このような他の物体は被撮像物とは温度分布が異なるため、背景温度算出処理を行う前に展開画像データから不用データとして除去しておく。不要部分を除去せずに背景温度算出処理が行われると壁面の変状部の検出精度が下がる。例えば、照明器具に対応する画素の温度は温度画像データ中で高い値を示す。また、照明器具の点灯中に撮像した温度画像データにおいて、照明器具付近の壁面に対応する画素の温度も高い値を示す。このため、例えば壁面の平均温度を閾値として変状部を検出すると、照明器具付近に対応する画素の付近の温度値は閾値以上となり、変状部として検出されるおそれがある。
【００６０】
他の物体と温度画像取得手段の赤外線カメラとの距離は、通常、被撮像物と赤外線カメラとの距離と異なる。例えば、温度画像取得手段の赤外線カメラとトンネル壁面と距離は、通常、赤外線カメラとトンネル壁面に取り付けられた照明器具との距離よりも長い。そこで、不要部検出処理部３５は、距離取得手段２４によって取得された距離が小さい時点において撮像された温度画像データを照明器具に対応する画素データとみなして除去する。展開画像データから不用データを除いた残りの画素データが、変状部の検出対象である被撮像物を示す画素データとして検出される。
【００６１】
距離取得手段２４は、温度画像取得手段２１が取得した温度画像データの撮像時における温度画像取得手段２１から被撮像物までの距離を取得する。距離は、通常、温度画像取得手段２１による画像の撮像と同期して取得される。距離取得手段２４は、特に限定されないが、例えば、撮像対象にレーザー光や超音波などを当て、撮像対象より反射される光の到着時刻を測ることによって物体までの距離を計測するレンジセンサ等の距離センサを用いることができる。距離取得手段２４は、不用部検出処理部３５が被撮像物と被撮像物上又はその近傍に配置された他の物体とを識別するために用いられる。
【００６２】
こうして不用データを除去した展開画像データを用いて、第１実施形態において説明したように、背景温度算出処理部１１、差分処理部１２、及び変状検出処理部１３が変状箇所を検出する。
【００６３】
図９は、被撮像物検出処理のフローチャートである。なお、被撮像物がトンネルの壁面、他の物体が照明器具である場合のフローチャートである。
【００６４】
まず、不用部検出処理部３５は、距離取得手段２４が取得した撮影面までの距離情報の中から、所定の閾値以下の画素データを検出する（Ｓ４０１）。
【００６５】
次いで、不用部除去処理部３４は、温度画像取得手段２１が取得した展開画像データを取得し（Ｓ４０２）、不用部検出処理部３５が検出した不要部を展開画像データから除去する（Ｓ４０３）。除去方法として、別途マスク画像を用意し不要部をマスクしても良い。
【００６６】
次いで、不用部除去処理部３４は、ステップ４０３で除去されなかったデータ（マスクされていない画素）を、壁面を示す展開画像データとして出力する（Ｓ４０４）。
【００６７】
第２実施形態の画像処理装置によれば、第１実施形態の画像処理装置と同様に、被撮像物の周囲の温度分布に依存した、広範囲にわたるなだらかな温度変化の影響が変状部の検出に寄与しないため、各画素に対応する適切な背景温度を算出することができる。よって、被撮像物の周囲の温度分布によらず、変状部の位置が精度良く検出されうる。また、背景温度算出処理の前に、変状部分の検出対象である被撮像物のデータ以外の不要なデータを除去できるため、変状部の位置を更に精度良く検出することができる。
【００６８】
上記第１実施形態及び第２実施形態の画像処理装置は、例えば一般的なコンピュータを用いて実現できる。図１０は、一般的なコンピュータを用いて実現した第２実施形態の画像処理装置１１０の一例を示す模式図である。コンピュータ１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６０を含む。ＣＰＵ１４０は、バス１８０を介してＲＯＭ１５０、ＲＡＭ１６０と接続される。また、コンピュータ１２０は、温度画像取得手段、距離取得手段、変状位置記憶装置と接続されている。画像処理装置１１０全体の動作はＣＰＵ１４０によって統括制御される。コンピュータ１２０は、上記、被撮像物検出処理、背景温度算出処理、差分処理、変状検出処理を行う。ＣＰＵ１４０は、所定のプログラムに従って温度画像取得手段、距離取得手段、変状位置記憶装置を制御する制御手段として機能するとともに、上記被撮像物検出処理、背景温度算出処理、差分処理、変状検出処理など各種演算を実施する演算手段として機能する。ＲＡＭ１６０は、プログラムの展開領域及びＣＰＵ１４０の演算作業用領域として利用されるとともに、温度画像データ（展開画像データ）の一時記憶領域として利用される。ＲＯＭ１５０には、ＣＰＵ１４０が実行するプログラム及び制御に必要な各種データや、温度画像取得手段、距離取得手段、及び変状位置記憶装置の動作に関する各種定数／情報等が格納されている。上記プログラムは、図示されない各種記憶媒体に格納されて提供されてもよい。
【００６９】
尚、本発明は上記実施形態に限定されるものではない。矛盾のない限りにおいて、複数の実施例を組み合わせても構わない。上記実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【００７０】
１０ 画像処理装置
１１ 背景温度算出処理部
１２ 差分処理部
１３ 変状検出処理部
２１ 温度画像取得手段
２２ 出力装置
２３ 記憶装置
２４ 距離取得手段
３２ 被撮像物検出処理部
３４ 不用部除去処理部
３５ 不用部検出処理部
１１０ 画像処理装置
１２０ コンピュータ
１４０ ＣＰＵ
１５０ ＲＯＭ
１６０ ＲＡＭ
１８０ バス
【技術分野】
【０００１】
本発明は、構造物の変状箇所の調査のため、構造物を撮影して得た画像を処理する装置及びプログラムに関するものである。
【背景技術】
【０００２】
トンネル等の構造物の変状箇所を調査する方法として、赤外線カメラによって撮影された温度画像を用いる方法がある。この方法は、構造物の内部に浮き・剥離等の変状部分があると、その部分の温度は健全部分の温度に比べて上昇しやすく、また下降しやすい、という現象を利用して、変状部分を検出している。つまり、温度画像を撮影し、画像中で周辺の健全部と比べて局所的に高温、または低温となる部分を変状部分として検出する。
【０００３】
温度画像を用いた変状検出方法として、例えば、温度画像から温度勾配を求め、これが所定の閾値以上となるときに、その部分を変状部とする方法が挙げられる（例えば、特許文献１を参照）。
【０００４】
しかし、例えばトンネルのような長大な構造物では、外気の影響を受けやすい出入り口付近と、影響を受けにくいトンネル中央付近との間で、健全部分の温度が異なる。その結果、変状箇所が存在する場所によって温度勾配の大きさが異なる。場所によって外気温が異なるために温度分布が生じている構造物を撮像した温度画像に、上記変状検出方法を適用すると、健全部分を変状部分として検出したり、変状部分を健全部分として検出したりするおそれがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３６６９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は以上を顧み、場所によって健全部分の温度が異なる被撮像物を撮像して得た温度画像から、その被撮像物の変状部分を検出する装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面によると、
被撮像物の温度画像データが有する複数の画素の温度値それぞれに対して、各画素の周辺の画素群の温度値をパラメータとして用いた平滑化処理を行って、該各画素の背景温度値を算出する第１処理部と、
前記各画素の温度値から前記背景温度を減算又は除算する第２処理部と、
前記減算又は除算して得られる値が所定の範囲外の画素を検出する第３処理部と
を備えることを特徴とする画像処理装置が提供される。
【発明の効果】
【０００８】
本発明の画像処理装置は、場所によって健全部分の温度が異なる被撮像物の温度画像から、被撮像物の変状部を検出することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１実施形態の画像処理装置の機能的な構成を示すブロック図である。
【図２】図２（ａ）〜図２（ｃ）は、被撮像物における温度と変状との関係を示すグラフである。
【図３】図３は、第１実施形態の画像処理装置が行う変状検出処理の流れ示す図である。
【図４】図４は、第１実施形態の変状検出処理に用いる被撮像物の温度画像データから抽出した、被撮像物のｘ＝ｋにおけるＹ方向の全範囲の温度分布Ｉ（ｋ，ｙ）を示すグラフである。
【図５】図５は、第１実施形態の画像処理装置が行う背景温度算出処理のフローチャートである。
【図６】図６（ａ）〜（ｄ）は、ＬＯＷＥＳＳを用いた温度分布ｊ（ｙ）のスムージング処理を説明するグラフである
【図７】図７は、被撮像物のｘ＝ｋにおけるＹ方向の全範囲の温度分布と背景温度ｂ（ｙ）とを示すグラフである。
【図８】図８は、第２実施形態の画像処置装置の機能的な構成を示すブロック図である。
【図９】図９は、第２実施形態の画像処置装置が行う被撮像物検出処理のフローチャートである。
【図１０】図１０は、一般的なコンピュータを用いて実現した第２実施形態の画像処理装置の一例を示す模式図である。
【発明を実施するための形態】
【００１０】
図１は、第１実施形態の画像処理装置の機能的な構成を示すブロック図である。画像処理装置１０は、背景温度算出処理部１１と、差分処理部１２と、変状検出処理部１３とを備える。
【００１１】
背景温度算出処理部１１は、温度画像取得手段２１によって撮像された被撮像物の温度画像データを取得し、取得した温度画像データの各画素について、その周辺の画素の温度を考慮した平滑化処理を行って背景温度を算出する。平滑化処理、背景温度等の詳細は後述する。
【００１２】
温度画像取得手段２１は、例えば、赤外線カメラとデータ処理手段を含んで構成される。赤外線カメラで取得された被撮像物の赤外線エネルギーデータは、データ処理手段で所定の温度画像データに変換される。データ処理手段が行う変換処理は、通常の赤外線サーモグラフィと同様である。赤外線放射エネルギーデータは、例えば、増幅、Ａ／Ｄ変換等を経て所定の温度画像データに変換される。
【００１３】
差分処理部１２は、温度画像データの各画素の温度から、各画素の背景温度を減算し、温度画像と背景温度算出処理された温度画像との差分データを取得する。
【００１４】
変状検出処理部１３は、減算して得た差分データの値が所定の範囲外の画素の位置を変状部分として検出する。検出された変状部分を示す画素の位置情報は、ディスプレイなどの出力装置２２に出力されてもよいし、ハードディスクなどの記憶装置２３に保存されてもよい。
【００１５】
次に、第１実施形態の画像処理装置を用いた変状検出処理について述べる。
【００１６】
被撮像物の内部に存在する浮き・剥離等の変状部分は、その部分の温度が健全部分の温度に比べて、周囲の温度（外気温）に応じて上昇しやすく、また下降しやすいという現象を利用して検出する。
【００１７】
本実施形態の変状検出処理に用いられる温度画像データは、温度値を２次元の画像データＩ（ｘ，ｙ）として得たものとする。ここで、ｘは画像の列（縦：Ｘ方向）の、ｙは行（横：Ｙ方向）の位置を示す。処理対象の温度画像データＩ（ｘ，ｙ）は、撮像対象部分が健全部分であるとしたときの温度分布を示す背景温度Ｂ（ｘ，ｙ）と、撮像対象部分の変状由来の温度Ｆ（ｘ，ｙ）の和で表すことができる。すなわち、温度画像データＩ（ｘ，ｙ）は、次式（１）で表される。
【００１８】
Ｉ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）＋Ｆ（ｘ，ｙ） （１）
図２（ａ）〜（ｃ）は、上記温度画像データＩ、背景温度Ｂ、及び変状由来の温度Ｆの関係を示すグラフであり、上記温度画像のうち、ある行ｙの列ｘにおける温度が示されている。但し、図２（ａ）〜（ｃ）において、被撮像物の温度画像のうち変状部分とその近傍のみを示している。図２（ａ）〜（ｃ）において、縦軸は温度値、横軸は温度画像の列方向（縦：Ｘ方向）の位置を示す。図２（ａ）は、撮像対象部分の一部が変状しているときの被撮像物の温度分布を示す。図２（ｂ）は、撮像対象部分がすべて健全であるときの被撮像物の温度分布を示す。図２（ｃ）は、被撮像物の変状由来の温度分布を示す。
【００１９】
第１実施形態において、背景温度算出処理部１１は、被撮像物の温度画像データＩ（ｘ，ｙ）から上記背景温度Ｂ（ｘ，ｙ）を算出する処理を行う。差分処理部１２は、温度画像データＩ（ｘ，ｙ）から背景温度Ｂ（ｘ，ｙ）を減算し、温度画像データと背景温度算出処理を行って得た温度画像データとの差分データを、変状由来の温度分布Ｆ（ｘ，ｙ）として取得する。変状検出処理部１３は、温度分布Ｆ（ｘ，ｙ）において温度値が所定の範囲を超える画素の位置を変状部分として検出する。
【００２０】
図３は、第１実施形態の画像処理装置が行う変状検出処理を示すフローチャートである。図４は、本実施形態の変状検出処理に用いる被撮像物の温度画像データから抽出した、被撮像物のｘ＝ｋにおけるＹ方向の全範囲の温度分布Ｉ（ｋ，ｙ）を示すグラフである。この温度分布Ｉ（ｋ，ｙ）の被撮像物は、例えば、コンクリート製のトンネルの壁面である。この温度分布Ｉにおいて、Ｙ方向の両端は例えばトンネルの入口と出口である。トンネルの中央部に比してトンネルの入口と出口は温度が高い。本実施形態の画像処理装置に用いられる温度画像データの撮像対象物は特に限定されるものではないが、場所によって外気温が異なることに起因して温度分布（ばらつき）が生じている構造物の温度画像データを用いた変状部分の検出に特に効果がある。
【００２１】
まず、背景温度算出処理部１１は、カメラ２１が撮像した被撮像物の温度画像データＩ（ｘ，ｙ）を取得し（Ｓ１０１）、温度画像データＩ（ｘ，ｙ）から背景温度Ｂ（ｘ，ｙ）を算出する（Ｓ１０２）。この背景温度算出処理については後述する。
【００２２】
次いで、差分処理部１２は、温度画像データＩ（ｘ，ｙ）から推定結果Ｂ（ｘ，ｙ）を減算して得られる差分データを、変状由来の温度Ｆ（ｘ，ｙ）として取得する（Ｓ１０３）。
【００２３】
次いで、変状検出処理部１３は、変状由来の温度Ｆ（ｘ，ｙ）が所定の範囲を超えている画素を変状部分として検出する（Ｓ１０４）。具体的には、例えば、二つの閾値Ｈ、Ｌ（ただし、Ｈ≧０≧Ｌを満たす）が設定され、
Ｆ（ｘ，ｙ）＞Ｈ （２）
又は
Ｆ（ｘ，ｙ）＜Ｌ （３）
を満たす画素を変状部とする。閾値Ｈ、Ｌとして、例えば、構造物の温度に関する過去の統計的データから算出した、健全部の温度と変状部の温度との温度差が利用されうる。また、例えば、それぞれ後述する背景温度画像処理において検出したピークの高さ又はその高さの７〜８割程度の値が利用されうる。
【００２４】
また、例えば、変状部の温度が健全部の温度よりも高くなるか低くなるかは、時間帯によって決まることを踏まえて、温度画像を撮像した時間帯に合わせて上記二つの閾値のうちいずれか一方のみを検出してもよい。すなわち、温度画像データＩ（ｘ，ｙ）が、昼間時など変状部が局所高温になる時刻の画像の場合、上記式（２）を満たす領域を変状部分として検出し、温度画像データＩ（ｘ，ｙ）が、夜間時など変状部が局所低温になる時刻の画像の場合、上記式（３）を満たす領域を変状部分として検出してもよい。
【００２５】
第１実施形態の画像処理装置は、ある時間帯において撮像された温度画像を用いて変状部の位置を検出しているが、同一被撮像物を複数の時間帯に撮像して得た複数の温度画像を用いて変状部分を検出してもよい。
【００２６】
例えば、まず、変状部の温度が健全部の温度よりも高くなる時間帯（例えば昼間）において撮像した温度画像に対して、上記背景温度算出処理及び差分処理を行って得た変状由来の温度ＦＤを取得する。そして、変状部の温度が健全部の温度よりも低くなる時間帯（例えば夜間）において撮像した温度画像に対して、上記背景温度算出処理及び差分処理を行って得た変状由来の温度ＦＮを取得する。次いで、得られた温度分布ＦＤ、及びＦＮが下記式（４）及び（５）の両方を満たす領域を変状部として検出してもよい。
【００２７】
ＦＤ（ｘ，ｙ）＞Ｈ （４）
ＦＮ（ｘ，ｙ）＜Ｌ （５）
（但し、Ｈ≧０≧Ｌ）
つまり、昼間に撮像した温度画像において昼間の健全部の温度よりも高い温度の画素であり、且つ夜間に撮像した温度画像において夜間の健全部の温度よりも低い温度の画素を変状部分として検出してもよい。
【００２８】
以下に、図５〜７を用いて、背景温度算出処理部が行う背景温度算出処理について説明する。
【００２９】
図５は、背景温度算出処理のフローチャートである。
【００３０】
まず、背景温度算出処理部１１は、温度画像取得手段２１により撮像された被撮像物の温度画像データＩ（ｘ，ｙ）を取得する（Ｓ２０１）。次いで、背景温度算出処理部１１は、温度画像データＩ（ｘ，ｙ）から、処理する列ｘ＝ｋの温度分布ｊ（ｙ）を読み込む（∀ｙ，ｊ（ｙ）＝Ｉ（ｋ，ｙ））（Ｓ２０２）。次いで、列ｘ＝ｋの温度分布ｊ（ｙ）に対し、各画素周辺の画素群（以下、第１画素群と称呼することがある。）の温度値を考慮したスムージング（平滑化）処理を行い（Ｓ２０３）、スムージング結果ｂ（ｙ）を、ｘ＝ｋにおける背景温度Ｂ（ｋ，ｙ）として入力する（∀ｙ，Ｂ（ｋ，ｙ）＝ｂ（ｙ））（Ｓ２０４）。
【００３１】
このスムージング処理により算出される位置ｙ＝ｙ１における画素の背景温度ｂ（ｙ１）は、その画素の周辺の第１画素群よりも更に離れた画素、すなわち、被撮像物の周囲の温度分布の影響により第１画素群の背景温度とは異なる背景温度を持つ他の画素群（以下、第２画素群と称呼する。）の影響が考慮されない。被撮像物の周囲の温度分布に依存した背景温度分布は、通常、変状由来の温度分布よりも広範囲にわたってなだらかに変化する。このスムージング処理で求められた背景温度は、被撮像物の周囲の温度分布に依存する広範囲にわたるなだらかな温度変化の影響が除外されている。また、狭い範囲にわたる変状由来の温度変化を示す画素の領域に対してスムージング処理がなされる。よって、このスムージング処理によれば温度分布ｊ（ｙ）から、各画素に対応する適切な背景温度を算出することができる。
【００３２】
上記、周辺の画素を考慮したスムージング処理に、平滑化フィルタ処理を用いる。平滑化フィルタ処理は、フィルタ処理（ある画素の画素値とその周辺の画素の画素値とで何らかの演算を行う。通常は重み付け和を行う。）の結果を平滑化結果とする方法である。ここで、「周辺の画素」とは、例えば、背景温度算出対象となるある画素を取り巻く画素（例えば、算出対象の画素を中心とするａ画素×ａ画素（ａは３以上の任意の整数）のうち、算出対象の画素を除いた部分）である。一次元方向（行方向、又は列方向）の画素に平滑化処理を行う場合、「周辺の画素」とは、ある画素を挟む画素（例えば、算出対象の画素を中心とするａ画素（ａは３以上の任意の整数）のうち、算出対象の画素を除いた部分）である。
【００３３】
算出対象の画素周辺の画素の範囲は、例えば以下のように設定される。変状箇所は、例えば、直径１０ｃｍ程度の握り拳大のものから、長さ１ｍ程度のひび割れのものがある。変状箇所の大きさは通常数ｃｍ〜数ｍである。一方、トンネルの全長は通常数十ｍ〜数ｋｍであり、多くは３００ｍ〜１ｋｍ程度である。また、トンネル壁面の周方向の長さは数十ｍであり、多くは２０〜４０ｍ程度である。変状箇所の大きさのオーダーはトンネルの全長やトンネル壁面の周方向の長さのオーダーよりも１〜４桁程度小さい。このオーダーの違いを利用し、例えば第１画素群の大きさは、変状箇所の大きさを想定して定められた所定値（例えば数ｃｍ〜数ｍ）の３〜５倍程度に対応する画素の大きさに設定される。また、例えば、第１画素群の大きさは取得した温度画像データの温度値から算出したピークの半値幅の２倍よりも大きく、且つ、ピークの半値幅の６〜１０倍程度に対応する画素の大きさに設定されてもよい。
【００３４】
また、第１画素群の大きさは、温度画像データの温度値から算出したピークの半値幅の２倍以上であり、且つ、第１画素群を構成する画素において、第１温度画像データの温度値と前記第２温度画像データの温度値との差が所定の範囲内になる範囲に設定されうる。
【００３５】
なお、被撮像物の実寸と画素数との関係は、例えば、カメラから物体までの距離と、カメラの仕様（１フレームに含まれる画素数及び画素の配列）とから算出することができる。
【００３６】
また、例えば、上記スムージング処理に局所回帰によるスムージングの一種であるＬＯＷＥＳＳ（ｌｏｃａｌｌｙ ｗｅｉｇｈｔｅｄ ｓｃａｔｔｅｒｐｌｏｔ ｓｍｏｏｔｈｉｎｇ）を用いることができる。ＬＯＷＥＳＳは、推定する点の周辺に重みを付け、重みを基に回帰曲線を求める手法である。本手法により得られる回帰曲線は、スムージング処理の対象となる曲線のトレンドによく追随する。ＬＯＷＥＳＳを上記スムージング処理に用いることは、背景温度算出に際して変状由来の温度ピークの影響を効果的に除去する点から好ましい。
【００３７】
図６（ａ）〜（ｄ）は、ＬＯＷＥＳＳを用いた温度分布ｊ（ｙ）のスムージング処理を説明するグラフである。図６（ａ）、（ｄ）において、縦軸は温度値、横軸は温度画像のｘ＝ｋにおける行方向（横：Ｙ方向）の位置を示す。図６（ｂ）、（ｃ）において、縦軸は重みの大きさ、軸は温度画像の行方向（横：Ｙ方向）の位置を示す。但し、図６（ａ）〜（ｄ）において、被撮像物のうち変状部分とその近傍のみを示している。
【００３８】
図６（ａ）は、被撮像物の温度分布を示す。ここで、背景温度を算出する対象となる画素の任意の位置をｙ＝ｙ１とする。図６（ｂ）は、位置ｙ＝ｙ１の周辺の重みの一例を示すグラフである。図６（ｂ）において、背景温度を算出する位置ｙ＝ｙ１を中心として重みづけがなされている。重みが付された範囲の画素が背景温度算出の際に考慮されるため、被撮像物の周囲の温度分布に依存した広範囲にわたるなだらかな温度の変化の影響は除外される。なお、本スムージング処理の説明においては、１次元方向のみに重み付けをしているが、位置ｙ＝ｙ１の画素の２次元方向の周辺（例えば、位置ｙ＝ｙ１の画素を中心とするａ画素×ａ画素（ａは３以上の任意の整数）など）に重み付けを行ってもよい。
【００３９】
図６（ｃ）は、ＬＯＷＥＳＳにより更新された重みの一例を示すグラフである。図６（ｃ）において、温度のピーク近傍の重みが小さい。よって、背景温度算出に際して変状由来の温度ピークの影響がより小さくなる。
【００４０】
図６（ｄ）は、図６（ａ）の温度分布と、図６（ｃ）の重みとから算出した回帰曲線を示すグラフである。算出した回帰曲線の位置ｙ＝ｙ１における温度値を、位置ｙ＝ｙ１における背景温度とする。
【００４１】
次いで、図６（ａ）〜（ｄ）を用いて説明した背景温度の算出と同様の手順で、すべての位置ｙでそれぞれ背景温度ｂ（ｙ）を算出する。図７は、被撮像物のｘ＝ｋにおけるＹ方向の全範囲の温度分布Ｉ（ｋ，ｙ）と背景温度ｂ（ｙ）とを示すグラフである。すべての位置ｙにおいてそれぞれ算出した背景温度ｂ（ｙ）は、被撮像物の周囲の温度分布に依存した広範囲にわたるなだらかな変化の影響が除外されるため、変状部分を除き温度Ｉ（ｋ，ｙ）によく追随している。
【００４２】
次いで、未処理の他の列ｋに対して、背景温度の算出が完了するまで、Ｓ２０２〜Ｓ２０４を繰り返す（Ｓ２０５）。すべての列ｘに対して背景温度の算出が完了したら（Ｓ２０５、Ｙｅｓ判定）、背景温度Ｂ（ｘ，ｙ）を出力する（Ｓ２０６）。
【００４３】
なお、周辺の画素を考慮したスムージング処理に、平均化フィルタ（移動平均フィルタ）、ガウシアンフィルタ、メジアンフィルタなどを用いてもよい。ＬＯＷＥＳＳは、これらの平滑化フィルタを比較すると、フィルタサイズや重みの付け方が画素ごとに可変であり、ノイズなどによる温度値の異常に対して頑健である点から好ましい。
【００４４】
この後、先述の差分処理（Ｓ１０３）と変状検出処理（Ｓ１０４、Ｓ１０５）を行う。
【００４５】
なお、差分処理部１２の代わりに設ける除算処理部が、温度画像データＩ（ｘ，ｙ）を背景温度Ｂ（ｘ，ｙ）で除算し、温度画像データを背景温度算出処理を行って得た温度画像データで除して算出される商の分布Ｆ’（ｘ，ｙ）を取得し、その後、変状検出処理部１３が、商の分布Ｆ’（ｘ，ｙ）において温度値が所定の範囲外の画素の位置を変状部分として検出してもよい。閾値Ｈ、Ｌとして、例えば、構造物の温度に関する過去の統計的データから算出した、変状部の温度に対する健全部の温度の温度比が利用されうる。このとき、Ｈ≧０≧Ｌのかわりに、Ｈ≧Ｌを満たす。
【００４６】
以上の被撮像物の温度画像を用いた変状部分の検出処理によれば、被撮像物の周囲の温度分布に依存した、広範囲にわたるなだらかな温度変化の影響が変状部の検出に寄与しないため、各画素に対応する適切な背景温度を算出することができる。よって、被撮像物の周囲の温度分布によらず、変状部の位置が精度良く検出されうる。
【００４７】
被撮像物が長大な構造物であるとき、本実施形態の画像処理装置に用いられる温度画像データとして、例えば、赤外線カメラを移動しながら被撮像物の各部分を個別に撮像した複数の温度画像データを取得し、それら複数の温度画像データを二次元座標上に配置した展開画像データが用いられてもよい。
【００４８】
具体的には、例えば、温度画像取得手段２１が、移動手段を備える赤外線カメラと、データ処理手段と、移動量取得手段と、展開画像作成手段を備える。移動手段に搭載した赤外線カメラが、移動手段によりカメラを移動させながらトンネルの壁面等の被撮像物の撮像を複数回行う。移動量取得手段によって、撮像時における、所定位置から撮像位置までの赤外線カメラの移動量を取得しておく。そして、展開画像作成手段は、移動量取得手段によって取得した赤外線カメラの移動量に基づき、撮像により得た複数の温度画像データを二次元座標上に配置した展開画像データを作成する。この展開画像データが、上記温度画像データとして、本実施形態の画像処理装置に用いられうる。
【００４９】
なお、温度画像取得手段に含まれる機能のうち一部又は全部が画像処理装置１０に含まれていてもよい。例えば、データ処理手段、及び展開画像作成手段は、画像処理装置１０に含まれていてもよい。
【００５０】
赤外線カメラの種類は特に限定されず、例えば、視覚センサが一次元方向に並んでいるラインセンサカメラ、視覚センサが二次元方向に並んでいるエリアセンサカメラのいずれを用いてもよい。ラインセンサカメラが撮像して得られるデータは一次元画像データであり、エリアセンサカメラが撮像して得られるデータは二次元画像データである。
【００５１】
赤外線カメラを移動する手段は特に限定されない。赤外線カメラは、例えば車両などの移動手段に搭載され、移動手段を動作させることで移動する。また、赤外線カメラは、移動手段により移動する方向に対して交差する方向に被撮像物を走査して撮像を行ってもよい。移動手段で移動する方向に対して交差する方向は、例えば前記移動方向に対して垂直である。例えば、移動方向に伸びる直線を中心として赤外線カメラのセンサと被撮像物とを結ぶ直線が回転するように赤外線カメラを回転させながら、赤外線カメラで撮像を行うことにより、被撮像物を走査できる。例えば、赤外線カメラは、被撮像物の上方から下方へと１回の走査を行った後、上方から下方への走査を繰り返す。被撮像物を走査する手段は、赤外線カメラに設けられ、赤外線カメラの向きや位置を動かす装置である。また、赤外線カメラに被撮像物を走査するための作動機構が内蔵された走査型のカメラを用いてもよい。
【００５２】
移動量取得手段は、所定位置から撮像位置までの赤外線カメラの移動量を取得する装置であり、例えば、赤外線カメラがある画像を撮像してから他の画像を撮像するまでの赤外線カメラの移動方向への移動量を計測する装置である。移動量は、通常、赤外線カメラによる画像の撮像と同期して取得される。移動量取得手段は、特に限定されないが、例えば、赤外線カメラの移動手段による移動方向の移動量を計測する移動量センサを用いることができる。赤外線カメラを車両に搭載して移動させるとき、例えば車両に設けた車速センサを移動量センサとして用いることができる。車速センサは、例えば車速パルス発生器が車軸の回転数に比例して発生させたパルス信号から、所定位置から撮像位置までの車両の移動量（例えば、ある撮像時から他の撮像時までの車両の移動量）を計測する。また更に、例えば、車両等の移動手段による移動方向に伸びる直線を中心として、赤外線カメラのセンサと被撮像物とを結ぶ直線が回転するように赤外線カメラを回転させながら、赤外線カメラで撮像を行う場合、その回転角度も移動量として計測する。
【００５３】
上記の手段で得られる展開画像データは、場所によって外気温が異なることに起因して温度分布（ばらつき）が生じる構造物の温度画像データであることが多い。この展開画像を用いた変状部分の検出処理によれば、被撮像物の周囲の温度分布に依存した、広範囲にわたるなだらかな温度変化の影響が変状部の検出に寄与しないため、各画素に対応する適切な背景温度を算出することができる。よって、被撮像物の周囲の温度分布によらず、変状部の位置が精度良く検出されうる。
【００５４】
なお、図４に示される温度画像データＩ（ｋ，ｙ）のように、トンネル内の雰囲気の温度の影響を受けて、トンネルの入口及び出口とトンネルの中央部とで背景温度が大きく異なる場合において、例えば壁面の平均温度を閾値として変状部を検出すると、変状部を健全部として検出したり、健全部を変状部として検出したりするおそれがある。
【００５５】
図８は、第２実施形態の画像処置装置の機能的な構成を示すブロック図である。なお、第１実施形態の画像処理装置と同様の部分については説明を省略する。
【００５６】
第２実施形態の画像処理装置１１０は、第１実施形態と同様、背景温度算出処理部１１と、差分処理部１２と、変状検出処理部１３とを備え、更に、被撮像物検出処理部３２を備える。
【００５７】
第２実施形態の画像処理装置に用いる温度画像データは、第１実施形態において説明した展開画像データである。展開画像データの説明は省略する。
【００５８】
被撮像物検出処理部３２は、不要部検出処理部３５、不要部除去処理部３４を含む。
【００５９】
不要部検出処理部３５は、展開画像データにおける不要部分を検出し、不要部除去処理部３４は、その不要部分を除去する。ここで不要部分とは、変状部の検出対象である被撮像物上又はその近傍に配置された他の物体に対応する画素データである。他の物体は、例えば、被撮像物がトンネルの壁面の場合、壁面に取り付けられた照明器具である。このような他の物体は被撮像物とは温度分布が異なるため、背景温度算出処理を行う前に展開画像データから不用データとして除去しておく。不要部分を除去せずに背景温度算出処理が行われると壁面の変状部の検出精度が下がる。例えば、照明器具に対応する画素の温度は温度画像データ中で高い値を示す。また、照明器具の点灯中に撮像した温度画像データにおいて、照明器具付近の壁面に対応する画素の温度も高い値を示す。このため、例えば壁面の平均温度を閾値として変状部を検出すると、照明器具付近に対応する画素の付近の温度値は閾値以上となり、変状部として検出されるおそれがある。
【００６０】
他の物体と温度画像取得手段の赤外線カメラとの距離は、通常、被撮像物と赤外線カメラとの距離と異なる。例えば、温度画像取得手段の赤外線カメラとトンネル壁面と距離は、通常、赤外線カメラとトンネル壁面に取り付けられた照明器具との距離よりも長い。そこで、不要部検出処理部３５は、距離取得手段２４によって取得された距離が小さい時点において撮像された温度画像データを照明器具に対応する画素データとみなして除去する。展開画像データから不用データを除いた残りの画素データが、変状部の検出対象である被撮像物を示す画素データとして検出される。
【００６１】
距離取得手段２４は、温度画像取得手段２１が取得した温度画像データの撮像時における温度画像取得手段２１から被撮像物までの距離を取得する。距離は、通常、温度画像取得手段２１による画像の撮像と同期して取得される。距離取得手段２４は、特に限定されないが、例えば、撮像対象にレーザー光や超音波などを当て、撮像対象より反射される光の到着時刻を測ることによって物体までの距離を計測するレンジセンサ等の距離センサを用いることができる。距離取得手段２４は、不用部検出処理部３５が被撮像物と被撮像物上又はその近傍に配置された他の物体とを識別するために用いられる。
【００６２】
こうして不用データを除去した展開画像データを用いて、第１実施形態において説明したように、背景温度算出処理部１１、差分処理部１２、及び変状検出処理部１３が変状箇所を検出する。
【００６３】
図９は、被撮像物検出処理のフローチャートである。なお、被撮像物がトンネルの壁面、他の物体が照明器具である場合のフローチャートである。
【００６４】
まず、不用部検出処理部３５は、距離取得手段２４が取得した撮影面までの距離情報の中から、所定の閾値以下の画素データを検出する（Ｓ４０１）。
【００６５】
次いで、不用部除去処理部３４は、温度画像取得手段２１が取得した展開画像データを取得し（Ｓ４０２）、不用部検出処理部３５が検出した不要部を展開画像データから除去する（Ｓ４０３）。除去方法として、別途マスク画像を用意し不要部をマスクしても良い。
【００６６】
次いで、不用部除去処理部３４は、ステップ４０３で除去されなかったデータ（マスクされていない画素）を、壁面を示す展開画像データとして出力する（Ｓ４０４）。
【００６７】
第２実施形態の画像処理装置によれば、第１実施形態の画像処理装置と同様に、被撮像物の周囲の温度分布に依存した、広範囲にわたるなだらかな温度変化の影響が変状部の検出に寄与しないため、各画素に対応する適切な背景温度を算出することができる。よって、被撮像物の周囲の温度分布によらず、変状部の位置が精度良く検出されうる。また、背景温度算出処理の前に、変状部分の検出対象である被撮像物のデータ以外の不要なデータを除去できるため、変状部の位置を更に精度良く検出することができる。
【００６８】
上記第１実施形態及び第２実施形態の画像処理装置は、例えば一般的なコンピュータを用いて実現できる。図１０は、一般的なコンピュータを用いて実現した第２実施形態の画像処理装置１１０の一例を示す模式図である。コンピュータ１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６０を含む。ＣＰＵ１４０は、バス１８０を介してＲＯＭ１５０、ＲＡＭ１６０と接続される。また、コンピュータ１２０は、温度画像取得手段、距離取得手段、変状位置記憶装置と接続されている。画像処理装置１１０全体の動作はＣＰＵ１４０によって統括制御される。コンピュータ１２０は、上記、被撮像物検出処理、背景温度算出処理、差分処理、変状検出処理を行う。ＣＰＵ１４０は、所定のプログラムに従って温度画像取得手段、距離取得手段、変状位置記憶装置を制御する制御手段として機能するとともに、上記被撮像物検出処理、背景温度算出処理、差分処理、変状検出処理など各種演算を実施する演算手段として機能する。ＲＡＭ１６０は、プログラムの展開領域及びＣＰＵ１４０の演算作業用領域として利用されるとともに、温度画像データ（展開画像データ）の一時記憶領域として利用される。ＲＯＭ１５０には、ＣＰＵ１４０が実行するプログラム及び制御に必要な各種データや、温度画像取得手段、距離取得手段、及び変状位置記憶装置の動作に関する各種定数／情報等が格納されている。上記プログラムは、図示されない各種記憶媒体に格納されて提供されてもよい。
【００６９】
尚、本発明は上記実施形態に限定されるものではない。矛盾のない限りにおいて、複数の実施例を組み合わせても構わない。上記実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【００７０】
１０ 画像処理装置
１１ 背景温度算出処理部
１２ 差分処理部
１３ 変状検出処理部
２１ 温度画像取得手段
２２ 出力装置
２３ 記憶装置
２４ 距離取得手段
３２ 被撮像物検出処理部
３４ 不用部除去処理部
３５ 不用部検出処理部
１１０ 画像処理装置
１２０ コンピュータ
１４０ ＣＰＵ
１５０ ＲＯＭ
１６０ ＲＡＭ
１８０ バス
【特許請求の範囲】
【請求項１】
被撮像物の温度画像データが有する複数の画素の温度値それぞれに対して、各画素の周辺の画素群の温度値をパラメータとして用いた平滑化処理を行って、該各画素の背景温度値を算出する第１処理部と、
前記各画素の温度値から前記背景温度を減算又は除算する第２処理部と、
前記減算又は除算して得られる値が所定の範囲外の画素を検出する第３処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記平滑化処理は、背景温度を算出する対象となる画素とその周辺の画素群とに重みを付け、前記温度画像の温度値と該重みとを用いて第２温度画像データを算出し、算出した該第２温度画像データにおいて前記対象画素の温度値を前記対象画素の背景温度とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記周辺の画素群の大きさは、前記温度画像データの温度値から算出したピークの半値幅の２倍以上であり、且つ、前記周辺の画素群を構成する画素において、第１温度画像データの温度値と前記第２温度画像データの温度値との差は所定の範囲内であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
赤外線カメラを有し、前記被撮像物の周囲に沿って該赤外線カメラを移動しながら前記被撮像物を撮像する際に前記温度画像データを取得する温度画像取得手段と、
所定位置から撮像位置までの赤外線カメラの移動量を取得する移動量取得手段とを備え、
前記温度画像取得手段は、前記移動量取得手段によって取得した前記赤外線カメラの移動量に基づき、撮像により得た複数の温度画像データが２次元座標上に配置された画像データを前記温度画像データとして作成することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記赤外線カメラが被撮像物を撮像する際に、被撮像物と前記撮像手段との距離を取得する距離取得手段を有し、
前記温度画像取得手段は、前記２次元座標上に配置された画像データから前記距離に応じて不要データを除去することにより、前記温度画像データを得ることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
被撮像物の温度画像データが有する複数の画素の温度値それぞれに対して、各画素の周辺の画素群の温度値をパラメータとして用いた平滑化処理を行って、該各画素の背景温度値を算出する工程と、
前記各画素の温度値から前記背景温度を減算又は除算する工程と、
前記減算又は除算して得られる値が所定の範囲外の画素を検出する工程と
を有する画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１】
被撮像物の温度画像データが有する複数の画素の温度値それぞれに対して、各画素の周辺の画素群の温度値をパラメータとして用いた平滑化処理を行って、該各画素の背景温度値を算出する第１処理部と、
前記各画素の温度値から前記背景温度を減算又は除算する第２処理部と、
前記減算又は除算して得られる値が所定の範囲外の画素を検出する第３処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記平滑化処理は、背景温度を算出する対象となる画素とその周辺の画素群とに重みを付け、前記温度画像の温度値と該重みとを用いて第２温度画像データを算出し、算出した該第２温度画像データにおいて前記対象画素の温度値を前記対象画素の背景温度とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記周辺の画素群の大きさは、前記温度画像データの温度値から算出したピークの半値幅の２倍以上であり、且つ、前記周辺の画素群を構成する画素において、第１温度画像データの温度値と前記第２温度画像データの温度値との差は所定の範囲内であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
赤外線カメラを有し、前記被撮像物の周囲に沿って該赤外線カメラを移動しながら前記被撮像物を撮像する際に前記温度画像データを取得する温度画像取得手段と、
所定位置から撮像位置までの赤外線カメラの移動量を取得する移動量取得手段とを備え、
前記温度画像取得手段は、前記移動量取得手段によって取得した前記赤外線カメラの移動量に基づき、撮像により得た複数の温度画像データが２次元座標上に配置された画像データを前記温度画像データとして作成することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記赤外線カメラが被撮像物を撮像する際に、被撮像物と前記撮像手段との距離を取得する距離取得手段を有し、
前記温度画像取得手段は、前記２次元座標上に配置された画像データから前記距離に応じて不要データを除去することにより、前記温度画像データを得ることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
被撮像物の温度画像データが有する複数の画素の温度値それぞれに対して、各画素の周辺の画素群の温度値をパラメータとして用いた平滑化処理を行って、該各画素の背景温度値を算出する工程と、
前記各画素の温度値から前記背景温度を減算又は除算する工程と、
前記減算又は除算して得られる値が所定の範囲外の画素を検出する工程と
を有する画像処理方法をコンピュータに実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１７９８９７（Ｐ２０１１−１７９８９７Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４２８８１（Ｐ２０１０−４２８８１）
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]