設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム
【課題】電力関連設備において、漏油やさびのような設備異常の経時変化を判定する。
【解決手段】（ａ）は、漏油やさび等の異常部分５０１に特定の波長の光を照射して、その反射光を撮影した特定波長照合画像である。（ｂ）では、電力関連設備５０３を撮影した可視光照合画像と、拡大縮小変換後の特定波長照合画像とを合成した合成画像を作成する。次に、（ｂ）の合成画像を（ｃ）の基準画像に位置合わせするための画像形状変換パラメータを求める。（ｄ）では、画像形状変換パラメータを用いて（ｂ）の合成画像を画像形状変換し、異常部分５０１ｂの画像を求める。（ｆ）では、（ｅ）に示す過去の異常部分５０５の画像と（ｄ）の異常部分５０１ｂの画像とを重畳した、異常部分の重畳画像を求める。そして、この重畳画像の状態を解析することによって、異常部分の経時変化を判定する。
【解決手段】（ａ）は、漏油やさび等の異常部分５０１に特定の波長の光を照射して、その反射光を撮影した特定波長照合画像である。（ｂ）では、電力関連設備５０３を撮影した可視光照合画像と、拡大縮小変換後の特定波長照合画像とを合成した合成画像を作成する。次に、（ｂ）の合成画像を（ｃ）の基準画像に位置合わせするための画像形状変換パラメータを求める。（ｄ）では、画像形状変換パラメータを用いて（ｂ）の合成画像を画像形状変換し、異常部分５０１ｂの画像を求める。（ｆ）では、（ｅ）に示す過去の異常部分５０５の画像と（ｄ）の異常部分５０１ｂの画像とを重畳した、異常部分の重畳画像を求める。そして、この重畳画像の状態を解析することによって、異常部分の経時変化を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、変圧器等の電力関連設備において、漏油やさびのような設備異常の異常部分の経時変化を判定する技術に関する。
【背景技術】
【０００２】
油入変圧器や油遮断機等の電力関連設備には、電気絶縁用に絶縁油が使用されている。電力関連設備の老朽化や故障によって、漏油やさびのような設備異常が発生することがある。漏油が進むと機械の故障につながり、故障が発生すると送電障害へと波及し、電力を基本とする社会生活に問題が発生する。また、古い型の電力関連設備では、絶縁油が漏れると環境へのダメージも大きくなる。そこで、漏油やさびのような設備異常を検出するため、設備点検が実施されている。
【０００３】
特許文献１では、可視光カメラの設置位置と撮影場所を固定して撮影した時間的に連続する画像同士を比較して、漏油が発生しているか否かを判定する方法が開示されている。また、特許文献２や非特許文献１では、屋内の蛍光灯等の通常照明下において、キセノンフラッシュランプ等の光源でパルス光を照射したときに漏油部分から発せられる蛍光強度を測定して、漏油の膜厚を測定する方法が開示されている。この測定の際、パルス光を短時間に繰り返し照射し、測定した蛍光強度を積算する。それによって、時間的にランダムな外乱となる信号による影響が低減することになり、測定結果のＳ／Ｎ比が向上する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３０４６３４号公報（例えば、段落００１３、図１等参照）
【特許文献２】特開平１０−３１１７７１号公報（例えば、段落００３７，００７４等参照）
【非特許文献】
【０００５】
【非特許文献１】黒木雅彦，外３名，「パルス蛍光法による漏油の画像化技術」，電学論Ｅ，電気学会，平成１０年，１１８巻，１０号，ｐ．４４９−４５４
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、屋外に置かれている変圧器等の電力関連設備の設備点検は、一定の期間を空けて行われる。特に、屋外で設備異常の箇所を撮影する場合は、季節ごと、さらには撮影時間ごとに日照の強さが異なる。そのため、特許文献２や非特許文献１に記載の技術を用いたとしても、屋外で発生した設備異常を撮影したときには、背景光の影響が屋内に比較して強くなる。特に、屋外で漏油やさびの発する特別な蛍光の反射波長に感知するカメラを用いて撮影を行った場合には、Ｓ／Ｎ比は低くなる。つまり、特許文献２や非特許文献１に記載の技術では、長期間に亘る背景光等の影響を低減させることは困難であり、設備異常の検知自体が困難になるという問題もある。また、屋外での設備点検は、通常、人の目視により行われる。したがって、設備点検時には設備異常を検知することはできても、その場において直ちに、その異常状態が進行しているかどうかについて判断することはできない。すなわち、現在の状況と過去の状況とを比較する必要がある。しかし、屋外における異常部分の経時変化を画像を用いて判定する技術については、前記した先行技術文献においては示されていない。
【０００７】
また、屋外の電力関連設備における異常部分の撮影は、特許文献２や非特許文献１に記載されているような屋内の場合と違って、予め決められた撮影ポイントから行われるとは限らない。そこで、撮影した画像に含まれる異常部分の大きさや形状は、撮影角度や撮影位置によってまちまちとなる。このような場合においても、過去の画像と現在の画像との間で異常部分の経時変化を比較できるようにしておく必要がある。
【０００８】
そこで、本発明の課題は、電力関連設備において、漏油やさびのような設備異常の経時変化を判定する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、現在の設備異常の異常部分を含む画像（照合画像）に対して画像形状変換を行って、予め決められた位置合わせの基準となる画像（基準画像）に写っている同じ設備に対して位置合わせを行う。この理由は、一般的に、照合画像と基準画像とでは、撮影角度および撮影位置が異なっているためである。この位置合わせによって、現在の異常部分の画像について、過去の異常部分の画像と比較することが可能となり、経時変化の判定を行うことができる。
また、異常部分の画像が画像形状変換によってつぶれた状態にならないようにするために、異常部分の画像のＳ／Ｎ比を高くする必要もある。そのために、照射光をパルス化し、パルス光を発光した直後と所定時間が経過したときとの双方のタイミングで、異常部分からの反射光を撮影して画像化する。そして、双方のタイミングで撮影された画像において、画素値の差分を算出した差分画像を作成する。そして、双方のタイミングで繰り返し撮影した画像に対して、差分画像の画素値を画素ごとに積算することによってＳ／Ｎ比を向上させる。
【発明の効果】
【００１０】
本発明によれば、電力関連設備において、漏油やさびのような設備異常の経時変化を判定する技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】設備異常変化解析システムの構成例を示す図である。
【図２】異常部分の変化を重畳する方法の概要を示す図である。
【図３】異常状態の種別を示す図であり、（ａ）は新規生成を表し、（ｂ）は消滅を表し、（ｃ）は拡大を表し、（ｄ）は停止を表し、（ｅ）は縮小を表し、（ｆ）は位置変化を表す。
【図４】設備異常経時変化判定装置の機能例を示す図である。
【図５】異常部分の画像に関する情報（メタデータ）の一例を示す図である。
【図６】現在および過去の特定波長照合画像を重畳する方法の一例を示す図であり、（ａ）は特定波長照合画像を表し、（ｂ）は合成画像（可視光照合画像＋拡大縮小変換後の特定波長照合画像）を表し、（ｃ）は基準画像を表し、（ｄ）は特定波長照合画像の変換結果を表し、（ｅ）は過去の特定波長照合画像を表し、（ｆ）は異常部分の重畳画像を表す。
【図７】設備異常の経時変化を判定する処理フローの一例を示す図である。
【図８】設備異常の経時変化を判定する処理フローの一例を示す図である。
【図９】設備異常の経時変化を判定する処理フローの一例を示す図である。
【図１０】位置決め特徴点の抽出に用いるマスクの一例を示す図であり、（ａ）は左右方向の画素値変化を強調するマスクを表し、（ｂ）は上下方向の画素値変化を強調するマスクを表し、（ｃ）は右上左下方向の画素値変化を強調するマスクを表し、（ｄ）は左上右下方向の画素値変化を強調するマスクを表す。
【図１１】照合画像および基準画像それぞれの位置決め特徴点の対応関係を示す図であり、（ａ）は可視光照合画像上の特徴点を表し、（ｂ）は基準画像上の特徴点と座標変換点を表す。
【図１２】可視光照合画像および特定波長照合画像の取得フローの一例を示す図である。
【図１３】特定波長照合画像のＳ／Ｎ比を向上するための方法の一例を示す図であり、（ａ）は画像の撮影タイミングを表し、（ｂ）は差分画像の積算の過程を表す。
【図１４】マーカを用いた照合画像と基準画像との位置合わせの概要を示す図であり、（ａ）は基準画像を表し、（ｂ）は照合画像を表し、（ｃ）は基準画像と照合画像の重畳結果を表す。
【図１５】マーカを用いた場合の設備異常の経時変化を判定する処理フローの一例を示す図である。
【図１６】異常部分に関する情報のマンマシンインタフェースの一例を示す図である。
【発明を実施するための形態】
【００１２】
次に、本発明を実施するための形態（以降「本実施形態」と称す。）について、適宜図面を参照しながら詳細に説明する。
【００１３】
（設備異常変化解析システムの概要）
設備異常の経時変化を解析する設備異常変化解析システム１の構成例を図１に示す。
設備異常変化解析システム１は、設備異常経時変化判定装置１０、撮像装置（カメラ）２０ａ，２０ｂ、照明装置３０、および現場の処理装置４０によって構成される。なお、電力関連設備５０は、点検対象であり、設備異常変化解析システム１には含まれない。
【００１４】
設備異常経時変化判定装置１０は、現場の処理装置４０から取得した設備異常の画像データを解析して異常部分の経時変化を判定する。この場合、設備異常経時変化判定装置１０は、現場の処理装置４０から取得した現在の設備異常を含む画像（以降、照合画像と称する。）に対して画像形状変換を実行して、予め決められた位置合わせの基準となる画像（以降、基準画像と称する。）に位置合せを行う。そして、設備異常経時変化判定装置１０は、異常部分の画像を作成する。次に、設備異常経時変化判定装置１０は、その作成した現在の異常部分の画像と過去の異常部分の画像とを比較し、異常状態の経時変化を判定する。なお、設備異常経時変化判定装置１０の詳細な構成例については後記する。
【００１５】
撮像装置２０ａ，２０ｂは、電力関連設備５０の設備異常の異常部分の画像を撮影する。このうち、撮像装置２０ａは、可視光の画像を撮影する。また、撮像装置２０ｂは、パルス光を発光する照明３０と連動して、照明の明暗に合わせて、絶縁油やさびに反応する特定波長域の画像を撮影する。なお、図１では、撮像装置２０ａ，２０ｂそれぞれは、物理的に別々に分れているように記載しているが、１台に統合されていても構わない。また、撮像装置２０ｂは、可視光の画像を撮影する撮像装置２０ａに光学フィルタをかけることによって特定波長域の照合画像を取得するようにしても構わない。また、撮像装置２０ａ，２０ｂによって撮影される画像それぞれは、画角や焦点距離が必ずしも一致していなくても構わず、後記する画像形状変換を用いて、双方の画像のサイズ等が調整される。
【００１６】
照明装置３０は、ハロゲン光源等を用いて、撮像装置２０ｂの撮影タイミングと連動するようにして、パルス光を発光する。
【００１７】
現場の処理装置４０は、設備点検者が現場で使用するパソコン機能を備えた携帯可能な装置であり、撮像装置２０ａ，２０ｂによって撮影された画像データを格納する。現場の処理装置４０と撮像装置２０ａ，２０ｂとの間は、有線または無線で通信可能になっている。また、現場の処理装置４０は、格納した画像データを有線または無線により設備異常経時変化判定装置１０に送信する。なお、現場の処理装置４０が格納した画像データは、ＵＳＢ(Universal Serial Bus)等のデータ格納機器を介して設備異常経時変化判定装置１０に受け渡しても構わない。
【００１８】
電力関連設備５０は、設備異常の経時変化を調査する対象となる変圧器等である。
【００１９】
次に、設備異常経時変化判定装置１０の構成例について、図１を用いて説明する。
設備異常経時変化判定装置１０は、通信部１１、処理部１２、記憶部１３、入力部１４、および出力部１５によって構成される。
【００２０】
通信部１１は、現場の処理装置４０から送信される画像データを有線または無線により受信するインタフェースである。また、通信部１１は、ＵＳＢ等のデータ格納機器と接続するインタフェースであっても構わない。そして、通信部１１は、受信した画像データを処理部１２へ受け渡す。
【００２１】
処理部１２は、コンピュータのＣＰＵ（Central Processing Unit）とメインメモリとで構成され、記憶部１３に記憶されているアプリケーションプログラムをメインメモリに展開して、照合画像の画像形状変換処理、現在の異常部分の画像と過去の異常部分の画像との重畳処理、異常部分の経時変化の判定処理等を具現化する。なお、処理部１２の詳細な機能例および処理フローについては、後記する。また、処理部１１は、各部１１〜１５間の情報伝達の制御を司る。
【００２２】
記憶部１３は、撮影画像ＤＢ１３１、解析画像ＤＢ１３２、および経時変化ＤＢ１３３を記憶している。
撮影画像ＤＢ１３１は、撮像装置２０ａ，２０ｂにより撮影された画像データを記憶している。
解析画像ＤＢ１３２は、基準画像、処理部１２が作成した異常部分の画像、異常部分の位置情報、および撮影した時間情報を関連付けて記憶している。
経時変化ＤＢ１３３は、処理部１２が作成した異常部分の画像と、経時変化の判定結果とを関連付けて記憶している。なお、経時変化ＤＢ１３３に記憶している異常部分の画像と、解析画像ＤＢ１３２に記憶している異常部分の画像とは、関連付けが行えるように、識別情報等によって管理される。
【００２３】
入力部１４は、マウスやキーボードであり、出力部１５に表示された画面上でカーソル等を操作し、処理部１２の処理に対して情報を入力する。
出力部１５は、ディスプレイであり、処理部１２の処理結果や入力を促すメッセージ等を表示する。
【００２４】
（異常部分の変化を重畳する方法の概要）
次に、設備異常経時変化判定装置１０において、異常部分の変化を重畳する方法の概要について、図２を用いて説明する（適宜、図１参照）。
基準画像２０１（第２の画像）は、照合画像２０２を位置合わせするときの基準として使用されるもので、解析画像ＤＢ１３２に記憶されている。基準画像２０１は、初めて異常部分２１１が発見されたときに撮影された画像である。したがって、基準画像２０１は、１回取得されれば良いことになるが、１箇所からの撮影では見えない部分もあるため、複数枚の基準画像２０１をセットとして備えるようにしても良い。なお、図２では、異常部分２１１は、過去の異常部分の画像に相当することになる。
【００２５】
照合画像２０２（第１の画像）は、現在の設備異常の状態を撮影した画像である。照合画像２０２には、異常部分２１２が写されている。照合画像２０２は、基準画像２０１の撮影時期とは異なる時期に撮影された画像であって、基準画像２０１とは異なる撮影位置、異なる撮影画角によって撮影されていても構わない。
【００２６】
そして、重畳画像は２０３は、基準画像２０１と、基準画像２０１に位置を合わせるように照合画像２０２を画像形状変換した画像とを重畳した結果である。このようにして、異常部分の重畳２１３を求めることができる。なお、異常部分の重畳２１３において、異常部分２１１は過去の異常部分の画像であり、異常部分２１２ｂは画像形状変換後の現在の異常部分の画像である。また、重畳画像２０３においては、電力関連設備５０を点線で示しているが、これは、電力関連設備５０の表示を省略した場合を表している。すなわち、異常部分の重畳２１３だけを表示するようにして、経時変化を判定しやすくしたものである。
また、異常部分の重畳２１３において、異常部分２１２ｂの形状は、異常部分２１１の形状より大きくなっており、異常状態が拡大していることを表している。このように、異常部分の重畳２１３の状態を解析することによって、異常部分の経時変化を判定することができる。
【００２７】
基準画像２０１と照合画像２０２との位置合わせは、基準画像２０１の電力関連設備５０の特徴点を含む矩形領域６１，６２，６３，６４と、照合画像２０２の電力関連設備５０の特徴点を含む矩形領域６５，６６，６７，６８と、を用いて行われる。特徴点とは、異常部分の近傍でコントラストが明確になっている点のことである。特徴点は、矩形領域６１〜６８それぞれの中で、後記する方法によって決定される。そして、基準画像２０１と照合画像２０２との間で、それぞれの特徴点の対応関係が求められる。図２では、矩形領域６１内の特徴点と矩形領域６５内の特徴点、矩形領域６２内の特徴点と矩形領域６６内の特徴点、矩形領域６３内の特徴点と矩形領域６７内の特徴点、矩形領域６４内の特徴点と矩形領域６８内の特徴点、が対応しているケースを表している。なお、矩形領域６１〜６８の位置は、マウス等の入力部１４を用いて人手で指定されるが、指定後の矩形領域６１〜６８内の特徴点の決定は、この例では、処理部１２が行うものとする。また、位置合わせを行う範囲は、平面であることが好ましく、曲面の場合には、曲面を小さな平面で表すことによって対応することが可能である。
【００２８】
照合画像２０２は、画像形状変換された後、基準画像２０１と照合されることになる。しかし、照合画像２０２が画像形状変換によって縮小された場合には、異常部分２１２が画像形状変換後につぶれた状態（異常部分２１２ｂの境界が不明確な状態または異常部分２１２が小さくなって分かりにくくなった状態）になってしまうことも想定される。そこで、異常部分２１２は、それ以外の部分に比較して、強調しておくことが好ましい。特に、屋外で撮影する場合は、背景光の影響にともなって、異常部分２１２からの反射光強度が変化する。また、異常部分２１２のサイズが小さい場合には、ノイズに埋もれて、判別できなくなってしまう可能性がある。そのため、ハロゲン光を光源とする照明３０から間欠的にパルス光を異常部分２１２に照射して、異常部分２１２からの反射光の強度が最大および最小となる時間のそれぞれにおいて、撮像装置２０ｂによって画像を撮影する。このような撮影を、同じ異常部分２１２に対して複数回行って、最大強度のときの画像および最小強度のときの画像の双方の各画素において差分を算出する。そして、算出した差分を画素ごとに積算することによって、異常部分２１２の強調を行う。反射光の撮影は特定波長のみを透過させる光学フィルタを設定した撮像装置２０ｂを用いて実施することができる。このように、最大強度のときの画像と最小強度のときの画像との差分を積算することによって、異常部分２１２において、背景光の影響を相殺する。なお、異常部分２１２の強調に関する詳細については、後記する。
【００２９】
（異常状態の種別）
次に、異常状態の種別について、図３を用いて説明する。
電力関連設備５０においては、老朽化に伴って漏油やさび等の設備異常が発生することがある。このような設備異常は、その異常状態が進行することもあるが、逆に自然に停止することもある。また、異常部分は、補修や、さびの部分に塗装を施すことによって消滅することもある。そこで、異常部分の進行状態を判定するために過去の異常部分の範囲と現在の異常部分の範囲とを比較して、異常部分の経時変化を分類する。なお、図３の説明において、時間ｔ１を過去、時間ｔ２を現在として説明する。
図３（ａ）は、新規発生を示している。過去の時間ｔ１（ただし、過去のなかでも最も現在に近い時間）では発生していなかった異常部分が、現在の時間ｔ２では新たに発生している状態を示す。
図３（ｂ）は、消滅を示している。過去の時間ｔ１で発生していた異常部分が、現在の時間ｔ２では消滅している状態を示す。例えば、異常部分に対して修理や塗装によって漏油やさび等の設備異常が消滅している状態である。
図３（ｃ）は、拡大を示している。現在の時間ｔ２での異常部分の範囲が、過去の時間ｔ１での異常部分の範囲を包含している状態を示す。
図３（ｄ）は、停止を示している。現在の時間ｔ２での異常部分の範囲と、過去の時間ｔ１での異常部分の範囲とがほぼ一致して（所定の閾値以内となって）おり、異常部分の範囲の広がりが停止した状態を示す。なお、所定の閾値は、画像の解像度の低減や画像形状変換のために発生する画像のつぶれにともなう誤差等を考慮して設定される。
図３（ｅ）は、縮小を示している。過去の時間ｔ１での異常部分の範囲が、現在の時間ｔ２での異常部分の範囲を包含している状態を示す。例えば、設備修理をした後で、再び、さびや漏油等の異常部分が発生した場合である。
図３（ｆ）は、位置変化を示している。過去の時間ｔ１での異常部分の範囲が、現在の時間ｔ２での異常部分の範囲と比べて、位置が移動している状態を示す。例えば、漏油等が発生している状態で、設備が地震等で傾いたときに発生する。
【００３０】
（設備異常経時変化判定装置の機能例）
次に、設備異常経時変化判定装置１０の機能例について、図４を用いて説明する（適宜、図１参照）。
画像取得部４０１は、通信部１１を介して、基準画像および照合画像を取得する。また、画像取得部４０１は、取得した基準画像および照合画像を撮影画像ＤＢ１３１に記憶する。
【００３１】
差分画像生成積算部４０２は、撮像装置２０ｂによって撮影された照合画像を、画像取得部４０１または撮影画像ＤＢ１３１から取得する。そして、差分画像生成積算部４０２は、照合画像について、前記したように、繰り返し撮影された最大強度のときの画像および最小強度のときの画像の双方の各画素において差分を算出し、算出した差分を画素ごとに積算することによって、異常部分の強調を行う。なお、この異常部分を強調した画像を、特定波長照合画像と称する。
【００３２】
特定波長照合画像変換部４０３は、特定波長照合画像を、撮像装置２０ａによって撮影された可視光照合画像に位置合わせを行う座標変換を実行する。照合画像を撮影する場合、図１に示すように、撮像装置２０ａおよび撮像装置２０ｂの双方を用いる。撮像装置２０ａおよび撮像装置２０ｂのレンズの光軸が一致している場合は、画角の相違だけとなるため、座標変換として縮小拡大変換を行う。また、レンズの光軸が、不一致または平行にずれている場合は、座標変換として座標値非線形変換を行う。
【００３３】
領域抽出部４０４は、特定波長照合画像変換部４０３で座標変換した特定波長照合画像において、あらかじめ決められた所定の閾値範囲内にある画素値の画素のみを選択し、その選択した画素をまとめて異常部分として抽出する。
【００３４】
候補点座標入力部４０５は、出力部１５に表示している基準画像および可視光照合画像それぞれにおいて、位置合わせのための特徴点を含む領域を表す矩形領域（図２の符号６１〜６８）の位置を定めるための基となる候補点を、入力部１４を介して指示され、それらの候補点の座標を取得する。
【００３５】
特徴点決定部４０６は、候補点座標入力部４０５において取得された候補点の座標に基づいて、候補点を含むように所定の大きさの矩形領域を設定し、その矩形領域内から特徴点を自動検出する。そして、特徴点決定部４０６は、基準画像および可視光照合画像の間で特徴点同士の対応関係を求めて、基準画像と可視光照合画像との対応点を決定する。
【００３６】
変換パラメータ算出部４０７は、特徴点決定部４０６において決定した対応点の座標に基づいて、画像形状変換のためのパラメータ（以降、画像形状変換パラメータと称す。）を自動算出する。
【００３７】
画像変形部４０８は、変換パラメータ算出部４０７において算出した画像形状変換パラメータを用いて、領域抽出部４０４によって抽出した現在の異常部分の画像（特定波長照合画像）を、撮影画像ＤＢ１３１から読み出した基準画像の位置に合わせるための画像形状変換処理を行う。また、画像変形部４０８は、画像形状変換処理した異常部分の画像を、解析画像ＤＢ１３２に記憶する。特に、異常部分の画像を含むメタデータを作成することによって異常部分の画像の読み出しや記憶等の管理を容易にすることができる。メタデータの一例を図５に示す。図５に示すように、メタデータは、番号（管理番号）、撮影年月日（時刻）、設備の位置座標、異常部分の位置座標、特定波長照合画像の名称、および基準画像の名称を関連付けたものである。
【００３８】
変化抽出部４０９は、画像変形部４０８によって画像形状変換した現在の異常部分の画像（特定波長照合画像）との照合に用いる過去の異常部分の画像を、解析画像ＤＢ１３２から抽出する。
【００３９】
変化判定部４１０は、現在および過去の異常部分の画像の画素値とその画素の位置に基づいて、所定の演算（後記）を実行し、異常状態の種別（図３参照）を判定するために用いる数値を算出し、後記する拡大縮小停止判定部４１１および発生消滅判定部４１３に受け渡す。また、変化判定部４１０は、現在および過去の異常部分の画像の画素値とその画素の位置とに関する情報を、後記する位置変化判定部４１２に受け渡す。また、変化判定部４１０は、拡大縮小停止判定部４１１、位置変化判定部４１２、および発生消滅判定部４１３から取得した判定結果に基づいて、経時変化の内容を決定する。また、変化判定部４１０は、拡大縮小停止判定部４１１、位置変化判定部４１２、および発生消滅判定部４１３における処理の順番を制御等する。
【００４０】
拡大縮小停止判定部４１１は、変化判定部４１０から数値を取得する。次に、拡大縮小停止判定部４１１は、取得した数値を閾値検定部４１４に送信し、その取得した数値と閾値とを比較した検証結果を取得する。拡大縮小停止判定部４１１は、検証結果に基づいて、拡大、縮小、または停止のいずれであるかを判定し、その判定結果を変化判定部４１０に送信する。
【００４１】
位置変化判定部４１２は、変化判定部４１０から取得した異常部分の画素値およびその画素の位置について、所定の演算（後記）を実行し、異常部分の位置が移動しているかを判定するために用いる数値を算出する。次に、位置変化判定部４１２は、算出した数値を閾値検定部４１４に送信し、その算出した数値同士を比較した検証結果を取得する。位置変化判定部４１２は、検証結果に基づいて、異常部分の位置が移動しているかを判定し、その判定結果を変化判定部４１０に送信する。
【００４２】
発生消滅判定部４１３は、変化判定部４１０から数値を取得する。次に、発生消滅判定部４１３は、取得した数値を閾値検定部４１４に送信し、その取得した数値と閾値とを比較した検証結果を取得する。発生消滅判定部４１３は、検証結果に基づいて、新規発生かまたは消滅かを判定し、その判定結果を変化判定部４１０に送信する。
【００４３】
閾値検証部４１４は、異常状態の種別を判定するために、拡大縮小停止判定部４１１、位置変化判定部４１２、または発生消滅判定部４１３から受信した前記数値と、予め記憶している所定の閾値等との間で大小の比較演算を実行する。そして、閾値検証部４１４は、比較演算の結果を、検証結果として、前記数値を送信してきた拡大縮小停止判定部４１１、位置変化判定部４１２、発生消滅判定部４１３のいずれかに返信する。
【００４４】
報告データ作成部４１５は、設備異常に関する資料を作成し、作成した資料を出力部１５に出力する。
【００４５】
なお、図４中の、通信部１１、入力部１４、撮影画像ＤＢ１３１、解析画像ＤＢ１３２、および経時変化ＤＢ１３３は、図１において示したものと同様であるので、説明を省略する。また、各部４０１〜４１５は、処理部１２の機能を表している。
【００４６】
（現在および過去の特定波長照合画像を重畳する方法の一例）
ここで、現在および過去の特定波長照合画像を重畳する方法の一例について、図６を用いて説明する（適宜、図１参照）。
なお、重畳する方法については、撮像装置２０ａおよび撮像装置２０ｂのレンズの光軸が一致している場合（ケース１）と、レンズの光軸が、不一致または平行にずれている場合（ケース２）とで分けて説明する。
【００４７】
（ケース１）
ケース１は、例えば、撮像装置２０ａのレンズ部やセンサ素子部に光学フィルタを装着することによって撮像装置２０ｂを実現した場合である。ただし、各撮像装置２０ａ，２０ｂを別々に構成する場合には、一般的に、レンズ部やセンサ素子部が異なるため、焦点距離や画角が異なる場合がある。
【００４８】
図６（ａ）には、異常部分５０１の特定波長照合画像が表されている。なお、特定波長照合画像では、波長特性により電力関連設備５０２の形状等は画像上に明確に現れないこともあるため、破線で表している。
図６（ｂ）では、電力関連設備５０３を撮影した可視光照合画像と、拡大縮小変換後の特定波長照合画像とを合成した合成画像（第１の画像）が表されている。合成画像を作成するためには、前記したように、図６（ｂ）に示す可視光照合画像と図６（ａ）に示す特定波長照合画像とは、一般的に焦点距離や画角が異なるので、拡大縮小変換が必要となる。つまり、図６（ｂ）に示す異常部分５０１ａは、図６（ａ）に示す異常部分５０１を拡大縮小変換したものとなっている。なお、図６（ｂ）に示す図は、図２に示す照合画像２０２と同様の状態に相当する。
【００４９】
次に、図６（ｂ）の合成画像を、図６（ｃ）の基準画像（第２の画像）のサイズと位置に合わせこむ処理が行われる。具体的には、矩形領域７１〜７８内の特徴点を抽出して、図６（ｂ）の合成画像および図６（ｃ）の基準画像の間で特徴点同士の対応関係を求めて、双方の画像の対応点を決定する。そして、対応点によって囲まれる平面同士を合わせる。このようにして、画像形状変換パラメータが求まる。なお、図６（ｃ）に示す基準画像は、可視光照合画像であるので、異常部分が明確に写っていない場合もある。また、図６（ｃ）に示す図は、図２に示す基準画像２０１と同様の状態に相当する。
【００５０】
図６（ｄ）では、画像形状変換パラメータを用いて、図６（ｂ）の合成画像の異常部分５０１ａを画像形状変換し、特定波長照合画像の変換結果として、異常部分５０１ｂが求められる。
次に、図６（ｆ）では、図６（ｅ）に示す過去の異常部分５０５の特定波長照合画像と、図６（ｄ）の異常部分５０１ｂの特定波長照合画像とを重畳した、異常部分の重畳画像が求められる。
そして、この重畳画像の状態を解析することによって、図３に示すような異常状態（異常部分の経時変化）の種別を判定することが可能となる。
【００５１】
（設備異常の経時変化を判定する処理フロー）
設備異常の経時変化を判定する処理フローについて、図７〜図９を用いて説明する（適宜、図４参照）。
ステップＳ７０１では、画像取得部４０１は、通信部１１を介して、基準画像および照合画像を取得する。
ステップＳ７０２では、差分画像生成積算部４０２は、特定波長照合画像を生成する。
ステップＳ７０３では、特定波長照合画像変換部４０３は、特定波長照合画像を、可視光照合画像に位置合わせを行う拡大縮小変換を実行し、特定波長照合画像の画角を可視光照合画像の画角に合わせる。
【００５２】
ステップＳ７０４では、候補点座標入力部４０５は、出力部１５に表示している基準画像および可視光照合画像それぞれにおいて、位置合わせのための特徴点を含む領域を表す矩形領域（図２の符号６１〜６８）の位置を定めるための基となる候補点を、入力部１４を介して指定する。なお、候補点座標入力部４０５は、指定された候補点の座標を取得する。
【００５３】
ステップＳ７０５では、特徴点決定部４０６は、基準画像および可視光照合画像に指定した候補点に基づいて設定される矩形領域内で特徴点を抽出する。この処理には、図１０に示すようなマスクが用いられる。図１０（ａ）は左右方向の画素値変化を強調するマスクを表し、図１０（ｂ）は上下方向の画素値変化を強調するマスクを表し、図１０（ｃ）は右上左下方向の画素値変化を強調するマスクを表し、図１０（ｄ）は左上右下方向の画素値変化を強調するマスクを表している。
【００５４】
まず、特徴点決定部４０６は、ステップＳ７０４において指定した候補点を含むように所定の大きさの矩形領域を設定する。画素の解像度座標を（ｘ，ｙ）とすると、
(X-ｋ,Y-ｋ)、（X-(ｋ+1),Y-k）、・・、（X-k,Y）(X-(k-1),Y)、・・、（X+(ｋ-1),Y+k）、（X+ｋ,Y+k）
の画像範囲を設定することに相当する。そして、図１０（ａ）〜（ｄ）に示すような３×３のマスクを画像の濃淡値に適用して、その画像の濃淡値の平均値を算出する。マスクには０および１の値が振られており、マスクの中心の座標を（ｘ，ｙ）とすると、(ｘ-m,ｙ-n)(ｍ＝-1，0，1, ｎ＝-1，0，1)の画素の輝度をVAL(ｘ-m,ｙ-n)とする。VAL(ｘ-m,ｙ-n)は、ＲＧＢ（Red,Green,Blue）のモデルで表すと、下記式（１）のように表される。
VAL(ｘ-m,ｙ−n)
＝R(ｘ-m,ｙ−n)×0.2989＋G(ｘ-m,ｙ−n)×0.5866＋B(ｘ-m,ｙ−n)×0.1145
・・・式（１）
【００５５】
このとき、例えば、図１０（ａ）のマスクの値TotalValは、下記式（２）のように表される。
TotalVal＝VAL(ｘ,ｙ-１)＋VAL(ｘ,ｙ)＋VAL(x,y+1) ・・・式（２）
特徴点決定部４０６は、図１０（ａ）〜（ｄ）に示すマスクを、矩形領域内で１画素ずつずらして、画素ごとにTotalValを算出する。次に、１つの画素ごとに、図１０（ａ）〜（ｄ）に示す４種類のマスクを用いて算出された４つのTotalValを加算する。そして、その矩形領域中で、加算したTotalValが最大となる画素の位置を求める。このようなマスク処理では、画像の折れ曲がり等（例えば、電力関連設備５０の外形の辺や角等のコントラストが明確になっている場所）に対応する画素において、加算したTotalValが最大となる。すなわち、異常部分を含む平面形状の特徴点を抽出することができる。なお、一般的には、同じ矩形領域内に、加算したTotalValが最大となる画素が複数存在するため、抽出された特徴点が同じ矩形領域中に複数存在する場合がある。
【００５６】
そこで、ステップＳ７０６では、変換パラメータ算出部４０７は、可視光照合画像の候補点に基づいて設定される矩形領域ごとに特徴点を選択する。同じ矩形領域に複数の特徴点が存在する場合には、特徴点は、ランダムに選択される。
【００５７】
ステップＳ７０７では、変換パラメータ算出部４０７は、基準画像および可視光照合画像の特徴点同士の対応関係に基づいて、画像形状変換パラメータを算出する。まず、ステップＳ７０６で選択した基準画像の特徴点と可視光照合画像の特徴点に対して、基準画像と可視光照合画像との画像形状変換を行うための画像形状変換パラメータＰを求める。
【００５８】
画像形状変換パラメータとして、下記式（３）のようにＰを設定する。
Ｐ＝（ａ０，ａ１，ａ２，ｂ０，ｂ１，ｂ２，１，ｃ１，ｃ２）Ｔ ・・・式（３）
ここでＴは転置行列を示す。
また、基準画像および可視光照合画像の特徴点同士の座標変換のための変換行列Ｈは下記式（４）で表わされる。
【００５９】
（数式１）
ただし、上記式（４）において、本実施形態では特徴点の数は４つであるので、ｋ＝４である。また、基準画像の４つの特徴点の座標がそれぞれ(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)であり、可視光照合画像の４つの特徴点の座標がそれぞれ(X1,Y1)，(X2,Y2)，(X3,Y3)，(X4,Y4)であるものとする。
【００６０】
なお、式（３）に示すＰは、
ＨＰ＝０ ・・・式（５）
を満足するようにして決められる。
【００６１】
そこで、Ｐの各パラメータをGauss-Newton法により求める。具体的には、式（５）にＰの要素の仮値を入れて計算し、繰り返し計算によって一回前に計算したＰの要素値との誤差を求める。そして、Ｐの新しい値に誤差を足し込んでいき、再度、式（５）を計算する。式（５）に示す左辺の値があらかじめ決められた閾値（０に近い値）よりも小さくなるか、または所定の繰り返し回数を実行した場合に、繰り返し計算を打ち切る。これにより、Ｐの要素値、すなわち、画像形状変換パラメータを取得することができる。
【００６２】
すなわち、可視光照合画像の座標から基準画像の座標への変換は、可視光照合画像の座標を（ｘ，ｙ）、基準画像の座標を（ｘ，ｙ）とすると、画像形状変換パラメータを用いて、下記式（６）および式（７）のように表される。
X＝（ａ０＋ａ１x＋ａ２y）／（１＋ｃ１x＋ｃ２y） ・・・・式（６）
Y＝（ｂ０＋ｂ１x＋ｂ２y）／（１＋ｃ１x＋ｃ２y） ・・・・式（７）
【００６３】
次に、ステップＳ８０１〜Ｓ８０３において、画像変形部４０８は、可視光照合画像の特徴点と基準画像の特徴点との対応関係を決定する。
まず、ステップＳ８０１では、画像変形部４０８は、ステップＳ７０７（図７参照）において取得した画像形状変換パラメータを用いて、ステップＳ７０６で選択した可視光照合画像の特徴点を、基準画像上の座標に変換した点を求め、その点の近傍にある基準画像の特徴点を選択する。
【００６４】
ステップＳ８０２では、画像変形部４０８は、ステップＳ８０１において基準画像上の座標に変換した点と、選択した基準画像の特徴点との距離を誤差とし、その誤差の総和を算出する。
【００６５】
ステップＳ８０３では、画像変形部４０８は、誤差の総和が所定の閾値以下か否かを判定する。
誤差の総和が所定の閾値以下でないと判定した場合（ステップＳ８０３でＮｏ）、処理はＢ（図７のステップＳ７０６）へ戻る。
また、誤差の総和が所定の閾値以下であると判定した場合（ステップＳ８０３でＹｅｓ）、処理はステップＳ８０４へ進む。
【００６６】
ここで、誤差の算出方法の具体例について、図１１を用いて説明する。図１１（ａ）に示す可視光照合画像上には、６つの特徴点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆがある。また、図１１（ｂ）に示す基準画像上には、６つの特徴点Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌがあるものとする。いま、図１１（ａ）に示す可視光照合画像上において、４つの特徴点Ａ，Ｂ，Ｃ，Ｄがユーザによって選択されたものとする。これらの特徴点Ａ，Ｂ，Ｃ，Ｄは、ステップＳ７０７で求めた式（６）および式（７）を用いて、図１１（ｂ）に示す基準画像上の点Ａａ，Ｂａ，Ｃａ，Ｄａに変換される。次に、基準画像上の点Ａａ，Ｂａ，Ｃａ，Ｄａそれぞれに対して、近傍にある基準画像の特徴点を求めるとＧ，Ｈ，Ｉ，Ｊであったとする。このように、Ａ−Ｇ、Ｂ−Ｈ、Ｃ−Ｉ、Ｄ−Ｊを組み合わせとして、それぞれの点をＡ(x1,y1)、Ｇ(X1,Y1)、Ｂ(x2,y2)、Ｈ(X2,Y2)，Ｃ(x3,y3)、Ｉ(X3,Y3)、Ｄ(x4,y4)、Ｊ(X4,Y4)と表して、式（５）を演算し、画像形状変換パラメータＰを計算する。
【００６７】
図１１（ａ）に示す可視光照合画像上の残りの特徴点Ｅ，Ｆについても基準画像上の座標に変換する。特徴点Ｅ，Ｆは、図１１（ｂ）に示す基準画像上の点Ｅａ，Ｆａに変換される。そして、点Ｅａ，Ｆａの近傍にある基準画像上の特徴点Ｋ，Ｌを選択する。一般的に、可視光照合画像の特徴点の数と基準画像上の特徴点の数とは一致しない場合が多いので、予め決められた所定の閾値の範囲に特徴点がなければ無視する。そして、Ａ−Ｇ、Ｂ−Ｈ、Ｃ−Ｉ、Ｄ−Ｊ、Ｅ−Ｋ、Ｆ−Ｌを組み合わせとして、それぞれの点間の距離を誤差として計算し総和をとる。この誤差の総和が予め決められた所定の閾値以下であれば、計算を終了する。しかし、所定の閾値より大きい場合には、図１１（ａ）に示す可視光照合画像の特徴点を新たにランダムに４つ選択して（ステップＳ７０６）、再び、ステップＳ７０７およびステップＳ８０１〜Ｓ８０３を実行する。
【００６８】
前記したように、ステップＳ７０６、Ｓ７０７，Ｓ８０１〜Ｓ８０３で処理する方法では、まず選択した特徴点を用いて画像形状変換パラメータＰを算出し、可視光照合画像上の特徴点を基準画像上の点に座標変換し、基準画像上の変換された点の近傍にある基準画像の特徴点を選択するという相関を考慮した選択を行うことになる。これにより、相関を考えずにランダムに特徴点を選択して画像形状変換パラメータＰを算出する場合と比較して、計算処理時間が短くなるという効果がある。
【００６９】
ステップＳ８０４では、画像変形部４０８は、特定波長照合画像を基準画像に位置合わせを行うため、特定波長照合画像に対して画像形状変換を実行する。具体的には、画像変形部４０８は、画像形状変換パラメータを用いて、特定波長照合画像の座標位置を基準画像の座標上の位置に変換する。特定波長照合画像の座標上の位置（x,y）および基準画像の座標上の位置（X,Y）は、式（６）および式（７）を用いて変換される。
【００７０】
ステップＳ８０５では、画像変形部４０８は、変換が成功したか否かを判定する。具体的には、画像変形部４０８は、画像形状変換の結果が目視により良好と判断された場合に、入力部１４を介して、変換成功の情報を受け付けて、変換が成功したと判定する。また、画像変形部４０８は、画像形状変換の結果が目視により良好でないと判断されて入力部１４を介して変換不成功の情報を受け付けた場合、または所定時間経過しても変換成功の情報を受信できなかった場合には、変換が成功しなかったと判定する。
【００７１】
変換が成功したと判定した場合（ステップＳ８０５でＹｅｓ）、画像変形部４０８は、画像形状変換パラメータを記憶部１３に記憶する。また、処理はステップＳ８０６へ進む。
変換が成功しなかったと判定した場合（ステップＳ８０５でＮｏ）、処理はＣ（図７のステップＳ７０４）へ戻る。
【００７２】
ステップＳ８０６では、変化抽出部４０９は、画像形状変換された特定波長照合画像と照合するための過去の特定波長照合画像を解析画像ＤＢ１３２から取得する。
【００７３】
ステップＳ８０７では、変化判定部４１０は、判定していない異常部分があるか否かを判定する。
判定していない異常部分がないと判定した場合（ステップＳ８０７でＮｏ）、ステップＳ８０９では、報告データ作成部４１５は、ステップＳ９０１〜Ｓ９１３（図９参照）において、判定された異常状態の種別について、異常部分の画像ととともに報告データとして経時変化ＤＢ１３３に記憶するとともに、出力部１５に表示する。なお、報告データの様式は任意で良い。また、報告データでは、拡大している漏油・さびの異常については、電力関連設備の管理者に注意を促すため、テキストの色等を変えると良い。
【００７４】
判定していない異常部分があると判定した場合（ステップＳ８０７でＹｅｓ）、ステップＳ８０８では、変化判定部４１０は、異常部分の画素の調整を行う。
異常状態の種別には、図３に示したように、新規発生、消滅、拡大、停止、縮小、および位置変化の６つが考えられる。
そこで、変化判定部４１０は、これらの異常状態を分類するために、過去および現在の特定波長照合画像の位置関係から重畳した異常部分の画素の数Ｕをカウントする。また、現在の特定波長照合画像の異常部分の中で重畳していない画素の数Ｖ、過去の特定波長照合画像の異常部分の中で重畳していない画素の数Ｗをカウントする。
このとき、変化判定部４１０は、下記式（８）および式（９）を満たす場合、それぞれ重畳していない画素は、重畳しているものとして重畳範囲内に組み入れる調整を行う。
Ｖ＜Ｕ×ＳＤ ・・・・式（８）
Ｗ＜Ｕ×ＳＤ ・・・・式（９）
ここで、ＳＤは、重畳している部分の画素の数Ｕの標準偏差を重畳している部分の画素の数Ｕで除算をした値である。
【００７５】
なお、ＳＤは、基準画像と特定波長照合画像との撮影の角度差によって変化させても良い。すなわち、角度差をαとすると、ＳＤは、ＳＤ［α］としても良い。仮に、ＧＰＳ（Global Positioning System）等で、撮影位置がわかる場合は、設備平面図を用いて、基準画像を撮影したときの位置と、今回撮影したときの位置の違いから角度差を求めることができる。そして、特に、今回撮影した画像を横方向から撮影したために、画像形状変換によって拡大することになる場合には、重畳している画素の数が大きめに算出されることを考慮して、角度差αが大きいほど、ＳＤ［α］を小さく見積もるようにしても良い。
【００７６】
ステップＳ９０１では、発生消滅判定部４１３は、変化判定部４１０から取得した異常部分の画素値およびその画素の位置に基づいて、新規発生について解析する。具体的には、発生消滅判定部４１３は、現在に最も近い過去の時点で撮影された照合画像に異常部分がまったく存在しなかった場合、または過去の異常部分の画像が存在しない場合であって、現在の照合画像には異常部分が存在するときには新規発生と判定する。そして、発生消滅判定部４１３は、新規発生の判定結果を、変化判定部４１０に送信する。
ステップＳ９０２では、変化判定部４１０は、異常状態の種別が新規発生であるか否かを判定する。
新規発生であると判定した場合（ステップＳ９０２でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
新規発生でないと判定した場合（ステップＳ９０２でＮｏ）は、処理はステップＳ９０３へ進む。
【００７７】
ステップＳ９０３では、発生消滅判定部４１３は、変化判定部４１０から取得した数値（後記する式（１０）によって算出された数値）を用いて、消滅について解析する。具体的には、発生消滅判定部４１３は、変化判定部４１０において過去の異常部分の画素数Ｃｏｌｄと現在の異常部分の画素数Ｃｎｅｗとの比を下記式（１０）により算出した数値を取得する。
Overlap＝Ｃｏｌｄ／Ｃｎｅｗ ・・・・式（１０）
そして、発生消滅判定部４１３は、式（１０）により算出した数値Overlapを閾値検証部４１４に送信する。閾値検証部４１４では、下記式（１１）を満足するか否かを検証する。
Overlap≧σ１ ・・・・式（１１）
ただし、σ１（第１の閾値）は、予め決められた値である。
閾値検証部４１４は、式（１１）を満たすか否かの検証結果を発生消滅判定部４１３に送信する。発生消滅判定部４１３は、式（１１）を満たすという検証結果を受信した場合、消滅であると判定する。そして、発生消滅判定部４１３は、消滅の判定結果を、変化判定部４１０に送信する。
【００７８】
ステップＳ９０４では、変化判定部４１０は、異常状態の種別が消滅であるか否かを判定する。
消滅であると判定した場合（ステップＳ９０４でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
消滅でないと判定した場合（ステップＳ９０４でＮｏ）は、処理はステップＳ９０５へ進む。
【００７９】
ステップＳ９０５では、拡大縮小停止判定部４１１は、変化判定部４１０から取得した式（１０）により求めた数値Overlapを用いて、拡大について解析する。具体的には、拡大縮小停止判定部４１１は、現在の異常部分が過去の異常部分を包含すると判定した場合、数値Overlapを閾値検証部４１４に送信する。閾値検証部４１４では、下記式（１２）を満足するか否かを検証する。
Overlap＜σ２＜１ ・・・・式（１２）
ただし、σ２（第２の閾値）は、予め決められた値である。
閾値検証部４１４は、式（１２）を満たすか否かの検証結果を拡大縮小停止判定部４１１に送信する。拡大縮小停止判定部４１１は、式（１２）を満たすという検証結果を受信した場合、拡大であると判定する。そして、拡大縮小停止判定部４１１は、拡大の判定結果を、変化判定部４１０に送信する。
【００８０】
ステップＳ９０６では、変化判定部４１０は、異常状態の種別が拡大であるか否かを判定する。
拡大であると判定した場合（ステップＳ９０６でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
拡大でないと判定した場合（ステップＳ９０６でＮｏ）は、処理はステップＳ９０７へ進む。
【００８１】
ステップＳ９０７では、拡大縮小停止判定部４１１は、変化判定部４１０から取得した式（１０）により求めた数値Overlapを用いて、縮小について解析する。具体的には、拡大縮小停止判定部４１１は、現在の異常部分が過去の異常部分に包含されると判定した場合、数値Overlapを閾値検証部４１４に送信する。閾値検証部４１４では、下記式（１３）を満足するか否かを検証する。
σ１＞Overlap＞σ３＞１ ・・・・式（１３）
ただし、σ３（第３の閾値）は、予め決められた値である。
閾値検証部４１４は、式（１３）を満たすか否かの検証結果を拡大縮小停止判定部４１１に送信する。拡大縮小停止判定部４１１は、式（１３）を満たすという検証結果を受信した場合、縮小であると判定する。そして、拡大縮小停止判定部４１１は、縮小の判定結果を、変化判定部４１０に送信する。
【００８２】
ステップＳ９０８では、変化判定部４１０は、異常状態の種別が縮小であるか否かを判定する。
縮小であると判定した場合（ステップＳ９０８でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
縮小でないと判定した場合（ステップＳ９０８でＮｏ）は、処理はステップＳ９０９へ進む。
【００８３】
ステップＳ９０９では、拡大縮小停止判定部４１１は、変化判定部４１０から取得した式（１０）により求めた数値Overlapを用いて、停止について解析する。具体的には、拡大縮小停止判定部４１１は、数値Overlapを閾値検証部４１４に送信する。そして、閾値検証部４１４では、下記式（１４）を満足するか否かを検証する。
σ４＜Overlap＜σ５ ・・式（１４）
ただし、σ４（第４の閾値），σ５（第５の閾値）は、予め決められた値であり、１−α＝σ４＜σ５＝１＋β，（０＜α＜β＜１）である。
閾値検証部４１４は、式（１４）を満たすか否かの検証結果を拡大縮小停止判定部４１１に送信する。拡大縮小停止判定部４１１は、式（１４）を満たすという検証結果を受信した場合、停止であると判定する。そして、拡大縮小停止判定部４１１は、停止の判定結果を、変化判定部４１０に送信する。
【００８４】
ステップＳ９１０では、変化判定部４１０は、異常状態の種別が停止であるか否かを判定する。
停止であると判定した場合（ステップＳ９１０でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
停止でないと判定した場合（ステップＳ９１０でＮｏ）は、処理はステップＳ９１１へ進む。
【００８５】
ステップＳ９１１では、位置変化判定部４１２は、変化判定部４１０から取得した異常部分の画素値およびその画素の位置を用いて、位置変化について解析する。具体的には、位置変化判定部４１２は、過去および現在の異常部分の位置関係から重畳した画素の数Ｕ（第３の画素数）、現在の異常部分の中で重畳していない画素の数Ｖ（第１の画素数）、過去の異常部分の中で重畳していない部分の画素の数Ｗ（第２の画素数）を集計する。そして、位置変化判定部４１２は、各画素の数Ｕ，Ｖ，Ｗを閾値検証部４１４に送信する。閾値検証部４１４では、下記式（１５），式（１６）を満足するか否かを検証する。
Ｖ＞Ｕ×ＳＤ ・・・・式（１５）
Ｗ＞Ｕ×ＳＤ ・・・・式（１６）
閾値検証部４１４は、式（１５）および式（１６）を満たすか否かの検証結果を位置変化判定部４１２に送信する。位置変化判定部４１２は、式（１５）および式（１６）を満たすという検証結果を受信した場合、位置変化であると判定する。そして、位置変化判定部４１２は、位置変化の判定結果を、変化判定部４１０に送信する。
【００８６】
ステップＳ９１２では、変化判定部４１０は、異常状態の種別が位置変化であるか否かを判定する。
位置変化であると判定した場合（ステップＳ９１２でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
位置変化でないと判定した場合（ステップＳ９１２でＮｏ）は、処理はステップＳ９１３へ進む。
【００８７】
ステップＳ９１３では、変化判定部４１０は、自動処理では異常状態の種別を分類できないと判断し、入力部１４を介して、ユーザによって判断された異常状態の種別の入力を受け付ける（入力を促す）。
【００８８】
なお、ステップＳ９０３、Ｓ９０５，Ｓ９０７，Ｓ９０９において、閾値を多段に設定することによって、さびによる侵食の大きさや漏油の乾き具合等を複数の段階に分類しても良い。そして、漏油やさびが著しく進行している部分、進行が遅い部分、さらには、漏油が乾いて跡が残った部分等のように、異常部分の画像を分類しても良い。
【００８９】
以上、図７〜図９に示した処理フローは、撮像装置２０ａ，２０ｂのレンズの光軸が一致している場合を示すケース１に関するものであった。
【００９０】
（ケース２）
次に、撮像装置２０ａおよび撮像装置２０ｂのレンズの光軸が不一致または平行にずれている場合について説明する。
ケース２の場合は、撮像装置２０ａ，２０ｂ双方のカメラの焦点距離、カメラレンズ中心間の距離、および結像面と対象地点までの距離が重要となる。カメラ幾何学の基礎方程式の簡単な変形によって、可視光照合画像と特殊波長照合画像の間の関係は下記式（１７），式（１８）のように表される。
Ｘ＝｛ｆ２（xＤ−ｆ１ｄ）｝／（ｆ１Ｄ） ・・・・式（１７）
Ｙ＝｛ｆ２（yＤ−ｆ１ｄ）｝／（ｆ１Ｄ） ・・・・式（１８）
ここで、Ｄ>>ｄとしている。
なお、各変数は、下記のとおりである。
ｆ１：可視光照合画像を撮影する撮像装置２０ａの焦点距離
ｆ２：特定波長照合画像を撮影する撮像装置２０ｂの焦点距離
Ｄ：結像面と対象との距離
ｄ：２種類のカメラの光軸間の距離
x：特定波長照合画像における対象物の位置（結像面でのＸ座標）
y：特定波長照合画像における対象物の位置（結像面でのＹ座標）
Ｘ：可視光照合画像の対象物の位置（結像面でのＸ座標）
Ｙ：可視光照合画像の対象物の位置（結像面でのＹ座標）
【００９１】
式（１７）および式（１８）により、可視光照合画像の座標位置（Ｘ，Ｙ）が、特定波長照合画像上のどの座標位置（ｘ，ｙ）に対応するかがわかる。このような座標変換は非線形変換である。これによって、座標位置（Ｘ，Ｙ）が特定されると、座標位置（ｘ，ｙ）に対応する特定波長域画像の画素の形状変形を行うことができる。
【００９２】
ここで、２台のカメラのレンズ面は、両方とも光軸が平行になるように設定してあり、焦点距離ｆ１，ｆ２は既知であり、光軸間の距離ｄも計測できているものとする。しかし、結像面と対象物までの距離Ｄが求まっていないものとする。
【００９３】
距離Ｄが求まっていない場合には、式（１７），式（１８）からわかるように、座標位置（Ｘ，Ｙ）と座標位置（ｘ，ｙ）とは関連付けられない。そのため、レーザー測距によって距離Ｄを求める方法もあるが、条件付きで以下のような方法により求めることができる。図６（ａ）に示す特定波長照合画像の１点（ｘ，ｙ）と、図６（ｂ）に示す可視光照合画像の１点（Ｘ，Ｙ）とが明らかに対応していることがわかる場合には、式（１７）および式（１８）にそれらの座標値を代入すると、Ｄを求めることができる。すなわち、候補点を各画像に１点指定して、ステップＳ７０４，Ｓ７０５による処理を実行して、特徴点を求めることにより、画像形状変換パラメータを求めることができる。これによって可視光照合画像の各画素に対応する特定波長画像の画素の座標を求めることができる。
【００９４】
以上により、ステップＳ８０４における、特定波長照合画像の形状変換は、次のように２ステップに置換えられる。
まず、特定波長照合画像の画素を選択し、その座標を式（１７）および式（１８）に代入して、可視光照合画像の座標に変換する。
次に、可視光照合画像の座標に変換された画素の位置を式（６）および式（７）により座標変換して、基準画像の位置に変換する。
【００９５】
（照合画像の取得フロー）
次に、可視光照合画像および特定波長照合画像の取得フローの一例について、図１２を用いて説明する（適宜、図１，４参照）。
ステップＳ１２０１では、現場の処理装置４０は、撮像装置２０ａによって撮影された可視光域の画像（可視光照合画像）を取得する。この可視光照合画像は、特徴点を取得するための照合画像となる。
【００９６】
ステップＳ１２０２では、現場の処理装置４０は、後記する差分画像の積算を所定の回数実行したか否かを判定する。所定の回数実行したと判定した場合は、処理はステップＳ１２０６へ進む。また、所定の回数実行していないと判定した場合は、処理はステップＳ１２０３へ進む。
【００９７】
ステップＳ１２０３〜Ｓ１２０８における処理は、特定波長照合画像のＳ／Ｎ比を向上させるために実行される。
ステップＳ１２０３では、現場の処理装置４０は、照明装置３０から照射光であるハロゲン光等を照射するためのタイミングを指定するためのタイマを設定する。そして、現場の処理装置４０は、所定の時間間隔で照射光を発光して、その反射光強度の最大と最小の時間を事前に決めておき、この時間のときに撮像装置２０ｂを用いて画像を撮影する。また、照射回数はあらかじめ決めておく。
【００９８】
ステップＳ１２０４では、現場の処理装置４０は、タイマに基づいて、照明装置３０から照射光を発光する。
【００９９】
ステップＳ１２０５では、現場の処理装置４０は、撮像装置２０ｂを用いて、事前に決めておいた反射光強度の最大の時間および最小の時間に画像を取得する。例えば、図１３（ａ）には、時間と反射光強度との関係の一例を示している。そして、図１３（ａ）において、時間ｔ１と時間ｔ３のときに、反射光強度の最大の画像（第３の画像）を取得する。また、時間ｔ２と時間ｔ４のときに、反射光強度の最小の画像（第４の画像）を取得する。そして、処理をステップＳ１２０２へ戻す。
【０１００】
ステップＳ１２０６では、設備異常経時変化判定装置１０の画像取得部４０１が、現場の処理装置４０から取得した画像を撮影画像ＤＢ１３１に格納する。
【０１０１】
ステップＳ１２０７では、差分画像生成積算部４０２は、反射光強度が最大のときに撮影した画像と、反射光強度が最小のときに撮影した画像との間で、画像の差分を計算する。具体的には、差分画像生成積算部４０２は、画素ごとに画素値（色相）の差分を計算して差分画像を生成する。
【０１０２】
ステップＳ１２０８では、差分画像生成積算部４０２は、生成した複数の差分画像を用いて、画素ごとに差分を積算する。
【０１０３】
例えば、図１３（ｂ）には、差分画像の積算の過程を示している。図１３（ｂ）中では、１つの升目が１つの画素を表しているものとし、（Ａ）〜（Ｈ）に示す図それぞれは、５×５画素の画像を表している。（Ａ）は差分画像を積算するための初期値画像である。初期値画像の一例としては、すべての画素値（色相）がすべて０である。（Ｂ）は時間ｔ１の画像、（Ｃ）は時間ｔ２の画像、であり、（Ｂ）の画像の画素値から（Ｃ）の画像の画素値を減算して、（Ｄ）の差分画像を生成する。次に、（Ｄ）の差分画像と（Ａ）の初期値画像とを積算して、（Ｅ）の積算画像を作成する。また、（Ｅ）は時間ｔ３の画像、（Ｆ）は時間ｔ４の画像、であり、（Ｅ）の画像の画素値から（Ｆ）の画像の画素値を減算して、（Ｇ）の差分画像を作成する。そして、（Ｇ）の差分画像と（Ｅ）の積算画像とを積算して、（Ｈ）の積算画像を作成する。
【０１０４】
例えば、反射光強度が最大となる時間ｔ１の画素値（色相）をＡ、反射光強度が最小となる時間ｔ２の画素値（色相）をＢとする。異常部分でない画素（例えば、符号１３０１の画素）は、漏油やさびに反応しないので反射光強度がほぼ一定であるため、ほぼＡ＝Ｂとなる。これよりＡからＢを減算する演算を実行すると、差分は０、または０付近の値となる。つまり、背景光による影響を取り除くことができる。
また、異常が発生している異常部分の画素（例えば、符号１３０２の画素）では、ＡからＢを減算した値（差分値）は、異常部分でない画素の画素値と比較して異なってくる。このようにして異常部分と異常部分でない部分を区別することができる。また、差分値の積算を行うことによって、異常部分が強調されることにもなる。これにより夏と冬で背景光の強さが異なる場合でも、繰り返し取得した差分画像を積算することにより、真値信号と雑音誤差の比であるＳ／Ｎ比を高めることができる。
【０１０５】
なお、図１２では、ステップＳ１２０２〜Ｓ１２０５において、現場の処理装置４０が画像を繰り返し取得した後、設備異常経時変化判定装置１０に送信するように説明した。しかし、ステップＳ１２０３〜Ｓ１２０５の処理の後直ちにステップＳ１２０６〜Ｓ１２０８の処理を行って、ステップＳ１２０２へ戻るようにして、差分画像を積算しても構わない。
【０１０６】
（特徴点をマーカで設定したケース）
前記説明では、特徴点は、異常部分の近傍でコントラストが明確になっている点のことであるものとしていた。しかし、異常部分が広い平面上に現れることがある。この場合は、図１０に示すマスクを用いても、特徴点を抽出することができない虞がある。そこで、マーカを用いることによって、特徴点の抽出を容易にする。マーカが設備の色と異なる場合または特徴的な形状をしている場合には、形状認識によりマーカの位置を認識することができる。なお、マーカは、異常部分の近傍に５点設置（貼付）される。
【０１０７】
マーカを用いた照合画像と基準画像との位置合わせの概要について、図１４を用いて説明する。図１４（ａ）は基準画像を表し、図１４（ｂ）は照合画像を表し、図１４（ｃ）は基準画像と照合画像の重畳結果を表している。
【０１０８】
図１４において、図１４（ａ）に示す基準画像のマーカ１４０１〜１４０４（第１のマーカ）それぞれは、図１４（ｂ）に示す照合画像のマーカ１４０５〜１４０８（第１のマーカ）に対応づけられるものとする。これによって、基準画像の異常部分１４２１，１４２２に対し、照合画像の異常部分１４２１ａ，１４２２ａが位置的に照合されることになる。すなわち、図１４（ｃ）に示すように、過去の基準画像の異常部分１４２１と画像形状変換後の現在の照合画像の異常部分１４２１ｂとが重畳され、過去の基準画像の異常部分１４２２と画像形状変換後の現在の照合画像の異常部分１４２２ｂとが重畳される。このことによって、異常部分の経時変化を判定することができる。
【０１０９】
次に、マーカを用いた場合の設備異常の経時変化を判定する処理フローについて、図７〜図９に示す処理フローと対比しつつ、図１５を用いて説明する（適宜、図４，７〜９参照）。
ステップＳ１５０１では、図７に示すステップＳ７０１〜Ｓ７０３の処理を実行する。
【０１１０】
ステップＳ１５０２は、ステップＳ７０５に相当する処理である。特徴点決定部４０６は、基準画像および可視光照合画像において、自動認識によって、マーカ（特徴点）を抽出する。マーカの色が設備の色と異なる場合には、色認識によりマーカを認識する。この場合、マーカは他の領域の色とは異なるため、マーカ色を有する画素を検索し、その中心を特徴点とすることができる。さらに、マーカの形状が特定の大きさの三角形等の場合は、この形状を認識することにより特徴点を取得する。マーカは５点設置し、この中の１点は位置検証用に用いる。
【０１１１】
ステップＳ１５０３は、ステップＳ７０６と同様の処理であるので、説明を省略する。
ステップＳ１５０４は、ステップＳ７０７と同様の処理であるので、説明を省略する。
【０１１２】
ステップＳ１５０５は、ステップＳ８０１に相当する処理である。画像変形部４０８は、ステップＳ１５０４において取得した画像形状変換パラメータを用いて、ステップＳ１５０３で選択した可視光照合画像の特徴点を、基準画像上の座標に変換した点を求め、その点の近傍にある基準画像の特徴点を選択する。ここで、画像を回転させる必要がなければ、マーカ（第１のマーカ）の４点から画像形状変換パラメータを求める。残りの１個のマーカ（第２のマーカ）は、そのマーカを座標変換したときに、基準画像の対応するマーカに一致するかどうかの検証に用いられる。
【０１１３】
ステップＳ１５０６は、ステップＳ８０２に相当する処理である。画像変形部４０８は、ステップＳ１５０５において基準画像上の座標に変換した点と、選択した基準画像の特徴点との距離を誤差とし、その誤差の総和を算出する。
【０１１４】
ステップＳ１５０７では、画像変形部４０８は、誤差の総和が最小か否かを判定する。すなわち、誤差の総和が最小になるときに、可視光照合画像の特徴点と基準画像の特徴点との対応付けができたと判定する。
誤差の総和が最小であると判定した場合（ステップＳ１５０７でＹｅｓ）、処理はステップＳ１５０８へ進む。
また、誤差の総和が最小でないと判定した場合（ステップＳ１５０７でＮｏ）、処理はステップＳ１５０３へ戻る。
【０１１５】
ステップＳ１５０８は、ステップＳ８０４と同様の処理であるので、説明を省略する。
ステップＳ１５０９は、ステップＳ８０５と同様の処理であるので、説明を省略する。
【０１１６】
ステップＳ１５１０では、ステップＳ８０６〜Ｓ８０９（図８），Ｓ９０１〜Ｓ９１３（図９）の処理を実行する。
【０１１７】
（異常部分に関する情報のマンマシンインタフェース）
これまでに説明した異常部分の重畳方法は、電力関連設備、特に変電設備に適用可能である。その際、異常部分がどの設備のどの場所にあるかを管理しておく必要がある。そのため、異常部分の存在している設備が、変電所等の平面図と対応付けてプロットされていれば、点検者や設備管理者が容易に、その位置を認識することができる。
【０１１８】
例えば、撮像装置２０にＧＰＳ（Global Positioning System）機能が付加されている場合は、ＧＰＳにより取得される位置座標を平面図に関連付ける。そして、点検を行う場合、近くの場所にきた場合には、音声または警告音によって点検員に知らせるようにしても良い。
【０１１９】
ここで、異常部分に関する情報のマンマシンインタフェースについて、図１６を用いて説明する（適宜、図１参照）。
図１６に示す平面図１６０１は、出力部１５に表示されている状態を表しており、変電所のような電力関連設備が表されている。平面図１６０１には、変圧器等の電力関連設備１６１１が表示されている。また、出力部１５の画面上には、カーソル１６０２やアイコン１６０３が表示されている。
【０１２０】
入力部１４を介して、アイコン１６０３が選択（クリック）されると、図１６の中段右図１６１２に示すように、電力関連設備１６１１の画像が検索されて表示される。さらに、図１６１２中のアイコン１６１３を選択（クリック）すると、図１６の下段右図１６１４に示すように、異常部分１６１５の画像が表示され、その異常部分１６１５の過去の画像も表示される。つまり、異常部分１６１５の画像およびその履歴が、図５に示すメタデータを参照して、表示される。
【０１２１】
具体的には、設備異常経時変化判定装置１０の処理部１２は、平面図１６０１のアイコン１６０２に対する選択（クリック）を検出すると、アイコン１６０２の座標位置を図５のメタデータ中の設備の位置座標に変換して、図５に示すメタデータを検索する。処理部１２は、設備の位置座標の列を検索し、クリックされたアイコンの座標点からあらかじめ決められた範囲内にある座標に該当する情報をすべて選択する。そして、処理部１２は、選択した情報の中から基準画像を表示する。このとき、選択した情報が１つの場合には、その情報に対応する基準画像が表示される。また、選択した情報が複数個ある場合には、それらの情報に対応する基準画像すべてが表示された上で、その中から選択することを促すメッセージも表示される。
【０１２２】
複数の設備を１つの画像に含むパノラマ画像が撮影されることがある。このような場合には、アイコン１６０３の形状（図１６では、円形）の代わりに線分の形状で表した線分アイコン１６２１（縦棒）が用いられる。この線分アイコン１６２１が選択（クリック）されると、線分に関連する複数の設備の画像１６２２が表示される。表示された画像１６２２に表示された複数の設備には、異常部分を示すアイコン１６２３が表示される。処理部１２は、このアイコン１６２３の選択（クリック）を検出すると、図５に示すメタデータを検索して、異常画像１６２４を表示し、異常部分１６２５およびその履歴を表示する。
【０１２３】
以上、本実施形態における設備異常経時変化判定装置１０は、異常部分の経時変化を判定するために、まず、図６（ａ）に示すように、異常部分５０１の特定波長照合画像を取得する。また設備異常経時変化判定装置１０は、図６（ｂ）に示す合成画像を作成する。この合成画像は、電力関連設備５０３を撮影した可視光照合画像と、拡大縮小変換後の特定波長照合画像とを合成したものである。次に、設備異常経時変化判定装置１０は、図６（ｂ）の合成画像を、図６（ｃ）の基準画像のサイズと位置に合わせこむ処理を実行する。具体的には、設備異常経時変化判定装置１０は、矩形領域７１〜７８内の特徴点を抽出して、図６（ｂ）の合成画像および図６（ｃ）の基準画像の間で特徴点同士の対応関係を求めて、双方の画像の対応点を決定する。そして、対応点によって囲まれる平面同士を合わせる。このようにして、画像形状変換パラメータが求まる。また、設備異常経時変化判定装置１０は、図６（ｄ）に示すように、画像形状変換パラメータを用いて、図６（ｂ）の合成画像の異常部分５０１ａを画像形状変換し、特定波長照合画像の変換結果として、異常部分５０１ｂを作成する。次に、設備異常経時変化判定装置１０は、図６（ｆ）において、図６（ｅ）に示す過去の異常部分５０５の特定波長照合画像と、図６（ｄ）の異常部分５０１ｂの特定波長照合画像とを重畳した、異常部分の重畳画像を作成する。そして、設備異常経時変化判定装置１０は、この重畳画像の状態を解析することによって、図３に示すような異常状態の種別を判定することが可能となる。
【０１２４】
また、設備異常経時変化判定装置１０は、照明装置３０を間欠的に発光させて、異常部分からの反射光の強度が最大および最小となる時間のそれぞれにおいて、撮像装置２０ｂによって画像を撮影する。なお、撮像装置２０ｂは、特定波長にのみ透過させる光学フィルタを設定している。設備異常経時変化判定装置１０は、このような撮影を同じ異常部分に対して複数回行って撮影された最大強度のときの画像および最小強度のときの画像を取得し、双方の画素値（色相）の差分を画素ごとに算出する。そして、設備異常経時変化判定装置１０は、算出した差分を画素ごとに積算することによって、異常部分の強調を行う。
【０１２５】
なお、本実施形態では、基準画像は特徴点を検出しやすい可視光画像としているが、特定波長照合画像を撮影したときの波長とは異なる波長で撮影した方が特徴点を検出しやすい場合には、その波長域の画像であっても構わない。
また、図４では、変化判定部４１０、拡大縮小停止判定部４１１、位置変化判定部４１２、発生消滅判定部４１３、および閾値検証部４１４の機能を分割して説明したが、一つにまとめて変化判定部４１０の機能として構成しても構わない。
【符号の説明】
【０１２６】
１ 設備異常変化解析システム
１０ 設備異常経時変化判定装置
１１ 通信部
１２ 処理部
１３ 記憶部
１４ 入力部
１５ 出力部
２０，２０ａ，２０ｂ 撮像装置
３０ 照明装置
４０ 現場の処理装置
５０ 電力関連設備
７１〜７８ 矩形領域
１３１ 撮影画像ＤＢ
１３２ 解析画像ＤＢ
１３３ 経時変化ＤＢ
４０１ 画像取得部
４０２ 差分画像生成積算部
４０３ 特定波長照合画像変換部
４０４ 領域抽出部
４０５ 候補点座標入力部
４０６ 特徴点決定部
４０７ 変換パラメータ算出部
４０８ 画像変形部
４０９ 変化抽出部
４１０ 変化判定部
４１１ 拡大縮小停止判定部
４１２ 位置変化判定部
４１３ 発生消滅判定部
４１４ 閾値検証部
４１５ 報告データ作成部
５０１，５０５ 異常部分
５０２ 特定波長照合画像
５０３ 合成画像
５０４ 基準画像
１３０１〜１３０８ マーカ
１６０１ 平面図
１６０２ カーソル
１６０４ アイコン
１６２１ 線アイコン
【技術分野】
【０００１】
本発明は、変圧器等の電力関連設備において、漏油やさびのような設備異常の異常部分の経時変化を判定する技術に関する。
【背景技術】
【０００２】
油入変圧器や油遮断機等の電力関連設備には、電気絶縁用に絶縁油が使用されている。電力関連設備の老朽化や故障によって、漏油やさびのような設備異常が発生することがある。漏油が進むと機械の故障につながり、故障が発生すると送電障害へと波及し、電力を基本とする社会生活に問題が発生する。また、古い型の電力関連設備では、絶縁油が漏れると環境へのダメージも大きくなる。そこで、漏油やさびのような設備異常を検出するため、設備点検が実施されている。
【０００３】
特許文献１では、可視光カメラの設置位置と撮影場所を固定して撮影した時間的に連続する画像同士を比較して、漏油が発生しているか否かを判定する方法が開示されている。また、特許文献２や非特許文献１では、屋内の蛍光灯等の通常照明下において、キセノンフラッシュランプ等の光源でパルス光を照射したときに漏油部分から発せられる蛍光強度を測定して、漏油の膜厚を測定する方法が開示されている。この測定の際、パルス光を短時間に繰り返し照射し、測定した蛍光強度を積算する。それによって、時間的にランダムな外乱となる信号による影響が低減することになり、測定結果のＳ／Ｎ比が向上する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３０４６３４号公報（例えば、段落００１３、図１等参照）
【特許文献２】特開平１０−３１１７７１号公報（例えば、段落００３７，００７４等参照）
【非特許文献】
【０００５】
【非特許文献１】黒木雅彦，外３名，「パルス蛍光法による漏油の画像化技術」，電学論Ｅ，電気学会，平成１０年，１１８巻，１０号，ｐ．４４９−４５４
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、屋外に置かれている変圧器等の電力関連設備の設備点検は、一定の期間を空けて行われる。特に、屋外で設備異常の箇所を撮影する場合は、季節ごと、さらには撮影時間ごとに日照の強さが異なる。そのため、特許文献２や非特許文献１に記載の技術を用いたとしても、屋外で発生した設備異常を撮影したときには、背景光の影響が屋内に比較して強くなる。特に、屋外で漏油やさびの発する特別な蛍光の反射波長に感知するカメラを用いて撮影を行った場合には、Ｓ／Ｎ比は低くなる。つまり、特許文献２や非特許文献１に記載の技術では、長期間に亘る背景光等の影響を低減させることは困難であり、設備異常の検知自体が困難になるという問題もある。また、屋外での設備点検は、通常、人の目視により行われる。したがって、設備点検時には設備異常を検知することはできても、その場において直ちに、その異常状態が進行しているかどうかについて判断することはできない。すなわち、現在の状況と過去の状況とを比較する必要がある。しかし、屋外における異常部分の経時変化を画像を用いて判定する技術については、前記した先行技術文献においては示されていない。
【０００７】
また、屋外の電力関連設備における異常部分の撮影は、特許文献２や非特許文献１に記載されているような屋内の場合と違って、予め決められた撮影ポイントから行われるとは限らない。そこで、撮影した画像に含まれる異常部分の大きさや形状は、撮影角度や撮影位置によってまちまちとなる。このような場合においても、過去の画像と現在の画像との間で異常部分の経時変化を比較できるようにしておく必要がある。
【０００８】
そこで、本発明の課題は、電力関連設備において、漏油やさびのような設備異常の経時変化を判定する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、現在の設備異常の異常部分を含む画像（照合画像）に対して画像形状変換を行って、予め決められた位置合わせの基準となる画像（基準画像）に写っている同じ設備に対して位置合わせを行う。この理由は、一般的に、照合画像と基準画像とでは、撮影角度および撮影位置が異なっているためである。この位置合わせによって、現在の異常部分の画像について、過去の異常部分の画像と比較することが可能となり、経時変化の判定を行うことができる。
また、異常部分の画像が画像形状変換によってつぶれた状態にならないようにするために、異常部分の画像のＳ／Ｎ比を高くする必要もある。そのために、照射光をパルス化し、パルス光を発光した直後と所定時間が経過したときとの双方のタイミングで、異常部分からの反射光を撮影して画像化する。そして、双方のタイミングで撮影された画像において、画素値の差分を算出した差分画像を作成する。そして、双方のタイミングで繰り返し撮影した画像に対して、差分画像の画素値を画素ごとに積算することによってＳ／Ｎ比を向上させる。
【発明の効果】
【００１０】
本発明によれば、電力関連設備において、漏油やさびのような設備異常の経時変化を判定する技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】設備異常変化解析システムの構成例を示す図である。
【図２】異常部分の変化を重畳する方法の概要を示す図である。
【図３】異常状態の種別を示す図であり、（ａ）は新規生成を表し、（ｂ）は消滅を表し、（ｃ）は拡大を表し、（ｄ）は停止を表し、（ｅ）は縮小を表し、（ｆ）は位置変化を表す。
【図４】設備異常経時変化判定装置の機能例を示す図である。
【図５】異常部分の画像に関する情報（メタデータ）の一例を示す図である。
【図６】現在および過去の特定波長照合画像を重畳する方法の一例を示す図であり、（ａ）は特定波長照合画像を表し、（ｂ）は合成画像（可視光照合画像＋拡大縮小変換後の特定波長照合画像）を表し、（ｃ）は基準画像を表し、（ｄ）は特定波長照合画像の変換結果を表し、（ｅ）は過去の特定波長照合画像を表し、（ｆ）は異常部分の重畳画像を表す。
【図７】設備異常の経時変化を判定する処理フローの一例を示す図である。
【図８】設備異常の経時変化を判定する処理フローの一例を示す図である。
【図９】設備異常の経時変化を判定する処理フローの一例を示す図である。
【図１０】位置決め特徴点の抽出に用いるマスクの一例を示す図であり、（ａ）は左右方向の画素値変化を強調するマスクを表し、（ｂ）は上下方向の画素値変化を強調するマスクを表し、（ｃ）は右上左下方向の画素値変化を強調するマスクを表し、（ｄ）は左上右下方向の画素値変化を強調するマスクを表す。
【図１１】照合画像および基準画像それぞれの位置決め特徴点の対応関係を示す図であり、（ａ）は可視光照合画像上の特徴点を表し、（ｂ）は基準画像上の特徴点と座標変換点を表す。
【図１２】可視光照合画像および特定波長照合画像の取得フローの一例を示す図である。
【図１３】特定波長照合画像のＳ／Ｎ比を向上するための方法の一例を示す図であり、（ａ）は画像の撮影タイミングを表し、（ｂ）は差分画像の積算の過程を表す。
【図１４】マーカを用いた照合画像と基準画像との位置合わせの概要を示す図であり、（ａ）は基準画像を表し、（ｂ）は照合画像を表し、（ｃ）は基準画像と照合画像の重畳結果を表す。
【図１５】マーカを用いた場合の設備異常の経時変化を判定する処理フローの一例を示す図である。
【図１６】異常部分に関する情報のマンマシンインタフェースの一例を示す図である。
【発明を実施するための形態】
【００１２】
次に、本発明を実施するための形態（以降「本実施形態」と称す。）について、適宜図面を参照しながら詳細に説明する。
【００１３】
（設備異常変化解析システムの概要）
設備異常の経時変化を解析する設備異常変化解析システム１の構成例を図１に示す。
設備異常変化解析システム１は、設備異常経時変化判定装置１０、撮像装置（カメラ）２０ａ，２０ｂ、照明装置３０、および現場の処理装置４０によって構成される。なお、電力関連設備５０は、点検対象であり、設備異常変化解析システム１には含まれない。
【００１４】
設備異常経時変化判定装置１０は、現場の処理装置４０から取得した設備異常の画像データを解析して異常部分の経時変化を判定する。この場合、設備異常経時変化判定装置１０は、現場の処理装置４０から取得した現在の設備異常を含む画像（以降、照合画像と称する。）に対して画像形状変換を実行して、予め決められた位置合わせの基準となる画像（以降、基準画像と称する。）に位置合せを行う。そして、設備異常経時変化判定装置１０は、異常部分の画像を作成する。次に、設備異常経時変化判定装置１０は、その作成した現在の異常部分の画像と過去の異常部分の画像とを比較し、異常状態の経時変化を判定する。なお、設備異常経時変化判定装置１０の詳細な構成例については後記する。
【００１５】
撮像装置２０ａ，２０ｂは、電力関連設備５０の設備異常の異常部分の画像を撮影する。このうち、撮像装置２０ａは、可視光の画像を撮影する。また、撮像装置２０ｂは、パルス光を発光する照明３０と連動して、照明の明暗に合わせて、絶縁油やさびに反応する特定波長域の画像を撮影する。なお、図１では、撮像装置２０ａ，２０ｂそれぞれは、物理的に別々に分れているように記載しているが、１台に統合されていても構わない。また、撮像装置２０ｂは、可視光の画像を撮影する撮像装置２０ａに光学フィルタをかけることによって特定波長域の照合画像を取得するようにしても構わない。また、撮像装置２０ａ，２０ｂによって撮影される画像それぞれは、画角や焦点距離が必ずしも一致していなくても構わず、後記する画像形状変換を用いて、双方の画像のサイズ等が調整される。
【００１６】
照明装置３０は、ハロゲン光源等を用いて、撮像装置２０ｂの撮影タイミングと連動するようにして、パルス光を発光する。
【００１７】
現場の処理装置４０は、設備点検者が現場で使用するパソコン機能を備えた携帯可能な装置であり、撮像装置２０ａ，２０ｂによって撮影された画像データを格納する。現場の処理装置４０と撮像装置２０ａ，２０ｂとの間は、有線または無線で通信可能になっている。また、現場の処理装置４０は、格納した画像データを有線または無線により設備異常経時変化判定装置１０に送信する。なお、現場の処理装置４０が格納した画像データは、ＵＳＢ(Universal Serial Bus)等のデータ格納機器を介して設備異常経時変化判定装置１０に受け渡しても構わない。
【００１８】
電力関連設備５０は、設備異常の経時変化を調査する対象となる変圧器等である。
【００１９】
次に、設備異常経時変化判定装置１０の構成例について、図１を用いて説明する。
設備異常経時変化判定装置１０は、通信部１１、処理部１２、記憶部１３、入力部１４、および出力部１５によって構成される。
【００２０】
通信部１１は、現場の処理装置４０から送信される画像データを有線または無線により受信するインタフェースである。また、通信部１１は、ＵＳＢ等のデータ格納機器と接続するインタフェースであっても構わない。そして、通信部１１は、受信した画像データを処理部１２へ受け渡す。
【００２１】
処理部１２は、コンピュータのＣＰＵ（Central Processing Unit）とメインメモリとで構成され、記憶部１３に記憶されているアプリケーションプログラムをメインメモリに展開して、照合画像の画像形状変換処理、現在の異常部分の画像と過去の異常部分の画像との重畳処理、異常部分の経時変化の判定処理等を具現化する。なお、処理部１２の詳細な機能例および処理フローについては、後記する。また、処理部１１は、各部１１〜１５間の情報伝達の制御を司る。
【００２２】
記憶部１３は、撮影画像ＤＢ１３１、解析画像ＤＢ１３２、および経時変化ＤＢ１３３を記憶している。
撮影画像ＤＢ１３１は、撮像装置２０ａ，２０ｂにより撮影された画像データを記憶している。
解析画像ＤＢ１３２は、基準画像、処理部１２が作成した異常部分の画像、異常部分の位置情報、および撮影した時間情報を関連付けて記憶している。
経時変化ＤＢ１３３は、処理部１２が作成した異常部分の画像と、経時変化の判定結果とを関連付けて記憶している。なお、経時変化ＤＢ１３３に記憶している異常部分の画像と、解析画像ＤＢ１３２に記憶している異常部分の画像とは、関連付けが行えるように、識別情報等によって管理される。
【００２３】
入力部１４は、マウスやキーボードであり、出力部１５に表示された画面上でカーソル等を操作し、処理部１２の処理に対して情報を入力する。
出力部１５は、ディスプレイであり、処理部１２の処理結果や入力を促すメッセージ等を表示する。
【００２４】
（異常部分の変化を重畳する方法の概要）
次に、設備異常経時変化判定装置１０において、異常部分の変化を重畳する方法の概要について、図２を用いて説明する（適宜、図１参照）。
基準画像２０１（第２の画像）は、照合画像２０２を位置合わせするときの基準として使用されるもので、解析画像ＤＢ１３２に記憶されている。基準画像２０１は、初めて異常部分２１１が発見されたときに撮影された画像である。したがって、基準画像２０１は、１回取得されれば良いことになるが、１箇所からの撮影では見えない部分もあるため、複数枚の基準画像２０１をセットとして備えるようにしても良い。なお、図２では、異常部分２１１は、過去の異常部分の画像に相当することになる。
【００２５】
照合画像２０２（第１の画像）は、現在の設備異常の状態を撮影した画像である。照合画像２０２には、異常部分２１２が写されている。照合画像２０２は、基準画像２０１の撮影時期とは異なる時期に撮影された画像であって、基準画像２０１とは異なる撮影位置、異なる撮影画角によって撮影されていても構わない。
【００２６】
そして、重畳画像は２０３は、基準画像２０１と、基準画像２０１に位置を合わせるように照合画像２０２を画像形状変換した画像とを重畳した結果である。このようにして、異常部分の重畳２１３を求めることができる。なお、異常部分の重畳２１３において、異常部分２１１は過去の異常部分の画像であり、異常部分２１２ｂは画像形状変換後の現在の異常部分の画像である。また、重畳画像２０３においては、電力関連設備５０を点線で示しているが、これは、電力関連設備５０の表示を省略した場合を表している。すなわち、異常部分の重畳２１３だけを表示するようにして、経時変化を判定しやすくしたものである。
また、異常部分の重畳２１３において、異常部分２１２ｂの形状は、異常部分２１１の形状より大きくなっており、異常状態が拡大していることを表している。このように、異常部分の重畳２１３の状態を解析することによって、異常部分の経時変化を判定することができる。
【００２７】
基準画像２０１と照合画像２０２との位置合わせは、基準画像２０１の電力関連設備５０の特徴点を含む矩形領域６１，６２，６３，６４と、照合画像２０２の電力関連設備５０の特徴点を含む矩形領域６５，６６，６７，６８と、を用いて行われる。特徴点とは、異常部分の近傍でコントラストが明確になっている点のことである。特徴点は、矩形領域６１〜６８それぞれの中で、後記する方法によって決定される。そして、基準画像２０１と照合画像２０２との間で、それぞれの特徴点の対応関係が求められる。図２では、矩形領域６１内の特徴点と矩形領域６５内の特徴点、矩形領域６２内の特徴点と矩形領域６６内の特徴点、矩形領域６３内の特徴点と矩形領域６７内の特徴点、矩形領域６４内の特徴点と矩形領域６８内の特徴点、が対応しているケースを表している。なお、矩形領域６１〜６８の位置は、マウス等の入力部１４を用いて人手で指定されるが、指定後の矩形領域６１〜６８内の特徴点の決定は、この例では、処理部１２が行うものとする。また、位置合わせを行う範囲は、平面であることが好ましく、曲面の場合には、曲面を小さな平面で表すことによって対応することが可能である。
【００２８】
照合画像２０２は、画像形状変換された後、基準画像２０１と照合されることになる。しかし、照合画像２０２が画像形状変換によって縮小された場合には、異常部分２１２が画像形状変換後につぶれた状態（異常部分２１２ｂの境界が不明確な状態または異常部分２１２が小さくなって分かりにくくなった状態）になってしまうことも想定される。そこで、異常部分２１２は、それ以外の部分に比較して、強調しておくことが好ましい。特に、屋外で撮影する場合は、背景光の影響にともなって、異常部分２１２からの反射光強度が変化する。また、異常部分２１２のサイズが小さい場合には、ノイズに埋もれて、判別できなくなってしまう可能性がある。そのため、ハロゲン光を光源とする照明３０から間欠的にパルス光を異常部分２１２に照射して、異常部分２１２からの反射光の強度が最大および最小となる時間のそれぞれにおいて、撮像装置２０ｂによって画像を撮影する。このような撮影を、同じ異常部分２１２に対して複数回行って、最大強度のときの画像および最小強度のときの画像の双方の各画素において差分を算出する。そして、算出した差分を画素ごとに積算することによって、異常部分２１２の強調を行う。反射光の撮影は特定波長のみを透過させる光学フィルタを設定した撮像装置２０ｂを用いて実施することができる。このように、最大強度のときの画像と最小強度のときの画像との差分を積算することによって、異常部分２１２において、背景光の影響を相殺する。なお、異常部分２１２の強調に関する詳細については、後記する。
【００２９】
（異常状態の種別）
次に、異常状態の種別について、図３を用いて説明する。
電力関連設備５０においては、老朽化に伴って漏油やさび等の設備異常が発生することがある。このような設備異常は、その異常状態が進行することもあるが、逆に自然に停止することもある。また、異常部分は、補修や、さびの部分に塗装を施すことによって消滅することもある。そこで、異常部分の進行状態を判定するために過去の異常部分の範囲と現在の異常部分の範囲とを比較して、異常部分の経時変化を分類する。なお、図３の説明において、時間ｔ１を過去、時間ｔ２を現在として説明する。
図３（ａ）は、新規発生を示している。過去の時間ｔ１（ただし、過去のなかでも最も現在に近い時間）では発生していなかった異常部分が、現在の時間ｔ２では新たに発生している状態を示す。
図３（ｂ）は、消滅を示している。過去の時間ｔ１で発生していた異常部分が、現在の時間ｔ２では消滅している状態を示す。例えば、異常部分に対して修理や塗装によって漏油やさび等の設備異常が消滅している状態である。
図３（ｃ）は、拡大を示している。現在の時間ｔ２での異常部分の範囲が、過去の時間ｔ１での異常部分の範囲を包含している状態を示す。
図３（ｄ）は、停止を示している。現在の時間ｔ２での異常部分の範囲と、過去の時間ｔ１での異常部分の範囲とがほぼ一致して（所定の閾値以内となって）おり、異常部分の範囲の広がりが停止した状態を示す。なお、所定の閾値は、画像の解像度の低減や画像形状変換のために発生する画像のつぶれにともなう誤差等を考慮して設定される。
図３（ｅ）は、縮小を示している。過去の時間ｔ１での異常部分の範囲が、現在の時間ｔ２での異常部分の範囲を包含している状態を示す。例えば、設備修理をした後で、再び、さびや漏油等の異常部分が発生した場合である。
図３（ｆ）は、位置変化を示している。過去の時間ｔ１での異常部分の範囲が、現在の時間ｔ２での異常部分の範囲と比べて、位置が移動している状態を示す。例えば、漏油等が発生している状態で、設備が地震等で傾いたときに発生する。
【００３０】
（設備異常経時変化判定装置の機能例）
次に、設備異常経時変化判定装置１０の機能例について、図４を用いて説明する（適宜、図１参照）。
画像取得部４０１は、通信部１１を介して、基準画像および照合画像を取得する。また、画像取得部４０１は、取得した基準画像および照合画像を撮影画像ＤＢ１３１に記憶する。
【００３１】
差分画像生成積算部４０２は、撮像装置２０ｂによって撮影された照合画像を、画像取得部４０１または撮影画像ＤＢ１３１から取得する。そして、差分画像生成積算部４０２は、照合画像について、前記したように、繰り返し撮影された最大強度のときの画像および最小強度のときの画像の双方の各画素において差分を算出し、算出した差分を画素ごとに積算することによって、異常部分の強調を行う。なお、この異常部分を強調した画像を、特定波長照合画像と称する。
【００３２】
特定波長照合画像変換部４０３は、特定波長照合画像を、撮像装置２０ａによって撮影された可視光照合画像に位置合わせを行う座標変換を実行する。照合画像を撮影する場合、図１に示すように、撮像装置２０ａおよび撮像装置２０ｂの双方を用いる。撮像装置２０ａおよび撮像装置２０ｂのレンズの光軸が一致している場合は、画角の相違だけとなるため、座標変換として縮小拡大変換を行う。また、レンズの光軸が、不一致または平行にずれている場合は、座標変換として座標値非線形変換を行う。
【００３３】
領域抽出部４０４は、特定波長照合画像変換部４０３で座標変換した特定波長照合画像において、あらかじめ決められた所定の閾値範囲内にある画素値の画素のみを選択し、その選択した画素をまとめて異常部分として抽出する。
【００３４】
候補点座標入力部４０５は、出力部１５に表示している基準画像および可視光照合画像それぞれにおいて、位置合わせのための特徴点を含む領域を表す矩形領域（図２の符号６１〜６８）の位置を定めるための基となる候補点を、入力部１４を介して指示され、それらの候補点の座標を取得する。
【００３５】
特徴点決定部４０６は、候補点座標入力部４０５において取得された候補点の座標に基づいて、候補点を含むように所定の大きさの矩形領域を設定し、その矩形領域内から特徴点を自動検出する。そして、特徴点決定部４０６は、基準画像および可視光照合画像の間で特徴点同士の対応関係を求めて、基準画像と可視光照合画像との対応点を決定する。
【００３６】
変換パラメータ算出部４０７は、特徴点決定部４０６において決定した対応点の座標に基づいて、画像形状変換のためのパラメータ（以降、画像形状変換パラメータと称す。）を自動算出する。
【００３７】
画像変形部４０８は、変換パラメータ算出部４０７において算出した画像形状変換パラメータを用いて、領域抽出部４０４によって抽出した現在の異常部分の画像（特定波長照合画像）を、撮影画像ＤＢ１３１から読み出した基準画像の位置に合わせるための画像形状変換処理を行う。また、画像変形部４０８は、画像形状変換処理した異常部分の画像を、解析画像ＤＢ１３２に記憶する。特に、異常部分の画像を含むメタデータを作成することによって異常部分の画像の読み出しや記憶等の管理を容易にすることができる。メタデータの一例を図５に示す。図５に示すように、メタデータは、番号（管理番号）、撮影年月日（時刻）、設備の位置座標、異常部分の位置座標、特定波長照合画像の名称、および基準画像の名称を関連付けたものである。
【００３８】
変化抽出部４０９は、画像変形部４０８によって画像形状変換した現在の異常部分の画像（特定波長照合画像）との照合に用いる過去の異常部分の画像を、解析画像ＤＢ１３２から抽出する。
【００３９】
変化判定部４１０は、現在および過去の異常部分の画像の画素値とその画素の位置に基づいて、所定の演算（後記）を実行し、異常状態の種別（図３参照）を判定するために用いる数値を算出し、後記する拡大縮小停止判定部４１１および発生消滅判定部４１３に受け渡す。また、変化判定部４１０は、現在および過去の異常部分の画像の画素値とその画素の位置とに関する情報を、後記する位置変化判定部４１２に受け渡す。また、変化判定部４１０は、拡大縮小停止判定部４１１、位置変化判定部４１２、および発生消滅判定部４１３から取得した判定結果に基づいて、経時変化の内容を決定する。また、変化判定部４１０は、拡大縮小停止判定部４１１、位置変化判定部４１２、および発生消滅判定部４１３における処理の順番を制御等する。
【００４０】
拡大縮小停止判定部４１１は、変化判定部４１０から数値を取得する。次に、拡大縮小停止判定部４１１は、取得した数値を閾値検定部４１４に送信し、その取得した数値と閾値とを比較した検証結果を取得する。拡大縮小停止判定部４１１は、検証結果に基づいて、拡大、縮小、または停止のいずれであるかを判定し、その判定結果を変化判定部４１０に送信する。
【００４１】
位置変化判定部４１２は、変化判定部４１０から取得した異常部分の画素値およびその画素の位置について、所定の演算（後記）を実行し、異常部分の位置が移動しているかを判定するために用いる数値を算出する。次に、位置変化判定部４１２は、算出した数値を閾値検定部４１４に送信し、その算出した数値同士を比較した検証結果を取得する。位置変化判定部４１２は、検証結果に基づいて、異常部分の位置が移動しているかを判定し、その判定結果を変化判定部４１０に送信する。
【００４２】
発生消滅判定部４１３は、変化判定部４１０から数値を取得する。次に、発生消滅判定部４１３は、取得した数値を閾値検定部４１４に送信し、その取得した数値と閾値とを比較した検証結果を取得する。発生消滅判定部４１３は、検証結果に基づいて、新規発生かまたは消滅かを判定し、その判定結果を変化判定部４１０に送信する。
【００４３】
閾値検証部４１４は、異常状態の種別を判定するために、拡大縮小停止判定部４１１、位置変化判定部４１２、または発生消滅判定部４１３から受信した前記数値と、予め記憶している所定の閾値等との間で大小の比較演算を実行する。そして、閾値検証部４１４は、比較演算の結果を、検証結果として、前記数値を送信してきた拡大縮小停止判定部４１１、位置変化判定部４１２、発生消滅判定部４１３のいずれかに返信する。
【００４４】
報告データ作成部４１５は、設備異常に関する資料を作成し、作成した資料を出力部１５に出力する。
【００４５】
なお、図４中の、通信部１１、入力部１４、撮影画像ＤＢ１３１、解析画像ＤＢ１３２、および経時変化ＤＢ１３３は、図１において示したものと同様であるので、説明を省略する。また、各部４０１〜４１５は、処理部１２の機能を表している。
【００４６】
（現在および過去の特定波長照合画像を重畳する方法の一例）
ここで、現在および過去の特定波長照合画像を重畳する方法の一例について、図６を用いて説明する（適宜、図１参照）。
なお、重畳する方法については、撮像装置２０ａおよび撮像装置２０ｂのレンズの光軸が一致している場合（ケース１）と、レンズの光軸が、不一致または平行にずれている場合（ケース２）とで分けて説明する。
【００４７】
（ケース１）
ケース１は、例えば、撮像装置２０ａのレンズ部やセンサ素子部に光学フィルタを装着することによって撮像装置２０ｂを実現した場合である。ただし、各撮像装置２０ａ，２０ｂを別々に構成する場合には、一般的に、レンズ部やセンサ素子部が異なるため、焦点距離や画角が異なる場合がある。
【００４８】
図６（ａ）には、異常部分５０１の特定波長照合画像が表されている。なお、特定波長照合画像では、波長特性により電力関連設備５０２の形状等は画像上に明確に現れないこともあるため、破線で表している。
図６（ｂ）では、電力関連設備５０３を撮影した可視光照合画像と、拡大縮小変換後の特定波長照合画像とを合成した合成画像（第１の画像）が表されている。合成画像を作成するためには、前記したように、図６（ｂ）に示す可視光照合画像と図６（ａ）に示す特定波長照合画像とは、一般的に焦点距離や画角が異なるので、拡大縮小変換が必要となる。つまり、図６（ｂ）に示す異常部分５０１ａは、図６（ａ）に示す異常部分５０１を拡大縮小変換したものとなっている。なお、図６（ｂ）に示す図は、図２に示す照合画像２０２と同様の状態に相当する。
【００４９】
次に、図６（ｂ）の合成画像を、図６（ｃ）の基準画像（第２の画像）のサイズと位置に合わせこむ処理が行われる。具体的には、矩形領域７１〜７８内の特徴点を抽出して、図６（ｂ）の合成画像および図６（ｃ）の基準画像の間で特徴点同士の対応関係を求めて、双方の画像の対応点を決定する。そして、対応点によって囲まれる平面同士を合わせる。このようにして、画像形状変換パラメータが求まる。なお、図６（ｃ）に示す基準画像は、可視光照合画像であるので、異常部分が明確に写っていない場合もある。また、図６（ｃ）に示す図は、図２に示す基準画像２０１と同様の状態に相当する。
【００５０】
図６（ｄ）では、画像形状変換パラメータを用いて、図６（ｂ）の合成画像の異常部分５０１ａを画像形状変換し、特定波長照合画像の変換結果として、異常部分５０１ｂが求められる。
次に、図６（ｆ）では、図６（ｅ）に示す過去の異常部分５０５の特定波長照合画像と、図６（ｄ）の異常部分５０１ｂの特定波長照合画像とを重畳した、異常部分の重畳画像が求められる。
そして、この重畳画像の状態を解析することによって、図３に示すような異常状態（異常部分の経時変化）の種別を判定することが可能となる。
【００５１】
（設備異常の経時変化を判定する処理フロー）
設備異常の経時変化を判定する処理フローについて、図７〜図９を用いて説明する（適宜、図４参照）。
ステップＳ７０１では、画像取得部４０１は、通信部１１を介して、基準画像および照合画像を取得する。
ステップＳ７０２では、差分画像生成積算部４０２は、特定波長照合画像を生成する。
ステップＳ７０３では、特定波長照合画像変換部４０３は、特定波長照合画像を、可視光照合画像に位置合わせを行う拡大縮小変換を実行し、特定波長照合画像の画角を可視光照合画像の画角に合わせる。
【００５２】
ステップＳ７０４では、候補点座標入力部４０５は、出力部１５に表示している基準画像および可視光照合画像それぞれにおいて、位置合わせのための特徴点を含む領域を表す矩形領域（図２の符号６１〜６８）の位置を定めるための基となる候補点を、入力部１４を介して指定する。なお、候補点座標入力部４０５は、指定された候補点の座標を取得する。
【００５３】
ステップＳ７０５では、特徴点決定部４０６は、基準画像および可視光照合画像に指定した候補点に基づいて設定される矩形領域内で特徴点を抽出する。この処理には、図１０に示すようなマスクが用いられる。図１０（ａ）は左右方向の画素値変化を強調するマスクを表し、図１０（ｂ）は上下方向の画素値変化を強調するマスクを表し、図１０（ｃ）は右上左下方向の画素値変化を強調するマスクを表し、図１０（ｄ）は左上右下方向の画素値変化を強調するマスクを表している。
【００５４】
まず、特徴点決定部４０６は、ステップＳ７０４において指定した候補点を含むように所定の大きさの矩形領域を設定する。画素の解像度座標を（ｘ，ｙ）とすると、
(X-ｋ,Y-ｋ)、（X-(ｋ+1),Y-k）、・・、（X-k,Y）(X-(k-1),Y)、・・、（X+(ｋ-1),Y+k）、（X+ｋ,Y+k）
の画像範囲を設定することに相当する。そして、図１０（ａ）〜（ｄ）に示すような３×３のマスクを画像の濃淡値に適用して、その画像の濃淡値の平均値を算出する。マスクには０および１の値が振られており、マスクの中心の座標を（ｘ，ｙ）とすると、(ｘ-m,ｙ-n)(ｍ＝-1，0，1, ｎ＝-1，0，1)の画素の輝度をVAL(ｘ-m,ｙ-n)とする。VAL(ｘ-m,ｙ-n)は、ＲＧＢ（Red,Green,Blue）のモデルで表すと、下記式（１）のように表される。
VAL(ｘ-m,ｙ−n)
＝R(ｘ-m,ｙ−n)×0.2989＋G(ｘ-m,ｙ−n)×0.5866＋B(ｘ-m,ｙ−n)×0.1145
・・・式（１）
【００５５】
このとき、例えば、図１０（ａ）のマスクの値TotalValは、下記式（２）のように表される。
TotalVal＝VAL(ｘ,ｙ-１)＋VAL(ｘ,ｙ)＋VAL(x,y+1) ・・・式（２）
特徴点決定部４０６は、図１０（ａ）〜（ｄ）に示すマスクを、矩形領域内で１画素ずつずらして、画素ごとにTotalValを算出する。次に、１つの画素ごとに、図１０（ａ）〜（ｄ）に示す４種類のマスクを用いて算出された４つのTotalValを加算する。そして、その矩形領域中で、加算したTotalValが最大となる画素の位置を求める。このようなマスク処理では、画像の折れ曲がり等（例えば、電力関連設備５０の外形の辺や角等のコントラストが明確になっている場所）に対応する画素において、加算したTotalValが最大となる。すなわち、異常部分を含む平面形状の特徴点を抽出することができる。なお、一般的には、同じ矩形領域内に、加算したTotalValが最大となる画素が複数存在するため、抽出された特徴点が同じ矩形領域中に複数存在する場合がある。
【００５６】
そこで、ステップＳ７０６では、変換パラメータ算出部４０７は、可視光照合画像の候補点に基づいて設定される矩形領域ごとに特徴点を選択する。同じ矩形領域に複数の特徴点が存在する場合には、特徴点は、ランダムに選択される。
【００５７】
ステップＳ７０７では、変換パラメータ算出部４０７は、基準画像および可視光照合画像の特徴点同士の対応関係に基づいて、画像形状変換パラメータを算出する。まず、ステップＳ７０６で選択した基準画像の特徴点と可視光照合画像の特徴点に対して、基準画像と可視光照合画像との画像形状変換を行うための画像形状変換パラメータＰを求める。
【００５８】
画像形状変換パラメータとして、下記式（３）のようにＰを設定する。
Ｐ＝（ａ０，ａ１，ａ２，ｂ０，ｂ１，ｂ２，１，ｃ１，ｃ２）Ｔ ・・・式（３）
ここでＴは転置行列を示す。
また、基準画像および可視光照合画像の特徴点同士の座標変換のための変換行列Ｈは下記式（４）で表わされる。
【００５９】
（数式１）
ただし、上記式（４）において、本実施形態では特徴点の数は４つであるので、ｋ＝４である。また、基準画像の４つの特徴点の座標がそれぞれ(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)であり、可視光照合画像の４つの特徴点の座標がそれぞれ(X1,Y1)，(X2,Y2)，(X3,Y3)，(X4,Y4)であるものとする。
【００６０】
なお、式（３）に示すＰは、
ＨＰ＝０ ・・・式（５）
を満足するようにして決められる。
【００６１】
そこで、Ｐの各パラメータをGauss-Newton法により求める。具体的には、式（５）にＰの要素の仮値を入れて計算し、繰り返し計算によって一回前に計算したＰの要素値との誤差を求める。そして、Ｐの新しい値に誤差を足し込んでいき、再度、式（５）を計算する。式（５）に示す左辺の値があらかじめ決められた閾値（０に近い値）よりも小さくなるか、または所定の繰り返し回数を実行した場合に、繰り返し計算を打ち切る。これにより、Ｐの要素値、すなわち、画像形状変換パラメータを取得することができる。
【００６２】
すなわち、可視光照合画像の座標から基準画像の座標への変換は、可視光照合画像の座標を（ｘ，ｙ）、基準画像の座標を（ｘ，ｙ）とすると、画像形状変換パラメータを用いて、下記式（６）および式（７）のように表される。
X＝（ａ０＋ａ１x＋ａ２y）／（１＋ｃ１x＋ｃ２y） ・・・・式（６）
Y＝（ｂ０＋ｂ１x＋ｂ２y）／（１＋ｃ１x＋ｃ２y） ・・・・式（７）
【００６３】
次に、ステップＳ８０１〜Ｓ８０３において、画像変形部４０８は、可視光照合画像の特徴点と基準画像の特徴点との対応関係を決定する。
まず、ステップＳ８０１では、画像変形部４０８は、ステップＳ７０７（図７参照）において取得した画像形状変換パラメータを用いて、ステップＳ７０６で選択した可視光照合画像の特徴点を、基準画像上の座標に変換した点を求め、その点の近傍にある基準画像の特徴点を選択する。
【００６４】
ステップＳ８０２では、画像変形部４０８は、ステップＳ８０１において基準画像上の座標に変換した点と、選択した基準画像の特徴点との距離を誤差とし、その誤差の総和を算出する。
【００６５】
ステップＳ８０３では、画像変形部４０８は、誤差の総和が所定の閾値以下か否かを判定する。
誤差の総和が所定の閾値以下でないと判定した場合（ステップＳ８０３でＮｏ）、処理はＢ（図７のステップＳ７０６）へ戻る。
また、誤差の総和が所定の閾値以下であると判定した場合（ステップＳ８０３でＹｅｓ）、処理はステップＳ８０４へ進む。
【００６６】
ここで、誤差の算出方法の具体例について、図１１を用いて説明する。図１１（ａ）に示す可視光照合画像上には、６つの特徴点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆがある。また、図１１（ｂ）に示す基準画像上には、６つの特徴点Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌがあるものとする。いま、図１１（ａ）に示す可視光照合画像上において、４つの特徴点Ａ，Ｂ，Ｃ，Ｄがユーザによって選択されたものとする。これらの特徴点Ａ，Ｂ，Ｃ，Ｄは、ステップＳ７０７で求めた式（６）および式（７）を用いて、図１１（ｂ）に示す基準画像上の点Ａａ，Ｂａ，Ｃａ，Ｄａに変換される。次に、基準画像上の点Ａａ，Ｂａ，Ｃａ，Ｄａそれぞれに対して、近傍にある基準画像の特徴点を求めるとＧ，Ｈ，Ｉ，Ｊであったとする。このように、Ａ−Ｇ、Ｂ−Ｈ、Ｃ−Ｉ、Ｄ−Ｊを組み合わせとして、それぞれの点をＡ(x1,y1)、Ｇ(X1,Y1)、Ｂ(x2,y2)、Ｈ(X2,Y2)，Ｃ(x3,y3)、Ｉ(X3,Y3)、Ｄ(x4,y4)、Ｊ(X4,Y4)と表して、式（５）を演算し、画像形状変換パラメータＰを計算する。
【００６７】
図１１（ａ）に示す可視光照合画像上の残りの特徴点Ｅ，Ｆについても基準画像上の座標に変換する。特徴点Ｅ，Ｆは、図１１（ｂ）に示す基準画像上の点Ｅａ，Ｆａに変換される。そして、点Ｅａ，Ｆａの近傍にある基準画像上の特徴点Ｋ，Ｌを選択する。一般的に、可視光照合画像の特徴点の数と基準画像上の特徴点の数とは一致しない場合が多いので、予め決められた所定の閾値の範囲に特徴点がなければ無視する。そして、Ａ−Ｇ、Ｂ−Ｈ、Ｃ−Ｉ、Ｄ−Ｊ、Ｅ−Ｋ、Ｆ−Ｌを組み合わせとして、それぞれの点間の距離を誤差として計算し総和をとる。この誤差の総和が予め決められた所定の閾値以下であれば、計算を終了する。しかし、所定の閾値より大きい場合には、図１１（ａ）に示す可視光照合画像の特徴点を新たにランダムに４つ選択して（ステップＳ７０６）、再び、ステップＳ７０７およびステップＳ８０１〜Ｓ８０３を実行する。
【００６８】
前記したように、ステップＳ７０６、Ｓ７０７，Ｓ８０１〜Ｓ８０３で処理する方法では、まず選択した特徴点を用いて画像形状変換パラメータＰを算出し、可視光照合画像上の特徴点を基準画像上の点に座標変換し、基準画像上の変換された点の近傍にある基準画像の特徴点を選択するという相関を考慮した選択を行うことになる。これにより、相関を考えずにランダムに特徴点を選択して画像形状変換パラメータＰを算出する場合と比較して、計算処理時間が短くなるという効果がある。
【００６９】
ステップＳ８０４では、画像変形部４０８は、特定波長照合画像を基準画像に位置合わせを行うため、特定波長照合画像に対して画像形状変換を実行する。具体的には、画像変形部４０８は、画像形状変換パラメータを用いて、特定波長照合画像の座標位置を基準画像の座標上の位置に変換する。特定波長照合画像の座標上の位置（x,y）および基準画像の座標上の位置（X,Y）は、式（６）および式（７）を用いて変換される。
【００７０】
ステップＳ８０５では、画像変形部４０８は、変換が成功したか否かを判定する。具体的には、画像変形部４０８は、画像形状変換の結果が目視により良好と判断された場合に、入力部１４を介して、変換成功の情報を受け付けて、変換が成功したと判定する。また、画像変形部４０８は、画像形状変換の結果が目視により良好でないと判断されて入力部１４を介して変換不成功の情報を受け付けた場合、または所定時間経過しても変換成功の情報を受信できなかった場合には、変換が成功しなかったと判定する。
【００７１】
変換が成功したと判定した場合（ステップＳ８０５でＹｅｓ）、画像変形部４０８は、画像形状変換パラメータを記憶部１３に記憶する。また、処理はステップＳ８０６へ進む。
変換が成功しなかったと判定した場合（ステップＳ８０５でＮｏ）、処理はＣ（図７のステップＳ７０４）へ戻る。
【００７２】
ステップＳ８０６では、変化抽出部４０９は、画像形状変換された特定波長照合画像と照合するための過去の特定波長照合画像を解析画像ＤＢ１３２から取得する。
【００７３】
ステップＳ８０７では、変化判定部４１０は、判定していない異常部分があるか否かを判定する。
判定していない異常部分がないと判定した場合（ステップＳ８０７でＮｏ）、ステップＳ８０９では、報告データ作成部４１５は、ステップＳ９０１〜Ｓ９１３（図９参照）において、判定された異常状態の種別について、異常部分の画像ととともに報告データとして経時変化ＤＢ１３３に記憶するとともに、出力部１５に表示する。なお、報告データの様式は任意で良い。また、報告データでは、拡大している漏油・さびの異常については、電力関連設備の管理者に注意を促すため、テキストの色等を変えると良い。
【００７４】
判定していない異常部分があると判定した場合（ステップＳ８０７でＹｅｓ）、ステップＳ８０８では、変化判定部４１０は、異常部分の画素の調整を行う。
異常状態の種別には、図３に示したように、新規発生、消滅、拡大、停止、縮小、および位置変化の６つが考えられる。
そこで、変化判定部４１０は、これらの異常状態を分類するために、過去および現在の特定波長照合画像の位置関係から重畳した異常部分の画素の数Ｕをカウントする。また、現在の特定波長照合画像の異常部分の中で重畳していない画素の数Ｖ、過去の特定波長照合画像の異常部分の中で重畳していない画素の数Ｗをカウントする。
このとき、変化判定部４１０は、下記式（８）および式（９）を満たす場合、それぞれ重畳していない画素は、重畳しているものとして重畳範囲内に組み入れる調整を行う。
Ｖ＜Ｕ×ＳＤ ・・・・式（８）
Ｗ＜Ｕ×ＳＤ ・・・・式（９）
ここで、ＳＤは、重畳している部分の画素の数Ｕの標準偏差を重畳している部分の画素の数Ｕで除算をした値である。
【００７５】
なお、ＳＤは、基準画像と特定波長照合画像との撮影の角度差によって変化させても良い。すなわち、角度差をαとすると、ＳＤは、ＳＤ［α］としても良い。仮に、ＧＰＳ（Global Positioning System）等で、撮影位置がわかる場合は、設備平面図を用いて、基準画像を撮影したときの位置と、今回撮影したときの位置の違いから角度差を求めることができる。そして、特に、今回撮影した画像を横方向から撮影したために、画像形状変換によって拡大することになる場合には、重畳している画素の数が大きめに算出されることを考慮して、角度差αが大きいほど、ＳＤ［α］を小さく見積もるようにしても良い。
【００７６】
ステップＳ９０１では、発生消滅判定部４１３は、変化判定部４１０から取得した異常部分の画素値およびその画素の位置に基づいて、新規発生について解析する。具体的には、発生消滅判定部４１３は、現在に最も近い過去の時点で撮影された照合画像に異常部分がまったく存在しなかった場合、または過去の異常部分の画像が存在しない場合であって、現在の照合画像には異常部分が存在するときには新規発生と判定する。そして、発生消滅判定部４１３は、新規発生の判定結果を、変化判定部４１０に送信する。
ステップＳ９０２では、変化判定部４１０は、異常状態の種別が新規発生であるか否かを判定する。
新規発生であると判定した場合（ステップＳ９０２でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
新規発生でないと判定した場合（ステップＳ９０２でＮｏ）は、処理はステップＳ９０３へ進む。
【００７７】
ステップＳ９０３では、発生消滅判定部４１３は、変化判定部４１０から取得した数値（後記する式（１０）によって算出された数値）を用いて、消滅について解析する。具体的には、発生消滅判定部４１３は、変化判定部４１０において過去の異常部分の画素数Ｃｏｌｄと現在の異常部分の画素数Ｃｎｅｗとの比を下記式（１０）により算出した数値を取得する。
Overlap＝Ｃｏｌｄ／Ｃｎｅｗ ・・・・式（１０）
そして、発生消滅判定部４１３は、式（１０）により算出した数値Overlapを閾値検証部４１４に送信する。閾値検証部４１４では、下記式（１１）を満足するか否かを検証する。
Overlap≧σ１ ・・・・式（１１）
ただし、σ１（第１の閾値）は、予め決められた値である。
閾値検証部４１４は、式（１１）を満たすか否かの検証結果を発生消滅判定部４１３に送信する。発生消滅判定部４１３は、式（１１）を満たすという検証結果を受信した場合、消滅であると判定する。そして、発生消滅判定部４１３は、消滅の判定結果を、変化判定部４１０に送信する。
【００７８】
ステップＳ９０４では、変化判定部４１０は、異常状態の種別が消滅であるか否かを判定する。
消滅であると判定した場合（ステップＳ９０４でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
消滅でないと判定した場合（ステップＳ９０４でＮｏ）は、処理はステップＳ９０５へ進む。
【００７９】
ステップＳ９０５では、拡大縮小停止判定部４１１は、変化判定部４１０から取得した式（１０）により求めた数値Overlapを用いて、拡大について解析する。具体的には、拡大縮小停止判定部４１１は、現在の異常部分が過去の異常部分を包含すると判定した場合、数値Overlapを閾値検証部４１４に送信する。閾値検証部４１４では、下記式（１２）を満足するか否かを検証する。
Overlap＜σ２＜１ ・・・・式（１２）
ただし、σ２（第２の閾値）は、予め決められた値である。
閾値検証部４１４は、式（１２）を満たすか否かの検証結果を拡大縮小停止判定部４１１に送信する。拡大縮小停止判定部４１１は、式（１２）を満たすという検証結果を受信した場合、拡大であると判定する。そして、拡大縮小停止判定部４１１は、拡大の判定結果を、変化判定部４１０に送信する。
【００８０】
ステップＳ９０６では、変化判定部４１０は、異常状態の種別が拡大であるか否かを判定する。
拡大であると判定した場合（ステップＳ９０６でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
拡大でないと判定した場合（ステップＳ９０６でＮｏ）は、処理はステップＳ９０７へ進む。
【００８１】
ステップＳ９０７では、拡大縮小停止判定部４１１は、変化判定部４１０から取得した式（１０）により求めた数値Overlapを用いて、縮小について解析する。具体的には、拡大縮小停止判定部４１１は、現在の異常部分が過去の異常部分に包含されると判定した場合、数値Overlapを閾値検証部４１４に送信する。閾値検証部４１４では、下記式（１３）を満足するか否かを検証する。
σ１＞Overlap＞σ３＞１ ・・・・式（１３）
ただし、σ３（第３の閾値）は、予め決められた値である。
閾値検証部４１４は、式（１３）を満たすか否かの検証結果を拡大縮小停止判定部４１１に送信する。拡大縮小停止判定部４１１は、式（１３）を満たすという検証結果を受信した場合、縮小であると判定する。そして、拡大縮小停止判定部４１１は、縮小の判定結果を、変化判定部４１０に送信する。
【００８２】
ステップＳ９０８では、変化判定部４１０は、異常状態の種別が縮小であるか否かを判定する。
縮小であると判定した場合（ステップＳ９０８でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
縮小でないと判定した場合（ステップＳ９０８でＮｏ）は、処理はステップＳ９０９へ進む。
【００８３】
ステップＳ９０９では、拡大縮小停止判定部４１１は、変化判定部４１０から取得した式（１０）により求めた数値Overlapを用いて、停止について解析する。具体的には、拡大縮小停止判定部４１１は、数値Overlapを閾値検証部４１４に送信する。そして、閾値検証部４１４では、下記式（１４）を満足するか否かを検証する。
σ４＜Overlap＜σ５ ・・式（１４）
ただし、σ４（第４の閾値），σ５（第５の閾値）は、予め決められた値であり、１−α＝σ４＜σ５＝１＋β，（０＜α＜β＜１）である。
閾値検証部４１４は、式（１４）を満たすか否かの検証結果を拡大縮小停止判定部４１１に送信する。拡大縮小停止判定部４１１は、式（１４）を満たすという検証結果を受信した場合、停止であると判定する。そして、拡大縮小停止判定部４１１は、停止の判定結果を、変化判定部４１０に送信する。
【００８４】
ステップＳ９１０では、変化判定部４１０は、異常状態の種別が停止であるか否かを判定する。
停止であると判定した場合（ステップＳ９１０でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
停止でないと判定した場合（ステップＳ９１０でＮｏ）は、処理はステップＳ９１１へ進む。
【００８５】
ステップＳ９１１では、位置変化判定部４１２は、変化判定部４１０から取得した異常部分の画素値およびその画素の位置を用いて、位置変化について解析する。具体的には、位置変化判定部４１２は、過去および現在の異常部分の位置関係から重畳した画素の数Ｕ（第３の画素数）、現在の異常部分の中で重畳していない画素の数Ｖ（第１の画素数）、過去の異常部分の中で重畳していない部分の画素の数Ｗ（第２の画素数）を集計する。そして、位置変化判定部４１２は、各画素の数Ｕ，Ｖ，Ｗを閾値検証部４１４に送信する。閾値検証部４１４では、下記式（１５），式（１６）を満足するか否かを検証する。
Ｖ＞Ｕ×ＳＤ ・・・・式（１５）
Ｗ＞Ｕ×ＳＤ ・・・・式（１６）
閾値検証部４１４は、式（１５）および式（１６）を満たすか否かの検証結果を位置変化判定部４１２に送信する。位置変化判定部４１２は、式（１５）および式（１６）を満たすという検証結果を受信した場合、位置変化であると判定する。そして、位置変化判定部４１２は、位置変化の判定結果を、変化判定部４１０に送信する。
【００８６】
ステップＳ９１２では、変化判定部４１０は、異常状態の種別が位置変化であるか否かを判定する。
位置変化であると判定した場合（ステップＳ９１２でＹｅｓ）は、処理はＧ（図８のステップＳ８０７）へ戻る。
位置変化でないと判定した場合（ステップＳ９１２でＮｏ）は、処理はステップＳ９１３へ進む。
【００８７】
ステップＳ９１３では、変化判定部４１０は、自動処理では異常状態の種別を分類できないと判断し、入力部１４を介して、ユーザによって判断された異常状態の種別の入力を受け付ける（入力を促す）。
【００８８】
なお、ステップＳ９０３、Ｓ９０５，Ｓ９０７，Ｓ９０９において、閾値を多段に設定することによって、さびによる侵食の大きさや漏油の乾き具合等を複数の段階に分類しても良い。そして、漏油やさびが著しく進行している部分、進行が遅い部分、さらには、漏油が乾いて跡が残った部分等のように、異常部分の画像を分類しても良い。
【００８９】
以上、図７〜図９に示した処理フローは、撮像装置２０ａ，２０ｂのレンズの光軸が一致している場合を示すケース１に関するものであった。
【００９０】
（ケース２）
次に、撮像装置２０ａおよび撮像装置２０ｂのレンズの光軸が不一致または平行にずれている場合について説明する。
ケース２の場合は、撮像装置２０ａ，２０ｂ双方のカメラの焦点距離、カメラレンズ中心間の距離、および結像面と対象地点までの距離が重要となる。カメラ幾何学の基礎方程式の簡単な変形によって、可視光照合画像と特殊波長照合画像の間の関係は下記式（１７），式（１８）のように表される。
Ｘ＝｛ｆ２（xＤ−ｆ１ｄ）｝／（ｆ１Ｄ） ・・・・式（１７）
Ｙ＝｛ｆ２（yＤ−ｆ１ｄ）｝／（ｆ１Ｄ） ・・・・式（１８）
ここで、Ｄ>>ｄとしている。
なお、各変数は、下記のとおりである。
ｆ１：可視光照合画像を撮影する撮像装置２０ａの焦点距離
ｆ２：特定波長照合画像を撮影する撮像装置２０ｂの焦点距離
Ｄ：結像面と対象との距離
ｄ：２種類のカメラの光軸間の距離
x：特定波長照合画像における対象物の位置（結像面でのＸ座標）
y：特定波長照合画像における対象物の位置（結像面でのＹ座標）
Ｘ：可視光照合画像の対象物の位置（結像面でのＸ座標）
Ｙ：可視光照合画像の対象物の位置（結像面でのＹ座標）
【００９１】
式（１７）および式（１８）により、可視光照合画像の座標位置（Ｘ，Ｙ）が、特定波長照合画像上のどの座標位置（ｘ，ｙ）に対応するかがわかる。このような座標変換は非線形変換である。これによって、座標位置（Ｘ，Ｙ）が特定されると、座標位置（ｘ，ｙ）に対応する特定波長域画像の画素の形状変形を行うことができる。
【００９２】
ここで、２台のカメラのレンズ面は、両方とも光軸が平行になるように設定してあり、焦点距離ｆ１，ｆ２は既知であり、光軸間の距離ｄも計測できているものとする。しかし、結像面と対象物までの距離Ｄが求まっていないものとする。
【００９３】
距離Ｄが求まっていない場合には、式（１７），式（１８）からわかるように、座標位置（Ｘ，Ｙ）と座標位置（ｘ，ｙ）とは関連付けられない。そのため、レーザー測距によって距離Ｄを求める方法もあるが、条件付きで以下のような方法により求めることができる。図６（ａ）に示す特定波長照合画像の１点（ｘ，ｙ）と、図６（ｂ）に示す可視光照合画像の１点（Ｘ，Ｙ）とが明らかに対応していることがわかる場合には、式（１７）および式（１８）にそれらの座標値を代入すると、Ｄを求めることができる。すなわち、候補点を各画像に１点指定して、ステップＳ７０４，Ｓ７０５による処理を実行して、特徴点を求めることにより、画像形状変換パラメータを求めることができる。これによって可視光照合画像の各画素に対応する特定波長画像の画素の座標を求めることができる。
【００９４】
以上により、ステップＳ８０４における、特定波長照合画像の形状変換は、次のように２ステップに置換えられる。
まず、特定波長照合画像の画素を選択し、その座標を式（１７）および式（１８）に代入して、可視光照合画像の座標に変換する。
次に、可視光照合画像の座標に変換された画素の位置を式（６）および式（７）により座標変換して、基準画像の位置に変換する。
【００９５】
（照合画像の取得フロー）
次に、可視光照合画像および特定波長照合画像の取得フローの一例について、図１２を用いて説明する（適宜、図１，４参照）。
ステップＳ１２０１では、現場の処理装置４０は、撮像装置２０ａによって撮影された可視光域の画像（可視光照合画像）を取得する。この可視光照合画像は、特徴点を取得するための照合画像となる。
【００９６】
ステップＳ１２０２では、現場の処理装置４０は、後記する差分画像の積算を所定の回数実行したか否かを判定する。所定の回数実行したと判定した場合は、処理はステップＳ１２０６へ進む。また、所定の回数実行していないと判定した場合は、処理はステップＳ１２０３へ進む。
【００９７】
ステップＳ１２０３〜Ｓ１２０８における処理は、特定波長照合画像のＳ／Ｎ比を向上させるために実行される。
ステップＳ１２０３では、現場の処理装置４０は、照明装置３０から照射光であるハロゲン光等を照射するためのタイミングを指定するためのタイマを設定する。そして、現場の処理装置４０は、所定の時間間隔で照射光を発光して、その反射光強度の最大と最小の時間を事前に決めておき、この時間のときに撮像装置２０ｂを用いて画像を撮影する。また、照射回数はあらかじめ決めておく。
【００９８】
ステップＳ１２０４では、現場の処理装置４０は、タイマに基づいて、照明装置３０から照射光を発光する。
【００９９】
ステップＳ１２０５では、現場の処理装置４０は、撮像装置２０ｂを用いて、事前に決めておいた反射光強度の最大の時間および最小の時間に画像を取得する。例えば、図１３（ａ）には、時間と反射光強度との関係の一例を示している。そして、図１３（ａ）において、時間ｔ１と時間ｔ３のときに、反射光強度の最大の画像（第３の画像）を取得する。また、時間ｔ２と時間ｔ４のときに、反射光強度の最小の画像（第４の画像）を取得する。そして、処理をステップＳ１２０２へ戻す。
【０１００】
ステップＳ１２０６では、設備異常経時変化判定装置１０の画像取得部４０１が、現場の処理装置４０から取得した画像を撮影画像ＤＢ１３１に格納する。
【０１０１】
ステップＳ１２０７では、差分画像生成積算部４０２は、反射光強度が最大のときに撮影した画像と、反射光強度が最小のときに撮影した画像との間で、画像の差分を計算する。具体的には、差分画像生成積算部４０２は、画素ごとに画素値（色相）の差分を計算して差分画像を生成する。
【０１０２】
ステップＳ１２０８では、差分画像生成積算部４０２は、生成した複数の差分画像を用いて、画素ごとに差分を積算する。
【０１０３】
例えば、図１３（ｂ）には、差分画像の積算の過程を示している。図１３（ｂ）中では、１つの升目が１つの画素を表しているものとし、（Ａ）〜（Ｈ）に示す図それぞれは、５×５画素の画像を表している。（Ａ）は差分画像を積算するための初期値画像である。初期値画像の一例としては、すべての画素値（色相）がすべて０である。（Ｂ）は時間ｔ１の画像、（Ｃ）は時間ｔ２の画像、であり、（Ｂ）の画像の画素値から（Ｃ）の画像の画素値を減算して、（Ｄ）の差分画像を生成する。次に、（Ｄ）の差分画像と（Ａ）の初期値画像とを積算して、（Ｅ）の積算画像を作成する。また、（Ｅ）は時間ｔ３の画像、（Ｆ）は時間ｔ４の画像、であり、（Ｅ）の画像の画素値から（Ｆ）の画像の画素値を減算して、（Ｇ）の差分画像を作成する。そして、（Ｇ）の差分画像と（Ｅ）の積算画像とを積算して、（Ｈ）の積算画像を作成する。
【０１０４】
例えば、反射光強度が最大となる時間ｔ１の画素値（色相）をＡ、反射光強度が最小となる時間ｔ２の画素値（色相）をＢとする。異常部分でない画素（例えば、符号１３０１の画素）は、漏油やさびに反応しないので反射光強度がほぼ一定であるため、ほぼＡ＝Ｂとなる。これよりＡからＢを減算する演算を実行すると、差分は０、または０付近の値となる。つまり、背景光による影響を取り除くことができる。
また、異常が発生している異常部分の画素（例えば、符号１３０２の画素）では、ＡからＢを減算した値（差分値）は、異常部分でない画素の画素値と比較して異なってくる。このようにして異常部分と異常部分でない部分を区別することができる。また、差分値の積算を行うことによって、異常部分が強調されることにもなる。これにより夏と冬で背景光の強さが異なる場合でも、繰り返し取得した差分画像を積算することにより、真値信号と雑音誤差の比であるＳ／Ｎ比を高めることができる。
【０１０５】
なお、図１２では、ステップＳ１２０２〜Ｓ１２０５において、現場の処理装置４０が画像を繰り返し取得した後、設備異常経時変化判定装置１０に送信するように説明した。しかし、ステップＳ１２０３〜Ｓ１２０５の処理の後直ちにステップＳ１２０６〜Ｓ１２０８の処理を行って、ステップＳ１２０２へ戻るようにして、差分画像を積算しても構わない。
【０１０６】
（特徴点をマーカで設定したケース）
前記説明では、特徴点は、異常部分の近傍でコントラストが明確になっている点のことであるものとしていた。しかし、異常部分が広い平面上に現れることがある。この場合は、図１０に示すマスクを用いても、特徴点を抽出することができない虞がある。そこで、マーカを用いることによって、特徴点の抽出を容易にする。マーカが設備の色と異なる場合または特徴的な形状をしている場合には、形状認識によりマーカの位置を認識することができる。なお、マーカは、異常部分の近傍に５点設置（貼付）される。
【０１０７】
マーカを用いた照合画像と基準画像との位置合わせの概要について、図１４を用いて説明する。図１４（ａ）は基準画像を表し、図１４（ｂ）は照合画像を表し、図１４（ｃ）は基準画像と照合画像の重畳結果を表している。
【０１０８】
図１４において、図１４（ａ）に示す基準画像のマーカ１４０１〜１４０４（第１のマーカ）それぞれは、図１４（ｂ）に示す照合画像のマーカ１４０５〜１４０８（第１のマーカ）に対応づけられるものとする。これによって、基準画像の異常部分１４２１，１４２２に対し、照合画像の異常部分１４２１ａ，１４２２ａが位置的に照合されることになる。すなわち、図１４（ｃ）に示すように、過去の基準画像の異常部分１４２１と画像形状変換後の現在の照合画像の異常部分１４２１ｂとが重畳され、過去の基準画像の異常部分１４２２と画像形状変換後の現在の照合画像の異常部分１４２２ｂとが重畳される。このことによって、異常部分の経時変化を判定することができる。
【０１０９】
次に、マーカを用いた場合の設備異常の経時変化を判定する処理フローについて、図７〜図９に示す処理フローと対比しつつ、図１５を用いて説明する（適宜、図４，７〜９参照）。
ステップＳ１５０１では、図７に示すステップＳ７０１〜Ｓ７０３の処理を実行する。
【０１１０】
ステップＳ１５０２は、ステップＳ７０５に相当する処理である。特徴点決定部４０６は、基準画像および可視光照合画像において、自動認識によって、マーカ（特徴点）を抽出する。マーカの色が設備の色と異なる場合には、色認識によりマーカを認識する。この場合、マーカは他の領域の色とは異なるため、マーカ色を有する画素を検索し、その中心を特徴点とすることができる。さらに、マーカの形状が特定の大きさの三角形等の場合は、この形状を認識することにより特徴点を取得する。マーカは５点設置し、この中の１点は位置検証用に用いる。
【０１１１】
ステップＳ１５０３は、ステップＳ７０６と同様の処理であるので、説明を省略する。
ステップＳ１５０４は、ステップＳ７０７と同様の処理であるので、説明を省略する。
【０１１２】
ステップＳ１５０５は、ステップＳ８０１に相当する処理である。画像変形部４０８は、ステップＳ１５０４において取得した画像形状変換パラメータを用いて、ステップＳ１５０３で選択した可視光照合画像の特徴点を、基準画像上の座標に変換した点を求め、その点の近傍にある基準画像の特徴点を選択する。ここで、画像を回転させる必要がなければ、マーカ（第１のマーカ）の４点から画像形状変換パラメータを求める。残りの１個のマーカ（第２のマーカ）は、そのマーカを座標変換したときに、基準画像の対応するマーカに一致するかどうかの検証に用いられる。
【０１１３】
ステップＳ１５０６は、ステップＳ８０２に相当する処理である。画像変形部４０８は、ステップＳ１５０５において基準画像上の座標に変換した点と、選択した基準画像の特徴点との距離を誤差とし、その誤差の総和を算出する。
【０１１４】
ステップＳ１５０７では、画像変形部４０８は、誤差の総和が最小か否かを判定する。すなわち、誤差の総和が最小になるときに、可視光照合画像の特徴点と基準画像の特徴点との対応付けができたと判定する。
誤差の総和が最小であると判定した場合（ステップＳ１５０７でＹｅｓ）、処理はステップＳ１５０８へ進む。
また、誤差の総和が最小でないと判定した場合（ステップＳ１５０７でＮｏ）、処理はステップＳ１５０３へ戻る。
【０１１５】
ステップＳ１５０８は、ステップＳ８０４と同様の処理であるので、説明を省略する。
ステップＳ１５０９は、ステップＳ８０５と同様の処理であるので、説明を省略する。
【０１１６】
ステップＳ１５１０では、ステップＳ８０６〜Ｓ８０９（図８），Ｓ９０１〜Ｓ９１３（図９）の処理を実行する。
【０１１７】
（異常部分に関する情報のマンマシンインタフェース）
これまでに説明した異常部分の重畳方法は、電力関連設備、特に変電設備に適用可能である。その際、異常部分がどの設備のどの場所にあるかを管理しておく必要がある。そのため、異常部分の存在している設備が、変電所等の平面図と対応付けてプロットされていれば、点検者や設備管理者が容易に、その位置を認識することができる。
【０１１８】
例えば、撮像装置２０にＧＰＳ（Global Positioning System）機能が付加されている場合は、ＧＰＳにより取得される位置座標を平面図に関連付ける。そして、点検を行う場合、近くの場所にきた場合には、音声または警告音によって点検員に知らせるようにしても良い。
【０１１９】
ここで、異常部分に関する情報のマンマシンインタフェースについて、図１６を用いて説明する（適宜、図１参照）。
図１６に示す平面図１６０１は、出力部１５に表示されている状態を表しており、変電所のような電力関連設備が表されている。平面図１６０１には、変圧器等の電力関連設備１６１１が表示されている。また、出力部１５の画面上には、カーソル１６０２やアイコン１６０３が表示されている。
【０１２０】
入力部１４を介して、アイコン１６０３が選択（クリック）されると、図１６の中段右図１６１２に示すように、電力関連設備１６１１の画像が検索されて表示される。さらに、図１６１２中のアイコン１６１３を選択（クリック）すると、図１６の下段右図１６１４に示すように、異常部分１６１５の画像が表示され、その異常部分１６１５の過去の画像も表示される。つまり、異常部分１６１５の画像およびその履歴が、図５に示すメタデータを参照して、表示される。
【０１２１】
具体的には、設備異常経時変化判定装置１０の処理部１２は、平面図１６０１のアイコン１６０２に対する選択（クリック）を検出すると、アイコン１６０２の座標位置を図５のメタデータ中の設備の位置座標に変換して、図５に示すメタデータを検索する。処理部１２は、設備の位置座標の列を検索し、クリックされたアイコンの座標点からあらかじめ決められた範囲内にある座標に該当する情報をすべて選択する。そして、処理部１２は、選択した情報の中から基準画像を表示する。このとき、選択した情報が１つの場合には、その情報に対応する基準画像が表示される。また、選択した情報が複数個ある場合には、それらの情報に対応する基準画像すべてが表示された上で、その中から選択することを促すメッセージも表示される。
【０１２２】
複数の設備を１つの画像に含むパノラマ画像が撮影されることがある。このような場合には、アイコン１６０３の形状（図１６では、円形）の代わりに線分の形状で表した線分アイコン１６２１（縦棒）が用いられる。この線分アイコン１６２１が選択（クリック）されると、線分に関連する複数の設備の画像１６２２が表示される。表示された画像１６２２に表示された複数の設備には、異常部分を示すアイコン１６２３が表示される。処理部１２は、このアイコン１６２３の選択（クリック）を検出すると、図５に示すメタデータを検索して、異常画像１６２４を表示し、異常部分１６２５およびその履歴を表示する。
【０１２３】
以上、本実施形態における設備異常経時変化判定装置１０は、異常部分の経時変化を判定するために、まず、図６（ａ）に示すように、異常部分５０１の特定波長照合画像を取得する。また設備異常経時変化判定装置１０は、図６（ｂ）に示す合成画像を作成する。この合成画像は、電力関連設備５０３を撮影した可視光照合画像と、拡大縮小変換後の特定波長照合画像とを合成したものである。次に、設備異常経時変化判定装置１０は、図６（ｂ）の合成画像を、図６（ｃ）の基準画像のサイズと位置に合わせこむ処理を実行する。具体的には、設備異常経時変化判定装置１０は、矩形領域７１〜７８内の特徴点を抽出して、図６（ｂ）の合成画像および図６（ｃ）の基準画像の間で特徴点同士の対応関係を求めて、双方の画像の対応点を決定する。そして、対応点によって囲まれる平面同士を合わせる。このようにして、画像形状変換パラメータが求まる。また、設備異常経時変化判定装置１０は、図６（ｄ）に示すように、画像形状変換パラメータを用いて、図６（ｂ）の合成画像の異常部分５０１ａを画像形状変換し、特定波長照合画像の変換結果として、異常部分５０１ｂを作成する。次に、設備異常経時変化判定装置１０は、図６（ｆ）において、図６（ｅ）に示す過去の異常部分５０５の特定波長照合画像と、図６（ｄ）の異常部分５０１ｂの特定波長照合画像とを重畳した、異常部分の重畳画像を作成する。そして、設備異常経時変化判定装置１０は、この重畳画像の状態を解析することによって、図３に示すような異常状態の種別を判定することが可能となる。
【０１２４】
また、設備異常経時変化判定装置１０は、照明装置３０を間欠的に発光させて、異常部分からの反射光の強度が最大および最小となる時間のそれぞれにおいて、撮像装置２０ｂによって画像を撮影する。なお、撮像装置２０ｂは、特定波長にのみ透過させる光学フィルタを設定している。設備異常経時変化判定装置１０は、このような撮影を同じ異常部分に対して複数回行って撮影された最大強度のときの画像および最小強度のときの画像を取得し、双方の画素値（色相）の差分を画素ごとに算出する。そして、設備異常経時変化判定装置１０は、算出した差分を画素ごとに積算することによって、異常部分の強調を行う。
【０１２５】
なお、本実施形態では、基準画像は特徴点を検出しやすい可視光画像としているが、特定波長照合画像を撮影したときの波長とは異なる波長で撮影した方が特徴点を検出しやすい場合には、その波長域の画像であっても構わない。
また、図４では、変化判定部４１０、拡大縮小停止判定部４１１、位置変化判定部４１２、発生消滅判定部４１３、および閾値検証部４１４の機能を分割して説明したが、一つにまとめて変化判定部４１０の機能として構成しても構わない。
【符号の説明】
【０１２６】
１ 設備異常変化解析システム
１０ 設備異常経時変化判定装置
１１ 通信部
１２ 処理部
１３ 記憶部
１４ 入力部
１５ 出力部
２０，２０ａ，２０ｂ 撮像装置
３０ 照明装置
４０ 現場の処理装置
５０ 電力関連設備
７１〜７８ 矩形領域
１３１ 撮影画像ＤＢ
１３２ 解析画像ＤＢ
１３３ 経時変化ＤＢ
４０１ 画像取得部
４０２ 差分画像生成積算部
４０３ 特定波長照合画像変換部
４０４ 領域抽出部
４０５ 候補点座標入力部
４０６ 特徴点決定部
４０７ 変換パラメータ算出部
４０８ 画像変形部
４０９ 変化抽出部
４１０ 変化判定部
４１１ 拡大縮小停止判定部
４１２ 位置変化判定部
４１３ 発生消滅判定部
４１４ 閾値検証部
４１５ 報告データ作成部
５０１，５０５ 異常部分
５０２ 特定波長照合画像
５０３ 合成画像
５０４ 基準画像
１３０１〜１３０８ マーカ
１６０１ 平面図
１６０２ カーソル
１６０４ アイコン
１６２１ 線アイコン
【特許請求の範囲】
【請求項１】
撮像装置によって撮影された電力関連設備の設備異常の経時変化を判定する設備異常経時変化判定装置であって、
前記設備異常の異常部分を含む第１の画像と、前記第１の画像の位置合わせの基準となる第２の画像とを取得する画像取得部と、
前記第１の画像から前記位置合わせに用いる４点の座標を取得して第１の特徴点の座標として決定し、前記第２の画像から前記位置合わせに用いる４点の座標を取得して第２の特徴点の座標として決定する特徴点決定部と、
前記第１の特徴点の座標および前記第２の特徴点の座標の間の対応関係に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する変換パラメータ算出部と、
前記画像形状変換パラメータを用いて、前記第１の画像に対して画像形状変換を行う画像変形部と、
前記画像形状変換後の第１の画像に含まれる前記異常部分の画像を撮影時間と関連付けて記憶している記憶部と、
前記画像形状変換後の第１の画像の前記異常部分の画像と、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画像と、の間の経時変化を判定する変化判定部と
を備えることを特徴とする設備異常経時変化判定装置。
【請求項２】
前記電力関連設備の設備異常である漏油およびさびの領域を示す前記異常部分を所定の波長域で撮影した特定波長照合画像と、可視光によって撮影した画像とを合成することによって前記第１の画像を生成する特定波長照合画像変換部
を備えることを特徴とする請求項１に記載の設備異常経時変化判定装置。
【請求項３】
（Ａ）前記異常部分に照射する照明の強さを変化させて、前記異常部分からの反射光の強度が最大および最小となる時間において撮影された画像を、それぞれ第３の画像および第４の画像として取得し、
（Ｂ）前記第３の画像および前記第４の画像の色相値の差分を算出し、
（Ｃ）前記（Ａ），（Ｂ）を繰り返し実行し、画素ごとに前記算出した差分を積算して積算値を算出し、
（Ｄ）前記（Ｃ）の処理後に、所定の閾値範囲内にある前記積算値の画素の集合を前記異常部分として決定する領域抽出部
を備えることを特徴とする請求項１に記載の設備異常経時変化判定装置。
【請求項４】
前記変化判定部は、
前記画像形状変換後の第１の画像の前記異常部分の画像と前記記憶部から読み出した前記異常部分の画像とを重畳し、その重畳状態における包含関係に基づいて、経時変化を判定する
ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の設備異常経時変化判定装置。
【請求項５】
前記変化判定部は、
前記画像形状変換後の第１の画像の前記異常部分の画素数を、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画素数で除算して求めた数値を算出し、
（ａ）前記画像形状変換後の第１の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が前記記憶部に記憶されていない場合に、前記異常部分が新規に発生したことを示す新規発生と判定する処理、
（ｂ）前記画像形状変換後の第１の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が存在し、かつ前記数値が第１の閾値より大きい場合に、前記異常部分が消滅したと判定する処理、
（ｃ）前記画像形状変換後の第１の画像の前記異常部分が、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分を包含し、かつ前記数値が１より小さい第２の閾値未満の場合に、前記異常部分が拡大したと判定する処理、
（ｄ）前記画像形状変換後の第１の画像の前記異常部分が、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分に包含され、かつ前記数値が前記第１の閾値未満でかつ１より大きい第３の閾値を超える場合に、前記異常部分が縮小したと判定する処理、
（ｅ）前記数値が１より小さい第４の閾値を超えかつ１より大きい第５の閾値未満の場合に、前記異常部分の経時変化が停止したと判定する処理、
（ｆ）前記画像形状変換後の第１の画像の前記異常部分、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分、および双方の重畳部分それぞれの画素数を第１の画素数、第２の画素数、および第３の画素数として集計し、前記第１の画素数から前記第３の画素数を減算した画素数および前記第２の画素数から前記第３の画素数を減算した画素数それぞれが、前記第３の画素数に所定の係数を積算した値より大きい場合に、前記異常部分の位置が変化したことを示す位置変化と判定する処理
のうちのいずれかまたは複数の組み合わせを実行する
ことを特徴とする請求項４に記載の設備異常経時変化判定装置。
【請求項６】
前記第１の画像および前記第２の画像が、前記位置合わせに用いる４点の位置に設置した第１のマーカおよびその４点の位置とは異なる位置に設置した第２のマーカを含めて撮影されている場合、
前記特徴点決定部は、前記第１の画像から前記第１のマーカの４点の座標を取得して第１の特徴点の座標として決定し、前記第２の画像から前記第１のマーカの４点の座標を取得して第２の特徴点の座標として決定し、
前記変換パラメータ算出部は、前記第１の特徴点の座標および前記第２の特徴点の座標の間の対応関係および前記第２のマーカの対応関係の双方に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する
ことを特徴とする請求項１に記載の設備異常経時変化判定装置。
【請求項７】
撮像装置によって撮影された電力関連設備の設備異常の経時変化を判定する設備異常経時変化判定装置において用いられる設備異常経時変化判定方法であって、
前記設備異常経時変化判定装置は、
前記設備異常の異常部分を含む第１の画像と、前記第１の画像の位置合わせの基準となる第２の画像とを取得する画像取得ステップと、
前記第１の画像から前記位置合わせに用いる４点の座標を取得して第１の特徴点の座標として決定し、前記第２の画像から前記位置合わせに用いる４点の座標を取得して第２の特徴点の座標として決定する特徴点決定ステップと、
前記第１の特徴点の座標および前記第２の特徴点の座標の間の対応関係に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する変換パラメータ算出ステップと、
前記画像形状変換パラメータを用いて、前記第１の画像に対して画像形状変換を行う画像変形ステップと、
前記画像形状変換後の第１の画像に含まれる前記異常部分の画像を撮影時間と関連付けて記憶部に記憶するステップと、
前記画像形状変換後の第１の画像の前記異常部分の画像と、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画像と、の間の経時変化を判定する変化判定ステップと
を実行することを特徴とする設備異常経時変化判定方法。
【請求項８】
前記設備異常経時変化判定装置は、
前記電力関連設備の設備異常である漏油およびさびの領域を示す前記異常部分を所定の波長域で撮影した特定波長照合画像と、可視光によって撮影した画像とを合成することによって前記第１の画像を生成する特定波長照合画像変換ステップ
を実行することを特徴とする請求項７に記載の設備異常経時変化判定方法。
【請求項９】
前記設備異常経時変化判定装置は、
（Ａ）前記異常部分に照射する照明の強さを変化させて、前記異常部分からの反射光の強度が最大および最小となる時間において撮影された画像を、それぞれ第３の画像および第４の画像として取得し、
（Ｂ）前記第３の画像および前記第４の画像の色相値の差分を算出し、
（Ｃ）前記（Ａ），（Ｂ）を繰り返し実行し、画素ごとに前記算出した差分を積算して積算値を算出し、
（Ｄ）前記（Ｃ）の処理後に、所定の閾値範囲内にある前記積算値の画素の集合を前記異常部分として決定する領域抽出ステップ
を実行することを特徴とする請求項７に記載の設備異常経時変化判定方法。
【請求項１０】
前記変化判定ステップは、
前記画像形状変換後の第１の画像の前記異常部分の画像と前記記憶部から読み出した前記異常部分の画像とを重畳し、その重畳状態における包含関係に基づいて、経時変化を判定する
ことを特徴とする請求項７ないし請求項９のいずれか一項に記載の設備異常経時変化判定方法。
【請求項１１】
前記変化判定ステップは、
前記画像形状変換後の第１の画像の前記異常部分の画素数を、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画素数で除算して求めた数値を算出し、
（ａ）前記画像形状変換後の第１の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が前記記憶部に記憶されていない場合に、前記異常部分が新規に発生したことを示す新規発生と判定する処理、
（ｂ）前記画像形状変換後の第１の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が存在し、かつ前記数値が第１の閾値より大きい場合に、前記異常部分が消滅したと判定する処理、
（ｃ）前記画像形状変換後の第１の画像の前記異常部分が、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分を包含し、かつ前記数値が１より小さい第２の閾値未満の場合に、前記異常部分が拡大したと判定する処理、
（ｄ）前記画像形状変換後の第１の画像の前記異常部分が、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分に包含され、かつ前記数値が前記第１の閾値未満でかつ１より大きい第３の閾値を超える場合に、前記異常部分が縮小したと判定する処理、
（ｅ）前記数値が１より小さい第４の閾値を超えかつ１より大きい第５の閾値未満の場合に、前記異常部分の経時変化が停止したと判定する処理、
（ｆ）前記画像形状変換後の第１の画像の前記異常部分、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分、および双方の重畳部分それぞれの画素数を第１の画素数、第２の画素数、および第３の画素数として集計し、前記第１の画素数から前記第３の画素数を減算した画素数および前記第２の画素数から前記第３の画素数を減算した画素数それぞれが、前記第３の画素数に所定の係数を積算した値より大きい場合に、前記異常部分の位置が変化したことを示す位置変化と判定する処理
のうちのいずれかまたは複数の組み合わせを実行する
ことを特徴とする請求項１０に記載の設備異常経時変化判定方法。
【請求項１２】
前記第１の画像および前記第２の画像が、前記位置合わせに用いる４点の位置に設置した第１のマーカおよびその４点の位置とは異なる位置に設置した第２のマーカを含めて撮影されている場合、
前記特徴点決定ステップは、前記第１の画像から前記第１のマーカの４点の座標を取得して第１の特徴点の座標として決定し、前記第２の画像から前記第１のマーカの４点の座標を取得して第２の特徴点の座標として決定し、
前記変換パラメータ算出ステップは、前記第１の特徴点の座標および前記第２の特徴点の座標の間の対応関係および前記第２のマーカの対応関係の双方に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する
ことを特徴とする請求項７に記載の設備異常経時変化判定方法。
【請求項１３】
請求項７ないし請求項１２のいずれか一項に記載の設備異常経時変化判定方法を、コンピュータである前記設備異常経時変化装置に実行させるためのプログラム。
【請求項１】
撮像装置によって撮影された電力関連設備の設備異常の経時変化を判定する設備異常経時変化判定装置であって、
前記設備異常の異常部分を含む第１の画像と、前記第１の画像の位置合わせの基準となる第２の画像とを取得する画像取得部と、
前記第１の画像から前記位置合わせに用いる４点の座標を取得して第１の特徴点の座標として決定し、前記第２の画像から前記位置合わせに用いる４点の座標を取得して第２の特徴点の座標として決定する特徴点決定部と、
前記第１の特徴点の座標および前記第２の特徴点の座標の間の対応関係に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する変換パラメータ算出部と、
前記画像形状変換パラメータを用いて、前記第１の画像に対して画像形状変換を行う画像変形部と、
前記画像形状変換後の第１の画像に含まれる前記異常部分の画像を撮影時間と関連付けて記憶している記憶部と、
前記画像形状変換後の第１の画像の前記異常部分の画像と、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画像と、の間の経時変化を判定する変化判定部と
を備えることを特徴とする設備異常経時変化判定装置。
【請求項２】
前記電力関連設備の設備異常である漏油およびさびの領域を示す前記異常部分を所定の波長域で撮影した特定波長照合画像と、可視光によって撮影した画像とを合成することによって前記第１の画像を生成する特定波長照合画像変換部
を備えることを特徴とする請求項１に記載の設備異常経時変化判定装置。
【請求項３】
（Ａ）前記異常部分に照射する照明の強さを変化させて、前記異常部分からの反射光の強度が最大および最小となる時間において撮影された画像を、それぞれ第３の画像および第４の画像として取得し、
（Ｂ）前記第３の画像および前記第４の画像の色相値の差分を算出し、
（Ｃ）前記（Ａ），（Ｂ）を繰り返し実行し、画素ごとに前記算出した差分を積算して積算値を算出し、
（Ｄ）前記（Ｃ）の処理後に、所定の閾値範囲内にある前記積算値の画素の集合を前記異常部分として決定する領域抽出部
を備えることを特徴とする請求項１に記載の設備異常経時変化判定装置。
【請求項４】
前記変化判定部は、
前記画像形状変換後の第１の画像の前記異常部分の画像と前記記憶部から読み出した前記異常部分の画像とを重畳し、その重畳状態における包含関係に基づいて、経時変化を判定する
ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の設備異常経時変化判定装置。
【請求項５】
前記変化判定部は、
前記画像形状変換後の第１の画像の前記異常部分の画素数を、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画素数で除算して求めた数値を算出し、
（ａ）前記画像形状変換後の第１の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が前記記憶部に記憶されていない場合に、前記異常部分が新規に発生したことを示す新規発生と判定する処理、
（ｂ）前記画像形状変換後の第１の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が存在し、かつ前記数値が第１の閾値より大きい場合に、前記異常部分が消滅したと判定する処理、
（ｃ）前記画像形状変換後の第１の画像の前記異常部分が、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分を包含し、かつ前記数値が１より小さい第２の閾値未満の場合に、前記異常部分が拡大したと判定する処理、
（ｄ）前記画像形状変換後の第１の画像の前記異常部分が、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分に包含され、かつ前記数値が前記第１の閾値未満でかつ１より大きい第３の閾値を超える場合に、前記異常部分が縮小したと判定する処理、
（ｅ）前記数値が１より小さい第４の閾値を超えかつ１より大きい第５の閾値未満の場合に、前記異常部分の経時変化が停止したと判定する処理、
（ｆ）前記画像形状変換後の第１の画像の前記異常部分、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分、および双方の重畳部分それぞれの画素数を第１の画素数、第２の画素数、および第３の画素数として集計し、前記第１の画素数から前記第３の画素数を減算した画素数および前記第２の画素数から前記第３の画素数を減算した画素数それぞれが、前記第３の画素数に所定の係数を積算した値より大きい場合に、前記異常部分の位置が変化したことを示す位置変化と判定する処理
のうちのいずれかまたは複数の組み合わせを実行する
ことを特徴とする請求項４に記載の設備異常経時変化判定装置。
【請求項６】
前記第１の画像および前記第２の画像が、前記位置合わせに用いる４点の位置に設置した第１のマーカおよびその４点の位置とは異なる位置に設置した第２のマーカを含めて撮影されている場合、
前記特徴点決定部は、前記第１の画像から前記第１のマーカの４点の座標を取得して第１の特徴点の座標として決定し、前記第２の画像から前記第１のマーカの４点の座標を取得して第２の特徴点の座標として決定し、
前記変換パラメータ算出部は、前記第１の特徴点の座標および前記第２の特徴点の座標の間の対応関係および前記第２のマーカの対応関係の双方に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する
ことを特徴とする請求項１に記載の設備異常経時変化判定装置。
【請求項７】
撮像装置によって撮影された電力関連設備の設備異常の経時変化を判定する設備異常経時変化判定装置において用いられる設備異常経時変化判定方法であって、
前記設備異常経時変化判定装置は、
前記設備異常の異常部分を含む第１の画像と、前記第１の画像の位置合わせの基準となる第２の画像とを取得する画像取得ステップと、
前記第１の画像から前記位置合わせに用いる４点の座標を取得して第１の特徴点の座標として決定し、前記第２の画像から前記位置合わせに用いる４点の座標を取得して第２の特徴点の座標として決定する特徴点決定ステップと、
前記第１の特徴点の座標および前記第２の特徴点の座標の間の対応関係に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する変換パラメータ算出ステップと、
前記画像形状変換パラメータを用いて、前記第１の画像に対して画像形状変換を行う画像変形ステップと、
前記画像形状変換後の第１の画像に含まれる前記異常部分の画像を撮影時間と関連付けて記憶部に記憶するステップと、
前記画像形状変換後の第１の画像の前記異常部分の画像と、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画像と、の間の経時変化を判定する変化判定ステップと
を実行することを特徴とする設備異常経時変化判定方法。
【請求項８】
前記設備異常経時変化判定装置は、
前記電力関連設備の設備異常である漏油およびさびの領域を示す前記異常部分を所定の波長域で撮影した特定波長照合画像と、可視光によって撮影した画像とを合成することによって前記第１の画像を生成する特定波長照合画像変換ステップ
を実行することを特徴とする請求項７に記載の設備異常経時変化判定方法。
【請求項９】
前記設備異常経時変化判定装置は、
（Ａ）前記異常部分に照射する照明の強さを変化させて、前記異常部分からの反射光の強度が最大および最小となる時間において撮影された画像を、それぞれ第３の画像および第４の画像として取得し、
（Ｂ）前記第３の画像および前記第４の画像の色相値の差分を算出し、
（Ｃ）前記（Ａ），（Ｂ）を繰り返し実行し、画素ごとに前記算出した差分を積算して積算値を算出し、
（Ｄ）前記（Ｃ）の処理後に、所定の閾値範囲内にある前記積算値の画素の集合を前記異常部分として決定する領域抽出ステップ
を実行することを特徴とする請求項７に記載の設備異常経時変化判定方法。
【請求項１０】
前記変化判定ステップは、
前記画像形状変換後の第１の画像の前記異常部分の画像と前記記憶部から読み出した前記異常部分の画像とを重畳し、その重畳状態における包含関係に基づいて、経時変化を判定する
ことを特徴とする請求項７ないし請求項９のいずれか一項に記載の設備異常経時変化判定方法。
【請求項１１】
前記変化判定ステップは、
前記画像形状変換後の第１の画像の前記異常部分の画素数を、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画素数で除算して求めた数値を算出し、
（ａ）前記画像形状変換後の第１の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が前記記憶部に記憶されていない場合に、前記異常部分が新規に発生したことを示す新規発生と判定する処理、
（ｂ）前記画像形状変換後の第１の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が存在し、かつ前記数値が第１の閾値より大きい場合に、前記異常部分が消滅したと判定する処理、
（ｃ）前記画像形状変換後の第１の画像の前記異常部分が、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分を包含し、かつ前記数値が１より小さい第２の閾値未満の場合に、前記異常部分が拡大したと判定する処理、
（ｄ）前記画像形状変換後の第１の画像の前記異常部分が、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分に包含され、かつ前記数値が前記第１の閾値未満でかつ１より大きい第３の閾値を超える場合に、前記異常部分が縮小したと判定する処理、
（ｅ）前記数値が１より小さい第４の閾値を超えかつ１より大きい第５の閾値未満の場合に、前記異常部分の経時変化が停止したと判定する処理、
（ｆ）前記画像形状変換後の第１の画像の前記異常部分、前記第１の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分、および双方の重畳部分それぞれの画素数を第１の画素数、第２の画素数、および第３の画素数として集計し、前記第１の画素数から前記第３の画素数を減算した画素数および前記第２の画素数から前記第３の画素数を減算した画素数それぞれが、前記第３の画素数に所定の係数を積算した値より大きい場合に、前記異常部分の位置が変化したことを示す位置変化と判定する処理
のうちのいずれかまたは複数の組み合わせを実行する
ことを特徴とする請求項１０に記載の設備異常経時変化判定方法。
【請求項１２】
前記第１の画像および前記第２の画像が、前記位置合わせに用いる４点の位置に設置した第１のマーカおよびその４点の位置とは異なる位置に設置した第２のマーカを含めて撮影されている場合、
前記特徴点決定ステップは、前記第１の画像から前記第１のマーカの４点の座標を取得して第１の特徴点の座標として決定し、前記第２の画像から前記第１のマーカの４点の座標を取得して第２の特徴点の座標として決定し、
前記変換パラメータ算出ステップは、前記第１の特徴点の座標および前記第２の特徴点の座標の間の対応関係および前記第２のマーカの対応関係の双方に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する
ことを特徴とする請求項７に記載の設備異常経時変化判定方法。
【請求項１３】
請求項７ないし請求項１２のいずれか一項に記載の設備異常経時変化判定方法を、コンピュータである前記設備異常経時変化装置に実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２０７９４８（Ｐ２０１２−２０７９４８Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７２０１３（Ｐ２０１１−７２０１３）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【出願人】（０００２２２０３７）東北電力株式会社 (228)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【出願人】（０００２２２０３７）東北電力株式会社 (228)
【Ｆターム（参考）】
[ Back to top ]