検査支援装置、プログラム及び検査支援方法
【課題】異常（通常と異なる状態にあることを含む）を外観から簡単に検査する手法を実現し、検査を支援することでもって、検査の高頻度化や検査の手間の省略化に資すること。
【解決手段】車両検査支援システム１によれば、線路脇に設置された撮影装置１００による撮影画像をもとに、車両検査支援装置２００が、撮影画像に写っている車両の異常の有無を判定する。具体的には、車両検査支援装置２００は、動画撮影された画像の各フレーム画像を合成して１車両全体の車両画像３０を作成し、この車両画像３０と、過去の車両画像であって写っている車両が「正常」と判定された画像である判定用画像それぞれとの間の相関距離のうち、最小の相関距離に基づいて、車両画像３０に写っている車両に異常があるか否かを判定する。
【解決手段】車両検査支援システム１によれば、線路脇に設置された撮影装置１００による撮影画像をもとに、車両検査支援装置２００が、撮影画像に写っている車両の異常の有無を判定する。具体的には、車両検査支援装置２００は、動画撮影された画像の各フレーム画像を合成して１車両全体の車両画像３０を作成し、この車両画像３０と、過去の車両画像であって写っている車両が「正常」と判定された画像である判定用画像それぞれとの間の相関距離のうち、最小の相関距離に基づいて、車両画像３０に写っている車両に異常があるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査支援装置等に関する。
【背景技術】
【０００２】
定期的な点検・整備を目的として、鉄道車両であれば仕業検査や交番検査、自動車であれば車検といった検査が行われているが、これらの検査に至る前に故障が発生する場合がある。例えば、鉄道車両の場合であれば、故障によってその車両が事故を起こし得る他、運休やダイヤ乱れが生じる可能性もある。しかし、故障を無くすことは不可能であるため、故障を前提として、故障が生じた場合にも安全に動作するフェールセーフ性を確保したり、部品を多重化する等の対策が講じられている。
【０００３】
また、故障につながる異常を早期に検知する技術は、各種開発・実用化されている。例えば、特許文献１には、軸受部の異常を精度良く判定するための技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３４１６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の異常検知技術の多くは、特定の部品や特定の部材の異常を検知するために特化された技術である。そのため、鉄道車両や自動車などに搭載されている全ての部品１つ１つに、当該部品に対応する個別の検知システムを組み込むことは現実的でない。
【０００６】
また、部品自体が正常に機能している状態であっても、外形が変形・変色していたり、その部品の固定具（締結ボルト等）に緩みや損傷が生じていたり、通常付着していない付着物（油等）が付着しているといった場合もある。こういった異常、或いは異常とまでいかないまでも通常ではない状態は、外観で判断できる場合も多い。また、上述の課題は、鉄道車両や自動車の他、各種の機械製品や電気製品にも当てはまる。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的とするところは、異常（通常と異なる状態にあることを含む）を外観から簡単に検査する手法を実現し、検査を支援することでもって、検査の高頻度化や検査の手間の省略化に資することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するための第１の形態は、
正常と判定された検査対象物の正常画像を複数記憶した記憶手段（例えば、図８の記憶部２３０）と、
今回の検査対象とする検査対象物を撮影した撮影画像（例えば、図５の車両画像３０）、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓（例えば、図５の検査窓４０）を初期設定する検査窓初期設定手段（例えば、図８の相関距離算出部２２２）と、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析手段（例えば、図８の相関距離算出部２２２）と、
前記画像解析手段により判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定手段（例えば、図８の相関距離算出部２２２）と、
前記一の正常画像を切り替えて、前記検査窓初期設定手段、前記画像解析手段および前記非類似度個別判定手段を繰り返し機能させ、前記非類似度個別判定手段により判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定手段（例えば、図８の相関距離算出部２２２）と、
前記最終非類似度判定手段により判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定手段（例えば、図８の異常判定部２２３）と、
を備えた検査支援装置（例えば、図８の車両検査支援装置２００）である。
【０００９】
また、他の形態として、正常と判定された検査対象物の正常画像を複数記憶した記憶手段を備えたコンピュータを、
今回の検査対象とする検査対象物を撮影した撮影画像、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓を初期設定する検査窓初期設定手段（例えば、図８の相関距離算出部２２２）、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析手段（例えば、図８の相関距離算出部２２２）。
前記画像解析手段により判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定手段（例えば、図８の相関距離算出部２２２）、
前記一の正常画像を切り替えて、前記検査窓初期設定手段、前記画像解析手段および前記非類似度個別判定手段を繰り返し機能させ、前記非類似度個別判定手段により判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定手段（例えば、図８の相関距離算出部２２２）、
前記最終非類似度判定手段により判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定手段（例えば、図８の異常判定部２２３）、
として機能させるためのプログラム（例えば、図８の車両検査支援プログラム２３１）を構成することとしてもよい。
【００１０】
また、他の形態として、正常と判定された検査対象物の正常画像を複数記憶した記憶手段を備えたコンピュータを制御して検査対象物の検査を支援する検査支援方法であって、
今回の検査対象とする検査対象物を撮影した撮影画像、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓を初期設定する検査窓初期設定ステップ（例えば、図１０のステップＡ５）と、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析ステップ（例えば、図１０のステップＡ７）と、
前記画像解析ステップで判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定ステップ（例えば、図１０のステップＳ９）と、
前記一の正常画像を切り替えて、前記検査窓初期設定ステップ、前記画像解析ステップおよび前記非類似度個別判定ステップを繰り返し実行し、前記非類似度個別判定ステップで判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定ステップ（例えば、図１０のループＡの処理）と、
前記最終非類似度判定ステップで判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定ステップ（例えば、図１０のステップＳ１１〜Ｓ１３）と、
を含む検査支援方法を構成することとしてもよい。
【００１１】
この第１の形態等によれば、今回の検査対象とする検査対象物の撮影画像と、検査対象物の一の正常画像とのそれぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓が初期設定される。そして、検査窓が予め定められた相対方向に徐々にずらされるとともに、検査窓内の画像同士が比較されて非類似度が判定される。この判定の結果のうち、最大の非類似度が、一の正常画像に対する撮影画像の非類似度とされる。
【００１２】
すなわち、検査窓が、検査対象物に対する予め定められた相対位置に初期設定されて、予め定められた相対方向にずらされるため、検査窓内の画像同士の非類似度の判定は、より精確に行われることとなる。そして、判定された非類似度のうち、最大の非類似度が、一の正常画像に対する撮影画像の非類似度とされる。この結果、検査窓内の部分同士のうち、最も正常画像に類似していない部分が明らかとされる。これが、撮影画像の一の正常画像に対する個別判定である。
【００１３】
更に、第１の形態等によれば、検査窓の初期設定から検査窓のずらし、および非類似度の判定までの個別判定が、一の正常画像を切り替えて繰り返され、個別判定された非類似度のうちの、最小の非類似度が撮影画像の最終的な非類似度とされる。正常画像は複数あるため、最も近似する、すなわち非類似度が最も小さい正常画像が、今回の検査対象物の撮影画像に最も近似していることになる。但し、最も近似しているとはいえ、その正常画像において最も類似していない部分の非類似度が、最終的な非類似度となる。この結果、最終的な非類似度に基づいて、今回の検査対象物の異常の有無が判定可能となる。
【００１４】
以上の構成によれば、今回の検査対象物の撮影画像を取得さえできれば、今回の検査対象物の異常の有無を簡単に判定することが可能となる。この結果、検査の手間の省略化や、検査の高頻度の実施に資することができる。
【００１５】
また、第２の形態として、第１の形態において、
前記異常判定手段により異常有りと判定された場合に、前記撮影画像を表示制御するとともに、前記最終的な非類似度とされた前記検査窓の当該撮影画像中の位置を識別表示する異常判定位置表示制御手段（例えば、図８の報知制御部２２５）を更に備えた検査支援装置を構成することとしてもよい。
【００１６】
この第２の形態によれば、撮影画像が表示制御されるとともに、撮影画像中の最終的な非類似度とされた検査窓の位置が識別表示されるため、検査員による異常か否かの判断の一助となる。
【００１７】
また、第３の形態として、第１又は第２の形態において、
検査対象物の通過地点に向けて設置され、検査対象物の一部分を撮影範囲として検査対象物の通過に従って連続撮影することで検査対象物の通過方向全体を撮影させる撮影制御手段（例えば、図１の撮影装置１００）により連続撮影された画像から、検査対象物の通過方向全体が収まった１つの全体画像を前記撮影画像として生成する全体画像生成手段（例えば、図８の車両画像作成部２２１）を更に備えた検査支援装置を構成することとしてもよい。
【００１８】
この第３の形態によれば、検査対象物の通過地点に向けて設置された撮影制御手段が、検査対象物の一部分を撮影範囲として検査対象物の通過に従って連続撮影することで、検査対象物の通過方向全体が撮影される。そして、連続撮影された画像から、検査対象物の通過方向全体が収まった１つの全体画像が、非類似度判定のための撮影画像として生成される。従って、撮影制御手段の撮影範囲を検査対象物全体が撮影可能な画角に設定・設置する必要がないため、撮影画像をできるだけ高精細な画像とすることができる。また、検査対象物の通過方向全体が収まった１つの全体画像が、非類似度判定のための撮影画像とされるため、検査窓の初期設定や、検査窓のずらし方向の判別が容易になる。
【００１９】
また、第４の形態として、第１〜第３の何れかの形態において、
前記記憶手段は、今回の検査対象物と同一種類を含む複数種類の検査対象物の正常画像を記憶しており、
前記非類似度個別判定手段により最大の非類似度が判定され、前記最終非類似度判定手段により最小の非類似度が最終的な非類似度と判定されることによって、前記最終的な非類似度に係る正常画像の種類が自動的に今回の検査対象物と同一種類となることを特徴とする検査支援装置を構成することとしてもよい。
【００２０】
この第４の形態によれば、今回の検査対象物の種類を入力するといった手間がないため、異常の判定を一層簡単に実現することができる。
【図面の簡単な説明】
【００２１】
【図１】車両検査支援システムの構成図。
【図２】撮影画像を合成して車両画像を作成することの説明図。
【図３】複数種別の列車を含む車両画像の集合の一例。
【図４】図３の車両画像の集合に対して階層的クラスタリングを適用した結果。
【図５】車両画像に対する検査窓の設定の説明図。
【図６】検査窓の位置と検査窓内の部分画像間の相関係数との関係。
【図７】検査窓を用いて算出した画像間距離を用いて階層的クラスタリングを適用した結果。
【図８】車両検査支援装置の機能構成図。
【図９】判定用画像ＤＢのデータ構成例。
【図１０】車両検査支援処理のフローチャート。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施形態を説明する。但し、本発明の適用可能な実施形態がこれに限定されるものではない。
【００２３】
［システム］
図１は、本実施形態の車両検査支援システム１の全体構成図である。図１に示すように、車両検査支援システム１は、撮影装置１００と、車両検査支援装置２００とを備えて構成される。
【００２４】
撮影装置１００は、線路脇に設置され、線路を走行する列車１０を側方から撮影する。また、この撮影装置１００は、高速連写による動画撮影が可能なデジタルカメラ或いはデジタルビデオカメラであり、検査対象物である列車１０の高さ方向全体を撮影範囲に含むとともに、列車１０の進行方向が撮影画像の横方向に一致するように、撮影画角や撮影方向が設定されて配置されている。なお、列車１０の長手方向全体が撮影範囲に含まれている必要はない。また、撮影装置１００は通信装置を内蔵しており、この通信装置によって、撮影画像データを車両検査支援装置２００に送信することができる。
【００２５】
車両検査支援装置２００は、コンピュータシステムによって実現され、例えば管理センタ等に設置される。この車両検査支援装置２００は、撮影装置１００から受信した撮影画像をもとに、列車１０の異常判定を支援する処理を行う。
【００２６】
［原理］
本実施形態における車両検査支援処理の原理を説明する。
【００２７】
（１）画像合成
先ず、撮影装置１００による撮影画像２０から、１車両全体が写った車両画像３０を作成する。鉄道車両は横方向（進行方向）に細長い。線路脇に設置された撮影装置１００は列車１０を至近距離から撮影するため、車両全体を１枚の画像に収めることは難しく、むしろ、最終的に高精度な撮影画像を得るために、車両の一部分を撮影するように画角及び配置位置が定められている。撮影装置１００で連続撮影（動画撮影）された各静止画像を合成することで、１車両全体が写った全体画像である車両画像３０を作成する。
【００２８】
図２は、画像合成による車両画像の作成を説明する図である。図２に示すように、各撮影画像２０には車両の一部分が写っている。これらの複数の撮影画像２０を合成することで、１枚の車両画像３０を作成する。すなわち、撮影順に隣り合う２枚の撮影画像２０の共通部分を判定し、この共通部分が重なるように結合していくことで、最終的に１枚の画像にする。
【００２９】
具体的には、撮影装置１００の位置は固定であり、列車１０の進行方向が撮影画像２０の横方向に一致しているので、縦方向を合わせて２枚の撮影画像２０を重ね、横方向にずらしながら重なる画像部分が一致する位置を探せばよい。また、「画像部分」の一致位置は、画像部分間の相関係数が最大となることから判定できる。また、画像間の相関係数はピアソンの積率相関係数であり、各画像を構成する各画素の色データ（色を表す数値データ）の集合を変数とした相関係数として算出される。但し、本実施形態における相関係数は０以上１以下である。
【００３０】
（２）異常判定の基本的な考え方
車両画像３０を作成（合成）したならば、この車両画像３０を用いて、写っている車両の異常の有無を判断する。具体的には、今回の車両画像３０を、過去の「正常」な車両画像３０と比較して、両者が大きく異なる場合に、今回の車両画像３０に写っている列車に「異常」有りと判定する。
【００３１】
また、車両画像３０間の比較基準として、画像同士がどれだけ異なるかを示す「非類似度」を用いる。この画像間の非類似度は、次式（１）で定義される「相関距離ｄ」で表すこととする。
相関距離ｄ＝１−相関係数ｃ ・・（１）
【００３２】
車両画像３０間の相関係数を用いて写っている列車の異常の有無を判定するが、列車を構成する車両には複数の種別（種類）がある。つまり、列車に異常がなくとも、車両種別が異なるとそれぞれの車両画像３０は大きく異なる（すなわち、画像間の「相関距離ｄ」が長くなる）。このため、車両画像３０に写っている車両種別を判別して、同じ車両種別の列車を写した車両画像３０間で比較を行う必要がある。
【００３３】
そこで、本実施形態では、車両種別の判別及び異常判定を、「階層的クラスタリング」の考え方を利用して実現する。ここで用いる階層的クラスタリングは擬集型の手法であり、距離計算は単連結法（最短距離法）とする。この階層的クラスタリングを用いた車両種別の判別及び異常判定の基本的な考え方について説明する。
【００３４】
先ず、複数の車両画像３０それぞれを含む「クラスタ」を生成する。つまり、車両画像３０と同数のクラスタが生成される。次いで、各クラスタ間の「距離」を算出し、距離が最も短い２つのクラスタを結合して１つのクラスタとする。ここで、クラスタ間の距離は、該クラスタに含まれる撮影画像３０間の距離とする。撮影画像３０間の距離は、上述の相関距離ｄとする。
【００３５】
各クラスタ間の距離のうち、距離が最も短い２つのクラスタを結合する処理を、最終的に１つのクラスタとなるまで繰り返してゆく。このとき、２枚以上の撮影画像３０を含むクラスタ間の距離については、それぞれのクラスタに含まれる撮影画像３０間の距離のうち、最も短い距離を、該クラスタ間の距離とする。この結果、撮影画像３０の結合の様子を階層的に表した二分木の階層構造が得られる。
【００３６】
図３は、車両画像３０の集合の一例を示す図であり、図４は、図３の車両画像３０の集合に対して階層的クラスタリングを適用した結果の一例を示す図である。図３では、１４枚の車両画像３０（画像１〜１４）の集合を示している。これらの画像１〜１４には２種類の車両が写っており、画像１〜６，１４が「種別Ａ」であり、画像７〜１３が「種別Ｂ」である。また、画像１〜１３は「正常」な車両を写し、画像１４は「異常」な車両を写したものとなっている。
【００３７】
そして、図４は、階層的クラスタリングによって得られた階層構造を示すデンドログラム（樹状図）である。この樹形図では、「葉」が車両画像３０（画像１〜１４）それぞれを表し、この「葉」から結合位置までの高さが、その車両画像３０が他のクラスタに結合されたときの距離（相関距離ｄ）を表している。また、クラスタ間の距離は、そのクラスタの結合位置までの高さによって表される。例えば、画像１と画像２との間の距離（相関距離ｄ）は高さＨ１であり、画像１，２を含むクラスタと画像１４を含むクラスタとの間の距離は高さＨ２である。
【００３８】
図３に示す車両画像の集合には、２種類の車両を写した画像が含まれている。図４の樹形図に示すように、最終的に２つのクラスタが結合されて１つのクラスタとなっているが、この２つのクラスタは、含まれる撮影画像３０の車両種別で分かれていることがわかる。つまり、「種別Ａ」の車両を写した画像１〜６，１４を含むクラスタ（図中左側）と、「種別Ｂ」の車両を写した画像７〜１３を含むクラスタ（図中右側）とである。また、この２つのクラスタ間の距離（高さ）が、これより下位レベルのクラスタ間の距離と比較して極めて長く、この２つのクラスタ間で車両種別が異なると自動的に判定することができる。
【００３９】
また、各画像の枝の長さ（最初の結合位置までの高さ：例えば、画像１であればＨ１）は、全ての画像の中でその画像と最も近い他の画像との非類似度を表しており、枝の長さが長いということは、非類似度が大きい、すなわち他の画像と大きく異なる（異常である）とみなすことができる。例えば、図４では、全ての画像１〜１４のうち、画像１４の枝の長さが最も長い。つまり、画像１４に写っている車両が、他の車両とは大きく異なる（異常である）と判定することができる。
【００４０】
（３）本実施形態の異常判定方法
このように、車両画像３０間の相関距離ｄを算出することで、写っている列車の異常を判定することができる。しかし、例えば図３の画像１４に示すように、列車の「異常箇所」が画像全体に占める割合は小さい。このため、車両画像３０全体としては類似度が比較的高くなる。例えば、図４に示す樹形図のように、「異常」が有る画像１４の枝の長さが一番長いものの、全体的に見れば、他の「正常」な画像１〜１３それぞれの枝の長さとの差が際だって大きいわけではない。
【００４１】
そこで、本実施形態では、図５に示すように、車両画像に「検査窓（検査領域）」を設定することで、車両画像全体ではなく画像中の異常箇所に焦点を当てた比較を行う。
【００４２】
図５は、車両画像における「検査窓」の設定を説明する図である。図５では、同一種別の車両を写した２枚の車両画像３０−１，３０−２を示している。一方の車両画像３０−１は「正常」な車両を写した画像であり、他方の車両画像３０−２は「異常」の有る車両を写した画像である。具体的には、車両画像３０−２の車両中央付近の床下機器に、異常箇所１２が有る。図５に示すように、２枚の車両画像３０それぞれに対して、同一サイズの検査窓４０を設定する。また、この検査窓４０は、写っている車両に対して同じ相対位置に設定する。例えば、予め定めた車両の特定部分（例えば、車両の先頭位置であったり、車両中の進行方向最前部の扉の端部等）の車両画像３０中の位置を特定し、この位置を基準として検査窓４０を設定する。
【００４３】
そして、この各車両画像３０における検査窓を、同一方向（例えば、右方向）に同一速度で徐々にずらしながら、検査窓４０内の部分画像間の相関係数が最小となる位置を探し、この位置での検査窓４０内の部分画像間の相関距離を、車両画像３０間の相関距離ｄとする。
【００４４】
ここで、検査窓４０は、車両画像３０中の異常判定の対象部分を含むように設定・移動させる。本実施形態では、車両の床下機器を異常判定の対象としている。このため、検査窓４０の高さ方向の長さを、床下機器が収まる長さとする。具体的には、各車両画像３０に写っている車両の先頭位置Ｐ１を基準として定められる初期位置Ｐ２に、検査窓４０を初期設定する。初期位置Ｐ１は、判定対象とする床下機器より前方の位置とする。そして、この検査窓４０を横方向（進行方向とは逆方向）に移動させることとする。なお、検査窓４０を定める車両画像３０の縦方向（高さ方向）の位置は、撮影装置１００の設置位置が固定であれば一定となる。但し、勿論縦方向の位置を初期設定しても良い。
【００４５】
図６は、車両画像３０に対する検査窓４０内の部分画像の相関係数を示す図である。図６では、上側に対象とした２枚の車両画像３０−１，３０−２を示し、下側に検査窓４０内の部分画像の相関係数を示している。図６によれば、検査窓４０内に車両の異常箇所１２を含む位置で、相関係数が急激に小さくなっていることがわかる。この異常箇所１２付近以外の位置では、相関係数は比較的大きい。
【００４６】
図７は、図３に示した車両画像３０の集合に対して階層的クラスタリングを適用した結果であるが、検査窓４０を用いて車両画像３０間の相関距離を算出した場合を示している。図７に示す樹形図では、図４に示した樹形図と比較して、各画像の枝の長さ（相関距離ｄ）が長くなっている。つまり、車両画像３０間の違いが強調されており、写っている車両の異常判定の精度が向上しているといえる。
【００４７】
また、図７における樹形図では、図４に示した樹形図と同様に、最終的に、車両種別で分かれた２つのクラスタ（「種別Ａ」の車両を写した画像１〜６，１４を含むクラスタ（図中左側）と、「種別Ｂ」の車両を写した画像７〜１３を含むクラスタ（図中右側））が結合されて１つのクラスタとなっている。しかし、この車両種別で分かれた２つのクラスタそれぞれに含まれる階層構造は、図４に示した樹形図とは異なっている。これは、車両全体ではなく、検査窓４０内の画像部分同士という小さな範囲で比較した結果、相関距離に違いが生じ、クラスタの結合順序が変化したためである。異常判定の精度が向上したといえる。
【００４８】
また、図７に示す樹形図では、図４に示した樹形図と同様に、画像１４の枝の長さ（相関距離ｄ）が最も長い。
【００４９】
このように、本実施形態では、階層的クラスタリングを利用し、車両画像間の相関距離ｄを用いることで、車両画像に写っている列車の異常を判定することができる。
【００５０】
［機能構成］
図８は、車両検査支援装置２００の機能構成を示すブロック図である。図８に示すように、車両検査支援装置２００は、機能的には、操作部２１１と、通信部２１２と、表示部２１３と、音出力部２１４と、処理部２２０と、記憶部２３０とを備えて構成される。
【００５１】
操作部２１１は、ボタンスイッチやレバー、キーボード、マウス、タッチパネル、各種センサ等の入力装置によって実現され、操作指示に応じた操作信号を処理部２２０に出力する。
【００５２】
通信部２１２は、無線通信モジュールやルータ、モデム、ＴＡ、有線ケーブルのジャック等の通信装置によって実現され、外部装置（主に、撮影装置１００）との間の通信を実現する。
【００５３】
表示部２１３は、ＣＲＴやＬＣＤ、ＥＬＤ、ＰＤＰ等の表示装置で実現され、処理部２２０からの表示信号に基づく表示画面を表示する。
【００５４】
音出力部２１４は、スピーカ等の音出力装置で実現され、処理部２２０からの音声信号に基づく音声を出力する。
【００５５】
処理部２２０は、例えばＣＰＵ等の演算装置で実現され、記憶部２３０に記憶されたプログラムやデータ、操作部２１１からの操作信号、通信部２１２からの受信データ等に基づいて、車両検査支援装置２００を構成する各部への指示やデータ転送を行い、車両検査支援装置２００の全体制御を行う。また、処理部２２０は、車両画像作成部２２１と、相関距離算出部２２２と、異常判定部２２３と、判定用画像管理部２２４と、報知制御部２２５とを有し、車両検査支援プログラム２３１に従って、撮影装置１００による撮影画像をもとに車両の異常判定を支援する支援処理を行う。
【００５６】
車両画像作成部２２１は、撮影装置１００による撮影画像２０を合成して、１車両全体が写った車両画像３０を作成する。ここで、撮影画像２０に関するデータは撮影画像データ２３５として記憶され、作成した車両画像３０に関するデータは車両画像データ２３６として記憶される。
【００５７】
相関距離算出部２２２は、車両画像作成部２２１によって作成された車両画像３０と、判定用画像それぞれとの間の相関距離ｄを算出する。具体的には、車両画像３０及び判定用画像それぞれに対して、写っている車両に対する相対位置が一致するように、所定サイズの検査窓４０を設定する。そして、設定した検査窓４０を同一方向に同一速度で移動させることで、検査窓４０内の部分画像間の相関係数が最小となる検査窓４０の位置を探し、その位置での検査窓４０内の部分画像間の相関距離を、車両画像３０及び判定画像間の相関距離ｄとする。ここで、判定用画像は、過去の車両画像３０であって「正常」と判定された画像であり、該当するデータが判定用画像ＤＢ２３３に多数格納されている。
【００５８】
異常判定部２２３は、相関距離算出部２２２によって算出された、車両画像３０と全ての判定用画像それぞれとの間の相関距離のうちから最小の相関距離を選択し、これを、当該車両画像３０の相関距離ｄとする。この最小となる相関距離が、階層的クラスタリングを適用して得られる樹形図における枝の長さに相当する。次いで、選択した相関距離ｄが所定の閾値距離を超えるか否かによって、車両画像３０に写っている車両が異常であるか否かを判定する。このときの判定基準となる閾値距離は、例えば、複数の「正常」な車両画像（判定用画像）それぞれの間の相関距離のうち、最大のものとして定める。この「正常」な車両画像間の相関距離を超えた場合に「異常」と判定するからである。なお、「正常」な車両画像それぞれの間の相関距離のうちの最大の相関距離を閾値距離とするのではなく、その最大の相関距離に所定値を加えた値を閾値距離としたり、最大の相関距離の１．２倍を閾値距離としても良い。また、この閾値距離については、予め、異常判定閾値データ２３２として記憶されている。
【００５９】
報知制御部２２５は、異常判定部２２３による判定結果の報知を制御する。具体的には、例えば、判定対象の車両画像３０とともに判定結果（正常／異常）を表示させた所定の報知画面を表示部２１３に表示させたり、或いは、判定結果に応じた所定の報知音声を音出力部２１４から出力させる。更に、判定結果が「異常」である場合には、車両画像３０に重ねて、判定用画像との間の相関係数ｃが最小となったときの検査窓４０の位置を識別表示することで、写っている車両の異常箇所を示すことができる。
【００６０】
判定用画像管理部２２４は、判定用画像ＤＢ２３３の管理を行う。具体的には、異常判定部２２３による判定結果が「正常」である場合に、判定対象とされた車両画像３０を、新たな判定用画像として判定用画像ＤＢ２３３に追加する。その結果、管理している判定用画像の枚数が所定枚数を超えたならば、全ての判定用画像のうち、その相関距離が最小となる判定用画像を判定用画像ＤＢ２３３から削除する。詳細には、階層的クラスタリングを適用していることから、相関距離が最小となる判定用画像は２枚あり、この２枚の判定用画像は全ての判定用画像のうち互いに最も類似している画像である。このことから、この２枚の判定用画像の一方を削除しても、異常判定に影響はないと考えられる。また、２枚の判定用画像のうち、例えば、撮影日時が古い方を削除することにすれば良い。
【００６１】
図９は、判定用画像ＤＢ２３３のデータ構成の一例を示す図である。図９に示すように、判定用画像ＤＢ２３３は、管理している判定用画像毎の判定用画像データ２３４の集合（データベース）であり、各判定用画像データ２３４は、識別番号である画像Ｎｏ．２３４ａに対応付けて、判定用画像２３４ｂと、撮影日時２３４ｃと、相関距離２３４ｄとを格納している。撮影日時２３４ｃは、該当する判定用画像（車両画像）の元となる撮影画像の撮影日時である。相関距離２３４ｄは、階層的クラスタリングを適用して得られる樹形図における、該当する判定用画像の枝の長さに相当する。
【００６２】
記憶部２３０は、ハードディスクやＲＯＭ、ＲＡＭ等の記憶装置で実現され、処理部２２０が車両検査支援装置２００を統括的に制御するためのシステムプログラムや、各種機能を実現するためのプログラムやデータを記憶しているとともに、処理部２２０の作業領域として用いられ、処理部２２０が各種処理を実行した演算結果などが一時的に画像格納される。本実施形態では、記憶部２３０には、プログラムとして、車両検査支援プログラム２３１が記憶され、データとして、異常判定閾値データ２３２と、判定用画像ＤＢ２３３と、撮影画像データ２３５と、車両画像データ２３６とが記憶される。
【００６３】
［処理の流れ］
図１０は、車両検査支援処理の流れを説明するフローチャートである。図１０によれば、撮影装置１００による撮影画像２０を取得すると（ステップＳ１）、車両画像作成部２２１が、この撮影画像２０を合成して車両画像３０を作成する（ステップＳ３）。次いで、管理されている判定用画像それぞれを対象としたループＡの処理（繰り返し処理）を行う。
【００６４】
ループＡでは、相関距離算出部２２２が、車両画像３０及び対象の判定用画像それぞれに対して、写っている車両に対する相対位置が一致するように、同一サイズの検査窓４０を設定する（ステップＳ５）。次いで、この両画像における検査窓４０を同一方向に同一速度で移動させて、検査窓４０内の部分画像間の相関係数が最小となる位置を探す（ステップＳ７）。そして、この位置での検査窓４０内の部分画像間の相関距離を算出し、車両画像３０及び対象の判定用画像間の相関距離ｄ（非類似度）とする（ステップＳ９）。すなわち、検査窓４０内の部分画像間の相関距離のうちの最大値とする。ループＡの処理はこのように行われる。
【００６５】
そして、全ての判定用画像を対象としたループＡの処理を行って、車両画像３０と判定用画像それぞれとの間の相関距離ｄを算出すると、続いて、異常判定部２２３が、これらの判定用画像それぞれとの間の相関距離ｄのうちから最小の距離（最小の非類似度）を選択し、車両画像３０の相関距離とする（ステップＳ１１）。
【００６６】
次いで、この車両画像３０の相関距離を所定の閾値距離と比較し、相関距離が閾値距離を超えているならば（ステップＳ１３：ＹＥＳ）、車両画像に写っている車両に「異常」が有ると判定する（ステップＳ１５）。そして、報知制御部２２５が、判定結果の報知を行う（ステップＳ１７）。
【００６７】
一方、相関距離が閾値距離を超えていないならば（ステップＳ１３：ＮＯ）、異常判定部２２３は、車両画像に写っている車両は「正常」と判定する（ステップＳ１９）。そして、報知制御部２２５が、判定結果の報知を行う（ステップＳ２１）。
【００６８】
続いて、判定用画像管理部２２４が、車両画像３０を新たな判定用画像として判定用画像ＤＢ２３３に追加する（ステップＳ２３）。その結果、管理している判定用画像の枚数が所定の上限枚数を超えたならば（ステップＳ２５：ＹＥＳ）、管理している判定用画像のうち、対応付けられている相関距離が最小のものを、判定用画像ＤＢ２３３から削除する（ステップＳ２７）。以上の処理を行うと、処理部２２０は支援処理を終了する。
【００６９】
［作用・効果］
このように、本実施形態の車両検査支援システム１によれば、線路脇に設置された撮影装置１００によって検査対象物である列車が撮影（動画撮影）され、車両検査支援装置２００が、この撮影装置１００による撮影画像に写っている車両の、外観で判断できる異常の有無を判定することができる。
【００７０】
具体的には、車両検査支援装置２００は、撮影装置１００によって撮影（動画撮影）された画像の各フレーム画像を合成して１車両全体の車両画像３０を作成し、この車両画像３０と、過去の車両画像であって写っている車両が「正常」と判定された画像である判定用画像それぞれとの間の相関距離ｄをもとに、車両画像３０に写っている車両に異常があるか否かを判定する。また、線路を走行する列車には複数の種別があるが、車両画像と判定用画像それぞれとの間の非類似度を表す相関距離のうち、最小の相関距離に基づいて異常であるか否かを判断するので、結果的に、車両画像と同じ車種の車両を写した判定用画像と比較することになるため、車両画像に写っている車両の異常を容易に判定することが可能となる。
【００７１】
また、車両画像３０と判定用画像との間の相関距離ｄの算出の際には、車両画像３０及び判定用画像それぞれに、写っている車両に対して同じ相対位置に所定サイズの検査窓４０を設定し、検査窓４０内の部分画像間の相関係数が最小となる位置（すなわち、非類似度を表す相関距離が最大となる位置）での検査窓４０内の部分画像間の相関距離を、車両画像３０及び判定用画像間の相関距離として算出する。これにより、車両画像３０の「異常箇所」が明らかになるとともに、車両画像３０にもとづく異常判定の精度が向上する。
【００７２】
更に、異常と判定された場合には、判定結果の報知として、相関係数が最小となる検査窓４０の位置を車両画像３０に重ねて表示させることで、検査員は、容易に車両の異常箇所を把握することができる。
【００７３】
［変形例］
なお、本発明の適用可能な実施形態は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能なのは勿論である。
【００７４】
（Ａ）検査対象物の撮影範囲
例えば、上述の実施形態では、車両の高さ方向全体を撮影範囲に含むように側方から撮影することにしたが、少なくとも、異常判定の対象を撮影範囲に含むように撮影できれば良い。すなわち、本実施形態のように床下機器を異常判定の対象としているならば、少なくとも、車両の下半分を撮影範囲に含むように撮影すればよい。また、例えば屋根上の機器を異常判定の対象とする場合には、車両の上半分を撮影範囲に含むように撮影したり、車両上方から俯瞰するように撮影すれば良い。また、車両検査場において、車両の下方から撮影可能な位置に撮影装置を設置し、車両の下方から床下機器が写るように撮影しても良い。
【００７５】
（Ｂ）検査対象物
また、上述の実施形態では、検査対象物として鉄道車両を例に挙げて説明したが、例えば、自動車にも同様に適用可能である。その場合、例えばエンジンルーム内を異常判定の対象としたり、車両の底面を異常判定の対象としても良い。また、車両に限らず、例えば工場での製品検査ラインなど、移動或いは搬送される物体であって外観から異常を判断できる物体であれば、同様に適用可能である。
【００７６】
（Ｃ）画像のトリミング／マスキング
また、車両画像３０には、車両以外の背景も写っているため、車両の画像部分だけを抽出し、残余の画像部分を削除（色データを無しとする）した上で、異常判定を行うことにしても良い。
【符号の説明】
【００７７】
１ 車両検査支援システム
１００ 撮影装置
２００ 車両検査支援装置
２１１ 操作部、２１２ 通信部、２１３ 表示部、２１４ 音出力部
２２０ 処理部
２２１ 車両画像作成部、２２２ 相関距離算出部
２２３ 異常判定部、２２４ 判定用画像管理部、２２５ 報知制御部
２３０ 記憶部
２３１ 車両検査支援プログラム
２３２ 異常判定閾値データ、２３３ 判定用画像ＤＢ
２３５ 撮影画像データ、２３６ 車両画像データ
１０ 列車
２０ 撮影画像、３０ 車両画像、４０ 検査窓
【技術分野】
【０００１】
本発明は、検査支援装置等に関する。
【背景技術】
【０００２】
定期的な点検・整備を目的として、鉄道車両であれば仕業検査や交番検査、自動車であれば車検といった検査が行われているが、これらの検査に至る前に故障が発生する場合がある。例えば、鉄道車両の場合であれば、故障によってその車両が事故を起こし得る他、運休やダイヤ乱れが生じる可能性もある。しかし、故障を無くすことは不可能であるため、故障を前提として、故障が生じた場合にも安全に動作するフェールセーフ性を確保したり、部品を多重化する等の対策が講じられている。
【０００３】
また、故障につながる異常を早期に検知する技術は、各種開発・実用化されている。例えば、特許文献１には、軸受部の異常を精度良く判定するための技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３４１６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の異常検知技術の多くは、特定の部品や特定の部材の異常を検知するために特化された技術である。そのため、鉄道車両や自動車などに搭載されている全ての部品１つ１つに、当該部品に対応する個別の検知システムを組み込むことは現実的でない。
【０００６】
また、部品自体が正常に機能している状態であっても、外形が変形・変色していたり、その部品の固定具（締結ボルト等）に緩みや損傷が生じていたり、通常付着していない付着物（油等）が付着しているといった場合もある。こういった異常、或いは異常とまでいかないまでも通常ではない状態は、外観で判断できる場合も多い。また、上述の課題は、鉄道車両や自動車の他、各種の機械製品や電気製品にも当てはまる。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的とするところは、異常（通常と異なる状態にあることを含む）を外観から簡単に検査する手法を実現し、検査を支援することでもって、検査の高頻度化や検査の手間の省略化に資することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するための第１の形態は、
正常と判定された検査対象物の正常画像を複数記憶した記憶手段（例えば、図８の記憶部２３０）と、
今回の検査対象とする検査対象物を撮影した撮影画像（例えば、図５の車両画像３０）、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓（例えば、図５の検査窓４０）を初期設定する検査窓初期設定手段（例えば、図８の相関距離算出部２２２）と、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析手段（例えば、図８の相関距離算出部２２２）と、
前記画像解析手段により判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定手段（例えば、図８の相関距離算出部２２２）と、
前記一の正常画像を切り替えて、前記検査窓初期設定手段、前記画像解析手段および前記非類似度個別判定手段を繰り返し機能させ、前記非類似度個別判定手段により判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定手段（例えば、図８の相関距離算出部２２２）と、
前記最終非類似度判定手段により判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定手段（例えば、図８の異常判定部２２３）と、
を備えた検査支援装置（例えば、図８の車両検査支援装置２００）である。
【０００９】
また、他の形態として、正常と判定された検査対象物の正常画像を複数記憶した記憶手段を備えたコンピュータを、
今回の検査対象とする検査対象物を撮影した撮影画像、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓を初期設定する検査窓初期設定手段（例えば、図８の相関距離算出部２２２）、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析手段（例えば、図８の相関距離算出部２２２）。
前記画像解析手段により判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定手段（例えば、図８の相関距離算出部２２２）、
前記一の正常画像を切り替えて、前記検査窓初期設定手段、前記画像解析手段および前記非類似度個別判定手段を繰り返し機能させ、前記非類似度個別判定手段により判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定手段（例えば、図８の相関距離算出部２２２）、
前記最終非類似度判定手段により判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定手段（例えば、図８の異常判定部２２３）、
として機能させるためのプログラム（例えば、図８の車両検査支援プログラム２３１）を構成することとしてもよい。
【００１０】
また、他の形態として、正常と判定された検査対象物の正常画像を複数記憶した記憶手段を備えたコンピュータを制御して検査対象物の検査を支援する検査支援方法であって、
今回の検査対象とする検査対象物を撮影した撮影画像、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓を初期設定する検査窓初期設定ステップ（例えば、図１０のステップＡ５）と、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析ステップ（例えば、図１０のステップＡ７）と、
前記画像解析ステップで判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定ステップ（例えば、図１０のステップＳ９）と、
前記一の正常画像を切り替えて、前記検査窓初期設定ステップ、前記画像解析ステップおよび前記非類似度個別判定ステップを繰り返し実行し、前記非類似度個別判定ステップで判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定ステップ（例えば、図１０のループＡの処理）と、
前記最終非類似度判定ステップで判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定ステップ（例えば、図１０のステップＳ１１〜Ｓ１３）と、
を含む検査支援方法を構成することとしてもよい。
【００１１】
この第１の形態等によれば、今回の検査対象とする検査対象物の撮影画像と、検査対象物の一の正常画像とのそれぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓が初期設定される。そして、検査窓が予め定められた相対方向に徐々にずらされるとともに、検査窓内の画像同士が比較されて非類似度が判定される。この判定の結果のうち、最大の非類似度が、一の正常画像に対する撮影画像の非類似度とされる。
【００１２】
すなわち、検査窓が、検査対象物に対する予め定められた相対位置に初期設定されて、予め定められた相対方向にずらされるため、検査窓内の画像同士の非類似度の判定は、より精確に行われることとなる。そして、判定された非類似度のうち、最大の非類似度が、一の正常画像に対する撮影画像の非類似度とされる。この結果、検査窓内の部分同士のうち、最も正常画像に類似していない部分が明らかとされる。これが、撮影画像の一の正常画像に対する個別判定である。
【００１３】
更に、第１の形態等によれば、検査窓の初期設定から検査窓のずらし、および非類似度の判定までの個別判定が、一の正常画像を切り替えて繰り返され、個別判定された非類似度のうちの、最小の非類似度が撮影画像の最終的な非類似度とされる。正常画像は複数あるため、最も近似する、すなわち非類似度が最も小さい正常画像が、今回の検査対象物の撮影画像に最も近似していることになる。但し、最も近似しているとはいえ、その正常画像において最も類似していない部分の非類似度が、最終的な非類似度となる。この結果、最終的な非類似度に基づいて、今回の検査対象物の異常の有無が判定可能となる。
【００１４】
以上の構成によれば、今回の検査対象物の撮影画像を取得さえできれば、今回の検査対象物の異常の有無を簡単に判定することが可能となる。この結果、検査の手間の省略化や、検査の高頻度の実施に資することができる。
【００１５】
また、第２の形態として、第１の形態において、
前記異常判定手段により異常有りと判定された場合に、前記撮影画像を表示制御するとともに、前記最終的な非類似度とされた前記検査窓の当該撮影画像中の位置を識別表示する異常判定位置表示制御手段（例えば、図８の報知制御部２２５）を更に備えた検査支援装置を構成することとしてもよい。
【００１６】
この第２の形態によれば、撮影画像が表示制御されるとともに、撮影画像中の最終的な非類似度とされた検査窓の位置が識別表示されるため、検査員による異常か否かの判断の一助となる。
【００１７】
また、第３の形態として、第１又は第２の形態において、
検査対象物の通過地点に向けて設置され、検査対象物の一部分を撮影範囲として検査対象物の通過に従って連続撮影することで検査対象物の通過方向全体を撮影させる撮影制御手段（例えば、図１の撮影装置１００）により連続撮影された画像から、検査対象物の通過方向全体が収まった１つの全体画像を前記撮影画像として生成する全体画像生成手段（例えば、図８の車両画像作成部２２１）を更に備えた検査支援装置を構成することとしてもよい。
【００１８】
この第３の形態によれば、検査対象物の通過地点に向けて設置された撮影制御手段が、検査対象物の一部分を撮影範囲として検査対象物の通過に従って連続撮影することで、検査対象物の通過方向全体が撮影される。そして、連続撮影された画像から、検査対象物の通過方向全体が収まった１つの全体画像が、非類似度判定のための撮影画像として生成される。従って、撮影制御手段の撮影範囲を検査対象物全体が撮影可能な画角に設定・設置する必要がないため、撮影画像をできるだけ高精細な画像とすることができる。また、検査対象物の通過方向全体が収まった１つの全体画像が、非類似度判定のための撮影画像とされるため、検査窓の初期設定や、検査窓のずらし方向の判別が容易になる。
【００１９】
また、第４の形態として、第１〜第３の何れかの形態において、
前記記憶手段は、今回の検査対象物と同一種類を含む複数種類の検査対象物の正常画像を記憶しており、
前記非類似度個別判定手段により最大の非類似度が判定され、前記最終非類似度判定手段により最小の非類似度が最終的な非類似度と判定されることによって、前記最終的な非類似度に係る正常画像の種類が自動的に今回の検査対象物と同一種類となることを特徴とする検査支援装置を構成することとしてもよい。
【００２０】
この第４の形態によれば、今回の検査対象物の種類を入力するといった手間がないため、異常の判定を一層簡単に実現することができる。
【図面の簡単な説明】
【００２１】
【図１】車両検査支援システムの構成図。
【図２】撮影画像を合成して車両画像を作成することの説明図。
【図３】複数種別の列車を含む車両画像の集合の一例。
【図４】図３の車両画像の集合に対して階層的クラスタリングを適用した結果。
【図５】車両画像に対する検査窓の設定の説明図。
【図６】検査窓の位置と検査窓内の部分画像間の相関係数との関係。
【図７】検査窓を用いて算出した画像間距離を用いて階層的クラスタリングを適用した結果。
【図８】車両検査支援装置の機能構成図。
【図９】判定用画像ＤＢのデータ構成例。
【図１０】車両検査支援処理のフローチャート。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施形態を説明する。但し、本発明の適用可能な実施形態がこれに限定されるものではない。
【００２３】
［システム］
図１は、本実施形態の車両検査支援システム１の全体構成図である。図１に示すように、車両検査支援システム１は、撮影装置１００と、車両検査支援装置２００とを備えて構成される。
【００２４】
撮影装置１００は、線路脇に設置され、線路を走行する列車１０を側方から撮影する。また、この撮影装置１００は、高速連写による動画撮影が可能なデジタルカメラ或いはデジタルビデオカメラであり、検査対象物である列車１０の高さ方向全体を撮影範囲に含むとともに、列車１０の進行方向が撮影画像の横方向に一致するように、撮影画角や撮影方向が設定されて配置されている。なお、列車１０の長手方向全体が撮影範囲に含まれている必要はない。また、撮影装置１００は通信装置を内蔵しており、この通信装置によって、撮影画像データを車両検査支援装置２００に送信することができる。
【００２５】
車両検査支援装置２００は、コンピュータシステムによって実現され、例えば管理センタ等に設置される。この車両検査支援装置２００は、撮影装置１００から受信した撮影画像をもとに、列車１０の異常判定を支援する処理を行う。
【００２６】
［原理］
本実施形態における車両検査支援処理の原理を説明する。
【００２７】
（１）画像合成
先ず、撮影装置１００による撮影画像２０から、１車両全体が写った車両画像３０を作成する。鉄道車両は横方向（進行方向）に細長い。線路脇に設置された撮影装置１００は列車１０を至近距離から撮影するため、車両全体を１枚の画像に収めることは難しく、むしろ、最終的に高精度な撮影画像を得るために、車両の一部分を撮影するように画角及び配置位置が定められている。撮影装置１００で連続撮影（動画撮影）された各静止画像を合成することで、１車両全体が写った全体画像である車両画像３０を作成する。
【００２８】
図２は、画像合成による車両画像の作成を説明する図である。図２に示すように、各撮影画像２０には車両の一部分が写っている。これらの複数の撮影画像２０を合成することで、１枚の車両画像３０を作成する。すなわち、撮影順に隣り合う２枚の撮影画像２０の共通部分を判定し、この共通部分が重なるように結合していくことで、最終的に１枚の画像にする。
【００２９】
具体的には、撮影装置１００の位置は固定であり、列車１０の進行方向が撮影画像２０の横方向に一致しているので、縦方向を合わせて２枚の撮影画像２０を重ね、横方向にずらしながら重なる画像部分が一致する位置を探せばよい。また、「画像部分」の一致位置は、画像部分間の相関係数が最大となることから判定できる。また、画像間の相関係数はピアソンの積率相関係数であり、各画像を構成する各画素の色データ（色を表す数値データ）の集合を変数とした相関係数として算出される。但し、本実施形態における相関係数は０以上１以下である。
【００３０】
（２）異常判定の基本的な考え方
車両画像３０を作成（合成）したならば、この車両画像３０を用いて、写っている車両の異常の有無を判断する。具体的には、今回の車両画像３０を、過去の「正常」な車両画像３０と比較して、両者が大きく異なる場合に、今回の車両画像３０に写っている列車に「異常」有りと判定する。
【００３１】
また、車両画像３０間の比較基準として、画像同士がどれだけ異なるかを示す「非類似度」を用いる。この画像間の非類似度は、次式（１）で定義される「相関距離ｄ」で表すこととする。
相関距離ｄ＝１−相関係数ｃ ・・（１）
【００３２】
車両画像３０間の相関係数を用いて写っている列車の異常の有無を判定するが、列車を構成する車両には複数の種別（種類）がある。つまり、列車に異常がなくとも、車両種別が異なるとそれぞれの車両画像３０は大きく異なる（すなわち、画像間の「相関距離ｄ」が長くなる）。このため、車両画像３０に写っている車両種別を判別して、同じ車両種別の列車を写した車両画像３０間で比較を行う必要がある。
【００３３】
そこで、本実施形態では、車両種別の判別及び異常判定を、「階層的クラスタリング」の考え方を利用して実現する。ここで用いる階層的クラスタリングは擬集型の手法であり、距離計算は単連結法（最短距離法）とする。この階層的クラスタリングを用いた車両種別の判別及び異常判定の基本的な考え方について説明する。
【００３４】
先ず、複数の車両画像３０それぞれを含む「クラスタ」を生成する。つまり、車両画像３０と同数のクラスタが生成される。次いで、各クラスタ間の「距離」を算出し、距離が最も短い２つのクラスタを結合して１つのクラスタとする。ここで、クラスタ間の距離は、該クラスタに含まれる撮影画像３０間の距離とする。撮影画像３０間の距離は、上述の相関距離ｄとする。
【００３５】
各クラスタ間の距離のうち、距離が最も短い２つのクラスタを結合する処理を、最終的に１つのクラスタとなるまで繰り返してゆく。このとき、２枚以上の撮影画像３０を含むクラスタ間の距離については、それぞれのクラスタに含まれる撮影画像３０間の距離のうち、最も短い距離を、該クラスタ間の距離とする。この結果、撮影画像３０の結合の様子を階層的に表した二分木の階層構造が得られる。
【００３６】
図３は、車両画像３０の集合の一例を示す図であり、図４は、図３の車両画像３０の集合に対して階層的クラスタリングを適用した結果の一例を示す図である。図３では、１４枚の車両画像３０（画像１〜１４）の集合を示している。これらの画像１〜１４には２種類の車両が写っており、画像１〜６，１４が「種別Ａ」であり、画像７〜１３が「種別Ｂ」である。また、画像１〜１３は「正常」な車両を写し、画像１４は「異常」な車両を写したものとなっている。
【００３７】
そして、図４は、階層的クラスタリングによって得られた階層構造を示すデンドログラム（樹状図）である。この樹形図では、「葉」が車両画像３０（画像１〜１４）それぞれを表し、この「葉」から結合位置までの高さが、その車両画像３０が他のクラスタに結合されたときの距離（相関距離ｄ）を表している。また、クラスタ間の距離は、そのクラスタの結合位置までの高さによって表される。例えば、画像１と画像２との間の距離（相関距離ｄ）は高さＨ１であり、画像１，２を含むクラスタと画像１４を含むクラスタとの間の距離は高さＨ２である。
【００３８】
図３に示す車両画像の集合には、２種類の車両を写した画像が含まれている。図４の樹形図に示すように、最終的に２つのクラスタが結合されて１つのクラスタとなっているが、この２つのクラスタは、含まれる撮影画像３０の車両種別で分かれていることがわかる。つまり、「種別Ａ」の車両を写した画像１〜６，１４を含むクラスタ（図中左側）と、「種別Ｂ」の車両を写した画像７〜１３を含むクラスタ（図中右側）とである。また、この２つのクラスタ間の距離（高さ）が、これより下位レベルのクラスタ間の距離と比較して極めて長く、この２つのクラスタ間で車両種別が異なると自動的に判定することができる。
【００３９】
また、各画像の枝の長さ（最初の結合位置までの高さ：例えば、画像１であればＨ１）は、全ての画像の中でその画像と最も近い他の画像との非類似度を表しており、枝の長さが長いということは、非類似度が大きい、すなわち他の画像と大きく異なる（異常である）とみなすことができる。例えば、図４では、全ての画像１〜１４のうち、画像１４の枝の長さが最も長い。つまり、画像１４に写っている車両が、他の車両とは大きく異なる（異常である）と判定することができる。
【００４０】
（３）本実施形態の異常判定方法
このように、車両画像３０間の相関距離ｄを算出することで、写っている列車の異常を判定することができる。しかし、例えば図３の画像１４に示すように、列車の「異常箇所」が画像全体に占める割合は小さい。このため、車両画像３０全体としては類似度が比較的高くなる。例えば、図４に示す樹形図のように、「異常」が有る画像１４の枝の長さが一番長いものの、全体的に見れば、他の「正常」な画像１〜１３それぞれの枝の長さとの差が際だって大きいわけではない。
【００４１】
そこで、本実施形態では、図５に示すように、車両画像に「検査窓（検査領域）」を設定することで、車両画像全体ではなく画像中の異常箇所に焦点を当てた比較を行う。
【００４２】
図５は、車両画像における「検査窓」の設定を説明する図である。図５では、同一種別の車両を写した２枚の車両画像３０−１，３０−２を示している。一方の車両画像３０−１は「正常」な車両を写した画像であり、他方の車両画像３０−２は「異常」の有る車両を写した画像である。具体的には、車両画像３０−２の車両中央付近の床下機器に、異常箇所１２が有る。図５に示すように、２枚の車両画像３０それぞれに対して、同一サイズの検査窓４０を設定する。また、この検査窓４０は、写っている車両に対して同じ相対位置に設定する。例えば、予め定めた車両の特定部分（例えば、車両の先頭位置であったり、車両中の進行方向最前部の扉の端部等）の車両画像３０中の位置を特定し、この位置を基準として検査窓４０を設定する。
【００４３】
そして、この各車両画像３０における検査窓を、同一方向（例えば、右方向）に同一速度で徐々にずらしながら、検査窓４０内の部分画像間の相関係数が最小となる位置を探し、この位置での検査窓４０内の部分画像間の相関距離を、車両画像３０間の相関距離ｄとする。
【００４４】
ここで、検査窓４０は、車両画像３０中の異常判定の対象部分を含むように設定・移動させる。本実施形態では、車両の床下機器を異常判定の対象としている。このため、検査窓４０の高さ方向の長さを、床下機器が収まる長さとする。具体的には、各車両画像３０に写っている車両の先頭位置Ｐ１を基準として定められる初期位置Ｐ２に、検査窓４０を初期設定する。初期位置Ｐ１は、判定対象とする床下機器より前方の位置とする。そして、この検査窓４０を横方向（進行方向とは逆方向）に移動させることとする。なお、検査窓４０を定める車両画像３０の縦方向（高さ方向）の位置は、撮影装置１００の設置位置が固定であれば一定となる。但し、勿論縦方向の位置を初期設定しても良い。
【００４５】
図６は、車両画像３０に対する検査窓４０内の部分画像の相関係数を示す図である。図６では、上側に対象とした２枚の車両画像３０−１，３０−２を示し、下側に検査窓４０内の部分画像の相関係数を示している。図６によれば、検査窓４０内に車両の異常箇所１２を含む位置で、相関係数が急激に小さくなっていることがわかる。この異常箇所１２付近以外の位置では、相関係数は比較的大きい。
【００４６】
図７は、図３に示した車両画像３０の集合に対して階層的クラスタリングを適用した結果であるが、検査窓４０を用いて車両画像３０間の相関距離を算出した場合を示している。図７に示す樹形図では、図４に示した樹形図と比較して、各画像の枝の長さ（相関距離ｄ）が長くなっている。つまり、車両画像３０間の違いが強調されており、写っている車両の異常判定の精度が向上しているといえる。
【００４７】
また、図７における樹形図では、図４に示した樹形図と同様に、最終的に、車両種別で分かれた２つのクラスタ（「種別Ａ」の車両を写した画像１〜６，１４を含むクラスタ（図中左側）と、「種別Ｂ」の車両を写した画像７〜１３を含むクラスタ（図中右側））が結合されて１つのクラスタとなっている。しかし、この車両種別で分かれた２つのクラスタそれぞれに含まれる階層構造は、図４に示した樹形図とは異なっている。これは、車両全体ではなく、検査窓４０内の画像部分同士という小さな範囲で比較した結果、相関距離に違いが生じ、クラスタの結合順序が変化したためである。異常判定の精度が向上したといえる。
【００４８】
また、図７に示す樹形図では、図４に示した樹形図と同様に、画像１４の枝の長さ（相関距離ｄ）が最も長い。
【００４９】
このように、本実施形態では、階層的クラスタリングを利用し、車両画像間の相関距離ｄを用いることで、車両画像に写っている列車の異常を判定することができる。
【００５０】
［機能構成］
図８は、車両検査支援装置２００の機能構成を示すブロック図である。図８に示すように、車両検査支援装置２００は、機能的には、操作部２１１と、通信部２１２と、表示部２１３と、音出力部２１４と、処理部２２０と、記憶部２３０とを備えて構成される。
【００５１】
操作部２１１は、ボタンスイッチやレバー、キーボード、マウス、タッチパネル、各種センサ等の入力装置によって実現され、操作指示に応じた操作信号を処理部２２０に出力する。
【００５２】
通信部２１２は、無線通信モジュールやルータ、モデム、ＴＡ、有線ケーブルのジャック等の通信装置によって実現され、外部装置（主に、撮影装置１００）との間の通信を実現する。
【００５３】
表示部２１３は、ＣＲＴやＬＣＤ、ＥＬＤ、ＰＤＰ等の表示装置で実現され、処理部２２０からの表示信号に基づく表示画面を表示する。
【００５４】
音出力部２１４は、スピーカ等の音出力装置で実現され、処理部２２０からの音声信号に基づく音声を出力する。
【００５５】
処理部２２０は、例えばＣＰＵ等の演算装置で実現され、記憶部２３０に記憶されたプログラムやデータ、操作部２１１からの操作信号、通信部２１２からの受信データ等に基づいて、車両検査支援装置２００を構成する各部への指示やデータ転送を行い、車両検査支援装置２００の全体制御を行う。また、処理部２２０は、車両画像作成部２２１と、相関距離算出部２２２と、異常判定部２２３と、判定用画像管理部２２４と、報知制御部２２５とを有し、車両検査支援プログラム２３１に従って、撮影装置１００による撮影画像をもとに車両の異常判定を支援する支援処理を行う。
【００５６】
車両画像作成部２２１は、撮影装置１００による撮影画像２０を合成して、１車両全体が写った車両画像３０を作成する。ここで、撮影画像２０に関するデータは撮影画像データ２３５として記憶され、作成した車両画像３０に関するデータは車両画像データ２３６として記憶される。
【００５７】
相関距離算出部２２２は、車両画像作成部２２１によって作成された車両画像３０と、判定用画像それぞれとの間の相関距離ｄを算出する。具体的には、車両画像３０及び判定用画像それぞれに対して、写っている車両に対する相対位置が一致するように、所定サイズの検査窓４０を設定する。そして、設定した検査窓４０を同一方向に同一速度で移動させることで、検査窓４０内の部分画像間の相関係数が最小となる検査窓４０の位置を探し、その位置での検査窓４０内の部分画像間の相関距離を、車両画像３０及び判定画像間の相関距離ｄとする。ここで、判定用画像は、過去の車両画像３０であって「正常」と判定された画像であり、該当するデータが判定用画像ＤＢ２３３に多数格納されている。
【００５８】
異常判定部２２３は、相関距離算出部２２２によって算出された、車両画像３０と全ての判定用画像それぞれとの間の相関距離のうちから最小の相関距離を選択し、これを、当該車両画像３０の相関距離ｄとする。この最小となる相関距離が、階層的クラスタリングを適用して得られる樹形図における枝の長さに相当する。次いで、選択した相関距離ｄが所定の閾値距離を超えるか否かによって、車両画像３０に写っている車両が異常であるか否かを判定する。このときの判定基準となる閾値距離は、例えば、複数の「正常」な車両画像（判定用画像）それぞれの間の相関距離のうち、最大のものとして定める。この「正常」な車両画像間の相関距離を超えた場合に「異常」と判定するからである。なお、「正常」な車両画像それぞれの間の相関距離のうちの最大の相関距離を閾値距離とするのではなく、その最大の相関距離に所定値を加えた値を閾値距離としたり、最大の相関距離の１．２倍を閾値距離としても良い。また、この閾値距離については、予め、異常判定閾値データ２３２として記憶されている。
【００５９】
報知制御部２２５は、異常判定部２２３による判定結果の報知を制御する。具体的には、例えば、判定対象の車両画像３０とともに判定結果（正常／異常）を表示させた所定の報知画面を表示部２１３に表示させたり、或いは、判定結果に応じた所定の報知音声を音出力部２１４から出力させる。更に、判定結果が「異常」である場合には、車両画像３０に重ねて、判定用画像との間の相関係数ｃが最小となったときの検査窓４０の位置を識別表示することで、写っている車両の異常箇所を示すことができる。
【００６０】
判定用画像管理部２２４は、判定用画像ＤＢ２３３の管理を行う。具体的には、異常判定部２２３による判定結果が「正常」である場合に、判定対象とされた車両画像３０を、新たな判定用画像として判定用画像ＤＢ２３３に追加する。その結果、管理している判定用画像の枚数が所定枚数を超えたならば、全ての判定用画像のうち、その相関距離が最小となる判定用画像を判定用画像ＤＢ２３３から削除する。詳細には、階層的クラスタリングを適用していることから、相関距離が最小となる判定用画像は２枚あり、この２枚の判定用画像は全ての判定用画像のうち互いに最も類似している画像である。このことから、この２枚の判定用画像の一方を削除しても、異常判定に影響はないと考えられる。また、２枚の判定用画像のうち、例えば、撮影日時が古い方を削除することにすれば良い。
【００６１】
図９は、判定用画像ＤＢ２３３のデータ構成の一例を示す図である。図９に示すように、判定用画像ＤＢ２３３は、管理している判定用画像毎の判定用画像データ２３４の集合（データベース）であり、各判定用画像データ２３４は、識別番号である画像Ｎｏ．２３４ａに対応付けて、判定用画像２３４ｂと、撮影日時２３４ｃと、相関距離２３４ｄとを格納している。撮影日時２３４ｃは、該当する判定用画像（車両画像）の元となる撮影画像の撮影日時である。相関距離２３４ｄは、階層的クラスタリングを適用して得られる樹形図における、該当する判定用画像の枝の長さに相当する。
【００６２】
記憶部２３０は、ハードディスクやＲＯＭ、ＲＡＭ等の記憶装置で実現され、処理部２２０が車両検査支援装置２００を統括的に制御するためのシステムプログラムや、各種機能を実現するためのプログラムやデータを記憶しているとともに、処理部２２０の作業領域として用いられ、処理部２２０が各種処理を実行した演算結果などが一時的に画像格納される。本実施形態では、記憶部２３０には、プログラムとして、車両検査支援プログラム２３１が記憶され、データとして、異常判定閾値データ２３２と、判定用画像ＤＢ２３３と、撮影画像データ２３５と、車両画像データ２３６とが記憶される。
【００６３】
［処理の流れ］
図１０は、車両検査支援処理の流れを説明するフローチャートである。図１０によれば、撮影装置１００による撮影画像２０を取得すると（ステップＳ１）、車両画像作成部２２１が、この撮影画像２０を合成して車両画像３０を作成する（ステップＳ３）。次いで、管理されている判定用画像それぞれを対象としたループＡの処理（繰り返し処理）を行う。
【００６４】
ループＡでは、相関距離算出部２２２が、車両画像３０及び対象の判定用画像それぞれに対して、写っている車両に対する相対位置が一致するように、同一サイズの検査窓４０を設定する（ステップＳ５）。次いで、この両画像における検査窓４０を同一方向に同一速度で移動させて、検査窓４０内の部分画像間の相関係数が最小となる位置を探す（ステップＳ７）。そして、この位置での検査窓４０内の部分画像間の相関距離を算出し、車両画像３０及び対象の判定用画像間の相関距離ｄ（非類似度）とする（ステップＳ９）。すなわち、検査窓４０内の部分画像間の相関距離のうちの最大値とする。ループＡの処理はこのように行われる。
【００６５】
そして、全ての判定用画像を対象としたループＡの処理を行って、車両画像３０と判定用画像それぞれとの間の相関距離ｄを算出すると、続いて、異常判定部２２３が、これらの判定用画像それぞれとの間の相関距離ｄのうちから最小の距離（最小の非類似度）を選択し、車両画像３０の相関距離とする（ステップＳ１１）。
【００６６】
次いで、この車両画像３０の相関距離を所定の閾値距離と比較し、相関距離が閾値距離を超えているならば（ステップＳ１３：ＹＥＳ）、車両画像に写っている車両に「異常」が有ると判定する（ステップＳ１５）。そして、報知制御部２２５が、判定結果の報知を行う（ステップＳ１７）。
【００６７】
一方、相関距離が閾値距離を超えていないならば（ステップＳ１３：ＮＯ）、異常判定部２２３は、車両画像に写っている車両は「正常」と判定する（ステップＳ１９）。そして、報知制御部２２５が、判定結果の報知を行う（ステップＳ２１）。
【００６８】
続いて、判定用画像管理部２２４が、車両画像３０を新たな判定用画像として判定用画像ＤＢ２３３に追加する（ステップＳ２３）。その結果、管理している判定用画像の枚数が所定の上限枚数を超えたならば（ステップＳ２５：ＹＥＳ）、管理している判定用画像のうち、対応付けられている相関距離が最小のものを、判定用画像ＤＢ２３３から削除する（ステップＳ２７）。以上の処理を行うと、処理部２２０は支援処理を終了する。
【００６９】
［作用・効果］
このように、本実施形態の車両検査支援システム１によれば、線路脇に設置された撮影装置１００によって検査対象物である列車が撮影（動画撮影）され、車両検査支援装置２００が、この撮影装置１００による撮影画像に写っている車両の、外観で判断できる異常の有無を判定することができる。
【００７０】
具体的には、車両検査支援装置２００は、撮影装置１００によって撮影（動画撮影）された画像の各フレーム画像を合成して１車両全体の車両画像３０を作成し、この車両画像３０と、過去の車両画像であって写っている車両が「正常」と判定された画像である判定用画像それぞれとの間の相関距離ｄをもとに、車両画像３０に写っている車両に異常があるか否かを判定する。また、線路を走行する列車には複数の種別があるが、車両画像と判定用画像それぞれとの間の非類似度を表す相関距離のうち、最小の相関距離に基づいて異常であるか否かを判断するので、結果的に、車両画像と同じ車種の車両を写した判定用画像と比較することになるため、車両画像に写っている車両の異常を容易に判定することが可能となる。
【００７１】
また、車両画像３０と判定用画像との間の相関距離ｄの算出の際には、車両画像３０及び判定用画像それぞれに、写っている車両に対して同じ相対位置に所定サイズの検査窓４０を設定し、検査窓４０内の部分画像間の相関係数が最小となる位置（すなわち、非類似度を表す相関距離が最大となる位置）での検査窓４０内の部分画像間の相関距離を、車両画像３０及び判定用画像間の相関距離として算出する。これにより、車両画像３０の「異常箇所」が明らかになるとともに、車両画像３０にもとづく異常判定の精度が向上する。
【００７２】
更に、異常と判定された場合には、判定結果の報知として、相関係数が最小となる検査窓４０の位置を車両画像３０に重ねて表示させることで、検査員は、容易に車両の異常箇所を把握することができる。
【００７３】
［変形例］
なお、本発明の適用可能な実施形態は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能なのは勿論である。
【００７４】
（Ａ）検査対象物の撮影範囲
例えば、上述の実施形態では、車両の高さ方向全体を撮影範囲に含むように側方から撮影することにしたが、少なくとも、異常判定の対象を撮影範囲に含むように撮影できれば良い。すなわち、本実施形態のように床下機器を異常判定の対象としているならば、少なくとも、車両の下半分を撮影範囲に含むように撮影すればよい。また、例えば屋根上の機器を異常判定の対象とする場合には、車両の上半分を撮影範囲に含むように撮影したり、車両上方から俯瞰するように撮影すれば良い。また、車両検査場において、車両の下方から撮影可能な位置に撮影装置を設置し、車両の下方から床下機器が写るように撮影しても良い。
【００７５】
（Ｂ）検査対象物
また、上述の実施形態では、検査対象物として鉄道車両を例に挙げて説明したが、例えば、自動車にも同様に適用可能である。その場合、例えばエンジンルーム内を異常判定の対象としたり、車両の底面を異常判定の対象としても良い。また、車両に限らず、例えば工場での製品検査ラインなど、移動或いは搬送される物体であって外観から異常を判断できる物体であれば、同様に適用可能である。
【００７６】
（Ｃ）画像のトリミング／マスキング
また、車両画像３０には、車両以外の背景も写っているため、車両の画像部分だけを抽出し、残余の画像部分を削除（色データを無しとする）した上で、異常判定を行うことにしても良い。
【符号の説明】
【００７７】
１ 車両検査支援システム
１００ 撮影装置
２００ 車両検査支援装置
２１１ 操作部、２１２ 通信部、２１３ 表示部、２１４ 音出力部
２２０ 処理部
２２１ 車両画像作成部、２２２ 相関距離算出部
２２３ 異常判定部、２２４ 判定用画像管理部、２２５ 報知制御部
２３０ 記憶部
２３１ 車両検査支援プログラム
２３２ 異常判定閾値データ、２３３ 判定用画像ＤＢ
２３５ 撮影画像データ、２３６ 車両画像データ
１０ 列車
２０ 撮影画像、３０ 車両画像、４０ 検査窓
【特許請求の範囲】
【請求項１】
正常と判定された検査対象物の正常画像を複数記憶した記憶手段と、
今回の検査対象とする検査対象物を撮影した撮影画像、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓を初期設定する検査窓初期設定手段と、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析手段と、
前記画像解析手段により判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定手段と、
前記一の正常画像を切り替えて、前記検査窓初期設定手段、前記画像解析手段および前記非類似度個別判定手段を繰り返し機能させ、前記非類似度個別判定手段により判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定手段と、
前記最終非類似度判定手段により判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定手段と、
を備えた検査支援装置。
【請求項２】
前記異常判定手段により異常有りと判定された場合に、前記撮影画像を表示制御するとともに、前記最終的な非類似度とされた前記検査窓の当該撮影画像中の位置を識別表示する異常判定位置表示制御手段を更に備えた請求項１に記載の検査支援装置。
【請求項３】
検査対象物の通過地点に向けて設置され、検査対象物の一部分を撮影範囲として検査対象物の通過に従って連続撮影することで検査対象物の通過方向全体を撮影する撮影制御手段により連続撮影された画像から、検査対象物の通過方向全体が収まった１つの全体画像を前記撮影画像として生成する全体画像生成手段を更に備えた請求項１又は２に記載の検査支援装置。
【請求項４】
前記記憶手段は、今回の検査対象物と同一種類を含む複数種類の検査対象物の正常画像を記憶しており、
前記非類似度個別判定手段により最大の非類似度が判定され、前記最終非類似度判定手段により最小の非類似度が最終的な非類似度と判定されることによって、前記最終的な非類似度に係る正常画像の種類が自動的に今回の検査対象物と同一種類となることを特徴とする請求項１〜３の何れか一項に記載の検査支援装置。
【請求項５】
正常と判定された検査対象物の正常画像を複数記憶した記憶手段を備えたコンピュータを、
今回の検査対象とする検査対象物を撮影した撮影画像、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓を初期設定する検査窓初期設定手段、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析手段。
前記画像解析手段により判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定手段、
前記一の正常画像を切り替えて、前記検査窓初期設定手段、前記画像解析手段および前記非類似度個別判定手段を繰り返し機能させ、前記非類似度個別判定手段により判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定手段、
前記最終非類似度判定手段により判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定手段、
として機能させるためのプログラム。
【請求項６】
正常と判定された検査対象物の正常画像を複数記憶した記憶手段を備えたコンピュータを制御して検査対象物の検査を支援する検査支援方法であって、
今回の検査対象とする検査対象物を撮影した撮影画像、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓を初期設定する検査窓初期設定ステップと、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析ステップと。
前記画像解析ステップで判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定ステップと、
前記一の正常画像を切り替えて、前記検査窓初期設定ステップ、前記画像解析ステップおよび前記非類似度個別判定ステップを繰り返し実行し、前記非類似度個別判定ステップで判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定ステップと、
前記最終非類似度判定ステップで判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定ステップと、
を含む検査支援方法。
【請求項１】
正常と判定された検査対象物の正常画像を複数記憶した記憶手段と、
今回の検査対象とする検査対象物を撮影した撮影画像、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓を初期設定する検査窓初期設定手段と、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析手段と、
前記画像解析手段により判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定手段と、
前記一の正常画像を切り替えて、前記検査窓初期設定手段、前記画像解析手段および前記非類似度個別判定手段を繰り返し機能させ、前記非類似度個別判定手段により判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定手段と、
前記最終非類似度判定手段により判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定手段と、
を備えた検査支援装置。
【請求項２】
前記異常判定手段により異常有りと判定された場合に、前記撮影画像を表示制御するとともに、前記最終的な非類似度とされた前記検査窓の当該撮影画像中の位置を識別表示する異常判定位置表示制御手段を更に備えた請求項１に記載の検査支援装置。
【請求項３】
検査対象物の通過地点に向けて設置され、検査対象物の一部分を撮影範囲として検査対象物の通過に従って連続撮影することで検査対象物の通過方向全体を撮影する撮影制御手段により連続撮影された画像から、検査対象物の通過方向全体が収まった１つの全体画像を前記撮影画像として生成する全体画像生成手段を更に備えた請求項１又は２に記載の検査支援装置。
【請求項４】
前記記憶手段は、今回の検査対象物と同一種類を含む複数種類の検査対象物の正常画像を記憶しており、
前記非類似度個別判定手段により最大の非類似度が判定され、前記最終非類似度判定手段により最小の非類似度が最終的な非類似度と判定されることによって、前記最終的な非類似度に係る正常画像の種類が自動的に今回の検査対象物と同一種類となることを特徴とする請求項１〜３の何れか一項に記載の検査支援装置。
【請求項５】
正常と判定された検査対象物の正常画像を複数記憶した記憶手段を備えたコンピュータを、
今回の検査対象とする検査対象物を撮影した撮影画像、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓を初期設定する検査窓初期設定手段、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析手段。
前記画像解析手段により判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定手段、
前記一の正常画像を切り替えて、前記検査窓初期設定手段、前記画像解析手段および前記非類似度個別判定手段を繰り返し機能させ、前記非類似度個別判定手段により判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定手段、
前記最終非類似度判定手段により判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定手段、
として機能させるためのプログラム。
【請求項６】
正常と判定された検査対象物の正常画像を複数記憶した記憶手段を備えたコンピュータを制御して検査対象物の検査を支援する検査支援方法であって、
今回の検査対象とする検査対象物を撮影した撮影画像、および、前記記憶手段に記憶された複数の正常画像のうちの一の正常画像それぞれに、検査対象物に対する予め定められた相対位置に所定サイズの検査窓を初期設定する検査窓初期設定ステップと、
検査対象物に対する予め定められた相対方向に前記検査窓を徐々にずらすことと、前記撮影画像及び前記一の正常画像それぞれの前記検査窓内の画像同士を比較して非類似度を判定することとを繰り返し実行する画像解析ステップと。
前記画像解析ステップで判定された非類似度のうちの最大の非類似度を、前記一の正常画像に対する前記撮影画像の非類似度とする非類似度個別判定ステップと、
前記一の正常画像を切り替えて、前記検査窓初期設定ステップ、前記画像解析ステップおよび前記非類似度個別判定ステップを繰り返し実行し、前記非類似度個別判定ステップで判定された非類似度のうちの最小の非類似度を、前記撮影画像の最終的な非類似度とする最終非類似度判定ステップと、
前記最終非類似度判定ステップで判定された最終的な非類似度に基づいて、前記撮影画像に写された今回の検査対象物の異常の有無を判定する異常判定ステップと、
を含む検査支援方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−５３８７５（Ｐ２０１３−５３８７５Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９０８８４（Ｐ２０１１−１９０８８４）
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００１７３７８４）公益財団法人鉄道総合技術研究所 (1,666)
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００１７３７８４）公益財団法人鉄道総合技術研究所 (1,666)
[ Back to top ]