説明

腐食度評価方法、装置及びプログラム

【課題】屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことを可能にする。
【解決手段】評価対象物の事例画像データ及び事例画像に対して色温度及び明るさ又はそれらの一方を変化させた加工事例画像データの画像特徴量を抽出すると共に特徴空間上に表現して腐食度の判別面を生成するステップ(S1)と、判定実施物の判定画像データ及び判定画像に対して色温度及び明るさ又はそれらの一方を変化させた加工判定画像データの画像特徴量を抽出して判別面を用いて判定画像の腐食度を判定するステップ(S2)とを有するようにした。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、腐食度評価方法、装置及びプログラムに関する。さらに詳述すると、本発明は、金物類を撮影した画像データに基づく腐食度の評価に用いて好適な技術に関する。
【0002】
本明細書において、腐食度とは、金物類における錆の発生による腐食の程度を意味するものとして用いている。また、供用中の設備の部品などであって点検等に際して腐食度の判定を実際に行う対象になる物のことを判定実施物と呼び、判定実施物の設備と同じ設備の同じ部品や判定実施物の設備と同じ種類の設備の判定実施物に該当する部品などのように判定実施物と同種の物に加えて判定実施物の設備と類似する種類の設備の部品などのように判定実施物と同類の物などであって腐食の状況が似ているために画像データを用いて判定実施物の腐食度の判定を行う場合に参考になると判断される物のことを評価対象物と呼ぶ。
【背景技術】
【0003】
判定実施物である金物類を撮影した画像データに基づいて腐食度を評価する従来の方法としては、評価対象物の金物類を撮影した画像に廃棄対象や再利用可能などの腐食度を表すラベルを人手で付与し、次に、評価対象物の画像を特徴空間上に表現して特徴空間上で腐食度のラベルの判別が難しい画像を選び出し、さらに、選び出した画像から特徴空間上における腐食度のラベルの判別面を生成し、そして、判定実施物を撮影した画像を同じ特徴空間上に表現して判別面に基づいて廃棄対象や再利用可能などの腐食度の判定を行うものがある(特許文献1)。
【0004】
ここで、特許文献1の方法では、評価対象物を撮影した画像に基づいて判別面の生成を行うようにしている。すなわち、撮影された画像が金物類の腐食度を適切に表現していれば特徴空間に生成される判別面は金物類の腐食度に適確に対応したものになる。
【0005】
しかしながら、撮影対象が同じものであっても撮影時の照明が異なれば撮影された画像は異なるものになる。例えば、夕方に撮影すれば赤みを帯びた画像になり、曇天であれば青みを帯びた画像になる。このように、照明条件が異なる画像を用いると、実際の腐食度とは無関係な撮影時の照明条件の違いによる画像の違いの影響を受けた判別面が生成されてしまう。
【0006】
一方で、市販のデジタルカメラの多くには、撮影時の照明条件の変化に対応するため、撮影対象の明るさを考慮して画像の明るさを自動的に調整する自動露出設定機能、及び、撮影対象の色合いを考慮して画像の色合いを自動的に調整する自動ホワイトバランス設定機能が搭載されている。そして、自動露出設定機能と自動ホワイトバランス設定機能とが働くことによって評価対象物の表面の実際の状態とは異なる色と明るさとに勝手に変換された画像になる。
【0007】
これに対し、特許文献1の方法では、評価対象物を撮影した画像に記録された色と明るさとのデータを厳密に扱って判別面を生成する。したがって、同じ腐食度の金物類であっても自動露出設定機能及び自動ホワイトバランス設定機能によって色と明るさとが調整・変換された画像を用いることになり、その調整・変換の誤差による実際の状態からの乖離を反映して判別面を生成してしまう。これらの自動設定機能による調整・変換の誤差の判別面生成への影響は、照明条件のばらつきが大きいほど大きく、画像の枚数が少ないほど大きい。すなわち、生成された判別面は、カメラの自動設定機能による調整・変換の誤差分を考慮していないために適切とは言えないものである可能性があり、結果的に判定実施物の腐食度の判定の精度が低下してしまう。
【0008】
すなわち、特許文献1の方法では、屋外で撮影された画像を用いる場合には、屋外での撮影時には撮影環境の光源が変化するために同じ腐食度であっても異なる色として画像が記録されて判別面の生成に影響を与えてしまい、腐食度の判定精度が低下する。このため、特許文献1の方法においては、例えば外光が入らないようにしたフード付きのデジタルカメラを用いると共にフード内の人工照明を用いて評価対象物並びに判定実施物を接写することによって照明条件を一定に保ち、撮影対象が同じであれば同じ画像として撮影する工夫をすることが望ましい。
【0009】
【特許文献1】特開2005−274299号
【発明の開示】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献1の腐食度評価方法では、評価対象物並びに判定実施物を接写して照明条件を一定に保つことによって判定精度の低下を抑制することはできても、屋外の評価対象物や判定実施物と撮影地点とが離れているなどして接写することができないために照明条件を一定に保つことが困難な場合には判定精度が低下してしまうという問題がある。このため、例えば鉄塔の上方の鋼材のように接写することが不可能であったり高電圧又は高熱であるために接写することが危険であったりして照明条件を一定に保つことができない評価対象物や判定実施物を撮影して行う腐食度の判定の精度が高いとは言い難い。さらに、接写することがたとえできるとしても、接写するためには評価対象物や判定実施物全体に亘る評価対象箇所の極近傍に移動を繰り返しながら撮影作業をしなければならないので作業効率が悪いという問題がある。
【0011】
そこで、本発明は、屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことができる腐食度評価方法、装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
かかる目的を達成するため、請求項1記載の腐食度評価方法は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを作成するステップと、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与するステップと、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定するステップとを有するようにしている。
【0013】
請求項4記載の腐食度評価装置は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込む手段と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する手段と、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する手段とを有するようにしている。
【0014】
請求項7記載の腐食度評価プログラムは、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する処理と、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する処理とをコンピュータに行わせるようにしている。
【0015】
したがって、この腐食度評価方法、装置及びプログラムによると、実際に撮影して得られた画像に加えて色合い及び明るさ又はそれらの一方を変化させた画像も同時に用いて腐食度の判別面を生成することにより、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく判別面が生成されるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した判別面が生成される。
【0016】
また、請求項2記載の腐食度評価方法は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを作成するステップと、事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップと、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定するステップとを有するようにしている。
【0017】
また、請求項5記載の腐食度評価装置は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込む手段と、事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段と、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する手段とを有するようにしている。
【0018】
さらに、請求項8記載の腐食度評価プログラムは、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する処理と、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する処理とをコンピュータに行わせるようにしている。
【0019】
したがって、この腐食度評価方法、装置及びプログラムによると、実際に撮影して得られた画像に加えて色合い及び明るさ又はそれらの一方を変化させた画像も同時に用いて腐食度の判定を行うことにより、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく腐食度の判定が行われるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した腐食度の判定が行われる。
【0020】
また、請求項3記載の腐食度評価方法は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを作成するステップと、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与するステップと、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップと、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定するステップとを有するようにしている。
【0021】
請求項6記載の腐食度評価装置は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込む手段と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する手段と、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段と、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する手段とを有するようにしている。
【0022】
請求項9記載の腐食度評価プログラムは、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する処理と、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する処理と、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する処理とをコンピュータに行わせるようにしている。
【0023】
したがって、この腐食度評価方法、装置及びプログラムによると、実際に撮影して得られた画像に加えて色合い及び明るさ又はそれらの一方を変化させた画像も同時に用いて腐食度の判別面を生成すると共に腐食度の判定を行うことにより、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく判別面が生成されると共に腐食度の判定が行われるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した判別面が生成されると共に腐食度の判定が行われる。
【発明の効果】
【0024】
請求項1,4,7記載の腐食度評価方法、装置及びプログラムによれば、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく判別面が生成されるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した判別面を生成することができ、屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことが可能になる。
【0025】
また、請求項2,5,8記載の腐食度評価方法、装置及びプログラムによれば、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく腐食度の判定が行われるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した腐食度の判定を行うことができ、屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことが可能になる。
【0026】
また、請求項3,6,9記載の腐食度評価方法、装置及びプログラムによれば、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく判別面が生成されると共に腐食度の判定が行われるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した判別面を生成することができると共に腐食度の判定を行うことができ、屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことが可能になる。
【発明を実施するための最良の形態】
【0027】
以下、本発明の構成を図面に示す最良の形態に基づいて詳細に説明する。
【0028】
図1及び図2に、本発明の腐食度評価方法、装置及びプログラムの実施形態の一例を示す。この腐食度評価方法は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを作成するステップと、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与するステップと、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップと、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定するステップとを有するようにしている。
【0029】
上記腐食度評価方法は、本発明の腐食度評価装置として実現される。本発明の腐食度評価装置は、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込む手段と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する手段と、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段と、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する手段とを備える。
【0030】
上述の腐食度評価方法並びに腐食度評価装置は、本発明の腐食度評価プログラムをコンピュータ上で実行することによっても実現される。本実施形態では、腐食度評価プログラムをコンピュータ上で実行する場合を例に挙げて説明する。
【0031】
腐食度評価プログラム17を実行するための本実施形態の腐食度評価装置10の全体構成を図2に示す。この腐食度評価装置10は、制御部11、記憶部12、入力部13、表示部14及びメモリ15を備え相互にバス等の信号回線により接続されている。また、腐食度評価装置10にはデータサーバ16がバス等の信号回線等により接続されており、その信号回線等を介して相互にデータや制御指令等の信号の送受信(即ち出入力)が行われる。
【0032】
制御部11は記憶部12に記憶されている腐食度評価プログラム17によって腐食度評価装置10全体の制御並びに画像データを用いた腐食度の評価に係る演算を行うものであり、例えばCPU(中央演算処理装置)である。記憶部12は少なくともデータやプログラムを記憶可能な記憶手段であり、例えばハードディスクである。メモリ15は制御部11が各種制御や演算を実行する際の作業領域であるメモリ空間となるものであり、例えばRAM(Random Access Memory)である。。
【0033】
入力部13は少なくとも作業者の命令を制御部11に与えるためのインターフェイスであり、例えばキーボードである。
【0034】
表示部14は制御部11の制御により文字や図形等の描画・表示を行うものであり、例えばディスプレイである。
【0035】
また、データサーバ16は少なくともデータを記憶可能な記憶手段であり、例えばサーバである。
【0036】
そして、腐食度評価プログラム17を実行することによって腐食度評価装置10の制御部11には、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込む手段としての事例データ読込部11aと、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与する手段としての事例画像加工部11bと、事例画像及び該事例画像の腐食度のラベルのデータ並びに加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段としての事例画像特徴量抽出部11c及び事例画像表現部11d及び判別面生成部11eと、判定実施物の判定画像のデータを読み込む手段としての判定画像データ読込部11fと、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段としての判定画像加工部11gと、判定画像のデータ及び加工判定画像のデータ並びに判別面を用いて判定画像の腐食度を判定する手段としての判定画像特徴量抽出部11h及び腐食度判定部11iとが構成される。
【0037】
また、本発明の腐食度評価方法を腐食度評価装置10において実現するための腐食度評価プログラム17は、図1に示すように、大きくは、腐食度を判定するための判別面の生成を行う判別面生成ステップ(S1)と、判定実施物の点検時に撮影した画像と判別面とを用いて判定実施物の腐食度の判定を行う判定ステップ(S2)とを有する。
【0038】
さらに詳細には、腐食度評価プログラム17は、図1に示すように、評価対象物の事例画像及び事例画像毎の腐食度のラベルのデータを読み込むステップ(S1−1)と、事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった事例画像の腐食度のラベルのデータを付与するステップ(S1−2)と、事例画像データ及び加工事例画像データの画像特徴量の抽出を行うステップ(S1−3)と、画像特徴量を用いて事例画像データ及び加工事例画像データを特徴空間上に表現するステップ(S1−4)と、特徴空間上に表現された事例画像データ及び加工事例画像データを用いて腐食度の判別面を生成するステップ(S1−5)と、判定実施物の判定画像のデータを読み込むステップ(S2−1)と、判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップ(S2−2)と、判定画像データ及び加工判定画像データの画像特徴量の抽出を行うステップ(S2−3)と、判別面を用いて判定画像の腐食度を判定するステップ(S2−4)とを有する。
【0039】
ここで、本実施形態では、送電鉄塔の鋼材を対象として腐食度の判定を実施する場合を例に挙げて説明する。したがって、本実施形態では、送電鉄塔の鋼材一般が評価対象物になり得ると共に、供用中の鉄塔のうち点検対象として選択された鉄塔の部品である鋼材が判定実施物になる。
【0040】
まず、判別面生成ステップ(S1)について説明する。
【0041】
本発明の腐食度評価方法の実行にあたっては、まず、制御部11の事例データ読込部11aが、評価対象物の事例データの読み込みを行う(S1−1)。
【0042】
本発明における事例データは、事例画像のデータとこの事例画像毎の腐食度のラベルのデータとの組み合わせデータである。
【0043】
事例画像のデータ(以下、事例画像データと表記する)は、評価対象物をデジタルカメラで撮影した画像のデータである。なお、本発明において用いられる画像は、デジタルカメラに備わっている自動露出設定機能及び自動ホワイトバランス設定機能を用いて撮影されたもので構わない。さらに、本発明において用いられる画像は、照明条件が撮影のたびに変化しているものでも良く、評価対象物から離れた位置で望遠レンズを用いて撮影されたものでも良い。
【0044】
ここで、カメラによって評価対象物を撮影したままの画像(以下、撮影画像と呼ぶ)では、撮影画像内での鋼材の大きさにばらつきが生じ、撮影角度によって歪みも発生する。また、望遠レンズによって撮影された画像には、評価対象の鋼材以外のもの、例えば、空、建物、田畑、別の鋼材等も一緒に撮影される。したがって、このような撮影画像をそのまま用いて腐食度の判定を行うと、腐食度に無関係な背景や画像内での大きさや形に依存した判定結果になってしまう。このため、本発明において用いられる事例画像データとしては、実際の撮影画像中の評価対象物部分(本実施形態では鋼材部分)を正方形に切り取ったものが用いられる。すなわち、実際の撮影画像から正方形に切り取られた画像データが事例画像データとして事例データベース18に蓄積される。
【0045】
なお、撮影画像からの事例画像データの切り取りに際しては、本実施形態では、鋼材の幅方向の全体が含まれるように切り取られることが望ましい。錆は鋼材の端から発生することもあり、端の情報が重要な場合があるためである。なお、鋼材が斜めに撮影されている場合には鋼材が真横若しくは真縦になるように撮影画像を回転させてから鋼材部分が切り取られることが望ましい。一方、鋼材が奥行き方向に傾いて撮影されている場合には撮影画像の奥側ほど鋼材の幅が細く写っているので回転などの単純な処理では幅方向全体を正方形に切り取ることができない。また、カメラレンズの球面歪によって直線の鋼材が湾曲して撮影されるので単純な処理では幅方向全体を正方形に切り取ることができない。そのような場合には、例えば市販の画像処理ソフトウェアの遠近法切り抜き機能などを使って奥側の拡大や歪補正を施して正方形に変形してから切り取られることが望ましい。
【0046】
腐食度のラベルは評価対象物の経年に伴う腐食の進行度合いの分類(クラスとも呼ばれる)を表すものである。腐食度のラベルの種類(内容)や数は特定のものに限定されるものではなく、評価対象の設備の種類や評価の目的などを考慮して作業者が適宜設定する。
【0047】
具体的には例えば、本実施形態のように供用中の鉄塔の部品である鋼材を判定実施物として腐食度の判定を実施する場合には、鋼材の防錆塗装である溶融亜鉛めっきの劣化の度合いに合わせて、溶融亜鉛めっきが十分に残存している状態である早期ラベル(クラス1とする),亜鉛めっきの劣化が部分的に合金層まで達している状態である適期ラベル(クラス2とする),全面で合金層が露出し一部で鉄素地及び鉄素地に近い部分からの錆が見られる状態である遅期ラベル(クラス3とする)の三つの腐食度のラベルを用いることなどが考えられる。なお、本実施形態では、上記三つの腐食度のラベルを用いるものとして説明する。
【0048】
腐食度のラベルは、事例画像が切り取られる元の撮影画像全体を専門家が見て評価対象物の腐食度を判定し、事例画像毎に付与される。なお、腐食度のラベルは、事例画像データと組み合わされて事例データベース18に蓄積される際には例えば1,2,3などの数値データ(フラグとも呼ばれる)として与えられる。
【0049】
本実施形態では、評価対象物に係る事例データは事例データベース18として記憶手段であるデータサーバ16に蓄積される。なお、事例データベース18は記憶手段である記憶部12に保存されるようにしても良い。
【0050】
事例データ読込部11aは、評価対象物の事例画像データと事例画像毎に付与されている腐食度のラベルのデータとの組み合わせデータをデータサーバ16に保存されている事例データベース18から読み込む。そして、事例データ読込部11aは読み込んだ事例データをメモリ15に記憶させる。
【0051】
次に、制御部11の事例画像加工部11bは、評価対象物の事例画像に対して色加工の処理を行う(S1−2)。
【0052】
具体的には、事例画像加工部11bは、まず、S1−1の処理においてメモリ15に記憶された事例画像データ(S1−2の処理においてはオリジナル事例画像と呼ぶ)をメモリ15から読み込む。
【0053】
そして、事例画像加工部11bは、オリジナル事例画像に対して色温度を増した画像と減らした画像とを作成する。なお、色温度を増すとオリジナル事例画像に対して赤みが強くなり、色温度を減らすとオリジナル事例画像に対して青みが強くなる。
【0054】
画像の色加工としての色温度の変化の程度は特定の値に限定されるものではなく、評価対象物の色合いや事例画像撮影時の照明条件や実際のオリジナル事例画像群の色合いの全体的な傾向からオリジナル事例画像群の色温度を仮定すると共に仮定した色温度と色合いの全体的な傾向とを考慮して変化の幅を作業者が適宜決定する。
【0055】
具体的には例えば、本実施形態のように鋼材の錆画像を用いる場合には、太陽光の色温度5000〜6000Kの中で錆の赤みによって低い色温度になっていると考え、オリジナル事例画像の色温度を5000Kと仮定すると共に、仮定した色温度5000Kに対して0.9倍の4500Kに色温度を変換した画像と1.1倍の5500Kに色温度を変換した画像とを作成するようにすることなどが考えられる。
【0056】
事例画像加工部11bは、さらに、オリジナル事例画像に対して明るさを明るくした画像と暗くした画像とを作成する。画像の色加工としての明るさの変化の程度は特定の値に限定されるものではなく、事例画像撮影時の照明条件や実際のオリジナル事例画像群の明るさの全体的な傾向を考慮して作業者が適宜決定する。
【0057】
具体的には例えば、オリジナル事例画像に対して明るさを0.9倍にして少し暗く変換した画像と1.1倍にして少し明るく変換した画像とを作成するようにすることなどが考えられる。
【0058】
また、色温度及び明るさを変化させ変換した画像(以下、加工画像と呼ぶ)の作成枚数も特定の枚数に限定されるものではなく、S1−5の処理において判別面を生成する際の演算処理の負荷などを考慮して作業者が適宜決定する。
【0059】
なお、事例画像加工部11bによる色加工の程度(具体的には色温度の変化の程度及び明るさの変化の程度)並びに加工画像の作成枚数を交差検定法によって決定することも考えられる。具体的には、本発明に交差検定法(n分割交差検定法とも呼ばれる。nは分割数であって2以上の自然数。)を適用する場合には、まず、与えられた画像データの全てをほぼ同数になるようにランダムにn分割する(分割後のグループをそれぞれC1,C2,…,Cnとする)。次に、n個の分割グループのうちの(n−1)個の分割グループ(例えばC2からCn)に属する画像データを用いて判別面を作成する。そして、残りの1個の分割グループ(即ちC1)をテスト判定用グループとして当該グループに属する画像データの腐食度を判定する。同様にテスト判定用グループをC2からCnまで変化させて全部でn回のテスト判定を行って判定正解数を合計する。さらに、色加工の程度並びに加工画像の作成枚数を複数回変化させながら上記のランダム分割からテスト判定までの処理を実施し、判定正解数が最も多いときの色加工の程度並びに加工画像の作成枚数を採用することも考えられる。
【0060】
本実施形態では、色合いについて3種類と明るさについて3種類との組み合わせで、オリジナル事例画像の他に合計8種類の画像(加工事例画像と呼ぶ)が作成されるものとして以下説明する。
【0061】
事例画像加工部11bは、S1−1の処理においてメモリ15に記憶された事例画像データ(即ちオリジナル事例画像)のそれぞれに対して8種類の加工事例画像を作成する。また、事例画像加工部11bは、オリジナル事例画像毎の腐食のラベルの値をメモリ15から読み込み、作成した加工事例画像の元のオリジナル事例画像に付与されている腐食度のラベルと同じラベルを加工事例画像に付与する。
【0062】
そして、事例画像加工部11bは、加工事例画像のデータと加工事例画像毎に付与される腐食度のラベルのデータとを組み合わせデータとしてメモリ15に記憶させる。
【0063】
次に、制御部11の事例画像特徴量抽出部11cは、評価対象物の事例画像データ及び加工事例画像データの画像特徴量の抽出を行う(S1−3)。
【0064】
S1−5の処理における判別面の生成に用いることができる画像の枚数は、撮影並びに腐食度のラベル付与の労力を考慮すると腐食度のラベル当たり数百枚程度が適当であると考えられる。また、撮影画像から切り取った事例画像のデータ並びに加工事例画像のデータは例えば縦横数百画素のRGBデータ(即ち三次元)になるので総データ量は数十万に及ぶ。
【0065】
このように、画像一枚当たりのデータ量が画像総枚数に対して多すぎると機械学習を用いた画像識別では識別の信頼性が低下することが知られている。また、機械学習ではデータ量が多くなればなるほど学習に計算時間がかかる。このため、画像を、当該画像の特徴を表現する小さなデータ(画像特徴量と呼ばれる)に変換する必要がある。
【0066】
本発明では、元になる画像データから画像特徴量への変換方法として、例えばヒストグラムやスケーリングを用いることが考えられる。
【0067】
ヒストグラムは、画像データ内の全画素の色の頻度を集計した特徴量であり、画像全体の色情報を表すものである。したがって、一般的には、画像内の位置に関係なく、画像の全体的な色の出現頻度に意味がある場合の特徴量に適している。
【0068】
スケーリングは、画像を碁盤目状に区切って各区域内の画素群の代表値を計算するという特徴量であり、画像内の色の大まかな配置情報を表すものである。したがって、一般的には、画像内の色の配置に意味がある場合の特徴量に適している。なお、代表値としては、例えば平均値や中間値などが用いられる。
【0069】
また、デジタル画像の基本的な表色系として、各画素の色をR(赤),G(緑),B(青)の三原色で表現するRGB表色系と、各画素の色をH(色相),S(彩度),V(明度)の三変数で表現するHSV表色系とがある。
【0070】
したがって、本発明では、これらを組み合わせたRGBヒストグラム,RGBスケーリング,HSVヒストグラム,HSVスケーリングを画像特徴量として用いることが考えられる。
【0071】
例えば、RGBスケーリングは、画像を碁盤目状に区切って升目毎に全ての画素のRGB値の代表値を計算し、計算された値を升目の代表値とする。これにより、RGBスケーリングは、例えば「中央が青っぽく、隅が赤っぽい」などのように色の大まかな配置を表す。なお、一般的には、特徴量の各成分が平均0,分散1になるように正規化される。
【0072】
また、HSVヒストグラムは、画像データ内の各画素のRGBをHSVに変換してから画像全体での頻度として集計する。これにより、HSVヒストグラムは、例えば「赤い部分が多い」などのように画像の全体的な色の出現頻度を表す。なお、一般的には、特徴量の各成分が平均0,分散1になるように正規化される。また、予備的な検討などによってH(色相),S(彩度),V(明度)のうちのいずれかに重きを置くことによって画像判別の精度が向上することが確認されている場合には、H,S,Vの次元数の比を調整することが有効である。例えば、H(色相)に重きを置くことによって精度が向上することが確認されている場合には、次元数の比をH:S:V=2:1:1とすることなどが考えられる。
【0073】
事例画像特徴量抽出部11cは、S1−1の処理においてメモリ15に記憶された事例画像データ並びにS1−2の処理においてメモリ15に記憶された加工事例画像データをメモリ15から読み込み、読み込んだ画像データ毎に画像特徴量の演算を行う。
【0074】
そして、事例画像特徴量抽出部11cは、画像特徴量演算の元になった画像データと関連付けた上で画像データ毎の画像特徴量をメモリ15に記憶させる。
【0075】
次に、制御部11の事例画像表現部11dは、評価対象物の事例画像データ及び加工事例画像データを特徴空間上に表現する(S1−4)。
【0076】
本発明における特徴空間とは、画像データを構成するパラメータ(本発明においては画像特徴量)によってベクトル化(即ち座標化)して画像データを表す空間、または、パラメータによってベクトル化したデータを更に高次元の空間に非線形写像して画像データを表す空間をいう。
【0077】
事例画像表現部11dは、S1−3の処理においてメモリ15に記憶された事例画像データ及び加工事例画像データ毎の画像特徴量をメモリ15から読み込む。そして、事例画像表現部11dは、読み込んだ画像特徴量に基づいて事例画像データ及び加工事例画像データを特徴空間上に表現する。
【0078】
次に、制御部11の判別面生成部11eは、特徴空間上に表現された評価対象物の事例画像データ及び加工事例画像データを用いて腐食度の判別面の生成を行う(S1−5)。
【0079】
本実施形態では、画像データのパターン識別の方法としてサポートベクターマシン(以下、SVMと表記する)を用いる。SVMは、与えられた事例群の中からクラスの判別が最も難しい事例を探し出し、それを元に判別面(例えば超平面)を生成する手法である。
【0080】
図3に、本発明にSVMを適用した場合の判別面生成の概念図を示す。図3は、クラス2とクラス3とを判別する判別面生成の概念図である。本発明にSVMを適用した場合には、図3に示すように、特徴空間1上に事例画像及び加工事例画像データ群2を表現すると共に、これら画像群2の中からクラスを判別することが難しい画像データ2’を抽出し、当該画像データ2’を元に判別面3を生成する。なお、SVM自体は周知の技術であるのでここでは詳細については省略する(例えば、小野田崇:サポートベクターマシン,オーム社,2007年)。
【0081】
本実施形態においては、判別面生成部11eは、特徴空間上において、早期ラベルであるか適期ラベルであるかを判別することが難しい画像と、適期ラベルであるか遅期ラベルであるかを判別することが難しい画像と、さらに、遅期ラベルであるか早期ラベルであるかを判別することが難しい画像とを抽出する。
【0082】
そして、判別面生成部11eは、特徴空間上において、早期ラベルであると判別することが難しい画像と適期ラベルであると判別することが難しい画像との真ん中に早期−適期判別面を生成し、適期ラベルであると判別することが難しい画像と遅期ラベルであると判別することが難しい画像との真ん中に適期−遅期判別面を生成し、さらに、遅期ラベルであると判別することが難しい画像と早期ラベルであると判別することが難しい画像との真ん中に遅期−早期判別面を生成する。
【0083】
そして、判別面生成部11eは生成した三つの判別面を表すパラメータをメモリ15に記憶させる。
【0084】
以上の判別面生成ステップ(S1)の処理は判定実施物と同類の評価対象物群に対して1回だけ行う。例えば、本実施形態の場合には、判定実施物である送電鉄塔の鋼材と同類の鋼材に同類の溶融亜鉛めっきが施されているときは同類の評価対象物であるとし、送電鉄塔のいずれの部位であるかに拘わらず、鋼材の腐食度の判定を行うための判別面の生成は判定実施物である鋼材と同類の鋼材群に対して1回だけ行う。
【0085】
そして、この判別面生成ステップ(S1)の処理によって生成された判別面を用いて以下の判定ステップ(S2)の処理を行う。なお、判別面生成ステップ(S1)の処理によって生成された判別面を当該判別面生成の元となった事例画像データの評価対象物の類に属する判定実施物の継続的な点検作業において用いる場合には、当該判別面を表すパラメータを記憶手段である記憶部12やデータサーバ16に保存するようにしても良い。
【0086】
続いて、判定ステップ(S2)について説明する。この判定ステップ(S2)の処理は、供用中の設備の鋼材部品の補修や交換の必要性を判断するための点検作業において用いられる処理であって、判別面生成ステップ(S1)の処理において生成された判別面を用いて判定実施物としての供用中の設備の鋼材部品の腐食度の判定を行うものである。
【0087】
判定ステップ(S2)として、まず、制御部11の判定画像データ読込部11fが、判定実施物の画像データの読み込みを行う(S2−1)。
【0088】
判定実施物の画像データ(以下、判定画像データと呼ぶ)は、判定実施物の点検の際に判定実施物をデジタルカメラで撮影した画像のデータである。なお、判定画像データは、事例画像データと同様に、デジタルカメラに備わっている自動露出設定機能及び自動ホワイトバランス設定機能を用いて撮影されたもので構わない。さらに、判定画像データは、事例画像データと同様に、照明条件が撮影のたびに変化しているものでも良く、評価対象物から離れた位置で望遠レンズを用いて撮影されたものでも良い。
【0089】
また、判定画像データについても、事例画像データと同様に、撮影した実際の画像中の判定実施物部分(本実施形態では鋼材部分)を正方形に切り取ったものが用いられる。すなわち、撮影した実際の画像から正方形に切り取られた画像データが判定画像データとして判定画像データベース19に蓄積される。さらに、画像データの切り取り方や必要な場合の変形などの処理についても事例画像データの場合と同様である。
【0090】
本実施形態では、判定実施物に係る判定画像データは判定画像データベース19として記憶手段であるデータサーバ16に蓄積される。なお、判定画像データベース19は記憶手段である記憶部12に保存されるようにしても良い。
【0091】
判定画像データ読込部11fは、判定実施物の判定画像データをデータサーバ16に保存されている判定画像データベース19から読み込む。そして、判定画像データ読込部11fは読み込んだ判定画像データをメモリ15に記憶させる。
【0092】
次に、制御部11の判定画像加工部11gは、判定実施物の判定画像に対して色加工の処理を行う(S2−2)。
【0093】
画像に対する色加工(具体的には色温度の変化及び明るさの変化)の処理はS1−2の処理の内容と同様である。すなわち、判定画像加工部11gは、まず、S2−1の処理においてメモリ15に記憶された判定画像データ(S2−2の処理においてはオリジナル判定画像と呼ぶ)をメモリ15から読み込む。
【0094】
そして、判定画像加工部11gは、オリジナル判定画像に対して色温度を増した画像と減らした画像とを作成すると共に、オリジナル判定画像に対して明るさを明るくした画像と暗くした画像とを作成する。
【0095】
本実施形態では、S1−2の処理と同様に、色合いについて3種類と明るさについて3種類との組み合わせで、オリジナル判定画像の他に合計8種類の画像(加工判定画像と呼ぶ)が作成されるものとして以下説明する。
【0096】
判定画像加工部11gは、S2−1の処理においてメモリ15に記憶された判定画像データ(即ちオリジナル判定画像)のそれぞれに対して8種類の加工判定画像を作成する。
【0097】
そして、判定画像加工部11gは、例えば同じID番号を付与するなど元になったオリジナル判定画像と関連付けた上で加工判定画像データをメモリ15に記憶させる。
【0098】
次に、制御部11の判定画像特徴量抽出部11hは、判定実施物の判定画像データ及び加工判定画像データの画像特徴量の抽出を行う(S2−3)。
【0099】
判定画像データ及び加工判定画像データの画像特徴量の抽出は、S1−3の処理と同様の画像特徴量を用いて行う。
【0100】
判定画像特徴量抽出部11hは、S2−1の処理においてメモリ15に記憶された判定画像データ並びにS2−2の処理においてメモリ15に記憶された加工判定画像データをメモリ15から読み込み、読み込んだ画像データ毎に画像特徴量の演算を行う。
【0101】
そして、判定画像特徴量抽出部11hは、画像特徴量演算の元になった画像データと関連付けた上で画像データ毎の画像特徴量をメモリ15に記憶させる。
【0102】
次に、制御部11の腐食度判定部11iは、判定実施物の腐食度の判定を行う(S2−4)。
【0103】
具体的には、腐食度判定部11iは、まず、S1−5の処理においてメモリ15に記憶された三つの判別面を表すパラメータをメモリ15から読み込む。
【0104】
次に、腐食度判定部11iは、S2−3の処理においてメモリ15に記憶された判定実施物の判定画像データの画像特徴量をメモリ15から読み込む。
【0105】
ここで、SVMは基本的には二つのクラスを判別する手法であり、本実施形態のように三つのクラス(即ち、早期ラベル,適期ラベル,遅期ラベル)の判別をするには工夫が必要である。本実施形態では、S1−5の処理において、早期−適期判別面,適期−遅期判別面,遅期−早期判別面の三つの判別面が生成される。そして、S2−4の処理において、判定実施物の画像に対してこれら三つの判別面を順に適用し、当該画像がいずれの腐食度のクラスに属するのか多数決で決定する。なお、三つの判別面による判別結果が全て異なる場合には各クラスへの近さ(即ち、各クラスを構成するサポートベクターへの近さ)で決定する。(以上の処理の詳細については、例えば、山名美智子 他:錆画像を用いた腕金再利用判定方法の開発,研究報告書 R05001,財団法人電力中央研究所,2005年、及び、山名美智子 他:画像中の錆位置に依存しない腕金再利用判定方法,研究報告書 R05004,財団法人電力中央研究所,2006年を参照。)
【0106】
すなわち、腐食度判定部11iは、メモリ15から読み込んだ判定画像データを特徴空間上に表現すると共に、早期−適期判別面を適用した場合のクラスの判別、適期−遅期判別面を適用した場合のクラスの判別、遅期−早期判別面を適用した場合のクラスの判別を順に行って当該判定画像の腐食度のクラスを決定する。
【0107】
さらに、腐食度判定部11iは、S2−3の処理においてメモリ15に記憶された加工判定画像データ毎の画像特徴量のうち前記の判定実施物の判定画像データ(即ちオリジナル判定画像)と関連付けられた加工判定画像データの画像特徴量をメモリ15から順に読み込む。
【0108】
そして、腐食度判定部11iは、順に、メモリ15から読み込んだ加工判定画像データを特徴空間上に表現すると共に三つの判別面を適用して当該加工判定画像の腐食度のクラスを決定する。
【0109】
続いて、腐食度判定部11iは、一つの判定実施物に係る判定画像及び加工判定画像についての腐食度のクラス(本実施形態では合計九つ)の中から多数決によって当該判定実施物の腐食度のクラスを決定する。なお、九つの腐食度のクラスの分布が同数だった場合にはオリジナル判定画像の腐食度のクラスを当該判定実施物の腐食度のクラスとする。
【0110】
そして、腐食度判定部11iは、判定実施物毎の腐食度のラベルを表示部14に表示させると共に、判定実施物毎の判定画像と腐食度のラベルとの組み合わせデータを判定結果ファイルとして記憶部12に記憶させる。
【0111】
なお、判別面生成ステップ(S1)において生成した判別面を適用することができる同類の判定実施物に係る判定画像データが判定画像データベース19に複数蓄積されている場合には、制御部11は判定画像データ毎にS2−1からS2−4までの処理を繰り返して行う。
【0112】
そして、制御部11は、腐食度評価プログラム17の処理を終了する(END)。
【0113】
以上の構成を有する本発明の腐食度評価方法、装置及びプログラムによれば、ホワイトバランスと露出とに対して多少の曖昧さを付加した画像群に基づく判別面が生成されると共に腐食度の判定が行われるので、カメラの自動ホワイトバランス設定機能及び自動露出設定機能による調整・変換の誤差の影響を緩和した判別面を生成することができると共に腐食度の判定を行うことができ、屋外の評価対象物や判定実施物から離れた地点から撮影した画像であって照明条件が一定に保たれていない画像であっても腐食度の判定を精度良く行うことが可能になる。
【0114】
なお、上述の形態は本発明の好適な形態の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、本実施形態では、S1−2及びS2−2の処理における色加工において、オリジナル画像に対して色温度を変化させると共に明るさを変化させて変換した加工画像を作成するようにしているが、これに限られず、オリジナル画像に対して色温度のみを変化させて変換した加工画像を作成するようにしても良いし、或いは、オリジナル画像に対して明るさのみを変化させて変換した加工画像を作成するようにしても良い。
【0115】
また、本実施形態では、判別面の生成に用いるためにS1−2の処理において加工事例画像を作成する際の色加工の程度並びに加工事例画像の作成枚数と、判定実施物の腐食度の判定に用いるためにS2−2の処理において加工判定画像を作成する際の色加工の程度並びに加工判定画像の作成枚数とが一致しているが、これに限られず、S1−2の処理における色加工の程度並びに加工事例画像の作成枚数とS2−2の処理における色加工の程度並びに加工判定画像の作成枚数とは一致していなくても良い。
【0116】
また、本実施形態では、S1−2の処理において複数枚の加工事例画像を作成すると共に、S2−2の処理において複数枚の加工判定画像を作成するようにしているが、これに限られず、S1−2の処理において判別面生成のために複数枚の加工事例画像を作成する一方でS2−2の処理をしないで腐食度の判定にはオリジナル判定画像のみを用いるようにしても良いし、或いは、S1−2の処理をしないで判別面の生成にはオリジナル事例画像のみを用いる一方でS2−2の処理において腐食度の判定のために複数枚の加工判定画像を作成するようにしても良い。
【0117】
また、本実施形態では、S1−2及びS2−2の処理における色加工の程度並びに加工画像の作成枚数について作業者が適宜決定するようにしたり交差検定法を用いて決定するようにしているが、これに限られず、腐食度が既に分かっている金物類のサンプルがある場合には、想定される多様な照明条件(例えば、順光と逆光,晴天と曇天,日中と夕方など)でサンプルを撮影してホワイトバランスや露出がどの程度変動するのかを撮影画像で予め確認し、その変動の程度を考慮して色加工の程度並びに加工画像の作成枚数を決定するようにしても良い。
【0118】
S1−2及びS2−2の処理における色加工の程度並びに加工画像の作成枚数の決定については、さらに、画像中で腐食を起こしていない箇所が特定できる場合には、当該箇所の色値を用いて色加工の程度並びに加工画像の作成枚数を決定するようにしても良い。具体的には、腐食を起こしていない箇所でのホワイトバランス(R,G,Bの比)が均等になるように色を変化させる色加工を行う。また、腐食を起こしていない箇所を複数特定することができる場合には、それぞれをリファレンスとすることにより加工画像を複数枚作成することができる。
【実施例1】
【0119】
本発明の腐食度評価方法、装置及びプログラムを実際の送電鉄塔の鋼材の腐食度の判定に適用した実施例を図4を用いて説明する。なお、本実施例では、判別面生成ステップ(S1)においては事例画像に対して色加工の処理(S1−2)を施し、判定ステップ(S2)においては判定画像に対しては色加工の処理(S2−2)を施さなかった。
【0120】
本実施例では、デジタルカメラを用いて撮影した1645枚の鉄塔鋼材錆画像を撮影画像として用いた。本実施例では、デジタルカメラに備わっている自動露出設定機能及び自動ホワイトバランス設定機能を利用して撮影された画像を用いた。さらに、本実施例で用いた画像には、照明条件が撮影のたびに変化しているものも含まれていた。
【0121】
そして、全ての画像について、画像特徴量を抽出するのに十分な解像度であり且つ撮影された鉄塔鋼材で最も小さく撮影されているものを拡大する必要がないことを考慮し、撮影画像から鉄塔鋼材部分の縦320画素×横320画素を切り取って事例画像データとした。
【0122】
また、本実施例では、亜鉛めっき鋼材表面の腐食度のラベルとして、溶融亜鉛めっきが十分に残存している状態である早期ラベル,亜鉛めっきの劣化が部分的に合金層まで達している状態である適期ラベル,全面で合金層が露出し一部で鉄素地及び鉄素地に近い部分からの錆が見られる状態である遅期ラベルの三つのラベルを用いた。そして、1645枚の錆画像のそれぞれに専門家が腐食度のラベルを付与した。
【0123】
また、本実施例では、S1−2の処理における色加工において、オリジナル事例画像の色温度を5000Kと仮定すると共に、仮定した色温度5000Kに対して0.9倍の4500Kに色温度を変換した画像と1.1倍の5500Kに色温度を変換した画像とを作成した。なお、5000KでのRGB値を(r,g,b)とすると、4500Kでの値は(1.149r,g,0.940b)となり、5500Kでの値は(0.897r,g,1.043b)となる。
【0124】
さらに、オリジナル事例画像及び色温度を変換した画像のそれぞれに対して明るさを0.9倍にして少し暗く変換した画像と1.1倍にして少し明るく変換した画像とを作成した。
【0125】
すなわち、本実施例では、図4に示すように、色合い(即ち色温度)について3種類と明るさ(即ち露出)について3種類との組み合わせで、一つのオリジナル事例画像について合計8種類の加工事例画像を作成した。
【0126】
また、本実施例では、S1−3の処理における画像特徴量の抽出において、細かな色合いを扱う特徴量であってホワイトバランスや露出の変化に対して敏感な判別面を生成することができると考えられることを考慮し、画像特徴量としてHSVヒストグラムを用いた。
【0127】
本実施例では、HSVヒストグラムを用いる際に、Hを96段階に区分して頻度分布を計算すると共に、S,Vはそれぞれ48段階に区分して頻度分布を計算した。すなわち、96+48+48=192次元のデータになる。また、特徴量の各成分が平均0,分散1になるように正規化した。
【0128】
そして、本実施例では、まず、腐食度の各ラベルの事例画像群からランダムに全体の4分の1を取り出して判定画像データにすると共に残りの全ての画像を事例画像データにし、当該事例画像データを用いて判別面を生成した後に当該判別面を用いて判定画像データの腐食度のラベルを判定した。本実施例では、この「ランダム取り出し→判別面生成→判定」の評価過程を100試行行った。
【0129】
ここで、最初に取り出した全体の4分の1の判定画像の枚数nに対して本発明の腐食度評価方法が腐食度を正しく判定した画像の枚数mの割合(即ちm/n)を判定精度とし、100試行での判定精度の平均を平均判定精度とした。
【0130】
上記評価過程を100試行行い、平均判定精度は83.8%になった。この結果から、本発明が、デジタルカメラに備わっている自動露出設定機能及び自動ホワイトバランス設定機能を用いて撮影された画像データや照明条件が撮影のたびに変化している画像データを用いた腐食度の判定に有用であることが確認できた。
【0131】
また、画像特徴量としてHSVヒストグラムを用いることにより、色合いや露出の変動を考慮した判別面を生成することができ、画像データによる腐食度の判定精度の向上に寄与することが確認できた。
【図面の簡単な説明】
【0132】
【図1】本発明の腐食度評価方法の実施形態の一例を説明するフローチャートである。
【図2】本実施形態の腐食度評価方法をプログラムを用いて実施する場合の腐食度評価装置の機能ブロック図である。
【図3】判別面の生成を説明する概念図である。
【図4】実施例におけるオリジナル事例画像と加工事例画像との関係を説明する図である。
【符号の説明】
【0133】
1 特徴空間
2 事例画像及び加工事例画像データ群
2’クラス判別が難しい画像データ
3 判別面

【特許請求の範囲】
【請求項1】
評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを作成するステップと、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与するステップと、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、前記判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定するステップとを有することを特徴とする腐食度評価方法。
【請求項2】
評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを作成するステップと、前記事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップと、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定するステップとを有することを特徴とする腐食度評価方法。
【請求項3】
評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを作成するステップと、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与するステップと、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成するステップと、判定実施物の判定画像のデータを作成するステップと、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成するステップと、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定するステップとを有することを特徴とする腐食度評価方法。
【請求項4】
評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを読み込む手段と、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与する手段と、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、前記判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する手段とを有することを特徴とする腐食度評価装置。
【請求項5】
評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを読み込む手段と、前記事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段と、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する手段とを有することを特徴とする腐食度評価装置。
【請求項6】
評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを読み込む手段と、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与する手段と、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する手段と、判定実施物の判定画像のデータを読み込む手段と、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する手段と、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する手段とを有することを特徴とする腐食度評価装置。
【請求項7】
評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与する処理と、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、前記判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する処理とをコンピュータに行わせることを特徴とする腐食度評価プログラム。
【請求項8】
評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、前記事例画像及び該事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する処理と、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する処理とをコンピュータに行わせることを特徴とする腐食度評価プログラム。
【請求項9】
評価対象物の事例画像及び該事例画像毎の腐食度のラベルのデータを記憶手段から読み込む処理と、前記事例画像に対して色温度及び明るさ又はそれらの一方を変化させて加工事例画像のデータを作成すると共に作成された加工事例画像のデータに該加工事例画像の元になった前記事例画像の腐食度のラベルのデータを付与する処理と、前記事例画像及び該事例画像の腐食度のラベルのデータ並びに前記加工事例画像及び該加工事例画像の腐食度のラベルのデータを用いてサポートベクターマシンによって腐食度の判別面を生成する処理と、判定実施物の判定画像のデータを記憶手段から読み込む処理と、前記判定画像に対して色温度及び明るさ又はそれらの一方を変化させて加工判定画像のデータを作成する処理と、前記判定画像のデータ及び前記加工判定画像のデータ並びに前記判別面を用いて前記判定画像の腐食度を判定する処理とをコンピュータに行わせることを特徴とする腐食度評価プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2009−293993(P2009−293993A)
【公開日】平成21年12月17日(2009.12.17)
【国際特許分類】
【出願番号】特願2008−145969(P2008−145969)
【出願日】平成20年6月3日(2008.6.3)
【出願人】(000173809)財団法人電力中央研究所 (1,040)
【Fターム(参考)】