鋼管内部腐食解析装置及び腐食解析方法

【課題】正確に、且つ効率的に劣化部分の抽出と劣化度評価を行うことができる鋼管内部腐食解析装置、及び解析方法を提供する。
【解決手段】鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置１００であって、様々な条件下で得られた画像から撮影条件の相違点を除去する前処理手段１０と、劣化部分を予備的に抽出する劣化部分予備抽出手段１１と、前処理手段１０により撮影条件を統一し、且つ劣化部分予備抽出手段１１により得られた方針に基づいて、画像に対して劣化度ごとの領域を抽出及び分類する劣化部分抽出分類手段１２と、実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行う劣化領域検証評価手段１４と、劣化領域検証評価手段１４により検証評価された劣化領域を表示する表示処理手段１５と、を備えて構成されている。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鋼管内部腐食解析装置及び腐食解析方法に関し、さらに詳しくは、鋼管鉄塔の鋼管内部を撮影した画像を解析することにより、劣化部分の抽出と劣化評価を行う鋼管内部腐食解析装置及び腐食解析方法に関するものである。
【背景技術】
【０００２】
送電線設備の鋼管は、経年変化により内部に腐食が発生している場合がある。そのため、定期的に鋼管内部を検査する必要がある。しかし、鋼管鉄塔の鋼管内部腐食は外観からでは確認できないため、経年による劣化減肉を見逃す虞がある。このため、従来から工業用内視鏡等を鋼管内に挿入し、その画像を解析し、劣化程度の定性的判定が行われている。しかし、数ｍから数十ｍもの長さとなる鋼管の調査には多大のマンパワーと経験が要求されるばかりでなく、収集した画像から劣化部分を特定して、その劣化の程度を定性的に判定しなければならないため、判定者が異なると判定結果にバラツキが発生すると共に、判定に多大の時間を要するといった問題がある。
この問題を解決するために、特許文献１には、鋼材から成る構造物の発錆状況について定量的な判定を行うことができる発錆状況判定装置について開示されている。これによると、錆色領域にある発錆度ごとの画素占有率を算出し、その結果を出力して発錆状況を判定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２９１９８４公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示されている従来技術は、撮影された画像の色から発錆領域の画素占有率を算出しているので、錆とそれ以外の識別が必ずしも正確に行われていないといった問題がある。
本発明は、かかる課題に鑑みてなされたものであり、実際のビデオ画像を元に画像処理による解析を行う際に、前処理により撮影環境をある程度統一させ、条件を統一した後に、劣化度部分の抽出と分類を行うことにより、正確に、且つ効率的に劣化部分の抽出と劣化度評価を行うことができる鋼管内部腐食解析装置、及び解析方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明はかかる課題を解決するために、請求項１は、鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置であって、プログラムに従って順次処理を行う中央処理装置と、前記プログラム及びデータを格納する読出し専用メモリと、一次的にデータを記憶し、該記憶したデータを読み出して前記中央処理装置に供給する随時アクセスメモリと、を有する制御部は、様々な条件下で得られた画像から撮影条件の相違点を除去する前処理手段と、前記劣化部分を予備的に抽出する劣化部分予備抽出手段と、前記前処理手段により前記撮影条件を統一し、且つ前記劣化部分予備抽出手段により得られた抽出結果に基づいて、前記画像に対して劣化度ごとの領域を抽出及び分類する劣化部分抽出分類手段と、実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行う劣化領域検証評価手段と、該劣化領域検証評価手段により検証評価された劣化領域を表示する表示処理手段と、を備えたことを特徴とする。
【０００６】
請求項２は、前記前処理手段は、前記画像として内視鏡により撮影された動画像、及び該動画像の中から劣化部分を抜き出した静止画像を使用し、前記画像の色ムラを軽減する色補正手段と、前記画像の照明ムラを補正する照明ムラ補正手段と、撮像画像を実際の画像に移動してレンズの歪みを補正するレンズ歪み補正手段と、前記画像領域のエッジ部分の左上方向の画像を明るくし、右下方向を暗くすることにより該画像領域を立体的に浮き上がらせる強調表示手段と、を備えたことを特徴とする。
【０００７】
請求項３は、前記色補正手段は、前記画像の色ムラを軽減するために色相と彩度をぼかすローパスフィルタを使用した第１の色補正手段と、前記画像の全体的な色ずれを双六角錘モデルを用いて補正する第２の色補正手段と、を備えていることを特徴とする。
【０００８】
請求項４は、前記照明ムラ補正手段は、前記画像をブロック分割し、各ブロックの明度が等しくなるように補正する第１の明度ムラ補正手段と、前記画像を照明光と物体の反射率の積で表し、前記画像から前記照明光を分離することで反射率画像を補正画像として取得する第２の明度ムラ補正手段と、を備えていることを特徴とする。
【０００９】
請求項５は、前記劣化部分抽出分類手段は、各環境における劣化度見本に基づいて該劣化度見本と最も相関が強い劣化部分を抽出する環境劣化度見本抽出手段と、前記動画の検査結果より画像を抜粋し、前記各環境における劣化度見本に基づいて該劣化度見本と最も相関が強い劣化部分を抽出する動画劣化度見本抽出手段と、前記劣化度見本と前記検査結果より抜粋した動画とを比較する比較手段と、前記明度を正規化する明度正規化手段と、劣化度抽出に用いるパラメータを決定するパラメータ決定手段と、を備えたことを特徴とする。
【００１０】
請求項６は、前記パラメータ決定手段は、劣化度を分類できるような前記明度及び前記Ｉ値を主観的に決定する主観的分類手段と、サポートベクターマシンによる前記明度及び前記Ｉ値の劣化度ごとの領域分割を行うサポートベクターマシン分類手段と、直接１つの判別ルールを決定するのではなく、単純な判別器を複数組み合わせることで全体として１つの判別ルールを構築するアダブースト分類手段と、を備えていることを特徴とする。
【００１１】
請求項７は、鋼管中心位置を該鋼管の開口部の輝度とオプティカルフローを用いたカメラ位置推定結果情報を元に推定し、該推定結果を用いてコマ毎の画像を展開した画像を作成する展開画像作成手段と、前記コマ毎の展開画像をカメラの移動位置を元に張り合わせる画像張り合せ手段と、を備え、前記展開画像作成手段により鋼管全体を平面展開した画像を作成し、作成した画像に対する劣化領域を抽出することで、実際の劣化部分の面積や前記鋼管内全体の劣化状況を把握することを特徴とする。
【００１２】
請求項８は、同時に複数の特徴点を追跡し、撮影位置の異なる画像間の特徴点の移動量を計算する移動量計算手段と、該移動量計算手段により計算された前記特徴点の移動量から鋼管内のカメラ位置を推定するカメラ位置推定手段と、該カメラ位置推定手段により推定されたカメラ位置から再度、前記特徴点の前記鋼管内の位置を推定する特徴点位置推定手段と、を備え、前記カメラ位置推定手段及び前記特徴点位置推定手段により推定された位置に基づいて前記特徴点の３次元座標を求めることを特徴とする。
【００１３】
請求項９は、前処理手段、劣化部分予備抽出手段、劣化部分抽出分類手段、劣化領域検証評価手段、及び表示処理手段を備え、鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置の鋼管内部腐食解析方法であって、前記前処理手段が前記様々な条件下で得られた画像から撮影条件の相違点を除去するステップと、前記劣化部分予備抽出手段が前記劣化部分を予備的に抽出するステップと、前記劣化部分抽出分類手段が前記前処理手段により前記撮影条件を統一し、且つ前記劣化部分予備抽出手段により得られた方針に基づいて、前記画像に対して劣化度ごとの領域を抽出及び分類するステップと、前記劣化領域検証評価手段が実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行うステップと、前記表示処理手段が前記劣化領域検証評価手段により検証評価された劣化領域を表示するステップと、を実行することを特徴とする。
【００１４】
請求項１０は、展開画像作成手段、及び画像張り合せ手段を備え、鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置の鋼管内部腐食解析方法であって、前記展開画像作成手段が、鋼管中心位置を該鋼管の開口部の輝度とオプティカルフローを用いたカメラ位置推定結果情報を元に推定し、該推定結果を用いてコマ毎の画像を展開した画像を作成するステップと、前記画像張り合せ手段が、前記コマ毎の展開画像をカメラの移動位置を元に張り合わせるステップと、を実行することを特徴とする鋼管内部腐食解析装置の鋼管内部腐食解析方法であって、前記展開画像作成手段により鋼管全体を平面展開した画像を作成し、作成した画像に対する劣化領域を抽出することで、実際の劣化部分の面積や前記鋼管内全体の劣化状況を把握することを特徴とする。
【００１５】
請求項１１は、移動量計算手段、カメラ位置推定手段、及び特徴点位置推定手段を備え、鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析方法であって、前記移動量計算手段が、同時に複数の特徴点を追跡し、撮影位置の異なる画像間の特徴点の移動量を計算するステップと、前記カメラ位置推定手段が、前記移動量計算手段により計算された前記特徴点の移動量から鋼管内のカメラ位置を推定するステップと、前記特徴点位置推定手段が、前記カメラ位置推定手段により推定されたカメラ位置から再度、前記特徴点の前記鋼管内の位置を推定するステップと、を実行することを特徴とする鋼管内部腐食解析装置の鋼管内部腐食解析方法であって、前記カメラ位置推定手段及び前記特徴点位置推定手段により推定された位置に基づいて前記特徴点の３次元座標を求めることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、様々な条件下で得られた画像から撮影条件の相違点を除去する前処理手段と、劣化部分を予備的に抽出する劣化部分予備抽出手段と、前処理手段により撮影条件を統一し、且つ劣化部分予備抽出手段により得られた方針に基づいて、画像に対して劣化度ごとの領域を抽出及び分類する劣化部分抽出分類手段と、実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行う劣化領域検証評価手段と、劣化領域検証評価手段により検証評価された劣化領域を表示する表示処理手段と、各手段を制御する制御手段と、を備えたので、正確に、且つ効率的に劣化個所抽出と劣化度評価を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の劣化予測マッピング装置のハードウェア構成の一例を示すブロック図である。
【図２】撮像画像の例を示す図である。
【図３】色ムラの補正（１）結果を示す図である。
【図４】図３の枠内部分の拡大図である。
【図５】双六角錘モデルを示す図である。
【図６】色補正（双六角錘モデル）の処理手順を示す図である。
【図７】色補正（双六角錘モデル）の結果例を示す図である。
【図８】照明ムラ補正（方法１）の処理手順を示す図である。
【図９】照明ムラ補正（方法２）の処理手順を示す図である。
【図１０】照明ムラ補正の結果例を示す図である。
【図１１】Ｒｅｔｉｎｅｘの結果例を示す図である。
【図１２】レンズ歪みイメージを示す図である。
【図１３】鋼管画像へのレンズ歪み補正結果を示す図である。
【図１４】エンボス処理の例を示す図である。
【図１５】図１４で用いたフィルタを示す図である。
【図１６】強調表示結果を示す図である。
【図１７】ＲＧＢ平均値による７段階分類を示す図である。
【図１８】劣化度ごとのＲＧＢ平均値を示す図である。
【図１９】ＲＧＢを用いた領域抽出結果を示す図である。
【図２０】劣化領域の特徴量採取のための画像マスク例を示す図である。
【図２１】ＵＣＳ座標系による劣化度分布を示す図である。
【図２２】ＲＧＢからＹＩＱ変換例を示す図である。
【図２３】ＹＩＱに変換した画像例を示す図である。
【図２４】ＹＩＱによる赤錆抽出例を示す図（その１）である。
【図２５】ＹＩＱによる赤錆抽出例を示す図（その２）である。
【図２６】サンプルより抜粋した画像ファイルの一覧を示す図である。
【図２７】抜粋した画像の劣化度分布（Ｉ−明度）を示す図である。
【図２８】明度正規化処理を示す図である。
【図２９】明度補正比較を示す図である。
【図３０】補正対象画像のバリエーションを示す図である。
【図３１】主観分類によるパラメータを示す図である。
【図３２】主観分類による分類の一致度を示す図である。
【図３３】サポートベクターマシンのイメージを示す図である。
【図３４】サポートベクターマシンの利用構成を示す図である。
【図３５】サポートベクターマシンによる分類の一致度を示す図である。
【図３６】ＡｄａＢｏｏｓｔによる分類の一致度を示す図である。
【図３７】分類方式による一致度比較を示す図である。
【図３８】プロトタイプの構成を示す図である。
【図３９】Ｎｏ２−３２劣化度分類結果（主観分類による）を示す図である。
【図４０】Ｎｏ３−０４劣化度分類結果（主観分類による）を示す図である。
【図４１】Ｎｏ２−３２劣化度分類結果（ＡｄａＢｏｏｓｔによる）を示す図である。
【図４２】Ｎｏ３−０４劣化度分類結果（ＡｄａＢｏｏｓｔによる）を示す図である。
【図４３】Ｎｏ２−３２劣化度分類結果（サポートベクターマシンによる）を示す図である。
【図４４】Ｎｏ３−０４劣化度分類結果（サポートベクターマシンによる）を示す図である。
【図４５】劣化度分類結果を示す図である。
【図４６】平面展開例を示す図である。
【図４７】鋼管中心位置の推定イメージを示す図である。
【図４８】動画像再生プログラム構成を示す図である。
【図４９】動画再生例を示す図である。
【図５０】鋼管展開画像に対する劣化度判定結果を示す図である。
【図５１】異物領域抽出結果例を示す図である。
【図５２】（Ａ）は劣化度判定結果の比較結果を示す図、（Ｂ）は鋼管展開画像に対する劣化度判定結果を示す図である。
【図５３】（ａ）は鋼管全体の凹凸推定結果（等高線表示）を示す図、（ｂ）は鋼管全体の凹凸推定結果（３Ｄ表示）を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
【００１９】
図１は本発明の鋼管内部腐食解析装置のハードウェア構成の一例を示すブロック図である。本発明に係る鋼管内部腐食解析装置１００は、一般的なコンピュータのハードウェア構成と同様に、プログラムに従って順次処理を行うＣＰＵ（中央演算処理装置）と、プログラム又は普遍的なデータを格納するＲＯＭ（読出し専用メモリ）と、一次的にデータを記憶したり、そのデータを読み出してＣＰＵに供給するＲＡＭ（随時アクセスメモリ）と、大量のデータを格納するデータベース（ＤＢ）４と、キーボード及びマウス等の入力装置によりデータを入力する入力部５と、マッピングデータを表示する出力部６と、各部を接続するバス７と、を備えて構成されている。尚、ＣＰＵ、ＲＯＭ、ＲＡＭを制御部８とする。また、本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の鋼管内部腐食解析装置１００を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００２０】
この鋼管内部腐食解析装置１００は、鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置１００であって、プログラムに従って順次処理を行うＣＰＵと、プログラム及びデータを格納するＲＯＭと、一次的にデータを記憶し、該記憶したデータを読み出してＣＰＵに供給するＲＡＭと、を有する制御部８は、様々な条件下で得られた画像から撮影条件の相違点を除去する前処理手段１０と、劣化部分を予備的に抽出する劣化部分予備抽出手段１１と、前処理手段１０により撮影条件を統一し、且つ劣化部分予備抽出手段１１により得られた抽出結果に基づいて、画像に対して劣化度ごとの領域を抽出及び分類する劣化部分抽出分類手段１２と、実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行う劣化領域検証評価手段１４と、劣化領域検証評価手段１４により検証評価された劣化領域を表示する表示処理手段１５と、を備えて構成されている。
本発明で使用した撮影画像は工業用内視鏡にて撮影された動画像と、その中から劣化部分を抜き出した静止画像である。図３にその一部を示す。図２（ａ）〜（ｄ）が劣化度ＩＩ〜Ｖに対応する。
色味について全体的に青っぽくなっているもの（特に開口部）（Ａ部）が多く見られるが、赤味を帯びたもの（Ｂ部）も一部見受けられる。また、光量不足により暗い部分ではＲＧＢのいずれかの値が明るく見えるＣＣＤノイズも散見している。
画像全体の明るさ（明度）については、撮影時の照明と対象物の距離によってかなり偏りが見られる。極端な場合には照明が鋼管側面に近づくと完全に白く飛んでいる部分がある。
【００２１】
次に、光量不足時に多く見られる色ムラを軽減する色補正について説明する。
まずＲＧＢ画像を一度ＨＳＶ（色相、彩度、明度）の色空間に変換し、このうちＨ（色相）とＳ（彩度）にぼかし効果（ローパスフィルター）を施した。これは写真加工等において良く用いられる手法である。
処理手順を以下に示す。
１）ＲＧＢをＨＳＶに変換する。
ＲＧＢ→ＨＳＶ変換式：
ＭＡＸがＲＧＢ（ｒ，ｇ，ｂ）のうち最大の値に、ＭＩＮをＲＧＢ（ｒ，ｇ，ｂ）のうち最小の値とすると、
ＭＡＸがｒの場合：Ｈ＝６０＊（ｇ−ｂ）／（ＭＡＸ−ＭＩＮ）＋０
ＭＡＸがｇの場合：Ｈ＝６０＊（ｂ−ｒ）／（ＭＡＸ−ＭＩＮ）＋１２０
ＭＡＸがｂの場合：Ｈ＝６０＊（ｒ−ｇ）／（ＭＡＸ−ＭＩＮ）＋２４０
Ｓ＝（ＭＡＸ−ＭＩＮ）／ＭＡＸ
Ｖ＝ＭＡＸ
２）ＨとＳの画像に対して各画素近傍５ｘ５の画素値の平均を求めて、新たな画素値とする（ローパスフィルタ）。
３）ＨＳＶをＲＧＢに変換する。
ＨＳＶ→ＲＧＢ変換式：
Ｈｉ＝（６０／Ｈ）％６（％は割った余りを意味する）
ｆ＝Ｈ／６０−Ｈｉ
ｐ＝Ｖ（１−Ｓ）
ｑ＝Ｖ（１−ｆＳ）
ｔ＝Ｖ（１−（１−ｆ）Ｓ）
Ｈｉが０の場合：ｒ＝Ｖ，ｇ＝ｔ，ｂ＝ｐ
Ｈｉが１の場合：ｒ＝ｑ，ｇ＝Ｖ，ｂ＝ｐ
Ｈｉが２の場合：ｒ＝ｐ，ｇ＝Ｖ，ｂ＝ｔ
Ｈｉが３の場合：ｒ＝ｐ，ｇ＝ｑ，ｂ＝Ｖ
Ｈｉが４の場合：ｒ＝ｔ，ｇ＝ｐ，ｂ＝Ｖ
Ｈｉが５の場合：ｒ＝Ｖ，ｇ＝ｐ，ｂ＝ｑ
【００２２】
図３に上記手法の適応例を示す。図３の（ａ）〜（ｄ）で、左が補正前、右が補正後の画像である。一見したところ大きな変化は見られないが、図３（ｃ）のＡ部、Ｂ部を拡大すると、図４のようにＣＣＤノイズが低減できていることが確認できる。
前出の色補正（１）は局所的な色ムラを補正するものであり、カメラの色バランス特性に起因すると思われる、全体的な色のずれ（青みの強い映像）を補正することはできない。ここでは双六角錘モデルを用いて画像全体の色味を補正した。図５は双六角錘モデルを表す図である。双六角錘モデルは六角錘を上下重ね合わせた形をした色空間であり、六角錘の底辺に相当する六角形がＨ（色相）を表し、六角錘の先端部が明度を表している。
【００２３】
図６を用いて以下に色補正の手順を示す：
１）０から２５５の範囲の値を持つＲＧＢ値のうち、ＲＧＢ全てが１２０−２００に収まる画素を取得（値は複数毎の結果より決定した）。
２）１）の画素の平均値（ａｖｒＲ，ａｖｒＧ，ａｖｒＢ）を計算。
３）２）の結果をＨＳＶ変換し明度を求める（ａｖｒＲ，ａｖｒＧ，ａｖｒＢ）−＞明度ａｖｒＶ。
４）同じ明度（ａｖｒＶ）を持ち、色相なし（Ｈ＝任意）、彩度（Ｓ＝０）をＲＧＢ（ｎＲ，ｎＧ，ｎＢ）に変換する（彩度０なので変換後のＲＧＢ値は全て同じ値となる）。
５）元画像のＲＧＢ平均値（ａｖｒＲ，ａｖｒＧ，ａｖｒＢ）をこのＲＧＢ（ｎＲ，ｎＧ，ｎＢ）にするための変換比率ｒａｔｅＲ＝ｎＲ／ａｖｒＲｒａｔｅＧ＝ｎＧ／ａｖｒＧ。
６）変換比率を全ての画素に対し、掛け合わせることで補正（ただし結果は０−２５５の範囲に収まるように切りつめる）。
本手法の基本的な考えは、画像全体の色相（色味）の偏りを求めて、これを色相中心へ補正することで全体的な色味の偏りを除去するものである。
【００２４】
図７に本手法を施した結果例を示す。（ａ）は補正前、（ｂ）は本発明による手法、（ｃ）は比較のために代表的な画像編集ソフトであるＡｄｏｂｅ社のＰｈｏｔｏＳｈｏｐ（登録商標）で自動補正した結果を示す。
全体の色味（例えば青みが強い）は（ｂ）の本手法、（ｃ）のＰｈｏｔｏＳｈｏｐの自動補正共に改善されている。ただしＰｈｏｔｏＳｈｏｐの自動補正では明度も同時に自動補正されている。
本手法はローパスフィルタを用いたノイズ除去手法が局所的なＣＣＤノイズに有効であるのに対して、画像全体の色調を補正する効果があるといえる。
【００２５】
照明ムラを除去する方法として、図８の方法１、図９の方法２の２種類の手法を適応する。
方法１：画像をブロック分割し、各ブロックの明度が等しくなるように補正する。
１）画像をＲＧＢからＨＳＶに変換する。
２）ＨＳＶに変換した画像を１５ｘ１５のブロック毎に分割し、それぞれの明度（Ｖ）の平均（ａｖｒＶｉ，ｊ）を求める（突出した値を除去するため、平均を求める際に標準偏差３５から６５の範囲の値を使用する）。
３）画像全体の平均明度（ａｖｒＶａｌｌ）を求める。
４）ブロック毎に明度補正比率ｒａｔｅＶｉ，ｊ＝ａｖｒＶａｌｌ／ａｖｒＶｉ，ｊを求め、画像内の全ての画素の明度を更新する（このとき隣接するブロックａｖｒＶｉ±１，ｊ±１を用いて各画素の補正比率を内挿する）。
５）ＨＳＶ画像ＲＧＢ画像に変換する。
【００２６】
方法２：着目ピクセルを中心としたブロックの明度が画像全体の明度に等しくなるよう補正する。
１）画像をＲＧＢからＨＳＶに変換する。
２）Ｖの画像全体の平均明度ａｖｒＶａｌｌを求める。
３）Ｖの画像に対して、各画素Ｖｉ，ｊの１５ｘ１５の周辺画素の平均明度ａｖｒＶｉ，ｊを求める。
４）補正後の明度Ｖ’ｉ．ｊをＶｉ，ｊ−（ａｖｒＶｉ，ｊ−ａｖｒＶａｌｌ）とする。
５）ＨＳＶ画像をＲＧＢ画像に変換する。
【００２７】
図１０に方法１と方法２を適応した結果を示す。図１０（ａ）は元画像、（ｂ）は方法１、（ｃ）は方法２である。
方法１は比較的照明ムラが除去できている。方法２も照明ムラは除去できているが、その他の劣化部分の特徴的な濃淡まで均一化されている。
階調補正を目的として、近年着目されている手法にＲｅｔｉｎｅｘ理論がある。これは入力画像を照明光と物体の反射率の積で表されるとし、入力画像から照明光を分離することで反射率画像を補正画像として得られるものである。
【００２８】
図１１に画像編集ソフトＧＩＭＰ２に備わるＲｅｔｉｎｅｘ処理を行った例を示す。（ａ）は元画像、（ｂ）はＲｅｔｉｎｅｘパラメータ１、（ｃ）はＲｅｔｉｎｅｘパラメータ２、（ｄ）は比較のために照明ムラ補正（画像内明度均一化）の方法１の結果である。
ＧＩＭＰ２はＡｄｏｂｅ社のＰｈｏｔｏＳｈｏｐの様な画像加工ツールの一つである。
Ｒｅｔｉｎｅｘパラメータ１：目盛り＝２４０、目盛り分割＝３、動的＝１．２（デフォルト値）
Ｒｅｔｉｎｅｘパラメータ２：目盛り＝１２０、目盛り分割＝３、動的＝０．８
図１１の上段の画像ではＲｅｔｉｎｅｘパラメータ２がほぼベストの状態となったが、下段の画像ではＲｅｔｉｎｅｘパラメータ２よりはデフォルトのＲｅｔｉｎｅｘパラメータ１がほぼベストの状態である。
傾向として以下の点が挙げられる：
・陰の部分は均一化されるが、全体的に色味が抜けた感じとなる。
・色味を出すためにパラメータを変更するとカメラノイズが強調されてしまう。
【００２９】
図１２はレンズ歪みイメージを表す図である。
通常、カメラ等を用いた撮影画像は映像周辺が膨張したように歪んだものとなる。これはレンズが広角対応になるほど顕著となる（魚眼レンズが顕著な例）。一般的な画像処理、特に物体の位置等を計測する場合には、このレンズ歪みを補正することは不可欠である。今回の鋼管内部の撮影用でもレンズ歪みの補正が必要であるかを確認する。
レンズ歪み補正（キャリブレーション）の手法には校正版等を用いて厳密に行う方法があるが、実際の現場での作業は手間がかかり現実的ではないため、簡易方法を採用した。
本手法の原理はまずレンズ１が球面であると仮定する。撮影対象物の映像（光）はこのレンズ面を通過する際に屈折してＣＣＤ面３に到達、映像として記録される。そこで図１２（ａ）の様に撮影画像（青のライン上の画素）３を実際の絵（緑のライン上の画素）２に移動する処理を行うことで、レンズ歪みを補正できる。
【００３０】
図１３に実際の鋼管内部を撮影した画像に対してレンズ歪み補正処理を行った結果を示す。（ａ）は補正前画像、（ｂ）は補正後画像を示す。もともと円柱状となっている鋼管内部を撮影しているため、見かけ上の画像周辺の映像の歪みは見られない。むしろ補正のために周辺部を引き延ばすために画像の劣化（低解像度化）が発生する。後述する平面図への展開処理でも同様の画像の劣化が発生することを考えると、平面図展開の処理のみを行った方が良好な結果が得られる場合が多い。
劣化部分の自動抽出に必ずしも直接寄与するものではないが、検査画像を人が見て判り易くすることで自動抽出結果の確認も含めて、全体の診断効率アップが期待できる。ここでは、疑似立体表示の手法を用いた撮影画像の強調表示を試みる。図１４はエンボス処理の例を示す図であり、図１５はエンボスフィルタを示す図である。
疑似立体表示に用いられる手法として、いわゆるエンボス処理がある。これは画像の領域のエッジ部分に着目して、エッジの左上方向の画像を明るく、右下方向を暗くすることでその領域を立体的に浮き上がらせる物である。
エンボス処理にはいくつかの手法があるが、今回は図１５のエンボスフィルタ処理を用いた。これは図１４のように画像の各画素とその周辺画素に対して、上記パラメータを掛けて合計したものを新たにその画素の値とするものである。これにより輝度変化のある部分（例えば腐食領域の境界）などが立体的に強調されて見える。
【００３１】
図１６に実際の撮影画像に適応した例を示す。明らかに処理前の画像と比較して、劣化部分が強調され認識しやすくなっており、効果が認められる。
「画像解析による溶融亜鉛めっき鋼材表面の劣化度評価に関する研究」ではＮＴＴによる４段階の劣化度見本に代わり図１７のように７段階の劣化度見本を作成し、これを評価基準として採用した。劣化度見本のもととなった試験体の平行部分から、連続した小領域を抽出し、それぞれのＲＧＢの平均値を求め、ＲＧＢ３次元上にプロットしたものである。
【００３２】
図１８に上記論文で使用している劣化度毎のＲＧＢ平均値を示す（値はＲＧＢ３次元プロット図より採取したため、必ずしも正確ではない）。この７段階の劣化度では劣化度Ｉ〜Ｖが白さびに、劣化度ＶＩとＶＩＩが赤さびに対応していることが判る。
図１９にこのＲＧＢ平均値を用いて、サンプル画像に対して領域抽出を行った結果を示す（この図の画像左にある劣化度表示はサンプル画像に対する５段階の手作業による診断結果であり、ＲＧＢ平均値を用いた７段階分類とは異なることに注意。７段階の分類結果は図１９下の「抽出劣化部分凡例」を参照）。
ＲＧＢ平均値による抽出方法は以下に示す通り。
１）対象となる画像の各画素のＲＧＢ値を求める。
２）ＲＧＢ値が図１８に示す、どの劣化度のＲＧＢ平均値に一致するかを判断する。
・このときＲＧＢ値の許容誤差は±２０とし、複数の劣化度ＲＧＢ平均値±２０に含まれる場合には、ＲＧＢ平均値に近い方を採用する。
・たとえばある画素のＲＧＢが（１３０，１３０，１４０）であれば、その画素は劣化度ＩＩＩに相当すると判断する。
【００３３】
結果をみると、劣化度の低い白さび部分はそれなりに抽出できているが、赤さび部分（５段階評価での劣化度でＶＩ、ＶＩＩ）はうまく抽出できていない。その理由は図１７と抽出に用いた画像の劣化部分を比較すると、ＲＧＢ分類による劣化度ＶＩ、ＶＩＩの色は実際の画像の腐食部分よりも明るめであるため、腐食が進行してほとんど黒くなった部分とは一致しないためである。
ＲＧＢ平均値が鋼管内部を撮影したサンプル画像の劣化部分と比較して、全体的に明るいことから、当該論文は鋼管内部ではなく、外部に露出した鉄塔表面部分を対象としていると推察できる。
「自己組織化特徴マップを用いた鋼材表面の劣化度評価システム」ではＵＣＳ座標系（ｙ，ｕ，ｖ）の色空間と経験的分類を自己組織化マップを用いて定量化したパターンとを結び付けている。
ＵＣＳ（Uniform Chromaticity Scale）は、色に関する眼の非線形性を補正するとともに、使用ＣＲＴで表示することのできる最大色空間を用いる表示法である。人間は、青の近辺ではわずかな色度差でも感知できるが、緑の近辺では大きな色度差がないと色の違いが感知できない非線形性をもつ。この色度差が感覚的な色の性質の差に比例するような色空間を均等知覚空間といい、この空間を用いた表示系がＵＣＳ表色系である。
【００３４】
また、自己組織化マップはニューラルネットワークの一種で多次元のデータを２次元に写像することが可能であり、高次元空間の情報の可視化などに用いられるものである。
ここではＵＣＳ表色系の有効性について検討した。まず劣化画像のサンプルとして、後述する図２６のサンプル画像（９１枚）の劣化領域毎の特徴量（ＲＧＢ）を採取する。
サンプル画像（９１枚）からの劣化領域毎特徴量採取は以下の様に行った。
１）画像の劣化している部分の領域に対してマスク画像を手作業で作成する（図２０（ａ）〜（ｄ））。
２）１）の領域の各画素のＲＧＢ値を求め、領域全体の平均値を求める。→劣化領域毎特徴量
３）以上を９１枚それぞれの画像に対して行う。
次に、以下のＲＧＢ（ｒ，ｇ，ｂ）からＵＣＳ（ｕ，ｖ，ｙ）への変換式により、採取された劣化領域毎特徴量（ＲＧＢ）をＵＣＳへ変換する。
ｕ＝４ｘ／（−２ｘ＋１２ｙ＋３）
ｖ＝９ｙ／（−２ｘ＋１２ｙ＋３）
ｘ＝（０．４９０００ｒ＋０．３１０００ｇ＋０．２０００ｂ）／ｍ
ｙ＝（０．１７６９ｒ＋０．８１２４０ｇ＋０．０１０６３ｂ）／ｍ
ｚ＝（０．０００００ｒ＋０．０１０００ｇ＋０．９９０００ｂ）／ｍ
ｍ＝０．６６６９７ｒ＋１．１３２４０ｇ＋１．２００６３ｂ
図２１に９１枚の画像から採取したＵＣＳ平均値をマッピングした。
結果は劣化度ＩＩＩ、ＩＶ、Ｖはかなり入り混じっており、ＵＣＳ座標系だけでは明確な分類ができているとはいい難い。
【００３５】
ＹＩＱ色空間はテレビ映像の規格のひとつであるＮＴＳＣで基準として使用されている表色系である。特徴としては人間の目に区別しやすい肌色系（オレンジからシアン）の色信号をＩ軸に取り、区別しにくい寒色系（緑からマゼンタ）の色信号をＱ軸に取っている（Ｙは輝度を示す）。
以下にＲＧＢ色空間（ｒ，ｇ，ｂ）からＹＩＱ色空間（ｙ，ｉ，ｑ）への変換式を示す。
ｙ＝０．２９９ｒ＋０．５８７ｇ＋０．１１４ｂ
ｉ＝０．５９６ｒ−０．２７４ｇ−０．３２２ｂ
ｑ＝０．２１１ｒ−０．５２２ｇ＋０．３１１ｂ
【００３６】
図２２にＹＩＱ変換の例として全色相をもったＲＧＢ画像をＹＩＱに変換した例を示す。図２３は撮影画像をＹＩＱに変換した例を示す図である。
いくつかの画像に対してＩの値を変化させながら領域抽出を試みた結果、Ｉ＝０．０５以上の閾値で比較的赤さび領域が抽出できることが判った。図２４、図２５に抽出例を示す。（ａ）は元画像、（ｂ）はＩを０〜最大値で正規化した画像、（ｃ）はＩが０．０５以上の領域を表す図である。なおＩの値は表示のために０〜最大値をＲＧＢの０〜２５５へ正規化して表示している。
赤みのやや薄い部分、白さびには対応できていないが、それ以外の目立つ赤さび領域（劣化度ＩＩＩ以上程度）についてはほぼ抽出できている。
【００３７】
図２７にサンプル画像より抜粋した劣化度部分（ＩＩ〜Ｖ）抽出（計９１画像）し、劣化領域のＹＩＱのＩ（平均）を横軸に、明度（平均）を縦軸にしたグラフを示す。グラフ上の直線は劣化度毎の値を直線近似したものである。劣化度ＩＩはＲＧＢ同様に比較的はっきりと分類できている。劣化度ＩＩＩとＩＶはやや劣化度ＩＶが劣化度ＩＩＩよりに存在している物もあるが、ある程度の領域分けは可能と考えられる。劣化度抽出に用いるパラメータ決定（主観分類）」ではこの結果を基に領域抽出パラメータを主観的に決定する。
前節で得られたサンプル画像（９１枚）の特徴量と劣化度見本Ａ（一般環境）との比較を行った。撮影条件の違いによる明度のばらつきをなくすことは、安定した劣化度抽出には欠かせない処理である。図２８に明度正規化の処理手順を示す。
１）基準となる鋼管Ａ内における画像正規化
ａ）それぞれの画像に対して双六角錘モデルを用いた色補正を行う。
ｂ）鋼管Ａの補正用基準画像の作成
・鋼管Ａ内全ての画像の同一座標にある画素の明度を取り出し、明度順に並び替えて、その中央に位置する画素の明度を代表値とする。
・この処理で作成された画像を鋼管Ａの補正基準画像とする。
ｃ）補正用基準画像もとに鋼管Ａの各画像の明度補正を行う。
・それぞれの画像の平均明度とｂの補正用基準画像の平均明度を求める。
・全ての画素に対して、（補正用基準画像の平均明度）／（処理対象画像の平均明度）の比率を掛けることで、鋼管Ａ内の全ての画像の明度を均一化する。
２）他の鋼管Ｂの画像正規化
ａ〜ｂの処理は１）と同じ
ｃ）鋼管Ａと鋼管Ｂの補正用基準画像の明度平均が同じになるように、鋼管Ｂの補正用基準画像の明度を補正する。補正方法は１）−ｃと同様の手法を用いる。
ｄ）ｃで得られた補正用基準画像Ｂ’を用いて、１）−ｃ同様に鋼管Ｂの各画像の明度補正を行う。
【００３８】
図２９に明度補正結果の一例を示す。
鋼管全体でみると、補正前の明度平均の差が鋼管Ａと鋼管Ｂでは０．９４であったものが、明度補正後は０．９６と改善されていることが判る。これは鋼管Ａと鋼管Ｂの明度平均の差が若干ながら縮まったことを意味する。
ただし、本手法では１鋼管内の全ての画像を対象とするため、一般的な状態である鋼管中心を撮影しているものや、壁に接近して劣化部位を詳細に撮影しているものなど、異なる方向を撮影した画像を同列に処理している。また、鋼管中心を撮影した画像の場合、開口部が見えているとその部分は非常に明るいが、開口部から離れると逆に暗くなるといった照明条件の異なる画像が混在している。壁の劣化部位に着目した画像では壁側に強く照明が当たった画像となるが、どの鋼管のどの方向に劣化部位があるかによって照明が当たる部分も変わってくる。図３０に補正対象画像のバリエーションを示す。
【００３９】
このような異なる照明条件の画像は類似した撮影状態毎に分類して補正することが望ましい。以下に分類するための案を示す。
１）開口部の検出
・画像中心位置に近く、映像が白飛びしている部分ＲＧＢ（２５５，２５５，２５５）の領域を検出し、その領域は処理対象外とする。
２）カメラ撮影方向の推定
・後述の平面展開で用いるオプティカルフローの手法を用いる。これにより開口部のあり／なしに関わらず鋼管中心位置を推定できる。
・大まかな画像全体の明度の分布状況を求め、明るい部分が極端に画像の端にあれば壁に接近して撮影していると推定できる。
劣化度毎の領域抽出にＹＩＱのＩと明度を用いるにあたって、どの劣化度がどのＩと明度に相当するかを決定する必要がある。
まずは図３１のようにＩと明度の分布図から主観的に抽出パラメータを決定した。それぞれ劣化度毎の四角枠で囲まれた領域を抽出パラメータとする。
【００４０】
図３２に上記分類パラメータをＮ＝９１の劣化度毎のデータ（Ｉ，明度）を適応し、どの程度一致するかを示す。全体的にばらついている劣化度ＩＶの一致率が低い。
図３３にサポートベクターマシンのイメージを示す図である。サポートベクターマシンとはニューラルネットワークを用いたパターン識別手法の一つであり、学習モデルを採用している。サポートベクターマシンとは例えばデータを二つの種類に分離するために、各データ点との距離が最大となる分離平面を求めるマージン最大化という考え方を用いるものである。図３３は赤と青の２つのデータ群を分離するために、マージン最大となる境界線（黒の太線）の例である。今回はフリーのツール”ｌｉｂｓｖｍ”を使用した。
ここでは図３４に示すように、サンプル画像から選択した９１枚の画像の劣化度と特徴量（ＹＩＱのＩと明度）を学習用パターンとして用い、再度この学習用データのＩと明度だけを与えて、得られる劣化度がどの程度一致しているかを確認した。
【００４１】
図３５に劣化度毎の一致度を示す。劣化度ＩＩとＩＶは高い一致率を示すが、劣化度ＩＩＩとＶは非常に低い値となっている。これはサポートベクターマシンがクラス（劣化度）毎に領域分けを行おうとするものの、学習データが必ずしもそれぞれの劣化度毎にうまくまとまっていないためである。
ＡｄａＢｏｏｓｔも学習モデルを用いるクラスタリングの一手法である。サポートベクターマシン同様、与えられた教師付きデータを用いて学習を行う。
ＡｄａＢｏｏｓｔはブースティング法と呼ばれる手法の最も基本的なもので、直接一つの判別ルール（判別器と呼ぶ）を決定するのではなく、単純な判別器を多数組み合わせることで全体として一つの判別ルールを構築するものである。与えられた教師付きデータを用いて学習を行い、その学習結果をふまえて逐次重みの調整を繰り返すことで（判別器の追加）複数の学習結果を求め、その結果を組み合わせて精度を向上させる。
【００４２】
ここでも前節と同じデータ（ＹＩＱのＩと明度、劣化度）を用いて学習を行い、再度同じデータ（ＹＩＱのＩと明度）を与えて得られた劣化度の一致率を確認した。図３６はＡｄａＢｏｏｓｔによる分類の一致度を示す図である。
結果は主観分類、サポートベクターマシンよりも良好である。サポートベクターマシンと比較してＡｄａＢｏｏｓｔは必ずしも１つのクラスが１つの領域にある必要はないという柔軟性によるものである。
図３７に３手法を比較した表を示す。３種の分類方式の比較結果としてはＡｄａＢｏｏｓｔが最も高い一致率を示している。
【００４３】
上記までで検討した領域抽出方法を用いて劣化度毎の領域抽出を行う。図３８にプロトタイプの構成を示す。
本プロトタイプでは前処理として、色補正と明度補正を行い、主観分類とＡｄａＢｏｏｓｔによる劣化部分の抽出と分類を行う部分を実装した。以下にその処理手順を示す。
劣化度毎領域抽出手順：
１）前処理として明度の正規化を行う
２）主観分類方法あるいはＡｄａｂｏｏｓｔを用いた劣化度別部位の抽出と分類を行う
また、オプションとしてエンボス処理による強調表示の処理も行うことが可能。
【００４４】
図３９、図４０に主観分類で決定したパラメータに基づく分類結果を示す。画像左の劣化度は人間が判断した結果、右の凡例の色が主観分類で決定されたパラメータで分類された画像中の劣化度に対応している。
図４１、図４２にＡｄａｂｏｏｓｔを用いてで学習したパラメータに基づく分類結果を示す。画像左の劣化度は人間が判断した結果、右の凡例の色（番号）がＡｄａＢｏｏｓｔで分類された画像中の劣化度に対応している。
図４３、図４４に「劣化度抽出に用いるパラメータ決定（サポートベクターマシン）」で学習したパラメータに基づく分類結果を示す。比較のためにプロトタイプ実装は行わなかったが、ツールを用いて劣化度分類したサポートベクターマシンの結果を示す。画像左の劣化度は人間が判断した結果、右の凡例の色（番号）がサポートベクターマシンで分類された画像中の劣化度に対応している。
【００４５】
「領域抽出・分類結果（主観分類）」の結果と「領域抽出・分類結果（ＡｄａＢｏｏｓｔ）」の結果について考察する。
例えば図３９と図４１の人間が劣化度ＩＶと判断した画像（画像番号Ｅ、Ｆ）をみると、両者とも劣化領域はほぼ抽出できている。同じく人間が劣化度ＩＶと判定した画像において、抽出された領域の劣化度分類に着目すると、主観分類による分類結果は劣化度Ｖ（赤く塗りつぶされた部分）と劣化度ＩＩＩ（黄色く塗りつぶされた部分）が多く、劣化度ＩＶ（オレンジで塗りつぶされた部分）はほとんど見られない。一方ＡｄａＢｏｏｓｔによる分類結果は主観分類で劣化度Ｖと判定された部分が劣化度ＩＶと判定され、人間の判断結果により近いものとなっている。しかしながら、人間が劣化度Ｖと判断した画像をみるとＡｄａＢｏｏｓｔでの分類結果には劣化度Ｖと判定された部分ほとんどみられず、その多くが劣化度ＩＶと判定されている。この原因のひとつとして、学習に用いたデータに劣化度Ｖのサンプルが少なかったこと（９１サンプル中６サンプルが該当）が考えられる。
一方、サポートベクターマシンは学習データによる検証と同様、劣化度ＩＩと劣化度ＩＶに結果が集中している。
【００４６】
図４５（ａ）〜（ｃ）に主観分類、ＡｄａＢｏｏｓｔ、サポートベクターマシンの画像毎の劣化度分類結果をグラフ化したものを示す。グラフの横軸が（人間が判断した劣化度）−（画像番号）、縦軸が画像の撮影領域（周辺の黒枠を除いた物）に対する各劣化度の面積率である。
一見したところ人間が判断した劣化度と画像処理による劣化度分類にはあまり相関は見られないように思われる。たとえばＡｄａＢｏｏｓｔの結果で見ると、劣化度ＩＩの画像Ｉと劣化度Ｖの画像Ｇはグラフの傾向は似ているが、Ｇの画像でＡｄａＢｏｏｓｔが劣化度ＩＶと判断した領域は比較的実際の劣化部分に集中しているのに対し、Ｉの画像では画像周辺のＣＣＤノイズを劣化部分と誤認識している。
「色補正（ローパスフィルター）」を施しても完全なＣＣＤノイズは除去できないため、抽出・分類処理後に散在しているような孤立領域を除去するような処理を施すことである程度の改善は期待できるが、小さなスポット状の本来の劣化部分を除去しないための考慮が必要がある。
【００４７】
鋼管内の領域抽出後、正確な劣化部分の面積を求める場合、「レンズ歪み補正」よりも平面への展開を図った方がより正確に結果を得られる。図４６に平面展開例を示す。ここでは鋼管内部の画像を中心位置と有効範囲を指定することで平面展開する。中心位置と有効範囲の指定はマウスを用いて入力できるように実装した。
本手法を動画像へ適応する場合、カメラの中心軸方向が一定でないために１コマずつ手作業で入力することは現実的ではなく、自動的に鋼管中心位置を検出する手法が必要となる。本発明では優先度の関係で割愛したが、図４７に鋼管中心部分の検出手法案を示す。ここでは画像処理で用いられるオプティカルフローの手法を用いる。
【００４８】
鋼管中心部分の検出案：
１）ある時刻（ｔ）の画像に対して、明るさやエッジの強さを基準として、特徴点となる部位を複数検出する（左画像の黄緑の円内）。
２）ある時刻後（Δｔ）の画像に対して、１）の特徴点毎の移動ベクトルを求める（ピンクの矢印）。
３）移動ベクトルを延長し（緑の矢印）、最も交差する部分が推定された鋼管中心部分となる。
【００４９】
鋼管内部の撮影は基本的にビデオ画像として収録されている、ここまでの領域抽出処理は静止画像を対象としてきたが、ビデオの連続した画像に適応し、結果表示するプログラムを作成した。図４８は、動画像再生プログラムの構成を示す図である。
ビデオ画像は一度連番のビットマップ形式に変換する。この変換には市販のツール等を用いた。変換された連番のビットマップをソース画像とし、前処理〜明度の均一化〜領域抽出の一連の処理結果をそれぞれのフォルダに再び連番のビットマップとして格納する。
表示プログラムでは、処理結果のフォルダを選択し（最大４フォルダ）フォルダ内の画像を順次再生することで、動画表示を行う。図４９に動画像再生例の一例を示す。
サンプル撮影画像を手がかりに前処理検討を行った結果、いくつかの前処理が有効であることが判った。特に照明ムラの補正はカメラ照明の不均一さによる白さび等の抽出精度低下を防ぐ意味で有用であると考えられる。
【００５０】
以上の結果、劣化部分抽出の予備検討では、従来のＲＧＢやＵＣＳの色空間に対してＹＩＱ色空間に着目することで撮影条件に対して比較的安定した赤さび抽出が行えることが判った。また異なる撮影条件下で撮影された画像の明度を統一することで、ＹＩＱのＩ値と明度の組み合わせで劣化部分抽出の可能性が得られた。
また、劣化度毎のＹＩＱのＩ値と明度のデータを採取し、これを主観分類により抽出パラメータを決定した手法とＡｄａＢｏｏｓｔによる学習アルゴリズムの２つで、サンプル画像に対してある程度の劣化度抽出・分類が可能となった。
【００５１】
図５０は鋼管展開画像に対する劣化度判定結果を示す図である。鋼管全体を平面展開した画像を作成し、これに対する劣化領域を抽出することで、実際の劣化部分の面積や鋼管内全体の劣化状況を把握するため、以下の検討を行った。
１）鋼管中心位置を開口部の輝度とオプティカルフローを用いたカメラ位置推定結果情報を元に推定し、これを用いてコマ毎の画像を展開した画像を作成する。即ち、オプティカルフローによる特徴点を抽出し、フローベクトルを用いた中心位置の推定を行い、輝度に着目した開口部を推定し、フローベクトルと輝度を用いて中心位置を推定して、図５０のような鋼管全体展開画像を作成して劣化領域を抽出する。
２）コマごとの展開画像をカメラの移動位置を元に張り合わせる。
【００５２】
図５１は異物領域抽出結果例を示す図であり、図５１（ａ）、（ｂ）とも左側が元画像、右側が領域抽出結果を表す図である。劣化処理対象外領域（営巣等の異物）を抽出するための手法の検討として、以下の検討を行った。
１）フーリエ変換を用いた周波数成分の抽出と傾向の検討
２）エッジ形状に着目した領域抽出と傾向の検討
３）テクスチャ特徴量を用いた領域抽出とプロトタイプによる試行
検討の結果、３）のテクスチャ特徴量を学習アルゴリズムとして用いて推定することで、比較的良好に劣化処理対象外領域を抽出することができた。
【００５３】
図５２（Ａ）は劣化度判定結果の比較結果を示す図、（Ｂ）は鋼管展開画像に対する劣化度判定結果を示す図である。図５２（Ａ）より、（ａ）は元画像、（ｂ）はＩ−明度による結果を示す図、（ｃ）はＩ−明度とエッジ情報による結果を示す図である。
【００５４】
図５３（ａ）は鋼管全体の凹凸推定結果（等高線表示）を示す図、図５３（ｂ）は鋼管全体の凹凸推定結果（３Ｄ表示）を示す図である。鋼管内劣化部位の凹凸を推定する手法の検討を行い、以下の手順で推定を行った。
１）同時複数の特徴点を追跡し、撮影位置の異なる画像間の特徴点の移動量（フローベクトル群）を計算する。
２）フローベクトル群から鋼管内のカメラ位置を推定する。
３）推定されたカメラ位置から再度特徴点の鋼管内の位置を推定することで特徴点の３次元座標を求める。
【００５５】
図５０から図５３までの検討の結果、鋼管全体の画像平面展開が可能となり、従来撮影された動画データでしか確認できなかった鋼管内全体の状況を一目で把握できるため、経年劣化等の比較が容易となることが想定される。また、劣化処理対象領域については、比較的良好な結果を得た。また、劣化度判定精度の向上では、テクスチャ解析情報を用いることで、色と明度情報を用いた劣化領域抽出の不得意な部分を補うことができた。更に、鋼管劣化度部位の凹凸推定については、限られた情報から、ある程度の推定は可能となったが、画像平面展開も含めて、これ以上の精度を求めるには撮影機器の改良を含めた付加情報が与えられることが好ましい。
【符号の説明】
【００５６】
４ＤＢ、５入力部、６出力部、７バス、８制御部、１０前処理手段、１１劣化部分予備抽出手段、１２劣化部分抽出分類手段、１４劣化領域検証評価手段、１５表示処理手段、１００鋼管内部腐食解析装置

【特許請求の範囲】
【請求項１】
鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置であって、
プログラムに従って順次処理を行う中央処理装置と、前記プログラム及びデータを格納する読出し専用メモリと、一次的にデータを記憶し、該記憶したデータを読み出して前記中央処理装置に供給する随時アクセスメモリと、を有する制御部は、
様々な条件下で得られた画像から撮影条件の相違点を除去する前処理手段と、
前記劣化部分を予備的に抽出する劣化部分予備抽出手段と、
前記前処理手段により前記撮影条件を統一し、且つ前記劣化部分予備抽出手段により得られた抽出結果に基づいて、前記画像に対して劣化度ごとの領域を抽出及び分類する劣化部分抽出分類手段と、
実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行う劣化領域検証評価手段と、
該劣化領域検証評価手段により検証評価された劣化領域を表示する表示処理手段と、
を備えたことを特徴とする鋼管内部腐食解析装置。
【請求項２】
前記前処理手段は、前記画像として内視鏡により撮影された動画像、及び該動画像の中から劣化部分を抜き出した静止画像を使用し、
前記画像の色ムラを軽減する色補正手段と、
前記画像の照明ムラを補正する照明ムラ補正手段と、
撮像画像を実際の画像に移動してレンズの歪みを補正するレンズ歪み補正手段と、
前記画像領域のエッジ部分の左上方向の画像を明るくし、右下方向を暗くすることにより該画像領域を立体的に浮き上がらせる強調表示手段と、
を備えたことを特徴とする請求項１に記載の鋼管内部腐食解析装置。
【請求項３】
前記色補正手段は、
前記画像の色ムラを軽減するために色相と彩度をぼかすローパスフィルタを使用した第１の色補正手段と、
前記画像の全体的な色ずれを双六角錘モデルを用いて補正する第２の色補正手段と、
を備えていることを特徴とする請求項２に記載の鋼管内部腐食解析装置。
【請求項４】
前記照明ムラ補正手段は、
前記画像をブロック分割し、各ブロックの明度が等しくなるように補正する第１の明度ムラ補正手段と、
前記画像を照明光と物体の反射率の積で表し、前記画像から前記照明光を分離することで反射率画像を補正画像として取得する第２の明度ムラ補正手段と、
を備えていることを特徴とする請求項２に記載の鋼管内部腐食解析装置。
【請求項５】
前記劣化部分抽出分類手段は、
各環境における劣化度見本に基づいて該劣化度見本と最も相関が強い劣化部分を抽出する環境劣化度見本抽出手段と、
前記動画の検査結果より画像を抜粋し、前記各環境における劣化度見本に基づいて該劣化度見本と最も相関が強い劣化部分を抽出する動画劣化度見本抽出手段と、
前記劣化度見本と前記検査結果より抜粋した動画とを比較する比較手段と、
前記明度を正規化する明度正規化手段と、
劣化度抽出に用いるパラメータを決定するパラメータ決定手段と、
を備えたことを特徴とする請求項１に記載の鋼管内部腐食解析装置。
【請求項６】
前記パラメータ決定手段は、
劣化度を分類できるような前記明度及び前記Ｉ値を主観的に決定する主観的分類手段と、サポートベクターマシンによる前記明度及び前記Ｉ値の劣化度ごとの領域分割を行うサポートベクターマシン分類手段と、
直接１つの判別ルールを決定するのではなく、単純な判別器を複数組み合わせることで全体として１つの判別ルールを構築するアダブースト分類手段と、
を備えていることを特徴とする請求項６に記載の鋼管内部腐食解析装置。
【請求項７】
鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置であって、
鋼管中心位置を該鋼管の開口部の輝度とオプティカルフローを用いたカメラ位置推定結果情報を元に推定し、該推定結果を用いてコマ毎の画像を展開した画像を作成する展開画像作成手段と、
前記コマ毎の展開画像をカメラの移動位置を元に張り合わせる画像張り合せ手段と、を備え、
前記展開画像作成手段により鋼管全体を平面展開した画像を作成し、作成した画像に対する劣化領域を抽出することで、実際の劣化部分の面積や前記鋼管内全体の劣化状況を把握することを特徴とする鋼管内部腐食解析装置。
【請求項８】
鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置であって、
同時に複数の特徴点を追跡し、撮影位置の異なる画像間の特徴点の移動量を計算する移動量計算手段と、
該移動量計算手段により計算された前記特徴点の移動量から鋼管内のカメラ位置を推定するカメラ位置推定手段と、
該カメラ位置推定手段により推定されたカメラ位置から再度、前記特徴点の前記鋼管内の位置を推定する特徴点位置推定手段と、を備え、
前記カメラ位置推定手段及び前記特徴点位置推定手段により推定された位置に基づいて前記特徴点の３次元座標を求めることを特徴とする鋼管内部腐食解析装置。
【請求項９】
前処理手段、劣化部分予備抽出手段、劣化部分抽出分類手段、劣化領域検証評価手段、及び表示処理手段を備え、鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置の腐食解析方法であって、
前記前処理手段が前記様々な条件下で得られた画像から撮影条件の相違点を除去するステップと、
前記劣化部分予備抽出手段が前記劣化部分を予備的に抽出するステップと、
前記劣化部分抽出分類手段が前記前処理手段により前記撮影条件を統一し、且つ前記劣化部分予備抽出手段により得られた方針に基づいて、前記画像に対して劣化度ごとの領域を抽出及び分類するステップと、
前記劣化領域検証評価手段が実際にプロトタイプを作成して劣化領域の抽出結果の検証と評価を行うステップと、
前記表示処理手段が前記劣化領域検証評価手段により検証評価された劣化領域を表示するステップと、
を実行することを特徴とする鋼管内部腐食解析装置の鋼管内部腐食解析方法。
【請求項１０】
展開画像作成手段、及び画像張り合せ手段を備え、鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析装置の鋼管内部腐食解析方法であって、
前記展開画像作成手段が、鋼管中心位置を該鋼管の開口部の輝度とオプティカルフローを用いたカメラ位置推定結果情報を元に推定し、該推定結果を用いてコマ毎の画像を展開した画像を作成するステップと、
前記画像張り合せ手段が、前記コマ毎の展開画像をカメラの移動位置を元に張り合わせるステップと、を実行することを特徴とする鋼管内部腐食解析装置の鋼管内部腐食解析方法であって、
前記展開画像作成手段により鋼管全体を平面展開した画像を作成し、作成した画像に対する劣化領域を抽出することで、実際の劣化部分の面積や前記鋼管内全体の劣化状況を把握することを特徴とする鋼管内部腐食解析装置の鋼管内部腐食解析方法。
【請求項１１】
移動量計算手段、カメラ位置推定手段、及び特徴点位置推定手段を備え、鋼管内視鏡調査で得られた画像を解析することにより、該鋼管内の劣化部分の抽出及び劣化評価を行う鋼管内部腐食解析方法であって、
前記移動量計算手段が、同時に複数の特徴点を追跡し、撮影位置の異なる画像間の特徴点の移動量を計算するステップと、
前記カメラ位置推定手段が、前記移動量計算手段により計算された前記特徴点の移動量から鋼管内のカメラ位置を推定するステップと、
前記特徴点位置推定手段が、前記カメラ位置推定手段により推定されたカメラ位置から再度、前記特徴点の前記鋼管内の位置を推定するステップと、を実行することを特徴とする鋼管内部腐食解析装置の鋼管内部腐食解析方法であって、
前記カメラ位置推定手段及び前記特徴点位置推定手段により推定された位置に基づいて前記特徴点の３次元座標を求めることを特徴とする鋼管内部腐食解析装置の鋼管内部腐食解析方法。

【図１】