説明

水中構造物点検システム及び画像処理装置

【課題】水中構造物の点検の作業効率を向上し、コストを抑制できる水中構造物点検システム及び画像処理装置を提供する。
【解決手段】造影された映像において船舶が移動することで生じる歪みを補正するため、当該海域で予め測定された音速と、映像に生じている歪みの大きさとに基づいて船舶の移動速度を推定し、当該推定した移動速度を用いて映像の歪みを補正し、当該補正された映像を出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、港湾施設等における水中構造物の点検を行うシステム及びそれに含まれる画像処理装置に関する。
【背景技術】
【0002】
港湾施設や、漁港施設は、常に厳しい自然条件に曝されているため、一般の建造物に比して劣化の速度が速い。また、構造の一部は水中にあり、外観から劣化を確認することが困難となっている。
【0003】
かかる水中構造物の点検には、潜水士が実際に水中に潜って、構造物の劣化等を目視にて調査する方法が採られている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−210512号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の水中構造物の点検方法では、水の透明度によっては作業効率が著しく低下する。また、このような人間の潜水を伴う調査には多大なコストがかかる。
【0006】
本発明は上記実情に鑑みて為されたもので、水中構造物の点検の作業効率を向上し、コストを抑制できる水中構造物点検システム及び画像処理装置を提供することを、その目的の一つとする。なお、ソナーを利用して水中構造物の映像を撮像し、この映像を用いて劣化を調査する方法がある。このための映像生成装置として、特許文献1に開示するようなものがある。
【課題を解決するための手段】
【0007】
上記従来例の問題点を解決するための本発明は、 水中の構造物を撮像した映像を生成する水中構造物点検システムであって、情報処理部と、前記構造物に沿って移動する船舶に搭載される情報記録部とを含み、前記情報記録部は、前記構造物に対して音響ビームを順次照射する複数の音響発生器を少なくとも一組備え、前記音響ビームの構造物からの反射波により構造物の映像を造影する撮像手段と、前記撮像手段の音響発生器が位置する水深での撮影対象物との距離を測定する距離測定手段と、前記構造物を撮影する水深にて、前記撮像手段を支持する艤装架台と、を備え、前記情報処理部は、前記撮像手段により造影された映像において前記船舶が移動することで生じる歪みを補正する補正手段であって、当該海域で予め測定して得た音速の情報と、前記映像に生じている歪みの大きさとに基づいて船舶の移動速度を推定し、当該推定した移動速度を用いて前記映像の歪みを補正する補正手段と、前記補正された映像を複数合成して合成映像を生成する手段と、前記補正された映像又は前記合成映像を出力する手段と、を備えたものである。
【発明の効果】
【0008】
本発明によると、水中構造物の映像が得られるので、点検の作業効率を向上できる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施の形態に係る水中構造物点検システムの構成例を表す概要図である。
【図2】本発明の実施の形態に係る水中構造物点検システムの艤装架台の例を表す概要図である。
【図3】本発明の実施の形態に係る水中構造物点検システムの艤装架台における伸縮ポールの例を表す説明図である。
【図4】本発明の実施の形態に係る水中構造物点検システムの情報記録部の構成例を表すブロック図である。
【図5】本発明の実施の形態に係る水中構造物点検システムが保持する情報の例を表す説明図である。
【図6】本発明の実施の形態に係る水中構造物点検システムの撮像装置の構成例を表す概要図である。
【図7】本発明の実施の形態に係る水中構造物点検システムの撮像装置の撮像範囲の例を表す概要図である。
【図8】本発明の実施の形態に係る水中構造物点検システムにより撮像される範囲の例を表す説明図である。
【図9】本発明の実施の形態に係る情報処理装置の構成例を表すブロック図である。
【図10】本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。
【図11】本発明の実施の形態に係る水中構造物点検システムで撮像される原映像の例を表す説明図である。
【図12】本発明の実施の形態に係る水中構造物点検システムにおいて画定される範囲の例を表す説明図である。
【図13】本発明の実施の形態に係る水中構造物点検システムが撮像する領域の例を表す説明図である。
【図14】本発明の実施の形態に係る情報処理装置による補正動作を表す説明図である。
【図15】本発明の実施の形態に係る情報処理装置が生成する合成像の例を表す説明図である。
【図16】本発明の実施の形態に係る情報処理装置による補正動作の例を表す説明図である。
【図17】本発明の実施の形態に係る情報処理装置が出力する画像の例を表す説明図である。
【発明を実施するための形態】
【0010】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る水中構造物点検システムは、図1に例示するように、船舶に艤装される艤装架台1及び情報記録部2と、船舶に艤装されても、されなくてもよい情報処理装置3とを備える。
【0011】
艤装架台1は、図2に例示するように、支持部10と、伸縮ポール11と、圧縮空気導入部12と、伸縮制御部13とを含んで構成される。
【0012】
支持部10は、船体を幅方向に横断し、船体側面の両縁に固定されて装着される。そしてこの支持部10は、船体側面から外側へ張り出した位置で伸縮ポール11を支持する。支持部10は、伸縮ポール11の軸方向が、鉛直になるようにしつつ、その軸方向を回転軸として伸縮ポール11が回転可能となるように支持している。また、支持部10は船体の幅方向の長さに応じて伸縮可能となっており、種々の船舶に取り付け可能としている。
【0013】
伸縮ポール11は、図3に例示するように、径を異ならせた複数の筒状体110a,110b,…を入れ子にし、軸方向に伸縮可能としたものである。ここで筒状体110nの内面を、次に径が小さい筒状体110mの先端に連結されたスリーブ113mの外面が摺り動き、筒状体110の間で空気などが流通しないように、互いに摺り合って動く、スリーブ113mの外径と筒状体110n内径とが定められる。また各筒状体110の先端部には、シーリングのために筒状体110の外周を取り巻くリングRが設けられてもよい。
【0014】
さらに、各筒状体110の内面には、軸方向に伸びる凸部111が設けられ、他の筒状体110と連結されたスリーブ113の外面には、この凸部に嵌まり合う凹部112が少なくとも1カ所形成される。この凸部111と凹部112とは、各筒状体110の相対的な回転を抑制する手段として働く。この凸部111の高さは、筒状体110の肉厚(凹部、凸部以外での外径と内径との差)よりも薄くつくられてもよい。なお図3では、スリーブ113mは、比較的小さい径の円筒形の本体両端に、これより径の大きい円筒形をなし、上記の凹部112を形成した頭部をそれぞれ設けた、ダンベル状の形状を有する。各頭部の外径は、一方は筒状体110mの内径に略一致し、他方は筒状体110nの内径に略一致する。また本体は中空であり、頭部はこの本体の中空部に連通する孔が設けられる。また図3に示したスリーブ113では、凹部112は、十字方向に4カ所設けられている。筒状体110nと筒状体110mとの端部には、スリーブ113頭部外径より小さく、スリーブ113本体外径より大きい孔を有したリング部材117が取り付けられる。このリング部材117を介してスリーブ113を各筒状体110に挿入し、リング部材117を筒状体110の外部に固定することで、複数の筒状体110がスリーブ113を介して連結され、伸縮ポール11が形成される。図3ではリング部材117は、連結する二つの筒状体110のうち大きい筒状体(図3では筒状体110a)の外周と、リング部材117の外周とにそれぞれ設けたフランジをボルト等で締結することで固定されているが、本実施の形態は、これに限られるものではない。
【0015】
また、この伸縮ポール11を構成する筒状体110のうち、最小の径の筒状体110xは、その下方端(以下、先端側と呼ぶ)がキャップによって閉じられている。さらにこの先端側にはドラム114が固定され、このドラム114にワイヤ115が固定されている。ワイヤ115の他端はウインチ116に巻き取られている。
【0016】
圧縮空気導入部12は、伸縮制御部13から入力される指示に従い、伸縮ポール11の一端側(先端側に対する側)から伸縮ポール11内部の空間に圧縮空気を導入する。なお、本実施の形態では、さらに伸縮ポール11内部の空間から圧縮空気を抜き取る手段を備える。この手段としては、例えば伸縮ポール11内部の空間に連通するバルブとすることができ、圧縮空気を導入する際はこのバルブを閉じておき、圧縮空気を抜き取るときにバルブを開くようにする。
【0017】
伸縮制御部13は、作業者から伸縮ポール11を伸張させるべき指示を受けて圧縮空気導入部12を作動させ、伸縮ポール11内の空間に圧縮空気を導入するとともに、伸縮ポール11を軸方向に伸張させる。また、この伸縮制御部13は、作業者から伸縮ポール11を収縮させるべき指示を受けると、圧縮空気導入部12の動作を停止させ、バルブを開くなどして伸縮ポール11内の空間から空気を抜き取る。そして作業者は伸縮ポール11を収縮させるために、ウインチ116によりワイヤ115を巻き取って伸縮ポール11を収縮させる。なお、ウインチ116が電動など、動力により巻き取るものである場合は、伸縮制御部13が作業者から伸縮ポール11を収縮させるべき指示を受けている間、このウインチ116を動作させてワイヤ115を巻き取り、伸縮ポール11を収縮させてもよい。
【0018】
さらに伸縮制御部13は、伸縮ポール11を伸張ないし収縮させずに、伸縮ポール11の長さを維持する間も、圧縮空気導入部12を作動させ、伸縮ポール11内の空間に圧縮空気を導入している。このとき圧縮空気の導入量を、伸縮ポール11を伸張させる際の導入量より少なくし、浮力による伸縮ポール11の先端部の浮き上がり力と伸縮ポール11内の圧縮空気による伸縮ポール11先端部を押し下げる力とが釣り合うように制御している。
【0019】
また情報記録部2は、図4に例示するように、GPS装置21、モーションセンサ22、方位センサ23、撮像装置24、音響測深機25、インタフェースボックス31、変換器32、分配器33、第1記録装置34及び第2記録装置35を含んで構成される。
【0020】
本実施の形態では、伸縮ポール11の最も先端側にある筒状体110xに撮像装置24が取り付けられる。これにより、伸縮ポール11内に導入した圧縮空気が隣接する筒状体110の間から漏洩しても、その漏洩によって生じた気泡が撮像装置24の撮像に影響しないようにしている。またGPS装置21は、伸縮ポール11の上端側(水面から出ている位置)に取り付けられている。
【0021】
GPS装置21は、GPSアンテナ21aと、GPS測位装置21bとを含む。本実施の形態では、少なくともGPSアンテナ21aが伸縮ポール11の上端側に取り付けられる。GPSアンテナ21aは、GPS(Global Positioning System)衛星からの信号を受信し、GPS測位装置21bに出力する。GPS測位装置21bは、この信号に基づいて、自己の位置を表す情報(測位情報)と、時刻情報とを生成して出力する。このようなGPS装置21の動作は、広く知られているので、ここでの詳細な説明は省略する。
【0022】
モーションセンサ22は、例えば3軸の加速度センサを備えた動揺計であり、伸縮ポール11の先端部側に取り付けられて、この位置での伸縮ポール11の動揺(予め定めたX,Y,Z軸周りの動揺)を測定し、当該測定の結果を動揺情報として出力する。すなわち、伸縮ポール11は、波の影響や船体の移動に伴う水流の影響により動揺するが、このモーションセンサ22は、伸縮ポール11の動揺を測定するものである。
【0023】
方位センサ23は、撮像装置24の撮像方向(後述する)の方位を表す情報を出力する。この方位センサ23は、例えばワンチップ電子コンパスなど、地磁気を測定して方位を表す情報を出力するものとすればよい。撮像装置24は、水中で音波を放射し、当該音波の反射波を画像化し、当該画像化により得た映像の情報(フレーム)を出力する。この撮像装置24については、後に詳しく説明する。
【0024】
音響測深機25は、伸縮ポール11の撮像装置24に隣接させた位置に設置される。これにより音響測深機25は、撮像装置24の水深における撮影対象物との距離を測定することとなる。音響測深機25は、超音波発生器と受信器とを備え、発生器により超音波パルスを放射し、その超音波パルスを直接受信器で受けて、その伝達時間を測ることで音響測深機25のある水深での撮影対象物との距離を測定する。そして当該測定の結果をデジタル情報に変換した距離の情報を第1記録装置34に出力する。
【0025】
インタフェースボックス31は、モーションセンサ22が出力する動揺情報の入力を受け入れて、当該受け入れた動揺情報を第1記録装置34に出力する。変換器32は、方位センサ23が出力する信号を予め定めた形式の方位情報に変換して第1記録装置34に出力する。分配器33は、GPS装置21が出力する測位情報及び時刻情報を第1記録装置34と、第2記録装置35とに分配して出力する
【0026】
第1記録装置34は、インタフェースボックス31を介してモーションセンサ22が出力する動揺情報を受け入れ、また、分配器33を介してGPS装置21が出力する測位情報と時刻情報とを受け入れ、さらに変換器32を介して、方位センサ23が出力する信号に基づいて生成された方位情報を受け入れる。そして第1記録装置34は、これら受け入れた動揺情報、測位情報、時刻情報、並びに方位情報を関連づけて半導体メモリ素子や、ハードディスクなどの記憶デバイスに記録する。さらにこの第1記録装置34は、音響測深機25が出力する撮影対象物との距離の情報を記録する。
【0027】
第2記録装置35は、分配器33が出力する測位情報と、時刻情報と、撮像装置24が出力する映像情報とを受け入れる。そしてこの第2記録装置35は、これら測位情報と、時刻情報と映像情報とを関連づけて、半導体メモリ素子や、ハードディスクなどの記憶デバイスに記録する。また、この第2記録装置35には、対象物の撮像を行う場所(海域)において予め測定された水中での音速の情報を格納しておく。
【0028】
本実施の形態では、GPSによる時刻情報、動揺情報、測位情報、方位情報、撮像対象との距離の情報、並びに映像情報が、時間経過に従って逐次的に出力される。そして本実施の形態の第1記録装置34は、これらの各情報の入力を受けると、当該入力された時点での時刻の情報(第1記録装置34に内蔵されている時計(不図示)によって計時されている時刻の情報、以下、第1記録装置による時刻情報と呼ぶ)に関連づけて、図5(a)に示すように、これらの情報を記録する。なお、GPSからは時刻情報とともに測位情報が出力されるので、図5(a)では、GPSからの時刻情報と測位情報とは共通する時刻情報に関連づけて記録されることとなる。
【0029】
また第2記録装置35には、概念的には、図5(b)に示すように、出力される映像情報に対し、当該映像情報(フレーム)が入力されたときに得られたGPSによる時刻情報と、当該入力された時点での時刻の情報(第2記録装置35に内蔵されている時計(不図示)によって計時されている時刻の情報)を関連づけて保持している。これにより第1記録装置34と第2記録装置35とに記録された各情報は、第1記録装置による時刻情報とGPSによる時刻情報とを介して同期させ(共通の時刻情報に関連づけられている情報同士を取り出すことができ)、同時期に受け入れた各情報を得ることができる状態となる。例えば測位情報と映像情報とは、第1記録装置34と、第2記録装置35とにそれぞれ記録されたGPSによる時刻情報を比較することで同期させることができ、動揺情報や方位情報、撮像対象との距離の情報等は、第1記録装置34に記録されたGPSによる時刻情報と、当該GPSによる時刻情報を記録したときの第1記録装置による時刻の情報との差を演算しておき、動揺情報や方位情報、撮像対象との距離の情報等に関連づけられた第1記録装置による時刻の情報を、当該演算した差を用いてGPSによる時刻情報と等価な値に変換したうえで、第2記録装置35に記録されたGPSによる時刻情報と比較して映像情報に同期させることができる。
【0030】
ここで撮像装置24について詳しく述べる。撮像装置24は、いわゆるソナーであり、図6に示すように、複数の音響発生器41と、音響受波器42と、造影部43とを含んで構成される。ここで音響発生器41は、予め定めた配列方向(θy軸方向)にN個ずつを1組としてK組配列(N,Kはそれぞれ2以上の整数)されている。
【0031】
各音響発生器41はその配列方向に対して垂直な方向に広がるよう指向されたパルス音を発する。具体的に図7に示すように、ソナーの音波放射方向に伸びた箱状の領域を、音響発生器41の配列方向にN×K個(音響発生器41の数)だけ分割して得られるN×K個の略板状の領域Rを考えるとする。このとき、各領域Rに対して、各音響発生器41からのパルス音波が音響ビームとしてそれぞれ放射されることとなる。
【0032】
音響受波器42は、音響発生器41が放射した音響ビームの反射波を受信する。そしてこの音響受波器42は、音響発生器41が音響ビームを放射してからその反射波を受けるまでの時間により、対象物までの距離の情報を得る。さらに音響受波器42は、反射波の強度(または振幅)の情報を得る。そして音響受波器42は、音響発生器41ごとの、放射した音波の反射波により測定される対象物までの距離と反射波の強度の情報とを出力する。
【0033】
造影部43は、図8に示すように、音響発生器41の配列方向を一つの軸(θy軸)とし、対象物までの距離をもう一つの軸(r軸)とした2次元の映像を生成する。すなわち、音波を放射した音響発生器41に対応するr軸に沿ったライン上で、反射波の受信時刻に応じた位置の画素を、受信した反射波の強度に応じた輝度の画素値に設定して、映像情報(フレーム)を生成し、この映像情報を出力する。
【0034】
本実施の形態では、複数の音響発生器41を配列しているが、隣接する音響発生器41が発生する音響ビームとの干渉により映像が乱れることを避けるために、次のような制御を行っている。すなわち本実施の形態では、図7に示したように、複数の音響発生器41の、連続するN個ずつを組とする。また1からNまでの数値の順列をP1,P2,…PN(例えばP1=1,P2=5,P3=2…)とする。そして各組P(i mod N)番目の音響発生器41が一斉に音響ビームを発し、次いで間隔Δtだけ後にiを1だけインクリメントするといった制御を繰り返し行う。この結果、各組でP1番目からPN番目までの音響発生器41がこの順に音波を放射し、またP1番目の音響発生器41が音波を放射し…と繰り返し音波が放射される。この制御を船舶を対象物に沿って移動させつつ行うことで、対象物を走査した映像が得られる。なお、音響発生器41の1つに注目すると、この注目した音響発生器41が、繰り返して音響ビームを放射する周期はT=Δt・Nとなる。また以下の説明では一つの音響発生器41に注目したとき、当該注目した音響発生器41の音波により走査される被写体上のラインをLとする。
【0035】
具体的に本実施の形態のある例では、N=8,K=12として、G組目(G=1,2,…K)の音響発生器41がそれぞれ一つずつ「1,5,2,6,3,7,4,8」番目の順に間隔Δtずつずれて音響ビームを発する。
【0036】
次に、情報処理装置3の動作について、面状の水中構造物、例えば岸壁を被写体とした画像を撮像した場合を例として説明する。
【0037】
本実施の形態の情報処理装置3は、図9に例示するように、制御部51と記憶部52と出力部53とを含んで構成される。ここで制御部51は、CPU(Central Processing Unit)であり、記憶部52に格納されたプログラムに従って動作するプログラム制御デバイスである。本実施の形態では制御部51は、情報記録部2の第1記録装置34に収納されている方位、動揺、測位、撮影対象物までの距離の情報と第2記録装置35とに格納されている画像情報を処理し、その処理結果である画像の情報(処理画像情報)を出力する。具体的に本実施の形態では、この制御部51は、複数の音響発生器41が音波を逐次的に放射することによって生じる鋸歯状の歪みや、船舶の動揺によって生じる歪みを補正する。この制御部51の詳しい処理の内容は後に述べる。
【0038】
記憶部52は、メモリデバイスやハードディスクなどのディスクデバイスを含む。この記憶部52は、制御部51によって実行されるプログラムを保持する。また、この記憶部52は、制御部51のワークメモリとしても動作する。
【0039】
出力部53は、制御部51から入力される指示に従って処理された画像情報を出力する。この出力部53は、例えばディスプレイやプリンタ、あるいは他のコンピュータシステムに対して画像を出力するネットワークインタフェース等の通信デバイスであってもよい。
【0040】
ここで制御部51の処理の内容について説明する。この制御部51は、機能的には図10に示すように、読出部61と、領域画定部62と、原映像補正部63と、合成部64と、移動歪補正部65とを含む。
【0041】
読出部61は、情報記録部2の第1記録装置34及び第2記録装置35に記録された各情報を読み出して領域画定部62に出力する。この読出部61が第2記録装置35から読み出す映像情報は、撮像装置24が逐次的に出力する原映像である。ここでは、この原映像をそれぞれフレームと呼んでいる。一つのフレームには、撮像装置24に含まれる複数の音響発生器41のうち、各組の一つずつの音響発生器41が放射する音響ビームの反射波により造影された映像が含まれる。従ってこのフレームには、例えば図11(a)に例示する岸壁の範囲のうち、図11(b)に示すような一部を撮像した映像が含まれる。
【0042】
領域画定部62は、第2記録装置35が記録している映像情報(フレーム)の一つ(i番目のフレームFiとする)を読出部61を介して得て、フレームFiにおいて被写体の撮像された範囲を、例えば画素間の輝度差を利用する輪郭検出処理などによって検出する。そしてフレームFi内の、この被写体の撮像された範囲のうちに、合成のための部分領域を画定する。ここで部分領域は、例えば被写体の撮像された範囲における撮像装置24の移動方向の幅中央部(図12(a)の範囲A1)、移動方向手前側端部(図12(b)の範囲A2)、または移動方向奥側端部(図12(c)の範囲A3)等予め定めた範囲のいずれか、利用者が予め指示した範囲とすればよい。
【0043】
領域画定部62は、画定した部分領域を表す情報(座標情報)を、その元となったフレームを特定する情報(例えば番号i)に関連づけて記憶部52に蓄積して記憶する。そして領域画定部62は、iを「1」ずつインクリメントしながら、合成のための部分領域を表す情報を更新・記憶していく。
【0044】
原映像補正部63は、記憶部52に格納されたフレームを順次処理の対象として取り出して、映像の輝度の分散を演算し、輝度の分散が均一となるよう、輝度補正を行う。そして原映像補正部63は、この補正後のフレームを、元のフレームに上書きして記憶部52に格納する。
【0045】
また本実施の形態では、図13に例示するように、被写体に対して音響ビームが斜めに当たるよう撮像装置24を配している。そのため撮像装置24から被写体までの最短距離dが一定であるとしても、船舶の進行方向手前側の映像部分と、進行方向奥側の映像部分とでは、異なる距離r1,r2として撮像されてしまう。なお以下の説明では、被写体の水深方向をY軸、被写体の幅方向をX軸とし、被写体の面に垂直な方向の軸をZ軸とする。この場合、図14に示すように、音響発生器41の位置をS(x,y,d)、この音響発生器41が放射した音響ビーム(の中心)が被写体に当たる点をP(x+dx,y−dy,0)とし、さらにSから被写体へおろした垂線の足をS′とし、PとS′との間の距離をRwとすると、SとPとの間の距離R0を用いて、
Rw=√(R02−d2
と書くことができる。
【0046】
また、点Pと点S′とのX軸方向の距離dxは、
dx=√(Rw2−dy2
となる。なおdyは、点Sにある音響発生器41の音響ビームの放射方向を表す角度をθとして、
dy=R0・sinθ
と表すことができる。本実施の形態の原映像補正部63は、処理の対象となったフレームに関連づけて第2記録装置35が保持している測位情報を読み出し、当該読み出した測位情報と同じ測位情報に関連づけて第1記録装置34に記録されている方位情報を読み出す。そして、この方位情報と既知の対象構造物の測位情報とに基づいて、角度θを定める。
【0047】
また、原映像補正部63は、当該読み出した測位情報と同じ測位情報に関連づけて第1記録装置34に記録されている動揺情報を読み出し、この動揺情報から処理の対象となったフレームが撮像された時点での撮像装置24からの音響ビームの放射方向の船舶進行方向(X軸方向)周りの回転角ωxと、鉛直方向(Y軸方向)周りの回転角ωyとを得る。そして、処理対象のフレームの画角を画定する情報を演算する。
【0048】
原映像補正部63は、処理対象のフレームのうち、被写体までの平均距離が進行方向手前側の映像部分と、進行方向奥側の映像部分とのいずれにおいても距離dであるとして、フレームの画角を、正対したときの画角となるよう幾何補正を行う。これにより記憶部52に保持されたフレームは、被写体に正対したときの映像となるよう補正される。ここで幾何補正については広く知られた処理を用いられるので、ここでの詳細な説明を省略する。なお、ここでは岸壁、水底や船体の一部など被写体が、少なくとも局所的には略平面と見なし得て、また撮像装置24を搭載した船舶等が被写体の面に沿って移動しているとして、被写体までの距離dを音響測深機25より得られる距離情報を用いた補正を行っているものである。
【0049】
また、原映像補正部63は、幾何補正したフレームを特定する情報に関連づけて記憶部52に格納されている部分領域を表す情報を、映像に対する幾何補正に合わせて補正しておく。
【0050】
合成部64は、記憶部52に保持されたフレームを順次注目フレームとして選択しつつ、注目フレームと、注目フレーム以外のフレームとの映像の合成処理を行って合成音響映像を生成する。
【0051】
本実施の形態の一例によれば、この合成部64は、注目フレームをフレームFiとして、それまでに合成した合成音響映像G(最初のフレームである場合は当該フレームの映像をそのまま合成音響映像Gとする)に含まれる過去に入力されたフレームFi-jと、注目フレームFiに続けて記憶されているフレームFi+k(j,k=1,2…)とを指定された数だけ選択する。そして注目フレームFiに関連づけられた部分領域に含まれる映像部分と同じ映像部分を、選択したフレームから検索する。この検出は、映像部分の相関演算を用いて(例えば画素値の差の絶対値を総和し、それが最小となる範囲を抽出するなどして)実現できる。
【0052】
例えば、3つの映像部分を合成する場合は、Fi-1(それまでに合成された合成音響映像Gに含まれる)、注目フレームFi、及び、注目フレームの次に記憶されているフレームFi+1から共通の映像部分を検索して合成し、合成音響映像Gを更新してもよいし、Fi,Fi+1,Fi+2から共通の映像部分を検索して合成し、合成音響映像Gを更新してもよい。生成・更新された合成音響映像Gは、記憶部52に格納しておく。
【0053】
このように合成が行われた後の合成音響映像Gは、次に述べるようなものとなる。すなわち、既に説明したように、本実施の形態では、各組の音響発生器41の一つずつが順次音響ビームを放射する制御を行うため、Pn番目の音響発生器41が音響ビームを放射してからPn+1番目の音響発生器41が音響ビームを放射するまでの間(時間Δtの間)に船舶が進行してしまう。このため、船舶の進行方向に音響発生器41が音響ビームを放射している場合、同じ組にある各音響発生器41が放射する音響ビームの反射波により本来直線状に造影されるはずの被写体の合成音響映像Gが斜めに歪んで造影されることとなる。各組で斜めに歪んだ映像が得られるので、組ごとの繰り返しにより鋸歯状の映像が得られる。つまり、合成音響映像Gは、図15に例示するようにX軸方向(船舶移動方向)の端部が鋸歯状に歪んで造影された映像となる。
【0054】
そこで移動歪補正部65は、この鋸歯状の歪みを補正する処理を行う。具体的に移動歪補正部65は、読出部61を介して第2記録装置35に格納されている音速の情報を、音響ビームの伝播速度νとして読み出す。またこの移動歪補正部65は、合成音響映像Gを記憶部52から読み出す。そしてこの合成音響映像Gに生じている鋸歯状歪みの先端から根元までの最大ピクセル値を調べる。そして当該ピクセル数をλとする。このとき、船舶と被写体との相対速度をvとすると、
λ/((ν−v)・N)=Δt
であり、移動歪補正部65は、これをvについて解いた
v=ν−λ/(Δt・N)
を演算する。移動歪補正部65が演算したこのvが鋸歯状部の出っ張りを打ち消す相対速度となる。
【0055】
移動歪補正部65は、ある音響発生器41が音響ビームを放射する間隔をTとして、各組でi番目の音響発生器41が撮像する映像に対応するX軸に沿ったライン上で、合成音響映像Gの画素をv×T×(i/N)だけ船舶(撮像装置24)の移動方向と反対の方向へ移動する(図16)。具体的には、合成音響映像Gに生じた周期的な鋸歯状の歪みのうち、X軸上最も船舶の移動方向にシフトしているX軸に沿った合成音響映像G上の画素群をv×T×(N/N)=v×Tだけ移動させる。以下、当該移動後にさらにX軸上最も船舶の移動方向にシフトしているY軸に沿った合成音響映像G上の画素群をv×T×(i/N)(ここでi=N−1)だけ移動させる、という処理をiを「1」ずつデクリメントしつつi=1となるまで繰り返し行う。これにより、鋸歯状の歪みが補正された合成音響映像Gが得られることとなる。出力部53は、移動歪補正部65による補正後の合成音響映像Gを出力する。
【0056】
この出力部53は、GPS装置21が出力する測位情報を利用して次のような処理を行ってもよい。すなわちこの出力部53は、映像情報の記録開始時点の測位情報と映像情報の記録終了時点の測位情報とを得て合成音響映像GのX軸方向の幅が予め定めた縮尺となるよう、合成音響映像Gを拡大縮小補正してもよい。
【0057】
出力部53は、合成音響映像GのX軸の値と、GPS装置21が出力する測位情報とを関連づけて表示する。さらに出力部53は、別途用意された水上部の映像を、合成音響映像Gに位置合わせして合成して表示してもよい。具体的に出力部53は、ケーソンごとに予め設定されているケーソン番号と各ケーソン番号に対応する映像上の座標情報とを関連づけた地上部映像、及び、ケーソン番号と各ケーソン番号に対応するケーソンの測位情報(各ケーソンの端部での測位情報)とを関連づけたケーソン位置情報との入力を受け入れる。ここでケーソンは、水中構造物の建造に用いられる矩形状の部材であり、ここではその端部が水深方向に伸びるように配されるものとする。
【0058】
出力部53は、合成音響映像GのX軸の値に関連する測位情報を参照し、各ケーソン番号に対応するケーソンの両端部の測位情報に対応する合成音響映像GのX軸の値のペアを得る。そして出力部53は、各ケーソン番号に対応するケーソンの水上部の映像が、上記の方法で得たペアとなったX軸の値の間に合成できるよう、当該水上部の映像を拡大縮小処理し、水面より上の位置に合成する。なお、拡大縮小処理と合成とはケーソン番号に対応するケーソンの映像ごとに行ってもよいし、画像全体で行ってもよい。この処理により、出力部53が出力する映像は、図17(a)に示すようなものとなる。
【0059】
さらに、この出力部53は、設計図面を合成音響映像Gに合成して(この場合は設計図面上の線を映像に合成し、線のない部分は合成音響映像Gが残存するように合成する)もよい。この場合も出力部53は、ケーソン番号と各ケーソン番号に対応するケーソンの測位情報(各ケーソンの端部の測位情報)とを関連づけたケーソン位置情報を利用し、合成音響映像GのX軸の値に関連する測位情報を参照し、各ケーソン番号に対応するケーソンの両端部の測位情報に対応する合成音響映像GのX軸の値のペアを得る。そして設計図面上のケーソン番号に対応する範囲(各ケーソンに対応する設計図面の一部)の両端が、上記の方法で得たペアとなったX軸の値に一致するよう設計図面を拡大縮小処理して合成する。この場合も拡大縮小処理と合成とはケーソン番号に対応する設計図面の部分ごとに行ってもよいし、設計図面全体で行ってもよい。この処理により、出力部53が出力する映像は、図17(b)に示すようなものとなる。
【0060】
[動作]
本実施の形態のシステムを用いた水中構造物の撮像方法について次に述べる。作業者は伸縮ポール11の長さを調整して、撮像装置24の位置を水深Y1に設定し、船舶を劣化検査の対象となる水中構造物に沿って移動させつつ映像の撮像を行う。つまり艤装架台1により、水中構造物を撮像する当該深度(水深)Y1にて、撮像装置24が支持される。そしてこの当該深度(水深)Y1にて、撮像装置24が撮像した映像が情報記録部2に記録され、この記録された映像から情報処理装置3が合成音響映像G1を生成する。
【0061】
また、作業者は伸縮ポール11の長さを変更して撮像装置24の位置を水深Y2に設定し、船舶を劣化検査の対象となる水中構造物に沿って移動させつつ映像の撮像を行う。これにより当該深度Y2にて撮像した映像が情報記録部2に記録され、この記録された映像から情報処理装置3が合成音響映像G2を生成する。
【0062】
以下、同様にして、撮像装置24の水深をY3,Y4…と変更させつつ撮像を行って対応する合成音響映像G3,G4…を得る。
【0063】
この例の場合、水深Yiと、Yi+1とで撮像される各映像にはそれぞれ重複部分が存在するように各水深を定める。そして情報処理装置3は、当該重複部分での相関を利用して各合成音響映像G1,G2…を合成する。
【0064】
また、ここでは船舶をX軸の正の方向に沿って移動させつつ撮像を行う例について述べたが、撮像装置24を同じ水深に置いたときの映像を、船舶をX軸方向に沿って正の方向に移動させているときと、X軸負の方向に移動させているときとの双方で撮像し、それぞれの映像を合成した合成音響映像Gをそれぞれ得てもよい。
【0065】
これにより作業者は、合成音響映像を参照しつつ、被写体となった水中構造物に生じたひび割れなどを検討できる。
【符号の説明】
【0066】
1 艤装架台、2 情報記録部、3 情報処理装置、10 支持部、11 伸縮ポール、12 圧縮空気導入部、13 伸縮制御部、21 GPS装置、22 モーションセンサ、23 方位センサ、24 撮像装置、25 音響測深機、31 インタフェースボックス、32 変換器、33 分配器、34 第1記録装置、35 第2記録装置、41 音響発生器、42 音響受波器、43 造影部、51 制御部、52 記憶部、53 出力部、61 読出部、62 領域画定部、63 原映像補正部、64 合成部、65 移動歪補正部、110 筒状体、111 凸部、112 凹部、113 スリーブ、114 ドラム、115 ワイヤ、116 ウインチ、117 リング部材。

【特許請求の範囲】
【請求項1】
水中の構造物を撮像した映像を生成する水中構造物点検システムであって、
情報処理部と、前記構造物に沿って移動する船舶に搭載される情報記録部とを含み、
前記情報記録部は、
前記構造物に対して音響ビームを順次照射する複数の音響発生器を少なくとも一組備え、前記音響ビームの構造物からの反射波により構造物の映像を造影する撮像手段と、
前記撮像手段の音響発生器が位置する水深での撮影対象物との距離を測定する距離測定手段と、
前記構造物を撮影する水深にて、前記撮像手段を支持する艤装架台と、
を備え、
前記情報処理部は、
前記撮像手段により造影された映像において前記船舶が移動することで生じる歪みを補正する補正手段であって、当該海域で予め測定して得た音速の情報と、前記映像に生じている歪みの大きさとに基づいて船舶の移動速度を推定し、当該推定した移動速度を用いて前記映像の歪みを補正する補正手段と、
前記補正された映像を複数合成して合成映像を生成する手段と、
前記補正された映像又は前記合成映像を出力する手段と、
を備えてなることを特徴とする水中構造物点検システム。
【請求項2】
水中の構造物を撮像した映像を生成して記録する情報記録部であって、前記構造物に対して音響ビームを順次照射する複数の音響発生器を少なくとも一組備え、前記音響ビームの構造物からの反射波により構造物の映像を造影する撮像手段と、前記撮像手段の音響発生器が位置する水深での撮影対象物との距離を測定する手段と、を備えた情報記録部に接続され、
前記情報記録部の撮像手段により造影された映像において前記船舶が移動することで生じる歪みを補正する補正手段であって、前記撮影対象物との距離を測定する手段で測定した距離と、前記映像に生じている歪みの大きさとに基づいて船舶の移動速度を推定し、当該推定した移動速度を用いて前記映像の歪みを補正する補正手段と、
前記補正された映像を複数合成して合成映像を生成する手段と、
前記補正された映像又は前記合成映像を出力する出力手段と、
を備えていることを特徴とする画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記出力手段は、予め用意された水上部の映像または設計図面の画像を、前記補正された映像の縮尺に合わせて拡大縮小処理し、当該拡大縮小処理した水上部の映像または設計図面の画像を、前記補正された映像に合成して出力することを特徴とする画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2012−18147(P2012−18147A)
【公開日】平成24年1月26日(2012.1.26)
【国際特許分類】
【出願番号】特願2010−157345(P2010−157345)
【出願日】平成22年7月9日(2010.7.9)
【出願人】(301031392)独立行政法人土木研究所 (107)
【出願人】(390023249)国際航業株式会社 (55)
【出願人】(504137912)国立大学法人 東京大学 (1,942)
【Fターム(参考)】