説明

撮影画像による変位計測時の補正方法

【課題】カメラ装置が動いた場合でも、その移動による誤差分を求めて差し引くことにより、精度の良い計測を行い得る撮影画像による変位計測時の補正方法を提供する。
【解決手段】橋桁1の基礎2A,2Bの基準領域S,Sでの1回目の撮影画像と2回目の撮影画像とにおける同一点の位置関係を表わす同次座標変換行列を有する第1座標変換式および2枚の撮影画像上での位置関係をカメラの撮影画像(焦点位置)上での位置関係に変換する第2座標変換式を求めておき、この第2座標変換式における未知係数を、基準領域における少なくとも未知係数の個数に等しい座標位置データを用いて第2座標変換式を決定し、そしてこの第2座標変換式を用いて基準領域での変形量を誤差分として求め、この誤差分を橋桁1での計測変形量から差し引く方法である。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影画像を用いて物体の変位を計測する際の補正方法に関する。
【背景技術】
【0002】
従来、橋梁などの鋼構造物における撓み、すなわち変位(変形量ともいう)を計測する方法としては、3次元光波測定儀、歪ゲージや高精度の傾斜計を用いるものがあり(例えば、特許文献1参照)、また最近では、光ファイバーケーブルを用いて構造物の変位・形状などの状態変化を検知するものが提案されている(例えば、特許文献2参照)。
【特許文献1】特開2001−159517
【特許文献2】特開2004−163294
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、三次元光波測定儀、歪ゲージや高精度の傾斜計は、構造物のごく限られた範囲についてだけ変位を計測し得るものであり、例えば広範囲で変位を計測しようとすると、多くの計器を当該構造物に設置する必要があり、計測作業が煩雑になってしまう。
【0004】
また、光ファイバーケーブルを用いたものでは、比較的、広範囲の変位を計測することができるが、構造物に設置するものであり、一度、設置すると長期間使用できるが、光ファイバーケーブル自体が高価であり、計測装置が高くついてしまう。
【0005】
上述したような問題を解決し得るものとして、構造物をデジタルカメラで撮影し、その撮影画像にデジタル画像相関法を適用することにより、構造物の変位量を計測する方法を、既に本出願人等は提案している(例えば、特願2005−148850)。
【0006】
しかし、上述したデジタル画像相関法を用いる場合には、少なくとも、2枚の撮影画像、すなわち変位前と変位後の撮影画像を必要とするが、変位前と変位後とでカメラ装置が動いてしまうことがあり、計測された変位量に誤差を含んでしまうという問題がある。
【0007】
そこで、本発明は、カメラ装置が動いた場合でも、その移動による誤差分を求めて差し引くことにより、精度の良い計測を行い得る撮影画像による変位計測時の補正方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の撮影画像による変位計測時の補正方法は、被計測物体をカメラ装置にて少なくとも2回撮影して得られる2枚の撮影画像に基づき、被計測物体における変位量を計測する際に、1回目のカメラ装置の撮影位置に対する2回目の撮影位置の移動に起因して、2枚目の撮影画像上に現れる誤差分を補正する方法であって、
撮影領域内に変位が生じない基準領域を想定するとともに、この基準領域の或る点について、1回目の撮影位置での第1カメラ座標系(x−y−z)による第1撮影画像上での座標位置と、2回目の撮影位置での第2カメラ座標系(X−Y−Z)による第2撮影画像上での座標位置との関係を示す同次座標変換行列を有する第1座標変換式を求め、
この第1座標変換式を変形することにより、第1カメラ座標系における第1カメラ装置のレンズ位置(原点)から、撮影方向(z軸)にて所定距離(z′)だけ離れた被計測物体のカメラ装置の焦点距離(f)における第1撮影画像平面上での(fx/z′,fy/z′)座標位置と、同被計測物体の第2カメラ座標系における第2撮影画像平面上での(fX/Z,fY/Z)座標位置との関係を表わす未知係数を含む第2座標変換式を求め、
この第2座標変換式に、上記基準領域における上記未知係数の個数に等しい複数の点に対して第1および第2撮影画像平面上で求められた座標位置を代入して、当該第2座標変換式の未知係数を決定し、
この未知係数が決定された第2座標変換式に基づき、基準領域での或る点について両撮影画像平面上での座標位置の差をカメラ装置の移動による誤差分として求めるとともに、当該誤差分を2枚の撮影画像から求められた計測変位量から差し引く方法である。
【発明の効果】
【0009】
上記変位計測時の補正方法によると、被計測物体における少なくとも2枚の撮影画像同士間での位置関係を示す座標変換式の未知係数を、当該被計測物体上で移動が生じない基準領域に基づき決定するとともに、この未知係数が決定された座標変換式に基づき、カメラ装置の移動により生じた誤差分を求め、そしてこの誤差分を実際の計測変位量から差し引くようにしたので、被計測物体の変位を精度良く計測することができる。
【発明を実施するための最良の形態】
【0010】
[実施の形態]
以下、本発明の実施の形態に係る撮影画像による変位計測時の補正方法について説明する。
【0011】
本実施の形態においては、橋梁などの構造物の安全確保のために、例えば老化状態を調べるために、当該構造物に荷重(力)を付与して撓みなどの変形量(変位量でもある)を計測する場合に適用して説明する。
【0012】
より具体的に説明すれば、構造物に荷重を付与しない状態でCCDを用いたカメラ装置(所謂、CCDカメラである)で当該構造物およびその近傍の所定領域(撮影領域である)を撮影するとともに、構造物に荷重を付与した状態で同じ領域をカメラ装置で撮影して、少なくとも2枚の撮影画像を得ておき、少なくともこれら2枚の撮影画像に基づき、その変形量をデジタル画像相関法を用いて計測(算出)するとともに、2回目の撮影時にカメラ装置が移動したことに起因して現れる移動量(誤差分であり、誤差変形量、誤差変位量ともいえる)を求め、そしてこの移動量をその計測変位量(以下、計測値という)から差し引くことにより、すなわち補正を行うことにより、精度の良い計測値を得る方法について説明する。
【0013】
ところで、本発明の名称には、変位という語句を使用しているが、本実施の形態では、構造物の変形を計測する場合に適用するため、構造物を被計測物体として説明する場合には、「変位(変位量)」という語句の代わりに「変形(変形量)」という語句を用いて説明するが、その計測方法の説明に際して、できるだけ一般的に説明した方が分かり易い場合には、「変位(変位量)」という語句を用いるものとする。
【0014】
まず、デジタル画像相関法を用いて、構造物の変形量すなわち変位量を計測する方法を、簡単に説明しておく。
デジタル画像相関法においては、計算領域の変位量を輝度値分布の相関を用いて検出する。これは、物体表面の乱反射像は物体表面と共に移動し、変形の前後でその特徴が保存されるということに基づくもので、変形前後の画像における輝度値の相関は下記(1)式で求められる。
【0015】
【数1】

ここで、I(x,y)は変形前画像の座標(x,y)における輝度値、I(x,y)は変形後画像の座標(x,y)における輝度値である。座標(x,y)と(x,y)との間には下記(2)式の関係がある。
【0016】
【数2】

ここで、図1に示すように、uおよびuはそれぞれ計算領域画像の中心におけるx方向およびy方向の変位であり、ΔxおよびΔyは計算領域画像の中心から点(x,y)までの距離である。なお、図1は変形前後の計算領域の関係を表している。変形前のP点が変形後P′点に、Q点がQ′点に移動したとすると、P点の移動量が変位u,uとなり、Q′点の座標が上記(2)式で表される。
【0017】
上記(1)式のSを最小とする変位u,uおよび変位勾配∂u/∂x,∂u/∂y,∂u/∂x,∂u/∂yの6つの変数を探索することにより変位、すなわち変位量を決定することができる。このとき、1画素以下の解像度で変位を検出する場合には、双一次関数または3次のスプライン関数を利用して、輝度値を補間すればよい。
【0018】
次に、1回目の撮影の後に2回目の撮影を行う際に、カメラ装置(以下、単に、カメラという)が移動した際に、その移動による計測値に対する誤差分(誤差変位分)を求める方法について説明する。
【0019】
まず、最初に、カメラが移動することにより被計測物体上の或る点が撮影画像上でどの程度変化するのかを求める。
なお、以下の説明では、地球上に固定されたワールド座標系を(x−y−z)系で表わし、カメラに固定されたカメラ座標系を(X−Y−Z)系で表わすものとする。但し、1回目の撮影におけるカメラはワールド座標系に一致するものとし、x軸方向およびX軸方向はカメラの右方向、y軸方向およびY軸方向はカメラの上方向、z軸方向およびZ軸方向はカメラの撮影方向とする。また、2回目の撮影におけるワールド座標系に対するカメラ座標系の原点を(δ,δ,δ)とし、またワールド座標系におけるX軸、Y軸、Z軸の方向ベクトルをそれぞれ[(l,l,l)(m,m,m)(n,n,n)]とする。なお、図2に、1回目の撮影と2回目の撮影とにおけるカメラの位置関係を示しておく。
【0020】
このとき、ワールド座標系と移動後におけるカメラ座標系との位置関係を、同次座標変換行列を用いると、下記(3)式(第1座標変換式に相当する)で表わされる。
【0021】
【数3】

図3に示すように、カメラのレンズ位置をカメラ座標系の原点、カメラの撮像位置すなわち撮影画像位置(撮像面であり、具体的にはCCD面である)をZ軸上で(−1)[焦点距離(−f)ではあるが、−1とする]にすると、カメラ座標系における(X,Y,−1)平面が、撮影画像平面となる。
【0022】
次に、カメラ位置の変化(移動)により、同一点が撮影画像平面上でどの程度変化するかを求める。すなわち、上記(3)式をワールド座標系からカメラ座標系に変換するための関係式を求めると、下記(4)式のようになる。
【0023】
【数4】

さらに、上記(4)式の右辺の逆行列を求めて書き直すと、下記(5)式のようになる。
【0024】
【数5】

次に、ワールド座標系のz′平面に、被計測物体が在るとした場合で、しかも撮影画像平面が定義される場合、(xyz′)上の点が、撮影画像上では(x/z′,y/z′)となる。すなわち、(xyz′)上の或る点は、1枚目の撮影画像(移動前のカメラで撮影した第1撮影画像)上では、(x/z′,y/z′)となり、また2枚目の撮影画像(移動後のカメラで撮影した第2撮影画像)上での点(X/Z,Y/Z)は、下記(6)式のようになる。
【0025】
【数6】

ここで、同一点を1枚目の撮影画像と2枚目の撮影画像とでその位置を比較するために、上記(6)式の右辺を(x/z′)と(y/z′)の式にすると、下記(7)式のようになる。
【0026】
【数7】

ここで、図4(a)および(b)に示すように、撮影画像上の中心を原点とし、右方向をx(x/z)軸正方向、上方向をy(y/z)軸正方向とし、1枚目の撮影画像上の或る点P(dx,dy)が、2枚目の撮影画像上の点P(dx,dy)に移動したとすると、これらの関係は、下記(8)式のようになる。
【0027】
【数8】

上記(8)式を変形すると、下記(9)式(第2座標変換式に相当する)が得られる。
【0028】
【数9】

すなわち、カメラ移動により、1枚目の撮影画像上の点P(dx,dy)が、2枚目の撮影画像上の点P(dx,dy)に移動した場合の互いの座標位置関係が(9)式にて得られたことになる。
【0029】
そして、上記(9)式中の各未知係数(A,B,・・・,I)が既知になれば、(8)式からカメラの移動による1枚目の画像上の或る点Pの2枚目の画像上での点Pの位置が求められる。つまり、カメラの移動による撮影画像平面上での誤差分である点Pと点Pとの距離を求めることができる。
【0030】
逆に、1枚目の撮影画像とカメラの移動分だけの変位しか持たない2枚目の撮影画像とがあれば、(9)式の各未知係数(A,B,・・・,I)を求めることができる。
すなわち、構造物に適用してその変形量を計測する場合、構造物において、その撮影画像上、変形しない基準領域(変形しないと思われる領域または被計測物体の変形に対して無視できる程度しか変形しない領域も含まれる)に対して、少なくとも、2枚の撮影画像を得ることにより、上記各未知係数(A,B,・・・,I)を得ることができる(既知にすることができる)。
【0031】
したがって、これらの各未知係数が既知になると、カメラの移動(変化)による影響を及ぼす誤差分を求めることができるので、2枚の撮影画像から得られる計測値(計測変形量)から誤差分を差し引くことにより補正することができる。すなわち、カメラの移動による影響を除去して、精度の良い計測を行うことができる。
【0032】
ここで、上記補正方法を概略的に説明すると以下のようになる。
なお、上記の説明では、カメラの撮影画像平面のz(Z)軸上での位置を(−1)(つまり、カメラ装置のレンズの焦点距離fで除した位置)として説明したが、ここでは、請求項1に記載しているように、撮影画像平面をレンズの焦点位置(−f)にあるものとして説明する。
【0033】
すなわち、この補正方法は、被計測物体をカメラ装置にて少なくとも2回撮影して得られる2枚の撮影画像に基づき、被計測物体における変位量を計測する際に、1回目のカメラ装置の撮影位置に対する2回目の撮影位置の移動に起因して、2枚目の撮影画像上に現れる誤差分を補正する方法であって、
撮影領域内に変位が生じない基準領域を想定するとともに、この基準領域上における或る点について、1回目の撮影位置での第1カメラ座標系(x−y−z)による第1撮影画像上での座標位置と、第2撮影位置での第2カメラ座標系(X−Y−Z)による第2撮影画像上での座標位置との関係を示す同次座標変換行列を有する第1座標変換式を求め、
この第1座標変換式を変形することにより、第1カメラ座標系における第1カメラ装置のレンズ位置(原点)から、撮影方向(z軸)にて或る距離(z′)だけ離れた被計測物体のカメラ装置の焦点距離(f)における第1撮影画像平面上での(fx/z′,fy/z′)座標位置と、第2撮影画像平面上での(fX/Z,fY/Z)座標位置との関係を表わす未知係数を含む第2座標変換式を求め、
この第2座標変換式に、上記基準領域上の上記未知係数の個数に等しい複数の点に対して第1および第2撮影画像平面上で求められた座標位置を代入して、当該第2座標変換式の未知係数を決定し、
この未知係数が決定された第2座標変換式に基づき、基準領域での或る点について両撮影画像平面上での座標位置の差をカメラ装置の移動による誤差分とするとともに、当該誤差分を2枚の撮影画像から求められた計測値から差し引くようにした方法である。
【0034】
次に、構造物として、例えば橋梁の橋桁の変形量をカメラ装置にて2回撮影することにより、当該2枚の撮影画像を用いて求める方法について説明する。
勿論、本発明の要旨は、2枚の撮影画像から得られた構造物の変形量を求める際に、1回目と2回目の撮影時におけるカメラの移動による誤差分を補正する方法に着目して説明する。
【0035】
まず、図5に基づき、被計測物体である橋梁の橋桁1の変形量を計測する際の、カメラの移動による誤差分の補正方法について説明する。
通常、橋桁1の両端部は、川の土手に形成された例えばコンクリート製の基礎2(2A,2B)側に支持されており、カメラの移動による誤差分を補正する上で、撮影画像中の移動しない基礎部分(つまり、基準領域である)S(S,S)を用いることにする。
【0036】
すなわち、1回目として、橋桁1に荷重を付加しない状態で、CCDカメラにより、両側の基礎2A,2Bの少なくとも基準領域S,Sを含むように橋桁1を撮影して第1撮影画像を得る。
【0037】
次に、2回目として、橋桁1に荷重を付加した状態で、同じ、CCDカメラにより、やはり、両側の基礎2A,2Bの少なくとも基準領域S,Sを含むように橋桁1を撮影して第2撮影画像を得る。
【0038】
次に、得られた2枚の撮影画像に所定の画像処理を施すとともに、上述したデジタル画像相関法を用いて変形量を求める。
次に、求められた変形量に対して、カメラの移動による誤差分を差し引く。
【0039】
すなわち、撮影画像の中で、橋桁1については変形するが、その基礎2A,2Bの基準領域S,Sについては、変形(移動)しないため、この部分に着目すし、上記(9)式を用いてカメラの移動による誤差分を求める。
【0040】
まず、(9)式中における未知係数を決定するために、基礎2A,2Bにおける少なくとも9点に着目し、この9点について、1回目の撮影画像上での座標位置と2回目の撮影画像上での座標位置とを求め、これら求められた各座標位置(座標位置データ)を用いて、未知係数を決定する。
【0041】
次に、未知係数が決定された(9)式を用いて、1回目の基礎2A,2Bの基準領域S,Sにおける所定箇所の座標位置により、2回目の撮影画像上での座標位置を求める。
【0042】
そして、これら両座標位置の差を求めると、この差がカメラの移動による誤差分となるため、この誤差分を計測値から、すなわち計測された橋桁1の変形量から差し引けばよい。
【0043】
これにより、カメラ移動による誤差分(誤差変位分)を除去することができるので、正確な変形量を計測することができる。すなわち、変形量を精度良く計測することができる。
【0044】
ここで、図6に、上述した橋桁1の変形量の補正方法を分かり易く説明する模式図を示しておく。すなわち、図6(a)はカメラが移動しない場合の基準領域Sおよび変形前の橋桁1の状態を示しており、例えば何ら変形が加えられていない矩形状にされている。図6(b)は変形前でカメラだけが移動した状態を示しており、基準領域Sおよび橋桁1ともカメラの移動による見かけ上の変形が生じて、例えば逆台形状にされている。
【0045】
そして、図6(c)はカメラが移動された状態で且つ橋桁1も変形した計測時の状態を示し、基準領域Sについてはカメラの移動により例えば逆台形状に、また橋桁1についてはカメラの移動と変形とにより例えば不等脚台形状にされている。つまり、橋桁1の変形については、カメラの移動による変形量が含まれているため、図6(b)に示されたカメラの移動による変形量(矩形状と台形状との差)だけを差し引くと、図6(d)に示すように、カメラの移動による変形を除去した橋桁1の変形だけに基づく変形量を示す例えば菱形状が得られることになる。
【0046】
このように、2枚の撮影画像を用いて被計測物体の変形量を計測する際に、撮影領域上で移動が生じない基準領域での撮影画像を用いて、1回目の撮影画像と2回目の撮影画像とにおける同一点の位置関係を表わす同次座標変換行列を有する第1座標変換式および2枚の撮影画像上での位置関係をカメラの撮影画像(焦点位置)上での位置関係に変換する第2座標変換式を求めておき、この第2座標変換式の未知係数を、基準領域における少なくとも未知係数に等しい個数の座標位置データを用いて第2座標変換式を決定し、そしてこの第2座標変換式を用いて基準領域における誤差分としての変形量を求め、この誤差分を計測変形量(計測値)から差し引くようにしたので、カメラ装置の移動による誤差分を除去することができ、したがって構造物の変形量を精度良く計測することができる。
【0047】
さらに、上記補正方法を用いた変位計測装置の概略構成について説明しておく。
この変位計測装置は、被計測物体をカメラ装置にて少なくとも2回撮影して得られる2枚の撮影画像に基づき、被計測物体における変位量を計測する際に、1回目のカメラ装置の撮影位置に対する2回目の撮影位置の移動に起因して、2枚目の撮影画像上に現れる誤差分を補正する機能を有するものである。
【0048】
すなわち、この変位計測装置は、カメラ装置にて撮影された少なくとも2枚の撮影画像を入力するとともにそれぞれに所定の画像処理を施し、この画像処理が施された各画像に対してデジタル画像相関法を適用して被計測物体における変位量を求める(計測する)変位量演算部と、
撮影領域内に変位が生じない基準領域における或る点について、1回目の撮影位置での第1カメラ座標系(x−y−z)による第1撮影画像上での座標位置と、第2撮影位置での第2カメラ座標系(X−Y−Z)による第2撮影画像上での座標位置との関係を示す同次座標変換行列を有する第1座標変換式の変形により得られるとともに、第1カメラ座標系における第1カメラ装置のレンズ位置(原点)から撮影方向(z軸)にて或る距離(z′)だけ離れた被計測物体のカメラ装置の焦点距離(f)における第1撮影画像平面上での(fx/z′,fy/z′)座標位置と第2撮影画像平面上での(fX/Z,fY/Z)座標位置との関係を表わす未知係数を含む第2座標変換式を具備し、且つ当該第2座標変換式に、上記基準領域上の上記未知係数の個数に等しい複数の点に対して第1および第2撮影画像平面上で求められた座標位置データを代入して当該第2座標変換式の未知係数を決定する座標変換式決定部と、
この座標変換式決定部で未知係数が決定された第2座標変換式に基づき、基準領域での或る点について両撮影画像平面上での座標位置の差をカメラ装置の移動による誤差分として求める誤差分演算部と、
この誤差分演算部にて求められた誤差分を入力するとともに当該誤差分を2枚の撮影画像から求められた計測値(計測変位値)から差し引く計測値補正部とを具備したものである。
【0049】
なお、上記変位量演算部、座標変換式決定部、誤差分演算部および計測値補正部には、それぞれの演算等を行うためのプログラムが具備されている。
また、被計測物体が橋梁の橋桁などである場合には、その変形量を計測することになるため、上述した変位計測装置は、その意味で変形計測装置ともいえる。
【図面の簡単な説明】
【0050】
【図1】本発明の実施の形態に係る撮影画像による変位計測原理を説明するための変形部での位置関係を示す図である。
【図2】同実施の形態に係る撮影画像による変位計測時の補正方法を説明するための座標系を示す斜視図である。
【図3】同補正方法を説明するためのカメラ座標系を示す図である。
【図4】同補正方法を説明するための撮影画像平面での座標位置を示す図で、(a)は移動前を示し、(b)は移動後を示す。
【図5】同補正方法を適用する橋梁の側面図である。
【図6】同補正方法を分かり易く説明するための模式図である。
【符号の説明】
【0051】
S 基準領域
1 橋桁
2 基礎

【特許請求の範囲】
【請求項1】
被計測物体をカメラ装置にて少なくとも2回撮影して得られる2枚の撮影画像に基づき、被計測物体における変位量を計測する際に、1回目のカメラ装置の撮影位置に対する2回目の撮影位置の移動に起因して、2枚目の撮影画像上に現れる誤差分を補正する方法であって、
撮影領域内に変位が生じない基準領域を想定するとともに、この基準領域の或る点について、1回目の撮影位置での第1カメラ座標系(x−y−z)による第1撮影画像上での座標位置と、2回目の撮影位置での第2カメラ座標系(X−Y−Z)による第2撮影画像上での座標位置との関係を示す同次座標変換行列を有する第1座標変換式を求め、
この第1座標変換式を変形することにより、第1カメラ座標系における第1カメラ装置のレンズ位置(原点)から、撮影方向(z軸)にて所定距離(z′)だけ離れた被計測物体のカメラ装置の焦点距離(f)における第1撮影画像平面上での(fx/z′,fy/z′)座標位置と、同被計測物体の第2カメラ座標系における第2撮影画像平面上での(fX/Z,fY/Z)座標位置との関係を表わす未知係数を含む第2座標変換式を求め、
この第2座標変換式に、上記基準領域における上記未知係数の個数に等しい複数の点に対して第1および第2撮影画像平面上で求められた座標位置を代入して、当該第2座標変換式の未知係数を決定し、
この未知係数が決定された第2座標変換式に基づき、基準領域での或る点について両撮影画像平面上での座標位置の差をカメラ装置の移動による誤差分として求めるとともに、当該誤差分を2枚の撮影画像から求められた計測変位量から差し引くことを特徴とする撮影画像による変位計測時の補正方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2007−240218(P2007−240218A)
【公開日】平成19年9月20日(2007.9.20)
【国際特許分類】
【出願番号】特願2006−60386(P2006−60386)
【出願日】平成18年3月7日(2006.3.7)
【出願人】(000005119)日立造船株式会社 (764)
【出願人】(505127721)公立大学法人大阪府立大学 (688)
【Fターム(参考)】