説明

変位計測方法、変位計測装置及び変位計測プログラム

【課題】対象物を連続撮影した画像に基づいて、対象物の注目部分の三次元変位を効率的に検出し、良好な精度で計測する変位計測装置及び変位計測プログラムを提供する。
【解決手段】変位計測装置は、ステレオ画像に対するステレオ計測により、時刻ごとに対象物の三次元形状情報と正射画像とを作成し(S40)、連続する時刻の正射画像間でパターンマッチングにより注目部分の二次元像を追跡して(S42)二次元変位ベクトルを求める(S44)。変位計測装置は、三次元形状情報を用いて二次元変位ベクトルの始点、終点を三次元座標に変換し(S46)、三次元変位ベクトルを求める(S48)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明はステレオ画像を用いて対象物における変位を計測する変位計測方法、変位計測装置及び変位計測プログラムに関する。
【背景技術】
【0002】
変位計測技術は、例えば、地滑りの解析・対策、土工事や土構造物の構築・管理等において重要である。例えば、地滑りに関して変位計測は、地滑り崩壊の発生から終了に至る一連の運動形態及び機構の把握に利用される。これにより、地滑り現象に対する一層の理解が得られれば、滑り面形状の推定や、より高度な数値計算手法の開発、効果的な防止策の検討が可能となる。
【0003】
変位計測技術にはいろいろな方式が提案されており、地滑り現象に関しては、例えば、測量を行いたい対象物上に予め反射板を設置し、光の照射及び反射光の観測により距離を計測するものなどが知られている。また、写真測量技術を用いるものも知られている。写真測量技術を用いる方式は反射板等の設置が不要であるので、広い範囲や近寄りにくい場所の地滑り観測に好適である。従来、写真測量技術を利用して地滑り解析を行う場合、地滑り前後の空中写真や地上写真、及び地形データを用いて、地滑りによる地形変化を把握している。
【0004】
また、当該地形変化の解析の従来の基本的な手法では、人間が目視により画像から変位追跡点を探し出し、画像間の変位特徴点の対応付けをマニュアル操作で行って、変位ベクトルを求める。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2000−251059号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
近年のデジタルカメラ技術、写真計測及び画像解析技術の発達は、遠距離からの撮影に基づく高速移動体の詳細な観測及び精密解析の実現に資する。しかし、そのような技術を効果的に取り込んで、連続撮影画像を用いた地滑り等の変位解析を効率的に行う技術はまだ実現されていない。地滑りのように変位特徴点が多数となり得る解析について、多数の時刻に亘る連続撮影画像を人間の作業への依存が比較的大きい従来手法で処理することは現実的ではなく、従来手法では正確かつ効率的な変位追跡や変位ベクトルの取得は容易ではない。
【0007】
本発明は上記問題点を解決するためになされたものであり、対象物を連続撮影した画像に基づいて対象物の注目部分の三次元的な変位を効率的に検出し良好な精度で計測する変位計測方法、変位計測装置及び変位計測プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る変位計測方法は、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求めるものであって、前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡処理と、前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算処理と、前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算処理と、を含むものである。
【0009】
本発明において、前記追跡処理は、前記追跡用画像として前記対象物の正射画像を用い、正射画像面内で前記注目部分の前記二次元像を追跡し、前記三次元座標演算処理は、前記正射画像、及び前記正射画像面上での位置及び高さで表される前記対象物の三次元形状情報を生成する処理と、前記三次元形状情報を用いて前記注目部分の前記三次元座標を求める処理と、を含む構成とすることができる。
【0010】
また、本発明において、前記追跡処理は、前記追跡用画像として前記ステレオ画像の一方画像を用い、当該一方画像上での前記注目部分の前記二次元像の位置に対応する追跡点を求め、前記三次元座標演算処理は、前記各時刻にて、前記追跡点に対応する前記ステレオ画像の他方画像上の対応点を抽出し、前記追跡点及び前記対応点について前記ステレオ計測を行い前記注目部分の前記三次元座標を求める構成とすることができる。
【0011】
本発明に係る変位計測装置は、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求めるものであって、前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡手段と、前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算手段と、前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算手段と、を有するものである。
【0012】
本発明に係る変位計測プログラムは、コンピュータを、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測手段として機能させるためのプログラムであって、コンピュータに、前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡機能と、前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算機能と、前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算機能と、を実現させるものである。
【発明の効果】
【0013】
本発明によれば、対象物を連続撮影した画像に基づいて対象物の注目部分の三次元的な変位が効率的に検出され良好な精度で計測される。
【図面の簡単な説明】
【0014】
【図1】本発明の実施形態に係る変位計測システムの概略のブロック図である。
【図2】第1の実施形態における処理部の概略の処理フロー図である。
【図3】画像追跡の処理を説明する模式図である。
【図4】図3の処理から得られる二次元変位ベクトルを示す模式図である。
【図5】三次元メッシュデータの模式図である。
【図6】三次元メッシュデータを用いた二次元変位から三次元変位への変換処理を説明する模式図である。
【図7】第2の実施形態における処理部の概略の処理フロー図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態(以下実施形態という)である変位計測システム10について、図面に基づいて説明する。図1は、変位計測システム10の概略のブロック図である。この図1に示す構成は以下説明する第1及び第2の実施形態に共通である。変位計測システム10は、複数台のカメラ12及び変位計測装置14を含んで構成される。
【0016】
複数台のカメラ12は、少なくとも2台からなり、変位計測の対象物のステレオ画像を撮影可能に配置される。本実施形態では、例として地滑りを計測対象事象とし、カメラ12は、地滑りの監視地点である斜面や崖などを臨み、かつ監視領域全体を撮影可能で、また安全である地点に配置される。例えば、複数のカメラ12は基本的に横方向に距離を有して配置され、監視地点を互いに異なる視点から撮影し、一対の静止画像からなるステレオ画像を取得する。各カメラ12は互いに同期して連続撮影を行い、撮影された画像は変位計測装置14に入力される。なお、連続撮影のフレームレートは、地滑りの速度や、カメラ12から監視地点までの距離などを考慮して、連続するフレーム間での追跡処理が可能な程度に高速とされる。なお、カメラとしてビデオカメラを用いることも可能である。また、カメラ12は画像をデジタルデータで出力するものが変位計測装置14での処理に適しているが、アナログ信号で出力するものであってもよく、この場合、変位計測装置14にてA/D変換を行う。
【0017】
変位計測装置14は、処理部20、表示部22、記憶部24及び操作部26を備える。処理部20は、追跡処理部30、三次元座標演算処理部32及び変位ベクトル演算処理部34を有する。例えば、変位計測装置14は、コンピュータを用いて構成することができ、そのCPUが処理部20を構成し、追跡処理部30、三次元座標演算処理部32及び変位ベクトル演算処理部34は当該CPUにより実行されるプログラムによって実現できる。
【0018】
また、記憶部24は、コンピュータに内蔵されるハードディスクなどで構成される。例えば、記憶部24は、カメラ12から入力されるステレオ画像のデータを少なくとも、ステレオ計測処理や追跡処理に必要とされる間、保持する。また、ステレオ計測処理で必要となるカメラ12による撮影に関する標定要素を予め格納する。ここで標定要素は外部標定要素(投影中心位置・姿勢)及び内部標定要素(主点位置・焦点距離・画像解像度等)があり、これらを用いて監視領域が存在する実空間の座標と画像座標との間の変換を行う諸関数が与えられる。
【0019】
表示部22は液晶モニタ等の画像表示装置であり、操作部26はキーボードやマウスなどで構成される。
【0020】
追跡処理部30は、カメラ12が撮影したステレオ画像の少なくとも一方に基づく追跡用画像について、例えば、連続する撮影時刻間にてパターンマッチング処理を行い、或る時刻にて対象物に設定された注目部分に関し、当該注目部分の追跡用画像上での二次元像を追跡する。ここで、注目部分の設定は、例えば、追跡用画像上にて行うことができ、当該画像上に複数の注目部分を設定してもよい。設定は、作業者が表示部22に表示された追跡用画像を見ながら操作部26を操作して行う。また、予め、注目部分の画像上の特徴を記憶部24に格納し、追跡の開始時等にて処理部20が当該特徴に合致する部分を抽出して注目部分に設定するように構成してもよい。例えば、樹木、岩、地上工作物等が注目部分とされる。
【0021】
三次元座標演算処理部32は、ステレオ画像に対するステレオ計測処理により、追跡用画像上での注目部分の二次元像の位置に基づいて当該追跡用画像に対応する撮影時刻での注目部分の三次元座標を求める。
【0022】
変位ベクトル演算処理部34は、各時刻での注目部分の三次元座標に基づいて三次元変位ベクトルを求める。
【0023】
以上、第1及び第2の実施形態に共通する構成をまとめて説明した。第1及び第2の実施形態に係る変位計測システム10は、処理部20における処理に違いがある。以下、各実施形態について当該処理を説明する。
【0024】
[第1の実施形態の処理]
図2は、第1の実施形態における処理部20の概略の処理フロー図である。処理部20は、カメラ12が撮影したステレオ画像に基づいて、三次元モデルデータを生成する(S40)。処理部20の三次元座標演算処理部32が当該生成処理を担う。
【0025】
三次元モデルデータは、三次元メッシュデータ(三次元形状情報)と正射画像(オルソ画像)とからなる。三次元メッシュデータは、ステレオ画像からステレオマッチング処理により求められる対象物表面の三次元座標であり、例えば、xyz直交座標系を用いて表される。水平面をなすxy平面に、例えば一定の間隔で離散化されたx座標、y座標で表される格子を設定し、各格子に高さを表すz座標値を対応付ける。
【0026】
正射画像は、水平面に射影した対象物の画像である。三次元座標演算処理部32は、カメラ12が撮影する各時刻のステレオ画像について処理を行い、各時刻の三次元モデルデータを生成する。
【0027】
追跡処理部30は、正射画像を追跡用画像として用いて、正射画像面内で注目部分の二次元像を追跡して(S42)、二次元変位ベクトルを求める(S44)。図3は、この正射画像追跡の処理S42を説明する模式図である。図3(a)は、先行する時刻tの正射画像60aにおける注目部分の二次元像62a,64aを表している。当該二次元像を含む部分画像66a,68aを相関テンプレートとして、後続の時刻t+Δtの正射画像60bに対するパターンマッチング処理を行う。その結果、図3(b)に示すように、時刻t+Δtの正射画像60bにおける注目部分の二次元像62b,64bが探索される。例えば、パターンマッチング処理では、相関テンプレートの輝度分布パターンが後続の正射画像60bのどの部分に類似しているかを判断する。
【0028】
パターンマッチング処理により、二次元像62aに対応する注目部分は後続時刻の正射画像60bにおける二次元像62bに対応し、同様に、二次元像64aに対応する注目部分は二次元像64bに対応すると判断される。すなわち、注目部分ごとに二時刻t,t+Δtでの二次元像の対応が求められる。これにより、二次元変位ベクトルの始点となる時刻tでの二次元像の座標と、終点となる時刻t+Δtでの二次元像の座標とが求められる(S44)。図4は、時刻tでの二次元像62a,64aの位置を始点とし、時刻t+Δtでの二次元像62b,64bの位置を終点とする二次元変位ベクトル70,72を示す模式図である。
【0029】
処理部20は、正射画像上にて得られた二次元の変位を三次元メッシュデータを用いて、三次元の変位に変換し(S46)、三次元変位ベクトルを求める(S48)。図5は上述した三次元メッシュデータの模式図であり、水平面であるxy平面への投影図80と、zx平面への投影図82とを示している。二次元変位を求めた正射画像はxy平面への投影図80と対応しており、二時刻t,t+Δt間での二次元変位ベクトルを投影図80に射影する。図6は、三次元メッシュデータを用いた変換処理S46を説明する模式図である。図6は、三次元メッシュデータの投影図80上に配置した二次元変位ベクトル90と、当該二次元変位ベクトル90から得られる三次元変位ベクトル92とを示している。三次元座標演算処理部32は、投影図80上での二次元変位ベクトルの始点P、終点Pに、三次元メッシュデータによりそれぞれの位置でのz座標値を付与し、P,Pをそれぞれ三次元空間での点Q,Qに対応付ける。これにより、三次元変位ベクトルの始点Q及び終点Qの座標が求められる(S48)。
【0030】
変位ベクトル演算処理部34は、Q及びQの座標に基づいて三次元変位ベクトルを求める。
【0031】
[第2の実施形態の処理]
図7は、第2の実施形態における処理部20の概略の処理フロー図である。追跡処理部30は、カメラ12が撮影したステレオ画像の一方を追跡用画像として用いて、時刻ごとに得られる当該画像の時系列にて注目部分の二次元像を追跡して(S100)、二次元変位ベクトルを求める(S102)。この処理の具体的な内容は、第1の実施形態に関して説明した処理S42,S44と同様であり、ここでは第1の実施形態の図3、図4及びその説明を援用する。二次元変位ベクトル70,72を求める処理S100,S102により、追跡用画像であるステレオ画像の一方画像上にて注目部分の二次元像の位置(追跡点)の時系列が求まる。
【0032】
三次元座標演算処理部32は、各時刻にて、追跡点に対応するステレオ画像の他方画像上の対応点を抽出し、追跡点及び対応点についてステレオ計測処理を行い、各時刻での注目部分の三次元座標を求める(S104)。
【0033】
変位ベクトル演算処理部34は、三次元変位ベクトルを求める二時刻のうち先行時刻の注目部分の三次元座標Qを始点、後続時刻の三次元座標Qを終点として、三次元変位ベクトルを求める(S106)。
【0034】
第1及び第2の実施形態に係る変位計測システム10は、地滑りを例とした三次元変位ベクトルの取得を目的としたものであったが、本発明は、地滑り以外の分野にも適用することができ、例えば、より広範な土砂災害、物体の破壊・変形実験などの物体・流体の挙動把握などへの適用が可能である。
【0035】
また、変位計測装置14は、カメラ12がリアルタイムで撮影した画像をオンラインで処理する場合だけでなく、予め撮影された画像を入力され処理するオフライン処理に用いることもできる。
【符号の説明】
【0036】
10 変位計測システム、12 カメラ、14 変位計測装置、20 処理部、22 表示部、24 記憶部、26 操作部、30 追跡処理部、32 三次元座標演算処理部、34 変位ベクトル演算処理部。

【特許請求の範囲】
【請求項1】
複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測方法であって、
前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡処理と、
前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算処理と、
前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算処理と、
を含むことを特徴とする変位計測方法。
【請求項2】
請求項1に記載の変位計測方法において、
前記追跡処理は、前記追跡用画像として前記対象物の正射画像を用い、正射画像面内で前記注目部分の前記二次元像を追跡し、
前記三次元座標演算処理は、
前記正射画像、及び前記正射画像面上での位置及び高さで表される前記対象物の三次元形状情報を生成する処理と、
前記三次元形状情報を用いて前記注目部分の前記三次元座標を求める処理と、
を含むことを特徴とする変位計測方法。
【請求項3】
請求項1に記載の変位計測方法において、
前記追跡処理は、前記追跡用画像として前記ステレオ画像の一方画像を用い、当該一方画像上での前記注目部分の前記二次元像の位置に対応する追跡点を求め、
前記三次元座標演算処理は、
前記各時刻にて、前記追跡点に対応する前記ステレオ画像の他方画像上の対応点を抽出し、前記追跡点及び前記対応点について前記ステレオ計測を行い前記注目部分の前記三次元座標を求めること、
を特徴とする変位計測方法。
【請求項4】
複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測装置であって、
前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡手段と、
前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算手段と、
前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算手段と、
を有することを特徴とする変位計測装置。
【請求項5】
コンピュータを、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測手段として機能させるための変位計測プログラムであって、コンピュータに、
前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡機能と、
前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算機能と、
前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算機能と、
を実現させることを特徴とする変位計測プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2011−58875(P2011−58875A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−207026(P2009−207026)
【出願日】平成21年9月8日(2009.9.8)
【出願人】(000135771)株式会社パスコ (102)
【出願人】(301031392)独立行政法人土木研究所 (107)
【Fターム(参考)】