説明

三次元画像計測システム

【課題】 計測対象を撮影して三次元座標を計測する際に、撮影位置を高精度に確保できない場所であっても、リアルタイム性に優れ、精度良く計測できる三次元画像計測システムを提供することを目的とする。
【解決手段】 移動体に搭載されて計測対象Pを撮影する撮影カメラ200と、移動体の移動に応じて、撮影カメラ200の平行ステレオ撮影を行い、撮影カメラ200の三次元座標を順次計測するカメラ制御装置100と、撮影カメラ200で撮影された計測対象Pの画像データと撮影カメラ200の三次元座標に基づいて、計測対象Pの三次元座標を生成する計測対象三次座標演算部300と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば地形や、橋、堤防などの被計測物の3次元形状や位置等を計測する3次元計測技術に関し、特には、飛行体などの移動体に搭載した撮影カメラを用いて計測対象を撮影し、その撮影された複数の画像データから計測対象の3次元形状や位置を計測する3次元画像計測システムに関する。
【背景技術】
【0002】
従来、地形や構造物等の計測対象の3次元形状や変位を計測する際に、計測対象にレーザー光を照射してその反射光を受光し、所定の位置から計測対象までの距離を計測するレーザー測距の技術が知られている(例えば、特許文献1参照)。
【0003】
レーザー測距の技術は、100mの距離を誤差数mmで計測できて高精度を得ることができる。しかしながら、レーザーを用いた計測では、測定機器自体が高価な上、1度のレーザー照射では計測対象における1点の部位しか計測できないので、多数の部位を計測しようとする場合には、計測作業に多大な手間及び時間を要するという問題がある。
【0004】
一方、近年、デジタルカメラやそのコンピュータの性能向上に伴って、計測対象をデジタルカメラで撮影して、計測対象の三次元座標や変位を写真測量する画像計測の技術が注目されている。
【0005】
例えば、写真測量の技術として、計測対象をステレオ撮影し、得られたステレオ画像から計測対象の形状を計測する画像計測の技術が知られている。
【0006】
画像計測の技術は、図5に表したように、三角測量の原理を用いている。また、この原理で画像計測することを平行ステレオ撮影と呼ぶ。
【0007】
平行ステレオ撮影による画像計測は、計測対象を左右方向から写した複数の写真を用いて三次元計測する技術であって、それらの写真から形成される立体像と地上座標系とを対応させる方法で行われる(例えば、特許文献2参照)。
【0008】
つまり、平行ステレオ撮影による画像計測では、2枚の対になった写真の対応点を指定することにより、計測対象点(P)の三次元座標を求め、両写真の対応点像が写真上の異なる点(P、P)に写るので、それぞれの像で写真上の位置の違い(所謂、視差である)を測る。そして、写真上の位置の違い(視差)には距離の情報が含まれるので、カメラから計測対象点までの距離を算出することができる。
【0009】
また、平行ステレオ撮影では、カメラの較正において2つのカメラの主点位置(O、O)、焦点距離(c)等を予め求めておき、2つの位置(O、O)で計測対象Pを撮影することによりステレオ画像を取得し、次いで、撮影の際の2つのカメラの傾きを求め、撮影位置の情報を使用して、画像を計測対象に対して平行で縦視差のない理想状態に修正し、この修正された画像を用いて計測対象の3次元データを得る。
【0010】
また、計測対象が大きい場合は、複数の撮影位置から撮影する。その際、撮影カメラの設置位置の座標を精度良く検出することにより、計測対象に対して接触することなしに高精度の計測が可能になる。また、一般的に、撮影位置は、GPSデータや水準点を基準として、そこからの相対位置をレーザー測距器や巻尺などの計測機器等を用いて設定される。
【0011】
ステレオ画像計測における理論的分解能は、カメラの焦点距離c、基線長B、カメラの画像分解能(画像素子1ピクセルの大きさ)等に依存する。
【0012】
即ち、図5において、計測対象Pの空間座標をP(x,y,z)、カメラ1に撮像された計測対象Pの画像座標をP(x,y)カメラ2に撮像された計測対象Pの画像座標をP(x,y)、カメラ1における結像位置をO、カメラ2の結像位置をO、カメラ1及びカメラ2の焦点距離をc、基線長(カメラ1とカメラ2との光軸間距離である)をBとすると、(式1)〜(式3)の関係がある。
=c・x/z…(式1)
=y=c・y/z …(式2)
−x=c・B/z …(式3)
そこで、式3によりzを求め、この求めたzを(式1)、(式2)に代入することにより、x、yを求めることができ、これにより、計測対象Pの三次元座標P(x,y,z)を得ることができる。
【0013】
また、平面方向(カメラから計測対象に向かう光軸方向に直交する平面)の分解能をΔXY、奥行方向(カメラから計測対象に向かう光軸方向)の分解能をΔZ、カメラの画像分解能(1画ピクセルの大きさ)をΔp、撮影距離をLとすると、(式4)、(式5)を用いて、夫々の分解能を求めることができる。
ΔXY=(L/C)×Δp … (式4)
ΔZ=(L/B)×ΔXY … (式5)
【0014】
例えば、焦点距離cを20mm、撮影距離Lを10m、基線長Bを1m、画像分解能Δpを10μmとしたとき、これらの数値を(式4)、(式5)に代入することにより、平面分解能が5mm、奥行分解能が5cmになる。
【0015】
ところで、平行ステレオ撮影を用いた三次元画像計測の技術では、2台の撮影カメラ位置を精度良く確保する必要がある。そこで、撮影カメラの位置の確保が困難であって平行ステレオ撮影が適用できない状況、例えば、計測対象が危険地域にあって適当な撮影場所を確保できない場合には、計測対象を任意の複数の撮影位置から多数重複撮影して得た画像データから三次元計測を行う、バンドル法を用いた三次元画像計測が用いられている(例えば、特許文献3参照)。つまり、バンドル法は、撮影位置やカメラの姿勢に自由度があることを利点として用いられる。
【0016】
また、バンドル法を用いた三次元計測では、計測対象となる地形や構造物中において三次元座標が既知である3点以上の基準点を用いて計測対象が計測される。
【0017】
詳しくは、図6に表したように、バンドル法を用いた三次元計測は、対象点Pと撮像面上のpとカメラの撮像中心(原点)との3点が一本の直線上に存在するという幾何学的原理に基づくものであって、地上座標系における対象点Pの三次元座標を(X,Y,Z)、地上座標系における像点pの三次元座標を(X,Y,Z)、地上座標系におけるカメラ中心(投影中心)の三次元座標を(X,Y,Z)、カメラの焦点距離をc、カメラ座標系におけるx軸、y軸及びz軸の回りの回転角度を夫々ω、φ、κ、カメラ座標系における像点pの二次元座標を(x,y)とした場合、地上の対象物P(X,Y,Z)の傾いたカメラ座標系におけるカメラ座標(X,Y,Z)は(式6)で求められる。
【数1】

【0018】
また、前述の幾何学原理を、(式7)及び(式8)の共線条件式として表すことができる。
【数2】

【数3】

【0019】
ここで、a(添え字iは、行列における配置を示す)は、ω、φ、κに冠する回転行列の積が作る3×3の行列の9つの要素であり、(式9)の行列式で表される。
【数4】

【0020】
前述の(式6)〜(式8)において、カメラ位置(X,Y,Z)及びカメラ傾斜角(ω、φ、κ)の6つの未知数を含む。そこで、予め既知の3つ以上の基準点の座標をXp、Yp、Zpとして与えると共に、それらの基準点の値をX、Y、Zとして与え、最小2乗法で解くことによって6つの未知数を算出する。
【0021】
ところで、バンドル法を用いた三次元画像計測とステレオ撮影を用いた三次元画像計測の双方とも、人が容易に近づくことができない地形や構造物の計測の際には困難が伴う。そこで、このような場合には、ヘリコプターや気球などの移動体に搭載されたカメラを介して計測対象が撮影されている(所謂、空中三角測量である)。
【0022】
この際、飛行体などの移動体の位置(撮影位置)を検出するための技術の一つとして、GPS(Global Positioning System)が知られている。
【0023】
GPSを用いた計測では、移動体にGPS電波受信機を搭載して、複数の衛星群からのGPS信号を同時に受信することにより、緯度、経度、標高などの絶対的な地球座標を使って、自己位置(移動体体の位置)を決定できる。
【0024】
しかしながら、標準のGPSでは、移動体位置の検出精度がGPS衛星からのGPS電波の受信精度に依存し、GPS電波の受信が困難な地域では利用できないという問題がある。
【0025】
例えば、GPSでは、移動体位置の二次元座標(即ち、緯度及び経度)の決定のためには3つ以上の衛星が、また三次元座標(すなわち緯度、経度、及び、標高)の決定のためには4つ以上の衛星が、視界内にある必要がある。これらの視界を損なうとGPSへの信頼性は著しく低下し、さらに、屋内や障害物を有する環境では、標準GPSは全く機能しない。また、GPSの精度は地域、季節、時刻により変動する。
【0026】
そこで、上述のGPSの欠点を補うための技術として、DGPS(Differential Global Positioning System)やRTK−GPS(Real Time Kinematic GPS)が知られている(例えば、特許文献4参照)。
【0027】
両者とも予め位置座標が既知である基準局の測位情報を無線機などの通信手段を用いて移動体に送信し、移動体側において、その情報と移動体で測定した測位データを利用して自己位置の測定精度を向上させるシステムである。
【0028】
DGPSは、予め地上に位置が正確に分かっている場所にGPS受信機を配置して基準局とし、基準となる受信局(基準局)の測位誤差を求め、基準局が周辺の他のGPS受信局(移動体受信局)に対して誤差量を送信し、各GPS受信機(移動体側受信局)が測位データをこの誤差量に従って補正することで測位精度を高めている。
【0029】
つまり、DGPSは、基準局でGPSによって自己位置の測位を行い、実際の位置とGPSで算出された位置のずれを、中波やFM放送などの地上波で移動体側受信局に送信することにより、移動体側においてGPS衛星からの信号により測位した結果を補正する。
【0030】
一方、DGPSが伝搬時間の測定によるものであっって互いの相対位置(基準局と測定点の相対位置)を後処理で求めるに対し、RTK−GPSは、実時間で実現しようとするものであって、GPS信号の搬送波の位相を測定することによりcmレベルの高精度測位を可能としている。
【0031】
つまり、RTK−GPSでは、2台以上のGPS受信機(既知点となる基準局に1台以上、未知点となる移動体側受信局に1台以上)を利用し、同時に4機以上の同じGPS衛星を観測し、複数の基準局における誤差量から、特定の基準局を中心としたある範囲において、その基準局からある距離離れた測定点(移動体側受信局)における誤差量を検出する。
【0032】
詳しくは、RTK−GPSは、DGPと同様に基準局を設け、基準局及び移動体側受信局が同時に各衛星からの搬送波を連続的に観測し、搬送波位相積算値を計測する。移動体側受信局では基準局から送信された値を基に二重位相差を求めることにより、誤差要因を除去した上で三次元的に分布する一波長ごとの格子点群の中から正しい受信局位置を特定する。
【特許文献1】特開2004−170429号公報
【特許文献2】特開2002―031507号公報
【特許文献3】特開2002−202124号公報
【特許文献4】特開2006−254395号公報
【発明の開示】
【発明が解決しようとする課題】
【0033】
前述のように、バンドル法を用いた三次元画像計測とステレオ撮影を用いた三次元画像計測の双方とも、人が容易に近づくことができない地形や構造物の計測の際には困難が伴う。
【0034】
一方、カメラを飛行体などの移動体に搭載して計測対象の三次元画像を計測する際に、移動体の位置をDGPSやRTK―GPSを用いて計測する技術においても、標準のGPSと同様に、GPS電波の困難な地域では利用できないという問題があった。
【0035】
また、DGPS及びRTK―GPSは、移動体が遮蔽物等の影響によって移動体が基準局から発信される情報を受信できない地域に移動した場合には、移動体の位置精度を向上できないという問題があった。
【0036】
さらに、DGPSとRTK−GPSのいずれの方式も、移動体側のGPS装置毎に、測位精度を補正するための専用通信装置を備える必要があるため、移動体一台あたりの設備費用が増大するという虞もあった。
【0037】
そこで、本発明は、カメラを用いて地形や構造物等の計測対象を撮影し、撮影して得られた画像データから計測対象の三次元計測を行う際に、人が容易に近づくことができない地形や構造物等の計測であって撮影位置を高精度に確保できない場所であっても、精度良く計測できる三次元画像計測システムを提供することを目的とする。
【0038】
さらに、本発明は、移動体にカメラを搭載して計測対象を撮影する三次元画像計測システムにおいて、移動体の位置を計測する際に、DGPSやRTK−GPSに較べて、DGPSやRTK−GPSに対応する送受信機等の特別な設備を必要とすることなく、且つ、撮影位置がGPS電波の受信可能な地域や基準局との送信可能な地域に制限されることなく、リアルタイム性が良好であって低コスト化が実現でき、実用性の良好な三次元画像計測システムを提供することを目的とする。
【課題を解決するための手段】
【0039】
かかる目的を達成するためになされた請求項1に記載の発明は、三次元画像計測システムにおいて、移動体に搭載されて該移動体から計測対象を撮影する撮影カメラと、前記移動体の移動に応じて、前記撮影カメラの平行ステレオ撮影を行い、該撮影カメラの三次元座標を順次計測するカメラ制御装置と、前記撮影カメラで撮影された前記撮影対象の画像データと前記撮影カメラの三次元座標に基づいて、前記撮影対象の三次元座標を生成する三次元画像処理部と、を備えることを特徴とする。ここで求める三次元座標は、GPSで得られる緯度、経度、高度等の絶対座標ではなく、ある地点を基準としたときの相対座標でよい。本発明の三次元座標は、基準座標を地図やGPSで別途測量することにより、容易に絶対座標へ変換可能である。
【0040】
請求項1に記載の三次元画像計測システムによれば、移動体に搭載した撮影カメラをステレオ撮影して撮影カメラの三次元座標を生成するカメラ制御装置と、撮影カメラで撮影された画像データと撮影カメラの三次元座標に基づいて計測対象の三次元座標を生成する三次元画像処理部とを備えているので、人が容易に近づくことができない地形や構造物等の計測であって撮影位置を高精度に確保できない場所であっても、精度良く計測できる。
【0041】
また、請求項1に記載の三次元画像計測システムは、移動体に搭載された撮影カメラの三次元座標を計測する際に、DGPSやRTK−GPSに較べて、DGPSやRTK−GPSに対応する送受信機等の特別な設備を必要とすることなく、且つ、撮影位置がGPS電波の受信可能な地域や基準局との送信可能な地域に制限されることなく、リアルタイム性が良好であって低コスト化を容易にできる。
【0042】
また、請求項1に記載の三次元画像計測システムは、請求項2に記載の発明のように、前記撮影カメラの三次元座標に対応付けて、該撮影カメラの撮影タイミングを指令する撮影タイミング指令手段を備えることが好ましい。これにより、撮影タイミング指令手段を介して、撮影カメラの三次元座標と撮影動作とを容易に連動させることができる。
【0043】
また、請求項1又は請求項2に記載の三次元画像計測システムは、請求項3に記載の発明のように、オペレータが前記撮影カメラの撮影タイミングを指令するオペレータ指令手段を備え、前記撮影カメラが、前記オペレータからの指令信号に基づいて前記撮影対象を撮影するように構成されていることが好ましい。これにより、オペレータが自由自在に撮影タイミングを設定できて、利便性を向上できる。
【0044】
請求項1乃至請求項3の何れか記載の三次元画像計測システムは、請求項4に記載の発明のように、前記撮影カメラの撮影時刻を記憶すると共に、前記撮影時刻に対応付けて、前記画像データと前記撮影カメラの三次元座標を記憶する記憶手段を備えることが好ましい。これにより、撮影時刻に対応付けて計測対象の三次元座標を計測でき、計測対象の形状や位置が季節、時刻により変動する際には、これらの変動に対応付けて、計測対象の三次元座標を計測できる。
【0045】
また、請求項2に記載の三次元画像計測システムは、請求項5に記載の発明のように、前記撮影タイミング指令手段が、前記撮影対象を撮影する際の当該撮影カメラの三次元座標を予め記憶する撮影位置記憶手段と、前記カメラ制御装置で計測された撮影カメラの三次元座標を、前記撮影位置記憶手段に記憶された撮影カメラの三次元座標と比較する比較手段と、を備え、前記比較手段の比較結果に応じて、比較した両者の三次元座標が略一致した際に、前記撮影カメラの撮影タイミングを指令することにより、予め定められた撮影位置において計測対象を撮影できて利便性を向上できる。
【発明の効果】
【0046】
本発明の三次元画像計測システムは、人が容易に近づくことができない地形や構造物等の計測であって撮影位置を高精度に確保できない場所であっても、精度良く計測できると共に、移動体に搭載された撮影カメラの三次元座標を計測する際に、DGPSやRTK−GPSに較べて、DGPSやRTK−GPSに対応する送受信機等の特別な設備を必要とすることなく、且つ、撮影位置がGPS電波の受信可能な地域や基準局との送信可能な地域に制限されることなく、リアルタイム性が良好であって低コスト化が実現できる。
【0047】
また、本発明の三次元画像計測システムは、撮影タイミング指令手段を介して、撮影カメラの三次元座標と計測対象の撮影動作とを容易に連動させることができ、且つ、オペレータが撮影タイミングを自由自在に指令したり、予め定められた撮影位置において計測対象を撮影したりできて、利便性を向上できる。
【0048】
さらに、本発明の三次元画像計測システムは、撮影時刻に対応付けて、画像データと撮影カメラの三次元座標を記憶する記憶手段を備えることにより、撮影時刻に対応付けて計測対象の三次元座標を計測でき、計測対象の形状や位置が季節、時刻により変動する際には、これらの変動に伴う三次元座標の変位を計測できる。
【発明を実施するための最良の形態】
【0049】
次に、本発明の三次元画像計測システムの一実施例を図面に基づいて説明する。図1が、本発明の一実施例の三次元画像計測システムにおける、計測対象を計測する際の適用例を表す図、図2が、同実施例の三次元画像計測システムにおける、計測対象と撮影カメラ及びカメラ制御装置との配置を表した図、図3が、同実施例の三次元画像計測システムにおける、撮影カメラの三次元座標を計測するカメラ制御装置の構成を表したブロック図、図4が、同実施例の三次元画像計測システムにおける、計測対象を撮影する撮影カメラの構成を表したブロック図、である。
【0050】
図1に表したように、本実施例の三次元画像計測システムは、例えば人が容易に近づくことができない崖などが計測対象である際に適用され、ヘリコプター(所謂、本発明における移動体である)に搭載されて計測対象を撮影する撮影カメラと、ヘリコプターの飛行に応じて、撮影カメラの平行ステレオ撮影を行い、撮影カメラの位置の三次元座標を順次計測するカメラ制御装置とを備え、撮影カメラで撮影された計測対象の画像データと撮影カメラの三次元座標に基づいて、計測対象の三次元座標を生成する。
【0051】
詳しくは、図2(a)に表したように、本実施例の三次元画像計測システムは、カメラ制御装置100が、所定の距離を介して設置された一対のカメラ1、2を備え、第1カメラ1及び第2カメラを介して、撮影カメラ200をステレオ撮影し、得られた画像データに基づいて撮影カメラ200の位置座標を検出する。
【0052】
また、計測対象三次元座標演算部300が、カメラ制御装置100で検出された撮影カメラ200の三次元座標と撮影カメラ200で撮影された計測対象Pの画像データとに基づいて、計測対象Pの三次元座標を演算する。なお、本発明における三次元画像処理部は、計測対象三次元座標演算部300によってその機能が発現される。
【0053】
また、図3に表したように、カメラ制御装置100は、第1カメラ1及び第2カメラ2、第1カメラ1及び第2カメラ2で撮像した画像データに基づいて撮影カメラ200の三次元座標を演算する三次元画像処理部10、所定の周期で発振するクロック信号を計数して撮影時刻を検出する撮影時刻検出部17、等を備えている。
【0054】
第1カメラ1及び第2カメラ2は、撮影して得られた光学像をデジタル変換して出力するデジタルカメラであって、図示されない結像光学系を介して結像された光学像を画素毎に光電変換してアナログ電気信号を生成する第1イメージセンサ3及び第2イメージセンサ4(例えば、CCDやCMOSセンサである)、第1イメージセンサ3及び第2イメージセンサ4で生成されたアナログ電気信号をデジタル信号に変換する第1A/D変換部5及び第2A/D変換部6、第1A/D変換部5及び第2A/D変換部で変換されたデジタル信号を画素座標に対応付けて記憶する第1画像メモリ7及び第2画像メモリ8、等によって構成されている。
【0055】
また、カメラ制御装置100は、第1カメラ1及び第2カメラ2で得られた画像データ、三次元座標演算部10で算出された三次元座標、撮影時刻検出部17で検出された撮影時刻等を、夫々対応付けて蓄積する第1画像データ蓄積部11を備えている。
【0056】
また、カメラ制御装置100は、三次元画像処理部10で得られた撮影カメラ200の三次元座標を所定の指令値と比較して撮影タイミングを設定し、その撮影タイミングデータを第1通信制御部13へ出力する位置判定処理部12、位置判定処理部12から入力された撮影タイミングの指令データを通信データに変換して第1通信部14へ出力する第1通信制御部13、第1通信制御部13から入力された通信データを撮影カメラ200へ出力する第1通信部14、第1カメラ制御部9、等を備え、第1カメラ制御部9が所定の制御プログラムに従って当該カメラ制御装置100の各処理を制御する。
【0057】
ここで、第1通信制御部13は、一般的なTCP/IPやBASIC制御手順の通信プロトコルを制御する。そして、第1通信制御部13は、受信の際は、受信したデータの誤り検出・再送、フロー制御(受信側で受信データのオーバーフローを避けるための通信制御)を行い、正確な受信データを位置判定処理部12へ渡す。送信の際は、位置判定処理部12からの送信データを第1通信部14へ適したデータフォーマット変換を行い、データ送信や再送要求を送信する。
【0058】
また、第1通信部14は、伝送路に適した制御、有線や無線に変復調(所謂、デジタル信号を、電話回線などで通信可能なアナログ信号(またはその逆)に変換する)等を行うと共に、第1通信制御部13とデータの授受を行う。
【0059】
また、カメラ制御装置100は、オペレータが撮影カメラ200の撮影位置や撮影タイミングを指令するインタフェース15と、インタフェース15から入力されたオペレータの指令信号を記憶する撮影位置記憶手段16とを備え、撮影タイミングの指令モードとして以下の2つのモードを備える。
【0060】
第1の指令モードは、オペレータからの指令信号の入力動作を計測対象Pを撮影する際の撮影タイミングに同期させるものであって、インターフェース15から入力された指令信号が位置判定処理部12を介して第1通信制御部13に入力される。
【0061】
一方、第2の指令モードは、計測対象Pを撮影する際の撮影カメラ200の三次元座標を、一旦撮影位置記憶手段16に記憶させ、次いで、位置判定処理部12が三次元画像処理部10で演算された撮影カメラ200の三次元座標と撮影位置記憶手段16に記憶された三次元座標とを比較してその差分値を求め、その差分値が所定の値の範囲内に至った際に(比較結果結果に応じて両者が略一致した際に)第1通信制御部13に入力される。なお、本発明における撮影タイミング指令手段が、インタフェース15、撮影位置記憶手段16、位置判定処理部12、等によってその機能が発現される。また、本発明における比較手段が、位置判定処理部16によってその機能が発現される。
【0062】
次に、図2(b)に表したように、カメラ制御装置100は、撮影カメラ200の実空間座標をP(x,y,z)、第1カメラ1に撮像された撮影カメラ200の画像座標をP(x,y)、第2カメラ2に撮像された撮影カメラ200の画像座標をP(x,y)、第1カメラ1における結像位置をO、第2カメラ2の結像位置をO、第1カメラ1及び第2カメラ2の焦点距離をc、基線長(カメラ1とカメラ2との光軸間距離である)をBとして表すと、前述の(式1)〜(式5)の関係がある。そこで、(式3)を用いてz(所謂、撮影距離に相当する)を求め、この求めたzを(式1)、(式2)に代入することにより、x、yを求めることができ、これにより、計測対象Pの三次元座標P(x,y,z)を得ることができる。
【0063】
また、本実施例では、予め、焦点距離cが20mm、基線長Bが2m、画像分解能が3μmに設定されており、(式1)及び(式2)で得られたzが100mとした場合、(式4)及び(式5)を用いて得られる計測精度は、平面分解能(ΔXY)が15mm、奥行き分解能(ΔZ)が0.75mである。
【0064】
次に、撮影カメラ200は、図4に表したように、計測対象Pを撮影する第3カメラ21、第3カメラ21で撮影した画像データを蓄積する第2画像データ蓄積部28、第1カメラ制御装置100及び計測対象三次元座標演算部300と送受信可能に構成された第2通信制御部26及び第2通信部27、第2カメラ制御部25等を備え、第2カメラ制御部25が所定の制御プログラムに従って当該撮影カメラ200の各処理を制御する。
【0065】
第3カメラ21は、撮影して得られた光学像をデジタル変換して出力するデジタルカメラであって、図示されない結像光学系を介して結像された光学像を画素毎に光電変換してアナログ電気信号を生成する第3イメージセンサ22(例えば、CCDやCMOSセンサである)、第3イメージセンサ22で生成されたアナログ電気信号をデジタル信号に変換する第3A/D変換部23、第3A/D変換部23で変換されたデジタル信号を画素座標に対応付けて記憶する第3画像メモリ24、等によって構成されている。
【0066】
第2画像データ蓄積部28は、撮影した計測対象Pの画像データを、カメラ制御装置100から受信した指令信号に対応付けて、順次蓄積する。
【0067】
第2通信制御部26は、一般的なTCP/IPやBASIC制御手順の通信プロトコルを制御する。そして、第2通信制御部26は、受信の際は、受信したデータの誤り検出・再送、フロー制御を行い、正確な受信データを第2カメラ制御部26へ渡す。また、第2通信制御部26は、送信の際は、送信データを第2通信部27へ適したデータフォーマット変換を行い、データ送信や再送要求を送信する。
【0068】
そして、第2カメラ制御部25は、第2通信部27を介してカメラ制御装置100からの撮影指令信号を受けると第3カメラ21を制御して計測対象Pの撮影を行い、その画像データを撮影指令信号に対応付けて第2画像データ蓄積部28に蓄積するように制御する。
【0069】
また、第2画像データ蓄積部28に蓄積された計測対象Pの画像データは、オペレータからの指令に応じて計測対象三次元座標演算部300に送信される。また、この際、オペレータからの指令を、カメラ制御装置100を介して撮影カメラ200に送信したり、カメラ制御装置100を介することなく、計測対象三次元座標演算部300から撮影カメラに送信したりしてもよい。
【0070】
次に、計測対象三次元座標演算部300は、撮影カメラ200で撮影された画像データとカメラ制御装置100で計測した撮影カメラ200の三次元座標を用いて、計測対象Pにおける各部位の三次元座標を演算する。また、この際、前述の(式6)〜(式9)の関係式で表されるバンドル法を用いて、傾いたカメラ座標系における計測対象P(X,Y,Z)の三次元座標(X,Y,Z)を求める。図6に表したように、X、Y、Zの地上座標系を有する計測対象Pから反射された光線は、撮影カメラ200の投影中心(X,Y,Z)に向かって直進し、投影面(写真座標面)において像点Pに結像する。
【0071】
そこで、前述の(式6)〜(式8)において、カメラ制御装置100における三次元画像処理部10で算出された第3カメラ21の三次元座標を(X,Y,Z)とし、第3カメラ21の焦点距離をc、第3カメラ21の傾き(ω,φ,κ)とする。
【0072】
また、(式6)〜(式8)において、地上座標系における計測対象Pの三次元座標を(X,Y,Z)、計測対象P(X,Y,Z)の傾いたカメラ座標系におけるカメラ座標を(X,Y,Z)とする。
【0073】
(式6)〜(式8)において、第3カメラ21の傾き(ω,φ,κ)が未知数であるので、予め既知の3つ以上の基準点の座標をX,Y,Zとして与えると共に、それらの基準点の値をX、Y、Zとして与え、最小2乗法で解くことによって3つの未知数(ω,φ,κ)を求める。
【0074】
ここで求められた三次元座標(X,Y,Z)は、GPSで得られる緯度、経度、高度等の絶対座標ではなく、ある点を基準としたときの相対座標なので、第3カメラ21の撮影範囲内に予め絶対座標が既知の基準点を3つ以上含めておくことにより、この基準点における絶対座標と三次元座標(X,Y,Z)との相関を求め、三次元座標(X,Y,Z)を絶対座標に変換する。
【0075】
以上のように、本実施例に記載の三次元画像計測システムは、移動体に搭載した撮影カメラ200をステレオ撮影して撮影カメラ200の三次元座標を生成するカメラ制御装置100と、撮影カメラ200で撮影された画像データと撮影カメラ200の三次元座標に基づいて計測対象Pの三次元座標を生成する計測対象三次元座標生成部300とを備えているので、人が容易に近づくことができない地形や構造物等の計測であって撮影位置を高精度に確保できない場所であっても、精度良く計測できる。
【0076】
また、本実施例に記載の三次元画像計測システムは、移動体に搭載された撮影カメラ200の三次元座標を計測する際に、カメラ制御装置100を用いてステレオ撮影することにより、DGPSやRTK−GPSに較べて、DGPSやRTK−GPSに対応する送受信機等の特別な設備を必要とすることなく、且つ、撮影カメラ200の撮影位置がGPS電波の受信可能な地域や基準局との送信可能な地域に制限されることなく、リアルタイム性が良好であって低コスト化を容易にできる。
【0077】
また、本実施例に記載の三次元画像計測システムは、撮影カメラ200の三次元座標に対応付けて、撮影タイミングを指令する撮影タイミング指令手段としての、位置判定処理部12、指令値記憶手段16、インタフェース15等を備えているので、撮影カメラ200の三次元座標と撮影動作とを容易に連動させることができる。
【0078】
また、本実施例に記載の三次元画像計測システムは、撮影時刻検出部17を備え、第1画像データ蓄積部11に、撮影時刻に対応付けて、画像データと撮影カメラ200の三次元座標を記憶するように構成されているので、計測対象Pの形状や位置が季節、時刻により変動する際には、これらの変動に対応付けて、計測対象の三次元座標を計測できる。
【0079】
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。例えば、計測対象三次元座標演算部300において、バンドル法の原理を用いて計測対象Pの三次元座標(X,Y,Z)を演算したが、バンドル法に代えてステレオ撮影法の原理を用いて計測対象Pの三次元座標を演算してもよい。
【図面の簡単な説明】
【0080】
【図1】本発明の一実施例の三次元画像計測システムにおける、計測対象を計測する際の適用例を表す図である。
【図2】同実施例の三次元画像計測システムにおける、計測対象と撮影カメラ及びカメラ制御装置との配置を表した図である。
【図3】同実施例の三次元画像計測システムにおける、撮影カメラの三次元座標を計測するカメラ制御装置の構成を表したブロック図である。
【図4】同実施例の三次元画像計測システムにおける、計測対象を撮影する撮影カメラの構成を表したブロック図である。
【図5】ステレオ法の原理を説明する図である。
【図6】バンドル法における共線条件式の説明図である。
【符号の説明】
【0081】
1…第1カメラ、2…第2カメラ、3…第1イメージセンサ、4…第2イメージセンサ、5…第1A/D変換部、6…第2A/D変換部、7…第1画像メモリ、8…第2画像メモリ、9…第1カメラ制御部、10…3次元画像処理部、11…第1画像データ蓄積部、12…位置判定処理部、13…第1通信制御部、14…第1通信部、15…インタフェース、16…指令値記憶手段、17…撮影時刻検出部、21…第3カメラ、22…第3イメージセンサ、23…第3A/D変換部、24…第3画像メモリ、25…第2カメラ制御部、26…第2通信制御部、27…第2通信部、28…第2画像データ蓄積部、100…カメラ制御装置、200…撮影カメラ、300…計測対象三次元座標演算部。

【特許請求の範囲】
【請求項1】
移動体に搭載されて該移動体から計測対象を撮影する撮影カメラと、
前記移動体の移動に応じて、前記撮影カメラの平行ステレオ撮影を行い、該撮影カメラの三次元座標を順次計測するカメラ制御装置と、
前記撮影カメラで撮影された前記計測対象の画像データと前記撮影カメラの三次元座標に基づいて、前記計測対象の三次元座標を生成する三次元画像処理部と、
を備えることを特徴とする三次元画像計測システム。
【請求項2】
前記撮影カメラの三次元座標に対応付けて、該撮影カメラの撮影タイミングを指令する撮影タイミング指令手段を備える、
ことを特徴とする請求項1に記載の三次元画像計測システム。
【請求項3】
オペレータが前記撮影カメラの撮影タイミングを指令するオペレータ指令手段を備え、前記撮影カメラが、前記オペレータからの指令信号に基づいて前記計測対象を撮影するように構成されている、
ことを特徴とする請求項1又は請求項2に記載の三次元画像計測システム。
【請求項4】
前記撮影カメラの撮影時刻を記憶すると共に、前記撮影時刻に対応付けて、前記画像データと前記撮影カメラの三次元座標を記憶する記憶手段を備える、
ことを特徴とする請求項1乃至請求項3の何れか記載の三次元画像計測システム。
【請求項5】
前記撮影タイミング指令手段が、
前記撮影対象を撮影する際の当該撮影カメラの三次元座標を予め記憶する撮影位置記憶手段と、
前記カメラ制御装置で計測された前記撮影カメラの三次元座標を、前記撮影位置記憶手段に記憶された撮影カメラの三次元座標と比較する比較手段と、
を備え、
前記比較手段の比較結果に応じて、比較した両者の三次元座標が略一致した際に、前記撮影カメラの撮影タイミングを指令する、
ことを特徴とする請求項2に記載の三次元画像計測システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2010−43961(P2010−43961A)
【公開日】平成22年2月25日(2010.2.25)
【国際特許分類】
【出願番号】特願2008−208330(P2008−208330)
【出願日】平成20年8月13日(2008.8.13)
【出願人】(501324524)アキュートロジック株式会社 (53)