説明

画像処理装置及び画像処理方法

【課題】 被写体が画像に映し出される位置をより正確に算出すること。
【解決手段】 ターゲット111が撮像された収集画像B(i,j)を収集する画像収集部103と、ターゲット111の形状を収集する被写体形状収集部101と、画像上の複数の位置を適当に生成するパラメータ決定部105と、複数の位置の各々と形状とに基づいてターゲット111が映る複数の算出画像b(i,j)を算出する画像算出部106と、収集画像B(i,j)と算出画像b(i,j)とを比較する画像比較部107と、複数の位置のうちの収集画像B(i,j)に最も近似する近似算出画像b(i,j)を生成するときに用いられた映り位置を算出する映り位置算出部108とを備えている。このとき、画像処理装置100は、ターゲット111を映し出す収集画像B(i,j)の画素数が少ないときであっても、ターゲット111が収集画像B(i,j)に映し出される映り位置をより正確に算出することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関し、特に、画像のうちの被写体が映っている位置を検出する画像処理装置及び画像処理方法に関する。本発明は、さらに、大規模構造物計測装置に関し、特に、その検出された位置に基づいてその被写体の大きさを計測する大規模構造物計測装置に関する。
【背景技術】
【0002】
画像のうちの被写体が映っている位置を検出する画像処理が知られている。このような画像処置としては、閾値を用いる方法とエッジを検出する方法とエッジを用いた対称点推定の方法とが例示される。
【0003】
その閾値を用いる方法は、2値化処理(または画像フィルタリング処理)を行って、画像から諧調、輝度等に関して対象物を示す対象画素とその他の背景画素とを分離する方法である。図15は、ターゲットを映し出す画像の複数の画素がそれぞれ示す複数の階調を示している。その画像210は、9個の画素から形成されている。その9個の画素は、3行3列に格子状に配列されている。第1行1列目の画素の階調は、80を示している。第1行2列目の画素の階調は、90を示している。第1行3列目の画素の階調は、50を示している。第2行1列目の画素の階調は、90を示している。第2行2列目の画素の階調は、90を示している。第2行3列目の画素の階調は、50を示している。第3行1列目の画素の階調は、50を示している。第3行2列目の画素の階調は、50を示している。第3行3列目の画素の階調は、75を示している。このとき、被写体の像の中心の位置は、重心で代替するとした場合に、閾値を80としたときに位置211が算出され、閾値を50としたときに位置212が算出される。
【0004】
すなわち、被写体の像の中心の位置は、設定される閾値により異なる結果が算出される。このような相違は、画像における対象物の画素数が少数の場合ほど顕著となる。
【0005】
そのエッジを検出する方法では、その2値化処理(またはフィルタリング処理)により得られた2値化処理画像またはフィルタリング画像からその対象物のエッジ周辺画素をトレースしてエッジ(輪郭線形状)を検出し、そのエッジで囲まれた図形の中心をその画像の対象点として算出する。図16は、被写体の画像を示している。その画像201は、複数の画素202−1〜202−uから形成されている。複数の画素202−1〜202−uは、それぞれ、互いに合同であり、水平方向と垂直方向とに格子状に配置されて形成されている。各画素202−v(v=1,2,3,…,u)は、白と黒の濃淡を示す階調を示している。画像201は、画素202−1〜202−uがそれぞれ示す階調により、その被写体の像203を表現している。被写体の像203のエッジとしては、たとえば、隣り合う画素の階調の差が所定の閾値より大きい部分が検出される。このようなエッジを正確に算出するには、対象物の画素数が多数存在することが好ましい。
【0006】
そのエッジを用いた対象点を推定する方法は、検出された対象物の画像のエッジより、対象物の対称性(たとえば、点対称や線対称)を利用して行われている。そのエッジは、画像における対象物の画素数が多ければ多いほどより正確に算出することができる。このため、このような方法により推定される点は、画像における対象物の画素数が多ければ多いほどより正確に算出することができる。
【0007】
このような3つの画像処理は、画像における対象物の画素数が多数であることが位置精度を向上のために望ましい。しかしながら、対象物を映し出す画素の画素数は、高画素数のカメラであっても被写体を遠距離から撮影したときに、少なくなる。対象物を映し出す画素数が少ないときに、被写体が画像に映し出される位置をより正確に算出することが望まれている。
【0008】
特許2640401号公報には、板状体の寸法を、短時間、かつ高精度で測定可能とする画像処理による板状体の寸法算出装置が開示されている。その寸法算出装置は、板状体に定めた測定部位の寸法を算出する画像処理による板状体の寸法算出装置であって、板状体の測定部位を含む画像を取り込む撮像装置と、撮像装置によって撮像された画像の濃度差からしきい値を定め、当該画像を2値化処理し、2値化処理によって区画された測定部位を含む測定対象画像を求め、当該測定対象画像の画素数に予め定めてある1画素当たりの面積を掛けて当該測定対象画像の面積(A)を算出するとともに、当該測定対象画像の輪郭線形状から当該測定対象画像の面積(A)を算出し、AとAとが略一致するまで前述のしきい値を変化させて最適しきい値を求め、最適しきい値により2値化処理した測定対象画像の画像処理により当該測定部位の寸法を算出する画像処理装置とを有する。
【0009】
特許3132932号公報には、検査対象画像エリア内で加工跡の方向が変化している場合にも、前記方向が変化している領域毎に、有効なフィルタリング・オペレータを自動的に選択する画像フィルタリング方法が開示されている。その画像フィルタリング方法は、画像処理で、ノイズ除去や必要画像の強調を行うフィルタリング方法において、検査対象物を撮像して得られた検査対象画像エリアを小領域に分割する小領域切出し工程と、前記分割された小領域毎の画像の画像方向成分を検査対象物の履歴から算出する画像方向成分算出工程と、前記画像方向成分算出結果から、強調、或いは、消去するべき特定方向の画像成分を選定し、選定した特定方向の画像成分を強調、或いは、消去するフィルタリング・オペレータを選択するオペレータ選択工程と、前記選択されたフィルタリング・オペレータを使用してフィルタリングするフィルタリング工程とを有することを特徴としている。
【0010】
特許3078157号公報には、画像内に検出すべき形状以外で濃度変化の顕著な部分があった場合においても、その部分から受ける影響の少ない形状検出方法が開示されている。その形状検出方法は、対象物を撮像した画像内のある注目画素に対して相対的に決定した位置にあらかじめ設定した1個以上の濃度参照領域内の画像濃度を用いて計算される画像と検出形状との濃度相関値を用いて、上記注目画素を画像内で移動させた場合に濃度相関値が最大または最小値を示す注目画素の位置をもって所定の形状の位置として検出する形状検出方法であって、各濃度参照領域内の各点における画像濃度とその各点に対してあらかじめ設定した係数との積の上記各領域内での和を、あらかじめ学習により構造を決定したニューラルネットワークの入力とし、同ネットワークから出力値濃度相関値として用いることを特徴としている。
【0011】
特許3473114号公報には、被検査物が画像入力装置の視野内に存在していれば、被検査物の向き、個数、位置には関係なく寸法や形状を一定の評価基準で評価できるように被検査物の位置を求める画像処理方法が開示されている。その画像処理方法は、被検査物を含む空間領域を画像入力装置により撮像して得た画像を用いて被検査物の外観形状を評価する画像処理方法であって、画像内で被検査物の重心の位置を求め、被検査物の重心を中心とする所定直径の評価円の円周上である評価領域で画素をトレースすることにより被検査物に含まれる画素数である評価値を求め、この評価値により被検査物の種別を評価することを特徴としている。
【0012】
特許3386183号公報には、被検出部位が、その全体にわたって明確に撮像されていない場合にも、該被検出部位もしくはこれが設けられた物品の位置を確実に検出することができる位置検出装置が開示されている。その物品の位置検出装置は、物品に設けられた被検出部位の形状に対応したパターンを有するテンプレートを上記被検出部位を撮像した画面上で走査させて、該被検出部位の画像とテンプレートとがマッチングしたときの該テンプレートの座標から被検出部位の位置を検出する装置であって、上記テンプレートとして、被検出部位の形状を複数個に分割したときの各部分の形状にそれぞれ対応したパターンを有する複数個のテンプレートを設定するテンプレート設定手段と、該設定手段で設定された各テンプレートを順次走査させるテンプレート走査手段と、これらのテンプレートの被検出部位の対応部分の画像とマッチングしたテンプレートについての座標データと、そのマッチングした画面上の座標データとから被検出部位の全体としての位置を演算し、且つ、複数個のテンプレートが被検出部位の対応部分の画像とマッチングしたときに、各テンプレートについて求められる被検出部位全体としての位置の平均値を算出する位置演算手段とを有することを特徴としている。
【0013】
特公平07−82548号公報には、マッチング・フィルタを廃止すると共に、中心検出のための処理を簡略化することができ、円図形の位置や大きさが変化する場合であっても、容易に中心を検出することができる円図形の中心検出方法が開示されている。その円図形の中心検出方法は、2値化処理されたディジタル画像内の円図形の中心を検出するに際し、任意の軸を中心とする対称範囲内の画素値を乗算してその関数を前記軸の出力とし、前記出力が極値となる軸を異なる方向において二本検出し、このとき、関数は、一方の軸をj、他方の軸をiとし、画面寸法をN、円図形の半径をn、各軸方向に対する1〜Nの領域の変数をk、各軸を中心とした対称範囲を決定する1〜nの領域の変数をlとして、
【数1】

【数2】

と定義されるものとし、出力が極値となった両軸の交点を円図形の中心として検出することを特徴としている。
【0014】
特許3206675号公報には、対象物を画像処理し、この画像処理された対象物を示す画素に基づいて該対象物の面積および周囲長を算出してその形状を認識する場合に、上記対象物がイビツな形状の場合や該対象物の画像を構成する画素数が少ない場合であっても、該対象物の形状を画像より的確に認識し得ると共に、その円形度合いを適切に判定し得ることのできる画像処理方法が開示されている。その画像処理方法は、対象物を撮像して画像処理し、この画像処理された対象物の画像を構成する画素に基づいて該対象物の面積および周囲長を算出してその形状を認識する画像処理方法であって、上記対象物の画像を構成する画素数を予め設定された所定値と比較し、この画素数が上記所定値より小さい場合、上記対象物の画像を構成する単位画素に相当する大きさの基準部およびその周囲の検出部を有する特徴抽出フィルタを用いて、該フィルタの基準部を上記対象物の画像を構成する画素に隣接する周囲の各単位画素に重合させながら移動させて該フィルタの検出部の各々と対象物画像を構成する画素との重なりの有るなしを検出することにより該対象物画像の角部および凹凸部を検索すると共に、この検索結果に基づいて上記フィルタの基準部の移動した単位画素毎に、上記各検出部と対象物画像を構成する各画素との重なりの数を算出し、この重なりの数に応じて設定された補正パターンにしたがって、上記対象物画像を平滑化するように該対象物画像の角部および凹凸部における画素を増加させる方向に補正すると共に、周囲長を補正し、該補正後の対象物画像に基づいて対象物の面積および周囲長を算出することを特徴としている。
【0015】
特許2619063号公報には、ディジタル画像に変換されたほぼ楕円状の対象物の真円度R、周囲長、長軸と短軸との比の計測など、従来局所計測値の積上げによる計測のために精度が悪かった各種の計測が、高精度で行える画像計測装置が開示されている。その画像計測装置は、ほぼ楕円状の計測対象物のディジタル画像を格納するための画像メモリと、この画像メモリをラスタスキャンし、上記ディジタル画像のラン毎のラン座標を計測する第1の計測手段と、この第1の計測手段によって計測された上記ディジタル画像のラン毎のラン座標をもとに、上記計測対象物の重心を通る長軸まわりの2次モーメントmyおよび短軸まわりの2次モーメントmxを算出する2次モーメント算出手段と、この2次モーメント算出手段によって算出された上記2次モーメントmxおよびmyをもとに、上記計測対象物の各種計測を行う第2の計測手段と、を具備することを特徴としている。
【0016】
特許2857834号公報には、目標に類似した亜目標が目標の近傍に存在する場合でも、亜目標Jに惑わされずに、正しい目標Tの概略位置を取得することが出来る目標位置取得方法および目標位置取得装置が開示されている。その目標位置取得方法は、目標(T)を含むウインドウ領域(R)を画像(I)上に設け、前記ウインドウ領域(R)内の画素の座標(H,V)と画素値(G)とにより当該ウインドウ領域(R)の重心位置(Hg,Vg)を求め、その重心位置(Hg,Vg)を目標(T)の概略位置として取得する目標位置取得方法において、注視点座標(Hp,Vp)が設定されたときに、その注視点座標(Hp,Vp)の近くでは比較的大きな値となり,注視点座標(Hp,Vp)から離れると比較的小さな値となる重み(W)を前記画素値(G)に乗算し、前記ウインドウ領域(R)内の画素の座標(H,V)および重み・画素値積(W・G)により当該ウインドウ領域(R)の重心位置(Hg,Vg)を求め、その重心位置(Hg,Vg)を前記目標(T)の概略位置として取得することを特徴としている。
【0017】
このような画像処理は、画像を用いて被写体の大きさを計測するフォトグラメトリに適用されている。そのフォトグラメトリは、互いに異なる複数の地点から被写体を撮像し、その画像に基づいてその撮影位置に独立に被写体上の各点相互の距離・角度を算出し、これを数値や図面で表現する方法である。このようなフォトグラメトリを実行するソフトウェアとしては、アメリカGeodeticSeRvices社製の製品である「V−StaR」、カナダEosSystems社製の製品である「PhotoModeleRPRo.」が例示される。
【0018】
橋梁に例示される10mを越える大規模構造物は、そのフォトグラメトリにより計測するときに、その大規模構造物の全体を映し出す画像が用いられ、または、その大規模構造物を複数の部分に分割して、その境界部分をオーバーラップしてその各部分を映し出す多数の画像が用いられる。その大規模構造物の全体を映し出す画像が用いられるときに、その大規模構造物の計測対象点は、画像に精密に映し出されないで、精密に計測されないことがある。その大規模構造物の分割された各部分を映し出す画像が用いられるときに、撮像される画像の枚数が多数になり、その画像を撮像することに手間がかかる。大規模構造物の全体を映し出す画像を用いてその大規模構造物を計測するときに、その大規模構造物の計測対象点が画像に映し出される位置をより正確に算出して、大規模構造物をより精密に、かつ、より容易に計測することが望まれている。
【0019】
特開平10−206131号公報には、ロボットハンドの姿勢を変えることなく、前方向と上下左右方向の被計測物の計測を高精度に行うことができ、これによって安価な構成で、かつ計測時間の短縮を図ることのできる立体形状計測装置が開示されている。その立体形状計測装置は、投光手段と撮像手段とよりなる三次元視覚センサが前方向とその前方向に直交する横方向とに向けてそれぞれ一組ずつ配されるとともに、前後方向軸回りに回動自在に構成される計測子を備えることを特徴としている。
【0020】
特許2512132号公報には、建築又は土木現場において、ターゲットの捕捉が人手を要さずに容易にでき、特に任意に移動する物体や、この物体が巨大(例えばドームの開閉式天井等)であって多数の任意に変位する測点を繰返し測定する場合において、人手を要することなくしかも容易に測定することのできる建築又は土木現場用三次元位置測定装置が開示されている。その建築又は土木現場用三次元位置測定装置は、建築又は土木現場で使用される三次元位置測定装置において、中心部分に向けた光線の反射光の輝度が高いターゲットである球体または楕円体の再帰性反射体と、少なくとも該反射体の対向する中心部分を照射する照射装置と、該照射装置近傍部に各光軸が該照射光軸と平行となるように設けられた光波距離計及びテレビカメラと、該テレビカメラの水平角高度角の検出及び該検出信号の出力機能とテレビカメラの姿勢制御機能を備えた該テレビカメラ支承用の雲台と、該テレビカメラに接続された画像処理装置と、前記照射装置、光波距離計、雲台並びに画像処理装置に接続されたマイクロコンピュータとを有してなることを特徴としている。
【0021】
【特許文献1】特許2640401号公報
【特許文献2】特許3132932号公報
【特許文献3】特許3078157号公報
【特許文献4】特許3473114号公報
【特許文献5】特許3386183号公報
【特許文献6】特公平7−82548号公報
【特許文献7】特許3206675号公報
【特許文献8】特許2619063号公報
【特許文献9】特許2857834号公報
【特許文献10】特開平10−206131号公報
【特許文献11】特許2512132号公報
【発明の開示】
【発明が解決しようとする課題】
【0022】
本発明の課題は、被写体が画像に映し出される位置をより正確に算出する画像処理装置及び画像処理方法を提供することにある。
本発明の他の課題は、被写体が画像に映し出される位置をより正確により速く算出する画像処理装置及び画像処理方法を提供することにある。
本発明のさらに他の課題は、より大規模な構造物をより精密に、かつ、より容易に計測する大規模構造物計測装置を提供することにある。
【課題を解決するための手段】
【0023】
以下に、発明を実施するための最良の形態・実施例で使用される符号を括弧付きで用いて、課題を解決するための手段を記載する。この符号は、特許請求の範囲の記載と発明を実施するための最良の形態・実施例の記載との対応を明らかにするために付加されたものであり、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。
【0024】
本発明による画像処理装置(100)は、ターゲット(111)が撮像された収集画像(B(i,j))を収集する画像収集部(103)と、ターゲット(111)の形状を収集する被写体形状収集部(101)と、画像上の複数の位置を適当に生成するパラメータ決定部(105)と、複数の位置の各々と形状とに基づいてターゲット(111)が映る複数の算出画像(b(i,j))を算出する画像算出部(106)と、収集画像(B(i,j))と算出画像(b(i,j))とを比較する画像比較部(107)と、複数の位置のうちの収集画像(B(i,j))に最も近似する近似算出画像(b(i,j))を生成するときに用いられた映り位置を算出する映り位置算出部(108)とを備えている。このとき、画像処理装置(100)は、ターゲット(111)を映し出す収集画像(B(i,j))の画素数が少ないときであっても、ターゲット(111)が収集画像(B(i,j))に映し出される映り位置をより正確に算出することができる。
【0025】
本発明による画像処理装置(100)は、ターゲット(111)の表面性状(I′(x,y))を収集する表面性状収集部(102)を更に備えている。複数の算出画像(b(i,j))は、それぞれ、複数の画素から形成され、複数の画素は、それぞれ、階調を示し、階調は、それぞれ、表面性状(I′(x,y))に基づいて算出される。ターゲット(111)は、表面性状により光の反射量が異なり、表面性状により収集画像(B(i,j))への映り方、すなわち、各画素が示す階調が異なる。このとき、画像処理装置(100)は、その表面性状(I′(x,y))を考慮することにより、収集画像(B(i,j))の画素数が少ないときであっても、ターゲット(111)が収集画像(B(i,j))に映し出される映り位置をより正確に算出することができる。
【0026】
パラメータ決定部(105)は、更に、複数のパラメータ(R、R、α)を適当に生成し、複数の算出画像(b(i,j))は、それぞれ、ターゲット(111)が平面に正射影された正射影図形(113)を複数のパラメータ(R、R、α)の各々に基づいて変形された結像図形(115)を示し、映り位置算出部(108)は、更に、パラメータ(R、R、α)のうちの近似算出画像(b(i,j))を生成するときに用いられたパラメータ(R、R、α)を算出する。収集画像(B(i,j))は、撮像するカメラに固有の歪曲収差により、ターゲット(111)が平面に正射影された正射影図形(113)から変形された図形を示している。このとき、画像処理装置(100)は、その収差を考慮することにより、収集画像(B(i,j))の画素数が少ないときであっても、ターゲット(111)が収集画像(B(i,j))に映し出される映り位置をより正確に算出することができる。
【0027】
本発明による画像処理装置は、制約条件を収集する制約条件収集部(104)を更に備えている。このとき、パラメータ決定部(105)は、その制約条件を満たす範囲で複数の位置と複数のパラメータとを生成することが好ましい。
【0028】
被写体形状収集部(101)により収集されるターゲット(111)の形状は、ターゲット(111)を平面に正射影した図形により表現されることが好ましい。
【0029】
ターゲット(111)を平面に正射影した図形は、回転対称性を有する。すなわち、本発明による画像処理装置は、平面に正射影された図形が回転対称性を有するターゲット(111)を適用することが計算を速くする点で好ましい。
【0030】
映り位置は、非線形計画問題の解法を用いて算出されることが好ましい。すなわち、パラメータ決定部(105)と画像算出部(106)と画像比較部(107)と映り位置算出部(108)とは、連係し、非線形計画問題の解法を用いて映り位置を算出する。
【0031】
本発明による画像処理方法は、ターゲット(111)が撮像された収集画像(B(i,j))を収集するステップと、ターゲット(111)の形状を収集するステップと、画像上の複数の位置を適当に生成するステップと、複数の位置の各々と形状とに基づいてターゲット(111)が映る複数の算出画像(b(i,j))を算出するステップと、収集画像(B(i,j))と算出画像(b(i,j))とを比較するステップと、複数の位置のうちの収集画像(B(i,j))に最も近似する近似算出画像(b(i,j))を生成するときに用いられた映り位置を算出するステップとを備えている。このような画像処理方法によれば、ターゲット(111)を映し出す収集画像(B(i,j))の画素数が少ないときであっても、ターゲット(111)が収集画像(B(i,j))に映し出される映り位置をより正確に算出することができる。
【0032】
本発明による画像処理方法は、ターゲット(111)の表面性状(I′(x,y))を収集するステップを更に備えている。複数の算出画像(b(i,j))は、それぞれ、複数の画素から形成され、複数の画素は、それぞれ、階調を示し、階調は、それぞれ、表面性状(I′(x,y))に基づいて算出される。ターゲット(111)は、表面性状により光の反射量が異なり、表面性状により収集画像(B(i,j))への映り方、すなわち、各画素が示す階調が異なる。このような画像処理方法によれば、その表面性状(I′(x,y))を考慮することにより、収集画像(B(i,j))の画素数が少ないときであっても、ターゲット(111)が収集画像(B(i,j))に映し出される映り位置をより正確に算出することができる。
【0033】
本発明による画像処理方法は、複数のパラメータ(R、R、α)を適当に生成するステップを更に備えている。複数の算出画像(b(i,j))は、それぞれ、ターゲット(111)が平面に正射影された正射影図形(113)を複数のパラメータ(R、R、α)の各々に基づいて変形された結像図形(115)を示し、映り位置は、複数のパラメータ(R、R、α)のうちの近似算出画像(b(i,j))を生成するときに用いられたパラメータ(R、R、α)とともに算出される。収集画像(B(i,j))は、撮像するカメラに固有の歪曲収差により、ターゲット(111)が平面に正射影された正射影図形(113)から変形された図形を示している。このような画像処理方法によれば、その収差を考慮することにより、収集画像(B(i,j))の画素数が少ないときであっても、ターゲット(111)が収集画像(B(i,j))に映し出される映り位置をより正確に算出することができる。
【0034】
本発明による画像処理方法は、制約条件を収集するステップ(S24)を更に備えている。このとき、複数の位置と複数のパラメータとは、その制約条件を満たす範囲で生成されることが好ましい。
【0035】
ターゲット(111)の形状は、ターゲット(111)を平面に正射影した図形により表現されることが好ましい。
【0036】
ターゲット(111)を平面に正射影した図形は、回転対称性を有する。すなわち、本発明による画像処理方法は、平面に正射影された図形が回転対称性を有するターゲット(111)を適用することが計算を速くする点で好ましい。
【0037】
映り位置は、非線形計画問題の解法を用いて算出されることが好ましい。
【0038】
本発明による画像処理プログラムは、コンピュータである画像処理装置(100)により実行されるコンピュータプログラムであり、そのコンピュータプログラムの部分として、ターゲット(111)が撮像された収集画像(B(i,j))を収集するステップと、ターゲット(111)の形状を収集するステップと、画像上の複数の位置を適当に生成するステップと、複数の位置の各々と形状とに基づいてターゲット(111)が映る複数の算出画像(b(i,j))を算出するステップと、収集画像(B(i,j))と算出画像(b(i,j))とを比較するステップと、複数の位置のうちの収集画像(B(i,j))に最も近似する近似算出画像(b(i,j))を生成するときに用いられた映り位置を算出するステップとを備えている。このような画像処理プログラムによれば、ターゲット(111)を映し出す収集画像(B(i,j))の画素数が少ないときであっても、ターゲット(111)が収集画像(B(i,j))に映し出される映り位置をより正確に算出することができる。
【0039】
本発明による画像処理プログラムは、ターゲット(111)の表面性状(I′(x,y))を収集するステップを更に備えている。複数の算出画像(b(i,j))は、それぞれ、複数の画素から形成され、複数の画素は、それぞれ、階調を示し、階調は、それぞれ、表面性状(I′(x,y))に基づいて算出される。ターゲット(111)は、表面性状により光の反射量が異なり、表面性状により収集画像(B(i,j))への映り方、すなわち、各画素が示す階調が異なる。このような画像処理プログラムによれば、その表面性状(I′(x,y))を考慮することにより、収集画像(B(i,j))の画素数が少ないときであっても、ターゲット(111)が収集画像(B(i,j))に映し出される映り位置をより正確に算出することができる。
【0040】
本発明による画像処理プログラムは、複数のパラメータ(R、R、α)を適当に生成するステップを更に備えている。複数の算出画像(b(i,j))は、それぞれ、ターゲット(111)が平面に正射影された正射影図形(113)を複数のパラメータ(R、R、α)の各々に基づいて変形された結像図形(115)を示し、映り位置は、複数のパラメータ(R、R、α)のうちの近似算出画像(b(i,j))を生成するときに用いられたパラメータ(R、R、α)とともに算出される。収集画像(B(i,j))は、撮像するカメラに固有の歪曲収差により、ターゲット(111)が平面に正射影された正射影図形(113)から変形された図形を示している。このような画像処理プログラムによれば、その収差を考慮することにより、収集画像(B(i,j))の画素数が少ないときであっても、ターゲット(111)が収集画像(B(i,j))に映し出される映り位置をより正確に算出することができる。
【0041】
本発明による画像処理方法は、制約条件を収集するステップ(S24)を更に備えている。このとき、複数の位置と複数のパラメータとは、その制約条件を満たす範囲で生成されることが好ましい。
【0042】
ターゲット(111)の形状は、ターゲット(111)を平面に正射影した図形により表現されることが好ましい。
【0043】
ターゲット(111)を平面に正射影した図形は、回転対称性を有する。すなわち、本発明による画像処理方法は、平面に正射影された図形が回転対称性を有するターゲット(111)を適用することが計算を速くする点で好ましい。
【0044】
映り位置は、非線形計画問題の解法を用いて算出されることが好ましい。
【0045】
本発明による大規模構造物計測装置(61)は、ターゲット(2、3、5)が取り付けられる計測対象物(6)の全体を映し出す収集画像(B(i,j))を収集する画像収集部(103)と、ターゲット(2、3、5)の形状を収集する被写体形状収集部(101)と、画像上の複数の位置を適当に生成するパラメータ決定部(105)と、複数の位置の各々と形状とに基づいてターゲット(2、3、5)が映る複数の算出画像(b(i,j))を算出する画像算出部(106)と、収集画像(B(i,j))と算出画像(b(i,j))とを比較する画像比較部(107)と、複数の位置のうちの収集画像(B(i,j))に最も近似する近似算出画像(b(i,j))を生成するときに用いられた映り位置を算出する映り位置算出部(108)と、その映り位置に基づいて計測対象物(6)の複数の測量対象点の3次元位置関係を算出するマーカ位置関係算出部(65)とを備えている。すなわち、本発明による画像処理装置(100)は、画像のうちの被写体が映っている位置に基づいてその被写体の大きさを計測する大規模構造物計測装置(61)に適用されることが好ましい。
【発明の効果】
【0046】
本発明による画像処理装置及び画像処理方法は、被写体が画像に映し出される位置をより正確に算出することができる。さらに、本発明による大規模構造物計測装置は、より大規模な構造物をより精密に、かつ、より容易に計測することができる。
【発明を実施するための最良の形態】
【0047】
図面を参照して、本発明による画像処理装置の実施の形態を記載する。図1は、その画像処理装置100を示している。画像処理装置100は、情報処理装置(コンピュータ)であり、図示されていないCPUと記録装置と入力装置と出力装置とを備えている。そのCPUは、画像処理装置100にインストールされるコンピュータプログラムを実行して、記録装置と入力装置と出力装置とを制御する。その記録装置は、画像処理装置100にインストールされるコンピュータプログラムを記録し、そのCPUにより生成された情報を一次的に記録する。その入力装置は、画像処理装置100のユーザにより操作され、その操作により生成される情報をCPUに出力する。このような入力装置としては、キーボード、CDに例示される記録媒体の読み取り装置、他のコンピュータから情報を収集する通信装置が例示される。その出力装置は、CPUにより生成された情報を画像処理装置100のユーザに認識可能に出力する。このような出力装置としては、ディスプレイ、CDに例示される記録媒体の書き込み装置、他のコンピュータに情報を配信する通信装置が例示される。
【0048】
画像処理装置100は、図1に示されているように、コンピュータプログラムである被写体形状収集部101と表面性状収集部102と画像収集部103と制約条件収集部104とパラメータ決定部105と画像算出部106と画像比較部107と映り位置算出部108とがインストールされている。
【0049】
被写体形状収集部101は、ユーザにより入力装置を用いて入力される被写体の形状をその入力装置から収集する。その被写体の形状は、被写体の正射影図形により表現される。表面性状収集部102は、ユーザにより入力装置を用いて入力される被写体の表面性状をその入力装置から収集する。その表面性状は、被写体の表面がどのように光を反射するかを示し、被写体の表面がどのような階調で画像に映るかを示している。画像収集部103は、ユーザにより入力装置を用いて入力される画像をその入力装置から収集する。その画像は、ユーザによりCCDカメラを用いて撮像される。その画像は、複数の画素から形成されている。その複数の画素は、それぞれ、互いに合同であり、水平方向と垂直方向とに格子状に配置されて形成されている。各画素は、白と黒の濃淡を示す階調を示している。すなわち、その画像は、画素がそれぞれ示す階調により、その被写体の像を表現している。なお、各画素は、色を示すこともでき、このとき、赤の濃淡と緑の濃淡と青の濃淡とをそれぞれ示す3つの数値を示している。
【0050】
制約条件収集部104は、ユーザにより入力装置を用いて入力される制約条件をその入力装置から収集する。その制約条件は、パラメータ決定部105により生成される値が取り得る範囲を制限する数式を示し、等式または不等式により表現される。
【0051】
パラメータ決定部105は、制約条件収集部104により収集された制約条件に基づいて、映り位置と収差パラメータとを適当に生成する。画像算出部106は、パラメータ決定部105により決定された映り位置と収差パラメータに基づいて、画像を算出する。画像比較部107は、画像算出部106により算出される画像と画像収集部103により収集される画像とを比較して、画像算出部106により算出される画像と画像収集部103により収集される画像との差を示す目的関数を算出する。その目的関数は、画像算出部106により算出される画像と画像収集部103により収集される画像との差が大きいほど、大きい値を示す。
【0052】
パラメータ決定部105は、画像比較部107により算出される目的関数に基づいて映り位置と収差パラメータとをさらに算出する。このとき、画像算出部106は、その映り位置と収差パラメータに基づいて画像を算出し、画像比較部107は、その画像と画像収集部103により収集される画像とを比較して目的関数を算出する。すなわち、パラメータ決定部105と画像算出部106と画像比較部107とは、繰り返して実行され、次々に映り位置と収差パラメータと画像と目的関数とを算出する。
【0053】
映り位置算出部108は、画像算出部106により算出された複数の画像のうちから制約条件収集部104により収集された制約条件を満足し、かつ、目的関数が最小となるような1つの画像を算出し、その1つの画像の算出に用いられた映り位置と収差パラメータとを算出する。すなわち、パラメータ決定部105と画像算出部106と画像比較部107と映り位置算出部108とは、連係して、映り位置と収差パラメータとを非線形計画問題として算出する。非線形計画問題は、目的関数がパラメータに対して非線形であるときに、与えられた制約条件の範囲で目的関数が最小(または最大)となるときのパラメータを算出する最適化の手法の1つである。このような非線形計画問題の解法は、周知である。映り位置算出部108は、さらに、その算出された映り位置と収差パラメータとを出力装置に出力する。
【0054】
図2は、被写体を示す正射影図形と結像図形とを示している。その正射影図形113は、被写体111とカメラとを結ぶ直線に垂直である正射影平面112に被写体111が正射影された図形を示している。その結像図形115は、正射影図形113が変形された図形である。その変形は、回転すること、縮小すること、並進することを含み、被写体111を撮像するカメラに固有の歪曲収差を含んだ像を再現することができる。このため、結像図形115は、このような変形により、カメラで撮像した画像に映る被写体111の像を再現することができる。
【0055】
正射影平面112は、被写体111が球であるときに、その球の中心が正射影された点を原点とする極座標系で表現することができる。このとき、カメラ撮像平面114は、直交座標系により表現され、その直交座標系は、正射影平面112の極座標の原点に対応する点(x,y)と縮小率R、Rと回転角αとを用いて、次式:
【数3】

により極座標系から変換される。このとき、極座標系の点(r,θ)は、次式:
【数4】

【数5】

により直交座標系の点(x,y)から変換される。
【0056】
一般に、カメラ撮像平面114が正射影平面112と必ずしも平行ではないこととカメラに固有な歪曲収差等が存在することとにより、カメラ撮像平面114上の結像図形115は、射影平面112上でn回転対称性を持つ図形であっても、必ずしもn回転対称性を有するとは限らない。このような縮小率R、Rと回転角αとを用いた変換を用いることによれば、実際にカメラを用いて被写体111を撮像した像を示す結像図形115は、正射影図形113から算出されることができる。
【0057】
正射影図形113は、被写体111の球と半径が等しい円である。正射影図形113を示す特性関数f(r,θ)は、正射影図形113の内部の点の集合Fを用いて、次式:
【数6】

により与えられる。このとき、被写体形状収集部101は、被写体の形状として特性関数f(r,θ)を収集する。特性関数f(r,θ)は、被写体111が球である場合に、変数θに独立に、変数rがその球の半径より小さいときに1を示し、変数rがその球の半径より大きいときに0を示している。すなわち、被写体111が球であることは、特性関数f(r,θ)の入力を容易にし、好ましい。
【0058】
結像図形115を示す特性関数g(x,y)は、次式:
g(x,y)=f(r(x,y),θ(x,y))
により与えられる。このとき、正射影図形113の面積Aは、次式:
【数7】

により表現される。結像図形115の面積A′は、次式:
【数8】

により表現される。
【0059】
なお、特性関数g(x,y)は、被写体111の形状が球以外の3次元形状であるときにも結像図形115を表現することができる。すなわち、特性関数f(r,θ)は、球以外の被写体111を正射影平面112に射影した正射影図形113の内部の点の集合Fを用いて与えられ、特性関数g(x,y)は、その特性関数f(r,θ)を用いて与えられる。このように与えられる特性関数g(x,y)は、パラメータ決定部105と画像算出部106と画像比較部107と映り位置算出部108とにより実行される計算において、被写体111が球であるときに与えられる特性関数g(x,y)と同様に取り扱うことができる。すなわち、パラメータ決定部105と画像算出部106と画像比較部107と映り位置算出部108とは、正射影図形113がn回転対称を有しない図形であるときでも、連係して映り位置と収差パラメータとを算出することができる。このとき、パラメータ決定部105と画像算出部106と画像比較部107と映り位置算出部108とは、正射影図形113がn回転対称を有するときに計算する速さが正射影図形113がn回転対称を有しないときに計算する速さより速い。
【0060】
図3は、被写体が撮像される画像が示す階調を示している。結像図形115は、複数の微小領域により分割され、その微小領域の各々は、階調(輝度)を示している。正射影図形113は、結像図形115の微小領域に対応する複数の微小領域により分割される。被写体111の表面は、結像図形113の微小領域に対応する複数の微小領域により分割される。
【0061】
被写体111の表面は、表面微小領域123を含んでいる。被写体111の中心124を通り、かつ、正射影平面112に平行である平面125は、表面微小領域123の曲率の中心124と表面微小領域123とを結ぶ線分126に角γで交差している。このとき、表面微小領域123の面積ΔSは、表面微小領域123に対応する角γの変化量dγと被写体111の半径rとを用いて、次式:
【数9】

により表現される。
【0062】
表面微小領域123は、正射影図形113のうちの正射影微小領域122に対応している。このとき、正射影微小領域122の面積Δsは、次式:
【数10】

により表現される。
【0063】
正射影微小領域122は、結像図形115のうちの画像微小領域121に対応している。このとき、画像微小領域121が示す階調I(a)は、被写体111の表面が光を乱反射するときに、面積Δsと面積ΔSと適当な定数kと定数Cとを用いて、次式:
【数11】

により表現される。定数Cは、正射影微小領域122以外の背景からカメラに入射して画像微小領域121に到達する光の量を示している。定数Cは、その光の量が正射影微小領域122からカメラに入射して画像微小領域121に到達する光の量に比較して十分に小さいことから、0とすることができる。このとき、階調I(a)は、次式:
【数12】

により表現される。階調I(a)は、被写体111の表面の光の反射強度により異なり、被写体111の表面の光の反射強度は、被写体111の表面性状により異なる。すなわち、階調I(a)は、被写体111の表面が光を乱反射しないで、たとえば、被写体111の表面が鏡面または反射材であるときに、数12の式と異なる式により表現される。このとき、表面性状収集部102により収集される表面性状I′(x,y)は、被写体111の表面のうちのカメラ撮像平面114上の点(x,y)に対応する微小領域の表面性状を示し、その微小領域がカメラ撮像平面114上の点(x,y)に映し出されるときの階調I(a)を示している。
【0064】
結像図形115上の点(x,y)における階調を示す階調関数h(x,y)は、適当な定数Kを用いて、次式:
【数13】

により表現される。このとき、第i行j列目の画素の階調b(i,j)は、画素の幅Δxと画素の高さΔyとを用いて、次式:
【数14】

により表現される。すなわち、画像算出部106は、画像として階調b(i,j)を算出する。
【0065】
画像比較部106により算出される目的関数F(R,R,α,x,y)は、画像収集部103により収集される画像の行数Iと列数Jと、その画像の第i行j列の階調B(i,j)とを用いて、次式:
【数15】

により表現される。なお、目的関数F(R,R,α,x,y)は、この式と異なる式を用いることもでき、たとえば、階調B(i,j)と階調b(i,j)との差の絶対値の総和を用いることができる。
【0066】
画像算出部106は、画像として階調b(i,j)を算出ときに、階調b(i,j)の総階調Tと階調B(i,j)の総階調Tとが一致するように、すなわち、次式:
【数16】

により表現される制約条件を満足するように、定数Kをさらに算出する。
【0067】
このとき、パラメータ決定部105は、初期値として、映り位置(x,y)として、次式:
【数17】

【数18】

により表現される階調の重心(x,y)を算出し、さらに、収差パラメータとして、次式:
=1
=1
α=0
により表現される縮小率R、Rと回転角αとを生成する。パラメータ決定部105は、2回目以降に、目的関数F(R,R,α,x,y)と制約条件とに基づいて、映り位置として点(x,y)を生成し、収差パラメータとして縮小率R、Rと回転角αとを生成する。
【0068】
本発明による画像処理方法の実施の形態は、画像処理装置100により実行される。すなわち、ユーザは、図4に示されているように、まず、入力装置を用いて画像処理装置100にターゲットの形状を示す特性関数f(r,θ)を入力する(ステップS21)。ユーザは、入力装置を用いて画像処理装置100にターゲットの表面性状I′(x,y)を入力する(ステップS22)。ユーザは、さらに、入力装置を用いて画像処理装置100にCCDカメラを用いて撮像したターゲットの画像を示す階調B(x,y)を入力する(ステップS23)。ユーザは、入力装置を用いて画像処理装置100に制約条件を入力する(ステップS24)。
【0069】
画像処理装置100は、入力された階調B(x,y)に基づいて被写体111の像の階調の重心(x,y)を映り位置(x,y)として算出し、収差パラメータとして、次式:
=1
=1
α=0
により表現される縮小率R、Rと回転角αとを生成する(ステップS25)。
【0070】
画像処理装置100は、ステップS24で収集された制約条件とステップS25で決定された映り位置と収差パラメータとに基づいて、画像を示す階調b(i,j)を算出する(ステップS26)。画像処理装置100は、階調b(i,j)と階調B(i,j)とに基づいて目的関数F(R,R,α,x,y)を算出する(ステップS27)。ステップS25〜S27の処理は、収束条件が満足するまで繰り返して実行され(ステップS28、NO)、次々に映り位置(x,y)と収差パラメータである縮小率R、Rと回転角αと階調b(i,j)と目的関数F(R,R,α,x,y)とを算出する。このとき、画像処理装置100は、ステップS25を2回目以降に実行するときに、目的関数F(R,R,α,x,y)と制約条件とに基づいて映り位置(x,y)と収差パラメータである縮小率R、Rと回転角αとを算出する。
【0071】
画像処理装置100は、目的関数F(R,R,α,x,y)の最小値を算出するために十分な回数だけステップS25〜S27を繰り返したときに(ステップS28、YES)、目的関数F(R,R,α,x,y)が最小値を示すときの映り位置(x,y)と収差パラメータである縮小率R、Rと回転角αとを算出し、算出された映り位置(x,y)と収差パラメータである縮小率R、Rと回転角αとをユーザに認識可能に出力装置に出力する(ステップS29)。このようにステップS25〜S28を繰り返して映り位置(x,y)と収差パラメータである縮小率R、Rと回転角αとを算出する計算方法は、非線形計画問題として周知である。
【0072】
画像処理装置100は、撮像された画像のうちの被写体111を映し出す領域に配置される画素の画素数が少ないときであっても、被写体111が画像に映し出される映り位置をより正確に算出することができる。
【産業上の利用可能性】
【0073】
本発明による画像処理装置及び画像処理方法は、画像を用いて被写体の大きさを計測する大規模構造物計測装置に利用される。このとき、その大規模構造物計測装置1は、図5に示されているように、標準器7と複数の第1マーカ2と複数の第2マーカ3と複数の第3マーカ5とを備えている。標準器7は、既知の長さの棒状に形成されている。測量対象物6としては、10m以上の大規模構造物が例示される。そのような大規模構造物としては、橋梁の部品、建築物が例示される。その橋梁の部品としては、鈑桁、箱桁、床版が例示される。その建築物としては、LNGタンク、水門が例示される。標準器7の長さは、測量対象物6と概ね同じ長さであり、測量対象物6が10m〜20m程度の鈑桁であるときに、10mである。
【0074】
第1マーカ2は、それぞれ、測量対象物6に取り付けられ、測量対象物6の複数の測量対象点を指示している。第2マーカ3は、それぞれ、測量対象物6または測量対象物6以外のものに取り付けられ、測量対象物6の測量対象点以外の点を指示している。第2マーカ3は、10個以上が好ましい。標準器7は、測量対象物6の脇に配置されている。第3マーカ5は、それぞれ、標準器7に取り付けられ、標準器7の両端を指示している。
【0075】
大規模構造物計測装置1は、さらに、図示されていないデジタルカメラを備えている。そのデジタルカメラは、レンズとCCDとを備え、レンズを介して被写体から放射される光をCCDの感光面に結像させ、その感光面に結像される画像を電気信号として外部に出力する。そのデジタルカメラは、ストロボを備えている。そのストロボは、そのデジタルカメラが被写体の画像を撮影するときに、その被写体に光を照射する。
【0076】
そのデジタルカメラは、ユーザに手持ちされて移動し、複数の位置8−1〜8−4から測量対象物6の全体を映す画像を撮影する。その画像は、複数の位置8−1〜8−4のうちの1つの位置に対して複数が撮影される。測量対象物6の中心と複数の位置8−1〜8−4とは、概ね1つの平面上に配置されている。測量対象物6の中心と位置8−2とを結ぶ線分は、測量対象物6の中心と位置8−1とを結ぶ線分に概ね垂直である。測量対象物6の中心と位置8−3とを結ぶ線分は、測量対象物6の中心と位置8−2とを結ぶ線分に概ね垂直である。測量対象物6の中心と位置8−4とを結ぶ線分は、測量対象物6の中心と位置8−3とを結ぶ線分に概ね垂直である。測量対象物6の中心と位置8−1とを結ぶ線分は、測量対象物6の中心と位置8−4とを結ぶ線分に概ね垂直である。
【0077】
図6は、第1マーカ2を示している。第1マーカ2は、留め具11と支柱12と指示棒13と球形ターゲット14と球形ターゲット15とを備えている。留め具11は、マグネットから形成され、磁力により測量対象物6に吸い付いて固着している。なお、留め具11は、測量対象物6が磁性体から形成されていないときに、測量対象物6の一部を挟んで固着するクランプから形成されることもできる。
【0078】
支柱12は、第1支柱16と第2支柱17とユニバーサル機構19とを備えている。第1支柱16は、一端が固定具18を介して留め具11に固定され、他端がユニバーサル機構19に固定されている。第2支柱17は、一端がユニバーサル機構19に固定され、他端が固定具20を介して指示棒13に固定されている。ユニバーサル機構19は、任意の角度で二軸を連結する継ぎ手であり、第1支柱16と第2支柱17とを連結している。すなわち、支柱12は、指示棒13を留め具11に支持している。
【0079】
支持棒13は、直線状に形成され、その一端がとがって計測ポイント21を形成している。計測ポイント21は、測量対象物6の計測対象点にあてがわれて配置される。球形ターゲット14は、直径が30mmである球形を形成し、表面に反射塗料が塗布されている。その反射塗料は、光が入射した方向にその反射光を反射する。そのような反射塗料としては、ガラスビーズを含有する塗料が例示される。球形ターゲット14は、支持棒13の計測ポイント21と反対側の端に配置されている。球形ターゲット15は、直径が25mmである球形を形成し、表面に反射塗料が塗布されている。なお、球形ターゲット15は、直径を適宜変更することもできる。たとえば、球形ターゲット15の直径は、測量対象物6が10mより大きいときに、測量対象物6に比して大きくすることが好ましい。球形ターゲット15は、球形ターゲット15の中心とが計測ポイント21と球形ターゲット14の中心とを所定の比に内分する点に配置されるように、支持棒13の概ね中央に配置されている。すなわち、測量対象物6の計測対象点は、球形ターゲット14の中心と球形ターゲット15の中心とを所定の比に外分した点に配置される。
【0080】
図7は、第2マーカ3を示している。第2マーカ3は、留め具31と支柱32と球形ターゲット33とを備えている。留め具31は、マグネットから形成され、磁力により測量対象物6に吸い付いて固着している。なお、留め具31は、測量対象物6が磁性体から形成されていないときに、測量対象物6の一部を挟んで固着するクランプから形成されることもできる。支柱12は、直径が3mmであり、長さが200mmであるステンレス製の棒から形成されている。支柱12は、一端が留め具31に固定され、他端が球形ターゲット33に固定されている。球形ターゲット33は、直径が25mmである球形を形成し、表面に反射塗料が塗布されている。
【0081】
図8は、標準器7を示している。標準器7は、複数の部品41−1〜41−n(n=2,3,4,…)から形成されている。複数の部品41−1〜41−nは、それぞれ、長さが概ね等しい。たとえば、標準器7は、長さが10mであるときに、5つの部品41−1〜41−5から形成され、その部品41−1〜41−5は、それぞれ、長さが2mである。部品41−1は、一端に第3マーカ5が配置され、他端に部品41−2の一端が接続されている。部品41−i(i=2,3,…,n−1)は、一端に部品41−(i−1)の一端が接続され、他端に部品41−(i+1)の一端が接続されている。部品41−1は、一端に部品41−(n−1)の一端が接続され、他端に第3マーカ5が配置されている。標準器7は、さらに、支え42を備えている。支え42は、部品41−1〜41−nの長さ以下の間隔ごとに地盤に配置され、標準器7をその地盤に支持している。
【0082】
複数の部品41−1〜41−nは、測量対象物6と熱膨張係数が概ね同じ材料から形成されている。このとき、標準器7は、測量対象物6と同様に外気温により伸縮する。このため、大規模構造物計測装置1は、このような標準器7を用いて測量対象物6を計測するときに、温度補正する必要がなく、測量対象物6をより容易に計測することができる。
【0083】
第3マーカ5は、直径が25mmである球形を形成し、表面に反射塗料が塗布されている球形ターゲットから形成されている。その球形ターゲットは、中心が標準器7の端と一致するように、部品41−1の一端に配置され、部品41−nの一端に配置されている。
【0084】
大規模構造物計測装置1は、さらに、図9に示されているように、複数の第4マーカ51−1〜51−m(m=2,3,4,…)と大型歪曲補正板52とを備えている。各第4マーカ51−j(j=1,2,3,…,m)は、つや消しシール台紙と反射塗料と粘着剤とから形成されている。そのつや消しシール台紙は、長方形状のシートであり、表は光沢がない黒色をしている。その反射塗料は、そのつや消しシール台紙の表に直径が25mmの円を描いている。その粘着剤は、つや消しシール台紙の裏に塗布され、つや消しシール台紙と大型歪曲補正板52とを接着している。
【0085】
第4マーカ51−1〜51−mは、大型歪曲補正板52に概ね均等に分散されて配置されている。大型歪曲補正板52としては、測量対象物6を製造する工場建家の壁面が例示される。第4マーカ51−1〜51−mが大型歪曲補正板52に分散される範囲53は、測量対象物6の大きさと概ね等しい。すなわち、第4マーカ51−1〜51−mは、測量対象物6が約10mであるときに、最も離れた2つの第4マーカの距離が約10mになるように、大型歪曲補正板52に概ね均等に分散されて配置される。
【0086】
なお、このような第4マーカ51−jは、測定対象物6に貼りつけられることもできる。すなわち、第4マーカ51−jは、測定対象物6の測量対象点が複数の位置8−1〜8−4のうちの2つ場所の位置から見えるときに、第1マーカ2の代わりに、反射塗料が描く円の中心がその測量対象点に一致するように貼りつけられる。さらに、第4マーカ51−jは、第2マーカ3の代わりに、測定対象物6の複数の位置8−1〜8−4のうちの2つ以上の場所から見える位置に貼りつけられる。
【0087】
大規模構造物計測装置1は、さらに、大規模構造物計測装置本体61を備えている。大規模構造物計測装置本体61は、情報処理装置(コンピュータ)であり、図示されていないCPUと記憶装置と入力装置と出力装置とを備えている。大規模構造物計測装置本体61は、図10に示されているように、コンピュータプログラムである画像収集部62と画像処理部63と歪曲収差補正部64とマーカ位置関係算出部65とがインストールされている。
【0088】
画像収集部62は、入力装置を介してデジタルカメラにより撮像された画像を収集する。その画像は、第4マーカ51−1〜51−mを撮像した複数の歪曲収差補正用画像と測量対象物6を撮像した複数の計測用画像とから形成される。画像処理部63は、画像収集部62により収集された画像を画像処理して、その画像のなかで球形ターゲットの位置が映し出される映り位置を算出する。すなわち、画像処理部63は、既述される画像処理装置100にインストールされる被写体形状収集部101と表面性状収集部102と画像収集部103とパラメータ決定部105と画像算出部106と画像比較部107と映り位置算出部108とに一致している。
【0089】
歪曲収差補正部64は、その歪曲収差補正用画像に基づいて撮影に用いられたデジタルカメラの歪曲収差を補正する補正係数を算出する。デジタルカメラは、一般に、被写体から放射される光がレンズを介してCCDの感光面に結像するときに、その結像した画像が理想的に結像した画像と比べて歪む歪曲収差を有している。このため、その複数の歪曲収差補正用画像に映し出される第4マーカ51−1〜51−mの位置に基づいて、デジタルカメラの撮影位置に独立に第4マーカ51−1〜51−mの3次元位置関係を算出するときに矛盾が生じる。すなわち、歪曲収差補正部64は、様々な値を用いてその歪曲収差補正用画像を他の画像に変換し、その変換された画像を用いて第4マーカ51−1〜51−mの3次元位置関係を算出する。歪曲収差補正部64は、第4マーカ51−1〜51−mの3次元位置関係を矛盾が生じないように算出することができる画像に変換するときに用いられた値をその補正係数として算出する。
【0090】
マーカ位置関係算出部65は、歪曲収差補正部64により算出された補正係数を用いて、画像処理部63により算出された球形ターゲットの画像のなかでの映り位置を補正する。マーカ位置関係算出部65は、その補正された球形ターゲットの画像のなかでの映り位置に基づいて、球形ターゲットの3次元位置関係をデジタルカメラの撮影位置に独立に算出する。マーカ位置関係算出部65は、さらに、球形ターゲットのうちの距離が既知であるものに基づいて、球形ターゲットの相互の距離を算出し、これを数値で表現する。
【0091】
大規模構造物計測方法は、大規模構造物計測装置1を用いて実行され、歪曲収差補正する動作と測量対象物6の大きさを計測する動作とを備えている。
【0092】
図11は、歪曲収差補正する動作を示している。ユーザは、まず、測量対象物6の大きさと概ね等しい範囲に第4マーカ51−1〜51−mが概ね均等に分散するように、大型歪曲補正板52に複数の第4マーカ51−1〜51−mを貼り付ける(ステップS1)。ユーザは、デジタルカメラを用いて、第4マーカ51−1〜51−mの全部を映し出す複数の歪曲収差補正用画像を互いに異なる複数の位置から撮像する(ステップS2)。ユーザは、その歪曲収差補正用画像を大規模構造物計測装置本体61に入力する。
【0093】
大規模構造物計測装置本体61は、次いで、既述のステップS21〜S28を実行する。すなわち、ユーザは、入力装置を用いて大規模構造物計測装置本体61にターゲットの形状を示す特性関数f(r,θ)とターゲットの表面性状を示す階調I(a)とを入力する。大規模構造物計測装置本体61は、入力された情報に基づいて、画像のなかでターゲットが映る映り位置を算出する。
【0094】
大規模構造物計測装置本体61は、その映り位置に基づいて撮影に用いられたデジタルカメラの歪曲収差を補正する補正係数を算出する(ステップS3)。
【0095】
デジタルカメラは、一般に、被写体から放射される光がレンズを介してCCDの感光面に結像するときに、その結像した画像が理想的に結像した画像と比べて歪む歪曲収差を有している。このため、大規模構造物計測装置本体61は、その複数の歪曲収差補正用画像に映し出される第4マーカ51−1〜51−mの位置に基づいて、デジタルカメラの撮影位置に独立に第4マーカ51−1〜51−mの3次元位置関係を算出するときに矛盾が生じる。
【0096】
すなわち、大規模構造物計測装置本体61は、様々な値を用いてその歪曲収差補正用画像を他の画像に変換し、その変換された画像を用いて第4マーカ51−1〜51−mの3次元位置関係を算出する。大規模構造物計測装置本体61は、第4マーカ51−1〜51−mの3次元位置関係を矛盾が生じないように算出することができる画像に変換するときに用いられた値をその補正係数として算出する。
【0097】
図12は、測量対象物6の大きさを計測する動作を示している。ユーザは、まず、部品41−1〜41−nを標準器7に組み立て、測量対象物6の脇に設置する。ユーザは、さらに、第1マーカ2が測量対象物6の計測対称点を指示するように、第1マーカ2を測量対象物6に取り付ける。ユーザは、さらに、第3マーカ5が標準器7の両端を指示するように、第3マーカ5を標準器7に取り付ける。ユーザは、さらに、第1マーカ2と第2マーカ3と第3マーカ5とが均一に分散するように、第2マーカ3を配置する(ステップS11)。
【0098】
ユーザは、デジタルカメラを用いて、測量対象物6の全部を映し出す複数の計測用画像を互いに異なる複数の位置8−1〜8−4から撮像し(ステップS12)、その計測用画像を大規模構造物計測装置本体61に入力する。
【0099】
大規模構造物計測装置本体61は、次いで、既述のステップS21〜S22、S25〜S29を実行する。すなわち、ユーザは、入力装置を用いて大規模構造物計測装置本体61にターゲットの形状を示す特性関数f(r,θ)とターゲットの表面性状を示す階調I(a)とを入力する。大規模構造物計測装置本体61は、入力された情報に基づいて、画像のなかでターゲットが映る映り位置を算出する。
【0100】
大規模構造物計測装置本体61は、歪曲収差補正する動作により算出された補正係数を用いてその計測用画像を変換し、映り位置を補正する。大規模構造物計測装置本体61は、補正された映り位置に基づいて第1マーカ2と第2マーカ3と第3マーカ5との3次元位置関係をデジタルカメラの撮影位置に独立に算出する(ステップS13)。大規模構造物計測装置本体61は、さらに、第3マーカ5が指示する標準器7の長さに基づいて、第1マーカ2が指示する各計測対象点の相互の距離を算出し(ステップS14)、これを数値で表現する。
【0101】
このような大規模構造物計測方法によれば、境界部分をオーバーラップして大規模構造物の複数の部分を映し出す画像を用いることより少ない枚数の画像を用いてその大規模構造物を測量することができ、より容易にその大規模構造物を測量することができる。さらに、その大規模構造物の全体を映し出す画像がその大規模構造物の計測対象点をより精密に指示することができる。このため、大規模構造物計測装置1は、より精密に大規模構造物を測量することができる。
【0102】
図13は、計測対象物の他の配置を示している。その計測対象物は、複数の計測対象物76−1〜76−3から形成されている。計測対象物76−1〜76−3は、それぞれ、鋼鉄から形成され、板状に形成される橋梁の部品である床版である。計測対象物76−1〜76−3は、地盤の上に積み重ねられて配置されている。標準器7は、計測対象物76−1〜76−3の脇に配置されている。第1マーカ2は、それぞれ、計測対象物76−1〜76−3に取り付けられ、測量対象物76−1〜76−3の複数の測量対象点を指示している。第2マーカ3は、それぞれ、測量対象物76−1〜76−3または測量対象物76−1〜76−3以外のものに取り付けられ、測量対象物76−1〜76−3の測量対象点以外の点を指示している。第2マーカ3は、10個以上が好ましい。第3マーカ5は、それぞれ、標準器7に取り付けられ、標準器7の両端を指示している。このような配置によれば、大規模構造物計測装置1は、複数の計測対象物76−1〜76−3を1度に測量することができ、好ましい。
【0103】
図14は、計測対象物のさらに他の配置を示している。その計測対象物は、計測対象物86−1〜86−2は、それぞれ、鋼鉄から形成され、板状に形成される橋梁の部品である床版である。計測対象物86−1〜86−2は、地盤の上に積み重ねられないで並べて配置されている。標準器7は、計測対象物86−2の上に配置されている。第1マーカ2は、それぞれ、計測対象物86−1〜86−2に取り付けられ、測量対象物86−1〜86−2の複数の測量対象点を指示している。第2マーカ3は、それぞれ、測量対象物86−1〜86−2または測量対象物86−1〜86−2以外のものに取り付けられ、測量対象物86−1〜86−2の測量対象点以外の点を指示している。第2マーカ3は、10個以上が好ましい。第3マーカ5は、それぞれ、標準器7に取り付けられ、標準器7の両端を指示している。このような配置によれば、大規模構造物計測装置1は、複数の計測対象物86−1〜86−2を1度に測量することができ、好ましい。
【図面の簡単な説明】
【0104】
【図1】図1は、本発明による画像処理装置の実施の形態を示すブロック図である。
【図2】図2は、被写体と正射影図形と結像図形との関連性を示す図である。
【図3】図3は、被写体と反射強度との関連性を示す図である。
【図4】図4は、本発明による画像処理方法の実施の形態を示すフローチャートである。
【図5】図5は、本発明による大規模構造物計測装置の実施の形態を示す斜視図である。
【図6】図6は、第1マーカを示す平面図である。
【図7】図7は、第2マーカを示す平面図である。
【図8】図8は、標準器を示す平面図である。
【図9】図9は、第4マーカを示す平面図である。
【図10】図10は、大規模構造物計測装置本体を示すブロック図である。
【図11】図11は、歪曲収差補正する動作を示すフローチャートである。
【図12】図12は、計測対象物の大きさを計測する動作を示すフローチャートである。
【図13】図13は、計測対象物の他の配置を示す斜視図である。
【図14】図14は、計測対象物のさらに他の配置を示す斜視図である。
【図15】図15は、画素が示す階調と像の中心の位置とを示す図である。
【図16】図16は、被写体の画像を示す図である。
【符号の説明】
【0105】
100:画像処理装置
101:被写体形状収集部
102:表面性状収集部
103:画像収集部
104:制約条件収集部
105:パラメータ決定部
106:画像算出部
107:画像比較部
108:映り位置算出部
111:被写体
112:正射影平面
113:正射影図形
114:カメラ撮像平面
115:結像図形
121:画像微小領域
122:正射影微小領域
123:表面微小領域
124:中心
125:平面
126:線分
1 :大規模構造物計測装置
2 :第1マーカ
3 :第2マーカ
5 :第3マーカ
6 :測量対象物
7 :標準器
8−1〜8−4:位置
11 :留め具
12 :支柱
13 :指示棒
14 :球形ターゲット
15 :球形ターゲット
16 :第1支柱
17 :第2支柱
18 :固定具
19 :ユニバーサル機構
20 :固定具
21 :計測ポイント
31 :留め具
32 :支柱
33 :球形ターゲット
41−1〜41−n:複数の部品
42 :支え
51−1〜51−m:第4マーカ
52 :大型歪曲補正板
53 :範囲
61 :大規模構造物計測装置本体
62 :画像収集部
63 :画像処理部
64 :歪曲収差補正部
65 :マーカ位置関係算出部

【特許請求の範囲】
【請求項1】
ターゲットが撮像された収集画像を収集する画像収集部と、
前記ターゲットの形状を収集する被写体形状収集部と、
画像上の複数の位置を適当に生成するパラメータ決定部と、
前記複数の位置の各々と前記形状とに基づいて前記ターゲットが映る複数の算出画像を算出する画像算出部と、
前記収集画像と前記算出画像とを比較する画像比較部と、
前記複数の位置のうちの前記収集画像に最も近似する近似算出画像を生成するときに用いられた映り位置を算出する映り位置算出部
とを具備する画像処理装置。
【請求項2】
請求項1において、
前記ターゲットの表面性状を収集する表面性状収集部を更に具備し、
前記複数の算出画像は、それぞれ、複数の画素から形成され、
前記複数の画素は、それぞれ、階調を示し、
前記階調は、それぞれ、前記表面性状に基づいて算出される
画像処理装置。
【請求項3】
請求項2において、
前記パラメータ決定部は、更に、複数のパラメータを適当に生成し、
前記複数の算出画像は、それぞれ、前記ターゲットが平面に正射影された正射影図形を前記複数のパラメータの各々に基づいて変形された結像図形を示し、
前記映り位置算出部は、更に、前記パラメータのうちの前記近似算出画像を生成するときに用いられたパラメータを算出する
画像処理装置。
【請求項4】
請求項3において、
制約条件を収集する制約条件収集部を更に具備し、
前記パラメータ決定部は、前記制約条件を満たす範囲で前記複数の位置と前記複数のパラメータとを生成する
画像処理装置。
【請求項5】
請求項1〜請求項4のいずれかにおいて、
前記形状は、前記ターゲットを平面に正射影した図形により表現される
画像処理装置。
【請求項6】
請求項1〜請求項5のいずれかにおいて、
前記ターゲットを平面に正射影した図形は、回転対称性を有する
画像処理装置。
【請求項7】
請求項1〜請求項6のいずれかにおいて、
前記映り位置は、非線形計画問題の解法を用いて算出される
画像処理装置。
【請求項8】
ターゲットが撮像された収集画像を収集するステップと、
前記ターゲットの形状を収集するステップと、
画像上の複数の位置を適当に生成するステップと、
前記複数の位置の各々と前記形状とに基づいて前記ターゲットが映る複数の算出画像を算出するステップと、
前記収集画像と前記算出画像とを比較するステップと、
前記複数の位置のうちの前記収集画像に最も近似する近似算出画像を生成するときに用いられた映り位置を算出するステップ
とを具備する画像処理方法。
【請求項9】
請求項8において、
前記ターゲットの表面性状を収集するステップを更に具備し、
前記複数の算出画像は、それぞれ、複数の画素から形成され、
前記複数の画素は、それぞれ、階調を示し、
前記階調は、それぞれ、前記表面性状に基づいて算出される
画像処理方法。
【請求項10】
請求項9において、
複数のパラメータを適当に生成するステップを更に具備し、
前記複数の算出画像は、それぞれ、前記ターゲットが平面に正射影された正射影図形を前記複数のパラメータの各々に基づいて変形された結像図形を示し、
前記映り位置は、前記複数のパラメータのうちの前記近似算出画像を生成するときに用いられたパラメータとともに算出される
画像処理方法。
【請求項11】
請求項10において、
制約条件を収集するステップを更に具備し、
前記複数の位置と前記複数のパラメータとは、前記制約条件を満たす範囲で生成される
画像処理方法。
【請求項12】
請求項8〜請求項11のいずれかにおいて、
前記形状は、前記ターゲットを平面に正射影した図形により表現される
画像処理方法。
【請求項13】
請求項8〜請求項12のいずれかにおいて、
前記ターゲットを平面に正射影した図形は、回転対称性を有する
画像処理方法。
【請求項14】
請求項8〜請求項13のいずれかにおいて、
前記映り位置は、非線形計画問題の解法を用いて算出される
画像処理方法。
【請求項15】
ターゲットが撮像された収集画像を収集するステップと、
前記ターゲットの形状を収集するステップと、
画像上の複数の位置を適当に生成するステップと、
前記複数の位置の各々と前記形状とに基づいて前記ターゲットが映る複数の算出画像を算出するステップと、
前記収集画像と前記算出画像とを比較するステップと、
前記複数の位置のうちの前記収集画像に最も近似する近似算出画像を生成するときに用いられた映り位置を算出するステップ
とを具備する画像処理プログラム。
【請求項16】
請求項15において、
前記ターゲットの表面性状を収集するステップを更に具備し、
前記複数の算出画像は、それぞれ、複数の画素から形成され、
前記複数の画素は、それぞれ、階調を示し、
前記階調は、それぞれ、前記表面性状に基づいて算出される
画像処理プログラム。
【請求項17】
請求項16において、
複数のパラメータを適当に生成するステップを更に具備し、
前記複数の算出画像は、それぞれ、前記ターゲットが平面に正射影された正射影図形を前記複数のパラメータの各々に基づいて変形された結像図形を示し、
前記映り位置は、前記複数のパラメータのうちの前記近似算出画像を生成するときに用いられたパラメータとともに算出される
画像処理プログラム。
【請求項18】
請求項17において、
制約条件を収集するステップを更に具備し、
前記複数の位置と前記複数のパラメータとは、前記制約条件を満たす範囲で生成される
画像処理プログラム。
【請求項19】
請求項15〜請求項18のいずれかにおいて、
前記形状は、前記ターゲットを平面に正射影した図形により表現される
画像処理プログラム。
【請求項20】
請求項15〜請求項19のいずれかにおいて、
前記ターゲットを平面に正射影した図形は、回転対称性を有する
画像処理プログラム。
【請求項21】
請求項15〜請求項20のいずれかにおいて、
前記映り位置は、非線形計画問題の解法を用いて算出される
画像処理プログラム。
【請求項22】
ターゲットが取り付けられる計測対象物の全体を映し出す収集画像を収集する画像収集部と、
前記ターゲットの形状を収集する被写体形状収集部と、
画像上の複数の位置を適当に生成するパラメータ決定部と、
前記複数の位置の各々と前記形状とに基づいて前記ターゲットが映る複数の算出画像を算出する画像算出部と、
前記収集画像と前記算出画像とを比較する画像比較部と、
前記複数の位置のうちの前記収集画像に最も近似する近似算出画像を生成するときに用いられた映り位置を算出する映り位置算出部と、
前記映り位置に基づいて前記計測対象物の複数の測量対象点の3次元位置関係を算出するマーカ位置関係算出部
とを具備する大規模構造物計測装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2006−153824(P2006−153824A)
【公開日】平成18年6月15日(2006.6.15)
【国際特許分類】
【出願番号】特願2004−349137(P2004−349137)
【出願日】平成16年12月1日(2004.12.1)
【出願人】(000236089)菱日エンジニアリング株式会社 (4)
【Fターム(参考)】