点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム
【課題】オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供する技術を提供する。
【解決手段】測定対象物の点群位置データを取得する点群位置データ取得部111、測定対象物の画像データを取得する画像データ取得部112、第1の視点において取得された点群位置データと第1の視点とは異なる第2の視点において取得された画像データとの対応関係を求める対応関係特定部113、点群位置データから三次元モデルを形成する三次元モデル形成部114、この三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部115を備えている。ここで、三次元モデル形成部114は、対応関係特定部113で特定された対応関係に基づき、第2の視点から見た向きの三次元モデルを形成する。この第2の視点から見た三次元モデルが作業者に画像として提示される。
【解決手段】測定対象物の点群位置データを取得する点群位置データ取得部111、測定対象物の画像データを取得する画像データ取得部112、第1の視点において取得された点群位置データと第1の視点とは異なる第2の視点において取得された画像データとの対応関係を求める対応関係特定部113、点群位置データから三次元モデルを形成する三次元モデル形成部114、この三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部115を備えている。ここで、三次元モデル形成部114は、対応関係特定部113で特定された対応関係に基づき、第2の視点から見た向きの三次元モデルを形成する。この第2の視点から見た三次元モデルが作業者に画像として提示される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点群位置データ処理技術に係り、手前の測定対象物の影になり点群位置データが得られなかった部分(オクルージョン部分)の点群位置データを効率よく取得する技術に関する。
【背景技術】
【0002】
測定対象物の点群位置データから三次元形状を生成する技術が知られている。点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点(点群)と、この複数の測定点の三次元空間中の位置(三次元座標)とが関連付けされている。点群位置データによれば、点の集合により測定対象物の外形を再現した三次元モデルを得ることができる。また、各点の三次元座標が判るので、各点の三次元空間中における相対位置関係が把握でき、画面表示した三次元モデルの画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。
【0003】
例えば、特許文献1に記載の発明では、走査レーザー装置が三次元対象を走査して、ポイントクラウドを生成する。ポイントクラウドは、走査点に関する深さと法線の変化に基づいて、エッジポイントと非エッジポイントのグループに分割される。各グループを幾何学的原図にフィットさせ、フィットした幾何学的原図を拡張、交差させることで、三次元形状を生成する。
【0004】
特許文献2に記載の発明では、点群位置データからセグメント(三角ポリゴン)を形成し、隣接するポリゴン同士の連続性、法線方向、または距離に基づき、エッジおよび面を抽出する。また、各セグメントの点群位置データの平面性または曲面性を、最小二乗法を用いて、平面方程式または曲面方程式に置き換え、グループ分けを行い、三次元形状を生成する。
【0005】
特許文献3に記載の発明では、三次元点群位置データに対して二次元矩形領域を設定し、その矩形領域に対応する測定点の合成法線ベクトルを求める。合成法線ベクトルがZ軸方向と一致するように、矩形領域内の全ての計測点を回転移動する。矩形領域内の各計測点についてZ値の標準偏差σを求め、標準偏差σが所定値を超えた場合、矩形領域の中心点と対応する計測点をノイズとして取り扱う。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2000−509150号公報
【特許文献2】特開2004−272459号公報
【特許文献3】特開2005−024370号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
レーザースキャナを用いて点群位置データを得る場合、レーザースキャナから見て、ある対象物の背後の部分の点群位置データは、影となるので取得できない。この影の部分が生じる現象をオクルージョンという。この影となる取得できなかった部分の点群位置データは、以前は影であった部分にレーザー光を当てることができる位置に視点を変更し、再度のスキャニングを行うことで得ることができる。
【0008】
しかしながら、この方法によってオクルージョンを解消するには、2つの視点から得られたそれぞれ数万点〜数億点にもなる点群位置データを共通の座標系で取り扱うための位置合わせを行う処理が必要となる。この処理は、煩雑であり、また長い処理時間が必要となる。このため、再度の点群データの取得を行い、更にデータ処理を行った後で、オクルージョンが解消していないことが判明した場合、(1)再度レーザースキャナを現場に持ち込んでの作業を行わなくてはならず、その作業の手間が大変である、(2)時間が経過しているために現場の状況が変わっており、上述した位置合わせを行うことができない場合がある、(3)新たに点群位置データを取得し直しても、後処理を行わなくては、オクルージョンが解消したか否かを確認するすべがない、といった問題がある。
【0009】
この問題が生じないようにするために、これまでは、レーザースキャナを扱い点群位置データを取得するための作業を行う作業者が、経験や勘に基づき、別視点の位置を選択し、オクルージョンが解消されるようにしていた。しかしながら、経験や勘に頼った方法は、作業者の違いによる作業効率の差が生じやすく、また点群位置データに基づいて三次元モデルを得る技術の利便性の点で問題があった。このような背景において、本発明は、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供する技術を得ることを目的とする。
【課題を解決するための手段】
【0010】
請求項1に記載の発明は、測定対象物の点群位置データを取得する点群位置データ取得部と、測定対象物の画像を取得する画像取得部と、第1の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第1の視点において前記画像取得部で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像取得部で取得された画像データとの対応関係を求める対応関係特定部と、前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部とを備え、前記三次元モデル形成部は、前記対応関係特定部で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理装置である。
【0011】
請求項1に記載の発明によれば、第1の視点から得た点群位置データ(あるいは画像データ)と、第2の視点から得た画像データとを対応付けることで、第1の視点から得た点群位置データに基づいて、第2の視点から見た場合の測定対象物の三次元モデルが形成される。すわわち、測定する視点(観測点)の位置を変更した際に、その新たな視点から見た三次元モデルが、第1の視点から得た点群位置データに基づき算出される。これにより、視点を変えたことによるオクルージョン部分の視覚化が行われる。すなわち、視点を変えることで、オクルージョン部分を画像中で認識し易くすることができる。このため、オクルージョンを解消するのに適した新たな視点を作業者が把握することが容易となる。
【0012】
請求項2に記載の発明は、請求項1に記載の発明において、前記画像取得部は、反射光の強度のデータを含む点群位置データに基づいて画像データを取得する機能、または撮影装置から出力される画像データを受け付ける機能を有することを特徴とする。レーザースキャン装置により点群位置データを得た場合、各点からの反射光の光強度に係るデータが得られる。したがって、点群位置データを対象物の画像を構成する画素データとして取り扱うことで、点群位置データに基づいて測定対象物の画像を再現することができる。したがって、CCDやCMOSイメージセンサ等の撮影手段の代わりに、点群位置データを取得する手段に基づいて、測定対象物の画像を得ることもできる。
【0013】
請求項3に記載の発明は、請求項1または2に記載の発明において、前記対応関係特定部で特定された前記対応関係に基づき、前記第1の視点から得た点群位置データと前記第2の視点から得られた点群位置データとの座標の統合を行う座標統合部を備えることを特徴とする。請求項3に記載の発明によれば、第1の視点から得た点群位置データの座標系と第2の視点から得た点群位置データの座標系とが統合され、これら2つの視点から得られた2群の点群位置データに基づいた三次元モデルが算出される。これにより、第1の視点ではオクルージョンとなっているが第2の視点ではオクルージョンとなっていない部分、および第1の視点ではオクルージョンといなっていないが第2の視点ではオクルージョンとなっている部分が互い補完され、よりオクルージョンが減った三次元モデルが得られる。この三次元モデルは、回転して表示させた際に、オクルージョンとなる部分が減っているので、より実際の測定対象物の三次元構造を忠実に再現した三次元モデルとなる。
【0014】
請求項4に記載の発明は、請求項3に記載の発明において、前記三次元モデル表示部は、前記座標統合部で統合された共通の座標系において、前記第1の視点から得た点群位置データと前記第2の視点から得た点群位置データとに基づく三次元モデルの表示の制御を行うことを特徴とする。請求項4に記載の発明によれば、第2の視点から見た対象物の三次元モデルが画像として表示される。この三次元モデルは、異なる視点からの点群位置データに基づいて作成されているので、オクルージョンとなる部分が減少しており、実際の測定対象物の三次元構造をより忠実に再現した三次元モデルの画像となる。
【0015】
請求項5に記載の発明は、請求項1〜4のいずれか一項に記載の発明において、少なくとも、前記第1の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出部を備え、前記三次元モデル形成部は、前記オクルージョン検出部で検出されたオクルージョン部分を三次元モデル中に組み込む処理を行うことを特徴とする。請求項5に記載の発明によれば、視点を変えた際にオクルージョン部分が視覚化されて表示される(例えば、黒く表示される)。これにより、作業者がより容易にオクルージョン部分を視覚的に把握することができる。
【0016】
請求項6に記載の発明は、請求項5に記載の発明において、前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出部を備えることを特徴とする。
【0017】
請求項7に記載の発明は、請求項1〜6のいずれか一項に記載の発明において、追加で取得が必要な測定対象エリアを前記三次元モデル表示にガイド表示するガイド表示部を備えることを特徴とする。
【0018】
請求項8に記載の発明は、請求項1〜7のいずれか一項に記載の発明において、前記第1の視点の位置および前記第2の視点の位置の測定を行うGPS装置を備え、前記対応関係特定部は、前記第1の視点の位置および前記第2の視点の位置の特定に前記GPS装置で測定された位置データを利用することを特徴とする。
【0019】
請求項9に記載の発明は、測定対象物の点群位置データを取得する点群位置データ取得手段と、測定対象物の画像を取得する画像取得手段と、第1の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第1の視点において前記画像取得部で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像取得部で取得された画像データとの対応関係を求める対応関係特定手段と、前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成手段と、前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御手段とを備え、前記三次元モデル形成手段は、前記対応関係特定手段で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理システムである。
【0020】
請求項10に記載の発明は、第1の視点において取得された測定対象物の点群位置データあるいは前記第1の視点において取得された前記測定対象物の画像データと、前記第1の視点とは異なる第2の視点において取得された前記測定対象物の画像データとの対応関係を求める対応関係特定ステップと、前記第1の視点において取得された測定対象物の点群位置データに基づいて三次元モデルを形成する三次元モデル形成ステップと、前記三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御ステップとを備え、前記三次元モデル形成ステップは、前記対応関係特定ステップで特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理方法である。
【0021】
請求項11に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを測定対象物の点群位置データを取得する点群位置データ取得部と、測定対象物の画像を取得する画像取得部と、第1の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第1の視点において前記画像取得部で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像取得部で取得された画像データとの対応関係を求める対応関係特定部と、前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部とを備え、前記三次元モデル形成部を、前記対応関係特定部で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成する手段として動作させることを特徴とするプログラムである。
【発明の効果】
【0022】
請求項1に記載の発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供する技術が提供される。
【0023】
請求項2に記載の発明によれば、点群位置データを取得する手段から得られる画像データに基づいて、オクルージョンが解消される新たな視点の位置を決めるための情報が生成される。
【0024】
請求項3に記載の発明によれば、オクルージョンが解消された三次元モデルが得られる。
【0025】
請求項4に記載の発明によれば、クルージョンが解消された三次元モデルの画像が表示される。
【0026】
請求項5に記載の発明によれば、オクルージョン部分をより的確に作業者が認識することができる。
【0027】
請求項6に記載の発明によれば、オクルージョンを解消できる新たな視点が作業者に提示される。
【0028】
請求項7に記載の発明によれば、三次元モデルの形成にデータが不足している領域を作業者が知ることができる。
【0029】
請求項8に記載の発明によれば、GPSを利用して第1の視点と第2の視点の位置を特定することができる。
【0030】
請求項9に記載の本発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供するシステムが提供される。
【0031】
請求項10に記載の本発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供する方法が提供される。
【0032】
請求項11に記載の本発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供するプログラムが提供される。
【図面の簡単な説明】
【0033】
【図1】実施形態のブロック図である。
【図2】測定を行う状態を示す概念図である。
【図3】実施形態における三次元モデル形成部のブロック図である。
【図4】第1の視点から得た点群位置データに基づく三次元モデルの一例(A)、この三次元モデルを第2の視点から見た状態を示す表示図(B)、統合された座標および2つの視点において得た点群位置データに基づく三次元モデルの表示図(C)である。
【図5】オクルージョンを検出する原理を示す概念図である。
【図6】オクルージョンを解消する新たな視点を算出する方法の一例を示す概念図である。
【図7】オクルージョンを解消する新たな視点を表示する画面表示の一例を示す画面表示図である。
【図8】相互標定の原理を説明する概念図である。
【図9】ステレオマッチングの原理を説明する概念図である。
【図10】三次元レーザースキャナ機能を備えた点群位置データ処理装置の構成を示す断面図である。
【図11】三次元レーザースキャナ機能を備えた点群位置データ処理装置の構成を示す断面図である。
【図12】実施形態の制御部のブロック図である。
【図13】実施形態の演算部のブロック図である。
【図14】点間距離が一定でない点群位置データを示す概念図である。
【図15】形成したグリッドを示す概念図である。
【発明を実施するための最良の形態】
【0034】
1.第1の実施形態
以下、発明を利用した点群位置データ処理装置の一例について、図面を参照して説明する。図1には、点群位置データ処理装置100が示されている。点群位置データ処理装置100は、パーソナルコンピュータ上においてソフトウェア的に構成されている。点群位置データ処理装置100をパーソナルコンピュータ上で構成するプログラムは、パーソナルコンピュータ中にインストールされている。なお、このプログラムは、サーバや適当な記録媒体に記録しておき、そこから提供される形態であってもよい。
【0035】
利用されるパーソナルコンピュータは、キーボートやタッチパネルディスプレイ等の入力部、液晶ディスプレイ等の表示部、入力部と表示部を統合したユーザインターフェースであるGUI(グラフィカル・ユーザ・インターフェース)機能部、CPUおよびその他専用の演算デバイス、半導体メモリ、ハードディスク記憶部、光ディスク等の記憶媒体との間で情報のやり取りを行えるディスク記憶装置駆動部、USBメモリ等の携帯型記憶媒体との間で情報のやり取りを行えるインターフェース部、無線通信や有線通信を行う通信インターフェース部を必要に応じて備えている。なお、パーソナルコンピュータとしては、ノート型、携帯型、卓上型等の形態が挙げられるが、その形態は限定されない。また、汎用のパーソナルコンピュータを利用する以外に、ASIC(Application Specific Integrated Circuit)や、FPGA(Field Programmable Gate Array)などのPLD(Programmable Logic Device)等を用いて構成した専用のハードウェアによって点群位置データ処理装置100を構成することも可能である。
【0036】
点群位置データ処理装置100には、点群位置データ取得装置101、画像取得装置102、GPS(Global Positioning System)装置103、画像表示装置104、操作入力装置105が接続されている。点群位置データ取得装置101は、後述するレーザースキャナである。点群位置データ取得装置101は、測定対象物にレーザ光を照射し、その反射光を検出することで点群位置データを取得する。画像取得装置102は、CCDやCMOSイメージセンサを利用した撮影装置であり、点群位置データの取得対象となる測定対象物の外観画像を撮影し、その画像データを取得する。
【0037】
GPS装置103は、ナビゲーションシステム等に利用されている位置特定装置であり、GPS信号を受信し、それに基づいて位置データを取得する。画像表示装置104は、点群位置データ処理装置100を構成するパーソナルコンピュータのディスプレイ(例えば、液晶ディスプレイ)である。操作入力装置105は、点群位置データ処理装置100を構成するパーソナルコンピュータの操作入力装置(キーボード、マウス入力装置等のポインティングデバイス)である。操作入力装置105は、画像表示装置104と連動して公知のGUI(Graphical User Interface)を利用しての点群位置データ処理装置100の操作が可能とされている。
【0038】
点群位置データ処理装置100は、点群位置データ取得部111、画像データ取得部112、対応関係特定部113、三次元モデル形成部114、三次元モデル表示制御部115、座標統合部116、オクルージョン検出部117、新視点位置算出部118、ガイド表示制御部119を備えている。
【0039】
点群位置データ取得部111は、点群位置データ取得装置101から出力される点群位置データを受け付け、それを点群位置データ取得装置100内に取り込む。画像データ取得部112は、画像取得装置102から出力される画像データを受け付け、点群位置データ取得装置100内に取り込む。対応関係特定部113は、第1の視点において取得した測定対象物の点群位置データ(あるいは第1の視点において測定対象物を撮影することで得た画像データ)と、前記第1の視点とは異なる第2の視点において取得した画像データとの対応関係を求める処理を行う。なお、対応関係特定部113の機能の詳細については後述する。三次元モデル形成部114は、点群位置データ取得部111が取得した点群位置データに基づいて、三次元モデルを形成する。三次元モデル形成部114の機能の詳細については後述する。
【0040】
ここでいう三次元モデルというのは、測定対象物の輪郭線を線図として表現した測定対象物の三次元構造を視覚化した図面である。輪郭線というのは、測定対象物の外観を視覚的に把握するために必要な、当該測定対象物の外形を形作っている線(outline)のことである。具体的には、折れ曲がった部分や急激に曲率が小さくなっている部分が輪郭線となる。輪郭線は、外側の輪郭の部分のみが対象となるとは限らず、凸状に飛び出している部分を特徴付ける縁の部分や、凹状に引っ込んでいる部分(例えば、溝構造の部分)を特徴づける縁の部分も対象となる。輪郭線により所謂線図が得られ、対象物の外観が把握し易い画像表示を行うことができる。
【0041】
三次元モデル表示制御部115は、画像表示装置104に測定対象物の三次元モデルを表示するための制御を行う。この三次元モデルには、第1の視点から得られた点群位置データに基づく三次元モデル、更に第1の視点から得られた点群位置データおよび第2の視点から得られた点群位置データに基づいて形成された三次元モデルが含まれる。座標統合部116は、点群位置データ取得装置101を第1の視点の位置に置き、その位置で取得した測定対象物の第1の点群位置データと、点群位置データ取得装置101を第1の視点とは異なる第2の視点の位置に置き、その位置で取得した測定対象物の第2の点群位置データとを扱うための共通の座標系(統合された座標系)得るための演算を行う。この演算は、対応関係特定部113で特定された2つの視点から得られた画像同士の対応関係に基づいて行われる。座標統合部116の機能の詳細については後述する。
【0042】
オクルージョン検出部117は、オクルージョンとして認識すべき部分を検出する。オクルージョン検出部117の詳細については後述する。新視点位置算出部118は、オクルージョンが解消(あるいはより軽減)される新たな視点を三次元モデルが表示された画面上に表示する。新視点位置算出部118の詳細については後述する。ガイド表示制御部119は、精度や誤差の点で再度の点群位置データの取得が必要な領域を画像表示装置104上に三次元モデルと共に表示する。
【0043】
以下、対応関係特定部113、座標統合部116、オクルージョン検出部117、新視点位置算出部118について詳細に説明する。まず、説明の前提となる点群位置データを測定する状態の具体的な一例を説明する。図2には、点群位置データを測定する状況の一例が概念的に示されている。図2には、図1の点群位置データ処理装置100として機能するノート型のパーソナルコンピュータ130が示されている。パーソナルコンピュータ130には、点群位置データ取得装置の一例である三次元レーザースキャナ131が接続されている。図2には、まず、測定を行う第1の視点となる第1の設置位置132に三次元レーザースキャナ131を配置して点群位置データの取得を行い、次に第2の視点となる第2の設置位置133に、三次元レーザースキャナ131を設置し、再度の点群位置データの取得を行おうとする場合の例が示されている。なお、三次元レーザースキャナ131は、図1の点群位置データ取得装置101の機能に加えて、画像取得装置102、GPS装置103の機能を備えている。
【0044】
図2には、第1の設置位置132に三次元レーザースキャナ131を配置した状況において、三次元レーザースキャナ131側から見て、手前側に測定対象物134が位置し、その背後(後ろ側)に測定対象物135が位置している状況が示されている。また、第1の設置位置132から見て、測定対象物134の背後に隠れる位置に測定対象物136が位置している状態が示されている。
【0045】
(対応関係特定部)
以下、図1の対応関係特定部113について説明する。ここでは、具体例として、図2の状況における対応関係特定部113の機能について説明する。この場合、対応関係特定部113は、三次元レーザースキャナ131を第1の設置位置132(第1の視点)に設置した場合に取得された測定対象物134〜136の点群位置データ(または画像データ)と、三次元レーザースキャナ131を第2の設置位置133(第2の視点)に設置した場合に取得される測定対象物134〜136の画像データとの対応関係(相関関係)を求める。
【0046】
上記の対応関係も求める方法として、「単写真標定」、「相互標定」、「ステレオマッチング」が挙げられる。これらの方法は、その一つを用いても良いし、複数を組み合わせて用いても良い。上記の対応関係を求める処理は、図2の第1の設置位置(第1の視点)132から測定対象物134〜136を見た場合に得られる画像の画像データを取り扱うのに利用される座標系(第1の座標系)(X、Y、Z)と、第2の設置位置(第2の視点)133から測定対象物134〜136を見た場合に得られる画像の画像データを取り扱うのに利用される座標系(第2の座標系)(x、y、z)との対応関係を明らかにする処理と捉えることができる。
【0047】
ここで、「単写真標定」を用いた場合は、第1の視点において既に得られている点群位置データと第2の視点から撮影することで得た画像データとに基づき、上記の対応関係を算出する処理が行われる。「相互標定」を用いた場合および「ステレオマッチング」を用いた場合は、第1の視点から撮影することで得られた画像データと、第2の視点から撮影することで得られた画像データとに基づき、上記の対応関係を算出する処理が行われる。なお、第1の視点から得られる画像の画像データは、CCDカメラ等の撮影装置によって撮影した画像の画像データであってもよいし、点群位置データに基づいて得られた画像データであってもよい。
【0048】
(単写真標定)
単写真標定とは、1枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置(X0、Y0、Z0)およびカメラの傾き(ω,φ,κ)を求め、写真座標x、yと地上座標X、Y、Zの間の関係を求める技術である。共線条件とは、投影中心、写真像および地上の対象物が一直線上にあるという条件である。また、カメラの位置(X0、Y0、Z0)とカメラの傾き(ω、φ、κ)は外部標定要素と呼ばれる。
【0049】
ここでは、単写真標定の原理を用いて、第1の設置位置132(第1の視点)から対象物134〜136を見た場合の第1の座標系と、第2の設置位置133(第2の視点)から対象物134〜136を見た場合の第2の座標系との関係を求める方法を説明する。この場合、第1の設置位置において測定対象物134〜136の点群位置データが取得されている状態で、第2の設置位置133から三次元レーザースキャナ131が備えている画像取得装置102(CCDカメラ)による画像の取得を行い、その上で以下の演算を行う。
【0050】
まず、第1の座標系をX、Y、Z、第2の座標系をx、y、z、とし、第2の設置位置133において、画像取得装置102を各座標軸の正方向に対して左回りにそれぞれ κ、φ、ωだけ順次回転させた向きで撮影を行ったものとする。
【0051】
ここで、第1の設置位置132において得られた点群位置データおよび第2の設置位置133から撮影した撮影画像の中から共通する4点を選択する。この4点は、2つの座標系の対応関係を求める足掛かりとなる共通座標点であり、測定対象物の中から特徴点となる部分が選択される。この4点の選択を行う方法は、マニュアル操作によって行う方法や、対象物のエッジや角部分等の特徴点として把握し易い部分をソフトウェア的に自動抽出する方法が利用できる。
【0052】
そして、4点の画像座標と対応する基準点の3次元座標を数1に示す2次の射影変換式に代入し、観測方程式を立ててパラメ−タb1〜b8を求める。
【0053】
【数1】
【0054】
数1のパラメータb1〜b8を用いて、下記の数2から外部標定要素(X0、Y0、Z0)を求める。
【数2】
【0055】
次に、単写真標定の原理より、(X,Y,Z)に対応する、傾いた画像取得装置102の座標系(xp、yp、zp)を以下の数3から求める。数3では、数2で求まった画像取装置の傾き(ω、φ、κ)を代入し、回転行列の計算をして、パラメータa11〜a33を求める。
【0056】
【数3】
【0057】
求まったパラメータa11〜a33と数2で求まったカメラの位置(X0、Y0、Z0)、および(X,Y,Z)を、投影中心、写真像および対象物が一直線上にあるという以下の数4の共線条件式に代入し、座標(x、y)を求める。ここで、cは画面距離(焦点距離)、a11〜a33は、3×3回転行列の要素として現される画像取得装置102の傾きであり、Δx、Δyは、画像取得装置102内部の標定補正項である。
【0058】
【数4】
【0059】
こうして、図2の第1の設置位置(第1の視点)132から測定対象物134〜136を見た場合の座標系(第1の座標系)(X、Y、Z)と、第2の設置位置(第2の視点)133から測定対象物134〜136を見た場合の座標系(第2の座標系)(x、y、z)との対応関係が算出される。なお、上記の算出方法では、zとZの関係が求めていないが、第1の設置位置132と第2の設置位置133とが水平面内における位置の違いであるある場合、z=Zであるので、上記の方法で問題は生じない。
【0060】
(相互標定)
相互標定は、画像中の6点以上の対応点により、第1の視点から見た測定対象物を記述する第1の座標系と、第2の視点から見た測定対象物を記述する第2の座標系との関係を求める技術である。図8は相互標定の原理を説明する概念図である。ここでは、第1の視点からの撮影(左側のカメラによる撮影)によって得られる画像の座標系(第1の座標系)と、第2の視点からの撮影(右側のカメラによる撮影)によって得られる画像の座標系(第2の座標系)との関係を求める場合を例に上げ、相互標定の手順について説明する。相互標定では、以下の共面条件式により各パラメータを求める。
【0061】
【数5】
【0062】
図8に示すように、モデル座標系の原点を左側の投影中心O1にとり、右側の投影中心O2を結ぶ線をX軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのZ軸の回転角κ1、Y軸の回転角φ1、右側のカメラのZ軸の回転角κ2、Y軸の回転角φ2、X軸の回転角ω2の5つの回転角となる。この場合、左側のカメラのX軸の回転角ω1は0なので、考慮する必要はない。このような条件にすると、数5の共面条件式は数6式のようになり、この式を解けば各パラメータが求まる。
【0063】
【数6】
【0064】
ここで、モデル座標系XYZとカメラ座標系xyzの間には、次に示すような座標変換の関係式が成り立つ。
【0065】
【数7】
【0066】
【数8】
【0067】
これらの式を用いて、次の手順により、未知パラメータを求める。
(1)初期近似値は通常0とする。
(2)数6の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数7、数8式により求め、観測方程式をたてる。
(3)最小二乗法をあてはめ、近似値に対する補正量を求める。
(4)近似値を補正する。
(5)補正された近似値を用いて、(2)〜(5)までの操作を収束するまで繰り返す。
【0068】
上述した方法で未知パラメータを求めることで、第1の座標系(X1、Y1、Z1)と第2の座標系(X2、Y2、Z2)との対応関係が求まる。
【0069】
(絶対標定)
絶対標定は、モデル座標系を地上座標系(絶対座標系)に変換する方法である。絶対標定を用いた場合、第1の座標系を地上座標系に関連付け、他方で第2の座標系を地上座標系に関連付け、地上座標系を介して第1の座標系と第2の座標系の対応関係が取得される。まず、モデル座標系(XM、YM、ZM)を地上座標系(X、Y、Z)に変換する。ここで、縮尺をs、3軸回りの回転をω、φ、κ、平行移動量を(X0、Y0、Z0)とすると、数9の関係式が得られる。
【0070】
【数9】
【0071】
次に、ω、φが小さいとして、未知変量(s、ω、φ、κ、X0、Y0、Z0)を求める。まず、ヘルマート変換により平面座標の調整を行う。平面座標に限定すると、下記数10が成り立つ。なお、下記数10において、cosκ=(a/s)、sinκ=(−b/s)である。
【0072】
【数10】
【0073】
上記数10において、最小二乗法により、係数a、b、X0、Y0を決定する。次に、縮尺の統一を行う。この場合、下記数11が成り立つ。
【0074】
【数11】
【0075】
次に、高さの調整を行う。この場合、下記数12が成り立つ。
【0076】
【数12】
【0077】
数12において、最小二乗法により、ω、φ、Z0を求める。そして求めた未知変量を用いて、モデル座標を下記数13により修正する。
【0078】
【数13】
【0079】
以上の処理を未知変量が収束するまで繰り返し、モデル座標系(XM、YM、ZM)と地上座標系(X、Y,Z)との対応関係を求める。そして、モデル座標系として第1の視点からの第1の座標系と第2の視点からの第2の座標系を選択することで、地上座標系を介した第1の座標系と第2の座標系との対応関係が明らかになる。あるいは、2つ視点からの画像や点群位置データを共通の座標である地上座標系で取り扱うことができる。
【0080】
(ステレオマッチング)
ステレオマッチングを用いた方法では、2つの座標系における画像の座標データを相互に比較し、両者の相関関係により、両座標系の対応関係を求める。図9は、ステレオマッチングの原理を説明する原理図である。この方法では、図示するように、N1×N1画素のテンプレート画像を、それよりも大きいM1×M1画素の入力画像内の探索範囲(M1−N1+1)2上で動かし、下記数14で示される相互相関関数C(a,b)が最大となるような(つまり相関の程度が最大となるような)テンプレート画像の左上位置を求める。
【0081】
【数14】
【0082】
ステレオマッチングを用いることで、比較する2つの画像の座標系の対応関係を知ることができる。すなわち、第1の視点から測定対象物を見た場合の座標系(第1の座標系)と第2の視点から測定対象物を見た場合の座標系(第2の座標系)との対応関係を知ることができる。
【0083】
(三次元モデル形成部)
以下、図1の三次元モデル形成部114の機能について説明する。図3には、三次元モデル形成部114のブロック図が示されている。三次元モデル形成部114は、非面領域除去部201、面ラベリング部202、輪郭線算出部203を備えている。以下、これら各機能部について説明する。非面領域除去部201は、局所領域を取得する局所領域取得部201a、局所領域の法線ベクトルを算出する法線ベクトル算出部201b、局所領域の局所曲率を算出する局所曲率算出部201c、局所領域にフィッティングする局所平面を算出する局所平面算出部201dを備える。
【0084】
局所領域取得部201aは、点群位置データに基づき、注目点を中心とした一辺が3〜7画素程度の正方領域(格子状の領域)を局所領域として取得する。法線ベクトル算出部201bは、局所領域取得部201aが取得した上記の局所領域における各点の法線ベクトルの算出を行う。この法線ベクトルを算出する処理では、局所領域における点群位置データに着目し、各点の法線ベクトルを算出する。この処理は、全ての点群位置データを対象として行われる。すなわち、点群位置データが無数の局所領域に区分けされ、各局所領域において各点の法線ベクトルの算出が行われる。
【0085】
局所曲率算出部201cは、上述した局所領域内の法線ベクトルのバラツキ(局所曲率)を算出する。ここでは、着目している局所領域において、各法線ベクトルの3軸成分の強度値(NVx, NVy, NVz)の平均(mNVx,mNVy,mNVz)を求め、さらに標準偏差(StdNVx,StdNVy,StdNVz)を求める。次に、標準偏差の二乗和の平方根を局所曲率(Local Curveture:crv)として算出する(下記数15参照)。
【0086】
【数15】
【0087】
局所平面算出部201dは、局所領域にフィッティング(近似)する局所平面を求める。この処理では、着目している局所領域の各点の三次元座標から局所平面の方程式を求める。局所平面は、着目している局所領域にフィッティングさせた平面である。ここでは、最小二乗法を用いて、当該局所領域にフィッティングする局所平面の面の方程式を算出する。具体的には、複数の異なる平面方程式を求め、更にそれらを比較し、当該局所領域にフィッティングする局所平面の面の方程式を算出する。仮に、着目している局所領域が平面であれば、局所平面と局所領域とは一致する。
【0088】
以上の処理を、局所領域を順次ずらしながら、全ての点群位置データが対象となるように繰り返し行い、各局所領域における法線ベクトル、局所平面、局所曲率を得る。
【0089】
次に、上で求めた各局所領域における法線ベクトル、局所平面、局所曲率に基づいて、非面領域の点を除去する処理を行う。すなわち、面(平面および曲面)を抽出するために、予め面でないと判断できる部分(非面領域)を除去する。なお、非面領域とは、平面でも曲面でもない領域であるが、下記の(1)〜(3)の閾値によっては曲率の高い曲面を含む場合がある。
【0090】
非面領域除去の処理は、以下に示す3つの方法のうち、少なくとも一つを用いて行うことができる。ここでは、下記の(1)〜(3)の方法による判定を上述した局所領域の全てに対して行い、1以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、抽出された非面領域を構成する点に係る点群位置データを除去する。
【0091】
(1)局所曲率の高い部分:上述した局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面(平面および曲率の小さい曲面)ではその値が小さく、面以外(非面)ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。
【0092】
(2)局所平面のフィッティング精度:局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。
【0093】
(3)共平面性のチェック:ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる2つの局所領域のそれぞれにフィッティングする2つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が0であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、2つの局所平面が同一面上にない程度がより顕著であると判定される。
【0094】
上記の(1)〜(3)の方法による判定において、1以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、この抽出された局所領域を構成する点に係る点群位置データを算出対象としている点群位置データから除去する。以上のようにして、非面領域の除去が行われる。こうして、点群位置データの中から非面領域の点群位置データが非面領域除去部201において除去される。なお、除去された点群位置データは、後の処理で利用する可能性があるので、適当な記憶領域に格納するなり、除去されなかった点群位置データと識別できる状態とするなどして、後で利用できる状態にしておく。
【0095】
次に面ラベリング部202の機能について説明する。面ラベリング部202は、非面領域除去部201において非面領域の点群位置データが除去された点群位置データに対して、法線ベクトルの連続性に基づいて面ラベリングを行う。具体的には、特定の注目点と隣接点の法線ベクトルの角度差が予め決めた閾値以下なら、それらの点に同一ラベルを貼る。この作業を繰り返すことで、連続する平面、連続する緩やかな曲面に同一ラベルが貼られ、それらを一つの面として識別可能となる。また、面ラベリングの後、法線ベクトルの角度差や法線ベクトルの3軸成分の標準偏差を用いて、ラベル(面)が平面であるか、または曲率の小さい曲面であるかを判定し、その旨を識別する識別データを各ラベルに関連付ける。
【0096】
続いて、面積の小さいラベル(面)をノイズとして除去する。なお、このノイズ除去は、面ラベリングの処理と同時に行ってもよい。この場合、面ラベリングを行いながら、同一ラベルの点数(ラベルを構成する点の数)を数え、所定以下の点の数であるラベルを取り消す処理を行う。次に、この時点でラベルが無い点に対して、最近傍面(最も近い面)と同一のラベルを付与していく。これにより、既にラベリングされた面の拡張を行う。
【0097】
すなわち、ラベルの付いた面の方程式を求め、当該面とラベルが無い点との距離を求める。ラベルが無い点の周辺に複数のラベル(面)がある場合には、その距離が最も短いラベルを選択する。そして、依然としてラベルが無い点が残存している場合には、非面領域除去、ノイズ除去、およびラベル拡張における各閾値を変更し、再度関連する処理を行う。例えば、非面領域除去において、局所曲率の閾値を上げることで、非面として抽出する点の数が少なくなるようにする。または、ラベル拡張において、ラベルの無い点と最近傍面との距離の閾値を上げることで、ラベルの無い点に対してより多くのラベルを付与するようにする。
【0098】
次に、ラベルが異なる面であっても同一面である場合にラベルを統合する。この場合、連続しない面であっても、位置または向きが等しい面同士に同じラベルを付ける。具体的には、各面の法線ベクトルの位置および向きを比較することで、連続しない同一面を抽出し、いずれかの面のラベルに統一する。以上が面ラベリング部202の機能である。
【0099】
この面ラベリング部202の機能によれば、扱うデータ量を圧縮できるので、点群位置データの処理を高速化できる。また必要なメモリ量を節約できる。また、測定中に紛れ込んだ通行人や通過した車両の点群位置データをノイズとして除去することができる。
【0100】
輪郭線算出部203は、隣接する面の点群位置データに基づき、輪郭線を算出(推定)する。以下、具体的な算出方法について説明する。輪郭線算出部203は、間に非面領域を挟む隣接する面同士の交線を求め、それを輪郭線とする処理を行う。この際、隣接する面の間の非面領域に局所平面をフィッティングさせ、この局所平面を複数繋ぐことで、非面領域を複数の局所平面によって近似する方法を採用することもできる。これは、複数の局所平面により構成される多面体で非面領域を近似したものと捉えることができる。この場合、隣接する面から局所平面をつないでゆき、最後に隣接した局所平面同士の交線を輪郭線として算出する。輪郭線が算出されることで、測定対象物の輪郭の画像が明確となる。
【0101】
次に、二次元エッジ算出部204について説明する。以下、二次元エッジ算出部204で行われる処理の一例を説明する。まず、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化(区分け)された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、二次元エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ(z値)と、その近傍の輪郭線(三次元エッジ)を構成する点の三次元座標の高さ(z値)とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。
【0102】
二次元エッジの算出後、輪郭線算出部203が算出した輪郭線と二次元エッジ算出部204が算出した二次元エッジとを統合する。これにより、点群位置データに基づくエッジの抽出が行われる。このエッジの抽出により、測定対象物を視認する際における測定対象物の外観を構成する線が抽出される。これにより、測定対象物の線図のデータが得られる。
【0103】
具体的な例として、例えば、測定対象物として建物が選択し、この建物の点群位置データに基づいて、線図のデータを得た場合を説明する。この場合、当該建物の外観、外壁の模様、窓等の輪郭が線図のデータとして表現される。なお、窓のような比較的凹凸の少ない部分の輪郭は、閾値の判定により、輪郭線として処理される場合もあるし、二次元エッジとして処理される場合もある。このような線図のデータは、3次元CADデータや対象物の下図のデータとして利用できる。
【0104】
座標統合部で2つの視点からの座標を統合した統合座標が算出された場合、以上述べた三次元モデル形成部114における三次元モデルの形成をこの統合座標上で行うことで、2つの視点から得た点群位置データに基づく三次元モデルが得られる。この場合、同じ座標位置で点群位置データが重複する部分は、いずれか一方の視点から得られた点群位置データに基づいて、上述した処理が行われる。そして、一方の視点からはオクルージョンとなり、他方の視点からはオクルージョンとならない部分は、他方の視点から得た点群位置データを利用して上述した処理が行われる。よって例えば、第1の視点からはオクルージョンとなる部分の点群位置データを、第2の視点から得た点群位置データによって補完した三次元モデルを形成することができる。
【0105】
(座標統合部)
図1に戻り、座標統合部116の機能について説明する。座標統合部116は、対応関係特定部113において求められた2つの座標系の間の関係に基づいて、統合された座標系を算出する。一般的には、座標統合部116は、対応関係特定部113において求められた2つの座標系の間の対応関係に基づいて、一方の座標系を他方の座標系に変換する。これにより、一方の座標系で取り扱われている三次元モデルのデータを他方の座標系でも取り扱えることができるようになる。あるいは両方の座標系で取り扱われている点群位置データを統合された一つの座標系で取り扱うことができるようになる。
【0106】
(オクルージョン検出部)
オクルージョン検出部117は、上述した局所平面のフィッティング精度および共平面性のチェックに基づいてオクルージョンが発生する部分を検出する。図5は、オクルージョンが発生する原理を示す原理図である。図5において、三次元レーザースキャナ150から見て、符号151の部分が手前側の測定対象物の出っ張り部分152の影となり、オクルージョン部分となる。図5から分かるように、オクルージョンが発生する部分は、手前側にエッジ153のような面の向きが急激に変わる部分が存在する。したがって、背後に距離が離れて面があり、手前側に面の向きが急激に変わる部分があるか否かを判定することで、オクルージョンが発生する部分を検出することができる。具体的には、上述した局所平面のフィッティング精度および共平面性のチェックに閾値を設け、この閾値によってオクルージョンの有無を検出する。オクルージョンの検出は、複数の視点毎に行うことも可能である。
【0107】
(新視点位置算出部)
新視点位置算出部118は、オクルージョン検出部117が検出したオクルージョンが解消される視点を算出する。図6は、オクルージョンが解消される新たな視点を算出する方法の一例を示す原理図である。図6には、第1の視点におけるオクルージョンとなる部分が示されている。この例の場合、まず視点1から見て、オクルージョンを発生させる手前側のエッジAの座標と、視線の先にある奥側の面の位置Bの座標に基づき、位置Aと位置Bの中間点の位置Cの座標を算出する。次いで、第1の視点と位置Cを一辺とする直角二等辺三角形を設定し、第2の視点の座標を算出する。この方法によれば、スキャンビームに対する法線の方向からの新たな点群位置データの測定が可能となり、第1の視点におけるオクルージョンを解消することができる。
【0108】
新たな視点を算出する別の方法として以下の方法もある。図4(B)に示されるように、ある視点(以下、第1の視点)から得られた点群データに基づく三次元モデルを回転させると、当該点群データにおけるオクルージョン部分が現れる。そこで、視点を段階的に変化させ、現れるオクルージョン部分の面積が最大となる視点を求めることで、オクルージョンが解消される新たな視点を得ることができる。
【0109】
(動作例1)
以下、図2の場合を例に挙げ、動作の一例を説明する。まず、図2の第1の設置位置132(第1の視点)に三次元レーザースキャナ131を配置し、図示する測定対象物の点群位置データを取得する。この図2の第1の設置位置132(第1の視点)から得られた点群位置データに基づく三次元モデル(線図)が図4(A)に示されている。
【0110】
次に、図2の第2の設置位置133(第2の視点)に三次元レーザースキャナ131を移動させ、内蔵した画像取得装置(CCDカメラ)によって、測定対象物の撮影を行う。ここで、対応関係特定部113において、前述した少なくとも一つの方法により、第1の設置位置132から得られた測定対象物の画像データを取り扱う際に利用される座標系(X、Y、Z)と、第2の設置位置133から得られた測定対象物の画像データを取り扱う際に利用される座標系(x、y、z)との対応関係が算出される。これにより、第1の設置位置132において得られた点群位置データに基づく三次元モデル(図4(A)参照)を、第2の設置位置133から見た場合の表示状態に変換することができる。
【0111】
この第1の設置位置132において得られた点群位置データに基づく三次元モデルを回転させ、第2の設置位置133から見たものに変換した三次元モデルが図4(B)に示されている。この図4(B)の三次元モデル画像は、パーソナルコンピュータ130のディスプレイに表示される。
【0112】
図4(B)には、オクルージョン部分134aが示されている。ここで、オクルージョン部分134aは、視認し易いように黒く画面上で表示されている。オクルージョン部分134aは、第1の設置位置132から見た場合に、測定対象物134の影となる部分である。図2の測定対象物136は、第1の設置位置132からは測定対象物134の影となり、見えないので、その点群位置データは、第1の設置位置132から得た点群位置データには含まれない。よって、図4(B)に示す三次元モデルには、測定対象物136は表示されない。
【0113】
作業者は、図4(B)の画像表示をパーソナルコンピュータ130上で見ることで、第1の設置位置132(第1の視点)において点群位置データを取得した場合におけるオクルージョン部分134aを認識することができる。
【0114】
(動作例1の優位性)
図4(B)の表示画像を得るための処理では、第2の設置位置133における点群位置データの取得を行う前の段階で、第2の設置位置133からのカメラによる撮影が行われ、それに基づいて、図4(B)に例示するような三次元モデル表示を行うための処理が行われる。
【0115】
第1の設置位置132に加えて、第2の設置位置133からの点群位置データの取得を行う目的は、符号134aによって示されるようなオクルージョン部分を極力少なくすることにある(あるいは、図面として必要な部分がオクルージョン部分として抜け落ちないようにすることにある)。したがって、視点を変えることで、どのようにオクルージョン部分が存在しているかを迅速に把握し、オクルージョンが生じないような適切な第2の視点を探す作業が重要となる。
【0116】
上述した方法によれば、新たな点群位置データの取得を行う前に、新しい視点での測定対象物の撮影を行うことで、図4(B)に示されるような既に取得済みの点群位置データにおけるオクルージョン部分を視覚的に把握することが可能となる。この際の撮影に要する時間は、点群位置データの取得に要する時間に比較すれば一瞬といってよい時間である。このため、必要とする部分のオクルージョンが発生しない新たな視点を迅速に探すことができる。
【0117】
仮に、図4(B)に示すような画面表示を行う機能が存在しない場合、目測や勘で新たな視点を設定し、そこで再度の点群位置データの取得が行われる。この場合、再度の点群位置データを時間をかけて取得し、さらにその後の後処理の後で、実はオクルージョンが解消しておらず、視点の設定が不適切であったことが判明し、再度の点群データの再取得が必要になる危険性がある。これは、点群位置データの取得に係る作業の増大を招く。これに対して、本実施形態によれば、図4(B)に示すような新視点におけるオクルージョンの解消の程度を、作業者が視覚的に把握できるので、上述した危険性が減少する。
【0118】
(動作例2)
以下、オクルージョンを解消する新たな視点を画面表示し、作業者のガイドを行う場合の動作の一例を説明する。図7には、第1の視点における点群位置データの取得において発生したオクルージョンを解消する新たな第2の視点の位置をガイドするガイド表示画面の一例が示されている。図7では、図4の場合の例示がされている。このガイド表示は、例えば図2のパーソナルコンピュータ130のディスプレイ上に表示される。
【0119】
図7の表示例では、立体感を把握し易いように、フレーム160が画面上に表示される。そして、前回点群位置データの取得を行った第1の視点と、この第1の視点からの測定においてオクルージョンとなる部分が解消される第2の視点が画面上に表示される。この第2の視点の位置は、図1の新視点位置算出部118において算出される。この画面表示を見ることで、作業者は、オクルージョンが解消される(あるいはより効果的に低減される)第2の視点に関する知見を視覚的に得ることができる。
【0120】
(動作例3)
以下、第1の視点から得た点群位置データと第2の視点から得た点群位置データとに基づき、三次元モデルを形成する場合の例を図2の場合に基づいて説明する。まず、第1の設置位置132おいて、測定対象物134〜136の点群位置データ(正確にいうと、オクルージョンが発生するので、測定対象物136の点群位置データは取得できない)を取得し、測定対象物の三次元モデルを形成する(図4(A)参照)。
【0121】
次に、レーザースキャナ131を第2の設置位置133に移動させ、測定対象物134〜136の画像を撮影する。そして、第1の設置位置132において取得した点群位置データと第2の設置位置133において取得した画像データとの対応関係を「単写真標定」を利用して算出する。
【0122】
この後、第1の設置位置132において取得した点群位置データ(第1の点群位置データ)と上記「単写真標定」を用いて算出した対応関係とに基づき、第2の設置位置133の視点から見た三次元モデルの表示を得る(図4(B)参照)。次いで、第2の設置位置133において測定対象物134〜136の点群位置データ(第2の点群位置データ)を取得する。
【0123】
この後、座標統合部116において、上記の「単写真標定」を用いて算出した対応関係に基づき、第1の点群位置データを扱う第1の座標系と第2の点群位置データを扱う第2の座標系とを統合した統合座標系を算出する。そして、統合座標系を用いて第1の点群位置データと第2の点群位置データとを統合的に取り扱うことで、第1の点群位置データと第2の点群位置データとに基づく三次元モデルを形成する。
【0124】
この第1の点群位置データと第2の点群位置データとに基づく三次元モデルを画面上に表示した場合の一例が図4(C)に示されている。この場合、図2の測定対象物136が見える第2の設置位置133において得た点群位置データも利用されて三次元モデルが形成されるので、測定対象物136はオクルージョン部分とならない。また、図4(A)の視点に当該三次元モデルを回転させた場合に、第1の設置位置132おいて得られた点群位置データに基づく三次元モデル部分が見えるので、第2の設置位置133から死角となる部分がオクルージョンとならず、表示される。
【0125】
(動作例4)
図1の点群位置データ処理装置100の内部で扱われる座標のデータをGPS装置103によって得られる経度緯度に関する座標データと関連付けることで、三次元モデルの座標や点群位置データを得るための視点に係る位置データを地図データと関連付けることができる。これにより、例えばパーソナルコンピュータ上に表示された地図データ上に、オクルージョンを解消するための新たな視点の位置を表示するといった機能が可能となる。
【0126】
2.第2の実施形態
以下、三次元レーザースキャナを備えた点群位置データ処理装置について説明する。この例において、点群位置データ処理装置は、測定対象物に対して測距光(レーザー光)を走査しつつ照射し、レーザー光の飛行時間に基づいて自身の位置から測定対象物上の多数の測定点までの距離を測距する。また、点群位置データ処理装置は、レーザー光の照射方向(水平角および高低角)を検出し、距離および照射方向に基づいて測定点の三次元座標を演算する。また、点群位置データ処理装置は、測定対象物を撮影した二次元画像(各測定点におけるRGB強度)を取得し、二次元画像と三次元座標とを結び付けた点群位置データを形成する。さらに、点群位置データ処理装置は、形成した点群位置データから輪郭線により構成された対象物の三次元輪郭線を示す線図を形成する。さらに、点群位置データ処理装置は、第1の実施形態で説明した新たな視点から見た場合のオクルージョン部分の様子を画像表示するための処理を行う機能を有する。
【0127】
(構成)
図10および図11は、三次元レーザースキャナ機能を備えた点群位置データ処理装置1の構成を示す断面図である。点群位置データ処理装置1は、整準部22、回転機構部23、本体部27、および回転照射部28を備えている。本体部27は、測距部24、撮影部25、制御部26等から構成されている。なお、図11は、説明の便宜のため、図10に示す断面方向に対して、回転照射部28のみ側方から見た状態を示している。
【0128】
整準部22は、台盤29を有し、回転機構部23は下部ケーシング30を有する。下部ケーシング30は、ピン31と2個の調整ネジ32とにより3点で台盤29に支持されている。下部ケーシング30は、ピン31の先端を支点にして傾動する。なお、台盤29と下部ケーシング30との間には、台盤29と下部ケーシング30とが互いに離反しないようにするため、引っ張りスプリング33が設けられている。
【0129】
下部ケーシング30の内部には、2個の整準モータ34が設けられている。2個の整準モータ34は、制御部26によって互いに独立して駆動される。整準モータ34の駆動により整準駆動ギア35、整準従動ギア36を介して調整ネジ32が回転し、調整ネジ32の下方への突出量が調整される。また、下部ケーシング30の内部には傾斜センサ37(図12参照)が設けられている。2個の整準モータ34は、傾斜センサ37の検出信号により駆動され、これにより整準が実行される。
【0130】
回転機構部23は、下部ケーシング30の内部に水平角用駆動モータ38を有する。水平角用駆動モータ38の出力軸には水平回動駆動ギア39が嵌着されている。水平回動駆動ギア39は、水平回動ギア40に噛合されている。水平回動ギア40は、回転軸部41に設けられている。回転軸部41は、回転基盤42の中央部に設けられている。回転基盤42は、下部ケーシング30の上部に、軸受け部材43を介して設けられている。
【0131】
また、回転軸部41には水平角検出器44として、例えばエンコーダが設けられている。水平角検出器44は、下部ケーシング30に対する回転軸部41の相対的回転角(水平角)を検出する。水平角は制御部26に入力され、制御部26は、その検出結果に基づき水平角用駆動モータ38を制御する。
【0132】
本体部27は、本体部ケーシング45を有する。本体部ケーシング45は、回転基盤42に固着されている。本体部ケーシング45の内部には鏡筒46が設けられている。鏡筒46は、本体部ケーシング45の回転中心と同心の回転中心を有する。鏡筒46の回転中心は、光軸47に合致されている。鏡筒46の内部には、光束分離手段としてのビームスプリッタ48が設けられている。ビームスプリッタ48は、可視光を透過し、かつ、赤外光を反射する機能を有する。光軸47は、ビームスプリッタ48によって光軸49と光軸50とに分離される。
【0133】
測距部24は、鏡筒46の外周部に設けられている。測距部24は、発光部としてのパルスレーザ光源51を有する。パルスレーザ光源51とビームスプリッタ48との間には、穴あきミラー52、レーザー光のビームウエスト径を変更するビームウエスト変更光学系53が配設されている。測距光源部は、パルスレーザ光源51、ビームウエスト変更光学系53、穴あきミラー52で構成されている。穴あきミラー52は、パルスレーザ光を穴部52aからビームスプリッタ48に導き、測定対象物から反射して戻って来た反射レーザー光を測距受光部54に向けて反射する役割を有する。
【0134】
パルスレーザ光源51は、制御部26の制御により所定のタイミングで赤外パルスレーザ光を発する。赤外パルスレーザ光は、ビームスプリッタ48によって高低角用回動ミラー55に向けて反射される。高低角用回動ミラー55は、赤外パルスレーザ光を測定対象物に向けて反射する。高低角用回動ミラー55は、高低角方向に回転することで、鉛直方向に延びる光軸47を高低角方向の投光光軸56に変換する。ビームスプリッタ48と高低角用回動ミラー55との間でかつ鏡筒46の内部には集光レンズ57が配設されている。
【0135】
測定対象物からの反射レーザー光は、高低角回動用ミラー55、集光レンズ57、ビームスプリッタ48、穴あきミラー52を経て測距受光部54に導かれる。また、測距受光部54には、内部参照光路を通って参照光も導かれる。反射レーザー光が測距受光部54で受光されるまでの時間と、レーザー光が内部参照光路を通って測距受光部54で受光されるまでの時間との差に基づき、点群位置データ処理装置1から測定対象物(測定対象点)までの距離が測定される。測距受光部54は、CMOS光センサ等の光電変化素子により構成され、検出した光のRGB強度を検出する機能も有している。
【0136】
撮影部25は、図1の画像取得装置102に対応するカメラとして機能する画像受光部58を有する。画像受光部58は、鏡筒46の底部に設けられている。画像受光部58は、多数の画素が平面状に集合して配列されたもの、例えば、CCD(Charge Coupled Device)で構成されている。画像受光部58の各画素の位置は光軸50によって特定される。例えば、光軸50を原点として、X−Y座標を想定し、このX−Y座標の点として画素が定義される。
【0137】
回転照射部28は、投光ケーシング59の内部に収納されている。投光ケーシング59の周壁の一部は、投光窓となっている。図11に示すように、鏡筒46のフランジ部60には、一対のミラーホルダー板61が対向して設けられている。ミラーホルダー板61には、回動軸62が掛け渡されている。高低角用回動ミラー55は、回動軸62に固定されている。回動軸62の一端部には高低角ギア63が嵌着されている。回動軸62の他端側には高低角検出器64が設けられている。高低角検出器64は、高低角用回動ミラー55の回動角を検出し、その検出結果を制御部26に出力する。
【0138】
ミラーホルダー板61の一方には、高低角用駆動モータ65が取り付けられている。高低角用駆動モータ65の出力軸には駆動ギア66が嵌着されている。駆動ギア66は、回転軸62に取り付けられた高低角ギア63に噛合されている。高低角用駆動モータ65は、高低角検出器64の検出結果に基づき、制御部26の制御により適宜駆動される。
【0139】
投光ケーシング59の上部には、照星照門67が設けられている。照星照門67は、測定対象物を概略視準するのに用いられる。照星照門67を用いた視準方向は、投光光軸56の延びる方向、および回動軸62の延びる方向に対して直交する方向とされている。また、図11に示すように、投光ケーシング59の上部には、GPSアンテナ81が配置されている。GPSアンテナにより、GPS情報が取得され、内部で行われる演算にGPS情報を利用することができる構成とされている。
【0140】
図12は、制御部のブロック図である。制御部26には、水平角検出器44、高低角検出器64、傾斜センサ37、GPSアンテナ81からの検出信号が入力される。また、制御部26は、操作部6から操作指示信号が入力される。制御部26は、水平角用駆動モータ38、高低角用駆動モータ65、整準モータ34を駆動制御する共に、作業状況、測定結果等を表示する表示部7を制御する。制御部26には、メモリカード、HDD等の外部記憶装置68が着脱可能とされている。
【0141】
制御部26は、演算部4、記憶部5、水平駆動部69、高低駆動部70、整準駆動部71、距離データ処理部72、画像データ処理部73等から構成されている。記憶部5は、測距や高低角と水平角の検出を行うために必要なシーケンスプログラム、演算プログラム、測定データの処理を実行する測定データ処理プログラム、画像処理を行う画像処理プログラム、点群位置データから面を抽出し、更に輪郭線を算出するプログラム、この算出した輪郭線を表示部7に表示させるための画像表示プログラム、点群位置データの再取得に係る処理を制御するプログラム等の各種のプログラムを格納すると共に、これらの各種のプログラムを統合管理するための統合管理プログラム等を格納する。また、記憶部5は、測定データ、画像データ等の各種のデータを格納する。水平駆動部69は、水平角用駆動モータ38を駆動制御し、高低駆動部70は、高低角用駆動モータ65を駆動制御し、整準駆動部71は、整準モータ34を駆動制御する。距離データ処理部72は、測距部24によって得られた距離データを処理し、画像データ処理部73は、撮影部25により得られた画像データを処理する。
【0142】
また、制御部26は、GPS受信部82を備えている。GPS受信部82は、GPSアンテナが受信したGPS衛星からの信号を処理し、地球上における座標データを算出する。これは、通常のGPS受信装置と同じである。GPSから得られた位置情報は、点群位置データ処理部100’に入力される。
【0143】
図13は、演算部4のブロック図である。演算部4は、三次元座標演算部74、リンク形成部75、グリッド形成部9、点群位置データ処理部100’を備えている。三次元座標演算部74には、距離データ処理部72から測定対象点の距離データが入力され、水平角検出器44および高低角検出器64から測定対象点の方向データ(水平角および高低角)が入力される。三次元座標演算部74は、入力された距離データと方向データとに基づき、点群位置データ処理装置1の位置を原点(0,0,0)とした各測定点の三次元座標(直交座標)を算出する。
【0144】
リンク形成部75には、画像データ処理部73から画像データおよび三次元座標演算部74が算出した各測定点の三次元座標の座標データが入力される。リンク形成部75は、画像データ(各測定点のRGB強度)と三次元座標を結び付けた点群位置データ2を形成する。つまり、リンク形成部75は、測定対象物のある点に着目した場合、その着目点の二次元画像中における位置と、その着目点の三次元座標とを関連付けしたものを作成する。この関連付けされたデータは、全ての測定点について算出され、それらが点群位置データ2となる。
【0145】
リンク形成部75は、以上の点群位置データ2をグリッド形成部9に出力する。グリッド形成部9は、点群位置データ2の隣接点の点間距離が一定でない場合に、等間隔のグリッド(メッシュ)を形成し、グリッドの交点に最も近い点を登録する。または、グリッド形成部9は、線形補間法やバイキュービック法を用いて、グリッドの交点位置に全点を補正する。なお、点群位置データ2の点間距離が一定である場合には、グリッド形成部9の処理を省略することができる。
【0146】
以下、グリッドの形成手順について説明する。図14は、点間距離が一定でない点群位置データを示す図であり、図15は、形成したグリッドを示す図である。図14に示すように、各列の平均水平間隔H1〜Nを求め、さらに列間の平均水平間隔の差分ΔHi,jを算出し、その平均をグリッドの水平間隔ΔHとする(数16)。垂直方向の間隔は、各列での垂直方向の隣接点との距離ΔVN,Hを算出し、画像サイズW,Hの画像全体におけるΔVN,Hの平均を垂直間隔ΔVとする(数17)。そして、図15に示すように、算出した水平間隔ΔHおよび垂直間隔ΔVのグリッドを形成する。
【0147】
【数16】
【0148】
【数17】
【0149】
次に、形成したグリッドの交点に最も近い点を登録する。この際、交点から各点までの距離には所定の閾値を設けて、登録を制限する。例えば、閾値は、水平間隔ΔHおよび垂直間隔ΔVの1/2とする。なお、線形補間法やバイキュービック法のように、交点との距離に応じた重みを付けて全点を補正してもよい。ただし、補間を行った場合には、本来計測していない点となる。
【0150】
以上のようにして得られた点群位置データは、点群位置データ処理部100’に出力される。点群位置データ処理部100’は、第1の実施形態で説明した動作を行い、その結果得られた画像が液晶ディスプレイである表示部7に表示される。この点は、第1の実施形態に関係して説明した場合と同じである。点群位置データ処理部100’は、図1の点群位置データ処理装置100と同様の機能を有するハードウェアであり、FPGAを利用した専用の集積回路により構成されている。
【0151】
点群位置データ処理部100’には、GPS受信部82から得られた地球上における座標データが入力される。この構成によれば、点群位置データ処理部100’で取り扱われる座標がGPSから得られた位置データ(例えば、電子地図情報)とリンクされる。これにより、例えば、レーザースキャンナを備えた点群位置データ処理装置1の設置位置を電子地図上に画面表示することができる。
【0152】
(その他)
制御部26の構成において、グリッド形成部9から点群位置データが出力される形態とすると、図11、図12に示す装置は、第1の実施形態で示したパーソナルコンピュータを利用した点群位置データ処理装置と組み合わせて使用可能な三次元レーザースキャナとなる。点群位置データ処理装置100や点群位置データ処理部100’が行う処理を分散して行う構成も可能である。例えば、点群位置データ処理装置100の機能の一部を通信回線で結ばれたサーバで行うような構成も可能である。この場合、本発明の点群位置データ処理システムの一例として把握される。
【0153】
画像を取得する方法として、CCDカメラ等を用いた撮影による方法が一般的であるが、点群データに基づいて測定対象物の画像を再現することもできる。レーザースキャン装置により点群位置データを得た場合、各点からの反射光の光強度に係るデータが得られる。したがって、点群位置データを対象物の画像を構成する画素データとして取り扱うことで、点群位置データに基づいて測定対象物の画像を再現することができる。つまり、CCDやCMOSイメージセンサ等の撮影手段の代わりに、レーザースキャン装置を用いて測定対象物の画像を得ることができる。この場合、画像データ取得部112は、点群位置データ取得装置101から出力される点群位置データに基づき、上述した原理により画像データを取得する。
【産業上の利用可能性】
【0154】
本発明は、三次元情報の測定を行う技術に利用することができる。
【符号の説明】
【0155】
1…三次元レーザースキャナを備えた点群位置データ処理装置、2…点群位置データ、22…整準部、23…回転機構部、24…測距部、25…撮影部、26…制御部、27…本体部、28…回転照射部、29…台盤、30…下部ケーシング、31…ピン、32…調整ネジ、33…引っ張りスプリング、34…整準モータ、35…整準駆動ギア、36…整準従動ギア、37…傾斜センサ、38…水平回動モータ、39…水平回動駆動ギア、40…水平回動ギア、41…回転軸部、42…回転基盤、43…軸受部材、44…水平角検出器、45…本体部ケーシング、46…鏡筒、47…光軸、48…ビームスプリッタ、49、50…光軸、51…パルスレーザ光源、52…穴あきミラー、53…ビームウエスト変更光学系、54…測距受光部、55…高低角用回動ミラー、56…投光光軸、57…集光レンズ、58…画像受光部、59…投光ケーシング、60…フランジ部、61…ミラーホルダー板、62…回動軸、63…高低角ギア、64…高低角検出器、65…高低角用駆動モータ、66…駆動ギア、67…照星照門、68…外部記憶装置、69…水平駆動部、70…高低駆動部、71…整準駆動部、72…距離データ処理部、73…画像データ処理部、81…GPSアンテナ、82…GPS受信部、100’…点群位置データ処理部、130…点群位置データ処理装置として機能するパーソナルコンピュータ、131…三次元レーザースキャナ、132…三次元レーザースキャナを設置する第1の設置位置、133…三次元レーザースキャナを設置する第2の設置位置、134、135、136…測定対象物、134a…オクルージョン部分、150…三次元レーザースキャナ、151…オクルージョン部分、152…オクルージョンの原因となる測定対象物の出っ張り部分、153…エッジ部分、160…三次元画像の把握を助ける枠表示。
【技術分野】
【0001】
本発明は、点群位置データ処理技術に係り、手前の測定対象物の影になり点群位置データが得られなかった部分(オクルージョン部分)の点群位置データを効率よく取得する技術に関する。
【背景技術】
【0002】
測定対象物の点群位置データから三次元形状を生成する技術が知られている。点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点(点群)と、この複数の測定点の三次元空間中の位置(三次元座標)とが関連付けされている。点群位置データによれば、点の集合により測定対象物の外形を再現した三次元モデルを得ることができる。また、各点の三次元座標が判るので、各点の三次元空間中における相対位置関係が把握でき、画面表示した三次元モデルの画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。
【0003】
例えば、特許文献1に記載の発明では、走査レーザー装置が三次元対象を走査して、ポイントクラウドを生成する。ポイントクラウドは、走査点に関する深さと法線の変化に基づいて、エッジポイントと非エッジポイントのグループに分割される。各グループを幾何学的原図にフィットさせ、フィットした幾何学的原図を拡張、交差させることで、三次元形状を生成する。
【0004】
特許文献2に記載の発明では、点群位置データからセグメント(三角ポリゴン)を形成し、隣接するポリゴン同士の連続性、法線方向、または距離に基づき、エッジおよび面を抽出する。また、各セグメントの点群位置データの平面性または曲面性を、最小二乗法を用いて、平面方程式または曲面方程式に置き換え、グループ分けを行い、三次元形状を生成する。
【0005】
特許文献3に記載の発明では、三次元点群位置データに対して二次元矩形領域を設定し、その矩形領域に対応する測定点の合成法線ベクトルを求める。合成法線ベクトルがZ軸方向と一致するように、矩形領域内の全ての計測点を回転移動する。矩形領域内の各計測点についてZ値の標準偏差σを求め、標準偏差σが所定値を超えた場合、矩形領域の中心点と対応する計測点をノイズとして取り扱う。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2000−509150号公報
【特許文献2】特開2004−272459号公報
【特許文献3】特開2005−024370号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
レーザースキャナを用いて点群位置データを得る場合、レーザースキャナから見て、ある対象物の背後の部分の点群位置データは、影となるので取得できない。この影の部分が生じる現象をオクルージョンという。この影となる取得できなかった部分の点群位置データは、以前は影であった部分にレーザー光を当てることができる位置に視点を変更し、再度のスキャニングを行うことで得ることができる。
【0008】
しかしながら、この方法によってオクルージョンを解消するには、2つの視点から得られたそれぞれ数万点〜数億点にもなる点群位置データを共通の座標系で取り扱うための位置合わせを行う処理が必要となる。この処理は、煩雑であり、また長い処理時間が必要となる。このため、再度の点群データの取得を行い、更にデータ処理を行った後で、オクルージョンが解消していないことが判明した場合、(1)再度レーザースキャナを現場に持ち込んでの作業を行わなくてはならず、その作業の手間が大変である、(2)時間が経過しているために現場の状況が変わっており、上述した位置合わせを行うことができない場合がある、(3)新たに点群位置データを取得し直しても、後処理を行わなくては、オクルージョンが解消したか否かを確認するすべがない、といった問題がある。
【0009】
この問題が生じないようにするために、これまでは、レーザースキャナを扱い点群位置データを取得するための作業を行う作業者が、経験や勘に基づき、別視点の位置を選択し、オクルージョンが解消されるようにしていた。しかしながら、経験や勘に頼った方法は、作業者の違いによる作業効率の差が生じやすく、また点群位置データに基づいて三次元モデルを得る技術の利便性の点で問題があった。このような背景において、本発明は、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供する技術を得ることを目的とする。
【課題を解決するための手段】
【0010】
請求項1に記載の発明は、測定対象物の点群位置データを取得する点群位置データ取得部と、測定対象物の画像を取得する画像取得部と、第1の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第1の視点において前記画像取得部で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像取得部で取得された画像データとの対応関係を求める対応関係特定部と、前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部とを備え、前記三次元モデル形成部は、前記対応関係特定部で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理装置である。
【0011】
請求項1に記載の発明によれば、第1の視点から得た点群位置データ(あるいは画像データ)と、第2の視点から得た画像データとを対応付けることで、第1の視点から得た点群位置データに基づいて、第2の視点から見た場合の測定対象物の三次元モデルが形成される。すわわち、測定する視点(観測点)の位置を変更した際に、その新たな視点から見た三次元モデルが、第1の視点から得た点群位置データに基づき算出される。これにより、視点を変えたことによるオクルージョン部分の視覚化が行われる。すなわち、視点を変えることで、オクルージョン部分を画像中で認識し易くすることができる。このため、オクルージョンを解消するのに適した新たな視点を作業者が把握することが容易となる。
【0012】
請求項2に記載の発明は、請求項1に記載の発明において、前記画像取得部は、反射光の強度のデータを含む点群位置データに基づいて画像データを取得する機能、または撮影装置から出力される画像データを受け付ける機能を有することを特徴とする。レーザースキャン装置により点群位置データを得た場合、各点からの反射光の光強度に係るデータが得られる。したがって、点群位置データを対象物の画像を構成する画素データとして取り扱うことで、点群位置データに基づいて測定対象物の画像を再現することができる。したがって、CCDやCMOSイメージセンサ等の撮影手段の代わりに、点群位置データを取得する手段に基づいて、測定対象物の画像を得ることもできる。
【0013】
請求項3に記載の発明は、請求項1または2に記載の発明において、前記対応関係特定部で特定された前記対応関係に基づき、前記第1の視点から得た点群位置データと前記第2の視点から得られた点群位置データとの座標の統合を行う座標統合部を備えることを特徴とする。請求項3に記載の発明によれば、第1の視点から得た点群位置データの座標系と第2の視点から得た点群位置データの座標系とが統合され、これら2つの視点から得られた2群の点群位置データに基づいた三次元モデルが算出される。これにより、第1の視点ではオクルージョンとなっているが第2の視点ではオクルージョンとなっていない部分、および第1の視点ではオクルージョンといなっていないが第2の視点ではオクルージョンとなっている部分が互い補完され、よりオクルージョンが減った三次元モデルが得られる。この三次元モデルは、回転して表示させた際に、オクルージョンとなる部分が減っているので、より実際の測定対象物の三次元構造を忠実に再現した三次元モデルとなる。
【0014】
請求項4に記載の発明は、請求項3に記載の発明において、前記三次元モデル表示部は、前記座標統合部で統合された共通の座標系において、前記第1の視点から得た点群位置データと前記第2の視点から得た点群位置データとに基づく三次元モデルの表示の制御を行うことを特徴とする。請求項4に記載の発明によれば、第2の視点から見た対象物の三次元モデルが画像として表示される。この三次元モデルは、異なる視点からの点群位置データに基づいて作成されているので、オクルージョンとなる部分が減少しており、実際の測定対象物の三次元構造をより忠実に再現した三次元モデルの画像となる。
【0015】
請求項5に記載の発明は、請求項1〜4のいずれか一項に記載の発明において、少なくとも、前記第1の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出部を備え、前記三次元モデル形成部は、前記オクルージョン検出部で検出されたオクルージョン部分を三次元モデル中に組み込む処理を行うことを特徴とする。請求項5に記載の発明によれば、視点を変えた際にオクルージョン部分が視覚化されて表示される(例えば、黒く表示される)。これにより、作業者がより容易にオクルージョン部分を視覚的に把握することができる。
【0016】
請求項6に記載の発明は、請求項5に記載の発明において、前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出部を備えることを特徴とする。
【0017】
請求項7に記載の発明は、請求項1〜6のいずれか一項に記載の発明において、追加で取得が必要な測定対象エリアを前記三次元モデル表示にガイド表示するガイド表示部を備えることを特徴とする。
【0018】
請求項8に記載の発明は、請求項1〜7のいずれか一項に記載の発明において、前記第1の視点の位置および前記第2の視点の位置の測定を行うGPS装置を備え、前記対応関係特定部は、前記第1の視点の位置および前記第2の視点の位置の特定に前記GPS装置で測定された位置データを利用することを特徴とする。
【0019】
請求項9に記載の発明は、測定対象物の点群位置データを取得する点群位置データ取得手段と、測定対象物の画像を取得する画像取得手段と、第1の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第1の視点において前記画像取得部で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像取得部で取得された画像データとの対応関係を求める対応関係特定手段と、前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成手段と、前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御手段とを備え、前記三次元モデル形成手段は、前記対応関係特定手段で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理システムである。
【0020】
請求項10に記載の発明は、第1の視点において取得された測定対象物の点群位置データあるいは前記第1の視点において取得された前記測定対象物の画像データと、前記第1の視点とは異なる第2の視点において取得された前記測定対象物の画像データとの対応関係を求める対応関係特定ステップと、前記第1の視点において取得された測定対象物の点群位置データに基づいて三次元モデルを形成する三次元モデル形成ステップと、前記三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御ステップとを備え、前記三次元モデル形成ステップは、前記対応関係特定ステップで特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理方法である。
【0021】
請求項11に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを測定対象物の点群位置データを取得する点群位置データ取得部と、測定対象物の画像を取得する画像取得部と、第1の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第1の視点において前記画像取得部で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像取得部で取得された画像データとの対応関係を求める対応関係特定部と、前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部とを備え、前記三次元モデル形成部を、前記対応関係特定部で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成する手段として動作させることを特徴とするプログラムである。
【発明の効果】
【0022】
請求項1に記載の発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供する技術が提供される。
【0023】
請求項2に記載の発明によれば、点群位置データを取得する手段から得られる画像データに基づいて、オクルージョンが解消される新たな視点の位置を決めるための情報が生成される。
【0024】
請求項3に記載の発明によれば、オクルージョンが解消された三次元モデルが得られる。
【0025】
請求項4に記載の発明によれば、クルージョンが解消された三次元モデルの画像が表示される。
【0026】
請求項5に記載の発明によれば、オクルージョン部分をより的確に作業者が認識することができる。
【0027】
請求項6に記載の発明によれば、オクルージョンを解消できる新たな視点が作業者に提示される。
【0028】
請求項7に記載の発明によれば、三次元モデルの形成にデータが不足している領域を作業者が知ることができる。
【0029】
請求項8に記載の発明によれば、GPSを利用して第1の視点と第2の視点の位置を特定することができる。
【0030】
請求項9に記載の本発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供するシステムが提供される。
【0031】
請求項10に記載の本発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供する方法が提供される。
【0032】
請求項11に記載の本発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供するプログラムが提供される。
【図面の簡単な説明】
【0033】
【図1】実施形態のブロック図である。
【図2】測定を行う状態を示す概念図である。
【図3】実施形態における三次元モデル形成部のブロック図である。
【図4】第1の視点から得た点群位置データに基づく三次元モデルの一例(A)、この三次元モデルを第2の視点から見た状態を示す表示図(B)、統合された座標および2つの視点において得た点群位置データに基づく三次元モデルの表示図(C)である。
【図5】オクルージョンを検出する原理を示す概念図である。
【図6】オクルージョンを解消する新たな視点を算出する方法の一例を示す概念図である。
【図7】オクルージョンを解消する新たな視点を表示する画面表示の一例を示す画面表示図である。
【図8】相互標定の原理を説明する概念図である。
【図9】ステレオマッチングの原理を説明する概念図である。
【図10】三次元レーザースキャナ機能を備えた点群位置データ処理装置の構成を示す断面図である。
【図11】三次元レーザースキャナ機能を備えた点群位置データ処理装置の構成を示す断面図である。
【図12】実施形態の制御部のブロック図である。
【図13】実施形態の演算部のブロック図である。
【図14】点間距離が一定でない点群位置データを示す概念図である。
【図15】形成したグリッドを示す概念図である。
【発明を実施するための最良の形態】
【0034】
1.第1の実施形態
以下、発明を利用した点群位置データ処理装置の一例について、図面を参照して説明する。図1には、点群位置データ処理装置100が示されている。点群位置データ処理装置100は、パーソナルコンピュータ上においてソフトウェア的に構成されている。点群位置データ処理装置100をパーソナルコンピュータ上で構成するプログラムは、パーソナルコンピュータ中にインストールされている。なお、このプログラムは、サーバや適当な記録媒体に記録しておき、そこから提供される形態であってもよい。
【0035】
利用されるパーソナルコンピュータは、キーボートやタッチパネルディスプレイ等の入力部、液晶ディスプレイ等の表示部、入力部と表示部を統合したユーザインターフェースであるGUI(グラフィカル・ユーザ・インターフェース)機能部、CPUおよびその他専用の演算デバイス、半導体メモリ、ハードディスク記憶部、光ディスク等の記憶媒体との間で情報のやり取りを行えるディスク記憶装置駆動部、USBメモリ等の携帯型記憶媒体との間で情報のやり取りを行えるインターフェース部、無線通信や有線通信を行う通信インターフェース部を必要に応じて備えている。なお、パーソナルコンピュータとしては、ノート型、携帯型、卓上型等の形態が挙げられるが、その形態は限定されない。また、汎用のパーソナルコンピュータを利用する以外に、ASIC(Application Specific Integrated Circuit)や、FPGA(Field Programmable Gate Array)などのPLD(Programmable Logic Device)等を用いて構成した専用のハードウェアによって点群位置データ処理装置100を構成することも可能である。
【0036】
点群位置データ処理装置100には、点群位置データ取得装置101、画像取得装置102、GPS(Global Positioning System)装置103、画像表示装置104、操作入力装置105が接続されている。点群位置データ取得装置101は、後述するレーザースキャナである。点群位置データ取得装置101は、測定対象物にレーザ光を照射し、その反射光を検出することで点群位置データを取得する。画像取得装置102は、CCDやCMOSイメージセンサを利用した撮影装置であり、点群位置データの取得対象となる測定対象物の外観画像を撮影し、その画像データを取得する。
【0037】
GPS装置103は、ナビゲーションシステム等に利用されている位置特定装置であり、GPS信号を受信し、それに基づいて位置データを取得する。画像表示装置104は、点群位置データ処理装置100を構成するパーソナルコンピュータのディスプレイ(例えば、液晶ディスプレイ)である。操作入力装置105は、点群位置データ処理装置100を構成するパーソナルコンピュータの操作入力装置(キーボード、マウス入力装置等のポインティングデバイス)である。操作入力装置105は、画像表示装置104と連動して公知のGUI(Graphical User Interface)を利用しての点群位置データ処理装置100の操作が可能とされている。
【0038】
点群位置データ処理装置100は、点群位置データ取得部111、画像データ取得部112、対応関係特定部113、三次元モデル形成部114、三次元モデル表示制御部115、座標統合部116、オクルージョン検出部117、新視点位置算出部118、ガイド表示制御部119を備えている。
【0039】
点群位置データ取得部111は、点群位置データ取得装置101から出力される点群位置データを受け付け、それを点群位置データ取得装置100内に取り込む。画像データ取得部112は、画像取得装置102から出力される画像データを受け付け、点群位置データ取得装置100内に取り込む。対応関係特定部113は、第1の視点において取得した測定対象物の点群位置データ(あるいは第1の視点において測定対象物を撮影することで得た画像データ)と、前記第1の視点とは異なる第2の視点において取得した画像データとの対応関係を求める処理を行う。なお、対応関係特定部113の機能の詳細については後述する。三次元モデル形成部114は、点群位置データ取得部111が取得した点群位置データに基づいて、三次元モデルを形成する。三次元モデル形成部114の機能の詳細については後述する。
【0040】
ここでいう三次元モデルというのは、測定対象物の輪郭線を線図として表現した測定対象物の三次元構造を視覚化した図面である。輪郭線というのは、測定対象物の外観を視覚的に把握するために必要な、当該測定対象物の外形を形作っている線(outline)のことである。具体的には、折れ曲がった部分や急激に曲率が小さくなっている部分が輪郭線となる。輪郭線は、外側の輪郭の部分のみが対象となるとは限らず、凸状に飛び出している部分を特徴付ける縁の部分や、凹状に引っ込んでいる部分(例えば、溝構造の部分)を特徴づける縁の部分も対象となる。輪郭線により所謂線図が得られ、対象物の外観が把握し易い画像表示を行うことができる。
【0041】
三次元モデル表示制御部115は、画像表示装置104に測定対象物の三次元モデルを表示するための制御を行う。この三次元モデルには、第1の視点から得られた点群位置データに基づく三次元モデル、更に第1の視点から得られた点群位置データおよび第2の視点から得られた点群位置データに基づいて形成された三次元モデルが含まれる。座標統合部116は、点群位置データ取得装置101を第1の視点の位置に置き、その位置で取得した測定対象物の第1の点群位置データと、点群位置データ取得装置101を第1の視点とは異なる第2の視点の位置に置き、その位置で取得した測定対象物の第2の点群位置データとを扱うための共通の座標系(統合された座標系)得るための演算を行う。この演算は、対応関係特定部113で特定された2つの視点から得られた画像同士の対応関係に基づいて行われる。座標統合部116の機能の詳細については後述する。
【0042】
オクルージョン検出部117は、オクルージョンとして認識すべき部分を検出する。オクルージョン検出部117の詳細については後述する。新視点位置算出部118は、オクルージョンが解消(あるいはより軽減)される新たな視点を三次元モデルが表示された画面上に表示する。新視点位置算出部118の詳細については後述する。ガイド表示制御部119は、精度や誤差の点で再度の点群位置データの取得が必要な領域を画像表示装置104上に三次元モデルと共に表示する。
【0043】
以下、対応関係特定部113、座標統合部116、オクルージョン検出部117、新視点位置算出部118について詳細に説明する。まず、説明の前提となる点群位置データを測定する状態の具体的な一例を説明する。図2には、点群位置データを測定する状況の一例が概念的に示されている。図2には、図1の点群位置データ処理装置100として機能するノート型のパーソナルコンピュータ130が示されている。パーソナルコンピュータ130には、点群位置データ取得装置の一例である三次元レーザースキャナ131が接続されている。図2には、まず、測定を行う第1の視点となる第1の設置位置132に三次元レーザースキャナ131を配置して点群位置データの取得を行い、次に第2の視点となる第2の設置位置133に、三次元レーザースキャナ131を設置し、再度の点群位置データの取得を行おうとする場合の例が示されている。なお、三次元レーザースキャナ131は、図1の点群位置データ取得装置101の機能に加えて、画像取得装置102、GPS装置103の機能を備えている。
【0044】
図2には、第1の設置位置132に三次元レーザースキャナ131を配置した状況において、三次元レーザースキャナ131側から見て、手前側に測定対象物134が位置し、その背後(後ろ側)に測定対象物135が位置している状況が示されている。また、第1の設置位置132から見て、測定対象物134の背後に隠れる位置に測定対象物136が位置している状態が示されている。
【0045】
(対応関係特定部)
以下、図1の対応関係特定部113について説明する。ここでは、具体例として、図2の状況における対応関係特定部113の機能について説明する。この場合、対応関係特定部113は、三次元レーザースキャナ131を第1の設置位置132(第1の視点)に設置した場合に取得された測定対象物134〜136の点群位置データ(または画像データ)と、三次元レーザースキャナ131を第2の設置位置133(第2の視点)に設置した場合に取得される測定対象物134〜136の画像データとの対応関係(相関関係)を求める。
【0046】
上記の対応関係も求める方法として、「単写真標定」、「相互標定」、「ステレオマッチング」が挙げられる。これらの方法は、その一つを用いても良いし、複数を組み合わせて用いても良い。上記の対応関係を求める処理は、図2の第1の設置位置(第1の視点)132から測定対象物134〜136を見た場合に得られる画像の画像データを取り扱うのに利用される座標系(第1の座標系)(X、Y、Z)と、第2の設置位置(第2の視点)133から測定対象物134〜136を見た場合に得られる画像の画像データを取り扱うのに利用される座標系(第2の座標系)(x、y、z)との対応関係を明らかにする処理と捉えることができる。
【0047】
ここで、「単写真標定」を用いた場合は、第1の視点において既に得られている点群位置データと第2の視点から撮影することで得た画像データとに基づき、上記の対応関係を算出する処理が行われる。「相互標定」を用いた場合および「ステレオマッチング」を用いた場合は、第1の視点から撮影することで得られた画像データと、第2の視点から撮影することで得られた画像データとに基づき、上記の対応関係を算出する処理が行われる。なお、第1の視点から得られる画像の画像データは、CCDカメラ等の撮影装置によって撮影した画像の画像データであってもよいし、点群位置データに基づいて得られた画像データであってもよい。
【0048】
(単写真標定)
単写真標定とは、1枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置(X0、Y0、Z0)およびカメラの傾き(ω,φ,κ)を求め、写真座標x、yと地上座標X、Y、Zの間の関係を求める技術である。共線条件とは、投影中心、写真像および地上の対象物が一直線上にあるという条件である。また、カメラの位置(X0、Y0、Z0)とカメラの傾き(ω、φ、κ)は外部標定要素と呼ばれる。
【0049】
ここでは、単写真標定の原理を用いて、第1の設置位置132(第1の視点)から対象物134〜136を見た場合の第1の座標系と、第2の設置位置133(第2の視点)から対象物134〜136を見た場合の第2の座標系との関係を求める方法を説明する。この場合、第1の設置位置において測定対象物134〜136の点群位置データが取得されている状態で、第2の設置位置133から三次元レーザースキャナ131が備えている画像取得装置102(CCDカメラ)による画像の取得を行い、その上で以下の演算を行う。
【0050】
まず、第1の座標系をX、Y、Z、第2の座標系をx、y、z、とし、第2の設置位置133において、画像取得装置102を各座標軸の正方向に対して左回りにそれぞれ κ、φ、ωだけ順次回転させた向きで撮影を行ったものとする。
【0051】
ここで、第1の設置位置132において得られた点群位置データおよび第2の設置位置133から撮影した撮影画像の中から共通する4点を選択する。この4点は、2つの座標系の対応関係を求める足掛かりとなる共通座標点であり、測定対象物の中から特徴点となる部分が選択される。この4点の選択を行う方法は、マニュアル操作によって行う方法や、対象物のエッジや角部分等の特徴点として把握し易い部分をソフトウェア的に自動抽出する方法が利用できる。
【0052】
そして、4点の画像座標と対応する基準点の3次元座標を数1に示す2次の射影変換式に代入し、観測方程式を立ててパラメ−タb1〜b8を求める。
【0053】
【数1】
【0054】
数1のパラメータb1〜b8を用いて、下記の数2から外部標定要素(X0、Y0、Z0)を求める。
【数2】
【0055】
次に、単写真標定の原理より、(X,Y,Z)に対応する、傾いた画像取得装置102の座標系(xp、yp、zp)を以下の数3から求める。数3では、数2で求まった画像取装置の傾き(ω、φ、κ)を代入し、回転行列の計算をして、パラメータa11〜a33を求める。
【0056】
【数3】
【0057】
求まったパラメータa11〜a33と数2で求まったカメラの位置(X0、Y0、Z0)、および(X,Y,Z)を、投影中心、写真像および対象物が一直線上にあるという以下の数4の共線条件式に代入し、座標(x、y)を求める。ここで、cは画面距離(焦点距離)、a11〜a33は、3×3回転行列の要素として現される画像取得装置102の傾きであり、Δx、Δyは、画像取得装置102内部の標定補正項である。
【0058】
【数4】
【0059】
こうして、図2の第1の設置位置(第1の視点)132から測定対象物134〜136を見た場合の座標系(第1の座標系)(X、Y、Z)と、第2の設置位置(第2の視点)133から測定対象物134〜136を見た場合の座標系(第2の座標系)(x、y、z)との対応関係が算出される。なお、上記の算出方法では、zとZの関係が求めていないが、第1の設置位置132と第2の設置位置133とが水平面内における位置の違いであるある場合、z=Zであるので、上記の方法で問題は生じない。
【0060】
(相互標定)
相互標定は、画像中の6点以上の対応点により、第1の視点から見た測定対象物を記述する第1の座標系と、第2の視点から見た測定対象物を記述する第2の座標系との関係を求める技術である。図8は相互標定の原理を説明する概念図である。ここでは、第1の視点からの撮影(左側のカメラによる撮影)によって得られる画像の座標系(第1の座標系)と、第2の視点からの撮影(右側のカメラによる撮影)によって得られる画像の座標系(第2の座標系)との関係を求める場合を例に上げ、相互標定の手順について説明する。相互標定では、以下の共面条件式により各パラメータを求める。
【0061】
【数5】
【0062】
図8に示すように、モデル座標系の原点を左側の投影中心O1にとり、右側の投影中心O2を結ぶ線をX軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのZ軸の回転角κ1、Y軸の回転角φ1、右側のカメラのZ軸の回転角κ2、Y軸の回転角φ2、X軸の回転角ω2の5つの回転角となる。この場合、左側のカメラのX軸の回転角ω1は0なので、考慮する必要はない。このような条件にすると、数5の共面条件式は数6式のようになり、この式を解けば各パラメータが求まる。
【0063】
【数6】
【0064】
ここで、モデル座標系XYZとカメラ座標系xyzの間には、次に示すような座標変換の関係式が成り立つ。
【0065】
【数7】
【0066】
【数8】
【0067】
これらの式を用いて、次の手順により、未知パラメータを求める。
(1)初期近似値は通常0とする。
(2)数6の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数7、数8式により求め、観測方程式をたてる。
(3)最小二乗法をあてはめ、近似値に対する補正量を求める。
(4)近似値を補正する。
(5)補正された近似値を用いて、(2)〜(5)までの操作を収束するまで繰り返す。
【0068】
上述した方法で未知パラメータを求めることで、第1の座標系(X1、Y1、Z1)と第2の座標系(X2、Y2、Z2)との対応関係が求まる。
【0069】
(絶対標定)
絶対標定は、モデル座標系を地上座標系(絶対座標系)に変換する方法である。絶対標定を用いた場合、第1の座標系を地上座標系に関連付け、他方で第2の座標系を地上座標系に関連付け、地上座標系を介して第1の座標系と第2の座標系の対応関係が取得される。まず、モデル座標系(XM、YM、ZM)を地上座標系(X、Y、Z)に変換する。ここで、縮尺をs、3軸回りの回転をω、φ、κ、平行移動量を(X0、Y0、Z0)とすると、数9の関係式が得られる。
【0070】
【数9】
【0071】
次に、ω、φが小さいとして、未知変量(s、ω、φ、κ、X0、Y0、Z0)を求める。まず、ヘルマート変換により平面座標の調整を行う。平面座標に限定すると、下記数10が成り立つ。なお、下記数10において、cosκ=(a/s)、sinκ=(−b/s)である。
【0072】
【数10】
【0073】
上記数10において、最小二乗法により、係数a、b、X0、Y0を決定する。次に、縮尺の統一を行う。この場合、下記数11が成り立つ。
【0074】
【数11】
【0075】
次に、高さの調整を行う。この場合、下記数12が成り立つ。
【0076】
【数12】
【0077】
数12において、最小二乗法により、ω、φ、Z0を求める。そして求めた未知変量を用いて、モデル座標を下記数13により修正する。
【0078】
【数13】
【0079】
以上の処理を未知変量が収束するまで繰り返し、モデル座標系(XM、YM、ZM)と地上座標系(X、Y,Z)との対応関係を求める。そして、モデル座標系として第1の視点からの第1の座標系と第2の視点からの第2の座標系を選択することで、地上座標系を介した第1の座標系と第2の座標系との対応関係が明らかになる。あるいは、2つ視点からの画像や点群位置データを共通の座標である地上座標系で取り扱うことができる。
【0080】
(ステレオマッチング)
ステレオマッチングを用いた方法では、2つの座標系における画像の座標データを相互に比較し、両者の相関関係により、両座標系の対応関係を求める。図9は、ステレオマッチングの原理を説明する原理図である。この方法では、図示するように、N1×N1画素のテンプレート画像を、それよりも大きいM1×M1画素の入力画像内の探索範囲(M1−N1+1)2上で動かし、下記数14で示される相互相関関数C(a,b)が最大となるような(つまり相関の程度が最大となるような)テンプレート画像の左上位置を求める。
【0081】
【数14】
【0082】
ステレオマッチングを用いることで、比較する2つの画像の座標系の対応関係を知ることができる。すなわち、第1の視点から測定対象物を見た場合の座標系(第1の座標系)と第2の視点から測定対象物を見た場合の座標系(第2の座標系)との対応関係を知ることができる。
【0083】
(三次元モデル形成部)
以下、図1の三次元モデル形成部114の機能について説明する。図3には、三次元モデル形成部114のブロック図が示されている。三次元モデル形成部114は、非面領域除去部201、面ラベリング部202、輪郭線算出部203を備えている。以下、これら各機能部について説明する。非面領域除去部201は、局所領域を取得する局所領域取得部201a、局所領域の法線ベクトルを算出する法線ベクトル算出部201b、局所領域の局所曲率を算出する局所曲率算出部201c、局所領域にフィッティングする局所平面を算出する局所平面算出部201dを備える。
【0084】
局所領域取得部201aは、点群位置データに基づき、注目点を中心とした一辺が3〜7画素程度の正方領域(格子状の領域)を局所領域として取得する。法線ベクトル算出部201bは、局所領域取得部201aが取得した上記の局所領域における各点の法線ベクトルの算出を行う。この法線ベクトルを算出する処理では、局所領域における点群位置データに着目し、各点の法線ベクトルを算出する。この処理は、全ての点群位置データを対象として行われる。すなわち、点群位置データが無数の局所領域に区分けされ、各局所領域において各点の法線ベクトルの算出が行われる。
【0085】
局所曲率算出部201cは、上述した局所領域内の法線ベクトルのバラツキ(局所曲率)を算出する。ここでは、着目している局所領域において、各法線ベクトルの3軸成分の強度値(NVx, NVy, NVz)の平均(mNVx,mNVy,mNVz)を求め、さらに標準偏差(StdNVx,StdNVy,StdNVz)を求める。次に、標準偏差の二乗和の平方根を局所曲率(Local Curveture:crv)として算出する(下記数15参照)。
【0086】
【数15】
【0087】
局所平面算出部201dは、局所領域にフィッティング(近似)する局所平面を求める。この処理では、着目している局所領域の各点の三次元座標から局所平面の方程式を求める。局所平面は、着目している局所領域にフィッティングさせた平面である。ここでは、最小二乗法を用いて、当該局所領域にフィッティングする局所平面の面の方程式を算出する。具体的には、複数の異なる平面方程式を求め、更にそれらを比較し、当該局所領域にフィッティングする局所平面の面の方程式を算出する。仮に、着目している局所領域が平面であれば、局所平面と局所領域とは一致する。
【0088】
以上の処理を、局所領域を順次ずらしながら、全ての点群位置データが対象となるように繰り返し行い、各局所領域における法線ベクトル、局所平面、局所曲率を得る。
【0089】
次に、上で求めた各局所領域における法線ベクトル、局所平面、局所曲率に基づいて、非面領域の点を除去する処理を行う。すなわち、面(平面および曲面)を抽出するために、予め面でないと判断できる部分(非面領域)を除去する。なお、非面領域とは、平面でも曲面でもない領域であるが、下記の(1)〜(3)の閾値によっては曲率の高い曲面を含む場合がある。
【0090】
非面領域除去の処理は、以下に示す3つの方法のうち、少なくとも一つを用いて行うことができる。ここでは、下記の(1)〜(3)の方法による判定を上述した局所領域の全てに対して行い、1以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、抽出された非面領域を構成する点に係る点群位置データを除去する。
【0091】
(1)局所曲率の高い部分:上述した局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面(平面および曲率の小さい曲面)ではその値が小さく、面以外(非面)ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。
【0092】
(2)局所平面のフィッティング精度:局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。
【0093】
(3)共平面性のチェック:ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる2つの局所領域のそれぞれにフィッティングする2つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が0であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、2つの局所平面が同一面上にない程度がより顕著であると判定される。
【0094】
上記の(1)〜(3)の方法による判定において、1以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、この抽出された局所領域を構成する点に係る点群位置データを算出対象としている点群位置データから除去する。以上のようにして、非面領域の除去が行われる。こうして、点群位置データの中から非面領域の点群位置データが非面領域除去部201において除去される。なお、除去された点群位置データは、後の処理で利用する可能性があるので、適当な記憶領域に格納するなり、除去されなかった点群位置データと識別できる状態とするなどして、後で利用できる状態にしておく。
【0095】
次に面ラベリング部202の機能について説明する。面ラベリング部202は、非面領域除去部201において非面領域の点群位置データが除去された点群位置データに対して、法線ベクトルの連続性に基づいて面ラベリングを行う。具体的には、特定の注目点と隣接点の法線ベクトルの角度差が予め決めた閾値以下なら、それらの点に同一ラベルを貼る。この作業を繰り返すことで、連続する平面、連続する緩やかな曲面に同一ラベルが貼られ、それらを一つの面として識別可能となる。また、面ラベリングの後、法線ベクトルの角度差や法線ベクトルの3軸成分の標準偏差を用いて、ラベル(面)が平面であるか、または曲率の小さい曲面であるかを判定し、その旨を識別する識別データを各ラベルに関連付ける。
【0096】
続いて、面積の小さいラベル(面)をノイズとして除去する。なお、このノイズ除去は、面ラベリングの処理と同時に行ってもよい。この場合、面ラベリングを行いながら、同一ラベルの点数(ラベルを構成する点の数)を数え、所定以下の点の数であるラベルを取り消す処理を行う。次に、この時点でラベルが無い点に対して、最近傍面(最も近い面)と同一のラベルを付与していく。これにより、既にラベリングされた面の拡張を行う。
【0097】
すなわち、ラベルの付いた面の方程式を求め、当該面とラベルが無い点との距離を求める。ラベルが無い点の周辺に複数のラベル(面)がある場合には、その距離が最も短いラベルを選択する。そして、依然としてラベルが無い点が残存している場合には、非面領域除去、ノイズ除去、およびラベル拡張における各閾値を変更し、再度関連する処理を行う。例えば、非面領域除去において、局所曲率の閾値を上げることで、非面として抽出する点の数が少なくなるようにする。または、ラベル拡張において、ラベルの無い点と最近傍面との距離の閾値を上げることで、ラベルの無い点に対してより多くのラベルを付与するようにする。
【0098】
次に、ラベルが異なる面であっても同一面である場合にラベルを統合する。この場合、連続しない面であっても、位置または向きが等しい面同士に同じラベルを付ける。具体的には、各面の法線ベクトルの位置および向きを比較することで、連続しない同一面を抽出し、いずれかの面のラベルに統一する。以上が面ラベリング部202の機能である。
【0099】
この面ラベリング部202の機能によれば、扱うデータ量を圧縮できるので、点群位置データの処理を高速化できる。また必要なメモリ量を節約できる。また、測定中に紛れ込んだ通行人や通過した車両の点群位置データをノイズとして除去することができる。
【0100】
輪郭線算出部203は、隣接する面の点群位置データに基づき、輪郭線を算出(推定)する。以下、具体的な算出方法について説明する。輪郭線算出部203は、間に非面領域を挟む隣接する面同士の交線を求め、それを輪郭線とする処理を行う。この際、隣接する面の間の非面領域に局所平面をフィッティングさせ、この局所平面を複数繋ぐことで、非面領域を複数の局所平面によって近似する方法を採用することもできる。これは、複数の局所平面により構成される多面体で非面領域を近似したものと捉えることができる。この場合、隣接する面から局所平面をつないでゆき、最後に隣接した局所平面同士の交線を輪郭線として算出する。輪郭線が算出されることで、測定対象物の輪郭の画像が明確となる。
【0101】
次に、二次元エッジ算出部204について説明する。以下、二次元エッジ算出部204で行われる処理の一例を説明する。まず、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化(区分け)された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、二次元エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ(z値)と、その近傍の輪郭線(三次元エッジ)を構成する点の三次元座標の高さ(z値)とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。
【0102】
二次元エッジの算出後、輪郭線算出部203が算出した輪郭線と二次元エッジ算出部204が算出した二次元エッジとを統合する。これにより、点群位置データに基づくエッジの抽出が行われる。このエッジの抽出により、測定対象物を視認する際における測定対象物の外観を構成する線が抽出される。これにより、測定対象物の線図のデータが得られる。
【0103】
具体的な例として、例えば、測定対象物として建物が選択し、この建物の点群位置データに基づいて、線図のデータを得た場合を説明する。この場合、当該建物の外観、外壁の模様、窓等の輪郭が線図のデータとして表現される。なお、窓のような比較的凹凸の少ない部分の輪郭は、閾値の判定により、輪郭線として処理される場合もあるし、二次元エッジとして処理される場合もある。このような線図のデータは、3次元CADデータや対象物の下図のデータとして利用できる。
【0104】
座標統合部で2つの視点からの座標を統合した統合座標が算出された場合、以上述べた三次元モデル形成部114における三次元モデルの形成をこの統合座標上で行うことで、2つの視点から得た点群位置データに基づく三次元モデルが得られる。この場合、同じ座標位置で点群位置データが重複する部分は、いずれか一方の視点から得られた点群位置データに基づいて、上述した処理が行われる。そして、一方の視点からはオクルージョンとなり、他方の視点からはオクルージョンとならない部分は、他方の視点から得た点群位置データを利用して上述した処理が行われる。よって例えば、第1の視点からはオクルージョンとなる部分の点群位置データを、第2の視点から得た点群位置データによって補完した三次元モデルを形成することができる。
【0105】
(座標統合部)
図1に戻り、座標統合部116の機能について説明する。座標統合部116は、対応関係特定部113において求められた2つの座標系の間の関係に基づいて、統合された座標系を算出する。一般的には、座標統合部116は、対応関係特定部113において求められた2つの座標系の間の対応関係に基づいて、一方の座標系を他方の座標系に変換する。これにより、一方の座標系で取り扱われている三次元モデルのデータを他方の座標系でも取り扱えることができるようになる。あるいは両方の座標系で取り扱われている点群位置データを統合された一つの座標系で取り扱うことができるようになる。
【0106】
(オクルージョン検出部)
オクルージョン検出部117は、上述した局所平面のフィッティング精度および共平面性のチェックに基づいてオクルージョンが発生する部分を検出する。図5は、オクルージョンが発生する原理を示す原理図である。図5において、三次元レーザースキャナ150から見て、符号151の部分が手前側の測定対象物の出っ張り部分152の影となり、オクルージョン部分となる。図5から分かるように、オクルージョンが発生する部分は、手前側にエッジ153のような面の向きが急激に変わる部分が存在する。したがって、背後に距離が離れて面があり、手前側に面の向きが急激に変わる部分があるか否かを判定することで、オクルージョンが発生する部分を検出することができる。具体的には、上述した局所平面のフィッティング精度および共平面性のチェックに閾値を設け、この閾値によってオクルージョンの有無を検出する。オクルージョンの検出は、複数の視点毎に行うことも可能である。
【0107】
(新視点位置算出部)
新視点位置算出部118は、オクルージョン検出部117が検出したオクルージョンが解消される視点を算出する。図6は、オクルージョンが解消される新たな視点を算出する方法の一例を示す原理図である。図6には、第1の視点におけるオクルージョンとなる部分が示されている。この例の場合、まず視点1から見て、オクルージョンを発生させる手前側のエッジAの座標と、視線の先にある奥側の面の位置Bの座標に基づき、位置Aと位置Bの中間点の位置Cの座標を算出する。次いで、第1の視点と位置Cを一辺とする直角二等辺三角形を設定し、第2の視点の座標を算出する。この方法によれば、スキャンビームに対する法線の方向からの新たな点群位置データの測定が可能となり、第1の視点におけるオクルージョンを解消することができる。
【0108】
新たな視点を算出する別の方法として以下の方法もある。図4(B)に示されるように、ある視点(以下、第1の視点)から得られた点群データに基づく三次元モデルを回転させると、当該点群データにおけるオクルージョン部分が現れる。そこで、視点を段階的に変化させ、現れるオクルージョン部分の面積が最大となる視点を求めることで、オクルージョンが解消される新たな視点を得ることができる。
【0109】
(動作例1)
以下、図2の場合を例に挙げ、動作の一例を説明する。まず、図2の第1の設置位置132(第1の視点)に三次元レーザースキャナ131を配置し、図示する測定対象物の点群位置データを取得する。この図2の第1の設置位置132(第1の視点)から得られた点群位置データに基づく三次元モデル(線図)が図4(A)に示されている。
【0110】
次に、図2の第2の設置位置133(第2の視点)に三次元レーザースキャナ131を移動させ、内蔵した画像取得装置(CCDカメラ)によって、測定対象物の撮影を行う。ここで、対応関係特定部113において、前述した少なくとも一つの方法により、第1の設置位置132から得られた測定対象物の画像データを取り扱う際に利用される座標系(X、Y、Z)と、第2の設置位置133から得られた測定対象物の画像データを取り扱う際に利用される座標系(x、y、z)との対応関係が算出される。これにより、第1の設置位置132において得られた点群位置データに基づく三次元モデル(図4(A)参照)を、第2の設置位置133から見た場合の表示状態に変換することができる。
【0111】
この第1の設置位置132において得られた点群位置データに基づく三次元モデルを回転させ、第2の設置位置133から見たものに変換した三次元モデルが図4(B)に示されている。この図4(B)の三次元モデル画像は、パーソナルコンピュータ130のディスプレイに表示される。
【0112】
図4(B)には、オクルージョン部分134aが示されている。ここで、オクルージョン部分134aは、視認し易いように黒く画面上で表示されている。オクルージョン部分134aは、第1の設置位置132から見た場合に、測定対象物134の影となる部分である。図2の測定対象物136は、第1の設置位置132からは測定対象物134の影となり、見えないので、その点群位置データは、第1の設置位置132から得た点群位置データには含まれない。よって、図4(B)に示す三次元モデルには、測定対象物136は表示されない。
【0113】
作業者は、図4(B)の画像表示をパーソナルコンピュータ130上で見ることで、第1の設置位置132(第1の視点)において点群位置データを取得した場合におけるオクルージョン部分134aを認識することができる。
【0114】
(動作例1の優位性)
図4(B)の表示画像を得るための処理では、第2の設置位置133における点群位置データの取得を行う前の段階で、第2の設置位置133からのカメラによる撮影が行われ、それに基づいて、図4(B)に例示するような三次元モデル表示を行うための処理が行われる。
【0115】
第1の設置位置132に加えて、第2の設置位置133からの点群位置データの取得を行う目的は、符号134aによって示されるようなオクルージョン部分を極力少なくすることにある(あるいは、図面として必要な部分がオクルージョン部分として抜け落ちないようにすることにある)。したがって、視点を変えることで、どのようにオクルージョン部分が存在しているかを迅速に把握し、オクルージョンが生じないような適切な第2の視点を探す作業が重要となる。
【0116】
上述した方法によれば、新たな点群位置データの取得を行う前に、新しい視点での測定対象物の撮影を行うことで、図4(B)に示されるような既に取得済みの点群位置データにおけるオクルージョン部分を視覚的に把握することが可能となる。この際の撮影に要する時間は、点群位置データの取得に要する時間に比較すれば一瞬といってよい時間である。このため、必要とする部分のオクルージョンが発生しない新たな視点を迅速に探すことができる。
【0117】
仮に、図4(B)に示すような画面表示を行う機能が存在しない場合、目測や勘で新たな視点を設定し、そこで再度の点群位置データの取得が行われる。この場合、再度の点群位置データを時間をかけて取得し、さらにその後の後処理の後で、実はオクルージョンが解消しておらず、視点の設定が不適切であったことが判明し、再度の点群データの再取得が必要になる危険性がある。これは、点群位置データの取得に係る作業の増大を招く。これに対して、本実施形態によれば、図4(B)に示すような新視点におけるオクルージョンの解消の程度を、作業者が視覚的に把握できるので、上述した危険性が減少する。
【0118】
(動作例2)
以下、オクルージョンを解消する新たな視点を画面表示し、作業者のガイドを行う場合の動作の一例を説明する。図7には、第1の視点における点群位置データの取得において発生したオクルージョンを解消する新たな第2の視点の位置をガイドするガイド表示画面の一例が示されている。図7では、図4の場合の例示がされている。このガイド表示は、例えば図2のパーソナルコンピュータ130のディスプレイ上に表示される。
【0119】
図7の表示例では、立体感を把握し易いように、フレーム160が画面上に表示される。そして、前回点群位置データの取得を行った第1の視点と、この第1の視点からの測定においてオクルージョンとなる部分が解消される第2の視点が画面上に表示される。この第2の視点の位置は、図1の新視点位置算出部118において算出される。この画面表示を見ることで、作業者は、オクルージョンが解消される(あるいはより効果的に低減される)第2の視点に関する知見を視覚的に得ることができる。
【0120】
(動作例3)
以下、第1の視点から得た点群位置データと第2の視点から得た点群位置データとに基づき、三次元モデルを形成する場合の例を図2の場合に基づいて説明する。まず、第1の設置位置132おいて、測定対象物134〜136の点群位置データ(正確にいうと、オクルージョンが発生するので、測定対象物136の点群位置データは取得できない)を取得し、測定対象物の三次元モデルを形成する(図4(A)参照)。
【0121】
次に、レーザースキャナ131を第2の設置位置133に移動させ、測定対象物134〜136の画像を撮影する。そして、第1の設置位置132において取得した点群位置データと第2の設置位置133において取得した画像データとの対応関係を「単写真標定」を利用して算出する。
【0122】
この後、第1の設置位置132において取得した点群位置データ(第1の点群位置データ)と上記「単写真標定」を用いて算出した対応関係とに基づき、第2の設置位置133の視点から見た三次元モデルの表示を得る(図4(B)参照)。次いで、第2の設置位置133において測定対象物134〜136の点群位置データ(第2の点群位置データ)を取得する。
【0123】
この後、座標統合部116において、上記の「単写真標定」を用いて算出した対応関係に基づき、第1の点群位置データを扱う第1の座標系と第2の点群位置データを扱う第2の座標系とを統合した統合座標系を算出する。そして、統合座標系を用いて第1の点群位置データと第2の点群位置データとを統合的に取り扱うことで、第1の点群位置データと第2の点群位置データとに基づく三次元モデルを形成する。
【0124】
この第1の点群位置データと第2の点群位置データとに基づく三次元モデルを画面上に表示した場合の一例が図4(C)に示されている。この場合、図2の測定対象物136が見える第2の設置位置133において得た点群位置データも利用されて三次元モデルが形成されるので、測定対象物136はオクルージョン部分とならない。また、図4(A)の視点に当該三次元モデルを回転させた場合に、第1の設置位置132おいて得られた点群位置データに基づく三次元モデル部分が見えるので、第2の設置位置133から死角となる部分がオクルージョンとならず、表示される。
【0125】
(動作例4)
図1の点群位置データ処理装置100の内部で扱われる座標のデータをGPS装置103によって得られる経度緯度に関する座標データと関連付けることで、三次元モデルの座標や点群位置データを得るための視点に係る位置データを地図データと関連付けることができる。これにより、例えばパーソナルコンピュータ上に表示された地図データ上に、オクルージョンを解消するための新たな視点の位置を表示するといった機能が可能となる。
【0126】
2.第2の実施形態
以下、三次元レーザースキャナを備えた点群位置データ処理装置について説明する。この例において、点群位置データ処理装置は、測定対象物に対して測距光(レーザー光)を走査しつつ照射し、レーザー光の飛行時間に基づいて自身の位置から測定対象物上の多数の測定点までの距離を測距する。また、点群位置データ処理装置は、レーザー光の照射方向(水平角および高低角)を検出し、距離および照射方向に基づいて測定点の三次元座標を演算する。また、点群位置データ処理装置は、測定対象物を撮影した二次元画像(各測定点におけるRGB強度)を取得し、二次元画像と三次元座標とを結び付けた点群位置データを形成する。さらに、点群位置データ処理装置は、形成した点群位置データから輪郭線により構成された対象物の三次元輪郭線を示す線図を形成する。さらに、点群位置データ処理装置は、第1の実施形態で説明した新たな視点から見た場合のオクルージョン部分の様子を画像表示するための処理を行う機能を有する。
【0127】
(構成)
図10および図11は、三次元レーザースキャナ機能を備えた点群位置データ処理装置1の構成を示す断面図である。点群位置データ処理装置1は、整準部22、回転機構部23、本体部27、および回転照射部28を備えている。本体部27は、測距部24、撮影部25、制御部26等から構成されている。なお、図11は、説明の便宜のため、図10に示す断面方向に対して、回転照射部28のみ側方から見た状態を示している。
【0128】
整準部22は、台盤29を有し、回転機構部23は下部ケーシング30を有する。下部ケーシング30は、ピン31と2個の調整ネジ32とにより3点で台盤29に支持されている。下部ケーシング30は、ピン31の先端を支点にして傾動する。なお、台盤29と下部ケーシング30との間には、台盤29と下部ケーシング30とが互いに離反しないようにするため、引っ張りスプリング33が設けられている。
【0129】
下部ケーシング30の内部には、2個の整準モータ34が設けられている。2個の整準モータ34は、制御部26によって互いに独立して駆動される。整準モータ34の駆動により整準駆動ギア35、整準従動ギア36を介して調整ネジ32が回転し、調整ネジ32の下方への突出量が調整される。また、下部ケーシング30の内部には傾斜センサ37(図12参照)が設けられている。2個の整準モータ34は、傾斜センサ37の検出信号により駆動され、これにより整準が実行される。
【0130】
回転機構部23は、下部ケーシング30の内部に水平角用駆動モータ38を有する。水平角用駆動モータ38の出力軸には水平回動駆動ギア39が嵌着されている。水平回動駆動ギア39は、水平回動ギア40に噛合されている。水平回動ギア40は、回転軸部41に設けられている。回転軸部41は、回転基盤42の中央部に設けられている。回転基盤42は、下部ケーシング30の上部に、軸受け部材43を介して設けられている。
【0131】
また、回転軸部41には水平角検出器44として、例えばエンコーダが設けられている。水平角検出器44は、下部ケーシング30に対する回転軸部41の相対的回転角(水平角)を検出する。水平角は制御部26に入力され、制御部26は、その検出結果に基づき水平角用駆動モータ38を制御する。
【0132】
本体部27は、本体部ケーシング45を有する。本体部ケーシング45は、回転基盤42に固着されている。本体部ケーシング45の内部には鏡筒46が設けられている。鏡筒46は、本体部ケーシング45の回転中心と同心の回転中心を有する。鏡筒46の回転中心は、光軸47に合致されている。鏡筒46の内部には、光束分離手段としてのビームスプリッタ48が設けられている。ビームスプリッタ48は、可視光を透過し、かつ、赤外光を反射する機能を有する。光軸47は、ビームスプリッタ48によって光軸49と光軸50とに分離される。
【0133】
測距部24は、鏡筒46の外周部に設けられている。測距部24は、発光部としてのパルスレーザ光源51を有する。パルスレーザ光源51とビームスプリッタ48との間には、穴あきミラー52、レーザー光のビームウエスト径を変更するビームウエスト変更光学系53が配設されている。測距光源部は、パルスレーザ光源51、ビームウエスト変更光学系53、穴あきミラー52で構成されている。穴あきミラー52は、パルスレーザ光を穴部52aからビームスプリッタ48に導き、測定対象物から反射して戻って来た反射レーザー光を測距受光部54に向けて反射する役割を有する。
【0134】
パルスレーザ光源51は、制御部26の制御により所定のタイミングで赤外パルスレーザ光を発する。赤外パルスレーザ光は、ビームスプリッタ48によって高低角用回動ミラー55に向けて反射される。高低角用回動ミラー55は、赤外パルスレーザ光を測定対象物に向けて反射する。高低角用回動ミラー55は、高低角方向に回転することで、鉛直方向に延びる光軸47を高低角方向の投光光軸56に変換する。ビームスプリッタ48と高低角用回動ミラー55との間でかつ鏡筒46の内部には集光レンズ57が配設されている。
【0135】
測定対象物からの反射レーザー光は、高低角回動用ミラー55、集光レンズ57、ビームスプリッタ48、穴あきミラー52を経て測距受光部54に導かれる。また、測距受光部54には、内部参照光路を通って参照光も導かれる。反射レーザー光が測距受光部54で受光されるまでの時間と、レーザー光が内部参照光路を通って測距受光部54で受光されるまでの時間との差に基づき、点群位置データ処理装置1から測定対象物(測定対象点)までの距離が測定される。測距受光部54は、CMOS光センサ等の光電変化素子により構成され、検出した光のRGB強度を検出する機能も有している。
【0136】
撮影部25は、図1の画像取得装置102に対応するカメラとして機能する画像受光部58を有する。画像受光部58は、鏡筒46の底部に設けられている。画像受光部58は、多数の画素が平面状に集合して配列されたもの、例えば、CCD(Charge Coupled Device)で構成されている。画像受光部58の各画素の位置は光軸50によって特定される。例えば、光軸50を原点として、X−Y座標を想定し、このX−Y座標の点として画素が定義される。
【0137】
回転照射部28は、投光ケーシング59の内部に収納されている。投光ケーシング59の周壁の一部は、投光窓となっている。図11に示すように、鏡筒46のフランジ部60には、一対のミラーホルダー板61が対向して設けられている。ミラーホルダー板61には、回動軸62が掛け渡されている。高低角用回動ミラー55は、回動軸62に固定されている。回動軸62の一端部には高低角ギア63が嵌着されている。回動軸62の他端側には高低角検出器64が設けられている。高低角検出器64は、高低角用回動ミラー55の回動角を検出し、その検出結果を制御部26に出力する。
【0138】
ミラーホルダー板61の一方には、高低角用駆動モータ65が取り付けられている。高低角用駆動モータ65の出力軸には駆動ギア66が嵌着されている。駆動ギア66は、回転軸62に取り付けられた高低角ギア63に噛合されている。高低角用駆動モータ65は、高低角検出器64の検出結果に基づき、制御部26の制御により適宜駆動される。
【0139】
投光ケーシング59の上部には、照星照門67が設けられている。照星照門67は、測定対象物を概略視準するのに用いられる。照星照門67を用いた視準方向は、投光光軸56の延びる方向、および回動軸62の延びる方向に対して直交する方向とされている。また、図11に示すように、投光ケーシング59の上部には、GPSアンテナ81が配置されている。GPSアンテナにより、GPS情報が取得され、内部で行われる演算にGPS情報を利用することができる構成とされている。
【0140】
図12は、制御部のブロック図である。制御部26には、水平角検出器44、高低角検出器64、傾斜センサ37、GPSアンテナ81からの検出信号が入力される。また、制御部26は、操作部6から操作指示信号が入力される。制御部26は、水平角用駆動モータ38、高低角用駆動モータ65、整準モータ34を駆動制御する共に、作業状況、測定結果等を表示する表示部7を制御する。制御部26には、メモリカード、HDD等の外部記憶装置68が着脱可能とされている。
【0141】
制御部26は、演算部4、記憶部5、水平駆動部69、高低駆動部70、整準駆動部71、距離データ処理部72、画像データ処理部73等から構成されている。記憶部5は、測距や高低角と水平角の検出を行うために必要なシーケンスプログラム、演算プログラム、測定データの処理を実行する測定データ処理プログラム、画像処理を行う画像処理プログラム、点群位置データから面を抽出し、更に輪郭線を算出するプログラム、この算出した輪郭線を表示部7に表示させるための画像表示プログラム、点群位置データの再取得に係る処理を制御するプログラム等の各種のプログラムを格納すると共に、これらの各種のプログラムを統合管理するための統合管理プログラム等を格納する。また、記憶部5は、測定データ、画像データ等の各種のデータを格納する。水平駆動部69は、水平角用駆動モータ38を駆動制御し、高低駆動部70は、高低角用駆動モータ65を駆動制御し、整準駆動部71は、整準モータ34を駆動制御する。距離データ処理部72は、測距部24によって得られた距離データを処理し、画像データ処理部73は、撮影部25により得られた画像データを処理する。
【0142】
また、制御部26は、GPS受信部82を備えている。GPS受信部82は、GPSアンテナが受信したGPS衛星からの信号を処理し、地球上における座標データを算出する。これは、通常のGPS受信装置と同じである。GPSから得られた位置情報は、点群位置データ処理部100’に入力される。
【0143】
図13は、演算部4のブロック図である。演算部4は、三次元座標演算部74、リンク形成部75、グリッド形成部9、点群位置データ処理部100’を備えている。三次元座標演算部74には、距離データ処理部72から測定対象点の距離データが入力され、水平角検出器44および高低角検出器64から測定対象点の方向データ(水平角および高低角)が入力される。三次元座標演算部74は、入力された距離データと方向データとに基づき、点群位置データ処理装置1の位置を原点(0,0,0)とした各測定点の三次元座標(直交座標)を算出する。
【0144】
リンク形成部75には、画像データ処理部73から画像データおよび三次元座標演算部74が算出した各測定点の三次元座標の座標データが入力される。リンク形成部75は、画像データ(各測定点のRGB強度)と三次元座標を結び付けた点群位置データ2を形成する。つまり、リンク形成部75は、測定対象物のある点に着目した場合、その着目点の二次元画像中における位置と、その着目点の三次元座標とを関連付けしたものを作成する。この関連付けされたデータは、全ての測定点について算出され、それらが点群位置データ2となる。
【0145】
リンク形成部75は、以上の点群位置データ2をグリッド形成部9に出力する。グリッド形成部9は、点群位置データ2の隣接点の点間距離が一定でない場合に、等間隔のグリッド(メッシュ)を形成し、グリッドの交点に最も近い点を登録する。または、グリッド形成部9は、線形補間法やバイキュービック法を用いて、グリッドの交点位置に全点を補正する。なお、点群位置データ2の点間距離が一定である場合には、グリッド形成部9の処理を省略することができる。
【0146】
以下、グリッドの形成手順について説明する。図14は、点間距離が一定でない点群位置データを示す図であり、図15は、形成したグリッドを示す図である。図14に示すように、各列の平均水平間隔H1〜Nを求め、さらに列間の平均水平間隔の差分ΔHi,jを算出し、その平均をグリッドの水平間隔ΔHとする(数16)。垂直方向の間隔は、各列での垂直方向の隣接点との距離ΔVN,Hを算出し、画像サイズW,Hの画像全体におけるΔVN,Hの平均を垂直間隔ΔVとする(数17)。そして、図15に示すように、算出した水平間隔ΔHおよび垂直間隔ΔVのグリッドを形成する。
【0147】
【数16】
【0148】
【数17】
【0149】
次に、形成したグリッドの交点に最も近い点を登録する。この際、交点から各点までの距離には所定の閾値を設けて、登録を制限する。例えば、閾値は、水平間隔ΔHおよび垂直間隔ΔVの1/2とする。なお、線形補間法やバイキュービック法のように、交点との距離に応じた重みを付けて全点を補正してもよい。ただし、補間を行った場合には、本来計測していない点となる。
【0150】
以上のようにして得られた点群位置データは、点群位置データ処理部100’に出力される。点群位置データ処理部100’は、第1の実施形態で説明した動作を行い、その結果得られた画像が液晶ディスプレイである表示部7に表示される。この点は、第1の実施形態に関係して説明した場合と同じである。点群位置データ処理部100’は、図1の点群位置データ処理装置100と同様の機能を有するハードウェアであり、FPGAを利用した専用の集積回路により構成されている。
【0151】
点群位置データ処理部100’には、GPS受信部82から得られた地球上における座標データが入力される。この構成によれば、点群位置データ処理部100’で取り扱われる座標がGPSから得られた位置データ(例えば、電子地図情報)とリンクされる。これにより、例えば、レーザースキャンナを備えた点群位置データ処理装置1の設置位置を電子地図上に画面表示することができる。
【0152】
(その他)
制御部26の構成において、グリッド形成部9から点群位置データが出力される形態とすると、図11、図12に示す装置は、第1の実施形態で示したパーソナルコンピュータを利用した点群位置データ処理装置と組み合わせて使用可能な三次元レーザースキャナとなる。点群位置データ処理装置100や点群位置データ処理部100’が行う処理を分散して行う構成も可能である。例えば、点群位置データ処理装置100の機能の一部を通信回線で結ばれたサーバで行うような構成も可能である。この場合、本発明の点群位置データ処理システムの一例として把握される。
【0153】
画像を取得する方法として、CCDカメラ等を用いた撮影による方法が一般的であるが、点群データに基づいて測定対象物の画像を再現することもできる。レーザースキャン装置により点群位置データを得た場合、各点からの反射光の光強度に係るデータが得られる。したがって、点群位置データを対象物の画像を構成する画素データとして取り扱うことで、点群位置データに基づいて測定対象物の画像を再現することができる。つまり、CCDやCMOSイメージセンサ等の撮影手段の代わりに、レーザースキャン装置を用いて測定対象物の画像を得ることができる。この場合、画像データ取得部112は、点群位置データ取得装置101から出力される点群位置データに基づき、上述した原理により画像データを取得する。
【産業上の利用可能性】
【0154】
本発明は、三次元情報の測定を行う技術に利用することができる。
【符号の説明】
【0155】
1…三次元レーザースキャナを備えた点群位置データ処理装置、2…点群位置データ、22…整準部、23…回転機構部、24…測距部、25…撮影部、26…制御部、27…本体部、28…回転照射部、29…台盤、30…下部ケーシング、31…ピン、32…調整ネジ、33…引っ張りスプリング、34…整準モータ、35…整準駆動ギア、36…整準従動ギア、37…傾斜センサ、38…水平回動モータ、39…水平回動駆動ギア、40…水平回動ギア、41…回転軸部、42…回転基盤、43…軸受部材、44…水平角検出器、45…本体部ケーシング、46…鏡筒、47…光軸、48…ビームスプリッタ、49、50…光軸、51…パルスレーザ光源、52…穴あきミラー、53…ビームウエスト変更光学系、54…測距受光部、55…高低角用回動ミラー、56…投光光軸、57…集光レンズ、58…画像受光部、59…投光ケーシング、60…フランジ部、61…ミラーホルダー板、62…回動軸、63…高低角ギア、64…高低角検出器、65…高低角用駆動モータ、66…駆動ギア、67…照星照門、68…外部記憶装置、69…水平駆動部、70…高低駆動部、71…整準駆動部、72…距離データ処理部、73…画像データ処理部、81…GPSアンテナ、82…GPS受信部、100’…点群位置データ処理部、130…点群位置データ処理装置として機能するパーソナルコンピュータ、131…三次元レーザースキャナ、132…三次元レーザースキャナを設置する第1の設置位置、133…三次元レーザースキャナを設置する第2の設置位置、134、135、136…測定対象物、134a…オクルージョン部分、150…三次元レーザースキャナ、151…オクルージョン部分、152…オクルージョンの原因となる測定対象物の出っ張り部分、153…エッジ部分、160…三次元画像の把握を助ける枠表示。
【特許請求の範囲】
【請求項1】
測定対象物の点群位置データを取得する点群位置データ取得部と、
測定対象物の画像データを取得する画像データ取得部と、
第1の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第1の視点において前記画像データ取得部で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像データ取得部で取得された画像データとの対応関係を求める対応関係特定部と、
前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、
前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部と
を備え、
前記三次元モデル形成部は、前記対応関係特定部で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理装置。
【請求項2】
前記画像データ取得部は、反射光の強度のデータを含む点群位置データに基づいて画像データを取得する機能、または撮影装置から出力される画像データを受け付ける機能を有することを特徴とする請求項1に記載の点群位置データ処理装置。
【請求項3】
前記対応関係特定部で特定された前記対応関係に基づき、前記第1の視点から得た点群位置データと前記第2の視点から得られた点群位置データとの座標の統合を行う座標統合部を備えることを特徴とする請求項1または2に記載の点群位置データ処理装置。
【請求項4】
前記三次元モデル表示制御部は、前記座標統合部で統合された共通の座標系において、前記第1の視点から得た点群位置データと前記第2の視点から得た点群位置データとに基づく三次元モデルの表示の制御を行うことを特徴とする請求項3に記載の点群位置データ処理装置。
【請求項5】
少なくとも、前記第1の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出部を備え、
前記三次元モデル形成部は、前記オクルージョン検出部で検出されたオクルージョン部分を三次元モデル中に組み込む処理を行うことを特徴とする請求項1〜4のいずれか一項項に記載の点群位置データ処理装置。
【請求項6】
前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出部を備えることを特徴とする請求項5に記載の点群位置データ処理装置。
【請求項7】
追加で取得が必要な測定対象エリアを前記三次元モデルの表示画面上にガイド表示する制御を行うガイド表示制御部を備えることを特徴とする請求項1〜6のいずれか一項に記載の点群位置データ処理装置。
【請求項8】
前記第1の視点の位置および前記第2の視点の位置の測定を行うGPS装置を備え、
前記対応関係特定部は、前記第1の視点の位置および前記第2の視点の位置の特定に前記GPS装置で測定された位置データを利用することを特徴とする請求項1〜7のいずれか一項に記載の点群位置データ処理装置。
【請求項9】
測定対象物の点群位置データを取得する点群位置データ取得手段と、
測定対象物の画像データを取得する画像データ取得手段と、
第1の視点において前記点群位置データ取得手段で取得された点群位置データあるいは前記第1の視点において前記画像データ取得手段で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像データ取得手段で取得された画像データとの対応関係を求める対応関係特定手段と、
前記点群位置データ取得手段が取得した点群位置データから三次元モデルを形成する三次元モデル形成手段と、
前記三次元モデル形成手段で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御手段と
を備え、
前記三次元モデル形成手段は、前記対応関係特定手段で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理システム。
【請求項10】
第1の視点において取得された測定対象物の点群位置データあるいは前記第1の視点において取得された前記測定対象物の画像データと、前記第1の視点とは異なる第2の視点において取得された前記測定対象物の画像データとの対応関係を求める対応関係特定ステップと、
前記第1の視点において取得された測定対象物の点群位置データに基づいて三次元モデルを形成する三次元モデル形成ステップと、
前記三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御ステップと
を備え、
前記三次元モデル形成ステップは、前記対応関係特定ステップで特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理方法。
【請求項11】
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
測定対象物の点群位置データを取得する点群位置データ取得部と、
測定対象物の画像データを取得する画像データ取得部と、
第1の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第1の視点において前記画像データ取得部で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像データ取得部で取得された画像データとの対応関係を求める対応関係特定部と、
前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、
前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部と
を備え、
前記三次元モデル形成部を、前記対応関係特定部で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成する手段として動作させることを特徴とする点群位置データ処理プログラム。
【請求項1】
測定対象物の点群位置データを取得する点群位置データ取得部と、
測定対象物の画像データを取得する画像データ取得部と、
第1の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第1の視点において前記画像データ取得部で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像データ取得部で取得された画像データとの対応関係を求める対応関係特定部と、
前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、
前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部と
を備え、
前記三次元モデル形成部は、前記対応関係特定部で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理装置。
【請求項2】
前記画像データ取得部は、反射光の強度のデータを含む点群位置データに基づいて画像データを取得する機能、または撮影装置から出力される画像データを受け付ける機能を有することを特徴とする請求項1に記載の点群位置データ処理装置。
【請求項3】
前記対応関係特定部で特定された前記対応関係に基づき、前記第1の視点から得た点群位置データと前記第2の視点から得られた点群位置データとの座標の統合を行う座標統合部を備えることを特徴とする請求項1または2に記載の点群位置データ処理装置。
【請求項4】
前記三次元モデル表示制御部は、前記座標統合部で統合された共通の座標系において、前記第1の視点から得た点群位置データと前記第2の視点から得た点群位置データとに基づく三次元モデルの表示の制御を行うことを特徴とする請求項3に記載の点群位置データ処理装置。
【請求項5】
少なくとも、前記第1の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出部を備え、
前記三次元モデル形成部は、前記オクルージョン検出部で検出されたオクルージョン部分を三次元モデル中に組み込む処理を行うことを特徴とする請求項1〜4のいずれか一項項に記載の点群位置データ処理装置。
【請求項6】
前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出部を備えることを特徴とする請求項5に記載の点群位置データ処理装置。
【請求項7】
追加で取得が必要な測定対象エリアを前記三次元モデルの表示画面上にガイド表示する制御を行うガイド表示制御部を備えることを特徴とする請求項1〜6のいずれか一項に記載の点群位置データ処理装置。
【請求項8】
前記第1の視点の位置および前記第2の視点の位置の測定を行うGPS装置を備え、
前記対応関係特定部は、前記第1の視点の位置および前記第2の視点の位置の特定に前記GPS装置で測定された位置データを利用することを特徴とする請求項1〜7のいずれか一項に記載の点群位置データ処理装置。
【請求項9】
測定対象物の点群位置データを取得する点群位置データ取得手段と、
測定対象物の画像データを取得する画像データ取得手段と、
第1の視点において前記点群位置データ取得手段で取得された点群位置データあるいは前記第1の視点において前記画像データ取得手段で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像データ取得手段で取得された画像データとの対応関係を求める対応関係特定手段と、
前記点群位置データ取得手段が取得した点群位置データから三次元モデルを形成する三次元モデル形成手段と、
前記三次元モデル形成手段で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御手段と
を備え、
前記三次元モデル形成手段は、前記対応関係特定手段で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理システム。
【請求項10】
第1の視点において取得された測定対象物の点群位置データあるいは前記第1の視点において取得された前記測定対象物の画像データと、前記第1の視点とは異なる第2の視点において取得された前記測定対象物の画像データとの対応関係を求める対応関係特定ステップと、
前記第1の視点において取得された測定対象物の点群位置データに基づいて三次元モデルを形成する三次元モデル形成ステップと、
前記三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御ステップと
を備え、
前記三次元モデル形成ステップは、前記対応関係特定ステップで特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理方法。
【請求項11】
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
測定対象物の点群位置データを取得する点群位置データ取得部と、
測定対象物の画像データを取得する画像データ取得部と、
第1の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第1の視点において前記画像データ取得部で取得された画像データと、前記第1の視点とは異なる第2の視点において前記画像データ取得部で取得された画像データとの対応関係を求める対応関係特定部と、
前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、
前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部と
を備え、
前記三次元モデル形成部を、前記対応関係特定部で特定された前記対応関係に基づき、前記第2の視点から見た向きの三次元モデルを形成する手段として動作させることを特徴とする点群位置データ処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2012−37491(P2012−37491A)
【公開日】平成24年2月23日(2012.2.23)
【国際特許分類】
【出願番号】特願2010−180531(P2010−180531)
【出願日】平成22年8月11日(2010.8.11)
【出願人】(000220343)株式会社トプコン (904)
【Fターム(参考)】
【公開日】平成24年2月23日(2012.2.23)
【国際特許分類】
【出願日】平成22年8月11日(2010.8.11)
【出願人】(000220343)株式会社トプコン (904)
【Fターム(参考)】
[ Back to top ]