光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
【課題】レーザースキャナを用いた得た三次元点群位置データを補完する三次元点群位置データを撮影画像から得る技術において、当該撮影を行う条件における撮影手段のキャリブレーションを効率よく簡便に行う。
【解決手段】第１の視点から建物１２０のレーザースキャンを行い、三次元点群位置データを得る。他方で、第２の視点から第１の視点でオクルージョンとなる建物１２０の部分のステレオペア画像の撮影を行う。そして、第２の視点で得たステレオ画像と第１の視点で得た三次元点群位置データとの対応関係を求めることで、当該三次元点群位置データを利用してのステレオペア画像撮影装置１２４のキャリブレーションを行なう。
【解決手段】第１の視点から建物１２０のレーザースキャンを行い、三次元点群位置データを得る。他方で、第２の視点から第１の視点でオクルージョンとなる建物１２０の部分のステレオペア画像の撮影を行う。そして、第２の視点で得たステレオ画像と第１の視点で得た三次元点群位置データとの対応関係を求めることで、当該三次元点群位置データを利用してのステレオペア画像撮影装置１２４のキャリブレーションを行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元点群位置データを利用した技術に係り、三次元点群位置データの精度を高める処理を効率よく行う技術に関する。
【背景技術】
【０００２】
測定対象物の三次元点群位置データから三次元形状を生成する技術が知られている。三次元点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、三次元点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点（点群）と、この複数の測定点の三次元空間中の位置（三次元座標）とが関連付けされている。三次元点群位置データによれば、点の集合により測定対象物の外形を再現した三次元モデルを得ることができる。また、各点の三次元座標が判るので、各点の三次元空間中における相対位置関係が把握でき、画面表示した三次元モデルの画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。
【０００３】
一つの視点からの三次元点群位置データの取得を考えた場合、測定対象物の形状や障害物に起因して、その視点から見て影となる部分の三次元点群位置データは取得できない。この現象をオクルージョンといい、またこの影となる部分をオクルージョン部やオクルージョン部分という。上述したように点群位置データの取得の目的の一つは、三次元モデルの取得にあり、三次元モデルは三次元ＣＡＤのように希望する視点から見た状態となるように回転させることができる点に特徴がある。したがって、上記のオクルージョンがあると、その取得した三次元モデルを回転させた際に、オクルージョン部分の欠落した三次元モデルが表示されることになる。あるいは、これら点群データや三次元モデルから図面化を行いたいこと等があるが、オクルージョン部があるとその部分が図面化できない、といった問題も生じる。
【０００４】
このオクルージョンの問題を解決するには、第１の視点でオクルージョンとなる部分の三次元点群位置データを取得可能な第２の視点から改めて三次元点群位置データを取得し、２つの視点からの三次元点群位置データに基づく三次元モデルを作成すればよい。しかしながら、三次元点群位置データの取得には時間がかかるので、この方法は、効率的でない。
【０００５】
この問題を解決するためのアプローチとして、特許文献１には、オクルージョン部分の三次元点群位置データを補完的に取得するために、基礎となる三次元点群位置データの取得とは別に、オクルージョン部分を撮影できる別視点からの撮影を行い、この撮影画像と上記基礎となる三次元点群位置データとの関連を求めることで、オクルージョン部分の三次元点群位置データを補完する手法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−８２７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の方法は、基本となる三次元点群位置データの取得の他に、補完データを撮影によって得るので、効率がよい。ところで、撮影画像に基づき三次元点群位置データを取得する場合、ステレオペア画像を用いたステレオ法を原理とする方法が利用される。ステレオ法は、三角測量の原理で撮影対象物の三次元情報を取得するので、撮影装置(カメラ)の焦点距離、歪曲収差、主点位置といった内部パラメータ(これらのパラメータを内部標定要素という)を考慮に入れた補正を行わないと、得られる三次元点群位置データの誤差(各測定点の座標の誤差)が大きくなる。
【０００８】
この補正に必要なパラメータを得る処理をキャリブレーションという。一般に、撮影装置のキャリブレーションは、製品として出荷する際に行われている。しかしながら、この事前のキャリブレーションは、ある特定の条件(工場内での設定条件)におけるもので、正確な補正を行うには、測定対象物までの距離が固定あるいは制限される。このため、一般に三次元点群位置データを取得するための撮影は、条件が限定され、使い勝手は良くない。また、実際に撮影を行う状況で撮影装置のキャリブレーションを行うことも可能であるが、ターゲットの設定や各種の条件の設定等の煩雑な作業が必要であり、効率的ではない。
【０００９】
このような背景において、本発明は、レーザースキャナを用いて得た三次元点群位置データを補完する三次元点群位置データを撮影画像から得る技術において、当該撮影を行う条件における撮影手段のキャリブレーションを効率よく簡便に行うことができる技術の提供を目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定部と、画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定部で特定した特定点との対応関係を特定する対応関係特定部と、前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定部で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出部と、前記内部標定要素算出部で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正部とを備えることを特徴とする光学情報処理装置である。
【００１１】
本発明の原理を簡単に説明する。まず、位置特定部は、第１の視点からレーザ光を利用して測定対象物の三次元点群位置データを取得する。次に、第１の視点と異なる第２の視点から画像撮影部（例えばデジタルカメラ）による撮影を行う。この第２の視点の選択は、第１の視点からはオクルージョンとなる部分が見える視点を選択する場合や、第１の視点において得た点群位置データの精度の悪い部分等を補完する画像を得るのに適した視点を選択する場合が挙げられる。
【００１２】
そして、第１の視点において得た三次元点群位置データと第２の視点において得た撮影画像との間で標定を行い、両者の対応関係を求める。三次元点群位置データは、各測定点の三次元座標のデータを持っているので、上記対応関係が求まることで、第２の視点で得た撮影画像中の特徴点の三次元座標が特定可能となる。そして、この第２の視点で得た撮影画像中の特徴点を基準（ターゲット）として、上記第２の視点からの撮影に用いた画像撮影部（例えば、デジタルカメラ）のキャリブレーションが行われる。これにより、第２の視点における当該画像撮影部の内部標定要素が取得される。ここで、画像撮影部の内部標定要素というのは、レンズディストーション、焦点距離、レンズの主点位置といった画像撮影部の内部パラメータである。内部標定要素には、レンズ系の歪み等の情報が含まれている。内部標定要素を得ることで、画像の歪みを解消あるいは軽減するための補正係数や関数が得られる。
【００１３】
この技術によれば、既に得られている三次元点群位置データに基づいて、実際に撮影を行う状況における画像撮影部のキャリブレーションが行われる。この際、作業としては、単に撮影をするだけでよく、キャリブレーション専用のターゲットを配置し、更にその座標を特定する等の煩雑な作業は必要とされない。そして上記のキャリブレーションによって得られる画像撮影部の内部標定要素に基づき、第２の視点において画像撮影部が撮影した画像を修正し、その歪みを除去する。こうすることで、第２の視点からの撮影によって得た画像に基づく測定対象物の三次元点群位置データの精度が向上する。
【００１４】
そして、この補正された第２の視点からの撮影画像に基づいて三次元点群位置データ得、それを第１の視点から得た三次元点群位置データを補完する三次元点群位置データとして利用する。これにより、（１）オクルージョンの解消、（２）第１の視点で得た三次元点群位置データの精度が悪い部分の補完、（３）通行車両等の影響による第１の視点で得た三次元点群位置データの部分的な欠落の補完、（４）その他何らかの要因による第１の視点で得た三次元点群位置データの精度不良や欠落の補完等、を行うことができる。
【００１５】
請求項２に記載の発明は、請求項１に記載の発明において、前記対応関係特定部は、前記位置特定部で算出した測定点の三次元位置から得られる前記測定対象物の形状と、前記画像撮影部で撮影された前記測定対象物の画像から得られる前記測定対象物の形状とに基づき、前記対応関係の算出を行うことを特徴とする。
【００１６】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記位置測定部は、測定点からの反射光の強度、色、色相、彩度を検出し、前記対応関係特定部は、前記位置測定部が検出した測定点からの反射光の強度、色、色相、彩度から選ばれた一または複数と、前記画像取得部で取得された前記測定対象物の画像とに基づいて前記対応関係の特定を行うことを特徴とする。
【００１７】
請求項４に記載の発明は、請求項１または２に記載の発明において、前記対応関係特定部は、前記レーザー光の照射が行われた領域を撮影した画像と、前記画像撮影部が撮影した画像との比較に基づいて前記対応関係の特定を行うことを特徴とする。
【００１８】
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、異なる２つの視点から前記画像撮影部の重複した範囲を撮影したステレオ画像に基づくマッチング処理により、前記測定対象物の座標値を算出する座標算出部を備えることを特徴とする。
【００１９】
請求項６に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、前記画像撮影部がデジタルカメラであることを特徴とする。
【００２０】
請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、前記画像修正部は、予め求めておいた前記画像撮影部の焦点距離情報またはそれに加えて前記内部標定要素算出部で算出された内部標定要素に基づき、前記画像撮影部が撮影した画像を修正するように構成されていることを特徴とする。ここで、焦点距離情報には、予め求めておいた焦点距離と内部標定要素の関係が含まれている。この焦点距離情報は誤差を含むが、内部標定要素算出部で算出される内部標定要素の大体の値の目安とすることができる。このため、画像の修正に必要な処理における誤差の低減、処理時間の短縮、処理にエラーが発生し演算が遅延したり中止したりする確率の低減といった効果を得ることができる。
【００２１】
焦点距離情報を利用する形態としては、以下の２つの形態が上げられる。その一つは、内部標定要素の算出に必要な画像撮影部が撮影した画像の歪みの修正に、焦点距離情報を利用する場合である。この場合、内部標定要素の算出に利用される画像撮影部が撮影した画像の歪みが低減されるので、内部標定の算出精度が高くなる。
【００２２】
焦点距離情報を利用する形態の他の一つは、内部標定要素算出部における演算に焦点距離情報を利用する場合である。この場合、算出する内部標定要素の大体の値の目安が提供されるので、算出精度の向上、演算時間の短縮、演算エラーが発生する確率の低減といった効果が得られる。
【００２３】
請求項８に記載の発明は、測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定手段と、画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定手段で特定した特定点との対応関係を特定する対応関係特定手段と、前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定手段で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出手段と、前記内部標定要素算出手段で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正手段とを備えることを特徴とする光学情報処理システムである。
【００２４】
請求項９に記載の発明は、測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定ステップと、画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定ステップで特定した特定点との対応関係を特定する対応関係特定ステップと、前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定ステップで特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出ステップと、前記内部標定要素算出ステップで算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正ステップとを備えることを特徴とする光学情報処理システムである。
【００２５】
請求項１０に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定手段と、画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定手段で特定した特定点との対応関係を特定する対応関係特定手段と、前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定手段で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出手段と、前記内部標定要素算出手段で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正手段として機能させることを特徴とする光学情報処理用プログラムである。
【発明の効果】
【００２６】
本発明によれば、レーザースキャナが得た三次元点群位置データが持つ三次元座標データを利用して、撮影を行う条件における撮影手段のキャリブレーションが行われる。このため、レーザースキャナを用いて得た三次元点群位置データを補完する三次元点群位置データを撮影画像から得る技術において、当該撮影を行う条件における撮影手段のキャリブレーションを効率よく簡便に行うことができる。
【図面の簡単な説明】
【００２７】
【図１】実施形態の光学情報処理装置のブロック図である。
【図２】実施形態の点群位置データ処理部のブロック図である。
【図３】ステレオ法の原理を説明する説明図である。
【図４】ステレオ画像を説明する説明図である。
【図５】パスポイントを説明する説明図である。
【図６】相互標定を説明する説明図である。
【図７】ステレオマッチングの原理を説明する説明図である。
【図８】ラベルを用いたマッチングの原理を示す説明図である。
【図９】処理の一例を示すフローチャートである。
【図１０】測定の状態を示す概念図である。
【図１１】レーザースキャナの断面図である。
【図１２】レーザースキャナの断面図である。
【図１３】レーザースキャナのブロック図である。
【図１４】演算部のブロック図である。
【図１５】点間距離が一定でない三次元点群位置データを示す概念図である。
【図１６】形成したグリッドを示す概念図である。
【発明を実施するための最良の形態】
【００２８】
１．第１の実施形態
以下、発明を利用した光学情報処理装置の一例について、図面を参照して説明する。なお以下の説明において、三次元点群位置データは、測定対象物の各測定点における三次元座標データを含んでいる。三次元座標を表示する座標系は、直交座標系または極座標系が採用される。画像データは、ＣＣＤ等による撮影により得られた画像のデータのことをいう。
【００２９】
図１には、光学情報処理装置１００が示されている。光学情報処理装置１００は、パーソナルコンピュータ上においてソフトウェア的に構成されている。光学情報処理装置１００をパーソナルコンピュータ上で構成するプログラムは、パーソナルコンピュータ中にインストールされている。なお、このプログラムは、サーバや適当な記録媒体に記録しておき、そこから提供される形態であってもよい。
【００３０】
利用されるパーソナルコンピュータは、キーボートやタッチパネルディスプレイ等の入力部、液晶ディスプレイ等の画像表示装置、入力部と表示部を統合したユーザインターフェースであるＧＵＩ（グラフィカル・ユーザ・インターフェース）機能部、ＣＰＵおよびその他専用の演算デバイス、半導体メモリ、ハードディスク記憶部、光ディスク等の記憶媒体との間で情報のやり取りを行えるディスク記憶装置駆動部、ＵＳＢメモリ等の携帯型記憶媒体との間で情報のやり取りを行えるインターフェース部、無線通信や有線通信を行う通信インターフェース部を必要に応じて備えている。なお、パーソナルコンピュータとしては、ノート型、携帯型、卓上型等の形態が挙げられるが、その形態は限定されない。また、汎用のパーソナルコンピュータを利用する以外に、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）等を用いて構成した専用のハードウェアによって光学情報処理装置１００を構成することも可能である。
【００３１】
光学情報処理装置１００には、測定対象物の三次元点群位置データの取得に利用されるレーザースキャナ１２１と、測定対象物を撮影し、その画像を得るためのデジタルカメラ１２２が適当な規格の通信回線を用いて接続されている。レーザースキャナ１２１は、測定対象物にレーザー光を照射し、その反射光を受光することで、レーザースキャナ１２１の設置位置から測定点までの距離、方位、仰角または俯角の情報を取得し、これらの情報に基づき、測定点の三次元位置座標に係る情報を算出する。また、レーザースキャナ１２１は、測定点からの反射光の強度、色、色相、彩度等に関する情報を取得する。レーザースキャナ１２１はこれらの情報に基づき各測定点の三次元座標値を含む点群位置データを算出し、それを光学情報処理装置１００に出力する。レーザースキャナ１２１の詳細な構成の一例は後述する。また、レーザースキャナ１２１は、レーザー光の光軸と同じ方向の光軸を有する撮影装置（ＣＣＤ撮像装置）を備えており、三次元点群位置データの取得対象となる測定対象物の画像データを取得することが可能な構造を有している。
【００３２】
デジタルカメラ１２２は、画像撮影部の一例であり、左右の異なる視点から測定対象物の重複した部分を撮影し、ステレオペア画像を取得する。このステレオペア画像の画像データ（左右で１組の画像データ）は、光学情報処理装置１００に出力される。デジタルカメラ１２２は、２台のデジタルカメラを専用の基台にセットし、ステレオペア画像を撮影する形態、１台のデジタルカメラを利用し、ステレオペア画像を得るための２つの視点のそれぞれからの撮影を行うことで、左右１組の画像データを得る形態が採用可能である。
【００３３】
光学情報処理装置１００は、三次元点群位置データ受付け部１０１、画像受付け部１０２を備えている。三次元点群位置データ受付け部１０１は、レーザースキャナ１２１から出力される三次元点群位置データを受付け、光学情報処理装置１００内に取り込む。画像受付け部１０２は、デジタルカメラ１２２が撮影したステレオペア画像の画像データを受付け、それを光学情報処理装置１００内に取り込む。
【００３４】
光学情報処理装置１００は、位置特定部１０３、座標算出部１０４、対応関係特定部１０５、内部標定要素算出部１０６、画像修正部１０７、三次元点群位置データ処理部１０８を備えている。以下、これら各機能部について説明する。
【００３５】
（位置特定部１０３）
位置特定部１０３は、レーザースキャナ１２１が取得した三次元点群位置データに基づき、測定対象物の三次元位置（測定対象物の外観を特徴付ける特徴点の三次元座標）を特定する。測定対象物の三次元位置を把握する方法としては、取得した三次元点群位置データをそのまま利用する方法、後述する三次元点群位置データ処理部１０８で算出されるラベルのデータを利用する方法、三次元点群位置データ処理部で算出される三次元モデル(測定対象物の三次元輪郭線モデル)を利用する方法等が挙げられる。ラベルのデータや三次元のモデルのデータは、基となる三次元点群位置データに比較してデータ量が少ないので、ソフトウェア処理に際してのＣＰＵやメモリへの負担が小さく、演算速度を速くできる。
【００３６】
（座標算出部）
座標算出部１０４は、デジタルカメラ１２２から得たステレオペア画像に基づき測定対象物（撮影対象物）の三次元位置（測定対象物の外観を特徴付ける特徴点の三次元座標）を、ステレオ法を利用して算出する。この三次元位置のデータは、レーザースキャナ１２１で得る三次元点群位置データと同様な点群位置データとなる。
【００３７】
座標算出部１０４で行われる演算の内容について説明する。まず、ステレオペア画像に基づき測定対象物の三次元位置を算出する原理を説明する。以下、この方法をステレオ法と称する。図３はステレオ法の原理を説明する説明図である。図３に示すように、２台のカメラが、光軸が平行で、カメラレンズ１、２の主点から撮影面としてのＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。また、各カメラのカメラレンズ１、２の間隔と等しい、２つの光軸間距離（基長線）をｌとする。なお、カメラは、１台のカメラにカメラレンズ１、２を備えたステレオ撮影用のカメラであっても原理は同じである。このとき、物体上の点Ｐ（ｘ、ｙ、ｚ）と、画像１上の点Ｐ１（ｘ１、ｙ１）、画像２上の点Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
【００３８】
【数１】
【００３９】
【数２】
【００４０】
【数３】
【００４１】
但し、全体の座標系の原点をカメラレンズ１の主点にとるものとする。数３式よりｚを求め、これを用いて数１式、数２式よりｘ、ｙが求められる。以上により、左右画像の対応点を求めれば、その位置の３次元座標を算出することができる。
【００４２】
次にステレオ画像作成についての原理を説明する。ステレオ画像作成の原理は、ステレオ法が成立するように画像を修正すればよい。ステレオ画像とは、対象物に対して２枚の画像が平行であり、かつ、縦視差が除去されているものである。図４は、ステレオ画像を説明する説明図である。例えば、図４（Ａ）に示されている画像では、左右の画像間でいくらオーバーラップしている領域があっても、左右画像の縮尺が異なり、さらに回転や縦視差があるために、３次元計測することができない。しかしながら、図４（Ｂ）のように左右画像の倍率を合わせ、回転を補正し縦視差を除去すれば、ステレオ法を成り立たせることができる。
【００４３】
ステレオ画像（ステレオモデル）は、左右画像中に６点以上の同一の対応点を求めることにより作成することができる。左右画像中の同一の対応点をパスポイントという。図５はパスポイントを説明する説明図である。図５に示すように、左右の画像上で６点対応する点の画像座標があれば、２つのカメラの相対的な位置と傾きを求めることができるので、それにより左右画像の縮尺、回転、縦視差を補正し、ステレオ画像を作成することができる。
【００４４】
上記のステレオ画像の作成には、相互標定が用いられる。相互標定は、画像中の６点以上の対応点によりカメラの相対的な位置と傾きを求める原理である。図６は相互標定を説明する説明図である。相互標定では、以下の共面条件式により各パラメータを求める。
【００４５】
【数４】
【００４６】
図６に示すように、モデル座標系の原点を左側の投影中心Ｏ１にとり、右側の投影中心Ｏ２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。このような条件にすると、数４の共面条件式は数５式のようになり、この式を解けば各パラメータが求まる。
【００４７】
【数５】
【００４８】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【００４９】
【数６】
【００５０】
【数７】
【００５１】
これらの式を用いて、次の手順により、未知パラメータを求める。
（１）初期近似値は通常０とする。
（２）数５の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数６、数７式により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（２）〜（５）までの操作を収束するまで繰り返す。
【００５２】
以上により、カメラの相対的な３次元位置ならびに３軸の傾きが求まり、ステレオ画像（ステレオモデル）が作成できる。また、ステレオ撮影したカメラ間の距離（基線長）を入力してやれば、実寸のステレオモデルとすることができる。さらに、６点のうち３点のＸＹＺ座標を与えてやることができれば、実際の座標系に変換し、実座標における三次元計測が可能となる。また、基線長を仮に１とすれば、モデル座標系での三次元座標算出が可能になる。
【００５３】
以上説明した原理に基づく演算が座標算出部１０４において行われ、デジタルカメラ１２２が撮影したステレオペア画像に基づく撮影対象物の三次元座標が算出される。この演算は、測定対象物を写した撮影画面を格子状に区切った各格子点において行われる。これにより、点群状に測定対象物表面の三次元座標分布が算出される。この点群状の測定対象物表面の座標データが、デジタルカメラ１２２が撮影したステレオペア画像に基づき算出された測定対象物の三次元点群位置データとなる。
【００５４】
（対応関係特定部１０５）
対応関係特定部１０５は、レーザースキャナ１２１の出力に基づいて、位置特定部１０３が特定した測定対象物の三次元位置に係るデータと座標算出部１０４が算出した測定対象物の三次元位置に係るデータ間の対応関係を特定する。以下、対応関係特定部１０５における２つの三次元位置に係るデータ間の対応関係を特定する方法の一例を説明する。まず、レーザースキャナ１２１を配置した視点およびデジタルカメラ１２２を配置した視点からの測定対象物の視野（データ取得位置からの測定対象部の見える部分）が重なる部分において、対応点を指定する。次いで、この対応点に基づいて各種の標定を行い、２つの視点から得た三次元点群位置データのそれぞれを記述する座標系（直交座標系または極座標系）間の対応関係を算出する。これにより、第１の三次元点群位置データと第２の三次元点群データとの対応関係が特定される。以下、２つの三次元点群位置データ間の対応関係を算出する際に用いる標定について説明する。
【００５５】
（相互標定）
相互標定については前述している。この場合、左右のカメラの視点を第１の視点、第２の視点とし、第１の視点から得た三次元点群位置データの座標系（第１の座標系）を（Ｘ１、Ｙ１、Ｚ１）とし、第２の視点から得た三次元点群位置データの座標系（第２の座標系）を（Ｘ２、Ｙ２、Ｚ２）として、第１の座標系と第２の座標系との対応関係を求める演算を行う。
【００５６】
（単写真標定）
単写真標定とは、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置（Ｘ０、Ｙ０、Ｚ０）およびカメラの傾き（ω，φ，κ）を求め、写真座標ｘ、ｙ、ｚと地上座標Ｘ、Ｙ、Ｚの間の関係を求める技術である。共線条件とは、投影中心、写真像および地上の対象物が一直線上にあるという条件である。また、カメラの位置（Ｘ０、Ｙ０、Ｚ０）とカメラの傾き（ω、φ、κ）は外部標定要素と呼ばれる。
【００５７】
ここでは、単写真標定の原理を用いて、第１の視点から測定対象物を見た場合の第１の座標系と、第２の視点から測定対象物を見た場合の第２の座標系との関係を求める方法を説明する。この場合、第１の視点においてレーザースキャナ１２１による測定対象物の三次元点群位置データが取得されている状態で、第２の視点からデジタルカメラ１２２によって当該測定対象物の写真撮影が行われ、更にこの写真画像に基づいて座標算出部１０４の機能により、当該測定対象物の三次元点群位置データが取得されている状態で、以下の演算が対応関係特定部１０５において行われる。
【００５８】
まず、第１の座標系を基準点座標（Ｘ、Ｙ、Ｚ）、第２の座標系を写真座標（ｘ、ｙ、ｚ）とし、２つの三次元点群位置データの中から共通する４点を対応点として指定する。この４点は、２つの座標系の対応関係を求める足掛かりとなる共通座標点であり、測定対象物の中から特徴点となる部分（例えば、エッジ等の見た目で周囲から区別し易い点）が選択される。この４点の選択を行う方法は、マニュアル操作によって行う方法や、対象物のエッジや角部分等の特徴点として把握し易い部分をソフトウェア的に自動抽出する方法、あるいはこの自動抽出された中から更にユーザがマニュアルで選択する方法が利用される。なお、単写真標定を用いた場合の対応点の指定は、５点以上であってもよいが、最低４点を指定することで、２つの座標系の対応関係を求めることができる。
【００５９】
そして、４点の画面座標値と対応する基準点の３次元座標を下記の数８に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。ここで、４点の画面座標値は、デジタルカメラ１２２が撮影した撮影画像の中から指定された４点の対応点の画面中における座標の位置である。対応する基準点の３次元座標というのは、レーザースキャナ１２１が取得した三次元点群位置データから得られる上記指定された４つの対応点の三次元座標の値である。
【００６０】
【数８】
【００６１】
数８のパラメータｂ１〜ｂ８を用いて、下記の数９から外部標定要素（Ｘ０、Ｙ０、Ｚ０）を求める。
【００６２】
【数９】
【００６３】
次に、単写真標定の原理より、（Ｘ，Ｙ，Ｚ）に対応する、傾いたデジタルカメラ１２２の座標系（ｘｐ、ｙｐ、ｚｐ）を以下の数１０から求める。数１０では、数９で求まったデジタルカメラ１２２の傾き（ω、φ、κ）を代入し、回転行列の計算をして、パラメータａ１１〜ａ３３を求める。
【００６４】
【数１０】
【００６５】
求まったパラメータａ１１〜ａ３３と数９で求まった位置（Ｘ０、Ｙ０、Ｚ０）、および（Ｘ，Ｙ，Ｚ）を、投影中心、写真像および対象物が一直線上にあるという以下の数１１の共線条件式に代入し、座標（ｘ、ｙ）を求める。ここで、ｃは画面距離（焦点距離）、ａ１１〜ａ３３は、３×３回転行列の要素として現されるデジタルカメラ１２２の傾きであり、Δｘ、Δｙは、内部標定要素算出部１０６が算出したデジタルカメラ内部の内部標定要素に基づく補正項である。
【００６６】
【数１１】
【００６７】
こうして、第１の視点から測定対象物を見た場合の座標系（第１の座標系）（Ｘ、Ｙ、Ｚ）と、第２の視点から測定対象物を見た場合の座標系（第２の座標系）（ｘ、ｙ、ｚ）との対応関係が算出される。なお、上記の算出方法では、ｚとＺの関係を求めていないが、第１の視点と第２の視点とが水平面内における位置の違いである場合、ｚ＝Ｚであるので、上記の方法で問題は生じない。
【００６８】
（絶対標定）
絶対標定は、モデル座標系を地上座標系（絶対座標系）に変換する方法である。絶対標定を用いた場合、第１の座標系を地上座標系に関連付け、他方で第２の座標系を地上座標系に関連付け、地上座標系を介して第１の座標系と第２の座標系の対応関係が取得される。まず、モデル座標系（ＸＭ、ＹＭ、ＺＭ）を地上座標系（Ｘ、Ｙ、Ｚ）に変換する。ここで、縮尺をｓ、３軸回りの回転をω、φ、κ、平行移動量を（Ｘ０、Ｙ０、Ｚ０）とすると、数１２の関係式が得られる。
【００６９】
【数１２】
【００７０】
次に、ω、φが小さいとして、未知変量（ｓ、ω、φ、κ、Ｘ０、Ｙ０、Ｚ０）を求める。まず、ヘルマート変換により平面座標の調整を行う。平面座標に限定すると、下記数１０が成り立つ。なお、下記数１３において、cosκ=（a／ｓ）、sinκ＝（−ｂ／ｓ）である。
【００７１】
【数１３】
【００７２】
上記数１３において、最小二乗法により、係数ａ、ｂ、Ｘ０、Ｙ０を決定する。次に、縮尺の統一を行う。この場合、下記数１４が成り立つ。
【００７３】
【数１４】
【００７４】
次に、高さの調整を行う。この場合、下記数１５が成り立つ。
【００７５】
【数１５】
【００７６】
数１５において、最小二乗法により、ω、φ、Ｚ０を求める。そして求めた未知変量を用いて、モデル座標を下記数１６により修正する。
【００７７】
【数１６】
【００７８】
以上の処理を未知変量が収束するまで繰り返し、モデル座標系（ＸＭ、ＹＭ、ＺＭ）と地上座標系（Ｘ、Ｙ，Ｚ）との対応関係を求める。そして、モデル座標系として第１の視点からの第１の座標系と第２の視点からの第２の座標系を選択することで、地上座標系を介した第１の座標系と第２の座標系との対応関係が明らかになる。あるいは、２つ視点からの画像や２つの視点からの三次元点群位置データを共通の座標である地上座標系で取り扱うことができる。絶対標定を用いる場合、理論的には、３点の対応点を指定することで、標定が行われるが、例えば同じ高さ位置で異なる２つ視点からの座標系を問題とする場合のように、座標系を変えても一つの軸上の位置が同じであるので、標定に必要な対応点は２点であればよい。
【００７９】
（対応点を指定する方法）
上述した標定においては、座標系間の対応関係を算出する足掛かりとなる対応点を指定する必要がある。対応点を指定する方法には、マニュアルにより指定する方法、演算により求める方法、両者を組み合わせた方法がある。ここで、両者を組み合わせた方法というのは、演算により複数の候補を算出し、その中からオペレータが指定する方法である。あるいは、対応点の候補となる特徴点が複数含まれていると判断される領域をオペレータが指定し、その指定した領域において演算により対応点を算出する方法である。あるいは、オペレータが指定せずとも、全撮影領域を演算により求める方法で算出してもよい。以下、演算により対応点を検出する方法について説明する。
【００８０】
（対応点の検出方法１）
まず、ステレオマッチングにより、対応点の自動検出を行う例を説明する。この場合、レーザースキャナ１２１から得た測定対象物の画像データとデジタルカメラ１２２から得た測定対象物の画像データとを比較して、両者で一致する特徴の部分が対応点として算出される。ここで、レーザースキャナ１２１から得た測定対象物の画像データというのは、レーザースキャナ１２１が取得した三次元点群位置データの反射光の情報（ＲＧＢ強度等）を画素情報とした画像のことである。三次元点群位置データは、反射光の強度に係る情報を持っているので、それを画素情報として画像を構成することで、反射光の強度を濃淡情報とした測定対象物の画像を得ることができる。
【００８１】
以下、ステレオマッチングについて詳細に説明する。ステレオマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。ステレオマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求まり、対応点の自動抽出が可能となる。図７は、ステレオマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ１×Ｎ１画素のテンプレート画像を、それよりも大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）２上で動かし、下記数１７で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。
【００８２】
【数１７】
【００８３】
上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。
【００８４】
ステレオマッチングを用いることで、比較する２つの画像の一致する部分が特定でき、２つの座標系の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる。
【００８５】
レーザースキャナ１２１が取得した三次元点群位置データに基づく画像データから対応点を検出する場合、検出対象となる特徴点は、照射したレーザー光の反射光の強度（例えばＲＧＢ強度）、色、色相、彩度、あるいはこれらの組み合わせによって特徴付けられる。すなわち、ＲＧＢ各色の反射光強度の違いよって特徴点が特徴付けられる場合、特定の色の反射光強度によって特徴点が特徴付けられる場合、反射光の色の違い(色相)によって特徴点を特徴付ける場合、反射光の色の鮮やかさの違いによって特徴点を特徴付ける場合、あるいはこれらの組み合わせによって特徴点を特徴付ける場合が挙げられる。そして、このレーザースキャナ１２１側で得た特徴点のパラメータ（例えば、ＲＧＢ強度）と、デジタルカメラ１２２で撮影された画像の対応するパラメータ（例えば、ＲＧＢ強度）とが上記のステレオマッチングによって比較され、対応点の検出が行われる。
【００８６】
また、撮影した画像同士を比較してのステレオマッチングを行う場合は、撮影画像中の周囲から特徴部分として識別し易い部分（例えば、構造物のエッジ部分等）が特徴点として取り扱われ、対応点の検出が行われる。
【００８７】
ここでは、比較の対象として、レーザースキャナ１２１が取得した三次元点群位置データに基づく画像データを利用する場合を説明したが、レーザースキャナ１２１は、三次元点群位置データの取得対象となる測定対象物の撮影を行う撮影手段を有しているので、この撮影手段による撮影によって得られる画像データを利用してもよい。この場合、レーザースキャナ１２１が備えた撮影手段が得た測定対象物の画像データと、デジタルカメラ１２２が得た測定対象物の画像データとに基づき、上述した処理が行われる。
【００８８】
（対応点の検出方法２）
対応点を検出する方法として、測定対象物の三次元形状に係るパラメータを比較し、そのマッチングに基づき、対応点を検出する方法が挙げられる。以下、この方法の一例を説明する。後述するように、三次元点群位置データ処理部１０８は、三次元点群位置データに基づき、測定対象物の外観を複数の面の集合として取り扱うことができるようにする処理を行う。ここで各面は、他と区別できるラベルとして扱われる。ラベルは、面の位置および面の向きのデータを持っている。ラベルの位置は、例えばその面の重心の三次元座標によって特定される。
【００８９】
このラベルの分布状態を上述したステレオマッチングと同様の手法で比較し、その相関関係が最大となる位置関係を求めることで、複数のラベルにより構成された測定対象物の２つの画像の一致する部分（重複部分）が検出される。そしてこの重複部分に着目し、その中から特徴点となる三次元点群位置データを抽出することで、２つの画像の対応点を特定することができる。三次元点群位置データから特徴点を抽出するには、後述する非面性が部分的に顕著である部分を後述する（１）局所曲率、（２）局所平面へのフィッティング精度、（３）共平面性に基づいて抽出すればよい。
【００９０】
以下、このラベルを用いた２つの画像データのマッチングを行う方法の一例を説明する。図８は、ラベルを用いたマッチングの手法を説明する概念図である。図８（Ａ）には、測定対象物に対して第１の視点から三次元点群位置データの取得を行い、更に第２の視点から三次元点群位置データの取得を行う様子が概念的に単純化されたモデルとして記載されている。ここでは、第１の視点がレーザースキャナ１２１による三次元点群位置データの取得位置であり、第２の視点がデジタルカメラ１２２を用いた撮影による画像データの取得位置であるとする。
【００９１】
ここで、測定対象物は、ラベル１が付与された第１の面、ラベル２が付与された第２の面、ラベル３が付与された第３の面、ラベル４が付与された第４の面、ラベル１が付与された第４の面、ラベル５が付与された第５の面、ラベル６が付与された第６の面から構成されている。
【００９２】
ここで、第１の視点からは、ラベル５およびラベル６がオクルージョンとなり、その部分の三次元点群位置データは取得されていない(当然ラベル５およびラベル６のデータは、第１の視点からは得られていない)状態が示されている。そして図８（Ｂ）には、第１の視点から得られたラベリングされた測定対象物のモデル(ラベルによって構成された測定対象物のモデル)が示されている。なお、本来は、ラベリングされた測定対象物のモデルは、三次元的なモデルであるが、ここでは、２次元的な単純化されたモデルが示されている。
【００９３】
また、第２の視点からは、ラベル１およびラベル２がオクルージョンとなり、その部分の三次元点群位置データは取得されていない(当然ラベル１およびラベル２のデータは、第２の視点からは得られていない)状態が示されている。そして図８（Ｃ）には、第２の視点から得られたラベリングされた測定対象物のモデルが示されている。
【００９４】
２つの視点から得られた三次元点群位置データ同士の位置合わせ（つまり対応関係の特定）が行われる前の段階では、図８（Ｂ）のラベリングモデルと図８（Ｃ）のラベリングモデルの対応関係は明らかでない。ここでは、２つのラベリングモデルにおける隣接するラベル間の相関関係を比較し、その類似性から２つのラベリングモデルの位置合わせを行う手法により、図８（Ｂ）のラベリングモデルと図８（Ｃ）のラベリングモデルの対応関係は明らかにする手法を説明する。
【００９５】
ラベルは、ラベリングされた面の向きやその重心位置の情報で特徴付けられている。したがって、図８の場合でいうと、ラベル１とラベル２の相関関係、ラベル２とラベル３の相関関係、ラベル３とラベル４の相関関係は、隣接するラベルの相対位置と向きの関係を特定する。したがって、この隣接するラベルの相関関係によって図８（Ｂ）に示すラベリングモデルの形状が特定される。つまり、三次元形状を有する測定対象物のラベリングモデルの三次元構造は、当該ラベリングモデルを構成するラベルにおける隣接するラベル間の相関関係により特定することができる。
【００９６】
これを利用して、図８（Ｂ）と図８（Ｃ）に示す２つのラベリングモデルの位置合わせを行う。この例でいうと、ラベル３とラベル４の組み合わせ（面の向きと面の重心位置の組み合わせ）は、図８（Ｂ）と図８（Ｃ）において共通している。よって、図８（Ｂ）のラベリングモデルと図８（Ｃ）のラベリングモデルの一方または両方を動かし、更に必要であれば、倍率を可変し、共通する相関関係を有するラベル３とラベル４の部分を重ねることで、２つのラベリングモデルの位置合わせが可能となる。この状態が図８（Ｄ）に示されている。
【００９７】
なお、この段階では、デジタルカメラ１２２のキャリブレーションが行われていないので、第２の視点からのデジタルカメラ１２２による撮影に基づく画像には、歪みが含まれており、当該画像から得られる三次元点群位置データの精度は誤差を含んでいる。したがって、図８（Ｃ）のラベリングモデルも図８（Ｂ）のラベリングモデルに比較して誤差が大きく、図８（Ｄ）に示す一致は誤差を含む（なお、レンズ系の歪みは画面の周辺で顕在化するので、この誤差は位置合わせが行われる画面中の位置に依存する）。したがって、予め誤差の閾値を決めておき、それに基づいて図８（Ｄ）に示す一致性が判定される。あるいは、後述（「０１４４」、「０１４６」段落参照）する異なる複数の焦点距離における内部標定要素を予め求めておき、それに基づく近似曲線から任意の焦点距離における内部標定要素を算出する手法を用いれば、ここでのレンズ歪誤差は予め小さくすることができる。
【００９８】
上記のように、図８（Ｃ）に示すラベリングモデルは誤差を含むが、形状的な一致を判定することは充分に可能となる。つまり第１の視点から把握した測定対象物の形状と第２の視点から把握した測定対象物の形状の一致する部分の検出は、図８に示す手法で充分に可能となる。これは三次元的な形状の比較においても同じである。
【００９９】
図８（Ｄ）に示す位置合わせが行われることで、第１の視点から得た三次元点群位置データと第２の視点から得た三次元点群位置データとが重複する部分（この場合は、ラベル３とラベル４の部分）が特定される。そして、レーザースキャナ１２１が得た三次元点群位置データにおける上記重複する部分から特徴点が検出され、その部分が対応点とされる。特徴点の検出は、後述する（１）局所曲率、（２）局所平面へのフィッティング精度、（３）共平面性に基づいて行われる。
【０１００】
なお、比較するラベルの組み合わせは、上記の例のように隣接する２つに限定されず、複数であれば同じ原理が適用できる。また、選択される複数のラベルは離れており、間に他のラベルが存在していてもよい(例えば、図８の場合でいうと、ラベル１とラベル３の選択も可能である)。
【０１０１】
ここでは、ラベルを利用した２つの三次元点群位置データ間の対応点を検出する例を説明したが、三次元点群位置データに基づいて作成される三次元モデル同士を比較し、一致する部分を求める手法も可能である。すなわち、第１の視点から得た三次元点群位置データに基づく第１の三次元モデルと、第２の視点から得た三次元点群位置データに基づく第２の三次元モデルとを比較し、一致する三次元形状の部分を求めることで、第１の視点から得た三次元点群位置データと第２の視点から得た三次元点群位置データとの重複部分を求めることができる。
【０１０２】
三次元点群位置データ処理部１０８に関して後述するように、ラベルに係る情報は、三次元点群位置データに比較してデータ量が圧倒的に少なくできる。このため、図８に示す原理に基づく演算は、三次元点群位置データをそのまま利用してのマッチングを行う場合に比較して、演算速度を飛躍的に高めることができる。ラベルの情報は、測定対象物の三次元形状に係る情報を反映している。したがって、このラベルを利用しての対応関係の特定は、測定対象物の三次元的な形状に係る情報の比較により、２つの画像の対応関係を特定する方法の一つといえる。この方法は、三次元的な形状に係る情報の比較に基づくものなので、三次元的な位置精度が高くできる。また、上述したようにラベルのデータは、三次元点群位置データに比較して、データが飛躍的に小さいので、演算時間の短縮、演算素子やメモリへの負担を軽減できる優位性がある。
【０１０３】
（内部標定要素算出部１０６）
内部標定要素算出部１０６は、デジタルカメラ１２２の内部標定要素を算出する。ここでは、対応関係特定部１０５が特定した対応関係、すなわちレーザースキャナ１２１を用いて得た三次元点群位置データとデジタルカメラ１２２を用いて得た三次元点群位置データとの対応関係に基づき、デジタルカメラ１２２の内部標定要素を算出する。この内部標定要素を求める作業をキャリブレーションという。
【０１０４】
通常のキャリブレーションでは、既知の三次元フィールド（位置が明確な複数の三次元位置に配置されたターゲット）の撮影画像に基づいて、カメラの内部標定要素を算出する。本実施形態では、上記の三次元フィールドの代わりにレーザースキャナ１２１が取得した測定対象物の三次元点群位置データを利用する。まず、レーザースキャナ１２１が得た三次元点群位置データは、各測定点の三次元座標を持っている。他方で、レーザースキャナ１２１が得た三次元点群位置データとデジタルカメラ１２２の撮影画像に基づく三次元点群位置データとの対応関係が、対応関係特定部１０５によって特定される。これにより、デジタルカメラ１２２の撮影画像中の特定の点の三次元座標が特定できる。これを利用し、この特定の点を既知のターゲットとしてキャリブレーションを行うことで、デジタルカメラ１２２の内部標定要素を算出する。
【０１０５】
つまり、デジタルカメラ１２２が撮影した画像中のある点（通常は画像的に特徴となる特徴点）の三次元座標が上記の対応関係から、レーザースキャナ１２１が取得した三次元点群位置データに基づいて明らかになる。ここで、デジタルカメラ１２２が撮影した画像中における三次元座標が明らかになった点をターゲット（基準点）として内部標定要素を求める処理（キャリブレーション）を行い、画像を補正するための関数や補正係数を算出する。この関数や補正係数は、画面を格子状に区切った各格子点において求められる。
【０１０６】
以下、内部標定要素算出部１０６で行われる内部標定要素の算出方法の一例について説明する。まず、写真画像中のある点の写真座標（ｘ、ｙ）を考える。ここで、この写真座標（ｘ、ｙ）は、光学系の歪み等に起因する誤差を含んでおり、それを補正する補正項がΔｘ、Δｙであるとする。ここで、レンズの放射方向と接線方向の歪曲収差を考慮した補正モデルを適用すると、ΔｘおよびΔｙは、下記の数１８の多項式によって表される。ここで、Ｋ１〜Ｋ２、Ｐ１〜Ｐ２が内部標定要素を反映したパラメータとなる。
【０１０７】
【数１８】
【０１０８】
ここで、撮影写真中のターゲットの三次元座標が判っているので、数多くのターゲットに着目した場合の上記多項式に基づき、未知のパラメータＫ１〜Ｋ２、Ｐ１〜Ｐ２が求まる。これにより、デジタルカメラ１２２が撮影した画像の修正が可能となる。
【０１０９】
（画像修正部１０７）
画像修正部１０７は、内部標定要素算出部１０６が算出した内部標定要素に基づき、デジタルカメラ１２２が撮影した画像の補正を行う。この補正は、対象となる画像を格子状に区切った格子点において行われ、デジタルカメラ１２２の光学系に起因して生じた撮影画像の歪みが解消（あるいは低減）される。具体的には、座標算出部１０４が算出した座標値に対して、デジタルカメラ１２２内部の内部標定要素に基づき、その値を補正する処理を行う。これにより、例えばレンズ系の歪みに起因する撮影対象物の三次元座標データのズレが補正され、ステレオ法に基づいて算出した測定対象物の三次元点群位置データの精度を高めることができる。
【０１１０】
（三次元点群位置データ処理部１０８）
三次元点群位置データ処理部１０８は、非面領域の算出、非面領域の除去、ラベリング処理、輪郭線等の特徴部分の算出、輪郭線により構成される三次元モデルの作成、およびこれらに関連した演算を行う。三次元モデルというのは、測定対象物の輪郭線を線図として表現した測定対象物の三次元構造を視覚化した画像である。輪郭線というのは、測定対象物の外観を視覚的に把握するために必要な、当該測定対象物の外形を形作っている線(outline)のことである。具体的には、折れ曲がった部分や急激に曲率が小さくなっている部分が輪郭線となる。輪郭線は、外側の輪郭の部分のみが対象となるとは限らず、凸状に飛び出している部分を特徴付ける縁の部分や、凹状に引っ込んでいる部分（例えば、溝構造の部分）を特徴づける縁の部分も対象となる。輪郭線により所謂線図が得られ、対象物の外観が把握し易い画像表示を行うことができる。なお、三次元モデルには、上述した線の情報だけではなく、測定対象物の外観を視覚的に把握する際の特徴部分となる点の情報も含まれる。
【０１１１】
以下、図１の三次元点群位置データ処理部１０８の詳細について説明する。図２には、三次元点群位置データ処理部１０８のブロック図が示されている。三次元点群位置データ処理部１０８は、非面領域算出部２０１、非面領域除去部２０２、面ラベリング部２０３、輪郭線算出部２０４を備えている。以下、これら各機能部について説明する。非面領域算出部２０１は、局所領域を取得する局所領域取得部２０１ａ、局所領域の法線ベクトルを算出する法線ベクトル算出部２０１ｂ、局所領域の局所曲率を算出する局所曲率算出部２０１ｃ、局所領域にフィッティングする局所平面を算出する局所平面算出部２０１ｄを備えている。
【０１１２】
局所領域取得部２０１ａは、三次元点群位置データに基づき、注目点を中心とした一辺が３〜７画素程度の正方領域（格子状の領域）を局所領域として取得する。法線ベクトル算出部２０１ｂは、局所領域取得部２０１ａが取得した上記の局所領域における各点の法線ベクトルの算出を行う。この法線ベクトルを算出する処理では、局所領域における三次元点群位置データに着目し、各点の法線ベクトルを算出する。この処理は、全ての三次元点群位置データを対象として行われる。すなわち、三次元点群位置データが無数の局所領域に区分けされ、各局所領域において各点の法線ベクトルの算出が行われる。
【０１１３】
局所曲率算出部２０１ｃは、上述した局所領域内の法線ベクトルのバラツキ（局所曲率）を算出する。ここでは、着目している局所領域において、各法線ベクトルの３軸成分の強度値（NVx, NVy, NVz）の平均（mNVx,mNVy,mNVz）を求め、さらに標準偏差（StdNVx,StdNVy,StdNVz）を求める。次に、標準偏差の二乗和の平方根を局所曲率（Local Curveture:crv）として算出する（数１９）。
【０１１４】
【数１９】
【０１１５】
局所平面算出部２０１ｄは、局所領域にフィッティング（近似）する局所平面を求める。この処理では、着目している局所領域の各点の三次元座標から局所平面の方程式を求める。局所平面は、着目している局所領域にフィッティングさせた平面である。ここでは、最小二乗法を用いて、当該局所領域にフィッティングする局所平面の面の方程式を算出する。具体的には、複数の異なる平面方程式を求め、更にそれらを比較し、当該局所領域にフィッティングする局所平面の面の方程式を算出する。仮に、着目している局所領域が平面であれば、局所平面と局所領域とは一致する。以上の処理を、局所領域を順次ずらしながら、全ての三次元点群位置データが対象となるように繰り返し行い、各局所領域における法線ベクトル、局所平面、局所曲率を得る。
【０１１６】
非面領域除去部２０２は、上で求めた各局所領域における法線ベクトル、局所平面、局所曲率に基づいて、非面領域の点を除去する処理を行う。すなわち、面（平面および曲面）を抽出するために、予め面でないと判断できる部分（非面領域）を除去する。なお、非面領域とは、平面でも曲面でもない領域であるが、下記の（１）〜（３）の閾値によっては曲率の高い曲面を含む場合がある。
【０１１７】
非面領域除去部２０２は、三次元点群位置データ取得部１０１が取得した三次元点群位置データの中から、算出した非面領域の三次元点群位置データを除去する。非面領域除去の処理は、以下に示す３つの方法のうち、少なくとも一つを用いて行うことができる。ここでは、下記の（１）〜（３）の方法による判定を上述した局所領域の全てに対して行い、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、抽出された非面領域を構成する点に係る三次元点群位置データを除去する。
【０１１８】
（１）局所曲率の高い部分：上述した局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面（平面および曲率の小さい曲面）ではその値が小さく、面以外（非面）ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。
【０１１９】
（２）局所平面へのフィッティング精度：局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。
【０１２０】
（３）共平面性のチェック：ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる２つの局所領域のそれぞれにフィッティングする２つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が０であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、２つの局所平面が同一面上にない程度がより顕著であると判定される。
【０１２１】
上記の（１）〜（３）の方法による判定において、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、この抽出された局所領域を構成する点に係る三次元点群位置データを算出対象としている三次元点群位置データから除去する。以上のようにして、非面領域の除去が行われる。なお、除去された三次元点群位置データは、後の処理で利用する可能性があるので、適当な記憶領域に格納するなり、除去されなかった三次元点群位置データと識別できる状態とするなどして、後で利用できる状態にしておく。
【０１２２】
次に面ラベリング部２０３の機能について説明する。面ラベリング部２０３は、非面領域の三次元点群位置データが除去された三次元点群位置データに対して、法線ベクトルの連続性に基づいて面ラベリングを行う。具体的には、特定の注目点と隣接点の法線ベクトルの角度差が予め決めた閾値以下なら、それらの点に同一ラベルを貼る。この作業を繰り返すことで、連続する平面、連続する緩やかな曲面に同一ラベルが貼られ、それらを一つの面として識別可能となる。また、面ラベリングの後、法線ベクトルの角度差や法線ベクトルの３軸成分の標準偏差を用いて、ラベル（面）が平面であるか、または曲率の小さい曲面であるかを判定し、その旨を識別する識別データを各ラベルに関連付ける。
【０１２３】
続いて、面積の小さいラベル（面）をノイズとして除去する。なお、このノイズ除去は、面ラベリングの処理と同時に行ってもよい。この場合、面ラベリングを行いながら、同一ラベルの点数（ラベルを構成する点の数）を数え、所定以下の点の数であるラベルを取り消す処理を行う。次に、この時点でラベルが無い点に対して、最近傍面（最も近い面）と同一のラベルを付与していく。これにより、既にラベリングされた面の拡張を行う。
【０１２４】
すなわち、ラベルの付いた面の方程式を求め、当該面とラベルが無い点との距離を求める。ラベルが無い点の周辺に複数のラベル（面）がある場合には、その距離が最も短いラベルを選択する。そして、依然としてラベルが無い点が残存している場合には、非面領域除去、ノイズ除去、およびラベル拡張における各閾値を変更し、再度関連する処理を行う。例えば、非面領域除去において、局所曲率の閾値を上げることで、非面として抽出する点の数が少なくなるようにする。または、ラベル拡張において、ラベルの無い点と最近傍面との距離の閾値を上げることで、ラベルの無い点に対してより多くのラベルを付与するようにする。
【０１２５】
次に、ラベルが異なる面であっても同一面である場合にラベルを統合する。この場合、連続しない面であっても、位置または向きが等しい面同士に同じラベルを付ける。具体的には、各面の法線ベクトルの位置および向きを比較することで、連続しない同一面を抽出し、いずれかの面のラベルに統一する。以上が面ラベリング部２０３の機能である。
【０１２６】
この面ラベリング部２０３の機能によれば、扱うデータ量を圧縮できるので、三次元点群位置データの処理を高速化できる。また必要なメモリ量を節約できる。また、測定中に紛れ込んだ通行人や通過した車両の三次元点群位置データをノイズとして除去することができる。
【０１２７】
輪郭線算出部２０４は、隣接する面の三次元点群位置データに基づき、輪郭線を算出（推定）する。以下、具体的な算出方法について説明する。輪郭線算出部２０４は、間に非面領域を挟む隣接する面同士の交線を求め、それを輪郭線とする処理を行う。この際、隣接する面の間の非面領域に局所平面をフィッティングさせ、この局所平面を複数繋ぐことで、非面領域を複数の局所平面によって近似する方法を採用することもできる。これは、複数の局所平面により構成される多面体で非面領域を近似したものと捉えることができる。この場合、隣接する面から局所平面をつないでゆき、最後に隣接した局所平面同士の交線を輪郭線として算出する。輪郭線が算出されることで、測定対象物の輪郭の画像が明確となる。
【０１２８】
次に、二次元エッジ算出部２０５について説明する。以下、二次元エッジ算出部２０５で行われる処理の一例を説明する。まず、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化（区分け）された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、二次元エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ（ｚ値）と、その近傍の輪郭線（三次元エッジ）を構成する点の三次元座標の高さ（ｚ値）とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。
【０１２９】
二次元エッジの算出後、輪郭線算出部２０４が算出した輪郭線と二次元エッジ算出部２０５が算出した二次元エッジとを統合する。この処理はエッジ統合部２０６において行われる。これにより、三次元点群位置データに基づくエッジの抽出が行われる。このエッジの抽出により、測定対象物を視認する際における測定対象物の外観を構成する線（輪郭線）が抽出される。そして得られたエッジの情報に基づいて、三次元モデル形成部２０７において、測定対象物の三次元モデル（線図の画像）の形成を行う。以下、三次元モデルの具体的な一例を説明する。例えば、測定対象物として建物を選択し、この建物の三次元点群位置データに基づいて、三次元モデルを得た場合を説明する。この場合、当該建物の外観、外壁の模様、窓枠等の輪郭を線図で表した三次元モデルが得られる。
【０１３０】
（動作例）
図１の光学情報処理装置１００の具体的な動作の一例を説明する。図９は、処理の手順の一例を示すフローチャートである。図１０には、ここで説明する処理が行われる状況が概念的に示されている。図１０には、測定対象物となる建物１２０、建物１２０の手前に駐車している乗用車１２１、レーザースキャナ１２２、パーソナルコンピュータ１２３、ステレオペア画像撮影装置１２４が示されている。
【０１３１】
レーザースキャナ１２２は、図１のレーザースキャナ１２１に相当し、測定対象物である建物１２０の三次元点群位置データを取得する。ここで、レーザースキャナ１２２は、第１の視点に配置されている。パーソナルコンピュータ１２３は、図１の光学情報処理装置１００の機能を備え、レーザースキャナ１２２およびステレオペア画像撮影装置１２４の２台のデジタルカメラに接続され、レーザースキャナ１２２からの三次元点群位置データおよび２台のデジタルカメラ１２５、１２６からの画像データが入力される。ステレオペア画像撮影装置１２４は、図１のデジタルカメラに相当し、専用の架台１２７上に距離を離して２台のデジタルカメラ１２５、１２６が配置された構造を有し、この２台のデジタルカメラを用いて、測定対象物である建物１２０を撮影し、そのステレオペア画像の画像データを取得する。ここで、ステレオペア画像撮影装置１２４は、レーザースキャナ１２２が設置された第１の視点とは異なる第２の視点に配置されている。
【０１３２】
図１０には、第１の視点から見た場合に、測定対象物である建物１２０の一部が手前に駐車している乗用車１２１の影となりオクルージョンが発生する状態が示されている。したがって、第１の視点においてレーザースキャナ１２２が得る建物１２０の三次元点群位置データには、上記オクルージョンに起因する欠損がある。この例では、このオクルージョンを解消する位置として第２の視点が選択された場合が示されている。
【０１３３】
以下、図９を参照して処理の手順の一例を説明する。処理が開始されると（ステップＳ９０１）、まず第１の視点にレーザースキャナ１２２が配置され、そこからレーザー光を用いての建物１２０の三次元点群位置データ（第１の三次元点群位置データ）の取得が行われる（ステップＳ９０２）。次いで、ステップＳ９０２で取得した建物１２０の三次元点群位置データが、パーソナルコンピュータ１２３に送られ、図１および図２に示す三次元点群位置データ処理部１０８で処理される（ステップＳ９０３）。この処理では、建物１２０の三次元モデルおよびその処理過程で得た中間データ（非面領域に係るデータやラベルのデータ）が取得される。
【０１３４】
ステップＳ９０３の後、図１０の第２の視点にステレオペア画像撮影装置１２４を設置し、第２の視点から建物１２０のステレオペア画像の撮影を行う（ステップＳ９０４）。ここで撮影されたステレオペア画像の画像データは、パーソナルコンピュータ１２３に送られる。このステレオペア画像の画像データを受け取ったパーソナルコンピュータ１２３は、当該ステレオペア画像に基づいて建物１２０の三次元点群位置データ（第２の三次元点群位置データ）の算出を行う（ステップＳ９０５）。この処理は、図１の座標算出部１０４において行われる。
【０１３５】
次いで、第１の視点においてレーザースキャナ１２２によって得た第１の三次元点群位置データと、第２の視点においてステレオペア画像撮影装置１２４が撮影したステレオペア画像に基づいて得た第２の三次元点群位置データ間における対応点の指定（ステップＳ９０６）、およびこの指定された対応点に基づく両三次元点群位置データ間の対応関係の算出が行われる（ステップＳ９０７）。これらの処理は、図１の対応関係特定部１０３において行われる。
【０１３６】
２つの三次元点群位置データの対応関係の特定を行った後、第１の視点においてレーザースキャナ１２２が取得した三次元点群位置データ（第１の三次元点群位置データ）から選ばれた画像的の特徴部分となる点をターゲット(基準点)としたキャリブレーションを行い、デジタルカメラ１２５，１２６の内部標定要素の算出を行う（ステップＳ９０８）。この処理は、図１の内部標定要素算出部１０６において行われる。
【０１３７】
次に、算出した内部標定要素に基づき、第２の視点において、ステレオペア画像撮影装置１２４が撮影したステレオペア画像の修正を行う（ステップＳ９０９）。この処理は、図１の画像修正部１０７で行われる。
【０１３８】
次に、ステップＳ９０９で修正されたステレオペア画像に基づき、測定対象物である建物１２０の三次元点群位置データ（第２の三次元点群位置データ）の再算出を行う（ステップＳ９１０）。この処理は、図１の座標算出部１０４で行われる。この処理では、レンズの収差等に起因する像の歪みの影響が、ステップＳ９０９において修正されているので、レンズの収差等に起因する誤差が低減あるいは解消された三次元点群位置データが算出される。
【０１３９】
次いで、ステップＳ９０２で取得した第１の三次元点群位置データと、ステップＳ９１０で再度算出された第２の三次元点群位置データとの対応関係を再度算出する（ステップＳ９１１）。この処理は、図１の対応関係特定部１０５において行われる。この際、第２の三次元点群位置データの精度がステップＳ９１０の処理により、ステップＳ９０７の時点におけるものより向上しているので、より精度の高い対応関係が得られる。
【０１４０】
次いで、ステップＳ９１１で得た対応関係に基づいて、図１０の第１の視点においてレーザースキャナ１２２を用いて取得した建物１２０の三次元点群位置データ（ステップＳ９０２で得た第１の三次元点群位置データ）と、第２の視点においてステレオペア画像撮影装置１２４が撮影した建物１２０のステレオペア画像に基づいて得た建物１２０の三次元点群位置データ（ステップＳ９１０で得た三次元点群位置データ）とを統合し、この統合されたた三次元点群位置データに基づいて、建物１２０の三次元モデルを作成する。この三次元モデルは、第１の視点からは乗用車によってオクルージョンとなる部分の三次元点群位置データが第２の視点から得たステレオペア画像に基づく三次元点群位置データによって補完されるので、乗用車１２１に起因するオクルージョンが解消されたものとなる。尚、第２の視点を得る装置として、ステレオペア画像撮影装置１２４を利用した説明を行ってきたが、１台のデジタルカメラにて２枚以上の画像を撮影しておこなってもよい。
【０１４１】
以上述べた処理では、第１の視点から建物１２０のレーザースキャンを行い、三次元点群位置データを得る。他方で、第２の視点から第１の視点でオクルージョンとなる建物１２０の部分を含むステレオペア画像の撮影を行う。そして、第２の視点で得たステレオ画像と第１の視点で得た三次元点群位置データとの対応関係を求めることで、当該三次元点群位置データを利用してのステレオペア画像撮影装置１２４のキャリブレーションを行なう。
【０１４２】
この処理によれば、オクルージョンを解消するために、再度の三次元点群位置データの取得を行わないので、再度の点群位置データの取得に要する労力が生じない。また、第２の視点においてデジタルカメラ１２５、１２６のキャリブレーションが行なえるので、第２の視点が自由に選択できる。また、第２の視点におけるキャリブレーションは、第１の視点においてレーザースキャナ１２２によって既に取得されている三次元点群位置データに基づいて行われるので、キャリブレーションに必要なターゲットの設定や距離の設定といった煩雑な作業が必要とされない。
【０１４３】
（その他）
図１０の第２の視点において、建物１２０を部分的に重複するように複数に分割してステレオペア画像の撮影を行ない、更に得られた複数組のステレオペア画像のそれぞれに対してステップＳ９０４〜ステップＳ９０８を行なう方法もある。この方法によれば繰り返しの計算により算出結果の精度を高めることができる。
【０１４４】
固定焦点におけるカメラの内部標定要素を取得する方法を更に発展させた方法として、異なる複数の焦点距離における内部標定要素を予め求め、それに基づく当該カメラの焦点距離と内部標定要素との関係を示す近似曲線を利用することで、任意の焦点距離における内部標定要素を算出する手法がある。この手法では、上記の近似曲線のデータを焦点距離情報として当該カメラ内部の記憶部や適当な記憶媒体に記憶しておき、この焦点距離情報と撮影条件における対象物までの距離に基づいて内部標定要素の算出が行なわれる。この場合、推定値あるいは近似値ではあるが撮影条件における内部標定要素を得ることができる。この手法に本発明を利用したキャリブレーションを組み合わせることができる。
【０１４５】
すなわち、上述した焦点距離に応じた内部標定要素を近似曲線から算出する方法は、誤差を含んでいるが、正確な値からある程度の範囲の精度が得られる。そこで、ステップＳ９０８でおこなわれる内部標定要素の算出において、上記の近似曲線から得られる内部標定用要素の値を基準値として用いることで、演算をより効率化することができる。例えば、ステップＳ９０８で行なわれる計算では、近似計算や繰り返し計算を行なうことで解を収束させてゆく作業が必要となるが、この際に目安となる値が予め分かっていると、その目安となる値の近くに解が存在する（あるいは収束する）ことを前提として計算を行なえるので、上記の目安がない場合に比較して、計算の手間がより省力化される場合がある。計算が省力化されることで、パーソナルコンピュータ１２３の演算時間が短縮される。また解の大体の値が予め分かることで、解が収束せずエラーとなるような不都合を避けることができる。焦点距離に応じた内部標定要素を近似曲線から得る形態としては、ズームレンズやオートフォーカスレンズを使用した場合に、あらかじめカメラファイルにその概略焦点距離を記録しておく形態が挙げられる。
【０１４６】
また、ステップＳ９０４において撮影したステレオペア画像を画像修正部１０７において上記近似曲線を利用することで修正し、その精度を高めておく手法も有効である。この場合、ステップＳ９０４で得るステレオペア画像の精度を高くできるので、ステップＳ９０４で得たステレオペア画像に基づくステップＳ９０５での第２の三次元点群位置データの算出を予め誤差の少ないものにできる。このようにすることで、計算の手間がより省力化され、精度のよい結果が得られやすくなる。
【０１４７】
２．第２の実施形態
以下、三次元点群位置データを処理する機能を有する三次元レーザースキャナについて説明する。この例において、三次元レーザースキャナは、測定対象物に対して測距光（レーザー光）を走査しつつ照射し、レーザー光の飛行時間に基づいて自身の位置から測定対象物上の多数の測定点までの距離を測距する。また、この三次元レーザースキャナは、レーザー光の照射方向（水平角および高低角）を検出し、距離および照射方向に基づいて測定点の三次元座標を算出する。また、この三次元レーザースキャナは、測定対象物を撮影した二次元画像（各測定点におけるＲＧＢ強度）を取得し、二次元画像と三次元座標とを結び付けた三次元点群位置データを形成する。さらに、ここで示す三次元レーザースキャナは、図１に関連して説明した光学情報処理装置１００の処理を行う機能を有している。
【０１４８】
（構成）
図１１および図１２は、三次元レーザースキャナ１の構成を示す断面図である。三次元レーザースキャナ１は、整準部２２、回転機構部２３、本体部２７、および回転照射部２８を備えている。本体部２７は、測距部２４、撮影部２５、制御部２６等から構成されている。なお、図１１は、説明の便宜のため、図１２に示す断面方向に対して、回転照射部２８のみ側方から見た状態を示している。
【０１４９】
整準部２２は、台盤２９を有し、回転機構部２３は下部ケーシング３０を有する。下部ケーシング３０は、ピン３１と２個の調整ネジ３２とにより３点で台盤２９に支持されている。下部ケーシング３０は、ピン３１の先端を支点にして傾動する。なお、台盤２９と下部ケーシング３０との間には、台盤２９と下部ケーシング３０とが互いに離反しないようにするため、引っ張りスプリング３３が設けられている。
【０１５０】
下部ケーシング３０の内部には、２個の整準モータ３４が設けられている。２個の整準モータ３４は、制御部２６によって互いに独立して駆動される。整準モータ３４の駆動により整準駆動ギア３５、整準従動ギア３６を介して調整ネジ３２が回転し、調整ネジ３２の下方への突出量が調整される。また、下部ケーシング３０の内部には傾斜センサ３７（図１３参照）が設けられている。２個の整準モータ３４は、傾斜センサ３７の検出信号により駆動され、これにより整準が実行される。
【０１５１】
回転機構部２３は、下部ケーシング３０の内部に水平角用駆動モータ３８を有する。水平角用駆動モータ３８の出力軸には水平回動駆動ギア３９が嵌着されている。水平回動駆動ギア３９は、水平回動ギア４０に噛合されている。水平回動ギア４０は、回転軸部４１に設けられている。回転軸部４１は、回転基盤４２の中央部に設けられている。回転基盤４２は、下部ケーシング３０の上部に、軸受け部材４３を介して設けられている。
【０１５２】
また、回転軸部４１には水平角検出器４４として、例えばエンコーダが設けられている。水平角検出器４４は、下部ケーシング３０に対する回転軸部４１の相対的回転角（水平角）を検出する。水平角は制御部２６に入力され、制御部２６は、その検出結果に基づき水平角用駆動モータ３８を制御する。
【０１５３】
本体部２７は、本体部ケーシング４５を有する。本体部ケーシング４５は、回転基盤４２に固着されている。本体部ケーシング４５の内部には鏡筒４６が設けられている。鏡筒４６は、本体部ケーシング４５の回転中心と同心の回転中心を有する。鏡筒４６の回転中心は、光軸４７に合致されている。鏡筒４６の内部には、光束分離手段としてのビームスプリッタ４８が設けられている。ビームスプリッタ４８は、可視光を透過し、かつ、赤外光を反射する機能を有する。光軸４７は、ビームスプリッタ４８によって光軸４９と光軸５０とに分離される。
【０１５４】
測距部２４は、鏡筒４６の外周部に設けられている。測距部２４は、発光部としてのパルスレーザ光源５１を有する。パルスレーザ光源５１とビームスプリッタ４８との間には、穴あきミラー５２、レーザー光のビームウエスト径を変更するビームウエスト変更光学系５３が配設されている。測距光源部は、パルスレーザ光源５１、ビームウエスト変更光学系５３、穴あきミラー５２で構成されている。穴あきミラー５２は、パルスレーザ光を穴部５２ａからビームスプリッタ４８に導き、測定対象物から反射して戻って来た反射レーザー光を測距受光部５４に向けて反射する役割を有する。
【０１５５】
パルスレーザ光源５１は、制御部２６の制御により所定のタイミングで赤外パルスレーザ光を発する。赤外パルスレーザ光は、ビームスプリッタ４８によって高低角用回動ミラー５５に向けて反射される。高低角用回動ミラー５５は、赤外パルスレーザ光を測定対象物に向けて反射する。高低角用回動ミラー５５は、高低角方向に回転することで、鉛直方向に延びる光軸４７を高低角方向の投光光軸５６に変換する。ビームスプリッタ４８と高低角用回動ミラー５５との間でかつ鏡筒４６の内部には集光レンズ５７が配設されている。
【０１５６】
測定対象物からの反射レーザー光は、高低角回動用ミラー５５、集光レンズ５７、ビームスプリッタ４８、穴あきミラー５２を経て測距受光部５４に導かれる。また、測距受光部５４には、内部参照光路を通って参照光も導かれる。反射レーザー光が測距受光部５４で受光されるまでの時間と、レーザー光が内部参照光路を通って測距受光部５４で受光されるまでの時間との差に基づき、光学情報処理装置１から測定対象物（測定対象点）までの距離が測定される。測距受光部５４は、ＣＭＯＳ光センサ等の光電変化素子により構成され、検出した光のＲＧＢ強度を検出する機能も有している。
【０１５７】
撮影部２５は、画像受光部５８を備え、カメラとして機能する。画像受光部５８は、鏡筒４６の底部に設けられている。画像受光部５８は、多数の画素が平面状に集合して配列されたもの、例えば、ＣＣＤ（Charge Coupled Device）で構成されている。画像受光部５８の各画素の位置は光軸５０によって特定される。例えば、光軸５０を原点として、Ｘ−Ｙ座標を想定し、このＸ−Ｙ座標の点として画素が定義される。
【０１５８】
回転照射部２８は、投光ケーシング５９の内部に収納されている。投光ケーシング５９の周壁の一部は、投光窓となっている。図１２に示すように、鏡筒４６のフランジ部６０には、一対のミラーホルダー板６１が対向して設けられている。ミラーホルダー板６１には、回動軸６２が掛け渡されている。高低角用回動ミラー５５は、回動軸６２に固定されている。回動軸６２の一端部には高低角ギア６３が嵌着されている。回動軸６２の他端側には高低角検出器６４が設けられている。高低角検出器６４は、高低角用回動ミラー５５の回動角を検出し、その検出結果を制御部２６に出力する。
【０１５９】
ミラーホルダー板６１の一方には、高低角用駆動モータ６５が取り付けられている。高低角用駆動モータ６５の出力軸には駆動ギア６６が嵌着されている。駆動ギア６６は、回転軸６２に取り付けられた高低角ギア６３に噛合されている。高低角用駆動モータ６５は、高低角検出器６４の検出結果に基づき、制御部２６の制御により適宜駆動される。
【０１６０】
投光ケーシング５９の上部には、照星照門６７が設けられている。照星照門６７は、測定対象物を概略視準するのに用いられる。照星照門６７を用いた視準方向は、投光光軸５６の延びる方向、および回動軸６２の延びる方向に対して直交する方向とされている。また、図１２に示すように、投光ケーシング５９の上部には、ＧＰＳアンテナ８１が配置されている。ＧＰＳアンテナにより、ＧＰＳ情報が取得され、内部で行われる演算にＧＰＳ情報を利用することができる構成とされている。
【０１６１】
図１３は、制御部のブロック図である。制御部２６には、水平角検出器４４、高低角検出器６４、傾斜センサ３７、ＧＰＳアンテナ８１からの検出信号が入力される。また、制御部２６は、操作部６から操作指示信号が入力される。制御部２６は、水平角用駆動モータ３８、高低角用駆動モータ６５、整準モータ３４を駆動制御する共に、作業状況、測定結果等を表示する表示部７を制御する。制御部２６には、メモリカード、ＨＤＤ等の外部記憶装置６８が着脱可能とされている。
【０１６２】
制御部２６は、演算部４、記憶部５、水平駆動部６９、高低駆動部７０、整準駆動部７１、距離データ処理部７２、画像データ処理部７３等から構成されている。記憶部５は、測距や高低角と水平角の検出を行うために必要なシーケンスプログラム、演算プログラム、測定データの処理を実行する測定データ処理プログラム、画像処理を行う画像処理プログラム、三次元点群位置データから面を抽出し、更に輪郭線を算出するプログラム、この算出した輪郭線を表示部７に表示させるための画像表示プログラム、三次元点群位置データの再取得に係る処理を制御するプログラム等の各種のプログラムを格納すると共に、これらの各種のプログラムを統合管理するための統合管理プログラム等を格納する。また、記憶部５は、測定データ、画像データ等の各種のデータを格納する。水平駆動部６９は、水平角用駆動モータ３８を駆動制御し、高低駆動部７０は、高低角用駆動モータ６５を駆動制御し、整準駆動部７１は、整準モータ３４を駆動制御する。距離データ処理部７２は、測距部２４によって得られた距離データを処理し、画像データ処理部７３は、撮影部２５により得られた画像データを処理する。
【０１６３】
また、制御部２６は、ＧＰＳ受信部８２を備えている。ＧＰＳ受信部８２は、ＧＰＳアンテナが受信したＧＰＳ衛星からの信号を処理し、地球上における座標データを算出する。これは、通常のＧＰＳ受信装置と同じである。ＧＰＳから得られた位置情報は、光学情報処理部１００’に入力される。
【０１６４】
図１４は、演算部４のブロック図である。演算部４は、三次元座標演算部７４、リンク形成部７５、グリッド形成部９、光学情報処理部１００’を備えている。三次元座標演算部７４には、距離データ処理部７２から測定対象点の距離データが入力され、水平角検出器４４および高低角検出器６４から測定対象点の方向データ（水平角および高低角）が入力される。三次元座標演算部７４は、入力された距離データと方向データとに基づき、光学情報処理装置１の位置を原点（０，０，０）とした各測定点の三次元座標（直交座標）を算出する。
【０１６５】
リンク形成部７５には、画像データ処理部７３から画像データおよび三次元座標演算部７４が算出した各測定点の三次元座標の座標データが入力される。リンク形成部７５は、画像データ（各測定点のＲＧＢ強度）と三次元座標を結び付けた三次元点群位置データ２を形成する。つまり、リンク形成部７５は、測定対象物のある点に着目した場合、その着目点の二次元画像中における位置と、その着目点の三次元座標とを関連付けしたものを作成する。この関連付けされたデータは、全ての測定点について算出され、それらが三次元点群位置データ２となる。
【０１６６】
リンク形成部７５は、以上の三次元点群位置データ２をグリッド形成部９に出力する。グリッド形成部９は、三次元点群位置データ２の隣接点の点間距離が一定でない場合に、等間隔のグリッド（メッシュ）を形成し、グリッドの交点に最も近い点を登録する。または、グリッド形成部９は、線形補間法やバイキュービック法を用いて、グリッドの交点位置に全点を補正する。なお、三次元点群位置データ２の点間距離が一定である場合には、グリッド形成部９の処理を省略することができる。
【０１６７】
以下、グリッドの形成手順について説明する。図１５は、点間距離が一定でない三次元点群位置データを示す概念図であり、図１６は、形成したグリッドを示す概念図である。図１６に示すように、各列の平均水平間隔Ｈ1〜Ｎを求め、さらに列間の平均水平間隔の差分ΔＨｉ，ｊを算出し、その平均をグリッドの水平間隔ΔＨとする（数２０）。垂直方向の間隔は、各列での垂直方向の隣接点との距離ΔＶＮ，Ｈを算出し、画像サイズＷ,Ｈの画像全体におけるΔＶＮ，Ｈの平均を垂直間隔ΔＶとする（数２１）。そして、図１６に示すように、算出した水平間隔ΔＨおよび垂直間隔ΔＶのグリッドを形成する。
【０１６８】
【数２０】
【０１６９】
【数２１】
【０１７０】
次に、形成したグリッドの交点に最も近い点を登録する。この際、交点から各点までの距離には所定の閾値を設けて、登録を制限する。例えば、閾値は、水平間隔ΔＨおよび垂直間隔ΔＶの１／２とする。なお、線形補間法やバイキュービック法のように、交点との距離に応じた重みを付けて全点を補正してもよい。ただし、補間を行った場合には、本来計測していない点となる。
【０１７１】
以上のようにして得られた三次元点群位置データは、光学情報処理部１００’に出力される。光学情報処理部１００’は、第１の実施形態で説明した光学情報処理装置１００と同様の動作を行う。また、その動作においてユーザに提示される画像の表示が液晶ディスプレイである表示部７に表示される。光学情報処理部１００’は、図１の光学情報処理装置１００と同様の機能を有するハードウェアであり、ＦＰＧＡを利用した専用の集積回路により構成されている。
【０１７２】
光学情報処理部１００’には、ＧＰＳ受信部８２から得られた地球上における座標データが入力される。この構成によれば、光学情報処理部１００’で取り扱われる座標がＧＰＳから得られた位置データ（例えば、電子地図情報）とリンクされる。これにより、例えば、三次元レーザースキャナ１の設置位置を電子地図上に画面表示することができる。
【０１７３】
（その他）
制御部２６の構成において、グリッド形成部９から三次元点群位置データが外部に出力される形態とすると、図１１、図１２に示す装置は、第１の実施形態で示したパーソナルコンピュータを利用した光学情報処理装置と組み合わせて使用可能な三次元レーザースキャナとなる。また、光学情報処理部１００’が行う処理を分散して行う構成も可能である。例えば、光学情報処理部１００’の機能の一部を通信回線で結ばれたサーバで行うような構成も可能である。これは、図１の光学情報処理装置１００の場合も同じである。これらの構成は、本発明の光学情報処理システムの一例として把握される。
【０１７４】
画像を取得する方法として、ＣＣＤカメラ等を用いた撮影による方法が一般的であるが、点群データに基づいて測定対象物の画像を再現することもできる。レーザースキャナにより三次元点群位置データを得た場合、各点からの反射光の光強度に係るデータが得られる。したがって、三次元点群位置データを対象物の画像を構成する画素データとして取り扱うことで、三次元点群位置データに基づいて測定対象物の画像を再現することができる。つまり、ＣＣＤやＣＭＯＳイメージセンサ等の撮影手段の代わりに、レーザースキャナを用いて測定対象物の画像を得ることができる。この場合、図１の画像受付け部１０２は、レーザースキャナ１２１から出力される三次元点群位置データに基づき、上述した原理により画像データを取得する。
【産業上の利用可能性】
【０１７５】
本発明は、三次元情報の測定を行う技術に利用することができる。
【符号の説明】
【０１７６】
１…三次元レーザースキャナ、２…三次元点群位置データ、２２…整準部、２３…回転機構部、２４…測距部、２５…撮影部、２６…制御部、２７…本体部、２８…回転照射部、２９…台盤、３０…下部ケーシング、３１…ピン、３２…調整ネジ、３３…引っ張りスプリング、３４…整準モータ、３５…整準駆動ギア、３６…整準従動ギア、３７…傾斜センサ、３８…水平回動モータ、３９…水平回動駆動ギア、４０…水平回動ギア、４１…回転軸部、４２…回転基盤、４３…軸受部材、４４…水平角検出器、４５…本体部ケーシング、４６…鏡筒、４７…光軸、４８…ビームスプリッタ、４９、５０…光軸、５１…パルスレーザ光源、５２…穴あきミラー、５３…ビームウエスト変更光学系、５４…測距受光部、５５…高低角用回動ミラー、５６…投光光軸、５７…集光レンズ、５８…画像受光部、５９…投光ケーシング、６０…フランジ部、６１…ミラーホルダー板、６２…回動軸、６３…高低角ギア、６４…高低角検出器、６５…高低角用駆動モータ、６６…駆動ギア、６７…照星照門、６８…外部記憶装置、６９…水平駆動部、７０…高低駆動部、７１…整準駆動部、７２…距離データ処理部、７３…画像データ処理部、８１…ＧＰＳアンテナ、８２…ＧＰＳ受信部、１００’…光学情報処理部、１２０…建物、１２１…乗用車、１２２…レーザースキャナ、１２３…パーソナルコンピュータ、１２４…ステレオペア画像撮影装置、１２５…デジタルカメラ、１２６…デジタルカメラ、１２７…架台。
【技術分野】
【０００１】
本発明は、三次元点群位置データを利用した技術に係り、三次元点群位置データの精度を高める処理を効率よく行う技術に関する。
【背景技術】
【０００２】
測定対象物の三次元点群位置データから三次元形状を生成する技術が知られている。三次元点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、三次元点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点（点群）と、この複数の測定点の三次元空間中の位置（三次元座標）とが関連付けされている。三次元点群位置データによれば、点の集合により測定対象物の外形を再現した三次元モデルを得ることができる。また、各点の三次元座標が判るので、各点の三次元空間中における相対位置関係が把握でき、画面表示した三次元モデルの画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。
【０００３】
一つの視点からの三次元点群位置データの取得を考えた場合、測定対象物の形状や障害物に起因して、その視点から見て影となる部分の三次元点群位置データは取得できない。この現象をオクルージョンといい、またこの影となる部分をオクルージョン部やオクルージョン部分という。上述したように点群位置データの取得の目的の一つは、三次元モデルの取得にあり、三次元モデルは三次元ＣＡＤのように希望する視点から見た状態となるように回転させることができる点に特徴がある。したがって、上記のオクルージョンがあると、その取得した三次元モデルを回転させた際に、オクルージョン部分の欠落した三次元モデルが表示されることになる。あるいは、これら点群データや三次元モデルから図面化を行いたいこと等があるが、オクルージョン部があるとその部分が図面化できない、といった問題も生じる。
【０００４】
このオクルージョンの問題を解決するには、第１の視点でオクルージョンとなる部分の三次元点群位置データを取得可能な第２の視点から改めて三次元点群位置データを取得し、２つの視点からの三次元点群位置データに基づく三次元モデルを作成すればよい。しかしながら、三次元点群位置データの取得には時間がかかるので、この方法は、効率的でない。
【０００５】
この問題を解決するためのアプローチとして、特許文献１には、オクルージョン部分の三次元点群位置データを補完的に取得するために、基礎となる三次元点群位置データの取得とは別に、オクルージョン部分を撮影できる別視点からの撮影を行い、この撮影画像と上記基礎となる三次元点群位置データとの関連を求めることで、オクルージョン部分の三次元点群位置データを補完する手法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−８２７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の方法は、基本となる三次元点群位置データの取得の他に、補完データを撮影によって得るので、効率がよい。ところで、撮影画像に基づき三次元点群位置データを取得する場合、ステレオペア画像を用いたステレオ法を原理とする方法が利用される。ステレオ法は、三角測量の原理で撮影対象物の三次元情報を取得するので、撮影装置(カメラ)の焦点距離、歪曲収差、主点位置といった内部パラメータ(これらのパラメータを内部標定要素という)を考慮に入れた補正を行わないと、得られる三次元点群位置データの誤差(各測定点の座標の誤差)が大きくなる。
【０００８】
この補正に必要なパラメータを得る処理をキャリブレーションという。一般に、撮影装置のキャリブレーションは、製品として出荷する際に行われている。しかしながら、この事前のキャリブレーションは、ある特定の条件(工場内での設定条件)におけるもので、正確な補正を行うには、測定対象物までの距離が固定あるいは制限される。このため、一般に三次元点群位置データを取得するための撮影は、条件が限定され、使い勝手は良くない。また、実際に撮影を行う状況で撮影装置のキャリブレーションを行うことも可能であるが、ターゲットの設定や各種の条件の設定等の煩雑な作業が必要であり、効率的ではない。
【０００９】
このような背景において、本発明は、レーザースキャナを用いて得た三次元点群位置データを補完する三次元点群位置データを撮影画像から得る技術において、当該撮影を行う条件における撮影手段のキャリブレーションを効率よく簡便に行うことができる技術の提供を目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定部と、画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定部で特定した特定点との対応関係を特定する対応関係特定部と、前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定部で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出部と、前記内部標定要素算出部で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正部とを備えることを特徴とする光学情報処理装置である。
【００１１】
本発明の原理を簡単に説明する。まず、位置特定部は、第１の視点からレーザ光を利用して測定対象物の三次元点群位置データを取得する。次に、第１の視点と異なる第２の視点から画像撮影部（例えばデジタルカメラ）による撮影を行う。この第２の視点の選択は、第１の視点からはオクルージョンとなる部分が見える視点を選択する場合や、第１の視点において得た点群位置データの精度の悪い部分等を補完する画像を得るのに適した視点を選択する場合が挙げられる。
【００１２】
そして、第１の視点において得た三次元点群位置データと第２の視点において得た撮影画像との間で標定を行い、両者の対応関係を求める。三次元点群位置データは、各測定点の三次元座標のデータを持っているので、上記対応関係が求まることで、第２の視点で得た撮影画像中の特徴点の三次元座標が特定可能となる。そして、この第２の視点で得た撮影画像中の特徴点を基準（ターゲット）として、上記第２の視点からの撮影に用いた画像撮影部（例えば、デジタルカメラ）のキャリブレーションが行われる。これにより、第２の視点における当該画像撮影部の内部標定要素が取得される。ここで、画像撮影部の内部標定要素というのは、レンズディストーション、焦点距離、レンズの主点位置といった画像撮影部の内部パラメータである。内部標定要素には、レンズ系の歪み等の情報が含まれている。内部標定要素を得ることで、画像の歪みを解消あるいは軽減するための補正係数や関数が得られる。
【００１３】
この技術によれば、既に得られている三次元点群位置データに基づいて、実際に撮影を行う状況における画像撮影部のキャリブレーションが行われる。この際、作業としては、単に撮影をするだけでよく、キャリブレーション専用のターゲットを配置し、更にその座標を特定する等の煩雑な作業は必要とされない。そして上記のキャリブレーションによって得られる画像撮影部の内部標定要素に基づき、第２の視点において画像撮影部が撮影した画像を修正し、その歪みを除去する。こうすることで、第２の視点からの撮影によって得た画像に基づく測定対象物の三次元点群位置データの精度が向上する。
【００１４】
そして、この補正された第２の視点からの撮影画像に基づいて三次元点群位置データ得、それを第１の視点から得た三次元点群位置データを補完する三次元点群位置データとして利用する。これにより、（１）オクルージョンの解消、（２）第１の視点で得た三次元点群位置データの精度が悪い部分の補完、（３）通行車両等の影響による第１の視点で得た三次元点群位置データの部分的な欠落の補完、（４）その他何らかの要因による第１の視点で得た三次元点群位置データの精度不良や欠落の補完等、を行うことができる。
【００１５】
請求項２に記載の発明は、請求項１に記載の発明において、前記対応関係特定部は、前記位置特定部で算出した測定点の三次元位置から得られる前記測定対象物の形状と、前記画像撮影部で撮影された前記測定対象物の画像から得られる前記測定対象物の形状とに基づき、前記対応関係の算出を行うことを特徴とする。
【００１６】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記位置測定部は、測定点からの反射光の強度、色、色相、彩度を検出し、前記対応関係特定部は、前記位置測定部が検出した測定点からの反射光の強度、色、色相、彩度から選ばれた一または複数と、前記画像取得部で取得された前記測定対象物の画像とに基づいて前記対応関係の特定を行うことを特徴とする。
【００１７】
請求項４に記載の発明は、請求項１または２に記載の発明において、前記対応関係特定部は、前記レーザー光の照射が行われた領域を撮影した画像と、前記画像撮影部が撮影した画像との比較に基づいて前記対応関係の特定を行うことを特徴とする。
【００１８】
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、異なる２つの視点から前記画像撮影部の重複した範囲を撮影したステレオ画像に基づくマッチング処理により、前記測定対象物の座標値を算出する座標算出部を備えることを特徴とする。
【００１９】
請求項６に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、前記画像撮影部がデジタルカメラであることを特徴とする。
【００２０】
請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、前記画像修正部は、予め求めておいた前記画像撮影部の焦点距離情報またはそれに加えて前記内部標定要素算出部で算出された内部標定要素に基づき、前記画像撮影部が撮影した画像を修正するように構成されていることを特徴とする。ここで、焦点距離情報には、予め求めておいた焦点距離と内部標定要素の関係が含まれている。この焦点距離情報は誤差を含むが、内部標定要素算出部で算出される内部標定要素の大体の値の目安とすることができる。このため、画像の修正に必要な処理における誤差の低減、処理時間の短縮、処理にエラーが発生し演算が遅延したり中止したりする確率の低減といった効果を得ることができる。
【００２１】
焦点距離情報を利用する形態としては、以下の２つの形態が上げられる。その一つは、内部標定要素の算出に必要な画像撮影部が撮影した画像の歪みの修正に、焦点距離情報を利用する場合である。この場合、内部標定要素の算出に利用される画像撮影部が撮影した画像の歪みが低減されるので、内部標定の算出精度が高くなる。
【００２２】
焦点距離情報を利用する形態の他の一つは、内部標定要素算出部における演算に焦点距離情報を利用する場合である。この場合、算出する内部標定要素の大体の値の目安が提供されるので、算出精度の向上、演算時間の短縮、演算エラーが発生する確率の低減といった効果が得られる。
【００２３】
請求項８に記載の発明は、測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定手段と、画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定手段で特定した特定点との対応関係を特定する対応関係特定手段と、前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定手段で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出手段と、前記内部標定要素算出手段で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正手段とを備えることを特徴とする光学情報処理システムである。
【００２４】
請求項９に記載の発明は、測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定ステップと、画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定ステップで特定した特定点との対応関係を特定する対応関係特定ステップと、前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定ステップで特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出ステップと、前記内部標定要素算出ステップで算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正ステップとを備えることを特徴とする光学情報処理システムである。
【００２５】
請求項１０に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定手段と、画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定手段で特定した特定点との対応関係を特定する対応関係特定手段と、前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定手段で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出手段と、前記内部標定要素算出手段で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正手段として機能させることを特徴とする光学情報処理用プログラムである。
【発明の効果】
【００２６】
本発明によれば、レーザースキャナが得た三次元点群位置データが持つ三次元座標データを利用して、撮影を行う条件における撮影手段のキャリブレーションが行われる。このため、レーザースキャナを用いて得た三次元点群位置データを補完する三次元点群位置データを撮影画像から得る技術において、当該撮影を行う条件における撮影手段のキャリブレーションを効率よく簡便に行うことができる。
【図面の簡単な説明】
【００２７】
【図１】実施形態の光学情報処理装置のブロック図である。
【図２】実施形態の点群位置データ処理部のブロック図である。
【図３】ステレオ法の原理を説明する説明図である。
【図４】ステレオ画像を説明する説明図である。
【図５】パスポイントを説明する説明図である。
【図６】相互標定を説明する説明図である。
【図７】ステレオマッチングの原理を説明する説明図である。
【図８】ラベルを用いたマッチングの原理を示す説明図である。
【図９】処理の一例を示すフローチャートである。
【図１０】測定の状態を示す概念図である。
【図１１】レーザースキャナの断面図である。
【図１２】レーザースキャナの断面図である。
【図１３】レーザースキャナのブロック図である。
【図１４】演算部のブロック図である。
【図１５】点間距離が一定でない三次元点群位置データを示す概念図である。
【図１６】形成したグリッドを示す概念図である。
【発明を実施するための最良の形態】
【００２８】
１．第１の実施形態
以下、発明を利用した光学情報処理装置の一例について、図面を参照して説明する。なお以下の説明において、三次元点群位置データは、測定対象物の各測定点における三次元座標データを含んでいる。三次元座標を表示する座標系は、直交座標系または極座標系が採用される。画像データは、ＣＣＤ等による撮影により得られた画像のデータのことをいう。
【００２９】
図１には、光学情報処理装置１００が示されている。光学情報処理装置１００は、パーソナルコンピュータ上においてソフトウェア的に構成されている。光学情報処理装置１００をパーソナルコンピュータ上で構成するプログラムは、パーソナルコンピュータ中にインストールされている。なお、このプログラムは、サーバや適当な記録媒体に記録しておき、そこから提供される形態であってもよい。
【００３０】
利用されるパーソナルコンピュータは、キーボートやタッチパネルディスプレイ等の入力部、液晶ディスプレイ等の画像表示装置、入力部と表示部を統合したユーザインターフェースであるＧＵＩ（グラフィカル・ユーザ・インターフェース）機能部、ＣＰＵおよびその他専用の演算デバイス、半導体メモリ、ハードディスク記憶部、光ディスク等の記憶媒体との間で情報のやり取りを行えるディスク記憶装置駆動部、ＵＳＢメモリ等の携帯型記憶媒体との間で情報のやり取りを行えるインターフェース部、無線通信や有線通信を行う通信インターフェース部を必要に応じて備えている。なお、パーソナルコンピュータとしては、ノート型、携帯型、卓上型等の形態が挙げられるが、その形態は限定されない。また、汎用のパーソナルコンピュータを利用する以外に、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）等を用いて構成した専用のハードウェアによって光学情報処理装置１００を構成することも可能である。
【００３１】
光学情報処理装置１００には、測定対象物の三次元点群位置データの取得に利用されるレーザースキャナ１２１と、測定対象物を撮影し、その画像を得るためのデジタルカメラ１２２が適当な規格の通信回線を用いて接続されている。レーザースキャナ１２１は、測定対象物にレーザー光を照射し、その反射光を受光することで、レーザースキャナ１２１の設置位置から測定点までの距離、方位、仰角または俯角の情報を取得し、これらの情報に基づき、測定点の三次元位置座標に係る情報を算出する。また、レーザースキャナ１２１は、測定点からの反射光の強度、色、色相、彩度等に関する情報を取得する。レーザースキャナ１２１はこれらの情報に基づき各測定点の三次元座標値を含む点群位置データを算出し、それを光学情報処理装置１００に出力する。レーザースキャナ１２１の詳細な構成の一例は後述する。また、レーザースキャナ１２１は、レーザー光の光軸と同じ方向の光軸を有する撮影装置（ＣＣＤ撮像装置）を備えており、三次元点群位置データの取得対象となる測定対象物の画像データを取得することが可能な構造を有している。
【００３２】
デジタルカメラ１２２は、画像撮影部の一例であり、左右の異なる視点から測定対象物の重複した部分を撮影し、ステレオペア画像を取得する。このステレオペア画像の画像データ（左右で１組の画像データ）は、光学情報処理装置１００に出力される。デジタルカメラ１２２は、２台のデジタルカメラを専用の基台にセットし、ステレオペア画像を撮影する形態、１台のデジタルカメラを利用し、ステレオペア画像を得るための２つの視点のそれぞれからの撮影を行うことで、左右１組の画像データを得る形態が採用可能である。
【００３３】
光学情報処理装置１００は、三次元点群位置データ受付け部１０１、画像受付け部１０２を備えている。三次元点群位置データ受付け部１０１は、レーザースキャナ１２１から出力される三次元点群位置データを受付け、光学情報処理装置１００内に取り込む。画像受付け部１０２は、デジタルカメラ１２２が撮影したステレオペア画像の画像データを受付け、それを光学情報処理装置１００内に取り込む。
【００３４】
光学情報処理装置１００は、位置特定部１０３、座標算出部１０４、対応関係特定部１０５、内部標定要素算出部１０６、画像修正部１０７、三次元点群位置データ処理部１０８を備えている。以下、これら各機能部について説明する。
【００３５】
（位置特定部１０３）
位置特定部１０３は、レーザースキャナ１２１が取得した三次元点群位置データに基づき、測定対象物の三次元位置（測定対象物の外観を特徴付ける特徴点の三次元座標）を特定する。測定対象物の三次元位置を把握する方法としては、取得した三次元点群位置データをそのまま利用する方法、後述する三次元点群位置データ処理部１０８で算出されるラベルのデータを利用する方法、三次元点群位置データ処理部で算出される三次元モデル(測定対象物の三次元輪郭線モデル)を利用する方法等が挙げられる。ラベルのデータや三次元のモデルのデータは、基となる三次元点群位置データに比較してデータ量が少ないので、ソフトウェア処理に際してのＣＰＵやメモリへの負担が小さく、演算速度を速くできる。
【００３６】
（座標算出部）
座標算出部１０４は、デジタルカメラ１２２から得たステレオペア画像に基づき測定対象物（撮影対象物）の三次元位置（測定対象物の外観を特徴付ける特徴点の三次元座標）を、ステレオ法を利用して算出する。この三次元位置のデータは、レーザースキャナ１２１で得る三次元点群位置データと同様な点群位置データとなる。
【００３７】
座標算出部１０４で行われる演算の内容について説明する。まず、ステレオペア画像に基づき測定対象物の三次元位置を算出する原理を説明する。以下、この方法をステレオ法と称する。図３はステレオ法の原理を説明する説明図である。図３に示すように、２台のカメラが、光軸が平行で、カメラレンズ１、２の主点から撮影面としてのＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。また、各カメラのカメラレンズ１、２の間隔と等しい、２つの光軸間距離（基長線）をｌとする。なお、カメラは、１台のカメラにカメラレンズ１、２を備えたステレオ撮影用のカメラであっても原理は同じである。このとき、物体上の点Ｐ（ｘ、ｙ、ｚ）と、画像１上の点Ｐ１（ｘ１、ｙ１）、画像２上の点Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
【００３８】
【数１】
【００３９】
【数２】
【００４０】
【数３】
【００４１】
但し、全体の座標系の原点をカメラレンズ１の主点にとるものとする。数３式よりｚを求め、これを用いて数１式、数２式よりｘ、ｙが求められる。以上により、左右画像の対応点を求めれば、その位置の３次元座標を算出することができる。
【００４２】
次にステレオ画像作成についての原理を説明する。ステレオ画像作成の原理は、ステレオ法が成立するように画像を修正すればよい。ステレオ画像とは、対象物に対して２枚の画像が平行であり、かつ、縦視差が除去されているものである。図４は、ステレオ画像を説明する説明図である。例えば、図４（Ａ）に示されている画像では、左右の画像間でいくらオーバーラップしている領域があっても、左右画像の縮尺が異なり、さらに回転や縦視差があるために、３次元計測することができない。しかしながら、図４（Ｂ）のように左右画像の倍率を合わせ、回転を補正し縦視差を除去すれば、ステレオ法を成り立たせることができる。
【００４３】
ステレオ画像（ステレオモデル）は、左右画像中に６点以上の同一の対応点を求めることにより作成することができる。左右画像中の同一の対応点をパスポイントという。図５はパスポイントを説明する説明図である。図５に示すように、左右の画像上で６点対応する点の画像座標があれば、２つのカメラの相対的な位置と傾きを求めることができるので、それにより左右画像の縮尺、回転、縦視差を補正し、ステレオ画像を作成することができる。
【００４４】
上記のステレオ画像の作成には、相互標定が用いられる。相互標定は、画像中の６点以上の対応点によりカメラの相対的な位置と傾きを求める原理である。図６は相互標定を説明する説明図である。相互標定では、以下の共面条件式により各パラメータを求める。
【００４５】
【数４】
【００４６】
図６に示すように、モデル座標系の原点を左側の投影中心Ｏ１にとり、右側の投影中心Ｏ２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。このような条件にすると、数４の共面条件式は数５式のようになり、この式を解けば各パラメータが求まる。
【００４７】
【数５】
【００４８】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【００４９】
【数６】
【００５０】
【数７】
【００５１】
これらの式を用いて、次の手順により、未知パラメータを求める。
（１）初期近似値は通常０とする。
（２）数５の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数６、数７式により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（２）〜（５）までの操作を収束するまで繰り返す。
【００５２】
以上により、カメラの相対的な３次元位置ならびに３軸の傾きが求まり、ステレオ画像（ステレオモデル）が作成できる。また、ステレオ撮影したカメラ間の距離（基線長）を入力してやれば、実寸のステレオモデルとすることができる。さらに、６点のうち３点のＸＹＺ座標を与えてやることができれば、実際の座標系に変換し、実座標における三次元計測が可能となる。また、基線長を仮に１とすれば、モデル座標系での三次元座標算出が可能になる。
【００５３】
以上説明した原理に基づく演算が座標算出部１０４において行われ、デジタルカメラ１２２が撮影したステレオペア画像に基づく撮影対象物の三次元座標が算出される。この演算は、測定対象物を写した撮影画面を格子状に区切った各格子点において行われる。これにより、点群状に測定対象物表面の三次元座標分布が算出される。この点群状の測定対象物表面の座標データが、デジタルカメラ１２２が撮影したステレオペア画像に基づき算出された測定対象物の三次元点群位置データとなる。
【００５４】
（対応関係特定部１０５）
対応関係特定部１０５は、レーザースキャナ１２１の出力に基づいて、位置特定部１０３が特定した測定対象物の三次元位置に係るデータと座標算出部１０４が算出した測定対象物の三次元位置に係るデータ間の対応関係を特定する。以下、対応関係特定部１０５における２つの三次元位置に係るデータ間の対応関係を特定する方法の一例を説明する。まず、レーザースキャナ１２１を配置した視点およびデジタルカメラ１２２を配置した視点からの測定対象物の視野（データ取得位置からの測定対象部の見える部分）が重なる部分において、対応点を指定する。次いで、この対応点に基づいて各種の標定を行い、２つの視点から得た三次元点群位置データのそれぞれを記述する座標系（直交座標系または極座標系）間の対応関係を算出する。これにより、第１の三次元点群位置データと第２の三次元点群データとの対応関係が特定される。以下、２つの三次元点群位置データ間の対応関係を算出する際に用いる標定について説明する。
【００５５】
（相互標定）
相互標定については前述している。この場合、左右のカメラの視点を第１の視点、第２の視点とし、第１の視点から得た三次元点群位置データの座標系（第１の座標系）を（Ｘ１、Ｙ１、Ｚ１）とし、第２の視点から得た三次元点群位置データの座標系（第２の座標系）を（Ｘ２、Ｙ２、Ｚ２）として、第１の座標系と第２の座標系との対応関係を求める演算を行う。
【００５６】
（単写真標定）
単写真標定とは、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置（Ｘ０、Ｙ０、Ｚ０）およびカメラの傾き（ω，φ，κ）を求め、写真座標ｘ、ｙ、ｚと地上座標Ｘ、Ｙ、Ｚの間の関係を求める技術である。共線条件とは、投影中心、写真像および地上の対象物が一直線上にあるという条件である。また、カメラの位置（Ｘ０、Ｙ０、Ｚ０）とカメラの傾き（ω、φ、κ）は外部標定要素と呼ばれる。
【００５７】
ここでは、単写真標定の原理を用いて、第１の視点から測定対象物を見た場合の第１の座標系と、第２の視点から測定対象物を見た場合の第２の座標系との関係を求める方法を説明する。この場合、第１の視点においてレーザースキャナ１２１による測定対象物の三次元点群位置データが取得されている状態で、第２の視点からデジタルカメラ１２２によって当該測定対象物の写真撮影が行われ、更にこの写真画像に基づいて座標算出部１０４の機能により、当該測定対象物の三次元点群位置データが取得されている状態で、以下の演算が対応関係特定部１０５において行われる。
【００５８】
まず、第１の座標系を基準点座標（Ｘ、Ｙ、Ｚ）、第２の座標系を写真座標（ｘ、ｙ、ｚ）とし、２つの三次元点群位置データの中から共通する４点を対応点として指定する。この４点は、２つの座標系の対応関係を求める足掛かりとなる共通座標点であり、測定対象物の中から特徴点となる部分（例えば、エッジ等の見た目で周囲から区別し易い点）が選択される。この４点の選択を行う方法は、マニュアル操作によって行う方法や、対象物のエッジや角部分等の特徴点として把握し易い部分をソフトウェア的に自動抽出する方法、あるいはこの自動抽出された中から更にユーザがマニュアルで選択する方法が利用される。なお、単写真標定を用いた場合の対応点の指定は、５点以上であってもよいが、最低４点を指定することで、２つの座標系の対応関係を求めることができる。
【００５９】
そして、４点の画面座標値と対応する基準点の３次元座標を下記の数８に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。ここで、４点の画面座標値は、デジタルカメラ１２２が撮影した撮影画像の中から指定された４点の対応点の画面中における座標の位置である。対応する基準点の３次元座標というのは、レーザースキャナ１２１が取得した三次元点群位置データから得られる上記指定された４つの対応点の三次元座標の値である。
【００６０】
【数８】
【００６１】
数８のパラメータｂ１〜ｂ８を用いて、下記の数９から外部標定要素（Ｘ０、Ｙ０、Ｚ０）を求める。
【００６２】
【数９】
【００６３】
次に、単写真標定の原理より、（Ｘ，Ｙ，Ｚ）に対応する、傾いたデジタルカメラ１２２の座標系（ｘｐ、ｙｐ、ｚｐ）を以下の数１０から求める。数１０では、数９で求まったデジタルカメラ１２２の傾き（ω、φ、κ）を代入し、回転行列の計算をして、パラメータａ１１〜ａ３３を求める。
【００６４】
【数１０】
【００６５】
求まったパラメータａ１１〜ａ３３と数９で求まった位置（Ｘ０、Ｙ０、Ｚ０）、および（Ｘ，Ｙ，Ｚ）を、投影中心、写真像および対象物が一直線上にあるという以下の数１１の共線条件式に代入し、座標（ｘ、ｙ）を求める。ここで、ｃは画面距離（焦点距離）、ａ１１〜ａ３３は、３×３回転行列の要素として現されるデジタルカメラ１２２の傾きであり、Δｘ、Δｙは、内部標定要素算出部１０６が算出したデジタルカメラ内部の内部標定要素に基づく補正項である。
【００６６】
【数１１】
【００６７】
こうして、第１の視点から測定対象物を見た場合の座標系（第１の座標系）（Ｘ、Ｙ、Ｚ）と、第２の視点から測定対象物を見た場合の座標系（第２の座標系）（ｘ、ｙ、ｚ）との対応関係が算出される。なお、上記の算出方法では、ｚとＺの関係を求めていないが、第１の視点と第２の視点とが水平面内における位置の違いである場合、ｚ＝Ｚであるので、上記の方法で問題は生じない。
【００６８】
（絶対標定）
絶対標定は、モデル座標系を地上座標系（絶対座標系）に変換する方法である。絶対標定を用いた場合、第１の座標系を地上座標系に関連付け、他方で第２の座標系を地上座標系に関連付け、地上座標系を介して第１の座標系と第２の座標系の対応関係が取得される。まず、モデル座標系（ＸＭ、ＹＭ、ＺＭ）を地上座標系（Ｘ、Ｙ、Ｚ）に変換する。ここで、縮尺をｓ、３軸回りの回転をω、φ、κ、平行移動量を（Ｘ０、Ｙ０、Ｚ０）とすると、数１２の関係式が得られる。
【００６９】
【数１２】
【００７０】
次に、ω、φが小さいとして、未知変量（ｓ、ω、φ、κ、Ｘ０、Ｙ０、Ｚ０）を求める。まず、ヘルマート変換により平面座標の調整を行う。平面座標に限定すると、下記数１０が成り立つ。なお、下記数１３において、cosκ=（a／ｓ）、sinκ＝（−ｂ／ｓ）である。
【００７１】
【数１３】
【００７２】
上記数１３において、最小二乗法により、係数ａ、ｂ、Ｘ０、Ｙ０を決定する。次に、縮尺の統一を行う。この場合、下記数１４が成り立つ。
【００７３】
【数１４】
【００７４】
次に、高さの調整を行う。この場合、下記数１５が成り立つ。
【００７５】
【数１５】
【００７６】
数１５において、最小二乗法により、ω、φ、Ｚ０を求める。そして求めた未知変量を用いて、モデル座標を下記数１６により修正する。
【００７７】
【数１６】
【００７８】
以上の処理を未知変量が収束するまで繰り返し、モデル座標系（ＸＭ、ＹＭ、ＺＭ）と地上座標系（Ｘ、Ｙ，Ｚ）との対応関係を求める。そして、モデル座標系として第１の視点からの第１の座標系と第２の視点からの第２の座標系を選択することで、地上座標系を介した第１の座標系と第２の座標系との対応関係が明らかになる。あるいは、２つ視点からの画像や２つの視点からの三次元点群位置データを共通の座標である地上座標系で取り扱うことができる。絶対標定を用いる場合、理論的には、３点の対応点を指定することで、標定が行われるが、例えば同じ高さ位置で異なる２つ視点からの座標系を問題とする場合のように、座標系を変えても一つの軸上の位置が同じであるので、標定に必要な対応点は２点であればよい。
【００７９】
（対応点を指定する方法）
上述した標定においては、座標系間の対応関係を算出する足掛かりとなる対応点を指定する必要がある。対応点を指定する方法には、マニュアルにより指定する方法、演算により求める方法、両者を組み合わせた方法がある。ここで、両者を組み合わせた方法というのは、演算により複数の候補を算出し、その中からオペレータが指定する方法である。あるいは、対応点の候補となる特徴点が複数含まれていると判断される領域をオペレータが指定し、その指定した領域において演算により対応点を算出する方法である。あるいは、オペレータが指定せずとも、全撮影領域を演算により求める方法で算出してもよい。以下、演算により対応点を検出する方法について説明する。
【００８０】
（対応点の検出方法１）
まず、ステレオマッチングにより、対応点の自動検出を行う例を説明する。この場合、レーザースキャナ１２１から得た測定対象物の画像データとデジタルカメラ１２２から得た測定対象物の画像データとを比較して、両者で一致する特徴の部分が対応点として算出される。ここで、レーザースキャナ１２１から得た測定対象物の画像データというのは、レーザースキャナ１２１が取得した三次元点群位置データの反射光の情報（ＲＧＢ強度等）を画素情報とした画像のことである。三次元点群位置データは、反射光の強度に係る情報を持っているので、それを画素情報として画像を構成することで、反射光の強度を濃淡情報とした測定対象物の画像を得ることができる。
【００８１】
以下、ステレオマッチングについて詳細に説明する。ステレオマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。ステレオマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求まり、対応点の自動抽出が可能となる。図７は、ステレオマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ１×Ｎ１画素のテンプレート画像を、それよりも大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）２上で動かし、下記数１７で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。
【００８２】
【数１７】
【００８３】
上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。
【００８４】
ステレオマッチングを用いることで、比較する２つの画像の一致する部分が特定でき、２つの座標系の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる。
【００８５】
レーザースキャナ１２１が取得した三次元点群位置データに基づく画像データから対応点を検出する場合、検出対象となる特徴点は、照射したレーザー光の反射光の強度（例えばＲＧＢ強度）、色、色相、彩度、あるいはこれらの組み合わせによって特徴付けられる。すなわち、ＲＧＢ各色の反射光強度の違いよって特徴点が特徴付けられる場合、特定の色の反射光強度によって特徴点が特徴付けられる場合、反射光の色の違い(色相)によって特徴点を特徴付ける場合、反射光の色の鮮やかさの違いによって特徴点を特徴付ける場合、あるいはこれらの組み合わせによって特徴点を特徴付ける場合が挙げられる。そして、このレーザースキャナ１２１側で得た特徴点のパラメータ（例えば、ＲＧＢ強度）と、デジタルカメラ１２２で撮影された画像の対応するパラメータ（例えば、ＲＧＢ強度）とが上記のステレオマッチングによって比較され、対応点の検出が行われる。
【００８６】
また、撮影した画像同士を比較してのステレオマッチングを行う場合は、撮影画像中の周囲から特徴部分として識別し易い部分（例えば、構造物のエッジ部分等）が特徴点として取り扱われ、対応点の検出が行われる。
【００８７】
ここでは、比較の対象として、レーザースキャナ１２１が取得した三次元点群位置データに基づく画像データを利用する場合を説明したが、レーザースキャナ１２１は、三次元点群位置データの取得対象となる測定対象物の撮影を行う撮影手段を有しているので、この撮影手段による撮影によって得られる画像データを利用してもよい。この場合、レーザースキャナ１２１が備えた撮影手段が得た測定対象物の画像データと、デジタルカメラ１２２が得た測定対象物の画像データとに基づき、上述した処理が行われる。
【００８８】
（対応点の検出方法２）
対応点を検出する方法として、測定対象物の三次元形状に係るパラメータを比較し、そのマッチングに基づき、対応点を検出する方法が挙げられる。以下、この方法の一例を説明する。後述するように、三次元点群位置データ処理部１０８は、三次元点群位置データに基づき、測定対象物の外観を複数の面の集合として取り扱うことができるようにする処理を行う。ここで各面は、他と区別できるラベルとして扱われる。ラベルは、面の位置および面の向きのデータを持っている。ラベルの位置は、例えばその面の重心の三次元座標によって特定される。
【００８９】
このラベルの分布状態を上述したステレオマッチングと同様の手法で比較し、その相関関係が最大となる位置関係を求めることで、複数のラベルにより構成された測定対象物の２つの画像の一致する部分（重複部分）が検出される。そしてこの重複部分に着目し、その中から特徴点となる三次元点群位置データを抽出することで、２つの画像の対応点を特定することができる。三次元点群位置データから特徴点を抽出するには、後述する非面性が部分的に顕著である部分を後述する（１）局所曲率、（２）局所平面へのフィッティング精度、（３）共平面性に基づいて抽出すればよい。
【００９０】
以下、このラベルを用いた２つの画像データのマッチングを行う方法の一例を説明する。図８は、ラベルを用いたマッチングの手法を説明する概念図である。図８（Ａ）には、測定対象物に対して第１の視点から三次元点群位置データの取得を行い、更に第２の視点から三次元点群位置データの取得を行う様子が概念的に単純化されたモデルとして記載されている。ここでは、第１の視点がレーザースキャナ１２１による三次元点群位置データの取得位置であり、第２の視点がデジタルカメラ１２２を用いた撮影による画像データの取得位置であるとする。
【００９１】
ここで、測定対象物は、ラベル１が付与された第１の面、ラベル２が付与された第２の面、ラベル３が付与された第３の面、ラベル４が付与された第４の面、ラベル１が付与された第４の面、ラベル５が付与された第５の面、ラベル６が付与された第６の面から構成されている。
【００９２】
ここで、第１の視点からは、ラベル５およびラベル６がオクルージョンとなり、その部分の三次元点群位置データは取得されていない(当然ラベル５およびラベル６のデータは、第１の視点からは得られていない)状態が示されている。そして図８（Ｂ）には、第１の視点から得られたラベリングされた測定対象物のモデル(ラベルによって構成された測定対象物のモデル)が示されている。なお、本来は、ラベリングされた測定対象物のモデルは、三次元的なモデルであるが、ここでは、２次元的な単純化されたモデルが示されている。
【００９３】
また、第２の視点からは、ラベル１およびラベル２がオクルージョンとなり、その部分の三次元点群位置データは取得されていない(当然ラベル１およびラベル２のデータは、第２の視点からは得られていない)状態が示されている。そして図８（Ｃ）には、第２の視点から得られたラベリングされた測定対象物のモデルが示されている。
【００９４】
２つの視点から得られた三次元点群位置データ同士の位置合わせ（つまり対応関係の特定）が行われる前の段階では、図８（Ｂ）のラベリングモデルと図８（Ｃ）のラベリングモデルの対応関係は明らかでない。ここでは、２つのラベリングモデルにおける隣接するラベル間の相関関係を比較し、その類似性から２つのラベリングモデルの位置合わせを行う手法により、図８（Ｂ）のラベリングモデルと図８（Ｃ）のラベリングモデルの対応関係は明らかにする手法を説明する。
【００９５】
ラベルは、ラベリングされた面の向きやその重心位置の情報で特徴付けられている。したがって、図８の場合でいうと、ラベル１とラベル２の相関関係、ラベル２とラベル３の相関関係、ラベル３とラベル４の相関関係は、隣接するラベルの相対位置と向きの関係を特定する。したがって、この隣接するラベルの相関関係によって図８（Ｂ）に示すラベリングモデルの形状が特定される。つまり、三次元形状を有する測定対象物のラベリングモデルの三次元構造は、当該ラベリングモデルを構成するラベルにおける隣接するラベル間の相関関係により特定することができる。
【００９６】
これを利用して、図８（Ｂ）と図８（Ｃ）に示す２つのラベリングモデルの位置合わせを行う。この例でいうと、ラベル３とラベル４の組み合わせ（面の向きと面の重心位置の組み合わせ）は、図８（Ｂ）と図８（Ｃ）において共通している。よって、図８（Ｂ）のラベリングモデルと図８（Ｃ）のラベリングモデルの一方または両方を動かし、更に必要であれば、倍率を可変し、共通する相関関係を有するラベル３とラベル４の部分を重ねることで、２つのラベリングモデルの位置合わせが可能となる。この状態が図８（Ｄ）に示されている。
【００９７】
なお、この段階では、デジタルカメラ１２２のキャリブレーションが行われていないので、第２の視点からのデジタルカメラ１２２による撮影に基づく画像には、歪みが含まれており、当該画像から得られる三次元点群位置データの精度は誤差を含んでいる。したがって、図８（Ｃ）のラベリングモデルも図８（Ｂ）のラベリングモデルに比較して誤差が大きく、図８（Ｄ）に示す一致は誤差を含む（なお、レンズ系の歪みは画面の周辺で顕在化するので、この誤差は位置合わせが行われる画面中の位置に依存する）。したがって、予め誤差の閾値を決めておき、それに基づいて図８（Ｄ）に示す一致性が判定される。あるいは、後述（「０１４４」、「０１４６」段落参照）する異なる複数の焦点距離における内部標定要素を予め求めておき、それに基づく近似曲線から任意の焦点距離における内部標定要素を算出する手法を用いれば、ここでのレンズ歪誤差は予め小さくすることができる。
【００９８】
上記のように、図８（Ｃ）に示すラベリングモデルは誤差を含むが、形状的な一致を判定することは充分に可能となる。つまり第１の視点から把握した測定対象物の形状と第２の視点から把握した測定対象物の形状の一致する部分の検出は、図８に示す手法で充分に可能となる。これは三次元的な形状の比較においても同じである。
【００９９】
図８（Ｄ）に示す位置合わせが行われることで、第１の視点から得た三次元点群位置データと第２の視点から得た三次元点群位置データとが重複する部分（この場合は、ラベル３とラベル４の部分）が特定される。そして、レーザースキャナ１２１が得た三次元点群位置データにおける上記重複する部分から特徴点が検出され、その部分が対応点とされる。特徴点の検出は、後述する（１）局所曲率、（２）局所平面へのフィッティング精度、（３）共平面性に基づいて行われる。
【０１００】
なお、比較するラベルの組み合わせは、上記の例のように隣接する２つに限定されず、複数であれば同じ原理が適用できる。また、選択される複数のラベルは離れており、間に他のラベルが存在していてもよい(例えば、図８の場合でいうと、ラベル１とラベル３の選択も可能である)。
【０１０１】
ここでは、ラベルを利用した２つの三次元点群位置データ間の対応点を検出する例を説明したが、三次元点群位置データに基づいて作成される三次元モデル同士を比較し、一致する部分を求める手法も可能である。すなわち、第１の視点から得た三次元点群位置データに基づく第１の三次元モデルと、第２の視点から得た三次元点群位置データに基づく第２の三次元モデルとを比較し、一致する三次元形状の部分を求めることで、第１の視点から得た三次元点群位置データと第２の視点から得た三次元点群位置データとの重複部分を求めることができる。
【０１０２】
三次元点群位置データ処理部１０８に関して後述するように、ラベルに係る情報は、三次元点群位置データに比較してデータ量が圧倒的に少なくできる。このため、図８に示す原理に基づく演算は、三次元点群位置データをそのまま利用してのマッチングを行う場合に比較して、演算速度を飛躍的に高めることができる。ラベルの情報は、測定対象物の三次元形状に係る情報を反映している。したがって、このラベルを利用しての対応関係の特定は、測定対象物の三次元的な形状に係る情報の比較により、２つの画像の対応関係を特定する方法の一つといえる。この方法は、三次元的な形状に係る情報の比較に基づくものなので、三次元的な位置精度が高くできる。また、上述したようにラベルのデータは、三次元点群位置データに比較して、データが飛躍的に小さいので、演算時間の短縮、演算素子やメモリへの負担を軽減できる優位性がある。
【０１０３】
（内部標定要素算出部１０６）
内部標定要素算出部１０６は、デジタルカメラ１２２の内部標定要素を算出する。ここでは、対応関係特定部１０５が特定した対応関係、すなわちレーザースキャナ１２１を用いて得た三次元点群位置データとデジタルカメラ１２２を用いて得た三次元点群位置データとの対応関係に基づき、デジタルカメラ１２２の内部標定要素を算出する。この内部標定要素を求める作業をキャリブレーションという。
【０１０４】
通常のキャリブレーションでは、既知の三次元フィールド（位置が明確な複数の三次元位置に配置されたターゲット）の撮影画像に基づいて、カメラの内部標定要素を算出する。本実施形態では、上記の三次元フィールドの代わりにレーザースキャナ１２１が取得した測定対象物の三次元点群位置データを利用する。まず、レーザースキャナ１２１が得た三次元点群位置データは、各測定点の三次元座標を持っている。他方で、レーザースキャナ１２１が得た三次元点群位置データとデジタルカメラ１２２の撮影画像に基づく三次元点群位置データとの対応関係が、対応関係特定部１０５によって特定される。これにより、デジタルカメラ１２２の撮影画像中の特定の点の三次元座標が特定できる。これを利用し、この特定の点を既知のターゲットとしてキャリブレーションを行うことで、デジタルカメラ１２２の内部標定要素を算出する。
【０１０５】
つまり、デジタルカメラ１２２が撮影した画像中のある点（通常は画像的に特徴となる特徴点）の三次元座標が上記の対応関係から、レーザースキャナ１２１が取得した三次元点群位置データに基づいて明らかになる。ここで、デジタルカメラ１２２が撮影した画像中における三次元座標が明らかになった点をターゲット（基準点）として内部標定要素を求める処理（キャリブレーション）を行い、画像を補正するための関数や補正係数を算出する。この関数や補正係数は、画面を格子状に区切った各格子点において求められる。
【０１０６】
以下、内部標定要素算出部１０６で行われる内部標定要素の算出方法の一例について説明する。まず、写真画像中のある点の写真座標（ｘ、ｙ）を考える。ここで、この写真座標（ｘ、ｙ）は、光学系の歪み等に起因する誤差を含んでおり、それを補正する補正項がΔｘ、Δｙであるとする。ここで、レンズの放射方向と接線方向の歪曲収差を考慮した補正モデルを適用すると、ΔｘおよびΔｙは、下記の数１８の多項式によって表される。ここで、Ｋ１〜Ｋ２、Ｐ１〜Ｐ２が内部標定要素を反映したパラメータとなる。
【０１０７】
【数１８】
【０１０８】
ここで、撮影写真中のターゲットの三次元座標が判っているので、数多くのターゲットに着目した場合の上記多項式に基づき、未知のパラメータＫ１〜Ｋ２、Ｐ１〜Ｐ２が求まる。これにより、デジタルカメラ１２２が撮影した画像の修正が可能となる。
【０１０９】
（画像修正部１０７）
画像修正部１０７は、内部標定要素算出部１０６が算出した内部標定要素に基づき、デジタルカメラ１２２が撮影した画像の補正を行う。この補正は、対象となる画像を格子状に区切った格子点において行われ、デジタルカメラ１２２の光学系に起因して生じた撮影画像の歪みが解消（あるいは低減）される。具体的には、座標算出部１０４が算出した座標値に対して、デジタルカメラ１２２内部の内部標定要素に基づき、その値を補正する処理を行う。これにより、例えばレンズ系の歪みに起因する撮影対象物の三次元座標データのズレが補正され、ステレオ法に基づいて算出した測定対象物の三次元点群位置データの精度を高めることができる。
【０１１０】
（三次元点群位置データ処理部１０８）
三次元点群位置データ処理部１０８は、非面領域の算出、非面領域の除去、ラベリング処理、輪郭線等の特徴部分の算出、輪郭線により構成される三次元モデルの作成、およびこれらに関連した演算を行う。三次元モデルというのは、測定対象物の輪郭線を線図として表現した測定対象物の三次元構造を視覚化した画像である。輪郭線というのは、測定対象物の外観を視覚的に把握するために必要な、当該測定対象物の外形を形作っている線(outline)のことである。具体的には、折れ曲がった部分や急激に曲率が小さくなっている部分が輪郭線となる。輪郭線は、外側の輪郭の部分のみが対象となるとは限らず、凸状に飛び出している部分を特徴付ける縁の部分や、凹状に引っ込んでいる部分（例えば、溝構造の部分）を特徴づける縁の部分も対象となる。輪郭線により所謂線図が得られ、対象物の外観が把握し易い画像表示を行うことができる。なお、三次元モデルには、上述した線の情報だけではなく、測定対象物の外観を視覚的に把握する際の特徴部分となる点の情報も含まれる。
【０１１１】
以下、図１の三次元点群位置データ処理部１０８の詳細について説明する。図２には、三次元点群位置データ処理部１０８のブロック図が示されている。三次元点群位置データ処理部１０８は、非面領域算出部２０１、非面領域除去部２０２、面ラベリング部２０３、輪郭線算出部２０４を備えている。以下、これら各機能部について説明する。非面領域算出部２０１は、局所領域を取得する局所領域取得部２０１ａ、局所領域の法線ベクトルを算出する法線ベクトル算出部２０１ｂ、局所領域の局所曲率を算出する局所曲率算出部２０１ｃ、局所領域にフィッティングする局所平面を算出する局所平面算出部２０１ｄを備えている。
【０１１２】
局所領域取得部２０１ａは、三次元点群位置データに基づき、注目点を中心とした一辺が３〜７画素程度の正方領域（格子状の領域）を局所領域として取得する。法線ベクトル算出部２０１ｂは、局所領域取得部２０１ａが取得した上記の局所領域における各点の法線ベクトルの算出を行う。この法線ベクトルを算出する処理では、局所領域における三次元点群位置データに着目し、各点の法線ベクトルを算出する。この処理は、全ての三次元点群位置データを対象として行われる。すなわち、三次元点群位置データが無数の局所領域に区分けされ、各局所領域において各点の法線ベクトルの算出が行われる。
【０１１３】
局所曲率算出部２０１ｃは、上述した局所領域内の法線ベクトルのバラツキ（局所曲率）を算出する。ここでは、着目している局所領域において、各法線ベクトルの３軸成分の強度値（NVx, NVy, NVz）の平均（mNVx,mNVy,mNVz）を求め、さらに標準偏差（StdNVx,StdNVy,StdNVz）を求める。次に、標準偏差の二乗和の平方根を局所曲率（Local Curveture:crv）として算出する（数１９）。
【０１１４】
【数１９】
【０１１５】
局所平面算出部２０１ｄは、局所領域にフィッティング（近似）する局所平面を求める。この処理では、着目している局所領域の各点の三次元座標から局所平面の方程式を求める。局所平面は、着目している局所領域にフィッティングさせた平面である。ここでは、最小二乗法を用いて、当該局所領域にフィッティングする局所平面の面の方程式を算出する。具体的には、複数の異なる平面方程式を求め、更にそれらを比較し、当該局所領域にフィッティングする局所平面の面の方程式を算出する。仮に、着目している局所領域が平面であれば、局所平面と局所領域とは一致する。以上の処理を、局所領域を順次ずらしながら、全ての三次元点群位置データが対象となるように繰り返し行い、各局所領域における法線ベクトル、局所平面、局所曲率を得る。
【０１１６】
非面領域除去部２０２は、上で求めた各局所領域における法線ベクトル、局所平面、局所曲率に基づいて、非面領域の点を除去する処理を行う。すなわち、面（平面および曲面）を抽出するために、予め面でないと判断できる部分（非面領域）を除去する。なお、非面領域とは、平面でも曲面でもない領域であるが、下記の（１）〜（３）の閾値によっては曲率の高い曲面を含む場合がある。
【０１１７】
非面領域除去部２０２は、三次元点群位置データ取得部１０１が取得した三次元点群位置データの中から、算出した非面領域の三次元点群位置データを除去する。非面領域除去の処理は、以下に示す３つの方法のうち、少なくとも一つを用いて行うことができる。ここでは、下記の（１）〜（３）の方法による判定を上述した局所領域の全てに対して行い、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、抽出された非面領域を構成する点に係る三次元点群位置データを除去する。
【０１１８】
（１）局所曲率の高い部分：上述した局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面（平面および曲率の小さい曲面）ではその値が小さく、面以外（非面）ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。
【０１１９】
（２）局所平面へのフィッティング精度：局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。
【０１２０】
（３）共平面性のチェック：ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる２つの局所領域のそれぞれにフィッティングする２つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が０であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、２つの局所平面が同一面上にない程度がより顕著であると判定される。
【０１２１】
上記の（１）〜（３）の方法による判定において、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、この抽出された局所領域を構成する点に係る三次元点群位置データを算出対象としている三次元点群位置データから除去する。以上のようにして、非面領域の除去が行われる。なお、除去された三次元点群位置データは、後の処理で利用する可能性があるので、適当な記憶領域に格納するなり、除去されなかった三次元点群位置データと識別できる状態とするなどして、後で利用できる状態にしておく。
【０１２２】
次に面ラベリング部２０３の機能について説明する。面ラベリング部２０３は、非面領域の三次元点群位置データが除去された三次元点群位置データに対して、法線ベクトルの連続性に基づいて面ラベリングを行う。具体的には、特定の注目点と隣接点の法線ベクトルの角度差が予め決めた閾値以下なら、それらの点に同一ラベルを貼る。この作業を繰り返すことで、連続する平面、連続する緩やかな曲面に同一ラベルが貼られ、それらを一つの面として識別可能となる。また、面ラベリングの後、法線ベクトルの角度差や法線ベクトルの３軸成分の標準偏差を用いて、ラベル（面）が平面であるか、または曲率の小さい曲面であるかを判定し、その旨を識別する識別データを各ラベルに関連付ける。
【０１２３】
続いて、面積の小さいラベル（面）をノイズとして除去する。なお、このノイズ除去は、面ラベリングの処理と同時に行ってもよい。この場合、面ラベリングを行いながら、同一ラベルの点数（ラベルを構成する点の数）を数え、所定以下の点の数であるラベルを取り消す処理を行う。次に、この時点でラベルが無い点に対して、最近傍面（最も近い面）と同一のラベルを付与していく。これにより、既にラベリングされた面の拡張を行う。
【０１２４】
すなわち、ラベルの付いた面の方程式を求め、当該面とラベルが無い点との距離を求める。ラベルが無い点の周辺に複数のラベル（面）がある場合には、その距離が最も短いラベルを選択する。そして、依然としてラベルが無い点が残存している場合には、非面領域除去、ノイズ除去、およびラベル拡張における各閾値を変更し、再度関連する処理を行う。例えば、非面領域除去において、局所曲率の閾値を上げることで、非面として抽出する点の数が少なくなるようにする。または、ラベル拡張において、ラベルの無い点と最近傍面との距離の閾値を上げることで、ラベルの無い点に対してより多くのラベルを付与するようにする。
【０１２５】
次に、ラベルが異なる面であっても同一面である場合にラベルを統合する。この場合、連続しない面であっても、位置または向きが等しい面同士に同じラベルを付ける。具体的には、各面の法線ベクトルの位置および向きを比較することで、連続しない同一面を抽出し、いずれかの面のラベルに統一する。以上が面ラベリング部２０３の機能である。
【０１２６】
この面ラベリング部２０３の機能によれば、扱うデータ量を圧縮できるので、三次元点群位置データの処理を高速化できる。また必要なメモリ量を節約できる。また、測定中に紛れ込んだ通行人や通過した車両の三次元点群位置データをノイズとして除去することができる。
【０１２７】
輪郭線算出部２０４は、隣接する面の三次元点群位置データに基づき、輪郭線を算出（推定）する。以下、具体的な算出方法について説明する。輪郭線算出部２０４は、間に非面領域を挟む隣接する面同士の交線を求め、それを輪郭線とする処理を行う。この際、隣接する面の間の非面領域に局所平面をフィッティングさせ、この局所平面を複数繋ぐことで、非面領域を複数の局所平面によって近似する方法を採用することもできる。これは、複数の局所平面により構成される多面体で非面領域を近似したものと捉えることができる。この場合、隣接する面から局所平面をつないでゆき、最後に隣接した局所平面同士の交線を輪郭線として算出する。輪郭線が算出されることで、測定対象物の輪郭の画像が明確となる。
【０１２８】
次に、二次元エッジ算出部２０５について説明する。以下、二次元エッジ算出部２０５で行われる処理の一例を説明する。まず、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化（区分け）された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、二次元エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ（ｚ値）と、その近傍の輪郭線（三次元エッジ）を構成する点の三次元座標の高さ（ｚ値）とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。
【０１２９】
二次元エッジの算出後、輪郭線算出部２０４が算出した輪郭線と二次元エッジ算出部２０５が算出した二次元エッジとを統合する。この処理はエッジ統合部２０６において行われる。これにより、三次元点群位置データに基づくエッジの抽出が行われる。このエッジの抽出により、測定対象物を視認する際における測定対象物の外観を構成する線（輪郭線）が抽出される。そして得られたエッジの情報に基づいて、三次元モデル形成部２０７において、測定対象物の三次元モデル（線図の画像）の形成を行う。以下、三次元モデルの具体的な一例を説明する。例えば、測定対象物として建物を選択し、この建物の三次元点群位置データに基づいて、三次元モデルを得た場合を説明する。この場合、当該建物の外観、外壁の模様、窓枠等の輪郭を線図で表した三次元モデルが得られる。
【０１３０】
（動作例）
図１の光学情報処理装置１００の具体的な動作の一例を説明する。図９は、処理の手順の一例を示すフローチャートである。図１０には、ここで説明する処理が行われる状況が概念的に示されている。図１０には、測定対象物となる建物１２０、建物１２０の手前に駐車している乗用車１２１、レーザースキャナ１２２、パーソナルコンピュータ１２３、ステレオペア画像撮影装置１２４が示されている。
【０１３１】
レーザースキャナ１２２は、図１のレーザースキャナ１２１に相当し、測定対象物である建物１２０の三次元点群位置データを取得する。ここで、レーザースキャナ１２２は、第１の視点に配置されている。パーソナルコンピュータ１２３は、図１の光学情報処理装置１００の機能を備え、レーザースキャナ１２２およびステレオペア画像撮影装置１２４の２台のデジタルカメラに接続され、レーザースキャナ１２２からの三次元点群位置データおよび２台のデジタルカメラ１２５、１２６からの画像データが入力される。ステレオペア画像撮影装置１２４は、図１のデジタルカメラに相当し、専用の架台１２７上に距離を離して２台のデジタルカメラ１２５、１２６が配置された構造を有し、この２台のデジタルカメラを用いて、測定対象物である建物１２０を撮影し、そのステレオペア画像の画像データを取得する。ここで、ステレオペア画像撮影装置１２４は、レーザースキャナ１２２が設置された第１の視点とは異なる第２の視点に配置されている。
【０１３２】
図１０には、第１の視点から見た場合に、測定対象物である建物１２０の一部が手前に駐車している乗用車１２１の影となりオクルージョンが発生する状態が示されている。したがって、第１の視点においてレーザースキャナ１２２が得る建物１２０の三次元点群位置データには、上記オクルージョンに起因する欠損がある。この例では、このオクルージョンを解消する位置として第２の視点が選択された場合が示されている。
【０１３３】
以下、図９を参照して処理の手順の一例を説明する。処理が開始されると（ステップＳ９０１）、まず第１の視点にレーザースキャナ１２２が配置され、そこからレーザー光を用いての建物１２０の三次元点群位置データ（第１の三次元点群位置データ）の取得が行われる（ステップＳ９０２）。次いで、ステップＳ９０２で取得した建物１２０の三次元点群位置データが、パーソナルコンピュータ１２３に送られ、図１および図２に示す三次元点群位置データ処理部１０８で処理される（ステップＳ９０３）。この処理では、建物１２０の三次元モデルおよびその処理過程で得た中間データ（非面領域に係るデータやラベルのデータ）が取得される。
【０１３４】
ステップＳ９０３の後、図１０の第２の視点にステレオペア画像撮影装置１２４を設置し、第２の視点から建物１２０のステレオペア画像の撮影を行う（ステップＳ９０４）。ここで撮影されたステレオペア画像の画像データは、パーソナルコンピュータ１２３に送られる。このステレオペア画像の画像データを受け取ったパーソナルコンピュータ１２３は、当該ステレオペア画像に基づいて建物１２０の三次元点群位置データ（第２の三次元点群位置データ）の算出を行う（ステップＳ９０５）。この処理は、図１の座標算出部１０４において行われる。
【０１３５】
次いで、第１の視点においてレーザースキャナ１２２によって得た第１の三次元点群位置データと、第２の視点においてステレオペア画像撮影装置１２４が撮影したステレオペア画像に基づいて得た第２の三次元点群位置データ間における対応点の指定（ステップＳ９０６）、およびこの指定された対応点に基づく両三次元点群位置データ間の対応関係の算出が行われる（ステップＳ９０７）。これらの処理は、図１の対応関係特定部１０３において行われる。
【０１３６】
２つの三次元点群位置データの対応関係の特定を行った後、第１の視点においてレーザースキャナ１２２が取得した三次元点群位置データ（第１の三次元点群位置データ）から選ばれた画像的の特徴部分となる点をターゲット(基準点)としたキャリブレーションを行い、デジタルカメラ１２５，１２６の内部標定要素の算出を行う（ステップＳ９０８）。この処理は、図１の内部標定要素算出部１０６において行われる。
【０１３７】
次に、算出した内部標定要素に基づき、第２の視点において、ステレオペア画像撮影装置１２４が撮影したステレオペア画像の修正を行う（ステップＳ９０９）。この処理は、図１の画像修正部１０７で行われる。
【０１３８】
次に、ステップＳ９０９で修正されたステレオペア画像に基づき、測定対象物である建物１２０の三次元点群位置データ（第２の三次元点群位置データ）の再算出を行う（ステップＳ９１０）。この処理は、図１の座標算出部１０４で行われる。この処理では、レンズの収差等に起因する像の歪みの影響が、ステップＳ９０９において修正されているので、レンズの収差等に起因する誤差が低減あるいは解消された三次元点群位置データが算出される。
【０１３９】
次いで、ステップＳ９０２で取得した第１の三次元点群位置データと、ステップＳ９１０で再度算出された第２の三次元点群位置データとの対応関係を再度算出する（ステップＳ９１１）。この処理は、図１の対応関係特定部１０５において行われる。この際、第２の三次元点群位置データの精度がステップＳ９１０の処理により、ステップＳ９０７の時点におけるものより向上しているので、より精度の高い対応関係が得られる。
【０１４０】
次いで、ステップＳ９１１で得た対応関係に基づいて、図１０の第１の視点においてレーザースキャナ１２２を用いて取得した建物１２０の三次元点群位置データ（ステップＳ９０２で得た第１の三次元点群位置データ）と、第２の視点においてステレオペア画像撮影装置１２４が撮影した建物１２０のステレオペア画像に基づいて得た建物１２０の三次元点群位置データ（ステップＳ９１０で得た三次元点群位置データ）とを統合し、この統合されたた三次元点群位置データに基づいて、建物１２０の三次元モデルを作成する。この三次元モデルは、第１の視点からは乗用車によってオクルージョンとなる部分の三次元点群位置データが第２の視点から得たステレオペア画像に基づく三次元点群位置データによって補完されるので、乗用車１２１に起因するオクルージョンが解消されたものとなる。尚、第２の視点を得る装置として、ステレオペア画像撮影装置１２４を利用した説明を行ってきたが、１台のデジタルカメラにて２枚以上の画像を撮影しておこなってもよい。
【０１４１】
以上述べた処理では、第１の視点から建物１２０のレーザースキャンを行い、三次元点群位置データを得る。他方で、第２の視点から第１の視点でオクルージョンとなる建物１２０の部分を含むステレオペア画像の撮影を行う。そして、第２の視点で得たステレオ画像と第１の視点で得た三次元点群位置データとの対応関係を求めることで、当該三次元点群位置データを利用してのステレオペア画像撮影装置１２４のキャリブレーションを行なう。
【０１４２】
この処理によれば、オクルージョンを解消するために、再度の三次元点群位置データの取得を行わないので、再度の点群位置データの取得に要する労力が生じない。また、第２の視点においてデジタルカメラ１２５、１２６のキャリブレーションが行なえるので、第２の視点が自由に選択できる。また、第２の視点におけるキャリブレーションは、第１の視点においてレーザースキャナ１２２によって既に取得されている三次元点群位置データに基づいて行われるので、キャリブレーションに必要なターゲットの設定や距離の設定といった煩雑な作業が必要とされない。
【０１４３】
（その他）
図１０の第２の視点において、建物１２０を部分的に重複するように複数に分割してステレオペア画像の撮影を行ない、更に得られた複数組のステレオペア画像のそれぞれに対してステップＳ９０４〜ステップＳ９０８を行なう方法もある。この方法によれば繰り返しの計算により算出結果の精度を高めることができる。
【０１４４】
固定焦点におけるカメラの内部標定要素を取得する方法を更に発展させた方法として、異なる複数の焦点距離における内部標定要素を予め求め、それに基づく当該カメラの焦点距離と内部標定要素との関係を示す近似曲線を利用することで、任意の焦点距離における内部標定要素を算出する手法がある。この手法では、上記の近似曲線のデータを焦点距離情報として当該カメラ内部の記憶部や適当な記憶媒体に記憶しておき、この焦点距離情報と撮影条件における対象物までの距離に基づいて内部標定要素の算出が行なわれる。この場合、推定値あるいは近似値ではあるが撮影条件における内部標定要素を得ることができる。この手法に本発明を利用したキャリブレーションを組み合わせることができる。
【０１４５】
すなわち、上述した焦点距離に応じた内部標定要素を近似曲線から算出する方法は、誤差を含んでいるが、正確な値からある程度の範囲の精度が得られる。そこで、ステップＳ９０８でおこなわれる内部標定要素の算出において、上記の近似曲線から得られる内部標定用要素の値を基準値として用いることで、演算をより効率化することができる。例えば、ステップＳ９０８で行なわれる計算では、近似計算や繰り返し計算を行なうことで解を収束させてゆく作業が必要となるが、この際に目安となる値が予め分かっていると、その目安となる値の近くに解が存在する（あるいは収束する）ことを前提として計算を行なえるので、上記の目安がない場合に比較して、計算の手間がより省力化される場合がある。計算が省力化されることで、パーソナルコンピュータ１２３の演算時間が短縮される。また解の大体の値が予め分かることで、解が収束せずエラーとなるような不都合を避けることができる。焦点距離に応じた内部標定要素を近似曲線から得る形態としては、ズームレンズやオートフォーカスレンズを使用した場合に、あらかじめカメラファイルにその概略焦点距離を記録しておく形態が挙げられる。
【０１４６】
また、ステップＳ９０４において撮影したステレオペア画像を画像修正部１０７において上記近似曲線を利用することで修正し、その精度を高めておく手法も有効である。この場合、ステップＳ９０４で得るステレオペア画像の精度を高くできるので、ステップＳ９０４で得たステレオペア画像に基づくステップＳ９０５での第２の三次元点群位置データの算出を予め誤差の少ないものにできる。このようにすることで、計算の手間がより省力化され、精度のよい結果が得られやすくなる。
【０１４７】
２．第２の実施形態
以下、三次元点群位置データを処理する機能を有する三次元レーザースキャナについて説明する。この例において、三次元レーザースキャナは、測定対象物に対して測距光（レーザー光）を走査しつつ照射し、レーザー光の飛行時間に基づいて自身の位置から測定対象物上の多数の測定点までの距離を測距する。また、この三次元レーザースキャナは、レーザー光の照射方向（水平角および高低角）を検出し、距離および照射方向に基づいて測定点の三次元座標を算出する。また、この三次元レーザースキャナは、測定対象物を撮影した二次元画像（各測定点におけるＲＧＢ強度）を取得し、二次元画像と三次元座標とを結び付けた三次元点群位置データを形成する。さらに、ここで示す三次元レーザースキャナは、図１に関連して説明した光学情報処理装置１００の処理を行う機能を有している。
【０１４８】
（構成）
図１１および図１２は、三次元レーザースキャナ１の構成を示す断面図である。三次元レーザースキャナ１は、整準部２２、回転機構部２３、本体部２７、および回転照射部２８を備えている。本体部２７は、測距部２４、撮影部２５、制御部２６等から構成されている。なお、図１１は、説明の便宜のため、図１２に示す断面方向に対して、回転照射部２８のみ側方から見た状態を示している。
【０１４９】
整準部２２は、台盤２９を有し、回転機構部２３は下部ケーシング３０を有する。下部ケーシング３０は、ピン３１と２個の調整ネジ３２とにより３点で台盤２９に支持されている。下部ケーシング３０は、ピン３１の先端を支点にして傾動する。なお、台盤２９と下部ケーシング３０との間には、台盤２９と下部ケーシング３０とが互いに離反しないようにするため、引っ張りスプリング３３が設けられている。
【０１５０】
下部ケーシング３０の内部には、２個の整準モータ３４が設けられている。２個の整準モータ３４は、制御部２６によって互いに独立して駆動される。整準モータ３４の駆動により整準駆動ギア３５、整準従動ギア３６を介して調整ネジ３２が回転し、調整ネジ３２の下方への突出量が調整される。また、下部ケーシング３０の内部には傾斜センサ３７（図１３参照）が設けられている。２個の整準モータ３４は、傾斜センサ３７の検出信号により駆動され、これにより整準が実行される。
【０１５１】
回転機構部２３は、下部ケーシング３０の内部に水平角用駆動モータ３８を有する。水平角用駆動モータ３８の出力軸には水平回動駆動ギア３９が嵌着されている。水平回動駆動ギア３９は、水平回動ギア４０に噛合されている。水平回動ギア４０は、回転軸部４１に設けられている。回転軸部４１は、回転基盤４２の中央部に設けられている。回転基盤４２は、下部ケーシング３０の上部に、軸受け部材４３を介して設けられている。
【０１５２】
また、回転軸部４１には水平角検出器４４として、例えばエンコーダが設けられている。水平角検出器４４は、下部ケーシング３０に対する回転軸部４１の相対的回転角（水平角）を検出する。水平角は制御部２６に入力され、制御部２６は、その検出結果に基づき水平角用駆動モータ３８を制御する。
【０１５３】
本体部２７は、本体部ケーシング４５を有する。本体部ケーシング４５は、回転基盤４２に固着されている。本体部ケーシング４５の内部には鏡筒４６が設けられている。鏡筒４６は、本体部ケーシング４５の回転中心と同心の回転中心を有する。鏡筒４６の回転中心は、光軸４７に合致されている。鏡筒４６の内部には、光束分離手段としてのビームスプリッタ４８が設けられている。ビームスプリッタ４８は、可視光を透過し、かつ、赤外光を反射する機能を有する。光軸４７は、ビームスプリッタ４８によって光軸４９と光軸５０とに分離される。
【０１５４】
測距部２４は、鏡筒４６の外周部に設けられている。測距部２４は、発光部としてのパルスレーザ光源５１を有する。パルスレーザ光源５１とビームスプリッタ４８との間には、穴あきミラー５２、レーザー光のビームウエスト径を変更するビームウエスト変更光学系５３が配設されている。測距光源部は、パルスレーザ光源５１、ビームウエスト変更光学系５３、穴あきミラー５２で構成されている。穴あきミラー５２は、パルスレーザ光を穴部５２ａからビームスプリッタ４８に導き、測定対象物から反射して戻って来た反射レーザー光を測距受光部５４に向けて反射する役割を有する。
【０１５５】
パルスレーザ光源５１は、制御部２６の制御により所定のタイミングで赤外パルスレーザ光を発する。赤外パルスレーザ光は、ビームスプリッタ４８によって高低角用回動ミラー５５に向けて反射される。高低角用回動ミラー５５は、赤外パルスレーザ光を測定対象物に向けて反射する。高低角用回動ミラー５５は、高低角方向に回転することで、鉛直方向に延びる光軸４７を高低角方向の投光光軸５６に変換する。ビームスプリッタ４８と高低角用回動ミラー５５との間でかつ鏡筒４６の内部には集光レンズ５７が配設されている。
【０１５６】
測定対象物からの反射レーザー光は、高低角回動用ミラー５５、集光レンズ５７、ビームスプリッタ４８、穴あきミラー５２を経て測距受光部５４に導かれる。また、測距受光部５４には、内部参照光路を通って参照光も導かれる。反射レーザー光が測距受光部５４で受光されるまでの時間と、レーザー光が内部参照光路を通って測距受光部５４で受光されるまでの時間との差に基づき、光学情報処理装置１から測定対象物（測定対象点）までの距離が測定される。測距受光部５４は、ＣＭＯＳ光センサ等の光電変化素子により構成され、検出した光のＲＧＢ強度を検出する機能も有している。
【０１５７】
撮影部２５は、画像受光部５８を備え、カメラとして機能する。画像受光部５８は、鏡筒４６の底部に設けられている。画像受光部５８は、多数の画素が平面状に集合して配列されたもの、例えば、ＣＣＤ（Charge Coupled Device）で構成されている。画像受光部５８の各画素の位置は光軸５０によって特定される。例えば、光軸５０を原点として、Ｘ−Ｙ座標を想定し、このＸ−Ｙ座標の点として画素が定義される。
【０１５８】
回転照射部２８は、投光ケーシング５９の内部に収納されている。投光ケーシング５９の周壁の一部は、投光窓となっている。図１２に示すように、鏡筒４６のフランジ部６０には、一対のミラーホルダー板６１が対向して設けられている。ミラーホルダー板６１には、回動軸６２が掛け渡されている。高低角用回動ミラー５５は、回動軸６２に固定されている。回動軸６２の一端部には高低角ギア６３が嵌着されている。回動軸６２の他端側には高低角検出器６４が設けられている。高低角検出器６４は、高低角用回動ミラー５５の回動角を検出し、その検出結果を制御部２６に出力する。
【０１５９】
ミラーホルダー板６１の一方には、高低角用駆動モータ６５が取り付けられている。高低角用駆動モータ６５の出力軸には駆動ギア６６が嵌着されている。駆動ギア６６は、回転軸６２に取り付けられた高低角ギア６３に噛合されている。高低角用駆動モータ６５は、高低角検出器６４の検出結果に基づき、制御部２６の制御により適宜駆動される。
【０１６０】
投光ケーシング５９の上部には、照星照門６７が設けられている。照星照門６７は、測定対象物を概略視準するのに用いられる。照星照門６７を用いた視準方向は、投光光軸５６の延びる方向、および回動軸６２の延びる方向に対して直交する方向とされている。また、図１２に示すように、投光ケーシング５９の上部には、ＧＰＳアンテナ８１が配置されている。ＧＰＳアンテナにより、ＧＰＳ情報が取得され、内部で行われる演算にＧＰＳ情報を利用することができる構成とされている。
【０１６１】
図１３は、制御部のブロック図である。制御部２６には、水平角検出器４４、高低角検出器６４、傾斜センサ３７、ＧＰＳアンテナ８１からの検出信号が入力される。また、制御部２６は、操作部６から操作指示信号が入力される。制御部２６は、水平角用駆動モータ３８、高低角用駆動モータ６５、整準モータ３４を駆動制御する共に、作業状況、測定結果等を表示する表示部７を制御する。制御部２６には、メモリカード、ＨＤＤ等の外部記憶装置６８が着脱可能とされている。
【０１６２】
制御部２６は、演算部４、記憶部５、水平駆動部６９、高低駆動部７０、整準駆動部７１、距離データ処理部７２、画像データ処理部７３等から構成されている。記憶部５は、測距や高低角と水平角の検出を行うために必要なシーケンスプログラム、演算プログラム、測定データの処理を実行する測定データ処理プログラム、画像処理を行う画像処理プログラム、三次元点群位置データから面を抽出し、更に輪郭線を算出するプログラム、この算出した輪郭線を表示部７に表示させるための画像表示プログラム、三次元点群位置データの再取得に係る処理を制御するプログラム等の各種のプログラムを格納すると共に、これらの各種のプログラムを統合管理するための統合管理プログラム等を格納する。また、記憶部５は、測定データ、画像データ等の各種のデータを格納する。水平駆動部６９は、水平角用駆動モータ３８を駆動制御し、高低駆動部７０は、高低角用駆動モータ６５を駆動制御し、整準駆動部７１は、整準モータ３４を駆動制御する。距離データ処理部７２は、測距部２４によって得られた距離データを処理し、画像データ処理部７３は、撮影部２５により得られた画像データを処理する。
【０１６３】
また、制御部２６は、ＧＰＳ受信部８２を備えている。ＧＰＳ受信部８２は、ＧＰＳアンテナが受信したＧＰＳ衛星からの信号を処理し、地球上における座標データを算出する。これは、通常のＧＰＳ受信装置と同じである。ＧＰＳから得られた位置情報は、光学情報処理部１００’に入力される。
【０１６４】
図１４は、演算部４のブロック図である。演算部４は、三次元座標演算部７４、リンク形成部７５、グリッド形成部９、光学情報処理部１００’を備えている。三次元座標演算部７４には、距離データ処理部７２から測定対象点の距離データが入力され、水平角検出器４４および高低角検出器６４から測定対象点の方向データ（水平角および高低角）が入力される。三次元座標演算部７４は、入力された距離データと方向データとに基づき、光学情報処理装置１の位置を原点（０，０，０）とした各測定点の三次元座標（直交座標）を算出する。
【０１６５】
リンク形成部７５には、画像データ処理部７３から画像データおよび三次元座標演算部７４が算出した各測定点の三次元座標の座標データが入力される。リンク形成部７５は、画像データ（各測定点のＲＧＢ強度）と三次元座標を結び付けた三次元点群位置データ２を形成する。つまり、リンク形成部７５は、測定対象物のある点に着目した場合、その着目点の二次元画像中における位置と、その着目点の三次元座標とを関連付けしたものを作成する。この関連付けされたデータは、全ての測定点について算出され、それらが三次元点群位置データ２となる。
【０１６６】
リンク形成部７５は、以上の三次元点群位置データ２をグリッド形成部９に出力する。グリッド形成部９は、三次元点群位置データ２の隣接点の点間距離が一定でない場合に、等間隔のグリッド（メッシュ）を形成し、グリッドの交点に最も近い点を登録する。または、グリッド形成部９は、線形補間法やバイキュービック法を用いて、グリッドの交点位置に全点を補正する。なお、三次元点群位置データ２の点間距離が一定である場合には、グリッド形成部９の処理を省略することができる。
【０１６７】
以下、グリッドの形成手順について説明する。図１５は、点間距離が一定でない三次元点群位置データを示す概念図であり、図１６は、形成したグリッドを示す概念図である。図１６に示すように、各列の平均水平間隔Ｈ1〜Ｎを求め、さらに列間の平均水平間隔の差分ΔＨｉ，ｊを算出し、その平均をグリッドの水平間隔ΔＨとする（数２０）。垂直方向の間隔は、各列での垂直方向の隣接点との距離ΔＶＮ，Ｈを算出し、画像サイズＷ,Ｈの画像全体におけるΔＶＮ，Ｈの平均を垂直間隔ΔＶとする（数２１）。そして、図１６に示すように、算出した水平間隔ΔＨおよび垂直間隔ΔＶのグリッドを形成する。
【０１６８】
【数２０】
【０１６９】
【数２１】
【０１７０】
次に、形成したグリッドの交点に最も近い点を登録する。この際、交点から各点までの距離には所定の閾値を設けて、登録を制限する。例えば、閾値は、水平間隔ΔＨおよび垂直間隔ΔＶの１／２とする。なお、線形補間法やバイキュービック法のように、交点との距離に応じた重みを付けて全点を補正してもよい。ただし、補間を行った場合には、本来計測していない点となる。
【０１７１】
以上のようにして得られた三次元点群位置データは、光学情報処理部１００’に出力される。光学情報処理部１００’は、第１の実施形態で説明した光学情報処理装置１００と同様の動作を行う。また、その動作においてユーザに提示される画像の表示が液晶ディスプレイである表示部７に表示される。光学情報処理部１００’は、図１の光学情報処理装置１００と同様の機能を有するハードウェアであり、ＦＰＧＡを利用した専用の集積回路により構成されている。
【０１７２】
光学情報処理部１００’には、ＧＰＳ受信部８２から得られた地球上における座標データが入力される。この構成によれば、光学情報処理部１００’で取り扱われる座標がＧＰＳから得られた位置データ（例えば、電子地図情報）とリンクされる。これにより、例えば、三次元レーザースキャナ１の設置位置を電子地図上に画面表示することができる。
【０１７３】
（その他）
制御部２６の構成において、グリッド形成部９から三次元点群位置データが外部に出力される形態とすると、図１１、図１２に示す装置は、第１の実施形態で示したパーソナルコンピュータを利用した光学情報処理装置と組み合わせて使用可能な三次元レーザースキャナとなる。また、光学情報処理部１００’が行う処理を分散して行う構成も可能である。例えば、光学情報処理部１００’の機能の一部を通信回線で結ばれたサーバで行うような構成も可能である。これは、図１の光学情報処理装置１００の場合も同じである。これらの構成は、本発明の光学情報処理システムの一例として把握される。
【０１７４】
画像を取得する方法として、ＣＣＤカメラ等を用いた撮影による方法が一般的であるが、点群データに基づいて測定対象物の画像を再現することもできる。レーザースキャナにより三次元点群位置データを得た場合、各点からの反射光の光強度に係るデータが得られる。したがって、三次元点群位置データを対象物の画像を構成する画素データとして取り扱うことで、三次元点群位置データに基づいて測定対象物の画像を再現することができる。つまり、ＣＣＤやＣＭＯＳイメージセンサ等の撮影手段の代わりに、レーザースキャナを用いて測定対象物の画像を得ることができる。この場合、図１の画像受付け部１０２は、レーザースキャナ１２１から出力される三次元点群位置データに基づき、上述した原理により画像データを取得する。
【産業上の利用可能性】
【０１７５】
本発明は、三次元情報の測定を行う技術に利用することができる。
【符号の説明】
【０１７６】
１…三次元レーザースキャナ、２…三次元点群位置データ、２２…整準部、２３…回転機構部、２４…測距部、２５…撮影部、２６…制御部、２７…本体部、２８…回転照射部、２９…台盤、３０…下部ケーシング、３１…ピン、３２…調整ネジ、３３…引っ張りスプリング、３４…整準モータ、３５…整準駆動ギア、３６…整準従動ギア、３７…傾斜センサ、３８…水平回動モータ、３９…水平回動駆動ギア、４０…水平回動ギア、４１…回転軸部、４２…回転基盤、４３…軸受部材、４４…水平角検出器、４５…本体部ケーシング、４６…鏡筒、４７…光軸、４８…ビームスプリッタ、４９、５０…光軸、５１…パルスレーザ光源、５２…穴あきミラー、５３…ビームウエスト変更光学系、５４…測距受光部、５５…高低角用回動ミラー、５６…投光光軸、５７…集光レンズ、５８…画像受光部、５９…投光ケーシング、６０…フランジ部、６１…ミラーホルダー板、６２…回動軸、６３…高低角ギア、６４…高低角検出器、６５…高低角用駆動モータ、６６…駆動ギア、６７…照星照門、６８…外部記憶装置、６９…水平駆動部、７０…高低駆動部、７１…整準駆動部、７２…距離データ処理部、７３…画像データ処理部、８１…ＧＰＳアンテナ、８２…ＧＰＳ受信部、１００’…光学情報処理部、１２０…建物、１２１…乗用車、１２２…レーザースキャナ、１２３…パーソナルコンピュータ、１２４…ステレオペア画像撮影装置、１２５…デジタルカメラ、１２６…デジタルカメラ、１２７…架台。
【特許請求の範囲】
【請求項１】
測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定部と、
画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定部で特定した特定点との対応関係を特定する対応関係特定部と、
前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定部で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出部と、
前記内部標定要素算出部で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正部と
を備えることを特徴とする光学情報処理装置。
【請求項２】
前記対応関係特定部は、前記位置特定部で算出した測定点の三次元位置から得られる前記測定対象物の形状と、前記画像撮影部で撮影された前記測定対象物の画像から得られる前記測定対象物の形状とに基づき、前記対応関係の算出を行うことを特徴とする請求項１に記載の光学情報処理装置。
【請求項３】
前記位置測定部は、測定点からの反射光の強度、色、色相、彩度を検出し、
前記対応関係特定部は、前記位置測定部が検出した測定点からの反射光の強度、色、色相、彩度から選ばれた一または複数と、前記画像取得部で取得された前記測定対象物の画像とに基づいて前記対応関係の特定を行うことを特徴とする請求項１または２に記載の光学情報処理装置。
【請求項４】
前記対応関係特定部は、前記レーザー光の照射が行われた領域を撮影した画像と、前記画像撮影部が撮影した画像との比較に基づいて前記対応関係の特定を行うことを特徴とする請求項１または２に記載の光学情報処理装置。
【請求項５】
異なる２つの視点から前記画像撮影部の重複した範囲を撮影したステレオ画像に基づくマッチング処理により、前記測定対象物の座標値を算出する座標算出部を備えることを特徴とする請求項１〜４のいずれか一項に記載の光学情報処理装置。
【請求項６】
前記画像撮影部がデジタルカメラであることを特徴とする請求項１〜５のいずれか一項に記載の光学情報処理装置。
【請求項７】
前記画像修正部は、予め求めておいた前記画像撮影部の焦点距離情報またはそれに加えて前記内部標定要素算出部で算出された内部標定要素に基づき、前記画像撮影部が撮影した画像を修正するように構成されていることを特徴とする請求項１〜６のいずれか一項に記載の光学情報処理装置。
【請求項８】
測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定手段と、
画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定手段で特定した特定点との対応関係を特定する対応関係特定手段と、
前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定手段で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出手段と、
前記内部標定要素算出手段で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正手段と
を備えることを特徴とする光学情報処理システム。
【請求項９】
測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定ステップと、
画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定ステップで特定した特定点との対応関係を特定する対応関係特定ステップと、
前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定ステップで特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出ステップと、
前記内部標定要素算出ステップで算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正ステップと
を備えることを特徴とする光学情報処理システム。
【請求項１０】
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定手段と、
画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定手段で特定した特定点との対応関係を特定する対応関係特定手段と、
前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定手段で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出手段と、
前記内部標定要素算出手段で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正手段と
して機能させることを特徴とする光学情報処理用プログラム。
【請求項１】
測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定部と、
画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定部で特定した特定点との対応関係を特定する対応関係特定部と、
前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定部で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出部と、
前記内部標定要素算出部で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正部と
を備えることを特徴とする光学情報処理装置。
【請求項２】
前記対応関係特定部は、前記位置特定部で算出した測定点の三次元位置から得られる前記測定対象物の形状と、前記画像撮影部で撮影された前記測定対象物の画像から得られる前記測定対象物の形状とに基づき、前記対応関係の算出を行うことを特徴とする請求項１に記載の光学情報処理装置。
【請求項３】
前記位置測定部は、測定点からの反射光の強度、色、色相、彩度を検出し、
前記対応関係特定部は、前記位置測定部が検出した測定点からの反射光の強度、色、色相、彩度から選ばれた一または複数と、前記画像取得部で取得された前記測定対象物の画像とに基づいて前記対応関係の特定を行うことを特徴とする請求項１または２に記載の光学情報処理装置。
【請求項４】
前記対応関係特定部は、前記レーザー光の照射が行われた領域を撮影した画像と、前記画像撮影部が撮影した画像との比較に基づいて前記対応関係の特定を行うことを特徴とする請求項１または２に記載の光学情報処理装置。
【請求項５】
異なる２つの視点から前記画像撮影部の重複した範囲を撮影したステレオ画像に基づくマッチング処理により、前記測定対象物の座標値を算出する座標算出部を備えることを特徴とする請求項１〜４のいずれか一項に記載の光学情報処理装置。
【請求項６】
前記画像撮影部がデジタルカメラであることを特徴とする請求項１〜５のいずれか一項に記載の光学情報処理装置。
【請求項７】
前記画像修正部は、予め求めておいた前記画像撮影部の焦点距離情報またはそれに加えて前記内部標定要素算出部で算出された内部標定要素に基づき、前記画像撮影部が撮影した画像を修正するように構成されていることを特徴とする請求項１〜６のいずれか一項に記載の光学情報処理装置。
【請求項８】
測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定手段と、
画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定手段で特定した特定点との対応関係を特定する対応関係特定手段と、
前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定手段で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出手段と、
前記内部標定要素算出手段で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正手段と
を備えることを特徴とする光学情報処理システム。
【請求項９】
測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定ステップと、
画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定ステップで特定した特定点との対応関係を特定する対応関係特定ステップと、
前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定ステップで特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出ステップと、
前記内部標定要素算出ステップで算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正ステップと
を備えることを特徴とする光学情報処理システム。
【請求項１０】
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
測定対象物に照射されたレーザー光の反射光に基づき、反射点の三次元位置を特定する位置特定手段と、
画像撮影部が撮影した前記測定対象物の画像を受け取り、該画像上の測定点と前記位置特定手段で特定した特定点との対応関係を特定する対応関係特定手段と、
前記画像撮影部が撮影した画像上の測定点の座標と、前記位置特定手段で特定した前記反射点の三次元位置の座標に基づき、前記撮影を行った視点における前記画像撮影部の内部標定要素を算出する内部標定要素算出手段と、
前記内部標定要素算出手段で算出した前記内部標定要素に基づき、前記画像撮影部が撮影した画像を修正する画像修正手段と
して機能させることを特徴とする光学情報処理用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−８８１１４（Ｐ２０１２−８８１１４Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３３７６４（Ｐ２０１０−２３３７６４）
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]