地物位置測定方法
【課題】 道路地物任意ポイントの測定を車載計測システムで高信頼、高精度的に取得する方法を提供する。
【解決手段】 ＧＰＳ／ＩＭＵの測位データを利用して、Kalmanフィルタセンサーに基づく初期位置と姿勢の計算を用いて、画像センサーとレーザーセンサーの初期位置と姿勢情報を求める。これらの情報とレーザーデータを融合した連結ポイントの自動抽出から求めた画像連結ポイントを利用して、バントル調整計算手法に基づいて画像センサーの位置と姿勢の最適化計算から画像センサーの最適化位置と姿勢を計算する。レーザーセンサーの位置と姿勢最適化処理から画像センサーとレーザーセンサーの最適化位置と姿勢情報を求める。画像データとレーザーデータを融合した道路地物位置測定は、上記両センサーの最適化位置と姿勢情報を用いて、直接定位方法に基づいて地物の位置を求める。
【解決手段】 ＧＰＳ／ＩＭＵの測位データを利用して、Kalmanフィルタセンサーに基づく初期位置と姿勢の計算を用いて、画像センサーとレーザーセンサーの初期位置と姿勢情報を求める。これらの情報とレーザーデータを融合した連結ポイントの自動抽出から求めた画像連結ポイントを利用して、バントル調整計算手法に基づいて画像センサーの位置と姿勢の最適化計算から画像センサーの最適化位置と姿勢を計算する。レーザーセンサーの位置と姿勢最適化処理から画像センサーとレーザーセンサーの最適化位置と姿勢情報を求める。画像データとレーザーデータを融合した道路地物位置測定は、上記両センサーの最適化位置と姿勢情報を用いて、直接定位方法に基づいて地物の位置を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像センサー、レーザーセンサーおよびＧＰＳ／ＩＭＵ定位センサーから得た諸データを融合して、車載計測システムの道路地物の高自動化高精度的な地物位置測定方法に関する。
【背景技術】
【０００２】
ここ数年、カーナビゲーションなどの地理情報システムデータの応用と普及に対して、迅速なデータ取得と更新が大きな課題になっている。このため、ステレオビデオカメラを搭載する車載計測システムが多く研究されている。このため、車載計測システムの位置測定は重要なキーポイントになっている。移動計測システムの位置定位問題を解決するために、ＧＰＳ／ＩＭＵ定位システムを利用する。また画像センサーを利用して地物の位置を測定する方法が多く利用されている。ここで、ＧＰＳはグロバール測位システムを言う。上空に隠蔽がない条件で、一定精度の測位結果が得られる。ＧＰＳ信号の弱い個所には測位精度が悪くなる。ＩＭＵは慣性計測装置を言う。一定の時間内で精度を保っているが、時間を径つと共に、精度が悪くなる。両者の利欠点（メリット・ディメリット）を利用して、Kalmanフィルタリングに基づいた総合測位システムは一定の精度で一部の応用に対応できる。
【０００３】
一方、多くの車載計測システムは画像センサーだけを利用して地物の位置情報を獲得する。画像センサーを利用して地物の位置を測定するには、ステレオ画像マッチング手法しかできない。しかし、濃淡のない路面地物の任意ポイントの３次元位置測定にはステレオ画像マッチング手法が利用できない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記車載測位システムは一部の応用に対して、一定の精度で対応できるが、高精度の位置測定に対して更に高信頼、高精度的に地物位置の測定が求められている。この場合、ＧＰＳ／ＩＭＵ測位システムに基づく定位方法の精度が対応できない。そのため、車載計測システムが高品質のＧＰＳ信号を受信できない地域で、信頼できる定位精度が得られない。どのようにして信頼できる高精度の定位情報を得るかが、本発明が解決しようとする課題である。一方、本発明が解決しようとする他の課題は、濃淡変化のあまりない地物の測定ができない問題も解決することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決ために本発明は、画像データ、レーザー点群データおよびＧＰＳ／ＩＭＵ測位データを融合した高信頼、高精度の道路地物位置計測アルゴリズム（方法）を提供する。
【０００６】
本発明は、車載計測システムから取得した系列画像の相対位置を計算できるという幾何関係を利用して、更にレーザー点群データを用いて系列画像間の連結ポイント（Tie Point）の抽出を補正することにより、高精度の地物測定アルゴリズム（方法）を提供する。具体的には、次項に示すとおりである。
【０００７】
すなわち、本発明に係る地物位置測定方法は、ＧＰＳ／ＩＭＵの測位データを用いて、Kalmanフィルタ（カルマンフィルタ）に基づく画像センサー及びレーザーセンサーの初期位置および姿勢情報を取得する位置・姿勢取得ステップと、当該画像センサーと当該レーザーセンサーの初期位置及び姿勢情報、当該画像センサーの画像データ、並びに当該レーザーセンサーのレーザーデータを融合した連結ポイント（Tie Point）を自動抽出して画像連結ポイントを取得する連結ポイント取得ステップと、当該取得した画像連結ポイント及び地面基準点(ＧＣＰ)を利用して、バントル調整計算手法に基づいて撮影地点における当該画像センサーの位置及び姿勢を最適化処理することによって当該画像センサーの撮影地点における位置と姿勢情報を取得する位置・姿勢最適化ステップと、当該画像センサー及び当該レーザーセンサーの位置と姿勢最適化処理から当該画像センサー及び当該レーザーセンサーの撮影地点間における任意地点の最適位置と姿勢情報を取得する位置・姿勢最適情報取得ステップと、当該画像センサー及びレーザーセンサーの最適化位置及び姿勢情報を用いて、画像データとレーザーデータを融合した道路地物位置測定を直接定位方法（Direct-Georeference）に基づいて行う地物位置測定ステップと、を含めてなることを特徴とする。
【０００８】
本発明によれば、ＧＰＳ／ＩＭＵの測位データ、画像センサーの画像データ及びレーザーセンサーのレーザーデータからなるマルチセンサーデータを融合する技術を用いて、車載計測システムに信頼できる高精度の位置情報を求めることができる。特にＧＰＳ信号が弱い地区でも高精度の位置測定が可能である。また、写真測量バンドル調整計算方法に基づく画像センサーの位置と姿勢の最適化処理手法を用いてＧＰＳ／ＩＭＵ測位システムの定位データを補助、最優化処理するので、車載計測システムのＧＰＳ信号弱い地区の位置測定精度の低下を防ぐことができる。バントル調整計算方法を利用して、画像センサーの位置と姿勢を取得するため、大量の画像連結ポイントが必要である。しかし、画像処理手法で系列画像から自動的に大量な画像連結ポイント（Tie Point）の抽出が困難である。本発明は画像データとレーザーデータを融合する技術を用いているので、レーザーデータを合わせて画像連結ポイントの自動抽出を容易にしている。写真測量バンドル調整計算方法で得られた画像センサーの位置と姿勢情報およびＧＰＳ／ＩＭＵ測位システムから得られたオリジナル位置情報を利用して、レーザーセンサーの最適化位置と姿勢を求めることができる。画像センサーとレーザーセンサーの最適化処理した位置と姿勢情報および直接定位方法を用いて、道路地物の位置を高精度的に測定する。しかし、ステレオ画像マッチングだけを利用する場合、濃淡のない地物の位置測定が不可能であるが、本発明によれば係る位置測定が可能となる。
【発明の効果】
【０００９】
本発明によれば、写真測量バンドル調整計算方法で求めたセンサーの位置と姿勢情報とＧＰＳ／ＩＭＵ測位システムのオリジナルデータで求めたレーザーセンサーの最適化位置と姿勢を用いて、道路地物任意ポイントの測定を車載計測システムで高信頼、高精度的に取得することができる。さらに本発明は画像データとレーザーデータを融合した地物測定方法であるから、画像データだけを利用した濃淡のない地物が測定できない問題を解決したため、濃淡のない地表面の任意ポイントの測定が可能である。
【発明を実施するための最良の形態】
【００１０】
図６に示すフローチャートに基づいて、本発明に係る地物測定方法の概略について説明する。地物測定方法は、位置・姿勢取得ステップ（Ｓ１）と、連結ポイント取得ステップ（Ｓ３）と、位置・姿勢最適化ステップ（Ｓ５）と、位置・姿勢最適化情報取得ステップ(Ｓ７)と、最後の地物位置測定ステップ（Ｓ９）と、の手順で処理される。位置・姿勢取得ステップは、ＧＰＳ／ＩＭＵの測位データを用いて、Kalmanフィルタに基づく画像センサー及びレーザーセンサーの初期位置および姿勢情報を取得する処理であり、連結ポイント取得ステップは、当該画像センサーと当該レーザーセンサーの初期位置及び姿勢情報、当該画像センサーの画像データ、並びに当該レーザーセンサーのレーザーデータを融合した連結ポイントを自動抽出して画像連結ポイントを取得する処理である。さらに、画像センサー情報取得ステップは、当該取得した画像連結ポイントを利用して、バントル調整計算手法に基づいて当該画像センサーの位置と姿勢の最適化処理から当該画像センサーの最適化位置と姿勢情報を取得するステップであり、レーザー情報取得ステップは、当該レーザーセンサーの初期位置と姿勢最適化処理から当該レーザーセンサーの最適化位置と姿勢情報を取得する処理である。そして最後の地物位置測定ステップは、当該画像センサー及びレーザーセンサーの最適化位置及び姿勢情報を用いて、画像データとレーザーデータを融合した道路地物位置測定を直接定位方法に基づいて行う処理である。詳細については、項を改めて説明する。
【００１１】
まずＧＰＳ／ＩＭＵの測位データ、Kalmanフィルタセンサーを用いて、画像センサーとレーザーセンサーの初期位置および姿勢情報を求める（Ｓ１０）。現在多くの車載計測システムはこの方法を利用して、地物の３次元位置を求める。しかし、ＧＰＳ測位の欠点は、Kalmanフィルタセンサーに基づくＧＰＳ／ＩＭＵ測位データだけを利用する場合、高精度の地物位置測定ができない。高信頼、高精度の測位情報を求めるために、本発明は車載計測システムが取得した系列画像の相対位置を計算できるという幾何関係を利用して、写真測量バントル調整計算手法を用いて、ＧＰＳ／ＩＭＵ測位システムから求めたセンサーの位置情報を最適化処理して、高精度のセンサー位置情報を求める。この高精度のセンサー位置情報を利用して、高精度の地物位置情報が求められる。
【００１２】
写真測量バンドル手法を用いて画像センサーの位置を最適化処理するために、系列画像の連結ポイントが必要である。これは同一地物ポイントの隣接画像上の位置という。大量の連結ポイントが必要であるため、できる限り自動取得が望ましい。しかし、画像データだけを利用して画像連結ポイントの取得には以前から写真測量の難題であるため、自動的に大量の連結ポイントの取得は大きい課題である。本発明ではレーザーセンサーから直接地物表面の３次元座標を求める特徴を利用して、系列画像間の画像連結ポイントの自動取得ための信頼できるマッチング方法を開発した(Ｓ１１)。
【００１３】
図２は隣接画像だけを利用して画像連結ポイントの自動抽出は困難であることを示す。左写真のＡポイントに対して、右写真に幾つ似ているポイントが存在する。エピポラーラインを条件にして右画像のＢポイントをマッチングして取得することができるが、ポイントがエピポラーラインと並行にある場合、Ｂポイントのマッチングがほぼ不可能である。しかし、レーザー３次元点群データがある場合、Ａポイントが左写真上に１つの３次元ポイントに位置するに対して、写真測量の投影方法を利用して、右写真で同じ位置のＢポイントを取得することができる。
【００１４】
自動抽出した大量の系列画像間の連結ポイントおよび既存の地面基準点（ＧＣＰ）を利用して、バンドル調整計算に基づいて画像センサーの位置及び姿勢を最適化計算することができる(Ｓ１２)。
【００１５】
写真測量の基本方程式（数１）は、１つの連結ポイントに対して、所在画像毎に１つの方程式が存在する。
【００１６】
【数１】
【００１７】
数１に示すｘpとｙpは連結ポイントの画像上の写真座標、ｘ0，ｙ0，ｆ，△ｘ，△ｙは画像センサーの内部標定要素およびセンサーの変形パラメータである。これらのパラメータはセンサーを標定したときに得られる。Ｘ，Ｙ，Ｚは求める連結ポイントの３次元座標である。他の重要な未知数はセンサー位置パラメータＸｓ，Ｙｓ，Ｚｓと姿勢パラメータを含むａ1，ａ2，ａ3，ｂ1，ｂ2，ｂ3，ｃ1，ｃ2，ｃ3である。未知パラメータの初期値はセンサーの初期定位情報から求められる。これは後の最適化処理に対してとても重要である。数２は、数１を他の形式で表現したものである。
【００１８】
【数２】
【００１９】
数２において、ｌは連結ポイントの画像座標観測値、ｘは未知パラメータを示す。この方程式を一次方程式に変換して、次に示す数３を求める。
【００２０】
【数３】
【００２１】
数３において、ｆ（ｘ0）はポイントの推測値、Ａはヤコビマトリックス、δは未知数の推測値と連結ポイントの初期値の差分である。δを未知数の初期値に加えて、未知数は初期値より正確な推測値を得ることができる。次項に示す最小二乗法方程式（数４）を成立させる。
【００２２】
【数４】
【００２３】
このような時系列画像の最適化処理により、オリジナルセンサー位置（初期センサー位置）情報より更に高精度の位置情報が得られる。ここで撮影地点の画像センサーの位置と姿勢情報の最適化処理を行うだけで、図３のように、最適化したポイントの位置情報とＧＰＳ／ＩＭＵ測位システムのオリジナル測位データを統合して計算しなければならない。求められた位置情報を最適化したポイントに通過させる。これによって、レーザーセンサーの位置情報が最適化処理、補正される(Ｓ１３)。このような位置情報を利用して地物の高精度的な位置測定情報が得られる。
【００２４】
それから地物の測定を行う(Ｓ１４)。上記得られたセンサーの最適位置と姿勢情報を利用して、直接定位方法（Direct Georeference）に基づいて高精度の地物位置を求める。本発明は画像データとレーザーデータを融合した地物測定方法を提出した。この方法は濃淡のない地物の任意ポイントの測定が可能になる。しかし、ステレオ画像マッチングだけを利用する場合、濃淡のない地物の位置測定が不可能である。図４は３次元レーザー点群データを利用して、濃淡のない路面の３次元位置の測定を示す。レーザーデータがない場合とても困難である。
【００２５】
図７を参照しながら、これまで説明した道路地物位置測定方法を実施するための車両について説明する。車両１０１は、その天井に２台のステレオカメラ（画像センサー）１０３Ｒ，１０３Ｌと、ＧＰＳ（全地球測位システム）の一部を構成するＧＰＳアンテナ１０５，１０５と、レーザーセンサー１０７と、を備えている。車両１０１の内部には、ＩＭＵセンサー（慣性姿勢計測装置）１０９と、ＧＰＳシステムの一部として、また、各センサーから得たデータを処理して地物を測定する地物位置測定装置として機能するコンピュータ１１１を搭載してある。ステレオカメラ１０３Ｌは車両１０１の進行方向に向かって左側のカメラであり、ステレオカメラ１０３Ｒは同じく右側のカメラである（図７では、ステレオカメラ１０３Ｌの裏側で見えない）。ＧＰＳアンテナ１０５は、少なくとも１個あれば足りるが、本実施形態ではより正確なデータを得るために２個とした。必要に応じて３個以上とすることもできる。車両１０１に搭載したレーザーセンサー１０７は１個であるが、複数でもよい。たとえば、車両１０１の屋上の四隅に各々１個合計４個を設置すると、前方の２個のみでは検知できなかった地物（たとえば、電柱や樹木の進行方向側裏側）等を後方の２個との併用によって検知することができる。つまり、上記した電柱や樹木の逆進行方向側裏側は前方２個のレーザーセンサーによって検知可能であるが、その電柱や樹木を通過したときに進行方向側の裏側は前方２個のレーザーセンサーの背面に位置するため検知不能である（死角となる）。この点、後方にも併せて２個のレーザーセンサーを配しておくことによって、上記進行方向側裏側の死角部分をも検知可能となる。上記の各センサーから得たデータは、コンピュータ１１１によって処理され、これによって地物位置の測定が行われる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係るアルゴリズム(方法)を示すフローチャートである。
【図２】時系列画像とレーザー点群の融合に基づく連結ポイント自動抽出を説明する図である。
【図３】画像センサーとレーザーセンサーの位置最適化処理を説明する図である。
【図４】画像とレーザーの融合に基づく地物測定方法を説明する図である。
【図５】画像とレーザーの融合に基づく地物測定例を示す図である。
【図６】地物位置測定方法の手順を示すフローチャートである。
【図７】地物位置測定方法を実施するための車両及び地物位置測定装置を示す図である。
【符号の説明】
【００２７】
１０１ 車両
１０３Ｒ，Ｌ ステレオカメラ
１０５ ＧＰＳアンテナ
１０７ レーザーセンサー
１０９ ＩＭＵセンサー
１１１ コンピュータ
【技術分野】
【０００１】
本発明は、画像センサー、レーザーセンサーおよびＧＰＳ／ＩＭＵ定位センサーから得た諸データを融合して、車載計測システムの道路地物の高自動化高精度的な地物位置測定方法に関する。
【背景技術】
【０００２】
ここ数年、カーナビゲーションなどの地理情報システムデータの応用と普及に対して、迅速なデータ取得と更新が大きな課題になっている。このため、ステレオビデオカメラを搭載する車載計測システムが多く研究されている。このため、車載計測システムの位置測定は重要なキーポイントになっている。移動計測システムの位置定位問題を解決するために、ＧＰＳ／ＩＭＵ定位システムを利用する。また画像センサーを利用して地物の位置を測定する方法が多く利用されている。ここで、ＧＰＳはグロバール測位システムを言う。上空に隠蔽がない条件で、一定精度の測位結果が得られる。ＧＰＳ信号の弱い個所には測位精度が悪くなる。ＩＭＵは慣性計測装置を言う。一定の時間内で精度を保っているが、時間を径つと共に、精度が悪くなる。両者の利欠点（メリット・ディメリット）を利用して、Kalmanフィルタリングに基づいた総合測位システムは一定の精度で一部の応用に対応できる。
【０００３】
一方、多くの車載計測システムは画像センサーだけを利用して地物の位置情報を獲得する。画像センサーを利用して地物の位置を測定するには、ステレオ画像マッチング手法しかできない。しかし、濃淡のない路面地物の任意ポイントの３次元位置測定にはステレオ画像マッチング手法が利用できない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記車載測位システムは一部の応用に対して、一定の精度で対応できるが、高精度の位置測定に対して更に高信頼、高精度的に地物位置の測定が求められている。この場合、ＧＰＳ／ＩＭＵ測位システムに基づく定位方法の精度が対応できない。そのため、車載計測システムが高品質のＧＰＳ信号を受信できない地域で、信頼できる定位精度が得られない。どのようにして信頼できる高精度の定位情報を得るかが、本発明が解決しようとする課題である。一方、本発明が解決しようとする他の課題は、濃淡変化のあまりない地物の測定ができない問題も解決することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決ために本発明は、画像データ、レーザー点群データおよびＧＰＳ／ＩＭＵ測位データを融合した高信頼、高精度の道路地物位置計測アルゴリズム（方法）を提供する。
【０００６】
本発明は、車載計測システムから取得した系列画像の相対位置を計算できるという幾何関係を利用して、更にレーザー点群データを用いて系列画像間の連結ポイント（Tie Point）の抽出を補正することにより、高精度の地物測定アルゴリズム（方法）を提供する。具体的には、次項に示すとおりである。
【０００７】
すなわち、本発明に係る地物位置測定方法は、ＧＰＳ／ＩＭＵの測位データを用いて、Kalmanフィルタ（カルマンフィルタ）に基づく画像センサー及びレーザーセンサーの初期位置および姿勢情報を取得する位置・姿勢取得ステップと、当該画像センサーと当該レーザーセンサーの初期位置及び姿勢情報、当該画像センサーの画像データ、並びに当該レーザーセンサーのレーザーデータを融合した連結ポイント（Tie Point）を自動抽出して画像連結ポイントを取得する連結ポイント取得ステップと、当該取得した画像連結ポイント及び地面基準点(ＧＣＰ)を利用して、バントル調整計算手法に基づいて撮影地点における当該画像センサーの位置及び姿勢を最適化処理することによって当該画像センサーの撮影地点における位置と姿勢情報を取得する位置・姿勢最適化ステップと、当該画像センサー及び当該レーザーセンサーの位置と姿勢最適化処理から当該画像センサー及び当該レーザーセンサーの撮影地点間における任意地点の最適位置と姿勢情報を取得する位置・姿勢最適情報取得ステップと、当該画像センサー及びレーザーセンサーの最適化位置及び姿勢情報を用いて、画像データとレーザーデータを融合した道路地物位置測定を直接定位方法（Direct-Georeference）に基づいて行う地物位置測定ステップと、を含めてなることを特徴とする。
【０００８】
本発明によれば、ＧＰＳ／ＩＭＵの測位データ、画像センサーの画像データ及びレーザーセンサーのレーザーデータからなるマルチセンサーデータを融合する技術を用いて、車載計測システムに信頼できる高精度の位置情報を求めることができる。特にＧＰＳ信号が弱い地区でも高精度の位置測定が可能である。また、写真測量バンドル調整計算方法に基づく画像センサーの位置と姿勢の最適化処理手法を用いてＧＰＳ／ＩＭＵ測位システムの定位データを補助、最優化処理するので、車載計測システムのＧＰＳ信号弱い地区の位置測定精度の低下を防ぐことができる。バントル調整計算方法を利用して、画像センサーの位置と姿勢を取得するため、大量の画像連結ポイントが必要である。しかし、画像処理手法で系列画像から自動的に大量な画像連結ポイント（Tie Point）の抽出が困難である。本発明は画像データとレーザーデータを融合する技術を用いているので、レーザーデータを合わせて画像連結ポイントの自動抽出を容易にしている。写真測量バンドル調整計算方法で得られた画像センサーの位置と姿勢情報およびＧＰＳ／ＩＭＵ測位システムから得られたオリジナル位置情報を利用して、レーザーセンサーの最適化位置と姿勢を求めることができる。画像センサーとレーザーセンサーの最適化処理した位置と姿勢情報および直接定位方法を用いて、道路地物の位置を高精度的に測定する。しかし、ステレオ画像マッチングだけを利用する場合、濃淡のない地物の位置測定が不可能であるが、本発明によれば係る位置測定が可能となる。
【発明の効果】
【０００９】
本発明によれば、写真測量バンドル調整計算方法で求めたセンサーの位置と姿勢情報とＧＰＳ／ＩＭＵ測位システムのオリジナルデータで求めたレーザーセンサーの最適化位置と姿勢を用いて、道路地物任意ポイントの測定を車載計測システムで高信頼、高精度的に取得することができる。さらに本発明は画像データとレーザーデータを融合した地物測定方法であるから、画像データだけを利用した濃淡のない地物が測定できない問題を解決したため、濃淡のない地表面の任意ポイントの測定が可能である。
【発明を実施するための最良の形態】
【００１０】
図６に示すフローチャートに基づいて、本発明に係る地物測定方法の概略について説明する。地物測定方法は、位置・姿勢取得ステップ（Ｓ１）と、連結ポイント取得ステップ（Ｓ３）と、位置・姿勢最適化ステップ（Ｓ５）と、位置・姿勢最適化情報取得ステップ(Ｓ７)と、最後の地物位置測定ステップ（Ｓ９）と、の手順で処理される。位置・姿勢取得ステップは、ＧＰＳ／ＩＭＵの測位データを用いて、Kalmanフィルタに基づく画像センサー及びレーザーセンサーの初期位置および姿勢情報を取得する処理であり、連結ポイント取得ステップは、当該画像センサーと当該レーザーセンサーの初期位置及び姿勢情報、当該画像センサーの画像データ、並びに当該レーザーセンサーのレーザーデータを融合した連結ポイントを自動抽出して画像連結ポイントを取得する処理である。さらに、画像センサー情報取得ステップは、当該取得した画像連結ポイントを利用して、バントル調整計算手法に基づいて当該画像センサーの位置と姿勢の最適化処理から当該画像センサーの最適化位置と姿勢情報を取得するステップであり、レーザー情報取得ステップは、当該レーザーセンサーの初期位置と姿勢最適化処理から当該レーザーセンサーの最適化位置と姿勢情報を取得する処理である。そして最後の地物位置測定ステップは、当該画像センサー及びレーザーセンサーの最適化位置及び姿勢情報を用いて、画像データとレーザーデータを融合した道路地物位置測定を直接定位方法に基づいて行う処理である。詳細については、項を改めて説明する。
【００１１】
まずＧＰＳ／ＩＭＵの測位データ、Kalmanフィルタセンサーを用いて、画像センサーとレーザーセンサーの初期位置および姿勢情報を求める（Ｓ１０）。現在多くの車載計測システムはこの方法を利用して、地物の３次元位置を求める。しかし、ＧＰＳ測位の欠点は、Kalmanフィルタセンサーに基づくＧＰＳ／ＩＭＵ測位データだけを利用する場合、高精度の地物位置測定ができない。高信頼、高精度の測位情報を求めるために、本発明は車載計測システムが取得した系列画像の相対位置を計算できるという幾何関係を利用して、写真測量バントル調整計算手法を用いて、ＧＰＳ／ＩＭＵ測位システムから求めたセンサーの位置情報を最適化処理して、高精度のセンサー位置情報を求める。この高精度のセンサー位置情報を利用して、高精度の地物位置情報が求められる。
【００１２】
写真測量バンドル手法を用いて画像センサーの位置を最適化処理するために、系列画像の連結ポイントが必要である。これは同一地物ポイントの隣接画像上の位置という。大量の連結ポイントが必要であるため、できる限り自動取得が望ましい。しかし、画像データだけを利用して画像連結ポイントの取得には以前から写真測量の難題であるため、自動的に大量の連結ポイントの取得は大きい課題である。本発明ではレーザーセンサーから直接地物表面の３次元座標を求める特徴を利用して、系列画像間の画像連結ポイントの自動取得ための信頼できるマッチング方法を開発した(Ｓ１１)。
【００１３】
図２は隣接画像だけを利用して画像連結ポイントの自動抽出は困難であることを示す。左写真のＡポイントに対して、右写真に幾つ似ているポイントが存在する。エピポラーラインを条件にして右画像のＢポイントをマッチングして取得することができるが、ポイントがエピポラーラインと並行にある場合、Ｂポイントのマッチングがほぼ不可能である。しかし、レーザー３次元点群データがある場合、Ａポイントが左写真上に１つの３次元ポイントに位置するに対して、写真測量の投影方法を利用して、右写真で同じ位置のＢポイントを取得することができる。
【００１４】
自動抽出した大量の系列画像間の連結ポイントおよび既存の地面基準点（ＧＣＰ）を利用して、バンドル調整計算に基づいて画像センサーの位置及び姿勢を最適化計算することができる(Ｓ１２)。
【００１５】
写真測量の基本方程式（数１）は、１つの連結ポイントに対して、所在画像毎に１つの方程式が存在する。
【００１６】
【数１】
【００１７】
数１に示すｘpとｙpは連結ポイントの画像上の写真座標、ｘ0，ｙ0，ｆ，△ｘ，△ｙは画像センサーの内部標定要素およびセンサーの変形パラメータである。これらのパラメータはセンサーを標定したときに得られる。Ｘ，Ｙ，Ｚは求める連結ポイントの３次元座標である。他の重要な未知数はセンサー位置パラメータＸｓ，Ｙｓ，Ｚｓと姿勢パラメータを含むａ1，ａ2，ａ3，ｂ1，ｂ2，ｂ3，ｃ1，ｃ2，ｃ3である。未知パラメータの初期値はセンサーの初期定位情報から求められる。これは後の最適化処理に対してとても重要である。数２は、数１を他の形式で表現したものである。
【００１８】
【数２】
【００１９】
数２において、ｌは連結ポイントの画像座標観測値、ｘは未知パラメータを示す。この方程式を一次方程式に変換して、次に示す数３を求める。
【００２０】
【数３】
【００２１】
数３において、ｆ（ｘ0）はポイントの推測値、Ａはヤコビマトリックス、δは未知数の推測値と連結ポイントの初期値の差分である。δを未知数の初期値に加えて、未知数は初期値より正確な推測値を得ることができる。次項に示す最小二乗法方程式（数４）を成立させる。
【００２２】
【数４】
【００２３】
このような時系列画像の最適化処理により、オリジナルセンサー位置（初期センサー位置）情報より更に高精度の位置情報が得られる。ここで撮影地点の画像センサーの位置と姿勢情報の最適化処理を行うだけで、図３のように、最適化したポイントの位置情報とＧＰＳ／ＩＭＵ測位システムのオリジナル測位データを統合して計算しなければならない。求められた位置情報を最適化したポイントに通過させる。これによって、レーザーセンサーの位置情報が最適化処理、補正される(Ｓ１３)。このような位置情報を利用して地物の高精度的な位置測定情報が得られる。
【００２４】
それから地物の測定を行う(Ｓ１４)。上記得られたセンサーの最適位置と姿勢情報を利用して、直接定位方法（Direct Georeference）に基づいて高精度の地物位置を求める。本発明は画像データとレーザーデータを融合した地物測定方法を提出した。この方法は濃淡のない地物の任意ポイントの測定が可能になる。しかし、ステレオ画像マッチングだけを利用する場合、濃淡のない地物の位置測定が不可能である。図４は３次元レーザー点群データを利用して、濃淡のない路面の３次元位置の測定を示す。レーザーデータがない場合とても困難である。
【００２５】
図７を参照しながら、これまで説明した道路地物位置測定方法を実施するための車両について説明する。車両１０１は、その天井に２台のステレオカメラ（画像センサー）１０３Ｒ，１０３Ｌと、ＧＰＳ（全地球測位システム）の一部を構成するＧＰＳアンテナ１０５，１０５と、レーザーセンサー１０７と、を備えている。車両１０１の内部には、ＩＭＵセンサー（慣性姿勢計測装置）１０９と、ＧＰＳシステムの一部として、また、各センサーから得たデータを処理して地物を測定する地物位置測定装置として機能するコンピュータ１１１を搭載してある。ステレオカメラ１０３Ｌは車両１０１の進行方向に向かって左側のカメラであり、ステレオカメラ１０３Ｒは同じく右側のカメラである（図７では、ステレオカメラ１０３Ｌの裏側で見えない）。ＧＰＳアンテナ１０５は、少なくとも１個あれば足りるが、本実施形態ではより正確なデータを得るために２個とした。必要に応じて３個以上とすることもできる。車両１０１に搭載したレーザーセンサー１０７は１個であるが、複数でもよい。たとえば、車両１０１の屋上の四隅に各々１個合計４個を設置すると、前方の２個のみでは検知できなかった地物（たとえば、電柱や樹木の進行方向側裏側）等を後方の２個との併用によって検知することができる。つまり、上記した電柱や樹木の逆進行方向側裏側は前方２個のレーザーセンサーによって検知可能であるが、その電柱や樹木を通過したときに進行方向側の裏側は前方２個のレーザーセンサーの背面に位置するため検知不能である（死角となる）。この点、後方にも併せて２個のレーザーセンサーを配しておくことによって、上記進行方向側裏側の死角部分をも検知可能となる。上記の各センサーから得たデータは、コンピュータ１１１によって処理され、これによって地物位置の測定が行われる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係るアルゴリズム(方法)を示すフローチャートである。
【図２】時系列画像とレーザー点群の融合に基づく連結ポイント自動抽出を説明する図である。
【図３】画像センサーとレーザーセンサーの位置最適化処理を説明する図である。
【図４】画像とレーザーの融合に基づく地物測定方法を説明する図である。
【図５】画像とレーザーの融合に基づく地物測定例を示す図である。
【図６】地物位置測定方法の手順を示すフローチャートである。
【図７】地物位置測定方法を実施するための車両及び地物位置測定装置を示す図である。
【符号の説明】
【００２７】
１０１ 車両
１０３Ｒ，Ｌ ステレオカメラ
１０５ ＧＰＳアンテナ
１０７ レーザーセンサー
１０９ ＩＭＵセンサー
１１１ コンピュータ
【特許請求の範囲】
【請求項１】
ＧＰＳ／ＩＭＵの測位データを用いて、kalmanフィルタに基づく画像センサー及びレーザーセンサーの初期位置および姿勢情報を取得する位置・姿勢取得ステップと、
当該画像センサーと当該レーザーセンサーの初期位置及び姿勢情報、当該画像センサーの画像データ、並びに当該レーザーセンサーのレーザーデータを融合した連結ポイントを自動抽出する自動抽出ステップと、
当該取得した画像連結ポイント及び地面基準点を利用して、バントル調整計算手法に基づいて撮影地点における当該画像センサーの位置及び姿勢を最適化処理することによって当該画像センサーの撮影地点における位置と姿勢情報を取得する位置・姿勢最適化ステップと、
当該画像センサー及び当該レーザーセンサーの位置と姿勢最適化処理から当該画像センサー及び当該レーザーセンサーの撮影地点間における任意地点の最適位置と姿勢情報を取得する位置・姿勢最適情報取得ステップと、
当該画像センサー及びレーザーセンサーの最適化位置及び姿勢情報を用いて、画像データとレーザーデータを融合した道路地物位置測定を直接定位方法に基づいて行う地物位置測定ステップと、を含めてなる
ことを特徴とする地物位置測定方法。
【請求項１】
ＧＰＳ／ＩＭＵの測位データを用いて、kalmanフィルタに基づく画像センサー及びレーザーセンサーの初期位置および姿勢情報を取得する位置・姿勢取得ステップと、
当該画像センサーと当該レーザーセンサーの初期位置及び姿勢情報、当該画像センサーの画像データ、並びに当該レーザーセンサーのレーザーデータを融合した連結ポイントを自動抽出する自動抽出ステップと、
当該取得した画像連結ポイント及び地面基準点を利用して、バントル調整計算手法に基づいて撮影地点における当該画像センサーの位置及び姿勢を最適化処理することによって当該画像センサーの撮影地点における位置と姿勢情報を取得する位置・姿勢最適化ステップと、
当該画像センサー及び当該レーザーセンサーの位置と姿勢最適化処理から当該画像センサー及び当該レーザーセンサーの撮影地点間における任意地点の最適位置と姿勢情報を取得する位置・姿勢最適情報取得ステップと、
当該画像センサー及びレーザーセンサーの最適化位置及び姿勢情報を用いて、画像データとレーザーデータを融合した道路地物位置測定を直接定位方法に基づいて行う地物位置測定ステップと、を含めてなる
ことを特徴とする地物位置測定方法。
【図１】
【図３】
【図４】
【図６】
【図７】
【図２】
【図５】
【図３】
【図４】
【図６】
【図７】
【図２】
【図５】
【公開番号】特開２００９−１２１９４５（Ｐ２００９−１２１９４５Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９６２２８（Ｐ２００７−２９６２２８）
【出願日】平成１９年１１月１５日（２００７．１１．１５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 研究集会名 平成１９年８月博士課程終了予定者最終論文審査会 主催者名 国立大学法人東京大学 開催日 平成１９年８月２１日
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【出願人】（５０６１０６９９２）株式会社ディーイーテック (3)
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１５日（２００７．１１．１５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 研究集会名 平成１９年８月博士課程終了予定者最終論文審査会 主催者名 国立大学法人東京大学 開催日 平成１９年８月２１日
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【出願人】（５０６１０６９９２）株式会社ディーイーテック (3)
[ Back to top ]