レーザースキャンされたポイントの集合体を用いて選択的圧縮マスクを生成する方法
本発明は、モバイルマッピングシステムのカメラデータを処理する方法に関し、ａ）前記モバイルマッピングシステム（１０１）の少なくとも１つのカメラ（９（ｊ））からカメラデータを取得する工程と、ｂ）前記カメラデータにおける少なくとも１つの領域を検出する工程と、ｃ）第１領域におけるカメラデータに圧縮技術を適用する工程とを有する。前記方法は、更に、少なくとも第１レンジセンサ（３（１））から、レンジセンサデータ（１０１）を取得する工程を有する。前記レンジセンサデータは、少なくとも部分的に前記カメラデータに対応する。また、前記工程ｂ）が前記レンジセンサデータを用いて前記カメラデータ（１０２）における前記少なくとも１つの領域を認識する工程を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイルマッピングシステム（ＭＭＳ）からのカメラデータを処理する方法、コンピュータ装置、そのようなコンピュータ装置を含むデータ処理システム、コンピュータープログラム、及びそのようなコンピュータプログラムが供給されたデータキャリアに関する。
【背景技術】
【０００２】
いくつかのＭＭＳアプリケーションにおいて、その主な目的は、例えば、カーナビゲーションシステムにおいて用いられる、通りの「実世界」２Ｄ及び／または３Ｄ画像で後で用いられる、建物の外観や、木、道路標識、街頭等のその他の固定のオブジェクトの画像を撮影することである。そして、これらの画像は、ドライバーが車の窓を通して見たときの実世界の景色に対応する２Ｄ及び／または３Ｄ画像をナビゲーションシステムの画面上で見ることができるように、そのようなナビゲーションシステムを有する車のドライバーに表示される。そのような画像は、カーナビゲーションシステム以外の他のアプリケーション、例えば、スタンドアローンシステムまたはネットワーク環境において協動するコンピュータ上で遊ぶことのできるゲームで用いることもできる。そのような環境はインターネットであってもよい。以下に示す本発明の解決法は、特定のアプリケーションに限られるものではない。
【０００３】
画像は収集されて格納され、道路網の相当の部分をカバーするために多くの画像が撮影されるにつれ、非常に大きなデータサイズとなる。従って、画像データは、おそらく複数のカメラから得られる多くの像のフレームを含む。画像データを管理可能なサイズに減らすために、圧縮技術を用いることができる。一般的に、画像の品質は圧縮量に反比例する。このことは、可能な圧縮技術が画像データに適用されるのにも関わらず、交通標識などのアイテムを認識可能／判読可能に保たなければいけないことからすると、不利である。
【０００４】
従来例によれば、各画像における異なる注目領域を識別し、第１の注目領域では（比較的高い）第１圧縮因数を用い、第２の注目領域では（比較的低い）第２圧縮因数を用いる技術はすでに知られている。これにより、交通標識などの価値の高い情報を捨てること無く、比較的高いデータサイズ削減を確実に行うことができる。この技術は、ラスター画像（例えばカメラデータ）の差分圧縮と呼ばれ、近頃の文書スキャン圧縮システムの主な構成要素となっている。
【０００５】
これらの従来例の解決法（例えば、Luratech社のLuraDocument）の殆どは、テキスト認識を、注目領域を識別する手段として用いている。そのようなシステムの根底となる仮定は、非テキスト領域をより高いレートで圧縮（すなわち、よりロスが多くなる）してもよいということである。そのようなアルゴリズムは、演算コストが高く、複雑で、ＭＭＳデータに適用された場合、コンピュータ能力にかなりの負担をかけならないだろう。また、テキスト認識アルゴリズムは、認識のために、フォント、文字間隔、テキストの向きの前提を必要とする。最も重要なのは、そのような技術がテキストを含む注目領域を認識することに限られていることである。
【０００６】
２００６年１０月３０日に提出され、本願の出願時には公開されていなかったPCT/NL2006/050269は、ある被写体を認識するために、スキャナを用いて画像における領域を探すことにより画像認識を補助するシステムについて記載している。PCT/NL2006/050269は、領域を探すことについてのみ言及しているが、カメラデータ量を管理することの問題について、何も述べていない。
【０００７】
２００７年１１月７日に提出され、本願の出願時には公開されていなかったPCT/NL2007/050541は、例えば、個人の機密データをカメラデータから削除するために、ある被写体を識別するためにどのようにスキャナデータを用いることができるかについて記載している。ここでも、この文書はカメラデータ量を管理することの問題について、何も述べていない。
【０００８】
本発明は、比較的少ないコンピューター能力を用いて実行することができる差分圧縮アルゴリズムを提供することを目的とする。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】PCT/NL2006/050269(WO2008/054203(A1))
【特許文献２】PCT/NL2007/050541(CA2705019(A1))
【発明の概要】
【００１０】
一様態によれば、モバイルマッピングシステムのカメラデータを処理する方法であって、
ａ）前記モバイルマッピングシステムの少なくとも１つのカメラからカメラデータを取得する工程と、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出する工程と、
ｃ）第１領域におけるカメラデータに圧縮技術を適用する工程とを有し、
前記方法が、更に、少なくとも第１レンジセンサから、少なくとも部分的に前記カメラデータに対応するレンジセンサデータを取得しする工程を有し、前記工程ｂ）が前記レンジセンサデータを用いて前記カメラデータにおける前記少なくとも１つの領域を認識することを特徴とする方法を提供する。
【００１１】
更に、別の様態によれば、プロセッサと、前記プロセッサに接続されたメモリとを含むコンピュータ装置であって、前記メモリは前記プロセッサに以下の処理を行わせるデータと命令とを含むコンピュータプログラムを有し、前記プロセッサは、
ａ）前記モバイルマッピングシステムの少なくとも１つのカメラからカメラデータを取得し、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出し、
ｃ）第１領域におけるカメラデータに第１圧縮技術を適用し、
前記プロセッサは、更に、少なくとも第１レンジセンサから、少なくとも部分的に前記カメラデータに対応するレンジセンサデータを取得することができ、前記処理ｂ）が前記レンジセンサデータを用いて前記カメラデータにおける前記少なくとも１つの領域を認識する処理を行うことを特徴とするコンピュータ装置を提供する。
【００１２】
また、一様態によれば、上記記載のコンピュータ装置と、移動体システムとを有するデータ処理システムであって、前記移動体システムが、時間、位置、方位データを供給するための位置判定システムと、前記第１レンジセンサデータを供給するための少なくとも第１レンジセンサと、前記画像データを供給するための少なくとも１つのカメラとを含むことを特徴とするデータ処理システムを提供する。
【００１３】
また、一様態によれば、コンピュータに、上記記載の方法の各工程を実行させるためのプログラムを提供する。
【００１４】
また、一様態によれば、そのようなプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体を提供する。
【００１５】
なお、提供された実施形態は、テキストを基準とした従来技術の解決方法よりも、計算コストが少なく、より簡素である。本実施形態におけるように、レンジセンサを用いることで、交通標識（平面オブジェクト）を見分ける為に、認識すべきテキストのフォント、文字間隔、向きに関する前提が必要なくなる。また、本実施形態はテキストを見分けることだけに限らず、他の多くのオブジェクトを見分けることができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、カメラとレーザースキャナとを有するＭＭＳシステムを示す図である。
【図２】図２は、位置及び方位パラメータを示す図である。
【図３】図３は、２台のカメラと２つのレンジセンサが屋根に取り付けられた車の概略上面図である。
【図４ａ】図４ａは、本発明を実行可能なコンピュータ装置を示す図である。
【図４ｂ】図４ｂは、本発明の実施形態にかかるフローチャートである。
【図５】図５は、一実施形態にかかるカメラデータを示す図である。
【図６】図６は、一実施形態にかかるレンジセンサデータを示す図である。
【図７】図７は、一実施形態にかかる仕切られた領域を示す図である。
【図８ａ】、
【図８ｂ】図８ａ及び８ｂは、カメラデータに投影されたセンサデータを示す図である。
【図９】図９は、カメラデータにおける注目領域を示す図である。
【図１０】図１０は、一実施形態にかかるカメラデータを示す図である。
【発明を実施するための形態】
【００１７】
図を参照して、本発明を詳細に説明するが、図は本発明の実施形態を表すことを目的としており、発明の範囲を限定するものではない。本発明の範囲は、添付の請求項及び技術的に同等なものにより定義される。
【００１８】
本発明は、主に、モバイルマッピングシステム（ＭＭＳ）におけるカメラが撮影した画像の処理に関する。更に詳しくは、いくつかの実施形態において、本発明はそのような画像の処理に関する。しかしながら、添付の請求項の範囲が及ぶその他のアプリケーションが除外されるものではない。例えば、カメラは、飛行機や船舶などの他の適する運送手段によって運ぶことができる。
【００１９】
図１は、車１の形態を取るＭＭＳシステムを示す。車１には、１以上のカメラ９（Ｉ）、Ｉ＝１、２、３、…Ｉ、及び１以上のレーザースキャナ３（ｊ）、ｊ＝１、２、３…Ｊが備えられている。
【００２０】
ここでは、カメラ９（ｉ）が撮影したデータをカメラデータと呼ぶ。これは２Ｄデータである。スキャナ３（ｊ）によって得られたデータをスキャナデータと呼ぶ。これは、３Ｄデータである。カメラデータとスキャナデータとを合わせてＭＭＳデータと呼ぶ。
【００２１】
レンジセンサ
少なくとも２つ以上のレーザースキャナ３（ｊ）からの情報を用いることができる。ドライバーは、目的の道路を車１で走ることができる。レーザースキャナ３（ｊ）は、いくつかの方角の組について、レンジセンサとレンジセンサにより感知されたオブジェクトとの距離を検出することのできるどのような種類のレンジセンサにも置き換えることができる。このような代わりのレンジセンサは、例えば、レーダーセンサやライダー（LIDAR）センサである。レーダーセンサを用いる場合、その範囲及び方角計測データは、レーザースキャナで得ることができるものと互換性がなければならない。
【００２２】
レンジセンサは、異なるオブジェクトに関するそのようなポイント集合体を提供する。異なるオブジェクトは同じ場所に無いため、そのようなポイント集合体のそれぞれに関連するポイントは、どのオブジェクトに属するかに応じて、明らかな異なるレンジセンサまでの距離及び／またはレンジセンサへの方角を示す。従って、レンジセンサに応じたこれら範囲の差を用いることで、異なるオブジェクトに対するマスクを簡単に作ることができる。そして、これらのマスクは、カメラが撮影した画像におけるオブジェクトを識別するために、その画像に適用することができる。これは、それらのオブジェクトを識別するための信頼できる方法であり、画像データにのみ依存するよりも簡単であることが分かった。
【００２３】
レーザースキャナデータは多くの画素を有しており、各画素は向き情報、すなわち、特定の画素を取得するときに向けられたレーザースキャナの向き、及び距離情報、すなわち、レーザースキャナと検出されたオブジェクトとの間の距離を有する。
【００２４】
一実施形態では、レンジセンサ／レーザースキャナ３（ｊ）は、ここで説明する実施形態のために充分に密な出力を生成するために、最低５０Ｈｚで１度の解像度を生成するように構成される。ジック株式会社により製造されたLMS291-S05モデルのようなレーザースキャナは、そのような出力を生成することができる。このようなレーザースキャナは、交通標識などのようなアイテムを検出するために充分な解像度を提供する。
【００２５】
画像センサ
「カメラ」という用語は、例えば、Ladybug（登録商標）を含む、どのようなタイプの画像センサも含む。
【００２６】
ＭＭＳシステムにおけるカメラは、同じシーンの重なる部分を有する複数の画像を描画するように、素早く連写画像を撮影することができる。そのような重なる部分では、撮影されたオブジェクトを複数の画像において見ることができる。
【００２７】
本発明の原則は、例えば、レーザー、レーダーまたはライダー（LIDAR）など、どのようなタイプのレンジセンサを使用しているときにも適用することができる。画像は、適切な運送手段（例えば、飛行機）によって運ばれる、どのようなタイプのカメラによっても撮影することができる。
【００２８】
車１には、複数の車輪２が備えられている。更に、車１には、高精度の位置／方位決定システムが備えられている。そのようなシステムは、車１の位置及び方位について、自由度６のデータを提供するように構成されている。図１に一実施形態を示す。図１に示すように、位置／方位決定システムは、以下のデバイスを含む：
【００２９】
●アンテナ８に接続され、複数の衛星ＳＬｋ（ｋ＝１、２、３、…）と通信するように構成され、衛星ＳＬｋから受信した信号から位置信号を算出するＧＰＳ（global positioning system）ユニット。ＧＰＳユニットは、マイクロプロセッサμＰに接続されている。マイクロプロセッサμＰはＧＰＳユニットから受信されたデータを時間に伴って格納するように構成されている。更なる処理を行うために、そのようなデータを外部コンピュータ装置に送ってもよい。一実施形態においては、マイクロプロセッサμＰは、ＧＰＳユニットから受信した信号に基づいて、車１のモニタ４に表示するのに適した表示信号を決定し、車がどこにいるか、及び、どの方向に進んでいるか、（注：一般的にＧＰＳが用いられる。及び元々の米国国防総省のＧＰＳと同様に、ヨーロッパのGalileoまたはロシアのGLONASSなどのシステムも「ＧＰＳ」を構成することがある。）をドライバーに知らせる。
【００３０】
●ＤＭＩ（距離計測装置）。この装置は、１以上の車輪２の回転数を感知することにより、車１の走行距離を計測する走行距離計である。ＤＭＩもまた、マイクロプロセッサμＰに接続されている。マイクロプロセッサμＰは、ＤＭＩから受信したデータを時間に伴って格納するように構成されている。そのようなデータも、更なる処理のために外部コンピュータに送信しても良い。一実施形態において、マイクロプロセッサμＰは、ＧＰＳユニットからの出力信号から表示信号を算出する間、ＤＭＩによって計測された距離を考慮に入れる。
【００３１】
●ＩＭＵ（内部計測ユニット）。このようなＩＭＵは、回転加速度を計測するために備えられた３つのジャイロユニット及び、３つの直交方向に沿った３つの並進運動加速器として実現することができる。ＩＭＵもまた、マイクロプロセッサμＰに接続されている。マイクロプロセッサμＰは、ＩＭＵから受信したデータを時間に伴って格納するように構成されている。そのようなデータも、更なる処理のために外部コンピュータに送信しても良い。
【００３２】
図１に示すようなシステムは、例えば、車１に搭載された１以上のカメラ９（ｉ）で画像を撮影することにより、地理的データを収集する。カメラは、マイクロプロセッサμＰに接続されている。そして、レーザースキャナ３（ｊ）は、目的の道路を車１が走行している間に、レーザーサンプルを取得する。従って、レーザーサンプルは、これらの目的の道路に付随する周辺の状況に関するデータを含み、例えば、建物のブロック、木、交通標識、駐車車両、人などに関するデータを含む。
レーザースキャナ３（ｊ）もまた、マイクロプロセッサμＰに接続され、これらのレーザーサンプルをマイクロプロセッサμＰに送る。
【００３３】
ＧＰＳ、ＩＭＵ及びＤＭＩの３つの計測装置から、できるだけ正確な位置及び方位計測結果を提供することは、一般的な要望である。これらの位置及び方位データは、カメラ９（ｉ）が写真を撮影し、レーザースキャナ３（ｊ）がレーザーサンプルを取得する間に計測される。画像（カメラデータ）及びレーザーサンプル（スキャナデータ）は共に、後で用いるために、これらの画像及びレーザーサンプルを取得したときの、対応する車１の位置及び方位データに関連づけて、マイクロプロセッサμＰの適したメモリ内に保存する。ＧＰＳ、ＩＭＵ、ＤＭＩ、カメラ９（ｉ）及びレーザースキャナ３（ｊ）からのすべてのデータを将来的に相互に関連づけるための別の方法は、これらすべてのデータにタイムスタンプを押し、タイムスタンプを押したデータを他のデータと結びつけてマイクロプロセッサのメモリに格納することである。他の時間同調マーカーを代わりに用いてもよい。
【００３４】
画像及びレーザーサンプル（それぞれ、カメラデータ及びスキャナデータ）は、例えば、建物のブロックの外観や交通標識等の情報を含む。
【００３５】
図２は、図１に示す３つの計測ユニットＧＰＳ、ＤＭＩ、ＩＭＵからどのような位置信号を得ることができるかを示している。図２は、マイクロプロセッサμＰが６つの異なるパラメータ、すなわち、予め決められた座標系における、原点に対する３つの距離パラメータｘ、ｙ、ｚと、それぞれがｘ軸、ｙ軸、ｚ軸を中心とした回転を定義する、３つの角度パラメータωｘ、ωｙ、ωｚを計算するように構成されている。ｚ方向は、重力ベクトルの方向のｚ方向に一致する。
【００３６】
図３は、２つのレンジセンサ３（１）、３（２）（レーザースキャナであってもよいが、別の例として、例えば、レーダーであっても良い。）と、２つのカメラ９（１）、９（２）を有するＭＭＳを示す。２つのレンジセンサ３（１）、３（２）は、車１の進行方向に対し、車１の右側を向くように、車１の屋根に配置されている。レンジセンサ３（１）のスキャン方向をＳＤ１と呼び、レンジセンサ３（２）のスキャン方向をＳＤ２と呼ぶ。カメラ９（１）も右側、つまり、車１の進行方向に対して垂直な方向を向いている。カメラ９（２）は、進行方向を向いている。この設定は、車両が右側を通行するすべての国に適している。この設定は、車両が道の左側を通行するすべての国では、カメラ９（１）及びレーザースキャナ３（１）、３（２）が車の屋根の左側に設置されるように変更することが好ましい（ここでも、「左」は、車１の進行方向に向かって定義されている）。なお、当業者であれば、これ以外の多くの構成を用いることが可能であることは、理解されるであろう。例えば、１つのレンジセンサ３（１）を車１の右側に配置し、２つ目のレンジセンサ３（２）を車１の左側に配置しても良い。勿論、レーザースキャナが１つであっても良い。
【００３７】
車１のマイクロプロセッサは、コンピュータ装置により実現することができる。そのようなコンピュータ装置の一例を図４ａに示す。
【００３８】
図４ａは、計算処理を行うためのプロセッサ１１を有するコンピュータ装置１０の全体を示す。
【００３９】
プロセッサ１１は、ハードディスク１２、読み出し専用メモリ（ＲＯＭ）１３、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）１４、及びＲＡＭ（Random Access Memory）１５を含む、複数のメモリ構成部分に接続されている。これらのメモリタイプが必ずしもすべて無くてもよい。更に、これらのメモリ構成部分はプロセッサ１１の側に位置していなくても良く、プロセッサ１１から離れた場所にあっても良い。
【００４０】
プロセッサ１１はまた、キーボード１６やマウス１７などの、ユーザが指示やデータを入力するための手段に接続されている。タッチスクリーン、トラックボール，及び／または音声変換器などの、当業者に知られている他の入力手段を供給しても良い。
【００４１】
プロセッサ１１に接続された読み出し部１９が備えられている。読み出し部１９は、フロッピー（登録商標）ディスク２０またはＣＤＲＯＭ２１などのデータキャリアからデータを読み出したり、または可能であればデータを書き込んだりするように構成されている。他のデータキャリアとしては、当業者に知られているように、例えばテープ、ＤＶＤ、ＣＤ−Ｒ、ＤＶＤ−Ｒ、メモリスティックなどがある。
【００４２】
プロセッサ１１は、出力データを紙に印刷するためのプリンタ２３と、例えば、モニターやＬＣＤ（Liquid Crystal Display）スクリーン、または、当業者に知られている他のタイプの表示器などの表示器１８に接続されている。
【００４３】
プロセッサ１１をスピーカ２９に接続してもよい。
【００４４】
プロセッサ１１は、例えば、ＰＳＴＮ（Public Switched Telephone Network）、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネットなどの通信ネットワーク２７に、Ｉ／Ｏ手段２５により接続してもよい。プロセッサ１１は、ネットワーク２７を介して、他の通信装置と通信するように構成しても良い。道路を移動しながら車両がデータを集めている時には、これらの接続が、リアルタイムですべてに接続されていなくても良い。
【００４５】
データキャリア２０、２１は、実施形態に応じた方法を実行する能力をプロセッサに提供するように構成された、データ及び指示の形式のコンピュータプログラムであってもよい。しかしながら、そのようなコンピュータプログラムは、別の例として、遠隔通信ネットワーク２７を介してダウンロードしても良い。
【００４６】
プロセッサ１１は、スタンドアローンのシステムとして、またはそれぞれが大きなコンピュータプログラムのサブタスクを実施する複数のパラレル処理プロセッサとして、または、いくつかのサブプロセッサを有する１以上のメインプロセッサとして実現することができる。本発明の機能の一部は、ネットワーク２７を介してプロセッサ１１と通信する遠隔プロセッサにより実施することもできる。
【００４７】
車１に応用した場合、コンピュータ装置は、図４ａに示すすべての構成を持つ必要は無いことが分かる。例えば、コンピュータ装置はその場合、スピーカー及びプリンタを有さなくてもよい。車１で実施する場合、コンピュータ装置は、少なくとも、プロセッサ１１、適切なプログラムを格納するためのいくつかのメモリ、及びオペレータからの指示及びデータを受けるとともに、オペレータに出力データを示すための何らかの種類のインタフェースが必要である。
【００４８】
カメラ９（ｉ）、レーザースキャナ３（ｊ）及び、位置／方位計測システムによりそれぞれ得られた、画像、スキャン及び格納された位置及び方位データを後処理するために、車１上には無いかもしれないが、従来はオフラインでの後処理するために建物内にある、図４ａに示す物と同様の構成を用いることができる。カメラ９（ｉ）、スキャナ３（ｊ）、及び位置／方位計測システムにより得られた画像、スキャン及び位置／方位データは、メモリ１２〜１５のいずれかに保存される。これは、まずＤＶＤやメモリスティック等に格納することにより実行するか、または、メモリ１２、１３、１４、１５から、できれば無線により送信することにより実行することができる。計測値にはすべてタイムスタンプを付すことが好ましく、これらの様々な時間計測値も格納される。
【００４９】
実施形態
実施形態によれば、スキャナデータは、カメラデータ内の差分圧縮パラメータを設定するために、カメラデータにおける領域をマスク処理するためのマスクを生成するために用いられる。そのため、スキャナデータは、カメラデータにおける領域を決定するために用いられる。この領域は注目領域で、異なる注目領域はそれぞれに割り当てられた異なる注目レベルを有する。そして、異なる圧縮パラメータは、異なる注目レベルに適している。
【００５０】
そのため、モバイルマッピングシステムのカメラデータを処理する方法であって、
ａ）前記モバイルマッピングシステムの少なくとも１つのカメラ９（ｊ）からカメラデータを取得する工程と、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出する工程と、
ｃ）第１領域におけるカメラデータに圧縮技術を適用する工程とを有し、
前記方法が、更に、少なくとも第１レンジセンサ（３（１））から、少なくとも部分的に前記カメラデータに対応するレンジセンサデータを取得しする工程を有し、前記工程ｂ）が前記レンジセンサデータを用いて前記カメラデータにおける前記少なくとも１つの領域を認識することを特徴とする方法を提供する。
【００５１】
該方法は更に、
ｄ）第２領域における前記カメラデータに第２圧縮技術を適用する。少なくとも２つの領域は、異なる注目レベルを有する注目領域であっても良い。前記第１圧縮技術は第１圧縮因子を適用する工程を含み、前記第２圧縮技術は第２圧縮因子を適用する工程を含んでもよく、前記第２圧縮因子は、前記第１圧縮因子よりも大きい。勿論、これは逆、すなわち、第１圧縮因子が第２圧縮因子よりも小さくても良い。
【００５２】
これにより、第１領域に第１の圧縮技術を用い、第２領域に第２の技術を用いることができる。第１の圧縮技術では、第１圧縮因子（比較的高いデータ削減）を用いてもよい。第２の技術では、第２圧縮因子（比較的低いデータ削減）を用いる第２の圧縮技術を用いてもよい。
【００５３】
本実施の形態は、スキャナデータを用いて、カメラデータにおける領域を決定するアルゴリズムを用いる。このアルゴリズムは、領域検出アルゴリズムと呼ばれている。このような領域検出アルゴリズムの例を以下に示す。領域検出アルゴリズムは柔軟性があり、異なるアプリケーション、異なる領域（都市、田園、工業地帯など）毎に、異なっていてもよい。
【００５４】
そのため、前記工程ｂ）が、前記少なくとも１つの領域を検出するために、領域検出アルゴリズムを前記レンジセンサデータに適用する工程を含んでいても良い。前記領域検出アルゴリズムは、
１）所定距離または領域基準内にある、
２）平面、
３）特定のオブジェクト（またはオブジェクトクラス）、
４）特定のオブジェクト（またはオブジェクトクラス）ではない、
５）予め決められた特徴を有する表面、
である領域を検出するように構成することができる。
【００５５】
オブジェクトクラスは、例えば、木、車、人間などである。予め決められた特徴を有する表面は、例えば、ある決められた寸法を有するか、または、予め決められた形状（円形、三角形、正方形）を持つ平面の表面である。
【００５６】
本実施形態では、カメラデータ内の領域を検出するために、カメラデータ以外の情報を利用する。カメラデータ及びスキャナデータは、空間分析を用いて相互に関連付けられる。
【００５７】
スキャナデータをカメラデータに関連付けるまたは投影する処理は、ここで説明するようにして行うことができる。スキャナデータにはタイムスタンプが付される。このタイムスタンプは、後で、その瞬間の車１の厳密な位置及び方位を計算するために使用することができる。車１の位置及び方位は、ＧＰＳ（global positioning system）ユニット、ＤＭＩ（距離計測装置）及び／またはＩＭＵ（内部計測ユニット）により得られたログデータから推定することができる。車に対するレーザースキャナの位置及び方位は分かっているので、各レーザースキャナの点を実世界座標において計算することができる。
【００５８】
また、カメラデータにはタイムスタンプが付されており、車に対するその位置及び方位は分かっている。従って、カメラデータについて、実世界座標及び方位を判断することができる。そのため、スキャナデータとカメラデータの双方について、厳密な位置及び方位データを入手することができる。
【００５９】
カメラレンズパラメータ（焦点距離、キャリブレーションされた光学歪み）からの情報を利用することで、簡単な射影方程式を用いて、各スキャナデータをカメラデータの座標空間にマッピングすることができる。従って、画像データの各画素を、深さ、または、カメラで検出されたオブジェクトまたは表面に関連付けることができる。スキャナデータの解像度は、通常、画像データよりも低いため、レーザースキャナデータの集合が通常必要となる。これは、レーザースキャナポイントからメッシュを生成して、そのメッシュをカメラデータにマッピングするか、または、各レーザーポイントを画像座標にマッピングして、拡張などの画像技術を用いて画像空間で推定することにより行うことができる。
【００６０】
従って、スキャナデータ及びカメラデータは、実際には、画像データ及び画像空間基準データの２種類の情報を含んでいる。画像データは画像そのもの（点の集合体または複数の画素）を形成し、画像空間基準データは、どこで、またどの方向で画像が撮影されたかを定義した（メタ）情報を含む。画像空間基準データは、例えばｘ、ｙ、ｚ及びα、β、γからなる６つのエントリを含んでもよく、ここでは、ｘ、ｙ、ｚ座標は特定のカメラ９（ｊ）またはレンジセンサ３（ｉ）の（相対）位置を定義するために用いられ、α、β、γは、特定のカメラ９（ｊ）またはレンジセンサ３（ｉ）の特定のカメラまたはレーザースキャナの（相対）方向を定義する角度である。
【００６１】
フローチャート
図４ｂは、本実施形態のフローチャートを示す。このフローチャートは、このフローチャートを行う能力をプロセッサ１１に供給するように構成されたデータ及び命令の形式で、符号化されていてもよい。データと命令はメモリに格納され、プロセッサ１１により読み出し及び実行可能としてもよい。
【００６２】
最初の動作１０１で、コンピュータ装置１０はＭＭＳデータを上述したようにして取得する。この動作の結果、図４ｂに概略的に示すように、スキャナデータとカメラデータとが得られる。
【００６３】
第２の動作１０２において、コンピュータ装置１０はスキャナデータを用いて領域を検出する。このために異なる領域検出アルゴリズムを用いても良い。領域は、注目レベルを割り当てることのできる注目領域である。例えば、いくつかの領域には第１注目レベルが割り当てられ（例えば、平面オブジェクトは、交通標識である可能性が高い）、他のオブジェクトには、第１注目レベルよりも低い第２注目レベルが割り当てられる（例えば、所定距離よりも遠くにある領域、または、特定のオブジェクト（またはオブジェクトクラス）に関連付けられた領域）。
【００６４】
第１の領域検出アルゴリズムによれば、領域は例えば、車１から１０メートルなどの所定距離または領域内にある領域として定義される。スキャナデータは距離情報を含むため、車１から所定距離内にあるカメラデータにおける全ての領域を簡単に判断することができる。勿論、所定距離は、車１に対してだけではなく、カメラ９（Ｉ）、Ｉ＝１、２、３、…Ｉ、またはレーザースキャナ３（ｊ）、ｊ＝１、２、３、…Ｊに対して定義しても良い。
【００６５】
また、領域は車に対して、所定領域内にある領域として定義しても良く、所定領域は、立方体の形状の領域、またはその他適した形状、例えば菱形、円筒、球の弧などの形状の領域であってもよい。
【００６６】
所定距離または領域外の全ての領域は第１領域と定義し、所定距離または領域内の領域は第２領域と定義することができる。なお、領域は必ずしもまとまっている必要はない。以下に説明するように、差分圧縮に渡される独立ピクセルのセットであるマスクが生成される。
【００６７】
本実施形態によれば、例えば、ポリゴンを形成するメッシュ生成を用いた集合技術を用いて、検出された領域は集められ、一個のオブジェクトとして分離される。使用可能な技術としては、RANSACアルゴリズムがある。
【００６８】
本実施形態はいくつかの利点を有する。例えば１０ｍより離れた全てのものが、次の画像で視認可能にできるとよい。そのため、６０ｍ離れた所にテキスト（または他の情報）があったとしても、カメラが撮影する次の画像で見ることができるため、無視することができる。従って、単一画像が効果的な方法で圧縮されるだけではなく、続く画像も効果的な方法で圧縮される。
【００６９】
第２領域検出アルゴリズムによれば、領域は平面オブジェクトとして定義される。平面オブジェクトは、少なくともある（実世界）サイズ、例えば、少なくとも３０×３０ｃｍの大きさを有する平面オブジェクトとして定義することができる。平面オブジェクトの実世界サイズは、角度及び距離データを用いてスキャナデータから計算することができる。平面オブジェクトはスキャナデータから簡単に取得することができるため、交通標識などをフィルタリングすることができる。
【００７０】
第３領域検出アルゴリズムによれば、アルゴリズムは車などの特定オブジェクトの為のスキャナデータを分析するように構成されている。特定のアプリケーションについて、車に興味が無ければ、領域検出アルゴリズムは車のような形状のオブジェクトを検出し、それらのオブジェクトを、低い注目レベルが割り当てられた第１領域として定義してもよい。逆に、特定のアプリケーションについて、車などの特定のオブジェクトに特別な興味がある場合、領域検出アルゴリズムは車のような形状のオブジェクトを検出し、それらのオブジェクトを高い注目レベルが割り当てられた領域として定義してもよい。
【００７１】
また、上述したアルゴリズムの組み合わせを用いても良く、その場合、３つの領域を見分けることができる：
−平面であって、所定領域内にあり、高い注目レベルが割り当てられる領域、
−平面ではなく、所定領域内にあり、中程度の注目レベルが割り当てられる領域、
−所定領域外にあって、低い注目レベルが割り当てられる領域。
【００７２】
一般的に、適切な数の領域及びタイプの領域が識別され、それぞれに特定の注目レベルが割り当てられ、及び／または、適切な圧縮技術の処理対象となる。
【００７３】
通常、２種類の領域検出アルゴリズムを確認することができる：
１）距離規範を用いた領域検出アルゴリズムと、
２）特定オブジェクトを検索するためのスキャナデータを分析するためのルールを用いた領域検出アルゴリズム。
【００７４】
図５〜図１０の例は、これら２種類の領域検出アルゴリズムの組み合わせである。
【００７５】
更なる動作１０３において、動作１０２で検出された領域はカメラデータ上に投影される。
【００７６】
スキャナデータをカメラデータにリンクするための実証済みの方法があることが分かっている。例えば、レーザースキャナに連結され、レーザースキャナに同調したカメラにより、システムはレンジセンサデータと画像データとの間に直接的な相互関係を供給することを示した。このようなシステムは、例えば、
−Medienkommunikation IMKのFraunhofer-InstitutのProf. Dr. Dr. h.c. Martin Reiserによる、3D-CAM - Depth Camera and Depth Keying (http://www.imk.fhg.de/sixcms/media.php/130/3d cameng.pdf) 及び
−IEEEメンバーの G. Yahav及びISRAEL国, Yokneam, 3DV Systems Ltd.,のG. J. Iddan及びD. Mandelboumによる3D Imaging Camera for Gaming Application（http://www.3dvsystems.com/technology/3D%20Camera%20for%20Gaming-l.pdf）
により示されている。
【００７７】
その他、購入可能なシステムは、特別な赤外線カメラからの画像を通常のＣＣＤセンサから得られたデータと統合する手段により、ｚ方向の距離が拡張されたカメラ画像を構成する。
【００７８】
従来例に基づいて、カメラデータにおける各ピクセルの３Ｄ位置を判断することができる。しかしながら、スキャナデータをカメラデータにただ投影することも可能である。
【００７９】
動作１０４において、動作１０２及び１０３に基づいてマスクが生成される。マスクは識別された領域と、可能であれば各領域のタイプを指示するもの（平面、オブジェクトクラス、領域内にあるか領域外にあるか、など）及び／または識別された領域に割り当てられた注目レベルを含む。マスクは、特定領域に適用される望ましい圧縮技術を直接的に指示するものを含んでいても良い。
【００８０】
マスクは、最終的に、既に記述したような差分圧縮を適用するために用いられる。
【００８１】
動作１０３または１０４は、カメラデータの適切な部分が全て考慮されていることを確認するために、スキャナデータを拡張してもよい。この拡張については以下に更に詳細に説明する。
【００８２】
動作１０４は、画像座標空間におけるマスク生成である。図８ａは、動作１０２／１０３の結果を示す。スキャナデータの解像度が比較的低いため、投影の結果は、領域ではなく、ポイントとなる。従って、動作１０３／１０４の一部としての拡張は、ポイントではなく、領域が生成されたことを確認するためである。マスクは異なる検出領域に関する情報を含み、マスクにおける領域は、スキャナデータの拡張されたポイントにより覆われる領域により定義される。そのため、拡張されたポイントは、マスクを形成するために用いることができる。
【００８３】
動作１０２〜１０４は、領域を検出し、カメラデータ／画像空間にマッピングする１つの動作と見なすこともできる。
【００８４】
先に定義したように、スキャナデータ及びカメラデータは、画像データと画像空間基準データの２種類の情報を含む。スキャナデータの画像データは画像そのもの（ポイントの集合体または複数の画素）を形成し、画像空間基準データは、どこで、またどの方向で画像が撮影されたかを定義した（メタ）情報を含む。なお、動作１０２は、スキャナデータの画像データを主に用い、動作１０３は、カメラデータの画像データと画像空間基準データを両方とも用いることは理解されるであろう。最終的に、動作１０５はカメラデータの画像データを主に用いる。
【００８５】
そのため、前記工程ｂ）が、前記少なくとも１つの検出された領域を前記カメラデータ１０３に投影する工程を更に有する方法を提供する。さらに、前記工程ｂ）が、マスクを生成する工程と、該生成したマスク１０４に基づいて前記工程ｃ）を行う工程とを更に有する方法を提供する。更に、前記生成されたマスク１０４に基づいて、前記工程ｄ）を実行しても良い。
【００８６】
最後の処理１０５において、差分圧縮がカメラデータに適用される。差分圧縮は、上述したように、第１領域において第１圧縮技術を用いる処理を含む。一実施形態によれば、第２圧縮技術は第２領域に適用される。第１圧縮技術は、（比較的高い）第１圧縮因子を用いる処理を含む。第２技術は（比較的低い）第２圧縮因子を用いる第２圧縮技術を用いる処理を含む。
【００８７】
圧縮技術は、マスクに含まれる情報に基づいて選択される。例えば、マスクが異なる領域に対する注目レベルを含む場合、適する圧縮技術を選択するために注目レベルを用いることができる。一実施形態によれば、高注目レベルは低圧縮因子（できれば、圧縮因子は０）に対応し、低注目レベルは高圧縮因子に対応する。
【００８８】
一実施形態によれば、「注目レベル」と品質因子との間で直接、並進運動秤が生成され、品質因子は、量的に計測された圧縮因子（例えば、ＪＰＥＧは１から１００を用い、１００は最高品質）である。
【００８９】
また、２を超える領域を検出することができるが、このとき異なるまたは同じ圧縮技術を異なる領域に適用することができる。
【００９０】
なお、ここで、当業者であれば、一旦マスクが分かれば、どのように動作１０５を実行するか、すなわち、どのように微分ＪＰＥＧ圧縮技術などの微分圧縮技術を適用するかは、理解できるであろう。本実施形態はそのようなマスクを提供する方法を提供する。
【００９１】
図５は、例えば動作１０１の結果であるカメラデータの一例を示す。図５において、カメラから遠すぎて、解釈の訳に立たないオブジェクト（交通標識）を示すために、ボックスが描画されている。
【００９２】
図６は、例えば、動作１０１の結果であるスキャナデータの一例を示す。スキャナデータは３Ｄポイントの集合体で、各ポイントには例えば、レーザースキャナ３（ｊ）、ｊ＝１、２、３、…Ｊに対する距離が対応付けられている。
【００９３】
上記では、動作１０２に関して、以下に定義するような異なる領域が得られる、異なる領域検出アルゴリズムを記載している。
１）車１、カメラ９、またはスキャナ３から所定距離または領域基準内にある領域
２）平面オブジェクト
３）車などの特定オブジェクトまたはオブジェクトクラス
４）車などの特定オブジェクトまたはオブジェクトクラスでない
５）所定の特徴を有する表面
【００９４】
図を参照して、１）と２）の組み合わせについて説明する。この例によれば、平面ではない全てのもの及びカメラに対して所定領域外にある全てのものが第１領域と識別され、カメラに対して所定領域内にある平面オブジェクトが第２領域と識別される。
【００９５】
まず、図７に概略が示されているような仕切られた領域の外にある全てのスキャナデータは第１領域と見なされる。図７はｙ方向がカメラ９が向いている方向に略一致する場合の座標システムを示している。この例では、この仕切られた領域は、
ｘ＝＜−６；６＞；ｙ＝＜０．３：２０＞；ｚ＝＜１；６＞
と定義されている。
【００９６】
次の動作で、仕切られた領域内にある全ての平面オブジェクが検出され、第２領域と定義される。所定領域内にある、平面ではない全てのものが第１領域と定義される。これらの動作は、上述した動作１０２の一部として実行され、決められた領域が生成される。
【００９７】
上述したように、動作１０３において、領域がカメラデータ上に投影される。図８ａは画像データ上に投影されたスキャナデータを概略的に示す。スキャナ３の解像度が限定されているかもしれないので、カメラデータの全ての関係ある部分が確実にすべて考慮されるようにするために、スキャナデータは拡張される。拡張されたスキャナデータを図８ｂに示す。
【００９８】
図９は、第２領域として検出されたカメラデータの一部を概略的に示す。この情報は、マスクを生成するために、動作１０４で用いられる。
【００９９】
マスクにより、異なる領域に対して異なる圧縮レートパラメータを用いることが可能になる（動作１０５）。図１０は、動作１０５の可能な結果を示す。図１０は、上述した例に基づいて、異なる圧縮率がかけられた再生画像を示す。
【０１００】
図から分かるように、カメラに最も近い街灯柱の交通標識は、まだ判読可能である。しかしながら、道路の先の方にある交通標識は、図５と比較して図１０ではかなりぼやけており、解釈することができない（枠を参照）。これが、道路の先の方にある交通標識にカメラの近くにある交通標識よりも高圧縮因子を掛けた微分圧縮技術の結果である。道路の先の方にある交通標識は図５においてほとんど（全く）解釈できないため、安全に圧縮することができる。
【０１０１】
圧縮技術
動作１０５を行う時に、異なる圧縮技術を用いることができる。例えば、第１及び第２圧縮技術は、カメラデータを圧縮するためにＪＰＥＧ２０００基準を用いても良い。ＪＰＥＧ２０００により、異なる圧縮因子を品質要件に依存させることができる。
【０１０２】
勿論、ウェーブレットに基づく圧縮技術のような、他の圧縮技術を用いることもできる。
【０１０３】
更なる実施形態によれば、領域に用いられる圧縮技術は、色空間の削減である。これは、例えば、交通標識である可能性が高い平面領域に利用することができる。交通標識は人工建造物であるため、色空間は、 交通標識を作るために用いられたと分かっている、限られた数の色（国によって使用される色の組は異なるが、例えば、黒、白、青、赤、オレンジ）に狭めることができる。
【０１０４】
一例として、例えば、http://vectormagic.stanford.edu/vectorize/uploadに記載されているVectorMagicソフトウエアを、これを実現するものとして参照する。一般的に、このような人工オブジェクトのベクトル化は、良い圧縮（データサイズ削減）技術である。
【０１０５】
コンピュータ装置
上記記載によれば、プロセッサ１１と、前記プロセッサに接続されたメモリ１２、１３、１４、１５とを含むコンピュータ装置１０であって、前記メモリは前記プロセッサ１１に以下の処理を行わせるデータと命令とを含むコンピュータプログラムを有し、前記プロセッサは、
ａ）前記モバイルマッピングシステム１０１の少なくとも１つのカメラ（９（ｊ））からカメラデータを取得し、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出し、
ｃ）第１領域におけるカメラデータに第１圧縮技術を適用し、
前記プロセッサ１１は、更に、少なくとも第１レンジセンサ３（１）から、少なくとも部分的に前記カメラデータに対応するレンジセンサデータ１０１を取得することができ、前記処理ｂ）が前記レンジセンサデータを用いて前記カメラデータ１０２における前記少なくとも１つの領域を認識する処理を行うことを特徴とするコンピュータ装置を提供する。
【０１０６】
更なるコンピュータ装置によれば、前記プロセッサ１１は、ｄ）検出された第２領域における前記カメラデータに第２圧縮技術を適用する処理を更に行う。前記第１圧縮技術は第１圧縮因子を適用する処理を含み、前記第２圧縮技術は第２圧縮因子を適用する処理を含でもよく、前記第１圧縮因子は、前記第２圧縮因子よりも大きい。
【０１０７】
前記処理ｂ）は、少なくとも１つの領域を検出するために、領域検出アルゴリズムを前記レンジセンサデータに適用する処理を含む。前記領域検出アルゴリズムは、
−所定距離または領域基準内にある、
−平面、
−特定のオブジェクト（またはオブジェクトクラス）、
−特定のオブジェクト（またはオブジェクトクラス）ではない、
−予め決められた特徴を有する表面、
である領域を検出するように構成することができる。
【０１０８】
また、前記処理ｂ）は、前記少なくとも１つの検出された領域を前記カメラデータに投影する処理を更に有し、また、前記処理ｂ）は、マスクを生成する処理と、該生成したマスクに基づいて前記処理ｃ）を行う処理とを更に有する。また、前記生成されたマスク１０４に基づいて、前記処理ｄ）を実行してもよい。
【０１０９】
また、前記処理ｂ）は、複数の領域を検出する処理を含み、前記領域の数は、１から前記スキャナデータにおける画素数まで変化する。また、前記圧縮技術は、色空間の削減であってもよい。
【０１１０】
更なる実施形態によれば、上記記載のコンピュータ装置と、移動体システムとを有するデータ処理システムであって、前記移動体システムが、時間、位置、方位データを供給するための位置判定システムと、前記第１レンジセンサデータを供給するための少なくとも第１レンジセンサ３（ｉ）と、前記画像データを供給するための少なくとも１つのカメラ９（ｊ）とを含むことを特徴とするデータ処理システムが提供される。
【０１１１】
一実施形態によれば、コンピュータに、上記記載の方法の各工程を実行させるためのプログラムが提供される。
【０１１２】
一実施形態によれば、上記記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体が提供される。
【０１１３】
別の実施形態
更なる実施形態によれば、複数の領域が認識され、異なる領域は異なる圧縮技術を適用する対象となる。各領域は分類され、この分類に応じて圧縮技術が適用される。分類は、例えば、複数の領域に注目レベルを割り当てることにより行われる。
【０１１４】
一実施形態によれば、モバイルマッピングシステムのカメラデータを処理する方法であって、
ａ）前記モバイルマッピングシステム（１０１）の少なくとも１つのカメラ（９（ｊ））からカメラデータを取得する工程と、
ｂ）前記カメラデータにおける少なくとも３つの注目領域を検出する工程と、
ｃ１）第１注目領域におけるカメラデータに第１圧縮技術を適用する工程と、
ｃ２）第２注目領域におけるカメラデータに第２圧縮技術を適用する工程と、
ｃ３）第３注目領域におけるカメラデータに第３圧縮技術を適用する工程とを有し、
前記方法が、更に、少なくとも第１レンジセンサ３（１）から、少なくとも部分的に前記カメラデータに対応するレンジセンサデータ（動作１０１）を取得しする工程を有し、前記工程ｂ）が前記レンジセンサデータを用いて前記カメラデータにおける前記少なくとも１つの注目領域を認識する（動作１０２）ことを特徴とする方法を提供する。
【０１１５】
勿論、３つではなく、どのような適した数の領域を検出しても良い。そのような実施形態によれば、工程ｂ）が、複数の領域を検出し、領域の数が１からスキャナデータにおける画素の数まで様々である方法が提供される。
【０１１６】
従って、実施形態に基づいて、異なる圧縮技術が適用される複数の領域を認識するためのスキャナデータに基づいて、マスクが生成されることは明らかである。マスクにより構成される異なる領域の数は、例えば、２、３、４などの適切な数である。実際は、かなり多くの領域が、マスクにより認識され、構成されてもよい。各領域は異なる圧縮技術を施す対象となる。
【０１１７】
マスクにより構成される認識された領域の数は、スキャナデータの画素数と同じように多い。
【０１１８】
一実施形態によれば、スキャナデータの各画素は領域として検出される（動作１０２）。方向情報及び距離情報に基づいて、注目レベルをスキャナデータの各画素に割り当てても良い。そのため、一例として、注目レベルは、距離が離れるにつれて低くなる。
【０１１９】
更なる例によれば、所定距離または領域基準内にあるレーザースキャナの全ての画素には、第１注目レベルが与えられ、所定距離または領域基準外にあるレーザースキャナの全ての画素には、距離が離れるにつれて低くなる（例えば、距離に反比例する）注目レベルが与えられる
【０１２０】
割り当てられた注目レベルに基づいてマスクが生成され、それに基づいて異なる圧縮技術がカメラデータに適用される。
【０１２１】
スキャナデータの各画素は、適切な圧縮技術を適用することのできるカメラ画素の数に少なくとも関連していると仮定する。
【０１２２】
追記
実施形態は、ＭＭＳアプリケーションの分野だけではなく、固定のマッピング技術の分野、写真測量、一般科学やエンターテイメント目的の画像及び映像圧縮にも適用することができる。
【０１２３】
スキャンデータからの注目領域の選択及びスキャナデータをカメラデータ内の対応する領域にリンクさせることは、コストの高い計算を必要とせず、ＣＰＵの能力に普通の負荷をかけるだけで、十分に速くＭＭＳストリームを処理することができる。
【０１２４】
実施形態が提供するのは、重要なデータを無くさずに済む、信頼できる設定された差分圧縮マスクである。上記実施形態は、圧縮マスクを設定するために、一般化された距離及び場所の特徴、または、表面の特徴を用いることに柔軟に対応している。
【０１２５】
アプリケーションによっては、上記実施形態は幾分控えめに用いられる。モバイルマッピングが集めた典型的な道路標識に対して、カメラデータに対する直後の処理として幾分控えめな処理を適用することができ、その場合、およそ３：１の節約になる。
【０１２６】
投影内での特定の分析や、エンドユーザへの引き渡しのためには、同じ技術の骨組みを用いて、より積極的なアプローチをすることもできる。例えば、処理は、最初、カメラ９（ｉ）から１０ｍ以内にあるオブジェクトに注目することができる。この場合、（生画像データと比較して）非常にコンパクトなデータセットを生成するため、処理アプリケーション（いくつかのアプリケーションでは、差分圧縮と解像度削減とを混ぜることができる）への引き渡しのために、より高い圧縮率を達成することができる。
【技術分野】
【０００１】
本発明は、モバイルマッピングシステム（ＭＭＳ）からのカメラデータを処理する方法、コンピュータ装置、そのようなコンピュータ装置を含むデータ処理システム、コンピュータープログラム、及びそのようなコンピュータプログラムが供給されたデータキャリアに関する。
【背景技術】
【０００２】
いくつかのＭＭＳアプリケーションにおいて、その主な目的は、例えば、カーナビゲーションシステムにおいて用いられる、通りの「実世界」２Ｄ及び／または３Ｄ画像で後で用いられる、建物の外観や、木、道路標識、街頭等のその他の固定のオブジェクトの画像を撮影することである。そして、これらの画像は、ドライバーが車の窓を通して見たときの実世界の景色に対応する２Ｄ及び／または３Ｄ画像をナビゲーションシステムの画面上で見ることができるように、そのようなナビゲーションシステムを有する車のドライバーに表示される。そのような画像は、カーナビゲーションシステム以外の他のアプリケーション、例えば、スタンドアローンシステムまたはネットワーク環境において協動するコンピュータ上で遊ぶことのできるゲームで用いることもできる。そのような環境はインターネットであってもよい。以下に示す本発明の解決法は、特定のアプリケーションに限られるものではない。
【０００３】
画像は収集されて格納され、道路網の相当の部分をカバーするために多くの画像が撮影されるにつれ、非常に大きなデータサイズとなる。従って、画像データは、おそらく複数のカメラから得られる多くの像のフレームを含む。画像データを管理可能なサイズに減らすために、圧縮技術を用いることができる。一般的に、画像の品質は圧縮量に反比例する。このことは、可能な圧縮技術が画像データに適用されるのにも関わらず、交通標識などのアイテムを認識可能／判読可能に保たなければいけないことからすると、不利である。
【０００４】
従来例によれば、各画像における異なる注目領域を識別し、第１の注目領域では（比較的高い）第１圧縮因数を用い、第２の注目領域では（比較的低い）第２圧縮因数を用いる技術はすでに知られている。これにより、交通標識などの価値の高い情報を捨てること無く、比較的高いデータサイズ削減を確実に行うことができる。この技術は、ラスター画像（例えばカメラデータ）の差分圧縮と呼ばれ、近頃の文書スキャン圧縮システムの主な構成要素となっている。
【０００５】
これらの従来例の解決法（例えば、Luratech社のLuraDocument）の殆どは、テキスト認識を、注目領域を識別する手段として用いている。そのようなシステムの根底となる仮定は、非テキスト領域をより高いレートで圧縮（すなわち、よりロスが多くなる）してもよいということである。そのようなアルゴリズムは、演算コストが高く、複雑で、ＭＭＳデータに適用された場合、コンピュータ能力にかなりの負担をかけならないだろう。また、テキスト認識アルゴリズムは、認識のために、フォント、文字間隔、テキストの向きの前提を必要とする。最も重要なのは、そのような技術がテキストを含む注目領域を認識することに限られていることである。
【０００６】
２００６年１０月３０日に提出され、本願の出願時には公開されていなかったPCT/NL2006/050269は、ある被写体を認識するために、スキャナを用いて画像における領域を探すことにより画像認識を補助するシステムについて記載している。PCT/NL2006/050269は、領域を探すことについてのみ言及しているが、カメラデータ量を管理することの問題について、何も述べていない。
【０００７】
２００７年１１月７日に提出され、本願の出願時には公開されていなかったPCT/NL2007/050541は、例えば、個人の機密データをカメラデータから削除するために、ある被写体を識別するためにどのようにスキャナデータを用いることができるかについて記載している。ここでも、この文書はカメラデータ量を管理することの問題について、何も述べていない。
【０００８】
本発明は、比較的少ないコンピューター能力を用いて実行することができる差分圧縮アルゴリズムを提供することを目的とする。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】PCT/NL2006/050269(WO2008/054203(A1))
【特許文献２】PCT/NL2007/050541(CA2705019(A1))
【発明の概要】
【００１０】
一様態によれば、モバイルマッピングシステムのカメラデータを処理する方法であって、
ａ）前記モバイルマッピングシステムの少なくとも１つのカメラからカメラデータを取得する工程と、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出する工程と、
ｃ）第１領域におけるカメラデータに圧縮技術を適用する工程とを有し、
前記方法が、更に、少なくとも第１レンジセンサから、少なくとも部分的に前記カメラデータに対応するレンジセンサデータを取得しする工程を有し、前記工程ｂ）が前記レンジセンサデータを用いて前記カメラデータにおける前記少なくとも１つの領域を認識することを特徴とする方法を提供する。
【００１１】
更に、別の様態によれば、プロセッサと、前記プロセッサに接続されたメモリとを含むコンピュータ装置であって、前記メモリは前記プロセッサに以下の処理を行わせるデータと命令とを含むコンピュータプログラムを有し、前記プロセッサは、
ａ）前記モバイルマッピングシステムの少なくとも１つのカメラからカメラデータを取得し、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出し、
ｃ）第１領域におけるカメラデータに第１圧縮技術を適用し、
前記プロセッサは、更に、少なくとも第１レンジセンサから、少なくとも部分的に前記カメラデータに対応するレンジセンサデータを取得することができ、前記処理ｂ）が前記レンジセンサデータを用いて前記カメラデータにおける前記少なくとも１つの領域を認識する処理を行うことを特徴とするコンピュータ装置を提供する。
【００１２】
また、一様態によれば、上記記載のコンピュータ装置と、移動体システムとを有するデータ処理システムであって、前記移動体システムが、時間、位置、方位データを供給するための位置判定システムと、前記第１レンジセンサデータを供給するための少なくとも第１レンジセンサと、前記画像データを供給するための少なくとも１つのカメラとを含むことを特徴とするデータ処理システムを提供する。
【００１３】
また、一様態によれば、コンピュータに、上記記載の方法の各工程を実行させるためのプログラムを提供する。
【００１４】
また、一様態によれば、そのようなプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体を提供する。
【００１５】
なお、提供された実施形態は、テキストを基準とした従来技術の解決方法よりも、計算コストが少なく、より簡素である。本実施形態におけるように、レンジセンサを用いることで、交通標識（平面オブジェクト）を見分ける為に、認識すべきテキストのフォント、文字間隔、向きに関する前提が必要なくなる。また、本実施形態はテキストを見分けることだけに限らず、他の多くのオブジェクトを見分けることができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、カメラとレーザースキャナとを有するＭＭＳシステムを示す図である。
【図２】図２は、位置及び方位パラメータを示す図である。
【図３】図３は、２台のカメラと２つのレンジセンサが屋根に取り付けられた車の概略上面図である。
【図４ａ】図４ａは、本発明を実行可能なコンピュータ装置を示す図である。
【図４ｂ】図４ｂは、本発明の実施形態にかかるフローチャートである。
【図５】図５は、一実施形態にかかるカメラデータを示す図である。
【図６】図６は、一実施形態にかかるレンジセンサデータを示す図である。
【図７】図７は、一実施形態にかかる仕切られた領域を示す図である。
【図８ａ】、
【図８ｂ】図８ａ及び８ｂは、カメラデータに投影されたセンサデータを示す図である。
【図９】図９は、カメラデータにおける注目領域を示す図である。
【図１０】図１０は、一実施形態にかかるカメラデータを示す図である。
【発明を実施するための形態】
【００１７】
図を参照して、本発明を詳細に説明するが、図は本発明の実施形態を表すことを目的としており、発明の範囲を限定するものではない。本発明の範囲は、添付の請求項及び技術的に同等なものにより定義される。
【００１８】
本発明は、主に、モバイルマッピングシステム（ＭＭＳ）におけるカメラが撮影した画像の処理に関する。更に詳しくは、いくつかの実施形態において、本発明はそのような画像の処理に関する。しかしながら、添付の請求項の範囲が及ぶその他のアプリケーションが除外されるものではない。例えば、カメラは、飛行機や船舶などの他の適する運送手段によって運ぶことができる。
【００１９】
図１は、車１の形態を取るＭＭＳシステムを示す。車１には、１以上のカメラ９（Ｉ）、Ｉ＝１、２、３、…Ｉ、及び１以上のレーザースキャナ３（ｊ）、ｊ＝１、２、３…Ｊが備えられている。
【００２０】
ここでは、カメラ９（ｉ）が撮影したデータをカメラデータと呼ぶ。これは２Ｄデータである。スキャナ３（ｊ）によって得られたデータをスキャナデータと呼ぶ。これは、３Ｄデータである。カメラデータとスキャナデータとを合わせてＭＭＳデータと呼ぶ。
【００２１】
レンジセンサ
少なくとも２つ以上のレーザースキャナ３（ｊ）からの情報を用いることができる。ドライバーは、目的の道路を車１で走ることができる。レーザースキャナ３（ｊ）は、いくつかの方角の組について、レンジセンサとレンジセンサにより感知されたオブジェクトとの距離を検出することのできるどのような種類のレンジセンサにも置き換えることができる。このような代わりのレンジセンサは、例えば、レーダーセンサやライダー（LIDAR）センサである。レーダーセンサを用いる場合、その範囲及び方角計測データは、レーザースキャナで得ることができるものと互換性がなければならない。
【００２２】
レンジセンサは、異なるオブジェクトに関するそのようなポイント集合体を提供する。異なるオブジェクトは同じ場所に無いため、そのようなポイント集合体のそれぞれに関連するポイントは、どのオブジェクトに属するかに応じて、明らかな異なるレンジセンサまでの距離及び／またはレンジセンサへの方角を示す。従って、レンジセンサに応じたこれら範囲の差を用いることで、異なるオブジェクトに対するマスクを簡単に作ることができる。そして、これらのマスクは、カメラが撮影した画像におけるオブジェクトを識別するために、その画像に適用することができる。これは、それらのオブジェクトを識別するための信頼できる方法であり、画像データにのみ依存するよりも簡単であることが分かった。
【００２３】
レーザースキャナデータは多くの画素を有しており、各画素は向き情報、すなわち、特定の画素を取得するときに向けられたレーザースキャナの向き、及び距離情報、すなわち、レーザースキャナと検出されたオブジェクトとの間の距離を有する。
【００２４】
一実施形態では、レンジセンサ／レーザースキャナ３（ｊ）は、ここで説明する実施形態のために充分に密な出力を生成するために、最低５０Ｈｚで１度の解像度を生成するように構成される。ジック株式会社により製造されたLMS291-S05モデルのようなレーザースキャナは、そのような出力を生成することができる。このようなレーザースキャナは、交通標識などのようなアイテムを検出するために充分な解像度を提供する。
【００２５】
画像センサ
「カメラ」という用語は、例えば、Ladybug（登録商標）を含む、どのようなタイプの画像センサも含む。
【００２６】
ＭＭＳシステムにおけるカメラは、同じシーンの重なる部分を有する複数の画像を描画するように、素早く連写画像を撮影することができる。そのような重なる部分では、撮影されたオブジェクトを複数の画像において見ることができる。
【００２７】
本発明の原則は、例えば、レーザー、レーダーまたはライダー（LIDAR）など、どのようなタイプのレンジセンサを使用しているときにも適用することができる。画像は、適切な運送手段（例えば、飛行機）によって運ばれる、どのようなタイプのカメラによっても撮影することができる。
【００２８】
車１には、複数の車輪２が備えられている。更に、車１には、高精度の位置／方位決定システムが備えられている。そのようなシステムは、車１の位置及び方位について、自由度６のデータを提供するように構成されている。図１に一実施形態を示す。図１に示すように、位置／方位決定システムは、以下のデバイスを含む：
【００２９】
●アンテナ８に接続され、複数の衛星ＳＬｋ（ｋ＝１、２、３、…）と通信するように構成され、衛星ＳＬｋから受信した信号から位置信号を算出するＧＰＳ（global positioning system）ユニット。ＧＰＳユニットは、マイクロプロセッサμＰに接続されている。マイクロプロセッサμＰはＧＰＳユニットから受信されたデータを時間に伴って格納するように構成されている。更なる処理を行うために、そのようなデータを外部コンピュータ装置に送ってもよい。一実施形態においては、マイクロプロセッサμＰは、ＧＰＳユニットから受信した信号に基づいて、車１のモニタ４に表示するのに適した表示信号を決定し、車がどこにいるか、及び、どの方向に進んでいるか、（注：一般的にＧＰＳが用いられる。及び元々の米国国防総省のＧＰＳと同様に、ヨーロッパのGalileoまたはロシアのGLONASSなどのシステムも「ＧＰＳ」を構成することがある。）をドライバーに知らせる。
【００３０】
●ＤＭＩ（距離計測装置）。この装置は、１以上の車輪２の回転数を感知することにより、車１の走行距離を計測する走行距離計である。ＤＭＩもまた、マイクロプロセッサμＰに接続されている。マイクロプロセッサμＰは、ＤＭＩから受信したデータを時間に伴って格納するように構成されている。そのようなデータも、更なる処理のために外部コンピュータに送信しても良い。一実施形態において、マイクロプロセッサμＰは、ＧＰＳユニットからの出力信号から表示信号を算出する間、ＤＭＩによって計測された距離を考慮に入れる。
【００３１】
●ＩＭＵ（内部計測ユニット）。このようなＩＭＵは、回転加速度を計測するために備えられた３つのジャイロユニット及び、３つの直交方向に沿った３つの並進運動加速器として実現することができる。ＩＭＵもまた、マイクロプロセッサμＰに接続されている。マイクロプロセッサμＰは、ＩＭＵから受信したデータを時間に伴って格納するように構成されている。そのようなデータも、更なる処理のために外部コンピュータに送信しても良い。
【００３２】
図１に示すようなシステムは、例えば、車１に搭載された１以上のカメラ９（ｉ）で画像を撮影することにより、地理的データを収集する。カメラは、マイクロプロセッサμＰに接続されている。そして、レーザースキャナ３（ｊ）は、目的の道路を車１が走行している間に、レーザーサンプルを取得する。従って、レーザーサンプルは、これらの目的の道路に付随する周辺の状況に関するデータを含み、例えば、建物のブロック、木、交通標識、駐車車両、人などに関するデータを含む。
レーザースキャナ３（ｊ）もまた、マイクロプロセッサμＰに接続され、これらのレーザーサンプルをマイクロプロセッサμＰに送る。
【００３３】
ＧＰＳ、ＩＭＵ及びＤＭＩの３つの計測装置から、できるだけ正確な位置及び方位計測結果を提供することは、一般的な要望である。これらの位置及び方位データは、カメラ９（ｉ）が写真を撮影し、レーザースキャナ３（ｊ）がレーザーサンプルを取得する間に計測される。画像（カメラデータ）及びレーザーサンプル（スキャナデータ）は共に、後で用いるために、これらの画像及びレーザーサンプルを取得したときの、対応する車１の位置及び方位データに関連づけて、マイクロプロセッサμＰの適したメモリ内に保存する。ＧＰＳ、ＩＭＵ、ＤＭＩ、カメラ９（ｉ）及びレーザースキャナ３（ｊ）からのすべてのデータを将来的に相互に関連づけるための別の方法は、これらすべてのデータにタイムスタンプを押し、タイムスタンプを押したデータを他のデータと結びつけてマイクロプロセッサのメモリに格納することである。他の時間同調マーカーを代わりに用いてもよい。
【００３４】
画像及びレーザーサンプル（それぞれ、カメラデータ及びスキャナデータ）は、例えば、建物のブロックの外観や交通標識等の情報を含む。
【００３５】
図２は、図１に示す３つの計測ユニットＧＰＳ、ＤＭＩ、ＩＭＵからどのような位置信号を得ることができるかを示している。図２は、マイクロプロセッサμＰが６つの異なるパラメータ、すなわち、予め決められた座標系における、原点に対する３つの距離パラメータｘ、ｙ、ｚと、それぞれがｘ軸、ｙ軸、ｚ軸を中心とした回転を定義する、３つの角度パラメータωｘ、ωｙ、ωｚを計算するように構成されている。ｚ方向は、重力ベクトルの方向のｚ方向に一致する。
【００３６】
図３は、２つのレンジセンサ３（１）、３（２）（レーザースキャナであってもよいが、別の例として、例えば、レーダーであっても良い。）と、２つのカメラ９（１）、９（２）を有するＭＭＳを示す。２つのレンジセンサ３（１）、３（２）は、車１の進行方向に対し、車１の右側を向くように、車１の屋根に配置されている。レンジセンサ３（１）のスキャン方向をＳＤ１と呼び、レンジセンサ３（２）のスキャン方向をＳＤ２と呼ぶ。カメラ９（１）も右側、つまり、車１の進行方向に対して垂直な方向を向いている。カメラ９（２）は、進行方向を向いている。この設定は、車両が右側を通行するすべての国に適している。この設定は、車両が道の左側を通行するすべての国では、カメラ９（１）及びレーザースキャナ３（１）、３（２）が車の屋根の左側に設置されるように変更することが好ましい（ここでも、「左」は、車１の進行方向に向かって定義されている）。なお、当業者であれば、これ以外の多くの構成を用いることが可能であることは、理解されるであろう。例えば、１つのレンジセンサ３（１）を車１の右側に配置し、２つ目のレンジセンサ３（２）を車１の左側に配置しても良い。勿論、レーザースキャナが１つであっても良い。
【００３７】
車１のマイクロプロセッサは、コンピュータ装置により実現することができる。そのようなコンピュータ装置の一例を図４ａに示す。
【００３８】
図４ａは、計算処理を行うためのプロセッサ１１を有するコンピュータ装置１０の全体を示す。
【００３９】
プロセッサ１１は、ハードディスク１２、読み出し専用メモリ（ＲＯＭ）１３、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）１４、及びＲＡＭ（Random Access Memory）１５を含む、複数のメモリ構成部分に接続されている。これらのメモリタイプが必ずしもすべて無くてもよい。更に、これらのメモリ構成部分はプロセッサ１１の側に位置していなくても良く、プロセッサ１１から離れた場所にあっても良い。
【００４０】
プロセッサ１１はまた、キーボード１６やマウス１７などの、ユーザが指示やデータを入力するための手段に接続されている。タッチスクリーン、トラックボール，及び／または音声変換器などの、当業者に知られている他の入力手段を供給しても良い。
【００４１】
プロセッサ１１に接続された読み出し部１９が備えられている。読み出し部１９は、フロッピー（登録商標）ディスク２０またはＣＤＲＯＭ２１などのデータキャリアからデータを読み出したり、または可能であればデータを書き込んだりするように構成されている。他のデータキャリアとしては、当業者に知られているように、例えばテープ、ＤＶＤ、ＣＤ−Ｒ、ＤＶＤ−Ｒ、メモリスティックなどがある。
【００４２】
プロセッサ１１は、出力データを紙に印刷するためのプリンタ２３と、例えば、モニターやＬＣＤ（Liquid Crystal Display）スクリーン、または、当業者に知られている他のタイプの表示器などの表示器１８に接続されている。
【００４３】
プロセッサ１１をスピーカ２９に接続してもよい。
【００４４】
プロセッサ１１は、例えば、ＰＳＴＮ（Public Switched Telephone Network）、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネットなどの通信ネットワーク２７に、Ｉ／Ｏ手段２５により接続してもよい。プロセッサ１１は、ネットワーク２７を介して、他の通信装置と通信するように構成しても良い。道路を移動しながら車両がデータを集めている時には、これらの接続が、リアルタイムですべてに接続されていなくても良い。
【００４５】
データキャリア２０、２１は、実施形態に応じた方法を実行する能力をプロセッサに提供するように構成された、データ及び指示の形式のコンピュータプログラムであってもよい。しかしながら、そのようなコンピュータプログラムは、別の例として、遠隔通信ネットワーク２７を介してダウンロードしても良い。
【００４６】
プロセッサ１１は、スタンドアローンのシステムとして、またはそれぞれが大きなコンピュータプログラムのサブタスクを実施する複数のパラレル処理プロセッサとして、または、いくつかのサブプロセッサを有する１以上のメインプロセッサとして実現することができる。本発明の機能の一部は、ネットワーク２７を介してプロセッサ１１と通信する遠隔プロセッサにより実施することもできる。
【００４７】
車１に応用した場合、コンピュータ装置は、図４ａに示すすべての構成を持つ必要は無いことが分かる。例えば、コンピュータ装置はその場合、スピーカー及びプリンタを有さなくてもよい。車１で実施する場合、コンピュータ装置は、少なくとも、プロセッサ１１、適切なプログラムを格納するためのいくつかのメモリ、及びオペレータからの指示及びデータを受けるとともに、オペレータに出力データを示すための何らかの種類のインタフェースが必要である。
【００４８】
カメラ９（ｉ）、レーザースキャナ３（ｊ）及び、位置／方位計測システムによりそれぞれ得られた、画像、スキャン及び格納された位置及び方位データを後処理するために、車１上には無いかもしれないが、従来はオフラインでの後処理するために建物内にある、図４ａに示す物と同様の構成を用いることができる。カメラ９（ｉ）、スキャナ３（ｊ）、及び位置／方位計測システムにより得られた画像、スキャン及び位置／方位データは、メモリ１２〜１５のいずれかに保存される。これは、まずＤＶＤやメモリスティック等に格納することにより実行するか、または、メモリ１２、１３、１４、１５から、できれば無線により送信することにより実行することができる。計測値にはすべてタイムスタンプを付すことが好ましく、これらの様々な時間計測値も格納される。
【００４９】
実施形態
実施形態によれば、スキャナデータは、カメラデータ内の差分圧縮パラメータを設定するために、カメラデータにおける領域をマスク処理するためのマスクを生成するために用いられる。そのため、スキャナデータは、カメラデータにおける領域を決定するために用いられる。この領域は注目領域で、異なる注目領域はそれぞれに割り当てられた異なる注目レベルを有する。そして、異なる圧縮パラメータは、異なる注目レベルに適している。
【００５０】
そのため、モバイルマッピングシステムのカメラデータを処理する方法であって、
ａ）前記モバイルマッピングシステムの少なくとも１つのカメラ９（ｊ）からカメラデータを取得する工程と、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出する工程と、
ｃ）第１領域におけるカメラデータに圧縮技術を適用する工程とを有し、
前記方法が、更に、少なくとも第１レンジセンサ（３（１））から、少なくとも部分的に前記カメラデータに対応するレンジセンサデータを取得しする工程を有し、前記工程ｂ）が前記レンジセンサデータを用いて前記カメラデータにおける前記少なくとも１つの領域を認識することを特徴とする方法を提供する。
【００５１】
該方法は更に、
ｄ）第２領域における前記カメラデータに第２圧縮技術を適用する。少なくとも２つの領域は、異なる注目レベルを有する注目領域であっても良い。前記第１圧縮技術は第１圧縮因子を適用する工程を含み、前記第２圧縮技術は第２圧縮因子を適用する工程を含んでもよく、前記第２圧縮因子は、前記第１圧縮因子よりも大きい。勿論、これは逆、すなわち、第１圧縮因子が第２圧縮因子よりも小さくても良い。
【００５２】
これにより、第１領域に第１の圧縮技術を用い、第２領域に第２の技術を用いることができる。第１の圧縮技術では、第１圧縮因子（比較的高いデータ削減）を用いてもよい。第２の技術では、第２圧縮因子（比較的低いデータ削減）を用いる第２の圧縮技術を用いてもよい。
【００５３】
本実施の形態は、スキャナデータを用いて、カメラデータにおける領域を決定するアルゴリズムを用いる。このアルゴリズムは、領域検出アルゴリズムと呼ばれている。このような領域検出アルゴリズムの例を以下に示す。領域検出アルゴリズムは柔軟性があり、異なるアプリケーション、異なる領域（都市、田園、工業地帯など）毎に、異なっていてもよい。
【００５４】
そのため、前記工程ｂ）が、前記少なくとも１つの領域を検出するために、領域検出アルゴリズムを前記レンジセンサデータに適用する工程を含んでいても良い。前記領域検出アルゴリズムは、
１）所定距離または領域基準内にある、
２）平面、
３）特定のオブジェクト（またはオブジェクトクラス）、
４）特定のオブジェクト（またはオブジェクトクラス）ではない、
５）予め決められた特徴を有する表面、
である領域を検出するように構成することができる。
【００５５】
オブジェクトクラスは、例えば、木、車、人間などである。予め決められた特徴を有する表面は、例えば、ある決められた寸法を有するか、または、予め決められた形状（円形、三角形、正方形）を持つ平面の表面である。
【００５６】
本実施形態では、カメラデータ内の領域を検出するために、カメラデータ以外の情報を利用する。カメラデータ及びスキャナデータは、空間分析を用いて相互に関連付けられる。
【００５７】
スキャナデータをカメラデータに関連付けるまたは投影する処理は、ここで説明するようにして行うことができる。スキャナデータにはタイムスタンプが付される。このタイムスタンプは、後で、その瞬間の車１の厳密な位置及び方位を計算するために使用することができる。車１の位置及び方位は、ＧＰＳ（global positioning system）ユニット、ＤＭＩ（距離計測装置）及び／またはＩＭＵ（内部計測ユニット）により得られたログデータから推定することができる。車に対するレーザースキャナの位置及び方位は分かっているので、各レーザースキャナの点を実世界座標において計算することができる。
【００５８】
また、カメラデータにはタイムスタンプが付されており、車に対するその位置及び方位は分かっている。従って、カメラデータについて、実世界座標及び方位を判断することができる。そのため、スキャナデータとカメラデータの双方について、厳密な位置及び方位データを入手することができる。
【００５９】
カメラレンズパラメータ（焦点距離、キャリブレーションされた光学歪み）からの情報を利用することで、簡単な射影方程式を用いて、各スキャナデータをカメラデータの座標空間にマッピングすることができる。従って、画像データの各画素を、深さ、または、カメラで検出されたオブジェクトまたは表面に関連付けることができる。スキャナデータの解像度は、通常、画像データよりも低いため、レーザースキャナデータの集合が通常必要となる。これは、レーザースキャナポイントからメッシュを生成して、そのメッシュをカメラデータにマッピングするか、または、各レーザーポイントを画像座標にマッピングして、拡張などの画像技術を用いて画像空間で推定することにより行うことができる。
【００６０】
従って、スキャナデータ及びカメラデータは、実際には、画像データ及び画像空間基準データの２種類の情報を含んでいる。画像データは画像そのもの（点の集合体または複数の画素）を形成し、画像空間基準データは、どこで、またどの方向で画像が撮影されたかを定義した（メタ）情報を含む。画像空間基準データは、例えばｘ、ｙ、ｚ及びα、β、γからなる６つのエントリを含んでもよく、ここでは、ｘ、ｙ、ｚ座標は特定のカメラ９（ｊ）またはレンジセンサ３（ｉ）の（相対）位置を定義するために用いられ、α、β、γは、特定のカメラ９（ｊ）またはレンジセンサ３（ｉ）の特定のカメラまたはレーザースキャナの（相対）方向を定義する角度である。
【００６１】
フローチャート
図４ｂは、本実施形態のフローチャートを示す。このフローチャートは、このフローチャートを行う能力をプロセッサ１１に供給するように構成されたデータ及び命令の形式で、符号化されていてもよい。データと命令はメモリに格納され、プロセッサ１１により読み出し及び実行可能としてもよい。
【００６２】
最初の動作１０１で、コンピュータ装置１０はＭＭＳデータを上述したようにして取得する。この動作の結果、図４ｂに概略的に示すように、スキャナデータとカメラデータとが得られる。
【００６３】
第２の動作１０２において、コンピュータ装置１０はスキャナデータを用いて領域を検出する。このために異なる領域検出アルゴリズムを用いても良い。領域は、注目レベルを割り当てることのできる注目領域である。例えば、いくつかの領域には第１注目レベルが割り当てられ（例えば、平面オブジェクトは、交通標識である可能性が高い）、他のオブジェクトには、第１注目レベルよりも低い第２注目レベルが割り当てられる（例えば、所定距離よりも遠くにある領域、または、特定のオブジェクト（またはオブジェクトクラス）に関連付けられた領域）。
【００６４】
第１の領域検出アルゴリズムによれば、領域は例えば、車１から１０メートルなどの所定距離または領域内にある領域として定義される。スキャナデータは距離情報を含むため、車１から所定距離内にあるカメラデータにおける全ての領域を簡単に判断することができる。勿論、所定距離は、車１に対してだけではなく、カメラ９（Ｉ）、Ｉ＝１、２、３、…Ｉ、またはレーザースキャナ３（ｊ）、ｊ＝１、２、３、…Ｊに対して定義しても良い。
【００６５】
また、領域は車に対して、所定領域内にある領域として定義しても良く、所定領域は、立方体の形状の領域、またはその他適した形状、例えば菱形、円筒、球の弧などの形状の領域であってもよい。
【００６６】
所定距離または領域外の全ての領域は第１領域と定義し、所定距離または領域内の領域は第２領域と定義することができる。なお、領域は必ずしもまとまっている必要はない。以下に説明するように、差分圧縮に渡される独立ピクセルのセットであるマスクが生成される。
【００６７】
本実施形態によれば、例えば、ポリゴンを形成するメッシュ生成を用いた集合技術を用いて、検出された領域は集められ、一個のオブジェクトとして分離される。使用可能な技術としては、RANSACアルゴリズムがある。
【００６８】
本実施形態はいくつかの利点を有する。例えば１０ｍより離れた全てのものが、次の画像で視認可能にできるとよい。そのため、６０ｍ離れた所にテキスト（または他の情報）があったとしても、カメラが撮影する次の画像で見ることができるため、無視することができる。従って、単一画像が効果的な方法で圧縮されるだけではなく、続く画像も効果的な方法で圧縮される。
【００６９】
第２領域検出アルゴリズムによれば、領域は平面オブジェクトとして定義される。平面オブジェクトは、少なくともある（実世界）サイズ、例えば、少なくとも３０×３０ｃｍの大きさを有する平面オブジェクトとして定義することができる。平面オブジェクトの実世界サイズは、角度及び距離データを用いてスキャナデータから計算することができる。平面オブジェクトはスキャナデータから簡単に取得することができるため、交通標識などをフィルタリングすることができる。
【００７０】
第３領域検出アルゴリズムによれば、アルゴリズムは車などの特定オブジェクトの為のスキャナデータを分析するように構成されている。特定のアプリケーションについて、車に興味が無ければ、領域検出アルゴリズムは車のような形状のオブジェクトを検出し、それらのオブジェクトを、低い注目レベルが割り当てられた第１領域として定義してもよい。逆に、特定のアプリケーションについて、車などの特定のオブジェクトに特別な興味がある場合、領域検出アルゴリズムは車のような形状のオブジェクトを検出し、それらのオブジェクトを高い注目レベルが割り当てられた領域として定義してもよい。
【００７１】
また、上述したアルゴリズムの組み合わせを用いても良く、その場合、３つの領域を見分けることができる：
−平面であって、所定領域内にあり、高い注目レベルが割り当てられる領域、
−平面ではなく、所定領域内にあり、中程度の注目レベルが割り当てられる領域、
−所定領域外にあって、低い注目レベルが割り当てられる領域。
【００７２】
一般的に、適切な数の領域及びタイプの領域が識別され、それぞれに特定の注目レベルが割り当てられ、及び／または、適切な圧縮技術の処理対象となる。
【００７３】
通常、２種類の領域検出アルゴリズムを確認することができる：
１）距離規範を用いた領域検出アルゴリズムと、
２）特定オブジェクトを検索するためのスキャナデータを分析するためのルールを用いた領域検出アルゴリズム。
【００７４】
図５〜図１０の例は、これら２種類の領域検出アルゴリズムの組み合わせである。
【００７５】
更なる動作１０３において、動作１０２で検出された領域はカメラデータ上に投影される。
【００７６】
スキャナデータをカメラデータにリンクするための実証済みの方法があることが分かっている。例えば、レーザースキャナに連結され、レーザースキャナに同調したカメラにより、システムはレンジセンサデータと画像データとの間に直接的な相互関係を供給することを示した。このようなシステムは、例えば、
−Medienkommunikation IMKのFraunhofer-InstitutのProf. Dr. Dr. h.c. Martin Reiserによる、3D-CAM - Depth Camera and Depth Keying (http://www.imk.fhg.de/sixcms/media.php/130/3d cameng.pdf) 及び
−IEEEメンバーの G. Yahav及びISRAEL国, Yokneam, 3DV Systems Ltd.,のG. J. Iddan及びD. Mandelboumによる3D Imaging Camera for Gaming Application（http://www.3dvsystems.com/technology/3D%20Camera%20for%20Gaming-l.pdf）
により示されている。
【００７７】
その他、購入可能なシステムは、特別な赤外線カメラからの画像を通常のＣＣＤセンサから得られたデータと統合する手段により、ｚ方向の距離が拡張されたカメラ画像を構成する。
【００７８】
従来例に基づいて、カメラデータにおける各ピクセルの３Ｄ位置を判断することができる。しかしながら、スキャナデータをカメラデータにただ投影することも可能である。
【００７９】
動作１０４において、動作１０２及び１０３に基づいてマスクが生成される。マスクは識別された領域と、可能であれば各領域のタイプを指示するもの（平面、オブジェクトクラス、領域内にあるか領域外にあるか、など）及び／または識別された領域に割り当てられた注目レベルを含む。マスクは、特定領域に適用される望ましい圧縮技術を直接的に指示するものを含んでいても良い。
【００８０】
マスクは、最終的に、既に記述したような差分圧縮を適用するために用いられる。
【００８１】
動作１０３または１０４は、カメラデータの適切な部分が全て考慮されていることを確認するために、スキャナデータを拡張してもよい。この拡張については以下に更に詳細に説明する。
【００８２】
動作１０４は、画像座標空間におけるマスク生成である。図８ａは、動作１０２／１０３の結果を示す。スキャナデータの解像度が比較的低いため、投影の結果は、領域ではなく、ポイントとなる。従って、動作１０３／１０４の一部としての拡張は、ポイントではなく、領域が生成されたことを確認するためである。マスクは異なる検出領域に関する情報を含み、マスクにおける領域は、スキャナデータの拡張されたポイントにより覆われる領域により定義される。そのため、拡張されたポイントは、マスクを形成するために用いることができる。
【００８３】
動作１０２〜１０４は、領域を検出し、カメラデータ／画像空間にマッピングする１つの動作と見なすこともできる。
【００８４】
先に定義したように、スキャナデータ及びカメラデータは、画像データと画像空間基準データの２種類の情報を含む。スキャナデータの画像データは画像そのもの（ポイントの集合体または複数の画素）を形成し、画像空間基準データは、どこで、またどの方向で画像が撮影されたかを定義した（メタ）情報を含む。なお、動作１０２は、スキャナデータの画像データを主に用い、動作１０３は、カメラデータの画像データと画像空間基準データを両方とも用いることは理解されるであろう。最終的に、動作１０５はカメラデータの画像データを主に用いる。
【００８５】
そのため、前記工程ｂ）が、前記少なくとも１つの検出された領域を前記カメラデータ１０３に投影する工程を更に有する方法を提供する。さらに、前記工程ｂ）が、マスクを生成する工程と、該生成したマスク１０４に基づいて前記工程ｃ）を行う工程とを更に有する方法を提供する。更に、前記生成されたマスク１０４に基づいて、前記工程ｄ）を実行しても良い。
【００８６】
最後の処理１０５において、差分圧縮がカメラデータに適用される。差分圧縮は、上述したように、第１領域において第１圧縮技術を用いる処理を含む。一実施形態によれば、第２圧縮技術は第２領域に適用される。第１圧縮技術は、（比較的高い）第１圧縮因子を用いる処理を含む。第２技術は（比較的低い）第２圧縮因子を用いる第２圧縮技術を用いる処理を含む。
【００８７】
圧縮技術は、マスクに含まれる情報に基づいて選択される。例えば、マスクが異なる領域に対する注目レベルを含む場合、適する圧縮技術を選択するために注目レベルを用いることができる。一実施形態によれば、高注目レベルは低圧縮因子（できれば、圧縮因子は０）に対応し、低注目レベルは高圧縮因子に対応する。
【００８８】
一実施形態によれば、「注目レベル」と品質因子との間で直接、並進運動秤が生成され、品質因子は、量的に計測された圧縮因子（例えば、ＪＰＥＧは１から１００を用い、１００は最高品質）である。
【００８９】
また、２を超える領域を検出することができるが、このとき異なるまたは同じ圧縮技術を異なる領域に適用することができる。
【００９０】
なお、ここで、当業者であれば、一旦マスクが分かれば、どのように動作１０５を実行するか、すなわち、どのように微分ＪＰＥＧ圧縮技術などの微分圧縮技術を適用するかは、理解できるであろう。本実施形態はそのようなマスクを提供する方法を提供する。
【００９１】
図５は、例えば動作１０１の結果であるカメラデータの一例を示す。図５において、カメラから遠すぎて、解釈の訳に立たないオブジェクト（交通標識）を示すために、ボックスが描画されている。
【００９２】
図６は、例えば、動作１０１の結果であるスキャナデータの一例を示す。スキャナデータは３Ｄポイントの集合体で、各ポイントには例えば、レーザースキャナ３（ｊ）、ｊ＝１、２、３、…Ｊに対する距離が対応付けられている。
【００９３】
上記では、動作１０２に関して、以下に定義するような異なる領域が得られる、異なる領域検出アルゴリズムを記載している。
１）車１、カメラ９、またはスキャナ３から所定距離または領域基準内にある領域
２）平面オブジェクト
３）車などの特定オブジェクトまたはオブジェクトクラス
４）車などの特定オブジェクトまたはオブジェクトクラスでない
５）所定の特徴を有する表面
【００９４】
図を参照して、１）と２）の組み合わせについて説明する。この例によれば、平面ではない全てのもの及びカメラに対して所定領域外にある全てのものが第１領域と識別され、カメラに対して所定領域内にある平面オブジェクトが第２領域と識別される。
【００９５】
まず、図７に概略が示されているような仕切られた領域の外にある全てのスキャナデータは第１領域と見なされる。図７はｙ方向がカメラ９が向いている方向に略一致する場合の座標システムを示している。この例では、この仕切られた領域は、
ｘ＝＜−６；６＞；ｙ＝＜０．３：２０＞；ｚ＝＜１；６＞
と定義されている。
【００９６】
次の動作で、仕切られた領域内にある全ての平面オブジェクが検出され、第２領域と定義される。所定領域内にある、平面ではない全てのものが第１領域と定義される。これらの動作は、上述した動作１０２の一部として実行され、決められた領域が生成される。
【００９７】
上述したように、動作１０３において、領域がカメラデータ上に投影される。図８ａは画像データ上に投影されたスキャナデータを概略的に示す。スキャナ３の解像度が限定されているかもしれないので、カメラデータの全ての関係ある部分が確実にすべて考慮されるようにするために、スキャナデータは拡張される。拡張されたスキャナデータを図８ｂに示す。
【００９８】
図９は、第２領域として検出されたカメラデータの一部を概略的に示す。この情報は、マスクを生成するために、動作１０４で用いられる。
【００９９】
マスクにより、異なる領域に対して異なる圧縮レートパラメータを用いることが可能になる（動作１０５）。図１０は、動作１０５の可能な結果を示す。図１０は、上述した例に基づいて、異なる圧縮率がかけられた再生画像を示す。
【０１００】
図から分かるように、カメラに最も近い街灯柱の交通標識は、まだ判読可能である。しかしながら、道路の先の方にある交通標識は、図５と比較して図１０ではかなりぼやけており、解釈することができない（枠を参照）。これが、道路の先の方にある交通標識にカメラの近くにある交通標識よりも高圧縮因子を掛けた微分圧縮技術の結果である。道路の先の方にある交通標識は図５においてほとんど（全く）解釈できないため、安全に圧縮することができる。
【０１０１】
圧縮技術
動作１０５を行う時に、異なる圧縮技術を用いることができる。例えば、第１及び第２圧縮技術は、カメラデータを圧縮するためにＪＰＥＧ２０００基準を用いても良い。ＪＰＥＧ２０００により、異なる圧縮因子を品質要件に依存させることができる。
【０１０２】
勿論、ウェーブレットに基づく圧縮技術のような、他の圧縮技術を用いることもできる。
【０１０３】
更なる実施形態によれば、領域に用いられる圧縮技術は、色空間の削減である。これは、例えば、交通標識である可能性が高い平面領域に利用することができる。交通標識は人工建造物であるため、色空間は、 交通標識を作るために用いられたと分かっている、限られた数の色（国によって使用される色の組は異なるが、例えば、黒、白、青、赤、オレンジ）に狭めることができる。
【０１０４】
一例として、例えば、http://vectormagic.stanford.edu/vectorize/uploadに記載されているVectorMagicソフトウエアを、これを実現するものとして参照する。一般的に、このような人工オブジェクトのベクトル化は、良い圧縮（データサイズ削減）技術である。
【０１０５】
コンピュータ装置
上記記載によれば、プロセッサ１１と、前記プロセッサに接続されたメモリ１２、１３、１４、１５とを含むコンピュータ装置１０であって、前記メモリは前記プロセッサ１１に以下の処理を行わせるデータと命令とを含むコンピュータプログラムを有し、前記プロセッサは、
ａ）前記モバイルマッピングシステム１０１の少なくとも１つのカメラ（９（ｊ））からカメラデータを取得し、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出し、
ｃ）第１領域におけるカメラデータに第１圧縮技術を適用し、
前記プロセッサ１１は、更に、少なくとも第１レンジセンサ３（１）から、少なくとも部分的に前記カメラデータに対応するレンジセンサデータ１０１を取得することができ、前記処理ｂ）が前記レンジセンサデータを用いて前記カメラデータ１０２における前記少なくとも１つの領域を認識する処理を行うことを特徴とするコンピュータ装置を提供する。
【０１０６】
更なるコンピュータ装置によれば、前記プロセッサ１１は、ｄ）検出された第２領域における前記カメラデータに第２圧縮技術を適用する処理を更に行う。前記第１圧縮技術は第１圧縮因子を適用する処理を含み、前記第２圧縮技術は第２圧縮因子を適用する処理を含でもよく、前記第１圧縮因子は、前記第２圧縮因子よりも大きい。
【０１０７】
前記処理ｂ）は、少なくとも１つの領域を検出するために、領域検出アルゴリズムを前記レンジセンサデータに適用する処理を含む。前記領域検出アルゴリズムは、
−所定距離または領域基準内にある、
−平面、
−特定のオブジェクト（またはオブジェクトクラス）、
−特定のオブジェクト（またはオブジェクトクラス）ではない、
−予め決められた特徴を有する表面、
である領域を検出するように構成することができる。
【０１０８】
また、前記処理ｂ）は、前記少なくとも１つの検出された領域を前記カメラデータに投影する処理を更に有し、また、前記処理ｂ）は、マスクを生成する処理と、該生成したマスクに基づいて前記処理ｃ）を行う処理とを更に有する。また、前記生成されたマスク１０４に基づいて、前記処理ｄ）を実行してもよい。
【０１０９】
また、前記処理ｂ）は、複数の領域を検出する処理を含み、前記領域の数は、１から前記スキャナデータにおける画素数まで変化する。また、前記圧縮技術は、色空間の削減であってもよい。
【０１１０】
更なる実施形態によれば、上記記載のコンピュータ装置と、移動体システムとを有するデータ処理システムであって、前記移動体システムが、時間、位置、方位データを供給するための位置判定システムと、前記第１レンジセンサデータを供給するための少なくとも第１レンジセンサ３（ｉ）と、前記画像データを供給するための少なくとも１つのカメラ９（ｊ）とを含むことを特徴とするデータ処理システムが提供される。
【０１１１】
一実施形態によれば、コンピュータに、上記記載の方法の各工程を実行させるためのプログラムが提供される。
【０１１２】
一実施形態によれば、上記記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体が提供される。
【０１１３】
別の実施形態
更なる実施形態によれば、複数の領域が認識され、異なる領域は異なる圧縮技術を適用する対象となる。各領域は分類され、この分類に応じて圧縮技術が適用される。分類は、例えば、複数の領域に注目レベルを割り当てることにより行われる。
【０１１４】
一実施形態によれば、モバイルマッピングシステムのカメラデータを処理する方法であって、
ａ）前記モバイルマッピングシステム（１０１）の少なくとも１つのカメラ（９（ｊ））からカメラデータを取得する工程と、
ｂ）前記カメラデータにおける少なくとも３つの注目領域を検出する工程と、
ｃ１）第１注目領域におけるカメラデータに第１圧縮技術を適用する工程と、
ｃ２）第２注目領域におけるカメラデータに第２圧縮技術を適用する工程と、
ｃ３）第３注目領域におけるカメラデータに第３圧縮技術を適用する工程とを有し、
前記方法が、更に、少なくとも第１レンジセンサ３（１）から、少なくとも部分的に前記カメラデータに対応するレンジセンサデータ（動作１０１）を取得しする工程を有し、前記工程ｂ）が前記レンジセンサデータを用いて前記カメラデータにおける前記少なくとも１つの注目領域を認識する（動作１０２）ことを特徴とする方法を提供する。
【０１１５】
勿論、３つではなく、どのような適した数の領域を検出しても良い。そのような実施形態によれば、工程ｂ）が、複数の領域を検出し、領域の数が１からスキャナデータにおける画素の数まで様々である方法が提供される。
【０１１６】
従って、実施形態に基づいて、異なる圧縮技術が適用される複数の領域を認識するためのスキャナデータに基づいて、マスクが生成されることは明らかである。マスクにより構成される異なる領域の数は、例えば、２、３、４などの適切な数である。実際は、かなり多くの領域が、マスクにより認識され、構成されてもよい。各領域は異なる圧縮技術を施す対象となる。
【０１１７】
マスクにより構成される認識された領域の数は、スキャナデータの画素数と同じように多い。
【０１１８】
一実施形態によれば、スキャナデータの各画素は領域として検出される（動作１０２）。方向情報及び距離情報に基づいて、注目レベルをスキャナデータの各画素に割り当てても良い。そのため、一例として、注目レベルは、距離が離れるにつれて低くなる。
【０１１９】
更なる例によれば、所定距離または領域基準内にあるレーザースキャナの全ての画素には、第１注目レベルが与えられ、所定距離または領域基準外にあるレーザースキャナの全ての画素には、距離が離れるにつれて低くなる（例えば、距離に反比例する）注目レベルが与えられる
【０１２０】
割り当てられた注目レベルに基づいてマスクが生成され、それに基づいて異なる圧縮技術がカメラデータに適用される。
【０１２１】
スキャナデータの各画素は、適切な圧縮技術を適用することのできるカメラ画素の数に少なくとも関連していると仮定する。
【０１２２】
追記
実施形態は、ＭＭＳアプリケーションの分野だけではなく、固定のマッピング技術の分野、写真測量、一般科学やエンターテイメント目的の画像及び映像圧縮にも適用することができる。
【０１２３】
スキャンデータからの注目領域の選択及びスキャナデータをカメラデータ内の対応する領域にリンクさせることは、コストの高い計算を必要とせず、ＣＰＵの能力に普通の負荷をかけるだけで、十分に速くＭＭＳストリームを処理することができる。
【０１２４】
実施形態が提供するのは、重要なデータを無くさずに済む、信頼できる設定された差分圧縮マスクである。上記実施形態は、圧縮マスクを設定するために、一般化された距離及び場所の特徴、または、表面の特徴を用いることに柔軟に対応している。
【０１２５】
アプリケーションによっては、上記実施形態は幾分控えめに用いられる。モバイルマッピングが集めた典型的な道路標識に対して、カメラデータに対する直後の処理として幾分控えめな処理を適用することができ、その場合、およそ３：１の節約になる。
【０１２６】
投影内での特定の分析や、エンドユーザへの引き渡しのためには、同じ技術の骨組みを用いて、より積極的なアプローチをすることもできる。例えば、処理は、最初、カメラ９（ｉ）から１０ｍ以内にあるオブジェクトに注目することができる。この場合、（生画像データと比較して）非常にコンパクトなデータセットを生成するため、処理アプリケーション（いくつかのアプリケーションでは、差分圧縮と解像度削減とを混ぜることができる）への引き渡しのために、より高い圧縮率を達成することができる。
【特許請求の範囲】
【請求項１】
モバイルマッピングシステムのカメラデータを処理する方法であって、
ａ）前記モバイルマッピングシステム（１０１）の少なくとも１つのカメラ（９（ｊ））からカメラデータを取得する工程と、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出する工程と、
ｃ）第１領域におけるカメラデータに圧縮技術を適用する工程とを有し、
前記方法が、更に、少なくとも第１レンジセンサ（３（１））から、少なくとも部分的に前記カメラデータに対応するレンジセンサデータ（１０１）を取得しする工程を有し、前記工程ｂ）が前記レンジセンサデータを用いて前記カメラデータ（１０２）における前記少なくとも１つの領域を認識することを特徴とする方法。
【請求項２】
ｄ）第２領域における前記カメラデータに第２圧縮技術を適用する工程を更に有することを特徴とする請求項１に記載の方法。
【請求項３】
前記第１圧縮技術は第１圧縮因子を適用する工程を含み、前記第２圧縮技術は第２圧縮因子を適用する工程を含み、前記第１圧縮因子は、前記第２圧縮因子よりも大きいことを特徴とする請求項２に記載の方法。
【請求項４】
前記第１圧縮技術は第１圧縮因子を適用する工程を含み、前記第２圧縮技術は第２圧縮因子を適用する工程を含み、前記第２圧縮因子は、前記第１圧縮因子よりも大きいことを特徴とする請求項２に記載の方法。
【請求項５】
前記工程ｂ）が、前記少なくとも１つの領域を検出するために、領域検出アルゴリズムを前記レンジセンサデータに適用する工程を含むことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記領域検出アルゴリズムは、
−所定距離または領域基準内にある、
−平面、
−予め決められた特徴を有する表面、
−特定のオブジェクト（またはオブジェクトクラス）、
−特定のオブジェクト（またはオブジェクトクラス）ではない、
うちの少なくともいずれかである領域を検出するように構成されていることを特徴とする請求項５に記載の方法。
【請求項７】
前記工程ｂ）は、前記少なくとも１つの検出された領域を前記カメラデータ（１０３）に投影する工程を更に有することを特徴とする請求項５または６に記載の方法。
【請求項８】
前記工程ｂ）は、マスクを生成する工程と、該生成したマスク（１０４）に基づいて前記工程ｃ）を行う工程とを更に有することを特徴とする請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
前記生成されたマスク（１０４）に基づいて、前記工程ｄ）を実行する工程を更に有することを特徴とする請求項２乃至７のいずれか１項に記載の方法。
【請求項１０】
前記方法ｂ）は、複数の領域を検出する工程を有し、前記領域の数は、１から前記スキャナデータにおける画素数まで変化することを特徴とする請求項１乃至９のいずれか１項に記載の方法。
【請求項１１】
前記圧縮技術は、色空間の削減を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
プロセッサ（１１）と、前記プロセッサに接続されたメモリ（１２、１３、１４、１５）とを含むコンピュータ装置（１０）であって、前記メモリは前記プロセッサ（１１）に以下の処理を行わせるデータと命令とを含むコンピュータプログラムを有し、前記プロセッサは、
ａ）前記モバイルマッピングシステム（１０１）の少なくとも１つのカメラ（９（ｊ））からカメラデータを取得し、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出し、
ｃ）第１領域におけるカメラデータに第１圧縮技術を適用し、
前記プロセッサ（１１）は、更に、少なくとも第１レンジセンサ（３（１））から、少なくとも部分的に前記カメラデータに対応するレンジセンサデータ（１０１）を取得することができ、前記処理ｂ）が前記レンジセンサデータを用いて前記カメラデータ（１０２）における前記少なくとも１つの領域を認識する処理を行うことを特徴とするコンピュータ装置。
【請求項１３】
前記プロセッサ（１１）は、ｄ）検出された第２領域における前記カメラデータに第２圧縮技術を適用する処理を更に行うことを特徴とする請求項１２に記載のコンピュータ装置（１０）。
【請求項１４】
前記第１圧縮技術は第１圧縮因子を適用する処理を含み、前記第２圧縮技術は第２圧縮因子を適用する処理を含み、前記第１圧縮因子は、前記第２圧縮因子よりも大きいことを特徴とする請求項１３に記載のコンピュータ装置（１０）。
【請求項１５】
前記第１圧縮技術は第１圧縮因子を適用する処理を含み、前記第２圧縮技術は第２圧縮因子を適用する処理を含み、前記第２圧縮因子は、前記第１圧縮因子よりも大きいことを特徴とする請求項１３に記載のコンピュータ装置（１０）。
【請求項１６】
前記処理ｂ）が、少なくとも１つの領域を検出するために、領域検出アルゴリズムを前記レンジセンサデータに適用する処理を含むことを特徴とする請求項１２乃至１５のいずれか１項に記載のコンピュータ装置（１０）。
【請求項１７】
前記領域検出アルゴリズムは、
−所定距離または領域基準内にある、
−平面、
−予め決められた特徴を有する表面、
−特定のオブジェクト（またはオブジェクトクラス）、
−特定のオブジェクト（またはオブジェクトクラス）ではない、
うちの少なくともいずれかである領域を検出するように構成されていることを特徴とする請求項１６に記載のコンピュータ装置（１０）。
【請求項１８】
前記処理ｂ）は、前記少なくとも１つの検出された領域を前記カメラデータ（１０３）に投影する処理を更に有することを特徴とする請求項１６または１７に記載のコンピュータ装置（１０）。
【請求項１９】
前記処理ｂ）は、マスクを生成する処理と、該生成したマスク（１０４）に基づいて前記処理ｃ）を行う処理とを更に有することを特徴とする請求項１２乃至１７のいずれか１項に記載のコンピュータ装置（１０）。
【請求項２０】
前記生成されたマスク（１０４）に基づいて、前記処理ｄ）を実行する処理を更に有することを特徴とする請求項１３乃至１９のいずれか１項に記載のコンピュータ装置（１０）。
【請求項２１】
前記処理ｂ）は、複数の領域を検出する処理を含み、前記領域の数は、１から前記スキャナデータにおける画素数まで変化することを特徴とする請求項１２乃至２０のいずれか１項に記載のコンピュータ装置（１０）。
【請求項２２】
前記圧縮技術は、色空間の削減を含むことを特徴とする請求項１２乃至２１のいずれか１項に記載のコンピュータ装置（１０）。
【請求項２３】
請求項１２乃至２２のいずれか１項に記載のコンピュータ装置と、移動体システムとを有するデータ処理システムであって、前記移動体システムが、時間、位置、方位データを供給するための位置判定システムと、前記第１レンジセンサデータを供給するための少なくとも第１レンジセンサ（３（ｉ））と、前記画像データを供給するための少なくとも１つのカメラ（９（ｊ））とを含むことを特徴とするデータ処理システム。
【請求項２４】
コンピュータに、請求項１乃至１１のいずれか１項に記載の方法の各工程を実行させるためのプログラム。
【請求項２５】
請求項２４に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【請求項２６】
請求項１を実行することにより得られるモバイルマッピングシステムのカメラデータを含む画像ファイル。
【請求項１】
モバイルマッピングシステムのカメラデータを処理する方法であって、
ａ）前記モバイルマッピングシステム（１０１）の少なくとも１つのカメラ（９（ｊ））からカメラデータを取得する工程と、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出する工程と、
ｃ）第１領域におけるカメラデータに圧縮技術を適用する工程とを有し、
前記方法が、更に、少なくとも第１レンジセンサ（３（１））から、少なくとも部分的に前記カメラデータに対応するレンジセンサデータ（１０１）を取得しする工程を有し、前記工程ｂ）が前記レンジセンサデータを用いて前記カメラデータ（１０２）における前記少なくとも１つの領域を認識することを特徴とする方法。
【請求項２】
ｄ）第２領域における前記カメラデータに第２圧縮技術を適用する工程を更に有することを特徴とする請求項１に記載の方法。
【請求項３】
前記第１圧縮技術は第１圧縮因子を適用する工程を含み、前記第２圧縮技術は第２圧縮因子を適用する工程を含み、前記第１圧縮因子は、前記第２圧縮因子よりも大きいことを特徴とする請求項２に記載の方法。
【請求項４】
前記第１圧縮技術は第１圧縮因子を適用する工程を含み、前記第２圧縮技術は第２圧縮因子を適用する工程を含み、前記第２圧縮因子は、前記第１圧縮因子よりも大きいことを特徴とする請求項２に記載の方法。
【請求項５】
前記工程ｂ）が、前記少なくとも１つの領域を検出するために、領域検出アルゴリズムを前記レンジセンサデータに適用する工程を含むことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記領域検出アルゴリズムは、
−所定距離または領域基準内にある、
−平面、
−予め決められた特徴を有する表面、
−特定のオブジェクト（またはオブジェクトクラス）、
−特定のオブジェクト（またはオブジェクトクラス）ではない、
うちの少なくともいずれかである領域を検出するように構成されていることを特徴とする請求項５に記載の方法。
【請求項７】
前記工程ｂ）は、前記少なくとも１つの検出された領域を前記カメラデータ（１０３）に投影する工程を更に有することを特徴とする請求項５または６に記載の方法。
【請求項８】
前記工程ｂ）は、マスクを生成する工程と、該生成したマスク（１０４）に基づいて前記工程ｃ）を行う工程とを更に有することを特徴とする請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
前記生成されたマスク（１０４）に基づいて、前記工程ｄ）を実行する工程を更に有することを特徴とする請求項２乃至７のいずれか１項に記載の方法。
【請求項１０】
前記方法ｂ）は、複数の領域を検出する工程を有し、前記領域の数は、１から前記スキャナデータにおける画素数まで変化することを特徴とする請求項１乃至９のいずれか１項に記載の方法。
【請求項１１】
前記圧縮技術は、色空間の削減を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
プロセッサ（１１）と、前記プロセッサに接続されたメモリ（１２、１３、１４、１５）とを含むコンピュータ装置（１０）であって、前記メモリは前記プロセッサ（１１）に以下の処理を行わせるデータと命令とを含むコンピュータプログラムを有し、前記プロセッサは、
ａ）前記モバイルマッピングシステム（１０１）の少なくとも１つのカメラ（９（ｊ））からカメラデータを取得し、
ｂ）前記カメラデータにおける少なくとも１つの領域を検出し、
ｃ）第１領域におけるカメラデータに第１圧縮技術を適用し、
前記プロセッサ（１１）は、更に、少なくとも第１レンジセンサ（３（１））から、少なくとも部分的に前記カメラデータに対応するレンジセンサデータ（１０１）を取得することができ、前記処理ｂ）が前記レンジセンサデータを用いて前記カメラデータ（１０２）における前記少なくとも１つの領域を認識する処理を行うことを特徴とするコンピュータ装置。
【請求項１３】
前記プロセッサ（１１）は、ｄ）検出された第２領域における前記カメラデータに第２圧縮技術を適用する処理を更に行うことを特徴とする請求項１２に記載のコンピュータ装置（１０）。
【請求項１４】
前記第１圧縮技術は第１圧縮因子を適用する処理を含み、前記第２圧縮技術は第２圧縮因子を適用する処理を含み、前記第１圧縮因子は、前記第２圧縮因子よりも大きいことを特徴とする請求項１３に記載のコンピュータ装置（１０）。
【請求項１５】
前記第１圧縮技術は第１圧縮因子を適用する処理を含み、前記第２圧縮技術は第２圧縮因子を適用する処理を含み、前記第２圧縮因子は、前記第１圧縮因子よりも大きいことを特徴とする請求項１３に記載のコンピュータ装置（１０）。
【請求項１６】
前記処理ｂ）が、少なくとも１つの領域を検出するために、領域検出アルゴリズムを前記レンジセンサデータに適用する処理を含むことを特徴とする請求項１２乃至１５のいずれか１項に記載のコンピュータ装置（１０）。
【請求項１７】
前記領域検出アルゴリズムは、
−所定距離または領域基準内にある、
−平面、
−予め決められた特徴を有する表面、
−特定のオブジェクト（またはオブジェクトクラス）、
−特定のオブジェクト（またはオブジェクトクラス）ではない、
うちの少なくともいずれかである領域を検出するように構成されていることを特徴とする請求項１６に記載のコンピュータ装置（１０）。
【請求項１８】
前記処理ｂ）は、前記少なくとも１つの検出された領域を前記カメラデータ（１０３）に投影する処理を更に有することを特徴とする請求項１６または１７に記載のコンピュータ装置（１０）。
【請求項１９】
前記処理ｂ）は、マスクを生成する処理と、該生成したマスク（１０４）に基づいて前記処理ｃ）を行う処理とを更に有することを特徴とする請求項１２乃至１７のいずれか１項に記載のコンピュータ装置（１０）。
【請求項２０】
前記生成されたマスク（１０４）に基づいて、前記処理ｄ）を実行する処理を更に有することを特徴とする請求項１３乃至１９のいずれか１項に記載のコンピュータ装置（１０）。
【請求項２１】
前記処理ｂ）は、複数の領域を検出する処理を含み、前記領域の数は、１から前記スキャナデータにおける画素数まで変化することを特徴とする請求項１２乃至２０のいずれか１項に記載のコンピュータ装置（１０）。
【請求項２２】
前記圧縮技術は、色空間の削減を含むことを特徴とする請求項１２乃至２１のいずれか１項に記載のコンピュータ装置（１０）。
【請求項２３】
請求項１２乃至２２のいずれか１項に記載のコンピュータ装置と、移動体システムとを有するデータ処理システムであって、前記移動体システムが、時間、位置、方位データを供給するための位置判定システムと、前記第１レンジセンサデータを供給するための少なくとも第１レンジセンサ（３（ｉ））と、前記画像データを供給するための少なくとも１つのカメラ（９（ｊ））とを含むことを特徴とするデータ処理システム。
【請求項２４】
コンピュータに、請求項１乃至１１のいずれか１項に記載の方法の各工程を実行させるためのプログラム。
【請求項２５】
請求項２４に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【請求項２６】
請求項１を実行することにより得られるモバイルマッピングシステムのカメラデータを含む画像ファイル。
【図１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図７】
【図９】
【図５】
【図６】
【図８ａ】
【図８ｂ】
【図１０】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図７】
【図９】
【図５】
【図６】
【図８ａ】
【図８ｂ】
【図１０】
【公表番号】特表２０１１−５１８３８３（Ｐ２０１１−５１８３８３Ａ）
【公表日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２０１１−５０４９４３（Ｐ２０１１−５０４９４３）
【出願日】平成２０年４月１８日（２００８．４．１８）
【国際出願番号】ＰＣＴ／ＮＬ２００８／０５０２２７
【国際公開番号】ＷＯ２００９／１２８７０１
【国際公開日】平成２１年１０月２２日（２００９．１０．２２）
【出願人】（５０９０９７５６３）テレ アトラス ベスローテン フエンノートシャップ (23)
【氏名又は名称原語表記】Ｔｅｌｅ Ａｔｌａｓ Ｂ．Ｖ．
【出願人】（５０７３８８８８９）テレ アトラス ノース アメリカ インコーポレイテッド (23)
【Ｆターム（参考）】
【公表日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２０年４月１８日（２００８．４．１８）
【国際出願番号】ＰＣＴ／ＮＬ２００８／０５０２２７
【国際公開番号】ＷＯ２００９／１２８７０１
【国際公開日】平成２１年１０月２２日（２００９．１０．２２）
【出願人】（５０９０９７５６３）テレ アトラス ベスローテン フエンノートシャップ (23)
【氏名又は名称原語表記】Ｔｅｌｅ Ａｔｌａｓ Ｂ．Ｖ．
【出願人】（５０７３８８８８９）テレ アトラス ノース アメリカ インコーポレイテッド (23)
【Ｆターム（参考）】
[ Back to top ]