対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム
【課題】表面の画像が反転することを避け、適切な画像を再生可能なデータを作成することができるデータ作成装置等及び適切な画像を再生することができるデータ再生装置等を提供する。
【解決手段】レーザースキャナ１１〜１３による測定点の座標の測定と、カメラ１４〜１６による写真画像の撮影を行う。制御部１９は、測定点のＸＹＺ座標を求め、記録部１８に格納する。色付き点群生成部２２は、各写真画像毎に、記録部１８に格納されている写真画像から色情報がマッピングされた座標点の群（色付き点群データ）を生成し、合成部２４は、各色付き点群データ内の座標点の色情報及び撮影位置を合成して、座標点毎に複数の色と撮影位置の組み合わせを含む拡張色付き点群データを作成する。
【解決手段】レーザースキャナ１１〜１３による測定点の座標の測定と、カメラ１４〜１６による写真画像の撮影を行う。制御部１９は、測定点のＸＹＺ座標を求め、記録部１８に格納する。色付き点群生成部２２は、各写真画像毎に、記録部１８に格納されている写真画像から色情報がマッピングされた座標点の群（色付き点群データ）を生成し、合成部２４は、各色付き点群データ内の座標点の色情報及び撮影位置を合成して、座標点毎に複数の色と撮影位置の組み合わせを含む拡張色付き点群データを作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば道路付近の物体表面の座標点を測定し、各座標点に別途撮影した写真画像から求めた色情報をマッピングした三次元データ（色付き点群データ）を作成する 対象物複数画像対応付け装置、色付き点群データに応じた画像を再生するデータ再生装置等に関する。
【背景技術】
【０００２】
道路付近の物体表面の座標点を測定し、別途撮影した道路付近の写真画像から求めた色情報を、各座標点にマッピングした色付き点群データを作成する技術が知られている（例えば特許文献１及び特許文献２）。
【０００３】
これらの技術では、例えば図２０に示すように、レーザスキャン装置で対象物の３次元形状と位置を測定し、別途撮影しておいた写真画像（カメラ画像）から求めた色情報を、撮影時のカメラの位置・姿勢に応じて各座標点（点群［ｘ，ｙ，ｚ］）にマッピングすることにより、色付き点群データを作成するようになっている。
【０００４】
このような技術では、色付き点群データは、撮影時のカメラの位置・姿勢等に応じて、複数の写真画像から選択した最適な写真画像を用いて作成する。例えばＡＳＰＲＳ ＬＡＳフォーマットの場合では、点群を構成する点毎に、以下のようなデータ構造となっている。
点位置（Ｘ，Ｙ，Ｚ），反射強度，…，ＧＰＳ情報，色情報（ＲＧＢ）
【０００５】
このような色付き点群データは、例えばカーナビゲーションやウォークスルー等のアプリケーションにおける視点［位置・姿勢、画角等］に応じて、視点から見えている範囲（視体積）内の座標点が選択され、視点から見える２次元画像の画素値としてマッピングしたＣＧ画像を生成するため等に用いられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４４６９４７１号公報
【特許文献２】特許第４４８６７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、座標点の色情報を１つの写真画像から求めていると、厚さが薄い（座標点が厚さ方向に１つあるいは少数しかない）対象物（例えば図２１（Ａ）に示すような看板［道路標識］等）を、色情報を求めた写真画像を撮影した位置と反対側から見た場合に、同図（Ｂ）に示すように、左右が反転した画像となってしまう可能性がある。
【０００８】
このため、本発明は、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生可能なデータを作成することが望ましい。また、本発明は、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができるのが望ましい。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本発明に係る対象物複数画像対応付け装置は、
物体の画像を複数の視点から撮影する撮影手段と、
撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて形状測定手段によって検出された各測定点の撮影された各画像中の位置を求める投影手段と、各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置（撮影位置）を示す情報とを対応付けた点群データを作成する作成手段とを備えることを要旨とする。
【００１０】
また、本発明に係るデータ再生装置は、
各測定点毎に、当該測定点の座標を示す情報と、複数の画像から各々決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置（撮影位置）を示す情報とを対応付けた点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、描画パラメータ指定手段によって指定された描画パラメータに応じて保持手段から描画に用いる測定点を抽出する抽出手段と、
描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、
抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色（描画色）を決定する描画色決定手段と、
描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定された描画色を用いて、抽出した測定点の三次元画像を生成するレンダリング手段とを備えることを要旨とする。
【００１１】
また、本発明に係る画像処理システムは、
物体の画像を複数の視点から撮影する撮影手段と、
撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて形状測定手段によって検出された各測定点の撮影された各画像中の位置を求める投影手段と、
各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置（撮影位置）を示す情報とを対応付けた点群データを作成する作成手段と、
作成手段によって作成された点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、
描画パラメータ指定手段によって指定された描画パラメータに応じて保持手段から描画に用いる測定点を抽出する抽出手段と、
描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色（描画色）を決定する描画色決定手段と、
描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定された描画色を用いて、抽出した測定点の三次元画像を生成するレンダリング手段とを備えることを要旨とする。
【発明の効果】
【００１２】
本発明では、色決定手段が、各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定し、作成手段が、各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置（撮影位置）を示す情報とを対応付けた点群データを作成する。
このため、表面の画像が反転することを避け、適切な画像として再生可能なデータを作成することができる。
【００１３】
また、本発明では、描画色決定手段が、描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色（描画色）を決定し、レンダリング手段が、描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定されたた描画色を用いて、抽出した測定点の三次元画像を生成する。このため、表面の画像が反転することを避け、適切な画像を再生することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した画像処理システムの構成を示すブロック図である。
【図２】データ作成装置の構成例を示す図である。
【図３】撮影装置の要部の構成例を示す図である。
【図４】撮影装置による測定・撮影処理の例を示す図である。
【図５】撮影装置によって計測された座標点の座標の例を示す図である。
【図６】撮影装置によって撮影された画像及び撮影時の位置及び姿勢のデータの例を示す図である。
【図７】データ作成装置による色付き点群生成処理の例を概念的に示す図である。
【図８】写真画像の座標系に投影した座標点の例を示す図である。
【図９】写真画像の例を示す図である。
【図１０】色付き点群データの例を示す図である。
【図１１】拡張色付き点群データ保持部に格納されるデータの例を示す図である。
【図１２】拡張色付き点群データ保持部に格納されるデータの例を示す図である。
【図１３】データ表示処理の例を概念的に示す図である。
【図１４】データ表示処理の例を示すフローチャートである。
【図１５】データ表示処理の詳細な処理の例を示すフローチャートである。
【図１６】カメラと視点の位置関係を示す斜視図である。
【図１７】カメラと視点の位置関係を示す平面図である。
【図１８】位置関係の例を示す概念図である。
【図１９】データ表示処理によって表示される画像の例を示す図である。
【図２０】従来の画像処理システムにおける処理の例を示す図である。
【図２１】従来の画像処理システムによって表示される画像の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、例えば本発明（対象物複数画像対応付け装置（データ作成装置）、データ再生装置）を、例えば道路付近の物体表面の座標点を測定し、別途撮影した道路付近の写真画像中の画素の色を、各座標点にマッピングした色付き点群データの作成と、これらの色付き点群データに基づく３Ｄ−ＣＧ画像の表示を行う画像処理システムに適用した一実施形態について説明する。
なお、以下に示す本実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。図面は模式的なものであり、装置やシステムの構成等は現実のものとは異なることに留意すべきである。
【００１６】
（構成）
この画像処理システムは、例えば道路付近の物体の形状の測定と画像の撮影を行う撮影装置１０と、画像に基づく色情報を道路付近の物体の座標点にマッピングしたデータを作成するデータ作成装置２０と、データ作成装置２０が作成したデータに基づく画像の表示を行うデータ表示装置３０とを備えている。
【００１７】
撮影装置１０は、例えば道路付近の物体の形状の測定を行うレーザースキャナ［形状測定手段］１１（１２、１３）と、道路付近の画像の撮影を行うカメラ［撮影手段］１４（１５、１６）と、レーザースキャナ１１（１２、１３）とカメラ１４（１５、１６）の位置及び姿勢を取得する位置姿勢取得部［位置姿勢取得手段］１７と、レーザースキャナ１１（１２、１３）とカメラ１４（１５、１６）によって取得したデータを記録する記録部１８と、撮影装置１０全体を制御する制御部１９とを備えている。位置姿勢取得部１７は、例えばＧＰＳ受信機とハイブリット慣性航法装置等を備えており、自動車の位置・姿勢を取得することができるようになっている。
【００１８】
また、データ作成装置２０は、記録部１８からデータを取得するデータ取得部２１と、取得したデータから色付き点群データを生成して色付き点群データ保持部２３に格納する色付き点群生成部［投影手段、色決定手段］２２と、各視点（カメラ位置）の色付き点群データを合成して拡張色付き点群データ保持部［保持手段］２５に格納する合成部［作成手段］２４とを備えている。
【００１９】
また、データ表示装置３０は、ユーザからの入力等に応じて視点等の描画パラメータを指定する描画パラメータ指定部［描画パラメータ指定手段］３１と、描画パラメータに応じて拡張色付き点群データ保持部２５からデータを取得するデータ取得部３２と、取得したデータに応じて座標点に描画色を割り付ける描画色割り付け部［抽出手段、描画色決定手段］３３と、描画色が割り付けられた座標点（群）に応じた画像を生成するレンダリング部［レンダリング手段］３４と、生成された画像を表示する表示部３５とを備えている。
【００２０】
上述の記録部１８には、例えば図２に示すように、例えば撮影位置及び姿勢毎に一意の番号ｍ［ｍ＝１，２，・・・，ｎ］が割り当てられ、撮影を行ったカメラ１４〜１６の画像（カメラｍ画像）と、当該カメラの位置と姿勢を示す情報（カメラｍ位置姿勢）と、レーザースキャナ１１〜１３によって測定された座標点についての情報（Ｘ，Ｙ，Ｚ）が格納されている。
【００２１】
データ作成装置２０の色付き点群生成部２２は、各々のカメラｍ画像毎に、当該カメラｍ画像内に写っている各座標点（Ｘ，Ｙ，Ｚ）の色（ＲＧＢ値）を決定して色付き転群データを生成し、色付き点群データ保持部２３に格納する。また、合成部２４は、各色付き点群データから各座標点毎の色（ＲＧＢ値）と当該色を決定した画像が撮影された位置を示す情報等を含む拡張色付き点群データを生成し、拡張色付き点群データ保持部２５に格納する。
【００２２】
撮影装置１０のレーザースキャナ１１〜１３とカメラ１４〜１６は、例えば図３に示すように、自動車のルーフに設置される平板状の基台１の上に設置されている。レーザースキャナ１２及びレーザースキャナ１３は、各々レーザースキャナ１１と水平方向に４５度傾けて配置されている。また、カメラ１４〜１６は、各々水平方向に９０度程度の画角を有している。カメラ１５及びカメラ１６は、各々カメラ１４と水平方向に９０度傾けて配置されている。なお、これらのカメラ１４〜１６の代わりに、球面ミラー等を用いた水平方向に３６０度の画角を有する全周囲カメラを用いてもよい。
【００２３】
（動作概要）
上述のように構成された画像処理システムでは、以下の３つの処理を、独立して実行する。
（１）測定・撮影処理
この処理では、複数の位置・姿勢から物体表面の座標点を測定し、複数の位置姿勢から物体の写真画像を撮影する。
（２）拡張色付き点群データの生成処理
この処理では、座標点毎に、撮影点の異なる複数の写真画像から求めた色と当該写真を撮影した位置を対応付けた拡張色付き点群データを作成する。
（３）再生処理
この処理では、外部のアプリケーション等から指定される視点等の描画パラメータに応じて、視点から座標点までのベクトルと、座標点から撮影位置までのベクトルの内積によって撮影方向と視点方向の一致度を判断し、一致度が高い撮影位置に対応する色を当該座標点の色として、ＣＧ画像を作成する。
【００２４】
（１）測定・撮影処理
撮影装置１０により、測定・撮影を行う際には、例えば図４に示すように、所定のルートに従って自動車を走行させ、位置姿勢取得部１７により、位置と姿勢を測定しながら、レーザースキャナ１１〜１３による道路周辺の物体の測定点の座標（座標点）の測定と、カメラ１４〜１６による道路周辺の写真画像の撮影を行う。
【００２５】
各レーザースキャナ１１〜１３は、各々パルス幅の非常に短い赤外線レーザをスキャナヘッドから照射し、このレーザが対象物の表面で反射して戻って来るまでの時間から距離を求める。スキャナヘッドは、所定の時間毎に、当該スキャナヘッドの軸方向に３６０度回転する。各レーザースキャナ１１〜１３は、レーザを照射したときのスキャナヘッドの回転角度（レーザ角度データ）と距離（距離データ）を制御部１９に供給する。
【００２６】
制御部１９は、位置姿勢取得部１７から取得した測定時の各レーザースキャナ１１〜１３の位置と姿勢に応じて、各々の距離データとレーザ角度データから、例えば図５に示すように、測定点（測定した座標点）のＸＹＺ座標を求め、例えば図５に示すように、記録部１８に格納する。なお、位置姿勢取得部１７の位置・姿勢は、厳密には、自動車の位置・姿勢であるが、上述の図３に示すように、各レーザースキャナ１１〜１３の位置・姿勢は、自動車の位置・姿勢と一定の関係にあるため、自動車の位置・姿勢に応じて各レーザースキャナ１１〜１３の位置・姿勢を求める。また、座標点のＸＹＺ座標を求める際には、自動車の走行による移動に応じた位置・姿勢の補正を行う。なお、この例では３台のレーザースキャナ１１〜１３を用いているが、水平方向３６０度、垂直方向１８０度の範囲の測定を行うことができるレーザースキャナであれば、１台のレーザースキャナを用いるだけで足りる。
【００２７】
また、制御部１９は、所定の時間間隔毎に、カメラ１４〜１６によって写真画像の撮影を行わせ、例えば図６に示すように、撮影された画像データ（写真画像）を、位置姿勢取得部１７から取得した撮影時のカメラ１４〜１６の位置と姿勢に対応付けて、記録部１８に格納する。
【００２８】
上述のような測定動作と撮影を実行しながら、自動車が所定のルートを走行し終えると、自動車の移動に応じて、複数の視点からの写真画像が撮影される。なお、例えば同一のルートを往復し、道路付近の物体の前と後ろからといったように、物体に対する視点が大きく異なる位置・姿勢からの複数の写真画像を取得するのが望ましい。
【００２９】
（２）拡張色付き点群データの生成処理
（２−１）色付き点群データの生成
データ作成装置２０は、まず、例えば図７に示すように、記録部１８に格納されている写真画像から色情報がマッピングされた座標点の群（色付き点群データ）を作成する。
【００３０】
データ作成装置２０の色付き点群生成部２２は、データ取得部２１を介して記録部１８から写真画像（カメラｍ画像）と撮影時のカメラの位置・姿勢（カメラｍ位置姿勢）を取得する。色付き点群生成部２２は、取得したカメラの位置・姿勢に応じて、写真画像の視野内にある座標点（カメラｍの視野に入っている座標点）を抽出する。さらに、色付き点群生成部２２は、抽出した座標点を、例えば図８に示すように、写真画像の座標系（ｘ，ｙ）に投影した座標を求める。さらに、色付き点群生成部２２は、投影した座標に相当する、例えば図９に示す写真画像中の色（ＲＧＢ値）を投影前の座標点の色とする。このとき、座標点の面（サーフェース）を考慮して隠れている座標点については無視するのが好ましい（裏側の座標点にも色がつくのを防ぐ）。
【００３１】
当該写真画像の視野内にある全ての座標点について色を決定すると、色付き点群生成部２２は、例えば図１０に示すように、当該写真画像を撮影した位置（Ｘｃａｍｍ、Ｙｃａｍｍ、Ｚｃａｍｍ）と、各座標点の座標（点位置）と色（ＲＧＢ値）の組み合わせを色付き点群データとして色付き点群データ保持部２３に格納する。これにより、この図８に示すように、写真画像毎に、撮影時のカメラの位置（Ｘｃａｍｍ，Ｙｃａｍｍ，Ｚｃａｍｍ）と、各座標点の位置（ｘｎ，ｙｎ，ｚｎ［ｎ＝１，２，３，・・・］）と当該位置に対応付けられた色情報（Ｒｎ，Ｇｎ，Ｂｎ［ｎ＝１，２，３，・・・］）を有する色付き点群データが生成される。
【００３２】
（２−２）拡張色付き点群データの生成
上述のように色付き点群データが作成されると、合成部２４は、各色付き点群データ内の座標点の色情報及び撮影位置を合成して、例えば図１１及び図１２に示すように、座標点毎に複数の色と撮影位置の組み合わせを含む拡張色付き点群データを作成する。
【００３３】
まず、合成部２４は、例えば各色付き点群データの撮影位置に撮影位置ＩＤを付与して撮影位置ＩＤテーブル２５Ｂに登録する。これにより、例えば図１２に示すように、写真画像の撮影位置毎に撮影位置ＩＤが登録される。
【００３４】
次に、合成部２４は、各色付き点群データ内の座標点の中から同じ位置の座標点の色を抽出し、撮影位置ＩＤと共に、座標点毎に固有の識別情報（点位置ＩＤ）に対応付けて拡張色付き点群データ保持部２５に登録する。この際、合成部２４は、同一の座標点に対応付けられた色情報の総数も登録する。これにより、例えば図１１に示すように、１つの点位置ＩＤに対応させて、「位置（Ｘ，Ｙ，Ｚ），色情報数，色情報１（ＲＧＢ），撮影位置ＩＤ１，色情報２（ＲＧＢ），撮影位置ＩＤ２，・・・」の情報が登録される。
【００３５】
全ての座標点について以上の処理が終了すると、合成部２４は、上述の図１１及び図１２に示すように、座標点の位置毎に、当該位置に対応付けられた色情報と当該色情報を求めた撮影画像を撮影した位置等を有する拡張色付き点群データが拡張色付き点群データ保持部２５に登録された状態となる。なお、撮影位置は、写真画像毎に共通であるため、上述のように、撮影位置ＩＤを用いた方がデータ容量を少なくすることができるが、撮影位置が判ればいいため、例えば、色情報毎に、「位置（Ｘ，Ｙ，Ｚ），（その他の属性），色情報数，色情報１（ＲＧＢ）， 撮影位置１（Ｘ，Ｙ，Ｚ），色情報２（ＲＧＢ），撮影位置２（Ｘ，Ｙ，Ｚ），・・・」といったように、位置を示す情報を対応付けて登録しておくようにしてもよい。
【００３６】
（３）再生処理
上述のように生成された拡張色付き点群データは、例えばカーナビゲーションやウォークスルー等のアプリケーションにおいて、視点から見える２次元画像の画素値を求めるため等に用いることができる。
【００３７】
データ表示装置３０は、上述のアプリケーション等から指定される視点等の描画パラメータに応じて、視点から座標点までのベクトルと、座標点から撮影位置までのベクトルの内積により、撮影方向と視点方向の一致度を判断し、一致度が高い撮影位置に対応する色を当該座標点の色として、ＣＧ画像を作成する。
【００３８】
図１３は、この再生処理におけるデータ表示装置３０全体の処理を示している。再生処理において、データ表示装置３０は、所定の時間間隔毎に、Ｓ１〜Ｓ５の処理を繰り返し、視点の変更等に応じたインタラクティブな画像の再生を行うようになっている。
【００３９】
再生処理が開始されると、まず、描画パラメータ指定部３１は、外部のアプリケーションから指定される描画パラメータ（視点の位置、姿勢、画角等）を取得する（Ｓ１）。
【００４０】
描画パラメータを取得すると、描画パラメータ指定部３１は、前回の描画時から視点等の描画パラメータから変更があるか否かを確認し（Ｓ２）、変更がなければ、レンダリング部３４にそのままレンダリング処理（Ｓ４）を実行させる。一方、描画パラメータの変更がある場合には、描画パラメータ指定部３１は、データ取得部３２に、変更された描画パラメータに応じた点群のデータを拡張色付き点群データ保持部２５から取得させ、描画色割り付け部３３に、点群に対する描画色の割り付け処理を行わせる（Ｓ３）。
【００４１】
割付処理が終了すると、描画パラメータ指定部３１は、レンダリング部３４に、描画色が割り付けられた点群についてレンダリング処理を行わせる（Ｓ４）。このレンダリング処理は、例えば図１４に示すように、描画パラメータに応じて視点位置から見た画角内に含まれる座標点Ｐ（Ｘ，Ｙ，Ｚ）の色により画像中の座標ｐ（ｘ，ｙ）の画素の色を求めることによって行う。画角内に含まれる全ての座標点（描画用点群データ）によって画像中の画素の色の算出が終了し、レンダリング処理が終了すると、描画パラメータ指定部３１は、レンダリング部３４に、レンダリング結果の画像を表示部３５に表示させ（Ｓ５）、次の描画パラメータの指定に戻る（Ｓ１）。
【００４２】
上述の図１３中のＳ３における描画色の割り付け処理は、さらに詳細には、例えば図１５に示す処理によって実行する。まず、描画色割り付け部３３は、データ取得部３２を介して拡張色付き点群データ保持部２５から、描画パラメータによって決まる視体積（生成しようとしている２次元画像内に写る範囲）内の座標点（拡張色付き点群）を抽出する（Ｓ１１）。
【００４３】
次に、描画色割り付け部３３は、抽出した全ての拡張色付き点群のデータについて、描画色Ｃｖｉｅｗ（Ｒｖｉｅｗ，Ｇｖｉｅｗ，Ｂｖｉｅｗ）を算出する（Ｓ１２）。具体的には、例えば、描画パラメータ指定部３１によって指定された視点位置Ｐｅｙｅを（Ｘｅｙｅ，Ｙｅｙｅ，Ｚｅｙｅ）とし、座標点Ｐの位置を（Ｘ，Ｙ，Ｚ）とし、色情報数をＮ、当該座標点のｉ番目の色Ｃｉを（Ｒｉ，Ｇｉ，Ｂｉ）とし、ｉ番目の色Ｃｉに対応する撮影位置Ｐｃａｍｉを（Ｘｃａｍｉ，Ｙｃａｍｉ，Ｚｃａｍｉ）とすると、描画色割り付け部３３は、当該座標点の描画色Ｃｖｉｅｗを次式によって決定する。
【００４４】
【数１】
【００４５】
（色情報を１つのみ使用する場合）
ここで、色情報（ＲＧＢ値）として再生時の視点と近い方向から撮影したもの一つを使うものとすれば、上記式（１）のＧｉは次式によって求めることができる。
【００４６】
【数２】
【００４７】
拡張色付き点群データ中の座標点Ｐの位置（Ｘ，Ｙ，Ｚ）、当該座標点のｉ番目の色Ｃｉに対応する撮影位置Ｐｃａｍｉ（Ｘｃａｍｉ，Ｙｃａｍｉ，Ｚｃａｍｉ）及び視点位置Ｐｅｙｅ（Ｘｅｙｅ，Ｙｅｙｅ，Ｚｅｙｅ）の位置関係を図示すると、例えば図１６、図１７及び図１８に示すようになる。このような状態において、上述の式（２）により、Ｇｉを求めると、Ｐｃａｍ１のＧ１とＰｃａｍ２のＧ２が０となり、Ｐｃａｍ３のＧ３が１となる。従って、このような状態では、描画色割り付け部３３は、座標点Ｐの色をＣ３（Ｒ３，Ｇ３，Ｂ３）とする。
【００４８】
（複数の色情報を１つのみ使用する場合）
なお、色情報（ＲＧＢ値）として（再生時の）視点と同じ方向から撮影したいくつかの値を、重み付けによって使うようにしてもよい。この場合は、Ｇｉを、上記式（２）の代わりに例えば次式によって求めるようにしてもよい。
【数３】
【００４９】
全ての描画用点群データについて、上述の描画色Ｃｖｉｅｗの割り付け処理が終了すると、描画色割り付け部３３は、描画色を割り付け描画用点群データをレンダリング部３４に供給する。この後、描画パラメータ指定部３１からの指示に応じてレンダリング部３４がレンダリング処理を実行して表示用の画像が生成される。
【００５０】
具体的には、例えば上述の図１６〜図１８に示す位置関係の場合では、再生時の視点位置Ｐｅｙｅ（Ｘｅｙｅ，Ｙｅｙｅ，Ｚｅｙｅ）から見た、描画用点群データ中の座標点Ｐ付近の画像は、例えば図１９（Ｂ）に示すようになる。また、座標点Ｐを挟んで視点位置Ｐｅｙｅ（Ｘｅｙｅ，Ｙｅｙｅ，Ｚｅｙｅ）とは逆の視点位置Ｐｅｙｅ’（Ｘｅｙｅ’，Ｙｅｙｅ’，Ｚｅｙｅ’）から見た座標点Ｐ付近の画像は、例えば図１９（Ａ）に示すようになる。
【００５１】
このように生成された画像中では、上述のように、拡張色付き点群データ中の撮影位置ＩＤに対応する撮影位置Ｐｃａｍｉ（Ｘｃａｍｉ，Ｙｃａｍｉ，Ｚｃａｍｉ）を用い、再生時の視点に近い撮影位置に対応する色に応じて、描画用点群データに描画色の割り付けを行っているため、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができる
【００５２】
これにより、この画像処理システムでは、厚さが薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができるデータを作成することができる。また、この画像処理システムでは、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができる。
【００５３】
（変形例）
上述の例では、レーザースキャナ１１〜１３によって、道路付近の物体の形状を測定していたが、これらの代わりに、移動前後の画像内の物体の位置の変化を用いて物体の形状を測定してもよい。上述のように、カメラが取り付けられた自動車が移動している場合、移動の前後の写真画像中に写っている物体の位置（厳密にはカメラの光軸に対する角度）の変化により、カメラから物体までの距離を求めることができる。具体的には、例えば写真画像中の特徴点を抽出し、移動前後のカメラの位置・姿勢の変化と、画像内の特徴点の位置の変化から三角測量と同じ原理により、当該特徴点までの距離を測定することができる。このため、移動に伴う自動車の位置・姿勢（当該写真画像を撮影したカメラの位置・姿勢）の変化と写真画像中の位置の変化とから、当該特徴点の座標を求め、上述の座標点としてもよい。
【００５４】
また、上述の撮影位置ＩＤテーブル２５Ｂに撮影位置ＩＤに対応させて登録しておくのは、撮影位置の座標ではなく、単位ベクトル等の撮影方向を示す情報としてもよい。このような単位ベクトルを用いた場合でも、視点と座標点の単位ベクトル等との内積から撮影方向との一致度を判断することができ、上述と同じ作用効果を奏することができる。
【符号の説明】
【００５５】
１０ 撮影装置
１７ 位置姿勢取得部
１８ 記録部
２０ データ作成装置
２２ 色付き点群生成部
２３ 色付き点群データ保持部
２４ 合成部
２５ 拡張色付き点群データ保持部
３０ データ再生装置
３１ 描画パラメータ指定部
３３ 描画色割り付け部
３４ レンダリング部
【技術分野】
【０００１】
本発明は、例えば道路付近の物体表面の座標点を測定し、各座標点に別途撮影した写真画像から求めた色情報をマッピングした三次元データ（色付き点群データ）を作成する 対象物複数画像対応付け装置、色付き点群データに応じた画像を再生するデータ再生装置等に関する。
【背景技術】
【０００２】
道路付近の物体表面の座標点を測定し、別途撮影した道路付近の写真画像から求めた色情報を、各座標点にマッピングした色付き点群データを作成する技術が知られている（例えば特許文献１及び特許文献２）。
【０００３】
これらの技術では、例えば図２０に示すように、レーザスキャン装置で対象物の３次元形状と位置を測定し、別途撮影しておいた写真画像（カメラ画像）から求めた色情報を、撮影時のカメラの位置・姿勢に応じて各座標点（点群［ｘ，ｙ，ｚ］）にマッピングすることにより、色付き点群データを作成するようになっている。
【０００４】
このような技術では、色付き点群データは、撮影時のカメラの位置・姿勢等に応じて、複数の写真画像から選択した最適な写真画像を用いて作成する。例えばＡＳＰＲＳ ＬＡＳフォーマットの場合では、点群を構成する点毎に、以下のようなデータ構造となっている。
点位置（Ｘ，Ｙ，Ｚ），反射強度，…，ＧＰＳ情報，色情報（ＲＧＢ）
【０００５】
このような色付き点群データは、例えばカーナビゲーションやウォークスルー等のアプリケーションにおける視点［位置・姿勢、画角等］に応じて、視点から見えている範囲（視体積）内の座標点が選択され、視点から見える２次元画像の画素値としてマッピングしたＣＧ画像を生成するため等に用いられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４４６９４７１号公報
【特許文献２】特許第４４８６７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、座標点の色情報を１つの写真画像から求めていると、厚さが薄い（座標点が厚さ方向に１つあるいは少数しかない）対象物（例えば図２１（Ａ）に示すような看板［道路標識］等）を、色情報を求めた写真画像を撮影した位置と反対側から見た場合に、同図（Ｂ）に示すように、左右が反転した画像となってしまう可能性がある。
【０００８】
このため、本発明は、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生可能なデータを作成することが望ましい。また、本発明は、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができるのが望ましい。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本発明に係る対象物複数画像対応付け装置は、
物体の画像を複数の視点から撮影する撮影手段と、
撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて形状測定手段によって検出された各測定点の撮影された各画像中の位置を求める投影手段と、各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置（撮影位置）を示す情報とを対応付けた点群データを作成する作成手段とを備えることを要旨とする。
【００１０】
また、本発明に係るデータ再生装置は、
各測定点毎に、当該測定点の座標を示す情報と、複数の画像から各々決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置（撮影位置）を示す情報とを対応付けた点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、描画パラメータ指定手段によって指定された描画パラメータに応じて保持手段から描画に用いる測定点を抽出する抽出手段と、
描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、
抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色（描画色）を決定する描画色決定手段と、
描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定された描画色を用いて、抽出した測定点の三次元画像を生成するレンダリング手段とを備えることを要旨とする。
【００１１】
また、本発明に係る画像処理システムは、
物体の画像を複数の視点から撮影する撮影手段と、
撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて形状測定手段によって検出された各測定点の撮影された各画像中の位置を求める投影手段と、
各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置（撮影位置）を示す情報とを対応付けた点群データを作成する作成手段と、
作成手段によって作成された点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、
描画パラメータ指定手段によって指定された描画パラメータに応じて保持手段から描画に用いる測定点を抽出する抽出手段と、
描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色（描画色）を決定する描画色決定手段と、
描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定された描画色を用いて、抽出した測定点の三次元画像を生成するレンダリング手段とを備えることを要旨とする。
【発明の効果】
【００１２】
本発明では、色決定手段が、各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定し、作成手段が、各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置（撮影位置）を示す情報とを対応付けた点群データを作成する。
このため、表面の画像が反転することを避け、適切な画像として再生可能なデータを作成することができる。
【００１３】
また、本発明では、描画色決定手段が、描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色（描画色）を決定し、レンダリング手段が、描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定されたた描画色を用いて、抽出した測定点の三次元画像を生成する。このため、表面の画像が反転することを避け、適切な画像を再生することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した画像処理システムの構成を示すブロック図である。
【図２】データ作成装置の構成例を示す図である。
【図３】撮影装置の要部の構成例を示す図である。
【図４】撮影装置による測定・撮影処理の例を示す図である。
【図５】撮影装置によって計測された座標点の座標の例を示す図である。
【図６】撮影装置によって撮影された画像及び撮影時の位置及び姿勢のデータの例を示す図である。
【図７】データ作成装置による色付き点群生成処理の例を概念的に示す図である。
【図８】写真画像の座標系に投影した座標点の例を示す図である。
【図９】写真画像の例を示す図である。
【図１０】色付き点群データの例を示す図である。
【図１１】拡張色付き点群データ保持部に格納されるデータの例を示す図である。
【図１２】拡張色付き点群データ保持部に格納されるデータの例を示す図である。
【図１３】データ表示処理の例を概念的に示す図である。
【図１４】データ表示処理の例を示すフローチャートである。
【図１５】データ表示処理の詳細な処理の例を示すフローチャートである。
【図１６】カメラと視点の位置関係を示す斜視図である。
【図１７】カメラと視点の位置関係を示す平面図である。
【図１８】位置関係の例を示す概念図である。
【図１９】データ表示処理によって表示される画像の例を示す図である。
【図２０】従来の画像処理システムにおける処理の例を示す図である。
【図２１】従来の画像処理システムによって表示される画像の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、例えば本発明（対象物複数画像対応付け装置（データ作成装置）、データ再生装置）を、例えば道路付近の物体表面の座標点を測定し、別途撮影した道路付近の写真画像中の画素の色を、各座標点にマッピングした色付き点群データの作成と、これらの色付き点群データに基づく３Ｄ−ＣＧ画像の表示を行う画像処理システムに適用した一実施形態について説明する。
なお、以下に示す本実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。図面は模式的なものであり、装置やシステムの構成等は現実のものとは異なることに留意すべきである。
【００１６】
（構成）
この画像処理システムは、例えば道路付近の物体の形状の測定と画像の撮影を行う撮影装置１０と、画像に基づく色情報を道路付近の物体の座標点にマッピングしたデータを作成するデータ作成装置２０と、データ作成装置２０が作成したデータに基づく画像の表示を行うデータ表示装置３０とを備えている。
【００１７】
撮影装置１０は、例えば道路付近の物体の形状の測定を行うレーザースキャナ［形状測定手段］１１（１２、１３）と、道路付近の画像の撮影を行うカメラ［撮影手段］１４（１５、１６）と、レーザースキャナ１１（１２、１３）とカメラ１４（１５、１６）の位置及び姿勢を取得する位置姿勢取得部［位置姿勢取得手段］１７と、レーザースキャナ１１（１２、１３）とカメラ１４（１５、１６）によって取得したデータを記録する記録部１８と、撮影装置１０全体を制御する制御部１９とを備えている。位置姿勢取得部１７は、例えばＧＰＳ受信機とハイブリット慣性航法装置等を備えており、自動車の位置・姿勢を取得することができるようになっている。
【００１８】
また、データ作成装置２０は、記録部１８からデータを取得するデータ取得部２１と、取得したデータから色付き点群データを生成して色付き点群データ保持部２３に格納する色付き点群生成部［投影手段、色決定手段］２２と、各視点（カメラ位置）の色付き点群データを合成して拡張色付き点群データ保持部［保持手段］２５に格納する合成部［作成手段］２４とを備えている。
【００１９】
また、データ表示装置３０は、ユーザからの入力等に応じて視点等の描画パラメータを指定する描画パラメータ指定部［描画パラメータ指定手段］３１と、描画パラメータに応じて拡張色付き点群データ保持部２５からデータを取得するデータ取得部３２と、取得したデータに応じて座標点に描画色を割り付ける描画色割り付け部［抽出手段、描画色決定手段］３３と、描画色が割り付けられた座標点（群）に応じた画像を生成するレンダリング部［レンダリング手段］３４と、生成された画像を表示する表示部３５とを備えている。
【００２０】
上述の記録部１８には、例えば図２に示すように、例えば撮影位置及び姿勢毎に一意の番号ｍ［ｍ＝１，２，・・・，ｎ］が割り当てられ、撮影を行ったカメラ１４〜１６の画像（カメラｍ画像）と、当該カメラの位置と姿勢を示す情報（カメラｍ位置姿勢）と、レーザースキャナ１１〜１３によって測定された座標点についての情報（Ｘ，Ｙ，Ｚ）が格納されている。
【００２１】
データ作成装置２０の色付き点群生成部２２は、各々のカメラｍ画像毎に、当該カメラｍ画像内に写っている各座標点（Ｘ，Ｙ，Ｚ）の色（ＲＧＢ値）を決定して色付き転群データを生成し、色付き点群データ保持部２３に格納する。また、合成部２４は、各色付き点群データから各座標点毎の色（ＲＧＢ値）と当該色を決定した画像が撮影された位置を示す情報等を含む拡張色付き点群データを生成し、拡張色付き点群データ保持部２５に格納する。
【００２２】
撮影装置１０のレーザースキャナ１１〜１３とカメラ１４〜１６は、例えば図３に示すように、自動車のルーフに設置される平板状の基台１の上に設置されている。レーザースキャナ１２及びレーザースキャナ１３は、各々レーザースキャナ１１と水平方向に４５度傾けて配置されている。また、カメラ１４〜１６は、各々水平方向に９０度程度の画角を有している。カメラ１５及びカメラ１６は、各々カメラ１４と水平方向に９０度傾けて配置されている。なお、これらのカメラ１４〜１６の代わりに、球面ミラー等を用いた水平方向に３６０度の画角を有する全周囲カメラを用いてもよい。
【００２３】
（動作概要）
上述のように構成された画像処理システムでは、以下の３つの処理を、独立して実行する。
（１）測定・撮影処理
この処理では、複数の位置・姿勢から物体表面の座標点を測定し、複数の位置姿勢から物体の写真画像を撮影する。
（２）拡張色付き点群データの生成処理
この処理では、座標点毎に、撮影点の異なる複数の写真画像から求めた色と当該写真を撮影した位置を対応付けた拡張色付き点群データを作成する。
（３）再生処理
この処理では、外部のアプリケーション等から指定される視点等の描画パラメータに応じて、視点から座標点までのベクトルと、座標点から撮影位置までのベクトルの内積によって撮影方向と視点方向の一致度を判断し、一致度が高い撮影位置に対応する色を当該座標点の色として、ＣＧ画像を作成する。
【００２４】
（１）測定・撮影処理
撮影装置１０により、測定・撮影を行う際には、例えば図４に示すように、所定のルートに従って自動車を走行させ、位置姿勢取得部１７により、位置と姿勢を測定しながら、レーザースキャナ１１〜１３による道路周辺の物体の測定点の座標（座標点）の測定と、カメラ１４〜１６による道路周辺の写真画像の撮影を行う。
【００２５】
各レーザースキャナ１１〜１３は、各々パルス幅の非常に短い赤外線レーザをスキャナヘッドから照射し、このレーザが対象物の表面で反射して戻って来るまでの時間から距離を求める。スキャナヘッドは、所定の時間毎に、当該スキャナヘッドの軸方向に３６０度回転する。各レーザースキャナ１１〜１３は、レーザを照射したときのスキャナヘッドの回転角度（レーザ角度データ）と距離（距離データ）を制御部１９に供給する。
【００２６】
制御部１９は、位置姿勢取得部１７から取得した測定時の各レーザースキャナ１１〜１３の位置と姿勢に応じて、各々の距離データとレーザ角度データから、例えば図５に示すように、測定点（測定した座標点）のＸＹＺ座標を求め、例えば図５に示すように、記録部１８に格納する。なお、位置姿勢取得部１７の位置・姿勢は、厳密には、自動車の位置・姿勢であるが、上述の図３に示すように、各レーザースキャナ１１〜１３の位置・姿勢は、自動車の位置・姿勢と一定の関係にあるため、自動車の位置・姿勢に応じて各レーザースキャナ１１〜１３の位置・姿勢を求める。また、座標点のＸＹＺ座標を求める際には、自動車の走行による移動に応じた位置・姿勢の補正を行う。なお、この例では３台のレーザースキャナ１１〜１３を用いているが、水平方向３６０度、垂直方向１８０度の範囲の測定を行うことができるレーザースキャナであれば、１台のレーザースキャナを用いるだけで足りる。
【００２７】
また、制御部１９は、所定の時間間隔毎に、カメラ１４〜１６によって写真画像の撮影を行わせ、例えば図６に示すように、撮影された画像データ（写真画像）を、位置姿勢取得部１７から取得した撮影時のカメラ１４〜１６の位置と姿勢に対応付けて、記録部１８に格納する。
【００２８】
上述のような測定動作と撮影を実行しながら、自動車が所定のルートを走行し終えると、自動車の移動に応じて、複数の視点からの写真画像が撮影される。なお、例えば同一のルートを往復し、道路付近の物体の前と後ろからといったように、物体に対する視点が大きく異なる位置・姿勢からの複数の写真画像を取得するのが望ましい。
【００２９】
（２）拡張色付き点群データの生成処理
（２−１）色付き点群データの生成
データ作成装置２０は、まず、例えば図７に示すように、記録部１８に格納されている写真画像から色情報がマッピングされた座標点の群（色付き点群データ）を作成する。
【００３０】
データ作成装置２０の色付き点群生成部２２は、データ取得部２１を介して記録部１８から写真画像（カメラｍ画像）と撮影時のカメラの位置・姿勢（カメラｍ位置姿勢）を取得する。色付き点群生成部２２は、取得したカメラの位置・姿勢に応じて、写真画像の視野内にある座標点（カメラｍの視野に入っている座標点）を抽出する。さらに、色付き点群生成部２２は、抽出した座標点を、例えば図８に示すように、写真画像の座標系（ｘ，ｙ）に投影した座標を求める。さらに、色付き点群生成部２２は、投影した座標に相当する、例えば図９に示す写真画像中の色（ＲＧＢ値）を投影前の座標点の色とする。このとき、座標点の面（サーフェース）を考慮して隠れている座標点については無視するのが好ましい（裏側の座標点にも色がつくのを防ぐ）。
【００３１】
当該写真画像の視野内にある全ての座標点について色を決定すると、色付き点群生成部２２は、例えば図１０に示すように、当該写真画像を撮影した位置（Ｘｃａｍｍ、Ｙｃａｍｍ、Ｚｃａｍｍ）と、各座標点の座標（点位置）と色（ＲＧＢ値）の組み合わせを色付き点群データとして色付き点群データ保持部２３に格納する。これにより、この図８に示すように、写真画像毎に、撮影時のカメラの位置（Ｘｃａｍｍ，Ｙｃａｍｍ，Ｚｃａｍｍ）と、各座標点の位置（ｘｎ，ｙｎ，ｚｎ［ｎ＝１，２，３，・・・］）と当該位置に対応付けられた色情報（Ｒｎ，Ｇｎ，Ｂｎ［ｎ＝１，２，３，・・・］）を有する色付き点群データが生成される。
【００３２】
（２−２）拡張色付き点群データの生成
上述のように色付き点群データが作成されると、合成部２４は、各色付き点群データ内の座標点の色情報及び撮影位置を合成して、例えば図１１及び図１２に示すように、座標点毎に複数の色と撮影位置の組み合わせを含む拡張色付き点群データを作成する。
【００３３】
まず、合成部２４は、例えば各色付き点群データの撮影位置に撮影位置ＩＤを付与して撮影位置ＩＤテーブル２５Ｂに登録する。これにより、例えば図１２に示すように、写真画像の撮影位置毎に撮影位置ＩＤが登録される。
【００３４】
次に、合成部２４は、各色付き点群データ内の座標点の中から同じ位置の座標点の色を抽出し、撮影位置ＩＤと共に、座標点毎に固有の識別情報（点位置ＩＤ）に対応付けて拡張色付き点群データ保持部２５に登録する。この際、合成部２４は、同一の座標点に対応付けられた色情報の総数も登録する。これにより、例えば図１１に示すように、１つの点位置ＩＤに対応させて、「位置（Ｘ，Ｙ，Ｚ），色情報数，色情報１（ＲＧＢ），撮影位置ＩＤ１，色情報２（ＲＧＢ），撮影位置ＩＤ２，・・・」の情報が登録される。
【００３５】
全ての座標点について以上の処理が終了すると、合成部２４は、上述の図１１及び図１２に示すように、座標点の位置毎に、当該位置に対応付けられた色情報と当該色情報を求めた撮影画像を撮影した位置等を有する拡張色付き点群データが拡張色付き点群データ保持部２５に登録された状態となる。なお、撮影位置は、写真画像毎に共通であるため、上述のように、撮影位置ＩＤを用いた方がデータ容量を少なくすることができるが、撮影位置が判ればいいため、例えば、色情報毎に、「位置（Ｘ，Ｙ，Ｚ），（その他の属性），色情報数，色情報１（ＲＧＢ）， 撮影位置１（Ｘ，Ｙ，Ｚ），色情報２（ＲＧＢ），撮影位置２（Ｘ，Ｙ，Ｚ），・・・」といったように、位置を示す情報を対応付けて登録しておくようにしてもよい。
【００３６】
（３）再生処理
上述のように生成された拡張色付き点群データは、例えばカーナビゲーションやウォークスルー等のアプリケーションにおいて、視点から見える２次元画像の画素値を求めるため等に用いることができる。
【００３７】
データ表示装置３０は、上述のアプリケーション等から指定される視点等の描画パラメータに応じて、視点から座標点までのベクトルと、座標点から撮影位置までのベクトルの内積により、撮影方向と視点方向の一致度を判断し、一致度が高い撮影位置に対応する色を当該座標点の色として、ＣＧ画像を作成する。
【００３８】
図１３は、この再生処理におけるデータ表示装置３０全体の処理を示している。再生処理において、データ表示装置３０は、所定の時間間隔毎に、Ｓ１〜Ｓ５の処理を繰り返し、視点の変更等に応じたインタラクティブな画像の再生を行うようになっている。
【００３９】
再生処理が開始されると、まず、描画パラメータ指定部３１は、外部のアプリケーションから指定される描画パラメータ（視点の位置、姿勢、画角等）を取得する（Ｓ１）。
【００４０】
描画パラメータを取得すると、描画パラメータ指定部３１は、前回の描画時から視点等の描画パラメータから変更があるか否かを確認し（Ｓ２）、変更がなければ、レンダリング部３４にそのままレンダリング処理（Ｓ４）を実行させる。一方、描画パラメータの変更がある場合には、描画パラメータ指定部３１は、データ取得部３２に、変更された描画パラメータに応じた点群のデータを拡張色付き点群データ保持部２５から取得させ、描画色割り付け部３３に、点群に対する描画色の割り付け処理を行わせる（Ｓ３）。
【００４１】
割付処理が終了すると、描画パラメータ指定部３１は、レンダリング部３４に、描画色が割り付けられた点群についてレンダリング処理を行わせる（Ｓ４）。このレンダリング処理は、例えば図１４に示すように、描画パラメータに応じて視点位置から見た画角内に含まれる座標点Ｐ（Ｘ，Ｙ，Ｚ）の色により画像中の座標ｐ（ｘ，ｙ）の画素の色を求めることによって行う。画角内に含まれる全ての座標点（描画用点群データ）によって画像中の画素の色の算出が終了し、レンダリング処理が終了すると、描画パラメータ指定部３１は、レンダリング部３４に、レンダリング結果の画像を表示部３５に表示させ（Ｓ５）、次の描画パラメータの指定に戻る（Ｓ１）。
【００４２】
上述の図１３中のＳ３における描画色の割り付け処理は、さらに詳細には、例えば図１５に示す処理によって実行する。まず、描画色割り付け部３３は、データ取得部３２を介して拡張色付き点群データ保持部２５から、描画パラメータによって決まる視体積（生成しようとしている２次元画像内に写る範囲）内の座標点（拡張色付き点群）を抽出する（Ｓ１１）。
【００４３】
次に、描画色割り付け部３３は、抽出した全ての拡張色付き点群のデータについて、描画色Ｃｖｉｅｗ（Ｒｖｉｅｗ，Ｇｖｉｅｗ，Ｂｖｉｅｗ）を算出する（Ｓ１２）。具体的には、例えば、描画パラメータ指定部３１によって指定された視点位置Ｐｅｙｅを（Ｘｅｙｅ，Ｙｅｙｅ，Ｚｅｙｅ）とし、座標点Ｐの位置を（Ｘ，Ｙ，Ｚ）とし、色情報数をＮ、当該座標点のｉ番目の色Ｃｉを（Ｒｉ，Ｇｉ，Ｂｉ）とし、ｉ番目の色Ｃｉに対応する撮影位置Ｐｃａｍｉを（Ｘｃａｍｉ，Ｙｃａｍｉ，Ｚｃａｍｉ）とすると、描画色割り付け部３３は、当該座標点の描画色Ｃｖｉｅｗを次式によって決定する。
【００４４】
【数１】
【００４５】
（色情報を１つのみ使用する場合）
ここで、色情報（ＲＧＢ値）として再生時の視点と近い方向から撮影したもの一つを使うものとすれば、上記式（１）のＧｉは次式によって求めることができる。
【００４６】
【数２】
【００４７】
拡張色付き点群データ中の座標点Ｐの位置（Ｘ，Ｙ，Ｚ）、当該座標点のｉ番目の色Ｃｉに対応する撮影位置Ｐｃａｍｉ（Ｘｃａｍｉ，Ｙｃａｍｉ，Ｚｃａｍｉ）及び視点位置Ｐｅｙｅ（Ｘｅｙｅ，Ｙｅｙｅ，Ｚｅｙｅ）の位置関係を図示すると、例えば図１６、図１７及び図１８に示すようになる。このような状態において、上述の式（２）により、Ｇｉを求めると、Ｐｃａｍ１のＧ１とＰｃａｍ２のＧ２が０となり、Ｐｃａｍ３のＧ３が１となる。従って、このような状態では、描画色割り付け部３３は、座標点Ｐの色をＣ３（Ｒ３，Ｇ３，Ｂ３）とする。
【００４８】
（複数の色情報を１つのみ使用する場合）
なお、色情報（ＲＧＢ値）として（再生時の）視点と同じ方向から撮影したいくつかの値を、重み付けによって使うようにしてもよい。この場合は、Ｇｉを、上記式（２）の代わりに例えば次式によって求めるようにしてもよい。
【数３】
【００４９】
全ての描画用点群データについて、上述の描画色Ｃｖｉｅｗの割り付け処理が終了すると、描画色割り付け部３３は、描画色を割り付け描画用点群データをレンダリング部３４に供給する。この後、描画パラメータ指定部３１からの指示に応じてレンダリング部３４がレンダリング処理を実行して表示用の画像が生成される。
【００５０】
具体的には、例えば上述の図１６〜図１８に示す位置関係の場合では、再生時の視点位置Ｐｅｙｅ（Ｘｅｙｅ，Ｙｅｙｅ，Ｚｅｙｅ）から見た、描画用点群データ中の座標点Ｐ付近の画像は、例えば図１９（Ｂ）に示すようになる。また、座標点Ｐを挟んで視点位置Ｐｅｙｅ（Ｘｅｙｅ，Ｙｅｙｅ，Ｚｅｙｅ）とは逆の視点位置Ｐｅｙｅ’（Ｘｅｙｅ’，Ｙｅｙｅ’，Ｚｅｙｅ’）から見た座標点Ｐ付近の画像は、例えば図１９（Ａ）に示すようになる。
【００５１】
このように生成された画像中では、上述のように、拡張色付き点群データ中の撮影位置ＩＤに対応する撮影位置Ｐｃａｍｉ（Ｘｃａｍｉ，Ｙｃａｍｉ，Ｚｃａｍｉ）を用い、再生時の視点に近い撮影位置に対応する色に応じて、描画用点群データに描画色の割り付けを行っているため、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができる
【００５２】
これにより、この画像処理システムでは、厚さが薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができるデータを作成することができる。また、この画像処理システムでは、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができる。
【００５３】
（変形例）
上述の例では、レーザースキャナ１１〜１３によって、道路付近の物体の形状を測定していたが、これらの代わりに、移動前後の画像内の物体の位置の変化を用いて物体の形状を測定してもよい。上述のように、カメラが取り付けられた自動車が移動している場合、移動の前後の写真画像中に写っている物体の位置（厳密にはカメラの光軸に対する角度）の変化により、カメラから物体までの距離を求めることができる。具体的には、例えば写真画像中の特徴点を抽出し、移動前後のカメラの位置・姿勢の変化と、画像内の特徴点の位置の変化から三角測量と同じ原理により、当該特徴点までの距離を測定することができる。このため、移動に伴う自動車の位置・姿勢（当該写真画像を撮影したカメラの位置・姿勢）の変化と写真画像中の位置の変化とから、当該特徴点の座標を求め、上述の座標点としてもよい。
【００５４】
また、上述の撮影位置ＩＤテーブル２５Ｂに撮影位置ＩＤに対応させて登録しておくのは、撮影位置の座標ではなく、単位ベクトル等の撮影方向を示す情報としてもよい。このような単位ベクトルを用いた場合でも、視点と座標点の単位ベクトル等との内積から撮影方向との一致度を判断することができ、上述と同じ作用効果を奏することができる。
【符号の説明】
【００５５】
１０ 撮影装置
１７ 位置姿勢取得部
１８ 記録部
２０ データ作成装置
２２ 色付き点群生成部
２３ 色付き点群データ保持部
２４ 合成部
２５ 拡張色付き点群データ保持部
３０ データ再生装置
３１ 描画パラメータ指定部
３３ 描画色割り付け部
３４ レンダリング部
【特許請求の範囲】
【請求項１】
対象とする物体を同一点で複数のカメラで各々異なる方向から撮影した複数の撮影画像及びその撮影位置並びに各々の姿勢並びに前記各々のカメラが撮影した方向からの前記物体に対して各々発射したレーザに基づいた各々の前記物体の表面の座標点が記憶された記録部と、
物体の画像を複数の視点から撮影する撮影手段と、
前記撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
前記位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて前記形状測定手段によって検出された各測定点の前記撮影された各画像中の位置を求める投影手段と、
前記各画像毎に前記投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、前記色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを作成する作成手段と
を備えることを特徴とするデータ作成装置。
【請求項２】
各測定点毎に、当該測定点の座標を示す情報と、複数の画像から各々決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、
該描画パラメータ指定手段によって指定された描画パラメータに応じて前記保持手段から描画に用いる測定点を抽出する抽出手段と、
前記描画パラメータ指定手段によって指定された前記描画パラメータ中の視点の位置と、前記抽出した測定点に対応する前記撮影時の撮影位置に応じて、前記複数の色から描画に用いる色を決定する描画色決定手段と、
前記描画パラメータ指定手段によって指定された描画パラメータと前記描画色決定手段によって決定された描画色を用いて、前記抽出した測定点の三次元画像を生成するレンダリング手段と
を備えることを特徴とするデータ再生装置。
【請求項３】
物体の画像を複数の視点から撮影する撮影手段と、
前記撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
前記位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて前記形状測定手段によって検出された各測定点の前記撮影された各画像中の位置を求める投影手段と、
前記各画像毎に前記投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、前記色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを作成する作成手段と、
該作成手段によって作成された点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、
該描画パラメータ指定手段によって指定された描画パラメータに応じて前記保持手段から描画に用いる測定点を抽出する抽出手段と、
前記描画パラメータ指定手段によって指定された前記描画パラメータ中の視点の位置と、前記抽出した測定点に対応する前記撮影時の撮影位置に応じて、前記複数の色から描画に用いる色を決定する描画色決定手段と、
前記描画パラメータ指定手段によって指定された描画パラメータと前記描画色決定手段によって決定された描画色を用いて、前記抽出した測定点の三次元画像を生成するレンダリング手段と
を備えることを特徴とする画像処理システム。
【請求項１】
対象とする物体を同一点で複数のカメラで各々異なる方向から撮影した複数の撮影画像及びその撮影位置並びに各々の姿勢並びに前記各々のカメラが撮影した方向からの前記物体に対して各々発射したレーザに基づいた各々の前記物体の表面の座標点が記憶された記録部と、
物体の画像を複数の視点から撮影する撮影手段と、
前記撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
前記位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて前記形状測定手段によって検出された各測定点の前記撮影された各画像中の位置を求める投影手段と、
前記各画像毎に前記投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、前記色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを作成する作成手段と
を備えることを特徴とするデータ作成装置。
【請求項２】
各測定点毎に、当該測定点の座標を示す情報と、複数の画像から各々決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、
該描画パラメータ指定手段によって指定された描画パラメータに応じて前記保持手段から描画に用いる測定点を抽出する抽出手段と、
前記描画パラメータ指定手段によって指定された前記描画パラメータ中の視点の位置と、前記抽出した測定点に対応する前記撮影時の撮影位置に応じて、前記複数の色から描画に用いる色を決定する描画色決定手段と、
前記描画パラメータ指定手段によって指定された描画パラメータと前記描画色決定手段によって決定された描画色を用いて、前記抽出した測定点の三次元画像を生成するレンダリング手段と
を備えることを特徴とするデータ再生装置。
【請求項３】
物体の画像を複数の視点から撮影する撮影手段と、
前記撮影時の撮影手段の位置・姿勢を取得する位置姿勢取得手段と、
物体の表面の測定点の座標を検出する形状測定手段と、
前記位置姿勢取得手段によって取得した撮影手段の位置・姿勢に応じて前記形状測定手段によって検出された各測定点の前記撮影された各画像中の位置を求める投影手段と、
前記各画像毎に前記投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、
各測定点毎に、当該測定点の座標を示す情報と、前記色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを作成する作成手段と、
該作成手段によって作成された点群データを保持する保持手段と、
少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、
該描画パラメータ指定手段によって指定された描画パラメータに応じて前記保持手段から描画に用いる測定点を抽出する抽出手段と、
前記描画パラメータ指定手段によって指定された前記描画パラメータ中の視点の位置と、前記抽出した測定点に対応する前記撮影時の撮影位置に応じて、前記複数の色から描画に用いる色を決定する描画色決定手段と、
前記描画パラメータ指定手段によって指定された描画パラメータと前記描画色決定手段によって決定された描画色を用いて、前記抽出した測定点の三次元画像を生成するレンダリング手段と
を備えることを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図８】
【図９】
【公開番号】特開２０１３−６９２３５（Ｐ２０１３−６９２３５Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０９０８２（Ｐ２０１１−２０９０８２）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【特許番号】特許第５１４７９８０号（Ｐ５１４７９８０）
【特許公報発行日】平成２５年２月２０日（２０１３．２．２０）
【出願人】（５９１０７４１６１）アジア航測株式会社 (48)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【特許番号】特許第５１４７９８０号（Ｐ５１４７９８０）
【特許公報発行日】平成２５年２月２０日（２０１３．２．２０）
【出願人】（５９１０７４１６１）アジア航測株式会社 (48)
【Ｆターム（参考）】
[ Back to top ]