３次元デジタイザ
【課題】連続性のある実画像に３次元情報を持たせ、仮想空間の任意の視点から実画像に含まれる物体を見ることが可能な画像データを生成する３次元デジタイザを提供する。
【解決手段】撮像手段２はカラー画像を撮像し、距離画像生成手段１は撮像手段２と重複する視野を持ち距離画像を生成する。撮像位置計測手段４は、撮像手段２および距離画像生成手段１による撮像位置と撮像方向とを計測する。座標変換手段３は、距離画像に規定した装置座標を位置計測手段４により計測した撮像位置および撮像方向を用いて実空間に規定されている３次元の実空間座標に変換する。座標変換手段３で得られた物体の実空間座標を用いることにより、仮想空間形成手段５では、物体のモデリングを行い仮想空間を形成する。さらに、外観形成手段６は、仮想空間に配置した物体に撮像手段で撮像した物体の外観をテクスチャとしてマッピングを行う。
【解決手段】撮像手段２はカラー画像を撮像し、距離画像生成手段１は撮像手段２と重複する視野を持ち距離画像を生成する。撮像位置計測手段４は、撮像手段２および距離画像生成手段１による撮像位置と撮像方向とを計測する。座標変換手段３は、距離画像に規定した装置座標を位置計測手段４により計測した撮像位置および撮像方向を用いて実空間に規定されている３次元の実空間座標に変換する。座標変換手段３で得られた物体の実空間座標を用いることにより、仮想空間形成手段５では、物体のモデリングを行い仮想空間を形成する。さらに、外観形成手段６は、仮想空間に配置した物体に撮像手段で撮像した物体の外観をテクスチャとしてマッピングを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、建物のような物体に関する位置情報を３次元のデータに変換する３次元デジタイザに関するものである。
【背景技術】
【０００２】
従来から、市街地の３次元モデルを作成するために、航空機に３次元計測を行うレーザスキャナを搭載して得た計測データを用いて地形と建造物などとを分離して３次元の都市モデルを自動的に生成する技術が提案されている（たとえば、特許文献１参照）。また、同様の技術として、地面の３次元的座標値を計測するために、カメラを車両に搭載するとともにカメラの位置情報を取得するセンシング部を車両に搭載し、センシング部により計測したカメラの視点位置とカメラで撮像した画像とから道路面の３次元形状を獲得する技術も知られている（たとえば、特許文献２参照）。
【０００３】
特許文献１には、地形や建造物の３次元データにテクスチャを貼り、３次元的に統合することによって、３次元市街地空間モデルを構築する旨の記載がある。また、特許文献２には、道路面の画像からスリット面の形状を獲得し、さらにスリット面を微小線分に分割するとともに、微小線分を正射影座標に変換したものをテクスチャデータとして用い、道路面の３次元座標値に当該テクスチャデータのマッピングを行うことが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１７０１０２号公報
【特許文献２】特開２００２−７４３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、特許文献１および特許文献２には、３次元データにテクスチャのマッピングを行うことが記載されている。しかしながら、特許文献１に記載の技術では、航空写真データから上面画像の抽出を行う旨の記載があるが、３次元データに貼るためのテクスチャをどのようにして獲得するかは明らかではない。また、特許文献２に記載の技術では、道路面の画像をスリット面に分割し、さらにスリット面を微小線分に分割してテクスチャデータとして用いており、微小なテクスチャをタイル状に貼り合わせることになるから、道路面の画像を連続性のある画像に構成することが難しいという問題を有している。
【０００６】
本発明は上記事由に鑑みて為されたものであり、その目的は、連続性のある実画像に３次元情報を持たせることを可能にし、仮想空間の任意の視点から実画像に含まれる物体を見ることが可能な画像データを生成する３次元デジタイザを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、上記目的を達成するために、カラー画像または濃淡画像を撮像する撮像手段と、撮像手段と重複する視野を持ち視野内に存在する物体までの距離値を画素値とした距離画像を生成する距離画像生成手段と、撮像手段および距離画像生成手段による撮像位置と撮像方向とを計測する撮像位置計測手段と、距離画像に規定した装置座標を位置計測手段により計測した撮像位置および撮像方向を用いて実空間に規定されている３次元の実空間座標に変換する座標変換手段と、座標変換手段で得られた物体の実空間座標を用いて物体のモデリングを行うことにより仮想空間を形成する仮想空間形成手段と、仮想空間に配置した物体に撮像手段で撮像した物体の外観をテクスチャとしてマッピングを行う外観形成手段とを備えることを特徴とする。
【０００８】
仮想空間形成手段は、撮像位置計測手段により計測した撮像位置と撮像方向との少なくとも一方が異なりかつ同一物体が視野内に含まれる複数の距離画像について、実空間座標の類似度を評価することにより異なる距離画像について同一物体と異なる物体とを識別し、同一物体を重ね合わせることにより異なる距離画像を連結するのが望ましい。
【０００９】
また、仮想空間形成手段は、撮像位置計測手段により計測した撮像位置と撮像方向との少なくとも一方が異なりかつ同一物体が視野内に含まれる複数の距離画像を組み合わせることにより、特定の撮像位置および撮像方向において死角に存在する物体のモデリングを行うのが望ましい。
【００１０】
さらに、仮想空間形成手段は、物体の実空間座標を用いて物体の形状を幾何学形状に単純化したベクトル画像によるモデリングを行うのが望ましい。
【００１１】
この場合、外観形成手段により形成された仮想空間の画像を表示するモニタ装置と、モニタ装置に表示された仮想空間の画像に対して編集操作を行う操作装置とを備え、仮想空間形成手段は、モニタ装置に表示された仮想空間の画像において操作装置により基準となる形状が指示されると当該形状に対する相対関係を用いて幾何学形状のベクトル画像を生成するのが望ましい。
【００１２】
また、仮想空間形成手段は、時刻の異なる複数の距離画像の視野内にモデリングを行った同一の物体が含まれる場合であって、異なる距離画像における当該物体の位置の差分が規定範囲を超えている場合には当該物体を仮想空間に配置しないことが望ましい。
【００１３】
仮想空間形成手段は、日時の異なる複数の距離画像において実空間座標の同位置に含まれる物体の類似度を評価し、類似度に基づいて異なる距離画像における実空間座標の同位置に異なる物体が存在すると判断される場合に、当該位置には最新の距離画像からモデリングを行った物体を仮想空間に配置することが望ましい。
【００１４】
さらに、仮想空間形成手段は、仮想空間を構成する画素間の最小距離を仮想空間内での物体の位置に関連付けてもよい。
【発明の効果】
【００１５】
本発明の構成によれば、撮像手段と距離画像生成手段との視野を重複させておき、距離画像と撮像位置および撮像方向とを用いて実空間座標での物体のモデリングを行い、モデリングがなされた物体を仮想空間に配置し、さらに、撮像手段により撮像した物体の外観を仮想空間に配置した物体のテクスチャとしてマッピングを行うから、仮想空間における物体は、実空間における３次元の位置情報を持つようにモデル化され、しかも実空間における外観を有することになる。したがって、連続性を有した実画像に３次元情報を持たせることが可能になる。すなわち、仮想空間内の任意の視点から実空間の物体を見ることが可能になる画像データを生成することができる。
【００１６】
また、同一物体が視野内に含まれる複数の距離画像について、実空間座標の類似度を評価し、各距離画像に含まれる物体が同一物体か異なる物体かを識別し、同一物体を重ね合わせることにより距離画像を連結する構成では、複数の距離画像を用いることによって切れ目のない連続した仮想空間を形成することが可能になる。また、距離画像では物体との距離が近いほど分解能が高くなるから、物体との距離が近い距離画像を連結すれば、高精細な仮想空間を構築することが可能になる。
【００１７】
同一物体が視野内に含まれる複数の距離画像を組み合わせて死角に存在する物体のモデリングを行う構成を採用すれば、いずれかの距離画像では死角に存在する物体でも他の距離画像で補完してモデリングを行うことが可能になる。
【００１８】
物体のモデリングに際して物体の形状を幾何学形状に単純化したベクトル画像を用いる構成を採用すると、物体の各部位ごとの座標値を用いて物体を記述する場合に比較して物体の記述に要するデータ量を大幅に低減することができる。
【００１９】
また、モニタ装置に仮想空間の画像を表示し、操作装置により基準位置となる形状を指示することによって、当該形状に対する相対関係を用いて幾何学形状のベクトル画像を生成する構成では、たとえば、物体の垂直面や水平面あるいは直角をなす２面などの情報を指定することにより、物体の形状に関する規則ないし知識を与えることで物体の形状を特定するための情報量が増加するから、物体のモデリングの精度が高くなる。
【００２０】
時刻の異なる距離画像に含まれる同一の物体について物体の位置の差分が規定範囲を越えている場合に当該物体を仮想空間に配置しない構成を採用すると、人や自動車のように移動する物体を仮想空間から排除し、定位置に固定されている物体を配置した仮想空間を形成することができる。この場合、人や自動車であっても移動が少なければ仮想空間から除去することができないが、この種の不要な物体の多くを仮想空間から自動的に除去することにより、手作業での除去の手間を大幅に低減することができる。また、物体のモデリングを行っていることにより物体ごとに個別に扱うことができるから、仮想空間から個別の物体を除去する作業が容易である。
【００２１】
日時の異なる距離画像について実空間座標の同位置に含まれる物体が非類似であるときに、最新の距離画像によりモデリングを行った物体を仮想空間に配置する構成を採用した場合には、建物の改築などに対応して仮想空間内の物体を最新の情報に自動的に置き換えることができる。すなわち、モデリングを行っていることにより建物のような物体を個別に扱うことができるから、物体単位での画像の入れ替えを容易に行うことができる。
【００２２】
仮想空間を構成する画素間の最小距離を物体の位置に関連付けておけば、仮想空間内での物体の位置に応じて解像度を変化させることが可能になる。たとえば、仮想空間内において詳細な画像を見せることが不都合な物体については最小距離を大きく設定して解像度を下げておき、詳細な画像を見せる必要がある物体については最小距離を小さく設定して解像度を高めておくことが可能になる。
【図面の簡単な説明】
【００２３】
【図１】実施形態を示すブロック図である。
【図２】同上に用いる距離画像生成手段の動作説明図である。
【図３】同上の動作説明図である。
【図４】同上の動作説明図である。
【図５】同上の動作説明図である。
【図６】同上の動作説明図である。
【発明を実施するための形態】
【００２４】
本実施形態では、カラー画像または濃淡画像を撮像する撮像手段２と、視野内に存在する物体までの距離値を画素値とした距離画像を生成する距離画像生成手段１とを用い、距離画像を用いて実空間に存在する物体の３次元情報を抽出するとともに、実空間に対応付けた仮想空間における物体の３次元情報に、撮像手段２で撮像された画像のマッピングを行うことによって、実空間を実写した画像を用いながらも３次元情報を持つ仮想空間を形成することを可能にしている。撮像手段２は、カラー画像と濃淡画像（モノクロ画像）とのどちらを出力するものでもよいが、以下の説明ではカラー画像を用いるものとする。
【００２５】
本発明では、主として市街地などにおいて建物のような定位置に存在する物体に関する３次元情報を抽出することを目的としている。物体の撮像に際しては、撮影位置や撮影方向を変更しながら距離画像とカラー画像との静止画像を順次生成するほか、距離画像とカラー画像との動画像を生成してもよい。動画像は実質的に時間間隔の短い静止画像の集合として扱うことが可能である。
【００２６】
以下の説明では、まず３次元情報を抽出するための距離画像を生成する技術について説明し、その後、カラー画像と距離画像とを組み合わせて仮想空間を形成する技術について説明する。
【００２７】
距離画像の生成には、受光手段の視野に発光源から赤外線のような信号光を投光し、視野内に存在する物体（人を含む）での反射光を受光手段で受光し、投光から受光までの時間差に相当する情報を用いることにより、物体までの距離を検出する飛行時間法（Time Of Flight）の原理を用いる。すなわち、発光源から信号光を投光するとともに、信号光を投光している空間を受光手段で受光し、受光手段の出力を用いて物体までの距離を検出するアクティブ型の距離画像生成手段を用いる。
【００２８】
発光源からは時間経過に伴って強度が変化する信号光（変調光）を出射し、物体で反射され受光手段で受光された信号光と投光した信号光との位相差を、投光から受光までの時間差に相当する情報として用いる。信号光の変調波形には、正弦波、三角波、鋸歯状波、方形波などを用いることができる。正弦波、三角波、鋸歯状波を用いる場合には信号光の周期を一定周期とする。
【００２９】
また、方形波を用いる場合には信号光の周期を一定周期とするほか、オン期間（発光源の投光期間）とオフ期間（発光源の非投光期間）との比率を乱数的に変化させる技術を採用することも可能である。後者の構成については詳述しないが、オン期間とオフ期間とを多数回繰り返すことにより、乱数性によってオン期間とオフ期間とが１対１とみなせることを利用する。この動作では、周期性を有する周囲光の影響を軽減できる。
【００３０】
受光手段は、複数個の画素が２次元に配列された撮像素子を備える。撮像素子は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサとして提供されている濃淡画像を撮像するための周知構成のものを用いることができる。この種の撮像素子を用いる場合には、周囲光による飽和を防止し、かつ信号光の成分を検出することができるように、波長選択フィルタおよび減光フィルタを用いるとともに、信号光の強度を高め、さらに距離を計測する範囲を近距離（数ｍ程度）とすることが望ましい。
【００３１】
周囲光の影響を軽減するには、距離画像生成手段に適した構造を有するように専用に設計された撮像素子を用いることが望ましい。この種の撮像素子としては、たとえば、周囲光成分に相当する電荷を廃棄し、信号光成分に相当する電荷を集積することによって、周囲光による飽和を防止する構成が知られている。この種の撮像素子を用いることにより、受光領域で生成した電荷のうち信号光ではない環境光ないし周囲光の成分を低減させることができ、信号光成分に対するダイナミックレンジを大きくとることが可能になる。
【００３２】
撮像素子は、複数個の画素（受光領域）を有し、各受光領域では受光強度に応じた電荷量の電荷を生成する。また、受光領域ごとの受光感度が電気信号により制御可能であり、以下に説明するように信号光を受光するタイミングを制御することにより、投光と受光との位相差を含む情報を検出することができる。また、撮像素子では、各受光領域で生成された電荷を信号光の変調周期の整数倍（たとえば、１００００周期）の期間に亘って蓄積した後に、外部に取り出すことにより異常値の発生を抑制している。
【００３３】
以下では、理解を助けるために距離画像生成手段の一構成例として下記構成を想定して説明するが、この構成は本発明を限定する趣旨ではなく、信号光の変調波形、撮像素子の構成、撮像素子の制御などに関して、周知の種々の距離画像生成手段に提供された構成を用いることができる。
【００３４】
以下の説明で用いる距離画像生成手段１は、図１に示すように、光（近赤外線を用いるのが望ましい）を出射する発光源１１と、対象空間からの光を受光する撮像素子１２とを備える。発光源１１には、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる発光素子を用いる。また、発光源１１から出射する光量を確保するために、発光源１１は適数個の発光素子を用いて構成される。
【００３５】
発光源１１は、発光源１１から出力された信号光を対象空間に投光する投光光学系１３とともに投光手段を構成している。また、撮像素子１２は、対象空間からの光を撮像素子１２に入射させる受光光学系１４とともに受光手段を構成している。投光光学系１３と受光光学系１４とは互いに近接して配置してあり、投光光学系１３と受光光学系１４との距離は視野に対して実質的に無視することができるものとする。
【００３６】
距離画像生成手段１には、発光源１１を駆動するための変調信号を出力する変調信号生成部１５と、変調信号生成部１５から出力された変調信号に基づいて撮像素子１２での受光タイミングを規定する受光タイミング信号を生成するタイミング制御部１６と、撮像素子１２から出力された受光信号を用いて対象空間に存在する物体までの距離を求めて距離画像を生成する距離画像生成部１７とが設けられる。
【００３７】
変調信号生成部１５は、出力電圧が一定周波数（たとえば、２０ＭＨｚ）の正弦波形で変化する変調信号を生成し、変調信号を発光源１１に与えることにより、図２（ａ）（ｂ）のように光出力が正弦波状に変化する信号光が発光源１１から出射される。発光源１１として発光ダイオードを用いる場合には、電流制限抵抗を介して発光ダイオードに変調信号の信号電圧を印加することにより、発光ダイオードの通電電流を変化させ信号光を出射させる。
【００３８】
撮像素子１２は、電子シャッタの技術を用いることで、受光タイミング信号に同期する期間にのみ受光強度に応じた電荷を生成することが可能になっている。また、受光領域で生成された電荷は、遮光された蓄積領域に転送され、蓄積領域において変調信号の複数周期（たとえば、１００００周期）に相当する蓄積期間に蓄積された後、撮像素子１２の外部に受光出力として取り出される。
【００３９】
タイミング制御部１６では、変調信号に同期する受光タイミング信号を生成する。ここでは、変調信号の１周期における異なる４位相を規定し、各位相ごとに一定時間幅の受光期間を設定する４種類の受光タイミング信号を生成するとともに、蓄積期間ごとに４種類の受光タイミング信号のうちの各１種類の受光タイミング信号を撮像素子１２に与える。
【００４０】
すなわち、１種類の受光タイミング信号で規定した受光期間において受光領域で生成した電荷を１回の蓄積期間において蓄積し、蓄積後の電荷を受光出力として撮像素子１２の外部に取り出す処理を４回繰り返し、４回の蓄積期間で４種類の受光タイミング信号に対応する受光出力を撮像素子１２の外部に取り出す。
【００４１】
いま、図２（ｃ）のように、受光タイミング信号を変調信号の１周期において９０度ずつ異なる位相で規定しているものとする。この場合、各受光タイミング信号に対応する受光出力（電荷量）を、それぞれＡ０，Ａ１，Ａ２，Ａ３とするときに、位相差ψ〔ｒａｄ〕は下式で表される。
ψ＝（Ａ０−Ａ２）／（Ａ１−Ａ３）
変調信号の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差ψを用いて、Δｔ＝ψ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・ψ／４π・ｆと表すことができる。
【００４２】
すなわち、４種類の受光出力（電荷量）Ａ０〜Ａ３により物体までの距離を求めることができる。なお、受光期間の時間幅は、受光領域において適正な受光量が得られるように、適宜に設定することができる（たとえば、変調信号の４分の１周期に相当する時間幅とすることができる）。ただし、各受光期間の時間幅は互いに等しくすることが必要である。
【００４３】
距離画像生成部１７では、受光出力（電荷量）Ａ０〜Ａ３に基づいて位相差ψを求め、距離に換算する上述の処理のほか、以下に説明する処理も行うことができる。距離画像生成部１７はコンピュータを用いて構成され、上述した処理はコンピュータでプログラムを実行することにより実現される。また、距離画像生成部１７だけではなく、発光源１１および撮像素子１２を除く構成は、コンピュータを用いて実現される。
【００４４】
なお、上述の動作例では、４種類の受光タイミング信号を用いているが、３種類の受光タイミング信号でも位相差ψを求めることができ、環境光ないし周囲光が存在しない環境下では、２種類の受光タイミング信号でも位相差ψを求めることが可能である。
【００４５】
また、上述の動作では、１画素について１個の受光領域を用いているから、４種類の受光出力（電荷量）Ａ０〜Ａ３を撮像素子１２から取り出すために４回の蓄積期間が必要であるが、１画素について２個の受光領域を設ければ、変調信号の１周期で２種類の受光タイミング信号に対応する電荷を生成することが可能になるから、撮像素子１２から２種類の受光タイミング信号に対応した受光出力を１回で読み出すことが可能になる。同様に、１画素に４個の受光領域を設ければ、変調信号の１周期で４種類の受光タイミング信号に対応する電荷を生成し、４種類の受光タイミング信号に対応する受光出力を１回で読み出すことが可能になる。
【００４６】
上述した距離画像生成手段１は、対象空間からの光を受光するための受光素子として複数個の画素が２次元配列された撮像素子１２を用いているから、各画素の画素値として距離値を求めることにより距離画像が生成されることになる。生成された距離画像はコンピュータのメモリに格納される。
【００４７】
以下では、上述のようにして生成された距離画像を撮像手段２により撮像されたカラー画像とともに用いて仮想空間を形成する技術について説明する。
【００４８】
距離画像生成手段１および撮像手段２は、手持ちでの撮像が可能になるカメラハウジングに収納される。手持ち可能なカメラハウジングを用いることにより、車載で用いる場合のように車道に沿った場所だけを撮像するのではなく、市街地に形成された路地のような地形の入り組んだ場所でも撮像することが可能になる。同様に、建物の内部の撮像も可能になる。
【００４９】
また、詳細な情報が必要な部分については近い距離から撮像して解像度を高めることが可能であるから、画像の解像度を可変にすることができる。
【００５０】
撮像手段２は、距離画像生成手段１における受光手段と視野が重複するように配置される。望ましくは、撮像手段２の視野を受光手段の視野と一致させる。具体的には、図１に示すように、ダイクロイックミラーからなるハーフミラーＭ１を撮像素子１２と受光光学系１４との間に配置し、撮像手段２を構成する撮像素子２１の受光面の前方にミラーＭ２を配置した構成を採用する。ハーフミラーＭ１は撮像素子１２の受光面に対して４５度の角度で傾斜するように配置され、ミラーＭ２はハーフミラーＭ１と平行かつ撮像素子２１の受光面に対して４５度の角度で傾斜するように配置される。
【００５１】
この構成により、ハーフミラーＭ１は撮像素子１２に入射する赤外線と撮像素子２１に入射させる可視光線とを分離して赤外線を透過させるとともに可視光線をミラーＭ２に向かう向きに反射し、ミラーＭ２はハーフミラーＭ１からの可視光線が撮像素子２１に入射されるように反射する。したがって、各撮像素子１２，２１と受光光学系１４との距離を適宜に調節することにより、距離画像生成手段１と撮像手段２との視野を一致させることが可能になる。
【００５２】
なお、上述した構成は一例であって、距離画像生成手段１と撮像手段２との視野の全部が重複する構成のほか、一部が重複する構成を採用してもよい。たとえば、距離画像生成手段１を構成する撮像素子１２に対応する受光光学系１４とは別に、撮像素子２１に対応する受光光学系を設けてもよい。あるいはまた、距離画像生成手段１の撮像素子１２を撮像手段１０の撮像素子２１と兼用する構成を採用することも可能である。この場合、距離画像を生成する動作とカラー画像を撮像する動作とを切り替えることになる。
【００５３】
このように、距離画像生成手段１と撮像手段２との視野の全部または一部を重複させ、視野の位置を合わせるだけの簡単な調整で、カラー画像における物体について距離の情報を対応付けることが可能になる。
【００５４】
距離画像とカラー画像とを用いて仮想空間を形成するために、実空間における物体の位置を特定する必要がある。実空間に存在する物体と距離画像生成手段１との相対位置は距離画像によって知ることができるから、距離画像生成手段１に装置座標を規定しておけば、装置座標における物体の位置を距離画像から求めることができる。
【００５５】
ここに、距離画像は、受光光学系１４の中心を通して物体を見込むときの方向が各画素の位置に対応し、画素値が物体までの距離値であるから、物体の位置を極座標（球座標）で表していることになる。一方、実空間における物体の位置は、緯度と経度と高さとを用いた直交座標系で表すほうが扱いやすい。したがって、距離画像生成手段１から出力される距離画像から得られる極座標の座標値を、装置座標として規定した直交座標系の座標値に変換するために座標変換手段３を設けている。
【００５６】
座標変換手段３は、距離画像における物体の座標を極座標から装置座標に変換する第１変換部３ａと、距離画像生成手段１に規定された装置座標を実空間に規定されている３次元の実空間座標に変換する第２変換部３ｂとを備える。第２変換部３ｂにおける装置座標から実空間座標への座標変換には、装置座標だけではなく、実空間座標に対する装置座標の相対関係の情報が必要である。そのため、距離画像生成手段１の撮像位置および撮像方向を計測する撮像位置計測手段４が設けられる。
【００５７】
撮像位置計測手段４は、実空間座標における撮像位置を計測する高精度ＧＰＳ（global Positioning System）、距離画像生成手段１および撮像手段２の傾きを計測するジャイロセンサ、距離画像生成手段１および撮像手段２の向きを検出する地磁気センサを組み合わせてある。ここに、高精度ＧＰＳは、人工衛星からの情報に地上局の情報を組み合わせることにより、最大誤差を数十ｃｍ程度とする技術を意味している。したがって、撮像位置計測手段４では、実空間座標における撮像位置の３次元座標と、距離画像生成手段１および撮像手段２による撮像方向（３次元の各座標軸周りでの回転角度）とを計測することができる。上述のようにして撮像位置計測手段４により求めた実空間座標での撮像位置および撮像方向を、座標変換手段３の第２変換部３ｂにおいて、装置座標における物体の座標位置と組み合わせることによって、実空間座標での物体の座標位置が算出される。
【００５８】
算出された実空間座標での物体の座標位置により、物体について３次元の位置情報が求められるから、仮想空間形成手段５において、物体をコンピュータグラフィックスのオブジェクトとして扱うことができるように物体のモデリングを行う。モデリングには、サーフェースモデルやワイヤーフレームモデルなど周知のモデルを用いることができるが、情報量が少なくなるようにベクトル画像を形成するモデリングを行うことが望ましい。
【００５９】
ここに、物体が、建物のようにひとまとまりのオブジェクトとして扱えるか否かを知識（規則）を用いて判別し、ひとまとまりのオブジェクトとして扱うことができる物体については、当該物体を個別のオブジェクトに分離する。
【００６０】
たとえば、「隣接する建物の間に隙間があれば、両建物は別のオブジェクトである」という知識があるとすれば、この知識を用いることにより、両建物を別のオブジェクトとして分離することができる。建物を個別のオブジェクトに分離する知識としては、隣接する建物の間隔や建物の形・色などの情報も併せて用いることが可能である。
【００６１】
物体が建物である場合のように、比較的単純な形状であるときには、当該物体については幾何学形状に単純化したベクトル画像とする。市街地に存在する建物の多くは直方体状であり、また窓枠も矩形状であることが多いから、このような単純化は合理的である。
【００６２】
上述したように物体の座標位置が決定されるとともに、物体のモデリングが行われることにより、物体のモデルをコンピュータグラフィックスにより構築した仮想空間に配置することが可能になる。
【００６３】
ところで、本実施形態では、実空間の建物ような物体を仮想空間に対応付けて配置するから、１枚の距離画像には物体の全体を含めることができない場合が多い。また、仮想空間は、できるだけ広い範囲の実空間に対応付けることが要求される。そこで、仮想空間形成手段５が物体を仮想空間に配置するにあたっては、複数毎の距離画像を連結することにより一連に連続した仮想空間を形成する。
【００６４】
具体的には、図３に示すように、撮像位置と撮像方向との少なくとも一方が異なる複数枚（図示例は２枚）の距離画像（およびカラー画像）Ｐ１，Ｐ２を用いる。図示例は距離画像Ｐ１を取得した後に、撮像位置をずらして距離画像Ｐ２を取得した場合を想定している。撮像位置の変化は視野に比較して小さく、両距離画像Ｐ１，Ｐ２の視野内の大部分において物体Ｏｂの同領域を含むものとする。また、以下の説明において、図の左右方向をｘ方向、上下方向をｙ方向とする。
【００６５】
なお、視野の移動は、平行移動（撮像位置）だけではなく角度変化（撮像方向）も考慮する必要がある。とくに、距離画像生成手段１および撮像手段２は手持ちであるから、現実的には撮像方向を含める必要があるが、ここでは、単純化して平行移動のみについて考慮するものとする。
【００６６】
上述のように２枚の距離画像Ｐ１，Ｐ２が得れると、まず両距離画像Ｐ１，Ｐ２を重ね合わせて相関係数を算出する。すなわち、この例では類似度として相関係数を用いる。その後、距離画像Ｐ１に対して距離画像Ｐ２を１画素分だけｘ方向あるいはｙ方向にずらして相関係数を求めるという処理を繰り返して、両距離画像Ｐ１，Ｐ２に重複部分が形成されなくなる状態まで相関係数を求め、相関係数の最大値を求める。相関係数が最大である重なり状態が両距離画像Ｐ１，Ｐ２の位置関係を表しているものとし、新たな距離画像Ｐ２を当該位置に配置する。
【００６７】
ここに、両距離画像Ｐ１，Ｐ２の相関係数を計算する際には、重複部分の画素数に応じて相関係数が変化するから、重複部分の画素数で除算することにより正規化する。また、上述の例では距離画像Ｐ１に対して距離画像Ｐ２を１画素ずつずらしているが、規定の複数画素ずつずらして相関係数が大きくなる範囲を定めた後、当該範囲内で相関係数が最大になる位置を求めるようにしてもよい。あるいまた、距離画像Ｐ１に対して距離画像Ｐ２をｘ方向あるいはｙ方向に変位させた後に、他方向に変位させるという手順を採用する代わりに、距離画像Ｐ１に対して距離画像Ｐ２を螺旋状に移動させてもよい。これらの方法を採用することにより、相関係数の最大値を求める時間を短縮することが可能になる。
【００６８】
さらには、後述するように、撮像位置計測手段４により撮像位置および撮像方向が計測されるから、この情報を用いて相関係数の算出を行う範囲を絞り込むようにすれば、相関係数の最大値を求めるのに要する処理負荷が軽減され、処理時間も短縮される。
【００６９】
上述のようにして２枚の距離画像Ｐ１，Ｐ２を重ね合わせる位置が決定されると、新しい距離画像Ｐ２のうちで距離画像Ｐ１に重複していない領域（図４に斜線部で示す）を仮想空間に新たに配置する領域とする。このような処理の繰り返しにより、仮想空間を拡張することができる。
【００７０】
上述の動作例では、距離画像Ｐ１，Ｐ２のみの相関係数を求めているが、カラー画像についても相関係数を求め、両方の相関係数から画像を重ねる位置を決定してもよい。ただし、距離画像Ｐ１，Ｐ２は外光の影響を受けず、カラー画像に比較して安定した情報が得られるから、距離画像Ｐ１，Ｐ２のみを用いても十分な精度が得られる。
【００７１】
上述のように画像を連結することにより仮想空間を拡張していくと、仮想空間の一部に抜けが生じる可能性があるが、周辺の空間領域を複数回撮像することにより、抜けている領域を埋めることが可能である。この場合、座標位置によって画像を連結するから、撮像した空間領域に重複部分があっても問題は生じない。また、新たな距離画像により拡張された領域を、モニタ装置７（後述する）の画面上に表示すれば、抜けている領域が使用者にわｋり、抜けている領域を埋めるように追加して撮像することが可能になる。
【００７２】
画像を連結するには、以下の処理を行ってもよい。ここでは、図５に示すように、撮像位置と撮像方向との少なくとも一方が異なる複数枚（図示例は２枚）の距離画像Ｐ１，Ｐ２であって、同一の物体Ｏｂ１，Ｏｂ２が視野内に含まれる複数の距離画像Ｐ１，Ｐ２を用いるものとする。
【００７３】
これらの距離画像Ｐ１，Ｐ２に含まれる物体Ｏｂ１，Ｏｂ２が同一か否かを判定する必要があるから、距離画像Ｐ１，Ｐ２に基づいて物体Ｏｂ１，Ｏｂ２をモデル化するとともに、実空間座標における物体Ｏｂ１，Ｏｂ２の座標位置を求めた後、物体Ｏｂ１，Ｏｂ２の座標位置について類似度を評価し、同一の物体Ｏｂ１，Ｏｂ２を判断できる類似度が得られたときに、異なる距離画像Ｐ１，Ｐ２の物体Ｏｂ１，Ｏｂ２を重ね合わせる。
【００７４】
たとえば、ベクトル画像を用いて物体Ｏｂ１，Ｏｂ２の形状を表しているときには、線分であれば各端点の座標位置の距離、端点間の距離（線分の長さ）などを評価すれば類似度を評価することができ、面であれば辺や頂点の個数、頂点の座標位置、面積などを評価すれば類似度を評価することができる。
【００７５】
上述の処理を繰り返すことによって、距離画像を次々に連結することができることになり、連続した仮想空間を形成することが可能になる。また、距離画像では、物体との距離が近いほど分解能が高くなるから、物体との距離が近い距離画像を連結すれば高精細な仮想空間を構築することができる。
【００７６】
たとえば、物体までの距離を２〜３ｍ程度とするのが望ましく、この程度の距離では被写界深度が比較的大きくなり、しかも視野内に含まれる情報量が比較的少ないから高精度の距離画像が得られる。つまり、手持ちで撮像しながら移動することを想定している。移動の手段としては、歩行、自転車、自動車など適宜に選択してよい。なお、上述の距離は目安であって、物体までの距離は適宜に選択することができる。また、物体までの距離が小さいと物体の細部について距離の計測が可能であり、物体までの距離が大きいと物体の概観について距離の計測が可能である。したがって、細部の距離画像を生成することが不都合であれば、概観の距離画像が生成される程度の距離とすればよい。
【００７７】
また、距離画像生成手段１による距離の計測範囲には制限があるから、距離画像について高さ方向の情報は制限し、たとえば、４ｍを高さ方向の制限距離とし、高さが制限距離を超える物体について制限距離を超える部分は距離値を用いないようにしてもよい。ただし、カラー画像については、制限距離にかかわりなく用いることができる。また、制限距離を超える遠方については、同じ画像を複数回撮像し、得られたカラー画像を積分することによりＳＮを向上させてもよい。
【００７８】
上述の動作は、異なる距離画像内に含まれる同一の物体に基づいて距離画像を連結する処理であるが、特定の距離画像においては他の物体の死角になっていて距離値が得られない物体であっても、撮像位置と撮像方向との少なくとも一方が異なる他の距離画像においては死角にならない物体があれば、特定の距離画像において死角になっていた物体についてもモデリングを行う。
【００７９】
要するに、距離画像に含まれるすべての物体について実空間座標での座標位置が求められるから、いずれかの距離画像において死角になっていた物体であっても、当該物体が他の距離画像に含まれている場合には当該物体の座標位置を用いて当該物体のモデリングを行うのである。さらに、死角になっている物体は、１枚の距離画像からは完全な情報を得ることができないことが多いから、複数枚の距離画像を用いて補完するのが望ましい。この場合、当該物体の周囲に存在する物体の類似度を評価することにより、複数枚の距離画像から当該物体がひとまとまりのオブジェクトになるか否かを評価し、ひとまとまりのオブジェクトであると判断できるときには、当該物体を仮想空間に配置する。
【００８０】
上述の処理により形成された仮想空間は、コンピュータに設けたモニタ装置７の画面に表示することができる。また、仮想空間は３次元情報を有しているから、コンピュータに設けたキーボードやマウスを操作装置８として用いることにより、仮想空間における物体に対する指定や削除などの編集操作が可能になる。
【００８１】
３次元情報を有する仮想空間に対するこの種の編集操作の機能は、３次元グラフィックスを扱うグラフィックスソフトウェアでは周知であるが、本実施形態では建物の形状の編集操作は行う必要がないから、最小限では仮想空間での点、線、面や角部の指定、物体の削除などの編集操作が可能であればよい。
【００８２】
物体のモデリングに際してベクトル画像を用いている場合には、モニタ装置８に表示された画像を見て利用者（オペレータ）が操作装置７を用いることにより、点、線、面や角部を指定することにより、これらの点、線、面、角部を物体の基準となる形状であることを示すことが可能である。たとえば、物体の垂直面や水平面あるいは直角をなす２面（角部）などを操作装置７により指定し、指定した部位の特性（垂直面、水平面、角部）を操作装置７により指示すると、物体の形状を特定しやすくなり、結果的にモデリングの精度が高くなる。この技術は、物体のモデリングをベクトル画像で行っている場合にとくに有効である。
【００８３】
いま、物体の幾何学形状を直方体に単純化するものとすれば、垂直面となる一面を指定することにより、画像の歪みによる面の傾きを防止することができる。また、指定した面を基準に用いることにより、他面との相対関係を用いて他面の情報の一部が得られ、他面を規定する情報量が増加するから、他面についてもモデル化が容易になる。とくに、距離画像に含まれない背面についても幾何学形状で推定することにより、物体の全体の３次元情報を仮設定することが可能になる。つまり、他面との相対位置のような知識（規則）を用いて物体に関する３次元情報を推定することができる。この場合、距離画像では死角になる物体の背面については仮に推定した情報であるが、必要があれば別情報によって補完すればよい。
【００８４】
仮想空間に配置する物体は、原則として定位置に存在する建物のような物体を想定しており、人や自動車のような移動物体は仮想空間に配置しないことが望ましい。そのため、仮想空間形成手段５では、距離値を取得した時刻が異なる距離画像であって、時間差が比較的短い（最大１０分程度）複数の距離画像から生成した物体のモデルについて類似度を評価し、類似度が高く実質的に同一物体とみなせる物体が存在するとき、実空間座標での両物体の位置の差分を求める。この差分が規定範囲を超えている場合には当該物体は人や自動車のような移動物体であると判断して仮想空間から自動的に排除する。
【００８５】
たとえば、図６に示すように、距離値を取得した時刻が異なる２枚の距離画像Ｐ１，Ｐ２が得られているものとし、両距離画像Ｐ１，Ｐ２に共通に含まれる物体Ｏｂ１，Ｏｂ３，Ｏｂａのうち、物体Ｏｂ１、Ｏｂ３については実空間座標の座標位置が実質的に変化しておらず、物体Ｏｂａについては実空間座標の座標位置が矢印の向きに変化しているから、物体Ｏｂａの位置の差分を求め、物体Ｏｂａを仮想空間から自動的に排除する。図示例では、物体Ｏｂ２は、距離画像に含まれていないからモデル化されない。
【００８６】
ここで、移動物体であっても移動量少ない場合は仮想空間から取り除くことができないが、移動物体の多くは自動的に除去されるから、残りを編集操作によって人手で削除したとしても、すべての移動物体を手作業で除去する場合に比較すると、作業量は大幅に低減されることになる。しかも、物体のモデリングによって、物体を個別のオブジェクトとして扱うことを可能にしているから、各物体を単位として指定することにより、個々の物体を個別に削除することが可能になり、仮想空間から個別の物体を除去する作業が容易である。
【００８７】
上述のようにして実空間に存在する物体の３次元座標を計測することにより物体のモデリングを行い、コンピュータグラフィックスによる仮想空間を形成すると、仮想空間には物体の３次元の座標位置を記述することができる。ここで、本実施形態では距離画像と視野が重複しているカラー画像を撮像手段２により撮像しているから、距離画像とカラー画像との画素位置の対応関係を用いることによって、仮想空間における各物体（オブジェクト）の表面に相当する領域のカラー画像を切り出すことが可能である。
【００８８】
撮像素子２１で得られたカラー画像は外観形成手段６に入力され、外観形成手段６では仮想空間形成手段５から物体の座標位置に対応したカラー画像の座標位置を指定しカラー画像の一部を切り出し、切り出したカラー画像を仮想空間に配置した物体のテクスチャとしてマッピングを行う。すなわち、仮想空間において３次元の座標位置で規定された物体の表面にカラー画像で得られた画像のマッピングがなされる。仮想空間における物体は、実空間における３次元の位置情報を持つようにモデル化され、しかもマッピングにより実空間における外観を有することになる。
【００８９】
また、上述したように、高さ方向の制限距離を設定するから、制限距離よりも高い場所は、距離情報を持たないカラー画像のみを用いる。つまり、制限距離よりも高い場所は、平坦な形状の上にカラー画像をマッピングすることになる。
【００９０】
このようにして生成された３次元の位置座標およびテクスチャに関する情報は、データベース９に格納され、必要に応じて、操作装置７の操作でデータベース９から読み出すことにより、モニタ装置８の画面に表示することが可能になる。
【００９１】
仮想空間に配置された物体は３次元の位置情報を持っているから、モニタ装置８の画面表面にレンチキュラシートを配置した３次元表示装置を構成するとともに、モニタ装置８に表示する画像を３次元画像（レンチキュラシートを通して見たときに視差分だけ異なる２画像を左右の眼で見ることができる画像）となるように、仮想空間を構築する３次元データのデータ変換を行えば、使用者（オペレータ）は、立体画像を視認することが可能になる。したがって、あたかも実空間を見ているかのような画像を表示することが可能になる。
【００９２】
また、静止画像を組み合わせただけの離散的な画像ではなく、連続的につながった継ぎ目のない仮想空間を形成しているから、視点の位置および視野の範囲の時間変化を指定するウォークスルーの機能を設けることができ、臨場感のある表示が可能になる。このようなウォークスルーの機能を用いて出発地から目的地までの画像を表示すれば、あたかも自身が歩いているかのような実感を伴って道順を確認することができるから、地図よりも分かりやすい道案内が可能になる。つまり、現地に行かなくとも、その場に居るかのような環境の中でウォークスルーが可能になるから、土地勘が生まれ道に迷うことなく目的地にたどり着くことが可能になる。
【００９３】
ところで、適宜の時間間隔（たとえば、１ヶ月、１年などの単位）で同じ場所の情報を取得するようにすれば、仮想空間の情報を最新の情報に更新することができる。ここに、時間間隔は一定として定期的に情報を取得するのが望ましい。上述したように、仮想空間は、撮像位置や撮像方向にかかわりなく同一の物体が視野内に存在すれば、継ぎ目なく連続させることができるから、毎回の撮像において、撮像位置や撮像方向は完全に一致している必要はない。
【００９４】
仮想空間形成手段５では、日時の異なる複数の距離画像については、実空間座標の同位置に含まれる物体の類似度を評価する。ここで、類似度が高い場合には、同一の物体が存在すると推定して仮想空間の情報を変更せず、類似度が低い場合には、当該座標位置に前回とは異なる物体が存在すると判断する。類似度は、上述したように物体の形状や寸法を比較した数値により与えられる。日時の異なる距離画像を用いることによって、実空間座標の同位置に異なる物体が存在すると判断される場合は、最新の距離画像からモデリングを行った物体を仮想空間に配置する。また、日時の異なる距離画像により同一の物体が存在するときには、両物体の位置の平均を用いることにより、位置精度を高めることができる。
【００９５】
ところで、仮想空間においては物体をモデリングし、ひとまとまりのオブジェクトとして扱っているから、仮想空間において物体を単位として情報を入れ替えることが容易であり、建物が改築された場合などは、仮想空間内の物体を最新の情報に自動的に置き換えることができる。このように、仮想空間の情報を建物単位で最新の情報に更新することによって、モニタ装置８には最新の画像が表示されることになり、インターネットや記録媒体を用いて店舗の画像を提供すれば、宣伝効果も期待できる。
【００９６】
上述したように、仮想空間に配置する物体はベクトル画像であるから、拡大や縮小を自由に行うことが可能であり、仮想空間の適宜の座標位置において物体を拡大すれば、注目する場所の詳細な画像をモニタ装置８に表示することができる。また、インターネットや記録媒体を用いて画像を公開する場合には、詳細に表示されることが不都合な場所もあるから、仮想空間形成手段５では、仮想空間を構成する画素間の最小距離を仮想空間内での物体の座標位置に関連付けておくことが望ましい。つまり、物体の場所ごとに分解能に制限を与えることが可能である。
【００９７】
上述の構成例では、主として市街地における建物を物体として扱っているから、３Ｄ市街地図情報を併用すれば、仮想空間における物体の座標位置の精度をさらに高めることができる。この場合、市街地の通りに沿って存在する物体を仮想空間に配置するだけではなく、ビル内や駅構内なども仮想空間に配置すれば、道案内の目的で用いる場合に、より利便性が高くなる。
【符号の説明】
【００９８】
１ 距離画像生成手段
２ 撮像手段
３ 座標変換手段
４ 撮像位置計測手段
５ 仮想空間形成手段
６ 外観形成手段
７ 操作装置
８ モニタ装置
９ データベース
Ｏｂ１，Ｏｂ２，Ｏｂ３ 物体
Ｏｂａ 物体
Ｐ１，Ｐ２ 距離画像
【技術分野】
【０００１】
本発明は、建物のような物体に関する位置情報を３次元のデータに変換する３次元デジタイザに関するものである。
【背景技術】
【０００２】
従来から、市街地の３次元モデルを作成するために、航空機に３次元計測を行うレーザスキャナを搭載して得た計測データを用いて地形と建造物などとを分離して３次元の都市モデルを自動的に生成する技術が提案されている（たとえば、特許文献１参照）。また、同様の技術として、地面の３次元的座標値を計測するために、カメラを車両に搭載するとともにカメラの位置情報を取得するセンシング部を車両に搭載し、センシング部により計測したカメラの視点位置とカメラで撮像した画像とから道路面の３次元形状を獲得する技術も知られている（たとえば、特許文献２参照）。
【０００３】
特許文献１には、地形や建造物の３次元データにテクスチャを貼り、３次元的に統合することによって、３次元市街地空間モデルを構築する旨の記載がある。また、特許文献２には、道路面の画像からスリット面の形状を獲得し、さらにスリット面を微小線分に分割するとともに、微小線分を正射影座標に変換したものをテクスチャデータとして用い、道路面の３次元座標値に当該テクスチャデータのマッピングを行うことが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１７０１０２号公報
【特許文献２】特開２００２−７４３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、特許文献１および特許文献２には、３次元データにテクスチャのマッピングを行うことが記載されている。しかしながら、特許文献１に記載の技術では、航空写真データから上面画像の抽出を行う旨の記載があるが、３次元データに貼るためのテクスチャをどのようにして獲得するかは明らかではない。また、特許文献２に記載の技術では、道路面の画像をスリット面に分割し、さらにスリット面を微小線分に分割してテクスチャデータとして用いており、微小なテクスチャをタイル状に貼り合わせることになるから、道路面の画像を連続性のある画像に構成することが難しいという問題を有している。
【０００６】
本発明は上記事由に鑑みて為されたものであり、その目的は、連続性のある実画像に３次元情報を持たせることを可能にし、仮想空間の任意の視点から実画像に含まれる物体を見ることが可能な画像データを生成する３次元デジタイザを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、上記目的を達成するために、カラー画像または濃淡画像を撮像する撮像手段と、撮像手段と重複する視野を持ち視野内に存在する物体までの距離値を画素値とした距離画像を生成する距離画像生成手段と、撮像手段および距離画像生成手段による撮像位置と撮像方向とを計測する撮像位置計測手段と、距離画像に規定した装置座標を位置計測手段により計測した撮像位置および撮像方向を用いて実空間に規定されている３次元の実空間座標に変換する座標変換手段と、座標変換手段で得られた物体の実空間座標を用いて物体のモデリングを行うことにより仮想空間を形成する仮想空間形成手段と、仮想空間に配置した物体に撮像手段で撮像した物体の外観をテクスチャとしてマッピングを行う外観形成手段とを備えることを特徴とする。
【０００８】
仮想空間形成手段は、撮像位置計測手段により計測した撮像位置と撮像方向との少なくとも一方が異なりかつ同一物体が視野内に含まれる複数の距離画像について、実空間座標の類似度を評価することにより異なる距離画像について同一物体と異なる物体とを識別し、同一物体を重ね合わせることにより異なる距離画像を連結するのが望ましい。
【０００９】
また、仮想空間形成手段は、撮像位置計測手段により計測した撮像位置と撮像方向との少なくとも一方が異なりかつ同一物体が視野内に含まれる複数の距離画像を組み合わせることにより、特定の撮像位置および撮像方向において死角に存在する物体のモデリングを行うのが望ましい。
【００１０】
さらに、仮想空間形成手段は、物体の実空間座標を用いて物体の形状を幾何学形状に単純化したベクトル画像によるモデリングを行うのが望ましい。
【００１１】
この場合、外観形成手段により形成された仮想空間の画像を表示するモニタ装置と、モニタ装置に表示された仮想空間の画像に対して編集操作を行う操作装置とを備え、仮想空間形成手段は、モニタ装置に表示された仮想空間の画像において操作装置により基準となる形状が指示されると当該形状に対する相対関係を用いて幾何学形状のベクトル画像を生成するのが望ましい。
【００１２】
また、仮想空間形成手段は、時刻の異なる複数の距離画像の視野内にモデリングを行った同一の物体が含まれる場合であって、異なる距離画像における当該物体の位置の差分が規定範囲を超えている場合には当該物体を仮想空間に配置しないことが望ましい。
【００１３】
仮想空間形成手段は、日時の異なる複数の距離画像において実空間座標の同位置に含まれる物体の類似度を評価し、類似度に基づいて異なる距離画像における実空間座標の同位置に異なる物体が存在すると判断される場合に、当該位置には最新の距離画像からモデリングを行った物体を仮想空間に配置することが望ましい。
【００１４】
さらに、仮想空間形成手段は、仮想空間を構成する画素間の最小距離を仮想空間内での物体の位置に関連付けてもよい。
【発明の効果】
【００１５】
本発明の構成によれば、撮像手段と距離画像生成手段との視野を重複させておき、距離画像と撮像位置および撮像方向とを用いて実空間座標での物体のモデリングを行い、モデリングがなされた物体を仮想空間に配置し、さらに、撮像手段により撮像した物体の外観を仮想空間に配置した物体のテクスチャとしてマッピングを行うから、仮想空間における物体は、実空間における３次元の位置情報を持つようにモデル化され、しかも実空間における外観を有することになる。したがって、連続性を有した実画像に３次元情報を持たせることが可能になる。すなわち、仮想空間内の任意の視点から実空間の物体を見ることが可能になる画像データを生成することができる。
【００１６】
また、同一物体が視野内に含まれる複数の距離画像について、実空間座標の類似度を評価し、各距離画像に含まれる物体が同一物体か異なる物体かを識別し、同一物体を重ね合わせることにより距離画像を連結する構成では、複数の距離画像を用いることによって切れ目のない連続した仮想空間を形成することが可能になる。また、距離画像では物体との距離が近いほど分解能が高くなるから、物体との距離が近い距離画像を連結すれば、高精細な仮想空間を構築することが可能になる。
【００１７】
同一物体が視野内に含まれる複数の距離画像を組み合わせて死角に存在する物体のモデリングを行う構成を採用すれば、いずれかの距離画像では死角に存在する物体でも他の距離画像で補完してモデリングを行うことが可能になる。
【００１８】
物体のモデリングに際して物体の形状を幾何学形状に単純化したベクトル画像を用いる構成を採用すると、物体の各部位ごとの座標値を用いて物体を記述する場合に比較して物体の記述に要するデータ量を大幅に低減することができる。
【００１９】
また、モニタ装置に仮想空間の画像を表示し、操作装置により基準位置となる形状を指示することによって、当該形状に対する相対関係を用いて幾何学形状のベクトル画像を生成する構成では、たとえば、物体の垂直面や水平面あるいは直角をなす２面などの情報を指定することにより、物体の形状に関する規則ないし知識を与えることで物体の形状を特定するための情報量が増加するから、物体のモデリングの精度が高くなる。
【００２０】
時刻の異なる距離画像に含まれる同一の物体について物体の位置の差分が規定範囲を越えている場合に当該物体を仮想空間に配置しない構成を採用すると、人や自動車のように移動する物体を仮想空間から排除し、定位置に固定されている物体を配置した仮想空間を形成することができる。この場合、人や自動車であっても移動が少なければ仮想空間から除去することができないが、この種の不要な物体の多くを仮想空間から自動的に除去することにより、手作業での除去の手間を大幅に低減することができる。また、物体のモデリングを行っていることにより物体ごとに個別に扱うことができるから、仮想空間から個別の物体を除去する作業が容易である。
【００２１】
日時の異なる距離画像について実空間座標の同位置に含まれる物体が非類似であるときに、最新の距離画像によりモデリングを行った物体を仮想空間に配置する構成を採用した場合には、建物の改築などに対応して仮想空間内の物体を最新の情報に自動的に置き換えることができる。すなわち、モデリングを行っていることにより建物のような物体を個別に扱うことができるから、物体単位での画像の入れ替えを容易に行うことができる。
【００２２】
仮想空間を構成する画素間の最小距離を物体の位置に関連付けておけば、仮想空間内での物体の位置に応じて解像度を変化させることが可能になる。たとえば、仮想空間内において詳細な画像を見せることが不都合な物体については最小距離を大きく設定して解像度を下げておき、詳細な画像を見せる必要がある物体については最小距離を小さく設定して解像度を高めておくことが可能になる。
【図面の簡単な説明】
【００２３】
【図１】実施形態を示すブロック図である。
【図２】同上に用いる距離画像生成手段の動作説明図である。
【図３】同上の動作説明図である。
【図４】同上の動作説明図である。
【図５】同上の動作説明図である。
【図６】同上の動作説明図である。
【発明を実施するための形態】
【００２４】
本実施形態では、カラー画像または濃淡画像を撮像する撮像手段２と、視野内に存在する物体までの距離値を画素値とした距離画像を生成する距離画像生成手段１とを用い、距離画像を用いて実空間に存在する物体の３次元情報を抽出するとともに、実空間に対応付けた仮想空間における物体の３次元情報に、撮像手段２で撮像された画像のマッピングを行うことによって、実空間を実写した画像を用いながらも３次元情報を持つ仮想空間を形成することを可能にしている。撮像手段２は、カラー画像と濃淡画像（モノクロ画像）とのどちらを出力するものでもよいが、以下の説明ではカラー画像を用いるものとする。
【００２５】
本発明では、主として市街地などにおいて建物のような定位置に存在する物体に関する３次元情報を抽出することを目的としている。物体の撮像に際しては、撮影位置や撮影方向を変更しながら距離画像とカラー画像との静止画像を順次生成するほか、距離画像とカラー画像との動画像を生成してもよい。動画像は実質的に時間間隔の短い静止画像の集合として扱うことが可能である。
【００２６】
以下の説明では、まず３次元情報を抽出するための距離画像を生成する技術について説明し、その後、カラー画像と距離画像とを組み合わせて仮想空間を形成する技術について説明する。
【００２７】
距離画像の生成には、受光手段の視野に発光源から赤外線のような信号光を投光し、視野内に存在する物体（人を含む）での反射光を受光手段で受光し、投光から受光までの時間差に相当する情報を用いることにより、物体までの距離を検出する飛行時間法（Time Of Flight）の原理を用いる。すなわち、発光源から信号光を投光するとともに、信号光を投光している空間を受光手段で受光し、受光手段の出力を用いて物体までの距離を検出するアクティブ型の距離画像生成手段を用いる。
【００２８】
発光源からは時間経過に伴って強度が変化する信号光（変調光）を出射し、物体で反射され受光手段で受光された信号光と投光した信号光との位相差を、投光から受光までの時間差に相当する情報として用いる。信号光の変調波形には、正弦波、三角波、鋸歯状波、方形波などを用いることができる。正弦波、三角波、鋸歯状波を用いる場合には信号光の周期を一定周期とする。
【００２９】
また、方形波を用いる場合には信号光の周期を一定周期とするほか、オン期間（発光源の投光期間）とオフ期間（発光源の非投光期間）との比率を乱数的に変化させる技術を採用することも可能である。後者の構成については詳述しないが、オン期間とオフ期間とを多数回繰り返すことにより、乱数性によってオン期間とオフ期間とが１対１とみなせることを利用する。この動作では、周期性を有する周囲光の影響を軽減できる。
【００３０】
受光手段は、複数個の画素が２次元に配列された撮像素子を備える。撮像素子は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサとして提供されている濃淡画像を撮像するための周知構成のものを用いることができる。この種の撮像素子を用いる場合には、周囲光による飽和を防止し、かつ信号光の成分を検出することができるように、波長選択フィルタおよび減光フィルタを用いるとともに、信号光の強度を高め、さらに距離を計測する範囲を近距離（数ｍ程度）とすることが望ましい。
【００３１】
周囲光の影響を軽減するには、距離画像生成手段に適した構造を有するように専用に設計された撮像素子を用いることが望ましい。この種の撮像素子としては、たとえば、周囲光成分に相当する電荷を廃棄し、信号光成分に相当する電荷を集積することによって、周囲光による飽和を防止する構成が知られている。この種の撮像素子を用いることにより、受光領域で生成した電荷のうち信号光ではない環境光ないし周囲光の成分を低減させることができ、信号光成分に対するダイナミックレンジを大きくとることが可能になる。
【００３２】
撮像素子は、複数個の画素（受光領域）を有し、各受光領域では受光強度に応じた電荷量の電荷を生成する。また、受光領域ごとの受光感度が電気信号により制御可能であり、以下に説明するように信号光を受光するタイミングを制御することにより、投光と受光との位相差を含む情報を検出することができる。また、撮像素子では、各受光領域で生成された電荷を信号光の変調周期の整数倍（たとえば、１００００周期）の期間に亘って蓄積した後に、外部に取り出すことにより異常値の発生を抑制している。
【００３３】
以下では、理解を助けるために距離画像生成手段の一構成例として下記構成を想定して説明するが、この構成は本発明を限定する趣旨ではなく、信号光の変調波形、撮像素子の構成、撮像素子の制御などに関して、周知の種々の距離画像生成手段に提供された構成を用いることができる。
【００３４】
以下の説明で用いる距離画像生成手段１は、図１に示すように、光（近赤外線を用いるのが望ましい）を出射する発光源１１と、対象空間からの光を受光する撮像素子１２とを備える。発光源１１には、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる発光素子を用いる。また、発光源１１から出射する光量を確保するために、発光源１１は適数個の発光素子を用いて構成される。
【００３５】
発光源１１は、発光源１１から出力された信号光を対象空間に投光する投光光学系１３とともに投光手段を構成している。また、撮像素子１２は、対象空間からの光を撮像素子１２に入射させる受光光学系１４とともに受光手段を構成している。投光光学系１３と受光光学系１４とは互いに近接して配置してあり、投光光学系１３と受光光学系１４との距離は視野に対して実質的に無視することができるものとする。
【００３６】
距離画像生成手段１には、発光源１１を駆動するための変調信号を出力する変調信号生成部１５と、変調信号生成部１５から出力された変調信号に基づいて撮像素子１２での受光タイミングを規定する受光タイミング信号を生成するタイミング制御部１６と、撮像素子１２から出力された受光信号を用いて対象空間に存在する物体までの距離を求めて距離画像を生成する距離画像生成部１７とが設けられる。
【００３７】
変調信号生成部１５は、出力電圧が一定周波数（たとえば、２０ＭＨｚ）の正弦波形で変化する変調信号を生成し、変調信号を発光源１１に与えることにより、図２（ａ）（ｂ）のように光出力が正弦波状に変化する信号光が発光源１１から出射される。発光源１１として発光ダイオードを用いる場合には、電流制限抵抗を介して発光ダイオードに変調信号の信号電圧を印加することにより、発光ダイオードの通電電流を変化させ信号光を出射させる。
【００３８】
撮像素子１２は、電子シャッタの技術を用いることで、受光タイミング信号に同期する期間にのみ受光強度に応じた電荷を生成することが可能になっている。また、受光領域で生成された電荷は、遮光された蓄積領域に転送され、蓄積領域において変調信号の複数周期（たとえば、１００００周期）に相当する蓄積期間に蓄積された後、撮像素子１２の外部に受光出力として取り出される。
【００３９】
タイミング制御部１６では、変調信号に同期する受光タイミング信号を生成する。ここでは、変調信号の１周期における異なる４位相を規定し、各位相ごとに一定時間幅の受光期間を設定する４種類の受光タイミング信号を生成するとともに、蓄積期間ごとに４種類の受光タイミング信号のうちの各１種類の受光タイミング信号を撮像素子１２に与える。
【００４０】
すなわち、１種類の受光タイミング信号で規定した受光期間において受光領域で生成した電荷を１回の蓄積期間において蓄積し、蓄積後の電荷を受光出力として撮像素子１２の外部に取り出す処理を４回繰り返し、４回の蓄積期間で４種類の受光タイミング信号に対応する受光出力を撮像素子１２の外部に取り出す。
【００４１】
いま、図２（ｃ）のように、受光タイミング信号を変調信号の１周期において９０度ずつ異なる位相で規定しているものとする。この場合、各受光タイミング信号に対応する受光出力（電荷量）を、それぞれＡ０，Ａ１，Ａ２，Ａ３とするときに、位相差ψ〔ｒａｄ〕は下式で表される。
ψ＝（Ａ０−Ａ２）／（Ａ１−Ａ３）
変調信号の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差ψを用いて、Δｔ＝ψ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・ψ／４π・ｆと表すことができる。
【００４２】
すなわち、４種類の受光出力（電荷量）Ａ０〜Ａ３により物体までの距離を求めることができる。なお、受光期間の時間幅は、受光領域において適正な受光量が得られるように、適宜に設定することができる（たとえば、変調信号の４分の１周期に相当する時間幅とすることができる）。ただし、各受光期間の時間幅は互いに等しくすることが必要である。
【００４３】
距離画像生成部１７では、受光出力（電荷量）Ａ０〜Ａ３に基づいて位相差ψを求め、距離に換算する上述の処理のほか、以下に説明する処理も行うことができる。距離画像生成部１７はコンピュータを用いて構成され、上述した処理はコンピュータでプログラムを実行することにより実現される。また、距離画像生成部１７だけではなく、発光源１１および撮像素子１２を除く構成は、コンピュータを用いて実現される。
【００４４】
なお、上述の動作例では、４種類の受光タイミング信号を用いているが、３種類の受光タイミング信号でも位相差ψを求めることができ、環境光ないし周囲光が存在しない環境下では、２種類の受光タイミング信号でも位相差ψを求めることが可能である。
【００４５】
また、上述の動作では、１画素について１個の受光領域を用いているから、４種類の受光出力（電荷量）Ａ０〜Ａ３を撮像素子１２から取り出すために４回の蓄積期間が必要であるが、１画素について２個の受光領域を設ければ、変調信号の１周期で２種類の受光タイミング信号に対応する電荷を生成することが可能になるから、撮像素子１２から２種類の受光タイミング信号に対応した受光出力を１回で読み出すことが可能になる。同様に、１画素に４個の受光領域を設ければ、変調信号の１周期で４種類の受光タイミング信号に対応する電荷を生成し、４種類の受光タイミング信号に対応する受光出力を１回で読み出すことが可能になる。
【００４６】
上述した距離画像生成手段１は、対象空間からの光を受光するための受光素子として複数個の画素が２次元配列された撮像素子１２を用いているから、各画素の画素値として距離値を求めることにより距離画像が生成されることになる。生成された距離画像はコンピュータのメモリに格納される。
【００４７】
以下では、上述のようにして生成された距離画像を撮像手段２により撮像されたカラー画像とともに用いて仮想空間を形成する技術について説明する。
【００４８】
距離画像生成手段１および撮像手段２は、手持ちでの撮像が可能になるカメラハウジングに収納される。手持ち可能なカメラハウジングを用いることにより、車載で用いる場合のように車道に沿った場所だけを撮像するのではなく、市街地に形成された路地のような地形の入り組んだ場所でも撮像することが可能になる。同様に、建物の内部の撮像も可能になる。
【００４９】
また、詳細な情報が必要な部分については近い距離から撮像して解像度を高めることが可能であるから、画像の解像度を可変にすることができる。
【００５０】
撮像手段２は、距離画像生成手段１における受光手段と視野が重複するように配置される。望ましくは、撮像手段２の視野を受光手段の視野と一致させる。具体的には、図１に示すように、ダイクロイックミラーからなるハーフミラーＭ１を撮像素子１２と受光光学系１４との間に配置し、撮像手段２を構成する撮像素子２１の受光面の前方にミラーＭ２を配置した構成を採用する。ハーフミラーＭ１は撮像素子１２の受光面に対して４５度の角度で傾斜するように配置され、ミラーＭ２はハーフミラーＭ１と平行かつ撮像素子２１の受光面に対して４５度の角度で傾斜するように配置される。
【００５１】
この構成により、ハーフミラーＭ１は撮像素子１２に入射する赤外線と撮像素子２１に入射させる可視光線とを分離して赤外線を透過させるとともに可視光線をミラーＭ２に向かう向きに反射し、ミラーＭ２はハーフミラーＭ１からの可視光線が撮像素子２１に入射されるように反射する。したがって、各撮像素子１２，２１と受光光学系１４との距離を適宜に調節することにより、距離画像生成手段１と撮像手段２との視野を一致させることが可能になる。
【００５２】
なお、上述した構成は一例であって、距離画像生成手段１と撮像手段２との視野の全部が重複する構成のほか、一部が重複する構成を採用してもよい。たとえば、距離画像生成手段１を構成する撮像素子１２に対応する受光光学系１４とは別に、撮像素子２１に対応する受光光学系を設けてもよい。あるいはまた、距離画像生成手段１の撮像素子１２を撮像手段１０の撮像素子２１と兼用する構成を採用することも可能である。この場合、距離画像を生成する動作とカラー画像を撮像する動作とを切り替えることになる。
【００５３】
このように、距離画像生成手段１と撮像手段２との視野の全部または一部を重複させ、視野の位置を合わせるだけの簡単な調整で、カラー画像における物体について距離の情報を対応付けることが可能になる。
【００５４】
距離画像とカラー画像とを用いて仮想空間を形成するために、実空間における物体の位置を特定する必要がある。実空間に存在する物体と距離画像生成手段１との相対位置は距離画像によって知ることができるから、距離画像生成手段１に装置座標を規定しておけば、装置座標における物体の位置を距離画像から求めることができる。
【００５５】
ここに、距離画像は、受光光学系１４の中心を通して物体を見込むときの方向が各画素の位置に対応し、画素値が物体までの距離値であるから、物体の位置を極座標（球座標）で表していることになる。一方、実空間における物体の位置は、緯度と経度と高さとを用いた直交座標系で表すほうが扱いやすい。したがって、距離画像生成手段１から出力される距離画像から得られる極座標の座標値を、装置座標として規定した直交座標系の座標値に変換するために座標変換手段３を設けている。
【００５６】
座標変換手段３は、距離画像における物体の座標を極座標から装置座標に変換する第１変換部３ａと、距離画像生成手段１に規定された装置座標を実空間に規定されている３次元の実空間座標に変換する第２変換部３ｂとを備える。第２変換部３ｂにおける装置座標から実空間座標への座標変換には、装置座標だけではなく、実空間座標に対する装置座標の相対関係の情報が必要である。そのため、距離画像生成手段１の撮像位置および撮像方向を計測する撮像位置計測手段４が設けられる。
【００５７】
撮像位置計測手段４は、実空間座標における撮像位置を計測する高精度ＧＰＳ（global Positioning System）、距離画像生成手段１および撮像手段２の傾きを計測するジャイロセンサ、距離画像生成手段１および撮像手段２の向きを検出する地磁気センサを組み合わせてある。ここに、高精度ＧＰＳは、人工衛星からの情報に地上局の情報を組み合わせることにより、最大誤差を数十ｃｍ程度とする技術を意味している。したがって、撮像位置計測手段４では、実空間座標における撮像位置の３次元座標と、距離画像生成手段１および撮像手段２による撮像方向（３次元の各座標軸周りでの回転角度）とを計測することができる。上述のようにして撮像位置計測手段４により求めた実空間座標での撮像位置および撮像方向を、座標変換手段３の第２変換部３ｂにおいて、装置座標における物体の座標位置と組み合わせることによって、実空間座標での物体の座標位置が算出される。
【００５８】
算出された実空間座標での物体の座標位置により、物体について３次元の位置情報が求められるから、仮想空間形成手段５において、物体をコンピュータグラフィックスのオブジェクトとして扱うことができるように物体のモデリングを行う。モデリングには、サーフェースモデルやワイヤーフレームモデルなど周知のモデルを用いることができるが、情報量が少なくなるようにベクトル画像を形成するモデリングを行うことが望ましい。
【００５９】
ここに、物体が、建物のようにひとまとまりのオブジェクトとして扱えるか否かを知識（規則）を用いて判別し、ひとまとまりのオブジェクトとして扱うことができる物体については、当該物体を個別のオブジェクトに分離する。
【００６０】
たとえば、「隣接する建物の間に隙間があれば、両建物は別のオブジェクトである」という知識があるとすれば、この知識を用いることにより、両建物を別のオブジェクトとして分離することができる。建物を個別のオブジェクトに分離する知識としては、隣接する建物の間隔や建物の形・色などの情報も併せて用いることが可能である。
【００６１】
物体が建物である場合のように、比較的単純な形状であるときには、当該物体については幾何学形状に単純化したベクトル画像とする。市街地に存在する建物の多くは直方体状であり、また窓枠も矩形状であることが多いから、このような単純化は合理的である。
【００６２】
上述したように物体の座標位置が決定されるとともに、物体のモデリングが行われることにより、物体のモデルをコンピュータグラフィックスにより構築した仮想空間に配置することが可能になる。
【００６３】
ところで、本実施形態では、実空間の建物ような物体を仮想空間に対応付けて配置するから、１枚の距離画像には物体の全体を含めることができない場合が多い。また、仮想空間は、できるだけ広い範囲の実空間に対応付けることが要求される。そこで、仮想空間形成手段５が物体を仮想空間に配置するにあたっては、複数毎の距離画像を連結することにより一連に連続した仮想空間を形成する。
【００６４】
具体的には、図３に示すように、撮像位置と撮像方向との少なくとも一方が異なる複数枚（図示例は２枚）の距離画像（およびカラー画像）Ｐ１，Ｐ２を用いる。図示例は距離画像Ｐ１を取得した後に、撮像位置をずらして距離画像Ｐ２を取得した場合を想定している。撮像位置の変化は視野に比較して小さく、両距離画像Ｐ１，Ｐ２の視野内の大部分において物体Ｏｂの同領域を含むものとする。また、以下の説明において、図の左右方向をｘ方向、上下方向をｙ方向とする。
【００６５】
なお、視野の移動は、平行移動（撮像位置）だけではなく角度変化（撮像方向）も考慮する必要がある。とくに、距離画像生成手段１および撮像手段２は手持ちであるから、現実的には撮像方向を含める必要があるが、ここでは、単純化して平行移動のみについて考慮するものとする。
【００６６】
上述のように２枚の距離画像Ｐ１，Ｐ２が得れると、まず両距離画像Ｐ１，Ｐ２を重ね合わせて相関係数を算出する。すなわち、この例では類似度として相関係数を用いる。その後、距離画像Ｐ１に対して距離画像Ｐ２を１画素分だけｘ方向あるいはｙ方向にずらして相関係数を求めるという処理を繰り返して、両距離画像Ｐ１，Ｐ２に重複部分が形成されなくなる状態まで相関係数を求め、相関係数の最大値を求める。相関係数が最大である重なり状態が両距離画像Ｐ１，Ｐ２の位置関係を表しているものとし、新たな距離画像Ｐ２を当該位置に配置する。
【００６７】
ここに、両距離画像Ｐ１，Ｐ２の相関係数を計算する際には、重複部分の画素数に応じて相関係数が変化するから、重複部分の画素数で除算することにより正規化する。また、上述の例では距離画像Ｐ１に対して距離画像Ｐ２を１画素ずつずらしているが、規定の複数画素ずつずらして相関係数が大きくなる範囲を定めた後、当該範囲内で相関係数が最大になる位置を求めるようにしてもよい。あるいまた、距離画像Ｐ１に対して距離画像Ｐ２をｘ方向あるいはｙ方向に変位させた後に、他方向に変位させるという手順を採用する代わりに、距離画像Ｐ１に対して距離画像Ｐ２を螺旋状に移動させてもよい。これらの方法を採用することにより、相関係数の最大値を求める時間を短縮することが可能になる。
【００６８】
さらには、後述するように、撮像位置計測手段４により撮像位置および撮像方向が計測されるから、この情報を用いて相関係数の算出を行う範囲を絞り込むようにすれば、相関係数の最大値を求めるのに要する処理負荷が軽減され、処理時間も短縮される。
【００６９】
上述のようにして２枚の距離画像Ｐ１，Ｐ２を重ね合わせる位置が決定されると、新しい距離画像Ｐ２のうちで距離画像Ｐ１に重複していない領域（図４に斜線部で示す）を仮想空間に新たに配置する領域とする。このような処理の繰り返しにより、仮想空間を拡張することができる。
【００７０】
上述の動作例では、距離画像Ｐ１，Ｐ２のみの相関係数を求めているが、カラー画像についても相関係数を求め、両方の相関係数から画像を重ねる位置を決定してもよい。ただし、距離画像Ｐ１，Ｐ２は外光の影響を受けず、カラー画像に比較して安定した情報が得られるから、距離画像Ｐ１，Ｐ２のみを用いても十分な精度が得られる。
【００７１】
上述のように画像を連結することにより仮想空間を拡張していくと、仮想空間の一部に抜けが生じる可能性があるが、周辺の空間領域を複数回撮像することにより、抜けている領域を埋めることが可能である。この場合、座標位置によって画像を連結するから、撮像した空間領域に重複部分があっても問題は生じない。また、新たな距離画像により拡張された領域を、モニタ装置７（後述する）の画面上に表示すれば、抜けている領域が使用者にわｋり、抜けている領域を埋めるように追加して撮像することが可能になる。
【００７２】
画像を連結するには、以下の処理を行ってもよい。ここでは、図５に示すように、撮像位置と撮像方向との少なくとも一方が異なる複数枚（図示例は２枚）の距離画像Ｐ１，Ｐ２であって、同一の物体Ｏｂ１，Ｏｂ２が視野内に含まれる複数の距離画像Ｐ１，Ｐ２を用いるものとする。
【００７３】
これらの距離画像Ｐ１，Ｐ２に含まれる物体Ｏｂ１，Ｏｂ２が同一か否かを判定する必要があるから、距離画像Ｐ１，Ｐ２に基づいて物体Ｏｂ１，Ｏｂ２をモデル化するとともに、実空間座標における物体Ｏｂ１，Ｏｂ２の座標位置を求めた後、物体Ｏｂ１，Ｏｂ２の座標位置について類似度を評価し、同一の物体Ｏｂ１，Ｏｂ２を判断できる類似度が得られたときに、異なる距離画像Ｐ１，Ｐ２の物体Ｏｂ１，Ｏｂ２を重ね合わせる。
【００７４】
たとえば、ベクトル画像を用いて物体Ｏｂ１，Ｏｂ２の形状を表しているときには、線分であれば各端点の座標位置の距離、端点間の距離（線分の長さ）などを評価すれば類似度を評価することができ、面であれば辺や頂点の個数、頂点の座標位置、面積などを評価すれば類似度を評価することができる。
【００７５】
上述の処理を繰り返すことによって、距離画像を次々に連結することができることになり、連続した仮想空間を形成することが可能になる。また、距離画像では、物体との距離が近いほど分解能が高くなるから、物体との距離が近い距離画像を連結すれば高精細な仮想空間を構築することができる。
【００７６】
たとえば、物体までの距離を２〜３ｍ程度とするのが望ましく、この程度の距離では被写界深度が比較的大きくなり、しかも視野内に含まれる情報量が比較的少ないから高精度の距離画像が得られる。つまり、手持ちで撮像しながら移動することを想定している。移動の手段としては、歩行、自転車、自動車など適宜に選択してよい。なお、上述の距離は目安であって、物体までの距離は適宜に選択することができる。また、物体までの距離が小さいと物体の細部について距離の計測が可能であり、物体までの距離が大きいと物体の概観について距離の計測が可能である。したがって、細部の距離画像を生成することが不都合であれば、概観の距離画像が生成される程度の距離とすればよい。
【００７７】
また、距離画像生成手段１による距離の計測範囲には制限があるから、距離画像について高さ方向の情報は制限し、たとえば、４ｍを高さ方向の制限距離とし、高さが制限距離を超える物体について制限距離を超える部分は距離値を用いないようにしてもよい。ただし、カラー画像については、制限距離にかかわりなく用いることができる。また、制限距離を超える遠方については、同じ画像を複数回撮像し、得られたカラー画像を積分することによりＳＮを向上させてもよい。
【００７８】
上述の動作は、異なる距離画像内に含まれる同一の物体に基づいて距離画像を連結する処理であるが、特定の距離画像においては他の物体の死角になっていて距離値が得られない物体であっても、撮像位置と撮像方向との少なくとも一方が異なる他の距離画像においては死角にならない物体があれば、特定の距離画像において死角になっていた物体についてもモデリングを行う。
【００７９】
要するに、距離画像に含まれるすべての物体について実空間座標での座標位置が求められるから、いずれかの距離画像において死角になっていた物体であっても、当該物体が他の距離画像に含まれている場合には当該物体の座標位置を用いて当該物体のモデリングを行うのである。さらに、死角になっている物体は、１枚の距離画像からは完全な情報を得ることができないことが多いから、複数枚の距離画像を用いて補完するのが望ましい。この場合、当該物体の周囲に存在する物体の類似度を評価することにより、複数枚の距離画像から当該物体がひとまとまりのオブジェクトになるか否かを評価し、ひとまとまりのオブジェクトであると判断できるときには、当該物体を仮想空間に配置する。
【００８０】
上述の処理により形成された仮想空間は、コンピュータに設けたモニタ装置７の画面に表示することができる。また、仮想空間は３次元情報を有しているから、コンピュータに設けたキーボードやマウスを操作装置８として用いることにより、仮想空間における物体に対する指定や削除などの編集操作が可能になる。
【００８１】
３次元情報を有する仮想空間に対するこの種の編集操作の機能は、３次元グラフィックスを扱うグラフィックスソフトウェアでは周知であるが、本実施形態では建物の形状の編集操作は行う必要がないから、最小限では仮想空間での点、線、面や角部の指定、物体の削除などの編集操作が可能であればよい。
【００８２】
物体のモデリングに際してベクトル画像を用いている場合には、モニタ装置８に表示された画像を見て利用者（オペレータ）が操作装置７を用いることにより、点、線、面や角部を指定することにより、これらの点、線、面、角部を物体の基準となる形状であることを示すことが可能である。たとえば、物体の垂直面や水平面あるいは直角をなす２面（角部）などを操作装置７により指定し、指定した部位の特性（垂直面、水平面、角部）を操作装置７により指示すると、物体の形状を特定しやすくなり、結果的にモデリングの精度が高くなる。この技術は、物体のモデリングをベクトル画像で行っている場合にとくに有効である。
【００８３】
いま、物体の幾何学形状を直方体に単純化するものとすれば、垂直面となる一面を指定することにより、画像の歪みによる面の傾きを防止することができる。また、指定した面を基準に用いることにより、他面との相対関係を用いて他面の情報の一部が得られ、他面を規定する情報量が増加するから、他面についてもモデル化が容易になる。とくに、距離画像に含まれない背面についても幾何学形状で推定することにより、物体の全体の３次元情報を仮設定することが可能になる。つまり、他面との相対位置のような知識（規則）を用いて物体に関する３次元情報を推定することができる。この場合、距離画像では死角になる物体の背面については仮に推定した情報であるが、必要があれば別情報によって補完すればよい。
【００８４】
仮想空間に配置する物体は、原則として定位置に存在する建物のような物体を想定しており、人や自動車のような移動物体は仮想空間に配置しないことが望ましい。そのため、仮想空間形成手段５では、距離値を取得した時刻が異なる距離画像であって、時間差が比較的短い（最大１０分程度）複数の距離画像から生成した物体のモデルについて類似度を評価し、類似度が高く実質的に同一物体とみなせる物体が存在するとき、実空間座標での両物体の位置の差分を求める。この差分が規定範囲を超えている場合には当該物体は人や自動車のような移動物体であると判断して仮想空間から自動的に排除する。
【００８５】
たとえば、図６に示すように、距離値を取得した時刻が異なる２枚の距離画像Ｐ１，Ｐ２が得られているものとし、両距離画像Ｐ１，Ｐ２に共通に含まれる物体Ｏｂ１，Ｏｂ３，Ｏｂａのうち、物体Ｏｂ１、Ｏｂ３については実空間座標の座標位置が実質的に変化しておらず、物体Ｏｂａについては実空間座標の座標位置が矢印の向きに変化しているから、物体Ｏｂａの位置の差分を求め、物体Ｏｂａを仮想空間から自動的に排除する。図示例では、物体Ｏｂ２は、距離画像に含まれていないからモデル化されない。
【００８６】
ここで、移動物体であっても移動量少ない場合は仮想空間から取り除くことができないが、移動物体の多くは自動的に除去されるから、残りを編集操作によって人手で削除したとしても、すべての移動物体を手作業で除去する場合に比較すると、作業量は大幅に低減されることになる。しかも、物体のモデリングによって、物体を個別のオブジェクトとして扱うことを可能にしているから、各物体を単位として指定することにより、個々の物体を個別に削除することが可能になり、仮想空間から個別の物体を除去する作業が容易である。
【００８７】
上述のようにして実空間に存在する物体の３次元座標を計測することにより物体のモデリングを行い、コンピュータグラフィックスによる仮想空間を形成すると、仮想空間には物体の３次元の座標位置を記述することができる。ここで、本実施形態では距離画像と視野が重複しているカラー画像を撮像手段２により撮像しているから、距離画像とカラー画像との画素位置の対応関係を用いることによって、仮想空間における各物体（オブジェクト）の表面に相当する領域のカラー画像を切り出すことが可能である。
【００８８】
撮像素子２１で得られたカラー画像は外観形成手段６に入力され、外観形成手段６では仮想空間形成手段５から物体の座標位置に対応したカラー画像の座標位置を指定しカラー画像の一部を切り出し、切り出したカラー画像を仮想空間に配置した物体のテクスチャとしてマッピングを行う。すなわち、仮想空間において３次元の座標位置で規定された物体の表面にカラー画像で得られた画像のマッピングがなされる。仮想空間における物体は、実空間における３次元の位置情報を持つようにモデル化され、しかもマッピングにより実空間における外観を有することになる。
【００８９】
また、上述したように、高さ方向の制限距離を設定するから、制限距離よりも高い場所は、距離情報を持たないカラー画像のみを用いる。つまり、制限距離よりも高い場所は、平坦な形状の上にカラー画像をマッピングすることになる。
【００９０】
このようにして生成された３次元の位置座標およびテクスチャに関する情報は、データベース９に格納され、必要に応じて、操作装置７の操作でデータベース９から読み出すことにより、モニタ装置８の画面に表示することが可能になる。
【００９１】
仮想空間に配置された物体は３次元の位置情報を持っているから、モニタ装置８の画面表面にレンチキュラシートを配置した３次元表示装置を構成するとともに、モニタ装置８に表示する画像を３次元画像（レンチキュラシートを通して見たときに視差分だけ異なる２画像を左右の眼で見ることができる画像）となるように、仮想空間を構築する３次元データのデータ変換を行えば、使用者（オペレータ）は、立体画像を視認することが可能になる。したがって、あたかも実空間を見ているかのような画像を表示することが可能になる。
【００９２】
また、静止画像を組み合わせただけの離散的な画像ではなく、連続的につながった継ぎ目のない仮想空間を形成しているから、視点の位置および視野の範囲の時間変化を指定するウォークスルーの機能を設けることができ、臨場感のある表示が可能になる。このようなウォークスルーの機能を用いて出発地から目的地までの画像を表示すれば、あたかも自身が歩いているかのような実感を伴って道順を確認することができるから、地図よりも分かりやすい道案内が可能になる。つまり、現地に行かなくとも、その場に居るかのような環境の中でウォークスルーが可能になるから、土地勘が生まれ道に迷うことなく目的地にたどり着くことが可能になる。
【００９３】
ところで、適宜の時間間隔（たとえば、１ヶ月、１年などの単位）で同じ場所の情報を取得するようにすれば、仮想空間の情報を最新の情報に更新することができる。ここに、時間間隔は一定として定期的に情報を取得するのが望ましい。上述したように、仮想空間は、撮像位置や撮像方向にかかわりなく同一の物体が視野内に存在すれば、継ぎ目なく連続させることができるから、毎回の撮像において、撮像位置や撮像方向は完全に一致している必要はない。
【００９４】
仮想空間形成手段５では、日時の異なる複数の距離画像については、実空間座標の同位置に含まれる物体の類似度を評価する。ここで、類似度が高い場合には、同一の物体が存在すると推定して仮想空間の情報を変更せず、類似度が低い場合には、当該座標位置に前回とは異なる物体が存在すると判断する。類似度は、上述したように物体の形状や寸法を比較した数値により与えられる。日時の異なる距離画像を用いることによって、実空間座標の同位置に異なる物体が存在すると判断される場合は、最新の距離画像からモデリングを行った物体を仮想空間に配置する。また、日時の異なる距離画像により同一の物体が存在するときには、両物体の位置の平均を用いることにより、位置精度を高めることができる。
【００９５】
ところで、仮想空間においては物体をモデリングし、ひとまとまりのオブジェクトとして扱っているから、仮想空間において物体を単位として情報を入れ替えることが容易であり、建物が改築された場合などは、仮想空間内の物体を最新の情報に自動的に置き換えることができる。このように、仮想空間の情報を建物単位で最新の情報に更新することによって、モニタ装置８には最新の画像が表示されることになり、インターネットや記録媒体を用いて店舗の画像を提供すれば、宣伝効果も期待できる。
【００９６】
上述したように、仮想空間に配置する物体はベクトル画像であるから、拡大や縮小を自由に行うことが可能であり、仮想空間の適宜の座標位置において物体を拡大すれば、注目する場所の詳細な画像をモニタ装置８に表示することができる。また、インターネットや記録媒体を用いて画像を公開する場合には、詳細に表示されることが不都合な場所もあるから、仮想空間形成手段５では、仮想空間を構成する画素間の最小距離を仮想空間内での物体の座標位置に関連付けておくことが望ましい。つまり、物体の場所ごとに分解能に制限を与えることが可能である。
【００９７】
上述の構成例では、主として市街地における建物を物体として扱っているから、３Ｄ市街地図情報を併用すれば、仮想空間における物体の座標位置の精度をさらに高めることができる。この場合、市街地の通りに沿って存在する物体を仮想空間に配置するだけではなく、ビル内や駅構内なども仮想空間に配置すれば、道案内の目的で用いる場合に、より利便性が高くなる。
【符号の説明】
【００９８】
１ 距離画像生成手段
２ 撮像手段
３ 座標変換手段
４ 撮像位置計測手段
５ 仮想空間形成手段
６ 外観形成手段
７ 操作装置
８ モニタ装置
９ データベース
Ｏｂ１，Ｏｂ２，Ｏｂ３ 物体
Ｏｂａ 物体
Ｐ１，Ｐ２ 距離画像
【特許請求の範囲】
【請求項１】
カラー画像または濃淡画像を撮像する撮像手段と、撮像手段と重複する視野を持ち視野内に存在する物体までの距離値を画素値とした距離画像を生成する距離画像生成手段と、撮像手段および距離画像生成手段による撮像位置と撮像方向とを計測する撮像位置計測手段と、距離画像に規定した装置座標を位置計測手段により計測した撮像位置および撮像方向を用いて実空間に規定されている３次元の実空間座標に変換する座標変換手段と、座標変換手段で得られた物体の実空間座標を用いて物体のモデリングを行うことにより仮想空間を形成する仮想空間形成手段と、仮想空間に配置した物体に撮像手段で撮像した物体の外観をテクスチャとしてマッピングを行う外観形成手段とを備えることを特徴とする３次元デジタイザ。
【請求項２】
前記仮想空間形成手段は、前記撮像位置計測手段により計測した撮像位置と撮像方向との少なくとも一方が異なりかつ同一物体が視野内に含まれる複数の距離画像について、実空間座標の類似度を評価することにより異なる距離画像について同一物体と異なる物体とを識別し、同一物体を重ね合わせることにより異なる距離画像を連結することを特徴とする請求項１記載の３次元デジタイザ。
【請求項３】
前記仮想空間形成手段は、前記撮像位置計測手段により計測した撮像位置と撮像方向との少なくとも一方が異なりかつ同一物体が視野内に含まれる複数の距離画像を組み合わせることにより、特定の撮像位置および撮像方向において死角に存在する物体のモデリングを行うことを特徴とする請求項１又は２記載の３次元デジタイザ。
【請求項４】
前記仮想空間形成手段は、物体の実空間座標を用いて物体の形状を幾何学形状に単純化したベクトル画像によるモデリングを行うことを特徴とする請求項１〜３のいずれか１項に記載の３次元デジタイザ。
【請求項５】
前記外観形成手段により形成された仮想空間の画像を表示するモニタ装置と、モニタ装置に表示された仮想空間の画像に対して編集操作を行う操作装置とを備え、前記仮想空間形成手段は、前記モニタ装置に表示された仮想空間の画像において前記操作装置により基準となる形状が指示されると当該形状に対する相対関係を用いて幾何学形状のベクトル画像を生成することを特徴とする請求項４記載の３次元デジタイザ。
【請求項６】
前記仮想空間形成手段は、時刻の異なる複数の距離画像の視野内にモデリングを行った同一の物体が含まれる場合であって、異なる距離画像における当該物体の位置の差分が規定範囲を超えている場合には当該物体を仮想空間に配置しないことを特徴とする請求項１〜５のいずれか１項に記載の３次元デジタイザ。
【請求項７】
前記仮想空間形成手段は、日時の異なる複数の距離画像において実空間座標の同位置に含まれる物体の類似度を評価し、類似度に基づいて異なる距離画像における実空間座標の同位置に異なる物体が存在すると判断される場合に、当該位置には最新の距離画像からモデリングを行った物体を仮想空間に配置することを特徴とする請求項１〜６のいずれか１項に記載の３次元デジタイザ。
【請求項８】
前記仮想空間形成手段は、仮想空間を構成する画素間の最小距離を仮想空間内での物体の位置に関連付けていることを特徴とする請求項１〜７のいずれか１項に記載の３次元デジタイザ。
【請求項１】
カラー画像または濃淡画像を撮像する撮像手段と、撮像手段と重複する視野を持ち視野内に存在する物体までの距離値を画素値とした距離画像を生成する距離画像生成手段と、撮像手段および距離画像生成手段による撮像位置と撮像方向とを計測する撮像位置計測手段と、距離画像に規定した装置座標を位置計測手段により計測した撮像位置および撮像方向を用いて実空間に規定されている３次元の実空間座標に変換する座標変換手段と、座標変換手段で得られた物体の実空間座標を用いて物体のモデリングを行うことにより仮想空間を形成する仮想空間形成手段と、仮想空間に配置した物体に撮像手段で撮像した物体の外観をテクスチャとしてマッピングを行う外観形成手段とを備えることを特徴とする３次元デジタイザ。
【請求項２】
前記仮想空間形成手段は、前記撮像位置計測手段により計測した撮像位置と撮像方向との少なくとも一方が異なりかつ同一物体が視野内に含まれる複数の距離画像について、実空間座標の類似度を評価することにより異なる距離画像について同一物体と異なる物体とを識別し、同一物体を重ね合わせることにより異なる距離画像を連結することを特徴とする請求項１記載の３次元デジタイザ。
【請求項３】
前記仮想空間形成手段は、前記撮像位置計測手段により計測した撮像位置と撮像方向との少なくとも一方が異なりかつ同一物体が視野内に含まれる複数の距離画像を組み合わせることにより、特定の撮像位置および撮像方向において死角に存在する物体のモデリングを行うことを特徴とする請求項１又は２記載の３次元デジタイザ。
【請求項４】
前記仮想空間形成手段は、物体の実空間座標を用いて物体の形状を幾何学形状に単純化したベクトル画像によるモデリングを行うことを特徴とする請求項１〜３のいずれか１項に記載の３次元デジタイザ。
【請求項５】
前記外観形成手段により形成された仮想空間の画像を表示するモニタ装置と、モニタ装置に表示された仮想空間の画像に対して編集操作を行う操作装置とを備え、前記仮想空間形成手段は、前記モニタ装置に表示された仮想空間の画像において前記操作装置により基準となる形状が指示されると当該形状に対する相対関係を用いて幾何学形状のベクトル画像を生成することを特徴とする請求項４記載の３次元デジタイザ。
【請求項６】
前記仮想空間形成手段は、時刻の異なる複数の距離画像の視野内にモデリングを行った同一の物体が含まれる場合であって、異なる距離画像における当該物体の位置の差分が規定範囲を超えている場合には当該物体を仮想空間に配置しないことを特徴とする請求項１〜５のいずれか１項に記載の３次元デジタイザ。
【請求項７】
前記仮想空間形成手段は、日時の異なる複数の距離画像において実空間座標の同位置に含まれる物体の類似度を評価し、類似度に基づいて異なる距離画像における実空間座標の同位置に異なる物体が存在すると判断される場合に、当該位置には最新の距離画像からモデリングを行った物体を仮想空間に配置することを特徴とする請求項１〜６のいずれか１項に記載の３次元デジタイザ。
【請求項８】
前記仮想空間形成手段は、仮想空間を構成する画素間の最小距離を仮想空間内での物体の位置に関連付けていることを特徴とする請求項１〜７のいずれか１項に記載の３次元デジタイザ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−９５８５８（Ｐ２０１１−９５８５８Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２４７０６８（Ｐ２００９−２４７０６８）
【出願日】平成２１年１０月２７日（２００９．１０．２７）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月２７日（２００９．１０．２７）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
[ Back to top ]