都市景観の３次元動画生成および閲覧システム
【課題】 実画像を用いた都市景観３次元動画を提供するシステムおよびサービスを提供する。
【解決手段】 航空機搭載および車載等の複数のディジタルカメラにより都市を上空ないし地上から高密度に多方向から撮影するシステムと、これらの画像をデータベース化すると同時に、任意の都市の位置に対して任意の視点経路と視線方向に対応した画像を検索するシステムと、検索した画像を実際の視点と撮影済み画像との視差に対応してモーフィング処理により連続した滑らかな３次元動画に生成するシステムを含むことを特徴とする都市景観３次元動画アミューズメントシステム。
【解決手段】 航空機搭載および車載等の複数のディジタルカメラにより都市を上空ないし地上から高密度に多方向から撮影するシステムと、これらの画像をデータベース化すると同時に、任意の都市の位置に対して任意の視点経路と視線方向に対応した画像を検索するシステムと、検索した画像を実際の視点と撮影済み画像との視差に対応してモーフィング処理により連続した滑らかな３次元動画に生成するシステムを含むことを特徴とする都市景観３次元動画アミューズメントシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、市街地を含む地上の景観について３次元動画を生成するシステムにおいて、特に、航空機等において上空から撮影した航空写真、あるいは路上において地上で撮影した写真を利用してするシステムに関し、特に、地上を様々な角度から撮像した写真を利用する３次元都市景観の動画を生成表示するシステムに関するものである。
【背景技術】
【０００２】
従来、都市景観を３次元で動画表示する方式には、レーザプロファイラにより都市の建造物の３次元情報を計測して立体モデルを作成したうえで建造物の壁面画像をレンダリング処理により貼り付け、このようにして得られた３次元都市モデルに対して任意の視点経路とこの視線経路に沿った任意の視線方向の画像を３次元画像処理により生成し、時間的に連続表示することにより３次元動画を得るものである。都市建造物の３次元情報を得る別の方法としては地上の同一地点を異なった方向より撮影した画像を用い、ステレオ画像処理により高さ方向の情報を抽出して３次元都市モデルを生成する方法もある。この他に、必ずしも実際の都市には一対一に対応しないが都市空間３次元モデルを構築して３次元画像処理により動画を生成する方法もある。
【０００３】
これらの方法はいずれも都市の立体構造諸元すなわち３次元モデルを生成するために時間とコストを要し、さらに建物等の立体の外壁を実際と同一にするためには、外壁のパターン情報または、画像情報を張り付ける（レンダリング）する必要があった、このレンダリング情報は３次元物体の全ての方向からの情報が不可欠であり、その取得とレンダリングに多大の労力とコストを要するものであった。このように、任意の空中経路と視線から任意の都市部分の景観を３次元動画で表示することは強く望まれていたにもかかわらず、レンダリングの精度を十分現実的にできない、あるいは、情報の更新周期が長くなり、表示する映像の新鮮度、正確さに難点が生じることが多かった。
【０００４】
３次元模擬視界を使用するアミューズメントシステムには、非特許文献１のエースコンバットのように衛星より撮影した地表画像を加工して利用するものもあるが、あくまでもゲームに現実味をもたせることを目的としており実際の３次元景観とは必ずしも一致しない。また、非特許文献２のセカンドライフに見られる都市空間３次元模擬視界は、仮想都市を３次元的に表現するが現実の地図には対応していない。セカンドライフに対して都市空間をより現実的に表現するものとして現実の地図に対応した仮想都市空間の３次元アミューズメントシステムとして非特許文献３のCOCORによるmeet-meがあるが建造物の外壁景観、細部構造については現実とは一致しない。また、本発明になる技術は極めて大量かつ多視点、多視線方向の航空写真を事前に撮影蓄積することにあるが、航空写真を取得する従来技術として、最近はディジタル技術の急速な進歩によりアナログ式航空カメラからディジタル方式の１次元ラインセンサないし2次元撮像素子を用いた航空写真用カメラが実用化されている。さらに汎用デジタルカメラの高性能化により、航空写真分野へも適用可能となってきている。専用ソフトウェアによりディジタルカメラで撮影した斜め写真からオルソ画像を作成するシステムが特許文献１では提案されている。測量目的の航空写真では地上に基準点を予め設定し、該基準点を参照してカメラ位置と姿勢を計算し、地物の座標を求めていたが、航空機にGPS（Global Positioning System）及びIMU（Inertial Measurement Unit）を装備し、撮像時点のカメラの位置と姿勢を測定することできる。（特許文献２）撮像方向が異なる３台のＣＣＤラインセンサで測量用航空写真を撮像する技術が特許文献３で提案されている。
【０００５】
【非特許文献１】http://www.acecombat.jp/
【非特許文献２】http://www.secondlife.com/
【非特許文献３】http://www.mmet-me.jp/
【特許文献１】特開2002-357419号公報。
【特許文献２】特開2004-245741号公報。
【特許文献３】特許2807622号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１の方法は、景観の材料として、高分解能衛星画像を使用してリアリズムを追及した３次元動画アミューズメントシステムであるが、対象は海外の戦場でありまた、画像自体も制作時から更新されないので都市景観３次元動画の実現とは異なるものである。非特許文献２において提案されているシステムでは、人間目線の都市景観３次元動画表示を行っているがすべての表示は計算機上で生成された架空の世界であり現実世界と異なり、現実に則した都市景観を３次元表示する目的とは合致しないものである。非特許文献３の方法は非特許文献２の方法に改善を加えたもので現実の都市の地図に対応して建造物等を構築しているが景観自体としては現実との同一性を追及しておらず、現実とは異なるものである。
【０００７】
航空写真の取得に関した特許文献として以下のものがあるが、特許文献２において提案されているシステムでは斜め画像を２枚取得するが、斜め画像１枚だけでは本発明で必要とされる多量かつ多方向の画像を高密度で取得するのは困難である。特許文献３において提案されているシステムは、異なる３方向のＣＣＤラインセンサにより撮像するが、これらの３台のＣＣＤラインセンサは、平行かつ直線的に配置されているので測量用にステレオ画像を取得するには適しているが、本発明の目的のように都市景観の３次元動画を生成するための原画像取得のためには情報量が圧倒的に不足する。
【０００８】
特許文献１，２で、地上を多方向、大量かつ高密度で撮像するために、カメラを増設することが考えられるが、航空写真用の航空機の床面にある撮影用開口部は寸法と位置が滞空証明の対象として厳しく規定されており、開口部を拡大したり、開口部から機外に突出する形でカメラを増設することはできない。したがって、地上を高密度に多方向から撮像する必要のある実画像による都市景観３次元動画アミューズメントシステムに適した実現手段はこれまで考えられていなかった。
【０００９】
本発明は、このような実情に鑑みてなされたものであり、航空機等において空中で高密度のメッシュ点で多方向の画像を広範囲に撮像できるシステムを構築し、これら大量の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像を生成するモーフィングシステムを構築した。さらに本発明では地上においても人間目線のリアルな動画像を作るために、都市のあらゆる道路上ないし通路上であらゆる方向の画像を高密度に取得する専用の車載等のシステムを構築し、取得した大量の画像をデータベース化し、都市の路上の任意の位置を任意の人間目線で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像を生成するモーフィングシステムを構築した。
【課題を解決するための手段】
【００１０】
上記解決課題に鑑みて鋭意研究の結果、本発明者は都市景観３次元動画アミューズメントシステムの実現において最大の障壁となるのは、都市の建物等建造物および構築物の３次元情報を安価かつ頻繁に取得する手段がないこと、さらにこれらの３次元物体の表面に張り付ける画像の取得と貼り付けを安価かつ頻繁に行う手段を欠いていることを認識するに至った。このため、本発明者はこれらの手段を踏まずに任意の経路から任意の視線で都市の任意の部分の３次元動画を得る方法として都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておき、選択された視点経路、視線方向および目標位置に対応して最適な撮影済み画像を選択し、画像を撮影したカメラの位置および光軸方向と、選択された視点と視線の相違をモーフィング処理により補償し、なめらかな動画像を得る方法を着想するに至った。
【００１１】
しかしながら、都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておくことはきわめて困難である。経験上本発明者はこの目的を達成するためには立体角で数度ごとにあらゆる方向からの写真を全ての都市地点に対して準備しなければならないことを知っている。この問題を解決するために小型のディジタルカメラを多数用い、配列方法と制御方法に新規性を施した。すなわち、第一に多数の小型ディジタルカメラをディジタルカメラ集合体として形成し、従来から航空測量用航空機の床面に存在する航空測量用カメラの穴に機外に張り出すことなく収納して滞空証明取得上の問題を回避すること、第二に多方向からの写真を効率的に撮影するために、ディジタルカメラ集合体の中心部に直下撮影用のカメラを配し、その周囲に放射状に斜め方向撮影用のディジタルカメラを８ないし２５あるいは、スペース的に余裕があればそれ以上配置するのである。
【００１２】
第三に、地上を各方面から撮影したとしても、画像の分解能が地上を見る俯角によって変化することは好ましくないので、鉛直方向よりなす角を一般にオフナディア角と呼称するが、小さいオフナディア角の斜め写真用ディジタルカメラには短い焦点距離の望遠レンズを用い、大きいオフナディア角の斜め写真用ディジタルカメラには長い焦点距離の望遠レンズを用い、さらにそれらを各々放射状に同心円状に配列することにより航空機の直下からかなり大きなオフナディア角の領域まで、分解能を劣化させることなく広範囲に画像を取得するディジタルカメラ集合体を考案した。
【００１３】
第四に、本発明者は該ディジタルカメラ集合体を効率的に運用し広範な都市空間上空であらゆる地点に対して立体角数度ごとの画像を得るために航空機にGPS装置と慣性航法装置よりなるガイダンスシステムを導入し空中同一高度に緻密なメッシュ状の撮影ポイントを構成したうえで、該撮影ポイントで自動的にディジタルカメラ集合体に撮影司令を発し撮影記録するシステムを構築した。
【００１４】
第五に、大量頻繁に撮影を行う必要性から撮影コストを削減する目的で一般に航空測量が不適当な曇天に雲の下の低高度より撮影することを着想し、曇天の空中モヤによる画像劣化をディジタル画像処理により自動的に補償する方法を発明した。
【００１５】
さらに、本発明者は数度程度の立体角の撮影済み画像を任意の対象地点に対して動画生成のために高速に検索する必要があることに鑑み、本システムに適した高速画像検索機構を考案した。すなわち、地表を緯度経度あるいはXY 座標により正方形の網目状に区分する。正方形の１辺は十分小さく、たとえば５０ｍから２０ｍ程度に設定する。この網目上の正方形の各々に２次元のアドレスを付して管理する。各撮影済みの画像には、地表を撮影した画像範囲内に含まれる該網目状正方形群が存在して、撮影時のカメラ位置と該網目状正方形の中心とを結ぶベクトルが定義できる。これを正規化して原画像ベクトルと定義するが、該原画像ベクトルは指定された地表網目に対する画像を表現するインデクスとして使用できる。
【００１６】
すなわち直上を示す天頂ベクトルと該原画像ベクトルのなす角度を量子化して天頂インデックスを定義する、該なす角の量子化の基準は５度以下である。各天頂インデックスには、水平方向成分として３６０度分の全方位が含まれているので、これを立体角数度単位のセルに小分割し、該原画像ベクトルと天頂ベクトルのなす角、該原画像ベクトルの水平方向成分によりインデクシングする。この３段階のインデクシングにより必要な原画像を高速に検索することができる。３次元動画像に必要な原画像は任意の都市位置に対して立体角で数度ごとに準備されているが、この近傍を視点が通過するので、実際の視点および視線と原画像ベクトルの立体数度以下のずれは、原画像に対するモーフィング処理により滑らかにつなぐのである。
【００１７】
本発明は都市景観をリアルに動画像で表示することであるので、３次元動画に使用される原画像は地上でも取得されなくてはならない。地上での都市景観３次元動画をリアルに表現するとは、人間の目線で景観を再現することであると本発明者は考察し、あらゆる場所の都市景観を人間目線で事前に撮影し、空中からの景観と類似の方法で３次元動画を生成する方式を考案した。地上における人間目線は人間が道路ないし通路上を移動すること、さらに目の位置が地上１．５−１．８mであるという制約があり、視点の自由度は空中からの景観に比べて相当に小さい。
【００１８】
本発明者は航空機搭載と類似の多数のディジタルカメラを搭載したディジタルカメラ集合体を車載用に考案した。すなわち、水平方向に全周８ないし１２方向、水平より仰角を付した斜め上方向を全周８ないし１２方向にわたって撮影するカメラをディジタルカメラ集合体として構成し、車両の屋根上に設置し、車両をカーナビゲーションシステムにより予め定められた道路上を移動させ、GPSとIMSによる詳細な位置計測結果に基づき数ｍ間隔でディジタルカメラ集合体を構成する全カメラに対して撮影司令を発し、その結果を位置データとともに記録するのである。このようにして路上画像データベースを構築したうえで、都市の任意の場所に対して路上ないし通路上の任意の場所、任意の視線方向からの人間目線での３次元動画を生成する方法を上空からの３次元動画像生成をもとに考案した。該方法は最適な原画像を選択するプロセスと、視点の移動状態と視線方向および都市内の位置によりモーフィングプロセスにより滑らかな動画像を生成するプロセスより構成される。
【００１９】
しかしながら完全な自由空間に視点を置き自由に視線方向を指定できる空中と異なり、道路ないし通路上では視点の存在し得る場所が通路ないし道路上に限定される。さらに、本発明の方法は都市空間の構造物に関する３次元モデルを生成することなしに３次元動画を生成する方法であるから、路上ないし通路上で撮影した画像を空中写真の場合にTerrainに貼り付けたように、貼り付ける対象を選定しモデル化しなくてはならない。人間目線での都市空間の表現として都市の構造を考慮して、この目的に合致するモデルとして道路ないし通路とそれ以外の市街地の境界線に沿って鉛直に主として平面で構成される厚さゼロの壁を立て、該壁を原画像の投影面とすることとした。
【００２０】
この道路ないし通路に沿った投影面を数学的に表現することは、空中写真においてDEMを地表のモデルとして用いるのと同等の位置付けとなるが、道路ないし通路はグラフ構造を有しており、グラフ表現によりモデル化する。さらに、画像投影上重要なのは道路ないし通路の境界線上に存在する該壁あるいは投影面である、さらに道路ないし通路は、屈折し、分岐し、交差し、合流し、開始し、終了する。本発明者は、原画像の投影という目的に適した道路ないし通路の数学的表現方法をグラフ表現で考案した。この結果、道路ないし通路上の任意の位置の人間目線からの任意の市街景観を撮影済みの原画像からモーフィングによりリアルに動画で表現することに成功した。
【００２１】
このように本発明になる都市景観３次元動画アミューズメントシステムでは、空中を任意に飛び回り任意の視線で任意の場所を見られるだけでなく、任意の路上ないし通路から任意の人間目線で市街の３次元動画を得ることができる。このため、グラフィックユーザインターフェイスとしてインターネットを介して、空中を模擬飛行するための模擬コックピットを設け、方位、昇降および速度を自由に操縦し指定できるほか、模擬カメラに切替えてカメラの方位角、ティルト角、ズーム量を自由に変更して３次元動画を表示することもできるようにした。路上ないし通路上においてはグラフィックユーザインターフェイスを介して人間目線で前進後退、及び左折、右折による自由な位置変更ができるほか、視線の向きを変えて自由な方向の視界を３次元動画で表現することができる。さらに、本発明の都市景観３次元動画アミューズメントシステムの特徴は空中から自由に地上に舞い降り、路上ないし通路上を歩行し、また、地上から上空に舞い上がって空中を自由に飛び回れる自由さにある。このため、空中模擬視界から地上の着地点を指定して着地するグラフィックユーザインターフェイスおよび、逆に地上から空中に飛び上がるためのグラフィックユーザインターフェイスを導入してアミューズメント性を高めた。
【発明の効果】
【００２２】
以上、説明したように、本発明の都市景観３次元動画アミューズメントシステムによれば、コストのかかる都市空間の３次元数値モデルの生成および建造物表面に対するレンダリング処理を行うことなしに、空中で撮影した実画像を用いて都市の任意の場所に対して空中における任意の視点経路と視点方向に対する３次元動画を生成することができる。また、路上ないし通路上で撮影した実画像を用いて都市の任意の路上ないし通路上の地点に対し人間目線で任意の視点経路と視点方向に対する３次元動画を生成することができる。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照しながら、本発明の都市景観の３次元動画アミューズメントシステムを実施するための最良の形態を詳細に説明する。図１は、本実施形態における都市景観３次元動画アミューズメントシステムの全体構成を概略的に示す図である。該都市景観３次元動画生成アミューズメントシステムは視点が空中にある場合の３次元動画生成を行うための部分と、視点が路上にある場合の３次元動画生成を行うための部分と、双方に共通的なグラフィックユーザインターフェイスシステム180より構成され、ユーザ191にはインターネット190を介してサービスが提供される。
【００２４】
視点が空中にある場合の３次元動画生成を行うための部分は、航空機により空中で航空写真を取得するための空中画像取得システム100と、取得した航空写真を３次元動画生成に使いやすいように加工しデータベース化するための空中画像データベース生成登録システム120と、データベース化された空中画像データベース140と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元動画像を生成する空中３次元動画生成システム160より構成される。
【００２５】
視点が路上にある場合の３次元動画生成を行うための部分は、車両等により路上で写真を取得するための路上画像取得システム110と、取得した写真を３次元動画生成に使いやすいように加工しデータベース化するための路上画像データベース生成登録システム130と、データベース化された路上画像データベース150と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元動画像を生成する路上３次元動画生成システム170より構成される。双方に共通的なグラフィックユーザインターフェイスシステム180では、視点が空中にある場合の視界生成と視点が路上にある場合の視界生成をユーザ191の要求に基づき切り替える機能も有している。以下、本発明になる３次元動画生成の基本原理を解説した後、本発明になる該都市景観３次元動画アミューズメントシステムを構成する各システムについて詳述する。
【００２６】
図２は、都市景観３次元動画アミューズメントシステムにおける空中画像取得の概念を示す図であり、本発明の最大の特徴は、都市景観３次元動画生成において第一に都市の３次元モデルを生成しないことであり、第二に生成した３次元モデルに外壁面パターンないし外壁面写真をレンダリングしないことであって、これら人手とコストが必要な作業を排除する代わりに、都市景観のあらゆる位置について事前にあらゆる方向から画像を取得しておき、これを必要に応じて選択、変形して利用することである。しかしながらこの方法は膨大な画像を事前に撮影する必要があるだけでなく、最適な撮影済み画像を高速に検索する必要があり、近年のディジタルカメラの進歩、各種メモリの大容量低コスト化と処理能力と通信能力の向上によって実現の条件が整ったところに、本発明による新方式の完成によって初めて実現が可能となったのである。
【００２７】
図２では都市200の上空天球222を充分小さい立体角の範囲ｉ221あるいは立体角の範囲１220のようにおおむね２°から５°前後の角度で立体的に分割して、天球222を覆う地表近くを除くすべての該充分小さい立体角に対して地表のあらゆる場所の画像を準備するための空中画像取得システム100の概念を示している。
【００２８】
図３は図２の隣接する該充分小さい立体角の範囲ｉ221で撮影された同一地点に対する画像は視差のため見え方が若干異なるが、この若干異なった画像間の視界を線形変換により画像を連続的に変形させて補間し、滑らかな３次元動画を得るためのモーフィング処理の概念を示したものである。建物および視線方向の関係図230で示される建造物を視差が比較的小さい視線方向１240と視線方向２250より見た視界は、視線方向１より見た画像241および視線方向２より見た画像251で示されるが、視線方向１240と視線方向２250のなす角が小さい場合、あるいは対象物が平面的である場合には画像を線形変換によるモーフィング処理によって相互に近似することができる。このモーフィング処理を隣接する視点の実画像の補間処理に使用するのが本発明の特徴である。
【００２９】
図４は本発明になる都市景観３次元動画生成アミューズメントシステムにおける模擬飛行による模擬視界発生の概念を説明した図である。視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t) 280に沿って視界にとらえる。該目標トラジェクトリT(t) 280は該視点経路P(t) 270上の位置から、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、時刻ｔ+2δｔ
の視線273、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔ の視線275、および時刻ｔ+5δｔ の視線276によりδｔごとにとらえられた地表上の軌跡である。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観３次元動画を生成する方法として、時刻ｔの視線271から時刻ｔ+5δｔの視線276に近く視差の少ない空中画像ｉ260および空中画像ｉ+1 261を空中画像データベース143より検索し、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔ
の視線273の間は最も視線が近い空中画像ｉ260を原画像として使用して、時刻ｔ
の視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔ の視線273と空中画像ｉ260の視線の間の視点の相違による視差を空中画像ｉ260に対するモーフィング処理で補正し、時刻ｔ+3δｔ の視線 274からは空中画像ｉ260よりも空中画像ｉ+1 261の方が視点の相違による視差が少ないと判断して空中画像ｉ+1 261を原画像に切り替え、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔ
の視線275、時刻ｔ+5δｔ の視線276と空中画像ｉ+1 261の視線の間の視点の相違による視差を空中画像ｉ+1 261に対するモーフィング処理で補正することにより滑らかな該目標トラジェクトリT(t)
280に沿った都市景観の３次元動画生成を行うのである。
【００３０】
本発明になる方法は膨大な量の空中画像を必要とするが、その取得方法についての例を示したのが図５である。航空機301に図７に示すような多数のディジタルカメラを収容したディジタルカメラ集合体を搭載し、飛行経路300に沿って一定間隔ごとの撮影ポイント310で地表を撮影する。飛行経路300と撮影ポイント310を網目状に濃密に設定し、複数のディジタルカメラを搭載してディジタルカメラ集合体光軸方向320に示すように同時に多方向の画像を撮影することにより、図２に示す該充分小さい立体角の範囲ｉ221ごとの画像を取得する。
【００３１】
図６は空中画像取得システム100の処理フローを記したもので、以下、図１５まで、該空中画像取得システム100の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス330で一定距離間隔で網目状に空中画像を撮影できるように、飛行航路と撮像ポイントを設定する。この撮影計画は図１１に構成が示される空中画像取得計画ファイル101の形で飛行航路と抗路上の撮影ポイントが定義される。次に撮影プロセス331では、航空機301が空中画像取得計画ファイル101に規定された撮影ポイント310に到達したことを判断して図９に示す空中撮影制御システム393により撮影を行う。撮影されたディジタルカメラ内の画像は空中撮影制御システム393により予め決められたタイミングごとに撮像プロセスで取得した位置および姿勢データから構成されるメタデータとともに空中画像一次ファイル102に蓄積される。
【００３２】
図７は本発明になる空中画像取得システム100を構成するディジタルカメラ集合体360の構成例を示した図である。地表をあらゆる視点から効率よく高密度に撮影する目的で、直下方向のディジタルカメラ350aの周辺に水平全周方向が放射状に等間隔に分割されるように複数の斜め方向ディジタルカメラ350bから350iまでの8台を光軸が重力方向となす角が同一となるように配置してディジタルカメラ集合体360を形成したものである。とくに航空機に搭載して撮影する場合には、滞空証明を取得する必要があり、航空写真撮影用に航空機床面にあいている穴を変更したり、あるいは該床面穴から機体外にカメラが飛び出す形で利用することは事実上不可能であるため、ディジタルカメラ集合体360をCanon社製のPowerShotなどの小型ディジタルカメラを利用して該ディジタルカメラ集合体が該航空機床面穴内に収まるよう工夫したものである。ディジタルカメラ集合体 360を構成するディジタルカメラ350a〜i以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。
【００３３】
図８は、航空機による空中画像取得システムの航路および撮影ポイントの設定例を示したものである。図８(ｂ)にて撮影ポイント310の設定例を示している。飛行経路300は空中に撮影ポイント310の網目を構成するために等間隔で平行な飛行航路300を図８(ｂ)で点線で結んであるようにＵターンしながら往復する形で飛行する。この間、撮影ポイント310で撮影を行う。撮影ポイント310の相互間隔は、飛行航路間撮影間隔372と 飛行方向撮影間隔371により規定される。飛行高度を約８００ｍと設定すると、飛行航路間撮影間隔372および飛行方向撮影間隔371は、図２の充分小さい立体角の範囲 ｉ221内に少なくとも１枚の画像を得るためには約８０ｍ以下に設定するのが好ましい。ディジタルカメラ集合体360で撮影した場合、図８(ａ)のディジタルカメラ350a〜iの撮影範囲375a〜iで示す範囲が撮影される。飛行高度、斜め方向ディジタルカメラ350ｂ〜iの鉛直方向となす角度、およびレンズの焦点距離の設定によって、該ディジタルカメラ350a〜iの撮影範囲375a〜iの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。なお、直下方向を撮影するディジタルカメラ350aの飛行経路300に対する向きは、図８(ａ)では画像フレームの横方向を飛行経路300の進行方向にしているが、画像フレームの縦方向を飛行経路300の進行方向にしてもよい。
【００３４】
図９は空中画像取得システムの構成例を示した図であり、フライトナビゲーションシステム部385とデータ取得記録システム部390より構成される。フライトナビゲーションシステム部385は図８(ｂ)で規定される撮影ポイント310に航空機301を飛行経路300に沿って誘導するための装置であり、ＧＰＳ380より航空機位置データが周期的に得られ、航空計装388より航空機姿勢、高度、速度などのアビオニクス情報387が得られる。これらの信号インターフェイスは航空機用バス信号として標準化されているので新規性はない。
【００３５】
フライトナビゲーションシステム部385の機能は、図１１の空中画像取得計画ファイル101の内容に従い、図１０の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって図１２の空中画像取得システムのフライトナビゲーションシステム部の表示画面例によってパイロットを誘導するものである。フライトナビゲーションシステム自体は既に公然実施されていて何ら新規性はないものであるが、本発明の目的を実現するために撮影ポイント310に効率的に航空機を誘導する部分が本発明に関わるところである。まず飛行前に都市のどの部分の上空画像を取得するか決定する。地図上で撮影範囲を決定し、飛行プランを策定する。飛行プランは飛行経路300を航空地図上で設定することによって行われる。
【００３６】
撮影ポイント310は本発明の目的を達成するように均一かつ高密度な網目状に地表から同一の高さで設定しなくてはならず、その結果に基づき飛行経路300を平行線で構成されるように設定する。各直線部分に図１１の空中画像取得計画ファイル101に示される航路No.を割り振り、各航路ごとに全体として網目を構成するように撮影ポイント310を割付け、各航路の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度および高度で設定する。このようにして図１１の空中画像取得計画ファイル101は構築される。該空中画像取得計画ファイル101の構築に関わるグラフィックユーザインターフェイスは地図情報システムとして公然実施されている。
【００３７】
フライトナビゲーションシステム部385の機能は図１０に記載の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって示される。処理ブロック420で空中取得計画ファイル101に登録されている航路No.の中から飛行予定の航路No.についてすべての撮影が終了するまで図１２の表示を順次に行う。指定された航路No.には開始座標があるので、処理ブロック421で該航路NO.を開始するために航路開始点の位置、高度、進行方向、速度を指定して図１２の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック421で規定された条件を一定の誤差範囲、たとえば位置誤差で１０ｍから３０ｍ以下の精度、飛行方向誤差で５°以下の精度で満足しなくてはならず、満足しない場合には再度飛行航路をやり直すことになり、処理ブロック423で処理ブロック421のガイダンスを再度行う。処理ブロック422の条件を満足した場合には処理ブロック420で選択された航路No.の空中画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック424および処理ブロック425によりガイダンスする。図１２に空中画像取得システムのフライトナビゲーションシステム部の表示画面例を示す。
【００３８】
航空機301を処理ブロック420で指定された航路No.の開始点に誘導するためには図１２の撮影ガイダンス表示437と位置偏差表示446を用いる。航空機位置373の飛行航路300からの偏差を知ることができ、航空機を操縦して偏差の解消を行う。航空機の位置に関するデータはＧＰＳ380より得られるほか、航空機計装388よりアビオニクス情報387として高度、進行方位、速度、ピッチ・ヨー・ロールの姿勢データが得られ、図１２の表示に使用される。撮影ガイダンス表示437では、航路No.表示439により飛行中の航路が示されるほか、航路内残撮影ポイント数表示438により、航路内で今後撮影しなければならない撮影ポイント数が示される。撮影ガイダンス表示437では、撮影ポイント310を飛行航路300に沿って、撮影ポイントNo.と撮影許容範囲440が表示されるので、パイロットは各撮影ポイントに対して撮影許容範囲440内を航空機が通過するように操縦する。航空機ガイダンス表示437は飛行にしたがって上から下へローリング表示することにより、常に直近の撮影ポイントととるべき飛行経路300と航空機位置373の関係が示される。航空機位置表示373は常時画面左下部となる。なお、図１２の方位表示442、姿勢表示443、位置偏差表示446はいずれも現在の航空計装では公然実施されているものである。
【００３９】
つぎに図９におけるデータ取得記録システム部 390につき詳述する。図９において、航空機301には機体下方に航空写真機設置用の航空機床穴397があり、この穴にディジタルカメラ集合体360を機外に張り出さないように設置する。図９の例では後述する安定プラットフォーム装置395により航空機床穴397に吊下する構造を採用しているが、安定プラットフォーム制御システム 394および安定プラットフォーム装置395は航空機301の姿勢に拘らずディジタルカメラ集合体360を常に地上直下に指向させ、かつ方位を規定方向に固定する機能を有するので、航空機のピッチ・ロールを常時５°以内に操縦で保てるのであれば安定プラットフォーム装置395を省略してもよい。ＩＭＵ396は慣性計測装置の英語表現の頭文字であり、安定プラットフォーム装置395に乗せることによりディジタルカメラ集合体360の姿勢を計測することができる。ディジタルカメラ集合体360の上面は航空機床398より上に出てもよい。
【００４０】
データ取得記録システム部 390には航空機301の姿勢を観測するＩＭＵ400と、ディジタルカメラ350の制御と撮像データ処理のためのプログラムを含む空中撮影制御システム393と、画像データをふくむ各種データを記憶する大容量ディスク装置で構成される空中画像一次ファイル102と、ディジタルカメラ350に対する撮影指令を出すための撮影ポイントを記憶している空中画像取得計画ファイル101を機内に搭載している。航空機301の位置計測用のＧＰＳ380のアンテナを機外に有している。
【００４１】
図１３は図９のデータ取得記録システム部 390の構成機器間の情報の流れを示している。図１４は撮影制御システム393の処理フローを説明している。撮影制御システム393はＣＰＵで構成される。撮影制御システム393はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、航空機301の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。航空機301に固定されたＩＭＵ400は航空機の姿勢データ451を、ＧＰＳ380はＧＰＳアンテナの位置データ452を周期的に撮影制御システム393に送り込む。撮影制御システム393の処理は図１４に詳説しているが、空中画像取得計画ファイル101の内容と得られたＧＰＳアンテナの位置データ452と航空機の姿勢データ451を処理ブロック460と処理ブロック461で順次照合し、航路No.を特定し、当該航路No.の撮影終了ないし、航路離脱まで、順次処理ブロック462で指定航路の撮影点の直近点を通過中かを判定し、撮影許容範囲440内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ350に処理ブロック463で一斉に撮影指令457を送ると同時に図１５に示す空中画像一次データファイル内の航空機データ部分472を処理ブロック464で書き込む。
【００４２】
ディジタルカメラ350は内部に本発明の時点で３２ＧＢのメモリを保有できるので撮影した空中画像データ455を少なくともひとつの航路No.が終了するまで保持することができる。航空機301は、ひとつの航路No.を終了し、次の航路No.に入るまでの間、Ｕターン飛行をするが、この間は撮影を行わないので、ディジタルカメラ350内の空中画像データ455を航空機搭載の大容量ディスク装置で構成される空中画像一次ファイル102に処理ブロック465で転送し、ディジタルカメラ350内部のメモリを空にする。
【００４３】
図１５に空中画像一次ファイル102の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した各画像ごとに用意される。ヘッダー部のカメラＩＤはディジタルカメラ集合体360を構成する各ディジタルカメラ350a〜iを識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は航空機データ部分472と対応する撮影時刻であり、空中画像データベース生成登録処理120において、統合して各ディジタルカメラ350a〜iの光軸方向を算定するのに用いられる。画像データ部分471は特にこの段階では加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は飛行中固定であるので、同一設定値を書き込む。
【００４４】
空中画像データベース生成登録システム120について図１６から図２６までを用いて詳細に説明する。図１６は全体の処理フローを記載しており、処理ブロック480では、空中画像取得システム100で1日の飛行中に蓄積した空中画像一次ファイル102を飛行が終了した後、すべての画像について順次処理する。処理ブロック481では図１７の空中画像データベースの画像ヘッダ部490のヘッダーを作成するが図１５の空中画像一次ファイル102の画像ヘッダ部470のヘダーをそのまま転記する。処理ブロック482についても通常は空中画像一次ファイル102の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。
【００４５】
処理ブロック483では、画像ヘッダ部490の撮影パラメタを各画像ごとに計算するがその処理について以下に詳述する。カメラ位置は緯度、経度、高度で規定されるが、通常航空機搭載ＧＰＳ380による位置測定がＤＧＰＳである場合には、飛行高度が低いこともあってそのまま正確な位置が得られるとしてよい。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむので、着陸後に飛行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行う。
【００４６】
撮影パラメタの計算は線形代数を使用して行い、以下、図２３を参照しながら説明する。北方の水平方向を指す直交座標系での単位ベクトルを
とし基準軸とする。
を基準とした機体のピッチ・ヨー・ロールによる座標変換を
とする。また、空中画像一次ファイル102における航空機データ部分472の位置を直交座標系で
とし、機体内のＧＰＳアンテナ380からディジタルカメラ集合体360への位置偏差をベクトル表現で
とする。さらに基準軸
に対する各カメラ（添字k=ａ〜ｉで示す）の光軸、および４隅の方向ベクトルを単位ベクトルで下記と表現する。下記は常数であり、カメラの焦点距離と、ディジタルカメラ集合体360のディジタルカメラ350ａ〜ｉの取り付ける向きにより決まる。
撮影中心光軸を画像ベクトル（正規化） Ｇkc=ｔ(Gkcx Gkcy Gkcz)
撮影画像右下端方位ベクトル（正規化） Ｇk1=ｔ(Gk1x Gk1y Gk1z)
撮影画像右下端方位ベクトル（正規化） Ｇk2=ｔ(Gk2x Gk2y Gk2z)
撮影画像右下端方位ベクトル（正規化） Ｇk3=ｔ(Gk3x Gk3y Gk3z)
撮影画像右下端方位ベクトル（正規化） Ｇk4=ｔ(Gk4x Gk4y Gk4z)
と定義すると、撮影位置Ｓは Ｓ＝
＋
となり、図１７撮影パラメタの撮影位置（緯度,経度,高度）が求まる。正規化画像ベクトル(X,Y,Z)は
Ｇkc により求まる。
【００４７】
航空機の姿勢
を加味した画像４端の方向の正規化ベクトルは各カメラに対して、それぞれ、
Ｇk1，
Ｇk2，
Ｇk3，
Ｇk4 となる。地表のTerrainデータは緯度、経度、標高で地表の格子点に対して与えられているから、その直近の隣接する３点ずつで３角形を構成してその頂点座標をＴ1,Ｔ2,Ｔ3とし,Ｔcを三角形Ｔ1Ｔ2Ｔ3 の平面とＧkcの交わる座標とすると、ｘは外積を表し、
【数１】
ｘ
0
ｘ
0
ｘ
0
であればＴcは三角形Ｔ1Ｔ2Ｔ3内部にあるといえる。すなわち交わる。
撮影位置Ｓ=(x,y,z)からの画像ベクトル（正規化）Ｇkc がＴcで三角形Ｔ1Ｔ2Ｔ3と交わるとすると
（数２）
Ｔc-Ｓ=ＲＧkｃ
Ｔc-Ｔ1=a(Ｔ2-Ｔ1)+b(Ｔ3-Ｔ1) ここでa,bは任意のスカラ-定数
となる。ここでＲは図１７の撮影パラメタの画像距離である。画像距離とは撮影位置から撮影光軸がTerrain580に交わるまでの距離をいう。
ここで、
【数３】
= t(Ｔ1x Ｔ1y Ｔ1ｚ)
= ｔ(Ｔ2x Ｔ2y Ｔ2ｚ)
= ｔ(Ｔ3x Ｔ3y Ｔ3ｚ)
= ｔ(Ｔ4x Ｔ4y Ｔ4ｚ)
とすると、
【数４】
=
=
+a(
-
)+ｂ(
-
）
となり、図１７の撮影パラメタのTerrain上中心点座標（緯度,経度,標高）が
として求まる。ただし三角形Ｔ1Ｔ2Ｔ3の内部にあるかは、外積を計算してチェックする。
【００４８】
同様にＧｋｃの代わりにＧk1,Ｇk2,Ｇk3,Ｇk4に対して計算することにより、Terrain上最近右座標（緯度,経度,標高）、Terrain上最遠右座標（緯度,経度,標高）、Terrain上最遠左座標（緯度,経度,標高）、Terrain上最近左座標（緯度,経度,標高）がそれぞれ求まる。
次に、図１７撮影パラメタのフレーム回転角を求める。航空機の姿勢が基準方向であると、各ディジタルカメラのフレームの光軸を通る水平線は地球の水平線と平行であるが、機体のピッチ・ヨー・ロールによる座標変換が
であると地球の水平線から回転角が生じる。
機体の姿勢が基準方向であるときの画面フレームの水平線は下記で与えられる。
【数５】
機体のピッチ・ヨー・ロールによる座標変換が
であると、画面フレームの水平線は下記で与えられる。
【数６】
したがって、フレーム回転角は、
【数７】
となる。ここで ・は内積を表し、
はノルムを表す。
【００４９】
次に処理ブロック484で空中のモヤの影響除去の処理を行う。本発明の空中３次元動画生成システム150では、異なる視点から撮影した原画像を使用して都市のさまざまな方向からの映像を表現する。このため原画像に直射日光による影が存在すると、撮影時刻は原画像ごとに異ならざるを得ないため動画を合成したとき極めて見づらいものとなる。これを避けるため、直射日光のない曇天に雲の下から撮影し空中画像を取得する。このため、空中画像取得計画ファイル101では飛行高度を積雲または層雲が出現する高度より低い７００〜８００ｍに設定して撮影を行う。曇天での撮影は航空測量に航空機が使用できない条件下であるので、航空機の余剰時間を安価に利用できるという利点もある。一方、空中の水分が多いため視程が晴天時より短くなる欠点がある。
【００５０】
水分は微小な水滴として直進光を乱反射、乱屈折させるため、空中の通過距離に応じて影響が発生する。特に斜め航空写真の場合には、オフナディア角が大きい程水分の影響が大きくなる。図１８はモヤの影響除去処理における画像と視野の関係を示した図で、撮影画像495の下端は近景部分ａ496で撮影地表部分499のもっとも直近部分である。撮影画像495の上端部分は遠景部分498であり、撮影地表部分499の最遠部に位置する。近景部分ａ496から遠景部分498に向けて光が空気中を通過する距離が増える結果、微小水滴による光の散乱が増え、コントラストが減少し白濁する。この結果、図１９（ａ）に示すようにモヤのない場合の画像のヒストグラムが輝度下限値から輝度上限値507まで分布した正規化ヒストグラム500であった場合、近景部分ａ496では近景部分ａヒストグラム 501となり、上限値と下限値の幅が狭くなり中央値も白い方、すなわち輝度の高いほうに偏移する。
【００５１】
この傾向は遠景部分ヒストグラム502で最も顕著となり、ヒストグラム上限値504とヒストグラム下限値 503の差である値幅 505が最小となり中央値506が最大となる。図１８の撮影画像495で、ヒストグラムをとる範囲を画面横方向は全範囲で縦方向は近景部分ａ496、近景部分ｂ497のように一定幅の短冊状にして、１ラインずつずらしながら上方に向けてヒストグラムを計算すると、図１９（ｂ）のような特性が得られる。モヤの濃度は高度によって濃淡があるが、水平方向には濃度の差がないとしてよいので、値幅フィッティング曲線513は単調減少、中央値フィッティング曲線512は単調増加として近似してよい。これらの曲線はモヤの高度による分布が不明であるので、実測値からフィッティングで求めた上で各行ごとに、フィッティング曲線から求めた値幅と中央値の補正係数で各画素値を補正する。
各画素の輝度の補正は、水平ラインごとに
（数８）
正規化ヒストグラム中央値＋（画素輝度―中央値フィッティング値）
＊正規化ヒストグラム値幅／値幅フィッティング値
で求められる。以上説明した処理は、図２０で処理ブロック520から処理ブロック524で記された処理である。図２１は本発明のモヤ影響除去処理の処理結果例を示すものであり、モヤ影響除去前画像530を処理した結果、モヤ影響除去後画像531が得られている。
【００５２】
次に処理ブロック485で処理ブロック481から484で求めた結果を図１７に示す空中画像データベース143の該当画像データ部分に格納する。図１６の空中画像データベース生成登録システムの処理フローの最後の処理ブロック486で、処理ブロック485で登録した空中画像データを用いた動画生成のために高速に該空中画像データを検索する目的でインデクスを生成する。処理ブロック486の内容は図２２の空中画像データベース登録システムの空中画像インデクス生成登録処理フローでさらに詳細に述べられている。以下、図２２にしたがって説明する。処理ブロック540の内容を図２３の空中画像インデクス機構の構造と用語の定義を参照しながら説明する。撮影位置550で撮影された画像には、図１７の空中画像データベース133の撮影パラメタとして撮影位置（緯度,経度,高度）550、正規化画像ベクトルＧ＝ｔ(X Y Z) 551、フレーム回転角553、画像距離552,Terrain上中心点座標（緯度,経度,標高）554、Terrain上最近右座標（緯度,経度,標高）555、Terrain上最遠右座標（緯度,経度,標高）556、Terrain上最遠左座標（緯度,経度,標高）557、Terrain上最近左座標（緯度,経度,標高）558が既に格納されており、図２３はそれを図示したものである。撮影位置550で撮影した画像は地表画像範囲549を捉えている。地表、Terrain580には緯度経度が定義されるので、１秒ごとにメッシュ化すると東京地方の緯度３５°付近では緯度方向で３０ｍ、経度方向で２５ｍのセルが構成できる。０．４秒ごとにメッシュ化すれば緯度方向で１２ｍ、経度方向で１０ｍのセルが構成できる。６５ｋｍ四方の都市領域を考えると、このセル数は３５Ｍセルに過ぎない。地表画像範囲549に含まれる地表セル559は地表画像範囲549の４端点が緯度経度で判明しているから容易に求めることができる。
【００５３】
各地表セルに対して、図２に示す天球222のあらゆる方向に対し、十分小さい立体角の範囲i221で画像を検索できなくてはならない。この目的で図２４（ａ）に示すように天球を地表セル559の中心から鉛直に上を向いている天頂ベクトル570を定義し、以下、該天頂ベクトルを基準に同心円状に天球を輪切りにして天頂インデクスI 572を定義する。天頂インデクスｉはi=0,1,2,…と順次定義され、i=0は天頂ベクトルであり、順次ｉが大きくなるに従い、天頂ベクトルとなす角度が同一幅で増加し、同一同心円状に天頂から水平線まで定義される。天頂インデクス572を通過して地表セル559から立体角セル中心ベクトルが定義される。立体角セル中心ベクトル574は、必ず天頂インデクス572上に一定方位角間隔で定義される。
【００５４】
図２４（ａ）で立体角セル573とは図２の十分小さい立体角の範囲I 221に対応するもので、地表セル559からの画像検索の基本単位となる。立体角セル573は立体角セル中心ベクトル574に対してなす角度がたとえば３．５°以下であるベクトルの収まる円錐と定義される。図２４は天頂方向から地表セル559を見た図である。立体角セル573は天頂インデクスI 572に対して相互に重複しながら隣接して定義され、天頂インデクスｉ572の全周をうめる。
天頂ベクトル570と天頂インデクスI 570を通過する立体角セル中心ベクトル574のなす角を天頂離角571といい、天頂インデクスI 572を定義する数値となる。
【００５５】
図２５は立体角セル573のインデクス構造を示したものである。図２５（ｂ）は天頂方向から地表セル中心点575を見下ろした図である。2次元の添字のある立体角セルアドレス（ｉ，ｊ）を定義して、ｉは天頂インデクスｉ572を示し、jは天頂インデクスｉの同心円上のｊ番目の方向の立体角セルを表す。立体角セルアドレス(0,0) 584の立体角セル中心ベクトルは天頂ベクトル570であり、これを囲んで、同心円状に天球上で立体角セルアドレス(1,0) 585、立体角セルアドレス(1,1) 586、立体角セルアドレス(1,2) 587が以下、天頂インデクス１の全周を埋めるまで定義される。天頂インデクス１581の外側に天頂インデクス２に沿って、立体角セルアドレス(2,0) 588、立体角セルアドレス(2,1) 589、立体角セルアドレス(2,2) 590が天頂インデクス２の全周を埋めるまで定義される。立体角セル573は相互に重複し、天球を空隙が無いように埋め尽くされる。立体角セルの立体角は３次元動画生成が滑らかに行われるように、設定される。立体角セルアドレス数は天頂インデクスが地表に近づくにつれて多くなる。このようにしてすべての地表セルに対して、該地表セルを撮影した画像を、天球上の方向によって検索できるのである。
【００５６】
図２６に空中画像インデクススの関連テーブルの構造と相互関連を示す。天頂インデクスと天頂セルアドレスの構造は、地表セルに依存せず同一であり、この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597と方位インデクスパラメタテーブルＤＲＰＲＭＴ598で定義する。この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597は天頂インデクス０から順次、天頂インデクスｉ572に対する天頂離角571を定義し、さらに天頂インデクスｉ572に対応する中心ベクトル574が正規化ベクトルであった場合の鉛直方向成分を縦方向成分として格納する。天頂インデクスi 572に含まれる立体角セルの数は天頂から水平線に近づくにつれ増大するので、各天頂インデクスに対応した方位数ＮＤＲｉとして規定する。方向インデクスパラメタテーブルＤＲＰＲＭＴ598は天頂インデックスに対応して定義される方位数ＮＤＲｉに対応する立体角セルアドレスにつき、その立体角セル中心ベクトルの方位Ｘ成分と方位Ｙ成分を規定する。天頂インデックスパラメタテーブルＺＮＰＲＭＴ597 記載の縦方向成分とあわせてベクトルノルムが１となるように正規する。
【００５７】
次に、地表セルに対応した画像データインデクステーブルの構造について説明する。図２６の地表セル位置インデックステーブルＴＣＩＮＸＴ 600はすべての地表セル559に対して定義され、地表セルに対応して天頂インデックステーブルアドレスＡＤＤＲｉｊ 603が指定される。ＡＤＤＲｉｊの添え字は地表上の位置に対応して経度インデックスＬＯＮＩＮＸ 601がｉ、緯度インデックス ＬＡＴＩＮＸ 602がｊであることを示している。天頂インデックステーブルアドレスＡＤＤＲｉｊ 603は、地表セルijに対応した天頂インデックステーブルＺＮＩＮＸＴ 604を示す。天頂インデックステーブルＺＮＩＮＸＴには選択された天頂インデクスｋに対応して方位インデックステーブルアドレスＡＤＤＲijk 605が定義され、これに従い方位インデックステーブルＤＲＩＮＸＴ 606が規定される。ここには天頂インデックスパラメタテーブルＺＮＰＲＭＴ 597 で指定される数の方位数があるので方位インデクスがｍであれば画像アドレステーブル608のアドレスとしてＡＤＤＲｉｊｋｍが指定される。このように選択された画像アドレステーブルとは、地表セルｉｊに対して立体角セルアドレス（ｋ，ｍ）の立体角セルに含まれる画像データ数と画像データアドレスを示しているのである。このように図２６に従い、空中画像インデクスと関連テーブルの相互関連を定義すると地表の位置から空中の任意の方向から撮影した画像を検索できるのである。
【００５８】
以上の画像データインデクス機構の説明に基づき、図２２に示す空中画像データベース登録システムの空中画像インデクス生成登録処理フローの説明を以下に行う。処理ブロック540では図２３で示されるような1枚の画像があると、地表画像範囲549に含まれるすべての地表セルを求める。処理ブロック541では処理ブロック540で求めた地表セルすべてについて処理を順次行う。処理ブロック542では地表セル中心座標から撮影位置550を見込むベクトルを求める。処理ブロック543と処理ブロック544ではでは天頂インデックスパラメタテーブルZNPRMT 597 と方位インデックスパラメタテーブルDRPRMT 598の定義から内積演算により該地表セル中心座標から撮影位置550を見込むベクトルをふくむ立体角セルアドレス（ｋ，ｍ）を求める。この情報に基づき処理ブロック545で画像データテーブルＡＤＤＲijkmの画像データ数を１つ増加して画像データアドレスを追記する。
【００５９】
図２７に３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す。本発明の都市景観の３次元動画生成では、俯角が少ない場合の原画像はオフナディア角の大きな画像となるため必然的に航空機より遠方の画像となる。このことは、俯角が少ない場合の動画像を分解能を低下させずに生成させるためにはオフナディア角の大きな場合の画像撮影時に分解能を悪化させない配慮が必要である。このため、図２７に示すようにオフナディア角が大きくなるに従い望遠レンズの焦点距離を長くし、分解能を維持すると同時に、３種類のオフナディア角のディジタルカメラを採用してオフナディア角が大きくなるほど焦点距離を長くして地表分解能が均一になるように工夫した例である。図２８に直下点撮影用にディジタルカメラ350ａを用い、ディジタルカメラ350ｂ〜ｉまでの８台を放射上に同一の小さいオフナディア角を持たせて配置し、その外側にディジタルカメラ620ｊ〜ｙまでの１６台を放射上に同一の大きいオフナディア角を持たせて配置する。ディジタルカメラの小型高性能化は著しく、既存の航空写真カメラ用航空機床穴398に充分収納することができる。図２９に３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲例を図示する。代表的実施例としてはディジタルカメラ350ａを３５焦点距離５０ｍｍ相当で直下指向、ディジタルカメラ350ｂ〜ｉを焦点距離７０ｍｍ相当でオフナディア角３５°指向、ディジタルカメラ620ｊ〜ｙを焦点距離１０５ｍｍ相当でオフナディア角６０°指向という組み合わせがある。
【００６０】
図３０に航空機搭載用安定プラットフォーム装置395のもっとも単純な構成例を示す。
安定プラットフォーム装置395は航空機床穴397をまたぎ、上部にふさぐ形で設置され、下から固定部635、上下動部636、回転部637より構成される。回転部637は回転テーブル構造をなしており、その上に密着して姿勢検出用のＩＭＵ396が設置され、回転部637の下部にはディジタルカメラ集合体360が吊下されて航空機床穴397より機外に張り出すことなくすべての下方視界をすべてのディジタルカメラ350a〜iに収めることができる。該安定プラットフォーム装置395はディジタルカメラ集合体360または621を吊下してディジタルカメラ350a〜iおよびディジタルカメラ620j〜yを用いて同様に撮影することもできる。なお、回転部637とディジタルカメラ集合体360または621の接合方法は剛性を持たせて固定することが必要である。安定プラットフォーム装置395は航空機姿勢の擾乱に対して遺影の姿勢を保持することを目的としているが、対処可能な航空機の姿勢擾乱はピッチ角およびロール角で最大７から１０°、ヨー角については最大２０°を想定しておけばよい。固定部635は航空機床398に固着される。上下駆動機構Ａ〜Ｄ641〜644を介して上下動部636を保持する。上下駆動機構Ａ〜Ｄ641〜644は各々独立に上下に動きピッチ角とロール角の擾乱を補正する。上下駆動は油圧機構でも、ウォーム歯車による回転運動の上下運動への変換方式を採用してもよい。上下動部645にはさらにベアリング機構645に保持される形で回転部637が搭載される。回転駆動機構640は上下動部636に固定され、かつ回転部637外延部に接する形で設置される。回転部637と回転駆動機構640との間は回転運動を伝達すればよく、回転部637を回転させて航空機のヨー角に対する擾乱を打ち消す。図３１に安定プラットフォーム装置の信号情報フローを示す。安定プラットフォーム制御システム 394はＩＭＵ396よりピッチ角、ヨー角、ロール角を周期的に入力し、基準値からの偏差を求めてピッチ角、ロール角の偏差を打ち消すために上下駆動機構Ａ〜Ｄ641〜644を制御して上下運動649を行わせる。ヨー角の偏差を打ち消すためには回転機構640を制御して回転運動650を行わせる。
【００６１】
次に、都市景観３次元動画アミューズメントシステムにおける空中動画生成処理につき図３２から図３９を用いて説明する。モーフィングによる空中動画像生成の概念と変数の説明を図３２で説明し、全体の処理のフローを図３３の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローに基づき説明する。図３２において、視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t)
280に沿って該視点経路P(t) 270上の位置から時刻ｔ1からｔ４、ｔｉまで、視線ベクトルＶ（ｔ１）からＶ（ｔ４）、Ｖ（ｔｉ）でとらえる。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観の３次元動画を生成する方法として、時刻ｔ１、ｔ２、ｔ３では視点Ｐ（ｔ１）675、視点Ｐ（ｔ２）676、視点Ｐ（ｔ３）677の視線に近く視差の少ない空中画像ｍ−１666を空中画像データベース130より検索し、時刻ｔ１、ｔ２、ｔ３ の視線ベクトルＶ（ｔ１）681、Ｖ（ｔ２）682、Ｖ（ｔ３）683の間は、画像ベクトルＧｍ−１672との視差の相違を空中画像ｍ−１666に対するモーフィング処理で補正し、滑らかな動画像を生成する。時刻ｔ４ の視線ベクトルＶ（ｔ４）684からは空中画像ｍ−１666よりも空中画像ｍ 667の方が視点の相違による視差が少ないと判断して空中画像ｍ 667を原画像に切り替え、時刻ｔ４
の視線ベクトルＶ（ｔ４）684以降次の原画像が選ばれるまで空中画像ｍ 667との視差の相違を空中画像ｍ 667に対するモーフィング処理で補正することにより滑らかな都市景観の３次元動画生成を行うのである。
【００６２】
以上の処理を処理フローで示したのが図３３で、処理ブロック690では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック691では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック692では、次コマの地表インデクス位置が現コマと同一か現コマ、次コマの中心点で判断する。同一でない場合は、最適な原画像を求めなおす必要があり、処理ブロック694へ行く。同一な場合は、処理ブロック693で次コマの視線ベクトルが現コマと同じ立体角セル内か判定する。これは視線の向きが現コマとある程度変化したかを判定するもので、同一立体角セル内でないと判断された場合には処理ブロック694で最適な原画像を求めなおす必要がある。同一立体角セル内であると判断された場合には現コマの原画像を引き続き使用する。
【００６３】
処理ブロック694の処理内容はより詳しく図３４の空中動画像生成における原画像検索の処理フローと図３５の３次元動画生成処理の原画像選択論理図に示される。処理ブロック700では、次コマの中心に存在する地表セルアドレス（ｉ,ｊ）を求めその中心点と次コマの視点を結ぶ視線ベクトルをつくりこれを正規化する。処理ブロック701から703では、この正規化視線ベクトルから天頂インデクスパラメタテーブルＺＮＰＲＭＴ597および方位インデクスパラメタテーブルＤＲＰＲＭＴ598を参照して立体角セルアドレス（ｋ，ｍ）を求め、地表セルアドレス（ｉ,ｊ）と併せて画像アドレステーブルのアドレスＡＤＤＲｉｊｋｍが求まる。同一地表セルアドレスに対する同一立体角セルアドレスには画像アドレステーブルのはじめのデータで示される原画像候補が存在するので、処理ブロック704と処理ブロック705でその中から視点Ｐ（ｔｉ）からの視野の4隅の点を原画像がすべて撮影しているかを判定する。図３５で（ａ）で視点Ｐ（ｔｉ）の視野の地表上の４端点Ｔｉ１715、Ｔｉ２716、Ｔｉ３717、Ｔｉ４718のすべてが原画像撮影位置ＳＡ710、原画像撮影位置ＳＢ711、原画像撮影位置ＳＣ712からの画像に撮影されているかを判定するのが処理ブロック705の判定であり、ベクトル外積演算で容易にできる。図３５（ｂ）の例で言えば、原画像撮影位置ＳＡ710、原画像撮影位置ＳＢ711からの画像のみが視点Ｐ（ｔｉ）の視野の地表上の４端点Ｔｉ１715、Ｔｉ２716、Ｔｉ３717、Ｔｉ４718のすべてを画像に捕らえている。処理ブロック705の条件を満足する原画像をすべて求めた後、処理ブロック706で地表セルアドレス（ｉ，ｊ）に最も近い画像距離の最短の画像を原画像として選択する。画像距離は図１７空中画像データベースの撮影パラメタの１データとして計算されており、画像距離が最短の原画像を選択するとは視点と目標の間の視界をさえぎる障害物を排除する処置である。
【００６４】
次に図３３に戻り、処理ブロック697のモーフィング処理の内容について図３６を参照しつつ以下の文章と式で説明する。
原画像ｍに対して原画像撮影位置
671と画像ベクトル
673（ノルム=1）とTerrain（地表面）が決まると、画像ベクトル
673とDEMの交点
と画像の四隅とTerrainの交点
、
、
、
が決まる。図３７に示すように、一般に
、
、
、
は同一平面上にないので、
を通り
、
の中点
と、
、
の中点
を通るベクトルと平行なベクトルを
と定義し(
＝
)、
を通り
と
の中点
と、
と
の中点
を通るベクトルと平行なベクトルを
と定義する(
＝
)。
を通り
と
で張られる面をTerrain平面といい
であらわす。
の垂線を
（ノルム=1）とする。
を通り、画像ベクトル
に垂直な平面を
という。
は原画像撮影位置視点
671より撮影した画像(視野)である。
-->
への変換が存在して、これを
という。これは原画像ｍの撮影行為である。視点
に対して、視点座標
と視線ベクトル
（ノルム=1）とTerrain平面
（共通）が決まると同様に
と
、
、
、
が決まる。
を通り視線ベクトル
に垂直な平面を
という。平面
とはTerrain面
の中で、視点
による視野で
の一部を構成する。視点
の視野
と
は
と
と視野角
が決まれば一意に決まる。平面
の平面
への写像は
と
と原画像ｍの画角
が決まれば一意に決まる。
―＞
―＞
の対応により
の
に対応する各画素が、
の
に対応する画素に対応付けられればモーフィングアルゴリズムは完成する。
【００６５】
一般にTerrain平面
上の任意の点
は、
=a
+b
+
であらわされる。
ここで垂線条件である、
=0 および
=0 を代入すると、
=
が得られる。ここで・はベクトル内積をあらわす。
視界の中心線
とTerrain平面
の交点
は、
が
=
+c
を満足することからこれに代入して、
（c
+
）=
よりｃ=
となり、
【数９】
=
+
＝
で、視点
の画像中心点のTerrain平面
での座標が求められた。
同様に、視点
の視界の４隅の正規化視線ベクトルを
、
、
、
とし、これらとTerrain平面
の交点
、
、
、
のTerrain平面
での座標を求めることができる。さらにこの座標の
面上への変換を求める。
Terrain平面
上の任意の点
は、
=a
+b
+
であらわされ、
垂線条件である、
=0 および
=0 より、４隅の正規化視線ベクトルを
、
、
、
に対して、
=
+c
ただしk=1,4を満足する
（c
+
）=
よりｃ=
となり、
【数１０】
=
+
＝
で、視点
の画像の４隅の点のTerrain平面
での座標が求められた。この平面
上での座標を平面
上での座標に対応付けることにより原画像である平面
上のどの点を視点
の画面に映せばよいか分かる。
上での視点
の画面の中心および四隅の点の座標
、
、
、
、
（まとめて
、k=1,2,3,4,cとする）が
上で
、
、
、
、
（まとめて
、k=1,2,3,4,cとする）に対応する。
面上での画面の水平ラインを
、垂直ラインを
とすると
面上の任意の点
は任意定数a,bに対して
=
=ａ
+ｂ
+
で表される。画像ベクトル
は
、
に垂直だから
=0、
=0 となり、また、
と
は画像撮影位置
より見て同一線上にあるから
=d(
-
)+
であるので、d(
-
)+
=ａ
+ｂ
+
となり、
との内積をとって
ｄ=
となるから
【数１１】
=
となる。
=
+
で既に
は求まっているから、これで、視点
の視界の原画面ｍの画面との対応が完成した。
【００６６】
次に、
をｚ軸に移す変換を求める。ここで、
=1
=
として、ｚ軸周りに回転させてyz平面に載せてからｙ軸周りに回転させてｚ軸と一致させる。
ｚ軸周りの回転は、
で与えられる。
次に、y軸周りの回転は、
で与えられる。
両方の回転を合成すると、
【数１２】
＝
となる。
平面
の交点
(k=1,2,3,4,C) に対して
をｚ軸に移す変換を施せば、
(k=1,2,3,4,C)はxy面上の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。
【００６７】
以上で本発明になる都市景観の３次元動画生成アミューズメントシステムの空中３次元動画生成に関する説明を終了して、都市景観の３次元動画生成アミューズメントシステムの路上３次元動画生成に関する説明に移行する。都市の任意の場所に対して路上ないし通路上の任意の場所、任意の視線方向からの人間目線での３次元動画を生成する。路上３次元動画生成においても空中３次元動画生成と同様に都市空間の構造物に関する３次元モデルを生成することなしに実画像を用いて３次元動画を生成する。路上では自由空間で自由に視線を指定できる空中比べて視点の自由度は小さく、存在場所が通路上の地上１．７m程度に限定される一方、通路はDEMによるTerrainモデルと異なった構造を持っているので通路はグラフ表現によりモデル化する。空中写真の場合にTerrainを画像の投影面としたように、本発明の方式では、事前に撮影した実画像の投影面を設定しなくてはならない。
【００６８】
人間目線としての視点および視線の動きうる範囲を検討した結果、通路とそれ以外の市街地の境界線に沿う鉛直な平面を路上で撮影した原画像の主たる投影面とし、通路上での前方視ないし後方視に対しては通路に直交し一定距離はなれた鉛直面を補助的に投影面とする。本発明の方法は、通路上で人間目線の存在しうる任意の点から任意の視線で市街景観を事前に撮影するため、水平方向に全周８ないし１６方向、水平より仰角を付した斜め上方向を全周８ないし１６方向にわたって撮影するディジタルカメラ集合体を車両の屋根上に設置し、路上画像データベースを構築する。なお、斜め上方は広角レンズを用いることで省略できる。動画像生成は最適な原画像を選択するプロセスと、視点の移動状態と視線方向および都市内の位置によりモーフィングプロセスにより滑らかな動画像を生成するプロセスより構成される。
【００６９】
以下、図１都市景観３次元動画アミューズメントシステム構成図に従い、順次、路上画像取得システム110、路上画像データベース生成登録システム130、路上画像データベース150および路上３次元動画生成システム170につき詳細に説明する。図４０は路上画像取得システムの処理フローを記したもので、以下、図５７まで、該路上画像取得システム110の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス741で都市内の道路および通路に沿って一定距離間隔で撮影できるように、移動経路と撮像ポイントないし間隔を設定し、図５３に構成が示される路上画像取得計画ファイル111とする。この撮影計画は道路ID No.と道路上の撮影ポイントが定義される。道路の構造に関する記述は道路ID No.を含め厳密に定義する必要があるので後述する。次に撮影プロセス742では、車両803が路上画像取得計画ファイル111に規定された図４２に示す撮影ポイント766に到達したことを判断して図５１に示す路上撮影制御システム806により撮影を行う。撮影されたディジタルカメラ内の画像は予め決められたタイミングごとに撮像プロセスで取得した位置および姿勢データとともに路上画像一次ファイル112に蓄積される。
【００７０】
図４１は本発明になる路上画像取得システム110を構成するディジタルカメラ集合体755の構成例を示した図である。路上であらゆる視点から効率よく高密度に撮影する目的で、水平方向のディジタルカメラ750a〜ｈが全周を等間隔になるように放射状に配置されディジタルカメラ750a〜ｈの斜め上方を撮影する目的でディジタルカメラ750ｉ〜ｐが配置されディジタルカメラ集合体を形成する。ディジタルカメラ集合体 755を構成するディジタルカメラ750a〜ｐ以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。
【００７１】
図４２は、車両による路上画像取得システムの経路および撮影ポイントの設定例を示したものである。図４２(ｂ)にて撮影ポイント766の設定例を示している。路上画像取得システム765は路上画像取得計画ファイル111で路上に列状にくまなく構成された撮影ポイント766に従い、道路を移動しながら撮影ポイント766で撮影を行う。撮影ポイント766の相互間隔は撮影された画像が路上３次元動画生成システムでモーフィングによって滑らかな動画になるように選定される。ディジタルカメラ集合体755で撮影した場合、図４２(ａ)のディジタルカメラ750a〜ｐの撮影範囲760a〜pで示す範囲が撮影される。レンズの焦点距離の設定によって、該ディジタルカメラ750a〜ｐの撮影範囲760a〜ｐの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。
【００７２】
図４３は路上画像取得システムの鉛直方向撮影パターンと画像投影面の関係を示したものである。空中３次元動画生成では撮影した画像の投影面をTerrainとしたが、路上３次元動画生成では人間目線を実現対象としておりTerrainを投影面とすることはできない。また撮影する画像も水平方向および仰角つきの情報であるため、路上から撮影した画像の投影面を図４３に示すように道路と建物の境界線に鉛直に立つ面とする。道路と建物の境界面は近似的に道路の境界面としてもよい。画像投影面の定義は道路の定義とともに厳密に行いデータベース化する必要があるので後述する。またこの方式は人間目線の通路であれば車両の通行可能性とは関係なくどこでもよく、地下通路あるいは建造物内部でも人間の通路があれば適用可能である。図４３ではディジタルカメラ750ｉ〜pの撮影範囲と方向およびディジタルカメラ750ａ〜ｈの撮影範囲と方向を例示した。
【００７３】
本発明の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムでは、道路ないし通路の境界面を画像の投影面とする関係上、道路のいかなる場所からでも動画像の原画像が検索できなければならず、また登録できなくてはならない。検索には高速性が要求され、また人間目線でのあらゆる方向からの画像を登録・検索できなくてはならない。この目的に沿う道路データベースシステムを図４４から図５０に説明する。ここでの記述が路上３次元動画生成システムの技術的な基礎となる。
【００７４】
図４４にグラフによる道路の記述方法を記載する。あらゆる道路は幅があり、その中心線でグラフを形成して道路表現の基本とする。この道路の中心線を中心線グラフ780といい。端点と辺から構成される。道路の交差点、合流点、分岐点、変針点には必ず端点が存在する。道路は必ず両端が端点である連続した辺と端点の集合として定義され、道路ID No．777が一意に付与される。図４５は緯度経度から道路を検索する方法を示したものである。緯度経度で例えば０．１秒単位でメッシュを作ると、東京地方では、経度方向で２．５ｍ、緯度方向で３ｍのメッシュとなる。このようにメッシュを作ると各メッシュには必ず道路が存在するかしないかのいずれかとなる。このメッシュを地表セル781と呼ぶ。道路が存在する場合には道路ID No.を地表セル781に割り当てることにより緯度経度が判明する任意の地点より道路があれば道路にアクセスできる。このように定義すると１つのメッシュが複数の道路ID No.に関係を持つ場合が発生する。地表セル中心点782から中心線グラフに垂線を下ろし、その足との距離が最短の道路ID Noを該地表セルの道路ID Noと定義する。図４５右下に拡大した交差点の図の例では、垂線を中心線グラフ780に２本下ろすことができ、この場合は垂線の足Ａ783aと垂線の足B783ｂの垂線の短いほうである垂線の足B783ｂの道路ID No．を選定する。
【００７５】
図４６は道路の構造を記述するための道路データベースの構造を規定している。地表セル道路インデクステーブルＣＬＬＲＤＩＮＸＴはメッシュ化された緯度経度のインデックス（ｉ，ｊ）から道路ID No.と、道路ID No.に対応した道路グラフデータを記載した道路グラフデータテーブルの該当グラフ部分を示すための相対レコードアドレスを検索できる。道路グラフアドレステーブルＲＤＧＲＡＤＲＴは道路ID No.に対応して道路グラフデータテーブルＲＤＧＤＴ内での開始アドレスを指定する。これは、道路グラフデータテーブルＲＤＧＤＴが道路ID No.によって端点と辺のサイズがことなるためである。道路グラフデータテーブルＲＤＧＤＴは道路の構造をグラフとして記述する。第１レコードは道路ID No.であり、第２レコードは全部の端点数である。道路は開始点から順次、端点座標および次の端点までの辺の属性を記述する形で道路ID No.で指定される道路の範囲が尽きるまで繰り返される。属性には下記の３種類がある。
タイプ１属性 次の端点までの辺に関する属性
ａ投影面コード ０ 辺の両側に投影面がない。
１ 辺の進行方向左側だけに投影面がある。
２ 辺の進行方向右側だけに投影面がある。
３ 辺の進行方向両側に投影面がある。
ｂ幅員 道路の両端の中心線グラフからの距離を示す。
タイプ２属性 端点における道路接続に関する情報
ａ接続先道路ID No.
ｂ接続先道路ID No.に対応した道路グラフデータテーブルＲＤＧＤＴにおける接続点の相対レコードアドレス この情報は道路の接続が交叉か分岐か合流かを判別するために使用する。
タイプ３属性 端点における道路終了を示す。
【００７６】
以下、実際に存在するケースに対応して道路グラフデータテーブルの構築方法を説明する。
図５０ａでは直交交差点の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交差点の中央にある端点k,i+2 792k,i+2と端点l,j+2
793l,j+2で交差している。端点の表記で添え字を2個用いるのは、最初の添え字が道路ID No.を表し、２番目の添え字が同一道路ID No.内における端点の順番を示すためである。なおこの端点は同一の端点を双方の道路で別々に名づけたものである。道路ID No.=k 777kの構造記述を図５０ａ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ａに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点k,i＋１)。端点k,i+2
792k,i+2で道路ID No.=ｌ(エル) 777lと交叉し（属性コード=ｌ(エル)）属性の２は道路ID No.=ｌ（エル） 777lのレコードアドレスが２の端点で交叉していることを示す（端点k,i＋２)。端点k,i+3 792k,i+3で交叉点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ａ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795lと図５０ａに即して説明する。道路ID No.=ｌ 777ｌは下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点l,j＋１)。端点l,j+2 793l,j+2で道路ID No.=k 777kと交差し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で交差していることを示す（端点l,j＋２)。端点l,j+3 793l,j+3で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋３)。さらに端点l,j+4 793l,j+4以降に続く。
【００７７】
図５０ｂでは３叉路の記述方法を示す。道路ID No.=k 777kから道路ID No.=ｌ（エル） 777lが３叉路の中央にある端点k,i+2 792k,i+2と端点l,j 793l,jで分岐している。道路ID No.=k 777kの構造記述を図５０ｂ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ｂに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で３叉路に入った結果投影面は右側のみとなり（属性コード=2）、幅員がｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で道路ID No.=ｌ(エル) 777lと分岐し（属性コード=ｌ(エル)）、属性の0は道路ID No.=ｌ（エル）
777lのレコードアドレスが0の端点すなわち開始点で分岐していることを示す（端点k,i＋２)。端点k,i+3
792k,i+3で３叉路を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｂ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795ｌと図５０ｂに即して説明する。道路ID No.=ｌ 777ｌは３叉路の端点ｌ,ｊ 793l,jよりスタートし、道路ID
No.=k 777kから分岐し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で分岐していることを示す（端点l,j)、次の端点l,j+1 793l,j+1までは３叉路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点l,j)。端点l,j+1 793l,j+1で３叉路を出た結果両側に投影面が存在するようになり（属性コード=3）、幅員はｗｌとなる（端点l,j＋１)。さらに端点l,j+2 793l,j+2以降に続く。
【００７８】
図５０ｃでは分岐路の記述方法を示す。道路ID No.=k 777kから道路ID No.=ｌ（エル） 777lが分岐路の中央にある端点k,i+2 792k,i+2と端点l,j 793l,jで分岐している。道路ID No.=k 777kの構造記述を図５０ｃ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ｃに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で３叉路に入った結果投影面は右側のみとなり（属性コード=2）、幅員がｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で道路ID No.=ｌ(エル) 777lと分岐し（属性コード=ｌ(エル)）、属性の0は道路ID No.=ｌ（エル）
777lのレコードアドレスが0の端点すなわち開始点で分岐していることを示す（端点k,i＋２)。端点k,i+3
792k,i+3で分岐路を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｃ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795ｌと図５０ｃに即して説明する。道路ID No.=ｌ 777ｌは分岐路の端点ｌ,ｊ 793l,jよりスタートし、道路ID
No.=k 777kから分岐し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で分岐していることを示す（端点l,j)、次の端点l,j+1 793l,j+1までは分岐路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点l,j)。端点l,j+1 793l,j+1で左側に投影面が存在するようになり（属性コード=１）、幅員はｗｌとなる（端点l,j＋１)。端点l,j+2 793l,j+2で分岐路を抜け出し両側に投影面が存在するようになり（属性コード=３）、幅員はｗｌとなる（端点l,j＋2)。さらに端点l,j+3 793l,j+3以降に続く。
【００７９】
図５０ｄでは道路変針の記述方法を示す。道路ID No.=k 777kの構造記述を図５０ｄ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ｄに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で向きを変えるが投影面は両側のままで（属性コード=3）、幅員がｗｋである（端点k,i＋１)。さらに端点k,i+2 792k,i+2以降に続く。
【００８０】
図５０ｅでは非直交交差点の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交叉点の中央にある端点k,i+3 792k,i+3と端点l,j+3 793l,j+3で交叉している。道路ID No.=k 777kの構造記述を図５０e−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０eに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果投影面が左側のみとなり（属性コード=1）、幅員はｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる（端点k,i＋２)。端点k,i+3 792k,i+3で道路ID No.=ｌ(エル) 777lと交差し（属性コード=ｌ(エル)）属性の3は道路ID No.=ｌ（エル）
777lのレコードアドレスが3の端点で交差していることを示す（端点k,i＋3)。端点k,i+3
792k,i+3で右側に投影面が出現し（属性コード=3）、幅員がｗｋである（端点k,i＋４)。端点k,i+5
792k,i+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋5)。さらに端点k,i+6 792k,i+6以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｅ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795lと図５０ｅに即して説明する。道路ID No.=ｌ 777ｌは左下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1
793l,j+1で交差点に入った結果左側の投影面が無くなり（属性コード=2）、幅員はｗlである。端点l,j+3 793l,j+3で両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点l,j＋3)。端点l,j+3 793l,j+3で道路ID No.=k 777kと交差し（属性コード=k）,属性の３は道路ID No.=k 777kのレコードアドレスが３の端点で交差していることを示す（端点l,j＋3)。端点l,j+4 793l,j+4で左側に投影面が出現し（属性コード=1）幅員がｗｌとなる（端点ｌ,ｊ＋4)。端点l,j+5 793l,j+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋5)。さらに端点l,j+6 793l,j+6以降に続く。
【００８１】
図５０ｆでは５叉路の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交差点の中央にある端点k,i+3 792k,i+3と端点l,j+2 793l,j+2で交差している。道路ID No.=m 777mが道路ID No.=ｌ（エル） 777lへ端点l,j+3 792l,j+3で合流している。道路ID No.=k 777kの構造記述を図５０ｆ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ｆに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果投影面が左側のみとなり（属性コード=1）、幅員はｗｋである（端点k,i＋１)。端点k,i+2
792k,i+2で両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる（端点k,i＋２)。端点k,i+3
792k,i+3で道路ID No.=ｌ(エル) 777lと交差し（属性コード=ｌ(エル)）属性の2は道路ID No.=ｌ（エル） 777lのレコードアドレスが2の端点で交差していることを示す（端点k,i＋3)。端点k,i+4 792k,i+4で左側に投影面が出現し（属性コード=1）、幅員がｗｋである（端点k,i＋４)。端点k,i+5 792k,i+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋5)。さらに端点k,i+6 792k,i+6以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｆ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795lと図５０ｆに即して説明する。道路ID No.=ｌ 777ｌは下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる。端点l,j+2 793l,j+2で道路ID No.=k 777kと交差し（属性コード=k）,属性の３は道路ID No.=k 777kのレコードアドレスが３の端点で交差していることを示す（端点l,j＋2)。端点l,j+3 793l,j+3で道路ID No.=m 777mと合流し（属性コード=m）,属性のnは道路ID No.=m 777mのレコードアドレスがnの端点で合流していることを示す（端点l,j＋3)。端点l,j+4 793l,j+4で右側に投影面が出現し（属性コード=2）幅員がｗｌとなる（端点ｌ,ｊ＋4)。端点l,j+5 793l,j+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋5)。さらに端点l,j+6 793l,j+6以降に続く。道路ID No.=m 777mの構造記述を図５０ｆ−３道路グラフデータテーブルＲＤＧＤＴｍ 795mと図５０ｆに即して説明する。道路ID No.=m 777mは合流路の端点m,n 793m,nで終了し、道路ID No.=l 777lへ合流し（属性コード=ｌ）,属性の３は道路ID No.=ｌ 777ｌのレコードアドレスが３の端点で合流していることを示す（端点m,n)、前の端点m,n-1 793m,n-1からは分岐路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点m,n-1)。その前の端点m,n-2 793m,n-2からは右側のみに投影面が存在しており（属性コード=２）、幅員はｗmとなる（端点m,n-2)。その前の端点m,n-3 793m,n-3からは両側に投影面が存在し（属性コード=３）、幅員はｗmである（端点m,n-3)。
【００８２】
図５１は路上画像取得システムの構成例を示した図であり、カーナビゲーションシステム部801とデータ取得記録システム部800より構成される。カーナビゲーションシステム部803は図４２(ｂ)で規定される撮影ポイント766に車両803を移動経路765に沿って誘導するための装置であり、ＧＰＳ380より車両位置データが周期的に得られる。カーナビゲーションシステム部803の機能は、図５３の路上画像取得計画ファイル111の内容に従い、図５２の路上画像取得システムのカーナビゲーションシステム部の処理フローによって図５４の路上画像取得システムのカーナビゲーションシステム部の表示画面例によって車両を誘導するものである。カーナビゲーションシステム自体は既に公然実施されていて何ら新規性はないものであるが、本発明の目的を実現するために撮影ポイント766に効率的に車両を誘導する部分が本発明に関わるところである。まず走行前に都市のどの部分の道路の路上を取得するか決定する。地図上で撮影範囲を決定し、走行プランを策定する。撮影ポイント766は本発明の目的を達成するように均一かつ高密度に道路ないし通路に沿って設定しなくてはならず、その結果に基づき指定撮影経路825を設定する。各道路に図５３の路上画像取得計画ファイルに示される道路ID No.を割り振り撮影ポイント766を割付け、各道路ID No.の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度で設定する。このようにして図５３の路上画像取得計画ファイルは構築される。該路上画像取得計画ファイルの構築に関わるグラフィックユーザインターフェイスは地図情報システムとして公然実施されている。
【００８３】
カーナビゲーションシステム部801の機能は図５２に記載の路上画像取得システムのカーナビゲーションシステム部の処理フローによって示される。
処理ブロック810で路上取得計画ファイルに登録されている道路ID No.の中から撮影予定の道路ID No.についてすべての撮影が終了するまで図５４の表示を順次に行う。指定された道路ID No.には開始座標があるので、処理ブロック811で該道路ID No.を開始するために走行開始点の位置、進行方向、速度を指定して図５４の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック811で規定された条件を一定の誤差範囲、たとえば位置誤差で１ｍから５ｍ以下の精度で満足しなくてはならず、満足しない場合には再度走行をやり直す。処理ブロック810で選択された道路ID No.の路上画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック812および処理ブロック813によりガイダンスする。
【００８４】
データ取得記録システム部 800には車両803の姿勢を観測するＩＭＵ400と、ディジタルカメラ750の制御と撮像データ処理のためのプログラムを含む路上撮影制御システム806と、画像データをふくむ各種データを記憶する大容量ディスク装置で構成される路上画像一次ファイル112と、ディジタルカメラ750に対する撮影指令を出すための撮影ポイントを記憶している路上画像取得計画ファイル121を搭載している。車両803の位置計測用のＧＰＳ380のアンテナを機外に有している。
【００８５】
図５５は図５１のデータ取得記録システム部800の構成機器間の情報の流れを示している。図５６は路上撮影制御システム806の処理フローを説明している。路上撮影制御システム806はＣＰＵで構成される。路上撮影制御システム806はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、車両803の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。車両803に固定されたＩＭＵ400は車両の姿勢データ828を、ＧＰＳ380はＧＰＳアンテナの位置データ830を周期的に路上撮影制御システム806に送り込む。路上撮影制御システム808の処理は図５６に詳説しているが、路上画像取得計画ファイル111の内容と得られたＧＰＳアンテナの位置データ380と車両の姿勢データ828を処理ブロック834と処理ブロック835で順次照合し、道路ID No.を特定し、当該道路ID No.の撮影終了ないし、経路離脱まで、順次処理ブロック836で指定道路ID No.の撮影点の直近点を通過中かを判定し、撮影許容範囲内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ750に処理ブロック837で一斉に撮影指令457を送ると同時に図５７に示す路上画像一次ファイル内の車両データ部分840を処理ブロック838で書き込む。ディジタルカメラ750は内部に本発明の時点で３２ＧＢのメモリを保有できるので撮影した路上画像データ827を少なくともひとつの道路ID No.が終了するまで保持することができる。車両803は、ひとつの道路ID No.を終了し、次の道路ID No.に入るまでの間にディジタルカメラ750内の路上画像データ827を車載の大容量ディスク装置で構成される路上画像一次ファイル112に処理ブロック839で転送し、ディジタルカメラ750内部のメモリを空にする。
【００８６】
図５７に路上画像一次ファイル112の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した各画像ごとに用意される。ヘッダ部のカメラＩＤはディジタルカメラ集合体755を構成する各ディジタルカメラ750a〜ｐ識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は車両データ部分840と対応する撮影時刻であり、路上画像データベース生成登録処理130において、統合して各ディジタルカメラ750a〜iの光軸方向を算定するのに用いられる。画像データ部分471は加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は走行中固定であるので、同一設定値を書き込む。
【００８７】
図５８に車載用安定プラットフォーム装置395のもっとも単純な構成例を示す。
安定プラットフォーム装置395は図３０の航空機搭載用安定プラットフォームと同一構造であるが車両天井板上に設置され、安定プラットフォーム装置395上に車載用のディジタルカメラ集合体755が設置される。
【００８８】
路上画像データベース生成登録システム130と路上画像データベース150について図５９から図６７までを用いて詳細に説明する。
路上画像データベースは画像投影面と視線と視点から検索する関係上、まず画像投影面の構造と道路グラフデータベース151の構造関係を定義しなくてはならない。図６３に道路グラフの方向と視線ベクトルの方向による画像投影面について説明する。路上で通路に沿って全周を撮影した路上画像は道路の境界線にある投影面に投影し、視線と視点の位置関係によってモーフィング処理を行うが、進行方向または進行反対方向の映像は道路が細長いため画像を投影するためには極めて長い道路境界面を必要とし実現が困難となる。
【００８９】
この問題を解決するために、進行方向または進行反対方向ないしそれに近い方向の映像については道路の左右境界面ではなく図６３で点線で示したように前方仮想投影面878と後方仮想投影面879を設けてこれに実画像を投影する。なお、前方仮想投影面878と後方仮想投影面879の位置は路上視点によって移動する。図６３の例では道路の進行方向すなわち道路グラフと視線のなす角882が左右２０°の範囲であれば前方仮想投影面878を使用し、路上画像取得システム110で撮影した前方画像を使用し、道路グラフと視線のなす角882が左右１６０°から１８０°の範囲であれば後方仮想投影面879を使用し、路上画像取得システム110で撮影した後方画像を使用する。道路グラフと視線のなす角882が左側２０°から１６０°の範囲であれば左投影面880を使用し、路上画像取得システム110で撮影した進行方向に対して左斜め前方、左、左後方画像を使用し、道路グラフと視線のなす角882が右側２０°から１６０°の範囲であれば右投影面881を使用し、路上画像取得システム110で撮影した進行方向に対して右斜め前方、右、右後方画像を使用する。ここでは道路グラフと視線のなす角882が前方左右２０℃、後方左右１６０°で投影面を切り替える例を述べたが、この度数は現実のリアリティーに応じて可変とすることもできるし、実地でのリアリティーにより増減させることができるが、以下では具体例として２０°を選定している。以下、路上画像データベース生成登録システム130、路上画像データベース150、路上３次元動画生成システム170は以上に説明した投影面の方式に沿って構築されている。
【００９０】
次に画像投影面の構造について図６４を用いて説明する。本発明の路上３次元動画生成システムは視点と視線が定まると、投影面を定めて、最適な実画像を検索し、視差に応じてモーフィングを行う。このため与えられた視点と視線に対して視差の少ない実画像が存在し、かつ該実画像を高速に検索できなくてはならない。道路ID No.ｍの任意の点を指定するために、端点列を定義してグラフで道路の先頭からｍ番目の端点とそれに続く辺の区間上の位置に対して、「端点ｍ，ｉ座標（ｘｍｉ，ｙｍｉ）」と表現するが、該区間は道路の形態により決まっており投影面の定義には長すぎる。このため図６４に記すように、投影面区分として道路グラフの方向に対して左側と右側、さらに該辺に対応する左右の投影面を「投影面区分」と定義して端点と辺で構成されるグラフとして細分する。端点ｍ，ｉ座標（ｘｍｉ，ｙｍｉ）890に対応する道路グラフの方向883の左側の投影面区分を、
第０番目を 投影面区分ｍｉｌ０座標（ｘｍｉｌ０，ｙｍｉｌ０）891
第１番目を 投影面区分ｍｉｌ１座標（ｘｍｉｌ１，ｙｍｉｌ１）892
第２番目を 投影面区分ｍｉｌ２座標（ｘｍｉｌ２，ｙｍｉｌ２）893
第３番目を 投影面区分ｍｉｌ３座標（ｘｍｉｌ３，ｙｍｉｌ４）894
以下同様
と名づけて定義する。添え字ｌは左側を示す。
同様に道路グラフの方向883の右側の投影面区分を、
第０番目を 投影面区分ｍｉｒ０座標（ｘｍｉｒ０，ｙｍｉｒ０）895
第１番目を 投影面区分ｍｉｒ１座標（ｘｍｉｒ１，ｙｍｉｒ１）896
第２番目を 投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897
第３番目を 投影面区分ｍｉｒ３座標（ｘｍｉｒ３，ｙｍｉｒ４）898
以下同様
と名づけて定義する。添え字ｒは右側を示す。各投影面区分は上記に示された端点座標に引き続く道路グラフの方向883の辺で表現される。
【００９１】
次に、路上画像取得システム110で撮影された画像は原画像として、始点の緯度経度が指定されると下記検索手順で検索されるようインデクス体系を構築する。
緯度経度−＞道路ID
No.−＞端点座標―＞投影面区分座標
投影面区分座標と視線方向―＞原画像
図６４において、原画像撮影位置Ｒ903にディジタルカメラ集合体755が存在してその中のディジタルカメラ750のひとつがカメラ光軸を表す正規化ベクトルである画像ベクトルＲ904の画像を撮影し、画像ベクトル904と画像右端Ｒ906が投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897と交差し、画像左端Ｒ905が投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897と交差する。該画像ベクトルと道路グラフの方向883のなす角により、図６３における投影面の使用法が異なるため、下記原則で原画像を投影面区分にリンクさせて登録する。
（１）０°
道路グラフの方向883に対する画像ベクトルとのなす角
左２０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
（２）左２０°
道路グラフの方向883に対する画像ベクトルとのなす角
左１６０°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
（３）左１６０°
道路グラフの方向883に対する画像ベクトルとのなす角
左１８０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
（４）０°
道路グラフの方向883に対する画像ベクトルとのなす角
右２０°
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
（５）右２０°
道路グラフの方向883に対する画像ベクトルとのなす角
右１６０°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
（６）右１６０°
道路グラフの方向883に対する画像ベクトルとのなす角
右１８０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
すなわち（１）（３）（４）（６）は道路グラフの方向883の前後方向に対する画像であるため左右両側の投影面区分に登録する。
【００９２】
上記原則に従い、図６４の原画像撮影位置Ｒ903からの画像ベクトルＲ904は上記（５）の場合に該当し、原画像が投影面区分mir2座標(xmｉr2,ymｉr2)897にリンクして登録される。図６４の原画像撮影位置Ｌ899からの画像ベクトルＬ900は上記（２）の場合に該当し、原画像が投影面区分mil2座標(xmｉl2,ymｉl2)893にリンクして登録される。また、図６５の原画像撮影位置Ｆ907からの画像ベクトルＦ908は上記（４）の場合に該当し、原画像が投影面区分mir１座標(xmｉr1,ymｉr1)896と投影面区分mil１座標(xmｉl1,ymｉl1)892にリンクして登録される。図６５の原画像撮影位置Ｂ911からの画像ベクトルＢ912は上記（３）の場合に該当し、原画像が投影面区分mil2座標(xmｉl2,ymｉl2)893と投影面区分mir2座標(xmｉr2,ymｉr2)907にリンクして登録される。
【００９３】
次に図６６を用いて原画像を投影面区分に登録する場合、画像ベクトルと道路グラフの方向883のなす角により区分する方式を説明する。投影面区分917にリンクして登録される原画像はどのような視線ベクトルで該投影面区分917を見込むかによってさらに区分する。すなわち該投影面区分917を視野に入れる画像について該原画像位置と該投影面区分中心点918を結んだ線が931から937のどのセクタに入るかを区分する。原画像撮影位置a 916aは角度140-160°セクタ
937に、原画像撮影位置c 916cは角度80-120°セクタ 934に区分される。画像ベクトルが道路グラフの方向883とのなす角が前方左右２０°の範囲920に存在する画像ベクトルd 919dは原画像撮影位置d 916dからの垂線の足が投影面区分 917に存在するので角度20-40°セクタ 930に原画像を区分する。画像ベクトルが道路グラフの方向883とのなす角が後方左右２０°の範囲921に存在する画像ベクトルe 919eは原画像撮影位置d 916dからの垂線の足が投影面区分 917に存在するので角度160-180°セクタ 938に原画像を区分する。
【００９４】
以上に道路に対する投影面と画像のインデクス方式について説明したが、図６２に具体的な路上画像インデクス機構の構造を説明する。図４６で説明した道路グラフデータテーブルＲＤＧＤＴ 790を拡張して属性コラムの次に投影面原画像インデクステーブルアドレス873を追加して道路グラフデータテーブル ＲＤＧＤＴm 790mを構成する端点と辺ごとに路上原画像投影用の投影面区分にさらに細分化して記述できるようにする。すなわち道路ID No.ｍの相対レコードアドレスがiの端点に対して投影面原画像インデクステーブルＰＪＩＮＸＴ 871のアドレスＰＪＩＮＸＴＡＤＲmiがリンクされ、該端点m,iに属する投影面区分が開始点より順次、相対コードアドレス874に対応して道路グラフの方向883の左側（左壁）と右側（右壁）に分けて記述される。セル数とは該端点m,iに属する投影面区分の数である。投影面区分の表現は各投影面区分に対してその開始座標で示される。投影面原画像インデクステーブルＰＪＩＮＸＴ 871には左右両壁の各投影面区分に対して投影面原画像アドレステーブルアドレス875 ＰＪＡＤＲＴＡＤＲがあり、図６６に対応した投影面原画像アドレステーブルＰＪＡＤＲＴ 872にリンクする。投影面区分に対応した路上原画像が投影面区分を見込む視線角に応じて区分化されて、各区分に含まれる原画像数が路上画像データ数869として、原画像が路上画像データアドレス870として記載される。このようにして、下記の高速検索機構が完成する。
緯度経度−＞道路ID
No.−＞端点座標―＞投影面区分座標
投影面区分座標と視線方向―＞原画像
【００９５】
次に図６０に従い路上画像データベース153の構造を説明する。路上画像データベース153は路上画像一次ファイル112に取得された情報に基づき、路上画像インデクス機構152と道路グラフデータベース151と整合性を持って構成されなくてはならない。図６０の路上画像データベース153は図５９の路上画像データベース生成登録システムの処理フローに従って生成登録される。処理ブロック843では、路上画像取得システム110で1日の走行中に蓄積した路上画像一次ファイル112を撮影が終了した後、すべての画像について順次処理する。処理ブロック844では図６０の路上画像データベースの画像ヘッダ部850のヘッダーを作成するが図５７の路上画像一次ファイル112の画像ヘッダ部470のヘダーをそのまま転記する。処理ブロック845についても通常は路上画像一次ファイル112の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。処理ブロック846では、画像ヘッダ部850の撮影パラメタを各画像ごとに計算するがその処理について以下に詳述する。
【００９６】
カメラ位置は緯度、経度、高度で規定されるが、通常車載ＧＰＳ380による位置測定がＤＧＰＳである場合には、地表であることもあってそのまま正確な位置が得られるとしてよい。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむので、走行後に走行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行う。路上画像取得システム110の場合、路上を２次元的に移動するのみであることと、画角に比べて撮影点と撮影対象物の距離が近いことから撮影パラメタの計算は空中画像の場合と異なり平面幾何で近似して計算してもよい。第２レコードのカメラ位置（道路ID No.端点相対レコードアドレス,端点座標(x,y),端点距離,中心線左右距離）は道路ＩＤ No，が判明していなければ図４６の地表セル道路インデックステーブル ＣＬＬＲＤＩＮＸＴ 785より検索して道路ＩＤ No，相対レコードアドレスより道路グラフアドレステーブルＲＤＧＲＡＤＲＴ
788、さらに道路グラフデータテーブルＲＤＧＤＴ 790を検索して、道路ID No.端点相対レコードアドレス,端点座標(x,y)までは直ちに判明する。
【００９７】
道路グラフの方向
883は(xm,i+1−xm,i,ym,i+1−ym,ｉ)を正規化して求められ、車両進行方向
853は路上画像一次ファイルの車両データ部分840より得られる正規化ベクトルである。任意のディジタルカメラαの車両進行方向に対する設定方位を
に対する回転行列で表し、ディジタルカメラ設定方位
859 とするとこの数値はディジタルカメラ集合体755の構造が決まれば決まる。
端点距離Ds
852は Ds=
で求められる。 ただし
=
中心線左右距離Dv
853は Dv=
で求められ、道路グラフの左右いずれかにあるかは
の正負で判定する。
原画像撮影位置
916からの画像ベクトル
904が投影面上で交わる点は、任意のスカラーａ、ｂに対して、
ただし、
，
，
，
これを解くと、
【数１３】
投影面区分の長さは通常同一とするが、投影面区分の座標が規定されているので、任意の投影面区分miri座標(xmｉri,ymｉri)までの投影面区分mir0座標(xmｉr0,ymｉr0)895からの総投影面長は判明する。上記nより投影面区分相対アドレスと画像ベクトル投影面区分内位置dc 856は単純な引き算でもとまる。同様に画像左端投影面区分内位置dl 857および画像右端投影面区分内位置dr 858も求めることができる。
【００９８】
次に処理ブロック847で処理ブロック844から846で求めた結果を図６０に示す路上画像データベース153の該当画像データ部分851に格納する。図５９の路上画像データベース生成登録システムの処理フローの最後の処理ブロック848で、処理ブロック847で登録した路上画像データを用いた動画生成のための図６２に示す路上画像インデクス機構を生成する。処理ブロック848の内容は図６１の路上画像データベース生成登録システム130の路上画像インデクス生成処理フローに述べられている。処理の内容は図６２から図６６の説明で詳細に述べた路上画像インデクス機構に基づくものであるが、処理ブロック861で道路グラフデータテーブル内の端点No.より道路グラフの方向を求め、画像ベクトル（撮影光軸）とのなす角度により分岐する。
画像ベクトル方向が道路グラフの方向に対して左側０°から２０°および右側０°から２０°のとき処理ブロック862で前方投影面処理として、直近の左投影面の投影面原画像アドレステーブルの角度160-180°区部分と直近の右投影面の投影面原画像アドレステーブルの角度0-２0°区部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して左側１６０°から１８０°および右側１６０°から１８０°のとき処理ブロック863で後方投影面処理として直近の左投影面の投影面原画像アドレステーブルの角度0-２0°区部分と直近の右投影面の投影面原画像アドレステーブルの角度160-180°区部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して左側２０°から１６０°のとき処理ブロック864で左投影面処理として撮影画像が視野に入れている左側投影面を選出し、処理ブロック865で選出された投影面につき、カメラ位置と投影面中点のなす角に対応じて投影面原画像アドレステーブル内の該当角度部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して右側２０°から１６０°のとき処理ブロック866で右投影面処理として撮影画像が視野に入れている左側投影面を選出し、処理ブロック867で選出された投影面につき、カメラ位置と投影面中点のなす角に対応じてを投影面原画像アドレステーブル内の該当角度部分に原画像データアドレスを登録する。
【００９９】
次に、都市景観３次元動画アミューズメントシステムにおける路上動画生成処理システムにつき説明する。路上動画の生成は図６３のモデルに従い、視点と視線に最も近い原画像を選択して、画像投影面に対する視差を計算してモーフィング処理を行うが、原理的には空中３次元動画生成システムにおける１６０におけるアルゴリズムと同様であるが、人間目線であるので視線は水平面上を動き、垂直軸も傾かないとしてよい。このためモーフィングは２次元的に処理する。全体の処理を図７２に示す。
【０１００】
処理ブロック940では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック941では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック942では、次コマの視野が現コマの原画像に含まれる範囲か路上画像データベースの原画像の撮影パラメタと比較して判断する。含まれていない場合は、最適な原画像を求めなおす必要があり、処理ブロック944へ行く。含まれている場合は、処理ブロック943で現コマの原画像を引き続き使用する設定をおこなう。図６８の例で見ると、視点Ｒ903は原画像撮影位置a 916aで撮影した右前方視の画像が右側の投影面の原画像になりうることを示している。
【０１０１】
処理ブロック944の処理内容はより詳しく図７３の路上３次元動画生成システムの処理おける原画像検索の処理フローと図６３に示される。以下図６３を参照しながら図７３により説明する。処理ブロック950では道路グラフと視線のなす角882により図６３の区分に従い前後の仮想投影面に画像を生成するか、道路に沿った左右の投影面に画像を生成するか判定する。左右投影面視が選択された場合は、処理ブロック953で前回位置と今回位置より、道路ID No. 端点アドレス、座標が求まるので、さらに視点位置、視線ベクトル方向と道路グラフベクトルの関係から、図６３の基準に従い、左投影面か右投影面かを決定する。さらに、処理ブロック954では、前回の位置と今回の位置の変化量、前回視線ベクトルと今回視線ベクトルの変化量より、今回の視線ベクトルと視野左端ベクトル、視野右端ベクトルが交叉する投影面区分を予測する。通常は現コマの投影区分を継続使用するか隣接する投影区分である。処理ブロック955では今回視線ベクトルが交叉する投影面区分を予測値の周辺で探索して求める。処理ブロック956では図６６の区分に従い、図６２の検索機構で投影面原画像アドレステーブルＰＪＡＤＲＴにより今回視線ベクトルと交叉する投影面区分のなす角にもっとも近い角度区分の原画像アドレスを検索して求める。処理ブロック950で図６３の判定により前後の仮想投影面に画像を生成すると判定された場合は、処理ブロック951にて、前回位置と今回位置より、道路ID No. 端点アドレス、座標が求まるので、さらに視点位置、視線ベクトル方向と道路グラフベクトルの関係から、左投影面か右投影面かを決定する。前後視の場合は投影面としては左右の投影面を使用しないが、原画像撮影位置により左右投影面にリンクして登録されているのでこの判定を行う。処理ブロック９５２では図６３の区分意従い、視線ベクトル方向と道路グラフベクトルの関係から、前方視か後方視かを判定し、直近の投影面区分を求めて、投影面原画像アドレステーブルの角度０ー２０°(前方視)または角度１６０ー１８０°(前方視)の区分にある画像を原画像として検索する。図７２の処理ブロック945にもどり、検索した新しい原画像を原画像とする。
【０１０２】
処理ブロック946では図６３の基準により分岐し、処理ブロック948の左右投影面モーフィング処理または、処理ブロック947の前後視界モーフィング処理を行う。処理ブロック948の左右投影面モーフィング処理の内容について図６８と図６９を参照しつつ以下の文章と式で説明する。
原画像ｍに対して原画像撮影位置
672と画像ベクトル
673（ノルム=1）と投影面が決まると、画像ベクトル
673と投影面の交点
と画像の左端、右端と投影面の交点
と
が決まる。投影面を表すベクトル
は道路グラフの方向
883と同一な正規化ベクトルである。
の垂線を
（正規化）とする。
は画像ベクトル
673が
が投影面と交わる点であるが、
を通り、画像ベクトル
に垂直な平面を
という。
は原画像撮影位置視点
671より撮影した画像(視野)である。
-->
への変換が存在して、これを
という。これは原画像ｍの撮影行為である。視点
に対して、視点座標
と視線ベクトル
（ノルム=1）と投影面
（共通）が決まると同様に
と
、
が決まる。
を通り視線ベクトル
に垂直な平面を
という。平面
とは投影面
の中で、視点
による視野で
の一部を構成する。
視点
の視野
と
は
と
と視野角
が決まれば一意に決まる。平面
の平面
への写像は
と
と原画像ｍの画角
が決まれば一意に決まる。
―＞
―＞
の対応により
の
に対応する各画素が、
の
に対応する画素に対応付けられればモーフィングアルゴリズムは完成する。
一般に平面
上の任意の点
は、
=a
+
であらわされる。
ここで垂線条件である、
=0 を代入すると、
=
が得られる。ここで・はベクトル内積をあらわす。
視界の中心線
と投影面
の交点
は、
が
=
+c
を満足することからこれに代入して、
（c
+
）=
よりｃ=
となり、
【数１４】
=
+
＝
で、視点
の画像中心点の投影面
での座標が求められた。
【０１０３】
同様に、視点
の視界の左端、右端の正規化視線ベクトルを
、
とし、これらと投影面
の交点
、
の投影面
での座標を求めることができる。投影面
上の任意の点
は、
=a
+
であらわされ、垂線条件である、
=0 より、左右端の正規化視線ベクトルを
、
に対して、
=
+c
ただしk=Ｌ,を満足する
（c
+
）=
よりｃ=
となり、
【数１５】
=
+
＝
で、視点
の画像の左右端の投影面
での座標が求められた。この平面
上での座標を平面
上での座標に対応付けることにより原画像である平面
上のどの点を視点
の画面に映せばよいか分かる。
上での視点
の画面の中心と左右端点の座標
、
、
（まとめて
、k=Ｌ,Ｒ,Ｃとする）が
上で
、
、
（まとめて
、k=Ｌ,Ｒ,Ｃとする）に対応する。
面上での画面の水平ラインを
とすると
面上の任意の点
は任意定数aに対して
=
=ａ
+
で表される。画像ベクトル
は
に垂直だから
=0なり、また、
と
は画像撮影位置
より見て同一線上にあるから
=d(
-
)+
であるので、d(
-
)+
=ａ
+ｂ
+
となり、
との内積をとって
ｄ=
となるから
【数１６】
=
となる。
=
+
で既に
は求まっているから、これで、視点
の視界の原画面ｍの画面との対応が完成した。
【０１０４】
次に、
をｙ軸に移す変換を求める。ここで、
=1
=
として、ｚ軸周りに回転させると
はｘ軸に載る。
ｚ軸周りの回転は、
【数１７】
で与えられる。
平面
の交点
(k=L,R,C)に対して
をｚ軸に移す変換を施せば、
(k=L,R,C) はx軸の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。以上は２次元モーフィングであるので、図７１に水平線上の対応が画素単位で求められた。視点における視野731の原画像730における対応が水平線上で示される。垂直方向は上下対称で拡大縮小比率は水平線上と同比率である。なお、視線の動きを水平面内に限定しないのであれば、空中３次元動画生成における３次元モーフィング処理を私用してもよい。なお、図７２の処理ブロック947の前後視界モーフィング処理は、視点F 907の視界を撮影点a 916a での原画像から２次元モーフィングで処理ブロック948で述べたのと同様のアルゴリズムで生成する。
以上で本発明になる都市景観の３次元動画生成アミューズメントシステムの路上３次元動画生成に関する説明を終了する。
【０１０５】
図７１に車載用のディジタルカメラ集合体973のもうひとつの構成例を示す。本発明の都市景観の３次元動画生成では、都市の道路構造のため撮像目標とディジタルカメラ集合体の距離が短くなり、隣接する原画像間で視差が大きくなる傾向がある。その結果、生成した動画の滑らかさが劣化することがある。この問題を解決するために進行方向976に対する側方のディジタルカメラの角度ピッチを半分にし、なおかつ全体に広角レンズを採用することにより、より３次元動画生成に適した原画像を収集することができる。
【０１０６】
次に、都市景観の３次元動画生成アミューズメントシステムのグラフィックユーザインターフェイスシステム180に関する説明を図７５を用いて行う。図７５は該グラフィックユーザインターフェイスシステム180の全体構造を示している。図７５と図７６の処理フローと図７７、７８、７９のモニタ表示と入力機能によりグラフィックユーザインターフェイスシステム180が構成される。本発明になる都市景観の３次元動画生成アミューズメントシステムでは空中模擬飛行と路上歩行を自由に切り替えられることが特徴であり、処理ブロック974で空中から地上または地上から空中に切り替えられたか判定する。空中から地上への着地が選択された場合には処理ブロック975で着地点と着地後の進行方向を読み取る。図７７の空中３次元動画用グラフィックユーザインターフェイスで着地ボタン996を短く押した場合には進行方向の斜め下４５度など指定した斜め角の地上に着地し、長く押した場合には押した時間に応じて直下地点に近づくという方法もある。S地上での視線方向は飛行中の向きを維持するのが常識的である。前回から路上模擬で変化がない場合とあわせて処理ブロック974に行き、地上用グラフィックユーザインターフェイスである図７８で進行方向、速度指示を画面より読み込み、位置と速度ベクトルを更新して路上３次元動画生成システム170へ伝える。処理ブロック974で路上３次元動画生成から空中３次元動画生成に切り替わったと判定された場合は処理ブロック977にいく。地上から空中に切り替わるのは図７８でジャンピングボタン984を押された場合であり、押される時間の長さにより、時間が短い場合は進行方向斜め後方一定角度、たとえば４５°の一定高度、たとえば１００ｍ上空とし、押される時間が長いほど前方上空にするなどの方法がある。
【０１０７】
次に、前回から空中３次元動画生成であった場合とあわせて処理ブロック978の空中グラフィックユーザインタフェースシステムに行く。この内容は図７６にさらに記されている。処理ブロック979では図７７の空中グラフィックユーザインタフェースより、進行方向、スロット、昇降指示を画面より読み込み、位置と速度ベクトルを更新する。空中３次元動画生成ではコックピット表示を３次元映像表示 990に行うだけでなく、機能ボタン1001による選択によりカメラ表示に切り替えることができる。これは空中３次元動画生成システム160が始点位置のトラジェクトリと視線ベクトルのトラジェクトリを自由に取れることに対応している。処理ブロック980でコックピット表示が選択された場合には処理ブロック983に進み、視線ベクトルを進行方向に設定、視野角は規定値に設定し、空中３次元動画生成システム160に情報を伝達する。処理ブロック980でカメラが選択されたと判定された場合は、処理ブロック981で図７７の空中グラフィックユーザインタフェースよりカメラ方向、チルト角、ズーム設定値を取り込み、処理ブロック982で視点、視線、およびズームによる視野角を計算して空中３次元動画生成システム160に情報を伝達する。
【０１０８】
以下、図７７、７８、７９について今までに説明していない部分を説明する。図７７の方位インジケータ991は飛行方向を示し、高度インジケータは飛行高度を示す。地図表示988は現在の飛行位置を地図で表示する。この機能はGISとして公然実施されている。図７８は路上３次元動画生成の映像表示であり人間目線で市街を表示する。機能ボタン1001は後日に備えて機能追加を可能とするほか、地図表示983を中央の道路の上に配置してガイド機能がよくなるように工夫している。コメント表示ウィンドウ1000は地域に依存した広告などの表示が可能である。図７９は路上3次元動画生成の進行方向と視線指定の別の方法であり、画面を領域に分割しておき、マウスなどによるカーソルの画面上の位置で操作入力の意味を変えるもので、前後進998の場所を指定された場合は矢印の方向に前進ないし後退し、左折右折997の場所を指定された場合は矢印の方向に左折ないし右折進行し、左右視線変更999の場所を指定された場合は矢印の方向に視線を左向きないし右向きに変更する。
【産業上の利用可能性】
【０１０９】
本発明の航空写真撮像システムは、航空機に搭載されるカメラの制御装置及び撮像データ処理装置として産業上利用することができる。
【図面の簡単な説明】
【０１１０】
【図１】本発明の都市景観３次元動画アミューズメントシステム全体構成を概略的に示す図である。
【図２】図１に示す都市景観３次元動画アミューズメントシステムにおける空中画像取得の概念を示す図である。
【図３】３次元動画におけるモーフィングの概念図である。
【図４】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いたモーフィングによる動画像生成の概念について説明する図である。
【図５】本発明の航空機による空中画像取得システムの運用例について説明する図である。
【図６】本発明の空中画像取得システムの処理フローについて説明する図である。
【図７】本発明の航空機搭載ディジタルカメラ集合体の例について説明する図である。
【図８】本発明の航空機による空中画像取得システムの航路および撮影ポイントの設定例を示す図である。
【図９】本発明の空中画像取得システムの構成例を示す図である。
【図１０】本発明の空中搭載画像取得システムのフライトナビゲーションシステム部の処理フローを示す図である。
【図１１】本発明の空中画像取得計画ファイルの構成例を示す図である。
【図１２】本発明の空中画像取得システムのフライトナビゲーションシステム部の表示画面の例を示す図である。
【図１３】本発明の空中画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図１４】本発明の空中画像取得システムの撮影制御システムの処理フローを示す図である。
【図１５】本発明の空中画像一次ファイルの構造を示す図である。
【図１６】本発明の空中画像データベース生成登録システムの処理フローを示す図である。
【図１７】本発明の空中画像データベース構成を示す図である。
【図１８】本発明のモヤ影響除去処理における画像と視野の関係を示す図である。
【図１９】本発明のモヤ影響除去処理における画像特性パラメータグラフ例を示す図である。
【図２０】本発明のモヤ影響除去処理の処理フローを示す図である。
【図２１】本発明のモヤ影響除去処理の処理結果例を示す図である。
【図２２】本発明の空中画像データベース生成登録システムの空中画像インデクス生成登録処理フローを示す図である。
【図２３】本発明の空中画像インデクス機構の構造と用語の定義を示す図である。
【図２４】本発明の空中画像インデクス機構の構造を示す図である。
【図２５】本発明の立体角セルのインデックス構造を示す図である。
【図２６】本発明の空中画像インデクスと関連テーブルの相互関連を示す図である。
【図２７】本発明のディジタルカメラ集合体の３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す図である。
【図２８】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の構成例を示す図である。
【図２９】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲図を示す図である。
【図３０】本発明の航空機搭載用安定プラットフォームの構造例を示す図である。
【図３１】本発明の安定プラットフォームの信号情報フローを示す図である。
【図３２】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いたモーフィングによる動画像生成の変数を説明する図である。
【図３３】本発明の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローを示す図である。
【図３４】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いた３次元動画生成処理の原画像検索の処理フローを示す図である。
【図３５】本発明の３次元動画生成処理の原画像選択論理を示した図である。を示す図である。
【図３６】本発明の３次元動画生成処理での視点における視野と原画像の関係を示す図である。
【図３７】本発明の視線ベクトルとTerrainの交点の関係を示す図である。
【図３８】本発明の視点における視野と原画像の関係を示す図である。
【図３９】本発明の視点Ｐ（ｔi）からの視野を示す図である。
【図４０】本発明の路上画像取得システムの処理フローを示す図である。
【図４１】本発明の車載ディジタルカメラ集合体構成例を示す図である。
【図４２】本発明の路上画像取得システムの経路および撮影ポイントの設定例と撮影範囲を示す図である。
【図４３】本発明の路上画像取得システム鉛直方向撮影パターンと画像投影面の関係を示す図である。
【図４４】本発明のグラフによる道路の記述を説明する図である。
【図４５】本発明の緯度・経度による道路検索方式を説明する図である。
【図４６】本発明の道路グラフデータベースの構造を説明する図である。
【図５０ａ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｂ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｃ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｄ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｅ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｆ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５１】本発明の路上画像取得システムの構成例を示す図である。
【図５２】本発明の路上画像取得システムのカーナビゲーションシステム部の処理フローを示す図である。
【図５３】本発明の路上画像取得計画ファイルの構成例を示す図である。
【図５４】本発明の路上画像取得システムのカーナビゲーションシステムの表示画面例を示す図である。
【図５５】本発明の路上画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図５６】本発明の路上画像取得システムのデータ取得記録システム部の処理フローを示す図である。
【図５７】本発明の路上画像一次ファイルの構造を示す図である。
【図５８】本発明の車載用安定プラットフォームの構造例を示す図である。
【図５９】本発明の路上画像データベース生成登録システムの処理フローを示す図である。
【図６０】本発明の路上画像データベースの構成を示す図である。
【図６１】本発明の画像データベース生成登録システムの路上画像インデクス生成処理フローを示す図である。
【図６２】本発明の路上画像インデクス機構の構造を示す図である。
【図６３】本発明の道路グラフの方向と視線ベクトルの方向による動画生成処理を説明する図である。
【図６４】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて視線方向が投影面を向いている場合の処理を説明する図である。
【図６５】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて視線方向が投影面にほぼ平行な場合の処理を説明する図である。
【図６６】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて投影面と原画像撮影光軸の関係を示す図である。
【図６７】本発明の路上画像データベースの撮影パラメタの計算法を示す図である。
【図６８】本発明の路上３次元動画生成システムにおける原画像の選択について説明する図である。
【図６９】本発明の路上３次元動画生成システムにおける投影面に対するモーフィングの方式を示す図である。
【図７０】本発明の路上３次元動画生成システムにおける投影面にほぼ平行な視界に対するモーフィングの方式を示す図である。
【図７１】本発明の路上３次元動画生成システムの処理フローを示す図である。
【図７２】本発明の路上３次元動画生成システムの処理フローを示す図である。
【図７３】本発明の路上３次元動画生成システムの処理おける原画像検索の処理フローを示す図である。
【図７４】本発明の車載ディジタルカメラ集合体のもうひとつの構成例を示す図である。
【図７５】本発明のグラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図７６】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図７７】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの表示例を示す図である。
【図７８】本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの表示例を示す図である。
【図７９】本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの方向盛業カーソル機能を示す図である。
【符号の説明】
【０１１１】
100 空中画像取得システム
101 空中画像取得計画ファイル
102 空中画像一次ファイル
110 路上画像取得システム
111 路上画像取得計画ファイル
112 路上画像一次ファイル
120 空中画像データベース生成登録システム
121 ＤＥＭファイル
122 ＤＧＰＳファイル
130 路上画像データベース生成登録システム
140 空中画像データベース
142 空中画像インデクス機構
143 空中画像データベース
150 路上画像データベース
151 道路グラフデータベース
152 路上画像インデクス機構
153 路上画像データベース
160 空中３次元動画生成システム
165 空中画像検索エンジン
170 路上３次元動画生成システム
175 路上画像検索エンジン
180 グラフィックユーザインターフェイスシステム
190 インターネット
191 ユーザ
200 都市
210 視線
220 充分小さい立体角の範囲 1
221 充分小さい立体角の範囲
ｉ
222 天球
230 建物および視線方向の関係図
240 視線方向１
241 視線方向１より見た画像
250 視線方向２
251 視線方向２より見た画像
260 空中画像
ｉ
261 空中画像
ｉ+1
270 視点経路 P(t)
271 時刻
ｔ の視線
272 時刻
ｔ+δｔ の視線
273 時刻
ｔ+2δｔ の視線
274 時刻
ｔ+3δｔ の視線
275 時刻
ｔ+4δｔ の視線
276 時刻
ｔ+5δｔ の視線
280 目標トラジェクトリ T(t)
300 飛行経路
301 航空機
310 撮影ポイント
320 ディジタルカメラ集合体光軸方向
330 撮影ポイント設定プロセス
331 撮影プロセス
332 空中画像一次ファイル生成プロセス
350a〜i ディジタルカメラ
360 ディジタルカメラ集合体
370 撮影方向
371 飛行方向撮影間隔
372 飛行航路間撮影間隔
373 航空機位置
375a〜i ディジタルカメラ350a〜iの撮影範囲
380 GPSアンテナ
385 フライトナビゲーションシステム部
386 フライトナビゲーションシステム
387 アビオニクス情報
388 航空計装
390 データ取得記録システム部
391 メタデータファイル
393 空中撮影制御システム
394 安定プラットフォーム制御システム
395 安定プラットフォーム装置
396 ＩＭＵ
397 航空機床穴
398 航空機床
400 ＩＭＵ
420〜425 処理ブロック
430 航路No.1撮影座標ファイル
431 航路No.２撮影座標ファイル
432 航路No.ｍ撮影座標ファイル
437 撮影ガイダンス表示
438 航路内残撮影ポイント数表示
439 航路No.表示
440 撮影許容範囲
441 飛行方向
442 方位表示
443 姿勢表示
444 左右傾斜表示
445 昇降姿勢軸表示
446 位置偏差表示
447 水平偏差軸
448 高度偏差軸
450 安定プラットフォームの姿勢データ
451 航空機の姿勢データ
452 GPSアンテナの位置データ
453 ディジタルカメラ撮影パラメタ
454 カメラパラメタ
455 空中画像データ
456 撮像ポイントデータ
457 撮影指令
460〜465 処理ブロック
470 画像ヘッダ部分
471 画像データ部分
472 航空機データ部分
480〜486 処理ブロック
490 画像ヘッダ部分
491 画像データ部分
495 撮影画像
496 近景部分ａ
497 近景部分ｂ
498 遠景部分
499 撮影地表部分
500 正規化ヒストグラム
501 近景部分ａヒストグラム
502 遠景部分ヒストグラム
503 ヒストグラム下限値
504 ヒストグラム上限値
505 値幅
506 中央値
507 輝度上限値
508 輝度軸
509 画素数軸
510 数値軸
511 ディジタルカメラよりの距離軸
512 中央値フィッティング曲線
513 値幅フィッティング曲線
514 近景部分ａ値幅
515 近景部分ａ中央値
516 遠景部分中央値
517 遠景部分値幅
520〜524 処理ブロック
530 モヤ影響除去前画像
531 モヤ影響除去後画像
540〜545 処理ブロック
549 地表画像範囲
550 撮影位置
551 画像ベクトル（正規化）
552 画像距離
553 フレーム回転角
554 Terrain上中心点座標
555 Terrain上最近右座標
556 Terrain上最遠右座標
557 Terrain上最遠左座標
558 Terrain上最近左座標
559 地表セル
560 Terrain
570 天頂ベクトル
571 天頂離角
572 天頂インデックスｉ
573 立体角セル
574 立体角セル中心ベクトル
575 地表セル中心点
580 天頂インデックス０
581 天頂インデックス１
582 天頂インデックス２
583 天頂インデックス３
584 立体角セルアドレス（０．０）
585 立体角セルアドレス（１．０）
586 立体角セルアドレス（１．１）
587 立体角セルアドレス（１．２）
588 立体角セルアドレス（２．０）
589 立体角セルアドレス（２．１）
590 立体角セルアドレス（２．２）
597 天頂インデックスパラメタテーブル
ＺＮＰＲＭＴ
598 方位インデックスパラメタテーブル
ＤＲＰＲＭＴ
599 方位数
600 地表セル位置インデックステーブル ＴＣＩＮＸＴ
601 経度インデックス
ＬＯＮＩＮＸ
602 緯度インデックス ＬＡＴＩＮＸ
603 天頂インデックステーブルアドレス
604 天頂インデックステーブル ＺＮＩＮＸＴ
605 方位インデックステーブルアドレス
606 方位インデックステーブル
ＤＲＩＮＸＴ
607 画像アドレステーブルアドレス
608 画像アドレステーブル ＧＡＤＤＲＴ
610 焦点の長い望遠レンズのディジタルカメラ
611 焦点の短い望遠レンズのディジタルカメラ
612 標準レンズディジタルカメラ
613 標準レンズディジタルカメラの撮影範囲
614 焦点の短い望遠レンズのディジタルカメラの撮影範囲
615 焦点の長い望遠レンズのディジタルカメラの撮影範囲
620j〜y ディジタルカメラ
621 ディジタルカメラ集合体
630j〜y ディジタルカメラ550 j〜yの撮影範囲
635 固定部
636 上下動部
637 回転部
640 回転駆動機構
641 上下駆動機構Ａ
642 上下駆動機構Ｂ
643 上下駆動機構Ｃ
644 上下駆動機構Ｄ
645 ベアリング機構
646 安定プラットフォームの姿勢データ
647 ロー、ピッチ方向の制御
648 ヨー方向の制御
649 上下運動
650 回転運動
666 空中画像ｍ−１
667 空中画像ｍ
670 原画像撮影位置Sm-1
671 原画像撮影位置Sm
672 画像ベクトルGm-1
673 画像ベクトルGm
675 視点 Ｐ（ｔ1）
676 視点 Ｐ（ｔ2）
677 視点 Ｐ（ｔ3）
678 視点 Ｐ（ｔ4）
679 視点 Ｐ（ｔi）
680 視線ベクトルトラジェクトリ V（ｔ）
681 視線ベクトル V （ｔ1）
682 視線ベクトル V （ｔ2）
683 視線ベクトル V （ｔ3）
684 視線ベクトル V （ｔ4）
685 視線ベクトル V （ｔi）
690〜697 処理ブロック
700〜705 処理ブロック
710 原画像撮影位置SA
711 原画像撮影位置SB
712 原画像撮影位置SC
713 遮蔽物
714 Terrain上可視範囲
715 Terrain上最近右座標Ｚm1
716 Terrain上最遠右座標Ｚm2
717 Terrain上最遠左座標Ｚm3
718 Terrain上最近左座標Ｚm4
719 Terrain上中心座標ＺmC
720 Terrain上左端中点Ｚm34
721 Terrain上右端中点Ｚm12
722 Terrain上上端中点Ｚm23
723 Terrain上下端中点Ｚm41
724 Terrain上視野縦ベクトルＺmV
725 Terrain上視野横ベクトルＺmH
726 Terrain上視野垂直ベクトルｎm
727 Terrain平面
730 原画像
731 視点における視野
732 フレーム画角(横)
733 フレーム画角(縦)
734 視野右下端点Vi1
735 視野右上端点Vi2
736 視野左上端点Vi3
737 視野左下端点Vi4
741〜743 処理ブロック
750a〜w ディジタルカメラ
755 ディジタルカメラ集合体
760a〜p ディジタルカメラ750a〜pの撮影範囲
765 移動経路
766 撮影ポイント
767 撮影方向
768 道路境界線
769 道路または通路
770 画像投影面
771 建物
775 端点
776 辺
777k〜n 道路ＩＤ Ｎｏ．k〜n
779 端点座標
780 中心線グラフ
781 緯経度セル
782 緯経度セル中心点
783a〜b 垂線の足Ａ〜Ｂ
785 地表セル道路インデックステーブル CLLRDINXT
786 経度インデックス
787 緯度インデックス
788 道路グラフアドレステーブル RDGRADRT
789 道路ID No
790 道路グラフデータテーブル RDGDT
791 属性
792k,i〜792k,i+6 端点k,i〜k,i+6
793l,j〜793l,j+6 端点l,j〜l,j+6
794m,n-3〜794m,n 端点m,n-3〜m,n
795k〜m 道路グラフデータテーブル RDGDT k〜m
796 相対レコードアドレス
800 データ取得記録システム部
801 カーナビゲーションシステム部
802 カーナビゲーションシステム端末
803 車両
804 メタデータファイル
805 路上画像データファイル
806 路上撮像制御システム
807 車両天井板
810〜813 処理ブロック
820 道路ID No.1撮影座標ファイル
821 道路ID No.２撮影座標ファイル
822 道路ID No.ｍ撮影座標ファイル
825 指定撮影経路
826 撮影ポイントデータ
827 路上画像データ
828 車両の姿勢データ
829 安定プラットフォームの姿勢データ
830 GPSアンテナの位置データ
831 ディジタルカメラ撮影パラメタ
832 路上画像データ
834〜839 処理ブロック
840 車両データ部分
843〜848 処理ブロック
850 画像ヘッダ部分
851 画像データ部分
852 端点距離
853 中心線左右距離
854 車両進行方向
855 原画像撮影位置の投影面区分内位置
856 画像ベクトル投影面区分内位置
857 画像左端投影面区分内位置
858 画像右端投影面区分内位置
859 ディジタルカメラ設定方位
860〜867 処理ブロック
869 路上画像データ数
870 路上画像データアドレス
871 投影面原画像インデクステーブル PJINXT
872 投影面原画像アドレステーブル PJADRT
873 投影面原画像インデクステーブルアドレス
874 相対レコードアドレス
875 投影面原画像アドレステーブルアドレス
876 路上視線
877 路上視点
878 前方仮想投影面
879 後方仮想投影面
880 左投影面
881 右投影面
882 道路グラフと視線のなす角
883 道路グラフの方向
884 画像撮影光軸
885 前方投影面処理範囲
886 左投影面処理範囲
887 後方投影面処理範囲
888 右投影面処理範囲
890 端点m, i 座標 (xm,ｉ,ym,ｉ)
891 投影面区分mil0座標(xmｉl0,ymｉl0)
892 投影面区分mil1座標(xmｉl1,ymｉl1)
893 投影面区分mil2座標(xmｉl2,ymｉl2)
894 投影面区分mil3座標(xmｉl3,ymｉl3)
895 投影面区分mir0座標(xmｉr0,ymｉr0)
896 投影面区分mir1座標(xmｉr1,ymｉr1)
897 投影面区分mir2座標(xmｉr2,ymｉr2)
898 投影面区分mir3座標(xmｉr3,ymｉr3)
899 原画像撮影位置Ｌ
900 画像ベクトルＬ
901 画像左端Ｌ
902 画像右端Ｌ
903 原画像撮影位置Ｒ
904 画像ベクトルＲ
905 画像左端Ｒ
906 画像右端Ｒ
907 原画像撮影位置Ｆ
908 画像ベクトルＦ
909 画像左端Ｆ
910 画像右端Ｆ
911 原画像撮影位置Ｂ
912 画像ベクトルＢ
913 画像左端Ｂ
914 画像右端Ｂ
915 道路グラフの逆方向
916a〜d 原画像撮影位置ａ〜d
917 投影面区分
918 投影面区分中心点
919a〜e 画像ベクトルa〜e
920 前方左右２０°の範囲
921 後方左右２０°の範囲
930 角度0-20°セクタ
931 角度20-40°セクタ
932 角度40-60°セクタ
933 角度60-80°セクタ
934 角度80-100°セクタ
935 角度100-120°セクタ
936 角度120-140°セクタ
937 角度140-160°セクタ
938 角度160-180°セクタ
940〜948 処理ブロック
950〜956 処理ブロック
960 原画像ｍ
961 原画像ｍ＋１
962 画像ベクトルＧm
963 視点Ｐi
964 視線ベクトルＶic
965 視線左端ベクトル ＶiL
966 視線右端ベクトルＶiR
967 Ｚｍの垂線
968 投影平面Ｚｍ
969 原画像撮影位置Ｓｍ
970 原画像上視界左端QiL
971 原画像上視界右端QiR
972 原画像上視界右端QiR
973 ディジタルカメラ集合体
974〜983 処理ブロック
984 ジャンピングボタン
985 着地ボタン
986 方向転換ボタン
987 高度インジケータ
988 地図表示
989 現在地名称表示
990 ３次元映像表示
991 方位インジケータ
992 操縦ボタン
993 スロットル
994 カメラ前後方向指定
995 カメラ左右方向指定
996 ズーム指定
997 左折右折
998 前後進
999 左右視線変更
1000 コメント表示ウインドウ
1001 機能ボタン
【技術分野】
【０００１】
本発明は、市街地を含む地上の景観について３次元動画を生成するシステムにおいて、特に、航空機等において上空から撮影した航空写真、あるいは路上において地上で撮影した写真を利用してするシステムに関し、特に、地上を様々な角度から撮像した写真を利用する３次元都市景観の動画を生成表示するシステムに関するものである。
【背景技術】
【０００２】
従来、都市景観を３次元で動画表示する方式には、レーザプロファイラにより都市の建造物の３次元情報を計測して立体モデルを作成したうえで建造物の壁面画像をレンダリング処理により貼り付け、このようにして得られた３次元都市モデルに対して任意の視点経路とこの視線経路に沿った任意の視線方向の画像を３次元画像処理により生成し、時間的に連続表示することにより３次元動画を得るものである。都市建造物の３次元情報を得る別の方法としては地上の同一地点を異なった方向より撮影した画像を用い、ステレオ画像処理により高さ方向の情報を抽出して３次元都市モデルを生成する方法もある。この他に、必ずしも実際の都市には一対一に対応しないが都市空間３次元モデルを構築して３次元画像処理により動画を生成する方法もある。
【０００３】
これらの方法はいずれも都市の立体構造諸元すなわち３次元モデルを生成するために時間とコストを要し、さらに建物等の立体の外壁を実際と同一にするためには、外壁のパターン情報または、画像情報を張り付ける（レンダリング）する必要があった、このレンダリング情報は３次元物体の全ての方向からの情報が不可欠であり、その取得とレンダリングに多大の労力とコストを要するものであった。このように、任意の空中経路と視線から任意の都市部分の景観を３次元動画で表示することは強く望まれていたにもかかわらず、レンダリングの精度を十分現実的にできない、あるいは、情報の更新周期が長くなり、表示する映像の新鮮度、正確さに難点が生じることが多かった。
【０００４】
３次元模擬視界を使用するアミューズメントシステムには、非特許文献１のエースコンバットのように衛星より撮影した地表画像を加工して利用するものもあるが、あくまでもゲームに現実味をもたせることを目的としており実際の３次元景観とは必ずしも一致しない。また、非特許文献２のセカンドライフに見られる都市空間３次元模擬視界は、仮想都市を３次元的に表現するが現実の地図には対応していない。セカンドライフに対して都市空間をより現実的に表現するものとして現実の地図に対応した仮想都市空間の３次元アミューズメントシステムとして非特許文献３のCOCORによるmeet-meがあるが建造物の外壁景観、細部構造については現実とは一致しない。また、本発明になる技術は極めて大量かつ多視点、多視線方向の航空写真を事前に撮影蓄積することにあるが、航空写真を取得する従来技術として、最近はディジタル技術の急速な進歩によりアナログ式航空カメラからディジタル方式の１次元ラインセンサないし2次元撮像素子を用いた航空写真用カメラが実用化されている。さらに汎用デジタルカメラの高性能化により、航空写真分野へも適用可能となってきている。専用ソフトウェアによりディジタルカメラで撮影した斜め写真からオルソ画像を作成するシステムが特許文献１では提案されている。測量目的の航空写真では地上に基準点を予め設定し、該基準点を参照してカメラ位置と姿勢を計算し、地物の座標を求めていたが、航空機にGPS（Global Positioning System）及びIMU（Inertial Measurement Unit）を装備し、撮像時点のカメラの位置と姿勢を測定することできる。（特許文献２）撮像方向が異なる３台のＣＣＤラインセンサで測量用航空写真を撮像する技術が特許文献３で提案されている。
【０００５】
【非特許文献１】http://www.acecombat.jp/
【非特許文献２】http://www.secondlife.com/
【非特許文献３】http://www.mmet-me.jp/
【特許文献１】特開2002-357419号公報。
【特許文献２】特開2004-245741号公報。
【特許文献３】特許2807622号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１の方法は、景観の材料として、高分解能衛星画像を使用してリアリズムを追及した３次元動画アミューズメントシステムであるが、対象は海外の戦場でありまた、画像自体も制作時から更新されないので都市景観３次元動画の実現とは異なるものである。非特許文献２において提案されているシステムでは、人間目線の都市景観３次元動画表示を行っているがすべての表示は計算機上で生成された架空の世界であり現実世界と異なり、現実に則した都市景観を３次元表示する目的とは合致しないものである。非特許文献３の方法は非特許文献２の方法に改善を加えたもので現実の都市の地図に対応して建造物等を構築しているが景観自体としては現実との同一性を追及しておらず、現実とは異なるものである。
【０００７】
航空写真の取得に関した特許文献として以下のものがあるが、特許文献２において提案されているシステムでは斜め画像を２枚取得するが、斜め画像１枚だけでは本発明で必要とされる多量かつ多方向の画像を高密度で取得するのは困難である。特許文献３において提案されているシステムは、異なる３方向のＣＣＤラインセンサにより撮像するが、これらの３台のＣＣＤラインセンサは、平行かつ直線的に配置されているので測量用にステレオ画像を取得するには適しているが、本発明の目的のように都市景観の３次元動画を生成するための原画像取得のためには情報量が圧倒的に不足する。
【０００８】
特許文献１，２で、地上を多方向、大量かつ高密度で撮像するために、カメラを増設することが考えられるが、航空写真用の航空機の床面にある撮影用開口部は寸法と位置が滞空証明の対象として厳しく規定されており、開口部を拡大したり、開口部から機外に突出する形でカメラを増設することはできない。したがって、地上を高密度に多方向から撮像する必要のある実画像による都市景観３次元動画アミューズメントシステムに適した実現手段はこれまで考えられていなかった。
【０００９】
本発明は、このような実情に鑑みてなされたものであり、航空機等において空中で高密度のメッシュ点で多方向の画像を広範囲に撮像できるシステムを構築し、これら大量の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像を生成するモーフィングシステムを構築した。さらに本発明では地上においても人間目線のリアルな動画像を作るために、都市のあらゆる道路上ないし通路上であらゆる方向の画像を高密度に取得する専用の車載等のシステムを構築し、取得した大量の画像をデータベース化し、都市の路上の任意の位置を任意の人間目線で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像を生成するモーフィングシステムを構築した。
【課題を解決するための手段】
【００１０】
上記解決課題に鑑みて鋭意研究の結果、本発明者は都市景観３次元動画アミューズメントシステムの実現において最大の障壁となるのは、都市の建物等建造物および構築物の３次元情報を安価かつ頻繁に取得する手段がないこと、さらにこれらの３次元物体の表面に張り付ける画像の取得と貼り付けを安価かつ頻繁に行う手段を欠いていることを認識するに至った。このため、本発明者はこれらの手段を踏まずに任意の経路から任意の視線で都市の任意の部分の３次元動画を得る方法として都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておき、選択された視点経路、視線方向および目標位置に対応して最適な撮影済み画像を選択し、画像を撮影したカメラの位置および光軸方向と、選択された視点と視線の相違をモーフィング処理により補償し、なめらかな動画像を得る方法を着想するに至った。
【００１１】
しかしながら、都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておくことはきわめて困難である。経験上本発明者はこの目的を達成するためには立体角で数度ごとにあらゆる方向からの写真を全ての都市地点に対して準備しなければならないことを知っている。この問題を解決するために小型のディジタルカメラを多数用い、配列方法と制御方法に新規性を施した。すなわち、第一に多数の小型ディジタルカメラをディジタルカメラ集合体として形成し、従来から航空測量用航空機の床面に存在する航空測量用カメラの穴に機外に張り出すことなく収納して滞空証明取得上の問題を回避すること、第二に多方向からの写真を効率的に撮影するために、ディジタルカメラ集合体の中心部に直下撮影用のカメラを配し、その周囲に放射状に斜め方向撮影用のディジタルカメラを８ないし２５あるいは、スペース的に余裕があればそれ以上配置するのである。
【００１２】
第三に、地上を各方面から撮影したとしても、画像の分解能が地上を見る俯角によって変化することは好ましくないので、鉛直方向よりなす角を一般にオフナディア角と呼称するが、小さいオフナディア角の斜め写真用ディジタルカメラには短い焦点距離の望遠レンズを用い、大きいオフナディア角の斜め写真用ディジタルカメラには長い焦点距離の望遠レンズを用い、さらにそれらを各々放射状に同心円状に配列することにより航空機の直下からかなり大きなオフナディア角の領域まで、分解能を劣化させることなく広範囲に画像を取得するディジタルカメラ集合体を考案した。
【００１３】
第四に、本発明者は該ディジタルカメラ集合体を効率的に運用し広範な都市空間上空であらゆる地点に対して立体角数度ごとの画像を得るために航空機にGPS装置と慣性航法装置よりなるガイダンスシステムを導入し空中同一高度に緻密なメッシュ状の撮影ポイントを構成したうえで、該撮影ポイントで自動的にディジタルカメラ集合体に撮影司令を発し撮影記録するシステムを構築した。
【００１４】
第五に、大量頻繁に撮影を行う必要性から撮影コストを削減する目的で一般に航空測量が不適当な曇天に雲の下の低高度より撮影することを着想し、曇天の空中モヤによる画像劣化をディジタル画像処理により自動的に補償する方法を発明した。
【００１５】
さらに、本発明者は数度程度の立体角の撮影済み画像を任意の対象地点に対して動画生成のために高速に検索する必要があることに鑑み、本システムに適した高速画像検索機構を考案した。すなわち、地表を緯度経度あるいはXY 座標により正方形の網目状に区分する。正方形の１辺は十分小さく、たとえば５０ｍから２０ｍ程度に設定する。この網目上の正方形の各々に２次元のアドレスを付して管理する。各撮影済みの画像には、地表を撮影した画像範囲内に含まれる該網目状正方形群が存在して、撮影時のカメラ位置と該網目状正方形の中心とを結ぶベクトルが定義できる。これを正規化して原画像ベクトルと定義するが、該原画像ベクトルは指定された地表網目に対する画像を表現するインデクスとして使用できる。
【００１６】
すなわち直上を示す天頂ベクトルと該原画像ベクトルのなす角度を量子化して天頂インデックスを定義する、該なす角の量子化の基準は５度以下である。各天頂インデックスには、水平方向成分として３６０度分の全方位が含まれているので、これを立体角数度単位のセルに小分割し、該原画像ベクトルと天頂ベクトルのなす角、該原画像ベクトルの水平方向成分によりインデクシングする。この３段階のインデクシングにより必要な原画像を高速に検索することができる。３次元動画像に必要な原画像は任意の都市位置に対して立体角で数度ごとに準備されているが、この近傍を視点が通過するので、実際の視点および視線と原画像ベクトルの立体数度以下のずれは、原画像に対するモーフィング処理により滑らかにつなぐのである。
【００１７】
本発明は都市景観をリアルに動画像で表示することであるので、３次元動画に使用される原画像は地上でも取得されなくてはならない。地上での都市景観３次元動画をリアルに表現するとは、人間の目線で景観を再現することであると本発明者は考察し、あらゆる場所の都市景観を人間目線で事前に撮影し、空中からの景観と類似の方法で３次元動画を生成する方式を考案した。地上における人間目線は人間が道路ないし通路上を移動すること、さらに目の位置が地上１．５−１．８mであるという制約があり、視点の自由度は空中からの景観に比べて相当に小さい。
【００１８】
本発明者は航空機搭載と類似の多数のディジタルカメラを搭載したディジタルカメラ集合体を車載用に考案した。すなわち、水平方向に全周８ないし１２方向、水平より仰角を付した斜め上方向を全周８ないし１２方向にわたって撮影するカメラをディジタルカメラ集合体として構成し、車両の屋根上に設置し、車両をカーナビゲーションシステムにより予め定められた道路上を移動させ、GPSとIMSによる詳細な位置計測結果に基づき数ｍ間隔でディジタルカメラ集合体を構成する全カメラに対して撮影司令を発し、その結果を位置データとともに記録するのである。このようにして路上画像データベースを構築したうえで、都市の任意の場所に対して路上ないし通路上の任意の場所、任意の視線方向からの人間目線での３次元動画を生成する方法を上空からの３次元動画像生成をもとに考案した。該方法は最適な原画像を選択するプロセスと、視点の移動状態と視線方向および都市内の位置によりモーフィングプロセスにより滑らかな動画像を生成するプロセスより構成される。
【００１９】
しかしながら完全な自由空間に視点を置き自由に視線方向を指定できる空中と異なり、道路ないし通路上では視点の存在し得る場所が通路ないし道路上に限定される。さらに、本発明の方法は都市空間の構造物に関する３次元モデルを生成することなしに３次元動画を生成する方法であるから、路上ないし通路上で撮影した画像を空中写真の場合にTerrainに貼り付けたように、貼り付ける対象を選定しモデル化しなくてはならない。人間目線での都市空間の表現として都市の構造を考慮して、この目的に合致するモデルとして道路ないし通路とそれ以外の市街地の境界線に沿って鉛直に主として平面で構成される厚さゼロの壁を立て、該壁を原画像の投影面とすることとした。
【００２０】
この道路ないし通路に沿った投影面を数学的に表現することは、空中写真においてDEMを地表のモデルとして用いるのと同等の位置付けとなるが、道路ないし通路はグラフ構造を有しており、グラフ表現によりモデル化する。さらに、画像投影上重要なのは道路ないし通路の境界線上に存在する該壁あるいは投影面である、さらに道路ないし通路は、屈折し、分岐し、交差し、合流し、開始し、終了する。本発明者は、原画像の投影という目的に適した道路ないし通路の数学的表現方法をグラフ表現で考案した。この結果、道路ないし通路上の任意の位置の人間目線からの任意の市街景観を撮影済みの原画像からモーフィングによりリアルに動画で表現することに成功した。
【００２１】
このように本発明になる都市景観３次元動画アミューズメントシステムでは、空中を任意に飛び回り任意の視線で任意の場所を見られるだけでなく、任意の路上ないし通路から任意の人間目線で市街の３次元動画を得ることができる。このため、グラフィックユーザインターフェイスとしてインターネットを介して、空中を模擬飛行するための模擬コックピットを設け、方位、昇降および速度を自由に操縦し指定できるほか、模擬カメラに切替えてカメラの方位角、ティルト角、ズーム量を自由に変更して３次元動画を表示することもできるようにした。路上ないし通路上においてはグラフィックユーザインターフェイスを介して人間目線で前進後退、及び左折、右折による自由な位置変更ができるほか、視線の向きを変えて自由な方向の視界を３次元動画で表現することができる。さらに、本発明の都市景観３次元動画アミューズメントシステムの特徴は空中から自由に地上に舞い降り、路上ないし通路上を歩行し、また、地上から上空に舞い上がって空中を自由に飛び回れる自由さにある。このため、空中模擬視界から地上の着地点を指定して着地するグラフィックユーザインターフェイスおよび、逆に地上から空中に飛び上がるためのグラフィックユーザインターフェイスを導入してアミューズメント性を高めた。
【発明の効果】
【００２２】
以上、説明したように、本発明の都市景観３次元動画アミューズメントシステムによれば、コストのかかる都市空間の３次元数値モデルの生成および建造物表面に対するレンダリング処理を行うことなしに、空中で撮影した実画像を用いて都市の任意の場所に対して空中における任意の視点経路と視点方向に対する３次元動画を生成することができる。また、路上ないし通路上で撮影した実画像を用いて都市の任意の路上ないし通路上の地点に対し人間目線で任意の視点経路と視点方向に対する３次元動画を生成することができる。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照しながら、本発明の都市景観の３次元動画アミューズメントシステムを実施するための最良の形態を詳細に説明する。図１は、本実施形態における都市景観３次元動画アミューズメントシステムの全体構成を概略的に示す図である。該都市景観３次元動画生成アミューズメントシステムは視点が空中にある場合の３次元動画生成を行うための部分と、視点が路上にある場合の３次元動画生成を行うための部分と、双方に共通的なグラフィックユーザインターフェイスシステム180より構成され、ユーザ191にはインターネット190を介してサービスが提供される。
【００２４】
視点が空中にある場合の３次元動画生成を行うための部分は、航空機により空中で航空写真を取得するための空中画像取得システム100と、取得した航空写真を３次元動画生成に使いやすいように加工しデータベース化するための空中画像データベース生成登録システム120と、データベース化された空中画像データベース140と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元動画像を生成する空中３次元動画生成システム160より構成される。
【００２５】
視点が路上にある場合の３次元動画生成を行うための部分は、車両等により路上で写真を取得するための路上画像取得システム110と、取得した写真を３次元動画生成に使いやすいように加工しデータベース化するための路上画像データベース生成登録システム130と、データベース化された路上画像データベース150と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元動画像を生成する路上３次元動画生成システム170より構成される。双方に共通的なグラフィックユーザインターフェイスシステム180では、視点が空中にある場合の視界生成と視点が路上にある場合の視界生成をユーザ191の要求に基づき切り替える機能も有している。以下、本発明になる３次元動画生成の基本原理を解説した後、本発明になる該都市景観３次元動画アミューズメントシステムを構成する各システムについて詳述する。
【００２６】
図２は、都市景観３次元動画アミューズメントシステムにおける空中画像取得の概念を示す図であり、本発明の最大の特徴は、都市景観３次元動画生成において第一に都市の３次元モデルを生成しないことであり、第二に生成した３次元モデルに外壁面パターンないし外壁面写真をレンダリングしないことであって、これら人手とコストが必要な作業を排除する代わりに、都市景観のあらゆる位置について事前にあらゆる方向から画像を取得しておき、これを必要に応じて選択、変形して利用することである。しかしながらこの方法は膨大な画像を事前に撮影する必要があるだけでなく、最適な撮影済み画像を高速に検索する必要があり、近年のディジタルカメラの進歩、各種メモリの大容量低コスト化と処理能力と通信能力の向上によって実現の条件が整ったところに、本発明による新方式の完成によって初めて実現が可能となったのである。
【００２７】
図２では都市200の上空天球222を充分小さい立体角の範囲ｉ221あるいは立体角の範囲１220のようにおおむね２°から５°前後の角度で立体的に分割して、天球222を覆う地表近くを除くすべての該充分小さい立体角に対して地表のあらゆる場所の画像を準備するための空中画像取得システム100の概念を示している。
【００２８】
図３は図２の隣接する該充分小さい立体角の範囲ｉ221で撮影された同一地点に対する画像は視差のため見え方が若干異なるが、この若干異なった画像間の視界を線形変換により画像を連続的に変形させて補間し、滑らかな３次元動画を得るためのモーフィング処理の概念を示したものである。建物および視線方向の関係図230で示される建造物を視差が比較的小さい視線方向１240と視線方向２250より見た視界は、視線方向１より見た画像241および視線方向２より見た画像251で示されるが、視線方向１240と視線方向２250のなす角が小さい場合、あるいは対象物が平面的である場合には画像を線形変換によるモーフィング処理によって相互に近似することができる。このモーフィング処理を隣接する視点の実画像の補間処理に使用するのが本発明の特徴である。
【００２９】
図４は本発明になる都市景観３次元動画生成アミューズメントシステムにおける模擬飛行による模擬視界発生の概念を説明した図である。視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t) 280に沿って視界にとらえる。該目標トラジェクトリT(t) 280は該視点経路P(t) 270上の位置から、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、時刻ｔ+2δｔ
の視線273、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔ の視線275、および時刻ｔ+5δｔ の視線276によりδｔごとにとらえられた地表上の軌跡である。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観３次元動画を生成する方法として、時刻ｔの視線271から時刻ｔ+5δｔの視線276に近く視差の少ない空中画像ｉ260および空中画像ｉ+1 261を空中画像データベース143より検索し、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔ
の視線273の間は最も視線が近い空中画像ｉ260を原画像として使用して、時刻ｔ
の視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔ の視線273と空中画像ｉ260の視線の間の視点の相違による視差を空中画像ｉ260に対するモーフィング処理で補正し、時刻ｔ+3δｔ の視線 274からは空中画像ｉ260よりも空中画像ｉ+1 261の方が視点の相違による視差が少ないと判断して空中画像ｉ+1 261を原画像に切り替え、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔ
の視線275、時刻ｔ+5δｔ の視線276と空中画像ｉ+1 261の視線の間の視点の相違による視差を空中画像ｉ+1 261に対するモーフィング処理で補正することにより滑らかな該目標トラジェクトリT(t)
280に沿った都市景観の３次元動画生成を行うのである。
【００３０】
本発明になる方法は膨大な量の空中画像を必要とするが、その取得方法についての例を示したのが図５である。航空機301に図７に示すような多数のディジタルカメラを収容したディジタルカメラ集合体を搭載し、飛行経路300に沿って一定間隔ごとの撮影ポイント310で地表を撮影する。飛行経路300と撮影ポイント310を網目状に濃密に設定し、複数のディジタルカメラを搭載してディジタルカメラ集合体光軸方向320に示すように同時に多方向の画像を撮影することにより、図２に示す該充分小さい立体角の範囲ｉ221ごとの画像を取得する。
【００３１】
図６は空中画像取得システム100の処理フローを記したもので、以下、図１５まで、該空中画像取得システム100の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス330で一定距離間隔で網目状に空中画像を撮影できるように、飛行航路と撮像ポイントを設定する。この撮影計画は図１１に構成が示される空中画像取得計画ファイル101の形で飛行航路と抗路上の撮影ポイントが定義される。次に撮影プロセス331では、航空機301が空中画像取得計画ファイル101に規定された撮影ポイント310に到達したことを判断して図９に示す空中撮影制御システム393により撮影を行う。撮影されたディジタルカメラ内の画像は空中撮影制御システム393により予め決められたタイミングごとに撮像プロセスで取得した位置および姿勢データから構成されるメタデータとともに空中画像一次ファイル102に蓄積される。
【００３２】
図７は本発明になる空中画像取得システム100を構成するディジタルカメラ集合体360の構成例を示した図である。地表をあらゆる視点から効率よく高密度に撮影する目的で、直下方向のディジタルカメラ350aの周辺に水平全周方向が放射状に等間隔に分割されるように複数の斜め方向ディジタルカメラ350bから350iまでの8台を光軸が重力方向となす角が同一となるように配置してディジタルカメラ集合体360を形成したものである。とくに航空機に搭載して撮影する場合には、滞空証明を取得する必要があり、航空写真撮影用に航空機床面にあいている穴を変更したり、あるいは該床面穴から機体外にカメラが飛び出す形で利用することは事実上不可能であるため、ディジタルカメラ集合体360をCanon社製のPowerShotなどの小型ディジタルカメラを利用して該ディジタルカメラ集合体が該航空機床面穴内に収まるよう工夫したものである。ディジタルカメラ集合体 360を構成するディジタルカメラ350a〜i以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。
【００３３】
図８は、航空機による空中画像取得システムの航路および撮影ポイントの設定例を示したものである。図８(ｂ)にて撮影ポイント310の設定例を示している。飛行経路300は空中に撮影ポイント310の網目を構成するために等間隔で平行な飛行航路300を図８(ｂ)で点線で結んであるようにＵターンしながら往復する形で飛行する。この間、撮影ポイント310で撮影を行う。撮影ポイント310の相互間隔は、飛行航路間撮影間隔372と 飛行方向撮影間隔371により規定される。飛行高度を約８００ｍと設定すると、飛行航路間撮影間隔372および飛行方向撮影間隔371は、図２の充分小さい立体角の範囲 ｉ221内に少なくとも１枚の画像を得るためには約８０ｍ以下に設定するのが好ましい。ディジタルカメラ集合体360で撮影した場合、図８(ａ)のディジタルカメラ350a〜iの撮影範囲375a〜iで示す範囲が撮影される。飛行高度、斜め方向ディジタルカメラ350ｂ〜iの鉛直方向となす角度、およびレンズの焦点距離の設定によって、該ディジタルカメラ350a〜iの撮影範囲375a〜iの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。なお、直下方向を撮影するディジタルカメラ350aの飛行経路300に対する向きは、図８(ａ)では画像フレームの横方向を飛行経路300の進行方向にしているが、画像フレームの縦方向を飛行経路300の進行方向にしてもよい。
【００３４】
図９は空中画像取得システムの構成例を示した図であり、フライトナビゲーションシステム部385とデータ取得記録システム部390より構成される。フライトナビゲーションシステム部385は図８(ｂ)で規定される撮影ポイント310に航空機301を飛行経路300に沿って誘導するための装置であり、ＧＰＳ380より航空機位置データが周期的に得られ、航空計装388より航空機姿勢、高度、速度などのアビオニクス情報387が得られる。これらの信号インターフェイスは航空機用バス信号として標準化されているので新規性はない。
【００３５】
フライトナビゲーションシステム部385の機能は、図１１の空中画像取得計画ファイル101の内容に従い、図１０の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって図１２の空中画像取得システムのフライトナビゲーションシステム部の表示画面例によってパイロットを誘導するものである。フライトナビゲーションシステム自体は既に公然実施されていて何ら新規性はないものであるが、本発明の目的を実現するために撮影ポイント310に効率的に航空機を誘導する部分が本発明に関わるところである。まず飛行前に都市のどの部分の上空画像を取得するか決定する。地図上で撮影範囲を決定し、飛行プランを策定する。飛行プランは飛行経路300を航空地図上で設定することによって行われる。
【００３６】
撮影ポイント310は本発明の目的を達成するように均一かつ高密度な網目状に地表から同一の高さで設定しなくてはならず、その結果に基づき飛行経路300を平行線で構成されるように設定する。各直線部分に図１１の空中画像取得計画ファイル101に示される航路No.を割り振り、各航路ごとに全体として網目を構成するように撮影ポイント310を割付け、各航路の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度および高度で設定する。このようにして図１１の空中画像取得計画ファイル101は構築される。該空中画像取得計画ファイル101の構築に関わるグラフィックユーザインターフェイスは地図情報システムとして公然実施されている。
【００３７】
フライトナビゲーションシステム部385の機能は図１０に記載の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって示される。処理ブロック420で空中取得計画ファイル101に登録されている航路No.の中から飛行予定の航路No.についてすべての撮影が終了するまで図１２の表示を順次に行う。指定された航路No.には開始座標があるので、処理ブロック421で該航路NO.を開始するために航路開始点の位置、高度、進行方向、速度を指定して図１２の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック421で規定された条件を一定の誤差範囲、たとえば位置誤差で１０ｍから３０ｍ以下の精度、飛行方向誤差で５°以下の精度で満足しなくてはならず、満足しない場合には再度飛行航路をやり直すことになり、処理ブロック423で処理ブロック421のガイダンスを再度行う。処理ブロック422の条件を満足した場合には処理ブロック420で選択された航路No.の空中画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック424および処理ブロック425によりガイダンスする。図１２に空中画像取得システムのフライトナビゲーションシステム部の表示画面例を示す。
【００３８】
航空機301を処理ブロック420で指定された航路No.の開始点に誘導するためには図１２の撮影ガイダンス表示437と位置偏差表示446を用いる。航空機位置373の飛行航路300からの偏差を知ることができ、航空機を操縦して偏差の解消を行う。航空機の位置に関するデータはＧＰＳ380より得られるほか、航空機計装388よりアビオニクス情報387として高度、進行方位、速度、ピッチ・ヨー・ロールの姿勢データが得られ、図１２の表示に使用される。撮影ガイダンス表示437では、航路No.表示439により飛行中の航路が示されるほか、航路内残撮影ポイント数表示438により、航路内で今後撮影しなければならない撮影ポイント数が示される。撮影ガイダンス表示437では、撮影ポイント310を飛行航路300に沿って、撮影ポイントNo.と撮影許容範囲440が表示されるので、パイロットは各撮影ポイントに対して撮影許容範囲440内を航空機が通過するように操縦する。航空機ガイダンス表示437は飛行にしたがって上から下へローリング表示することにより、常に直近の撮影ポイントととるべき飛行経路300と航空機位置373の関係が示される。航空機位置表示373は常時画面左下部となる。なお、図１２の方位表示442、姿勢表示443、位置偏差表示446はいずれも現在の航空計装では公然実施されているものである。
【００３９】
つぎに図９におけるデータ取得記録システム部 390につき詳述する。図９において、航空機301には機体下方に航空写真機設置用の航空機床穴397があり、この穴にディジタルカメラ集合体360を機外に張り出さないように設置する。図９の例では後述する安定プラットフォーム装置395により航空機床穴397に吊下する構造を採用しているが、安定プラットフォーム制御システム 394および安定プラットフォーム装置395は航空機301の姿勢に拘らずディジタルカメラ集合体360を常に地上直下に指向させ、かつ方位を規定方向に固定する機能を有するので、航空機のピッチ・ロールを常時５°以内に操縦で保てるのであれば安定プラットフォーム装置395を省略してもよい。ＩＭＵ396は慣性計測装置の英語表現の頭文字であり、安定プラットフォーム装置395に乗せることによりディジタルカメラ集合体360の姿勢を計測することができる。ディジタルカメラ集合体360の上面は航空機床398より上に出てもよい。
【００４０】
データ取得記録システム部 390には航空機301の姿勢を観測するＩＭＵ400と、ディジタルカメラ350の制御と撮像データ処理のためのプログラムを含む空中撮影制御システム393と、画像データをふくむ各種データを記憶する大容量ディスク装置で構成される空中画像一次ファイル102と、ディジタルカメラ350に対する撮影指令を出すための撮影ポイントを記憶している空中画像取得計画ファイル101を機内に搭載している。航空機301の位置計測用のＧＰＳ380のアンテナを機外に有している。
【００４１】
図１３は図９のデータ取得記録システム部 390の構成機器間の情報の流れを示している。図１４は撮影制御システム393の処理フローを説明している。撮影制御システム393はＣＰＵで構成される。撮影制御システム393はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、航空機301の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。航空機301に固定されたＩＭＵ400は航空機の姿勢データ451を、ＧＰＳ380はＧＰＳアンテナの位置データ452を周期的に撮影制御システム393に送り込む。撮影制御システム393の処理は図１４に詳説しているが、空中画像取得計画ファイル101の内容と得られたＧＰＳアンテナの位置データ452と航空機の姿勢データ451を処理ブロック460と処理ブロック461で順次照合し、航路No.を特定し、当該航路No.の撮影終了ないし、航路離脱まで、順次処理ブロック462で指定航路の撮影点の直近点を通過中かを判定し、撮影許容範囲440内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ350に処理ブロック463で一斉に撮影指令457を送ると同時に図１５に示す空中画像一次データファイル内の航空機データ部分472を処理ブロック464で書き込む。
【００４２】
ディジタルカメラ350は内部に本発明の時点で３２ＧＢのメモリを保有できるので撮影した空中画像データ455を少なくともひとつの航路No.が終了するまで保持することができる。航空機301は、ひとつの航路No.を終了し、次の航路No.に入るまでの間、Ｕターン飛行をするが、この間は撮影を行わないので、ディジタルカメラ350内の空中画像データ455を航空機搭載の大容量ディスク装置で構成される空中画像一次ファイル102に処理ブロック465で転送し、ディジタルカメラ350内部のメモリを空にする。
【００４３】
図１５に空中画像一次ファイル102の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した各画像ごとに用意される。ヘッダー部のカメラＩＤはディジタルカメラ集合体360を構成する各ディジタルカメラ350a〜iを識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は航空機データ部分472と対応する撮影時刻であり、空中画像データベース生成登録処理120において、統合して各ディジタルカメラ350a〜iの光軸方向を算定するのに用いられる。画像データ部分471は特にこの段階では加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は飛行中固定であるので、同一設定値を書き込む。
【００４４】
空中画像データベース生成登録システム120について図１６から図２６までを用いて詳細に説明する。図１６は全体の処理フローを記載しており、処理ブロック480では、空中画像取得システム100で1日の飛行中に蓄積した空中画像一次ファイル102を飛行が終了した後、すべての画像について順次処理する。処理ブロック481では図１７の空中画像データベースの画像ヘッダ部490のヘッダーを作成するが図１５の空中画像一次ファイル102の画像ヘッダ部470のヘダーをそのまま転記する。処理ブロック482についても通常は空中画像一次ファイル102の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。
【００４５】
処理ブロック483では、画像ヘッダ部490の撮影パラメタを各画像ごとに計算するがその処理について以下に詳述する。カメラ位置は緯度、経度、高度で規定されるが、通常航空機搭載ＧＰＳ380による位置測定がＤＧＰＳである場合には、飛行高度が低いこともあってそのまま正確な位置が得られるとしてよい。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむので、着陸後に飛行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行う。
【００４６】
撮影パラメタの計算は線形代数を使用して行い、以下、図２３を参照しながら説明する。北方の水平方向を指す直交座標系での単位ベクトルを
とし基準軸とする。
を基準とした機体のピッチ・ヨー・ロールによる座標変換を
とする。また、空中画像一次ファイル102における航空機データ部分472の位置を直交座標系で
とし、機体内のＧＰＳアンテナ380からディジタルカメラ集合体360への位置偏差をベクトル表現で
とする。さらに基準軸
に対する各カメラ（添字k=ａ〜ｉで示す）の光軸、および４隅の方向ベクトルを単位ベクトルで下記と表現する。下記は常数であり、カメラの焦点距離と、ディジタルカメラ集合体360のディジタルカメラ350ａ〜ｉの取り付ける向きにより決まる。
撮影中心光軸を画像ベクトル（正規化） Ｇkc=ｔ(Gkcx Gkcy Gkcz)
撮影画像右下端方位ベクトル（正規化） Ｇk1=ｔ(Gk1x Gk1y Gk1z)
撮影画像右下端方位ベクトル（正規化） Ｇk2=ｔ(Gk2x Gk2y Gk2z)
撮影画像右下端方位ベクトル（正規化） Ｇk3=ｔ(Gk3x Gk3y Gk3z)
撮影画像右下端方位ベクトル（正規化） Ｇk4=ｔ(Gk4x Gk4y Gk4z)
と定義すると、撮影位置Ｓは Ｓ＝
＋
となり、図１７撮影パラメタの撮影位置（緯度,経度,高度）が求まる。正規化画像ベクトル(X,Y,Z)は
Ｇkc により求まる。
【００４７】
航空機の姿勢
を加味した画像４端の方向の正規化ベクトルは各カメラに対して、それぞれ、
Ｇk1，
Ｇk2，
Ｇk3，
Ｇk4 となる。地表のTerrainデータは緯度、経度、標高で地表の格子点に対して与えられているから、その直近の隣接する３点ずつで３角形を構成してその頂点座標をＴ1,Ｔ2,Ｔ3とし,Ｔcを三角形Ｔ1Ｔ2Ｔ3 の平面とＧkcの交わる座標とすると、ｘは外積を表し、
【数１】
ｘ
0
ｘ
0
ｘ
0
であればＴcは三角形Ｔ1Ｔ2Ｔ3内部にあるといえる。すなわち交わる。
撮影位置Ｓ=(x,y,z)からの画像ベクトル（正規化）Ｇkc がＴcで三角形Ｔ1Ｔ2Ｔ3と交わるとすると
（数２）
Ｔc-Ｓ=ＲＧkｃ
Ｔc-Ｔ1=a(Ｔ2-Ｔ1)+b(Ｔ3-Ｔ1) ここでa,bは任意のスカラ-定数
となる。ここでＲは図１７の撮影パラメタの画像距離である。画像距離とは撮影位置から撮影光軸がTerrain580に交わるまでの距離をいう。
ここで、
【数３】
= t(Ｔ1x Ｔ1y Ｔ1ｚ)
= ｔ(Ｔ2x Ｔ2y Ｔ2ｚ)
= ｔ(Ｔ3x Ｔ3y Ｔ3ｚ)
= ｔ(Ｔ4x Ｔ4y Ｔ4ｚ)
とすると、
【数４】
=
=
+a(
-
)+ｂ(
-
）
となり、図１７の撮影パラメタのTerrain上中心点座標（緯度,経度,標高）が
として求まる。ただし三角形Ｔ1Ｔ2Ｔ3の内部にあるかは、外積を計算してチェックする。
【００４８】
同様にＧｋｃの代わりにＧk1,Ｇk2,Ｇk3,Ｇk4に対して計算することにより、Terrain上最近右座標（緯度,経度,標高）、Terrain上最遠右座標（緯度,経度,標高）、Terrain上最遠左座標（緯度,経度,標高）、Terrain上最近左座標（緯度,経度,標高）がそれぞれ求まる。
次に、図１７撮影パラメタのフレーム回転角を求める。航空機の姿勢が基準方向であると、各ディジタルカメラのフレームの光軸を通る水平線は地球の水平線と平行であるが、機体のピッチ・ヨー・ロールによる座標変換が
であると地球の水平線から回転角が生じる。
機体の姿勢が基準方向であるときの画面フレームの水平線は下記で与えられる。
【数５】
機体のピッチ・ヨー・ロールによる座標変換が
であると、画面フレームの水平線は下記で与えられる。
【数６】
したがって、フレーム回転角は、
【数７】
となる。ここで ・は内積を表し、
はノルムを表す。
【００４９】
次に処理ブロック484で空中のモヤの影響除去の処理を行う。本発明の空中３次元動画生成システム150では、異なる視点から撮影した原画像を使用して都市のさまざまな方向からの映像を表現する。このため原画像に直射日光による影が存在すると、撮影時刻は原画像ごとに異ならざるを得ないため動画を合成したとき極めて見づらいものとなる。これを避けるため、直射日光のない曇天に雲の下から撮影し空中画像を取得する。このため、空中画像取得計画ファイル101では飛行高度を積雲または層雲が出現する高度より低い７００〜８００ｍに設定して撮影を行う。曇天での撮影は航空測量に航空機が使用できない条件下であるので、航空機の余剰時間を安価に利用できるという利点もある。一方、空中の水分が多いため視程が晴天時より短くなる欠点がある。
【００５０】
水分は微小な水滴として直進光を乱反射、乱屈折させるため、空中の通過距離に応じて影響が発生する。特に斜め航空写真の場合には、オフナディア角が大きい程水分の影響が大きくなる。図１８はモヤの影響除去処理における画像と視野の関係を示した図で、撮影画像495の下端は近景部分ａ496で撮影地表部分499のもっとも直近部分である。撮影画像495の上端部分は遠景部分498であり、撮影地表部分499の最遠部に位置する。近景部分ａ496から遠景部分498に向けて光が空気中を通過する距離が増える結果、微小水滴による光の散乱が増え、コントラストが減少し白濁する。この結果、図１９（ａ）に示すようにモヤのない場合の画像のヒストグラムが輝度下限値から輝度上限値507まで分布した正規化ヒストグラム500であった場合、近景部分ａ496では近景部分ａヒストグラム 501となり、上限値と下限値の幅が狭くなり中央値も白い方、すなわち輝度の高いほうに偏移する。
【００５１】
この傾向は遠景部分ヒストグラム502で最も顕著となり、ヒストグラム上限値504とヒストグラム下限値 503の差である値幅 505が最小となり中央値506が最大となる。図１８の撮影画像495で、ヒストグラムをとる範囲を画面横方向は全範囲で縦方向は近景部分ａ496、近景部分ｂ497のように一定幅の短冊状にして、１ラインずつずらしながら上方に向けてヒストグラムを計算すると、図１９（ｂ）のような特性が得られる。モヤの濃度は高度によって濃淡があるが、水平方向には濃度の差がないとしてよいので、値幅フィッティング曲線513は単調減少、中央値フィッティング曲線512は単調増加として近似してよい。これらの曲線はモヤの高度による分布が不明であるので、実測値からフィッティングで求めた上で各行ごとに、フィッティング曲線から求めた値幅と中央値の補正係数で各画素値を補正する。
各画素の輝度の補正は、水平ラインごとに
（数８）
正規化ヒストグラム中央値＋（画素輝度―中央値フィッティング値）
＊正規化ヒストグラム値幅／値幅フィッティング値
で求められる。以上説明した処理は、図２０で処理ブロック520から処理ブロック524で記された処理である。図２１は本発明のモヤ影響除去処理の処理結果例を示すものであり、モヤ影響除去前画像530を処理した結果、モヤ影響除去後画像531が得られている。
【００５２】
次に処理ブロック485で処理ブロック481から484で求めた結果を図１７に示す空中画像データベース143の該当画像データ部分に格納する。図１６の空中画像データベース生成登録システムの処理フローの最後の処理ブロック486で、処理ブロック485で登録した空中画像データを用いた動画生成のために高速に該空中画像データを検索する目的でインデクスを生成する。処理ブロック486の内容は図２２の空中画像データベース登録システムの空中画像インデクス生成登録処理フローでさらに詳細に述べられている。以下、図２２にしたがって説明する。処理ブロック540の内容を図２３の空中画像インデクス機構の構造と用語の定義を参照しながら説明する。撮影位置550で撮影された画像には、図１７の空中画像データベース133の撮影パラメタとして撮影位置（緯度,経度,高度）550、正規化画像ベクトルＧ＝ｔ(X Y Z) 551、フレーム回転角553、画像距離552,Terrain上中心点座標（緯度,経度,標高）554、Terrain上最近右座標（緯度,経度,標高）555、Terrain上最遠右座標（緯度,経度,標高）556、Terrain上最遠左座標（緯度,経度,標高）557、Terrain上最近左座標（緯度,経度,標高）558が既に格納されており、図２３はそれを図示したものである。撮影位置550で撮影した画像は地表画像範囲549を捉えている。地表、Terrain580には緯度経度が定義されるので、１秒ごとにメッシュ化すると東京地方の緯度３５°付近では緯度方向で３０ｍ、経度方向で２５ｍのセルが構成できる。０．４秒ごとにメッシュ化すれば緯度方向で１２ｍ、経度方向で１０ｍのセルが構成できる。６５ｋｍ四方の都市領域を考えると、このセル数は３５Ｍセルに過ぎない。地表画像範囲549に含まれる地表セル559は地表画像範囲549の４端点が緯度経度で判明しているから容易に求めることができる。
【００５３】
各地表セルに対して、図２に示す天球222のあらゆる方向に対し、十分小さい立体角の範囲i221で画像を検索できなくてはならない。この目的で図２４（ａ）に示すように天球を地表セル559の中心から鉛直に上を向いている天頂ベクトル570を定義し、以下、該天頂ベクトルを基準に同心円状に天球を輪切りにして天頂インデクスI 572を定義する。天頂インデクスｉはi=0,1,2,…と順次定義され、i=0は天頂ベクトルであり、順次ｉが大きくなるに従い、天頂ベクトルとなす角度が同一幅で増加し、同一同心円状に天頂から水平線まで定義される。天頂インデクス572を通過して地表セル559から立体角セル中心ベクトルが定義される。立体角セル中心ベクトル574は、必ず天頂インデクス572上に一定方位角間隔で定義される。
【００５４】
図２４（ａ）で立体角セル573とは図２の十分小さい立体角の範囲I 221に対応するもので、地表セル559からの画像検索の基本単位となる。立体角セル573は立体角セル中心ベクトル574に対してなす角度がたとえば３．５°以下であるベクトルの収まる円錐と定義される。図２４は天頂方向から地表セル559を見た図である。立体角セル573は天頂インデクスI 572に対して相互に重複しながら隣接して定義され、天頂インデクスｉ572の全周をうめる。
天頂ベクトル570と天頂インデクスI 570を通過する立体角セル中心ベクトル574のなす角を天頂離角571といい、天頂インデクスI 572を定義する数値となる。
【００５５】
図２５は立体角セル573のインデクス構造を示したものである。図２５（ｂ）は天頂方向から地表セル中心点575を見下ろした図である。2次元の添字のある立体角セルアドレス（ｉ，ｊ）を定義して、ｉは天頂インデクスｉ572を示し、jは天頂インデクスｉの同心円上のｊ番目の方向の立体角セルを表す。立体角セルアドレス(0,0) 584の立体角セル中心ベクトルは天頂ベクトル570であり、これを囲んで、同心円状に天球上で立体角セルアドレス(1,0) 585、立体角セルアドレス(1,1) 586、立体角セルアドレス(1,2) 587が以下、天頂インデクス１の全周を埋めるまで定義される。天頂インデクス１581の外側に天頂インデクス２に沿って、立体角セルアドレス(2,0) 588、立体角セルアドレス(2,1) 589、立体角セルアドレス(2,2) 590が天頂インデクス２の全周を埋めるまで定義される。立体角セル573は相互に重複し、天球を空隙が無いように埋め尽くされる。立体角セルの立体角は３次元動画生成が滑らかに行われるように、設定される。立体角セルアドレス数は天頂インデクスが地表に近づくにつれて多くなる。このようにしてすべての地表セルに対して、該地表セルを撮影した画像を、天球上の方向によって検索できるのである。
【００５６】
図２６に空中画像インデクススの関連テーブルの構造と相互関連を示す。天頂インデクスと天頂セルアドレスの構造は、地表セルに依存せず同一であり、この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597と方位インデクスパラメタテーブルＤＲＰＲＭＴ598で定義する。この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597は天頂インデクス０から順次、天頂インデクスｉ572に対する天頂離角571を定義し、さらに天頂インデクスｉ572に対応する中心ベクトル574が正規化ベクトルであった場合の鉛直方向成分を縦方向成分として格納する。天頂インデクスi 572に含まれる立体角セルの数は天頂から水平線に近づくにつれ増大するので、各天頂インデクスに対応した方位数ＮＤＲｉとして規定する。方向インデクスパラメタテーブルＤＲＰＲＭＴ598は天頂インデックスに対応して定義される方位数ＮＤＲｉに対応する立体角セルアドレスにつき、その立体角セル中心ベクトルの方位Ｘ成分と方位Ｙ成分を規定する。天頂インデックスパラメタテーブルＺＮＰＲＭＴ597 記載の縦方向成分とあわせてベクトルノルムが１となるように正規する。
【００５７】
次に、地表セルに対応した画像データインデクステーブルの構造について説明する。図２６の地表セル位置インデックステーブルＴＣＩＮＸＴ 600はすべての地表セル559に対して定義され、地表セルに対応して天頂インデックステーブルアドレスＡＤＤＲｉｊ 603が指定される。ＡＤＤＲｉｊの添え字は地表上の位置に対応して経度インデックスＬＯＮＩＮＸ 601がｉ、緯度インデックス ＬＡＴＩＮＸ 602がｊであることを示している。天頂インデックステーブルアドレスＡＤＤＲｉｊ 603は、地表セルijに対応した天頂インデックステーブルＺＮＩＮＸＴ 604を示す。天頂インデックステーブルＺＮＩＮＸＴには選択された天頂インデクスｋに対応して方位インデックステーブルアドレスＡＤＤＲijk 605が定義され、これに従い方位インデックステーブルＤＲＩＮＸＴ 606が規定される。ここには天頂インデックスパラメタテーブルＺＮＰＲＭＴ 597 で指定される数の方位数があるので方位インデクスがｍであれば画像アドレステーブル608のアドレスとしてＡＤＤＲｉｊｋｍが指定される。このように選択された画像アドレステーブルとは、地表セルｉｊに対して立体角セルアドレス（ｋ，ｍ）の立体角セルに含まれる画像データ数と画像データアドレスを示しているのである。このように図２６に従い、空中画像インデクスと関連テーブルの相互関連を定義すると地表の位置から空中の任意の方向から撮影した画像を検索できるのである。
【００５８】
以上の画像データインデクス機構の説明に基づき、図２２に示す空中画像データベース登録システムの空中画像インデクス生成登録処理フローの説明を以下に行う。処理ブロック540では図２３で示されるような1枚の画像があると、地表画像範囲549に含まれるすべての地表セルを求める。処理ブロック541では処理ブロック540で求めた地表セルすべてについて処理を順次行う。処理ブロック542では地表セル中心座標から撮影位置550を見込むベクトルを求める。処理ブロック543と処理ブロック544ではでは天頂インデックスパラメタテーブルZNPRMT 597 と方位インデックスパラメタテーブルDRPRMT 598の定義から内積演算により該地表セル中心座標から撮影位置550を見込むベクトルをふくむ立体角セルアドレス（ｋ，ｍ）を求める。この情報に基づき処理ブロック545で画像データテーブルＡＤＤＲijkmの画像データ数を１つ増加して画像データアドレスを追記する。
【００５９】
図２７に３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す。本発明の都市景観の３次元動画生成では、俯角が少ない場合の原画像はオフナディア角の大きな画像となるため必然的に航空機より遠方の画像となる。このことは、俯角が少ない場合の動画像を分解能を低下させずに生成させるためにはオフナディア角の大きな場合の画像撮影時に分解能を悪化させない配慮が必要である。このため、図２７に示すようにオフナディア角が大きくなるに従い望遠レンズの焦点距離を長くし、分解能を維持すると同時に、３種類のオフナディア角のディジタルカメラを採用してオフナディア角が大きくなるほど焦点距離を長くして地表分解能が均一になるように工夫した例である。図２８に直下点撮影用にディジタルカメラ350ａを用い、ディジタルカメラ350ｂ〜ｉまでの８台を放射上に同一の小さいオフナディア角を持たせて配置し、その外側にディジタルカメラ620ｊ〜ｙまでの１６台を放射上に同一の大きいオフナディア角を持たせて配置する。ディジタルカメラの小型高性能化は著しく、既存の航空写真カメラ用航空機床穴398に充分収納することができる。図２９に３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲例を図示する。代表的実施例としてはディジタルカメラ350ａを３５焦点距離５０ｍｍ相当で直下指向、ディジタルカメラ350ｂ〜ｉを焦点距離７０ｍｍ相当でオフナディア角３５°指向、ディジタルカメラ620ｊ〜ｙを焦点距離１０５ｍｍ相当でオフナディア角６０°指向という組み合わせがある。
【００６０】
図３０に航空機搭載用安定プラットフォーム装置395のもっとも単純な構成例を示す。
安定プラットフォーム装置395は航空機床穴397をまたぎ、上部にふさぐ形で設置され、下から固定部635、上下動部636、回転部637より構成される。回転部637は回転テーブル構造をなしており、その上に密着して姿勢検出用のＩＭＵ396が設置され、回転部637の下部にはディジタルカメラ集合体360が吊下されて航空機床穴397より機外に張り出すことなくすべての下方視界をすべてのディジタルカメラ350a〜iに収めることができる。該安定プラットフォーム装置395はディジタルカメラ集合体360または621を吊下してディジタルカメラ350a〜iおよびディジタルカメラ620j〜yを用いて同様に撮影することもできる。なお、回転部637とディジタルカメラ集合体360または621の接合方法は剛性を持たせて固定することが必要である。安定プラットフォーム装置395は航空機姿勢の擾乱に対して遺影の姿勢を保持することを目的としているが、対処可能な航空機の姿勢擾乱はピッチ角およびロール角で最大７から１０°、ヨー角については最大２０°を想定しておけばよい。固定部635は航空機床398に固着される。上下駆動機構Ａ〜Ｄ641〜644を介して上下動部636を保持する。上下駆動機構Ａ〜Ｄ641〜644は各々独立に上下に動きピッチ角とロール角の擾乱を補正する。上下駆動は油圧機構でも、ウォーム歯車による回転運動の上下運動への変換方式を採用してもよい。上下動部645にはさらにベアリング機構645に保持される形で回転部637が搭載される。回転駆動機構640は上下動部636に固定され、かつ回転部637外延部に接する形で設置される。回転部637と回転駆動機構640との間は回転運動を伝達すればよく、回転部637を回転させて航空機のヨー角に対する擾乱を打ち消す。図３１に安定プラットフォーム装置の信号情報フローを示す。安定プラットフォーム制御システム 394はＩＭＵ396よりピッチ角、ヨー角、ロール角を周期的に入力し、基準値からの偏差を求めてピッチ角、ロール角の偏差を打ち消すために上下駆動機構Ａ〜Ｄ641〜644を制御して上下運動649を行わせる。ヨー角の偏差を打ち消すためには回転機構640を制御して回転運動650を行わせる。
【００６１】
次に、都市景観３次元動画アミューズメントシステムにおける空中動画生成処理につき図３２から図３９を用いて説明する。モーフィングによる空中動画像生成の概念と変数の説明を図３２で説明し、全体の処理のフローを図３３の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローに基づき説明する。図３２において、視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t)
280に沿って該視点経路P(t) 270上の位置から時刻ｔ1からｔ４、ｔｉまで、視線ベクトルＶ（ｔ１）からＶ（ｔ４）、Ｖ（ｔｉ）でとらえる。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観の３次元動画を生成する方法として、時刻ｔ１、ｔ２、ｔ３では視点Ｐ（ｔ１）675、視点Ｐ（ｔ２）676、視点Ｐ（ｔ３）677の視線に近く視差の少ない空中画像ｍ−１666を空中画像データベース130より検索し、時刻ｔ１、ｔ２、ｔ３ の視線ベクトルＶ（ｔ１）681、Ｖ（ｔ２）682、Ｖ（ｔ３）683の間は、画像ベクトルＧｍ−１672との視差の相違を空中画像ｍ−１666に対するモーフィング処理で補正し、滑らかな動画像を生成する。時刻ｔ４ の視線ベクトルＶ（ｔ４）684からは空中画像ｍ−１666よりも空中画像ｍ 667の方が視点の相違による視差が少ないと判断して空中画像ｍ 667を原画像に切り替え、時刻ｔ４
の視線ベクトルＶ（ｔ４）684以降次の原画像が選ばれるまで空中画像ｍ 667との視差の相違を空中画像ｍ 667に対するモーフィング処理で補正することにより滑らかな都市景観の３次元動画生成を行うのである。
【００６２】
以上の処理を処理フローで示したのが図３３で、処理ブロック690では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック691では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック692では、次コマの地表インデクス位置が現コマと同一か現コマ、次コマの中心点で判断する。同一でない場合は、最適な原画像を求めなおす必要があり、処理ブロック694へ行く。同一な場合は、処理ブロック693で次コマの視線ベクトルが現コマと同じ立体角セル内か判定する。これは視線の向きが現コマとある程度変化したかを判定するもので、同一立体角セル内でないと判断された場合には処理ブロック694で最適な原画像を求めなおす必要がある。同一立体角セル内であると判断された場合には現コマの原画像を引き続き使用する。
【００６３】
処理ブロック694の処理内容はより詳しく図３４の空中動画像生成における原画像検索の処理フローと図３５の３次元動画生成処理の原画像選択論理図に示される。処理ブロック700では、次コマの中心に存在する地表セルアドレス（ｉ,ｊ）を求めその中心点と次コマの視点を結ぶ視線ベクトルをつくりこれを正規化する。処理ブロック701から703では、この正規化視線ベクトルから天頂インデクスパラメタテーブルＺＮＰＲＭＴ597および方位インデクスパラメタテーブルＤＲＰＲＭＴ598を参照して立体角セルアドレス（ｋ，ｍ）を求め、地表セルアドレス（ｉ,ｊ）と併せて画像アドレステーブルのアドレスＡＤＤＲｉｊｋｍが求まる。同一地表セルアドレスに対する同一立体角セルアドレスには画像アドレステーブルのはじめのデータで示される原画像候補が存在するので、処理ブロック704と処理ブロック705でその中から視点Ｐ（ｔｉ）からの視野の4隅の点を原画像がすべて撮影しているかを判定する。図３５で（ａ）で視点Ｐ（ｔｉ）の視野の地表上の４端点Ｔｉ１715、Ｔｉ２716、Ｔｉ３717、Ｔｉ４718のすべてが原画像撮影位置ＳＡ710、原画像撮影位置ＳＢ711、原画像撮影位置ＳＣ712からの画像に撮影されているかを判定するのが処理ブロック705の判定であり、ベクトル外積演算で容易にできる。図３５（ｂ）の例で言えば、原画像撮影位置ＳＡ710、原画像撮影位置ＳＢ711からの画像のみが視点Ｐ（ｔｉ）の視野の地表上の４端点Ｔｉ１715、Ｔｉ２716、Ｔｉ３717、Ｔｉ４718のすべてを画像に捕らえている。処理ブロック705の条件を満足する原画像をすべて求めた後、処理ブロック706で地表セルアドレス（ｉ，ｊ）に最も近い画像距離の最短の画像を原画像として選択する。画像距離は図１７空中画像データベースの撮影パラメタの１データとして計算されており、画像距離が最短の原画像を選択するとは視点と目標の間の視界をさえぎる障害物を排除する処置である。
【００６４】
次に図３３に戻り、処理ブロック697のモーフィング処理の内容について図３６を参照しつつ以下の文章と式で説明する。
原画像ｍに対して原画像撮影位置
671と画像ベクトル
673（ノルム=1）とTerrain（地表面）が決まると、画像ベクトル
673とDEMの交点
と画像の四隅とTerrainの交点
、
、
、
が決まる。図３７に示すように、一般に
、
、
、
は同一平面上にないので、
を通り
、
の中点
と、
、
の中点
を通るベクトルと平行なベクトルを
と定義し(
＝
)、
を通り
と
の中点
と、
と
の中点
を通るベクトルと平行なベクトルを
と定義する(
＝
)。
を通り
と
で張られる面をTerrain平面といい
であらわす。
の垂線を
（ノルム=1）とする。
を通り、画像ベクトル
に垂直な平面を
という。
は原画像撮影位置視点
671より撮影した画像(視野)である。
-->
への変換が存在して、これを
という。これは原画像ｍの撮影行為である。視点
に対して、視点座標
と視線ベクトル
（ノルム=1）とTerrain平面
（共通）が決まると同様に
と
、
、
、
が決まる。
を通り視線ベクトル
に垂直な平面を
という。平面
とはTerrain面
の中で、視点
による視野で
の一部を構成する。視点
の視野
と
は
と
と視野角
が決まれば一意に決まる。平面
の平面
への写像は
と
と原画像ｍの画角
が決まれば一意に決まる。
―＞
―＞
の対応により
の
に対応する各画素が、
の
に対応する画素に対応付けられればモーフィングアルゴリズムは完成する。
【００６５】
一般にTerrain平面
上の任意の点
は、
=a
+b
+
であらわされる。
ここで垂線条件である、
=0 および
=0 を代入すると、
=
が得られる。ここで・はベクトル内積をあらわす。
視界の中心線
とTerrain平面
の交点
は、
が
=
+c
を満足することからこれに代入して、
（c
+
）=
よりｃ=
となり、
【数９】
=
+
＝
で、視点
の画像中心点のTerrain平面
での座標が求められた。
同様に、視点
の視界の４隅の正規化視線ベクトルを
、
、
、
とし、これらとTerrain平面
の交点
、
、
、
のTerrain平面
での座標を求めることができる。さらにこの座標の
面上への変換を求める。
Terrain平面
上の任意の点
は、
=a
+b
+
であらわされ、
垂線条件である、
=0 および
=0 より、４隅の正規化視線ベクトルを
、
、
、
に対して、
=
+c
ただしk=1,4を満足する
（c
+
）=
よりｃ=
となり、
【数１０】
=
+
＝
で、視点
の画像の４隅の点のTerrain平面
での座標が求められた。この平面
上での座標を平面
上での座標に対応付けることにより原画像である平面
上のどの点を視点
の画面に映せばよいか分かる。
上での視点
の画面の中心および四隅の点の座標
、
、
、
、
（まとめて
、k=1,2,3,4,cとする）が
上で
、
、
、
、
（まとめて
、k=1,2,3,4,cとする）に対応する。
面上での画面の水平ラインを
、垂直ラインを
とすると
面上の任意の点
は任意定数a,bに対して
=
=ａ
+ｂ
+
で表される。画像ベクトル
は
、
に垂直だから
=0、
=0 となり、また、
と
は画像撮影位置
より見て同一線上にあるから
=d(
-
)+
であるので、d(
-
)+
=ａ
+ｂ
+
となり、
との内積をとって
ｄ=
となるから
【数１１】
=
となる。
=
+
で既に
は求まっているから、これで、視点
の視界の原画面ｍの画面との対応が完成した。
【００６６】
次に、
をｚ軸に移す変換を求める。ここで、
=1
=
として、ｚ軸周りに回転させてyz平面に載せてからｙ軸周りに回転させてｚ軸と一致させる。
ｚ軸周りの回転は、
で与えられる。
次に、y軸周りの回転は、
で与えられる。
両方の回転を合成すると、
【数１２】
＝
となる。
平面
の交点
(k=1,2,3,4,C) に対して
をｚ軸に移す変換を施せば、
(k=1,2,3,4,C)はxy面上の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。
【００６７】
以上で本発明になる都市景観の３次元動画生成アミューズメントシステムの空中３次元動画生成に関する説明を終了して、都市景観の３次元動画生成アミューズメントシステムの路上３次元動画生成に関する説明に移行する。都市の任意の場所に対して路上ないし通路上の任意の場所、任意の視線方向からの人間目線での３次元動画を生成する。路上３次元動画生成においても空中３次元動画生成と同様に都市空間の構造物に関する３次元モデルを生成することなしに実画像を用いて３次元動画を生成する。路上では自由空間で自由に視線を指定できる空中比べて視点の自由度は小さく、存在場所が通路上の地上１．７m程度に限定される一方、通路はDEMによるTerrainモデルと異なった構造を持っているので通路はグラフ表現によりモデル化する。空中写真の場合にTerrainを画像の投影面としたように、本発明の方式では、事前に撮影した実画像の投影面を設定しなくてはならない。
【００６８】
人間目線としての視点および視線の動きうる範囲を検討した結果、通路とそれ以外の市街地の境界線に沿う鉛直な平面を路上で撮影した原画像の主たる投影面とし、通路上での前方視ないし後方視に対しては通路に直交し一定距離はなれた鉛直面を補助的に投影面とする。本発明の方法は、通路上で人間目線の存在しうる任意の点から任意の視線で市街景観を事前に撮影するため、水平方向に全周８ないし１６方向、水平より仰角を付した斜め上方向を全周８ないし１６方向にわたって撮影するディジタルカメラ集合体を車両の屋根上に設置し、路上画像データベースを構築する。なお、斜め上方は広角レンズを用いることで省略できる。動画像生成は最適な原画像を選択するプロセスと、視点の移動状態と視線方向および都市内の位置によりモーフィングプロセスにより滑らかな動画像を生成するプロセスより構成される。
【００６９】
以下、図１都市景観３次元動画アミューズメントシステム構成図に従い、順次、路上画像取得システム110、路上画像データベース生成登録システム130、路上画像データベース150および路上３次元動画生成システム170につき詳細に説明する。図４０は路上画像取得システムの処理フローを記したもので、以下、図５７まで、該路上画像取得システム110の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス741で都市内の道路および通路に沿って一定距離間隔で撮影できるように、移動経路と撮像ポイントないし間隔を設定し、図５３に構成が示される路上画像取得計画ファイル111とする。この撮影計画は道路ID No.と道路上の撮影ポイントが定義される。道路の構造に関する記述は道路ID No.を含め厳密に定義する必要があるので後述する。次に撮影プロセス742では、車両803が路上画像取得計画ファイル111に規定された図４２に示す撮影ポイント766に到達したことを判断して図５１に示す路上撮影制御システム806により撮影を行う。撮影されたディジタルカメラ内の画像は予め決められたタイミングごとに撮像プロセスで取得した位置および姿勢データとともに路上画像一次ファイル112に蓄積される。
【００７０】
図４１は本発明になる路上画像取得システム110を構成するディジタルカメラ集合体755の構成例を示した図である。路上であらゆる視点から効率よく高密度に撮影する目的で、水平方向のディジタルカメラ750a〜ｈが全周を等間隔になるように放射状に配置されディジタルカメラ750a〜ｈの斜め上方を撮影する目的でディジタルカメラ750ｉ〜ｐが配置されディジタルカメラ集合体を形成する。ディジタルカメラ集合体 755を構成するディジタルカメラ750a〜ｐ以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。
【００７１】
図４２は、車両による路上画像取得システムの経路および撮影ポイントの設定例を示したものである。図４２(ｂ)にて撮影ポイント766の設定例を示している。路上画像取得システム765は路上画像取得計画ファイル111で路上に列状にくまなく構成された撮影ポイント766に従い、道路を移動しながら撮影ポイント766で撮影を行う。撮影ポイント766の相互間隔は撮影された画像が路上３次元動画生成システムでモーフィングによって滑らかな動画になるように選定される。ディジタルカメラ集合体755で撮影した場合、図４２(ａ)のディジタルカメラ750a〜ｐの撮影範囲760a〜pで示す範囲が撮影される。レンズの焦点距離の設定によって、該ディジタルカメラ750a〜ｐの撮影範囲760a〜ｐの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。
【００７２】
図４３は路上画像取得システムの鉛直方向撮影パターンと画像投影面の関係を示したものである。空中３次元動画生成では撮影した画像の投影面をTerrainとしたが、路上３次元動画生成では人間目線を実現対象としておりTerrainを投影面とすることはできない。また撮影する画像も水平方向および仰角つきの情報であるため、路上から撮影した画像の投影面を図４３に示すように道路と建物の境界線に鉛直に立つ面とする。道路と建物の境界面は近似的に道路の境界面としてもよい。画像投影面の定義は道路の定義とともに厳密に行いデータベース化する必要があるので後述する。またこの方式は人間目線の通路であれば車両の通行可能性とは関係なくどこでもよく、地下通路あるいは建造物内部でも人間の通路があれば適用可能である。図４３ではディジタルカメラ750ｉ〜pの撮影範囲と方向およびディジタルカメラ750ａ〜ｈの撮影範囲と方向を例示した。
【００７３】
本発明の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムでは、道路ないし通路の境界面を画像の投影面とする関係上、道路のいかなる場所からでも動画像の原画像が検索できなければならず、また登録できなくてはならない。検索には高速性が要求され、また人間目線でのあらゆる方向からの画像を登録・検索できなくてはならない。この目的に沿う道路データベースシステムを図４４から図５０に説明する。ここでの記述が路上３次元動画生成システムの技術的な基礎となる。
【００７４】
図４４にグラフによる道路の記述方法を記載する。あらゆる道路は幅があり、その中心線でグラフを形成して道路表現の基本とする。この道路の中心線を中心線グラフ780といい。端点と辺から構成される。道路の交差点、合流点、分岐点、変針点には必ず端点が存在する。道路は必ず両端が端点である連続した辺と端点の集合として定義され、道路ID No．777が一意に付与される。図４５は緯度経度から道路を検索する方法を示したものである。緯度経度で例えば０．１秒単位でメッシュを作ると、東京地方では、経度方向で２．５ｍ、緯度方向で３ｍのメッシュとなる。このようにメッシュを作ると各メッシュには必ず道路が存在するかしないかのいずれかとなる。このメッシュを地表セル781と呼ぶ。道路が存在する場合には道路ID No.を地表セル781に割り当てることにより緯度経度が判明する任意の地点より道路があれば道路にアクセスできる。このように定義すると１つのメッシュが複数の道路ID No.に関係を持つ場合が発生する。地表セル中心点782から中心線グラフに垂線を下ろし、その足との距離が最短の道路ID Noを該地表セルの道路ID Noと定義する。図４５右下に拡大した交差点の図の例では、垂線を中心線グラフ780に２本下ろすことができ、この場合は垂線の足Ａ783aと垂線の足B783ｂの垂線の短いほうである垂線の足B783ｂの道路ID No．を選定する。
【００７５】
図４６は道路の構造を記述するための道路データベースの構造を規定している。地表セル道路インデクステーブルＣＬＬＲＤＩＮＸＴはメッシュ化された緯度経度のインデックス（ｉ，ｊ）から道路ID No.と、道路ID No.に対応した道路グラフデータを記載した道路グラフデータテーブルの該当グラフ部分を示すための相対レコードアドレスを検索できる。道路グラフアドレステーブルＲＤＧＲＡＤＲＴは道路ID No.に対応して道路グラフデータテーブルＲＤＧＤＴ内での開始アドレスを指定する。これは、道路グラフデータテーブルＲＤＧＤＴが道路ID No.によって端点と辺のサイズがことなるためである。道路グラフデータテーブルＲＤＧＤＴは道路の構造をグラフとして記述する。第１レコードは道路ID No.であり、第２レコードは全部の端点数である。道路は開始点から順次、端点座標および次の端点までの辺の属性を記述する形で道路ID No.で指定される道路の範囲が尽きるまで繰り返される。属性には下記の３種類がある。
タイプ１属性 次の端点までの辺に関する属性
ａ投影面コード ０ 辺の両側に投影面がない。
１ 辺の進行方向左側だけに投影面がある。
２ 辺の進行方向右側だけに投影面がある。
３ 辺の進行方向両側に投影面がある。
ｂ幅員 道路の両端の中心線グラフからの距離を示す。
タイプ２属性 端点における道路接続に関する情報
ａ接続先道路ID No.
ｂ接続先道路ID No.に対応した道路グラフデータテーブルＲＤＧＤＴにおける接続点の相対レコードアドレス この情報は道路の接続が交叉か分岐か合流かを判別するために使用する。
タイプ３属性 端点における道路終了を示す。
【００７６】
以下、実際に存在するケースに対応して道路グラフデータテーブルの構築方法を説明する。
図５０ａでは直交交差点の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交差点の中央にある端点k,i+2 792k,i+2と端点l,j+2
793l,j+2で交差している。端点の表記で添え字を2個用いるのは、最初の添え字が道路ID No.を表し、２番目の添え字が同一道路ID No.内における端点の順番を示すためである。なおこの端点は同一の端点を双方の道路で別々に名づけたものである。道路ID No.=k 777kの構造記述を図５０ａ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ａに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点k,i＋１)。端点k,i+2
792k,i+2で道路ID No.=ｌ(エル) 777lと交叉し（属性コード=ｌ(エル)）属性の２は道路ID No.=ｌ（エル） 777lのレコードアドレスが２の端点で交叉していることを示す（端点k,i＋２)。端点k,i+3 792k,i+3で交叉点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ａ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795lと図５０ａに即して説明する。道路ID No.=ｌ 777ｌは下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点l,j＋１)。端点l,j+2 793l,j+2で道路ID No.=k 777kと交差し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で交差していることを示す（端点l,j＋２)。端点l,j+3 793l,j+3で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋３)。さらに端点l,j+4 793l,j+4以降に続く。
【００７７】
図５０ｂでは３叉路の記述方法を示す。道路ID No.=k 777kから道路ID No.=ｌ（エル） 777lが３叉路の中央にある端点k,i+2 792k,i+2と端点l,j 793l,jで分岐している。道路ID No.=k 777kの構造記述を図５０ｂ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ｂに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で３叉路に入った結果投影面は右側のみとなり（属性コード=2）、幅員がｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で道路ID No.=ｌ(エル) 777lと分岐し（属性コード=ｌ(エル)）、属性の0は道路ID No.=ｌ（エル）
777lのレコードアドレスが0の端点すなわち開始点で分岐していることを示す（端点k,i＋２)。端点k,i+3
792k,i+3で３叉路を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｂ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795ｌと図５０ｂに即して説明する。道路ID No.=ｌ 777ｌは３叉路の端点ｌ,ｊ 793l,jよりスタートし、道路ID
No.=k 777kから分岐し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で分岐していることを示す（端点l,j)、次の端点l,j+1 793l,j+1までは３叉路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点l,j)。端点l,j+1 793l,j+1で３叉路を出た結果両側に投影面が存在するようになり（属性コード=3）、幅員はｗｌとなる（端点l,j＋１)。さらに端点l,j+2 793l,j+2以降に続く。
【００７８】
図５０ｃでは分岐路の記述方法を示す。道路ID No.=k 777kから道路ID No.=ｌ（エル） 777lが分岐路の中央にある端点k,i+2 792k,i+2と端点l,j 793l,jで分岐している。道路ID No.=k 777kの構造記述を図５０ｃ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ｃに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で３叉路に入った結果投影面は右側のみとなり（属性コード=2）、幅員がｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で道路ID No.=ｌ(エル) 777lと分岐し（属性コード=ｌ(エル)）、属性の0は道路ID No.=ｌ（エル）
777lのレコードアドレスが0の端点すなわち開始点で分岐していることを示す（端点k,i＋２)。端点k,i+3
792k,i+3で分岐路を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｃ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795ｌと図５０ｃに即して説明する。道路ID No.=ｌ 777ｌは分岐路の端点ｌ,ｊ 793l,jよりスタートし、道路ID
No.=k 777kから分岐し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で分岐していることを示す（端点l,j)、次の端点l,j+1 793l,j+1までは分岐路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点l,j)。端点l,j+1 793l,j+1で左側に投影面が存在するようになり（属性コード=１）、幅員はｗｌとなる（端点l,j＋１)。端点l,j+2 793l,j+2で分岐路を抜け出し両側に投影面が存在するようになり（属性コード=３）、幅員はｗｌとなる（端点l,j＋2)。さらに端点l,j+3 793l,j+3以降に続く。
【００７９】
図５０ｄでは道路変針の記述方法を示す。道路ID No.=k 777kの構造記述を図５０ｄ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ｄに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で向きを変えるが投影面は両側のままで（属性コード=3）、幅員がｗｋである（端点k,i＋１)。さらに端点k,i+2 792k,i+2以降に続く。
【００８０】
図５０ｅでは非直交交差点の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交叉点の中央にある端点k,i+3 792k,i+3と端点l,j+3 793l,j+3で交叉している。道路ID No.=k 777kの構造記述を図５０e−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０eに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果投影面が左側のみとなり（属性コード=1）、幅員はｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる（端点k,i＋２)。端点k,i+3 792k,i+3で道路ID No.=ｌ(エル) 777lと交差し（属性コード=ｌ(エル)）属性の3は道路ID No.=ｌ（エル）
777lのレコードアドレスが3の端点で交差していることを示す（端点k,i＋3)。端点k,i+3
792k,i+3で右側に投影面が出現し（属性コード=3）、幅員がｗｋである（端点k,i＋４)。端点k,i+5
792k,i+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋5)。さらに端点k,i+6 792k,i+6以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｅ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795lと図５０ｅに即して説明する。道路ID No.=ｌ 777ｌは左下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1
793l,j+1で交差点に入った結果左側の投影面が無くなり（属性コード=2）、幅員はｗlである。端点l,j+3 793l,j+3で両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点l,j＋3)。端点l,j+3 793l,j+3で道路ID No.=k 777kと交差し（属性コード=k）,属性の３は道路ID No.=k 777kのレコードアドレスが３の端点で交差していることを示す（端点l,j＋3)。端点l,j+4 793l,j+4で左側に投影面が出現し（属性コード=1）幅員がｗｌとなる（端点ｌ,ｊ＋4)。端点l,j+5 793l,j+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋5)。さらに端点l,j+6 793l,j+6以降に続く。
【００８１】
図５０ｆでは５叉路の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交差点の中央にある端点k,i+3 792k,i+3と端点l,j+2 793l,j+2で交差している。道路ID No.=m 777mが道路ID No.=ｌ（エル） 777lへ端点l,j+3 792l,j+3で合流している。道路ID No.=k 777kの構造記述を図５０ｆ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ｆに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果投影面が左側のみとなり（属性コード=1）、幅員はｗｋである（端点k,i＋１)。端点k,i+2
792k,i+2で両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる（端点k,i＋２)。端点k,i+3
792k,i+3で道路ID No.=ｌ(エル) 777lと交差し（属性コード=ｌ(エル)）属性の2は道路ID No.=ｌ（エル） 777lのレコードアドレスが2の端点で交差していることを示す（端点k,i＋3)。端点k,i+4 792k,i+4で左側に投影面が出現し（属性コード=1）、幅員がｗｋである（端点k,i＋４)。端点k,i+5 792k,i+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋5)。さらに端点k,i+6 792k,i+6以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｆ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795lと図５０ｆに即して説明する。道路ID No.=ｌ 777ｌは下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる。端点l,j+2 793l,j+2で道路ID No.=k 777kと交差し（属性コード=k）,属性の３は道路ID No.=k 777kのレコードアドレスが３の端点で交差していることを示す（端点l,j＋2)。端点l,j+3 793l,j+3で道路ID No.=m 777mと合流し（属性コード=m）,属性のnは道路ID No.=m 777mのレコードアドレスがnの端点で合流していることを示す（端点l,j＋3)。端点l,j+4 793l,j+4で右側に投影面が出現し（属性コード=2）幅員がｗｌとなる（端点ｌ,ｊ＋4)。端点l,j+5 793l,j+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋5)。さらに端点l,j+6 793l,j+6以降に続く。道路ID No.=m 777mの構造記述を図５０ｆ−３道路グラフデータテーブルＲＤＧＤＴｍ 795mと図５０ｆに即して説明する。道路ID No.=m 777mは合流路の端点m,n 793m,nで終了し、道路ID No.=l 777lへ合流し（属性コード=ｌ）,属性の３は道路ID No.=ｌ 777ｌのレコードアドレスが３の端点で合流していることを示す（端点m,n)、前の端点m,n-1 793m,n-1からは分岐路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点m,n-1)。その前の端点m,n-2 793m,n-2からは右側のみに投影面が存在しており（属性コード=２）、幅員はｗmとなる（端点m,n-2)。その前の端点m,n-3 793m,n-3からは両側に投影面が存在し（属性コード=３）、幅員はｗmである（端点m,n-3)。
【００８２】
図５１は路上画像取得システムの構成例を示した図であり、カーナビゲーションシステム部801とデータ取得記録システム部800より構成される。カーナビゲーションシステム部803は図４２(ｂ)で規定される撮影ポイント766に車両803を移動経路765に沿って誘導するための装置であり、ＧＰＳ380より車両位置データが周期的に得られる。カーナビゲーションシステム部803の機能は、図５３の路上画像取得計画ファイル111の内容に従い、図５２の路上画像取得システムのカーナビゲーションシステム部の処理フローによって図５４の路上画像取得システムのカーナビゲーションシステム部の表示画面例によって車両を誘導するものである。カーナビゲーションシステム自体は既に公然実施されていて何ら新規性はないものであるが、本発明の目的を実現するために撮影ポイント766に効率的に車両を誘導する部分が本発明に関わるところである。まず走行前に都市のどの部分の道路の路上を取得するか決定する。地図上で撮影範囲を決定し、走行プランを策定する。撮影ポイント766は本発明の目的を達成するように均一かつ高密度に道路ないし通路に沿って設定しなくてはならず、その結果に基づき指定撮影経路825を設定する。各道路に図５３の路上画像取得計画ファイルに示される道路ID No.を割り振り撮影ポイント766を割付け、各道路ID No.の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度で設定する。このようにして図５３の路上画像取得計画ファイルは構築される。該路上画像取得計画ファイルの構築に関わるグラフィックユーザインターフェイスは地図情報システムとして公然実施されている。
【００８３】
カーナビゲーションシステム部801の機能は図５２に記載の路上画像取得システムのカーナビゲーションシステム部の処理フローによって示される。
処理ブロック810で路上取得計画ファイルに登録されている道路ID No.の中から撮影予定の道路ID No.についてすべての撮影が終了するまで図５４の表示を順次に行う。指定された道路ID No.には開始座標があるので、処理ブロック811で該道路ID No.を開始するために走行開始点の位置、進行方向、速度を指定して図５４の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック811で規定された条件を一定の誤差範囲、たとえば位置誤差で１ｍから５ｍ以下の精度で満足しなくてはならず、満足しない場合には再度走行をやり直す。処理ブロック810で選択された道路ID No.の路上画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック812および処理ブロック813によりガイダンスする。
【００８４】
データ取得記録システム部 800には車両803の姿勢を観測するＩＭＵ400と、ディジタルカメラ750の制御と撮像データ処理のためのプログラムを含む路上撮影制御システム806と、画像データをふくむ各種データを記憶する大容量ディスク装置で構成される路上画像一次ファイル112と、ディジタルカメラ750に対する撮影指令を出すための撮影ポイントを記憶している路上画像取得計画ファイル121を搭載している。車両803の位置計測用のＧＰＳ380のアンテナを機外に有している。
【００８５】
図５５は図５１のデータ取得記録システム部800の構成機器間の情報の流れを示している。図５６は路上撮影制御システム806の処理フローを説明している。路上撮影制御システム806はＣＰＵで構成される。路上撮影制御システム806はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、車両803の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。車両803に固定されたＩＭＵ400は車両の姿勢データ828を、ＧＰＳ380はＧＰＳアンテナの位置データ830を周期的に路上撮影制御システム806に送り込む。路上撮影制御システム808の処理は図５６に詳説しているが、路上画像取得計画ファイル111の内容と得られたＧＰＳアンテナの位置データ380と車両の姿勢データ828を処理ブロック834と処理ブロック835で順次照合し、道路ID No.を特定し、当該道路ID No.の撮影終了ないし、経路離脱まで、順次処理ブロック836で指定道路ID No.の撮影点の直近点を通過中かを判定し、撮影許容範囲内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ750に処理ブロック837で一斉に撮影指令457を送ると同時に図５７に示す路上画像一次ファイル内の車両データ部分840を処理ブロック838で書き込む。ディジタルカメラ750は内部に本発明の時点で３２ＧＢのメモリを保有できるので撮影した路上画像データ827を少なくともひとつの道路ID No.が終了するまで保持することができる。車両803は、ひとつの道路ID No.を終了し、次の道路ID No.に入るまでの間にディジタルカメラ750内の路上画像データ827を車載の大容量ディスク装置で構成される路上画像一次ファイル112に処理ブロック839で転送し、ディジタルカメラ750内部のメモリを空にする。
【００８６】
図５７に路上画像一次ファイル112の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した各画像ごとに用意される。ヘッダ部のカメラＩＤはディジタルカメラ集合体755を構成する各ディジタルカメラ750a〜ｐ識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は車両データ部分840と対応する撮影時刻であり、路上画像データベース生成登録処理130において、統合して各ディジタルカメラ750a〜iの光軸方向を算定するのに用いられる。画像データ部分471は加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は走行中固定であるので、同一設定値を書き込む。
【００８７】
図５８に車載用安定プラットフォーム装置395のもっとも単純な構成例を示す。
安定プラットフォーム装置395は図３０の航空機搭載用安定プラットフォームと同一構造であるが車両天井板上に設置され、安定プラットフォーム装置395上に車載用のディジタルカメラ集合体755が設置される。
【００８８】
路上画像データベース生成登録システム130と路上画像データベース150について図５９から図６７までを用いて詳細に説明する。
路上画像データベースは画像投影面と視線と視点から検索する関係上、まず画像投影面の構造と道路グラフデータベース151の構造関係を定義しなくてはならない。図６３に道路グラフの方向と視線ベクトルの方向による画像投影面について説明する。路上で通路に沿って全周を撮影した路上画像は道路の境界線にある投影面に投影し、視線と視点の位置関係によってモーフィング処理を行うが、進行方向または進行反対方向の映像は道路が細長いため画像を投影するためには極めて長い道路境界面を必要とし実現が困難となる。
【００８９】
この問題を解決するために、進行方向または進行反対方向ないしそれに近い方向の映像については道路の左右境界面ではなく図６３で点線で示したように前方仮想投影面878と後方仮想投影面879を設けてこれに実画像を投影する。なお、前方仮想投影面878と後方仮想投影面879の位置は路上視点によって移動する。図６３の例では道路の進行方向すなわち道路グラフと視線のなす角882が左右２０°の範囲であれば前方仮想投影面878を使用し、路上画像取得システム110で撮影した前方画像を使用し、道路グラフと視線のなす角882が左右１６０°から１８０°の範囲であれば後方仮想投影面879を使用し、路上画像取得システム110で撮影した後方画像を使用する。道路グラフと視線のなす角882が左側２０°から１６０°の範囲であれば左投影面880を使用し、路上画像取得システム110で撮影した進行方向に対して左斜め前方、左、左後方画像を使用し、道路グラフと視線のなす角882が右側２０°から１６０°の範囲であれば右投影面881を使用し、路上画像取得システム110で撮影した進行方向に対して右斜め前方、右、右後方画像を使用する。ここでは道路グラフと視線のなす角882が前方左右２０℃、後方左右１６０°で投影面を切り替える例を述べたが、この度数は現実のリアリティーに応じて可変とすることもできるし、実地でのリアリティーにより増減させることができるが、以下では具体例として２０°を選定している。以下、路上画像データベース生成登録システム130、路上画像データベース150、路上３次元動画生成システム170は以上に説明した投影面の方式に沿って構築されている。
【００９０】
次に画像投影面の構造について図６４を用いて説明する。本発明の路上３次元動画生成システムは視点と視線が定まると、投影面を定めて、最適な実画像を検索し、視差に応じてモーフィングを行う。このため与えられた視点と視線に対して視差の少ない実画像が存在し、かつ該実画像を高速に検索できなくてはならない。道路ID No.ｍの任意の点を指定するために、端点列を定義してグラフで道路の先頭からｍ番目の端点とそれに続く辺の区間上の位置に対して、「端点ｍ，ｉ座標（ｘｍｉ，ｙｍｉ）」と表現するが、該区間は道路の形態により決まっており投影面の定義には長すぎる。このため図６４に記すように、投影面区分として道路グラフの方向に対して左側と右側、さらに該辺に対応する左右の投影面を「投影面区分」と定義して端点と辺で構成されるグラフとして細分する。端点ｍ，ｉ座標（ｘｍｉ，ｙｍｉ）890に対応する道路グラフの方向883の左側の投影面区分を、
第０番目を 投影面区分ｍｉｌ０座標（ｘｍｉｌ０，ｙｍｉｌ０）891
第１番目を 投影面区分ｍｉｌ１座標（ｘｍｉｌ１，ｙｍｉｌ１）892
第２番目を 投影面区分ｍｉｌ２座標（ｘｍｉｌ２，ｙｍｉｌ２）893
第３番目を 投影面区分ｍｉｌ３座標（ｘｍｉｌ３，ｙｍｉｌ４）894
以下同様
と名づけて定義する。添え字ｌは左側を示す。
同様に道路グラフの方向883の右側の投影面区分を、
第０番目を 投影面区分ｍｉｒ０座標（ｘｍｉｒ０，ｙｍｉｒ０）895
第１番目を 投影面区分ｍｉｒ１座標（ｘｍｉｒ１，ｙｍｉｒ１）896
第２番目を 投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897
第３番目を 投影面区分ｍｉｒ３座標（ｘｍｉｒ３，ｙｍｉｒ４）898
以下同様
と名づけて定義する。添え字ｒは右側を示す。各投影面区分は上記に示された端点座標に引き続く道路グラフの方向883の辺で表現される。
【００９１】
次に、路上画像取得システム110で撮影された画像は原画像として、始点の緯度経度が指定されると下記検索手順で検索されるようインデクス体系を構築する。
緯度経度−＞道路ID
No.−＞端点座標―＞投影面区分座標
投影面区分座標と視線方向―＞原画像
図６４において、原画像撮影位置Ｒ903にディジタルカメラ集合体755が存在してその中のディジタルカメラ750のひとつがカメラ光軸を表す正規化ベクトルである画像ベクトルＲ904の画像を撮影し、画像ベクトル904と画像右端Ｒ906が投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897と交差し、画像左端Ｒ905が投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897と交差する。該画像ベクトルと道路グラフの方向883のなす角により、図６３における投影面の使用法が異なるため、下記原則で原画像を投影面区分にリンクさせて登録する。
（１）０°
道路グラフの方向883に対する画像ベクトルとのなす角
左２０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
（２）左２０°
道路グラフの方向883に対する画像ベクトルとのなす角
左１６０°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
（３）左１６０°
道路グラフの方向883に対する画像ベクトルとのなす角
左１８０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
（４）０°
道路グラフの方向883に対する画像ベクトルとのなす角
右２０°
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
（５）右２０°
道路グラフの方向883に対する画像ベクトルとのなす角
右１６０°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
（６）右１６０°
道路グラフの方向883に対する画像ベクトルとのなす角
右１８０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
すなわち（１）（３）（４）（６）は道路グラフの方向883の前後方向に対する画像であるため左右両側の投影面区分に登録する。
【００９２】
上記原則に従い、図６４の原画像撮影位置Ｒ903からの画像ベクトルＲ904は上記（５）の場合に該当し、原画像が投影面区分mir2座標(xmｉr2,ymｉr2)897にリンクして登録される。図６４の原画像撮影位置Ｌ899からの画像ベクトルＬ900は上記（２）の場合に該当し、原画像が投影面区分mil2座標(xmｉl2,ymｉl2)893にリンクして登録される。また、図６５の原画像撮影位置Ｆ907からの画像ベクトルＦ908は上記（４）の場合に該当し、原画像が投影面区分mir１座標(xmｉr1,ymｉr1)896と投影面区分mil１座標(xmｉl1,ymｉl1)892にリンクして登録される。図６５の原画像撮影位置Ｂ911からの画像ベクトルＢ912は上記（３）の場合に該当し、原画像が投影面区分mil2座標(xmｉl2,ymｉl2)893と投影面区分mir2座標(xmｉr2,ymｉr2)907にリンクして登録される。
【００９３】
次に図６６を用いて原画像を投影面区分に登録する場合、画像ベクトルと道路グラフの方向883のなす角により区分する方式を説明する。投影面区分917にリンクして登録される原画像はどのような視線ベクトルで該投影面区分917を見込むかによってさらに区分する。すなわち該投影面区分917を視野に入れる画像について該原画像位置と該投影面区分中心点918を結んだ線が931から937のどのセクタに入るかを区分する。原画像撮影位置a 916aは角度140-160°セクタ
937に、原画像撮影位置c 916cは角度80-120°セクタ 934に区分される。画像ベクトルが道路グラフの方向883とのなす角が前方左右２０°の範囲920に存在する画像ベクトルd 919dは原画像撮影位置d 916dからの垂線の足が投影面区分 917に存在するので角度20-40°セクタ 930に原画像を区分する。画像ベクトルが道路グラフの方向883とのなす角が後方左右２０°の範囲921に存在する画像ベクトルe 919eは原画像撮影位置d 916dからの垂線の足が投影面区分 917に存在するので角度160-180°セクタ 938に原画像を区分する。
【００９４】
以上に道路に対する投影面と画像のインデクス方式について説明したが、図６２に具体的な路上画像インデクス機構の構造を説明する。図４６で説明した道路グラフデータテーブルＲＤＧＤＴ 790を拡張して属性コラムの次に投影面原画像インデクステーブルアドレス873を追加して道路グラフデータテーブル ＲＤＧＤＴm 790mを構成する端点と辺ごとに路上原画像投影用の投影面区分にさらに細分化して記述できるようにする。すなわち道路ID No.ｍの相対レコードアドレスがiの端点に対して投影面原画像インデクステーブルＰＪＩＮＸＴ 871のアドレスＰＪＩＮＸＴＡＤＲmiがリンクされ、該端点m,iに属する投影面区分が開始点より順次、相対コードアドレス874に対応して道路グラフの方向883の左側（左壁）と右側（右壁）に分けて記述される。セル数とは該端点m,iに属する投影面区分の数である。投影面区分の表現は各投影面区分に対してその開始座標で示される。投影面原画像インデクステーブルＰＪＩＮＸＴ 871には左右両壁の各投影面区分に対して投影面原画像アドレステーブルアドレス875 ＰＪＡＤＲＴＡＤＲがあり、図６６に対応した投影面原画像アドレステーブルＰＪＡＤＲＴ 872にリンクする。投影面区分に対応した路上原画像が投影面区分を見込む視線角に応じて区分化されて、各区分に含まれる原画像数が路上画像データ数869として、原画像が路上画像データアドレス870として記載される。このようにして、下記の高速検索機構が完成する。
緯度経度−＞道路ID
No.−＞端点座標―＞投影面区分座標
投影面区分座標と視線方向―＞原画像
【００９５】
次に図６０に従い路上画像データベース153の構造を説明する。路上画像データベース153は路上画像一次ファイル112に取得された情報に基づき、路上画像インデクス機構152と道路グラフデータベース151と整合性を持って構成されなくてはならない。図６０の路上画像データベース153は図５９の路上画像データベース生成登録システムの処理フローに従って生成登録される。処理ブロック843では、路上画像取得システム110で1日の走行中に蓄積した路上画像一次ファイル112を撮影が終了した後、すべての画像について順次処理する。処理ブロック844では図６０の路上画像データベースの画像ヘッダ部850のヘッダーを作成するが図５７の路上画像一次ファイル112の画像ヘッダ部470のヘダーをそのまま転記する。処理ブロック845についても通常は路上画像一次ファイル112の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。処理ブロック846では、画像ヘッダ部850の撮影パラメタを各画像ごとに計算するがその処理について以下に詳述する。
【００９６】
カメラ位置は緯度、経度、高度で規定されるが、通常車載ＧＰＳ380による位置測定がＤＧＰＳである場合には、地表であることもあってそのまま正確な位置が得られるとしてよい。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむので、走行後に走行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行う。路上画像取得システム110の場合、路上を２次元的に移動するのみであることと、画角に比べて撮影点と撮影対象物の距離が近いことから撮影パラメタの計算は空中画像の場合と異なり平面幾何で近似して計算してもよい。第２レコードのカメラ位置（道路ID No.端点相対レコードアドレス,端点座標(x,y),端点距離,中心線左右距離）は道路ＩＤ No，が判明していなければ図４６の地表セル道路インデックステーブル ＣＬＬＲＤＩＮＸＴ 785より検索して道路ＩＤ No，相対レコードアドレスより道路グラフアドレステーブルＲＤＧＲＡＤＲＴ
788、さらに道路グラフデータテーブルＲＤＧＤＴ 790を検索して、道路ID No.端点相対レコードアドレス,端点座標(x,y)までは直ちに判明する。
【００９７】
道路グラフの方向
883は(xm,i+1−xm,i,ym,i+1−ym,ｉ)を正規化して求められ、車両進行方向
853は路上画像一次ファイルの車両データ部分840より得られる正規化ベクトルである。任意のディジタルカメラαの車両進行方向に対する設定方位を
に対する回転行列で表し、ディジタルカメラ設定方位
859 とするとこの数値はディジタルカメラ集合体755の構造が決まれば決まる。
端点距離Ds
852は Ds=
で求められる。 ただし
=
中心線左右距離Dv
853は Dv=
で求められ、道路グラフの左右いずれかにあるかは
の正負で判定する。
原画像撮影位置
916からの画像ベクトル
904が投影面上で交わる点は、任意のスカラーａ、ｂに対して、
ただし、
，
，
，
これを解くと、
【数１３】
投影面区分の長さは通常同一とするが、投影面区分の座標が規定されているので、任意の投影面区分miri座標(xmｉri,ymｉri)までの投影面区分mir0座標(xmｉr0,ymｉr0)895からの総投影面長は判明する。上記nより投影面区分相対アドレスと画像ベクトル投影面区分内位置dc 856は単純な引き算でもとまる。同様に画像左端投影面区分内位置dl 857および画像右端投影面区分内位置dr 858も求めることができる。
【００９８】
次に処理ブロック847で処理ブロック844から846で求めた結果を図６０に示す路上画像データベース153の該当画像データ部分851に格納する。図５９の路上画像データベース生成登録システムの処理フローの最後の処理ブロック848で、処理ブロック847で登録した路上画像データを用いた動画生成のための図６２に示す路上画像インデクス機構を生成する。処理ブロック848の内容は図６１の路上画像データベース生成登録システム130の路上画像インデクス生成処理フローに述べられている。処理の内容は図６２から図６６の説明で詳細に述べた路上画像インデクス機構に基づくものであるが、処理ブロック861で道路グラフデータテーブル内の端点No.より道路グラフの方向を求め、画像ベクトル（撮影光軸）とのなす角度により分岐する。
画像ベクトル方向が道路グラフの方向に対して左側０°から２０°および右側０°から２０°のとき処理ブロック862で前方投影面処理として、直近の左投影面の投影面原画像アドレステーブルの角度160-180°区部分と直近の右投影面の投影面原画像アドレステーブルの角度0-２0°区部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して左側１６０°から１８０°および右側１６０°から１８０°のとき処理ブロック863で後方投影面処理として直近の左投影面の投影面原画像アドレステーブルの角度0-２0°区部分と直近の右投影面の投影面原画像アドレステーブルの角度160-180°区部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して左側２０°から１６０°のとき処理ブロック864で左投影面処理として撮影画像が視野に入れている左側投影面を選出し、処理ブロック865で選出された投影面につき、カメラ位置と投影面中点のなす角に対応じて投影面原画像アドレステーブル内の該当角度部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して右側２０°から１６０°のとき処理ブロック866で右投影面処理として撮影画像が視野に入れている左側投影面を選出し、処理ブロック867で選出された投影面につき、カメラ位置と投影面中点のなす角に対応じてを投影面原画像アドレステーブル内の該当角度部分に原画像データアドレスを登録する。
【００９９】
次に、都市景観３次元動画アミューズメントシステムにおける路上動画生成処理システムにつき説明する。路上動画の生成は図６３のモデルに従い、視点と視線に最も近い原画像を選択して、画像投影面に対する視差を計算してモーフィング処理を行うが、原理的には空中３次元動画生成システムにおける１６０におけるアルゴリズムと同様であるが、人間目線であるので視線は水平面上を動き、垂直軸も傾かないとしてよい。このためモーフィングは２次元的に処理する。全体の処理を図７２に示す。
【０１００】
処理ブロック940では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック941では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック942では、次コマの視野が現コマの原画像に含まれる範囲か路上画像データベースの原画像の撮影パラメタと比較して判断する。含まれていない場合は、最適な原画像を求めなおす必要があり、処理ブロック944へ行く。含まれている場合は、処理ブロック943で現コマの原画像を引き続き使用する設定をおこなう。図６８の例で見ると、視点Ｒ903は原画像撮影位置a 916aで撮影した右前方視の画像が右側の投影面の原画像になりうることを示している。
【０１０１】
処理ブロック944の処理内容はより詳しく図７３の路上３次元動画生成システムの処理おける原画像検索の処理フローと図６３に示される。以下図６３を参照しながら図７３により説明する。処理ブロック950では道路グラフと視線のなす角882により図６３の区分に従い前後の仮想投影面に画像を生成するか、道路に沿った左右の投影面に画像を生成するか判定する。左右投影面視が選択された場合は、処理ブロック953で前回位置と今回位置より、道路ID No. 端点アドレス、座標が求まるので、さらに視点位置、視線ベクトル方向と道路グラフベクトルの関係から、図６３の基準に従い、左投影面か右投影面かを決定する。さらに、処理ブロック954では、前回の位置と今回の位置の変化量、前回視線ベクトルと今回視線ベクトルの変化量より、今回の視線ベクトルと視野左端ベクトル、視野右端ベクトルが交叉する投影面区分を予測する。通常は現コマの投影区分を継続使用するか隣接する投影区分である。処理ブロック955では今回視線ベクトルが交叉する投影面区分を予測値の周辺で探索して求める。処理ブロック956では図６６の区分に従い、図６２の検索機構で投影面原画像アドレステーブルＰＪＡＤＲＴにより今回視線ベクトルと交叉する投影面区分のなす角にもっとも近い角度区分の原画像アドレスを検索して求める。処理ブロック950で図６３の判定により前後の仮想投影面に画像を生成すると判定された場合は、処理ブロック951にて、前回位置と今回位置より、道路ID No. 端点アドレス、座標が求まるので、さらに視点位置、視線ベクトル方向と道路グラフベクトルの関係から、左投影面か右投影面かを決定する。前後視の場合は投影面としては左右の投影面を使用しないが、原画像撮影位置により左右投影面にリンクして登録されているのでこの判定を行う。処理ブロック９５２では図６３の区分意従い、視線ベクトル方向と道路グラフベクトルの関係から、前方視か後方視かを判定し、直近の投影面区分を求めて、投影面原画像アドレステーブルの角度０ー２０°(前方視)または角度１６０ー１８０°(前方視)の区分にある画像を原画像として検索する。図７２の処理ブロック945にもどり、検索した新しい原画像を原画像とする。
【０１０２】
処理ブロック946では図６３の基準により分岐し、処理ブロック948の左右投影面モーフィング処理または、処理ブロック947の前後視界モーフィング処理を行う。処理ブロック948の左右投影面モーフィング処理の内容について図６８と図６９を参照しつつ以下の文章と式で説明する。
原画像ｍに対して原画像撮影位置
672と画像ベクトル
673（ノルム=1）と投影面が決まると、画像ベクトル
673と投影面の交点
と画像の左端、右端と投影面の交点
と
が決まる。投影面を表すベクトル
は道路グラフの方向
883と同一な正規化ベクトルである。
の垂線を
（正規化）とする。
は画像ベクトル
673が
が投影面と交わる点であるが、
を通り、画像ベクトル
に垂直な平面を
という。
は原画像撮影位置視点
671より撮影した画像(視野)である。
-->
への変換が存在して、これを
という。これは原画像ｍの撮影行為である。視点
に対して、視点座標
と視線ベクトル
（ノルム=1）と投影面
（共通）が決まると同様に
と
、
が決まる。
を通り視線ベクトル
に垂直な平面を
という。平面
とは投影面
の中で、視点
による視野で
の一部を構成する。
視点
の視野
と
は
と
と視野角
が決まれば一意に決まる。平面
の平面
への写像は
と
と原画像ｍの画角
が決まれば一意に決まる。
―＞
―＞
の対応により
の
に対応する各画素が、
の
に対応する画素に対応付けられればモーフィングアルゴリズムは完成する。
一般に平面
上の任意の点
は、
=a
+
であらわされる。
ここで垂線条件である、
=0 を代入すると、
=
が得られる。ここで・はベクトル内積をあらわす。
視界の中心線
と投影面
の交点
は、
が
=
+c
を満足することからこれに代入して、
（c
+
）=
よりｃ=
となり、
【数１４】
=
+
＝
で、視点
の画像中心点の投影面
での座標が求められた。
【０１０３】
同様に、視点
の視界の左端、右端の正規化視線ベクトルを
、
とし、これらと投影面
の交点
、
の投影面
での座標を求めることができる。投影面
上の任意の点
は、
=a
+
であらわされ、垂線条件である、
=0 より、左右端の正規化視線ベクトルを
、
に対して、
=
+c
ただしk=Ｌ,を満足する
（c
+
）=
よりｃ=
となり、
【数１５】
=
+
＝
で、視点
の画像の左右端の投影面
での座標が求められた。この平面
上での座標を平面
上での座標に対応付けることにより原画像である平面
上のどの点を視点
の画面に映せばよいか分かる。
上での視点
の画面の中心と左右端点の座標
、
、
（まとめて
、k=Ｌ,Ｒ,Ｃとする）が
上で
、
、
（まとめて
、k=Ｌ,Ｒ,Ｃとする）に対応する。
面上での画面の水平ラインを
とすると
面上の任意の点
は任意定数aに対して
=
=ａ
+
で表される。画像ベクトル
は
に垂直だから
=0なり、また、
と
は画像撮影位置
より見て同一線上にあるから
=d(
-
)+
であるので、d(
-
)+
=ａ
+ｂ
+
となり、
との内積をとって
ｄ=
となるから
【数１６】
=
となる。
=
+
で既に
は求まっているから、これで、視点
の視界の原画面ｍの画面との対応が完成した。
【０１０４】
次に、
をｙ軸に移す変換を求める。ここで、
=1
=
として、ｚ軸周りに回転させると
はｘ軸に載る。
ｚ軸周りの回転は、
【数１７】
で与えられる。
平面
の交点
(k=L,R,C)に対して
をｚ軸に移す変換を施せば、
(k=L,R,C) はx軸の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。以上は２次元モーフィングであるので、図７１に水平線上の対応が画素単位で求められた。視点における視野731の原画像730における対応が水平線上で示される。垂直方向は上下対称で拡大縮小比率は水平線上と同比率である。なお、視線の動きを水平面内に限定しないのであれば、空中３次元動画生成における３次元モーフィング処理を私用してもよい。なお、図７２の処理ブロック947の前後視界モーフィング処理は、視点F 907の視界を撮影点a 916a での原画像から２次元モーフィングで処理ブロック948で述べたのと同様のアルゴリズムで生成する。
以上で本発明になる都市景観の３次元動画生成アミューズメントシステムの路上３次元動画生成に関する説明を終了する。
【０１０５】
図７１に車載用のディジタルカメラ集合体973のもうひとつの構成例を示す。本発明の都市景観の３次元動画生成では、都市の道路構造のため撮像目標とディジタルカメラ集合体の距離が短くなり、隣接する原画像間で視差が大きくなる傾向がある。その結果、生成した動画の滑らかさが劣化することがある。この問題を解決するために進行方向976に対する側方のディジタルカメラの角度ピッチを半分にし、なおかつ全体に広角レンズを採用することにより、より３次元動画生成に適した原画像を収集することができる。
【０１０６】
次に、都市景観の３次元動画生成アミューズメントシステムのグラフィックユーザインターフェイスシステム180に関する説明を図７５を用いて行う。図７５は該グラフィックユーザインターフェイスシステム180の全体構造を示している。図７５と図７６の処理フローと図７７、７８、７９のモニタ表示と入力機能によりグラフィックユーザインターフェイスシステム180が構成される。本発明になる都市景観の３次元動画生成アミューズメントシステムでは空中模擬飛行と路上歩行を自由に切り替えられることが特徴であり、処理ブロック974で空中から地上または地上から空中に切り替えられたか判定する。空中から地上への着地が選択された場合には処理ブロック975で着地点と着地後の進行方向を読み取る。図７７の空中３次元動画用グラフィックユーザインターフェイスで着地ボタン996を短く押した場合には進行方向の斜め下４５度など指定した斜め角の地上に着地し、長く押した場合には押した時間に応じて直下地点に近づくという方法もある。S地上での視線方向は飛行中の向きを維持するのが常識的である。前回から路上模擬で変化がない場合とあわせて処理ブロック974に行き、地上用グラフィックユーザインターフェイスである図７８で進行方向、速度指示を画面より読み込み、位置と速度ベクトルを更新して路上３次元動画生成システム170へ伝える。処理ブロック974で路上３次元動画生成から空中３次元動画生成に切り替わったと判定された場合は処理ブロック977にいく。地上から空中に切り替わるのは図７８でジャンピングボタン984を押された場合であり、押される時間の長さにより、時間が短い場合は進行方向斜め後方一定角度、たとえば４５°の一定高度、たとえば１００ｍ上空とし、押される時間が長いほど前方上空にするなどの方法がある。
【０１０７】
次に、前回から空中３次元動画生成であった場合とあわせて処理ブロック978の空中グラフィックユーザインタフェースシステムに行く。この内容は図７６にさらに記されている。処理ブロック979では図７７の空中グラフィックユーザインタフェースより、進行方向、スロット、昇降指示を画面より読み込み、位置と速度ベクトルを更新する。空中３次元動画生成ではコックピット表示を３次元映像表示 990に行うだけでなく、機能ボタン1001による選択によりカメラ表示に切り替えることができる。これは空中３次元動画生成システム160が始点位置のトラジェクトリと視線ベクトルのトラジェクトリを自由に取れることに対応している。処理ブロック980でコックピット表示が選択された場合には処理ブロック983に進み、視線ベクトルを進行方向に設定、視野角は規定値に設定し、空中３次元動画生成システム160に情報を伝達する。処理ブロック980でカメラが選択されたと判定された場合は、処理ブロック981で図７７の空中グラフィックユーザインタフェースよりカメラ方向、チルト角、ズーム設定値を取り込み、処理ブロック982で視点、視線、およびズームによる視野角を計算して空中３次元動画生成システム160に情報を伝達する。
【０１０８】
以下、図７７、７８、７９について今までに説明していない部分を説明する。図７７の方位インジケータ991は飛行方向を示し、高度インジケータは飛行高度を示す。地図表示988は現在の飛行位置を地図で表示する。この機能はGISとして公然実施されている。図７８は路上３次元動画生成の映像表示であり人間目線で市街を表示する。機能ボタン1001は後日に備えて機能追加を可能とするほか、地図表示983を中央の道路の上に配置してガイド機能がよくなるように工夫している。コメント表示ウィンドウ1000は地域に依存した広告などの表示が可能である。図７９は路上3次元動画生成の進行方向と視線指定の別の方法であり、画面を領域に分割しておき、マウスなどによるカーソルの画面上の位置で操作入力の意味を変えるもので、前後進998の場所を指定された場合は矢印の方向に前進ないし後退し、左折右折997の場所を指定された場合は矢印の方向に左折ないし右折進行し、左右視線変更999の場所を指定された場合は矢印の方向に視線を左向きないし右向きに変更する。
【産業上の利用可能性】
【０１０９】
本発明の航空写真撮像システムは、航空機に搭載されるカメラの制御装置及び撮像データ処理装置として産業上利用することができる。
【図面の簡単な説明】
【０１１０】
【図１】本発明の都市景観３次元動画アミューズメントシステム全体構成を概略的に示す図である。
【図２】図１に示す都市景観３次元動画アミューズメントシステムにおける空中画像取得の概念を示す図である。
【図３】３次元動画におけるモーフィングの概念図である。
【図４】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いたモーフィングによる動画像生成の概念について説明する図である。
【図５】本発明の航空機による空中画像取得システムの運用例について説明する図である。
【図６】本発明の空中画像取得システムの処理フローについて説明する図である。
【図７】本発明の航空機搭載ディジタルカメラ集合体の例について説明する図である。
【図８】本発明の航空機による空中画像取得システムの航路および撮影ポイントの設定例を示す図である。
【図９】本発明の空中画像取得システムの構成例を示す図である。
【図１０】本発明の空中搭載画像取得システムのフライトナビゲーションシステム部の処理フローを示す図である。
【図１１】本発明の空中画像取得計画ファイルの構成例を示す図である。
【図１２】本発明の空中画像取得システムのフライトナビゲーションシステム部の表示画面の例を示す図である。
【図１３】本発明の空中画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図１４】本発明の空中画像取得システムの撮影制御システムの処理フローを示す図である。
【図１５】本発明の空中画像一次ファイルの構造を示す図である。
【図１６】本発明の空中画像データベース生成登録システムの処理フローを示す図である。
【図１７】本発明の空中画像データベース構成を示す図である。
【図１８】本発明のモヤ影響除去処理における画像と視野の関係を示す図である。
【図１９】本発明のモヤ影響除去処理における画像特性パラメータグラフ例を示す図である。
【図２０】本発明のモヤ影響除去処理の処理フローを示す図である。
【図２１】本発明のモヤ影響除去処理の処理結果例を示す図である。
【図２２】本発明の空中画像データベース生成登録システムの空中画像インデクス生成登録処理フローを示す図である。
【図２３】本発明の空中画像インデクス機構の構造と用語の定義を示す図である。
【図２４】本発明の空中画像インデクス機構の構造を示す図である。
【図２５】本発明の立体角セルのインデックス構造を示す図である。
【図２６】本発明の空中画像インデクスと関連テーブルの相互関連を示す図である。
【図２７】本発明のディジタルカメラ集合体の３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す図である。
【図２８】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の構成例を示す図である。
【図２９】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲図を示す図である。
【図３０】本発明の航空機搭載用安定プラットフォームの構造例を示す図である。
【図３１】本発明の安定プラットフォームの信号情報フローを示す図である。
【図３２】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いたモーフィングによる動画像生成の変数を説明する図である。
【図３３】本発明の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローを示す図である。
【図３４】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いた３次元動画生成処理の原画像検索の処理フローを示す図である。
【図３５】本発明の３次元動画生成処理の原画像選択論理を示した図である。を示す図である。
【図３６】本発明の３次元動画生成処理での視点における視野と原画像の関係を示す図である。
【図３７】本発明の視線ベクトルとTerrainの交点の関係を示す図である。
【図３８】本発明の視点における視野と原画像の関係を示す図である。
【図３９】本発明の視点Ｐ（ｔi）からの視野を示す図である。
【図４０】本発明の路上画像取得システムの処理フローを示す図である。
【図４１】本発明の車載ディジタルカメラ集合体構成例を示す図である。
【図４２】本発明の路上画像取得システムの経路および撮影ポイントの設定例と撮影範囲を示す図である。
【図４３】本発明の路上画像取得システム鉛直方向撮影パターンと画像投影面の関係を示す図である。
【図４４】本発明のグラフによる道路の記述を説明する図である。
【図４５】本発明の緯度・経度による道路検索方式を説明する図である。
【図４６】本発明の道路グラフデータベースの構造を説明する図である。
【図５０ａ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｂ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｃ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｄ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｅ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｆ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５１】本発明の路上画像取得システムの構成例を示す図である。
【図５２】本発明の路上画像取得システムのカーナビゲーションシステム部の処理フローを示す図である。
【図５３】本発明の路上画像取得計画ファイルの構成例を示す図である。
【図５４】本発明の路上画像取得システムのカーナビゲーションシステムの表示画面例を示す図である。
【図５５】本発明の路上画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図５６】本発明の路上画像取得システムのデータ取得記録システム部の処理フローを示す図である。
【図５７】本発明の路上画像一次ファイルの構造を示す図である。
【図５８】本発明の車載用安定プラットフォームの構造例を示す図である。
【図５９】本発明の路上画像データベース生成登録システムの処理フローを示す図である。
【図６０】本発明の路上画像データベースの構成を示す図である。
【図６１】本発明の画像データベース生成登録システムの路上画像インデクス生成処理フローを示す図である。
【図６２】本発明の路上画像インデクス機構の構造を示す図である。
【図６３】本発明の道路グラフの方向と視線ベクトルの方向による動画生成処理を説明する図である。
【図６４】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて視線方向が投影面を向いている場合の処理を説明する図である。
【図６５】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて視線方向が投影面にほぼ平行な場合の処理を説明する図である。
【図６６】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて投影面と原画像撮影光軸の関係を示す図である。
【図６７】本発明の路上画像データベースの撮影パラメタの計算法を示す図である。
【図６８】本発明の路上３次元動画生成システムにおける原画像の選択について説明する図である。
【図６９】本発明の路上３次元動画生成システムにおける投影面に対するモーフィングの方式を示す図である。
【図７０】本発明の路上３次元動画生成システムにおける投影面にほぼ平行な視界に対するモーフィングの方式を示す図である。
【図７１】本発明の路上３次元動画生成システムの処理フローを示す図である。
【図７２】本発明の路上３次元動画生成システムの処理フローを示す図である。
【図７３】本発明の路上３次元動画生成システムの処理おける原画像検索の処理フローを示す図である。
【図７４】本発明の車載ディジタルカメラ集合体のもうひとつの構成例を示す図である。
【図７５】本発明のグラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図７６】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図７７】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの表示例を示す図である。
【図７８】本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの表示例を示す図である。
【図７９】本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの方向盛業カーソル機能を示す図である。
【符号の説明】
【０１１１】
100 空中画像取得システム
101 空中画像取得計画ファイル
102 空中画像一次ファイル
110 路上画像取得システム
111 路上画像取得計画ファイル
112 路上画像一次ファイル
120 空中画像データベース生成登録システム
121 ＤＥＭファイル
122 ＤＧＰＳファイル
130 路上画像データベース生成登録システム
140 空中画像データベース
142 空中画像インデクス機構
143 空中画像データベース
150 路上画像データベース
151 道路グラフデータベース
152 路上画像インデクス機構
153 路上画像データベース
160 空中３次元動画生成システム
165 空中画像検索エンジン
170 路上３次元動画生成システム
175 路上画像検索エンジン
180 グラフィックユーザインターフェイスシステム
190 インターネット
191 ユーザ
200 都市
210 視線
220 充分小さい立体角の範囲 1
221 充分小さい立体角の範囲
ｉ
222 天球
230 建物および視線方向の関係図
240 視線方向１
241 視線方向１より見た画像
250 視線方向２
251 視線方向２より見た画像
260 空中画像
ｉ
261 空中画像
ｉ+1
270 視点経路 P(t)
271 時刻
ｔ の視線
272 時刻
ｔ+δｔ の視線
273 時刻
ｔ+2δｔ の視線
274 時刻
ｔ+3δｔ の視線
275 時刻
ｔ+4δｔ の視線
276 時刻
ｔ+5δｔ の視線
280 目標トラジェクトリ T(t)
300 飛行経路
301 航空機
310 撮影ポイント
320 ディジタルカメラ集合体光軸方向
330 撮影ポイント設定プロセス
331 撮影プロセス
332 空中画像一次ファイル生成プロセス
350a〜i ディジタルカメラ
360 ディジタルカメラ集合体
370 撮影方向
371 飛行方向撮影間隔
372 飛行航路間撮影間隔
373 航空機位置
375a〜i ディジタルカメラ350a〜iの撮影範囲
380 GPSアンテナ
385 フライトナビゲーションシステム部
386 フライトナビゲーションシステム
387 アビオニクス情報
388 航空計装
390 データ取得記録システム部
391 メタデータファイル
393 空中撮影制御システム
394 安定プラットフォーム制御システム
395 安定プラットフォーム装置
396 ＩＭＵ
397 航空機床穴
398 航空機床
400 ＩＭＵ
420〜425 処理ブロック
430 航路No.1撮影座標ファイル
431 航路No.２撮影座標ファイル
432 航路No.ｍ撮影座標ファイル
437 撮影ガイダンス表示
438 航路内残撮影ポイント数表示
439 航路No.表示
440 撮影許容範囲
441 飛行方向
442 方位表示
443 姿勢表示
444 左右傾斜表示
445 昇降姿勢軸表示
446 位置偏差表示
447 水平偏差軸
448 高度偏差軸
450 安定プラットフォームの姿勢データ
451 航空機の姿勢データ
452 GPSアンテナの位置データ
453 ディジタルカメラ撮影パラメタ
454 カメラパラメタ
455 空中画像データ
456 撮像ポイントデータ
457 撮影指令
460〜465 処理ブロック
470 画像ヘッダ部分
471 画像データ部分
472 航空機データ部分
480〜486 処理ブロック
490 画像ヘッダ部分
491 画像データ部分
495 撮影画像
496 近景部分ａ
497 近景部分ｂ
498 遠景部分
499 撮影地表部分
500 正規化ヒストグラム
501 近景部分ａヒストグラム
502 遠景部分ヒストグラム
503 ヒストグラム下限値
504 ヒストグラム上限値
505 値幅
506 中央値
507 輝度上限値
508 輝度軸
509 画素数軸
510 数値軸
511 ディジタルカメラよりの距離軸
512 中央値フィッティング曲線
513 値幅フィッティング曲線
514 近景部分ａ値幅
515 近景部分ａ中央値
516 遠景部分中央値
517 遠景部分値幅
520〜524 処理ブロック
530 モヤ影響除去前画像
531 モヤ影響除去後画像
540〜545 処理ブロック
549 地表画像範囲
550 撮影位置
551 画像ベクトル（正規化）
552 画像距離
553 フレーム回転角
554 Terrain上中心点座標
555 Terrain上最近右座標
556 Terrain上最遠右座標
557 Terrain上最遠左座標
558 Terrain上最近左座標
559 地表セル
560 Terrain
570 天頂ベクトル
571 天頂離角
572 天頂インデックスｉ
573 立体角セル
574 立体角セル中心ベクトル
575 地表セル中心点
580 天頂インデックス０
581 天頂インデックス１
582 天頂インデックス２
583 天頂インデックス３
584 立体角セルアドレス（０．０）
585 立体角セルアドレス（１．０）
586 立体角セルアドレス（１．１）
587 立体角セルアドレス（１．２）
588 立体角セルアドレス（２．０）
589 立体角セルアドレス（２．１）
590 立体角セルアドレス（２．２）
597 天頂インデックスパラメタテーブル
ＺＮＰＲＭＴ
598 方位インデックスパラメタテーブル
ＤＲＰＲＭＴ
599 方位数
600 地表セル位置インデックステーブル ＴＣＩＮＸＴ
601 経度インデックス
ＬＯＮＩＮＸ
602 緯度インデックス ＬＡＴＩＮＸ
603 天頂インデックステーブルアドレス
604 天頂インデックステーブル ＺＮＩＮＸＴ
605 方位インデックステーブルアドレス
606 方位インデックステーブル
ＤＲＩＮＸＴ
607 画像アドレステーブルアドレス
608 画像アドレステーブル ＧＡＤＤＲＴ
610 焦点の長い望遠レンズのディジタルカメラ
611 焦点の短い望遠レンズのディジタルカメラ
612 標準レンズディジタルカメラ
613 標準レンズディジタルカメラの撮影範囲
614 焦点の短い望遠レンズのディジタルカメラの撮影範囲
615 焦点の長い望遠レンズのディジタルカメラの撮影範囲
620j〜y ディジタルカメラ
621 ディジタルカメラ集合体
630j〜y ディジタルカメラ550 j〜yの撮影範囲
635 固定部
636 上下動部
637 回転部
640 回転駆動機構
641 上下駆動機構Ａ
642 上下駆動機構Ｂ
643 上下駆動機構Ｃ
644 上下駆動機構Ｄ
645 ベアリング機構
646 安定プラットフォームの姿勢データ
647 ロー、ピッチ方向の制御
648 ヨー方向の制御
649 上下運動
650 回転運動
666 空中画像ｍ−１
667 空中画像ｍ
670 原画像撮影位置Sm-1
671 原画像撮影位置Sm
672 画像ベクトルGm-1
673 画像ベクトルGm
675 視点 Ｐ（ｔ1）
676 視点 Ｐ（ｔ2）
677 視点 Ｐ（ｔ3）
678 視点 Ｐ（ｔ4）
679 視点 Ｐ（ｔi）
680 視線ベクトルトラジェクトリ V（ｔ）
681 視線ベクトル V （ｔ1）
682 視線ベクトル V （ｔ2）
683 視線ベクトル V （ｔ3）
684 視線ベクトル V （ｔ4）
685 視線ベクトル V （ｔi）
690〜697 処理ブロック
700〜705 処理ブロック
710 原画像撮影位置SA
711 原画像撮影位置SB
712 原画像撮影位置SC
713 遮蔽物
714 Terrain上可視範囲
715 Terrain上最近右座標Ｚm1
716 Terrain上最遠右座標Ｚm2
717 Terrain上最遠左座標Ｚm3
718 Terrain上最近左座標Ｚm4
719 Terrain上中心座標ＺmC
720 Terrain上左端中点Ｚm34
721 Terrain上右端中点Ｚm12
722 Terrain上上端中点Ｚm23
723 Terrain上下端中点Ｚm41
724 Terrain上視野縦ベクトルＺmV
725 Terrain上視野横ベクトルＺmH
726 Terrain上視野垂直ベクトルｎm
727 Terrain平面
730 原画像
731 視点における視野
732 フレーム画角(横)
733 フレーム画角(縦)
734 視野右下端点Vi1
735 視野右上端点Vi2
736 視野左上端点Vi3
737 視野左下端点Vi4
741〜743 処理ブロック
750a〜w ディジタルカメラ
755 ディジタルカメラ集合体
760a〜p ディジタルカメラ750a〜pの撮影範囲
765 移動経路
766 撮影ポイント
767 撮影方向
768 道路境界線
769 道路または通路
770 画像投影面
771 建物
775 端点
776 辺
777k〜n 道路ＩＤ Ｎｏ．k〜n
779 端点座標
780 中心線グラフ
781 緯経度セル
782 緯経度セル中心点
783a〜b 垂線の足Ａ〜Ｂ
785 地表セル道路インデックステーブル CLLRDINXT
786 経度インデックス
787 緯度インデックス
788 道路グラフアドレステーブル RDGRADRT
789 道路ID No
790 道路グラフデータテーブル RDGDT
791 属性
792k,i〜792k,i+6 端点k,i〜k,i+6
793l,j〜793l,j+6 端点l,j〜l,j+6
794m,n-3〜794m,n 端点m,n-3〜m,n
795k〜m 道路グラフデータテーブル RDGDT k〜m
796 相対レコードアドレス
800 データ取得記録システム部
801 カーナビゲーションシステム部
802 カーナビゲーションシステム端末
803 車両
804 メタデータファイル
805 路上画像データファイル
806 路上撮像制御システム
807 車両天井板
810〜813 処理ブロック
820 道路ID No.1撮影座標ファイル
821 道路ID No.２撮影座標ファイル
822 道路ID No.ｍ撮影座標ファイル
825 指定撮影経路
826 撮影ポイントデータ
827 路上画像データ
828 車両の姿勢データ
829 安定プラットフォームの姿勢データ
830 GPSアンテナの位置データ
831 ディジタルカメラ撮影パラメタ
832 路上画像データ
834〜839 処理ブロック
840 車両データ部分
843〜848 処理ブロック
850 画像ヘッダ部分
851 画像データ部分
852 端点距離
853 中心線左右距離
854 車両進行方向
855 原画像撮影位置の投影面区分内位置
856 画像ベクトル投影面区分内位置
857 画像左端投影面区分内位置
858 画像右端投影面区分内位置
859 ディジタルカメラ設定方位
860〜867 処理ブロック
869 路上画像データ数
870 路上画像データアドレス
871 投影面原画像インデクステーブル PJINXT
872 投影面原画像アドレステーブル PJADRT
873 投影面原画像インデクステーブルアドレス
874 相対レコードアドレス
875 投影面原画像アドレステーブルアドレス
876 路上視線
877 路上視点
878 前方仮想投影面
879 後方仮想投影面
880 左投影面
881 右投影面
882 道路グラフと視線のなす角
883 道路グラフの方向
884 画像撮影光軸
885 前方投影面処理範囲
886 左投影面処理範囲
887 後方投影面処理範囲
888 右投影面処理範囲
890 端点m, i 座標 (xm,ｉ,ym,ｉ)
891 投影面区分mil0座標(xmｉl0,ymｉl0)
892 投影面区分mil1座標(xmｉl1,ymｉl1)
893 投影面区分mil2座標(xmｉl2,ymｉl2)
894 投影面区分mil3座標(xmｉl3,ymｉl3)
895 投影面区分mir0座標(xmｉr0,ymｉr0)
896 投影面区分mir1座標(xmｉr1,ymｉr1)
897 投影面区分mir2座標(xmｉr2,ymｉr2)
898 投影面区分mir3座標(xmｉr3,ymｉr3)
899 原画像撮影位置Ｌ
900 画像ベクトルＬ
901 画像左端Ｌ
902 画像右端Ｌ
903 原画像撮影位置Ｒ
904 画像ベクトルＲ
905 画像左端Ｒ
906 画像右端Ｒ
907 原画像撮影位置Ｆ
908 画像ベクトルＦ
909 画像左端Ｆ
910 画像右端Ｆ
911 原画像撮影位置Ｂ
912 画像ベクトルＢ
913 画像左端Ｂ
914 画像右端Ｂ
915 道路グラフの逆方向
916a〜d 原画像撮影位置ａ〜d
917 投影面区分
918 投影面区分中心点
919a〜e 画像ベクトルa〜e
920 前方左右２０°の範囲
921 後方左右２０°の範囲
930 角度0-20°セクタ
931 角度20-40°セクタ
932 角度40-60°セクタ
933 角度60-80°セクタ
934 角度80-100°セクタ
935 角度100-120°セクタ
936 角度120-140°セクタ
937 角度140-160°セクタ
938 角度160-180°セクタ
940〜948 処理ブロック
950〜956 処理ブロック
960 原画像ｍ
961 原画像ｍ＋１
962 画像ベクトルＧm
963 視点Ｐi
964 視線ベクトルＶic
965 視線左端ベクトル ＶiL
966 視線右端ベクトルＶiR
967 Ｚｍの垂線
968 投影平面Ｚｍ
969 原画像撮影位置Ｓｍ
970 原画像上視界左端QiL
971 原画像上視界右端QiR
972 原画像上視界右端QiR
973 ディジタルカメラ集合体
974〜983 処理ブロック
984 ジャンピングボタン
985 着地ボタン
986 方向転換ボタン
987 高度インジケータ
988 地図表示
989 現在地名称表示
990 ３次元映像表示
991 方位インジケータ
992 操縦ボタン
993 スロットル
994 カメラ前後方向指定
995 カメラ左右方向指定
996 ズーム指定
997 左折右折
998 前後進
999 左右視線変更
1000 コメント表示ウインドウ
1001 機能ボタン
【特許請求の範囲】
【請求項１】
都市の任意の場所に対して、空中の任意の視点経路および任意の視線方向から見た景観を３次元的に動画で表示する都市景観３次元動画アミューズメントシステムにおいて、該都市の任意の場所に対して十分小さい一定の立体角ごとに見込む画像を画像データベースとして事前に準備し、指定された視点経路と指定された視線方向の時間変化に応じて該画像データベースから視点および視線が近い画像を順次取り出し、該視点経路と該視線に対応して画像モーフィングを行いつつ滑らかにつなぎ合わせて３次元動画を表示するシステムであって、空中画像取得システム、空中画像データベース生成登録システム、空中データベース、空中３次元動画生成システム、およびグラフィックユーザインターフェイスシステムより構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項２】
都市の通路に面する任意の場所に対して、人間目線の任意の視点経路および任意の視線方向から見た景観を３次元的に動画で表示する都市景観３次元動画アミューズメントシステムにおいて、該都市の通路に面する任意の場所に対して十分小さい一定の方位角ごとに見込む画像を画像データベースとして事前に準備し、該通路に面し鉛直な面を画像投影面となし、指定された視点経路と指定された視線方向の時間変化に応じて該画像データベースから視点および視線が近い画像を順次取り出し、該画像投影面上で該視点経路と該視線に対応して画像モーフィングを行いつつ滑らかにつなぎ合わせて３次元動画を表示するシステムであって、路上画像取得システム、路上画像データベース生成登録システム、路上画像データベース、路上３次元動画生成システム、およびグラフィックユーザインターフェイスシステムより構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項３】
請求項１に記載の都市景観３次元動画アミューズメントシステムにおいて、該空中画像取得システムが飛行する航空機の航空機搭載ディジタルカメラから構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項４】
請求項１または３のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、該航空機の飛行航路間隔を等間隔かつ地表からの高度を一定に設定し、網目状の撮影点を構成し、該撮影点にて重力方向のみならず複数方向の斜め方向を撮影し蓄積することができるように複数の航空機搭載ディジタルカメラでディジタルカメラ集合体を構成して撮影することを特徴とする空中画像取得システム。
【請求項５】
請求項４に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、ＧＰＳと慣性航法装置より構成される飛行管制装置が該網目状の撮影点またはその近傍に該航空機が位置していることを検出し、該ディジタルカメラ集合体を構成する各ディジタルカメラに撮影指令信号を発すると同時に、航空機位置、該航空カメラ集合体の姿勢を記録装置に記録することを特徴とする空中画像取得システム。
【請求項６】
請求項４または５のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、重力方向よりなす角が大きい方向に対しては焦点距離の長い望遠レンズを用い、重力方向よりなす角が小さい方向に対しては焦点距離の短い望遠レンズを用いることにより、俯角の小さい画像の分解能低下を防止することを特徴とする空中画像取得システム。
【請求項７】
請求項４または５または６のいづれかに記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、該複数方向の斜め方向ディジタルカメラを該レンズの光軸が重力方向となす角が同一で、かつ水平全周方向が放射状に等間隔に分割されるように配設されることを特徴とする空中画像取得システム。
【請求項８】
請求項４から７のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、レンズ光軸が重力方向のディジタルカメラを中心に斜め方向撮影用ディジタルカメラをその周囲に点対称に放射状に配設してディジタルカメラ集合体を構成し、とくに該航空撮影用航空機の床面の撮影用円筒状空隙に機外に突起物が出ないように配設することを特徴とする空中画像取得システム。
【請求項９】
請求項８に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、少なくとも２種類以上の焦点距離の望遠レンズの組を用意し、その各々に対して重力方向視用カメラを中心に斜め方向撮影用カメラをその周囲に点対称に放射状に配設してディジタルカメラ集合体を構成し、とくに航空撮影用航空機の床面の円筒状空隙に機外に突起物が出ないように配設することを特徴とする空中画像取得システム。
【請求項１０】
請求項８または９のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、該ディジタルカメラ集合体を安定プラットフォーム機構より吊下し、または搭載し慣性航法装置の検出信号により航空機機体の姿勢擾乱による影響を排除することを特徴とする空中画像取得システム。
【請求項１１】
請求項３から１０のいずれかに記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、太陽直射による影を避け、滑らかな３次元動画を得るために、曇天に雲の下に飛行高度を設定し、雲の下から撮影することを特徴とする空中画像取得システムおよび方法。
【請求項１２】
請求項１および3のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像データベース生成登録システムにおいて、空気中の水蒸気の影響を除去するため、画像中で視線方向が重力方向よりなす角に対応して連続的に各色要素ごとまたは各色要素を統合したヒストグラムを計測し、重力方向よりなす角によらずにヒストグラム特性が同一となるように画像処理を該空中画像取得システムが取得した画像に対して行い、該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１３】
請求項１および3のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像データベース生成登録システムにおいて、該都市景観３次元動画の各コマ画像の原画像を該空中画像データベースから高速に検索する目的で、画像データに付随するメタデータとして画像に四隅の地表上の緯度経度と標高などの位置座標、撮影光軸が地表と交わる点の緯度経度と標高などの位置座標、撮影位置と撮影光軸が地表と交わるまでの距離、画像のフレームが水平面に対し撮影光軸周りに回転している角度の全部または一部を計算することを該空中画像取得システムが取得した画像に対して行い、撮影位置と撮影光軸方向とあわせて該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１４】
請求項１および3のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像データベース生成登録システムにおいて、該都市景観３次元動画の各コマ画像の原画像を該空中画像データベースから高速に検索する目的で、該空中画像取得システムが取得した画像または、該空中画像データベースに登録されている画像に対して、地表を緯度経度あるいは他の水平座標により網目状セルに分割し、該画像が撮影している該網目状セルを検索選定して該網目ごとに該画像が検索できるようインデクスをつけ、さらに該網目を撮影している画像の撮影点の該網目の中心点からの方位角、仰角、距離で該網目状セルより該画像が検索できるようにインデクス化して該画像を該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１５】
請求項１または３のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中３次元動画生成システムにおいて、空中を移動する時間軸ｔの関数で定義される視点経路Ｐ（ｔ）と、該視点経路Ｐ（ｔ）からの視線方向を示す視線ベクトルトラジェクトリＶ（ｔ）、さらに該視線ベクトルトラジェクトリＶ（ｔ）が画像の対象となる地点と交わる点の軌跡を目標トラジェクトリＴ（ｔ）と定義することができて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該空中画像データベースより検索して原画像とし、該原画像の該属性をもとに該都市景観３次元動画の各コマ画像を該各コマ画像の視線ベクトル、視点、視角よりなる属性と該原画像の属性の相違からモーフィング変換により該各コマ画像を生成し時間軸上でつなぎ合わせて滑らかな動画像とすることを特徴とする空中３次元動画生成システム。
【請求項１６】
請求項１５に記載の都市景観３次元動画アミューズメントシステムの空中３次元動画生成システムにおいて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該空中画像データベースより検索して原画像とする処理において、該原画像の撮影光軸ベクトルと該視線ベクトルトラジェクトリＶ（ｔi）のなす角が所定の角度より少なく、なおかつ、該原画像は該撮影光軸ベクトルを中心としてカメラの焦点距離により一定の視野角を持つが、この視野を構成する四角錐が地表と交わる多角形が、該視線ベクトルトラジェクトリＶ（ｔi）を中心として模擬する視野を構成する四角錐が地表と交わる多角形を包含するように選定することを特徴とする空中３次元動画生成システム。
【請求項１７】
請求項１６に記載の都市景観３次元動画アミューズメントシステムの空中３次元動画生成システムにおいて、該空中画像データベースより該原画像を選定する際、時点ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）と対象となる地点の間に存在する障害物を避けるために選定の条件を満足する複数の該原画像の中から該撮影光軸ベクトルと地表が交わる点までのベクトル長が最も小さいものを原画像として選択することを特徴とする空中３次元動画生成システム。
【請求項１８】
請求項２に記載の都市景観３次元動画アミューズメントシステムにおいて、該路上画像事前準備システムが移動する自動車の車載ディジタルカメラ、または移動する人間が担架しまたは牽引しまたは推進するディジタルカメラから構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項１９】
請求項２または１８のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの路上画像取得システムにおいて、該路上画像取得システムが車載ディジタルカメラ、または人間が担架しまたは牽引しまたは推進するディジタルカメラにより構成され、該ディジタルカメラを通路の進行方向に沿って移動させて通路に面する任意の地点に対して十分小さい一定の角度ごとに見込む画像が存在するように通路の進行方向に沿って通路上の一定距離ごとに撮影点を設定し水平面上で前後左右のみならずその中間方向および斜め上方向を撮影し蓄積することができるように複数のディジタルカメラでディジタルカメラ集合体を構成し撮影することを特徴とする路上画像取得システム。
【請求項２０】
請求項１９に記載の都市景観３次元動画アミューズメントシステムの路上画像取得システムおいて、該ディジタルカメラ集合体を安定プラットフォーム機構に吊下または搭載し、慣性航法装置の検出信号により、車体の姿勢擾乱による影響を排除することを特徴とする路上画像取得システム。
【請求項２１】
請求項１９または２０のいずれか1項に記載の都市景観３次元動画アミューズメントシステムの路上画像取得システムにおいて、ＧＰＳと慣性航法装置より構成されるカーナビゲーション装置が請求項１９に規定される該撮影点に該ディジタルカメラ集合体が位置していることを検出し、該ディジタルカメラ集合体を構成する各カメラに撮影指令信号を発すると同時に、該ディジタルカメラ集合体の位置と姿勢を記録装置に記録することを特徴とする路上画像取得システム。
【請求項２２】
請求項２および１８のいずれか１項に記載の都市景観３次元動画アミューズメントシステムにおける路上画像データベース生成登録システムおよび路上画像データベースにおいて、該都市景観３次元動画の各コマ画像の原画像を該路上画像データベースから高速に検索する目的で、通路の構造を通路の中心線をグラフとして表現し、これを中心線グラフと称し、該中心線グラフの属性としてグラフ各辺に対して端点位置座標、道路幅員、進行方向左右各々に対する該画像投影面の有無、道路の交差、分岐、合流情報を記載して通路の位置と構造を記述し、さらに地表を緯度経度あるいは他の水平座標により網目状セルに分割し、該網目状セルから該中心線グラフで記載される通路認識番号にリンクするインデックス機構を有することを特徴とする路上画像データベース。
【請求項２３】
請求項２および１８および２２のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの路上画像データベース生成登録システムにおいて、
該都市景観３次元動画の各コマ画像の原画像を該路上画像データベースから高速に検索する目的で通路構造を記述する該中心線グラフに付帯する該画像投影面を該中心線グラフの辺に沿って区分分割し、該路上画像取得システムが取得した画像または該路上画像データベースに登録されている画像が撮影している区分を検索し、該区分から該区分を撮影している画像を該路上画像データベースより検索できるようインデクスをつけ、さらに該区分を撮影している画像の撮影点の該区分の中心点からの方位角、距離でインデクス化して該画像を該路上画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項２４】
請求項２に記載の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムにおいて、通路上を移動する時間ｔの関数で定義される視点経路Ｐ（ｔ）と、該視点経路Ｐ（ｔ）からの視線方向を示す視線ベクトルトラジェクトリＶ（ｔ）、さらに該視線ベクトルトラジェクトリＶ（ｔ）が画像の対象となる建造物または物体または通路の境界線に鉛直に立つ仮想的な画像投影面と交わる点の軌跡を目標トラジェクトリＴ（ｔ）と定義することができて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該画像データベースより検索して原画像とし、該原画像の該属性をもとに該都市景観３次元動画の各コマ画像を、該各コマ画像の視線ベクトル、視点、視角よりなる属性と該原画像の属性の相違からモーフィング変換により該各コマ画像を生成することを特徴とする路上３次元動画生成システム。
【請求項２５】
請求項２４に記載の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムにおいて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該路上画像データベースより検索して原画像とする処理において、該原画像は該撮影光軸ベクトルを中心としてカメラの焦点距離により一定の視野角を持つが、この視野が画像の対象となる該画像投影面と交わる人間目線の水平面上の範囲が、該視線ベクトルトラジェクトリＶ（ｔi）を中心として模擬する視野が該画像投影面と交わる人間目線の水平面上の範囲を包含し、なおかつ、該原画像の視線ベクトルと該視線ベクトルトラジェクトリＶ（ｔi）のなす角が所定の角度より少なく、するように選定することを特徴とする路上３次元動画生成システム。
【請求項２６】
請求項２４および２５のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムにおいて、該路上画像データベースより該原画像を選定する際、時点ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）と対象となる地点の間に存在する障害物を避けるために選定の条件を満足する複数の該原画像の中から該撮影光軸ベクトルと該画像投影面が交わる点までのベクトル長が最も小さいものを原画像として選択することを特徴とする路上３次元動画生成システム。
【請求項２７】
請求項1および３および１５から１７までのいずれか１項に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、モニタ上に表示されるかまたは専用の模擬装置を介して表示される飛行ルート指定用地図を参照し、該３次元動画生成システムで生成される模擬視界を見ながら模擬操縦棹を操作して飛行方位および飛行高度を昇降し、スロットレバーを操作して飛行速度を調節することにより飛行経路と速度を制御して模擬コックピットの前方視界をモニタ上または専用の模擬装置に表示することを特徴とするグラフィックユーザインターフェイスシステム。
【請求項２８】
請求項２５に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、該模擬コックピットの該模擬視界表示を航空機搭載模擬カメラ表示に切り替える機構を有し、該模擬カメラは方位およびズーミングおよびティルト角の制御を行えることを特徴とする空中グラフィックユーザインターフェイスシステム。
【請求項２９】
請求項２および２３から２６までのいずれか１項に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、モニタ上に表示される地図を参照し、該路上３次元動画生成システムで生成される模擬視界を見ながら表示されるカーソルを操作して進行方向および速度を操作でき、さらに目の向きを制御することができることを特徴とするグラフィックユーザインターフェイスシステム。
【請求項３０】
請求項２７または２８のいずれかの１項に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、
リアルタイム飛行模擬の飛行高度が一定値より下がった場合、ランディング地点を視界前方斜め下に指定して該ランディング地点の路上地点に視点位置を移行し、以降請求項３１に記載の該路上での都市景観３次元動画生成システムに切替え移行する。また、路上で都市景観３次元動画生成中に離陸アイコンをクリックすると該アイコンの選択に応じて該離陸路上点の直上または該離陸路上点を前方斜め下に見る一定高度の上空に位置を移行して請求項２７または２８のいずれかの１項に記載の都市景観３次元動画アミューズメントシステムの空中における飛行模擬に切替えることができることを特徴とするグラフィックユーザインターフェイスシステム。
【請求項１】
都市の任意の場所に対して、空中の任意の視点経路および任意の視線方向から見た景観を３次元的に動画で表示する都市景観３次元動画アミューズメントシステムにおいて、該都市の任意の場所に対して十分小さい一定の立体角ごとに見込む画像を画像データベースとして事前に準備し、指定された視点経路と指定された視線方向の時間変化に応じて該画像データベースから視点および視線が近い画像を順次取り出し、該視点経路と該視線に対応して画像モーフィングを行いつつ滑らかにつなぎ合わせて３次元動画を表示するシステムであって、空中画像取得システム、空中画像データベース生成登録システム、空中データベース、空中３次元動画生成システム、およびグラフィックユーザインターフェイスシステムより構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項２】
都市の通路に面する任意の場所に対して、人間目線の任意の視点経路および任意の視線方向から見た景観を３次元的に動画で表示する都市景観３次元動画アミューズメントシステムにおいて、該都市の通路に面する任意の場所に対して十分小さい一定の方位角ごとに見込む画像を画像データベースとして事前に準備し、該通路に面し鉛直な面を画像投影面となし、指定された視点経路と指定された視線方向の時間変化に応じて該画像データベースから視点および視線が近い画像を順次取り出し、該画像投影面上で該視点経路と該視線に対応して画像モーフィングを行いつつ滑らかにつなぎ合わせて３次元動画を表示するシステムであって、路上画像取得システム、路上画像データベース生成登録システム、路上画像データベース、路上３次元動画生成システム、およびグラフィックユーザインターフェイスシステムより構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項３】
請求項１に記載の都市景観３次元動画アミューズメントシステムにおいて、該空中画像取得システムが飛行する航空機の航空機搭載ディジタルカメラから構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項４】
請求項１または３のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、該航空機の飛行航路間隔を等間隔かつ地表からの高度を一定に設定し、網目状の撮影点を構成し、該撮影点にて重力方向のみならず複数方向の斜め方向を撮影し蓄積することができるように複数の航空機搭載ディジタルカメラでディジタルカメラ集合体を構成して撮影することを特徴とする空中画像取得システム。
【請求項５】
請求項４に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、ＧＰＳと慣性航法装置より構成される飛行管制装置が該網目状の撮影点またはその近傍に該航空機が位置していることを検出し、該ディジタルカメラ集合体を構成する各ディジタルカメラに撮影指令信号を発すると同時に、航空機位置、該航空カメラ集合体の姿勢を記録装置に記録することを特徴とする空中画像取得システム。
【請求項６】
請求項４または５のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、重力方向よりなす角が大きい方向に対しては焦点距離の長い望遠レンズを用い、重力方向よりなす角が小さい方向に対しては焦点距離の短い望遠レンズを用いることにより、俯角の小さい画像の分解能低下を防止することを特徴とする空中画像取得システム。
【請求項７】
請求項４または５または６のいづれかに記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、該複数方向の斜め方向ディジタルカメラを該レンズの光軸が重力方向となす角が同一で、かつ水平全周方向が放射状に等間隔に分割されるように配設されることを特徴とする空中画像取得システム。
【請求項８】
請求項４から７のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、レンズ光軸が重力方向のディジタルカメラを中心に斜め方向撮影用ディジタルカメラをその周囲に点対称に放射状に配設してディジタルカメラ集合体を構成し、とくに該航空撮影用航空機の床面の撮影用円筒状空隙に機外に突起物が出ないように配設することを特徴とする空中画像取得システム。
【請求項９】
請求項８に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、少なくとも２種類以上の焦点距離の望遠レンズの組を用意し、その各々に対して重力方向視用カメラを中心に斜め方向撮影用カメラをその周囲に点対称に放射状に配設してディジタルカメラ集合体を構成し、とくに航空撮影用航空機の床面の円筒状空隙に機外に突起物が出ないように配設することを特徴とする空中画像取得システム。
【請求項１０】
請求項８または９のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、該ディジタルカメラ集合体を安定プラットフォーム機構より吊下し、または搭載し慣性航法装置の検出信号により航空機機体の姿勢擾乱による影響を排除することを特徴とする空中画像取得システム。
【請求項１１】
請求項３から１０のいずれかに記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、太陽直射による影を避け、滑らかな３次元動画を得るために、曇天に雲の下に飛行高度を設定し、雲の下から撮影することを特徴とする空中画像取得システムおよび方法。
【請求項１２】
請求項１および3のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像データベース生成登録システムにおいて、空気中の水蒸気の影響を除去するため、画像中で視線方向が重力方向よりなす角に対応して連続的に各色要素ごとまたは各色要素を統合したヒストグラムを計測し、重力方向よりなす角によらずにヒストグラム特性が同一となるように画像処理を該空中画像取得システムが取得した画像に対して行い、該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１３】
請求項１および3のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像データベース生成登録システムにおいて、該都市景観３次元動画の各コマ画像の原画像を該空中画像データベースから高速に検索する目的で、画像データに付随するメタデータとして画像に四隅の地表上の緯度経度と標高などの位置座標、撮影光軸が地表と交わる点の緯度経度と標高などの位置座標、撮影位置と撮影光軸が地表と交わるまでの距離、画像のフレームが水平面に対し撮影光軸周りに回転している角度の全部または一部を計算することを該空中画像取得システムが取得した画像に対して行い、撮影位置と撮影光軸方向とあわせて該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１４】
請求項１および3のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像データベース生成登録システムにおいて、該都市景観３次元動画の各コマ画像の原画像を該空中画像データベースから高速に検索する目的で、該空中画像取得システムが取得した画像または、該空中画像データベースに登録されている画像に対して、地表を緯度経度あるいは他の水平座標により網目状セルに分割し、該画像が撮影している該網目状セルを検索選定して該網目ごとに該画像が検索できるようインデクスをつけ、さらに該網目を撮影している画像の撮影点の該網目の中心点からの方位角、仰角、距離で該網目状セルより該画像が検索できるようにインデクス化して該画像を該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１５】
請求項１または３のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中３次元動画生成システムにおいて、空中を移動する時間軸ｔの関数で定義される視点経路Ｐ（ｔ）と、該視点経路Ｐ（ｔ）からの視線方向を示す視線ベクトルトラジェクトリＶ（ｔ）、さらに該視線ベクトルトラジェクトリＶ（ｔ）が画像の対象となる地点と交わる点の軌跡を目標トラジェクトリＴ（ｔ）と定義することができて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該空中画像データベースより検索して原画像とし、該原画像の該属性をもとに該都市景観３次元動画の各コマ画像を該各コマ画像の視線ベクトル、視点、視角よりなる属性と該原画像の属性の相違からモーフィング変換により該各コマ画像を生成し時間軸上でつなぎ合わせて滑らかな動画像とすることを特徴とする空中３次元動画生成システム。
【請求項１６】
請求項１５に記載の都市景観３次元動画アミューズメントシステムの空中３次元動画生成システムにおいて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該空中画像データベースより検索して原画像とする処理において、該原画像の撮影光軸ベクトルと該視線ベクトルトラジェクトリＶ（ｔi）のなす角が所定の角度より少なく、なおかつ、該原画像は該撮影光軸ベクトルを中心としてカメラの焦点距離により一定の視野角を持つが、この視野を構成する四角錐が地表と交わる多角形が、該視線ベクトルトラジェクトリＶ（ｔi）を中心として模擬する視野を構成する四角錐が地表と交わる多角形を包含するように選定することを特徴とする空中３次元動画生成システム。
【請求項１７】
請求項１６に記載の都市景観３次元動画アミューズメントシステムの空中３次元動画生成システムにおいて、該空中画像データベースより該原画像を選定する際、時点ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）と対象となる地点の間に存在する障害物を避けるために選定の条件を満足する複数の該原画像の中から該撮影光軸ベクトルと地表が交わる点までのベクトル長が最も小さいものを原画像として選択することを特徴とする空中３次元動画生成システム。
【請求項１８】
請求項２に記載の都市景観３次元動画アミューズメントシステムにおいて、該路上画像事前準備システムが移動する自動車の車載ディジタルカメラ、または移動する人間が担架しまたは牽引しまたは推進するディジタルカメラから構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項１９】
請求項２または１８のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの路上画像取得システムにおいて、該路上画像取得システムが車載ディジタルカメラ、または人間が担架しまたは牽引しまたは推進するディジタルカメラにより構成され、該ディジタルカメラを通路の進行方向に沿って移動させて通路に面する任意の地点に対して十分小さい一定の角度ごとに見込む画像が存在するように通路の進行方向に沿って通路上の一定距離ごとに撮影点を設定し水平面上で前後左右のみならずその中間方向および斜め上方向を撮影し蓄積することができるように複数のディジタルカメラでディジタルカメラ集合体を構成し撮影することを特徴とする路上画像取得システム。
【請求項２０】
請求項１９に記載の都市景観３次元動画アミューズメントシステムの路上画像取得システムおいて、該ディジタルカメラ集合体を安定プラットフォーム機構に吊下または搭載し、慣性航法装置の検出信号により、車体の姿勢擾乱による影響を排除することを特徴とする路上画像取得システム。
【請求項２１】
請求項１９または２０のいずれか1項に記載の都市景観３次元動画アミューズメントシステムの路上画像取得システムにおいて、ＧＰＳと慣性航法装置より構成されるカーナビゲーション装置が請求項１９に規定される該撮影点に該ディジタルカメラ集合体が位置していることを検出し、該ディジタルカメラ集合体を構成する各カメラに撮影指令信号を発すると同時に、該ディジタルカメラ集合体の位置と姿勢を記録装置に記録することを特徴とする路上画像取得システム。
【請求項２２】
請求項２および１８のいずれか１項に記載の都市景観３次元動画アミューズメントシステムにおける路上画像データベース生成登録システムおよび路上画像データベースにおいて、該都市景観３次元動画の各コマ画像の原画像を該路上画像データベースから高速に検索する目的で、通路の構造を通路の中心線をグラフとして表現し、これを中心線グラフと称し、該中心線グラフの属性としてグラフ各辺に対して端点位置座標、道路幅員、進行方向左右各々に対する該画像投影面の有無、道路の交差、分岐、合流情報を記載して通路の位置と構造を記述し、さらに地表を緯度経度あるいは他の水平座標により網目状セルに分割し、該網目状セルから該中心線グラフで記載される通路認識番号にリンクするインデックス機構を有することを特徴とする路上画像データベース。
【請求項２３】
請求項２および１８および２２のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの路上画像データベース生成登録システムにおいて、
該都市景観３次元動画の各コマ画像の原画像を該路上画像データベースから高速に検索する目的で通路構造を記述する該中心線グラフに付帯する該画像投影面を該中心線グラフの辺に沿って区分分割し、該路上画像取得システムが取得した画像または該路上画像データベースに登録されている画像が撮影している区分を検索し、該区分から該区分を撮影している画像を該路上画像データベースより検索できるようインデクスをつけ、さらに該区分を撮影している画像の撮影点の該区分の中心点からの方位角、距離でインデクス化して該画像を該路上画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項２４】
請求項２に記載の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムにおいて、通路上を移動する時間ｔの関数で定義される視点経路Ｐ（ｔ）と、該視点経路Ｐ（ｔ）からの視線方向を示す視線ベクトルトラジェクトリＶ（ｔ）、さらに該視線ベクトルトラジェクトリＶ（ｔ）が画像の対象となる建造物または物体または通路の境界線に鉛直に立つ仮想的な画像投影面と交わる点の軌跡を目標トラジェクトリＴ（ｔ）と定義することができて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該画像データベースより検索して原画像とし、該原画像の該属性をもとに該都市景観３次元動画の各コマ画像を、該各コマ画像の視線ベクトル、視点、視角よりなる属性と該原画像の属性の相違からモーフィング変換により該各コマ画像を生成することを特徴とする路上３次元動画生成システム。
【請求項２５】
請求項２４に記載の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムにおいて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該路上画像データベースより検索して原画像とする処理において、該原画像は該撮影光軸ベクトルを中心としてカメラの焦点距離により一定の視野角を持つが、この視野が画像の対象となる該画像投影面と交わる人間目線の水平面上の範囲が、該視線ベクトルトラジェクトリＶ（ｔi）を中心として模擬する視野が該画像投影面と交わる人間目線の水平面上の範囲を包含し、なおかつ、該原画像の視線ベクトルと該視線ベクトルトラジェクトリＶ（ｔi）のなす角が所定の角度より少なく、するように選定することを特徴とする路上３次元動画生成システム。
【請求項２６】
請求項２４および２５のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムにおいて、該路上画像データベースより該原画像を選定する際、時点ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）と対象となる地点の間に存在する障害物を避けるために選定の条件を満足する複数の該原画像の中から該撮影光軸ベクトルと該画像投影面が交わる点までのベクトル長が最も小さいものを原画像として選択することを特徴とする路上３次元動画生成システム。
【請求項２７】
請求項1および３および１５から１７までのいずれか１項に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、モニタ上に表示されるかまたは専用の模擬装置を介して表示される飛行ルート指定用地図を参照し、該３次元動画生成システムで生成される模擬視界を見ながら模擬操縦棹を操作して飛行方位および飛行高度を昇降し、スロットレバーを操作して飛行速度を調節することにより飛行経路と速度を制御して模擬コックピットの前方視界をモニタ上または専用の模擬装置に表示することを特徴とするグラフィックユーザインターフェイスシステム。
【請求項２８】
請求項２５に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、該模擬コックピットの該模擬視界表示を航空機搭載模擬カメラ表示に切り替える機構を有し、該模擬カメラは方位およびズーミングおよびティルト角の制御を行えることを特徴とする空中グラフィックユーザインターフェイスシステム。
【請求項２９】
請求項２および２３から２６までのいずれか１項に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、モニタ上に表示される地図を参照し、該路上３次元動画生成システムで生成される模擬視界を見ながら表示されるカーソルを操作して進行方向および速度を操作でき、さらに目の向きを制御することができることを特徴とするグラフィックユーザインターフェイスシステム。
【請求項３０】
請求項２７または２８のいずれかの１項に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、
リアルタイム飛行模擬の飛行高度が一定値より下がった場合、ランディング地点を視界前方斜め下に指定して該ランディング地点の路上地点に視点位置を移行し、以降請求項３１に記載の該路上での都市景観３次元動画生成システムに切替え移行する。また、路上で都市景観３次元動画生成中に離陸アイコンをクリックすると該アイコンの選択に応じて該離陸路上点の直上または該離陸路上点を前方斜め下に見る一定高度の上空に位置を移行して請求項２７または２８のいずれかの１項に記載の都市景観３次元動画アミューズメントシステムの空中における飛行模擬に切替えることができることを特徴とするグラフィックユーザインターフェイスシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図５０ａ】
【図５０ｂ】
【図５０ｃ】
【図５０ｄ】
【図５０ｅ】
【図５０ｆ】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図７６】
【図７７】
【図７８】
【図７９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図５０ａ】
【図５０ｂ】
【図５０ｃ】
【図５０ｄ】
【図５０ｅ】
【図５０ｆ】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図７６】
【図７７】
【図７８】
【図７９】
【公開番号】特開２００９−２１７５２４（Ｐ２００９−２１７５２４Ａ）
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願番号】特願２００８−６０３５１（Ｐ２００８−６０３５１）
【出願日】平成２０年３月１１日（２００８．３．１１）
【出願人】（７０８００２８１６）小平アソシエイツ株式会社 (7)
【Ｆターム（参考）】
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願日】平成２０年３月１１日（２００８．３．１１）
【出願人】（７０８００２８１６）小平アソシエイツ株式会社 (7)
【Ｆターム（参考）】
[ Back to top ]