市街景観画像情報較正システム
【課題】 実画像を用いた都市景観３次元動画を提供するシステムに対して実画像取得にともなう位置情報、撮影方向等のメタデータの精度向上手段を提供する。
【解決手段】 都市市街を地上から高密度に多方向から撮影した画像をデータベース化し、任意の都市の位置に対して任意の視点経路と視線方向に対応した画像をデータベースから検索して、検索した画像を実際の視点との視差に対応してモーフィング処理により連続した滑らかな３次元動画に生成することを特徴とする都市景観３次元動画システムにおいて、生成する３次元動画の品質を向上させるの区的で、実画像取得にともなう位置情報、撮影方向等のメタデータの精度向上を行う手段を提供する。
【解決手段】 都市市街を地上から高密度に多方向から撮影した画像をデータベース化し、任意の都市の位置に対して任意の視点経路と視線方向に対応した画像をデータベースから検索して、検索した画像を実際の視点との視差に対応してモーフィング処理により連続した滑らかな３次元動画に生成することを特徴とする都市景観３次元動画システムにおいて、生成する３次元動画の品質を向上させるの区的で、実画像取得にともなう位置情報、撮影方向等のメタデータの精度向上を行う手段を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、市街および商店街および売り場を含む地上の景観を様々な角度から撮像した写真を利用する３次元景観の動画を生成表示するシステムにおいて、該写真を動画生成に使用するために不可欠な画像撮影点位置および画像撮影方向などのメタデータを効果的に計出し、誤差を較正することを目的とする都市景観画像情報較正システムに関するものである。
【背景技術】
【０００２】
従来、市街および商店街および売り場を含む地上の景観を３次元で動画表示する方式として、市街および商店街および売り場の立体モデルを作成し、該表面をテクスチャーマッピングにより貼り付け、得られた３次元モデルに対して３次元画像処理により３次元動画を得る方法がある。
【０００３】
また、別の方法では、空中および通路上に高密度のメッシュ点を設定してそこから多方向の画像を広範囲に撮像できるシステムを構築し、これら大量の画像をデータベース化し、市街および商店街および売り場を含む地上の景観の任意の位置を、任意の視点で、任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、市街および商店街および売り場を含む地上の対象物の位置に対応して最も視差の少ない画像から連続的になめらかな動画像をモーフィングにより生成する方法もある。（特許文献１）
【０００４】
この方法は極めて大量かつ多視点、多視線方向の市街および商店街および売り場を含む地上の路上写真あるいは航空写真を事前に画像撮影位置や画像撮影方向といったメタデータとともに撮影蓄積することが不可欠である。特許文献１には路上写真の取得方法が記述されているが路上で撮影した写真の画像撮影位置、画像撮影方向などのメタデータを正確に得ることは一般に計測システムが整備されていないため容易ではない。この問題を解決する方法として、既存のメタデータの判明している画像と関連付けることによりメタデータの判明していない画像のメタデータを推定し、一般からの投稿により大量の画像を蓄積する方法がある。（特許文献２）
【０００５】
航空写真を取得する従来技術として、最近はディジタル技術の急速な進歩によりアナログ式航空カメラからディジタル方式の１次元ラインセンサないし2次元撮像素子を用いた航空写真用カメラが実用化されている。さらに汎用デジタルカメラの高性能化により、航空写真分野へも適用可能となってきている。専用ソフトウェアによりディジタルカメラで撮影した斜め写真からオルソ画像を作成するシステムが特許文献３では提案されている。測量目的の航空写真では地上に基準点を予め設定し、該基準点を参照してカメラ位置と姿勢を計算し、地物の座標を求めていたが、航空機にＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）及びIMU（Inertial Measurement Unit）を装備し、撮像時点のカメラの位置と姿勢を測定することできる。（特許文献４）撮像方向が異なる３台のＣＣＤラインセンサで測量用航空写真を撮像する技術が特許文献５で提案されている。
【０００６】
【特許文献１】特願2008-60351
【特許文献２】特願2008-136125
【特許文献３】特開2002-357419号公報。
【特許文献４】特開2004-245741号公報。
【特許文献５】特許2807622号公報。
【非特許文献６】都市移動体におけるＧＮＳＳ技術の測位精度と課題について 久保信明東京海洋大学 ２００７年１１月 シンポジウム論文
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１および特許文献２の方法はいずれも市街または商店街など多視点、多方向からの実画像を用いて３次元動画を生成しようとする点において、市街の３次元モデルを生成した上でテクスチャ貼り付けによりリアリティーを実現する方法より作業コストが少ない利点があるが、この方法は使用する画像の画像撮影位置、画像撮影方向などのメタデータが画像ごとに正確に把握されていなくてはならない。しかしながら画像撮影位置の把握は一般にＧＰＳないしＤＧＰＳを用いて行うが、ＧＰＳ信号の受信は室内、地下街では不可能で正しい位置把握が不可能である。また、高層ビルが林立する地域にあっては上空の見通しが悪くＧＰＳにより正確な位置を得ることが一般に困難を伴う。さらに画像撮影方位にいたっては専用の計測機器がないと正確な値を得ることができない。特許文献1および特許文献２における課題の実現は画像撮影点の位置精度が１０ｃｍレベルで要求され、地上とくに市街地、商店街においては画像撮影を高密度で行うにものの各画像に対するメタデータが正確に得られないという課題があった。
【０００８】
地上の景観を様々角度から撮影した写真を利用する３次元景観の動画を生成するシステムにおいては、市街および商店街および売り場を含む地上の景観を様々な角度から撮像した写真に対して各々の画像の正確なメタデータを取得するには困難を伴うが、一方、各画像は画像撮影位置、画像撮影方向をずらして相互に重複しながら撮影されるという特徴があり、さらに通路に沿って移動するため、別の手段で得られる通路の境界に関する正確な位置情報を得られるという特徴がある。上記の解決すべき課題に鑑みて鋭意研究の結果、本発明者はこの特徴を利用すれば各々の画像のメタデータを計出可能であることに気がついた。
また、市街および商店街および売り場における撮影は撮影システムを移動させながら頻繁に撮影し、かつ撮影した画像データをメタデータとともに記憶させることが必要であるため、タイミング的な問題からも精度よく画像撮影位置を各々の画像に対して把握することが困難であるという問題もあった。
【課題を解決するための手段】
【０００９】
上記課題を解決するために鋭意研究の結果、本発明者は各々の画像のメタデータを正確に得ることの最大の障壁は、該メタデータを各々の画像を撮影する時点で単独に独立して得ようとすることにあると理解し、画像が相互に重複していることを利用して正確にメタデータの判明している画像からメタデータのない各画像のメタデータを計出することによりこの解決を図ることとした。また、さらに各画像は通路に沿って移動しながら撮影されることを利用して位置の判明している地図データ、オルソ衛星画像、フロアプラン等の情報を統合して誤差を収束させることにより解決することとした。
【００１０】
この目的のために、第一に、正確に画像撮影位置と画像撮影方向の判明している2点以上の画像撮影点における対象の重複している画像中にタイポイントをもとめ、該タイポイントの位置座標を写真測量の手法で計出し、さらに位置座標の判明しているタイポイントを撮影した隣接するメタデータの判明していない画像のメタデータを計出する。この手順を連鎖的に繰り返すことにより相互に重複する各画像のメタデータを順次計出できることに注目した。第二に、以上に述べた方法は、正確に計測したメタデータをもとに画像の重複を利用して順次、連鎖的に相互に重複する画像のメタデータを計出するものであるため、誤差が蓄積拡大することが避けられない。これを避けるため、連鎖する画像撮影点の最終点の位置と画像撮影方向を正確に測定して該連鎖的に計出したメタデータの最終点と比較し誤差の集積値を求めて該誤差を補正することとした。
【００１１】
誤差の集積を補正する目的で、第一に連鎖する最初の画像撮影点対と最後の画像撮影点対の位置座標と画像撮影方向を正確に測定して誤差を収束させる方法を案出し、第二は正確な画像撮影位置と画像撮影方向を連鎖する画像撮影点の途中にも配して誤差の累積を防止する方法を導入した。第三には、画像撮影点が通路上を移動すること、タイポイントが通路の境界線上に位置していることを利用して地図上あるいは、オルソ衛星画像上の通路境界線上に該タイポイントを一致させて誤差を解消する方法を導入した。第四に通路がグラフ構造と閉路を構成していることに注目して、該情報を利用して該グラフ上に該タイポイントを一致させることにより誤差を解消する方法を案出した。第五に、画像撮影点の連鎖を地上だけでなく、地下街、あるいは建物中の売り場が面する通路である場合を考慮してＤＥＭ、フロアプランなどの高度情報にタイポイントの高さ方向座標値を一致化させて誤差を収束させる方法を導入した。第六に画像撮影対象点が通路の境界線上に存在することを利用して逆に地図を作成する方法を案出し、最後に画像撮影システムを剛体で固定した複数の画像撮影方向を有する複数のカメラで構成することにより効率的に画像撮影とメタデータ計出を行う方法を案出した。
【発明の効果】
【００１２】
以上、説明したように、本発明の市街景観画像情報較正システムによれば、画像撮影位置および画像撮影方向などの正確なメタデータが得難い市街および商店街および売り場を含む地上の景観を様々な角度から撮像した画像においてメタデータを正確に計出することが可能となり該画像を利用する３次元景観の動画を生成表示するシステムに利用することが可能となった。
【発明を実施するための最良の形態】
【００１３】
本発明を実施するための最良の形態を添付図面を参照しながら以下に説明する。図１は本発明になる市街景観画像情報較正システムの全体構成を示す図であり、各構成システムは画像データベース１５０のメタデータを較正し誤差を減少させるものであり、スーパーバイザー１００の統括の下に、画像撮影点メタデータ実測値取得較正システム１１０、ＤＥＭデータ統合システム１３０、マルチカメラデータ誤差較正システム１４０よりなる処理サブシステムより構成され、さらに、画像撮影点メタデータ実測値取得較正システム１１０、ＤＥＭデータ統合システム１３０の共通処理ルーチンとして連鎖画像撮影点誤差較正システム１２０が存在する。データベースとしては画像データベース１５０、道路データベース１５５、衛星画像データベース１６０、ＤＥＭデータベース１６５より構成される。画像データベース１５０の構成例は図４０に示され、道路データベース１５５の構成例は図３９のほか、特許文献１に示される。オペレータ１７０は画像較正スーパーバイザ１００のグラフィックユーザインタフェース１０５を介して全体システムに対して指令および操作を行う。これらの構成サブシステムはその一部を除いても機能させることが出来る。以下、図２から図４０までを用いてその原理と処理の内容を説明する。
【００１４】
特願2008-60351「都市景観の３次元動画アミューズメントシステム」に詳細に記載されている都市景観３次元動画生成システムでは、都市空間の空中および通路上に高密度に設定されたメッシュ点から撮影した多方向の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を該データベースより高速に検索し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像をモーフィングにより連続的に生成する。この方法ではモーフィングを行う原画像の画像撮影点位置と画像撮影方向と画像撮影光軸廻りの回転角と画角または焦点距離よりなるメタデータが正確に把握されていないと動画生成の原画像として用いることができない。このうち、画角または焦点距離はカメラを選択すれば決まるが、画像撮影点位置と画像撮影方向、画像光軸回りの回転角は各画像毎に求めておく必要がある。画像撮影点位置の精度については、１０ｃｍ程度の精度が求められるが、この精度は特に高層ビルのある市街地では従来の技術では実現が困難であった。
【００１５】
図２に示すのは、画像データベース１５０の画像を取得するために通路画像を撮影するための画像撮影の運用概念図であり、特願2008-60351「都市景観の３次元動画アミューズメントシステム」に詳述されている。該ディジタルカメラ集合体２００は複数のディジタルカメラ２０１を水平各方向に配置し、図２（ｂ）に記載のように車両２０２に搭載するか、図３８のようにカートに実装して図２（ｃ）のように市街を図２（ａ）のような経路に従って走行する。移動経路２１０は通路２０６に沿って通路境界線２１２に平行に設定される。車両２０５は移動経路２１０上のほぼ一定間隔ごとに存在する画像撮影点位置２４０で画像撮影方向２１１の画像を撮影する。ディジタルカメラ集合体２００は撮影が計算機制御されており、一定周期ごとにディジタルカメラ集合体２００内の全ディジタルカメラａ〜ｐ ２０１ａ〜ｐに一斉に撮影指令を出すとともにその時点の画像を記録する。なお、歩道と車道の分離されている通路では、両側の歩道を各々走行することがある。
【００１６】
該ディジタルカメラ集合体２００の詳細は図３７とその関連説明に示され、画像撮影方向２１１は水平方向を向いているディジタルカメラ２０１ａ〜ｈと上方に仰角をもって配置されているディジタルカメラ２０１ｉ〜ｐより構成されるが、水平方向だけのディジタルカメラでの構成でもよく、また、水平方向もその数を増減させることも出来る。画像撮影点位置２４０は撮影画像が相互に重複するように近接して設定され、図２（ａ）に示すように移動経路２１０上に画像撮影点列を構成する。図４に示すように建物２２０の前を移動経路２１０に沿って移動すると、同一の建物２２０に対して、視線方向１ ２２１、視線方向２ ２２２、および視線方３ ２２３の各方向から、視線方向１より見た画像２２４、視線方向２より見た画像２２５、および視線方向3より見た画像２２６が得られ記憶される。
【００１７】
図４に示すように移動経路２１０に沿って移動しながら撮影した画像データベース１５０の画像は必ず相互に重複していて、図５および図６のように表示される。図５において異なる視線方向より見た同一対象画像の対応点、すなわちタイポイントａ２３０、タイポイントｂ２３１、タイポイントｃ２３２、タイポイントｄ２３３は視線方向１より見た画像２２４と視線方向２より見た画像２２５の双方に存在し、これらのタイポイントをグラフィックユーザインターフェイス１０５によりモニタ上に表示してオペレータ１７０が手動で行うことも、画像処理により自動的に行うことも出来る。タイポイント自動選定はステレオ画像からＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍａｐ）を抽出する場合などに利用されるパターンマッチングを使用することが可能で、かかる技術はオルソ画像生成用のＤＥＭ抽出ソフトなどで公然実施されている。
【００１８】
本発明の主要な部分は画像データベース１５０の各画像が、相互にかなりの割合で重複していることを利用し、メタデータの正確な実測値が存在する同一対象を撮影した一対の画像撮影点（画像撮影点対）の画像内の複数の対象点をタイポイントとして相互に対応をつけることにより該対象点の座標位置を写真測量の原理により計出する。該画像撮影点対に隣接する画像撮影点（隣接画像撮影点）の画像より該隣接画像撮影点の座標位置、画像撮影方向等のメタデータを算出する。メタデータが求まった該隣接画像撮影点と、該画像撮影点対のうち該隣接画像撮影点に近いほうの画像撮影点を用いてさらに写真測量により該隣接画像撮影点の外側に隣接する画像撮影点に同様の手順を繰り返すことにより、次々に連鎖的に画像撮影点列のメタデータを求めることである。
【００１９】
以下の説明で、変数の右肩に＊を付したものは計算により推定された値を示し、変数の右肩に＊を付していないものと区別するものとする。また、明細書中にスミ付き括弧で記載した数式は通常の数学記法に従うが、本文中では記号の記述に制約があるので下記原則に従う。３次元または２次元の点は大文字のローマ字で表記し、３次元または２次元の成分を有する。時間的変化のある場合は（）を後につけ、その中に時間情報を記す。スミ付き括弧で記載した数式では、ベクトルをイタリックスの大文字ローマ字で記載するが、本文中では大文字ローマ字で記載し、識別が必要な場合には文字の前に”（ベクトル）”と付記する。３次元または２次元の点は３次元または２次元座標による表記と、原点または基準点に対するベクトルによる表記を必要により使い分ける。とくにベクトル演算式中に出現する場合の点はベクトルによる表記である。スミ付き括弧で記載した数式では、行列を太字の大文字ローマ字で記載するが、本文中では大文字ローマ字で記載し、識別が必要な場合には文字の前に”（行列）”と付記する。角度についてはギリシャ文字を用い、平面、線等を示す記号については記号の前に平面、線等の記述を付記する。
図７は実測値の存在する画像撮影点１実測位置Ｘ１ ３４０と画像撮影点２実測位置Ｘ２ ３４１から撮影した共通の撮影対象である画像撮影対象点1,1位置 Ｚ1,1 ２５０、画像撮影対象点1,2位置 Ｚ1,2 ２５１、画像撮影対象点1,3位置 Ｚ1,3 ２５２、画像撮影対象点1,4位置 Ｚ1,4 ２５３をタイポイントａ〜ｄとして該３次元座標を計出する。図５でいえば、視線方向１より見た画像２２４と視線方向２より見た画像 ２２５が対応する。該画像撮影対象は画像撮影点３計出位置Ｘ*3 ３５３でも撮影されており、撮影された画像上の位置より該画像撮影点３計出位置Ｘ*3 ３５３の３次元位置、撮影方向と画像光軸回りの回転角が計出できる。図６に該画像撮影点３計出位置Ｘ*3 ３５３からの画像が視線方向3より見た画像２２６として示され、３次元位置の判明しているタイポイントａ〜ｄ ２３０〜２３３の画像上の位置から該画像撮影点３計出位置Ｘ*3 ３５３の３次元位置と撮影方向が後述するように計出できる。
【００２０】
なお、すべての画像撮影点における撮影のカメラ特性は同一であるとしている。次に、画像撮影点２実測位置Ｘ２ ３４１と画像撮影点３計出位置Ｘ*3 ３５３から撮影した共通の撮影対象である画像撮影対象点2,1位置Ｚ2,1 ２５４、画像撮影対象点2,2位置Ｚ2,2 ２５５、画像撮影対象点2,3位置 Ｚ2,3 ２５６、画像撮影対象点2,4位置 Ｚ2,4 ２５７をタイポイントａ〜ｄとして該３次元座標を計出する。該撮影対象は画像撮影点４計出位置Ｘ*4 ３５４でも撮影されており、撮影された画像上の位置より該画像撮影点４計出位置Ｘ4 ３５４の３次元位置と撮影方向が計出できる。このプロセスを繰り返して連鎖的に画像撮影点ｋ計出位置Ｘ*k ３５７の３次元位置と撮影方向を計出する。該プロセスを連鎖メタデータ計出法と以下称する。
【００２１】
該連鎖メタデータ計出法は第一に、開始地点の一対の画像撮影点の位置が正確に得られる必要があるが実際は容易ではない。また、第二に、連鎖計算を繰り返す結果、誤差が蓄積するという問題もある。本発明のもう一つの主要な部分はデータフュージョンの技術を用いて、この問題を解決することである。図３は非特許文献６に記載の東京大手町近辺における路上のＧＰＳ測位実測値である。高精度のＲＴＫとＤＧＰＳを用いているが、閉路１ ３００を構成する通路２０６を移動しながら計測した測位結果は５０％以上が正しい値となっていない。これは高層ビル壁面によるＧＰＳ電波の反射、見通せるＧＰＳ衛星数の減少によることに起因している。
【００２２】
これら障害がない場合には１０ｃｍ程度の精度が得られることが非特許文献６で示されているが、正しくない計測結果を該連鎖画像メタデータ計出の開始点に使用しないように除外する必要がある。また、図３の例では閉路１ ３００の南側しかＧＰＳ実測値（正）２１５のような正しい値が得られていないので、北側では他のデータによるデータフュージョンが不可欠となる。また、該閉路の南側に於いてもＧＰＳ実測値（誤）２１６のように、部分的に電波反射により正しい測位が行われていないことに注目すべきである。カーナビゲーションにおいては、ＤＧＰＳ測位結果を慣性センサと統合し道路データ上に位置を一致化させることにより位置を路上に示しているが、位置精度が５から１０ｍもあればこの目的を果たせるのであり、本発明の目的である１０ｃｍ程度の精度目標達成には不十分である。データフュージョンにより本発明で使用する画像撮影点位置を求める場合、元となるデータおよび情報には下記（1）から（５）のフュージョンデータ源がある。各々に一長一短があり、これらを合理的、合目的的に統合するのが本発明による新規な部分である。
【００２３】
（１）ＲＴＫおよびＤＧＰＳを用いた実計測値
位置精度は絶対値で１０ｃｍ程度まで得られる。また個別画像撮影点間距離も隣接するものの間では精度１０ｃｍ程度が期待できる。ただし、ＧＰＳ衛星からの信号がマルチパスで受信されると精度が劣化し本目的では使用できなくなり、このような値を排除する必要がある。
（２）オルソ衛星画像
位置精度の高いオルソ画像が広域で得られるが、衛星の画像分解能の制約から絶対位置精度は５０ｃｍ程度である。通路の直角方向の拘束力は強いが、通路進行方向に対する拘束力は弱い。位置精度が５０ｃｍ程度であるので個々の画像撮影点間の距離精度向上には有効ではない。
（３）グラフ・閉路
５０ｃｍ程度の精度のオルソ衛星画像を利用しても、端点、変曲点、閉路情報を利用することにより通路進行方向に対する拘束力を強めることが出来、特に閉路の場合は、一周することにより誤差の蓄積を解消できる。
（４）隣接画像撮影点間の連鎖メタデータ計出法
計出連鎖による誤差蓄積は避けられないが隣接画像撮影点間の距離は最も正確に求められる。
（５）通路の構造的特性
通路は直線ないし直線に近い曲線と曲がり角で出来ているという構造的特徴を（３）グラフ・閉路と併せて利用する。
図８以降、上記（１）から（５）のデータフュージョンを行う方法を詳述する。
【００２４】
図１に示した市街景観画像情報較正システムの全体構成において、画像データベース１５０において、オペレータ１７０は画像校正スーパーバイザ１００のグラフィックユーザインターフェイス１０５を介して、画像データベース１５０の画像毎の較正済みと較正未了の属性に従い画像撮影点の画像メタデータを較正していない画像撮影点を表示することが出来る。かかる属性表示方法は地理情報システムとして公然実施されている。オペレータ１７０は画像メタデータの較正が行われていない画像データベース１５０の部分を選択してメタデータの校正を開始する。図１の市街景観画像情報較正システムは画像較正スーパーバイザの指令に従い、図８の処理フローに従って処理する。図２でいうと、処理ブロック２７５では画像撮影点メタデータ実測値取得・較正処理を行う。通路２０３に沿った画像撮影点列３０３に対して該データユージョン源（１）から（５）を統合して画像撮影点メタデータ実測値取得・較正処理を行う。
【００２５】
その後、処理ブロック２７６においてＤＥＭデータ統合処理を行う。ここでは、ＤＥＭによる標高データを画像撮影点が地上の場合には高さ方向の３次元位置データとして統合する。地下街あるいはビル内である場合には、ＤＥＭによる標高データに加えフロアプランによる高度情報を３次元位置データとして統合する。処理ブロック２７５と処理ブロック２７６で、ディジタルカメラ集合体２００のうち選択したディジタルカメラについて画像撮影点列３０３の位置の３次元座標が較正されたので、処理ブロック２７７で図３７の例に示ディジタルカメラ集合体の幾何的位置関係を使用して処理ブロック２７５と処理ブロック２７６が選択したディジタルカメラ以外のカメラについても画像メタデータを計出する。
【００２６】
処理ブロック２７５のより詳細な内容を図９に示す。画像データベース１５０中の画像は移動経路２１０に沿って撮影されたものであり画像撮影点列３０３は必ずしも閉路を形成していない。処理ブロック２８０および処理ブロック２８１では、すべての該画像撮影点列３０３を再編成して最小の閉路を構成するようにする。図１０を用いてより詳細に説明する。図１０（ａ）は閉路を形成する前の画像撮影点列であり、実際の画像撮影経路に従い移動経路１ ２９０より移動経路１０ ２９９までに沿って画像撮影点列３０３が並んでいる。画像撮影点列３０３が市街における最小の市街ブロックを周回するように閉路１ ３００、閉路２ ３０１を構成しなおす。図１０の端点１ ３０５についてみると移動経路２ ２９１による画像撮影点列３０３と移動経路６ ２９５による画像撮影点列３０３が交叉している。処理ブロック２８１では、図１０（ｂ）に示すように市街ブロック１ ２８８、市街ブロック２ ２８９以下を順次指定し、該市街ブロックを周回する閉路１ ３００、閉路２ ３０１以下を構成する。端点１ ３０５を例にとると閉路１ ３００に沿って画像撮影点列３０３を構成しなおす。このようにして閉路ごとに該閉路を周回する画像撮影点列としてすべての画像撮影点列３０３が再編成される。
【００２７】
処理ブロック２８２から処理ブロック２８７までの処理は、隣接画像撮影点間の連鎖画像メタデータ計出法と該データフュージョン（１）から（５）を行う具体的方法である。処理ブロック２８２は該データフュージョンの（３）グラフ・閉路の特性を活かすため再編成した閉路を構成する全画像撮影点列について、画像メタデータ較正処理を行う処理ループである。処理ブロック２８３から処理ブロック２８７までは選択された閉路についての該データフュージョンをおこなう。処理ブロック２８３ではＲＴＫ実測値を道路地図またはオルソ高分解能画像上に緯度経度位置で表示する。図３８は画像撮影点において画像データベース１５０に格納する画像を取得する装置の例であり、ＲＴＫ／ＤＧＰＳ測位装置４９２が緯度経度を計測し、ディジタルカメラ制御装置４９３がディジタルカメラ集合体２００を構成する各ディジタルカメラａ〜ｐ ２０１ａ〜ｐに同時に一定距離移動するごとに画像撮影指令を出す。ＲＴＫ／ＤＧＰＳ測位装置４９２による測位とディジタルカメラａ〜ｐ ２０１ａ〜ｐによる撮影は画像撮影点ごとに同一位置でおこないディジタルカメラ制御装置４９３に記憶する。ＲＴＫ／ＤＧＰＳ測位装置４９２による測位は画像撮影点に対して飛び飛びに行ってもよい。
【００２８】
処理ブロック２８４は指定された閉路に対してＲＴＫ／ＤＧＰＳ相違装置４９２による測位結果が正しいか否かを判定する。不正値は高層ビルによる反射、受信可能な衛星数が過少であることから発生し、図３に見られるように大きく乱れる特色がある。下記基準により不正値と判断する。
（１）閉路が取り囲む市街ブロックからから期待値以上に離れている
（２）前後の位置関係が乱れている（前後の画像撮影点との距離、方位が合理的でない）
（３）測定時に受信した衛星数が少ない
さらに、地図または衛星画像上に表示して必要に応じて目視で不適切な値を排除してもよい。処理ブロック２８４が終了した時点で市街ブロックを取り囲む閉路の画像撮影点列を構成する画像撮影点に対して部分的に正確な実測位置データが得られていることになる。
【００２９】
処理ブロック２８５は処理ブロック２８４までの処理で選択された閉路について、実測値が散在する状態となっているので閉路に沿って画像メタデータ実測値対で囲まれる画像メタデータ実測値のない画像撮影点列の区間を閉路上を通路に沿って順次処理する処理ループである。処理ブロック２８６の内容をさらに詳細に図１３で説明する。図１４に示すように画像の画像撮影点列３０３のうち正確な実測値がある画像撮影点と正確な実測値のないものが混在しており、構造的には正確な実測値のある画像撮影点にはさまれて正確な実測値のない画像撮影点列が存在していると捉えることができるので、正確な実測値のある画像撮影点対より出発して次に正確な実測値のある画像撮影点対が存在するまで連鎖画像撮影点誤差較正処理を行い、閉路１ ３００を一周し終わるまで実施する。
【００３０】
処理ブロック２８６では、連鎖画像撮影点誤差較正処理として部分的に正確に位置情報が得られている画像撮影点対を出発点として図７で示した隣接画像撮影点間の連鎖画像メタデータ計出法により隣接する画像撮影点の画像メタデータを計出していく。処理ブロック３２１から処理ブロック３２４までは、正確な実測値のある画像撮影点対より出発して次に正確な実測値のある画像撮影点対が存在するまで連鎖画像撮影点誤差較正処理を行うプロセスである。処理ブロック３２１は通路に沿って該区間の最初の画像撮影点から最後の画像撮影点まで画像撮影点を一個ずつ前進するための処理ループであり、図７で示すと、実測値の存在する画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１から出発して最終的に画像撮影点ｋ Ｘk ２４９の３次元位置と撮影方向を計出するまでの繰り返し連鎖プロセスである。
【００３１】
処理ブロック３２２のタイポイント設定と処理ブロック３２３のタイポイント自動測量
は図７で実測値の存在する画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１から撮影した画像の共通の撮影対象である画像撮影対象点1,1位置 Ｚ1,1 ２５０、画像撮影対象点1,2位置 Ｚ1,2 ２５１、画像撮影対象点1,3位置 Ｚ1,3 ２５２、画像撮影対象点1,4位置 Ｚ1,4 ２５３をタイポイントａ〜ｄとして該３次元座標を計出する。処理ブロック３２４のメタデータ算出処理では、該タイポイントａ〜ｄが画像撮影点３計出位置Ｘ*3 ３５３でも撮影されていることを利用して、撮影された画像上の位置より該画像撮影点３計出位置Ｘ3 ３５３を含む画像メタデータすなわち３次元位置と撮影方向と画像の光軸回りの回転角を計出する。
【００３２】
処理ブロック３２３のタイポイント設定処理の内容を図１８に説明する。処理ブロック３６０でタイポイント選定を自動処理するか手動処理するか選択する。自動処理が選択された場合は処理ブロック３６３で画像処理により自動的に行う。タイポイント自動選定はステレオ画像からＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍａｐ）を抽出する場合などに利用されるパターンマッチングを使用することが可能で、かかる技術は公然実施されている。手動処理が選定された場合には図５に例示するように画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１からの撮影対象が重複する画像をグラフィックユーザインターフェイスでモニタ上に表示入力する。画面左側に建物２２０を左側から撮影した視線方向１より見た画像３２４を表示し、画面右側に視線方向２より見た画像２２５を表示する。モニタ上の左右両側を対比して対応する点を選定する。これがタイポイントａ〜ｄ ２３０〜２３３であり、カーソルを移動させながらクリックして指定することができる。
【００３３】
処理ブロック３２３のタイポイント自動測量処理でタイポイントで指定された各点の３次元座標を求める。この時点で判明しているのは図２０において、画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１の画像の撮影位置、撮影方向等の画像メタデータとタイポイント３点以上の画像上での２次元座標である。画像上の２次元座標と、実世界の３次元座標の対応付け方を、以下図１９、図２１、および図２２を使用して説明する。
【００３４】
図１９は撮影画像と実世界の対応関係を示す図であり、画像撮影位置Ｘ ２４０
Ｘ＝（ｘｘ，ｘｙ，ｘｚ）より画像ベクトルＲ３７５ ＸＹＺの各成分がｒｘ ｒｙ ｒｚ
でノルムが１の方向の画像範囲Λ ３８５を撮影する。撮影された画像は画像面Ω３７８上に２次元座標で投影される。画像面Ω３７８に画像ベクトルＲ３７５は直交する。画像距離ρ３７７は画像撮影位置Ｘ ２４０、と画像面Ω３７８との間の距離である。図２１は画像面Ω３７８に関する変数定義と画像面Ω３７８上のタイポイントの２次元座標位置とタイポイントの実世界における３次元座標関係を示す。画像面Ω３７８はフレーム横幅Ｈ４１７とフレーム縦幅Ｖ４１８の寸法を有し、画像撮影位置Ｘ２４０より画像ベクトルＲ３７５の方向に、画像距離ρ３７７の距離の位置に画像中心点Ｏ３７６を中心に視線方向を示す画像ベクトルＲ３７５に直交して存在する。
【００３５】
撮影カメラの焦点距離特性により、フレーム横幅Ｈ４１７に対するフレーム画角（横）ΨH４１５とフレーム縦幅Ｖ４１８に対するフレーム画角（縦）ΨＶ４１６が決まる。画像面Ω３７８は横軸である画像Ｖ軸４２０と縦軸である画像Ｗ軸４２１により２次元座標が定義される。画像撮影位置Ｘ２４０と画像面タイポイントａ Ｙａ３９０とタイポイントa実座標Ｚa４１０は一直線上に存在する。この関係は、その他の画像面タイポイントｂ Ｙb３９１とタイポイントｂ実座標Ｚb４１１の間、画像面タイポイントｃ Ｙc３９２とタイポイントｃ実座標Ｚc４１２の間にも成立する。画像面Ω３７８は一般に横軸である画像Ｖ軸４２０が水平線４１９に対して傾いており、これをフレーム回転角φ３７９と表わす。
【００３６】
画像面Ω３７８上のタイポイントは画像Ｖ軸４２０と画像Ｗ軸４２１による、すなわちＶＷ軸による２次元座標と実世界におけるＸＹＺ軸による３次元座標が存在する。図２２はこの２つの座標体系間の関連と相互変換を説明するものである。画像面Ω３７８上のＶＷ軸２次元座標点をＩi＝（ＩiV，ＩiW）とし、同一点のＸＹＺ軸３次元座標を
Ｙi＝（ｙiｘ，ｙiｙ，ｙiz）とする。ここでi=a,b,c,d,…であり、タイポイントの識別子を表す。図２２（ａ）は画像面Ω３７８が原点上でＸＹ軸面に一致している場合であり、Ｙi＝（IiV，Iiｗ．０）関係がある。画像撮影位置Ｘ２４０はＺ軸上に存在し座標は、（０， ０，-ρ）である。画像ベクトルＲ３７５はＺ軸と一致する。図２２（ａ）をＺ軸の周りにφ回転させたのが図２２（ｂ）であり、変換はΦZで与えられ、図２２（ｂ）をＸ軸の周りにθ回転させたのが図２２（ｃ）であり、変換はΦXで与えられ、、図２２（ｃ）をＹ軸の周りにδ回転させたのが図２２（ｄ）であり、変換はΦYで与えられる。
【数１】
【００３７】
Ｚ軸から開始して、Ｚ軸、Ｘ軸、Ｙ軸の周りにそれぞれφ θ δ回転させることにより任意の画像ベクトルＲ３７５と、画像面Ω３７８を得ることができるので、次の変換Φとその逆変換Φ-1は、それぞれＶＷ軸による２次元座標を実世界におけるＸＹＺ軸による３次元座標へ写像する変換と、その逆変換である。
【数２】
【数３】
【００３８】
したがって、画像ベクトルＲ３７５は回転φ θ δを用いて、下記のように表現できる。ここでｃｏｓθの負値は棄却してある。
【数４】
【００３９】
これにより、画像面タイポイントｉ実写値Ｙi４３０を画像面Ω３７８上の２次元座標と実世界の３次元座標に相互に変換する式は数５により与えられる。
【数５】
【００４０】
数５の第一式により、画像上のタイポイント２次元座標は、画像のメタデータが判明すれば実世界の３次元座標に変換できるので、以下、処理ブロック３２３の処理内容を図２０を用いて説明する。
画像撮影点１実測位置Ｘ1３４０および画像撮影点２実測位置Ｘ2３４１の画像は画像メタデータの判明している画像であり、画像撮影点３計出位置Ｘ3３５３の画像はメタデータが判明していない。
【００４１】
いま、画像撮影位置１Ｘ1３７１および画像撮影位置２Ｘ2３７２の座標を数６で表し、
【数６】
画像面１のタイポイントｉの３次元座標を
【数７】
画像面２のタイポイントｉの３次元座標を
【数８】
とする。また、タイポイントｉの対象物の実世界における３次元座標を
【数９】
とする。ここで、添え字ｉはタイポイントａ〜ｄを一般的に表しており、i=a,b,c,d,…である。
【数１０】
【数１１】
数１０と数１１からＺiを消去して、
【数１２】
【００４２】
１／Ｋ1iおよび１／Ｋ2iについて解いて
【数１３】
【数１４】
数１３と数１４より数１５と数１６を得る。すなわち、処理ブロック３２３で求めるべきタイポイントの実世界での３次元座標値である。
【数１５】
【数１６】
【００４３】
次に処理ブロック３２４の画像メタデータ算出処理に移行する。処理ブロック３２４の画像メタデータ算出処理を説明するにあたって、計算の原理を図２０と図２３を用いて、以下説明する。図２０において、画像撮影点３計出位置Ｘ3３５３の画像は、画像撮影点３計出位置Ｘ3３５３、画像撮影方向（画像ベクトルＲ３７５とフレーム回転角φ、またはＸＹＺ各軸周りの回転角（φ θ δ）より構成されるメタデータが判明していない。焦点距離（フレーム画角（縦）ΨＶ４１６、フレーム画角（横）ΨＨ４１５）はすべての画像に対して同一に設定しているので既知である。図６による視線方向３より見た画像２２６と視線方向２より見た画像２２５で、タイポイントａ ２３０、タイポイントｂ ２３１、タイポイントｃ ２３２、タイポイントｄ ２３３、i=a,b,c,d,…のタイポイントについては、全ての点について、画像上の２次元座標と、実世界における対応点の３次元座標が判明している。このような条件のもとで該メタデータを算出するのが処理ブロック３２４の内容である。該画像メタデータについては解析的に解けないことが分かっているので、初期条件を与えた上で収束計算により、数値計算で解く。
【００４４】
図２３（ａ）はメタデータが解けた状態を示す。画像撮影点３計出位置Ｘ*3３５３と画像面タイポイントｉ実写値Ｙi４３０とタイポイントｉ実座標Ｚi４３２は同一直線上に存在する。しかし、メタデータが正しく求められていない状態では、図２３（ｂ）のようにタイポイントｉ実座標Ｚi４３２と画像撮影点３計出位置Ｘ3３５３を結んだ直線と画像面Ω３７８の交点である画像面タイポイントｉ計算値Ｙ*i４３１は画像面タイポイントｉ実写値Ｙi４３０と一致しない。Ｙ*iとＹiをi=a,b,c,d,…に対して一致させるプロセスでメタデータを収束計算により求める。Ｘ*3３５３は数１７で定義される。以下、処理ブロック３２４の内容を図２４に詳述しているので、図２４に沿って説明する。
【数１７】
【００４５】
処理ブロック４４０では、画像メタデータに対して収束計算の初期値を設定する。
画像撮影点３計出位置Ｘ*3 ３５３、画像撮影方向（画像ベクトルＲ２７５）は収束計算の初期値を隣接するメタデータの判明している画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１の中間として平均値で数１８により求める。
【数１８】
【００４６】
撮影方向を示す画像ベクトルＲは数４によりＸ軸、Ｙ軸周りの回転、θおよびδに変換できる。また、フレーム回転角φは水平として０、焦点距離に関係する画像距離ρ３７７については画像撮影点１実測位置Ｘ1３４０と画像撮影点２実測位置Ｘ2３４１の画像を含めすべての画像について同一で既知ある。収束計算刻み係数εは処理ブロック４４７〜４５２で自動調整機能があるので、たとえば０．０１などとしてよい。画像メタデータを一般的にＰj、ただしj=1,6と記述する。Ｐjはｘux、ｘuy、ｘuz、θ、δ、φより構成される。
【００４７】
図２３（ａ）よりＸ*3、Ｙi、Ｚiが同一直線上にあること、（ベクトル）Ｒと（平面）Ωが直交することから数１９が成り立つ。ここでｋは定数である。
【数１９】
ここでｋ，Ｏを消去すると、
【数２０】
となり、
【数２１】
の関係が有ることから、画像面タイポイント計算値C４３１が数２２で求まる。
【数２２】
【００４８】
数２２で求まった画像面Ω上のタイポイントｉの位置はタイポイントｉの実世界での３次元座標から逆算したものであり、メタデータＰjが実際と異なるため画像面タイポイントｉ実写値Ｙi４３０と一致しない。処理ブロック４４１では、実写値の２次元座標位置を
ＩVi、Ｉwiをとすると、数２３の評価関数
【数２３】
により全てのタイポイントに対して画像面Ω上での誤差の２乗の和を求める。求めるべきメタデータ未知数が６つあるので、独立な方程式が６以上必要であり、タイポイントは３以上必要となる。ただし、最小二乗法による数値計算を用いているのでタイポイントは３より多くてもかまわない。
【００４９】
処理ブロック４４２ではメタデータＰjの変化に対する評価関数変化の感度を求める。数２３をメタデータＰjで偏微分した以下の数２５から数２９の式の計算を行う。
【数２４】
【００５０】
【数２５】
【００５１】
【数２６】
【００５２】
【数２７】
【００５３】
【数２８】
【００５４】
【数２９】
【００５５】
処理ブロック４４３、４４６〜４５４は収束計算の制御に関するロジックであり、処理ブロック４４２で求めた感度により処理ブロック４４４でメタデータを修正して処理ブロック４４５で数２３による評価関数Ｊの計算を行う。処理ブロック４４４の修正刻み幅εは評価関数Ｊの値が減少する限り2倍ずつ増加される。また、評価関数Ｊが減少しない場合は減少するまで１／２され、自動調整される。処理部ブロック４５４では評価関数が十分０に近づいたか判定し、０に近い、すなわち、メタデータが実際に撮影したカメラの値に一致したとき計算を終了する。処理ブロック３２２から処理ブロック３２４までの処理を処理ブロック３２１の制御のもとで繰り返し、連鎖メタデータ計出を行うのである。以上で図１３の処理ブロック３２４の処理は完了し、隣接画像のメタデータが計出された。
【００５６】
処理ブロック３２５から処理ブロック３２８の処理は処理ブロック３２１から処理ブロック３２４までと同一のアルゴリズムであるが、画像撮影点列における連鎖メタデータ計出における連鎖進行の向きが逆となっている。この関係を図１６を用いて説明する。図１６（ａ）は処理ブロック３２１から処理ブロック３２４の処理方向であり、図１６（ｂ）は処理ブロック３２５から処理ブロック３２８の処理方向である。いずれも対を成す画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測実測Ｘ2 ３４１、対を成す画像撮位置ｋ−１実測位置Ｘk-1３４５と画像撮影点ｋ実測位置Ｘk ３４６について実測値が存在し、該２対の画像撮影位置にはさまれる画像撮影点列に対しては撮影位置等メタデータの実測値がない。図１６（ａ）は対を成す画像撮影点１実測Ｘ1 ３４４と画像撮影点２実測位置Ｘ2 ３４１より出発して点線矢印の向きに左側に計出を進める。すでに対を成す画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１から画像撮影点３計出位置Ｘ*3 ３５３を計出するアルゴリズムを述べたが、このプロセスを繰り返し、画像撮影点２実測位置Ｘ2 ３４１と画像撮影点３計出位置Ｘ*3 ３５３から画像撮影点４計出位置Ｘ4 ３５４を求める。以下このプロセスを繰り返し適用して画像撮影点ｋ計出位置 Ｘ*k ３５７まで求める。
【００５７】
図１６（ｂ）は対を成す画像撮影点ｋ実測位置Ｘk ３４６と画像撮影点ｋ−１実測位置 Ｘk-1 ３４５より出発して点線矢印の向きに右側に計出を進める。図１６（ａ）と同様に対を成す画像撮影点ｋ実測位置Ｘk ３４６と画像撮影点ｋ−１実測位置Ｘk-1 ３４５から画像撮影点ｋ−２計出位置Ｘ*k-2 ３５５を計出し、以下このプロセスを繰り返し適用して画像撮影点１計出位置Ｘ*1 ３５１まで求めることが出来る。
【００５８】
図１６（ａ）の計出では、画像撮影点ｋ実測位置Ｘk ３４６と画像撮影点ｋ−１実測位置Ｘk-1 ３４５と画像撮影点ｋ計出位置Ｘ*k ３５７と画像撮影点ｋ−１計出位置Ｘ*k-１ ３５６の間の誤差が明確に計算できる。画像撮影点k−１実測位置Ｘk-1 ３４５と画像撮影点k−１計出位置Ｘ*k-１ ３５６における誤差を画像撮影点ｋ−１位置誤差εk-１ ３３７という。図１５はこの間の事情を図示するものである。実際の位置と計出された位置の間の誤差は画像撮影点３計出位置Ｘ*3 ３５３から発生し、画像撮影点3実測位置Ｘ3 ３４２との相違となるが、画像撮影点3実測位置Ｘ3 ３４２については知ることが出来ない。以降、実際の画像撮影点列３０３の位置に対して計出画像撮影点列３７０の位置が計算で求められてその差異が誤差となり、実際の画像撮影対象点列３０４に対して計出画像撮影対象点列３７１の位置が計算で求められてその差異が誤差となる。
【００５９】
図１６（ｂ）の計出では、画像撮影点１実測位置Ｘ1 ３４０と画像撮影点１計出位置
Ｘ*1 ３５１、画像撮影点２実測位置Ｘ2 ３４１と画像撮影点２計出位置Ｘ*2 ３５２の間の誤差が明確に計算できる。画像撮影点２実測位置Ｘ2 ３４１と画像撮影点２計出位置Ｘ*2 ３５２との誤差を画像撮影点２位置誤差ε2 ３３６という。図１７はこの間の事情を図示するものである。実際の位置と計出された位置の間の誤差は画像撮影点ｋ−２計出位置Ｘ*k-2 ３５５から発生し、画像撮影点ｋ−２実測位置Ｘk-2 ３４９の相違となるが、画像撮影点ｋ−２実測位置Ｘk-2 ３４４については知ることが出来ない。以降、実際の画像撮影点列３０３の位置に対して計出画像撮影点列３５８の位置が計算で求められてその差異が誤差となり、実際の画像撮影対象点列３０４に対して計出画像撮影対象点列３７１の位置が計算で求められてその差異が誤差となる。
【００６０】
以下、処理ブロック３２９の実測メタデータ誤差配分処理について説明する。より詳細な内容を図２５の処理フローに記載する。処理ブロック５１０では前進連鎖画像メタデータ計出の誤差補正処理を行う。すなわち、処理ブロック３２１から処理ブロック３２４により前進連鎖計出計算により求まった画像撮影点k−１計出位置Ｘ*k-１ ３５６ を含む計出画像撮影点列 ３７０、 計出画像撮影対象点列 ３７１および、画像撮影点ｋ−１位置誤差εk-1 ３３７と、画像撮影点k−１実測位置Ｘk-1３４５を用いて最も誤差の少ない計出画像撮影点列と計出画像撮影対象点列を求めることである。処理ブロック５１０の内容を図２６の処理フローでさらに詳細に記す。
【００６１】
処理ブロック５２０は計出最終画像撮影点位置偏角計算を行う。計出最終画像撮影点位置偏角とは図２７で画像撮影点として実測値のある最後の点である画像撮影点実測位置２
Ｘ2 ３４１より画像撮影点k−１計出位置Ｘ*k-1 35６と画像撮影点k−１実測位置Ｘk-1 ３４５を見込む角度であり、計出最終画像撮影点位置偏角Δk-1 53１と定義する。ここで、変数の右肩の＊は計出値を示し、＊のないものは実測値または真値をしめす。
【数３０】
【００６２】
処理ブロック５２１では数３０で求めた偏角Δk-1 を各画像撮影点に均等に配分する。これは図２７において偏角Δk-1の発生する箇所が特定できず結果として画像撮影点k−１計出位置Ｘ*k-1 ３５６と画像撮影点k−１実測位置Ｘk-1 ３４５の位置で偏角Δk-1の偏差が発生しているためである。誤差の補正は角度方向と、径方向に分離して行う。角度方向の誤差は各画像撮影点において次の画像撮影点に進むときの方位誤差の積算として生じる。ただし、画像撮影点ｋ−１における位置誤差εk-1 ３３７へ与える影響は画像撮影点k−１実測位置Ｘk-1 ３４５から離れた画像撮影点ほど大きい。Ｘ2 からＸk-2 の各点で発生する方位誤差を均等にδ とすると近似的に（数３２）が成り立つ。下記δが処理ブロック５２１で求める数値である。
【数３１】
【００６３】
処理ブロック５２２では、（数３２）で求めた角度誤差δ を用いて各画像撮影点位置を再計算する。角度誤差δによる水平面（XY平面）での回転変換をΦとすれば、
【数３２】
ｉ=k-1 まで
となる。ここで、変数右上肩の＊は演算による計出値を示し、＊＋１は演算による計出値の更新値を表す。
【００６４】
次に、画像撮影点計出位置の更新に伴い、画像撮影対象計出位置についても更新する。図２７において、画像撮影点ｉ−１計出位置Ｘ*i-1 ３５８、画像撮影点ｉ計出位置Ｘ*i ３５９で撮影した画像を用いて３次元座標を計出した画像撮影対象i-1,m計出位置Ｚ*i-1,m ２７４に対して相互の幾何的位置が同一となるように下記で補正を行う。ここで添え字ｍ(m=1,j)は複数の画像撮影対象計出位置を表記するためのものである。
【数３３】
数３２は近似的にしか成り立たないので、処理ブロック５２１と処理ブロック５２２で求めた補正値は残差が残り、計出最終画像撮影点位置偏角Δk-1５３１は一度の計算で０になる保証はない。そのため、処理ブロック５２３で計出最終画像撮影点位置偏角Δk-1５３１に残差が残っている場合には再計算を行い、目標値以下となるまで計算を繰り返す。目標値の目安は位置誤差を１０ｃｍ以下としているので、画像撮影点k計出位置距離Ｌ*k535が１００ｍとすると０．０６度が目安となる。
【００６５】
次に、処理ブロック５２４から処理ブロック５２６では、画像撮影点ｋ−１位置誤差εk-1 ３３７の径方向誤差成分を補正する。最終画像撮影点位置倍率係数Ｍk-1５４０および画像撮影点ｉ計出位置Ｘ*i ３５９、画像撮影対象点i-1,m計出位置Ｚ*i-1,m ２７４は数３４で得られる。なお、数３３と数３４による画像撮影対象点i-1,m計出位置Ｚ*i-1,m ２７４を全てのｉとｍに対してプロットすることにより通路（道路）地図を作成することが出来る。
【数３４】
【００６６】
以上、処理ブロック５１０の説明を行ったが、次に処理ブロック５１１の説明を行う。処理ブロック５１１のアルゴリズムは処理ブロック５１０と同様に図２６で記述できる。処理ブロック５１０と連鎖計出の進行方向が逆である以外の相違はなく図２７の替わりに図２８を用いて説明することが出来る。対応を述べると下記となる。
処理ブロック５１０ 処理ブロック５１１
対応図 図２７ 図２８
計算開始実測画像撮影点対 Ｘi ，Ｘ2 Ｘk，Ｘk-1
計出最終画像撮影点 Ｘk-1 Ｘ2
計算順序 3,4,・・・k-2,k-1 k-2.・・・,4,3,2
数式の対応 数３０ 数３５
数３１ 数３６
数３３ 数３８
数３４ 数３９
【００６７】
【数３５】
【数３６】
【数３７】
ｉ＝２まで
【数３８】
【数３９】
【００６８】
図２５の処理ブロック５１２では、処理ブロック５１０で求めた結果と処理ブロック５１１で求めた結果の平均値を数４０で求める。処理ブロック５１０の前進連鎖計出の画像撮影点列をＸ*ｆi 、画像撮影対象位置をＺ*ｆi-1,m、処理ブロック５１１の後進連鎖計出の画像撮影点列をＸ*bi 、画像撮影対象位置をＺ*bi-1,mとする。ここで、右上肩の添え字ｆ,ｂは前進と後進を表し、＊は最終計算結果による補正値である。また、両端の画像撮影点列Ｘ1、Ｘ2、Ｘk-1、Ｘkには実測値が存在するので、計出による値はi=3,k-1の範囲である。m=1,nであり、nは写真測量用のタイポイント数で３以上である。
【数４０】
ここで、i=3,k-1、m=1,n である。
数４０の結果を図示したのが図２９である。ここまでの説明で、図９の処理ブロック２８６の画像撮影点メタデータ実測値取得・較正処理までの説明を完了する。これまでに閉路を周回する画像撮影点のうち位置実測値として採用可能なもののみ選択して信頼すべき位置実測値の存在しない画像撮影点列については連鎖メタデータ計出の手法による計出を行った。この結果、図１０で閉路１ ３００が周回する市街ブロック１ ２８８を周回する形で閉路１ ３００に沿って画像撮影点列の３次元座標を得ることが出来た。
【００６９】
以下、図９に戻り処理ブロック２８７の説明を行う。処理ブロック２８６までで得た画像撮影点列は実測位置が得られない区間距離が長いと精度劣化が起こる。この誤差を補正するために、先に挙げた該データフュージョン源のうち、地図・オルソ衛星画像およびグラフ・閉路を含む通路の構造的特性を統合して精度の向上を図る。図１１および図１２を用いて方法を説明する。利用する特性は、画像撮影対象が高層ビルを含む市街地であり、通路境界が建造物となているか、あるいは大きな建造物ではその境界が明確で衛星画像で視認可能であることである。図１１を例にすると、画像撮影対象点列３０４は通路境界線２１２上に重なる場合が多く、画像撮影対象点列３０４を通路境界線２１２に一致化させる。このような状況は衛星画像の場合、５０ｃｍまで分解能が期待でき、航空写真の場合は２５ｃｍ程度まで分解能が期待できるのでかなり改善できる。一般には衛星画像の方が画像のひずみが少なくオルソ性が高いので使用しやすい。
【００７０】
ここで注意すべきは、地図・オルソ衛星画像を使用する場合、画像撮影点と画像撮影対象点位置を直接確定することは出来ないことである。なぜなら、地図・オルソ衛星画像には画像撮影点の位置および画像撮影対象点位置に関する情報は直接には含まれていないからである。利用できるのは、画像撮影対象点列を通路境界線上に選定した場合これを通路境界線上に一致化させることができるだけである。すなわち、画像撮影対象点の位置に関して通路に垂直方向の位置情報が５０ｃｍから２５ｃｍの精度で得られるが通路に平行な方向の位置情報は得られない。画像撮影点位置は画像撮影点位置より間接的に得られるので、同様に通路に垂直方向の位置情報が５０ｃｍから２５ｃｍの精度で得られるが通路に平行な方向の位置情報は得られない。この欠点を解決するために、通路の変曲点の前後を含む通路の変曲区間（図１２の端点1 ３０５、端点２ ３０７、端点３ ３０９が該当する。）を通路境界線で一致化させれば、通路進行方向に垂直な位置のみを一致化しても全方向に対する２５〜５０ｃｍ以上の位置精度が確保できる。変曲は９０度が最もよい精度が得られるが、通路の変曲は９０度近辺であることが極めて多い。
【００７１】
処理ブロック２８７の詳細内容を図３０の処理フローで説明する。処理ブロック５５０は閉路に沿ってすべての画像撮影点について順次処理する、すなわち閉路１ ３００に沿って画像撮影点列を一周することである。処理ブロック５５１では閉路に沿って変曲区間を抽出し、画像撮影点列を画像撮影点ごとに「変曲区間」と「非変曲区間」に区分して属性を付与する。これは図１２の例で言うと端点１ ３０５、端点２ ３０７、端点３ ３０９のようなグラフでいう端点を見つけることである。実際の閉路の端点は図１２の端点拡大図３０５に例示するようにある曲率をもって曲がっている。閉路に沿って画像撮影点列／撮影対象点列 データテーブル５９１を図３８（ｂ）のように記述しておけば
（Ｘj+1-Ｘj）・（Ｘj−Ｘj-1）で隣接するベクトルのなす角度を追跡することにより処理ブロック５５１の変曲区間は検出できる。変曲部の前後に２〜３の画像撮影点を付加して、端点１拡大図３０５に示す部分を変曲区間として区分する。なお、変曲区間以外は非変曲区間と定義し、画像撮影点の属性として付与する。処理ブロック５５２では、閉路に沿って画像撮影点列を画像撮影点ごとに「実測位置」と「計出位置」に区分して属性を付与する。実測位置とはGPSなどで高精度実測位置が存在する画像撮影点をいう。
【００７２】
処理ブロック５５３は地図・オルソ衛星画像を用いた通路変曲部の位置修正処理であり、図３１にさらに詳細に説明する。処理ブロック５６０は閉路に含まれる全ての変曲区間について順次処理するためのループである。該変曲部は両端に少なくとも２〜３点の画像撮影点の区間の直線部を有するように設定されており、処理ブロック５６１では該直線部分に対して対応する画像撮影対象点が地図？オルソ衛星画像による通路境界線２１２上に乗るように補正処理をおこなう。図３３は該補正処理の説明のための記号を図示したものである。通路境界線２１２は変曲区間において画像撮影対象点列３０４と本来一致すべきであるが位置誤差のためずれが生じている。通路境界線２１２は図３９の通路境界線ベクトルデータテーブル５９０に示されるように、位置座標を結ぶベクトルとして定義されている。
【００７３】
図３３において通路変曲部の両側の直線部にある画像撮影対象点を画像撮影対象点ｉＺi 59６、 画像撮影対象点ｊＺj 597とし、通路境界線２１２に対する垂線の足をそれぞれ、 画像撮影対象点ｉＺi垂線の足Ｙi 598、画像撮影対象点ｊＺj垂線の足Ｙj 599 とする。また、Ｙi、Ｙjを含む通路境界線２１２の区間は、通路境界線構成点ｍ Ｏｍ592、通路境界線構成点ｍ＋１ Ｏｍ+1593、通路境界線構成点ｎＯｎ594、通路境界線構成点ｎ＋１
Ｏｎ＋1595に対して、それぞれ［Ｏｍ，Ｏｍ+1］，［Ｏｎ，Ｏｎ＋1］とする。このとき、数４１が成り立つ。
【数４１】
実際には、画像撮影対象点Ｚi、Ｚjが与えられると、数４１の０≦ａ≦１, ０≦ｂ≦１,が成り立つ区間、［Ｏｍ，Ｏｍ+1］，［Ｏｎ，Ｏｎ＋1］を通路境界線ベクトルデータテ−ブル 590から検索するのである。
【００７４】
通路変曲部の両側の直線部での通路垂直方向修正ベクトル値は、数４２に記すように数４１より、それぞれＹi−Ｚi、Ｙj−Ｚjであたえられる。
【数４２】
【００７５】
処理ブロック５６２において、変曲区間両端の直線部分の通路垂直方向修正ベクトル値を合成して変曲点部画像撮影点と画像撮影対象点の位置修正ベクトルを計算するが、これはベクトルとしてＹi−Ｚi、Ｙj−Ｚjを合成すればよく、（数４３）におけるＤで与えられる。該変曲部の全ての画像撮影対象点、画像撮影点に対する地図・オルソ衛星画像による位置修正値はＤとなる。
【００７６】
処理ブロック５６３から処理ブロック５６６までの処理は、該変曲区間に含まれる画像撮影点のなかに、ＲＴＫ／ＤＧＰＳによるＤＰＳ精密位置測定に成功した画像撮影点実測値が含まれている場合のデータフュージョンを行うものである。該画像撮影点実測値が含まれていない場合は、変曲部内の全ての画像撮影点と画像撮影対象点に対して処理ブロック５６２の位置修正ベクトルで位置補正値を修正する。ＲＴＫ／ＤＧＰＳによるＤＰＳ精密位置測定は１０ｃｍ程度の位置精度があり、地図・オルソ衛星画像による位置精度は処理ブロック５６２の方法によっても２５〜５０ｃｍ程度である。処理ブロック５６４は地図・オルソ衛星画像による位置修正値が計測誤差内かを判定する。判定基準はＲＴＫ／ＤＧＰＳによる最大誤差１５ｃｍ＋地図・オルソ衛星画像による最大誤差５０ｃｍで６５ｃｍであるので、Ｄのノルムが６５ｃｍ以下であれば計測誤差内と判定する。変曲区内に実測値がある場合には既に画像メタデータ連鎖計出法により周囲の誤差がＲＴＫ／ＤＧＰＳによるＤＰＳ精密位置測定解消されているので、この場合は何も補正を行わない。Ｄのノルムが計測誤差（６５ｃｍ）を超える場合は、データフュージョンする位置情報に矛盾があることを意味し、そのまま処理を帰属することは好ましくない。処理ブロック５６５へと進み警報表示を行って手動による入力データの適切・不適切を再度チェックする。
【００７７】
次に図３０の処理ブロック５５４に進み、通路非変曲部処理を行う。これは図１２でいうと変曲区間である、端点１ ３０５、端点２ ３０７、端点３ ３０９にはさまれるアーク１ ３１４およびアーク２ ３１５の非変曲部が該当する。より詳細な処理内容を図３２に示す。処理ブロック５５３により通路変曲部の位置精度は向上しているので、処理ブロック５８０は変曲部の両端に存在する直線部の画像撮影点を実測値として扱い、変曲部または非変曲部間の実測点対に囲まれる全ての画像撮影点列区間について順次処理する。すなわち実測値の精度がない画像撮影点列の区間について順次処理する。この部分の処理は新たに更新された高精度の画像撮影点に基づいて図９の処理ブロック２８６の連鎖画像撮影点誤差較正処理を繰り返す。
【００７８】
次に処理ブロック５８４で通路進行方向に垂直方向の誤差を修正する。この処理は
図３３における通路変曲部の両側にある直線部の一方の処理と同様である。画像撮影対象点をＺiとし、通路境界線２１２に対する垂線の足をＹiとし、Ｙiを含む通路境界線２１２の区間を［Ｏｍ，Ｏｍ+1］とする。このとき、数４３が成り立つ。
【数４３】
実際には、画像撮影対象点Ｚiが与えられると、数４３の０≦ａ≦１が成り立つ区間、
［Ｏｍ，Ｏｍ+1］を通路境界線ベクトルデータテ−ブル 590から検索するのである。通路垂直方向修正ベクトル値は、数４４でＹi−Ｚiであたえられる。
【数４４】
該通路非変曲部の各画像撮影対象点Ｚiに対する地図・オルソ衛星画像による位置修正値はＤiとなり、Ｚiの修正値に基づき画像撮影点Ｘiを再計算して求める。
【００７９】
以上で図８の処理ブロック２７５の説明が終了し、以下、図８の処理ブロック２７６のＤＥＭデータ統合処理についてその詳細を図３４により説明する。処理ブロック４７０は処理対象通路を閉路の集合に再編してあるので、再編した画像撮影対象の全閉路について順次処理するためのループである。処理ブロック４７１は選択されて指定された閉路について全画像撮影点を順次処理するためのループである。図８の処理ブロック２７５までの処理では画像撮影点位置、画像撮影対象点位置のうち鉛直方向情報は処理の起点となる画像撮影点位置に対する相対値でしか表現されていないため、これを標高値に置き換えるのが、処理ブロック４７２の処理である。ＤＥＭデータベースの形式は業界公知の情報として公開されており、また、処理ブロック２７５までの処理で画像撮影点位置、画像撮影対象点位置の水平面座標はは緯度経度で与えられているから公知の方法で標高値を求めることが出来るので該標高値で該鉛直方向情報を置換する。これにより異なる閉路に対して共通の鉛直方向座標を得ることが出来る。図３５は閉路１ ３００の存在する緯度経度に対応してＤＥＭ４８０が格子点の標高値点４８１で与えられている例を図示しており、標高値は近傍の格子点の標高値を補間することにより得られる。なお、地下街、ビル内のフロアについては該標高データに対してフロアプランより得られた高度情報を加えて鉛直方向座標データとする。
【００８０】
処理ブロック４７３では、隣接画像撮影点の傾斜が置換前の高さ情報を用いた傾斜値と一定微小値以上の差があるか判定をする。本システムを適用する都市は大部分が平地にあるので傾斜は２度以下であるが、ここでは判定の閾値を２度とすることにより、傾斜地による誤差発生を防止するために処理ブロック４７４から処理ブロック４７6の再計算処理を行う。処理ブロック４７５では地図・オルソ高分解能画像を利用して画像撮影点列の通路進行方向の直角方向の補正を行う。内容は処理ブロック５８４と同一である。ここまでの説明で図８の処理ブロック２７５の説明を終了する。
【００８１】
次に図８の処理ブロック２７７の説明を行う。詳細な内容は図３６の処理フローで説明する。処理ブロック４８５は再編した画像撮影対象の全閉路についてい順次処理する。処理ブロック４８６は指定の閉路について全画像撮影点を順次処理するループである。画像撮影カメラはディジタルカメラ集合体２００の形に実装され、図２（ｂ）または図３８の形態で運用される。処理ブロック４８７は図３７のディジタルカメラ集合体２００の幾何学的構造に基づいて計算される。以上述べてきた画像撮影点列におけるカメラは通路境界線に面し（進行方向より９０度の方向）水平方向を向いていることを前提としているので図３７でディジタルカメラ集合体がＣの方向（図面下方）に進行するとすればディジタルカメラａ２０1aがこれまでの処理の前提としたカメラである。他のディジタルカメラｂ〜ｐ ２０１ａ〜ｐの位置と撮影方向をディジタルカメラａ ２０１ａの位置と撮影方向から求めるのが処理ブロック４８７の内容である。
【００８２】
図３７のディジタルカメラ集合体２００においてディジタルカメラ集合体中心ＡＯ２０４から見てディジタルカメラａ ２０１ａの方向をｚ軸、鉛直上方をｘ軸、ディジタルカメラｇ ２０１ｇの方向をｙ軸とした場合、各カメラの方向はノルムを１として数４５で表現できる。ここで、Ｒの添え字のａ〜ｐが各カメラに対応し、０はディジタルカメラ集合体２００の基準位置、姿勢に対するべくとるであることを示す。また、簡単のためａ〜ｐのカメラ識別子をｗで表し（ｗ＝a,b,・・・,P）、ディジタルカメラｗの基準方向をＲw0‘
と表す。
【数４５】
【００８３】
図２２のｘｙｚ軸の定義と各軸回りの回転φ θ δの定義を用いてディジタルカメラ２００ａの方向をＲaを表現すると数４と同様に
【数４６】
さらに数２を適用して、各ディジタルカメラの撮影方向は（数４８）で表現される。
【数４７】
【００８４】
各ディジタルカメラの光軸回りの回転角は、回転角を求めようとする水平方向のディジタルカメラｗ (w=a,b,…,h)に対して、図３７で上方よりディジタルカメラ集合体 200を見て、時計回りに90度回転した位置にあるカメラをw+π/2と添え字表現すると（例：カメラａに対してカメラｇ）時計回りの回転角φwは（数４９）で求められる。
【数４８】
【数４９】
以上の数値を図４０の原画像データベース 500において撮影パラメタのカメラ位置（緯度,経度,高度）、正規化視線ベクトル(X Y Z)、カメラ回転角として、カメラごと撮影画像ごとに格納すればよい。なお、カメラパラメタはカメラを決めた時点で決定される固定値であり、ヘッダーは画像撮影時点に関する情報で別途定まる。
【産業上の利用可能性】
【００８５】
本発明の市街景観画像情報較正システムは都市景観に関するWeb情報サービスにおいて、３次元動画生成システム用画像デタベース構築システムとして産業上利用することができる。
【図面の簡単な説明】
【００８６】
【図１】本発明の市街景観画像情報較正システムの全体構成を概略的に示す図である。
【図２】図１に示す画像データベースシステムを構成する画像を撮影するための運用方法の概念を示す図である。
【図３】ＧＰＳを用いた高精度測位の高層ビル地域での実測値例を示す図である。
【図４】図１に示す画像データベースシステムを構成する画像の構成を概略的に示す図である。
【図５】図１に示す画像データベースシステムを構成する画像のタイポイント例を示す図である。
【図６】図１に示す画像データベースシステムを構成する画像のタイポイント例を示す図である。
【図７】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理を示す図である。
【図８】本発明の市街景観画像情報較正システムの全体の処理フローを示す図である。
【図９】本発明の市街景観画像情報較正システムの画像撮影点メタデータ実測値取得・較正処理の処理フローを示す図である。
【図１０】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において画像撮影点列を閉路として構成し直す方法例を示す図である。
【図１１】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理においてオルソ画像または地図を用いて画像撮影対象点を通路境界線に拘束する方法を示す図である。
【図１２】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において画像撮影点列を閉路として構成しさらにオルソ画像または地図を用いて画像撮影対象点を通路境界線に拘束し、閉路の端点近傍の画像撮影対象点を端点に拘束する方法を示す図である。
【図１３】本発明の市街景観画像情報較正システムの連鎖画像撮影点誤差較正処理の処理フローを示す図である。
【図１４】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において最初と最後の画像撮影点の実測位置のほかに途中の画像撮影点の実測位置を与えて欠く画像撮影点の位置を連鎖計出する方法を示す図である。
【図１５】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において最初の画像撮影点の実測位置から出発して連鎖計出する場合の最終画像撮影点に向かっての誤差蓄積を示す図である。
【図１６】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において最初の画像撮影点の実測位置から出発して前進連鎖計出により画像撮影点位置を求める方法と、最後の画像撮影点の実測位置から出発して後進連鎖計出により画像撮影点位置を求める方法の関係を示す図である。
【図１７】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において最後の画像撮影点の実測位置から出発して後進連鎖計出する場合の最初の画像撮影点に向かっての誤差蓄積を示す図である。
【図１８】本発明の市街景観画像情報較正システムのタイポイント設定処理の処理フローを示す図である。
【図１９】本発明の市街景観画像情報較正システムのタイポイント自動測量システムの変数を図示した図である。
【図２０】本発明の市街景観画像情報較正システムのタイポイント自動測量システムの処理を図示した図である。
【図２１】本発明の市街景観画像情報較正システムで使用する画像とタイポイント自動測量システムおよびメタデータ算出システムで使用される変数の関係を示す図である。
【図２２】本発明の市街景観画像情報較正システムの画像上で使用する２次元座標系と実世界の３次元座標系の変換を図示する図である。
【図２３】本発明の市街景観画像情報較正システムのメタデータ算出システムで収束計算のアルゴリズムと評価基準を示す図である。
【図２４】本発明の市街景観画像情報較正システムのメタデータ算出処理の処理フローを示す図である。
【図２５】本発明の市街景観画像情報較正システムの実測メタデータ誤差配分処理の処理フローを示す図である。
【図２６】本発明の市街景観画像情報較正システムの実測メタデータ誤差配分処理のうち前進連鎖計出または後進連鎖計出について誤差配分の処理フローを示す図である。
【図２７】本発明の市街景観画像情報較正システムの実測メタデータ誤差配分処理の前進連鎖計出の誤差配分を方式を示す図である。
【図２８】本発明の市街景観画像情報較正システムの実測メタデータ誤差配分処理の後進連鎖計出の誤差配分を方式を示す図である。
【図２９】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において最初の画像撮影点の実測位置から出発して連鎖計出する場合と最後の画像撮影点の実測位置から出発して連鎖計出する場合の誤差蓄積を統合して誤差を構成する方法を示す図である。
【図３０】本発明の市街景観画像情報較正システムの画像撮影点メタデータ実測値取得・較正処理のうち地図・オルソ画像拘束処理の処理フローを示す図である。
【図３１】本発明の市街景観画像情報較正システムの画像撮影点メタデータ実測値取得・較正処理のうち地図・オルソ画像拘束処理の通路変曲部処理フローを示す図である
【図３２】本発明の市街景観画像情報較正システムの画像撮影点メタデータ実測値取得・較正処理のうち地図・オルソ画像拘束処理の通路非変曲部処理フローを示す図である
【図３３】本発明の市街景観画像情報較正システムの画像撮影点メタデータ実測値取得・較正処理のうち地図・オルソ画像拘束処理の通路変曲部の変数の名称を示す図である。
【図３４】本発明の市街景観画像情報較正システムのＤＥＭデータ統合処理の処理フローを示す図である。
【図３５】本発明の市街景観画像情報較正システムにおいてＤＥＭ情報を統合する概念を示す図である。
【図３６】本発明の市街景観画像情報較正システムのマルチカメラデータ誤差較正処理の処理フローを示す図である。
【図３７】本発明の市街景観画像情報較正システムの画像データ取得のためのディジタルカメラ集合体の構成例を示す図である。
【図３８】本発明の市街景観画像情報較正システムの画像データ取得のための移動式画像取得装置の構成例を示す図である
【図３９】本発明の市街景観画像情報較正システムの通路境界線ベクトルデータテ−ブルと画像撮影点列／画像撮影対象点列 データテーブルの構成を示す図である。
【図４０】本発明の市街景観画像情報較正システムの画像データベースの較正例を示す図である。
【符号の説明】
【００８７】
100 画像校正スーパーバイザー
105 グラフィックユーザインターフェイス
110 画像撮影点メタデータ実測値取得較正システム
120 連鎖画像撮影点誤差較正システム
130 ＤＥＭデータ統合システム
140 マルチカメラデータ誤差較正システム
150 画像データベース
155 道路データベース
160 衛星画像データベース
165 ＤＥＭデータベース
170 オペレータ
200 ディジタルカメラ集合体
201a〜ｐ ディジタルカメラa〜ｐ
202 上向きディジタルカメラ仰角Θ
203 ディジタルカメラ設置距離 Ｌ
204 ディジタルカメラ集合体中心 ＡＯ
205 車両
206 通路
210 移動経路
211 画像撮影方向
212 道路境界線
213 画像撮影点
214 高層ビル群
215 ＧＰＳ実測値（正）
216 ＧＰＳ実測値（誤）
220 建物
221 視線方向１
222 視線方向２
223 視線方向３
224 視線方向１より見た画像
225 視線方向２より見た画像
226 視線方向3より見た画像
230 タイポイントａ
231 タイポイントｂ
232 タイポイントｃ
233 タイポイントｄ
240 画像撮影点位置
250 画像撮影対象点1,1位置Ｚ1,1
251 画像撮影対象点1,2位置Ｚ1,2
252 画像撮影対象点1,3位置Ｚ1,3
253 画像撮影対象点1,4位置Ｚ1,4
254 画像撮影対象点2,1位置Ｚ2,1
255 画像撮影対象点2,2位置Ｚ2,2
256 画像撮影対象点2,3位置Ｚ2,3
257 画像撮影対象点2,4位置Ｚ2,4
258 画像撮影対象点3,1位置Ｚ3,1
259 画像撮影対象点3,2位置Ｚ3,2
260 画像撮影対象点3,3位置Ｚ3,3
261 画像撮影対象点3,4位置Ｚ3,4
262 画像撮影対象点k-3,1位置Ｚk-3,1
263 画像撮影対象点k-3,2位置Ｚk-3,2
264 画像撮影対象点k-3,3位置Ｚk-3,3
265 画像撮影対象点k-3,4位置Ｚk-3,4
266 画像撮影対象点k-2,1位置Ｚk-2,1
267 画像撮影対象点k-2,2位置Ｚk-2,2
268 画像撮影対象点k-2,3位置Ｚk-2,3
269 画像撮影対象点k-2,4位置Ｚk-2,4
270 画像撮影対象点k-1,1位置Ｚk-1,1
271 画像撮影対象点k-1,2位置Ｚk-1,2
272 画像撮影対象点k-1,3位置Ｚk-1,3
273 画像撮影対象点k-1,4位置Ｚk-1,4
274 画像撮影対象点i-1,m計出位置Ｚ*i-1,m
275〜277 処理ブロック
280〜287 処理ブロック
288 市街ブロック１
289 市街ブロック２
290 移動経路１
291 移動経路２
292 移動経路３
293 移動経路４
294 移動経路５
295 移動経路６
296 移動経路７
297 移動経路８
298 移動経路９
299 移動経路１０
300 閉路１
301 閉路２
302 画像撮影点列／画像撮影対象点列連鎖
303 画像撮影点列
304 画像撮影対象点列
305 端点１
306 端点1拡大図
307 端点２
308 端点２拡大図
309 端点３
310 端点３拡大図
311 画像撮影点通路境界線間距離
312 閉路アーク間距離１
313 閉路アーク間距離２
314 アーク１
315 アーク２
320〜329 処理ブロック
330 計出画像撮影点列１
331 計出画像撮影点列２
332 計出画像撮影点列３
333 計出画像撮影対象点列１
334 計出画像撮影対象点列２
335 計出画像撮影対象点列３
336 画像撮影点2位置誤差ε2
337 画像撮影点ｋ−１位置誤差εk-1
338 画像撮影点ｍ−１位置誤差εｍ-1
339 画像撮影点ｎー１位置誤差εn-1
340 画像撮影点１実測位置Ｘ1
341 画像撮影点２実測位置Ｘ2
342 画像撮影点３実測位置Ｘ3
343 画像撮影点４実測位置Ｘ4
344 画像撮影点k-2実測位置Ｘｋ-2
345 画像撮影点k-1実測位置Ｘｋ-1
346 画像撮影点k実測位置Ｘｋ
347 画像撮影点m-1実測位置Ｘm-1
348 画像撮影点m実測位置Ｘm
349 画像撮影点n-1実測位置Ｘn-1
350 画像撮影点n実測位置Ｘn
351 画像撮影点１計出位置Ｘ*1
352 画像撮影点２計出位置Ｘ*2
353 画像撮影点３計出位置Ｘ*3
354 画像撮影点４計出位置Ｘ*4
355 画像撮影点k-2計出位置Ｘ*ｋ-2
356 画像撮影点 k-1計出位置Ｘ*ｋ-1
357 画像撮影点k計出位置Ｘ*ｋ
358 画像撮影点ｉ−１計出位置Ｘ*i-1
359 画像撮影点ｉ計出位置 Ｘ*i
360〜363 処理ブロック
370 計出画像撮影点列
371 計出画像撮影対象点列
375 画像ベクトル（正規化）
376 画像中心点
377 画像距離
378 画像面
379 フレーム回転角
380 画像中心点対象物座標
381 画像右下対象物座標
382 画像右上対象物座標
383 画像左上対象物座標
384 画像左下対象物座標
385 画像範囲
386 画像面１
387 画像面２
388 画像面３
390 画像面タイポイントa
391 画像面タイポイントｂ
392 画像面タイポイントｃ
393 画像面タイポイントｄ
394 画像面１タイポイントa
395 画像面１タイポイントｂ
396 画像面１タイポイントｃ
397 画像面１タイポイントｄ
398 画像面２タイポイントa
399 画像面２タイポイントｂ
400 画像面２タイポイントｃ
401 画像面２タイポイントｄ
402 画像面３タイポイントa
403 画像面３タイポイントｂ
404 画像面３タイポイントｃ
405 画像面３タイポイントｄ
410 タイポイントa実座標
411 タイポイントｂ実座標
412 タイポイントｃ実座標
413 タイポイントｄ実座標
415 フレーム画角(横)
416 フレーム画角(縦)
417 フレーム横幅
418 フレーム縦幅
419 水平線
420 画像V軸
421 画像W軸
422 画像右下端点
423 画像右上端点
424 画像左上端点
425 画像左下端点
426 Ｚ軸廻りフレーム回転角
427 Ｘ軸廻りフレーム回転角
428 Ｙ軸廻りフレーム回転角
430 画像面タイポイントｉ実写値
431 画像面タイポイントｉ計算値
432 タイポイントｉ実座標
440〜454 処理ブロック
470〜476 処理ブロック
480 ＤＥＭ
481 標高値点
485〜487 処理ブロック
490 ＧＰＳアンテナ
491 水平維持装置
492 ＲＴＫ／ＤＧＰＳ測位装置
493 ディジタルカメラ制御装置
494 モニタ
496 キーボード
496 カート
501 画像メタデータ部分
502 画像データ部分
510〜512 処理ブロック
520〜526 処理ブロック
530 計出最初画像撮影点位置偏角Δ２
531 計出最終画像撮影点位置偏角Δk-1
532 画像撮影点２実測位置距離L2
533 画像撮影点２計出位置距離L*2
534 画像撮影点ｋ−１実測位置距離Lk-1
535 画像撮影点k−１計出位置距離L*k-1
539 最初画像撮影点位置倍率係数M2
540 最終画像撮影点位置倍率係数Mk-1
550〜554 処理ブロック
560〜567 処理ブロック
580〜584 処理ブロック
590 通路境界線ベクトルデータテーブル
591 画像撮影点列／画像撮影対象点列 データテーブル
592 通路境界線構成点ｍ Ｏm
593 通路境界線構成点ｍ＋１ Ｏm+1
594 通路境界線構成点ｎ Ｏn
595 通路境界線構成点ｎ＋１ Ｏn+1
596 画像撮影対象点ｉＺi
597 画像撮影対象点ｊＺj
598 画像撮影対象点ｉＺi垂線の足Ｙｉ
590 画像撮影対象点ｊ Ｚj垂線の足Ｙｊ
600 通路１垂直方向修正ベクトルＹｊ−Ｚj
601 通路２垂直方向修正ベクトルＹｊ−Ｚj
601 修正ベクトルＤ
【技術分野】
【０００１】
本発明は、市街および商店街および売り場を含む地上の景観を様々な角度から撮像した写真を利用する３次元景観の動画を生成表示するシステムにおいて、該写真を動画生成に使用するために不可欠な画像撮影点位置および画像撮影方向などのメタデータを効果的に計出し、誤差を較正することを目的とする都市景観画像情報較正システムに関するものである。
【背景技術】
【０００２】
従来、市街および商店街および売り場を含む地上の景観を３次元で動画表示する方式として、市街および商店街および売り場の立体モデルを作成し、該表面をテクスチャーマッピングにより貼り付け、得られた３次元モデルに対して３次元画像処理により３次元動画を得る方法がある。
【０００３】
また、別の方法では、空中および通路上に高密度のメッシュ点を設定してそこから多方向の画像を広範囲に撮像できるシステムを構築し、これら大量の画像をデータベース化し、市街および商店街および売り場を含む地上の景観の任意の位置を、任意の視点で、任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、市街および商店街および売り場を含む地上の対象物の位置に対応して最も視差の少ない画像から連続的になめらかな動画像をモーフィングにより生成する方法もある。（特許文献１）
【０００４】
この方法は極めて大量かつ多視点、多視線方向の市街および商店街および売り場を含む地上の路上写真あるいは航空写真を事前に画像撮影位置や画像撮影方向といったメタデータとともに撮影蓄積することが不可欠である。特許文献１には路上写真の取得方法が記述されているが路上で撮影した写真の画像撮影位置、画像撮影方向などのメタデータを正確に得ることは一般に計測システムが整備されていないため容易ではない。この問題を解決する方法として、既存のメタデータの判明している画像と関連付けることによりメタデータの判明していない画像のメタデータを推定し、一般からの投稿により大量の画像を蓄積する方法がある。（特許文献２）
【０００５】
航空写真を取得する従来技術として、最近はディジタル技術の急速な進歩によりアナログ式航空カメラからディジタル方式の１次元ラインセンサないし2次元撮像素子を用いた航空写真用カメラが実用化されている。さらに汎用デジタルカメラの高性能化により、航空写真分野へも適用可能となってきている。専用ソフトウェアによりディジタルカメラで撮影した斜め写真からオルソ画像を作成するシステムが特許文献３では提案されている。測量目的の航空写真では地上に基準点を予め設定し、該基準点を参照してカメラ位置と姿勢を計算し、地物の座標を求めていたが、航空機にＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）及びIMU（Inertial Measurement Unit）を装備し、撮像時点のカメラの位置と姿勢を測定することできる。（特許文献４）撮像方向が異なる３台のＣＣＤラインセンサで測量用航空写真を撮像する技術が特許文献５で提案されている。
【０００６】
【特許文献１】特願2008-60351
【特許文献２】特願2008-136125
【特許文献３】特開2002-357419号公報。
【特許文献４】特開2004-245741号公報。
【特許文献５】特許2807622号公報。
【非特許文献６】都市移動体におけるＧＮＳＳ技術の測位精度と課題について 久保信明東京海洋大学 ２００７年１１月 シンポジウム論文
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１および特許文献２の方法はいずれも市街または商店街など多視点、多方向からの実画像を用いて３次元動画を生成しようとする点において、市街の３次元モデルを生成した上でテクスチャ貼り付けによりリアリティーを実現する方法より作業コストが少ない利点があるが、この方法は使用する画像の画像撮影位置、画像撮影方向などのメタデータが画像ごとに正確に把握されていなくてはならない。しかしながら画像撮影位置の把握は一般にＧＰＳないしＤＧＰＳを用いて行うが、ＧＰＳ信号の受信は室内、地下街では不可能で正しい位置把握が不可能である。また、高層ビルが林立する地域にあっては上空の見通しが悪くＧＰＳにより正確な位置を得ることが一般に困難を伴う。さらに画像撮影方位にいたっては専用の計測機器がないと正確な値を得ることができない。特許文献1および特許文献２における課題の実現は画像撮影点の位置精度が１０ｃｍレベルで要求され、地上とくに市街地、商店街においては画像撮影を高密度で行うにものの各画像に対するメタデータが正確に得られないという課題があった。
【０００８】
地上の景観を様々角度から撮影した写真を利用する３次元景観の動画を生成するシステムにおいては、市街および商店街および売り場を含む地上の景観を様々な角度から撮像した写真に対して各々の画像の正確なメタデータを取得するには困難を伴うが、一方、各画像は画像撮影位置、画像撮影方向をずらして相互に重複しながら撮影されるという特徴があり、さらに通路に沿って移動するため、別の手段で得られる通路の境界に関する正確な位置情報を得られるという特徴がある。上記の解決すべき課題に鑑みて鋭意研究の結果、本発明者はこの特徴を利用すれば各々の画像のメタデータを計出可能であることに気がついた。
また、市街および商店街および売り場における撮影は撮影システムを移動させながら頻繁に撮影し、かつ撮影した画像データをメタデータとともに記憶させることが必要であるため、タイミング的な問題からも精度よく画像撮影位置を各々の画像に対して把握することが困難であるという問題もあった。
【課題を解決するための手段】
【０００９】
上記課題を解決するために鋭意研究の結果、本発明者は各々の画像のメタデータを正確に得ることの最大の障壁は、該メタデータを各々の画像を撮影する時点で単独に独立して得ようとすることにあると理解し、画像が相互に重複していることを利用して正確にメタデータの判明している画像からメタデータのない各画像のメタデータを計出することによりこの解決を図ることとした。また、さらに各画像は通路に沿って移動しながら撮影されることを利用して位置の判明している地図データ、オルソ衛星画像、フロアプラン等の情報を統合して誤差を収束させることにより解決することとした。
【００１０】
この目的のために、第一に、正確に画像撮影位置と画像撮影方向の判明している2点以上の画像撮影点における対象の重複している画像中にタイポイントをもとめ、該タイポイントの位置座標を写真測量の手法で計出し、さらに位置座標の判明しているタイポイントを撮影した隣接するメタデータの判明していない画像のメタデータを計出する。この手順を連鎖的に繰り返すことにより相互に重複する各画像のメタデータを順次計出できることに注目した。第二に、以上に述べた方法は、正確に計測したメタデータをもとに画像の重複を利用して順次、連鎖的に相互に重複する画像のメタデータを計出するものであるため、誤差が蓄積拡大することが避けられない。これを避けるため、連鎖する画像撮影点の最終点の位置と画像撮影方向を正確に測定して該連鎖的に計出したメタデータの最終点と比較し誤差の集積値を求めて該誤差を補正することとした。
【００１１】
誤差の集積を補正する目的で、第一に連鎖する最初の画像撮影点対と最後の画像撮影点対の位置座標と画像撮影方向を正確に測定して誤差を収束させる方法を案出し、第二は正確な画像撮影位置と画像撮影方向を連鎖する画像撮影点の途中にも配して誤差の累積を防止する方法を導入した。第三には、画像撮影点が通路上を移動すること、タイポイントが通路の境界線上に位置していることを利用して地図上あるいは、オルソ衛星画像上の通路境界線上に該タイポイントを一致させて誤差を解消する方法を導入した。第四に通路がグラフ構造と閉路を構成していることに注目して、該情報を利用して該グラフ上に該タイポイントを一致させることにより誤差を解消する方法を案出した。第五に、画像撮影点の連鎖を地上だけでなく、地下街、あるいは建物中の売り場が面する通路である場合を考慮してＤＥＭ、フロアプランなどの高度情報にタイポイントの高さ方向座標値を一致化させて誤差を収束させる方法を導入した。第六に画像撮影対象点が通路の境界線上に存在することを利用して逆に地図を作成する方法を案出し、最後に画像撮影システムを剛体で固定した複数の画像撮影方向を有する複数のカメラで構成することにより効率的に画像撮影とメタデータ計出を行う方法を案出した。
【発明の効果】
【００１２】
以上、説明したように、本発明の市街景観画像情報較正システムによれば、画像撮影位置および画像撮影方向などの正確なメタデータが得難い市街および商店街および売り場を含む地上の景観を様々な角度から撮像した画像においてメタデータを正確に計出することが可能となり該画像を利用する３次元景観の動画を生成表示するシステムに利用することが可能となった。
【発明を実施するための最良の形態】
【００１３】
本発明を実施するための最良の形態を添付図面を参照しながら以下に説明する。図１は本発明になる市街景観画像情報較正システムの全体構成を示す図であり、各構成システムは画像データベース１５０のメタデータを較正し誤差を減少させるものであり、スーパーバイザー１００の統括の下に、画像撮影点メタデータ実測値取得較正システム１１０、ＤＥＭデータ統合システム１３０、マルチカメラデータ誤差較正システム１４０よりなる処理サブシステムより構成され、さらに、画像撮影点メタデータ実測値取得較正システム１１０、ＤＥＭデータ統合システム１３０の共通処理ルーチンとして連鎖画像撮影点誤差較正システム１２０が存在する。データベースとしては画像データベース１５０、道路データベース１５５、衛星画像データベース１６０、ＤＥＭデータベース１６５より構成される。画像データベース１５０の構成例は図４０に示され、道路データベース１５５の構成例は図３９のほか、特許文献１に示される。オペレータ１７０は画像較正スーパーバイザ１００のグラフィックユーザインタフェース１０５を介して全体システムに対して指令および操作を行う。これらの構成サブシステムはその一部を除いても機能させることが出来る。以下、図２から図４０までを用いてその原理と処理の内容を説明する。
【００１４】
特願2008-60351「都市景観の３次元動画アミューズメントシステム」に詳細に記載されている都市景観３次元動画生成システムでは、都市空間の空中および通路上に高密度に設定されたメッシュ点から撮影した多方向の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を該データベースより高速に検索し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像をモーフィングにより連続的に生成する。この方法ではモーフィングを行う原画像の画像撮影点位置と画像撮影方向と画像撮影光軸廻りの回転角と画角または焦点距離よりなるメタデータが正確に把握されていないと動画生成の原画像として用いることができない。このうち、画角または焦点距離はカメラを選択すれば決まるが、画像撮影点位置と画像撮影方向、画像光軸回りの回転角は各画像毎に求めておく必要がある。画像撮影点位置の精度については、１０ｃｍ程度の精度が求められるが、この精度は特に高層ビルのある市街地では従来の技術では実現が困難であった。
【００１５】
図２に示すのは、画像データベース１５０の画像を取得するために通路画像を撮影するための画像撮影の運用概念図であり、特願2008-60351「都市景観の３次元動画アミューズメントシステム」に詳述されている。該ディジタルカメラ集合体２００は複数のディジタルカメラ２０１を水平各方向に配置し、図２（ｂ）に記載のように車両２０２に搭載するか、図３８のようにカートに実装して図２（ｃ）のように市街を図２（ａ）のような経路に従って走行する。移動経路２１０は通路２０６に沿って通路境界線２１２に平行に設定される。車両２０５は移動経路２１０上のほぼ一定間隔ごとに存在する画像撮影点位置２４０で画像撮影方向２１１の画像を撮影する。ディジタルカメラ集合体２００は撮影が計算機制御されており、一定周期ごとにディジタルカメラ集合体２００内の全ディジタルカメラａ〜ｐ ２０１ａ〜ｐに一斉に撮影指令を出すとともにその時点の画像を記録する。なお、歩道と車道の分離されている通路では、両側の歩道を各々走行することがある。
【００１６】
該ディジタルカメラ集合体２００の詳細は図３７とその関連説明に示され、画像撮影方向２１１は水平方向を向いているディジタルカメラ２０１ａ〜ｈと上方に仰角をもって配置されているディジタルカメラ２０１ｉ〜ｐより構成されるが、水平方向だけのディジタルカメラでの構成でもよく、また、水平方向もその数を増減させることも出来る。画像撮影点位置２４０は撮影画像が相互に重複するように近接して設定され、図２（ａ）に示すように移動経路２１０上に画像撮影点列を構成する。図４に示すように建物２２０の前を移動経路２１０に沿って移動すると、同一の建物２２０に対して、視線方向１ ２２１、視線方向２ ２２２、および視線方３ ２２３の各方向から、視線方向１より見た画像２２４、視線方向２より見た画像２２５、および視線方向3より見た画像２２６が得られ記憶される。
【００１７】
図４に示すように移動経路２１０に沿って移動しながら撮影した画像データベース１５０の画像は必ず相互に重複していて、図５および図６のように表示される。図５において異なる視線方向より見た同一対象画像の対応点、すなわちタイポイントａ２３０、タイポイントｂ２３１、タイポイントｃ２３２、タイポイントｄ２３３は視線方向１より見た画像２２４と視線方向２より見た画像２２５の双方に存在し、これらのタイポイントをグラフィックユーザインターフェイス１０５によりモニタ上に表示してオペレータ１７０が手動で行うことも、画像処理により自動的に行うことも出来る。タイポイント自動選定はステレオ画像からＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍａｐ）を抽出する場合などに利用されるパターンマッチングを使用することが可能で、かかる技術はオルソ画像生成用のＤＥＭ抽出ソフトなどで公然実施されている。
【００１８】
本発明の主要な部分は画像データベース１５０の各画像が、相互にかなりの割合で重複していることを利用し、メタデータの正確な実測値が存在する同一対象を撮影した一対の画像撮影点（画像撮影点対）の画像内の複数の対象点をタイポイントとして相互に対応をつけることにより該対象点の座標位置を写真測量の原理により計出する。該画像撮影点対に隣接する画像撮影点（隣接画像撮影点）の画像より該隣接画像撮影点の座標位置、画像撮影方向等のメタデータを算出する。メタデータが求まった該隣接画像撮影点と、該画像撮影点対のうち該隣接画像撮影点に近いほうの画像撮影点を用いてさらに写真測量により該隣接画像撮影点の外側に隣接する画像撮影点に同様の手順を繰り返すことにより、次々に連鎖的に画像撮影点列のメタデータを求めることである。
【００１９】
以下の説明で、変数の右肩に＊を付したものは計算により推定された値を示し、変数の右肩に＊を付していないものと区別するものとする。また、明細書中にスミ付き括弧で記載した数式は通常の数学記法に従うが、本文中では記号の記述に制約があるので下記原則に従う。３次元または２次元の点は大文字のローマ字で表記し、３次元または２次元の成分を有する。時間的変化のある場合は（）を後につけ、その中に時間情報を記す。スミ付き括弧で記載した数式では、ベクトルをイタリックスの大文字ローマ字で記載するが、本文中では大文字ローマ字で記載し、識別が必要な場合には文字の前に”（ベクトル）”と付記する。３次元または２次元の点は３次元または２次元座標による表記と、原点または基準点に対するベクトルによる表記を必要により使い分ける。とくにベクトル演算式中に出現する場合の点はベクトルによる表記である。スミ付き括弧で記載した数式では、行列を太字の大文字ローマ字で記載するが、本文中では大文字ローマ字で記載し、識別が必要な場合には文字の前に”（行列）”と付記する。角度についてはギリシャ文字を用い、平面、線等を示す記号については記号の前に平面、線等の記述を付記する。
図７は実測値の存在する画像撮影点１実測位置Ｘ１ ３４０と画像撮影点２実測位置Ｘ２ ３４１から撮影した共通の撮影対象である画像撮影対象点1,1位置 Ｚ1,1 ２５０、画像撮影対象点1,2位置 Ｚ1,2 ２５１、画像撮影対象点1,3位置 Ｚ1,3 ２５２、画像撮影対象点1,4位置 Ｚ1,4 ２５３をタイポイントａ〜ｄとして該３次元座標を計出する。図５でいえば、視線方向１より見た画像２２４と視線方向２より見た画像 ２２５が対応する。該画像撮影対象は画像撮影点３計出位置Ｘ*3 ３５３でも撮影されており、撮影された画像上の位置より該画像撮影点３計出位置Ｘ*3 ３５３の３次元位置、撮影方向と画像光軸回りの回転角が計出できる。図６に該画像撮影点３計出位置Ｘ*3 ３５３からの画像が視線方向3より見た画像２２６として示され、３次元位置の判明しているタイポイントａ〜ｄ ２３０〜２３３の画像上の位置から該画像撮影点３計出位置Ｘ*3 ３５３の３次元位置と撮影方向が後述するように計出できる。
【００２０】
なお、すべての画像撮影点における撮影のカメラ特性は同一であるとしている。次に、画像撮影点２実測位置Ｘ２ ３４１と画像撮影点３計出位置Ｘ*3 ３５３から撮影した共通の撮影対象である画像撮影対象点2,1位置Ｚ2,1 ２５４、画像撮影対象点2,2位置Ｚ2,2 ２５５、画像撮影対象点2,3位置 Ｚ2,3 ２５６、画像撮影対象点2,4位置 Ｚ2,4 ２５７をタイポイントａ〜ｄとして該３次元座標を計出する。該撮影対象は画像撮影点４計出位置Ｘ*4 ３５４でも撮影されており、撮影された画像上の位置より該画像撮影点４計出位置Ｘ4 ３５４の３次元位置と撮影方向が計出できる。このプロセスを繰り返して連鎖的に画像撮影点ｋ計出位置Ｘ*k ３５７の３次元位置と撮影方向を計出する。該プロセスを連鎖メタデータ計出法と以下称する。
【００２１】
該連鎖メタデータ計出法は第一に、開始地点の一対の画像撮影点の位置が正確に得られる必要があるが実際は容易ではない。また、第二に、連鎖計算を繰り返す結果、誤差が蓄積するという問題もある。本発明のもう一つの主要な部分はデータフュージョンの技術を用いて、この問題を解決することである。図３は非特許文献６に記載の東京大手町近辺における路上のＧＰＳ測位実測値である。高精度のＲＴＫとＤＧＰＳを用いているが、閉路１ ３００を構成する通路２０６を移動しながら計測した測位結果は５０％以上が正しい値となっていない。これは高層ビル壁面によるＧＰＳ電波の反射、見通せるＧＰＳ衛星数の減少によることに起因している。
【００２２】
これら障害がない場合には１０ｃｍ程度の精度が得られることが非特許文献６で示されているが、正しくない計測結果を該連鎖画像メタデータ計出の開始点に使用しないように除外する必要がある。また、図３の例では閉路１ ３００の南側しかＧＰＳ実測値（正）２１５のような正しい値が得られていないので、北側では他のデータによるデータフュージョンが不可欠となる。また、該閉路の南側に於いてもＧＰＳ実測値（誤）２１６のように、部分的に電波反射により正しい測位が行われていないことに注目すべきである。カーナビゲーションにおいては、ＤＧＰＳ測位結果を慣性センサと統合し道路データ上に位置を一致化させることにより位置を路上に示しているが、位置精度が５から１０ｍもあればこの目的を果たせるのであり、本発明の目的である１０ｃｍ程度の精度目標達成には不十分である。データフュージョンにより本発明で使用する画像撮影点位置を求める場合、元となるデータおよび情報には下記（1）から（５）のフュージョンデータ源がある。各々に一長一短があり、これらを合理的、合目的的に統合するのが本発明による新規な部分である。
【００２３】
（１）ＲＴＫおよびＤＧＰＳを用いた実計測値
位置精度は絶対値で１０ｃｍ程度まで得られる。また個別画像撮影点間距離も隣接するものの間では精度１０ｃｍ程度が期待できる。ただし、ＧＰＳ衛星からの信号がマルチパスで受信されると精度が劣化し本目的では使用できなくなり、このような値を排除する必要がある。
（２）オルソ衛星画像
位置精度の高いオルソ画像が広域で得られるが、衛星の画像分解能の制約から絶対位置精度は５０ｃｍ程度である。通路の直角方向の拘束力は強いが、通路進行方向に対する拘束力は弱い。位置精度が５０ｃｍ程度であるので個々の画像撮影点間の距離精度向上には有効ではない。
（３）グラフ・閉路
５０ｃｍ程度の精度のオルソ衛星画像を利用しても、端点、変曲点、閉路情報を利用することにより通路進行方向に対する拘束力を強めることが出来、特に閉路の場合は、一周することにより誤差の蓄積を解消できる。
（４）隣接画像撮影点間の連鎖メタデータ計出法
計出連鎖による誤差蓄積は避けられないが隣接画像撮影点間の距離は最も正確に求められる。
（５）通路の構造的特性
通路は直線ないし直線に近い曲線と曲がり角で出来ているという構造的特徴を（３）グラフ・閉路と併せて利用する。
図８以降、上記（１）から（５）のデータフュージョンを行う方法を詳述する。
【００２４】
図１に示した市街景観画像情報較正システムの全体構成において、画像データベース１５０において、オペレータ１７０は画像校正スーパーバイザ１００のグラフィックユーザインターフェイス１０５を介して、画像データベース１５０の画像毎の較正済みと較正未了の属性に従い画像撮影点の画像メタデータを較正していない画像撮影点を表示することが出来る。かかる属性表示方法は地理情報システムとして公然実施されている。オペレータ１７０は画像メタデータの較正が行われていない画像データベース１５０の部分を選択してメタデータの校正を開始する。図１の市街景観画像情報較正システムは画像較正スーパーバイザの指令に従い、図８の処理フローに従って処理する。図２でいうと、処理ブロック２７５では画像撮影点メタデータ実測値取得・較正処理を行う。通路２０３に沿った画像撮影点列３０３に対して該データユージョン源（１）から（５）を統合して画像撮影点メタデータ実測値取得・較正処理を行う。
【００２５】
その後、処理ブロック２７６においてＤＥＭデータ統合処理を行う。ここでは、ＤＥＭによる標高データを画像撮影点が地上の場合には高さ方向の３次元位置データとして統合する。地下街あるいはビル内である場合には、ＤＥＭによる標高データに加えフロアプランによる高度情報を３次元位置データとして統合する。処理ブロック２７５と処理ブロック２７６で、ディジタルカメラ集合体２００のうち選択したディジタルカメラについて画像撮影点列３０３の位置の３次元座標が較正されたので、処理ブロック２７７で図３７の例に示ディジタルカメラ集合体の幾何的位置関係を使用して処理ブロック２７５と処理ブロック２７６が選択したディジタルカメラ以外のカメラについても画像メタデータを計出する。
【００２６】
処理ブロック２７５のより詳細な内容を図９に示す。画像データベース１５０中の画像は移動経路２１０に沿って撮影されたものであり画像撮影点列３０３は必ずしも閉路を形成していない。処理ブロック２８０および処理ブロック２８１では、すべての該画像撮影点列３０３を再編成して最小の閉路を構成するようにする。図１０を用いてより詳細に説明する。図１０（ａ）は閉路を形成する前の画像撮影点列であり、実際の画像撮影経路に従い移動経路１ ２９０より移動経路１０ ２９９までに沿って画像撮影点列３０３が並んでいる。画像撮影点列３０３が市街における最小の市街ブロックを周回するように閉路１ ３００、閉路２ ３０１を構成しなおす。図１０の端点１ ３０５についてみると移動経路２ ２９１による画像撮影点列３０３と移動経路６ ２９５による画像撮影点列３０３が交叉している。処理ブロック２８１では、図１０（ｂ）に示すように市街ブロック１ ２８８、市街ブロック２ ２８９以下を順次指定し、該市街ブロックを周回する閉路１ ３００、閉路２ ３０１以下を構成する。端点１ ３０５を例にとると閉路１ ３００に沿って画像撮影点列３０３を構成しなおす。このようにして閉路ごとに該閉路を周回する画像撮影点列としてすべての画像撮影点列３０３が再編成される。
【００２７】
処理ブロック２８２から処理ブロック２８７までの処理は、隣接画像撮影点間の連鎖画像メタデータ計出法と該データフュージョン（１）から（５）を行う具体的方法である。処理ブロック２８２は該データフュージョンの（３）グラフ・閉路の特性を活かすため再編成した閉路を構成する全画像撮影点列について、画像メタデータ較正処理を行う処理ループである。処理ブロック２８３から処理ブロック２８７までは選択された閉路についての該データフュージョンをおこなう。処理ブロック２８３ではＲＴＫ実測値を道路地図またはオルソ高分解能画像上に緯度経度位置で表示する。図３８は画像撮影点において画像データベース１５０に格納する画像を取得する装置の例であり、ＲＴＫ／ＤＧＰＳ測位装置４９２が緯度経度を計測し、ディジタルカメラ制御装置４９３がディジタルカメラ集合体２００を構成する各ディジタルカメラａ〜ｐ ２０１ａ〜ｐに同時に一定距離移動するごとに画像撮影指令を出す。ＲＴＫ／ＤＧＰＳ測位装置４９２による測位とディジタルカメラａ〜ｐ ２０１ａ〜ｐによる撮影は画像撮影点ごとに同一位置でおこないディジタルカメラ制御装置４９３に記憶する。ＲＴＫ／ＤＧＰＳ測位装置４９２による測位は画像撮影点に対して飛び飛びに行ってもよい。
【００２８】
処理ブロック２８４は指定された閉路に対してＲＴＫ／ＤＧＰＳ相違装置４９２による測位結果が正しいか否かを判定する。不正値は高層ビルによる反射、受信可能な衛星数が過少であることから発生し、図３に見られるように大きく乱れる特色がある。下記基準により不正値と判断する。
（１）閉路が取り囲む市街ブロックからから期待値以上に離れている
（２）前後の位置関係が乱れている（前後の画像撮影点との距離、方位が合理的でない）
（３）測定時に受信した衛星数が少ない
さらに、地図または衛星画像上に表示して必要に応じて目視で不適切な値を排除してもよい。処理ブロック２８４が終了した時点で市街ブロックを取り囲む閉路の画像撮影点列を構成する画像撮影点に対して部分的に正確な実測位置データが得られていることになる。
【００２９】
処理ブロック２８５は処理ブロック２８４までの処理で選択された閉路について、実測値が散在する状態となっているので閉路に沿って画像メタデータ実測値対で囲まれる画像メタデータ実測値のない画像撮影点列の区間を閉路上を通路に沿って順次処理する処理ループである。処理ブロック２８６の内容をさらに詳細に図１３で説明する。図１４に示すように画像の画像撮影点列３０３のうち正確な実測値がある画像撮影点と正確な実測値のないものが混在しており、構造的には正確な実測値のある画像撮影点にはさまれて正確な実測値のない画像撮影点列が存在していると捉えることができるので、正確な実測値のある画像撮影点対より出発して次に正確な実測値のある画像撮影点対が存在するまで連鎖画像撮影点誤差較正処理を行い、閉路１ ３００を一周し終わるまで実施する。
【００３０】
処理ブロック２８６では、連鎖画像撮影点誤差較正処理として部分的に正確に位置情報が得られている画像撮影点対を出発点として図７で示した隣接画像撮影点間の連鎖画像メタデータ計出法により隣接する画像撮影点の画像メタデータを計出していく。処理ブロック３２１から処理ブロック３２４までは、正確な実測値のある画像撮影点対より出発して次に正確な実測値のある画像撮影点対が存在するまで連鎖画像撮影点誤差較正処理を行うプロセスである。処理ブロック３２１は通路に沿って該区間の最初の画像撮影点から最後の画像撮影点まで画像撮影点を一個ずつ前進するための処理ループであり、図７で示すと、実測値の存在する画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１から出発して最終的に画像撮影点ｋ Ｘk ２４９の３次元位置と撮影方向を計出するまでの繰り返し連鎖プロセスである。
【００３１】
処理ブロック３２２のタイポイント設定と処理ブロック３２３のタイポイント自動測量
は図７で実測値の存在する画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１から撮影した画像の共通の撮影対象である画像撮影対象点1,1位置 Ｚ1,1 ２５０、画像撮影対象点1,2位置 Ｚ1,2 ２５１、画像撮影対象点1,3位置 Ｚ1,3 ２５２、画像撮影対象点1,4位置 Ｚ1,4 ２５３をタイポイントａ〜ｄとして該３次元座標を計出する。処理ブロック３２４のメタデータ算出処理では、該タイポイントａ〜ｄが画像撮影点３計出位置Ｘ*3 ３５３でも撮影されていることを利用して、撮影された画像上の位置より該画像撮影点３計出位置Ｘ3 ３５３を含む画像メタデータすなわち３次元位置と撮影方向と画像の光軸回りの回転角を計出する。
【００３２】
処理ブロック３２３のタイポイント設定処理の内容を図１８に説明する。処理ブロック３６０でタイポイント選定を自動処理するか手動処理するか選択する。自動処理が選択された場合は処理ブロック３６３で画像処理により自動的に行う。タイポイント自動選定はステレオ画像からＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍａｐ）を抽出する場合などに利用されるパターンマッチングを使用することが可能で、かかる技術は公然実施されている。手動処理が選定された場合には図５に例示するように画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１からの撮影対象が重複する画像をグラフィックユーザインターフェイスでモニタ上に表示入力する。画面左側に建物２２０を左側から撮影した視線方向１より見た画像３２４を表示し、画面右側に視線方向２より見た画像２２５を表示する。モニタ上の左右両側を対比して対応する点を選定する。これがタイポイントａ〜ｄ ２３０〜２３３であり、カーソルを移動させながらクリックして指定することができる。
【００３３】
処理ブロック３２３のタイポイント自動測量処理でタイポイントで指定された各点の３次元座標を求める。この時点で判明しているのは図２０において、画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１の画像の撮影位置、撮影方向等の画像メタデータとタイポイント３点以上の画像上での２次元座標である。画像上の２次元座標と、実世界の３次元座標の対応付け方を、以下図１９、図２１、および図２２を使用して説明する。
【００３４】
図１９は撮影画像と実世界の対応関係を示す図であり、画像撮影位置Ｘ ２４０
Ｘ＝（ｘｘ，ｘｙ，ｘｚ）より画像ベクトルＲ３７５ ＸＹＺの各成分がｒｘ ｒｙ ｒｚ
でノルムが１の方向の画像範囲Λ ３８５を撮影する。撮影された画像は画像面Ω３７８上に２次元座標で投影される。画像面Ω３７８に画像ベクトルＲ３７５は直交する。画像距離ρ３７７は画像撮影位置Ｘ ２４０、と画像面Ω３７８との間の距離である。図２１は画像面Ω３７８に関する変数定義と画像面Ω３７８上のタイポイントの２次元座標位置とタイポイントの実世界における３次元座標関係を示す。画像面Ω３７８はフレーム横幅Ｈ４１７とフレーム縦幅Ｖ４１８の寸法を有し、画像撮影位置Ｘ２４０より画像ベクトルＲ３７５の方向に、画像距離ρ３７７の距離の位置に画像中心点Ｏ３７６を中心に視線方向を示す画像ベクトルＲ３７５に直交して存在する。
【００３５】
撮影カメラの焦点距離特性により、フレーム横幅Ｈ４１７に対するフレーム画角（横）ΨH４１５とフレーム縦幅Ｖ４１８に対するフレーム画角（縦）ΨＶ４１６が決まる。画像面Ω３７８は横軸である画像Ｖ軸４２０と縦軸である画像Ｗ軸４２１により２次元座標が定義される。画像撮影位置Ｘ２４０と画像面タイポイントａ Ｙａ３９０とタイポイントa実座標Ｚa４１０は一直線上に存在する。この関係は、その他の画像面タイポイントｂ Ｙb３９１とタイポイントｂ実座標Ｚb４１１の間、画像面タイポイントｃ Ｙc３９２とタイポイントｃ実座標Ｚc４１２の間にも成立する。画像面Ω３７８は一般に横軸である画像Ｖ軸４２０が水平線４１９に対して傾いており、これをフレーム回転角φ３７９と表わす。
【００３６】
画像面Ω３７８上のタイポイントは画像Ｖ軸４２０と画像Ｗ軸４２１による、すなわちＶＷ軸による２次元座標と実世界におけるＸＹＺ軸による３次元座標が存在する。図２２はこの２つの座標体系間の関連と相互変換を説明するものである。画像面Ω３７８上のＶＷ軸２次元座標点をＩi＝（ＩiV，ＩiW）とし、同一点のＸＹＺ軸３次元座標を
Ｙi＝（ｙiｘ，ｙiｙ，ｙiz）とする。ここでi=a,b,c,d,…であり、タイポイントの識別子を表す。図２２（ａ）は画像面Ω３７８が原点上でＸＹ軸面に一致している場合であり、Ｙi＝（IiV，Iiｗ．０）関係がある。画像撮影位置Ｘ２４０はＺ軸上に存在し座標は、（０， ０，-ρ）である。画像ベクトルＲ３７５はＺ軸と一致する。図２２（ａ）をＺ軸の周りにφ回転させたのが図２２（ｂ）であり、変換はΦZで与えられ、図２２（ｂ）をＸ軸の周りにθ回転させたのが図２２（ｃ）であり、変換はΦXで与えられ、、図２２（ｃ）をＹ軸の周りにδ回転させたのが図２２（ｄ）であり、変換はΦYで与えられる。
【数１】
【００３７】
Ｚ軸から開始して、Ｚ軸、Ｘ軸、Ｙ軸の周りにそれぞれφ θ δ回転させることにより任意の画像ベクトルＲ３７５と、画像面Ω３７８を得ることができるので、次の変換Φとその逆変換Φ-1は、それぞれＶＷ軸による２次元座標を実世界におけるＸＹＺ軸による３次元座標へ写像する変換と、その逆変換である。
【数２】
【数３】
【００３８】
したがって、画像ベクトルＲ３７５は回転φ θ δを用いて、下記のように表現できる。ここでｃｏｓθの負値は棄却してある。
【数４】
【００３９】
これにより、画像面タイポイントｉ実写値Ｙi４３０を画像面Ω３７８上の２次元座標と実世界の３次元座標に相互に変換する式は数５により与えられる。
【数５】
【００４０】
数５の第一式により、画像上のタイポイント２次元座標は、画像のメタデータが判明すれば実世界の３次元座標に変換できるので、以下、処理ブロック３２３の処理内容を図２０を用いて説明する。
画像撮影点１実測位置Ｘ1３４０および画像撮影点２実測位置Ｘ2３４１の画像は画像メタデータの判明している画像であり、画像撮影点３計出位置Ｘ3３５３の画像はメタデータが判明していない。
【００４１】
いま、画像撮影位置１Ｘ1３７１および画像撮影位置２Ｘ2３７２の座標を数６で表し、
【数６】
画像面１のタイポイントｉの３次元座標を
【数７】
画像面２のタイポイントｉの３次元座標を
【数８】
とする。また、タイポイントｉの対象物の実世界における３次元座標を
【数９】
とする。ここで、添え字ｉはタイポイントａ〜ｄを一般的に表しており、i=a,b,c,d,…である。
【数１０】
【数１１】
数１０と数１１からＺiを消去して、
【数１２】
【００４２】
１／Ｋ1iおよび１／Ｋ2iについて解いて
【数１３】
【数１４】
数１３と数１４より数１５と数１６を得る。すなわち、処理ブロック３２３で求めるべきタイポイントの実世界での３次元座標値である。
【数１５】
【数１６】
【００４３】
次に処理ブロック３２４の画像メタデータ算出処理に移行する。処理ブロック３２４の画像メタデータ算出処理を説明するにあたって、計算の原理を図２０と図２３を用いて、以下説明する。図２０において、画像撮影点３計出位置Ｘ3３５３の画像は、画像撮影点３計出位置Ｘ3３５３、画像撮影方向（画像ベクトルＲ３７５とフレーム回転角φ、またはＸＹＺ各軸周りの回転角（φ θ δ）より構成されるメタデータが判明していない。焦点距離（フレーム画角（縦）ΨＶ４１６、フレーム画角（横）ΨＨ４１５）はすべての画像に対して同一に設定しているので既知である。図６による視線方向３より見た画像２２６と視線方向２より見た画像２２５で、タイポイントａ ２３０、タイポイントｂ ２３１、タイポイントｃ ２３２、タイポイントｄ ２３３、i=a,b,c,d,…のタイポイントについては、全ての点について、画像上の２次元座標と、実世界における対応点の３次元座標が判明している。このような条件のもとで該メタデータを算出するのが処理ブロック３２４の内容である。該画像メタデータについては解析的に解けないことが分かっているので、初期条件を与えた上で収束計算により、数値計算で解く。
【００４４】
図２３（ａ）はメタデータが解けた状態を示す。画像撮影点３計出位置Ｘ*3３５３と画像面タイポイントｉ実写値Ｙi４３０とタイポイントｉ実座標Ｚi４３２は同一直線上に存在する。しかし、メタデータが正しく求められていない状態では、図２３（ｂ）のようにタイポイントｉ実座標Ｚi４３２と画像撮影点３計出位置Ｘ3３５３を結んだ直線と画像面Ω３７８の交点である画像面タイポイントｉ計算値Ｙ*i４３１は画像面タイポイントｉ実写値Ｙi４３０と一致しない。Ｙ*iとＹiをi=a,b,c,d,…に対して一致させるプロセスでメタデータを収束計算により求める。Ｘ*3３５３は数１７で定義される。以下、処理ブロック３２４の内容を図２４に詳述しているので、図２４に沿って説明する。
【数１７】
【００４５】
処理ブロック４４０では、画像メタデータに対して収束計算の初期値を設定する。
画像撮影点３計出位置Ｘ*3 ３５３、画像撮影方向（画像ベクトルＲ２７５）は収束計算の初期値を隣接するメタデータの判明している画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１の中間として平均値で数１８により求める。
【数１８】
【００４６】
撮影方向を示す画像ベクトルＲは数４によりＸ軸、Ｙ軸周りの回転、θおよびδに変換できる。また、フレーム回転角φは水平として０、焦点距離に関係する画像距離ρ３７７については画像撮影点１実測位置Ｘ1３４０と画像撮影点２実測位置Ｘ2３４１の画像を含めすべての画像について同一で既知ある。収束計算刻み係数εは処理ブロック４４７〜４５２で自動調整機能があるので、たとえば０．０１などとしてよい。画像メタデータを一般的にＰj、ただしj=1,6と記述する。Ｐjはｘux、ｘuy、ｘuz、θ、δ、φより構成される。
【００４７】
図２３（ａ）よりＸ*3、Ｙi、Ｚiが同一直線上にあること、（ベクトル）Ｒと（平面）Ωが直交することから数１９が成り立つ。ここでｋは定数である。
【数１９】
ここでｋ，Ｏを消去すると、
【数２０】
となり、
【数２１】
の関係が有ることから、画像面タイポイント計算値C４３１が数２２で求まる。
【数２２】
【００４８】
数２２で求まった画像面Ω上のタイポイントｉの位置はタイポイントｉの実世界での３次元座標から逆算したものであり、メタデータＰjが実際と異なるため画像面タイポイントｉ実写値Ｙi４３０と一致しない。処理ブロック４４１では、実写値の２次元座標位置を
ＩVi、Ｉwiをとすると、数２３の評価関数
【数２３】
により全てのタイポイントに対して画像面Ω上での誤差の２乗の和を求める。求めるべきメタデータ未知数が６つあるので、独立な方程式が６以上必要であり、タイポイントは３以上必要となる。ただし、最小二乗法による数値計算を用いているのでタイポイントは３より多くてもかまわない。
【００４９】
処理ブロック４４２ではメタデータＰjの変化に対する評価関数変化の感度を求める。数２３をメタデータＰjで偏微分した以下の数２５から数２９の式の計算を行う。
【数２４】
【００５０】
【数２５】
【００５１】
【数２６】
【００５２】
【数２７】
【００５３】
【数２８】
【００５４】
【数２９】
【００５５】
処理ブロック４４３、４４６〜４５４は収束計算の制御に関するロジックであり、処理ブロック４４２で求めた感度により処理ブロック４４４でメタデータを修正して処理ブロック４４５で数２３による評価関数Ｊの計算を行う。処理ブロック４４４の修正刻み幅εは評価関数Ｊの値が減少する限り2倍ずつ増加される。また、評価関数Ｊが減少しない場合は減少するまで１／２され、自動調整される。処理部ブロック４５４では評価関数が十分０に近づいたか判定し、０に近い、すなわち、メタデータが実際に撮影したカメラの値に一致したとき計算を終了する。処理ブロック３２２から処理ブロック３２４までの処理を処理ブロック３２１の制御のもとで繰り返し、連鎖メタデータ計出を行うのである。以上で図１３の処理ブロック３２４の処理は完了し、隣接画像のメタデータが計出された。
【００５６】
処理ブロック３２５から処理ブロック３２８の処理は処理ブロック３２１から処理ブロック３２４までと同一のアルゴリズムであるが、画像撮影点列における連鎖メタデータ計出における連鎖進行の向きが逆となっている。この関係を図１６を用いて説明する。図１６（ａ）は処理ブロック３２１から処理ブロック３２４の処理方向であり、図１６（ｂ）は処理ブロック３２５から処理ブロック３２８の処理方向である。いずれも対を成す画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測実測Ｘ2 ３４１、対を成す画像撮位置ｋ−１実測位置Ｘk-1３４５と画像撮影点ｋ実測位置Ｘk ３４６について実測値が存在し、該２対の画像撮影位置にはさまれる画像撮影点列に対しては撮影位置等メタデータの実測値がない。図１６（ａ）は対を成す画像撮影点１実測Ｘ1 ３４４と画像撮影点２実測位置Ｘ2 ３４１より出発して点線矢印の向きに左側に計出を進める。すでに対を成す画像撮影点１実測位置Ｘ1 ３４０と画像撮影点２実測位置Ｘ2 ３４１から画像撮影点３計出位置Ｘ*3 ３５３を計出するアルゴリズムを述べたが、このプロセスを繰り返し、画像撮影点２実測位置Ｘ2 ３４１と画像撮影点３計出位置Ｘ*3 ３５３から画像撮影点４計出位置Ｘ4 ３５４を求める。以下このプロセスを繰り返し適用して画像撮影点ｋ計出位置 Ｘ*k ３５７まで求める。
【００５７】
図１６（ｂ）は対を成す画像撮影点ｋ実測位置Ｘk ３４６と画像撮影点ｋ−１実測位置 Ｘk-1 ３４５より出発して点線矢印の向きに右側に計出を進める。図１６（ａ）と同様に対を成す画像撮影点ｋ実測位置Ｘk ３４６と画像撮影点ｋ−１実測位置Ｘk-1 ３４５から画像撮影点ｋ−２計出位置Ｘ*k-2 ３５５を計出し、以下このプロセスを繰り返し適用して画像撮影点１計出位置Ｘ*1 ３５１まで求めることが出来る。
【００５８】
図１６（ａ）の計出では、画像撮影点ｋ実測位置Ｘk ３４６と画像撮影点ｋ−１実測位置Ｘk-1 ３４５と画像撮影点ｋ計出位置Ｘ*k ３５７と画像撮影点ｋ−１計出位置Ｘ*k-１ ３５６の間の誤差が明確に計算できる。画像撮影点k−１実測位置Ｘk-1 ３４５と画像撮影点k−１計出位置Ｘ*k-１ ３５６における誤差を画像撮影点ｋ−１位置誤差εk-１ ３３７という。図１５はこの間の事情を図示するものである。実際の位置と計出された位置の間の誤差は画像撮影点３計出位置Ｘ*3 ３５３から発生し、画像撮影点3実測位置Ｘ3 ３４２との相違となるが、画像撮影点3実測位置Ｘ3 ３４２については知ることが出来ない。以降、実際の画像撮影点列３０３の位置に対して計出画像撮影点列３７０の位置が計算で求められてその差異が誤差となり、実際の画像撮影対象点列３０４に対して計出画像撮影対象点列３７１の位置が計算で求められてその差異が誤差となる。
【００５９】
図１６（ｂ）の計出では、画像撮影点１実測位置Ｘ1 ３４０と画像撮影点１計出位置
Ｘ*1 ３５１、画像撮影点２実測位置Ｘ2 ３４１と画像撮影点２計出位置Ｘ*2 ３５２の間の誤差が明確に計算できる。画像撮影点２実測位置Ｘ2 ３４１と画像撮影点２計出位置Ｘ*2 ３５２との誤差を画像撮影点２位置誤差ε2 ３３６という。図１７はこの間の事情を図示するものである。実際の位置と計出された位置の間の誤差は画像撮影点ｋ−２計出位置Ｘ*k-2 ３５５から発生し、画像撮影点ｋ−２実測位置Ｘk-2 ３４９の相違となるが、画像撮影点ｋ−２実測位置Ｘk-2 ３４４については知ることが出来ない。以降、実際の画像撮影点列３０３の位置に対して計出画像撮影点列３５８の位置が計算で求められてその差異が誤差となり、実際の画像撮影対象点列３０４に対して計出画像撮影対象点列３７１の位置が計算で求められてその差異が誤差となる。
【００６０】
以下、処理ブロック３２９の実測メタデータ誤差配分処理について説明する。より詳細な内容を図２５の処理フローに記載する。処理ブロック５１０では前進連鎖画像メタデータ計出の誤差補正処理を行う。すなわち、処理ブロック３２１から処理ブロック３２４により前進連鎖計出計算により求まった画像撮影点k−１計出位置Ｘ*k-１ ３５６ を含む計出画像撮影点列 ３７０、 計出画像撮影対象点列 ３７１および、画像撮影点ｋ−１位置誤差εk-1 ３３７と、画像撮影点k−１実測位置Ｘk-1３４５を用いて最も誤差の少ない計出画像撮影点列と計出画像撮影対象点列を求めることである。処理ブロック５１０の内容を図２６の処理フローでさらに詳細に記す。
【００６１】
処理ブロック５２０は計出最終画像撮影点位置偏角計算を行う。計出最終画像撮影点位置偏角とは図２７で画像撮影点として実測値のある最後の点である画像撮影点実測位置２
Ｘ2 ３４１より画像撮影点k−１計出位置Ｘ*k-1 35６と画像撮影点k−１実測位置Ｘk-1 ３４５を見込む角度であり、計出最終画像撮影点位置偏角Δk-1 53１と定義する。ここで、変数の右肩の＊は計出値を示し、＊のないものは実測値または真値をしめす。
【数３０】
【００６２】
処理ブロック５２１では数３０で求めた偏角Δk-1 を各画像撮影点に均等に配分する。これは図２７において偏角Δk-1の発生する箇所が特定できず結果として画像撮影点k−１計出位置Ｘ*k-1 ３５６と画像撮影点k−１実測位置Ｘk-1 ３４５の位置で偏角Δk-1の偏差が発生しているためである。誤差の補正は角度方向と、径方向に分離して行う。角度方向の誤差は各画像撮影点において次の画像撮影点に進むときの方位誤差の積算として生じる。ただし、画像撮影点ｋ−１における位置誤差εk-1 ３３７へ与える影響は画像撮影点k−１実測位置Ｘk-1 ３４５から離れた画像撮影点ほど大きい。Ｘ2 からＸk-2 の各点で発生する方位誤差を均等にδ とすると近似的に（数３２）が成り立つ。下記δが処理ブロック５２１で求める数値である。
【数３１】
【００６３】
処理ブロック５２２では、（数３２）で求めた角度誤差δ を用いて各画像撮影点位置を再計算する。角度誤差δによる水平面（XY平面）での回転変換をΦとすれば、
【数３２】
ｉ=k-1 まで
となる。ここで、変数右上肩の＊は演算による計出値を示し、＊＋１は演算による計出値の更新値を表す。
【００６４】
次に、画像撮影点計出位置の更新に伴い、画像撮影対象計出位置についても更新する。図２７において、画像撮影点ｉ−１計出位置Ｘ*i-1 ３５８、画像撮影点ｉ計出位置Ｘ*i ３５９で撮影した画像を用いて３次元座標を計出した画像撮影対象i-1,m計出位置Ｚ*i-1,m ２７４に対して相互の幾何的位置が同一となるように下記で補正を行う。ここで添え字ｍ(m=1,j)は複数の画像撮影対象計出位置を表記するためのものである。
【数３３】
数３２は近似的にしか成り立たないので、処理ブロック５２１と処理ブロック５２２で求めた補正値は残差が残り、計出最終画像撮影点位置偏角Δk-1５３１は一度の計算で０になる保証はない。そのため、処理ブロック５２３で計出最終画像撮影点位置偏角Δk-1５３１に残差が残っている場合には再計算を行い、目標値以下となるまで計算を繰り返す。目標値の目安は位置誤差を１０ｃｍ以下としているので、画像撮影点k計出位置距離Ｌ*k535が１００ｍとすると０．０６度が目安となる。
【００６５】
次に、処理ブロック５２４から処理ブロック５２６では、画像撮影点ｋ−１位置誤差εk-1 ３３７の径方向誤差成分を補正する。最終画像撮影点位置倍率係数Ｍk-1５４０および画像撮影点ｉ計出位置Ｘ*i ３５９、画像撮影対象点i-1,m計出位置Ｚ*i-1,m ２７４は数３４で得られる。なお、数３３と数３４による画像撮影対象点i-1,m計出位置Ｚ*i-1,m ２７４を全てのｉとｍに対してプロットすることにより通路（道路）地図を作成することが出来る。
【数３４】
【００６６】
以上、処理ブロック５１０の説明を行ったが、次に処理ブロック５１１の説明を行う。処理ブロック５１１のアルゴリズムは処理ブロック５１０と同様に図２６で記述できる。処理ブロック５１０と連鎖計出の進行方向が逆である以外の相違はなく図２７の替わりに図２８を用いて説明することが出来る。対応を述べると下記となる。
処理ブロック５１０ 処理ブロック５１１
対応図 図２７ 図２８
計算開始実測画像撮影点対 Ｘi ，Ｘ2 Ｘk，Ｘk-1
計出最終画像撮影点 Ｘk-1 Ｘ2
計算順序 3,4,・・・k-2,k-1 k-2.・・・,4,3,2
数式の対応 数３０ 数３５
数３１ 数３６
数３３ 数３８
数３４ 数３９
【００６７】
【数３５】
【数３６】
【数３７】
ｉ＝２まで
【数３８】
【数３９】
【００６８】
図２５の処理ブロック５１２では、処理ブロック５１０で求めた結果と処理ブロック５１１で求めた結果の平均値を数４０で求める。処理ブロック５１０の前進連鎖計出の画像撮影点列をＸ*ｆi 、画像撮影対象位置をＺ*ｆi-1,m、処理ブロック５１１の後進連鎖計出の画像撮影点列をＸ*bi 、画像撮影対象位置をＺ*bi-1,mとする。ここで、右上肩の添え字ｆ,ｂは前進と後進を表し、＊は最終計算結果による補正値である。また、両端の画像撮影点列Ｘ1、Ｘ2、Ｘk-1、Ｘkには実測値が存在するので、計出による値はi=3,k-1の範囲である。m=1,nであり、nは写真測量用のタイポイント数で３以上である。
【数４０】
ここで、i=3,k-1、m=1,n である。
数４０の結果を図示したのが図２９である。ここまでの説明で、図９の処理ブロック２８６の画像撮影点メタデータ実測値取得・較正処理までの説明を完了する。これまでに閉路を周回する画像撮影点のうち位置実測値として採用可能なもののみ選択して信頼すべき位置実測値の存在しない画像撮影点列については連鎖メタデータ計出の手法による計出を行った。この結果、図１０で閉路１ ３００が周回する市街ブロック１ ２８８を周回する形で閉路１ ３００に沿って画像撮影点列の３次元座標を得ることが出来た。
【００６９】
以下、図９に戻り処理ブロック２８７の説明を行う。処理ブロック２８６までで得た画像撮影点列は実測位置が得られない区間距離が長いと精度劣化が起こる。この誤差を補正するために、先に挙げた該データフュージョン源のうち、地図・オルソ衛星画像およびグラフ・閉路を含む通路の構造的特性を統合して精度の向上を図る。図１１および図１２を用いて方法を説明する。利用する特性は、画像撮影対象が高層ビルを含む市街地であり、通路境界が建造物となているか、あるいは大きな建造物ではその境界が明確で衛星画像で視認可能であることである。図１１を例にすると、画像撮影対象点列３０４は通路境界線２１２上に重なる場合が多く、画像撮影対象点列３０４を通路境界線２１２に一致化させる。このような状況は衛星画像の場合、５０ｃｍまで分解能が期待でき、航空写真の場合は２５ｃｍ程度まで分解能が期待できるのでかなり改善できる。一般には衛星画像の方が画像のひずみが少なくオルソ性が高いので使用しやすい。
【００７０】
ここで注意すべきは、地図・オルソ衛星画像を使用する場合、画像撮影点と画像撮影対象点位置を直接確定することは出来ないことである。なぜなら、地図・オルソ衛星画像には画像撮影点の位置および画像撮影対象点位置に関する情報は直接には含まれていないからである。利用できるのは、画像撮影対象点列を通路境界線上に選定した場合これを通路境界線上に一致化させることができるだけである。すなわち、画像撮影対象点の位置に関して通路に垂直方向の位置情報が５０ｃｍから２５ｃｍの精度で得られるが通路に平行な方向の位置情報は得られない。画像撮影点位置は画像撮影点位置より間接的に得られるので、同様に通路に垂直方向の位置情報が５０ｃｍから２５ｃｍの精度で得られるが通路に平行な方向の位置情報は得られない。この欠点を解決するために、通路の変曲点の前後を含む通路の変曲区間（図１２の端点1 ３０５、端点２ ３０７、端点３ ３０９が該当する。）を通路境界線で一致化させれば、通路進行方向に垂直な位置のみを一致化しても全方向に対する２５〜５０ｃｍ以上の位置精度が確保できる。変曲は９０度が最もよい精度が得られるが、通路の変曲は９０度近辺であることが極めて多い。
【００７１】
処理ブロック２８７の詳細内容を図３０の処理フローで説明する。処理ブロック５５０は閉路に沿ってすべての画像撮影点について順次処理する、すなわち閉路１ ３００に沿って画像撮影点列を一周することである。処理ブロック５５１では閉路に沿って変曲区間を抽出し、画像撮影点列を画像撮影点ごとに「変曲区間」と「非変曲区間」に区分して属性を付与する。これは図１２の例で言うと端点１ ３０５、端点２ ３０７、端点３ ３０９のようなグラフでいう端点を見つけることである。実際の閉路の端点は図１２の端点拡大図３０５に例示するようにある曲率をもって曲がっている。閉路に沿って画像撮影点列／撮影対象点列 データテーブル５９１を図３８（ｂ）のように記述しておけば
（Ｘj+1-Ｘj）・（Ｘj−Ｘj-1）で隣接するベクトルのなす角度を追跡することにより処理ブロック５５１の変曲区間は検出できる。変曲部の前後に２〜３の画像撮影点を付加して、端点１拡大図３０５に示す部分を変曲区間として区分する。なお、変曲区間以外は非変曲区間と定義し、画像撮影点の属性として付与する。処理ブロック５５２では、閉路に沿って画像撮影点列を画像撮影点ごとに「実測位置」と「計出位置」に区分して属性を付与する。実測位置とはGPSなどで高精度実測位置が存在する画像撮影点をいう。
【００７２】
処理ブロック５５３は地図・オルソ衛星画像を用いた通路変曲部の位置修正処理であり、図３１にさらに詳細に説明する。処理ブロック５６０は閉路に含まれる全ての変曲区間について順次処理するためのループである。該変曲部は両端に少なくとも２〜３点の画像撮影点の区間の直線部を有するように設定されており、処理ブロック５６１では該直線部分に対して対応する画像撮影対象点が地図？オルソ衛星画像による通路境界線２１２上に乗るように補正処理をおこなう。図３３は該補正処理の説明のための記号を図示したものである。通路境界線２１２は変曲区間において画像撮影対象点列３０４と本来一致すべきであるが位置誤差のためずれが生じている。通路境界線２１２は図３９の通路境界線ベクトルデータテーブル５９０に示されるように、位置座標を結ぶベクトルとして定義されている。
【００７３】
図３３において通路変曲部の両側の直線部にある画像撮影対象点を画像撮影対象点ｉＺi 59６、 画像撮影対象点ｊＺj 597とし、通路境界線２１２に対する垂線の足をそれぞれ、 画像撮影対象点ｉＺi垂線の足Ｙi 598、画像撮影対象点ｊＺj垂線の足Ｙj 599 とする。また、Ｙi、Ｙjを含む通路境界線２１２の区間は、通路境界線構成点ｍ Ｏｍ592、通路境界線構成点ｍ＋１ Ｏｍ+1593、通路境界線構成点ｎＯｎ594、通路境界線構成点ｎ＋１
Ｏｎ＋1595に対して、それぞれ［Ｏｍ，Ｏｍ+1］，［Ｏｎ，Ｏｎ＋1］とする。このとき、数４１が成り立つ。
【数４１】
実際には、画像撮影対象点Ｚi、Ｚjが与えられると、数４１の０≦ａ≦１, ０≦ｂ≦１,が成り立つ区間、［Ｏｍ，Ｏｍ+1］，［Ｏｎ，Ｏｎ＋1］を通路境界線ベクトルデータテ−ブル 590から検索するのである。
【００７４】
通路変曲部の両側の直線部での通路垂直方向修正ベクトル値は、数４２に記すように数４１より、それぞれＹi−Ｚi、Ｙj−Ｚjであたえられる。
【数４２】
【００７５】
処理ブロック５６２において、変曲区間両端の直線部分の通路垂直方向修正ベクトル値を合成して変曲点部画像撮影点と画像撮影対象点の位置修正ベクトルを計算するが、これはベクトルとしてＹi−Ｚi、Ｙj−Ｚjを合成すればよく、（数４３）におけるＤで与えられる。該変曲部の全ての画像撮影対象点、画像撮影点に対する地図・オルソ衛星画像による位置修正値はＤとなる。
【００７６】
処理ブロック５６３から処理ブロック５６６までの処理は、該変曲区間に含まれる画像撮影点のなかに、ＲＴＫ／ＤＧＰＳによるＤＰＳ精密位置測定に成功した画像撮影点実測値が含まれている場合のデータフュージョンを行うものである。該画像撮影点実測値が含まれていない場合は、変曲部内の全ての画像撮影点と画像撮影対象点に対して処理ブロック５６２の位置修正ベクトルで位置補正値を修正する。ＲＴＫ／ＤＧＰＳによるＤＰＳ精密位置測定は１０ｃｍ程度の位置精度があり、地図・オルソ衛星画像による位置精度は処理ブロック５６２の方法によっても２５〜５０ｃｍ程度である。処理ブロック５６４は地図・オルソ衛星画像による位置修正値が計測誤差内かを判定する。判定基準はＲＴＫ／ＤＧＰＳによる最大誤差１５ｃｍ＋地図・オルソ衛星画像による最大誤差５０ｃｍで６５ｃｍであるので、Ｄのノルムが６５ｃｍ以下であれば計測誤差内と判定する。変曲区内に実測値がある場合には既に画像メタデータ連鎖計出法により周囲の誤差がＲＴＫ／ＤＧＰＳによるＤＰＳ精密位置測定解消されているので、この場合は何も補正を行わない。Ｄのノルムが計測誤差（６５ｃｍ）を超える場合は、データフュージョンする位置情報に矛盾があることを意味し、そのまま処理を帰属することは好ましくない。処理ブロック５６５へと進み警報表示を行って手動による入力データの適切・不適切を再度チェックする。
【００７７】
次に図３０の処理ブロック５５４に進み、通路非変曲部処理を行う。これは図１２でいうと変曲区間である、端点１ ３０５、端点２ ３０７、端点３ ３０９にはさまれるアーク１ ３１４およびアーク２ ３１５の非変曲部が該当する。より詳細な処理内容を図３２に示す。処理ブロック５５３により通路変曲部の位置精度は向上しているので、処理ブロック５８０は変曲部の両端に存在する直線部の画像撮影点を実測値として扱い、変曲部または非変曲部間の実測点対に囲まれる全ての画像撮影点列区間について順次処理する。すなわち実測値の精度がない画像撮影点列の区間について順次処理する。この部分の処理は新たに更新された高精度の画像撮影点に基づいて図９の処理ブロック２８６の連鎖画像撮影点誤差較正処理を繰り返す。
【００７８】
次に処理ブロック５８４で通路進行方向に垂直方向の誤差を修正する。この処理は
図３３における通路変曲部の両側にある直線部の一方の処理と同様である。画像撮影対象点をＺiとし、通路境界線２１２に対する垂線の足をＹiとし、Ｙiを含む通路境界線２１２の区間を［Ｏｍ，Ｏｍ+1］とする。このとき、数４３が成り立つ。
【数４３】
実際には、画像撮影対象点Ｚiが与えられると、数４３の０≦ａ≦１が成り立つ区間、
［Ｏｍ，Ｏｍ+1］を通路境界線ベクトルデータテ−ブル 590から検索するのである。通路垂直方向修正ベクトル値は、数４４でＹi−Ｚiであたえられる。
【数４４】
該通路非変曲部の各画像撮影対象点Ｚiに対する地図・オルソ衛星画像による位置修正値はＤiとなり、Ｚiの修正値に基づき画像撮影点Ｘiを再計算して求める。
【００７９】
以上で図８の処理ブロック２７５の説明が終了し、以下、図８の処理ブロック２７６のＤＥＭデータ統合処理についてその詳細を図３４により説明する。処理ブロック４７０は処理対象通路を閉路の集合に再編してあるので、再編した画像撮影対象の全閉路について順次処理するためのループである。処理ブロック４７１は選択されて指定された閉路について全画像撮影点を順次処理するためのループである。図８の処理ブロック２７５までの処理では画像撮影点位置、画像撮影対象点位置のうち鉛直方向情報は処理の起点となる画像撮影点位置に対する相対値でしか表現されていないため、これを標高値に置き換えるのが、処理ブロック４７２の処理である。ＤＥＭデータベースの形式は業界公知の情報として公開されており、また、処理ブロック２７５までの処理で画像撮影点位置、画像撮影対象点位置の水平面座標はは緯度経度で与えられているから公知の方法で標高値を求めることが出来るので該標高値で該鉛直方向情報を置換する。これにより異なる閉路に対して共通の鉛直方向座標を得ることが出来る。図３５は閉路１ ３００の存在する緯度経度に対応してＤＥＭ４８０が格子点の標高値点４８１で与えられている例を図示しており、標高値は近傍の格子点の標高値を補間することにより得られる。なお、地下街、ビル内のフロアについては該標高データに対してフロアプランより得られた高度情報を加えて鉛直方向座標データとする。
【００８０】
処理ブロック４７３では、隣接画像撮影点の傾斜が置換前の高さ情報を用いた傾斜値と一定微小値以上の差があるか判定をする。本システムを適用する都市は大部分が平地にあるので傾斜は２度以下であるが、ここでは判定の閾値を２度とすることにより、傾斜地による誤差発生を防止するために処理ブロック４７４から処理ブロック４７6の再計算処理を行う。処理ブロック４７５では地図・オルソ高分解能画像を利用して画像撮影点列の通路進行方向の直角方向の補正を行う。内容は処理ブロック５８４と同一である。ここまでの説明で図８の処理ブロック２７５の説明を終了する。
【００８１】
次に図８の処理ブロック２７７の説明を行う。詳細な内容は図３６の処理フローで説明する。処理ブロック４８５は再編した画像撮影対象の全閉路についてい順次処理する。処理ブロック４８６は指定の閉路について全画像撮影点を順次処理するループである。画像撮影カメラはディジタルカメラ集合体２００の形に実装され、図２（ｂ）または図３８の形態で運用される。処理ブロック４８７は図３７のディジタルカメラ集合体２００の幾何学的構造に基づいて計算される。以上述べてきた画像撮影点列におけるカメラは通路境界線に面し（進行方向より９０度の方向）水平方向を向いていることを前提としているので図３７でディジタルカメラ集合体がＣの方向（図面下方）に進行するとすればディジタルカメラａ２０1aがこれまでの処理の前提としたカメラである。他のディジタルカメラｂ〜ｐ ２０１ａ〜ｐの位置と撮影方向をディジタルカメラａ ２０１ａの位置と撮影方向から求めるのが処理ブロック４８７の内容である。
【００８２】
図３７のディジタルカメラ集合体２００においてディジタルカメラ集合体中心ＡＯ２０４から見てディジタルカメラａ ２０１ａの方向をｚ軸、鉛直上方をｘ軸、ディジタルカメラｇ ２０１ｇの方向をｙ軸とした場合、各カメラの方向はノルムを１として数４５で表現できる。ここで、Ｒの添え字のａ〜ｐが各カメラに対応し、０はディジタルカメラ集合体２００の基準位置、姿勢に対するべくとるであることを示す。また、簡単のためａ〜ｐのカメラ識別子をｗで表し（ｗ＝a,b,・・・,P）、ディジタルカメラｗの基準方向をＲw0‘
と表す。
【数４５】
【００８３】
図２２のｘｙｚ軸の定義と各軸回りの回転φ θ δの定義を用いてディジタルカメラ２００ａの方向をＲaを表現すると数４と同様に
【数４６】
さらに数２を適用して、各ディジタルカメラの撮影方向は（数４８）で表現される。
【数４７】
【００８４】
各ディジタルカメラの光軸回りの回転角は、回転角を求めようとする水平方向のディジタルカメラｗ (w=a,b,…,h)に対して、図３７で上方よりディジタルカメラ集合体 200を見て、時計回りに90度回転した位置にあるカメラをw+π/2と添え字表現すると（例：カメラａに対してカメラｇ）時計回りの回転角φwは（数４９）で求められる。
【数４８】
【数４９】
以上の数値を図４０の原画像データベース 500において撮影パラメタのカメラ位置（緯度,経度,高度）、正規化視線ベクトル(X Y Z)、カメラ回転角として、カメラごと撮影画像ごとに格納すればよい。なお、カメラパラメタはカメラを決めた時点で決定される固定値であり、ヘッダーは画像撮影時点に関する情報で別途定まる。
【産業上の利用可能性】
【００８５】
本発明の市街景観画像情報較正システムは都市景観に関するWeb情報サービスにおいて、３次元動画生成システム用画像デタベース構築システムとして産業上利用することができる。
【図面の簡単な説明】
【００８６】
【図１】本発明の市街景観画像情報較正システムの全体構成を概略的に示す図である。
【図２】図１に示す画像データベースシステムを構成する画像を撮影するための運用方法の概念を示す図である。
【図３】ＧＰＳを用いた高精度測位の高層ビル地域での実測値例を示す図である。
【図４】図１に示す画像データベースシステムを構成する画像の構成を概略的に示す図である。
【図５】図１に示す画像データベースシステムを構成する画像のタイポイント例を示す図である。
【図６】図１に示す画像データベースシステムを構成する画像のタイポイント例を示す図である。
【図７】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理を示す図である。
【図８】本発明の市街景観画像情報較正システムの全体の処理フローを示す図である。
【図９】本発明の市街景観画像情報較正システムの画像撮影点メタデータ実測値取得・較正処理の処理フローを示す図である。
【図１０】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において画像撮影点列を閉路として構成し直す方法例を示す図である。
【図１１】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理においてオルソ画像または地図を用いて画像撮影対象点を通路境界線に拘束する方法を示す図である。
【図１２】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において画像撮影点列を閉路として構成しさらにオルソ画像または地図を用いて画像撮影対象点を通路境界線に拘束し、閉路の端点近傍の画像撮影対象点を端点に拘束する方法を示す図である。
【図１３】本発明の市街景観画像情報較正システムの連鎖画像撮影点誤差較正処理の処理フローを示す図である。
【図１４】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において最初と最後の画像撮影点の実測位置のほかに途中の画像撮影点の実測位置を与えて欠く画像撮影点の位置を連鎖計出する方法を示す図である。
【図１５】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において最初の画像撮影点の実測位置から出発して連鎖計出する場合の最終画像撮影点に向かっての誤差蓄積を示す図である。
【図１６】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において最初の画像撮影点の実測位置から出発して前進連鎖計出により画像撮影点位置を求める方法と、最後の画像撮影点の実測位置から出発して後進連鎖計出により画像撮影点位置を求める方法の関係を示す図である。
【図１７】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において最後の画像撮影点の実測位置から出発して後進連鎖計出する場合の最初の画像撮影点に向かっての誤差蓄積を示す図である。
【図１８】本発明の市街景観画像情報較正システムのタイポイント設定処理の処理フローを示す図である。
【図１９】本発明の市街景観画像情報較正システムのタイポイント自動測量システムの変数を図示した図である。
【図２０】本発明の市街景観画像情報較正システムのタイポイント自動測量システムの処理を図示した図である。
【図２１】本発明の市街景観画像情報較正システムで使用する画像とタイポイント自動測量システムおよびメタデータ算出システムで使用される変数の関係を示す図である。
【図２２】本発明の市街景観画像情報較正システムの画像上で使用する２次元座標系と実世界の３次元座標系の変換を図示する図である。
【図２３】本発明の市街景観画像情報較正システムのメタデータ算出システムで収束計算のアルゴリズムと評価基準を示す図である。
【図２４】本発明の市街景観画像情報較正システムのメタデータ算出処理の処理フローを示す図である。
【図２５】本発明の市街景観画像情報較正システムの実測メタデータ誤差配分処理の処理フローを示す図である。
【図２６】本発明の市街景観画像情報較正システムの実測メタデータ誤差配分処理のうち前進連鎖計出または後進連鎖計出について誤差配分の処理フローを示す図である。
【図２７】本発明の市街景観画像情報較正システムの実測メタデータ誤差配分処理の前進連鎖計出の誤差配分を方式を示す図である。
【図２８】本発明の市街景観画像情報較正システムの実測メタデータ誤差配分処理の後進連鎖計出の誤差配分を方式を示す図である。
【図２９】本発明の市街景観画像情報較正システムの連鎖的に画像撮影点の位置を計出する処理において最初の画像撮影点の実測位置から出発して連鎖計出する場合と最後の画像撮影点の実測位置から出発して連鎖計出する場合の誤差蓄積を統合して誤差を構成する方法を示す図である。
【図３０】本発明の市街景観画像情報較正システムの画像撮影点メタデータ実測値取得・較正処理のうち地図・オルソ画像拘束処理の処理フローを示す図である。
【図３１】本発明の市街景観画像情報較正システムの画像撮影点メタデータ実測値取得・較正処理のうち地図・オルソ画像拘束処理の通路変曲部処理フローを示す図である
【図３２】本発明の市街景観画像情報較正システムの画像撮影点メタデータ実測値取得・較正処理のうち地図・オルソ画像拘束処理の通路非変曲部処理フローを示す図である
【図３３】本発明の市街景観画像情報較正システムの画像撮影点メタデータ実測値取得・較正処理のうち地図・オルソ画像拘束処理の通路変曲部の変数の名称を示す図である。
【図３４】本発明の市街景観画像情報較正システムのＤＥＭデータ統合処理の処理フローを示す図である。
【図３５】本発明の市街景観画像情報較正システムにおいてＤＥＭ情報を統合する概念を示す図である。
【図３６】本発明の市街景観画像情報較正システムのマルチカメラデータ誤差較正処理の処理フローを示す図である。
【図３７】本発明の市街景観画像情報較正システムの画像データ取得のためのディジタルカメラ集合体の構成例を示す図である。
【図３８】本発明の市街景観画像情報較正システムの画像データ取得のための移動式画像取得装置の構成例を示す図である
【図３９】本発明の市街景観画像情報較正システムの通路境界線ベクトルデータテ−ブルと画像撮影点列／画像撮影対象点列 データテーブルの構成を示す図である。
【図４０】本発明の市街景観画像情報較正システムの画像データベースの較正例を示す図である。
【符号の説明】
【００８７】
100 画像校正スーパーバイザー
105 グラフィックユーザインターフェイス
110 画像撮影点メタデータ実測値取得較正システム
120 連鎖画像撮影点誤差較正システム
130 ＤＥＭデータ統合システム
140 マルチカメラデータ誤差較正システム
150 画像データベース
155 道路データベース
160 衛星画像データベース
165 ＤＥＭデータベース
170 オペレータ
200 ディジタルカメラ集合体
201a〜ｐ ディジタルカメラa〜ｐ
202 上向きディジタルカメラ仰角Θ
203 ディジタルカメラ設置距離 Ｌ
204 ディジタルカメラ集合体中心 ＡＯ
205 車両
206 通路
210 移動経路
211 画像撮影方向
212 道路境界線
213 画像撮影点
214 高層ビル群
215 ＧＰＳ実測値（正）
216 ＧＰＳ実測値（誤）
220 建物
221 視線方向１
222 視線方向２
223 視線方向３
224 視線方向１より見た画像
225 視線方向２より見た画像
226 視線方向3より見た画像
230 タイポイントａ
231 タイポイントｂ
232 タイポイントｃ
233 タイポイントｄ
240 画像撮影点位置
250 画像撮影対象点1,1位置Ｚ1,1
251 画像撮影対象点1,2位置Ｚ1,2
252 画像撮影対象点1,3位置Ｚ1,3
253 画像撮影対象点1,4位置Ｚ1,4
254 画像撮影対象点2,1位置Ｚ2,1
255 画像撮影対象点2,2位置Ｚ2,2
256 画像撮影対象点2,3位置Ｚ2,3
257 画像撮影対象点2,4位置Ｚ2,4
258 画像撮影対象点3,1位置Ｚ3,1
259 画像撮影対象点3,2位置Ｚ3,2
260 画像撮影対象点3,3位置Ｚ3,3
261 画像撮影対象点3,4位置Ｚ3,4
262 画像撮影対象点k-3,1位置Ｚk-3,1
263 画像撮影対象点k-3,2位置Ｚk-3,2
264 画像撮影対象点k-3,3位置Ｚk-3,3
265 画像撮影対象点k-3,4位置Ｚk-3,4
266 画像撮影対象点k-2,1位置Ｚk-2,1
267 画像撮影対象点k-2,2位置Ｚk-2,2
268 画像撮影対象点k-2,3位置Ｚk-2,3
269 画像撮影対象点k-2,4位置Ｚk-2,4
270 画像撮影対象点k-1,1位置Ｚk-1,1
271 画像撮影対象点k-1,2位置Ｚk-1,2
272 画像撮影対象点k-1,3位置Ｚk-1,3
273 画像撮影対象点k-1,4位置Ｚk-1,4
274 画像撮影対象点i-1,m計出位置Ｚ*i-1,m
275〜277 処理ブロック
280〜287 処理ブロック
288 市街ブロック１
289 市街ブロック２
290 移動経路１
291 移動経路２
292 移動経路３
293 移動経路４
294 移動経路５
295 移動経路６
296 移動経路７
297 移動経路８
298 移動経路９
299 移動経路１０
300 閉路１
301 閉路２
302 画像撮影点列／画像撮影対象点列連鎖
303 画像撮影点列
304 画像撮影対象点列
305 端点１
306 端点1拡大図
307 端点２
308 端点２拡大図
309 端点３
310 端点３拡大図
311 画像撮影点通路境界線間距離
312 閉路アーク間距離１
313 閉路アーク間距離２
314 アーク１
315 アーク２
320〜329 処理ブロック
330 計出画像撮影点列１
331 計出画像撮影点列２
332 計出画像撮影点列３
333 計出画像撮影対象点列１
334 計出画像撮影対象点列２
335 計出画像撮影対象点列３
336 画像撮影点2位置誤差ε2
337 画像撮影点ｋ−１位置誤差εk-1
338 画像撮影点ｍ−１位置誤差εｍ-1
339 画像撮影点ｎー１位置誤差εn-1
340 画像撮影点１実測位置Ｘ1
341 画像撮影点２実測位置Ｘ2
342 画像撮影点３実測位置Ｘ3
343 画像撮影点４実測位置Ｘ4
344 画像撮影点k-2実測位置Ｘｋ-2
345 画像撮影点k-1実測位置Ｘｋ-1
346 画像撮影点k実測位置Ｘｋ
347 画像撮影点m-1実測位置Ｘm-1
348 画像撮影点m実測位置Ｘm
349 画像撮影点n-1実測位置Ｘn-1
350 画像撮影点n実測位置Ｘn
351 画像撮影点１計出位置Ｘ*1
352 画像撮影点２計出位置Ｘ*2
353 画像撮影点３計出位置Ｘ*3
354 画像撮影点４計出位置Ｘ*4
355 画像撮影点k-2計出位置Ｘ*ｋ-2
356 画像撮影点 k-1計出位置Ｘ*ｋ-1
357 画像撮影点k計出位置Ｘ*ｋ
358 画像撮影点ｉ−１計出位置Ｘ*i-1
359 画像撮影点ｉ計出位置 Ｘ*i
360〜363 処理ブロック
370 計出画像撮影点列
371 計出画像撮影対象点列
375 画像ベクトル（正規化）
376 画像中心点
377 画像距離
378 画像面
379 フレーム回転角
380 画像中心点対象物座標
381 画像右下対象物座標
382 画像右上対象物座標
383 画像左上対象物座標
384 画像左下対象物座標
385 画像範囲
386 画像面１
387 画像面２
388 画像面３
390 画像面タイポイントa
391 画像面タイポイントｂ
392 画像面タイポイントｃ
393 画像面タイポイントｄ
394 画像面１タイポイントa
395 画像面１タイポイントｂ
396 画像面１タイポイントｃ
397 画像面１タイポイントｄ
398 画像面２タイポイントa
399 画像面２タイポイントｂ
400 画像面２タイポイントｃ
401 画像面２タイポイントｄ
402 画像面３タイポイントa
403 画像面３タイポイントｂ
404 画像面３タイポイントｃ
405 画像面３タイポイントｄ
410 タイポイントa実座標
411 タイポイントｂ実座標
412 タイポイントｃ実座標
413 タイポイントｄ実座標
415 フレーム画角(横)
416 フレーム画角(縦)
417 フレーム横幅
418 フレーム縦幅
419 水平線
420 画像V軸
421 画像W軸
422 画像右下端点
423 画像右上端点
424 画像左上端点
425 画像左下端点
426 Ｚ軸廻りフレーム回転角
427 Ｘ軸廻りフレーム回転角
428 Ｙ軸廻りフレーム回転角
430 画像面タイポイントｉ実写値
431 画像面タイポイントｉ計算値
432 タイポイントｉ実座標
440〜454 処理ブロック
470〜476 処理ブロック
480 ＤＥＭ
481 標高値点
485〜487 処理ブロック
490 ＧＰＳアンテナ
491 水平維持装置
492 ＲＴＫ／ＤＧＰＳ測位装置
493 ディジタルカメラ制御装置
494 モニタ
496 キーボード
496 カート
501 画像メタデータ部分
502 画像データ部分
510〜512 処理ブロック
520〜526 処理ブロック
530 計出最初画像撮影点位置偏角Δ２
531 計出最終画像撮影点位置偏角Δk-1
532 画像撮影点２実測位置距離L2
533 画像撮影点２計出位置距離L*2
534 画像撮影点ｋ−１実測位置距離Lk-1
535 画像撮影点k−１計出位置距離L*k-1
539 最初画像撮影点位置倍率係数M2
540 最終画像撮影点位置倍率係数Mk-1
550〜554 処理ブロック
560〜567 処理ブロック
580〜584 処理ブロック
590 通路境界線ベクトルデータテーブル
591 画像撮影点列／画像撮影対象点列 データテーブル
592 通路境界線構成点ｍ Ｏm
593 通路境界線構成点ｍ＋１ Ｏm+1
594 通路境界線構成点ｎ Ｏn
595 通路境界線構成点ｎ＋１ Ｏn+1
596 画像撮影対象点ｉＺi
597 画像撮影対象点ｊＺj
598 画像撮影対象点ｉＺi垂線の足Ｙｉ
590 画像撮影対象点ｊ Ｚj垂線の足Ｙｊ
600 通路１垂直方向修正ベクトルＹｊ−Ｚj
601 通路２垂直方向修正ベクトルＹｊ−Ｚj
601 修正ベクトルＤ
【特許請求の範囲】
【請求項１】
市街または商店街または売り場またはそのすべてを通路に沿って移動しながら該市街または商店街または売り場またはそのすべての画像を相互に部分的に重複させながら撮影するシステムにおいて、部分的にまたは全体的に重複する該市街または商店街または売り場またはそのすべての画像を撮影する少なくとも1対の異なる撮影点の位置と該撮影点における撮影方向の測定値をもとに、該異なる撮影点から撮影した該重複画像部分に含まれる共通の撮影対象の３次元座標位置を３点以上計出し、該共通撮影対象を撮影している隣接する他の撮影点の画像から該隣接撮影点座標と撮影方向を計出し、この手順を連鎖的に繰り返すことにより該市街または商店街または売り場またはそのすべてを移動しながら撮影したすべて画像について撮影点と撮影方向を計出することを特徴とする画像撮影情報較正システム。
【請求項２】
請求項１の市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムにおいて、該繰り返し手順の最終の撮影点の位置と撮影方向を測定し、請求項１の該計出により求めた該最終撮影点の位置と撮影方向の誤差を解消すると同時に、最初の撮影点と最終の撮影点の間の撮影位置と撮影方向の誤差を推定し、解消することを特徴とする画像撮影情報較正システム。
【請求項３】
請求項１または請求項２のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該繰り返し手順の最終の撮影点と、該繰り返し手順の中間の単数または複数の撮影点との位置と撮影方向を測定し、請求項１の該計出により求めた測定点に対応する該撮影点の位置と撮影方向の誤差を解消すると同時に、最初の撮影点と最終の撮影点の間の測定点以外の撮影点の撮影位置と撮影方向の誤差を推定し、解消することを特徴とする画像撮影情報較正システム。
【請求項４】
請求項１から請求項３のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該異なる撮影点から撮影した該重複画像部分に含まれる共通の撮影対象の３次元座標位置が通路の境界線上に存在することを利用して、該通路の境界線の地図データまたは衛星または航空機より撮影したオルソ画像を用いて該重複画像部分に含まれる共通の撮影対象の該３次元座標位置を該通路境界線上に拘束することにより、最初の撮影点と最終の撮影点の間の測定点以外の撮影点の撮影位置と撮影方向の誤差を解消することを特徴とする画像撮影情報較正システム。
【請求項５】
請求項１から請求項４のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該異なる撮影点から撮影した該重複画像部分に含まれる共通の撮影対象の３次元座標位置が通路の境界線上に存在することおよび該通路の境界線が多重グラフ構造または閉路を構成していることを利用して、該通路の境界線の地図データまたは衛星または航空機より撮影したオルソ画像を用いて該重複画像部分に含まれる共通の撮影対象の該３次元座標位置を該通路境界線上に拘束することにより、最初の撮影点と最終の撮影点の間の測定点以外の撮影点の撮影位置と撮影方向の誤差を解消することを特徴とする画像撮影情報較正システム。
【請求項６】
請求項１から請求項５のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、部分的にまたは全体的に重複する該市街または商店街または売り場またはそのすべての画像を撮影する少なくとも1対の異なる撮影点の位置の測定値が該通路の部分によっては正確に得られない場合に、該撮影点列を該通路が閉路となるように構成し、該重複画像部分に含まれる共通の撮影対象の該３次元座標位置を該通路境界線上に高分解能オルソ衛星画像または航空画像または地図により拘束し、該閉路を構成する端点近傍の該重複画像部分に含まれる共通の撮影対象の該３次元座標位置および該撮影点を該端点の高分解能オルソ衛星画像または航空画像または地図により拘束することにより撮影点の撮影位置と撮影方向の誤差を解消することを特徴とする画像撮影情報較正システム。
【請求項７】
請求項１から請求項６のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該異なる撮影点から撮影した該重複画像部分に含まれる共通の撮影対象の３次元座標位置がＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）上またはフロアプラン上に存在することを利用して、該撮影点および該重複画像部分に含まれる共通の撮影対象の該３次元座標位置をＤＥＭ情報または高度情報により高さ方向座標を拘束することにより、最初の撮影点と最終の撮影点の間の該撮影点および該重複画像部分に含まれる共通の撮影対象の該３次元座標位置の誤差を解消することを特徴とする画像撮影情報較正システム。
【請求項８】
請求項１から請求項７のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該異なる撮影点から撮影した該重複画像部分に含まれる共通の撮影対象の３次元座標位置が該通路境界線上に位置することを利用して通路の地図ないし形状を求めることを特徴とする画像撮影情報較正システム。
【請求項９】
請求項１から請求項８のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該撮影システムを複数のカメラを複数の撮影方向を向くように剛体で固定し構成することにより、撮影点の位置と該撮影点における撮影方向が計出できる画像を多数同時に撮影することが可能であることを特徴とする撮影システムと画像撮影情報較正システム。
【請求項１】
市街または商店街または売り場またはそのすべてを通路に沿って移動しながら該市街または商店街または売り場またはそのすべての画像を相互に部分的に重複させながら撮影するシステムにおいて、部分的にまたは全体的に重複する該市街または商店街または売り場またはそのすべての画像を撮影する少なくとも1対の異なる撮影点の位置と該撮影点における撮影方向の測定値をもとに、該異なる撮影点から撮影した該重複画像部分に含まれる共通の撮影対象の３次元座標位置を３点以上計出し、該共通撮影対象を撮影している隣接する他の撮影点の画像から該隣接撮影点座標と撮影方向を計出し、この手順を連鎖的に繰り返すことにより該市街または商店街または売り場またはそのすべてを移動しながら撮影したすべて画像について撮影点と撮影方向を計出することを特徴とする画像撮影情報較正システム。
【請求項２】
請求項１の市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムにおいて、該繰り返し手順の最終の撮影点の位置と撮影方向を測定し、請求項１の該計出により求めた該最終撮影点の位置と撮影方向の誤差を解消すると同時に、最初の撮影点と最終の撮影点の間の撮影位置と撮影方向の誤差を推定し、解消することを特徴とする画像撮影情報較正システム。
【請求項３】
請求項１または請求項２のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該繰り返し手順の最終の撮影点と、該繰り返し手順の中間の単数または複数の撮影点との位置と撮影方向を測定し、請求項１の該計出により求めた測定点に対応する該撮影点の位置と撮影方向の誤差を解消すると同時に、最初の撮影点と最終の撮影点の間の測定点以外の撮影点の撮影位置と撮影方向の誤差を推定し、解消することを特徴とする画像撮影情報較正システム。
【請求項４】
請求項１から請求項３のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該異なる撮影点から撮影した該重複画像部分に含まれる共通の撮影対象の３次元座標位置が通路の境界線上に存在することを利用して、該通路の境界線の地図データまたは衛星または航空機より撮影したオルソ画像を用いて該重複画像部分に含まれる共通の撮影対象の該３次元座標位置を該通路境界線上に拘束することにより、最初の撮影点と最終の撮影点の間の測定点以外の撮影点の撮影位置と撮影方向の誤差を解消することを特徴とする画像撮影情報較正システム。
【請求項５】
請求項１から請求項４のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該異なる撮影点から撮影した該重複画像部分に含まれる共通の撮影対象の３次元座標位置が通路の境界線上に存在することおよび該通路の境界線が多重グラフ構造または閉路を構成していることを利用して、該通路の境界線の地図データまたは衛星または航空機より撮影したオルソ画像を用いて該重複画像部分に含まれる共通の撮影対象の該３次元座標位置を該通路境界線上に拘束することにより、最初の撮影点と最終の撮影点の間の測定点以外の撮影点の撮影位置と撮影方向の誤差を解消することを特徴とする画像撮影情報較正システム。
【請求項６】
請求項１から請求項５のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、部分的にまたは全体的に重複する該市街または商店街または売り場またはそのすべての画像を撮影する少なくとも1対の異なる撮影点の位置の測定値が該通路の部分によっては正確に得られない場合に、該撮影点列を該通路が閉路となるように構成し、該重複画像部分に含まれる共通の撮影対象の該３次元座標位置を該通路境界線上に高分解能オルソ衛星画像または航空画像または地図により拘束し、該閉路を構成する端点近傍の該重複画像部分に含まれる共通の撮影対象の該３次元座標位置および該撮影点を該端点の高分解能オルソ衛星画像または航空画像または地図により拘束することにより撮影点の撮影位置と撮影方向の誤差を解消することを特徴とする画像撮影情報較正システム。
【請求項７】
請求項１から請求項６のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該異なる撮影点から撮影した該重複画像部分に含まれる共通の撮影対象の３次元座標位置がＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）上またはフロアプラン上に存在することを利用して、該撮影点および該重複画像部分に含まれる共通の撮影対象の該３次元座標位置をＤＥＭ情報または高度情報により高さ方向座標を拘束することにより、最初の撮影点と最終の撮影点の間の該撮影点および該重複画像部分に含まれる共通の撮影対象の該３次元座標位置の誤差を解消することを特徴とする画像撮影情報較正システム。
【請求項８】
請求項１から請求項７のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該異なる撮影点から撮影した該重複画像部分に含まれる共通の撮影対象の３次元座標位置が該通路境界線上に位置することを利用して通路の地図ないし形状を求めることを特徴とする画像撮影情報較正システム。
【請求項９】
請求項１から請求項８のいずれかの市街または商店街または売り場またはそのすべてを通路に沿って移動しながら画像を撮影するシステムおいて、該撮影システムを複数のカメラを複数の撮影方向を向くように剛体で固定し構成することにより、撮影点の位置と該撮影点における撮影方向が計出できる画像を多数同時に撮影することが可能であることを特徴とする撮影システムと画像撮影情報較正システム。
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１３】
【図１４】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３６】
【図３９】
【図４０】
【図２】
【図３】
【図１０】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図２７】
【図２８】
【図２９】
【図３５】
【図３７】
【図３８】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１３】
【図１４】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３６】
【図３９】
【図４０】
【図２】
【図３】
【図１０】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図２７】
【図２８】
【図２９】
【図３５】
【図３７】
【図３８】
【公開番号】特開２０１０−４５７６６（Ｐ２０１０−４５７６６Ａ）
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願番号】特願２００９−１１９４９３（Ｐ２００９−１１９４９３）
【出願日】平成２１年５月１８日（２００９．５．１８）
【出願人】（７０８００２８１６）小平アソシエイツ株式会社 (7)
【Ｆターム（参考）】
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願日】平成２１年５月１８日（２００９．５．１８）
【出願人】（７０８００２８１６）小平アソシエイツ株式会社 (7)
【Ｆターム（参考）】
[ Back to top ]