地理情報関連付け画像データ管理システムおよび地理情報関連付け画像データ管理プログラム
【課題】広範囲にわたる撮影計画を立案し、大量に画像を収集し、地理情報と関連付けて画像データを管理しておくため、一貫した撮影計画、及び画像収集・管理を行う。
【解決手段】画像を撮影時刻とともに画像データとして収集する画像データ収集手段と、画像の撮影位置座標を収集する位置データ収集手段とを搭載した移動手段を含む画像撮影サブシステムと、地図データ表示手段と、画像データ表示手段と、地図リンクの始点及び終点の通過時刻を記録するリンク始終点通過時刻登録手段とを含む画像データ編集サブシステムと、撮影計画を管理する撮影計画手段と、編集された画像データと撮影情報取り込み手段とを含む画像データ管理サブシステムと、グラフ構造データベースと、カメラ情報データベースと、計画・実撮影情報データベースと、収集画像データベース及び収集画像属性情報データベースと、リンク関連情報データベースとを含む記憶装置とを含む。
【解決手段】画像を撮影時刻とともに画像データとして収集する画像データ収集手段と、画像の撮影位置座標を収集する位置データ収集手段とを搭載した移動手段を含む画像撮影サブシステムと、地図データ表示手段と、画像データ表示手段と、地図リンクの始点及び終点の通過時刻を記録するリンク始終点通過時刻登録手段とを含む画像データ編集サブシステムと、撮影計画を管理する撮影計画手段と、編集された画像データと撮影情報取り込み手段とを含む画像データ管理サブシステムと、グラフ構造データベースと、カメラ情報データベースと、計画・実撮影情報データベースと、収集画像データベース及び収集画像属性情報データベースと、リンク関連情報データベースとを含む記憶装置とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地理的環境を把握するための画像データを、たとえば道路走行や上空飛行によって撮影して収集し、必要な地理的範囲や画像の解像度・画像データ量に応じて抽出・加工し、地理座標と関連付けて空間的および時間的に管理し、地図と連動させて表示させるためのデータを得る地理座標関連付き画像データ管理システムに関するものである。
【背景技術】
【０００２】
情報技術の高度化および大容量通信網の整備に伴い、インターネット、カーナビゲーション、携帯電話などの表示媒体において写真や動画像などの大容量データベースが容易に扱えるようになった。
【０００３】
これに伴い、地理情報システム（ＧＩＳ）やインターネット上での地図検索サイトにおいて、地理属性として画像を利用することで、実際の風景をデフォルメなく正確に利用者に伝えるニーズが多くなってきている。
【０００４】
特定の道路から撮影した街並み映像を撮影し、道路や河川の維持管理に使用する技術は開発されている（例えば、特許文献１参照）。
【０００５】
この技術では、道路等線上の地物で得られた画像は、道路中心線など１次元的な地物の上に、その地物上に指定された始点からの距離と関連付けて管理される。
【０００６】
また、実際に撮影した画像ではなく、人工的に作成されたＣＧ画像を、部分的にグラフ構造を持つ道路と関連させて管理する技術もある（例えば、特許文献２参照）。最近では、実際の画像を表示する技術が開発されている（例えば、特許文献３参照）。
【特許文献１】特許３０９９１０３号公報
【特許文献２】特開平６−８３９３７号公報
【特許文献３】特開２００５−３７５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
（データの整合を有して管理すること、データ量を低減させること）
本発明では、基本的にユーザが指定した範囲について撮影を行い、ファイルの容量を低減した地理座標関連付き画像データとしてユーザに提供可能すると共に、画像がどんな種類からを一元的に管理したシステムを得ることを主目的とするものである。
【０００８】
例えば、道路から見た町の景観（樹木、道路、建物等）は、年月に応じて変化したりする。
【０００９】
また、画像は一つの経路において、進行方向で撮影したときの画像や逆方向から撮影したときの画像を必要とする場合もある。
【００１０】
さらに、撮影を短時間で終わらせるために、異なる車輌で異なるカメラで撮影する場合もある。
【００１１】
また、撮影したカメラ、ＧＰＳ、ＩＮＳの性能と地図の座標系の多少の相違等によって、カメラで撮影した画像の撮影位置とが相違する場合もある。
【００１２】
しかしながら、上記の引用文献はリンクのＩＤに画像を関連させて管理するものであるので、リンクのＩＤだけでは画像が一つの経路内でことなる時期で撮影されたものか、逆方向から撮影されたものか或いは撮影位置に正しく関連付けられた画像であるかがコンピュータ判断できない。このため、オペレータが希望の画像を表示させるには様々なパラメータを入力する必要があったので手間がかかるという課題（問題点）があった。
【００１３】
一方、上記の特許文献３は、実際に撮影した撮影地点の画像をデータベースに登録して、これを地図上の撮影地点と連動表示しているが、撮影地点に対応させて画像を登録しているのでデータベースの容量を大幅に消費する。このため、低容量のデータベースを有する一般的なパソコンには不向きであった。
【００１４】
従って、一つの経路においても、経年的な画像（カメラで撮影したもの）、又は異なるカメラで撮影された画像であっても或いは双方向の画像を正しい撮影位置に関連させて一元的に管理できると共に、一般的なパソコンでもこれらの画像を登録して表示させることができるシステムが望まれていた。
【００１５】
また、経路が複数存在する場合に、無計画で撮影した場合は時間もコストもかかり、かつデータベースの容量も大容量になる。
【００１６】
複数のカメラで別々の経路を撮影した場合や、画像が必要ない経路もあったり、あまり時間がたっていない場合には同じ経路を撮影する必要がない。すなわち、撮影計画を効率良く立てておくのが時間とコストとデータベースの容量を低減させることになる。
【００１７】
つまり、地図の撮影位置に対応した画像を迅速に要求された場合は撮影計画がしっかりしていないと、要求を受け付けてから撮影が終了するまでは、画像の提供を敏速に行うことができない。
【００１８】
さらに、カメラ、ＧＰＳ、ＩＮＳ等の性能等によって、撮影地点の座標と地図の座標とが相違する場合もある。
【００１９】
本願発明は、カメラ、ＧＰＳ、ＩＮＳ等の性能に多少の相違があっても正確に撮影位置を地図上に定義し、かつ経年的、双方向、カメラを相違させて画像を取得したとしても、データベースの容量を低減できると共に、これらの画像の状況が直ぐにわかる管理形態で一元的に管理して容易に提供できるシステムを得ることを目的とする。
【００２０】
つまり、
（画像データ収集の課題）
道路走行や上空飛行によって撮影して収集する画像データの量は大量になるため、撮影システムとの連携が必要なってくる。特に、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を得られることが重要である。また、広域の画像を大量に収集する場合、複数の車両を用いて撮影作業を平行して行う必要がある。この際、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成し、それに従って画像を収集することが必要である。
【００２１】
本発明では、基本的にユーザが指定した範囲について撮影を行い、地理座標関連付き画像データとしてユーザに提供することを主目的とするものである。そのため、迅速性が要求される場合、要求を受け付けてから撮影が終了するまでは、データ提供を行うことができないという問題がある。
【００２２】
そこで、あらかじめ広範囲にわたる撮影計画を立案し、大量に画像を収集し、地理情報と関連付けて画像データを管理しておくために、一貫した撮影計画、及び画像収集・管理を行うシステムが必要である。
【００２３】
（画像データ収集の課題）
道路走行や上空飛行によって撮影して収集する画像データの量は大量になるため、撮影システムとの連携が必要なってくる。特に、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を得られることが重要である。また、広域の画像を大量に収集する場合、複数の車両を用いて撮影作業を平行して行う必要がある。この際、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成し、それに従って画像を収集することが必要である。
【００２４】
また、撮影した画像を用いて後から計測を行いたい場合、たとえばステレオ画像計測や単写真による簡易計測等を行う場合は、実際に撮影されたカメラ情報、すなわちカメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報が画像とともに管理されており、参照できることが必要である。広域にわたる大量の画像を撮影する場合は、一つのカメラシステムだけでなく、複数のカメラシステムを利用する場合も生じるため、撮影に使用したカメラ情報も一元的に管理する必要が生じる。
【００２５】
（画像データ管理の課題）
上記の特許文献に開示されている技術では、実際に撮影した画像を、既存の地図データ、特に図１に示すような、Ｙ字路や５差路以上の交差点、立体交差などがある複雑な道路ネットワークデータなどグラフ構造を持つ地図情報と関連付けて管理する。
【００２６】
また、１箇所の地図情報と関連付けて管理できる画像は１種類のみであるため、同じ道路の箇所に複数の種類の画像を関連付けて管理し、種類ごとにデータベースを構築する。
【００２７】
たとえば、見せる対象によっては、画像を撮影した季節や時間帯が重要になることがある。たとえば、観光ルートにおいて、春・夏・秋・冬の各シーズンに撮影した画像を格納する。
【００２８】
多次期、季節別の画像を管理するシステムとしては、時空間型地理情報システムがあるが、これはある時間断面におけるバージョンを表示するものである。そのため、たとえば複数年にわたって撮影した画像の中から特定の季節（たとえば秋）の画像のみをみるということを可能とする。
【００２９】
また、広い道路については、沿線を撮影するために往復走行することが必要となる場合があり、往復走行して得た画像について、道路に対しての走行方向を管理できることを可能とする。
【００３０】
実際に画像データを利用者に提供する場合、広域にわたり撮影された画像データ全体から必要なデータを切り出すことが必要である。切り出しの条件としては、次のことが選択できることが必要である。
【００３１】
・ 地理空間的な切り出し（地理メッシュや行政区域による切り出し）
・ リンクの種別による切り出し（道路種別・道路幅等）
・ 画像の撮影時期による切り出し
さらに、大量の画像を管理する場合、画像の容量を少なくするために、画像を途中で間引いたり、画像サイズを小さくしたりする必要性が生じる。画像データを物理的に変換した場合も、画像データベースとして整合性を保つ。
【００３２】
（画像データ表示の課題）
画像の検索では、大規模なデータベースの中では大量の画像ファイルの中から探索するため、高速な検索方法が必要となる。既存の地理情報と組み合わせて利用することが可能とするため、たとえば任意の点（たとえばビル）を選んだとき、その周辺の検索し、その画像の進行方向を基点に方位角を計算、対象となるビルを前面に表示できることが必要である。
【００３３】
さらに、高度な画像の検索方法として、場所による検索だけでなく、画像のもつ意味的な検索が行える、すなわち写っている対象の内容による検索が必要である。
【課題を解決するための手段】
【００３４】
本発明の地理座標関連付き画像データ管理システムは、移動手段に、画像センサを固定し、地図の路線ネットワークに基づいて前記移動手段の移動と共に前記画像センサで撮影した画像データを一定時間毎に収集し、これを前記路線ネットワークに関連付けて管理する地図情報関連付け画像データ管理システムにおいて、
リンク構造の前記路線ネットワークを記憶するグラフ構造データベースと、前記画像センサの情報を記録するカメラ情報データベースと、前記移動手段による前記路線ネットワークの撮影計画の情報及び前記路線ネットワークを実際に撮影した実撮影情報を記録する計画・実撮影情報データベースと、前記画像センサによって取り込まれた前記一定時間毎日の周辺画像データ及び該画像の撮影位置座標を座標計測時刻とともに収集画像属性情報として記録する集画像・属性情報データベースと含む記憶装置と、前記撮影時刻及び前記座標計測時刻から前記地図リンクの始点及び終点の通過時刻を記録するリンク始終点通過時刻登録手段と、一定の走行距離を基準にして前記一定時間毎に収集された複数の周辺画像データから前記一定の走行距離毎の画像のみを抽出して他の画像データを間引き、データ容量を低減させる画像間引き手段を含む画像データ編集サブシステムと、前記路線ネットワークごとに各データベースの各情報を撮影時刻及び該各情報に付与したそれぞれのＩＤコードで関連付けた管理情報を備えた管理手段と、前記路線ネットワークのＩＤ及び前記撮影時刻が入力されたとき、このＩＤ、撮影時刻を含む前記管理情報を引当て、該引き当てた管理情報に関連付けられている前記各データベースの各情報を前記記憶装置から出力するデータ抽出手段とを含む画像データ管理サブシステムとを備えたことを要旨とする。
【発明の効果】
【００３５】
本発明によれば、広範囲にわたる撮影計画を立案し、大量に画像を収集し、地理情報と関連付けて画像データを管理しておくために、一貫した撮影計画、及び画像収集・管理を行うことができる。
【００３６】
また、道路などの地図情報と画像を関連付けることで、場所を表す地理属性として画像を用いることで、現地のリアルな状況を利用者に視覚的に伝えることができる。
【００３７】
さらに、季節や時間帯が異なる複数の画像を１箇所の地図情報と関連付けて管理できるため、利用者が必要とする時期や時間の状況に最も近い画像を提供することができる。
【発明を実施するための最良の形態】
【００３８】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。
【００３９】
本発明の実施の形態による地理座標関連付き画像データ管理システム１０は、図１に示すように、画像撮影サブシステム２０、画像データ編集サブシステム３０、画像データ管理サブシステム４０、及び画像データ管理サブシステム４０に接続された記憶装置５０等から構成される。
【００４０】
まず、画像撮影サブシステム２０は、画像センサ２２を接続し、地図リンクに沿った周辺環境を撮影した画像を撮影時刻とともに収集画像データｄ１として収集する画像データ収集手段２４と、ハイブリッド型位置センサ２３を接続し、画像の撮影位置座標を座標計測時刻とともに収集画像属性情報ｄ２として収集する位置データ収集手段２５とを搭載した移動手段を含む。
【００４１】
ここで地図リンクとは、たとえば、図１７に示したグラフ構造を持つ２点間（１つの交差点から次の交差点まで）の道路をいう。便宜上、１点を始点、もう１点を終点と記すが、始点から終点というリンクの方向性を意味するものではない。
【００４２】
前述のグラフ構造は、道路ネットワークとも称し、図１７に示すような、交差点をノード・交差点間の道路中心線を示す連続線分をリンクとするネットワーク構造であり、走行軌跡パターン、道路の形状、幅等を含む。
【００４３】
図１７においては、交差点としてＴ字もしくは十字の他に、Ｙ字路や５差路を含んで示されている。
【００４４】
また、移動手段とは、地図リンクに沿って飛行して上空から撮影するための航空機や、地図リンクの道路を走行する車両２１をいう。
【００４５】
つづいて、画像データ編集サブシステム３０は、地図リンクを表示する地図データ表示手段３１と、画像データ収集手段２４によって収集した画像データを表示する画像データ表示手段３２と、撮影時刻及び座標計測時刻（ＧＰＳ時刻）から地図リンクの始点及び終点の通過時刻を記録するリンク始終点通過時刻登録手段３３と、画像データから一定間隔ごとにデータを間引く画像間引き手段３４と、実撮影管理情報登録手段３５とを含む。
【００４６】
さらに、画像データ管理サブシステム４０は、画像撮影サブシステム２０による撮影計画を管理する撮影計画手段４１と、画像データ編集サブシステム３０により編集された収集画像データｄ１と収集画像属性情報ｄ２を取り込む撮影情報取り込み手段４２と、記憶装置５０に記録された情報から、指定された条件に適合した情報を抽出するデータ抽出手段４４と、記憶装置５０への情報の登録、記憶装置５０からの情報の削除、及び記憶装置５０の情報の印刷を行う管理手段４３を含む。
【００４７】
記憶装置５０は、地図リンクの情報を記録するグラフ構造データベース５１と、画像センサ２２の情報を記録するカメラ情報データベース５２と、撮影計画の情報を記録する計画・実撮影情報データベース５３と、撮影情報取り込み手段４２によって取り込まれた収集画像データｄ１及び収集画像属性情報ｄ２をそれぞれ記録する収集画像データベース５５及び収集画像属性情報データベース５６と、地図リンクごとに各データベースの情報を関連付ける管理情報を記録するリンク関連情報データベース５４とを含む。
【００４８】
画像撮影サブシステム２０、画像データ編集サブシステム３０、及び画像データ管理サブシステム４０の各サブシステム間のデータのやり取りは、ディスクなどの携帯型記憶媒体を介して行うものとするが、各サブシステムにデータ通信手段を設けて、有線または無線データ通信によって行うことができる。
【００４９】
（画像撮影サブシステム２０）
次に、画像撮影サブシステム２０の各手段について詳細に説明する。なお、ここでは、移動手段の例として車両２１をあげて説明するが、車両２１に限るものではない。
【００５０】
画像撮影サブシステム２０は、図１２に示したように、本発明の実施の形態で用いる地図リンクに沿った画像を撮影することを目的としたサブシステムである。
【００５１】
まず、画像データ収集手段２４は、画像センサ２２として車両２１に取り付けられた１台ないし同期をとった複数台のカメラを使って、地図リンクである道路を走行しながら画像を撮影する。この際、次に説明する位置情報との同期を取るため、ハイブリッド型位置センサ２３で検知される全地球無線測位システム（ＧＰＳ）から送信される時刻を、時系列で得られる各画像フレームに付与して、収集画像データｄ１として一時メモリ２６に記録していく。
【００５２】
なお、時刻は、検知したＧＰＳ時刻と画像撮影サブシステム２０が搭載されているコンピュータのクロックを利用し、１／１０００秒単位で各画像フレームに付与される。
【００５３】
次に、位置データ収集手段２５は、同じ車両２１に取り付けられたＧＰＳとその他のセンサ（ジャイロ・車速センサ）と組み合わせたハイブリッド型位置センサ２３を使って、ＧＰＳから得られる位置情報（座標）、時刻、車速センサから得られる車速情報、ジャイロから得られる加速度情報や方位情報を収集する。さらに、これらの情報にＧＰＳ時刻を付与して収集画像属性情報ｄ２として一時メモリ２６に記録していく。
【００５４】
位置データ収集手段２５に、ハイブリッド型位置センサ２３から得られる車速が０のときは、画像データ収集手段２４に対して画像データ収集を行わないように命令する処理を設けて、停止中の撮影をやめることもできる。これにより、信号や渋滞などで停止状態になった場合に、画像データの記録を一時停止し、データ収集容量を節約することができる。
【００５５】
収集された収集画像データｄ１と収集画像属性情報ｄ２は、図１６に示すように、それぞれ共通のＧＰＳ時刻を利用した時刻情報を付与しているため、付与された時刻を媒介として位置と画像を対応付けることができる。
【００５６】
また、撮影した画像を用いて後から計測を行いたい場合、たとえばステレオ画像計測や単写真による簡易計測等を行う場合は、実際に撮影されたカメラ情報、すなわちカメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報が画像とともに管理されており、参照できることが必要である。広域にわたる大量の画像を撮影する場合は、一つのカメラシステムだけでなく、複数のカメラシステムを利用する場合も生じるため、撮影に使用したカメラ情報も一元的に管理する必要が生じる。
【００５７】
このため、画像データ収集手段２４は、撮影計画情報ｄ０に含まれるどのカメラを利用して撮影したかの情報を同時に格納している。
【００５８】
また、カメラの方位は、車両２１に相対的なカメラの相対方位と車両２１方位から求めることができる。相対方位はあらかじめ計測しておくものとする。普通は画像データの収集周期の方が短いため、各画像フレームにおける位置・速度・方位などは前後の時刻の位置・速度・方位を内挿することによって得られる。つまり、ｄ１にはカメラ方位が含まれている。
【００５９】
一時メモリ２６に記録された収集画像データｄ１と収集画像属性情報ｄ２は、一次撮影情報インポートファイルｆ１として、ディスクなどの携帯型記憶媒体に出力して、次の画像データ編集サブシステム３０に入力される。
【００６０】
なお、位置データ収集手段２５は、後述する画像データ管理サブシステム４０の撮影計画手段４１によって後述する撮影情報エクスポートファイルｆ３として携帯型記憶媒体に出力された撮影計画情報ｄ０に含まれるリンクの形状及び情報を読み込み、ハイブリッド型位置センサ２３から得られる位置情報をコンピュータの画面に重畳表示する。これにより、作業者が収集対象のどの地図リンクのデータ収集を行ったかがわかる。
【００６１】
すなわち位置データ収集手段２５は、撮影情報エクスポートファイルｆ３に記憶されている撮影計画情報ｄ０（道路ネットワーク：リンクのＩＤ、リンクの座標、ノードの座標・・・、撮影計画リンクのＩＤ、道幅・・・）を読み、この情報に基づいてコンピュータ画面に撮影するリンクを色別表示する。つまり、どのリンクを撮影するかが分かる。また、撮影計画情報ｄ０に撮影済（実撮影キーＩＤ）が含まれている場合は、そのリンクは異なる色で表示して撮影させないことも可能である。
【００６２】
（画像データ編集サブシステム３０）
次に、画像データ編集サブシステム３０の各手段について詳細に説明する。
【００６３】
画像データ編集サブシステム３０は、図３に示したように、画像撮影サブシステム２０によって収集され、一次撮影情報インポートファイルｆ１として出力された収集画像データｄ２を、本発明の実施の形態で用いるために編集し、後述する画像データ管理サブシステム４０の撮影計画手段４１によって作成され、撮影情報エクスポートファイルｆ３として出力されたリンク情報の形状情報を用いて、道路ネットワークなどグラフ構造を持つ地図情報との関係付けを行い、最適化することを目的としたサブシステムである。
【００６４】
まず、地図データ表示手段３１は、図４に示すように、入力情報として、画像撮影サブシステム２０にから出力される一次撮影情報インポートファイルｆ１は後述する物理画像データベースと同じ構造を有する。一次情報インポートファイルｆ１を構成する収集画像属性情報ｄ２に含まれる時系列位置情報と、撮影情報エクスポートファイルｆ３に含まれる地図情報からリンク形状を表示する。時系列位置情報は点列として、またリンク形状は連続線分として表示される。
【００６５】
次に、画像データ表示手段３２は、図５に示すように、一次撮影情報インポートファイルｆ１の収集画像データｄ１を表示する。画像を表示すると、画像収集位置が地図データ表示手段３１で表示された地図の中に、記号（▼記号等）で表示される。また、画像データは時系列的に前後に順次表示を切り替えることができる。
【００６６】
次に、リンク始終点通過時刻登録手段３３は、地図データ表示手段３１により表示された図４に示す地図上でマウス選択したリンク、もしくは順次的に選択された選択中のリンクの始点および終点に対応する通過時刻を指定し、登録する。通過時刻は、一次撮影情報インポートファイルｆ１の収集画像属性情報ｄ２に含まれる時系列位置情報を用いて、その始点もしくは終点に対応する時系列位置の時刻から指定する方法と、一次撮影情報インポートファイルｆ１の収集画像データｄ１に付与された画像撮影時刻から指定する方法がある。リンクの始点および終点の通過時刻は、撮影日時、撮影に使用したカメラ情報キーＩＤ、および格納する画像の物理保管場所（ハードディスクのボリューム名など）等の各情報とともに撮影計画エクスポートファイルと同様の形式で実撮影結果情報ｄ３に保存される。
【００６７】
時系列位置から指定する方法には、リンクの始点もしくは終点に対応する時系列位置をマウス等で指定するマニュアル指定方法と、自動的に指定する自動指定方法がある。
【００６８】
自動指定方法では、リンクの始点もしくは終点に最も近い時系列位置を探索するということで達成される。自動車のナビゲーションシステムに使われているマップマッチング技術、すなわち位置だけでなく進行方向やスピードなどを勘案して自分の進んでいる経路に自動的に対応付ける技術を用いてもよい。この際は、必ずしも最も近い点を選択するとは限らない。
【００６９】
画像撮影時刻から指定する方法では、リンクの始点は終点の時刻に対応する収集画像データｄ１を画像表示画面に表示する。画像に撮影されている道路や交差点の様子を見て、オペレータが交差点などで位置がずれていると判断された場合は、時系列画面を操作することによって時系列的に前もしくは後の画像を表示させ、オペレータが判断した交差点の位置の画像の撮影時刻をリンクの始点もしくは終点の通過時刻として修正登録できる。
【００７０】
リンク始終点通過時刻登録手段３３で登録されたリンクの始点通過時刻が終点通過時刻よりも前の場合は、画像が該当のリンク上を始点から終点に向かって走行しながら撮影されたと判断される。逆に始点通過時刻が終点通過時刻よりも後の場合は、該当のリンク上を終点から始点に向かって走行しながら撮影された画像であると判断される。
【００７１】
リンク始終点通過時刻登録手段３３で登録されたリンクの始点および終点の通過時刻は、二次撮影情報インポートファイルｆ２に出力される。
【００７２】
最後に、画像間引き手段３４は、データ容量を少なくすることを目的として、一次撮影情報インポートファイルｆ１の収集画像データｄ１を移動距離などに応じて間引く。間引きの方法の一例として、図６に示すように、次のような方法がある。一つのフレームを起点に、起点フレームからｉ番目のフレームの距離を、各フレームごとに次の式で計算する。
【００７３】
〔数１〕
Ｌ［０］＝０．０；
Ｌ［ｉ］＝Ｌ［ｉ−１］ ＋ （ｖ［ｉ−１］＋ｖ［ｉ］）／２＊（ｔ［ｉ］−ｔ［ｉ−１］）；
ここで、ｖ［ｉ］：ｉ番目のフレームの速度（メートル／秒）
ｔ［ｉ］：ｉ番目のフレームの時刻（秒）
間引き間隔をｄとして、ｄのｎ倍（ｎは整数）に最も近い距離をＬ［ｊｎ］とする。ｊｎ以外のフレームは間引く。間引き後の画像フレームも時刻情報をつけておけば、データベースの他の部分に影響を与えず画像を間引くことができる。
【００７４】
例えば、時速１０ｋｍで走行する車から毎秒１５フレームで撮影する場合、１０ｋｍの区間で５４０００枚の画像が取得される。これを１ｍ置きに間引くとすると、１００００枚となり、データ量を５分の１以下に押させることができる。
【００７５】
このように、人間の視覚上問題のない程度まで画像フレーム数を間引くことで、データ量を削減することができ、保存するのに必要なメモリ量が少なく済むため、システムを安価にできる。さらに、画像表示処理すべきデータ量が少なければ、表示処理速度も向上し、コンピュータなどの表示装置の負担が軽減できる。
【００７６】
メモリの低価格化やコンピュータの処理能力向上によって、データ量を削減する必要がない場合には、画像間引き手段３４は、特に具備する必要はない。
【００７７】
実撮影管理情報登録手段３５は、後述する計画・実撮影情報データベースに登録する実撮影時の属性情報（撮影地区情報・作業実施者等）を入力し、実撮影管理情報ｄ４に格納する。
【００７８】
（画像データ管理サブシステム４０）
次に、画像データ管理サブシステム４０の各手段について詳細に説明する。
【００７９】
画像データ管理サブシステム４０は、図７に示したように、撮影すべき場所や撮影に使用する機材などの計画・進捗管理から、実際に撮影され、編集された収集画像データｄ１の管理、及び利用者の要求条件にあった収集画像データｄ１を切り出して提供するまでに必要なデータ群を一括管理することを目的としたサブシステムである。
【００８０】
まず、撮影計画手段４１は、図８に示すように、画面表示部４１１、リンク選択部４１２、カメラ情報入力部４１４、撮影計画情報入力部４１３、及び撮影情報エクスポートファイル作成部４１５から構成される。
【００８１】
画面表示部４１１は、記憶装置５０に記録されているグラフ構造データベース５１のノードおよびリンクをコンピュータの画面に表示する。
【００８２】
リンク選択部４１２は、画面表示部４１１によって表示されたリンクの内、撮影を計画するリンクを選択し、決定させる。リンクの選択方法としては、画面上のマウス操作による矩形領域指定、ポリゴン領域指定など位置による選択、道路幅や種別などグラフ構造情報に含まれる属性情報による選択、および位置と属性情報による複合選択がある。
【００８３】
例えば、ある市町村の県道を抽出する場合、県道のみを予め属性情報による選択で抽出しておき、その後に市町村境をポリゴン指定で指定すれば目的が達成される。
【００８４】
カメラ情報入力部４１４は、入力された撮影に用いるカメラの情報を、カメラ情報データベース５２として記憶装置５０に記録する。この際、自動または任意に指定したカメラ情報キーＩＤを付与して、個々のカメラ情報を識別できるようにする。
【００８５】
撮影計画情報入力部４１３は、撮影地区（リンク選択部４１２で選択されたリンク群）、撮影開始予定日、撮影作業者、使用するカメラのカメラ情報キーＩＤなど、入力された撮影計画の情報を計画・実撮影情報データベース５３として記憶装置５０に記録する。この際、自動または任意に指定した撮影計画キーＩＤを付与して、個々の撮影計画を識別できるようにする。
【００８６】
撮影計画を自動的に生成する場合は、作成日時とカメラ情報キーＩＤを組合せたものなどにしてＩＤの重複が起こらないようにする。
【００８７】
撮影情報エクスポートファイル作成部４１５は、リンク選択部４１２で選択されたリンクと撮影計画情報入力部４１３で入力された情報を組合せ、図５に示す形式でリンク関連情報として、記憶装置５０内のリンク関連情報データベース５４に記録する。この段階では、さらにリンク関連情報と、グラフ構造データベースに記録されたリンク形状を撮影情報エクスポートファイルｆ３として、携帯型記憶媒体に出力する。
【００８８】
次に、撮影情報取り込み手段４２は、図９に示すように、実撮影管理情報記録部４２１と画像データ記録部４２２からなる。
【００８９】
実撮影管理情報記録部４２１は、画像データ編集サブシステム３０から二次撮影情報インポートファイルｆ２として入力された、撮影時の撮影者などの実撮影管理情報ｄ４を、実撮影キーＩＤを付与して計画・実撮影情報データベース５３に記録する。
【００９０】
実撮影ＩＤは、撮影日時と使用したカメラ情報キーＩＤを組み合わせたものなどにして、ＩＤの重複が起こらないようにする。
【００９１】
さらに、撮影されたリンクに関する撮影情報、すなわち撮影日時、撮影に使用したカメラ情報キーＩＤ、リンクの始点および終点の通過時刻、および格納する画像の物理保管場所（ハードディスクのボリューム名など）等の各情報を格納した実撮影結果情報ｄ３を、撮影情報エクスポートファイル作成部４１５によってリンクキーＩＤごとに作成され保存されているリンク関連情報データベース５４の、該当するリンクキーＩＤの部分に更新する。
【００９２】
また、画像データ記録部４２２は、画像データ編集サブシステム３０から二次撮影情報インポートファイルｆ２として入力された収集画像データｄ１と収集画像属性情報ｄ２を、それぞれ収集画像データベース５５と収集画像属性情報データベース５６に記録する。
【００９３】
管理手段４３は、図１０に示すように、ネットワーク登録部４３１、印刷部４３２、メンテナンス部４３３から構成される。
【００９４】
ネットワーク登録部４３１は、外部で作成・配布される道路ネットワークデータを読み込んで、グラフ構造データベース５１に登録する。
【００９５】
印刷部４３２は、記憶装置５０に記録されている各データベースの情報をプリンタにて印刷する。
【００９６】
メンテナンス部４３３は、記憶装置５０に記録されている各データベースの定期的なバックアップを実施したり、不要データ（撮影を行わなくなった撮影計画情報等）の削除などを行う。また、撮影計画情報ｄ０と実撮影管理情報ｄ３が反映されているリンク関連情報データベース５４内の作業進捗コードを検索することで、撮影がどの程度進んでいるかを集計する。
【００９７】
最後に、データ抽出手段４４は、図１１に示すように、抽出条件入力部４４１、グラフ構造情報抽出部４４２、リンク関連情報抽出部４４３、収集画像データ抽出部４４４、及び収集画像属性情報抽出部５５４からなる。
【００９８】
抽出条件入力部４４１は、データベースから抽出するための条件を入力する。条件としては、位置的条件とリンク属性的条件と撮影属性条件がある。位置的条件には、画面上のマウス操作やファイル読み込みから得られることによる矩形領域やポリゴン領域等がある。
【００９９】
また、リンク属性的条件とは、道路幅や種別などグラフ構造情報に含まれる属性情報の指定がある。また、撮影属性条件は撮影日や撮影時間帯などの指定がある。
【０１００】
グラフ構造情報抽出部４４２は、上記で抽出されたリンクのＩＤに対応するリンクについて、グラフ構造データベース５１から抽出する。さらに、抽出条件入力部４４１で入力された撮影属性条件に適合するリンクの情報を抽出する。
【０１０１】
リンク関連情報抽出部４４３は、リンク関連情報データベース５４から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。
【０１０２】
収集画像データ抽出部４４４は、収集画像データベース５５から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。
【０１０３】
つまり、収集画像データ抽出部４４４は、収集画像データベースから上記で抽出された各リンク関連情報に記憶されている撮影年月日に、カメラ情報キーＩＤで撮影された画像を検索する。
【０１０４】
さらに、その中から、始点通過時刻と終点通過時刻の間に撮影された画像を抽出し、画像ファイルとして切り出し画像データ内の画像ファイルとして格納する。
【０１０５】
また、画像リンクＩＤ、撮影開始側のノードＩＤ、撮影車輌側のノードＩＤ、撮影順番を切り出し画像データ内の画像ファイル属性情報として格納する。
【０１０６】
収集画像属性情報抽出部４４５は、収集画像属性情報データベース５６から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。
【０１０７】
つまり、上記で抽出された画像ファイルに対応する画像取得座標、画像取得方位などの情報を抽出し、切り出し画像データ内の画像ファイル属性情報として格納する。
【０１０８】
以上によって切り出された情報は切り出し画像データｆ４として出力される。これには、画像ファイル・画像ファイル付属情報・リンクのグラフ構造が含まれる。
【０１０９】
なお、リンクの切り出しに当たっては、次の方法で切り出すことができる。
【０１１０】
・ 地理空間的な指定（地理メッシュや行政区域による切り出し）：コンピュータ画面インターフェース上のマウス指定もしくはマウスによる領域指定で、切り出すリンクを選択することができる。また、あらかじめ行政区域等の外周多角形内を登録しておき、ユーザが指定する区域に対応する外周多角形内のリンクを抽出してもよい。
【０１１１】
例えば、東京都の区市町村境をポリゴンとして別途作成しておき、それを外部ファイルとして磁気ディスク上に保存しておき、必要時にそのファイルを指定してポリゴンを読み出せば、マウスでポリゴン入力する代替として利用可能である。
【０１１２】
・リンク属性的条件の指定（道路種別・道路幅等）：撮影に必要なリンクの種別を指定し、グラフ構造データベース５１に格納されている情報を参照すれば、そのリンクの種別に該当するものを抽出することができる。
【０１１３】
・撮影属性的条件の指定：リンク関連情報データベース５４に含まれる撮影日・撮影時刻情報を参照することにより、画像の撮影時期を指定し、抽出することができる。
【０１１４】
一方、各リンクに対応する画像は、リンク関連情報データベース５４に記述されている情報に基づいて抽出される。すなわち、抽出するリンクのリンクキーＩＤに対応するレコードに記述されている記憶装置５０の保管場所に記録されている収集画像データベース５５から、カメラ情報キーＩＤに記述されているカメラで撮影し、且つ画像フレームについている時刻が始点通過時刻から終点通過時刻の間のものを抽出すればよい。
【０１１５】
切り出された画像データには、次のものを含むことが可能である。
【０１１６】
・画像ファイル
・画像ファイルの属性情報
・画像取得座標（各フレームの緯度経度）
・画像取得方位（画像中心の方位）
・ 画像取得リンクＩＤ（画像を撮影した道路中心線のＩＤリンク）
・ 撮影開始側のノードＩＤ
・ 撮影終了側のノードＩＤ
・ 撮影順番
・ 画像取得カメラ情報（撮影高等）
・リンクのグラフ構造
・ 各ノードＩＤについてそのノードに接続するリンクＩＤのリスト
（記憶装置５０内の各データベース）
つづいて、記憶装置５０内に記録される各データベースについて説明する。
【０１１７】
本発明の実施の形態で用いられるデータベースは、図１に示したように、大別すると、グラフ構造を持つ地物情報と撮影された画像の関係を管理する画像情報データベース５０ａと、実際に撮影した画像とその付属情報を格納する物理画像データベース５０ｂの２つのグループに分けられる。
【０１１８】
画像情報データベース５０ａには、グラフ構造を格納するグラフ構造データベース５１、撮影に使用するカメラ等撮影に付属的な情報を格納するカメラ情報データベース５２、撮影計画や実際に撮影したときの情報を格納する各リンクに対応する計画・実撮影情報データベース５３、リンクごとに上記の情報及び撮影された画像を関連付けるリンク関連情報データベース５４の４つが属する。
【０１１９】
グラフ構造データベース５１は、図１２に示すようなグラフ構造を持つ地物情報を格納するものである。地理情報として道路ネットワークを使用する場合は、グラフ構造のノードとして交差点、リンクとして交差点をつなぐ道路中心線が対応する。
【０１２０】
グラフ構造データベース５１内では、図１２に示すように、各ノードは地理座標によって定義され、ノードキーＩＤで識別される。各リンクは両端の地理座標（またはノードキーＩＤ）とリンクの形状によって定義され、リンクキーＩＤで識別される。なお、リンク（道路中心線）の両端はノード（交差点）につながっており、リンクの始点と終点の交差点を示すノードキーＩＤが各リンクに付与されている。これによって、ノードとリンクの接合関係、すなわちネットワーク構造が明らかになる。
つまり、グラフ構造データベース５１には、Ｙ字路や５差路以上の交差点、立体交差などがある複雑な道路ネットワークデータなどグラフ構造を地図情報と関連付けて記憶する。図１２においては、リンク情報とノード情報とを関連付けており、ノードが複数の場合は、ノード情報も複数関連つけられる。
【０１２１】
グラフ構造データベース５１内では、ノードやリンクには付属情報をつけることができる。たとえば、道路ネットワークの場合、交差点であれば交差点名、リンクであれば道路幅や規制情報（一方通行など）の情報を付与することができる。
【０１２２】
グラフ構造をもつネットワークは、道路、線路、水路、航路、管路等を含むものであり、路線ネットワークとも称する。
【０１２３】
次に、カメラ情報データベース５２には、図１３に示すように、撮影するカメラや搭載する車、カメラ高さなどの機器情報が格納され、カメラ情報キーＩＤで識別される。
【０１２４】
広域にわたる大量の画像を撮影する場合は、一つのカメラシステムだけでなく、複数のカメラシステムを利用する場合も生じるため、撮影に使用したカメラ情報も一元的に管理する必要が生じる。
【０１２５】
このため、カメラ情報データベース５２には、実際に撮影されたカメラ情報、すなわちカメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報が画像とともに管理して、参照できるようにしている（図１３参照）。
【０１２６】
計画・実撮影情報データベース５３には、図１４に示すように、各リンクに対応する撮影計画情報ｄ０や実撮影管理情報が記録される。すなわち、作業者、作業に使われたカメラのカメラ情報キーＩＤ,画像の撮影日などである。各撮影計画や実撮影管理情報は、それぞれ撮影計画キーＩＤ,実撮影キーＩＤで識別される。
【０１２７】
道路走行などによって撮影して収集する画像データの量は大量になるため、撮影システムとの連携が必要なってくる。特に、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を得られることが重要である。また、広域の画像を大量に収集する場合、複数の車両を用いて撮影作業を平行して行う必要がある。この際、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成し、それに従って画像を収集することが必要である。
【０１２８】
このため、あらかじめ広範囲にわたる撮影計画を立案し、大量に画像を収集し、地理情報と関連付けて画像データを管理しておくために、一貫した撮影計画、及び画像収集・管理を行うシステムが必要である。
【０１２９】
つまり、映像情報をあらかじめ広範囲かつ大量のデータを収集しておけば、利用者指定する範囲や位置に応じて、迅速に提供することができるというビジネスモデルが構築できる。また、新規に撮影する場合も、既に収集したデータと同様の管理を行えば、要求に応じて簡単に再利用することが可能となる。
【０１３０】
この計画によって、迅速性が要求される場合、要求を受け付けてから撮影が終了するまでは、データ提供を行うことができなかったが必要個所のみを撮影すればよいので、短時間にユーザの要望にこたえることができる。
【０１３１】
リンク関連情報データベース５４は、図１５に示すように、リンクキーＩＤ、撮影計画キーＩＤ、実撮影キーＩＤ、撮影状況を示す作業進捗コード（計画済み、撮影済、編集済、撮影不可等）、撮影日、撮影に使用したカメラ情報キーＩＤ、リンクの始点および終点の通過時刻、および格納する画像の物理保管場所（ハードディスクのボリューム名など）等の一連の情報を有するテーブル構造を持つ。
【０１３２】
もし、１箇所の地図情報と関連付けて管理できる画像は１種類のみであるならば、同じ道路の箇所に複数の種類の画像を関連付けて管理することができないか、種類ごとにデータベースを構築する必要がある。たとえば、見せる対象によっては、画像を撮影した季節や時間帯が重要になることがある。たとえば、観光ルートにおいて、春・夏・秋・冬の各シーズンに撮影した画像を格納する場合がある。
【０１３３】
このような場合でも、図１５に示すように、１つのリンクキーＩＤに対して複数の実撮影キーＩＤを関連付けているので前述の場合を解決できる。
【０１３４】
つまり、多次期、季節別の画像を管理するシステムとしては、時空間型地理情報システムがあるが、これはある時間断面におけるバージョンを表示するものである。そのため、たとえば複数年にわたって撮影した画像の中から特定の季節（たとえば秋）の画像のみをみることが可能になる。
【０１３５】
また、広い道路については、沿線を撮影するために往復走行することが必要となる場合があり、往復走行して得た画像について、道路に対しての走行方向を管理できるようになる。
【０１３６】
撮影計画後は、撮影が予定されるリンクに対して、リンクキーＩＤ，撮影計画キーＩＤ，使用が予定されるカメラ情報キーＩＤなど、実撮影に関連しない項目のみが設定されたレコードが記録される。この際、作業進捗コードは未撮影となる。
【０１３７】
撮影後は、実撮影キーＩＤ，撮影日時、撮影に使用したカメラ情報キーＩＤが格納され、作業進捗コードが更新される。
【０１３８】
つまり、リンク関連情報データベース５４は、図１５の斜線部に示すように、同じリンクキーＩＤを持つレコードを複数持つことができるテーブルになっている。このため、一つのリンクキーＩＤに対して複数の撮影結果を格納することが可能である。
【０１３９】
物理画像データベースには、図１６に示すように、収集画像データベース５５と収集画像属性情報データベース５６が属する。
【０１４０】
収集画像データベース５５は、実際に時系列的に撮影された一連の画像とともに、各画像の収集に使われた撮影カメラ情報（カメラ情報キーＩＤ）と、撮影年月日、撮影時刻も記録される。
【０１４１】
収集画像属性情報データベース５６は、撮影時の位置、撮影時の速度、撮影方向、撮影時刻（ＧＰＳ時刻）、撮影カメラなどの情報が格納される。
【０１４２】
収集画像データベース５５の情報と収集画像属性情報データベース５６の情報は、それぞれ時刻情報を持つので、その時刻情報によって、互いに関連付けられる。
【０１４３】
なお、本発明の実施の形態では、上記のデータベースを記憶する記憶装置５０を１台のみ図示しているが、記憶装置５０を１台に限定するものではない。物理画像データベース５０ｂは、大量の画像データを格納するために、画像情報データベース５０ａとは物理的に異なる記憶媒体に格納しても構わない。実際には、１００ギガバイト以上の大容量ハードディスクに分割して格納される。
【０１４４】
本発明の実施の形態におけるデータベース構造では、一つのリンクに対して複数時期の画像を同時に蓄積することができる。
【０１４５】
次に、本発明の実施の形態による地理情報関連付き画像データ管理システムにおける手順を図１８、図１９及び図２０のフローチャートを用いて説明する。
【０１４６】
（データの登録）
ステップＳ１００：画像データ管理サブシステム４０の管理手段４３によって、外部の道路ネットワークデータｆ０からリンク情報をグラフ構造データベース５１に登録する。
【０１４７】
（撮影計画）
ステップＳ１０１：画像データ管理サブシステム４０の撮影計画手段４１の画面表示部４１１によって、グラフ構造データベース５１のリンク情報から、リンクのグラフ構造を表示する。
【０１４８】
ステップＳ１０２：画像データ管理サブシステム４０の撮影計画手段４１のリンク選択部４１２によって、表示されたリンクのグラフ構造から、撮影対象とするリンクを選択する。
【０１４９】
ステップＳ１０３：画像データ管理サブシステム４０の撮影計画手段４１のカメラ情報入力部４１４によって、撮影に使用するカメラに関する情報をカメラ情報データベース５２に登録する。
【０１５０】
ステップＳ１０４：画像データ管理サブシステム４０の撮影計画手段４１の撮影計画情報入力部４１３によって、抽出した撮影対象リンクについて、撮影計画を立案し、計画・実撮影情報データベース５３に入力する。
【０１５１】
ステップＳ１０５：画像データ管理サブシステム４０の撮影計画手段４１の撮影情報エクスポートファイル作成部４１５によって、撮影計画情報ｄ０を撮影情報エクスポートファイルｆ３に出力する。
【０１５２】
（撮影実施）
ステップＳ１０６：画像撮影サブシステム２０に撮影情報エクスポートファイルｆ３の情報の中のリンク形状を読み込み、撮影すべきリンクを表示する。
【０１５３】
ステップＳ１０７：実際に移動手段（車両２１）によってリンクの道路を走行しながら、画像を撮影し、画像撮影サブシステム２０の画像データ収集手段２４によって、撮影時刻を付与した収集画像データｄ１を収集する。
【０１５４】
ステップＳ１０８：また、画像撮影サブシステム２０の位置データ収集手段２５によって、ＧＰＳ時刻を付与した収集画像属性情報ｄ２を収集する。
【０１５５】
ステップＳ１０９：画像撮影サブシステム２０は、収集画像データｄ１と収集画像属性情報ｄ２を実撮影結果情報とともに一次撮影情報インポートファイルｆ１に出力する。
【０１５６】
（画像データ編集）
ステップＳ１１０：画像データ編集サブシステム３０に、撮影情報エクスポートファイルｆ３と一次撮影情報インポートファイルｆ１を入力する。
【０１５７】
ステップＳ１１１：実撮影管理情報を登録する。
【０１５８】
ステップＳ１１２：画像データ編集サブシステム３０の地図データ表示手段３１によって、地図データを表示する。
【０１５９】
ステップＳ１１３：画像データ編集サブシステム３０の画像データ表示手段３２によって、地図データ上で指定したリンクについて収集された画像を表示する。
【０１６０】
ステップＳ１１４：表示された収集画像データｄ１や、その収集画像属性情報ｄ２から時刻情報を得て、画像データ編集サブシステム３０のリンク始終点通過時刻登録手段３３によって、該当リンクの始点と終点の通過時刻を記録する。
【０１６１】
ステップＳ１１５：さらに、画像データ編集サブシステム３０の画像間引き手段３４によって、必要に応じて、収集画像データｄ１から画像を間引き、データ量を削減する。
【０１６２】
ステップＳ１１６：編集を終えた情報を二次撮影情報インポートファイルｆ２に出力する。
【０１６３】
（情報記録・更新）
ステップＳ１１７：画像データ管理サブシステム４０に、二次撮影情報インポートファイルｆ２の情報を入力する。
【０１６４】
ステップＳ１１８：画像データ管理サブシステム４０の撮影情報取り込み手段４２によって、実撮影情報データを計画・実撮影情報データベース５３に記録する。
【０１６５】
ステップＳ１１９：画像データ管理サブシステム４０の撮影情報取り込み手段４２によって、リンク関連情報データベース５４の情報を更新する。
【０１６６】
（データ抽出）
ステップＳ１２０：画像データ管理サブシステム４０のデータ抽出手段４４によって、利用者の要求条件に従って、リンク関連情報データベース５４の情報を元に収集画像データベース５５からデータを抽出し、リンク情報とともに、切り出し画像データｆ４として出力する。
【０１６７】
（表示）
ステップＳ１２１：地理情報関連付き画像データ表示システム１００は、切り出し画像データｆ４と市販の地図データによって、地図と指定したリンク（道路）の周辺画像を表示する。
【０１６８】
切り出し画像データｆ４を表示するために、地理情報関連付き画像データ表示システム１００は、図１に示したように、地図表示手段１０１、撮影位置表示手段１０２、撮影画像表示手段１０３、経路探索連動手段１０４、画像検索手段１０５、及び地図データ１０８と切り出し画像データｆ４を格納する記憶装置１０６から構成されるのが好ましい。
【０１６９】
以上に説明した本発明の実施の形態による地理情報関連付き画像データ管理システムによって、前述した課題が解決される。
【０１７０】
すなわち、撮影サブシステムと連携していることで、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を管理することができる。
【０１７１】
また、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成できるので、その撮影計画に基づいて、複数の車両を用いて撮影作業を平行して行えるようになり、広域の画像を大量に収集することができる。
【０１７２】
カメラ情報データベースとして撮影に使用したカメラ情報（カメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報）を一元的に管理しているので、撮影した画像を用いて後から計測を行うことができる。
【０１７３】
リンク関連情報データベースのデータ構造により、実際に撮影した画像を、Ｙ字路や５差路以上の交差点、立体交差などがある複雑な道路ネットワークデータなどのグラフ構造を持つ地図情報と関連付けて管理することができる。
【０１７４】
また、同じリンクに複数の種類の画像を関連付けて管理することができるため、撮影した季節や時間帯が異なる画像を利用者の要求に合わせて提供できる。
【０１７５】
さらに、実際に画像データを利用者に提供する場合、広域にわたり撮影された画像データ全体から必要なデータを、次の条件を指定して切り出すことができる。
【０１７６】
・地理空間的な切り出し（地理メッシュや行政区域による切り出し）
・リンクの種別による切り出し（道路種別・道路幅等）
・画像の撮影時期による切り出し
本発明の実施の形態を説明するために各図において示した各サブシステムの手段や保持するデータの配置は、あくまでも例示であって、本発明の機能を実現するために限定したものでない。よって、本発明の機能が実現可能な範囲において、種々の処理手段の配置の組み合わせが考え得ることは言うまでもない。
【０１７７】
以下に本実施の形態の説明を補充する。
【０１７８】
データの管理を整合性を有してかつデータ量を少なくして一般的なパソコンでも撮影位置のパノラマ画像を表示可能な形式で管理している画像データ管理サブシステム４０について説明を補充する。
【０１７９】
この説明にあたっては、画像撮影サブシステム２０及び画像データ編集サブシステム３０で得られる一次撮影情報インポートファイルｆ１、二次撮影情報インポートファイルｆ２、切り出し画像データｆ４等について説明を補充する。
【０１８０】
実際に画像データを利用者に提供する場合、広域にわたり撮影された画像データ全体から必要なデータを切り出すことが必要である。切り出しの条件としては、次のことが選択できることが必要である。
【０１８１】
・ 地理空間的な切り出し（地理メッシュや行政区域による切り出し）
・ リンクの種別による切り出し（道路種別・道路幅等）
・ 画像の撮影時期による切り出し
さらに、大量の画像を管理する場合、画像の容量を少なくするために、画像を途中で間引いたり、画像サイズを小さくしたりする必要性が生じる。画像データを物理的に変換した場合も、画像データベースとして整合性を保つことが必要である。
【０１８２】
図１に示すように、一次撮影情報インポートファイルｆ１には撮影計画手段４１が生成した撮影計画が記憶される。
【０１８３】
映像情報をあらかじめ広範囲かつ大量のデータを収集しておけば、利用者指定する範囲や位置に応じて、迅速に提供することができるというビジネスモデルが構築できる。また、新規に撮影する場合も、既に収集したデータと同様の管理を行えば、要求に応じて簡単に再利用することが可能となる。
【０１８４】
更に、同じ箇所を１回の撮影だけでなく、複数の時期に撮影したものを利用することができれば、利用者の希望する状態の画像、たとえば季節や時刻などを指定した画像の提供が可能になる。たとえば、撮影年度の異なる画像が利用できれば、特定の地区の経年変化を調査することが可能となる。また、「桜の時期の画像がみたい」「紅葉時の画像がみたい」といった、街並みや観光道路などを利用者の見たい状態で見ることが可能となる。
【０１８５】
広い道路の場合は、走行路線に近い側の建物はよく映るが、対向車線側の建物はあまりよく映らない場合がある。すなわち、沿線の画像をよりよく表現するために往復撮影する必要が生じる。往復撮影した場合も、走行方向とともに上記複数時期撮影の場合と同様に管理すればよい。
【０１８６】
しかしながら、走行しながら一定時刻毎に画像を撮影した場合は、大量に画像を取得することになり、その結果大容量のデータベースが必要となる。
【０１８７】
また、地図上の道路から見た画像を速く得て、地図と連動表示させたいという要望がある場合は、例え広いエリアであっても敏速に画像を取得する必要がある。このような場合には、多数の車輌で撮影する場合もある。従って、同じ場所を撮影しないように撮影計画を立てることになる。
【０１８８】
（画像データ収集の課題）
つまり、無計画で道路走行や上空飛行によって撮影して収集する画像データの量は大量になるため、撮影システムとの連携が必要なってくる。特に、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を得られることが重要である。また、広域の画像を大量に収集する場合、複数の車両を用いて撮影作業を平行して行う必要がある。このため、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成し、それに従って画像を収集する。
【０１８９】
また、撮影した画像を用いて後から計測を行いたい場合、例えばステレオ画像計測や単写真による簡易計測等を行う場合は、実際に撮影されたカメラ情報、すなわちカメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報が画像とともに管理されており、参照できることが必要である。
【０１９０】
広域にわたる大量の画像を撮影する場合は、一つのカメラシステムだけではなく、複数のカメラシステムを利用する場合も生じるため、撮影に使用したカメラ情報も一元的に管理する必要が生じる。
【０１９１】
このため、画像データ管理サブシステム４０は、管理手段４３、撮影計画手段４１を備えている。
【０１９２】
撮影計画手段４１は、図８に示すように、画面表示部４１１とリンク選択部４１２と撮影計画情報入力部４１３とカメラ情報入力部４１４と撮影情報エクススポートファイルｆ３等を備える。
【０１９３】
図８の画面表示部４１１は、記憶装置５０に記録されている、指定されたエリアのグラフ構造（道路）のノードおよびリンクを全てコンピュータの画面に表示する。
【０１９４】
リンク選択部４１２は、画面表示部４１１によって表示されたリンクの内、撮影を計画するリンクを選択させて決定させる。リンクの選択方法としては、画面上のマウス操作による矩形領域指定、ポリゴン領域指定など位置による選択、道路幅や種別などグラフ構造情報に含まれる属性情報による選択、および位置と属性情報による複合選択がある。
【０１９５】
例えば、ある市町村の県道を抽出する場合、県道のみを予め属性情報による選択で抽出しておき、その後に市町村境をポリゴン指定で指定すれば目的が達成される。
【０１９６】
このとき、カメラ情報入力部４１４は、入力された撮影に用いるカメラの情報を、カメラ情報データベース５２として記憶装置５０に記録する。この際、自動または任意に指定したカメラ情報キーＩＤを付与して、個々のカメラ情報を識別できるようにする。
【０１９７】
撮影計画情報入力部４１３は、撮影地区（リンク選択部４１２で選択されたリンク群）、撮影開始予定日、撮影作業者、使用するカメラのカメラ情報キーＩＤなど、入力された撮影計画の情報を計画・実撮影情報データベース５３として記憶装置５０に記録する。この際、自動または任意に指定した撮影計画キーＩＤを付与して、個々の撮影計画を識別できるようにする。
【０１９８】
撮影計画を自動的に生成する場合は、作成日時とカメラ情報キーＩＤを組合せたものなどにしてＩＤの重複が起こらないようにする。
【０１９９】
一方、既に撮影が行われたリンク、ノードについては色を異ならせてコンピュータ画面に表示させている。
【０２００】
従って、コンピュータ画面を見てどのリンクが撮影されていいないかあるいは撮影の結果がわかる。
【０２０１】
撮影情報エクスポートファイル作成部４１５は、リンク選択部４１２で選択されたリンクと撮影計画情報入力部４１３で入力された情報を組合せ、リンク関連情報として、記憶装置５０内のリンク関連情報データベース５４に記録する。この段階では、さらにリンク関連情報と、グラフ構造データベースに記録されたリンク形状を撮影情報エクスポートファイルｆ３として、携帯型記憶媒体に出力する。
【０２０２】
すなわち、図１４に示す撮影計画情報ｄ０（撮影計画キーＩＤ、撮影地区情報（対象リンクキーＩＤ）、作業予定者、撮影予定カメラ情報キーＩＤ、撮影予定日等）が撮影情報エクスポートファイルｆ３として携帯型記憶媒体に出力する。撮影が終わっている場合は実撮影キーＩＤ、撮影結果を付加する。この撮影結果は、正常に撮影されたか否かを示す。
【０２０３】
一方、撮影情報取り込み手段４２は、図９に示すように、実撮影管理情報記録部４２１と画像データ記録部４２２からなる。
【０２０４】
実撮影管理情報記録部４２１は、画像データ編集サブシステム３０から二次撮影情報インポートファイルｆ２として入力された、撮影時の撮影者などの実撮影管理情報ｄ４（実撮影キーＩＤ、撮影地区情報（対象リンクキーＩＤ）、作業実施物、撮影実施カメラ情報キーＩＤ、撮影実施日、撮影結果等）を、実撮影キーＩＤを付与して計画・実撮影情報データベース５３に記録している。
【０２０５】
前述の二次インポートファイルｆ２は、各代表撮影地点の収集画像データｄ１、収集画像属性情報ｄ２、実撮影結果情報ｄ３、実撮影管理情報ｄ４等からなる。
【０２０６】
この二次撮影撮影情報インポートファイルｆ２に記憶される情報は画像データ編集サブシステム３０によって得られている。
【０２０７】
これらのファイルは画像表示システムによって用いられる。画像表示システムの概略を説明する。
【０２０８】
前段として、一次撮影情報インポートファイルｆ１、二次撮影情報インポートファイルｆ２、切り出し画像データｆ４等について説明を補充する。
【０２０９】
一次撮影情報インポートファイルｆ１には、時刻付きの画像収集データｄ１及び収集画像属性情報ｄ２が含まれている。この収集画像属性情報ｄ２は、ＧＰＳから得られる位置情報（座標）、車速センサから得られる車速情報、ジャイロから得られる加速度情報や方位情報、ＧＰＳの時刻等からなる。
【０２１０】
撮影位置表示手段１０２は、切り出しデータｆ４の収集画像属性情報ｄ２を読み込み、この時系列情報（画像取得座標）を、図２２に示すように記号（例えば丸印：以下撮影位置）でネットワークデータ上（道路）に表示することが可能である。
【０２１１】
このときの道路は、撮影情報エクスポートファイルｆ３に含まれる地図データのネットワークデータを用いている。
【０２１２】
図２３を用いて説明する。図２３（ａ）は、車が速くなったりおそくなったりしながら一定時間間隔で撮影されたとき撮影位置を示している。
【０２１３】
図２３（ｂ）は、このときの一次撮影情報インポートファイルｆ１に記憶されている一定間隔で撮影された収集画像データｄ１（撮影時刻付き）を距離軸（座標）に配列したことを示している。
【０２１４】
この配列は、図１の地図データ表示手段３１が例えば収集画像データｄ１の時刻を有する収集画像属性情報ｄ２の画像取得座標を読み込み、この画像取得座標を距離軸（Ｘ−Ｙ座標系で定義されたメモリ）に割付ける。
【０２１５】
このとき、画像間引き手段３４が関与している。
【０２１６】
画像間引き手段３４は、図２３（ｃ）に示すように、人間の視覚上問題のない程度の間引き間隔ｄ（距離：例えば１ｍ）を撮影開始点から順次、距離軸に設定し、この間引き間隔ｄ毎に、図２３（ｂ）の距離軸に対して垂線を引いたときに、収集画像データｄ１の画像取得座標（撮影位置）が存在するかどうかを判断し、存在する場合はその画像取得座標（撮影位置）を図２３（ｄ）に示すように距離軸に代表撮影地点（単純に撮影位置ともいう）として割付けると共に、この割付けられた画像取得座標（撮影位置）に関連する収集画像データｄ１及び収集画像属性情報ｄ２のみを抽出して二次撮影情報インポートファイルｆ２に記憶する。
【０２１７】
この抽出は例えば時刻をキーとして抽出する。すなわち、図２３（ｂ）の太線（代表撮影地点）の個所の収集画像データｄ１及び収集画像属性情報ｄ２のみが抽出される。
【０２１８】
一方、リンク始終点通過時刻登録手段３３は距離軸に代表撮影地点が定義されると、これらの代表撮影地点の位置情報を有する収集画像属性データｄ２の時刻を有する実撮影結果情報ｄ３を撮影情報エクスポートファイルｆ３から抽出して二次撮影情報インポートファイルｆ２に記憶することで得ている。
【０２１９】
そして、画像データ管理サブシステム４０は図１に示すように撮影情報取り込み手段４２を備え、この撮影情報取り込み手段４２は、実撮影管理情報記憶部４２１、画像データ記憶部４２２等を備え、実撮影管理情報記憶部４２１によって、代表撮影地点の画像取得座標（撮影位置）を有する収集画像属性データｄ２の時刻を有する実撮影管理情報ｄ４（撮影地区情報、作業実施者情報等）、各代表撮影地点の収集画像データｄ１、収集画像属性情報ｄ２、実撮影結果情報ｄ３等が取り込まれて画像情報データベースに記憶される。
【０２２０】
このとき、実撮影管理情報ｄ３に実撮影キーＩＤを付与して計画・実撮影情報データベース５３に記録する。
【０２２１】
さらに、画像データ記録部４２２は、二次撮影情報インポートファイルｆ２の収集画像データｄ１と収集画像属性情報ｄ２を、それぞれ収集画像データベース５５と収集画像属性情報データベース５６に記録する。また、実撮影管理情報ｄ４は計画・実撮影情報データベース５３に記憶される。
【０２２２】
さらに、図１に示すデータ抽出手段４４は、図１１に示すように、抽出条件入力部４４１、グラフ構造情報抽出部４４２、リンク関連情報抽出部４４３、収集画像データ抽出部４４４、及び収集画像属性情報抽出部５５４からなり、
抽出条件入力部４４１は、データベースから抽出するための条件を入力する。条件としては、位置的条件とリンク属性的条件と撮影属性条件がある。位置的条件は空間的な切り出し条件とも称し、画面上のマウス操作やファイル読み込みから得られるによる矩形領域やポリゴン領域等があり、この領域内の各種情報（画像ファイル、属性情報等）を切り出し画像データと称している。
【０２２３】
また、リンク属性的条件とは、道路幅や種別などグラフ構造情報に含まれる属性情報の指定がある。また、撮影属性条件は撮影日や撮影時間帯などの指定がある。
【０２２４】
グラフ構造情報抽出部４４２は、グラフ構造データベース５１から、抽出条件入力部４４１で入力された位置的条件及びリンク属性的条件に適合するリンクを抽出する。
【０２２５】
さらに、抽出されたリンクＩＤとその両端のノードＩＤを調べ、各ノードに接続するリンクＩＤをリストアップし、切り出し画像データのリンクのグラフ構造情報として格納する。
【０２２６】
リンク関連情報抽出部４４３は、上記で抽出されたリンクのＩＤに対応するリンクについて、リンク関連情報データベース５４から抽出する。さらに、その中から抽出条件入力部４４１で入力された撮影属性条件に適合するリンクの情報を抽出する。
【０２２７】
収集画像データ抽出部４４４は、収集画像データベース５５から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。
【０２２８】
収集画像データ抽出部４４４は、収集画像データベースから上記で抽出された各リンク関連情報に記憶されている撮影年月日に、カメラ情報キーＩＤで撮影された画像を検索する。さらにその中から、視点通過時刻と終点通過時刻の間に撮影された画像を抽出し、画像ファイルとして切り出し画像データ内の画像ファイルとして格納する。
【０２２９】
また、画像取得リンクＩＤ、撮影開始側のノードＩＤ、撮影集両側のノードＩＤ、撮影順番を切り出し画像データ内の画像ファイル属性情報として格納する。
【０２３０】
収集画像属性情報抽出部４４５は、収集画像属性情報データベース５６から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。
【０２３１】
つまり、上記で抽出された画像ファイルに対応する画像取得座標、画像取得方位などの情報を抽出し、切り出し画像データ内の画像ファイル属性情報画像ファイル属性として格納する。
【０２３２】
すなわち、データ抽出手段４４は切り出し条件（領域：エリア）の図２３（ｄ）に示す代表撮影地点に対応する全ての切り出し画像データｆ４（グラフ構造情報、リンク関連情報、画像ファイル、画像ファイル属性情報・・）を記憶装置１０６に記憶する（図２３（ｆ）参照）。
【０２３３】
前述のリンク関連情報は、図１５に示すように、リンクキーＩＤと撮影計画ＩＤと実撮影キーＩＤと作業進捗コードと撮影日とカメラ情報キーＩＤと始点通過時刻と終点通過時刻と保管場所などからなる。
【０２３４】
例えば、図１５（表示していずれかのレコードを選択させてもよい）においては、リンクキーＩＤが「１」「２」「３」「３」「４」「５」「６」となっており、一つのリンクに二種類の画像があることを示している（「３」が２つ）。
【０２３５】
また、リンクキーＩＤが「３」とされたレコードには、実撮影キーが「４」とされているものがある。これは、撮影年月日、時刻等が相違していることを示している。
【０２３６】
また、リンクキーＩＤが「５」のレコードに実撮影キーＩＤの欄が空白のものがある。これは未撮影を示す。
【０２３７】
すなわち、リンク関連情報データベースのテーブルを読み込めば、撮影されていないリンクがあるか、またはリンクに多数の画像があるかが分かる（例えば四季に応じて）。
【０２３８】
つまり、本実施の形態は、リンクに撮影日が異なる多数の画像があったとしてもリンクキーＩＤは一つである。
【０２３９】
前述のこの切り出し画像データｆ４を用いて以下に説明するようにして、地図、画像ファイルを地理情報関連付き画像データ表示システム１００が表示する。
【０２４０】
図２４は地理情報関連付き画像データ表示システム１００をより具体的にした構成図である。
【０２４１】
図２４に示すように、地理情報関連付き画像データ表示システム１００は、記憶装置１０６、地理表示手段１０１、撮影位置表示手段１０２、撮影画像表示手段１０３の他に、進行方向印表示手段１０７、地図上撮影方向表示手段１１０、注記データ・登録表示手段１０９等を備えている。
【０２４２】
前述の記憶装置１０６には地図データ１０８及び切り出し画像データｆ４の他に注記データ関連情報ｆ６等が記憶されている。
【０２４３】
この注記データ関連情報ｆ６は注記データ・登録表示手段１０９によって予め登録しておくことが好ましい。
【０２４４】
前述の地図データ１０８は、階層構造にされているのが好ましい。例えば背景地図の界、ネットワーク情報の界、注記データの界、地図記号データの界等の階層構造とされている。そして、注記データは、地物の名称であり、この名称が注記データの界の座標に関連付けられている。
【０２４５】
さらに、記憶装置１０６には切り出し条件の領域内の複数の切り出し画像データｆ４が記憶されている。これらの切り出し画像データｆ４にはＩＤコードが付与されているのが好ましい。また、より具体的には、図２５に示すデータの構成となっている。
【０２４６】
さらに、物理画像データベースは、より具体的には図２６に示すデータ構成となっている。
【０２４７】
地理表示手段１０１は、切り出し条件の領域が入力されると、この領域内の背景地図、ネットワーク情報、注記データ、地図記号を重ね表示する。このとき、ネットワークデータの道路の近傍の注記データのみを抽出して表示させてもよい。
【０２４８】
注記データ・登録表示手段１０９は、図２７に示すように、注記データをコンピュータ画面の画像に表示する機能を有している。
【０２４９】
この注記データの表示を実現させるために注記データ・登録表示手段１０９は、地図データの注記データの座標（例えば注記データの中央の文字の座標）から一定距離内に存在する画像取得座標を検索し、これらの画像取得座標のうちで、注記データに最も近い画像取得座標を検索する。そして、この画像取得座標を有する切り出し画像データのＩＤを、その注記データ及び注記データの座標等と共に注記データ関連情報ｆ６として記憶装置１０６に予め登録する。
【０２５０】
例えば、図２８（ａ）に示すように、ネットワークデータｆ０が道路の場合に、画像取得座標がＧａ、Ｇｂ・・・と存在し、注記データがＣａ、Ｃｂ・・・と存在する場合は、注記データＣａ、Ｇｂ・・・の座標に最も近い距離にある画像取得座標を有する切り出し画像データを順次検索する。そして、検索した切り出し画像データの画像取得座標から注記データの座標に対する方位を、それぞれ求める。この方位はカメラ中心から何度θｋになるかで示す。
【０２５１】
そして、注記データ、Ｇｂ・・・毎に、最も近い画像取得座標を有する切り出し画像データのＩＤを対応させると共に、方位θｋ及び画像取得座標等を対応させる（図２８（ｂ））。
【０２５２】
このＩＤにリンク付けされている画像ファイルの画像は、３６０度のパノラマ画像であり、カメラ中心に対応する画像の中心位置はカメラ中心（０度）である。このカメラ中心からθｋの方位で、目線の高さとなる位置に注記データの画像上の座標を求める。つまり、注記データを表示させるための界（Ｘ−Ｙ座標系：パノラマ画像の座標系に対応する）を定義したメモリを備え、このメモリ上の注記データの座標（画像上の注記データ表示位置という）を定義する。
【０２５３】
すなわち、注記データ関連情報ｆ６は、近接の切り出し画像データのＩＤと注記データ表示位置と方向（θｋ）と注記データの文字等からなる。
【０２５４】
地理情報手段１０１は、入力された切り出し条件の領域に対応する地図データを記憶装置１０６から読み出して、コンピュータ画面に表示する。この地図データは、背景地図、ネットワーク情報（何故地図データに必要か）、注記データ、地図記号データ等からなる。
【０２５５】
撮影位置表示手段１０２は、記憶装置１０６に保存されている全ての切り出し画像データｆ４の画像取得座標を抽出し、この座標に対応する画面の地図上の位置（例えば道路）に画像取得座標（撮影位置）を示す記号（撮影位置記号という）を表示させる（図２７を参照）。
【０２５６】
すなわち、切り出し条件の領域に存在する全ての撮影位置記号が表示されることになるからオペレータは、地図上のどこに画像があるかを一目で判断できる。
【０２５７】
そして、これらの撮影位置記号のいずれかをオペレータがマウス等で指定すると、撮影位置表示手段１０２は、その指定された撮影位置記号を別の記号で表示する（例えば十字、二重丸、異なる色）。
【０２５８】
地図上撮影方向表示手段１１０は、画面の地図上の撮影位置記号が指定されると、この撮影位置記号に対応する座標を有するリンク情報（リンク、交差点ＩＤ、座標、接続リンクＩＤ等）を記憶装置１０６から検索し、検索したリンク情報に交差点ＩＤが含まれているかどうかを判定する。
【０２５９】
交差点ＩＤが含まれている場合は、交差点と判定する。交差点と判定した場合は、交差点ＩＤに関連付けられている接続リンクＩＤを読み込むと共に、撮影位置記号に対応する画像取得座標に関連付けられている画像取得方位（カメラの中心軸方向の方位）を読み込む。
【０２６０】
そして、交差点の座標から検索した接続リンクＩＤのリンクの始点から終点を読み込み、交差点に接続する全てのリンクの方位Ｈｉ（３差路又は４差路、・・）を求め、これらの方位に従って、リンクに矢印を表示する（図２２参照）。
【０２６１】
一方、撮影画像表示手段１０３は、コンピュータ画面の撮影位置記号が選択されると、この撮影位置記号の画像取得座標を有する切り出し画像データの画像ファイルを抽出し、この画像ファイルからオペレータが入力した表示範囲の画像を画面に表示する。
【０２６２】
前述の切り出し画像データの画像ファイルは、３６０度のパノラマ画像である。このため、オペレータは、例えば撮影方向を中心として左右５０度程度の表示範囲を指定する。
【０２６３】
この表示範囲の画像ファイルの画像をコンピュータ画面に表示すると共に、表示範囲及び撮影方向を地図上撮影方向表示手段１１０に知らせる。
【０２６４】
地図上撮影方向表示手段１１０は、撮影方向と表示範囲が知らせられると、コンピュータ画面の地図上の画像取得座標（撮影位置）から撮影方向を中心として表示範囲（撮影方向から左右５０度）の角度方向にポリゴンを生成し、このポリゴンをコンピュータ画面の画像に重ね表示させる（図２２参照）。
【０２６５】
また、進行方向印表示手段１０７は、交差点からの撮影方向の撮影範囲に含まれる接続リンク（道路）の方位を求める。
【０２６６】
この接続リンクの方位は、角度で定義される。例えば、図２９（ａ）に示すように、撮影方位をカメラ中心（０度）にした場合は、カメラ中心から道路ｋａの中心線の方位はθｐであり、道路ｋｂの中心線の方位はθｉで定義できる。
【０２６７】
このθｐの方位とθｉの方位を表示範囲の中心（０度）から定め、目線の位置当たりとなる画面上の位置に三角形のポリゴン（透けている）を三次元的に表示する（図２９（ｃ））。
【０２６８】
このポリゴンが選択すると、その選択方向の道路の撮影位置の画像ファイルを撮影画像表示手段１０３が順次抽出して表示範囲に従って表示する。
【０２６９】
一方、注記データ登録・表示手段１０９は、指定の注記（○○マンション、○○病院、○○市役所・・）を読み、画像取得座標（撮影位置）にきたときに、この撮影位置から一定距離内の最も近い注記データを地図データから抽出する。画像取得座標にきたときとは、画像のスクロールボタン又は再生ボタンが押されている間は、画像ファイルの画像を１コマ毎にカウントする（例えば１カウント当たり１ｍ）。このカウント値に対応する取得座標に関連する画像ファイルを引き当てて表示する。
【０２７０】
次に、抽出した注記データをコンピュータ画面の画像に表示する。
【０２７１】
この注記データの表示は、コンピュータ画面の道路上の撮影位置記号が撮影位置に移動してきたとき、この画像取得座標（撮影位置）を有する注記データ関連情報ｆ６を引当る。そして、引き当てた注記データ関連情報ｆ６の注記データ表示位置及び方向に従ってコンピュータ画面上に注記データの文字列を表示する（図２７参照）。
【０２７２】
従って、コンピュータ画面を見ているだけで、目的のものを直ぐに見つけることができる。
【０２７３】
＜他の実施の形態＞
本実施の形態は、道路を走行しながら街並みを撮影した場合は、顔、ナンバープレート等のプライバシィーに関する画像も写る。
【０２７４】
本実施の形態は、プライバシィーに関する画像については、判別ができないようにした切り出し画像ｆ４で提供する。
【０２７５】
図３０は他の実施の形態の概略構成図である。図３０においては図１と同様な部分については説明を省略し、またプライバシィーに関する画像は顔として説明する。
【０２７６】
本実施の形態は画像加工サブシステム６０を備え、画像加工サブシステム６０は顔位置矩形範囲特定手段１３０と顔位置矩形範囲加工手段１３１等を備えている。
【０２７７】
つまり、プライバシーを考慮することを目的として、画像内の顔が写っている部分を特定し、顔が判別できないように画像を加工する画像加工サブシステムを有する。
【０２７８】
図３１は画像加工サブシステム６０の詳細構成図である。図３１に示すように、顔位置矩形範囲特定手段１３０は、画像読み込み手段１３０ａと矩形範囲抽出手段１３０ｂを備えている。
【０２７９】
顔位置矩形範囲加工手段１３１は、画像読み込み手段１３１ａと局所フィルタ処理１３１ｂと画像格納手段１３１ｃとを備えている。
【０２８０】
顔位置矩形範囲特定手段１３１の画像読み込み手段１３０ａは、切り出し画像データｆ４に含まれる画像ファイルの各々を読み込み、顔がある位置を特定する。具体的な特定方法としては、画像ファイルをコンピュータのモニター上に表示し、オペレータがマウスクリックなどによって顔が含まれる位置を画像上の矩形範囲で指定するマニュアル処理による方法、もしくは顔認識ソフトウェアで画像ファイルを処理し、顔が含まれる矩形範囲を自動的に抽出する自動処理による方法のいずれかもしくは両方を利用する。
【０２８１】
矩形範囲は、矩形範囲の左上座標と矩形サイズの組み合わせで表現され、複数の顔画像が存在する場合は、矩形範囲抽出手段１３０ｂによって矩形範囲も複数抽出される。
【０２８２】
次に、顔位置矩形範囲加工手段１３１は、前記で特定した矩形範囲１３２について、局所的に画像を加工する手段である。具体的には、切り出し画像データｆ４に含まれる画像ファイルの各々を画像読み込み手段１３１ａが読み込み、ガウスフィルタなど画像をぼかす局所フィルタ処理１３１ｂを上記矩形範囲１３２に対して加工し、画像格納手段１３１ｃが加工した結果を切り出し画像データｆ４に含まれる画像ファイルに格納する。
【０２８３】
なお、画像データ管理サブシステムは、画像データを配布もしくはインターネット経由で配信する場合、人間の顔などの肖像権に関するプライバシーを考慮することを目的として、画像を加工する画像加工サブシステムを含んでもよい。
【図面の簡単な説明】
【０２８４】
【図１】地図情報関連付け画像データ管理システムと表示システムの構成図である。
【図２】画像撮影サブシステムの構成図である。
【図３】画像データ編集サブシステムの構成図である。
【図４】地図データ表示手段により表示される地図である。
【図５】画像データ表示手段路面により表示される画像である。
【図６】画像間引き手段による画像間引きの方法を示す図である。
【図７】画像データ管理サブシステムの構成図である。
【図８】撮影計画手段の構成図である。
【図９】撮影情報取り込み手段の構成図である。
【図１０】管理手段の構成図である。
【図１１】データ抽出手段の構成図である。
【図１２】グラフ構造データベースの構造図である。
【図１３】カメラ情報データベースの構造図である。
【図１４】計画・実撮影情報データベースの構造図である。
【図１５】リンク関連情報データベースの構造図である。
【図１６】物理画像データベースの構造図である。
【図１７】グラフ構造を持つ地物を示す図である。
【図１８】実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。
【図１９】実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。
【図２０】実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。
【図２１】実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。
【図２２】撮影位置及び対応する画像同時表示する説明図である。
【図２３】本実施の形態の間引きと、撮影位置の表示、切り出しデータの登録の説明図である。
【図２４】地理情報関連付き画像表示システム１００をより具体的にした構成図である。
【図２５】切り出し画像データのより具体的な構成を説明する説明図である。
【図２６】物理データベースのより具体的な構成を説明する説明図である。
【図２７】地図情報関連付け画像表示システムの注記オーバレイ表示の説明図である。
【図２８】注記データの画像への表示を説明する説明図である。
【図２９】進行方向表示手段を説明する説明図である。
【図３０】他の実施の形態の地理情報関連付き画像データ管理システムの概略構成図である。
【図３１】画像加工サブシステムの詳細構成図である。
【符号の説明】
【０２８５】
１０ 地理座標関連付き画像データ管理システム
２０ 画像撮影サブシステム
２１ 車両（移動手段）
２２ 画像センサ
２３ ハイブリッド型位置センサ
２４ 画像データ収集手段
２５ 位置データ収集手段
３０ 画像データ編集サブシステム
３１ 地図データ表示手段
３２ 画像データ表示手段
３３ リンク始終点通過時刻登録手段
３４ 画像間引き手段
４０ 画像データ管理サブシステム
４１ 撮影計画手段
４２ 撮影情報取り込み手段
４３ 管理手段
４４ データ抽出手段
５０ 記憶装置
５０ａ 画像情報データベース
５０ｂ 物理画像データベース
５１ グラフ構造データベース
５２ カメラ情報データベース
５３ 計画・実撮影情報データベース
５４ リンク関連情報データベース
５５ 収集画像データベース
５６ 収集画像属性情報データベース
１００ 地理情報関連付き画像データ表示システム
１０１ 地図表示手段
１０２ 撮影位置表示手段
１０３ 撮影画像表示手段
１０４ 経路探索連動手段
１０５ 画像検索手段
１０６ 記憶装置
１０８ 地図データ
ｄ０ 撮影計画情報
ｄ１ 収集画像データ
ｄ２ 収集画像属性情報
ｄ３ 実撮影結果情報
ｆ１ 一次撮影情報インポートファイル
ｆ２ 二次撮影情報インポートファイル
ｆ３ 撮影情報エクスポートファイル
ｆ４ 切り出し画像データ
【技術分野】
【０００１】
本発明は、地理的環境を把握するための画像データを、たとえば道路走行や上空飛行によって撮影して収集し、必要な地理的範囲や画像の解像度・画像データ量に応じて抽出・加工し、地理座標と関連付けて空間的および時間的に管理し、地図と連動させて表示させるためのデータを得る地理座標関連付き画像データ管理システムに関するものである。
【背景技術】
【０００２】
情報技術の高度化および大容量通信網の整備に伴い、インターネット、カーナビゲーション、携帯電話などの表示媒体において写真や動画像などの大容量データベースが容易に扱えるようになった。
【０００３】
これに伴い、地理情報システム（ＧＩＳ）やインターネット上での地図検索サイトにおいて、地理属性として画像を利用することで、実際の風景をデフォルメなく正確に利用者に伝えるニーズが多くなってきている。
【０００４】
特定の道路から撮影した街並み映像を撮影し、道路や河川の維持管理に使用する技術は開発されている（例えば、特許文献１参照）。
【０００５】
この技術では、道路等線上の地物で得られた画像は、道路中心線など１次元的な地物の上に、その地物上に指定された始点からの距離と関連付けて管理される。
【０００６】
また、実際に撮影した画像ではなく、人工的に作成されたＣＧ画像を、部分的にグラフ構造を持つ道路と関連させて管理する技術もある（例えば、特許文献２参照）。最近では、実際の画像を表示する技術が開発されている（例えば、特許文献３参照）。
【特許文献１】特許３０９９１０３号公報
【特許文献２】特開平６−８３９３７号公報
【特許文献３】特開２００５−３７５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
（データの整合を有して管理すること、データ量を低減させること）
本発明では、基本的にユーザが指定した範囲について撮影を行い、ファイルの容量を低減した地理座標関連付き画像データとしてユーザに提供可能すると共に、画像がどんな種類からを一元的に管理したシステムを得ることを主目的とするものである。
【０００８】
例えば、道路から見た町の景観（樹木、道路、建物等）は、年月に応じて変化したりする。
【０００９】
また、画像は一つの経路において、進行方向で撮影したときの画像や逆方向から撮影したときの画像を必要とする場合もある。
【００１０】
さらに、撮影を短時間で終わらせるために、異なる車輌で異なるカメラで撮影する場合もある。
【００１１】
また、撮影したカメラ、ＧＰＳ、ＩＮＳの性能と地図の座標系の多少の相違等によって、カメラで撮影した画像の撮影位置とが相違する場合もある。
【００１２】
しかしながら、上記の引用文献はリンクのＩＤに画像を関連させて管理するものであるので、リンクのＩＤだけでは画像が一つの経路内でことなる時期で撮影されたものか、逆方向から撮影されたものか或いは撮影位置に正しく関連付けられた画像であるかがコンピュータ判断できない。このため、オペレータが希望の画像を表示させるには様々なパラメータを入力する必要があったので手間がかかるという課題（問題点）があった。
【００１３】
一方、上記の特許文献３は、実際に撮影した撮影地点の画像をデータベースに登録して、これを地図上の撮影地点と連動表示しているが、撮影地点に対応させて画像を登録しているのでデータベースの容量を大幅に消費する。このため、低容量のデータベースを有する一般的なパソコンには不向きであった。
【００１４】
従って、一つの経路においても、経年的な画像（カメラで撮影したもの）、又は異なるカメラで撮影された画像であっても或いは双方向の画像を正しい撮影位置に関連させて一元的に管理できると共に、一般的なパソコンでもこれらの画像を登録して表示させることができるシステムが望まれていた。
【００１５】
また、経路が複数存在する場合に、無計画で撮影した場合は時間もコストもかかり、かつデータベースの容量も大容量になる。
【００１６】
複数のカメラで別々の経路を撮影した場合や、画像が必要ない経路もあったり、あまり時間がたっていない場合には同じ経路を撮影する必要がない。すなわち、撮影計画を効率良く立てておくのが時間とコストとデータベースの容量を低減させることになる。
【００１７】
つまり、地図の撮影位置に対応した画像を迅速に要求された場合は撮影計画がしっかりしていないと、要求を受け付けてから撮影が終了するまでは、画像の提供を敏速に行うことができない。
【００１８】
さらに、カメラ、ＧＰＳ、ＩＮＳ等の性能等によって、撮影地点の座標と地図の座標とが相違する場合もある。
【００１９】
本願発明は、カメラ、ＧＰＳ、ＩＮＳ等の性能に多少の相違があっても正確に撮影位置を地図上に定義し、かつ経年的、双方向、カメラを相違させて画像を取得したとしても、データベースの容量を低減できると共に、これらの画像の状況が直ぐにわかる管理形態で一元的に管理して容易に提供できるシステムを得ることを目的とする。
【００２０】
つまり、
（画像データ収集の課題）
道路走行や上空飛行によって撮影して収集する画像データの量は大量になるため、撮影システムとの連携が必要なってくる。特に、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を得られることが重要である。また、広域の画像を大量に収集する場合、複数の車両を用いて撮影作業を平行して行う必要がある。この際、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成し、それに従って画像を収集することが必要である。
【００２１】
本発明では、基本的にユーザが指定した範囲について撮影を行い、地理座標関連付き画像データとしてユーザに提供することを主目的とするものである。そのため、迅速性が要求される場合、要求を受け付けてから撮影が終了するまでは、データ提供を行うことができないという問題がある。
【００２２】
そこで、あらかじめ広範囲にわたる撮影計画を立案し、大量に画像を収集し、地理情報と関連付けて画像データを管理しておくために、一貫した撮影計画、及び画像収集・管理を行うシステムが必要である。
【００２３】
（画像データ収集の課題）
道路走行や上空飛行によって撮影して収集する画像データの量は大量になるため、撮影システムとの連携が必要なってくる。特に、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を得られることが重要である。また、広域の画像を大量に収集する場合、複数の車両を用いて撮影作業を平行して行う必要がある。この際、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成し、それに従って画像を収集することが必要である。
【００２４】
また、撮影した画像を用いて後から計測を行いたい場合、たとえばステレオ画像計測や単写真による簡易計測等を行う場合は、実際に撮影されたカメラ情報、すなわちカメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報が画像とともに管理されており、参照できることが必要である。広域にわたる大量の画像を撮影する場合は、一つのカメラシステムだけでなく、複数のカメラシステムを利用する場合も生じるため、撮影に使用したカメラ情報も一元的に管理する必要が生じる。
【００２５】
（画像データ管理の課題）
上記の特許文献に開示されている技術では、実際に撮影した画像を、既存の地図データ、特に図１に示すような、Ｙ字路や５差路以上の交差点、立体交差などがある複雑な道路ネットワークデータなどグラフ構造を持つ地図情報と関連付けて管理する。
【００２６】
また、１箇所の地図情報と関連付けて管理できる画像は１種類のみであるため、同じ道路の箇所に複数の種類の画像を関連付けて管理し、種類ごとにデータベースを構築する。
【００２７】
たとえば、見せる対象によっては、画像を撮影した季節や時間帯が重要になることがある。たとえば、観光ルートにおいて、春・夏・秋・冬の各シーズンに撮影した画像を格納する。
【００２８】
多次期、季節別の画像を管理するシステムとしては、時空間型地理情報システムがあるが、これはある時間断面におけるバージョンを表示するものである。そのため、たとえば複数年にわたって撮影した画像の中から特定の季節（たとえば秋）の画像のみをみるということを可能とする。
【００２９】
また、広い道路については、沿線を撮影するために往復走行することが必要となる場合があり、往復走行して得た画像について、道路に対しての走行方向を管理できることを可能とする。
【００３０】
実際に画像データを利用者に提供する場合、広域にわたり撮影された画像データ全体から必要なデータを切り出すことが必要である。切り出しの条件としては、次のことが選択できることが必要である。
【００３１】
・ 地理空間的な切り出し（地理メッシュや行政区域による切り出し）
・ リンクの種別による切り出し（道路種別・道路幅等）
・ 画像の撮影時期による切り出し
さらに、大量の画像を管理する場合、画像の容量を少なくするために、画像を途中で間引いたり、画像サイズを小さくしたりする必要性が生じる。画像データを物理的に変換した場合も、画像データベースとして整合性を保つ。
【００３２】
（画像データ表示の課題）
画像の検索では、大規模なデータベースの中では大量の画像ファイルの中から探索するため、高速な検索方法が必要となる。既存の地理情報と組み合わせて利用することが可能とするため、たとえば任意の点（たとえばビル）を選んだとき、その周辺の検索し、その画像の進行方向を基点に方位角を計算、対象となるビルを前面に表示できることが必要である。
【００３３】
さらに、高度な画像の検索方法として、場所による検索だけでなく、画像のもつ意味的な検索が行える、すなわち写っている対象の内容による検索が必要である。
【課題を解決するための手段】
【００３４】
本発明の地理座標関連付き画像データ管理システムは、移動手段に、画像センサを固定し、地図の路線ネットワークに基づいて前記移動手段の移動と共に前記画像センサで撮影した画像データを一定時間毎に収集し、これを前記路線ネットワークに関連付けて管理する地図情報関連付け画像データ管理システムにおいて、
リンク構造の前記路線ネットワークを記憶するグラフ構造データベースと、前記画像センサの情報を記録するカメラ情報データベースと、前記移動手段による前記路線ネットワークの撮影計画の情報及び前記路線ネットワークを実際に撮影した実撮影情報を記録する計画・実撮影情報データベースと、前記画像センサによって取り込まれた前記一定時間毎日の周辺画像データ及び該画像の撮影位置座標を座標計測時刻とともに収集画像属性情報として記録する集画像・属性情報データベースと含む記憶装置と、前記撮影時刻及び前記座標計測時刻から前記地図リンクの始点及び終点の通過時刻を記録するリンク始終点通過時刻登録手段と、一定の走行距離を基準にして前記一定時間毎に収集された複数の周辺画像データから前記一定の走行距離毎の画像のみを抽出して他の画像データを間引き、データ容量を低減させる画像間引き手段を含む画像データ編集サブシステムと、前記路線ネットワークごとに各データベースの各情報を撮影時刻及び該各情報に付与したそれぞれのＩＤコードで関連付けた管理情報を備えた管理手段と、前記路線ネットワークのＩＤ及び前記撮影時刻が入力されたとき、このＩＤ、撮影時刻を含む前記管理情報を引当て、該引き当てた管理情報に関連付けられている前記各データベースの各情報を前記記憶装置から出力するデータ抽出手段とを含む画像データ管理サブシステムとを備えたことを要旨とする。
【発明の効果】
【００３５】
本発明によれば、広範囲にわたる撮影計画を立案し、大量に画像を収集し、地理情報と関連付けて画像データを管理しておくために、一貫した撮影計画、及び画像収集・管理を行うことができる。
【００３６】
また、道路などの地図情報と画像を関連付けることで、場所を表す地理属性として画像を用いることで、現地のリアルな状況を利用者に視覚的に伝えることができる。
【００３７】
さらに、季節や時間帯が異なる複数の画像を１箇所の地図情報と関連付けて管理できるため、利用者が必要とする時期や時間の状況に最も近い画像を提供することができる。
【発明を実施するための最良の形態】
【００３８】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。
【００３９】
本発明の実施の形態による地理座標関連付き画像データ管理システム１０は、図１に示すように、画像撮影サブシステム２０、画像データ編集サブシステム３０、画像データ管理サブシステム４０、及び画像データ管理サブシステム４０に接続された記憶装置５０等から構成される。
【００４０】
まず、画像撮影サブシステム２０は、画像センサ２２を接続し、地図リンクに沿った周辺環境を撮影した画像を撮影時刻とともに収集画像データｄ１として収集する画像データ収集手段２４と、ハイブリッド型位置センサ２３を接続し、画像の撮影位置座標を座標計測時刻とともに収集画像属性情報ｄ２として収集する位置データ収集手段２５とを搭載した移動手段を含む。
【００４１】
ここで地図リンクとは、たとえば、図１７に示したグラフ構造を持つ２点間（１つの交差点から次の交差点まで）の道路をいう。便宜上、１点を始点、もう１点を終点と記すが、始点から終点というリンクの方向性を意味するものではない。
【００４２】
前述のグラフ構造は、道路ネットワークとも称し、図１７に示すような、交差点をノード・交差点間の道路中心線を示す連続線分をリンクとするネットワーク構造であり、走行軌跡パターン、道路の形状、幅等を含む。
【００４３】
図１７においては、交差点としてＴ字もしくは十字の他に、Ｙ字路や５差路を含んで示されている。
【００４４】
また、移動手段とは、地図リンクに沿って飛行して上空から撮影するための航空機や、地図リンクの道路を走行する車両２１をいう。
【００４５】
つづいて、画像データ編集サブシステム３０は、地図リンクを表示する地図データ表示手段３１と、画像データ収集手段２４によって収集した画像データを表示する画像データ表示手段３２と、撮影時刻及び座標計測時刻（ＧＰＳ時刻）から地図リンクの始点及び終点の通過時刻を記録するリンク始終点通過時刻登録手段３３と、画像データから一定間隔ごとにデータを間引く画像間引き手段３４と、実撮影管理情報登録手段３５とを含む。
【００４６】
さらに、画像データ管理サブシステム４０は、画像撮影サブシステム２０による撮影計画を管理する撮影計画手段４１と、画像データ編集サブシステム３０により編集された収集画像データｄ１と収集画像属性情報ｄ２を取り込む撮影情報取り込み手段４２と、記憶装置５０に記録された情報から、指定された条件に適合した情報を抽出するデータ抽出手段４４と、記憶装置５０への情報の登録、記憶装置５０からの情報の削除、及び記憶装置５０の情報の印刷を行う管理手段４３を含む。
【００４７】
記憶装置５０は、地図リンクの情報を記録するグラフ構造データベース５１と、画像センサ２２の情報を記録するカメラ情報データベース５２と、撮影計画の情報を記録する計画・実撮影情報データベース５３と、撮影情報取り込み手段４２によって取り込まれた収集画像データｄ１及び収集画像属性情報ｄ２をそれぞれ記録する収集画像データベース５５及び収集画像属性情報データベース５６と、地図リンクごとに各データベースの情報を関連付ける管理情報を記録するリンク関連情報データベース５４とを含む。
【００４８】
画像撮影サブシステム２０、画像データ編集サブシステム３０、及び画像データ管理サブシステム４０の各サブシステム間のデータのやり取りは、ディスクなどの携帯型記憶媒体を介して行うものとするが、各サブシステムにデータ通信手段を設けて、有線または無線データ通信によって行うことができる。
【００４９】
（画像撮影サブシステム２０）
次に、画像撮影サブシステム２０の各手段について詳細に説明する。なお、ここでは、移動手段の例として車両２１をあげて説明するが、車両２１に限るものではない。
【００５０】
画像撮影サブシステム２０は、図１２に示したように、本発明の実施の形態で用いる地図リンクに沿った画像を撮影することを目的としたサブシステムである。
【００５１】
まず、画像データ収集手段２４は、画像センサ２２として車両２１に取り付けられた１台ないし同期をとった複数台のカメラを使って、地図リンクである道路を走行しながら画像を撮影する。この際、次に説明する位置情報との同期を取るため、ハイブリッド型位置センサ２３で検知される全地球無線測位システム（ＧＰＳ）から送信される時刻を、時系列で得られる各画像フレームに付与して、収集画像データｄ１として一時メモリ２６に記録していく。
【００５２】
なお、時刻は、検知したＧＰＳ時刻と画像撮影サブシステム２０が搭載されているコンピュータのクロックを利用し、１／１０００秒単位で各画像フレームに付与される。
【００５３】
次に、位置データ収集手段２５は、同じ車両２１に取り付けられたＧＰＳとその他のセンサ（ジャイロ・車速センサ）と組み合わせたハイブリッド型位置センサ２３を使って、ＧＰＳから得られる位置情報（座標）、時刻、車速センサから得られる車速情報、ジャイロから得られる加速度情報や方位情報を収集する。さらに、これらの情報にＧＰＳ時刻を付与して収集画像属性情報ｄ２として一時メモリ２６に記録していく。
【００５４】
位置データ収集手段２５に、ハイブリッド型位置センサ２３から得られる車速が０のときは、画像データ収集手段２４に対して画像データ収集を行わないように命令する処理を設けて、停止中の撮影をやめることもできる。これにより、信号や渋滞などで停止状態になった場合に、画像データの記録を一時停止し、データ収集容量を節約することができる。
【００５５】
収集された収集画像データｄ１と収集画像属性情報ｄ２は、図１６に示すように、それぞれ共通のＧＰＳ時刻を利用した時刻情報を付与しているため、付与された時刻を媒介として位置と画像を対応付けることができる。
【００５６】
また、撮影した画像を用いて後から計測を行いたい場合、たとえばステレオ画像計測や単写真による簡易計測等を行う場合は、実際に撮影されたカメラ情報、すなわちカメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報が画像とともに管理されており、参照できることが必要である。広域にわたる大量の画像を撮影する場合は、一つのカメラシステムだけでなく、複数のカメラシステムを利用する場合も生じるため、撮影に使用したカメラ情報も一元的に管理する必要が生じる。
【００５７】
このため、画像データ収集手段２４は、撮影計画情報ｄ０に含まれるどのカメラを利用して撮影したかの情報を同時に格納している。
【００５８】
また、カメラの方位は、車両２１に相対的なカメラの相対方位と車両２１方位から求めることができる。相対方位はあらかじめ計測しておくものとする。普通は画像データの収集周期の方が短いため、各画像フレームにおける位置・速度・方位などは前後の時刻の位置・速度・方位を内挿することによって得られる。つまり、ｄ１にはカメラ方位が含まれている。
【００５９】
一時メモリ２６に記録された収集画像データｄ１と収集画像属性情報ｄ２は、一次撮影情報インポートファイルｆ１として、ディスクなどの携帯型記憶媒体に出力して、次の画像データ編集サブシステム３０に入力される。
【００６０】
なお、位置データ収集手段２５は、後述する画像データ管理サブシステム４０の撮影計画手段４１によって後述する撮影情報エクスポートファイルｆ３として携帯型記憶媒体に出力された撮影計画情報ｄ０に含まれるリンクの形状及び情報を読み込み、ハイブリッド型位置センサ２３から得られる位置情報をコンピュータの画面に重畳表示する。これにより、作業者が収集対象のどの地図リンクのデータ収集を行ったかがわかる。
【００６１】
すなわち位置データ収集手段２５は、撮影情報エクスポートファイルｆ３に記憶されている撮影計画情報ｄ０（道路ネットワーク：リンクのＩＤ、リンクの座標、ノードの座標・・・、撮影計画リンクのＩＤ、道幅・・・）を読み、この情報に基づいてコンピュータ画面に撮影するリンクを色別表示する。つまり、どのリンクを撮影するかが分かる。また、撮影計画情報ｄ０に撮影済（実撮影キーＩＤ）が含まれている場合は、そのリンクは異なる色で表示して撮影させないことも可能である。
【００６２】
（画像データ編集サブシステム３０）
次に、画像データ編集サブシステム３０の各手段について詳細に説明する。
【００６３】
画像データ編集サブシステム３０は、図３に示したように、画像撮影サブシステム２０によって収集され、一次撮影情報インポートファイルｆ１として出力された収集画像データｄ２を、本発明の実施の形態で用いるために編集し、後述する画像データ管理サブシステム４０の撮影計画手段４１によって作成され、撮影情報エクスポートファイルｆ３として出力されたリンク情報の形状情報を用いて、道路ネットワークなどグラフ構造を持つ地図情報との関係付けを行い、最適化することを目的としたサブシステムである。
【００６４】
まず、地図データ表示手段３１は、図４に示すように、入力情報として、画像撮影サブシステム２０にから出力される一次撮影情報インポートファイルｆ１は後述する物理画像データベースと同じ構造を有する。一次情報インポートファイルｆ１を構成する収集画像属性情報ｄ２に含まれる時系列位置情報と、撮影情報エクスポートファイルｆ３に含まれる地図情報からリンク形状を表示する。時系列位置情報は点列として、またリンク形状は連続線分として表示される。
【００６５】
次に、画像データ表示手段３２は、図５に示すように、一次撮影情報インポートファイルｆ１の収集画像データｄ１を表示する。画像を表示すると、画像収集位置が地図データ表示手段３１で表示された地図の中に、記号（▼記号等）で表示される。また、画像データは時系列的に前後に順次表示を切り替えることができる。
【００６６】
次に、リンク始終点通過時刻登録手段３３は、地図データ表示手段３１により表示された図４に示す地図上でマウス選択したリンク、もしくは順次的に選択された選択中のリンクの始点および終点に対応する通過時刻を指定し、登録する。通過時刻は、一次撮影情報インポートファイルｆ１の収集画像属性情報ｄ２に含まれる時系列位置情報を用いて、その始点もしくは終点に対応する時系列位置の時刻から指定する方法と、一次撮影情報インポートファイルｆ１の収集画像データｄ１に付与された画像撮影時刻から指定する方法がある。リンクの始点および終点の通過時刻は、撮影日時、撮影に使用したカメラ情報キーＩＤ、および格納する画像の物理保管場所（ハードディスクのボリューム名など）等の各情報とともに撮影計画エクスポートファイルと同様の形式で実撮影結果情報ｄ３に保存される。
【００６７】
時系列位置から指定する方法には、リンクの始点もしくは終点に対応する時系列位置をマウス等で指定するマニュアル指定方法と、自動的に指定する自動指定方法がある。
【００６８】
自動指定方法では、リンクの始点もしくは終点に最も近い時系列位置を探索するということで達成される。自動車のナビゲーションシステムに使われているマップマッチング技術、すなわち位置だけでなく進行方向やスピードなどを勘案して自分の進んでいる経路に自動的に対応付ける技術を用いてもよい。この際は、必ずしも最も近い点を選択するとは限らない。
【００６９】
画像撮影時刻から指定する方法では、リンクの始点は終点の時刻に対応する収集画像データｄ１を画像表示画面に表示する。画像に撮影されている道路や交差点の様子を見て、オペレータが交差点などで位置がずれていると判断された場合は、時系列画面を操作することによって時系列的に前もしくは後の画像を表示させ、オペレータが判断した交差点の位置の画像の撮影時刻をリンクの始点もしくは終点の通過時刻として修正登録できる。
【００７０】
リンク始終点通過時刻登録手段３３で登録されたリンクの始点通過時刻が終点通過時刻よりも前の場合は、画像が該当のリンク上を始点から終点に向かって走行しながら撮影されたと判断される。逆に始点通過時刻が終点通過時刻よりも後の場合は、該当のリンク上を終点から始点に向かって走行しながら撮影された画像であると判断される。
【００７１】
リンク始終点通過時刻登録手段３３で登録されたリンクの始点および終点の通過時刻は、二次撮影情報インポートファイルｆ２に出力される。
【００７２】
最後に、画像間引き手段３４は、データ容量を少なくすることを目的として、一次撮影情報インポートファイルｆ１の収集画像データｄ１を移動距離などに応じて間引く。間引きの方法の一例として、図６に示すように、次のような方法がある。一つのフレームを起点に、起点フレームからｉ番目のフレームの距離を、各フレームごとに次の式で計算する。
【００７３】
〔数１〕
Ｌ［０］＝０．０；
Ｌ［ｉ］＝Ｌ［ｉ−１］ ＋ （ｖ［ｉ−１］＋ｖ［ｉ］）／２＊（ｔ［ｉ］−ｔ［ｉ−１］）；
ここで、ｖ［ｉ］：ｉ番目のフレームの速度（メートル／秒）
ｔ［ｉ］：ｉ番目のフレームの時刻（秒）
間引き間隔をｄとして、ｄのｎ倍（ｎは整数）に最も近い距離をＬ［ｊｎ］とする。ｊｎ以外のフレームは間引く。間引き後の画像フレームも時刻情報をつけておけば、データベースの他の部分に影響を与えず画像を間引くことができる。
【００７４】
例えば、時速１０ｋｍで走行する車から毎秒１５フレームで撮影する場合、１０ｋｍの区間で５４０００枚の画像が取得される。これを１ｍ置きに間引くとすると、１００００枚となり、データ量を５分の１以下に押させることができる。
【００７５】
このように、人間の視覚上問題のない程度まで画像フレーム数を間引くことで、データ量を削減することができ、保存するのに必要なメモリ量が少なく済むため、システムを安価にできる。さらに、画像表示処理すべきデータ量が少なければ、表示処理速度も向上し、コンピュータなどの表示装置の負担が軽減できる。
【００７６】
メモリの低価格化やコンピュータの処理能力向上によって、データ量を削減する必要がない場合には、画像間引き手段３４は、特に具備する必要はない。
【００７７】
実撮影管理情報登録手段３５は、後述する計画・実撮影情報データベースに登録する実撮影時の属性情報（撮影地区情報・作業実施者等）を入力し、実撮影管理情報ｄ４に格納する。
【００７８】
（画像データ管理サブシステム４０）
次に、画像データ管理サブシステム４０の各手段について詳細に説明する。
【００７９】
画像データ管理サブシステム４０は、図７に示したように、撮影すべき場所や撮影に使用する機材などの計画・進捗管理から、実際に撮影され、編集された収集画像データｄ１の管理、及び利用者の要求条件にあった収集画像データｄ１を切り出して提供するまでに必要なデータ群を一括管理することを目的としたサブシステムである。
【００８０】
まず、撮影計画手段４１は、図８に示すように、画面表示部４１１、リンク選択部４１２、カメラ情報入力部４１４、撮影計画情報入力部４１３、及び撮影情報エクスポートファイル作成部４１５から構成される。
【００８１】
画面表示部４１１は、記憶装置５０に記録されているグラフ構造データベース５１のノードおよびリンクをコンピュータの画面に表示する。
【００８２】
リンク選択部４１２は、画面表示部４１１によって表示されたリンクの内、撮影を計画するリンクを選択し、決定させる。リンクの選択方法としては、画面上のマウス操作による矩形領域指定、ポリゴン領域指定など位置による選択、道路幅や種別などグラフ構造情報に含まれる属性情報による選択、および位置と属性情報による複合選択がある。
【００８３】
例えば、ある市町村の県道を抽出する場合、県道のみを予め属性情報による選択で抽出しておき、その後に市町村境をポリゴン指定で指定すれば目的が達成される。
【００８４】
カメラ情報入力部４１４は、入力された撮影に用いるカメラの情報を、カメラ情報データベース５２として記憶装置５０に記録する。この際、自動または任意に指定したカメラ情報キーＩＤを付与して、個々のカメラ情報を識別できるようにする。
【００８５】
撮影計画情報入力部４１３は、撮影地区（リンク選択部４１２で選択されたリンク群）、撮影開始予定日、撮影作業者、使用するカメラのカメラ情報キーＩＤなど、入力された撮影計画の情報を計画・実撮影情報データベース５３として記憶装置５０に記録する。この際、自動または任意に指定した撮影計画キーＩＤを付与して、個々の撮影計画を識別できるようにする。
【００８６】
撮影計画を自動的に生成する場合は、作成日時とカメラ情報キーＩＤを組合せたものなどにしてＩＤの重複が起こらないようにする。
【００８７】
撮影情報エクスポートファイル作成部４１５は、リンク選択部４１２で選択されたリンクと撮影計画情報入力部４１３で入力された情報を組合せ、図５に示す形式でリンク関連情報として、記憶装置５０内のリンク関連情報データベース５４に記録する。この段階では、さらにリンク関連情報と、グラフ構造データベースに記録されたリンク形状を撮影情報エクスポートファイルｆ３として、携帯型記憶媒体に出力する。
【００８８】
次に、撮影情報取り込み手段４２は、図９に示すように、実撮影管理情報記録部４２１と画像データ記録部４２２からなる。
【００８９】
実撮影管理情報記録部４２１は、画像データ編集サブシステム３０から二次撮影情報インポートファイルｆ２として入力された、撮影時の撮影者などの実撮影管理情報ｄ４を、実撮影キーＩＤを付与して計画・実撮影情報データベース５３に記録する。
【００９０】
実撮影ＩＤは、撮影日時と使用したカメラ情報キーＩＤを組み合わせたものなどにして、ＩＤの重複が起こらないようにする。
【００９１】
さらに、撮影されたリンクに関する撮影情報、すなわち撮影日時、撮影に使用したカメラ情報キーＩＤ、リンクの始点および終点の通過時刻、および格納する画像の物理保管場所（ハードディスクのボリューム名など）等の各情報を格納した実撮影結果情報ｄ３を、撮影情報エクスポートファイル作成部４１５によってリンクキーＩＤごとに作成され保存されているリンク関連情報データベース５４の、該当するリンクキーＩＤの部分に更新する。
【００９２】
また、画像データ記録部４２２は、画像データ編集サブシステム３０から二次撮影情報インポートファイルｆ２として入力された収集画像データｄ１と収集画像属性情報ｄ２を、それぞれ収集画像データベース５５と収集画像属性情報データベース５６に記録する。
【００９３】
管理手段４３は、図１０に示すように、ネットワーク登録部４３１、印刷部４３２、メンテナンス部４３３から構成される。
【００９４】
ネットワーク登録部４３１は、外部で作成・配布される道路ネットワークデータを読み込んで、グラフ構造データベース５１に登録する。
【００９５】
印刷部４３２は、記憶装置５０に記録されている各データベースの情報をプリンタにて印刷する。
【００９６】
メンテナンス部４３３は、記憶装置５０に記録されている各データベースの定期的なバックアップを実施したり、不要データ（撮影を行わなくなった撮影計画情報等）の削除などを行う。また、撮影計画情報ｄ０と実撮影管理情報ｄ３が反映されているリンク関連情報データベース５４内の作業進捗コードを検索することで、撮影がどの程度進んでいるかを集計する。
【００９７】
最後に、データ抽出手段４４は、図１１に示すように、抽出条件入力部４４１、グラフ構造情報抽出部４４２、リンク関連情報抽出部４４３、収集画像データ抽出部４４４、及び収集画像属性情報抽出部５５４からなる。
【００９８】
抽出条件入力部４４１は、データベースから抽出するための条件を入力する。条件としては、位置的条件とリンク属性的条件と撮影属性条件がある。位置的条件には、画面上のマウス操作やファイル読み込みから得られることによる矩形領域やポリゴン領域等がある。
【００９９】
また、リンク属性的条件とは、道路幅や種別などグラフ構造情報に含まれる属性情報の指定がある。また、撮影属性条件は撮影日や撮影時間帯などの指定がある。
【０１００】
グラフ構造情報抽出部４４２は、上記で抽出されたリンクのＩＤに対応するリンクについて、グラフ構造データベース５１から抽出する。さらに、抽出条件入力部４４１で入力された撮影属性条件に適合するリンクの情報を抽出する。
【０１０１】
リンク関連情報抽出部４４３は、リンク関連情報データベース５４から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。
【０１０２】
収集画像データ抽出部４４４は、収集画像データベース５５から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。
【０１０３】
つまり、収集画像データ抽出部４４４は、収集画像データベースから上記で抽出された各リンク関連情報に記憶されている撮影年月日に、カメラ情報キーＩＤで撮影された画像を検索する。
【０１０４】
さらに、その中から、始点通過時刻と終点通過時刻の間に撮影された画像を抽出し、画像ファイルとして切り出し画像データ内の画像ファイルとして格納する。
【０１０５】
また、画像リンクＩＤ、撮影開始側のノードＩＤ、撮影車輌側のノードＩＤ、撮影順番を切り出し画像データ内の画像ファイル属性情報として格納する。
【０１０６】
収集画像属性情報抽出部４４５は、収集画像属性情報データベース５６から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。
【０１０７】
つまり、上記で抽出された画像ファイルに対応する画像取得座標、画像取得方位などの情報を抽出し、切り出し画像データ内の画像ファイル属性情報として格納する。
【０１０８】
以上によって切り出された情報は切り出し画像データｆ４として出力される。これには、画像ファイル・画像ファイル付属情報・リンクのグラフ構造が含まれる。
【０１０９】
なお、リンクの切り出しに当たっては、次の方法で切り出すことができる。
【０１１０】
・ 地理空間的な指定（地理メッシュや行政区域による切り出し）：コンピュータ画面インターフェース上のマウス指定もしくはマウスによる領域指定で、切り出すリンクを選択することができる。また、あらかじめ行政区域等の外周多角形内を登録しておき、ユーザが指定する区域に対応する外周多角形内のリンクを抽出してもよい。
【０１１１】
例えば、東京都の区市町村境をポリゴンとして別途作成しておき、それを外部ファイルとして磁気ディスク上に保存しておき、必要時にそのファイルを指定してポリゴンを読み出せば、マウスでポリゴン入力する代替として利用可能である。
【０１１２】
・リンク属性的条件の指定（道路種別・道路幅等）：撮影に必要なリンクの種別を指定し、グラフ構造データベース５１に格納されている情報を参照すれば、そのリンクの種別に該当するものを抽出することができる。
【０１１３】
・撮影属性的条件の指定：リンク関連情報データベース５４に含まれる撮影日・撮影時刻情報を参照することにより、画像の撮影時期を指定し、抽出することができる。
【０１１４】
一方、各リンクに対応する画像は、リンク関連情報データベース５４に記述されている情報に基づいて抽出される。すなわち、抽出するリンクのリンクキーＩＤに対応するレコードに記述されている記憶装置５０の保管場所に記録されている収集画像データベース５５から、カメラ情報キーＩＤに記述されているカメラで撮影し、且つ画像フレームについている時刻が始点通過時刻から終点通過時刻の間のものを抽出すればよい。
【０１１５】
切り出された画像データには、次のものを含むことが可能である。
【０１１６】
・画像ファイル
・画像ファイルの属性情報
・画像取得座標（各フレームの緯度経度）
・画像取得方位（画像中心の方位）
・ 画像取得リンクＩＤ（画像を撮影した道路中心線のＩＤリンク）
・ 撮影開始側のノードＩＤ
・ 撮影終了側のノードＩＤ
・ 撮影順番
・ 画像取得カメラ情報（撮影高等）
・リンクのグラフ構造
・ 各ノードＩＤについてそのノードに接続するリンクＩＤのリスト
（記憶装置５０内の各データベース）
つづいて、記憶装置５０内に記録される各データベースについて説明する。
【０１１７】
本発明の実施の形態で用いられるデータベースは、図１に示したように、大別すると、グラフ構造を持つ地物情報と撮影された画像の関係を管理する画像情報データベース５０ａと、実際に撮影した画像とその付属情報を格納する物理画像データベース５０ｂの２つのグループに分けられる。
【０１１８】
画像情報データベース５０ａには、グラフ構造を格納するグラフ構造データベース５１、撮影に使用するカメラ等撮影に付属的な情報を格納するカメラ情報データベース５２、撮影計画や実際に撮影したときの情報を格納する各リンクに対応する計画・実撮影情報データベース５３、リンクごとに上記の情報及び撮影された画像を関連付けるリンク関連情報データベース５４の４つが属する。
【０１１９】
グラフ構造データベース５１は、図１２に示すようなグラフ構造を持つ地物情報を格納するものである。地理情報として道路ネットワークを使用する場合は、グラフ構造のノードとして交差点、リンクとして交差点をつなぐ道路中心線が対応する。
【０１２０】
グラフ構造データベース５１内では、図１２に示すように、各ノードは地理座標によって定義され、ノードキーＩＤで識別される。各リンクは両端の地理座標（またはノードキーＩＤ）とリンクの形状によって定義され、リンクキーＩＤで識別される。なお、リンク（道路中心線）の両端はノード（交差点）につながっており、リンクの始点と終点の交差点を示すノードキーＩＤが各リンクに付与されている。これによって、ノードとリンクの接合関係、すなわちネットワーク構造が明らかになる。
つまり、グラフ構造データベース５１には、Ｙ字路や５差路以上の交差点、立体交差などがある複雑な道路ネットワークデータなどグラフ構造を地図情報と関連付けて記憶する。図１２においては、リンク情報とノード情報とを関連付けており、ノードが複数の場合は、ノード情報も複数関連つけられる。
【０１２１】
グラフ構造データベース５１内では、ノードやリンクには付属情報をつけることができる。たとえば、道路ネットワークの場合、交差点であれば交差点名、リンクであれば道路幅や規制情報（一方通行など）の情報を付与することができる。
【０１２２】
グラフ構造をもつネットワークは、道路、線路、水路、航路、管路等を含むものであり、路線ネットワークとも称する。
【０１２３】
次に、カメラ情報データベース５２には、図１３に示すように、撮影するカメラや搭載する車、カメラ高さなどの機器情報が格納され、カメラ情報キーＩＤで識別される。
【０１２４】
広域にわたる大量の画像を撮影する場合は、一つのカメラシステムだけでなく、複数のカメラシステムを利用する場合も生じるため、撮影に使用したカメラ情報も一元的に管理する必要が生じる。
【０１２５】
このため、カメラ情報データベース５２には、実際に撮影されたカメラ情報、すなわちカメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報が画像とともに管理して、参照できるようにしている（図１３参照）。
【０１２６】
計画・実撮影情報データベース５３には、図１４に示すように、各リンクに対応する撮影計画情報ｄ０や実撮影管理情報が記録される。すなわち、作業者、作業に使われたカメラのカメラ情報キーＩＤ,画像の撮影日などである。各撮影計画や実撮影管理情報は、それぞれ撮影計画キーＩＤ,実撮影キーＩＤで識別される。
【０１２７】
道路走行などによって撮影して収集する画像データの量は大量になるため、撮影システムとの連携が必要なってくる。特に、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を得られることが重要である。また、広域の画像を大量に収集する場合、複数の車両を用いて撮影作業を平行して行う必要がある。この際、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成し、それに従って画像を収集することが必要である。
【０１２８】
このため、あらかじめ広範囲にわたる撮影計画を立案し、大量に画像を収集し、地理情報と関連付けて画像データを管理しておくために、一貫した撮影計画、及び画像収集・管理を行うシステムが必要である。
【０１２９】
つまり、映像情報をあらかじめ広範囲かつ大量のデータを収集しておけば、利用者指定する範囲や位置に応じて、迅速に提供することができるというビジネスモデルが構築できる。また、新規に撮影する場合も、既に収集したデータと同様の管理を行えば、要求に応じて簡単に再利用することが可能となる。
【０１３０】
この計画によって、迅速性が要求される場合、要求を受け付けてから撮影が終了するまでは、データ提供を行うことができなかったが必要個所のみを撮影すればよいので、短時間にユーザの要望にこたえることができる。
【０１３１】
リンク関連情報データベース５４は、図１５に示すように、リンクキーＩＤ、撮影計画キーＩＤ、実撮影キーＩＤ、撮影状況を示す作業進捗コード（計画済み、撮影済、編集済、撮影不可等）、撮影日、撮影に使用したカメラ情報キーＩＤ、リンクの始点および終点の通過時刻、および格納する画像の物理保管場所（ハードディスクのボリューム名など）等の一連の情報を有するテーブル構造を持つ。
【０１３２】
もし、１箇所の地図情報と関連付けて管理できる画像は１種類のみであるならば、同じ道路の箇所に複数の種類の画像を関連付けて管理することができないか、種類ごとにデータベースを構築する必要がある。たとえば、見せる対象によっては、画像を撮影した季節や時間帯が重要になることがある。たとえば、観光ルートにおいて、春・夏・秋・冬の各シーズンに撮影した画像を格納する場合がある。
【０１３３】
このような場合でも、図１５に示すように、１つのリンクキーＩＤに対して複数の実撮影キーＩＤを関連付けているので前述の場合を解決できる。
【０１３４】
つまり、多次期、季節別の画像を管理するシステムとしては、時空間型地理情報システムがあるが、これはある時間断面におけるバージョンを表示するものである。そのため、たとえば複数年にわたって撮影した画像の中から特定の季節（たとえば秋）の画像のみをみることが可能になる。
【０１３５】
また、広い道路については、沿線を撮影するために往復走行することが必要となる場合があり、往復走行して得た画像について、道路に対しての走行方向を管理できるようになる。
【０１３６】
撮影計画後は、撮影が予定されるリンクに対して、リンクキーＩＤ，撮影計画キーＩＤ，使用が予定されるカメラ情報キーＩＤなど、実撮影に関連しない項目のみが設定されたレコードが記録される。この際、作業進捗コードは未撮影となる。
【０１３７】
撮影後は、実撮影キーＩＤ，撮影日時、撮影に使用したカメラ情報キーＩＤが格納され、作業進捗コードが更新される。
【０１３８】
つまり、リンク関連情報データベース５４は、図１５の斜線部に示すように、同じリンクキーＩＤを持つレコードを複数持つことができるテーブルになっている。このため、一つのリンクキーＩＤに対して複数の撮影結果を格納することが可能である。
【０１３９】
物理画像データベースには、図１６に示すように、収集画像データベース５５と収集画像属性情報データベース５６が属する。
【０１４０】
収集画像データベース５５は、実際に時系列的に撮影された一連の画像とともに、各画像の収集に使われた撮影カメラ情報（カメラ情報キーＩＤ）と、撮影年月日、撮影時刻も記録される。
【０１４１】
収集画像属性情報データベース５６は、撮影時の位置、撮影時の速度、撮影方向、撮影時刻（ＧＰＳ時刻）、撮影カメラなどの情報が格納される。
【０１４２】
収集画像データベース５５の情報と収集画像属性情報データベース５６の情報は、それぞれ時刻情報を持つので、その時刻情報によって、互いに関連付けられる。
【０１４３】
なお、本発明の実施の形態では、上記のデータベースを記憶する記憶装置５０を１台のみ図示しているが、記憶装置５０を１台に限定するものではない。物理画像データベース５０ｂは、大量の画像データを格納するために、画像情報データベース５０ａとは物理的に異なる記憶媒体に格納しても構わない。実際には、１００ギガバイト以上の大容量ハードディスクに分割して格納される。
【０１４４】
本発明の実施の形態におけるデータベース構造では、一つのリンクに対して複数時期の画像を同時に蓄積することができる。
【０１４５】
次に、本発明の実施の形態による地理情報関連付き画像データ管理システムにおける手順を図１８、図１９及び図２０のフローチャートを用いて説明する。
【０１４６】
（データの登録）
ステップＳ１００：画像データ管理サブシステム４０の管理手段４３によって、外部の道路ネットワークデータｆ０からリンク情報をグラフ構造データベース５１に登録する。
【０１４７】
（撮影計画）
ステップＳ１０１：画像データ管理サブシステム４０の撮影計画手段４１の画面表示部４１１によって、グラフ構造データベース５１のリンク情報から、リンクのグラフ構造を表示する。
【０１４８】
ステップＳ１０２：画像データ管理サブシステム４０の撮影計画手段４１のリンク選択部４１２によって、表示されたリンクのグラフ構造から、撮影対象とするリンクを選択する。
【０１４９】
ステップＳ１０３：画像データ管理サブシステム４０の撮影計画手段４１のカメラ情報入力部４１４によって、撮影に使用するカメラに関する情報をカメラ情報データベース５２に登録する。
【０１５０】
ステップＳ１０４：画像データ管理サブシステム４０の撮影計画手段４１の撮影計画情報入力部４１３によって、抽出した撮影対象リンクについて、撮影計画を立案し、計画・実撮影情報データベース５３に入力する。
【０１５１】
ステップＳ１０５：画像データ管理サブシステム４０の撮影計画手段４１の撮影情報エクスポートファイル作成部４１５によって、撮影計画情報ｄ０を撮影情報エクスポートファイルｆ３に出力する。
【０１５２】
（撮影実施）
ステップＳ１０６：画像撮影サブシステム２０に撮影情報エクスポートファイルｆ３の情報の中のリンク形状を読み込み、撮影すべきリンクを表示する。
【０１５３】
ステップＳ１０７：実際に移動手段（車両２１）によってリンクの道路を走行しながら、画像を撮影し、画像撮影サブシステム２０の画像データ収集手段２４によって、撮影時刻を付与した収集画像データｄ１を収集する。
【０１５４】
ステップＳ１０８：また、画像撮影サブシステム２０の位置データ収集手段２５によって、ＧＰＳ時刻を付与した収集画像属性情報ｄ２を収集する。
【０１５５】
ステップＳ１０９：画像撮影サブシステム２０は、収集画像データｄ１と収集画像属性情報ｄ２を実撮影結果情報とともに一次撮影情報インポートファイルｆ１に出力する。
【０１５６】
（画像データ編集）
ステップＳ１１０：画像データ編集サブシステム３０に、撮影情報エクスポートファイルｆ３と一次撮影情報インポートファイルｆ１を入力する。
【０１５７】
ステップＳ１１１：実撮影管理情報を登録する。
【０１５８】
ステップＳ１１２：画像データ編集サブシステム３０の地図データ表示手段３１によって、地図データを表示する。
【０１５９】
ステップＳ１１３：画像データ編集サブシステム３０の画像データ表示手段３２によって、地図データ上で指定したリンクについて収集された画像を表示する。
【０１６０】
ステップＳ１１４：表示された収集画像データｄ１や、その収集画像属性情報ｄ２から時刻情報を得て、画像データ編集サブシステム３０のリンク始終点通過時刻登録手段３３によって、該当リンクの始点と終点の通過時刻を記録する。
【０１６１】
ステップＳ１１５：さらに、画像データ編集サブシステム３０の画像間引き手段３４によって、必要に応じて、収集画像データｄ１から画像を間引き、データ量を削減する。
【０１６２】
ステップＳ１１６：編集を終えた情報を二次撮影情報インポートファイルｆ２に出力する。
【０１６３】
（情報記録・更新）
ステップＳ１１７：画像データ管理サブシステム４０に、二次撮影情報インポートファイルｆ２の情報を入力する。
【０１６４】
ステップＳ１１８：画像データ管理サブシステム４０の撮影情報取り込み手段４２によって、実撮影情報データを計画・実撮影情報データベース５３に記録する。
【０１６５】
ステップＳ１１９：画像データ管理サブシステム４０の撮影情報取り込み手段４２によって、リンク関連情報データベース５４の情報を更新する。
【０１６６】
（データ抽出）
ステップＳ１２０：画像データ管理サブシステム４０のデータ抽出手段４４によって、利用者の要求条件に従って、リンク関連情報データベース５４の情報を元に収集画像データベース５５からデータを抽出し、リンク情報とともに、切り出し画像データｆ４として出力する。
【０１６７】
（表示）
ステップＳ１２１：地理情報関連付き画像データ表示システム１００は、切り出し画像データｆ４と市販の地図データによって、地図と指定したリンク（道路）の周辺画像を表示する。
【０１６８】
切り出し画像データｆ４を表示するために、地理情報関連付き画像データ表示システム１００は、図１に示したように、地図表示手段１０１、撮影位置表示手段１０２、撮影画像表示手段１０３、経路探索連動手段１０４、画像検索手段１０５、及び地図データ１０８と切り出し画像データｆ４を格納する記憶装置１０６から構成されるのが好ましい。
【０１６９】
以上に説明した本発明の実施の形態による地理情報関連付き画像データ管理システムによって、前述した課題が解決される。
【０１７０】
すなわち、撮影サブシステムと連携していることで、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を管理することができる。
【０１７１】
また、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成できるので、その撮影計画に基づいて、複数の車両を用いて撮影作業を平行して行えるようになり、広域の画像を大量に収集することができる。
【０１７２】
カメラ情報データベースとして撮影に使用したカメラ情報（カメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報）を一元的に管理しているので、撮影した画像を用いて後から計測を行うことができる。
【０１７３】
リンク関連情報データベースのデータ構造により、実際に撮影した画像を、Ｙ字路や５差路以上の交差点、立体交差などがある複雑な道路ネットワークデータなどのグラフ構造を持つ地図情報と関連付けて管理することができる。
【０１７４】
また、同じリンクに複数の種類の画像を関連付けて管理することができるため、撮影した季節や時間帯が異なる画像を利用者の要求に合わせて提供できる。
【０１７５】
さらに、実際に画像データを利用者に提供する場合、広域にわたり撮影された画像データ全体から必要なデータを、次の条件を指定して切り出すことができる。
【０１７６】
・地理空間的な切り出し（地理メッシュや行政区域による切り出し）
・リンクの種別による切り出し（道路種別・道路幅等）
・画像の撮影時期による切り出し
本発明の実施の形態を説明するために各図において示した各サブシステムの手段や保持するデータの配置は、あくまでも例示であって、本発明の機能を実現するために限定したものでない。よって、本発明の機能が実現可能な範囲において、種々の処理手段の配置の組み合わせが考え得ることは言うまでもない。
【０１７７】
以下に本実施の形態の説明を補充する。
【０１７８】
データの管理を整合性を有してかつデータ量を少なくして一般的なパソコンでも撮影位置のパノラマ画像を表示可能な形式で管理している画像データ管理サブシステム４０について説明を補充する。
【０１７９】
この説明にあたっては、画像撮影サブシステム２０及び画像データ編集サブシステム３０で得られる一次撮影情報インポートファイルｆ１、二次撮影情報インポートファイルｆ２、切り出し画像データｆ４等について説明を補充する。
【０１８０】
実際に画像データを利用者に提供する場合、広域にわたり撮影された画像データ全体から必要なデータを切り出すことが必要である。切り出しの条件としては、次のことが選択できることが必要である。
【０１８１】
・ 地理空間的な切り出し（地理メッシュや行政区域による切り出し）
・ リンクの種別による切り出し（道路種別・道路幅等）
・ 画像の撮影時期による切り出し
さらに、大量の画像を管理する場合、画像の容量を少なくするために、画像を途中で間引いたり、画像サイズを小さくしたりする必要性が生じる。画像データを物理的に変換した場合も、画像データベースとして整合性を保つことが必要である。
【０１８２】
図１に示すように、一次撮影情報インポートファイルｆ１には撮影計画手段４１が生成した撮影計画が記憶される。
【０１８３】
映像情報をあらかじめ広範囲かつ大量のデータを収集しておけば、利用者指定する範囲や位置に応じて、迅速に提供することができるというビジネスモデルが構築できる。また、新規に撮影する場合も、既に収集したデータと同様の管理を行えば、要求に応じて簡単に再利用することが可能となる。
【０１８４】
更に、同じ箇所を１回の撮影だけでなく、複数の時期に撮影したものを利用することができれば、利用者の希望する状態の画像、たとえば季節や時刻などを指定した画像の提供が可能になる。たとえば、撮影年度の異なる画像が利用できれば、特定の地区の経年変化を調査することが可能となる。また、「桜の時期の画像がみたい」「紅葉時の画像がみたい」といった、街並みや観光道路などを利用者の見たい状態で見ることが可能となる。
【０１８５】
広い道路の場合は、走行路線に近い側の建物はよく映るが、対向車線側の建物はあまりよく映らない場合がある。すなわち、沿線の画像をよりよく表現するために往復撮影する必要が生じる。往復撮影した場合も、走行方向とともに上記複数時期撮影の場合と同様に管理すればよい。
【０１８６】
しかしながら、走行しながら一定時刻毎に画像を撮影した場合は、大量に画像を取得することになり、その結果大容量のデータベースが必要となる。
【０１８７】
また、地図上の道路から見た画像を速く得て、地図と連動表示させたいという要望がある場合は、例え広いエリアであっても敏速に画像を取得する必要がある。このような場合には、多数の車輌で撮影する場合もある。従って、同じ場所を撮影しないように撮影計画を立てることになる。
【０１８８】
（画像データ収集の課題）
つまり、無計画で道路走行や上空飛行によって撮影して収集する画像データの量は大量になるため、撮影システムとの連携が必要なってくる。特に、どの地区が未撮影であるか、どの程度撮影が進んでいるかといった情報を得られることが重要である。また、広域の画像を大量に収集する場合、複数の車両を用いて撮影作業を平行して行う必要がある。このため、道路などのグラフ構造データから必要な部分を切り出した撮影計画を作成し、それに従って画像を収集する。
【０１８９】
また、撮影した画像を用いて後から計測を行いたい場合、例えばステレオ画像計測や単写真による簡易計測等を行う場合は、実際に撮影されたカメラ情報、すなわちカメラの撮影高さやカメラそのものの識別番号、各識別番号のカメラのキャリブレーション情報が画像とともに管理されており、参照できることが必要である。
【０１９０】
広域にわたる大量の画像を撮影する場合は、一つのカメラシステムだけではなく、複数のカメラシステムを利用する場合も生じるため、撮影に使用したカメラ情報も一元的に管理する必要が生じる。
【０１９１】
このため、画像データ管理サブシステム４０は、管理手段４３、撮影計画手段４１を備えている。
【０１９２】
撮影計画手段４１は、図８に示すように、画面表示部４１１とリンク選択部４１２と撮影計画情報入力部４１３とカメラ情報入力部４１４と撮影情報エクススポートファイルｆ３等を備える。
【０１９３】
図８の画面表示部４１１は、記憶装置５０に記録されている、指定されたエリアのグラフ構造（道路）のノードおよびリンクを全てコンピュータの画面に表示する。
【０１９４】
リンク選択部４１２は、画面表示部４１１によって表示されたリンクの内、撮影を計画するリンクを選択させて決定させる。リンクの選択方法としては、画面上のマウス操作による矩形領域指定、ポリゴン領域指定など位置による選択、道路幅や種別などグラフ構造情報に含まれる属性情報による選択、および位置と属性情報による複合選択がある。
【０１９５】
例えば、ある市町村の県道を抽出する場合、県道のみを予め属性情報による選択で抽出しておき、その後に市町村境をポリゴン指定で指定すれば目的が達成される。
【０１９６】
このとき、カメラ情報入力部４１４は、入力された撮影に用いるカメラの情報を、カメラ情報データベース５２として記憶装置５０に記録する。この際、自動または任意に指定したカメラ情報キーＩＤを付与して、個々のカメラ情報を識別できるようにする。
【０１９７】
撮影計画情報入力部４１３は、撮影地区（リンク選択部４１２で選択されたリンク群）、撮影開始予定日、撮影作業者、使用するカメラのカメラ情報キーＩＤなど、入力された撮影計画の情報を計画・実撮影情報データベース５３として記憶装置５０に記録する。この際、自動または任意に指定した撮影計画キーＩＤを付与して、個々の撮影計画を識別できるようにする。
【０１９８】
撮影計画を自動的に生成する場合は、作成日時とカメラ情報キーＩＤを組合せたものなどにしてＩＤの重複が起こらないようにする。
【０１９９】
一方、既に撮影が行われたリンク、ノードについては色を異ならせてコンピュータ画面に表示させている。
【０２００】
従って、コンピュータ画面を見てどのリンクが撮影されていいないかあるいは撮影の結果がわかる。
【０２０１】
撮影情報エクスポートファイル作成部４１５は、リンク選択部４１２で選択されたリンクと撮影計画情報入力部４１３で入力された情報を組合せ、リンク関連情報として、記憶装置５０内のリンク関連情報データベース５４に記録する。この段階では、さらにリンク関連情報と、グラフ構造データベースに記録されたリンク形状を撮影情報エクスポートファイルｆ３として、携帯型記憶媒体に出力する。
【０２０２】
すなわち、図１４に示す撮影計画情報ｄ０（撮影計画キーＩＤ、撮影地区情報（対象リンクキーＩＤ）、作業予定者、撮影予定カメラ情報キーＩＤ、撮影予定日等）が撮影情報エクスポートファイルｆ３として携帯型記憶媒体に出力する。撮影が終わっている場合は実撮影キーＩＤ、撮影結果を付加する。この撮影結果は、正常に撮影されたか否かを示す。
【０２０３】
一方、撮影情報取り込み手段４２は、図９に示すように、実撮影管理情報記録部４２１と画像データ記録部４２２からなる。
【０２０４】
実撮影管理情報記録部４２１は、画像データ編集サブシステム３０から二次撮影情報インポートファイルｆ２として入力された、撮影時の撮影者などの実撮影管理情報ｄ４（実撮影キーＩＤ、撮影地区情報（対象リンクキーＩＤ）、作業実施物、撮影実施カメラ情報キーＩＤ、撮影実施日、撮影結果等）を、実撮影キーＩＤを付与して計画・実撮影情報データベース５３に記録している。
【０２０５】
前述の二次インポートファイルｆ２は、各代表撮影地点の収集画像データｄ１、収集画像属性情報ｄ２、実撮影結果情報ｄ３、実撮影管理情報ｄ４等からなる。
【０２０６】
この二次撮影撮影情報インポートファイルｆ２に記憶される情報は画像データ編集サブシステム３０によって得られている。
【０２０７】
これらのファイルは画像表示システムによって用いられる。画像表示システムの概略を説明する。
【０２０８】
前段として、一次撮影情報インポートファイルｆ１、二次撮影情報インポートファイルｆ２、切り出し画像データｆ４等について説明を補充する。
【０２０９】
一次撮影情報インポートファイルｆ１には、時刻付きの画像収集データｄ１及び収集画像属性情報ｄ２が含まれている。この収集画像属性情報ｄ２は、ＧＰＳから得られる位置情報（座標）、車速センサから得られる車速情報、ジャイロから得られる加速度情報や方位情報、ＧＰＳの時刻等からなる。
【０２１０】
撮影位置表示手段１０２は、切り出しデータｆ４の収集画像属性情報ｄ２を読み込み、この時系列情報（画像取得座標）を、図２２に示すように記号（例えば丸印：以下撮影位置）でネットワークデータ上（道路）に表示することが可能である。
【０２１１】
このときの道路は、撮影情報エクスポートファイルｆ３に含まれる地図データのネットワークデータを用いている。
【０２１２】
図２３を用いて説明する。図２３（ａ）は、車が速くなったりおそくなったりしながら一定時間間隔で撮影されたとき撮影位置を示している。
【０２１３】
図２３（ｂ）は、このときの一次撮影情報インポートファイルｆ１に記憶されている一定間隔で撮影された収集画像データｄ１（撮影時刻付き）を距離軸（座標）に配列したことを示している。
【０２１４】
この配列は、図１の地図データ表示手段３１が例えば収集画像データｄ１の時刻を有する収集画像属性情報ｄ２の画像取得座標を読み込み、この画像取得座標を距離軸（Ｘ−Ｙ座標系で定義されたメモリ）に割付ける。
【０２１５】
このとき、画像間引き手段３４が関与している。
【０２１６】
画像間引き手段３４は、図２３（ｃ）に示すように、人間の視覚上問題のない程度の間引き間隔ｄ（距離：例えば１ｍ）を撮影開始点から順次、距離軸に設定し、この間引き間隔ｄ毎に、図２３（ｂ）の距離軸に対して垂線を引いたときに、収集画像データｄ１の画像取得座標（撮影位置）が存在するかどうかを判断し、存在する場合はその画像取得座標（撮影位置）を図２３（ｄ）に示すように距離軸に代表撮影地点（単純に撮影位置ともいう）として割付けると共に、この割付けられた画像取得座標（撮影位置）に関連する収集画像データｄ１及び収集画像属性情報ｄ２のみを抽出して二次撮影情報インポートファイルｆ２に記憶する。
【０２１７】
この抽出は例えば時刻をキーとして抽出する。すなわち、図２３（ｂ）の太線（代表撮影地点）の個所の収集画像データｄ１及び収集画像属性情報ｄ２のみが抽出される。
【０２１８】
一方、リンク始終点通過時刻登録手段３３は距離軸に代表撮影地点が定義されると、これらの代表撮影地点の位置情報を有する収集画像属性データｄ２の時刻を有する実撮影結果情報ｄ３を撮影情報エクスポートファイルｆ３から抽出して二次撮影情報インポートファイルｆ２に記憶することで得ている。
【０２１９】
そして、画像データ管理サブシステム４０は図１に示すように撮影情報取り込み手段４２を備え、この撮影情報取り込み手段４２は、実撮影管理情報記憶部４２１、画像データ記憶部４２２等を備え、実撮影管理情報記憶部４２１によって、代表撮影地点の画像取得座標（撮影位置）を有する収集画像属性データｄ２の時刻を有する実撮影管理情報ｄ４（撮影地区情報、作業実施者情報等）、各代表撮影地点の収集画像データｄ１、収集画像属性情報ｄ２、実撮影結果情報ｄ３等が取り込まれて画像情報データベースに記憶される。
【０２２０】
このとき、実撮影管理情報ｄ３に実撮影キーＩＤを付与して計画・実撮影情報データベース５３に記録する。
【０２２１】
さらに、画像データ記録部４２２は、二次撮影情報インポートファイルｆ２の収集画像データｄ１と収集画像属性情報ｄ２を、それぞれ収集画像データベース５５と収集画像属性情報データベース５６に記録する。また、実撮影管理情報ｄ４は計画・実撮影情報データベース５３に記憶される。
【０２２２】
さらに、図１に示すデータ抽出手段４４は、図１１に示すように、抽出条件入力部４４１、グラフ構造情報抽出部４４２、リンク関連情報抽出部４４３、収集画像データ抽出部４４４、及び収集画像属性情報抽出部５５４からなり、
抽出条件入力部４４１は、データベースから抽出するための条件を入力する。条件としては、位置的条件とリンク属性的条件と撮影属性条件がある。位置的条件は空間的な切り出し条件とも称し、画面上のマウス操作やファイル読み込みから得られるによる矩形領域やポリゴン領域等があり、この領域内の各種情報（画像ファイル、属性情報等）を切り出し画像データと称している。
【０２２３】
また、リンク属性的条件とは、道路幅や種別などグラフ構造情報に含まれる属性情報の指定がある。また、撮影属性条件は撮影日や撮影時間帯などの指定がある。
【０２２４】
グラフ構造情報抽出部４４２は、グラフ構造データベース５１から、抽出条件入力部４４１で入力された位置的条件及びリンク属性的条件に適合するリンクを抽出する。
【０２２５】
さらに、抽出されたリンクＩＤとその両端のノードＩＤを調べ、各ノードに接続するリンクＩＤをリストアップし、切り出し画像データのリンクのグラフ構造情報として格納する。
【０２２６】
リンク関連情報抽出部４４３は、上記で抽出されたリンクのＩＤに対応するリンクについて、リンク関連情報データベース５４から抽出する。さらに、その中から抽出条件入力部４４１で入力された撮影属性条件に適合するリンクの情報を抽出する。
【０２２７】
収集画像データ抽出部４４４は、収集画像データベース５５から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。
【０２２８】
収集画像データ抽出部４４４は、収集画像データベースから上記で抽出された各リンク関連情報に記憶されている撮影年月日に、カメラ情報キーＩＤで撮影された画像を検索する。さらにその中から、視点通過時刻と終点通過時刻の間に撮影された画像を抽出し、画像ファイルとして切り出し画像データ内の画像ファイルとして格納する。
【０２２９】
また、画像取得リンクＩＤ、撮影開始側のノードＩＤ、撮影集両側のノードＩＤ、撮影順番を切り出し画像データ内の画像ファイル属性情報として格納する。
【０２３０】
収集画像属性情報抽出部４４５は、収集画像属性情報データベース５６から、抽出条件入力部４４１で入力された条件に適合する情報を抽出する。
【０２３１】
つまり、上記で抽出された画像ファイルに対応する画像取得座標、画像取得方位などの情報を抽出し、切り出し画像データ内の画像ファイル属性情報画像ファイル属性として格納する。
【０２３２】
すなわち、データ抽出手段４４は切り出し条件（領域：エリア）の図２３（ｄ）に示す代表撮影地点に対応する全ての切り出し画像データｆ４（グラフ構造情報、リンク関連情報、画像ファイル、画像ファイル属性情報・・）を記憶装置１０６に記憶する（図２３（ｆ）参照）。
【０２３３】
前述のリンク関連情報は、図１５に示すように、リンクキーＩＤと撮影計画ＩＤと実撮影キーＩＤと作業進捗コードと撮影日とカメラ情報キーＩＤと始点通過時刻と終点通過時刻と保管場所などからなる。
【０２３４】
例えば、図１５（表示していずれかのレコードを選択させてもよい）においては、リンクキーＩＤが「１」「２」「３」「３」「４」「５」「６」となっており、一つのリンクに二種類の画像があることを示している（「３」が２つ）。
【０２３５】
また、リンクキーＩＤが「３」とされたレコードには、実撮影キーが「４」とされているものがある。これは、撮影年月日、時刻等が相違していることを示している。
【０２３６】
また、リンクキーＩＤが「５」のレコードに実撮影キーＩＤの欄が空白のものがある。これは未撮影を示す。
【０２３７】
すなわち、リンク関連情報データベースのテーブルを読み込めば、撮影されていないリンクがあるか、またはリンクに多数の画像があるかが分かる（例えば四季に応じて）。
【０２３８】
つまり、本実施の形態は、リンクに撮影日が異なる多数の画像があったとしてもリンクキーＩＤは一つである。
【０２３９】
前述のこの切り出し画像データｆ４を用いて以下に説明するようにして、地図、画像ファイルを地理情報関連付き画像データ表示システム１００が表示する。
【０２４０】
図２４は地理情報関連付き画像データ表示システム１００をより具体的にした構成図である。
【０２４１】
図２４に示すように、地理情報関連付き画像データ表示システム１００は、記憶装置１０６、地理表示手段１０１、撮影位置表示手段１０２、撮影画像表示手段１０３の他に、進行方向印表示手段１０７、地図上撮影方向表示手段１１０、注記データ・登録表示手段１０９等を備えている。
【０２４２】
前述の記憶装置１０６には地図データ１０８及び切り出し画像データｆ４の他に注記データ関連情報ｆ６等が記憶されている。
【０２４３】
この注記データ関連情報ｆ６は注記データ・登録表示手段１０９によって予め登録しておくことが好ましい。
【０２４４】
前述の地図データ１０８は、階層構造にされているのが好ましい。例えば背景地図の界、ネットワーク情報の界、注記データの界、地図記号データの界等の階層構造とされている。そして、注記データは、地物の名称であり、この名称が注記データの界の座標に関連付けられている。
【０２４５】
さらに、記憶装置１０６には切り出し条件の領域内の複数の切り出し画像データｆ４が記憶されている。これらの切り出し画像データｆ４にはＩＤコードが付与されているのが好ましい。また、より具体的には、図２５に示すデータの構成となっている。
【０２４６】
さらに、物理画像データベースは、より具体的には図２６に示すデータ構成となっている。
【０２４７】
地理表示手段１０１は、切り出し条件の領域が入力されると、この領域内の背景地図、ネットワーク情報、注記データ、地図記号を重ね表示する。このとき、ネットワークデータの道路の近傍の注記データのみを抽出して表示させてもよい。
【０２４８】
注記データ・登録表示手段１０９は、図２７に示すように、注記データをコンピュータ画面の画像に表示する機能を有している。
【０２４９】
この注記データの表示を実現させるために注記データ・登録表示手段１０９は、地図データの注記データの座標（例えば注記データの中央の文字の座標）から一定距離内に存在する画像取得座標を検索し、これらの画像取得座標のうちで、注記データに最も近い画像取得座標を検索する。そして、この画像取得座標を有する切り出し画像データのＩＤを、その注記データ及び注記データの座標等と共に注記データ関連情報ｆ６として記憶装置１０６に予め登録する。
【０２５０】
例えば、図２８（ａ）に示すように、ネットワークデータｆ０が道路の場合に、画像取得座標がＧａ、Ｇｂ・・・と存在し、注記データがＣａ、Ｃｂ・・・と存在する場合は、注記データＣａ、Ｇｂ・・・の座標に最も近い距離にある画像取得座標を有する切り出し画像データを順次検索する。そして、検索した切り出し画像データの画像取得座標から注記データの座標に対する方位を、それぞれ求める。この方位はカメラ中心から何度θｋになるかで示す。
【０２５１】
そして、注記データ、Ｇｂ・・・毎に、最も近い画像取得座標を有する切り出し画像データのＩＤを対応させると共に、方位θｋ及び画像取得座標等を対応させる（図２８（ｂ））。
【０２５２】
このＩＤにリンク付けされている画像ファイルの画像は、３６０度のパノラマ画像であり、カメラ中心に対応する画像の中心位置はカメラ中心（０度）である。このカメラ中心からθｋの方位で、目線の高さとなる位置に注記データの画像上の座標を求める。つまり、注記データを表示させるための界（Ｘ−Ｙ座標系：パノラマ画像の座標系に対応する）を定義したメモリを備え、このメモリ上の注記データの座標（画像上の注記データ表示位置という）を定義する。
【０２５３】
すなわち、注記データ関連情報ｆ６は、近接の切り出し画像データのＩＤと注記データ表示位置と方向（θｋ）と注記データの文字等からなる。
【０２５４】
地理情報手段１０１は、入力された切り出し条件の領域に対応する地図データを記憶装置１０６から読み出して、コンピュータ画面に表示する。この地図データは、背景地図、ネットワーク情報（何故地図データに必要か）、注記データ、地図記号データ等からなる。
【０２５５】
撮影位置表示手段１０２は、記憶装置１０６に保存されている全ての切り出し画像データｆ４の画像取得座標を抽出し、この座標に対応する画面の地図上の位置（例えば道路）に画像取得座標（撮影位置）を示す記号（撮影位置記号という）を表示させる（図２７を参照）。
【０２５６】
すなわち、切り出し条件の領域に存在する全ての撮影位置記号が表示されることになるからオペレータは、地図上のどこに画像があるかを一目で判断できる。
【０２５７】
そして、これらの撮影位置記号のいずれかをオペレータがマウス等で指定すると、撮影位置表示手段１０２は、その指定された撮影位置記号を別の記号で表示する（例えば十字、二重丸、異なる色）。
【０２５８】
地図上撮影方向表示手段１１０は、画面の地図上の撮影位置記号が指定されると、この撮影位置記号に対応する座標を有するリンク情報（リンク、交差点ＩＤ、座標、接続リンクＩＤ等）を記憶装置１０６から検索し、検索したリンク情報に交差点ＩＤが含まれているかどうかを判定する。
【０２５９】
交差点ＩＤが含まれている場合は、交差点と判定する。交差点と判定した場合は、交差点ＩＤに関連付けられている接続リンクＩＤを読み込むと共に、撮影位置記号に対応する画像取得座標に関連付けられている画像取得方位（カメラの中心軸方向の方位）を読み込む。
【０２６０】
そして、交差点の座標から検索した接続リンクＩＤのリンクの始点から終点を読み込み、交差点に接続する全てのリンクの方位Ｈｉ（３差路又は４差路、・・）を求め、これらの方位に従って、リンクに矢印を表示する（図２２参照）。
【０２６１】
一方、撮影画像表示手段１０３は、コンピュータ画面の撮影位置記号が選択されると、この撮影位置記号の画像取得座標を有する切り出し画像データの画像ファイルを抽出し、この画像ファイルからオペレータが入力した表示範囲の画像を画面に表示する。
【０２６２】
前述の切り出し画像データの画像ファイルは、３６０度のパノラマ画像である。このため、オペレータは、例えば撮影方向を中心として左右５０度程度の表示範囲を指定する。
【０２６３】
この表示範囲の画像ファイルの画像をコンピュータ画面に表示すると共に、表示範囲及び撮影方向を地図上撮影方向表示手段１１０に知らせる。
【０２６４】
地図上撮影方向表示手段１１０は、撮影方向と表示範囲が知らせられると、コンピュータ画面の地図上の画像取得座標（撮影位置）から撮影方向を中心として表示範囲（撮影方向から左右５０度）の角度方向にポリゴンを生成し、このポリゴンをコンピュータ画面の画像に重ね表示させる（図２２参照）。
【０２６５】
また、進行方向印表示手段１０７は、交差点からの撮影方向の撮影範囲に含まれる接続リンク（道路）の方位を求める。
【０２６６】
この接続リンクの方位は、角度で定義される。例えば、図２９（ａ）に示すように、撮影方位をカメラ中心（０度）にした場合は、カメラ中心から道路ｋａの中心線の方位はθｐであり、道路ｋｂの中心線の方位はθｉで定義できる。
【０２６７】
このθｐの方位とθｉの方位を表示範囲の中心（０度）から定め、目線の位置当たりとなる画面上の位置に三角形のポリゴン（透けている）を三次元的に表示する（図２９（ｃ））。
【０２６８】
このポリゴンが選択すると、その選択方向の道路の撮影位置の画像ファイルを撮影画像表示手段１０３が順次抽出して表示範囲に従って表示する。
【０２６９】
一方、注記データ登録・表示手段１０９は、指定の注記（○○マンション、○○病院、○○市役所・・）を読み、画像取得座標（撮影位置）にきたときに、この撮影位置から一定距離内の最も近い注記データを地図データから抽出する。画像取得座標にきたときとは、画像のスクロールボタン又は再生ボタンが押されている間は、画像ファイルの画像を１コマ毎にカウントする（例えば１カウント当たり１ｍ）。このカウント値に対応する取得座標に関連する画像ファイルを引き当てて表示する。
【０２７０】
次に、抽出した注記データをコンピュータ画面の画像に表示する。
【０２７１】
この注記データの表示は、コンピュータ画面の道路上の撮影位置記号が撮影位置に移動してきたとき、この画像取得座標（撮影位置）を有する注記データ関連情報ｆ６を引当る。そして、引き当てた注記データ関連情報ｆ６の注記データ表示位置及び方向に従ってコンピュータ画面上に注記データの文字列を表示する（図２７参照）。
【０２７２】
従って、コンピュータ画面を見ているだけで、目的のものを直ぐに見つけることができる。
【０２７３】
＜他の実施の形態＞
本実施の形態は、道路を走行しながら街並みを撮影した場合は、顔、ナンバープレート等のプライバシィーに関する画像も写る。
【０２７４】
本実施の形態は、プライバシィーに関する画像については、判別ができないようにした切り出し画像ｆ４で提供する。
【０２７５】
図３０は他の実施の形態の概略構成図である。図３０においては図１と同様な部分については説明を省略し、またプライバシィーに関する画像は顔として説明する。
【０２７６】
本実施の形態は画像加工サブシステム６０を備え、画像加工サブシステム６０は顔位置矩形範囲特定手段１３０と顔位置矩形範囲加工手段１３１等を備えている。
【０２７７】
つまり、プライバシーを考慮することを目的として、画像内の顔が写っている部分を特定し、顔が判別できないように画像を加工する画像加工サブシステムを有する。
【０２７８】
図３１は画像加工サブシステム６０の詳細構成図である。図３１に示すように、顔位置矩形範囲特定手段１３０は、画像読み込み手段１３０ａと矩形範囲抽出手段１３０ｂを備えている。
【０２７９】
顔位置矩形範囲加工手段１３１は、画像読み込み手段１３１ａと局所フィルタ処理１３１ｂと画像格納手段１３１ｃとを備えている。
【０２８０】
顔位置矩形範囲特定手段１３１の画像読み込み手段１３０ａは、切り出し画像データｆ４に含まれる画像ファイルの各々を読み込み、顔がある位置を特定する。具体的な特定方法としては、画像ファイルをコンピュータのモニター上に表示し、オペレータがマウスクリックなどによって顔が含まれる位置を画像上の矩形範囲で指定するマニュアル処理による方法、もしくは顔認識ソフトウェアで画像ファイルを処理し、顔が含まれる矩形範囲を自動的に抽出する自動処理による方法のいずれかもしくは両方を利用する。
【０２８１】
矩形範囲は、矩形範囲の左上座標と矩形サイズの組み合わせで表現され、複数の顔画像が存在する場合は、矩形範囲抽出手段１３０ｂによって矩形範囲も複数抽出される。
【０２８２】
次に、顔位置矩形範囲加工手段１３１は、前記で特定した矩形範囲１３２について、局所的に画像を加工する手段である。具体的には、切り出し画像データｆ４に含まれる画像ファイルの各々を画像読み込み手段１３１ａが読み込み、ガウスフィルタなど画像をぼかす局所フィルタ処理１３１ｂを上記矩形範囲１３２に対して加工し、画像格納手段１３１ｃが加工した結果を切り出し画像データｆ４に含まれる画像ファイルに格納する。
【０２８３】
なお、画像データ管理サブシステムは、画像データを配布もしくはインターネット経由で配信する場合、人間の顔などの肖像権に関するプライバシーを考慮することを目的として、画像を加工する画像加工サブシステムを含んでもよい。
【図面の簡単な説明】
【０２８４】
【図１】地図情報関連付け画像データ管理システムと表示システムの構成図である。
【図２】画像撮影サブシステムの構成図である。
【図３】画像データ編集サブシステムの構成図である。
【図４】地図データ表示手段により表示される地図である。
【図５】画像データ表示手段路面により表示される画像である。
【図６】画像間引き手段による画像間引きの方法を示す図である。
【図７】画像データ管理サブシステムの構成図である。
【図８】撮影計画手段の構成図である。
【図９】撮影情報取り込み手段の構成図である。
【図１０】管理手段の構成図である。
【図１１】データ抽出手段の構成図である。
【図１２】グラフ構造データベースの構造図である。
【図１３】カメラ情報データベースの構造図である。
【図１４】計画・実撮影情報データベースの構造図である。
【図１５】リンク関連情報データベースの構造図である。
【図１６】物理画像データベースの構造図である。
【図１７】グラフ構造を持つ地物を示す図である。
【図１８】実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。
【図１９】実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。
【図２０】実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。
【図２１】実施の形態による地理情報関連付き画像データ管理システムにおける手順を説明するフローチャートである。
【図２２】撮影位置及び対応する画像同時表示する説明図である。
【図２３】本実施の形態の間引きと、撮影位置の表示、切り出しデータの登録の説明図である。
【図２４】地理情報関連付き画像表示システム１００をより具体的にした構成図である。
【図２５】切り出し画像データのより具体的な構成を説明する説明図である。
【図２６】物理データベースのより具体的な構成を説明する説明図である。
【図２７】地図情報関連付け画像表示システムの注記オーバレイ表示の説明図である。
【図２８】注記データの画像への表示を説明する説明図である。
【図２９】進行方向表示手段を説明する説明図である。
【図３０】他の実施の形態の地理情報関連付き画像データ管理システムの概略構成図である。
【図３１】画像加工サブシステムの詳細構成図である。
【符号の説明】
【０２８５】
１０ 地理座標関連付き画像データ管理システム
２０ 画像撮影サブシステム
２１ 車両（移動手段）
２２ 画像センサ
２３ ハイブリッド型位置センサ
２４ 画像データ収集手段
２５ 位置データ収集手段
３０ 画像データ編集サブシステム
３１ 地図データ表示手段
３２ 画像データ表示手段
３３ リンク始終点通過時刻登録手段
３４ 画像間引き手段
４０ 画像データ管理サブシステム
４１ 撮影計画手段
４２ 撮影情報取り込み手段
４３ 管理手段
４４ データ抽出手段
５０ 記憶装置
５０ａ 画像情報データベース
５０ｂ 物理画像データベース
５１ グラフ構造データベース
５２ カメラ情報データベース
５３ 計画・実撮影情報データベース
５４ リンク関連情報データベース
５５ 収集画像データベース
５６ 収集画像属性情報データベース
１００ 地理情報関連付き画像データ表示システム
１０１ 地図表示手段
１０２ 撮影位置表示手段
１０３ 撮影画像表示手段
１０４ 経路探索連動手段
１０５ 画像検索手段
１０６ 記憶装置
１０８ 地図データ
ｄ０ 撮影計画情報
ｄ１ 収集画像データ
ｄ２ 収集画像属性情報
ｄ３ 実撮影結果情報
ｆ１ 一次撮影情報インポートファイル
ｆ２ 二次撮影情報インポートファイル
ｆ３ 撮影情報エクスポートファイル
ｆ４ 切り出し画像データ
【特許請求の範囲】
【請求項１】
移動手段に、画像センサを固定し、地図の路線ネットワークに基づいて前記移動手段の移動と共に前記画像センサで撮影した画像データを一定時間毎に収集し、これを前記路線ネットワークに関連付けて管理する地図情報関連付け画像データ管理システムにおいて、
リンク構造の前記路線ネットワークを記憶するグラフ構造データベースと、前記画像センサの情報を記録するカメラ情報データベースと、前記移動手段による前記路線ネットワークの撮影計画の情報及び前記路線ネットワークを実際に撮影した実撮影情報を記録する計画・実撮影情報データベースと、前記画像センサによって取り込まれた前記一定時間毎日の周辺画像データ及び該画像の撮影位置座標を座標計測時刻とともに収集画像属性情報として記録する集画像・属性情報データベースと含む記憶装置と、
前記撮影時刻及び前記座標計測時刻から前記地図リンクの始点及び終点の通過時刻を記録するリンク始終点通過時刻登録手段と、一定の走行距離を基準にして前記一定時間毎に収集された複数の周辺画像データから前記一定の走行距離毎の画像のみを抽出して他の画像データを間引き、データ容量を低減させる画像間引き手段を含む画像データ編集サブシステムと、
前記路線ネットワークごとに各データベースの各情報を撮影時刻及び該各情報に付与したそれぞれのＩＤコードで関連付けた管理情報を備えた管理手段と、前記路線ネットワークのＩＤ及び前記撮影時刻が入力されたとき、このＩＤ、撮影時刻を含む前記管理情報を引当て、該引き当てた管理情報に関連付けられている前記各データベースの各情報を前記記憶装置から出力するデータ抽出手段とを含む画像データ管理サブシステムと
とを有することを特徴とする地図情報関連付け画像データ管理システム。
【請求項２】
前記画像データ編集サブシステムは、前記一定間隔の走行距離に一致する画像データが存在しない場合は、該一定間隔の走行距離に最も近い画像データを抽出することを特徴とする請求項１に記載の地図情報関連付け画像データ管理システム。
【請求項３】
前記データ抽出手段は、前記地図のエリアが入力されたとき、該エリア内の前記各情報のみを切り出し画像データとして出力することを特徴とする請求項１または２に記載の地図情報関連付け画像データ管理システム。
【請求項４】
前記画像データ管理サブシステムは、ネットワーク登録部、印刷部、メンテナンス部、及び作業管理部を具備する管理手段をさらに含むことを特徴とする請求項３に記載の地図情報関連付け画像データ管理システム。
【請求項５】
前記撮影計画手段は、画面表示処理部、リンク選択処理部、カメラ情報入力部、撮影計画情報入力部、及びデータ登録部を含むことを特徴とする請求項３または４に記載の地図情報関連付け画像データ管理システム。
【請求項６】
前記切り出し画像データ内の特定画像を特定し、該特定画像に対してぼかし処理を施すこ画像加工サブシステムを有することを特徴とする請求項１乃至５のいずれかに記載の地図情報関連付け画像データ管理システム。
【請求項１】
移動手段に、画像センサを固定し、地図の路線ネットワークに基づいて前記移動手段の移動と共に前記画像センサで撮影した画像データを一定時間毎に収集し、これを前記路線ネットワークに関連付けて管理する地図情報関連付け画像データ管理システムにおいて、
リンク構造の前記路線ネットワークを記憶するグラフ構造データベースと、前記画像センサの情報を記録するカメラ情報データベースと、前記移動手段による前記路線ネットワークの撮影計画の情報及び前記路線ネットワークを実際に撮影した実撮影情報を記録する計画・実撮影情報データベースと、前記画像センサによって取り込まれた前記一定時間毎日の周辺画像データ及び該画像の撮影位置座標を座標計測時刻とともに収集画像属性情報として記録する集画像・属性情報データベースと含む記憶装置と、
前記撮影時刻及び前記座標計測時刻から前記地図リンクの始点及び終点の通過時刻を記録するリンク始終点通過時刻登録手段と、一定の走行距離を基準にして前記一定時間毎に収集された複数の周辺画像データから前記一定の走行距離毎の画像のみを抽出して他の画像データを間引き、データ容量を低減させる画像間引き手段を含む画像データ編集サブシステムと、
前記路線ネットワークごとに各データベースの各情報を撮影時刻及び該各情報に付与したそれぞれのＩＤコードで関連付けた管理情報を備えた管理手段と、前記路線ネットワークのＩＤ及び前記撮影時刻が入力されたとき、このＩＤ、撮影時刻を含む前記管理情報を引当て、該引き当てた管理情報に関連付けられている前記各データベースの各情報を前記記憶装置から出力するデータ抽出手段とを含む画像データ管理サブシステムと
とを有することを特徴とする地図情報関連付け画像データ管理システム。
【請求項２】
前記画像データ編集サブシステムは、前記一定間隔の走行距離に一致する画像データが存在しない場合は、該一定間隔の走行距離に最も近い画像データを抽出することを特徴とする請求項１に記載の地図情報関連付け画像データ管理システム。
【請求項３】
前記データ抽出手段は、前記地図のエリアが入力されたとき、該エリア内の前記各情報のみを切り出し画像データとして出力することを特徴とする請求項１または２に記載の地図情報関連付け画像データ管理システム。
【請求項４】
前記画像データ管理サブシステムは、ネットワーク登録部、印刷部、メンテナンス部、及び作業管理部を具備する管理手段をさらに含むことを特徴とする請求項３に記載の地図情報関連付け画像データ管理システム。
【請求項５】
前記撮影計画手段は、画面表示処理部、リンク選択処理部、カメラ情報入力部、撮影計画情報入力部、及びデータ登録部を含むことを特徴とする請求項３または４に記載の地図情報関連付け画像データ管理システム。
【請求項６】
前記切り出し画像データ内の特定画像を特定し、該特定画像に対してぼかし処理を施すこ画像加工サブシステムを有することを特徴とする請求項１乃至５のいずれかに記載の地図情報関連付け画像データ管理システム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２３】
【図２４】
【図２５】
【図２６】
【図２８】
【図３０】
【図３１】
【図４】
【図５】
【図２２】
【図２７】
【図２９】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２３】
【図２４】
【図２５】
【図２６】
【図２８】
【図３０】
【図３１】
【図４】
【図５】
【図２２】
【図２７】
【図２９】
【公開番号】特開２００８−１７１３８１（Ｐ２００８−１７１３８１Ａ）
【公開日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願番号】特願２００７−１０６４６６（Ｐ２００７−１０６４６６）
【出願日】平成１９年４月１３日（２００７．４．１３）
【特許番号】特許第４０６８６５６号（Ｐ４０６８６５６）
【特許公報発行日】平成２０年３月２６日（２００８．３．２６）
【出願人】（５９１０７４１６１）アジア航測株式会社 (48)
【出願人】（５００４５８６７５）株式会社アイディーユー (6)
【Ｆターム（参考）】
【公開日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願日】平成１９年４月１３日（２００７．４．１３）
【特許番号】特許第４０６８６５６号（Ｐ４０６８６５６）
【特許公報発行日】平成２０年３月２６日（２００８．３．２６）
【出願人】（５９１０７４１６１）アジア航測株式会社 (48)
【出願人】（５００４５８６７５）株式会社アイディーユー (6)
【Ｆターム（参考）】
[ Back to top ]