座標対応装置、座標対応方法およびプログラム
【課題】画像内のオブジェクトに対して付与した情報を、オブジェクトに対応する物体に関連づける座標対応装置を提供する。
【解決手段】物体の３次元モデリングデータを入力する３次元データ入力部３と、物体を表示する画像を入力する画像生成部５と、入力した画像の視点の座標と視方向を含む属性条件を入力する入力部１と、入力した画像を表示する画像出力部７と、表示した画像上で、情報とそれを付与する位置とを入力するオブジェクト情報入力部８と、指定した位置に表示されている３次元モデリングデータの物体を特定する情報統合部６と、特定された物体の３次元モデリングデータに、オブジェクト情報入力部８で入力した情報を関連付けて記憶するオブジェクト情報蓄積部４と、画像生成部５で入力した画像に、特定された物体の画像に対応して、物体の３次元モデリングデータに関連付けた情報を表示するオブジェクト情報取得部９と、を備える。
【解決手段】物体の３次元モデリングデータを入力する３次元データ入力部３と、物体を表示する画像を入力する画像生成部５と、入力した画像の視点の座標と視方向を含む属性条件を入力する入力部１と、入力した画像を表示する画像出力部７と、表示した画像上で、情報とそれを付与する位置とを入力するオブジェクト情報入力部８と、指定した位置に表示されている３次元モデリングデータの物体を特定する情報統合部６と、特定された物体の３次元モデリングデータに、オブジェクト情報入力部８で入力した情報を関連付けて記憶するオブジェクト情報蓄積部４と、画像生成部５で入力した画像に、特定された物体の画像に対応して、物体の３次元モデリングデータに関連付けた情報を表示するオブジェクト情報取得部９と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、座標対応装置および方法に関する。より詳しくは、画像の中のオブジェクトに対して付与された情報を、画像に表示する座標対応装置および方法に関する。
【背景技術】
【０００２】
画像を表示する装置を備える端末の普及に伴って、画像を扱う技術が開発されている。例えば特許文献１には、各位置に固有な情報を案内情報として利用してなる地理空間案内装置が記載されている。特許文献１の技術は、複数に区分化された地図とその地図上の任意の視点および係る視点における方位に基づいて作成された風景静止画を保持しておき、利用者が区分地図、視点、方位を指示することにより、方位方向を軸として任意の角度領域の区分地図と風景静止画の所定領域とを配信する。
【０００３】
特許文献２には、任意地点における映像を端末の環境条件に応じて配信する技術が記載されている。特許文献２の技術は、クライアントシステムの種別や移動速度などの端末環境情報を元に、あらかじめ定められたルールに基づき視点移動経路を自動生成し、視点移動経路に沿った、パノラマ画像、静止画、あるいはムービー等の映像をオンデマンドで生成する。また、特許文献３には、利用者の端末の種類に応じて、提供する情報の形態を変更する技術が記載されている。
【０００４】
特許文献４には、地図を３次元的に描画した景観図として携帯端末に表示させる技術が記載されている。特許文献４の技術は、携帯端末からの位置情報により歩行者が存在する候補道路を抽出し、その候補道路の特徴画像を歩行者に選択させることで現在位置および進行方向を取得する。さらに、その現在位置から進行方向に見える景観図を作成して携帯端末に表示させるとともに、景観図に描かれた表示建物のうち、歩行者により指定された表示建物の建物案内データを携帯端末に表示する。
【０００５】
特許文献５には、カメラで撮影した前方画像と３Ｄ（3-Dimentional：３次元的な）地図とを一致させて周囲状況に応じた案内を行うことが記載されている。特許文献５の技術は、現在位置に応じた２Ｄ地図データを取得し、移動体が進行する方位の前方を撮像した画像から、２Ｄ地図の俯瞰角度、倍率および横方向位置を調整して、撮像手段で撮像することにより得られた前方画像に一致する３Ｄ地図を生成する。前方画像および３Ｄ地図を、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、現在位置の周囲状況を判定する。
【０００６】
地図データには含まれていない車両などの物体を含めて自車位置周辺の平面図を表示する技術が、特許文献６に記載されている。それは、地図データと、物体の３次元データを記憶しておき、撮影した車両の周辺の映像を用いて、車両に対応する３次元データを選択し、選択した３次元データから物体の画像を前記車両の周辺の地図上に配置して表示する。
【特許文献１】特開２００２−２５１３９６号公報
【特許文献２】特開２００４−３２６４４３号公報
【特許文献３】特開２００４−３５０００６号公報
【特許文献４】特開２００５−２４１３８６号公報
【特許文献５】特開２００６−１１９０９０号公報
【特許文献６】特開２００７−０１０５１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
画像内に表示されている個々のオブジェクト（object）に対して情報を付与する方法としては、インターネット閲覧ソフトであるウェブブラウザ（World Wide Web browser)のクリッカブルマップ（clickable map）機能や、アンカー(anchor)情報表示技術がある。クリッカブルマップ機能は、画像内のオブジェクトが占める領域の座標に対して、付与させたい情報をもつ別サイトへのリンク情報を定義しておき、マウスなどでクリックした際に定められたリンク先に移動し情報を表示するものである。また、アンカー情報表示技術は、カーソルを所定の場所に移動させた際にカーソル下にあるオブジェクトのリンク先の指定情報を表示するものである。
【０００８】
ＣＧ（Computer Graphics）などの関連する技術の第１の問題点は、例えば家・ビルなどの建物、木・橋・信号・電柱などの立体モデルである３次元オブジェクトに対して付与した情報を、画像内のオブジェクトに反映できないことである。それは、３次元オブジェクトに緯度・経度や大きさの情報を関連付けているが、画像作成時には、画像内でのオブジェクトの位置情報を描画のための情報としてのみ使用しているからである。
【０００９】
第２の問題点は、複数枚の画像内に、同一の情報を表示させたい同じ物体が表示されている場合に、それぞれの画像内のオブジェクトに対して情報を付与しなければならないことである。それは、ある画像内のオブジェクトと、その画像とは別の画像内のオブジェクトとの同一性を保持する手段がないためである。
【００１０】
第３の問題点は、ある画像内に描画されているオブジェクトに対してオブジェクトの情報を登録しても、同じオブジェクトが描画されている別の画像内のオブジェクトへ、その登録情報を反映できない点である。その理由は、第２の問題点と同様に、画像単位でオブジェクトの情報を保持しているため、他の画像内で同一の物体に対するオブジェクトの情報を登録していても、同一のオブジェクトに対する情報という関連付けがされていないためである。
【００１１】
第４の問題点は、情報を付与できる対象が、立体オブジェクト（例えば家・ビルなどの建物、木・橋・信号・電柱など）に対応して画像内に描画されているオブジェクトに限られていることである。それは、情報を付与する対象のオブジェクトが立体オブジェクトのみにしか対応していないためである。
【００１２】
本発明は、上述の事情に鑑みてなされたもので、画像内のオブジェクトに対して付与した情報を、オブジェクトに対応する物体に関連づけることができる座標対応装置、および方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明の第１の観点に係る座標対応装置は、
物体の３次元モデリングデータを入力する３次元データ入力手段と、
前記物体を表示する画像を入力する画像入力手段と、
前記画像入力手段で入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力手段と、
前記画像入力手段で入力した画像を表示する画像表示手段と、
前記画像表示手段に表示した画像上で、情報を入力する位置を指定する指定手段と、
前記指定手段で指定した位置に付与する情報を入力する情報入力手段と、
前記指定手段で指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定手段と、
前記物体特定手段で特定された物体の３次元モデリングデータに、前記情報入力手段で入力した情報を関連付けて記憶する記憶手段と、
前記画像入力手段で入力した画像の上に、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示手段と、
を備えることを特徴とする。
【００１４】
本発明の第２の観点に係る座標対応方法は、
物体の３次元モデリングデータを入力する３次元データ入力ステップと、
前記物体を表示する画像を入力する画像入力ステップと、
前記画像入力ステップで入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力ステップと、
前記画像入力ステップで入力した画像を表示する画像表示ステップと、
前記画像表示ステップに表示した画像上で、情報を入力する位置を指定する指定ステップと、
前記指定ステップで指定した位置に付与する情報を入力する情報入力ステップと、
前記指定ステップで指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定ステップと、
前記物体特定ステップで特定された物体の３次元モデリングデータに、前記情報入力ステップで入力した情報を関連付けて記憶する記憶ステップと、
前記画像入力ステップで入力した画像の上に、前記物体特定ステップで特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示ステップと、
を備えることを特徴とする。
【００１５】
本発明の第３の観点に係るプログラムは、コンピュータを、
物体の３次元モデリングデータを入力する３次元データ入力手段と、
前記物体を表示する画像を入力する画像入力手段と、
前記画像入力手段で入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力手段と、
前記画像入力手段で入力した画像を表示する画像表示手段と、
前記画像表示手段に表示した画像上で、情報を入力する位置を指定する指定手段と、
前記指定手段で指定した位置に付与する情報を入力する情報入力手段と、
前記指定手段で指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定手段と、
前記物体特定手段で特定された物体の３次元モデリングデータに、前記情報入力手段で入力した情報を関連付けて記憶する記憶手段と、
前記画像入力手段で入力した画像の上に、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示手段
として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明の座標対応装置によれば、画像内のオブジェクトに対して付与した情報を、オブジェクトに対応する物体に関連づけることができる。
【発明を実施するための最良の形態】
【００１７】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。本実施の形態では、画像内のオブジェクトに付与した情報を、オブジェクトに対応する３次元データに関連づける座標対応装置について説明する。
【００１８】
以下の説明ではつぎのように用語を使う。「物体」とは、実世界に存在しうるあらゆるものである。物体は、建物に限らず、例えば、果物、動物、人体、コンピュータ、ＯＡ機器など何でもよい。物体には想像上のものも含む。物体の「３次元モデリングデータ（または３次元データ）」とは、物体の位置、形状および向きを含む物体に関する情報を、３次元の座標で表現したデータである。「オブジェクト」とは、画像のなかで１つの物体を表していると認識できる画像上の領域である。「オブジェクト情報」とは、オブジェクトに付けられた情報であって、画像上でオブジェクトとともに表示することができる情報である。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に係る座標対応装置の構成の一例を示すブロック図である。図１に示すように、実施の形態１に係る座標対応装置２０は、入力部１と、画像生成要求部２と、３次元データ入力部３と、オブジェクト情報蓄積部４と、画像生成部５と、情報統合部６と、画像出力部７と、オブジェクト情報入力部８と、オブジェクト情報取得部９と、オブジェクト情報登録部１０とを備える。
【００２０】
入力部１は、画像の種類と、画像を得るために必要な画像条件を入力して、画像生成要求部２へ送る。画像の種類には、中心投影図や平行投影図などがある。画像条件は、視点の座標、視る方向（投影面の法線方向）、および、画角と投影面までの距離もしくは画像サイズと縮尺率などである。入力部１は、例えば、キーボード、携帯電話、携帯情報端末（Personal Digital Assistants：以下ＰＤＡという）などの情報入力手段で構成する。画像条件は、通信回線を経由して取得したホームページの情報などに含まれるデータで与えられることがある。
【００２１】
画像生成要求部２は、入力部１から受け取った情報の中から、生成する画像の種類と、その画像を生成するために必要な画像条件からなる画像生成要求信号を生成して、３次元データ入力部３へ送る。例えば、中心投影図の生成要求の場合には、画像生成要求信号は、中心投影図の生成指示と、視点の緯度、経度、標高、視る方向、画角、投影面までの距離などの画像条件を含む。例えばまた、平行投影図の生成要求の場合には、画像生成要求信号は、平行投影図の生成指示と、投影面中心の座標（緯度、経度、標高）、縮尺、画像サイズなどの画像条件を含む。
【００２２】
３次元データ入力部３は、画像生成要求部２から画像生成要求信号を受け取り、その中に含まれる視点座標と視る方向などの画像条件をもとに、表示する画像領域内に入る３次元モデリングデータを、例えばオブジェクト情報蓄積部４から取得する。そして、３次元データと画像生成要求信号を画像生成部５に送る。
【００２３】
３次元モデリングデータ（以下、３次元データともいう）とは、物体の位置と形状と向きを３次元の座標で表したデータである。３次元データには、物体の位置と形状と向きの外に、面の色、テクスチャ（鏡面か粗面かを含む）、光の反射率および透過率、材質などを含むことがある。
【００２４】
３次元データ入力部３は、外部のデータベースなどから３次元データを入力してもよい。オブジェクト情報蓄積部４に対象範囲の３次元データがあれば、そこから入力する。
【００２５】
本発明では物体に付随すべき情報を３次元データに関連づけて記憶する。物体に付随する情報とは、物体の画像を表示するときに、その物体の画像とともに表示する情報である。したがって、物体に付随する情報は、オブジェクト情報である。本発明では、ある画像のオブジェクト情報と、そのオブジェクトに対応する物体に付随する情報を一体化して取り扱う。以後は、物体に付随する情報とオブジェクト情報を同一のものとして扱う。
【００２６】
オブジェクト情報は、例えば、画像に表示されたあるオブジェクトにポインタを重ねたときに、そのオブジェクトについて表示される情報である。オブジェクト情報には、テキスト、シンボル、画像（クリップアートもしくは写真など）、音響、映像、またはそれらの組み合わせがある。
【００２７】
オブジェクト情報蓄積部４は、３次元データとオブジェクト情報を関連づけて記憶する。３次元データは、座標対応装置２０でオペレータによって入力されるかもしれないし、外部のデータベースなどから通信ネットワークを経由して入力されるかもしれない。また、ＣＤ−ＲＯＭなどの記憶媒体から入力される場合もある。オブジェクト情報蓄積部４がＤＶＤ−ＲＷなどの取替可能な記憶媒体で、３次元データが他の装置で入力される場合もある。ここでは、３次元データの入力経路は問わない。オブジェクト情報蓄積部４のオブジェクト情報は、情報統合部６からの指示により追加・変更される。
【００２８】
図２Ａ、２Ｂは、３次元モデリングデータの構成の例を示す。図２Ａ中の３次元モデリングデータの基本情報は、物体の識別番号がBodyIDに、３次元モデルが存在する位置の経度がLonに、緯度がLatに、標高がAltに保存される。物体をいくつかの部分に分割して定義する場合、それらの部分を識別する符号をPartIDに保存する。他のフィールドも同様にして、物体の部分ごとに、物体のモデルの種類をBodyModelに、３次元モデルの基準点位置をOriginに、直方体などでモデルを描くのに必要なＸ、Ｙ、Ｚの長さをX_axis、Y_axis、Z_axisなどに、円柱や、円錐などを描くのに必要な底面の中心をCenterに、半径をRadiusに、高さをHeightに、保存する。３次元モデリングデータの値は、それぞれのフィールド名で指定される記憶領域の場所に格納される。本来は、物体の向き（または面の向き）を表すデータが必要であるが、理解を容易にするために、図２Ａ、図２Ｂでは物体の向きのデータを省略している。
【００２９】
図２Ａは、京都市役所を想定した３次元モデリングデータの情報構造の例である。座標情報と、ＣＧ等で再現するために必要な直方体を３つ組み合わせた情報と、関連する画像情報の場所と、建物に関する情報を保存する領域などで構成する。物体の識別番号は、「60485710001」である。図２Ａでは、物体を構成する各直方体の向きが南北に沿っていて、また、鉛直方向に傾いていないことを想定している。図３Ａは、図２Ａの３次元モデリングデータから生成した画像の例を示す。
【００３０】
図２Ｂは、京都タワーを想定した３次元モデリングデータの情報構造の例であり、直方体１つと、円錐１つと、円柱２つとを組み合わせた情報などで構成する。物体の識別番号は、「60082160002」である。図３Ｂは、図２Ｂの３次元モデリングデータから生成した画像の例を示す。図２Ｂの例でも、物体の向きは鉛直方向に傾いていないことを想定している。図２Ｂの例では、円錐と２つの円柱の重なり部分がどちらにも規定されていることになるが、図２Ｂのモデルは、そのような重複を許す場合である。重複がないように規定するには、例えば、２つの円柱と、１つの円錐と、２つの円錐台と直方体によって構成することができる。
【００３１】
画像生成部５は、３次元データを画像生成要求信号にもとづいて変換して、表示用の画像ファイルを生成する。生成する画像について制限はない。例えば、平行投影図で地図のような画像かもしれないし、中心投影図でいわゆる３ＤＣＧ（3-Dimensional Computer Graphics）の場合もある。３ＤＣＧの場合、画像条件には例えば、光源の位置または照明光の方向、照明光の色と光の強さなどを含む。
【００３２】
画像生成部５は、生成した画像ファイルを画像出力部７へ送るとともに、画像ファイル内のオブジェクトの領域情報を情報統合部６へ送る。オブジェクトの領域情報とは、画像におけるオブジェクトが占める領域（画素の集合）の位置と形状を、画像の座標で表したデータである。
【００３３】
オブジェクトは１つの物体について１つとは限らない。１つの物体が、前景にある他の物体によって複数の部分に分割されて表示される場合がある。その場合でも、１つの物体に対応する複数のオブジェクトごとに領域情報を生成する。領域情報は、対応する物体の３次元データの識別番号（物体の識別番号：BodyID）をつけて識別する。したがって、同じ３次元データの識別番号（BodyID）を有する複数の領域情報が生成される場合がある。
【００３４】
あるいは、１つの物体についてオブジェクトを１つとして、オブジェクトの重なり順序を表すデータをインデックスとして保持してもよい。後述の画像と領域情報の対応関係を表すデータでは、インデックスを用いている。その場合も、オブジェクトの領域情報は、物体の識別番号をつけて識別される。
【００３５】
図４は、生成した画像ファイルの表示画像の全領域の情報の構成の一例を示す。画像ファイルの基本情報として、生成した画像ファイルの保存場所がImageURLに、画像生成時の視点の経度がLonに、緯度がLatに、地上高さがAltに、視る方向の方位角がAzimuthに、仰角がElevationに、生成した画像ファイルサイズがWidthとHeightに、保持して登録される。ImageIDは画像ファイル登録時に、重複しないように自動的に割当られる。
【００３６】
図５は、生成した画像ファイル内のオブジェクトの領域情報を構成する一例を示す。画像ファイルの表示画像の全領域内で表示しているオブジェクトの領域情報を登録し、複数のオブジェクトの場合には、同様の情報を追加して構成する。図５中のImageIDは画像テーブル（図４）のImageIDと同じもので、画像を識別する。Indexは、画像内にあるオブジェクトに対応する物体の位置（経緯度）が、視点に近いものから順に識別するインデックス値を示す。BodyIDは、オブジェクトに対応する物体の（３次元データの）識別番号である。Obj_LX、Obj_LY、Obj_RX、Obj_RYにはオブジェクトが表示されている画像ファイル内の左上画像座標（X、Y）と右下画像座標（X、Y）を登録する。
【００３７】
図５では、理解を容易にするために、オブジェクトの形状を長方形とみなして、左上画像座標と右下画像座標のみ登録している。実際には、オブジェクトの形状（と位置）を表すように、オブジェクトの外形の頂点の座標などを登録する。
【００３８】
図６は、画像内の表示領域と、オブジェクトとの対応関係を表す情報構成の一例を示す。図４に示す表示画像の全表示領域の情報に、表示領域内にある各オブジェクトについて、図５に示す領域情報の構成のデータを加えたものである。各オブジェクトにはIndexが割り当てられているので、複数のオブジェクトの間で表示領域が重なっていてもインデックスの順に表示・指定することができる。
【００３９】
画像内の任意の点に対して、その点が含まれるオブジェクトを領域情報によって判断することができる。インデックスによってオブジェクトの順が表されている場合は、オブジェクトの重なり部分について、インデックスの順にオブジェクトを選択するように構成できる。領域情報に含まれる３次元データの識別番号を参照して、指定した点が含まれるオブジェクトに対応する３次元データを知ることができる。
【００４０】
図７は、物体の識別番号とオブジェクト情報とを関連づける情報構成の例を示す。物体の識別番号に対応して、オブジェクト情報が格納される。図７の例では、物体の緯度、経度、標高などの位置情報を合わせて格納している。オブジェクト情報は、物体の識別番号で３次元データと対応づけられる。
【００４１】
情報統合部６は、例えば図６に示すように、オブジェクトの領域情報と、オブジェクトと３次元データとを対応付けるデータを保持する。情報統合部６は、オブジェクト情報を表示する場合は、オブジェクト情報取得部９から画像上の指定した点の座標を受け取って、その点を含むオブジェクトのオブジェクト情報を返す。オブジェクト情報を登録する場合は、オブジェクト情報登録部１０から、画像上の指定した点の座標とオブジェクト情報を受け取って、その点を含むオブジェクトに対応する３次元データに、オブジェクト情報を結合する。
【００４２】
画像出力部７は、画像生成部５で生成された画像ファイルを表示する。画像出力部７は、例えば、コンピュータのディスプレイ、携帯電話またはＰＤＡの表示装置などの情報出力手段で構成する。
【００４３】
オブジェクト情報入力部８は、画像出力部７で表示している画像ファイル内で、情報を表示させたいオブジェクトの指定、または情報を登録したいオブジェクトの指定と、オブジェクト情報の入力を受け付ける。オブジェクト情報入力部８は、例えば、マウス、タッチパネルなどの情報入力手段を備える。オブジェクト情報入力部８は、画像に重ねたポインタ位置、またはクリックしたときのポインタ位置の画像内の座標データを取得する。オブジェクト情報を表示する場合は、指定した点の座標を、オブジェクト情報取得部９へ送る。オブジェクトの領域情報にインデックスを含む場合は、座標データにインデックスを含む。
【００４４】
オブジェクト情報を登録する場合は、キーボードなどから入力されたオブジェクト情報を、指定した点の座標とともにオブジェクト情報登録部１０へ送る。オブジェクト情報入力部８からオブジェクト情報登録部１０に送られるのは、オブジェクト情報の格納場所を示すデータの場合がある。
【００４５】
オブジェクト情報取得部９は、オブジェクト情報入力部８から受信した画像内の指定した点の座標を情報統合部６に送り、情報統合部６からから、その点を含むオブジェクトのオブジェクト情報を取得する。情報統合部６は、図６に示すオブジェクトの領域情報を参照して、指定された点を含むオブジェクトを選択する。そして、選択したオブジェクトに対応する３次元データの識別番号によって、オブジェクト情報蓄積部４からオブジェクト情報を取り出し、オブジェクト情報取得部９に送る。オブジェクト情報取得部９は、取得したオブジェクト情報を表示するデータを生成して、画像出力部７に送る。画像出力部７は、オブジェクト情報表示データを画像に重ねて表示する。
【００４６】
オブジェクト情報は、オブジェクトにマウスなどでポインタを重ねたときに、そのオブジェクトに対応するオブジェクト情報を表示するようにしてもよい。オブジェクト情報が音声や映像のような場合には、オブジェクトの上でクリックしたときに再生を開始してもよい。オブジェクト情報が画像や映像の場合は、表示した画像に重ねた枠または別の枠で表示してもよい。
【００４７】
オブジェクト情報登録部１０は、オブジェクト情報入力部８からの入力が、オブジェクト情報の格納場所を示すデータの場合は、格納場所を参照して、対象のファイルを読み込む。そして、入力したデータまたは読み込んだファイルを指定した点の座標とともに、情報統合部６に送る。
【００４８】
情報統合部６は、オブジェクト情報登録部１０から、画像上の指定した点の座標とオブジェクト情報を受け取って、指定された点を含むオブジェクトの領域情報を選択する。そして選択したオブジェクトに対応する３次元データに、受け取ったオブジェクト情報を結合する。情報統合部６は、３次元データに結合されたオブジェクト情報をオブジェクト情報蓄積部４に格納する。対象の３次元データにオブジェクト情報が登録されている場合には、オブジェクト情報を更新する。
【００４９】
さらに、情報統合部６は、登録したオブジェクト情報と指定した点の座標をオブジェクト情報取得部９に送ってもよい。その場合、オブジェクト情報取得部９は、オブジェクト情報を表示するデータを生成して、画像出力部７に送る。その結果、新たに登録されたオブジェクト情報が画面に表示される。
【００５０】
３次元データ入力部３は、３次元データとともにオブジェクト情報を入力して、画像生成部５に送るので、オブジェクト情報が３次元データに対応づけて記憶されていれば、改めて画像を生成するときに、オブジェクト情報を画像のオブジェクトに重ねて表示することができる。したがって、視点が異なる別の画像を表示する場合でも、オブジェクト情報を登録したときの画像に対して表示されるのと同じオブジェクト情報を、同じ３次元データに対応するオブジェクトに付随して表示することができる。
【００５１】
図８は、座標対応装置２０の動作の一例を示すフローチャートである。図８は、画像を表示してオブジェクト情報を表示または入力する動作の例を示す。
【００５２】
入力部１は、生成する画像の種類と、画像を得るために必要な視点の緯度、経度、標高、視覚方向、画角、画像サイズ、縮尺率などの画像条件とを入力して、画像生成要求部２へ送る（ステップＳ１０１）。画像条件はオペレータによって入力されることもあるし、通信回線を経由して取得したホームページの情報などに含まれるデータで与えられることもある。
【００５３】
画像生成要求部２は、入力部１から受け取った情報をもとに、生成する画像の種類と、その画像を生成するために必要な画像条件からなる画像生成要求信号を作成して、３次元データ入力部３に送る（ステップＳ１０２）。
【００５４】
３次元データ入力部３は、画像生成要求信号の画像条件をもとに、表示する画像領域内に入る３次元モデリングデータを、例えばオブジェクト情報蓄積部４から取得する。そして、３次元データを画像生成要求信号とともに画像生成部５に送る（ステップＳ１０３）。物体ごとの３次元データは、物体の識別番号で識別される。
【００５５】
画像生成部５は、３次元データを画像生成要求信号にもとづいて変換して、表示用の画像ファイルを生成する（ステップＳ１０４）。画像生成部５は、オブジェクトの領域情報を生成する（ステップＳ１０５）。オブジェクトの領域情報は、物体の識別番号を含む。画像生成部５は、生成した画像ファイルを画像出力部７へ送るとともに、画像ファイル内のオブジェクトの領域情報を情報統合部６へ送る。画像出力部７は、画像ファイルを表示する（ステップＳ１０６）。
【００５６】
画像を表示した状態で、オブジェクト情報入力部８は、オブジェクト情報が入力されるのを待機する（ステップＳ１０７、ステップＳ１０８；ＮＯ、ステップＳ１０９；ＮＯ、ステップＳ１１１；ＮＯ）。画像表示の終了が入力された場合は（ステップＳ１０８；ＹＥＳ）、画像表示を停止する（ステップＳ１１３）。画像表示を終了せず（ステップＳ１０８；ＮＯ）、オブジェクト情報を表示する場合は（ステップＳ１０９；ＹＥＳ）、オブジェクト情報表示処理を行う（ステップＳ１１０）。オブジェクト情報を入力する場合は（ステップＳ１０９；ＮＯ、ステップＳ１１１；ＹＥＳ）、オブジェクト情報登録処理を行う（ステップＳ１１２）。
【００５７】
図９Ａは、オブジェクト情報表示処理の動作の一例を示す。図９Ａの処理は、図８のステップＳ１１０の内容である。
【００５８】
オブジェクト情報入力部８は、オブジェクト情報を表示する指令を入力すると、オブジェクト情報を表示するオブジェクトを選択するために指定された位置（ポインタなど）の座標データを取得し、オブジェクト情報取得部９へ送る（ステップＳ２０１）。オブジェクト情報取得部９は、指定された位置の座標データを情報統合部６に送る。
【００５９】
情報統合部６は、受信した画像内の位置情報から、図６に示すオブジェクトの領域情報を参照して、その点を含むオブジェクトの領域情報を選択して、その領域情報につけられた物体の識別番号を取得する（ステップＳ２０２）。そして、選択した物体の識別番号に関連づけられるオブジェクト情報を検索し（ステップＳ２０３）、オブジェクト情報取得部９に送る。
【００６０】
オブジェクト情報取得部９は、オブジェクト情報があれば（ステップＳ２０４；ＹＥＳ）、そのオブジェクト情報を表示するデータを生成する（ステップＳ２０５）。オブジェクト情報がなければ（ステップＳ２０４；ＮＯ）、「オブジェクト情報なし」を表示するデータを生成する（ステップＳ２０６）。「オブジェクト情報なし」の表示データは定形データでよい。
【００６１】
オブジェクト情報取得部９は、生成したデータを画像出力部７に送り、画像に重ねて表示する（ステップＳ２０７）。「オブジェクト情報なし」は表示しなくてもよい。
【００６２】
図９Ｂは、オブジェクト情報登録処理の動作の一例を示す。図９Ｂの処理は、図８のステップＳ１１２の内容である。
【００６３】
オブジェクト情報入力部８は、オブジェクト情報を入力するために指定された位置の座標データを取得し、オブジェクト情報登録部１０へ送る（ステップＳ２１１）。また、キーボードなどから入力されたオブジェクト情報をオブジェクト情報登録部１０へ送る（ステップＳ２１２）。
【００６４】
オブジェクト情報登録部１０は、オブジェクト情報入力部８からの入力が、オブジェクト情報の格納場所を示すデータの場合は、格納場所を参照して、対象のファイルを読み込む。そして、記憶したデータまたは読み込んだファイルを座標データとともに、情報統合部６に送る。
【００６５】
情報統合部６は、受信した画像内の位置情報から、その点を含むオブジェクトの領域情報を選択して、その領域情報につけられた物体の識別番号を取得する（ステップＳ２１３）。そして、物体の識別番号にオブジェクト情報を結合する（ステップＳ２１４）。情報統合部６は、３次元データに結合されたオブジェクト情報をオブジェクト情報蓄積部４に格納する（ステップＳ２１５）。対象の３次元データにオブジェクト情報が登録されている場合には、オブジェクト情報を更新する。
【００６６】
再び図８を参照して、オブジェクト情報表示処理（ステップＳ１１０）、またはオブジェクト情報登録処理（ステップＳ１１２）を終えると、オブジェクト情報入力部８は、オブジェクト情報が入力されるのを待機する（ステップＳ１０７）。
【００６７】
実施の形態１の座標対応装置２０によれば、入力した画像条件により３次元モデリングデータから生成して表示した画像で、画像内のオブジェクトに対して入力した情報を、そのオブジェクトに対応する３次元モデリングデータに関連づけて記憶する。その結果、別の画像を表示する場合でも、オブジェクト情報を登録したときの画像に対して表示されるのと同じオブジェクト情報を、同じ３次元データに対応するオブジェクトに付随して表示することができる。
【００６８】
なお、オブジェクト情報を入力するために指定された位置に対応する物体の３次元データを特定するには、オブジェクトの領域情報を用いなくてもよい。例えば、画像の視点と画像上の指定位置とを結ぶ線（視線）の延長と、３次元データで表現された面が交わる点から、情報を付与したい物体の３次元データを特定することができる。
【００６９】
（実施の形態２）
実施の形態２の座標対応装置２０は、実施の形態１の機能に加えて、登録している物体を撮影した画像を入力して、画像内のオブジェクト情報を表示したり、画像内のオブジェクト情報を登録・更新することにより、物体の情報を登録・更新する機能がある。図１０は、本発明の実施の形態２に係る座標対応装置２０の構成の一例を示すブロック図である。実施の形態２の座標対応装置２０は、実施の形態１の構成に加えて、実写画像入力部１２と、オブジェクト抽出部１３とを備える。
【００７０】
実写画像入力部１２は、撮影した画像と、その画像を撮影した点（視点）の位置（座標）、画像を撮影した（視る）方向および画角などの情報を入力する機能を備える。オブジェクト抽出部１３は、撮影画像の中から情報を登録するオブジェクトを抽出する機能を備える。その他の構成は、実施の形態１と同様であるが、実写画像入力部１２と、オブジェクト抽出部１３とを作動させるための機能を備える。
【００７１】
実写画像入力部１２は、撮影した画像と、撮影時の位置・方位・仰角などの画像条件を入力する手段であり、入力した画像と画像条件などの情報をオブジェクト抽出部１３へ送る。実写画像入力部１２は、例えば、ＧＰＳ（Global Positioning System）機能と方位測定機能を搭載したカメラなどが考えられる。通常のカメラで撮影した画像を実写画像入力部１２から入力し、位置・方位・仰角・生成する画像サイズなどの画像条件を別に入力してもよい。その場合、座標対応装置２０の内部で撮影画像と画像条件を対応させる。
【００７２】
オブジェクト抽出部１３は、実写画像入力部１２で入力した撮影画像から、物体に対応すると想定されるオブジェクト（以下、撮影オブジェクトという）を抽出する。画像処理の方法は、エッジ検出技術や、輪郭形状抽出技術や、マスク処理などのオブジェクトを抽出する技術である。そして、図６の領域情報と同様の撮影オブジェクトの領域情報を生成して、情報統合部６に送る。ただし、撮影オブジェクトと３次元データとの対応関係はこの段階では分からない。オブジェクト抽出部１３はまた、撮影画像と画像条件を３次元データ入力部３へ送る。
【００７３】
３次元データ入力部３は、オブジェクト抽出部１３から撮影画像と画像条件とを受け取り、画像条件に対応する表示領域の３次元モデリングデータを入力する。そして、３次元データと撮影画像および画像条件をともに画像生成部５へ送る。
【００７４】
画像生成部５は、撮影画像から表示するための画像ファイルを作成する。画像生成部５は、３次元データを画像条件にもとづいて変換して、撮影画像と同じ画像条件の画像（以下、生成画像という）を生成する。このとき、生成画像について、オブジェクトの領域情報を生成する。オブジェクトの領域情報は、物体の識別番号をつけて識別される。画像生成部５は、画像ファイルを画像出力部７へ送る。また、生成画像内のオブジェクトの領域情報を情報統合部６へ送る。
【００７５】
オブジェクト情報入力部８、オブジェクト情報取得部９およびオブジェクト情報登録部１０は、実施の形態１と同様に動作する。実施の形態２では、表示されているのが撮影画像であることが異なる。情報統合部６は、生成画像の領域情報と、オブジェクト抽出部１３から受信した撮影オブジェクトの領域情報とを対応させて、指定された点を含む（生成画像の）オブジェクトの領域情報を選択する。撮影画像と同じ画像条件の生成画像について、オブジェクトの領域情報を保持しているので、撮影画像の中でオブジェクトを選択するために指定された位置（ポインタなど）の座標データから、対応している生成画像のオブジェクトを選択することができる。
【００７６】
撮影オブジェクトの領域情報はなくてもよい。したがって、撮影画像を３次元データ入力部３および画像生成部５で扱わずに、実写画像入力部１２から画像出力部７に送って表示してもよい。また、３次元データから物体の外形線（ワイヤーフレーム）だけの画像を生成して、撮影画像に重ねて表示してもよい。
【００７７】
オブジェクト情報の表示とオブジェクト情報の登録は、実施の形態１と同様に行う。ただし、表示されている画像が撮影画像であり、オブジェクト情報は撮影画像に重ねて表示される。オペレータは撮影画像についてオブジェクト情報を付与するオブジェクトを選択する。
【００７８】
オブジェクト情報を入力するために指定された位置に対応する物体の３次元データを特定するには、オブジェクトの領域情報または撮影オブジェクトの領域情報を用いなくてもよい。撮影画像の画像条件から、例えば、画像の視点と画像上の指定位置とを結ぶ線（視線）の延長と、３次元データで表現された面が交わる点から、情報を付与したい物体の３次元データを特定することができる。撮影したレンズの特性（画像上の任意の点がどの方向を視ていることになるか）がわかっていれば、広角レンズや魚眼レンズで撮影した画像からでも、３次元データを特定することができる。
【００７９】
図１１は、実施の形態２に係る座標対応装置２０の動作の一例を示すシーケンス図である。図１１は、入力部１と、画像出力部７と、オブジェクト情報入力部８と、実写画像入力部１２とをクライアントとして構成し、他の構成要素をサーバにあるとした場合の例を示す。京都市役所を撮影して、情報を登録するまでの処理を例に説明する。撮影範囲の３次元データは、サーバのオブジェクト情報蓄積部４が保持しているものとする。クライアントの例として、パーソナルコンピュータにカメラや方位測定器などを付属して構成するものと、ＧＰＳ機能や方位側的能を搭載したカメラ付き携帯端末で構成するものなどがある。
【００８０】
実写画像入力部１２から撮影した画像と画像条件とを送る。例えば、ＧＰＳ機能と方位測定機能を搭載したカメラ付携帯端末で、「京都市役所」を向いて撮影を行う。撮影する際に、ＧＰＳ機能と方位測定機能により撮影時の位置（経度135．7717833、緯度：35．0077555、地上高さ1.5ｍ）、および撮影方向（方位角：45度、仰角：2度）を自動的に取得する。また、画角はレンズの特性で決まる。生成する画像サイズ（幅：600、高さ：400）を設定し、撮影画像および撮影条件とともにオブジェクト抽出部１３へ送る（ステップＳ３０１）。
【００８１】
３次元データ入力部３は、撮影条件に対応する（京都市役所を含む）表示領域の３次元データを入力する。撮影画像、画像条件および３次元データを、画像生成部５へ送る。画像生成部５は、３次元データから画像条件で画像（生成画像）と、オブジェクトの領域情報を生成する。また、撮影画像の画像ファイルを生成し、任意の命名規則により識別できる名前（例えば、20070123120000.jpg）をつけて、クライアントに送る（ステップＳ３０２）。撮影画像にオブジェクトの外形線を重ねて表示してもよい。画像生成部５は、また、生成した画像内のオブジェクトの領域情報を情報統合部６へ送る（ステップＳ３０３）。
【００８２】
画像出力部７は、画像生成部５から、表示用の画像ファイル（20070123120000.jpg）を受け取り、画面に表示する（ステップＳ３０４）。ここでは、撮影画像にオブジェクトの外形線を重ねて表示することを想定している。表示用の画像ファイルを送らずに、クライアントで撮影画像だけを表示してもよい。
【００８３】
オブジェクト情報入力部８は、画像出力部７で表示している画像内の「京都市役所」の任意の位置（ここでは（250,100)とする）を指定する入力を受け付ける。オブジェクト情報入力部８は画像出力部７に、指定された点に対して登録されている情報を表示するか、新たに情報を登録するかなどの選択メッセージ情報を表示する（ステップＳ３０５）。
【００８４】
利用者が登録されている情報の表示を選んだ場合には（ステップＳ３０５；表示）、情報表示要求をオブジェクト情報取得部９へ送り（ステップＳ３０６）、情報統合部６を介して、オブジェクト情報蓄積部４内の物体「京都市役所」に登録されているオブジェクト情報を読み出して、画像出力部７へ送る（ステップＳ３０７）。画像出力部７は、「京都市役所」に現在登録されているオブジェクト情報を受け取り表示する（ステップＳ３０８）。なお、受け取った情報のみ表示するか、既に保持する画像ファイルに重ねて表示するかは任意である。
【００８５】
利用者が新たな情報の登録を選んだ場合には（ステップＳ３０５；登録）、画像出力部７の画面上に、情報を入力する枠を表示する。利用者がオブジェクト情報入力部８から登録する情報を入力すると、画像ＩＤ（ImageID）や指定点画像座標（250,100)とともに、オブジェクト情報登録部１０へ送る（ステップＳ３０９）。ここでは、「京都市役所」に登録するオブジェクト情報を「今月の催し」とする。なお、クライアントとサーバの通信セッションで画像ＩＤが特定できる場合は、画像ＩＤを送信しなくてもよい。
【００８６】
オブジェクト情報登録部１０は、指定された「京都市役所」に対して、オブジェクト情報入力部８から表示している画像ＩＤ（ImageID）と、指定点画像座標（250,100)と、オブジェクト情報「今月の催し」とを受信して、情報統合部６へ送る（ステップＳ３１０）。
【００８７】
情報統合部６は、オブジェクト情報登録部１０から受け取った情報をもとに、登録するオブジェクトを特定する。受け取った情報と画像内のオブジェクトに関する領域情報（図６）から、画像ＩＤ（ImageID）の同一性を判断して画像出力部７で表示している画像を特定し、指定点画像座標がObj_LX、Obj_LY、Obj_RX、Obj_RYで表示する領域に含まれるかを判断して領域情報を特定する。情報統合部６は、特定した領域情報に対応する物体「京都市役所」の識別番号(BodyID）を取得する。なお、表示画面上で複数の物体の識別番号（BodyID）が検索される場合には、画像の手前から登録されているインデックス（index）の値の小さいものが該当するため、一意に決定することができる（ステップＳ３１１）。
【００８８】
情報統合部６は、取得した「京都市役所」の識別番号（BodyID）を元に、物体ごとの位置情報とオブジェクト情報のデータ（図７）の、該当する物体の識別番号（BodyID）のオブジェクト情報（Info）の項目に「今月の催し」を書き込む。情報統合部６は、登録した内容をオブジェクト情報蓄積部４内の情報に反映させる。そして、登録した「京都市役所」のオブジェクト情報をオブジェクト情報取得部９を介して画像出力部７へ送る（ステップＳ３１２）。
【００８９】
画像出力部７は、受信した「京都市役所」のオブジェクト情報「今月の催し」を表示するので、利用者は、登録した内容が正しいかを確認できる（ステップＳ３１３）。
【００９０】
実施の形態２の座標対応装置２０によれば、撮影したリアルな画像を表示させて、画像内に含まれているオブジェクトの情報を表示したり、情報を登録したりすることができる。オブジェクト情報を登録した場合には、登録されている３次元データにオブジェクト情報を関連づけることができ、他の画像内の同一物体を表すオブジェクトに同じオブジェクト情報を表示することができる。
【００９１】
（実施の形態３）
実施の形態３の座標対応装置２０は、実施の形態２の機能に加え、撮影した画像を複数入力して、物体の３次元モデリングデータを抽出する機能を備える。図１２は、本発明の実施の形態３に係る座標対応装置２０の構成の一例を示す。実施の形態３の座標対応装置２０は、実施の形態２の構成に加えて、３次元モデル抽出部１４を備える。３次元モデル抽出部１４は、異なる視点で同一物体を撮影した複数の画像から３次元データを抽出して、オブジェクトの３次元モデリングデータを生成する。その他の構成は実施の形態２と同様であるが、３次元モデル抽出部１４を動作させるための機能を備える。
【００９２】
３次元モデル抽出部１４は、３次元データ入力部３から、複数の撮影画像とその画像条件を受け取り、３次元モデリングデータを抽出する。オブジェクト抽出部１３で抽出した撮影オブジェクトの領域情報を利用してもよい。複数の撮影画像から３次元データを抽出するには、例えば、以下のようにする。
【００９３】
撮影画像からオブジェクトのエッジや頂点などの特徴点を抽出する。撮影画像の視点と投影面上の特徴点とを結ぶ線（視線）を想定する（３次元空間内の直線）。２つの撮影画像の視線が（画像の精度で）交わる点に、その特徴点に対応する物体があると判断できる。撮影オブジェクトの複数の特徴点に対応する空間内の交点をつなぎ合わせて、物体の３次元データを得る。
【００９４】
３次元モデル抽出部１４は、抽出した３次元データを３次元データ入力部３に送る。３次元データ入力部３は、抽出した３次元データに識別番号を付けて、オブジェクト情報蓄積部４に格納する。また、抽出した３次元データとその識別番号を画像生成部５に送る。以降は、実施の形態２と同じである。
【００９５】
図１３は、２枚の撮影画像と抽出した３次元モデリングデータを表す模式図である。図１３（ａ）は、南側から京都市内を撮影した模式図であり、（ｂ）は、東側から京都市内を撮影した模式図である。図１３（ｃ）は、３次元モデリングデータを視覚的に表す概念図である。２つの撮影画像に表示された同一物体のオブジェクト「五重塔」（符号２１）から、「五重塔」の３次元モデリングデータ（ｃ）を得ることができる。
【００９６】
図１４は、複数の撮影画像からオブジェクトを抽出して３次元モデリングデータを得る場合の一例を示すシーケンス図である。実写画像入力部１２は、３次元モデリングデータを登録する物体を撮影した画像と、撮影した位置方向などの画像条件を入力する（ステップＳ４０１）。さらに撮影画像を入力する場合は（ステップＳ４０２；ＹＥＳ）、入力を繰り返す（ステップＳ４０１）。複数の撮影画像を一括して入力してもよいし、すでに蓄積されている撮影画像と組み合わせて３次元データを抽出するよう指示してもよい。
【００９７】
撮影画像入力を終えて（ステップＳ４０２；ＮＯ）、必要なら３次元データを抽出する対象のオブジェクトに含まれる座標を指定する入力を受け付ける（ステップＳ４０３）。そして３次元データ抽出を指示する入力を受けて、オブジェクト抽出部１３に撮影画像とその画像条件、および抽出オブジェクト指定点の座標を送る（ステップＳ４０４）。
【００９８】
オブジェクト抽出部１３は、撮影画像からオブジェクトの輪郭などの特徴点を抽出する（ステップＳ４０５）。オブジェクト抽出部１３は、実写画像入力部１２から送られた撮影画像に対して、指定点画像座標を含む部分の輪郭形状を抽出するなどの画像処理をして、３次元データを作成するためのオブジェクトの候補を抽出する。そして、撮影画像と、輪郭などを抽出した情報と、画像条件などを３次元データ入力部３を介して、３次元モデル抽出部１４へ送る。
【００９９】
３次元モデル抽出部１４は、上述のような方法で３次元データを抽出し、３次元データ入力部３に渡す（ステップＳ４０６）。３次元データ入力部３は、抽出した３次元データに所定の識別番号をつけて、オブジェクト情報蓄積部４に格納する（ステップＳ４０７）。３次元データを継続して抽出する場合は（ステップＳ４０８；ＹＥＳ）、撮影画像を追加するか判断するステップＳ４０２に戻って、動作を繰り返す。３次元データの抽出を継続しない場合は（ステップＳ４０８；ＮＯ）、処理を終了する。
【０１００】
３次元データを抽出したのち、そのデータが正しいかどうか確認するために、３次元データから画像を生成して表示させてもよい。すなわち、抽出した３次元データを画像生成部５に送り、いずれかの撮影画像の画像条件で画像を生成して、画像出力部７で表示する。生成した画像（ワイヤーフレームなど）を、同じ画像条件の撮影画像に重ねて表示してもよい。
【０１０１】
以上で、３次元データが抽出できるので、以降は、実施の形態１または２と同様に、３次元データに関連づけたオブジェクト情報を登録して表示することができる。さらに、異なる方向から物体を撮影した画像の枚数を多くすることにより、より正確な３次元データを作成することができる。
【０１０２】
実施の形態３の座標対応装置２０によれば、オブジェクトを撮影した複数の画像から同一物体を抽出して３次元データを生成することができる。生成した３次元データは、既存の３次元データと同様に、オブジェクト情報を関連づけることができる。その結果、他の画像内の同一物体を表すオブジェクトに、同じオブジェクト情報を表示することができる。
【０１０３】
（実施の形態４）
実施の形態４の座標対応装置２０は、実施の形態１または２の機能に加え、仮想的な物体を設定して、それについて情報を登録して表示する機能を備える。本発明の実施の形態４の構成は、基本的には実施の形態１と同様であるが、情報統合部６は、要求に基づいて仮想的な３次元データを生成して登録する。実施の形態４の座標対応装置２０は、仮想的な物体の３次元データとオブジェクト情報を関連づけて登録・表示する。
【０１０４】
ここで、「仮想的な物体」とは、現実の物体があるかどうかではなく、オブジェクト情報蓄積部４に３次元データがまだ格納されていない物体をいう。したがって、「仮想的な物体」とは、実世界にない物体かもしれないし、実世界にある物体またはその一部の場合もある。
【０１０５】
図１５は、実施の形態４に係るオブジェクト情報登録処理の動作の一例を示すフローチャートである。図１５の処理は、図８のステップＳ１１２に相当する。実施の形態４では、図９Ｂの処理に代えて、例えば、図１５の処理を行う。図１５では、図９Ｂと同じ処理には同じ符号を付けている。すなわち、ステップＳ２１１ないしステップＳ２１５は実施の形態１と同じである。
【０１０６】
オブジェクト情報入力部８は、オブジェクト情報を入力するために指定された位置の座標データを取得し、オブジェクト情報登録部１０へ送る（ステップＳ２１１）。また、キーボードなどから入力されたオブジェクト情報をオブジェクト情報登録部１０へ送る（ステップＳ２１２）。
【０１０７】
ここで、オブジェクト情報登録部１０は、オブジェクト情報を仮想的な物体に対して登録するのか、すでにある３次元データ（表示されているオブジェクト）に対して登録するのか判断する（ステップＳ５０１）。仮想的な物体か、既存の３次元データかの選択は、オブジェクト情報入力と同時に入力させることができる。あるいは、オブジェクト情報を付与するオブジェクトの候補を画像に重ねて表示するか、またはオブジェクトの候補がないことを表示して、仮想的な物体か、既存の３次元データかを選択できるようにしてもよい。オブジェクト情報を付与するオブジェクトの候補を、例えば、色を変えて表示したり、外形を強調表示したり、点滅表示したりして識別することができる。
【０１０８】
既存の３次元データに対してオブジェクト情報を登録する場合は（ステップＳ５０１；ＮＯ）、実施の形態１（ステップＳ２１３ないしステップＳ２１５）と同様なので、説明を省略する。仮想的な物体に対してオブジェクト情報を登録する場合は（ステップＳ５０１；ＹＥＳ）、情報統合部６は所定の仮想的な物体の３次元データを設定する（ステップＳ５０２）。
【０１０９】
仮想的な物体の３次元データは、例えば、以下のように設定できる。指定点座標が含まれるオブジェクトの３次元データがない場合、例えば、地面を指している場合、指定点の地点の地面上のある大きさの物体を想定して、３次元データを設定する。物体の大きさは、例えば、周囲の物体（３次元データ）に囲まれた直方体または円柱、何段階かに設定したものから画像の表示範囲に合わせて選択した大きさの直方体または円柱、などである。
【０１１０】
また、例えば、指定点座標が含まれるオブジェクトの３次元データがある場合、その３次元データの指定点が存在する面の一部、またはその面に付着するある大きさの直方体などである。あるいは、その３次元データが建物の場合、指定点を含んで、２つの水平面で挟まれた部分（例えば、フロアに相当する）などである。これらはいくつかの形状を用意しておいて、選択できるようにしてもよい。
【０１１１】
情報統合部６は、設定した仮想的な物体の３次元データを画像生成部５に送る。画像生成部５は、その３次元データに対応するオブジェクトを生成して（すでに表示している画像の画像条件で生成する）、画像に重ねて表示する（ステップＳ５０３）。仮想的な物体に対応するオブジェクトは、例えば、ワイヤーフレーム、または色つき半透明なオブジェクトで表示してもよい。
【０１１２】
オブジェクト情報入力部８は、表示したオブジェクトに対応する仮想的な物体に、先に入力したオブジェクト情報を関連づけるかどうかの指令を入力する。表示したオブジェクトが適当ではない場合は（ステップＳ５０４；ＮＯ）、ステップＳ５０２に戻って、仮想的な物体の３次元データを設定し直す。オブジェクト情報登録部１０は、情報統合部６に仮想的な物体の変更を指示する。情報統合部６は仮想的な物体の３次元データを設定しなおして、そのオブジェクトを表示させる。
【０１１３】
仮想的な物体の候補として複数の３次元データを設定し、それらに対応する複数のオブジェクトを同時に表示して、その中から選択させてもよい。なお、指定した点が空を指している場合のように、仮想的な物体の位置が特定できない場合、注意を喚起する情報を表示して、指定点を変更させてもよい。また、２つの画像で、入力する点を選択して、その視線の交点を仮想的な物体の位置とすることも可能である。
【０１１４】
表示したオブジェクトに、入力したオブジェクト情報を関連づけて登録する場合（ステップＳ５０４；ＹＥＳ）、オブジェクト情報登録部１０は、仮想的な物体に割り当てた識別番号にオブジェクト情報を結合する（ステップＳ５０５）。情報統合部６は、設定した仮想的な物体の３次元データと、その識別番号に結合されたオブジェクト情報をオブジェクト情報蓄積部４に格納する（ステップＳ５０６）。
【０１１５】
一旦、登録された仮想的な物体の３次元データは、既存の３次元データと同様に扱うことができるが、仮想的な物体を画像に表示する場合は、例えば、ワイヤーフレームや半透明のオブジェクトで表示してもよい。また、画像には表示せずに、その位置にポインタを重ねたときに、そのオブジェクト情報だけを表示してもよい。
【０１１６】
図１６は、道路と建物を表示する画面上で、交差点を仮想的な物体とする場合の概念図である。図１６（ａ）は、ビルや商店などの建物で３次元データが登録されている画像領域と、何の情報も保持していない画像領域である交差点などを表示している。
【０１１７】
表示している画像内の「交差点」が表示されている任意の位置（例えば、図１６（ａ）のポインタ２２の先端（300,450））を指定点として、オブジェクト情報を入力する。オブジェクト情報は例えば、「信号の待ち時間が長い」である。
【０１１８】
図１６（ｂ）は、仮想的な物体の３次元データを設定し、そのオブジェクトを重ねて表示したところを示す。図１６（ｂ）は、仮想的な物体の候補として、道路全体（符号２３）、道路Ａ（符号２４、左上から右下）、道路Ｂ（符号２５、左下から右上）、交差点（符号２６）のオブジェクトを表示している。
【０１１９】
図１７は、仮想的な物体として初めに設定した３次元データから生成したオブジェクトの領域情報の例を示す。図１７は、図１６（ｂ）の交差点２６に対応する。新規BodyID（478）を、画像内の領域情報の該当するBodyIDフィールドに登録し、オブジェクトの領域の範囲をObj_LX（300）、Obj_LY（450）、Obj_RX（300）、Obj_RY（450）フィールド（図１７のBodyID、Obj_LX、Obj_LY、Obj_RX、Obj_RYフィールドの値）に登録している。
【０１２０】
図１８は、新規に登録した仮想的な物体「交差点」の識別番号とオブジェクト情報とを関連づけた情報構成の例を示す。図１８の例では、仮想的な物体の位置（経度、緯度、標高）を合わせて記録している。
【０１２１】
表示画像内の表示領域と、オブジェクトとの対応関係を表す情報に、新規オブジェクトＩＤ（BodyID（478））の項目を追加して、画像内に新規オブジェクトの領域をObj_LX（300）、Obj_LY（450）、Obj_RX（300）、Obj_RY（450）として登録する。
【０１２２】
画像出力部７は、画像生成部５から送られたオブジェクトと、オブジェクト情報取得部９から送られたオブジェクト情報を表示する。利用者は、画像を見て登録した内容が正しいかを確認する。表示位置を編集する場合には、カーソル等で表示されたマーカーを修正し、更新情報をオブジェクト情報入力部８から入力して、３次元データを変更することができる。
【０１２３】
図１９は、仮想的な物体の位置を変更した３次元データから生成したオブジェクトの領域情報の例を示す。図１９は、図１７のデータから領域情報が、Obj_LX（305）、Obj_LY（447）、Obj_RX（305）、Obj_RY（447）に変更されている。図２０は、位置を変更したのちの仮想的な物体「交差点」の識別番号とオブジェクト情報とを関連づけた情報構成の例を示す。図２０では、図１８のデータに比較して物体の位置が変わっている。
【０１２４】
図２１は、既存の３次元データの中に仮想的な物体（の３次元データ）を登録する場合の概念図である。図２１（ａ）は、３次元モデリングデータから「ビル」２７を含む画像を作成した場合であり、図２１（ｂ）は、オブジェクト「ビル」２７の内部に、仮想的な物体としてビルの３階２８、ビルの２階２９、ビルの１階３０を登録する場合である。
【０１２５】
図２１の例では、仮想的な物体（の３次元データ）を、例えば、２つの水平面に挟まれた既存の建物（の３次元データ）の部分とする。このように、すでに登録された３次元データからその部分を取り出して、仮想的な物体とし、それにオブジェクト情報を関連づけることもできる。
【０１２６】
実施の形態４の座標対応装置２０によれば、仮想的な物体の３次元データを新たに登録し、それにオブジェクト情報を関連づけて登録して、任意の画像にそのオブジェクト情報を表示することができる。また、既存の３次元データの一部を仮想的な物体の３次元データとして、オブジェクト情報を登録して任意の画像に表示することもできる。
【０１２７】
図２２は、図１、図１０または図１２に示す座標対応装置２０のハードウェア構成の一例を示すブロック図である。座標対応装置２０は、図２２に示すように、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、入出力部３５、表示部３６および送受信部３７を備える。主記憶部３２、外部記憶部３３、操作部３４、入出力部３５、表示部３６および送受信部３７はいずれも内部バス３０を介して制御部３１に接続されている。
【０１２８】
制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム４０に従って、座標対応装置２０を制御するための処理を実行する。
【０１２９】
主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム４０をロードし、制御部３１の作業領域として用いられる。
【０１３０】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部３１に行わせるための制御プログラム４０を予め記憶し、また、制御部３１の指示に従って、制御プログラム４０が記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。図１、図１０または図１２のオブジェクト情報蓄積部４は、外部記憶部３３に構成される。
【０１３１】
操作部３４は、キーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３０に接続するインターフェース装置から構成されている。操作部３４を介して、画像条件、オブジェクト情報および指定位置の座標などが入力され、制御部３１に供給される。入出力部３５は、３次元データまたはオブジェクト情報を外部から入力したり、３次元データに結合したオブジェクト情報を外部の機器に出力するのに用いる。
【０１３２】
表示部３６は、ＬＥＤ（Light Emitting Diode）、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、画像とオブジェクト情報を表示する。
【０１３３】
送受信部３７は、無線または有線の通信インタフェースを備え、ネットワークを経由してクライアントであるパソコンまたは携帯端末などと通信して、画像とオブジェクト情報およびクライアントからの指令などを送受信する。
【０１３４】
上述のように、座標対応装置２０の動作は、制御部３１が、主記憶部３２、外部記憶部３３、操作部３４、入出力部３５、表示部３６および送受信部３７などと協働して行う。図１、図１０または図１２の入力部１、画像生成要求部３、３次元データ入力部３、オブジェクト情報蓄積部４、画像生成部５、情報統合部６、画像出力部７、オブジェクト情報入力部８、オブジェクト情報取得部９、オブジェクト情報登録部１０、実写画像入力部１２、オブジェクト抽出部１３、および３次元モデル抽出部１４の処理は、制御プログラム４０が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、入出力部３５、表示部３６および送受信部３７などを資源として用いて処理することによって実行する。
【０１３５】
本発明の実施の形態では、機能別に分けて説明をしたが、入力部１と、画像出力部７と、オブジェクト情報入力部８とをクライアントとして、パーソナルコンピュータと、デジタルカメラと、位置測定器などとで構成したり、ＧＰＳ機能付や方位測定機能を搭載したカメラ付携帯電話などで構成してもよい。また、実施の形態の他の構成要素をサーバとして、クライアントとの間を有線・無線などの通信システムで接続してもよい。
【０１３６】
その他、本発明の好適な変形として、以下の構成が含まれる。
【０１３７】
本発明の第１の観点に係る座標対応装置について、好ましくは、前記情報表示手段は、前記情報入力手段で情報を入力した画像とは異なる画像において、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示することを特徴とする。
【０１３８】
または、あるいはさらに、前記画像入力手段は、前記３次元データ入力手段で入力した３次元モデリングデータに基づいて、前記画像条件入力手段で入力した画像の属性条件で生成された画像を入力することを特徴とする。
【０１３９】
好ましくは、前記画像入力手段は、物体を撮影した画像を入力し、
前記画像条件入力手段は、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定手段は、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定することを特徴とする。
【０１４０】
または、あるいはさらに、異なる視点から撮影された２以上の画像から、物体とその３次元モデリングデータを抽出する物体抽出手段を備え、
前記３次元データ入力手段は、前記物体抽出手段から３次元モデリングデータを入力し、
前記画像入力手段は、物体を撮影した画像を入力し、
前記画像条件入力手段は、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定手段は、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定することを特徴とする。
【０１４１】
さらに好ましくは、前記３次元データ入力手段は、仮想的な物体を含む３次元モデリングデータを入力し、
前記画像表示手段は、前記仮想的な物体に対応する領域を画像に重畳して表示し、
前記指定手段は、前記仮想的な物体に対応する画像の領域を選択して指定する場合があることを特徴とする。
【０１４２】
本発明の第２の観点に係る座標対応方法について、好ましくは、前記情報表示ステップは、前記情報入力ステップで情報を入力した画像とは異なる画像において、前記物体特定ステップで特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示することを特徴とする。
【０１４３】
または、あるいはさらに、前記画像入力ステップは、前記３次元データ入力ステップで入力した３次元モデリングデータに基づいて、前記画像条件入力ステップで入力した画像の属性条件で生成された画像を入力することを特徴とする。
【０１４４】
好ましくは、前記画像入力ステップは、物体を撮影した画像を入力し、
前記画像条件入力ステップは、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定ステップは、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定することを特徴とする。
【０１４５】
または、あるいはさらに、前記画像入力ステップは、物体を撮影した画像を入力し、
異なる視点から撮影された２以上の画像から、物体とその３次元モデリングデータを抽出する物体抽出ステップを備え、
前記３次元データ入力ステップは、前記物体抽出ステップで抽出した３次元モデリングデータを入力し、
前記画像条件入力ステップは、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定ステップは、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定することを特徴とする。
【０１４６】
さらに好ましくは、前記３次元データ入力ステップは、仮想的な物体を含む３次元モデリングデータを入力し、
前記画像表示ステップは、前記仮想的な物体に対応する領域を画像に重畳して表示し、
前記指定ステップは、前記仮想的な物体に対応する画像の領域を選択して指定する場合があることを特徴とする。
【０１４７】
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【０１４８】
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、入出力部３５、表示部３６および送受信部３７などから構成される座標対応装置２０の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する座標対応装置２０を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで座標対応装置２０を構成してもよい。
【０１４９】
また、座標対応装置２０の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【０１５０】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【０１５１】
【図１】本発明の実施の形態１に係る座標対応装置の構成の一例を示すブロック図である。
【図２Ａ】３次元モデリングデータの構成の一例を示す図である。
【図２Ｂ】３次元モデリングデータの構成の一例を示す図である。
【図３Ａ】図２Ａの３次元モデリングデータから生成した画像の例を示す図である。
【図３Ｂ】図２Ｂの３次元モデリングデータから生成した画像の例を示す図である。
【図４】画像ファイルの表示画像の全領域の情報の構成の一例を示す図である。
【図５】画像ファイル内のオブジェクトの領域情報を構成する一例を示す図である。
【図６】画像内の表示領域と、オブジェクトとの対応関係を表す情報構成の一例を示す図である。
【図７】物体の識別番号とオブジェクト情報とを関連づける情報構成の例を示す図である。
【図８】実施の形態１に係る座標対応装置の動作の一例を示すフローチャートである。
【図９Ａ】実施の形態１に係るオブジェクト情報表示処理の動作の一例を示すフローチャートである。
【図９Ｂ】実施の形態１に係るオブジェクト情報登録処理の動作の一例を示すフローチャートである。
【図１０】本発明の実施の形態２に係る座標対応装置の構成の一例を示すブロック図である。
【図１１】実施の形態２に係る座標対応装置の動作の一例を示すシーケンス図である。
【図１２】本発明の実施の形態３に係る座標対応装置の構成の一例を示すブロック図である。
【図１３】２枚の撮影画像と抽出した３次元モデリングデータを表す模式図である。
【図１４】複数の撮影画像からオブジェクトを抽出して３次元モデリングデータを得る場合の一例を示すシーケンス図である。
【図１５】実施の形態４に係るオブジェクト情報登録処理の動作の一例を示すフローチャートである。
【図１６】道路と建物を表示する画面上で、交差点を仮想的な物体とする場合の概念図である。
【図１７】仮想的な物体として初めに設定した３次元データから生成したオブジェクトの領域情報の例を示す図である。
【図１８】新規に登録した仮想的な物体の識別番号とオブジェクト情報とを関連づけた情報構成の例を示す図である。
【図１９】仮想的な物体の位置を変更した３次元データから生成したオブジェクトの領域情報の例を示す図である。
【図２０】位置を変更したのちの仮想的な物体の識別番号とオブジェクト情報とを関連づけた情報構成の例を示す図である。
【図２１】既存の３次元データの中に仮想的な物体（の３次元データ）を登録する場合の概念図である。
【図２２】本発明の実施の形態に係る座標対応装置のハードウェア構成の一例を示すブロック図である。
【符号の説明】
【０１５２】
１ 入力部
２ 画像生成要求部
３ ３次元データ入力部
４ オブジェクト情報蓄積部
５ 画像生成部
６ 情報統合部
７ 画像出力部
８ オブジェクト情報入力部
９ オブジェクト情報取得部
１０ オブジェクト情報登録部
１２ 実写画像入力部
１３ オブジェクト抽出部
１４ ３次元モデル抽出部
２０ 座標対応装置
３０ 内部バス
３１ 制御部
３２ 主記憶部
３３ 外部記憶部
３４ 操作部
３５ 入出力部
３６ 表示部
３７ 送受信部
４０ 制御プログラム
【技術分野】
【０００１】
本発明は、座標対応装置および方法に関する。より詳しくは、画像の中のオブジェクトに対して付与された情報を、画像に表示する座標対応装置および方法に関する。
【背景技術】
【０００２】
画像を表示する装置を備える端末の普及に伴って、画像を扱う技術が開発されている。例えば特許文献１には、各位置に固有な情報を案内情報として利用してなる地理空間案内装置が記載されている。特許文献１の技術は、複数に区分化された地図とその地図上の任意の視点および係る視点における方位に基づいて作成された風景静止画を保持しておき、利用者が区分地図、視点、方位を指示することにより、方位方向を軸として任意の角度領域の区分地図と風景静止画の所定領域とを配信する。
【０００３】
特許文献２には、任意地点における映像を端末の環境条件に応じて配信する技術が記載されている。特許文献２の技術は、クライアントシステムの種別や移動速度などの端末環境情報を元に、あらかじめ定められたルールに基づき視点移動経路を自動生成し、視点移動経路に沿った、パノラマ画像、静止画、あるいはムービー等の映像をオンデマンドで生成する。また、特許文献３には、利用者の端末の種類に応じて、提供する情報の形態を変更する技術が記載されている。
【０００４】
特許文献４には、地図を３次元的に描画した景観図として携帯端末に表示させる技術が記載されている。特許文献４の技術は、携帯端末からの位置情報により歩行者が存在する候補道路を抽出し、その候補道路の特徴画像を歩行者に選択させることで現在位置および進行方向を取得する。さらに、その現在位置から進行方向に見える景観図を作成して携帯端末に表示させるとともに、景観図に描かれた表示建物のうち、歩行者により指定された表示建物の建物案内データを携帯端末に表示する。
【０００５】
特許文献５には、カメラで撮影した前方画像と３Ｄ（3-Dimentional：３次元的な）地図とを一致させて周囲状況に応じた案内を行うことが記載されている。特許文献５の技術は、現在位置に応じた２Ｄ地図データを取得し、移動体が進行する方位の前方を撮像した画像から、２Ｄ地図の俯瞰角度、倍率および横方向位置を調整して、撮像手段で撮像することにより得られた前方画像に一致する３Ｄ地図を生成する。前方画像および３Ｄ地図を、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、現在位置の周囲状況を判定する。
【０００６】
地図データには含まれていない車両などの物体を含めて自車位置周辺の平面図を表示する技術が、特許文献６に記載されている。それは、地図データと、物体の３次元データを記憶しておき、撮影した車両の周辺の映像を用いて、車両に対応する３次元データを選択し、選択した３次元データから物体の画像を前記車両の周辺の地図上に配置して表示する。
【特許文献１】特開２００２−２５１３９６号公報
【特許文献２】特開２００４−３２６４４３号公報
【特許文献３】特開２００４−３５０００６号公報
【特許文献４】特開２００５−２４１３８６号公報
【特許文献５】特開２００６−１１９０９０号公報
【特許文献６】特開２００７−０１０５１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
画像内に表示されている個々のオブジェクト（object）に対して情報を付与する方法としては、インターネット閲覧ソフトであるウェブブラウザ（World Wide Web browser)のクリッカブルマップ（clickable map）機能や、アンカー(anchor)情報表示技術がある。クリッカブルマップ機能は、画像内のオブジェクトが占める領域の座標に対して、付与させたい情報をもつ別サイトへのリンク情報を定義しておき、マウスなどでクリックした際に定められたリンク先に移動し情報を表示するものである。また、アンカー情報表示技術は、カーソルを所定の場所に移動させた際にカーソル下にあるオブジェクトのリンク先の指定情報を表示するものである。
【０００８】
ＣＧ（Computer Graphics）などの関連する技術の第１の問題点は、例えば家・ビルなどの建物、木・橋・信号・電柱などの立体モデルである３次元オブジェクトに対して付与した情報を、画像内のオブジェクトに反映できないことである。それは、３次元オブジェクトに緯度・経度や大きさの情報を関連付けているが、画像作成時には、画像内でのオブジェクトの位置情報を描画のための情報としてのみ使用しているからである。
【０００９】
第２の問題点は、複数枚の画像内に、同一の情報を表示させたい同じ物体が表示されている場合に、それぞれの画像内のオブジェクトに対して情報を付与しなければならないことである。それは、ある画像内のオブジェクトと、その画像とは別の画像内のオブジェクトとの同一性を保持する手段がないためである。
【００１０】
第３の問題点は、ある画像内に描画されているオブジェクトに対してオブジェクトの情報を登録しても、同じオブジェクトが描画されている別の画像内のオブジェクトへ、その登録情報を反映できない点である。その理由は、第２の問題点と同様に、画像単位でオブジェクトの情報を保持しているため、他の画像内で同一の物体に対するオブジェクトの情報を登録していても、同一のオブジェクトに対する情報という関連付けがされていないためである。
【００１１】
第４の問題点は、情報を付与できる対象が、立体オブジェクト（例えば家・ビルなどの建物、木・橋・信号・電柱など）に対応して画像内に描画されているオブジェクトに限られていることである。それは、情報を付与する対象のオブジェクトが立体オブジェクトのみにしか対応していないためである。
【００１２】
本発明は、上述の事情に鑑みてなされたもので、画像内のオブジェクトに対して付与した情報を、オブジェクトに対応する物体に関連づけることができる座標対応装置、および方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明の第１の観点に係る座標対応装置は、
物体の３次元モデリングデータを入力する３次元データ入力手段と、
前記物体を表示する画像を入力する画像入力手段と、
前記画像入力手段で入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力手段と、
前記画像入力手段で入力した画像を表示する画像表示手段と、
前記画像表示手段に表示した画像上で、情報を入力する位置を指定する指定手段と、
前記指定手段で指定した位置に付与する情報を入力する情報入力手段と、
前記指定手段で指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定手段と、
前記物体特定手段で特定された物体の３次元モデリングデータに、前記情報入力手段で入力した情報を関連付けて記憶する記憶手段と、
前記画像入力手段で入力した画像の上に、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示手段と、
を備えることを特徴とする。
【００１４】
本発明の第２の観点に係る座標対応方法は、
物体の３次元モデリングデータを入力する３次元データ入力ステップと、
前記物体を表示する画像を入力する画像入力ステップと、
前記画像入力ステップで入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力ステップと、
前記画像入力ステップで入力した画像を表示する画像表示ステップと、
前記画像表示ステップに表示した画像上で、情報を入力する位置を指定する指定ステップと、
前記指定ステップで指定した位置に付与する情報を入力する情報入力ステップと、
前記指定ステップで指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定ステップと、
前記物体特定ステップで特定された物体の３次元モデリングデータに、前記情報入力ステップで入力した情報を関連付けて記憶する記憶ステップと、
前記画像入力ステップで入力した画像の上に、前記物体特定ステップで特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示ステップと、
を備えることを特徴とする。
【００１５】
本発明の第３の観点に係るプログラムは、コンピュータを、
物体の３次元モデリングデータを入力する３次元データ入力手段と、
前記物体を表示する画像を入力する画像入力手段と、
前記画像入力手段で入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力手段と、
前記画像入力手段で入力した画像を表示する画像表示手段と、
前記画像表示手段に表示した画像上で、情報を入力する位置を指定する指定手段と、
前記指定手段で指定した位置に付与する情報を入力する情報入力手段と、
前記指定手段で指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定手段と、
前記物体特定手段で特定された物体の３次元モデリングデータに、前記情報入力手段で入力した情報を関連付けて記憶する記憶手段と、
前記画像入力手段で入力した画像の上に、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示手段
として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明の座標対応装置によれば、画像内のオブジェクトに対して付与した情報を、オブジェクトに対応する物体に関連づけることができる。
【発明を実施するための最良の形態】
【００１７】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。本実施の形態では、画像内のオブジェクトに付与した情報を、オブジェクトに対応する３次元データに関連づける座標対応装置について説明する。
【００１８】
以下の説明ではつぎのように用語を使う。「物体」とは、実世界に存在しうるあらゆるものである。物体は、建物に限らず、例えば、果物、動物、人体、コンピュータ、ＯＡ機器など何でもよい。物体には想像上のものも含む。物体の「３次元モデリングデータ（または３次元データ）」とは、物体の位置、形状および向きを含む物体に関する情報を、３次元の座標で表現したデータである。「オブジェクト」とは、画像のなかで１つの物体を表していると認識できる画像上の領域である。「オブジェクト情報」とは、オブジェクトに付けられた情報であって、画像上でオブジェクトとともに表示することができる情報である。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に係る座標対応装置の構成の一例を示すブロック図である。図１に示すように、実施の形態１に係る座標対応装置２０は、入力部１と、画像生成要求部２と、３次元データ入力部３と、オブジェクト情報蓄積部４と、画像生成部５と、情報統合部６と、画像出力部７と、オブジェクト情報入力部８と、オブジェクト情報取得部９と、オブジェクト情報登録部１０とを備える。
【００２０】
入力部１は、画像の種類と、画像を得るために必要な画像条件を入力して、画像生成要求部２へ送る。画像の種類には、中心投影図や平行投影図などがある。画像条件は、視点の座標、視る方向（投影面の法線方向）、および、画角と投影面までの距離もしくは画像サイズと縮尺率などである。入力部１は、例えば、キーボード、携帯電話、携帯情報端末（Personal Digital Assistants：以下ＰＤＡという）などの情報入力手段で構成する。画像条件は、通信回線を経由して取得したホームページの情報などに含まれるデータで与えられることがある。
【００２１】
画像生成要求部２は、入力部１から受け取った情報の中から、生成する画像の種類と、その画像を生成するために必要な画像条件からなる画像生成要求信号を生成して、３次元データ入力部３へ送る。例えば、中心投影図の生成要求の場合には、画像生成要求信号は、中心投影図の生成指示と、視点の緯度、経度、標高、視る方向、画角、投影面までの距離などの画像条件を含む。例えばまた、平行投影図の生成要求の場合には、画像生成要求信号は、平行投影図の生成指示と、投影面中心の座標（緯度、経度、標高）、縮尺、画像サイズなどの画像条件を含む。
【００２２】
３次元データ入力部３は、画像生成要求部２から画像生成要求信号を受け取り、その中に含まれる視点座標と視る方向などの画像条件をもとに、表示する画像領域内に入る３次元モデリングデータを、例えばオブジェクト情報蓄積部４から取得する。そして、３次元データと画像生成要求信号を画像生成部５に送る。
【００２３】
３次元モデリングデータ（以下、３次元データともいう）とは、物体の位置と形状と向きを３次元の座標で表したデータである。３次元データには、物体の位置と形状と向きの外に、面の色、テクスチャ（鏡面か粗面かを含む）、光の反射率および透過率、材質などを含むことがある。
【００２４】
３次元データ入力部３は、外部のデータベースなどから３次元データを入力してもよい。オブジェクト情報蓄積部４に対象範囲の３次元データがあれば、そこから入力する。
【００２５】
本発明では物体に付随すべき情報を３次元データに関連づけて記憶する。物体に付随する情報とは、物体の画像を表示するときに、その物体の画像とともに表示する情報である。したがって、物体に付随する情報は、オブジェクト情報である。本発明では、ある画像のオブジェクト情報と、そのオブジェクトに対応する物体に付随する情報を一体化して取り扱う。以後は、物体に付随する情報とオブジェクト情報を同一のものとして扱う。
【００２６】
オブジェクト情報は、例えば、画像に表示されたあるオブジェクトにポインタを重ねたときに、そのオブジェクトについて表示される情報である。オブジェクト情報には、テキスト、シンボル、画像（クリップアートもしくは写真など）、音響、映像、またはそれらの組み合わせがある。
【００２７】
オブジェクト情報蓄積部４は、３次元データとオブジェクト情報を関連づけて記憶する。３次元データは、座標対応装置２０でオペレータによって入力されるかもしれないし、外部のデータベースなどから通信ネットワークを経由して入力されるかもしれない。また、ＣＤ−ＲＯＭなどの記憶媒体から入力される場合もある。オブジェクト情報蓄積部４がＤＶＤ−ＲＷなどの取替可能な記憶媒体で、３次元データが他の装置で入力される場合もある。ここでは、３次元データの入力経路は問わない。オブジェクト情報蓄積部４のオブジェクト情報は、情報統合部６からの指示により追加・変更される。
【００２８】
図２Ａ、２Ｂは、３次元モデリングデータの構成の例を示す。図２Ａ中の３次元モデリングデータの基本情報は、物体の識別番号がBodyIDに、３次元モデルが存在する位置の経度がLonに、緯度がLatに、標高がAltに保存される。物体をいくつかの部分に分割して定義する場合、それらの部分を識別する符号をPartIDに保存する。他のフィールドも同様にして、物体の部分ごとに、物体のモデルの種類をBodyModelに、３次元モデルの基準点位置をOriginに、直方体などでモデルを描くのに必要なＸ、Ｙ、Ｚの長さをX_axis、Y_axis、Z_axisなどに、円柱や、円錐などを描くのに必要な底面の中心をCenterに、半径をRadiusに、高さをHeightに、保存する。３次元モデリングデータの値は、それぞれのフィールド名で指定される記憶領域の場所に格納される。本来は、物体の向き（または面の向き）を表すデータが必要であるが、理解を容易にするために、図２Ａ、図２Ｂでは物体の向きのデータを省略している。
【００２９】
図２Ａは、京都市役所を想定した３次元モデリングデータの情報構造の例である。座標情報と、ＣＧ等で再現するために必要な直方体を３つ組み合わせた情報と、関連する画像情報の場所と、建物に関する情報を保存する領域などで構成する。物体の識別番号は、「60485710001」である。図２Ａでは、物体を構成する各直方体の向きが南北に沿っていて、また、鉛直方向に傾いていないことを想定している。図３Ａは、図２Ａの３次元モデリングデータから生成した画像の例を示す。
【００３０】
図２Ｂは、京都タワーを想定した３次元モデリングデータの情報構造の例であり、直方体１つと、円錐１つと、円柱２つとを組み合わせた情報などで構成する。物体の識別番号は、「60082160002」である。図３Ｂは、図２Ｂの３次元モデリングデータから生成した画像の例を示す。図２Ｂの例でも、物体の向きは鉛直方向に傾いていないことを想定している。図２Ｂの例では、円錐と２つの円柱の重なり部分がどちらにも規定されていることになるが、図２Ｂのモデルは、そのような重複を許す場合である。重複がないように規定するには、例えば、２つの円柱と、１つの円錐と、２つの円錐台と直方体によって構成することができる。
【００３１】
画像生成部５は、３次元データを画像生成要求信号にもとづいて変換して、表示用の画像ファイルを生成する。生成する画像について制限はない。例えば、平行投影図で地図のような画像かもしれないし、中心投影図でいわゆる３ＤＣＧ（3-Dimensional Computer Graphics）の場合もある。３ＤＣＧの場合、画像条件には例えば、光源の位置または照明光の方向、照明光の色と光の強さなどを含む。
【００３２】
画像生成部５は、生成した画像ファイルを画像出力部７へ送るとともに、画像ファイル内のオブジェクトの領域情報を情報統合部６へ送る。オブジェクトの領域情報とは、画像におけるオブジェクトが占める領域（画素の集合）の位置と形状を、画像の座標で表したデータである。
【００３３】
オブジェクトは１つの物体について１つとは限らない。１つの物体が、前景にある他の物体によって複数の部分に分割されて表示される場合がある。その場合でも、１つの物体に対応する複数のオブジェクトごとに領域情報を生成する。領域情報は、対応する物体の３次元データの識別番号（物体の識別番号：BodyID）をつけて識別する。したがって、同じ３次元データの識別番号（BodyID）を有する複数の領域情報が生成される場合がある。
【００３４】
あるいは、１つの物体についてオブジェクトを１つとして、オブジェクトの重なり順序を表すデータをインデックスとして保持してもよい。後述の画像と領域情報の対応関係を表すデータでは、インデックスを用いている。その場合も、オブジェクトの領域情報は、物体の識別番号をつけて識別される。
【００３５】
図４は、生成した画像ファイルの表示画像の全領域の情報の構成の一例を示す。画像ファイルの基本情報として、生成した画像ファイルの保存場所がImageURLに、画像生成時の視点の経度がLonに、緯度がLatに、地上高さがAltに、視る方向の方位角がAzimuthに、仰角がElevationに、生成した画像ファイルサイズがWidthとHeightに、保持して登録される。ImageIDは画像ファイル登録時に、重複しないように自動的に割当られる。
【００３６】
図５は、生成した画像ファイル内のオブジェクトの領域情報を構成する一例を示す。画像ファイルの表示画像の全領域内で表示しているオブジェクトの領域情報を登録し、複数のオブジェクトの場合には、同様の情報を追加して構成する。図５中のImageIDは画像テーブル（図４）のImageIDと同じもので、画像を識別する。Indexは、画像内にあるオブジェクトに対応する物体の位置（経緯度）が、視点に近いものから順に識別するインデックス値を示す。BodyIDは、オブジェクトに対応する物体の（３次元データの）識別番号である。Obj_LX、Obj_LY、Obj_RX、Obj_RYにはオブジェクトが表示されている画像ファイル内の左上画像座標（X、Y）と右下画像座標（X、Y）を登録する。
【００３７】
図５では、理解を容易にするために、オブジェクトの形状を長方形とみなして、左上画像座標と右下画像座標のみ登録している。実際には、オブジェクトの形状（と位置）を表すように、オブジェクトの外形の頂点の座標などを登録する。
【００３８】
図６は、画像内の表示領域と、オブジェクトとの対応関係を表す情報構成の一例を示す。図４に示す表示画像の全表示領域の情報に、表示領域内にある各オブジェクトについて、図５に示す領域情報の構成のデータを加えたものである。各オブジェクトにはIndexが割り当てられているので、複数のオブジェクトの間で表示領域が重なっていてもインデックスの順に表示・指定することができる。
【００３９】
画像内の任意の点に対して、その点が含まれるオブジェクトを領域情報によって判断することができる。インデックスによってオブジェクトの順が表されている場合は、オブジェクトの重なり部分について、インデックスの順にオブジェクトを選択するように構成できる。領域情報に含まれる３次元データの識別番号を参照して、指定した点が含まれるオブジェクトに対応する３次元データを知ることができる。
【００４０】
図７は、物体の識別番号とオブジェクト情報とを関連づける情報構成の例を示す。物体の識別番号に対応して、オブジェクト情報が格納される。図７の例では、物体の緯度、経度、標高などの位置情報を合わせて格納している。オブジェクト情報は、物体の識別番号で３次元データと対応づけられる。
【００４１】
情報統合部６は、例えば図６に示すように、オブジェクトの領域情報と、オブジェクトと３次元データとを対応付けるデータを保持する。情報統合部６は、オブジェクト情報を表示する場合は、オブジェクト情報取得部９から画像上の指定した点の座標を受け取って、その点を含むオブジェクトのオブジェクト情報を返す。オブジェクト情報を登録する場合は、オブジェクト情報登録部１０から、画像上の指定した点の座標とオブジェクト情報を受け取って、その点を含むオブジェクトに対応する３次元データに、オブジェクト情報を結合する。
【００４２】
画像出力部７は、画像生成部５で生成された画像ファイルを表示する。画像出力部７は、例えば、コンピュータのディスプレイ、携帯電話またはＰＤＡの表示装置などの情報出力手段で構成する。
【００４３】
オブジェクト情報入力部８は、画像出力部７で表示している画像ファイル内で、情報を表示させたいオブジェクトの指定、または情報を登録したいオブジェクトの指定と、オブジェクト情報の入力を受け付ける。オブジェクト情報入力部８は、例えば、マウス、タッチパネルなどの情報入力手段を備える。オブジェクト情報入力部８は、画像に重ねたポインタ位置、またはクリックしたときのポインタ位置の画像内の座標データを取得する。オブジェクト情報を表示する場合は、指定した点の座標を、オブジェクト情報取得部９へ送る。オブジェクトの領域情報にインデックスを含む場合は、座標データにインデックスを含む。
【００４４】
オブジェクト情報を登録する場合は、キーボードなどから入力されたオブジェクト情報を、指定した点の座標とともにオブジェクト情報登録部１０へ送る。オブジェクト情報入力部８からオブジェクト情報登録部１０に送られるのは、オブジェクト情報の格納場所を示すデータの場合がある。
【００４５】
オブジェクト情報取得部９は、オブジェクト情報入力部８から受信した画像内の指定した点の座標を情報統合部６に送り、情報統合部６からから、その点を含むオブジェクトのオブジェクト情報を取得する。情報統合部６は、図６に示すオブジェクトの領域情報を参照して、指定された点を含むオブジェクトを選択する。そして、選択したオブジェクトに対応する３次元データの識別番号によって、オブジェクト情報蓄積部４からオブジェクト情報を取り出し、オブジェクト情報取得部９に送る。オブジェクト情報取得部９は、取得したオブジェクト情報を表示するデータを生成して、画像出力部７に送る。画像出力部７は、オブジェクト情報表示データを画像に重ねて表示する。
【００４６】
オブジェクト情報は、オブジェクトにマウスなどでポインタを重ねたときに、そのオブジェクトに対応するオブジェクト情報を表示するようにしてもよい。オブジェクト情報が音声や映像のような場合には、オブジェクトの上でクリックしたときに再生を開始してもよい。オブジェクト情報が画像や映像の場合は、表示した画像に重ねた枠または別の枠で表示してもよい。
【００４７】
オブジェクト情報登録部１０は、オブジェクト情報入力部８からの入力が、オブジェクト情報の格納場所を示すデータの場合は、格納場所を参照して、対象のファイルを読み込む。そして、入力したデータまたは読み込んだファイルを指定した点の座標とともに、情報統合部６に送る。
【００４８】
情報統合部６は、オブジェクト情報登録部１０から、画像上の指定した点の座標とオブジェクト情報を受け取って、指定された点を含むオブジェクトの領域情報を選択する。そして選択したオブジェクトに対応する３次元データに、受け取ったオブジェクト情報を結合する。情報統合部６は、３次元データに結合されたオブジェクト情報をオブジェクト情報蓄積部４に格納する。対象の３次元データにオブジェクト情報が登録されている場合には、オブジェクト情報を更新する。
【００４９】
さらに、情報統合部６は、登録したオブジェクト情報と指定した点の座標をオブジェクト情報取得部９に送ってもよい。その場合、オブジェクト情報取得部９は、オブジェクト情報を表示するデータを生成して、画像出力部７に送る。その結果、新たに登録されたオブジェクト情報が画面に表示される。
【００５０】
３次元データ入力部３は、３次元データとともにオブジェクト情報を入力して、画像生成部５に送るので、オブジェクト情報が３次元データに対応づけて記憶されていれば、改めて画像を生成するときに、オブジェクト情報を画像のオブジェクトに重ねて表示することができる。したがって、視点が異なる別の画像を表示する場合でも、オブジェクト情報を登録したときの画像に対して表示されるのと同じオブジェクト情報を、同じ３次元データに対応するオブジェクトに付随して表示することができる。
【００５１】
図８は、座標対応装置２０の動作の一例を示すフローチャートである。図８は、画像を表示してオブジェクト情報を表示または入力する動作の例を示す。
【００５２】
入力部１は、生成する画像の種類と、画像を得るために必要な視点の緯度、経度、標高、視覚方向、画角、画像サイズ、縮尺率などの画像条件とを入力して、画像生成要求部２へ送る（ステップＳ１０１）。画像条件はオペレータによって入力されることもあるし、通信回線を経由して取得したホームページの情報などに含まれるデータで与えられることもある。
【００５３】
画像生成要求部２は、入力部１から受け取った情報をもとに、生成する画像の種類と、その画像を生成するために必要な画像条件からなる画像生成要求信号を作成して、３次元データ入力部３に送る（ステップＳ１０２）。
【００５４】
３次元データ入力部３は、画像生成要求信号の画像条件をもとに、表示する画像領域内に入る３次元モデリングデータを、例えばオブジェクト情報蓄積部４から取得する。そして、３次元データを画像生成要求信号とともに画像生成部５に送る（ステップＳ１０３）。物体ごとの３次元データは、物体の識別番号で識別される。
【００５５】
画像生成部５は、３次元データを画像生成要求信号にもとづいて変換して、表示用の画像ファイルを生成する（ステップＳ１０４）。画像生成部５は、オブジェクトの領域情報を生成する（ステップＳ１０５）。オブジェクトの領域情報は、物体の識別番号を含む。画像生成部５は、生成した画像ファイルを画像出力部７へ送るとともに、画像ファイル内のオブジェクトの領域情報を情報統合部６へ送る。画像出力部７は、画像ファイルを表示する（ステップＳ１０６）。
【００５６】
画像を表示した状態で、オブジェクト情報入力部８は、オブジェクト情報が入力されるのを待機する（ステップＳ１０７、ステップＳ１０８；ＮＯ、ステップＳ１０９；ＮＯ、ステップＳ１１１；ＮＯ）。画像表示の終了が入力された場合は（ステップＳ１０８；ＹＥＳ）、画像表示を停止する（ステップＳ１１３）。画像表示を終了せず（ステップＳ１０８；ＮＯ）、オブジェクト情報を表示する場合は（ステップＳ１０９；ＹＥＳ）、オブジェクト情報表示処理を行う（ステップＳ１１０）。オブジェクト情報を入力する場合は（ステップＳ１０９；ＮＯ、ステップＳ１１１；ＹＥＳ）、オブジェクト情報登録処理を行う（ステップＳ１１２）。
【００５７】
図９Ａは、オブジェクト情報表示処理の動作の一例を示す。図９Ａの処理は、図８のステップＳ１１０の内容である。
【００５８】
オブジェクト情報入力部８は、オブジェクト情報を表示する指令を入力すると、オブジェクト情報を表示するオブジェクトを選択するために指定された位置（ポインタなど）の座標データを取得し、オブジェクト情報取得部９へ送る（ステップＳ２０１）。オブジェクト情報取得部９は、指定された位置の座標データを情報統合部６に送る。
【００５９】
情報統合部６は、受信した画像内の位置情報から、図６に示すオブジェクトの領域情報を参照して、その点を含むオブジェクトの領域情報を選択して、その領域情報につけられた物体の識別番号を取得する（ステップＳ２０２）。そして、選択した物体の識別番号に関連づけられるオブジェクト情報を検索し（ステップＳ２０３）、オブジェクト情報取得部９に送る。
【００６０】
オブジェクト情報取得部９は、オブジェクト情報があれば（ステップＳ２０４；ＹＥＳ）、そのオブジェクト情報を表示するデータを生成する（ステップＳ２０５）。オブジェクト情報がなければ（ステップＳ２０４；ＮＯ）、「オブジェクト情報なし」を表示するデータを生成する（ステップＳ２０６）。「オブジェクト情報なし」の表示データは定形データでよい。
【００６１】
オブジェクト情報取得部９は、生成したデータを画像出力部７に送り、画像に重ねて表示する（ステップＳ２０７）。「オブジェクト情報なし」は表示しなくてもよい。
【００６２】
図９Ｂは、オブジェクト情報登録処理の動作の一例を示す。図９Ｂの処理は、図８のステップＳ１１２の内容である。
【００６３】
オブジェクト情報入力部８は、オブジェクト情報を入力するために指定された位置の座標データを取得し、オブジェクト情報登録部１０へ送る（ステップＳ２１１）。また、キーボードなどから入力されたオブジェクト情報をオブジェクト情報登録部１０へ送る（ステップＳ２１２）。
【００６４】
オブジェクト情報登録部１０は、オブジェクト情報入力部８からの入力が、オブジェクト情報の格納場所を示すデータの場合は、格納場所を参照して、対象のファイルを読み込む。そして、記憶したデータまたは読み込んだファイルを座標データとともに、情報統合部６に送る。
【００６５】
情報統合部６は、受信した画像内の位置情報から、その点を含むオブジェクトの領域情報を選択して、その領域情報につけられた物体の識別番号を取得する（ステップＳ２１３）。そして、物体の識別番号にオブジェクト情報を結合する（ステップＳ２１４）。情報統合部６は、３次元データに結合されたオブジェクト情報をオブジェクト情報蓄積部４に格納する（ステップＳ２１５）。対象の３次元データにオブジェクト情報が登録されている場合には、オブジェクト情報を更新する。
【００６６】
再び図８を参照して、オブジェクト情報表示処理（ステップＳ１１０）、またはオブジェクト情報登録処理（ステップＳ１１２）を終えると、オブジェクト情報入力部８は、オブジェクト情報が入力されるのを待機する（ステップＳ１０７）。
【００６７】
実施の形態１の座標対応装置２０によれば、入力した画像条件により３次元モデリングデータから生成して表示した画像で、画像内のオブジェクトに対して入力した情報を、そのオブジェクトに対応する３次元モデリングデータに関連づけて記憶する。その結果、別の画像を表示する場合でも、オブジェクト情報を登録したときの画像に対して表示されるのと同じオブジェクト情報を、同じ３次元データに対応するオブジェクトに付随して表示することができる。
【００６８】
なお、オブジェクト情報を入力するために指定された位置に対応する物体の３次元データを特定するには、オブジェクトの領域情報を用いなくてもよい。例えば、画像の視点と画像上の指定位置とを結ぶ線（視線）の延長と、３次元データで表現された面が交わる点から、情報を付与したい物体の３次元データを特定することができる。
【００６９】
（実施の形態２）
実施の形態２の座標対応装置２０は、実施の形態１の機能に加えて、登録している物体を撮影した画像を入力して、画像内のオブジェクト情報を表示したり、画像内のオブジェクト情報を登録・更新することにより、物体の情報を登録・更新する機能がある。図１０は、本発明の実施の形態２に係る座標対応装置２０の構成の一例を示すブロック図である。実施の形態２の座標対応装置２０は、実施の形態１の構成に加えて、実写画像入力部１２と、オブジェクト抽出部１３とを備える。
【００７０】
実写画像入力部１２は、撮影した画像と、その画像を撮影した点（視点）の位置（座標）、画像を撮影した（視る）方向および画角などの情報を入力する機能を備える。オブジェクト抽出部１３は、撮影画像の中から情報を登録するオブジェクトを抽出する機能を備える。その他の構成は、実施の形態１と同様であるが、実写画像入力部１２と、オブジェクト抽出部１３とを作動させるための機能を備える。
【００７１】
実写画像入力部１２は、撮影した画像と、撮影時の位置・方位・仰角などの画像条件を入力する手段であり、入力した画像と画像条件などの情報をオブジェクト抽出部１３へ送る。実写画像入力部１２は、例えば、ＧＰＳ（Global Positioning System）機能と方位測定機能を搭載したカメラなどが考えられる。通常のカメラで撮影した画像を実写画像入力部１２から入力し、位置・方位・仰角・生成する画像サイズなどの画像条件を別に入力してもよい。その場合、座標対応装置２０の内部で撮影画像と画像条件を対応させる。
【００７２】
オブジェクト抽出部１３は、実写画像入力部１２で入力した撮影画像から、物体に対応すると想定されるオブジェクト（以下、撮影オブジェクトという）を抽出する。画像処理の方法は、エッジ検出技術や、輪郭形状抽出技術や、マスク処理などのオブジェクトを抽出する技術である。そして、図６の領域情報と同様の撮影オブジェクトの領域情報を生成して、情報統合部６に送る。ただし、撮影オブジェクトと３次元データとの対応関係はこの段階では分からない。オブジェクト抽出部１３はまた、撮影画像と画像条件を３次元データ入力部３へ送る。
【００７３】
３次元データ入力部３は、オブジェクト抽出部１３から撮影画像と画像条件とを受け取り、画像条件に対応する表示領域の３次元モデリングデータを入力する。そして、３次元データと撮影画像および画像条件をともに画像生成部５へ送る。
【００７４】
画像生成部５は、撮影画像から表示するための画像ファイルを作成する。画像生成部５は、３次元データを画像条件にもとづいて変換して、撮影画像と同じ画像条件の画像（以下、生成画像という）を生成する。このとき、生成画像について、オブジェクトの領域情報を生成する。オブジェクトの領域情報は、物体の識別番号をつけて識別される。画像生成部５は、画像ファイルを画像出力部７へ送る。また、生成画像内のオブジェクトの領域情報を情報統合部６へ送る。
【００７５】
オブジェクト情報入力部８、オブジェクト情報取得部９およびオブジェクト情報登録部１０は、実施の形態１と同様に動作する。実施の形態２では、表示されているのが撮影画像であることが異なる。情報統合部６は、生成画像の領域情報と、オブジェクト抽出部１３から受信した撮影オブジェクトの領域情報とを対応させて、指定された点を含む（生成画像の）オブジェクトの領域情報を選択する。撮影画像と同じ画像条件の生成画像について、オブジェクトの領域情報を保持しているので、撮影画像の中でオブジェクトを選択するために指定された位置（ポインタなど）の座標データから、対応している生成画像のオブジェクトを選択することができる。
【００７６】
撮影オブジェクトの領域情報はなくてもよい。したがって、撮影画像を３次元データ入力部３および画像生成部５で扱わずに、実写画像入力部１２から画像出力部７に送って表示してもよい。また、３次元データから物体の外形線（ワイヤーフレーム）だけの画像を生成して、撮影画像に重ねて表示してもよい。
【００７７】
オブジェクト情報の表示とオブジェクト情報の登録は、実施の形態１と同様に行う。ただし、表示されている画像が撮影画像であり、オブジェクト情報は撮影画像に重ねて表示される。オペレータは撮影画像についてオブジェクト情報を付与するオブジェクトを選択する。
【００７８】
オブジェクト情報を入力するために指定された位置に対応する物体の３次元データを特定するには、オブジェクトの領域情報または撮影オブジェクトの領域情報を用いなくてもよい。撮影画像の画像条件から、例えば、画像の視点と画像上の指定位置とを結ぶ線（視線）の延長と、３次元データで表現された面が交わる点から、情報を付与したい物体の３次元データを特定することができる。撮影したレンズの特性（画像上の任意の点がどの方向を視ていることになるか）がわかっていれば、広角レンズや魚眼レンズで撮影した画像からでも、３次元データを特定することができる。
【００７９】
図１１は、実施の形態２に係る座標対応装置２０の動作の一例を示すシーケンス図である。図１１は、入力部１と、画像出力部７と、オブジェクト情報入力部８と、実写画像入力部１２とをクライアントとして構成し、他の構成要素をサーバにあるとした場合の例を示す。京都市役所を撮影して、情報を登録するまでの処理を例に説明する。撮影範囲の３次元データは、サーバのオブジェクト情報蓄積部４が保持しているものとする。クライアントの例として、パーソナルコンピュータにカメラや方位測定器などを付属して構成するものと、ＧＰＳ機能や方位側的能を搭載したカメラ付き携帯端末で構成するものなどがある。
【００８０】
実写画像入力部１２から撮影した画像と画像条件とを送る。例えば、ＧＰＳ機能と方位測定機能を搭載したカメラ付携帯端末で、「京都市役所」を向いて撮影を行う。撮影する際に、ＧＰＳ機能と方位測定機能により撮影時の位置（経度135．7717833、緯度：35．0077555、地上高さ1.5ｍ）、および撮影方向（方位角：45度、仰角：2度）を自動的に取得する。また、画角はレンズの特性で決まる。生成する画像サイズ（幅：600、高さ：400）を設定し、撮影画像および撮影条件とともにオブジェクト抽出部１３へ送る（ステップＳ３０１）。
【００８１】
３次元データ入力部３は、撮影条件に対応する（京都市役所を含む）表示領域の３次元データを入力する。撮影画像、画像条件および３次元データを、画像生成部５へ送る。画像生成部５は、３次元データから画像条件で画像（生成画像）と、オブジェクトの領域情報を生成する。また、撮影画像の画像ファイルを生成し、任意の命名規則により識別できる名前（例えば、20070123120000.jpg）をつけて、クライアントに送る（ステップＳ３０２）。撮影画像にオブジェクトの外形線を重ねて表示してもよい。画像生成部５は、また、生成した画像内のオブジェクトの領域情報を情報統合部６へ送る（ステップＳ３０３）。
【００８２】
画像出力部７は、画像生成部５から、表示用の画像ファイル（20070123120000.jpg）を受け取り、画面に表示する（ステップＳ３０４）。ここでは、撮影画像にオブジェクトの外形線を重ねて表示することを想定している。表示用の画像ファイルを送らずに、クライアントで撮影画像だけを表示してもよい。
【００８３】
オブジェクト情報入力部８は、画像出力部７で表示している画像内の「京都市役所」の任意の位置（ここでは（250,100)とする）を指定する入力を受け付ける。オブジェクト情報入力部８は画像出力部７に、指定された点に対して登録されている情報を表示するか、新たに情報を登録するかなどの選択メッセージ情報を表示する（ステップＳ３０５）。
【００８４】
利用者が登録されている情報の表示を選んだ場合には（ステップＳ３０５；表示）、情報表示要求をオブジェクト情報取得部９へ送り（ステップＳ３０６）、情報統合部６を介して、オブジェクト情報蓄積部４内の物体「京都市役所」に登録されているオブジェクト情報を読み出して、画像出力部７へ送る（ステップＳ３０７）。画像出力部７は、「京都市役所」に現在登録されているオブジェクト情報を受け取り表示する（ステップＳ３０８）。なお、受け取った情報のみ表示するか、既に保持する画像ファイルに重ねて表示するかは任意である。
【００８５】
利用者が新たな情報の登録を選んだ場合には（ステップＳ３０５；登録）、画像出力部７の画面上に、情報を入力する枠を表示する。利用者がオブジェクト情報入力部８から登録する情報を入力すると、画像ＩＤ（ImageID）や指定点画像座標（250,100)とともに、オブジェクト情報登録部１０へ送る（ステップＳ３０９）。ここでは、「京都市役所」に登録するオブジェクト情報を「今月の催し」とする。なお、クライアントとサーバの通信セッションで画像ＩＤが特定できる場合は、画像ＩＤを送信しなくてもよい。
【００８６】
オブジェクト情報登録部１０は、指定された「京都市役所」に対して、オブジェクト情報入力部８から表示している画像ＩＤ（ImageID）と、指定点画像座標（250,100)と、オブジェクト情報「今月の催し」とを受信して、情報統合部６へ送る（ステップＳ３１０）。
【００８７】
情報統合部６は、オブジェクト情報登録部１０から受け取った情報をもとに、登録するオブジェクトを特定する。受け取った情報と画像内のオブジェクトに関する領域情報（図６）から、画像ＩＤ（ImageID）の同一性を判断して画像出力部７で表示している画像を特定し、指定点画像座標がObj_LX、Obj_LY、Obj_RX、Obj_RYで表示する領域に含まれるかを判断して領域情報を特定する。情報統合部６は、特定した領域情報に対応する物体「京都市役所」の識別番号(BodyID）を取得する。なお、表示画面上で複数の物体の識別番号（BodyID）が検索される場合には、画像の手前から登録されているインデックス（index）の値の小さいものが該当するため、一意に決定することができる（ステップＳ３１１）。
【００８８】
情報統合部６は、取得した「京都市役所」の識別番号（BodyID）を元に、物体ごとの位置情報とオブジェクト情報のデータ（図７）の、該当する物体の識別番号（BodyID）のオブジェクト情報（Info）の項目に「今月の催し」を書き込む。情報統合部６は、登録した内容をオブジェクト情報蓄積部４内の情報に反映させる。そして、登録した「京都市役所」のオブジェクト情報をオブジェクト情報取得部９を介して画像出力部７へ送る（ステップＳ３１２）。
【００８９】
画像出力部７は、受信した「京都市役所」のオブジェクト情報「今月の催し」を表示するので、利用者は、登録した内容が正しいかを確認できる（ステップＳ３１３）。
【００９０】
実施の形態２の座標対応装置２０によれば、撮影したリアルな画像を表示させて、画像内に含まれているオブジェクトの情報を表示したり、情報を登録したりすることができる。オブジェクト情報を登録した場合には、登録されている３次元データにオブジェクト情報を関連づけることができ、他の画像内の同一物体を表すオブジェクトに同じオブジェクト情報を表示することができる。
【００９１】
（実施の形態３）
実施の形態３の座標対応装置２０は、実施の形態２の機能に加え、撮影した画像を複数入力して、物体の３次元モデリングデータを抽出する機能を備える。図１２は、本発明の実施の形態３に係る座標対応装置２０の構成の一例を示す。実施の形態３の座標対応装置２０は、実施の形態２の構成に加えて、３次元モデル抽出部１４を備える。３次元モデル抽出部１４は、異なる視点で同一物体を撮影した複数の画像から３次元データを抽出して、オブジェクトの３次元モデリングデータを生成する。その他の構成は実施の形態２と同様であるが、３次元モデル抽出部１４を動作させるための機能を備える。
【００９２】
３次元モデル抽出部１４は、３次元データ入力部３から、複数の撮影画像とその画像条件を受け取り、３次元モデリングデータを抽出する。オブジェクト抽出部１３で抽出した撮影オブジェクトの領域情報を利用してもよい。複数の撮影画像から３次元データを抽出するには、例えば、以下のようにする。
【００９３】
撮影画像からオブジェクトのエッジや頂点などの特徴点を抽出する。撮影画像の視点と投影面上の特徴点とを結ぶ線（視線）を想定する（３次元空間内の直線）。２つの撮影画像の視線が（画像の精度で）交わる点に、その特徴点に対応する物体があると判断できる。撮影オブジェクトの複数の特徴点に対応する空間内の交点をつなぎ合わせて、物体の３次元データを得る。
【００９４】
３次元モデル抽出部１４は、抽出した３次元データを３次元データ入力部３に送る。３次元データ入力部３は、抽出した３次元データに識別番号を付けて、オブジェクト情報蓄積部４に格納する。また、抽出した３次元データとその識別番号を画像生成部５に送る。以降は、実施の形態２と同じである。
【００９５】
図１３は、２枚の撮影画像と抽出した３次元モデリングデータを表す模式図である。図１３（ａ）は、南側から京都市内を撮影した模式図であり、（ｂ）は、東側から京都市内を撮影した模式図である。図１３（ｃ）は、３次元モデリングデータを視覚的に表す概念図である。２つの撮影画像に表示された同一物体のオブジェクト「五重塔」（符号２１）から、「五重塔」の３次元モデリングデータ（ｃ）を得ることができる。
【００９６】
図１４は、複数の撮影画像からオブジェクトを抽出して３次元モデリングデータを得る場合の一例を示すシーケンス図である。実写画像入力部１２は、３次元モデリングデータを登録する物体を撮影した画像と、撮影した位置方向などの画像条件を入力する（ステップＳ４０１）。さらに撮影画像を入力する場合は（ステップＳ４０２；ＹＥＳ）、入力を繰り返す（ステップＳ４０１）。複数の撮影画像を一括して入力してもよいし、すでに蓄積されている撮影画像と組み合わせて３次元データを抽出するよう指示してもよい。
【００９７】
撮影画像入力を終えて（ステップＳ４０２；ＮＯ）、必要なら３次元データを抽出する対象のオブジェクトに含まれる座標を指定する入力を受け付ける（ステップＳ４０３）。そして３次元データ抽出を指示する入力を受けて、オブジェクト抽出部１３に撮影画像とその画像条件、および抽出オブジェクト指定点の座標を送る（ステップＳ４０４）。
【００９８】
オブジェクト抽出部１３は、撮影画像からオブジェクトの輪郭などの特徴点を抽出する（ステップＳ４０５）。オブジェクト抽出部１３は、実写画像入力部１２から送られた撮影画像に対して、指定点画像座標を含む部分の輪郭形状を抽出するなどの画像処理をして、３次元データを作成するためのオブジェクトの候補を抽出する。そして、撮影画像と、輪郭などを抽出した情報と、画像条件などを３次元データ入力部３を介して、３次元モデル抽出部１４へ送る。
【００９９】
３次元モデル抽出部１４は、上述のような方法で３次元データを抽出し、３次元データ入力部３に渡す（ステップＳ４０６）。３次元データ入力部３は、抽出した３次元データに所定の識別番号をつけて、オブジェクト情報蓄積部４に格納する（ステップＳ４０７）。３次元データを継続して抽出する場合は（ステップＳ４０８；ＹＥＳ）、撮影画像を追加するか判断するステップＳ４０２に戻って、動作を繰り返す。３次元データの抽出を継続しない場合は（ステップＳ４０８；ＮＯ）、処理を終了する。
【０１００】
３次元データを抽出したのち、そのデータが正しいかどうか確認するために、３次元データから画像を生成して表示させてもよい。すなわち、抽出した３次元データを画像生成部５に送り、いずれかの撮影画像の画像条件で画像を生成して、画像出力部７で表示する。生成した画像（ワイヤーフレームなど）を、同じ画像条件の撮影画像に重ねて表示してもよい。
【０１０１】
以上で、３次元データが抽出できるので、以降は、実施の形態１または２と同様に、３次元データに関連づけたオブジェクト情報を登録して表示することができる。さらに、異なる方向から物体を撮影した画像の枚数を多くすることにより、より正確な３次元データを作成することができる。
【０１０２】
実施の形態３の座標対応装置２０によれば、オブジェクトを撮影した複数の画像から同一物体を抽出して３次元データを生成することができる。生成した３次元データは、既存の３次元データと同様に、オブジェクト情報を関連づけることができる。その結果、他の画像内の同一物体を表すオブジェクトに、同じオブジェクト情報を表示することができる。
【０１０３】
（実施の形態４）
実施の形態４の座標対応装置２０は、実施の形態１または２の機能に加え、仮想的な物体を設定して、それについて情報を登録して表示する機能を備える。本発明の実施の形態４の構成は、基本的には実施の形態１と同様であるが、情報統合部６は、要求に基づいて仮想的な３次元データを生成して登録する。実施の形態４の座標対応装置２０は、仮想的な物体の３次元データとオブジェクト情報を関連づけて登録・表示する。
【０１０４】
ここで、「仮想的な物体」とは、現実の物体があるかどうかではなく、オブジェクト情報蓄積部４に３次元データがまだ格納されていない物体をいう。したがって、「仮想的な物体」とは、実世界にない物体かもしれないし、実世界にある物体またはその一部の場合もある。
【０１０５】
図１５は、実施の形態４に係るオブジェクト情報登録処理の動作の一例を示すフローチャートである。図１５の処理は、図８のステップＳ１１２に相当する。実施の形態４では、図９Ｂの処理に代えて、例えば、図１５の処理を行う。図１５では、図９Ｂと同じ処理には同じ符号を付けている。すなわち、ステップＳ２１１ないしステップＳ２１５は実施の形態１と同じである。
【０１０６】
オブジェクト情報入力部８は、オブジェクト情報を入力するために指定された位置の座標データを取得し、オブジェクト情報登録部１０へ送る（ステップＳ２１１）。また、キーボードなどから入力されたオブジェクト情報をオブジェクト情報登録部１０へ送る（ステップＳ２１２）。
【０１０７】
ここで、オブジェクト情報登録部１０は、オブジェクト情報を仮想的な物体に対して登録するのか、すでにある３次元データ（表示されているオブジェクト）に対して登録するのか判断する（ステップＳ５０１）。仮想的な物体か、既存の３次元データかの選択は、オブジェクト情報入力と同時に入力させることができる。あるいは、オブジェクト情報を付与するオブジェクトの候補を画像に重ねて表示するか、またはオブジェクトの候補がないことを表示して、仮想的な物体か、既存の３次元データかを選択できるようにしてもよい。オブジェクト情報を付与するオブジェクトの候補を、例えば、色を変えて表示したり、外形を強調表示したり、点滅表示したりして識別することができる。
【０１０８】
既存の３次元データに対してオブジェクト情報を登録する場合は（ステップＳ５０１；ＮＯ）、実施の形態１（ステップＳ２１３ないしステップＳ２１５）と同様なので、説明を省略する。仮想的な物体に対してオブジェクト情報を登録する場合は（ステップＳ５０１；ＹＥＳ）、情報統合部６は所定の仮想的な物体の３次元データを設定する（ステップＳ５０２）。
【０１０９】
仮想的な物体の３次元データは、例えば、以下のように設定できる。指定点座標が含まれるオブジェクトの３次元データがない場合、例えば、地面を指している場合、指定点の地点の地面上のある大きさの物体を想定して、３次元データを設定する。物体の大きさは、例えば、周囲の物体（３次元データ）に囲まれた直方体または円柱、何段階かに設定したものから画像の表示範囲に合わせて選択した大きさの直方体または円柱、などである。
【０１１０】
また、例えば、指定点座標が含まれるオブジェクトの３次元データがある場合、その３次元データの指定点が存在する面の一部、またはその面に付着するある大きさの直方体などである。あるいは、その３次元データが建物の場合、指定点を含んで、２つの水平面で挟まれた部分（例えば、フロアに相当する）などである。これらはいくつかの形状を用意しておいて、選択できるようにしてもよい。
【０１１１】
情報統合部６は、設定した仮想的な物体の３次元データを画像生成部５に送る。画像生成部５は、その３次元データに対応するオブジェクトを生成して（すでに表示している画像の画像条件で生成する）、画像に重ねて表示する（ステップＳ５０３）。仮想的な物体に対応するオブジェクトは、例えば、ワイヤーフレーム、または色つき半透明なオブジェクトで表示してもよい。
【０１１２】
オブジェクト情報入力部８は、表示したオブジェクトに対応する仮想的な物体に、先に入力したオブジェクト情報を関連づけるかどうかの指令を入力する。表示したオブジェクトが適当ではない場合は（ステップＳ５０４；ＮＯ）、ステップＳ５０２に戻って、仮想的な物体の３次元データを設定し直す。オブジェクト情報登録部１０は、情報統合部６に仮想的な物体の変更を指示する。情報統合部６は仮想的な物体の３次元データを設定しなおして、そのオブジェクトを表示させる。
【０１１３】
仮想的な物体の候補として複数の３次元データを設定し、それらに対応する複数のオブジェクトを同時に表示して、その中から選択させてもよい。なお、指定した点が空を指している場合のように、仮想的な物体の位置が特定できない場合、注意を喚起する情報を表示して、指定点を変更させてもよい。また、２つの画像で、入力する点を選択して、その視線の交点を仮想的な物体の位置とすることも可能である。
【０１１４】
表示したオブジェクトに、入力したオブジェクト情報を関連づけて登録する場合（ステップＳ５０４；ＹＥＳ）、オブジェクト情報登録部１０は、仮想的な物体に割り当てた識別番号にオブジェクト情報を結合する（ステップＳ５０５）。情報統合部６は、設定した仮想的な物体の３次元データと、その識別番号に結合されたオブジェクト情報をオブジェクト情報蓄積部４に格納する（ステップＳ５０６）。
【０１１５】
一旦、登録された仮想的な物体の３次元データは、既存の３次元データと同様に扱うことができるが、仮想的な物体を画像に表示する場合は、例えば、ワイヤーフレームや半透明のオブジェクトで表示してもよい。また、画像には表示せずに、その位置にポインタを重ねたときに、そのオブジェクト情報だけを表示してもよい。
【０１１６】
図１６は、道路と建物を表示する画面上で、交差点を仮想的な物体とする場合の概念図である。図１６（ａ）は、ビルや商店などの建物で３次元データが登録されている画像領域と、何の情報も保持していない画像領域である交差点などを表示している。
【０１１７】
表示している画像内の「交差点」が表示されている任意の位置（例えば、図１６（ａ）のポインタ２２の先端（300,450））を指定点として、オブジェクト情報を入力する。オブジェクト情報は例えば、「信号の待ち時間が長い」である。
【０１１８】
図１６（ｂ）は、仮想的な物体の３次元データを設定し、そのオブジェクトを重ねて表示したところを示す。図１６（ｂ）は、仮想的な物体の候補として、道路全体（符号２３）、道路Ａ（符号２４、左上から右下）、道路Ｂ（符号２５、左下から右上）、交差点（符号２６）のオブジェクトを表示している。
【０１１９】
図１７は、仮想的な物体として初めに設定した３次元データから生成したオブジェクトの領域情報の例を示す。図１７は、図１６（ｂ）の交差点２６に対応する。新規BodyID（478）を、画像内の領域情報の該当するBodyIDフィールドに登録し、オブジェクトの領域の範囲をObj_LX（300）、Obj_LY（450）、Obj_RX（300）、Obj_RY（450）フィールド（図１７のBodyID、Obj_LX、Obj_LY、Obj_RX、Obj_RYフィールドの値）に登録している。
【０１２０】
図１８は、新規に登録した仮想的な物体「交差点」の識別番号とオブジェクト情報とを関連づけた情報構成の例を示す。図１８の例では、仮想的な物体の位置（経度、緯度、標高）を合わせて記録している。
【０１２１】
表示画像内の表示領域と、オブジェクトとの対応関係を表す情報に、新規オブジェクトＩＤ（BodyID（478））の項目を追加して、画像内に新規オブジェクトの領域をObj_LX（300）、Obj_LY（450）、Obj_RX（300）、Obj_RY（450）として登録する。
【０１２２】
画像出力部７は、画像生成部５から送られたオブジェクトと、オブジェクト情報取得部９から送られたオブジェクト情報を表示する。利用者は、画像を見て登録した内容が正しいかを確認する。表示位置を編集する場合には、カーソル等で表示されたマーカーを修正し、更新情報をオブジェクト情報入力部８から入力して、３次元データを変更することができる。
【０１２３】
図１９は、仮想的な物体の位置を変更した３次元データから生成したオブジェクトの領域情報の例を示す。図１９は、図１７のデータから領域情報が、Obj_LX（305）、Obj_LY（447）、Obj_RX（305）、Obj_RY（447）に変更されている。図２０は、位置を変更したのちの仮想的な物体「交差点」の識別番号とオブジェクト情報とを関連づけた情報構成の例を示す。図２０では、図１８のデータに比較して物体の位置が変わっている。
【０１２４】
図２１は、既存の３次元データの中に仮想的な物体（の３次元データ）を登録する場合の概念図である。図２１（ａ）は、３次元モデリングデータから「ビル」２７を含む画像を作成した場合であり、図２１（ｂ）は、オブジェクト「ビル」２７の内部に、仮想的な物体としてビルの３階２８、ビルの２階２９、ビルの１階３０を登録する場合である。
【０１２５】
図２１の例では、仮想的な物体（の３次元データ）を、例えば、２つの水平面に挟まれた既存の建物（の３次元データ）の部分とする。このように、すでに登録された３次元データからその部分を取り出して、仮想的な物体とし、それにオブジェクト情報を関連づけることもできる。
【０１２６】
実施の形態４の座標対応装置２０によれば、仮想的な物体の３次元データを新たに登録し、それにオブジェクト情報を関連づけて登録して、任意の画像にそのオブジェクト情報を表示することができる。また、既存の３次元データの一部を仮想的な物体の３次元データとして、オブジェクト情報を登録して任意の画像に表示することもできる。
【０１２７】
図２２は、図１、図１０または図１２に示す座標対応装置２０のハードウェア構成の一例を示すブロック図である。座標対応装置２０は、図２２に示すように、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、入出力部３５、表示部３６および送受信部３７を備える。主記憶部３２、外部記憶部３３、操作部３４、入出力部３５、表示部３６および送受信部３７はいずれも内部バス３０を介して制御部３１に接続されている。
【０１２８】
制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム４０に従って、座標対応装置２０を制御するための処理を実行する。
【０１２９】
主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム４０をロードし、制御部３１の作業領域として用いられる。
【０１３０】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部３１に行わせるための制御プログラム４０を予め記憶し、また、制御部３１の指示に従って、制御プログラム４０が記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。図１、図１０または図１２のオブジェクト情報蓄積部４は、外部記憶部３３に構成される。
【０１３１】
操作部３４は、キーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３０に接続するインターフェース装置から構成されている。操作部３４を介して、画像条件、オブジェクト情報および指定位置の座標などが入力され、制御部３１に供給される。入出力部３５は、３次元データまたはオブジェクト情報を外部から入力したり、３次元データに結合したオブジェクト情報を外部の機器に出力するのに用いる。
【０１３２】
表示部３６は、ＬＥＤ（Light Emitting Diode）、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、画像とオブジェクト情報を表示する。
【０１３３】
送受信部３７は、無線または有線の通信インタフェースを備え、ネットワークを経由してクライアントであるパソコンまたは携帯端末などと通信して、画像とオブジェクト情報およびクライアントからの指令などを送受信する。
【０１３４】
上述のように、座標対応装置２０の動作は、制御部３１が、主記憶部３２、外部記憶部３３、操作部３４、入出力部３５、表示部３６および送受信部３７などと協働して行う。図１、図１０または図１２の入力部１、画像生成要求部３、３次元データ入力部３、オブジェクト情報蓄積部４、画像生成部５、情報統合部６、画像出力部７、オブジェクト情報入力部８、オブジェクト情報取得部９、オブジェクト情報登録部１０、実写画像入力部１２、オブジェクト抽出部１３、および３次元モデル抽出部１４の処理は、制御プログラム４０が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、入出力部３５、表示部３６および送受信部３７などを資源として用いて処理することによって実行する。
【０１３５】
本発明の実施の形態では、機能別に分けて説明をしたが、入力部１と、画像出力部７と、オブジェクト情報入力部８とをクライアントとして、パーソナルコンピュータと、デジタルカメラと、位置測定器などとで構成したり、ＧＰＳ機能付や方位測定機能を搭載したカメラ付携帯電話などで構成してもよい。また、実施の形態の他の構成要素をサーバとして、クライアントとの間を有線・無線などの通信システムで接続してもよい。
【０１３６】
その他、本発明の好適な変形として、以下の構成が含まれる。
【０１３７】
本発明の第１の観点に係る座標対応装置について、好ましくは、前記情報表示手段は、前記情報入力手段で情報を入力した画像とは異なる画像において、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示することを特徴とする。
【０１３８】
または、あるいはさらに、前記画像入力手段は、前記３次元データ入力手段で入力した３次元モデリングデータに基づいて、前記画像条件入力手段で入力した画像の属性条件で生成された画像を入力することを特徴とする。
【０１３９】
好ましくは、前記画像入力手段は、物体を撮影した画像を入力し、
前記画像条件入力手段は、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定手段は、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定することを特徴とする。
【０１４０】
または、あるいはさらに、異なる視点から撮影された２以上の画像から、物体とその３次元モデリングデータを抽出する物体抽出手段を備え、
前記３次元データ入力手段は、前記物体抽出手段から３次元モデリングデータを入力し、
前記画像入力手段は、物体を撮影した画像を入力し、
前記画像条件入力手段は、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定手段は、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定することを特徴とする。
【０１４１】
さらに好ましくは、前記３次元データ入力手段は、仮想的な物体を含む３次元モデリングデータを入力し、
前記画像表示手段は、前記仮想的な物体に対応する領域を画像に重畳して表示し、
前記指定手段は、前記仮想的な物体に対応する画像の領域を選択して指定する場合があることを特徴とする。
【０１４２】
本発明の第２の観点に係る座標対応方法について、好ましくは、前記情報表示ステップは、前記情報入力ステップで情報を入力した画像とは異なる画像において、前記物体特定ステップで特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示することを特徴とする。
【０１４３】
または、あるいはさらに、前記画像入力ステップは、前記３次元データ入力ステップで入力した３次元モデリングデータに基づいて、前記画像条件入力ステップで入力した画像の属性条件で生成された画像を入力することを特徴とする。
【０１４４】
好ましくは、前記画像入力ステップは、物体を撮影した画像を入力し、
前記画像条件入力ステップは、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定ステップは、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定することを特徴とする。
【０１４５】
または、あるいはさらに、前記画像入力ステップは、物体を撮影した画像を入力し、
異なる視点から撮影された２以上の画像から、物体とその３次元モデリングデータを抽出する物体抽出ステップを備え、
前記３次元データ入力ステップは、前記物体抽出ステップで抽出した３次元モデリングデータを入力し、
前記画像条件入力ステップは、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定ステップは、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定することを特徴とする。
【０１４６】
さらに好ましくは、前記３次元データ入力ステップは、仮想的な物体を含む３次元モデリングデータを入力し、
前記画像表示ステップは、前記仮想的な物体に対応する領域を画像に重畳して表示し、
前記指定ステップは、前記仮想的な物体に対応する画像の領域を選択して指定する場合があることを特徴とする。
【０１４７】
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【０１４８】
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、入出力部３５、表示部３６および送受信部３７などから構成される座標対応装置２０の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する座標対応装置２０を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで座標対応装置２０を構成してもよい。
【０１４９】
また、座標対応装置２０の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【０１５０】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【０１５１】
【図１】本発明の実施の形態１に係る座標対応装置の構成の一例を示すブロック図である。
【図２Ａ】３次元モデリングデータの構成の一例を示す図である。
【図２Ｂ】３次元モデリングデータの構成の一例を示す図である。
【図３Ａ】図２Ａの３次元モデリングデータから生成した画像の例を示す図である。
【図３Ｂ】図２Ｂの３次元モデリングデータから生成した画像の例を示す図である。
【図４】画像ファイルの表示画像の全領域の情報の構成の一例を示す図である。
【図５】画像ファイル内のオブジェクトの領域情報を構成する一例を示す図である。
【図６】画像内の表示領域と、オブジェクトとの対応関係を表す情報構成の一例を示す図である。
【図７】物体の識別番号とオブジェクト情報とを関連づける情報構成の例を示す図である。
【図８】実施の形態１に係る座標対応装置の動作の一例を示すフローチャートである。
【図９Ａ】実施の形態１に係るオブジェクト情報表示処理の動作の一例を示すフローチャートである。
【図９Ｂ】実施の形態１に係るオブジェクト情報登録処理の動作の一例を示すフローチャートである。
【図１０】本発明の実施の形態２に係る座標対応装置の構成の一例を示すブロック図である。
【図１１】実施の形態２に係る座標対応装置の動作の一例を示すシーケンス図である。
【図１２】本発明の実施の形態３に係る座標対応装置の構成の一例を示すブロック図である。
【図１３】２枚の撮影画像と抽出した３次元モデリングデータを表す模式図である。
【図１４】複数の撮影画像からオブジェクトを抽出して３次元モデリングデータを得る場合の一例を示すシーケンス図である。
【図１５】実施の形態４に係るオブジェクト情報登録処理の動作の一例を示すフローチャートである。
【図１６】道路と建物を表示する画面上で、交差点を仮想的な物体とする場合の概念図である。
【図１７】仮想的な物体として初めに設定した３次元データから生成したオブジェクトの領域情報の例を示す図である。
【図１８】新規に登録した仮想的な物体の識別番号とオブジェクト情報とを関連づけた情報構成の例を示す図である。
【図１９】仮想的な物体の位置を変更した３次元データから生成したオブジェクトの領域情報の例を示す図である。
【図２０】位置を変更したのちの仮想的な物体の識別番号とオブジェクト情報とを関連づけた情報構成の例を示す図である。
【図２１】既存の３次元データの中に仮想的な物体（の３次元データ）を登録する場合の概念図である。
【図２２】本発明の実施の形態に係る座標対応装置のハードウェア構成の一例を示すブロック図である。
【符号の説明】
【０１５２】
１ 入力部
２ 画像生成要求部
３ ３次元データ入力部
４ オブジェクト情報蓄積部
５ 画像生成部
６ 情報統合部
７ 画像出力部
８ オブジェクト情報入力部
９ オブジェクト情報取得部
１０ オブジェクト情報登録部
１２ 実写画像入力部
１３ オブジェクト抽出部
１４ ３次元モデル抽出部
２０ 座標対応装置
３０ 内部バス
３１ 制御部
３２ 主記憶部
３３ 外部記憶部
３４ 操作部
３５ 入出力部
３６ 表示部
３７ 送受信部
４０ 制御プログラム
【特許請求の範囲】
【請求項１】
物体の３次元モデリングデータを入力する３次元データ入力手段と、
前記物体を表示する画像を入力する画像入力手段と、
前記画像入力手段で入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力手段と、
前記画像入力手段で入力した画像を表示する画像表示手段と、
前記画像表示手段に表示した画像上で、情報を入力する位置を指定する指定手段と、
前記指定手段で指定した位置に付与する情報を入力する情報入力手段と、
前記指定手段で指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定手段と、
前記物体特定手段で特定された物体の３次元モデリングデータに、前記情報入力手段で入力した情報を関連付けて記憶する記憶手段と、
前記画像入力手段で入力した画像の上に、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示手段と、
を備えることを特徴とする座標対応装置。
【請求項２】
前記情報表示手段は、前記情報入力手段で情報を入力した画像とは異なる画像において、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示することを特徴とする請求項１に記載の座標対応装置。
【請求項３】
前記画像入力手段は、前記３次元データ入力手段で入力した３次元モデリングデータに基づいて、前記画像条件入力手段で入力した画像の属性条件で生成された画像を入力する、ことを特徴とする請求項１または２に記載の座標対応装置。
【請求項４】
前記画像入力手段は、物体を撮影した画像を入力し、
前記画像条件入力手段は、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定手段は、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定する
ことを特徴とする請求項１または２に記載の座標対応装置。
【請求項５】
異なる視点から撮影された２以上の画像から、物体とその３次元モデリングデータを抽出する物体抽出手段を備え、
前記３次元データ入力手段は、前記物体抽出手段から３次元モデリングデータを入力し、
前記画像入力手段は、物体を撮影した画像を入力し、
前記画像条件入力手段は、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定手段は、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定する
ことを特徴とする請求項１または２に記載の座標対応装置。
【請求項６】
前記３次元データ入力手段は、仮想的な物体を含む３次元モデリングデータを入力し、
前記画像表示手段は、前記仮想的な物体に対応する領域を画像に重畳して表示し、
前記指定手段は、前記仮想的な物体に対応する画像の領域を選択して指定する場合がある、
ことを特徴とする請求項１ないし５のいずれか１項に記載の座標対応装置。
【請求項７】
物体の３次元モデリングデータを入力する３次元データ入力ステップと、
前記物体を表示する画像を入力する画像入力ステップと、
前記画像入力ステップで入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力ステップと、
前記画像入力ステップで入力した画像を表示する画像表示ステップと、
前記画像表示ステップに表示した画像上で、情報を入力する位置を指定する指定ステップと、
前記指定ステップで指定した位置に付与する情報を入力する情報入力ステップと、
前記指定ステップで指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定ステップと、
前記物体特定ステップで特定された物体の３次元モデリングデータに、前記情報入力ステップで入力した情報を関連付けて記憶する記憶ステップと、
前記画像入力ステップで入力した画像の上に、前記物体特定ステップで特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示ステップと、
を備えることを特徴とする座標対応方法。
【請求項８】
前記情報表示ステップは、前記情報入力ステップで情報を入力した画像とは異なる画像において、前記物体特定ステップで特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示することを特徴とする請求項７に記載の座標対応方法。
【請求項９】
前記画像入力ステップは、前記３次元データ入力ステップで入力した３次元モデリングデータに基づいて、前記画像条件入力ステップで入力した画像の属性条件で生成された画像を入力する、ことを特徴とする請求項７または８に記載の座標対応方法。
【請求項１０】
前記画像入力ステップは、物体を撮影した画像を入力し、
前記画像条件入力ステップは、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定ステップは、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定する
ことを特徴とする請求項７または８に記載の座標対応方法。
【請求項１１】
前記画像入力ステップは、物体を撮影した画像を入力し、
異なる視点から撮影された２以上の画像から、物体とその３次元モデリングデータを抽出する物体抽出ステップを備え、
前記３次元データ入力ステップは、前記物体抽出ステップで抽出した３次元モデリングデータを入力し、
前記画像条件入力ステップは、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定ステップは、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定する
ことを特徴とする請求項７または８に記載の座標対応方法。
【請求項１２】
前記３次元データ入力ステップは、仮想的な物体を含む３次元モデリングデータを入力し、
前記画像表示ステップは、前記仮想的な物体に対応する領域を画像に重畳して表示し、
前記指定ステップは、前記仮想的な物体に対応する画像の領域を選択して指定する場合がある、
ことを特徴とする請求項７ないし１１のいずれか１項に記載の座標対応方法。
【請求項１３】
コンピュータを、
物体の３次元モデリングデータを入力する３次元データ入力手段と、
前記物体を表示する画像を入力する画像入力手段と、
前記画像入力手段で入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力手段と、
前記画像入力手段で入力した画像を表示する画像表示手段と、
前記画像表示手段に表示した画像上で、情報を入力する位置を指定する指定手段と、
前記指定手段で指定した位置に付与する情報を入力する情報入力手段と、
前記指定手段で指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定手段と、
前記物体特定手段で特定された物体の３次元モデリングデータに、前記情報入力手段で入力した情報を関連付けて記憶する記憶手段と、
前記画像入力手段で入力した画像の上に、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示手段
として機能させることを特徴とするプログラム。
【請求項１】
物体の３次元モデリングデータを入力する３次元データ入力手段と、
前記物体を表示する画像を入力する画像入力手段と、
前記画像入力手段で入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力手段と、
前記画像入力手段で入力した画像を表示する画像表示手段と、
前記画像表示手段に表示した画像上で、情報を入力する位置を指定する指定手段と、
前記指定手段で指定した位置に付与する情報を入力する情報入力手段と、
前記指定手段で指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定手段と、
前記物体特定手段で特定された物体の３次元モデリングデータに、前記情報入力手段で入力した情報を関連付けて記憶する記憶手段と、
前記画像入力手段で入力した画像の上に、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示手段と、
を備えることを特徴とする座標対応装置。
【請求項２】
前記情報表示手段は、前記情報入力手段で情報を入力した画像とは異なる画像において、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示することを特徴とする請求項１に記載の座標対応装置。
【請求項３】
前記画像入力手段は、前記３次元データ入力手段で入力した３次元モデリングデータに基づいて、前記画像条件入力手段で入力した画像の属性条件で生成された画像を入力する、ことを特徴とする請求項１または２に記載の座標対応装置。
【請求項４】
前記画像入力手段は、物体を撮影した画像を入力し、
前記画像条件入力手段は、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定手段は、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定する
ことを特徴とする請求項１または２に記載の座標対応装置。
【請求項５】
異なる視点から撮影された２以上の画像から、物体とその３次元モデリングデータを抽出する物体抽出手段を備え、
前記３次元データ入力手段は、前記物体抽出手段から３次元モデリングデータを入力し、
前記画像入力手段は、物体を撮影した画像を入力し、
前記画像条件入力手段は、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定手段は、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定する
ことを特徴とする請求項１または２に記載の座標対応装置。
【請求項６】
前記３次元データ入力手段は、仮想的な物体を含む３次元モデリングデータを入力し、
前記画像表示手段は、前記仮想的な物体に対応する領域を画像に重畳して表示し、
前記指定手段は、前記仮想的な物体に対応する画像の領域を選択して指定する場合がある、
ことを特徴とする請求項１ないし５のいずれか１項に記載の座標対応装置。
【請求項７】
物体の３次元モデリングデータを入力する３次元データ入力ステップと、
前記物体を表示する画像を入力する画像入力ステップと、
前記画像入力ステップで入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力ステップと、
前記画像入力ステップで入力した画像を表示する画像表示ステップと、
前記画像表示ステップに表示した画像上で、情報を入力する位置を指定する指定ステップと、
前記指定ステップで指定した位置に付与する情報を入力する情報入力ステップと、
前記指定ステップで指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定ステップと、
前記物体特定ステップで特定された物体の３次元モデリングデータに、前記情報入力ステップで入力した情報を関連付けて記憶する記憶ステップと、
前記画像入力ステップで入力した画像の上に、前記物体特定ステップで特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示ステップと、
を備えることを特徴とする座標対応方法。
【請求項８】
前記情報表示ステップは、前記情報入力ステップで情報を入力した画像とは異なる画像において、前記物体特定ステップで特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示することを特徴とする請求項７に記載の座標対応方法。
【請求項９】
前記画像入力ステップは、前記３次元データ入力ステップで入力した３次元モデリングデータに基づいて、前記画像条件入力ステップで入力した画像の属性条件で生成された画像を入力する、ことを特徴とする請求項７または８に記載の座標対応方法。
【請求項１０】
前記画像入力ステップは、物体を撮影した画像を入力し、
前記画像条件入力ステップは、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定ステップは、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定する
ことを特徴とする請求項７または８に記載の座標対応方法。
【請求項１１】
前記画像入力ステップは、物体を撮影した画像を入力し、
異なる視点から撮影された２以上の画像から、物体とその３次元モデリングデータを抽出する物体抽出ステップを備え、
前記３次元データ入力ステップは、前記物体抽出ステップで抽出した３次元モデリングデータを入力し、
前記画像条件入力ステップは、前記物体を撮影した位置と撮影方向を含む画像属性を入力し、
前記物体特定ステップは、前記物体を撮影した画像の上で指定された位置に表示されている３次元モデリングデータの物体を特定する
ことを特徴とする請求項７または８に記載の座標対応方法。
【請求項１２】
前記３次元データ入力ステップは、仮想的な物体を含む３次元モデリングデータを入力し、
前記画像表示ステップは、前記仮想的な物体に対応する領域を画像に重畳して表示し、
前記指定ステップは、前記仮想的な物体に対応する画像の領域を選択して指定する場合がある、
ことを特徴とする請求項７ないし１１のいずれか１項に記載の座標対応方法。
【請求項１３】
コンピュータを、
物体の３次元モデリングデータを入力する３次元データ入力手段と、
前記物体を表示する画像を入力する画像入力手段と、
前記画像入力手段で入力した画像の、視点の座標と視方向を含む属性条件を入力する画像条件入力手段と、
前記画像入力手段で入力した画像を表示する画像表示手段と、
前記画像表示手段に表示した画像上で、情報を入力する位置を指定する指定手段と、
前記指定手段で指定した位置に付与する情報を入力する情報入力手段と、
前記指定手段で指定した画像上の位置に表示されている３次元モデリングデータの物体を特定する物体特定手段と、
前記物体特定手段で特定された物体の３次元モデリングデータに、前記情報入力手段で入力した情報を関連付けて記憶する記憶手段と、
前記画像入力手段で入力した画像の上に、前記物体特定手段で特定された物体の画像に対応して、前記物体の３次元モデリングデータに関連付けた情報を表示する情報表示手段
として機能させることを特徴とするプログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００９−２３８０２９（Ｐ２００９−２３８０２９Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−８４８４２（Ｐ２００８−８４８４２）
【出願日】平成２０年３月２７日（２００８．３．２７）
【出願人】（３９０００１３９５）ＮＥＣシステムテクノロジー株式会社 (438)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年３月２７日（２００８．３．２７）
【出願人】（３９０００１３９５）ＮＥＣシステムテクノロジー株式会社 (438)
【Ｆターム（参考）】
[ Back to top ]