端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
【課題】利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供する。
【解決手段】本発明の端末装置は、撮像部１４の撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成部３１と、画像データの撮像位置および撮像方向、ならびに、上記三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成部３２とを備えていることを特徴としている。
【解決手段】本発明の端末装置は、撮像部１４の撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成部３１と、画像データの撮像位置および撮像方向、ならびに、上記三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成部３２とを備えていることを特徴としている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置の現在位置、姿勢、方向などに基づいて情報を検索して提供する端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
従来、端末装置を利用する利用者の現在位置情報、姿勢情報を取得し、取得した位置情報、姿勢情報に基づいて、装置の動作を制御する技術が広く用いられている（特許文献１など）。
【０００３】
また、近年、特許文献２〜４のように、端末装置の現在位置情報、姿勢情報に基づいて、情報を提供する技術が各種提案されている。
【０００４】
特許文献２には、ＧＰＳなどから得られる位置情報と、傾斜センサ、地磁気センサ、重力センサなどから得られる姿勢情報と、カメラの画角、方向などの撮像方向情報とに基づいて、利用者の位置と視野角方向と検出し、情報を配信する携帯用情報配信装置が開示されている。
【０００５】
特許文献３には、携帯端末の位置と方向と視野角とをクエリとしてデータベースが検索され、検索結果の物に関連付けられた空間的物体を定義する幾何学的記述子とともに、その物に関する追加的情報が携帯端末に提供されるという技術が開示されている。
【０００６】
特許文献４には、カメラの位置と画角に基づいて、地図情報空間の中で視野空間を求め、視野空間中に存在する構造物を取得し、該構造物の属性情報を、ラベリングされた付与位置の情報に基づいて、構造物と重畳させ、その重畳画像を表示する装置が開示されている。
【０００７】
また、特許文献５には、端末装置の位置に応じて選択された宣伝情報と、端末装置の位置に応じて取得された周囲情報とを合成する技術が開示されている。
【特許文献１】特表２００１−５０３５３９（１９９７年１１月２７日国際公開）
【特許文献２】特表２００２−５０２４９９（１９９８年１２月１０日国際公開）
【特許文献３】特開２００８−１７１４１０（２００８年７月２４日公開）
【特許文献４】特開平１０−２６７６７１（１９９８年１０月９日公開）
【特許文献５】特開２００２−２７５２９（２００２年１月２５日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述のような、端末装置の周辺映像に基づいて、該映像に含まれる対象物の付加情報を検索し、対象物（の映像）と付加情報とを関連付けて利用者に提供する技術においては、現実の状況に忠実かつ正確な情報が提供されることが望まれる。しかし、従来例では周辺映像と付加情報を関連付けて表示する際にそれらの検索結果や重畳表示位置などに誤差が生じてしまうという課題があった。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し、より高い精度で情報を提供する端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【００１０】
本発明の端末装置は、上記課題を解決するために、データベースから検索された情報を利用者に提供する端末装置において、撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成手段と、上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成手段により生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成手段とを備えていることを特徴としている。
【００１１】
上記構成によれば、端末装置のクエリ生成手段が、クエリに三次元形状を加えることになる。よって、上記クエリを用いて上記データベースの情報検索を行う情報検索部（あるいは他の情報検索装置）は、天候や日照の具合による画像特徴の誤差に影響されることなく、端末装置で撮像された画像データに基づいて、該画像データに含まれる対象物の検索を行うことが可能となる。これにより、検索性能が向上し、結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【００１２】
上記特徴情報生成手段は、利用者により指定された上記画像データ上の所定の箇所に基づいて特定された、該画像データの領域から抽出された特徴量に基づいて、上記三次元形状画像特徴情報を生成してもよい。
【００１３】
上記構成によれば、利用者のポインティング箇所を、三次元形状の一致度を評価して特定することが可能となるので、情報検索部（装置）はより正確に画像データ内の検索対象を特定し、正しい情報を抽出することができる。結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【００１４】
上記データベースには、検索対象レコードごとに三次元形状画像特徴情報が関連付けて記憶されており、上記端末装置は、さらに、上記三次元形状画像特徴情報を含むクエリに基づいて上記データベースを検索する情報検索手段を備えていてもよい。
【００１５】
本発明の端末装置は、上記課題を解決するために、データベースから検索された情報を利用者に提供する端末装置において、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成手段と、上記特徴情報生成手段により生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価手段と、上記特徴情報評価手段による評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳手段とを備えていることを特徴としている。
【００１６】
上記構成によれば、端末装置は、画像特徴情報が関連付けられたレコードを含む検索結果を取得することができる。そして、特徴情報評価手段が行った、画像データの画像特徴情報と上記検索結果として取得した画像特徴情報との一致度評価結果にしたがって、画像重畳手段が、画像データと検索結果で得られた情報（例えば、付加情報）との表示位置補正を実行する。端末装置は、撮像位置および撮像方向だけに頼ると、誤差が大きい場合でも、画像特徴情報の一致度評価を参照することにより、より正しく画像データと得られた情報との位置合わせを行えるため、上記誤差を吸収することができる。結果として、検索結果の表示位置精度を向上させることができ、検索結果を正確かつ忠実に提供することが可能となる。
【００１７】
本発明の配信装置は、上記課題を解決するために、データベースから検索された情報を、請求項４に記載の端末装置に配信する配信装置において、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索手段と、上記情報検索手段により抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得手段と、上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信手段とを備えていることを特徴としている。
【００１８】
上記構成によれば、データベースを検索したレコードの情報とともに、上述の端末装置が画像データの画像特徴情報との一致度を評価するための第二画像特徴情報を上記端末装置に供給することが可能となる。
【００１９】
本発明の端末装置の制御方法は、上記課題を解決するために、データベースから検索された情報を利用者に提供する端末装置の制御方法であって、撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成ステップと、上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成ステップにて生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成ステップとを含むことを特徴としている。
【００２０】
本発明の端末装置の制御方法は、上記課題を解決するために、データベースから検索された情報を利用者に提供する端末装置の制御方法であって、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成ステップと、上記特徴情報生成ステップにて生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価ステップと、上記特徴情報評価ステップでの評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳ステップとを含むことを特徴としている。
【００２１】
本発明の配信装置の制御方法は、上記課題を解決するために、データベースから検索された情報を、請求項４に記載の端末装置に配信する配信装置の制御方法であって、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索ステップと、上記情報検索ステップにて抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得ステップと、上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信ステップとを含むことを特徴としている。
【００２２】
なお、上記端末装置および配信装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記端末装置または配信装置をコンピュータにて実現させる端末装置または配信装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００２３】
本発明の端末装置は、撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成手段と、上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成手段により生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成手段とを備えていることを特徴としている。
【００２４】
本発明の端末装置は、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成手段と、上記特徴情報生成手段により生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価手段と、上記特徴情報評価手段による評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳手段とを備えていることを特徴としている。
【００２５】
本発明の配信装置は、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索手段と、上記情報検索手段により抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得手段と、上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信手段とを備えていることを特徴としている。
【００２６】
本発明の端末装置の制御方法は、撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成ステップと、上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成ステップにて生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成ステップとを含むことを特徴としている。
【００２７】
本発明の端末装置の制御方法は、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成ステップと、上記特徴情報生成ステップにて生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価ステップと、上記特徴情報評価ステップでの評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳ステップとを含むことを特徴としている。
【００２８】
本発明の配信装置の制御方法は、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索ステップと、上記情報検索ステップにて抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得ステップと、上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信ステップとを含むことを特徴としている。
【００２９】
したがって、画像データおよび地図データの画像特徴情報（特に三次元形状情報）の一致度を参照することにより、検索性能または検索結果表示精度を向上させることができ、結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能になるという効果を奏する。
【発明を実施するための最良の形態】
【００３０】
本発明の一実施形態について図面に基づいて説明すると以下の通りである。本実施形態では、一例として、本発明の端末装置を、タッチパネルを備えた携帯電話に適用した場合について説明する。しかし、本発明の端末装置は、この例に限定されず、スマートホン、ＰＤＡ（personal digital assistant）、携帯パソコン、ＰＮＤ（personal navigation device）、カーナビゲーションシステム、携帯可能な双眼鏡などの移動体端末装置、あるいは、撮像方向操作可能な観光用の望遠鏡、カメラ付の街頭情報端末装置によって構成されていてもよい。
【００３１】
≪実施形態１≫
〔端末装置の構成〕
図１は、本発明の実施形態における端末装置としての携帯電話１００の要部構成を示すブロック図である。本実施形態では、携帯電話１００は、３次元地図データを内蔵するデータベース（ＤＢ）にアクセスして、利用者の現在位置に応じた地図情報を表示する機能を有する。
【００３２】
なお、図１の説明では、携帯電話１００は、内蔵する地図ＤＢを検索するものとして説明するが、これに限定されない。通信網を介して外部のＤＢにアクセスしてもよいし、外部のＤＢから定期的に地図データをダウンロードしてこれを保持するものであってもよい。あるいは、地図ＤＢにアクセスする他の検索装置に検索を依頼する（クエリを投げる）携帯電話であってもよい。この場合、携帯電話は情報検索機能を持たず、クエリを生成する機能だけ有していればよい。
【００３３】
図１に示すとおり、本実施形態における携帯電話１００は、制御部１０、記憶部１１、通信部１２、操作表示部１３、撮像部１４およびセンサ（群）１５を備える構成となっている。
【００３４】
記憶部１１は、制御部１０が実行する制御プログラム、ＯＳプログラム、および、制御部１０が、携帯電話１００が有する各種機能を実行するときに読み出す各種データを記憶するものであり、フラッシュメモリまたはハードディスクなどの不揮発性の記憶装置によって構成されるものである。記憶部１１が記憶する各種データとしては、例えば、地図データ記憶部４０、付加情報記憶部４１および撮像画像記憶部４２がある。これらの記憶部のデータ構造については後述する。
【００３５】
通信部１２は、通信網（本実施形態では、インターネット、携帯電話網など）を介して、外部の装置との間でデータを送受信するものである。本実施形態では、通信部１２は、携帯電話１００が生成したクエリを含んだ検索リクエストを送信したり、その検索結果を含むレスポンスを受信したりする。通信部１２は、イーサネット（登録商標）、モデム、無線ＬＡＮ（Local Area Network）、赤外線通信といった有線無線を問わない通信手段によって実現される。
【００３６】
操作表示部１３は、各種情報を利用者に表示する表示デバイスと、利用者の指示入力を受け付ける入力デバイスとを含むものである。本実施形態では、表示部と操作部とが一体に形成されたタッチパネルで構成されている。表示デバイスは、液晶表示装置（ＬＣＤ）などで実現される。表示デバイスは、携帯電話１００が撮像した画像データ、携帯電話１００が生成したＧＵＩ（graphical user interface）画面、地図データの付加情報などを表示するものである。入力デバイスは、情報が表示されたタッチパネル上を指やペンで利用者が押下して指示信号を発生させることにより実現される。
【００３７】
しかし、本発明の端末装置は、これに限定されず、表示部と操作部とが別々に形成された構成であってもよい。例えば、携帯電話１００は、操作部として、数字を入力するためのテンキー、カーソルを動かすための十字キー、選択を決定するための決定キーなどを備えていてもよい。
【００３８】
撮像部１４は、被写体の撮影を行って静止画または動画データを生成するカメラである。具体的には、撮像部１４は、被写体からの光を電気信号に変換するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）などの撮像素子と、撮像素子からの電気信号をＲＧＢ各色のデジタルデータに変換する映像処理回路とを備える構成が挙げられる。撮像部１４が撮像した静止画または動画データは、制御部１０を介して、記憶部１１の撮像画像記憶部４２に記憶される。
【００３９】
センサ（群）１５は、携帯電話１００の位置、姿勢、撮像方向、方位、移動速度などを検出するものであり、１つまたは複数種類のセンサからなる。本実施形態では、一例として、センサ（群）１５は、位置検出部１５０、撮像方向検出部１５１、速度検出部１５２および姿勢検出部１５３を備えている。
【００４０】
位置検出部１５０は、携帯電話１００の現在位置（例えば、緯度と経度など）を取得するものである。撮像方向検出部１５１は、携帯電話１００の撮像部１４が撮像を行う撮像方向（利用者の視線の方向）を検出するものである。速度検出部１５２は、携帯電話１００の移動速度を検出するものである。端末装置が移動体でない場合には、速度検出部１５２は備えていなくともよい。姿勢検出部１５３は、携帯電話１００の姿勢、傾きを検出するものであり、例えば、ｘ、ｙ、ｚ方向での３軸における携帯電話１００の傾きや移動速度などを取得してもよい。
【００４１】
センサ（群）１５の各検出部は、携帯電話１００を継続的に監視して、検出した値をＲＡＭ（random access memory）などの揮発性記憶装置に一時的に格納していてもよいし、撮像部１４にて撮像処理が実行されたときに、撮像時の携帯電話１００の状態を、瞬間的に検出し、記憶部１１などの不揮発性記憶装置するものであってもよい。
【００４２】
各検出部は、ＧＰＳ（global positioning system）、位置の特定された発信源からの電波を検出して三角測量を実行するセンサ、部屋／道路の位置などを示すマーカ信号のセンサ、角速度センサ、地磁気センサ、加速度センサ、ジャイロセンサなどを適宜採用して実現される。
【００４３】
制御部１０は、携帯電話１００が備える各部の各種動作を統括制御するものであり、ＣＰＵ（central processing unit）やバスコントローラなどの、端末装置を構成するための装置群によって実現される。制御部１０は、機能ブロックとして、少なくとも、表示制御部２０、操作受付部２１、特徴情報生成部３１、クエリ生成部３２、通信制御部３３および情報検索部３４を備えている。表示制御部２０および操作受付部２１は、タッチパネルである操作表示部１３を制御するタッチパネル制御部３０を構成する。
【００４４】
制御部１０は、さらに、特徴情報評価部３５、画像重畳部２２、領域検出部２３を備えていてもよい。この場合、表示制御部２０、操作受付部２１、画像重畳部２２および領域検出部２３がタッチパネル制御部３０を構成する。
【００４５】
ここで、携帯電話１００が、ローカルに保存された地図ＤＢを検索しないで、外部の装置（ＤＢ）に検索を依頼する場合には、情報検索部３４および特徴情報評価部３５を備えていなくてもよい。
【００４６】
上記機能ブロックとして示される各部は、ＣＰＵ（central processing unit）がＲＯＭ（read only memory）等の記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等に読み出して実行することで実現できる。本実施形態では、プログラムの具体例としては、図示しないが、クエリ生成プログラム、特徴情報生成プログラム、地図表示プログラム、地図データ検索プログラムなどが、記憶部１１に記憶されている。これに限定されず、携帯電話１００に搭載される各種アプリケーションプログラムも記憶部１１に記憶されている。
【００４７】
制御部１０の機能ブロックとしての各部の動作については後述する。
【００４８】
〔記憶部のデータ構造〕
図２（ａ）は、本発明の実施形態における端末装置の記憶部１１に記憶されている撮像画像記憶部４２のデータ構造を模式的に示す図である。図２（ｂ）は、記憶部１１に記憶されている地図データ記憶部４０のデータ構造を模式的に示す図である。図２（ｃ）は、記憶部１１に記憶されている付加情報記憶部４１のデータ構造を模式的に示す図である。
【００４９】
以下で説明する各記憶部のデータ構造は、一例であって、本発明の端末装置の構成を限定するものではない。
【００５０】
図２（ａ）に示すとおり、撮像画像記憶部４２は、画像データ（静止画または動画）を一意に識別するための画像番号に、撮像部１４が撮像した画像データと、画像特徴情報とが関連付けて記憶される構成である。画像特徴情報とは、画像データから抽出された特徴量を示すものである。制御部１０の特徴情報生成部３１が、画像データを分析し、抽出した特徴量を、該画像データに関連付けて画像特徴情報として撮像画像記憶部４２に記憶する。この画像特徴情報は、クエリ生成部３２によってクエリの一部として利用される。あるいは、特徴情報評価部３５が、上記画像データと、検索結果の地図データとの一致度を評価するために上記画像特徴情報を撮像画像記憶部４２から読み出してもよい。
【００５１】
画像特徴情報は、例えば、画像データにおける各画素の輝度、色彩、周囲画素との差分および／または平均などから抽出された二次元の特徴量であってもよいし、認識された輪郭や境界線に基づいて、画像データに写っている対象物の形状を抜き出した二次元の特徴量であってもよい。また、画像特徴情報は、画像データに写っている対象物の立体的な形状を抜き出して、点や線からなる空間座標値やポリゴンなどで表現される三次元の特徴量であってもよい。三次元形状の特徴量は、データサイズが大容量となるため、三次元の特徴量から算出したＶＱ（vector quantization）コードを画像特徴情報としてもよい。あるいは、三次元形状の特徴量と、輝度・彩度・色度・色温度などの二次元の特徴量との組み合わせや二次元画像特徴から算出されるＶＱコードが画像特徴情報として用いられてもよい。また、画像データに付随する、撮像日時（そこから季節・天候などをさらに抽出する）、画素数などのメタ情報が、画像特徴情報として用いられてもよい。
【００５２】
図２（ｂ）に示すとおり、本発明の一実施形態では、地図データ記憶部４０は、情報提供の対象となる場所（例えば、日本全国）をさらにいくつかのエリアに分割し、エリアごとに、以下の情報が記憶される構成である。つまり、エリア番号に関連付けて、位置情報、地図（画像）データの実データ、画像特徴情報、１または複数の対象物番号が記憶されている。位置情報は、当該エリアの位置を示す情報である。地図データは、当該エリアの地図を表現した二次元または三次元のグラフィックまたは実写写真による画像データである。本実施形態では、地図データは、二次元地図、三次元地図、または、それらの両方を含んでいてもよい。画像特徴情報は、上記地図データから得られる二次元および／または三次元の特徴量である。対象物番号は、当該エリアに存在する建造物、施設、景勝地などの対象物を端末装置が個々にオブジェクトとして認識できるように、各対象物に一意に付与した番号である。
【００５３】
本実施形態では、エリアに存在する対象物をオブジェクトとして１つ１つ管理することにより、対象物ごとに付加情報を管理することができる。付加情報は、付加情報記憶部４１に記憶されており、図２（ｂ）および図２（ｃ）に示すとおり、地図データ記憶部４０と付加情報記憶部４１とは対象物番号で紐付けされている。
【００５４】
付加情報とは、対象物に関するより詳細なあらゆる情報を含んでいる。より具体的には、対象物が１または複数の店舗を有するビルであれば、各店舗の詳細な情報、つまり、店舗名、店舗名の他言語表記（翻訳）、各店舗の広告、口コミによる評価情報、友人知人による共有情報、住所・電話番号情報、キーワード情報、各店舗が提供するサービスメニュー情報、価格情報などの地域と生活に関連付けられる情報などが付加情報となる。付加情報は、上述の例に限定されないが、上述の例のとおり、地図とともに提供されることで利用者の利便性が向上する内容を含んでいることが好ましい。付加情報は、テキストデータ、画像（動画、静止画）データ、音楽データなどで構成されている。あるいは、対象物に関連付けて、ゲーム、マークアップ言語、ＵＲＬといった情報が付加情報として提供されてもよい。
【００５５】
図２（ｃ）に示すとおり、本発明の一実施形態では、付加情報記憶部４１は、対象物番号に関連付けて、位置情報、画像特徴情報、ジャンル情報、１または複数の付加情報が記憶されている。
【００５６】
位置情報は、当該対象物の位置を示す情報である。画像特徴情報は、地図データにおける当該対象物の画像データから抽出された二次元および／または三次元の特徴量である。ジャンル情報は、当該対象物の種類を示す情報である。例えば、対象物に、ホテルやレストランなどの店舗が入っている場合には、該対象物のジャンル情報は、「ホテル」、「食事」などと設定される。
【００５７】
携帯電話１００は、記憶部１１に記憶された上述の各種データを処理することにより、特に、画像特徴情報を検索や検索結果の表示に用いることにより、正確かつ忠実に情報を検索し提供することが可能となる。以下、制御部１０の各部の動作について説明する。
【００５８】
特徴情報生成部３１は、センサ（群）１５の各検出部が検出した携帯電話１００の位置、撮像方向、姿勢などに基づいて、撮像部１４が撮像した画像データから輝度や色相、彩度や輪郭形状といった任意の方法で特徴量を抽出し、画像特徴情報を生成するものである。特徴情報生成部３１が抽出する特徴量および抽出方法は、特に限定されないが、例えば、以下のような手順で特徴量が抽出される。
【００５９】
特徴情報生成部３１は、撮像部１４が撮像した実写の画像データ上の位置と撮像平面に対する写像空間とを考慮した撮像方向への直線が三次元地図上の対象物と接触する点およびその周囲の画像に基づいて、二次元画像の特徴量および三次元形状の特徴量を抽出してもよい。より具体的には、特徴情報生成部３１は、ビルなどを含む景色を撮像した画像データから、ビルの三次元形状を特定して、それを、ポリゴンまたは三次元座標空間における点と線との集合として値を抽出する。
【００６０】
ここで用いられる三次元形状の特徴量は、二次元の画像データから三次元形状を抽出する方法によって作成されるものである。具体的には、一点透視図における奥行きの計算方法、複数視点画像や動体視差画像による三次元モデリング方法などといった方法が既に多く提案されている。
【００６１】
さらに、特徴情報生成部３１は、撮像した画像データが静止画の場合には、撮像時に携帯電話１００が通信していた通信基地局の基地局ＩＤ、撮像時の携帯電話１００の緯度・経度、撮像時天候、撮像日時、撮像方向、画角、色温度などの撮像状況を示すメタ情報を画像特徴情報に含めて当該画像データに関連付けて記憶してもよい。あるいは、画像データが動画の場合には、特徴情報生成部３１は、撮像時に携帯電話１００が通信していた通信基地局の基地局ＩＤ、撮像時の携帯電話１００の緯度・経度、撮像時天候、撮像開始日時、撮像終了日時、撮像中の携帯電話１００（撮像部１４）の移動軌跡、撮像方向変化履歴、画角変化履歴、色温度変化履歴などの撮像状況を示すメタ情報を画像特徴情報に含めて当該画像データに関連付けて記憶してもよい。これにより、上述の撮像状況の情報を検索クエリに含めることができる。
【００６２】
クエリ生成部３２は、利用者が所望する地図データを検索するために情報検索部（または外部の情報検索装置）が必要とする検索クエリを生成するものである。本実施形態では、クエリ生成部３２は、撮像部１４が撮像処理を行ったときに、センサ（群）１５の各検出部から取得した位置情報、撮像方向情報および姿勢情報を用いてクエリを生成する。このとき、クエリ生成部３２は、さらに、上記撮像処理によって得られた画像データに関連して特徴情報生成部３１が生成した画像特徴情報を上記クエリに加えてもよい。より詳細には、クエリ生成部３２は、三次元立体形状の特徴量をクエリに加えてもよいし、二次元平面形状の特徴量、輝度・彩度・色度などの画素の特徴量をクエリに加えてもよいし、音素・音素片・音韻・音声特徴・音声ＶＱコードなどの音声に基づくパラメータをクエリに加えてもよい。
【００６３】
また、クエリ生成部３２は、携帯電話１００の機種を示す機種情報をクエリに加えてもよい。これにより、情報検索部（情報検索装置）は、機種によって撮像部１４のレンズの歪み特性を特定することが可能となり、撮像された画像データの画角を特定することができる。あるいは、クエリ生成部３２は、画角情報をそのままクエリに加えてもよい。
【００６４】
通信制御部３３は、通信部１２を介して、クエリ生成部３２が生成したクエリを含む検索リクエストを外部の情報検索装置に送信するものである。また、上記要求メッセージの応答として返信された検索結果を通信部１２を介して受信するものである。通信制御部３３が受信した検索結果は、地図ＤＢ（地図データ記憶部４０および付加情報記憶部４１）に記憶され、地図ＤＢが更新される。なお、携帯電話１００が、最新の地図ＤＢを内蔵している場合には、外部の情報検索装置との間で、クエリと検索結果とをやりとりする必要はない。
【００６５】
情報検索部３４は、クエリ生成部３２が生成したクエリに基づいて、地図データ記憶部４０および／または付加情報記憶部４１の検索を行い、該当エリアの地図データおよび／または付加情報を抽出するものである。より具体的には、情報検索部３４は、各種検出部が検出した携帯電話１００の位置情報、撮像方向情報、姿勢情報、および、画角などに基づいて、検索対象となる空間位置を特定し、その位置に合致するエリアの地図データを抽出する。
【００６６】
さらに、情報検索部３４は、クエリに画像特徴情報が含まれている場合には、特徴情報評価部３５が評価した画像特徴情報の一致度に基づいて、地図データを検索することができる。これにより、より精度の高い検索を実行することが可能となる。例えば、クエリの画像データに関連付けられている三次元形状の画像特徴情報との一致度が高い、三次元地図の三次元形状の画像特徴情報が関連付けられたエリアを検索結果として抽出することが可能となる。
【００６７】
情報検索部３４は、地図データ記憶部４０から該当エリアの地図データを抽出した後、該エリアの対象物に関連付けられている付加情報を付加情報記憶部４１から抽出する。
【００６８】
さらに、情報検索部３４は、携帯電話１００の機種情報に基づいてレンズの歪み特性などを特定し、歪み特性に基づいた画角情報を取得したり、画角情報を特徴情報生成部３１などから取得したりしてもよい。これにより、検索対象となる空間を、四角錐や台錐形にて算出したり、携帯電話１００の撮像部１４を中心とする球形にて算出したりして、検索対象範囲を限定するように構成してもよい。
【００６９】
さらに、情報検索部３４は、利用者によって設定された条件、制限にしたがって、地図ＤＢのエリアや対象物のレコードをソートしたり、フィルタリングしたりして、検索結果を加工してもよい。
【００７０】
特徴情報評価部３５は、地図ＤＢにてエリアごと、対象物ごとに管理されている画像特徴情報と、撮像部１４によって撮像された画像データから特徴情報生成部３１によって生成された画像特徴情報との一致度を評価するものである。
【００７１】
特徴情報評価部３５が実行する上記両画像特徴情報の評価結果は、情報検索部３４が検索のために利用したり、画像重畳部２２が画像データと付加情報とを重畳表示するために利用したりする。
【００７２】
また、特徴情報評価部３５は、三次元形状の特徴量同士の一致度評価（モデルベースド・マッチング）を行ってもよい。情報検索部３４は、これにより、携帯電話１００が撮像した画像から得られる建物などの形状と、地図データ上の三次元形状が一致していることによって、抽出すべきエリアを特定し、該エリアの付加情報をさらに検索することができる。
【００７３】
なお、携帯電話１００の情報検索部３４が内蔵の地図ＤＢを検索する構成の場合に、内蔵の地図ＤＢに対して一致度評価による検索を行った結果、適切な検索結果が得られなかった場合は、すなわち、撮像した画像データの立体形状と一致する場所が地図ＤＢにはないと特徴情報評価部３５が判断した場合は、クエリ生成部３２は、位置・撮像方向・姿勢情報とともに、三次元形状の画像特徴情報を、外部の情報検索装置に依頼するクエリに含めて生成してもよい。
【００７４】
上述の例のとおり、輝度・色度・彩度などの画素に関する特徴量によらずに、算術的に求められた形状（特に立体形状）同士の特徴量の一致度を利用すれば、天候、季節、時間帯などの変動の影響を受けずに、安定した高精度な検索を実行することができる。結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【００７５】
タッチパネル制御部３０は、操作表示部１３を制御するものである。本実施形態では、少なくとも、タッチパネル制御部３０は、表示制御部２０および操作受付部２１で構成されており、さらに、タッチパネル制御部３０は、画像重畳部２２、領域検出部２３を備えていてもよい。
【００７６】
表示制御部２０は、携帯電話１００の制御部１０が各種情報処理を行った結果を操作表示部１３の表示部に出力するものである。例えば、表示制御部２０は、撮像部１４が撮像した画像データを表示してもよいし、情報検索部３４が行った検索による検索結果の二次元または三次元地図、もしくは、付加情報を表示してもよいし、制御部１０が生成した操作メニューなどを表すＧＵＩ（graphical user interface）画面を表示してもよい。
【００７７】
本実施形態では、タッチパネル制御部３０は、画像重畳部２２を備えていてもよい。画像重畳部２２は、撮像部１４が撮像した実写の画像データに、携帯電話１００にて生成したグラフィック、つまり、上記画像データに一致する対象物の付加情報とＧＵＩ画面とを重畳させるものである。上記画像データ上に対象物の付加情報を重ね合わせる場合、位置情報を正しく合わせておかないと、対象物とはずれて別の場所に付加情報が表示されてしまい、正確な情報提示が行われない可能性がある。そこで、本実施形態では、画像重畳部２２は、特徴情報評価部３５が評価した画像特徴情報の一致度評価結果を利用してもよい。この場合、画像重畳部２２は、静止画であれば適切な位置補正をして、検索結果を重畳させた映像信号を表示制御部２０に出力する。動画であれば、速度検出部１５２が検出する移動速度による補正を加えながら、検索結果を重畳させた映像信号を表示制御部２０に出力する。
【００７８】
このように、画像特徴情報をマッチングすることにより、付加情報の高精度な合成表示を行うことが可能となり、結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【００７９】
操作受付部２１は、利用者が操作表示部１３または各種キーを操作することにより入力される信号を受け付けるものである。本実施形態では、例えば、利用者が指やタッチペンで操作表示部１３の表示画面を押すことによって、表示画面において押された箇所の座標が領域検出部２３に伝達される。
【００８０】
領域検出部２３は、操作受付部２１によって、操作表示部１３に対する押下操作が検知された場合に、押された箇所の座標に基づいて、操作表示部１３に表示されているどの領域、ＵＩ部品が押されたのかを検出するものである。本実施形態では、例えば、領域検出部２３は、どの、画像データ上の建造物のオブジェクト、ＧＵＩ画面による操作ボタン、もしくは、付加情報を表示するテキストまたは吹き出しが押下されたのかを検出する。制御部１０の各部は、領域検出部２３が検出した、利用者の操作内容にしたがって動作する。
【００８１】
〔端末装置の処理フロー〕
図３は、本発明の実施形態における携帯電話１００の地図検索表示処理のフローチャートである。図４〜図８は、携帯電話１００の操作表示部１３に表示される検索結果の表示画面の具体例を示す図である。
【００８２】
始めに、携帯電話１００において、本発明の制御プログラム、具体的には、地図検索表示プログラムが起動されると、制御部１０は、各種初期化など必要な処理を実行する。その後、利用者のシャッター操作または自動撮像機能などによって、撮像部１４が、画像データを撮像する（Ｓ１０１）。この撮像処理で得られる画像データは、静止画であっても動画であってもよい。また、ここで、特徴情報生成部３１が、撮像された画像データを分析し、当該画像データの二次元または三次元の画像特徴情報を生成してもよい。
【００８３】
ここで、地図を検索したい場所の画像データ、および、該画像データの画像特徴情報が、撮像画像記憶部４２に記憶されている場合には、撮像処理を行わずに、すでに記憶されている画像データおよび画像特徴情報を用いて検索処理を行ってもよい。そして、特徴情報生成部３１は、天候、時間帯などの環境の変化を示す情報に基づいて、今回の検索に用いる画像特徴情報を補正してもよい。天候情報は、ウェブを通じて携帯電話１００に供給されてもよいし、時間情報は、携帯電話１００が内蔵する時計機能から供給されてもよい。
【００８４】
撮像部１４によって画像データが撮像されると、センサ（群）１５が、携帯電話１００本体の物理的状態を検出する（Ｓ１０２）。具体的には、位置検出部１５０が、携帯電話１００（利用者）の現在位置を検出し、撮像方向検出部１５１が、撮像が実施された撮像方向を検出し、姿勢検出部１５３が携帯電話１００本体の姿勢（傾き）などを検出する。撮像部１４が動画を撮像している場合には、携帯電話１００の移動速度を速度検出部１５２が検出してもよい。
【００８５】
続いて、クエリ生成部３２は、センサ（群）１５の検出結果に基づいて、携帯電話１００の位置と撮像方向とを含むクエリを生成する。ここで、クエリ生成部３２は、検索対象となる空間および画角を特定し、検索を行うためのクエリを生成してもよい（Ｓ１０３）。
【００８６】
情報検索部３４は、クエリ生成部３２が生成したクエリ（携帯電話１００の位置と撮像方向）にしたがって、地図データ記憶部４０および付加情報記憶部４１から、地図データおよび付加情報（店舗情報、広告、メニューなど）を取得する（Ｓ１０４）。詳細には、位置と撮像方向とから検索対象となる空間を、三次元地図上の座標空間において特定し、当該空間に存在するオブジェクト（建造物）の付加情報を検索する。
【００８７】
ここで、クエリ生成部３２の代わりに、情報検索部３４が、位置と撮像方向とから検索対象となる空間を算出してもよい。
【００８８】
検索対象となる空間の算出手順は以下の通りである。クエリ生成部３２（または情報検索部３４）は、位置と撮像方向に基づいて錐形の座標空間を算出する。例えば、利用者の位置から利用者の視線と最も手前で衝突する物体（建造物など）までの距離の２倍の距離の範囲内で視線と衝突する対象物があれば、それらが存在する三次元地図上の空間を検索対象としてもよい。また、検索対象の距離の上限などを設けて、付加情報の検索を行ってもよい。
【００８９】
さらに必要であれば、クエリ生成部３２は、Ｓ１０１にて特徴情報生成部３１が生成した画像特徴情報を加えてクエリを生成してもよい。この場合、Ｓ１０４の検索処理において、情報検索部３４は、位置、撮像方向に加えて、画像特徴情報が一致する地図データを検索する。これにより、地図ＤＢにおいて検索対象の空間をより正しく特定することが可能となり、検索精度を向上させることが可能となる。
【００９０】
続けて、タッチパネル制御部３０の表示制御部２０および画像重畳部２２は、情報検索部３４が行った検索結果を操作表示部１３に表示する（Ｓ１０５）。
【００９１】
具体的には、図４に示すとおり、画像重畳部２２は、Ｓ１０１にて撮像部１４が撮像した画像データ４００に、情報検索部３４が検索した検索結果データ４０１（地図データおよび各オブジェクトの付加情報など）、ならびに、利用者が携帯電話１００を操作するためのＧＵＩ部品４０２（ボタンなど）を重畳させる。表示制御部２０は、画像重畳部２２が行った重畳処理の結果を操作表示部１３に出力する。
【００９２】
さらに必要であれば、特徴情報評価部３５は、クエリに用いた画像データの画像特徴情報と、情報検索部３４が抽出した地図データの画像特徴情報との一致度を評価し、評価結果を画像重畳部２２に供給してもよい。この場合、Ｓ１０５の検索結果表示処理において、画像重畳部２２は、画像データと地図データとを、より正確に位置合わせ（トラッキング処理）をして重畳させることができる。これにより、位置ずれの誤差を低減し、より正確な検索結果を利用者に提供することが可能となる。撮像画像が動画の場合には、利用者にとって、検索結果がさらに見やすくなる。なお、トラッキング（２Ｄトラッカーや３Ｄトラッカーとも言われる）方法は、特に限定されない。
【００９３】
操作表示部１３に検索結果が表示されたのち、操作受付部２１が利用者のタッチパネルからの入力を検出すると（Ｓ１０６においてＹＥＳ）、領域検出部２３が、タッチ箇所の表示座標位置を確認し、表示画面のどの領域がタッチされたのかを検出する（Ｓ１０７）。具体的には、領域検出部２３は、以下の３つの判定ステップを実施する。すなわち、タッチされた箇所が、Ｓ１０１の撮像処理で獲得された画像データを表示する撮像画像領域か否かを判定するステップ（Ｓ１０８）、ＧＵＩ部品を表示するＧＵＩ領域か否かを判定するステップ（Ｓ１０９）、画像データに対して重畳表示されたグラフィック（地図データおよび付加情報）を表示する付加情報重畳領域か否かを判定するステップ（Ｓ１１０）を順次実施する。
【００９４】
なお、撮像画像領域とはＳ１０１の撮像ステップで撮像された画像データを直接表示している表示領域であり、ＧＵＩ領域とは、利用者が操作するためのＵＩ部品が表示されている領域であり、付加情報重畳領域とは、画像データにオーバーラップされたコンピュータ画像が表示されている領域である。
【００９５】
ここで、領域検出部２３が、タッチされた箇所が撮像画像領域であると判定した場合には（Ｓ１０８においてＹＥＳ）、情報検索部３４は、領域検出部２３が検出したタッチ箇所の地図空間上の位置を確認する。より具体的には、地図データが三次元地図である場合には、情報検索部３４は、タッチされた箇所が地図データ上の三次元空間においてどの座標に位置するかを三次元投影法などの算術的手法を用いて算出する。そして、情報検索部３４は、地図データ記憶部４０のエリアのどのオブジェクトがタッチにより選択されたのかを特定する。すなわち、注目対象物を特定する（Ｓ１１１）。
【００９６】
続いて、情報検索部３４は、特定した注目対象物の付加情報を付加情報記憶部４１から抽出し、検索結果を画像重畳部２２に供給する。
【００９７】
画像重畳部２２は、情報検索部３４によって特定された注目対象物７００を強調表示するために画像データに強調表示のグラフィック（例えば、太枠）を重畳させるとともに、情報検索部３４によって抽出された当該注目対象物の付加情報を可視化する。例えば、図７に示すとおり、付加情報である店舗情報を表示した吹き出し７０１を画像データ４００に重畳させる（Ｓ１１２）。
【００９８】
ここで、強調表示の方法は、上記に限定されない。注目対象物だけ加工せずに、他のオブジェクトおよび他の領域を暈す画像処理を施すなどの方法で、注目対象物を強調表示してもよい。
【００９９】
一方、領域検出部２３が、タッチされた箇所がＧＵＩ領域であると判定した場合には（Ｓ１０９においてＹＥＳ）、領域検出部２３は、選択されたＧＵＩ部品を特定し、画像重畳部２２は、特定されたＧＵＩ部品に対してカーソルを移動させるなどの適宜処理を実行する。さらに、選択されたＧＵＩ部品に応じて、制御部１０が携帯電話１００の各部に各種機能の実行を命令してもよい。
【０１００】
例えば、図５に示すとおり、ＧＵＩ部品４０２のジャンル食事ボタン５００がタッチされた場合には、画像重畳部２２は、カーソル５０１をジャンル食事ボタン５００にフォーカスさせる処理を行う。さらに、本実施形態では、図示しないＧＵＩ処理部が、ＧＵＩ部品４０２の表示を切り替える（Ｓ１１３）。具体的には、図６に示すとおり、食事のジャンルについて選択可能なさらに下位層の選択項目を含むＧＵＩ部品４０２を表示する。
【０１０１】
さらに、本実施形態では、図５に示すとおり、画像データ４００および検索結果データ４０１が表示されている状態で、ジャンル食事ボタン５００が選択されると、情報検索部３４は、付加情報記憶部４１から、該当エリアにおいてジャンル情報に「食事」の値を含む建造物を抽出してもよい。そして、画像重畳部２２は、抽出された建造物が強調表示されるようにグラフィック（例えば、強調枠５０２）を重畳表示してもよい（Ｓ１１４）。
【０１０２】
一方、領域検出部２３が、タッチされた箇所が付加情報重畳領域であると判定した場合には（Ｓ１１０においてＹＥＳ）、領域検出部２３は、選択された付加情報部品を特定する。そして、画像重畳部２２は、選択された付加情報部品に対してフォーカスをあてるなどの適宜処理を実行する。さらに、情報検索部３４は、選択された付加情報に関連付けられた、さらに下位層の付加情報（店舗情報、広告情報、サービスメニューのリストなど）を検索し、画像重畳部２２が、その検索結果を表示する（Ｓ１１５）。例えば、図８に示すとおり、吹き出し７０１の中で、「イタリアン１店舗」がタッチされた場合には、当該店舗のさらに詳細な下位層付加情報８００が表示されてもよい。
【０１０３】
一連の検索および表示処理が終了する、Ｓ１１６のステップに遷移し、利用者が地図検索表示処理を終了させる操作を行ったか否かを制御部１０が判定する。地図検索表示処理を継続する場合は（Ｓ１１６においてＮＯ）、Ｓ１１７に遷移し、そうでなければ（Ｓ１１６においてＹＥＳ）当該処理を終了する。
【０１０４】
Ｓ１１７では、制御部１０が、次の撮像を行うかどうかを評価する。ここで、撮像部１４が動画を撮像している場合は（Ｓ１１７においてＹＥＳ）、撮像部１４が継続して動画の撮像を行い（Ｓ１０１）、変化する次の位置と方向とを検出し（Ｓ１０２）、以降、上述した検索表示処理を繰り返す。一方、撮像部１４が静止画を撮像している場合は、次のタッチ検出を行う処理ステップ（Ｓ１０６）に戻る。
【０１０５】
なお、本発明の携帯電話１００の操作受付部２１は、操作表示部１３における利用者の表示画面に対する押下を検出する（タッチ検出する）構成としているが、本発明の端末装置はこれに限定されない。あらゆるポインティングデバイスによるポインティング操作を操作受付部２１は検出する。
【０１０６】
〔具体例〕
図４〜図９に示す具体例に基づいて、携帯電話１００の動作を説明する。なお、ここに挙げる具体例および説明は、本発明の理解を容易にする目的でなされるものであり、本発明の構成を限定するものではない。
【０１０７】
図９（ａ）は、図２（ｃ）に示す付加情報記憶部４１のデータ構造の具体例を示す図であり、図９（ｂ）は、図２（ｃ）に示す付加情報のうち、サービスメニューリストの具体例を示す図である。
【０１０８】
図９（ａ）は、図４においてオブジェクト４０３として表示されている建造物に入っている複数の店舗に関する情報が付加情報として記憶されている様子を示している。すでに述べたとおり、１つの対象物に対して、複数の店舗についての付加情報が関連付けられている。付加情報の内容は特に限定されない。図９（ａ）に示す以外の付加情報（例えば、混雑状況、待ち時間、空席情報など）が付加情報として店舗ごとに関連付けられていてもよい。本実施形態では、一例として、１つの店舗につき１レコードが割り当てられており、各レコードはＩＤによって一意に識別可能である。しかし、付加情報記憶部４１のデータ構造はこれに限定されず、複数の異なる店舗のレコードをＩＤや名称によって分類できる構成で実現されていてもよいし、ひとつの店舗にＩＤや名称で分類可能な複数のレコードが関連付けられていてもよい。
【０１０９】
図９（ｂ）は、図９（ａ）に示す、位置情報「Ｎ13.45.22.44、Ｅ23.45.22.42、Ｈ25.2」を有する店舗（イタリア料理レストラン）の付加情報のうち、サービスメニューリスト（リスト１）の具体例を示している。リスト１は、対象物番号および位置情報の複合キーで図９（ａ）の付加情報記憶部のテーブルと関連付けられている。この構成により、付加情報を階層ごとに管理することができる。図９（ｂ）の付加情報が情報検索部３４によって検索された場合には、上記イタリア料理レストランについてさらに詳細な付加情報を利用者に提供することができる。このように、付加情報が階層管理されているため、利用者に理解しやすい手順でより多くの詳細な付加情報を提供することが可能となる。
【０１１０】
図４は、携帯電話１００の操作表示部１３のタッチパネルディスプレイ上に、撮像部１４が撮像した画像データ４００（実風景映像）、検索結果データ４０１、および、ＧＵＩ部品４０２が表示されているところを示している。本実施形態においては、画像重畳部２２は、付加情報が最初から可視状態で表示されるように重畳する必要はなく、画像データに各オブジェクトが表示された後、ひとつのオブジェクトが利用者にタッチされ選択された場合に、当該オブジェクトの付加情報が可視状態で出力されるようにしてもよい。
【０１１１】
図４に示すとおり、画像重畳部２２は、情報検索部３４の検索結果に基づいて、画像データ４００に含まれるエリアにおいて認識されたオブジェクトごとにアイコンを検索結果データ４０１として重畳表示させてもよい。図４に示す４０１のアイコンは、当該建造物がレストランなどの食事施設（店舗）を含んでいることを示していてもよい。なお、表示制御部２０および画像重畳部２２は、情報検索部３４の検索結果に基づいて、利用者の位置からの実際の距離に応じて、遠くの場所に関連付けられているオブジェクトのアイコンは小さく表示したり、透明度を高くしたりしてもよい。あるいは、実際の距離とは無関係に、検索前に目的地が設定されている場合には、目的とする場所・建造物のアイコンを大きく表示したりしてもよい。
【０１１２】
図５は、ＧＵＩ部品４０２に表示される複数の操作項目のうち、ジャンル「食事」の項目が、利用者の指５０３でタッチされ選択されたときの表示画面の具体例を示している。ジャンル食事ボタン５００がタッチされると、情報検索部３４は、ジャンルが食事の対象物を検索する。画像重畳部２２は、検索結果に基づいて、食事が可能な建造物の輪郭に対して強調表示、および／または、ハイライト処理を実行する。例えば、図５に示す例では、太い破線枠で対象物の輪郭を囲うことにより、当該エリアの手前２つの建造物が食事施設を含んでいることを示している。
【０１１３】
さらに、本実施形態では、図６に示すとおり、ジャンル食事ボタン５００が選択された場合には、操作項目「食事」の下位層の操作項目がＧＵＩ部品４０２として表示される。
【０１１４】
図６は、上記食事の下位層の操作項目のうち、例えば、混雑状況を示す「混雑」の操作項目が選択されたときの表示画面の具体例を示している。付加情報混雑ボタン６００が、利用者の指５０３でタッチされ選択されると、画像重畳部２２は、食事施設が入っている建造物の輪郭を強調する枠の輝度を、混雑状況に応じて異ならせて表示する。具体的には、情報検索部３４が、付加情報記憶部４１を検索し、表示中の対象物（対象物内の各店舗）の付加情報のうち混雑状況の情報を取得して画像重畳部２２および表示制御部２０に供給する。画像重畳部２２は、例えば、空いている店舗（建造物）ほど輪郭強調枠５０２が濃い色になるように、各対象物の強調枠５０２の輝度を調節して重畳させてもよい。
【０１１５】
ここで、表示制御部２０および画像重畳部２２が注目対象物の輪郭を強調する構成としたが、携帯電話１００のハードウェアの演算量が充分でない場合には、対象物の中心付近に建物の名前とボタンを表示するように表示制御部２０および画像重畳部２２を構成してもよい。あるいは、対象物を計算が単純化される任意の矩形で囲むように表示するように表示制御部２０および画像重畳部２２を構成してもよい。また、それらのボタンや矩形などのグラフィックのトラッキングには、撮像した画像データから得られる二次元または三次元の画像特徴情報を利用してもよい。
【０１１６】
図７は、混雑が少ないと表示された注目対象物７００を、利用者が反対の指７０２でタッチし選択したときの表示画面の具体例を示している。図７に示す例では、反対の指７０２で選択されることにより、オブジェクト４０３だけが注目対象物７００として選択され、注目対象物７００の輪郭が強調表示される。続いて、指７０２で押下された箇所の周辺領域７０３が、領域検出部２３によって取得される。そして、特徴情報生成部３１は、周辺領域７０３の画像特徴情報を生成する。クエリ生成部３２は、当該画像データ４００撮像時の位置情報、撮像方向情報、および、周辺領域７０３の画像特徴情報を含むクエリを生成する。
【０１１７】
情報検索部３４は、上記クエリに基づいて地図ＤＢを検索する。例えば、注目対象物７００の建造物に、「イタリアン１店舗、和食１店舗、洋食３店舗、中華１店舗」の店舗情報が関連付けられている場合には、情報検索部３４は、この店舗情報を検索結果として画像重畳部２２に供給する。画像重畳部２２は、上記検索結果に基づいて、店舗のリストの付加情報である吹き出し７０１を画像データ４００に重畳させて表示する。
【０１１８】
なお、携帯電話１００が内蔵する地図ＤＢの更新は、大元の地図ＤＢを有する配信装置から、画像データの撮像時に位置と視野角に基づいて事前に転送されているものであってもよい。ここで、携帯電話１００から配信装置に地図ＤＢの更新を依頼するときは、利用者の操作に伴い取得された画像特徴情報（二次元または三次元の特徴量）を、さらに外部の配信装置に対するクエリに利用してもよい。このような外部の配信装置からの地図ＤＢの更新は、定期的に行われていてもよい。
【０１１９】
図８は、付加情報が表示された吹き出し７０１のうち、「イタリアン１店舗」のテキスト部分を利用者が指５０３でタッチし選択したときの表示画面の具体例を示している。図８に示す例では、上記テキスト部分が選択されることにより、領域検出部２３がこれを検知し、情報検索部３４が、「イタリアン１店舗」に関連付けられたさらに詳細な下位層の付加情報を検索する（例えば、図９（ａ）の付加情報の各フィールド）。画像重畳部２２は、上記検索結果に基づいて、イタリアンの店舗についての詳細な付加情報を表示する吹き出し８００を画像データ４００に重畳させて表示する。
【０１２０】
ここでさらに、図示しないＧＵＩ処理部は、利用者が、店舗への予約を行ったり、在庫状況を確認したり、空き席状況や待ち時間を照会したりする操作ができるように、予約ボタンや確認ボタンなどのＧＵＩ部品を生成し、画像重畳部２２がそれらをＧＵＩ部品４０２として重畳表示してもよい。
【０１２１】
なお、二次元のタッチ箇所から、三次元空間の注目対象物を特定する手順は、例えば、以下のとおりである。情報検索部３４は、操作受付部２１および領域検出部２３が検出したポインティング操作によって選択されたタッチ箇所の二次元の座標に基づいて、三次元地図上のどの対象物が選択されたのかを算出する。まず、タッチ箇所の座標を始点とし、三次元空間座標上で利用者の視線のごとく、始点から遠方（奥）に向けて直線を生成する。そして、上記三次元空間上で、利用者から見て最も手前にて、上記直線と衝突する対象物を、タッチ操作によって利用者が選択した注目対象物として特定する。情報検索部３４は、例えば、図９（ａ）に示すような付加情報記憶部のテーブルから上記注目対象物の照会を行い、近傍の注目対象物に関するリスト（例えば、店舗リスト）を生成する。
【０１２２】
さらに、各店舗に関連付けられた店舗情報や広告情報などの詳細な付加情報を取得する。
【０１２３】
なお、図３のＳ１１２にて、特徴情報生成部３１が、領域検出部２３が検出した図７の周辺領域７０３における二次元の画像特徴や三次元の形状特徴などの画像特徴情報を生成し、クエリ生成部３２が、それらの画像特徴情報を検索のクエリに加えることにより、店舗情報や広告情報の検索精度を改善してもよい。
【０１２４】
さらに、必要であれば、上述したＳ１０１の撮像処理ステップにより獲得された画像データ、それ以前の繰返しの撮像処理により獲得された画像データなどに基づいて算出される二次元または三次元の特徴量を画像特徴情報として、さらにクエリに加えて検索してもよいし、天候や時間帯といった環境の変化を示す情報に基づいて取得した画像特徴情報を用いて、以前までの画像特徴情報を補正してもよい。
【０１２５】
上述したとおり、携帯電話１００の画像重畳部２２は、実写画像（画像データ４００など）と、ユーザーインターフェース画像（ＧＵＩ部品４０２など）と、自装置内もしくは通信回線を経由したデータベースから獲得し生成された画像（検索結果データ４０１、吹き出し７０１、下位層付加情報８００など）とを重畳する。そして、表示制御部２０は、重畳画像を、利用者が操作可能なように操作表示部１３に出力する。利用者は、操作表示部１３を操作して、重畳画像の任意の箇所を指などでタッチすることにより携帯電話１００を操作することが可能となる。
【０１２６】
具体的には、利用者は、ＧＵＩ部品４０２の領域から必要な情報の種類（店舗のジャンルなど）を選択することができる。また利用者は、提供される情報の優先順位基準（混雑状況、現在地からの近さなど）を選択することができる。そして、利用者は、優先順位基準に基づいて表示のされ方が変化した建造物などのオブジェクトを選択することができる。操作表示部１３には、選択されたオブジェクトに関連付けられた店舗一覧が選択可能に表示される。利用者によって店舗の一つが選択されると、選択された店舗に関連付けられた付加情報が検索され、元の画像データ４００に重畳表示される。そして、利用者は、地図データに加えて、地図上に存在する建造物などの付加情報を階層的に取得することが可能となり、分かりやすいサービスを享受することが可能となる。
【０１２７】
上で述べたとおり、重畳表示された実写画像、ＵＩ画像、付加情報画像のいずれかタッチされたかによって、携帯電話１００の動作は変化する。
【０１２８】
利用者がタッチした箇所が、実写の画像データである場合は、携帯電話１００は、実写の画像データに含まれるどの対象物が選択されたのか（注目対象物がどれか）を特定する。具体的には、クエリ生成部３２は、利用者のタッチ部分を中心とする一定範囲内の画像または画像から得られる画像特徴情報、もしくは、画像特徴情報のＶＱコードをクエリに追加する。そして、そのクエリを内蔵の情報検索部３４（または、情報検索装置）に送信する。これにより、情報検索部３４は、データベースにデータの照会をすることが可能となる。
【０１２９】
なお、タッチした箇所から目的の場所を算出する方法は、三次元投影変換により実施され、レンズのコマ収差などを考慮して座標変換を行ってもよい。また、操作表示部１３としてのタッチパネルに限らず任意のマウスやトラックパッドのようなポインティングデバイスによって、表示部の任意の位置が指定されてもよい。上記ポインティングデバイスによって指定された実写画像上の位置と撮像平面に対する写像空間を考慮した撮像方向への直線において、三次元地図上の物体と接触する点とその周辺領域の画像の特徴量に基づいて、二次元画像特徴や三次元形状特徴といった画像特徴情報が生成されてもよい。そして、このように生成された画像特徴情報を、マッチングによって、情報検索やトラッキングに利用することが可能となる。
【０１３０】
また、付加情報画像（例えば吹き出し７０１など）がタッチされた場合には、選択された対象物、テキストなどに関連付けられた下位層の付加情報をさらに重畳表示する処理が実行される。
【０１３１】
≪実施形態２≫
上述の実施形態では、主に、端末装置としての携帯電話１００がデータベースおよび情報検索機能を内蔵し、情報検索機能および検索結果表示機能の精度向上を図る場合について説明した。しかし、本発明の端末装置は上記の構成に限定されない。データベースおよび情報検索機能を情報検索装置としての配信装置が内蔵し、端末装置が情報検索を配信装置に依頼し、配信装置から供給された検索結果を端末装置にて表示する情報検索システムも本発明の範疇に入る。以下では、本発明の情報検索システムを、地図ＤＢを有する配信装置が地図データおよび付加情報を検索し、検索結果を端末装置に配信する地図検索システムに適用した場合を例に挙げ、説明する。
【０１３２】
〔地図検索システムの概要〕
図１０は、本発明の実施形態における地図検索システム９００の概略構成を示す図である。図１０に示す例は、本発明の情報検索システムを説明するために用いる一つの具体例に過ぎず、これにより本発明の情報検索システムの構成は限定されない。
【０１３３】
図１０に示すとおり、地図検索システム９００は、本発明の１または複数の端末装置（Ａ〜Ｃ・・・）と、本発明の１または複数の配信装置（Ａ、Ｂ・・・）とを含む構成である。各装置は、インターネット３００などの通信回線を経由して無線や有線で接続されており、これにより、端末装置の現在位置に基づく地図情報供給サービスを実現することができる。無線接続される端末装置Ａまたは端末装置Ｂを、上述した携帯電話１００や、車両などの移動体に搭載されるカーナビゲーションシステム１００ｂなどで実現することができる。また、有線接続される端末装置Ｃを、観光用の望遠鏡を制御するＰＣなどの望遠鏡制御装置１００ｃで実現することができる。
【０１３４】
配信装置Ａまたは配信装置Ｂは、パーソナルコンピュータ、サーバ、クラウドコンピュータ、クラスタリングコンピュータ、グリッドコンピュータなどの大規模情報処理システムなどによって構成されていてもよい。
【０１３５】
また、配信装置と端末装置とは、インターネット３００に限定されず、イーサネット（登録商標）、フレームリレー、電話回線、無線回線といった任意の通信施設や通信機器を用いて接続され、本発明の地図検索システム９００を構成してもよい。
【０１３６】
各端末装置Ａ〜Ｃの要部構成については、既に述べた図１に記載の携帯電話１００とほぼ同様であるので、ここでは説明を繰り返さない。
【０１３７】
〔配信装置の構成〕
図１１は、本発明の実施形態における情報検索装置としての配信装置２００の要部構成を示すブロック図である。本実施形態では、配信装置２００は、地図ＤＢおよび地図データ検索機能を有するサーバ装置である。
【０１３８】
図１１に示すとおり、本実施形態における配信装置２００は、制御部５０、記憶部５１、通信部５２および操作部５３を備える構成となっている。
【０１３９】
記憶部５１は、制御部５０が実行する制御プログラム、ＯＳプログラム、および、制御部５０が、配信装置２００が有する各種機能を実行するときに読み出す各種データを記憶するものであり、フラッシュメモリまたはハードディスクなどの不揮発性の記憶装置によって構成されるものである。記憶部５１が記憶する各種データとしては、例えば、地図データ記憶部７０、付加情報記憶部７１などがある。これらの記憶部のデータ構造については、それぞれ、携帯電話１００の地図データ記憶部４０、付加情報記憶部４１とほぼ同様である。
【０１４０】
通信部５２は、通信網（本実施形態では、インターネット、携帯電話網など）を介して、外部の装置との間でデータを送受信するものである。本実施形態では、通信部５２は、携帯電話１００が生成したクエリを含んだ検索リクエストを受信したり、その検索結果を含むレスポンスを送信したりする。通信部５２は、イーサネット（登録商標）、モデム、無線ＬＡＮ（Local Area Network）、赤外線通信といった有線無線を問わない通信手段によって実現される。
【０１４１】
操作部５３は、配信装置２００の操作者が配信装置２００に指示を入力するための入力デバイスであり、本実施形態では、例えば、キーボード、マウス、タッチパッドなどで実現される。
【０１４２】
制御部５０は、配信装置２００が備える各部の各種動作を統括制御するものであり、ＣＰＵ（central processing unit）やバスコントローラなどの、配信装置を構成するための装置群によって実現される。制御部５０は、機能ブロックとして、少なくとも、通信制御部６０、クエリ解釈部６１、情報検索部６２および特徴情報評価部６４を備えている。また、制御部５０は、必要に応じて、特徴情報生成部６３を備えていてもよい。
【０１４３】
上記機能ブロックとして示される各部は、ＣＰＵ（central processing unit）がＲＯＭ（read only memory）等の記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等に読み出して実行することで実現できる。本実施形態では、プログラムの具体例としては、図示しないが、クエリ受信プログラム、クエリ解釈プログラム、特徴情報生成プログラム、地図データ検索プログラム、検索結果送信プログラムなどが、記憶部１１に記憶されている。これに限定されず、携帯電話１００に搭載される各種アプリケーションプログラムも記憶部１１に記憶されている。
【０１４４】
通信制御部６０は、通信部５２を介して、端末装置（携帯電話１００など）が生成したクエリを含む検索リクエストを受信するものである。また、上記検索リクエストの応答として、情報検索部６２が生成した検索結果を通信部５２を介して送信するものである。通信制御部６０は、端末装置から、必要に応じて二次元画像特徴や三次元形状特徴を用いて構成されたクエリを受信したり、端末装置の現在位置と撮像方向の情報で構成されたクエリを送受信したりしてもよい。
【０１４５】
クエリ解釈部６１は、情報検索部６２が地図ＤＢ（地図データ記憶部７０および付加情報記憶部７１）に対して検索を行うためのクエリを解釈するものである。上記検索リクエストには、例えば、二次元の画像の特徴量や三次元の形状の特徴量などから生成された画像特徴情報が含まれており、クエリ解釈部６１は、上記検索リクエストに含まれる画像特徴情報をクエリとして検索時に用いるように、その値を必要に応じて情報検索部６２に供給する。あるいは、位置情報、撮像方向情報などがクエリに加わっている場合は、当該各情報を情報検索部６２に供給する。
【０１４６】
情報検索部６２は、クエリ解釈部６１が解釈したクエリに基づいて、地図データ記憶部７０および／または付加情報記憶部７１の検索を行い、該当エリアの地図データおよび／または付加情報を抽出するものである。さらに、情報検索部６２は、クエリに画像特徴情報が含まれている場合には、特徴情報評価部６４が評価した画像特徴情報の一致度に基づいて、地図データを検索することができる。配信装置２００の情報検索部６２の機能は、上述した携帯電話１００の情報検索部３４の機能とほぼ同様である。
【０１４７】
特徴情報生成部６３は、情報検索部６２が地図データ記憶部７０から検索したエリアの画像特徴情報および付加情報記憶部７１の対象物の画像特徴情報を取得するものである。特徴情報生成部６３は、地図ＤＢにあらかじめ記録されている画像特徴情報を取得するものであってもよいし、エリアごとまたは対象物ごとに画像データが関連付けられている場合には、その画像データに基づいて画像特徴情報を生成するものであってもよい。画像特徴情報は、上述したとおり、画像データまたは地図データの二次元または三次元の特徴量を示す情報である。画像特徴情報は、二次元画像特徴量（輝度、色度、彩度など）であってもよいし、三次元形状特徴量（ポリゴン、三次元座標値、ＶＱコードなど）であってもよい。
【０１４８】
特徴情報生成部６３が生成（または取得）した画像特徴情報は、情報検索部６２が抽出した地図データや付加情報とともに検索結果として端末装置に配信される。
【０１４９】
特徴情報評価部６４は、クエリ解釈部６１が解釈したクエリに含まれる画像特徴情報と、内蔵する地図ＤＢにてエリアごと、対象物ごとに管理されている特徴情報生成部６３が生成した画像特徴情報との一致度を評価するものである。特徴情報評価部６４が実行する上記両画像特徴情報の評価結果は、情報検索部６２が検索のために利用する。
【０１５０】
〔課題１：天候などに検索性能が左右されない（ロバストな）情報検索システムを実現する〕
従来（特許文献４、５など）に記載の装置では、画像の一致度評価において、二次元的な画像特徴による比較に頼る評価であるため、天候や季節により変化のある自然画を対象に評価を行おうとすると天候や時間帯による景色の違いにより正確な一致度評価を行うことが出来ないという課題があった。
【０１５１】
本実施形態では、上記課題を解決するために、特に、情報検索部６２は三次元形状特徴量をクエリとする情報検索を実施する。
【０１５２】
より詳細には、特徴情報評価部６４は、三次元形状特徴量に基づく画像特徴情報の一致度評価を行う。情報検索部６２は、特徴情報評価部６４が行った評価結果にしたがって、クエリで検索要求されているエリア（または対象物）の検索を行う。つまり、情報検索部６２は、三次元形状の一致度が高いエリア（または対象物）を検索結果として抽出することができる。これは、二次元の画像データから得られる二次元の特徴量（輝度、彩度、色度、色温度など）に頼らず、三次元の形状の一致度により目的のエリア（または対象物）の検索を実現することを意味する。二次元の特徴量は、画像データ撮像シーンの天候、季節、時間帯などによって大きく変化する値であるので、このような不確定要素に頼らずに三次元形状をクエリに用いることにより、情報検索部６２は、情報検索を常に正確に行うことが可能となる。したがって、ロバスト性の高い情報検索システムを実現することが可能となる。
【０１５３】
〔地図検索システムの処理フロー〕
図１２は、本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。ここでは、一例として、図１に示す端末装置としての携帯電話１００と配信装置２００との処理フローについて説明する。
【０１５４】
まず、携帯電話１００は、利用者から地図表示の指示を受け付けると、検索リクエストを配信装置２００に送信する（Ｓ１２０１）。具体的には、センサ（群）１５が取得した位置情報と方向情報（利用者の視線の方向、撮像部１４の撮像方向など）を、クエリ生成部３２がクエリとして生成する。通信制御部３３は、上記クエリを含む検索リクエストを通信部１２を介して配信装置２００に送信する。
【０１５５】
配信装置２００の通信制御部６０は、上記検索リクエストを受信する（Ｓ１２２１）。クエリ解釈部６１は、上記検索リクエストに含まれるクエリを解釈して、位置情報および方向情報を情報検索部６２に供給し、情報検索部６２は、その位置情報および方向情報に基づいて地図ＤＢを検索する（Ｓ１２２２）。情報検索部６２は、位置情報と方向情報とに基づいて地図空間上を撮像方向に対し二次元空間であれば例えば端末を頂点とした扇形の範囲に、三次元空間であれば端末を頂点とした四角錐の範囲に限定して検索を実施する。通信制御部６０は、情報検索部６２が地図ＤＢから抽出した地図データを検索結果として携帯電話１００に送信する（Ｓ１２２３）。
【０１５６】
そして、端末側の携帯電話１００は上記検索結果を受信する（Ｓ１２０２）。そして、表示制御部２０は、上記検索結果の地図データを、例えば図４のように操作表示部１３に表示する（Ｓ１２０３）。このときベースに表示される画像データは、以前から携帯電話１００に記憶されているものであってもよいし、携帯電話１００の現在位置に基づいて配信装置２００が提供したものであってもよい。また、利用者の操作によって、検索結果の表示方法になんらかの条件や制限が設定されている場合には、情報検索部３４が、対象物のレコードを優先度、混雑状況、距離などの順にソートしたり、フィルタリングしたりして上記検索結果を加工してもよい。
【０１５７】
続いて、利用者の操作などにしたがって、撮像部１４が撮像処理により画像データを取得し、センサ（群）１５が撮像位置、撮像方向を検出する（Ｓ１２０４）。そして、特徴情報生成部３１は、撮像された画像データの三次元形状画像特徴情報を生成する（Ｓ１２０５）。例えば、ポリゴン、三次元座標値、形状ＶＱコードなどを生成する。
【０１５８】
次に、クエリ生成部３２は、検出された撮像位置および撮像方向、ならびに、上記三次元形状画像特徴情報を含むクエリを生成する。通信制御部３３は、上記クエリを含む検索リクエストを配信装置２００に送信する（Ｓ１２０６）。
【０１５９】
これに対し、配信装置２００の通信制御部６０は、三次元形状画像特徴情報を含む上記検索リクエストを受信する（Ｓ１２２４）。クエリ解釈部６１は、上記検索リクエストに含まれるクエリを解釈して、結果を情報検索部６２に伝達する。情報検索部６２は、解釈されたクエリ、すなわち、撮像位置、撮像方向および三次元形状画像特徴情報に基づいて地図ＤＢを検索する（Ｓ１２２５）。ここで、特徴情報評価部６４によって、クエリに含まれている三次元形状画像特徴情報と、地図ＤＢにおいてエリアまたは対象物に関連付けられている三次元形状画像特徴情報との一致度が評価され、三次元形状に基づく情報検索が実施される。情報検索部６２は、クエリの三次元形状と一致する対象物およびその付加情報を抽出することができる。通信制御部６０は、上記付加情報を含む検索結果を携帯電話１００に返す（Ｓ１２２６）。
【０１６０】
そして、携帯電話１００の通信制御部３３は、上記付加情報を含む検索結果を受信する（Ｓ１２０７）。そして、図７、図８に示すように、画像重畳部２２および表示制御部２０が、検索結果の付加情報を、Ｓ１２０４にて取得された画像データに重畳させて表示する（Ｓ１２０８）。ここで、利用者が携帯電話１００を操作するためのＧＵＩ部品も重ねて表示される。
【０１６１】
表示されたＧＵＩ部品に対して利用者のタッチ操作が行われると、ＧＵＩ処理部が、タッチされた部品に関連する処理（例えば、レストランの予約など）の実行指示を受け付けて（Ｓ１２０９）、当該処理の内容を配信装置２００に送信する（Ｓ１２１０）。
【０１６２】
これに対し、配信装置２００は、携帯電話１００から処理内容を受信して（Ｓ１２２７）、配信装置２００の図示しない処理実行部が、受信した内容に応じた処理を実行する（Ｓ１２２８）。例えば、店舗の所有するサーバなどに対して予約手続きなどを実施する。
【０１６３】
上記方法によれば、端末装置のクエリ生成部３２が、クエリに三次元形状を加えることにより、天候や日照の具合による画像特徴の誤差に影響されることなく、端末装置で撮像された画像データに基づいて、該画像データに含まれる対象物の検索を行うことが可能となる。これにより、検索性能が向上し、結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【０１６４】
このように、本実施形態の地図検索システム（端末装置および配信装置）によれば、三次元形状マッチングによるＡＲ（ Augment Reality；拡張現実感）システムを構築することが可能となる。
【０１６５】
端末装置が撮像した画像データの撮像位置および撮像方向情報と立体形状を示す画像特徴情報とを含むクエリに基づいて、配信装置が、当該画像データに映し出されている場所の情報に関してデータベース検索が行われる。端末装置にはその検索結果が配信装置から供給される。端末装置は、撮像した画像データが、静止画であれば、適切な位置補正をして上記検索結果を合成して表示し、上記画像データが動画であれば、端末装置の移動速度による補正を加えながら、上記検索結果を合成して表示する。
【０１６６】
このように算術的に求められた立体形状同士の特徴一致に基づいて情報検索を行うことにより、天候や時間帯に左右されずに高精度な検索を行うことが可能となり、より正確な情報を利用者に提供することができる。
【０１６７】
〔地図検索システムの処理フロー２〕
図１３は、本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。ここでは、撮像された画像データとともに一次検索結果が表示されたのち、対象物が選択されて該対象物のさらに詳細な付加情報などの二次検索結果が表示されるときの処理フローについて説明する。図１３に示す例では、タッチ（ポインティング）された箇所の周辺領域から獲得される画像特徴情報としての三次元形状特徴情報を検索クエリとするとともに、上記三次元形状特徴情報を検索結果表示時のトラッキングに用いている。
【０１６８】
まず、携帯電話１００の撮像部１４は、利用者からの操作などに応じて、撮像処理により画像データを取得し、センサ（群）１５は、その撮像位置、撮像方向を検出する（Ｓ１３０１）。続いて、表示制御部２０が撮像した画像データを表示し、操作受付部２１が表示内容に対するポインティング操作を待ち受ける（Ｓ１３０２）。利用者が表示画面の一部を指などでタッチすると、領域検出部２３は、そのポインティング位置を検出する。特徴情報生成部３１は、画像データから、検出されたポインティング位置に基づいて、タッチ箇所およびその周辺領域を特定し特徴量を抽出する（Ｓ１３０３）。そして、その特徴量に基づいて、上記周辺領域の三次元形状画像特徴情報を生成する（Ｓ１３０４）。
【０１６９】
クエリ生成部３２は、Ｓ１３０１で検出された撮像位置および撮像方向、ならびに、Ｓ１３０４で生成された周辺領域の三次元形状画像特徴情報をクエリとして生成する。通信制御部３３は、上記クエリを含む検索リクエストを配信装置２００に送信する（Ｓ１３０５）。
【０１７０】
これに対して、配信装置２００の通信制御部６０は、上記検索リクエストを受信し（Ｓ１３２１）、クエリ解釈部６１が上記検索リクエストに含まれるクエリを解釈する。続いて、情報検索部６２は、ポインティングされた位置およびその周辺領域の三次元形状画像特徴情報と、撮像位置・撮像方向情報とに基づいて地図ＤＢを検索する（Ｓ１３２２）。情報検索部６２は、例えば、ポインティングされた建造物のさらに詳細な付加情報（店舗情報、広告情報など）を抽出してもよい。そして、通信制御部６０は、上記付加情報を含む検索結果を携帯電話１００に送信する（Ｓ１３２３）。
【０１７１】
そして、携帯電話１００の通信制御部３３は、配信装置２００から店舗情報や広告情報などの付加情報を含む検索結果を受信する（Ｓ１３０６）。画像重畳部２２は、Ｓ１３０１で取得された画像データに、Ｓ１３０６で受信された付加情報を重畳させる（Ｓ１３０７）。このとき、画像重畳部２２は、Ｓ１３０３で特定されたポインティング位置の周辺領域を基準にして、付加情報のトラッキング処理を行いながら重畳画像を出力する。表示制御部２０は、付加情報を上記画像データに正しく追従させて表示する（Ｓ１３０８）。
【０１７２】
これよりの後の処理は、図１２のＳ１２０９以降と同様の処理が実行される。
【０１７３】
上記方法によれば、利用者のポインティング箇所を、三次元形状の一致度を評価して特定することが可能となるので、配信装置はより正確に注目対象物を特定し、該対象物の正しい付加情報を抽出することができる。また、画像重畳部２２は、三次元形状の一致度を評価することにより、ポインティング箇所の付加情報を画像データのより正しい位置に重畳させることが可能となる。結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【０１７４】
≪実施形態３≫
〔課題２：検索結果を重畳表示する際の重畳位置誤差を低減する〕
ＧＰＳ、方位センサなどから得られる位置情報のみに基づいて、撮像した画像データに付加情報を重畳させる従来の構成では、重畳位置を合わせるための情報取得に用いるクエリに画像特徴情報を用いず上記位置情報および撮像方向情報のみを用いるため、付加情報、画像データそれぞれに関連付けられている位置情報の表示において重畳位置の誤差などを充分に吸収できない。このため、画像データと付加情報との重畳位置にずれが生じ、検索結果を撮像画像に対して忠実に合成表示できないという課題があった。
【０１７５】
本実施形態では、上記課題を解決するために、特に、配信装置は、特徴情報生成部６３が、検索結果のエリアまたは対象物ごとに画像特徴情報を関連付けて配信装置から端末装置に提供することを特徴としている。一方、端末装置は、撮像した画像データから得られた画像特徴情報と、配信装置から提供された画像特徴情報との一致度を評価する特徴情報評価部３５と、その評価結果に基づいて、重畳位置を補正する画像重畳部２２とを備えていることを特徴としている。
【０１７６】
上記構成によれば、端末装置においては、特徴情報生成部３１が、撮像された画像データについて画像特徴情報を生成する。端末装置の特徴情報生成部３１によって画像データから生成される画像特徴情報を端末側画像特徴情報とする。この画像特徴情報は、本実施形態では、クエリに用いない。
【０１７７】
そして、配信装置においては、端末装置から送られてきたクエリ（撮像位置、撮像方向）に基づいて、地図ＤＢの検索を実行する。ここでは、クエリに画像特徴情報が含まれていなくてもよいが、画像特徴情報が含まれている場合は、情報検索部６２は、画像特徴情報を用いた検索を実行してもよい。また、撮像位置と撮像方向とのみに基づいて検索するばかりではなく、端末装置の機種別種別情報に基づいて画角情報を取得したり、端末画角情報として画角を直接取得したりしてもよい。上記各情報は、検索範囲となる四角錐を算出したり、あらかじめ端末装置に情報を送信しておくために端末装置の撮像部１４を中心とする球形の空間情報範囲を算出したり、検索範囲の空間を限定したりするのに用いられる。
【０１７８】
クエリの条件を満足するレコード（エリア、対象物など）が情報検索部６２によって抽出されると、本実施形態では、特徴情報生成部６３は、抽出されたレコードに対応する画像特徴情報を取得して、上記各レコードと併せて検索結果として端末装置に提供する。特徴情報生成部６３は、各エリア、対象物の画像特徴情報があらかじめ地図ＤＢに記憶されている場合には、これを取得してもよいし、そうでなければ、抽出されたエリア、対象物の実写画像データまたはグラフィック画像データから画像特徴情報を生成してもよい。配信装置の特徴情報生成部６３によって地図ＤＢの画像データから生成される画像特徴情報を配信側画像特徴情報とする。配信側画像特徴情報は、検索結果に含まれて端末装置に供給される。
【０１７９】
端末装置の画像重畳部２２は、撮像部１４が取得した画像データに、検索結果の付加情報を重ね合わせる。このとき、特徴情報評価部３５は、端末側画像特徴情報と配信側画像特徴情報との一致度評価を行う。画像重畳部２２は、評価結果にしたがって、位置ずれ補正しながら重畳表示を行う。または、画像データが動画の場合は、上記評価結果に加えて速度検出部１５２が検出する移動速度にしたがって位置ずれ補正を行いつつ重畳表示を行う。こうして、端末装置は、表示中の画像データに対し、正確な２Ｄトラッキングや３Ｄトラッキングを実現することが可能となる。
【０１８０】
結果として、画像データと付加情報とを重ね合わせるときの表示位置の誤差を低減し、正確かつ忠実な検索結果を利用者に提供することが可能となる。
【０１８１】
〔地図検索システムの処理フロー３〕
図１４は、本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【０１８２】
図１４に示す端末装置としての携帯電話１００の各ステップＳ１４０１〜Ｓ１４０４、および、配信装置２００の各ステップＳ１４２１〜Ｓ１４２３は、それぞれ、図１２に示す各ステップ、Ｓ１２０１〜Ｓ１２０４、Ｓ１２２１〜Ｓ１２２３と同様であるので説明を繰り返さない。
【０１８３】
Ｓ１４０４にて、画像データの撮像および撮像位置、撮像方向の検出が実行されると、特徴情報生成部３１は、撮像された画像データの画像特徴情報（端末側画像特徴情報）を生成する（Ｓ１４０５）。本実施形態では、ここで生成される画像特徴情報は、三次元形状画像特徴情報に限定されず、二次元の画像特徴量に基づくものであってもよい。また、ここで生成される画像特徴情報は、クエリに含まれなくてもよい。したがって、クエリ生成部３２は、撮像位置、撮像方向を含むクエリを生成し、通信制御部３３が上記クエリを検索リクエストに含めて配信装置２００に送信する（Ｓ１４０６）。
【０１８４】
これに対し、配信装置２００の通信制御部６０は、検索リクエスト内の撮像位置および撮像方向を含むクエリを受信する（Ｓ１４２４）。情報検索部６２は、クエリ解釈部６１によって解釈されたクエリ、すなわち、撮像位置および撮像方向に基づいて地図ＤＢを検索する（Ｓ１４２５）。検索の結果、情報検索部６２によってＤＢから抽出されたエリアまたは対象物に関連付けられている画像特徴情報がＤＢにある場合、ＤＢから画像特徴情報（配信側画像特徴情報）を取得し検索結果に含める。あるいは、特徴情報生成部６３が、ＤＢから抽出されたエリアまたは対象物の画像データから新たに画像特徴情報を生成してもよい（Ｓ１４２６）。通信制御部６０は、携帯電話１００に対し、検索結果として、付加情報とともに検索されたエリアまたは対象物に関連付けられている配信側画像特徴情報を送信する（Ｓ１４２７）。
【０１８５】
そして、携帯電話１００の通信制御部３３は、上記検索結果を配信装置２００から受信する（Ｓ１４０７）。続いて、特徴情報評価部３５は、Ｓ１４０５にて生成された端末側画像特徴情報と、Ｓ１４０７にて受信した配信側画像特徴情報との一致度を評価する（Ｓ１４０８）。画像重畳部２２は、特徴情報評価部３５による評価結果に基づいて、検索結果の付加情報と画像データとの位置合わせを行い、重畳表示する（Ｓ１４０９）。つまり、画像データと付加情報に関連付けられている位置情報ではなく、画像特徴情報を比較して、色・形状などが一致するように位置を補正するので、各々位置情報のずれをここで吸収することができる。表示制御部２０は、重畳画像を操作表示部１３に出力し、検索結果を利用者に提供する。Ｓ１４１０以降の処理は、図１２のＳ１２０９以降と同様の処理が実行される。
【０１８６】
上記方法によれば、携帯電話１００は、撮像位置および撮像方向をクエリとして検索をリクエストするのみで、配信装置２００から、画像特徴情報を含む検索結果を取得することができる。そして、その画像特徴情報を用いて、画像データと付加情報との位置補正を実行する。携帯電話１００は、撮像位置および撮像方向だけに頼ると、誤差が大きい場合でも、画像特徴情報の一致度評価を参照することにより、より正しく画像データと付加情報との位置合わせを行えるため、上記誤差を吸収することができる。結果として、付加情報の表示位置精度を向上させることができ、検索結果を正確かつ忠実に提供することが可能となる。
【０１８７】
〔地図検索システムの処理フロー４〕
図１５は、本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。ここでは、端末装置が、撮像位置と撮像方向とをクエリにして検索をリクエストし、配信装置から受信した検索結果を表示する際に、タッチ（ポインティング）された箇所の周辺領域から獲得される画像特徴情報をトラッキングに用いる場合について説明する。
【０１８８】
Ｓ１５０１〜Ｓ１５０３の端末装置の各ステップは、図１３に示すＳ１３０１〜Ｓ１３０３の各ステップと同様である。
【０１８９】
次に、特徴情報生成部３１は、Ｓ１５０３にて取得された特徴量に基づいて、タッチ箇所の周辺領域の画像特徴情報（端末側画像特徴情報）を生成する（Ｓ１５０４）。本実施形態では、ここで生成される画像特徴情報は、三次元形状画像特徴情報に限定されず、二次元の画像特徴量に基づくものであってもよい。また、ここで生成される画像特徴情報は、クエリに含まれなくてもよい。したがって、クエリ生成部３２は、撮像位置、撮像方向を含むクエリを生成し、通信制御部３３が上記クエリを検索リクエストに含めて配信装置２００に送信する（Ｓ１５０５）。
【０１９０】
これに対し、配信装置２００の通信制御部６０は、Ｓ１５２１にて、撮像位置情報および方向情報を含むクエリを受信する。そして、クエリ解釈部６１がクエリを解釈し、情報検索部６２が、ポインティングされた位置（およびその周辺領域）と方向とに基づいて検索を行う（Ｓ１５２２）。ここで、特徴情報生成部６３は、検索結果の中から上記周辺領域に対応する画像特徴情報（配信側画像特徴情報）を生成する（Ｓ１５２３）。そして、検索された付加情報と上記周辺領域の配信側画像特徴情報とを含む検索結果を携帯電話１００に送信する（Ｓ１５２４）。
【０１９１】
そして、携帯電話１００の通信制御部３３は、上記検索結果を受信する（Ｓ１５０６）。続いて、特徴情報評価部３５は、Ｓ１５０４にて生成された周辺領域の端末側画像特徴情報と、Ｓ１５０６にて受信された周辺領域の配信側画像特徴情報との一致度を評価する（Ｓ１５０７）。画像重畳部２２は、特徴情報評価部３５による評価結果に基づいて、検索結果の付加情報と画像データとにおける上記周辺領域の位置合わせを行い、付加情報を重畳表示する（Ｓ１５０８）。Ｓ１５０９以降の処理は、図１２のＳ１２０９以降と同様の処理が実行される。
【０１９２】
上記方法によれば、利用者に指定された箇所およびその周辺領域に限定して画像特徴情報を用いて位置合わせを行えるため、誤差の吸収を効率よく実施することが可能となる。
【０１９３】
≪実施形態４≫
さらに、本発明の地図検索システム９００では、三次元形状画像特徴情報を、配信装置の検索と端末装置の位置補正との両方に用いることが可能である。以下では、図１６を参照しながら、三次元形状画像特徴情報を検索と位置補正との両方に用いる場合の地図検索システムの処理フローについて説明する。
【０１９４】
〔地図検索システムの処理フロー６〕
図１６は、本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【０１９５】
まず、携帯電話１００の撮像部１４は、利用者からの操作などに応じて、撮像処理により画像データを取得し、センサ（群）１５は、その撮像位置、撮像方向を検出する（Ｓ１６０１）。さらに、姿勢検出部１５３によって姿勢情報が検出されてもよい。続いて、表示制御部２０が撮像した画像データを表示し、操作受付部２１が表示内容に対するポインティング操作を待ち受ける（Ｓ１６０２）。利用者が表示画面の一部を指などでタッチすると、領域検出部２３は、そのポインティング位置を検出する。特徴情報生成部３１は、画像データから、検出されたポインティング位置に基づいて、タッチ箇所およびその周辺領域を特定し特徴量を抽出する（Ｓ１６０３）。そして、その特徴量に基づいて、上記周辺領域の三次元形状画像特徴情報を生成する（Ｓ１６０４）。ここで、生成される三次元形状画像特徴情報は、端末側画像特徴情報として、特徴情報評価部３５によって後に参照される。
【０１９６】
クエリ生成部３２は、Ｓ１６０１で検出された撮像位置および撮像方向、ならびに、Ｓ１６０４で生成された周辺領域の三次元形状画像特徴情報をクエリとして生成する。クエリ生成部３２は、必要に応じて、姿勢情報をクエリに加えてもよい。通信制御部３３は、上記クエリを含む検索リクエストを配信装置２００に送信する（Ｓ１６０５）。
【０１９７】
これに対して、配信装置２００の通信制御部６０は、上記検索リクエストを受信し（Ｓ１６２１）、クエリ解釈部６１が上記検索リクエストに含まれるクエリを解釈する。続いて、情報検索部６２は、ポインティングされた位置およびその周辺領域の三次元形状画像特徴情報と、撮像位置・撮像方向情報とに基づいて、三次元写像変換などによって三次元空間を同定し、条件にかなうレコードを地図ＤＢから検索する（Ｓ１６２２）。検索の結果、情報検索部６２によってＤＢから抽出されたエリアまたは対象物に関連付けられている三次元形状画像特徴情報がＤＢにある場合、ＤＢから三次元形状画像特徴情報を取得し検索結果に含める。あるいは、特徴情報生成部６３は、検索結果の中から上記周辺領域に対応する三次元形状画像特徴情報（配信側画像特徴情報）を生成する（Ｓ１６２３）。そして、検索された付加情報と上記周辺領域の三次元形状に基づく配信側画像特徴情報とを含む検索結果を携帯電話１００に送信する（Ｓ１６２４）。
【０１９８】
そして、携帯電話１００の通信制御部３３は、上記検索結果を受信する（Ｓ１６０６）。続いて、特徴情報評価部３５は、Ｓ１６０４にて生成された周辺領域の三次元形状に基づく端末側画像特徴情報と、Ｓ１６０６にて受信された周辺領域の三次元形状に基づく配信側画像特徴情報との一致度を評価する。つまり、モデルベースド・マッチングを実行する（Ｓ１６０７）。画像重畳部２２は、特徴情報評価部３５による評価結果に基づいて、検索結果の付加情報と画像データとにおける上記周辺領域の位置合わせを行い、付加情報を重畳表示する（Ｓ１６０８）。Ｓ１６０９以降の処理は、図１２のＳ１２０９以降と同様の処理が実行される。各種ＵＩ利用処理とは、例えば、購買や予約といった通信回線経由での経済活動であってもよい。
【０１９９】
上記方法によれば、利用者のポインティング箇所を、三次元形状の一致度を評価して特定することが可能となるので、配信装置はより正確に注目対象物を特定し、該対象物の正しい付加情報を抽出することができる。さらに、特徴情報評価部３５は、自装置の画像データより得られる三次元形状と、配信装置の地図ＤＢより得られる三次元形状との一致度を評価している。画像重畳部２２は、三次元形状に基づく評価結果を用いて、付加情報を画像データのより正しい位置に重畳させることが可能となる。これにより、付加情報と画像データの表示位置の誤差を吸収することが可能となる。結果として、利用者の位置、姿勢などに応じて、情報を、さらに正確かつさらに忠実に検索し提供することが可能となる。
【０２００】
なお、情報検索部３４または情報検索部６２は、図９（ａ）および図９（ｂ）に示すような地図ＤＢを検索する際に、ポインティング箇所の二次元座標値をクエリとして受け付けて、これを、三次元地図における三次元座標値に変換し、検索に用いてもよい。これにより、情報検索部３４（６２）は、検索対象（エリア、建造物など）の三次元位置情報とポインティング箇所の三次元位置情報との距離を考慮して、ポインティング箇所から近い順に検索対象の候補レコードを選択してもよい。
【０２０１】
付加情報は、図９（ａ）に示すとおり、広告情報および翻訳文情報であったりしてもよい。また、図９（ｂ）に示すとおり、付加情報は、商品情報およびカロリー情報であったり、広告情報および評価情報であったりしてもよい。つまり、これらの複数の情報は、ひとつの付加情報としてデータベースにて総合的に管理されてもよく、この際、画像特徴情報は建物の画像特徴ばかりではなく食事や商品などの形状や色彩に関する画像特徴情報などが含まれるように構成することによって、撮像対象を識別し関連付けられた情報を取得し利用者に提供するように構成してもよい。
【０２０２】
〔変形例〕
なお、図１５に示す、地図検索システムの処理フローにおいて、端末装置が、配信装置から検索結果を受信すると（Ｓ１５０６）、特徴情報評価部３５により一致度の評価結果を待たずに、画像重畳部２２が、端末側画像特徴情報と配信側画像特徴情報とを参照して、マッチングによって合成位置を補正しながら、実写の画像データに検索結果（付加情報）の画像を重ね合わせてもよい。
【０２０３】
なお、地図ＤＢなどのデータベースから獲得される付加情報は、上述の各実施形態に限定されず、例えば、周囲のパノラマ画像などのＵＲＬや、該パノラマ画像へのディレクトリパス、該パノラマ画像のファイル名であってもよい。また、本発明に用いられる付加情報としての店舗情報、広告情報などはマークアップ言語によって記載されていてもよい。
【０２０４】
あるいは、端末装置または配信装置が内蔵する地図ＤＢにおいて、レコード（エリア、建造物など）には、上述した付加情報の他に、任意の付加情報が関連付けられてもよい。上記任意の付加情報は、個人的なブックマークであったり、商業的な広告や宣伝・観光案内であったり、公共的な道路案内であったり、在庫状況であったりしてもよい。
【０２０５】
また、データベースから獲得される周辺領域の画像特徴情報に関し、端末装置の特徴情報生成部３１は、ポインティング箇所の近傍だけではなく、さらに広範囲の一定領域の画像特徴情報を抽出する構成でもよい。
【０２０６】
また、ポインティング座標を算出するための直線を求める際、端末装置があらかじめ該直線の始点と終点を算出しそれをクエリに含めて配信装置に送信してもよい。
【０２０７】
特徴情報生成部３１が生成する二次元の特徴量として、輝度や彩度に基づいた特徴量は、隣接する画素や近傍の画素との差分によるものや平均によるものを用いて抽出されてもよい。
【０２０８】
さらに、端末装置の撮像部１４において、センサ（群）１５が振動を検出してぶれ補正を行ってもよく、振動によって合成されたコンピュータ画像データがぶれないように制御してもよい。
【０２０９】
また、撮像部１４は、端末装置の傾斜角が変わっても取得したパノラマ映像の向きが変わらないように処理してもよい。より具体的には撮像時の端末装置の姿勢に伴う傾斜角と、操作時の傾斜角が変化してもパノラマ画像は撮像時の角度を基準にして操作できるようにする。この操作は撮像時の姿勢パラメータを保持したまま、装置の傾斜角の変化に関係なく操作できるようにしたり、水平方向の向きの変化だけ検出したりすることで実装できる。
【０２１０】
なお、上述の各実施形態では、地図ＤＢなどのデータベースに対して検索を行う情報検索装置が、端末装置および配信装置のいずれかに特定されている場合について説明したが、本発明の端末装置および情報検索システムは上記構成に限定されない。例えば、初めに、端末装置が内蔵のデータベースに対し一致度評価を行って検索した結果、適切な検索結果が得られなかった場合に、検索クエリを配信装置に送信して、次に、配信装置が自装置のデータベースに対して検索を行う構成としてもよい。これにより、端末装置内蔵のデータベースの更新が遅れて適切に検索できない場合でも、常に最新のデータベースを維持している配信装置から確実に最新の検索結果を端末装置に供給することができる。
【０２１１】
また、本発明に基づく端末装置は自装置の現在位置と現在方向（現在姿勢含む）とによる情報を検出する検出手段と前記検出手段によって検出された情報に基づいて、撮像装置の撮像方向を特定する撮像方向特定処理と前記現在位置から撮像方向に向かって引かれる評価直線を算出する評価直線算出処理と前記評価直線に衝突する三次元地図上の物体を検出する視線衝突検処理を備えており、前記視線衝突評価処理によって評価された三次元地図上の三次元物体を選択または宣伝または評価または説明するための情報を表示若しくは前記三次元物体に関連付けられた連絡先に連絡を行うことを特徴とする情報端末装置であってもよい。
【０２１２】
また、本発明の端末装置は、操作表示部にタッチディスプレイを備えた地図表示装置であって、利用者の触れた対象画像に関連付けられている連絡先に連絡することを特徴とする地図表示装置タッチパネルに対するポインティングとしてのタッチ箇所とタッチ箇所に基づいて撮像画像から特徴抽出を抽出するステップとタッチ箇所から抽出された画像特徴と撮像時の撮像方向と位置に基づいて、データベースを検索するステップがあることを特徴とする地図表示装置であってもよい。
【０２１３】
また、本発明の配信装置は、前記情報端末装置に対して三次元地図情報を配信するとともに前記情報端末装置で選択された三次元物体に関する宣伝または評価または説明するための付加情報を送信若しくは前記情報端末装置で選択された三次元物体に関連付けられた連絡先に連絡を行うことを特徴とする情報配信装置であってもよい。
【０２１４】
また、端末装置または配信装置における情報検索部において、衝突を検出する手段は、視線直線状にあるものばかりではなく、撮像部１４の視線直線を中心とする円錐や多角錐や台錐といった立体形状によって構成され、前記立体形状の内側に接触もしくは内包され、撮像方向から見て最初に衝突する物体を検索するようにしてもよい。あるいは、タッチした箇所から視野角に合わせて引かれる直線に基づいて最初に衝突する物体の情報を表示するように構成してもよいし、陰に隠れる物体は表示される建物の脇から隠れた建物の情報が表示されるようにしてもよい。
【０２１５】
また、端末装置が動画像に対応する場合は、加速度センサから検出される加速度の変化により、配信装置から提供された情報の表示位置を自動的に補正して通信や検索に伴うタイムラグを吸収するようにしてもよい。
【０２１６】
また道路標識などの比較的移動されにくい構造物の二次元または三次元画像特徴情報に基づいて、現在位置の補正やキャリブレーションなどを行ってもよい。
【０２１７】
また、端末装置は携帯電話やスマートホン、ＰＤＡ（パーソナル・デジタル・アシスト）、携帯パソコン、ＰＮＤ（パーソナル・ナビゲーション・デバイス）、カーナビゲーションシステム、双眼鏡などによって構成されていてもよい。
【０２１８】
本発明の配信装置は、端末装置から検索リクエストとして端末装置の位置情報と撮像方向情報と画角情報と端末装置において指示された表示画面内位置情報とによって構成されたクエリを受信するステップと、前記受信したクエリに基づいて広告データ検索するステップと、前記検索ステップで検索された情報としてコンテンツや広告と検索対象範囲内にある画像に基づく画像特徴情報を前記端末装置に送信するステップとを実施する。
【０２１９】
また、本発明の配信装置は、画像特徴情報を端末装置から受信して端末装置に検索結果を提供する場合は、端末装置の現在位置情報と撮像方向情報と画角情報と端末装置で指示された表示画面内位置情報と必要であれば端末装置から送信された画像特徴情報とをクエリとして受信するステップと、前記受信したクエリに基づいて広告データ検索するステップと、前記検索ステップで検索された情報を前記端末に送信するステップとを実施し、受信した情報に基づいて検索処理を実施し検索結果を端末装置に提供する。
【０２２０】
本発明の配信装置は、さらに、前記端末装置の前記三次元モデル情報（三次元形状画像特徴情報）を送信するステップによって送信された、前記三次元モデル情報（三次元形状画像特徴情報）を受信する三次元モデル情報受信ステップを実施し、受信された三次元モデルを端末装置から獲得された位置情報に関連付けて保存するステップを実施してもよいし、関連付けられたコンテンツや広告などを提供してもよい。
【０２２１】
前記配信装置に構成された三次元地図情報に対して、利用者は任意の情報を立体地図の操作によって位置を指定し任意の情報を関連付けて登録したり、緯度経度や住所表示にもとづいて位置を指定し任意の情報を関連付けて登録したりすることができる。
【０２２２】
また、前記配信装置で緯度、経度、季節や天候、時間帯に分けて統計的に分析するステップと分析された情報に基づいて二次元画像から三次元モデルを算出するステップと算出された三次元モデル（三次元形状特徴）とを端末装置から獲得された位置情報に関連付けて保存するステップとが実施され新規データの登録がおこなわれてもよい。これにより、過去の経験を蓄積して統計処理の技術を用いれば、さらに、検索精度および表示位置合わせ精度を向上させることが可能となる。
【０２２３】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２２４】
最後に、端末装置または配信装置の各ブロック、特に、情報検索部、特徴情報生成部および特徴情報評価部は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２２５】
すなわち、端末装置および配信装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したり、上記プログラムを展開したり、上記プログラムおよび各種データを格納したりするＲＯＭ（read only memory）やＲＡＭ（random access memory）等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである端末装置または配信装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記端末装置または配信装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２２６】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュメモリ等の半導体メモリ系などを用いることができる。
【０２２７】
また、端末装置または配信装置を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２２８】
本発明の端末装置および情報検索システムは、利用者の位置、姿勢などに応じて、情報を正確かつ忠実に検索し提供できるので、ＡＲシステムを用いた情報提供サービス（例えば、地図情報提供システム）などに好適に用いられる。
【図面の簡単な説明】
【０２２９】
【図１】本発明の実施形態における端末装置としての携帯電話の要部構成を示すブロック図である。
【図２】（ａ）は、本発明の実施形態における端末装置に記憶されている撮像画像記憶部のデータ構造を模式的に示す図であり、（ｂ）は、地図データ記憶部のデータ構造を模式的に示す図であり、（ｃ）は、付加情報記憶部のデータ構造を模式的に示す図である。
【図３】本発明の実施形態における携帯電話の地図検索表示処理のフローチャートである。
【図４】携帯電話の操作表示部に表示される検索結果の表示画面の具体例を示す図である。
【図５】携帯電話の操作表示部に表示される検索結果の表示画面の具体例を示す図である。
【図６】携帯電話の操作表示部に表示される検索結果の表示画面の具体例を示す図である。
【図７】携帯電話の操作表示部に表示される検索結果の表示画面の具体例を示す図である。
【図８】携帯電話の操作表示部に表示される検索結果の表示画面の具体例を示す図である。
【図９】（ａ）は、図２（ｃ）に示す付加情報記憶部のデータ構造の具体例を示す図であり、（ｂ）は、図２（ｃ）に示す付加情報のうち、サービスメニューリストの具体例を示す図である。
【図１０】本発明の実施形態における地図検索システムの概略構成を示す図である。
【図１１】本発明の実施形態における情報検索装置としての配信装置の要部構成を示すブロック図である。
【図１２】本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【図１３】本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【図１４】本発明の他の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【図１５】本発明の他の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【図１６】本発明の他の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【符号の説明】
【０２３０】
１０ 制御部
１１ 記憶部
１２ 通信部
１３ 操作表示部
１４ 撮像部
１５ センサ
２０ 表示制御部
２１ 操作受付部
２２ 画像重畳部（画像重畳手段）
２３ 領域検出部
３０ タッチパネル制御部
３１ 特徴情報生成部（特徴情報生成手段）
３２ クエリ生成部（クエリ生成手段）
３３ 通信制御部
３４ 情報検索部（情報検索手段）
３５ 特徴情報評価部（特徴情報評価手段）
４０ 地図データ記憶部（データベース）
４１ 付加情報記憶部（データベース）
４２ 撮像画像記憶部
５０ 制御部
５１ 記憶部
５２ 通信部
５３ 操作部
６０ 通信制御部（検索結果配信手段）
６１ クエリ解釈部
６２ 情報検索部（情報検索手段）
６３ 特徴情報生成部（特徴情報取得手段）
６４ 特徴情報評価部
７０ 地図データ記憶部（データベース）
７１ 付加情報記憶部（データベース）
１００ 携帯電話（端末装置）
１００ｂ カーナビゲーションシステム（端末装置）
１００ｃ 望遠鏡制御装置（端末装置）
１５０ 位置検出部
１５１ 撮像方向検出部
１５２ 速度検出部
１５３ 姿勢検出部
２００ 配信装置
９００ 地図検索システム（情報検索システム）
【技術分野】
【０００１】
本発明は、端末装置の現在位置、姿勢、方向などに基づいて情報を検索して提供する端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
従来、端末装置を利用する利用者の現在位置情報、姿勢情報を取得し、取得した位置情報、姿勢情報に基づいて、装置の動作を制御する技術が広く用いられている（特許文献１など）。
【０００３】
また、近年、特許文献２〜４のように、端末装置の現在位置情報、姿勢情報に基づいて、情報を提供する技術が各種提案されている。
【０００４】
特許文献２には、ＧＰＳなどから得られる位置情報と、傾斜センサ、地磁気センサ、重力センサなどから得られる姿勢情報と、カメラの画角、方向などの撮像方向情報とに基づいて、利用者の位置と視野角方向と検出し、情報を配信する携帯用情報配信装置が開示されている。
【０００５】
特許文献３には、携帯端末の位置と方向と視野角とをクエリとしてデータベースが検索され、検索結果の物に関連付けられた空間的物体を定義する幾何学的記述子とともに、その物に関する追加的情報が携帯端末に提供されるという技術が開示されている。
【０００６】
特許文献４には、カメラの位置と画角に基づいて、地図情報空間の中で視野空間を求め、視野空間中に存在する構造物を取得し、該構造物の属性情報を、ラベリングされた付与位置の情報に基づいて、構造物と重畳させ、その重畳画像を表示する装置が開示されている。
【０００７】
また、特許文献５には、端末装置の位置に応じて選択された宣伝情報と、端末装置の位置に応じて取得された周囲情報とを合成する技術が開示されている。
【特許文献１】特表２００１−５０３５３９（１９９７年１１月２７日国際公開）
【特許文献２】特表２００２−５０２４９９（１９９８年１２月１０日国際公開）
【特許文献３】特開２００８−１７１４１０（２００８年７月２４日公開）
【特許文献４】特開平１０−２６７６７１（１９９８年１０月９日公開）
【特許文献５】特開２００２−２７５２９（２００２年１月２５日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述のような、端末装置の周辺映像に基づいて、該映像に含まれる対象物の付加情報を検索し、対象物（の映像）と付加情報とを関連付けて利用者に提供する技術においては、現実の状況に忠実かつ正確な情報が提供されることが望まれる。しかし、従来例では周辺映像と付加情報を関連付けて表示する際にそれらの検索結果や重畳表示位置などに誤差が生じてしまうという課題があった。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し、より高い精度で情報を提供する端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【００１０】
本発明の端末装置は、上記課題を解決するために、データベースから検索された情報を利用者に提供する端末装置において、撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成手段と、上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成手段により生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成手段とを備えていることを特徴としている。
【００１１】
上記構成によれば、端末装置のクエリ生成手段が、クエリに三次元形状を加えることになる。よって、上記クエリを用いて上記データベースの情報検索を行う情報検索部（あるいは他の情報検索装置）は、天候や日照の具合による画像特徴の誤差に影響されることなく、端末装置で撮像された画像データに基づいて、該画像データに含まれる対象物の検索を行うことが可能となる。これにより、検索性能が向上し、結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【００１２】
上記特徴情報生成手段は、利用者により指定された上記画像データ上の所定の箇所に基づいて特定された、該画像データの領域から抽出された特徴量に基づいて、上記三次元形状画像特徴情報を生成してもよい。
【００１３】
上記構成によれば、利用者のポインティング箇所を、三次元形状の一致度を評価して特定することが可能となるので、情報検索部（装置）はより正確に画像データ内の検索対象を特定し、正しい情報を抽出することができる。結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【００１４】
上記データベースには、検索対象レコードごとに三次元形状画像特徴情報が関連付けて記憶されており、上記端末装置は、さらに、上記三次元形状画像特徴情報を含むクエリに基づいて上記データベースを検索する情報検索手段を備えていてもよい。
【００１５】
本発明の端末装置は、上記課題を解決するために、データベースから検索された情報を利用者に提供する端末装置において、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成手段と、上記特徴情報生成手段により生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価手段と、上記特徴情報評価手段による評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳手段とを備えていることを特徴としている。
【００１６】
上記構成によれば、端末装置は、画像特徴情報が関連付けられたレコードを含む検索結果を取得することができる。そして、特徴情報評価手段が行った、画像データの画像特徴情報と上記検索結果として取得した画像特徴情報との一致度評価結果にしたがって、画像重畳手段が、画像データと検索結果で得られた情報（例えば、付加情報）との表示位置補正を実行する。端末装置は、撮像位置および撮像方向だけに頼ると、誤差が大きい場合でも、画像特徴情報の一致度評価を参照することにより、より正しく画像データと得られた情報との位置合わせを行えるため、上記誤差を吸収することができる。結果として、検索結果の表示位置精度を向上させることができ、検索結果を正確かつ忠実に提供することが可能となる。
【００１７】
本発明の配信装置は、上記課題を解決するために、データベースから検索された情報を、請求項４に記載の端末装置に配信する配信装置において、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索手段と、上記情報検索手段により抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得手段と、上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信手段とを備えていることを特徴としている。
【００１８】
上記構成によれば、データベースを検索したレコードの情報とともに、上述の端末装置が画像データの画像特徴情報との一致度を評価するための第二画像特徴情報を上記端末装置に供給することが可能となる。
【００１９】
本発明の端末装置の制御方法は、上記課題を解決するために、データベースから検索された情報を利用者に提供する端末装置の制御方法であって、撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成ステップと、上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成ステップにて生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成ステップとを含むことを特徴としている。
【００２０】
本発明の端末装置の制御方法は、上記課題を解決するために、データベースから検索された情報を利用者に提供する端末装置の制御方法であって、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成ステップと、上記特徴情報生成ステップにて生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価ステップと、上記特徴情報評価ステップでの評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳ステップとを含むことを特徴としている。
【００２１】
本発明の配信装置の制御方法は、上記課題を解決するために、データベースから検索された情報を、請求項４に記載の端末装置に配信する配信装置の制御方法であって、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索ステップと、上記情報検索ステップにて抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得ステップと、上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信ステップとを含むことを特徴としている。
【００２２】
なお、上記端末装置および配信装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記端末装置または配信装置をコンピュータにて実現させる端末装置または配信装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００２３】
本発明の端末装置は、撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成手段と、上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成手段により生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成手段とを備えていることを特徴としている。
【００２４】
本発明の端末装置は、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成手段と、上記特徴情報生成手段により生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価手段と、上記特徴情報評価手段による評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳手段とを備えていることを特徴としている。
【００２５】
本発明の配信装置は、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索手段と、上記情報検索手段により抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得手段と、上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信手段とを備えていることを特徴としている。
【００２６】
本発明の端末装置の制御方法は、撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成ステップと、上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成ステップにて生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成ステップとを含むことを特徴としている。
【００２７】
本発明の端末装置の制御方法は、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成ステップと、上記特徴情報生成ステップにて生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価ステップと、上記特徴情報評価ステップでの評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳ステップとを含むことを特徴としている。
【００２８】
本発明の配信装置の制御方法は、上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索ステップと、上記情報検索ステップにて抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得ステップと、上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信ステップとを含むことを特徴としている。
【００２９】
したがって、画像データおよび地図データの画像特徴情報（特に三次元形状情報）の一致度を参照することにより、検索性能または検索結果表示精度を向上させることができ、結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能になるという効果を奏する。
【発明を実施するための最良の形態】
【００３０】
本発明の一実施形態について図面に基づいて説明すると以下の通りである。本実施形態では、一例として、本発明の端末装置を、タッチパネルを備えた携帯電話に適用した場合について説明する。しかし、本発明の端末装置は、この例に限定されず、スマートホン、ＰＤＡ（personal digital assistant）、携帯パソコン、ＰＮＤ（personal navigation device）、カーナビゲーションシステム、携帯可能な双眼鏡などの移動体端末装置、あるいは、撮像方向操作可能な観光用の望遠鏡、カメラ付の街頭情報端末装置によって構成されていてもよい。
【００３１】
≪実施形態１≫
〔端末装置の構成〕
図１は、本発明の実施形態における端末装置としての携帯電話１００の要部構成を示すブロック図である。本実施形態では、携帯電話１００は、３次元地図データを内蔵するデータベース（ＤＢ）にアクセスして、利用者の現在位置に応じた地図情報を表示する機能を有する。
【００３２】
なお、図１の説明では、携帯電話１００は、内蔵する地図ＤＢを検索するものとして説明するが、これに限定されない。通信網を介して外部のＤＢにアクセスしてもよいし、外部のＤＢから定期的に地図データをダウンロードしてこれを保持するものであってもよい。あるいは、地図ＤＢにアクセスする他の検索装置に検索を依頼する（クエリを投げる）携帯電話であってもよい。この場合、携帯電話は情報検索機能を持たず、クエリを生成する機能だけ有していればよい。
【００３３】
図１に示すとおり、本実施形態における携帯電話１００は、制御部１０、記憶部１１、通信部１２、操作表示部１３、撮像部１４およびセンサ（群）１５を備える構成となっている。
【００３４】
記憶部１１は、制御部１０が実行する制御プログラム、ＯＳプログラム、および、制御部１０が、携帯電話１００が有する各種機能を実行するときに読み出す各種データを記憶するものであり、フラッシュメモリまたはハードディスクなどの不揮発性の記憶装置によって構成されるものである。記憶部１１が記憶する各種データとしては、例えば、地図データ記憶部４０、付加情報記憶部４１および撮像画像記憶部４２がある。これらの記憶部のデータ構造については後述する。
【００３５】
通信部１２は、通信網（本実施形態では、インターネット、携帯電話網など）を介して、外部の装置との間でデータを送受信するものである。本実施形態では、通信部１２は、携帯電話１００が生成したクエリを含んだ検索リクエストを送信したり、その検索結果を含むレスポンスを受信したりする。通信部１２は、イーサネット（登録商標）、モデム、無線ＬＡＮ（Local Area Network）、赤外線通信といった有線無線を問わない通信手段によって実現される。
【００３６】
操作表示部１３は、各種情報を利用者に表示する表示デバイスと、利用者の指示入力を受け付ける入力デバイスとを含むものである。本実施形態では、表示部と操作部とが一体に形成されたタッチパネルで構成されている。表示デバイスは、液晶表示装置（ＬＣＤ）などで実現される。表示デバイスは、携帯電話１００が撮像した画像データ、携帯電話１００が生成したＧＵＩ（graphical user interface）画面、地図データの付加情報などを表示するものである。入力デバイスは、情報が表示されたタッチパネル上を指やペンで利用者が押下して指示信号を発生させることにより実現される。
【００３７】
しかし、本発明の端末装置は、これに限定されず、表示部と操作部とが別々に形成された構成であってもよい。例えば、携帯電話１００は、操作部として、数字を入力するためのテンキー、カーソルを動かすための十字キー、選択を決定するための決定キーなどを備えていてもよい。
【００３８】
撮像部１４は、被写体の撮影を行って静止画または動画データを生成するカメラである。具体的には、撮像部１４は、被写体からの光を電気信号に変換するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）などの撮像素子と、撮像素子からの電気信号をＲＧＢ各色のデジタルデータに変換する映像処理回路とを備える構成が挙げられる。撮像部１４が撮像した静止画または動画データは、制御部１０を介して、記憶部１１の撮像画像記憶部４２に記憶される。
【００３９】
センサ（群）１５は、携帯電話１００の位置、姿勢、撮像方向、方位、移動速度などを検出するものであり、１つまたは複数種類のセンサからなる。本実施形態では、一例として、センサ（群）１５は、位置検出部１５０、撮像方向検出部１５１、速度検出部１５２および姿勢検出部１５３を備えている。
【００４０】
位置検出部１５０は、携帯電話１００の現在位置（例えば、緯度と経度など）を取得するものである。撮像方向検出部１５１は、携帯電話１００の撮像部１４が撮像を行う撮像方向（利用者の視線の方向）を検出するものである。速度検出部１５２は、携帯電話１００の移動速度を検出するものである。端末装置が移動体でない場合には、速度検出部１５２は備えていなくともよい。姿勢検出部１５３は、携帯電話１００の姿勢、傾きを検出するものであり、例えば、ｘ、ｙ、ｚ方向での３軸における携帯電話１００の傾きや移動速度などを取得してもよい。
【００４１】
センサ（群）１５の各検出部は、携帯電話１００を継続的に監視して、検出した値をＲＡＭ（random access memory）などの揮発性記憶装置に一時的に格納していてもよいし、撮像部１４にて撮像処理が実行されたときに、撮像時の携帯電話１００の状態を、瞬間的に検出し、記憶部１１などの不揮発性記憶装置するものであってもよい。
【００４２】
各検出部は、ＧＰＳ（global positioning system）、位置の特定された発信源からの電波を検出して三角測量を実行するセンサ、部屋／道路の位置などを示すマーカ信号のセンサ、角速度センサ、地磁気センサ、加速度センサ、ジャイロセンサなどを適宜採用して実現される。
【００４３】
制御部１０は、携帯電話１００が備える各部の各種動作を統括制御するものであり、ＣＰＵ（central processing unit）やバスコントローラなどの、端末装置を構成するための装置群によって実現される。制御部１０は、機能ブロックとして、少なくとも、表示制御部２０、操作受付部２１、特徴情報生成部３１、クエリ生成部３２、通信制御部３３および情報検索部３４を備えている。表示制御部２０および操作受付部２１は、タッチパネルである操作表示部１３を制御するタッチパネル制御部３０を構成する。
【００４４】
制御部１０は、さらに、特徴情報評価部３５、画像重畳部２２、領域検出部２３を備えていてもよい。この場合、表示制御部２０、操作受付部２１、画像重畳部２２および領域検出部２３がタッチパネル制御部３０を構成する。
【００４５】
ここで、携帯電話１００が、ローカルに保存された地図ＤＢを検索しないで、外部の装置（ＤＢ）に検索を依頼する場合には、情報検索部３４および特徴情報評価部３５を備えていなくてもよい。
【００４６】
上記機能ブロックとして示される各部は、ＣＰＵ（central processing unit）がＲＯＭ（read only memory）等の記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等に読み出して実行することで実現できる。本実施形態では、プログラムの具体例としては、図示しないが、クエリ生成プログラム、特徴情報生成プログラム、地図表示プログラム、地図データ検索プログラムなどが、記憶部１１に記憶されている。これに限定されず、携帯電話１００に搭載される各種アプリケーションプログラムも記憶部１１に記憶されている。
【００４７】
制御部１０の機能ブロックとしての各部の動作については後述する。
【００４８】
〔記憶部のデータ構造〕
図２（ａ）は、本発明の実施形態における端末装置の記憶部１１に記憶されている撮像画像記憶部４２のデータ構造を模式的に示す図である。図２（ｂ）は、記憶部１１に記憶されている地図データ記憶部４０のデータ構造を模式的に示す図である。図２（ｃ）は、記憶部１１に記憶されている付加情報記憶部４１のデータ構造を模式的に示す図である。
【００４９】
以下で説明する各記憶部のデータ構造は、一例であって、本発明の端末装置の構成を限定するものではない。
【００５０】
図２（ａ）に示すとおり、撮像画像記憶部４２は、画像データ（静止画または動画）を一意に識別するための画像番号に、撮像部１４が撮像した画像データと、画像特徴情報とが関連付けて記憶される構成である。画像特徴情報とは、画像データから抽出された特徴量を示すものである。制御部１０の特徴情報生成部３１が、画像データを分析し、抽出した特徴量を、該画像データに関連付けて画像特徴情報として撮像画像記憶部４２に記憶する。この画像特徴情報は、クエリ生成部３２によってクエリの一部として利用される。あるいは、特徴情報評価部３５が、上記画像データと、検索結果の地図データとの一致度を評価するために上記画像特徴情報を撮像画像記憶部４２から読み出してもよい。
【００５１】
画像特徴情報は、例えば、画像データにおける各画素の輝度、色彩、周囲画素との差分および／または平均などから抽出された二次元の特徴量であってもよいし、認識された輪郭や境界線に基づいて、画像データに写っている対象物の形状を抜き出した二次元の特徴量であってもよい。また、画像特徴情報は、画像データに写っている対象物の立体的な形状を抜き出して、点や線からなる空間座標値やポリゴンなどで表現される三次元の特徴量であってもよい。三次元形状の特徴量は、データサイズが大容量となるため、三次元の特徴量から算出したＶＱ（vector quantization）コードを画像特徴情報としてもよい。あるいは、三次元形状の特徴量と、輝度・彩度・色度・色温度などの二次元の特徴量との組み合わせや二次元画像特徴から算出されるＶＱコードが画像特徴情報として用いられてもよい。また、画像データに付随する、撮像日時（そこから季節・天候などをさらに抽出する）、画素数などのメタ情報が、画像特徴情報として用いられてもよい。
【００５２】
図２（ｂ）に示すとおり、本発明の一実施形態では、地図データ記憶部４０は、情報提供の対象となる場所（例えば、日本全国）をさらにいくつかのエリアに分割し、エリアごとに、以下の情報が記憶される構成である。つまり、エリア番号に関連付けて、位置情報、地図（画像）データの実データ、画像特徴情報、１または複数の対象物番号が記憶されている。位置情報は、当該エリアの位置を示す情報である。地図データは、当該エリアの地図を表現した二次元または三次元のグラフィックまたは実写写真による画像データである。本実施形態では、地図データは、二次元地図、三次元地図、または、それらの両方を含んでいてもよい。画像特徴情報は、上記地図データから得られる二次元および／または三次元の特徴量である。対象物番号は、当該エリアに存在する建造物、施設、景勝地などの対象物を端末装置が個々にオブジェクトとして認識できるように、各対象物に一意に付与した番号である。
【００５３】
本実施形態では、エリアに存在する対象物をオブジェクトとして１つ１つ管理することにより、対象物ごとに付加情報を管理することができる。付加情報は、付加情報記憶部４１に記憶されており、図２（ｂ）および図２（ｃ）に示すとおり、地図データ記憶部４０と付加情報記憶部４１とは対象物番号で紐付けされている。
【００５４】
付加情報とは、対象物に関するより詳細なあらゆる情報を含んでいる。より具体的には、対象物が１または複数の店舗を有するビルであれば、各店舗の詳細な情報、つまり、店舗名、店舗名の他言語表記（翻訳）、各店舗の広告、口コミによる評価情報、友人知人による共有情報、住所・電話番号情報、キーワード情報、各店舗が提供するサービスメニュー情報、価格情報などの地域と生活に関連付けられる情報などが付加情報となる。付加情報は、上述の例に限定されないが、上述の例のとおり、地図とともに提供されることで利用者の利便性が向上する内容を含んでいることが好ましい。付加情報は、テキストデータ、画像（動画、静止画）データ、音楽データなどで構成されている。あるいは、対象物に関連付けて、ゲーム、マークアップ言語、ＵＲＬといった情報が付加情報として提供されてもよい。
【００５５】
図２（ｃ）に示すとおり、本発明の一実施形態では、付加情報記憶部４１は、対象物番号に関連付けて、位置情報、画像特徴情報、ジャンル情報、１または複数の付加情報が記憶されている。
【００５６】
位置情報は、当該対象物の位置を示す情報である。画像特徴情報は、地図データにおける当該対象物の画像データから抽出された二次元および／または三次元の特徴量である。ジャンル情報は、当該対象物の種類を示す情報である。例えば、対象物に、ホテルやレストランなどの店舗が入っている場合には、該対象物のジャンル情報は、「ホテル」、「食事」などと設定される。
【００５７】
携帯電話１００は、記憶部１１に記憶された上述の各種データを処理することにより、特に、画像特徴情報を検索や検索結果の表示に用いることにより、正確かつ忠実に情報を検索し提供することが可能となる。以下、制御部１０の各部の動作について説明する。
【００５８】
特徴情報生成部３１は、センサ（群）１５の各検出部が検出した携帯電話１００の位置、撮像方向、姿勢などに基づいて、撮像部１４が撮像した画像データから輝度や色相、彩度や輪郭形状といった任意の方法で特徴量を抽出し、画像特徴情報を生成するものである。特徴情報生成部３１が抽出する特徴量および抽出方法は、特に限定されないが、例えば、以下のような手順で特徴量が抽出される。
【００５９】
特徴情報生成部３１は、撮像部１４が撮像した実写の画像データ上の位置と撮像平面に対する写像空間とを考慮した撮像方向への直線が三次元地図上の対象物と接触する点およびその周囲の画像に基づいて、二次元画像の特徴量および三次元形状の特徴量を抽出してもよい。より具体的には、特徴情報生成部３１は、ビルなどを含む景色を撮像した画像データから、ビルの三次元形状を特定して、それを、ポリゴンまたは三次元座標空間における点と線との集合として値を抽出する。
【００６０】
ここで用いられる三次元形状の特徴量は、二次元の画像データから三次元形状を抽出する方法によって作成されるものである。具体的には、一点透視図における奥行きの計算方法、複数視点画像や動体視差画像による三次元モデリング方法などといった方法が既に多く提案されている。
【００６１】
さらに、特徴情報生成部３１は、撮像した画像データが静止画の場合には、撮像時に携帯電話１００が通信していた通信基地局の基地局ＩＤ、撮像時の携帯電話１００の緯度・経度、撮像時天候、撮像日時、撮像方向、画角、色温度などの撮像状況を示すメタ情報を画像特徴情報に含めて当該画像データに関連付けて記憶してもよい。あるいは、画像データが動画の場合には、特徴情報生成部３１は、撮像時に携帯電話１００が通信していた通信基地局の基地局ＩＤ、撮像時の携帯電話１００の緯度・経度、撮像時天候、撮像開始日時、撮像終了日時、撮像中の携帯電話１００（撮像部１４）の移動軌跡、撮像方向変化履歴、画角変化履歴、色温度変化履歴などの撮像状況を示すメタ情報を画像特徴情報に含めて当該画像データに関連付けて記憶してもよい。これにより、上述の撮像状況の情報を検索クエリに含めることができる。
【００６２】
クエリ生成部３２は、利用者が所望する地図データを検索するために情報検索部（または外部の情報検索装置）が必要とする検索クエリを生成するものである。本実施形態では、クエリ生成部３２は、撮像部１４が撮像処理を行ったときに、センサ（群）１５の各検出部から取得した位置情報、撮像方向情報および姿勢情報を用いてクエリを生成する。このとき、クエリ生成部３２は、さらに、上記撮像処理によって得られた画像データに関連して特徴情報生成部３１が生成した画像特徴情報を上記クエリに加えてもよい。より詳細には、クエリ生成部３２は、三次元立体形状の特徴量をクエリに加えてもよいし、二次元平面形状の特徴量、輝度・彩度・色度などの画素の特徴量をクエリに加えてもよいし、音素・音素片・音韻・音声特徴・音声ＶＱコードなどの音声に基づくパラメータをクエリに加えてもよい。
【００６３】
また、クエリ生成部３２は、携帯電話１００の機種を示す機種情報をクエリに加えてもよい。これにより、情報検索部（情報検索装置）は、機種によって撮像部１４のレンズの歪み特性を特定することが可能となり、撮像された画像データの画角を特定することができる。あるいは、クエリ生成部３２は、画角情報をそのままクエリに加えてもよい。
【００６４】
通信制御部３３は、通信部１２を介して、クエリ生成部３２が生成したクエリを含む検索リクエストを外部の情報検索装置に送信するものである。また、上記要求メッセージの応答として返信された検索結果を通信部１２を介して受信するものである。通信制御部３３が受信した検索結果は、地図ＤＢ（地図データ記憶部４０および付加情報記憶部４１）に記憶され、地図ＤＢが更新される。なお、携帯電話１００が、最新の地図ＤＢを内蔵している場合には、外部の情報検索装置との間で、クエリと検索結果とをやりとりする必要はない。
【００６５】
情報検索部３４は、クエリ生成部３２が生成したクエリに基づいて、地図データ記憶部４０および／または付加情報記憶部４１の検索を行い、該当エリアの地図データおよび／または付加情報を抽出するものである。より具体的には、情報検索部３４は、各種検出部が検出した携帯電話１００の位置情報、撮像方向情報、姿勢情報、および、画角などに基づいて、検索対象となる空間位置を特定し、その位置に合致するエリアの地図データを抽出する。
【００６６】
さらに、情報検索部３４は、クエリに画像特徴情報が含まれている場合には、特徴情報評価部３５が評価した画像特徴情報の一致度に基づいて、地図データを検索することができる。これにより、より精度の高い検索を実行することが可能となる。例えば、クエリの画像データに関連付けられている三次元形状の画像特徴情報との一致度が高い、三次元地図の三次元形状の画像特徴情報が関連付けられたエリアを検索結果として抽出することが可能となる。
【００６７】
情報検索部３４は、地図データ記憶部４０から該当エリアの地図データを抽出した後、該エリアの対象物に関連付けられている付加情報を付加情報記憶部４１から抽出する。
【００６８】
さらに、情報検索部３４は、携帯電話１００の機種情報に基づいてレンズの歪み特性などを特定し、歪み特性に基づいた画角情報を取得したり、画角情報を特徴情報生成部３１などから取得したりしてもよい。これにより、検索対象となる空間を、四角錐や台錐形にて算出したり、携帯電話１００の撮像部１４を中心とする球形にて算出したりして、検索対象範囲を限定するように構成してもよい。
【００６９】
さらに、情報検索部３４は、利用者によって設定された条件、制限にしたがって、地図ＤＢのエリアや対象物のレコードをソートしたり、フィルタリングしたりして、検索結果を加工してもよい。
【００７０】
特徴情報評価部３５は、地図ＤＢにてエリアごと、対象物ごとに管理されている画像特徴情報と、撮像部１４によって撮像された画像データから特徴情報生成部３１によって生成された画像特徴情報との一致度を評価するものである。
【００７１】
特徴情報評価部３５が実行する上記両画像特徴情報の評価結果は、情報検索部３４が検索のために利用したり、画像重畳部２２が画像データと付加情報とを重畳表示するために利用したりする。
【００７２】
また、特徴情報評価部３５は、三次元形状の特徴量同士の一致度評価（モデルベースド・マッチング）を行ってもよい。情報検索部３４は、これにより、携帯電話１００が撮像した画像から得られる建物などの形状と、地図データ上の三次元形状が一致していることによって、抽出すべきエリアを特定し、該エリアの付加情報をさらに検索することができる。
【００７３】
なお、携帯電話１００の情報検索部３４が内蔵の地図ＤＢを検索する構成の場合に、内蔵の地図ＤＢに対して一致度評価による検索を行った結果、適切な検索結果が得られなかった場合は、すなわち、撮像した画像データの立体形状と一致する場所が地図ＤＢにはないと特徴情報評価部３５が判断した場合は、クエリ生成部３２は、位置・撮像方向・姿勢情報とともに、三次元形状の画像特徴情報を、外部の情報検索装置に依頼するクエリに含めて生成してもよい。
【００７４】
上述の例のとおり、輝度・色度・彩度などの画素に関する特徴量によらずに、算術的に求められた形状（特に立体形状）同士の特徴量の一致度を利用すれば、天候、季節、時間帯などの変動の影響を受けずに、安定した高精度な検索を実行することができる。結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【００７５】
タッチパネル制御部３０は、操作表示部１３を制御するものである。本実施形態では、少なくとも、タッチパネル制御部３０は、表示制御部２０および操作受付部２１で構成されており、さらに、タッチパネル制御部３０は、画像重畳部２２、領域検出部２３を備えていてもよい。
【００７６】
表示制御部２０は、携帯電話１００の制御部１０が各種情報処理を行った結果を操作表示部１３の表示部に出力するものである。例えば、表示制御部２０は、撮像部１４が撮像した画像データを表示してもよいし、情報検索部３４が行った検索による検索結果の二次元または三次元地図、もしくは、付加情報を表示してもよいし、制御部１０が生成した操作メニューなどを表すＧＵＩ（graphical user interface）画面を表示してもよい。
【００７７】
本実施形態では、タッチパネル制御部３０は、画像重畳部２２を備えていてもよい。画像重畳部２２は、撮像部１４が撮像した実写の画像データに、携帯電話１００にて生成したグラフィック、つまり、上記画像データに一致する対象物の付加情報とＧＵＩ画面とを重畳させるものである。上記画像データ上に対象物の付加情報を重ね合わせる場合、位置情報を正しく合わせておかないと、対象物とはずれて別の場所に付加情報が表示されてしまい、正確な情報提示が行われない可能性がある。そこで、本実施形態では、画像重畳部２２は、特徴情報評価部３５が評価した画像特徴情報の一致度評価結果を利用してもよい。この場合、画像重畳部２２は、静止画であれば適切な位置補正をして、検索結果を重畳させた映像信号を表示制御部２０に出力する。動画であれば、速度検出部１５２が検出する移動速度による補正を加えながら、検索結果を重畳させた映像信号を表示制御部２０に出力する。
【００７８】
このように、画像特徴情報をマッチングすることにより、付加情報の高精度な合成表示を行うことが可能となり、結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【００７９】
操作受付部２１は、利用者が操作表示部１３または各種キーを操作することにより入力される信号を受け付けるものである。本実施形態では、例えば、利用者が指やタッチペンで操作表示部１３の表示画面を押すことによって、表示画面において押された箇所の座標が領域検出部２３に伝達される。
【００８０】
領域検出部２３は、操作受付部２１によって、操作表示部１３に対する押下操作が検知された場合に、押された箇所の座標に基づいて、操作表示部１３に表示されているどの領域、ＵＩ部品が押されたのかを検出するものである。本実施形態では、例えば、領域検出部２３は、どの、画像データ上の建造物のオブジェクト、ＧＵＩ画面による操作ボタン、もしくは、付加情報を表示するテキストまたは吹き出しが押下されたのかを検出する。制御部１０の各部は、領域検出部２３が検出した、利用者の操作内容にしたがって動作する。
【００８１】
〔端末装置の処理フロー〕
図３は、本発明の実施形態における携帯電話１００の地図検索表示処理のフローチャートである。図４〜図８は、携帯電話１００の操作表示部１３に表示される検索結果の表示画面の具体例を示す図である。
【００８２】
始めに、携帯電話１００において、本発明の制御プログラム、具体的には、地図検索表示プログラムが起動されると、制御部１０は、各種初期化など必要な処理を実行する。その後、利用者のシャッター操作または自動撮像機能などによって、撮像部１４が、画像データを撮像する（Ｓ１０１）。この撮像処理で得られる画像データは、静止画であっても動画であってもよい。また、ここで、特徴情報生成部３１が、撮像された画像データを分析し、当該画像データの二次元または三次元の画像特徴情報を生成してもよい。
【００８３】
ここで、地図を検索したい場所の画像データ、および、該画像データの画像特徴情報が、撮像画像記憶部４２に記憶されている場合には、撮像処理を行わずに、すでに記憶されている画像データおよび画像特徴情報を用いて検索処理を行ってもよい。そして、特徴情報生成部３１は、天候、時間帯などの環境の変化を示す情報に基づいて、今回の検索に用いる画像特徴情報を補正してもよい。天候情報は、ウェブを通じて携帯電話１００に供給されてもよいし、時間情報は、携帯電話１００が内蔵する時計機能から供給されてもよい。
【００８４】
撮像部１４によって画像データが撮像されると、センサ（群）１５が、携帯電話１００本体の物理的状態を検出する（Ｓ１０２）。具体的には、位置検出部１５０が、携帯電話１００（利用者）の現在位置を検出し、撮像方向検出部１５１が、撮像が実施された撮像方向を検出し、姿勢検出部１５３が携帯電話１００本体の姿勢（傾き）などを検出する。撮像部１４が動画を撮像している場合には、携帯電話１００の移動速度を速度検出部１５２が検出してもよい。
【００８５】
続いて、クエリ生成部３２は、センサ（群）１５の検出結果に基づいて、携帯電話１００の位置と撮像方向とを含むクエリを生成する。ここで、クエリ生成部３２は、検索対象となる空間および画角を特定し、検索を行うためのクエリを生成してもよい（Ｓ１０３）。
【００８６】
情報検索部３４は、クエリ生成部３２が生成したクエリ（携帯電話１００の位置と撮像方向）にしたがって、地図データ記憶部４０および付加情報記憶部４１から、地図データおよび付加情報（店舗情報、広告、メニューなど）を取得する（Ｓ１０４）。詳細には、位置と撮像方向とから検索対象となる空間を、三次元地図上の座標空間において特定し、当該空間に存在するオブジェクト（建造物）の付加情報を検索する。
【００８７】
ここで、クエリ生成部３２の代わりに、情報検索部３４が、位置と撮像方向とから検索対象となる空間を算出してもよい。
【００８８】
検索対象となる空間の算出手順は以下の通りである。クエリ生成部３２（または情報検索部３４）は、位置と撮像方向に基づいて錐形の座標空間を算出する。例えば、利用者の位置から利用者の視線と最も手前で衝突する物体（建造物など）までの距離の２倍の距離の範囲内で視線と衝突する対象物があれば、それらが存在する三次元地図上の空間を検索対象としてもよい。また、検索対象の距離の上限などを設けて、付加情報の検索を行ってもよい。
【００８９】
さらに必要であれば、クエリ生成部３２は、Ｓ１０１にて特徴情報生成部３１が生成した画像特徴情報を加えてクエリを生成してもよい。この場合、Ｓ１０４の検索処理において、情報検索部３４は、位置、撮像方向に加えて、画像特徴情報が一致する地図データを検索する。これにより、地図ＤＢにおいて検索対象の空間をより正しく特定することが可能となり、検索精度を向上させることが可能となる。
【００９０】
続けて、タッチパネル制御部３０の表示制御部２０および画像重畳部２２は、情報検索部３４が行った検索結果を操作表示部１３に表示する（Ｓ１０５）。
【００９１】
具体的には、図４に示すとおり、画像重畳部２２は、Ｓ１０１にて撮像部１４が撮像した画像データ４００に、情報検索部３４が検索した検索結果データ４０１（地図データおよび各オブジェクトの付加情報など）、ならびに、利用者が携帯電話１００を操作するためのＧＵＩ部品４０２（ボタンなど）を重畳させる。表示制御部２０は、画像重畳部２２が行った重畳処理の結果を操作表示部１３に出力する。
【００９２】
さらに必要であれば、特徴情報評価部３５は、クエリに用いた画像データの画像特徴情報と、情報検索部３４が抽出した地図データの画像特徴情報との一致度を評価し、評価結果を画像重畳部２２に供給してもよい。この場合、Ｓ１０５の検索結果表示処理において、画像重畳部２２は、画像データと地図データとを、より正確に位置合わせ（トラッキング処理）をして重畳させることができる。これにより、位置ずれの誤差を低減し、より正確な検索結果を利用者に提供することが可能となる。撮像画像が動画の場合には、利用者にとって、検索結果がさらに見やすくなる。なお、トラッキング（２Ｄトラッカーや３Ｄトラッカーとも言われる）方法は、特に限定されない。
【００９３】
操作表示部１３に検索結果が表示されたのち、操作受付部２１が利用者のタッチパネルからの入力を検出すると（Ｓ１０６においてＹＥＳ）、領域検出部２３が、タッチ箇所の表示座標位置を確認し、表示画面のどの領域がタッチされたのかを検出する（Ｓ１０７）。具体的には、領域検出部２３は、以下の３つの判定ステップを実施する。すなわち、タッチされた箇所が、Ｓ１０１の撮像処理で獲得された画像データを表示する撮像画像領域か否かを判定するステップ（Ｓ１０８）、ＧＵＩ部品を表示するＧＵＩ領域か否かを判定するステップ（Ｓ１０９）、画像データに対して重畳表示されたグラフィック（地図データおよび付加情報）を表示する付加情報重畳領域か否かを判定するステップ（Ｓ１１０）を順次実施する。
【００９４】
なお、撮像画像領域とはＳ１０１の撮像ステップで撮像された画像データを直接表示している表示領域であり、ＧＵＩ領域とは、利用者が操作するためのＵＩ部品が表示されている領域であり、付加情報重畳領域とは、画像データにオーバーラップされたコンピュータ画像が表示されている領域である。
【００９５】
ここで、領域検出部２３が、タッチされた箇所が撮像画像領域であると判定した場合には（Ｓ１０８においてＹＥＳ）、情報検索部３４は、領域検出部２３が検出したタッチ箇所の地図空間上の位置を確認する。より具体的には、地図データが三次元地図である場合には、情報検索部３４は、タッチされた箇所が地図データ上の三次元空間においてどの座標に位置するかを三次元投影法などの算術的手法を用いて算出する。そして、情報検索部３４は、地図データ記憶部４０のエリアのどのオブジェクトがタッチにより選択されたのかを特定する。すなわち、注目対象物を特定する（Ｓ１１１）。
【００９６】
続いて、情報検索部３４は、特定した注目対象物の付加情報を付加情報記憶部４１から抽出し、検索結果を画像重畳部２２に供給する。
【００９７】
画像重畳部２２は、情報検索部３４によって特定された注目対象物７００を強調表示するために画像データに強調表示のグラフィック（例えば、太枠）を重畳させるとともに、情報検索部３４によって抽出された当該注目対象物の付加情報を可視化する。例えば、図７に示すとおり、付加情報である店舗情報を表示した吹き出し７０１を画像データ４００に重畳させる（Ｓ１１２）。
【００９８】
ここで、強調表示の方法は、上記に限定されない。注目対象物だけ加工せずに、他のオブジェクトおよび他の領域を暈す画像処理を施すなどの方法で、注目対象物を強調表示してもよい。
【００９９】
一方、領域検出部２３が、タッチされた箇所がＧＵＩ領域であると判定した場合には（Ｓ１０９においてＹＥＳ）、領域検出部２３は、選択されたＧＵＩ部品を特定し、画像重畳部２２は、特定されたＧＵＩ部品に対してカーソルを移動させるなどの適宜処理を実行する。さらに、選択されたＧＵＩ部品に応じて、制御部１０が携帯電話１００の各部に各種機能の実行を命令してもよい。
【０１００】
例えば、図５に示すとおり、ＧＵＩ部品４０２のジャンル食事ボタン５００がタッチされた場合には、画像重畳部２２は、カーソル５０１をジャンル食事ボタン５００にフォーカスさせる処理を行う。さらに、本実施形態では、図示しないＧＵＩ処理部が、ＧＵＩ部品４０２の表示を切り替える（Ｓ１１３）。具体的には、図６に示すとおり、食事のジャンルについて選択可能なさらに下位層の選択項目を含むＧＵＩ部品４０２を表示する。
【０１０１】
さらに、本実施形態では、図５に示すとおり、画像データ４００および検索結果データ４０１が表示されている状態で、ジャンル食事ボタン５００が選択されると、情報検索部３４は、付加情報記憶部４１から、該当エリアにおいてジャンル情報に「食事」の値を含む建造物を抽出してもよい。そして、画像重畳部２２は、抽出された建造物が強調表示されるようにグラフィック（例えば、強調枠５０２）を重畳表示してもよい（Ｓ１１４）。
【０１０２】
一方、領域検出部２３が、タッチされた箇所が付加情報重畳領域であると判定した場合には（Ｓ１１０においてＹＥＳ）、領域検出部２３は、選択された付加情報部品を特定する。そして、画像重畳部２２は、選択された付加情報部品に対してフォーカスをあてるなどの適宜処理を実行する。さらに、情報検索部３４は、選択された付加情報に関連付けられた、さらに下位層の付加情報（店舗情報、広告情報、サービスメニューのリストなど）を検索し、画像重畳部２２が、その検索結果を表示する（Ｓ１１５）。例えば、図８に示すとおり、吹き出し７０１の中で、「イタリアン１店舗」がタッチされた場合には、当該店舗のさらに詳細な下位層付加情報８００が表示されてもよい。
【０１０３】
一連の検索および表示処理が終了する、Ｓ１１６のステップに遷移し、利用者が地図検索表示処理を終了させる操作を行ったか否かを制御部１０が判定する。地図検索表示処理を継続する場合は（Ｓ１１６においてＮＯ）、Ｓ１１７に遷移し、そうでなければ（Ｓ１１６においてＹＥＳ）当該処理を終了する。
【０１０４】
Ｓ１１７では、制御部１０が、次の撮像を行うかどうかを評価する。ここで、撮像部１４が動画を撮像している場合は（Ｓ１１７においてＹＥＳ）、撮像部１４が継続して動画の撮像を行い（Ｓ１０１）、変化する次の位置と方向とを検出し（Ｓ１０２）、以降、上述した検索表示処理を繰り返す。一方、撮像部１４が静止画を撮像している場合は、次のタッチ検出を行う処理ステップ（Ｓ１０６）に戻る。
【０１０５】
なお、本発明の携帯電話１００の操作受付部２１は、操作表示部１３における利用者の表示画面に対する押下を検出する（タッチ検出する）構成としているが、本発明の端末装置はこれに限定されない。あらゆるポインティングデバイスによるポインティング操作を操作受付部２１は検出する。
【０１０６】
〔具体例〕
図４〜図９に示す具体例に基づいて、携帯電話１００の動作を説明する。なお、ここに挙げる具体例および説明は、本発明の理解を容易にする目的でなされるものであり、本発明の構成を限定するものではない。
【０１０７】
図９（ａ）は、図２（ｃ）に示す付加情報記憶部４１のデータ構造の具体例を示す図であり、図９（ｂ）は、図２（ｃ）に示す付加情報のうち、サービスメニューリストの具体例を示す図である。
【０１０８】
図９（ａ）は、図４においてオブジェクト４０３として表示されている建造物に入っている複数の店舗に関する情報が付加情報として記憶されている様子を示している。すでに述べたとおり、１つの対象物に対して、複数の店舗についての付加情報が関連付けられている。付加情報の内容は特に限定されない。図９（ａ）に示す以外の付加情報（例えば、混雑状況、待ち時間、空席情報など）が付加情報として店舗ごとに関連付けられていてもよい。本実施形態では、一例として、１つの店舗につき１レコードが割り当てられており、各レコードはＩＤによって一意に識別可能である。しかし、付加情報記憶部４１のデータ構造はこれに限定されず、複数の異なる店舗のレコードをＩＤや名称によって分類できる構成で実現されていてもよいし、ひとつの店舗にＩＤや名称で分類可能な複数のレコードが関連付けられていてもよい。
【０１０９】
図９（ｂ）は、図９（ａ）に示す、位置情報「Ｎ13.45.22.44、Ｅ23.45.22.42、Ｈ25.2」を有する店舗（イタリア料理レストラン）の付加情報のうち、サービスメニューリスト（リスト１）の具体例を示している。リスト１は、対象物番号および位置情報の複合キーで図９（ａ）の付加情報記憶部のテーブルと関連付けられている。この構成により、付加情報を階層ごとに管理することができる。図９（ｂ）の付加情報が情報検索部３４によって検索された場合には、上記イタリア料理レストランについてさらに詳細な付加情報を利用者に提供することができる。このように、付加情報が階層管理されているため、利用者に理解しやすい手順でより多くの詳細な付加情報を提供することが可能となる。
【０１１０】
図４は、携帯電話１００の操作表示部１３のタッチパネルディスプレイ上に、撮像部１４が撮像した画像データ４００（実風景映像）、検索結果データ４０１、および、ＧＵＩ部品４０２が表示されているところを示している。本実施形態においては、画像重畳部２２は、付加情報が最初から可視状態で表示されるように重畳する必要はなく、画像データに各オブジェクトが表示された後、ひとつのオブジェクトが利用者にタッチされ選択された場合に、当該オブジェクトの付加情報が可視状態で出力されるようにしてもよい。
【０１１１】
図４に示すとおり、画像重畳部２２は、情報検索部３４の検索結果に基づいて、画像データ４００に含まれるエリアにおいて認識されたオブジェクトごとにアイコンを検索結果データ４０１として重畳表示させてもよい。図４に示す４０１のアイコンは、当該建造物がレストランなどの食事施設（店舗）を含んでいることを示していてもよい。なお、表示制御部２０および画像重畳部２２は、情報検索部３４の検索結果に基づいて、利用者の位置からの実際の距離に応じて、遠くの場所に関連付けられているオブジェクトのアイコンは小さく表示したり、透明度を高くしたりしてもよい。あるいは、実際の距離とは無関係に、検索前に目的地が設定されている場合には、目的とする場所・建造物のアイコンを大きく表示したりしてもよい。
【０１１２】
図５は、ＧＵＩ部品４０２に表示される複数の操作項目のうち、ジャンル「食事」の項目が、利用者の指５０３でタッチされ選択されたときの表示画面の具体例を示している。ジャンル食事ボタン５００がタッチされると、情報検索部３４は、ジャンルが食事の対象物を検索する。画像重畳部２２は、検索結果に基づいて、食事が可能な建造物の輪郭に対して強調表示、および／または、ハイライト処理を実行する。例えば、図５に示す例では、太い破線枠で対象物の輪郭を囲うことにより、当該エリアの手前２つの建造物が食事施設を含んでいることを示している。
【０１１３】
さらに、本実施形態では、図６に示すとおり、ジャンル食事ボタン５００が選択された場合には、操作項目「食事」の下位層の操作項目がＧＵＩ部品４０２として表示される。
【０１１４】
図６は、上記食事の下位層の操作項目のうち、例えば、混雑状況を示す「混雑」の操作項目が選択されたときの表示画面の具体例を示している。付加情報混雑ボタン６００が、利用者の指５０３でタッチされ選択されると、画像重畳部２２は、食事施設が入っている建造物の輪郭を強調する枠の輝度を、混雑状況に応じて異ならせて表示する。具体的には、情報検索部３４が、付加情報記憶部４１を検索し、表示中の対象物（対象物内の各店舗）の付加情報のうち混雑状況の情報を取得して画像重畳部２２および表示制御部２０に供給する。画像重畳部２２は、例えば、空いている店舗（建造物）ほど輪郭強調枠５０２が濃い色になるように、各対象物の強調枠５０２の輝度を調節して重畳させてもよい。
【０１１５】
ここで、表示制御部２０および画像重畳部２２が注目対象物の輪郭を強調する構成としたが、携帯電話１００のハードウェアの演算量が充分でない場合には、対象物の中心付近に建物の名前とボタンを表示するように表示制御部２０および画像重畳部２２を構成してもよい。あるいは、対象物を計算が単純化される任意の矩形で囲むように表示するように表示制御部２０および画像重畳部２２を構成してもよい。また、それらのボタンや矩形などのグラフィックのトラッキングには、撮像した画像データから得られる二次元または三次元の画像特徴情報を利用してもよい。
【０１１６】
図７は、混雑が少ないと表示された注目対象物７００を、利用者が反対の指７０２でタッチし選択したときの表示画面の具体例を示している。図７に示す例では、反対の指７０２で選択されることにより、オブジェクト４０３だけが注目対象物７００として選択され、注目対象物７００の輪郭が強調表示される。続いて、指７０２で押下された箇所の周辺領域７０３が、領域検出部２３によって取得される。そして、特徴情報生成部３１は、周辺領域７０３の画像特徴情報を生成する。クエリ生成部３２は、当該画像データ４００撮像時の位置情報、撮像方向情報、および、周辺領域７０３の画像特徴情報を含むクエリを生成する。
【０１１７】
情報検索部３４は、上記クエリに基づいて地図ＤＢを検索する。例えば、注目対象物７００の建造物に、「イタリアン１店舗、和食１店舗、洋食３店舗、中華１店舗」の店舗情報が関連付けられている場合には、情報検索部３４は、この店舗情報を検索結果として画像重畳部２２に供給する。画像重畳部２２は、上記検索結果に基づいて、店舗のリストの付加情報である吹き出し７０１を画像データ４００に重畳させて表示する。
【０１１８】
なお、携帯電話１００が内蔵する地図ＤＢの更新は、大元の地図ＤＢを有する配信装置から、画像データの撮像時に位置と視野角に基づいて事前に転送されているものであってもよい。ここで、携帯電話１００から配信装置に地図ＤＢの更新を依頼するときは、利用者の操作に伴い取得された画像特徴情報（二次元または三次元の特徴量）を、さらに外部の配信装置に対するクエリに利用してもよい。このような外部の配信装置からの地図ＤＢの更新は、定期的に行われていてもよい。
【０１１９】
図８は、付加情報が表示された吹き出し７０１のうち、「イタリアン１店舗」のテキスト部分を利用者が指５０３でタッチし選択したときの表示画面の具体例を示している。図８に示す例では、上記テキスト部分が選択されることにより、領域検出部２３がこれを検知し、情報検索部３４が、「イタリアン１店舗」に関連付けられたさらに詳細な下位層の付加情報を検索する（例えば、図９（ａ）の付加情報の各フィールド）。画像重畳部２２は、上記検索結果に基づいて、イタリアンの店舗についての詳細な付加情報を表示する吹き出し８００を画像データ４００に重畳させて表示する。
【０１２０】
ここでさらに、図示しないＧＵＩ処理部は、利用者が、店舗への予約を行ったり、在庫状況を確認したり、空き席状況や待ち時間を照会したりする操作ができるように、予約ボタンや確認ボタンなどのＧＵＩ部品を生成し、画像重畳部２２がそれらをＧＵＩ部品４０２として重畳表示してもよい。
【０１２１】
なお、二次元のタッチ箇所から、三次元空間の注目対象物を特定する手順は、例えば、以下のとおりである。情報検索部３４は、操作受付部２１および領域検出部２３が検出したポインティング操作によって選択されたタッチ箇所の二次元の座標に基づいて、三次元地図上のどの対象物が選択されたのかを算出する。まず、タッチ箇所の座標を始点とし、三次元空間座標上で利用者の視線のごとく、始点から遠方（奥）に向けて直線を生成する。そして、上記三次元空間上で、利用者から見て最も手前にて、上記直線と衝突する対象物を、タッチ操作によって利用者が選択した注目対象物として特定する。情報検索部３４は、例えば、図９（ａ）に示すような付加情報記憶部のテーブルから上記注目対象物の照会を行い、近傍の注目対象物に関するリスト（例えば、店舗リスト）を生成する。
【０１２２】
さらに、各店舗に関連付けられた店舗情報や広告情報などの詳細な付加情報を取得する。
【０１２３】
なお、図３のＳ１１２にて、特徴情報生成部３１が、領域検出部２３が検出した図７の周辺領域７０３における二次元の画像特徴や三次元の形状特徴などの画像特徴情報を生成し、クエリ生成部３２が、それらの画像特徴情報を検索のクエリに加えることにより、店舗情報や広告情報の検索精度を改善してもよい。
【０１２４】
さらに、必要であれば、上述したＳ１０１の撮像処理ステップにより獲得された画像データ、それ以前の繰返しの撮像処理により獲得された画像データなどに基づいて算出される二次元または三次元の特徴量を画像特徴情報として、さらにクエリに加えて検索してもよいし、天候や時間帯といった環境の変化を示す情報に基づいて取得した画像特徴情報を用いて、以前までの画像特徴情報を補正してもよい。
【０１２５】
上述したとおり、携帯電話１００の画像重畳部２２は、実写画像（画像データ４００など）と、ユーザーインターフェース画像（ＧＵＩ部品４０２など）と、自装置内もしくは通信回線を経由したデータベースから獲得し生成された画像（検索結果データ４０１、吹き出し７０１、下位層付加情報８００など）とを重畳する。そして、表示制御部２０は、重畳画像を、利用者が操作可能なように操作表示部１３に出力する。利用者は、操作表示部１３を操作して、重畳画像の任意の箇所を指などでタッチすることにより携帯電話１００を操作することが可能となる。
【０１２６】
具体的には、利用者は、ＧＵＩ部品４０２の領域から必要な情報の種類（店舗のジャンルなど）を選択することができる。また利用者は、提供される情報の優先順位基準（混雑状況、現在地からの近さなど）を選択することができる。そして、利用者は、優先順位基準に基づいて表示のされ方が変化した建造物などのオブジェクトを選択することができる。操作表示部１３には、選択されたオブジェクトに関連付けられた店舗一覧が選択可能に表示される。利用者によって店舗の一つが選択されると、選択された店舗に関連付けられた付加情報が検索され、元の画像データ４００に重畳表示される。そして、利用者は、地図データに加えて、地図上に存在する建造物などの付加情報を階層的に取得することが可能となり、分かりやすいサービスを享受することが可能となる。
【０１２７】
上で述べたとおり、重畳表示された実写画像、ＵＩ画像、付加情報画像のいずれかタッチされたかによって、携帯電話１００の動作は変化する。
【０１２８】
利用者がタッチした箇所が、実写の画像データである場合は、携帯電話１００は、実写の画像データに含まれるどの対象物が選択されたのか（注目対象物がどれか）を特定する。具体的には、クエリ生成部３２は、利用者のタッチ部分を中心とする一定範囲内の画像または画像から得られる画像特徴情報、もしくは、画像特徴情報のＶＱコードをクエリに追加する。そして、そのクエリを内蔵の情報検索部３４（または、情報検索装置）に送信する。これにより、情報検索部３４は、データベースにデータの照会をすることが可能となる。
【０１２９】
なお、タッチした箇所から目的の場所を算出する方法は、三次元投影変換により実施され、レンズのコマ収差などを考慮して座標変換を行ってもよい。また、操作表示部１３としてのタッチパネルに限らず任意のマウスやトラックパッドのようなポインティングデバイスによって、表示部の任意の位置が指定されてもよい。上記ポインティングデバイスによって指定された実写画像上の位置と撮像平面に対する写像空間を考慮した撮像方向への直線において、三次元地図上の物体と接触する点とその周辺領域の画像の特徴量に基づいて、二次元画像特徴や三次元形状特徴といった画像特徴情報が生成されてもよい。そして、このように生成された画像特徴情報を、マッチングによって、情報検索やトラッキングに利用することが可能となる。
【０１３０】
また、付加情報画像（例えば吹き出し７０１など）がタッチされた場合には、選択された対象物、テキストなどに関連付けられた下位層の付加情報をさらに重畳表示する処理が実行される。
【０１３１】
≪実施形態２≫
上述の実施形態では、主に、端末装置としての携帯電話１００がデータベースおよび情報検索機能を内蔵し、情報検索機能および検索結果表示機能の精度向上を図る場合について説明した。しかし、本発明の端末装置は上記の構成に限定されない。データベースおよび情報検索機能を情報検索装置としての配信装置が内蔵し、端末装置が情報検索を配信装置に依頼し、配信装置から供給された検索結果を端末装置にて表示する情報検索システムも本発明の範疇に入る。以下では、本発明の情報検索システムを、地図ＤＢを有する配信装置が地図データおよび付加情報を検索し、検索結果を端末装置に配信する地図検索システムに適用した場合を例に挙げ、説明する。
【０１３２】
〔地図検索システムの概要〕
図１０は、本発明の実施形態における地図検索システム９００の概略構成を示す図である。図１０に示す例は、本発明の情報検索システムを説明するために用いる一つの具体例に過ぎず、これにより本発明の情報検索システムの構成は限定されない。
【０１３３】
図１０に示すとおり、地図検索システム９００は、本発明の１または複数の端末装置（Ａ〜Ｃ・・・）と、本発明の１または複数の配信装置（Ａ、Ｂ・・・）とを含む構成である。各装置は、インターネット３００などの通信回線を経由して無線や有線で接続されており、これにより、端末装置の現在位置に基づく地図情報供給サービスを実現することができる。無線接続される端末装置Ａまたは端末装置Ｂを、上述した携帯電話１００や、車両などの移動体に搭載されるカーナビゲーションシステム１００ｂなどで実現することができる。また、有線接続される端末装置Ｃを、観光用の望遠鏡を制御するＰＣなどの望遠鏡制御装置１００ｃで実現することができる。
【０１３４】
配信装置Ａまたは配信装置Ｂは、パーソナルコンピュータ、サーバ、クラウドコンピュータ、クラスタリングコンピュータ、グリッドコンピュータなどの大規模情報処理システムなどによって構成されていてもよい。
【０１３５】
また、配信装置と端末装置とは、インターネット３００に限定されず、イーサネット（登録商標）、フレームリレー、電話回線、無線回線といった任意の通信施設や通信機器を用いて接続され、本発明の地図検索システム９００を構成してもよい。
【０１３６】
各端末装置Ａ〜Ｃの要部構成については、既に述べた図１に記載の携帯電話１００とほぼ同様であるので、ここでは説明を繰り返さない。
【０１３７】
〔配信装置の構成〕
図１１は、本発明の実施形態における情報検索装置としての配信装置２００の要部構成を示すブロック図である。本実施形態では、配信装置２００は、地図ＤＢおよび地図データ検索機能を有するサーバ装置である。
【０１３８】
図１１に示すとおり、本実施形態における配信装置２００は、制御部５０、記憶部５１、通信部５２および操作部５３を備える構成となっている。
【０１３９】
記憶部５１は、制御部５０が実行する制御プログラム、ＯＳプログラム、および、制御部５０が、配信装置２００が有する各種機能を実行するときに読み出す各種データを記憶するものであり、フラッシュメモリまたはハードディスクなどの不揮発性の記憶装置によって構成されるものである。記憶部５１が記憶する各種データとしては、例えば、地図データ記憶部７０、付加情報記憶部７１などがある。これらの記憶部のデータ構造については、それぞれ、携帯電話１００の地図データ記憶部４０、付加情報記憶部４１とほぼ同様である。
【０１４０】
通信部５２は、通信網（本実施形態では、インターネット、携帯電話網など）を介して、外部の装置との間でデータを送受信するものである。本実施形態では、通信部５２は、携帯電話１００が生成したクエリを含んだ検索リクエストを受信したり、その検索結果を含むレスポンスを送信したりする。通信部５２は、イーサネット（登録商標）、モデム、無線ＬＡＮ（Local Area Network）、赤外線通信といった有線無線を問わない通信手段によって実現される。
【０１４１】
操作部５３は、配信装置２００の操作者が配信装置２００に指示を入力するための入力デバイスであり、本実施形態では、例えば、キーボード、マウス、タッチパッドなどで実現される。
【０１４２】
制御部５０は、配信装置２００が備える各部の各種動作を統括制御するものであり、ＣＰＵ（central processing unit）やバスコントローラなどの、配信装置を構成するための装置群によって実現される。制御部５０は、機能ブロックとして、少なくとも、通信制御部６０、クエリ解釈部６１、情報検索部６２および特徴情報評価部６４を備えている。また、制御部５０は、必要に応じて、特徴情報生成部６３を備えていてもよい。
【０１４３】
上記機能ブロックとして示される各部は、ＣＰＵ（central processing unit）がＲＯＭ（read only memory）等の記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等に読み出して実行することで実現できる。本実施形態では、プログラムの具体例としては、図示しないが、クエリ受信プログラム、クエリ解釈プログラム、特徴情報生成プログラム、地図データ検索プログラム、検索結果送信プログラムなどが、記憶部１１に記憶されている。これに限定されず、携帯電話１００に搭載される各種アプリケーションプログラムも記憶部１１に記憶されている。
【０１４４】
通信制御部６０は、通信部５２を介して、端末装置（携帯電話１００など）が生成したクエリを含む検索リクエストを受信するものである。また、上記検索リクエストの応答として、情報検索部６２が生成した検索結果を通信部５２を介して送信するものである。通信制御部６０は、端末装置から、必要に応じて二次元画像特徴や三次元形状特徴を用いて構成されたクエリを受信したり、端末装置の現在位置と撮像方向の情報で構成されたクエリを送受信したりしてもよい。
【０１４５】
クエリ解釈部６１は、情報検索部６２が地図ＤＢ（地図データ記憶部７０および付加情報記憶部７１）に対して検索を行うためのクエリを解釈するものである。上記検索リクエストには、例えば、二次元の画像の特徴量や三次元の形状の特徴量などから生成された画像特徴情報が含まれており、クエリ解釈部６１は、上記検索リクエストに含まれる画像特徴情報をクエリとして検索時に用いるように、その値を必要に応じて情報検索部６２に供給する。あるいは、位置情報、撮像方向情報などがクエリに加わっている場合は、当該各情報を情報検索部６２に供給する。
【０１４６】
情報検索部６２は、クエリ解釈部６１が解釈したクエリに基づいて、地図データ記憶部７０および／または付加情報記憶部７１の検索を行い、該当エリアの地図データおよび／または付加情報を抽出するものである。さらに、情報検索部６２は、クエリに画像特徴情報が含まれている場合には、特徴情報評価部６４が評価した画像特徴情報の一致度に基づいて、地図データを検索することができる。配信装置２００の情報検索部６２の機能は、上述した携帯電話１００の情報検索部３４の機能とほぼ同様である。
【０１４７】
特徴情報生成部６３は、情報検索部６２が地図データ記憶部７０から検索したエリアの画像特徴情報および付加情報記憶部７１の対象物の画像特徴情報を取得するものである。特徴情報生成部６３は、地図ＤＢにあらかじめ記録されている画像特徴情報を取得するものであってもよいし、エリアごとまたは対象物ごとに画像データが関連付けられている場合には、その画像データに基づいて画像特徴情報を生成するものであってもよい。画像特徴情報は、上述したとおり、画像データまたは地図データの二次元または三次元の特徴量を示す情報である。画像特徴情報は、二次元画像特徴量（輝度、色度、彩度など）であってもよいし、三次元形状特徴量（ポリゴン、三次元座標値、ＶＱコードなど）であってもよい。
【０１４８】
特徴情報生成部６３が生成（または取得）した画像特徴情報は、情報検索部６２が抽出した地図データや付加情報とともに検索結果として端末装置に配信される。
【０１４９】
特徴情報評価部６４は、クエリ解釈部６１が解釈したクエリに含まれる画像特徴情報と、内蔵する地図ＤＢにてエリアごと、対象物ごとに管理されている特徴情報生成部６３が生成した画像特徴情報との一致度を評価するものである。特徴情報評価部６４が実行する上記両画像特徴情報の評価結果は、情報検索部６２が検索のために利用する。
【０１５０】
〔課題１：天候などに検索性能が左右されない（ロバストな）情報検索システムを実現する〕
従来（特許文献４、５など）に記載の装置では、画像の一致度評価において、二次元的な画像特徴による比較に頼る評価であるため、天候や季節により変化のある自然画を対象に評価を行おうとすると天候や時間帯による景色の違いにより正確な一致度評価を行うことが出来ないという課題があった。
【０１５１】
本実施形態では、上記課題を解決するために、特に、情報検索部６２は三次元形状特徴量をクエリとする情報検索を実施する。
【０１５２】
より詳細には、特徴情報評価部６４は、三次元形状特徴量に基づく画像特徴情報の一致度評価を行う。情報検索部６２は、特徴情報評価部６４が行った評価結果にしたがって、クエリで検索要求されているエリア（または対象物）の検索を行う。つまり、情報検索部６２は、三次元形状の一致度が高いエリア（または対象物）を検索結果として抽出することができる。これは、二次元の画像データから得られる二次元の特徴量（輝度、彩度、色度、色温度など）に頼らず、三次元の形状の一致度により目的のエリア（または対象物）の検索を実現することを意味する。二次元の特徴量は、画像データ撮像シーンの天候、季節、時間帯などによって大きく変化する値であるので、このような不確定要素に頼らずに三次元形状をクエリに用いることにより、情報検索部６２は、情報検索を常に正確に行うことが可能となる。したがって、ロバスト性の高い情報検索システムを実現することが可能となる。
【０１５３】
〔地図検索システムの処理フロー〕
図１２は、本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。ここでは、一例として、図１に示す端末装置としての携帯電話１００と配信装置２００との処理フローについて説明する。
【０１５４】
まず、携帯電話１００は、利用者から地図表示の指示を受け付けると、検索リクエストを配信装置２００に送信する（Ｓ１２０１）。具体的には、センサ（群）１５が取得した位置情報と方向情報（利用者の視線の方向、撮像部１４の撮像方向など）を、クエリ生成部３２がクエリとして生成する。通信制御部３３は、上記クエリを含む検索リクエストを通信部１２を介して配信装置２００に送信する。
【０１５５】
配信装置２００の通信制御部６０は、上記検索リクエストを受信する（Ｓ１２２１）。クエリ解釈部６１は、上記検索リクエストに含まれるクエリを解釈して、位置情報および方向情報を情報検索部６２に供給し、情報検索部６２は、その位置情報および方向情報に基づいて地図ＤＢを検索する（Ｓ１２２２）。情報検索部６２は、位置情報と方向情報とに基づいて地図空間上を撮像方向に対し二次元空間であれば例えば端末を頂点とした扇形の範囲に、三次元空間であれば端末を頂点とした四角錐の範囲に限定して検索を実施する。通信制御部６０は、情報検索部６２が地図ＤＢから抽出した地図データを検索結果として携帯電話１００に送信する（Ｓ１２２３）。
【０１５６】
そして、端末側の携帯電話１００は上記検索結果を受信する（Ｓ１２０２）。そして、表示制御部２０は、上記検索結果の地図データを、例えば図４のように操作表示部１３に表示する（Ｓ１２０３）。このときベースに表示される画像データは、以前から携帯電話１００に記憶されているものであってもよいし、携帯電話１００の現在位置に基づいて配信装置２００が提供したものであってもよい。また、利用者の操作によって、検索結果の表示方法になんらかの条件や制限が設定されている場合には、情報検索部３４が、対象物のレコードを優先度、混雑状況、距離などの順にソートしたり、フィルタリングしたりして上記検索結果を加工してもよい。
【０１５７】
続いて、利用者の操作などにしたがって、撮像部１４が撮像処理により画像データを取得し、センサ（群）１５が撮像位置、撮像方向を検出する（Ｓ１２０４）。そして、特徴情報生成部３１は、撮像された画像データの三次元形状画像特徴情報を生成する（Ｓ１２０５）。例えば、ポリゴン、三次元座標値、形状ＶＱコードなどを生成する。
【０１５８】
次に、クエリ生成部３２は、検出された撮像位置および撮像方向、ならびに、上記三次元形状画像特徴情報を含むクエリを生成する。通信制御部３３は、上記クエリを含む検索リクエストを配信装置２００に送信する（Ｓ１２０６）。
【０１５９】
これに対し、配信装置２００の通信制御部６０は、三次元形状画像特徴情報を含む上記検索リクエストを受信する（Ｓ１２２４）。クエリ解釈部６１は、上記検索リクエストに含まれるクエリを解釈して、結果を情報検索部６２に伝達する。情報検索部６２は、解釈されたクエリ、すなわち、撮像位置、撮像方向および三次元形状画像特徴情報に基づいて地図ＤＢを検索する（Ｓ１２２５）。ここで、特徴情報評価部６４によって、クエリに含まれている三次元形状画像特徴情報と、地図ＤＢにおいてエリアまたは対象物に関連付けられている三次元形状画像特徴情報との一致度が評価され、三次元形状に基づく情報検索が実施される。情報検索部６２は、クエリの三次元形状と一致する対象物およびその付加情報を抽出することができる。通信制御部６０は、上記付加情報を含む検索結果を携帯電話１００に返す（Ｓ１２２６）。
【０１６０】
そして、携帯電話１００の通信制御部３３は、上記付加情報を含む検索結果を受信する（Ｓ１２０７）。そして、図７、図８に示すように、画像重畳部２２および表示制御部２０が、検索結果の付加情報を、Ｓ１２０４にて取得された画像データに重畳させて表示する（Ｓ１２０８）。ここで、利用者が携帯電話１００を操作するためのＧＵＩ部品も重ねて表示される。
【０１６１】
表示されたＧＵＩ部品に対して利用者のタッチ操作が行われると、ＧＵＩ処理部が、タッチされた部品に関連する処理（例えば、レストランの予約など）の実行指示を受け付けて（Ｓ１２０９）、当該処理の内容を配信装置２００に送信する（Ｓ１２１０）。
【０１６２】
これに対し、配信装置２００は、携帯電話１００から処理内容を受信して（Ｓ１２２７）、配信装置２００の図示しない処理実行部が、受信した内容に応じた処理を実行する（Ｓ１２２８）。例えば、店舗の所有するサーバなどに対して予約手続きなどを実施する。
【０１６３】
上記方法によれば、端末装置のクエリ生成部３２が、クエリに三次元形状を加えることにより、天候や日照の具合による画像特徴の誤差に影響されることなく、端末装置で撮像された画像データに基づいて、該画像データに含まれる対象物の検索を行うことが可能となる。これにより、検索性能が向上し、結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【０１６４】
このように、本実施形態の地図検索システム（端末装置および配信装置）によれば、三次元形状マッチングによるＡＲ（ Augment Reality；拡張現実感）システムを構築することが可能となる。
【０１６５】
端末装置が撮像した画像データの撮像位置および撮像方向情報と立体形状を示す画像特徴情報とを含むクエリに基づいて、配信装置が、当該画像データに映し出されている場所の情報に関してデータベース検索が行われる。端末装置にはその検索結果が配信装置から供給される。端末装置は、撮像した画像データが、静止画であれば、適切な位置補正をして上記検索結果を合成して表示し、上記画像データが動画であれば、端末装置の移動速度による補正を加えながら、上記検索結果を合成して表示する。
【０１６６】
このように算術的に求められた立体形状同士の特徴一致に基づいて情報検索を行うことにより、天候や時間帯に左右されずに高精度な検索を行うことが可能となり、より正確な情報を利用者に提供することができる。
【０１６７】
〔地図検索システムの処理フロー２〕
図１３は、本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。ここでは、撮像された画像データとともに一次検索結果が表示されたのち、対象物が選択されて該対象物のさらに詳細な付加情報などの二次検索結果が表示されるときの処理フローについて説明する。図１３に示す例では、タッチ（ポインティング）された箇所の周辺領域から獲得される画像特徴情報としての三次元形状特徴情報を検索クエリとするとともに、上記三次元形状特徴情報を検索結果表示時のトラッキングに用いている。
【０１６８】
まず、携帯電話１００の撮像部１４は、利用者からの操作などに応じて、撮像処理により画像データを取得し、センサ（群）１５は、その撮像位置、撮像方向を検出する（Ｓ１３０１）。続いて、表示制御部２０が撮像した画像データを表示し、操作受付部２１が表示内容に対するポインティング操作を待ち受ける（Ｓ１３０２）。利用者が表示画面の一部を指などでタッチすると、領域検出部２３は、そのポインティング位置を検出する。特徴情報生成部３１は、画像データから、検出されたポインティング位置に基づいて、タッチ箇所およびその周辺領域を特定し特徴量を抽出する（Ｓ１３０３）。そして、その特徴量に基づいて、上記周辺領域の三次元形状画像特徴情報を生成する（Ｓ１３０４）。
【０１６９】
クエリ生成部３２は、Ｓ１３０１で検出された撮像位置および撮像方向、ならびに、Ｓ１３０４で生成された周辺領域の三次元形状画像特徴情報をクエリとして生成する。通信制御部３３は、上記クエリを含む検索リクエストを配信装置２００に送信する（Ｓ１３０５）。
【０１７０】
これに対して、配信装置２００の通信制御部６０は、上記検索リクエストを受信し（Ｓ１３２１）、クエリ解釈部６１が上記検索リクエストに含まれるクエリを解釈する。続いて、情報検索部６２は、ポインティングされた位置およびその周辺領域の三次元形状画像特徴情報と、撮像位置・撮像方向情報とに基づいて地図ＤＢを検索する（Ｓ１３２２）。情報検索部６２は、例えば、ポインティングされた建造物のさらに詳細な付加情報（店舗情報、広告情報など）を抽出してもよい。そして、通信制御部６０は、上記付加情報を含む検索結果を携帯電話１００に送信する（Ｓ１３２３）。
【０１７１】
そして、携帯電話１００の通信制御部３３は、配信装置２００から店舗情報や広告情報などの付加情報を含む検索結果を受信する（Ｓ１３０６）。画像重畳部２２は、Ｓ１３０１で取得された画像データに、Ｓ１３０６で受信された付加情報を重畳させる（Ｓ１３０７）。このとき、画像重畳部２２は、Ｓ１３０３で特定されたポインティング位置の周辺領域を基準にして、付加情報のトラッキング処理を行いながら重畳画像を出力する。表示制御部２０は、付加情報を上記画像データに正しく追従させて表示する（Ｓ１３０８）。
【０１７２】
これよりの後の処理は、図１２のＳ１２０９以降と同様の処理が実行される。
【０１７３】
上記方法によれば、利用者のポインティング箇所を、三次元形状の一致度を評価して特定することが可能となるので、配信装置はより正確に注目対象物を特定し、該対象物の正しい付加情報を抽出することができる。また、画像重畳部２２は、三次元形状の一致度を評価することにより、ポインティング箇所の付加情報を画像データのより正しい位置に重畳させることが可能となる。結果として、利用者の位置、姿勢などに応じて、情報を、正確かつ忠実に検索し提供することが可能となる。
【０１７４】
≪実施形態３≫
〔課題２：検索結果を重畳表示する際の重畳位置誤差を低減する〕
ＧＰＳ、方位センサなどから得られる位置情報のみに基づいて、撮像した画像データに付加情報を重畳させる従来の構成では、重畳位置を合わせるための情報取得に用いるクエリに画像特徴情報を用いず上記位置情報および撮像方向情報のみを用いるため、付加情報、画像データそれぞれに関連付けられている位置情報の表示において重畳位置の誤差などを充分に吸収できない。このため、画像データと付加情報との重畳位置にずれが生じ、検索結果を撮像画像に対して忠実に合成表示できないという課題があった。
【０１７５】
本実施形態では、上記課題を解決するために、特に、配信装置は、特徴情報生成部６３が、検索結果のエリアまたは対象物ごとに画像特徴情報を関連付けて配信装置から端末装置に提供することを特徴としている。一方、端末装置は、撮像した画像データから得られた画像特徴情報と、配信装置から提供された画像特徴情報との一致度を評価する特徴情報評価部３５と、その評価結果に基づいて、重畳位置を補正する画像重畳部２２とを備えていることを特徴としている。
【０１７６】
上記構成によれば、端末装置においては、特徴情報生成部３１が、撮像された画像データについて画像特徴情報を生成する。端末装置の特徴情報生成部３１によって画像データから生成される画像特徴情報を端末側画像特徴情報とする。この画像特徴情報は、本実施形態では、クエリに用いない。
【０１７７】
そして、配信装置においては、端末装置から送られてきたクエリ（撮像位置、撮像方向）に基づいて、地図ＤＢの検索を実行する。ここでは、クエリに画像特徴情報が含まれていなくてもよいが、画像特徴情報が含まれている場合は、情報検索部６２は、画像特徴情報を用いた検索を実行してもよい。また、撮像位置と撮像方向とのみに基づいて検索するばかりではなく、端末装置の機種別種別情報に基づいて画角情報を取得したり、端末画角情報として画角を直接取得したりしてもよい。上記各情報は、検索範囲となる四角錐を算出したり、あらかじめ端末装置に情報を送信しておくために端末装置の撮像部１４を中心とする球形の空間情報範囲を算出したり、検索範囲の空間を限定したりするのに用いられる。
【０１７８】
クエリの条件を満足するレコード（エリア、対象物など）が情報検索部６２によって抽出されると、本実施形態では、特徴情報生成部６３は、抽出されたレコードに対応する画像特徴情報を取得して、上記各レコードと併せて検索結果として端末装置に提供する。特徴情報生成部６３は、各エリア、対象物の画像特徴情報があらかじめ地図ＤＢに記憶されている場合には、これを取得してもよいし、そうでなければ、抽出されたエリア、対象物の実写画像データまたはグラフィック画像データから画像特徴情報を生成してもよい。配信装置の特徴情報生成部６３によって地図ＤＢの画像データから生成される画像特徴情報を配信側画像特徴情報とする。配信側画像特徴情報は、検索結果に含まれて端末装置に供給される。
【０１７９】
端末装置の画像重畳部２２は、撮像部１４が取得した画像データに、検索結果の付加情報を重ね合わせる。このとき、特徴情報評価部３５は、端末側画像特徴情報と配信側画像特徴情報との一致度評価を行う。画像重畳部２２は、評価結果にしたがって、位置ずれ補正しながら重畳表示を行う。または、画像データが動画の場合は、上記評価結果に加えて速度検出部１５２が検出する移動速度にしたがって位置ずれ補正を行いつつ重畳表示を行う。こうして、端末装置は、表示中の画像データに対し、正確な２Ｄトラッキングや３Ｄトラッキングを実現することが可能となる。
【０１８０】
結果として、画像データと付加情報とを重ね合わせるときの表示位置の誤差を低減し、正確かつ忠実な検索結果を利用者に提供することが可能となる。
【０１８１】
〔地図検索システムの処理フロー３〕
図１４は、本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【０１８２】
図１４に示す端末装置としての携帯電話１００の各ステップＳ１４０１〜Ｓ１４０４、および、配信装置２００の各ステップＳ１４２１〜Ｓ１４２３は、それぞれ、図１２に示す各ステップ、Ｓ１２０１〜Ｓ１２０４、Ｓ１２２１〜Ｓ１２２３と同様であるので説明を繰り返さない。
【０１８３】
Ｓ１４０４にて、画像データの撮像および撮像位置、撮像方向の検出が実行されると、特徴情報生成部３１は、撮像された画像データの画像特徴情報（端末側画像特徴情報）を生成する（Ｓ１４０５）。本実施形態では、ここで生成される画像特徴情報は、三次元形状画像特徴情報に限定されず、二次元の画像特徴量に基づくものであってもよい。また、ここで生成される画像特徴情報は、クエリに含まれなくてもよい。したがって、クエリ生成部３２は、撮像位置、撮像方向を含むクエリを生成し、通信制御部３３が上記クエリを検索リクエストに含めて配信装置２００に送信する（Ｓ１４０６）。
【０１８４】
これに対し、配信装置２００の通信制御部６０は、検索リクエスト内の撮像位置および撮像方向を含むクエリを受信する（Ｓ１４２４）。情報検索部６２は、クエリ解釈部６１によって解釈されたクエリ、すなわち、撮像位置および撮像方向に基づいて地図ＤＢを検索する（Ｓ１４２５）。検索の結果、情報検索部６２によってＤＢから抽出されたエリアまたは対象物に関連付けられている画像特徴情報がＤＢにある場合、ＤＢから画像特徴情報（配信側画像特徴情報）を取得し検索結果に含める。あるいは、特徴情報生成部６３が、ＤＢから抽出されたエリアまたは対象物の画像データから新たに画像特徴情報を生成してもよい（Ｓ１４２６）。通信制御部６０は、携帯電話１００に対し、検索結果として、付加情報とともに検索されたエリアまたは対象物に関連付けられている配信側画像特徴情報を送信する（Ｓ１４２７）。
【０１８５】
そして、携帯電話１００の通信制御部３３は、上記検索結果を配信装置２００から受信する（Ｓ１４０７）。続いて、特徴情報評価部３５は、Ｓ１４０５にて生成された端末側画像特徴情報と、Ｓ１４０７にて受信した配信側画像特徴情報との一致度を評価する（Ｓ１４０８）。画像重畳部２２は、特徴情報評価部３５による評価結果に基づいて、検索結果の付加情報と画像データとの位置合わせを行い、重畳表示する（Ｓ１４０９）。つまり、画像データと付加情報に関連付けられている位置情報ではなく、画像特徴情報を比較して、色・形状などが一致するように位置を補正するので、各々位置情報のずれをここで吸収することができる。表示制御部２０は、重畳画像を操作表示部１３に出力し、検索結果を利用者に提供する。Ｓ１４１０以降の処理は、図１２のＳ１２０９以降と同様の処理が実行される。
【０１８６】
上記方法によれば、携帯電話１００は、撮像位置および撮像方向をクエリとして検索をリクエストするのみで、配信装置２００から、画像特徴情報を含む検索結果を取得することができる。そして、その画像特徴情報を用いて、画像データと付加情報との位置補正を実行する。携帯電話１００は、撮像位置および撮像方向だけに頼ると、誤差が大きい場合でも、画像特徴情報の一致度評価を参照することにより、より正しく画像データと付加情報との位置合わせを行えるため、上記誤差を吸収することができる。結果として、付加情報の表示位置精度を向上させることができ、検索結果を正確かつ忠実に提供することが可能となる。
【０１８７】
〔地図検索システムの処理フロー４〕
図１５は、本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。ここでは、端末装置が、撮像位置と撮像方向とをクエリにして検索をリクエストし、配信装置から受信した検索結果を表示する際に、タッチ（ポインティング）された箇所の周辺領域から獲得される画像特徴情報をトラッキングに用いる場合について説明する。
【０１８８】
Ｓ１５０１〜Ｓ１５０３の端末装置の各ステップは、図１３に示すＳ１３０１〜Ｓ１３０３の各ステップと同様である。
【０１８９】
次に、特徴情報生成部３１は、Ｓ１５０３にて取得された特徴量に基づいて、タッチ箇所の周辺領域の画像特徴情報（端末側画像特徴情報）を生成する（Ｓ１５０４）。本実施形態では、ここで生成される画像特徴情報は、三次元形状画像特徴情報に限定されず、二次元の画像特徴量に基づくものであってもよい。また、ここで生成される画像特徴情報は、クエリに含まれなくてもよい。したがって、クエリ生成部３２は、撮像位置、撮像方向を含むクエリを生成し、通信制御部３３が上記クエリを検索リクエストに含めて配信装置２００に送信する（Ｓ１５０５）。
【０１９０】
これに対し、配信装置２００の通信制御部６０は、Ｓ１５２１にて、撮像位置情報および方向情報を含むクエリを受信する。そして、クエリ解釈部６１がクエリを解釈し、情報検索部６２が、ポインティングされた位置（およびその周辺領域）と方向とに基づいて検索を行う（Ｓ１５２２）。ここで、特徴情報生成部６３は、検索結果の中から上記周辺領域に対応する画像特徴情報（配信側画像特徴情報）を生成する（Ｓ１５２３）。そして、検索された付加情報と上記周辺領域の配信側画像特徴情報とを含む検索結果を携帯電話１００に送信する（Ｓ１５２４）。
【０１９１】
そして、携帯電話１００の通信制御部３３は、上記検索結果を受信する（Ｓ１５０６）。続いて、特徴情報評価部３５は、Ｓ１５０４にて生成された周辺領域の端末側画像特徴情報と、Ｓ１５０６にて受信された周辺領域の配信側画像特徴情報との一致度を評価する（Ｓ１５０７）。画像重畳部２２は、特徴情報評価部３５による評価結果に基づいて、検索結果の付加情報と画像データとにおける上記周辺領域の位置合わせを行い、付加情報を重畳表示する（Ｓ１５０８）。Ｓ１５０９以降の処理は、図１２のＳ１２０９以降と同様の処理が実行される。
【０１９２】
上記方法によれば、利用者に指定された箇所およびその周辺領域に限定して画像特徴情報を用いて位置合わせを行えるため、誤差の吸収を効率よく実施することが可能となる。
【０１９３】
≪実施形態４≫
さらに、本発明の地図検索システム９００では、三次元形状画像特徴情報を、配信装置の検索と端末装置の位置補正との両方に用いることが可能である。以下では、図１６を参照しながら、三次元形状画像特徴情報を検索と位置補正との両方に用いる場合の地図検索システムの処理フローについて説明する。
【０１９４】
〔地図検索システムの処理フロー６〕
図１６は、本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【０１９５】
まず、携帯電話１００の撮像部１４は、利用者からの操作などに応じて、撮像処理により画像データを取得し、センサ（群）１５は、その撮像位置、撮像方向を検出する（Ｓ１６０１）。さらに、姿勢検出部１５３によって姿勢情報が検出されてもよい。続いて、表示制御部２０が撮像した画像データを表示し、操作受付部２１が表示内容に対するポインティング操作を待ち受ける（Ｓ１６０２）。利用者が表示画面の一部を指などでタッチすると、領域検出部２３は、そのポインティング位置を検出する。特徴情報生成部３１は、画像データから、検出されたポインティング位置に基づいて、タッチ箇所およびその周辺領域を特定し特徴量を抽出する（Ｓ１６０３）。そして、その特徴量に基づいて、上記周辺領域の三次元形状画像特徴情報を生成する（Ｓ１６０４）。ここで、生成される三次元形状画像特徴情報は、端末側画像特徴情報として、特徴情報評価部３５によって後に参照される。
【０１９６】
クエリ生成部３２は、Ｓ１６０１で検出された撮像位置および撮像方向、ならびに、Ｓ１６０４で生成された周辺領域の三次元形状画像特徴情報をクエリとして生成する。クエリ生成部３２は、必要に応じて、姿勢情報をクエリに加えてもよい。通信制御部３３は、上記クエリを含む検索リクエストを配信装置２００に送信する（Ｓ１６０５）。
【０１９７】
これに対して、配信装置２００の通信制御部６０は、上記検索リクエストを受信し（Ｓ１６２１）、クエリ解釈部６１が上記検索リクエストに含まれるクエリを解釈する。続いて、情報検索部６２は、ポインティングされた位置およびその周辺領域の三次元形状画像特徴情報と、撮像位置・撮像方向情報とに基づいて、三次元写像変換などによって三次元空間を同定し、条件にかなうレコードを地図ＤＢから検索する（Ｓ１６２２）。検索の結果、情報検索部６２によってＤＢから抽出されたエリアまたは対象物に関連付けられている三次元形状画像特徴情報がＤＢにある場合、ＤＢから三次元形状画像特徴情報を取得し検索結果に含める。あるいは、特徴情報生成部６３は、検索結果の中から上記周辺領域に対応する三次元形状画像特徴情報（配信側画像特徴情報）を生成する（Ｓ１６２３）。そして、検索された付加情報と上記周辺領域の三次元形状に基づく配信側画像特徴情報とを含む検索結果を携帯電話１００に送信する（Ｓ１６２４）。
【０１９８】
そして、携帯電話１００の通信制御部３３は、上記検索結果を受信する（Ｓ１６０６）。続いて、特徴情報評価部３５は、Ｓ１６０４にて生成された周辺領域の三次元形状に基づく端末側画像特徴情報と、Ｓ１６０６にて受信された周辺領域の三次元形状に基づく配信側画像特徴情報との一致度を評価する。つまり、モデルベースド・マッチングを実行する（Ｓ１６０７）。画像重畳部２２は、特徴情報評価部３５による評価結果に基づいて、検索結果の付加情報と画像データとにおける上記周辺領域の位置合わせを行い、付加情報を重畳表示する（Ｓ１６０８）。Ｓ１６０９以降の処理は、図１２のＳ１２０９以降と同様の処理が実行される。各種ＵＩ利用処理とは、例えば、購買や予約といった通信回線経由での経済活動であってもよい。
【０１９９】
上記方法によれば、利用者のポインティング箇所を、三次元形状の一致度を評価して特定することが可能となるので、配信装置はより正確に注目対象物を特定し、該対象物の正しい付加情報を抽出することができる。さらに、特徴情報評価部３５は、自装置の画像データより得られる三次元形状と、配信装置の地図ＤＢより得られる三次元形状との一致度を評価している。画像重畳部２２は、三次元形状に基づく評価結果を用いて、付加情報を画像データのより正しい位置に重畳させることが可能となる。これにより、付加情報と画像データの表示位置の誤差を吸収することが可能となる。結果として、利用者の位置、姿勢などに応じて、情報を、さらに正確かつさらに忠実に検索し提供することが可能となる。
【０２００】
なお、情報検索部３４または情報検索部６２は、図９（ａ）および図９（ｂ）に示すような地図ＤＢを検索する際に、ポインティング箇所の二次元座標値をクエリとして受け付けて、これを、三次元地図における三次元座標値に変換し、検索に用いてもよい。これにより、情報検索部３４（６２）は、検索対象（エリア、建造物など）の三次元位置情報とポインティング箇所の三次元位置情報との距離を考慮して、ポインティング箇所から近い順に検索対象の候補レコードを選択してもよい。
【０２０１】
付加情報は、図９（ａ）に示すとおり、広告情報および翻訳文情報であったりしてもよい。また、図９（ｂ）に示すとおり、付加情報は、商品情報およびカロリー情報であったり、広告情報および評価情報であったりしてもよい。つまり、これらの複数の情報は、ひとつの付加情報としてデータベースにて総合的に管理されてもよく、この際、画像特徴情報は建物の画像特徴ばかりではなく食事や商品などの形状や色彩に関する画像特徴情報などが含まれるように構成することによって、撮像対象を識別し関連付けられた情報を取得し利用者に提供するように構成してもよい。
【０２０２】
〔変形例〕
なお、図１５に示す、地図検索システムの処理フローにおいて、端末装置が、配信装置から検索結果を受信すると（Ｓ１５０６）、特徴情報評価部３５により一致度の評価結果を待たずに、画像重畳部２２が、端末側画像特徴情報と配信側画像特徴情報とを参照して、マッチングによって合成位置を補正しながら、実写の画像データに検索結果（付加情報）の画像を重ね合わせてもよい。
【０２０３】
なお、地図ＤＢなどのデータベースから獲得される付加情報は、上述の各実施形態に限定されず、例えば、周囲のパノラマ画像などのＵＲＬや、該パノラマ画像へのディレクトリパス、該パノラマ画像のファイル名であってもよい。また、本発明に用いられる付加情報としての店舗情報、広告情報などはマークアップ言語によって記載されていてもよい。
【０２０４】
あるいは、端末装置または配信装置が内蔵する地図ＤＢにおいて、レコード（エリア、建造物など）には、上述した付加情報の他に、任意の付加情報が関連付けられてもよい。上記任意の付加情報は、個人的なブックマークであったり、商業的な広告や宣伝・観光案内であったり、公共的な道路案内であったり、在庫状況であったりしてもよい。
【０２０５】
また、データベースから獲得される周辺領域の画像特徴情報に関し、端末装置の特徴情報生成部３１は、ポインティング箇所の近傍だけではなく、さらに広範囲の一定領域の画像特徴情報を抽出する構成でもよい。
【０２０６】
また、ポインティング座標を算出するための直線を求める際、端末装置があらかじめ該直線の始点と終点を算出しそれをクエリに含めて配信装置に送信してもよい。
【０２０７】
特徴情報生成部３１が生成する二次元の特徴量として、輝度や彩度に基づいた特徴量は、隣接する画素や近傍の画素との差分によるものや平均によるものを用いて抽出されてもよい。
【０２０８】
さらに、端末装置の撮像部１４において、センサ（群）１５が振動を検出してぶれ補正を行ってもよく、振動によって合成されたコンピュータ画像データがぶれないように制御してもよい。
【０２０９】
また、撮像部１４は、端末装置の傾斜角が変わっても取得したパノラマ映像の向きが変わらないように処理してもよい。より具体的には撮像時の端末装置の姿勢に伴う傾斜角と、操作時の傾斜角が変化してもパノラマ画像は撮像時の角度を基準にして操作できるようにする。この操作は撮像時の姿勢パラメータを保持したまま、装置の傾斜角の変化に関係なく操作できるようにしたり、水平方向の向きの変化だけ検出したりすることで実装できる。
【０２１０】
なお、上述の各実施形態では、地図ＤＢなどのデータベースに対して検索を行う情報検索装置が、端末装置および配信装置のいずれかに特定されている場合について説明したが、本発明の端末装置および情報検索システムは上記構成に限定されない。例えば、初めに、端末装置が内蔵のデータベースに対し一致度評価を行って検索した結果、適切な検索結果が得られなかった場合に、検索クエリを配信装置に送信して、次に、配信装置が自装置のデータベースに対して検索を行う構成としてもよい。これにより、端末装置内蔵のデータベースの更新が遅れて適切に検索できない場合でも、常に最新のデータベースを維持している配信装置から確実に最新の検索結果を端末装置に供給することができる。
【０２１１】
また、本発明に基づく端末装置は自装置の現在位置と現在方向（現在姿勢含む）とによる情報を検出する検出手段と前記検出手段によって検出された情報に基づいて、撮像装置の撮像方向を特定する撮像方向特定処理と前記現在位置から撮像方向に向かって引かれる評価直線を算出する評価直線算出処理と前記評価直線に衝突する三次元地図上の物体を検出する視線衝突検処理を備えており、前記視線衝突評価処理によって評価された三次元地図上の三次元物体を選択または宣伝または評価または説明するための情報を表示若しくは前記三次元物体に関連付けられた連絡先に連絡を行うことを特徴とする情報端末装置であってもよい。
【０２１２】
また、本発明の端末装置は、操作表示部にタッチディスプレイを備えた地図表示装置であって、利用者の触れた対象画像に関連付けられている連絡先に連絡することを特徴とする地図表示装置タッチパネルに対するポインティングとしてのタッチ箇所とタッチ箇所に基づいて撮像画像から特徴抽出を抽出するステップとタッチ箇所から抽出された画像特徴と撮像時の撮像方向と位置に基づいて、データベースを検索するステップがあることを特徴とする地図表示装置であってもよい。
【０２１３】
また、本発明の配信装置は、前記情報端末装置に対して三次元地図情報を配信するとともに前記情報端末装置で選択された三次元物体に関する宣伝または評価または説明するための付加情報を送信若しくは前記情報端末装置で選択された三次元物体に関連付けられた連絡先に連絡を行うことを特徴とする情報配信装置であってもよい。
【０２１４】
また、端末装置または配信装置における情報検索部において、衝突を検出する手段は、視線直線状にあるものばかりではなく、撮像部１４の視線直線を中心とする円錐や多角錐や台錐といった立体形状によって構成され、前記立体形状の内側に接触もしくは内包され、撮像方向から見て最初に衝突する物体を検索するようにしてもよい。あるいは、タッチした箇所から視野角に合わせて引かれる直線に基づいて最初に衝突する物体の情報を表示するように構成してもよいし、陰に隠れる物体は表示される建物の脇から隠れた建物の情報が表示されるようにしてもよい。
【０２１５】
また、端末装置が動画像に対応する場合は、加速度センサから検出される加速度の変化により、配信装置から提供された情報の表示位置を自動的に補正して通信や検索に伴うタイムラグを吸収するようにしてもよい。
【０２１６】
また道路標識などの比較的移動されにくい構造物の二次元または三次元画像特徴情報に基づいて、現在位置の補正やキャリブレーションなどを行ってもよい。
【０２１７】
また、端末装置は携帯電話やスマートホン、ＰＤＡ（パーソナル・デジタル・アシスト）、携帯パソコン、ＰＮＤ（パーソナル・ナビゲーション・デバイス）、カーナビゲーションシステム、双眼鏡などによって構成されていてもよい。
【０２１８】
本発明の配信装置は、端末装置から検索リクエストとして端末装置の位置情報と撮像方向情報と画角情報と端末装置において指示された表示画面内位置情報とによって構成されたクエリを受信するステップと、前記受信したクエリに基づいて広告データ検索するステップと、前記検索ステップで検索された情報としてコンテンツや広告と検索対象範囲内にある画像に基づく画像特徴情報を前記端末装置に送信するステップとを実施する。
【０２１９】
また、本発明の配信装置は、画像特徴情報を端末装置から受信して端末装置に検索結果を提供する場合は、端末装置の現在位置情報と撮像方向情報と画角情報と端末装置で指示された表示画面内位置情報と必要であれば端末装置から送信された画像特徴情報とをクエリとして受信するステップと、前記受信したクエリに基づいて広告データ検索するステップと、前記検索ステップで検索された情報を前記端末に送信するステップとを実施し、受信した情報に基づいて検索処理を実施し検索結果を端末装置に提供する。
【０２２０】
本発明の配信装置は、さらに、前記端末装置の前記三次元モデル情報（三次元形状画像特徴情報）を送信するステップによって送信された、前記三次元モデル情報（三次元形状画像特徴情報）を受信する三次元モデル情報受信ステップを実施し、受信された三次元モデルを端末装置から獲得された位置情報に関連付けて保存するステップを実施してもよいし、関連付けられたコンテンツや広告などを提供してもよい。
【０２２１】
前記配信装置に構成された三次元地図情報に対して、利用者は任意の情報を立体地図の操作によって位置を指定し任意の情報を関連付けて登録したり、緯度経度や住所表示にもとづいて位置を指定し任意の情報を関連付けて登録したりすることができる。
【０２２２】
また、前記配信装置で緯度、経度、季節や天候、時間帯に分けて統計的に分析するステップと分析された情報に基づいて二次元画像から三次元モデルを算出するステップと算出された三次元モデル（三次元形状特徴）とを端末装置から獲得された位置情報に関連付けて保存するステップとが実施され新規データの登録がおこなわれてもよい。これにより、過去の経験を蓄積して統計処理の技術を用いれば、さらに、検索精度および表示位置合わせ精度を向上させることが可能となる。
【０２２３】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２２４】
最後に、端末装置または配信装置の各ブロック、特に、情報検索部、特徴情報生成部および特徴情報評価部は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２２５】
すなわち、端末装置および配信装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したり、上記プログラムを展開したり、上記プログラムおよび各種データを格納したりするＲＯＭ（read only memory）やＲＡＭ（random access memory）等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである端末装置または配信装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記端末装置または配信装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２２６】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュメモリ等の半導体メモリ系などを用いることができる。
【０２２７】
また、端末装置または配信装置を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２２８】
本発明の端末装置および情報検索システムは、利用者の位置、姿勢などに応じて、情報を正確かつ忠実に検索し提供できるので、ＡＲシステムを用いた情報提供サービス（例えば、地図情報提供システム）などに好適に用いられる。
【図面の簡単な説明】
【０２２９】
【図１】本発明の実施形態における端末装置としての携帯電話の要部構成を示すブロック図である。
【図２】（ａ）は、本発明の実施形態における端末装置に記憶されている撮像画像記憶部のデータ構造を模式的に示す図であり、（ｂ）は、地図データ記憶部のデータ構造を模式的に示す図であり、（ｃ）は、付加情報記憶部のデータ構造を模式的に示す図である。
【図３】本発明の実施形態における携帯電話の地図検索表示処理のフローチャートである。
【図４】携帯電話の操作表示部に表示される検索結果の表示画面の具体例を示す図である。
【図５】携帯電話の操作表示部に表示される検索結果の表示画面の具体例を示す図である。
【図６】携帯電話の操作表示部に表示される検索結果の表示画面の具体例を示す図である。
【図７】携帯電話の操作表示部に表示される検索結果の表示画面の具体例を示す図である。
【図８】携帯電話の操作表示部に表示される検索結果の表示画面の具体例を示す図である。
【図９】（ａ）は、図２（ｃ）に示す付加情報記憶部のデータ構造の具体例を示す図であり、（ｂ）は、図２（ｃ）に示す付加情報のうち、サービスメニューリストの具体例を示す図である。
【図１０】本発明の実施形態における地図検索システムの概略構成を示す図である。
【図１１】本発明の実施形態における情報検索装置としての配信装置の要部構成を示すブロック図である。
【図１２】本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【図１３】本発明の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【図１４】本発明の他の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【図１５】本発明の他の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【図１６】本発明の他の実施形態における地図検索システムの処理の流れを示すシーケンス図である。
【符号の説明】
【０２３０】
１０ 制御部
１１ 記憶部
１２ 通信部
１３ 操作表示部
１４ 撮像部
１５ センサ
２０ 表示制御部
２１ 操作受付部
２２ 画像重畳部（画像重畳手段）
２３ 領域検出部
３０ タッチパネル制御部
３１ 特徴情報生成部（特徴情報生成手段）
３２ クエリ生成部（クエリ生成手段）
３３ 通信制御部
３４ 情報検索部（情報検索手段）
３５ 特徴情報評価部（特徴情報評価手段）
４０ 地図データ記憶部（データベース）
４１ 付加情報記憶部（データベース）
４２ 撮像画像記憶部
５０ 制御部
５１ 記憶部
５２ 通信部
５３ 操作部
６０ 通信制御部（検索結果配信手段）
６１ クエリ解釈部
６２ 情報検索部（情報検索手段）
６３ 特徴情報生成部（特徴情報取得手段）
６４ 特徴情報評価部
７０ 地図データ記憶部（データベース）
７１ 付加情報記憶部（データベース）
１００ 携帯電話（端末装置）
１００ｂ カーナビゲーションシステム（端末装置）
１００ｃ 望遠鏡制御装置（端末装置）
１５０ 位置検出部
１５１ 撮像方向検出部
１５２ 速度検出部
１５３ 姿勢検出部
２００ 配信装置
９００ 地図検索システム（情報検索システム）
【特許請求の範囲】
【請求項１】
データベースから検索された情報を利用者に提供する端末装置において、
撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成手段と、
上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成手段により生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成手段とを備えていることを特徴とする端末装置。
【請求項２】
上記特徴情報生成手段は、
利用者により指定された上記画像データ上の所定の箇所に基づいて特定された、該画像データの領域から抽出された特徴量に基づいて、上記三次元形状画像特徴情報を生成することを特徴とする請求項１に記載の端末装置。
【請求項３】
上記データベースには、検索対象レコードごとに三次元形状画像特徴情報が関連付けて記憶されており、
上記三次元形状画像特徴情報を含むクエリに基づいて上記データベースを検索する情報検索手段を備えていることを特徴とする請求項１または２に記載の端末装置。
【請求項４】
データベースから検索された情報を利用者に提供する端末装置において、
上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、
撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成手段と、
上記特徴情報生成手段により生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価手段と、
上記特徴情報評価手段による評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳手段とを備えていることを特徴とする端末装置。
【請求項５】
データベースから検索された情報を、請求項４に記載の端末装置に配信する配信装置において、
上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、
上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索手段と、
上記情報検索手段により抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得手段と、
上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信手段とを備えていることを特徴とする配信装置。
【請求項６】
データベースから検索された情報を利用者に提供する端末装置の制御方法であって、
撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成ステップと、
上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成ステップにて生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成ステップとを含むことを特徴とする端末装置の制御方法。
【請求項７】
データベースから検索された情報を利用者に提供する端末装置の制御方法であって、
上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、
撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成ステップと、
上記特徴情報生成ステップにて生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価ステップと、
上記特徴情報評価ステップでの評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳ステップとを含むことを特徴とする端末装置の制御方法。
【請求項８】
データベースから検索された情報を、請求項４に記載の端末装置に配信する配信装置の制御方法であって、
上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、
上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索ステップと、
上記情報検索ステップにて抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得ステップと、
上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信ステップとを含むことを特徴とする配信装置の制御方法。
【請求項９】
コンピュータを、請求項１から４までのいずれか１項に記載の端末装置、または、請求項５に記載の配信装置の各手段として機能させるための制御プログラム。
【請求項１０】
請求項９に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
データベースから検索された情報を利用者に提供する端末装置において、
撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成手段と、
上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成手段により生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成手段とを備えていることを特徴とする端末装置。
【請求項２】
上記特徴情報生成手段は、
利用者により指定された上記画像データ上の所定の箇所に基づいて特定された、該画像データの領域から抽出された特徴量に基づいて、上記三次元形状画像特徴情報を生成することを特徴とする請求項１に記載の端末装置。
【請求項３】
上記データベースには、検索対象レコードごとに三次元形状画像特徴情報が関連付けて記憶されており、
上記三次元形状画像特徴情報を含むクエリに基づいて上記データベースを検索する情報検索手段を備えていることを特徴とする請求項１または２に記載の端末装置。
【請求項４】
データベースから検索された情報を利用者に提供する端末装置において、
上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、
撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成手段と、
上記特徴情報生成手段により生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価手段と、
上記特徴情報評価手段による評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳手段とを備えていることを特徴とする端末装置。
【請求項５】
データベースから検索された情報を、請求項４に記載の端末装置に配信する配信装置において、
上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、
上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索手段と、
上記情報検索手段により抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得手段と、
上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信手段とを備えていることを特徴とする配信装置。
【請求項６】
データベースから検索された情報を利用者に提供する端末装置の制御方法であって、
撮像処理により得られた画像データから抽出された三次元形状の特徴量に基づいて、三次元形状画像特徴情報を生成する特徴情報生成ステップと、
上記画像データの撮像位置および撮像方向、ならびに、上記特徴情報生成ステップにて生成された三次元形状画像特徴情報を、上記データベースを検索するためのクエリとして生成するクエリ生成ステップとを含むことを特徴とする端末装置の制御方法。
【請求項７】
データベースから検索された情報を利用者に提供する端末装置の制御方法であって、
上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、
撮像処理により得られた画像データから抽出された特徴量に基づいて、画像特徴情報を生成する特徴情報生成ステップと、
上記特徴情報生成ステップにて生成された第一画像特徴情報と、上記画像データの撮像位置および撮像方向をクエリとして上記データベースから抽出されたレコードに関連付けられている第二画像特徴情報との一致度を評価する特徴情報評価ステップと、
上記特徴情報評価ステップでの評価結果に応じて、上記画像データと、上記データベースから抽出されたレコードの情報との表示位置を補正して重畳する画像重畳ステップとを含むことを特徴とする端末装置の制御方法。
【請求項８】
データベースから検索された情報を、請求項４に記載の端末装置に配信する配信装置の制御方法であって、
上記データベースには、検索対象レコードごとに画像特徴情報が関連付けて記憶されており、
上記端末装置から受信した、上記端末装置が画像データを撮像したときの撮像位置および撮像方向を含むクエリに基づいて、上記データベースを検索する情報検索ステップと、
上記情報検索ステップにて抽出されたレコードに関連付けられている画像特徴情報を取得する特徴情報取得ステップと、
上記データベースから抽出されたレコードの情報および該レコードの画像特徴情報を検索結果として上記端末装置に配信する検索結果配信ステップとを含むことを特徴とする配信装置の制御方法。
【請求項９】
コンピュータを、請求項１から４までのいずれか１項に記載の端末装置、または、請求項５に記載の配信装置の各手段として機能させるための制御プログラム。
【請求項１０】
請求項９に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−１１８０１９（Ｐ２０１０−１１８０１９Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２９２７１８（Ｐ２００８−２９２７１８）
【出願日】平成２０年１１月１４日（２００８．１１．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１４日（２００８．１１．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]