情報提供システムおよび携帯端末
【課題】カメラで撮影された目標物に対応する構築物を３Ｄ地図上で特定することを比較的簡便に行うとともに、その目標物に付随する情報を利用者に提供する。
【解決手段】携帯端末１０３（または１０４）は、ＧＰＳを利用した位置検出機能により現在位置を検出し、画像撮影機能により目標物の撮影画像データを取得する。また、通信ネットワークを介してサービスプロバイダ（サーバ）１０９から現在位置の周辺の３次元構築物データを含む地図情報を取得する。携帯端末は前記目標物の撮影画像データと前記３次元構築物データとに基づいて、前記目標物に対応する構築物を特定し、この特定された構築物に付与された情報をサーバに送信する。サーバは受信した構築物に付与された情報に対応して用意された情報を当該携帯端末に送信する。
【解決手段】携帯端末１０３（または１０４）は、ＧＰＳを利用した位置検出機能により現在位置を検出し、画像撮影機能により目標物の撮影画像データを取得する。また、通信ネットワークを介してサービスプロバイダ（サーバ）１０９から現在位置の周辺の３次元構築物データを含む地図情報を取得する。携帯端末は前記目標物の撮影画像データと前記３次元構築物データとに基づいて、前記目標物に対応する構築物を特定し、この特定された構築物に付与された情報をサーバに送信する。サーバは受信した構築物に付与された情報に対応して用意された情報を当該携帯端末に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置検出機能および画像撮影機能を備えた携帯端末の利用者に対して通信ネットワークを介してサーバから情報を提供する情報提供システムおよび携帯端末に関するものである。
【背景技術】
【０００２】
近年、画像撮影機能を備えた携帯電話器が普及し、また、測位とナビゲーションの為のＧＰＳ（Global Positioning System：全地球測位システム）機能を備えた機種も増加してきている。
【０００３】
特許文献１には、カメラから得られた実風景画像に対して、建築物の三次元データベースに基づいて自端末の現在位置周辺の建築物の形状やカメラからの焦点距離情報によって求めた視野角の範囲で俯瞰した風景を二次元に投影したパース図を重ねて表示し、実風景画像上に各種情報を表示するナビゲーションシステムが開示されている。このシステムでは、利用者は表示された画像中にポインタ（十字マーク）を表示させ、ビル内のレストランや店舗等に合わせることで、それらのサービス内容（コンテンツ情報）が表示されるようになっている。
【０００４】
特許文献２には、利用者が移動する環境についての要素情報（仮想データ）をこの環境の実写画像に対して重ね合わせて表示する技術が開示されている。
【特許文献１】特開２００３−１３２０６８号
【特許文献２】特開２００４−１０２８３５号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の従来技術では、建築物に付随したコンテンツ情報を得る前提として、カメラからの実風景画像をパース図に“ぴったりと”位置合わせする処理を行う必要があり、携帯端末では処理負荷が重く、また、位置合わせ処理に時間を要する。さらに、当該位置合わせのために端末の方位測定の他に、実画像の距離測定も必要となる。
【０００６】
特許文献２に記載の従来技術は、要素情報を提供するための信号を無線で発信する要素情報発信装置を環境中の各地点で要素に対応して設置する必要があり、要素（目標物）の個数が多数になるとコスト的に問題があり現実的でない。
【０００７】
本発明はこのような背景においてなされたものであり、その目的は、カメラで撮影された目標物に対応する構築物を３Ｄ地図上で特定することを比較的簡便に行うとともに、その目標物に付随する情報を利用者に提供することができる情報提供システムおよび携帯端末を提供することにある。
【課題を解決するための手段】
【０００８】
本発明による情報提供システムは、位置検出機能および画像撮影機能を備えた携帯端末の利用者に対して通信ネットワークを介してサーバから情報を提供する情報提供システムである。このシステムにおいて、携帯端末は、位置検出機能により現在位置を検出し、画像撮影機能により目標物の撮影画像データを取得するとともに、通信ネットワークを介して現在位置の周辺の３次元構築物データを含む地図情報を取得し、前記目標物の撮影画像データと前記３次元構築物データとに基づいて、前記目標物に対応する構築物を特定し、この特定された構築物に付与された情報をサーバに送信する。これに対して、サーバは受信した構築物に付与された情報に対応して用意された情報を当該携帯端末に送信する。
【０００９】
本発明による携帯端末は、位置検出機能および画像撮影機能を備えた携帯端末であって、目標物の画像を撮影する画像撮影手段と、携帯端末の現在位置を検出する位置検出手段と、現在位置の周辺の３次元構築物データを含む地図情報を取得する手段と、前記目標物の撮影画像データを前記３次元構築物データと比較することにより、前記目標物に対応する構築物を特定する特定手段と、この特定された構築物に付与された情報をサーバに送信する手段と、当該情報に対応づけられた情報をサーバから受信する手段と、受信した情報を表示する表示手段とを備えたことを特徴とする。
【００１０】
携帯端末の利用者が画像撮影手段で目標物の画像を撮影する際、現在位置が検出され、現在位置の周辺の３次元構築物データを含む地図情報が取得される。そこで、目標物の撮影画像データと３次元構築物データとが比較される。その結果、目標物に対応する構築物が特定される。携帯端末は、この特定された構築物に付与された情報をサーバに送信すると、当該情報に対応づけられた情報をサーバから受信し、受信した情報を表示する。
【００１１】
本発明では、カメラを向けた目標物がどの構築物に該当するかを特定する際に、３次元構築物データを含む地図情報を用いることにより、現在位置を基準としてその周辺に存在する構築物を抽出することができる。これにより、目標物に対応する構築物の候補を絞り、迅速な構築物の特定が可能となる。
【００１２】
また、目標物と構築物との比較処理では、構築物の３次元構築物データを２次元画像データに変換した構築物の特徴点と、撮影画像データから抽出された目標物の特徴点に基づいて構築物と目標物との相関度を求めるので、撮影画像と３次元構築物データを変換した２次元画像とを完全に一致させる必要がなく、目標物に対応する構築物の特定を比較的簡便に行うことができる。
【００１３】
携帯端末に対する前記目標物の方位を検出する方位検出手段を備える場合、検出された方位に基づいて、前記地図情報から前記現在位置の周辺における当該方位にある構築物を抽出して当該構築物の３次元構築物データと前記撮影画像データとを比較することができる。すなわち、上記目標物に対応する構築物の候補は、方位検出手段により得られたカメラの方位を勘案して一つに絞ることもできる。この候補と目標物の相関度が高ければそのままその候補を目標物と判断して、後の処理を省略することができる。相関度が高くなければ、他の候補について目標物との比較を行うことにより、方位の誤差があっても構築物の正しい特定が行える。
【００１４】
前記当該方位にある構築物が前記目標物に対応すると判断されなかったときには、前記現在位置の周辺における前記方位以外の方位にある構築物を抽出して、前記目標物の撮影画像データと比較する。これにより、検出方位に誤差がある場合に対応することができる。
【００１５】
前記特定手段は、撮影画像の中心に位置する構築物を目標物と判断する。目標物を画面の中心に撮影することは自然な撮影動作であり、これにより、利用者が撮影画像中の目標物を指示する必要がなくなる。
【発明の効果】
【００１６】
本発明によれば、利用者は自己の保持する携帯端末で任意所望の目標物、例えば構築物を撮影することにより、その構築物が特定され、そこに入居している店などが提供している情報を通信ネットワークを介して入手することができる。
【００１７】
また、カメラを向けた目標物がどの構築物に該当するかを特定する際に、３次元構築物データを含む地図情報を用いることにより、現在位置を基準としてその周辺に存在する構築物を抽出することにより、比較対象となる構築物を絞り、迅速に構築物の特定を行うことが可能となる。
【００１８】
位置検出機能および画像撮影機能を備えた既存の携帯端末に本発明を適用すれば、新たなハードウェアの追加なしに本発明の携帯端末を低コストで実現することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。ここでは本発明の携帯端末として携帯電話器を例として説明する。
【００２０】
本発明は最近事実上の標準になっている携帯電話器に装備されたカメラのような画像撮影手段と、将来標準装備になるであろうＧＰＳのような位置検出手段を利用した測位を基に、各種建物、利用者施設等の目標物に付随した情報を容易に知ることができるシステムを提供するものである。ここではＧＰＳで検出された位置に基づいて提供される３次元（３Ｄ）地図情報とカメラで得られる画像情報が両方とも容易に相関がとりやすい状態で提供されていることを前提としている。また得られた目標物の付随情報を、その画像と位置、時刻情報をリスト化して携帯電話器に記憶させておくことにより、後にＰＣ等で再利用する際の利便性を有する。
【００２１】
図１は、デジタルセルラーシステムの概念図であり、ＧＰＳ付き携帯端末としての携帯電話器と網の一般的概念を表している。例えば、携帯電話器Ａ（１０３）から携帯電話器Ｂ（１０４）へ発呼する場合、使用者は相手の電話番号を携帯電話器Ａ（１０３）に入力してダイアル発信を行う。この発信は携帯電話器Ａ（１０３）が有する内部のソフトウェアで自動的に行うことも可能である。携帯電話器Ａ（１０３）は無線インタフェースＡ（１０５）を通じて携帯電話基地局Ａ（１０１）に接続を行う。携帯電話基地局Ａ（１０１）はデジタルインタフェース１０６（通常はＩＤＳＮなど）で携帯電話基地局Ｂ（１０２）に接続されており、携帯電話器Ｂ（１０４）は無線インタフェースＢ（１０７）にてこの携帯電話基地局Ｂ（１０２）に位置登録をされている。最終的に携帯電話器Ａ（１０３）は携帯電話器Ｂ（１０４）と回線が接続され通話可能となる。
【００２２】
一方、有線電話器と携帯電話器Ａ（１０３）又は携帯電話器Ｂ（１０４）との接続は、ＰＳＴＮ（Public Switched Telephone Network）局１０８に有線電話器が接続されることによりなされる。ＰＳＴＮ局１０８は、携帯電話基地局Ａ（１０１）及び携帯電話基地局Ｂ（１０２）を接続するデジタルインタフェース（１０６）に接続されている。
【００２３】
また、インターネットのサービスプロバイダ（サーバ）１０９はデジタルインタフェース１１０を介して携帯電話基地局Ａ（１０１）に接続されており、携帯電話器Ａ（１０３）から携帯電話基地局Ａ（１０１）を経由して利用者はサービスを契約内容にしたがって享受できる。このサービスは、例えば３Ｄ地図データのダウンロード、本発明に関連した当該構築物等の付随情報やその他の情報（サーバから得られるコンテンツ情報を含む）の提供等を含む。３Ｄ地図データのデータベース１０９ａと、コンテンツ情報のデータベース１０９ｂとは別々のサービスプロバイダ（サーバ）が備えてもよい。
【００２４】
一方、利用者自身の現在位置情報を得るためには、複数のＧＰＳ衛星からそれぞれＧＰＳ信号を受け取りこれらの信号に基づいて生成された多元連立方程式を解く。この例では３つのＧＰＳ衛星、ＧＰＳ衛星Ａ（１１１）、ＧＰＳ衛星Ｂ（１１２）及びＧＰＳ衛星Ｃ（１１３）を示してある。これらＧＰＳ衛星Ａ（１１１）、ＧＰＳ衛星Ｂ（１１２）及びＧＰＳ衛星Ｃ（１１３）から送られてくるデータを基に、携帯電話器Ａ（１０３）又は携帯電話器Ｂ（１０４）が位置を決定する。ナビゲーション時には、それぞれの携帯電話器の表示部で地図情報上に位置表示を行う。
【００２５】
図２に、携帯電話器の構成例を表したブロック図を示す。まず受信側から説明する。アンテナ２０１で受信された信号はセレクタ２０２を通り、受信ＲＦ部２０３へ導かれる。ここで周波数変換に必要なレベルまで信号を増幅し、周波数変換の為にミキサー２０４へ入力される。変換すべき中間周波数になるよう必要な信号が局発部２１１からミキサー２０４へ入力される。このようにして中間周波数に変換された信号は受信ＩＦ部２０５に入力され、Ａ／Ｄ変換されて一定のビットレートのサンプル信号となる。このデジタルデータは次の受信復調部２０６へ入力され、誤り訂正処理等が施され音声データ及び通信データに分けられる。音声データは音声復号部２０７に入力され伸長などの処理をしてビットレート変換され、Ｄ／Ａ変換を経由しアナログ信号へ変換される。アナログ音声信号はスピーカ２０９を駆動する為に必要な電力を得るために、スピーカアンプ２０８を経由してスピーカ２０９より空気中へ放音される。通信データは、受信復調部２０６から通信データ復号部２１０へ入力される。
【００２６】
一方、送信側の音声は、マイク２１８により使用者の声が集音され、マイクアンプ２１７にて必要なレベルまで増幅される。増幅された音声信号は音声符号化部２１６において、Ａ／Ｄ変換によりデジタル信号に変換され、圧縮等の処理を経てビットレートの変換がなされる。これらの音声データは送信変調部２１５に入力される。一方、送信される通信データは圧縮され、或いは、誤り訂正用の冗長データなどが付加されて、送信変調部２１５へ送られる。この送信変調部２１５にて音声データ及び通信データが変調符号化された後、Ｄ／Ａ変換され送信ＩＦ部２１４へ送られる。ここで中間周波数へ変換されて必要なレベルまで増幅される。この増幅された信号は、送信ＩＦ部２１４の出力信号を送信周波数へ変換するためにミキサー２１３へ入力される。このミキサー２１３の他方の入力へは所望の送信周波数を得るための信号が局発部２１１から入力される。ミキサー２１３の出力は送信周波数に変換された変調信号で、これが送信ＲＦ部２１２に入力される。この送信ＲＦ部２１２にて電力増幅された信号はセレクタ２０２を経由してアンテナ２０１から発信される。
【００２７】
携帯電話器を使用者が制御するためのマンマシンインタフェースとしてのディスプレイ２２０ａ及びキーボード２２０ｂは、Ｉ／Ｏ２２０を経由して中央処理装置（ＣＰＵ）２２４が制御する。データＩ／Ｆ２２０ｃは外部メモリなどのＩ／Ｆである。地磁気センサ２２０ｄ（方位検出手段）は例えばＧＰＳで測位しただけでは判りにくい、使用者がカメラを向けている方位を算出するときなどに使用する。ＲＴＣ（Real Time Clock）２２６は現在時刻情報をＣＰＵ２２４に出力する。不揮発性メモリ（ＲＯＭ）２２１は、ＣＰＵ２２４が処理すべきプログラムをすべて記憶している。随時アクセスメモリ（ＲＡＭ）２２２は、ＣＰＵ２２４があるデータの処理を行う場合、一時的に処理の中間で発生するデータを記憶するためのものである。電気的書き込み消去可能なメモリ（ＥＥＰＲＯＭ）２２３は、使用者がキーボード２２０ｂを介して入力し、携帯電話器の個人的な設定を行ったときなどそれらの設定条件や、或いは本実施の形態にて得られた当該構築物等の情報テーブルなどを記憶しておく不揮発性のメモリである。これにより、使用者は携帯電話器の電源Ｏｎ／Ｏｆｆに伴って毎回条件設定をする必要が無くなり、情報テーブルを後で再利用する場合にも有効である。またＧＰＳ受信部２２７は、前述のように、ＧＰＳ衛星Ａ（１１１）、ＧＰＳ衛星Ｂ（１１２）及びＧＰＳ衛星Ｃ（１１３）から送られてくる情報を元に多元連立方程式を解くことにより、経度、緯度のＸ軸及びＹ軸上の自身の位置検出を行う為に供される。またそれらの位置情報に基づいて例えばサービスプロバイダ１０９から必要な周辺の３Ｄ地図情報をダウンロードしディスプレイ２２０ａに設定条件に従って表示させるなどの機能も含まれる。さらにカメラ部２２８は携帯電話器に装着されているカメラを有し、撮影された画像を適当なフォーマットに処理する機能部である。
【００２８】
図３に、３Ｄ地図を便宜上平面的に示した図を示す。この図を使用して、サービスプロバイダ１０９から必要な地図情報を得るためのパラメータ等について説明する。
【００２９】
まず利用者が表示したい地図の中心座標は、利用者（すなわち携帯電話器）の位置する、表示中心座標Ｘ軸３０１と表示中心座標Ｙ軸３０２上にある中心座標（Ｘ０、Ｙ０）３０３で示される。この座標系は全世界で１つの点を特定できる絶対座標系、例えば緯度及び経度に基づくものであり、１つ座標を選べば他にはこれと同じ座標をもつ地域は存在しない。この座標は例えば携帯電話器Ａ（１０３）がＧＰＳ衛星Ａ（１１１）、ＧＰＳ衛星Ｂ（１１２）及びＧＰＳ衛星Ｃ（１１３）からの電波を受信し決定することができる。希望する表示中心座標が決定されたならば利用者は自分の所望する表示領域を決定するが、最初は例えば携帯電話器Ａ（１０３）には地図が表示されていないので、予め設定してあるデフォルトの表示範囲を使用しても良い。いずれにしても地図の表示範囲は表示座標（Ｘ１）３０４及び表示座標（Ｙ１）３０５で決定される。利用者がいる位置は表示の中心にいることを前提としている。なお、後述するように、３Ｄ地図の実際の表示は立体的に見える表示である。
【００３０】
ここまでで得られた情報では利用者が向いている方位については不明である。本実施の形態においては、携帯電話器に装着されているカメラを、利用者が情報を得たいと考えている構築物等の目標物に向け、画像情報を入力したときにカメラの向いている方位情報も同時に取得することにしている。
【００３１】
図４は、携帯電話器に内蔵しているカメラで、利用者がある構築物（この例ではビルディングとしてある）を撮影したときの画像例を示している。この構築物は、３Ｄ地図データでは図５に示すような３Ｄデータ画像で示される３Ｄ構築物データ５００で提供される。図５の画像は、利用者（標準的な目の高さを想定）の位置を基準として見える３Ｄデータを２次元画像に変換したものであり、理想的には図４の構築物４００と相似形状となる。３Ｄ地図データの２次元画像への変換は携帯電話器での３Ｄ地図の表示機能に備えられている。３Ｄ地図データベース１０９ａの３Ｄ地図データには、本実施の形態では、道路や線路などの情報の他に、主要な構築物毎に、その位置データ、構成データ（図５の各基準ポイントの３Ｄ座標）、構築物の名称、構築物の一意な識別情報等が含まれている。
【００３２】
このように３Ｄ地図データの特徴は、構築物を利用者が実際見たのと同じ構図で表示できる利点があり、その地点でカメラ撮影した画像と同じ構図が得られる為、両者間の画像認識が容易となる。
【００３３】
図５の３Ｄデータ画像で示される構築物は、この例では幾つかの基準になるポイント、ここでは基準ポイントＡ（５０１）、Ｂ（５０２）、Ｃ（５０３）、Ｄ（５０４）、Ｅ（５０５）及びＦ（５０６）と、それらを連結する稜線で構成されている。マッチングには、このような基準ポイントとそれらを連結する稜線を用いる。データ画像（２次元に変換したもの）についても同じような特徴である基準ポイントを抽出する。この両者を比較して画像認識処理を行い、相関度（類似度）が所定の閾値を越えた構築物データのうち最も相関度の高いものが利用者の意図する目標物であると判断する。相関度は、基準ポイントの個数、稜線の本数、稜線の長さの比、稜線のなす角度等から判断することができる。但し、これらの判断要素は必ずしも全てを用いる必要はない。カメラ画像とデータ画像と誤差を考慮して、それぞれの要素に許容誤差範囲を設定しておく。
【００３４】
なお、図３の地図３００は平面的に図示したが、３Ｄ地図は利用者の位置（視点）から見た図６のような画像に変換される。したがって、同じ３Ｄ地図データであっても、３Ｄ地図データ画像は利用者の位置の移動に従って変わる。
【００３５】
また、図４に示したようなカメラ画像は１つの構築物４００の全貌が見える例を示したが、図７に示すように実際のカメラ画像７０では建築物が密接しているような場合、目的の構築物（例えば図の構築物７２）の一部が他の建築物に隠れることもありうる。また、正面から撮影したような場合には建築物の正面しか見えない画像となる場合もある。このような場合でも、対応する３Ｄ地図データ画像も同様の画像となるので、対比による構築物の特定が可能となる。
【００３６】
図８に、本実施の形態で特定された構築物等の目標物について取得されたデータを再利用の為に保存しておくデータ構造を示す。１つの目標物について取得された情報データ群をレコード６００と呼ぶことにする。このレコード６００は、このレコードが既に使用されているか否かを示す為のインデックス（Ｉｎｄｅｘ）６０１、利用者が情報の整理用に簡便な名前をつける為のタグ６０２、情報を取得した位置の測位結果であるＸ座標データ６０３、Ｙ座標データ６０４、利用者がカメラを向けた方角を測定した地磁気センサのデータである方位（Direction）６０５、撮影の日時情報を表すタイムスタンプ６０６、当該構築物に付与された情報（例えば構築物識別情報）および構成情報等、例えばインターネット上のＵＲＬ情報或いは撮影した画像のファイル名、このファイルが格納されているディレクトリ等の付随情報を記憶しておく為の付加データ（Additional Data）６０７等で構成されている。構築物の情報は、各階に対応して複数の情報に分かれていてもよい。
【００３７】
このようなレコード６００はレコードテーブル７００としてリスト化される。ここでは８個のレコードとしているが、この数に限定されるものではない。レコードテーブル７００中では、各レコードはタイムスタンプやタグ６０２などで識別される。利用者は、このテーブル中のそれぞれのデータを指示することにより１つのレコードを利用することになる。例えば、タグでリストを並べ替えたり、タイムスタンプでリストを並べ替えたりして、利用者が判り易い情報表示を行うこともできる。
【００３８】
図９は本実施の形態における処理のフローチャートを示している。本実施の形態では、この処理は情報表示モードとして実現されるものとする。情報処理モードへの移行は、利用者が例えば携帯電話器に設けられた情報ボタンなどの専用スイッチを押下する、またはメニューから所定のコマンドを選択する、などにより行われる。情報表示モードでは、まず、ＧＰＳ機能により現在位置を確認し、その現在位置の周辺の３Ｄ地図データをサーバから取得する（Ｓ１１）。同位置の地図データが既に携帯電話器内に保存されている場合には、地図データの取得は省略される。次に、利用者によるカメラのシャッタボタンの押下等にしたがってカメラ撮影画像を取得する（Ｓ１２）。この前提として、利用者が目標物に付随した情報を知りたいときにそれにカメラを向けているものとする。この際、磁気センサ等によりカメラの向いている方位を確認する（Ｓ１３）。なお、撮影された画像は後に再利用できるように専用の画像フォルダ等へ格納される。
【００３９】
そこで、カメラ撮影画像と３Ｄ地図データの構築物等との相関をとる為の画像処理を行う（Ｓ１４）。具体的には３Ｄ地図データを２次元の画像データに変換する。この２次元画像は、利用者の現在位置を視点として３次元の構築物等を見たときに見える画像である。少なくともカメラ方位についてのみこの処理を行うか、利用者の位置からは３６０度全周に亘ってこの処理を行うかは、予め固定的に設定しておくか、または、利用者の設定により決定できるようにする。
【００４０】
そこで、方位確認処理で得られた方位情報を基に撮影画像データと３Ｄ地図データとの間で特定方位のみの３Ｄマッチング処理を行う（Ｓ１５）。具体的には、まず３Ｄ地図データで当該特定方位にある建築物等の構築物データ（図５）を抽出する一方、撮影画像の中心に位置する構築物の輪郭等から目標物のデータ（図４）を抽出し、両者の特徴点の情報に基づいて相関度を算出する。例えば、図１０に示すような現在位置Ｐにおいて周囲に構築物（ここではビルディング）Ａ〜Ｇがあるとして、構築物Ｂの方向へカメラを向けている場合、方位ｄ１が正確に検出されれば、３Ｄ地図データの各構築物の位置と現在位置Ｐおよび検出方位との関係で、構築物Ｂの構築物データが抽出される。算出された相関度が所定の閾値を越えていれば、３Ｄ地図データの当該構築物が目標物に一致したと判断し（Ｓ１６，Ｙｅｓ）、ステップＳ１９へ進む。
【００４１】
例えば地磁気センサが周囲環境の影響で誤差が大きく方位情報が信頼できない等の原因により検出方位に誤差がある場合を考慮する。図１０の例で例えば方位ｄ２が検出方位である場合、３Ｄ地図データからはその方位にある構築物Ｃのデータが誤って抽出される。この場合、現在位置Ｐから見た構築物Ｃはその左斜め前から見たビルの外観形状となり、構築物Ｂの撮影画像から抽出される構築物Ｂの正面の外観形状とは異なることになる。したがって、ステップＳ１６ではマッチング結果は不一致と判断されることになる。このような場合、利用者がいる位置から見える全ての方向に対して３Ｄ地図との相関をとる全周３Ｄマッチング処理を行う（Ｓ１７）。先に３６０度全周に亘る画像処理を行っていない場合にはこの時点で行う。全周３Ｄマッチング処理では、３Ｄ地図データで把握される利用者の周囲にある複数の構築物データ（上記特定方位のものを除く）の一つに着目し、これと目標物の撮影画像とを対比する。この際、特定方位に近い構築物から順に選択する。図１０の例では方位ｄ２の左側の構築物Ｂまたは右側の構築物Ｄが比較対象として抽出される。前述と同様、両者の特徴点の情報に基づいて相関度を算出し、相関度が所定の閾値を越えていれば、３Ｄ地図データの当該構築物が目標物に一致したと判断する。図１０の例では構築物Ｂが撮影画像と一致することになる。
【００４２】
特定方位に近い一方側の構築物についてマッチング処理を行い、相関度が閾値を越えた場合に、直ちにその構築物が目標物であると判断せずに、特定方位に近い他方側の構築物についてもマッチング処理を行い、相関度の高い方の構築物を目標物と判断するようにしてもよい。検出方位が大幅に狂っている場合を考慮して、３６０度全周の構築物のすべてのマッチング処理を行って、閾値を越える最も高い相関度の構築物を目標物と判断するようにしてもよい。また、方位検出を行わない場合には全周のマッチング処理を行う。
【００４３】
実際上、市街地にあるビルディングのような構築物を目標物とする場合、利用者の周囲に同じような構造の複数の構築物が存在しても、利用者の視点から見える各構築物の外観は、遠近感を反映して、２次元画像に変換した場合、各構築物の輪郭の形状が構築物毎に異なる。したがって、方位検出誤差が大きくても全周３Ｄマッチングを行うことにより、目標物が正しく特定される確率は高いと考えられる。
【００４４】
全周マッチングの結果、撮影画像と一致する構築物があった場合（Ｓ１８，Ｙｅｓ）、ステップＳ１９へ進む。そうでない場合には、該当するデータなしの表示を行い（Ｓ２２）、この処理を終了する。
【００４５】
ステップＳ１９では、特定された構築物に付与された情報に基づいて、必要な付随情報をサービスプロバイダから得る為の該当データをダウンロードする（Ｓ１９）。この該当データは典型的にはＵＲＬ情報であるが、ＵＲＬのアクセスによって得られるようなコンテンツ情報であってもよい。該当データはディスプレイ上に表示される（Ｓ２０）。ＵＲＬ情報が表示された場合には、利用者はそのＵＲＬにアクセスして新たな情報を受信し、表示することもできる。更に後で再利用する為に、ダウンロードされた情報をレコード６００の付加データ６０７に格納するとともに、他のレコードデータを格納する（Ｓ２１）。このレコードは、レコードテーブル７００のリスト項目として追加される。
【００４６】
図１１に、図９のステップＳ２０における表示処理による表示画面例を示す。この例は、カメラ撮影により特定されたビルのビル名８１、階番号８２、そのビルに入居している各階の店舗名称８４を表示した画面８０を示している。各階の名称等を店舗の名称等には、サービスプロバイダから提供しているコンテンツ情報へ移行するためのＵＲＬへのリンクが設定されている。同一の階に複数の店舗が存在する場合もある。また、コンテンツ情報を提供していない階については表示はなされない。利用者は任意の店舗を例えばカーソル８３の移動により選択し、「決定」することにより、サーバから該当するコンテンツ情報がダウンロードされ、表示される。この画面８０の例では、背景を表示していないが、背景を当該ビルの実画像または対応する３Ｄデータ画像としてもよい。また、そのような画像上の対応する位置にリンク情報を設定してもよい。
【００４７】
以上説明したように、本実施の形態では３Ｄ地図情報と携帯電話器等にあるカメラの撮影画像から、撮影した目標物に一致する３Ｄ地図内の構築物を特定し、それに付随するコンテンツ情報を利用者に提供することが可能になる。この実施の形態によれば、次のような効果が得られる。
１． ３Ｄ構築物データを含む３Ｄ地図情報を用いているので撮影画像との相関度の判断が比較的容易である。。
２． カメラの向きに応じた撮影画像や３Ｄ画像の修正を必要としない。特に、距離センサなどの専用のセンサなどを不要にできることからコストを抑制できる。常に全周マッチングを行うようにすれば、地磁気センサも必ずしも必須の要素ではない。
３． ＧＰＳ機能やカメラ撮影機能は携帯端末に搭載されているものを利用できるので、特別のハードウェア追加のためのコストは必要ない。
４． ３Ｄ地図データは例えば通信ネットワーク上に構成されているサーバから最新のデータを必要な部分のみダウンロードすることにより、携帯端末上のデータ保存手段の容量は大きい必要がなく安価に構成可能である。
５． 特定された構築物のデータと共にコンテンツ指定情報、時刻情報等を携帯端末に保存しておき、例えば帰宅してからＰＣに転送することにより、ＰＣ上に地図情報と共にそれらのデータを展開して整理することが可能である。保存した複数のデータを基に、実際に移動した順序で時系列に、利用者の訪れた場所に関してＰＣ上に動的な再現を行うことも可能である。
６． コンテンツ情報も通信ネットワーク上のサーバから提供が可能である為に、利用者は常に最新の情報を享受できる。従ってコンテンツ情報の提供者は、サーバにおけるデータを更新することにより、固定的な情報だけでなく、例えばイベントなどの不定期な情報の提供も容易となる。
【００４８】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、ＵＲＬ（コンテンツ指定情報）は、前記特定された構築物の識別情報に基づいてサーバから得るようにしたが、３Ｄ地図情報に含まれていてもよい。位置検出手段としてはＧＰＳを利用したが、必ずしもＧＰＳに限るものではない。
【図面の簡単な説明】
【００４９】
【図１】本発明が適用されるデジタルセルラーシステムの概念図である。
【図２】図１のシステム内の携帯電話器の構成例を表したブロック図である。
【図３】３Ｄ地図を便宜上平面的に示した図である。
【図４】携帯電話器に内蔵しているカメラで、利用者がある構築物を撮影したときの画像例を示す図である。
【図５】図４の構築物の、３Ｄ地図データにおける３Ｄデータ画像を示す図である。
【図６】３Ｄ地図データを利用者の位置（視点）から見た画像に変換した図である。
【図７】建築物が密接している実際のカメラ画像の例を示す図である。
【図８】本発明の実施の形態で特定された構築物等の目標物について取得されたデータを再利用の為に保存しておくデータ構造を示す図である。
【図９】本発明の実施の形態における処理のフローチャートである。
【図１０】本発明の実施の形態における全周３Ｄマッチングの説明図である。
【図１１】図９のステップＳ２０における表示処理による表示画面例を示す図である。
【符号の説明】
【００５０】
７０…カメラ画像、７２…構築物、８０…画面、８１…ビル名、８２…階番号、８３…カーソル、８４…店舗名称、１０２，１０２…携帯電話基地局、１０３，１０４…携帯電話器、１０５，１０７…無線インタフェース、１０６…デジタルインタフェース、１０８…ＰＳＴＮ局、１０９…サービスプロバイダ（サーバ）、１０９ａ…３Ｄ地図データベース、１０９ｂ…コンテンツデータベース、１１０…デジタルインタフェース、１１１，１１２，１１３…衛星、２０１…アンテナ、２０２…セレクタ、２０３…受信ＲＦ部、２０４…ミキサー、２０５…受信ＩＦ部、２０６…受信復調部、２０７…音声復号部、２０８…スピーカアンプ、２０９…スピーカ、２１０…通信データ復号部、２１１…局発部、２１２…送信ＲＦ部、２１３…ミキサー、２１４…送信ＩＦ部、２１５…送信変調部、２１６…音声符号化部、２１７…マイクアンプ、２１８…マイク、２２０ａ…ディスプレイ、２２０ｂ…キーボード、２２０ｃ…データＩ／Ｆ、２２０ｄ…地磁気センサ、２２６…ＲＴＣ、２２７…ＧＰＳ受信部（位置検出手段）、２２８…カメラ部（画像撮影手段）、３００…地図、４００…構築物、５００…構築物データ、６００…レコード、６０２…タグ、６０６…タイムスタンプ、６０７…付加データ、７００…レコードテーブル
【技術分野】
【０００１】
本発明は、位置検出機能および画像撮影機能を備えた携帯端末の利用者に対して通信ネットワークを介してサーバから情報を提供する情報提供システムおよび携帯端末に関するものである。
【背景技術】
【０００２】
近年、画像撮影機能を備えた携帯電話器が普及し、また、測位とナビゲーションの為のＧＰＳ（Global Positioning System：全地球測位システム）機能を備えた機種も増加してきている。
【０００３】
特許文献１には、カメラから得られた実風景画像に対して、建築物の三次元データベースに基づいて自端末の現在位置周辺の建築物の形状やカメラからの焦点距離情報によって求めた視野角の範囲で俯瞰した風景を二次元に投影したパース図を重ねて表示し、実風景画像上に各種情報を表示するナビゲーションシステムが開示されている。このシステムでは、利用者は表示された画像中にポインタ（十字マーク）を表示させ、ビル内のレストランや店舗等に合わせることで、それらのサービス内容（コンテンツ情報）が表示されるようになっている。
【０００４】
特許文献２には、利用者が移動する環境についての要素情報（仮想データ）をこの環境の実写画像に対して重ね合わせて表示する技術が開示されている。
【特許文献１】特開２００３−１３２０６８号
【特許文献２】特開２００４−１０２８３５号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の従来技術では、建築物に付随したコンテンツ情報を得る前提として、カメラからの実風景画像をパース図に“ぴったりと”位置合わせする処理を行う必要があり、携帯端末では処理負荷が重く、また、位置合わせ処理に時間を要する。さらに、当該位置合わせのために端末の方位測定の他に、実画像の距離測定も必要となる。
【０００６】
特許文献２に記載の従来技術は、要素情報を提供するための信号を無線で発信する要素情報発信装置を環境中の各地点で要素に対応して設置する必要があり、要素（目標物）の個数が多数になるとコスト的に問題があり現実的でない。
【０００７】
本発明はこのような背景においてなされたものであり、その目的は、カメラで撮影された目標物に対応する構築物を３Ｄ地図上で特定することを比較的簡便に行うとともに、その目標物に付随する情報を利用者に提供することができる情報提供システムおよび携帯端末を提供することにある。
【課題を解決するための手段】
【０００８】
本発明による情報提供システムは、位置検出機能および画像撮影機能を備えた携帯端末の利用者に対して通信ネットワークを介してサーバから情報を提供する情報提供システムである。このシステムにおいて、携帯端末は、位置検出機能により現在位置を検出し、画像撮影機能により目標物の撮影画像データを取得するとともに、通信ネットワークを介して現在位置の周辺の３次元構築物データを含む地図情報を取得し、前記目標物の撮影画像データと前記３次元構築物データとに基づいて、前記目標物に対応する構築物を特定し、この特定された構築物に付与された情報をサーバに送信する。これに対して、サーバは受信した構築物に付与された情報に対応して用意された情報を当該携帯端末に送信する。
【０００９】
本発明による携帯端末は、位置検出機能および画像撮影機能を備えた携帯端末であって、目標物の画像を撮影する画像撮影手段と、携帯端末の現在位置を検出する位置検出手段と、現在位置の周辺の３次元構築物データを含む地図情報を取得する手段と、前記目標物の撮影画像データを前記３次元構築物データと比較することにより、前記目標物に対応する構築物を特定する特定手段と、この特定された構築物に付与された情報をサーバに送信する手段と、当該情報に対応づけられた情報をサーバから受信する手段と、受信した情報を表示する表示手段とを備えたことを特徴とする。
【００１０】
携帯端末の利用者が画像撮影手段で目標物の画像を撮影する際、現在位置が検出され、現在位置の周辺の３次元構築物データを含む地図情報が取得される。そこで、目標物の撮影画像データと３次元構築物データとが比較される。その結果、目標物に対応する構築物が特定される。携帯端末は、この特定された構築物に付与された情報をサーバに送信すると、当該情報に対応づけられた情報をサーバから受信し、受信した情報を表示する。
【００１１】
本発明では、カメラを向けた目標物がどの構築物に該当するかを特定する際に、３次元構築物データを含む地図情報を用いることにより、現在位置を基準としてその周辺に存在する構築物を抽出することができる。これにより、目標物に対応する構築物の候補を絞り、迅速な構築物の特定が可能となる。
【００１２】
また、目標物と構築物との比較処理では、構築物の３次元構築物データを２次元画像データに変換した構築物の特徴点と、撮影画像データから抽出された目標物の特徴点に基づいて構築物と目標物との相関度を求めるので、撮影画像と３次元構築物データを変換した２次元画像とを完全に一致させる必要がなく、目標物に対応する構築物の特定を比較的簡便に行うことができる。
【００１３】
携帯端末に対する前記目標物の方位を検出する方位検出手段を備える場合、検出された方位に基づいて、前記地図情報から前記現在位置の周辺における当該方位にある構築物を抽出して当該構築物の３次元構築物データと前記撮影画像データとを比較することができる。すなわち、上記目標物に対応する構築物の候補は、方位検出手段により得られたカメラの方位を勘案して一つに絞ることもできる。この候補と目標物の相関度が高ければそのままその候補を目標物と判断して、後の処理を省略することができる。相関度が高くなければ、他の候補について目標物との比較を行うことにより、方位の誤差があっても構築物の正しい特定が行える。
【００１４】
前記当該方位にある構築物が前記目標物に対応すると判断されなかったときには、前記現在位置の周辺における前記方位以外の方位にある構築物を抽出して、前記目標物の撮影画像データと比較する。これにより、検出方位に誤差がある場合に対応することができる。
【００１５】
前記特定手段は、撮影画像の中心に位置する構築物を目標物と判断する。目標物を画面の中心に撮影することは自然な撮影動作であり、これにより、利用者が撮影画像中の目標物を指示する必要がなくなる。
【発明の効果】
【００１６】
本発明によれば、利用者は自己の保持する携帯端末で任意所望の目標物、例えば構築物を撮影することにより、その構築物が特定され、そこに入居している店などが提供している情報を通信ネットワークを介して入手することができる。
【００１７】
また、カメラを向けた目標物がどの構築物に該当するかを特定する際に、３次元構築物データを含む地図情報を用いることにより、現在位置を基準としてその周辺に存在する構築物を抽出することにより、比較対象となる構築物を絞り、迅速に構築物の特定を行うことが可能となる。
【００１８】
位置検出機能および画像撮影機能を備えた既存の携帯端末に本発明を適用すれば、新たなハードウェアの追加なしに本発明の携帯端末を低コストで実現することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。ここでは本発明の携帯端末として携帯電話器を例として説明する。
【００２０】
本発明は最近事実上の標準になっている携帯電話器に装備されたカメラのような画像撮影手段と、将来標準装備になるであろうＧＰＳのような位置検出手段を利用した測位を基に、各種建物、利用者施設等の目標物に付随した情報を容易に知ることができるシステムを提供するものである。ここではＧＰＳで検出された位置に基づいて提供される３次元（３Ｄ）地図情報とカメラで得られる画像情報が両方とも容易に相関がとりやすい状態で提供されていることを前提としている。また得られた目標物の付随情報を、その画像と位置、時刻情報をリスト化して携帯電話器に記憶させておくことにより、後にＰＣ等で再利用する際の利便性を有する。
【００２１】
図１は、デジタルセルラーシステムの概念図であり、ＧＰＳ付き携帯端末としての携帯電話器と網の一般的概念を表している。例えば、携帯電話器Ａ（１０３）から携帯電話器Ｂ（１０４）へ発呼する場合、使用者は相手の電話番号を携帯電話器Ａ（１０３）に入力してダイアル発信を行う。この発信は携帯電話器Ａ（１０３）が有する内部のソフトウェアで自動的に行うことも可能である。携帯電話器Ａ（１０３）は無線インタフェースＡ（１０５）を通じて携帯電話基地局Ａ（１０１）に接続を行う。携帯電話基地局Ａ（１０１）はデジタルインタフェース１０６（通常はＩＤＳＮなど）で携帯電話基地局Ｂ（１０２）に接続されており、携帯電話器Ｂ（１０４）は無線インタフェースＢ（１０７）にてこの携帯電話基地局Ｂ（１０２）に位置登録をされている。最終的に携帯電話器Ａ（１０３）は携帯電話器Ｂ（１０４）と回線が接続され通話可能となる。
【００２２】
一方、有線電話器と携帯電話器Ａ（１０３）又は携帯電話器Ｂ（１０４）との接続は、ＰＳＴＮ（Public Switched Telephone Network）局１０８に有線電話器が接続されることによりなされる。ＰＳＴＮ局１０８は、携帯電話基地局Ａ（１０１）及び携帯電話基地局Ｂ（１０２）を接続するデジタルインタフェース（１０６）に接続されている。
【００２３】
また、インターネットのサービスプロバイダ（サーバ）１０９はデジタルインタフェース１１０を介して携帯電話基地局Ａ（１０１）に接続されており、携帯電話器Ａ（１０３）から携帯電話基地局Ａ（１０１）を経由して利用者はサービスを契約内容にしたがって享受できる。このサービスは、例えば３Ｄ地図データのダウンロード、本発明に関連した当該構築物等の付随情報やその他の情報（サーバから得られるコンテンツ情報を含む）の提供等を含む。３Ｄ地図データのデータベース１０９ａと、コンテンツ情報のデータベース１０９ｂとは別々のサービスプロバイダ（サーバ）が備えてもよい。
【００２４】
一方、利用者自身の現在位置情報を得るためには、複数のＧＰＳ衛星からそれぞれＧＰＳ信号を受け取りこれらの信号に基づいて生成された多元連立方程式を解く。この例では３つのＧＰＳ衛星、ＧＰＳ衛星Ａ（１１１）、ＧＰＳ衛星Ｂ（１１２）及びＧＰＳ衛星Ｃ（１１３）を示してある。これらＧＰＳ衛星Ａ（１１１）、ＧＰＳ衛星Ｂ（１１２）及びＧＰＳ衛星Ｃ（１１３）から送られてくるデータを基に、携帯電話器Ａ（１０３）又は携帯電話器Ｂ（１０４）が位置を決定する。ナビゲーション時には、それぞれの携帯電話器の表示部で地図情報上に位置表示を行う。
【００２５】
図２に、携帯電話器の構成例を表したブロック図を示す。まず受信側から説明する。アンテナ２０１で受信された信号はセレクタ２０２を通り、受信ＲＦ部２０３へ導かれる。ここで周波数変換に必要なレベルまで信号を増幅し、周波数変換の為にミキサー２０４へ入力される。変換すべき中間周波数になるよう必要な信号が局発部２１１からミキサー２０４へ入力される。このようにして中間周波数に変換された信号は受信ＩＦ部２０５に入力され、Ａ／Ｄ変換されて一定のビットレートのサンプル信号となる。このデジタルデータは次の受信復調部２０６へ入力され、誤り訂正処理等が施され音声データ及び通信データに分けられる。音声データは音声復号部２０７に入力され伸長などの処理をしてビットレート変換され、Ｄ／Ａ変換を経由しアナログ信号へ変換される。アナログ音声信号はスピーカ２０９を駆動する為に必要な電力を得るために、スピーカアンプ２０８を経由してスピーカ２０９より空気中へ放音される。通信データは、受信復調部２０６から通信データ復号部２１０へ入力される。
【００２６】
一方、送信側の音声は、マイク２１８により使用者の声が集音され、マイクアンプ２１７にて必要なレベルまで増幅される。増幅された音声信号は音声符号化部２１６において、Ａ／Ｄ変換によりデジタル信号に変換され、圧縮等の処理を経てビットレートの変換がなされる。これらの音声データは送信変調部２１５に入力される。一方、送信される通信データは圧縮され、或いは、誤り訂正用の冗長データなどが付加されて、送信変調部２１５へ送られる。この送信変調部２１５にて音声データ及び通信データが変調符号化された後、Ｄ／Ａ変換され送信ＩＦ部２１４へ送られる。ここで中間周波数へ変換されて必要なレベルまで増幅される。この増幅された信号は、送信ＩＦ部２１４の出力信号を送信周波数へ変換するためにミキサー２１３へ入力される。このミキサー２１３の他方の入力へは所望の送信周波数を得るための信号が局発部２１１から入力される。ミキサー２１３の出力は送信周波数に変換された変調信号で、これが送信ＲＦ部２１２に入力される。この送信ＲＦ部２１２にて電力増幅された信号はセレクタ２０２を経由してアンテナ２０１から発信される。
【００２７】
携帯電話器を使用者が制御するためのマンマシンインタフェースとしてのディスプレイ２２０ａ及びキーボード２２０ｂは、Ｉ／Ｏ２２０を経由して中央処理装置（ＣＰＵ）２２４が制御する。データＩ／Ｆ２２０ｃは外部メモリなどのＩ／Ｆである。地磁気センサ２２０ｄ（方位検出手段）は例えばＧＰＳで測位しただけでは判りにくい、使用者がカメラを向けている方位を算出するときなどに使用する。ＲＴＣ（Real Time Clock）２２６は現在時刻情報をＣＰＵ２２４に出力する。不揮発性メモリ（ＲＯＭ）２２１は、ＣＰＵ２２４が処理すべきプログラムをすべて記憶している。随時アクセスメモリ（ＲＡＭ）２２２は、ＣＰＵ２２４があるデータの処理を行う場合、一時的に処理の中間で発生するデータを記憶するためのものである。電気的書き込み消去可能なメモリ（ＥＥＰＲＯＭ）２２３は、使用者がキーボード２２０ｂを介して入力し、携帯電話器の個人的な設定を行ったときなどそれらの設定条件や、或いは本実施の形態にて得られた当該構築物等の情報テーブルなどを記憶しておく不揮発性のメモリである。これにより、使用者は携帯電話器の電源Ｏｎ／Ｏｆｆに伴って毎回条件設定をする必要が無くなり、情報テーブルを後で再利用する場合にも有効である。またＧＰＳ受信部２２７は、前述のように、ＧＰＳ衛星Ａ（１１１）、ＧＰＳ衛星Ｂ（１１２）及びＧＰＳ衛星Ｃ（１１３）から送られてくる情報を元に多元連立方程式を解くことにより、経度、緯度のＸ軸及びＹ軸上の自身の位置検出を行う為に供される。またそれらの位置情報に基づいて例えばサービスプロバイダ１０９から必要な周辺の３Ｄ地図情報をダウンロードしディスプレイ２２０ａに設定条件に従って表示させるなどの機能も含まれる。さらにカメラ部２２８は携帯電話器に装着されているカメラを有し、撮影された画像を適当なフォーマットに処理する機能部である。
【００２８】
図３に、３Ｄ地図を便宜上平面的に示した図を示す。この図を使用して、サービスプロバイダ１０９から必要な地図情報を得るためのパラメータ等について説明する。
【００２９】
まず利用者が表示したい地図の中心座標は、利用者（すなわち携帯電話器）の位置する、表示中心座標Ｘ軸３０１と表示中心座標Ｙ軸３０２上にある中心座標（Ｘ０、Ｙ０）３０３で示される。この座標系は全世界で１つの点を特定できる絶対座標系、例えば緯度及び経度に基づくものであり、１つ座標を選べば他にはこれと同じ座標をもつ地域は存在しない。この座標は例えば携帯電話器Ａ（１０３）がＧＰＳ衛星Ａ（１１１）、ＧＰＳ衛星Ｂ（１１２）及びＧＰＳ衛星Ｃ（１１３）からの電波を受信し決定することができる。希望する表示中心座標が決定されたならば利用者は自分の所望する表示領域を決定するが、最初は例えば携帯電話器Ａ（１０３）には地図が表示されていないので、予め設定してあるデフォルトの表示範囲を使用しても良い。いずれにしても地図の表示範囲は表示座標（Ｘ１）３０４及び表示座標（Ｙ１）３０５で決定される。利用者がいる位置は表示の中心にいることを前提としている。なお、後述するように、３Ｄ地図の実際の表示は立体的に見える表示である。
【００３０】
ここまでで得られた情報では利用者が向いている方位については不明である。本実施の形態においては、携帯電話器に装着されているカメラを、利用者が情報を得たいと考えている構築物等の目標物に向け、画像情報を入力したときにカメラの向いている方位情報も同時に取得することにしている。
【００３１】
図４は、携帯電話器に内蔵しているカメラで、利用者がある構築物（この例ではビルディングとしてある）を撮影したときの画像例を示している。この構築物は、３Ｄ地図データでは図５に示すような３Ｄデータ画像で示される３Ｄ構築物データ５００で提供される。図５の画像は、利用者（標準的な目の高さを想定）の位置を基準として見える３Ｄデータを２次元画像に変換したものであり、理想的には図４の構築物４００と相似形状となる。３Ｄ地図データの２次元画像への変換は携帯電話器での３Ｄ地図の表示機能に備えられている。３Ｄ地図データベース１０９ａの３Ｄ地図データには、本実施の形態では、道路や線路などの情報の他に、主要な構築物毎に、その位置データ、構成データ（図５の各基準ポイントの３Ｄ座標）、構築物の名称、構築物の一意な識別情報等が含まれている。
【００３２】
このように３Ｄ地図データの特徴は、構築物を利用者が実際見たのと同じ構図で表示できる利点があり、その地点でカメラ撮影した画像と同じ構図が得られる為、両者間の画像認識が容易となる。
【００３３】
図５の３Ｄデータ画像で示される構築物は、この例では幾つかの基準になるポイント、ここでは基準ポイントＡ（５０１）、Ｂ（５０２）、Ｃ（５０３）、Ｄ（５０４）、Ｅ（５０５）及びＦ（５０６）と、それらを連結する稜線で構成されている。マッチングには、このような基準ポイントとそれらを連結する稜線を用いる。データ画像（２次元に変換したもの）についても同じような特徴である基準ポイントを抽出する。この両者を比較して画像認識処理を行い、相関度（類似度）が所定の閾値を越えた構築物データのうち最も相関度の高いものが利用者の意図する目標物であると判断する。相関度は、基準ポイントの個数、稜線の本数、稜線の長さの比、稜線のなす角度等から判断することができる。但し、これらの判断要素は必ずしも全てを用いる必要はない。カメラ画像とデータ画像と誤差を考慮して、それぞれの要素に許容誤差範囲を設定しておく。
【００３４】
なお、図３の地図３００は平面的に図示したが、３Ｄ地図は利用者の位置（視点）から見た図６のような画像に変換される。したがって、同じ３Ｄ地図データであっても、３Ｄ地図データ画像は利用者の位置の移動に従って変わる。
【００３５】
また、図４に示したようなカメラ画像は１つの構築物４００の全貌が見える例を示したが、図７に示すように実際のカメラ画像７０では建築物が密接しているような場合、目的の構築物（例えば図の構築物７２）の一部が他の建築物に隠れることもありうる。また、正面から撮影したような場合には建築物の正面しか見えない画像となる場合もある。このような場合でも、対応する３Ｄ地図データ画像も同様の画像となるので、対比による構築物の特定が可能となる。
【００３６】
図８に、本実施の形態で特定された構築物等の目標物について取得されたデータを再利用の為に保存しておくデータ構造を示す。１つの目標物について取得された情報データ群をレコード６００と呼ぶことにする。このレコード６００は、このレコードが既に使用されているか否かを示す為のインデックス（Ｉｎｄｅｘ）６０１、利用者が情報の整理用に簡便な名前をつける為のタグ６０２、情報を取得した位置の測位結果であるＸ座標データ６０３、Ｙ座標データ６０４、利用者がカメラを向けた方角を測定した地磁気センサのデータである方位（Direction）６０５、撮影の日時情報を表すタイムスタンプ６０６、当該構築物に付与された情報（例えば構築物識別情報）および構成情報等、例えばインターネット上のＵＲＬ情報或いは撮影した画像のファイル名、このファイルが格納されているディレクトリ等の付随情報を記憶しておく為の付加データ（Additional Data）６０７等で構成されている。構築物の情報は、各階に対応して複数の情報に分かれていてもよい。
【００３７】
このようなレコード６００はレコードテーブル７００としてリスト化される。ここでは８個のレコードとしているが、この数に限定されるものではない。レコードテーブル７００中では、各レコードはタイムスタンプやタグ６０２などで識別される。利用者は、このテーブル中のそれぞれのデータを指示することにより１つのレコードを利用することになる。例えば、タグでリストを並べ替えたり、タイムスタンプでリストを並べ替えたりして、利用者が判り易い情報表示を行うこともできる。
【００３８】
図９は本実施の形態における処理のフローチャートを示している。本実施の形態では、この処理は情報表示モードとして実現されるものとする。情報処理モードへの移行は、利用者が例えば携帯電話器に設けられた情報ボタンなどの専用スイッチを押下する、またはメニューから所定のコマンドを選択する、などにより行われる。情報表示モードでは、まず、ＧＰＳ機能により現在位置を確認し、その現在位置の周辺の３Ｄ地図データをサーバから取得する（Ｓ１１）。同位置の地図データが既に携帯電話器内に保存されている場合には、地図データの取得は省略される。次に、利用者によるカメラのシャッタボタンの押下等にしたがってカメラ撮影画像を取得する（Ｓ１２）。この前提として、利用者が目標物に付随した情報を知りたいときにそれにカメラを向けているものとする。この際、磁気センサ等によりカメラの向いている方位を確認する（Ｓ１３）。なお、撮影された画像は後に再利用できるように専用の画像フォルダ等へ格納される。
【００３９】
そこで、カメラ撮影画像と３Ｄ地図データの構築物等との相関をとる為の画像処理を行う（Ｓ１４）。具体的には３Ｄ地図データを２次元の画像データに変換する。この２次元画像は、利用者の現在位置を視点として３次元の構築物等を見たときに見える画像である。少なくともカメラ方位についてのみこの処理を行うか、利用者の位置からは３６０度全周に亘ってこの処理を行うかは、予め固定的に設定しておくか、または、利用者の設定により決定できるようにする。
【００４０】
そこで、方位確認処理で得られた方位情報を基に撮影画像データと３Ｄ地図データとの間で特定方位のみの３Ｄマッチング処理を行う（Ｓ１５）。具体的には、まず３Ｄ地図データで当該特定方位にある建築物等の構築物データ（図５）を抽出する一方、撮影画像の中心に位置する構築物の輪郭等から目標物のデータ（図４）を抽出し、両者の特徴点の情報に基づいて相関度を算出する。例えば、図１０に示すような現在位置Ｐにおいて周囲に構築物（ここではビルディング）Ａ〜Ｇがあるとして、構築物Ｂの方向へカメラを向けている場合、方位ｄ１が正確に検出されれば、３Ｄ地図データの各構築物の位置と現在位置Ｐおよび検出方位との関係で、構築物Ｂの構築物データが抽出される。算出された相関度が所定の閾値を越えていれば、３Ｄ地図データの当該構築物が目標物に一致したと判断し（Ｓ１６，Ｙｅｓ）、ステップＳ１９へ進む。
【００４１】
例えば地磁気センサが周囲環境の影響で誤差が大きく方位情報が信頼できない等の原因により検出方位に誤差がある場合を考慮する。図１０の例で例えば方位ｄ２が検出方位である場合、３Ｄ地図データからはその方位にある構築物Ｃのデータが誤って抽出される。この場合、現在位置Ｐから見た構築物Ｃはその左斜め前から見たビルの外観形状となり、構築物Ｂの撮影画像から抽出される構築物Ｂの正面の外観形状とは異なることになる。したがって、ステップＳ１６ではマッチング結果は不一致と判断されることになる。このような場合、利用者がいる位置から見える全ての方向に対して３Ｄ地図との相関をとる全周３Ｄマッチング処理を行う（Ｓ１７）。先に３６０度全周に亘る画像処理を行っていない場合にはこの時点で行う。全周３Ｄマッチング処理では、３Ｄ地図データで把握される利用者の周囲にある複数の構築物データ（上記特定方位のものを除く）の一つに着目し、これと目標物の撮影画像とを対比する。この際、特定方位に近い構築物から順に選択する。図１０の例では方位ｄ２の左側の構築物Ｂまたは右側の構築物Ｄが比較対象として抽出される。前述と同様、両者の特徴点の情報に基づいて相関度を算出し、相関度が所定の閾値を越えていれば、３Ｄ地図データの当該構築物が目標物に一致したと判断する。図１０の例では構築物Ｂが撮影画像と一致することになる。
【００４２】
特定方位に近い一方側の構築物についてマッチング処理を行い、相関度が閾値を越えた場合に、直ちにその構築物が目標物であると判断せずに、特定方位に近い他方側の構築物についてもマッチング処理を行い、相関度の高い方の構築物を目標物と判断するようにしてもよい。検出方位が大幅に狂っている場合を考慮して、３６０度全周の構築物のすべてのマッチング処理を行って、閾値を越える最も高い相関度の構築物を目標物と判断するようにしてもよい。また、方位検出を行わない場合には全周のマッチング処理を行う。
【００４３】
実際上、市街地にあるビルディングのような構築物を目標物とする場合、利用者の周囲に同じような構造の複数の構築物が存在しても、利用者の視点から見える各構築物の外観は、遠近感を反映して、２次元画像に変換した場合、各構築物の輪郭の形状が構築物毎に異なる。したがって、方位検出誤差が大きくても全周３Ｄマッチングを行うことにより、目標物が正しく特定される確率は高いと考えられる。
【００４４】
全周マッチングの結果、撮影画像と一致する構築物があった場合（Ｓ１８，Ｙｅｓ）、ステップＳ１９へ進む。そうでない場合には、該当するデータなしの表示を行い（Ｓ２２）、この処理を終了する。
【００４５】
ステップＳ１９では、特定された構築物に付与された情報に基づいて、必要な付随情報をサービスプロバイダから得る為の該当データをダウンロードする（Ｓ１９）。この該当データは典型的にはＵＲＬ情報であるが、ＵＲＬのアクセスによって得られるようなコンテンツ情報であってもよい。該当データはディスプレイ上に表示される（Ｓ２０）。ＵＲＬ情報が表示された場合には、利用者はそのＵＲＬにアクセスして新たな情報を受信し、表示することもできる。更に後で再利用する為に、ダウンロードされた情報をレコード６００の付加データ６０７に格納するとともに、他のレコードデータを格納する（Ｓ２１）。このレコードは、レコードテーブル７００のリスト項目として追加される。
【００４６】
図１１に、図９のステップＳ２０における表示処理による表示画面例を示す。この例は、カメラ撮影により特定されたビルのビル名８１、階番号８２、そのビルに入居している各階の店舗名称８４を表示した画面８０を示している。各階の名称等を店舗の名称等には、サービスプロバイダから提供しているコンテンツ情報へ移行するためのＵＲＬへのリンクが設定されている。同一の階に複数の店舗が存在する場合もある。また、コンテンツ情報を提供していない階については表示はなされない。利用者は任意の店舗を例えばカーソル８３の移動により選択し、「決定」することにより、サーバから該当するコンテンツ情報がダウンロードされ、表示される。この画面８０の例では、背景を表示していないが、背景を当該ビルの実画像または対応する３Ｄデータ画像としてもよい。また、そのような画像上の対応する位置にリンク情報を設定してもよい。
【００４７】
以上説明したように、本実施の形態では３Ｄ地図情報と携帯電話器等にあるカメラの撮影画像から、撮影した目標物に一致する３Ｄ地図内の構築物を特定し、それに付随するコンテンツ情報を利用者に提供することが可能になる。この実施の形態によれば、次のような効果が得られる。
１． ３Ｄ構築物データを含む３Ｄ地図情報を用いているので撮影画像との相関度の判断が比較的容易である。。
２． カメラの向きに応じた撮影画像や３Ｄ画像の修正を必要としない。特に、距離センサなどの専用のセンサなどを不要にできることからコストを抑制できる。常に全周マッチングを行うようにすれば、地磁気センサも必ずしも必須の要素ではない。
３． ＧＰＳ機能やカメラ撮影機能は携帯端末に搭載されているものを利用できるので、特別のハードウェア追加のためのコストは必要ない。
４． ３Ｄ地図データは例えば通信ネットワーク上に構成されているサーバから最新のデータを必要な部分のみダウンロードすることにより、携帯端末上のデータ保存手段の容量は大きい必要がなく安価に構成可能である。
５． 特定された構築物のデータと共にコンテンツ指定情報、時刻情報等を携帯端末に保存しておき、例えば帰宅してからＰＣに転送することにより、ＰＣ上に地図情報と共にそれらのデータを展開して整理することが可能である。保存した複数のデータを基に、実際に移動した順序で時系列に、利用者の訪れた場所に関してＰＣ上に動的な再現を行うことも可能である。
６． コンテンツ情報も通信ネットワーク上のサーバから提供が可能である為に、利用者は常に最新の情報を享受できる。従ってコンテンツ情報の提供者は、サーバにおけるデータを更新することにより、固定的な情報だけでなく、例えばイベントなどの不定期な情報の提供も容易となる。
【００４８】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、ＵＲＬ（コンテンツ指定情報）は、前記特定された構築物の識別情報に基づいてサーバから得るようにしたが、３Ｄ地図情報に含まれていてもよい。位置検出手段としてはＧＰＳを利用したが、必ずしもＧＰＳに限るものではない。
【図面の簡単な説明】
【００４９】
【図１】本発明が適用されるデジタルセルラーシステムの概念図である。
【図２】図１のシステム内の携帯電話器の構成例を表したブロック図である。
【図３】３Ｄ地図を便宜上平面的に示した図である。
【図４】携帯電話器に内蔵しているカメラで、利用者がある構築物を撮影したときの画像例を示す図である。
【図５】図４の構築物の、３Ｄ地図データにおける３Ｄデータ画像を示す図である。
【図６】３Ｄ地図データを利用者の位置（視点）から見た画像に変換した図である。
【図７】建築物が密接している実際のカメラ画像の例を示す図である。
【図８】本発明の実施の形態で特定された構築物等の目標物について取得されたデータを再利用の為に保存しておくデータ構造を示す図である。
【図９】本発明の実施の形態における処理のフローチャートである。
【図１０】本発明の実施の形態における全周３Ｄマッチングの説明図である。
【図１１】図９のステップＳ２０における表示処理による表示画面例を示す図である。
【符号の説明】
【００５０】
７０…カメラ画像、７２…構築物、８０…画面、８１…ビル名、８２…階番号、８３…カーソル、８４…店舗名称、１０２，１０２…携帯電話基地局、１０３，１０４…携帯電話器、１０５，１０７…無線インタフェース、１０６…デジタルインタフェース、１０８…ＰＳＴＮ局、１０９…サービスプロバイダ（サーバ）、１０９ａ…３Ｄ地図データベース、１０９ｂ…コンテンツデータベース、１１０…デジタルインタフェース、１１１，１１２，１１３…衛星、２０１…アンテナ、２０２…セレクタ、２０３…受信ＲＦ部、２０４…ミキサー、２０５…受信ＩＦ部、２０６…受信復調部、２０７…音声復号部、２０８…スピーカアンプ、２０９…スピーカ、２１０…通信データ復号部、２１１…局発部、２１２…送信ＲＦ部、２１３…ミキサー、２１４…送信ＩＦ部、２１５…送信変調部、２１６…音声符号化部、２１７…マイクアンプ、２１８…マイク、２２０ａ…ディスプレイ、２２０ｂ…キーボード、２２０ｃ…データＩ／Ｆ、２２０ｄ…地磁気センサ、２２６…ＲＴＣ、２２７…ＧＰＳ受信部（位置検出手段）、２２８…カメラ部（画像撮影手段）、３００…地図、４００…構築物、５００…構築物データ、６００…レコード、６０２…タグ、６０６…タイムスタンプ、６０７…付加データ、７００…レコードテーブル
【特許請求の範囲】
【請求項１】
位置検出機能および画像撮影機能を備えた携帯端末の利用者に対して通信ネットワークを介してサーバから情報を提供する情報提供システムであって、
携帯端末は、位置検出機能により現在位置を検出し、画像撮影機能により目標物の撮影画像データを取得するとともに、通信ネットワークを介して現在位置の周辺の３次元構築物データを含む地図情報を取得し、前記目標物の撮影画像データと前記３次元構築物データとに基づいて、前記目標物に対応する構築物を特定し、この特定された構築物に付与された情報をサーバに送信し、
サーバは受信した前記構築物に付与された情報に対応して用意された情報を当該携帯端末に送信する
ことを特徴とする情報提供システム。
【請求項２】
位置検出機能および画像撮影機能を備えた携帯端末であって、
目標物の画像を撮影する画像撮影手段と、
携帯端末の現在位置を検出する位置検出手段と、
現在位置の周辺の３次元構築物データを含む地図情報を取得する手段と、
前記目標物の撮影画像データを前記３次元構築物データと比較することにより、前記目標物に対応する構築物を特定する特定手段と、
この特定された構築物に付与された情報をサーバに送信する手段と、
当該情報に対応づけられた情報をサーバから受信する手段と、
受信した情報を表示する表示手段と
を備えたことを特徴とする携帯端末。
【請求項３】
携帯端末に対する前記目標物の方位を検出する方位検出手段を備え、
検出された方位に基づいて、前記地図情報から前記現在位置の周辺における当該方位にある構築物を抽出して当該構築物の３次元構築物データと前記撮影画像データとを比較することを特徴とする請求項２記載の携帯端末。
【請求項４】
前記特定手段は、前記構築物の３次元構築物データを、前記構築物を前記現在位置から見たときの２次元画像データに変換して構築物の特徴点を抽出するとともに、前記撮影画像データから撮影された目標物の特徴点を抽出し、両者の特徴点に基づいて前記構築物と前記目標物との相関度を求め、この相関度に基づいて前記目標物に対応する構築物を特定することを特徴とする請求項２または３記載の携帯端末。
【請求項５】
前記当該方位にある構築物が前記目標物に対応すると判断されなかったとき、前記現在位置の周辺における前記検出された方位以外の方位にある構築物を抽出して、その３次元構築物データを前記目標物の撮影画像データと比較することを特徴とする請求項３記載の携帯端末。
【請求項６】
前記特定手段は、撮影画像の中心に位置する構築物を目標物と判断することを特徴とする請求項２または３記載の携帯端末。
【請求項７】
前記目標物に対応する構築物であると特定された構築物毎に、当該構築物に付与された情報と前記受信された情報とを対応づけて保存するデータ保存手段を備えたことを特徴とする請求項２〜６のいずれかに記載の携帯端末。
【請求項８】
前記構築物に付与された情報は構築物の識別情報であり、前記受信された情報は前記特定された構築物の識別情報に対応づけられたコンテンツ指定情報であることを特徴とする請求項２記載の携帯端末。
【請求項９】
前記構築物に付与された情報はコンテンツ指定情報であり、前記コンテンツ指定情報は前記地図情報に含まれていることを特徴とする請求項２記載の携帯端末。
【請求項１０】
位置検出機能および画像撮影機能を備えた携帯端末であって、
目標物の画像を撮影する画像撮影部と、
携帯端末の現在位置を検出する位置検出部と、
現在位置の周辺の３次元構築物データを含む地図情報を取得する地図情報取得部と、
前記目標物の撮影画像データを前記３次元構築物データと比較することにより、前記目標物に対応する構築物を特定する特定部と、
この特定された構築物に付与された情報をサーバに送信する送信部と、
当該情報に対応づけられた情報をサーバから受信する受信部と、
受信した情報を表示する表示部と
を備えたことを特徴とする携帯端末。
【請求項１】
位置検出機能および画像撮影機能を備えた携帯端末の利用者に対して通信ネットワークを介してサーバから情報を提供する情報提供システムであって、
携帯端末は、位置検出機能により現在位置を検出し、画像撮影機能により目標物の撮影画像データを取得するとともに、通信ネットワークを介して現在位置の周辺の３次元構築物データを含む地図情報を取得し、前記目標物の撮影画像データと前記３次元構築物データとに基づいて、前記目標物に対応する構築物を特定し、この特定された構築物に付与された情報をサーバに送信し、
サーバは受信した前記構築物に付与された情報に対応して用意された情報を当該携帯端末に送信する
ことを特徴とする情報提供システム。
【請求項２】
位置検出機能および画像撮影機能を備えた携帯端末であって、
目標物の画像を撮影する画像撮影手段と、
携帯端末の現在位置を検出する位置検出手段と、
現在位置の周辺の３次元構築物データを含む地図情報を取得する手段と、
前記目標物の撮影画像データを前記３次元構築物データと比較することにより、前記目標物に対応する構築物を特定する特定手段と、
この特定された構築物に付与された情報をサーバに送信する手段と、
当該情報に対応づけられた情報をサーバから受信する手段と、
受信した情報を表示する表示手段と
を備えたことを特徴とする携帯端末。
【請求項３】
携帯端末に対する前記目標物の方位を検出する方位検出手段を備え、
検出された方位に基づいて、前記地図情報から前記現在位置の周辺における当該方位にある構築物を抽出して当該構築物の３次元構築物データと前記撮影画像データとを比較することを特徴とする請求項２記載の携帯端末。
【請求項４】
前記特定手段は、前記構築物の３次元構築物データを、前記構築物を前記現在位置から見たときの２次元画像データに変換して構築物の特徴点を抽出するとともに、前記撮影画像データから撮影された目標物の特徴点を抽出し、両者の特徴点に基づいて前記構築物と前記目標物との相関度を求め、この相関度に基づいて前記目標物に対応する構築物を特定することを特徴とする請求項２または３記載の携帯端末。
【請求項５】
前記当該方位にある構築物が前記目標物に対応すると判断されなかったとき、前記現在位置の周辺における前記検出された方位以外の方位にある構築物を抽出して、その３次元構築物データを前記目標物の撮影画像データと比較することを特徴とする請求項３記載の携帯端末。
【請求項６】
前記特定手段は、撮影画像の中心に位置する構築物を目標物と判断することを特徴とする請求項２または３記載の携帯端末。
【請求項７】
前記目標物に対応する構築物であると特定された構築物毎に、当該構築物に付与された情報と前記受信された情報とを対応づけて保存するデータ保存手段を備えたことを特徴とする請求項２〜６のいずれかに記載の携帯端末。
【請求項８】
前記構築物に付与された情報は構築物の識別情報であり、前記受信された情報は前記特定された構築物の識別情報に対応づけられたコンテンツ指定情報であることを特徴とする請求項２記載の携帯端末。
【請求項９】
前記構築物に付与された情報はコンテンツ指定情報であり、前記コンテンツ指定情報は前記地図情報に含まれていることを特徴とする請求項２記載の携帯端末。
【請求項１０】
位置検出機能および画像撮影機能を備えた携帯端末であって、
目標物の画像を撮影する画像撮影部と、
携帯端末の現在位置を検出する位置検出部と、
現在位置の周辺の３次元構築物データを含む地図情報を取得する地図情報取得部と、
前記目標物の撮影画像データを前記３次元構築物データと比較することにより、前記目標物に対応する構築物を特定する特定部と、
この特定された構築物に付与された情報をサーバに送信する送信部と、
当該情報に対応づけられた情報をサーバから受信する受信部と、
受信した情報を表示する表示部と
を備えたことを特徴とする携帯端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−１１９７９７（Ｐ２００６−１１９７９７Ａ）
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願番号】特願２００４−３０５２７１（Ｐ２００４−３０５２７１）
【出願日】平成１６年１０月２０日（２００４．１０．２０）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願日】平成１６年１０月２０日（２００４．１０．２０）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
[ Back to top ]