説明

地図画像処理装置、地図画像処理方法及び地図画像処理プログラム

【課題】ユーザの周囲の状況を付加情報とともにユーザに提供することができる仕組みであって、携帯端末に好適な3D地図を用いたサービスを提供する。
【解決手段】所定の地図領域内に座標情報を有する建物を建物情報記憶手段から特定し、当該特定した建物にタグを紐づけするタグ紐づけ手段と、前記D地図画像の視点位置の座標情報と視線方向および前記特定した建物の3D座標に基づいて、前記3D地図画像上の前記特定した建物の位置に当該建物に紐づけられたタグの情報を合成するタグ合成手段と、前記タグが紐づけられた建物に収容されている店舗の店舗情報を建物情報記憶手段から特定し、当該特定した店舗情報を前記タグの情報が合成された3D地図画像と紐づける店舗情報紐づけ手段と、前記タグの情報が合成された3D地図画像をタグ付き3D地図記憶手段に格納する格納手段を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、地図画像を処理する技術に関し、特に、2次元地図と3次元地図の画像を処理する技術に関する。
【背景技術】
【0002】
現実環境にコンピュータを用いて情報を付加提示する拡張現実(AR:Augmented Reality)を用いたサービスが登場している。かかる拡張現実を携帯端末に適用したサービスとしては、例えば、携帯端末が備えるデジタルカメラによって目の前の景色がディスプレイに映し出されると、その場所や対象物(建物・看板など)に関連する付加情報(文字・画像など)を映像に重ねて表示するサービスなどが知られている。
【0003】
また、デジタル地図を用いた様々なサービスが提供されている。特許文献1には、かかるサービスの一例として、車両に搭載されるナビゲーション装置が記載されている。このナビゲーション装置は、経路上の第1の交差点を曲がったとき、当該第1の交差点と第2の交差点が表示画面に収まる2D地図を表示し、当該第2の交差点を曲がるとき、当該2D地図より縮尺を上げた別の2D地図を表示画面に表示してから、車両を基準にした3D地図を表示画面に表示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許4077304号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、携帯端末から利用可能な経路検索サービスでは、ユーザが目的地を入力すると、現在位置から目的地までの経路を検索して2D地図上に重畳表示する。従って、ユーザは、地図上の経路を確認しながら目的地まで進むことができるところ、2D地図では周囲の状況を把握しづらい場合もあるため、特に目的地までの経路が複雑である場合には、経路の途中で上述した拡張現実を利用して自分の位置を確認したい場合がある。
【0006】
しかしながら、拡張現実では、上述した従来技術のように携帯端末が備えるカメラが撮像した映像上に付加情報が重畳されるところ、かかる映像は現実の風景であるため、例えば夜間や雨天の際に当該サービスを利用した場合には、映像が暗くなったり曇ったりする結果、映像を認識することが困難である。また、晴天時の昼間に利用した場合でも、仮にユーザが撮像しようとしている建物とカメラとの間に、例えば大型自動車や通行人などの障害物が介在した場合は、ユーザが意図した建物の映像を得ることはできず、付加情報が大型自動車などの映像上に重畳表示されてしまうことになる。
【0007】
一方、携帯端末、インターネット、ナビゲーションシステム等の急激な普及に伴い、様々なシーンでデジタル地図の利用用途が拡大している結果、利用者間では、デジタル地図を用いたサービスの利便性向上に対するニーズが益々高まっている。しかし、携帯端末においては、装置の物理的な大きさや処理能力並びにコスト面等の制約があるため、特許文献1に記載の技術、例えば、装置内にCD−ROMから読み出した地図情報を格納したり、ナビゲーションコントローラを備えたりする技術を、携帯端末にそのまま適用することは困難である。3D地図は2D地図よりもデータ量が多く処理時間も長くなりやすいため、携帯端末で3D地図を取り扱う場合には、携帯端末の処理能力やネットワーク通信負荷などの問題を考慮する必要がある。
【0008】
そこで、本発明の目的は、ユーザの周囲の状況を付加情報とともにユーザに提供することができる仕組みであって、携帯端末に好適な3D地図を用いたサービスを提供する地図画像処理装置を提供することにある。
【課題を解決するための手段】
【0009】
本地図画像処理装置は、3次元地図画像と、当該3次元地図画像の視点位置の座標情報と、当該視点位置の視線方向とを対応づけて格納する3次元地図記憶手段と、建物の3次元座標情報と当該建物に収容された店舗の店舗情報とを対応づけて格納する建物情報記憶手段と、所定の地図領域内に座標情報を有する建物を前記建物情報記憶手段から特定し、当該特定した建物にタグを紐づけするタグ紐づけ手段と、前記3次元地図画像の座標情報と視線方向および前記特定した建物の3次元座標に基づいて、前記3次元地図画像上の前記特定した建物の位置に当該建物に紐づけられたタグの情報を合成するタグ合成手段と、前記タグが紐づけられた建物に収容されている店舗の店舗情報を前記建物情報記憶手段から特定し、当該特定した店舗情報を前記タグの情報が合成された3次元地図画像と紐づける店舗情報紐づけ手段と、前記タグの情報が合成された3次元地図画像をタグ付き3次元地図記憶手段に格納する格納手段と、備えることを特徴とする。また、前記店舗情報紐づけ手段は、前記特定した店舗情報を前記3次元地図画像に合成された前記タグの情報と紐づけることもできる。
【0010】
また、2次元地図画像と座標情報とを対応づけて格納する2次元地図記憶手段をさらに備え、前記タグ合成手段は、前記2次元地図画像の座標情報と前記特定した建物の座標情報に基づいて、前記2次元地図画像上の前記特定した建物の位置に当該建物に紐づけられたタグの情報を合成し、前記店舗情報合成手段は、前記特定した店舗情報を前記タグの情報が合成された2次元地図画像に紐づけ、前記格納手段は、前記タグの情報が合成された2次元地図画像をタグ付き2次元地図記憶手段に格納することを特徴とする。
【0011】
また、ユーザの現在位置から目的地までの経路上に存在する3次元地図表示位置を特定する特定手段と、前記特定された3次元地図表示位置に対応するタグ付き3次元地図画像が、前記タグ付き3次元地図記憶手段に格納されているか否かを判断する判断手段と、前記判断結果が否である場合、前記3次元地図表示位置に対応するタグ付き3次元地図画像が生成されるように、前記タグ設定手段、前記タグ合成手段および前記店舗情報合成手段を制御する制御手段と、ユーザの移動に応じて更新される現在位置が前記経路上の3次元地図表示位置と略一致する場合、前記タグ付き3次元地図記憶手段に格納されているタグ付き3次元地図画像、または、前記制御手段による制御の結果生成されたタグ付き3次元地図画像を、前記ユーザの携帯端末へ送信することを特徴とする。
【0012】
さらにまた、ユーザの現在位置から目的地までの経路上に存在する3次元地図表示位置を特定する特定手段と、前記特定された3次元地図表示位置に対応するタグ付き3次元地図画像が前記タグ付き3次元地図記憶手段に格納されているか否かを判断する判断手段と、前記判断結果が否である場合、前記3次元地図表示位置に対応するタグ付き3次元地図画像が生成されるように、前記タグ設定手段、前記タグ合成手段および前記店舗情報合成手段を制御する制御手段と、携帯端末から前記3次元地図表示位置に該当するタグ付き3次元地図画像の取得要求を受け付けた場合、前記タグ付き3次元地図記憶手段に格納されているタグ付き3次元地図画像、または、前記制御手段による制御の結果生成されたタグ付き3次元地図画像を、前記ユーザの携帯端末へ送信することを特徴とする。
【0013】
また、本地図画像処理装置は、端末装置から送信される撮像画像と、当該撮像画像の視点の座標情報と、当該視点の視線方向とを受け付ける受付手段と、建物の3次元座標情報と当該建物に収容された店舗の店舗情報とを対応づけて格納する建物情報記憶手段と、所定の地図領域内に座標情報を有する建物を前記建物情報記憶手段から特定し、当該特定した建物にタグを紐づけするタグ紐づけ手段と、前記撮像画像の座標情報と視線方向および前記特定した建物の3次元座標に基づいて、前記撮像画像上の前記特定した建物の位置に当該建物に紐づけられたタグの情報を合成するタグ合成手段と、前記タグが紐づけられた建物に収容されている店舗の店舗情報を前記建物情報記憶手段から特定し、当該特定した店舗情報を前記タグの情報が合成された撮像画像と紐づける店舗情報紐づけ手段と、前記タグの情報が合成された撮像画像を前記端末装置へ送信する送信手段と、備えることを特徴とする。
【0014】
また、本地図画像処理方法は、地図画像処理装置における地図画像処理方法であって、前記地図画像処理装置は、3次元地図画像と、当該3次元地図画像の視点位置の座標情報と、当該視点位置の視線方向とを対応づけて格納する3次元地図記憶装置と、建物の3次元座標情報と当該建物に収容された店舗の店舗情報とを対応づけて格納する建物情報記憶装置と、を備え、前記方法は、所定の地図領域内に座標情報を有する建物を前記建物情報記憶装置から特定し、当該特定した建物にタグを紐づけするタグ紐づけステップと、前記3次元地図画像の座標情報と視線方向および前記特定した建物の3次元座標に基づいて、前記3D地図画像上の前記特定した建物の位置に当該建物に紐づけられたタグの情報を合成するタグ合成ステップと、前記タグが紐づけられた建物に収容されている店舗の店舗情報を前記建物情報記憶装置から特定し、当該特定した店舗情報を前記タグの情報が合成された3D地図画像と紐づける店舗情報紐づけステップと、前記タグの情報が合成された3次元地図画像をタグ付き3次元地図記憶装置に格納する格納ステップと、を備えることを特徴とする。
【0015】
また、本発明は、上記各ステップをコンピュータに実行させるためのプログラムとしても成立する。このプログラムは、CD−ROM等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。
【0016】
また、本明細書等において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、1つの手段が有する機能が2つ以上の物理的手段により実現されても、2つ以上の手段の機能が1つの物理的手段により実現されてもよい。
【発明の効果】
【0017】
本発明によれば、ユーザの周囲の状況を付加情報とともにユーザに提供することができる仕組みであって、携帯端末に好適な3D地図を用いたサービスを提供することが可能になる。
【図面の簡単な説明】
【0018】
【図1】地図画像処理システムの概略構成を示すブロック図である。
【図2】携帯端末の概略構成を示すブロック図である。
【図3】2D地図DBのデータ構造の一例を示す図である。
【図4】3D地図DBのデータ構造の一例を示す図である。
【図5】建物情報DBのデータ構造の一例を示す図である。
【図6】AR画面、2D画面および3D画面間の切り替えを説明するための図である。
【図7】ビルタグ付き地図画像生成処理の流れの一例を示すフローチャートである。
【図8】ビルタグ付き地図画像の一例を示す図である。
【図9】第1のラリーマップ制御処理の流れの一例を示すフローチャートである。
【図10】ラリーマップ地図画像の一例を示す図である。
【図11】第2のラリーマップ制御処理の流れの一例を示すフローチャートである。
【図12】第3のラリーマップ制御処理の流れの一例を示すフローチャートである。
【図13】ラリーマップ地図画像の一例を示す図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態では、一例として、2次元地図(以下、「2D地図」という。)と3次元地図(以下「3D地図」という。)を用いた地図サービスを携帯電話などの携帯端末に提供する場合に好適な地図画像処理装置について説明する。本実施形態における地図画像処理装置が有する特徴については、図面を参照しつつさらに詳細に説明する。各記載において、同一の要素には同一の符号を付し、重複する説明を省略する。
【0020】
[地図画像処理システムの構成]
図1は、本実施形態に係る地図画像処理装置が適用される地図画像処理システム100の概略構成を示すブロック図である。地図画像処理システム100は、地図画像処理装置10と携帯端末20とを備え、これらがネットワークNを介して相互に接続されることにより構成される。
【0021】
地図画像処理装置10は、主制御手段101、記憶手段102、通信手段103、ビルタグ紐づけ手段104、ビルタグ付2D地図生成手段105、ビルタグ付3D地図生成手段106、ラリーマップ機能付き経路検索手段107、切替手段108、AR(Augmented Reality)処理手段109などの各種機能実現手段を主に備える。
【0022】
地図画像処理装置10には、図示してはいないが、CPU、ROMやRAM等のメモリ、各種の情報を格納する外部記憶装置、入力インタフェース、出力インタフェース、通信インタフェース及びこれらを結ぶバスを備える専用又は汎用のサーバ・コンピュータを適用することができ、例えば、CPUがROM等に格納された所定のプログラムを実行することにより、上記各機能実現手段として機能する。なお、地図画像処理装置10は、単一のコンピュータより構成されるものであっても、ネットワーク上に分散した複数のコンピュータより構成されるものであってもよい。
【0023】
主制御手段101は、地図画像処理装置10の動作全体及び上述した各手段の動作を制御する。記憶手段102は、2D地図を表示するための2D地図画像と、3D地図を表示するための3D地図画像と、地図領域内の建物に関する建物情報(ビル情報)と、ビルタグが合成されたビルタグ付き2D地図画像及びビルタグ付き3D地図画像とを格納する記憶装置であり、データベースとしての機能を有する。記憶手段102は、格納される情報に応じて、2D地図DB、3D地図DB、建物情報DB、ビルタグ付き2D地図DB、ビルタグ付き3D地図DBとも呼ばれる。以下、図3〜図5を用いて記憶手段102のデータのデータ構造について説明するが、データ構造は以下に示すものに限られず、設計に応じて適宜変更可能である。
【0024】
図3は、2D地図DBのデータ構造の一例を表している。2D地図DBには、例えば、2D地図の地図IDと、地図の座標情報(緯度経度)と、当該地図の画像(2D地図画像データ)とが対応づけられている。2D地図には、例えばメッシュ地図などが該当するが、これに限られない。
【0025】
図4は、3D地図DBのデータ構造の一例を表している。3D地図は、例えば、カメラによって撮影された地図上の風景の撮影画像(静止画)や仮想カメラを用いて作成されるCG画像などの3D地図画像データと、3D地図の地図IDと、当該地図の視点の座標情報と、方位と、カメラ(視点)の視線方向と、焦点距離と、撮影方法(縦か横か)と、画像縦横比などが対応付けられている。焦点距離、撮影方法および画像縦横比などの情報は、例えば、カメラが撮影した風景をJpeg形式で保存した際のExif情報より取得することができる。なお、本実施形態では、地図領域内の所定の視点位置における所定の視線方向の風景について3D地図を用意しているが、これら所定の視点位置及び視線方向については特に限定はなく、例えば、目印となりやすい建物(ビル、歩道橋、鉄道ガード、踏切、ランドマークなど)が存在する場所や交差点などが該当する。
【0026】
図5は、建物情報DBのデータ構造の一例を表している。建物情報は、地図領域に含まれる所定の建物に関する情報であり、例えば、建物を一意的に識別するための識別情報(建物ID)と建物の属性情報とが対応づけられている。建物の属性情報は、例えば、建物の建物名、代表点の3次元座標情報(緯度、経度、標高)、建物の4角の2次元座標、建物に収容されている店舗に関する店舗情報等である。同図には示してはいないが、店舗情報には、店舗名やその他詳細情報(住所、電話番号など)が含まれる。
【0027】
図1に戻り各機能実現手段の説明を続ける。通信手段103は、ネットワークNを介して携帯端末20と通信することにより各種情報を送受信するためのインタフェースである。通信手段103は、携帯端末20から送信される現在位置と目的地特定情報とを受け付ける受付手段としても機能する。
【0028】
ビルタグ紐づけ手段104は、地図上の建物にビルタグを紐づけする。ビルタグ(「タグ」とも呼ばれる。)は、ビル(建物)を単位として紐づけされるものであり、特定した建物を所定の地図領域内で一意的に特定する識別情報である。例えば、建物の数に応じて1〜Nの番号を順に紐づけする。具体的には、ビルタグ紐づけ手段は、所定の地図領域内の座標情報を有する所定の建物を建物情報DBから特定し、特定した建物(1〜N)の建物IDに対してビルタグを紐づけする。
【0029】
ビルタグ付2D地図生成手段105は、該当するビルタグを2D地図画像に合成することによりビルタグ付き2D地図画像を生成する。具体的には、所定の地図領域内の座標情報を有する2D地図画像を2D地図DBから取得し、ビルタグが紐づけされた建物の座標情報に基づいて、2D地図画像上の該当する建物の位置にビルタグを表す情報(以下「ビルタグオブジェクト」という。)を合成する。
【0030】
ビルタグ付2D地図生成手段105は、さらに建物の店舗情報を2D地図画像に紐づける。例えば、ビルタグが紐づけされた建物に収容された店舗情報を建物情報DBから取得し、当該取得した店舗情報が2D地図画像に隣接して表示されるように合成する。また、建物の店舗情報を2D地図画像に合成されたビルタグオブジェクトに紐づけてもよい。これにより、ユーザが2D地図画像に表示されたビルタグオブジェクトをクリックすると、当該ビルタグオブジェクトに紐づけられた店舗情報が表示される。なお、ビルタグオブジェクトへの店舗情報の紐づけは、2D地図画像上のビルタグオブジェクトの座標領域に店舗情報へのリンクを設定するなど従来技術を適用して実現することができる。ビルタグ付2D地図生成手段105は、生成したビルタグ付き2D地図画像をビルタグ付き2D地図DBに格納する。
【0031】
なお、ビルタグ付2D地図生成手段105は、ビルタグと店舗情報に加えて適宜他の情報を合成してもよい。例えば、2D地図上の所定の地点では、ユーザは後述するビルタグ付き3D地図画像を利用することができる。従って、ビルタグ付き3D地図画像が表示される地点(以下「3D地図画像表示地点」という。)を表す情報(以下「3D地図オブジェクト」という。)を合成してもよい。また、2D地図画像に、経路誘導用の標識情報(例えば、「至○○」と記載された標識)や進行方向/視線方向を表す矢印情報などを合成することもできる。
【0032】
3D地図生成手段106は、所定の地図領域内に含まれる建物の中から、対象となる3D地図領域に含まれる建物のビルタグを特定し、特定したビルタグを3D地図画像に合成することによりビルタグ付き3D地図画像を生成する。具体的には、所定の地図領域内の座標情報を有する3D地図画像を3D地図DBから取得し、3D地図画像の座標情報とカメラ視線方向その他の撮影時付属情報(方位、焦点距離、撮影方法(縦/横)など)と、ビルタグが紐づけされた建物の座標情報(代表点の3次元座標、4角の2次元座標など)とに基づいて、3D地図領域内の建物を特定し、3D地図上の当該特定した建物の位置及び高さにビルタグオブジェクトを合成する。3D地図生成手段105は、生成したビルタグ付き3D地図画像を、ビルタグ付き3D地図DBに格納する。
【0033】
なお、3D地図生成手段105は、建物の店舗情報を、3D地図画像や当該3D地図画像に合成されたビルタグオブジェクトに紐づけてもよい。当該紐づけは、2D地図生成手段105による店舗情報の2D地図画像又は2D地図画像に合成されたビルタグオブジェクトへの紐づけと同様であるので、説明を省略する。
【0034】
また、3D地図生成手段105は、ビルタグと店舗情報に加えて適宜他の情報を合成してもよい。例えば、経路誘導用の標識情報(例えば、「至○○」と記載された標識)や経路進行方向を表す進行方向情報(例えば、進行方向へのびる矢印)を合成することができる。この場合には、ビルタグの合成と同様に、3D地図画像の座標情報や視線方向その他の撮影時付属情報(方位、焦点距離、撮影方法(縦/横)など)を考慮して、合成位置や方向を決定する。また、同一の標識情報は、3D地図画像と2D地図画像の両方において同じ態様で重畳表示されるように合成する。
【0035】
ラリーマップ機能付き経路検索手段107は、通信手段103により受け付けた現在位置から目的地までの経路を特定し、所定の経路案内情報を生成する。経路案内情報は、例えば、地図上に表示される各種情報(進行方向を示す矢印、経路全体を示す線、目的地までの距離)や、ユーザを誘導するための音声情報などが該当する。そして、ビルタグ付き2D地図画像とビルタグ付き3D地図画像を用いて経路検索支援を行う。具体的には、現在位置から目的地までの経路案内情報が重畳表示されたビルタグ付き2D地図画像をユーザに提供する一方で、当該経路上の所定位置(例えば、曲がり角)ではビルタグ付き3D地図画像を提供する。地図画像の提供形態に特に限定はないが、本実施形態では以下の3つの形態について説明する。
【0036】
ビルタグ付き3D地図画像を提供する第1の提供形態は、携帯端末から送信される現在位置情報に基づいて経路上のユーザの現在位置を適宜特定し、ユーザが3D地図画像表示地点の近辺(所定距離内)にきたと判断すると、該当するビルタグ付き3D地図画像を携帯端末20へ送信する。第2の提供形態は、ユーザの携帯端末がGPSを有していない場合や、電波の関係で現在位置を送信できない状況にいる場合などを想定した形態であり、ユーザによる地図取得要求に基づいてビルタグ付き3D地図画像を送信する。第3の提供形態は、経路上の任意の地点でユーザが撮影した撮影画像が送られてきた場合、当該撮影画像に該当するタグ情報を付与して携帯端末に送り返す。
【0037】
切替手段108は、携帯端末20から送信される指示に基づいて、ビルタグ付き2D地図画面、ビルタグ付き3D地図画面、AR画面が適宜切り替わるように制御する。図6は、AR画面401が2D地図画面402や3D地図画面403に切り替わる様子を示している。同図によれば、AR画面401には、映像401a、ビルタグ401b、店舗情報401c、経路案内情報401dを含んでいるところ、背景となっている映像401aそのものを認識することが困難な状況にある。そこで、例えばユーザが3D地図画面要求を地図画像生成装置10へ送信すると、ビルタグ付き3D地図画像が送信されるので、ユーザは、実際の映像を模した3D画像より周辺情報を容易に把握することができる。
【0038】
AR(Augmented Reality)処理手段109は、携帯端末20において、当該携帯端末20に付属の撮影手段(カメラ)206が撮影した被写体の映像をディスプレイに映した場合に、当該撮影時のカメラ方向に存在する建物等を表す付加情報が、ディスプレイに映し出された映像に合成表示されるように制御する。付加情報は、特に限定はないが、例えば、ビルタグや店舗情報である。
【0039】
[携帯端末の構成]
携帯端末20は、携帯電話機、PDA、パーソナルコンピュータ、携帯型ナビゲーション装置、その他の地図データを表示可能な端末装置である。図2に示すように、携帯端末20は、主制御手段201、記憶手段202、入力手段203、表示手段204、通信手段205、撮影手段206、位置/方位測定手段207などの各種機能実現手段を備える。
【0040】
携帯端末20は、図示してはいないが、携帯端末の処理及び動作を制御するCPU、ROMやRAM等のメモリ、各種の情報を格納する外部記憶装置、入力インタフェース、出力インタフェース、通信インタフェース、カメラ、GPS受信機、電子コンパス及びこれらを結ぶバスを備える専用又は汎用のコンピュータを適用することができる。なお、図1では1つの携帯端末20を記載しているが、利用形態に応じて複数の携帯端末20を地図画像処理装置10と接続することもできる。携帯端末20は、CPUが、メモリまたは外部記憶装置などに記憶された所定のプログラムを実行することにより、ユーザから入力される情報を受け付けると、受けつけた情報に基づく地図表示要求等を地図画像処理装置10に対して送信し、地図画像処理装置10から地図データ等を受信すると、これに基づいてディスプレイに地図画像を表示する機能が実現される。
【0041】
ネットワークNは、地図画像処理装置10と携帯端末20との間で情報を送受信するための通信回線である。例えば、インターネット、LAN、専用線、パケット通信網、電話回線、企業内ネットワーク、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。
【0042】
[ビルタグ付き地図画像生成処理]
次に、図7〜図14を用いて上記のように構成される地図画像処理システム100の動作の概要について説明する。なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上1ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、1ステップとして把握することができる。
【0043】
図7は、ビルタグ付き地図画像生成処理の流れの一例を示すフローチャートである。ビルタグ紐づけ手段104は、所定地図領域を画定する座標情報に基づいて、当該所定地図領域内に含まれる建物を建物情報DBから抽出し、当該抽出した建物に対してビルタグを紐づける(S101)。具体的には、抽出した建物の建物IDと各ビルタグとを紐づける。そして、抽出した建物の建物IDに基づいて建物情報DBを参照することにより、当該建物の店舗情報を取得し、店舗リストを生成する(S102)。
【0044】
次に、3D地図生成手段106は、所定地図領域を画定する座標情報に基づいて、所定地図領域に該当する3D地図画像を3D地図DBから抽出する(S103)。次に、抽出した3D地図画像について、ビルタグ付き3D地図画像の生成処理を実行する(S104〜S108)。すなわち、タグが紐づけされた建物の3次元座標と、3D地図画像の座標及び視線方向に基づいて3D地図画像上のビルタグ合成位置を特定し、当該特定したビルタグ合成位置にビルタグオブジェクトを合成する(S105)。また、店舗リストを3D地図画像やビルタグオブジェクトに紐づける(S106)。なお、3D地図生成手段106は、その他の各種情報(例:「至る○○」などの標識標示)を合成してもよい。
【0045】
ビルタグオブジェクトが合成された3D地図画像は、座標情報や視線方向と対応付けてビルタグ付き3D地図DBに格納される(S107)。3D地図生成手段106は、抽出した3D地図画像について、ビルタグ付き3D地図画像が生成されるまで、当該生成処理を繰り返し実行する。
【0046】
次に、ビルタグ付2D地図生成手段105は、所定地図領域を画定する座標情報に基づいて、所定地図領域に該当する2D地図画像を2D地図DBから抽出する(S109)。次に、タグが紐づけされた建物の座標と2D地図画像の座標に基づいて、2D地図画像上のビルタグ合成位置を特定し、当該特定したビルタグ合成位置にビルタグオブジェクトを合成する(S110)。そして、店舗リストを2D地図画像やビルタグオブジェクトに紐づける(S111)。ビルタグオブジェクトが合成された2D地図画像は、座標情報と対応付けてビルタグ付き2D地図DBに格納される(S112)。
【0047】
以上により、所定の地図領域ごとに、ビルタグ付き3D地図画像およびビルタグ付き2D地図画像が生成され、それぞれの記憶手段に格納される。図8は、生成されたビルタグ付き3D地図画像およびビルタグ付き2D地図画像の一例を表す。図8の403は、2D地図画像上にビルタグオブジェクト(1〜9)と3D地図オブジェクト(A〜F)とが重畳表示されている様子を示している。図8の404は、各3D地図画像表示地点(A〜F)で表示されるビルタグ付き3D地図画像を表している。
【0048】
[ラリーマップ制御処理]
[第1のラリーマップ制御処理]
図9は、第1のラリーマップ制御処理の流れの一例を示すフローチャートである。
ラリーマップ機能付き経路検索手段107は、携帯端末20から経路検索要求(目的地を含む)を受け付けると(S201;YES)、携帯端末20から定期的に送信される現在位置を取得する(S202)。そして、現在位置から目的地までの経路を経路検索DB(図示せず)を参照することにより決定し(S203)、当該経路上に存在する3次元画像表示地点(座標情報)を3D地図DBから特定する(S204)。
【0049】
そして、現在位置のビルタグ付き2D地図画像をビルタグ付き2D地図DBから抽出し、当該抽出したビルタグ付き2D地図画像上に経路案内情報を合成し(図10の405a参照)、3D地図画像表示地点上に3D地図オブジェクトを合成して、携帯端末20に送信する(S205)(図10の405参照)。なお、ビルタグ付き2D地図画像が格納されていない場合は、ビルタグ付2D地図生成手段105を制御して生成してもよい。
【0050】
ラリーマップ機能付き経路検索手段107は、現在位置から所定距離以内に3D地図画像表示地点が存在するか否かを判断する(S206)。そして、判断結果が是である場合は、当該3D地図画像表示地点におけるビルタグ付き3D地図画像が、ビルタグ付き3D地図DBに格納されているか否かを判断する(S207)。
【0051】
判断結果が是である場合(S207;YES)、該当するビルタグ付き3D地図画像をビルタグ付き3D地図DBから読み出して、携帯端末20へ送信する(S209)。一方、判断結果が否である場合は(S207;NO)、3D地図生成手段106を制御して、ビルタグ付き3D地図画像を生成する(S208)。なお、ビルタグ付き3D地図画像の生成については、図7を用いて既に説明したため、ここでは説明を省略する。そして、生成されたビルタグ付き3D地図画像を、携帯端末20へ送信する(S208)(図10の406参照)。なお、生成したビルタグ付き3D地図画像は、ビルタグ付き3D地図DBに格納してもよい。
【0052】
ラリーマップ機能付き経路検索手段107は、携帯端末20から適宜送信される現在位置が、3D地図表示地点を通過したか否かを判断する(S210)。通過した場合は(S210;YES)、次に表示すべき3D地図画像が存在するか否かを判断し(S211;YES)、判断結果が是である場合は、次の3D地図画像を表示する処理を実行する(S206〜S209)。一方、判断結果が否である場合は、次に表示すべき3D地図画像はないので、処理を終了する(S211;NO)。
【0053】
以上によれば、ラリーマップの形態で経路検索結果を提供する場合に、ユーザの現在位置に応じて該当するビルタグ付き3D地図画像を自動生成して送信し、あるいはビルタグ付き3D地図DBから読み出して送信することができる。
【0054】
[第2のラリーマップ制御処理]
次に、第2のラリーマップ制御処理について説明する。図11は、第2のラリーマップ制御処理の流れの一例を示すフローチャートである。第2のラリーマップ制御処理では、上述したとおり、ユーザの要求に応じてビルタグ付き3D地図画像を携帯端末20へ送信する。
【0055】
第2のラリーマップ制御処理において、最初のステップ310は、図9中のステップS201〜205までの処理と同一であるので、ここでは説明を省略する。
【0056】
ラリーマップ機能付き経路検索手段107は、携帯端末20から3D地図画像要求を受け付けたか否かを判断する(S311)。そして、判断結果が是である場合は、ユーザより指定された地点のビルタグ付き3D地図画像が、ビルタグ付き3D地図DBに格納されているか否かを判断する(S312)。判断結果が是である場合(S312;YES)、該当するビルタグ付き3D地図画像をビルタグ付き3D地図DBから読み出して、携帯端末20へ送信する(S314)。
【0057】
一方、判断結果が否である場合は(S312;NO)、3D地図生成手段106を制御して、ビルタグ付き3D地図画像を生成する(S313)。なお、ビルタグ付き3D地図画像の生成については、図7を用いて既に説明したため、ここでは説明を省略する。そして、生成されたビルタグ付き3D地図画像を携帯端末20へ送信する(S313)。なお、生成したビルタグ付き3D地図画像は、ビルタグ付き3D地図DBに格納してもよい。
【0058】
ラリーマップ機能付き経路検索手段107は、次に表示すべき3D地図画像が存在するか否かを判断し(S315;YES)、判断結果が是である場合は、次の3D地図画像を表示する処理を実行する(S311〜S314)。一方、判断結果が否である場合は、次に表示すべき3D地図画像はないので、処理を終了する(S315;NO)。
【0059】
以上によれば、ラリーマップの形態で経路検索結果を提供する場合に、ユーザの携帯端末から現在位置を取得することができない場合でも、ユーザの取得要求に応じて該当するビルタグ付き3D地図画像を自動生成して、あるいはビルタグ付き3D地図DBから読み出して送信することができる。
【0060】
[第3のラリーマップ制御処理]
次に、第3のラリーマップ制御処理について説明する。図12は、第3のラリーマップ制御処理の流れの一例を示すフローチャートである。第3のラリーマップ制御処理では、上述したとおり、ユーザが撮像した撮像映像に基づいてビルタグ付き3D地図画像を生成(ARビルタグ生成)する。
【0061】
ラリーマップ機能付き経路検索手段107は、携帯端末20から経路検索要求(目的地を含む)を受け付けると(S401;YES)、携帯端末20から定期的に送信される現在位置を取得して、現在位置から目的地までの経路を図示しない経路検索DBを参照することにより決定する(S402)。そして、現在位置のビルタグ付き2D地図画像をビルタグ付き2D地図DBから抽出し、当該抽出したビルタグ付き2D地図画像上に経路案内情報(図13の407a)を合成して、携帯端末20に送信する(S403)(図13の407参照)。
【0062】
ラリーマップ機能付き経路検索手段107は、撮影静止画の合成要求を受け付けたか否か判断し(S404)、判断結果が是である場合は(S404;YES)、現在位置(視点位置)とカメラ方向(視線方向)に合致するワイヤーフレームを3D地図DBから特定し、特定したワイヤーフレームを携帯端末20へ送信する(S405)。ユーザは、受けとったワイヤーフレームをディスプレイに表示させて、被写体がワイヤーフレームに合致するように携帯端末20を操作し、両者が略合致したタイミングで被写体を撮像する。ユーザは、撮像静止画を地図画像処理装置10へ送信する。
【0063】
ラリーマップ機能付き経路検索手段107は、ワイヤーフレームに合わせて撮影された撮像静止画を受信すると(S406)、現在位置とカメラ方向とに基づいて、ビルタグ情報を撮影静止画に合成し(S407)、ビルタグが合成されたビルタグ付き撮影静止画を携帯端末20へ送信する(図13の408参照)
【0064】
以上によれば、ラリーマップの形態で経路検索結果を提供する場合に、ユーザが撮像した映像に対してビルタグを付与することができるようになる。
【0065】
以上、本実施形態では、現実の風景を模した3次元地図画像にビルタグを付与してユーザに提供することとしたので、例えば夜間や雨天の際に当該サービスが利用された場合であっても、ユーザが視認可能な形態で、該当する映像と付加情報の双方を提供することが可能になる。したがって、拡張現実を利用した場合と比べて、ユーザは、周辺の映像を確実に確認することができるようになる。
【0066】
また、本実施形態では、地図画像処理装置が3次元地図画像や2次元地図画像を生成し、生成したデータを携帯端末へ送信するようにしているので、携帯端末の負荷を減らし、携帯端末の処理能力やネットワーク通信負荷などの問題を考慮したサービスを提供することが可能になる。
【0067】
また、本実施形態では、ビル単位で付属情報を表示することとしているので、ビルタグ同士の重畳が少なくなり、映像中の対象物(建物)と付属情報との関係をユーザが容易に把握することができるようになる結果、経路検索サービスの利便性が向上する。
【0068】
また、本実施形態では、ラリーマップにおいて2D地図画像と3D地図画像の両方を提供しているので、ユーザは、2D地図画像により、現在地位の周辺や目的地までの経路を確認することができるとともに、3D地図画像により、経路上の所定位置における風景などを確認することができるので、経路上を目的地へ向かってスムーズに移動することができる。
【0069】
[その他の実施形態]
本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
【符号の説明】
【0070】
10・・・地図画像処理装置、20・・・携帯端末、100・・・地図画像処理システム、101・・・主制御手段、102・・・記憶手段、103・・・通信手段、104・・・ビルタグ紐付け手段、105・・・ビルタグ付2D地図生成手段、106・・・ビルタグ付3D地図生成手段、107・・・経路検索手段、108・・・切替手段、109・・・AR処理手段、N・・・ネットワーク

【特許請求の範囲】
【請求項1】
3次元地図画像と、当該3次元地図画像の視点位置の座標情報と、当該視点位置の視線方向とを対応づけて格納する3次元地図記憶手段と、
建物の3次元座標情報と当該建物に収容された店舗の店舗情報とを対応づけて格納する建物情報記憶手段と、
所定の地図領域内に座標情報を有する建物を前記建物情報記憶手段から特定し、当該特定した建物にタグを紐づけするタグ紐づけ手段と、
前記3次元地図画像の視点位置の座標情報と視線方向および前記特定した建物の3次元座標情報に基づいて、前記3次元地図画像上の前記特定した建物の位置に当該建物に紐づけられたタグの情報を合成するタグ合成手段と、
前記タグが紐づけられた建物に収容されている店舗の店舗情報を前記建物情報記憶手段から特定し、当該特定した店舗情報を前記タグの情報が合成された3次元地図画像と紐づける店舗情報紐づけ手段と、
前記タグの情報が合成された3次元地図画像をタグ付き3次元地図記憶手段に格納する格納手段と、
備えることを特徴とする地図画像処理装置。
【請求項2】
前記店舗情報紐づけ手段は、
前記特定した店舗情報を前記3次元地図画像に合成された前記タグの情報と紐づけることを特徴とする請求項1に記載の地図画像処理装置。
【請求項3】
2次元地図画像と座標情報とを対応づけて格納する2次元地図記憶手段をさらに備え、
前記タグ合成手段は、
前記2次元地図画像の座標情報と前記特定した建物の座標情報に基づいて、前記2次元地図画像上の前記特定した建物の位置に当該建物に紐づけられたタグの情報を合成し、
前記店舗情報合成手段は、
前記特定した店舗情報を前記タグの情報が合成された2次元地図画像に紐づけ、
前記格納手段は、
前記タグの情報が合成された2次元地図画像をタグ付き2次元地図記憶手段に格納することを特徴とする請求項1または2に記載の地図画像処理装置。
【請求項4】
ユーザの現在位置から目的地までの経路上に存在する3次元地図表示位置を特定する特定手段と、
前記特定された3次元地図表示位置に対応するタグ付き3次元地図画像が、前記タグ付き3次元地図記憶手段に格納されているか否かを判断する判断手段と、
前記判断結果が否である場合、前記3次元地図表示位置に対応するタグ付き3次元地図画像が生成されるように、前記タグ設定手段、前記タグ合成手段および前記店舗情報合成手段を制御する制御手段と、
ユーザの移動に応じて更新される現在位置が前記経路上の3次元地図表示位置と略一致する場合、前記タグ付き3次元地図記憶手段に格納されているタグ付き3次元地図画像、または、前記制御手段による制御の結果生成されたタグ付き3次元地図画像を、前記ユーザの携帯端末へ送信することを特徴とする請求項1乃至3いずれか1項に記載の地図画像処理装置。
【請求項5】
ユーザの現在位置から目的地までの経路上に存在する3次元地図表示位置を特定する特定手段と、
前記特定された3次元地図表示位置に対応するタグ付き3次元地図画像が前記タグ付き3次元地図記憶手段に格納されているか否かを判断する判断手段と、
前記判断結果が否である場合、前記3次元地図表示位置に対応するタグ付き3次元地図画像が生成されるように、前記タグ設定手段、前記タグ合成手段および前記店舗情報合成手段を制御する制御手段と、
携帯端末から前記3次元地図表示位置に該当するタグ付き3次元地図画像の取得要求を受け付けた場合、前記タグ付き3次元地図記憶手段に格納されているタグ付き3次元地図画像、または、前記制御手段による制御の結果生成されたタグ付き3次元地図画像を、前記ユーザの携帯端末へ送信することを特徴とする請求項1乃至4いずれか1項に記載の地図画像処理装置。
【請求項6】
端末装置から送信される撮像画像と、当該撮像画像の視点の座標情報と、当該視点の視線方向とを受け付ける受付手段と、
建物の3次元座標情報と当該建物に収容された店舗の店舗情報とを対応づけて格納する建物情報記憶手段と、
所定の地図領域内に座標情報を有する建物を前記建物情報記憶手段から特定し、当該特定した建物にタグを紐づけするタグ紐づけ手段と、
前記撮像画像の視点の座標情報と視線方向および前記特定した建物の3次元座標に基づいて、前記撮像画像上の前記特定した建物の位置に当該建物に紐づけられたタグの情報を合成するタグ合成手段と、
前記タグが紐づけられた建物に収容されている店舗の店舗情報を前記建物情報記憶手段から特定し、当該特定した店舗情報を前記タグの情報が合成された撮像画像と紐づける店舗情報紐づけ手段と、
前記タグの情報が合成された撮像画像を前記端末装置へ送信する送信手段と、
備えることを特徴とする地図画像処理装置。
【請求項7】
地図画像処理装置における地図画像処理方法であって、前記地図画像処理装置は、3次元地図画像と、当該3次元地図画像の視点位置の座標情報と、当該視点位置の視線方向とを対応づけて格納する3次元地図記憶装置と、建物の3次元座標情報と当該建物に収容された店舗の店舗情報とを対応づけて格納する建物情報記憶装置と、を備え、前記方法は、
所定の地図領域内に座標情報を有する建物を前記建物情報記憶装置から特定し、当該特定した建物にタグを紐づけするタグ紐づけステップと、
前記3次元地図画像の視点位置の座標情報と視線方向および前記特定した建物の3次元座標に基づいて、前記3D地図画像上の前記特定した建物の位置に当該建物に紐づけられたタグの情報を合成するタグ合成ステップと、
前記タグが紐づけられた建物に収容されている店舗の店舗情報を前記建物情報記憶装置から特定し、当該特定した店舗情報を前記タグの情報が合成された3D地図画像と紐づける店舗情報紐づけステップと、
前記タグの情報が合成された3次元地図画像をタグ付き3次元地図記憶装置に格納する格納ステップと、
を備えることを特徴とする地図画像処理方法。
【請求項8】
請求項7に記載の各ステップをコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2011−215412(P2011−215412A)
【公開日】平成23年10月27日(2011.10.27)
【国際特許分類】
【出願番号】特願2010−84197(P2010−84197)
【出願日】平成22年3月31日(2010.3.31)
【出願人】(500578216)株式会社ゼンリンデータコム (231)
【Fターム(参考)】