探索経路表示方法及び探索経路表示システム
【課題】ナビゲーションシステムにおいて３次元表示のために３Ｄポリゴン等のデータを用意することなく、ユーザに探索経路を指示する。
【解決手段】携帯端末２０から、携帯端末の位置情報及び目的地情報を受信するステップと、サーバ３０で、地図情報を用いて位置情報から目的地情報までの探索経路を示す探索経路情報を生成するステップと、サーバ３０から、携帯端末２０に探索経路情報を送信するステップと、携帯端末２０で、モーションセンサから算定される姿勢情報、レンズの焦点距離情報、及びイメージセンサのサイズ情報からレンズ及びイメージセンサによる撮影範囲を算定するステップと、探索経路情報が撮影範囲に含まれる場合、携帯端末２０の表示部で、レンズで撮影された画像上に探索経路情報を重ね合わせて表示するステップとを有する。
【解決手段】携帯端末２０から、携帯端末の位置情報及び目的地情報を受信するステップと、サーバ３０で、地図情報を用いて位置情報から目的地情報までの探索経路を示す探索経路情報を生成するステップと、サーバ３０から、携帯端末２０に探索経路情報を送信するステップと、携帯端末２０で、モーションセンサから算定される姿勢情報、レンズの焦点距離情報、及びイメージセンサのサイズ情報からレンズ及びイメージセンサによる撮影範囲を算定するステップと、探索経路情報が撮影範囲に含まれる場合、携帯端末２０の表示部で、レンズで撮影された画像上に探索経路情報を重ね合わせて表示するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、探索経路表示方法、探索経路表示システムおよびプログラムに関し、特に、カメラ付携帯端末で撮影される画面上に、経路情報を表示する探索経路表示方法、探索経路表示システムおよびプログラムに関する。
【背景技術】
【０００２】
従来、ナビゲーションシステムは、入力された目的地に基づいて地図情報から目的地を探索し、目的地までの探索経路を画面上に表示することで、経路情報を表示していた。このシステムは、ＧＰＳ（Global Positioning System：全地球測位システム）を利用している。つまり、地球上を周回しているＧＰＳ衛星から送信されるＧＰＳ信号を車等に搭載された受信機で受信し、ＧＰＳ信号に含まれる衛星位置や時計情報等を解析して現在地や目的地等の位置の特定化を行うものである。
【０００３】
ナビゲーションシステムの多くは、車において利用されているが、最近では、携帯電話にコンパクト化されたＧＰＳ信号の受信機を搭載することで、携帯電話でも、車同様のナビゲーションシステムが利用可能となっている。
【０００４】
図１は、建物ポリゴン３Ｄ画像を用いたナビゲーション画面の例を示す図である。建物ポリゴン３Ｄ画像の表示は、２次元の地図ではわかりにくい交差点等の場所を３次元表示したものであり、２次元では表示できない看板等の情報も３次元的に表現され、実際の建物に近い形で表示されるため、携帯電話でナビゲーションシステムを利用するユーザの利便性を向上させている。
【０００５】
また、建物を３次元画像として表示するモードと、２次元地図データを併用することで、ユーザのナビゲーションシステム利用の利便性を向上させる地図表示方法が提案されている（下記特許文献１）。
【０００６】
【特許文献１】特開２００６−３１７５０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、図１に示した従来技術や、提案されている方法では、２次元の地図情報に対応した３Ｄ建物ポリゴンの作成など、多大な準備作業が必要になる。さらに、市街地の建物、店舗の移り変わりは頻繁に起こるため、それらのデータ更新に対応した３Ｄ建物ポリゴンの作成にも多大な作業が生じる等の不都合があった。
【０００８】
そこで、本発明は、携帯端末で撮影された画像上に探索経路情報を重ね合せて表示することで、３次元表示のために３Ｄポリゴン等のデータを用意することなく、ユーザに探索経路を指示する探索経路表示方法及び探索経路表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
そこで上記の目的を達成するために、本願発明に係る探索経路表示方法は、モーションセンサ、イメージセンサ、レンズ、及び表示部を有する携帯端末、及び、携帯端末にネットワークを介して接続され且つ地図情報を記憶部に有するサーバにおける、レンズで撮影された画像上に探索経路情報を表示する探索経路表示方法であって、携帯端末から、携帯端末の位置情報及び目的地情報を受信するステップと、サーバで、地図情報を用いて位置情報から目的地情報までの探索経路を示す探索経路情報を生成するステップと、サーバから、携帯端末に探索経路情報を送信するステップと、携帯端末で、モーションセンサから算定される姿勢情報、レンズの焦点距離情報、及びイメージセンサのサイズ情報からレンズ及びイメージセンサによる撮影範囲を算定するステップと、探索経路情報が撮影範囲に含まれる場合、携帯端末の表示部で、レンズで撮影された画像上に探索経路情報を重ね合わせて表示するステップと、を有することを特徴とする。
【００１０】
また、上記の目的を達成するために、本願発明に係る探索経路表示システムは、地図情報を記憶する記憶部、地図情報を用いて携帯端末の位置情報から目的地情報までの探索経路を示す探索経路情報を生成する処理部、探索経路情報を送信する送受信部、を有するサーバと、モーションセンサ、イメージセンサ、レンズ、表示部、探索経路情報を受信する送受信部、モーションセンサから算定される姿勢情報、レンズの焦点距離情報、及びイメージセンサのサイズ情報からレンズ及びイメージセンサによる撮影範囲を算定し、かつ、探索経路情報が撮影範囲に含まれる場合、表示部で、レンズで撮影された画像上に探索経路情報を重ね合わせて表示させる処理部、を有する携帯端末と、を有することを特徴とする。
【００１１】
さらに、上記の目的を達成するために、本願発明に係る探索経路表示プログラムは、サーバから地図情報を記憶部に有するサーバにネットワークを介して接続され且つモーションセンサ、イメージセンサ、レンズ及び表示部を有する携帯端末を、地図情報を用いて生成された携帯端末の位置情報及び目的地情報までの探索経路を示す探索経路情報を受信する受信手段と、モーションセンサから算定される姿勢情報、レンズの焦点距離情報、及びイメージセンサのサイズ情報からレンズ及びイメージセンサによる撮影範囲を算定する撮影範囲算定手段と、探索経路情報が撮影範囲に含まれる場合、表示部で、レンズで撮影された画像上に探索経路情報を重ね合わせて表示する探索経路情報表示手段として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、携帯端末で撮影された画像上に探索経路情報を重ね合せて表示することで、３次元表示のために３Ｄポリゴン等のデータを用意することなく、撮影画面上に探索経路を指示する探索経路表示方法及び探索経路表示システムを提供することが可能となった。
【００１３】
また、本発明によれば、携帯端末の姿勢位置にしたがって撮影された画像上に探索経路情報が表示可能なので、探索経路方向に携帯端末を向けることでユーザを目的地に誘導することができる探索経路表示方法及び探索経路表示システムを提供することが可能となった。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の実施の形態を説明する。
図２を用いて、本発明に係る探索経路表示方法及び探索経路表示システムの概要について説明する。インターネット、ＬＡＮ等のネットワーク１０に対して、サーバ３０、コンピュータ４０及びＩＳＰ（インターネット・サービス・プロバイダ）５０がアクセス可能に接続されている。また、携帯端末２０は、電話会社６０及び／又はＩＳＰ５０を介してネットワーク１０にアクセスし、サーバ３０及びコンピュータ４０と各種データの送受信が行えるように構成されている。なお、図２では、携帯端末２０、サーバ３０及びコンピュータ４０は、１台ずつ示されているが、これらに限られるものではない。さらに、図２では、ＩＳＰ５０と電話会社６０とは個別に記載されているが、いずれか一方が他方の機能を有していても良い。
【００１５】
携帯端末２０は、インターネットへの接続機能を有しており、更に、ＣＰＵ等から構成され少なくとも各種データの処理・演算を行う処理部２１、無線回線を介して音声データを含む各種データの送受信を行うための送受信部２２、ディスプレイ等から構成され各種データの表示を行うための表示部２３、テンキー等で構成される入力部２４、メモリ等から構成され各種データを記憶するための記憶部２５、及びＧＰＳアンテナ２６、モーションセンサ２７、レンズ２８、及びイメージセンサ２９を有している。
【００１６】
ここで、携帯端末２０の記憶部２５には、ネットワーク１０を介して受信した経路情報や、レンズ２８で撮影されイメージセンサ２９（例えば、ＣＣＤやＣＭＯＳ）で電気信号に変換した画像情報を記憶することができるように構成されている。また、処理部２１は、ＧＰＳアンテナ２６で受信した地球周回軌道を回る複数の測地衛星７０からの信号に基づいて三角測量を行い、携帯端末２０の現在位置の緯度情報及び経度情報（以下「ＧＰＳ情報」と言う）を得ることできるように構成されている。なお、携帯端末２０は、いわゆるブラウザフォンとして機能することが好ましく、ＰＤＡ（Personal Digital Assistance）等であっても良い。また、記憶部２５には、少なくとも、携帯端末２０における動作を処理部２１によって制御するためのプログラムが格納されている。
なお、処理部２１は、撮影範囲算定手段及び探索経路情報表示手段として演算処理を実行することが可能である。また、送受信部２２は、受信手段として機能することができる。
【００１７】
サーバ３０は、ＣＰＵ等から構成され少なくとも各種データの処理・演算を行う処理部３１、テンキーやキーボードから構成される入力部３４、ネットワーク１０との接続を行うための送受信部３２、及びメモリやハードディスク等から構成され各種データを記憶するための記憶部３５を有している。さらに、記憶部３５には、少なくとも、サーバ３０における動作を処理部３１によって制御するためのプログラム、及び、地図情報を記憶するデータベース３７が格納されている。
【００１８】
なお、処理部３１は、経路探索手段、及び探索経路情報生成手段として演算処理を実行することが可能である。また、送受信部３２は、受信手段及び送信手段として機能することが可能である。また、上記した記憶部３５に含まれるプログラムは、データベース３７を用いて後述する経路探索処理を実行するために、処理部３１に経路探索情報生成手段として実行させることができる。
【００１９】
コンピュータ４０は、ネットワークを介して、サーバ３０及び携帯端末２０と接続可能である。コンピュータ４０は、ＣＰＵ等から構成され少なくとも各種データの処理・演算を行う処理部４１、テンキーやキーボードから構成される入力部４４、ネットワーク１０との接続を行うための送受信部４２、及びメモリ等から構成され各種データを記憶するための記憶部４５、各種画面を表示するための表示部４３を有している。さらに、記憶部４５には、少なくとも、コンピュータ４０における動作を制御するためのプログラムが記憶されている。また、コンピュータ４０は、高精細度ディスプレイをもつブラウザフォンやＰＤＡであっても良い。
【００２０】
このように、コンピュータ４０が、携帯端末２０に対してネットワーク１０を介してアクセス可能に接続されているため、携帯端末２０で経路情報が重ね合された撮影画像情報を、メール等によりネットワークを介してコンピュータ４０で受信して、コンピュータ４０の表示部４３で表示することにより、再利用することが可能となる。
【００２１】
図３は、データベースの一例を示す図である。
データベース３７では、探索経路を算定するための地図情報が、計測地図の基準点と、その基準点に関連するデータとして記録されている。例えば、リレーショナルデータベースのキーとなり得る基準点等の識別番号３７−１とそれに対応する基準点等のデータ３７−２等のデータとして記憶されている。
【００２２】
基準点は、例えば、実際の道路の交差点、屈曲点等に対応する。データ３７−２としては、基準点名称（交差点「銀座４」等）、基準点の位置情報（経度、緯度、高さ）、基準点である交差点等の名称、他の基準点との繋がりを示すリンクデータ、リンクコスト（基準点間距離または基準点間移動に必要な所要時間）、または、その他情報（オーディオ・ファイル（例えば、交差点名称を読み上げる音声情報）、ビデオ・ファイル、テキストデータ（事故記録等））等が含まれる。サーバ３０（図２参照）では、処理部３１が、送受信部３２で受信した携帯端末２０からの目的地情報等に基づいて、データベース３７に対して検索処理を実行し、現在位置から目的地までの探索経路を計算する。
なお、リンクコストは、移動手段によって異なる。つまり、人間の歩行によって携帯端末２０が移動する場合は、歩行者によっては通行可能な場所（公園内部）はリンクコストが低く、通行不可能な場所（高速道路）はリンクコストが高い等のように設定されるため、自動車によって移動する場合とリンクコストが異なって設定される。
【００２３】
図４は、データベースに格納されたデータを用いた経路探索方法の一例を示す図である。図４では、二次元の地図情報１００の上に、識別番号３７−１である○で示した基準点Ｐ１〜Ｐ３、Ｑ、Ｒ１〜Ｒ３と、例えば、携帯端末２０からサーバ３０が受信した現在位置情報Ａ、携帯端末２０で入力され、サーバ３０が受信した目的地情報Ｂが示される。○と○との、細線は、基準点がデータベースのデータ３７−２であるリンクデータによりリンクされていることを示し、実際には道路により交差点等が繋がっていることを示している。
【００２４】
処理部３１が実行する目的位置探索方法では、現在位置情報Ａは、基準点Ｐ１〜Ｐ３に囲まれた区域にあり、Ａは、Ｐ１に最も近いため、Ｐ１が開始位置の基準点とし、同様に、目的位置Ｂは、基準点Ｒ１〜Ｒ３に囲まれた区域にあり、Ｂは、Ｒ２に最も近いため、Ｒ２が目的位置の基準点とする。開始位置基準点Ｐ１及び目的地基準点Ｒ２は、リンクコストを用いてダイクストラ法等の周知の探索手法により、リンクデータによって示された道路の中から、矢印で示すような最短経路が処理部３１により探索される。処理部３１は、基準点間の繋がりとして探索された最短経路を探索すると、探索された最短経路に含まれる基準点に関連する位置情報（経度、緯度、高さ）等を含んだ探索経路情報を生成する。
【００２５】
図５（ａ）は、本発明に係る携帯端末の前面を示す図であり、図５（ｂ）は、本発明に係る携帯端末の背面を示す図である。矢印９０は、レンズ２８の撮影方向を示しており、カメラ姿勢軸１１０は、携帯端末２０のモーションセンサ２７（図２参照）が用いる携帯端末の向きを判断するための座標軸を示しており、携帯端末２０の長手方向を携帯端末座標軸のＣ軸として、図示のようにＣ軸に直交するＡ軸、Ｂ軸が設定されている。絶対座標軸１２０は、Ｙ軸を地球の自転方向を正とする自転方向軸、Ｚ軸を地面に対して水平な北極方向を正とする地磁気軸、Ｘ軸は、地面から垂直方向を正とする高さ軸とした座標軸であり、ＧＰＳ情報又はＧＰＳ情報が取得できない地下では、無線ＬＡＮ等により取得される。このとき、絶対座標軸１２０からカメラ姿勢軸１１０への回転変位は、Ｙ軸についてロール（κ）、Ｚ軸についてピッチ（φ）、Ｘ軸についてヨー（ω）と表される。
【００２６】
モーションセンサ２７は、ジャイロセンサ、地磁気センサ、重力センサ、加速度センサを有する。
地磁気センサは、地面に対して水平な地磁気を測定し、緯度経度情報を検出できるため、地磁気センサを携帯端末２０内に複数設置しそれらの検出データを互いに比較することで、絶対座標軸１２０に対するカメラ姿勢軸１１０への回転変位（κ、φ、ω）が検出可能になる。また、重力センサは、重力が携帯端末２０に対してどの方向からかかっているかがわかるため、地磁気センサ同様に、携帯端末２０に複数設置しそれらの検出データを互いに比較することにより、絶対座標軸１２０に対するカメラ姿勢軸への回転変位（κ、φ、ω）が検出可能になる。
【００２７】
ジャイロセンサは、携帯端末２０に取付けられており、それらＡ、Ｂ、Ｃ軸の各々にジャイロセンサが設けられている。これは、携帯端末２０が地磁気センサ及び重力センサのセンシングタイムより早い速度で回転する場合があるため、地磁気センサ及び重力センサで検出した回転変位（κ、φ、ω）をジャイロ基準回転変位（κ０、φ０、ω０）として、ジャイロセンサによりその基準回転変位からの更なるジャイロ回転変位（κ１、φ１、ω１）を計算するためである。
【００２８】
具体的なセンサ設置例としては、Ａ、Ｂ、Ｃ軸の方向のそれぞれに設置したジャイロとペアになるように、地磁気センサ又は重力センサを設置することで、基準点の検出、基準点からの回転動作の検出が可能となり、携帯端末２０の位置及び向きが検出可能となる。さらに、加速度センサを設置し、携帯端末２０の加速度を検知することで、素早い動きがあった時は、ジャイロ回転変位（κ１、φ１、ω１）が重力センサや磁気センサのジャイロ基準回転変位（κ０、φ０、ω０）に補正をかけ、ゆっくり動いている時は、より正確を期すため、重力センサや磁気センサがジャイロ基準回転変位（κ０、φ０、ω０）を補正してやることで、リアルタイムに携帯端末２０の回転変位（κ、φ、ω）を測定することが可能になる。
【００２９】
図６は、携帯端末のカメラ映像（ここでは、イメージセンサ２９としてＣＣＤ）と、交差点（経路探索データ）の関係の一例を示した図である。数１は、カメラ（レンズ及びイメージセンサ）の撮影範囲の３次元座標を算定するために利用する数式である。カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）は、携帯端末に搭載されたＧＰＳや、無線ＬＡＮによって取得され、モーションセンサ２７により絶対座標軸１２０からカメラ姿勢軸１１０への回転変位（κ、φ、ω）が計算される。Ｐ１は、Ｐ２は、図４において説明したように、目的地までのルート検索を行った際の基準点であり、３次元の位置座標が関係付けられている。
【００３０】
【数１】
【００３１】
カメラ姿勢軸１１０への回転変位（κ、φ、ω）は、モーションセンサ２７により既知であり、カメラの焦点距離（ｃ）などの内部標定要素は、携帯端末２０に選定されたレンズスペックにより既知である。したがって、数式１及び２により、ＣＣＤ面のｐ１、ｐ２と、Ｐ１、Ｐ２がそれぞれ対応付けることができる。つまり、Ｐ１の交差点はｐ１に、Ｐ２の交差点はｐ２の位置にＣＣＤ面上で写る。
【００３２】
このように、イメージセンサ２９に映る被写体を表示部２３に表示すると同時に、その被写体及び撮影範囲全体を絶対座標軸上の位置情報として判別することが可能となる。そのため、携帯端末２０の処理部２１が、カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）、回転変位（κ、φ、ω）は、カメラの焦点距離（ｃ）、イメージセンサ（ＣＣＤ等）の大きさ（ｘ、ｙ）から、数式１及び２に示される数値演算を実行することで、カメラの撮影範囲を算定し、そして算定した撮影範囲の中にサーバから送られてきた探索経路があるか否かを判断することが可能になる。
そして、処理部２１は、探索経路が撮影範囲に含まれる場合、表示部に表示される撮影画像上に探索経路を重ね合わせて表示させることができる。
【００３３】
上記した撮影範囲算定処理は、サーバ３０が、携帯端末２０から、カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）、回転変位（κ、φ、ω）を計算し、カメラの焦点距離（ｃ）、イメージセンサ（ＣＣＤ等）の大きさ（ｘ、ｙ）の情報と共に、カメラで撮影した静止画を受信して撮影範囲算定処理を実行しても良い。その場合、サーバ３０が、探索経路が撮影範囲に含まれると判断した場合、静止画上に探索経路を重ね合わせて携帯端末２０に送信することで、携帯端末２０で静止画である撮影画像上に探索経路を重ね合わせた表示を表示することができる。このような携帯端末２０とサーバとの間の静止画を用いた転送処理を連続的に行うことで、携帯端末２０で撮影範囲算定処理及び探索経路情報の重ね合せ処理を行わずに、携帯端末２０で静止画上に探索経路を重ね合わせた表示を連続的に表示することができる。
【００３４】
携帯端末の撮影範囲及び探索経路の一例を図７に示す。図７では、携帯端末位置１３１から撮影される撮影範囲１３２が示される。また、サーバ３０において、携帯端末位置１３１と携帯端末２０で入力された目的地１３３に基づいて検索された探索経路１３４が示される。
【００３５】
撮影範囲内に示される探索経路情報の一例を図８に示す。図８で示されるように、サーバ３０が撮影範囲１３２について絶対座標軸上の位置関係を算定し、探索経路１３４の座標データ（経度、緯度、高さ）と、撮影範囲１３２との交わり関係を座標に基づいて求めることで、撮影範囲１３２に含まれる探索経路１３４の方向を示す矢印１３６等を探索経路情報として表示部２３に表示可能である。また、別な探索経路情報として「５０ｍ先「銀座４」交差点を右折してください」という文字情報が表示部２３に表示される。この文字情報は、例えば、データベースに格納された基準点名称「銀座４」で示される基準点の位置情報と、携帯端末の位置情報から距離「５０ｍ」を計算することで生成し、それらの情報に適切なテキスト情報を付加するアプリケーションを実行することで生成が可能である。
【００３６】
また、図６を用いて説明したように、携帯端末２０のＣＣＤ面上の被写体と、絶対座標軸上の位置情報とは対応付けされているため、表示部２３上に表示される画像に、探索経路情報を重ね合わせて表示することができる。つまり、サーバ３０は、探索経路情報として矢印１３６を、ＣＣＤ面上での位置情報と共に携帯端末２０に送信することで、表示部２３では、その矢印１３６を、実施の交差点の位置情報（経度、緯度、高さ）に対応するようにカメラ撮影画面上に重ね合わせて表示し（例えば、矢印１３６を基準点である交差点「銀座４」の信号機の真下等に表示）、その矢印１３６の大きさも、遠近法を利用して、携帯端末２０から絶対座標軸上で近い場合には大きく、また、その逆の場合は小さく表示することが可能である。
【００３７】
さらに、ユーザが探索経路以外のところに携帯端末を表示した場合は、その携帯端末の姿勢に応じて、探索経路情報を画面から消去したり、探索経路方向を指示する矢印（図示しない）を表示することで、探索経路方向に携帯端末を向けることでユーザを目的地に誘導することが可能である。
【００３８】
以下、図９を用いて、本発明に係る探索経路表示システムの処理フローの一例について説明する。
最初に、携帯端末２０が測地衛星７０から携帯端末２０の位置情報としてのＧＰＳ情報を受信して、携帯端末２０の位置情報を取得する（ステップ９０１）。次に、携帯端末２０では、ユーザが携帯端末２０の位置情報から目的地までの経路を探索するために、入力部２４を介して目的地情報が入力される（ステップ９０２）。次に、携帯端末の位置情報および目的地情報をサーバ３０に送信し（ステップ９０３）、サーバ３０は、位置情報および目的地情報を受信する（ステップ９０４）。
【００３９】
そして、サーバ３０は、データベース３７に格納された地図情報を用いて携帯端末位置と目的位置との間の経路を探索し（ステップ９０５）、探索経路情報を生成し（ステップ９０６）、探索経路情報を携帯端末２０に送信する（ステップ９０７）。
【００４０】
次に、携帯端末２０は、サーバ３０からから探索経路情報を受信し（ステップ９０８）、携帯端末２０は、カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）、回転変位（κ、φ、ω）は、カメラの焦点距離（ｃ）、イメージセンサ（ＣＣＤ等）の大きさ（ｘ、ｙ）から、数式１及び２に示される数値演算を実行することで、カメラの撮影範囲を算定する（ステップ９０９）。そして、携帯端末２０は、探索経路情報が撮影範囲に含まれるか否かを判断し（ステップ９１０）、探索経路情報が撮影範囲に含まれる場合は、ステップ９１１に進み、探索経路情報が撮影範囲に含まれない場合は、ステップ９０９に戻り、再度撮影範囲算定を実行する。ステップ９１１では、表示部２３に探索経路情報を重ね合せ表示し、探索経路表示システムの処理フローは終了する。
【００４１】
このように、ユーザは、探索経路が表示部２３に表示されない場合、携帯端末２０の姿勢を変えることで、探索経路が表示部２３に表示させることで、探索経路の向きを知ることができる。
また、処理フローにおいて探索経路指示情報が表示された表示画面を、写真や動画として記憶し、その記憶されたデータをコンピュータ４０又は他の携帯端末に送信することで、道案内情報としてわかり易く有用な情報として再利用可能である。
【００４２】
このように、本発明に係る探索経路表示方法は、従来のように３Ｄポリゴンの背景を作成することなく、実際にカメラで撮影した撮影範囲に対して探索経路情報を重ね合わせて表示させることができる。
さらに、携帯端末の姿勢位置にしたがって撮影された画像上に探索経路情報が表示可能なので、探索経路方向に携帯端末を向けることでユーザを目的地に誘導することができる。
【００４３】
また、本発明は、携帯端末の姿勢位置にしたがって撮影された画像上に探索経路情報が表示可能なので、図３に示すデータベース内に格納されたオーディオ・ファイルを利用して、探索経路方向に携帯端末を向けた場合に、携帯端末の有するスピーカ又は接続されるイヤホンを用いて音声で探索経路方向を出力することも可能である。この場合、目の不自由な方に音声で探索経路をナビゲーションすることも可能となる。その場合、図９に示す探索経路情報には、データベース内に格納されたオーディオ・ファイルが含まれる。
【図面の簡単な説明】
【００４４】
【図１】建物ポリゴン３Ｄ画像を用いたナビゲーション画面の例を示す図である。
【図２】本発明に係る本発明に係る探索経路表示方法及び探索経路表示システムの概要の概要を示す図である。
【図３】データベースの一例を示す図である。
【図４】データベースに格納されたデータを用いた経路探索方法の一例を示す図である。
【図５】（ａ）は、本発明に係る携帯端末の前面を示す図、（ｂ）は、本発明に係る携帯端末の背面を示す図である。
【図６】携帯のカメラ映像と、交差点の関係の一例を示した図である。
【図７】携帯端末の撮影範囲及び探索経路の一例を示す図である。
【図８】撮影範囲内に示される探索経路情報の一例を示す図である。
【図９】本発明に係る探索経路表示システムの処理フローの一例を示す図である。
【符号の説明】
【００４５】
１０ ネットワーク
２０ 携帯端末
３０ サーバ
４０ コンピュータ
５０ ＩＳＰ
６０ 電話会社
７０ 測地衛星
【技術分野】
【０００１】
本発明は、探索経路表示方法、探索経路表示システムおよびプログラムに関し、特に、カメラ付携帯端末で撮影される画面上に、経路情報を表示する探索経路表示方法、探索経路表示システムおよびプログラムに関する。
【背景技術】
【０００２】
従来、ナビゲーションシステムは、入力された目的地に基づいて地図情報から目的地を探索し、目的地までの探索経路を画面上に表示することで、経路情報を表示していた。このシステムは、ＧＰＳ（Global Positioning System：全地球測位システム）を利用している。つまり、地球上を周回しているＧＰＳ衛星から送信されるＧＰＳ信号を車等に搭載された受信機で受信し、ＧＰＳ信号に含まれる衛星位置や時計情報等を解析して現在地や目的地等の位置の特定化を行うものである。
【０００３】
ナビゲーションシステムの多くは、車において利用されているが、最近では、携帯電話にコンパクト化されたＧＰＳ信号の受信機を搭載することで、携帯電話でも、車同様のナビゲーションシステムが利用可能となっている。
【０００４】
図１は、建物ポリゴン３Ｄ画像を用いたナビゲーション画面の例を示す図である。建物ポリゴン３Ｄ画像の表示は、２次元の地図ではわかりにくい交差点等の場所を３次元表示したものであり、２次元では表示できない看板等の情報も３次元的に表現され、実際の建物に近い形で表示されるため、携帯電話でナビゲーションシステムを利用するユーザの利便性を向上させている。
【０００５】
また、建物を３次元画像として表示するモードと、２次元地図データを併用することで、ユーザのナビゲーションシステム利用の利便性を向上させる地図表示方法が提案されている（下記特許文献１）。
【０００６】
【特許文献１】特開２００６−３１７５０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、図１に示した従来技術や、提案されている方法では、２次元の地図情報に対応した３Ｄ建物ポリゴンの作成など、多大な準備作業が必要になる。さらに、市街地の建物、店舗の移り変わりは頻繁に起こるため、それらのデータ更新に対応した３Ｄ建物ポリゴンの作成にも多大な作業が生じる等の不都合があった。
【０００８】
そこで、本発明は、携帯端末で撮影された画像上に探索経路情報を重ね合せて表示することで、３次元表示のために３Ｄポリゴン等のデータを用意することなく、ユーザに探索経路を指示する探索経路表示方法及び探索経路表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
そこで上記の目的を達成するために、本願発明に係る探索経路表示方法は、モーションセンサ、イメージセンサ、レンズ、及び表示部を有する携帯端末、及び、携帯端末にネットワークを介して接続され且つ地図情報を記憶部に有するサーバにおける、レンズで撮影された画像上に探索経路情報を表示する探索経路表示方法であって、携帯端末から、携帯端末の位置情報及び目的地情報を受信するステップと、サーバで、地図情報を用いて位置情報から目的地情報までの探索経路を示す探索経路情報を生成するステップと、サーバから、携帯端末に探索経路情報を送信するステップと、携帯端末で、モーションセンサから算定される姿勢情報、レンズの焦点距離情報、及びイメージセンサのサイズ情報からレンズ及びイメージセンサによる撮影範囲を算定するステップと、探索経路情報が撮影範囲に含まれる場合、携帯端末の表示部で、レンズで撮影された画像上に探索経路情報を重ね合わせて表示するステップと、を有することを特徴とする。
【００１０】
また、上記の目的を達成するために、本願発明に係る探索経路表示システムは、地図情報を記憶する記憶部、地図情報を用いて携帯端末の位置情報から目的地情報までの探索経路を示す探索経路情報を生成する処理部、探索経路情報を送信する送受信部、を有するサーバと、モーションセンサ、イメージセンサ、レンズ、表示部、探索経路情報を受信する送受信部、モーションセンサから算定される姿勢情報、レンズの焦点距離情報、及びイメージセンサのサイズ情報からレンズ及びイメージセンサによる撮影範囲を算定し、かつ、探索経路情報が撮影範囲に含まれる場合、表示部で、レンズで撮影された画像上に探索経路情報を重ね合わせて表示させる処理部、を有する携帯端末と、を有することを特徴とする。
【００１１】
さらに、上記の目的を達成するために、本願発明に係る探索経路表示プログラムは、サーバから地図情報を記憶部に有するサーバにネットワークを介して接続され且つモーションセンサ、イメージセンサ、レンズ及び表示部を有する携帯端末を、地図情報を用いて生成された携帯端末の位置情報及び目的地情報までの探索経路を示す探索経路情報を受信する受信手段と、モーションセンサから算定される姿勢情報、レンズの焦点距離情報、及びイメージセンサのサイズ情報からレンズ及びイメージセンサによる撮影範囲を算定する撮影範囲算定手段と、探索経路情報が撮影範囲に含まれる場合、表示部で、レンズで撮影された画像上に探索経路情報を重ね合わせて表示する探索経路情報表示手段として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、携帯端末で撮影された画像上に探索経路情報を重ね合せて表示することで、３次元表示のために３Ｄポリゴン等のデータを用意することなく、撮影画面上に探索経路を指示する探索経路表示方法及び探索経路表示システムを提供することが可能となった。
【００１３】
また、本発明によれば、携帯端末の姿勢位置にしたがって撮影された画像上に探索経路情報が表示可能なので、探索経路方向に携帯端末を向けることでユーザを目的地に誘導することができる探索経路表示方法及び探索経路表示システムを提供することが可能となった。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の実施の形態を説明する。
図２を用いて、本発明に係る探索経路表示方法及び探索経路表示システムの概要について説明する。インターネット、ＬＡＮ等のネットワーク１０に対して、サーバ３０、コンピュータ４０及びＩＳＰ（インターネット・サービス・プロバイダ）５０がアクセス可能に接続されている。また、携帯端末２０は、電話会社６０及び／又はＩＳＰ５０を介してネットワーク１０にアクセスし、サーバ３０及びコンピュータ４０と各種データの送受信が行えるように構成されている。なお、図２では、携帯端末２０、サーバ３０及びコンピュータ４０は、１台ずつ示されているが、これらに限られるものではない。さらに、図２では、ＩＳＰ５０と電話会社６０とは個別に記載されているが、いずれか一方が他方の機能を有していても良い。
【００１５】
携帯端末２０は、インターネットへの接続機能を有しており、更に、ＣＰＵ等から構成され少なくとも各種データの処理・演算を行う処理部２１、無線回線を介して音声データを含む各種データの送受信を行うための送受信部２２、ディスプレイ等から構成され各種データの表示を行うための表示部２３、テンキー等で構成される入力部２４、メモリ等から構成され各種データを記憶するための記憶部２５、及びＧＰＳアンテナ２６、モーションセンサ２７、レンズ２８、及びイメージセンサ２９を有している。
【００１６】
ここで、携帯端末２０の記憶部２５には、ネットワーク１０を介して受信した経路情報や、レンズ２８で撮影されイメージセンサ２９（例えば、ＣＣＤやＣＭＯＳ）で電気信号に変換した画像情報を記憶することができるように構成されている。また、処理部２１は、ＧＰＳアンテナ２６で受信した地球周回軌道を回る複数の測地衛星７０からの信号に基づいて三角測量を行い、携帯端末２０の現在位置の緯度情報及び経度情報（以下「ＧＰＳ情報」と言う）を得ることできるように構成されている。なお、携帯端末２０は、いわゆるブラウザフォンとして機能することが好ましく、ＰＤＡ（Personal Digital Assistance）等であっても良い。また、記憶部２５には、少なくとも、携帯端末２０における動作を処理部２１によって制御するためのプログラムが格納されている。
なお、処理部２１は、撮影範囲算定手段及び探索経路情報表示手段として演算処理を実行することが可能である。また、送受信部２２は、受信手段として機能することができる。
【００１７】
サーバ３０は、ＣＰＵ等から構成され少なくとも各種データの処理・演算を行う処理部３１、テンキーやキーボードから構成される入力部３４、ネットワーク１０との接続を行うための送受信部３２、及びメモリやハードディスク等から構成され各種データを記憶するための記憶部３５を有している。さらに、記憶部３５には、少なくとも、サーバ３０における動作を処理部３１によって制御するためのプログラム、及び、地図情報を記憶するデータベース３７が格納されている。
【００１８】
なお、処理部３１は、経路探索手段、及び探索経路情報生成手段として演算処理を実行することが可能である。また、送受信部３２は、受信手段及び送信手段として機能することが可能である。また、上記した記憶部３５に含まれるプログラムは、データベース３７を用いて後述する経路探索処理を実行するために、処理部３１に経路探索情報生成手段として実行させることができる。
【００１９】
コンピュータ４０は、ネットワークを介して、サーバ３０及び携帯端末２０と接続可能である。コンピュータ４０は、ＣＰＵ等から構成され少なくとも各種データの処理・演算を行う処理部４１、テンキーやキーボードから構成される入力部４４、ネットワーク１０との接続を行うための送受信部４２、及びメモリ等から構成され各種データを記憶するための記憶部４５、各種画面を表示するための表示部４３を有している。さらに、記憶部４５には、少なくとも、コンピュータ４０における動作を制御するためのプログラムが記憶されている。また、コンピュータ４０は、高精細度ディスプレイをもつブラウザフォンやＰＤＡであっても良い。
【００２０】
このように、コンピュータ４０が、携帯端末２０に対してネットワーク１０を介してアクセス可能に接続されているため、携帯端末２０で経路情報が重ね合された撮影画像情報を、メール等によりネットワークを介してコンピュータ４０で受信して、コンピュータ４０の表示部４３で表示することにより、再利用することが可能となる。
【００２１】
図３は、データベースの一例を示す図である。
データベース３７では、探索経路を算定するための地図情報が、計測地図の基準点と、その基準点に関連するデータとして記録されている。例えば、リレーショナルデータベースのキーとなり得る基準点等の識別番号３７−１とそれに対応する基準点等のデータ３７−２等のデータとして記憶されている。
【００２２】
基準点は、例えば、実際の道路の交差点、屈曲点等に対応する。データ３７−２としては、基準点名称（交差点「銀座４」等）、基準点の位置情報（経度、緯度、高さ）、基準点である交差点等の名称、他の基準点との繋がりを示すリンクデータ、リンクコスト（基準点間距離または基準点間移動に必要な所要時間）、または、その他情報（オーディオ・ファイル（例えば、交差点名称を読み上げる音声情報）、ビデオ・ファイル、テキストデータ（事故記録等））等が含まれる。サーバ３０（図２参照）では、処理部３１が、送受信部３２で受信した携帯端末２０からの目的地情報等に基づいて、データベース３７に対して検索処理を実行し、現在位置から目的地までの探索経路を計算する。
なお、リンクコストは、移動手段によって異なる。つまり、人間の歩行によって携帯端末２０が移動する場合は、歩行者によっては通行可能な場所（公園内部）はリンクコストが低く、通行不可能な場所（高速道路）はリンクコストが高い等のように設定されるため、自動車によって移動する場合とリンクコストが異なって設定される。
【００２３】
図４は、データベースに格納されたデータを用いた経路探索方法の一例を示す図である。図４では、二次元の地図情報１００の上に、識別番号３７−１である○で示した基準点Ｐ１〜Ｐ３、Ｑ、Ｒ１〜Ｒ３と、例えば、携帯端末２０からサーバ３０が受信した現在位置情報Ａ、携帯端末２０で入力され、サーバ３０が受信した目的地情報Ｂが示される。○と○との、細線は、基準点がデータベースのデータ３７−２であるリンクデータによりリンクされていることを示し、実際には道路により交差点等が繋がっていることを示している。
【００２４】
処理部３１が実行する目的位置探索方法では、現在位置情報Ａは、基準点Ｐ１〜Ｐ３に囲まれた区域にあり、Ａは、Ｐ１に最も近いため、Ｐ１が開始位置の基準点とし、同様に、目的位置Ｂは、基準点Ｒ１〜Ｒ３に囲まれた区域にあり、Ｂは、Ｒ２に最も近いため、Ｒ２が目的位置の基準点とする。開始位置基準点Ｐ１及び目的地基準点Ｒ２は、リンクコストを用いてダイクストラ法等の周知の探索手法により、リンクデータによって示された道路の中から、矢印で示すような最短経路が処理部３１により探索される。処理部３１は、基準点間の繋がりとして探索された最短経路を探索すると、探索された最短経路に含まれる基準点に関連する位置情報（経度、緯度、高さ）等を含んだ探索経路情報を生成する。
【００２５】
図５（ａ）は、本発明に係る携帯端末の前面を示す図であり、図５（ｂ）は、本発明に係る携帯端末の背面を示す図である。矢印９０は、レンズ２８の撮影方向を示しており、カメラ姿勢軸１１０は、携帯端末２０のモーションセンサ２７（図２参照）が用いる携帯端末の向きを判断するための座標軸を示しており、携帯端末２０の長手方向を携帯端末座標軸のＣ軸として、図示のようにＣ軸に直交するＡ軸、Ｂ軸が設定されている。絶対座標軸１２０は、Ｙ軸を地球の自転方向を正とする自転方向軸、Ｚ軸を地面に対して水平な北極方向を正とする地磁気軸、Ｘ軸は、地面から垂直方向を正とする高さ軸とした座標軸であり、ＧＰＳ情報又はＧＰＳ情報が取得できない地下では、無線ＬＡＮ等により取得される。このとき、絶対座標軸１２０からカメラ姿勢軸１１０への回転変位は、Ｙ軸についてロール（κ）、Ｚ軸についてピッチ（φ）、Ｘ軸についてヨー（ω）と表される。
【００２６】
モーションセンサ２７は、ジャイロセンサ、地磁気センサ、重力センサ、加速度センサを有する。
地磁気センサは、地面に対して水平な地磁気を測定し、緯度経度情報を検出できるため、地磁気センサを携帯端末２０内に複数設置しそれらの検出データを互いに比較することで、絶対座標軸１２０に対するカメラ姿勢軸１１０への回転変位（κ、φ、ω）が検出可能になる。また、重力センサは、重力が携帯端末２０に対してどの方向からかかっているかがわかるため、地磁気センサ同様に、携帯端末２０に複数設置しそれらの検出データを互いに比較することにより、絶対座標軸１２０に対するカメラ姿勢軸への回転変位（κ、φ、ω）が検出可能になる。
【００２７】
ジャイロセンサは、携帯端末２０に取付けられており、それらＡ、Ｂ、Ｃ軸の各々にジャイロセンサが設けられている。これは、携帯端末２０が地磁気センサ及び重力センサのセンシングタイムより早い速度で回転する場合があるため、地磁気センサ及び重力センサで検出した回転変位（κ、φ、ω）をジャイロ基準回転変位（κ０、φ０、ω０）として、ジャイロセンサによりその基準回転変位からの更なるジャイロ回転変位（κ１、φ１、ω１）を計算するためである。
【００２８】
具体的なセンサ設置例としては、Ａ、Ｂ、Ｃ軸の方向のそれぞれに設置したジャイロとペアになるように、地磁気センサ又は重力センサを設置することで、基準点の検出、基準点からの回転動作の検出が可能となり、携帯端末２０の位置及び向きが検出可能となる。さらに、加速度センサを設置し、携帯端末２０の加速度を検知することで、素早い動きがあった時は、ジャイロ回転変位（κ１、φ１、ω１）が重力センサや磁気センサのジャイロ基準回転変位（κ０、φ０、ω０）に補正をかけ、ゆっくり動いている時は、より正確を期すため、重力センサや磁気センサがジャイロ基準回転変位（κ０、φ０、ω０）を補正してやることで、リアルタイムに携帯端末２０の回転変位（κ、φ、ω）を測定することが可能になる。
【００２９】
図６は、携帯端末のカメラ映像（ここでは、イメージセンサ２９としてＣＣＤ）と、交差点（経路探索データ）の関係の一例を示した図である。数１は、カメラ（レンズ及びイメージセンサ）の撮影範囲の３次元座標を算定するために利用する数式である。カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）は、携帯端末に搭載されたＧＰＳや、無線ＬＡＮによって取得され、モーションセンサ２７により絶対座標軸１２０からカメラ姿勢軸１１０への回転変位（κ、φ、ω）が計算される。Ｐ１は、Ｐ２は、図４において説明したように、目的地までのルート検索を行った際の基準点であり、３次元の位置座標が関係付けられている。
【００３０】
【数１】
【００３１】
カメラ姿勢軸１１０への回転変位（κ、φ、ω）は、モーションセンサ２７により既知であり、カメラの焦点距離（ｃ）などの内部標定要素は、携帯端末２０に選定されたレンズスペックにより既知である。したがって、数式１及び２により、ＣＣＤ面のｐ１、ｐ２と、Ｐ１、Ｐ２がそれぞれ対応付けることができる。つまり、Ｐ１の交差点はｐ１に、Ｐ２の交差点はｐ２の位置にＣＣＤ面上で写る。
【００３２】
このように、イメージセンサ２９に映る被写体を表示部２３に表示すると同時に、その被写体及び撮影範囲全体を絶対座標軸上の位置情報として判別することが可能となる。そのため、携帯端末２０の処理部２１が、カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）、回転変位（κ、φ、ω）は、カメラの焦点距離（ｃ）、イメージセンサ（ＣＣＤ等）の大きさ（ｘ、ｙ）から、数式１及び２に示される数値演算を実行することで、カメラの撮影範囲を算定し、そして算定した撮影範囲の中にサーバから送られてきた探索経路があるか否かを判断することが可能になる。
そして、処理部２１は、探索経路が撮影範囲に含まれる場合、表示部に表示される撮影画像上に探索経路を重ね合わせて表示させることができる。
【００３３】
上記した撮影範囲算定処理は、サーバ３０が、携帯端末２０から、カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）、回転変位（κ、φ、ω）を計算し、カメラの焦点距離（ｃ）、イメージセンサ（ＣＣＤ等）の大きさ（ｘ、ｙ）の情報と共に、カメラで撮影した静止画を受信して撮影範囲算定処理を実行しても良い。その場合、サーバ３０が、探索経路が撮影範囲に含まれると判断した場合、静止画上に探索経路を重ね合わせて携帯端末２０に送信することで、携帯端末２０で静止画である撮影画像上に探索経路を重ね合わせた表示を表示することができる。このような携帯端末２０とサーバとの間の静止画を用いた転送処理を連続的に行うことで、携帯端末２０で撮影範囲算定処理及び探索経路情報の重ね合せ処理を行わずに、携帯端末２０で静止画上に探索経路を重ね合わせた表示を連続的に表示することができる。
【００３４】
携帯端末の撮影範囲及び探索経路の一例を図７に示す。図７では、携帯端末位置１３１から撮影される撮影範囲１３２が示される。また、サーバ３０において、携帯端末位置１３１と携帯端末２０で入力された目的地１３３に基づいて検索された探索経路１３４が示される。
【００３５】
撮影範囲内に示される探索経路情報の一例を図８に示す。図８で示されるように、サーバ３０が撮影範囲１３２について絶対座標軸上の位置関係を算定し、探索経路１３４の座標データ（経度、緯度、高さ）と、撮影範囲１３２との交わり関係を座標に基づいて求めることで、撮影範囲１３２に含まれる探索経路１３４の方向を示す矢印１３６等を探索経路情報として表示部２３に表示可能である。また、別な探索経路情報として「５０ｍ先「銀座４」交差点を右折してください」という文字情報が表示部２３に表示される。この文字情報は、例えば、データベースに格納された基準点名称「銀座４」で示される基準点の位置情報と、携帯端末の位置情報から距離「５０ｍ」を計算することで生成し、それらの情報に適切なテキスト情報を付加するアプリケーションを実行することで生成が可能である。
【００３６】
また、図６を用いて説明したように、携帯端末２０のＣＣＤ面上の被写体と、絶対座標軸上の位置情報とは対応付けされているため、表示部２３上に表示される画像に、探索経路情報を重ね合わせて表示することができる。つまり、サーバ３０は、探索経路情報として矢印１３６を、ＣＣＤ面上での位置情報と共に携帯端末２０に送信することで、表示部２３では、その矢印１３６を、実施の交差点の位置情報（経度、緯度、高さ）に対応するようにカメラ撮影画面上に重ね合わせて表示し（例えば、矢印１３６を基準点である交差点「銀座４」の信号機の真下等に表示）、その矢印１３６の大きさも、遠近法を利用して、携帯端末２０から絶対座標軸上で近い場合には大きく、また、その逆の場合は小さく表示することが可能である。
【００３７】
さらに、ユーザが探索経路以外のところに携帯端末を表示した場合は、その携帯端末の姿勢に応じて、探索経路情報を画面から消去したり、探索経路方向を指示する矢印（図示しない）を表示することで、探索経路方向に携帯端末を向けることでユーザを目的地に誘導することが可能である。
【００３８】
以下、図９を用いて、本発明に係る探索経路表示システムの処理フローの一例について説明する。
最初に、携帯端末２０が測地衛星７０から携帯端末２０の位置情報としてのＧＰＳ情報を受信して、携帯端末２０の位置情報を取得する（ステップ９０１）。次に、携帯端末２０では、ユーザが携帯端末２０の位置情報から目的地までの経路を探索するために、入力部２４を介して目的地情報が入力される（ステップ９０２）。次に、携帯端末の位置情報および目的地情報をサーバ３０に送信し（ステップ９０３）、サーバ３０は、位置情報および目的地情報を受信する（ステップ９０４）。
【００３９】
そして、サーバ３０は、データベース３７に格納された地図情報を用いて携帯端末位置と目的位置との間の経路を探索し（ステップ９０５）、探索経路情報を生成し（ステップ９０６）、探索経路情報を携帯端末２０に送信する（ステップ９０７）。
【００４０】
次に、携帯端末２０は、サーバ３０からから探索経路情報を受信し（ステップ９０８）、携帯端末２０は、カメラ投影中心座標Ｏ（Ｘｏ，Ｙｏ，Ｚｏ）、回転変位（κ、φ、ω）は、カメラの焦点距離（ｃ）、イメージセンサ（ＣＣＤ等）の大きさ（ｘ、ｙ）から、数式１及び２に示される数値演算を実行することで、カメラの撮影範囲を算定する（ステップ９０９）。そして、携帯端末２０は、探索経路情報が撮影範囲に含まれるか否かを判断し（ステップ９１０）、探索経路情報が撮影範囲に含まれる場合は、ステップ９１１に進み、探索経路情報が撮影範囲に含まれない場合は、ステップ９０９に戻り、再度撮影範囲算定を実行する。ステップ９１１では、表示部２３に探索経路情報を重ね合せ表示し、探索経路表示システムの処理フローは終了する。
【００４１】
このように、ユーザは、探索経路が表示部２３に表示されない場合、携帯端末２０の姿勢を変えることで、探索経路が表示部２３に表示させることで、探索経路の向きを知ることができる。
また、処理フローにおいて探索経路指示情報が表示された表示画面を、写真や動画として記憶し、その記憶されたデータをコンピュータ４０又は他の携帯端末に送信することで、道案内情報としてわかり易く有用な情報として再利用可能である。
【００４２】
このように、本発明に係る探索経路表示方法は、従来のように３Ｄポリゴンの背景を作成することなく、実際にカメラで撮影した撮影範囲に対して探索経路情報を重ね合わせて表示させることができる。
さらに、携帯端末の姿勢位置にしたがって撮影された画像上に探索経路情報が表示可能なので、探索経路方向に携帯端末を向けることでユーザを目的地に誘導することができる。
【００４３】
また、本発明は、携帯端末の姿勢位置にしたがって撮影された画像上に探索経路情報が表示可能なので、図３に示すデータベース内に格納されたオーディオ・ファイルを利用して、探索経路方向に携帯端末を向けた場合に、携帯端末の有するスピーカ又は接続されるイヤホンを用いて音声で探索経路方向を出力することも可能である。この場合、目の不自由な方に音声で探索経路をナビゲーションすることも可能となる。その場合、図９に示す探索経路情報には、データベース内に格納されたオーディオ・ファイルが含まれる。
【図面の簡単な説明】
【００４４】
【図１】建物ポリゴン３Ｄ画像を用いたナビゲーション画面の例を示す図である。
【図２】本発明に係る本発明に係る探索経路表示方法及び探索経路表示システムの概要の概要を示す図である。
【図３】データベースの一例を示す図である。
【図４】データベースに格納されたデータを用いた経路探索方法の一例を示す図である。
【図５】（ａ）は、本発明に係る携帯端末の前面を示す図、（ｂ）は、本発明に係る携帯端末の背面を示す図である。
【図６】携帯のカメラ映像と、交差点の関係の一例を示した図である。
【図７】携帯端末の撮影範囲及び探索経路の一例を示す図である。
【図８】撮影範囲内に示される探索経路情報の一例を示す図である。
【図９】本発明に係る探索経路表示システムの処理フローの一例を示す図である。
【符号の説明】
【００４５】
１０ ネットワーク
２０ 携帯端末
３０ サーバ
４０ コンピュータ
５０ ＩＳＰ
６０ 電話会社
７０ 測地衛星
【特許請求の範囲】
【請求項１】
モーションセンサ、イメージセンサ、レンズ、及び表示部を有する携帯端末、及び、該携帯端末にネットワークを介して接続され且つ地図情報を記憶部に有するサーバにおける、該レンズで撮影された画像上に探索経路情報を表示する探索経路表示方法であって、
前記携帯端末から、前記携帯端末の位置情報及び目的地情報を受信するステップと、
前記サーバで、前記地図情報を用いて前記位置情報から目的地情報までの探索経路を示す探索経路情報を生成するステップと、
前記サーバから、前記携帯端末に前記探索経路情報を送信するステップと、
前記携帯端末で、前記モーションセンサから算定される姿勢情報、前記レンズの焦点距離情報、及び前記イメージセンサのサイズ情報から前記レンズ及びイメージセンサによる撮影範囲を算定するステップと、
前記探索経路情報が前記撮影範囲に含まれる場合、前記携帯端末の表示部で、前記レンズで撮影された画像上に前記探索経路情報を重ね合わせて表示するステップと、
を有することを特徴とする探索経路表示方法。
【請求項２】
地図情報を記憶する記憶部、
前記地図情報を用いて携帯端末の位置情報から目的地情報までの探索経路を示す探索経路情報を生成する処理部、
前記探索経路情報を送信する送受信部、を有するサーバと、
モーションセンサ、
イメージセンサ、
レンズ、
表示部、
前記探索経路情報を受信する送受信部、
前記モーションセンサから算定される姿勢情報、前記レンズの焦点距離情報、及び前記イメージセンサのサイズ情報から前記レンズ及びイメージセンサによる撮影範囲を算定し、かつ、前記探索経路情報が前記撮影範囲に含まれる場合、前記表示部で、前記レンズで撮影された画像上に前記探索経路情報を重ね合わせて表示させる処理部、を有する携帯端末と、を有することを特徴とする探索経路表示システム。
【請求項３】
前記サーバから地図情報を記憶部に有するサーバにネットワークを介して接続され且つモーションセンサ、イメージセンサ、レンズ及び表示部を有する携帯端末を、
前記地図情報を用いて生成された前記携帯端末の位置情報及び目的地情報までの探索経路を示す探索経路情報を受信する受信手段と、
前記モーションセンサから算定される姿勢情報、前記レンズの焦点距離情報、及び前記イメージセンサのサイズ情報から前記レンズ及びイメージセンサによる撮影範囲を算定する撮影範囲算定手段と、
前記探索経路情報が前記撮影範囲に含まれる場合、前記表示部で、前記レンズで撮影された画像上に前記探索経路情報を重ね合わせて表示する探索経路情報表示手段として機能させることを特徴とする探索経路表示プログラム。
【請求項１】
モーションセンサ、イメージセンサ、レンズ、及び表示部を有する携帯端末、及び、該携帯端末にネットワークを介して接続され且つ地図情報を記憶部に有するサーバにおける、該レンズで撮影された画像上に探索経路情報を表示する探索経路表示方法であって、
前記携帯端末から、前記携帯端末の位置情報及び目的地情報を受信するステップと、
前記サーバで、前記地図情報を用いて前記位置情報から目的地情報までの探索経路を示す探索経路情報を生成するステップと、
前記サーバから、前記携帯端末に前記探索経路情報を送信するステップと、
前記携帯端末で、前記モーションセンサから算定される姿勢情報、前記レンズの焦点距離情報、及び前記イメージセンサのサイズ情報から前記レンズ及びイメージセンサによる撮影範囲を算定するステップと、
前記探索経路情報が前記撮影範囲に含まれる場合、前記携帯端末の表示部で、前記レンズで撮影された画像上に前記探索経路情報を重ね合わせて表示するステップと、
を有することを特徴とする探索経路表示方法。
【請求項２】
地図情報を記憶する記憶部、
前記地図情報を用いて携帯端末の位置情報から目的地情報までの探索経路を示す探索経路情報を生成する処理部、
前記探索経路情報を送信する送受信部、を有するサーバと、
モーションセンサ、
イメージセンサ、
レンズ、
表示部、
前記探索経路情報を受信する送受信部、
前記モーションセンサから算定される姿勢情報、前記レンズの焦点距離情報、及び前記イメージセンサのサイズ情報から前記レンズ及びイメージセンサによる撮影範囲を算定し、かつ、前記探索経路情報が前記撮影範囲に含まれる場合、前記表示部で、前記レンズで撮影された画像上に前記探索経路情報を重ね合わせて表示させる処理部、を有する携帯端末と、を有することを特徴とする探索経路表示システム。
【請求項３】
前記サーバから地図情報を記憶部に有するサーバにネットワークを介して接続され且つモーションセンサ、イメージセンサ、レンズ及び表示部を有する携帯端末を、
前記地図情報を用いて生成された前記携帯端末の位置情報及び目的地情報までの探索経路を示す探索経路情報を受信する受信手段と、
前記モーションセンサから算定される姿勢情報、前記レンズの焦点距離情報、及び前記イメージセンサのサイズ情報から前記レンズ及びイメージセンサによる撮影範囲を算定する撮影範囲算定手段と、
前記探索経路情報が前記撮影範囲に含まれる場合、前記表示部で、前記レンズで撮影された画像上に前記探索経路情報を重ね合わせて表示する探索経路情報表示手段として機能させることを特徴とする探索経路表示プログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１】
【図７】
【図８】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１】
【図７】
【図８】
【公開番号】特開２００９−３６７２６（Ｐ２００９−３６７２６Ａ）
【公開日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願番号】特願２００７−２０３４１４（Ｐ２００７−２０３４１４）
【出願日】平成１９年８月３日（２００７．８．３）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
【公開日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願日】平成１９年８月３日（２００７．８．３）
【出願人】（５００２５７３００）ヤフー株式会社 (1,128)
【Ｆターム（参考）】
[ Back to top ]