画像関連情報表示システム
【課題】ホストコンピュータでの背景データの処理、データ転送、端末表示の時間を大幅に削減し、最新の背景地図を用いた三次元地図情報を端末装置上で構成し、軽快な操作を行うことができる。
【解決手段】画像関連情報取得システムは、三次元地物地名情報データベース５と、配信サービス契約者一覧データベースとを備えたホストシステム６と、ホストシステム６から、地物地名情報を受信する複数の移動端末装置３ａ・・とを有して構成されている。ホストシステム６には、三次元地物地名情報データベース５に加えて、配信サービス契約者一覧データベース１１が設けられている。ホストシステム６は、移動端末装置３からの地物情報の要求に対して、三次元地物地名情報データベース５への検索処理を行う検索処理部７と、移動端末装置３との間でデータの送受信を行う送受信部８と、を備えている。
【解決手段】画像関連情報取得システムは、三次元地物地名情報データベース５と、配信サービス契約者一覧データベースとを備えたホストシステム６と、ホストシステム６から、地物地名情報を受信する複数の移動端末装置３ａ・・とを有して構成されている。ホストシステム６には、三次元地物地名情報データベース５に加えて、配信サービス契約者一覧データベース１１が設けられている。ホストシステム６は、移動端末装置３からの地物情報の要求に対して、三次元地物地名情報データベース５への検索処理を行う検索処理部７と、移動端末装置３との間でデータの送受信を行う送受信部８と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像関連情報カメラ撮影機能を持つ携帯端末（移動端末）装置が撮影し表示させた画像に対応する地図データや位置情報などの関連情報を取得し表示する画像関連情報表示システムに関する。
【背景技術】
【０００２】
車両や道路交通網、公共輸送手段の発達に伴い、手軽に遠隔地に移動可能になってきている。しかしながら不慣れな地域においては、地図などの情報が不可欠なものとなる。
【０００３】
近年、携帯電話機などの移動端末を利用し、人工衛星からの電波を受信して検出した現在位置をホストシステムに送信し、現在位置周辺の地図情報を取得して利用者に現在位置と目的地とを提供するGPS（Global Positioning System）を利用したナビゲーションシステムが普及してきている。
【特許文献１】特開２００１−２０４０６２号公報（ナビゲーションシステム及びそれを用いたセンタ局及び無線基地局及び携帯端末及び地図抽出方法及び利用料金決済方法）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
歩行者用ナビゲーションシステムを用いて目的地を案内する場合に重要なことは、自分が現在居る場所と向いている方角に見える地物や建物を把握することである。そのためには、一般的な二次元の地図に現在地と現在進んでいる（向かっている）方角を表示する方法と、現在地と、向かっている方角に基づく三次元地図情報を表示する方法とがある。前者と後者とでは、後者の方法がより視覚的に認識しやすく直感的な把握も簡単であるため、有望である。
【０００５】
しかしながら、三次元地図情報を用いると、処理に必要なデータ量が多くなりすぎる。さらに、三次元図形表面にテクスチャ画像の貼り付け処理を行う場合には、その画面生成処理に要する計算量は膨大なものになる。ホストコンピュータでの処理、データ転送、端末表示の時間も長くなり、操作を開始してから端末に表示させるまでの遅延時間が大きすぎるという不都合が生じる。さらに、例えば景勝地などにおいて、複数の山などの同種の地物が多く観察できる場所、例えば展望台など目標とする地物が小さくなり定まりにくいところでは、現在注目したい地物（例えば山、視認が難しい建物）が具体的にどれであるかを同定することが難しくなるという不都合が生じる。
【０００６】
本発明の目的は、画像関連情報を表示する場合において、軽快な操作を可能とすることである。
【課題を解決するための手段】
【０００７】
三次元地図情報のうち特に背景地図の情報の代わりに端末自身のカメラ撮影機能で撮影した画像を背景に用いることで、その撮影情報から得られる撮影視点情報を元に地物名や建物名のデータのみをホストコンピュータから取得することによって、ホストコンピュータでの背景データの処理、データ転送、端末表示の時間を大幅に削減し、その場で撮影した背景地図を用いた三次元地図情報を端末装置上で構成し、利用者が現在注目している地物を正確に同定でき、軽快な操作が行える地図関連情報配信システムを提供することにある。
【０００８】
本発明の一観点によれば、地物の三次元位置情報と地物と関連する地物関連情報とを有する三次元地物地名情報を格納する三次元地物地名情報データベースを備えたホストシステムと、該ホストシステムと接続可能な複数の移動端末装置と、を有する画像関連情報表示システムであって、前記移動端末装置は、画像を撮影する画像撮影部と、現在位置を検出する現在位置検出部と、撮像時の三次元姿勢と撮影方角とを検出する三次元姿勢方角検出部と、通信部と、を有し、前記ホストシステムは、前記現在位置と前記三次元姿勢及び撮影方角とを前記移動端末装置から受け取り、これらの条件に基づいて前記三次元地物地名情報データベースを検索する検索部を有し、該検索部により検索された地物情報を受け取った前記移動体装置は、前記撮影画像と前記地物情報とを重畳して表示部に表示する表示制御部を備えることを特徴とする地図関連情報配信システムが提供される。
【０００９】
また、現在位置を取得する現在位置検索部と、三次元姿勢と撮影方角とを検出する三次元姿勢方角検出部と、画像を撮影する撮像部と、通信部と、を有する移動端末装置であって、前記画像撮影部により撮影した画像を背景とし、前記現在位置と前記三次元姿勢と撮影方角とに基づいて、画像に対応する地物関連情報を取得し、前記撮影画像と前記地物地名情報とを重畳表示する表示制御部と、を有することを特徴とする移動端末装置が提供される。
【発明の効果】
【００１０】
本発明の地図関連情報配信システムによれば、次のような効果がある。
（１）移動端末装置にあっては、三次元地図情報のうち特に背景地図の情報の代わりに端末自身のカメラ撮影機能で撮影した画像を背景に用いることで、その撮影情報から得られる撮影条件情報を元に視認される地物名や建物名のデータのみをホストコンピュータから取得することができる。従って、ホストコンピュータでの背景データの処理、データ転送、端末表示の時間を大幅に削減し、最新の背景地図を用いた三次元地図情報を端末装置上で構成し、軽快な操作を行うことができる。
【発明を実施するための最良の形態】
【００１１】
本明細書において、地物関連情報とは、主として、地物（建物、公園、橋、タワーなど）を特定するための情報（地物の名称など）と、地物と関連する情報（タワーの高さなど）を含むものである。
【００１２】
以下、図面を参照しながら、本発明の一実施の形態による画像関連情報表示システムについて説明する。図１は、本実施の形態による画像関連情報表示システムの一構成例を示す図である。図１に示すように、画像関連情報取得システムは、三次元地物地名情報データベース５と、配信サービス契約者一覧データベースＤＢ１１と、接続されているホストシステム６と、ホストシステム６から、地物地名情報を受信する複数の移動端末装置３ａ、３ｂ、…と、を有して構成され、この移動端末装置３ａ、３ｂ、…は、無線回線によって基地局４と接続されている。そして、基地局４は例えば有線の公衆回線網によるネットワーク９と接続され、このネットワーク９にホストシステム６が接続されている。移動端末装置３ａ、３ｂは、例えば携帯電話機、ＰＤＡなどである。
【００１３】
このように、移動端末装置３ａ、３ｂ、…とホストシステム６とは、基地局４に至る無線回線およびネットワーク９を介して接続されている。基地局４は、移動端末装置３ａ、３ｂ、…の無線送受信手段として、例えば携帯電話を利用した場合は携帯電話事業者が管理する基地局に相当する。ホストシステム６には、三次元地物地名情報データベース５に加えて、配信サービス契約者一覧データベース１１が設けられている。
【００１４】
ホストシステム６の三次元地物地名情報データベース５には、例えば日本全国の地物の三次元の代表点座標データと、これに対応する地物種別５３、地物名称５４、アクセス情報５５などを含む地物関連情報が登録されている。
【００１５】
ホストシステム６は、移動端末装置３からの地物情報の要求に対して、三次元地物地名情報データベース５への検索処理を行う検索処理部７と、移動端末装置３との間でデータの送受信を行う送受信部８と、を備えている。
【００１６】
ネットワーク９には、各地域の観光協会や地域自治体に設置されたホスト端末１０が接続されていても良く、このホスト端末１０によって、担当地域あるいは管轄地域の地物情報を登録したり更新したりすることができるように構成されていても良い。
【００１７】
図２は、移動端末装置３ａ、３ｂの一構成例を示す図である。移動端末装置３ａ、３ｂは、自装置の姿勢を検出するジャイロ部３１と、衛星からの電波を受信して自装置の現在位置を検出するＧＰＳ部３２と、画像を撮影する撮影装置（カメラ）３３と、処理結果を表示するＬＣＤ表示装置３４と、撮影情報と地物情報とに基づいて表示情報を作成するデータ処理部３５と、ホストコンピュータ６（図１）から取得した地物情報を格納する地物情報格納部３６と、撮影画像を記憶する撮影画像記憶部３７と、ホストコンピュータ６との通信を行う送受信部３８と、を有している。撮影装置（カメラ）３３には、測距に基づく合焦判定部が設けられていても良い。
【００１８】
データ処理部３５は、撮影データ処理部３５１と地物地名データ処理部３５２とを備えている。ジャイロ部３１は、移動端末装置３ａ、３ｂのカメラ撮影方向を検出するために、地磁気を検知する方位センサ(ヨー方向)と重力方向を検知する重力センサ(ロール＆ピッチ方向)を備えている。
【００１９】
三次元地物地名情報データベース５に格納される地物情報は、図 ３（Ａ）、（Ｂ）に示すように、ＩＤ５１と、三次元地物代表点座標(NEH) ５２、地物種別５３、地物名称５４、情報を取得することができる情報ＵＲＬ５５、三次元地物代表点座標(xyz)５６、の各データを含むように構成されている。三次元地物代表点座標(NEH) ５２は、携帯電話などでも用いられるＷＧＳ８４（world geodetic system）座標系に基づいた（緯度、経度、標高(ｍ)）の測地系座標で定義される地物の代表点である。三次元地物代表点座標(xyz)５６は三次元地物代表点座標(NEH) ５２に基づいて地心座標系へ変換を行った(x, y, z)の三次元座標であり、単位はメートルである。
【００２０】
前述のように、図３に示す三次元地物地名情報データベース５には、地物を管理するID５１と、三次元地物代表点座標(NEH)５２と、地物の種別を表す地物種別５３と、地物名称５４と、情報URL５５と、三次元地物代表点座標(xyz)５６と、を含む情報を有して構成されているが、三次元地物代表点座標(NEH)５２と、三次元地物代表点座標(xyz)５６と、は、地物の三次元図形情報を簡略化したものであり、１つの地物について１つ以上定義する。三次元地物代表点座標(NEH)５２は、該当する地物の代表点を、緯度(N)、経度(E)、標高(H)を用いて表したものであり、三次元地物代表点座標(xyz)５６には、三次元地物代表点座標(NEH)５２に基づいて、三次元の地心座標系に変換したx, y, z座標値が登録されている。
【００２１】
従って、地物ＩＤ５１との対応は、別データテーブルにして管理している。代表点の基準は、情報を知りたい地物の、特に注目される地点を登録することである。例えば、山であれば山頂、湖であればその中央部、建物であれば一階中心地点や建物の屋上中心地点などが代表点として挙げられ、公園など、領域が広範囲にわたる場合には、その領域に対して複数地点を例えば均等に割り当てるなどの手法を用いることができる。
【００２２】
図４は、サービス利用可能な移動端末を特定する配信サービス契約者一覧データベース１１が持つ主なデータ構成例を示す図である。図４には、契約者氏名１１１、電話番号１１２、契約期間１１３、課金割引率１１４が含まれており、各契約者毎のデータにより構成されている。
【００２３】
図５は、移動端末３ａ、３ｂがホストシステム６に対して地物情報の要求を行う送信データのフレーム構成例を示す図である。図５に示すように、撮影地点のｘ座標２０１、撮影地点のｙ座標２０２、撮影地点のｚ座標２０３、カメラ画角(対角線)２０４、カメラ姿勢(ロール)２０５、カメラ姿勢(ヨー)２０６、カメラ姿勢(ピッチ)２０７、発信元ＩＤ２０８、被写界深度２０９、被写体距離２１０、最大望遠距離２１１とを有して構成されている。撮影地点における座標値は、測地座標系に基づいて例えばＧＰＳにより取得できる座標値であり、緯度経度、標高に基づいて、最終的に地心座標系の三次元座標に変換された値である。尚、この座標変換はホストシステム側で行ってもよい。
【００２４】
被写界深度は、カメラ撮影装置のピントが合っている範囲を示す値である。被写体距離(メートル単位)は、最もピントが合っている場所と焦点との距離を示す値である。カメラ姿勢(ロール)／(ヨー)／(ピッチ)は、カメラの撮影方向が地面と水平かつ真北を指すときを基準とした角度で示される。最大望遠距離は、移動端末側で利用者が選択肢などから設定する値であり、撮影位置から代表点までの有効検索距離を決定するものである。これ以上離れた地物の代表点は検索対象から除外する。この値は、利用者の注目する地物について適切に検索条件を絞り込むとともに、地面を撮影して地球裏側の地物が検索結果に含まれてしまうといった不都合を防止する。
【００２５】
図６は、移動端末がホストシステムから受信する地物情報が持つデータの最低限の構成例を示す図である。地物を管理するＩＤ５０１と、地物名称５０２と、撮影中心を原点とする画角円周を単位円とみなしたときの地物の画面表示位置５０３と、地物種別５０４と、情報URL５０５と、を含む情報を有して構成されている。
【００２６】
以下、上記のように構成された歩行者用ナビゲーションシステムに関する動作について説明する。図７は、移動端末で実際に行われる操作ならびに動作を示すフローチャート図である。適宜、図１、図２を参照する。まず入力装置３９においてナビゲーション撮影モードに設定する（Ｓ３０１）。次に、カメラ撮影装置３３により、情報を取得したい領域を撮影する（Ｓ３０２）。カメラ撮影装置３３により例えばその周辺を撮影すると、移動端末３ａでは、ＧＰＳ部３２で現在位置を取得し（Ｓ３０３）、ジャイロ部３１で移動端末３の姿勢情報を取得し（Ｓ３０４）、カメラ撮影装置３３で撮影画像とカメラ画角と被写体距離と被写界深度とを取得する（Ｓ３０５）。
【００２７】
撮影画像データと取得情報とは、データ処理部３５の撮影データ処理部３５１に送られる。撮影画像は、撮影データ処理部３５１から撮影画像記憶部３７に送られ、取得情報は３５１内でホストシステムへの送信データ（詳細は図５を参照）に変換される。撮影データ処理部３５１は、このフレームを作成し送受信部３８を通してホストシステム６に送信する（Ｓ３０６）。ホストシステムでは、このデータを受信して返り値として地物情報（詳細は図３を参照）を送信（図８を参照して後述）する。移動端末３ａは、ホストシステムから送信された地物情報を送受信部３８で受信する（Ｓ３０７）。受信した地物情報は、データ処理部３５の地物地名データ処理部３５２に送られ、地物情報の解析を行う。次いで、データ処理部３５において、撮影画像データと地物情報とをあわせて表示可能なデータに変換して表示装置３４に送り、重畳表示させる。後述する図１４は、この重畳表示の画面表示例を示す図である。画面表示を完了した後は、入力装置３９から継続操作を行うと撮影処理Ｓ３０２に移行し、終了操作を行うとナビゲーション撮影モード終了Ｓ３０９に移行することができる（Ｓ３０８、Ｓ３０８’）。
【００２８】
また、カメラ撮影装置に動画撮影機能が備えられている場合は、スナップショット的に一定時間間隔で撮影情報をホストシステムに送信し、対応する地物情報を受信して画面に重畳表示することにより、撮影動画への対応も可能となる。
【００２９】
図８は、ホストシステム６が移動端末３ａから送信されたデータから地物情報の検索を行い、検索結果を移動端末３ａに送信するまでの処理の流れを示すフローチャート図である。まず、ホストシステム６は、送受信部８を通して移動端末３からの送信データを受信する（Ｓ４０１）。受信したデータは、検索処理部７に送られる。検索処理部７では、発信元ＩＤ２０８を取り出し、配信サービス契約者一覧データベース１１に対して照合が行われる（Ｓ４０２）。取得した発信元ＩＤ２０８と同じ電話番号１１２を持つ契約者情報があり、かつ、そのアクセス日が契約期間１１３の範囲内にあることをもって、該当ありとみなす。該当がない場合は、ここで送受信部８を通して、エラーを移動端末３ａに送信して処理を終了する（Ｓ４０７）。該当ありの場合は、検索処理部７において、残りの撮影情報を取り出し（Ｓ４０３）、撮影情報から得られる撮影空間領域で地物を検索する（Ｓ４０４）。取得した検索結果から、座標値変換や名称、URL情報などの地物関連情報の埋め込みを行い、その結果を移動端末への送信情報に変換する（Ｓ４０５）。このようにして変換した地物関連情報を移動端末に送信する（Ｓ４０６）。
【００３０】
図９は、この撮影操作の具体的な状況を示す模式的な図である。図９（Ａ）は側面図、図９（Ｂ）は上面図である。図９に示すように、撮影空間領域は、移動端末位置(x, y, z)を頂点に持ち、カメラ画角θを頂角に持ち、方向ベクトルr(rx, ry, rz)の方向に広がる三次元円錐形の領域となる。図５に示す取得した撮影情報のうち撮影地点ｘ座標２０１、撮影地点ｙ座標２０２、撮影地点ｚ座標２０３を、移動端末のカメラ焦点位置とみなしてよい。また、カメラ姿勢(ロール)２０５、カメラ姿勢(ヨー)２０６、カメラ姿勢(ピッチ)２０７に基づいて、撮影方向である三次元方向ベクトルr(rx, ry, rz)とカメラ基準方向s(sx, sy, sz)とが定まる。撮影方向rは、カメラが向いている方向を示し、カメラ基準方向sは撮影画面の”上が向いている方向”を示す。画角２０４をもとに、三次元円錐形の頂角となる画角θが定まる。さらに、カメラ撮影装置にピント合わせ機能がある場合は、被写界深度２０９、被写体距離２１０の値を取得することにより、深度方向の有効範囲（ピントが合っている範囲）を定めることができる。この撮影空間領域を用いて、視認できる地物を三次元地物地名情報データベース５から検索する（Ｓ４０４）。
【００３１】
図１０から図１２までは、Ｓ４０４のより具体的な検索方法を示す模式図である。図１０は、一般的にカメラ装置によって被写体５７を撮影する場合の被写体距離Ｌと被写界深度ｌとの関係を模式的に示した図である。ピントを合わせて（焦点５３、画素５１）撮影した場合の検索結果は、この被写界深度ｌの範囲外の地物が検索されないため、利用者が特に注目している地物について適切な検索結果を得ることができる。
【００３２】
図１１に示すように、この場合の検索条件として、移動端末３の位置(x, y, z)、カメラ装置の撮影方向ベクトル(rx, ry, rz)ならびにカメラ基準方向s(sx, sy, sz)、画角θ、さらにカメラ撮影装置にピント合わせ機能がある場合は被写界深度l、被写体距離Ｌ、の値を取得することができる。これらの値に基づいて、カメラが撮影可能な領域として頂点(x, y, z)、頂角θ、方向(rx, ry, rz)の円錐領域を定義することができる。さらに、被写界深度lと被写体距離Lとが取得できる場合は、焦点位置から距離[L - l/2, L + l/2]の範囲の円錐台が定義できる。この円錐領域または円錐台に含まれる地物４３の代表点４５（図９を参照）を求めることにより検索処理を行うことができる。
【００３３】
但し、上記の円錐領域の検索処理においては、遠すぎる地物や、地球の裏側など本来見えない位置にあるデータを除外することが好ましい。そのために、利用者が適当な検索結果を得る目的で、円錐領域検索処理においては、焦点位置から代表点１〜３までの距離に対して適切な限界値Ｍ(例えば１ｋｍ／５ｋｍ／１０ｋｍ／５０ｋｍ)を移動端末３ａ側で設定できるのが好ましい。
【００３４】
この円錐領域に含まれる地物の検索条件(ケース１)としては、焦点位置(x, y, z)から代表点(a, b, c)に向かうベクトルをt(tx, ty, tz)とし、撮影方向ベクトルをr(rx, ry, rz)としたとき、
（１）：tの長さが限界値Ｍ以下であること
（２）：tとrのなす角度がθ/２以下であること
である。
【００３５】
さらに、被写界深度lと被写体距離Ｌとが取得できる場合の円錐台に含まれる地物の検索条件(ケース２)は、上記（１）、（２）を満たすものであり、かつ、
（３）：焦点位置と代表点との距離Ｒが[L - l/2, L + l/2]の範囲にあること
である。
【００３６】
いずれのケースにおいても、代表点列を取得する具体的な検索ＳＱＬは、ベクトルの角度を用いるため、検索する代表点の座標は緯度経度座標５２ではなく、変換後の三次元座標５６を用いて検索を行う。ＳＱＬは、ベクトルの内積公式とベクトルの長さとを用いて、例えば以下のように表すことができる。
【００３７】
尚、t・rはベクトルの内積、|t|はベクトルtの長さ、|r|はベクトルrの長さである。また、ここで、|t| = sqrt(tx2 + ty2 + tz2)である。
尚、sqrt(x)はxの平方根を表す。
【００３８】
また、ベクトルの内積の公式より、
t・r = (tx, ty, tz)・(rx, ry, rz) = tx*rx + ty*ry + tz*rz = |t||r|cos(α)
が成り立つ。
【００３９】
ここで、cosは余弦関数を表し、αはベクトルtとrの成す角(ラジアン単位)を表す。このとき、上記（１）〜（３）の条件は、以下のように表現することができる。
（１）ベクトルtの長さがM以下より、|t|≦M と表すことができる。
（２）ベクトルtとrの成す角をφとすると、内積の公式より
t・r = |t||r|cos(φ)
t・r / |t||r| = cos(φ)
が成り立つ。
【００４０】
ここで画角θは、一般的に0＜θ＜π(ラジアン)とし、この範囲でcos(θ)は単調減少関数であることより、φ≦αならばcos(α)≧cos(φ)が成り立つ。すなわちφ≦θ/2であればcos(φ) ≧ cos(θ/2)であり、したがって画角範囲内に収まる条件は、
t・r / |t||r| ≧ cos(θ/2)
と表すことができる。
【００４１】
（３）ベクトルtの長さがL - l/2以上L + l/2以下より、
L - l/2 ≦ |t| ≦ L + l/2 と表すことができる。
【００４２】
以上の結果より、
（ケース１）
Select * from 代表点テーブル
ここで、 (|t|≦M) and ( (t・r) / |t||r| ≧ cos(θ/2) )である。
【００４３】
同様にして、ケース２において地物ID列を取得する具体的な検索SQLは次のように表すことができる。
【００４４】
（ケース２）
Select * from 代表点テーブル
ここで (|t|≦M) and ( (t・r) / |t||r| ≧ cos(θ/2) ) and (L - l/2 ≦ |t| ≦ L + l/2)である。
【００４５】
この検索を図１１に当てはめると、代表点１は検索されるが、代表点２は条件（１）の限界値Mを超えるため検索されない。また、代表点3は条件（２）のなす角φが画角θ/2をはみ出すため検索されない。また、代表点4はケース２の場合に限り、条件（３）のピント範囲をはみ出すため検索されない（但し、ケース１ではピント範囲を条件に持たないため検索される）。
【００４６】
次に、検索結果を移動端末への送信情報に変換する動作（Ｓ４０５）について説明する。以上の検索で得られた結果に対して、各代表点座標値５６と撮影方向ベクトルｒとカメラ基準方向ｓとを元に、画面表示位置５０３を求める。ここで、焦点位置(x,y,z)を原点(0,0,0)に平行移動したのち、原点を中心とする回転で撮影方向ベクトルrをr’(|r|,0,0)に移し、かつ、カメラ基準方向ベクトルsをs’(0,0,|s|)に移すような三次元ベクトルのアフィン変換を求め、すべての座標値に施す。これによって一般性を損なうことなく、計算しやすい形に帰着させることができる。
【００４７】
図１２は、上記のアフィン変換を行った前後の様子を示す図である。三次元アフィン変換前後において、この場合は、特に平行移動と回転移動だけである拡大縮小はない場合のそれぞれのベクトルが移る様子を図示したものである。図１１に示されている図と同様の変換前の図（図１２の下の図）から上の図へと変換される様子が示されている。尚、Ｙ軸は紙面に垂直な軸である。図１２に示すように、三次元アフィン変換により、原点(0,0,0)を通り方向ベクトルt’の直線が、平面X=-cot(θ/2)と交わる点として、単位円画面に投影された画面表示位置(Ｙ，Ｚ)を求めることができる。このようにして得られる地物情報を元に、移動端末受信データ（図６）を構成することができる。
【００４８】
図１３は、地物の画面表示位置座標の表示について示した模式的な図である。端末画面６３の対角線６５を直径とし、端末画面と中心（白抜きの丸印）を同じくする単位円６１を仮想的に考えてみる。カメラ基準方向sを(0,1)として、取得した画面表示位置座標に地物名称をマッピングする。画面表示位置座標はサーバで単位円内に投影されているため、画面表示位置の各座標値は-1.0〜1.0の範囲の値となる。このように画面表示位置を単位円座標で表すことにより、移動端末のハードウェア的な仕様に依存しない画面表示位置を定義することができる。
【００４９】
また、単位円６１内であるが端末画面６３内に入らない地物も存在しうるが、これらを区別せず移動端末３ａに送信するデータに含める。但し、そのようなデータは、最終的に移動端末３ａ側の表示判定で画面外となるため、表示されないようになる。また、同じ地物の代表点が複数検索された場合の表示は、全て表示する方法又はいずれか１つ表示を行う方法のいずれでもよいが、移動端末側において設定しておくのが好ましい。このようにして構成した移動端末受信データを、送受信部８を通して移動端末３ａに送信する（Ｓ４０６）。
【００５０】
図１３と図１４とはそれぞれ対応する図であり、図１３、図１４に示すように、表示部３ａの画像８５には、地物７１・７３・７５の画像の近傍の位置にその地物の名称等７１ａ・７３ａ・７５ａが表示される。これにより、ユーザは実際に見ているのと同様の３次元画像のうちの地物の位置と名称等を容易に認識することができる。また、移動により見える方向や大きさが異なるようになると、それに対応して地物の画像と名称も変更されていくため、移動し際して画像の見え方が変わってもそれに応じたナビゲートがされるという利点がある。
【００５１】
以上に説明したように、本発明の実施の形態によれば、移動端末装置にあっては、三次元地図情報のうち特に背景地図の情報の代わりに端末自身のカメラ撮影機能で撮影した画像を背景に用いることで、その撮影情報から得られる撮影条件情報を元に視認されるべき（可能であればさらにピントが合っている）地物名や建物名のデータのみをホストコンピュータから取得することができ、ホストコンピュータでの背景データの処理、データ転送、端末表示の時間が大幅に削減され、最新の背景地図を用いた三次元地図情報を端末装置上で構成し、軽快な操作を行うことができる。また、利用者が現在注目している地物を正確に同定できる情報を利用者に提供することができるという利点もある。
【００５２】
以下に参考文献を示す。
１）緯度・経度からジオイド高を求めることに関する参考文献：http://vldb.gsi.go.jp/sokuchi/geoid/calcgh/calcframe.html
２）緯度・経度と地心直交座標の相互換算に関する参考文献：http://vldb.gsi.go.jp/sokuchi/surveycalc/transf.html
【産業上の利用可能性】
【００５３】
本発明は、携帯電話機を利用したナビゲート装置に利用できる。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施の形態による画像関連情報表示システムの一構成例を示すシステム構成図である。
【図２】本実施の形態による移動端末の内部構成例を示すブロック図である。
【図３】三次元地物地名情報データベースに格納されているデータの構成例を示す図である。
【図４】配信サービス契約者一覧データベースに格納されているデータの構成例を示す図である。
【図５】移動端末がホストコンピュータへ送信するデータの構成例を示す図である。
【図６】移動端末がホストコンピュータから受信するデータの構成例を示す図である。
【図７】移動端末での処理手順の流れを示すフローチャート図である。
【図８】ホストシステムでの処理手順の流れを示すフローチャート図である。
【図９】撮影空間領域の具体的な形状例を示す模式図である。
【図１０】被写体距離と被写界深度との具体的な関係を模式的に示す図である。
【図１１】地物の具体的な検索方法を示す模式的な図である。
【図１２】検索結果の代表点座標から画面表示位置の計算方法を示す模式的な図である。
【図１３】地物の画面表示位置の座標の求め方について示した模式的な図である。
【図１４】移動端末の表示画面への画像と地物情報との重畳表示の表示例を示す図である。
【符号の説明】
【００５５】
3a、3b…移動端末、4…基地局、5…三次元地物地名情報データベース、6…ホストシステム、7…検索処理部、8…送受信部、9…公衆回線網、10…ホスト端末、11…配信サービス契約者一覧データベース、31…ジャイロ部、32…GPS部、33…カメラ撮影装置、34…表示装置、35…データ処理部、351…撮影データ処理部、352…地物地名データ処理部、36…地物情報格納部、37…撮影画像記憶部、38…送受信部、39…入力装置、51…ID、52…三次元地物代表点座標(NEH)、53…地物情報、54…地物名称、55…情報URL、56…三次元地物代表点座標(xyz)、111…契約者氏名、112…電話番号、113…契約期間、114…課金割引率、201…撮影地点ｘ座標、202…撮影地点ｙ座標、203…撮影地点ｚ座標、204…カメラ画角(対角線)、205…カメラ姿勢(ロール)、206…カメラ姿勢(ヨー)、207…カメラ姿勢(ピッチ)、208…発信元ID、209…被写界深度、210…被写体距離、211…最大望遠距離、501…ID、502…地物名称、503…画面表示位置(x,y)、504…地物種別
【技術分野】
【０００１】
本発明は、画像関連情報カメラ撮影機能を持つ携帯端末（移動端末）装置が撮影し表示させた画像に対応する地図データや位置情報などの関連情報を取得し表示する画像関連情報表示システムに関する。
【背景技術】
【０００２】
車両や道路交通網、公共輸送手段の発達に伴い、手軽に遠隔地に移動可能になってきている。しかしながら不慣れな地域においては、地図などの情報が不可欠なものとなる。
【０００３】
近年、携帯電話機などの移動端末を利用し、人工衛星からの電波を受信して検出した現在位置をホストシステムに送信し、現在位置周辺の地図情報を取得して利用者に現在位置と目的地とを提供するGPS（Global Positioning System）を利用したナビゲーションシステムが普及してきている。
【特許文献１】特開２００１−２０４０６２号公報（ナビゲーションシステム及びそれを用いたセンタ局及び無線基地局及び携帯端末及び地図抽出方法及び利用料金決済方法）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
歩行者用ナビゲーションシステムを用いて目的地を案内する場合に重要なことは、自分が現在居る場所と向いている方角に見える地物や建物を把握することである。そのためには、一般的な二次元の地図に現在地と現在進んでいる（向かっている）方角を表示する方法と、現在地と、向かっている方角に基づく三次元地図情報を表示する方法とがある。前者と後者とでは、後者の方法がより視覚的に認識しやすく直感的な把握も簡単であるため、有望である。
【０００５】
しかしながら、三次元地図情報を用いると、処理に必要なデータ量が多くなりすぎる。さらに、三次元図形表面にテクスチャ画像の貼り付け処理を行う場合には、その画面生成処理に要する計算量は膨大なものになる。ホストコンピュータでの処理、データ転送、端末表示の時間も長くなり、操作を開始してから端末に表示させるまでの遅延時間が大きすぎるという不都合が生じる。さらに、例えば景勝地などにおいて、複数の山などの同種の地物が多く観察できる場所、例えば展望台など目標とする地物が小さくなり定まりにくいところでは、現在注目したい地物（例えば山、視認が難しい建物）が具体的にどれであるかを同定することが難しくなるという不都合が生じる。
【０００６】
本発明の目的は、画像関連情報を表示する場合において、軽快な操作を可能とすることである。
【課題を解決するための手段】
【０００７】
三次元地図情報のうち特に背景地図の情報の代わりに端末自身のカメラ撮影機能で撮影した画像を背景に用いることで、その撮影情報から得られる撮影視点情報を元に地物名や建物名のデータのみをホストコンピュータから取得することによって、ホストコンピュータでの背景データの処理、データ転送、端末表示の時間を大幅に削減し、その場で撮影した背景地図を用いた三次元地図情報を端末装置上で構成し、利用者が現在注目している地物を正確に同定でき、軽快な操作が行える地図関連情報配信システムを提供することにある。
【０００８】
本発明の一観点によれば、地物の三次元位置情報と地物と関連する地物関連情報とを有する三次元地物地名情報を格納する三次元地物地名情報データベースを備えたホストシステムと、該ホストシステムと接続可能な複数の移動端末装置と、を有する画像関連情報表示システムであって、前記移動端末装置は、画像を撮影する画像撮影部と、現在位置を検出する現在位置検出部と、撮像時の三次元姿勢と撮影方角とを検出する三次元姿勢方角検出部と、通信部と、を有し、前記ホストシステムは、前記現在位置と前記三次元姿勢及び撮影方角とを前記移動端末装置から受け取り、これらの条件に基づいて前記三次元地物地名情報データベースを検索する検索部を有し、該検索部により検索された地物情報を受け取った前記移動体装置は、前記撮影画像と前記地物情報とを重畳して表示部に表示する表示制御部を備えることを特徴とする地図関連情報配信システムが提供される。
【０００９】
また、現在位置を取得する現在位置検索部と、三次元姿勢と撮影方角とを検出する三次元姿勢方角検出部と、画像を撮影する撮像部と、通信部と、を有する移動端末装置であって、前記画像撮影部により撮影した画像を背景とし、前記現在位置と前記三次元姿勢と撮影方角とに基づいて、画像に対応する地物関連情報を取得し、前記撮影画像と前記地物地名情報とを重畳表示する表示制御部と、を有することを特徴とする移動端末装置が提供される。
【発明の効果】
【００１０】
本発明の地図関連情報配信システムによれば、次のような効果がある。
（１）移動端末装置にあっては、三次元地図情報のうち特に背景地図の情報の代わりに端末自身のカメラ撮影機能で撮影した画像を背景に用いることで、その撮影情報から得られる撮影条件情報を元に視認される地物名や建物名のデータのみをホストコンピュータから取得することができる。従って、ホストコンピュータでの背景データの処理、データ転送、端末表示の時間を大幅に削減し、最新の背景地図を用いた三次元地図情報を端末装置上で構成し、軽快な操作を行うことができる。
【発明を実施するための最良の形態】
【００１１】
本明細書において、地物関連情報とは、主として、地物（建物、公園、橋、タワーなど）を特定するための情報（地物の名称など）と、地物と関連する情報（タワーの高さなど）を含むものである。
【００１２】
以下、図面を参照しながら、本発明の一実施の形態による画像関連情報表示システムについて説明する。図１は、本実施の形態による画像関連情報表示システムの一構成例を示す図である。図１に示すように、画像関連情報取得システムは、三次元地物地名情報データベース５と、配信サービス契約者一覧データベースＤＢ１１と、接続されているホストシステム６と、ホストシステム６から、地物地名情報を受信する複数の移動端末装置３ａ、３ｂ、…と、を有して構成され、この移動端末装置３ａ、３ｂ、…は、無線回線によって基地局４と接続されている。そして、基地局４は例えば有線の公衆回線網によるネットワーク９と接続され、このネットワーク９にホストシステム６が接続されている。移動端末装置３ａ、３ｂは、例えば携帯電話機、ＰＤＡなどである。
【００１３】
このように、移動端末装置３ａ、３ｂ、…とホストシステム６とは、基地局４に至る無線回線およびネットワーク９を介して接続されている。基地局４は、移動端末装置３ａ、３ｂ、…の無線送受信手段として、例えば携帯電話を利用した場合は携帯電話事業者が管理する基地局に相当する。ホストシステム６には、三次元地物地名情報データベース５に加えて、配信サービス契約者一覧データベース１１が設けられている。
【００１４】
ホストシステム６の三次元地物地名情報データベース５には、例えば日本全国の地物の三次元の代表点座標データと、これに対応する地物種別５３、地物名称５４、アクセス情報５５などを含む地物関連情報が登録されている。
【００１５】
ホストシステム６は、移動端末装置３からの地物情報の要求に対して、三次元地物地名情報データベース５への検索処理を行う検索処理部７と、移動端末装置３との間でデータの送受信を行う送受信部８と、を備えている。
【００１６】
ネットワーク９には、各地域の観光協会や地域自治体に設置されたホスト端末１０が接続されていても良く、このホスト端末１０によって、担当地域あるいは管轄地域の地物情報を登録したり更新したりすることができるように構成されていても良い。
【００１７】
図２は、移動端末装置３ａ、３ｂの一構成例を示す図である。移動端末装置３ａ、３ｂは、自装置の姿勢を検出するジャイロ部３１と、衛星からの電波を受信して自装置の現在位置を検出するＧＰＳ部３２と、画像を撮影する撮影装置（カメラ）３３と、処理結果を表示するＬＣＤ表示装置３４と、撮影情報と地物情報とに基づいて表示情報を作成するデータ処理部３５と、ホストコンピュータ６（図１）から取得した地物情報を格納する地物情報格納部３６と、撮影画像を記憶する撮影画像記憶部３７と、ホストコンピュータ６との通信を行う送受信部３８と、を有している。撮影装置（カメラ）３３には、測距に基づく合焦判定部が設けられていても良い。
【００１８】
データ処理部３５は、撮影データ処理部３５１と地物地名データ処理部３５２とを備えている。ジャイロ部３１は、移動端末装置３ａ、３ｂのカメラ撮影方向を検出するために、地磁気を検知する方位センサ(ヨー方向)と重力方向を検知する重力センサ(ロール＆ピッチ方向)を備えている。
【００１９】
三次元地物地名情報データベース５に格納される地物情報は、図 ３（Ａ）、（Ｂ）に示すように、ＩＤ５１と、三次元地物代表点座標(NEH) ５２、地物種別５３、地物名称５４、情報を取得することができる情報ＵＲＬ５５、三次元地物代表点座標(xyz)５６、の各データを含むように構成されている。三次元地物代表点座標(NEH) ５２は、携帯電話などでも用いられるＷＧＳ８４（world geodetic system）座標系に基づいた（緯度、経度、標高(ｍ)）の測地系座標で定義される地物の代表点である。三次元地物代表点座標(xyz)５６は三次元地物代表点座標(NEH) ５２に基づいて地心座標系へ変換を行った(x, y, z)の三次元座標であり、単位はメートルである。
【００２０】
前述のように、図３に示す三次元地物地名情報データベース５には、地物を管理するID５１と、三次元地物代表点座標(NEH)５２と、地物の種別を表す地物種別５３と、地物名称５４と、情報URL５５と、三次元地物代表点座標(xyz)５６と、を含む情報を有して構成されているが、三次元地物代表点座標(NEH)５２と、三次元地物代表点座標(xyz)５６と、は、地物の三次元図形情報を簡略化したものであり、１つの地物について１つ以上定義する。三次元地物代表点座標(NEH)５２は、該当する地物の代表点を、緯度(N)、経度(E)、標高(H)を用いて表したものであり、三次元地物代表点座標(xyz)５６には、三次元地物代表点座標(NEH)５２に基づいて、三次元の地心座標系に変換したx, y, z座標値が登録されている。
【００２１】
従って、地物ＩＤ５１との対応は、別データテーブルにして管理している。代表点の基準は、情報を知りたい地物の、特に注目される地点を登録することである。例えば、山であれば山頂、湖であればその中央部、建物であれば一階中心地点や建物の屋上中心地点などが代表点として挙げられ、公園など、領域が広範囲にわたる場合には、その領域に対して複数地点を例えば均等に割り当てるなどの手法を用いることができる。
【００２２】
図４は、サービス利用可能な移動端末を特定する配信サービス契約者一覧データベース１１が持つ主なデータ構成例を示す図である。図４には、契約者氏名１１１、電話番号１１２、契約期間１１３、課金割引率１１４が含まれており、各契約者毎のデータにより構成されている。
【００２３】
図５は、移動端末３ａ、３ｂがホストシステム６に対して地物情報の要求を行う送信データのフレーム構成例を示す図である。図５に示すように、撮影地点のｘ座標２０１、撮影地点のｙ座標２０２、撮影地点のｚ座標２０３、カメラ画角(対角線)２０４、カメラ姿勢(ロール)２０５、カメラ姿勢(ヨー)２０６、カメラ姿勢(ピッチ)２０７、発信元ＩＤ２０８、被写界深度２０９、被写体距離２１０、最大望遠距離２１１とを有して構成されている。撮影地点における座標値は、測地座標系に基づいて例えばＧＰＳにより取得できる座標値であり、緯度経度、標高に基づいて、最終的に地心座標系の三次元座標に変換された値である。尚、この座標変換はホストシステム側で行ってもよい。
【００２４】
被写界深度は、カメラ撮影装置のピントが合っている範囲を示す値である。被写体距離(メートル単位)は、最もピントが合っている場所と焦点との距離を示す値である。カメラ姿勢(ロール)／(ヨー)／(ピッチ)は、カメラの撮影方向が地面と水平かつ真北を指すときを基準とした角度で示される。最大望遠距離は、移動端末側で利用者が選択肢などから設定する値であり、撮影位置から代表点までの有効検索距離を決定するものである。これ以上離れた地物の代表点は検索対象から除外する。この値は、利用者の注目する地物について適切に検索条件を絞り込むとともに、地面を撮影して地球裏側の地物が検索結果に含まれてしまうといった不都合を防止する。
【００２５】
図６は、移動端末がホストシステムから受信する地物情報が持つデータの最低限の構成例を示す図である。地物を管理するＩＤ５０１と、地物名称５０２と、撮影中心を原点とする画角円周を単位円とみなしたときの地物の画面表示位置５０３と、地物種別５０４と、情報URL５０５と、を含む情報を有して構成されている。
【００２６】
以下、上記のように構成された歩行者用ナビゲーションシステムに関する動作について説明する。図７は、移動端末で実際に行われる操作ならびに動作を示すフローチャート図である。適宜、図１、図２を参照する。まず入力装置３９においてナビゲーション撮影モードに設定する（Ｓ３０１）。次に、カメラ撮影装置３３により、情報を取得したい領域を撮影する（Ｓ３０２）。カメラ撮影装置３３により例えばその周辺を撮影すると、移動端末３ａでは、ＧＰＳ部３２で現在位置を取得し（Ｓ３０３）、ジャイロ部３１で移動端末３の姿勢情報を取得し（Ｓ３０４）、カメラ撮影装置３３で撮影画像とカメラ画角と被写体距離と被写界深度とを取得する（Ｓ３０５）。
【００２７】
撮影画像データと取得情報とは、データ処理部３５の撮影データ処理部３５１に送られる。撮影画像は、撮影データ処理部３５１から撮影画像記憶部３７に送られ、取得情報は３５１内でホストシステムへの送信データ（詳細は図５を参照）に変換される。撮影データ処理部３５１は、このフレームを作成し送受信部３８を通してホストシステム６に送信する（Ｓ３０６）。ホストシステムでは、このデータを受信して返り値として地物情報（詳細は図３を参照）を送信（図８を参照して後述）する。移動端末３ａは、ホストシステムから送信された地物情報を送受信部３８で受信する（Ｓ３０７）。受信した地物情報は、データ処理部３５の地物地名データ処理部３５２に送られ、地物情報の解析を行う。次いで、データ処理部３５において、撮影画像データと地物情報とをあわせて表示可能なデータに変換して表示装置３４に送り、重畳表示させる。後述する図１４は、この重畳表示の画面表示例を示す図である。画面表示を完了した後は、入力装置３９から継続操作を行うと撮影処理Ｓ３０２に移行し、終了操作を行うとナビゲーション撮影モード終了Ｓ３０９に移行することができる（Ｓ３０８、Ｓ３０８’）。
【００２８】
また、カメラ撮影装置に動画撮影機能が備えられている場合は、スナップショット的に一定時間間隔で撮影情報をホストシステムに送信し、対応する地物情報を受信して画面に重畳表示することにより、撮影動画への対応も可能となる。
【００２９】
図８は、ホストシステム６が移動端末３ａから送信されたデータから地物情報の検索を行い、検索結果を移動端末３ａに送信するまでの処理の流れを示すフローチャート図である。まず、ホストシステム６は、送受信部８を通して移動端末３からの送信データを受信する（Ｓ４０１）。受信したデータは、検索処理部７に送られる。検索処理部７では、発信元ＩＤ２０８を取り出し、配信サービス契約者一覧データベース１１に対して照合が行われる（Ｓ４０２）。取得した発信元ＩＤ２０８と同じ電話番号１１２を持つ契約者情報があり、かつ、そのアクセス日が契約期間１１３の範囲内にあることをもって、該当ありとみなす。該当がない場合は、ここで送受信部８を通して、エラーを移動端末３ａに送信して処理を終了する（Ｓ４０７）。該当ありの場合は、検索処理部７において、残りの撮影情報を取り出し（Ｓ４０３）、撮影情報から得られる撮影空間領域で地物を検索する（Ｓ４０４）。取得した検索結果から、座標値変換や名称、URL情報などの地物関連情報の埋め込みを行い、その結果を移動端末への送信情報に変換する（Ｓ４０５）。このようにして変換した地物関連情報を移動端末に送信する（Ｓ４０６）。
【００３０】
図９は、この撮影操作の具体的な状況を示す模式的な図である。図９（Ａ）は側面図、図９（Ｂ）は上面図である。図９に示すように、撮影空間領域は、移動端末位置(x, y, z)を頂点に持ち、カメラ画角θを頂角に持ち、方向ベクトルr(rx, ry, rz)の方向に広がる三次元円錐形の領域となる。図５に示す取得した撮影情報のうち撮影地点ｘ座標２０１、撮影地点ｙ座標２０２、撮影地点ｚ座標２０３を、移動端末のカメラ焦点位置とみなしてよい。また、カメラ姿勢(ロール)２０５、カメラ姿勢(ヨー)２０６、カメラ姿勢(ピッチ)２０７に基づいて、撮影方向である三次元方向ベクトルr(rx, ry, rz)とカメラ基準方向s(sx, sy, sz)とが定まる。撮影方向rは、カメラが向いている方向を示し、カメラ基準方向sは撮影画面の”上が向いている方向”を示す。画角２０４をもとに、三次元円錐形の頂角となる画角θが定まる。さらに、カメラ撮影装置にピント合わせ機能がある場合は、被写界深度２０９、被写体距離２１０の値を取得することにより、深度方向の有効範囲（ピントが合っている範囲）を定めることができる。この撮影空間領域を用いて、視認できる地物を三次元地物地名情報データベース５から検索する（Ｓ４０４）。
【００３１】
図１０から図１２までは、Ｓ４０４のより具体的な検索方法を示す模式図である。図１０は、一般的にカメラ装置によって被写体５７を撮影する場合の被写体距離Ｌと被写界深度ｌとの関係を模式的に示した図である。ピントを合わせて（焦点５３、画素５１）撮影した場合の検索結果は、この被写界深度ｌの範囲外の地物が検索されないため、利用者が特に注目している地物について適切な検索結果を得ることができる。
【００３２】
図１１に示すように、この場合の検索条件として、移動端末３の位置(x, y, z)、カメラ装置の撮影方向ベクトル(rx, ry, rz)ならびにカメラ基準方向s(sx, sy, sz)、画角θ、さらにカメラ撮影装置にピント合わせ機能がある場合は被写界深度l、被写体距離Ｌ、の値を取得することができる。これらの値に基づいて、カメラが撮影可能な領域として頂点(x, y, z)、頂角θ、方向(rx, ry, rz)の円錐領域を定義することができる。さらに、被写界深度lと被写体距離Lとが取得できる場合は、焦点位置から距離[L - l/2, L + l/2]の範囲の円錐台が定義できる。この円錐領域または円錐台に含まれる地物４３の代表点４５（図９を参照）を求めることにより検索処理を行うことができる。
【００３３】
但し、上記の円錐領域の検索処理においては、遠すぎる地物や、地球の裏側など本来見えない位置にあるデータを除外することが好ましい。そのために、利用者が適当な検索結果を得る目的で、円錐領域検索処理においては、焦点位置から代表点１〜３までの距離に対して適切な限界値Ｍ(例えば１ｋｍ／５ｋｍ／１０ｋｍ／５０ｋｍ)を移動端末３ａ側で設定できるのが好ましい。
【００３４】
この円錐領域に含まれる地物の検索条件(ケース１)としては、焦点位置(x, y, z)から代表点(a, b, c)に向かうベクトルをt(tx, ty, tz)とし、撮影方向ベクトルをr(rx, ry, rz)としたとき、
（１）：tの長さが限界値Ｍ以下であること
（２）：tとrのなす角度がθ/２以下であること
である。
【００３５】
さらに、被写界深度lと被写体距離Ｌとが取得できる場合の円錐台に含まれる地物の検索条件(ケース２)は、上記（１）、（２）を満たすものであり、かつ、
（３）：焦点位置と代表点との距離Ｒが[L - l/2, L + l/2]の範囲にあること
である。
【００３６】
いずれのケースにおいても、代表点列を取得する具体的な検索ＳＱＬは、ベクトルの角度を用いるため、検索する代表点の座標は緯度経度座標５２ではなく、変換後の三次元座標５６を用いて検索を行う。ＳＱＬは、ベクトルの内積公式とベクトルの長さとを用いて、例えば以下のように表すことができる。
【００３７】
尚、t・rはベクトルの内積、|t|はベクトルtの長さ、|r|はベクトルrの長さである。また、ここで、|t| = sqrt(tx2 + ty2 + tz2)である。
尚、sqrt(x)はxの平方根を表す。
【００３８】
また、ベクトルの内積の公式より、
t・r = (tx, ty, tz)・(rx, ry, rz) = tx*rx + ty*ry + tz*rz = |t||r|cos(α)
が成り立つ。
【００３９】
ここで、cosは余弦関数を表し、αはベクトルtとrの成す角(ラジアン単位)を表す。このとき、上記（１）〜（３）の条件は、以下のように表現することができる。
（１）ベクトルtの長さがM以下より、|t|≦M と表すことができる。
（２）ベクトルtとrの成す角をφとすると、内積の公式より
t・r = |t||r|cos(φ)
t・r / |t||r| = cos(φ)
が成り立つ。
【００４０】
ここで画角θは、一般的に0＜θ＜π(ラジアン)とし、この範囲でcos(θ)は単調減少関数であることより、φ≦αならばcos(α)≧cos(φ)が成り立つ。すなわちφ≦θ/2であればcos(φ) ≧ cos(θ/2)であり、したがって画角範囲内に収まる条件は、
t・r / |t||r| ≧ cos(θ/2)
と表すことができる。
【００４１】
（３）ベクトルtの長さがL - l/2以上L + l/2以下より、
L - l/2 ≦ |t| ≦ L + l/2 と表すことができる。
【００４２】
以上の結果より、
（ケース１）
Select * from 代表点テーブル
ここで、 (|t|≦M) and ( (t・r) / |t||r| ≧ cos(θ/2) )である。
【００４３】
同様にして、ケース２において地物ID列を取得する具体的な検索SQLは次のように表すことができる。
【００４４】
（ケース２）
Select * from 代表点テーブル
ここで (|t|≦M) and ( (t・r) / |t||r| ≧ cos(θ/2) ) and (L - l/2 ≦ |t| ≦ L + l/2)である。
【００４５】
この検索を図１１に当てはめると、代表点１は検索されるが、代表点２は条件（１）の限界値Mを超えるため検索されない。また、代表点3は条件（２）のなす角φが画角θ/2をはみ出すため検索されない。また、代表点4はケース２の場合に限り、条件（３）のピント範囲をはみ出すため検索されない（但し、ケース１ではピント範囲を条件に持たないため検索される）。
【００４６】
次に、検索結果を移動端末への送信情報に変換する動作（Ｓ４０５）について説明する。以上の検索で得られた結果に対して、各代表点座標値５６と撮影方向ベクトルｒとカメラ基準方向ｓとを元に、画面表示位置５０３を求める。ここで、焦点位置(x,y,z)を原点(0,0,0)に平行移動したのち、原点を中心とする回転で撮影方向ベクトルrをr’(|r|,0,0)に移し、かつ、カメラ基準方向ベクトルsをs’(0,0,|s|)に移すような三次元ベクトルのアフィン変換を求め、すべての座標値に施す。これによって一般性を損なうことなく、計算しやすい形に帰着させることができる。
【００４７】
図１２は、上記のアフィン変換を行った前後の様子を示す図である。三次元アフィン変換前後において、この場合は、特に平行移動と回転移動だけである拡大縮小はない場合のそれぞれのベクトルが移る様子を図示したものである。図１１に示されている図と同様の変換前の図（図１２の下の図）から上の図へと変換される様子が示されている。尚、Ｙ軸は紙面に垂直な軸である。図１２に示すように、三次元アフィン変換により、原点(0,0,0)を通り方向ベクトルt’の直線が、平面X=-cot(θ/2)と交わる点として、単位円画面に投影された画面表示位置(Ｙ，Ｚ)を求めることができる。このようにして得られる地物情報を元に、移動端末受信データ（図６）を構成することができる。
【００４８】
図１３は、地物の画面表示位置座標の表示について示した模式的な図である。端末画面６３の対角線６５を直径とし、端末画面と中心（白抜きの丸印）を同じくする単位円６１を仮想的に考えてみる。カメラ基準方向sを(0,1)として、取得した画面表示位置座標に地物名称をマッピングする。画面表示位置座標はサーバで単位円内に投影されているため、画面表示位置の各座標値は-1.0〜1.0の範囲の値となる。このように画面表示位置を単位円座標で表すことにより、移動端末のハードウェア的な仕様に依存しない画面表示位置を定義することができる。
【００４９】
また、単位円６１内であるが端末画面６３内に入らない地物も存在しうるが、これらを区別せず移動端末３ａに送信するデータに含める。但し、そのようなデータは、最終的に移動端末３ａ側の表示判定で画面外となるため、表示されないようになる。また、同じ地物の代表点が複数検索された場合の表示は、全て表示する方法又はいずれか１つ表示を行う方法のいずれでもよいが、移動端末側において設定しておくのが好ましい。このようにして構成した移動端末受信データを、送受信部８を通して移動端末３ａに送信する（Ｓ４０６）。
【００５０】
図１３と図１４とはそれぞれ対応する図であり、図１３、図１４に示すように、表示部３ａの画像８５には、地物７１・７３・７５の画像の近傍の位置にその地物の名称等７１ａ・７３ａ・７５ａが表示される。これにより、ユーザは実際に見ているのと同様の３次元画像のうちの地物の位置と名称等を容易に認識することができる。また、移動により見える方向や大きさが異なるようになると、それに対応して地物の画像と名称も変更されていくため、移動し際して画像の見え方が変わってもそれに応じたナビゲートがされるという利点がある。
【００５１】
以上に説明したように、本発明の実施の形態によれば、移動端末装置にあっては、三次元地図情報のうち特に背景地図の情報の代わりに端末自身のカメラ撮影機能で撮影した画像を背景に用いることで、その撮影情報から得られる撮影条件情報を元に視認されるべき（可能であればさらにピントが合っている）地物名や建物名のデータのみをホストコンピュータから取得することができ、ホストコンピュータでの背景データの処理、データ転送、端末表示の時間が大幅に削減され、最新の背景地図を用いた三次元地図情報を端末装置上で構成し、軽快な操作を行うことができる。また、利用者が現在注目している地物を正確に同定できる情報を利用者に提供することができるという利点もある。
【００５２】
以下に参考文献を示す。
１）緯度・経度からジオイド高を求めることに関する参考文献：http://vldb.gsi.go.jp/sokuchi/geoid/calcgh/calcframe.html
２）緯度・経度と地心直交座標の相互換算に関する参考文献：http://vldb.gsi.go.jp/sokuchi/surveycalc/transf.html
【産業上の利用可能性】
【００５３】
本発明は、携帯電話機を利用したナビゲート装置に利用できる。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施の形態による画像関連情報表示システムの一構成例を示すシステム構成図である。
【図２】本実施の形態による移動端末の内部構成例を示すブロック図である。
【図３】三次元地物地名情報データベースに格納されているデータの構成例を示す図である。
【図４】配信サービス契約者一覧データベースに格納されているデータの構成例を示す図である。
【図５】移動端末がホストコンピュータへ送信するデータの構成例を示す図である。
【図６】移動端末がホストコンピュータから受信するデータの構成例を示す図である。
【図７】移動端末での処理手順の流れを示すフローチャート図である。
【図８】ホストシステムでの処理手順の流れを示すフローチャート図である。
【図９】撮影空間領域の具体的な形状例を示す模式図である。
【図１０】被写体距離と被写界深度との具体的な関係を模式的に示す図である。
【図１１】地物の具体的な検索方法を示す模式的な図である。
【図１２】検索結果の代表点座標から画面表示位置の計算方法を示す模式的な図である。
【図１３】地物の画面表示位置の座標の求め方について示した模式的な図である。
【図１４】移動端末の表示画面への画像と地物情報との重畳表示の表示例を示す図である。
【符号の説明】
【００５５】
3a、3b…移動端末、4…基地局、5…三次元地物地名情報データベース、6…ホストシステム、7…検索処理部、8…送受信部、9…公衆回線網、10…ホスト端末、11…配信サービス契約者一覧データベース、31…ジャイロ部、32…GPS部、33…カメラ撮影装置、34…表示装置、35…データ処理部、351…撮影データ処理部、352…地物地名データ処理部、36…地物情報格納部、37…撮影画像記憶部、38…送受信部、39…入力装置、51…ID、52…三次元地物代表点座標(NEH)、53…地物情報、54…地物名称、55…情報URL、56…三次元地物代表点座標(xyz)、111…契約者氏名、112…電話番号、113…契約期間、114…課金割引率、201…撮影地点ｘ座標、202…撮影地点ｙ座標、203…撮影地点ｚ座標、204…カメラ画角(対角線)、205…カメラ姿勢(ロール)、206…カメラ姿勢(ヨー)、207…カメラ姿勢(ピッチ)、208…発信元ID、209…被写界深度、210…被写体距離、211…最大望遠距離、501…ID、502…地物名称、503…画面表示位置(x,y)、504…地物種別
【特許請求の範囲】
【請求項１】
地物の三次元位置情報と地物と関連する地物関連情報とを有する三次元地物地名情報を格納する三次元地物地名情報データベースを備えたホストシステムと、該ホストシステムと接続可能な複数の移動端末装置と、を有する画像関連情報表示システムであって、
前記移動端末装置は、画像を撮影する画像撮影部と、現在位置を検出する現在位置検出部と、撮像時の三次元姿勢と撮影方角とを検出する三次元姿勢方角検出部と、通信部と、を有し、
前記ホストシステムは、前記現在位置と前記三次元姿勢及び撮影方角とを前記移動端末装置から受け取り、これらの条件に基づいて前記三次元地物地名情報データベースを検索する検索部を有し、
該検索部により検索された地物情報を受け取った前記移動体装置は、前記撮影画像と前記地物情報とを重畳して表示部に表示する表示制御部を備えることを特徴とする地図関連情報配信システム。
【請求項２】
現在位置を取得する現在位置検索部と、三次元姿勢と撮影方角とを検出する三次元姿勢方角検出部と、画像を撮影する撮像部と、通信部と、を有する移動端末装置であって、
前記画像撮影部により撮影した画像を背景とし、前記現在位置と前記三次元姿勢と撮影方角とに基づいて、画像に対応し地物と関連する地物関連情報を取得し、前記撮影画像と前記地物地名情報とを重畳表示する表示制御部と、を有することを特徴とする移動端末装置。
【請求項３】
前記カメラ撮影装置が合焦機能を有し、前記画像撮影部により画像に撮影されており、かつ、合焦している地物に対して該地物と対応する前記地名関連情報を重畳表示することを特徴とする請求項２に記載の移動端末装置。
【請求項４】
前記合焦機能に基づいて、被写界深度ｌと、被写体距離Ｌと、を取得し、焦点位置から距離[Ｌ - ｌ／２,Ｌ + ｌ／２]の範囲の円錐台を定義し、該円錐台に含まれる地物の代表点を求め、この代表点より特定される地物を視認できる地物として前記三次元地物地名情報データベースに基づいて前記地物関連情報を検索することを特徴とする請求項３に記載の移動端末装置。
【請求項５】
前記移動端末位置(x, y, z)を頂点に持ち、カメラ画角θを頂角に持ち、方向ベクトルr(rx, ry, rz)の方向に広がる三次元円錐形の領域を仮想撮影空間領域として定義し、前記現在位置検出部により検出された位置をカメラ焦点位置とみなし、前記三次元姿勢方角検出部により検出されたカメラの姿勢に基づいて、撮影方向である三次元方向ベクトルr(rx, ry, rz)とカメラ基準方向s(sx, sy, sz)とを定め、カメラ画角をもとに、前記三次元円錐形の頂角となる画角θを定めることを特徴とする請求項２から４までのいずれか１項に記載の移動端末装置。
【請求項６】
位置情報を表示する際に、表示部の画面の対角線を直径とする単位円内平面で座標を定義することを特徴とする請求項２から５までのいずれか１項に記載の移動端末装置。
【請求項１】
地物の三次元位置情報と地物と関連する地物関連情報とを有する三次元地物地名情報を格納する三次元地物地名情報データベースを備えたホストシステムと、該ホストシステムと接続可能な複数の移動端末装置と、を有する画像関連情報表示システムであって、
前記移動端末装置は、画像を撮影する画像撮影部と、現在位置を検出する現在位置検出部と、撮像時の三次元姿勢と撮影方角とを検出する三次元姿勢方角検出部と、通信部と、を有し、
前記ホストシステムは、前記現在位置と前記三次元姿勢及び撮影方角とを前記移動端末装置から受け取り、これらの条件に基づいて前記三次元地物地名情報データベースを検索する検索部を有し、
該検索部により検索された地物情報を受け取った前記移動体装置は、前記撮影画像と前記地物情報とを重畳して表示部に表示する表示制御部を備えることを特徴とする地図関連情報配信システム。
【請求項２】
現在位置を取得する現在位置検索部と、三次元姿勢と撮影方角とを検出する三次元姿勢方角検出部と、画像を撮影する撮像部と、通信部と、を有する移動端末装置であって、
前記画像撮影部により撮影した画像を背景とし、前記現在位置と前記三次元姿勢と撮影方角とに基づいて、画像に対応し地物と関連する地物関連情報を取得し、前記撮影画像と前記地物地名情報とを重畳表示する表示制御部と、を有することを特徴とする移動端末装置。
【請求項３】
前記カメラ撮影装置が合焦機能を有し、前記画像撮影部により画像に撮影されており、かつ、合焦している地物に対して該地物と対応する前記地名関連情報を重畳表示することを特徴とする請求項２に記載の移動端末装置。
【請求項４】
前記合焦機能に基づいて、被写界深度ｌと、被写体距離Ｌと、を取得し、焦点位置から距離[Ｌ - ｌ／２,Ｌ + ｌ／２]の範囲の円錐台を定義し、該円錐台に含まれる地物の代表点を求め、この代表点より特定される地物を視認できる地物として前記三次元地物地名情報データベースに基づいて前記地物関連情報を検索することを特徴とする請求項３に記載の移動端末装置。
【請求項５】
前記移動端末位置(x, y, z)を頂点に持ち、カメラ画角θを頂角に持ち、方向ベクトルr(rx, ry, rz)の方向に広がる三次元円錐形の領域を仮想撮影空間領域として定義し、前記現在位置検出部により検出された位置をカメラ焦点位置とみなし、前記三次元姿勢方角検出部により検出されたカメラの姿勢に基づいて、撮影方向である三次元方向ベクトルr(rx, ry, rz)とカメラ基準方向s(sx, sy, sz)とを定め、カメラ画角をもとに、前記三次元円錐形の頂角となる画角θを定めることを特徴とする請求項２から４までのいずれか１項に記載の移動端末装置。
【請求項６】
位置情報を表示する際に、表示部の画面の対角線を直径とする単位円内平面で座標を定義することを特徴とする請求項２から５までのいずれか１項に記載の移動端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−１５８５８３（Ｐ２００８−１５８５８３Ａ）
【公開日】平成２０年７月１０日（２００８．７．１０）
【国際特許分類】
【出願番号】特願２００６−３４３４３８（Ｐ２００６−３４３４３８）
【出願日】平成１８年１２月２０日（２００６．１２．２０）
【出願人】（０００２３３０５５）日立ソフトウエアエンジニアリング株式会社 (1,610)
【Ｆターム（参考）】
【公開日】平成２０年７月１０日（２００８．７．１０）
【国際特許分類】
【出願日】平成１８年１２月２０日（２００６．１２．２０）
【出願人】（０００２３３０５５）日立ソフトウエアエンジニアリング株式会社 (1,610)
【Ｆターム（参考）】
[ Back to top ]