視界の外にある移動する対象の情報を視界を投影する機器画面上に重畳して表示するシステム
【課題】 視界の外にある移動する対象の情報を視界を投影する機器画面上に重畳して表示する拡張現実提示システムを提供すること。
【解決手段】 携帯型多機能機器１（１０３）及び携帯型多機能機器２（１０４）の距離が予め定めた距離を超えた際、視界の外にある対象の現在地の位置をユーザの所持する機器の表示部２０２に重畳して表示することができる。
【解決手段】 携帯型多機能機器１（１０３）及び携帯型多機能機器２（１０４）の距離が予め定めた距離を超えた際、視界の外にある対象の現在地の位置をユーザの所持する機器の表示部２０２に重畳して表示することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間の映像を連続して投影する機器画面上に、携帯型多機能機器で生成した付加情報を重畳表示させる拡張現実に関わる発明である。
【背景技術】
【０００２】
携帯型多機能機器の高機能化、多機能化が進んている。この進歩によりＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や通信キャリアの基地局を利用した精度の高い位置情報の取得が可能となり、多くの携帯型多機能機器に搭載されていることで普及も進んでいる。
【０００３】
このような携帯型多機能機器を利用して人間、もしくは物体を捜索する技術が開発されてきた。ＩＥＥＥ ８０２．１５．１を用いてユーザと対象を予めペアリングしておき、迷子紐を着けているような状態にし、対象が一定の距離離れるとブザーを鳴らしてユーザに通知する技術や、ＧＰＳ衛星からの電波を受信し、ユーザの現在置の位置情報と対象機器の現在地の位置情報を用いて二次元の地図上に対象機器の現在の位置をプロットし、ユーザに提示する技術などがある。
【０００４】
一方ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）とよばれる技術が注目されている。現実世界内にコンピュータの生成する仮想物体や情報を、あたかもそれがそこにあるかのように重畳表示し、ユーザに提示する技術である。現実世界の中に設定した世界座標系と仮想世界内に定義した世界座標系を一致させる必要があり、ユーザの動きに合わせて表示位置がリアルタイムに更新される必要がある。
【０００５】
また、特許第３７０００２１号には、対象の位置を予めサーバに登録し、機器は、必要に応じてサーバから対象の位置情報を取得し、現実空間の映像を連続して投影する機器画面上に重畳して表示するＡＲ技術について開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３７０００２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許第３７０００２１号に記載されたＡＲ技術は、カメラの位置及び姿勢に応じて記録装置からデータを取得し実画像に重畳するものであるため、対象の位置を予め記憶装置に登録しておく必要がある。したがって、対象の現在地が視界外でかつ動くものである場合、特許第３７０００２１号のＡＲ技術では対応できないという課題がある。
【０００８】
また、ＧＰＳから取得した対象の現在地の情報を二次元の地図上にプロットし、ユーザに提示する技術に関しても、当該地域の環境に左右されやすく、対象を即急に捜索できる様態にはなっていないという課題がある。具体的には、未知の場所や、ランドマークとなる建造物がない場所、夜間などでは、二次元地図上の表示では、現在地から対象までの相対的な距離及び方向が認識できず対象の捜索が困難である。
【０００９】
そこで本発明は、視界の外にいる対象の現在地とユーザの現在地との相対的な距離及び方角を算出し、結果を動的及び距離に関わらず実画面上の映像を投影する機器画面上に重畳して表示する拡張現実感システムを提供し、これらの課題を解決する。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明のシステムは、携帯型多機能機器間の距離を計測する無線部と、前記無線部が計測した距離によりその機器の位置情報を取得するか判断する制御部、ＧＰＳ衛星からその機器の現在の位置情報を取得する位置情報取得部と、位置情報提供サーバに接続して通信する通信部と、その機器の現在向いている方向を取得するセンサ部と、携帯型多機能機器１の現在の位置情報及び携帯型多機能機器２の現在の位置情報を元に付加情報を生成する生成部と、その機器の現在地の実空間の映像を連続して取得するカメラ部と、前記カメラ部より取得した映像、及び前記表示部で生成した付加情報を重畳表示する表示部と、を備えた携帯型多機能機器１と、前記携帯型多機能機器１と同様の機能を備えた携帯型多機能機器２と、前記携帯型多機能機器１及び前記携帯型多機能機器２との認証、片機器からの現在地の位置情報をもう片方の機器に送信する機能を持つ位置情報提供サーバから構成されるシステムであり、捜索対象の位置を距離に関わらず前記携帯型多機能機器２の現在地の位置を携帯型多機能機器１の有する表示部に前記カメラ部の映像と重畳して表示する。以降説明を明瞭にするためユーザの所持する機器を携帯型多機能機器１とし、捜索される対象が所持する機器を携帯型多機能機器２とするが、システム運用の際は、ユーザの所持する機器を携帯型多機能機器２、捜索される対象を携帯型多機能機器１とすることも可能である。
【００１１】
前記無線部は、前記携帯型多機能機器１と前記携帯型多機能機器２間の距離を計測することを目的としており、前記携帯型多機能機器１では、距離測定の要求を行い、前記携帯型多機能機器２では、前記携帯型多機能機器１から発せられた要求を受けることができる。このステップにより、両機器は相互の距離を認識することができる。
【００１２】
前記制御部は、前記無線部で計測された距離が予め指定した距離を超える、もしくは前記携帯型多機能機器１及び前記携帯型多機能機器２の距離が前記計測部により計測不能な範囲に移動した際に機能するものであり、前記制御部は、前記位置情報取得部に対して位置情報取得要求を送信することができる。このステップにより、前記携帯型多機能機器１及び前記携帯型多機能機器２は必要な際にだけＧＰＳ衛星から位置情報を取得することになり、電池消費を抑える効果がある。
【００１３】
前記位置情報取得部がＧＰＳ衛星から取得する位置情報は、現在の位置を判断することを目的としており、位置情報には、緯度、経度、高度の全てもしくはいずれかの情報を含む。前述したとおり、前記位置情報取得部は、前記制御部からの位置情報取得要求がない限り動作しない。
【００１４】
前記センサ部では、地磁気センサ、傾きセンサ、ジャイロセンサの値を取得する。このステップにより、その機器の現在の向いている方向を判断する。
【００１５】
前記生成部は、前記携帯型多機能機器２の現在地の位置情報を前記位置情報提供サーバから取得した前記携帯型多機能機器１が付加情報を生成することを目的とする。前記携帯型多機能機器１は、両機器の位置情報を元に機器間の距離と前記携帯型多機能機器１が現在向いてる方向に対した前記携帯型多機能機器２とのなす角を算出し、この２値と前記携帯型多機能機器１のカメラ部の表示可能角度及び前記携帯型多機能機器１の現在地の方位角から付加情報を生成する。このステップにより、前記携帯型多機能機器１は、前記携帯型多機能機器２に関する付加情報を両機器間の距離に関わらず生成することができる。
【００１６】
前記表示部は、前記携帯型多機能機器１が前記携帯型多機能機器２の方向を向いた際に前記生成部より生成した付加情報を前記カメラ部の映像に重畳して表示するものである。また、前記表示部は、前記携帯型多機能機器１の現在の向きに関わらず、前記携帯型多機能機器１の現在地からみた前記携帯型多機能機器２がある方向に矢印状のオブジェクトを前記カメラ部の映像に重畳して表示することができる。この機能により、ユーザは、前記携帯型多機能機器１からみた前記対象の方向を瞬時に認識することができる。
【００１７】
前記位置情報提供サーバは、有線もしくは無線ネットワークに接続してあり、前記携帯型多機能機器１及び前記携帯型多機能機器２との通信が可能である。
【００１８】
前記位置情報提供サーバは、前記携帯型多機能機器１及び前記携帯型多機能機器２のＩＤ及びパスワード保持しており、前記携帯型多機能機器１及び前記携帯型多機能機器２が接続要求を送信してきた際は、この情報を元にログイン処理を行なうことができる。前記位置情報提供サーバは、前記携帯型多機能機器１及び前記携帯型多機能機器２の両方が認証を行い、前記位置情報提供サーバにログインした際のみ、前記携帯型多機能機器２の現在地の位置情報を前記携帯型多機能機器１に送信する。この機能により、機器所有者を特定すると同時に余計な通信を抑え、前記位置情報提供サーバへの負担を軽減することができる。
【００１９】
この発明によれば、前記携帯型多機能機器１は、前記位置情報提供サーバを通して前記携帯型多機能機器２の現在地の位置情報を取得することができる。
【発明の効果】
【００２０】
本発明により、前記携帯型多機能機器１は、前記携帯型多機能機器２から取得した現在地の位置情報を元に付加情報を生成することができ、通信環境が整っている場所であれば、視界外の前記対象の現在地を前記カメラ部の映像に重畳して表示することができ、ユーザは瞬時に前記対象の距離及び方向を認識することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明のシステムの構成を概要的に示した図である。
【図２】携帯型多機能機器の有する機能を概略的に示した図である。
【図３】携帯型多機能機器１及び携帯型多機能機器２が有する無線部の動作を概略的に示した図である。
【図４】対象の現在地に関する付加情報を前記携帯型多機能機器１のカメラ部の映像に重畳して表示している図である。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の拡張現実提示システムの構成を概略的に示した図面である。携帯型多機能機器１（１０３）及び携帯型多機能機器２（１０４）と位置情報提供サーバ１０５から構成されるシステムである。図２は、前記携帯型多機能機器が有する機能を概略的に示した図である。前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）は、無線部２００、制御部２０１、位置情報取得部２０４、通信部２０５、センサ部２０１、生成部２０７、カメラ部２０６、表示部２０２を備えている。しかし、捜索対象となる前記携帯型多機能機器２（１０４）に限っては、前記無線部２００、前記制御部２０３、前記位置情報取得部２０４、前記通信部２０５、前記表示部２０２を備えることで本システムは運用可能である。前述したとおり、前記携帯型多機能機器１（１０３）をユーザ、前記携帯型多機能機器２（１０４）を捜索対象として述べる。
【００２３】
前記位置情報提供サーバ１０５は、無線もしくは有線によってネットワークに参加しており、前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）とデータの送受信が可能である。また、前記携帯型多機能機器１（１０３）もしくは前記携帯型多機能機器２（１０４）が前記位置情報提供サーバ１０５に認証を要求してきた際は、予め登録されてるＩＤとパスワードと比較し、認証を行う認証部と、認証に成功した機器に対し、対象の現在地の位置情報を送信する送信部を備えている。以下、前記携帯型多機能機器（１０３、１０４）及び前記位置情報提供サーバ１０５について詳細に述べる。
【００２４】
前記無線部２００では、前記携帯型多機能機器１（１０３）と前記携帯型多機能機器２（１０４）間の推定距離を計測する機能を備えている。本段落では、ＩＥＥＥ ８０２．１５．１を用いて述べるが、同様の機能を有する無線モジュールなら代替可能である。図３は。前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）の備える無線部が動作をしている様子を概略的に示した図である。まず、前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）を予めペアリングし、前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）間で通信が行える状態にする。相互にメッセージを送受信し、両機器が無線モジュールの通信可能範囲内にいることを認識すると同時に、ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）の値を元に前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）は、両機器間の距離を測定する。
【００２５】
前記制御部２０３では、前記無線部２００によって計測された距離及び、通信可能範囲外に前記携帯型多機能機器２（１０４）が移動したことを判断し、前記位置情報取得部２０４に判断結果を通知する。前記無線部２００が計測した距離と予め指定した距離とを比較し、指定した距離以上の範囲に前記携帯型多機能機器２（１０４）が移動した際は、その機器の前記位置情報取得部２０４に対して位置情報取得命令を送信する。前記比較処理は定期的に実行するが、ある程度時間が経過しても前記無線部２００が計測した距離を前記制御部２０３が受信できない場合は、前記携帯型多機能機器２（１０４）が前記無線部２００の通信可能範囲外に移動したとしてその機器の前記位置情報取得部２０４に対して位置情報取得命令を送信する。
【００２６】
前記位置情報取得部２０４では。前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）に備えられたＧＰＳモジュールが、その機器の現在地の位置情報を取得する。本発明の指す位置情報とは、緯度、経度、高度であり、３次元測位を行うため４つ以上のＧＰＳ衛星１００からの電波を受信することが好ましいが、３つのＧＰＳ衛星１００による２次元測位でも利用可能である。また、位置測位のアシスト機能を有したＡＧＰＳ（Ａｓｓｉｓｔｅｄ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や、複数の無線基地局からの電波強度による位置推定でも利用可能である。
【００２７】
前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）に搭載された通信部は、ネットワークを通じて前記位置情報提供サーバ１０５に対し、認証要求、位置情報送信を行うことが可能である。認証のステップでは、ユーザが予め入力したＩＤ及びパスワードを前記位置情報提供サーバ１０５に送信する。前記位置情報提供サーバ１０５では、認証要求を送信してきた機器に認証結果を送信し、その結果を受け取った機器は、その機器の現在地の位置情報を定期的に前記位置情報提供サーバ１０５に送信する。本発明では、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信環境下での運用を想定しているが、通信環境が整っていればＷＩＦＩによる通信でも可能である。
【００２８】
前記センサ部２０１では、その機器の現在の方向姿勢、角度を計算することが可能である。前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）は、常に同じ姿勢、向きにあるとは限らない。そこで、地磁気センサ、傾きセンサ、ジャイロセンサを用いてその機器の現在の方向を算出し、それを動的に更新、補正することで、常に最適な状態で本システムを利用することが可能となる。
【００２９】
前記生成部２０７では、前記表示部２０２に表示された実画面上の映像に重畳して表示させる付加情報を生成する。この付加情報には文字データ及び画像データが含まれる。付加情報生成に必要な情報は、ユーザの現在地の位置情報と前記携帯型多機能機器１（１０３）から前記携帯型多機能機器２（１０４）までの距離、ユーザが現在向いている方向に対する対象のある角度、前記携帯型多機能機器１（１０３）の現在の向き及び、前記携帯型多機能機器（１０３）のカメラ部２０６の表示可能角度である。前記携帯型多機能機器１（１０３）から前記携帯型多機能機器２（１０４）までの距離及び、前記携帯型多機能機器１（１０３）からみた前記携帯型多機能機器２（１０４）の方向は、前記携帯型多機能機器１（１０３）及び携帯型多機能機器２（１０４）の現在地の位置情報に含まれる緯度、経度、高度から算出する。
【００３０】
図４は、対象の現在地に関する付加情報を前記携帯型多機能機器１（１０３）のカメラ部２０６の映像に重畳して表示している図である。前記表示部２０２は、液晶表示装置または有機液晶表示装置であって、前記カメラ部２０６で取得した実空間の映像及び前記生成部で生成した付加情報４０１をユーザに提供することができる。また、ユーザに対する補助情報として、前記携帯型多機能機器１（１０３）の前記表示部２０２に、前記携帯型多機能機器１（１０３）から前記携帯型多機能機器２（１０４）までの距離４０３、及び前記携帯型多機能機器１（１０３）からみた前記携帯型多機能機器２（１０４）のいる方向に矢印上のオブジェクト４０２を表示する。
【００３１】
次に、前記位置情報提供１０５サーバについて述べる。前記位置情報提供サーバ１０５は、予め前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）のアカウント情報（ＩＤ及びパスワード）を保持している。このアカウント情報は、前記携帯型多機能機器１（１０３）もしくは前記携帯型多機能機器２（１０４）が送信してきたアカウント情報と比較し、どの機器が前記位置情報提供サーバ１０５に対してログイン要求を送信してきたのかを判断する。ログイン要求を送信した機器が、ログインに成功した際は、前記位置情報提供サーバ１０５内のログイン要求を送信してきた機器のログインに関するフラグをＯＮに設定し、機器ごとのログイン情報を管理する。同様の手段でもう一方の機器がログイン要求を出してきた際もログイン処理をする。前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）がログイン状態にあることを認識した位置情報提供サーバ１０５は、前記携帯型多機能機器２（１０４）が定期的に送信してくる現在地の位置情報を前記携帯型多機能機器１（１０３）に定期的に送信する。
【産業上の利用可能性】
【００３２】
視界の外にある移動する対象の情報を視界を投影する機器画面上に重畳して表示することで、ユーザの現在地の周辺にいない対象が捜索可能となる。また、拡張現実技術を用いることで未知の場所や、ランドマークとなる建造物がない場所、夜間であっても直感的なインターフェイスによって捜索が用意になる。
【符号の説明】
【００３３】
１００ ＧＰＳ衛星
１０１ ネットワーク
１０２ 基地局
１０３ 携帯型多機能機器１
１０４ 携帯型多機能機器２
１０５ 位置情報提供サーバ
２００ 無線部
２０１ センサ部
２０２ 表示部
２０３ 制御部
２０４ 位置情報取得部
２０５ 通信部
２０６ カメラ部
２０７ 生成部
２０８ 携帯型多機能機器
４０１ 付加情報
４０２ 矢印
４０３ 距離
【技術分野】
【０００１】
本発明は、現実空間の映像を連続して投影する機器画面上に、携帯型多機能機器で生成した付加情報を重畳表示させる拡張現実に関わる発明である。
【背景技術】
【０００２】
携帯型多機能機器の高機能化、多機能化が進んている。この進歩によりＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や通信キャリアの基地局を利用した精度の高い位置情報の取得が可能となり、多くの携帯型多機能機器に搭載されていることで普及も進んでいる。
【０００３】
このような携帯型多機能機器を利用して人間、もしくは物体を捜索する技術が開発されてきた。ＩＥＥＥ ８０２．１５．１を用いてユーザと対象を予めペアリングしておき、迷子紐を着けているような状態にし、対象が一定の距離離れるとブザーを鳴らしてユーザに通知する技術や、ＧＰＳ衛星からの電波を受信し、ユーザの現在置の位置情報と対象機器の現在地の位置情報を用いて二次元の地図上に対象機器の現在の位置をプロットし、ユーザに提示する技術などがある。
【０００４】
一方ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）とよばれる技術が注目されている。現実世界内にコンピュータの生成する仮想物体や情報を、あたかもそれがそこにあるかのように重畳表示し、ユーザに提示する技術である。現実世界の中に設定した世界座標系と仮想世界内に定義した世界座標系を一致させる必要があり、ユーザの動きに合わせて表示位置がリアルタイムに更新される必要がある。
【０００５】
また、特許第３７０００２１号には、対象の位置を予めサーバに登録し、機器は、必要に応じてサーバから対象の位置情報を取得し、現実空間の映像を連続して投影する機器画面上に重畳して表示するＡＲ技術について開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３７０００２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許第３７０００２１号に記載されたＡＲ技術は、カメラの位置及び姿勢に応じて記録装置からデータを取得し実画像に重畳するものであるため、対象の位置を予め記憶装置に登録しておく必要がある。したがって、対象の現在地が視界外でかつ動くものである場合、特許第３７０００２１号のＡＲ技術では対応できないという課題がある。
【０００８】
また、ＧＰＳから取得した対象の現在地の情報を二次元の地図上にプロットし、ユーザに提示する技術に関しても、当該地域の環境に左右されやすく、対象を即急に捜索できる様態にはなっていないという課題がある。具体的には、未知の場所や、ランドマークとなる建造物がない場所、夜間などでは、二次元地図上の表示では、現在地から対象までの相対的な距離及び方向が認識できず対象の捜索が困難である。
【０００９】
そこで本発明は、視界の外にいる対象の現在地とユーザの現在地との相対的な距離及び方角を算出し、結果を動的及び距離に関わらず実画面上の映像を投影する機器画面上に重畳して表示する拡張現実感システムを提供し、これらの課題を解決する。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明のシステムは、携帯型多機能機器間の距離を計測する無線部と、前記無線部が計測した距離によりその機器の位置情報を取得するか判断する制御部、ＧＰＳ衛星からその機器の現在の位置情報を取得する位置情報取得部と、位置情報提供サーバに接続して通信する通信部と、その機器の現在向いている方向を取得するセンサ部と、携帯型多機能機器１の現在の位置情報及び携帯型多機能機器２の現在の位置情報を元に付加情報を生成する生成部と、その機器の現在地の実空間の映像を連続して取得するカメラ部と、前記カメラ部より取得した映像、及び前記表示部で生成した付加情報を重畳表示する表示部と、を備えた携帯型多機能機器１と、前記携帯型多機能機器１と同様の機能を備えた携帯型多機能機器２と、前記携帯型多機能機器１及び前記携帯型多機能機器２との認証、片機器からの現在地の位置情報をもう片方の機器に送信する機能を持つ位置情報提供サーバから構成されるシステムであり、捜索対象の位置を距離に関わらず前記携帯型多機能機器２の現在地の位置を携帯型多機能機器１の有する表示部に前記カメラ部の映像と重畳して表示する。以降説明を明瞭にするためユーザの所持する機器を携帯型多機能機器１とし、捜索される対象が所持する機器を携帯型多機能機器２とするが、システム運用の際は、ユーザの所持する機器を携帯型多機能機器２、捜索される対象を携帯型多機能機器１とすることも可能である。
【００１１】
前記無線部は、前記携帯型多機能機器１と前記携帯型多機能機器２間の距離を計測することを目的としており、前記携帯型多機能機器１では、距離測定の要求を行い、前記携帯型多機能機器２では、前記携帯型多機能機器１から発せられた要求を受けることができる。このステップにより、両機器は相互の距離を認識することができる。
【００１２】
前記制御部は、前記無線部で計測された距離が予め指定した距離を超える、もしくは前記携帯型多機能機器１及び前記携帯型多機能機器２の距離が前記計測部により計測不能な範囲に移動した際に機能するものであり、前記制御部は、前記位置情報取得部に対して位置情報取得要求を送信することができる。このステップにより、前記携帯型多機能機器１及び前記携帯型多機能機器２は必要な際にだけＧＰＳ衛星から位置情報を取得することになり、電池消費を抑える効果がある。
【００１３】
前記位置情報取得部がＧＰＳ衛星から取得する位置情報は、現在の位置を判断することを目的としており、位置情報には、緯度、経度、高度の全てもしくはいずれかの情報を含む。前述したとおり、前記位置情報取得部は、前記制御部からの位置情報取得要求がない限り動作しない。
【００１４】
前記センサ部では、地磁気センサ、傾きセンサ、ジャイロセンサの値を取得する。このステップにより、その機器の現在の向いている方向を判断する。
【００１５】
前記生成部は、前記携帯型多機能機器２の現在地の位置情報を前記位置情報提供サーバから取得した前記携帯型多機能機器１が付加情報を生成することを目的とする。前記携帯型多機能機器１は、両機器の位置情報を元に機器間の距離と前記携帯型多機能機器１が現在向いてる方向に対した前記携帯型多機能機器２とのなす角を算出し、この２値と前記携帯型多機能機器１のカメラ部の表示可能角度及び前記携帯型多機能機器１の現在地の方位角から付加情報を生成する。このステップにより、前記携帯型多機能機器１は、前記携帯型多機能機器２に関する付加情報を両機器間の距離に関わらず生成することができる。
【００１６】
前記表示部は、前記携帯型多機能機器１が前記携帯型多機能機器２の方向を向いた際に前記生成部より生成した付加情報を前記カメラ部の映像に重畳して表示するものである。また、前記表示部は、前記携帯型多機能機器１の現在の向きに関わらず、前記携帯型多機能機器１の現在地からみた前記携帯型多機能機器２がある方向に矢印状のオブジェクトを前記カメラ部の映像に重畳して表示することができる。この機能により、ユーザは、前記携帯型多機能機器１からみた前記対象の方向を瞬時に認識することができる。
【００１７】
前記位置情報提供サーバは、有線もしくは無線ネットワークに接続してあり、前記携帯型多機能機器１及び前記携帯型多機能機器２との通信が可能である。
【００１８】
前記位置情報提供サーバは、前記携帯型多機能機器１及び前記携帯型多機能機器２のＩＤ及びパスワード保持しており、前記携帯型多機能機器１及び前記携帯型多機能機器２が接続要求を送信してきた際は、この情報を元にログイン処理を行なうことができる。前記位置情報提供サーバは、前記携帯型多機能機器１及び前記携帯型多機能機器２の両方が認証を行い、前記位置情報提供サーバにログインした際のみ、前記携帯型多機能機器２の現在地の位置情報を前記携帯型多機能機器１に送信する。この機能により、機器所有者を特定すると同時に余計な通信を抑え、前記位置情報提供サーバへの負担を軽減することができる。
【００１９】
この発明によれば、前記携帯型多機能機器１は、前記位置情報提供サーバを通して前記携帯型多機能機器２の現在地の位置情報を取得することができる。
【発明の効果】
【００２０】
本発明により、前記携帯型多機能機器１は、前記携帯型多機能機器２から取得した現在地の位置情報を元に付加情報を生成することができ、通信環境が整っている場所であれば、視界外の前記対象の現在地を前記カメラ部の映像に重畳して表示することができ、ユーザは瞬時に前記対象の距離及び方向を認識することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明のシステムの構成を概要的に示した図である。
【図２】携帯型多機能機器の有する機能を概略的に示した図である。
【図３】携帯型多機能機器１及び携帯型多機能機器２が有する無線部の動作を概略的に示した図である。
【図４】対象の現在地に関する付加情報を前記携帯型多機能機器１のカメラ部の映像に重畳して表示している図である。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の拡張現実提示システムの構成を概略的に示した図面である。携帯型多機能機器１（１０３）及び携帯型多機能機器２（１０４）と位置情報提供サーバ１０５から構成されるシステムである。図２は、前記携帯型多機能機器が有する機能を概略的に示した図である。前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）は、無線部２００、制御部２０１、位置情報取得部２０４、通信部２０５、センサ部２０１、生成部２０７、カメラ部２０６、表示部２０２を備えている。しかし、捜索対象となる前記携帯型多機能機器２（１０４）に限っては、前記無線部２００、前記制御部２０３、前記位置情報取得部２０４、前記通信部２０５、前記表示部２０２を備えることで本システムは運用可能である。前述したとおり、前記携帯型多機能機器１（１０３）をユーザ、前記携帯型多機能機器２（１０４）を捜索対象として述べる。
【００２３】
前記位置情報提供サーバ１０５は、無線もしくは有線によってネットワークに参加しており、前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）とデータの送受信が可能である。また、前記携帯型多機能機器１（１０３）もしくは前記携帯型多機能機器２（１０４）が前記位置情報提供サーバ１０５に認証を要求してきた際は、予め登録されてるＩＤとパスワードと比較し、認証を行う認証部と、認証に成功した機器に対し、対象の現在地の位置情報を送信する送信部を備えている。以下、前記携帯型多機能機器（１０３、１０４）及び前記位置情報提供サーバ１０５について詳細に述べる。
【００２４】
前記無線部２００では、前記携帯型多機能機器１（１０３）と前記携帯型多機能機器２（１０４）間の推定距離を計測する機能を備えている。本段落では、ＩＥＥＥ ８０２．１５．１を用いて述べるが、同様の機能を有する無線モジュールなら代替可能である。図３は。前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）の備える無線部が動作をしている様子を概略的に示した図である。まず、前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）を予めペアリングし、前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）間で通信が行える状態にする。相互にメッセージを送受信し、両機器が無線モジュールの通信可能範囲内にいることを認識すると同時に、ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）の値を元に前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）は、両機器間の距離を測定する。
【００２５】
前記制御部２０３では、前記無線部２００によって計測された距離及び、通信可能範囲外に前記携帯型多機能機器２（１０４）が移動したことを判断し、前記位置情報取得部２０４に判断結果を通知する。前記無線部２００が計測した距離と予め指定した距離とを比較し、指定した距離以上の範囲に前記携帯型多機能機器２（１０４）が移動した際は、その機器の前記位置情報取得部２０４に対して位置情報取得命令を送信する。前記比較処理は定期的に実行するが、ある程度時間が経過しても前記無線部２００が計測した距離を前記制御部２０３が受信できない場合は、前記携帯型多機能機器２（１０４）が前記無線部２００の通信可能範囲外に移動したとしてその機器の前記位置情報取得部２０４に対して位置情報取得命令を送信する。
【００２６】
前記位置情報取得部２０４では。前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）に備えられたＧＰＳモジュールが、その機器の現在地の位置情報を取得する。本発明の指す位置情報とは、緯度、経度、高度であり、３次元測位を行うため４つ以上のＧＰＳ衛星１００からの電波を受信することが好ましいが、３つのＧＰＳ衛星１００による２次元測位でも利用可能である。また、位置測位のアシスト機能を有したＡＧＰＳ（Ａｓｓｉｓｔｅｄ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や、複数の無線基地局からの電波強度による位置推定でも利用可能である。
【００２７】
前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）に搭載された通信部は、ネットワークを通じて前記位置情報提供サーバ１０５に対し、認証要求、位置情報送信を行うことが可能である。認証のステップでは、ユーザが予め入力したＩＤ及びパスワードを前記位置情報提供サーバ１０５に送信する。前記位置情報提供サーバ１０５では、認証要求を送信してきた機器に認証結果を送信し、その結果を受け取った機器は、その機器の現在地の位置情報を定期的に前記位置情報提供サーバ１０５に送信する。本発明では、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信環境下での運用を想定しているが、通信環境が整っていればＷＩＦＩによる通信でも可能である。
【００２８】
前記センサ部２０１では、その機器の現在の方向姿勢、角度を計算することが可能である。前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）は、常に同じ姿勢、向きにあるとは限らない。そこで、地磁気センサ、傾きセンサ、ジャイロセンサを用いてその機器の現在の方向を算出し、それを動的に更新、補正することで、常に最適な状態で本システムを利用することが可能となる。
【００２９】
前記生成部２０７では、前記表示部２０２に表示された実画面上の映像に重畳して表示させる付加情報を生成する。この付加情報には文字データ及び画像データが含まれる。付加情報生成に必要な情報は、ユーザの現在地の位置情報と前記携帯型多機能機器１（１０３）から前記携帯型多機能機器２（１０４）までの距離、ユーザが現在向いている方向に対する対象のある角度、前記携帯型多機能機器１（１０３）の現在の向き及び、前記携帯型多機能機器（１０３）のカメラ部２０６の表示可能角度である。前記携帯型多機能機器１（１０３）から前記携帯型多機能機器２（１０４）までの距離及び、前記携帯型多機能機器１（１０３）からみた前記携帯型多機能機器２（１０４）の方向は、前記携帯型多機能機器１（１０３）及び携帯型多機能機器２（１０４）の現在地の位置情報に含まれる緯度、経度、高度から算出する。
【００３０】
図４は、対象の現在地に関する付加情報を前記携帯型多機能機器１（１０３）のカメラ部２０６の映像に重畳して表示している図である。前記表示部２０２は、液晶表示装置または有機液晶表示装置であって、前記カメラ部２０６で取得した実空間の映像及び前記生成部で生成した付加情報４０１をユーザに提供することができる。また、ユーザに対する補助情報として、前記携帯型多機能機器１（１０３）の前記表示部２０２に、前記携帯型多機能機器１（１０３）から前記携帯型多機能機器２（１０４）までの距離４０３、及び前記携帯型多機能機器１（１０３）からみた前記携帯型多機能機器２（１０４）のいる方向に矢印上のオブジェクト４０２を表示する。
【００３１】
次に、前記位置情報提供１０５サーバについて述べる。前記位置情報提供サーバ１０５は、予め前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）のアカウント情報（ＩＤ及びパスワード）を保持している。このアカウント情報は、前記携帯型多機能機器１（１０３）もしくは前記携帯型多機能機器２（１０４）が送信してきたアカウント情報と比較し、どの機器が前記位置情報提供サーバ１０５に対してログイン要求を送信してきたのかを判断する。ログイン要求を送信した機器が、ログインに成功した際は、前記位置情報提供サーバ１０５内のログイン要求を送信してきた機器のログインに関するフラグをＯＮに設定し、機器ごとのログイン情報を管理する。同様の手段でもう一方の機器がログイン要求を出してきた際もログイン処理をする。前記携帯型多機能機器１（１０３）及び前記携帯型多機能機器２（１０４）がログイン状態にあることを認識した位置情報提供サーバ１０５は、前記携帯型多機能機器２（１０４）が定期的に送信してくる現在地の位置情報を前記携帯型多機能機器１（１０３）に定期的に送信する。
【産業上の利用可能性】
【００３２】
視界の外にある移動する対象の情報を視界を投影する機器画面上に重畳して表示することで、ユーザの現在地の周辺にいない対象が捜索可能となる。また、拡張現実技術を用いることで未知の場所や、ランドマークとなる建造物がない場所、夜間であっても直感的なインターフェイスによって捜索が用意になる。
【符号の説明】
【００３３】
１００ ＧＰＳ衛星
１０１ ネットワーク
１０２ 基地局
１０３ 携帯型多機能機器１
１０４ 携帯型多機能機器２
１０５ 位置情報提供サーバ
２００ 無線部
２０１ センサ部
２０２ 表示部
２０３ 制御部
２０４ 位置情報取得部
２０５ 通信部
２０６ カメラ部
２０７ 生成部
２０８ 携帯型多機能機器
４０１ 付加情報
４０２ 矢印
４０３ 距離
【特許請求の範囲】
【請求項１】
ＧＰＳ衛星から、その機器自体の現在の位置情報を取得する位置情報取得部と、ネットワークを通じて対象機器の現在の位置情報を取得する通信部と、その機器自体の現在の向きを取得するセンサ部と、対象に関する付加情報を生成する生成部と、その機器自体の現在地の実空間の映像を連続して取得するカメラ部と、前記カメラ部が取得した前記映像、前記生成部が生成する付加情報を表示する表示部と、を備えた携帯型多機能機器を用いて、取得した前記対象機器の位置情報を元に、視界の外にある移動する対象の場所を前記表示部に重畳して表示する拡張現実提示システム。
【請求項２】
前記拡張現実は、前記カメラ部に映し出されている映像を前記表示部に表示すると同時に、表示されている前記映像に合成して視界の外にある前記対象に関する付加情報を前記表示部に重畳して表示することを特徴とする。
【請求項３】
前記付加情報は、画像及び文字の両方、もしくは画像、文字いずれかのデータを含むデジタルオブジェクトであり、前記対象に関する情報をユーザに提示することを特徴とする。
【請求項４】
前記拡張現実提示システムは、前記対象が動いていても動的に追従して前記携帯型多機能機器から見た前記対象の向き及び距離を付加情報として前記表示部に重畳して表示することを特徴とする。
【請求項５】
前記表示部は、緯度、経度、高度全て、もしくはいずれかの情報から判断される前記対象の位置を前記拡張現実の技術を用いて表示することを特徴とする。
【請求項６】
前記表示部は、前記生成部が生成した付加情報を前記カメラ部の映像に重畳して表示させる機能を有し、前記携帯型多機能機器の現在地から前記対象機器までの距離に関わらず、前記対象の場所を動的に前記カメラ部の映像に重畳表示することを特徴とする。
【請求項１】
ＧＰＳ衛星から、その機器自体の現在の位置情報を取得する位置情報取得部と、ネットワークを通じて対象機器の現在の位置情報を取得する通信部と、その機器自体の現在の向きを取得するセンサ部と、対象に関する付加情報を生成する生成部と、その機器自体の現在地の実空間の映像を連続して取得するカメラ部と、前記カメラ部が取得した前記映像、前記生成部が生成する付加情報を表示する表示部と、を備えた携帯型多機能機器を用いて、取得した前記対象機器の位置情報を元に、視界の外にある移動する対象の場所を前記表示部に重畳して表示する拡張現実提示システム。
【請求項２】
前記拡張現実は、前記カメラ部に映し出されている映像を前記表示部に表示すると同時に、表示されている前記映像に合成して視界の外にある前記対象に関する付加情報を前記表示部に重畳して表示することを特徴とする。
【請求項３】
前記付加情報は、画像及び文字の両方、もしくは画像、文字いずれかのデータを含むデジタルオブジェクトであり、前記対象に関する情報をユーザに提示することを特徴とする。
【請求項４】
前記拡張現実提示システムは、前記対象が動いていても動的に追従して前記携帯型多機能機器から見た前記対象の向き及び距離を付加情報として前記表示部に重畳して表示することを特徴とする。
【請求項５】
前記表示部は、緯度、経度、高度全て、もしくはいずれかの情報から判断される前記対象の位置を前記拡張現実の技術を用いて表示することを特徴とする。
【請求項６】
前記表示部は、前記生成部が生成した付加情報を前記カメラ部の映像に重畳して表示させる機能を有し、前記携帯型多機能機器の現在地から前記対象機器までの距離に関わらず、前記対象の場所を動的に前記カメラ部の映像に重畳表示することを特徴とする。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−２５７８１（Ｐ２０１３−２５７８１Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１７３３８９（Ｐ２０１１−１７３３８９）
【出願日】平成２３年７月２２日（２０１１．７．２２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２０１１年 暗号と情報セキュリティシンポジウム実行委員会 ２０１１年 暗号と情報セキュリティシンポジウム予稿集 平成２３年１月２５日
【出願人】（５１１１９４０５０）
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２２日（２０１１．７．２２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２０１１年 暗号と情報セキュリティシンポジウム実行委員会 ２０１１年 暗号と情報セキュリティシンポジウム予稿集 平成２３年１月２５日
【出願人】（５１１１９４０５０）
【Ｆターム（参考）】
[ Back to top ]