端末装置、情報提示システム及び端末画面表示方法
【課題】実空間の映像に表示する情報の量が多くなっても画面の煩雑化を抑制することができる端末装置、情報提示システム及び端末画面表示方法を提供する。
【解決手段】実空間の映像を取得するカメラ部106と、画面を表示する表示部102と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部107と、各部の動作を制御するとともに情報処理機能を実現する制御部108とを備え、制御部108は、カメラ部106により取得された実空間の映像を表示部102に表示させるとともに、拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の映像にグラフィックスオブジェクトを表示位置で重畳して表示部102に描画させる処理を行う端末装置であって、制御部108は、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして表示部102に表示させる処理を行うことを特徴として構成される。
【解決手段】実空間の映像を取得するカメラ部106と、画面を表示する表示部102と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部107と、各部の動作を制御するとともに情報処理機能を実現する制御部108とを備え、制御部108は、カメラ部106により取得された実空間の映像を表示部102に表示させるとともに、拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の映像にグラフィックスオブジェクトを表示位置で重畳して表示部102に描画させる処理を行う端末装置であって、制御部108は、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして表示部102に表示させる処理を行うことを特徴として構成される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末装置、情報提示システム及び端末画面表示方法に関するものである。
【背景技術】
【0002】
携帯電話事業における移動体通信技術は、アナログ方式の第一世代から、音声通話に加えてデジタル技術によるデータ通信を実現したPDC方式やGSM方式等の第二世代を経て、現在ではより高速なデータ通信やマルチメディアを利用した各種サービスを提供するW−CDMA等の第三世代へと発達を続けている。また、このような通信技術を利用する移動体通信端末においてもCPU等のプロセッサ、メモリ、各種周辺デバイスおよび実装技術の各分野で技術革新が進められた結果、多機能化と高機能化の双方で飛躍的な進歩を達成している。
【0003】
このように移動体通信および端末に関する技術が高度に発達したことにより、音声通話に加えて、テレビ通話、電子メール、Webブラウジング、チャット等の様々な通信サービスが携帯電話で実現されている。また、多機能化した端末には液晶/有機EL表示モジュール、カメラモジュール、非接触ICカードモジュール、赤外線通信モジュール、Bluetooth(登録商標)通信モジュール、WiFi通信モジュール、GPSモジュールのような各種デバイスが搭載されている。さらに、端末の多機能化はソフトウェアの面でも進んでおり、各種モジュールを制御する種々のアプリケーションソフト、また各種ビューワ、マルチメディアプレーヤ、ブラウザ、メーラ、ゲーム、PIM等のアプリケーションソフトがオペレーティングシステム上に実装されており、マルチタスク機能により複数のアプリケーションを同時並行的に実行することで極めて高度な機能が実現可能となっている。
【0004】
一方、情報処理の分野では、コンピュータグラフィックスにより仮想的な現実空間を構成する仮想現実(Virtual Reality)、現実空間の映像をコンピュータで処理して情報を付加する拡張現実感(AR;Augumented Reality)に関する研究が進められており、特に最近では拡張現実感技術(AR技術)が注目されている。AR技術の実現方法には様々な態様が考えられるが、その一つにカメラ付き携帯電話を利用したものを挙げることができる。例えば米国MOBILIZY社は、携帯電話向けオープンプラットフォームの一つであるAndroid向けに、カメラでキャプチャーした実空間の風景映像に観光情報を付加して表示するトラベルガイドのアプリケーション製品を提供している。このアプリケーションは、端末の位置情報(GPS測位またはユーザのマニュアル入力による)をサーバに送信し、サーバに予め登録された情報のうち周辺の観光情報をサーバから端末へレスポンスさせ、取得した観光情報を風景映像に付加して表示することにより拡張現実感を実現するものである。
【0005】
また、特許第3700021号には、カメラでイメージを取得するとともにカメラの位置および姿勢を測定し、測定されたカメラの位置および姿勢から記憶装置の所定アドレスに格納されたデータを読み出し、読み出されたデータをカメラで取得したイメージに結合させて表示するAR技術について開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3700021号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
カメラでキャプチャーした実空間の映像に情報を表示する拡張現実感技術においては、情報を情報バルーン、アイコン等のグラフィックスオブジェクトとして実空間の映像に重畳することになるが、表示する情報の量が多くなると画面は非常に煩雑となり、さらにグラフィックスオブジェクトが重なり合うようになると視認、ならびに操作対象としての選択も難しくなる。このような問題は小型の表示装置が使用されている携帯電話やPDA等のモバイル端末では特に顕著である。さらに、近時のモバイル端末にはタッチパネルを採用したものもあるが、画面上にグラフィックスオブジェクトが密集している状態でタッチパネルを操作することは極めて困難である。
【0008】
上記事情に鑑み、本発明は、実空間の映像に表示する情報の量が多くなっても画面の煩雑化を抑制することができる端末装置、情報提示システム及び端末画面表示方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
すなわち本発明に係る端末装置は、実空間の映像を取得するカメラ部と、画面を表示する表示部と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部と、前記各部の動作を制御するとともに情報処理機能を実現する制御部とを備え、前記制御部は、前記カメラ部により取得された実空間の前記映像を前記表示部に表示させるとともに、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させる処理を行う端末装置であって、前記制御部は、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴として構成される。
【0010】
本発明に係る端末装置によれば、制御部により、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして表示部に表示させることができる。このため、近接した複数の拡張現実感情報が表示されることがないので、画面の複雑化を回避することができる。
【0011】
ここで、前記制御部は、前記表示位置で描画させるとグラフィックスオブジェクトが重なり合う複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことが好適である。このように構成することで、制御部により、重なり合う複数のグラフィックスオブジェクトが1つの集合グラフィックスオブジェクトとして表示部に表示される。このため、画面の複雑化を回避することが可能となる。
【0012】
また、前記制御部は、前記画面を複数のエリアに分割して管理し、前記表示位置が同じエリアとなる複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことが好適である。このように構成することで、制御部により、同一エリアに表示される複数の拡張現実感情報が1つの集合グラフィックスオブジェクトとして表示部に表示される。このため、複数のグラフィックスオブジェクトの近接の判断処理の負荷を軽減することができる。
【0013】
また、前記制御部は、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記位置情報が近接している複数の前記拡張現実感情報を1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことが好適である。このように構成することで、制御部により、位置情報の近接している複数の拡張現実感情報が1つの集合グラフィックスオブジェクトとして表示部に表示される。実空間で近接するものをまとめて表示できるので、実空間での位置関係を視覚で表現することが可能となるとともに、ユーザにとって分かり易い表示とすることができる。
【0014】
また、前記制御部は、現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど前記位置情報が近接していると判定する範囲を拡大することが好適である。このように構成することで、制御部により、グラフィックスオブジェクトの表示位置が撮影位置から遠い地点となるほど1つの集合グラフィックスオブジェクトとしてまとめて表示部に表示され易くなる。このため、表示が視認しにくくなるほど1つにまとめて表示することができるので、画面の簡素化を一層図ることができる。
【0015】
また、前記制御部は、前記拡張現実感情報の種類に応じた前記グラフィックスオブジェクトを前記表示部に描画させる処理を行い、前記集合グラフィックスオブジェクトは、所定の条件で並べられた複数の前記グラフィックスオブジェクトが重なり合った形状であることが好適である。このように構成することで、集合グラフィックスオブジェクトが複数のグラフィックスオブジェクトを含むことを容易に視認することができるとともに、例えばユーザにとって情報検索し易い表示とすることが可能となる。
【0016】
また、前記制御部は、前記集合グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該集合グラフィックスオブジェクトとして前記表示部に表示させている複数の前記拡張現実感情報の前記グラフィックスオブジェクトを、環状に並べて前記表示部に表示させる処理を行うことが好適である。このように構成することで、制御部により、ユーザの操作を検出すると集合グラフィックスオブジェクトとしてまとめられたグラフィックスオブジェクトが環状に展開される。このため、画面の簡素化を図りつつユーザが必要とする場合のみ詳細な情報を表示することが可能となるユーザインターフェイスを提供することができる。
【0017】
また、前記制御部は、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させている前記拡張現実感情報の数が、環状に並べて一度に表示可能な前記グラフィックスオブジェクトの数よりも多い場合には、表示可能な数だけ環状に並べられた前記グラフィックスオブジェクトを前記表示部に表示させ、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作を検出した場合には、環状に並べた前記グラフィックスオブジェクトそれぞれを周方向に沿って回転移動させるとともに、表示されているグラフィックスオブジェクトを入れ替える処理を行うことが好適である。このように構成することで、制御部により、移動方向を明示する操作に応じて環状に並べたグラフィックスオブジェクトを周方向に沿って回転移動させるとともに、グラフィックスオブジェクトが入れ替えられて表示部に表示される。このため、ユーザにとって直感的で理解しやすく、操作性に優れたユーザインターフェイスを提供することができる。
【0018】
また、前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいて環状に並んだグラフィックスオブジェクトの大きさが変更される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。
【0019】
また、前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの透明度を変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいて環状に並んだグラフィックスオブジェクトの透明度が変更される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。
【0020】
また、前記制御部は、所定の条件を満たす前記拡張現実感情報の前記グラフィックスオブジェクトを、前記集合グラフィックスオブジェクトの先頭に位置するように前記表示部に表示させることが好適である。このように構成することで、制御部により所定の条件を満たす拡張現実感情報のグラフィックスオブジェクトが集合グラフィックスの先頭に配置される。このため、例えばユーザにとって情報検索し易い表示とすることができる。
【0021】
また、前記制御部は、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作として前記グラフィックスオブジェクトに沿ってドラッグするユーザの操作を検出した場合であって、ドラッグするユーザの操作が閾値より低速である場合には表示されている前記グラフィックスオブジェクトを1個ずつ入れ替え、閾値以上の高速である場合には表示されている前記グラフィックスオブジェクトを全て入れ替える処理を行うことが好適である。このように構成することで、制御部により、閾値より低速でドラッグするユーザの操作に応じて環状に並べたグラフィックスオブジェクトが1つずつ入れ替って回転移動し、閾値より高速でドラッグするユーザの操作に応じて環状に並べたグラフィックスオブジェクトの全てが、入れ替って表示部に表示される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。
【0022】
また、前記制御部は、前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる前記拡張現実感情報について、実行可能な処理を表示する前記グラフィックスオブジェクトを環状に並ぶように前記表示部に表示させ、環状に並んで表示された前記グラフィックスオブジェクトのうち1つの前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる処理を行うことが好適である。このように構成することで、制御部により、環状に並べたグラフィックスオブジェクトのうちユーザにより選択された1つのグラフィックスオブジェクトに係る処理が実行される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。
【0023】
また、前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいてグラフィックスオブジェクトの大きさが変更されて表示部に表示される。このため、実空間の映像に情報が平板に表示されることを回避することができるので、優れた拡張現実感を提供することが可能となる。
【0024】
さらに、前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの情報量を変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいてグラフィックスオブジェクトの情報量が変更されて表示部に表示される。このため、実空間の映像に情報が平板に表示されることを回避することができるので、優れた拡張現実感を提供することが可能となる。
【0025】
また、本発明に係る情報提示システムは、表示部により画面を表示する端末装置と、前記端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、を備える情報提示システムであって、前記サーバは、実空間の映像を前記表示部に表示させ、前記端末装置の位置情報に基づいて、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させるとともに、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うサーバ制御部を備えること、を特徴として構成される。
【0026】
本発明に係る情報提示システムによれば、サーバ制御部により、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして端末装置の表示部に表示させることができる。このため、近接した複数の拡張現実感情報が端末装置の表示部に表示されることないので、端末装置の画面の複雑化を回避することができる。
【0027】
また、本発明に係る端末画面表示方法は、カメラ部により取得された実空間の映像に、位置情報に関連付けられた拡張現実感情報と対応するグラフィックスオブジェクトを重畳して表示部に描画させる端末画面表示方法であって、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定する表示位置決定ステップと、複数の前記グラフィックスオブジェクトの前記表示位置が近接するか否かを判定する近接判定ステップと、前記表示位置が近接する場合には、複数の前記拡張現実感情報を1つの集合グラフィックスオブジェクトとして前記表示部に表示させる表示ステップと、を備えることを特徴として構成される。
【0028】
本発明に係る端末画面表示方法によれば、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして表示部に表示させることができる。このため、近接した複数の拡張現実感情報が表示されることがないので、画面の複雑化を回避することができる。
【発明の効果】
【0029】
本発明によれば、実空間の映像に表示する情報の量が多くなっても画面の煩雑化を抑制することができる。
【図面の簡単な説明】
【0030】
【図1】実施形態に係る端末装置を有する情報提示システムの構成を示す概略図である。
【図2】実施形態に係る端末装置の機能ブロック図である
【図3】位置情報コンテンツのリストの一例である。
【図4】拡張現実感情報を丸形のアイコンで表示する画面図である。
【図5】近接するアイコン及び集合グラフィックスオブジェクトの説明図である。
【図6】実空間の映像に拡張現実感情報を重畳した画面図である。
【図7】タイプ毎に絵柄を付したアイコンの一例である。
【図8】アイコンの画面動作を説明する画面図である。
【図9】アイコンの画面動作を説明する画面図である。
【図10】アイコンの他の画面動作を説明する画面図である。
【図11】アイコンの他の画面動作を説明する説明図である。
【図12】アイコンの他の画面動作を説明する画面図である。
【図13】実施形態に係る拡張現実感サーバの機能ブロック図である。
【図14】実施形態に係る端末装置の起動から操作待ちの状態になるまでの動作を示すフローチャートである。
【図15】実施形態に係る端末装置の起動から操作待ちの状態になるまでの他の動作を示すフローチャートである。
【図16】実施形態に係る端末装置のスパイラルメニュー動作を示すフローチャートである。
【図17】実施形態に係る端末装置のディスクメニュー動作を示すフローチャートである。
【図18】ディスクバリエーションのインジケータである。
【発明を実施するための形態】
【0031】
以下、本発明を実施するための形態について説明する。図1は、本発明の実施形態にかかる端末装置100と、端末装置100に拡張現実感情報を提供する拡張現実感サーバ300とを備える拡張現実感システム(情報提示システム)1の構成を概略的に示した図面である。端末装置100は、通信網150と接続して通信を行う携帯電話等のモバイル端末であって、後述するようにイメージ取得機能を備えたカメラ部および表示部を備えている。拡張現実感サーバ300は、通信網150と接続されたネットワーク200と接続されたサーバコンピュータシステムであり、同様にネットワーク200と接続された外部サーバである地図情報サーバ351、経路情報サーバ361および位置情報コンテンツサーバ371ならびに端末装置100と通信可能な構成となっている。このような構成の拡張現実感システム1は、端末装置100のユーザが実空間に向けたカメラで取得した画像に、拡張現実感サーバ300が提供する情報を重畳することにより、ユーザに拡張現実感を与えるサービスを提供するものである。以下、端末装置100および拡張現実感サーバ300について詳細に説明する。
【0032】
まず端末装置100について説明する。図2は本実施形態における端末装置100の機能ブロック図である。この端末装置100は、主として、端末の位置情報を取得する位置情報取得部101と、画面を表示する表示部102と、ユーザのキー操作による入力を受け付けるキー入力部103と、端末が向いている方位を検出する方位センサ104と、通信網150と接続して通信を行う通信部105と、実空間の映像を取得するカメラ部106と、所定のプログラムおよびデータを記憶する記憶部107と、各部の動作を制御するとともに所定の情報処理を実現する制御部108とから構成されている。
【0033】
位置情報取得部101は、例えば、複数のGPS(Global Positioning System)衛星からの電波を受信して、それらの強度から現在の端末位置情報を取得するGPSモジュールを用いることができる。また、GPS方式に加えて通信部105を介して通信網150と通信することにより端末の近くに存在する衛星の情報をアシストデータとして取得し、位置測位を行うAGPS(Assisted Global Positioning System)方式に対応したモジュールを利用すれば、端末位置情報をより高速かつ正確に取得することができるので好適である。ただし、位置情報取得システムはGPSまたはAGPSを利用するものに限られるものではなく、GPSに依存することなく端末位置情報を取得する構成とすることも可能である。例えば、WiFiやBluetooth(登録商標)等の無線通信基地局を空間内に複数配設し、それらからの電波強度により端末位置情報を取得する方式を利用してもよいし、このような方式をGPSないしはAGPSに併用する方式を利用することも可能である。
【0034】
表示部102は、画面表示を行うためのLCDモジュール113およびLCDコントローラ112と、画面にユーザがタッチする操作に反応し、ユーザの接触位置を検出するセンサモジュール114および位置検出部111とを備え、画面表示機能およびタッチパネル機能を実現したものである。すなわち、表示部102は、制御部108からのデータおよび制御信号をLCDコントローラ112で受け付けて所定の画面をLCDモジュール113で表示するとともに、画面をタッチするユーザの操作をセンサモジュール114で受け付けて位置検出部111にて接触位置を検出し、その接触位置に関する位置信号を制御部108に入力として通知するものである。本実施形態の端末装置100おいては、後述する動作に従って、カメラ部106により取得した実空間の映像に拡張現実感サーバから取得した情報を付加して表示することによりユーザに拡張現実感を提供し、また表示機能およびタッチパネル機能によりユーザインターフェイスを提供する。
【0035】
キー入力部103は、端末装置100の筐体に設けられたキーパッド、ならびにその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部108に通知され、種々の操作ないしは制御に利用される。
【0036】
方位センサ104は、自分が向いている方向の姿勢・角度を検出し、それに相当する信号を制御部108に出力するモジュールである。制御部108は、方位センサ104の検出値からユーザが端末装置100を保持している姿勢・角度を認識することが可能である。このような方位センサ104には複数の地磁気センサを組み合わせたものを利用することが可能であり、さらに地磁気センサに加えて複数の加速度センサを組み合わせたモーションセンサを用いてもよい。3軸方向の地磁気センサと3軸方向の加速度センサとを組み合わせた6軸センサ、3軸方向の地磁気センサと2軸方向の加速度センサとを組み合わせた5軸センサ、また、加速度センサの代わりにジャイロを用いる場合等は、いずれもモーションセンサとして方位センサ104に利用することができる。このようにモーションセンサを利用した場合には、端末装置100の姿勢・角度に関する情報だけでなく、ユーザが端末装置100を動かしたり傾けたりした動作の向きおよび速さを検出することが可能となる。
【0037】
通信部105は、通信網150と接続して、他の端末装置やサーバシステムと通信を行うためのモジュールである。ここでの通信としては、例えば、他の端末装置と通信接続して行う回線交換型通信、通信網150を介してネットワーク200に接続されたサーバシステムと行うパケット交換型通信等を挙げることができる。また、AGPS方式により端末位置情報を取得する場合には、通信部105は位置情報取得部101と協調動作して端末位置情報の取得を補助する。
【0038】
カメラ部106は、所定の光学系および受像素子を有し、デジタル画像を取得する機能を提供するモジュールである。端末装置100でデジタル画像を撮影する際には、起動されたカメラ部106は、通常、光学系の取得した被写体像から所定露光時間で受像素子によりデータを取得する処理を所定時間間隔で繰り返し、当該データを表示部102に表示することによりライブビュー機能を実現する。そして、その状態でユーザがさらにキー入力部103で所定の操作を行うことにより、カメラ部106は光学系の取得した被写体像から設定された撮影条件で画像データを生成し、生成された画像データは記憶部107に保存される。本実施形態にかかる拡張現実感システムは、上述のライブビュー機能により表示部102に表示される実空間映像に拡張現実感をもたらす情報を表示するものである。
【0039】
記憶部107は、所定の情報を制御部108の制御下で記憶し、また記憶している情報を制御部108に提供するためのメモリである。また、記憶部107は、制御部108で実行される種々のプログラムを記憶しており、制御部108はこれを適宜読み出して実行する。記憶部107は一様な構成である必要はなく、ROM、RAM、Flash ROM等の各種メモリを適宜組み合わせて構成することが可能であり、さらにHDDのような二次記憶装置を組み合わせるようにしても構わない。なお、端末装置100に付与された固有の端末IDもその他のデータとともに記憶部107に記憶されている。また、記憶部107は、後述する拡張現実感サーバから提供された種々の拡張現実感情報を記憶している。図3には、記憶部107が記憶している拡張現実感情報のうち位置情報コンテンツのリストを一例として示す。位置情報コンテンツは、端末装置100からのリクエストに応じて拡張現実感サーバ300により位置情報コンテンツサーバ371から取得され、端末装置100にレスポンスとして返されたものである。記憶部107のリストには、各位置情報コンテンツについて、コンテンツID、コンテンツタイプ、コンテンツ名および位置情報(地点情報)が含まれており、さらに端末装置100の現在の端末位置からの距離、視野角内か否かの項目が設けられている。このうち、距離と視野角以外の項目については拡張現実感サーバ300から取得した情報がそのまま記録されており、距離および視野角の項目については端末装置100の制御部108が算出および判定した結果が記録されている。
【0040】
制御部108は、不図示のCPU上で記憶部107に記憶されたプログラムを実行することにより仮想的に構成される機能ブロックであって、端末装置100の位置情報取得部101、表示部102、キー入力部103、方位センサ104、通信部105、カメラ部106および記憶部107といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、端末装置100の各種機能を実現するものである。また、本実施形態における端末装置100の制御部108は、位置情報取得部101が取得した端末位置情報を送信してリクエストすることにより拡張現実感サーバ300から端末位置情報に応じた拡張現実感情報のレスポンスを受けて、拡張現実感をユーザに提供する。この場合に特徴的な機能として、制御部108、前記カメラ部の撮影した実空間の映像を表示部102に表示させつつ、拡張現実感情報を実空間の映像に重畳する表示位置を決定し、当該表示位置に当該拡張現実感情報と対応したグラフィックスオブジェクトを重畳して描画する際に、重畳する表示位置が近接した複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させる処理を行う。以下、このような処理について詳細に説明する。
【0041】
まず、カメラ部106の姿勢および角度に基づいて拡張現実感情報の表示位置を決定し、実空間の映像に重畳して表示部に表示させる処理について説明する。この処理では、まず、方位センサ104の検出値からカメラの向いている姿勢・方向を導出し、カメラの水平方向視野角および垂直方向視野角に基づいて、記憶部107に記憶されている拡張現実感情報がカメラ部106の視野に入るか否かを判定し、結果を拡張現実感情報のリストに記録する(図3参照)。続いて、視野にはいると判定された拡張現実感情報について、端末装置100の現在の端末位置を原点とした座標空間に配置したと想定し、原点の所定高さを中心点としてカメラの水平方向視野角および垂直方向視野角ならびに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行い、透過投影された位置をもって表示位置と決定する。ここで、透過投影する中心点の高さについては、ユーザが立った状態で端末装置100を使用する状況を再現するために、1.5m程度の高さとすることが好適である。
【0042】
上記処理の後、決定された表示位置に各拡張現実感情報を描画することにより実空間映像に重畳させて表示する処理を行う。このような処理についての制限は特にないが、各拡張現実感情報が所定の表示位置に描画されて残部が透明の画面レイヤーを作成し、この画面レイヤーを実空間映像に重ねて表示部102に表示させることができ、これにより実空間映像の適切な位置に拡張現実感情報が表示される。この際、本実施形態における拡張現実感情報は、アイコン、情報バルーン、サブウィンドウ等のグラフィックスオブジェクトとして画面上に表示される。
【0043】
この際、制御部108は重畳する表示位置が近接した複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させる。図4(a)、(b)、(c)は拡張現実感情報を丸形のアイコンで表示する画面の例を示したものであり、(a)はカメラ部106の取得した実空間の映像を示し、(b)は前述の方法により各拡張現実感情報の表示位置を求めてアイコンを描画したイメージを示したものである。ここで、この画面では、アイコンの大きさがアイコンごとに変更されて表示される。また、アイコンの透明度がアイコンごとに変更されて表示されてもよい。大きさ及び透明度の変更は、所定の条件に従って変更される。所定条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。例えば、所定条件として距離を採用した場合には、アイコンが示す位置情報が、現在の端末地点から近い位置となるほど大きく表示され、アイコンが示す位置情報が、現在の端末地点から近い位置となるほど透明度が小さく表示される。すなわち、現在の端末地点から近い位置を示すアイコンほど、大きくはっきりと表示される。他方、現在の端末地点から遠い位置を示すアイコンほど、小さくぼやけて(かすんで)表示される。すなわち距離に応じてアイコンの情報量が変更される。なお、透明度の表示方法は、従来の3Dレタリング技術を用いてもよいし、明るさや青系統の色を用いて遠近感を表現してもよい。このように表示することで、平板に重畳された情報により拡張現実感が損なわれることも防止できる。
【0044】
しかしながら、図4に示されるように、画面上に表示される拡張現実感情報の量が多くなると、画面が煩雑となり、また、アイコンが重なり合って視認し難くなる。さらに、本実施形態では表示部102にタッチパネル機能を設けているが、図4(c)に示した状態で密集したアイコンをタッチして操作することは極めて困難である。
【0045】
そこで、本実施形態では、さらに、図5(a)に示すように重畳する表示位置が近接するアイコン(アイコングループα、β、γ)については、個々のアイコンを表示することなく、図5(b)に示すように、アイコンが密集していることを示す集合グラフィックスオブジェクトとして表示部102に表示させる。図5(b)に示すように、ここでの集合グラフィックスオブジェクトは、複数のアイコンが重なり合った図柄のアイコンである。このような集合グラフィックスオブジェクトを使用することにより、実空間の映像に拡張現実感情報を表示した画面を図6に示す。図6に示されるように、集合グラフィックスオブジェクトを使用することで画面の表示は簡素化され、画面が煩雑化して視認し難くなることを防ぐことができる。
【0046】
このような集合グラフィックスオブジェクトで表示する対象は、例えば、決定された表示位置に描画するとグラフィックスオブジェクトが重なり合う複数の拡張現実感情報とすることができる。これによりアイコンが重なり合って視認できなくなることを未然に防止することができる。グラフィックスオブジェクトが重なり合うか否かは、実際に個々のグラフィックスオブジェクトを描画してAND条件により検出してもよいし、描画することなく計算により検出してもよい。また、図10(a)に示すように、画面を複数のエリアに分割して管理し、図10(b)に示すように、重畳する表示位置が同じエリアに決定された複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させることもできる。エリアの分割管理は、投影面を分割管理して行えばよい。この場合には、各グラフィックスオブジェクトが重なり合うか判定する必要がないので、重畳する表示位置の近接した拡張現実感情報を検出する負荷を軽減することができる。また、位置情報(地点情報)が近接している複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させることも可能である。図11を用いて詳細を説明する。図11は、カメラの撮像方向の地図情報の平面図であって、位置情報コンテンツが示す位置情報を×印で示したものである。図11に示すように、×印で示す位置情報コンテンツのうち位置情報が近接する位置情報コンテンツ(点線で囲う部分)を集合グラフィックスオブジェクトとして表示させる。この場合には、位置情報コンテンツを住所ごとに集合グラフィックスオブジェクトとして表示部102に表示させることができる。なお、この場合には、端末装置から遠距離にある地点に関連付けられた拡張現実感情報の間では、実空間映像における遠近法の効果を考慮して、近接していると判定する範囲を拡大することが好ましい。これにより、位置情報が現在地点から遠い地点を示す位置情報コンテンツほど集合グラフィックスオブジェクトとして表示できるので、画面の複雑化を回避することが可能となる。
【0047】
図7(a)は、拡張現実感情報のうち位置情報コンテンツを表示するアイコンについて、そのタイプ毎に絵柄を付した例である。このようなグラフィックスオブジェクトを使用することで拡張現実感情報の視認性を向上することができる。また、位置情報コンテンツの集合グラフィックスオブジェクトについては、図7(b)に示すように、所定の条件を満たす場所の位置情報コンテンツのタイプに応じた絵柄を付したものとすることができる。所定の条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。例えば、所定条件として距離を採用した場合には、端末装置100に最も近い場所の位置情報コンテンツのタイプに応じた絵柄を付したものとすることができる。さらに、集合グラフィックスオブジェクトは、上述した所定の条件でグラフィックスオブジェクトが並べられて表示される。このように表示されることで、拡張現実感情報の視認性を向上することができるとともに、情報検索を容易とすることが可能となる。
【0048】
以上のように、重畳する表示位置が近接した複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させることで、画面が煩雑化して視認し難くなることを防ぐことができる。ここで、集合グラフィックスオブジェクトから個々の拡張現実感情報に対するインターフェイスを設計する必要がある。最も簡単な方法は、カーソルを集合グラフィックスオブジェクトに合わせるキー操作をすることで情報のリストが表示部102に表示され、再度キー操作をすることで目的の情報が選択されるインターフェイスとすることである。しかし、本実施形態では、タッチパネル機能を備えた表示部102を利用して、以下に示す画面遷移のインターフェイスを提案する。
【0049】
このインターフェイスでは、図6に示した集合アイコンα上をユーザがタッチしたことを検出すると、表示部102に表示される実空間映像はタッチした時点のものに固定され、画面の明度は暗く変更される。同時に他のアイコン等は画面から消去され、集合アイコンαが画面中央に移動される(図8(a))。続いて、集合アイコンαとして表示されている拡張現実感情報の一つ一つを表示するために、各拡張現実感情報に対応したアイコンが表示される。ここでは集合アイコンαから各アイコンが回転しながら広がっていくように展開され(図8(b))、距離の近い位置情報コンテンツから順に所定数のアイコンが環状(リング状)に配置される(図8(c))。
【0050】
このようにアイコンを表示した画面に対して、ユーザが表示部102の表面をアイコンのリングに沿ってドラッグ操作することで、画面に表示されたアイコンのリングはドラッグした方向(リングの周方向)に回転し、左方向にドラッグすると先頭のアイコンα1が画面から消え、代わりにα8に続くα9が表示される(図9(a))。すなわち、アイコンの回転移動方向および表示位置(リングにおけるアイコンの配置位置)に基づいて入れ替えされるアイコンが決定される。このようなインターフェイスは、集合アイコンαとして表示されている拡張現実感情報が、画面に対して垂直な螺旋の上に距離の近いものから順に並んでいる状態を、螺旋の正面から見た状態としてモデル化したものである。すなわち、実空間の映像と同様にユーザの手前から奥に向かって、拡張現実感情報が近いものから連続的に表示され、ねじを回転させるようにドラッグ操作することでアイコンの表示領域は螺旋上の画面奥へと進む。このようなインターフェイスによれば、ユーザが片手で端末装置100を保持して画面上を親指でドラッグし、親指の届く位置に所望のアイコンを移動させてタッチ操作することにより、片手のみで端末装置100を操作することができる。
【0051】
また、図8(c)に示す画面を図12(a)に示す画面のように表示してもよい。図12に示す画面は、上述した螺旋のモデルを視覚的に表した画面である。この画面では、アイコンの大きさがアイコンごとに変更されて表示される。また、アイコンの透明度がアイコンごとに変更されて表示されてもよい。大きさ及び透明度の変更は、所定の条件に従って変更される。所定条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。例えば、所定条件として距離を採用した場合には、位置情報コンテンツが示す位置情報が現在の端末地点から近い位置となるほどアイコンは大きく表示され、位置情報コンテンツが示す位置情報が現在の端末地点から近い位置となるほどアイコンの透明度は小さく表示される。すなわち、現在の端末地点から近い位置を示す位置情報コンテンツほど、アイコンが大きくはっきりと表示される。他方、現在の端末地点から遠い位置を示す位置情報コンテンツほど、アイコンが小さくぼやけて(かすんで)表示される。なお、透明度の表示方法は、従来の3Dレタリング技術を用いてもよいし、明るさや青系統の色を用いて遠近感を表現してもよい。そして、所定条件を満たす順にアイコンを並べてリング状に表示することで、アイコンの大きさ及び透明度が周方向に徐々に変化するように表示することができるので、螺旋を示すモデルを視覚的にユーザに提供することが可能となる。そして、図12(b)に示すように、図9(a)に示す画面と同様にドラッグした方向に螺旋を回転させることができる。左方向にドラッグすると先頭のアイコンα1が画面から消えるとともにアイコンα2がアイコンα1の表示されていた位置に移動される。そして、アイコンα2の大きさ及び透明度が、先頭に位置したアイコンα1の大きさ及び透明度と同等となるように変更される。このように、リング状のアイコンが螺旋的に表示されることで、時間や距離等を直感的に表現することができる。
【0052】
また、図8(c)または図9(a)に示した状態で、アイコンの1つをタッチすると、アイコンで表示された拡張現実感情報について利用可能なメニューアイコンのセットがリング状に表示される(図9(b))。この状態でも前記同様に画面をドラッグすることでアイコンをリングに沿って回転させることができる。ただし、図9(b)の画面は固定的なメニュー表示を行うものなので、前述のように回転させながらアイコンを入れ替えることはしない。メニューアイコンのセットは、画面中央にディスクとして表現されており、表示部102の表面を速くドラッグすることにより次または前のディスク(メニューアイコンのセット)へ画面は遷移する。このようにタッチパネル機能を利用した物理的な操作をともなう視覚性および認識性に優れたインターフェイスによって、本実施形態に係る端末装置は優れた拡張現実感をもたらすものである。
【0053】
次に、拡張現実感サーバ300について説明する。図13は、本実施形態における拡張現実感サーバ300の機能ブロック図である。この拡張現実感サーバ300は、Webサーバの常駐したサーバシステムであり、主として、通信部301、サーバ制御部310およびユーザDB316を有し、端末装置100からのリクエストを通信網150およびネットワーク200を介して受け付け、必要に応じてネットワーク200に接続された地図情報サーバ351、経路情報サーバ361または位置情報コンテンツサーバ371からデータを取得して、拡張現実感情報として端末装置100にレスポンスする処理を行う。
【0054】
通信部301は、ネットワークに接続して端末装置100、地図情報サーバ351、経路情報サーバ361および位置情報コンテンツサーバ371といった外部サーバと通信を行うネットワークモジュールであり、公知のものを使用することができる。ユーザDB316は、拡張現実感サーバ300のシステム領域内にあるデータベースマシンであり、端末装置100から受け付けた端末ID、端末位置情報およびハンドル名を関連付けて記録し、管理する。
【0055】
サーバ制御部310は、不図示のCPUで所定のプログラムを実行することにより仮想的に構成される機能ブロックである。サーバ制御部310は、より詳細には、地図情報サーバ351から地図データを取得する地図データ取得部311、経路情報サーバ361から経路データを取得する経路データ取得部312、位置情報コンテンツサーバ371から位置情報コンテンツを取得する位置情報コンテンツ取得部313、およびユーザDB316にアクセスするユーザデータ部315からなっている。これら地図データ取得部311、経路データ取得部312、位置情報コンテンツ取得部313およびユーザデータ部315は、いずれも端末装置100から送信されたリクエストに基づき、対応するCGIプログラムである拡張現実感サーバAPIを呼び出すことにより所定の処理を行うものである。以下、地図データ取得部311、経路データ取得部312および位置情報コンテンツ取得部313について詳細に説明する。
【0056】
地図データ取得部311は、端末装置100が地図データを要求した場合に呼び出されるAPIであり、端末装置100から送信された端末位置情報を中心とした所定範囲についての地図データを、公開APIを利用して地図情報サーバ351に要求する。これに応じて地図情報サーバ351が地図情報DB352から対応する地図データを抽出して拡張現実感サーバ300に返却し、拡張現実感サーバ300は取得した地図データを端末装置100で表示可能なデータ形式として端末装置100にリプライする。この際、端末装置100が地図データをリクエストする際に、地図データの範囲および縮尺をパラメータとして指定している場合には、これらを指定して地図情報サーバ351が公開しているAPIを呼び出す処理を行う。
【0057】
経路データ取得部312は、端末装置100が経路データを要求した場合に呼び出されるAPIであり、端末装置100が位置情報取得部101で取得された端末位置情報を始点として、併せて送信された位置情報(地点情報)を終点とした経路データを経路情報サーバ361に要求する。これに応じて経路情報サーバ361が経路情報DB362から対応する経路データを生成して拡張現実感サーバ300に返却し、拡張現実感サーバ300は取得した経路データを端末装置100で対応可能なデータ形式として端末装置100にリプライする。この際、経路情報サーバ361が算出して総所要時間、総料金を経路データに付加してリプライしてもよい。
【0058】
位置情報コンテンツ取得部313は、端末装置100が位置情報コンテンツを要求した場合に呼び出されるAPIである。ここで、位置情報コンテンツとは、駅、空港、港、バス停、インターチェンジ、サービスエリア、ガソリンスタンド、レストラン、居酒屋、コンビニ、デパート、病院、学校、信号、曲がり角、交差点等について、それらの位置情報(地点情報)と関連付けられた当該施設の情報をいう。例えば、レストランに関しては、住所、電話番号、ファクス番号、メールアドレス、ホームページURL、紹介文、営業時間情報、店舗画像等を含んだ位置情報コンテンツが、情報サービスプロバイダーの提供するサービスで公開されている。
【0059】
位置情報コンテンツ取得部313は、端末装置100の位置情報取得部101で取得された端末位置情報を中心とした所定距離内に存在する位置情報コンテンツを、情報サービスプロバイダー等により公開されている位置情報コンテンツサーバ371に要求する。これに応じて位置情報コンテンツサーバ371が位置情報コンテンツDB372から条件を満たす位置情報コンテンツを抽出したリストを拡張現実感サーバ300に返却し、拡張現実感サーバ300は取得した位置情報コンテンツを端末装置100で利用可能なデータ形式として端末装置100にリプライする。この際、位置情報コンテンツ取得部313は、複数の位置情報コンテンツサーバ371に対して位置情報(地点情報)を要求することができ、この場合に拡張現実感サーバ300は複数の位置情報コンテンツサーバ371からのリストを共通フォーマットに統合して端末装置100にリプライする。また、位置情報コンテンツの分野毎に利用する位置情報コンテンツサーバ371を登録しておけば、端末装置100から要求のあった分野についてのみ位置情報コンテンツを要求することも可能である。
【0060】
また、ユーザDB316には別の端末装置の端末IDおよび端末位置情報がユーザのハンドル名とともに記録されているが、かかる内容も位置情報(地点情報)と関連付けられたコンテンツであり、他の位置情報コンテンツと等価に取り扱うことができる。すなわち、位置情報コンテンツ取得部313からユーザデータ部315に対して、端末装置100の現在の端末位置から所定距離内の位置情報(地点情報)に関連付けて記録されているユーザのハンドル名を要求させ、ユーザデータ部がこれに応じてユーザDB316から抽出したハンドル名のリストを拡張現実感サーバ300に返却し、拡張現実感サーバ300から端末装置100へ共通フォーマットでリプライすれば、他の位置情報コンテンツとともにコンテンツとして利用可能である。
【0061】
以下、以上のように構成された拡張現実感システム1における端末装置100の動作についてフローチャートを参照しながら説明する。
【0062】
図14は、本実施形態における端末装置100側の動作について、起動から拡張現実感情報を表示してユーザによる操作待ちの状態になるまでを示したフローチャートである。
【0063】
この動作は、ユーザが端末装置100のキー入力部103を操作して拡張現実感プログラムを起動することにより開始される。まず、カメラ部106および各種センサ(位置情報取得部101および方位センサ104)を起動し、初期画面としてライブビュー表示を開始する(ST101)。ライブビュー表示は、常法にしたがって、起動されたカメラ部106の光学系により取得された被写体像から所定露光時間で受像素子により映像データを生成し、当該データを表示部102に表示させる処理を所定時間間隔で繰り返すことにより行われる。続いて位置情報取得部101の検出値より端末装置100の現在の端末位置にかかる端末位置情報を取得する(ST102)。
【0064】
次に、端末装置100がST102で取得した端末位置情報を拡張現実感サーバ300へ送信して拡張現実感情報をリクエストし(ST103)、拡張現実感サーバ300によりレスポンスされた端末装置100周辺の拡張現実感情報のリストを受信し、記憶部107に記録する(ST104)。
【0065】
続いて、ST104で受信したリストの拡張現実感情報について、方位センサ104で検出されたカメラ部106の姿勢および角度の情報およびST102で取得された端末位置情報に基づいて、リストに記載された情報の関連付けられた地点がカメラ部106の視界に入るか否かを個々に判定し、記憶部107に記憶された拡張現実感情報のリストに記録する(ST105)。以下では、記憶部107のリストを参照し、ここでカメラ部106の視界に入るものと判定された拡張現実感情報について処理を行う。
【0066】
次に、端末装置100の現在の端末位置を原点とした座標空間に抽出された拡張現実感情報を配置したと想定して、原点の所定高さを中心点としてカメラの水平方向視野角および垂直方向視野角ならびに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行うことにより各情報の表示位置を算出する(ST106)。
【0067】
続いて、算出された各情報の表示位置に基づいて、表示位置の間隔が所定値以下となる拡張現実感情報があるか否かを判定し(ST107)、表示位置の間隔が所定値以下となる拡張現実感情報がある場合には当該拡張現実感情報を集合アイコンとして表示し(ST108)、残りの拡張現実感情報を通常のアイコンとして表示する(ST109)。以上で、実空間の映像に拡張現実感情報を重畳する動作は終了してユーザの操作を待つ動作となる。終了指示があったか否かを判定し(ST110)、終了指示があったと判定した場合には一連の動作を終了する。終了指示があったと判定しない場合には、続いて集合アイコンにタッチする操作がなされたか否かを判定し(ST111)、集合アイコンにタッチする操作がなされていると判定した場合には後述するスパイラルメニューの動作へと進む。一方。集合アイコンにタッチする操作がなされていると判定しない場合には、通常のアイコンにタッチする操作がなされたか否かを判定する(ST112)。通常のアイコンにタッチする操作がなされていると判定した場合には、後述するディスクメニューの動作へと進む。ST112で通常のアイコンにタッチする操作がなされていると判定しない場合には、ST110に戻って以降の動作を繰り返す。
【0068】
続いて、起動から拡張現実感情報を表示してユーザによる操作待ちの状態になるまでの別の動作を図15のフローチャートを参照しながら説明する。
【0069】
この動作は、まず前記動作と同様に、カメラ部106および各種センサを起動してライブビュー表示を開始し(ST101’)、位置情報取得部101が端末位置情報を取得し(ST102’)、端末位置情報を拡張現実感サーバ300へ送信して拡張現実感情報をリクエストし(ST103’)、拡張現実感サーバ300によりレスポンスされた拡張現実感情報のリストを記憶部107が記録し(ST104’)、リストの拡張現実感情報がカメラ部106の視界に入るか否かを判定する(ST105’)。
【0070】
続いて、記憶部107に記録されたリストのうちカメラ部106の視野角に入ると判定された拡張現実感情報について、その位置情報(地点情報)にかかる地点から端末装置100までの距離をそれぞれ算出して記憶部107のリストに記録する(ST120)。次に、前記動作と同様に各情報の表示位置を算出する(ST121)。
【0071】
この動作では拡張現実感情報のうち位置情報コンテンツを実空間の映像に重畳するにあたり、位置情報(地点情報)にかかる地点が近距離の場合には大きいアイコン(グラフィックスオブジェクト)を描画し、遠距離の場合には小さいアイコン(グラフィックスオブジェクト)を描画することにより、拡張現実感情報に実際の距離に応じて遠近感をもたせ、優れた拡張現実感をもたらすものである。したがって、この動作では、距離に応じたサイズのアイコンを表示部102に表示させると、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があるか否かを判定する(ST122)。ここで、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があると判定した場合には、当該拡張現実感情報を集合アイコンとして表示部102に表示させ(ST123)、続いて残りの情報を距離に応じた通常のアイコンとして表示部102に表示させる(ST124)。一方、ST123で、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があると判定しない場合には、そのまま各拡張現実感情報を距離に応じた通常のアイコンとして表示する(ST124)。
【0072】
以降、前述の動作と同様にユーザの操作を待つ動作となり、終了指示があったか否かの判定(ST110’)、集合アイコンにタッチする操作がなされたか否かの判定(ST111’)、通常のアイコンにタッチする操作がなされたか否かの判定(ST112’)を繰り返す。
【0073】
次に、上記ユーザの操作を待っている動作において、ST111またはST111’にて、ユーザが集合アイコンをタッチする操作がなされたものと判定した場合に行われるスパイラルメニュー動作について、図16のフローチャートを参照しながら説明する。
【0074】
本実施形態のスパイラルメニュー動作においては、ST111またはST111’にてユーザが集合アイコンをタッチする操作がなされたと判定して開始する場合には、まず、表示部102に表示されているライブビュー画像をタッチされた時点でロックするとともに明度を低減する(ST201)。ここでライブビュー画像をロックするとは、表示部102に表示される実空間の映像をタッチされた時点のものに固定することである。このようにすることで、メニュー操作中に端末の姿勢角度が変化しても集合アイコンにかかる拡張現実感情報の関連付けられた地点の映像を表示し続けることができる。また、実空間映像の明度を低減することによりアイコン等の拡張現実感情報をより強調して表示することが可能となる。続いてタッチされた集合アイコン以外のアイコンを画面から消去し(ST202)、タッチされた集合アイコンを画面中央に移動させる(ST203、図8(a)。)次に、画面中央に移動された集合アイコンを、通常のアイコンを重ね合わせた画像に書き換え、集合アイコンとして表示されていた拡張現実感情報のうち所定個のアイコンを、端末装置100までの距離が近いものから順に画面中央を中心として回転移動させてリング状に展開させて配置する(ST204、図8(b))。以上でタッチされた集合アイコンに関するスパイラルメニューが表示部102に表示される。
【0075】
以降はスパイラルメニューに対するユーザの入力に応じた処理となる。まず、アイコンのなすリングの中央部分をタッチする操作等、スパイラルメニュー終了指示として定義された操作がなされたか否かを判定する(ST205)。スパイラルメニュー終了指示として定義された操作がなされたと判定した場合には、表示中のメニューをクリアし(ST211)、ライブビュー画像のロックを解除して実空間映像の明度を戻し(ST212)、通常のアイコン、集合アイコンを再表示させて(ST213)、図14のST110または図15のST110’以降の処理でユーザの操作待ちに戻る。
【0076】
一方、スパイラルメニュー終了指示として定義された操作がなされていないと判定した場合は、まず個々のアイコンに対するタッチ操作がなされたか否かを判定する(ST206)。ST206で個々のアイコンに対するタッチ操作がなされたと判定した場合には、後述するディスクメニュー動作を開始する。ST206でタッチ操作がなされたと判定しない場合は、続いて所定のドラッグ操作がなされたか否かを判定する(ST207)。ここで、所定のドラッグ操作とは、スパイラルメニューに対する入力操作であって、具体的にはスパイラルメニューをなすリング状に配置されたアイコンに沿って回転させるようにドラッグする動作のことである。表示部102のタッチパネル機能によりこのようなドラッグ操作がなされたと判定した場合、続いてドラッグ操作の方向が左方向であるか否かを判定する(ST208)。ドラッグ操作の方向が左方向であると判定した場合には、リング状に配置されているアイコンを左方向へリング状の周方向に回転移動させて、表示されるアイコンを1個ずつ遠距離方向へシフトさせる(ST209)。また、ST208でドラッグ操作の方向が左方向であると判定しない場合には、右方向へドラッグされたものとして、リング状に配置されているアイコンを右方向へリング状の周方向に回転移動させて、表示されたアイコンを1個ずつ近距離方向へシフトさせる(ST210)。ST209またはST210でアイコンをシフトさせた後、ST207で所定のドラッグ操作がなされたと判定しない場合には、いずれもST205に戻って以上の動作を繰り返す。
【0077】
次に、図14のST112または図15のST112’にて通常のアイコンにタッチする操作がなされたと判定した場合、ならびに図16のST206のスパイラルメニュー動作で個々のアイコンに対するタッチ操作がなされたと判定した場合に行われるディスクメニュー動作について、図17のフローチャートを参照しながら説明する。
【0078】
このディスクメニュー動作は、個々のアイコンにかかる拡張現実感情報について選択可能なメニューを、表示部102に一度に表示可能な数のセットに配分したディスクメニューとして表示し、表示部102のタッチパネル機能を利用して片手でも容易に操作可能なインターフェイスを提供するものである。
【0079】
まず、前述のスパイラルメニューを経ずに図14のST112または図15のST112’からディスクメニュー動作を開始する場合には、まず、前述のST201と同様にライブビュー画像をロックするとともに明度を低減し、タッチされなかったアイコンを消去して(ST250)、タッチされたアイコンを画面中央に移動させる(ST251)。スパイラルメニュー動作のST206からディスクメニュー動作を開始する場合は、ST251から開始する。
【0080】
続いて、初期メニューディスクのアイコンのセットを、スパイラルメニュー動作のST204と同様の動作でリング状に展開させて配置する(ST252)。以降はディスクメニューに対するユーザの入力に応じた処理となり、まず所定のディスクメニュー終了指示として定義された操作がなされたか否かを判定し(ST253)、終了指示の操作がなされたと判定した場合には表示中のメニューをクリアし(ST254)、集合アイコンが選択された状態であるか否かを判定する(ST265)。集合アイコンが選択されていると判定した場合にはアイコンおよび集合アイコンを再描画してスパイラルメニュー動作のST203に戻り、集合アイコンが選択されていると判定しない場合には図14のST110または図15のST110’に戻る。
【0081】
続いて、現在表示しているディスクメニューのアイコンに対してタッチ操作がなされたか否かを判定し(ST255)、タッチ操作がなされたと判定した場合には当該アイコンに対応した処理を実行する(ST256)。一方、タッチ操作がなされたと判定しない場合には、続いて所定のドラッグ操作がなされたか否かを判定する(ST257)。ここで、所定のドラッグ操作とは、ディスクメニューに対する入力操作であって、ディスクメニューをなすリング状に配置されたアイコンに沿って回転させるようにドラッグする動作のことである。このようなドラッグ操作がなされたと判定した場合、続いてドラッグ操作の方向が左方向であるか否かを判定する(ST258)。ドラッグ操作の方向が左方向であると判定した場合、続いてドラッグ操作が低速であったか否かを判定する(ST259)。ドラッグ操作が低速であると判定した場合にはディスクメニューとして表示しているアイコンのセットを左へ1個ずつリング状の周方向に回転移動させ(ST260)、ドラッグ操作が低速であると判定しない場合には画面から表示中のアイコンを消去して次のメニューディスクのアイコンセットを表示させ(ST261)、ST253以降の動作を繰り返す。また、ST258でドラッグ操作が左方向と判定しない場合には、続いてドラッグ操作が低速であったか否かを判定する(ST262)。ドラッグ操作が低速であると判定した場合にはディスクメニューとして表示しているアイコンのセットを右へ1個ずつリング状の周方向に回転移動させる(ST263)。ドラッグ操作が低速であると判定しない場合には画面から表示中のアイコンを消去して前のメニューディスクのアイコンセットを表示させ(ST264)、ST253以降の動作を繰り返す。
【0082】
図18は、図17に示したディスクメニュー動作において、リング状に並べられたアイコンの中央に表示されるディスクバリエーションのインジケータである。図18に示すように、このディスクメニューは、一例として初期メニュー、コミュニケーション、ナビゲーション、関連ブログに関する操作のメニューアイコンのセットに大別されている。ディスクメニュー動作では、表示中のディスクメニューの種別に応じてインジケータの強調箇所(図中斜線部分)を変更する。このため、視認性に優れたインターフェイスが実現される。
【0083】
以上のような処理により、本実施形態の端末装置100は、実空間の映像に情報を表示する拡張現実感技術に対応し、表示する情報の量が多くなっても重畳する表示位置の近接した拡張現実感情報を集合グラフィックスオブジェクトとして表示するので、画面の煩雑化を抑制することが可能である。これに加えてスパイラルメニューとディスクメニューによって、タッチパネルを利用した物理的な操作により直感的で視認性に優れた分かりやすいインターフェイスを実現しているので、ユーザエクスペリエンスに優れた拡張現実感を提供することができる。さらに、情報を重畳する対象物と端末装置100との距離に応じて、視覚的または情報量的な遠近感を設けて情報を重畳することができるので、平板に重畳された情報により拡張現実感が損なわれることも防止できる。
【0084】
なお、本発明の端末装置、情報提示システム及び端末画面表示方法は、上記実施形態に限られるものではなく、種々変形が可能である。たとえば上記実施形態ではグラフィックスオブジェクトを丸形のアイコンとした場合を示したが、これに限られるものではなく、角形のアイコンであってもよいし情報バルーンのようなものであっても構わない。
【0085】
また、上記実施形態ではリング状にグラフィックスオブジェクトを展開する例を説明したが、正確なリング状である必要な無く、環状であればよい。
【0086】
また、上記実施形態では、端末装置100の制御部108が拡張現実感情報の表示位置等を決定する処理を行う例を説明したが、拡張現実感サーバ300のサーバ制御部310が拡張現実感情報の表示位置等を決定する処理を行い、結果のみを端末装置100へ返すように構成してもよい。
【0087】
また、上記実施形態では、リング状に表示させたグラフィックスオブジェクトをドラッグするユーザ操作を検出し、左方向であるか否かを判定する場合(ST208)を例に説明したが、図17のST259、ST262に示すように、ドラッグの速度に応じて表示アイコンの全てを入れ替える処理を実行してもよい。
【0088】
また、上記実施形態では、サーバの機能を呼び出す際、機能をCGIで構築しその呼び出しをAPIとしているが、その手法は他のプロトコルや、分散オブジェクトなど、いかなるアプリケーション間の通信手段で構成してもよい。
【0089】
また、上記実施形態では、表示部102がタッチパネル機能を備える例を説明したが、これに限られるものではなく、ユーザの操作を検出する機能を端末装置100が有していればよい。例えば、タッチパネル機能に替えて、ポインティングデバイス、十字キー、テンキー等のハードウェアボタンによる画面操作を検出する構成としてもよい。
【符号の説明】
【0090】
1…拡張現実感システム(情報提示システム)、100…端末装置、101…位置情報取得部、102…表示部、103…キー入力部、104…方位センサ、105…通信部、106…カメラ部、107…記憶部、108…制御部。
【技術分野】
【0001】
本発明は、端末装置、情報提示システム及び端末画面表示方法に関するものである。
【背景技術】
【0002】
携帯電話事業における移動体通信技術は、アナログ方式の第一世代から、音声通話に加えてデジタル技術によるデータ通信を実現したPDC方式やGSM方式等の第二世代を経て、現在ではより高速なデータ通信やマルチメディアを利用した各種サービスを提供するW−CDMA等の第三世代へと発達を続けている。また、このような通信技術を利用する移動体通信端末においてもCPU等のプロセッサ、メモリ、各種周辺デバイスおよび実装技術の各分野で技術革新が進められた結果、多機能化と高機能化の双方で飛躍的な進歩を達成している。
【0003】
このように移動体通信および端末に関する技術が高度に発達したことにより、音声通話に加えて、テレビ通話、電子メール、Webブラウジング、チャット等の様々な通信サービスが携帯電話で実現されている。また、多機能化した端末には液晶/有機EL表示モジュール、カメラモジュール、非接触ICカードモジュール、赤外線通信モジュール、Bluetooth(登録商標)通信モジュール、WiFi通信モジュール、GPSモジュールのような各種デバイスが搭載されている。さらに、端末の多機能化はソフトウェアの面でも進んでおり、各種モジュールを制御する種々のアプリケーションソフト、また各種ビューワ、マルチメディアプレーヤ、ブラウザ、メーラ、ゲーム、PIM等のアプリケーションソフトがオペレーティングシステム上に実装されており、マルチタスク機能により複数のアプリケーションを同時並行的に実行することで極めて高度な機能が実現可能となっている。
【0004】
一方、情報処理の分野では、コンピュータグラフィックスにより仮想的な現実空間を構成する仮想現実(Virtual Reality)、現実空間の映像をコンピュータで処理して情報を付加する拡張現実感(AR;Augumented Reality)に関する研究が進められており、特に最近では拡張現実感技術(AR技術)が注目されている。AR技術の実現方法には様々な態様が考えられるが、その一つにカメラ付き携帯電話を利用したものを挙げることができる。例えば米国MOBILIZY社は、携帯電話向けオープンプラットフォームの一つであるAndroid向けに、カメラでキャプチャーした実空間の風景映像に観光情報を付加して表示するトラベルガイドのアプリケーション製品を提供している。このアプリケーションは、端末の位置情報(GPS測位またはユーザのマニュアル入力による)をサーバに送信し、サーバに予め登録された情報のうち周辺の観光情報をサーバから端末へレスポンスさせ、取得した観光情報を風景映像に付加して表示することにより拡張現実感を実現するものである。
【0005】
また、特許第3700021号には、カメラでイメージを取得するとともにカメラの位置および姿勢を測定し、測定されたカメラの位置および姿勢から記憶装置の所定アドレスに格納されたデータを読み出し、読み出されたデータをカメラで取得したイメージに結合させて表示するAR技術について開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3700021号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
カメラでキャプチャーした実空間の映像に情報を表示する拡張現実感技術においては、情報を情報バルーン、アイコン等のグラフィックスオブジェクトとして実空間の映像に重畳することになるが、表示する情報の量が多くなると画面は非常に煩雑となり、さらにグラフィックスオブジェクトが重なり合うようになると視認、ならびに操作対象としての選択も難しくなる。このような問題は小型の表示装置が使用されている携帯電話やPDA等のモバイル端末では特に顕著である。さらに、近時のモバイル端末にはタッチパネルを採用したものもあるが、画面上にグラフィックスオブジェクトが密集している状態でタッチパネルを操作することは極めて困難である。
【0008】
上記事情に鑑み、本発明は、実空間の映像に表示する情報の量が多くなっても画面の煩雑化を抑制することができる端末装置、情報提示システム及び端末画面表示方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
すなわち本発明に係る端末装置は、実空間の映像を取得するカメラ部と、画面を表示する表示部と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部と、前記各部の動作を制御するとともに情報処理機能を実現する制御部とを備え、前記制御部は、前記カメラ部により取得された実空間の前記映像を前記表示部に表示させるとともに、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させる処理を行う端末装置であって、前記制御部は、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴として構成される。
【0010】
本発明に係る端末装置によれば、制御部により、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして表示部に表示させることができる。このため、近接した複数の拡張現実感情報が表示されることがないので、画面の複雑化を回避することができる。
【0011】
ここで、前記制御部は、前記表示位置で描画させるとグラフィックスオブジェクトが重なり合う複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことが好適である。このように構成することで、制御部により、重なり合う複数のグラフィックスオブジェクトが1つの集合グラフィックスオブジェクトとして表示部に表示される。このため、画面の複雑化を回避することが可能となる。
【0012】
また、前記制御部は、前記画面を複数のエリアに分割して管理し、前記表示位置が同じエリアとなる複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことが好適である。このように構成することで、制御部により、同一エリアに表示される複数の拡張現実感情報が1つの集合グラフィックスオブジェクトとして表示部に表示される。このため、複数のグラフィックスオブジェクトの近接の判断処理の負荷を軽減することができる。
【0013】
また、前記制御部は、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記位置情報が近接している複数の前記拡張現実感情報を1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことが好適である。このように構成することで、制御部により、位置情報の近接している複数の拡張現実感情報が1つの集合グラフィックスオブジェクトとして表示部に表示される。実空間で近接するものをまとめて表示できるので、実空間での位置関係を視覚で表現することが可能となるとともに、ユーザにとって分かり易い表示とすることができる。
【0014】
また、前記制御部は、現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど前記位置情報が近接していると判定する範囲を拡大することが好適である。このように構成することで、制御部により、グラフィックスオブジェクトの表示位置が撮影位置から遠い地点となるほど1つの集合グラフィックスオブジェクトとしてまとめて表示部に表示され易くなる。このため、表示が視認しにくくなるほど1つにまとめて表示することができるので、画面の簡素化を一層図ることができる。
【0015】
また、前記制御部は、前記拡張現実感情報の種類に応じた前記グラフィックスオブジェクトを前記表示部に描画させる処理を行い、前記集合グラフィックスオブジェクトは、所定の条件で並べられた複数の前記グラフィックスオブジェクトが重なり合った形状であることが好適である。このように構成することで、集合グラフィックスオブジェクトが複数のグラフィックスオブジェクトを含むことを容易に視認することができるとともに、例えばユーザにとって情報検索し易い表示とすることが可能となる。
【0016】
また、前記制御部は、前記集合グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該集合グラフィックスオブジェクトとして前記表示部に表示させている複数の前記拡張現実感情報の前記グラフィックスオブジェクトを、環状に並べて前記表示部に表示させる処理を行うことが好適である。このように構成することで、制御部により、ユーザの操作を検出すると集合グラフィックスオブジェクトとしてまとめられたグラフィックスオブジェクトが環状に展開される。このため、画面の簡素化を図りつつユーザが必要とする場合のみ詳細な情報を表示することが可能となるユーザインターフェイスを提供することができる。
【0017】
また、前記制御部は、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させている前記拡張現実感情報の数が、環状に並べて一度に表示可能な前記グラフィックスオブジェクトの数よりも多い場合には、表示可能な数だけ環状に並べられた前記グラフィックスオブジェクトを前記表示部に表示させ、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作を検出した場合には、環状に並べた前記グラフィックスオブジェクトそれぞれを周方向に沿って回転移動させるとともに、表示されているグラフィックスオブジェクトを入れ替える処理を行うことが好適である。このように構成することで、制御部により、移動方向を明示する操作に応じて環状に並べたグラフィックスオブジェクトを周方向に沿って回転移動させるとともに、グラフィックスオブジェクトが入れ替えられて表示部に表示される。このため、ユーザにとって直感的で理解しやすく、操作性に優れたユーザインターフェイスを提供することができる。
【0018】
また、前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいて環状に並んだグラフィックスオブジェクトの大きさが変更される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。
【0019】
また、前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの透明度を変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいて環状に並んだグラフィックスオブジェクトの透明度が変更される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。
【0020】
また、前記制御部は、所定の条件を満たす前記拡張現実感情報の前記グラフィックスオブジェクトを、前記集合グラフィックスオブジェクトの先頭に位置するように前記表示部に表示させることが好適である。このように構成することで、制御部により所定の条件を満たす拡張現実感情報のグラフィックスオブジェクトが集合グラフィックスの先頭に配置される。このため、例えばユーザにとって情報検索し易い表示とすることができる。
【0021】
また、前記制御部は、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作として前記グラフィックスオブジェクトに沿ってドラッグするユーザの操作を検出した場合であって、ドラッグするユーザの操作が閾値より低速である場合には表示されている前記グラフィックスオブジェクトを1個ずつ入れ替え、閾値以上の高速である場合には表示されている前記グラフィックスオブジェクトを全て入れ替える処理を行うことが好適である。このように構成することで、制御部により、閾値より低速でドラッグするユーザの操作に応じて環状に並べたグラフィックスオブジェクトが1つずつ入れ替って回転移動し、閾値より高速でドラッグするユーザの操作に応じて環状に並べたグラフィックスオブジェクトの全てが、入れ替って表示部に表示される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。
【0022】
また、前記制御部は、前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる前記拡張現実感情報について、実行可能な処理を表示する前記グラフィックスオブジェクトを環状に並ぶように前記表示部に表示させ、環状に並んで表示された前記グラフィックスオブジェクトのうち1つの前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる処理を行うことが好適である。このように構成することで、制御部により、環状に並べたグラフィックスオブジェクトのうちユーザにより選択された1つのグラフィックスオブジェクトに係る処理が実行される。このため、ユーザにとって直感的で理解しやすいユーザインターフェイスを提供することができる。
【0023】
また、前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいてグラフィックスオブジェクトの大きさが変更されて表示部に表示される。このため、実空間の映像に情報が平板に表示されることを回避することができるので、優れた拡張現実感を提供することが可能となる。
【0024】
さらに、前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの情報量を変更して前記表示部に表示させることが好適である。このように構成することで、制御部により、所定の条件に基づいてグラフィックスオブジェクトの情報量が変更されて表示部に表示される。このため、実空間の映像に情報が平板に表示されることを回避することができるので、優れた拡張現実感を提供することが可能となる。
【0025】
また、本発明に係る情報提示システムは、表示部により画面を表示する端末装置と、前記端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、を備える情報提示システムであって、前記サーバは、実空間の映像を前記表示部に表示させ、前記端末装置の位置情報に基づいて、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させるとともに、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うサーバ制御部を備えること、を特徴として構成される。
【0026】
本発明に係る情報提示システムによれば、サーバ制御部により、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして端末装置の表示部に表示させることができる。このため、近接した複数の拡張現実感情報が端末装置の表示部に表示されることないので、端末装置の画面の複雑化を回避することができる。
【0027】
また、本発明に係る端末画面表示方法は、カメラ部により取得された実空間の映像に、位置情報に関連付けられた拡張現実感情報と対応するグラフィックスオブジェクトを重畳して表示部に描画させる端末画面表示方法であって、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定する表示位置決定ステップと、複数の前記グラフィックスオブジェクトの前記表示位置が近接するか否かを判定する近接判定ステップと、前記表示位置が近接する場合には、複数の前記拡張現実感情報を1つの集合グラフィックスオブジェクトとして前記表示部に表示させる表示ステップと、を備えることを特徴として構成される。
【0028】
本発明に係る端末画面表示方法によれば、表示位置が近接する複数の拡張現実感情報を、1つの集合グラフィックスオブジェクトとして表示部に表示させることができる。このため、近接した複数の拡張現実感情報が表示されることがないので、画面の複雑化を回避することができる。
【発明の効果】
【0029】
本発明によれば、実空間の映像に表示する情報の量が多くなっても画面の煩雑化を抑制することができる。
【図面の簡単な説明】
【0030】
【図1】実施形態に係る端末装置を有する情報提示システムの構成を示す概略図である。
【図2】実施形態に係る端末装置の機能ブロック図である
【図3】位置情報コンテンツのリストの一例である。
【図4】拡張現実感情報を丸形のアイコンで表示する画面図である。
【図5】近接するアイコン及び集合グラフィックスオブジェクトの説明図である。
【図6】実空間の映像に拡張現実感情報を重畳した画面図である。
【図7】タイプ毎に絵柄を付したアイコンの一例である。
【図8】アイコンの画面動作を説明する画面図である。
【図9】アイコンの画面動作を説明する画面図である。
【図10】アイコンの他の画面動作を説明する画面図である。
【図11】アイコンの他の画面動作を説明する説明図である。
【図12】アイコンの他の画面動作を説明する画面図である。
【図13】実施形態に係る拡張現実感サーバの機能ブロック図である。
【図14】実施形態に係る端末装置の起動から操作待ちの状態になるまでの動作を示すフローチャートである。
【図15】実施形態に係る端末装置の起動から操作待ちの状態になるまでの他の動作を示すフローチャートである。
【図16】実施形態に係る端末装置のスパイラルメニュー動作を示すフローチャートである。
【図17】実施形態に係る端末装置のディスクメニュー動作を示すフローチャートである。
【図18】ディスクバリエーションのインジケータである。
【発明を実施するための形態】
【0031】
以下、本発明を実施するための形態について説明する。図1は、本発明の実施形態にかかる端末装置100と、端末装置100に拡張現実感情報を提供する拡張現実感サーバ300とを備える拡張現実感システム(情報提示システム)1の構成を概略的に示した図面である。端末装置100は、通信網150と接続して通信を行う携帯電話等のモバイル端末であって、後述するようにイメージ取得機能を備えたカメラ部および表示部を備えている。拡張現実感サーバ300は、通信網150と接続されたネットワーク200と接続されたサーバコンピュータシステムであり、同様にネットワーク200と接続された外部サーバである地図情報サーバ351、経路情報サーバ361および位置情報コンテンツサーバ371ならびに端末装置100と通信可能な構成となっている。このような構成の拡張現実感システム1は、端末装置100のユーザが実空間に向けたカメラで取得した画像に、拡張現実感サーバ300が提供する情報を重畳することにより、ユーザに拡張現実感を与えるサービスを提供するものである。以下、端末装置100および拡張現実感サーバ300について詳細に説明する。
【0032】
まず端末装置100について説明する。図2は本実施形態における端末装置100の機能ブロック図である。この端末装置100は、主として、端末の位置情報を取得する位置情報取得部101と、画面を表示する表示部102と、ユーザのキー操作による入力を受け付けるキー入力部103と、端末が向いている方位を検出する方位センサ104と、通信網150と接続して通信を行う通信部105と、実空間の映像を取得するカメラ部106と、所定のプログラムおよびデータを記憶する記憶部107と、各部の動作を制御するとともに所定の情報処理を実現する制御部108とから構成されている。
【0033】
位置情報取得部101は、例えば、複数のGPS(Global Positioning System)衛星からの電波を受信して、それらの強度から現在の端末位置情報を取得するGPSモジュールを用いることができる。また、GPS方式に加えて通信部105を介して通信網150と通信することにより端末の近くに存在する衛星の情報をアシストデータとして取得し、位置測位を行うAGPS(Assisted Global Positioning System)方式に対応したモジュールを利用すれば、端末位置情報をより高速かつ正確に取得することができるので好適である。ただし、位置情報取得システムはGPSまたはAGPSを利用するものに限られるものではなく、GPSに依存することなく端末位置情報を取得する構成とすることも可能である。例えば、WiFiやBluetooth(登録商標)等の無線通信基地局を空間内に複数配設し、それらからの電波強度により端末位置情報を取得する方式を利用してもよいし、このような方式をGPSないしはAGPSに併用する方式を利用することも可能である。
【0034】
表示部102は、画面表示を行うためのLCDモジュール113およびLCDコントローラ112と、画面にユーザがタッチする操作に反応し、ユーザの接触位置を検出するセンサモジュール114および位置検出部111とを備え、画面表示機能およびタッチパネル機能を実現したものである。すなわち、表示部102は、制御部108からのデータおよび制御信号をLCDコントローラ112で受け付けて所定の画面をLCDモジュール113で表示するとともに、画面をタッチするユーザの操作をセンサモジュール114で受け付けて位置検出部111にて接触位置を検出し、その接触位置に関する位置信号を制御部108に入力として通知するものである。本実施形態の端末装置100おいては、後述する動作に従って、カメラ部106により取得した実空間の映像に拡張現実感サーバから取得した情報を付加して表示することによりユーザに拡張現実感を提供し、また表示機能およびタッチパネル機能によりユーザインターフェイスを提供する。
【0035】
キー入力部103は、端末装置100の筐体に設けられたキーパッド、ならびにその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部108に通知され、種々の操作ないしは制御に利用される。
【0036】
方位センサ104は、自分が向いている方向の姿勢・角度を検出し、それに相当する信号を制御部108に出力するモジュールである。制御部108は、方位センサ104の検出値からユーザが端末装置100を保持している姿勢・角度を認識することが可能である。このような方位センサ104には複数の地磁気センサを組み合わせたものを利用することが可能であり、さらに地磁気センサに加えて複数の加速度センサを組み合わせたモーションセンサを用いてもよい。3軸方向の地磁気センサと3軸方向の加速度センサとを組み合わせた6軸センサ、3軸方向の地磁気センサと2軸方向の加速度センサとを組み合わせた5軸センサ、また、加速度センサの代わりにジャイロを用いる場合等は、いずれもモーションセンサとして方位センサ104に利用することができる。このようにモーションセンサを利用した場合には、端末装置100の姿勢・角度に関する情報だけでなく、ユーザが端末装置100を動かしたり傾けたりした動作の向きおよび速さを検出することが可能となる。
【0037】
通信部105は、通信網150と接続して、他の端末装置やサーバシステムと通信を行うためのモジュールである。ここでの通信としては、例えば、他の端末装置と通信接続して行う回線交換型通信、通信網150を介してネットワーク200に接続されたサーバシステムと行うパケット交換型通信等を挙げることができる。また、AGPS方式により端末位置情報を取得する場合には、通信部105は位置情報取得部101と協調動作して端末位置情報の取得を補助する。
【0038】
カメラ部106は、所定の光学系および受像素子を有し、デジタル画像を取得する機能を提供するモジュールである。端末装置100でデジタル画像を撮影する際には、起動されたカメラ部106は、通常、光学系の取得した被写体像から所定露光時間で受像素子によりデータを取得する処理を所定時間間隔で繰り返し、当該データを表示部102に表示することによりライブビュー機能を実現する。そして、その状態でユーザがさらにキー入力部103で所定の操作を行うことにより、カメラ部106は光学系の取得した被写体像から設定された撮影条件で画像データを生成し、生成された画像データは記憶部107に保存される。本実施形態にかかる拡張現実感システムは、上述のライブビュー機能により表示部102に表示される実空間映像に拡張現実感をもたらす情報を表示するものである。
【0039】
記憶部107は、所定の情報を制御部108の制御下で記憶し、また記憶している情報を制御部108に提供するためのメモリである。また、記憶部107は、制御部108で実行される種々のプログラムを記憶しており、制御部108はこれを適宜読み出して実行する。記憶部107は一様な構成である必要はなく、ROM、RAM、Flash ROM等の各種メモリを適宜組み合わせて構成することが可能であり、さらにHDDのような二次記憶装置を組み合わせるようにしても構わない。なお、端末装置100に付与された固有の端末IDもその他のデータとともに記憶部107に記憶されている。また、記憶部107は、後述する拡張現実感サーバから提供された種々の拡張現実感情報を記憶している。図3には、記憶部107が記憶している拡張現実感情報のうち位置情報コンテンツのリストを一例として示す。位置情報コンテンツは、端末装置100からのリクエストに応じて拡張現実感サーバ300により位置情報コンテンツサーバ371から取得され、端末装置100にレスポンスとして返されたものである。記憶部107のリストには、各位置情報コンテンツについて、コンテンツID、コンテンツタイプ、コンテンツ名および位置情報(地点情報)が含まれており、さらに端末装置100の現在の端末位置からの距離、視野角内か否かの項目が設けられている。このうち、距離と視野角以外の項目については拡張現実感サーバ300から取得した情報がそのまま記録されており、距離および視野角の項目については端末装置100の制御部108が算出および判定した結果が記録されている。
【0040】
制御部108は、不図示のCPU上で記憶部107に記憶されたプログラムを実行することにより仮想的に構成される機能ブロックであって、端末装置100の位置情報取得部101、表示部102、キー入力部103、方位センサ104、通信部105、カメラ部106および記憶部107といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、端末装置100の各種機能を実現するものである。また、本実施形態における端末装置100の制御部108は、位置情報取得部101が取得した端末位置情報を送信してリクエストすることにより拡張現実感サーバ300から端末位置情報に応じた拡張現実感情報のレスポンスを受けて、拡張現実感をユーザに提供する。この場合に特徴的な機能として、制御部108、前記カメラ部の撮影した実空間の映像を表示部102に表示させつつ、拡張現実感情報を実空間の映像に重畳する表示位置を決定し、当該表示位置に当該拡張現実感情報と対応したグラフィックスオブジェクトを重畳して描画する際に、重畳する表示位置が近接した複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させる処理を行う。以下、このような処理について詳細に説明する。
【0041】
まず、カメラ部106の姿勢および角度に基づいて拡張現実感情報の表示位置を決定し、実空間の映像に重畳して表示部に表示させる処理について説明する。この処理では、まず、方位センサ104の検出値からカメラの向いている姿勢・方向を導出し、カメラの水平方向視野角および垂直方向視野角に基づいて、記憶部107に記憶されている拡張現実感情報がカメラ部106の視野に入るか否かを判定し、結果を拡張現実感情報のリストに記録する(図3参照)。続いて、視野にはいると判定された拡張現実感情報について、端末装置100の現在の端末位置を原点とした座標空間に配置したと想定し、原点の所定高さを中心点としてカメラの水平方向視野角および垂直方向視野角ならびに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行い、透過投影された位置をもって表示位置と決定する。ここで、透過投影する中心点の高さについては、ユーザが立った状態で端末装置100を使用する状況を再現するために、1.5m程度の高さとすることが好適である。
【0042】
上記処理の後、決定された表示位置に各拡張現実感情報を描画することにより実空間映像に重畳させて表示する処理を行う。このような処理についての制限は特にないが、各拡張現実感情報が所定の表示位置に描画されて残部が透明の画面レイヤーを作成し、この画面レイヤーを実空間映像に重ねて表示部102に表示させることができ、これにより実空間映像の適切な位置に拡張現実感情報が表示される。この際、本実施形態における拡張現実感情報は、アイコン、情報バルーン、サブウィンドウ等のグラフィックスオブジェクトとして画面上に表示される。
【0043】
この際、制御部108は重畳する表示位置が近接した複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させる。図4(a)、(b)、(c)は拡張現実感情報を丸形のアイコンで表示する画面の例を示したものであり、(a)はカメラ部106の取得した実空間の映像を示し、(b)は前述の方法により各拡張現実感情報の表示位置を求めてアイコンを描画したイメージを示したものである。ここで、この画面では、アイコンの大きさがアイコンごとに変更されて表示される。また、アイコンの透明度がアイコンごとに変更されて表示されてもよい。大きさ及び透明度の変更は、所定の条件に従って変更される。所定条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。例えば、所定条件として距離を採用した場合には、アイコンが示す位置情報が、現在の端末地点から近い位置となるほど大きく表示され、アイコンが示す位置情報が、現在の端末地点から近い位置となるほど透明度が小さく表示される。すなわち、現在の端末地点から近い位置を示すアイコンほど、大きくはっきりと表示される。他方、現在の端末地点から遠い位置を示すアイコンほど、小さくぼやけて(かすんで)表示される。すなわち距離に応じてアイコンの情報量が変更される。なお、透明度の表示方法は、従来の3Dレタリング技術を用いてもよいし、明るさや青系統の色を用いて遠近感を表現してもよい。このように表示することで、平板に重畳された情報により拡張現実感が損なわれることも防止できる。
【0044】
しかしながら、図4に示されるように、画面上に表示される拡張現実感情報の量が多くなると、画面が煩雑となり、また、アイコンが重なり合って視認し難くなる。さらに、本実施形態では表示部102にタッチパネル機能を設けているが、図4(c)に示した状態で密集したアイコンをタッチして操作することは極めて困難である。
【0045】
そこで、本実施形態では、さらに、図5(a)に示すように重畳する表示位置が近接するアイコン(アイコングループα、β、γ)については、個々のアイコンを表示することなく、図5(b)に示すように、アイコンが密集していることを示す集合グラフィックスオブジェクトとして表示部102に表示させる。図5(b)に示すように、ここでの集合グラフィックスオブジェクトは、複数のアイコンが重なり合った図柄のアイコンである。このような集合グラフィックスオブジェクトを使用することにより、実空間の映像に拡張現実感情報を表示した画面を図6に示す。図6に示されるように、集合グラフィックスオブジェクトを使用することで画面の表示は簡素化され、画面が煩雑化して視認し難くなることを防ぐことができる。
【0046】
このような集合グラフィックスオブジェクトで表示する対象は、例えば、決定された表示位置に描画するとグラフィックスオブジェクトが重なり合う複数の拡張現実感情報とすることができる。これによりアイコンが重なり合って視認できなくなることを未然に防止することができる。グラフィックスオブジェクトが重なり合うか否かは、実際に個々のグラフィックスオブジェクトを描画してAND条件により検出してもよいし、描画することなく計算により検出してもよい。また、図10(a)に示すように、画面を複数のエリアに分割して管理し、図10(b)に示すように、重畳する表示位置が同じエリアに決定された複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させることもできる。エリアの分割管理は、投影面を分割管理して行えばよい。この場合には、各グラフィックスオブジェクトが重なり合うか判定する必要がないので、重畳する表示位置の近接した拡張現実感情報を検出する負荷を軽減することができる。また、位置情報(地点情報)が近接している複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させることも可能である。図11を用いて詳細を説明する。図11は、カメラの撮像方向の地図情報の平面図であって、位置情報コンテンツが示す位置情報を×印で示したものである。図11に示すように、×印で示す位置情報コンテンツのうち位置情報が近接する位置情報コンテンツ(点線で囲う部分)を集合グラフィックスオブジェクトとして表示させる。この場合には、位置情報コンテンツを住所ごとに集合グラフィックスオブジェクトとして表示部102に表示させることができる。なお、この場合には、端末装置から遠距離にある地点に関連付けられた拡張現実感情報の間では、実空間映像における遠近法の効果を考慮して、近接していると判定する範囲を拡大することが好ましい。これにより、位置情報が現在地点から遠い地点を示す位置情報コンテンツほど集合グラフィックスオブジェクトとして表示できるので、画面の複雑化を回避することが可能となる。
【0047】
図7(a)は、拡張現実感情報のうち位置情報コンテンツを表示するアイコンについて、そのタイプ毎に絵柄を付した例である。このようなグラフィックスオブジェクトを使用することで拡張現実感情報の視認性を向上することができる。また、位置情報コンテンツの集合グラフィックスオブジェクトについては、図7(b)に示すように、所定の条件を満たす場所の位置情報コンテンツのタイプに応じた絵柄を付したものとすることができる。所定の条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。例えば、所定条件として距離を採用した場合には、端末装置100に最も近い場所の位置情報コンテンツのタイプに応じた絵柄を付したものとすることができる。さらに、集合グラフィックスオブジェクトは、上述した所定の条件でグラフィックスオブジェクトが並べられて表示される。このように表示されることで、拡張現実感情報の視認性を向上することができるとともに、情報検索を容易とすることが可能となる。
【0048】
以上のように、重畳する表示位置が近接した複数の拡張現実感情報を1つの集合グラフィックスオブジェクトとして表示部102に表示させることで、画面が煩雑化して視認し難くなることを防ぐことができる。ここで、集合グラフィックスオブジェクトから個々の拡張現実感情報に対するインターフェイスを設計する必要がある。最も簡単な方法は、カーソルを集合グラフィックスオブジェクトに合わせるキー操作をすることで情報のリストが表示部102に表示され、再度キー操作をすることで目的の情報が選択されるインターフェイスとすることである。しかし、本実施形態では、タッチパネル機能を備えた表示部102を利用して、以下に示す画面遷移のインターフェイスを提案する。
【0049】
このインターフェイスでは、図6に示した集合アイコンα上をユーザがタッチしたことを検出すると、表示部102に表示される実空間映像はタッチした時点のものに固定され、画面の明度は暗く変更される。同時に他のアイコン等は画面から消去され、集合アイコンαが画面中央に移動される(図8(a))。続いて、集合アイコンαとして表示されている拡張現実感情報の一つ一つを表示するために、各拡張現実感情報に対応したアイコンが表示される。ここでは集合アイコンαから各アイコンが回転しながら広がっていくように展開され(図8(b))、距離の近い位置情報コンテンツから順に所定数のアイコンが環状(リング状)に配置される(図8(c))。
【0050】
このようにアイコンを表示した画面に対して、ユーザが表示部102の表面をアイコンのリングに沿ってドラッグ操作することで、画面に表示されたアイコンのリングはドラッグした方向(リングの周方向)に回転し、左方向にドラッグすると先頭のアイコンα1が画面から消え、代わりにα8に続くα9が表示される(図9(a))。すなわち、アイコンの回転移動方向および表示位置(リングにおけるアイコンの配置位置)に基づいて入れ替えされるアイコンが決定される。このようなインターフェイスは、集合アイコンαとして表示されている拡張現実感情報が、画面に対して垂直な螺旋の上に距離の近いものから順に並んでいる状態を、螺旋の正面から見た状態としてモデル化したものである。すなわち、実空間の映像と同様にユーザの手前から奥に向かって、拡張現実感情報が近いものから連続的に表示され、ねじを回転させるようにドラッグ操作することでアイコンの表示領域は螺旋上の画面奥へと進む。このようなインターフェイスによれば、ユーザが片手で端末装置100を保持して画面上を親指でドラッグし、親指の届く位置に所望のアイコンを移動させてタッチ操作することにより、片手のみで端末装置100を操作することができる。
【0051】
また、図8(c)に示す画面を図12(a)に示す画面のように表示してもよい。図12に示す画面は、上述した螺旋のモデルを視覚的に表した画面である。この画面では、アイコンの大きさがアイコンごとに変更されて表示される。また、アイコンの透明度がアイコンごとに変更されて表示されてもよい。大きさ及び透明度の変更は、所定の条件に従って変更される。所定条件として、例えば、現在地点から位置情報コンテンツが示す位置までの距離、位置情報コンテンツが示す位置の高さ、位置情報コンテンツが示す建築物の建造年月日や、位置情報コンテンツの更新日、情報鮮度、アクセス回数、アクセス時刻、お勧め度、ユーザやサービスがカテゴリ分けに用いるタグ等が採用される。例えば、所定条件として距離を採用した場合には、位置情報コンテンツが示す位置情報が現在の端末地点から近い位置となるほどアイコンは大きく表示され、位置情報コンテンツが示す位置情報が現在の端末地点から近い位置となるほどアイコンの透明度は小さく表示される。すなわち、現在の端末地点から近い位置を示す位置情報コンテンツほど、アイコンが大きくはっきりと表示される。他方、現在の端末地点から遠い位置を示す位置情報コンテンツほど、アイコンが小さくぼやけて(かすんで)表示される。なお、透明度の表示方法は、従来の3Dレタリング技術を用いてもよいし、明るさや青系統の色を用いて遠近感を表現してもよい。そして、所定条件を満たす順にアイコンを並べてリング状に表示することで、アイコンの大きさ及び透明度が周方向に徐々に変化するように表示することができるので、螺旋を示すモデルを視覚的にユーザに提供することが可能となる。そして、図12(b)に示すように、図9(a)に示す画面と同様にドラッグした方向に螺旋を回転させることができる。左方向にドラッグすると先頭のアイコンα1が画面から消えるとともにアイコンα2がアイコンα1の表示されていた位置に移動される。そして、アイコンα2の大きさ及び透明度が、先頭に位置したアイコンα1の大きさ及び透明度と同等となるように変更される。このように、リング状のアイコンが螺旋的に表示されることで、時間や距離等を直感的に表現することができる。
【0052】
また、図8(c)または図9(a)に示した状態で、アイコンの1つをタッチすると、アイコンで表示された拡張現実感情報について利用可能なメニューアイコンのセットがリング状に表示される(図9(b))。この状態でも前記同様に画面をドラッグすることでアイコンをリングに沿って回転させることができる。ただし、図9(b)の画面は固定的なメニュー表示を行うものなので、前述のように回転させながらアイコンを入れ替えることはしない。メニューアイコンのセットは、画面中央にディスクとして表現されており、表示部102の表面を速くドラッグすることにより次または前のディスク(メニューアイコンのセット)へ画面は遷移する。このようにタッチパネル機能を利用した物理的な操作をともなう視覚性および認識性に優れたインターフェイスによって、本実施形態に係る端末装置は優れた拡張現実感をもたらすものである。
【0053】
次に、拡張現実感サーバ300について説明する。図13は、本実施形態における拡張現実感サーバ300の機能ブロック図である。この拡張現実感サーバ300は、Webサーバの常駐したサーバシステムであり、主として、通信部301、サーバ制御部310およびユーザDB316を有し、端末装置100からのリクエストを通信網150およびネットワーク200を介して受け付け、必要に応じてネットワーク200に接続された地図情報サーバ351、経路情報サーバ361または位置情報コンテンツサーバ371からデータを取得して、拡張現実感情報として端末装置100にレスポンスする処理を行う。
【0054】
通信部301は、ネットワークに接続して端末装置100、地図情報サーバ351、経路情報サーバ361および位置情報コンテンツサーバ371といった外部サーバと通信を行うネットワークモジュールであり、公知のものを使用することができる。ユーザDB316は、拡張現実感サーバ300のシステム領域内にあるデータベースマシンであり、端末装置100から受け付けた端末ID、端末位置情報およびハンドル名を関連付けて記録し、管理する。
【0055】
サーバ制御部310は、不図示のCPUで所定のプログラムを実行することにより仮想的に構成される機能ブロックである。サーバ制御部310は、より詳細には、地図情報サーバ351から地図データを取得する地図データ取得部311、経路情報サーバ361から経路データを取得する経路データ取得部312、位置情報コンテンツサーバ371から位置情報コンテンツを取得する位置情報コンテンツ取得部313、およびユーザDB316にアクセスするユーザデータ部315からなっている。これら地図データ取得部311、経路データ取得部312、位置情報コンテンツ取得部313およびユーザデータ部315は、いずれも端末装置100から送信されたリクエストに基づき、対応するCGIプログラムである拡張現実感サーバAPIを呼び出すことにより所定の処理を行うものである。以下、地図データ取得部311、経路データ取得部312および位置情報コンテンツ取得部313について詳細に説明する。
【0056】
地図データ取得部311は、端末装置100が地図データを要求した場合に呼び出されるAPIであり、端末装置100から送信された端末位置情報を中心とした所定範囲についての地図データを、公開APIを利用して地図情報サーバ351に要求する。これに応じて地図情報サーバ351が地図情報DB352から対応する地図データを抽出して拡張現実感サーバ300に返却し、拡張現実感サーバ300は取得した地図データを端末装置100で表示可能なデータ形式として端末装置100にリプライする。この際、端末装置100が地図データをリクエストする際に、地図データの範囲および縮尺をパラメータとして指定している場合には、これらを指定して地図情報サーバ351が公開しているAPIを呼び出す処理を行う。
【0057】
経路データ取得部312は、端末装置100が経路データを要求した場合に呼び出されるAPIであり、端末装置100が位置情報取得部101で取得された端末位置情報を始点として、併せて送信された位置情報(地点情報)を終点とした経路データを経路情報サーバ361に要求する。これに応じて経路情報サーバ361が経路情報DB362から対応する経路データを生成して拡張現実感サーバ300に返却し、拡張現実感サーバ300は取得した経路データを端末装置100で対応可能なデータ形式として端末装置100にリプライする。この際、経路情報サーバ361が算出して総所要時間、総料金を経路データに付加してリプライしてもよい。
【0058】
位置情報コンテンツ取得部313は、端末装置100が位置情報コンテンツを要求した場合に呼び出されるAPIである。ここで、位置情報コンテンツとは、駅、空港、港、バス停、インターチェンジ、サービスエリア、ガソリンスタンド、レストラン、居酒屋、コンビニ、デパート、病院、学校、信号、曲がり角、交差点等について、それらの位置情報(地点情報)と関連付けられた当該施設の情報をいう。例えば、レストランに関しては、住所、電話番号、ファクス番号、メールアドレス、ホームページURL、紹介文、営業時間情報、店舗画像等を含んだ位置情報コンテンツが、情報サービスプロバイダーの提供するサービスで公開されている。
【0059】
位置情報コンテンツ取得部313は、端末装置100の位置情報取得部101で取得された端末位置情報を中心とした所定距離内に存在する位置情報コンテンツを、情報サービスプロバイダー等により公開されている位置情報コンテンツサーバ371に要求する。これに応じて位置情報コンテンツサーバ371が位置情報コンテンツDB372から条件を満たす位置情報コンテンツを抽出したリストを拡張現実感サーバ300に返却し、拡張現実感サーバ300は取得した位置情報コンテンツを端末装置100で利用可能なデータ形式として端末装置100にリプライする。この際、位置情報コンテンツ取得部313は、複数の位置情報コンテンツサーバ371に対して位置情報(地点情報)を要求することができ、この場合に拡張現実感サーバ300は複数の位置情報コンテンツサーバ371からのリストを共通フォーマットに統合して端末装置100にリプライする。また、位置情報コンテンツの分野毎に利用する位置情報コンテンツサーバ371を登録しておけば、端末装置100から要求のあった分野についてのみ位置情報コンテンツを要求することも可能である。
【0060】
また、ユーザDB316には別の端末装置の端末IDおよび端末位置情報がユーザのハンドル名とともに記録されているが、かかる内容も位置情報(地点情報)と関連付けられたコンテンツであり、他の位置情報コンテンツと等価に取り扱うことができる。すなわち、位置情報コンテンツ取得部313からユーザデータ部315に対して、端末装置100の現在の端末位置から所定距離内の位置情報(地点情報)に関連付けて記録されているユーザのハンドル名を要求させ、ユーザデータ部がこれに応じてユーザDB316から抽出したハンドル名のリストを拡張現実感サーバ300に返却し、拡張現実感サーバ300から端末装置100へ共通フォーマットでリプライすれば、他の位置情報コンテンツとともにコンテンツとして利用可能である。
【0061】
以下、以上のように構成された拡張現実感システム1における端末装置100の動作についてフローチャートを参照しながら説明する。
【0062】
図14は、本実施形態における端末装置100側の動作について、起動から拡張現実感情報を表示してユーザによる操作待ちの状態になるまでを示したフローチャートである。
【0063】
この動作は、ユーザが端末装置100のキー入力部103を操作して拡張現実感プログラムを起動することにより開始される。まず、カメラ部106および各種センサ(位置情報取得部101および方位センサ104)を起動し、初期画面としてライブビュー表示を開始する(ST101)。ライブビュー表示は、常法にしたがって、起動されたカメラ部106の光学系により取得された被写体像から所定露光時間で受像素子により映像データを生成し、当該データを表示部102に表示させる処理を所定時間間隔で繰り返すことにより行われる。続いて位置情報取得部101の検出値より端末装置100の現在の端末位置にかかる端末位置情報を取得する(ST102)。
【0064】
次に、端末装置100がST102で取得した端末位置情報を拡張現実感サーバ300へ送信して拡張現実感情報をリクエストし(ST103)、拡張現実感サーバ300によりレスポンスされた端末装置100周辺の拡張現実感情報のリストを受信し、記憶部107に記録する(ST104)。
【0065】
続いて、ST104で受信したリストの拡張現実感情報について、方位センサ104で検出されたカメラ部106の姿勢および角度の情報およびST102で取得された端末位置情報に基づいて、リストに記載された情報の関連付けられた地点がカメラ部106の視界に入るか否かを個々に判定し、記憶部107に記憶された拡張現実感情報のリストに記録する(ST105)。以下では、記憶部107のリストを参照し、ここでカメラ部106の視界に入るものと判定された拡張現実感情報について処理を行う。
【0066】
次に、端末装置100の現在の端末位置を原点とした座標空間に抽出された拡張現実感情報を配置したと想定して、原点の所定高さを中心点としてカメラの水平方向視野角および垂直方向視野角ならびに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行うことにより各情報の表示位置を算出する(ST106)。
【0067】
続いて、算出された各情報の表示位置に基づいて、表示位置の間隔が所定値以下となる拡張現実感情報があるか否かを判定し(ST107)、表示位置の間隔が所定値以下となる拡張現実感情報がある場合には当該拡張現実感情報を集合アイコンとして表示し(ST108)、残りの拡張現実感情報を通常のアイコンとして表示する(ST109)。以上で、実空間の映像に拡張現実感情報を重畳する動作は終了してユーザの操作を待つ動作となる。終了指示があったか否かを判定し(ST110)、終了指示があったと判定した場合には一連の動作を終了する。終了指示があったと判定しない場合には、続いて集合アイコンにタッチする操作がなされたか否かを判定し(ST111)、集合アイコンにタッチする操作がなされていると判定した場合には後述するスパイラルメニューの動作へと進む。一方。集合アイコンにタッチする操作がなされていると判定しない場合には、通常のアイコンにタッチする操作がなされたか否かを判定する(ST112)。通常のアイコンにタッチする操作がなされていると判定した場合には、後述するディスクメニューの動作へと進む。ST112で通常のアイコンにタッチする操作がなされていると判定しない場合には、ST110に戻って以降の動作を繰り返す。
【0068】
続いて、起動から拡張現実感情報を表示してユーザによる操作待ちの状態になるまでの別の動作を図15のフローチャートを参照しながら説明する。
【0069】
この動作は、まず前記動作と同様に、カメラ部106および各種センサを起動してライブビュー表示を開始し(ST101’)、位置情報取得部101が端末位置情報を取得し(ST102’)、端末位置情報を拡張現実感サーバ300へ送信して拡張現実感情報をリクエストし(ST103’)、拡張現実感サーバ300によりレスポンスされた拡張現実感情報のリストを記憶部107が記録し(ST104’)、リストの拡張現実感情報がカメラ部106の視界に入るか否かを判定する(ST105’)。
【0070】
続いて、記憶部107に記録されたリストのうちカメラ部106の視野角に入ると判定された拡張現実感情報について、その位置情報(地点情報)にかかる地点から端末装置100までの距離をそれぞれ算出して記憶部107のリストに記録する(ST120)。次に、前記動作と同様に各情報の表示位置を算出する(ST121)。
【0071】
この動作では拡張現実感情報のうち位置情報コンテンツを実空間の映像に重畳するにあたり、位置情報(地点情報)にかかる地点が近距離の場合には大きいアイコン(グラフィックスオブジェクト)を描画し、遠距離の場合には小さいアイコン(グラフィックスオブジェクト)を描画することにより、拡張現実感情報に実際の距離に応じて遠近感をもたせ、優れた拡張現実感をもたらすものである。したがって、この動作では、距離に応じたサイズのアイコンを表示部102に表示させると、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があるか否かを判定する(ST122)。ここで、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があると判定した場合には、当該拡張現実感情報を集合アイコンとして表示部102に表示させ(ST123)、続いて残りの情報を距離に応じた通常のアイコンとして表示部102に表示させる(ST124)。一方、ST123で、他の拡張現実感情報のアイコンと重なり合う拡張現実感情報があると判定しない場合には、そのまま各拡張現実感情報を距離に応じた通常のアイコンとして表示する(ST124)。
【0072】
以降、前述の動作と同様にユーザの操作を待つ動作となり、終了指示があったか否かの判定(ST110’)、集合アイコンにタッチする操作がなされたか否かの判定(ST111’)、通常のアイコンにタッチする操作がなされたか否かの判定(ST112’)を繰り返す。
【0073】
次に、上記ユーザの操作を待っている動作において、ST111またはST111’にて、ユーザが集合アイコンをタッチする操作がなされたものと判定した場合に行われるスパイラルメニュー動作について、図16のフローチャートを参照しながら説明する。
【0074】
本実施形態のスパイラルメニュー動作においては、ST111またはST111’にてユーザが集合アイコンをタッチする操作がなされたと判定して開始する場合には、まず、表示部102に表示されているライブビュー画像をタッチされた時点でロックするとともに明度を低減する(ST201)。ここでライブビュー画像をロックするとは、表示部102に表示される実空間の映像をタッチされた時点のものに固定することである。このようにすることで、メニュー操作中に端末の姿勢角度が変化しても集合アイコンにかかる拡張現実感情報の関連付けられた地点の映像を表示し続けることができる。また、実空間映像の明度を低減することによりアイコン等の拡張現実感情報をより強調して表示することが可能となる。続いてタッチされた集合アイコン以外のアイコンを画面から消去し(ST202)、タッチされた集合アイコンを画面中央に移動させる(ST203、図8(a)。)次に、画面中央に移動された集合アイコンを、通常のアイコンを重ね合わせた画像に書き換え、集合アイコンとして表示されていた拡張現実感情報のうち所定個のアイコンを、端末装置100までの距離が近いものから順に画面中央を中心として回転移動させてリング状に展開させて配置する(ST204、図8(b))。以上でタッチされた集合アイコンに関するスパイラルメニューが表示部102に表示される。
【0075】
以降はスパイラルメニューに対するユーザの入力に応じた処理となる。まず、アイコンのなすリングの中央部分をタッチする操作等、スパイラルメニュー終了指示として定義された操作がなされたか否かを判定する(ST205)。スパイラルメニュー終了指示として定義された操作がなされたと判定した場合には、表示中のメニューをクリアし(ST211)、ライブビュー画像のロックを解除して実空間映像の明度を戻し(ST212)、通常のアイコン、集合アイコンを再表示させて(ST213)、図14のST110または図15のST110’以降の処理でユーザの操作待ちに戻る。
【0076】
一方、スパイラルメニュー終了指示として定義された操作がなされていないと判定した場合は、まず個々のアイコンに対するタッチ操作がなされたか否かを判定する(ST206)。ST206で個々のアイコンに対するタッチ操作がなされたと判定した場合には、後述するディスクメニュー動作を開始する。ST206でタッチ操作がなされたと判定しない場合は、続いて所定のドラッグ操作がなされたか否かを判定する(ST207)。ここで、所定のドラッグ操作とは、スパイラルメニューに対する入力操作であって、具体的にはスパイラルメニューをなすリング状に配置されたアイコンに沿って回転させるようにドラッグする動作のことである。表示部102のタッチパネル機能によりこのようなドラッグ操作がなされたと判定した場合、続いてドラッグ操作の方向が左方向であるか否かを判定する(ST208)。ドラッグ操作の方向が左方向であると判定した場合には、リング状に配置されているアイコンを左方向へリング状の周方向に回転移動させて、表示されるアイコンを1個ずつ遠距離方向へシフトさせる(ST209)。また、ST208でドラッグ操作の方向が左方向であると判定しない場合には、右方向へドラッグされたものとして、リング状に配置されているアイコンを右方向へリング状の周方向に回転移動させて、表示されたアイコンを1個ずつ近距離方向へシフトさせる(ST210)。ST209またはST210でアイコンをシフトさせた後、ST207で所定のドラッグ操作がなされたと判定しない場合には、いずれもST205に戻って以上の動作を繰り返す。
【0077】
次に、図14のST112または図15のST112’にて通常のアイコンにタッチする操作がなされたと判定した場合、ならびに図16のST206のスパイラルメニュー動作で個々のアイコンに対するタッチ操作がなされたと判定した場合に行われるディスクメニュー動作について、図17のフローチャートを参照しながら説明する。
【0078】
このディスクメニュー動作は、個々のアイコンにかかる拡張現実感情報について選択可能なメニューを、表示部102に一度に表示可能な数のセットに配分したディスクメニューとして表示し、表示部102のタッチパネル機能を利用して片手でも容易に操作可能なインターフェイスを提供するものである。
【0079】
まず、前述のスパイラルメニューを経ずに図14のST112または図15のST112’からディスクメニュー動作を開始する場合には、まず、前述のST201と同様にライブビュー画像をロックするとともに明度を低減し、タッチされなかったアイコンを消去して(ST250)、タッチされたアイコンを画面中央に移動させる(ST251)。スパイラルメニュー動作のST206からディスクメニュー動作を開始する場合は、ST251から開始する。
【0080】
続いて、初期メニューディスクのアイコンのセットを、スパイラルメニュー動作のST204と同様の動作でリング状に展開させて配置する(ST252)。以降はディスクメニューに対するユーザの入力に応じた処理となり、まず所定のディスクメニュー終了指示として定義された操作がなされたか否かを判定し(ST253)、終了指示の操作がなされたと判定した場合には表示中のメニューをクリアし(ST254)、集合アイコンが選択された状態であるか否かを判定する(ST265)。集合アイコンが選択されていると判定した場合にはアイコンおよび集合アイコンを再描画してスパイラルメニュー動作のST203に戻り、集合アイコンが選択されていると判定しない場合には図14のST110または図15のST110’に戻る。
【0081】
続いて、現在表示しているディスクメニューのアイコンに対してタッチ操作がなされたか否かを判定し(ST255)、タッチ操作がなされたと判定した場合には当該アイコンに対応した処理を実行する(ST256)。一方、タッチ操作がなされたと判定しない場合には、続いて所定のドラッグ操作がなされたか否かを判定する(ST257)。ここで、所定のドラッグ操作とは、ディスクメニューに対する入力操作であって、ディスクメニューをなすリング状に配置されたアイコンに沿って回転させるようにドラッグする動作のことである。このようなドラッグ操作がなされたと判定した場合、続いてドラッグ操作の方向が左方向であるか否かを判定する(ST258)。ドラッグ操作の方向が左方向であると判定した場合、続いてドラッグ操作が低速であったか否かを判定する(ST259)。ドラッグ操作が低速であると判定した場合にはディスクメニューとして表示しているアイコンのセットを左へ1個ずつリング状の周方向に回転移動させ(ST260)、ドラッグ操作が低速であると判定しない場合には画面から表示中のアイコンを消去して次のメニューディスクのアイコンセットを表示させ(ST261)、ST253以降の動作を繰り返す。また、ST258でドラッグ操作が左方向と判定しない場合には、続いてドラッグ操作が低速であったか否かを判定する(ST262)。ドラッグ操作が低速であると判定した場合にはディスクメニューとして表示しているアイコンのセットを右へ1個ずつリング状の周方向に回転移動させる(ST263)。ドラッグ操作が低速であると判定しない場合には画面から表示中のアイコンを消去して前のメニューディスクのアイコンセットを表示させ(ST264)、ST253以降の動作を繰り返す。
【0082】
図18は、図17に示したディスクメニュー動作において、リング状に並べられたアイコンの中央に表示されるディスクバリエーションのインジケータである。図18に示すように、このディスクメニューは、一例として初期メニュー、コミュニケーション、ナビゲーション、関連ブログに関する操作のメニューアイコンのセットに大別されている。ディスクメニュー動作では、表示中のディスクメニューの種別に応じてインジケータの強調箇所(図中斜線部分)を変更する。このため、視認性に優れたインターフェイスが実現される。
【0083】
以上のような処理により、本実施形態の端末装置100は、実空間の映像に情報を表示する拡張現実感技術に対応し、表示する情報の量が多くなっても重畳する表示位置の近接した拡張現実感情報を集合グラフィックスオブジェクトとして表示するので、画面の煩雑化を抑制することが可能である。これに加えてスパイラルメニューとディスクメニューによって、タッチパネルを利用した物理的な操作により直感的で視認性に優れた分かりやすいインターフェイスを実現しているので、ユーザエクスペリエンスに優れた拡張現実感を提供することができる。さらに、情報を重畳する対象物と端末装置100との距離に応じて、視覚的または情報量的な遠近感を設けて情報を重畳することができるので、平板に重畳された情報により拡張現実感が損なわれることも防止できる。
【0084】
なお、本発明の端末装置、情報提示システム及び端末画面表示方法は、上記実施形態に限られるものではなく、種々変形が可能である。たとえば上記実施形態ではグラフィックスオブジェクトを丸形のアイコンとした場合を示したが、これに限られるものではなく、角形のアイコンであってもよいし情報バルーンのようなものであっても構わない。
【0085】
また、上記実施形態ではリング状にグラフィックスオブジェクトを展開する例を説明したが、正確なリング状である必要な無く、環状であればよい。
【0086】
また、上記実施形態では、端末装置100の制御部108が拡張現実感情報の表示位置等を決定する処理を行う例を説明したが、拡張現実感サーバ300のサーバ制御部310が拡張現実感情報の表示位置等を決定する処理を行い、結果のみを端末装置100へ返すように構成してもよい。
【0087】
また、上記実施形態では、リング状に表示させたグラフィックスオブジェクトをドラッグするユーザ操作を検出し、左方向であるか否かを判定する場合(ST208)を例に説明したが、図17のST259、ST262に示すように、ドラッグの速度に応じて表示アイコンの全てを入れ替える処理を実行してもよい。
【0088】
また、上記実施形態では、サーバの機能を呼び出す際、機能をCGIで構築しその呼び出しをAPIとしているが、その手法は他のプロトコルや、分散オブジェクトなど、いかなるアプリケーション間の通信手段で構成してもよい。
【0089】
また、上記実施形態では、表示部102がタッチパネル機能を備える例を説明したが、これに限られるものではなく、ユーザの操作を検出する機能を端末装置100が有していればよい。例えば、タッチパネル機能に替えて、ポインティングデバイス、十字キー、テンキー等のハードウェアボタンによる画面操作を検出する構成としてもよい。
【符号の説明】
【0090】
1…拡張現実感システム(情報提示システム)、100…端末装置、101…位置情報取得部、102…表示部、103…キー入力部、104…方位センサ、105…通信部、106…カメラ部、107…記憶部、108…制御部。
【特許請求の範囲】
【請求項1】
実空間の映像を取得するカメラ部と、画面を表示する表示部と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部と、前記各部の動作を制御するとともに情報処理機能を実現する制御部とを備え、前記制御部は、前記カメラ部により取得された実空間の前記映像を前記表示部に表示させるとともに、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させる処理を行う端末装置であって、
前記制御部は、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うこと、
を特徴とする端末装置。
【請求項2】
前記制御部は、前記表示位置で描画させるとグラフィックスオブジェクトが重なり合う複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴とする請求項1に記載の端末装置。
【請求項3】
前記制御部は、前記画面を複数のエリアに分割して管理し、前記表示位置が同じエリアとなる複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴とする請求項1に記載の端末装置。
【請求項4】
前記制御部は、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記位置情報が近接している複数の前記拡張現実感情報を1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴とする請求項1に記載の端末装置。
【請求項5】
前記制御部は、現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど前記位置情報が近接していると判定する範囲を拡大することを特徴とする請求項4に記載の端末装置。
【請求項6】
前記制御部は、前記拡張現実感情報の種類に応じた前記グラフィックスオブジェクトを前記表示部に描画させる処理を行い、
前記集合グラフィックスオブジェクトは、所定の条件で並べられた複数の前記グラフィックスオブジェクトが重なり合った形状であることを特徴とする請求項1〜5の何れか1項に記載の端末装置。
【請求項7】
前記制御部は、前記集合グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該集合グラフィックスオブジェクトとして前記表示部に表示させている複数の前記拡張現実感情報の前記グラフィックスオブジェクトを、環状に並べて前記表示部に表示させる処理を行うことを特徴とする請求項1〜6の何れか1項に記載の端末装置。
【請求項8】
前記制御部は、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させている前記拡張現実感情報の数が、環状に並べて一度に表示可能な前記グラフィックスオブジェクトの数よりも多い場合には、表示可能な数だけ環状に並べられた前記グラフィックスオブジェクトを前記表示部に表示させ、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作を検出した場合には、環状に並べた前記グラフィックスオブジェクトそれぞれを周方向に沿って回転移動させるとともに、表示されているグラフィックスオブジェクトを入れ替える処理を行うことを特徴とする請求項7に記載の端末装置。
【請求項9】
前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることを特徴とする請求項7又は8に記載の端末装置。
【請求項10】
前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの透明度を変更して前記表示部に表示させることを特徴とする請求項7〜9の何れか1項に記載の端末装置。
【請求項11】
前記制御部は、所定の条件を満たす前記拡張現実感情報の前記グラフィックスオブジェクトを、前記集合グラフィックスオブジェクトの先頭に位置するように前記表示部に表示させることを特徴とする請求項1〜10の何れか1項に記載の端末装置。
【請求項12】
前記制御部は、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作として前記グラフィックスオブジェクトに沿ってドラッグするユーザの操作を検出した場合であって、ドラッグするユーザの操作が閾値より低速である場合には表示されている前記グラフィックスオブジェクトを1個ずつ入れ替え、閾値以上の高速である場合には表示されている前記グラフィックスオブジェクトを全て入れ替える処理を行うことを特徴とする請求項7〜11の何れか1項に記載の端末装置。
【請求項13】
前記制御部は、前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる前記拡張現実感情報について、実行可能な処理を表示する前記グラフィックスオブジェクトを環状に並ぶように前記表示部に表示させ、
環状に並んで表示された前記グラフィックスオブジェクトのうち1つの前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる処理を行うことを特徴とする請求項1〜12の何れか1項に記載の端末装置。
【請求項14】
前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることを特徴とする請求項1〜13の何れか1項に記載の端末装置。
【請求項15】
前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの情報量を変更して前記表示部に表示させることを特徴とする請求項1〜14の何れか1項に記載の端末装置。
【請求項16】
表示部により画面を表示する端末装置と、
前記端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、
を備える情報提示システムであって、
前記サーバは、実空間の映像を前記表示部に表示させ、前記端末装置の位置情報に基づいて、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させるとともに、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うサーバ制御部を備えること、
を特徴とする情報提示システム。
【請求項17】
カメラ部により取得された実空間の映像に、位置情報に関連付けられた拡張現実感情報と対応するグラフィックスオブジェクトを重畳して表示部に描画させる端末画面表示方法であって、
前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定する表示位置決定ステップと、
複数の前記グラフィックスオブジェクトの前記表示位置が近接するか否かを判定する近接判定ステップと、
前記表示位置が近接する場合には、複数の前記拡張現実感情報を1つの集合グラフィックスオブジェクトとして前記表示部に表示させる表示ステップと、
を備えることを特徴とする端末画面表示方法。
【請求項1】
実空間の映像を取得するカメラ部と、画面を表示する表示部と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部と、前記各部の動作を制御するとともに情報処理機能を実現する制御部とを備え、前記制御部は、前記カメラ部により取得された実空間の前記映像を前記表示部に表示させるとともに、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させる処理を行う端末装置であって、
前記制御部は、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うこと、
を特徴とする端末装置。
【請求項2】
前記制御部は、前記表示位置で描画させるとグラフィックスオブジェクトが重なり合う複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴とする請求項1に記載の端末装置。
【請求項3】
前記制御部は、前記画面を複数のエリアに分割して管理し、前記表示位置が同じエリアとなる複数の前記拡張現実感情報を、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴とする請求項1に記載の端末装置。
【請求項4】
前記制御部は、前記拡張現実感情報と関連付けされている前記位置情報に基づいて前記表示位置を決定し、前記位置情報が近接している複数の前記拡張現実感情報を1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うことを特徴とする請求項1に記載の端末装置。
【請求項5】
前記制御部は、現在地点からの距離が遠い地点に関連付けされた前記拡張現実感情報ほど前記位置情報が近接していると判定する範囲を拡大することを特徴とする請求項4に記載の端末装置。
【請求項6】
前記制御部は、前記拡張現実感情報の種類に応じた前記グラフィックスオブジェクトを前記表示部に描画させる処理を行い、
前記集合グラフィックスオブジェクトは、所定の条件で並べられた複数の前記グラフィックスオブジェクトが重なり合った形状であることを特徴とする請求項1〜5の何れか1項に記載の端末装置。
【請求項7】
前記制御部は、前記集合グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該集合グラフィックスオブジェクトとして前記表示部に表示させている複数の前記拡張現実感情報の前記グラフィックスオブジェクトを、環状に並べて前記表示部に表示させる処理を行うことを特徴とする請求項1〜6の何れか1項に記載の端末装置。
【請求項8】
前記制御部は、1つの前記集合グラフィックスオブジェクトとして前記表示部に表示させている前記拡張現実感情報の数が、環状に並べて一度に表示可能な前記グラフィックスオブジェクトの数よりも多い場合には、表示可能な数だけ環状に並べられた前記グラフィックスオブジェクトを前記表示部に表示させ、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作を検出した場合には、環状に並べた前記グラフィックスオブジェクトそれぞれを周方向に沿って回転移動させるとともに、表示されているグラフィックスオブジェクトを入れ替える処理を行うことを特徴とする請求項7に記載の端末装置。
【請求項9】
前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることを特徴とする請求項7又は8に記載の端末装置。
【請求項10】
前記制御部は、複数の前記拡張現実感情報の前記グラフィックスオブジェクトを環状に並べて前記表示部に表示させる処理を行う場合には、所定の条件に基づいて前記グラフィックスオブジェクトの透明度を変更して前記表示部に表示させることを特徴とする請求項7〜9の何れか1項に記載の端末装置。
【請求項11】
前記制御部は、所定の条件を満たす前記拡張現実感情報の前記グラフィックスオブジェクトを、前記集合グラフィックスオブジェクトの先頭に位置するように前記表示部に表示させることを特徴とする請求項1〜10の何れか1項に記載の端末装置。
【請求項12】
前記制御部は、環状に並べられた前記グラフィックスオブジェクトの移動方向を明示するユーザの操作として前記グラフィックスオブジェクトに沿ってドラッグするユーザの操作を検出した場合であって、ドラッグするユーザの操作が閾値より低速である場合には表示されている前記グラフィックスオブジェクトを1個ずつ入れ替え、閾値以上の高速である場合には表示されている前記グラフィックスオブジェクトを全て入れ替える処理を行うことを特徴とする請求項7〜11の何れか1項に記載の端末装置。
【請求項13】
前記制御部は、前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる前記拡張現実感情報について、実行可能な処理を表示する前記グラフィックスオブジェクトを環状に並ぶように前記表示部に表示させ、
環状に並んで表示された前記グラフィックスオブジェクトのうち1つの前記グラフィックスオブジェクトを選択するユーザの操作を検出した場合には、当該グラフィックスオブジェクトにかかる処理を行うことを特徴とする請求項1〜12の何れか1項に記載の端末装置。
【請求項14】
前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの大きさを変更して前記表示部に表示させることを特徴とする請求項1〜13の何れか1項に記載の端末装置。
【請求項15】
前記制御部は、前記拡張現実感情報について、所定の条件に基づいて前記グラフィックスオブジェクトの情報量を変更して前記表示部に表示させることを特徴とする請求項1〜14の何れか1項に記載の端末装置。
【請求項16】
表示部により画面を表示する端末装置と、
前記端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、
を備える情報提示システムであって、
前記サーバは、実空間の映像を前記表示部に表示させ、前記端末装置の位置情報に基づいて、前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定し、実空間の前記映像に前記グラフィックスオブジェクトを前記表示位置で重畳して前記表示部に描画させるとともに、前記表示位置が近接する複数の前記拡張現実感情報を、1つの集合グラフィックスオブジェクトとして前記表示部に表示させる処理を行うサーバ制御部を備えること、
を特徴とする情報提示システム。
【請求項17】
カメラ部により取得された実空間の映像に、位置情報に関連付けられた拡張現実感情報と対応するグラフィックスオブジェクトを重畳して表示部に描画させる端末画面表示方法であって、
前記拡張現実感情報と対応するグラフィックスオブジェクトの表示位置を決定する表示位置決定ステップと、
複数の前記グラフィックスオブジェクトの前記表示位置が近接するか否かを判定する近接判定ステップと、
前記表示位置が近接する場合には、複数の前記拡張現実感情報を1つの集合グラフィックスオブジェクトとして前記表示部に表示させる表示ステップと、
を備えることを特徴とする端末画面表示方法。
【図1】
【図2】
【図3】
【図5】
【図7】
【図10】
【図11】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図4】
【図6】
【図8】
【図9】
【図12】
【図2】
【図3】
【図5】
【図7】
【図10】
【図11】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図4】
【図6】
【図8】
【図9】
【図12】
【公開番号】特開2010−238098(P2010−238098A)
【公開日】平成22年10月21日(2010.10.21)
【国際特許分類】
【出願番号】特願2009−87204(P2009−87204)
【出願日】平成21年3月31日(2009.3.31)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.GSM
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【出願人】(394020376)株式会社アプリックス (51)
【Fターム(参考)】
【公開日】平成22年10月21日(2010.10.21)
【国際特許分類】
【出願日】平成21年3月31日(2009.3.31)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.GSM
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【出願人】(394020376)株式会社アプリックス (51)
【Fターム(参考)】
[ Back to top ]