携帯端末、拡張現実システム、及び拡張現実情報表示方法
【課題】操作性を損なうことなくユーザの状態に応じた拡張現実情報の表示を行うこと
【解決手段】携帯端末１０は、周辺画像を撮像したカメラ画像を生成する撮像部１５０を備える。センサ１４０は周辺状況及び生体情報の少なくともいずれか一方を取得する。拡張現実処理部１８０は、端末位置情報に対応する拡張現実情報をセンサ１５０が取得した情報を用いてフィルタリングする。ディスプレイ１９０は、カメラ画像上に、フィルタリングにより表示すると判断された拡張現実情報を重ね合せた表示画像を表示する。
【解決手段】携帯端末１０は、周辺画像を撮像したカメラ画像を生成する撮像部１５０を備える。センサ１４０は周辺状況及び生体情報の少なくともいずれか一方を取得する。拡張現実処理部１８０は、端末位置情報に対応する拡張現実情報をセンサ１５０が取得した情報を用いてフィルタリングする。ディスプレイ１９０は、カメラ画像上に、フィルタリングにより表示すると判断された拡張現実情報を重ね合せた表示画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は携帯端末、拡張現実システム、及び拡張現実情報表示方法に関する。
【背景技術】
【０００２】
近年、カメラ等により撮像した実空間画像に仮想物体、情報を重畳して表示する技術である拡張現実（Augmented Reality）技術が広まっている。たとえば、ユーザは携帯電話のカメラ機能により周囲を撮像する。そして、携帯電話内の拡張現実機能によりタグ等の様々な付加情報（以下の記載では、拡張現実情報と記載する。）をカメラ画像に付与して表示することが行われている。
【０００３】
特許文献１に記載の携帯電話は、当該携帯電話に取り付けられたセンサにより取得した情報を用いて電話番号表示の順序を変更するものである。当該携帯電話には、体温センサ、心拍センサ、血圧センサが取り付けられている。当該携帯電話は、ユーザの電話番号表示命令時にこれらのセンサが取得した情報を用いて電話番号の表示順序を決定する。
【０００４】
特許文献２には、ユーザの現在の状況に合致した音楽コンテンツを自動的に提供することが出来る携帯端末装置に関する技術が開示されている。当該携帯端末装置は、現在の日時情報、天候情報、周囲の音声情報を取得する。そして、当該携帯端末装置は取得した情報に合致した音楽コンテンツを自動的に選択して再生する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０３４４９５号公報
【特許文献２】特開２００９−１４５７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の拡張現実技術では、ユーザは画面上に表示する拡張現実情報の選択、または選択用フィルタの設定を行わなければならなかった。そのため、ユーザの設定の手間がかかり、操作性が悪いという問題があった。また、上述の特許文献には、拡張現実機能に関する示唆が無い。
【０００７】
本発明はこのような問題を解決するためになされたものであり、操作性を損なうことなくユーザの状態に応じた拡張現実情報の表示を行うことが出来る携帯端末、拡張現実情報システム、及び拡張現実情報提供方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかるフィルタリング装置の一態様は、端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるものである。
【０００９】
本発明にかかる携帯端末の一態様は、前記フィルタリング装置と、周辺画像を撮像したカメラ画像を生成するための撮像部と、周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備えるものである。
【００１０】
本発明にかかる拡張現実情報表示方法の一態様は、周辺画像を撮像したカメラ画像を生成する撮像ステップと、周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備えるものである。
【発明の効果】
【００１１】
本発明によれば、ユーザの状態に応じた拡張現実情報の表示を行うことが出来る携帯端末、拡張現実情報システム、及び拡張現実情報提供方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１にかかる携帯端末の構成図である。
【図２】実施の形態１にかかる拡張現実情報の図である。
【図３】実施の形態１にかかる拡張現実システムの構成図である。
【図４】実施の形態１にかかる携帯端末の処理を示すフローチャートである。
【図５】実施の形態１にかかる携帯端末の処理を示すフローチャートである。
【図６】実施の形態２にかかる拡張現実システムの構成図である。
【図７】実施の形態２にかかる携帯端末の処理を示すフローチャートである。
【図８】実施の形態２にかかる携帯端末の処理を示すフローチャートである。
【図９】実施の形態１にかかる携帯端末の構成図である。
【発明を実施するための形態】
【００１３】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１は本実施の形態にかかる携帯端末１の構成を示すブロック図である。携帯端末１０は、中央演算処理装置１１０と、メモリ１２０と、キー入力部１３０と、センサ１４０と、撮像部１５０と、通信部１６０と、位置情報取得部１７０と、拡張現実処理部１８０と、ディスプレイ１９０と、を備える。
【００１４】
中央演算処理装置１１０は、いわゆるＣＰＵ（Central Processing Unit）であり、制御プログラムに基づいてこの携帯端末１０内の各種処理を実行する処理装置である。
【００１５】
メモリ１２０は、携帯電話１０内でデータ、プログラム等を記憶する記憶装置である。メモリ１２０の一例としてＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が挙げられる。
【００１６】
キー入力部１３０は、文字、数字等を入力するために用いられる操作部である。キー入力部１３０は、例えばテンキー、機能キーなどの各種キーによって構成される。
【００１７】
センサ１４０は、携帯端末１０を使用するユーザの周囲の情報を取得するためのセンサである。ここで、周囲の情報とは、ユーザの生体情報と、周辺情報とを含む。ユーザの生体情報として、ユーザの脈拍、体温、発汗状態等が挙げられる。また周辺情報として、気温、湿度、高度等が挙げられる。なお、センサ１４０は当該情報を常時取得してもよく、一定間隔をあけて情報取得をしてもよい。
【００１８】
撮像部１５０は、動画像及び静止画像を撮像するためのカメラ機能を含み、任意の３次元空間を画像化したカメラ画像を生成する処理部である。
【００１９】
通信部１６０は、サーバ等と情報の送受信を行うための処理部である。具体的には、通信部１６０は、ＷＬＡＮ(Wireless Local Area Network)、ＵＴＲＡＮ（UMTS Terrestrial Radio Access Network）、Ｅ−ＵＴＲＡＮ（Evolved UTRAN）等による無線通信が可能な処理部である。なお、本実施の形態にかかる携帯端末１０に備えられた通信部１６０は、赤外線通信、Ｂｌｕｅｔｏｏｔｈ等の無線通信が可能な処理部であってもよい。通信部１６０は、後述の位置情報取得部１７０が取得した位置情報に対応する拡張現実情報をサーバから取得する。
【００２０】
位置情報取得部１７０は、携帯端末１０の存在する位置情報を取得するための処理部である。位置情報取得部１７０は、たとえばＧＰＳ（Global Positioning System）機能またはＷＬＡＮによる位置測位機能を有する処理部である。
【００２１】
なお図示していないが、携帯端末１０は、地磁気センサ及び加速度センサを備える構成である。地磁気センサにより取得した情報を用いることにより、カメラ機能を動作している間の携帯端末１０の端末方位を算出できる。また、加速度センサにより取得した情報を用いることにより、カメラ機能が動作している間の携帯端末１０の端末姿勢を算出できる。ここで、携帯端末１０のカメラ機能が撮像している範囲は、位置情報取得部１７０が取得した携帯端末１０の位置情報と、携帯端末１０の端末方位と、携帯端末１０の端末姿勢と、カメラ機能の焦点距離と、を用いることにより算出できる。携帯端末１０のカメラ機能が撮像している範囲に対応する拡張現実情報が、後述のフィルタ処理により表示されると判断された場合にディスプレイ１９０上に表示される。
【００２２】
拡張現実処理部１８０は、センサ１４０が取得した情報に基づいて、通信部１７０が取得した拡張現実情報から表示すべき情報を抽出する（フィルタリングする）処理部である。
【００２３】
拡張現実情報はオブジェクト毎に１つのテーブル形式のデータとなる。オブジェクトとは、拡張現実アプリケーションが起動している際に、携帯端末１０のディスプレイ１９０に表示されるタグ等を含むデータセットを指す。図２に本実施の形態にかかる拡張現実情報のデータセットの例を示す。
【００２４】
拡張現実情報のデータセットには、タイトルと、フォーマットと、説明と、位置情報と、フィルタ情報と、が含まれる。タイトル及び説明は、拡張現実アプリケーションの起動中にカメラ画像に重ね合わせて表示される情報である。フォーマットは、当該表示の際のフォント等を指定する情報である。位置情報は、当該拡張現実情報がどの位置に関するものなのかを示す。フィルタ情報は、拡張現実アプリケーションの起動中に当該拡張現実情報が表示対象となるか否かの判定に用いる情報である。フィルタ情報には、複数の条件情報を設定することが可能である。また、フィルタ情報内には、キーワードを設定することも可能である。
【００２５】
なお、フィルタ情報の条件を複数設定する場合、各条件に優先度を設定してもよい。たとえば、条件１が「気温２５度以上の時に情報を表示する」であり、条件２が「体温が３７度以上の時に情報を表示する」であったとする。そして、気温が２５度以上であり、体温が３７度未満であったとする。この場合、条件１を優先する優先順位が付けられていれば、当該拡張現実情報が表示対象となる。
【００２６】
位置情報判定部１８１は、位置情報取得部１７０が取得した情報に基づいて携帯端末１０が位置する位置情報をコンピュータ処理できる形式のデータに変換する。センサ情報処理部１８２は、センサ１４０が取得した各種データ（脈拍、体温、発汗状態、気温、湿度等）をメモリ１２０に格納する処理部である。表示フィルタ部１８３は、拡張現実情報を表示するか否かを判定する処理部である。
【００２７】
図２の例では、気温が２５度以上の場合に、冷菓店の情報を画面上に表示するための拡張現実情報のデータセットが示されている。
【００２８】
なお、拡張現実処理部１８０は、センサ１４０が取得した情報（センシングデータ）に加えて、携帯端末１０のユーザの行動履歴、テレビジョン視聴履歴、携帯端末１０の備えられた非接触型ＩＣカードによる購買情報、スケジューラソフトウェアに格納されたデータ等の嗜好情報をさらに考慮してフィルタリングを行ってもよい。たとえば、ユーザが視聴したテレビ番組情報から番組に関するキーワードを抽出し、当該キーワードをメモリ１２０内に格納する。そして拡張現実処理部１８０は、メモリ１２０内に格納したキーワードがフィルタリング情報内に設定されている拡張現実情報を表示対象とする。また、スケジューラソフトウェアに海外旅行に関するスケジュールが格納されていた場合、拡張現実処理部１８０は海外旅行に関する情報を表示するようにフィルタリングをしてもよい。
【００２９】
ディスプレイ１９０は、携帯端末１０にかかる各種情報を表示するための表示部であり、たとえば液晶表示装置や有機ＥＬ（electroluminescence）表示装置が挙げられる。ディスプレイ１９０には、拡張現実処理部１８０がフィルタを行い、表示すべきと判断された拡張現実情報をカメラ画像に重ね合わせた画像が表示される。
【００３０】
続いて、図３を用いて本実施の形態にかかる携帯端末１０を含む拡張現実システム１の構成について説明する。拡張現実システム１は、携帯端末１０と、拡張現実サーバ２０と、基地局３０と、交換局４０と、を備える。携帯端末１０、基地局３０、及び交換局４０は任意の数だけ存在する構成である。
【００３１】
携帯端末１０は、現在の位置情報を拡張現実サーバ２０に送信する。また、携帯端末１０は、当該位置に関連する拡張現実情報（図２）を拡張現実サーバ２０から受信する。携帯端末１０は、受信した拡張現実情報のフィルタリングを行い、表示する情報を決定する。
【００３２】
拡張現実サーバ２０は、前述の拡張現実情報（図２）を複数保持するサーバである。拡張現実サーバ２０は、携帯端末１０からの位置情報を受信する。拡張現実サーバ２０は、受信した当該位置情報に対応する拡張現実情報を携帯端末１０に送信する。
【００３３】
基地局３０及び交換局４０は、携帯端末１０と拡張現実サーバ２０との通信を中継する装置である。
【００３４】
なお、携帯端末１０は、位置情報に加えてセンサ１４０により取得したセンシング情報等を拡張現実サーバ２０に送信してもよい。この場合、拡張現実サーバ２０は、送信されたセンシング情報を用いて携帯端末１０上に表示する拡張現実情報を算出する（フィルタリングを行う）。拡張現実サーバ２０は、フィルタリング結果を携帯端末１０に送信する。これにより、拡張現実サーバ２０が送信するデータ量を削減することが出来る。
【００３５】
続いて、図４のフローチャートを用いて、本実施の形態にかかる携帯端末１０のセンシングデータ（センサ１４０により取得したデータ）の処理手順を説明する。以下の例では、センサ１４０が気温データを取得する例について説明する。
【００３６】
センサ１４０は、気温情報を取得し（Ｓ１０１）、取得した気温情報をメモリ１２０に格納する（Ｓ１０２）。次に、センサ情報処理部１８２を起動し（Ｓ１０３）、取得した気温情報が所定の条件を満たしているか否かを判定する。センサ情報処理部１８２は、処理結果をメモリ１２０に格納する。図４の例では、センサ情報処理部１８２は気温が２５度以上であるか否かを判定し（Ｓ１０４）、当該判定結果をメモリ１２０に格納している（Ｓ１０５、Ｓ１０６）。
【００３７】
次に、図５のフローチャートを用いて、拡張現実情報をフィルタリングする処理について説明する。以下の説明では、図２に示した拡張現実情報を処理する手順について説明する。
【００３８】
携帯端末１０は、通信部１６０を介して自己の位置情報を拡張現実サーバ２０に送信し、当該位置情報に対応する拡張現実情報を受信する（Ｓ２０１）。ここでは、図２に記載の拡張現実情報を受信したものとする。携帯端末１０は受信した拡張現実情報をメモリ１２０に格納する（Ｓ２０２）。続いて、表示フィルタ部１８３を起動する（Ｓ２０３）。
【００３９】
表示フィルタ部１８３は、メモリ１２０内の拡張現実情報を取得し、当該情報内のフィルタ情報を抽出する（Ｓ２０４）。表示フィルタ部１８３は、抽出したフィルタ情報と、メモリ１２０内に格納された気温が２５度以上であるか否かの判定結果と、を用いて当該拡張現実情報を表示するか否かを決定する（Ｓ２０５）。このように気温情報をフィルタリングに用いることにより、例えば冷たい食べ物を扱う飲食店の情報を拡張現実アプリケーションにおいて表示させることが出来る。また、温かい食べ物を扱う飲食店の情報を拡張現実アプリケーションにおいて表示させないことが可能になる。
【００４０】
気温が２５度以上という判定結果がメモリ１２０内にある場合（Ｓ２０５：Ｙｅｓ）、表示フィルタ部１８３は当該拡張現実情報から表示すべき情報（タイトル、説明等）を抽出する（Ｓ２０６）。そして、表示フィルタ部１８３は、撮像部１５０が撮像した画像上に当該情報を重ね合わせた表示画像を生成する（Ｓ２０７）。当該表示画像は、ディスプレイ１９０上に表示される。
【００４１】
気温が２５度以上という判定結果がメモリ１２０内にない場合（Ｓ２０５：Ｎｏ）、表示フィルタ部１８３は当該拡張現実情報を表示しないことを決定する（Ｓ２０８）。そして、撮像部１５０が撮像した画像上に当該情報を表示していない表示画像を生成する（Ｓ２０９）。当該表示画像は、ディスプレイ１９０上に表示される。
【００４２】
続いて、本実施の形態にかかる拡張現実システム１の効果について説明する。本実施の形態１にかかる携帯端末１０は、撮像部１５０が生成したカメラ画像上に拡張現実情報を重ね合わせた表示画像をディスプレイ１９０（表示部）に表示する機能を有する。携帯端末１０は、周辺状況（気温、湿度、高度等）、生体情報（体温、脈拍、発汗状態等）を検出するセンサ１４０を備える。携帯端末１０は、センサ１４０が取得した各種情報を用いて携帯端末１０の位置する場所に関連する拡張現実情報の中から表示すべき情報をフィルタリングする。これにより、ユーザがフィルタリングの設定等を行うことなく、ユーザの状態に応じた拡張現実情報の表示を行うことが出来る。
【００４３】
また、フィルタリングにユーザの嗜好情報（テレビジョンの視聴情報、スケジュール情報等）をさらに用いることにより、ユーザの状態により適した情報の表示をすることが可能になる。
【００４４】
実施の形態２
本発明の実施の形態２は、携帯端末１０〜１２が相互に通信を行うことを特徴とする。本実施の形態にかかる拡張現実システムについて、実施の形態１と異なる部分を中心に説明する。なお、携帯端末１０〜１２は、同一の機能を備える端末装置である。
【００４５】
図６は本実施の形態にかかる拡張現実システムの構成を示すブロック図である。携帯端末１０〜１２は、実施の形態１と同様に拡張現実サーバ２０から拡張現実情報を取得できる。また、携帯端末１０は当該携帯端末１０の通信範囲に存在する他の携帯端末とＷＩ−ＦＩ形式により認証された通信が可能である。
【００４６】
携帯端末１０は、センサ１４０により取得したセンシングデータを他の携帯端末１１に対して送信する。ここでは、携帯端末１１がサーバとして機能するものとする。センシングデータを受信した携帯端末１１は、自己のメモリ１２０内に格納されている拡張現実情報（図２）を受信したセンシングデータを用いてフィルタリングする。携帯端末１１は、当該フィルタリングにより必要と判断された拡張現実情報（図２）のみを携帯端末１０に送信する。
【００４７】
携帯端末１０は、受信した拡張現実情報を用いて表示画面を生成する。また、携帯端末１０のユーザは携帯端末１１から提供された拡張現実情報が有効であったか否かを指定することが出来る。有効であった場合には、携帯端末１０は当該携帯端末１１から受信した拡張現実情報をメモリ１２０内に格納し続ける。一方、有効ではなかった場合には、携帯端末１０内の拡張現実処理部１８０は当該携帯端末１１から受信した拡張現実情報をメモリ１２０内から削除する。
【００４８】
続いて図７のフローチャートを用いて、本実施の形態にかかる携帯端末の拡張現実情報の表示動作を説明する。なお、以下の図７及び後述の図８の説明ではサーバとして動作する携帯端末を携帯端末１１、クライアントとして動作する携帯端末を携帯端末１０とする。
【００４９】
最初に通信可能な携帯端末の１つがサーバとして機能する状態となる（Ｓ３０１）。そして、携帯端末同士が接続を行う（Ｓ３０２）。クライアントとして動作する携帯端末１０は、センサ１４０を用いてセンシングデータを取得する。携帯端末１０は取得したセンシングデータを携帯端末１１に送信する。
【００５０】
携帯端末１１は、自己のメモリ１２０内に格納されている拡張現実情報（図２）を受信したセンシングデータを用いてフィルタリングする。そして、携帯端末１１はフィルタリングに合致した拡張現実情報を携帯端末１０に送信する（Ｓ３０５）。携帯端末１０は受信した拡張現実情報を用いて表示画面を生成する（Ｓ３０６）。
【００５１】
次に図８のフローチャートを用いて、本実施の形態にかかる携帯端末の拡張現実情報の保存、及び拡張現実情報の表示動作を説明する。携帯端末１０を使用するユーザは、拡張現実アプリケーション起動中の表示画面を参照し、携帯端末１１から提供された拡張現実情報を参照する（Ｓ４０１）。そして、ユーザは当該拡張現実情報が有効か否かをキー入力部１３０の操作等により入力する。
【００５２】
携帯端末１１から提供された拡張現実情報が有効である場合（Ｓ４０２：Ｙｅｓ）、携帯端末１０は当該拡張現実情報をメモリ１２０内に格納し続ける（Ｓ４０４）。一方、携帯端末１１から提供された拡張現実情報が有効ではない場合（Ｓ４０２：Ｎｏ）、拡張現実処理部１８０は当該拡張現実情報をメモリ１２０内から削除する（Ｓ４０３）。
【００５３】
携帯端末１０を保持するユーザは、任意の場所に移動することが可能である（Ｓ４０５）。携帯端末１０のユーザは、移動した場所で拡張現実アプリケーションを起動したとする。携帯端末１０が位置情報取得部１７０の取得した位置情報と対応する拡張現実情報がメモリ１２０内に存在するか否か及びフィルタリング条件に合致するか否かを判定する（Ｓ４０６）。メモリ１２０内に存在し、フィルタリング条件に合致するする場合（Ｓ４０６：Ｙｅｓ）、ディスプレイ１９０上に当該拡張現実情報を表示する（Ｓ４０７）。一方条件を満たさない場合（Ｓ４０６：Ｎｏ）、ディスプレイ１９０上に当該拡張現実情報を表示しない（Ｓ４０８）。
【００５４】
続いて、本実施の形態にかかる拡張現実システムの効果について言及する。携帯端末１０は、センシングデータを他の携帯端末１１に送信し、フィルタリングに合致した拡張現実情報のみを受信する。これにより、携帯端末はフィルタリングに応じた拡張現実情報のみをＷＩ−ＦＩにより認証された無線通信により送受信できる。ＷＩ−ＦＩにより認証された無線通信を用いた拡張現実情報の送受信により交換局等を介することなく拡張現実情報の送受信が可能となる。これにより、通信量の削減が可能となる。
【００５５】
また、携帯端末１０はユーザに有効と判断された他の携帯端末から受信した拡張現実情報のみをメモリ１２０に格納し続ける。そのため、携帯端末１０は有効な拡張現実情報を保持し続けることが出来、精度の高いフィルタリングが可能となる。
【００５６】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。たとえば、各携帯端末上で図２に示した拡張現実情報を適宜生成できるようにしてもよい。
【００５７】
なお、図９に本実施の形態１にかかる携帯端末１０に搭載されたフィルタリング装置を示す。当該フィルタリング装置は、携帯端末１０に搭載されてもよく、サーバ上に配置されてもよい。
【００５８】
フィルタリング装置は、内部に拡張現実処理部１８０を備える。拡張現実処理部１８０は入力された端末位置情報に対応する拡張現実情報を取得する。拡張現実処理部１８０はこの拡張現実情報を、周辺状況及び生体情報の少なくとも一方の情報を用いてフィルタリングする。フィルタリングに合致した情報は、カメラ画像上に表示される。
【００５９】
上述のフィルタリング装置の構成によっても、センシングデータに基づいてユーザの状態に応じた拡張現実情報の表示を行うことが出来る。
【００６０】
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００６１】
（付記１）
端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるフィルタリング装置。
【００６２】
（付記２）
前記フィルタリング装置と、
周辺画像を撮像したカメラ画像を生成するための撮像部と、
周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、
前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備える携帯端末。
【００６３】
（付記３）
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする付記２に記載の携帯端末。
【００６４】
（付記４）
前記拡張現実処理部は、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする付記２または付記３に記載の携帯端末。
【００６５】
（付記５）
端末位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信し、当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する通信部と、をさらに備えることを特徴とする付記２乃至付記４のいずれか１項に記載の携帯端末。
【００６６】
（付記６）
前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納するための格納部を備え、
前記通信部は、他の携帯端末と無線通信により相互に通信できるように構成され、他の携帯端末の要求に応じて前記格納部内の前記拡張現実情報を当該他の携帯端末に送信することを特徴とする付記５に記載の携帯端末。
【００６７】
（付記７）
前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を前記格納部から削除することを特徴とする付記６に記載の携帯端末。
【００６８】
（付記８）
付記５乃至付記７のいずれか１項に記載の携帯端末と、付記５に記載の拡張現実サーバを備えた拡張現実システム。
【００６９】
（付記９）
周辺画像を撮像したカメラ画像を生成する撮像ステップと、
周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、
端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、
前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備える拡張現実情報表示方法。
【００７０】
（付記１０）
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする付記９に記載の拡張現実情報表示方法。
【００７１】
（付記１１）
前記拡張現実処理ステップでは、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする付記８または付記１０に記載の拡張現実情報表示方法。
【００７２】
（付記１２）
前記位置情報算出ステップにおいて算出した位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信する送信ステップと、
当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する受信ステップと、を備えることを特徴とする付記９乃至付記１１１のいずれか１項に記載の拡張現実情報表示方法。
【００７３】
（付記１３）
前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納する格納ステップと、
他の携帯端末に前記拡張現実情報の送信を要求する端末送信要求ステップと、
他の携帯端末からの送信要求に応じて、前記格納ステップにおいて格納した前記拡張現実情報を当該端末に送信する端末送信ステップと、を備えることを特徴とする付記１２に記載の拡張現実情報表示方法。
【００７４】
（付記１４）
前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を削除する情報削除ステップをさらに有することを特徴とする付記１３に記載の拡張現実情報表示方法。
【符号の説明】
【００７５】
１ 拡張現実システム
１０ 携帯端末
１１０ 中央演算装置
１２０ メモリ
１３０ キー入力部
１４０ センサ
１５０ 撮像部
１６０ 通信部
１７０ 位置情報取得部
１８０ 拡張現実処理部
１８１ 位置特定部
１８２ センサ情報処理部
１８３ 表示フィルタ部
１９０ ディスプレイ
２０ 拡張現実サーバ
３０ 基地局
４０ 交換局
【技術分野】
【０００１】
本発明は携帯端末、拡張現実システム、及び拡張現実情報表示方法に関する。
【背景技術】
【０００２】
近年、カメラ等により撮像した実空間画像に仮想物体、情報を重畳して表示する技術である拡張現実（Augmented Reality）技術が広まっている。たとえば、ユーザは携帯電話のカメラ機能により周囲を撮像する。そして、携帯電話内の拡張現実機能によりタグ等の様々な付加情報（以下の記載では、拡張現実情報と記載する。）をカメラ画像に付与して表示することが行われている。
【０００３】
特許文献１に記載の携帯電話は、当該携帯電話に取り付けられたセンサにより取得した情報を用いて電話番号表示の順序を変更するものである。当該携帯電話には、体温センサ、心拍センサ、血圧センサが取り付けられている。当該携帯電話は、ユーザの電話番号表示命令時にこれらのセンサが取得した情報を用いて電話番号の表示順序を決定する。
【０００４】
特許文献２には、ユーザの現在の状況に合致した音楽コンテンツを自動的に提供することが出来る携帯端末装置に関する技術が開示されている。当該携帯端末装置は、現在の日時情報、天候情報、周囲の音声情報を取得する。そして、当該携帯端末装置は取得した情報に合致した音楽コンテンツを自動的に選択して再生する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０３４４９５号公報
【特許文献２】特開２００９−１４５７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の拡張現実技術では、ユーザは画面上に表示する拡張現実情報の選択、または選択用フィルタの設定を行わなければならなかった。そのため、ユーザの設定の手間がかかり、操作性が悪いという問題があった。また、上述の特許文献には、拡張現実機能に関する示唆が無い。
【０００７】
本発明はこのような問題を解決するためになされたものであり、操作性を損なうことなくユーザの状態に応じた拡張現実情報の表示を行うことが出来る携帯端末、拡張現実情報システム、及び拡張現実情報提供方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかるフィルタリング装置の一態様は、端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるものである。
【０００９】
本発明にかかる携帯端末の一態様は、前記フィルタリング装置と、周辺画像を撮像したカメラ画像を生成するための撮像部と、周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備えるものである。
【００１０】
本発明にかかる拡張現実情報表示方法の一態様は、周辺画像を撮像したカメラ画像を生成する撮像ステップと、周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備えるものである。
【発明の効果】
【００１１】
本発明によれば、ユーザの状態に応じた拡張現実情報の表示を行うことが出来る携帯端末、拡張現実情報システム、及び拡張現実情報提供方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１にかかる携帯端末の構成図である。
【図２】実施の形態１にかかる拡張現実情報の図である。
【図３】実施の形態１にかかる拡張現実システムの構成図である。
【図４】実施の形態１にかかる携帯端末の処理を示すフローチャートである。
【図５】実施の形態１にかかる携帯端末の処理を示すフローチャートである。
【図６】実施の形態２にかかる拡張現実システムの構成図である。
【図７】実施の形態２にかかる携帯端末の処理を示すフローチャートである。
【図８】実施の形態２にかかる携帯端末の処理を示すフローチャートである。
【図９】実施の形態１にかかる携帯端末の構成図である。
【発明を実施するための形態】
【００１３】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１は本実施の形態にかかる携帯端末１の構成を示すブロック図である。携帯端末１０は、中央演算処理装置１１０と、メモリ１２０と、キー入力部１３０と、センサ１４０と、撮像部１５０と、通信部１６０と、位置情報取得部１７０と、拡張現実処理部１８０と、ディスプレイ１９０と、を備える。
【００１４】
中央演算処理装置１１０は、いわゆるＣＰＵ（Central Processing Unit）であり、制御プログラムに基づいてこの携帯端末１０内の各種処理を実行する処理装置である。
【００１５】
メモリ１２０は、携帯電話１０内でデータ、プログラム等を記憶する記憶装置である。メモリ１２０の一例としてＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が挙げられる。
【００１６】
キー入力部１３０は、文字、数字等を入力するために用いられる操作部である。キー入力部１３０は、例えばテンキー、機能キーなどの各種キーによって構成される。
【００１７】
センサ１４０は、携帯端末１０を使用するユーザの周囲の情報を取得するためのセンサである。ここで、周囲の情報とは、ユーザの生体情報と、周辺情報とを含む。ユーザの生体情報として、ユーザの脈拍、体温、発汗状態等が挙げられる。また周辺情報として、気温、湿度、高度等が挙げられる。なお、センサ１４０は当該情報を常時取得してもよく、一定間隔をあけて情報取得をしてもよい。
【００１８】
撮像部１５０は、動画像及び静止画像を撮像するためのカメラ機能を含み、任意の３次元空間を画像化したカメラ画像を生成する処理部である。
【００１９】
通信部１６０は、サーバ等と情報の送受信を行うための処理部である。具体的には、通信部１６０は、ＷＬＡＮ(Wireless Local Area Network)、ＵＴＲＡＮ（UMTS Terrestrial Radio Access Network）、Ｅ−ＵＴＲＡＮ（Evolved UTRAN）等による無線通信が可能な処理部である。なお、本実施の形態にかかる携帯端末１０に備えられた通信部１６０は、赤外線通信、Ｂｌｕｅｔｏｏｔｈ等の無線通信が可能な処理部であってもよい。通信部１６０は、後述の位置情報取得部１７０が取得した位置情報に対応する拡張現実情報をサーバから取得する。
【００２０】
位置情報取得部１７０は、携帯端末１０の存在する位置情報を取得するための処理部である。位置情報取得部１７０は、たとえばＧＰＳ（Global Positioning System）機能またはＷＬＡＮによる位置測位機能を有する処理部である。
【００２１】
なお図示していないが、携帯端末１０は、地磁気センサ及び加速度センサを備える構成である。地磁気センサにより取得した情報を用いることにより、カメラ機能を動作している間の携帯端末１０の端末方位を算出できる。また、加速度センサにより取得した情報を用いることにより、カメラ機能が動作している間の携帯端末１０の端末姿勢を算出できる。ここで、携帯端末１０のカメラ機能が撮像している範囲は、位置情報取得部１７０が取得した携帯端末１０の位置情報と、携帯端末１０の端末方位と、携帯端末１０の端末姿勢と、カメラ機能の焦点距離と、を用いることにより算出できる。携帯端末１０のカメラ機能が撮像している範囲に対応する拡張現実情報が、後述のフィルタ処理により表示されると判断された場合にディスプレイ１９０上に表示される。
【００２２】
拡張現実処理部１８０は、センサ１４０が取得した情報に基づいて、通信部１７０が取得した拡張現実情報から表示すべき情報を抽出する（フィルタリングする）処理部である。
【００２３】
拡張現実情報はオブジェクト毎に１つのテーブル形式のデータとなる。オブジェクトとは、拡張現実アプリケーションが起動している際に、携帯端末１０のディスプレイ１９０に表示されるタグ等を含むデータセットを指す。図２に本実施の形態にかかる拡張現実情報のデータセットの例を示す。
【００２４】
拡張現実情報のデータセットには、タイトルと、フォーマットと、説明と、位置情報と、フィルタ情報と、が含まれる。タイトル及び説明は、拡張現実アプリケーションの起動中にカメラ画像に重ね合わせて表示される情報である。フォーマットは、当該表示の際のフォント等を指定する情報である。位置情報は、当該拡張現実情報がどの位置に関するものなのかを示す。フィルタ情報は、拡張現実アプリケーションの起動中に当該拡張現実情報が表示対象となるか否かの判定に用いる情報である。フィルタ情報には、複数の条件情報を設定することが可能である。また、フィルタ情報内には、キーワードを設定することも可能である。
【００２５】
なお、フィルタ情報の条件を複数設定する場合、各条件に優先度を設定してもよい。たとえば、条件１が「気温２５度以上の時に情報を表示する」であり、条件２が「体温が３７度以上の時に情報を表示する」であったとする。そして、気温が２５度以上であり、体温が３７度未満であったとする。この場合、条件１を優先する優先順位が付けられていれば、当該拡張現実情報が表示対象となる。
【００２６】
位置情報判定部１８１は、位置情報取得部１７０が取得した情報に基づいて携帯端末１０が位置する位置情報をコンピュータ処理できる形式のデータに変換する。センサ情報処理部１８２は、センサ１４０が取得した各種データ（脈拍、体温、発汗状態、気温、湿度等）をメモリ１２０に格納する処理部である。表示フィルタ部１８３は、拡張現実情報を表示するか否かを判定する処理部である。
【００２７】
図２の例では、気温が２５度以上の場合に、冷菓店の情報を画面上に表示するための拡張現実情報のデータセットが示されている。
【００２８】
なお、拡張現実処理部１８０は、センサ１４０が取得した情報（センシングデータ）に加えて、携帯端末１０のユーザの行動履歴、テレビジョン視聴履歴、携帯端末１０の備えられた非接触型ＩＣカードによる購買情報、スケジューラソフトウェアに格納されたデータ等の嗜好情報をさらに考慮してフィルタリングを行ってもよい。たとえば、ユーザが視聴したテレビ番組情報から番組に関するキーワードを抽出し、当該キーワードをメモリ１２０内に格納する。そして拡張現実処理部１８０は、メモリ１２０内に格納したキーワードがフィルタリング情報内に設定されている拡張現実情報を表示対象とする。また、スケジューラソフトウェアに海外旅行に関するスケジュールが格納されていた場合、拡張現実処理部１８０は海外旅行に関する情報を表示するようにフィルタリングをしてもよい。
【００２９】
ディスプレイ１９０は、携帯端末１０にかかる各種情報を表示するための表示部であり、たとえば液晶表示装置や有機ＥＬ（electroluminescence）表示装置が挙げられる。ディスプレイ１９０には、拡張現実処理部１８０がフィルタを行い、表示すべきと判断された拡張現実情報をカメラ画像に重ね合わせた画像が表示される。
【００３０】
続いて、図３を用いて本実施の形態にかかる携帯端末１０を含む拡張現実システム１の構成について説明する。拡張現実システム１は、携帯端末１０と、拡張現実サーバ２０と、基地局３０と、交換局４０と、を備える。携帯端末１０、基地局３０、及び交換局４０は任意の数だけ存在する構成である。
【００３１】
携帯端末１０は、現在の位置情報を拡張現実サーバ２０に送信する。また、携帯端末１０は、当該位置に関連する拡張現実情報（図２）を拡張現実サーバ２０から受信する。携帯端末１０は、受信した拡張現実情報のフィルタリングを行い、表示する情報を決定する。
【００３２】
拡張現実サーバ２０は、前述の拡張現実情報（図２）を複数保持するサーバである。拡張現実サーバ２０は、携帯端末１０からの位置情報を受信する。拡張現実サーバ２０は、受信した当該位置情報に対応する拡張現実情報を携帯端末１０に送信する。
【００３３】
基地局３０及び交換局４０は、携帯端末１０と拡張現実サーバ２０との通信を中継する装置である。
【００３４】
なお、携帯端末１０は、位置情報に加えてセンサ１４０により取得したセンシング情報等を拡張現実サーバ２０に送信してもよい。この場合、拡張現実サーバ２０は、送信されたセンシング情報を用いて携帯端末１０上に表示する拡張現実情報を算出する（フィルタリングを行う）。拡張現実サーバ２０は、フィルタリング結果を携帯端末１０に送信する。これにより、拡張現実サーバ２０が送信するデータ量を削減することが出来る。
【００３５】
続いて、図４のフローチャートを用いて、本実施の形態にかかる携帯端末１０のセンシングデータ（センサ１４０により取得したデータ）の処理手順を説明する。以下の例では、センサ１４０が気温データを取得する例について説明する。
【００３６】
センサ１４０は、気温情報を取得し（Ｓ１０１）、取得した気温情報をメモリ１２０に格納する（Ｓ１０２）。次に、センサ情報処理部１８２を起動し（Ｓ１０３）、取得した気温情報が所定の条件を満たしているか否かを判定する。センサ情報処理部１８２は、処理結果をメモリ１２０に格納する。図４の例では、センサ情報処理部１８２は気温が２５度以上であるか否かを判定し（Ｓ１０４）、当該判定結果をメモリ１２０に格納している（Ｓ１０５、Ｓ１０６）。
【００３７】
次に、図５のフローチャートを用いて、拡張現実情報をフィルタリングする処理について説明する。以下の説明では、図２に示した拡張現実情報を処理する手順について説明する。
【００３８】
携帯端末１０は、通信部１６０を介して自己の位置情報を拡張現実サーバ２０に送信し、当該位置情報に対応する拡張現実情報を受信する（Ｓ２０１）。ここでは、図２に記載の拡張現実情報を受信したものとする。携帯端末１０は受信した拡張現実情報をメモリ１２０に格納する（Ｓ２０２）。続いて、表示フィルタ部１８３を起動する（Ｓ２０３）。
【００３９】
表示フィルタ部１８３は、メモリ１２０内の拡張現実情報を取得し、当該情報内のフィルタ情報を抽出する（Ｓ２０４）。表示フィルタ部１８３は、抽出したフィルタ情報と、メモリ１２０内に格納された気温が２５度以上であるか否かの判定結果と、を用いて当該拡張現実情報を表示するか否かを決定する（Ｓ２０５）。このように気温情報をフィルタリングに用いることにより、例えば冷たい食べ物を扱う飲食店の情報を拡張現実アプリケーションにおいて表示させることが出来る。また、温かい食べ物を扱う飲食店の情報を拡張現実アプリケーションにおいて表示させないことが可能になる。
【００４０】
気温が２５度以上という判定結果がメモリ１２０内にある場合（Ｓ２０５：Ｙｅｓ）、表示フィルタ部１８３は当該拡張現実情報から表示すべき情報（タイトル、説明等）を抽出する（Ｓ２０６）。そして、表示フィルタ部１８３は、撮像部１５０が撮像した画像上に当該情報を重ね合わせた表示画像を生成する（Ｓ２０７）。当該表示画像は、ディスプレイ１９０上に表示される。
【００４１】
気温が２５度以上という判定結果がメモリ１２０内にない場合（Ｓ２０５：Ｎｏ）、表示フィルタ部１８３は当該拡張現実情報を表示しないことを決定する（Ｓ２０８）。そして、撮像部１５０が撮像した画像上に当該情報を表示していない表示画像を生成する（Ｓ２０９）。当該表示画像は、ディスプレイ１９０上に表示される。
【００４２】
続いて、本実施の形態にかかる拡張現実システム１の効果について説明する。本実施の形態１にかかる携帯端末１０は、撮像部１５０が生成したカメラ画像上に拡張現実情報を重ね合わせた表示画像をディスプレイ１９０（表示部）に表示する機能を有する。携帯端末１０は、周辺状況（気温、湿度、高度等）、生体情報（体温、脈拍、発汗状態等）を検出するセンサ１４０を備える。携帯端末１０は、センサ１４０が取得した各種情報を用いて携帯端末１０の位置する場所に関連する拡張現実情報の中から表示すべき情報をフィルタリングする。これにより、ユーザがフィルタリングの設定等を行うことなく、ユーザの状態に応じた拡張現実情報の表示を行うことが出来る。
【００４３】
また、フィルタリングにユーザの嗜好情報（テレビジョンの視聴情報、スケジュール情報等）をさらに用いることにより、ユーザの状態により適した情報の表示をすることが可能になる。
【００４４】
実施の形態２
本発明の実施の形態２は、携帯端末１０〜１２が相互に通信を行うことを特徴とする。本実施の形態にかかる拡張現実システムについて、実施の形態１と異なる部分を中心に説明する。なお、携帯端末１０〜１２は、同一の機能を備える端末装置である。
【００４５】
図６は本実施の形態にかかる拡張現実システムの構成を示すブロック図である。携帯端末１０〜１２は、実施の形態１と同様に拡張現実サーバ２０から拡張現実情報を取得できる。また、携帯端末１０は当該携帯端末１０の通信範囲に存在する他の携帯端末とＷＩ−ＦＩ形式により認証された通信が可能である。
【００４６】
携帯端末１０は、センサ１４０により取得したセンシングデータを他の携帯端末１１に対して送信する。ここでは、携帯端末１１がサーバとして機能するものとする。センシングデータを受信した携帯端末１１は、自己のメモリ１２０内に格納されている拡張現実情報（図２）を受信したセンシングデータを用いてフィルタリングする。携帯端末１１は、当該フィルタリングにより必要と判断された拡張現実情報（図２）のみを携帯端末１０に送信する。
【００４７】
携帯端末１０は、受信した拡張現実情報を用いて表示画面を生成する。また、携帯端末１０のユーザは携帯端末１１から提供された拡張現実情報が有効であったか否かを指定することが出来る。有効であった場合には、携帯端末１０は当該携帯端末１１から受信した拡張現実情報をメモリ１２０内に格納し続ける。一方、有効ではなかった場合には、携帯端末１０内の拡張現実処理部１８０は当該携帯端末１１から受信した拡張現実情報をメモリ１２０内から削除する。
【００４８】
続いて図７のフローチャートを用いて、本実施の形態にかかる携帯端末の拡張現実情報の表示動作を説明する。なお、以下の図７及び後述の図８の説明ではサーバとして動作する携帯端末を携帯端末１１、クライアントとして動作する携帯端末を携帯端末１０とする。
【００４９】
最初に通信可能な携帯端末の１つがサーバとして機能する状態となる（Ｓ３０１）。そして、携帯端末同士が接続を行う（Ｓ３０２）。クライアントとして動作する携帯端末１０は、センサ１４０を用いてセンシングデータを取得する。携帯端末１０は取得したセンシングデータを携帯端末１１に送信する。
【００５０】
携帯端末１１は、自己のメモリ１２０内に格納されている拡張現実情報（図２）を受信したセンシングデータを用いてフィルタリングする。そして、携帯端末１１はフィルタリングに合致した拡張現実情報を携帯端末１０に送信する（Ｓ３０５）。携帯端末１０は受信した拡張現実情報を用いて表示画面を生成する（Ｓ３０６）。
【００５１】
次に図８のフローチャートを用いて、本実施の形態にかかる携帯端末の拡張現実情報の保存、及び拡張現実情報の表示動作を説明する。携帯端末１０を使用するユーザは、拡張現実アプリケーション起動中の表示画面を参照し、携帯端末１１から提供された拡張現実情報を参照する（Ｓ４０１）。そして、ユーザは当該拡張現実情報が有効か否かをキー入力部１３０の操作等により入力する。
【００５２】
携帯端末１１から提供された拡張現実情報が有効である場合（Ｓ４０２：Ｙｅｓ）、携帯端末１０は当該拡張現実情報をメモリ１２０内に格納し続ける（Ｓ４０４）。一方、携帯端末１１から提供された拡張現実情報が有効ではない場合（Ｓ４０２：Ｎｏ）、拡張現実処理部１８０は当該拡張現実情報をメモリ１２０内から削除する（Ｓ４０３）。
【００５３】
携帯端末１０を保持するユーザは、任意の場所に移動することが可能である（Ｓ４０５）。携帯端末１０のユーザは、移動した場所で拡張現実アプリケーションを起動したとする。携帯端末１０が位置情報取得部１７０の取得した位置情報と対応する拡張現実情報がメモリ１２０内に存在するか否か及びフィルタリング条件に合致するか否かを判定する（Ｓ４０６）。メモリ１２０内に存在し、フィルタリング条件に合致するする場合（Ｓ４０６：Ｙｅｓ）、ディスプレイ１９０上に当該拡張現実情報を表示する（Ｓ４０７）。一方条件を満たさない場合（Ｓ４０６：Ｎｏ）、ディスプレイ１９０上に当該拡張現実情報を表示しない（Ｓ４０８）。
【００５４】
続いて、本実施の形態にかかる拡張現実システムの効果について言及する。携帯端末１０は、センシングデータを他の携帯端末１１に送信し、フィルタリングに合致した拡張現実情報のみを受信する。これにより、携帯端末はフィルタリングに応じた拡張現実情報のみをＷＩ−ＦＩにより認証された無線通信により送受信できる。ＷＩ−ＦＩにより認証された無線通信を用いた拡張現実情報の送受信により交換局等を介することなく拡張現実情報の送受信が可能となる。これにより、通信量の削減が可能となる。
【００５５】
また、携帯端末１０はユーザに有効と判断された他の携帯端末から受信した拡張現実情報のみをメモリ１２０に格納し続ける。そのため、携帯端末１０は有効な拡張現実情報を保持し続けることが出来、精度の高いフィルタリングが可能となる。
【００５６】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。たとえば、各携帯端末上で図２に示した拡張現実情報を適宜生成できるようにしてもよい。
【００５７】
なお、図９に本実施の形態１にかかる携帯端末１０に搭載されたフィルタリング装置を示す。当該フィルタリング装置は、携帯端末１０に搭載されてもよく、サーバ上に配置されてもよい。
【００５８】
フィルタリング装置は、内部に拡張現実処理部１８０を備える。拡張現実処理部１８０は入力された端末位置情報に対応する拡張現実情報を取得する。拡張現実処理部１８０はこの拡張現実情報を、周辺状況及び生体情報の少なくとも一方の情報を用いてフィルタリングする。フィルタリングに合致した情報は、カメラ画像上に表示される。
【００５９】
上述のフィルタリング装置の構成によっても、センシングデータに基づいてユーザの状態に応じた拡張現実情報の表示を行うことが出来る。
【００６０】
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００６１】
（付記１）
端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるフィルタリング装置。
【００６２】
（付記２）
前記フィルタリング装置と、
周辺画像を撮像したカメラ画像を生成するための撮像部と、
周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、
前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備える携帯端末。
【００６３】
（付記３）
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする付記２に記載の携帯端末。
【００６４】
（付記４）
前記拡張現実処理部は、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする付記２または付記３に記載の携帯端末。
【００６５】
（付記５）
端末位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信し、当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する通信部と、をさらに備えることを特徴とする付記２乃至付記４のいずれか１項に記載の携帯端末。
【００６６】
（付記６）
前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納するための格納部を備え、
前記通信部は、他の携帯端末と無線通信により相互に通信できるように構成され、他の携帯端末の要求に応じて前記格納部内の前記拡張現実情報を当該他の携帯端末に送信することを特徴とする付記５に記載の携帯端末。
【００６７】
（付記７）
前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を前記格納部から削除することを特徴とする付記６に記載の携帯端末。
【００６８】
（付記８）
付記５乃至付記７のいずれか１項に記載の携帯端末と、付記５に記載の拡張現実サーバを備えた拡張現実システム。
【００６９】
（付記９）
周辺画像を撮像したカメラ画像を生成する撮像ステップと、
周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、
端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、
前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備える拡張現実情報表示方法。
【００７０】
（付記１０）
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする付記９に記載の拡張現実情報表示方法。
【００７１】
（付記１１）
前記拡張現実処理ステップでは、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする付記８または付記１０に記載の拡張現実情報表示方法。
【００７２】
（付記１２）
前記位置情報算出ステップにおいて算出した位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信する送信ステップと、
当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する受信ステップと、を備えることを特徴とする付記９乃至付記１１１のいずれか１項に記載の拡張現実情報表示方法。
【００７３】
（付記１３）
前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納する格納ステップと、
他の携帯端末に前記拡張現実情報の送信を要求する端末送信要求ステップと、
他の携帯端末からの送信要求に応じて、前記格納ステップにおいて格納した前記拡張現実情報を当該端末に送信する端末送信ステップと、を備えることを特徴とする付記１２に記載の拡張現実情報表示方法。
【００７４】
（付記１４）
前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を削除する情報削除ステップをさらに有することを特徴とする付記１３に記載の拡張現実情報表示方法。
【符号の説明】
【００７５】
１ 拡張現実システム
１０ 携帯端末
１１０ 中央演算装置
１２０ メモリ
１３０ キー入力部
１４０ センサ
１５０ 撮像部
１６０ 通信部
１７０ 位置情報取得部
１８０ 拡張現実処理部
１８１ 位置特定部
１８２ センサ情報処理部
１８３ 表示フィルタ部
１９０ ディスプレイ
２０ 拡張現実サーバ
３０ 基地局
４０ 交換局
【特許請求の範囲】
【請求項１】
端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるフィルタリング装置。
【請求項２】
前記フィルタリング装置と、
周辺画像を撮像したカメラ画像を生成するための撮像部と、
周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、
前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備える携帯端末。
【請求項３】
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする請求項２に記載の携帯端末。
【請求項４】
前記拡張現実処理部は、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする請求項２または請求項３に記載の携帯端末。
【請求項５】
端末位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信し、当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する通信部と、をさらに備えることを特徴とする請求項２乃至請求項４のいずれか１項に記載の携帯端末。
【請求項６】
前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納するための格納部を備え、
前記通信部は、他の携帯端末と無線通信により相互に通信できるように構成され、他の携帯端末の要求に応じて前記格納部内の前記拡張現実情報を当該他の携帯端末に送信することを特徴とする請求項５に記載の携帯端末。
【請求項７】
前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を前記格納部から削除することを特徴とする請求項６に記載の携帯端末。
【請求項８】
請求項５乃至請求項７のいずれか１項に記載の携帯端末と、請求項５に記載の拡張現実サーバを備えた拡張現実システム。
【請求項９】
周辺画像を撮像したカメラ画像を生成する撮像ステップと、
周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、
端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、
前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備える拡張現実情報表示方法。
【請求項１０】
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする請求項９に記載の拡張現実情報表示方法。
【請求項１】
端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるフィルタリング装置。
【請求項２】
前記フィルタリング装置と、
周辺画像を撮像したカメラ画像を生成するための撮像部と、
周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、
前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備える携帯端末。
【請求項３】
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする請求項２に記載の携帯端末。
【請求項４】
前記拡張現実処理部は、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする請求項２または請求項３に記載の携帯端末。
【請求項５】
端末位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信し、当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する通信部と、をさらに備えることを特徴とする請求項２乃至請求項４のいずれか１項に記載の携帯端末。
【請求項６】
前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納するための格納部を備え、
前記通信部は、他の携帯端末と無線通信により相互に通信できるように構成され、他の携帯端末の要求に応じて前記格納部内の前記拡張現実情報を当該他の携帯端末に送信することを特徴とする請求項５に記載の携帯端末。
【請求項７】
前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を前記格納部から削除することを特徴とする請求項６に記載の携帯端末。
【請求項８】
請求項５乃至請求項７のいずれか１項に記載の携帯端末と、請求項５に記載の拡張現実サーバを備えた拡張現実システム。
【請求項９】
周辺画像を撮像したカメラ画像を生成する撮像ステップと、
周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、
端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、
前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備える拡張現実情報表示方法。
【請求項１０】
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする請求項９に記載の拡張現実情報表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１７０６８２（Ｐ２０１１−１７０６８２Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３４８３９（Ｐ２０１０−３４８３９）
【出願日】平成２２年２月１９日（２０１０．２．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１９日（２０１０．２．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]