端末装置、端末装置の動作方法、及び拡張現実システム
【課題】過去の訪問場所とは異なる場所において、過去の訪問場所で合成されるべき画像を合成する。
【解決手段】端末装置は、取得した位置情報に関連付けて当該位置情報に関する付属情報が記憶された外部サーバに位置情報を送信し、外部サーバから取得した前記付属情報を画像に対して付加して表示する。合成画像生成部１４１は取得した画像又は当該取得した画像に付属情報を付加した合成画像を生成する。記憶手段は合成画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記付属情報を取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの付属情報の少なくとも一方を前記所定の再表示用画像に関連付けて記憶する。合成画像生成部１４１は再表示用画像と、当該再表示用画像又は再表示用画像に関連付けて記憶された位置情報に基づいて外部サーバから取得した付属情報と、に基づいて画像を生成する。
【解決手段】端末装置は、取得した位置情報に関連付けて当該位置情報に関する付属情報が記憶された外部サーバに位置情報を送信し、外部サーバから取得した前記付属情報を画像に対して付加して表示する。合成画像生成部１４１は取得した画像又は当該取得した画像に付属情報を付加した合成画像を生成する。記憶手段は合成画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記付属情報を取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの付属情報の少なくとも一方を前記所定の再表示用画像に関連付けて記憶する。合成画像生成部１４１は再表示用画像と、当該再表示用画像又は再表示用画像に関連付けて記憶された位置情報に基づいて外部サーバから取得した付属情報と、に基づいて画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置、端末装置の動作方法、及び拡張現実システムに関する。
【背景技術】
【０００２】
近年、カメラプレビュー画像にコンピュータが作り出す情報を合成して表示することで、ユーザに対して付加情報を与える拡張現実（ＡＲ：Augmented Reality）サービスが増加している。
【０００３】
具体的には、ＡＲサービスの提供機器は、カメラと連動したアプリケーションの起動に応じて、ＧＰＳ機能等により位置情報を取得し、取得した位置情報に基づいて外部サーバのデータベースにアクセスし、周辺情報を含んだＡＲタグを外部サーバからダウンロードし、カメラのプレビュー画像にダウンロードしたＡＲタグを合成して表示する。このようにして、ＡＲサービスでは、ユーザに対して実世界における周辺環境に関連した付加情報を提示することが可能になる。例えば、現在地周辺の店舗の広告、現在訪ねている観光地の観光案内、ユーザ自身が待ち合わせのために独自のＡＲタグを残すなどの活用例がある。合成された画像に表示されたＡＲタグを介して、ＷＥＢページにアクセス可能とする例もある。
【０００４】
特許文献１には、ユーザが実世界の状況に対して仮想的に情報を付与し、ユーザが所望の情報を迅速かつ容易に見つけ出すことを可能とする情報処理システムについて記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２０９７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、現状のＡＲサービスでは、端末の現在位置に関連付けられたＡＲタグしか取得できないため、別の場所へ移動した後には、元の場所で取得できるＡＲタグを再取得することができず、結果として、元の場所で合成される合成画像を別の場所で合成ことができず、利便性に欠けるといった問題がある。
本発明は、過去の訪問場所に行かなくても、過去の訪問場所とは異なる場所において、過去の訪問場所で合成されるべき画像を再合成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明にかかる端末装置は、位置情報に関連付けてＡＲタグが記憶された外部サーバに対して位置情報を送信し、前記外部サーバから受信した前記ＡＲタグを画像に対して付加して表示する端末装置であって、当該端末の現在位置の周囲を示す画像を取得する画像取得部と、当該端末の現在位置を示す前記位置情報を取得する位置取得部と、前記位置取得部で取得された前記位置情報を前記外部サーバに送信することで前記外部サーバから前記ＡＲタグを取得するＡＲタグ取得部と、前記画像と、前記ＡＲタグとに基づいて、合成画像を生成する合成画像生成部と、前記画像取得部にて取得された画像又は前記合成画像生成部にて生成された画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記ＡＲタグを取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記ＡＲタグの少なくとも一方を所定の前記再表示用画像に対して関連付けて記憶する記憶手段と、を備え、前記合成画像生成部は、前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記ＡＲタグ又は前記再表示用画像に対して関連付けて記憶された前記ＡＲタグと、に基づいて画像を生成する。
【０００８】
また本発明にかかる端末装置の動作方法は、位置情報に対して関連付けて当該位置情報に関するＡＲタグが記憶された外部サーバに対して前記位置情報を送信し、前記外部サーバから受信した前記ＡＲタグを画像に対して付加して表示する端末装置の動作方法であって、取得した画像又は当該取得した画像に対して前記ＡＲタグを付加した合成画像を再表示用画像として記憶し、所定の前記再表示用画像に付加されるべき前記ＡＲタグを取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記ＡＲタグの少なくとも一方を前記所定の再表示用画像に対して関連付けて記憶し、前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記ＡＲタグ又は前記再表示用画像に対して関連付けて記憶された前記付属画像と、に基づいて画像を生成する。
【０００９】
また本発明にかかるシステムは、位置情報に関連付けてＡＲタグが記憶された外部サーバと、前記外部サーバに対して位置情報を送信し、前記外部サーバから受信した前記ＡＲタグを画像に対して付加して表示する端末装置と、を備えるシステムであって、前記端末装置は、当該端末の現在位置の周囲を示す画像を取得する画像取得部と、当該端末の現在位置を示す前記位置情報を取得する位置取得部と、前記位置取得部で取得された前記位置情報を前記外部サーバに送信することで前記外部サーバから前記ＡＲタグを取得するＡＲタグ取得部と、前記画像と、前記ＡＲタグとに基づいて、合成画像を生成する合成画像生成部と、前記画像取得部にて取得された画像又は前記合成画像生成部にて生成された画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記ＡＲタグを取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記ＡＲタグの少なくとも一方を所定の前記再表示用画像に対して関連付けて記憶する記憶手段と、を備え、前記合成画像生成部は、前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記ＡＲタグ又は前記再表示用画像に対して関連付けて記憶された前記ＡＲタグと、に基づいて画像を生成する。
【発明の効果】
【００１０】
本発明によれば、過去の訪問場所に行かなくても、過去の訪問場所とは異なる場所において、過去の訪問場所で合成されるべき画像を再合成することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にかかる拡張現実システムのブロック図である。
【図２Ａ】実施の形態１にかかる位置情報を記憶するテーブルである。
【図２Ｂ】実施の形態１にかかる合成画像データを記憶するテーブルである。
【図３】実施の形態１にかかる時間毎のモード切り替え図である。
【図４】実施の形態１にかかる表示モードのフローチャートである。
【図５】実施の形態１にかかる録画モードのフローチャートである。
【図６】実施の形態１にかかる再生モードのフローチャートである。
【図７】実施の形態２にかかる拡張現実システムのブロック図である。
【図８】実施の形態２にかかる元の画像データを記憶するテーブルである。
【図９】実施の形態２にかかる録画モードのフローチャートである。
【図１０】実施の形態２にかかる再生モードのフローチャートである。
【図１１】実施の形態３にかかる拡張現実システムのブロック図である。
【図１２】実施の形態３にかかるＡＲタグを記憶するテーブルである。
【図１３】実施の形態３にかかる録画モードのフローチャートである。
【図１４】実施の形態３にかかる再生モードのフローチャートである。
【発明を実施するための形態】
【００１２】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１は、拡張現実システム（ＡＲ録画再生システム）１のブロック図である。以下、図１を用いて説明する。
【００１３】
図１に示すように、拡張現実システム１は、端末装置１００、及びデータサーバ２００を有する。端末装置１００は、ＡＲサービスを実行可能な携帯電話（移動型通信端末）である。データサーバ２００は、位置情報とＡＲタグ（付属情報）とを関連付けた態様にて記憶したデータベースを有する。換言すると、左記したデータベースが格納されたデータベースサーバである。データサーバ２０は、端末装置１００から位置情報を受信すると、受信した位置情報に関連するＡＲタグを受信した位置情報に基づいて検索し、検索によりヒットしたＡＲタグを端末装置１００に対して送信する。
【００１４】
図１に示すように、端末装置１００は、操作部１１０、アプリケーション部１１１、画像取得部１２０、位置情報処理部１３０、ＡＲタグ取得部１３３、合成処理部１４、表示部１４５、記憶部１５０、及び通話機能部１７０を有する。端末装置１００は、図示しない現在時刻取得手段を内蔵するものとする。
【００１５】
操作部１１０は、ユーザ操作に応じた指示を入力する入力手段である。典型的には、操作部１１０は、キーボード、ポインティングデバイス、あるいはタッチパネルで構成されるが、これらの例に限られない。本例では、ユーザは、操作部１１０の操作により、端末装置１００の動作モードを選択することができる。後述の説明から明らかなように、本例において、表示モード、録画モード、及び再生モードが設定されているが、これに限られるものではない。操作部１１０は、操作信号をアプリケーション部１１１に出力する。
【００１６】
アプリケーション部１１１は、入力された操作信号に基づいて制御信号を生成し、端末装置１００の動作を制御する制御部である。アプリケーション部１１１は、画像取得部１２０、位置情報処理部１３０、ＡＲタグ取得部１３３、合成処理部１４、および記憶部１５０に対して、生成した制御信号を出力する。アプリケーション部１１１は、例えば、プログラムがＣＰＵにより実行されることで具現化される。
【００１７】
画像取得部１２０は、一般的な画像取得装置（カメラ等）であり、端末装置１００の周囲の風景を撮影し、画像データを取得する（以下、この取得した画像データを、単に取得画像と呼ぶことがある）。画像取得部１２０は、操作部１１０において表示モードまたは録画モードが選択された場合、撮影を開始し、画像を取得する。画像取得部１２０が連続的に取得する個々の画像データは、画像処理が施され、一つの画像データとして取り扱われる。画像取得部１２０は、取得した画像データを合成画像生成部１４１に出力する。
【００１８】
位置情報処理部１３０は、位置情報取得部１３１、および位置情報記憶部１３２を有する。位置情報処理部１３０は、アプリケーション部１１１から入力される制御信号に基づいて動作する。
【００１９】
位置情報取得部１３１は、端末装置１００の現在位置を示す位置情報（位置データ）を取得する。位置情報取得部１３１は、典型的にはＧＰＳ（Global Positioning System）の機能を有している。例えば、位置情報取得部１３１は、アンテナを備え、該アンテナを介して３箇所以上のＧＰＳ衛星と通信を行うことにより、端末装置１００の現在地を算出する。例えば、位置情報取得部１３１は、表示モードと録画モードにおいて位置情報を取得する。位置情報取得部１３１は、取得した位置情報を、位置情報記憶部１３２と、ＡＲタグ取得部１３３に出力する。
【００２０】
位置情報記憶部１３２は、位置情報取得部１３１から供給された位置情報、及びその位置情報の取得時刻を関連付けて記憶する。詳細には、位置情報記憶部１３２は、位置情報取得部１３１から供給された位置情報と、その位置情報が位置情報取得部１３１により取得された時刻と、を関連付けてテーブルに記憶する。図２は、位置情報記憶部１３２が有するテーブルの例である。図２に示すように、位置情報は、その位置情報の取得時刻と関連付けられてテーブルに記憶されている。位置情報記憶部１３２は、記憶した位置情報に関する情報を、合成処理部１４、及び記憶部１５０に出力する。位置情報記憶部１３２は、再生モードの場合、記憶した位置情報をＡＲタグ取得部１３３に出力する。
位置情報記憶部１３２は、例えば、メモリやハードディスクドライブや、端末装置１００に外付けで接続する記憶媒体であり、記憶手段はこれに限られない。
【００２１】
ＡＲタグ取得部１３３は、位置情報送信部１３４、及びＡＲタグ受信部１３５を有する。ＡＲタグ取得部１３３は、取得されている位置情報を外部サーバに送信することでＡＲタグを取得する。
【００２２】
位置情報送信部１３４は、位置情報取得部１３１から供給された位置情報をデータサーバ２００に対して送信する。位置情報送信部１３４は、要求するＡＲタグの詳細レベルについてデータサーバ２００に送信することが望ましい。例えば、位置情報送信部１３４は、ショートメッセージやリンクアドレスが記載されている簡易なＡＲタグを要求するのか、より詳細な情報が記載されたＡＲタグを要求するのかを示す信号をデータサーバ２００対して送信する。
【００２３】
ＡＲタグ受信部１３５は、データサーバ２００から送信されたＡＲタグを受信する。ＡＲタグ受信部１３５は、受信したＡＲタグを合成画像生成部１４１に出力する。
【００２４】
合成処理部１４は、合成画像生成部１４１、エンコーダ１４２、及びデコーダ１４３、を有する。合成処理部１４は、アプリケーション部１１１から入力される制御信号に基づいて動作する。
【００２５】
合成画像生成部１４１は、画像取得部１２０から供給される画像データと、ＡＲタグ取得部１３３から供給されるＡＲタグとに基づいて合成画像データ（以下、単に合成画像と呼ぶこともある）を生成する。合成画像生成部１４１は、エンコーダ１４２と、表示部１４５に、生成した合成画像を出力する。
【００２６】
エンコーダ１４２は、合成画像生成部１４１で生成された合成画像データをエンコードする。エンコーダ１４２のエンコード方式は任意である。エンコーダ１４２によるエンコードは、ハードウェアにより実現してもよく、ソフトウェアにより実現してもよい。エンコーダ１４２は、エンコードした画像データを記憶部１５０に出力する。
【００２７】
デコーダ１４３は、記憶部１５０に記憶されている合成画像データのデコードを実行する。デコーダ１４３がデコードした合成画像データは、合成画像生成部１４１に供給される。デコーダ１４３による合成画像データのデコードにより、エンコードされた状態で記憶部１５０に保存された合成画像は、表示部１４５において表示可能な形式となる。
【００２８】
表示部１４５は、一般的な表示装置（液晶表示装置等）であり、合成画像生成部１４１により生成された合成画像を表示する。ユーザは、表示モードや録画モードにおいて、表示部１４５を見ることで、実世界の取得画像にＡＲタグが付加されている状態を確認することができる。
【００２９】
記憶部１５０は、アプリケーション部１１１による制御に応じて、合成処理部１４から出力されたエンコード済みの合成画像を再表示用画像として記憶する。このとき、記憶部１５０は、順次記憶する合成画像を、その合成画像が生成される元となった取得画像の取得時刻に対応づけて記憶する。これによって、記憶部１５０に順次書き込まれる合成画像は、位置情報記憶部１３２に順次書き込まれる位置情報に対して、時刻を基準として関連付けられる。なお、合成画像に関連付けて記憶される時刻情報は、年月日、時分秒を示すものとする。記憶部１５０は、例えば、メモリやハードディスクドライブや、端末装置１００に外付けで接続する記憶媒体である。
【００３０】
通話機能部１７０は、外部に設けられた通信機器との通信を行う。例えば、通話機能部１７０は、他の端末装置に対して音声信号の送受信を行うほか、メールなどの送受信を行ってもよい。
【００３１】
次に、拡張現実システム１の動作について説明する。例えば、ユーザは、図３に示すように、時間経過に応じて、表示モード、録画モード、再生モードを順に切り替えて使用する。ユーザは、時刻ｔ１において表示モードを開始し、時刻ｔ２において表示モードから録画モードに切り替え、時刻ｔ３において録画モードを終了させる。また、ユーザは、時刻ｔ４において再生モードを開始する。以下、表示モード、録画モード、再生モードのそれぞれの動作手順について、図４乃至図６を参照して説明する。
【００３２】
図４に、表示モードにおける動作フローを示す。まず、ユーザは、表示モードを選択する（ＳＴ１）。ユーザは、操作部１１０を操作することにより、アプリケーション選択画面を起動し、表示モードを選択する。アプリケーション部１１１は、ユーザによる表示モードの選択に基づき、取得画像に対してＡＲタグを合成して表示させるための各機能部の制御を開始する。
【００３３】
次に、端末装置１００は、撮影を開始し、ＡＲタグの取得動作を開始する（ＳＴ２）。具体的には、アプリケーション部１１１は、画像取得部１２０に対して周囲の風景の撮影を指示する。アプリケーション部１１１は、位置情報取得部１３１に対して、当該端末装置１００の現在位置の取得を指示する。アプリケーション部１１１は、位置情報送信部１３４に対して、位置情報取得部１３１で取得された位置情報をデータサーバ２００に送信するように指示する。位置情報送信部１３４からデータサーバ２００に対して位置情報が送信されると、データサーバ２００は、受信した位置情報に基づいてＡＲタグを検索し、受信した位置情報に対して予め関連付けられたＡＲタグを端末装置１００に対して返信する。このようにして、ＡＲタグ受信部１３５は、データサーバ２００からＡＲタグを受信する。ＡＲタグ受信部１３５が受信するＡＲタグには、例えば、ショートメッセージ、ＵＲＬ等が記載されている。
【００３４】
次に、合成処理部１４は、取得画像とＡＲタグに基づいて合成画像を生成する（ＳＴ３）。具体的には、合成画像生成部１４１は、画像取得部１２０から順次供給される取得画像データに対して、ＡＲタグ受信部１３５から順次供給されるＡＲタグを付加して新しい画像データを生成する。合成画像生成部１４１により合成処理される取得画像とＡＲタグとは、地球上の位置において互いに連関している。ＡＲタグは、端末１００の現在位置に関連した情報を示すため、取得画像に対してＡＲタグを付加することによって、周囲の風景とこれに関連する情報とが一体となった表示を提供することが可能になる。
【００３５】
次に、合成画像が表示される（ＳＴ４）。具体的には、表示部１４５は、合成画像生成部１４１から供給される合成画像データに基づいて画像を表示する。
【００３６】
図５は、録画モードにおける動作フローを示す。
【００３７】
まず、録画モードが開始する（ＳＴ１０）。具体的には、ユーザは、上述のステップＳＴ１のモード選択の場合と同様、操作部１１０を操作することにより、アプリケーション選択画面を起動して録画モードを選択する。アプリケーション部１１１は、ユーザによる録画モードの選択に基づき、後述するように各機能部を制御する。
【００３８】
次に、撮影、ＡＲタグの取得動作が開始し、かつ位置情報とその取得時刻の記憶が実行される（ＳＴ２０）。端末装置１００は、上述のステップＳＴ２と同様、画像取得を開始する。これと並行して、端末装置１００は、取得画像データの取得時刻を順次記憶する。端末装置１００は、上述のステップＳＴ２と同様、ＡＲタグの取得動作を開始する。端末装置１００は、図２（ａ）に示したように、順次取得する位置情報と、その取得時刻とを関連づけて記憶する。具体的には、位置情報取得部１３１は、取得した位置情報を、その取得時間と共に位置情報記憶部１３２に対して書き込む。
【００３９】
次に、上述のステップＳＴ３と同様、合成処理部１４は、取得画像とＡＲタグに基づいて合成画像を生成する（ＳＴ３０）。合成画像が生成されると、上述のステップＳＴ３と同様に、表示部１４５によって合成画像が表示される。
【００４０】
次に、エンコードする（ＳＴ４０）。具体的には、エンコーダ１４２は、合成画像生成部１４１から供給されるデータをエンコードする。
次に、エンコードされた合成画像データを時刻と関連付けて記憶する（ＳＴ５０）。具体的には、合成処理部１４は、図２Ｂに示すように、合成画像データと時刻とを関連付けて記憶する。なお、合成画像データと関連付けられる時刻は、合成画像データを生成する元となった取得画像データが取得された時刻である。
【００４１】
上述のステップを経ることによって、位置情報記憶部１３２には、図２（ａ）に示すテーブルが格納された状態になり、記憶部１５０には、図２（ｂ）に示すテーブルが可能された状態になる。このように時刻に対応づけて、合成画像と位置情報とを関連付けて記憶することによって、後述の説明から明らかなように、異なる場所へ移動した後であっても、元の場所にて合成されるべき合成画像を再合成することが可能になる。
【００４２】
図６は、再生モードの動作フローを示す。まず、再生モードが開始する（ＳＴ１１０）。具体的には、上述のステップＳＴ１のモード選択の場合と同様、ユーザによる操作部１１０の操作によって、再生モードが選択される。時刻ｔ４は、例えば、録画を行ったｔ２〜ｔ３の後日の任意の時刻である。アプリケーション部１１１は、ユーザによる再生モードの選択に基づき、後述のように各機能部を制御する。
【００４３】
まず、記憶された合成画像データをデコードする（ＳＴ１２０）。デコーダ１４３は、アプリケーションからの制御信号に基づき、記憶部１５０に記憶されている再表示用画像をデコードする（ＳＴ１２０）。記憶部１５０に記憶されている合成画像はエンコードされた状態であり、デコーダ１４３がデコードすることにより、合成画像は視聴可能な状態となる。
【００４４】
次に、デコード対象となっている合成画像に対して関連付けられた位置情報を特定する（ＳＴ１３０）。具体的には、アプリケーション部１１１は、図２（ｂ）に示す対応関係に基づいて、デコード対象の合成画像データに関連する時刻を取得する。次に、アプリケーション部１１１は、位置情報記憶部１３２に格納された図２（ａ）に示す対応関係に基づいて、上述のように取得した時刻に対応する位置情報を特定する。
【００４５】
次に、ＡＲタグの取得動作が開始する（ＳＴ１４０）。具体的には、アプリケーション部１１１により上述のように特定された位置情報は、位置情報記憶部１３２から位置情報送信部１３４に転送される。そして、上述の同様の仕組みにより、ＡＲタグ受信部１３５は、位置情報送信部１３４が送信した位置情報に対して関連付けられたＡＲタグを受信する。なお、ここで、受信されるＡＲタグは、既に合成画像に付加されたタグ情報よりも詳細な情報を示すものとする。
【００４６】
次に、合成画像データを生成する（ＳＴ１５０）。具体的には、合成画像生成部１４１は、デコーダ１４３から供給される画像データに対して、データサーバ２００からダウンロードしたＡＲタグを付加した合成画像データを生成する。合成画像生成部１４１によって処理される画像データは、過去のある時点において撮影された画像データが元になって合成された画像データである。また、合成画像生成部によって処理されるＡＲタグは、過去のある時点において取得された位置情報に基づいてデータサーバ２００から取得可能な付属情報である。このように時間基準で互いに連関した画像データと位置情報とを保存することによって、事後的に合成画像を生成する場合であっても、画像データとＡＲタグ間の組み合わせのミスマッチを回避し、適切な合成画像を生成することが可能になる。
【００４７】
なお、時間を基準とした関連付けの具体的な態様は任意である。画像データとＡＲタグ間の組み合わせに誤りが生じることを抑制した程度にて、画像データと位置情報との関連付けを行えば良い。
【００４８】
次に、合成画像を表示する（ＳＴ１６０）。合成画像の表示方法については、上述の説明と同様である。これによって、過去のある時点とは異なる場所にいても、その過去の時点において生成されるべき合成画像を生成することが可能になり、ＡＲサービスの利便性を効果的に高めることが可能になる。
【００４９】
上述の説明から明らかなように、本実施形態にかかる端末装置１００は、録画モードのとき、現在位置を示す位置情報を現在時刻に関連付けて記憶し、かつ、現在表示されるべき合成画像を現在時刻（ここでは、一例として、その合成画像データの元となる画像データの取得時刻）に関連付けて記憶する。再生モードのとき、端末装置１００は、記憶された合成画像データに関連づけられた時刻に基づいて位置情報を取得し、この位置情報に基づいてＡＲタグを取得し、このＡＲタグと先に述べた合成画像データとに基づいて新たに合成画像を生成する。この構成を採用することによって、過去のある時点とは異なる場所にいても、その過去の時点において生成されるべき合成画像を生成することが可能になり、ＡＲサービスの利便性を効果的に高めることが可能になる。また、ユーザは、データサーバ２００から、最新のＡＲタグや、詳細なＡＲタグを受信して、これに基づいて合成画像を視聴することが可能になる。
【００５０】
録画モードのとき、位置情報取得部１３１は、位置情報を随時取得し、位置情報記憶部１３２には、該位置情報がその取得時刻とともに記憶される。したがって、録画モード時、ユーザが移動しながら撮影したとしても問題はない。
【００５１】
実施の形態２
以下、実施の形態２について、図７乃至図１０を参照して説明する。図７は、拡張現実システム（ＡＲ録画再生システム）２のブロック図である。実施の形態１と重複する説明は省略する。
【００５２】
本実施形態では、実施の形態１とは異なり、記憶部１５０に記憶される再表示用画像データは、ＡＲタグ付加前の元画像データである。図７に示すように、本実施形態では、実施の形態１とは異なり画像取得部１２０で取得された元画像が、エンコーダ１４２でエンコードされ、記憶部１５０で記憶される。このような場合であっても実施の形態１と同様の効果を得ることができる。なお、実施の形態１の場合とは異なり、本実施形態では、記憶部１５０は、図８に示すテーブルを格納することになる。また、本実施形態では、図９及び図１０に示すようなフローが実施される。
【００５３】
以下、簡単に補足説明する。記憶部１５０は、図８に模式的に示すように時刻に対応づけて元の画像データを記憶する。なお、画像データに関連付けて記憶される時刻は、画像データの取得時刻に対応する。
【００５４】
図９に示すように、ステップＳＴ２１０において、実施の形態１に示したステップＳＴ１０と同様、録画モードを開始する。ステップＳＴ２２０において、ステップＳＴ２０と同様、撮影、ＡＲタグの取得動作が開始し、かつ位置情報とその取得時刻の記憶が実行される。ステップＳ２３０において、ステップＳＴ３０と同様、合成処理部１４は、取得画像とＡＲタグに基づいて合成画像を生成する。実施の形態１とは異なり、ステップＳＴ２４０にて、元の画像データをエンコードする。その後、ステップＳＴ２５０にて、エンコードされた元の画像データと、その元の画像データの取得時刻とを関連付けて記憶する。
【００５５】
図１０に示すように、ステップＳＴ３１０において、実施の形態１に示したステップＳＴ１１０と同様、再生モードを開始する。実施の形態１とは異なり、ＳＴ３２０にて元の画像データをデコードする。ＳＴ３３０については、実施の形態１と同様にして位置情報を特定する。つまり、図８に示すように、表示対象となっている画像データに関連付けられた時刻を特定し、この時刻に基づいて、実施の形態１と同様の手法によって位置情報を取得する。ステップＳＴ３４０において、ステップＳＴ１４０と同様、ＡＲタグの取得動作を開始する。ステップＳＴ３５０において、ステップＳＴ１５０と同様、合成画像データを生成する。ステップＳＴ３６０において、ステップＳＴ１６０と同様、合成画像を表示する。
【００５６】
本実施形態によれば、過去に合成画像に取り込まれた古いＡＲタグによって示される古い情報を排除することができ、過去に訪ねた地点に関連する最新のＡＲタグを取り込むことが可能になる。また、記憶部１５０で記憶される画像データにはＡＲタグに応じてデータ容量が含まれないため、記憶部１５０の空き容量の消費を低減することが可能になる。
【００５７】
実施の形態３
以下、図１１乃至図１４を参照して、実施の形態３について説明する。図１１は、拡張現実システム（ＡＲ録画再生システム）３のブロック図である。
【００５８】
本実施形態では、実施の形態２とは異なり、位置情報を時刻に関連付けて記憶することに代えて、位置情報に基づいてデータサーバ２００からダウンロードしたＡＲタグを時刻に関連付けて記憶する。これによって、記憶部１５０に記憶される合成画像データには、時刻によってＡＲタグ自体が関連づけられることになる。この場合、実施の形態２のように再度ＡＲタグをダウンロードする必要はなく、再合成時間に要する時間を短縮することができる。
【００５９】
図１１に示すように、位置情報記憶部１３２に代えて、ＡＲタグ記憶部１３６が設けられている。ＡＲタグ記憶部１３６は、図１２に示すように、順次データサーバ２００からＡＲタグ受信部１３５が受信するＡＲタグを時刻に関連づけて記憶する。なお、ＡＲタグに関連づけられて記憶される時刻は、このＡＲタグが付加されるべき元の画像の取得時刻であることが望ましい。ただし、ＡＲタグを取得した時刻、ＡＲタグを取得するために位置情報を送信した時刻等であっても構わない。この場合にも、元の画像とＡＲタグ間の対応関係を信頼性良く維持することができる。ＡＲタグ記憶部１３６は、記憶したＡＲタグに関する情報を、記憶部１５０に出力する。ＡＲタグ記憶部１３６は、再生モードの場合、記憶したＡＲタグを合成処理部１４４に出力する。
【００６０】
図１３に、録画モード時に実行されるステップを示す。図１３に示すように、ステップＳＴ４１０において、実施の形態２に示したステップＳＴ２１０と同様、録画モードを開始する。ステップＳＴ４２０において、実施の形態２と同様の動作（撮影、ＡＲタグ取得動作）を行うと共に、ＡＲタグ受信部１３５が受信したＡＲタグは、上記説明した時刻と関連付けられて記憶される。ステップＳＴ４３０において、ステップＳＴ２３０と同様、合成処理部１４は、取得画像とＡＲタグに基づいて合成画像を生成する。ステップＳＴ４４０において、ステップＳＴ２４０と同様、元の画像データをエンコードする。ステップＳＴ４５０において、ステップＳＴ２５０と同様、エンコードされた元の画像データと、その元の画像データの取得時刻とを関連付けて記憶する。
【００６１】
図１４に、再生モード時に実行されるステップを示す。図１４に示すように、ステップＳ５１０において、ステップＳＴ３１０と同様に、再生モードを開始する。ステップＳ５２０において、ステップＳＴ３２０と同様、元の画像データをデコードする。ステップＳＴ５３０において、元の画像データに対応するＡＲタグを特定する。具体的には、上述の実施形態と同様に、再表示対象となっている元の画像に関連付けられた時刻に基づいて（図８参照）、その時刻に関連付けられたＡＲタグを特定する（図１２参照）。ステップＳＴ５４０において、ステップＳＴ３５０と同様、合成画像データを生成する。ステップＳＴ５５０において、ステップＳＴ３６０と同様、合成画像を表示する。
【００６２】
本実施形態では、実施の形態２のように再度ＡＲタグをダウンロードする必要はなく、再合成時間に要する時間を短縮することができる。
【００６３】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記では位置情報記憶部１３２において、録画モードにおいて、録画モード開始からの時刻と位置情報とを、テーブル状にして記録することとしたが、記録形式はこの形式に限られない。また記憶部１５０と、位置情報記憶部１３２とＡＲタグ記憶部１３６は、別の記憶部として記載したが、同一の記憶手段であっても良い。
【符号の説明】
【００６４】
１ 拡張現実システム
２ 拡張現実システム
３ 拡張現実システム
１００ 端末装置
１１０ 操作部
１１１ アプリケーション部
１２０ 画像取得部
１３０ 位置情報処理部
１３１ 位置情報取得部
１３２ 位置情報記憶部
１３３ ＡＲタグ取得部
１３４ 位置情報送信部
１３５ ＡＲタグ受信部
１３６ ＡＲタグ記憶部
１４ 合成処理部
１４１ 合成画像生成部
１４２ エンコーダ
１４３ デコーダ
１４５ 表示部
１５０ 記憶部
１７０ 通話機能部
２００ データサーバ
３００ 端末装置
４００ 端末装置
【技術分野】
【０００１】
本発明は、端末装置、端末装置の動作方法、及び拡張現実システムに関する。
【背景技術】
【０００２】
近年、カメラプレビュー画像にコンピュータが作り出す情報を合成して表示することで、ユーザに対して付加情報を与える拡張現実（ＡＲ：Augmented Reality）サービスが増加している。
【０００３】
具体的には、ＡＲサービスの提供機器は、カメラと連動したアプリケーションの起動に応じて、ＧＰＳ機能等により位置情報を取得し、取得した位置情報に基づいて外部サーバのデータベースにアクセスし、周辺情報を含んだＡＲタグを外部サーバからダウンロードし、カメラのプレビュー画像にダウンロードしたＡＲタグを合成して表示する。このようにして、ＡＲサービスでは、ユーザに対して実世界における周辺環境に関連した付加情報を提示することが可能になる。例えば、現在地周辺の店舗の広告、現在訪ねている観光地の観光案内、ユーザ自身が待ち合わせのために独自のＡＲタグを残すなどの活用例がある。合成された画像に表示されたＡＲタグを介して、ＷＥＢページにアクセス可能とする例もある。
【０００４】
特許文献１には、ユーザが実世界の状況に対して仮想的に情報を付与し、ユーザが所望の情報を迅速かつ容易に見つけ出すことを可能とする情報処理システムについて記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２０９７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、現状のＡＲサービスでは、端末の現在位置に関連付けられたＡＲタグしか取得できないため、別の場所へ移動した後には、元の場所で取得できるＡＲタグを再取得することができず、結果として、元の場所で合成される合成画像を別の場所で合成ことができず、利便性に欠けるといった問題がある。
本発明は、過去の訪問場所に行かなくても、過去の訪問場所とは異なる場所において、過去の訪問場所で合成されるべき画像を再合成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明にかかる端末装置は、位置情報に関連付けてＡＲタグが記憶された外部サーバに対して位置情報を送信し、前記外部サーバから受信した前記ＡＲタグを画像に対して付加して表示する端末装置であって、当該端末の現在位置の周囲を示す画像を取得する画像取得部と、当該端末の現在位置を示す前記位置情報を取得する位置取得部と、前記位置取得部で取得された前記位置情報を前記外部サーバに送信することで前記外部サーバから前記ＡＲタグを取得するＡＲタグ取得部と、前記画像と、前記ＡＲタグとに基づいて、合成画像を生成する合成画像生成部と、前記画像取得部にて取得された画像又は前記合成画像生成部にて生成された画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記ＡＲタグを取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記ＡＲタグの少なくとも一方を所定の前記再表示用画像に対して関連付けて記憶する記憶手段と、を備え、前記合成画像生成部は、前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記ＡＲタグ又は前記再表示用画像に対して関連付けて記憶された前記ＡＲタグと、に基づいて画像を生成する。
【０００８】
また本発明にかかる端末装置の動作方法は、位置情報に対して関連付けて当該位置情報に関するＡＲタグが記憶された外部サーバに対して前記位置情報を送信し、前記外部サーバから受信した前記ＡＲタグを画像に対して付加して表示する端末装置の動作方法であって、取得した画像又は当該取得した画像に対して前記ＡＲタグを付加した合成画像を再表示用画像として記憶し、所定の前記再表示用画像に付加されるべき前記ＡＲタグを取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記ＡＲタグの少なくとも一方を前記所定の再表示用画像に対して関連付けて記憶し、前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記ＡＲタグ又は前記再表示用画像に対して関連付けて記憶された前記付属画像と、に基づいて画像を生成する。
【０００９】
また本発明にかかるシステムは、位置情報に関連付けてＡＲタグが記憶された外部サーバと、前記外部サーバに対して位置情報を送信し、前記外部サーバから受信した前記ＡＲタグを画像に対して付加して表示する端末装置と、を備えるシステムであって、前記端末装置は、当該端末の現在位置の周囲を示す画像を取得する画像取得部と、当該端末の現在位置を示す前記位置情報を取得する位置取得部と、前記位置取得部で取得された前記位置情報を前記外部サーバに送信することで前記外部サーバから前記ＡＲタグを取得するＡＲタグ取得部と、前記画像と、前記ＡＲタグとに基づいて、合成画像を生成する合成画像生成部と、前記画像取得部にて取得された画像又は前記合成画像生成部にて生成された画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記ＡＲタグを取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記ＡＲタグの少なくとも一方を所定の前記再表示用画像に対して関連付けて記憶する記憶手段と、を備え、前記合成画像生成部は、前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記ＡＲタグ又は前記再表示用画像に対して関連付けて記憶された前記ＡＲタグと、に基づいて画像を生成する。
【発明の効果】
【００１０】
本発明によれば、過去の訪問場所に行かなくても、過去の訪問場所とは異なる場所において、過去の訪問場所で合成されるべき画像を再合成することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にかかる拡張現実システムのブロック図である。
【図２Ａ】実施の形態１にかかる位置情報を記憶するテーブルである。
【図２Ｂ】実施の形態１にかかる合成画像データを記憶するテーブルである。
【図３】実施の形態１にかかる時間毎のモード切り替え図である。
【図４】実施の形態１にかかる表示モードのフローチャートである。
【図５】実施の形態１にかかる録画モードのフローチャートである。
【図６】実施の形態１にかかる再生モードのフローチャートである。
【図７】実施の形態２にかかる拡張現実システムのブロック図である。
【図８】実施の形態２にかかる元の画像データを記憶するテーブルである。
【図９】実施の形態２にかかる録画モードのフローチャートである。
【図１０】実施の形態２にかかる再生モードのフローチャートである。
【図１１】実施の形態３にかかる拡張現実システムのブロック図である。
【図１２】実施の形態３にかかるＡＲタグを記憶するテーブルである。
【図１３】実施の形態３にかかる録画モードのフローチャートである。
【図１４】実施の形態３にかかる再生モードのフローチャートである。
【発明を実施するための形態】
【００１２】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１は、拡張現実システム（ＡＲ録画再生システム）１のブロック図である。以下、図１を用いて説明する。
【００１３】
図１に示すように、拡張現実システム１は、端末装置１００、及びデータサーバ２００を有する。端末装置１００は、ＡＲサービスを実行可能な携帯電話（移動型通信端末）である。データサーバ２００は、位置情報とＡＲタグ（付属情報）とを関連付けた態様にて記憶したデータベースを有する。換言すると、左記したデータベースが格納されたデータベースサーバである。データサーバ２０は、端末装置１００から位置情報を受信すると、受信した位置情報に関連するＡＲタグを受信した位置情報に基づいて検索し、検索によりヒットしたＡＲタグを端末装置１００に対して送信する。
【００１４】
図１に示すように、端末装置１００は、操作部１１０、アプリケーション部１１１、画像取得部１２０、位置情報処理部１３０、ＡＲタグ取得部１３３、合成処理部１４、表示部１４５、記憶部１５０、及び通話機能部１７０を有する。端末装置１００は、図示しない現在時刻取得手段を内蔵するものとする。
【００１５】
操作部１１０は、ユーザ操作に応じた指示を入力する入力手段である。典型的には、操作部１１０は、キーボード、ポインティングデバイス、あるいはタッチパネルで構成されるが、これらの例に限られない。本例では、ユーザは、操作部１１０の操作により、端末装置１００の動作モードを選択することができる。後述の説明から明らかなように、本例において、表示モード、録画モード、及び再生モードが設定されているが、これに限られるものではない。操作部１１０は、操作信号をアプリケーション部１１１に出力する。
【００１６】
アプリケーション部１１１は、入力された操作信号に基づいて制御信号を生成し、端末装置１００の動作を制御する制御部である。アプリケーション部１１１は、画像取得部１２０、位置情報処理部１３０、ＡＲタグ取得部１３３、合成処理部１４、および記憶部１５０に対して、生成した制御信号を出力する。アプリケーション部１１１は、例えば、プログラムがＣＰＵにより実行されることで具現化される。
【００１７】
画像取得部１２０は、一般的な画像取得装置（カメラ等）であり、端末装置１００の周囲の風景を撮影し、画像データを取得する（以下、この取得した画像データを、単に取得画像と呼ぶことがある）。画像取得部１２０は、操作部１１０において表示モードまたは録画モードが選択された場合、撮影を開始し、画像を取得する。画像取得部１２０が連続的に取得する個々の画像データは、画像処理が施され、一つの画像データとして取り扱われる。画像取得部１２０は、取得した画像データを合成画像生成部１４１に出力する。
【００１８】
位置情報処理部１３０は、位置情報取得部１３１、および位置情報記憶部１３２を有する。位置情報処理部１３０は、アプリケーション部１１１から入力される制御信号に基づいて動作する。
【００１９】
位置情報取得部１３１は、端末装置１００の現在位置を示す位置情報（位置データ）を取得する。位置情報取得部１３１は、典型的にはＧＰＳ（Global Positioning System）の機能を有している。例えば、位置情報取得部１３１は、アンテナを備え、該アンテナを介して３箇所以上のＧＰＳ衛星と通信を行うことにより、端末装置１００の現在地を算出する。例えば、位置情報取得部１３１は、表示モードと録画モードにおいて位置情報を取得する。位置情報取得部１３１は、取得した位置情報を、位置情報記憶部１３２と、ＡＲタグ取得部１３３に出力する。
【００２０】
位置情報記憶部１３２は、位置情報取得部１３１から供給された位置情報、及びその位置情報の取得時刻を関連付けて記憶する。詳細には、位置情報記憶部１３２は、位置情報取得部１３１から供給された位置情報と、その位置情報が位置情報取得部１３１により取得された時刻と、を関連付けてテーブルに記憶する。図２は、位置情報記憶部１３２が有するテーブルの例である。図２に示すように、位置情報は、その位置情報の取得時刻と関連付けられてテーブルに記憶されている。位置情報記憶部１３２は、記憶した位置情報に関する情報を、合成処理部１４、及び記憶部１５０に出力する。位置情報記憶部１３２は、再生モードの場合、記憶した位置情報をＡＲタグ取得部１３３に出力する。
位置情報記憶部１３２は、例えば、メモリやハードディスクドライブや、端末装置１００に外付けで接続する記憶媒体であり、記憶手段はこれに限られない。
【００２１】
ＡＲタグ取得部１３３は、位置情報送信部１３４、及びＡＲタグ受信部１３５を有する。ＡＲタグ取得部１３３は、取得されている位置情報を外部サーバに送信することでＡＲタグを取得する。
【００２２】
位置情報送信部１３４は、位置情報取得部１３１から供給された位置情報をデータサーバ２００に対して送信する。位置情報送信部１３４は、要求するＡＲタグの詳細レベルについてデータサーバ２００に送信することが望ましい。例えば、位置情報送信部１３４は、ショートメッセージやリンクアドレスが記載されている簡易なＡＲタグを要求するのか、より詳細な情報が記載されたＡＲタグを要求するのかを示す信号をデータサーバ２００対して送信する。
【００２３】
ＡＲタグ受信部１３５は、データサーバ２００から送信されたＡＲタグを受信する。ＡＲタグ受信部１３５は、受信したＡＲタグを合成画像生成部１４１に出力する。
【００２４】
合成処理部１４は、合成画像生成部１４１、エンコーダ１４２、及びデコーダ１４３、を有する。合成処理部１４は、アプリケーション部１１１から入力される制御信号に基づいて動作する。
【００２５】
合成画像生成部１４１は、画像取得部１２０から供給される画像データと、ＡＲタグ取得部１３３から供給されるＡＲタグとに基づいて合成画像データ（以下、単に合成画像と呼ぶこともある）を生成する。合成画像生成部１４１は、エンコーダ１４２と、表示部１４５に、生成した合成画像を出力する。
【００２６】
エンコーダ１４２は、合成画像生成部１４１で生成された合成画像データをエンコードする。エンコーダ１４２のエンコード方式は任意である。エンコーダ１４２によるエンコードは、ハードウェアにより実現してもよく、ソフトウェアにより実現してもよい。エンコーダ１４２は、エンコードした画像データを記憶部１５０に出力する。
【００２７】
デコーダ１４３は、記憶部１５０に記憶されている合成画像データのデコードを実行する。デコーダ１４３がデコードした合成画像データは、合成画像生成部１４１に供給される。デコーダ１４３による合成画像データのデコードにより、エンコードされた状態で記憶部１５０に保存された合成画像は、表示部１４５において表示可能な形式となる。
【００２８】
表示部１４５は、一般的な表示装置（液晶表示装置等）であり、合成画像生成部１４１により生成された合成画像を表示する。ユーザは、表示モードや録画モードにおいて、表示部１４５を見ることで、実世界の取得画像にＡＲタグが付加されている状態を確認することができる。
【００２９】
記憶部１５０は、アプリケーション部１１１による制御に応じて、合成処理部１４から出力されたエンコード済みの合成画像を再表示用画像として記憶する。このとき、記憶部１５０は、順次記憶する合成画像を、その合成画像が生成される元となった取得画像の取得時刻に対応づけて記憶する。これによって、記憶部１５０に順次書き込まれる合成画像は、位置情報記憶部１３２に順次書き込まれる位置情報に対して、時刻を基準として関連付けられる。なお、合成画像に関連付けて記憶される時刻情報は、年月日、時分秒を示すものとする。記憶部１５０は、例えば、メモリやハードディスクドライブや、端末装置１００に外付けで接続する記憶媒体である。
【００３０】
通話機能部１７０は、外部に設けられた通信機器との通信を行う。例えば、通話機能部１７０は、他の端末装置に対して音声信号の送受信を行うほか、メールなどの送受信を行ってもよい。
【００３１】
次に、拡張現実システム１の動作について説明する。例えば、ユーザは、図３に示すように、時間経過に応じて、表示モード、録画モード、再生モードを順に切り替えて使用する。ユーザは、時刻ｔ１において表示モードを開始し、時刻ｔ２において表示モードから録画モードに切り替え、時刻ｔ３において録画モードを終了させる。また、ユーザは、時刻ｔ４において再生モードを開始する。以下、表示モード、録画モード、再生モードのそれぞれの動作手順について、図４乃至図６を参照して説明する。
【００３２】
図４に、表示モードにおける動作フローを示す。まず、ユーザは、表示モードを選択する（ＳＴ１）。ユーザは、操作部１１０を操作することにより、アプリケーション選択画面を起動し、表示モードを選択する。アプリケーション部１１１は、ユーザによる表示モードの選択に基づき、取得画像に対してＡＲタグを合成して表示させるための各機能部の制御を開始する。
【００３３】
次に、端末装置１００は、撮影を開始し、ＡＲタグの取得動作を開始する（ＳＴ２）。具体的には、アプリケーション部１１１は、画像取得部１２０に対して周囲の風景の撮影を指示する。アプリケーション部１１１は、位置情報取得部１３１に対して、当該端末装置１００の現在位置の取得を指示する。アプリケーション部１１１は、位置情報送信部１３４に対して、位置情報取得部１３１で取得された位置情報をデータサーバ２００に送信するように指示する。位置情報送信部１３４からデータサーバ２００に対して位置情報が送信されると、データサーバ２００は、受信した位置情報に基づいてＡＲタグを検索し、受信した位置情報に対して予め関連付けられたＡＲタグを端末装置１００に対して返信する。このようにして、ＡＲタグ受信部１３５は、データサーバ２００からＡＲタグを受信する。ＡＲタグ受信部１３５が受信するＡＲタグには、例えば、ショートメッセージ、ＵＲＬ等が記載されている。
【００３４】
次に、合成処理部１４は、取得画像とＡＲタグに基づいて合成画像を生成する（ＳＴ３）。具体的には、合成画像生成部１４１は、画像取得部１２０から順次供給される取得画像データに対して、ＡＲタグ受信部１３５から順次供給されるＡＲタグを付加して新しい画像データを生成する。合成画像生成部１４１により合成処理される取得画像とＡＲタグとは、地球上の位置において互いに連関している。ＡＲタグは、端末１００の現在位置に関連した情報を示すため、取得画像に対してＡＲタグを付加することによって、周囲の風景とこれに関連する情報とが一体となった表示を提供することが可能になる。
【００３５】
次に、合成画像が表示される（ＳＴ４）。具体的には、表示部１４５は、合成画像生成部１４１から供給される合成画像データに基づいて画像を表示する。
【００３６】
図５は、録画モードにおける動作フローを示す。
【００３７】
まず、録画モードが開始する（ＳＴ１０）。具体的には、ユーザは、上述のステップＳＴ１のモード選択の場合と同様、操作部１１０を操作することにより、アプリケーション選択画面を起動して録画モードを選択する。アプリケーション部１１１は、ユーザによる録画モードの選択に基づき、後述するように各機能部を制御する。
【００３８】
次に、撮影、ＡＲタグの取得動作が開始し、かつ位置情報とその取得時刻の記憶が実行される（ＳＴ２０）。端末装置１００は、上述のステップＳＴ２と同様、画像取得を開始する。これと並行して、端末装置１００は、取得画像データの取得時刻を順次記憶する。端末装置１００は、上述のステップＳＴ２と同様、ＡＲタグの取得動作を開始する。端末装置１００は、図２（ａ）に示したように、順次取得する位置情報と、その取得時刻とを関連づけて記憶する。具体的には、位置情報取得部１３１は、取得した位置情報を、その取得時間と共に位置情報記憶部１３２に対して書き込む。
【００３９】
次に、上述のステップＳＴ３と同様、合成処理部１４は、取得画像とＡＲタグに基づいて合成画像を生成する（ＳＴ３０）。合成画像が生成されると、上述のステップＳＴ３と同様に、表示部１４５によって合成画像が表示される。
【００４０】
次に、エンコードする（ＳＴ４０）。具体的には、エンコーダ１４２は、合成画像生成部１４１から供給されるデータをエンコードする。
次に、エンコードされた合成画像データを時刻と関連付けて記憶する（ＳＴ５０）。具体的には、合成処理部１４は、図２Ｂに示すように、合成画像データと時刻とを関連付けて記憶する。なお、合成画像データと関連付けられる時刻は、合成画像データを生成する元となった取得画像データが取得された時刻である。
【００４１】
上述のステップを経ることによって、位置情報記憶部１３２には、図２（ａ）に示すテーブルが格納された状態になり、記憶部１５０には、図２（ｂ）に示すテーブルが可能された状態になる。このように時刻に対応づけて、合成画像と位置情報とを関連付けて記憶することによって、後述の説明から明らかなように、異なる場所へ移動した後であっても、元の場所にて合成されるべき合成画像を再合成することが可能になる。
【００４２】
図６は、再生モードの動作フローを示す。まず、再生モードが開始する（ＳＴ１１０）。具体的には、上述のステップＳＴ１のモード選択の場合と同様、ユーザによる操作部１１０の操作によって、再生モードが選択される。時刻ｔ４は、例えば、録画を行ったｔ２〜ｔ３の後日の任意の時刻である。アプリケーション部１１１は、ユーザによる再生モードの選択に基づき、後述のように各機能部を制御する。
【００４３】
まず、記憶された合成画像データをデコードする（ＳＴ１２０）。デコーダ１４３は、アプリケーションからの制御信号に基づき、記憶部１５０に記憶されている再表示用画像をデコードする（ＳＴ１２０）。記憶部１５０に記憶されている合成画像はエンコードされた状態であり、デコーダ１４３がデコードすることにより、合成画像は視聴可能な状態となる。
【００４４】
次に、デコード対象となっている合成画像に対して関連付けられた位置情報を特定する（ＳＴ１３０）。具体的には、アプリケーション部１１１は、図２（ｂ）に示す対応関係に基づいて、デコード対象の合成画像データに関連する時刻を取得する。次に、アプリケーション部１１１は、位置情報記憶部１３２に格納された図２（ａ）に示す対応関係に基づいて、上述のように取得した時刻に対応する位置情報を特定する。
【００４５】
次に、ＡＲタグの取得動作が開始する（ＳＴ１４０）。具体的には、アプリケーション部１１１により上述のように特定された位置情報は、位置情報記憶部１３２から位置情報送信部１３４に転送される。そして、上述の同様の仕組みにより、ＡＲタグ受信部１３５は、位置情報送信部１３４が送信した位置情報に対して関連付けられたＡＲタグを受信する。なお、ここで、受信されるＡＲタグは、既に合成画像に付加されたタグ情報よりも詳細な情報を示すものとする。
【００４６】
次に、合成画像データを生成する（ＳＴ１５０）。具体的には、合成画像生成部１４１は、デコーダ１４３から供給される画像データに対して、データサーバ２００からダウンロードしたＡＲタグを付加した合成画像データを生成する。合成画像生成部１４１によって処理される画像データは、過去のある時点において撮影された画像データが元になって合成された画像データである。また、合成画像生成部によって処理されるＡＲタグは、過去のある時点において取得された位置情報に基づいてデータサーバ２００から取得可能な付属情報である。このように時間基準で互いに連関した画像データと位置情報とを保存することによって、事後的に合成画像を生成する場合であっても、画像データとＡＲタグ間の組み合わせのミスマッチを回避し、適切な合成画像を生成することが可能になる。
【００４７】
なお、時間を基準とした関連付けの具体的な態様は任意である。画像データとＡＲタグ間の組み合わせに誤りが生じることを抑制した程度にて、画像データと位置情報との関連付けを行えば良い。
【００４８】
次に、合成画像を表示する（ＳＴ１６０）。合成画像の表示方法については、上述の説明と同様である。これによって、過去のある時点とは異なる場所にいても、その過去の時点において生成されるべき合成画像を生成することが可能になり、ＡＲサービスの利便性を効果的に高めることが可能になる。
【００４９】
上述の説明から明らかなように、本実施形態にかかる端末装置１００は、録画モードのとき、現在位置を示す位置情報を現在時刻に関連付けて記憶し、かつ、現在表示されるべき合成画像を現在時刻（ここでは、一例として、その合成画像データの元となる画像データの取得時刻）に関連付けて記憶する。再生モードのとき、端末装置１００は、記憶された合成画像データに関連づけられた時刻に基づいて位置情報を取得し、この位置情報に基づいてＡＲタグを取得し、このＡＲタグと先に述べた合成画像データとに基づいて新たに合成画像を生成する。この構成を採用することによって、過去のある時点とは異なる場所にいても、その過去の時点において生成されるべき合成画像を生成することが可能になり、ＡＲサービスの利便性を効果的に高めることが可能になる。また、ユーザは、データサーバ２００から、最新のＡＲタグや、詳細なＡＲタグを受信して、これに基づいて合成画像を視聴することが可能になる。
【００５０】
録画モードのとき、位置情報取得部１３１は、位置情報を随時取得し、位置情報記憶部１３２には、該位置情報がその取得時刻とともに記憶される。したがって、録画モード時、ユーザが移動しながら撮影したとしても問題はない。
【００５１】
実施の形態２
以下、実施の形態２について、図７乃至図１０を参照して説明する。図７は、拡張現実システム（ＡＲ録画再生システム）２のブロック図である。実施の形態１と重複する説明は省略する。
【００５２】
本実施形態では、実施の形態１とは異なり、記憶部１５０に記憶される再表示用画像データは、ＡＲタグ付加前の元画像データである。図７に示すように、本実施形態では、実施の形態１とは異なり画像取得部１２０で取得された元画像が、エンコーダ１４２でエンコードされ、記憶部１５０で記憶される。このような場合であっても実施の形態１と同様の効果を得ることができる。なお、実施の形態１の場合とは異なり、本実施形態では、記憶部１５０は、図８に示すテーブルを格納することになる。また、本実施形態では、図９及び図１０に示すようなフローが実施される。
【００５３】
以下、簡単に補足説明する。記憶部１５０は、図８に模式的に示すように時刻に対応づけて元の画像データを記憶する。なお、画像データに関連付けて記憶される時刻は、画像データの取得時刻に対応する。
【００５４】
図９に示すように、ステップＳＴ２１０において、実施の形態１に示したステップＳＴ１０と同様、録画モードを開始する。ステップＳＴ２２０において、ステップＳＴ２０と同様、撮影、ＡＲタグの取得動作が開始し、かつ位置情報とその取得時刻の記憶が実行される。ステップＳ２３０において、ステップＳＴ３０と同様、合成処理部１４は、取得画像とＡＲタグに基づいて合成画像を生成する。実施の形態１とは異なり、ステップＳＴ２４０にて、元の画像データをエンコードする。その後、ステップＳＴ２５０にて、エンコードされた元の画像データと、その元の画像データの取得時刻とを関連付けて記憶する。
【００５５】
図１０に示すように、ステップＳＴ３１０において、実施の形態１に示したステップＳＴ１１０と同様、再生モードを開始する。実施の形態１とは異なり、ＳＴ３２０にて元の画像データをデコードする。ＳＴ３３０については、実施の形態１と同様にして位置情報を特定する。つまり、図８に示すように、表示対象となっている画像データに関連付けられた時刻を特定し、この時刻に基づいて、実施の形態１と同様の手法によって位置情報を取得する。ステップＳＴ３４０において、ステップＳＴ１４０と同様、ＡＲタグの取得動作を開始する。ステップＳＴ３５０において、ステップＳＴ１５０と同様、合成画像データを生成する。ステップＳＴ３６０において、ステップＳＴ１６０と同様、合成画像を表示する。
【００５６】
本実施形態によれば、過去に合成画像に取り込まれた古いＡＲタグによって示される古い情報を排除することができ、過去に訪ねた地点に関連する最新のＡＲタグを取り込むことが可能になる。また、記憶部１５０で記憶される画像データにはＡＲタグに応じてデータ容量が含まれないため、記憶部１５０の空き容量の消費を低減することが可能になる。
【００５７】
実施の形態３
以下、図１１乃至図１４を参照して、実施の形態３について説明する。図１１は、拡張現実システム（ＡＲ録画再生システム）３のブロック図である。
【００５８】
本実施形態では、実施の形態２とは異なり、位置情報を時刻に関連付けて記憶することに代えて、位置情報に基づいてデータサーバ２００からダウンロードしたＡＲタグを時刻に関連付けて記憶する。これによって、記憶部１５０に記憶される合成画像データには、時刻によってＡＲタグ自体が関連づけられることになる。この場合、実施の形態２のように再度ＡＲタグをダウンロードする必要はなく、再合成時間に要する時間を短縮することができる。
【００５９】
図１１に示すように、位置情報記憶部１３２に代えて、ＡＲタグ記憶部１３６が設けられている。ＡＲタグ記憶部１３６は、図１２に示すように、順次データサーバ２００からＡＲタグ受信部１３５が受信するＡＲタグを時刻に関連づけて記憶する。なお、ＡＲタグに関連づけられて記憶される時刻は、このＡＲタグが付加されるべき元の画像の取得時刻であることが望ましい。ただし、ＡＲタグを取得した時刻、ＡＲタグを取得するために位置情報を送信した時刻等であっても構わない。この場合にも、元の画像とＡＲタグ間の対応関係を信頼性良く維持することができる。ＡＲタグ記憶部１３６は、記憶したＡＲタグに関する情報を、記憶部１５０に出力する。ＡＲタグ記憶部１３６は、再生モードの場合、記憶したＡＲタグを合成処理部１４４に出力する。
【００６０】
図１３に、録画モード時に実行されるステップを示す。図１３に示すように、ステップＳＴ４１０において、実施の形態２に示したステップＳＴ２１０と同様、録画モードを開始する。ステップＳＴ４２０において、実施の形態２と同様の動作（撮影、ＡＲタグ取得動作）を行うと共に、ＡＲタグ受信部１３５が受信したＡＲタグは、上記説明した時刻と関連付けられて記憶される。ステップＳＴ４３０において、ステップＳＴ２３０と同様、合成処理部１４は、取得画像とＡＲタグに基づいて合成画像を生成する。ステップＳＴ４４０において、ステップＳＴ２４０と同様、元の画像データをエンコードする。ステップＳＴ４５０において、ステップＳＴ２５０と同様、エンコードされた元の画像データと、その元の画像データの取得時刻とを関連付けて記憶する。
【００６１】
図１４に、再生モード時に実行されるステップを示す。図１４に示すように、ステップＳ５１０において、ステップＳＴ３１０と同様に、再生モードを開始する。ステップＳ５２０において、ステップＳＴ３２０と同様、元の画像データをデコードする。ステップＳＴ５３０において、元の画像データに対応するＡＲタグを特定する。具体的には、上述の実施形態と同様に、再表示対象となっている元の画像に関連付けられた時刻に基づいて（図８参照）、その時刻に関連付けられたＡＲタグを特定する（図１２参照）。ステップＳＴ５４０において、ステップＳＴ３５０と同様、合成画像データを生成する。ステップＳＴ５５０において、ステップＳＴ３６０と同様、合成画像を表示する。
【００６２】
本実施形態では、実施の形態２のように再度ＡＲタグをダウンロードする必要はなく、再合成時間に要する時間を短縮することができる。
【００６３】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記では位置情報記憶部１３２において、録画モードにおいて、録画モード開始からの時刻と位置情報とを、テーブル状にして記録することとしたが、記録形式はこの形式に限られない。また記憶部１５０と、位置情報記憶部１３２とＡＲタグ記憶部１３６は、別の記憶部として記載したが、同一の記憶手段であっても良い。
【符号の説明】
【００６４】
１ 拡張現実システム
２ 拡張現実システム
３ 拡張現実システム
１００ 端末装置
１１０ 操作部
１１１ アプリケーション部
１２０ 画像取得部
１３０ 位置情報処理部
１３１ 位置情報取得部
１３２ 位置情報記憶部
１３３ ＡＲタグ取得部
１３４ 位置情報送信部
１３５ ＡＲタグ受信部
１３６ ＡＲタグ記憶部
１４ 合成処理部
１４１ 合成画像生成部
１４２ エンコーダ
１４３ デコーダ
１４５ 表示部
１５０ 記憶部
１７０ 通話機能部
２００ データサーバ
３００ 端末装置
４００ 端末装置
【特許請求の範囲】
【請求項１】
位置情報に関連付けて付属情報が記憶された外部サーバに対して位置情報を送信し、前記外部サーバから受信した前記付属情報を画像に対して付加して表示する端末装置であって、
当該端末の現在位置の周囲を示す画像を取得する画像取得部と、
当該端末の現在位置を示す前記位置情報を取得する位置取得部と、
前記位置取得部で取得された前記位置情報を前記外部サーバに送信することで前記外部サーバから前記付属情報を取得する付属情報取得部と、
前記画像と、前記付属情報とに基づいて、合成画像を生成する合成画像生成部と、
前記画像取得部にて取得された画像又は前記合成画像生成部にて生成された画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記付属情報を取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記付属情報の少なくとも一方を所定の前記再表示用画像に対して関連付けて記憶する記憶手段と、を備え、
前記合成画像生成部は、前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記付属情報又は前記再表示用画像に対して関連付けて記憶された前記付属情報と、に基づいて画像を生成する、端末装置。
【請求項２】
前記記憶手段は、前記合成画像生成部にて生成された画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記付属情報を取得するための前記位置情報を所定の前記再表示用画像に対して関連付けて記憶し、
前記合成画像生成部は、前記記憶手段に記憶された前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記付属情報と、に基づいて画像を生成することを特徴とする請求項１に記載の端末装置。
【請求項３】
前記記憶手段は、時間経過に応じて順次取得される前記位置情報又は前記付属情報を夫々の取得時刻で管理することを特徴とする請求項１又は２に記載の端末装置。
【請求項４】
前記付属情報はＡＲタグであり、
前記付属情報取得部は、
前記位置取得部で取得された位置情報を送信する位置情報送信部と、
前記位置情報に基づくＡＲタグを前記外部サーバから受信するＡＲタグ受信部と、を備える請求項１乃至請求項３のいずれか１項に記載の端末装置。
【請求項５】
位置情報に対して関連付けて当該位置情報に関する付属情報が記憶された外部サーバに対して前記位置情報を送信し、前記外部サーバから受信した前記付属情報を画像に対して付加して表示する端末装置の動作方法であって、
取得した画像又は当該取得した画像に対して前記付属情報を付加した合成画像を再表示用画像として記憶し、
所定の前記再表示用画像に付加されるべき前記付属情報を取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記付属情報の少なくとも一方を前記所定の再表示用画像に対して関連付けて記憶し、
前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記付属情報又は前記再表示用画像に対して関連付けて記憶された前記付属画像と、に基づいて画像を生成する、端末装置の動作方法。
【請求項６】
位置情報に関連付けて付属情報が記憶された外部サーバと、
前記外部サーバに対して位置情報を送信し、前記外部サーバから受信した前記付属情報を画像に対して付加して表示する端末装置と、を備えるシステムであって、
前記端末装置は、
当該端末の現在位置の周囲を示す画像を取得する画像取得部と、
当該端末の現在位置を示す前記位置情報を取得する位置取得部と、
前記位置取得部で取得された前記位置情報を前記外部サーバに送信することで前記外部サーバから前記付属情報を取得する付属情報取得部と、
前記画像と、前記付属情報とに基づいて、合成画像を生成する合成画像生成部と、
前記画像取得部にて取得された画像又は前記合成画像生成部にて生成された画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記付属情報を取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記付属情報の少なくとも一方を所定の前記再表示用画像に対して関連付けて記憶する記憶手段と、を備え、
前記合成画像生成部は、前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記付属情報又は前記再表示用画像に対して関連付けて記憶された前記付属情報と、に基づいて画像を生成する、システム。
【請求項１】
位置情報に関連付けて付属情報が記憶された外部サーバに対して位置情報を送信し、前記外部サーバから受信した前記付属情報を画像に対して付加して表示する端末装置であって、
当該端末の現在位置の周囲を示す画像を取得する画像取得部と、
当該端末の現在位置を示す前記位置情報を取得する位置取得部と、
前記位置取得部で取得された前記位置情報を前記外部サーバに送信することで前記外部サーバから前記付属情報を取得する付属情報取得部と、
前記画像と、前記付属情報とに基づいて、合成画像を生成する合成画像生成部と、
前記画像取得部にて取得された画像又は前記合成画像生成部にて生成された画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記付属情報を取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記付属情報の少なくとも一方を所定の前記再表示用画像に対して関連付けて記憶する記憶手段と、を備え、
前記合成画像生成部は、前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記付属情報又は前記再表示用画像に対して関連付けて記憶された前記付属情報と、に基づいて画像を生成する、端末装置。
【請求項２】
前記記憶手段は、前記合成画像生成部にて生成された画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記付属情報を取得するための前記位置情報を所定の前記再表示用画像に対して関連付けて記憶し、
前記合成画像生成部は、前記記憶手段に記憶された前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記付属情報と、に基づいて画像を生成することを特徴とする請求項１に記載の端末装置。
【請求項３】
前記記憶手段は、時間経過に応じて順次取得される前記位置情報又は前記付属情報を夫々の取得時刻で管理することを特徴とする請求項１又は２に記載の端末装置。
【請求項４】
前記付属情報はＡＲタグであり、
前記付属情報取得部は、
前記位置取得部で取得された位置情報を送信する位置情報送信部と、
前記位置情報に基づくＡＲタグを前記外部サーバから受信するＡＲタグ受信部と、を備える請求項１乃至請求項３のいずれか１項に記載の端末装置。
【請求項５】
位置情報に対して関連付けて当該位置情報に関する付属情報が記憶された外部サーバに対して前記位置情報を送信し、前記外部サーバから受信した前記付属情報を画像に対して付加して表示する端末装置の動作方法であって、
取得した画像又は当該取得した画像に対して前記付属情報を付加した合成画像を再表示用画像として記憶し、
所定の前記再表示用画像に付加されるべき前記付属情報を取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記付属情報の少なくとも一方を前記所定の再表示用画像に対して関連付けて記憶し、
前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記付属情報又は前記再表示用画像に対して関連付けて記憶された前記付属画像と、に基づいて画像を生成する、端末装置の動作方法。
【請求項６】
位置情報に関連付けて付属情報が記憶された外部サーバと、
前記外部サーバに対して位置情報を送信し、前記外部サーバから受信した前記付属情報を画像に対して付加して表示する端末装置と、を備えるシステムであって、
前記端末装置は、
当該端末の現在位置の周囲を示す画像を取得する画像取得部と、
当該端末の現在位置を示す前記位置情報を取得する位置取得部と、
前記位置取得部で取得された前記位置情報を前記外部サーバに送信することで前記外部サーバから前記付属情報を取得する付属情報取得部と、
前記画像と、前記付属情報とに基づいて、合成画像を生成する合成画像生成部と、
前記画像取得部にて取得された画像又は前記合成画像生成部にて生成された画像を再表示用画像として記憶すると共に、所定の前記再表示用画像に付加されるべき前記付属情報を取得するための前記位置情報及び所定の前記再表示用画像に付加されるべき取得済みの前記付属情報の少なくとも一方を所定の前記再表示用画像に対して関連付けて記憶する記憶手段と、を備え、
前記合成画像生成部は、前記再表示用画像と、当該再表示用画像に対して関連付けて記憶された前記位置情報に基づいて前記外部サーバから取得した前記付属情報又は前記再表示用画像に対して関連付けて記憶された前記付属情報と、に基づいて画像を生成する、システム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１０８７１１（Ｐ２０１２−１０８７１１Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５６８１０（Ｐ２０１０−２５６８１０）
【出願日】平成２２年１１月１７日（２０１０．１１．１７）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１７日（２０１０．１１．１７）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]