表示制御装置、表示制御方法、およびプログラム
【課題】ユーザの使用感を向上するための表示制御装置、表示制御方法、およびプログラムを提供する。
【解決手段】実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる制御部を備える、表示制御装置。
【解決手段】実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる制御部を備える、表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、画像認識技術が高度化しており、撮像装置からの入力画像に含まれる実オブジェクト（例えば、看板やビルなどの物体）の位置や姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）アプリケーションが知られている。ＡＲアプリケーションによれば、実空間画像に含まれる実オブジェクトに、実オブジェクトに対応付けられた仮想オブジェクト（例えば、広告情報、ナビゲーション情報、またはゲームのための情報）を重畳することができる。なお、このようなＡＲアプリケーションについては例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願２０１０−２３８０９８
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、撮像機能を有する携帯端末でユーザがＡＲアプリケーションを利用する場合、ユーザは、携帯端末の撮像方向を実オブジェクトに向け続けることにより、実空間画像に仮想オブジェクトが重畳された状態を維持することができる。しかし、撮像方向を実オブジェクトに向け続けることはユーザにとって煩雑である。
【０００５】
そこで、本開示ではユーザの使用感を向上することが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる制御部を備える、表示制御装置が提供される。
【０００７】
また、本開示によれば、実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる、表示制御方法が提供される。
【０００８】
また、本開示によれば、コンピュータを、実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる表示制御装置、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示に係る表示制御装置、表示制御方法、およびプログラムによれば、ユーザの使用感を向上することが可能である。
【図面の簡単な説明】
【００１０】
【図１】本開示によるＡＲシステムの構成を示した説明図である。
【図２】リアルタイム認識画面の具体例を示した説明図である。
【図３】携帯端末のハードウェア構成を示した説明図である。
【図４】第１の実施形態による携帯端末の構成を示した機能ブロック図である。
【図５】リアルタイム認識画面および静止画操作画面の具体的構成
【図６】静止画操作画面の変形例を示した説明図である。
【図７】リアルタイム認識モードにおける携帯端末の動作を示したフローチャートである。
【図８】静止画操作モードにおける携帯端末の動作を示したフローチャートである。
【図９】第２の実施形態による携帯端末の構成を示した機能ブロック図である。
【図１０】第３の実施形態による携帯端末の構成を示した機能ブロック図である。
【図１１】第４の実施形態によるＡＲシステムを示した説明図である。
【図１２】第４の実施形態による携帯端末およびＡＲサーバの構成を示した機能ブロック図である。
【図１３】第４の実施形態の第１の動作例を示したシーケンス図である。
【図１４】第４の実施形態の第２の動作例を示したシーケンス図である。
【図１５】第４の実施形態の第３の動作例を示したシーケンス図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１３】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．ＡＲシステムの概要
２．各実施形態の説明
２−１．第１の実施形態
２−２．第２の実施形態
２−３．第３の実施形態
２−４．第４の実施形態
３．むすび
【００１４】
＜＜１．ＡＲシステムの概要＞＞
本開示によるＡＲシステムは、一例として「２−１．第１の実施形態」〜「２−４．第４の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態によるＡＲシステムは、
Ａ．実空間の動画を含む実空間動画と、実空間の静止画および当該静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる制御部（２４１〜２４４）、
を備える表示制御装置（携帯端末２０、ＡＲサーバ３０）を含む。
【００１５】
以下では、まず、このような各実施形態において共通するＡＲシステムの基本構成について図１および図２を参照して説明する。
【００１６】
図１は、本開示によるＡＲシステムの構成を示した説明図である。図１に示したように、本開示によるＡＲシステムは、撮像機能を有する携帯端末２０を含む。この携帯端末２０は、実空間画像を撮像し、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトを実空間画像に重畳してディスプレイ２６に表示することができる。
【００１７】
例えば、実オブジェクトが図１に示したような駅案内板４０である場合、携帯端末２０は、駅案内板４０を含む実空間画像を撮像することにより、駅案内板４０に対応する仮想オブジェクトが重畳されたリアルタイム認識画面をディスプレイ２６に表示することが可能である。以下、図２を参照し、リアルタイム認識画面についてより具体的に説明する。
【００１８】
図２は、リアルタイム認識画面の具体例を示した説明図である。図２に示したように、リアルタイム認識画面Ｐは、実オブジェクトである駅案内板４０、及び駅案内板４０に重畳された仮想オブジェクトであるタイムテーブル５２の表示を含む。ユーザは、このような仮想オブジェクトが重畳されたリアルタイム認識画面を視認することにより、実空間からは得られない情報（図２の場合、駅案内板４０で案内されていない電車の発着時刻に関する情報）を把握することができる。
【００１９】
さらに、ユーザは、表示画面において所定の操作を行うことにより、リアルタイム認識画面に含まれる仮想オブジェクトの表示を変化させることが可能である。例えば、携帯端末２０は、図２に示したリアルタイム認識画像Ｐにおいてユーザにより上下方向のスライド操作が行われた場合、タイムテーブル５２内の表示対象を上下方向にスライドさせてもよい。
【００２０】
また、１つの実オブジェクトに複数の仮想オブジェクトが対応付けられている場合、携帯端末２０は、ユーザ操作に応じて複数の仮想オブジェクトのうちで表示する仮想オブジェクトを切り替えてもよい。例えば、携帯端末２０は、図２に示したリアルタイム認識画面Ｐにおいてユーザにより左右方向のスライド操作が行われた場合、駅案内板４０に重畳する仮想オブジェクトを周辺マップや路線図に切り替えてもよい。
【００２１】
なお、図１においては、携帯端末２０の一例としてスマートフォンを示したが、携帯端末２０はスマートフォンに限定されない。例えば、携帯端末２０は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、または携帯用ゲーム機器であってもよい。さらに、携帯端末２０は表示制御装置の一例に過ぎず、表示制御装置はネットワーク側に設けられるサーバであってもよい。
【００２２】
また、図１および図２においては、実オブジェクトの一例として駅案内板４０を示したが、実オブジェクトは駅案内板４０に限定されない。例えば、実オブジェクトは、看板、ビル、乗り物、食品、または玩具などの物体や、ＱＲコードやＡＲマーカーのような識別パターンであってもよい。
【００２３】
ところで、上述した仮想オブジェクトを実空間画像に重畳するＡＲアプリケーションは、撮像される実空間画像をリアルタイムで認識することにより実行される場合が多い。このため、ユーザは、携帯端末２０の撮像方向を実オブジェクトに向け続けることにより、実空間画像に仮想オブジェクトが重畳されたリアルタイム認識画面を維持することができる。しかし、携帯端末２０の撮像方向を実オブジェクトに向け続けることはユーザにとって煩雑である。また、携帯端末２０の撮像方向を実オブジェクトに向けた状態では、仮想オブジェクトの表示を変化させるための操作を行い難い。
【００２４】
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、携帯端末２０の使用感および操作性を向上することが可能である。以下、図３を参照してこのような携帯端末２０のハードウェア構成を説明した後、本開示の各実施形態について順次詳細に説明する。
【００２５】
（携帯端末のハードウェア構成）
図３は、携帯端末２０のハードウェア構成を示した説明図である。図３に示したように、携帯端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。
【００２６】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って無線通信装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【００２７】
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。携帯端末２０のユーザは、該入力装置２０８を操作することにより、携帯端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００２８】
出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【００２９】
ストレージ装置２１１は、本実施形態にかかる携帯端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
【００３０】
ドライブ２１２は、記憶媒体用リーダライタであり、携帯端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
【００３１】
撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
【００３２】
通信装置２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００３３】
なお、ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００３４】
＜＜２．各実施形態の説明＞＞
以上、図１〜図３を参照し、本開示によるＡＲシステムの基本構成を説明した。以下、図４〜図１５を参照し、本開示による第１の実施形態〜第４の実施形態について詳細に説明する。
【００３５】
＜２−１．第１の実施形態＞
（携帯端末の構成）
図４は、第１の実施形態による携帯端末２０−１の構成を示した機能ブロック図である。図４に示したように、第１の実施形態による携帯端末２０−１は、ディスプレイ２６と、タッチパネル２７と、撮像装置２１３と、特徴量ＤＢ２２０と、画像認識部２２４と、仮想オブジェクトＤＢ２２８と、仮想オブジェクト取得部２３２と、制御部２４１と、を備える。
【００３６】
ディスプレイ２６は、ＬＣＤまたはＯＬＥＤなどにより構成される表示モジュールである。ディスプレイ２６は、制御部２４１による制御に従って多様な画面を表示する。例えば、ディスプレイ２６は、撮像装置２１３により撮像中の実空間の動画を含むリアルタイム認識画面、または実空間の静止画および当該静止画に含まれる実オブジェクトに対応する仮想オブジェクトの合成画である静止画操作画面などを表示する。ただし、リアルタイム認識画面は、実空間の動画を含む実空間動画の一例に過ぎず、実空間動画は、過去に撮像された実空間の動画を含んでもよい。
【００３７】
また、図４においてはディスプレイ２６が携帯端末２０−１の一部として実装される例を示したが、ディスプレイ２６は、携帯端末２０−１とは別体に構成されてもよい。また、ディスプレイ２６は、ユーザの頭部に装着されるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってもよい。
【００３８】
タッチパネル２７は、ディスプレイ２６に積層される操作検出部である。タッチパネル２７は、ユーザの指やタッチペンなどの操作体の近接または接触を検出することができる。なお、タッチパネル２７は操作検出部の一例に過ぎず、携帯端末２０−１は、キーボードおよびボタンなどの他の操作用の構成を含んでもよい。
【００３９】
撮像装置２１３は、図３を参照して説明したように、撮像光学系および信号変換素子を備え、制御部２４１による制御に従って実空間画像（動画または静止画）を撮像する。なお、撮像装置２１３は、動画撮像用の構成と、静止画撮像用の構成を別個に備えてもよい。
【００４０】
特徴量ＤＢ２２０は、実オブジェクトの画像の特徴量データを記憶するデータベースである。具体的には、特徴量ＤＢ２２０においては、各実オブジェクトを識別するための識別情報と、各実オブジェクトの特徴量データが関連付けられる。特徴量データは、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法に従って実オブジェクトの学習用画像から決定された特徴量の集合であってもよい。
【００４１】
画像認識部２２４は、撮像装置２１３により撮像された実空間画像に含まれる実オブジェクト、および当該実オブジェクトの実空間画像における位置および姿勢を認識する。例えば、画像認識部２２４は、実空間画像から決定される特徴量をデータベース２２０に記憶されている各実オブジェクトの特徴量と照合することにより、実空間画像に含まれる実オブジェクトを認識する。より具体的には、画像認識部２２４は、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法などの特徴量決定法に従って実空間画像内の実オブジェクトの特徴量を決定し、決定した特徴量をデータベース２２０に記憶されている各実オブジェクトの特徴量と照合する。そして、画像認識部２２４は、実空間画像内の実オブジェクトの特徴量と最も適合する特徴量と関連付けられている実オブジェクトの識別情報、実空間画像における位置および姿勢を認識する。
【００４２】
なお、画像認識部２２４は、既知の図形若しくは記号、人工マーカ（例えば、バーコード若しくはＱＲコード）又は自然マーカなどの実オブジェクトを認識し、当該実オブジェクトの実空間画像におけるサイズおよび形状から当該実オブジェクトの位置及び姿勢を認識してもよい。
【００４３】
また、上記では、実空間画像に含まれる実オブジェクトを画像処理により認識する例を説明したが、実オブジェクトの認識方法は画像処理に限定されない。例えば、撮像装置２１３が向けられている方向、および携帯端末２０−１の現在位置を検出し、検出結果に基づいて実空間画像に含まれている実オブジェクト、実空間画像における当該実オブジェクトの位置および姿勢を推定することも可能である。
【００４４】
仮想オブジェクトＤＢ２２８は、実オブジェクトに重畳するための仮想オブジェクトを記憶するデータベースである。具体的には、仮想オブジェクトＤＢ２２８においては、仮想オブジェクトの識別情報、実オブジェクトの識別情報、実オブジェクトからの相対的な表示位置や姿勢を示す設定情報、およびユーザに呈示される仮想オブジェクトが関連付けられる。仮想オブジェクトは、テキスト形式であってもよいし、イメージ形式であってもよい。
【００４５】
仮想オブジェクト取得部２３２は、画像認識部２２４により認識された実オブジェクトに対応する仮想オブジェクトおよび設定情報を取得する。例えば、仮想オブジェクト取得部２３２は、画像認識部２２４により認識された実オブジェクトの識別情報に関連付けられている仮想オブジェクトおよび設定情報を仮想オブジェクトＤＢ２２８から取得する。
【００４６】
制御部２４１は、携帯端末２０−１の動作全般を制御する。例えば、制御部２４１は、所定の遷移基準に従い、リアルタイム認識モードおよび静止画操作モードを含む複数の動作モードのうちで携帯端末２０−１の動作モードを遷移させる。
【００４７】
リアルタイム認識モードは、撮像装置２１３により撮像される実空間の動画に含まれる実オブジェクトをリアルタイムで認識し、実オブジェクトに仮想オブジェクトを重畳してリアルタイム認識画面を生成する動作モードである。一方、静止画操作モードは、撮像装置２１３により撮像された静止画に仮想オブジェクトを重畳して静止画操作画面を生成する動作モードである。なお、制御部２４１は、いずれの動作モードにおいても仮想オブジェクトの表示をユーザ操作に基づいて変化させることができる。具体的には、制御部２４１は、ユーザ操作に基づいて仮想オブジェクトの移動、拡大／縮小やスクロールなどを行うことが可能である。静止画操作モードにおける上記静止画は、動画撮像用の構成により撮像される動画を構成する１フレームであってもよく、または静止画撮像用の構成により撮像される静止画であってもよい。また、上記静止画は、撮像される複数の静止画から合成される１つの静止画であってもよい。例えば、携帯端末２０−１が複数の静止画から拡大された静止画を合成する機能（撮像装置の向きを変えながら撮像した複数の静止画から１枚のパノラマ写真を合成するいわゆるスイングパノラマ機能など）を有する場合には、携帯端末２０−１は、静止画操作モードにおいて、拡大された１枚の静止画に仮想オブジェクトを重畳することができる。その場合、ユーザ操作もまた、拡大された１枚の静止画上で行われ得る。また、携帯端末２０−１は、初期の静止画操作画面では最後に撮像された静止画を表示し、ユーザ操作が撮像装置の動きを遡る方向を指示している場合（スイングの向きとは反対方向へのドラッグなど）に、表示中の静止画に加えて（空間的に隣接した）過去の静止画を画角を拡げるような形でさらに表示してもよい。その場合、ユーザ操作に応じて、仮想オブジェクトを最後に撮像された静止画の領域から過去の静止画の領域へ動かすことも可能となる。このような拡大された静止画の合成は、各画像の内容の解析に基づいて行われてもよく、または各画像の撮像の際にセンサにより計測される撮像装置の位置及び姿勢に基づいて行われてもよい。
【００４８】
（リアルタイム認識画面および静止画操作画面の構成例）
ここで、図５を参照し、リアルタイム認識画面および静止画操作画面の具体的構成を説明する。図５に示したように、リアルタイム認識モードにおいて生成されるリアルタイム認識画面Ｐ１は、実オブジェクトである駅案内板４０、および駅案内板４０に重畳された仮想オブジェクトであるタイムテーブル５２の表示を含む。ユーザは、リアルタイム認識画面Ｐ１を維持するためには、図５に示したように携帯端末２０−１の撮像方向を駅案内板４０に向け続ける必要がある。
【００４９】
一方、静止画操作モードにおいて生成される静止画操作画面Ｐ２は、実オブジェクトである駅案内板４０、駅案内板４０に重畳された仮想オブジェクトであるタイムテーブル５２の表示、タブ「Ｔｉｍｅ Ｔａｂｌｅ」６２、タブ「Ａｒｅａ Ｍａｐ」６４、およびリターンキー６６を含む。
【００５０】
制御部２４１は、タブ「Ｔｉｍｅ Ｔａｂｌｅ」６２、またはタブ「Ａｒｅａ Ｍａｐ」６４などに対するユーザ操作に応じて表示する仮想オブジェクトを変化させる。例えば、制御部２４１は、ユーザによりタブ「Ａｒｅａ Ｍａｐ」６４が選択されると、駅案内板４０に重畳する仮想オブジェクトをタイムテーブル５２から周辺マップに変化させる。
【００５１】
この静止画操作モードにおいては、図５に示したようにユーザが携帯端末２０−１の撮像方向を実オブジェクトに向けていなくても、仮想オブジェクトを含む静止画操作画面Ｐ２を表示することができる。このため、ユーザによる携帯端末２０−１の使用感、および仮想オブジェクトの表示の操作性を向上することが可能である。
【００５２】
なお、リターンキー６６は遷移操作ボタンの一例であり、制御部２４１は、例えばユーザによりリターンキー６６が選択されると、動作モードを静止画操作モードからリアルタイム認識モードに遷移させる。
【００５３】
図６は、静止画操作画面の変形例を示した説明図である。変形例による静止画操作画面Ｐ３は、複数のサムネイル（Ｓ１、Ｓ２、Ｓ３、・・・）、リターンキー６６および各サムネイルの付加情報６８を含む。制御部２４１は、この静止画操作画面Ｐ３においてサムネイルの選択操作を受け付け、選択されたサムネイルをメインに表示することが可能である。なお、この複数のサムネイルは、リアルタイム認識モードにおいて得られた動画を構成する複数のフレームであってもよい。また、各サムネイルは、図６に示したように、実空間の静止画と仮想オブジェクトの合成画であってもよいし、仮想オブジェクトを含まない実空間の静止画であってもよい。
【００５４】
（動作モードの遷移基準）
続いて、制御部２４１が動作モードを遷移するか否かを判断するための遷移基準について説明する。
【００５５】
まず、リアルタイム認識モードから静止画動作モードへの動作モードの遷移基準は、以下の基準のいずれか、または以下の基準の組合せであってもよい。
（１−１）リアルタイム認識モードにおいて画像認識部２２４により実オブジェクトが認識されたこと。
（１−２）ユーザの指のような操作体がタッチパネル２７に接触したこと。
（１−３）操作体がタッチパネル２７から離隔したこと。
（１−４）操作体のタッチパネル２７への接触または離隔が、実オブジェクトの判定領域内で検出されたこと。
【００５６】
したがって、制御部２４１は、例えば、画像認識部２２４により実オブジェクトが認識されており、かつ、操作体のタッチパネル２７への接触が実オブジェクトの判定領域内で検出された場合に動作モードを静止画動作モードに遷移させてもよい。なお、実オブジェクトの判定領域に関して補足すると、実オブジェクトの判定領域は、実オブジェクトの認識領域に関連する領域であって、実オブジェクトの認識領域を含む領域、または実オブジェクトの認識領域の一部の領域であってもよい。制御部２４１は、実オブジェクトの判定領域内をユーザにより操作されると、実オブジェクトの認識領域外であっても実オブジェクトが選択されたと判定する。
【００５７】
なお、制御部２４１は、静止画動作モードへの遷移基準が満たされた時点で得られた実空間画像を静止画操作画面の静止画として用いてもよいし、静止画動作モードへの遷移基準が満たされた後に得られた実空間画像を静止画操作画面の静止画として用いてもよい。後者の場合、制御部２４１は、撮像装置２１３に静止画撮像用の構成を用いて静止画を撮像することを指示してもよい。
【００５８】
次に、静止画動作モードからリアルタイム認識モードへの動作モードの遷移基準は、以下の基準のいずれか、または以下の基準の組合せであってもよい。
（２−１）ユーザの指のような操作体がタッチパネル２７に接触したこと。
（２−２）操作体がタッチパネル２７から離隔したこと。
（２−３）操作体のタッチパネル２７への接触または離隔が、実オブジェクトの判定領域外で検出されたこと。
（２−４）リターンキー６６が選択されたこと。
【００５９】
したがって、制御部２４１は、例えば、操作体のタッチパネル２７への接触が実オブジェクトの判定領域外で検出された場合に動作モードをリアルタイム認識モードに遷移させてもよい。
【００６０】
以上説明したように、第１の実施形態による携帯端末２０−１は静止画操作モードを有するので、ユーザが携帯端末２０−１の撮像方向を実オブジェクトに向け続けなくても、実空間の静止画に仮想オブジェクトが重畳された静止画操作画面をディスプレイ２６に表示させることができる。このため、ユーザによる携帯端末２０−１の使用感、および仮想オブジェクトの表示の操作性を向上することが可能である。
【００６１】
（携帯端末の動作）
続いて、図７および図８を参照し、第１の実施形態による携帯端末２０−１の動作を説明する。図７および図８に示すように、携帯端末２０−１は、認識処理プロセスおよびユーザＩＦ系プロセスを並列的に実行することが可能である。
【００６２】
図７は、リアルタイム認識モードにおける携帯端末２０−１の動作を示したフローチャートである。図７に示したように、リアルタイム認識モードにおいては、まず、撮像装置２１３から入力される実空間画像が更新されたか否かを画像認識部２２４が判断する（Ｓ
３０４）。そして、画像認識部２２４は、実空間画像が更新された場合、実空間画像に含まれる実オブジェクトの認識、および実オブジェクトの姿勢認識を試みる（Ｓ３０８）。Ｓ３０８において実オブジェクトが認識された場合、実オブジェクトに対応する仮想オブジェクトを仮想オブジェクト取得部２３２が仮想オブジェクトＤＢ２２８から取得し、仮想オブジェクト取得部２３２により取得された仮想オブジェクトの表示を制御部２４１が生成する（Ｓ３１６）。なお、実空間画像が更新されていないと判断された場合（Ｓ３０４／ｎｏ）、Ｓ３０８において実オブジェクトが認識されなかった場合（Ｓ３１２／ｎｏ）、またはＳ３１６の処理の後には、Ｓ３０４からの処理が繰り返される。
【００６３】
一方、Ｓ３０４において実空間画像が更新されたと判断された場合、制御部２４１は、リアルタイム認識画面における実空間画像を更新する（Ｓ４０４）。また、制御部２４１は、Ｓ３１６において仮想オブジェクトの表示が生成されると、リアルタイム認識画面における仮想オブジェクトの表示を更新する（Ｓ４０８）。そして、制御部２４１は、静止画操作モードへの遷移基準が満たされた場合、携帯端末２０−１の動作モードを静止画操作モードへ遷移させる（Ｓ４１２）。
【００６４】
図８は、静止画操作モードにおける携帯端末２０−１の動作を示したフローチャートである。図８に示したように、静止画操作モードにおいては、まず、制御部２４１が静止画を取得し（Ｓ３２０）、当該静止画に関してＳ３０８において認識された実オブジェクトの姿勢情報を読み出す（Ｓ３２４）。なお、静止画操作画面のために新たに静止画が撮像される場合、この新たな静止画に含まれる実オブジェクトの姿勢の認識が行われる。続いて、制御部２４１は、仮想オブジェクト取得部２３２により取得される実オブジェクトに対応する仮想オブジェクトの表示を生成する（Ｓ３２８）。
【００６５】
一方、Ｓ３２０において静止画が取得された場合（Ｓ４２０）、制御部２４１は、当該静止画をディスプレイ２６に表示する（Ｓ４２４）。また、制御部２４１は、Ｓ３２８において生成した仮想オブジェクトの表示をディスプレイ２６に表示する（Ｓ４２８）。そして、制御部２４１は、リアルタイム認識モードへの遷移基準が満たされた場合、携帯端末２０−１の動作モードをリアルタイム認識モードへ遷移させる（Ｓ４３２）。一方、制御部２４１は、モード遷移を指示する操作でないユーザ操作が検出された場合、ユーザ操作の内容に応じてアプリケーションの内部状態を変更し（Ｓ４３６）、Ｓ４２４からの処理を繰り返す。
【００６６】
＜２−２．第２の実施形態＞
以上、本開示の第１の実施形態を説明した。続いて、本開示の第２の実施形態を説明する。第１の実施形態では、動作モードの遷移基準としてユーザの指とタッチパネル２６との接触または離隔などの明示的な操作を説明したが、第２の実施形態では、さらなる動作モードの遷移基準を提案する。
【００６７】
図９は、第２の実施形態による携帯端末２０−２の構成を示した機能ブロック図である。図９に示したように、第２の実施形態による携帯端末２０−２は、ディスプレイ２６と、タッチパネル２７と、モーションセンサ２８と、撮像装置２１３と、特徴量ＤＢ２２０と、画像認識部２２４と、仮想オブジェクトＤＢ２２８と、仮想オブジェクト取得部２３２と、制御部２４２と、を備える。ディスプレイ２６、タッチパネル２７、撮像装置２１３、特徴量ＤＢ２２０、画像認識部２２４、仮想オブジェクトＤＢ２２８、および仮想オブジェクト取得部２３２の機能は第１の実施形態で説明した通りであるので、以下では、第１の実施形態と異なる構成について主に説明する。
【００６８】
モーションセンサ２８は、携帯端末２０−２の動きを検出する動きセンサである。モーションセンサ２８は、例えば、各々直交するＸ軸方向、Ｙ軸方向、およびＺ軸方向の加速度（Ｇｘ、Ｇｙ、Ｇｚ）を検出する。なお、モーションセンサ２８の検出対象は３次元の加速度に限られない。例えば、撮像装置２１３とモーションセンサ２８の位置関係が既知である場合、モーションセンサ２８の検出対象は１次元または２次元の加速度であってもよい。また、このようなモーションセンサ２８はジャイロセンサであってもよい。
【００６９】
制御部２４２は、第１の実施形態による制御部２４１の機能の全部または一部に加え、モーションセンサ２８による動き検出結果に基づいて動作モードの遷移を制御する機能を有する。以下、この点について具体的に説明する。
【００７０】
実際のユースケースでは、ユーザは、リアルタイム認識モードにおいては図５の左部に示したように携帯端末２０−２を実オブジェクトに向けて掲げることが想定される。一方、ユーザは、静止画操作モードにおいては図５の右部に示したようにユーザの下向きの視線に正対するように携帯端末２０−２を持つことが想定される。すなわち、リアルタイム認識モードにおける携帯端末２０−２の位置および姿勢と、静止画操作モードにおける携帯端末２０−２の位置および姿勢とは異なると考えられる。
【００７１】
このような観点から、第２の実施形態では、モード遷移に際してユーザにより携帯端末２０−２に与えられるだろう動きをモード遷移操作として捉えることとし、制御部２４２は、モーションセンサ２８による動き検出結果に基づいて携帯端末２０−２の動作モードを遷移させる。
【００７２】
例えば、制御部２４２は、モーションセンサ２８による動き検出結果（Ｇｘ、Ｇｙ、Ｇｚ）の各振幅成分が所定時間内に設定値を上回って変化した場合、携帯端末２０−２の動作モードを遷移させてもよい。
【００７３】
または、制御部２４２は、モーションセンサ２８により第１の動きパターンが検出された場合に動作モードをリアルタイム認識モードから静止画操作モードに遷移させ、第１の動きパターンと異なる第２の動きパターンが検出された場合に動作モードを静止画操作モードからリアルタイム認識モードに遷移させてもよい。ここで、第１の動きパターンは、実際のユースケースに則するように、携帯端末２０−２が掲げられた状態からユーザの下向きの視線に正対する状態へ動かされるパターンであってもよい。また、第２の動きパターンは、実際のユースケースに則するように、第１の動きパターンとは逆の動きパターンであってもよい。
【００７４】
ただし、遷移基準となる動きパターンは上記の例に限定されず、多様な動きパターンを遷移基準として規定することが可能である。例えば、携帯端末２０−２を揺らす動きパターン、回転させる動きパターンなど、多様な動きパターンが遷移基準として規定され得る。
【００７５】
また、制御部２４２は、上述の動きに関する遷移基準と第１の実施形態で説明した遷移基準の論理積または論理和に従って動作モードの遷移を制御してもよい。例えば、制御部２４２は、ユーザの指がタッチパネル２７に接触し（１−２）、かつ、モーションセンサ２８により第１の動きパターンが検出された場合に動作モードを静止画動作モードに遷移させてもよい。同様に、制御部２４２は、ユーザの指がタッチパネル２７に接触し（２−１）、かつ、モーションセンサ２８により第２の動きパターンが検出された場合に動作モードをリアルタイム認識モードに遷移させてもよい。
【００７６】
以上説明したように、第２の実施形態によれば、モード遷移に際してユーザにより携帯端末２０−２に与えられるだろう動きを遷移基準として用いることにより、モード遷移のためのユーザ操作の負荷を軽減することが可能である。
【００７７】
（補足）
なお、モーションセンサ２８により遷移基準を満たす動きが検出された時点で撮像された実空間画像には、ユーザの興味対象の実オブジェクトが含まれていない場合が考えられる。そこで、第２の実施形態による携帯端末２０−２は、過去の所定期間に撮像された実空間画像を保持しておき、制御部２４２は、モーションセンサ２８により遷移基準を満たす動きが検出される前の実空間画像を静止画操作画面のための静止画として用いてもよい。特に、動きパターンの開示時の実空間画像を静止画操作画面のための静止画として用いることが効果的である。
【００７８】
＜２−３．第３の実施形態＞
以上、本開示の第２の実施形態を説明した。続いて、本開示の第３の実施形態を説明する。本開示の第３の実施形態では、静止画操作画面により品質の高い静止画を用いるための構成を提案する。
【００７９】
図１０は、第３の実施形態による携帯端末２０−３の構成を示した機能ブロック図である。図１０に示したように、第３の実施形態による携帯端末２０−３は、ディスプレイ２６と、タッチパネル２７と、モーションセンサ２８と、撮像装置２１３と、特徴量ＤＢ２２０と、画像認識部２２４と、仮想オブジェクトＤＢ２２８と、仮想オブジェクト取得部２３２と、制御部２４３と、ブレ測定部２５０と、を備える。ディスプレイ２６、タッチパネル２７、モーションセンサ２８、撮像装置２１３、特徴量ＤＢ２２０、画像認識部２２４、仮想オブジェクトＤＢ２２８、および仮想オブジェクト取得部２３２の機能は第２の実施形態で説明した通りであるので、以下では、第２の実施形態と異なる構成について主に説明する。
【００８０】
ブレ測定部２５０は、リアルタイム認識モードにおいて撮像装置２１３により撮像される実空間の動画をバッファリングし、リアルタイム認識モードから静止画操作モードへの遷移時に、過去Ｎフレームの各々のブレ量を検出する品質測定部である。ブレ測定部２５０は、例えば各フレームの画像データを離散コサイン変換により周波数成分に変換し、画像データの周波数成分から各フレームのブレ量を測定してもよい。
【００８１】
制御部２４３は、第２の実施形態による制御部２４２の機能の全部または一部に加え、静止画操作画面のための静止画の選択機能を有する。例えば、制御部２４３は、ブレ測定部２５０による測定結果に基づき、過去Ｎフレームのうちから最もブレ量の少ない１つのフレームを選択し、選択したフレームを静止画操作画面のための静止画として用いる。かかる構成により、静止画操作画面において品質の良好な静止画を表示することが可能となる。
【００８２】
なお、携帯端末２０−３は、画像認識部２２４により各フレームに関して認識された実オブジェクト、および実オブジェクトの姿勢を各フレームの認識結果として保持しておき、制御部２４３は、選択したフレームに関して保持されている認識結果を用いて静止画操作画面を生成してもよい。
【００８３】
＜２−４．第４の実施形態＞
以上、本開示の第３の実施形態を説明した。続いて、本開示の第４の実施形態を説明する。第１の〜第３の実施形態では携帯端末が単独でＡＲを実現する例を説明したが、本開示の第４の実施形態のように、携帯端末とネットワーク側に配置されたサーバとが共同してＡＲを実現することも可能である。
【００８４】
図１１は、第４の実施形態によるＡＲシステムを示した説明図である。図１１に示したように、第４の実施形態によるＡＲシステムは、携帯端末２０−４と、ネットワーク１２と、ＡＲサーバ３０と、実オブジェクトの一例である駅案内板４０を含む。以下、図１２を参照し、携帯端末２０−４およびＡＲサーバ３０の構成を具体的に説明する。
【００８５】
図１２は、第４の実施形態による携帯端末２０−４およびＡＲサーバ３０の構成を示した機能ブロック図である。図１２に示したように、第４の実施形態による携帯端末２０−４は、ディスプレイ２６と、タッチパネル２７と、モーションセンサ２８と、撮像装置２１３と、特徴量ＤＢ２２０と、画像認識部２２４と、制御部２４４と、通信部２６０と、を備える。ディスプレイ２６、タッチパネル２７、モーションセンサ２８、撮像装置２１３、特徴量ＤＢ２２０、および画像認識部２２４については第１〜第３の実施形態で説明した通りであるので、以下では第１〜第３の実施形態と異なる構成について主に説明する。
【００８６】
通信部２６０は、ＡＲサーバ３０とのインタフェースであって、ＡＲサーバ３０へ情報を送信する送信部、およびＡＲサーバ３０から情報を受信する受信部として機能する。通信部２６０は、例えば、画像認識部２２４により認識された実オブジェクトに対応する仮想オブジェクトの送信をＡＲサーバ３０に要求する。このとき、通信部２６０は、画像認識部２２４により認識された実オブジェクトの識別情報をＡＲサーバ３０に送信してもよい。そして、通信部２６０は、上記要求に応じてＡＲサーバ３０から送信される仮想オブジェクトを受信する。
【００８７】
制御部２４４は、第２の実施形態による制御部２４２の機能の全部または一部に加え、通信部２６０により受信された仮想オブジェクトを静止画に重畳して静止画操作画面を生成する機能を有する。
【００８８】
一方、ＡＲサーバ３０は、図１２に示したように、仮想オブジェクト取得部３３２と、仮想オブジェクトＤＢ３２８と、通信部３６０と、を備える。
【００８９】
仮想オブジェクトＤＢ３３８は、実オブジェクトに重畳するための仮想オブジェクトを記憶するデータベースである。具体的には、仮想オブジェクトＤＢ３２８においては、仮想オブジェクトの識別情報、実オブジェクトの識別情報、実オブジェクトからの相対的な表示位置や姿勢を示す設定情報、およびユーザに呈示される仮想オブジェクトが関連付けられる。仮想オブジェクトは、テキスト形式であってもよいし、イメージ形式であってもよい。
【００９０】
仮想オブジェクト取得部３３２は、通信部３６０により受信される実オブジェクトの識別情報に関連付けられている仮想オブジェクトおよび設定情報を仮想オブジェクトＤＢ３２８から取得する。
【００９１】
通信部３６０は、携帯端末２０−４とのインタフェースであって、携帯端末２０−４へ情報を送信する送信部、および携帯端末２０−４から情報を受信する受信部として機能する。例えば、通信部３６０は、携帯端末２０−４から仮想オブジェクトの送信要求として実オブジェクトの識別情報を受信し、仮想オブジェクト取得部３３２により取得された仮想オブジェクトおよび設定情報を携帯端末２０−４に送信する。
【００９２】
以上説明したように、第４の実施形態によれば、ＡＲのための機能の一部をＡＲサーバ３０に実装することによりクラウドコンピューティングを実現することができる。なお、第４の実施形態では仮想オブジェクトＤＢ、および仮想オブジェクト取得部の機能をＡＲサーバ３０に実装する例を説明したが、ＡＲサーバ３０に実装する機能はかかる例に限定されない。例えば、画像認識部および特徴量ＤＢの機能もＡＲサーバ３０に実装してもよい。この場合、携帯端末２０−４は、撮像装置２１３により撮像された画像をＡＲサーバ３０に送信し、ＡＲサーバ３０が、実オブジェクトの認識および仮想オブジェクトの取得を行い、仮想オブジェクトを携帯端末２０−４に送信する。
【００９３】
さらに、リアルタイム認識画面および静止画操作画面の生成機能をＡＲサーバ３０に実装してもよい。この場合、携帯端末２０−４は、撮像装置２１４により撮像された画像をＡＲサーバ３０に送信し、ＡＲサーバ３０が、実オブジェクトの認識、仮想オブジェクトの取得、および仮想オブジェクトの重畳を行い、仮想オブジェクトが重畳されたリアルタイム認識画面または静止画操作画面を携帯端末２０−４に送信してもよい。このようにリアルタイム認識画面および静止画操作画面の生成機能をＡＲサーバ３０に実装する場合、ＡＲサーバ３０が表示制御装置として機能することとなる。
【００９４】
ところで、上記のようなＡＲシステムにおいて、携帯端末２０−４が静止画操作モードに遷移する時点でＡＲサーバ３０に仮想オブジェクトの送信を要求すると、仮想オブジェクトを受信して表示するまでの待ち時間の発生が懸念される。この点に鑑み、第４の実施形態による携帯端末２０−４は、静止画操作モードへの遷移基準が満たされる予兆がある場合に、静止画操作モードへの遷移基準が満たされる前に仮想オブジェクトの送信をＡＲサーバ３０に要求する。以下、図１３〜図１５を参照して具体的に説明する。
【００９５】
（第１の動作例）
図１３は、第４の実施形態の第１の動作例を示したシーケンス図である。なお、第１の動作例では、リアルタイム認識モードから静止画操作モードへの遷移基準が、ユーザがタッチパネル２７をタップしたこと、すなわち、ユーザの指がタッチパネル２７に接触した後にタッチパネル２７から離隔したことである場合を考える。
【００９６】
図１３に示したように、リアルタイム認識モードにおいてユーザの指とタッチパネル２７との接触が検出された場合（Ｓ５０４）、通信部２６０は、静止画操作モードへの遷移に先立って仮想オブジェクトの送信をＡＲサーバ３０に要求する（Ｓ５０８）。
【００９７】
ＡＲサーバ３０の仮想オブジェクト取得部３３２は、携帯端末２０−４からの要求に従って仮想オブジェクトＤＢ３２８から仮想オブジェクトを取得し（Ｓ５１２）、仮想オブジェクト取得部３３２により取得された仮想オブジェクトを通信部３６０が携帯端末２０−４に送信する（Ｓ５１６）。
【００９８】
その後、携帯端末２０−４の制御部２４４は、ユーザの指とタッチパネル２７との離隔が検出された場合（Ｓ５２０）、静止画操作モードに遷移して仮想オブジェクトを含む静止画操作画面をディスプレイ２６に表示する（Ｓ５２４）。
【００９９】
このように、携帯端末２０−４は、静止画操作モードへの遷移のためのユーザ操作の一部が検出された場合、静止画操作モードへの遷移に先立って仮想オブジェクトの送信を要求する。かかる構成により、静止画操作モードへの遷移時に円滑に静止画操作画面を表示することが可能となる。なお、制御部２４４は、当該動作例を適用しても静止画操作画面の表示のための待ち時間が発生する場合、ディスプレイにＬｏｄｉｎｇ表示を行ってもよい。
【０１００】
（第２の動作例）
図１４は、第４の実施形態の第２の動作例を示したシーケンス図である。なお、第２の動作例では、リアルタイム認識モードから静止画操作モードへの遷移基準が、リアルタイム認識モードにおいて画像認識部２２４により実オブジェクトが認識されたこと、かつ、ユーザがタッチパネル２７をタップしたことである場合を考える。
【０１０１】
図１４に示したように、リアルタイム認識モードにおいて画像認識部２２４により実オブジェクトが認識された場合（Ｓ６０４）、通信部２６０は、静止画操作モードへの遷移に先立って仮想オブジェクトの送信をＡＲサーバ３０に要求する（Ｓ６０８）。
【０１０２】
ＡＲサーバ３０の仮想オブジェクト取得部３３２は、携帯端末２０−４からの要求に従って仮想オブジェクトＤＢ３２８から仮想オブジェクトを取得し（Ｓ６１２）、仮想オブジェクト取得部３３２により取得された仮想オブジェクトを通信部３６０が携帯端末２０−４に送信する（Ｓ６１６）。
【０１０３】
その後、携帯端末２０−４の制御部２４４は、ユーザによりタッチパネル２７がタップされた場合（Ｓ６２０）、静止画操作モードに遷移して仮想オブジェクトを含む静止画操作画面をディスプレイ２６に表示する（Ｓ６２４）。
【０１０４】
このように、携帯端末２０−４は、静止画操作モードへの遷移のための一部の遷移基準が満たされた場合、静止画操作モードへの遷移に先立って仮想オブジェクトの送信を要求する。かかる構成により、第１の動作例と同様に、静止画操作モードへの遷移時に円滑に静止画操作画面を表示することが可能となる。
【０１０５】
（第３の動作例）
図１５は、第４の実施形態の第３の動作例を示したシーケンス図である。なお、第３の動作例では、リアルタイム認識モードから静止画操作モードへの遷移基準が、ユーザの指がタッチパネルに接触し、かつ、携帯端末２０−４の姿勢変化が検出されたことである場合を考える。
【０１０６】
図１５に示したように、ユーザの指とタッチパネル２７との接触が検出された場合（Ｓ７０４）、通信部２６０は、静止画操作モードへの遷移に先立って仮想オブジェクトの送信をＡＲサーバ３０に要求する（Ｓ７０８）。
【０１０７】
ＡＲサーバ３０の仮想オブジェクト取得部３３２は、携帯端末２０−４からの要求に従って仮想オブジェクトＤＢ３２８から仮想オブジェクトを取得し（Ｓ７１２）、仮想オブジェクト取得部３３２により取得された仮想オブジェクトを通信部３６０が携帯端末２０−４に送信する（Ｓ７１６）。
【０１０８】
その後、携帯端末２０−４の制御部２４４は、モーションセンサ２８により携帯端末２０−４の姿勢変化（所定の動きパターン）が検出された場合（Ｓ７２０）、静止画操作モードに遷移して仮想オブジェクトを含む静止画操作画面をディスプレイ２６に表示する（Ｓ７２４）。
【０１０９】
このような第３の動作例においても、第２の動作例と同様に、静止画操作モードへの遷移時に円滑に静止画操作画面を表示することが可能となる。
【０１１０】
＜＜３．むすび＞＞
以上説明したように、本開示による携帯端末２０は静止画操作モードを有するので、ユーザが携帯端末２０の撮像方向を実オブジェクトに向け続けなくても、実空間の静止画に仮想オブジェクトが重畳された静止画操作画面をディスプレイ２６に表示させることができる。このため、ユーザによる携帯端末２０の使用感、および仮想オブジェクトの表示の操作性を向上することが可能である。
【０１１１】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１２】
例えば、上記では、静止画操作モードへの遷移のトリガとなるユーザ操作の検出例として、タッチパネル２７によって検出されるタッチパネル２７への操作、モーションセンサ２８によって検出される携帯端末２０の動きを説明したが、ユーザ操作はかかる例に限定されない。他のユーザ操作の検出例として、ユーザのジェスチャ認識が挙げられる。ユーザのジェスチャは、撮像装置２１３により取得される画像に基づいて認識することも、他の撮像系により取得される画像に基づいて認識することも可能である。なお、撮像装置２１３または他の撮像系は、赤外線カメラ、Ｄｅｐｔｈカメラなどの機能によりユーザのジェスチャを撮像してもよい。
【０１１３】
また、上記実施形態では、表示制御装置が携帯端末２０である例を主に説明したが、表示制御装置は、ＴＶやディスプレイ装置など、携帯端末２０より比較的大きめの装置であってもよい。例えば、表示制御装置側からユーザを撮像する撮像系を表示制御装置に接続しまたは内蔵した上でユーザの全身を映すことのできる大型のディスプレイを利用することにより、ユーザ自身を映す鏡のような機能を構成し、ユーザ自身に仮想オブジェクトを重畳して当該仮想オブジェクトを操作させるようなＡＲアプリケーションを実現することも可能である。
【０１１４】
また、本明細書の携帯端末２０、またはＡＲサーバ３０の処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、携帯端末２０、またはＡＲサーバ３０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１１５】
また、携帯端末２０、またはＡＲサーバ３０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した携帯端末２０、またはＡＲサーバ３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【０１１６】
また、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる制御部を備える、表示制御装置。
（２）
前記実空間動画は、撮像装置により撮像中の実空間の動画を含む、（１）に記載の表示制御装置。
（３）
前記合成画に含まれる前記仮想オブジェクトの表示はユーザ操作により変化する、（１）または（２）に記載の表示制御装置。
（４）
前記表示制御装置は、前記実空間動画において前記実オブジェクトを認識する認識部をさらに備え、
前記制御部は、前記認識部により前記実オブジェクトが認識された場合に前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、（１）〜（３）のいずれか一項に記載の表示制御装置。
（５）
前記表示制御装置は、ユーザ操作を検出する操作検出部をさらに備え、
前記制御部は、前記操作検出部により所定のユーザ操作が検出された場合に前記表示装置の表示を遷移させる、（１）〜（４）のいずれか一項に記載の表示制御装置。
（６）
前記操作検出部は、前記表示装置上に配置されるタッチパネルに対する前記所定のユーザ操作を検出する、（５）に記載の表示制御装置。
（７）
前記制御部は、前記タッチパネルに対する前記実オブジェクトの判定領域におけるユーザ操作が検出された場合、前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、（６）に記載の表示制御装置。
（８）
前記制御部は、前記タッチパネルに対する前記実オブジェクトの判定領域以外におけるユーザ操作が検出された場合、前記表示装置の表示を前記合成画から前記実空間動画に遷移させる、（７）に記載の表示制御装置。
（９）
前記合成画は遷移操作ボタンを含み、
前記制御部は、前記タッチパネルに対する前記遷移操作ボタンにおけるユーザ操作が検出された場合、前記表示装置の表示を前記合成画から前記実空間動画に遷移させる、（８）に記載の表示制御装置。
（１０）
前記操作検出部は前記表示制御装置の動きを検出する動きセンサを含み、
前記制御部は、前記動きセンサにより第１の動きパターンが検出された場合、前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、（５）〜（９）のいずれか一項に記載の表示制御装置。
（１１）
前記制御部は、前記動きセンサにより、前記第１の動きパターンと異なる第２の動きパターンが検出された場合、前記合成画を前記実空間動画に遷移させる、（１０）に記載の表示制御装置。
（１２）
前記表示制御装置は、ネットワーク上のサーバと通信する通信部をさらに備え、
前記通信部は、前記実オブジェクトに対応する前記仮想オブジェクトを前記サーバから受信する、（１）〜（１１）のいずれか一項に記載の表示制御装置。
（１３）
前記通信部は、前記操作検出部により前記所定のユーザ操作の一部が検出された場合に前記仮想オブジェクトの送信を前記サーバに要求し、
前記制御部は、前記操作検出部により前記所定のユーザ操作の全体が検出された後に前記表示装置の表示を前記合成画に遷移させる、（１２）に記載の表示制御装置。
（１４）
前記通信部は、前記認識部により前記実オブジェクトが認識された場合に前記仮想オブジェクトの送信を前記サーバに要求し、
前記制御部は、前記操作検出部により前記所定のユーザ操作が検出された後に前記表示装置の表示を前記合成画に遷移させる、（１２）に記載の表示制御装置。
（１５）
前記表示制御装置は、前記実空間動画を構成する各フレームの品質を測定する品質測定部をさらに備え、
前記制御部は、前記品質測定部による測定結果に基づいて前記実空間の動画を構成する１つのフレームを前記合成画に含める前記静止画として選択する、（１）〜（１４）のいずれか一項に記載の表示制御装置。
（１６）
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる、表示制御方法。
（１７）
コンピュータを、
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる表示制御装置、として機能させるためのプログラム。
（１８）
前記実空間動画は、撮像装置により撮像中の実空間の動画を含む、（１７）に記載のプログラム。
（１９）
前記合成画に含まれる前記仮想オブジェクトの表示はユーザ操作により変化する、（１７）または（１８）に記載のプログラム。
（２０）
前記表示制御装置は、前記実空間動画において前記実オブジェクトを認識する認識部をさらに備え、
前記制御部は、前記認識部により前記実オブジェクトが認識された場合に前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、（１７）〜（１９）のいずれか一項に記載のプログラム。
【符号の説明】
【０１１７】
２０ 携帯端末
２６ ディスプレイ
２７ タッチパネル
２８ モーションセンサ
３０ ＡＲサーバ
２１３ 撮像装置
２２０ 特徴量ＤＢ
２２４ 画像認識部
２２８、３２８ 仮想オブジェクトＤＢ
２３２、３３２ 仮想オブジェクト取得部
２４１〜２４４ 制御部
２５０ ブレ測定部
２６０、３６０ 通信部
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、画像認識技術が高度化しており、撮像装置からの入力画像に含まれる実オブジェクト（例えば、看板やビルなどの物体）の位置や姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）アプリケーションが知られている。ＡＲアプリケーションによれば、実空間画像に含まれる実オブジェクトに、実オブジェクトに対応付けられた仮想オブジェクト（例えば、広告情報、ナビゲーション情報、またはゲームのための情報）を重畳することができる。なお、このようなＡＲアプリケーションについては例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願２０１０−２３８０９８
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、撮像機能を有する携帯端末でユーザがＡＲアプリケーションを利用する場合、ユーザは、携帯端末の撮像方向を実オブジェクトに向け続けることにより、実空間画像に仮想オブジェクトが重畳された状態を維持することができる。しかし、撮像方向を実オブジェクトに向け続けることはユーザにとって煩雑である。
【０００５】
そこで、本開示ではユーザの使用感を向上することが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる制御部を備える、表示制御装置が提供される。
【０００７】
また、本開示によれば、実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる、表示制御方法が提供される。
【０００８】
また、本開示によれば、コンピュータを、実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる表示制御装置、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示に係る表示制御装置、表示制御方法、およびプログラムによれば、ユーザの使用感を向上することが可能である。
【図面の簡単な説明】
【００１０】
【図１】本開示によるＡＲシステムの構成を示した説明図である。
【図２】リアルタイム認識画面の具体例を示した説明図である。
【図３】携帯端末のハードウェア構成を示した説明図である。
【図４】第１の実施形態による携帯端末の構成を示した機能ブロック図である。
【図５】リアルタイム認識画面および静止画操作画面の具体的構成
【図６】静止画操作画面の変形例を示した説明図である。
【図７】リアルタイム認識モードにおける携帯端末の動作を示したフローチャートである。
【図８】静止画操作モードにおける携帯端末の動作を示したフローチャートである。
【図９】第２の実施形態による携帯端末の構成を示した機能ブロック図である。
【図１０】第３の実施形態による携帯端末の構成を示した機能ブロック図である。
【図１１】第４の実施形態によるＡＲシステムを示した説明図である。
【図１２】第４の実施形態による携帯端末およびＡＲサーバの構成を示した機能ブロック図である。
【図１３】第４の実施形態の第１の動作例を示したシーケンス図である。
【図１４】第４の実施形態の第２の動作例を示したシーケンス図である。
【図１５】第４の実施形態の第３の動作例を示したシーケンス図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１３】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．ＡＲシステムの概要
２．各実施形態の説明
２−１．第１の実施形態
２−２．第２の実施形態
２−３．第３の実施形態
２−４．第４の実施形態
３．むすび
【００１４】
＜＜１．ＡＲシステムの概要＞＞
本開示によるＡＲシステムは、一例として「２−１．第１の実施形態」〜「２−４．第４の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態によるＡＲシステムは、
Ａ．実空間の動画を含む実空間動画と、実空間の静止画および当該静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる制御部（２４１〜２４４）、
を備える表示制御装置（携帯端末２０、ＡＲサーバ３０）を含む。
【００１５】
以下では、まず、このような各実施形態において共通するＡＲシステムの基本構成について図１および図２を参照して説明する。
【００１６】
図１は、本開示によるＡＲシステムの構成を示した説明図である。図１に示したように、本開示によるＡＲシステムは、撮像機能を有する携帯端末２０を含む。この携帯端末２０は、実空間画像を撮像し、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトを実空間画像に重畳してディスプレイ２６に表示することができる。
【００１７】
例えば、実オブジェクトが図１に示したような駅案内板４０である場合、携帯端末２０は、駅案内板４０を含む実空間画像を撮像することにより、駅案内板４０に対応する仮想オブジェクトが重畳されたリアルタイム認識画面をディスプレイ２６に表示することが可能である。以下、図２を参照し、リアルタイム認識画面についてより具体的に説明する。
【００１８】
図２は、リアルタイム認識画面の具体例を示した説明図である。図２に示したように、リアルタイム認識画面Ｐは、実オブジェクトである駅案内板４０、及び駅案内板４０に重畳された仮想オブジェクトであるタイムテーブル５２の表示を含む。ユーザは、このような仮想オブジェクトが重畳されたリアルタイム認識画面を視認することにより、実空間からは得られない情報（図２の場合、駅案内板４０で案内されていない電車の発着時刻に関する情報）を把握することができる。
【００１９】
さらに、ユーザは、表示画面において所定の操作を行うことにより、リアルタイム認識画面に含まれる仮想オブジェクトの表示を変化させることが可能である。例えば、携帯端末２０は、図２に示したリアルタイム認識画像Ｐにおいてユーザにより上下方向のスライド操作が行われた場合、タイムテーブル５２内の表示対象を上下方向にスライドさせてもよい。
【００２０】
また、１つの実オブジェクトに複数の仮想オブジェクトが対応付けられている場合、携帯端末２０は、ユーザ操作に応じて複数の仮想オブジェクトのうちで表示する仮想オブジェクトを切り替えてもよい。例えば、携帯端末２０は、図２に示したリアルタイム認識画面Ｐにおいてユーザにより左右方向のスライド操作が行われた場合、駅案内板４０に重畳する仮想オブジェクトを周辺マップや路線図に切り替えてもよい。
【００２１】
なお、図１においては、携帯端末２０の一例としてスマートフォンを示したが、携帯端末２０はスマートフォンに限定されない。例えば、携帯端末２０は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、または携帯用ゲーム機器であってもよい。さらに、携帯端末２０は表示制御装置の一例に過ぎず、表示制御装置はネットワーク側に設けられるサーバであってもよい。
【００２２】
また、図１および図２においては、実オブジェクトの一例として駅案内板４０を示したが、実オブジェクトは駅案内板４０に限定されない。例えば、実オブジェクトは、看板、ビル、乗り物、食品、または玩具などの物体や、ＱＲコードやＡＲマーカーのような識別パターンであってもよい。
【００２３】
ところで、上述した仮想オブジェクトを実空間画像に重畳するＡＲアプリケーションは、撮像される実空間画像をリアルタイムで認識することにより実行される場合が多い。このため、ユーザは、携帯端末２０の撮像方向を実オブジェクトに向け続けることにより、実空間画像に仮想オブジェクトが重畳されたリアルタイム認識画面を維持することができる。しかし、携帯端末２０の撮像方向を実オブジェクトに向け続けることはユーザにとって煩雑である。また、携帯端末２０の撮像方向を実オブジェクトに向けた状態では、仮想オブジェクトの表示を変化させるための操作を行い難い。
【００２４】
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、携帯端末２０の使用感および操作性を向上することが可能である。以下、図３を参照してこのような携帯端末２０のハードウェア構成を説明した後、本開示の各実施形態について順次詳細に説明する。
【００２５】
（携帯端末のハードウェア構成）
図３は、携帯端末２０のハードウェア構成を示した説明図である。図３に示したように、携帯端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。
【００２６】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って無線通信装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【００２７】
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。携帯端末２０のユーザは、該入力装置２０８を操作することにより、携帯端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００２８】
出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【００２９】
ストレージ装置２１１は、本実施形態にかかる携帯端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
【００３０】
ドライブ２１２は、記憶媒体用リーダライタであり、携帯端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
【００３１】
撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
【００３２】
通信装置２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００３３】
なお、ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００３４】
＜＜２．各実施形態の説明＞＞
以上、図１〜図３を参照し、本開示によるＡＲシステムの基本構成を説明した。以下、図４〜図１５を参照し、本開示による第１の実施形態〜第４の実施形態について詳細に説明する。
【００３５】
＜２−１．第１の実施形態＞
（携帯端末の構成）
図４は、第１の実施形態による携帯端末２０−１の構成を示した機能ブロック図である。図４に示したように、第１の実施形態による携帯端末２０−１は、ディスプレイ２６と、タッチパネル２７と、撮像装置２１３と、特徴量ＤＢ２２０と、画像認識部２２４と、仮想オブジェクトＤＢ２２８と、仮想オブジェクト取得部２３２と、制御部２４１と、を備える。
【００３６】
ディスプレイ２６は、ＬＣＤまたはＯＬＥＤなどにより構成される表示モジュールである。ディスプレイ２６は、制御部２４１による制御に従って多様な画面を表示する。例えば、ディスプレイ２６は、撮像装置２１３により撮像中の実空間の動画を含むリアルタイム認識画面、または実空間の静止画および当該静止画に含まれる実オブジェクトに対応する仮想オブジェクトの合成画である静止画操作画面などを表示する。ただし、リアルタイム認識画面は、実空間の動画を含む実空間動画の一例に過ぎず、実空間動画は、過去に撮像された実空間の動画を含んでもよい。
【００３７】
また、図４においてはディスプレイ２６が携帯端末２０−１の一部として実装される例を示したが、ディスプレイ２６は、携帯端末２０−１とは別体に構成されてもよい。また、ディスプレイ２６は、ユーザの頭部に装着されるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってもよい。
【００３８】
タッチパネル２７は、ディスプレイ２６に積層される操作検出部である。タッチパネル２７は、ユーザの指やタッチペンなどの操作体の近接または接触を検出することができる。なお、タッチパネル２７は操作検出部の一例に過ぎず、携帯端末２０−１は、キーボードおよびボタンなどの他の操作用の構成を含んでもよい。
【００３９】
撮像装置２１３は、図３を参照して説明したように、撮像光学系および信号変換素子を備え、制御部２４１による制御に従って実空間画像（動画または静止画）を撮像する。なお、撮像装置２１３は、動画撮像用の構成と、静止画撮像用の構成を別個に備えてもよい。
【００４０】
特徴量ＤＢ２２０は、実オブジェクトの画像の特徴量データを記憶するデータベースである。具体的には、特徴量ＤＢ２２０においては、各実オブジェクトを識別するための識別情報と、各実オブジェクトの特徴量データが関連付けられる。特徴量データは、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法に従って実オブジェクトの学習用画像から決定された特徴量の集合であってもよい。
【００４１】
画像認識部２２４は、撮像装置２１３により撮像された実空間画像に含まれる実オブジェクト、および当該実オブジェクトの実空間画像における位置および姿勢を認識する。例えば、画像認識部２２４は、実空間画像から決定される特徴量をデータベース２２０に記憶されている各実オブジェクトの特徴量と照合することにより、実空間画像に含まれる実オブジェクトを認識する。より具体的には、画像認識部２２４は、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法などの特徴量決定法に従って実空間画像内の実オブジェクトの特徴量を決定し、決定した特徴量をデータベース２２０に記憶されている各実オブジェクトの特徴量と照合する。そして、画像認識部２２４は、実空間画像内の実オブジェクトの特徴量と最も適合する特徴量と関連付けられている実オブジェクトの識別情報、実空間画像における位置および姿勢を認識する。
【００４２】
なお、画像認識部２２４は、既知の図形若しくは記号、人工マーカ（例えば、バーコード若しくはＱＲコード）又は自然マーカなどの実オブジェクトを認識し、当該実オブジェクトの実空間画像におけるサイズおよび形状から当該実オブジェクトの位置及び姿勢を認識してもよい。
【００４３】
また、上記では、実空間画像に含まれる実オブジェクトを画像処理により認識する例を説明したが、実オブジェクトの認識方法は画像処理に限定されない。例えば、撮像装置２１３が向けられている方向、および携帯端末２０−１の現在位置を検出し、検出結果に基づいて実空間画像に含まれている実オブジェクト、実空間画像における当該実オブジェクトの位置および姿勢を推定することも可能である。
【００４４】
仮想オブジェクトＤＢ２２８は、実オブジェクトに重畳するための仮想オブジェクトを記憶するデータベースである。具体的には、仮想オブジェクトＤＢ２２８においては、仮想オブジェクトの識別情報、実オブジェクトの識別情報、実オブジェクトからの相対的な表示位置や姿勢を示す設定情報、およびユーザに呈示される仮想オブジェクトが関連付けられる。仮想オブジェクトは、テキスト形式であってもよいし、イメージ形式であってもよい。
【００４５】
仮想オブジェクト取得部２３２は、画像認識部２２４により認識された実オブジェクトに対応する仮想オブジェクトおよび設定情報を取得する。例えば、仮想オブジェクト取得部２３２は、画像認識部２２４により認識された実オブジェクトの識別情報に関連付けられている仮想オブジェクトおよび設定情報を仮想オブジェクトＤＢ２２８から取得する。
【００４６】
制御部２４１は、携帯端末２０−１の動作全般を制御する。例えば、制御部２４１は、所定の遷移基準に従い、リアルタイム認識モードおよび静止画操作モードを含む複数の動作モードのうちで携帯端末２０−１の動作モードを遷移させる。
【００４７】
リアルタイム認識モードは、撮像装置２１３により撮像される実空間の動画に含まれる実オブジェクトをリアルタイムで認識し、実オブジェクトに仮想オブジェクトを重畳してリアルタイム認識画面を生成する動作モードである。一方、静止画操作モードは、撮像装置２１３により撮像された静止画に仮想オブジェクトを重畳して静止画操作画面を生成する動作モードである。なお、制御部２４１は、いずれの動作モードにおいても仮想オブジェクトの表示をユーザ操作に基づいて変化させることができる。具体的には、制御部２４１は、ユーザ操作に基づいて仮想オブジェクトの移動、拡大／縮小やスクロールなどを行うことが可能である。静止画操作モードにおける上記静止画は、動画撮像用の構成により撮像される動画を構成する１フレームであってもよく、または静止画撮像用の構成により撮像される静止画であってもよい。また、上記静止画は、撮像される複数の静止画から合成される１つの静止画であってもよい。例えば、携帯端末２０−１が複数の静止画から拡大された静止画を合成する機能（撮像装置の向きを変えながら撮像した複数の静止画から１枚のパノラマ写真を合成するいわゆるスイングパノラマ機能など）を有する場合には、携帯端末２０−１は、静止画操作モードにおいて、拡大された１枚の静止画に仮想オブジェクトを重畳することができる。その場合、ユーザ操作もまた、拡大された１枚の静止画上で行われ得る。また、携帯端末２０−１は、初期の静止画操作画面では最後に撮像された静止画を表示し、ユーザ操作が撮像装置の動きを遡る方向を指示している場合（スイングの向きとは反対方向へのドラッグなど）に、表示中の静止画に加えて（空間的に隣接した）過去の静止画を画角を拡げるような形でさらに表示してもよい。その場合、ユーザ操作に応じて、仮想オブジェクトを最後に撮像された静止画の領域から過去の静止画の領域へ動かすことも可能となる。このような拡大された静止画の合成は、各画像の内容の解析に基づいて行われてもよく、または各画像の撮像の際にセンサにより計測される撮像装置の位置及び姿勢に基づいて行われてもよい。
【００４８】
（リアルタイム認識画面および静止画操作画面の構成例）
ここで、図５を参照し、リアルタイム認識画面および静止画操作画面の具体的構成を説明する。図５に示したように、リアルタイム認識モードにおいて生成されるリアルタイム認識画面Ｐ１は、実オブジェクトである駅案内板４０、および駅案内板４０に重畳された仮想オブジェクトであるタイムテーブル５２の表示を含む。ユーザは、リアルタイム認識画面Ｐ１を維持するためには、図５に示したように携帯端末２０−１の撮像方向を駅案内板４０に向け続ける必要がある。
【００４９】
一方、静止画操作モードにおいて生成される静止画操作画面Ｐ２は、実オブジェクトである駅案内板４０、駅案内板４０に重畳された仮想オブジェクトであるタイムテーブル５２の表示、タブ「Ｔｉｍｅ Ｔａｂｌｅ」６２、タブ「Ａｒｅａ Ｍａｐ」６４、およびリターンキー６６を含む。
【００５０】
制御部２４１は、タブ「Ｔｉｍｅ Ｔａｂｌｅ」６２、またはタブ「Ａｒｅａ Ｍａｐ」６４などに対するユーザ操作に応じて表示する仮想オブジェクトを変化させる。例えば、制御部２４１は、ユーザによりタブ「Ａｒｅａ Ｍａｐ」６４が選択されると、駅案内板４０に重畳する仮想オブジェクトをタイムテーブル５２から周辺マップに変化させる。
【００５１】
この静止画操作モードにおいては、図５に示したようにユーザが携帯端末２０−１の撮像方向を実オブジェクトに向けていなくても、仮想オブジェクトを含む静止画操作画面Ｐ２を表示することができる。このため、ユーザによる携帯端末２０−１の使用感、および仮想オブジェクトの表示の操作性を向上することが可能である。
【００５２】
なお、リターンキー６６は遷移操作ボタンの一例であり、制御部２４１は、例えばユーザによりリターンキー６６が選択されると、動作モードを静止画操作モードからリアルタイム認識モードに遷移させる。
【００５３】
図６は、静止画操作画面の変形例を示した説明図である。変形例による静止画操作画面Ｐ３は、複数のサムネイル（Ｓ１、Ｓ２、Ｓ３、・・・）、リターンキー６６および各サムネイルの付加情報６８を含む。制御部２４１は、この静止画操作画面Ｐ３においてサムネイルの選択操作を受け付け、選択されたサムネイルをメインに表示することが可能である。なお、この複数のサムネイルは、リアルタイム認識モードにおいて得られた動画を構成する複数のフレームであってもよい。また、各サムネイルは、図６に示したように、実空間の静止画と仮想オブジェクトの合成画であってもよいし、仮想オブジェクトを含まない実空間の静止画であってもよい。
【００５４】
（動作モードの遷移基準）
続いて、制御部２４１が動作モードを遷移するか否かを判断するための遷移基準について説明する。
【００５５】
まず、リアルタイム認識モードから静止画動作モードへの動作モードの遷移基準は、以下の基準のいずれか、または以下の基準の組合せであってもよい。
（１−１）リアルタイム認識モードにおいて画像認識部２２４により実オブジェクトが認識されたこと。
（１−２）ユーザの指のような操作体がタッチパネル２７に接触したこと。
（１−３）操作体がタッチパネル２７から離隔したこと。
（１−４）操作体のタッチパネル２７への接触または離隔が、実オブジェクトの判定領域内で検出されたこと。
【００５６】
したがって、制御部２４１は、例えば、画像認識部２２４により実オブジェクトが認識されており、かつ、操作体のタッチパネル２７への接触が実オブジェクトの判定領域内で検出された場合に動作モードを静止画動作モードに遷移させてもよい。なお、実オブジェクトの判定領域に関して補足すると、実オブジェクトの判定領域は、実オブジェクトの認識領域に関連する領域であって、実オブジェクトの認識領域を含む領域、または実オブジェクトの認識領域の一部の領域であってもよい。制御部２４１は、実オブジェクトの判定領域内をユーザにより操作されると、実オブジェクトの認識領域外であっても実オブジェクトが選択されたと判定する。
【００５７】
なお、制御部２４１は、静止画動作モードへの遷移基準が満たされた時点で得られた実空間画像を静止画操作画面の静止画として用いてもよいし、静止画動作モードへの遷移基準が満たされた後に得られた実空間画像を静止画操作画面の静止画として用いてもよい。後者の場合、制御部２４１は、撮像装置２１３に静止画撮像用の構成を用いて静止画を撮像することを指示してもよい。
【００５８】
次に、静止画動作モードからリアルタイム認識モードへの動作モードの遷移基準は、以下の基準のいずれか、または以下の基準の組合せであってもよい。
（２−１）ユーザの指のような操作体がタッチパネル２７に接触したこと。
（２−２）操作体がタッチパネル２７から離隔したこと。
（２−３）操作体のタッチパネル２７への接触または離隔が、実オブジェクトの判定領域外で検出されたこと。
（２−４）リターンキー６６が選択されたこと。
【００５９】
したがって、制御部２４１は、例えば、操作体のタッチパネル２７への接触が実オブジェクトの判定領域外で検出された場合に動作モードをリアルタイム認識モードに遷移させてもよい。
【００６０】
以上説明したように、第１の実施形態による携帯端末２０−１は静止画操作モードを有するので、ユーザが携帯端末２０−１の撮像方向を実オブジェクトに向け続けなくても、実空間の静止画に仮想オブジェクトが重畳された静止画操作画面をディスプレイ２６に表示させることができる。このため、ユーザによる携帯端末２０−１の使用感、および仮想オブジェクトの表示の操作性を向上することが可能である。
【００６１】
（携帯端末の動作）
続いて、図７および図８を参照し、第１の実施形態による携帯端末２０−１の動作を説明する。図７および図８に示すように、携帯端末２０−１は、認識処理プロセスおよびユーザＩＦ系プロセスを並列的に実行することが可能である。
【００６２】
図７は、リアルタイム認識モードにおける携帯端末２０−１の動作を示したフローチャートである。図７に示したように、リアルタイム認識モードにおいては、まず、撮像装置２１３から入力される実空間画像が更新されたか否かを画像認識部２２４が判断する（Ｓ
３０４）。そして、画像認識部２２４は、実空間画像が更新された場合、実空間画像に含まれる実オブジェクトの認識、および実オブジェクトの姿勢認識を試みる（Ｓ３０８）。Ｓ３０８において実オブジェクトが認識された場合、実オブジェクトに対応する仮想オブジェクトを仮想オブジェクト取得部２３２が仮想オブジェクトＤＢ２２８から取得し、仮想オブジェクト取得部２３２により取得された仮想オブジェクトの表示を制御部２４１が生成する（Ｓ３１６）。なお、実空間画像が更新されていないと判断された場合（Ｓ３０４／ｎｏ）、Ｓ３０８において実オブジェクトが認識されなかった場合（Ｓ３１２／ｎｏ）、またはＳ３１６の処理の後には、Ｓ３０４からの処理が繰り返される。
【００６３】
一方、Ｓ３０４において実空間画像が更新されたと判断された場合、制御部２４１は、リアルタイム認識画面における実空間画像を更新する（Ｓ４０４）。また、制御部２４１は、Ｓ３１６において仮想オブジェクトの表示が生成されると、リアルタイム認識画面における仮想オブジェクトの表示を更新する（Ｓ４０８）。そして、制御部２４１は、静止画操作モードへの遷移基準が満たされた場合、携帯端末２０−１の動作モードを静止画操作モードへ遷移させる（Ｓ４１２）。
【００６４】
図８は、静止画操作モードにおける携帯端末２０−１の動作を示したフローチャートである。図８に示したように、静止画操作モードにおいては、まず、制御部２４１が静止画を取得し（Ｓ３２０）、当該静止画に関してＳ３０８において認識された実オブジェクトの姿勢情報を読み出す（Ｓ３２４）。なお、静止画操作画面のために新たに静止画が撮像される場合、この新たな静止画に含まれる実オブジェクトの姿勢の認識が行われる。続いて、制御部２４１は、仮想オブジェクト取得部２３２により取得される実オブジェクトに対応する仮想オブジェクトの表示を生成する（Ｓ３２８）。
【００６５】
一方、Ｓ３２０において静止画が取得された場合（Ｓ４２０）、制御部２４１は、当該静止画をディスプレイ２６に表示する（Ｓ４２４）。また、制御部２４１は、Ｓ３２８において生成した仮想オブジェクトの表示をディスプレイ２６に表示する（Ｓ４２８）。そして、制御部２４１は、リアルタイム認識モードへの遷移基準が満たされた場合、携帯端末２０−１の動作モードをリアルタイム認識モードへ遷移させる（Ｓ４３２）。一方、制御部２４１は、モード遷移を指示する操作でないユーザ操作が検出された場合、ユーザ操作の内容に応じてアプリケーションの内部状態を変更し（Ｓ４３６）、Ｓ４２４からの処理を繰り返す。
【００６６】
＜２−２．第２の実施形態＞
以上、本開示の第１の実施形態を説明した。続いて、本開示の第２の実施形態を説明する。第１の実施形態では、動作モードの遷移基準としてユーザの指とタッチパネル２６との接触または離隔などの明示的な操作を説明したが、第２の実施形態では、さらなる動作モードの遷移基準を提案する。
【００６７】
図９は、第２の実施形態による携帯端末２０−２の構成を示した機能ブロック図である。図９に示したように、第２の実施形態による携帯端末２０−２は、ディスプレイ２６と、タッチパネル２７と、モーションセンサ２８と、撮像装置２１３と、特徴量ＤＢ２２０と、画像認識部２２４と、仮想オブジェクトＤＢ２２８と、仮想オブジェクト取得部２３２と、制御部２４２と、を備える。ディスプレイ２６、タッチパネル２７、撮像装置２１３、特徴量ＤＢ２２０、画像認識部２２４、仮想オブジェクトＤＢ２２８、および仮想オブジェクト取得部２３２の機能は第１の実施形態で説明した通りであるので、以下では、第１の実施形態と異なる構成について主に説明する。
【００６８】
モーションセンサ２８は、携帯端末２０−２の動きを検出する動きセンサである。モーションセンサ２８は、例えば、各々直交するＸ軸方向、Ｙ軸方向、およびＺ軸方向の加速度（Ｇｘ、Ｇｙ、Ｇｚ）を検出する。なお、モーションセンサ２８の検出対象は３次元の加速度に限られない。例えば、撮像装置２１３とモーションセンサ２８の位置関係が既知である場合、モーションセンサ２８の検出対象は１次元または２次元の加速度であってもよい。また、このようなモーションセンサ２８はジャイロセンサであってもよい。
【００６９】
制御部２４２は、第１の実施形態による制御部２４１の機能の全部または一部に加え、モーションセンサ２８による動き検出結果に基づいて動作モードの遷移を制御する機能を有する。以下、この点について具体的に説明する。
【００７０】
実際のユースケースでは、ユーザは、リアルタイム認識モードにおいては図５の左部に示したように携帯端末２０−２を実オブジェクトに向けて掲げることが想定される。一方、ユーザは、静止画操作モードにおいては図５の右部に示したようにユーザの下向きの視線に正対するように携帯端末２０−２を持つことが想定される。すなわち、リアルタイム認識モードにおける携帯端末２０−２の位置および姿勢と、静止画操作モードにおける携帯端末２０−２の位置および姿勢とは異なると考えられる。
【００７１】
このような観点から、第２の実施形態では、モード遷移に際してユーザにより携帯端末２０−２に与えられるだろう動きをモード遷移操作として捉えることとし、制御部２４２は、モーションセンサ２８による動き検出結果に基づいて携帯端末２０−２の動作モードを遷移させる。
【００７２】
例えば、制御部２４２は、モーションセンサ２８による動き検出結果（Ｇｘ、Ｇｙ、Ｇｚ）の各振幅成分が所定時間内に設定値を上回って変化した場合、携帯端末２０−２の動作モードを遷移させてもよい。
【００７３】
または、制御部２４２は、モーションセンサ２８により第１の動きパターンが検出された場合に動作モードをリアルタイム認識モードから静止画操作モードに遷移させ、第１の動きパターンと異なる第２の動きパターンが検出された場合に動作モードを静止画操作モードからリアルタイム認識モードに遷移させてもよい。ここで、第１の動きパターンは、実際のユースケースに則するように、携帯端末２０−２が掲げられた状態からユーザの下向きの視線に正対する状態へ動かされるパターンであってもよい。また、第２の動きパターンは、実際のユースケースに則するように、第１の動きパターンとは逆の動きパターンであってもよい。
【００７４】
ただし、遷移基準となる動きパターンは上記の例に限定されず、多様な動きパターンを遷移基準として規定することが可能である。例えば、携帯端末２０−２を揺らす動きパターン、回転させる動きパターンなど、多様な動きパターンが遷移基準として規定され得る。
【００７５】
また、制御部２４２は、上述の動きに関する遷移基準と第１の実施形態で説明した遷移基準の論理積または論理和に従って動作モードの遷移を制御してもよい。例えば、制御部２４２は、ユーザの指がタッチパネル２７に接触し（１−２）、かつ、モーションセンサ２８により第１の動きパターンが検出された場合に動作モードを静止画動作モードに遷移させてもよい。同様に、制御部２４２は、ユーザの指がタッチパネル２７に接触し（２−１）、かつ、モーションセンサ２８により第２の動きパターンが検出された場合に動作モードをリアルタイム認識モードに遷移させてもよい。
【００７６】
以上説明したように、第２の実施形態によれば、モード遷移に際してユーザにより携帯端末２０−２に与えられるだろう動きを遷移基準として用いることにより、モード遷移のためのユーザ操作の負荷を軽減することが可能である。
【００７７】
（補足）
なお、モーションセンサ２８により遷移基準を満たす動きが検出された時点で撮像された実空間画像には、ユーザの興味対象の実オブジェクトが含まれていない場合が考えられる。そこで、第２の実施形態による携帯端末２０−２は、過去の所定期間に撮像された実空間画像を保持しておき、制御部２４２は、モーションセンサ２８により遷移基準を満たす動きが検出される前の実空間画像を静止画操作画面のための静止画として用いてもよい。特に、動きパターンの開示時の実空間画像を静止画操作画面のための静止画として用いることが効果的である。
【００７８】
＜２−３．第３の実施形態＞
以上、本開示の第２の実施形態を説明した。続いて、本開示の第３の実施形態を説明する。本開示の第３の実施形態では、静止画操作画面により品質の高い静止画を用いるための構成を提案する。
【００７９】
図１０は、第３の実施形態による携帯端末２０−３の構成を示した機能ブロック図である。図１０に示したように、第３の実施形態による携帯端末２０−３は、ディスプレイ２６と、タッチパネル２７と、モーションセンサ２８と、撮像装置２１３と、特徴量ＤＢ２２０と、画像認識部２２４と、仮想オブジェクトＤＢ２２８と、仮想オブジェクト取得部２３２と、制御部２４３と、ブレ測定部２５０と、を備える。ディスプレイ２６、タッチパネル２７、モーションセンサ２８、撮像装置２１３、特徴量ＤＢ２２０、画像認識部２２４、仮想オブジェクトＤＢ２２８、および仮想オブジェクト取得部２３２の機能は第２の実施形態で説明した通りであるので、以下では、第２の実施形態と異なる構成について主に説明する。
【００８０】
ブレ測定部２５０は、リアルタイム認識モードにおいて撮像装置２１３により撮像される実空間の動画をバッファリングし、リアルタイム認識モードから静止画操作モードへの遷移時に、過去Ｎフレームの各々のブレ量を検出する品質測定部である。ブレ測定部２５０は、例えば各フレームの画像データを離散コサイン変換により周波数成分に変換し、画像データの周波数成分から各フレームのブレ量を測定してもよい。
【００８１】
制御部２４３は、第２の実施形態による制御部２４２の機能の全部または一部に加え、静止画操作画面のための静止画の選択機能を有する。例えば、制御部２４３は、ブレ測定部２５０による測定結果に基づき、過去Ｎフレームのうちから最もブレ量の少ない１つのフレームを選択し、選択したフレームを静止画操作画面のための静止画として用いる。かかる構成により、静止画操作画面において品質の良好な静止画を表示することが可能となる。
【００８２】
なお、携帯端末２０−３は、画像認識部２２４により各フレームに関して認識された実オブジェクト、および実オブジェクトの姿勢を各フレームの認識結果として保持しておき、制御部２４３は、選択したフレームに関して保持されている認識結果を用いて静止画操作画面を生成してもよい。
【００８３】
＜２−４．第４の実施形態＞
以上、本開示の第３の実施形態を説明した。続いて、本開示の第４の実施形態を説明する。第１の〜第３の実施形態では携帯端末が単独でＡＲを実現する例を説明したが、本開示の第４の実施形態のように、携帯端末とネットワーク側に配置されたサーバとが共同してＡＲを実現することも可能である。
【００８４】
図１１は、第４の実施形態によるＡＲシステムを示した説明図である。図１１に示したように、第４の実施形態によるＡＲシステムは、携帯端末２０−４と、ネットワーク１２と、ＡＲサーバ３０と、実オブジェクトの一例である駅案内板４０を含む。以下、図１２を参照し、携帯端末２０−４およびＡＲサーバ３０の構成を具体的に説明する。
【００８５】
図１２は、第４の実施形態による携帯端末２０−４およびＡＲサーバ３０の構成を示した機能ブロック図である。図１２に示したように、第４の実施形態による携帯端末２０−４は、ディスプレイ２６と、タッチパネル２７と、モーションセンサ２８と、撮像装置２１３と、特徴量ＤＢ２２０と、画像認識部２２４と、制御部２４４と、通信部２６０と、を備える。ディスプレイ２６、タッチパネル２７、モーションセンサ２８、撮像装置２１３、特徴量ＤＢ２２０、および画像認識部２２４については第１〜第３の実施形態で説明した通りであるので、以下では第１〜第３の実施形態と異なる構成について主に説明する。
【００８６】
通信部２６０は、ＡＲサーバ３０とのインタフェースであって、ＡＲサーバ３０へ情報を送信する送信部、およびＡＲサーバ３０から情報を受信する受信部として機能する。通信部２６０は、例えば、画像認識部２２４により認識された実オブジェクトに対応する仮想オブジェクトの送信をＡＲサーバ３０に要求する。このとき、通信部２６０は、画像認識部２２４により認識された実オブジェクトの識別情報をＡＲサーバ３０に送信してもよい。そして、通信部２６０は、上記要求に応じてＡＲサーバ３０から送信される仮想オブジェクトを受信する。
【００８７】
制御部２４４は、第２の実施形態による制御部２４２の機能の全部または一部に加え、通信部２６０により受信された仮想オブジェクトを静止画に重畳して静止画操作画面を生成する機能を有する。
【００８８】
一方、ＡＲサーバ３０は、図１２に示したように、仮想オブジェクト取得部３３２と、仮想オブジェクトＤＢ３２８と、通信部３６０と、を備える。
【００８９】
仮想オブジェクトＤＢ３３８は、実オブジェクトに重畳するための仮想オブジェクトを記憶するデータベースである。具体的には、仮想オブジェクトＤＢ３２８においては、仮想オブジェクトの識別情報、実オブジェクトの識別情報、実オブジェクトからの相対的な表示位置や姿勢を示す設定情報、およびユーザに呈示される仮想オブジェクトが関連付けられる。仮想オブジェクトは、テキスト形式であってもよいし、イメージ形式であってもよい。
【００９０】
仮想オブジェクト取得部３３２は、通信部３６０により受信される実オブジェクトの識別情報に関連付けられている仮想オブジェクトおよび設定情報を仮想オブジェクトＤＢ３２８から取得する。
【００９１】
通信部３６０は、携帯端末２０−４とのインタフェースであって、携帯端末２０−４へ情報を送信する送信部、および携帯端末２０−４から情報を受信する受信部として機能する。例えば、通信部３６０は、携帯端末２０−４から仮想オブジェクトの送信要求として実オブジェクトの識別情報を受信し、仮想オブジェクト取得部３３２により取得された仮想オブジェクトおよび設定情報を携帯端末２０−４に送信する。
【００９２】
以上説明したように、第４の実施形態によれば、ＡＲのための機能の一部をＡＲサーバ３０に実装することによりクラウドコンピューティングを実現することができる。なお、第４の実施形態では仮想オブジェクトＤＢ、および仮想オブジェクト取得部の機能をＡＲサーバ３０に実装する例を説明したが、ＡＲサーバ３０に実装する機能はかかる例に限定されない。例えば、画像認識部および特徴量ＤＢの機能もＡＲサーバ３０に実装してもよい。この場合、携帯端末２０−４は、撮像装置２１３により撮像された画像をＡＲサーバ３０に送信し、ＡＲサーバ３０が、実オブジェクトの認識および仮想オブジェクトの取得を行い、仮想オブジェクトを携帯端末２０−４に送信する。
【００９３】
さらに、リアルタイム認識画面および静止画操作画面の生成機能をＡＲサーバ３０に実装してもよい。この場合、携帯端末２０−４は、撮像装置２１４により撮像された画像をＡＲサーバ３０に送信し、ＡＲサーバ３０が、実オブジェクトの認識、仮想オブジェクトの取得、および仮想オブジェクトの重畳を行い、仮想オブジェクトが重畳されたリアルタイム認識画面または静止画操作画面を携帯端末２０−４に送信してもよい。このようにリアルタイム認識画面および静止画操作画面の生成機能をＡＲサーバ３０に実装する場合、ＡＲサーバ３０が表示制御装置として機能することとなる。
【００９４】
ところで、上記のようなＡＲシステムにおいて、携帯端末２０−４が静止画操作モードに遷移する時点でＡＲサーバ３０に仮想オブジェクトの送信を要求すると、仮想オブジェクトを受信して表示するまでの待ち時間の発生が懸念される。この点に鑑み、第４の実施形態による携帯端末２０−４は、静止画操作モードへの遷移基準が満たされる予兆がある場合に、静止画操作モードへの遷移基準が満たされる前に仮想オブジェクトの送信をＡＲサーバ３０に要求する。以下、図１３〜図１５を参照して具体的に説明する。
【００９５】
（第１の動作例）
図１３は、第４の実施形態の第１の動作例を示したシーケンス図である。なお、第１の動作例では、リアルタイム認識モードから静止画操作モードへの遷移基準が、ユーザがタッチパネル２７をタップしたこと、すなわち、ユーザの指がタッチパネル２７に接触した後にタッチパネル２７から離隔したことである場合を考える。
【００９６】
図１３に示したように、リアルタイム認識モードにおいてユーザの指とタッチパネル２７との接触が検出された場合（Ｓ５０４）、通信部２６０は、静止画操作モードへの遷移に先立って仮想オブジェクトの送信をＡＲサーバ３０に要求する（Ｓ５０８）。
【００９７】
ＡＲサーバ３０の仮想オブジェクト取得部３３２は、携帯端末２０−４からの要求に従って仮想オブジェクトＤＢ３２８から仮想オブジェクトを取得し（Ｓ５１２）、仮想オブジェクト取得部３３２により取得された仮想オブジェクトを通信部３６０が携帯端末２０−４に送信する（Ｓ５１６）。
【００９８】
その後、携帯端末２０−４の制御部２４４は、ユーザの指とタッチパネル２７との離隔が検出された場合（Ｓ５２０）、静止画操作モードに遷移して仮想オブジェクトを含む静止画操作画面をディスプレイ２６に表示する（Ｓ５２４）。
【００９９】
このように、携帯端末２０−４は、静止画操作モードへの遷移のためのユーザ操作の一部が検出された場合、静止画操作モードへの遷移に先立って仮想オブジェクトの送信を要求する。かかる構成により、静止画操作モードへの遷移時に円滑に静止画操作画面を表示することが可能となる。なお、制御部２４４は、当該動作例を適用しても静止画操作画面の表示のための待ち時間が発生する場合、ディスプレイにＬｏｄｉｎｇ表示を行ってもよい。
【０１００】
（第２の動作例）
図１４は、第４の実施形態の第２の動作例を示したシーケンス図である。なお、第２の動作例では、リアルタイム認識モードから静止画操作モードへの遷移基準が、リアルタイム認識モードにおいて画像認識部２２４により実オブジェクトが認識されたこと、かつ、ユーザがタッチパネル２７をタップしたことである場合を考える。
【０１０１】
図１４に示したように、リアルタイム認識モードにおいて画像認識部２２４により実オブジェクトが認識された場合（Ｓ６０４）、通信部２６０は、静止画操作モードへの遷移に先立って仮想オブジェクトの送信をＡＲサーバ３０に要求する（Ｓ６０８）。
【０１０２】
ＡＲサーバ３０の仮想オブジェクト取得部３３２は、携帯端末２０−４からの要求に従って仮想オブジェクトＤＢ３２８から仮想オブジェクトを取得し（Ｓ６１２）、仮想オブジェクト取得部３３２により取得された仮想オブジェクトを通信部３６０が携帯端末２０−４に送信する（Ｓ６１６）。
【０１０３】
その後、携帯端末２０−４の制御部２４４は、ユーザによりタッチパネル２７がタップされた場合（Ｓ６２０）、静止画操作モードに遷移して仮想オブジェクトを含む静止画操作画面をディスプレイ２６に表示する（Ｓ６２４）。
【０１０４】
このように、携帯端末２０−４は、静止画操作モードへの遷移のための一部の遷移基準が満たされた場合、静止画操作モードへの遷移に先立って仮想オブジェクトの送信を要求する。かかる構成により、第１の動作例と同様に、静止画操作モードへの遷移時に円滑に静止画操作画面を表示することが可能となる。
【０１０５】
（第３の動作例）
図１５は、第４の実施形態の第３の動作例を示したシーケンス図である。なお、第３の動作例では、リアルタイム認識モードから静止画操作モードへの遷移基準が、ユーザの指がタッチパネルに接触し、かつ、携帯端末２０−４の姿勢変化が検出されたことである場合を考える。
【０１０６】
図１５に示したように、ユーザの指とタッチパネル２７との接触が検出された場合（Ｓ７０４）、通信部２６０は、静止画操作モードへの遷移に先立って仮想オブジェクトの送信をＡＲサーバ３０に要求する（Ｓ７０８）。
【０１０７】
ＡＲサーバ３０の仮想オブジェクト取得部３３２は、携帯端末２０−４からの要求に従って仮想オブジェクトＤＢ３２８から仮想オブジェクトを取得し（Ｓ７１２）、仮想オブジェクト取得部３３２により取得された仮想オブジェクトを通信部３６０が携帯端末２０−４に送信する（Ｓ７１６）。
【０１０８】
その後、携帯端末２０−４の制御部２４４は、モーションセンサ２８により携帯端末２０−４の姿勢変化（所定の動きパターン）が検出された場合（Ｓ７２０）、静止画操作モードに遷移して仮想オブジェクトを含む静止画操作画面をディスプレイ２６に表示する（Ｓ７２４）。
【０１０９】
このような第３の動作例においても、第２の動作例と同様に、静止画操作モードへの遷移時に円滑に静止画操作画面を表示することが可能となる。
【０１１０】
＜＜３．むすび＞＞
以上説明したように、本開示による携帯端末２０は静止画操作モードを有するので、ユーザが携帯端末２０の撮像方向を実オブジェクトに向け続けなくても、実空間の静止画に仮想オブジェクトが重畳された静止画操作画面をディスプレイ２６に表示させることができる。このため、ユーザによる携帯端末２０の使用感、および仮想オブジェクトの表示の操作性を向上することが可能である。
【０１１１】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１２】
例えば、上記では、静止画操作モードへの遷移のトリガとなるユーザ操作の検出例として、タッチパネル２７によって検出されるタッチパネル２７への操作、モーションセンサ２８によって検出される携帯端末２０の動きを説明したが、ユーザ操作はかかる例に限定されない。他のユーザ操作の検出例として、ユーザのジェスチャ認識が挙げられる。ユーザのジェスチャは、撮像装置２１３により取得される画像に基づいて認識することも、他の撮像系により取得される画像に基づいて認識することも可能である。なお、撮像装置２１３または他の撮像系は、赤外線カメラ、Ｄｅｐｔｈカメラなどの機能によりユーザのジェスチャを撮像してもよい。
【０１１３】
また、上記実施形態では、表示制御装置が携帯端末２０である例を主に説明したが、表示制御装置は、ＴＶやディスプレイ装置など、携帯端末２０より比較的大きめの装置であってもよい。例えば、表示制御装置側からユーザを撮像する撮像系を表示制御装置に接続しまたは内蔵した上でユーザの全身を映すことのできる大型のディスプレイを利用することにより、ユーザ自身を映す鏡のような機能を構成し、ユーザ自身に仮想オブジェクトを重畳して当該仮想オブジェクトを操作させるようなＡＲアプリケーションを実現することも可能である。
【０１１４】
また、本明細書の携帯端末２０、またはＡＲサーバ３０の処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、携帯端末２０、またはＡＲサーバ３０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１１５】
また、携帯端末２０、またはＡＲサーバ３０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した携帯端末２０、またはＡＲサーバ３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【０１１６】
また、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる制御部を備える、表示制御装置。
（２）
前記実空間動画は、撮像装置により撮像中の実空間の動画を含む、（１）に記載の表示制御装置。
（３）
前記合成画に含まれる前記仮想オブジェクトの表示はユーザ操作により変化する、（１）または（２）に記載の表示制御装置。
（４）
前記表示制御装置は、前記実空間動画において前記実オブジェクトを認識する認識部をさらに備え、
前記制御部は、前記認識部により前記実オブジェクトが認識された場合に前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、（１）〜（３）のいずれか一項に記載の表示制御装置。
（５）
前記表示制御装置は、ユーザ操作を検出する操作検出部をさらに備え、
前記制御部は、前記操作検出部により所定のユーザ操作が検出された場合に前記表示装置の表示を遷移させる、（１）〜（４）のいずれか一項に記載の表示制御装置。
（６）
前記操作検出部は、前記表示装置上に配置されるタッチパネルに対する前記所定のユーザ操作を検出する、（５）に記載の表示制御装置。
（７）
前記制御部は、前記タッチパネルに対する前記実オブジェクトの判定領域におけるユーザ操作が検出された場合、前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、（６）に記載の表示制御装置。
（８）
前記制御部は、前記タッチパネルに対する前記実オブジェクトの判定領域以外におけるユーザ操作が検出された場合、前記表示装置の表示を前記合成画から前記実空間動画に遷移させる、（７）に記載の表示制御装置。
（９）
前記合成画は遷移操作ボタンを含み、
前記制御部は、前記タッチパネルに対する前記遷移操作ボタンにおけるユーザ操作が検出された場合、前記表示装置の表示を前記合成画から前記実空間動画に遷移させる、（８）に記載の表示制御装置。
（１０）
前記操作検出部は前記表示制御装置の動きを検出する動きセンサを含み、
前記制御部は、前記動きセンサにより第１の動きパターンが検出された場合、前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、（５）〜（９）のいずれか一項に記載の表示制御装置。
（１１）
前記制御部は、前記動きセンサにより、前記第１の動きパターンと異なる第２の動きパターンが検出された場合、前記合成画を前記実空間動画に遷移させる、（１０）に記載の表示制御装置。
（１２）
前記表示制御装置は、ネットワーク上のサーバと通信する通信部をさらに備え、
前記通信部は、前記実オブジェクトに対応する前記仮想オブジェクトを前記サーバから受信する、（１）〜（１１）のいずれか一項に記載の表示制御装置。
（１３）
前記通信部は、前記操作検出部により前記所定のユーザ操作の一部が検出された場合に前記仮想オブジェクトの送信を前記サーバに要求し、
前記制御部は、前記操作検出部により前記所定のユーザ操作の全体が検出された後に前記表示装置の表示を前記合成画に遷移させる、（１２）に記載の表示制御装置。
（１４）
前記通信部は、前記認識部により前記実オブジェクトが認識された場合に前記仮想オブジェクトの送信を前記サーバに要求し、
前記制御部は、前記操作検出部により前記所定のユーザ操作が検出された後に前記表示装置の表示を前記合成画に遷移させる、（１２）に記載の表示制御装置。
（１５）
前記表示制御装置は、前記実空間動画を構成する各フレームの品質を測定する品質測定部をさらに備え、
前記制御部は、前記品質測定部による測定結果に基づいて前記実空間の動画を構成する１つのフレームを前記合成画に含める前記静止画として選択する、（１）〜（１４）のいずれか一項に記載の表示制御装置。
（１６）
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる、表示制御方法。
（１７）
コンピュータを、
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる表示制御装置、として機能させるためのプログラム。
（１８）
前記実空間動画は、撮像装置により撮像中の実空間の動画を含む、（１７）に記載のプログラム。
（１９）
前記合成画に含まれる前記仮想オブジェクトの表示はユーザ操作により変化する、（１７）または（１８）に記載のプログラム。
（２０）
前記表示制御装置は、前記実空間動画において前記実オブジェクトを認識する認識部をさらに備え、
前記制御部は、前記認識部により前記実オブジェクトが認識された場合に前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、（１７）〜（１９）のいずれか一項に記載のプログラム。
【符号の説明】
【０１１７】
２０ 携帯端末
２６ ディスプレイ
２７ タッチパネル
２８ モーションセンサ
３０ ＡＲサーバ
２１３ 撮像装置
２２０ 特徴量ＤＢ
２２４ 画像認識部
２２８、３２８ 仮想オブジェクトＤＢ
２３２、３３２ 仮想オブジェクト取得部
２４１〜２４４ 制御部
２５０ ブレ測定部
２６０、３６０ 通信部
【特許請求の範囲】
【請求項１】
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる制御部を備える、表示制御装置。
【請求項２】
前記実空間動画は、撮像装置により撮像中の実空間の動画を含む、請求項１に記載の表示制御装置。
【請求項３】
前記合成画に含まれる前記仮想オブジェクトの表示はユーザ操作により変化する、請求項１に記載の表示制御装置。
【請求項４】
前記表示制御装置は、前記実空間動画において前記実オブジェクトを認識する認識部をさらに備え、
前記制御部は、前記認識部により前記実オブジェクトが認識された場合に前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、請求項１に記載の表示制御装置。
【請求項５】
前記表示制御装置は、ユーザ操作を検出する操作検出部をさらに備え、
前記制御部は、前記操作検出部により所定のユーザ操作が検出された場合に前記表示装置の表示を遷移させる、請求項１に記載の表示制御装置。
【請求項６】
前記操作検出部は、前記表示装置上に配置されるタッチパネルに対する前記所定のユーザ操作を検出する、請求項５に記載の表示制御装置。
【請求項７】
前記制御部は、前記タッチパネルに対する前記実オブジェクトの判定領域におけるユーザ操作が検出された場合、前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、請求項６に記載の表示制御装置。
【請求項８】
前記制御部は、前記タッチパネルに対する前記実オブジェクトの判定領域以外におけるユーザ操作が検出された場合、前記表示装置の表示を前記合成画から前記実空間動画に遷移させる、請求項７に記載の表示制御装置。
【請求項９】
前記合成画は遷移操作ボタンを含み、
前記制御部は、前記タッチパネルに対する前記遷移操作ボタンにおけるユーザ操作が検出された場合、前記表示装置の表示を前記合成画から前記実空間動画に遷移させる、請求項８に記載の表示制御装置。
【請求項１０】
前記操作検出部は前記表示制御装置の動きを検出する動きセンサを含み、
前記制御部は、前記動きセンサにより第１の動きパターンが検出された場合、前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、請求項５に記載の表示制御装置。
【請求項１１】
前記制御部は、前記動きセンサにより、前記第１の動きパターンと異なる第２の動きパターンが検出された場合、前記合成画を前記実空間動画に遷移させる、請求項１０に記載の表示制御装置。
【請求項１２】
前記表示制御装置は、ネットワーク上のサーバと通信する通信部をさらに備え、
前記通信部は、前記実オブジェクトに対応する前記仮想オブジェクトを前記サーバから受信する、請求項１に記載の表示制御装置。
【請求項１３】
前記通信部は、前記操作検出部により前記所定のユーザ操作の一部が検出された場合に前記仮想オブジェクトの送信を前記サーバに要求し、
前記制御部は、前記操作検出部により前記所定のユーザ操作の全体が検出された後に前記表示装置の表示を前記合成画に遷移させる、請求項１２に記載の表示制御装置。
【請求項１４】
前記通信部は、前記認識部により前記実オブジェクトが認識された場合に前記仮想オブジェクトの送信を前記サーバに要求し、
前記制御部は、前記操作検出部により前記所定のユーザ操作が検出された後に前記表示装置の表示を前記合成画に遷移させる、請求項１２に記載の表示制御装置。
【請求項１５】
前記表示制御装置は、前記実空間動画を構成する各フレームの品質を測定する品質測定部をさらに備え、
前記制御部は、前記品質測定部による測定結果に基づいて前記実空間の動画を構成する１つのフレームを前記合成画に含める前記静止画として選択する、請求項１に記載の表示制御装置。
【請求項１６】
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる、表示制御方法。
【請求項１７】
コンピュータを、
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる表示制御装置、として機能させるためのプログラム。
【請求項１８】
前記実空間動画は、撮像装置により撮像中の実空間の動画を含む、請求項１７に記載のプログラム。
【請求項１９】
前記合成画に含まれる前記仮想オブジェクトの表示はユーザ操作により変化する、請求項１７に記載のプログラム。
【請求項２０】
前記表示制御装置は、前記実空間動画において前記実オブジェクトを認識する認識部をさらに備え、
前記制御部は、前記認識部により前記実オブジェクトが認識された場合に前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、請求項１７に記載のプログラム。
【請求項１】
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる制御部を備える、表示制御装置。
【請求項２】
前記実空間動画は、撮像装置により撮像中の実空間の動画を含む、請求項１に記載の表示制御装置。
【請求項３】
前記合成画に含まれる前記仮想オブジェクトの表示はユーザ操作により変化する、請求項１に記載の表示制御装置。
【請求項４】
前記表示制御装置は、前記実空間動画において前記実オブジェクトを認識する認識部をさらに備え、
前記制御部は、前記認識部により前記実オブジェクトが認識された場合に前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、請求項１に記載の表示制御装置。
【請求項５】
前記表示制御装置は、ユーザ操作を検出する操作検出部をさらに備え、
前記制御部は、前記操作検出部により所定のユーザ操作が検出された場合に前記表示装置の表示を遷移させる、請求項１に記載の表示制御装置。
【請求項６】
前記操作検出部は、前記表示装置上に配置されるタッチパネルに対する前記所定のユーザ操作を検出する、請求項５に記載の表示制御装置。
【請求項７】
前記制御部は、前記タッチパネルに対する前記実オブジェクトの判定領域におけるユーザ操作が検出された場合、前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、請求項６に記載の表示制御装置。
【請求項８】
前記制御部は、前記タッチパネルに対する前記実オブジェクトの判定領域以外におけるユーザ操作が検出された場合、前記表示装置の表示を前記合成画から前記実空間動画に遷移させる、請求項７に記載の表示制御装置。
【請求項９】
前記合成画は遷移操作ボタンを含み、
前記制御部は、前記タッチパネルに対する前記遷移操作ボタンにおけるユーザ操作が検出された場合、前記表示装置の表示を前記合成画から前記実空間動画に遷移させる、請求項８に記載の表示制御装置。
【請求項１０】
前記操作検出部は前記表示制御装置の動きを検出する動きセンサを含み、
前記制御部は、前記動きセンサにより第１の動きパターンが検出された場合、前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、請求項５に記載の表示制御装置。
【請求項１１】
前記制御部は、前記動きセンサにより、前記第１の動きパターンと異なる第２の動きパターンが検出された場合、前記合成画を前記実空間動画に遷移させる、請求項１０に記載の表示制御装置。
【請求項１２】
前記表示制御装置は、ネットワーク上のサーバと通信する通信部をさらに備え、
前記通信部は、前記実オブジェクトに対応する前記仮想オブジェクトを前記サーバから受信する、請求項１に記載の表示制御装置。
【請求項１３】
前記通信部は、前記操作検出部により前記所定のユーザ操作の一部が検出された場合に前記仮想オブジェクトの送信を前記サーバに要求し、
前記制御部は、前記操作検出部により前記所定のユーザ操作の全体が検出された後に前記表示装置の表示を前記合成画に遷移させる、請求項１２に記載の表示制御装置。
【請求項１４】
前記通信部は、前記認識部により前記実オブジェクトが認識された場合に前記仮想オブジェクトの送信を前記サーバに要求し、
前記制御部は、前記操作検出部により前記所定のユーザ操作が検出された後に前記表示装置の表示を前記合成画に遷移させる、請求項１２に記載の表示制御装置。
【請求項１５】
前記表示制御装置は、前記実空間動画を構成する各フレームの品質を測定する品質測定部をさらに備え、
前記制御部は、前記品質測定部による測定結果に基づいて前記実空間の動画を構成する１つのフレームを前記合成画に含める前記静止画として選択する、請求項１に記載の表示制御装置。
【請求項１６】
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる、表示制御方法。
【請求項１７】
コンピュータを、
実空間の動画を含む実空間動画と、実空間の静止画および前記静止画に含まれる実オブジェクトに対応する仮想オブジェクトを含む合成画と、の間で表示装置の表示を遷移させる表示制御装置、として機能させるためのプログラム。
【請求項１８】
前記実空間動画は、撮像装置により撮像中の実空間の動画を含む、請求項１７に記載のプログラム。
【請求項１９】
前記合成画に含まれる前記仮想オブジェクトの表示はユーザ操作により変化する、請求項１７に記載のプログラム。
【請求項２０】
前記表示制御装置は、前記実空間動画において前記実オブジェクトを認識する認識部をさらに備え、
前記制御部は、前記認識部により前記実オブジェクトが認識された場合に前記表示装置の表示を前記実空間動画から前記合成画に遷移させる、請求項１７に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２１２３４３（Ｐ２０１２−２１２３４３Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７８０７２（Ｐ２０１１−７８０７２）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]