表示制御装置、表示制御方法、およびプログラム
【課題】ユーザに対する利便性を向上することが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提供する。
【解決手段】時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、前記表示制御部は、前記領域に対して前記仮想表示を付加する、表示制御装置。前記実オブジェクトは、例えば、放送時間およびチャンネルと関連付けられた複数の領域を含む番組表である。前記表示制御部は、例えば、番組に関して保存されている情報に応じた仮想表示を、前記番組に対応する領域に付加する。
【解決手段】時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、前記表示制御部は、前記領域に対して前記仮想表示を付加する、表示制御装置。前記実オブジェクトは、例えば、放送時間およびチャンネルと関連付けられた複数の領域を含む番組表である。前記表示制御部は、例えば、番組に関して保存されている情報に応じた仮想表示を、前記番組に対応する領域に付加する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、画像認識技術が高度化しており、撮像装置からの入力画像に含まれる実オブジェクト（例えば、看板やビルなどの物体）の位置や姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）アプリケーションが知られている。ＡＲアプリケーションによれば、実空間画像に含まれる実オブジェクトに、実オブジェクトに対応付けられた仮想オブジェクト（例えば、広告情報、ナビゲーション情報、またはゲームのための情報）を重畳することができる。なお、このようなＡＲアプリケーションについては、例えば、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願２０１０−２３８０９８
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、撮像機能を有する携帯端末でユーザがＡＲアプリケーションを利用する場合、ユーザは、実オブジェクトに付加された仮想オブジェクトを閲覧することにより有益な情報を得ることができる。しかし、領域（例えば、時間と関連付けられた領域）を含む実オブジェクトをユーザが閲覧する場合、その領域に対して仮想オブジェクトが付加されないため、ユーザは注目すべき領域を把握できず、ユーザに対する利便性が低い。
【０００５】
そこで、本開示では、ユーザに対する利便性を向上することが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、前記表示制御部は、前記領域に対して前記仮想表示を付加する、表示制御装置が提供される。
【０００７】
また、本開示によれば、時間と関連付けられた領域を含む実オブジェクトの当該領域に対して仮想表示を付加する、表示制御方法が提供される。
【０００８】
また、本開示によれば、コンピュータを、時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、前記表示制御部は、前記領域に対して前記仮想表示を付加する、表示制御装置として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように、本開示に係る表示制御装置、表示制御方法、およびプログラムによれば、ユーザに対する利便性を向上することが可能である。
【図面の簡単な説明】
【００１０】
【図１】本開示によるＡＲシステムの構成を示した説明図である。
【図２】携帯端末のハードウェア構成を示した説明図である。
【図３】携帯端末の構成を示した機能ブロック図である。
【図４】領域情報の一例を示した説明図である。
【図５】構成情報の一例を示した説明図である。
【図６】実オブジェクトの位置および姿勢の認識手法の一例を示した説明図である。
【図７】仮想オブジェクトの表示の一例を示した説明図である。
【図８】仮想オブジェクトの表示の他の一例を示した説明図である。
【図９】仮想オブジェクトに対するユーザ操作により表示される操作画面の一例を示した説明図である。
【図１０】仮想オブジェクトに対するユーザ操作により表示される操作画面の他の一例を示した説明図である。
【図１１】ユーザ操作により表示される操作画面の一例を示した説明図である。
【図１２】ユーザ操作により表示される操作画面の他の一例を示した説明図である。
【図１３】実オブジェクト撮像の前段階としてなされる動作を示したシーケンス図である。
【図１４】実オブジェクト撮像以降の動作を示したシーケンス図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１３】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．ＡＲシステムの概要
２．実施形態の説明
３．むすび
【００１４】
＜＜１．ＡＲシステムの概要＞＞
以下では、まず、本開示によるＡＲシステムの基本構成について図１を参照して説明する。
【００１５】
図１は、本開示によるＡＲシステムの構成を示した説明図である。図１に示したように、本開示によるＡＲシステムは、録画装置１０と携帯端末２０とを含む。この携帯端末２０は、実空間画像を撮像し、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクト（以下、「仮想表示」とも言う。）を実オブジェクトに付加することができる。仮想オブジェクトは、ディスプレイ２６に表示され得る。なお、実オブジェクトは、実空間画像であってもよく、実空間自体であってもよい。
【００１６】
例えば、実オブジェクトが図１に示したような番組表４０である場合、携帯端末２０は、番組表４０を含む実空間を撮像することにより、番組表４０に対応する仮想オブジェクトを実オブジェクトに付加することができる。仮想オブジェクトはディスプレイ２６に表示され得る。ユーザは、このような仮想オブジェクトを視認することにより、実空間からは得られない情報を把握することができる。
【００１７】
また、携帯端末２０は、ユーザ操作に応じて処理の実行を制御することができる。ユーザ操作に応じた処理は、携帯端末２０により実行されてもよく、携帯端末２０からコマンドを受信した装置（例えば、録画装置１０）により実行されてもよい。例えば、携帯端末２０は、番組の録画予約を行う旨を示すユーザ操作がなされた場合には、番組の録画予約を制御することができる。番組の録画予約を行う旨を示すユーザ操作がなされた場合には、携帯端末２０は、録画装置１０に対して番組の録画予約を行うためのコマンドを送信し、当該コマンドを受信した録画装置１０は、番組の録画予約を行うことができる。
【００１８】
表示装置５０は、例えば、録画装置１０により録画された番組が再生された場合に、再生された番組を表示することが可能である。なお、表示装置５０は、本開示の実施形態においては、必須の装置ではない。
【００１９】
なお、図１においては、携帯端末２０の一例としてスマートフォンを示したが、携帯端末２０はスマートフォンに限定されない。例えば、携帯端末２０は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、または携帯用ゲーム機器であってもよい。さらに、携帯端末２０は表示制御装置の一例に過ぎず、表示制御装置はネットワーク側に設けられるサーバであってもよい。
【００２０】
また、図１においては、実オブジェクトの一例として番組表４０を示したが、実オブジェクトは番組表４０に限定されない。例えば、実オブジェクトは、番組表４０と同様に、時間と関連付けられた領域を含む表（例えば、カレンダー、スケジュール表）であってもよい。
【００２１】
ところで、上述したＡＲアプリケーションは、仮想オブジェクトを実オブジェクトに付加することが可能である。しかし、時間と関連付けられた領域が実オブジェクトに含まれる場合であっても、その領域に仮想オブジェクトを付加することは困難である。時間と関連付けられた領域に対して仮想オブジェクトが付加されれば、ユーザにとって利便性が向上する。例えば、番組表４０の番組欄に仮想オブジェクトが付加されれば、ユーザが注目すべき番組を特定しやすくなり利便性が向上する。
【００２２】
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、ユーザによる携帯端末２０の利便性を向上することが可能である。以下、図２を参照してこのような携帯端末２０のハードウェア構成を説明した後、本開示の実施形態について詳細に説明する。
【００２３】
（携帯端末のハードウェア構成）
図３は、携帯端末２０のハードウェア構成を示した説明図である。図３に示したように、携帯端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。
【００２４】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って携帯端末２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【００２５】
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。携帯端末２０のユーザは、該入力装置２０８を操作することにより、携帯端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００２６】
出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【００２７】
ストレージ装置２１１は、本実施形態にかかる携帯端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
【００２８】
ドライブ２１２は、記憶媒体用リーダライタであり、携帯端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
【００２９】
撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
【００３０】
通信装置２１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置２１５は、例えば、ネットワークを介して録画装置１０と通信を行うことが可能である。
【００３１】
なお、ネットワークは、ネットワークに接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワークは、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワークは、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００３２】
＜＜２．実施形態の説明＞＞
以上、図１および図２を参照し、本開示によるＡＲシステムの基本構成を説明した。以下、図３〜図１４を参照し、本開示による実施形態について詳細に説明する。
【００３３】
（携帯端末の構成）
図３は、本実施形態による携帯端末２０の構成を示した機能ブロック図である。図３に示したように、本実施形態による携帯端末２０は、ディスプレイ２６と、タッチパネル２７と、撮像装置２１３と、認識用辞書受信部２２０と、認識用辞書記憶部２２２と、状態情報受信部２２４と、領域情報受信部２２６と、を備える。また、本実施形態による携帯端末２０は、構成情報生成部２２８と、構成情報記憶部２３０と、認識部２３２と、領域判定部２３４と、表示制御部２３６と、操作検出部２４０と、実行制御部２４４と、コマンド送信部２４８と、を備える。
【００３４】
ディスプレイ２６は、ＬＣＤまたはＯＬＥＤなどにより構成される表示モジュールである。ディスプレイ２６は、表示制御部２３６による制御に従って多様な画面を表示する。例えば、ディスプレイ２６は、実オブジェクトに付加される仮想オブジェクトを表示することができる。実オブジェクトが実空間画像（実空間静止画、または実空間動画）の場合には、実空間画像を表示することもできる。実空間画像は、現在に撮像された空間の画像であってもよく、過去に撮像された実空間の画像であってもよい。
【００３５】
また、図３においてはディスプレイ２６が携帯端末２０の一部として実装される例を示したが、ディスプレイ２６は、携帯端末２０とは別体に構成されてもよい。また、ディスプレイ２６は、ユーザの頭部に装着されるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってもよい。
【００３６】
タッチパネル２７は、ディスプレイ２６に積層されてもよく、ディスプレイ２６から離れた場所に配置されてもよい。タッチパネル２７は、ユーザの指やタッチペンなどの操作体の近接または接触を検出することができる。タッチパネル２７により検出された操作体の近接または接触は、ユーザ操作として操作検出部２４０に通知される。なお、タッチパネル２７は、携帯端末２０は、キーボードおよびボタンなどの他の操作用の構成を含んでもよい。
【００３７】
撮像装置２１３は、撮像光学系および信号変換素子を備え、実空間を撮像することにより撮像画像（動画または静止画）を取得する。なお、撮像装置２１３は、動画撮像用の構成と、静止画撮像用の構成を別個に備えてもよい。
【００３８】
認識用辞書受信部２２０は、認識用辞書サーバ７０から実オブジェクトを認識するために使用される認識用辞書を受信する。認識用辞書受信部２２０は、例えば、ネットワークを介して認識用辞書サーバ７０から認識用辞書を受信する。ここで使用されるネットワークは、録画装置１０が接続されているネットワークと同一であってもよいし、異なっていてもよい。具体的には、認識用辞書は、各実オブジェクトを識別するための識別情報と各実オブジェクトの特徴量データとが関連付けられてなる。特徴量データは、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法に従って実オブジェクトの学習用画像から決定された特徴量の集合であってもよい。
【００３９】
認識用辞書記憶部２２２は、認識用辞書を記憶する。例えば、認識用辞書記憶部２２２は、認識用辞書受信部２２０により受信された認識用辞書を記憶することができる。しかしながら、認識用辞書記憶部２２２により記憶される認識用辞書は、認識用辞書受信部２２０により受信された認識用辞書に限定されない。例えば、認識用辞書記憶部２２２は、記憶媒体から読み込まれた認識用辞書を記憶してもよい。
【００４０】
状態情報受信部２２４は、録画装置１０から状態情報を受信する。状態情報は、番組の状態を示す情報であり、例えば、番組の録画予約状況（例えば、予約済み、録画済み、未予約など）により示される。録画装置１０は、状態情報記憶部１１０、状態情報送信部１２０、コマンド受信部１３０およびコマンド実行部１４０を備えている。状態情報記憶部１１０は、状態情報を記憶しており、状態情報送信部１２０は、状態情報記憶部１１０により記憶されている状態情報を、ネットワークを介して携帯端末２０に送信する。コマンド受信部１３０およびコマンド実行部１４０については後に説明する。
【００４１】
領域情報受信部２２６は、領域情報サーバ８０から領域情報を受信する。領域情報受信部２２６は、例えば、ネットワークを介して領域情報サーバ８０から領域情報を受信する。ここで使用されるネットワークは、録画装置１０が接続されているネットワークと同一であってもよいし異なっていてもよい。また、認識用辞書サーバ７０が接続されているネットワークと同一であってもよいし異なっていてもよい。
【００４２】
ここで、図４を参照し、領域情報の一例について説明する。図４は、領域情報の一例を示した説明図である。領域情報は、実オブジェクトに含まれている領域の位置及び大きさを示す情報である。領域の位置は、例えば、実オブジェクトの所定点の位置を基準とした場合における領域の所定点の位置により表現され得る。
【００４３】
図４に示した例では、実オブジェクトの左上隅を実オブジェクトの所定点としているが、実オブジェクトの所定点は実オブジェクトの左上隅でなくてもよい。また、図４に示した例では、領域の左上隅を領域の所定点としているが、領域の所定点は領域の左上隅でなくてもよい。また、図４に示した例では、実オブジェクトの所定点の位置を（０，０）と表現し、領域の所定点の位置を（Ｘ１，Ｙ１）と表現し、領域の大きさを（Ｗ１，Ｈ１）と表現しているが、表現の形式は特に限定されない。例えば、これらの値（Ｘ１，Ｙ１，Ｗ１，Ｈ１）は、絶対単位（例えば、実オブジェクトの実寸と同じ単位）であってもよく、相対単位（例えば、実オブジェクトの横または縦の大きさを１とした場合における相対値）であってもよい。
【００４４】
構成情報生成部２２８は、状態情報受信部２２４により受信された状態情報と領域情報受信部２２６により受信された領域情報とに基づいて構成情報を生成する。ここで、図５を参照し、構成情報の一例について説明する。図５は、構成情報の一例を示した説明図である。構成情報生成部２２８は、例えば、状態情報受信部２２４により受信された状態情報と領域情報受信部２２６により受信された領域情報との間に関連する情報同士が存在すれば、関連する情報同士を関連付けることにより構成情報を生成することができる。
【００４５】
例えば、状態情報受信部２２４により受信された状態情報に番組情報（例えば、番組の放送時間および番組のチャンネル）が付加されており、領域情報受信部２２６により受信された領域情報に番組情報が付加されている場合には、同一の番組情報が付加されている状態情報および領域情報が関連すると判断し、その状態情報および領域情報を関連付けることにより構成情報を生成することができる。図５に示したように、番組情報には、番組の放送時間および番組のチャンネル以外に番組名が含まれていてもよい。また、番組情報の代わりに、Ｇコードなどの番組を識別するための情報が使用されてもよい。
【００４６】
図３に戻って説明を続ける。構成情報記憶部２３０は、構成情報を記憶する。例えば、構成情報記憶部２３０は、構成情報生成部２２８により生成された構成情報を記憶することができる。しかしながら、構成情報記憶部２３０により記憶される構成情報は、構成情報生成部２２８により生成された構成情報に限定されない。例えば、構成情報記憶部２３０は、記憶媒体から読み込まれた構成情報を記憶してもよい。その代わりに、構成情報記憶部２３０は、所定のサーバから受信された構成情報を記憶してもよい。
【００４７】
認識部２３２は、撮像装置２１３により撮像された実空間画像に含まれる実オブジェクト、および当該実オブジェクトの実空間画像における位置および姿勢を認識する。例えば、認識部２３２は、実空間画像から決定される特徴量を認識用辞書記憶部２２２に記憶されている各実オブジェクトの特徴量と照合することにより、実空間画像に含まれる実オブジェクトを認識する。
【００４８】
より具体的には、認識部２３２は、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法などの特徴量決定法に従って実空間画像内の実オブジェクトの特徴量を決定し、決定した特徴量を認識用辞書記憶部２２２に記憶されている各実オブジェクトの特徴量と照合する。そして、認識部２３２は、実空間画像内の実オブジェクトの特徴量と最も適合する特徴量と関連付けられている実オブジェクトの識別情報、実空間画像における位置および姿勢を認識する。
【００４９】
なお、実オブジェクトの認識はかかる例に限定されない。例えば、認識部２３２は、実オブジェクトに関連付けられている既知の図形若しくは記号、人工マーカ（例えば、バーコード若しくはＱＲコード）または自然マーカなどのマーカを認識することにより、当該実オブジェクトを間接的に認識してもよい。また、認識部２３２は、既知の図形若しくは記号、人工マーカまたは自然マーカなどの実オブジェクトを認識し、当該実オブジェクトの実空間画像におけるサイズおよび形状から当該実オブジェクトの位置および姿勢を認識してもよい。
【００５０】
また、上記では、実空間画像に含まれる実オブジェクトの位置および姿勢を画像処理により認識する例を説明したが、実オブジェクトの位置および姿勢の認識方法は画像処理に限定されない。例えば、撮像装置２１３が向けられている方向、および携帯端末２０の現在位置を検出し、検出結果に基づいて実空間画像に含まれている実オブジェクト、実空間画像における当該実オブジェクトの位置および姿勢を推定することも可能である。
【００５１】
あるいは、認識部２３２は、ピンホールカメラモデルに従って当該実オブジェクトの位置および姿勢を認識してもよい。ピンホールカメラモデルは、ＯｐｅｎＧＬの透視法（遠近法）の射影変換と同じであり、透視法で作成されるＣＧの視点モデルは、ピンホールカメラモデルと同一とすることができる。
【００５２】
図６は、実オブジェクトの位置および姿勢の認識手法の一例を示した説明図であり、特に、ピンホールカメラモデルに従って実オブジェクトの位置および姿勢を認識する手法について示した図である。以下、ピンホールカメラモデルに従って実オブジェクトの位置および姿勢を認識する手法について説明する。
【００５３】
ピンホールカメラモデルにおいて、画像フレーム中の特徴点の位置は下式（１）によって計算され得る。
【００５４】
【数１】
【００５５】
式（１）は、撮影画像平面に含まれるオブジェクトの点（ｍ）の撮影画像平面の画素位置（すなわち、カメラ座標系によって表現されている位置）と、世界座標系におけるオブジェクトの３次元位置（Ｍ）との対応関係を示す式である。撮影画像平面の画素位置は、カメラ座標系によって表現されている。カメラ座標系は、カメラ（撮像装置２１３）の焦点を原点Ｃとして、撮影画像平面をＸｃ，Ｙｃの二次元平面により表現し、奥行きをＺｃとして表現した座標系であり、カメラの動きによって原点Ｃは移動する。
【００５６】
一方、オブジェクトの３次元位置（Ｍ）は、カメラの動きによって移動しない原点Ｏを有するＸＹＺ三軸からなる世界座標系によって示される。この異なる座標系でのオブジェクトの位置の対応関係を示す式が上述のピンホールカメラモデルとして定義される。
【００５７】
この式に含まれる各値は、
λ：正規化パラメータ
Ａ：カメラ内部パラメータ、
Ｃｗ：カメラ位置、
Ｒｗ：カメラ回転行列、
を意味している。
【００５８】
さらに、図６に示したように、
【００５９】
【数２】
は、カメラ座標系で表現された撮影画像平面上の位置である。λは、正規化パラメータであり、
【００６０】
【数３】
の第３項を満足させるための値である。
【００６１】
なお、カメラ内部パラメータＡには、以下の値が含まれる。
f：焦点距離
θ：画像軸の直交性（理想値は９０°）
ｋｕ：縦軸のスケール（３次元位置のスケールから二次元画像のスケールへの変換）
ｋｖ：横軸のスケール（３次元位置のスケールから二次元画像のスケールへの変換）
（ｕ０，ｖ０）：画像中心位置
【００６２】
このように、世界座標系にある特徴点は位置［Ｍ］で表現される。また、カメラは位置［Ｃｗ］と姿勢（回転行列）Ｒｗで表現される。カメラの焦点位置・画像中心等はカメラ内部パラメータ［Ａ］で表現される。位置［Ｍ］、位置［Ｃｗ］およびカメラ内部パラメータ［Ａ］は、下式（４）〜（６）によって表現され得る。
【００６３】
【数４】
【００６４】
【数５】
【００６５】
【数６】
これらのパラメータから、「世界座標系にある特徴点」から「撮影画像平面上」に射影されるそれぞれの位置が、上述した式（１）によって表現され得る。なお、認識部２３２は、カメラの位置［Ｃｗ］と姿勢（回転行列）Ｒｗとを、例えば、以下の文献に記載されているRANSAC
based 3 point algorithmを適用して求めることができる。
【００６６】
M. A.
Fischler and R. C. Bolles, “Random sample consensus: A paradigm for model
fitting with applications to image analysis and automated cartography”,
Communications of the ACM, Volume 24 Issue 6 (1981)
【００６７】
なお、携帯端末２０がカメラの位置および姿勢を測定できるセンサ、または、カメラの位置および姿勢の変化を測定できるセンサを備える場合には、認識部２３２は、センサにより検出された値に基づいて、カメラの位置［Ｃｗ］と姿勢（回転行列）Ｒｗとを取得してもよい。
【００６８】
このような手法により、実オブジェクトが認識される。認識部２３２により実オブジェクトが認識された場合、表示制御部２３６は、実オブジェクトが認識された旨を示す表示を実オブジェクトに付加してもよい。かかる表示をユーザが目にすることにより、実オブジェクトが携帯端末２０により認識されていることを把握することができる。実オブジェクトが認識された旨を示す表示は特に限定されない。例えば、実オブジェクトとして番組表４０が認識部２３２により認識された場合、実オブジェクトが認識された旨を示す表示は、番組表４０を囲うような枠（例えば、緑色の枠）であってもよいし、番組表４０を透明色により塗りつぶすような表示でもよい。
【００６９】
認識部２３２により実オブジェクトが認識されていない場合、表示制御部２３６は、実オブジェクトが認識されていない旨を示す表示を表示するようディスプレイ２６を制御してもよい。かかる表示をユーザが目にすることにより、実オブジェクトが携帯端末２０により認識されていないことを把握することができる。実オブジェクトが認識されていない旨を示す表示は特に限定されない。例えば、実オブジェクトが認識されていない旨を示す表示は、「？」マークであってもよい。また、表示制御部２３６は、「？」マークの隣に認識されていない物体の縮小画像を表示するようディスプレイ２６を制御してもよい。
【００７０】
また、認識部２３２により実オブジェクトが一意に認識されない場合も想定される。かかる場合には、表示制御部２３６は、認識部２３２により認識された複数の実オブジェクトを候補としてディスプレイ２６に表示させてもよい。そうすれば、ユーザは、ディスプレイ２６により表示された複数の実オブジェクトの中から所望の実オブジェクトを見つけた場合には、タッチパネル２７に対して所望のオブジェクトを選択する操作を入力することができる。認識部２３２は、操作検出部２４０により検出された操作に基づいて、実オブジェクトを認識することができる。
【００７１】
図３に戻って説明を続ける。領域判定部２３４は、撮像画像における実オブジェクトに含まれる領域を判定する。領域判定部２３４は、例えば、構成情報記憶部２３０により記憶されている構成情報に基づいて領域を判定する。例えば、領域判定部２３４は、構成情報に含まれている領域情報が示す領域を実オブジェクトに含まれる領域として判定することができる。また、領域判定部２３４は、認識部２３２により認識された実オブジェクトの位置および姿勢と構成情報に含まれている領域情報とに基づいて領域を判定することもできる。
【００７２】
表示制御部２３６は、時間（例えば、放送時間）と関連付けられた領域を含む実オブジェクトに仮想オブジェクトを付加する。表示制御部２３６は、例えば、実オブジェクトに含まれる領域に対して仮想オブジェクトを付加することができる。実オブジェクトに含まれる領域は、領域判定部２３４により判定され得る。例えば、仮想オブジェクトが実オブジェクトごとに記憶されている場合には、表示制御部２３６は、実オブジェクトに対応する仮想オブジェクトを領域に対して付加することができる。
【００７３】
操作検出部２４０は、ユーザからの操作を検出する。操作検出部２４０は、例えば、タッチパネル２７に対して入力されたユーザ操作を検出することができる。しかしながら、ユーザ操作の入力は、タッチパネル２７以外の入力装置により受け付けられてもよい。例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどの入力装置であってもよい。
【００７４】
実行制御部２４４は、ユーザ操作に応じて処理の実行を制御する。例えば、実行制御部２４４は、操作検出部２４０により仮想オブジェクトに対するユーザ操作が検出された場合には、仮想オブジェクトに対応する処理の実行を制御する。かかる処理は、携帯端末２０自身により実行されてもよく、携帯端末２０以外の装置（例えば、録画装置１０）により実行されてもよい。
【００７５】
録画装置１０に処理を実行させる場合には、携帯端末２０のコマンド送信部２４８により処理の実行を指示するコマンドが録画装置１０に送信され、録画装置１０のコマンド受信部１３０によりコマンドが受信される。録画装置１０のコマンド実行部１４０は、コマンド受信部１３０によりコマンドが受信されると、受信されたコマンドにより指定される処理を実行する。録画装置１０により実行される処理としては、録画されている番組の再生および消去、番組の録画予約、番組の予約中止などが想定される。
【００７６】
ここで、図７を参照し、仮想オブジェクトの表示の一例について説明する。図７は、仮想オブジェクトの表示の一例を示した説明図である。図７に示したように、実オブジェクトが番組表４０である場合、複数の領域の各々は、放送時間およびチャンネルと関連付けられており、例えば、表示制御部２３６は、実オブジェクトの各領域に対して、仮想オブジェクトＶ２１、Ｖ２３、Ｖ２４を付加することができる。図７に示した例では、領域全体を透明色により塗りつぶすような仮想オブジェクトが付加されている。
【００７７】
しかしながら、表示制御部２３６は、実オブジェクトの領域全体に対して仮想オブジェクトを付加する必要はない。例えば、表示制御部２３６は、領域の一部に対して仮想オブジェクトを付加してもよく、領域から伸びた引き出し線の先に仮想オブジェクトを付加してもよい。
【００７８】
表示制御部２３６は、各領域に対して同一の仮想オブジェクトを付加してもよいが、番組に関して保存されている情報に応じた仮想オブジェクトを、番組に対応する領域に付加してもよい。図７に示した例では、表示制御部２３６は、状態情報が「録画済み」である番組に対応する領域には、「録画済み」に対応する仮想オブジェクトＶ１１、Ｖ１２を付加している。また、表示制御部２３６は、状態情報が「未予約」である番組に対応する領域には、「未予約」に対応する仮想オブジェクトＶ１３を付加している。また、表示制御部２３６は、状態情報が「予約済み」である番組に対応する領域には、「予約済み」に対応する仮想オブジェクトＶ１４を付加している。
【００７９】
表示制御部２３６により付加される仮想オブジェクトは、例えば、携帯端末２０の記憶部により記憶されている。仮想オブジェクトが状態情報ごとに記憶されていれば、表示制御部２３６は、状態情報に関連する仮想オブジェクトを領域に対して付加することができる。仮想オブジェクトは、テキスト形式であってもよいし、イメージ形式であってもよい。
【００８０】
図７に示した例において、仮想オブジェクトＶ１１は、「再生」という文字により表現されているが、「再生」の省略文字（例えば、「Ｐ」）などにより表現されてもよい。また、仮想オブジェクトＶ１１は、再生を示す記号により表現されてもよい。同様に、仮想オブジェクトＶ１２は、「消去」という文字により表現されているが、「消去」の省略文字（例えば、「Ｄ」）などにより表現されてもよい。また、仮想オブジェクトＶ１２は、消去を示す記号により表現されてもよい。
【００８１】
同様に、仮想オブジェクトＶ１３は、「録画予約」という文字により表現されているが、「録画予約」の省略文字（例えば、「Ｒ」）などにより表現されてもよい。また、仮想オブジェクトＶ１３は、録画予約を示す記号により表現されてもよい。同様に、仮想オブジェクトＶ１４は、「予約中止」という文字により表現されているが、「予約中止」の省略文字（例えば、「Ｃ」）などにより表現されてもよい。また、仮想オブジェクトＶ１４は、予約中止を示す記号により表現されてもよい。
【００８２】
さらに、図７に示したように、表示制御部２３６は、現在時刻を実オブジェクトに付加してもよい。例えば、携帯端末２０は、携帯端末２０の内部又は外部に設置されている時計から現在時刻を取得し、取得した現在時刻を実オブジェクトに付加することができる。また、図７に示したように、実オブジェクトにおける現在時刻に対応する位置にラインを付加してもよい。このような情報が付加されれば、これから放送が開始する番組、既に放送が開始されている番組、既に放送が終了している番組などを容易に把握することができる。
【００８３】
図７に示した例において、例えば、実行制御部２４４は、操作検出部２４０により仮想オブジェクトＶ１１に対するユーザ操作が検出された場合には、その番組に関する「再生」の実行を制御する。実行制御部２４４は、操作検出部２４０により仮想オブジェクトＶ１２に対するユーザ操作が検出された場合には、その番組に関する「消去」の実行を制御する。実行制御部２４４は、操作検出部２４０により仮想オブジェクトＶ１３に対するユーザ操作が検出された場合には、その番組に関する「録画予約」の実行を制御する。実行制御部２４４は、操作検出部２４０により仮想オブジェクトＶ１４に対するユーザ操作が検出された場合には、その番組に関する「予約中止」の実行を制御する。
【００８４】
ここで、図８を参照し、仮想オブジェクトの表示の他の一例について説明する。図８は、仮想オブジェクトの表示の他の一例を示した説明図である。図８に示した例では、表示制御部２３６が、番組に対応する領域の一例として番組表４０の左隅の欄に仮想オブジェクトを付加している。
【００８５】
表示制御部２３６は、状態情報が「録画済み」である番組に対応する領域には、番組名（例えば、「おひさま」、「みつけた」など）と「録画済み」との組み合わせにより構成される仮想オブジェクトＶ１１１、Ｖ１１２を付加している。また、表示制御部２３６は、状態情報が「未予約」である番組に対応する領域には、番組名（例えば、「歌う人」など）と「未予約」との組み合わせにより構成される仮想オブジェクトＶ１４１を付加している。また、表示制御部２３６は、状態情報が「予約済み」である番組に対応する領域には、番組名（例えば、「歴史」など）と「予約済み」との組み合わせにより構成される仮想オブジェクトＶ１３１を付加している。
【００８６】
ここで、図９を参照し、仮想オブジェクトに対するユーザ操作により表示される操作画面の一例について説明する。図９は、仮想オブジェクトに対するユーザ操作により表示される操作画面の一例を示した説明図である。図９に示した例では、表示制御部２３６は、ユーザ操作を行うための仮想オブジェクトを実オブジェクトに付加していない。
【００８７】
その代わりに、図９に示した例では、表示制御部２３６は、操作検出部２４０により仮想オブジェクトＶ２３（番組名が「みつけた」である番組に対応する領域に付加された仮想オブジェクト）に対するユーザ操作が検出された場合には、その番組に関する操作画面を表示するように制御することができる。表示制御部２３６は、その番組の状態情報に応じた処理を実行制御するためのボタンを操作画面に含めることができる。表示制御部２３６は、例えば、番組の状態情報が「録画済み」であれば、図９に示したように、操作画面に、ボタンＢ１、Ｂ２、Ｂ３を含めることができる。
【００８８】
例えば、実行制御部２４４は、操作検出部２４０によりボタンＢ１に対するユーザ操作が検出された場合には、その番組に関する「再生」の実行を制御する。実行制御部２４４は、操作検出部２４０によりボタンＢ２に対するユーザ操作が検出された場合には、その番組に関する「消去」の実行を制御する。実行制御部２４４は、操作検出部２４０によりボタンＢ３に対するユーザ操作が検出された場合には、実オブジェクトの表示に戻るように制御する。
【００８９】
続いて、図１０を参照し、仮想オブジェクトに対するユーザ操作により表示される操作画面の他の一例について説明する。図１０は、仮想オブジェクトに対するユーザ操作により表示される操作画面の他の一例を示した説明図である。図１０に示した例では、図９に示した例と同様に、表示制御部２３６は、ユーザ操作を行うための仮想オブジェクトを実オブジェクトに付加していない。
【００９０】
図１０に示した例においても、図９に示した例と同様に、表示制御部２３６は、操作検出部２４０により仮想オブジェクトＶ２３に対するユーザ操作が検出された場合には、その番組に関する操作画面を表示するように制御することができる。図９に示した例と同様に、表示制御部２３６は、例えば、番組の状態情報が「録画済み」であれば、図１０に示したように、ボタンＢ１、Ｂ２、Ｂ３を操作画面に含めることができる。表示制御部２３６は、その他にも、ボタンＢ１１、Ｂ１２、Ｂ１３などを操作画面に含めることができる。
【００９１】
続いて、図１１を参照し、ユーザ操作により表示される操作画面の一例について説明する。図１１は、ユーザ操作により表示される操作画面の一例を示した説明図である。図１１に示した例では、表示制御部２３６は、操作検出部２４０により仮想オブジェクトが付加されていない領域（番組名が「歌う人」である番組に対応する領域）に対するユーザ操作が検出された場合には、その番組に関する操作画面を表示するように制御することができる。表示制御部２３６は、その番組の状態情報に応じた処理を実行制御するためのボタンを操作画面に含めることができる。表示制御部２３６は、例えば、番組の状態情報が「未予約」であれば、図１１に示したように、操作画面に、ボタンＢ４、Ｂ３を含めることができる。
【００９２】
例えば、実行制御部２４４は、操作検出部２４０によりボタンＢ４に対するユーザ操作が検出された場合には、その番組に関する「録画予約」の実行を制御する。実行制御部２４４は、操作検出部２４０によりボタンＢ３に対するユーザ操作が検出された場合には、実オブジェクトの表示に戻るように制御する。
【００９３】
続いて、図１２を参照し、ユーザ操作により表示される操作画面の他の一例について説明する。図１２は、ユーザ操作により表示される操作画面の他の一例を示した説明図である。図１２に示した例では、図１１に示した例と同様に、表示制御部２３６は、操作検出部２４０により仮想オブジェクトが付加されていない領域（番組名が「歌う人」である番組に対応する領域）に対するユーザ操作が検出された場合には、その番組に関する操作画面を表示するように制御することができる。
【００９４】
図１２に示した例においても、図１１に示した例と同様に、表示制御部２３６は、操作検出部２４０により仮想オブジェクトが付加されていない領域に対するユーザ操作が検出された場合には、その番組に関する操作画面を表示するように制御することができる。図１１に示した例と同様に、表示制御部２３６は、例えば、番組の状態情報が「録画済み」であれば、図１１に示したように、ボタンＢ４、Ｂ３を操作画面に含めることができる。表示制御部２３６は、その他にも、ボタンＢ１１、Ｂ１２、Ｂ１３などを操作画面に含めることができる。
【００９５】
以上説明したように、本実施形態による携帯端末２０は、領域（例えば、時間と関連付けられた領域）を含む実オブジェクトをユーザが閲覧する場合、その領域に対して仮想オブジェクトが付加される。このため、ユーザは注目すべき領域を把握でき、ユーザに対する利便性を向上することが可能である。
【００９６】
（携帯端末の動作）
続いて、図１３および図１４を参照し、本実施形態による携帯端末２０の動作を説明する。図１３は、実オブジェクト撮像の前段階としてなされる動作を示したシーケンス図である。
【００９７】
図１３に示したように、実オブジェクト撮像の前段階おいては、まず、認識用辞書サーバ７０は、認識用辞書を送信する（Ｓ１１）。認識用辞書受信部２２０は、認識用辞書サーバ７０から送信された認識用辞書を受信し（Ｓ１２）、認識用辞書記憶部２２２は、認識用辞書受信部２２０により受信された認識用辞書を記憶する（Ｓ１３）。
【００９８】
Ｓ１１〜Ｓ１３に続いて、またはＳ１１〜Ｓ１３以前に、領域情報サーバ８０は、領域情報を携帯端末２０に送信する（Ｓ２１）。次いで、領域情報受信部２２６は、領域情報サーバ８０から送信された領域情報を受信する（Ｓ２２）。Ｓ２１〜Ｓ２２に続いて、またはＳ２１〜Ｓ２２以前に、録画装置１０は、状態情報を送信する（Ｓ２３）。次いで、状態情報受信部２２４は、録画装置１０から送信された状態情報を受信する（Ｓ２４）。構成情報生成部２２８は、領域情報と状態情報とに基づいて、構成情報を生成し（Ｓ２５）、構成情報記憶部２３０は、構成情報生成部２２８により生成された構成情報を記憶する（Ｓ２６）。
【００９９】
図１４は、実オブジェクト撮像以降の動作を示したシーケンス図である。図１４に示したように、実オブジェクト撮像以降においては、まず、撮像装置２１３は、実オブジェクトを撮像する（Ｓ３１）。次いで、認識部２３２は、撮像画像から実オブジェクトを認識し（Ｓ３２）、領域判定部２３４は、認識部２３２による認識結果と構成情報とに基づいて実オブジェクトの領域を判定する（Ｓ３３）。表示制御部２３６は、領域判定部２３４により判定された領域に仮想表示を付加する（Ｓ３４）。
【０１００】
操作検出部２４０により仮想表示に対するユーザ操作が検出されない場合には（Ｓ３５において「ＮＯ」の場合）、実行制御部２４４は、Ｓ３５に示された動作を繰り返すように制御する。操作検出部２４０により仮想表示に対するユーザ操作が検出された場合には（Ｓ３５において「ＹＥＳ」の場合）、コマンド送信部２４８は、実行制御部２４４による制御により、仮想表示に応じたコマンドを録画装置１０に送信する（Ｓ３６）。録画装置１０のコマンド受信部１３０は、携帯端末２０からコマンドを受信すると（Ｓ４１）、コマンド実行部１４０は、コマンド受信部１３０により受信されたコマンドを実行する（Ｓ４２）。
【０１０１】
＜＜３．むすび＞＞
以上説明したように、本開示による携帯端末２０は、領域（例えば、時間と関連付けられた領域）を含む実オブジェクトをユーザが閲覧する場合、その領域に対して仮想オブジェクトが付加される。このため、ユーザは注目すべき領域を把握でき、ユーザに対する利便性を向上することが可能である。本開示による携帯端末２０によれば、ユーザは、直感的な操作により所望の情報に迅速にアクセスすることができる。
【０１０２】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０３】
例えば、上記では、実オブジェクトの認識の機能、構成情報の生成の機能、領域判定の機能などを、携帯端末２０が有する例を主に説明したが、かかる機能は、携帯端末２０の代わりにサーバが有していてもよい。例えば、携帯端末２０が撮像画像をサーバに送信した場合、サーバは携帯端末２０の代わりに撮像画像から実オブジェクトを認識してもよい。また、例えば、サーバは携帯端末２０の代わりに構成情報を生成してもよい。また、例えば、サーバは携帯端末２０の代わりに領域を判定してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
【０１０４】
例えば、上記では、静止画操作モードへの遷移のトリガとなるユーザ操作の検出例として、タッチパネル２７によって検出されるタッチパネル２７への操作によって検出される携帯端末２０の動きを説明したが、ユーザ操作はかかる例に限定されない。他のユーザ操作の検出例として、モーションセンサによる検出、ユーザのジェスチャ認識が挙げられる。ユーザのジェスチャは、撮像装置２１３により取得される画像に基づいて認識することも、他の撮像系により取得される画像に基づいて認識することも可能である。なお、撮像装置２１３または他の撮像系は、赤外線カメラ、Ｄｅｐｔｈカメラなどの機能によりユーザのジェスチャを撮像してもよい。
【０１０５】
また、上記実施形態では、表示制御装置が携帯端末２０である例を主に説明したが、表示制御装置は、ＴＶやディスプレイ装置など、携帯端末２０より比較的大きめの装置であってもよい。例えば、表示制御装置側からユーザを撮像する撮像系を表示制御装置に接続しまたは内蔵した上でユーザの全身を映すことのできる大型のディスプレイを利用することにより、ユーザ自身を映す鏡のような機能を構成し、ユーザ自身に仮想オブジェクトを重畳して当該仮想オブジェクトを操作させるようなＡＲアプリケーションを実現することも可能である。
【０１０６】
また、上記では、携帯端末２０からのコマンドが録画装置１０により実行される例を主に説明したが、録画装置１０の代わりにコマンドを実行することができる装置を使用してもよい。例えば、録画装置１０の代わりに、家電機器（例えば、撮像装置、映像再生装置など）を使用してもよい。かかる場合、コマンドは、コンテンツデータ（静止画、動画など）を表示させるためのコマンドや、コンテンツデータを削除させるためのコマンドであってもよい。
【０１０７】
また、上記では、実オブジェクトとして番組表４０が使用される例を主に説明したが、実オブジェクトとしては、番組表４０の代わりに、カレンダー、スケジュール表などを使用してもよい。スケジュール表は、会社において使用される出欠管理表や、社員スケジュール管理表であってもよい。
【０１０８】
また、上記では、仮想オブジェクトに対するユーザ操作が検出された場合に、携帯端末２０は、録画装置１０に対するコマンドを送信する例を主に説明したが、表示装置５０に対してコマンドを送信してもよい。かかる場合、送信されるコマンドは、ユーザ操作がなされた仮想オブジェクトに対応するチャンネルへの変更であってもよい。
【０１０９】
また、本明細書の携帯端末２０、または録画装置１０の動作における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、携帯端末２０、または録画装置１０の動作における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１１０】
また、携帯端末２０、または録画装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した携帯端末２０、または録画装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【０１１１】
また、以下のような構成も本開示の技術的範囲に属する。
（１）
時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、
前記表示制御部は、
前記領域に対して前記仮想表示を付加する、表示制御装置。
（２）
前記実オブジェクトは、
放送時間およびチャンネルと関連付けられた複数の領域を含む番組表である、
（１）に記載の表示制御装置。
（３）
前記表示制御部は、
番組に関して保存されている情報に応じた仮想表示を、前記番組に対応する領域に付加する、
（１）または（２）に記載の表示制御装置。
（４）
前記表示制御部は、
番組に関して保存されている情報が、前記番組が録画済みである旨を示す場合には、録画されている番組の再生を制御するための仮想表示を付加する、
（１）〜（３）のいずれか一項に記載の表示制御装置。
（５）
前記表示制御部は、
番組に関して保存されている情報が、前記番組が録画済みである旨を示す場合には、録画されている番組の消去を制御するための仮想表示を付加する、
（１）〜（３）のいずれか一項に記載の表示制御装置。
（６）
前記表示制御部は、
番組に関して保存されている情報が、前記番組が未予約である旨を示す場合には、前記番組の録画予約を制御するための仮想表示を付加する、
（１）〜（３）のいずれか一項に記載の表示制御装置。
（７）
前記表示制御部は、
番組に関して保存されている情報が、前記番組が予約済みである旨を示す場合には、前記番組の予約中止を制御するための仮想表示を付加する、
（１）〜（３）のいずれか一項に記載の表示制御装置。
（８）
前記表示制御装置は、
前記仮想表示に対するユーザ操作を検出する操作検出部と、
前記ユーザ操作に応じて処理の実行を制御する実行制御部と、
をさらに備える、（１）〜（７）のいずれか一項に記載の表示制御装置。
（９）
前記実行制御部は、
前記操作検出部により前記仮想表示に対するユーザ操作が検出された場合に、前記仮想表示に対応する処理の実行を制御する、
（８）に記載の表示制御装置。
（１０）
前記表示制御装置は、
前記実オブジェクトの撮像画像から前記実オブジェクトを認識する認識部と、
前記撮像画像における前記領域を判定する領域判定部と、
をさらに備える、（１）〜（９）のいずれか一項に記載の表示制御装置。
（１１）
時間と関連付けられた領域を含む実オブジェクトの当該領域に対して仮想表示を付加する、表示制御方法。
（１２）
コンピュータを、
時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、
前記表示制御部は、
前記領域に対して前記仮想表示を付加する、表示制御装置として機能させるためのプログラム。
【符号の説明】
【０１１２】
２０ 携帯端末
２２２ 認識用辞書記憶部
２２４ 状態情報受信部
２２６ 領域情報受信部
２２８ 構成情報生成部
２３０ 構成情報記憶部
２３２ 認識部
２３４ 領域判定部
２３６ 表示制御部
２４０ 操作検出部
２４４ 実行制御部
２４８ コマンド送信部
Ｖ１１〜Ｖ１４ 仮想オブジェクト（仮想表示）
Ｖ１１１、Ｖ１３１、Ｖ１４１ 仮想オブジェクト（仮想表示）
Ｖ２１、Ｖ２３ 仮想オブジェクト（仮想表示）
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、画像認識技術が高度化しており、撮像装置からの入力画像に含まれる実オブジェクト（例えば、看板やビルなどの物体）の位置や姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）アプリケーションが知られている。ＡＲアプリケーションによれば、実空間画像に含まれる実オブジェクトに、実オブジェクトに対応付けられた仮想オブジェクト（例えば、広告情報、ナビゲーション情報、またはゲームのための情報）を重畳することができる。なお、このようなＡＲアプリケーションについては、例えば、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願２０１０−２３８０９８
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、撮像機能を有する携帯端末でユーザがＡＲアプリケーションを利用する場合、ユーザは、実オブジェクトに付加された仮想オブジェクトを閲覧することにより有益な情報を得ることができる。しかし、領域（例えば、時間と関連付けられた領域）を含む実オブジェクトをユーザが閲覧する場合、その領域に対して仮想オブジェクトが付加されないため、ユーザは注目すべき領域を把握できず、ユーザに対する利便性が低い。
【０００５】
そこで、本開示では、ユーザに対する利便性を向上することが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、前記表示制御部は、前記領域に対して前記仮想表示を付加する、表示制御装置が提供される。
【０００７】
また、本開示によれば、時間と関連付けられた領域を含む実オブジェクトの当該領域に対して仮想表示を付加する、表示制御方法が提供される。
【０００８】
また、本開示によれば、コンピュータを、時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、前記表示制御部は、前記領域に対して前記仮想表示を付加する、表示制御装置として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように、本開示に係る表示制御装置、表示制御方法、およびプログラムによれば、ユーザに対する利便性を向上することが可能である。
【図面の簡単な説明】
【００１０】
【図１】本開示によるＡＲシステムの構成を示した説明図である。
【図２】携帯端末のハードウェア構成を示した説明図である。
【図３】携帯端末の構成を示した機能ブロック図である。
【図４】領域情報の一例を示した説明図である。
【図５】構成情報の一例を示した説明図である。
【図６】実オブジェクトの位置および姿勢の認識手法の一例を示した説明図である。
【図７】仮想オブジェクトの表示の一例を示した説明図である。
【図８】仮想オブジェクトの表示の他の一例を示した説明図である。
【図９】仮想オブジェクトに対するユーザ操作により表示される操作画面の一例を示した説明図である。
【図１０】仮想オブジェクトに対するユーザ操作により表示される操作画面の他の一例を示した説明図である。
【図１１】ユーザ操作により表示される操作画面の一例を示した説明図である。
【図１２】ユーザ操作により表示される操作画面の他の一例を示した説明図である。
【図１３】実オブジェクト撮像の前段階としてなされる動作を示したシーケンス図である。
【図１４】実オブジェクト撮像以降の動作を示したシーケンス図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１３】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．ＡＲシステムの概要
２．実施形態の説明
３．むすび
【００１４】
＜＜１．ＡＲシステムの概要＞＞
以下では、まず、本開示によるＡＲシステムの基本構成について図１を参照して説明する。
【００１５】
図１は、本開示によるＡＲシステムの構成を示した説明図である。図１に示したように、本開示によるＡＲシステムは、録画装置１０と携帯端末２０とを含む。この携帯端末２０は、実空間画像を撮像し、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクト（以下、「仮想表示」とも言う。）を実オブジェクトに付加することができる。仮想オブジェクトは、ディスプレイ２６に表示され得る。なお、実オブジェクトは、実空間画像であってもよく、実空間自体であってもよい。
【００１６】
例えば、実オブジェクトが図１に示したような番組表４０である場合、携帯端末２０は、番組表４０を含む実空間を撮像することにより、番組表４０に対応する仮想オブジェクトを実オブジェクトに付加することができる。仮想オブジェクトはディスプレイ２６に表示され得る。ユーザは、このような仮想オブジェクトを視認することにより、実空間からは得られない情報を把握することができる。
【００１７】
また、携帯端末２０は、ユーザ操作に応じて処理の実行を制御することができる。ユーザ操作に応じた処理は、携帯端末２０により実行されてもよく、携帯端末２０からコマンドを受信した装置（例えば、録画装置１０）により実行されてもよい。例えば、携帯端末２０は、番組の録画予約を行う旨を示すユーザ操作がなされた場合には、番組の録画予約を制御することができる。番組の録画予約を行う旨を示すユーザ操作がなされた場合には、携帯端末２０は、録画装置１０に対して番組の録画予約を行うためのコマンドを送信し、当該コマンドを受信した録画装置１０は、番組の録画予約を行うことができる。
【００１８】
表示装置５０は、例えば、録画装置１０により録画された番組が再生された場合に、再生された番組を表示することが可能である。なお、表示装置５０は、本開示の実施形態においては、必須の装置ではない。
【００１９】
なお、図１においては、携帯端末２０の一例としてスマートフォンを示したが、携帯端末２０はスマートフォンに限定されない。例えば、携帯端末２０は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、または携帯用ゲーム機器であってもよい。さらに、携帯端末２０は表示制御装置の一例に過ぎず、表示制御装置はネットワーク側に設けられるサーバであってもよい。
【００２０】
また、図１においては、実オブジェクトの一例として番組表４０を示したが、実オブジェクトは番組表４０に限定されない。例えば、実オブジェクトは、番組表４０と同様に、時間と関連付けられた領域を含む表（例えば、カレンダー、スケジュール表）であってもよい。
【００２１】
ところで、上述したＡＲアプリケーションは、仮想オブジェクトを実オブジェクトに付加することが可能である。しかし、時間と関連付けられた領域が実オブジェクトに含まれる場合であっても、その領域に仮想オブジェクトを付加することは困難である。時間と関連付けられた領域に対して仮想オブジェクトが付加されれば、ユーザにとって利便性が向上する。例えば、番組表４０の番組欄に仮想オブジェクトが付加されれば、ユーザが注目すべき番組を特定しやすくなり利便性が向上する。
【００２２】
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、ユーザによる携帯端末２０の利便性を向上することが可能である。以下、図２を参照してこのような携帯端末２０のハードウェア構成を説明した後、本開示の実施形態について詳細に説明する。
【００２３】
（携帯端末のハードウェア構成）
図３は、携帯端末２０のハードウェア構成を示した説明図である。図３に示したように、携帯端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。
【００２４】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って携帯端末２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【００２５】
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。携帯端末２０のユーザは、該入力装置２０８を操作することにより、携帯端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００２６】
出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【００２７】
ストレージ装置２１１は、本実施形態にかかる携帯端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
【００２８】
ドライブ２１２は、記憶媒体用リーダライタであり、携帯端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
【００２９】
撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
【００３０】
通信装置２１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置２１５は、例えば、ネットワークを介して録画装置１０と通信を行うことが可能である。
【００３１】
なお、ネットワークは、ネットワークに接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワークは、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワークは、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００３２】
＜＜２．実施形態の説明＞＞
以上、図１および図２を参照し、本開示によるＡＲシステムの基本構成を説明した。以下、図３〜図１４を参照し、本開示による実施形態について詳細に説明する。
【００３３】
（携帯端末の構成）
図３は、本実施形態による携帯端末２０の構成を示した機能ブロック図である。図３に示したように、本実施形態による携帯端末２０は、ディスプレイ２６と、タッチパネル２７と、撮像装置２１３と、認識用辞書受信部２２０と、認識用辞書記憶部２２２と、状態情報受信部２２４と、領域情報受信部２２６と、を備える。また、本実施形態による携帯端末２０は、構成情報生成部２２８と、構成情報記憶部２３０と、認識部２３２と、領域判定部２３４と、表示制御部２３６と、操作検出部２４０と、実行制御部２４４と、コマンド送信部２４８と、を備える。
【００３４】
ディスプレイ２６は、ＬＣＤまたはＯＬＥＤなどにより構成される表示モジュールである。ディスプレイ２６は、表示制御部２３６による制御に従って多様な画面を表示する。例えば、ディスプレイ２６は、実オブジェクトに付加される仮想オブジェクトを表示することができる。実オブジェクトが実空間画像（実空間静止画、または実空間動画）の場合には、実空間画像を表示することもできる。実空間画像は、現在に撮像された空間の画像であってもよく、過去に撮像された実空間の画像であってもよい。
【００３５】
また、図３においてはディスプレイ２６が携帯端末２０の一部として実装される例を示したが、ディスプレイ２６は、携帯端末２０とは別体に構成されてもよい。また、ディスプレイ２６は、ユーザの頭部に装着されるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってもよい。
【００３６】
タッチパネル２７は、ディスプレイ２６に積層されてもよく、ディスプレイ２６から離れた場所に配置されてもよい。タッチパネル２７は、ユーザの指やタッチペンなどの操作体の近接または接触を検出することができる。タッチパネル２７により検出された操作体の近接または接触は、ユーザ操作として操作検出部２４０に通知される。なお、タッチパネル２７は、携帯端末２０は、キーボードおよびボタンなどの他の操作用の構成を含んでもよい。
【００３７】
撮像装置２１３は、撮像光学系および信号変換素子を備え、実空間を撮像することにより撮像画像（動画または静止画）を取得する。なお、撮像装置２１３は、動画撮像用の構成と、静止画撮像用の構成を別個に備えてもよい。
【００３８】
認識用辞書受信部２２０は、認識用辞書サーバ７０から実オブジェクトを認識するために使用される認識用辞書を受信する。認識用辞書受信部２２０は、例えば、ネットワークを介して認識用辞書サーバ７０から認識用辞書を受信する。ここで使用されるネットワークは、録画装置１０が接続されているネットワークと同一であってもよいし、異なっていてもよい。具体的には、認識用辞書は、各実オブジェクトを識別するための識別情報と各実オブジェクトの特徴量データとが関連付けられてなる。特徴量データは、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法に従って実オブジェクトの学習用画像から決定された特徴量の集合であってもよい。
【００３９】
認識用辞書記憶部２２２は、認識用辞書を記憶する。例えば、認識用辞書記憶部２２２は、認識用辞書受信部２２０により受信された認識用辞書を記憶することができる。しかしながら、認識用辞書記憶部２２２により記憶される認識用辞書は、認識用辞書受信部２２０により受信された認識用辞書に限定されない。例えば、認識用辞書記憶部２２２は、記憶媒体から読み込まれた認識用辞書を記憶してもよい。
【００４０】
状態情報受信部２２４は、録画装置１０から状態情報を受信する。状態情報は、番組の状態を示す情報であり、例えば、番組の録画予約状況（例えば、予約済み、録画済み、未予約など）により示される。録画装置１０は、状態情報記憶部１１０、状態情報送信部１２０、コマンド受信部１３０およびコマンド実行部１４０を備えている。状態情報記憶部１１０は、状態情報を記憶しており、状態情報送信部１２０は、状態情報記憶部１１０により記憶されている状態情報を、ネットワークを介して携帯端末２０に送信する。コマンド受信部１３０およびコマンド実行部１４０については後に説明する。
【００４１】
領域情報受信部２２６は、領域情報サーバ８０から領域情報を受信する。領域情報受信部２２６は、例えば、ネットワークを介して領域情報サーバ８０から領域情報を受信する。ここで使用されるネットワークは、録画装置１０が接続されているネットワークと同一であってもよいし異なっていてもよい。また、認識用辞書サーバ７０が接続されているネットワークと同一であってもよいし異なっていてもよい。
【００４２】
ここで、図４を参照し、領域情報の一例について説明する。図４は、領域情報の一例を示した説明図である。領域情報は、実オブジェクトに含まれている領域の位置及び大きさを示す情報である。領域の位置は、例えば、実オブジェクトの所定点の位置を基準とした場合における領域の所定点の位置により表現され得る。
【００４３】
図４に示した例では、実オブジェクトの左上隅を実オブジェクトの所定点としているが、実オブジェクトの所定点は実オブジェクトの左上隅でなくてもよい。また、図４に示した例では、領域の左上隅を領域の所定点としているが、領域の所定点は領域の左上隅でなくてもよい。また、図４に示した例では、実オブジェクトの所定点の位置を（０，０）と表現し、領域の所定点の位置を（Ｘ１，Ｙ１）と表現し、領域の大きさを（Ｗ１，Ｈ１）と表現しているが、表現の形式は特に限定されない。例えば、これらの値（Ｘ１，Ｙ１，Ｗ１，Ｈ１）は、絶対単位（例えば、実オブジェクトの実寸と同じ単位）であってもよく、相対単位（例えば、実オブジェクトの横または縦の大きさを１とした場合における相対値）であってもよい。
【００４４】
構成情報生成部２２８は、状態情報受信部２２４により受信された状態情報と領域情報受信部２２６により受信された領域情報とに基づいて構成情報を生成する。ここで、図５を参照し、構成情報の一例について説明する。図５は、構成情報の一例を示した説明図である。構成情報生成部２２８は、例えば、状態情報受信部２２４により受信された状態情報と領域情報受信部２２６により受信された領域情報との間に関連する情報同士が存在すれば、関連する情報同士を関連付けることにより構成情報を生成することができる。
【００４５】
例えば、状態情報受信部２２４により受信された状態情報に番組情報（例えば、番組の放送時間および番組のチャンネル）が付加されており、領域情報受信部２２６により受信された領域情報に番組情報が付加されている場合には、同一の番組情報が付加されている状態情報および領域情報が関連すると判断し、その状態情報および領域情報を関連付けることにより構成情報を生成することができる。図５に示したように、番組情報には、番組の放送時間および番組のチャンネル以外に番組名が含まれていてもよい。また、番組情報の代わりに、Ｇコードなどの番組を識別するための情報が使用されてもよい。
【００４６】
図３に戻って説明を続ける。構成情報記憶部２３０は、構成情報を記憶する。例えば、構成情報記憶部２３０は、構成情報生成部２２８により生成された構成情報を記憶することができる。しかしながら、構成情報記憶部２３０により記憶される構成情報は、構成情報生成部２２８により生成された構成情報に限定されない。例えば、構成情報記憶部２３０は、記憶媒体から読み込まれた構成情報を記憶してもよい。その代わりに、構成情報記憶部２３０は、所定のサーバから受信された構成情報を記憶してもよい。
【００４７】
認識部２３２は、撮像装置２１３により撮像された実空間画像に含まれる実オブジェクト、および当該実オブジェクトの実空間画像における位置および姿勢を認識する。例えば、認識部２３２は、実空間画像から決定される特徴量を認識用辞書記憶部２２２に記憶されている各実オブジェクトの特徴量と照合することにより、実空間画像に含まれる実オブジェクトを認識する。
【００４８】
より具体的には、認識部２３２は、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法などの特徴量決定法に従って実空間画像内の実オブジェクトの特徴量を決定し、決定した特徴量を認識用辞書記憶部２２２に記憶されている各実オブジェクトの特徴量と照合する。そして、認識部２３２は、実空間画像内の実オブジェクトの特徴量と最も適合する特徴量と関連付けられている実オブジェクトの識別情報、実空間画像における位置および姿勢を認識する。
【００４９】
なお、実オブジェクトの認識はかかる例に限定されない。例えば、認識部２３２は、実オブジェクトに関連付けられている既知の図形若しくは記号、人工マーカ（例えば、バーコード若しくはＱＲコード）または自然マーカなどのマーカを認識することにより、当該実オブジェクトを間接的に認識してもよい。また、認識部２３２は、既知の図形若しくは記号、人工マーカまたは自然マーカなどの実オブジェクトを認識し、当該実オブジェクトの実空間画像におけるサイズおよび形状から当該実オブジェクトの位置および姿勢を認識してもよい。
【００５０】
また、上記では、実空間画像に含まれる実オブジェクトの位置および姿勢を画像処理により認識する例を説明したが、実オブジェクトの位置および姿勢の認識方法は画像処理に限定されない。例えば、撮像装置２１３が向けられている方向、および携帯端末２０の現在位置を検出し、検出結果に基づいて実空間画像に含まれている実オブジェクト、実空間画像における当該実オブジェクトの位置および姿勢を推定することも可能である。
【００５１】
あるいは、認識部２３２は、ピンホールカメラモデルに従って当該実オブジェクトの位置および姿勢を認識してもよい。ピンホールカメラモデルは、ＯｐｅｎＧＬの透視法（遠近法）の射影変換と同じであり、透視法で作成されるＣＧの視点モデルは、ピンホールカメラモデルと同一とすることができる。
【００５２】
図６は、実オブジェクトの位置および姿勢の認識手法の一例を示した説明図であり、特に、ピンホールカメラモデルに従って実オブジェクトの位置および姿勢を認識する手法について示した図である。以下、ピンホールカメラモデルに従って実オブジェクトの位置および姿勢を認識する手法について説明する。
【００５３】
ピンホールカメラモデルにおいて、画像フレーム中の特徴点の位置は下式（１）によって計算され得る。
【００５４】
【数１】
【００５５】
式（１）は、撮影画像平面に含まれるオブジェクトの点（ｍ）の撮影画像平面の画素位置（すなわち、カメラ座標系によって表現されている位置）と、世界座標系におけるオブジェクトの３次元位置（Ｍ）との対応関係を示す式である。撮影画像平面の画素位置は、カメラ座標系によって表現されている。カメラ座標系は、カメラ（撮像装置２１３）の焦点を原点Ｃとして、撮影画像平面をＸｃ，Ｙｃの二次元平面により表現し、奥行きをＺｃとして表現した座標系であり、カメラの動きによって原点Ｃは移動する。
【００５６】
一方、オブジェクトの３次元位置（Ｍ）は、カメラの動きによって移動しない原点Ｏを有するＸＹＺ三軸からなる世界座標系によって示される。この異なる座標系でのオブジェクトの位置の対応関係を示す式が上述のピンホールカメラモデルとして定義される。
【００５７】
この式に含まれる各値は、
λ：正規化パラメータ
Ａ：カメラ内部パラメータ、
Ｃｗ：カメラ位置、
Ｒｗ：カメラ回転行列、
を意味している。
【００５８】
さらに、図６に示したように、
【００５９】
【数２】
は、カメラ座標系で表現された撮影画像平面上の位置である。λは、正規化パラメータであり、
【００６０】
【数３】
の第３項を満足させるための値である。
【００６１】
なお、カメラ内部パラメータＡには、以下の値が含まれる。
f：焦点距離
θ：画像軸の直交性（理想値は９０°）
ｋｕ：縦軸のスケール（３次元位置のスケールから二次元画像のスケールへの変換）
ｋｖ：横軸のスケール（３次元位置のスケールから二次元画像のスケールへの変換）
（ｕ０，ｖ０）：画像中心位置
【００６２】
このように、世界座標系にある特徴点は位置［Ｍ］で表現される。また、カメラは位置［Ｃｗ］と姿勢（回転行列）Ｒｗで表現される。カメラの焦点位置・画像中心等はカメラ内部パラメータ［Ａ］で表現される。位置［Ｍ］、位置［Ｃｗ］およびカメラ内部パラメータ［Ａ］は、下式（４）〜（６）によって表現され得る。
【００６３】
【数４】
【００６４】
【数５】
【００６５】
【数６】
これらのパラメータから、「世界座標系にある特徴点」から「撮影画像平面上」に射影されるそれぞれの位置が、上述した式（１）によって表現され得る。なお、認識部２３２は、カメラの位置［Ｃｗ］と姿勢（回転行列）Ｒｗとを、例えば、以下の文献に記載されているRANSAC
based 3 point algorithmを適用して求めることができる。
【００６６】
M. A.
Fischler and R. C. Bolles, “Random sample consensus: A paradigm for model
fitting with applications to image analysis and automated cartography”,
Communications of the ACM, Volume 24 Issue 6 (1981)
【００６７】
なお、携帯端末２０がカメラの位置および姿勢を測定できるセンサ、または、カメラの位置および姿勢の変化を測定できるセンサを備える場合には、認識部２３２は、センサにより検出された値に基づいて、カメラの位置［Ｃｗ］と姿勢（回転行列）Ｒｗとを取得してもよい。
【００６８】
このような手法により、実オブジェクトが認識される。認識部２３２により実オブジェクトが認識された場合、表示制御部２３６は、実オブジェクトが認識された旨を示す表示を実オブジェクトに付加してもよい。かかる表示をユーザが目にすることにより、実オブジェクトが携帯端末２０により認識されていることを把握することができる。実オブジェクトが認識された旨を示す表示は特に限定されない。例えば、実オブジェクトとして番組表４０が認識部２３２により認識された場合、実オブジェクトが認識された旨を示す表示は、番組表４０を囲うような枠（例えば、緑色の枠）であってもよいし、番組表４０を透明色により塗りつぶすような表示でもよい。
【００６９】
認識部２３２により実オブジェクトが認識されていない場合、表示制御部２３６は、実オブジェクトが認識されていない旨を示す表示を表示するようディスプレイ２６を制御してもよい。かかる表示をユーザが目にすることにより、実オブジェクトが携帯端末２０により認識されていないことを把握することができる。実オブジェクトが認識されていない旨を示す表示は特に限定されない。例えば、実オブジェクトが認識されていない旨を示す表示は、「？」マークであってもよい。また、表示制御部２３６は、「？」マークの隣に認識されていない物体の縮小画像を表示するようディスプレイ２６を制御してもよい。
【００７０】
また、認識部２３２により実オブジェクトが一意に認識されない場合も想定される。かかる場合には、表示制御部２３６は、認識部２３２により認識された複数の実オブジェクトを候補としてディスプレイ２６に表示させてもよい。そうすれば、ユーザは、ディスプレイ２６により表示された複数の実オブジェクトの中から所望の実オブジェクトを見つけた場合には、タッチパネル２７に対して所望のオブジェクトを選択する操作を入力することができる。認識部２３２は、操作検出部２４０により検出された操作に基づいて、実オブジェクトを認識することができる。
【００７１】
図３に戻って説明を続ける。領域判定部２３４は、撮像画像における実オブジェクトに含まれる領域を判定する。領域判定部２３４は、例えば、構成情報記憶部２３０により記憶されている構成情報に基づいて領域を判定する。例えば、領域判定部２３４は、構成情報に含まれている領域情報が示す領域を実オブジェクトに含まれる領域として判定することができる。また、領域判定部２３４は、認識部２３２により認識された実オブジェクトの位置および姿勢と構成情報に含まれている領域情報とに基づいて領域を判定することもできる。
【００７２】
表示制御部２３６は、時間（例えば、放送時間）と関連付けられた領域を含む実オブジェクトに仮想オブジェクトを付加する。表示制御部２３６は、例えば、実オブジェクトに含まれる領域に対して仮想オブジェクトを付加することができる。実オブジェクトに含まれる領域は、領域判定部２３４により判定され得る。例えば、仮想オブジェクトが実オブジェクトごとに記憶されている場合には、表示制御部２３６は、実オブジェクトに対応する仮想オブジェクトを領域に対して付加することができる。
【００７３】
操作検出部２４０は、ユーザからの操作を検出する。操作検出部２４０は、例えば、タッチパネル２７に対して入力されたユーザ操作を検出することができる。しかしながら、ユーザ操作の入力は、タッチパネル２７以外の入力装置により受け付けられてもよい。例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどの入力装置であってもよい。
【００７４】
実行制御部２４４は、ユーザ操作に応じて処理の実行を制御する。例えば、実行制御部２４４は、操作検出部２４０により仮想オブジェクトに対するユーザ操作が検出された場合には、仮想オブジェクトに対応する処理の実行を制御する。かかる処理は、携帯端末２０自身により実行されてもよく、携帯端末２０以外の装置（例えば、録画装置１０）により実行されてもよい。
【００７５】
録画装置１０に処理を実行させる場合には、携帯端末２０のコマンド送信部２４８により処理の実行を指示するコマンドが録画装置１０に送信され、録画装置１０のコマンド受信部１３０によりコマンドが受信される。録画装置１０のコマンド実行部１４０は、コマンド受信部１３０によりコマンドが受信されると、受信されたコマンドにより指定される処理を実行する。録画装置１０により実行される処理としては、録画されている番組の再生および消去、番組の録画予約、番組の予約中止などが想定される。
【００７６】
ここで、図７を参照し、仮想オブジェクトの表示の一例について説明する。図７は、仮想オブジェクトの表示の一例を示した説明図である。図７に示したように、実オブジェクトが番組表４０である場合、複数の領域の各々は、放送時間およびチャンネルと関連付けられており、例えば、表示制御部２３６は、実オブジェクトの各領域に対して、仮想オブジェクトＶ２１、Ｖ２３、Ｖ２４を付加することができる。図７に示した例では、領域全体を透明色により塗りつぶすような仮想オブジェクトが付加されている。
【００７７】
しかしながら、表示制御部２３６は、実オブジェクトの領域全体に対して仮想オブジェクトを付加する必要はない。例えば、表示制御部２３６は、領域の一部に対して仮想オブジェクトを付加してもよく、領域から伸びた引き出し線の先に仮想オブジェクトを付加してもよい。
【００７８】
表示制御部２３６は、各領域に対して同一の仮想オブジェクトを付加してもよいが、番組に関して保存されている情報に応じた仮想オブジェクトを、番組に対応する領域に付加してもよい。図７に示した例では、表示制御部２３６は、状態情報が「録画済み」である番組に対応する領域には、「録画済み」に対応する仮想オブジェクトＶ１１、Ｖ１２を付加している。また、表示制御部２３６は、状態情報が「未予約」である番組に対応する領域には、「未予約」に対応する仮想オブジェクトＶ１３を付加している。また、表示制御部２３６は、状態情報が「予約済み」である番組に対応する領域には、「予約済み」に対応する仮想オブジェクトＶ１４を付加している。
【００７９】
表示制御部２３６により付加される仮想オブジェクトは、例えば、携帯端末２０の記憶部により記憶されている。仮想オブジェクトが状態情報ごとに記憶されていれば、表示制御部２３６は、状態情報に関連する仮想オブジェクトを領域に対して付加することができる。仮想オブジェクトは、テキスト形式であってもよいし、イメージ形式であってもよい。
【００８０】
図７に示した例において、仮想オブジェクトＶ１１は、「再生」という文字により表現されているが、「再生」の省略文字（例えば、「Ｐ」）などにより表現されてもよい。また、仮想オブジェクトＶ１１は、再生を示す記号により表現されてもよい。同様に、仮想オブジェクトＶ１２は、「消去」という文字により表現されているが、「消去」の省略文字（例えば、「Ｄ」）などにより表現されてもよい。また、仮想オブジェクトＶ１２は、消去を示す記号により表現されてもよい。
【００８１】
同様に、仮想オブジェクトＶ１３は、「録画予約」という文字により表現されているが、「録画予約」の省略文字（例えば、「Ｒ」）などにより表現されてもよい。また、仮想オブジェクトＶ１３は、録画予約を示す記号により表現されてもよい。同様に、仮想オブジェクトＶ１４は、「予約中止」という文字により表現されているが、「予約中止」の省略文字（例えば、「Ｃ」）などにより表現されてもよい。また、仮想オブジェクトＶ１４は、予約中止を示す記号により表現されてもよい。
【００８２】
さらに、図７に示したように、表示制御部２３６は、現在時刻を実オブジェクトに付加してもよい。例えば、携帯端末２０は、携帯端末２０の内部又は外部に設置されている時計から現在時刻を取得し、取得した現在時刻を実オブジェクトに付加することができる。また、図７に示したように、実オブジェクトにおける現在時刻に対応する位置にラインを付加してもよい。このような情報が付加されれば、これから放送が開始する番組、既に放送が開始されている番組、既に放送が終了している番組などを容易に把握することができる。
【００８３】
図７に示した例において、例えば、実行制御部２４４は、操作検出部２４０により仮想オブジェクトＶ１１に対するユーザ操作が検出された場合には、その番組に関する「再生」の実行を制御する。実行制御部２４４は、操作検出部２４０により仮想オブジェクトＶ１２に対するユーザ操作が検出された場合には、その番組に関する「消去」の実行を制御する。実行制御部２４４は、操作検出部２４０により仮想オブジェクトＶ１３に対するユーザ操作が検出された場合には、その番組に関する「録画予約」の実行を制御する。実行制御部２４４は、操作検出部２４０により仮想オブジェクトＶ１４に対するユーザ操作が検出された場合には、その番組に関する「予約中止」の実行を制御する。
【００８４】
ここで、図８を参照し、仮想オブジェクトの表示の他の一例について説明する。図８は、仮想オブジェクトの表示の他の一例を示した説明図である。図８に示した例では、表示制御部２３６が、番組に対応する領域の一例として番組表４０の左隅の欄に仮想オブジェクトを付加している。
【００８５】
表示制御部２３６は、状態情報が「録画済み」である番組に対応する領域には、番組名（例えば、「おひさま」、「みつけた」など）と「録画済み」との組み合わせにより構成される仮想オブジェクトＶ１１１、Ｖ１１２を付加している。また、表示制御部２３６は、状態情報が「未予約」である番組に対応する領域には、番組名（例えば、「歌う人」など）と「未予約」との組み合わせにより構成される仮想オブジェクトＶ１４１を付加している。また、表示制御部２３６は、状態情報が「予約済み」である番組に対応する領域には、番組名（例えば、「歴史」など）と「予約済み」との組み合わせにより構成される仮想オブジェクトＶ１３１を付加している。
【００８６】
ここで、図９を参照し、仮想オブジェクトに対するユーザ操作により表示される操作画面の一例について説明する。図９は、仮想オブジェクトに対するユーザ操作により表示される操作画面の一例を示した説明図である。図９に示した例では、表示制御部２３６は、ユーザ操作を行うための仮想オブジェクトを実オブジェクトに付加していない。
【００８７】
その代わりに、図９に示した例では、表示制御部２３６は、操作検出部２４０により仮想オブジェクトＶ２３（番組名が「みつけた」である番組に対応する領域に付加された仮想オブジェクト）に対するユーザ操作が検出された場合には、その番組に関する操作画面を表示するように制御することができる。表示制御部２３６は、その番組の状態情報に応じた処理を実行制御するためのボタンを操作画面に含めることができる。表示制御部２３６は、例えば、番組の状態情報が「録画済み」であれば、図９に示したように、操作画面に、ボタンＢ１、Ｂ２、Ｂ３を含めることができる。
【００８８】
例えば、実行制御部２４４は、操作検出部２４０によりボタンＢ１に対するユーザ操作が検出された場合には、その番組に関する「再生」の実行を制御する。実行制御部２４４は、操作検出部２４０によりボタンＢ２に対するユーザ操作が検出された場合には、その番組に関する「消去」の実行を制御する。実行制御部２４４は、操作検出部２４０によりボタンＢ３に対するユーザ操作が検出された場合には、実オブジェクトの表示に戻るように制御する。
【００８９】
続いて、図１０を参照し、仮想オブジェクトに対するユーザ操作により表示される操作画面の他の一例について説明する。図１０は、仮想オブジェクトに対するユーザ操作により表示される操作画面の他の一例を示した説明図である。図１０に示した例では、図９に示した例と同様に、表示制御部２３６は、ユーザ操作を行うための仮想オブジェクトを実オブジェクトに付加していない。
【００９０】
図１０に示した例においても、図９に示した例と同様に、表示制御部２３６は、操作検出部２４０により仮想オブジェクトＶ２３に対するユーザ操作が検出された場合には、その番組に関する操作画面を表示するように制御することができる。図９に示した例と同様に、表示制御部２３６は、例えば、番組の状態情報が「録画済み」であれば、図１０に示したように、ボタンＢ１、Ｂ２、Ｂ３を操作画面に含めることができる。表示制御部２３６は、その他にも、ボタンＢ１１、Ｂ１２、Ｂ１３などを操作画面に含めることができる。
【００９１】
続いて、図１１を参照し、ユーザ操作により表示される操作画面の一例について説明する。図１１は、ユーザ操作により表示される操作画面の一例を示した説明図である。図１１に示した例では、表示制御部２３６は、操作検出部２４０により仮想オブジェクトが付加されていない領域（番組名が「歌う人」である番組に対応する領域）に対するユーザ操作が検出された場合には、その番組に関する操作画面を表示するように制御することができる。表示制御部２３６は、その番組の状態情報に応じた処理を実行制御するためのボタンを操作画面に含めることができる。表示制御部２３６は、例えば、番組の状態情報が「未予約」であれば、図１１に示したように、操作画面に、ボタンＢ４、Ｂ３を含めることができる。
【００９２】
例えば、実行制御部２４４は、操作検出部２４０によりボタンＢ４に対するユーザ操作が検出された場合には、その番組に関する「録画予約」の実行を制御する。実行制御部２４４は、操作検出部２４０によりボタンＢ３に対するユーザ操作が検出された場合には、実オブジェクトの表示に戻るように制御する。
【００９３】
続いて、図１２を参照し、ユーザ操作により表示される操作画面の他の一例について説明する。図１２は、ユーザ操作により表示される操作画面の他の一例を示した説明図である。図１２に示した例では、図１１に示した例と同様に、表示制御部２３６は、操作検出部２４０により仮想オブジェクトが付加されていない領域（番組名が「歌う人」である番組に対応する領域）に対するユーザ操作が検出された場合には、その番組に関する操作画面を表示するように制御することができる。
【００９４】
図１２に示した例においても、図１１に示した例と同様に、表示制御部２３６は、操作検出部２４０により仮想オブジェクトが付加されていない領域に対するユーザ操作が検出された場合には、その番組に関する操作画面を表示するように制御することができる。図１１に示した例と同様に、表示制御部２３６は、例えば、番組の状態情報が「録画済み」であれば、図１１に示したように、ボタンＢ４、Ｂ３を操作画面に含めることができる。表示制御部２３６は、その他にも、ボタンＢ１１、Ｂ１２、Ｂ１３などを操作画面に含めることができる。
【００９５】
以上説明したように、本実施形態による携帯端末２０は、領域（例えば、時間と関連付けられた領域）を含む実オブジェクトをユーザが閲覧する場合、その領域に対して仮想オブジェクトが付加される。このため、ユーザは注目すべき領域を把握でき、ユーザに対する利便性を向上することが可能である。
【００９６】
（携帯端末の動作）
続いて、図１３および図１４を参照し、本実施形態による携帯端末２０の動作を説明する。図１３は、実オブジェクト撮像の前段階としてなされる動作を示したシーケンス図である。
【００９７】
図１３に示したように、実オブジェクト撮像の前段階おいては、まず、認識用辞書サーバ７０は、認識用辞書を送信する（Ｓ１１）。認識用辞書受信部２２０は、認識用辞書サーバ７０から送信された認識用辞書を受信し（Ｓ１２）、認識用辞書記憶部２２２は、認識用辞書受信部２２０により受信された認識用辞書を記憶する（Ｓ１３）。
【００９８】
Ｓ１１〜Ｓ１３に続いて、またはＳ１１〜Ｓ１３以前に、領域情報サーバ８０は、領域情報を携帯端末２０に送信する（Ｓ２１）。次いで、領域情報受信部２２６は、領域情報サーバ８０から送信された領域情報を受信する（Ｓ２２）。Ｓ２１〜Ｓ２２に続いて、またはＳ２１〜Ｓ２２以前に、録画装置１０は、状態情報を送信する（Ｓ２３）。次いで、状態情報受信部２２４は、録画装置１０から送信された状態情報を受信する（Ｓ２４）。構成情報生成部２２８は、領域情報と状態情報とに基づいて、構成情報を生成し（Ｓ２５）、構成情報記憶部２３０は、構成情報生成部２２８により生成された構成情報を記憶する（Ｓ２６）。
【００９９】
図１４は、実オブジェクト撮像以降の動作を示したシーケンス図である。図１４に示したように、実オブジェクト撮像以降においては、まず、撮像装置２１３は、実オブジェクトを撮像する（Ｓ３１）。次いで、認識部２３２は、撮像画像から実オブジェクトを認識し（Ｓ３２）、領域判定部２３４は、認識部２３２による認識結果と構成情報とに基づいて実オブジェクトの領域を判定する（Ｓ３３）。表示制御部２３６は、領域判定部２３４により判定された領域に仮想表示を付加する（Ｓ３４）。
【０１００】
操作検出部２４０により仮想表示に対するユーザ操作が検出されない場合には（Ｓ３５において「ＮＯ」の場合）、実行制御部２４４は、Ｓ３５に示された動作を繰り返すように制御する。操作検出部２４０により仮想表示に対するユーザ操作が検出された場合には（Ｓ３５において「ＹＥＳ」の場合）、コマンド送信部２４８は、実行制御部２４４による制御により、仮想表示に応じたコマンドを録画装置１０に送信する（Ｓ３６）。録画装置１０のコマンド受信部１３０は、携帯端末２０からコマンドを受信すると（Ｓ４１）、コマンド実行部１４０は、コマンド受信部１３０により受信されたコマンドを実行する（Ｓ４２）。
【０１０１】
＜＜３．むすび＞＞
以上説明したように、本開示による携帯端末２０は、領域（例えば、時間と関連付けられた領域）を含む実オブジェクトをユーザが閲覧する場合、その領域に対して仮想オブジェクトが付加される。このため、ユーザは注目すべき領域を把握でき、ユーザに対する利便性を向上することが可能である。本開示による携帯端末２０によれば、ユーザは、直感的な操作により所望の情報に迅速にアクセスすることができる。
【０１０２】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０３】
例えば、上記では、実オブジェクトの認識の機能、構成情報の生成の機能、領域判定の機能などを、携帯端末２０が有する例を主に説明したが、かかる機能は、携帯端末２０の代わりにサーバが有していてもよい。例えば、携帯端末２０が撮像画像をサーバに送信した場合、サーバは携帯端末２０の代わりに撮像画像から実オブジェクトを認識してもよい。また、例えば、サーバは携帯端末２０の代わりに構成情報を生成してもよい。また、例えば、サーバは携帯端末２０の代わりに領域を判定してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
【０１０４】
例えば、上記では、静止画操作モードへの遷移のトリガとなるユーザ操作の検出例として、タッチパネル２７によって検出されるタッチパネル２７への操作によって検出される携帯端末２０の動きを説明したが、ユーザ操作はかかる例に限定されない。他のユーザ操作の検出例として、モーションセンサによる検出、ユーザのジェスチャ認識が挙げられる。ユーザのジェスチャは、撮像装置２１３により取得される画像に基づいて認識することも、他の撮像系により取得される画像に基づいて認識することも可能である。なお、撮像装置２１３または他の撮像系は、赤外線カメラ、Ｄｅｐｔｈカメラなどの機能によりユーザのジェスチャを撮像してもよい。
【０１０５】
また、上記実施形態では、表示制御装置が携帯端末２０である例を主に説明したが、表示制御装置は、ＴＶやディスプレイ装置など、携帯端末２０より比較的大きめの装置であってもよい。例えば、表示制御装置側からユーザを撮像する撮像系を表示制御装置に接続しまたは内蔵した上でユーザの全身を映すことのできる大型のディスプレイを利用することにより、ユーザ自身を映す鏡のような機能を構成し、ユーザ自身に仮想オブジェクトを重畳して当該仮想オブジェクトを操作させるようなＡＲアプリケーションを実現することも可能である。
【０１０６】
また、上記では、携帯端末２０からのコマンドが録画装置１０により実行される例を主に説明したが、録画装置１０の代わりにコマンドを実行することができる装置を使用してもよい。例えば、録画装置１０の代わりに、家電機器（例えば、撮像装置、映像再生装置など）を使用してもよい。かかる場合、コマンドは、コンテンツデータ（静止画、動画など）を表示させるためのコマンドや、コンテンツデータを削除させるためのコマンドであってもよい。
【０１０７】
また、上記では、実オブジェクトとして番組表４０が使用される例を主に説明したが、実オブジェクトとしては、番組表４０の代わりに、カレンダー、スケジュール表などを使用してもよい。スケジュール表は、会社において使用される出欠管理表や、社員スケジュール管理表であってもよい。
【０１０８】
また、上記では、仮想オブジェクトに対するユーザ操作が検出された場合に、携帯端末２０は、録画装置１０に対するコマンドを送信する例を主に説明したが、表示装置５０に対してコマンドを送信してもよい。かかる場合、送信されるコマンドは、ユーザ操作がなされた仮想オブジェクトに対応するチャンネルへの変更であってもよい。
【０１０９】
また、本明細書の携帯端末２０、または録画装置１０の動作における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、携帯端末２０、または録画装置１０の動作における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１１０】
また、携帯端末２０、または録画装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した携帯端末２０、または録画装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【０１１１】
また、以下のような構成も本開示の技術的範囲に属する。
（１）
時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、
前記表示制御部は、
前記領域に対して前記仮想表示を付加する、表示制御装置。
（２）
前記実オブジェクトは、
放送時間およびチャンネルと関連付けられた複数の領域を含む番組表である、
（１）に記載の表示制御装置。
（３）
前記表示制御部は、
番組に関して保存されている情報に応じた仮想表示を、前記番組に対応する領域に付加する、
（１）または（２）に記載の表示制御装置。
（４）
前記表示制御部は、
番組に関して保存されている情報が、前記番組が録画済みである旨を示す場合には、録画されている番組の再生を制御するための仮想表示を付加する、
（１）〜（３）のいずれか一項に記載の表示制御装置。
（５）
前記表示制御部は、
番組に関して保存されている情報が、前記番組が録画済みである旨を示す場合には、録画されている番組の消去を制御するための仮想表示を付加する、
（１）〜（３）のいずれか一項に記載の表示制御装置。
（６）
前記表示制御部は、
番組に関して保存されている情報が、前記番組が未予約である旨を示す場合には、前記番組の録画予約を制御するための仮想表示を付加する、
（１）〜（３）のいずれか一項に記載の表示制御装置。
（７）
前記表示制御部は、
番組に関して保存されている情報が、前記番組が予約済みである旨を示す場合には、前記番組の予約中止を制御するための仮想表示を付加する、
（１）〜（３）のいずれか一項に記載の表示制御装置。
（８）
前記表示制御装置は、
前記仮想表示に対するユーザ操作を検出する操作検出部と、
前記ユーザ操作に応じて処理の実行を制御する実行制御部と、
をさらに備える、（１）〜（７）のいずれか一項に記載の表示制御装置。
（９）
前記実行制御部は、
前記操作検出部により前記仮想表示に対するユーザ操作が検出された場合に、前記仮想表示に対応する処理の実行を制御する、
（８）に記載の表示制御装置。
（１０）
前記表示制御装置は、
前記実オブジェクトの撮像画像から前記実オブジェクトを認識する認識部と、
前記撮像画像における前記領域を判定する領域判定部と、
をさらに備える、（１）〜（９）のいずれか一項に記載の表示制御装置。
（１１）
時間と関連付けられた領域を含む実オブジェクトの当該領域に対して仮想表示を付加する、表示制御方法。
（１２）
コンピュータを、
時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、
前記表示制御部は、
前記領域に対して前記仮想表示を付加する、表示制御装置として機能させるためのプログラム。
【符号の説明】
【０１１２】
２０ 携帯端末
２２２ 認識用辞書記憶部
２２４ 状態情報受信部
２２６ 領域情報受信部
２２８ 構成情報生成部
２３０ 構成情報記憶部
２３２ 認識部
２３４ 領域判定部
２３６ 表示制御部
２４０ 操作検出部
２４４ 実行制御部
２４８ コマンド送信部
Ｖ１１〜Ｖ１４ 仮想オブジェクト（仮想表示）
Ｖ１１１、Ｖ１３１、Ｖ１４１ 仮想オブジェクト（仮想表示）
Ｖ２１、Ｖ２３ 仮想オブジェクト（仮想表示）
【特許請求の範囲】
【請求項１】
時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、
前記表示制御部は、
前記領域に対して前記仮想表示を付加する、表示制御装置。
【請求項２】
前記実オブジェクトは、
放送時間およびチャンネルと関連付けられた複数の領域を含む番組表である、
請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、
番組に関して保存されている情報に応じた仮想表示を、前記番組に対応する領域に付加する、
請求項２に記載の表示制御装置。
【請求項４】
前記表示制御部は、
番組に関して保存されている情報が、前記番組が録画済みである旨を示す場合には、録画されている番組の再生を制御するための仮想表示を付加する、
請求項３に記載の表示制御装置。
【請求項５】
前記表示制御部は、
番組に関して保存されている情報が、前記番組が録画済みである旨を示す場合には、録画されている番組の消去を制御するための仮想表示を付加する、
請求項３に記載の表示制御装置。
【請求項６】
前記表示制御部は、
番組に関して保存されている情報が、前記番組が未予約である旨を示す場合には、前記番組の録画予約を制御するための仮想表示を付加する、
請求項３に記載の表示制御装置。
【請求項７】
前記表示制御部は、
番組に関して保存されている情報が、前記番組が予約済みである旨を示す場合には、前記番組の予約中止を制御するための仮想表示を付加する、
請求項３に記載の表示制御装置。
【請求項８】
前記表示制御装置は、
前記仮想表示に対するユーザ操作を検出する操作検出部と、
前記ユーザ操作に応じて処理の実行を制御する実行制御部と、
をさらに備える、請求項１に記載の表示制御装置。
【請求項９】
前記実行制御部は、
前記操作検出部により前記仮想表示に対するユーザ操作が検出された場合に、前記仮想表示に対応する処理の実行を制御する、
をさらに備える、請求項８に記載の表示制御装置。
【請求項１０】
前記表示制御装置は、
前記実オブジェクトの撮像画像から前記実オブジェクトを認識する認識部と、
前記撮像画像における前記領域を判定する領域判定部と、
をさらに備える、請求項１に記載の表示制御装置。
【請求項１１】
時間と関連付けられた領域を含む実オブジェクトの当該領域に対して仮想表示を付加する、表示制御方法。
【請求項１２】
コンピュータを、
時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、
前記表示制御部は、
前記領域に対して前記仮想表示を付加する、表示制御装置として機能させるためのプログラム。
【請求項１】
時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、
前記表示制御部は、
前記領域に対して前記仮想表示を付加する、表示制御装置。
【請求項２】
前記実オブジェクトは、
放送時間およびチャンネルと関連付けられた複数の領域を含む番組表である、
請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、
番組に関して保存されている情報に応じた仮想表示を、前記番組に対応する領域に付加する、
請求項２に記載の表示制御装置。
【請求項４】
前記表示制御部は、
番組に関して保存されている情報が、前記番組が録画済みである旨を示す場合には、録画されている番組の再生を制御するための仮想表示を付加する、
請求項３に記載の表示制御装置。
【請求項５】
前記表示制御部は、
番組に関して保存されている情報が、前記番組が録画済みである旨を示す場合には、録画されている番組の消去を制御するための仮想表示を付加する、
請求項３に記載の表示制御装置。
【請求項６】
前記表示制御部は、
番組に関して保存されている情報が、前記番組が未予約である旨を示す場合には、前記番組の録画予約を制御するための仮想表示を付加する、
請求項３に記載の表示制御装置。
【請求項７】
前記表示制御部は、
番組に関して保存されている情報が、前記番組が予約済みである旨を示す場合には、前記番組の予約中止を制御するための仮想表示を付加する、
請求項３に記載の表示制御装置。
【請求項８】
前記表示制御装置は、
前記仮想表示に対するユーザ操作を検出する操作検出部と、
前記ユーザ操作に応じて処理の実行を制御する実行制御部と、
をさらに備える、請求項１に記載の表示制御装置。
【請求項９】
前記実行制御部は、
前記操作検出部により前記仮想表示に対するユーザ操作が検出された場合に、前記仮想表示に対応する処理の実行を制御する、
をさらに備える、請求項８に記載の表示制御装置。
【請求項１０】
前記表示制御装置は、
前記実オブジェクトの撮像画像から前記実オブジェクトを認識する認識部と、
前記撮像画像における前記領域を判定する領域判定部と、
をさらに備える、請求項１に記載の表示制御装置。
【請求項１１】
時間と関連付けられた領域を含む実オブジェクトの当該領域に対して仮想表示を付加する、表示制御方法。
【請求項１２】
コンピュータを、
時間と関連付けられた領域を含む実オブジェクトに仮想表示を付加する表示制御部を備え、
前記表示制御部は、
前記領域に対して前記仮想表示を付加する、表示制御装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−４００１（Ｐ２０１３−４００１Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３７１８１（Ｐ２０１１−１３７１８１）
【出願日】平成２３年６月２１日（２０１１．６．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２１日（２０１１．６．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]