移動端末機及びこれを利用した情報表示方法
【課題】移動端末機で受信したデータのうちユーザの好みの情報を利用して、移動端末機にユーザ固有の拡張現実データベースを構築し、それを管理することによって拡張現実を表示する移動端末機及びこれを利用した情報表示方法を提供すること。
【解決手段】本発明にかかる移動端末機は、コンテンツ情報を受信する受信部と、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、抽出した詳細情報を格納する拡張現実データベースと、拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、を含む。
【解決手段】本発明にかかる移動端末機は、コンテンツ情報を受信する受信部と、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、抽出した詳細情報を格納する拡張現実データベースと、拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動端末機で受信したデータのうちユーザの好みの情報を利用して、移動端末機にユーザ固有の拡張現実データベースを構築し、それを管理することによって拡張現実を表示する移動端末機及びこれを利用した情報表示方法に関する。
【背景技術】
【０００２】
移動通信技術や様々なインフラの急速な発展に伴い、移動端末機は、一般的な音声通話だけでなく、ゲーム、メッセージの送受信、インターネット検索、無線情報通信、電子手帳、デジカメ、ビデオ通話などの様々なサービスを提供する媒体として進化してきている。
【０００３】
従来技術では、移動端末機において拡張現実を構成するためにコンテンツ・プロバイダから提供されるデータベースサーバから拡張現実情報を得て、それを映像と合成して出力していた。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、移動端末機で受信したデータのうちユーザの好みの情報を利用して、移動端末機にユーザ固有の拡張現実データベースを構築し、それを管理することによって拡張現実を表示する移動端末機及びこれを利用した情報表示方法を提供することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するための本発明の一実施形態に係る移動端末機は、コンテンツ情報を受信する受信部と、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報（Ｍｅｔａ Ｄａｔａ）から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、抽出した詳細情報を格納する拡張現実データベース、及び拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、を含む。
【０００６】
また、抽出部は、受信したコンテンツ情報のうち任意のアイテムを認識し、任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。
【０００７】
また、抽出部は、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報から上記アイテムのイメージを含む詳細情報を抽出してもよい。
【０００８】
また、抽出部は、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するコンテンツ情報の映像データから上記アイテムのイメージ情報をさらに抽出してもよい。
【０００９】
また、表示部は、カメラを利用して撮影した表示映像から拡張現実データベースに格納されている任意のアイテムを認識し、認識したアイテムに対応付けられて格納されている詳細情報を表示映像に合成して拡張現実として出力してもよい。
【００１０】
また、表示部は、カメラを利用して撮影した表示映像のうち一部が拡張現実データベースに格納されている任意のアイテムに対応するイメージと一致するか否かによって任意のアイテムを認識してもよい。
【００１１】
また、抽出部は、受信部で受信したコンテンツ情報をパーシング（ｐａｒｓｉｎｇ）し、任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部をさらに含み、判断部で利用可能と判断されたメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。
【００１２】
また、判断部は、メタ情報に任意のアイテムに対応するイメージ及び詳細情報が含まれているか否かによって拡張現実において利用可能であるか否かを判断してもよい。
【００１３】
また、抽出部は、抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部をさらに含み、拡張現実データベースは、変換部で変換された拡張現実形式の情報を格納してもよい。
【００１４】
また、コンテンツ情報は、放送コンテンツ、ウェブページに対するメディアコンテンツ、及び動画コンテンツの少なくとも一つを含んでもよい。
【００１５】
また、ユーザからの指示によって拡張現実データベースのフィールド値を編集する設定部をさらに含んでもよい。
【００１６】
また、課題を解決するための本発明の一実施形態に係る移動端末機を利用した情報表示方法は、コンテンツ情報を受信し、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出し、抽出した詳細情報を拡張現実データベースに格納し、及び拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力すること、を含む。
【００１７】
また、抽出することは、受信したコンテンツ情報のうちユーザによって選択された任意のアイテムを認識し、及び認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出することをさらに含む。
【００１８】
また、抽出することは、受信したコンテンツ情報のうち任意のアイテムを認識し、及び認識した任意のアイテムに対応するコンテンツ情報の映像データから認識したアイテムのイメージ情報をさらに抽出することをさらに含む。
【００１９】
また、拡張現実として出力することは、カメラを利用して撮影した表示映像から拡張現実データベースに格納されている任意のアイテムを認識し、及び認識したアイテムに対応付けられて拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力することをさらに含む。
【００２０】
また、抽出することは、受信したコンテンツ情報をパーシングし、任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断し、及び利用可能と判断されるメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出することをさらに含む。
【００２１】
また、抽出した詳細情報を拡張現実において表示可能な拡張現実形式に変換すること、及び変換された拡張現実形式の情報を拡張現実データベースに格納することをさらに含む。
【発明の効果】
【００２２】
上記のように構成される本発明の一実施形態に係る移動端末機は、ユーザの好みの拡張現実データベースを移動端末機に構成し、いつでもどこでも拡張現実サービスを利用することができるという利点がある。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る移動端末機の構成図である。
【図２】本発明の一実施形態に係る移動端末機を利用して情報を表示する過程を示す図である。
【図３】本発明の一実施形態に係る移動端末機で受信するメタ情報を示す図である。
【図４】本発明の一実施形態に係る移動端末機のメタ情報に含まれる情報を示す図である。
【図５Ａ】本発明の実施形態に係る移動端末機を利用して情報を表示する画面を示す図である。
【図５Ｂ】本発明の実施形態に係る移動端末機を利用して情報を表示する画面を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明に係る移動端末機及びこれを利用した情報表示方法について図面を参照して詳細に説明する。本発明の属する技術分野における通常の知識を有する者ならば、図面を参照しまたは変形させて本発明の構成に関する種々の実施形態を類推することができるはずであり、本発明は、かかる類推される種々の実施形態を含んでおり、添付の図面に示された実施形態によってその技術的特徴が限定されるものではない。
【００２５】
図１は、本発明の一実施形態に係る移動端末機の構成図である。
【００２６】
図１を参照すると、移動端末機１００は、受信部１１０と、抽出部１２０と、拡張現実データベース１３０と、設定部１４０と、表示部１５０と、を含む。
【００２７】
受信部１１０は、ユーザからの指示などによってコンテンツ情報を受信する。コンテンツ情報は、ユーザが移動端末機を通じて検索または再生するＩＰ ＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ ｔｅｌｅｖｉｓｉｏｎ）、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）などの放送コンテンツ、ユーザがブラウザを通じて使用するウェブページ上のメディアコンテンツ、及び移動端末機と連動してコンテンツを提供するメディアから受信した映像または音楽コンテンツなどを含む。コンテンツ情報は、コンテンツ情報に同期化されたメタ情報と共に受信され、メタ情報は、メディアコンテンツ上のアイテムに関する詳細情報を含んでいる。アイテムに関する詳細情報の例は、各アイテムのタイトル（ｔｉｔｌｅ）、各アイテムのカテゴリ（ｃａｔｅｇｏｒｙ）、各アイテムのイメージ（ｉｍａｇｅ）、人またはプロバイダを含む各アイテムの持ち主、または著作権者、Ｅ−ｍａｉｌアドレス、Ｗｅｂアドレス、電話番号などを含む関連連絡先、各コンテンツの製作日時、テキスト記述（ｔｅｘｔ ｄｅｓｃｒｉｐｔｉｏｎ）などのアイテムと関連した様々な情報が含まれてもよい。メタ構造の形式（ｆｏｒｍａｔ）または構造は、メディア主体またはコンテンツごとに異なってもよい。例えば、国内のＩＰ ＴＶの場合、ＩＴＵ−ＴのＨ．７５０に沿ってメタデータを伝送しており、ＸＭＬの形式で構成され、一般のウェブページのＨＴＭＬ形式において一部のメタ情報は＜ｍｅｔａ＞タグを使用している。
【００２８】
抽出部１２０は、受信部１１０で受信したコンテンツ情報に対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する。具体的には、抽出部１２０は、受信したコンテンツ情報の中に含まれているか、またはユーザによって選択される一つ以上の任意のアイテムを認識し、認識したアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。例えば、表示されるコンテンツ情報に含まれるすべてのアイテムまたは任意のアイテムを認識し、認識したアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出するか、またはユーザからクリックまたはタッチなどによって選択された任意の領域に含まれるアイテムが選択されたと認識し、認識したアイテムのメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。上記アイテムの例には、コンテンツ表示画面に含まれる人物情報、製品情報、場所、及び時間などの背景情報などが含まれてもよく、認識されるアイテムは一つ以上であってもよい。また、抽出部１２０は、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報またはコンテンツ情報から認識されたアイテムの詳細情報としてイメージをさらに抽出してもよい。上記イメージは、メタ情報内に含まれてメタ情報から抽出されたイメージ情報であってもよく、またはコンテンツ表示画面に表示されるコンテンツ情報からキャプチャされたイメージ情報であってもよい。具体的には、任意のアイテムに対応するメタ情報には、表示されているアイテムがコンテンツ情報の映像データのうちどのピクセル領域にあるかに関する情報が含まれており、メタ情報を利用してコンテンツ情報の映像データをキャプチャすることで、アイテムに対応するイメージ情報を抽出してもよい。抽出部１２０は、受信部１１０で受信したコンテンツ情報をパーシングし、任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部１２１をさらに含んでもよい。選択された任意のアイテムは、拡張現実において利用できるように任意のアイテムを説明する各アイテムのタイトル（ｔｉｔｌｅ）、各アイテムのカテゴリ（ｃａｔｅｇｏｒｙ）、各アイテムのイメージ（ｉｍａｇｅ）、人またはプロバイダを含む各アイテムの持ち主または著作権者、Ｅ−ｍａｉｌアドレス、Ｗｅｂアドレス、電話番号などを含む詳細情報を含んでいてよく、上記判断部１２１は、選択された任意のアイテムに対応する詳細情報の有無によって拡張現実において利用可能か否かを判断してもよい。抽出部１２０は、判断部１２１で拡張現実において利用可能と判断されたメタ情報から拡張現実データベースのフィールド値となるイメージ及び詳細情報を抽出する。例えば、一つの映像画面にかばんのイメージがある場合、抽出部１２０は、コンテンツのメタ情報からかばんのアイテムの名前、カテゴリ（例えば、ショッピング（ｓｈｏｐｐｉｎｇ）、製品（ｐｒｏｄｕｃｔ）など）、銘柄、写真、価格などの情報を抽出してもよい。また、抽出部１２０は、抽出された詳細情報を拡張現実において表示可能な拡張現実の形式に変換する変換部１２２をさらに含んでもよい。また、抽出部１２０は、受信部１１０で受信したコンテンツ情報を類型（ｔｙｐｅ）ごとに分類してパーシングする分析部をさらに含んでもよい。具体的には、分析部は、受信したコンテンツ情報及びメタ情報の形式（ｆｏｒｍａｔ）が移動端末機１００にて処理可能な形式であるか否かをチェックする情報タイプ分析部を含む。また、分析部は、放送コンテンツ分析部、インターネットコンテンツ分析部、及びメディアコンテンツ分析部を含み、情報タイプ分析部で処理可能とチェックされたコンテンツ情報及びメタ情報を類型ごとに分類処理してもよい。例えば、受信したコンテンツが放送コンテンツである場合、放送コンテンツ分析部に分類し、放送コンテンツ分析部でＩＰ ＴＶとＤＭＢなどのサービス類型及びプロバイダなどを区分して、各放送サービスごとのメタ情報の伝達形式に沿ってコンテンツ情報と共に受信したメタ情報をパーシング及び分析してもよい。また、受信したコンテンツがインターネットコンテンツである場合、インターネットコンテンツ分析部に分類し、インターネットコンテンツ分析部でウェブページを分析してウェブページ上のイメージ、オーディオ、ビデオなどのコンテンツとコンテンツに対する情報が書き込まれた文字コンテンツ（例えば、コンテンツ名、説明など）及びウェブページの＜ｍｅｔａ＞タグ内にあるメタ情報などをパーシングしてもよい。また、受信したコンテンツがその他のメディアコンテンツである場合、メディアコンテンツ分析部に分類し、メディアコンテンツ分析部で分析してもよい。
【００２９】
拡張現実データベース１３０は、抽出部１２０で抽出された詳細情報を格納する。拡張現実データベース１３０は、抽出部１２０で抽出された詳細情報を拡張現実データベース上において対応するフィールド名とマッピング（ｍａｐｐｉｎｇ）させ、拡張現実データベースのフィールド値の形式に合わせて資料型及びフォーマットを変換して格納する。例えば、拡張現実データベースの「位置」フィールド値がＧＰＳ形式で格納されるように定義された場合、拡張現実データベース１３０は、「飲食店Ａ」というアイテムのメタ情報からアドレス情報を抽出し、拡張現実データベースのフィールド値の形式に沿ってＧＰＳ値に変換して格納する。また、拡張現実データベース１４０は、拡張現実に利用できる情報アイテムに係る情報フィールド値を記録する拡張現実情報テーブルまたはカテゴリ名を基本キー（Ｐｒｉｍａｒｙ Ｋｅｙ）として構成するカテゴリ情報フィールド値から構成されるカテゴリテーブルを含んでもよい。拡張現実情報テーブルは、拡張現実の機能に応じて異なるように構成されてもよい。なお、拡張現実情報テーブルは、アイテムのタイトルを基本キー（Ｐｒｉｍａｒｙ Ｋｅｙ）とし、カテゴリは、カテゴリテーブルにおいて参照する外来キー（Ｆｏｒｅｉｇｎ Ｋｅｙ）として使用されてもよく、イメージフィールド及び詳細情報フィールドから構成されてもよい。例えば、詳細情報フィールドは、タイトル（Ｔｉｔｌｅ）、カテゴリ（Ｃａｔｅｇｏｒｙ）、コンタクトポイント １（Ｃｏｎｔａｃｔｐｏｉｎｔ １）としての位置（Ｌｏｃａｔｉｏｎ）、コンタクトポイント ２（Ｃｏｎｔａｃｔｐｏｉｎｔ ２）としての電話番号（Ｐｈｏｎｅｎｕｍｂｅｒ）、…、コンタクトポイント Ｎ（Ｃｏｎｔａｃｔｐｏｉｎｔ Ｎ）としての電子メール（Ｅ−ｍａｉｌ）、価格（Ｐｒｉｃｅ）、写真（Ｐｈｏｔｏ）、ビデオ（Ｖｉｄｅｏ）、サウンド（Ｓｏｕｎｄ）、タイム １（ｔｉｍｅ １）としての第１登録時間（Ｆｉｒｓｔ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｉｍｅ）、タイム ２（ｔｉｍｅ ２）としての最近のアップデート時間（Ｍｏｓｔ Ｒｅｃｅｎｔ Ｕｐｄａｔｅｄ Ｔｉｍｅ）、…、タイム Ｎ（Ｔｉｍｅ Ｎ）としての最近のオープン時間（Ｍｏｓｔ Ｒｅｃｅｎｔ Ｏｐｅｎｅｄ）、テキスト記述（Ｔｅｘｔ Ｄｅｓｃｒｉｐｔｉｏｎ）などから構成されてもよい。また、カテゴリテーブルは、基本キーの他にも関連検索語フィールドと、ユーザ設定システムの構成による情報収集要否フィールド、情報収集の優先順位フィールドなどをさらに含んでもよい。
【００３０】
設定部１４０は、ユーザからの指示によって拡張現実データベース１３０に格納されているフィールド値を編集してもよい。具体的には、設定部１４０は、拡張現実データベースの初期構成の際に定義されたカテゴリフィールド値の定義域を編集してもよい。例えば、ユーザの選択によって拡張現実データベースを構成するために収集する情報のカテゴリを選択したり、情報収集の際に優先順位をおくなどの選択的な編集を遂行したりしてもよい。
【００３１】
表示部１５０は、拡張現実データベース１３０に格納されている情報を表示映像と合成して拡張現実として出力する。具体的には、表示部１５０は、カメラなどを利用して撮影した表示映像の中に、拡張現実データベース１３０に格納されている任意のアイテムが含まれている場合にそれを認識し、認識したアイテムに対応付けて格納されている詳細情報を表示映像と合成して拡張現実として出力する。具体的には、表示部１５０は、表示映像の中の一部が拡張現実データベースに格納されている詳細情報のうち任意のアイテムに対応するイメージと類似または一致するか否かによって任意のアイテムを認識してもよい。
【００３２】
図２は、本発明の一実施形態に係る移動端末機を利用して情報を表示する過程を示す図である。
【００３３】
図２を参照すると、本発明の実施形態に係る移動端末機においてコンテンツ情報を受信し（Ｓ２１０）、受信したコンテンツ情報を表示する最中に任意のアイテムを認識し（Ｓ２２０）、認識したアイテムが拡張現実において利用可能な情報であるか否かを判断する（Ｓ２３０）。選択されたアイテムが拡張現実において利用可能な情報である場合、コンテンツ情報に対応するメタ情報から拡張現実データベースのフィールド値となる情報を抽出する（Ｓ２４０）。抽出した情報の形式を移動端末機の表示画面の規格に変換し（Ｓ２５０）、拡張現実データベースに格納する（Ｓ２６０）。次いで、移動端末機のカメラを利用して撮影した表示映像から拡張現実データベースに格納されているアイテムが認識される場合（Ｓ２７０）、拡張現実データベースに格納されている情報を表示映像と合成して拡張現実として出力する（Ｓ２８０）。
【００３４】
移動端末機を利用して、ユーザは、ＤＭＢ、ＩＰ ＴＶまたはウェブなどにアイテムが登場すると、関連情報を各コンテンツ類型ごとに収集して拡張現実データベースに格納し、以降、カメラを利用して撮影した表示映像から拡張現実データベースに格納されているアイテムが登場すると、拡張現実データベースに格納されている情報を利用して認識されたアイテムに詳細情報を合成して表示することができるようになる。例えば、ユーザがＤＭＢを視聴している時に任意の「携帯電話」を選択した場合、移動端末機は、選択されたピクセル領域を介して選択されたアイテムが「携帯電話」であることを認識し、携帯電話に対応するコンテンツ情報またはメタ情報から上記携帯電話に対応するイメージ及び詳細情報を抽出して拡張現実データベースに格納する。以降、ユーザがカメラを利用して実際に映像を撮影した際に拡張現実データベースに格納されている「携帯電話」のイメージが認識されると、拡張現実データベースに格納されている携帯電話に対応する詳細情報を表示映像に合成してユーザに提供してもよい。また、拡張現実データベースにＧＰＳ情報が格納されている場合、任意の位置でカメラにて撮影した映像から拡張現実データベースに格納されているイメージが認識されると、移動端末機は、ユーザ位置のＧＰＳ情報を測定して格納しておいたＧＰＳ詳細情報を拡張現実として表示してもよい。
【００３５】
図３は、本発明の一実施形態に係る移動端末機で受信するメタ情報を示す図である。
【００３６】
図３を参照すると、動画の再生中に動画コンテンツ情報に同期化されたメタ情報は、各フレーム（ｆｒａｍｅ）から構成された画面に対してキーフレーム（ｋｅｙ ｆｒａｍｅ）を設け、動画の圧縮時にメタ情報を含むキーフレームをすべて格納し、キーフレームとキーフレームとの間の映像は変更された部分だけ格納して伝送される。本発明の一実施形態に係る移動端末機は上記動画コンテンツ情報を受信し、キーフレームに含まれるメタ情報を取得して、これを利用してもよい。
【００３７】
図４は、本発明の一実施形態に係る移動端末機のメタ情報に含まれる情報を示す図である。
【００３８】
図４を参照すると、ＨＴＭＬ形式を有するウェブページからイメージに使用されるタグである＜ｉｍａｇ ｓｒｃ＞タグ４１０にウェブページ上のイメージとイメージ規格、イメージが格納されているウェブアドレス（ＵＲＬ）などが含まれているため、上記＜ｉｍａｇ ｓｒｃ＞タグをパーシングし、ユーザが選択したアイテムに対応するイメージ情報を抽出してもよい。
【００３９】
図５Ａ及び図５Ｂは、本発明の実施形態に係る移動端末機を利用して情報を表示する画面を示す図である。
【００４０】
図５Ａを参照すると、ユーザがＤＭＢを視聴している時に任意の携帯電話である「ＸＸＸＸ」５０１を選択すると、上記移動端末機は、「ＸＸＸＸ」という携帯電話に対応するコンテンツ情報またはメタ情報をパーシングし、「ＸＸＸＸ」という携帯電話に対応する製品名、製造メーカなどの詳細情報５０２を拡張現実データベースに格納する。以降、カメラを利用した撮影画面から「ＸＸＸＸ」のイメージが認識されると、移動端末機は、拡張現実データベースに格納されている「ＸＸＸＸ」という携帯電話に対応する詳細情報５０２を撮影画面に合成して表示してもよい。
【００４１】
図５Ｂを参照すると、ユーザが移動端末機を利用して受信したコンテンツ情報から任意の人物である「ＺＺＺＺ」５０３を選択し、移動端末機は、選択された人物である「ＺＺＺＺ」５０３に対応するコンテンツ情報またはメタ情報をパーシングし、「ＺＺＺＺ」５０３に係る名前、職業、生年月日などの詳細情報を拡張現実データベースに格納する。以降、カメラを利用した撮影画面から「ＺＺＺＺ」のイメージが認識されると、移動端末機は、拡張現実データベースに格納されている「ＺＺＺＺ」に対応する詳細情報５０４を上記撮影画面に合成して表示してもよい。
【００４２】
上記のように説明された移動端末機及びこれを利用した情報表示方法は、上記説明の実施形態の構成と方法とに限定されるものではなく、上記実施形態は、種々の変形が可能であり各実施形態の全部または一部が選択的に組み合わされて構成されてもよい。
【符号の説明】
【００４３】
１１０：受信部
１２０：抽出部
１２１：判断部
１２２：変換部
１３０：拡張現実データベース
１４０：設定部
１５０：表示部
【技術分野】
【０００１】
本発明は、移動端末機で受信したデータのうちユーザの好みの情報を利用して、移動端末機にユーザ固有の拡張現実データベースを構築し、それを管理することによって拡張現実を表示する移動端末機及びこれを利用した情報表示方法に関する。
【背景技術】
【０００２】
移動通信技術や様々なインフラの急速な発展に伴い、移動端末機は、一般的な音声通話だけでなく、ゲーム、メッセージの送受信、インターネット検索、無線情報通信、電子手帳、デジカメ、ビデオ通話などの様々なサービスを提供する媒体として進化してきている。
【０００３】
従来技術では、移動端末機において拡張現実を構成するためにコンテンツ・プロバイダから提供されるデータベースサーバから拡張現実情報を得て、それを映像と合成して出力していた。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、移動端末機で受信したデータのうちユーザの好みの情報を利用して、移動端末機にユーザ固有の拡張現実データベースを構築し、それを管理することによって拡張現実を表示する移動端末機及びこれを利用した情報表示方法を提供することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するための本発明の一実施形態に係る移動端末機は、コンテンツ情報を受信する受信部と、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報（Ｍｅｔａ Ｄａｔａ）から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、抽出した詳細情報を格納する拡張現実データベース、及び拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、を含む。
【０００６】
また、抽出部は、受信したコンテンツ情報のうち任意のアイテムを認識し、任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。
【０００７】
また、抽出部は、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報から上記アイテムのイメージを含む詳細情報を抽出してもよい。
【０００８】
また、抽出部は、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するコンテンツ情報の映像データから上記アイテムのイメージ情報をさらに抽出してもよい。
【０００９】
また、表示部は、カメラを利用して撮影した表示映像から拡張現実データベースに格納されている任意のアイテムを認識し、認識したアイテムに対応付けられて格納されている詳細情報を表示映像に合成して拡張現実として出力してもよい。
【００１０】
また、表示部は、カメラを利用して撮影した表示映像のうち一部が拡張現実データベースに格納されている任意のアイテムに対応するイメージと一致するか否かによって任意のアイテムを認識してもよい。
【００１１】
また、抽出部は、受信部で受信したコンテンツ情報をパーシング（ｐａｒｓｉｎｇ）し、任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部をさらに含み、判断部で利用可能と判断されたメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。
【００１２】
また、判断部は、メタ情報に任意のアイテムに対応するイメージ及び詳細情報が含まれているか否かによって拡張現実において利用可能であるか否かを判断してもよい。
【００１３】
また、抽出部は、抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部をさらに含み、拡張現実データベースは、変換部で変換された拡張現実形式の情報を格納してもよい。
【００１４】
また、コンテンツ情報は、放送コンテンツ、ウェブページに対するメディアコンテンツ、及び動画コンテンツの少なくとも一つを含んでもよい。
【００１５】
また、ユーザからの指示によって拡張現実データベースのフィールド値を編集する設定部をさらに含んでもよい。
【００１６】
また、課題を解決するための本発明の一実施形態に係る移動端末機を利用した情報表示方法は、コンテンツ情報を受信し、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出し、抽出した詳細情報を拡張現実データベースに格納し、及び拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力すること、を含む。
【００１７】
また、抽出することは、受信したコンテンツ情報のうちユーザによって選択された任意のアイテムを認識し、及び認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出することをさらに含む。
【００１８】
また、抽出することは、受信したコンテンツ情報のうち任意のアイテムを認識し、及び認識した任意のアイテムに対応するコンテンツ情報の映像データから認識したアイテムのイメージ情報をさらに抽出することをさらに含む。
【００１９】
また、拡張現実として出力することは、カメラを利用して撮影した表示映像から拡張現実データベースに格納されている任意のアイテムを認識し、及び認識したアイテムに対応付けられて拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力することをさらに含む。
【００２０】
また、抽出することは、受信したコンテンツ情報をパーシングし、任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断し、及び利用可能と判断されるメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出することをさらに含む。
【００２１】
また、抽出した詳細情報を拡張現実において表示可能な拡張現実形式に変換すること、及び変換された拡張現実形式の情報を拡張現実データベースに格納することをさらに含む。
【発明の効果】
【００２２】
上記のように構成される本発明の一実施形態に係る移動端末機は、ユーザの好みの拡張現実データベースを移動端末機に構成し、いつでもどこでも拡張現実サービスを利用することができるという利点がある。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る移動端末機の構成図である。
【図２】本発明の一実施形態に係る移動端末機を利用して情報を表示する過程を示す図である。
【図３】本発明の一実施形態に係る移動端末機で受信するメタ情報を示す図である。
【図４】本発明の一実施形態に係る移動端末機のメタ情報に含まれる情報を示す図である。
【図５Ａ】本発明の実施形態に係る移動端末機を利用して情報を表示する画面を示す図である。
【図５Ｂ】本発明の実施形態に係る移動端末機を利用して情報を表示する画面を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明に係る移動端末機及びこれを利用した情報表示方法について図面を参照して詳細に説明する。本発明の属する技術分野における通常の知識を有する者ならば、図面を参照しまたは変形させて本発明の構成に関する種々の実施形態を類推することができるはずであり、本発明は、かかる類推される種々の実施形態を含んでおり、添付の図面に示された実施形態によってその技術的特徴が限定されるものではない。
【００２５】
図１は、本発明の一実施形態に係る移動端末機の構成図である。
【００２６】
図１を参照すると、移動端末機１００は、受信部１１０と、抽出部１２０と、拡張現実データベース１３０と、設定部１４０と、表示部１５０と、を含む。
【００２７】
受信部１１０は、ユーザからの指示などによってコンテンツ情報を受信する。コンテンツ情報は、ユーザが移動端末機を通じて検索または再生するＩＰ ＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ ｔｅｌｅｖｉｓｉｏｎ）、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）などの放送コンテンツ、ユーザがブラウザを通じて使用するウェブページ上のメディアコンテンツ、及び移動端末機と連動してコンテンツを提供するメディアから受信した映像または音楽コンテンツなどを含む。コンテンツ情報は、コンテンツ情報に同期化されたメタ情報と共に受信され、メタ情報は、メディアコンテンツ上のアイテムに関する詳細情報を含んでいる。アイテムに関する詳細情報の例は、各アイテムのタイトル（ｔｉｔｌｅ）、各アイテムのカテゴリ（ｃａｔｅｇｏｒｙ）、各アイテムのイメージ（ｉｍａｇｅ）、人またはプロバイダを含む各アイテムの持ち主、または著作権者、Ｅ−ｍａｉｌアドレス、Ｗｅｂアドレス、電話番号などを含む関連連絡先、各コンテンツの製作日時、テキスト記述（ｔｅｘｔ ｄｅｓｃｒｉｐｔｉｏｎ）などのアイテムと関連した様々な情報が含まれてもよい。メタ構造の形式（ｆｏｒｍａｔ）または構造は、メディア主体またはコンテンツごとに異なってもよい。例えば、国内のＩＰ ＴＶの場合、ＩＴＵ−ＴのＨ．７５０に沿ってメタデータを伝送しており、ＸＭＬの形式で構成され、一般のウェブページのＨＴＭＬ形式において一部のメタ情報は＜ｍｅｔａ＞タグを使用している。
【００２８】
抽出部１２０は、受信部１１０で受信したコンテンツ情報に対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する。具体的には、抽出部１２０は、受信したコンテンツ情報の中に含まれているか、またはユーザによって選択される一つ以上の任意のアイテムを認識し、認識したアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。例えば、表示されるコンテンツ情報に含まれるすべてのアイテムまたは任意のアイテムを認識し、認識したアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出するか、またはユーザからクリックまたはタッチなどによって選択された任意の領域に含まれるアイテムが選択されたと認識し、認識したアイテムのメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。上記アイテムの例には、コンテンツ表示画面に含まれる人物情報、製品情報、場所、及び時間などの背景情報などが含まれてもよく、認識されるアイテムは一つ以上であってもよい。また、抽出部１２０は、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報またはコンテンツ情報から認識されたアイテムの詳細情報としてイメージをさらに抽出してもよい。上記イメージは、メタ情報内に含まれてメタ情報から抽出されたイメージ情報であってもよく、またはコンテンツ表示画面に表示されるコンテンツ情報からキャプチャされたイメージ情報であってもよい。具体的には、任意のアイテムに対応するメタ情報には、表示されているアイテムがコンテンツ情報の映像データのうちどのピクセル領域にあるかに関する情報が含まれており、メタ情報を利用してコンテンツ情報の映像データをキャプチャすることで、アイテムに対応するイメージ情報を抽出してもよい。抽出部１２０は、受信部１１０で受信したコンテンツ情報をパーシングし、任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部１２１をさらに含んでもよい。選択された任意のアイテムは、拡張現実において利用できるように任意のアイテムを説明する各アイテムのタイトル（ｔｉｔｌｅ）、各アイテムのカテゴリ（ｃａｔｅｇｏｒｙ）、各アイテムのイメージ（ｉｍａｇｅ）、人またはプロバイダを含む各アイテムの持ち主または著作権者、Ｅ−ｍａｉｌアドレス、Ｗｅｂアドレス、電話番号などを含む詳細情報を含んでいてよく、上記判断部１２１は、選択された任意のアイテムに対応する詳細情報の有無によって拡張現実において利用可能か否かを判断してもよい。抽出部１２０は、判断部１２１で拡張現実において利用可能と判断されたメタ情報から拡張現実データベースのフィールド値となるイメージ及び詳細情報を抽出する。例えば、一つの映像画面にかばんのイメージがある場合、抽出部１２０は、コンテンツのメタ情報からかばんのアイテムの名前、カテゴリ（例えば、ショッピング（ｓｈｏｐｐｉｎｇ）、製品（ｐｒｏｄｕｃｔ）など）、銘柄、写真、価格などの情報を抽出してもよい。また、抽出部１２０は、抽出された詳細情報を拡張現実において表示可能な拡張現実の形式に変換する変換部１２２をさらに含んでもよい。また、抽出部１２０は、受信部１１０で受信したコンテンツ情報を類型（ｔｙｐｅ）ごとに分類してパーシングする分析部をさらに含んでもよい。具体的には、分析部は、受信したコンテンツ情報及びメタ情報の形式（ｆｏｒｍａｔ）が移動端末機１００にて処理可能な形式であるか否かをチェックする情報タイプ分析部を含む。また、分析部は、放送コンテンツ分析部、インターネットコンテンツ分析部、及びメディアコンテンツ分析部を含み、情報タイプ分析部で処理可能とチェックされたコンテンツ情報及びメタ情報を類型ごとに分類処理してもよい。例えば、受信したコンテンツが放送コンテンツである場合、放送コンテンツ分析部に分類し、放送コンテンツ分析部でＩＰ ＴＶとＤＭＢなどのサービス類型及びプロバイダなどを区分して、各放送サービスごとのメタ情報の伝達形式に沿ってコンテンツ情報と共に受信したメタ情報をパーシング及び分析してもよい。また、受信したコンテンツがインターネットコンテンツである場合、インターネットコンテンツ分析部に分類し、インターネットコンテンツ分析部でウェブページを分析してウェブページ上のイメージ、オーディオ、ビデオなどのコンテンツとコンテンツに対する情報が書き込まれた文字コンテンツ（例えば、コンテンツ名、説明など）及びウェブページの＜ｍｅｔａ＞タグ内にあるメタ情報などをパーシングしてもよい。また、受信したコンテンツがその他のメディアコンテンツである場合、メディアコンテンツ分析部に分類し、メディアコンテンツ分析部で分析してもよい。
【００２９】
拡張現実データベース１３０は、抽出部１２０で抽出された詳細情報を格納する。拡張現実データベース１３０は、抽出部１２０で抽出された詳細情報を拡張現実データベース上において対応するフィールド名とマッピング（ｍａｐｐｉｎｇ）させ、拡張現実データベースのフィールド値の形式に合わせて資料型及びフォーマットを変換して格納する。例えば、拡張現実データベースの「位置」フィールド値がＧＰＳ形式で格納されるように定義された場合、拡張現実データベース１３０は、「飲食店Ａ」というアイテムのメタ情報からアドレス情報を抽出し、拡張現実データベースのフィールド値の形式に沿ってＧＰＳ値に変換して格納する。また、拡張現実データベース１４０は、拡張現実に利用できる情報アイテムに係る情報フィールド値を記録する拡張現実情報テーブルまたはカテゴリ名を基本キー（Ｐｒｉｍａｒｙ Ｋｅｙ）として構成するカテゴリ情報フィールド値から構成されるカテゴリテーブルを含んでもよい。拡張現実情報テーブルは、拡張現実の機能に応じて異なるように構成されてもよい。なお、拡張現実情報テーブルは、アイテムのタイトルを基本キー（Ｐｒｉｍａｒｙ Ｋｅｙ）とし、カテゴリは、カテゴリテーブルにおいて参照する外来キー（Ｆｏｒｅｉｇｎ Ｋｅｙ）として使用されてもよく、イメージフィールド及び詳細情報フィールドから構成されてもよい。例えば、詳細情報フィールドは、タイトル（Ｔｉｔｌｅ）、カテゴリ（Ｃａｔｅｇｏｒｙ）、コンタクトポイント １（Ｃｏｎｔａｃｔｐｏｉｎｔ １）としての位置（Ｌｏｃａｔｉｏｎ）、コンタクトポイント ２（Ｃｏｎｔａｃｔｐｏｉｎｔ ２）としての電話番号（Ｐｈｏｎｅｎｕｍｂｅｒ）、…、コンタクトポイント Ｎ（Ｃｏｎｔａｃｔｐｏｉｎｔ Ｎ）としての電子メール（Ｅ−ｍａｉｌ）、価格（Ｐｒｉｃｅ）、写真（Ｐｈｏｔｏ）、ビデオ（Ｖｉｄｅｏ）、サウンド（Ｓｏｕｎｄ）、タイム １（ｔｉｍｅ １）としての第１登録時間（Ｆｉｒｓｔ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｉｍｅ）、タイム ２（ｔｉｍｅ ２）としての最近のアップデート時間（Ｍｏｓｔ Ｒｅｃｅｎｔ Ｕｐｄａｔｅｄ Ｔｉｍｅ）、…、タイム Ｎ（Ｔｉｍｅ Ｎ）としての最近のオープン時間（Ｍｏｓｔ Ｒｅｃｅｎｔ Ｏｐｅｎｅｄ）、テキスト記述（Ｔｅｘｔ Ｄｅｓｃｒｉｐｔｉｏｎ）などから構成されてもよい。また、カテゴリテーブルは、基本キーの他にも関連検索語フィールドと、ユーザ設定システムの構成による情報収集要否フィールド、情報収集の優先順位フィールドなどをさらに含んでもよい。
【００３０】
設定部１４０は、ユーザからの指示によって拡張現実データベース１３０に格納されているフィールド値を編集してもよい。具体的には、設定部１４０は、拡張現実データベースの初期構成の際に定義されたカテゴリフィールド値の定義域を編集してもよい。例えば、ユーザの選択によって拡張現実データベースを構成するために収集する情報のカテゴリを選択したり、情報収集の際に優先順位をおくなどの選択的な編集を遂行したりしてもよい。
【００３１】
表示部１５０は、拡張現実データベース１３０に格納されている情報を表示映像と合成して拡張現実として出力する。具体的には、表示部１５０は、カメラなどを利用して撮影した表示映像の中に、拡張現実データベース１３０に格納されている任意のアイテムが含まれている場合にそれを認識し、認識したアイテムに対応付けて格納されている詳細情報を表示映像と合成して拡張現実として出力する。具体的には、表示部１５０は、表示映像の中の一部が拡張現実データベースに格納されている詳細情報のうち任意のアイテムに対応するイメージと類似または一致するか否かによって任意のアイテムを認識してもよい。
【００３２】
図２は、本発明の一実施形態に係る移動端末機を利用して情報を表示する過程を示す図である。
【００３３】
図２を参照すると、本発明の実施形態に係る移動端末機においてコンテンツ情報を受信し（Ｓ２１０）、受信したコンテンツ情報を表示する最中に任意のアイテムを認識し（Ｓ２２０）、認識したアイテムが拡張現実において利用可能な情報であるか否かを判断する（Ｓ２３０）。選択されたアイテムが拡張現実において利用可能な情報である場合、コンテンツ情報に対応するメタ情報から拡張現実データベースのフィールド値となる情報を抽出する（Ｓ２４０）。抽出した情報の形式を移動端末機の表示画面の規格に変換し（Ｓ２５０）、拡張現実データベースに格納する（Ｓ２６０）。次いで、移動端末機のカメラを利用して撮影した表示映像から拡張現実データベースに格納されているアイテムが認識される場合（Ｓ２７０）、拡張現実データベースに格納されている情報を表示映像と合成して拡張現実として出力する（Ｓ２８０）。
【００３４】
移動端末機を利用して、ユーザは、ＤＭＢ、ＩＰ ＴＶまたはウェブなどにアイテムが登場すると、関連情報を各コンテンツ類型ごとに収集して拡張現実データベースに格納し、以降、カメラを利用して撮影した表示映像から拡張現実データベースに格納されているアイテムが登場すると、拡張現実データベースに格納されている情報を利用して認識されたアイテムに詳細情報を合成して表示することができるようになる。例えば、ユーザがＤＭＢを視聴している時に任意の「携帯電話」を選択した場合、移動端末機は、選択されたピクセル領域を介して選択されたアイテムが「携帯電話」であることを認識し、携帯電話に対応するコンテンツ情報またはメタ情報から上記携帯電話に対応するイメージ及び詳細情報を抽出して拡張現実データベースに格納する。以降、ユーザがカメラを利用して実際に映像を撮影した際に拡張現実データベースに格納されている「携帯電話」のイメージが認識されると、拡張現実データベースに格納されている携帯電話に対応する詳細情報を表示映像に合成してユーザに提供してもよい。また、拡張現実データベースにＧＰＳ情報が格納されている場合、任意の位置でカメラにて撮影した映像から拡張現実データベースに格納されているイメージが認識されると、移動端末機は、ユーザ位置のＧＰＳ情報を測定して格納しておいたＧＰＳ詳細情報を拡張現実として表示してもよい。
【００３５】
図３は、本発明の一実施形態に係る移動端末機で受信するメタ情報を示す図である。
【００３６】
図３を参照すると、動画の再生中に動画コンテンツ情報に同期化されたメタ情報は、各フレーム（ｆｒａｍｅ）から構成された画面に対してキーフレーム（ｋｅｙ ｆｒａｍｅ）を設け、動画の圧縮時にメタ情報を含むキーフレームをすべて格納し、キーフレームとキーフレームとの間の映像は変更された部分だけ格納して伝送される。本発明の一実施形態に係る移動端末機は上記動画コンテンツ情報を受信し、キーフレームに含まれるメタ情報を取得して、これを利用してもよい。
【００３７】
図４は、本発明の一実施形態に係る移動端末機のメタ情報に含まれる情報を示す図である。
【００３８】
図４を参照すると、ＨＴＭＬ形式を有するウェブページからイメージに使用されるタグである＜ｉｍａｇ ｓｒｃ＞タグ４１０にウェブページ上のイメージとイメージ規格、イメージが格納されているウェブアドレス（ＵＲＬ）などが含まれているため、上記＜ｉｍａｇ ｓｒｃ＞タグをパーシングし、ユーザが選択したアイテムに対応するイメージ情報を抽出してもよい。
【００３９】
図５Ａ及び図５Ｂは、本発明の実施形態に係る移動端末機を利用して情報を表示する画面を示す図である。
【００４０】
図５Ａを参照すると、ユーザがＤＭＢを視聴している時に任意の携帯電話である「ＸＸＸＸ」５０１を選択すると、上記移動端末機は、「ＸＸＸＸ」という携帯電話に対応するコンテンツ情報またはメタ情報をパーシングし、「ＸＸＸＸ」という携帯電話に対応する製品名、製造メーカなどの詳細情報５０２を拡張現実データベースに格納する。以降、カメラを利用した撮影画面から「ＸＸＸＸ」のイメージが認識されると、移動端末機は、拡張現実データベースに格納されている「ＸＸＸＸ」という携帯電話に対応する詳細情報５０２を撮影画面に合成して表示してもよい。
【００４１】
図５Ｂを参照すると、ユーザが移動端末機を利用して受信したコンテンツ情報から任意の人物である「ＺＺＺＺ」５０３を選択し、移動端末機は、選択された人物である「ＺＺＺＺ」５０３に対応するコンテンツ情報またはメタ情報をパーシングし、「ＺＺＺＺ」５０３に係る名前、職業、生年月日などの詳細情報を拡張現実データベースに格納する。以降、カメラを利用した撮影画面から「ＺＺＺＺ」のイメージが認識されると、移動端末機は、拡張現実データベースに格納されている「ＺＺＺＺ」に対応する詳細情報５０４を上記撮影画面に合成して表示してもよい。
【００４２】
上記のように説明された移動端末機及びこれを利用した情報表示方法は、上記説明の実施形態の構成と方法とに限定されるものではなく、上記実施形態は、種々の変形が可能であり各実施形態の全部または一部が選択的に組み合わされて構成されてもよい。
【符号の説明】
【００４３】
１１０：受信部
１２０：抽出部
１２１：判断部
１２２：変換部
１３０：拡張現実データベース
１４０：設定部
１５０：表示部
【特許請求の範囲】
【請求項１】
コンテンツ情報を受信する受信部と、
前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、
前記抽出した詳細情報を格納する拡張現実データベース、及び
前記拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、
を含む移動端末機。
【請求項２】
前記抽出部は、前記任意のアイテムをユーザの選択により又は自動認識により認識することを特徴とする請求項１に記載の移動端末機。
【請求項３】
前記抽出部は、前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から前記アイテムのイメージが含まれた詳細情報を抽出することを特徴とする請求項１に記載の移動端末機。
【請求項４】
前記抽出部は、前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するコンテンツ情報の映像データから前記アイテムのイメージ情報をさらに抽出することを特徴とする請求項１に記載の移動端末機。
【請求項５】
前記表示部は、カメラを利用して撮影した表示映像から前記拡張現実データベースに格納されている任意のアイテムを認識し、前記認識したアイテムに対応付けられて格納されている詳細情報を前記表示映像に合成して拡張現実として出力することを特徴とする請求項１に記載の移動端末機。
【請求項６】
前記表示部は、前記カメラを利用して撮影した表示映像のうち一部が前記拡張現実データベースに格納されている任意のアイテムに対応するイメージと一致するか否かによって任意のアイテムを認識することを特徴とする請求項５に記載の移動端末機。
【請求項７】
前記抽出部は、前記受信部で受信したコンテンツ情報をパーシングし、前記任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部、及び
前記抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部をさらに含み、
前記判断部で利用可能と判断されたメタ情報から前記拡張現実データベースのフィールド値となる詳細情報を抽出することを特徴とする請求項１に記載の移動端末機。
【請求項８】
前記判断部は、前記メタ情報に任意のアイテムに対応するイメージ及び詳細情報が含まれているか否かによって前記拡張現実において利用可能であるか否かを判断することを特徴とする請求項７に記載の移動端末機。
【請求項９】
前記抽出部は、前記抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部をさらに含み、
前記拡張現実データベースは、前記変換部で変換された拡張現実形式の情報を格納することを特徴とする請求項１に記載の移動端末機。
【請求項１０】
前記コンテンツ情報は、放送コンテンツ、ウェブページに対するメディアコンテンツ、及び動画コンテンツのうち少なくとも一つを含むことを特徴とする請求項１に記載の移動端末機。
【請求項１１】
前記抽出部は、前記コンテンツ情報を類型ごとに分類してパーシングする分析部をさらに含み、
前記分析部は、受信した前記コンテンツ情報の形式をチェックして前記コンテンツ情報を前記類型ごとに分類する情報タイプ分析部を含むことを特徴とする請求項１に記載の移動端末機。
【請求項１２】
前記分析部は、サービスタイプを特定し、パーシングし、及び放送コンテンツ情報タイプのメタ情報を分析する放送コンテンツ分析部、
ウェブページを分析し所定のコンテンツ情報タイプのメタ情報をパーシングするインターネットコンテンツ分析部、
及び受信したメディア情報タイプコンテンツのメタ情報を分析し、パーシングするメディアコンテンツ分析部を含むことを特徴とする請求項１に記載の移動端末機。
【請求項１３】
前記拡張現実データベースは、前記任意のアイテムに対するタイトルを基本キーとするイメージフィールドを含む詳細情報フィールドから構成されることを特徴とする請求項１に記載の移動端末機。
【請求項１４】
ユーザからの指示又は自動的なルールによって前記拡張現実データベースのフィールド値を編集する設定部をさらに含むことを特徴とする請求項１に記載の移動端末機。
【請求項１５】
コンテンツ情報を受信し、
前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出し、
前記抽出した詳細情報を前記拡張現実データベースに格納し、及び
前記拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力すること、
を含む移動端末機を利用した情報表示方法。
【請求項１６】
前記抽出することは、
前記受信したコンテンツ情報のうちユーザによって選択された又は自動的に選択された任意のアイテムを認識し、及び
前記認識された任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出すること、をさらに含むことを特徴とする請求項１５に記載の移動端末機を利用した情報表示方法。
【請求項１７】
前記抽出することは、
前記受信したコンテンツ情報のうち任意のアイテムを認識し、及び
前記認識した任意のアイテムに対応するコンテンツ情報の映像データから前記認識したアイテムのイメージ情報をさらに抽出すること、をさらに含むことを特徴とする請求項１５に記載の移動端末機を利用した情報表示方法。
【請求項１８】
前記拡張現実として出力することは、
カメラを利用して撮影した表示映像から前記拡張現実データベースに格納されている任意のアイテムを認識し、及び
前記認識したアイテムに対応付けて前記拡張現実データベースに格納されている情報を前記表示映像に合成して拡張現実として出力すること、をさらに含むことを特徴とする請求項１５に記載の移動端末機を利用した情報表示方法。
【請求項１９】
前記抽出することは、
前記受信したコンテンツ情報をパーシングし、前記任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断し、及び
利用可能と判断されたメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出すること、をさらに含むことを特徴とする請求項１５に記載の移動端末機を利用した情報表示方法。
【請求項２０】
前記拡張現実データベースに格納することは、
前記抽出した詳細情報を拡張現実において表示可能な拡張現実形式に変換し、及び
前記変換された拡張現実形式の情報を前記拡張現実データベースに格納すること、をさらに含むことを特徴とする請求項１５に記載の移動端末機を利用した情報表示方法。
【請求項２１】
コンテンツ情報を受信する受信部と、
前記受信部で受信したコンテンツ情報をパーシングし、前記任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部と、
前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、
前記抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部と、
前記抽出した詳細情報を格納する拡張現実データベースと、
ユーザからの指示又は自動的なルールによって前記拡張現実データベースの前記フィールド値を編集する設定部と、
前記拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、
を含む移動端末機。
【請求項１】
コンテンツ情報を受信する受信部と、
前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、
前記抽出した詳細情報を格納する拡張現実データベース、及び
前記拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、
を含む移動端末機。
【請求項２】
前記抽出部は、前記任意のアイテムをユーザの選択により又は自動認識により認識することを特徴とする請求項１に記載の移動端末機。
【請求項３】
前記抽出部は、前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から前記アイテムのイメージが含まれた詳細情報を抽出することを特徴とする請求項１に記載の移動端末機。
【請求項４】
前記抽出部は、前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するコンテンツ情報の映像データから前記アイテムのイメージ情報をさらに抽出することを特徴とする請求項１に記載の移動端末機。
【請求項５】
前記表示部は、カメラを利用して撮影した表示映像から前記拡張現実データベースに格納されている任意のアイテムを認識し、前記認識したアイテムに対応付けられて格納されている詳細情報を前記表示映像に合成して拡張現実として出力することを特徴とする請求項１に記載の移動端末機。
【請求項６】
前記表示部は、前記カメラを利用して撮影した表示映像のうち一部が前記拡張現実データベースに格納されている任意のアイテムに対応するイメージと一致するか否かによって任意のアイテムを認識することを特徴とする請求項５に記載の移動端末機。
【請求項７】
前記抽出部は、前記受信部で受信したコンテンツ情報をパーシングし、前記任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部、及び
前記抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部をさらに含み、
前記判断部で利用可能と判断されたメタ情報から前記拡張現実データベースのフィールド値となる詳細情報を抽出することを特徴とする請求項１に記載の移動端末機。
【請求項８】
前記判断部は、前記メタ情報に任意のアイテムに対応するイメージ及び詳細情報が含まれているか否かによって前記拡張現実において利用可能であるか否かを判断することを特徴とする請求項７に記載の移動端末機。
【請求項９】
前記抽出部は、前記抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部をさらに含み、
前記拡張現実データベースは、前記変換部で変換された拡張現実形式の情報を格納することを特徴とする請求項１に記載の移動端末機。
【請求項１０】
前記コンテンツ情報は、放送コンテンツ、ウェブページに対するメディアコンテンツ、及び動画コンテンツのうち少なくとも一つを含むことを特徴とする請求項１に記載の移動端末機。
【請求項１１】
前記抽出部は、前記コンテンツ情報を類型ごとに分類してパーシングする分析部をさらに含み、
前記分析部は、受信した前記コンテンツ情報の形式をチェックして前記コンテンツ情報を前記類型ごとに分類する情報タイプ分析部を含むことを特徴とする請求項１に記載の移動端末機。
【請求項１２】
前記分析部は、サービスタイプを特定し、パーシングし、及び放送コンテンツ情報タイプのメタ情報を分析する放送コンテンツ分析部、
ウェブページを分析し所定のコンテンツ情報タイプのメタ情報をパーシングするインターネットコンテンツ分析部、
及び受信したメディア情報タイプコンテンツのメタ情報を分析し、パーシングするメディアコンテンツ分析部を含むことを特徴とする請求項１に記載の移動端末機。
【請求項１３】
前記拡張現実データベースは、前記任意のアイテムに対するタイトルを基本キーとするイメージフィールドを含む詳細情報フィールドから構成されることを特徴とする請求項１に記載の移動端末機。
【請求項１４】
ユーザからの指示又は自動的なルールによって前記拡張現実データベースのフィールド値を編集する設定部をさらに含むことを特徴とする請求項１に記載の移動端末機。
【請求項１５】
コンテンツ情報を受信し、
前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出し、
前記抽出した詳細情報を前記拡張現実データベースに格納し、及び
前記拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力すること、
を含む移動端末機を利用した情報表示方法。
【請求項１６】
前記抽出することは、
前記受信したコンテンツ情報のうちユーザによって選択された又は自動的に選択された任意のアイテムを認識し、及び
前記認識された任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出すること、をさらに含むことを特徴とする請求項１５に記載の移動端末機を利用した情報表示方法。
【請求項１７】
前記抽出することは、
前記受信したコンテンツ情報のうち任意のアイテムを認識し、及び
前記認識した任意のアイテムに対応するコンテンツ情報の映像データから前記認識したアイテムのイメージ情報をさらに抽出すること、をさらに含むことを特徴とする請求項１５に記載の移動端末機を利用した情報表示方法。
【請求項１８】
前記拡張現実として出力することは、
カメラを利用して撮影した表示映像から前記拡張現実データベースに格納されている任意のアイテムを認識し、及び
前記認識したアイテムに対応付けて前記拡張現実データベースに格納されている情報を前記表示映像に合成して拡張現実として出力すること、をさらに含むことを特徴とする請求項１５に記載の移動端末機を利用した情報表示方法。
【請求項１９】
前記抽出することは、
前記受信したコンテンツ情報をパーシングし、前記任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断し、及び
利用可能と判断されたメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出すること、をさらに含むことを特徴とする請求項１５に記載の移動端末機を利用した情報表示方法。
【請求項２０】
前記拡張現実データベースに格納することは、
前記抽出した詳細情報を拡張現実において表示可能な拡張現実形式に変換し、及び
前記変換された拡張現実形式の情報を前記拡張現実データベースに格納すること、をさらに含むことを特徴とする請求項１５に記載の移動端末機を利用した情報表示方法。
【請求項２１】
コンテンツ情報を受信する受信部と、
前記受信部で受信したコンテンツ情報をパーシングし、前記任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部と、
前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、
前記抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部と、
前記抽出した詳細情報を格納する拡張現実データベースと、
ユーザからの指示又は自動的なルールによって前記拡張現実データベースの前記フィールド値を編集する設定部と、
前記拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、
を含む移動端末機。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【公開番号】特開２０１２−１１８９６７（Ｐ２０１２−１１８９６７Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１１−２１０８３０（Ｐ２０１１−２１０８３０）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（５０５４６３１０２）パンテック カンパニー リミテッド (89)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（５０５４６３１０２）パンテック カンパニー リミテッド (89)
【Ｆターム（参考）】
[ Back to top ]