情報表示システム、情報表示方法、及び情報表示用プログラム
【課題】ＡＲ機器において、物体に対して付加情報の表示制御を行う際に、携帯可能な指示装置を用いて、直感的に、付加情報の表示制御を行う対象となる物体（対象物）を選択する。
【解決手段】表示装置は、実空間の物体を含む映像を取得する。指示装置は、利用者の操作により実空間の物体を指し示した場合、指し示された物体を特定するための特徴を示す情報を出力する。制御装置は、表示装置により映像を解析して、映像中の物体を特定する。特定された物体に対し、映像中での位置情報を出力する。指示装置から出力された情報に基づいて、指し示された物体に対し、映像中での位置情報を出力する。実空間の物体の付加情報群の中から、対象となる物体の付加情報を抽出する。算出された位置情報に基づいて、付加情報の表示制御を行う。表示装置は、付加情報を表示する。
【解決手段】表示装置は、実空間の物体を含む映像を取得する。指示装置は、利用者の操作により実空間の物体を指し示した場合、指し示された物体を特定するための特徴を示す情報を出力する。制御装置は、表示装置により映像を解析して、映像中の物体を特定する。特定された物体に対し、映像中での位置情報を出力する。指示装置から出力された情報に基づいて、指し示された物体に対し、映像中での位置情報を出力する。実空間の物体の付加情報群の中から、対象となる物体の付加情報を抽出する。算出された位置情報に基づいて、付加情報の表示制御を行う。表示装置は、付加情報を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示システムに関し、特にＡＲ技術を用いた情報表示システムに関する。
【背景技術】
【０００２】
現実の環境から知覚に与えられる情報に、コンピュータ（計算機）が作り出した情報を重ね合わせ、補足的な情報を与える技術として、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）が知られている。
【０００３】
ＡＲ機器は、眼前に装着できる透過型のディスプレイに、装着者の見ている物体に関連する文字や画像、映像等を重ね合わせて表示することで、肉眼では見えない部分を見えるようにしたり、関連情報を提供したりする。
【０００４】
また、特許文献１（国際公開ＷＯ２００４／０９５３７４号）に映像オブジェクト認識装置及び認識方法、映像アノテーション（ａｎｎｏｔａｔｉｏｎ：注釈）付与装置及び付与方法ならびにプログラムが開示されている。この特許文献１では、予め用意した映像ではなく、カメラを用いて撮影された映像に対して映像中の物体を、予め用意した物体の視覚的情報や位置情報を記録した辞書と照合することにより認識し、物体と予め紐付けしておいた付帯情報を重畳表示するシステムに関しても映像アノテーション付与装置として提案されている。
【０００５】
関連する技術として、特許文献２（特許第２７１８３８７号）に動物体スイッチ装置が開示されている。この特許文献２では、映像中に表示される物体を予め抽出しておき、これと予め作成しておいた物体に対する付加情報を結び付けておき、映像中の物体をマウス等のポインティングデバイスにて指定することにより付加情報を表示するシステムが動画ハイパーメディアシステムとして提案されている。
【０００６】
また、特許文献３（特開平１１−１４２７８４号公報）に位置検出機能付ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）が開示されている。この特許文献３では、付加情報を提示するディスプレイとして、半透過スクリーンを備えたシースルー型ヘッドマウントディスプレイも提案されており、ヘッドマウントディスプレイに位置検出機能を付与することで半透過スクリーン上にスクリーン越しに観測される物体に対する付加情報を付与するシステムに関しても提案されている。
【０００７】
［映像アノテーション付与装置］
図１を参照して、映像アノテーション付与装置の構成の一例について説明する。
【０００８】
特許文献１に示されるような従来の映像アノテーション付与装置は、入力装置と、記録装置と、オブジェクト認識装置と、表示位置決定装置と、表示装置を備える。入力装置は、映像と撮影情報を入力する。記録装置は、オブジェクトの情報として、オブジェクトに関する付加情報と、地理位置情報と、視覚的特徴量を記録する。オブジェクト認識装置は、入力装置からの映像と撮影情報、記憶装置からの地理位置情報と視覚的特徴量を用いて、映像中のオブジェクトを認識する。表示位置決定装置は、付加情報の表示位置を決定する。表示装置は、各装置による処理の結果として、付加情報を表示する。
【０００９】
［動物体スイッチ装置］
図２を参照して、付加情報を表示させる動物体スイッチ装置の構成の一例について説明する。
【００１０】
特許文献２に示されるような従来の動物体スイッチ装置は、指示入力部と、動画フレーム検出部と、距離測定部と、距離尺度変更部と、動物体領域情報記憶部と、動物体スイッチ認識部を備える。指示入力部は、マウス等のポインティングデバイスからの指示を入力する。動画フレーム検出部は、映像等の動画を構成する1つ1つの画像（フレーム）を検出する。距離測定部は、動物体スイッチ装置と映像中に表示される物体の実体との実際の距離を測定／推測する。距離尺度変更部は、当該距離の尺度を変更する。動物体領域情報記憶部は、予め作成しておいた当該物体に対する付加情報と、当該付加情報の表示位置を記憶する。動物体スイッチ認識部は、映像中の物体を認識し、付加情報を表示する。
【００１１】
特許文献１と特許文献２を組み合わせることによって、図３に示されるようなタッチパネルによる指示に応じた情報提示を実現することができる。
【００１２】
［ヘッドマウントディスプレイ］
図４を参照して、半透過スクリーンを備えたシースルー型ヘッドマウントディスプレイの構成を示す。
【００１３】
特許文献３に示されるような従来のシースルー型ヘッドマウントディスプレイは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラと、赤外映像処理部と、映像生成部と、投影部と、半透過スクリーンを備える。ＣＣＤカメラは、撮影により赤外線画像取得する。赤外映像処理部は、ＣＣＤカメラで得られた赤外線画像を映像解析により処理する。映像生成部は、映像解析された赤外線画像を基に、付加情報を表示する映像を生成する。投影部は、半透過スクリーンに映像と付加情報を投影することにより、スクリーン越しに観測される物体に対する付加情報の付与を実現する。
【００１４】
ＡＲ機器が、顔から離れているタッチパネル型であれば、付加情報の表示／消去等の指示を、利用者が手動操作で／リアルタイムで行うことも可能であるが、ＡＲ機器が、顔に装着するヘッドマウントディスプレイ型である場合、付加情報の表示／消去等の指示を、利用者が手動操作で／リアルタイムで行うことができない。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】国際公開ＷＯ２００４／０９５３７４号（国内：特許第４４８８２３３号）
【特許文献２】特許第２７１８３８７号
【特許文献３】特開平１１−１４２７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明の目的は、ＡＲ機器において、物体に対して付加情報の表示制御を行う際に、携帯可能な指示装置を用いて、直感的に、付加情報の表示制御を行う対象となる物体を選択する情報表示システムを提供することである。
【課題を解決するための手段】
【００１７】
本発明に係る情報表示システムは、少なくとも１つの表示装置と、少なくとも１つの指示装置と、少なくとも１つの表示装置及び少なくとも１つの指示装置と通信する制御装置とを含む。制御装置は、少なくとも１つの表示装置を通して見える物体を、少なくとも１つの表示装置上ではなく、実空間上で指し示した少なくとも１つの指示装置からの情報に基づいて、物体を特定し、少なくとも１つの表示装置に対し、物体に関する付加情報の表示制御を行う。
【００１８】
本発明に係る情報表示方法では、少なくとも１つの表示装置と、少なくとも１つの指示装置と、少なくとも１つの表示装置及び少なくとも１つの指示装置と通信する制御装置とを配置する。また、制御装置が、少なくとも１つの表示装置を通して見える物体を、少なくとも１つの表示装置上ではなく、実空間上で指し示した少なくとも１つの指示装置からの情報に基づいて、物体を特定し、少なくとも１つの表示装置に対し、物体に関する付加情報の表示制御を行う。
【００１９】
本発明に係るプログラムは、上記の情報表示方法における処理を、制御装置に該当する計算機に実行させるためのプログラムである。なお、本発明に係るプログラムは、記憶装置や記憶媒体に格納することが可能である。
【発明の効果】
【００２０】
利用者は画面に直接触れたりすることなく、興味ある物体等を指し示すというきわめて直感的な操作にて、容易に画面に表示された物体の付加情報の表示制御を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】映像アノテーション付与装置の構成例を示す図である。
【図２】動物体スイッチ装置の構成例を示す図である。
【図３】タッチパネルによる指示を説明するための図である。
【図４】ヘッドマウントディスプレイの構成例を示す図である。
【図５】本発明の第１実施形態に係る情報表示システムの基本構成を示す図である。
【図６】本発明の第１実施形態に係る情報表示システムの詳細を示す図である。
【図７】情報表示処理の概要を説明するためのフローチャートである。
【図８】付加情報の表示制御を行わない場合の表示例を示す図である。
【図９】指し示された物体のみ付加情報を表示する場合の表示例を示す図である。
【図１０】指し示された物体のみ付加情報を大きく表示し、それ以外の物体の付加情報を小さく表示する場合の表示例を示す図である。
【図１１】本発明の第１実施形態に係る情報表示システムの追加構成を示す図である。
【図１２】表示装置の機器の例を示す図である。
【図１３】位置センサ及び方向センサによる位置情報算出の概要を説明するための図である。
【図１４】位置センサ及び方向センサによる位置情報算出の詳細を説明するための図である。
【図１５】線分のパタン（ｐａｔｔｅｒｎ）を説明するための図である。（１）は画角内で収束するパタンを示す。（２）は画角を横切るパタンを示す。（３）は画角と交わらないパタンを示す。
【図１６】画像特徴による位置情報算出の詳細を説明するための図である。
【図１７】本発明の第２実施形態を説明するための図である。
【図１８】手動による位置調整を説明するための図である。
【図１９】本発明の第３実施形態を説明するための図である。
【図２０】本発明の第４実施形態を説明するための図である。
【図２１】本発明の第５実施形態を説明するための図である。
【発明を実施するための形態】
【００２２】
＜第１実施形態＞
以下に、本発明の第１実施形態について添付図面を参照して説明する。
【００２３】
［情報表示システムの基本構成］
図５及び図６を参照して、本発明の第１実施形態に係る情報表示システムの基本構成について説明する。
【００２４】
本発明の第１実施形態に係る情報表示システムは、表示装置１０と、指示装置２０と、制御装置３０を含む。
【００２５】
表示装置１０は、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）で実現できる。表示装置１０は、視野方向に見えている物体の映像を取り込むために、視野の方向にカメラを取り付けている。また、眼前に見えている物体を判定するために、位置センサ及び方向センサを搭載することができる。位置センサの例として、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）等が考えられる。方向センサの例として、電子コンパス等が考えられる。ここでは、表示装置１０は、ＧＰＳを用いて現在位置を特定し、電子コンパスによってカメラの向いている方角を認識する。但し、実際には、これらの例に限定されない。ここでは、表示装置１０は、半透明のディスプレイの先に見えている物体を、ヘッドマウントディスプレイの座標値とリンクさせて、確認・検出できれば良い。このため、ディスプレイに並設されたカメラ、位置センサ及び方向センサ以外にも、超音波センサや、指向性のＲＦＩＤタグ検知装置等、センサによって物体及びその位置を認識できるものであれば良い。
【００２６】
指示装置２０は、利用者（ユーザー）が物体（人物を含む）を指し示すためのポインティングデバイス／指示媒体で実現できる。指示装置２０の利用者は、表示装置１０の利用者とは異なる人物であっても良い。指示装置２０は、指向性を持ち、利用者によって物体を指し示すのに適した形状（物体の指示が容易な形状）となっている。ここでは、指示装置２０として、棒状のデバイスである「指示棒」を想定している。なお、実際には、指示装置２０は、棒状のデバイスに限らず、携帯端末型のデバイスや、指や腕に装着する形状（指輪型、腕時計型、等）のデバイスでも良い。指示装置２０は、利用者が物体を指し示し易くする（正確に指し示せるようにする）ため、先端にレーザーポインターを搭載し、レーザーを照射しても良い。但し、レーザーの照射は必須ではない。また、指示装置２０は、センサやカメラを搭載していても良い。
【００２７】
制御装置３０は、プログラム制御により動作する電子機器で実現できる。制御装置３０は、表示装置１０及び指示装置２０と通信する。制御装置３０は、表示装置１０又は指示装置２０に内蔵されていても良い。このとき、表示装置１０、指示装置２０、及び制御装置３０は、一体化していても良い。また、制御装置３０は、外部のサーバとして通信回線を介して表示装置１０及び指示装置２０と通信／連携しても良い。
【００２８】
［表示装置］
ここで、表示装置１０の構成の詳細について説明する。
【００２９】
表示装置１０は、映像入力部１１と、撮影物体特定情報取得部１２と、付加情報出力部１３を備える。
【００３０】
映像入力部１１は、カメラで実現できる。映像入力部１１は、リアルタイムで、実空間上を撮影し、実空間の物体（実オブジェクト）を含む映像を取得し、表示装置１０及び制御装置３０に映像を入力する。例えば、映像入力部１１は、常時／定期的に／利用者の所作（移動、動作）等により撮影範囲に変化が発生する毎に、映像を取得し、表示装置１０及び制御装置３０に映像を入力する。実空間の物体の例として、撮影範囲内における現実の風景、史跡、人物、建造物、移動体、商品等が考えられる。なお、映像は、動画に限らず、静止画でも良い。但し、実際には、これらの例に限定されない。
【００３１】
撮影物体特定情報取得部１２は、表示装置１０に備え付けられた映像入力部１１の位置成分及び方向成分を取得する。例えば、撮影物体特定情報取得部１２は、ヘッドマウントディスプレイに備え付けられたカメラに埋め込まれたセンサから、センサ情報を取得し、当該カメラの位置成分及び方向成分を取得する。具体的には、撮影物体特定情報取得部１２は、映像入力部１１に埋め込まれた位置センサ及び方向センサの出力を取得することにより、センサ情報として、表示装置１０に備え付けられた映像入力部１１の位置成分及び方向成分を取得する。また、撮影物体特定情報取得部１２は、映像入力部１１により撮影された映像を取得しても良い。ここでは、映像入力部１１の位置成分は、表示装置１０の現在位置である。また、映像入力部１１の方向成分は、カメラの向いている方角である。
【００３２】
付加情報出力部１３は、半透過スクリーン及び映像投影装置で実現できる。付加情報出力部１３は、半透過スクリーンの背面に透けて見える現実の風景、人物、物体等に、付加情報を重ね合わせて表示する。なお、付加情報は、文字情報に限らず、静止画／動画等の画像情報（視覚的情報）でも良い。また、付加情報出力部１３は、付加情報として、表示装置１０に備え付けられた音声出力装置等から音声情報を出力しても良い。音声出力装置の例として、スピーカ、イヤホン、ヘッドホン等が考えられる。更に、付加情報出力部１３は、必要に応じて、映像入力部１１により撮影された映像を表示するようにしても良い。例えば、半透過スクリーン以外のスクリーンを使用する場合、スクリーンの背面に物体等が透けて見えないため、映像入力部１１により撮影された映像を表示する必要がある。但し、実際には、これらの例に限定されない。
【００３３】
［物体指示装置］
ここで、指示装置２０の構成の詳細について説明する。
【００３４】
指示装置２０は、物体指示部２１と、指示物体特定情報取得部２２を備える。
【００３５】
物体指示部２１は、指示棒の先端に位置し、利用者が物体を指し示すための部位（先端部）である。物体指示部２１は、位置センサ及び方向センサを搭載していても良い。或いは、物体指示部２１は、指し示された物体を認識するために、レーザー、高周波、低周波等の照射装置を有し、レーザー、高周波、低周波等を照射しても良い。また、物体指示部２１は、カメラを搭載していても良い。更に、これらを組み合わせても良い。但し、実際には、これらの例に限定されない。
【００３６】
指示物体特定情報取得部２２は、物体指示部２１により指し示された物体を特定するための情報を取得する。例えば、指示物体特定情報取得部２２は、物体指示部２１に搭載された位置センサ及び方向センサから、物体指示部２１の位置成分及び方向成分を取得する。或いは、指示物体特定情報取得部２２は、物体指示部２１から放出されたレーザーの反射光や、高周波／低周波の反射波等の測定結果を取得しても良い。また、指示物体特定情報取得部２２は、物体指示部２１に搭載されたカメラから、映像を取得しても良い。更に、これらを組み合わせても良い。但し、実際には、これらの例に限定されない。
【００３７】
［中央処理装置］
ここで、制御装置３０の構成の詳細について説明する。
【００３８】
制御装置３０は、映像解析部３１と、対象物位置算出部３２と、付加情報抽出部３３と、記憶部３４と、付加情報出力制御部３５を備える。
【００３９】
映像解析部３１は、表示装置１０から得られた映像を解析し、映像中の物体（人物を含む）を認識・特定し、認識・特定された各々の物体とそれらの物体の映像中での位置との対応関係を示すマッピング情報を作成する。また、予め記憶されている物体の画像に、仮想物体（仮想オブジェクト）が関連付けられている場合は、仮想物体も含めて仮想マッピング情報を作成する。同様に、映像解析部３１は、指示装置２０から映像を取得した場合、その映像を解析し、その映像中の物体を認識・特定する。例えば、映像解析部３１は、映像中の物体と、予め記憶されている物体の画像とを照合し、映像中の物体を認識・特定し、認識・特定された各々の物体とそれらの物体の映像中での位置との対応関係を示すマッピング情報を作成する。
【００４０】
ここでは、映像解析部３１は、リアルタイムで、「特定された物体」と「映像中での位置情報」との対応関係を示すマッピング情報を作成する。例えば、映像解析部３１は、常時／定期的に／利用者の所作（移動、動作）等により映像に変化があった場合に、マッピング情報を作成・更新する。映像解析部３１は、マッピング情報を、バッファ等に一時的に記憶する。或いは、後述する記憶部３４に記憶しても良い。映像解析部３１は、特定された物体が映像中に存在しなくなった場合、マッピング情報を削除しても良い。なお、「映像中での位置情報」は一例に過ぎず、実際には、「半透過スクリーン上での位置情報」でも良い。基本的に、「映像中での位置情報」と「半透過スクリーン上での位置情報」は対応が取れているため、映像解析部３１は、いずれかの位置情報を利用すれば良い。
【００４１】
また、表示装置１０に仮想物体が表示される場合、映像解析部３１は、予め／表示の際、「特定された物体」と「予め記憶されている仮想物体」と「映像中での位置情報」との対応関係を示す仮想マッピング情報を作成する。当該仮想物体の映像中での位置が変化する場合、映像解析部３１は、リアルタイムで、仮想マッピング情報を作成・更新する。映像解析部３１は、仮想マッピング情報を、バッファ等に一時的に記憶する。或いは、後述する記憶部３４に記憶しても良い。映像解析部３１は、表示装置１０に仮想物体が表示されなくなった場合、仮想マッピング情報を削除しても良い。
【００４２】
対象物位置算出部３２は、指示装置２０により物体が指し示された場合、表示装置１０からの情報と指示装置２０からの情報とを基に、指し示された物体に対して、「映像中での位置情報」（表示座標値）を算出する。
【００４３】
以下に、指示装置により物体が指し示された場合における、映像中での位置情報の算出例について説明する。
【００４４】
（１）位置センサ及び方向センサによる位置情報算出
対象物位置算出部３２は、指示物体特定情報取得部２２から取得した位置成分及び方向成分と、撮影物体特定情報取得部１２から取得した位置成分及び方向成分と、映像入力部１１のカメラの画角とを基に、映像入力部１１による撮影範囲を認識する。対象物位置算出部３２は、撮影範囲内において、指示物体特定情報取得部２２から取得した位置成分及び方向成分と、撮影物体特定情報取得部１２から取得した位置成分及び方向成分に基づく線分とが重なる部分を求める。対象物位置算出部３２は、重なる部分がある場合、映像入力部１１による撮影範囲により、指し示された物体の「映像中での位置情報」を算出する。その後、指し示された物体の「映像中での位置情報」と「マッピング情報」（各々の物体の映像中での位置）とを照合して、合致する位置の物体を、指し示された物体として特定する。この算出方法については、「位置センサ及び方向センサによる位置情報算出」として後述する。
【００４５】
なお、指示装置２０により指し示された物体が、実空間上に存在しておらず、表示装置１０の半透過スクリーン上にのみ表示された仮想物体である場合、対象物位置算出部３２は、指示物体特定情報取得部２２から取得した位置成分及び方向成分と、撮影物体特定情報取得部１２から取得した位置成分及び方向成分と、映像入力部１１のカメラの画角とを基に、映像入力部１１による撮影範囲を認識する。対象物位置算出部３２は、撮影範囲内において、指示物体特定情報取得部２２から取得した位置成分及び方向成分と、撮影物体特定情報取得部１２から取得した位置成分及び方向成分に基づく線分とが重なる部分を求める。対象物位置算出部３２は、重なる部分がある場合、映像入力部１１による撮影範囲により、指し示された物体の「映像中での位置情報」を算出する。その後、指し示された物体の「映像中での位置情報」と仮想マッピング情報の仮想物体の映像中での位置とを照合して、合致する位置の仮想物体を、指し示された物体として特定する。
【００４６】
（２）視覚的特徴に基づく照合による位置情報算出
対象物位置算出部３２は、指示物体特定情報取得部２２と、撮影物体特定情報取得部１２との各々から映像を取得し、指示物体特定情報取得部２２から取得した映像と、撮影物体特定情報取得部１２から取得した映像の中心との視覚的特徴が類似する部分を求める。対象物位置算出部３２は、視覚的特徴が類似する部分がある場合、指し示された物体に対して、「映像中での位置情報」を求める。その後、指し示された物体の「映像中での位置情報」と、「マッピング情報」（各々の物体の映像中での位置）とを照合して、合致する位置の物体を、指し示された物体として特定する。この算出方法については、「視覚的特徴に基づく照合による位置情報算出」として後述する。
【００４７】
付加情報抽出部３３は、記憶部３４から、特定された物体に関する付加情報を抽出する。また、付加情報抽出部３３は、指示装置２０により物体（仮想物体を含む）が指し示された場合、指し示された物体に関する付加情報を抽出することもできる。
【００４８】
記憶部３４は、物体に関する付加情報を格納する。記憶部３４は、外部記憶装置であっても良い。また、記憶部３４は、ネットワークを経由して接続されたサーバ上に設置されていても良い。また、記憶部３４は位置情報／画像情報を組み合わせたデータベース（ＤＢ：ＤａｔａＢａｓｅ）の形式をとっていても良い。なお、記憶部３４は、上記のマッピング情報や仮想マッピング情報を格納しても良い。
【００４９】
付加情報出力制御部３５は、表示装置１０の半透過スクリーンの背面に透けて見える現実の物体のうち、指示装置２０により指し示された物体に対し、付加情報の表示／非表示のための制御を行う。
【００５０】
なお、付加情報出力制御部３５は、「映像中での位置情報」が特定された際に、付加情報制御の対象となる物体が特定・選択されている場合（当該位置に物体が存在する場合）、「映像中での位置情報」の近傍の物体を枠で囲う等、利用者に分かるように表示装置１０に表示するための表示制御を行うようにしても良い。
【００５１】
或いは、付加情報出力制御部３５は、「映像中での位置情報」が特定された際に、付加情報制御の対象となる物体が特定・選択されなかった場合（当該位置に物体が存在しない場合、又は物体が特定できない場合）に、「映像中での位置情報」の近傍の物体を枠で囲う等、利用者に分かるように表示装置１０に表示するための表示制御を行うようにしても良い。
【００５２】
なお、付加情報出力制御部３５は、映像入力部１１の入力画像の解像度と付加情報出力部１３の解像度とが違う場合、その補正を行う。
【００５３】
［補足：指し示された位置の周辺の物体を候補とするユーザ支援］
対象物位置算出部３２は、指示装置２０により指し示された物体に限らず、指示装置２０により指し示されたと推定された位置（座標値）の近傍にある物体に対して、「映像中での位置情報」を算出しても良い。これにより、付加情報出力制御部３５は、指示装置２０により指し示された座標の近傍にある物体のハイライト（ｈｉｇｈｌｉｇｈｔ）表示等を行い、指示装置２０によるユーザの指示を支援することも可能となる。
【００５４】
［ハードウェアの例示］
制御装置３０は、プログラムに基づいて駆動し所定の処理を実行するプロセッサと、当該プログラムや各種データを記憶するためのメモリと、通信回線を介して通信を行うための通信用インターフェース（Ｉ／Ｆ：ｉｎｔｅｒｆａｃｅ）によって実現される。
【００５５】
上記のプロセッサの例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ネットワークプロセッサ（ＮＰ：Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、マイクロコントローラ、或いは、専用の機能を有する半導体集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等が考えられる。
【００５６】
上記のメモリの例として、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等の半導体記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の補助記憶装置、又は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のリムーバブルディスクや、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等の記憶媒体（メディア）等が考えられる。また、バッファ（ｂｕｆｆｅｒ）やレジスタ（ｒｅｇｉｓｔｅｒ）でも良い。或いは、ＤＡＳ（Ｄｉｒｅｃｔ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）、ＦＣ−ＳＡＮ（Ｆｉｂｒｅ Ｃｈａｎｎｅｌ − Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）、ＩＰ−ＳＡＮ（ＩＰ − Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を用いたストレージ装置でも良い。
【００５７】
なお、上記のプロセッサ及び上記のメモリは、一体化していても良い。例えば、近年では、マイコン等の１チップ化が進んでいる。したがって、電子機器等に搭載される１チップマイコンが、上記のプロセッサ及び上記のメモリを備えている事例が考えられる。
【００５８】
上記の通信用インターフェースの例として、通信に対応した基板（マザーボード、Ｉ／Ｏボード）やチップ等の半導体集積回路、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等のネットワークアダプタや同様の拡張カード、アンテナ等の通信装置、接続口（コネクタ）等の通信ポート等が考えられる。
【００５９】
また、通信回線の例として、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、バックボーン（Ｂａｃｋｂｏｎｅ）、ケーブルテレビ（ＣＡＴＶ）回線、固定電話網、携帯電話網、ＷｉＭＡＸ（ＩＥＥＥ ８０２．１６ａ）、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、専用線（ｌｅａｓｅ ｌｉｎｅ）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、シリアル通信回線、データバス等が考えられる。
【００６０】
なお、制御装置３０内の各部（内部構成）は、モジュール（ｍｏｄｕｌｅ）、コンポーネント（ｃｏｍｐｏｎｅｎｔ）、或いは専用デバイス、又はこれらの起動（呼出）プログラムでも良い。
【００６１】
但し、実際には、これらの例に限定されない。
【００６２】
［情報表示処理の概要］
次に、図７のフローチャートを参照して、本実施形態の全体の動作について詳細に説明する。
【００６３】
（１）ステップＳ１０１
映像入力部１１は、表示装置１０の半透過スクリーンの背面に透けて見える現実の物体を撮影し、撮影により得られた映像を入力する。
【００６４】
（２）ステップＳ１０２
撮影物体特定情報取得部１２は、表示装置１０に備え付けられた映像入力部１１の位置成分及び方向成分を取得する。例えば、撮影物体特定情報取得部１２は、ヘッドマウントディスプレイに備え付けられたカメラに埋め込まれたセンサから、センサ情報を取得する。具体的には、撮影物体特定情報取得部１２は、ＧＰＳ等の位置センサと、電子コンパス等の方向センサの出力を取得することにより、センサ情報として、表示装置に備え付けられた映像入力部１１の位置成分及び方向成分を取得する。或いは、撮影物体特定情報取得部１２は、表示装置１０に備え付けられた映像入力部１１から、映像を取得する。
【００６５】
（３）ステップＳ１０３
利用者が物体指示部２１により物体（仮想物体を含む）を指し示した場合、指示物体特定情報取得部２２は、指し示された物体を特定するための情報を取得する。例えば、指示物体特定情報取得部２２は、物体指示部２１に埋め込まれたセンサから、センサ情報を取得する。具体的には、指示物体特定情報取得部２２は、ＧＰＳ等の位置センサと、電子コンパス等の方向センサの出力を取得することにより、センサ情報として、物体指示部２１の位置成分及び方向成分を取得する。或いは、指示物体特定情報取得部２２は、物体指示部２１に埋め込まれたカメラから、映像を取得する。
【００６６】
（４）ステップＳ１０４
映像解析部３１は、表示装置１０の映像入力部１１により入力された映像を解析し、入力された映像に含まれる各々の物体とそれらの物体の映像中での位置とを特定する。このとき、映像解析部３１は、映像入力部１１から直接、映像を取得しても良い。物体を特定する際には、入力された映像を用いて映像中の各種物体の視覚的特徴量を抽出し、予め作成しておいた物体毎の画像情報と照合することによって、物体の特定を行う。映像解析部３１は、物体を特定するために、映像に限らず、利用者の位置や時刻情報等も合わせて取り込み、予め作成してあった物体の付随情報（当該物体が存在している場所や時間帯等に関する情報）を利用して、入力された映像に含まれる各々の物体の中から、対象となる物体を絞り込んでも良い。
【００６７】
（５）ステップＳ１０５
対象物位置算出部３２は、利用者が物体指示部２１により物体を指し示した場合には、指示物体特定情報取得部２２から取得した位置成分及び方向成分と、撮影物体特定情報取得部１２から取得した位置成分及び方向成分と、映像入力部１１のカメラの画角とを基に、指し示された物体に対しての映像中での位置情報を算出する。また、指し示された物体の映像中での位置情報と、映像解析部３１から取得した各々の物体のいずれかの映像中での位置とが合致した場合、位置が合致した物体を、指し示された物体として特定する。なお、物体指示部２１により指し示された物体の映像中での位置情報と、映像解析部３１から取得した（表示装置１０にのみ表示される）仮想物体の映像中での位置とが合致した場合、その仮想物体を、指し示された物体として特定する。
【００６８】
（６）ステップＳ１０６
付加情報抽出部３３は、利用者が物体指示部２１により物体を指し示していない場合には、特定された物体に関する情報を基に、記憶部３４から、特定された物体の付加情報を抽出する。また、付加情報抽出部３３は、利用者が物体指示部２１により物体を指し示した場合には、指し示された物体に関する情報を基に、記憶部３４から、指し示された物体の付加情報を抽出しても良い。なお、「指し示された物体の付加情報」として、既に抽出している「特定された物体の付加情報」を利用する場合、記憶部３４から「指し示された物体の付加情報」を抽出しなくても良い。
【００６９】
（７）ステップＳ１０７
付加情報出力制御部３５は、利用者が物体指示部２１により物体を指し示していない場合には、「特定された物体の映像中での位置情報」に基づいて、付加情報抽出部３３が抽出した「付加情報」の表示位置を決定する。一方、利用者が物体指示部２１により物体を指し示した場合には、対象物位置算出部３２が算出した「指し示された物体の映像中での位置情報」に基づいて、付加情報抽出部３３が抽出した「付加情報」の表示位置を決定する。付加情報出力制御部３５は、付加情報を、特定された物体／指し示された物体の位置を基準として、予め設定した位置（例えば１００画素下方）を表示位置として決定しても良いし、映像中の複数の物体の位置関係から、物体の無い場所で、付加情報を表示するスペース（空間）のある場所を選択して、選択された場所を表示位置として決定しても良い。また、付加情報出力制御部３５は、付加情報を表示する際、指し示された物体に対応した表示サイズ（表示範囲）、又は、予め定めた表示サイズで表示しても良いし、付加情報の量に応じて動的に表示サイズを変更して表示しても良い。
【００７０】
（８）ステップＳ１０８
付加情報出力部１３は、付加情報出力制御部３５により決定された表示位置と表示サイズにしたがって、付加情報を表示する。なお、付加情報出力部１３は、必要に応じて、映像入力部１１により撮影された映像を表示するようにしても良い。
【００７１】
［付加情報表示例］
以下に、寺社「○○寺」、人物「鈴木□□」、石碑「△△碑」に関して付加情報を表示した上で、新たに、人物「山田▽▽」に関して付加情報を表示する場合の表示例について説明する。
【００７２】
［付加情報表示例（１）］
図８は、付加情報の表示制御を行わない場合の表示例である。ここでは、「○○寺」、「鈴木□□」、「△△碑」、「山田▽▽」に関する付加情報が等しく表示されている。
【００７３】
［付加情報表示例（２）］
図９は、指し示された物体のみ付加情報を表示する場合の表示例である。ここでは、「山田▽▽」に関する付加情報のみが表示されている。
【００７４】
［付加情報表示例（３）］
図１０は、指し示された物体の付加情報のみ相対的に大きく表示し、それ以外の物体の付加情報を相対的に小さく表示する場合の表示例である。ここでは、「山田▽▽」に関する付加情報のみが相対的に大きく表示され、「○○寺」、「鈴木□□」、「△△碑」に関する付加情報は相対的に小さく表示されている。なお、指し示された物体の付加情報を通常の表示サイズよりも大きく表示する場合、それ以外の物体の付加情報については、通常の表示サイズで表示していても良い。また、表示サイズの大小は一例に過ぎない。実際には、指し示された物体の付加情報のみ、それと分かるように何らかの方法で強調して表示していれば良い。例えば、指し示された物体の付加情報の文字や表示枠を、太線（太字）／色付き／点滅表示等に変更しても良い。
【００７５】
［指し示す方向の変化］
制御装置３０は、利用者が指示装置２０を操作して、指し示された物体を変更するにしたがって、表示装置１０に表示する付加情報を動的に変化させる。例えば、対象物位置算出部３２は、利用者が指示装置２０をスライドした場合、移動に伴う指示装置２０の位置成分及び方向成分の変化量を基に、前の映像中での位置情報から相対的に現在の映像中での位置情報を算出しても良い。また、付加情報出力制御部３５は、利用者が指示装置２０を操作して指し示した映像中の焦点位置に、ＡＲマーカー（以下、マーカー）を表示しても良いし、映像中の焦点位置において、その位置にある物体の付加情報の表示／非表示のみを行い、マーカーを表示しなくても良い。ここでは、マーカーは、カーソルにより示される。
【００７６】
例えば、指示棒（物体指示部２１）に指示入力ボタンを搭載し、付加情報の表示／非表示を変更できるようにしておき、利用者は、指示棒（物体指示部２１）を操作して付加情報表示の対象となる物体を次々変更させた上で、指示入力ボタンを押して指示入力を行うことで、表示する付加情報を容易に制御することもできるようになる。
【００７７】
［情報表示システムの追加構成］
図１１を参照して、上記の場合における情報表示システムの追加構成について説明する。
【００７８】
指示装置２０は、更に、利用者指示入力部２３を備える。
【００７９】
利用者指示入力部２３は、押下可能なボタンやタッチパネル等で実現できる。利用者指示入力部２３は、利用者によるボタン押下等の操作を基に、表示装置１０に対する指示入力を行う。
【００８０】
制御部３０は、更に、位置調整部３６を備える。
【００８１】
位置調整部３６は、指示装置２０からの指示入力に基づいて、表示する付加情報の表示を調整する。ここでは、位置調整部３６は、利用者指示入力部２３からの指示入力に基づいて、付加情報の表示の有無／可否、表示位置、表示サイズを変更する。なお、位置調整部３６は、付加情報出力制御部３５の一部でも良い。すなわち、付加情報出力制御部３５は、位置調整部３６の機能も備えていても良い。
【００８２】
［表示装置の機器］
図１２に、表示装置１０の機器の一例を示す。
【００８３】
映像入力部１１は、眼鏡の柄に付加したカメラとなっていて、利用者の視野に入力される情報を取得し、無線／有線により制御装置３０に送信する。ここでは、映像入力部１１は、カメラと共に、位置成分及び方向成分を検出するセンサを搭載している。このセンサは、撮影物体特定情報取得部１２に該当する。なお、センサは、眼鏡の縁（フレーム）、カメラ、又はレンズに埋め込まれていても良い。
【００８４】
付加情報出力部１３は、形状が眼鏡形となっており、この眼鏡のレンズが半透明のディスプレイとなっていて、そのディスプレイに付加情報を表示するように制御する。ここでは、眼鏡のレンズ越しに、実オブジェクト（本例では２名の人物）が見えている。また、眼鏡のレンズ（半透明のディスプレイ）上に示された長方形の領域が、撮影した映像の画角と一致している。なお、付加情報出力部１３は、映像のみ表示して長方形の領域自体を表示しないように制御しても良いし、映像と共に長方形の領域の枠を表示するように制御しても良い。付加情報出力部１３は、無線／有線により制御装置３０から、表示すべき付加情報を受信して、レンズ上に示された長方形の領域に付加情報を表示する。
【００８５】
ここでは、付加情報出力部１３は、眼鏡のレンズ越しに、実オブジェクト（本例では２名の人物）が見えており、利用者が物体指示部２１で指し示した位置（一方の人物）にマーカーを表示している。
【００８６】
付加情報抽出部３３は、記憶部３４から、マーカーが表示された物体の付加情報を抽出する。付加情報出力制御部３５は、抽出された付加情報を、半透明のディスプレイ上に表示するための表示制御を行う。
【００８７】
［映像中での位置算出方法］
次に、対象物位置算出部３２による「指し示された物体の映像中での位置算出方法」について具体的に例を述べる。
【００８８】
［位置センサ及び方向センサによる位置情報算出］
図１３、図１４では、撮影物体特定情報取得部１２により映像入力部１１の位置成分及び方向成分が取得され、指示物体特定情報取得部２２により、物体指示部２１の位置成分及び方向成分が取得された際の導出原理について説明している。
【００８９】
物体指示部２１の指示方向は、半透明のディスプレイ上に光軸（線分）として表示される。このとき、付加情報出力部１３は、物体指示部２１が照射したレーザーを光軸として表示しても良いし、物体指示部２１の位置成分及び方向成分に基づいて半透明のディスプレイ上にのみ仮想的な光軸を表示しても良い。
【００９０】
撮影物体特定情報取得部１２は、映像入力部１１の位置を３次元の原点（絶対位置）とし、映像入力部１１の画角の水平方向（左右方向）をＸ軸とし、映像入力部１１の画角の垂直方向（上下方向）をＸ軸とし、映像入力部１１の画角の中心方向及び物体指示部２１の光軸方向（奥行き方向）をＺ軸とする。
【００９１】
ここで、撮影物体特定情報取得部１２は、ある特定の場所に存在する物体の画像上での座標値を、中心の座標「（ｘ１，ｙ１，ｚ１）」及び、映像入力部１１のカメラの画角（視野角）によって決定できる。
【００９２】
付加情報出力部１３は、画角内にある物体を、取得映像内に表示する。また、付加情報出力部１３は、光軸上に物体がある場合、光軸上の物体を取得映像の中心に表示しても良い。
【００９３】
「ｚ＝ｚ１」の際の画角いっぱいの点における「（ｘ，ｙ）」を「（ｘ０，ｙ０）」としたときに、取得画像の大きさを「（ｘｍ，ｙｍ）」とする。
【００９４】
したがって、この際の表示位置については、中心からの画素数を「（ｘｍ）／２，（ｙｍ）／２）」としたとき、中心からの値「（ｘ，ｙ）＝（（ｘ１＊ｘｍ）／（２＊ｘ０），（ｙ１＊ｙｍ）／（２＊ｙ０））」で表現される。なお、「＊」は、乗算記号（乗算演算子）である。また、「／」は、除算記号（除算演算子）である。
【００９５】
ここで、映像入力部１１の方向成分を「（α１，β１，γ１）」とし、物体指示部２１の方向成分を「（α２，β２，γ２）」とすると、映像入力部１１の光軸方向をＺ軸としたときに、物体指示部２１の方向成分は、「（α２−α１，β２−β１，γ２−γ１）」で表現される。
【００９６】
映像入力部１１の位置成分（絶対位置）を「（ａ１，ｂ１，ｃ１）」とし、物体指示部２１の位置成分を「（ａ２，ｂ２，ｃ２）」としたときに、物体指示部２１の位置成分は、「（ａ２−ａ１，ｂ２−ｂ１，ｃ２−ｃ１）」で表現される。
【００９７】
物体指示部２１の先端から伸びる線分（直線成分）は、物体指示部２１の位置成分「（ａ２−ａ１，ｂ２−ｂ１，ｃ２−ｃ１）」と、物体指示部２１の方向成分「（α２−α１，β２−β１，γ２−γ１）」と、映像入力部１１のカメラの画角により記述され、取得映像中では、直線として表現される。この線分は、無限遠に向かって伸びるものとする。
【００９８】
［線分のパタン（ｐａｔｔｅｒｎ）］
図１５に示すように、物体指示部２１の先端から伸びる線分は、以下の（１）−（３）の３つのパタンとなる。
（１）画角内で収束（画角と交わり、無限遠は画角内にある）
（２）画角を横切る（画角と交わり、無限遠は画角外にある）
（３）画角と交わらない
【００９９】
利用者が、物体を物体指示部２１で指し示した際に、映像入力部１１のカメラの画角、映像入力部１１の位置成分「（ａ１，ｂ１，ｃ１）」、映像入力部１１の方向「（α１，β１，γ１）」、物体指示部２１の位置成分「（ａ２，ｂ２，ｃ２）」、物体指示部２１の方向「（α２，β２，γ２）」から、入力画像内に表示される線分を求める。
【０１００】
続いて、対象物位置算出部３２は、映像解析部３１により特定した複数の候補物体のうち、物体指示部２１の指し示した光軸線上にある候補物体を、指し示された物体とすることで、位置情報を判定することができる。
【０１０１】
ここで、対象物位置算出部３２は、線分上に複数の物体が存在する場合、双方の方向成分と位置成分から奥行き（物体のＺ成分）が算出できるため、以下の（１）−（４）の対応を適宜選択すれば良い。
（１）近い方の物体を選択する
（２）予め優先するＺ成分値を定めておき、Ｚ値に基づいて選択する
（３）どちらも候補として、付加情報を表示する
（４）線の場所を定めた場合、仮定した物体までの距離が算出できるため、物体の実サイズ（予めＤＢに記録しておく）と画面上でのサイズを計測し、線分上にある物体として、大きさ情報が妥当であるもののみを選択する
【０１０２】
対象物位置算出部３２は、自動的に、或いは、利用者が予め指定／設定した内容にしたがって、上記の（１）−（４）のいずれかの対応を選択するようにしても良い。
【０１０３】
また、指示棒（物体指示部２１）に利用者指示入力部２３を用意し、利用者が利用者指示入力部２３により線分上の候補物体を順次選択するとしても良いし、利用者の指示により、線分上でマーカーを動かして利用者が指示したい物体を確定させるといったインタラクティブ（Ｉｎｔｅｒａｃｔｉｖｅ：双方向）なインターフェースを用意してすることも可能である。
【０１０４】
また、表示上の工夫として、「指示棒（物体指示部２１）の指す線分の表示／非表示を利用者が選択できるようにする」、「対象となる物体を定めた後、それ以降の線分は表示しない」等の工夫により、どの物体をどのような基準で検出しているかが、利用者に容易にわかるようにすることができる。
【０１０５】
［視覚的特徴に基づく照合による位置情報算出］
次に、図１６を参照して、画像特徴に基づいて物体の位置を求める方法について説明する。
【０１０６】
この方法では、物体指示部２１の先端にカメラを配置する。なお、物体指示部２１の先端に位置センサ及び方向センサを配置しなくても良い。
【０１０７】
物体指示部２１は、先端にカメラを搭載しており、利用者は当該カメラを用いて光軸方向を撮影する。
【０１０８】
映像解析部３１は、映像入力部１１からの映像を取得し、映像入力部１１からの映像中の画像と、記憶部３４に記憶されている物体の画像とを解析・照合し、映像中にある各々の物体を特定し、特定された各々の物体とそれらの物体の映像中での位置情報との関係を示すマッピング情報を作成し、対象物位置算出部３２に通知する。
【０１０９】
対象物位置算出部３２は、映像入力部１１からの映像中の画像と、物体指示部２１のカメラの中心に表示される画像（Ｍ画素×Ｎ画素）と視覚的に類似している領域を照合し、映像中での位置情報を算出し、マッピング情報（各々の物体の映像中での位置情報）と照合し、合致する映像中での位置情報がある場合、その映像中での位置にある物体を、指し示された物体として特定する。
【０１１０】
画像の類似度の算出方法の一例として、特開平０３−１３４７７８号公報に記載の「ステレオ画像処理方法」等を用いることも考えられる。
【０１１１】
これにより、カメラの中心部と最も視覚的に近い映像中での位置を、利用者が指し示した位置と推定することができる。
【０１１２】
対象物位置算出部３２は、視覚的に類似している領域が存在しない場合、閾値処理をした上で、「該当なし」としても良いし、複数の候補が出た場合、「いずれも正解として選択する」、又は「利用者がいずれかを選択する」等の処理を施しても良い。
【０１１３】
［本実施形態の特徴］
本実施形態では、指示装置２０（指示棒）が指示物体特定情報取得部２２を有し、また、表示装置１０（ディスプレイ）が映像入力部１１及び撮影物体特定情報取得部１２を有し、制御装置３０（コンピュータ）が対象物位置算出部３２を有する。利用者は、手元にある指示装置２０（指示棒）により、対象となる物体を指し示すことによって、入力画像中で利用者が興味ある物体を指定できる。
【０１１４】
これにより、利用者は、画面に直接触れたりすることなく、興味ある対象を指し示すというきわめて直感的な操作にて容易に画面に表示された物体の付加情報の表示制御を行うことができる。
【０１１５】
＜第２実施形態＞
以下に、本発明の第２実施形態について図面を参照して詳細に説明する。
【０１１６】
本実施形態では、利用者が、利用者指示入力部２３を用いて、指し示された物体の画面上での位置を、修正又は微調整する。
【０１１７】
図１７に示すように、利用者指示入力部２３は、「モード切替ボタン」及び「決定ボタン」という２つのボタンにより実現される。
【０１１８】
［手動による位置調整］
図１８に、利用者の手動による位置調整の例を示す。
【０１１９】
ここでは、システムが算出した位置が利用者の意図したものと異なっており、異なった物体の位置を算出している。
【０１２０】
［第１の修正パタン：マーカー移動による位置調整］
第１の修正パタンとして、マーカーの位置を画面上の上下方向又は左右方向に移動させることが考えられる。
【０１２１】
例えば、利用者指示入力部２３は、利用者がモード切替ボタンを押すことで、モードを、「通常モード」から「上下／左右モード」に変更するようにする。
【０１２２】
「通常モード」とは、自由に物体を指定できるモードである。「上下／左右モード」とは、指示装置２０（指示棒）を上下／左右に動かして、マーカーの位置を調整するためのモードである。
【０１２３】
「上下／左右モード」では、モード切替ボタンを押しながら（押した状態で）、指示装置２０（指示棒）を上下／左右に動かすことによって、マーカーの位置の微調整を行う。マーカーの位置が調整できたら、決定ボタンにより決定する。物体とマーカーの位置が重なった時点で、決定ボタンを押すことにより、マーカーが物体を指している状態になる。
【０１２４】
モード切替ボタンを離すことにより、「通常モード」に戻る。
【０１２５】
ここでは、モード切替ボタンを押すことで（押した状態で）「上下／左右モード」となり、モード切替ボタンを離すことで「通常モード」となるようにしたが、実際には、モード切替ボタンを押すことにより（押下する度に）「上下／左右モード」と「通常モード」が切り替わるようにしても良い。
【０１２６】
［第２の修正パタン：カメラ移動による調整］
第２の修正パタンとして、表示画像上でのマーカーの位置（座標値）を固定させた上で、カメラ移動により調整することが考えられる。
【０１２７】
例えば、モード切替ボタンを押すことでモードを、「固定モード」とする。
【０１２８】
「固定モード」とは、マーカーの位置を固定するモードである。
【０１２９】
「固定モード」では、表示画面上でマーカーの位置が固定されるため、マーカーの位置を固定させた上で、ヘッドマウントディスプレイを動かすことによって、物体がマーカーの位置と重なるように調整する。物体とマーカーの位置が重なった時点で、決定ボタンを押すことにより、マーカーが物体を指している状態になる。
【０１３０】
モード切替ボタンを離すことにより、「通常モード」に戻る。
【０１３１】
ここでは、モード切替ボタンを押すことで（押した状態で）「固定モード」となり、離すことで「通常モード」となるようにしたが、実際には、モード切替ボタンを押すことにより（押下する度に）「固定モード」と「通常モード」が切り替わるようにしても良い。
【０１３２】
［第３の修正パタン：線分方向にマーカー移動］
第３の修正パタンとして、物体指示部２１の光軸方向（線分方向）に沿ってマーカーを移動させることが考えられる。
【０１３３】
例えば、利用者がモード切替ボタンを押すことで、モードを、物体指定モード（「通常モード」）から「線分移動モード」に変更するようにしておき、利用者がモード切替ボタンを押しながら（押した状態で）、指示装置２０（指示棒）を左右に動かすことによって微調整を行う。マーカーの位置が調整できたら、決定ボタンにより決定する。物体とマーカーの位置が重なった時点で、決定ボタンを押すことにより、マーカーが物体を指している状態になる。
【０１３４】
モード切替ボタンを離すことにより、「通常モード」に戻る。
【０１３５】
ここでは、モード切替ボタンを押すことで（押した状態で）「線分移動モード」となり、離すことで「通常モード」となるようにしたが、実際には、モード切替ボタンを押すことで（押下する度に）「線分移動モード」と「通常モード」が切り替わるようにしても良い。
【０１３６】
［本実施形態の特徴］
本実施形態では、指示装置２０（指示棒）が利用者指示入力部２３を更に具備し、利用者指示入力部２３が、算出された位置情報の微調整を行うことができる。
【０１３７】
これにより、利用者は、興味ある対象を指し示すというきわめて直感的な操作を損なうことなく、精度良く表示された物体の付加情報の表示制御を行うことができる。
【０１３８】
＜第３実施形態＞
以下に、本発明の第３実施形態について図面を参照して説明する。
【０１３９】
本実施形態では、図１９に示すように、複数の指示棒を用意する。
【０１４０】
対象物位置算出部３２は、それぞれの指示棒の指示物体特定情報取得部２２からの出力を基に、それぞれの指示棒により指し示された物体の位置情報を算出する。付加情報抽出部３３は、記憶部３４から、それぞれの指示棒により指し示された物体に関連付けられた付加情報を抽出する。付加情報出力制御部３５は、ディスプレイに対して、それぞれの指示棒により指し示された物体の付加情報を提示する。
【０１４１】
これにより、ヘッドマウントディスプレイ装着者のみでなく、装着者以外の複数の人物が指定した物体に対して、装着者のディスプレイに付加情報の表示が可能になり、コミュニケーション促進に利用することができる。
【０１４２】
例えば、特定の人物に、複数の人物がプレゼンテーション（説明）を行うことができる。
【０１４３】
＜第４実施形態＞
以下に、本発明の第４実施形態について図面を参照して説明する。
【０１４４】
本実施形態では、図２０に示すように、複数のディスプレイを別々の人物が装着する。
【０１４５】
対象物位置算出部３２は、一つの指示棒で指定された物体の位置情報を算出する。付加情報抽出部３３は、記憶部３４から、当該物体の付加情報を抽出する。付加情報出力制御部３５は、それぞれのディスプレイに対して、当該物体の付加情報を提示する。
【０１４６】
なお、対象物位置算出部３２は、指定された物体の位置を算出する際、各々の利用者の位置、姿勢によるディスプレイ中の表示物体の違いを吸収する。
【０１４７】
これにより、一人の人物が指示する物体に対する付加情報を、大勢の人物が装着するディスプレイに表示することができる。
【０１４８】
例えば、団体旅行において、案内人（ツアーガイド）や添乗員（ツアーコンダクター）が、指示棒で対象物（史跡等）を指し示すことで、当該対象物に対する付加情報を、大勢の旅行者が装着するディスプレイに表示することができる。
【０１４９】
また、講義やセミナーにおいて、講師が、指示棒で対象物（資料等）を指し示すことで、当該対象物に対する付加情報を、大勢の受講者が装着するディスプレイに表示することができる。
【０１５０】
特定の人物のプレゼンテーションを複数の人物に行う際に特に有効である。
【０１５１】
＜第５実施形態＞
以下に、本発明の第５実施形態について図面を参照して説明する。
【０１５２】
本実施形態では、図２１に示すように、第３実施形態と第４実施形態を組み合わせ、複数の指示棒を用意し、複数のディスプレイを別々の人物が装着する。
【０１５３】
それぞれの映像入力部１１のカメラの画角が重複する場合、重複した範囲において、それぞれの指示棒が抽出する指示物体特定情報取得部２２の出力を基に、対象物位置算出部３２は、それぞれの指示棒により指し示された各々の物体の位置情報を算出する。付加情報抽出部３３は、記憶部３４から、それぞれの指示棒により指し示された各々の物体の付加情報を抽出する。付加情報出力制御部３５は、それぞれのディスプレイに対して、それぞれの指示棒により指し示された各々の物体の付加情報を提示する。
【０１５４】
ここでは、全ての指示棒が同一の物体を指している事例を示しているが、実際には、それぞれの映像入力部１１のカメラの画角が重複した範囲内にある物体であれば、それぞれ異なる物体を指していても良い。
【０１５５】
＜第６実施形態＞
以下に、本発明の第６実施形態について図面を参照して説明する。
【０１５６】
本実施形態では、仮想物体を対象としている。
【０１５７】
記憶部３４は、仮想物体の表示位置情報、或いは、特定の物体又は特定のマークに関連付けて、仮想物体の画像及び付加情報を記憶しているものとする。仮想物体の画像は、静止画でも動画でも良い。
【０１５８】
仮想物体の表示位置情報を用いる場合、物体位置算出部３２は、表示装置１０に備え付けられた映像入力部１１の位置成分及び方向成分が、仮想物体の表示位置情報の位置成分及び方向成分と合致することを検出する。仮想物体の表示位置情報に基づく位置が、対象位置である。この場合、付加情報出力制御部３５は、付加情報出力部１３に対し、仮想物体の表示位置情報に基づく位置又は近傍に、仮想物体の画像を表示するための表示制御を行う。
【０１５９】
特定の物体又は特定のマークを用いる場合、映像解析部３１は、表示装置１０の映像入力部１１の映像中に、特定の物体又は特定のマークがあることを検出する。この場合、付加情報出力制御部３５は、付加情報出力部１３に対し、特定の物体又は特定のマークがある位置又は近傍に仮想物体の画像を表示するための表示制御を行う。
【０１６０】
表示装置１０の付加情報出力部１３に仮想物体を表示中、物体位置算出部３２は、映像中での仮想物体の表示位置を認識している。
【０１６１】
付加情報出力制御部３５は、物体位置算出部３２により算出された「映像中での位置情報」が映像中での仮想物体の表示位置と合致した場合は、仮想物体の付加情報を、当該仮想物体の表示位置の近傍に表示するための表示制御を行う。このとき、複数の仮想物体が表示されている場合は、合致した仮想物体のみの付加情報を、当該仮想物体の表示位置の近傍に表示するための表示制御を行う。
【０１６２】
＜各実施形態の関係＞
なお、上記の各実施形態は、組み合わせて実施することも可能である。
【０１６３】
上記の第３実施形態及び第５実施形態において、複数の指示棒を用いる際、どの指示棒により指し示されたのかを判別するために、指示棒毎の光軸又はマーカーを識別可能に表示することが考えられる。例えば、指示棒毎に光軸又はマーカーの表示形態（形状、模様、色彩等）を変えたり、光軸又はマーカーに指示棒毎の識別情報を付加したりすることが考えられる。但し、実際には、これらの例に限定されない。
【０１６４】
また、上記の第４実施形態及び第５実施形態では、制御装置３０を１台しか例示していないが、実際には、制御装置３０は、互いに連携可能な複数の電子機器でも良い。例えば、制御装置３０は、複数のヘッドマウントディスプレイの各々に搭載された電子機器でも良い。これらの電子機器が、互いに情報を共有し、同一の処理を行うものとする。各ヘッドマウントディスプレイには、同一の情報が表示されるものとする。
【０１６５】
＜産業上の利用可能性＞
本発明によれば、半透過型ディスプレイにて、実物体のアノテーションの付与を行う、情報表示システムに適用できる。
【０１６６】
また、複数の指示棒を用意することで、プレゼンテーションシステムや教育システムにおける表示機能といった用途にも適用可能である。
【０１６７】
また、ここでは、半透過型ディスプレイ等のヘッドマウントディスプレイを例に説明したが、実際には、ヘッドマウントディスプレイの代わりに、スマートフォン等のタッチパネル式のディスプレイを用いて実施することも可能である。ディスプレイは、必ずしも人物に装着されていなければならないわけではない。
【０１６８】
＜まとめ＞
以上のように、本発明の情報表示システムは、物体に関連付けられた付帯情報を表示する際に、付帯情報を表示すべき物体を直感的に選択・制御できる。
【０１６９】
従来、ヘッドマウント型ディスプレイのようなウェアラブル型のディスプレイ（通常透過型が多い）や大画面ディスプレイ等に付加情報を表示させようとしたときに、以下の（１）−（３）のような問題点が生じていた。
【０１７０】
（１）第１の問題点
ヘッドマウントディスプレイを含む各種ディスプレイのスペース（空間）は限られており、そのままでは大量の情報を表示することが難しい。そのため、付加情報が付与された物体が複数あるときに付加情報を画面上に全て表示すると、非常に多くの情報が表示されることになり、「画面が煩雑になる」、「大事な情報が埋もれてしまう」、「透過型の実オブジェクトを見るのに妨げになる」、「簡潔な情報しか表示できない」といった問題が生じていた。
【０１７１】
（２）第２の問題点
ヘッドマウントディスプレイを利用する場合、ヘッドマウントディスプレイは、利用者の目に近接して設置するようになっており、ディスプレイ上の物体の位置情報を手／指等で指定しようとした際に、直接触ることができない。ディスプレイに直接触るという行為は、利用者にとっても直感的ではなく、入力行為そのものが難しいという問題点もあった。そのため、第１の問題点に関連して、大量の情報を選択的に表示させようとした際に、入力を直感的に行うことができない。
【０１７２】
（３）第３の問題点
ヘッドマウントディスプレイやディスプレイ型サングラス等のディスプレイのサイズは小さく、手／指等で正確に場所を指定することは難しい。また、生物や移動体等の対象物は３次元的（立体的）に動くため、マウス等の２次元入力デバイスでは対応をとることが難しく、生物や移動体等の対象物を追跡する際、利用者が動いている状態での追尾継続等は特に難しい。そのため、対象物が動いている、或いは利用者自身が姿勢を変える等、対象物と利用者の少なくとも一方が動いている場合に、高精度で入力することが難しい。
【０１７３】
本発明では、実空間上を撮影した映像に対して付加情報の付与を行う際に、直感的に、対象物を選択する情報表示システムを提供する。特に、透過型ディスプレイを使って、ディスプレイ越しの実物体に対して付加情報のみを表示する際に、直感的に表示対象を選択する情報表示システムを提供する。
【０１７４】
本発明の情報表示システムは、映像入力部と、記憶部と、映像解析部と、付加情報抽出部と、付加情報出力部と、物体指示部と、指示物体特定情報取得部と、対象物位置算出部と、付加情報出力制御部を備える。
【０１７５】
映像入力部は、実空間の映像を取得する。記憶部は、実空間の物体（実オブジェクト）に関連付けられた付加情報を記憶する。映像解析部は、前記映像入力部により取得された映像から物体を抽出する。付加情報抽出部は、前記抽出された物体に関連付けられた付加情報を前記記憶部から抽出する。付加情報出力部は、前記抽出された付加情報を表示する。物体指示部は、実空間における物体を指し示す指示物体特定情報取得部は、前記物体指示部により指し示された物体を特定するための位置又は視覚的特徴を示す情報を出力する。対象物位置算出部は、前記指示物体特定情報取得部から出力された情報に基づいて、前期物体指示部により指し示された実空間の物体のディスプレイ上での位置（座標値）を算出し、前記指し示された物体の前記取得された映像における位置情報を出力する。付加情報出力制御部は、前記対象物位置算出部により算出された位置情報に基づいて、付加情報を前記付加情報出力部に表示するための表示制御を行う。
【０１７６】
本発明では、このようなシステム構成を採用し、算出された位置情報に基づいて、付加情報の表示制御を行うことにより、従来の問題点を解決することができる。
【０１７７】
例えば、本発明では、物体指示部による入力を受けて、表示の有無を制御できるため、対象物の状態に応じた付加情報の表示ができる。
【０１７８】
また、方向指示で対象物を指し示すという行為は、利用者にとって、きわめて直感的な操作であるため、付加情報表示のための情報入力を、利用者が直感的に行うことができる。
【０１７９】
対象物を３次元的（立体的）に捉えることが容易であり、利用者の経験に即したものであるため、精度良く指定できる。
【０１８０】
＜付記＞
上記の実施形態の一部又は全部は、以下の付記のように記載することも可能である。但し、実際には、以下の記載例に限定されない。
【０１８１】
（付記１）
実空間の映像を取得する映像入力部と、
実空間の物体に関連付けられた付加情報を記憶する記憶部と、
映像入力部により取得された映像から物体を抽出する映像解析部と、
抽出された物体に関連付けられた付加情報を記憶部から抽出する付加情報抽出部と、
抽出された付加情報を表示する付加情報出力部と、
指示棒の先端に設置され、利用者が実空間の物体を指し示すための物体指示部と、
物体指示部により指し示された物体を特定するための特徴（位置又は視覚的特徴）を示す情報を出力する指示物体特定情報取得部と、
指示物体特定情報取得部から出力された情報に基づいて、指し示された物体の取得された映像における位置情報を出力する対象物位置算出部と、
対象物位置算出部により算出された位置情報に基づいて、付加情報出力部に表示される付加情報の表示制御を行う付加情報出力制御部と
を備える
情報表示システム。
【０１８２】
（付記２）
指示物体特定情報取得部は、指し示された方向の映像を出力し、
対象物位置算出部は、取得された映像と、指し示された方向の映像の中心の視覚的特徴とを照合し、指し示された物体の取得された映像における位置情報を算出する
付記１に記載の情報表示システム。
【０１８３】
（付記３）
映像入力部の位置成分及び方向成分に関する情報を取得する撮影物体特定情報取得部
を更に備え、
対象物位置算出部は、映像入力部の位置成分及び方向成分に関する情報と、物体指示部の位置成分及び方向成分に関する情報と照合し、指し示された物体の取得された映像における位置情報を算出する
付記１に記載の情報表示システム。
【０１８４】
（付記４）
付加情報出力制御部は、指し示された物体の付加情報のみを表示する
付記１−３に記載の情報表示システム。
【０１８５】
（付記５）
付加情報の表示状態を記憶する付加状態記憶部と、
利用者の指示入力を行う利用者指示入力部
を更に備え、
付加情報出力制御部は、利用者指示入力部からの入力指示に基づいて、指し示された物体の付加情報の表示／非表示を制御する
付記１−４に記載の情報表示システム。
【０１８６】
（付記６）
付加情報出力制御部は、対象物位置算出部により算出された位置に利用者確認用のマーカーを重畳表示する
付記１−５に記載の情報表示システム。
【０１８７】
（付記７）
付加情報出力制御部は、物体指示部が指し示す擬似光線を重畳表示する
付記１−６に記載の情報表示システム。
【０１８８】
（付記８）
物体指示部に相当する複数の物体指示部と、
指示物体特定情報取得部に相当する複数の指示物体特定情報取得部と
を更に備え、
付加情報出力制御部は、複数の指示物体特定情報取得部の各々の出力に基づいて、対応する物体の付加情報の表示を制御する
付記１−７に記載の情報表示システム。
【０１８９】
（付記９）
映像入力部に相当する複数の映像入力部と、
付加情報出力部に相当する複数の付加情報出力部と
を更に備え、
付加情報出力制御部は、複数の映像入力部の各々により取得された映像における指示物体の位置を算出し、それぞれの付加情報出力部に付加情報を表示する
付記１−８に記載の情報表示システム。
【０１９０】
（付記１０）
算出された物体の位置を利用者入力によって調整する位置調整部
を更に備える
付記１−９に記載の情報表示システム。
【０１９１】
（付記１１）
位置調整部は、取得された位置情報を上下方向に調整を行う
付記１０に記載の情報表示システム。
【０１９２】
（付記１２）
位置調整部は、映像中での位置を固定させ、映像入力部にて入力される映像を操作することにより、固定させた位置に対物を表示させて対象物を確定させる
付記１０に記載の情報表示システム。
【０１９３】
（付記１３）
位置調整部は、カメラの位置成分及び方向成分に関する情報と、物体指示部の位置情報と、方向情報から、映像における、物体指示部の光軸線分を表示させた上で利用者入力により奥行き値を変化させる
付記１０に記載の情報表示システム。
【０１９４】
＜備考＞
以上、本発明の実施形態を詳述してきたが、実際には、上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更があっても本発明に含まれる。
【符号の説明】
【０１９５】
１０… 表示装置
１１… 映像入力部
１２… 撮影物体特定情報取得部
１３… 付加情報出力部
２０… 指示装置
２１… 物体指示部
２２… 指示物体特定情報取得部
２３… 利用者指示入力部
３０… 制御装置
３１… 映像解析部
３２… 対象物位置算出部
３３… 付加情報抽出部
３４… 記憶部
３５… 付加情報出力制御部
３６… 位置調整部
【技術分野】
【０００１】
本発明は、情報表示システムに関し、特にＡＲ技術を用いた情報表示システムに関する。
【背景技術】
【０００２】
現実の環境から知覚に与えられる情報に、コンピュータ（計算機）が作り出した情報を重ね合わせ、補足的な情報を与える技術として、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）が知られている。
【０００３】
ＡＲ機器は、眼前に装着できる透過型のディスプレイに、装着者の見ている物体に関連する文字や画像、映像等を重ね合わせて表示することで、肉眼では見えない部分を見えるようにしたり、関連情報を提供したりする。
【０００４】
また、特許文献１（国際公開ＷＯ２００４／０９５３７４号）に映像オブジェクト認識装置及び認識方法、映像アノテーション（ａｎｎｏｔａｔｉｏｎ：注釈）付与装置及び付与方法ならびにプログラムが開示されている。この特許文献１では、予め用意した映像ではなく、カメラを用いて撮影された映像に対して映像中の物体を、予め用意した物体の視覚的情報や位置情報を記録した辞書と照合することにより認識し、物体と予め紐付けしておいた付帯情報を重畳表示するシステムに関しても映像アノテーション付与装置として提案されている。
【０００５】
関連する技術として、特許文献２（特許第２７１８３８７号）に動物体スイッチ装置が開示されている。この特許文献２では、映像中に表示される物体を予め抽出しておき、これと予め作成しておいた物体に対する付加情報を結び付けておき、映像中の物体をマウス等のポインティングデバイスにて指定することにより付加情報を表示するシステムが動画ハイパーメディアシステムとして提案されている。
【０００６】
また、特許文献３（特開平１１−１４２７８４号公報）に位置検出機能付ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）が開示されている。この特許文献３では、付加情報を提示するディスプレイとして、半透過スクリーンを備えたシースルー型ヘッドマウントディスプレイも提案されており、ヘッドマウントディスプレイに位置検出機能を付与することで半透過スクリーン上にスクリーン越しに観測される物体に対する付加情報を付与するシステムに関しても提案されている。
【０００７】
［映像アノテーション付与装置］
図１を参照して、映像アノテーション付与装置の構成の一例について説明する。
【０００８】
特許文献１に示されるような従来の映像アノテーション付与装置は、入力装置と、記録装置と、オブジェクト認識装置と、表示位置決定装置と、表示装置を備える。入力装置は、映像と撮影情報を入力する。記録装置は、オブジェクトの情報として、オブジェクトに関する付加情報と、地理位置情報と、視覚的特徴量を記録する。オブジェクト認識装置は、入力装置からの映像と撮影情報、記憶装置からの地理位置情報と視覚的特徴量を用いて、映像中のオブジェクトを認識する。表示位置決定装置は、付加情報の表示位置を決定する。表示装置は、各装置による処理の結果として、付加情報を表示する。
【０００９】
［動物体スイッチ装置］
図２を参照して、付加情報を表示させる動物体スイッチ装置の構成の一例について説明する。
【００１０】
特許文献２に示されるような従来の動物体スイッチ装置は、指示入力部と、動画フレーム検出部と、距離測定部と、距離尺度変更部と、動物体領域情報記憶部と、動物体スイッチ認識部を備える。指示入力部は、マウス等のポインティングデバイスからの指示を入力する。動画フレーム検出部は、映像等の動画を構成する1つ1つの画像（フレーム）を検出する。距離測定部は、動物体スイッチ装置と映像中に表示される物体の実体との実際の距離を測定／推測する。距離尺度変更部は、当該距離の尺度を変更する。動物体領域情報記憶部は、予め作成しておいた当該物体に対する付加情報と、当該付加情報の表示位置を記憶する。動物体スイッチ認識部は、映像中の物体を認識し、付加情報を表示する。
【００１１】
特許文献１と特許文献２を組み合わせることによって、図３に示されるようなタッチパネルによる指示に応じた情報提示を実現することができる。
【００１２】
［ヘッドマウントディスプレイ］
図４を参照して、半透過スクリーンを備えたシースルー型ヘッドマウントディスプレイの構成を示す。
【００１３】
特許文献３に示されるような従来のシースルー型ヘッドマウントディスプレイは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラと、赤外映像処理部と、映像生成部と、投影部と、半透過スクリーンを備える。ＣＣＤカメラは、撮影により赤外線画像取得する。赤外映像処理部は、ＣＣＤカメラで得られた赤外線画像を映像解析により処理する。映像生成部は、映像解析された赤外線画像を基に、付加情報を表示する映像を生成する。投影部は、半透過スクリーンに映像と付加情報を投影することにより、スクリーン越しに観測される物体に対する付加情報の付与を実現する。
【００１４】
ＡＲ機器が、顔から離れているタッチパネル型であれば、付加情報の表示／消去等の指示を、利用者が手動操作で／リアルタイムで行うことも可能であるが、ＡＲ機器が、顔に装着するヘッドマウントディスプレイ型である場合、付加情報の表示／消去等の指示を、利用者が手動操作で／リアルタイムで行うことができない。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】国際公開ＷＯ２００４／０９５３７４号（国内：特許第４４８８２３３号）
【特許文献２】特許第２７１８３８７号
【特許文献３】特開平１１−１４２７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明の目的は、ＡＲ機器において、物体に対して付加情報の表示制御を行う際に、携帯可能な指示装置を用いて、直感的に、付加情報の表示制御を行う対象となる物体を選択する情報表示システムを提供することである。
【課題を解決するための手段】
【００１７】
本発明に係る情報表示システムは、少なくとも１つの表示装置と、少なくとも１つの指示装置と、少なくとも１つの表示装置及び少なくとも１つの指示装置と通信する制御装置とを含む。制御装置は、少なくとも１つの表示装置を通して見える物体を、少なくとも１つの表示装置上ではなく、実空間上で指し示した少なくとも１つの指示装置からの情報に基づいて、物体を特定し、少なくとも１つの表示装置に対し、物体に関する付加情報の表示制御を行う。
【００１８】
本発明に係る情報表示方法では、少なくとも１つの表示装置と、少なくとも１つの指示装置と、少なくとも１つの表示装置及び少なくとも１つの指示装置と通信する制御装置とを配置する。また、制御装置が、少なくとも１つの表示装置を通して見える物体を、少なくとも１つの表示装置上ではなく、実空間上で指し示した少なくとも１つの指示装置からの情報に基づいて、物体を特定し、少なくとも１つの表示装置に対し、物体に関する付加情報の表示制御を行う。
【００１９】
本発明に係るプログラムは、上記の情報表示方法における処理を、制御装置に該当する計算機に実行させるためのプログラムである。なお、本発明に係るプログラムは、記憶装置や記憶媒体に格納することが可能である。
【発明の効果】
【００２０】
利用者は画面に直接触れたりすることなく、興味ある物体等を指し示すというきわめて直感的な操作にて、容易に画面に表示された物体の付加情報の表示制御を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】映像アノテーション付与装置の構成例を示す図である。
【図２】動物体スイッチ装置の構成例を示す図である。
【図３】タッチパネルによる指示を説明するための図である。
【図４】ヘッドマウントディスプレイの構成例を示す図である。
【図５】本発明の第１実施形態に係る情報表示システムの基本構成を示す図である。
【図６】本発明の第１実施形態に係る情報表示システムの詳細を示す図である。
【図７】情報表示処理の概要を説明するためのフローチャートである。
【図８】付加情報の表示制御を行わない場合の表示例を示す図である。
【図９】指し示された物体のみ付加情報を表示する場合の表示例を示す図である。
【図１０】指し示された物体のみ付加情報を大きく表示し、それ以外の物体の付加情報を小さく表示する場合の表示例を示す図である。
【図１１】本発明の第１実施形態に係る情報表示システムの追加構成を示す図である。
【図１２】表示装置の機器の例を示す図である。
【図１３】位置センサ及び方向センサによる位置情報算出の概要を説明するための図である。
【図１４】位置センサ及び方向センサによる位置情報算出の詳細を説明するための図である。
【図１５】線分のパタン（ｐａｔｔｅｒｎ）を説明するための図である。（１）は画角内で収束するパタンを示す。（２）は画角を横切るパタンを示す。（３）は画角と交わらないパタンを示す。
【図１６】画像特徴による位置情報算出の詳細を説明するための図である。
【図１７】本発明の第２実施形態を説明するための図である。
【図１８】手動による位置調整を説明するための図である。
【図１９】本発明の第３実施形態を説明するための図である。
【図２０】本発明の第４実施形態を説明するための図である。
【図２１】本発明の第５実施形態を説明するための図である。
【発明を実施するための形態】
【００２２】
＜第１実施形態＞
以下に、本発明の第１実施形態について添付図面を参照して説明する。
【００２３】
［情報表示システムの基本構成］
図５及び図６を参照して、本発明の第１実施形態に係る情報表示システムの基本構成について説明する。
【００２４】
本発明の第１実施形態に係る情報表示システムは、表示装置１０と、指示装置２０と、制御装置３０を含む。
【００２５】
表示装置１０は、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）で実現できる。表示装置１０は、視野方向に見えている物体の映像を取り込むために、視野の方向にカメラを取り付けている。また、眼前に見えている物体を判定するために、位置センサ及び方向センサを搭載することができる。位置センサの例として、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）等が考えられる。方向センサの例として、電子コンパス等が考えられる。ここでは、表示装置１０は、ＧＰＳを用いて現在位置を特定し、電子コンパスによってカメラの向いている方角を認識する。但し、実際には、これらの例に限定されない。ここでは、表示装置１０は、半透明のディスプレイの先に見えている物体を、ヘッドマウントディスプレイの座標値とリンクさせて、確認・検出できれば良い。このため、ディスプレイに並設されたカメラ、位置センサ及び方向センサ以外にも、超音波センサや、指向性のＲＦＩＤタグ検知装置等、センサによって物体及びその位置を認識できるものであれば良い。
【００２６】
指示装置２０は、利用者（ユーザー）が物体（人物を含む）を指し示すためのポインティングデバイス／指示媒体で実現できる。指示装置２０の利用者は、表示装置１０の利用者とは異なる人物であっても良い。指示装置２０は、指向性を持ち、利用者によって物体を指し示すのに適した形状（物体の指示が容易な形状）となっている。ここでは、指示装置２０として、棒状のデバイスである「指示棒」を想定している。なお、実際には、指示装置２０は、棒状のデバイスに限らず、携帯端末型のデバイスや、指や腕に装着する形状（指輪型、腕時計型、等）のデバイスでも良い。指示装置２０は、利用者が物体を指し示し易くする（正確に指し示せるようにする）ため、先端にレーザーポインターを搭載し、レーザーを照射しても良い。但し、レーザーの照射は必須ではない。また、指示装置２０は、センサやカメラを搭載していても良い。
【００２７】
制御装置３０は、プログラム制御により動作する電子機器で実現できる。制御装置３０は、表示装置１０及び指示装置２０と通信する。制御装置３０は、表示装置１０又は指示装置２０に内蔵されていても良い。このとき、表示装置１０、指示装置２０、及び制御装置３０は、一体化していても良い。また、制御装置３０は、外部のサーバとして通信回線を介して表示装置１０及び指示装置２０と通信／連携しても良い。
【００２８】
［表示装置］
ここで、表示装置１０の構成の詳細について説明する。
【００２９】
表示装置１０は、映像入力部１１と、撮影物体特定情報取得部１２と、付加情報出力部１３を備える。
【００３０】
映像入力部１１は、カメラで実現できる。映像入力部１１は、リアルタイムで、実空間上を撮影し、実空間の物体（実オブジェクト）を含む映像を取得し、表示装置１０及び制御装置３０に映像を入力する。例えば、映像入力部１１は、常時／定期的に／利用者の所作（移動、動作）等により撮影範囲に変化が発生する毎に、映像を取得し、表示装置１０及び制御装置３０に映像を入力する。実空間の物体の例として、撮影範囲内における現実の風景、史跡、人物、建造物、移動体、商品等が考えられる。なお、映像は、動画に限らず、静止画でも良い。但し、実際には、これらの例に限定されない。
【００３１】
撮影物体特定情報取得部１２は、表示装置１０に備え付けられた映像入力部１１の位置成分及び方向成分を取得する。例えば、撮影物体特定情報取得部１２は、ヘッドマウントディスプレイに備え付けられたカメラに埋め込まれたセンサから、センサ情報を取得し、当該カメラの位置成分及び方向成分を取得する。具体的には、撮影物体特定情報取得部１２は、映像入力部１１に埋め込まれた位置センサ及び方向センサの出力を取得することにより、センサ情報として、表示装置１０に備え付けられた映像入力部１１の位置成分及び方向成分を取得する。また、撮影物体特定情報取得部１２は、映像入力部１１により撮影された映像を取得しても良い。ここでは、映像入力部１１の位置成分は、表示装置１０の現在位置である。また、映像入力部１１の方向成分は、カメラの向いている方角である。
【００３２】
付加情報出力部１３は、半透過スクリーン及び映像投影装置で実現できる。付加情報出力部１３は、半透過スクリーンの背面に透けて見える現実の風景、人物、物体等に、付加情報を重ね合わせて表示する。なお、付加情報は、文字情報に限らず、静止画／動画等の画像情報（視覚的情報）でも良い。また、付加情報出力部１３は、付加情報として、表示装置１０に備え付けられた音声出力装置等から音声情報を出力しても良い。音声出力装置の例として、スピーカ、イヤホン、ヘッドホン等が考えられる。更に、付加情報出力部１３は、必要に応じて、映像入力部１１により撮影された映像を表示するようにしても良い。例えば、半透過スクリーン以外のスクリーンを使用する場合、スクリーンの背面に物体等が透けて見えないため、映像入力部１１により撮影された映像を表示する必要がある。但し、実際には、これらの例に限定されない。
【００３３】
［物体指示装置］
ここで、指示装置２０の構成の詳細について説明する。
【００３４】
指示装置２０は、物体指示部２１と、指示物体特定情報取得部２２を備える。
【００３５】
物体指示部２１は、指示棒の先端に位置し、利用者が物体を指し示すための部位（先端部）である。物体指示部２１は、位置センサ及び方向センサを搭載していても良い。或いは、物体指示部２１は、指し示された物体を認識するために、レーザー、高周波、低周波等の照射装置を有し、レーザー、高周波、低周波等を照射しても良い。また、物体指示部２１は、カメラを搭載していても良い。更に、これらを組み合わせても良い。但し、実際には、これらの例に限定されない。
【００３６】
指示物体特定情報取得部２２は、物体指示部２１により指し示された物体を特定するための情報を取得する。例えば、指示物体特定情報取得部２２は、物体指示部２１に搭載された位置センサ及び方向センサから、物体指示部２１の位置成分及び方向成分を取得する。或いは、指示物体特定情報取得部２２は、物体指示部２１から放出されたレーザーの反射光や、高周波／低周波の反射波等の測定結果を取得しても良い。また、指示物体特定情報取得部２２は、物体指示部２１に搭載されたカメラから、映像を取得しても良い。更に、これらを組み合わせても良い。但し、実際には、これらの例に限定されない。
【００３７】
［中央処理装置］
ここで、制御装置３０の構成の詳細について説明する。
【００３８】
制御装置３０は、映像解析部３１と、対象物位置算出部３２と、付加情報抽出部３３と、記憶部３４と、付加情報出力制御部３５を備える。
【００３９】
映像解析部３１は、表示装置１０から得られた映像を解析し、映像中の物体（人物を含む）を認識・特定し、認識・特定された各々の物体とそれらの物体の映像中での位置との対応関係を示すマッピング情報を作成する。また、予め記憶されている物体の画像に、仮想物体（仮想オブジェクト）が関連付けられている場合は、仮想物体も含めて仮想マッピング情報を作成する。同様に、映像解析部３１は、指示装置２０から映像を取得した場合、その映像を解析し、その映像中の物体を認識・特定する。例えば、映像解析部３１は、映像中の物体と、予め記憶されている物体の画像とを照合し、映像中の物体を認識・特定し、認識・特定された各々の物体とそれらの物体の映像中での位置との対応関係を示すマッピング情報を作成する。
【００４０】
ここでは、映像解析部３１は、リアルタイムで、「特定された物体」と「映像中での位置情報」との対応関係を示すマッピング情報を作成する。例えば、映像解析部３１は、常時／定期的に／利用者の所作（移動、動作）等により映像に変化があった場合に、マッピング情報を作成・更新する。映像解析部３１は、マッピング情報を、バッファ等に一時的に記憶する。或いは、後述する記憶部３４に記憶しても良い。映像解析部３１は、特定された物体が映像中に存在しなくなった場合、マッピング情報を削除しても良い。なお、「映像中での位置情報」は一例に過ぎず、実際には、「半透過スクリーン上での位置情報」でも良い。基本的に、「映像中での位置情報」と「半透過スクリーン上での位置情報」は対応が取れているため、映像解析部３１は、いずれかの位置情報を利用すれば良い。
【００４１】
また、表示装置１０に仮想物体が表示される場合、映像解析部３１は、予め／表示の際、「特定された物体」と「予め記憶されている仮想物体」と「映像中での位置情報」との対応関係を示す仮想マッピング情報を作成する。当該仮想物体の映像中での位置が変化する場合、映像解析部３１は、リアルタイムで、仮想マッピング情報を作成・更新する。映像解析部３１は、仮想マッピング情報を、バッファ等に一時的に記憶する。或いは、後述する記憶部３４に記憶しても良い。映像解析部３１は、表示装置１０に仮想物体が表示されなくなった場合、仮想マッピング情報を削除しても良い。
【００４２】
対象物位置算出部３２は、指示装置２０により物体が指し示された場合、表示装置１０からの情報と指示装置２０からの情報とを基に、指し示された物体に対して、「映像中での位置情報」（表示座標値）を算出する。
【００４３】
以下に、指示装置により物体が指し示された場合における、映像中での位置情報の算出例について説明する。
【００４４】
（１）位置センサ及び方向センサによる位置情報算出
対象物位置算出部３２は、指示物体特定情報取得部２２から取得した位置成分及び方向成分と、撮影物体特定情報取得部１２から取得した位置成分及び方向成分と、映像入力部１１のカメラの画角とを基に、映像入力部１１による撮影範囲を認識する。対象物位置算出部３２は、撮影範囲内において、指示物体特定情報取得部２２から取得した位置成分及び方向成分と、撮影物体特定情報取得部１２から取得した位置成分及び方向成分に基づく線分とが重なる部分を求める。対象物位置算出部３２は、重なる部分がある場合、映像入力部１１による撮影範囲により、指し示された物体の「映像中での位置情報」を算出する。その後、指し示された物体の「映像中での位置情報」と「マッピング情報」（各々の物体の映像中での位置）とを照合して、合致する位置の物体を、指し示された物体として特定する。この算出方法については、「位置センサ及び方向センサによる位置情報算出」として後述する。
【００４５】
なお、指示装置２０により指し示された物体が、実空間上に存在しておらず、表示装置１０の半透過スクリーン上にのみ表示された仮想物体である場合、対象物位置算出部３２は、指示物体特定情報取得部２２から取得した位置成分及び方向成分と、撮影物体特定情報取得部１２から取得した位置成分及び方向成分と、映像入力部１１のカメラの画角とを基に、映像入力部１１による撮影範囲を認識する。対象物位置算出部３２は、撮影範囲内において、指示物体特定情報取得部２２から取得した位置成分及び方向成分と、撮影物体特定情報取得部１２から取得した位置成分及び方向成分に基づく線分とが重なる部分を求める。対象物位置算出部３２は、重なる部分がある場合、映像入力部１１による撮影範囲により、指し示された物体の「映像中での位置情報」を算出する。その後、指し示された物体の「映像中での位置情報」と仮想マッピング情報の仮想物体の映像中での位置とを照合して、合致する位置の仮想物体を、指し示された物体として特定する。
【００４６】
（２）視覚的特徴に基づく照合による位置情報算出
対象物位置算出部３２は、指示物体特定情報取得部２２と、撮影物体特定情報取得部１２との各々から映像を取得し、指示物体特定情報取得部２２から取得した映像と、撮影物体特定情報取得部１２から取得した映像の中心との視覚的特徴が類似する部分を求める。対象物位置算出部３２は、視覚的特徴が類似する部分がある場合、指し示された物体に対して、「映像中での位置情報」を求める。その後、指し示された物体の「映像中での位置情報」と、「マッピング情報」（各々の物体の映像中での位置）とを照合して、合致する位置の物体を、指し示された物体として特定する。この算出方法については、「視覚的特徴に基づく照合による位置情報算出」として後述する。
【００４７】
付加情報抽出部３３は、記憶部３４から、特定された物体に関する付加情報を抽出する。また、付加情報抽出部３３は、指示装置２０により物体（仮想物体を含む）が指し示された場合、指し示された物体に関する付加情報を抽出することもできる。
【００４８】
記憶部３４は、物体に関する付加情報を格納する。記憶部３４は、外部記憶装置であっても良い。また、記憶部３４は、ネットワークを経由して接続されたサーバ上に設置されていても良い。また、記憶部３４は位置情報／画像情報を組み合わせたデータベース（ＤＢ：ＤａｔａＢａｓｅ）の形式をとっていても良い。なお、記憶部３４は、上記のマッピング情報や仮想マッピング情報を格納しても良い。
【００４９】
付加情報出力制御部３５は、表示装置１０の半透過スクリーンの背面に透けて見える現実の物体のうち、指示装置２０により指し示された物体に対し、付加情報の表示／非表示のための制御を行う。
【００５０】
なお、付加情報出力制御部３５は、「映像中での位置情報」が特定された際に、付加情報制御の対象となる物体が特定・選択されている場合（当該位置に物体が存在する場合）、「映像中での位置情報」の近傍の物体を枠で囲う等、利用者に分かるように表示装置１０に表示するための表示制御を行うようにしても良い。
【００５１】
或いは、付加情報出力制御部３５は、「映像中での位置情報」が特定された際に、付加情報制御の対象となる物体が特定・選択されなかった場合（当該位置に物体が存在しない場合、又は物体が特定できない場合）に、「映像中での位置情報」の近傍の物体を枠で囲う等、利用者に分かるように表示装置１０に表示するための表示制御を行うようにしても良い。
【００５２】
なお、付加情報出力制御部３５は、映像入力部１１の入力画像の解像度と付加情報出力部１３の解像度とが違う場合、その補正を行う。
【００５３】
［補足：指し示された位置の周辺の物体を候補とするユーザ支援］
対象物位置算出部３２は、指示装置２０により指し示された物体に限らず、指示装置２０により指し示されたと推定された位置（座標値）の近傍にある物体に対して、「映像中での位置情報」を算出しても良い。これにより、付加情報出力制御部３５は、指示装置２０により指し示された座標の近傍にある物体のハイライト（ｈｉｇｈｌｉｇｈｔ）表示等を行い、指示装置２０によるユーザの指示を支援することも可能となる。
【００５４】
［ハードウェアの例示］
制御装置３０は、プログラムに基づいて駆動し所定の処理を実行するプロセッサと、当該プログラムや各種データを記憶するためのメモリと、通信回線を介して通信を行うための通信用インターフェース（Ｉ／Ｆ：ｉｎｔｅｒｆａｃｅ）によって実現される。
【００５５】
上記のプロセッサの例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ネットワークプロセッサ（ＮＰ：Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、マイクロコントローラ、或いは、専用の機能を有する半導体集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等が考えられる。
【００５６】
上記のメモリの例として、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等の半導体記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の補助記憶装置、又は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のリムーバブルディスクや、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等の記憶媒体（メディア）等が考えられる。また、バッファ（ｂｕｆｆｅｒ）やレジスタ（ｒｅｇｉｓｔｅｒ）でも良い。或いは、ＤＡＳ（Ｄｉｒｅｃｔ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）、ＦＣ−ＳＡＮ（Ｆｉｂｒｅ Ｃｈａｎｎｅｌ − Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）、ＩＰ−ＳＡＮ（ＩＰ − Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を用いたストレージ装置でも良い。
【００５７】
なお、上記のプロセッサ及び上記のメモリは、一体化していても良い。例えば、近年では、マイコン等の１チップ化が進んでいる。したがって、電子機器等に搭載される１チップマイコンが、上記のプロセッサ及び上記のメモリを備えている事例が考えられる。
【００５８】
上記の通信用インターフェースの例として、通信に対応した基板（マザーボード、Ｉ／Ｏボード）やチップ等の半導体集積回路、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等のネットワークアダプタや同様の拡張カード、アンテナ等の通信装置、接続口（コネクタ）等の通信ポート等が考えられる。
【００５９】
また、通信回線の例として、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、バックボーン（Ｂａｃｋｂｏｎｅ）、ケーブルテレビ（ＣＡＴＶ）回線、固定電話網、携帯電話網、ＷｉＭＡＸ（ＩＥＥＥ ８０２．１６ａ）、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、専用線（ｌｅａｓｅ ｌｉｎｅ）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、シリアル通信回線、データバス等が考えられる。
【００６０】
なお、制御装置３０内の各部（内部構成）は、モジュール（ｍｏｄｕｌｅ）、コンポーネント（ｃｏｍｐｏｎｅｎｔ）、或いは専用デバイス、又はこれらの起動（呼出）プログラムでも良い。
【００６１】
但し、実際には、これらの例に限定されない。
【００６２】
［情報表示処理の概要］
次に、図７のフローチャートを参照して、本実施形態の全体の動作について詳細に説明する。
【００６３】
（１）ステップＳ１０１
映像入力部１１は、表示装置１０の半透過スクリーンの背面に透けて見える現実の物体を撮影し、撮影により得られた映像を入力する。
【００６４】
（２）ステップＳ１０２
撮影物体特定情報取得部１２は、表示装置１０に備え付けられた映像入力部１１の位置成分及び方向成分を取得する。例えば、撮影物体特定情報取得部１２は、ヘッドマウントディスプレイに備え付けられたカメラに埋め込まれたセンサから、センサ情報を取得する。具体的には、撮影物体特定情報取得部１２は、ＧＰＳ等の位置センサと、電子コンパス等の方向センサの出力を取得することにより、センサ情報として、表示装置に備え付けられた映像入力部１１の位置成分及び方向成分を取得する。或いは、撮影物体特定情報取得部１２は、表示装置１０に備え付けられた映像入力部１１から、映像を取得する。
【００６５】
（３）ステップＳ１０３
利用者が物体指示部２１により物体（仮想物体を含む）を指し示した場合、指示物体特定情報取得部２２は、指し示された物体を特定するための情報を取得する。例えば、指示物体特定情報取得部２２は、物体指示部２１に埋め込まれたセンサから、センサ情報を取得する。具体的には、指示物体特定情報取得部２２は、ＧＰＳ等の位置センサと、電子コンパス等の方向センサの出力を取得することにより、センサ情報として、物体指示部２１の位置成分及び方向成分を取得する。或いは、指示物体特定情報取得部２２は、物体指示部２１に埋め込まれたカメラから、映像を取得する。
【００６６】
（４）ステップＳ１０４
映像解析部３１は、表示装置１０の映像入力部１１により入力された映像を解析し、入力された映像に含まれる各々の物体とそれらの物体の映像中での位置とを特定する。このとき、映像解析部３１は、映像入力部１１から直接、映像を取得しても良い。物体を特定する際には、入力された映像を用いて映像中の各種物体の視覚的特徴量を抽出し、予め作成しておいた物体毎の画像情報と照合することによって、物体の特定を行う。映像解析部３１は、物体を特定するために、映像に限らず、利用者の位置や時刻情報等も合わせて取り込み、予め作成してあった物体の付随情報（当該物体が存在している場所や時間帯等に関する情報）を利用して、入力された映像に含まれる各々の物体の中から、対象となる物体を絞り込んでも良い。
【００６７】
（５）ステップＳ１０５
対象物位置算出部３２は、利用者が物体指示部２１により物体を指し示した場合には、指示物体特定情報取得部２２から取得した位置成分及び方向成分と、撮影物体特定情報取得部１２から取得した位置成分及び方向成分と、映像入力部１１のカメラの画角とを基に、指し示された物体に対しての映像中での位置情報を算出する。また、指し示された物体の映像中での位置情報と、映像解析部３１から取得した各々の物体のいずれかの映像中での位置とが合致した場合、位置が合致した物体を、指し示された物体として特定する。なお、物体指示部２１により指し示された物体の映像中での位置情報と、映像解析部３１から取得した（表示装置１０にのみ表示される）仮想物体の映像中での位置とが合致した場合、その仮想物体を、指し示された物体として特定する。
【００６８】
（６）ステップＳ１０６
付加情報抽出部３３は、利用者が物体指示部２１により物体を指し示していない場合には、特定された物体に関する情報を基に、記憶部３４から、特定された物体の付加情報を抽出する。また、付加情報抽出部３３は、利用者が物体指示部２１により物体を指し示した場合には、指し示された物体に関する情報を基に、記憶部３４から、指し示された物体の付加情報を抽出しても良い。なお、「指し示された物体の付加情報」として、既に抽出している「特定された物体の付加情報」を利用する場合、記憶部３４から「指し示された物体の付加情報」を抽出しなくても良い。
【００６９】
（７）ステップＳ１０７
付加情報出力制御部３５は、利用者が物体指示部２１により物体を指し示していない場合には、「特定された物体の映像中での位置情報」に基づいて、付加情報抽出部３３が抽出した「付加情報」の表示位置を決定する。一方、利用者が物体指示部２１により物体を指し示した場合には、対象物位置算出部３２が算出した「指し示された物体の映像中での位置情報」に基づいて、付加情報抽出部３３が抽出した「付加情報」の表示位置を決定する。付加情報出力制御部３５は、付加情報を、特定された物体／指し示された物体の位置を基準として、予め設定した位置（例えば１００画素下方）を表示位置として決定しても良いし、映像中の複数の物体の位置関係から、物体の無い場所で、付加情報を表示するスペース（空間）のある場所を選択して、選択された場所を表示位置として決定しても良い。また、付加情報出力制御部３５は、付加情報を表示する際、指し示された物体に対応した表示サイズ（表示範囲）、又は、予め定めた表示サイズで表示しても良いし、付加情報の量に応じて動的に表示サイズを変更して表示しても良い。
【００７０】
（８）ステップＳ１０８
付加情報出力部１３は、付加情報出力制御部３５により決定された表示位置と表示サイズにしたがって、付加情報を表示する。なお、付加情報出力部１３は、必要に応じて、映像入力部１１により撮影された映像を表示するようにしても良い。
【００７１】
［付加情報表示例］
以下に、寺社「○○寺」、人物「鈴木□□」、石碑「△△碑」に関して付加情報を表示した上で、新たに、人物「山田▽▽」に関して付加情報を表示する場合の表示例について説明する。
【００７２】
［付加情報表示例（１）］
図８は、付加情報の表示制御を行わない場合の表示例である。ここでは、「○○寺」、「鈴木□□」、「△△碑」、「山田▽▽」に関する付加情報が等しく表示されている。
【００７３】
［付加情報表示例（２）］
図９は、指し示された物体のみ付加情報を表示する場合の表示例である。ここでは、「山田▽▽」に関する付加情報のみが表示されている。
【００７４】
［付加情報表示例（３）］
図１０は、指し示された物体の付加情報のみ相対的に大きく表示し、それ以外の物体の付加情報を相対的に小さく表示する場合の表示例である。ここでは、「山田▽▽」に関する付加情報のみが相対的に大きく表示され、「○○寺」、「鈴木□□」、「△△碑」に関する付加情報は相対的に小さく表示されている。なお、指し示された物体の付加情報を通常の表示サイズよりも大きく表示する場合、それ以外の物体の付加情報については、通常の表示サイズで表示していても良い。また、表示サイズの大小は一例に過ぎない。実際には、指し示された物体の付加情報のみ、それと分かるように何らかの方法で強調して表示していれば良い。例えば、指し示された物体の付加情報の文字や表示枠を、太線（太字）／色付き／点滅表示等に変更しても良い。
【００７５】
［指し示す方向の変化］
制御装置３０は、利用者が指示装置２０を操作して、指し示された物体を変更するにしたがって、表示装置１０に表示する付加情報を動的に変化させる。例えば、対象物位置算出部３２は、利用者が指示装置２０をスライドした場合、移動に伴う指示装置２０の位置成分及び方向成分の変化量を基に、前の映像中での位置情報から相対的に現在の映像中での位置情報を算出しても良い。また、付加情報出力制御部３５は、利用者が指示装置２０を操作して指し示した映像中の焦点位置に、ＡＲマーカー（以下、マーカー）を表示しても良いし、映像中の焦点位置において、その位置にある物体の付加情報の表示／非表示のみを行い、マーカーを表示しなくても良い。ここでは、マーカーは、カーソルにより示される。
【００７６】
例えば、指示棒（物体指示部２１）に指示入力ボタンを搭載し、付加情報の表示／非表示を変更できるようにしておき、利用者は、指示棒（物体指示部２１）を操作して付加情報表示の対象となる物体を次々変更させた上で、指示入力ボタンを押して指示入力を行うことで、表示する付加情報を容易に制御することもできるようになる。
【００７７】
［情報表示システムの追加構成］
図１１を参照して、上記の場合における情報表示システムの追加構成について説明する。
【００７８】
指示装置２０は、更に、利用者指示入力部２３を備える。
【００７９】
利用者指示入力部２３は、押下可能なボタンやタッチパネル等で実現できる。利用者指示入力部２３は、利用者によるボタン押下等の操作を基に、表示装置１０に対する指示入力を行う。
【００８０】
制御部３０は、更に、位置調整部３６を備える。
【００８１】
位置調整部３６は、指示装置２０からの指示入力に基づいて、表示する付加情報の表示を調整する。ここでは、位置調整部３６は、利用者指示入力部２３からの指示入力に基づいて、付加情報の表示の有無／可否、表示位置、表示サイズを変更する。なお、位置調整部３６は、付加情報出力制御部３５の一部でも良い。すなわち、付加情報出力制御部３５は、位置調整部３６の機能も備えていても良い。
【００８２】
［表示装置の機器］
図１２に、表示装置１０の機器の一例を示す。
【００８３】
映像入力部１１は、眼鏡の柄に付加したカメラとなっていて、利用者の視野に入力される情報を取得し、無線／有線により制御装置３０に送信する。ここでは、映像入力部１１は、カメラと共に、位置成分及び方向成分を検出するセンサを搭載している。このセンサは、撮影物体特定情報取得部１２に該当する。なお、センサは、眼鏡の縁（フレーム）、カメラ、又はレンズに埋め込まれていても良い。
【００８４】
付加情報出力部１３は、形状が眼鏡形となっており、この眼鏡のレンズが半透明のディスプレイとなっていて、そのディスプレイに付加情報を表示するように制御する。ここでは、眼鏡のレンズ越しに、実オブジェクト（本例では２名の人物）が見えている。また、眼鏡のレンズ（半透明のディスプレイ）上に示された長方形の領域が、撮影した映像の画角と一致している。なお、付加情報出力部１３は、映像のみ表示して長方形の領域自体を表示しないように制御しても良いし、映像と共に長方形の領域の枠を表示するように制御しても良い。付加情報出力部１３は、無線／有線により制御装置３０から、表示すべき付加情報を受信して、レンズ上に示された長方形の領域に付加情報を表示する。
【００８５】
ここでは、付加情報出力部１３は、眼鏡のレンズ越しに、実オブジェクト（本例では２名の人物）が見えており、利用者が物体指示部２１で指し示した位置（一方の人物）にマーカーを表示している。
【００８６】
付加情報抽出部３３は、記憶部３４から、マーカーが表示された物体の付加情報を抽出する。付加情報出力制御部３５は、抽出された付加情報を、半透明のディスプレイ上に表示するための表示制御を行う。
【００８７】
［映像中での位置算出方法］
次に、対象物位置算出部３２による「指し示された物体の映像中での位置算出方法」について具体的に例を述べる。
【００８８】
［位置センサ及び方向センサによる位置情報算出］
図１３、図１４では、撮影物体特定情報取得部１２により映像入力部１１の位置成分及び方向成分が取得され、指示物体特定情報取得部２２により、物体指示部２１の位置成分及び方向成分が取得された際の導出原理について説明している。
【００８９】
物体指示部２１の指示方向は、半透明のディスプレイ上に光軸（線分）として表示される。このとき、付加情報出力部１３は、物体指示部２１が照射したレーザーを光軸として表示しても良いし、物体指示部２１の位置成分及び方向成分に基づいて半透明のディスプレイ上にのみ仮想的な光軸を表示しても良い。
【００９０】
撮影物体特定情報取得部１２は、映像入力部１１の位置を３次元の原点（絶対位置）とし、映像入力部１１の画角の水平方向（左右方向）をＸ軸とし、映像入力部１１の画角の垂直方向（上下方向）をＸ軸とし、映像入力部１１の画角の中心方向及び物体指示部２１の光軸方向（奥行き方向）をＺ軸とする。
【００９１】
ここで、撮影物体特定情報取得部１２は、ある特定の場所に存在する物体の画像上での座標値を、中心の座標「（ｘ１，ｙ１，ｚ１）」及び、映像入力部１１のカメラの画角（視野角）によって決定できる。
【００９２】
付加情報出力部１３は、画角内にある物体を、取得映像内に表示する。また、付加情報出力部１３は、光軸上に物体がある場合、光軸上の物体を取得映像の中心に表示しても良い。
【００９３】
「ｚ＝ｚ１」の際の画角いっぱいの点における「（ｘ，ｙ）」を「（ｘ０，ｙ０）」としたときに、取得画像の大きさを「（ｘｍ，ｙｍ）」とする。
【００９４】
したがって、この際の表示位置については、中心からの画素数を「（ｘｍ）／２，（ｙｍ）／２）」としたとき、中心からの値「（ｘ，ｙ）＝（（ｘ１＊ｘｍ）／（２＊ｘ０），（ｙ１＊ｙｍ）／（２＊ｙ０））」で表現される。なお、「＊」は、乗算記号（乗算演算子）である。また、「／」は、除算記号（除算演算子）である。
【００９５】
ここで、映像入力部１１の方向成分を「（α１，β１，γ１）」とし、物体指示部２１の方向成分を「（α２，β２，γ２）」とすると、映像入力部１１の光軸方向をＺ軸としたときに、物体指示部２１の方向成分は、「（α２−α１，β２−β１，γ２−γ１）」で表現される。
【００９６】
映像入力部１１の位置成分（絶対位置）を「（ａ１，ｂ１，ｃ１）」とし、物体指示部２１の位置成分を「（ａ２，ｂ２，ｃ２）」としたときに、物体指示部２１の位置成分は、「（ａ２−ａ１，ｂ２−ｂ１，ｃ２−ｃ１）」で表現される。
【００９７】
物体指示部２１の先端から伸びる線分（直線成分）は、物体指示部２１の位置成分「（ａ２−ａ１，ｂ２−ｂ１，ｃ２−ｃ１）」と、物体指示部２１の方向成分「（α２−α１，β２−β１，γ２−γ１）」と、映像入力部１１のカメラの画角により記述され、取得映像中では、直線として表現される。この線分は、無限遠に向かって伸びるものとする。
【００９８】
［線分のパタン（ｐａｔｔｅｒｎ）］
図１５に示すように、物体指示部２１の先端から伸びる線分は、以下の（１）−（３）の３つのパタンとなる。
（１）画角内で収束（画角と交わり、無限遠は画角内にある）
（２）画角を横切る（画角と交わり、無限遠は画角外にある）
（３）画角と交わらない
【００９９】
利用者が、物体を物体指示部２１で指し示した際に、映像入力部１１のカメラの画角、映像入力部１１の位置成分「（ａ１，ｂ１，ｃ１）」、映像入力部１１の方向「（α１，β１，γ１）」、物体指示部２１の位置成分「（ａ２，ｂ２，ｃ２）」、物体指示部２１の方向「（α２，β２，γ２）」から、入力画像内に表示される線分を求める。
【０１００】
続いて、対象物位置算出部３２は、映像解析部３１により特定した複数の候補物体のうち、物体指示部２１の指し示した光軸線上にある候補物体を、指し示された物体とすることで、位置情報を判定することができる。
【０１０１】
ここで、対象物位置算出部３２は、線分上に複数の物体が存在する場合、双方の方向成分と位置成分から奥行き（物体のＺ成分）が算出できるため、以下の（１）−（４）の対応を適宜選択すれば良い。
（１）近い方の物体を選択する
（２）予め優先するＺ成分値を定めておき、Ｚ値に基づいて選択する
（３）どちらも候補として、付加情報を表示する
（４）線の場所を定めた場合、仮定した物体までの距離が算出できるため、物体の実サイズ（予めＤＢに記録しておく）と画面上でのサイズを計測し、線分上にある物体として、大きさ情報が妥当であるもののみを選択する
【０１０２】
対象物位置算出部３２は、自動的に、或いは、利用者が予め指定／設定した内容にしたがって、上記の（１）−（４）のいずれかの対応を選択するようにしても良い。
【０１０３】
また、指示棒（物体指示部２１）に利用者指示入力部２３を用意し、利用者が利用者指示入力部２３により線分上の候補物体を順次選択するとしても良いし、利用者の指示により、線分上でマーカーを動かして利用者が指示したい物体を確定させるといったインタラクティブ（Ｉｎｔｅｒａｃｔｉｖｅ：双方向）なインターフェースを用意してすることも可能である。
【０１０４】
また、表示上の工夫として、「指示棒（物体指示部２１）の指す線分の表示／非表示を利用者が選択できるようにする」、「対象となる物体を定めた後、それ以降の線分は表示しない」等の工夫により、どの物体をどのような基準で検出しているかが、利用者に容易にわかるようにすることができる。
【０１０５】
［視覚的特徴に基づく照合による位置情報算出］
次に、図１６を参照して、画像特徴に基づいて物体の位置を求める方法について説明する。
【０１０６】
この方法では、物体指示部２１の先端にカメラを配置する。なお、物体指示部２１の先端に位置センサ及び方向センサを配置しなくても良い。
【０１０７】
物体指示部２１は、先端にカメラを搭載しており、利用者は当該カメラを用いて光軸方向を撮影する。
【０１０８】
映像解析部３１は、映像入力部１１からの映像を取得し、映像入力部１１からの映像中の画像と、記憶部３４に記憶されている物体の画像とを解析・照合し、映像中にある各々の物体を特定し、特定された各々の物体とそれらの物体の映像中での位置情報との関係を示すマッピング情報を作成し、対象物位置算出部３２に通知する。
【０１０９】
対象物位置算出部３２は、映像入力部１１からの映像中の画像と、物体指示部２１のカメラの中心に表示される画像（Ｍ画素×Ｎ画素）と視覚的に類似している領域を照合し、映像中での位置情報を算出し、マッピング情報（各々の物体の映像中での位置情報）と照合し、合致する映像中での位置情報がある場合、その映像中での位置にある物体を、指し示された物体として特定する。
【０１１０】
画像の類似度の算出方法の一例として、特開平０３−１３４７７８号公報に記載の「ステレオ画像処理方法」等を用いることも考えられる。
【０１１１】
これにより、カメラの中心部と最も視覚的に近い映像中での位置を、利用者が指し示した位置と推定することができる。
【０１１２】
対象物位置算出部３２は、視覚的に類似している領域が存在しない場合、閾値処理をした上で、「該当なし」としても良いし、複数の候補が出た場合、「いずれも正解として選択する」、又は「利用者がいずれかを選択する」等の処理を施しても良い。
【０１１３】
［本実施形態の特徴］
本実施形態では、指示装置２０（指示棒）が指示物体特定情報取得部２２を有し、また、表示装置１０（ディスプレイ）が映像入力部１１及び撮影物体特定情報取得部１２を有し、制御装置３０（コンピュータ）が対象物位置算出部３２を有する。利用者は、手元にある指示装置２０（指示棒）により、対象となる物体を指し示すことによって、入力画像中で利用者が興味ある物体を指定できる。
【０１１４】
これにより、利用者は、画面に直接触れたりすることなく、興味ある対象を指し示すというきわめて直感的な操作にて容易に画面に表示された物体の付加情報の表示制御を行うことができる。
【０１１５】
＜第２実施形態＞
以下に、本発明の第２実施形態について図面を参照して詳細に説明する。
【０１１６】
本実施形態では、利用者が、利用者指示入力部２３を用いて、指し示された物体の画面上での位置を、修正又は微調整する。
【０１１７】
図１７に示すように、利用者指示入力部２３は、「モード切替ボタン」及び「決定ボタン」という２つのボタンにより実現される。
【０１１８】
［手動による位置調整］
図１８に、利用者の手動による位置調整の例を示す。
【０１１９】
ここでは、システムが算出した位置が利用者の意図したものと異なっており、異なった物体の位置を算出している。
【０１２０】
［第１の修正パタン：マーカー移動による位置調整］
第１の修正パタンとして、マーカーの位置を画面上の上下方向又は左右方向に移動させることが考えられる。
【０１２１】
例えば、利用者指示入力部２３は、利用者がモード切替ボタンを押すことで、モードを、「通常モード」から「上下／左右モード」に変更するようにする。
【０１２２】
「通常モード」とは、自由に物体を指定できるモードである。「上下／左右モード」とは、指示装置２０（指示棒）を上下／左右に動かして、マーカーの位置を調整するためのモードである。
【０１２３】
「上下／左右モード」では、モード切替ボタンを押しながら（押した状態で）、指示装置２０（指示棒）を上下／左右に動かすことによって、マーカーの位置の微調整を行う。マーカーの位置が調整できたら、決定ボタンにより決定する。物体とマーカーの位置が重なった時点で、決定ボタンを押すことにより、マーカーが物体を指している状態になる。
【０１２４】
モード切替ボタンを離すことにより、「通常モード」に戻る。
【０１２５】
ここでは、モード切替ボタンを押すことで（押した状態で）「上下／左右モード」となり、モード切替ボタンを離すことで「通常モード」となるようにしたが、実際には、モード切替ボタンを押すことにより（押下する度に）「上下／左右モード」と「通常モード」が切り替わるようにしても良い。
【０１２６】
［第２の修正パタン：カメラ移動による調整］
第２の修正パタンとして、表示画像上でのマーカーの位置（座標値）を固定させた上で、カメラ移動により調整することが考えられる。
【０１２７】
例えば、モード切替ボタンを押すことでモードを、「固定モード」とする。
【０１２８】
「固定モード」とは、マーカーの位置を固定するモードである。
【０１２９】
「固定モード」では、表示画面上でマーカーの位置が固定されるため、マーカーの位置を固定させた上で、ヘッドマウントディスプレイを動かすことによって、物体がマーカーの位置と重なるように調整する。物体とマーカーの位置が重なった時点で、決定ボタンを押すことにより、マーカーが物体を指している状態になる。
【０１３０】
モード切替ボタンを離すことにより、「通常モード」に戻る。
【０１３１】
ここでは、モード切替ボタンを押すことで（押した状態で）「固定モード」となり、離すことで「通常モード」となるようにしたが、実際には、モード切替ボタンを押すことにより（押下する度に）「固定モード」と「通常モード」が切り替わるようにしても良い。
【０１３２】
［第３の修正パタン：線分方向にマーカー移動］
第３の修正パタンとして、物体指示部２１の光軸方向（線分方向）に沿ってマーカーを移動させることが考えられる。
【０１３３】
例えば、利用者がモード切替ボタンを押すことで、モードを、物体指定モード（「通常モード」）から「線分移動モード」に変更するようにしておき、利用者がモード切替ボタンを押しながら（押した状態で）、指示装置２０（指示棒）を左右に動かすことによって微調整を行う。マーカーの位置が調整できたら、決定ボタンにより決定する。物体とマーカーの位置が重なった時点で、決定ボタンを押すことにより、マーカーが物体を指している状態になる。
【０１３４】
モード切替ボタンを離すことにより、「通常モード」に戻る。
【０１３５】
ここでは、モード切替ボタンを押すことで（押した状態で）「線分移動モード」となり、離すことで「通常モード」となるようにしたが、実際には、モード切替ボタンを押すことで（押下する度に）「線分移動モード」と「通常モード」が切り替わるようにしても良い。
【０１３６】
［本実施形態の特徴］
本実施形態では、指示装置２０（指示棒）が利用者指示入力部２３を更に具備し、利用者指示入力部２３が、算出された位置情報の微調整を行うことができる。
【０１３７】
これにより、利用者は、興味ある対象を指し示すというきわめて直感的な操作を損なうことなく、精度良く表示された物体の付加情報の表示制御を行うことができる。
【０１３８】
＜第３実施形態＞
以下に、本発明の第３実施形態について図面を参照して説明する。
【０１３９】
本実施形態では、図１９に示すように、複数の指示棒を用意する。
【０１４０】
対象物位置算出部３２は、それぞれの指示棒の指示物体特定情報取得部２２からの出力を基に、それぞれの指示棒により指し示された物体の位置情報を算出する。付加情報抽出部３３は、記憶部３４から、それぞれの指示棒により指し示された物体に関連付けられた付加情報を抽出する。付加情報出力制御部３５は、ディスプレイに対して、それぞれの指示棒により指し示された物体の付加情報を提示する。
【０１４１】
これにより、ヘッドマウントディスプレイ装着者のみでなく、装着者以外の複数の人物が指定した物体に対して、装着者のディスプレイに付加情報の表示が可能になり、コミュニケーション促進に利用することができる。
【０１４２】
例えば、特定の人物に、複数の人物がプレゼンテーション（説明）を行うことができる。
【０１４３】
＜第４実施形態＞
以下に、本発明の第４実施形態について図面を参照して説明する。
【０１４４】
本実施形態では、図２０に示すように、複数のディスプレイを別々の人物が装着する。
【０１４５】
対象物位置算出部３２は、一つの指示棒で指定された物体の位置情報を算出する。付加情報抽出部３３は、記憶部３４から、当該物体の付加情報を抽出する。付加情報出力制御部３５は、それぞれのディスプレイに対して、当該物体の付加情報を提示する。
【０１４６】
なお、対象物位置算出部３２は、指定された物体の位置を算出する際、各々の利用者の位置、姿勢によるディスプレイ中の表示物体の違いを吸収する。
【０１４７】
これにより、一人の人物が指示する物体に対する付加情報を、大勢の人物が装着するディスプレイに表示することができる。
【０１４８】
例えば、団体旅行において、案内人（ツアーガイド）や添乗員（ツアーコンダクター）が、指示棒で対象物（史跡等）を指し示すことで、当該対象物に対する付加情報を、大勢の旅行者が装着するディスプレイに表示することができる。
【０１４９】
また、講義やセミナーにおいて、講師が、指示棒で対象物（資料等）を指し示すことで、当該対象物に対する付加情報を、大勢の受講者が装着するディスプレイに表示することができる。
【０１５０】
特定の人物のプレゼンテーションを複数の人物に行う際に特に有効である。
【０１５１】
＜第５実施形態＞
以下に、本発明の第５実施形態について図面を参照して説明する。
【０１５２】
本実施形態では、図２１に示すように、第３実施形態と第４実施形態を組み合わせ、複数の指示棒を用意し、複数のディスプレイを別々の人物が装着する。
【０１５３】
それぞれの映像入力部１１のカメラの画角が重複する場合、重複した範囲において、それぞれの指示棒が抽出する指示物体特定情報取得部２２の出力を基に、対象物位置算出部３２は、それぞれの指示棒により指し示された各々の物体の位置情報を算出する。付加情報抽出部３３は、記憶部３４から、それぞれの指示棒により指し示された各々の物体の付加情報を抽出する。付加情報出力制御部３５は、それぞれのディスプレイに対して、それぞれの指示棒により指し示された各々の物体の付加情報を提示する。
【０１５４】
ここでは、全ての指示棒が同一の物体を指している事例を示しているが、実際には、それぞれの映像入力部１１のカメラの画角が重複した範囲内にある物体であれば、それぞれ異なる物体を指していても良い。
【０１５５】
＜第６実施形態＞
以下に、本発明の第６実施形態について図面を参照して説明する。
【０１５６】
本実施形態では、仮想物体を対象としている。
【０１５７】
記憶部３４は、仮想物体の表示位置情報、或いは、特定の物体又は特定のマークに関連付けて、仮想物体の画像及び付加情報を記憶しているものとする。仮想物体の画像は、静止画でも動画でも良い。
【０１５８】
仮想物体の表示位置情報を用いる場合、物体位置算出部３２は、表示装置１０に備え付けられた映像入力部１１の位置成分及び方向成分が、仮想物体の表示位置情報の位置成分及び方向成分と合致することを検出する。仮想物体の表示位置情報に基づく位置が、対象位置である。この場合、付加情報出力制御部３５は、付加情報出力部１３に対し、仮想物体の表示位置情報に基づく位置又は近傍に、仮想物体の画像を表示するための表示制御を行う。
【０１５９】
特定の物体又は特定のマークを用いる場合、映像解析部３１は、表示装置１０の映像入力部１１の映像中に、特定の物体又は特定のマークがあることを検出する。この場合、付加情報出力制御部３５は、付加情報出力部１３に対し、特定の物体又は特定のマークがある位置又は近傍に仮想物体の画像を表示するための表示制御を行う。
【０１６０】
表示装置１０の付加情報出力部１３に仮想物体を表示中、物体位置算出部３２は、映像中での仮想物体の表示位置を認識している。
【０１６１】
付加情報出力制御部３５は、物体位置算出部３２により算出された「映像中での位置情報」が映像中での仮想物体の表示位置と合致した場合は、仮想物体の付加情報を、当該仮想物体の表示位置の近傍に表示するための表示制御を行う。このとき、複数の仮想物体が表示されている場合は、合致した仮想物体のみの付加情報を、当該仮想物体の表示位置の近傍に表示するための表示制御を行う。
【０１６２】
＜各実施形態の関係＞
なお、上記の各実施形態は、組み合わせて実施することも可能である。
【０１６３】
上記の第３実施形態及び第５実施形態において、複数の指示棒を用いる際、どの指示棒により指し示されたのかを判別するために、指示棒毎の光軸又はマーカーを識別可能に表示することが考えられる。例えば、指示棒毎に光軸又はマーカーの表示形態（形状、模様、色彩等）を変えたり、光軸又はマーカーに指示棒毎の識別情報を付加したりすることが考えられる。但し、実際には、これらの例に限定されない。
【０１６４】
また、上記の第４実施形態及び第５実施形態では、制御装置３０を１台しか例示していないが、実際には、制御装置３０は、互いに連携可能な複数の電子機器でも良い。例えば、制御装置３０は、複数のヘッドマウントディスプレイの各々に搭載された電子機器でも良い。これらの電子機器が、互いに情報を共有し、同一の処理を行うものとする。各ヘッドマウントディスプレイには、同一の情報が表示されるものとする。
【０１６５】
＜産業上の利用可能性＞
本発明によれば、半透過型ディスプレイにて、実物体のアノテーションの付与を行う、情報表示システムに適用できる。
【０１６６】
また、複数の指示棒を用意することで、プレゼンテーションシステムや教育システムにおける表示機能といった用途にも適用可能である。
【０１６７】
また、ここでは、半透過型ディスプレイ等のヘッドマウントディスプレイを例に説明したが、実際には、ヘッドマウントディスプレイの代わりに、スマートフォン等のタッチパネル式のディスプレイを用いて実施することも可能である。ディスプレイは、必ずしも人物に装着されていなければならないわけではない。
【０１６８】
＜まとめ＞
以上のように、本発明の情報表示システムは、物体に関連付けられた付帯情報を表示する際に、付帯情報を表示すべき物体を直感的に選択・制御できる。
【０１６９】
従来、ヘッドマウント型ディスプレイのようなウェアラブル型のディスプレイ（通常透過型が多い）や大画面ディスプレイ等に付加情報を表示させようとしたときに、以下の（１）−（３）のような問題点が生じていた。
【０１７０】
（１）第１の問題点
ヘッドマウントディスプレイを含む各種ディスプレイのスペース（空間）は限られており、そのままでは大量の情報を表示することが難しい。そのため、付加情報が付与された物体が複数あるときに付加情報を画面上に全て表示すると、非常に多くの情報が表示されることになり、「画面が煩雑になる」、「大事な情報が埋もれてしまう」、「透過型の実オブジェクトを見るのに妨げになる」、「簡潔な情報しか表示できない」といった問題が生じていた。
【０１７１】
（２）第２の問題点
ヘッドマウントディスプレイを利用する場合、ヘッドマウントディスプレイは、利用者の目に近接して設置するようになっており、ディスプレイ上の物体の位置情報を手／指等で指定しようとした際に、直接触ることができない。ディスプレイに直接触るという行為は、利用者にとっても直感的ではなく、入力行為そのものが難しいという問題点もあった。そのため、第１の問題点に関連して、大量の情報を選択的に表示させようとした際に、入力を直感的に行うことができない。
【０１７２】
（３）第３の問題点
ヘッドマウントディスプレイやディスプレイ型サングラス等のディスプレイのサイズは小さく、手／指等で正確に場所を指定することは難しい。また、生物や移動体等の対象物は３次元的（立体的）に動くため、マウス等の２次元入力デバイスでは対応をとることが難しく、生物や移動体等の対象物を追跡する際、利用者が動いている状態での追尾継続等は特に難しい。そのため、対象物が動いている、或いは利用者自身が姿勢を変える等、対象物と利用者の少なくとも一方が動いている場合に、高精度で入力することが難しい。
【０１７３】
本発明では、実空間上を撮影した映像に対して付加情報の付与を行う際に、直感的に、対象物を選択する情報表示システムを提供する。特に、透過型ディスプレイを使って、ディスプレイ越しの実物体に対して付加情報のみを表示する際に、直感的に表示対象を選択する情報表示システムを提供する。
【０１７４】
本発明の情報表示システムは、映像入力部と、記憶部と、映像解析部と、付加情報抽出部と、付加情報出力部と、物体指示部と、指示物体特定情報取得部と、対象物位置算出部と、付加情報出力制御部を備える。
【０１７５】
映像入力部は、実空間の映像を取得する。記憶部は、実空間の物体（実オブジェクト）に関連付けられた付加情報を記憶する。映像解析部は、前記映像入力部により取得された映像から物体を抽出する。付加情報抽出部は、前記抽出された物体に関連付けられた付加情報を前記記憶部から抽出する。付加情報出力部は、前記抽出された付加情報を表示する。物体指示部は、実空間における物体を指し示す指示物体特定情報取得部は、前記物体指示部により指し示された物体を特定するための位置又は視覚的特徴を示す情報を出力する。対象物位置算出部は、前記指示物体特定情報取得部から出力された情報に基づいて、前期物体指示部により指し示された実空間の物体のディスプレイ上での位置（座標値）を算出し、前記指し示された物体の前記取得された映像における位置情報を出力する。付加情報出力制御部は、前記対象物位置算出部により算出された位置情報に基づいて、付加情報を前記付加情報出力部に表示するための表示制御を行う。
【０１７６】
本発明では、このようなシステム構成を採用し、算出された位置情報に基づいて、付加情報の表示制御を行うことにより、従来の問題点を解決することができる。
【０１７７】
例えば、本発明では、物体指示部による入力を受けて、表示の有無を制御できるため、対象物の状態に応じた付加情報の表示ができる。
【０１７８】
また、方向指示で対象物を指し示すという行為は、利用者にとって、きわめて直感的な操作であるため、付加情報表示のための情報入力を、利用者が直感的に行うことができる。
【０１７９】
対象物を３次元的（立体的）に捉えることが容易であり、利用者の経験に即したものであるため、精度良く指定できる。
【０１８０】
＜付記＞
上記の実施形態の一部又は全部は、以下の付記のように記載することも可能である。但し、実際には、以下の記載例に限定されない。
【０１８１】
（付記１）
実空間の映像を取得する映像入力部と、
実空間の物体に関連付けられた付加情報を記憶する記憶部と、
映像入力部により取得された映像から物体を抽出する映像解析部と、
抽出された物体に関連付けられた付加情報を記憶部から抽出する付加情報抽出部と、
抽出された付加情報を表示する付加情報出力部と、
指示棒の先端に設置され、利用者が実空間の物体を指し示すための物体指示部と、
物体指示部により指し示された物体を特定するための特徴（位置又は視覚的特徴）を示す情報を出力する指示物体特定情報取得部と、
指示物体特定情報取得部から出力された情報に基づいて、指し示された物体の取得された映像における位置情報を出力する対象物位置算出部と、
対象物位置算出部により算出された位置情報に基づいて、付加情報出力部に表示される付加情報の表示制御を行う付加情報出力制御部と
を備える
情報表示システム。
【０１８２】
（付記２）
指示物体特定情報取得部は、指し示された方向の映像を出力し、
対象物位置算出部は、取得された映像と、指し示された方向の映像の中心の視覚的特徴とを照合し、指し示された物体の取得された映像における位置情報を算出する
付記１に記載の情報表示システム。
【０１８３】
（付記３）
映像入力部の位置成分及び方向成分に関する情報を取得する撮影物体特定情報取得部
を更に備え、
対象物位置算出部は、映像入力部の位置成分及び方向成分に関する情報と、物体指示部の位置成分及び方向成分に関する情報と照合し、指し示された物体の取得された映像における位置情報を算出する
付記１に記載の情報表示システム。
【０１８４】
（付記４）
付加情報出力制御部は、指し示された物体の付加情報のみを表示する
付記１−３に記載の情報表示システム。
【０１８５】
（付記５）
付加情報の表示状態を記憶する付加状態記憶部と、
利用者の指示入力を行う利用者指示入力部
を更に備え、
付加情報出力制御部は、利用者指示入力部からの入力指示に基づいて、指し示された物体の付加情報の表示／非表示を制御する
付記１−４に記載の情報表示システム。
【０１８６】
（付記６）
付加情報出力制御部は、対象物位置算出部により算出された位置に利用者確認用のマーカーを重畳表示する
付記１−５に記載の情報表示システム。
【０１８７】
（付記７）
付加情報出力制御部は、物体指示部が指し示す擬似光線を重畳表示する
付記１−６に記載の情報表示システム。
【０１８８】
（付記８）
物体指示部に相当する複数の物体指示部と、
指示物体特定情報取得部に相当する複数の指示物体特定情報取得部と
を更に備え、
付加情報出力制御部は、複数の指示物体特定情報取得部の各々の出力に基づいて、対応する物体の付加情報の表示を制御する
付記１−７に記載の情報表示システム。
【０１８９】
（付記９）
映像入力部に相当する複数の映像入力部と、
付加情報出力部に相当する複数の付加情報出力部と
を更に備え、
付加情報出力制御部は、複数の映像入力部の各々により取得された映像における指示物体の位置を算出し、それぞれの付加情報出力部に付加情報を表示する
付記１−８に記載の情報表示システム。
【０１９０】
（付記１０）
算出された物体の位置を利用者入力によって調整する位置調整部
を更に備える
付記１−９に記載の情報表示システム。
【０１９１】
（付記１１）
位置調整部は、取得された位置情報を上下方向に調整を行う
付記１０に記載の情報表示システム。
【０１９２】
（付記１２）
位置調整部は、映像中での位置を固定させ、映像入力部にて入力される映像を操作することにより、固定させた位置に対物を表示させて対象物を確定させる
付記１０に記載の情報表示システム。
【０１９３】
（付記１３）
位置調整部は、カメラの位置成分及び方向成分に関する情報と、物体指示部の位置情報と、方向情報から、映像における、物体指示部の光軸線分を表示させた上で利用者入力により奥行き値を変化させる
付記１０に記載の情報表示システム。
【０１９４】
＜備考＞
以上、本発明の実施形態を詳述してきたが、実際には、上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更があっても本発明に含まれる。
【符号の説明】
【０１９５】
１０… 表示装置
１１… 映像入力部
１２… 撮影物体特定情報取得部
１３… 付加情報出力部
２０… 指示装置
２１… 物体指示部
２２… 指示物体特定情報取得部
２３… 利用者指示入力部
３０… 制御装置
３１… 映像解析部
３２… 対象物位置算出部
３３… 付加情報抽出部
３４… 記憶部
３５… 付加情報出力制御部
３６… 位置調整部
【特許請求の範囲】
【請求項１】
少なくとも１つの表示装置と、
少なくとも１つの指示装置と、
前記少なくとも１つの表示装置及び前記少なくとも１つの指示装置と通信する制御装置と
を含み、
前記制御装置は、前記少なくとも１つの表示装置を通して見える物体を、前記少なくとも１つの表示装置上ではなく、実空間上で指し示した前記少なくとも１つの指示装置からの情報に基づいて、前記物体を特定し、前記少なくとも１つの表示装置に対し、前記物体に関する付加情報の表示制御を行う
情報表示システム。
【請求項２】
請求項１に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置により指し示された物体のみ、付加情報の表示制御を行う
情報表示システム。
【請求項３】
請求項１又は２に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの表示装置からの映像の視覚的特徴と、前記少なくとも１つの指示装置からの映像の中心の視覚的特徴とを照合し、前記少なくとも１つの指示装置により指し示された物体に対し、前記少なくとも１つの表示装置からの映像中での位置情報を算出する
情報表示システム。
【請求項４】
請求項１又は２に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの表示装置の位置成分及び方向成分に関する情報と、前記少なくとも１つの指示装置の位置成分及び方向成分に関する情報とを照合し、前記少なくとも１つの指示装置により指し示された物体に対し、前記少なくとも１つの表示装置からの映像中での位置情報を算出する
情報表示システム。
【請求項５】
請求項１乃至４のいずれか一項に記載の情報表示システムであって、
前記制御装置は、前記制御装置により算出された位置情報を基に、前記少なくとも１つの指示装置により指し示された物体を確認するためのマーカーの表示制御を行う
情報表示システム。
【請求項６】
請求項１乃至５のいずれか一項に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置の位置成分及び方向成分に関する情報を基に、前記少なくとも１つの指示装置により指し示された方向の線分を示す光軸の表示制御を行う
情報表示システム。
【請求項７】
請求項６に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置からの入力指示にしたがって、前記少なくとも１つの表示装置の位置成分及び方向成分に関する情報と、前記少なくとも１つの指示装置の位置成分及び方向成分に関する情報とを基に、前記少なくとも１つの指示装置により指し示された方向の線分を示す光軸の奥行き値を変化させる
情報表示システム。
【請求項８】
請求項１乃至７のいずれか一項に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置から、前記少なくとも１つの表示装置に表示されたマーカーの位置が調整された際、前記調整されたマーカーの位置と前記取得された映像中での位置とが重なる場合に、前記指し示された物体の付加情報の表示制御を行う
情報表示システム。
【請求項９】
請求項８に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置からの入力指示に基づいて、マーカーを上下左右方向に移動して、マーカーの位置が前記指し示された物体に重なるように調整する
情報表示システム。
【請求項１０】
請求項８に記載の情報表示システムであって、
前記制御装置は、マーカーの位置を固定して、前記指し示された物体が前記固定されたマーカーの位置に重なるように調整する
情報表示システム。
【請求項１１】
請求項８に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置により指し示された方向の線分を示す光軸の線分方向に沿ってマーカーを移動して、マーカーの位置が前記指し示された物体に重なるように調整する
情報表示システム。
【請求項１２】
請求項１乃至１１のいずれか一項に記載の情報表示システムであって、
前記制御装置は、仮想物体の画像及び付加情報を、仮想物体の表示位置情報に関連付けて記憶し、前記少なくとも１つの表示装置の位置成分及び方向成分が、仮想物体の表示位置情報の位置成分及び方向成分と合致することを検出し、前記少なくとも１つの表示装置に対し、仮想物体の表示位置情報に基づく位置又は近傍に、仮想物体の画像を表示するための表示制御を行う
情報表示システム。
【請求項１３】
請求項１乃至１１のいずれか一項に記載の情報表示システムであって、
前記制御装置は、仮想物体の画像及び付加情報を、特定の物体又は特定のマークに関連付けて記憶し、前記少なくとも１つの表示装置からの映像中に、特定の物体又は特定のマークがあることを検出し、前記少なくとも１つの表示装置に対し、特定の物体又は特定のマークがある位置又は近傍に、仮想物体の画像を表示するための表示制御を行う
情報表示システム。
【請求項１４】
請求項１２又は１３に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの表示装置に仮想物体を表示中、当該映像中での仮想物体の表示位置を認識しており、算出された映像中での位置情報が映像中での仮想物体の表示位置と合致した場合は、仮想物体の付加情報を、当該仮想物体の表示位置の近傍に表示するための表示制御を行う
情報表示システム。
【請求項１５】
請求項１乃至１４のいずれか一項に記載の情報表示システムであって、
前記少なくとも１つの表示装置は、
実空間の物体を含む映像を取得する映像入力部と、
前記実空間の物体に関する付加情報を表示する付加情報出力部と
を具備し、
前記少なくとも１つの指示装置は、
利用者が前記実空間の物体を指し示すための物体指示部と、
前記物体指示部により指し示された物体を特定するための特徴を示す情報を出力する指示物体特定情報取得部と
を具備し、
前記制御装置は、
前記映像入力部により取得された映像を解析して、前記取得された映像中の物体を特定する映像解析部と、
前記特定された物体に対し、前記取得された映像中での位置情報を出力し、前記指示物体特定情報取得部から出力された情報に基づいて、前記指し示された物体に対し、前記取得された映像中での位置情報を出力する対象物位置算出部と、
前記実空間の物体に関連付けられた付加情報を記憶する記憶部と、
前記特定された物体に関連付けられた付加情報及び前記指し示された物体に関連付けられた付加情報のうち少なくとも１つを、前記記憶部から抽出する付加情報抽出部と、
前記対象物位置算出部により算出された位置情報に基づいて、前記付加情報抽出部により抽出された付加情報の表示制御を行う付加情報出力制御部と
を具備する
情報表示システム。
【請求項１６】
少なくとも１つの表示装置と、少なくとも１つの指示装置と、前記少なくとも１つの表示装置及び前記少なくとも１つの指示装置と通信する制御装置とを配置することと、
前記制御装置が、前記少なくとも１つの表示装置を通して見える物体を、前記少なくとも１つの表示装置上ではなく、実空間上で指し示した前記少なくとも１つの指示装置からの情報に基づいて、前記物体を特定し、前記少なくとも１つの表示装置に対し、前記物体に関する付加情報の表示制御を行うことと
を含む
情報表示方法。
【請求項１７】
請求項１６に記載の情報表示方法を、制御装置に該当する計算機に実行させるための情報表示用プログラム。
【請求項１】
少なくとも１つの表示装置と、
少なくとも１つの指示装置と、
前記少なくとも１つの表示装置及び前記少なくとも１つの指示装置と通信する制御装置と
を含み、
前記制御装置は、前記少なくとも１つの表示装置を通して見える物体を、前記少なくとも１つの表示装置上ではなく、実空間上で指し示した前記少なくとも１つの指示装置からの情報に基づいて、前記物体を特定し、前記少なくとも１つの表示装置に対し、前記物体に関する付加情報の表示制御を行う
情報表示システム。
【請求項２】
請求項１に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置により指し示された物体のみ、付加情報の表示制御を行う
情報表示システム。
【請求項３】
請求項１又は２に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの表示装置からの映像の視覚的特徴と、前記少なくとも１つの指示装置からの映像の中心の視覚的特徴とを照合し、前記少なくとも１つの指示装置により指し示された物体に対し、前記少なくとも１つの表示装置からの映像中での位置情報を算出する
情報表示システム。
【請求項４】
請求項１又は２に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの表示装置の位置成分及び方向成分に関する情報と、前記少なくとも１つの指示装置の位置成分及び方向成分に関する情報とを照合し、前記少なくとも１つの指示装置により指し示された物体に対し、前記少なくとも１つの表示装置からの映像中での位置情報を算出する
情報表示システム。
【請求項５】
請求項１乃至４のいずれか一項に記載の情報表示システムであって、
前記制御装置は、前記制御装置により算出された位置情報を基に、前記少なくとも１つの指示装置により指し示された物体を確認するためのマーカーの表示制御を行う
情報表示システム。
【請求項６】
請求項１乃至５のいずれか一項に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置の位置成分及び方向成分に関する情報を基に、前記少なくとも１つの指示装置により指し示された方向の線分を示す光軸の表示制御を行う
情報表示システム。
【請求項７】
請求項６に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置からの入力指示にしたがって、前記少なくとも１つの表示装置の位置成分及び方向成分に関する情報と、前記少なくとも１つの指示装置の位置成分及び方向成分に関する情報とを基に、前記少なくとも１つの指示装置により指し示された方向の線分を示す光軸の奥行き値を変化させる
情報表示システム。
【請求項８】
請求項１乃至７のいずれか一項に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置から、前記少なくとも１つの表示装置に表示されたマーカーの位置が調整された際、前記調整されたマーカーの位置と前記取得された映像中での位置とが重なる場合に、前記指し示された物体の付加情報の表示制御を行う
情報表示システム。
【請求項９】
請求項８に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置からの入力指示に基づいて、マーカーを上下左右方向に移動して、マーカーの位置が前記指し示された物体に重なるように調整する
情報表示システム。
【請求項１０】
請求項８に記載の情報表示システムであって、
前記制御装置は、マーカーの位置を固定して、前記指し示された物体が前記固定されたマーカーの位置に重なるように調整する
情報表示システム。
【請求項１１】
請求項８に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの指示装置により指し示された方向の線分を示す光軸の線分方向に沿ってマーカーを移動して、マーカーの位置が前記指し示された物体に重なるように調整する
情報表示システム。
【請求項１２】
請求項１乃至１１のいずれか一項に記載の情報表示システムであって、
前記制御装置は、仮想物体の画像及び付加情報を、仮想物体の表示位置情報に関連付けて記憶し、前記少なくとも１つの表示装置の位置成分及び方向成分が、仮想物体の表示位置情報の位置成分及び方向成分と合致することを検出し、前記少なくとも１つの表示装置に対し、仮想物体の表示位置情報に基づく位置又は近傍に、仮想物体の画像を表示するための表示制御を行う
情報表示システム。
【請求項１３】
請求項１乃至１１のいずれか一項に記載の情報表示システムであって、
前記制御装置は、仮想物体の画像及び付加情報を、特定の物体又は特定のマークに関連付けて記憶し、前記少なくとも１つの表示装置からの映像中に、特定の物体又は特定のマークがあることを検出し、前記少なくとも１つの表示装置に対し、特定の物体又は特定のマークがある位置又は近傍に、仮想物体の画像を表示するための表示制御を行う
情報表示システム。
【請求項１４】
請求項１２又は１３に記載の情報表示システムであって、
前記制御装置は、前記少なくとも１つの表示装置に仮想物体を表示中、当該映像中での仮想物体の表示位置を認識しており、算出された映像中での位置情報が映像中での仮想物体の表示位置と合致した場合は、仮想物体の付加情報を、当該仮想物体の表示位置の近傍に表示するための表示制御を行う
情報表示システム。
【請求項１５】
請求項１乃至１４のいずれか一項に記載の情報表示システムであって、
前記少なくとも１つの表示装置は、
実空間の物体を含む映像を取得する映像入力部と、
前記実空間の物体に関する付加情報を表示する付加情報出力部と
を具備し、
前記少なくとも１つの指示装置は、
利用者が前記実空間の物体を指し示すための物体指示部と、
前記物体指示部により指し示された物体を特定するための特徴を示す情報を出力する指示物体特定情報取得部と
を具備し、
前記制御装置は、
前記映像入力部により取得された映像を解析して、前記取得された映像中の物体を特定する映像解析部と、
前記特定された物体に対し、前記取得された映像中での位置情報を出力し、前記指示物体特定情報取得部から出力された情報に基づいて、前記指し示された物体に対し、前記取得された映像中での位置情報を出力する対象物位置算出部と、
前記実空間の物体に関連付けられた付加情報を記憶する記憶部と、
前記特定された物体に関連付けられた付加情報及び前記指し示された物体に関連付けられた付加情報のうち少なくとも１つを、前記記憶部から抽出する付加情報抽出部と、
前記対象物位置算出部により算出された位置情報に基づいて、前記付加情報抽出部により抽出された付加情報の表示制御を行う付加情報出力制御部と
を具備する
情報表示システム。
【請求項１６】
少なくとも１つの表示装置と、少なくとも１つの指示装置と、前記少なくとも１つの表示装置及び前記少なくとも１つの指示装置と通信する制御装置とを配置することと、
前記制御装置が、前記少なくとも１つの表示装置を通して見える物体を、前記少なくとも１つの表示装置上ではなく、実空間上で指し示した前記少なくとも１つの指示装置からの情報に基づいて、前記物体を特定し、前記少なくとも１つの表示装置に対し、前記物体に関する付加情報の表示制御を行うことと
を含む
情報表示方法。
【請求項１７】
請求項１６に記載の情報表示方法を、制御装置に該当する計算機に実行させるための情報表示用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−５４６６１（Ｐ２０１３−５４６６１Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９３９５３（Ｐ２０１１−１９３９５３）
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（３０６０２９７７４）ＮＥＣビッグローブ株式会社 (115)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（３０６０２９７７４）ＮＥＣビッグローブ株式会社 (115)
【Ｆターム（参考）】
[ Back to top ]