表示制御装置、表示制御装置の制御方法、プログラム
【課題】 撮像画像中のオブジェクトに対応する属性情報を撮像画像中に合成して表示するＡＲシステムにおいて、撮像画像中の検出されたオブジェクトの領域と属性情報の内容に応じて、表示する情報を選択することを目的とする。
【解決手段】 他の装置の識別子を取得する識別子取得手段と、前記識別子と関連付けられた情報をから取得する情報取得手段と、前記識別子取得手段が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段と、前記検出手段が検出したオブジェクトに対応する前記情報取得手段が取得した情報と前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、表示する前記情報を選択する選択手段とを有することを特徴とする表示制御装置を提供する。
【解決手段】 他の装置の識別子を取得する識別子取得手段と、前記識別子と関連付けられた情報をから取得する情報取得手段と、前記識別子取得手段が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段と、前記検出手段が検出したオブジェクトに対応する前記情報取得手段が取得した情報と前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、表示する前記情報を選択する選択手段とを有することを特徴とする表示制御装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像中のオブジェクトの情報を表示させる表示制御装置に関する。
【背景技術】
【０００２】
近年、カメラ等で撮影した撮像画像に、撮像画像中の物体の属性情報を、付加、合成して表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術がある。例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による位置情報に基づいて、撮像画像中の物体の属性情報を合成して、表示する技術がある。
【０００３】
また、被写体人物が有する携帯端末から取得した識別に用いる特徴情報に基づいて、撮影画像中の被写体人物を特定し、特定した人物の属性情報をサーバから取得して、撮像画像中の特定した被写体の近傍に情報を表示する技術が提案されている（特許文献１）。
【０００４】
また、画像中の各被写体のカメラまでの距離情報に応じて、各被写体に対応付けて表示するグラフィック情報の表示に視覚的な優劣関係を付ける技術がある。特許文献２では、例えば、ある人物に対応づけて表示するグラフィック情報を、他の人物が前方にいる場合は、当該他の人物に重ならないように表示する。一方、ある人物に対応づけて表示するグラフィック情報を、他の人物が後方にいる場合は、当該他の人物及び当該他の人物に対応付けて表示するグラフィック情報に重なるように表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３０５７１７
【特許文献２】特開２００９−２３０４３１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような拡張現実システムにおいて被写体の近傍に被写体に関連した属性情報を被写体と対応づけて表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合でも、被写体に関連するそれぞれの属性情報が、どの被写体の情報であるのかユーザがわかるような形で表示することが望ましい。したがって、画像中の属性情報の表示位置の制御を行う必要がある。図１１に属性情報の表示で他の被写体を隠してしまう例を示す。図１１に示すように属性情報の表示位置を考慮しないと属性情報を表示している被写体を識別できなくなってしまう可能性がある。
【０００７】
また、画像中に属性情報を表示すべき被写体がたくさん存在する場合などは、属性情報の表示位置を他の被写体の顔領域を避けて表示したとしても、限られた撮像画像上に全ての属性情報を表示することができなくなることも考えられる。したがって、属性情報と被写体を対応づけて表示するための十分な領域があるかを鑑みて、ユーザにとって有益な属性情報を優先的に表示する表示制御が望まれる。
【０００８】
上述した従来技術の特許文献１は、属性情報の表示位置や表示する情報を選択することに関しては考慮していない。また、特許文献２では、画像中の各被写体のカメラまでの距離情報に応じて、優劣関係を決定しているが、画像中に属性情報を表示すべき被写体がたくさん存在する場合や情報の内容に応じた表示の優劣に関しては考慮していない。
【０００９】
本発明は、上述の課題に鑑みて、なされた発明であり、撮像画像中の検出されたオブジェクトの領域と該オブジェクトに関連する情報の内容に応じて、撮像画像中に表示する情報を制御することを目的とする。
【課題を解決するための手段】
【００１０】
上述の課題を解決するための手段として、撮像画像を表示させる表示制御装置であって、他の装置の識別子を取得する識別子取得手段と、前記識別子と関連付けられた情報をから取得する情報取得手段と、前記識別子取得手段が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段と、前記検出手段が検出したオブジェクトに対応する前記情報取得手段が取得した情報と前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、表示する前記情報を選択する選択手段とを有することを特徴とする表示制御装置を提供することを目的とする。
【発明の効果】
【００１１】
本発明によれば、情報と撮像画像上のオブジェクト領域に応じて、情報を選択して表示できる。したがって、例えば、全ての属性情報と対応するオブジェクトとを関連付けて表示できない場合は、ユーザが所望とすると考えられる情報と該情報に対応するオブジェクトを優先的に表示させることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施例に係るシステム構成図である。
【図２】画像表示装置１０１のモジュール構成図である。
【図３】情報管理サーバ１０２のモジュール構成図である。
【図４】無線タグ１０３ａ〜ｃのモジュール構成図である。
【図５】画像表示処理を示すフローチャートである。
【図６】情報の種別の変更時の処理を示すフローチャートである。
【図７】画像表示装置１０１、情報管理サーバ１０２、無線タグ１０３ａ〜ｃのシーケンスを示す図である。
【図８】画像表示装置１０１が属性情報を表示する際の様子を示した図である。
【図９】画像表示装置１０１が全ての属性情報を表示できない際の様子の一例を示した図である。
【図１０】属性表示装置１０１が属性情報同士が重なる場合の例を示した図である。
【図１１】表示する属性情報で他の表示する属性情報に対応するオブジェクトを隠した際の表示の様子を示した図である。
【図１２】無線タグ１０３ａ〜１０３ｃが保持する属性情報の一例である。
【図１３】画像表示装置１０１が属性情報を表示する際の様子の他の一例を示した図である。
【図１４】情報の種別の変更時の属性情報を表示する際の様子の一例を示した図である。
【発明を実施するための形態】
【００１３】
［実施例１］
以下、本実施例について、図面を参照して詳細に説明する。図１は、本実施例に係るシステム構成を示した図である。１００は、ネットワークである。本実施例におけるネットワーク１００は、インターネット、ＷＡＮ （Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ （Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）など各種ネットワーク及びそれらの複合であってよい。１０１は、画像表示装置である。画像表示装置１０１は、他の端末装置（無線タグ）から受信した該端末装置を一意に識別可能な識別子に関連付けられた属性情報を情報管理サーバ１０２から取得し、取得した属性情報と撮像画像とを合成して表示部に表示させる表示制御装置である。また、画像表示装置１０１は、撮像した画像中のオブジェクトの属性情報と該撮像した画像上のオブジェクトとを関連付けて表示部に合成して表示させる。したがって、画像表示装置１０１の表示画面に重畳して例えば端末装置（無線タグ）の所有者に関する情報を表示することができるので、ユーザは容易に撮像画像のオブジェクトに関する情報を取得することが可能となる。また、撮像画像中のオブジェクトに関連付けて情報を表示するので、どのオブジェクトがどのような情報を発しているかを容易に識別することが可能となる。
【００１４】
１０２は、情報管理サーバである。情報管理サーバ１０２はネットワーク１００を介して、画像表示装置１０１から端末装置（無線タグ）の識別情報を含んだ問い合わせを受信すると、保持する受信した識別情報に対応付けられた属性情報を画像表示装置１０１に送信する。また、情報管理サーバ１０２は、受信した識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報をデータベースにから取得し、画像表示装置１０１に送信する。なお、本実施例において、画像処理によるオブジェクト特定処理を行うためのリファレンス画像を特徴情報とする。なお、特徴情報としては、画像データに限られず、オブジェクト特定処理に用いるに任意の特徴情報であってよい。また、本実施例において無線タグ１０３の所有者である人物をオブジェクトとして検出するとする。また、情報管理サーバ１０２は画像表示装置によって実際に表示された属性情報と該属性情報に対応する識別子を関連付けてその表示回数を、画像表示装置とのメッセージの送受信に基づいて管理する。
【００１５】
１０３は、無線タグである。無線タグ１０３ａ〜ｃは、被写体（人、建物など）が保持しており、無線タグ１０３それぞれに別々の識別子が付与されている。無線タグ１０３ａ〜ｃは、定期的あるいは他端末の要求に応じて端末を一意に識別可能な識別子を識別情報として発信する端末装置である。無線タグ１０３ａ〜ｃは、既知の無線方式（無線ＬＡＮ、ミリ波、ＲＦＩＤなど）を用いて、画像表示装置１０１からの識別子の要求に応じて識別子を送信する。
【００１６】
続いて、画像表示装置１０１の構成を図２を用いて説明を行う。なお、画像表示装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。後述する各構成は、ＣＰＵが制御プログラムを実行し、各ハードウェアの制御または情報の演算や加工、を行うことで実現される。また、各構成もしくは一部をハードウェアで構成してよい。図２において、２００は、各モジュールを接続するバスである。２０１は、レンズ、撮像素子、Ａ／Ｄ変換により構成され、レンズを介して取得した被写体光を撮像し、撮像した被写体光を画像データとして生成する撮影部である。２０２は、液晶パネルなどのディスプレイに撮像画像や各種情報を表示させる表示制御を行う表示部である。２０３は、後述するＲＦ部２１２、ＴＣＰ／ＩＰ処理部２１１を制御することにより、通信可能な範囲に存在する無線タグ１０３の識別子を取得する識別子取得部である。２０４は、後述する送受信部２０６を制御することにより、識別子取得部２０３により取得した識別子をもとにして情報管理サーバ１０２に問い合わせを行い、識別子に関連付けられた特徴情報を情報管理サーバ１０２から取得する特徴情報取得部である。２０５は、識別子取得部２０３が取得した識別子をもとにして情報管理サーバ１０２に問い合わせを行い、識別子に関連付けられた属性情報をサーバ１１１から取得する。属性情報は、本実施例において無線タグの所有者に関する情報であり、たとえば、属性情報には無線タグの所有者のプロフィールや興味対象などが含まれる。なお、属性情報は対応するオブジェクトに関連した情報であれば良く、プロフィールや興味対象のみに限るものではない。
【００１７】
２０６は、情報管理サーバ１０２とのメッセージの送受信を行うための送受信部である。２０７は、画像データと該画像データ上の検出部２１０により検出されたオブジェクトの近傍に、対応する属性情報とオブジェクトとを関連付けて合成し、合成画像データを作成する合成部である。２０９は、取得した属性情報がユーザが所望とする情報かを判定し、複数の属性情報それぞれに表示すべきかの優劣を示す優先度を決定する決定部である。２１０は、特徴情報取得部２０４により得られた特徴情報をもとに撮影部２０１により撮像された画像データ上から、所定のオブジェクトを検出するためのハードウェア乃至はプログラムである。なお、本実施例においては、検出部２１０は公知の顔認識処理を行い、特徴情報取得部２０４が取得した特徴情報に対応するオブジェクトを撮像画像上から検出する。
【００１８】
２０８は、取得した各属性情報の決定部２０９により決定した優先度と検出部２１０が検出した撮像画像上の各オブジェクトの領域に応じて、各属性情報を表示させるか否かを判定する判定部である。また、判定部２０８は、検出部２１０が検出した画像中の各オブジェクトの領域に応じて、撮像画像中の属性情報を重畳して表示させない非表示領域を判定し、各属性情報の表示位置を決定する。２１１は、通信プロトコルの処理を行うＴＣＰ／ＩＰ処理部である。２１２は、所定の無線方式（例えば、無線ＬＡＮ、ミリ波、ＲＦＩＤなど）で無線タグ１０３との間で無線信号の送受信を行うためのアンテナや回路の制御を行うＲＦ部である。
【００１９】
続いて、情報管理サーバ１０２の機能構成を図３に示す。なお、情報管理サーバ１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。後述する各構成は、ＣＰＵが制御プログラムを実行し、各ハードウェアの制御または情報の演算や加工を行うことで実現される。また、各構成もしくは一部をハードウェアで構成してよい。図３において、３００は、各モジュールを接続するバスである。３０１は、無線タグ１０３夫々の識別子に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報を保持する特徴情報保持部である。３０２は、被写体に付与された無線タグ１０３夫々の識別子に対応付けられた属性情報を保持する属性情報保持部である。３０３は、画像表示装置１０１とのメッセージの送受信を行う送受信部である。送受信部３０３は、画像表示装置１０１からの装置の識別子を含んだ要求の受信に応じて、該識別子に対応する属性情報、特徴情報を含むメッセージを画像表示装置１０１に送信する。３０４は、通信プロトコル処理を行うＴＣＰ／ＩＰ処理部である。
【００２０】
次に、無線タグ１０３のモジュール構成を図４を用いて説明する。４０１は、所定の無線方法（無線ＬＡＮ、ミリ波、ＲＦＩＤなど）で画像表示装置１０１との間で無線信号の送受信を行うためのアンテナや回路の制御を行うＲＦ部である。４０２は、ＲＦ部４０１を制御することで、保持している識別子を定期的あるいは他装置からの要求に応じて送信する識別子情報発信部である。識別子は、たとえば、ＩＥＥＥ８０２．１１に則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与され、送信される。
【００２１】
続いて、以上の構成からなるシステムの動作を説明する。まず、画像表示装置１０１における画像表示時の処理を図５のフローチャートを用いて説明する。画像表示装置１０１は、画像表示処理を開始すると、識別子取得部２０３がＲＦ部２１２を通じて、通信可能な範囲に存在する装置（無線タグ１０３ａ〜ｃ）に対して、識別子要求メッセージ送信する。そして、それぞれの無線タグは該要求の応答として自身のタグＩＤ（識別子）を含んだメッセージを返信する。識別子取得部２０３は、応答を受信し、タグＩＤ取得する（ステップＳ５０１）。続いて、特徴情報取得部２０４は、取得したタグＩＤを含めて、情報管理サーバ１０２に特徴情報取得要求を送信する。特徴情報取得部２０４は、情報管理サーバ１０２からタグＩＤに対応する特徴情報を取得する。また、属性情報取得部２０５は、同様に情報管理サーバ１０２からタグＩＤに対応する属性情報を取得する（ステップＳ５０２）。
【００２２】
なお、本実施形態では、情報管理サーバ１０２から特徴情報および属性情報を取得したが、これに限らず、画像表示装置１０１内に保持しておいても良いし、以前に取得した情報を再利用しても良い。また、画像表示装置１０１の特徴情報取得部２０４および属性情報取得部２０５は、情報管理サーバ１０２を介さず無線タグ１０３から直接特徴情報および属性情報を取得しても良い。次に、検出部２１０は、撮影部２０１で撮影された画像から取得した特徴情報を用いて解析し、取得した識別子に対応するオブジェクト（被写体）の検出および識別を行う（ステップＳ５０３）。本実施形態では、画像表示装置１０１内で解析を行ったが、これに限らず、情報管理サーバ１０２をはじめとする外部装置に解析を依頼することでも実現できる。
【００２３】
決定部２０９は、取得した属性情報がユーザが所望とする情報かを判定し、複数の属性情報それぞれに表示すべきかの優劣を示す優先度を決定する（ステップＳ５０４）。なお、本実施例において、画像表示装置１０１は、ユーザ所望の情報の種別を設定すること出来る。情報の種別として、例えば、ファッションに関する情報を表示するモード、飲食物に関する情報を表示するモード、趣味に関する情報を表示するモード等あるとする。システムは複数の情報の種別の候補を予め用意しておき、ユーザはそれらの候補の情報の種別から自分が閲覧したい所望とする情報に関する種別を画像表示装置１０１が提供するＵＩから選択することができる。また、情報の種別は階層構造化していても良い。例えば、「飲食物に関する情報を表示するモード」を選択して、更に「ケーキに関する情報を表示するモード」、「寿司に関する情報を表示するモード」、「パスタに関する情報を表示するモード」等より具体的な情報の種別を具体化するように構成されていてよい。
【００２４】
ここで、ユーザの指定により画像表示装置１０１が、「飲食店」の「ケーキ」を探索するモードであるとする。図１２は、無線タグ１０３ａ〜１０３ｃが保持する属性情報の一例を示す図である。無線タグ１０３ａは、識別子に対応付けられた属性情報として、「飲食店」カテゴリに「鈴木ケーキ店：５０」（数字「５０」は他の画像表示装置により閲覧された数である）の情報を持つ。無線タグ１０３ｂは、「飲食店」カテゴリに「佐々木ケーキ：１５」の情報を持つ。無線タグ１０３ｃは、「飲食店」カテゴリに「ケーキ横山：９５」の情報を持つ。
【００２５】
決定部２０９は、取得した属性情報がユーザが所望とする情報かを判定するために、設定した情報の種別に対応する情報が属性情報に含まれているかの判定を行う。また、設定した情報の種別に対応する情報が属性情報に含まれているかの判定及び属性情報の内容に応じて、属性情報夫々に優先度を決定する。ここで、決定部２０９は、閲覧数が多い情報の種別に関連する情報をよりユーザに提示すべき有用な情報とし判断を行い、より優先度を高める。したがって、ここで無線タグ１０３ａ〜１０３ｃの識別子に対応する属性情報が図１２に示す属性情報であるとすると、全てにユーザ所望の「ケーキ」に関連する情報が存在する。続いて、決定部２０９はユーザが所望とする情報であると判定された属性情報の閲覧数を取得し、閲覧数が多い属性情報に決定部２０９は、ここでは、無線タグ１０３ｃ、無線タグ１０３ａ、無線タグ１０３ｂの順で優先度を割り振る。なお、ユーザ所望の情報を有していない属性情報の場合、ユーザ所望の情報を有している属性情報より優先度を下げる構成とする。
【００２６】
続いて、判定部２０８は、検出部２１０により検出されたオブジェクトの領域に基づいて、撮像画像中の属性情報を表示させない非表示領域を決定する（ステップＳ５０５）。ここで、判定部２０８は、撮像画像中の検出されたオブジェクトに対応する領域を非表示領域として初期設定する。判定部２０８は、画像の全体の領域から検出部２１０により検出されたオブジェクトの領域の和を引いた面積を計算し、該面積を検出した被写体数で割り、１つの被写体に対する属性情報の表示領域（非表示領域でない属性情報を表示できる領域）の面積を計算する。続いて、判定部２０８は、優先度及び検出された被写体の領域に応じて表示する属性情報を判定する（ステップＳ５０６）。ここで、判定部２０８は、次式により表示する属性情報の数である属性情報表示数（ｎ）を決定する。
【００２７】
【数１】
【００２８】
ここで、ａは画像全体の領域の面積、ｉは各属性情報の優先度の順位、ｂｉは各属性情報に対応する被写体の領域の面積、ｎは属性情報表示数、ｘは１つあたりの属性情報を表示するのに必要な領域である一定値とする。判定部２０８は（１）式に示される数式を満たす最大のｎを求めることにより表示する属性情報の数を判定する。例えば、１つの被写体に対する表示領域が属性情報を表示可能な一定値ｘ以上である場合、検出部２１０により検出された全ての被写体に対応する属性情報を表示すると判定する。また、１つの被写体に対する表示領域が一定値ｘ以下である場合、１つの被写体に対する表示領域が一定値以上になる被写体数を計算し、属性情報表示数（ｎ）とする。つまり、判定部２０８は、全ての属性情報を表示できないと判断した場合、優先度が高い属性情報を優先的に表示させるため優先度が低い属性情報を表示しないと判定する。また、判定部２０８は、表示させない属性情報に対応する被写体の画像中の領域を、属性情報を表示可能な表示領域とすることを判定する。以上の処理によって、判定部２０８は、属性情報表示数を決定する（ステップＳ５０６）。たとえば、画像の全体の領域が１００、検出された被写体の領域の和が４９、一定値ｘが２５であるとすると、最大の属性情報表示数は２である。このように、属性情報表示数を決定できる。
【００２９】
続いて、判定部２０８は、表示する属性情報に対応する被写体の領域を非表示領域と再設定を行う（ステップＳ５０７）。換言すると、判定部２０８は、Ｓ５０５により設定した非表示領域から表示しない属性情報に対応する被写体の領域を表示領域とするよう設定を変更する。画像表示装置１０１は、優先度の順番を示す処理用変数ａを定義し、その初期値をａ＝１と設定する（ステップＳ５０７）。画像表示装置１０１は、ｎ ≧ ａの真偽の判定により表示すべき全ての属性情報の表示が終了したかを判定する（ステップＳ５０９）。画像表示装置１０１は、ｎ ≧ ａが真であると判断すると、ステップＳ５１０に進む。画像表示装置１０１は、ｎ ≧ ａが偽であると判断すると、処理を終了する。
【００３０】
判定部２０８は、優先度ａ番目の属性情報を表示する領域を決定する（ステップＳ５１０）。ここで、属性情報を表示する領域としては、該属性情報に対応する被写体の画像中の領域の近傍（被写体の領域から所定の距離以内）の表示領域内にすることが好ましい。合成部２０７は、決定された領域に属性情報を合成して、表示させる（ステップＳ５１１）。
【００３１】
判定部２０８は、ステップＳ５１１により表示された属性情報を表示する撮像画像中の領域を非表示領域に追加する。（ステップＳ５１１）。画像表示装置１０１は、ａ ＝ ａ ＋ １の処理を行い、処理対象とする属性情報の優先度の順番を一つ繰り下げる（ステップＳ５１３）。画像表示装置１０１は、表示すべき全ての属性情報の表示が完了するまでＳ５０９〜Ｓ５１３の処理を繰り返す。
【００３２】
続いて、画像表示装置１０１においてユーザ指示に基づいて設定した情報の種別を変更時の処理を図６に示すフローチャートを用いて説明を行う。画像表示装置１０１は、モードの変更を検出する（ステップＳ６０１）。たとえば、ユーザまたはシステムが、お勧めの飲食店を優先的に表示するモードを、好きな音楽を優先的に表示するモードに変更する。その他のモードとしては、人物の属性情報を優先的に閲覧する人物モードや建物の属性情報を優先的に閲覧する建物モードがある。これらを実行することで、ユーザ所望の情報を他の被写体やユーザ所望でない他の情報に邪魔されることなく属性情報を表示することができる。
【００３３】
画像表示装置１０１は、モードが変更されたかの判断を行う（ステップＳ６０２）。決定部２０９が、以前に設定されたモードと同じであり、モードが変更されていないと判断すると、処理を終了する。決定部２０９が、以前に設定されたモードとは異なるモードに変更されたと判断すると、ステップＳ６０３に進む。画像表示装置１０１は、画像の表示を再実行する。図５に示した画像表示処理を実行する。再実行する前に、合成部２０７は表示している属性情報を消去を行う。なお、Ｓ５０１〜Ｓ５０３の処理は、既に実行されているので処理を省略しても構わない。
【００３４】
続いて、図７は、画像表示装置１０１、情報管理サーバ１０２、無線タグ１０３ａ〜ｃのシーケンスを示す図である。画像表示装置１０１の撮影部２０１は、画像を撮影する（Ｍ７０１）。画像表示装置１０１のＲＦ部２１２は、無線タグ１０３のセンシングを行う（Ｍ７０２）。画像表示装置１０１の識別子取得部２０３は、無線タグ１０３ａ〜無線タグ１０３ｃからそれぞれのタグＩＤ（識別子）の取得要求を行う（Ｍ７０３〜Ｍ７０５）。画像表示装置１０１の識別子取得部２０３は、無線タグ１０３ａ〜無線タグ１０３ｃからそれぞれのタグＩＤ（識別子）を受信する（Ｍ７０６〜Ｍ７０８）（図５のＳ５０１）。
【００３５】
画像表示装置１０１の特徴情報取得部２０４は、情報管理サーバ１０２に無線タグ１０３ａ〜１０３ｃのタグＩＤ（識別子）を鍵として、それぞれの識別子に対応する特徴情報を要求する。画像表示装置１０１の属性情報取得部２０５は、情報管理サーバ１０２に無線タグ１０３ａ〜１０３ｃのタグＩＤ（識別子）を鍵として、それぞれの識別子に対応する属性情報を要求する（Ｍ７０９）（図５のＳ５０２）。本実施例では、要求のメッセージを一つにまとめたが、これに限らず、特徴情報と属性情報をそれぞれ別個に送信してもよいし、タグＩＤ（識別子）毎に送信してもよい。また、本実施例では特徴情報と属性情報を保持する情報管理サーバは一つであったが、これに限らず、別々のサーバで管理してもよいし、タグＩＤ（識別子）の値によって異なる情報管理サーバに接続してもよい。情報管理サーバ１０２の送受信部３０３は、画像表示装置１０１から特徴情報の要求および属性情報の要求を受信する。特徴情報保持部３０１は、受信したそれぞれのタグＩＤ（識別子）を鍵として、それぞれの関連付けられた特徴情報を検索し、画像表示装置１０１に送信する。特徴情報保持部３０１は、それぞれのタグＩＤ（識別子）を鍵として、それぞれのタグＩＤ（識別子）関連付けられた属性情報を検索し、画像表示装置１０１に送信する（Ｍ７１０）。本実施例では、特徴情報と属性情報をまとめて送信したが、別々に送信してもよい。
【００３６】
画像表示装置１０１の検出部２１０は、情報管理サーバから取得した特徴情報に基づいて、撮像画像からオブジェクトの特定を行う（Ｍ７１１）（図５のＳ５０３）。オブジェクトの特定が出来なかった場合、関連する属性情報は表示せず、属性情報表示数には含めない。画像表示装置１０１の決定部２０９は、特定されたオブジェクトの属性情報の内容と設定されている情報の種別から優先度を決定する（Ｍ７１２、Ｓ５０４）。画像表示装置１０１の判定部２０８は、属性情報表示数を決定する（Ｍ７１３、Ｓ５０６）。画像表示装置１０１の判定部２０８は、優先度の高い被写体の領域から、ステップＳ５０６で決定された属性情報表示数分だけを非表示領域とする（Ｍ７１４、Ｓ５０７）。画像表示装置１０１の合成部２０７は、属性情報を撮影した画像と合成する（Ｓ５０８〜Ｓ５１３）。画像表示装置１０１の表示部２０２は、合成された画像をディスプレイに表示させる（Ｍ７１５）。
【００３７】
続いて、属性情報を表示部に表示するための動作を説明するための一例を図８に示す。図８（ａ）は、撮影部２０１が取得した属性情報を合成する前の撮像画像である。ＲＦ部２１２および識別子取得部２０３が、撮像画像中の被写体が有する無線タグ１０３ａ〜ｃを認識する（Ｓ５０１）。なお、無線タグを図示したが、無線タグは撮像画像中に写る必要は無い。図８（ｂ）は、検出部２１０がタグＩＤ（識別子）に関連した特徴情報を用いて画像認識を行い、被写体を検出した様子である。８０１が検出されたオブジェクトの画像中の領域である。図８（ｃ）は、判定部２０８が認識された被写体の領域を非表示領域として設定した様子である。８０２は非表示領域である。図８（ｄ）は、各被写体の属性情報を表示領域に表示した様子である。８０３は撮像画像に合成されて表示される属性情報である。図８の例では、表示領域が検出されたオブジェクトに対応する属性情報全て表示可能であるため、オブジェクトに対応する属性情報全ての属性情報を表示する。なお、図８において被写体を検出した領域や非表示領域を説明するために領域を図示したが、実際の表示部に図示して表示されるものではない。
【００３８】
続いて、属性情報を表示部に表示するための動作を説明するための他の一例を図１４に示す。図１４は、図８に示した無線タグ１０３ａ〜ｃに関連付けられたオブジェクトである人物を含んで構図を変更した際の例である。図１４（ａ）は、撮影部２０１が取得した属性情報を合成する前の撮像画像である。ＲＦ部２１２および識別子取得部２０３が、撮像画像中の被写体が有する無線タグ１０３ａ〜ｃを認識する（Ｓ５０１）。図１４（ｂ）は、検出部２１０がタグＩＤ（識別子）に関連した特徴情報を用いて画像認識を行い、被写体を検出した様子である（Ｓ５０３）。１４０１は、検出されたオブジェクトの画像中の領域である。なお、図１４（ｂ）において、撮像画像の全領域と検出されたオブジェクトに対応する撮像画像中の領域の総和と差分が、無線タグ１０３ａ〜ｃ全ての属性情報を表示するのに十分ではないと判定される。そして、属性情報表示数ｎは検出したオブジェクト数を下回らなければならないと決定される。ここでは、属性情報表示数が２に決定されたとする（Ｓ５０５）。判定部２０８は、設定した情報の種別に応じた優先度に応じて、表示する属性情報を判定する（Ｓ５０６）。この例では、無線タグ１０３ｂに関連付けられた属性情報が検出された識別子に対応するオブジェクトの属性情報のうち最も優先度が低いものとする。
【００３９】
図１４（ｃ）は、属性情報表示数（ｎ）に応じて、非表示領域の再設定を行った際の様子である。１４０２は、非表示領域であり、優先度が高い属性情報に対応するオブジェクトの領域が非表示老域に設定される（Ｓ５０７）。ここでは、無線タグ１０３ａと無線タグ１０３ｃに対応するオブジェクトの領域が非表示領域に設定される。一方、優先度が最も低い無線タグ１０３ｂに対応するオブジェクトの領域１４０３は表示領域として設定される。図１４（ｄ）は、表示すると判定された属性情報のみ表示領域に表示した様子である。１４０４は、無線タグ１０３ａに関連付けられた属性情報であり、対応するオブジェクトと関連付けて表示される。また、撮像画像に合成されて表示される属性情報である。１４０５は、無線タグ１０３ｃに関連付けられた属性情報であり、対応するオブジェクトと関連付けて表示される。属性情報１４０４と属性情報１４０５は、撮像画像中の表示しない属性情報と判定された無線タグ１０３ｂのオブジェクトの領域１４０３に表示される。なお、図１４において被写体を検出した領域や非表示領域を説明するために領域を図示したが、実際の表示部に図示して表示されるものではない。
【００４０】
図１４（ｄ）と図８（ｄ）とを比較すると、撮像画像中に同一のオブジェクトとが存在するが検出されたオブジェクトの撮像画像中の領域に応じて、無線タグ１０３ｂの属性情報が表示されてなくなっていることが分かる。即ち、撮像画像中の検出されたオブジェクトの領域以外の領域が、検出されたオブジェクト全ての属性情報を表示可能な分存在するか否かで表示する属性情報が変わる。撮像画像中の検出された識別子に対応するオブジェクトの領域以外の領域が、検出されたオブジェクト全ての属性情報が表示可能な分存在しない場合は、検出されたオブジェクトに対応する属性情報の内容に応じて設定された優先度が高い属性情報を優先して表示し、優先度が低い属性情報は表示されない。また、撮像画像中の優先度が低い属性情報に対応するオブジェクトの領域に優先度が高い属性情報が表示される。
【００４１】
続いて、図９は、検出されたオブジェクトに対応する全ての属性情報を表示できない際の様子を示した図である。図９（ａ）は、検出部２１０がタグＩＤ（識別子）に関連した特徴情報を用いて画像認識を行い、１０個の被写体を検出した場合の例である。９０１は、検出されたオブジェクトの画像中の領域を非表示領域とした際の領域である。図９（ｂ）は、各被写体に対応する属性情報の優先度を決定された様子を示した図である。９０２は検出された全オブジェクトにおける優先度の順位を示す。図９（ｃ）は、属性情報表示数が３であると決まった時の図である。属性情報表示数が３であるため、優先度１〜３の被写体に対応する領域のみ非表示領域とし、他の優先度４〜１０の被写体の領域を表示領域に設定する。図９（ｄ）は、被写体の属性情報を表示領域に表示した様子である。９０３〜９０５は、撮像画像に合成されて表示される属性情報である。図９（ａ）において、非表示領域９０１に設定されていた領域に属性情報９０３が表示されている。図９（ｄ）に示した位置に属性情報が結果として画像表示装置１０１の表示部２０２に表示される。なお、図９において被写体を検出した領域や非表示領域を説明するために領域を図示したが、実際の表示部に図示して表示されるものではない。
【００４２】
図１３は、図９に示した画像表示装置１０１の表示画面からユーザが情報の種別の変更を行った際の動作を説明する例である。図１３（ａ）は、検出部２１０がタグＩＤ（識別子）に関連した特徴情報を用いて画像認識を行い、１０個の被写体を検出した場合の例であり、図９（ａ）と同様である。図１３（ｂ）は、ユーザが情報の種別の変更を行った際に変更された各被写体に対応する属性情報の優先度が決定された様子を示した図である。図９（ｂ）と図１３（ｂ）を比較すると、ユーザによる情報の種別の設定の変更により、各オブジェクトに対応する属性情報の優先度の順位が変更していることが分かる。１３０２は変更された、検出された全オブジェクトの優先度の順位を示す。図１３（ｃ）は、属性情報表示数が３であると決まった時の図である。属性情報表示数が３であるため、優先度１〜３の被写体に対応する領域のみ非表示領域とし、他の優先度４〜１０の被写体の領域を表示領域に設定する。図１３（ｃ）と図９（ｃ）を比べると、図９（ｄ）は、情報の種別の設定の変更により、被写体の属性情報を表示領域に表示した様子である。９０３は、撮像画像に合成されて表示される属性情報である。図９（ａ）において、非表示領域９０１に設定されていた領域に属性情報９０３が表示されている。なお、図１３において被写体を検出した領域や非表示領域を説明するために領域を図示したが、実際の表示部に図示して表示されるものではない。
【００４３】
以上説明したように、画像中に属性情報を関連付けて表示するべきオブジェクトの数が多すぎて、全ての属性情報をオブジェクトに重ならないように表示できない場合は、ユーザの所望の情報を優先的に表示させることができる。これにより、ユーザは所望の情報と該情報を発信しているオブジェクトを関連付けて閲覧することができる。また、属性情報を表示する領域と属性情報を表示するオブジェクトの領域を非表示領域とすることで、他の属性情報の表示によりオブジェクトが隠れてしまうことが低減される。また、表示する情報同士が重ならないようにすることが出来る。また、ユーザが設定した情報の種別により優先度を設定するので、ユーザの所望の情報を優先的に表示することができる。
【００４４】
なお、本実施例において、属性情報を表示する領域を非表示領域にしたが、この時、表示する属性情報の表示枠（属性情報が記述されていない部分）を必要に応じて他の属性情報を表示可能な領域である準表示領域にとする構成としても良い。たとえば、図１０の１００１に示すように属性情報の表示領域同士が重なっていてもよい。この時の重なりの前後は、前記優先度に応じて決定される。また、距離などほかの指標に従って決定してもよい。また、検出された被写体の近傍などを準表示領域として設定してもよい。
【００４５】
また、ステップＳ５０２において、特徴情報と属性情報を同時に取得していた。これに限らず、画像表示装置１０１が特徴情報を先に取得した後、検出部２１０により検出出来たオブジェクトに対応する識別子の属性情報を取得する構成としてもよい。また、本実施例では、属性情報に含まれた閲覧数に基づいて優先度を決定したが、これに限らず、情報管理サーバ１０２が画像表示装置１０１と無線タグ１０３の関係（表示の拒否や表示の優先などの関係）を判断し決定してもよい。また、属性情報と選択した情報の種別の関連に基づいて、優先度を決定していたが、情報の種別を選択するのではなくユーザ入力によるキーワードと属性情報の関連により優先度を決定して構わない。また、本実施例において、システムが予め情報の種別の候補をユーザに提示するが、提示する情報の種別の候補を画像表示装置と通信可能な範囲に存在する無線タグの識別子と関連付けられた属性情報に応じて、可変とする構成としても良い例えば、通信可能な範囲に存在する無線タグの識別子と関連付けられた属性情報が有している情報の種別を選択する候補としてユーザに提示して、選択させる構成としてもよい。
【００４６】
また、本実施例では、設定した情報の種別に関連する情報を有さない属性情報にも優先度を割り当てる構成としたが、情報の種別に関連する情報を有さない属性情報には優先度を割り当てない構成としても良い。例えば、画像表示装置１０１の設定する情報の種別が、「ファッション」を探索するモードであるとする。図１２において、無線タグ１０３ｃのみが「ファッション」に関する情報を持つため、無線タグ１０３ｃに対応する属性情報のみ優先度が割り当てられる。したがって、無線タグ１０３ｃに対応する属性情報のみ表示されることとなる。このように、ユーザが所望とする情報のみ撮像画像に重畳して表示されるので、不必要な情報により情報の視認性が損なわれることが低減されるので、ユーザビリティが向上する。
【００４７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４８】
１０１ 画像表示装置
１０２ 情報管理サーバ
１０３ 無線タグ
【技術分野】
【０００１】
本発明は、撮像画像中のオブジェクトの情報を表示させる表示制御装置に関する。
【背景技術】
【０００２】
近年、カメラ等で撮影した撮像画像に、撮像画像中の物体の属性情報を、付加、合成して表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術がある。例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による位置情報に基づいて、撮像画像中の物体の属性情報を合成して、表示する技術がある。
【０００３】
また、被写体人物が有する携帯端末から取得した識別に用いる特徴情報に基づいて、撮影画像中の被写体人物を特定し、特定した人物の属性情報をサーバから取得して、撮像画像中の特定した被写体の近傍に情報を表示する技術が提案されている（特許文献１）。
【０００４】
また、画像中の各被写体のカメラまでの距離情報に応じて、各被写体に対応付けて表示するグラフィック情報の表示に視覚的な優劣関係を付ける技術がある。特許文献２では、例えば、ある人物に対応づけて表示するグラフィック情報を、他の人物が前方にいる場合は、当該他の人物に重ならないように表示する。一方、ある人物に対応づけて表示するグラフィック情報を、他の人物が後方にいる場合は、当該他の人物及び当該他の人物に対応付けて表示するグラフィック情報に重なるように表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３０５７１７
【特許文献２】特開２００９−２３０４３１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような拡張現実システムにおいて被写体の近傍に被写体に関連した属性情報を被写体と対応づけて表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合でも、被写体に関連するそれぞれの属性情報が、どの被写体の情報であるのかユーザがわかるような形で表示することが望ましい。したがって、画像中の属性情報の表示位置の制御を行う必要がある。図１１に属性情報の表示で他の被写体を隠してしまう例を示す。図１１に示すように属性情報の表示位置を考慮しないと属性情報を表示している被写体を識別できなくなってしまう可能性がある。
【０００７】
また、画像中に属性情報を表示すべき被写体がたくさん存在する場合などは、属性情報の表示位置を他の被写体の顔領域を避けて表示したとしても、限られた撮像画像上に全ての属性情報を表示することができなくなることも考えられる。したがって、属性情報と被写体を対応づけて表示するための十分な領域があるかを鑑みて、ユーザにとって有益な属性情報を優先的に表示する表示制御が望まれる。
【０００８】
上述した従来技術の特許文献１は、属性情報の表示位置や表示する情報を選択することに関しては考慮していない。また、特許文献２では、画像中の各被写体のカメラまでの距離情報に応じて、優劣関係を決定しているが、画像中に属性情報を表示すべき被写体がたくさん存在する場合や情報の内容に応じた表示の優劣に関しては考慮していない。
【０００９】
本発明は、上述の課題に鑑みて、なされた発明であり、撮像画像中の検出されたオブジェクトの領域と該オブジェクトに関連する情報の内容に応じて、撮像画像中に表示する情報を制御することを目的とする。
【課題を解決するための手段】
【００１０】
上述の課題を解決するための手段として、撮像画像を表示させる表示制御装置であって、他の装置の識別子を取得する識別子取得手段と、前記識別子と関連付けられた情報をから取得する情報取得手段と、前記識別子取得手段が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段と、前記検出手段が検出したオブジェクトに対応する前記情報取得手段が取得した情報と前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、表示する前記情報を選択する選択手段とを有することを特徴とする表示制御装置を提供することを目的とする。
【発明の効果】
【００１１】
本発明によれば、情報と撮像画像上のオブジェクト領域に応じて、情報を選択して表示できる。したがって、例えば、全ての属性情報と対応するオブジェクトとを関連付けて表示できない場合は、ユーザが所望とすると考えられる情報と該情報に対応するオブジェクトを優先的に表示させることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施例に係るシステム構成図である。
【図２】画像表示装置１０１のモジュール構成図である。
【図３】情報管理サーバ１０２のモジュール構成図である。
【図４】無線タグ１０３ａ〜ｃのモジュール構成図である。
【図５】画像表示処理を示すフローチャートである。
【図６】情報の種別の変更時の処理を示すフローチャートである。
【図７】画像表示装置１０１、情報管理サーバ１０２、無線タグ１０３ａ〜ｃのシーケンスを示す図である。
【図８】画像表示装置１０１が属性情報を表示する際の様子を示した図である。
【図９】画像表示装置１０１が全ての属性情報を表示できない際の様子の一例を示した図である。
【図１０】属性表示装置１０１が属性情報同士が重なる場合の例を示した図である。
【図１１】表示する属性情報で他の表示する属性情報に対応するオブジェクトを隠した際の表示の様子を示した図である。
【図１２】無線タグ１０３ａ〜１０３ｃが保持する属性情報の一例である。
【図１３】画像表示装置１０１が属性情報を表示する際の様子の他の一例を示した図である。
【図１４】情報の種別の変更時の属性情報を表示する際の様子の一例を示した図である。
【発明を実施するための形態】
【００１３】
［実施例１］
以下、本実施例について、図面を参照して詳細に説明する。図１は、本実施例に係るシステム構成を示した図である。１００は、ネットワークである。本実施例におけるネットワーク１００は、インターネット、ＷＡＮ （Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ （Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）など各種ネットワーク及びそれらの複合であってよい。１０１は、画像表示装置である。画像表示装置１０１は、他の端末装置（無線タグ）から受信した該端末装置を一意に識別可能な識別子に関連付けられた属性情報を情報管理サーバ１０２から取得し、取得した属性情報と撮像画像とを合成して表示部に表示させる表示制御装置である。また、画像表示装置１０１は、撮像した画像中のオブジェクトの属性情報と該撮像した画像上のオブジェクトとを関連付けて表示部に合成して表示させる。したがって、画像表示装置１０１の表示画面に重畳して例えば端末装置（無線タグ）の所有者に関する情報を表示することができるので、ユーザは容易に撮像画像のオブジェクトに関する情報を取得することが可能となる。また、撮像画像中のオブジェクトに関連付けて情報を表示するので、どのオブジェクトがどのような情報を発しているかを容易に識別することが可能となる。
【００１４】
１０２は、情報管理サーバである。情報管理サーバ１０２はネットワーク１００を介して、画像表示装置１０１から端末装置（無線タグ）の識別情報を含んだ問い合わせを受信すると、保持する受信した識別情報に対応付けられた属性情報を画像表示装置１０１に送信する。また、情報管理サーバ１０２は、受信した識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報をデータベースにから取得し、画像表示装置１０１に送信する。なお、本実施例において、画像処理によるオブジェクト特定処理を行うためのリファレンス画像を特徴情報とする。なお、特徴情報としては、画像データに限られず、オブジェクト特定処理に用いるに任意の特徴情報であってよい。また、本実施例において無線タグ１０３の所有者である人物をオブジェクトとして検出するとする。また、情報管理サーバ１０２は画像表示装置によって実際に表示された属性情報と該属性情報に対応する識別子を関連付けてその表示回数を、画像表示装置とのメッセージの送受信に基づいて管理する。
【００１５】
１０３は、無線タグである。無線タグ１０３ａ〜ｃは、被写体（人、建物など）が保持しており、無線タグ１０３それぞれに別々の識別子が付与されている。無線タグ１０３ａ〜ｃは、定期的あるいは他端末の要求に応じて端末を一意に識別可能な識別子を識別情報として発信する端末装置である。無線タグ１０３ａ〜ｃは、既知の無線方式（無線ＬＡＮ、ミリ波、ＲＦＩＤなど）を用いて、画像表示装置１０１からの識別子の要求に応じて識別子を送信する。
【００１６】
続いて、画像表示装置１０１の構成を図２を用いて説明を行う。なお、画像表示装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。後述する各構成は、ＣＰＵが制御プログラムを実行し、各ハードウェアの制御または情報の演算や加工、を行うことで実現される。また、各構成もしくは一部をハードウェアで構成してよい。図２において、２００は、各モジュールを接続するバスである。２０１は、レンズ、撮像素子、Ａ／Ｄ変換により構成され、レンズを介して取得した被写体光を撮像し、撮像した被写体光を画像データとして生成する撮影部である。２０２は、液晶パネルなどのディスプレイに撮像画像や各種情報を表示させる表示制御を行う表示部である。２０３は、後述するＲＦ部２１２、ＴＣＰ／ＩＰ処理部２１１を制御することにより、通信可能な範囲に存在する無線タグ１０３の識別子を取得する識別子取得部である。２０４は、後述する送受信部２０６を制御することにより、識別子取得部２０３により取得した識別子をもとにして情報管理サーバ１０２に問い合わせを行い、識別子に関連付けられた特徴情報を情報管理サーバ１０２から取得する特徴情報取得部である。２０５は、識別子取得部２０３が取得した識別子をもとにして情報管理サーバ１０２に問い合わせを行い、識別子に関連付けられた属性情報をサーバ１１１から取得する。属性情報は、本実施例において無線タグの所有者に関する情報であり、たとえば、属性情報には無線タグの所有者のプロフィールや興味対象などが含まれる。なお、属性情報は対応するオブジェクトに関連した情報であれば良く、プロフィールや興味対象のみに限るものではない。
【００１７】
２０６は、情報管理サーバ１０２とのメッセージの送受信を行うための送受信部である。２０７は、画像データと該画像データ上の検出部２１０により検出されたオブジェクトの近傍に、対応する属性情報とオブジェクトとを関連付けて合成し、合成画像データを作成する合成部である。２０９は、取得した属性情報がユーザが所望とする情報かを判定し、複数の属性情報それぞれに表示すべきかの優劣を示す優先度を決定する決定部である。２１０は、特徴情報取得部２０４により得られた特徴情報をもとに撮影部２０１により撮像された画像データ上から、所定のオブジェクトを検出するためのハードウェア乃至はプログラムである。なお、本実施例においては、検出部２１０は公知の顔認識処理を行い、特徴情報取得部２０４が取得した特徴情報に対応するオブジェクトを撮像画像上から検出する。
【００１８】
２０８は、取得した各属性情報の決定部２０９により決定した優先度と検出部２１０が検出した撮像画像上の各オブジェクトの領域に応じて、各属性情報を表示させるか否かを判定する判定部である。また、判定部２０８は、検出部２１０が検出した画像中の各オブジェクトの領域に応じて、撮像画像中の属性情報を重畳して表示させない非表示領域を判定し、各属性情報の表示位置を決定する。２１１は、通信プロトコルの処理を行うＴＣＰ／ＩＰ処理部である。２１２は、所定の無線方式（例えば、無線ＬＡＮ、ミリ波、ＲＦＩＤなど）で無線タグ１０３との間で無線信号の送受信を行うためのアンテナや回路の制御を行うＲＦ部である。
【００１９】
続いて、情報管理サーバ１０２の機能構成を図３に示す。なお、情報管理サーバ１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。後述する各構成は、ＣＰＵが制御プログラムを実行し、各ハードウェアの制御または情報の演算や加工を行うことで実現される。また、各構成もしくは一部をハードウェアで構成してよい。図３において、３００は、各モジュールを接続するバスである。３０１は、無線タグ１０３夫々の識別子に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報を保持する特徴情報保持部である。３０２は、被写体に付与された無線タグ１０３夫々の識別子に対応付けられた属性情報を保持する属性情報保持部である。３０３は、画像表示装置１０１とのメッセージの送受信を行う送受信部である。送受信部３０３は、画像表示装置１０１からの装置の識別子を含んだ要求の受信に応じて、該識別子に対応する属性情報、特徴情報を含むメッセージを画像表示装置１０１に送信する。３０４は、通信プロトコル処理を行うＴＣＰ／ＩＰ処理部である。
【００２０】
次に、無線タグ１０３のモジュール構成を図４を用いて説明する。４０１は、所定の無線方法（無線ＬＡＮ、ミリ波、ＲＦＩＤなど）で画像表示装置１０１との間で無線信号の送受信を行うためのアンテナや回路の制御を行うＲＦ部である。４０２は、ＲＦ部４０１を制御することで、保持している識別子を定期的あるいは他装置からの要求に応じて送信する識別子情報発信部である。識別子は、たとえば、ＩＥＥＥ８０２．１１に則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与され、送信される。
【００２１】
続いて、以上の構成からなるシステムの動作を説明する。まず、画像表示装置１０１における画像表示時の処理を図５のフローチャートを用いて説明する。画像表示装置１０１は、画像表示処理を開始すると、識別子取得部２０３がＲＦ部２１２を通じて、通信可能な範囲に存在する装置（無線タグ１０３ａ〜ｃ）に対して、識別子要求メッセージ送信する。そして、それぞれの無線タグは該要求の応答として自身のタグＩＤ（識別子）を含んだメッセージを返信する。識別子取得部２０３は、応答を受信し、タグＩＤ取得する（ステップＳ５０１）。続いて、特徴情報取得部２０４は、取得したタグＩＤを含めて、情報管理サーバ１０２に特徴情報取得要求を送信する。特徴情報取得部２０４は、情報管理サーバ１０２からタグＩＤに対応する特徴情報を取得する。また、属性情報取得部２０５は、同様に情報管理サーバ１０２からタグＩＤに対応する属性情報を取得する（ステップＳ５０２）。
【００２２】
なお、本実施形態では、情報管理サーバ１０２から特徴情報および属性情報を取得したが、これに限らず、画像表示装置１０１内に保持しておいても良いし、以前に取得した情報を再利用しても良い。また、画像表示装置１０１の特徴情報取得部２０４および属性情報取得部２０５は、情報管理サーバ１０２を介さず無線タグ１０３から直接特徴情報および属性情報を取得しても良い。次に、検出部２１０は、撮影部２０１で撮影された画像から取得した特徴情報を用いて解析し、取得した識別子に対応するオブジェクト（被写体）の検出および識別を行う（ステップＳ５０３）。本実施形態では、画像表示装置１０１内で解析を行ったが、これに限らず、情報管理サーバ１０２をはじめとする外部装置に解析を依頼することでも実現できる。
【００２３】
決定部２０９は、取得した属性情報がユーザが所望とする情報かを判定し、複数の属性情報それぞれに表示すべきかの優劣を示す優先度を決定する（ステップＳ５０４）。なお、本実施例において、画像表示装置１０１は、ユーザ所望の情報の種別を設定すること出来る。情報の種別として、例えば、ファッションに関する情報を表示するモード、飲食物に関する情報を表示するモード、趣味に関する情報を表示するモード等あるとする。システムは複数の情報の種別の候補を予め用意しておき、ユーザはそれらの候補の情報の種別から自分が閲覧したい所望とする情報に関する種別を画像表示装置１０１が提供するＵＩから選択することができる。また、情報の種別は階層構造化していても良い。例えば、「飲食物に関する情報を表示するモード」を選択して、更に「ケーキに関する情報を表示するモード」、「寿司に関する情報を表示するモード」、「パスタに関する情報を表示するモード」等より具体的な情報の種別を具体化するように構成されていてよい。
【００２４】
ここで、ユーザの指定により画像表示装置１０１が、「飲食店」の「ケーキ」を探索するモードであるとする。図１２は、無線タグ１０３ａ〜１０３ｃが保持する属性情報の一例を示す図である。無線タグ１０３ａは、識別子に対応付けられた属性情報として、「飲食店」カテゴリに「鈴木ケーキ店：５０」（数字「５０」は他の画像表示装置により閲覧された数である）の情報を持つ。無線タグ１０３ｂは、「飲食店」カテゴリに「佐々木ケーキ：１５」の情報を持つ。無線タグ１０３ｃは、「飲食店」カテゴリに「ケーキ横山：９５」の情報を持つ。
【００２５】
決定部２０９は、取得した属性情報がユーザが所望とする情報かを判定するために、設定した情報の種別に対応する情報が属性情報に含まれているかの判定を行う。また、設定した情報の種別に対応する情報が属性情報に含まれているかの判定及び属性情報の内容に応じて、属性情報夫々に優先度を決定する。ここで、決定部２０９は、閲覧数が多い情報の種別に関連する情報をよりユーザに提示すべき有用な情報とし判断を行い、より優先度を高める。したがって、ここで無線タグ１０３ａ〜１０３ｃの識別子に対応する属性情報が図１２に示す属性情報であるとすると、全てにユーザ所望の「ケーキ」に関連する情報が存在する。続いて、決定部２０９はユーザが所望とする情報であると判定された属性情報の閲覧数を取得し、閲覧数が多い属性情報に決定部２０９は、ここでは、無線タグ１０３ｃ、無線タグ１０３ａ、無線タグ１０３ｂの順で優先度を割り振る。なお、ユーザ所望の情報を有していない属性情報の場合、ユーザ所望の情報を有している属性情報より優先度を下げる構成とする。
【００２６】
続いて、判定部２０８は、検出部２１０により検出されたオブジェクトの領域に基づいて、撮像画像中の属性情報を表示させない非表示領域を決定する（ステップＳ５０５）。ここで、判定部２０８は、撮像画像中の検出されたオブジェクトに対応する領域を非表示領域として初期設定する。判定部２０８は、画像の全体の領域から検出部２１０により検出されたオブジェクトの領域の和を引いた面積を計算し、該面積を検出した被写体数で割り、１つの被写体に対する属性情報の表示領域（非表示領域でない属性情報を表示できる領域）の面積を計算する。続いて、判定部２０８は、優先度及び検出された被写体の領域に応じて表示する属性情報を判定する（ステップＳ５０６）。ここで、判定部２０８は、次式により表示する属性情報の数である属性情報表示数（ｎ）を決定する。
【００２７】
【数１】
【００２８】
ここで、ａは画像全体の領域の面積、ｉは各属性情報の優先度の順位、ｂｉは各属性情報に対応する被写体の領域の面積、ｎは属性情報表示数、ｘは１つあたりの属性情報を表示するのに必要な領域である一定値とする。判定部２０８は（１）式に示される数式を満たす最大のｎを求めることにより表示する属性情報の数を判定する。例えば、１つの被写体に対する表示領域が属性情報を表示可能な一定値ｘ以上である場合、検出部２１０により検出された全ての被写体に対応する属性情報を表示すると判定する。また、１つの被写体に対する表示領域が一定値ｘ以下である場合、１つの被写体に対する表示領域が一定値以上になる被写体数を計算し、属性情報表示数（ｎ）とする。つまり、判定部２０８は、全ての属性情報を表示できないと判断した場合、優先度が高い属性情報を優先的に表示させるため優先度が低い属性情報を表示しないと判定する。また、判定部２０８は、表示させない属性情報に対応する被写体の画像中の領域を、属性情報を表示可能な表示領域とすることを判定する。以上の処理によって、判定部２０８は、属性情報表示数を決定する（ステップＳ５０６）。たとえば、画像の全体の領域が１００、検出された被写体の領域の和が４９、一定値ｘが２５であるとすると、最大の属性情報表示数は２である。このように、属性情報表示数を決定できる。
【００２９】
続いて、判定部２０８は、表示する属性情報に対応する被写体の領域を非表示領域と再設定を行う（ステップＳ５０７）。換言すると、判定部２０８は、Ｓ５０５により設定した非表示領域から表示しない属性情報に対応する被写体の領域を表示領域とするよう設定を変更する。画像表示装置１０１は、優先度の順番を示す処理用変数ａを定義し、その初期値をａ＝１と設定する（ステップＳ５０７）。画像表示装置１０１は、ｎ ≧ ａの真偽の判定により表示すべき全ての属性情報の表示が終了したかを判定する（ステップＳ５０９）。画像表示装置１０１は、ｎ ≧ ａが真であると判断すると、ステップＳ５１０に進む。画像表示装置１０１は、ｎ ≧ ａが偽であると判断すると、処理を終了する。
【００３０】
判定部２０８は、優先度ａ番目の属性情報を表示する領域を決定する（ステップＳ５１０）。ここで、属性情報を表示する領域としては、該属性情報に対応する被写体の画像中の領域の近傍（被写体の領域から所定の距離以内）の表示領域内にすることが好ましい。合成部２０７は、決定された領域に属性情報を合成して、表示させる（ステップＳ５１１）。
【００３１】
判定部２０８は、ステップＳ５１１により表示された属性情報を表示する撮像画像中の領域を非表示領域に追加する。（ステップＳ５１１）。画像表示装置１０１は、ａ ＝ ａ ＋ １の処理を行い、処理対象とする属性情報の優先度の順番を一つ繰り下げる（ステップＳ５１３）。画像表示装置１０１は、表示すべき全ての属性情報の表示が完了するまでＳ５０９〜Ｓ５１３の処理を繰り返す。
【００３２】
続いて、画像表示装置１０１においてユーザ指示に基づいて設定した情報の種別を変更時の処理を図６に示すフローチャートを用いて説明を行う。画像表示装置１０１は、モードの変更を検出する（ステップＳ６０１）。たとえば、ユーザまたはシステムが、お勧めの飲食店を優先的に表示するモードを、好きな音楽を優先的に表示するモードに変更する。その他のモードとしては、人物の属性情報を優先的に閲覧する人物モードや建物の属性情報を優先的に閲覧する建物モードがある。これらを実行することで、ユーザ所望の情報を他の被写体やユーザ所望でない他の情報に邪魔されることなく属性情報を表示することができる。
【００３３】
画像表示装置１０１は、モードが変更されたかの判断を行う（ステップＳ６０２）。決定部２０９が、以前に設定されたモードと同じであり、モードが変更されていないと判断すると、処理を終了する。決定部２０９が、以前に設定されたモードとは異なるモードに変更されたと判断すると、ステップＳ６０３に進む。画像表示装置１０１は、画像の表示を再実行する。図５に示した画像表示処理を実行する。再実行する前に、合成部２０７は表示している属性情報を消去を行う。なお、Ｓ５０１〜Ｓ５０３の処理は、既に実行されているので処理を省略しても構わない。
【００３４】
続いて、図７は、画像表示装置１０１、情報管理サーバ１０２、無線タグ１０３ａ〜ｃのシーケンスを示す図である。画像表示装置１０１の撮影部２０１は、画像を撮影する（Ｍ７０１）。画像表示装置１０１のＲＦ部２１２は、無線タグ１０３のセンシングを行う（Ｍ７０２）。画像表示装置１０１の識別子取得部２０３は、無線タグ１０３ａ〜無線タグ１０３ｃからそれぞれのタグＩＤ（識別子）の取得要求を行う（Ｍ７０３〜Ｍ７０５）。画像表示装置１０１の識別子取得部２０３は、無線タグ１０３ａ〜無線タグ１０３ｃからそれぞれのタグＩＤ（識別子）を受信する（Ｍ７０６〜Ｍ７０８）（図５のＳ５０１）。
【００３５】
画像表示装置１０１の特徴情報取得部２０４は、情報管理サーバ１０２に無線タグ１０３ａ〜１０３ｃのタグＩＤ（識別子）を鍵として、それぞれの識別子に対応する特徴情報を要求する。画像表示装置１０１の属性情報取得部２０５は、情報管理サーバ１０２に無線タグ１０３ａ〜１０３ｃのタグＩＤ（識別子）を鍵として、それぞれの識別子に対応する属性情報を要求する（Ｍ７０９）（図５のＳ５０２）。本実施例では、要求のメッセージを一つにまとめたが、これに限らず、特徴情報と属性情報をそれぞれ別個に送信してもよいし、タグＩＤ（識別子）毎に送信してもよい。また、本実施例では特徴情報と属性情報を保持する情報管理サーバは一つであったが、これに限らず、別々のサーバで管理してもよいし、タグＩＤ（識別子）の値によって異なる情報管理サーバに接続してもよい。情報管理サーバ１０２の送受信部３０３は、画像表示装置１０１から特徴情報の要求および属性情報の要求を受信する。特徴情報保持部３０１は、受信したそれぞれのタグＩＤ（識別子）を鍵として、それぞれの関連付けられた特徴情報を検索し、画像表示装置１０１に送信する。特徴情報保持部３０１は、それぞれのタグＩＤ（識別子）を鍵として、それぞれのタグＩＤ（識別子）関連付けられた属性情報を検索し、画像表示装置１０１に送信する（Ｍ７１０）。本実施例では、特徴情報と属性情報をまとめて送信したが、別々に送信してもよい。
【００３６】
画像表示装置１０１の検出部２１０は、情報管理サーバから取得した特徴情報に基づいて、撮像画像からオブジェクトの特定を行う（Ｍ７１１）（図５のＳ５０３）。オブジェクトの特定が出来なかった場合、関連する属性情報は表示せず、属性情報表示数には含めない。画像表示装置１０１の決定部２０９は、特定されたオブジェクトの属性情報の内容と設定されている情報の種別から優先度を決定する（Ｍ７１２、Ｓ５０４）。画像表示装置１０１の判定部２０８は、属性情報表示数を決定する（Ｍ７１３、Ｓ５０６）。画像表示装置１０１の判定部２０８は、優先度の高い被写体の領域から、ステップＳ５０６で決定された属性情報表示数分だけを非表示領域とする（Ｍ７１４、Ｓ５０７）。画像表示装置１０１の合成部２０７は、属性情報を撮影した画像と合成する（Ｓ５０８〜Ｓ５１３）。画像表示装置１０１の表示部２０２は、合成された画像をディスプレイに表示させる（Ｍ７１５）。
【００３７】
続いて、属性情報を表示部に表示するための動作を説明するための一例を図８に示す。図８（ａ）は、撮影部２０１が取得した属性情報を合成する前の撮像画像である。ＲＦ部２１２および識別子取得部２０３が、撮像画像中の被写体が有する無線タグ１０３ａ〜ｃを認識する（Ｓ５０１）。なお、無線タグを図示したが、無線タグは撮像画像中に写る必要は無い。図８（ｂ）は、検出部２１０がタグＩＤ（識別子）に関連した特徴情報を用いて画像認識を行い、被写体を検出した様子である。８０１が検出されたオブジェクトの画像中の領域である。図８（ｃ）は、判定部２０８が認識された被写体の領域を非表示領域として設定した様子である。８０２は非表示領域である。図８（ｄ）は、各被写体の属性情報を表示領域に表示した様子である。８０３は撮像画像に合成されて表示される属性情報である。図８の例では、表示領域が検出されたオブジェクトに対応する属性情報全て表示可能であるため、オブジェクトに対応する属性情報全ての属性情報を表示する。なお、図８において被写体を検出した領域や非表示領域を説明するために領域を図示したが、実際の表示部に図示して表示されるものではない。
【００３８】
続いて、属性情報を表示部に表示するための動作を説明するための他の一例を図１４に示す。図１４は、図８に示した無線タグ１０３ａ〜ｃに関連付けられたオブジェクトである人物を含んで構図を変更した際の例である。図１４（ａ）は、撮影部２０１が取得した属性情報を合成する前の撮像画像である。ＲＦ部２１２および識別子取得部２０３が、撮像画像中の被写体が有する無線タグ１０３ａ〜ｃを認識する（Ｓ５０１）。図１４（ｂ）は、検出部２１０がタグＩＤ（識別子）に関連した特徴情報を用いて画像認識を行い、被写体を検出した様子である（Ｓ５０３）。１４０１は、検出されたオブジェクトの画像中の領域である。なお、図１４（ｂ）において、撮像画像の全領域と検出されたオブジェクトに対応する撮像画像中の領域の総和と差分が、無線タグ１０３ａ〜ｃ全ての属性情報を表示するのに十分ではないと判定される。そして、属性情報表示数ｎは検出したオブジェクト数を下回らなければならないと決定される。ここでは、属性情報表示数が２に決定されたとする（Ｓ５０５）。判定部２０８は、設定した情報の種別に応じた優先度に応じて、表示する属性情報を判定する（Ｓ５０６）。この例では、無線タグ１０３ｂに関連付けられた属性情報が検出された識別子に対応するオブジェクトの属性情報のうち最も優先度が低いものとする。
【００３９】
図１４（ｃ）は、属性情報表示数（ｎ）に応じて、非表示領域の再設定を行った際の様子である。１４０２は、非表示領域であり、優先度が高い属性情報に対応するオブジェクトの領域が非表示老域に設定される（Ｓ５０７）。ここでは、無線タグ１０３ａと無線タグ１０３ｃに対応するオブジェクトの領域が非表示領域に設定される。一方、優先度が最も低い無線タグ１０３ｂに対応するオブジェクトの領域１４０３は表示領域として設定される。図１４（ｄ）は、表示すると判定された属性情報のみ表示領域に表示した様子である。１４０４は、無線タグ１０３ａに関連付けられた属性情報であり、対応するオブジェクトと関連付けて表示される。また、撮像画像に合成されて表示される属性情報である。１４０５は、無線タグ１０３ｃに関連付けられた属性情報であり、対応するオブジェクトと関連付けて表示される。属性情報１４０４と属性情報１４０５は、撮像画像中の表示しない属性情報と判定された無線タグ１０３ｂのオブジェクトの領域１４０３に表示される。なお、図１４において被写体を検出した領域や非表示領域を説明するために領域を図示したが、実際の表示部に図示して表示されるものではない。
【００４０】
図１４（ｄ）と図８（ｄ）とを比較すると、撮像画像中に同一のオブジェクトとが存在するが検出されたオブジェクトの撮像画像中の領域に応じて、無線タグ１０３ｂの属性情報が表示されてなくなっていることが分かる。即ち、撮像画像中の検出されたオブジェクトの領域以外の領域が、検出されたオブジェクト全ての属性情報を表示可能な分存在するか否かで表示する属性情報が変わる。撮像画像中の検出された識別子に対応するオブジェクトの領域以外の領域が、検出されたオブジェクト全ての属性情報が表示可能な分存在しない場合は、検出されたオブジェクトに対応する属性情報の内容に応じて設定された優先度が高い属性情報を優先して表示し、優先度が低い属性情報は表示されない。また、撮像画像中の優先度が低い属性情報に対応するオブジェクトの領域に優先度が高い属性情報が表示される。
【００４１】
続いて、図９は、検出されたオブジェクトに対応する全ての属性情報を表示できない際の様子を示した図である。図９（ａ）は、検出部２１０がタグＩＤ（識別子）に関連した特徴情報を用いて画像認識を行い、１０個の被写体を検出した場合の例である。９０１は、検出されたオブジェクトの画像中の領域を非表示領域とした際の領域である。図９（ｂ）は、各被写体に対応する属性情報の優先度を決定された様子を示した図である。９０２は検出された全オブジェクトにおける優先度の順位を示す。図９（ｃ）は、属性情報表示数が３であると決まった時の図である。属性情報表示数が３であるため、優先度１〜３の被写体に対応する領域のみ非表示領域とし、他の優先度４〜１０の被写体の領域を表示領域に設定する。図９（ｄ）は、被写体の属性情報を表示領域に表示した様子である。９０３〜９０５は、撮像画像に合成されて表示される属性情報である。図９（ａ）において、非表示領域９０１に設定されていた領域に属性情報９０３が表示されている。図９（ｄ）に示した位置に属性情報が結果として画像表示装置１０１の表示部２０２に表示される。なお、図９において被写体を検出した領域や非表示領域を説明するために領域を図示したが、実際の表示部に図示して表示されるものではない。
【００４２】
図１３は、図９に示した画像表示装置１０１の表示画面からユーザが情報の種別の変更を行った際の動作を説明する例である。図１３（ａ）は、検出部２１０がタグＩＤ（識別子）に関連した特徴情報を用いて画像認識を行い、１０個の被写体を検出した場合の例であり、図９（ａ）と同様である。図１３（ｂ）は、ユーザが情報の種別の変更を行った際に変更された各被写体に対応する属性情報の優先度が決定された様子を示した図である。図９（ｂ）と図１３（ｂ）を比較すると、ユーザによる情報の種別の設定の変更により、各オブジェクトに対応する属性情報の優先度の順位が変更していることが分かる。１３０２は変更された、検出された全オブジェクトの優先度の順位を示す。図１３（ｃ）は、属性情報表示数が３であると決まった時の図である。属性情報表示数が３であるため、優先度１〜３の被写体に対応する領域のみ非表示領域とし、他の優先度４〜１０の被写体の領域を表示領域に設定する。図１３（ｃ）と図９（ｃ）を比べると、図９（ｄ）は、情報の種別の設定の変更により、被写体の属性情報を表示領域に表示した様子である。９０３は、撮像画像に合成されて表示される属性情報である。図９（ａ）において、非表示領域９０１に設定されていた領域に属性情報９０３が表示されている。なお、図１３において被写体を検出した領域や非表示領域を説明するために領域を図示したが、実際の表示部に図示して表示されるものではない。
【００４３】
以上説明したように、画像中に属性情報を関連付けて表示するべきオブジェクトの数が多すぎて、全ての属性情報をオブジェクトに重ならないように表示できない場合は、ユーザの所望の情報を優先的に表示させることができる。これにより、ユーザは所望の情報と該情報を発信しているオブジェクトを関連付けて閲覧することができる。また、属性情報を表示する領域と属性情報を表示するオブジェクトの領域を非表示領域とすることで、他の属性情報の表示によりオブジェクトが隠れてしまうことが低減される。また、表示する情報同士が重ならないようにすることが出来る。また、ユーザが設定した情報の種別により優先度を設定するので、ユーザの所望の情報を優先的に表示することができる。
【００４４】
なお、本実施例において、属性情報を表示する領域を非表示領域にしたが、この時、表示する属性情報の表示枠（属性情報が記述されていない部分）を必要に応じて他の属性情報を表示可能な領域である準表示領域にとする構成としても良い。たとえば、図１０の１００１に示すように属性情報の表示領域同士が重なっていてもよい。この時の重なりの前後は、前記優先度に応じて決定される。また、距離などほかの指標に従って決定してもよい。また、検出された被写体の近傍などを準表示領域として設定してもよい。
【００４５】
また、ステップＳ５０２において、特徴情報と属性情報を同時に取得していた。これに限らず、画像表示装置１０１が特徴情報を先に取得した後、検出部２１０により検出出来たオブジェクトに対応する識別子の属性情報を取得する構成としてもよい。また、本実施例では、属性情報に含まれた閲覧数に基づいて優先度を決定したが、これに限らず、情報管理サーバ１０２が画像表示装置１０１と無線タグ１０３の関係（表示の拒否や表示の優先などの関係）を判断し決定してもよい。また、属性情報と選択した情報の種別の関連に基づいて、優先度を決定していたが、情報の種別を選択するのではなくユーザ入力によるキーワードと属性情報の関連により優先度を決定して構わない。また、本実施例において、システムが予め情報の種別の候補をユーザに提示するが、提示する情報の種別の候補を画像表示装置と通信可能な範囲に存在する無線タグの識別子と関連付けられた属性情報に応じて、可変とする構成としても良い例えば、通信可能な範囲に存在する無線タグの識別子と関連付けられた属性情報が有している情報の種別を選択する候補としてユーザに提示して、選択させる構成としてもよい。
【００４６】
また、本実施例では、設定した情報の種別に関連する情報を有さない属性情報にも優先度を割り当てる構成としたが、情報の種別に関連する情報を有さない属性情報には優先度を割り当てない構成としても良い。例えば、画像表示装置１０１の設定する情報の種別が、「ファッション」を探索するモードであるとする。図１２において、無線タグ１０３ｃのみが「ファッション」に関する情報を持つため、無線タグ１０３ｃに対応する属性情報のみ優先度が割り当てられる。したがって、無線タグ１０３ｃに対応する属性情報のみ表示されることとなる。このように、ユーザが所望とする情報のみ撮像画像に重畳して表示されるので、不必要な情報により情報の視認性が損なわれることが低減されるので、ユーザビリティが向上する。
【００４７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４８】
１０１ 画像表示装置
１０２ 情報管理サーバ
１０３ 無線タグ
【特許請求の範囲】
【請求項１】
撮像画像を表示させる表示制御装置であって、
他の装置の識別子を取得する識別子取得手段と、
前記識別子と関連付けられた情報を取得する情報取得手段と、
前記識別子取得手段が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段と、
前記検出手段が検出したオブジェクトに対応する前記情報取得手段が取得した情報と前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、表示する前記情報を選択する選択手段とを有することを特徴とする表示制御装置。
【請求項２】
ユーザが設定した情報の種別と関連する前記情報取得手段が取得した情報を判断する判断手段を更に有し、
前記選択手段は、前記判断手段による判断に基づいて、表示する前記情報を選択することを特徴とする請求項１記載の表示制御装置。
【請求項３】
前記撮像画像と前記選択手段により選択された前記情報取得手段が取得した情報とを重畳して表示させる表示制御手段を更に有し、
前記表示制御手段は、前記検出手段が検出したオブジェクトと当該オブジェクトに対応する前記情報取得手段が取得した情報とを関連づけて表示させることを特徴とする請求項１または２に記載の表示制御装置。
【請求項４】
前記表示制御手段は、前記選択手段により選択された前記情報に対応する前記オブジェクトの撮像画像上の領域に前記情報取得手段が取得した他の情報を表示させないことを特徴とする請求項３に記載の表示制御装置。
【請求項５】
前記表示制御手段は、表示する前記情報同士が重ならないように表示させることを特徴とする請求項３または請求項４に記載の表示制御装置。
【請求項６】
前記表示制御手段は、前記選択手段により表示すると選択されなかった前記情報に対応する前記オブジェクトの撮像画像上の領域に表示すると選択された前記情報を表示させること特徴とする請求項３乃至５何れか１項に記載の表示制御装置。
【請求項７】
前記選択手段は、前記検出手段が検出した撮像画像上のオブジェクトの面積に応じて、表示させる情報を選択すること特徴とする請求項１乃至６何れか１項に記載の表示制御装置。
【請求項８】
前記選択手段は、前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、前記検出手段が検出したオブジェクトに対応する前記情報取得手段が取得した情報のうち前記判断手段によりユーザが設定した情報の種別と関連すると判断した情報を表示し、前記判断手段によりユーザが設定した情報の種別と関連すると判断していない情報は表示しないことを特徴とする請求項２に記載の表示制御装置。
【請求項９】
前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、前記撮像画像に表示させる情報の数を決定する決定手段を更に有し、
前記選択手段は、前記決定手段が決定した数の情報を選択することを特徴とする請求項１乃至８何れか１項に記載の表示制御装置。
【請求項１０】
撮像画像を表示させる表示制御装置であって、
他の装置の識別子を取得する識別子取得手段と、
前記識別子と関連付けられた情報をから取得する情報取得手段と、
前記識別子取得手段が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段とを有し、
前記検出手段が検出したオブジェクトに対応する前記情報取得手段が取得した情報と前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、前記情報取得手段が取得した情報のうち表示する情報が変わることを特徴とする表示制御装置。
【請求項１１】
撮像画像を表示させる表示制御装置の制御方法であって、
他の装置の識別子を取得する識別子取得工程と、
前記識別子と関連付けられた情報を取得する情報取得工程と、
前記識別子取得工程が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出工程と、
前記検出工程が検出したオブジェクトに対応する前記情報取得工程が取得した情報と前記検出工程が検出した前記撮像画像上のオブジェクトの領域に応じて、表示する前記情報を選択する選択工程とを有することを特徴とする表示制御装置の制御方法。
【請求項１２】
撮像画像を表示させる表示制御装置の制御方法であって、
他の装置の識別子を取得する識別子取得工程と、
前記識別子と関連付けられた情報を取得する情報取得工程と、
前記識別子取得工程が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出工程とを有し、
前記検出工程が検出したオブジェクトに対応する前記情報取得工程が取得した情報と前記検出工程が検出した前記撮像画像上のオブジェクトの領域に応じて、前記情報取得工程が取得した情報のうち表示する情報が変わることを特徴とする表示制御装置の制御方法。
【請求項１３】
請求項１１または１２に記載の制御方法をコンピュータに実行させるためのプログラム。
【請求項１】
撮像画像を表示させる表示制御装置であって、
他の装置の識別子を取得する識別子取得手段と、
前記識別子と関連付けられた情報を取得する情報取得手段と、
前記識別子取得手段が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段と、
前記検出手段が検出したオブジェクトに対応する前記情報取得手段が取得した情報と前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、表示する前記情報を選択する選択手段とを有することを特徴とする表示制御装置。
【請求項２】
ユーザが設定した情報の種別と関連する前記情報取得手段が取得した情報を判断する判断手段を更に有し、
前記選択手段は、前記判断手段による判断に基づいて、表示する前記情報を選択することを特徴とする請求項１記載の表示制御装置。
【請求項３】
前記撮像画像と前記選択手段により選択された前記情報取得手段が取得した情報とを重畳して表示させる表示制御手段を更に有し、
前記表示制御手段は、前記検出手段が検出したオブジェクトと当該オブジェクトに対応する前記情報取得手段が取得した情報とを関連づけて表示させることを特徴とする請求項１または２に記載の表示制御装置。
【請求項４】
前記表示制御手段は、前記選択手段により選択された前記情報に対応する前記オブジェクトの撮像画像上の領域に前記情報取得手段が取得した他の情報を表示させないことを特徴とする請求項３に記載の表示制御装置。
【請求項５】
前記表示制御手段は、表示する前記情報同士が重ならないように表示させることを特徴とする請求項３または請求項４に記載の表示制御装置。
【請求項６】
前記表示制御手段は、前記選択手段により表示すると選択されなかった前記情報に対応する前記オブジェクトの撮像画像上の領域に表示すると選択された前記情報を表示させること特徴とする請求項３乃至５何れか１項に記載の表示制御装置。
【請求項７】
前記選択手段は、前記検出手段が検出した撮像画像上のオブジェクトの面積に応じて、表示させる情報を選択すること特徴とする請求項１乃至６何れか１項に記載の表示制御装置。
【請求項８】
前記選択手段は、前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、前記検出手段が検出したオブジェクトに対応する前記情報取得手段が取得した情報のうち前記判断手段によりユーザが設定した情報の種別と関連すると判断した情報を表示し、前記判断手段によりユーザが設定した情報の種別と関連すると判断していない情報は表示しないことを特徴とする請求項２に記載の表示制御装置。
【請求項９】
前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、前記撮像画像に表示させる情報の数を決定する決定手段を更に有し、
前記選択手段は、前記決定手段が決定した数の情報を選択することを特徴とする請求項１乃至８何れか１項に記載の表示制御装置。
【請求項１０】
撮像画像を表示させる表示制御装置であって、
他の装置の識別子を取得する識別子取得手段と、
前記識別子と関連付けられた情報をから取得する情報取得手段と、
前記識別子取得手段が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段とを有し、
前記検出手段が検出したオブジェクトに対応する前記情報取得手段が取得した情報と前記検出手段が検出した前記撮像画像上のオブジェクトの領域に応じて、前記情報取得手段が取得した情報のうち表示する情報が変わることを特徴とする表示制御装置。
【請求項１１】
撮像画像を表示させる表示制御装置の制御方法であって、
他の装置の識別子を取得する識別子取得工程と、
前記識別子と関連付けられた情報を取得する情報取得工程と、
前記識別子取得工程が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出工程と、
前記検出工程が検出したオブジェクトに対応する前記情報取得工程が取得した情報と前記検出工程が検出した前記撮像画像上のオブジェクトの領域に応じて、表示する前記情報を選択する選択工程とを有することを特徴とする表示制御装置の制御方法。
【請求項１２】
撮像画像を表示させる表示制御装置の制御方法であって、
他の装置の識別子を取得する識別子取得工程と、
前記識別子と関連付けられた情報を取得する情報取得工程と、
前記識別子取得工程が取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出工程とを有し、
前記検出工程が検出したオブジェクトに対応する前記情報取得工程が取得した情報と前記検出工程が検出した前記撮像画像上のオブジェクトの領域に応じて、前記情報取得工程が取得した情報のうち表示する情報が変わることを特徴とする表示制御装置の制御方法。
【請求項１３】
請求項１１または１２に記載の制御方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−８０３９４（Ｐ２０１３−８０３９４Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２０３０８（Ｐ２０１１−２２０３０８）
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]