情報処理装置、情報処理装置の制御方法、プログラム
【課題】 被写体の向き、位置にロバストな画像中から所定のオブジェクトの特定を行う。
【解決手段】 第一の画像表示装置と第二の画像表示装置からなるシステムであって、前記第一の画像表示装置は識別子を取得して、識別子に関連付けられた第一の特徴情報から画像中のオブジェクトを特定して、特定したオブジェクトをもとに第二の特徴情報を生成し、
前記第二の画像表示装置は、前記第一のオブジェクト特定手段でオブジェクトが特定できなかった場合に、前記第一の画像表示装置が生成した第二の特徴情報に基づいてオブジェクトを特定し、その近傍に前記識別子と関連付けられている属性情報を合成して表示する。
【解決手段】 第一の画像表示装置と第二の画像表示装置からなるシステムであって、前記第一の画像表示装置は識別子を取得して、識別子に関連付けられた第一の特徴情報から画像中のオブジェクトを特定して、特定したオブジェクトをもとに第二の特徴情報を生成し、
前記第二の画像表示装置は、前記第一のオブジェクト特定手段でオブジェクトが特定できなかった場合に、前記第一の画像表示装置が生成した第二の特徴情報に基づいてオブジェクトを特定し、その近傍に前記識別子と関連付けられている属性情報を合成して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像中のオブジェクトを特定する情報処理装置に関する。
【背景技術】
【０００２】
近年、カメラ等で撮影した撮像画像に、撮像画像中の物体の属性情報を合成して表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術がある。例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による位置情報に基づいて、撮像画像中の物体の属性情報を合成して表示する技術がある（非特許文献１）。
このようなＡＲシステムにおいて被写体の近傍に被写体に関連した情報を表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合、被写体に関連するそれぞれの情報が、どの被写体の情報であるのかユーザがわかるような形で表示することが望ましい。
特許文献１では、撮像装置が携帯情報機器等から取得した顔情報を用いて撮影画像の顔認識処理を行い、特定した人物に関する情報を撮像画像と合成して表示する。特許文献２では、撮像処理から得られた画像の特徴量だけでなく、撮像位置／方向に基づいて、撮像範囲と思われる被写体の情報を取得して、撮影画像中に表示する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ｈｔｔｐ：／／ｓｅｋａｉｃａｍｅｒａ．ｃｏｍ
【特許文献】
【０００４】
【特許文献１】特開２００２−３０５７１７
【特許文献２】特開２０１０−１１８０１９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、撮像画像中の被写体の近傍に該被写体に関連した情報を表示することが必ずしも出来る訳ではないという問題がある。特許文献１では、予め登録してある顔画像情報などの特徴情報から撮影画像中の被写体を特定しようとしているため、登録してある画像と被写体の向きまたは位置が異なっていた場合には撮影画像中から被写体を特定することが難しい。即ち、リファレンス顔画像と撮像時の顔画像とでは、経時変化や撮像環境により特徴情報が大きく変動してしまい、登録してある画像を認識処理に用いるのみでは必ずしも高度な認識ができることが保障されているわけではない。特に、リファレンス画像と撮像時の顔画像の顔の向きが違う場合も特徴情報は多きく変動してしまう。また、非特許文献１及び特許文献２は、撮像位置／方向に基づいて、撮像範囲と思われる被写体の情報を撮像画像中に表示するので必ずしも撮像画像中の被写体に関する情報が表示される訳では無い。また、撮像画像中の被写体に関する情報が表示されているとしても、正確な被写体の撮像画像中の領域を特定するわけでは無いので、被写体に関連する情報が、どの被写体の情報であるのかユーザがわかるような形で表示されるとは限らない。
本発明は上述の課題を鑑みてなされた発明であり、撮像画像から所定のオブジェクトの認識率を向上し、特定したオブジェクトと所定の情報とを関連付けて表示させることを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決する手段として、撮像画像において所定のオブジェクトを特定するための第１の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第１の特定手段と、第１の他の装置が前記第１の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第２の特徴情報を取得する第２の特徴情報取得手段と、前記第１の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第２の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第２の特定手段と、前記第１の特定手段または第２の特定手段により特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御手段と、を有することを特徴とする情報処理装置を提供する。
【発明の効果】
【０００７】
本発明によれば、複数の特徴情報を用いて撮像画像から所定のオブジェクトの特定を行うので、所定のオブジェクトの認識率を上げることができる。したがって、所定のオブジェクトと所定の情報とを関連付けて表示する際の精度を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１乃至２におけるシステムの構成を示す図である。
【図２】実施例１におけるサーバのデータベース概念図である。
【図３】実施例１乃至２におけるデジタルカメラの構成を示す図である。
【図４】実施例１乃至２における携帯電話の構成を示す図である。
【図５】実施例１におけるデジタルカメラ１０１の撮影処理を示すシーケンス図である。
【図６】実施例１乃至２におけるデジタルカメラ１０１による撮影直後の画像データの一例を示す図である。
【図７】実施例１乃至２におけるデジタルカメラ１０１による画像合成後の画像データの一例を示す図である。
【図８】実施例１におけるデジタルカメラ１０２の撮影処理を示すシーケンス図である。
【図９】実施例１乃至２におけるデジタルカメラ１０２による撮影直後の画像データ一例を示す図である。
【図１０】実施例１乃至２におけるデジタルカメラ１０２による画像合成後の画像データ一例を示す図である。
【図１１】実施例２におけるデジタルカメラ１０１の撮影処理を示すシーケンス図である。
【図１２】実施例２におけるサーバのデータベース概念図である。
【図１３】実施例２におけるデジタルカメラ１０２の撮影処理を示すシーケンス図である。
【図１４】実施例１乃至２におけるデジタルカメラ１０１、１０２の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
［実施例１］
以下は、添付図面に従って本発明に係る各実施例を説明する。図１は本実施例におけるシステムの構成を示す。本実施例では、デジタルカメラ１０１およびデジタルカメラ１０２が人物１０５、人物１０６を撮影する場合について述べる。また、人物１０５は携帯電話１０３の所有者である。
【００１０】
サーバ１０４は、デジタルカメラ１０１、１０２から端末装置の識別情報を含んだ問い合わせを受信すると、データベースに保持する受信した識別情報に対応付けられた属性情報をデジタルカメラ１０１、１０２に送信する。また、サーバ１０４は、受信した識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報をデータベースにから取得し、デジタルカメラ１０１、１０２に送信する。
【００１１】
サーバ１０４が管理するデータベースに保持される情報の一例を図２に示す。データベースには、端末装置を一意に識別するための識別子として識別情報２０１、端末装置に対応する属性情報として所有者の名前２０２、端末装置に対応する人物を特定するために用いる特徴情報２０３とを夫々関連付けているテーブルデータが保持されている。識別情報２０１は、端末装置を一意に識別可能な識別子として、例えば、ＭＡＣアドレスや端末装置の所有者のユーザＩＤとする。名前２０２は、識別情報に関連付けられた属性情報の一例であり、デジタルカメラ１０１において撮像された画像と重畳して表示される情報である。なお、属性情報としては名前に限られず、ＵＲＬなどで外部のサイトへのリンクでもよいし、趣味や生年月日など複数の項目を有していてもよい。特徴情報２０３は、識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための情報である。本実施例においては、画像処理によるオブジェクト特定処理を行うためのリファレンス画像を特徴情報とする。なお、特徴情報としては、画像データに限られず、オブジェクト特定処理に用いるに任意の特徴情報であってよい。
【００１２】
デジタルカメラ１０１、デジタルカメラ１０２は、他の端末装置から受信した該端末装置の識別情報に関連付けられた属性情報をサーバ１０４から取得し、取得した属性情報と撮像画像とを合成して表示部に表示させる情報処理装置である。また、デジタルカメラ１０１、１０２は、取得した属性情報と撮像した画像上のオブジェクトとを関連付けて表示部に合成して表示させる。したがって、デジタルカメラ１０１、１０２の表示画面に重畳して例えば端末装置の所有者に関する情報を表示するので、ユーザは容易に撮像画像中のオブジェクトに関する情報を取得することが可能となる。また、撮像画像中のオブジェクトに関連付けて情報を表示するので、どのオブジェクトがどのような情報を発しているかを容易に識別することが可能となる。また、デジタルカメラ１０１、１０２は、ＩＥＥＥ８０２．１１シリーズに則った無線通信機能を有する。
【００１３】
携帯電話１０３は、定期的あるいは他の装置の要求に応じて、自装置を一意に識別可能な識別子を識別情報として発信する端末装置である。本実施例において、携帯電話１０３は、ＩＥＥＥ８０２．１１シリーズに則った無線通機能を有する。携帯電話１０３が発信する識別情報は、端末装置を一意に決定するための識別子であり、各装置にそれぞれ固有に設定される情報である。なお、識別情報として、端末装置のユーザを一意に識別するための情報であってもよい。識別情報はＩＥＥＥ８０２．１１シリーズに則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与され、送信されるものとする。携帯電話１０３の所有者は人物１０５であるとする。
【００１４】
続いて、情報処理装置であるデジタルカメラ１０１、１０２の構成を図３を用いて説明する。なお、デジタルカメラ１０１、１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。後述する処理は、ＣＰＵが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。無線通信制御部３０１は、外部装置との間で無線信号の送受信により通信を行うためにアンテナや回路を制御する。なお、無線通信制御部３０１はＩＥＥＥ８０２．１１シリーズに則った通信処理を制御するものとする。シャッターボタン３０２は撮影を開始するためのボタンで、ユーザのシャッターボタン３０２の押下を検出し、撮像部３０３において撮影処理の開始を制御する。撮像部３０３はレンズ、撮像素子、Ａ／Ｄ変換により構成され、レンズを介して取得した被写体光を撮像し、撮像した被写体光を画像データとして生成する。表示部３０４は、ディスプレイに撮像画像や各種情報を表示させる表示制御を行う。識別情報取得部３０５は、無線通信制御部３０１により受信した通信可能な範囲に存在する端末装置の識別情報を取得する。第１の特徴情報取得部３０６は、識別情報取得部３０５により取得した識別情報をもとにしてサーバ１０４に問い合わせを行い、識別情報に関連付けられ、予め登録されている特徴情報（第１の特徴情報）をサーバ１０４から取得する。属性情報取得部３０７は、識別情報取得部３０５が取得した識別情報をもとにしてサーバ１０４に問い合わせを行い、識別情報に関連付けられた属性情報をサーバ１０４から取得する。
【００１５】
第１の特定部３０８は、取得した特徴情報をもとに撮像部３０３により撮像された画像データ上から、所定のオブジェクトを特定するためのハードウェア乃至はプログラムである。なお、本実施例においては、第１の特定部３０８は公知のオブジェクト認識処理を行い、取得した特徴情報に対応するオブジェクトを検出する。合成部３０９は、画像データ上の第１の特定部３０８または第２の特定部３１２により特定されたオブジェクトの近傍または任意の場所に、対応する属性情報とオブジェクトとを関連付けて合成し、合成画像データを作成する。特徴情報生成部３１０は、第１の特定部３０８または後述する第２の特定部３１２により特定したオブジェクトに関する新たな特徴情報を、特定に用いた撮像画像に基づいて生成する。生成された特徴情報は記憶部３１３に保存される。
【００１６】
第２の特徴情報取得部３１１は無線制御部３０１を制御して、識別情報取得部３０５により取得した識別情報をもとにして他の装置に問い合わせを行い、識別情報に関連付けられ、他の装置により生成された特徴情報を取得する。第２の特定部３１２は、第２の特徴情報取得部３１１により取得された特徴情報をもとに撮像部３０３から得られた画像データから被写体を特定するためのプログラムまたはハードウェアである。記憶部３１３は、特徴情報生成部３１０で生成された特徴情報や各種情報を格納するためのメモリである。
【００１７】
続いて、携帯電話１０３の構成を図４を用いて説明する。携帯電話１０３は、ＩＥＥＥ８０２．１１シリーズに準拠した無線通信機能を有する。携帯電話１０３は自装置を一意に識別可能な識別情報を保持している。また、携帯電話１０３はＣＰＵを有し、後述する各処理は、ＣＰＵが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。図４に示すＲＦ部４０１は無線ＬＡＮで他の無線装置との間で無線信号の送受信を行うためのアンテナや回路を制御する。識別情報発信部４０２はＲＦ４０１を制御することで、保持する識別情報を定期的、もしくは他の装置からの要求に応じて報知する。識別情報発信部４０２は、識別情報（識別子）をＩＥＥＥ８０２．１１シリーズに則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与し、送信する。携帯電話制御部４０３は、携帯電話として動作するためのアンテナや回路を制御することで携帯電話通信網と接続し、他の装置と通信を行う。
【００１８】
以上説明を行った構成を有するシステムの動作を説明する。ここでは、デジタルカメラ１０１とデジタルカメラ１０２が撮影する際の処理の説明を行う。デジタルカメラ１０１、１０２が図１に示すように人物１０５と人物１０６を撮影する場合を例に述べる。デジタルカメラ１０１の撮像部３０３は人物１０５と人物１０６の正面に向いており、顔の検出、特定が可能である。一方、デジタルカメラ１０２の撮像部３０３は人物１０５と人物１０６の背面に向いており、正面から顔の撮像ができないものとする。
【００１９】
まず、デジタルカメラ１０１が撮影する場合を図５のシーケンス図を用いて説明する。まず、デジタルカメラ１０１は、シャッターボタン３０２の操作の検出により、撮影処理を開始する（Ｓ５０１）。撮影された画像を図６に示す。画像６０１が撮影された画像であり、画像６０１には、人物１０５と人物１０６が撮影されている。被写体画像６０２は人物１０５に対応する被写体画像（画像６０１中の領域）であり、被写体画像６０３は人物１０６に対応する被写体画像（画像６０１中の領域）である。次に、デジタルカメラ１０１の識別情報取得部３０５は通信可能な範囲に存在する端末装置に対して識別情報を要求する。具体的には、識別情報取得部３０５は無線通信制御部３０１を制御し、ＩＥＥＥ８０２．１１シリーズに則ったプローブ・リクエスト・フレームをブロードキャストで送信する（Ｓ５０２）。プローブ・リクエスト・フレームを受信した携帯電話１０３は、自装置の識別情報を付与したプローブ・レスポンス・フレームで応答する（Ｓ５０３）。デジタルカメラ１０１はプローブ・レスポンス・フレームを受信すると、識別情報取得部３０５は携帯電話１０３の識別情報を得ることができる。しかし、デジタルカメラ１０１はこの時点では、得られた識別情報が撮像画像中のどのオブジェクトに対応するものであるか、即ちどの人物が所有する装置から発信されかを認識することができない。
【００２０】
続いて、デジタルカメラ１０１は識別情報取得部３０５によって取得した識別情報を得ると、第１の特徴情報取得部３０６と属性情報取得部３０７を用いて、取得した識別情報に対応する特徴情報および属性情報を取得するためサーバ１０４に問い合わせる。（Ｓ５０４）。すなわち、デジタルカメラ１０１は携帯電話１０３から取得した識別情報に基づいて、該識別情報に対応するオブジェクトの特徴情報および属性情報をサーバ１０４に要求する。サーバ１０４はデジタルカメラ１０１からの問い合わせを受信すると、問い合わせに含まれる識別情報をもとにデータベースから該識別情報に関連付けられた属性情報と特徴情報とを検索する（Ｓ５０５）。サーバ１０４は受信した識別情報に関連付けられた属性情報と顔の特徴情報が取得できると、これらの情報をデジタルカメラ１０１に送信する（Ｓ５０６）。デジタルカメラ１０１は、サーバ１０４から属性情報と特徴情報（第１の特徴情報）を受信すると、第１の特定部３０８は、取得した特徴情報をもとに、画像６０１から該当するオブジェクトの特定を試みる（Ｓ５０７）。第１の特定部３０８は、得られた特徴情報と画像６０１から取得した顔画像の特徴とを比較し、画像６０１（人物１０５）が対応するオブジェクトであると特定する。デジタルカメラ１０１は、第１の特徴情報を用いて撮像画像からオブジェクトの特定に成功した場合、特徴情報生成部３１０により画像６０１から人物１０５に関する新たな特徴情報を生成する（Ｓ５０８）。本実施例においては、特徴情報生成部３１０は、特定できた人物の衣服（服装）に該当する領域の特徴情報を生成する。服装に関する特徴情報は、色彩に関する情報であるとする。なお、生成する特徴情報としては色彩に関する情報でなくとも、服装を特定するために用いる任意の情報を特徴情報として構わない。生成した服装の特徴情報は、他の端末装置からの要求が発生したときのために記憶部に保存される（Ｓ５０９）。
【００２１】
デジタルカメラ１０１の合成部３０９は、特定できた被写体画像６０２の近傍にＳ５０６で得られた属性情報を合成部３０９で合成し、表示部３０４は該合成画像を表示するよう表示制御を行う。（Ｓ５１０）。このときの表示部３０４に表示される画像のイメージを図７に示す。画像７０１は、撮像画像６０１と属性情報とを合成して生成され、表示部３０４により表示される画像の全体である。被写体画像７０２と被写体画像７０３はそれぞれ画像合成後の被写体画像６０２と被写体画像６０３に相当する。属性情報画像７０４はＳ５０６で得られた属性情報を画像として表示しているものであり、特定されたオブジェクトである被写体画像７０２に関連付けられて、その近傍（所定の距離内）に表示される。デジタルカメラ１０１のユーザは、これにより人物１０５に関する情報を視覚的に見ることができる。
【００２２】
次に、デジタルカメラ１０２が撮影する場合を図８のシーケンス図を用いて説明する。まず、デジタルカメラ１０２は、シャッターボタン３０２の操作の検出により、撮影処理を開始する（Ｓ５０１）。撮影された画像を図９に示す。画像９０１が撮影された画像であり、画像９０１には、人物１０５と人物１０６が撮影されている。被写体画像９０２は人物１０５に対応する被写体画像であり、被写体画像９０３は人物１０６に対応する被写体画像である。人物１０５と人物１０６ともに背面からの画像である。
【００２３】
Ｓ８０２からＳ８０６の処理は、Ｓ５０２からＳ５０６と同様であるので説明を省略する。Ｓ８０７はＳ５０７と同様に、サーバ１０４から取得した第１の特徴情報をもとに第１の特定部によって、画像９０１から該当するオブジェクトの特定を試みる。デジタルカメラ１０２から人物１０５は背面にあるため、取得した人物１０５の顔画像の特徴情報は、画像９０１上に存在しないため、特定処理に失敗する。デジタルカメラ１０２は、第１の特徴情報に基づいたオブジェクトの特定に失敗すると、別の特徴情報を用いての人物特定を試みる。そこで、デジタルカメラ１０２は第２の特徴情報取得部３１１により、特定処理に成功した周囲の装置から、特定処理に用いた撮像画像から生成した特徴情報（第２の特徴情報）の取得を試みる。具体的には、第２の特徴情報取得部３１１は、第２の特徴情報の要求を無線制御部３０１を介して通信可能な範囲に存在する周囲の端末装置に対してブロードキャストする（Ｓ８０８）。このときに、第２の特徴情報取得部は、特定処理の失敗したオブジェクトに対応する識別情報を付与することで、どのオブジェクトの特徴情報要求を行っているのか判別できるようにする。
【００２４】
デジタルカメラ１０１は、デジタルカメラ１０２から特徴情報要求を受信すると、要求に含まれる識別情報に対応するオブジェクトの特定に成功しているかを判定する。デジタルカメラ１０１は、上述したＳ５０７により、携帯電話１０３の識別情報に対応するオブジェクトの特定に成功している。したがって、Ｓ５０８において生成した被写体画像６０２（被写体画像７０２）から生成した特徴情報を記憶部３１３から取得して、該特徴情報をデジタルカメラ１０２に送信する（Ｓ８０９）。これにより、デジタルカメラ１０２は、取得した識別情報に対応する第１の特徴情報を用いて特定処理に失敗した場合でも、他の装置により生成された他の特徴情報（第２の特徴情報）を得ることができる。
【００２５】
デジタルカメラ１０２はデジタルカメラ１０１から第２の特徴情報を取得すると、それをもとに第２の特定部３１２によって、画像９０１から該当するオブジェクトの特定を試みる（Ｓ８１０）。第２の特定部３１２は、取得した第２の特徴情報と画像９０１から生成した画像特徴量を比較する。第２の特定部３１２は、取得した第２の特徴情報と被写体画像９０２の画像特徴量との相関が高く、所定の閾値を超えている場合は、被写体画像９０２を該当するオブジェクトと特定する。ここで、第２の特徴情報は、人物１０５の服装の色彩に関する特徴情報である、したがって、顔のように向きに関する特徴情報の変動が少ないため、向きに対してロバストに特定処理を行うことができる。特定処理に成功すると、デジタルカメラ１０２は特定できた被写体画像９０２の近傍にＳ８０６で得られた属性情報を合成部３０９で合成し、生成した画像を表示部３０４に表示する（Ｓ８１１）。
【００２６】
このときの表示部３０４に表示される画像のイメージを図１０に示す。画像１００１は表示部３０４に表示される画像の全体である。被写体画像１００２と被写体画像１００３はそれぞれ画像合成後の被写体画像９０２と被写体画像９０３に相当する。属性情報画像９０４はＳ８０６で得られた属性情報を画像として表示しているものであり、属性情報と特定したオブジェクトである被写体画像１００３とを関連付けて表示する。
【００２７】
以上説明したように、本実施例では、デジタルカメラ１０２は、取得した携帯電話１０３の識別子に対応するオブジェクトを特定するための第１の特徴情報を用いて撮像画像からオブジェクト検出、特定を試みる。また、第１の特徴情報を用いてオブジェクトの特定に成功した装置に対して、第１の特徴情報を用いてオブジェクトの特定に成功した撮像画像から生成した新たな特徴情報（第２の特徴情報）を取得する。デジタルカメラ１０２は、第１の特徴情報を用いて特定に失敗した場合は、第２の特徴情報を用いて再度オブジェクトの特定を試みることができる。このように、予め登録されている第１の特徴情報から画像中からオブジェクトを特定できなかった場合においても、別の装置が新たに生成した特徴情報によりオブジェクトを特定できる。
【００２８】
また、通信可能な周囲の装置に対してブロードキャストで第２の特徴情報の要求を行うため、被写体の近くに存在し、直近に該当するオブジェクトの特定に成功している可能性が高い装置に該要求が受信される。そのため、経時変化が少ない特徴情報を用いて再度特定処理を行うので認識率を向上することができる。また、第２の特徴情報として向きにロバストな特徴情報を用いることで認識率を向上することができる。
【００２９】
したがって、認識率が向上することにより、オブジェクトとオブジェクトに関する属性情報を関連付けて表示することができるので、どの情報がどのオブジェクトに関するものかユーザが容易にわかるような形で表示を行うことができる。
【００３０】
［実施例２］
本実施例と実施例１との差異は、第２の特徴情報の格納の方法と、第２の特徴情報の取得方法である。具体的には、実施例１においては、第２の特徴情報をデジタルカメラ１０２は第２の特徴情報を生成したデジタルカメラ１０１から取得した。即ち、第２の特徴情報を生成した装置と取得先の装置が同一である例を示した。本実施例では、第２の特徴情報を生成した装置と取得先の装置が同一でない例を示す。システムの構成、およびデジタルカメラ１０１、１０２、および携帯電話１０３は、実施例１と同様に図１と図３と図４で示される。実施例１と同様である点に関しては、ここでは説明を省略する。
【００３１】
図１１はデジタルカメラ１０１が、人物１０５、１０６を正面から撮影する際の処理のシーケンス図である。Ｓ１１０１からＳ１１０８は、実施例１のＳ５０１からＳ５０８と同じであるので説明は省略する。デジタルカメラ１０１は特定処理に成功した撮像画像から新たに特徴情報を生成すると、生成した特徴情報と携帯電話１０３の識別情報とを関連付けてサーバ１０４に送信する（Ｓ１１０９）。サーバ１０４は受信した識別情報をもとに、送信された特徴情報をデータベースに登録する（Ｓ１１１０）。
【００３２】
サーバ１０４のデータベースの概念図を図１２に示す。各人物に対して、識別情報、属性情報（名前）、第１の特徴情報、第２の特徴情報が夫々関連付けられている。また、第２の特徴情報は、必ずしも登録されているとは限らない。
【００３３】
デジタルカメラ１０１は生成した特徴情報を送信した後に、被写体の近傍に属性情報を表示する（Ｓ１１１１）。得られる画像データは実施例１と同様に図７で示される。Ｓ１１１１は、実施例１におけるＳ５１０と同様の処理であるので詳細な説明は省略する。
【００３４】
図１３はデジタルカメラ１０２が、後ろ姿の人物１０５、１０６を撮影する際の処理のフローチャートである。Ｓ１３０１からＳ１３０７までの処理はＳ８０１からＳ８０７と同じであるので説明は省略する。デジタルカメラ１０２はＳ１３０７で第１の特徴情報に基づいた特定処理に失敗すると、サーバ１０４に第２の特徴情報を要求する（Ｓ１３０８）。このとき、携帯電話１０３の識別情報をクエリに問い合わせを行う。
【００３５】
サーバ１０４は携帯電話１０３の識別情報に対応する第２の特徴情報の要求を受信すると、データベースから該識別情報に関連付けられた第２の特徴情報を検索する（Ｓ１３０９）。ここで検索結果としてデジタルカメラ１０１がＳ１１０９で送信した第２の特徴情報を得ることができる。サーバ１０４は検索した第２の特徴情報をデジタルカメラ１０２に応答として返す（Ｓ１３１０）。これにより、デジタルカメラ１０２は第２の特徴情報を得ることができる。Ｓ１３１１、Ｓ１３１２の処理はＳ８１０、Ｓ８１１と同じ処理であるので説明は省略する。これらの撮影処理を実施することで、図１０のような画像データを得ることができ、人物１０５の後ろ姿からでも人物１０５を特定することができ、その属性情報を視覚的に見ることができる。
【００３６】
実施例２では、人物を特定できたデジタルカメラがサーバに生成した特徴情報を送信し、サーバが登録する。そのため、撮影時に周囲に人物を特定できたデジタルカメラが存在しない場合でも、サーバに問い合わせることで、生成された特徴情報を用いて画像データ中から特定することができる。
【００３７】
以上説明を行った実施例１および実施例２のデジタルカメラ１０１、１０２の動作を図１４に示すフローチャートを用いてまとめる。まず、デジタルカメラ１０１、１０２のシャッターボタン３０２を操作することで撮影処理が開始される（Ｓ１４０１）。なお、ここでシャッターボタン３０２の操作とは、シャッターボタン３０２の半押し等の所定の操作により開始される自動焦点制御の指示も含む。続いて、撮影処理が開始されると、デジタルカメラ１０１は通信可能な範囲に存在する端末装置から識別情報（識別子）を取得する（Ｓ１４０２）。識別子が取得できなければ、属性情報を表示しないことを決定して（Ｓ１４１３）、処理を処終了する。
【００３８】
デジタルカメラ１０１、１０２は、通信可能な範囲に存在する端末装置の識別情報を取得すると、取得した識別情報を含む要求を行い、サーバ１０４から識別情報に関連付けられた属性情報および特徴情報を取得する（Ｓ１４０３）。デジタルカメラ１０１、１０２の第１の特定部３０８は、取得した特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる（Ｓ１４０４）。続いて、デジタルカメラ１０１、１０２はＳ１４０４による特定処理が成功したかを判断する（Ｓ１４０５）。Ｓ１４０５の結果、特定処理が成功した場合は、Ｓ１４１１に処理を進める。
【００３９】
一方、Ｓ１４０５の結果、特定処理が失敗した場合は、第２の特徴情報取得部３１１は、Ｓ１４０３で取得した識別子を含めて、他の装置に第２の特定情報を要求する（Ｓ１４０７）。ここで、他の装置とは実施例１では周囲に存在するデジタルカメラであり、実施例２ではサーバ１０４である。続いて、デジタルカメラ１０１、１０２はＳ１４０６による要求の他の装置からの応答があるかどうかを判定する（Ｓ１４０７）。Ｓ１４０７の結果、応答がある場合は、Ｓ１４０８に処理を進め、ない場合は属性情報を表示しないことを決定して（Ｓ１４１３）、処理を終了する。
【００４０】
デジタルカメラ１０１、１０２の第２特徴情報取得部３１１は、他の装置からの応答に含まれる第２の特徴情報を取得する（Ｓ１４０８）。続いて、第２の特定部３１２は、取得し第２の特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる（Ｓ１４０９）。デジタルカメラ１０１、１０２はＳ１４０９による特定処理が成功したかを判断する（Ｓ１４１０）。Ｓ１４１０の結果、特定処理が成功した場合は、Ｓ１４１１に処理を進める。一方、Ｓ１４１０の結果、特定処理が失敗した場合は属性情報を表示しないことを決定して（Ｓ１４１３）、処理を処終了する。
【００４１】
Ｓ１４１１では、特徴情報生成部３１０は特定処理に成功した撮像画像から特定したオブジェクトに関する特徴情報を新たに生成する。生成された特徴情報は、実施例１では他の装置から要求があれば送信するために記憶部３１３に保持する。実施例２では、生成された特徴情報は、サーバ１０４に送信される。Ｓ１４１２では、撮像画像から識別情報に対応するオブジェトを検出し、特定されると、合成部３０９は、検出されたオブジェクトと関連付けてその近傍に属性情報を合成する。そして、表示部３０４は該合成画像を表示する（Ｓ１４１２）。このように、予め登録されている第１の特徴情報から画像中からオブジェクトを特定できなかった場合においても、別の装置が新たに生成した特徴情報によりオブジェクトを特定できる。そして、デジタルカメラ１０１のユーザは、属性情報がオブジェクトに関連付けられて表示される合成画像を見ることにより、撮像画像中のオブジェクトに関連する情報を得ることができる。また、ユーザは、表示された情報がどのオブジェクトに関連付けられた情報であることが容易に知ることができる。
【００４２】
（その他の実施形態）
その他の構成として、本発明は静止画によらず動画像において人物を特定し、属性情報を表示してもよい。その場合、動画像の各フレームを静止画として連続して処理することで実現してもよい。識別情報の発信や取得などに関わる通信は、ＩＥＥＥ８０２．１１シリーズに則った無線ＬＡＮの通信に限らず、Ｂｌｕｅｔｏｏｔｈ（登録商標）やパッシブ／アクティブ型のＲＦＩＤなどでよい。また、無線ＬＡＮとパッシブ型ＲＦＩＤなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。また、デジタルカメラ１０１、１０２に識別情報発信部を備え付けて、デジタルカメラにおいても識別情報を発信してもよい。
【００４３】
また、実施例１、２では、第一の特徴情報として顔の特徴情報、第二の特徴情報として服装の特徴情報を用いたが、本発明はどの特徴情報を用いるかどうかは規定しない。第一の特徴情報として服装の特徴情報を用いて、第二の特徴情報として顔の特徴情報を用いてもよい。また、第一の特徴情報として、顔の特徴情報と服装の特徴情報といった複数の特徴情報を組み合わせてもよい。ただし第一の特徴情報は、顔のようにあまり中期的に変化しない特徴情報であることが好ましい。一方で、第二の特徴情報は、その都度、新しく生成される特徴情報であるので、服装のように変化がある特徴情報であってもよい。
【００４４】
ただし、変化が激しい特徴情報を用いた場合には、記憶部３１３は服装の特徴情報を記憶した後に、一定時間経過後は該服装の特徴情報をクリアすることが望ましい。あるいは、日付が変わる等、ある特定の時間帯のタイミングでクリアしてもよい。
【００４５】
その他の特徴情報としては、髪型や帽子や装飾品などから特徴情報を用いてもよい。また、第一の特徴情報で顔の特徴情報を用いて、第二の特徴情報として、特定した人物の顔の下にある色や形に基づいて特徴情報を生成してもよい。また顔と体の割合に基づいて特徴情報を生成してもよい。周りの物体との大きさの比率などから特徴情報を算出してもよい。
【００４６】
また、本発明は、以下の処理を実行することによっても実現される。上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは情報処理装置に供給し、そのシステム或いは情報処理装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４７】
１０１、１０２ デジタルカメラ
１０３ 携帯電話
１０４ サーバ
１０５、１０６ 人物
【技術分野】
【０００１】
本発明は、撮像画像中のオブジェクトを特定する情報処理装置に関する。
【背景技術】
【０００２】
近年、カメラ等で撮影した撮像画像に、撮像画像中の物体の属性情報を合成して表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術がある。例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による位置情報に基づいて、撮像画像中の物体の属性情報を合成して表示する技術がある（非特許文献１）。
このようなＡＲシステムにおいて被写体の近傍に被写体に関連した情報を表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合、被写体に関連するそれぞれの情報が、どの被写体の情報であるのかユーザがわかるような形で表示することが望ましい。
特許文献１では、撮像装置が携帯情報機器等から取得した顔情報を用いて撮影画像の顔認識処理を行い、特定した人物に関する情報を撮像画像と合成して表示する。特許文献２では、撮像処理から得られた画像の特徴量だけでなく、撮像位置／方向に基づいて、撮像範囲と思われる被写体の情報を取得して、撮影画像中に表示する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ｈｔｔｐ：／／ｓｅｋａｉｃａｍｅｒａ．ｃｏｍ
【特許文献】
【０００４】
【特許文献１】特開２００２−３０５７１７
【特許文献２】特開２０１０−１１８０１９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、撮像画像中の被写体の近傍に該被写体に関連した情報を表示することが必ずしも出来る訳ではないという問題がある。特許文献１では、予め登録してある顔画像情報などの特徴情報から撮影画像中の被写体を特定しようとしているため、登録してある画像と被写体の向きまたは位置が異なっていた場合には撮影画像中から被写体を特定することが難しい。即ち、リファレンス顔画像と撮像時の顔画像とでは、経時変化や撮像環境により特徴情報が大きく変動してしまい、登録してある画像を認識処理に用いるのみでは必ずしも高度な認識ができることが保障されているわけではない。特に、リファレンス画像と撮像時の顔画像の顔の向きが違う場合も特徴情報は多きく変動してしまう。また、非特許文献１及び特許文献２は、撮像位置／方向に基づいて、撮像範囲と思われる被写体の情報を撮像画像中に表示するので必ずしも撮像画像中の被写体に関する情報が表示される訳では無い。また、撮像画像中の被写体に関する情報が表示されているとしても、正確な被写体の撮像画像中の領域を特定するわけでは無いので、被写体に関連する情報が、どの被写体の情報であるのかユーザがわかるような形で表示されるとは限らない。
本発明は上述の課題を鑑みてなされた発明であり、撮像画像から所定のオブジェクトの認識率を向上し、特定したオブジェクトと所定の情報とを関連付けて表示させることを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決する手段として、撮像画像において所定のオブジェクトを特定するための第１の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第１の特定手段と、第１の他の装置が前記第１の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第２の特徴情報を取得する第２の特徴情報取得手段と、前記第１の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第２の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第２の特定手段と、前記第１の特定手段または第２の特定手段により特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御手段と、を有することを特徴とする情報処理装置を提供する。
【発明の効果】
【０００７】
本発明によれば、複数の特徴情報を用いて撮像画像から所定のオブジェクトの特定を行うので、所定のオブジェクトの認識率を上げることができる。したがって、所定のオブジェクトと所定の情報とを関連付けて表示する際の精度を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１乃至２におけるシステムの構成を示す図である。
【図２】実施例１におけるサーバのデータベース概念図である。
【図３】実施例１乃至２におけるデジタルカメラの構成を示す図である。
【図４】実施例１乃至２における携帯電話の構成を示す図である。
【図５】実施例１におけるデジタルカメラ１０１の撮影処理を示すシーケンス図である。
【図６】実施例１乃至２におけるデジタルカメラ１０１による撮影直後の画像データの一例を示す図である。
【図７】実施例１乃至２におけるデジタルカメラ１０１による画像合成後の画像データの一例を示す図である。
【図８】実施例１におけるデジタルカメラ１０２の撮影処理を示すシーケンス図である。
【図９】実施例１乃至２におけるデジタルカメラ１０２による撮影直後の画像データ一例を示す図である。
【図１０】実施例１乃至２におけるデジタルカメラ１０２による画像合成後の画像データ一例を示す図である。
【図１１】実施例２におけるデジタルカメラ１０１の撮影処理を示すシーケンス図である。
【図１２】実施例２におけるサーバのデータベース概念図である。
【図１３】実施例２におけるデジタルカメラ１０２の撮影処理を示すシーケンス図である。
【図１４】実施例１乃至２におけるデジタルカメラ１０１、１０２の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
［実施例１］
以下は、添付図面に従って本発明に係る各実施例を説明する。図１は本実施例におけるシステムの構成を示す。本実施例では、デジタルカメラ１０１およびデジタルカメラ１０２が人物１０５、人物１０６を撮影する場合について述べる。また、人物１０５は携帯電話１０３の所有者である。
【００１０】
サーバ１０４は、デジタルカメラ１０１、１０２から端末装置の識別情報を含んだ問い合わせを受信すると、データベースに保持する受信した識別情報に対応付けられた属性情報をデジタルカメラ１０１、１０２に送信する。また、サーバ１０４は、受信した識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報をデータベースにから取得し、デジタルカメラ１０１、１０２に送信する。
【００１１】
サーバ１０４が管理するデータベースに保持される情報の一例を図２に示す。データベースには、端末装置を一意に識別するための識別子として識別情報２０１、端末装置に対応する属性情報として所有者の名前２０２、端末装置に対応する人物を特定するために用いる特徴情報２０３とを夫々関連付けているテーブルデータが保持されている。識別情報２０１は、端末装置を一意に識別可能な識別子として、例えば、ＭＡＣアドレスや端末装置の所有者のユーザＩＤとする。名前２０２は、識別情報に関連付けられた属性情報の一例であり、デジタルカメラ１０１において撮像された画像と重畳して表示される情報である。なお、属性情報としては名前に限られず、ＵＲＬなどで外部のサイトへのリンクでもよいし、趣味や生年月日など複数の項目を有していてもよい。特徴情報２０３は、識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための情報である。本実施例においては、画像処理によるオブジェクト特定処理を行うためのリファレンス画像を特徴情報とする。なお、特徴情報としては、画像データに限られず、オブジェクト特定処理に用いるに任意の特徴情報であってよい。
【００１２】
デジタルカメラ１０１、デジタルカメラ１０２は、他の端末装置から受信した該端末装置の識別情報に関連付けられた属性情報をサーバ１０４から取得し、取得した属性情報と撮像画像とを合成して表示部に表示させる情報処理装置である。また、デジタルカメラ１０１、１０２は、取得した属性情報と撮像した画像上のオブジェクトとを関連付けて表示部に合成して表示させる。したがって、デジタルカメラ１０１、１０２の表示画面に重畳して例えば端末装置の所有者に関する情報を表示するので、ユーザは容易に撮像画像中のオブジェクトに関する情報を取得することが可能となる。また、撮像画像中のオブジェクトに関連付けて情報を表示するので、どのオブジェクトがどのような情報を発しているかを容易に識別することが可能となる。また、デジタルカメラ１０１、１０２は、ＩＥＥＥ８０２．１１シリーズに則った無線通信機能を有する。
【００１３】
携帯電話１０３は、定期的あるいは他の装置の要求に応じて、自装置を一意に識別可能な識別子を識別情報として発信する端末装置である。本実施例において、携帯電話１０３は、ＩＥＥＥ８０２．１１シリーズに則った無線通機能を有する。携帯電話１０３が発信する識別情報は、端末装置を一意に決定するための識別子であり、各装置にそれぞれ固有に設定される情報である。なお、識別情報として、端末装置のユーザを一意に識別するための情報であってもよい。識別情報はＩＥＥＥ８０２．１１シリーズに則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与され、送信されるものとする。携帯電話１０３の所有者は人物１０５であるとする。
【００１４】
続いて、情報処理装置であるデジタルカメラ１０１、１０２の構成を図３を用いて説明する。なお、デジタルカメラ１０１、１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。後述する処理は、ＣＰＵが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。無線通信制御部３０１は、外部装置との間で無線信号の送受信により通信を行うためにアンテナや回路を制御する。なお、無線通信制御部３０１はＩＥＥＥ８０２．１１シリーズに則った通信処理を制御するものとする。シャッターボタン３０２は撮影を開始するためのボタンで、ユーザのシャッターボタン３０２の押下を検出し、撮像部３０３において撮影処理の開始を制御する。撮像部３０３はレンズ、撮像素子、Ａ／Ｄ変換により構成され、レンズを介して取得した被写体光を撮像し、撮像した被写体光を画像データとして生成する。表示部３０４は、ディスプレイに撮像画像や各種情報を表示させる表示制御を行う。識別情報取得部３０５は、無線通信制御部３０１により受信した通信可能な範囲に存在する端末装置の識別情報を取得する。第１の特徴情報取得部３０６は、識別情報取得部３０５により取得した識別情報をもとにしてサーバ１０４に問い合わせを行い、識別情報に関連付けられ、予め登録されている特徴情報（第１の特徴情報）をサーバ１０４から取得する。属性情報取得部３０７は、識別情報取得部３０５が取得した識別情報をもとにしてサーバ１０４に問い合わせを行い、識別情報に関連付けられた属性情報をサーバ１０４から取得する。
【００１５】
第１の特定部３０８は、取得した特徴情報をもとに撮像部３０３により撮像された画像データ上から、所定のオブジェクトを特定するためのハードウェア乃至はプログラムである。なお、本実施例においては、第１の特定部３０８は公知のオブジェクト認識処理を行い、取得した特徴情報に対応するオブジェクトを検出する。合成部３０９は、画像データ上の第１の特定部３０８または第２の特定部３１２により特定されたオブジェクトの近傍または任意の場所に、対応する属性情報とオブジェクトとを関連付けて合成し、合成画像データを作成する。特徴情報生成部３１０は、第１の特定部３０８または後述する第２の特定部３１２により特定したオブジェクトに関する新たな特徴情報を、特定に用いた撮像画像に基づいて生成する。生成された特徴情報は記憶部３１３に保存される。
【００１６】
第２の特徴情報取得部３１１は無線制御部３０１を制御して、識別情報取得部３０５により取得した識別情報をもとにして他の装置に問い合わせを行い、識別情報に関連付けられ、他の装置により生成された特徴情報を取得する。第２の特定部３１２は、第２の特徴情報取得部３１１により取得された特徴情報をもとに撮像部３０３から得られた画像データから被写体を特定するためのプログラムまたはハードウェアである。記憶部３１３は、特徴情報生成部３１０で生成された特徴情報や各種情報を格納するためのメモリである。
【００１７】
続いて、携帯電話１０３の構成を図４を用いて説明する。携帯電話１０３は、ＩＥＥＥ８０２．１１シリーズに準拠した無線通信機能を有する。携帯電話１０３は自装置を一意に識別可能な識別情報を保持している。また、携帯電話１０３はＣＰＵを有し、後述する各処理は、ＣＰＵが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。図４に示すＲＦ部４０１は無線ＬＡＮで他の無線装置との間で無線信号の送受信を行うためのアンテナや回路を制御する。識別情報発信部４０２はＲＦ４０１を制御することで、保持する識別情報を定期的、もしくは他の装置からの要求に応じて報知する。識別情報発信部４０２は、識別情報（識別子）をＩＥＥＥ８０２．１１シリーズに則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与し、送信する。携帯電話制御部４０３は、携帯電話として動作するためのアンテナや回路を制御することで携帯電話通信網と接続し、他の装置と通信を行う。
【００１８】
以上説明を行った構成を有するシステムの動作を説明する。ここでは、デジタルカメラ１０１とデジタルカメラ１０２が撮影する際の処理の説明を行う。デジタルカメラ１０１、１０２が図１に示すように人物１０５と人物１０６を撮影する場合を例に述べる。デジタルカメラ１０１の撮像部３０３は人物１０５と人物１０６の正面に向いており、顔の検出、特定が可能である。一方、デジタルカメラ１０２の撮像部３０３は人物１０５と人物１０６の背面に向いており、正面から顔の撮像ができないものとする。
【００１９】
まず、デジタルカメラ１０１が撮影する場合を図５のシーケンス図を用いて説明する。まず、デジタルカメラ１０１は、シャッターボタン３０２の操作の検出により、撮影処理を開始する（Ｓ５０１）。撮影された画像を図６に示す。画像６０１が撮影された画像であり、画像６０１には、人物１０５と人物１０６が撮影されている。被写体画像６０２は人物１０５に対応する被写体画像（画像６０１中の領域）であり、被写体画像６０３は人物１０６に対応する被写体画像（画像６０１中の領域）である。次に、デジタルカメラ１０１の識別情報取得部３０５は通信可能な範囲に存在する端末装置に対して識別情報を要求する。具体的には、識別情報取得部３０５は無線通信制御部３０１を制御し、ＩＥＥＥ８０２．１１シリーズに則ったプローブ・リクエスト・フレームをブロードキャストで送信する（Ｓ５０２）。プローブ・リクエスト・フレームを受信した携帯電話１０３は、自装置の識別情報を付与したプローブ・レスポンス・フレームで応答する（Ｓ５０３）。デジタルカメラ１０１はプローブ・レスポンス・フレームを受信すると、識別情報取得部３０５は携帯電話１０３の識別情報を得ることができる。しかし、デジタルカメラ１０１はこの時点では、得られた識別情報が撮像画像中のどのオブジェクトに対応するものであるか、即ちどの人物が所有する装置から発信されかを認識することができない。
【００２０】
続いて、デジタルカメラ１０１は識別情報取得部３０５によって取得した識別情報を得ると、第１の特徴情報取得部３０６と属性情報取得部３０７を用いて、取得した識別情報に対応する特徴情報および属性情報を取得するためサーバ１０４に問い合わせる。（Ｓ５０４）。すなわち、デジタルカメラ１０１は携帯電話１０３から取得した識別情報に基づいて、該識別情報に対応するオブジェクトの特徴情報および属性情報をサーバ１０４に要求する。サーバ１０４はデジタルカメラ１０１からの問い合わせを受信すると、問い合わせに含まれる識別情報をもとにデータベースから該識別情報に関連付けられた属性情報と特徴情報とを検索する（Ｓ５０５）。サーバ１０４は受信した識別情報に関連付けられた属性情報と顔の特徴情報が取得できると、これらの情報をデジタルカメラ１０１に送信する（Ｓ５０６）。デジタルカメラ１０１は、サーバ１０４から属性情報と特徴情報（第１の特徴情報）を受信すると、第１の特定部３０８は、取得した特徴情報をもとに、画像６０１から該当するオブジェクトの特定を試みる（Ｓ５０７）。第１の特定部３０８は、得られた特徴情報と画像６０１から取得した顔画像の特徴とを比較し、画像６０１（人物１０５）が対応するオブジェクトであると特定する。デジタルカメラ１０１は、第１の特徴情報を用いて撮像画像からオブジェクトの特定に成功した場合、特徴情報生成部３１０により画像６０１から人物１０５に関する新たな特徴情報を生成する（Ｓ５０８）。本実施例においては、特徴情報生成部３１０は、特定できた人物の衣服（服装）に該当する領域の特徴情報を生成する。服装に関する特徴情報は、色彩に関する情報であるとする。なお、生成する特徴情報としては色彩に関する情報でなくとも、服装を特定するために用いる任意の情報を特徴情報として構わない。生成した服装の特徴情報は、他の端末装置からの要求が発生したときのために記憶部に保存される（Ｓ５０９）。
【００２１】
デジタルカメラ１０１の合成部３０９は、特定できた被写体画像６０２の近傍にＳ５０６で得られた属性情報を合成部３０９で合成し、表示部３０４は該合成画像を表示するよう表示制御を行う。（Ｓ５１０）。このときの表示部３０４に表示される画像のイメージを図７に示す。画像７０１は、撮像画像６０１と属性情報とを合成して生成され、表示部３０４により表示される画像の全体である。被写体画像７０２と被写体画像７０３はそれぞれ画像合成後の被写体画像６０２と被写体画像６０３に相当する。属性情報画像７０４はＳ５０６で得られた属性情報を画像として表示しているものであり、特定されたオブジェクトである被写体画像７０２に関連付けられて、その近傍（所定の距離内）に表示される。デジタルカメラ１０１のユーザは、これにより人物１０５に関する情報を視覚的に見ることができる。
【００２２】
次に、デジタルカメラ１０２が撮影する場合を図８のシーケンス図を用いて説明する。まず、デジタルカメラ１０２は、シャッターボタン３０２の操作の検出により、撮影処理を開始する（Ｓ５０１）。撮影された画像を図９に示す。画像９０１が撮影された画像であり、画像９０１には、人物１０５と人物１０６が撮影されている。被写体画像９０２は人物１０５に対応する被写体画像であり、被写体画像９０３は人物１０６に対応する被写体画像である。人物１０５と人物１０６ともに背面からの画像である。
【００２３】
Ｓ８０２からＳ８０６の処理は、Ｓ５０２からＳ５０６と同様であるので説明を省略する。Ｓ８０７はＳ５０７と同様に、サーバ１０４から取得した第１の特徴情報をもとに第１の特定部によって、画像９０１から該当するオブジェクトの特定を試みる。デジタルカメラ１０２から人物１０５は背面にあるため、取得した人物１０５の顔画像の特徴情報は、画像９０１上に存在しないため、特定処理に失敗する。デジタルカメラ１０２は、第１の特徴情報に基づいたオブジェクトの特定に失敗すると、別の特徴情報を用いての人物特定を試みる。そこで、デジタルカメラ１０２は第２の特徴情報取得部３１１により、特定処理に成功した周囲の装置から、特定処理に用いた撮像画像から生成した特徴情報（第２の特徴情報）の取得を試みる。具体的には、第２の特徴情報取得部３１１は、第２の特徴情報の要求を無線制御部３０１を介して通信可能な範囲に存在する周囲の端末装置に対してブロードキャストする（Ｓ８０８）。このときに、第２の特徴情報取得部は、特定処理の失敗したオブジェクトに対応する識別情報を付与することで、どのオブジェクトの特徴情報要求を行っているのか判別できるようにする。
【００２４】
デジタルカメラ１０１は、デジタルカメラ１０２から特徴情報要求を受信すると、要求に含まれる識別情報に対応するオブジェクトの特定に成功しているかを判定する。デジタルカメラ１０１は、上述したＳ５０７により、携帯電話１０３の識別情報に対応するオブジェクトの特定に成功している。したがって、Ｓ５０８において生成した被写体画像６０２（被写体画像７０２）から生成した特徴情報を記憶部３１３から取得して、該特徴情報をデジタルカメラ１０２に送信する（Ｓ８０９）。これにより、デジタルカメラ１０２は、取得した識別情報に対応する第１の特徴情報を用いて特定処理に失敗した場合でも、他の装置により生成された他の特徴情報（第２の特徴情報）を得ることができる。
【００２５】
デジタルカメラ１０２はデジタルカメラ１０１から第２の特徴情報を取得すると、それをもとに第２の特定部３１２によって、画像９０１から該当するオブジェクトの特定を試みる（Ｓ８１０）。第２の特定部３１２は、取得した第２の特徴情報と画像９０１から生成した画像特徴量を比較する。第２の特定部３１２は、取得した第２の特徴情報と被写体画像９０２の画像特徴量との相関が高く、所定の閾値を超えている場合は、被写体画像９０２を該当するオブジェクトと特定する。ここで、第２の特徴情報は、人物１０５の服装の色彩に関する特徴情報である、したがって、顔のように向きに関する特徴情報の変動が少ないため、向きに対してロバストに特定処理を行うことができる。特定処理に成功すると、デジタルカメラ１０２は特定できた被写体画像９０２の近傍にＳ８０６で得られた属性情報を合成部３０９で合成し、生成した画像を表示部３０４に表示する（Ｓ８１１）。
【００２６】
このときの表示部３０４に表示される画像のイメージを図１０に示す。画像１００１は表示部３０４に表示される画像の全体である。被写体画像１００２と被写体画像１００３はそれぞれ画像合成後の被写体画像９０２と被写体画像９０３に相当する。属性情報画像９０４はＳ８０６で得られた属性情報を画像として表示しているものであり、属性情報と特定したオブジェクトである被写体画像１００３とを関連付けて表示する。
【００２７】
以上説明したように、本実施例では、デジタルカメラ１０２は、取得した携帯電話１０３の識別子に対応するオブジェクトを特定するための第１の特徴情報を用いて撮像画像からオブジェクト検出、特定を試みる。また、第１の特徴情報を用いてオブジェクトの特定に成功した装置に対して、第１の特徴情報を用いてオブジェクトの特定に成功した撮像画像から生成した新たな特徴情報（第２の特徴情報）を取得する。デジタルカメラ１０２は、第１の特徴情報を用いて特定に失敗した場合は、第２の特徴情報を用いて再度オブジェクトの特定を試みることができる。このように、予め登録されている第１の特徴情報から画像中からオブジェクトを特定できなかった場合においても、別の装置が新たに生成した特徴情報によりオブジェクトを特定できる。
【００２８】
また、通信可能な周囲の装置に対してブロードキャストで第２の特徴情報の要求を行うため、被写体の近くに存在し、直近に該当するオブジェクトの特定に成功している可能性が高い装置に該要求が受信される。そのため、経時変化が少ない特徴情報を用いて再度特定処理を行うので認識率を向上することができる。また、第２の特徴情報として向きにロバストな特徴情報を用いることで認識率を向上することができる。
【００２９】
したがって、認識率が向上することにより、オブジェクトとオブジェクトに関する属性情報を関連付けて表示することができるので、どの情報がどのオブジェクトに関するものかユーザが容易にわかるような形で表示を行うことができる。
【００３０】
［実施例２］
本実施例と実施例１との差異は、第２の特徴情報の格納の方法と、第２の特徴情報の取得方法である。具体的には、実施例１においては、第２の特徴情報をデジタルカメラ１０２は第２の特徴情報を生成したデジタルカメラ１０１から取得した。即ち、第２の特徴情報を生成した装置と取得先の装置が同一である例を示した。本実施例では、第２の特徴情報を生成した装置と取得先の装置が同一でない例を示す。システムの構成、およびデジタルカメラ１０１、１０２、および携帯電話１０３は、実施例１と同様に図１と図３と図４で示される。実施例１と同様である点に関しては、ここでは説明を省略する。
【００３１】
図１１はデジタルカメラ１０１が、人物１０５、１０６を正面から撮影する際の処理のシーケンス図である。Ｓ１１０１からＳ１１０８は、実施例１のＳ５０１からＳ５０８と同じであるので説明は省略する。デジタルカメラ１０１は特定処理に成功した撮像画像から新たに特徴情報を生成すると、生成した特徴情報と携帯電話１０３の識別情報とを関連付けてサーバ１０４に送信する（Ｓ１１０９）。サーバ１０４は受信した識別情報をもとに、送信された特徴情報をデータベースに登録する（Ｓ１１１０）。
【００３２】
サーバ１０４のデータベースの概念図を図１２に示す。各人物に対して、識別情報、属性情報（名前）、第１の特徴情報、第２の特徴情報が夫々関連付けられている。また、第２の特徴情報は、必ずしも登録されているとは限らない。
【００３３】
デジタルカメラ１０１は生成した特徴情報を送信した後に、被写体の近傍に属性情報を表示する（Ｓ１１１１）。得られる画像データは実施例１と同様に図７で示される。Ｓ１１１１は、実施例１におけるＳ５１０と同様の処理であるので詳細な説明は省略する。
【００３４】
図１３はデジタルカメラ１０２が、後ろ姿の人物１０５、１０６を撮影する際の処理のフローチャートである。Ｓ１３０１からＳ１３０７までの処理はＳ８０１からＳ８０７と同じであるので説明は省略する。デジタルカメラ１０２はＳ１３０７で第１の特徴情報に基づいた特定処理に失敗すると、サーバ１０４に第２の特徴情報を要求する（Ｓ１３０８）。このとき、携帯電話１０３の識別情報をクエリに問い合わせを行う。
【００３５】
サーバ１０４は携帯電話１０３の識別情報に対応する第２の特徴情報の要求を受信すると、データベースから該識別情報に関連付けられた第２の特徴情報を検索する（Ｓ１３０９）。ここで検索結果としてデジタルカメラ１０１がＳ１１０９で送信した第２の特徴情報を得ることができる。サーバ１０４は検索した第２の特徴情報をデジタルカメラ１０２に応答として返す（Ｓ１３１０）。これにより、デジタルカメラ１０２は第２の特徴情報を得ることができる。Ｓ１３１１、Ｓ１３１２の処理はＳ８１０、Ｓ８１１と同じ処理であるので説明は省略する。これらの撮影処理を実施することで、図１０のような画像データを得ることができ、人物１０５の後ろ姿からでも人物１０５を特定することができ、その属性情報を視覚的に見ることができる。
【００３６】
実施例２では、人物を特定できたデジタルカメラがサーバに生成した特徴情報を送信し、サーバが登録する。そのため、撮影時に周囲に人物を特定できたデジタルカメラが存在しない場合でも、サーバに問い合わせることで、生成された特徴情報を用いて画像データ中から特定することができる。
【００３７】
以上説明を行った実施例１および実施例２のデジタルカメラ１０１、１０２の動作を図１４に示すフローチャートを用いてまとめる。まず、デジタルカメラ１０１、１０２のシャッターボタン３０２を操作することで撮影処理が開始される（Ｓ１４０１）。なお、ここでシャッターボタン３０２の操作とは、シャッターボタン３０２の半押し等の所定の操作により開始される自動焦点制御の指示も含む。続いて、撮影処理が開始されると、デジタルカメラ１０１は通信可能な範囲に存在する端末装置から識別情報（識別子）を取得する（Ｓ１４０２）。識別子が取得できなければ、属性情報を表示しないことを決定して（Ｓ１４１３）、処理を処終了する。
【００３８】
デジタルカメラ１０１、１０２は、通信可能な範囲に存在する端末装置の識別情報を取得すると、取得した識別情報を含む要求を行い、サーバ１０４から識別情報に関連付けられた属性情報および特徴情報を取得する（Ｓ１４０３）。デジタルカメラ１０１、１０２の第１の特定部３０８は、取得した特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる（Ｓ１４０４）。続いて、デジタルカメラ１０１、１０２はＳ１４０４による特定処理が成功したかを判断する（Ｓ１４０５）。Ｓ１４０５の結果、特定処理が成功した場合は、Ｓ１４１１に処理を進める。
【００３９】
一方、Ｓ１４０５の結果、特定処理が失敗した場合は、第２の特徴情報取得部３１１は、Ｓ１４０３で取得した識別子を含めて、他の装置に第２の特定情報を要求する（Ｓ１４０７）。ここで、他の装置とは実施例１では周囲に存在するデジタルカメラであり、実施例２ではサーバ１０４である。続いて、デジタルカメラ１０１、１０２はＳ１４０６による要求の他の装置からの応答があるかどうかを判定する（Ｓ１４０７）。Ｓ１４０７の結果、応答がある場合は、Ｓ１４０８に処理を進め、ない場合は属性情報を表示しないことを決定して（Ｓ１４１３）、処理を終了する。
【００４０】
デジタルカメラ１０１、１０２の第２特徴情報取得部３１１は、他の装置からの応答に含まれる第２の特徴情報を取得する（Ｓ１４０８）。続いて、第２の特定部３１２は、取得し第２の特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる（Ｓ１４０９）。デジタルカメラ１０１、１０２はＳ１４０９による特定処理が成功したかを判断する（Ｓ１４１０）。Ｓ１４１０の結果、特定処理が成功した場合は、Ｓ１４１１に処理を進める。一方、Ｓ１４１０の結果、特定処理が失敗した場合は属性情報を表示しないことを決定して（Ｓ１４１３）、処理を処終了する。
【００４１】
Ｓ１４１１では、特徴情報生成部３１０は特定処理に成功した撮像画像から特定したオブジェクトに関する特徴情報を新たに生成する。生成された特徴情報は、実施例１では他の装置から要求があれば送信するために記憶部３１３に保持する。実施例２では、生成された特徴情報は、サーバ１０４に送信される。Ｓ１４１２では、撮像画像から識別情報に対応するオブジェトを検出し、特定されると、合成部３０９は、検出されたオブジェクトと関連付けてその近傍に属性情報を合成する。そして、表示部３０４は該合成画像を表示する（Ｓ１４１２）。このように、予め登録されている第１の特徴情報から画像中からオブジェクトを特定できなかった場合においても、別の装置が新たに生成した特徴情報によりオブジェクトを特定できる。そして、デジタルカメラ１０１のユーザは、属性情報がオブジェクトに関連付けられて表示される合成画像を見ることにより、撮像画像中のオブジェクトに関連する情報を得ることができる。また、ユーザは、表示された情報がどのオブジェクトに関連付けられた情報であることが容易に知ることができる。
【００４２】
（その他の実施形態）
その他の構成として、本発明は静止画によらず動画像において人物を特定し、属性情報を表示してもよい。その場合、動画像の各フレームを静止画として連続して処理することで実現してもよい。識別情報の発信や取得などに関わる通信は、ＩＥＥＥ８０２．１１シリーズに則った無線ＬＡＮの通信に限らず、Ｂｌｕｅｔｏｏｔｈ（登録商標）やパッシブ／アクティブ型のＲＦＩＤなどでよい。また、無線ＬＡＮとパッシブ型ＲＦＩＤなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。また、デジタルカメラ１０１、１０２に識別情報発信部を備え付けて、デジタルカメラにおいても識別情報を発信してもよい。
【００４３】
また、実施例１、２では、第一の特徴情報として顔の特徴情報、第二の特徴情報として服装の特徴情報を用いたが、本発明はどの特徴情報を用いるかどうかは規定しない。第一の特徴情報として服装の特徴情報を用いて、第二の特徴情報として顔の特徴情報を用いてもよい。また、第一の特徴情報として、顔の特徴情報と服装の特徴情報といった複数の特徴情報を組み合わせてもよい。ただし第一の特徴情報は、顔のようにあまり中期的に変化しない特徴情報であることが好ましい。一方で、第二の特徴情報は、その都度、新しく生成される特徴情報であるので、服装のように変化がある特徴情報であってもよい。
【００４４】
ただし、変化が激しい特徴情報を用いた場合には、記憶部３１３は服装の特徴情報を記憶した後に、一定時間経過後は該服装の特徴情報をクリアすることが望ましい。あるいは、日付が変わる等、ある特定の時間帯のタイミングでクリアしてもよい。
【００４５】
その他の特徴情報としては、髪型や帽子や装飾品などから特徴情報を用いてもよい。また、第一の特徴情報で顔の特徴情報を用いて、第二の特徴情報として、特定した人物の顔の下にある色や形に基づいて特徴情報を生成してもよい。また顔と体の割合に基づいて特徴情報を生成してもよい。周りの物体との大きさの比率などから特徴情報を算出してもよい。
【００４６】
また、本発明は、以下の処理を実行することによっても実現される。上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは情報処理装置に供給し、そのシステム或いは情報処理装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４７】
１０１、１０２ デジタルカメラ
１０３ 携帯電話
１０４ サーバ
１０５、１０６ 人物
【特許請求の範囲】
【請求項１】
情報処理装置であって、
撮像画像において所定のオブジェクトを特定するための第１の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第１の特定手段と、
第１の他の装置が前記第１の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第２の特徴情報を取得する第２の特徴情報取得手段と、
前記第１の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第２の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第２の特定手段と、
前記第１の特定手段または第２の特定手段により特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項２】
第２の他の装置の識別子を取得する識別情報取得手段と、
前記識別情報取得手段により取得した識別子に関連付けられた情報を取得する情報取得手段とを更に有し、
前記所定のオブジェクトに関する情報は、前記情報取得手段により取得された情報であることを特徴とする
を更に有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の特定手段または前記第２の特定手段により前記撮像画像から前記所定のオブジェクトの特定に成功した場合、当該撮像画像から前記所定のオブジェクトに関する第３の特徴情報を生成する生成手段とを更に有することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記生成手段が生成した前記第３の特徴情報を第３の他の装置に送信する送信手段を有することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記識別情報取得手段が取得した前記識別子を含めて、当該識別子に関連付けられた前記所定のオブジェクトを前記撮像画像から特定するための前記第２の特徴情報を送信するように第４の他の装置に要求する要求手段を更に有し、
前記第２の特徴情報取得手段は、前記要求手段の要求に対する前記第４の他の装置の応答から前記第２の特徴情報を取得することを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記第１の他の装置と前記第４の他の装置とが同一の装置であることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記所定のオブジェクトは、前記識別情報取得手段により取得した識別子に関連付けられていることを特徴とする請求項２、５、６の何れか１項に記載の情報処理装置
【請求項８】
前記第１の特徴情報を外部装置から取得する第１の特徴情報取得手段を更に有することを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
【請求項９】
前記第１の特徴情報と前記第２の特徴情報は、異なる外部装置から夫々取得されることを特徴とする請求項１乃至８何れか１項に記載の情報処理装置。
【請求項１０】
情報処理装置の制御方法であって、
撮像画像において所定のオブジェクトを特定するための第１の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第１の特定工程と、
第１の他の装置が前記第１の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第２の特徴情報を取得する第２の特徴情報取得工程と、
前記第１の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第２の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第２の特定工程と、
前記第１の特定工程または第２の特定工程において特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項１１】
情報処理装置に請求項９記載の制御方法を実行させるためのプログラム。
【請求項１】
情報処理装置であって、
撮像画像において所定のオブジェクトを特定するための第１の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第１の特定手段と、
第１の他の装置が前記第１の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第２の特徴情報を取得する第２の特徴情報取得手段と、
前記第１の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第２の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第２の特定手段と、
前記第１の特定手段または第２の特定手段により特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項２】
第２の他の装置の識別子を取得する識別情報取得手段と、
前記識別情報取得手段により取得した識別子に関連付けられた情報を取得する情報取得手段とを更に有し、
前記所定のオブジェクトに関する情報は、前記情報取得手段により取得された情報であることを特徴とする
を更に有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の特定手段または前記第２の特定手段により前記撮像画像から前記所定のオブジェクトの特定に成功した場合、当該撮像画像から前記所定のオブジェクトに関する第３の特徴情報を生成する生成手段とを更に有することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記生成手段が生成した前記第３の特徴情報を第３の他の装置に送信する送信手段を有することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記識別情報取得手段が取得した前記識別子を含めて、当該識別子に関連付けられた前記所定のオブジェクトを前記撮像画像から特定するための前記第２の特徴情報を送信するように第４の他の装置に要求する要求手段を更に有し、
前記第２の特徴情報取得手段は、前記要求手段の要求に対する前記第４の他の装置の応答から前記第２の特徴情報を取得することを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記第１の他の装置と前記第４の他の装置とが同一の装置であることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記所定のオブジェクトは、前記識別情報取得手段により取得した識別子に関連付けられていることを特徴とする請求項２、５、６の何れか１項に記載の情報処理装置
【請求項８】
前記第１の特徴情報を外部装置から取得する第１の特徴情報取得手段を更に有することを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
【請求項９】
前記第１の特徴情報と前記第２の特徴情報は、異なる外部装置から夫々取得されることを特徴とする請求項１乃至８何れか１項に記載の情報処理装置。
【請求項１０】
情報処理装置の制御方法であって、
撮像画像において所定のオブジェクトを特定するための第１の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第１の特定工程と、
第１の他の装置が前記第１の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第２の特徴情報を取得する第２の特徴情報取得工程と、
前記第１の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第２の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第２の特定工程と、
前記第１の特定工程または第２の特定工程において特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項１１】
情報処理装置に請求項９記載の制御方法を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１１４６５３（Ｐ２０１３−１１４６５３Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６３４１９（Ｐ２０１１−２６３４１９）
【出願日】平成２３年１２月１日（２０１１．１２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１２月１日（２０１１．１２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]