説明

情報処理装置、情報処理装置の制御方法、およびプログラム

【課題】被写体に関する情報を表示するまでの時間を短縮すると共に、当該表示している情報と関連付けられた被写体をユーザに通知する。
【解決手段】情報処理装置であって、画像を取得する第1の取得部と、他の通信装置から、当該他の通信装置を識別するための識別情報を受信する受信部と、前記識別情報と関連付けられた属性情報を取得する第2の取得部と、前記識別情報と関連付けられた特徴情報に基づいて、前記第1の取得部により取得された前記画像の中から所定の被写体を特定する特定部と、前記特定部により前記被写体が特定される前には前記属性情報を、表示部における前記画像上の所定の場所に表示させ、前記特定部により前記被写体が特定された後には前記属性情報を、前記表示部における前記画像上の前記被写体と関連付けられた場所に表示させる表示部とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
【背景技術】
【0002】
近年、カメラ等で撮影した現実環境の画像に、現実環境中の物体の属性情報や、CG(Computer Graphics)を用いたバーチャルな物体等を、付加、合成するAR(Augmented Reality:拡張現実)技術が盛んである。例えば、ユーザがカメラをかざすと、GPS(Global Positioning System)による位置情報に基づいて現実の映像上に関連するタグ情報を画面上に重ね合わせて表示する携帯電話用拡張現実ソフトウェアなども登場している。
【0003】
このようなARシステムにおいて被写体の近傍に被写体に関連した情報を表示することが必要とされている。すなわち、撮影画像中に様々な被写体が含まれている場合、被写体に関連するそれぞれの情報が、どの被写体の情報であるのかユーザがわかるような形で表示したいというニーズがある。
【0004】
特許文献1に記載のカメラは、撮影した画像に対し、この撮影画像中の被写体人物に関連した情報を合成して表示する。特許文献1に記載のカメラは、被写体人物が所持する携帯情報機器等から顔情報等を取得して、取得した顔情報から画像認識処理を行うことによって撮影画像中の被写体を特定する。これにより、撮影画像中から被写体を特定できるので、その近傍に被写体に関連した情報を表示することができる。
【0005】
また、特許文献2では、撮像処理により得られた画像の特徴量だけではなく、撮像位置または撮像方向をクエリとして被写体に関する情報を取得して、当該情報を撮影画像中の対応する被写体近傍に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2002−305717号公報
【特許文献2】特開2010−061265号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、画像処理などによって被写体の特定を行った場合、被写体の特定に時間がかかることがある。そのため、被写体を特定した後に、特定した被写体に関する情報を表示するのでは、当該情報を表示するまでに時間を要してしまい、ユーザの使い勝手が悪くなる可能性がある。
【0008】
上記の課題に鑑み、本発明は、被写体に関する情報を表示するまでの時間を短縮すると共に、当該表示している情報と関連付けられた被写体をユーザに通知することを目的とする。
【課題を解決するための手段】
【0009】
上記の目的を達成する本発明に係る情報処理装置は、
情報処理装置であって、
画像を取得する第1の取得手段と、
他の通信装置から、当該他の通信装置を識別するための識別情報を受信する受信手段と、
前記識別情報と関連付けられた属性情報を取得する第2の取得手段と、
前記識別情報と関連付けられた特徴情報に基づいて、前記第1の取得手段により取得された前記画像の中から所定の被写体を特定する特定手段と、
前記特定手段により前記被写体が特定される前には前記属性情報を、表示部における前記画像上の所定の場所に表示させ、前記特定手段により前記被写体が特定された後には前記属性情報を、前記表示部における前記画像上の前記被写体と関連付けられた場所に表示させる表示手段とを有する
ことを特徴とする。
【発明の効果】
【0010】
本発明によれば、被写体に関する情報を表示するまでの時間を短縮すると共に、当該表示している情報と関連付けられた被写体をユーザに通知することができる。
【図面の簡単な説明】
【0011】
【図1】第1実施形態に係るシステムの構成を示す図。
【図2】第1実施形態に係るサーバが保持するデータベースの一例を示す図。
【図3】第1実施形態に係るデジタルカメラの内部構成を示す図。
【図4】第1実施形態に係る携帯電話の内部構成を示す図。
【図5】第1実施形態に係るシステムを構成する各機器の動作を示すシーケンス図。
【図6】第1実施形態に係る撮影開始時にデジタルカメラの画面に表示されている画像の一例を示す図。
【図7】第1実施形態に係るプレビュー画像生成処理の手順を示すフローチャート。
【図8】第1実施形態に係るプレビュー画像の一例を示す図。
【図9】第1実施形態に係る本画像生成処理の手順を示すフローチャート。
【図10】第1実施形態に係る本画像の一例を示す図。
【図11】第2実施形態に係るデジタルカメラの撮影処理の手順を示すフローチャート。
【図12】第3実施形態に係るデジタルカメラの内部構成を示す図。
【図13】第3実施形態に係るプレビュー画像生成処理の手順を示すフローチャート。
【図14】第3実施形態に係るプレビュー画像の一例を示す図。
【図15】第4実施形態に係る本画像生成処理の手順を示すフローチャート。
【図16】第4実施形態に係る本画像の一例を示す図。
【発明を実施するための形態】
【0012】
(第1実施形態)
本発明に係る情報処理装置は、被写体が画像中から特定される前には被写体に関する属性情報を、画像上の所定の場所(被写体の位置とは無関係な場所)に表示させて、被写体が特定された後には属性情報を、画像上における被写体と関連付けられた場所(例えば、被写体の上部に所定距離だけ離れた場所など)に表示させる。
【0013】
図1を参照して、本実施形態におけるシステムの構成を説明する。本実施形態では、デジタルカメラ101が撮影を行い周囲の情報を得る場合について述べる。デジタルカメラ101は、本発明を適用可能な情報処理装置であり、IEEE802.11規格に則った無線LAN機能を有する。デジタルカメラ101の所有者は図示していない。デジタルカメラ101は、撮像機能を有しており、当該機能を用いて撮影を行い画像を取得する(第1の取得処理)。
【0014】
また、デジタルカメラ101は、被写体となるオブジェクトの特徴情報に基づいて、撮影画像中からそのオブジェクトを特定する。そして、デジタルカメラ101は、そのオブジェクトに関する属性情報を、撮影画像上のオブジェクトの近傍に、重ね合わせて表示する。デジタルカメラ101の撮影範囲には人物102、人物104が存在する。図1に示す例では、人物106はデジタルカメラ101の撮影範囲には存在しない。
【0015】
携帯電話103、携帯電話105、携帯電話107はIEEE802.11規格に則った無線LAN機能を有する。携帯電話は定期的に、あるいは他端末の要求に応じて、当該携帯得電話を識別するための識別情報を発信する。識別情報は、端末の所有者を一意に決定するための識別情報であり、各無線LAN端末にそれぞれ固有に設定される情報である。識別情報はIEEE802.11規格に則ったビーコン・フレームのInformation Elementの一要素として付与されて、送信されるものとする。携帯電話103、携帯電話105、携帯電話107の所有者は、それぞれ人物102、人物104、人物106である。
【0016】
サーバ109は、ネットワーク108を介して、デジタルカメラ101が取得した識別情報に基づいてデジタルカメラ101から送信された問い合わせを受信すると、サーバ109自身が保持するデータベースから、その識別情報を発信する端末の所有者の属性情報や、端末の所有者を認識するための特徴情報を応答する。サーバ109は、デジタルカメラ101にとっての外部サーバである。
【0017】
図2を参照して、サーバ109が保持するデータベースの一例を説明する。サーバ109には、端末の所有者を一意に決定するための識別情報が登録されており、更にそれぞれに該所有者の属性情報として名前およびコメントが登録されており、また特徴情報も顔の特徴情報として登録されている。典型的には、名前やコメントはテキストデータであり、顔の特徴情報はバイナリデータとしてデータベースに格納されている。本実施形態では、サーバ109が保持するデータベースには、人物102、人物104、人物106の識別情報と、属性情報としての名前およびコメントと、特徴情報とが関連付けられて格納されている。
【0018】
図3を参照して、本実施形態における情報処理装置として機能するデジタルカメラ101の内部構成を説明する。デジタルカメラ101は、無線通信制御部301と、シャッターボタン302と、撮像部303と、表示部304と、識別情報取得部305と、顔特徴情報取得部306と、属性情報取得部307と、被写体顔特定部308と、プレビュー画像合成部309と、画像合成部310と、位置情報取得部311と、記憶部312とを備える。なお、各処理部は不図示のCPUによりその動作を制御される。
【0019】
無線通信制御部301は、無線LANを用いて他の無線通信装置(本実施形態では携帯電話)との間で無線信号の送受信を行うためのアンテナおよび回路を制御する。シャッターボタン302は、撮影を開始するためのボタンであり、ユーザがシャッターボタン302を押下することにより撮像部303において撮影処理が開始される。撮像部303は、撮影を実施してA/D変換を行い、画像データを作成する。表示部304は、撮影した画像データを表示するための液晶ディスプレイである。
【0020】
識別情報取得部305は、無線通信制御部301を制御することにより識別情報を外部の無線通信装置から受信する。顔特徴情報取得部306は、識別情報取得部305が取得した識別情報に基づいて、無線通信制御部301を制御することによりサーバ109へ、識別情報に関連付けられた顔特徴情報を問い合わせて取得する(第3の取得処理)。なお特徴情報は、必ずしも外部サーバ等から取得する必要はなく、予め複数の被写体に関する特徴情報を保持していてもよい。また、顔の特徴情報に限らず、人物全体の特徴情報を用いてもよく、両者を併用してもよい。人物を特定できれば何れの特徴情報であってもよい。
【0021】
属性情報取得部307は、識別情報取得部305が取得した識別情報に基づいて、無線通信制御部301を制御することによりサーバ109へ、識別情報に関連付けられた属性情報、すなわち名前やコメントを問い合わせて取得する(第2の取得処理)。
【0022】
被写体顔特定部308は、顔特徴情報取得部306が取得した顔の特徴情報に基づいて、撮像部303により撮影された画像データ中から、被写体の位置を特定する。被写体を認識して特定する技術としては、画像から抽出される特徴量と、特徴情報とのマッチングする技術を用いればよい。なお、特定が可能であれば公知の何れの技術を用いることも可能であるが、特定の方法は限定されない。
【0023】
プレビュー画像合成部309は、属性情報取得部307により取得された属性情報を画像中に合成して第1の画像を生成する。プレビュー画像合成部309では、被写体顔特定部308で特定した被写体の位置は必ずしも用いる必要はなく、画像中の任意の位置に属性情報を合成すればよい。
【0024】
画像合成部310は、被写体顔特定部308により特定された被写体の近傍または任意の場所に、属性情報取得部307により取得された被写体の属性情報を合成し、第2の画像を生成する(第2の画像生成処理)。位置情報取得部311は、デジタルカメラ101の位置を特定するための緯度、経度、方位、高度などの情報を取得する。位置情報取得部311は、GPS機能や電子コンパス機能を有する。記憶部312は、デジタルカメラ101を制御するためのプログラムや各種データを格納可能なROMやRAM等のメモリである。
【0025】
図4を参照して、携帯電話103、携帯電話105、携帯電話107の内部構成を説明する。携帯電話103を代表として以下説明するが、携帯電話105、携帯電話107の内部構成も同様である。
【0026】
携帯電話103は、無線通信制御部401と、識別情報発信部402と、携帯電話制御部403と、位置情報取得部404とを備える。無線通信制御部401は、無線LANを用いて他の無線通信装置との間で無線信号の送受信を行うためのアンテナおよび回路を制御する。識別情報発信部402は、無線通信制御部401を制御することにより、識別情報を定期的にあるいは外部からの要求に応じて、外部へ送信する。識別情報はIEEE802.11規格に則ったビーコン・フレームのInformation Elementの一要素として付与されて、送信される。
【0027】
携帯電話制御部403は、携帯電話としての動作を制御する。位置情報取得部404は、端末の位置を特定するための緯度、経度、方位、高度などの情報を取得する。位置情報取得部404は、GPS機能または電子コンパス機能を有する。なお、各処理部は不図示のCPUによりその動作を制御される。
【0028】
次に、図5のシーケンス図を参照して、デジタルカメラ101、携帯電話103、携帯電話105、携帯電話107およびサーバ109の処理について説明する。まず、ユーザがデジタルカメラ101のシャッターボタン302を押下することにより撮影が開始される(S501)。図6は、この際にデジタルカメラ101の表示部304に表示されている画像を示す。画像601は、撮像部303によって生成された画像である。画像601には被写体画像602と被写体画像603とが表示されている。被写体画像602と被写体画像603とは、それぞれ人物102と人物104とが撮影された画像に相当する。
【0029】
次に、デジタルカメラ101は、識別情報取得部305により周囲の端末に対して識別情報をデジタルカメラ101へ送信するように要求する。具体的には、無線通信制御部301によりIEEE802.11規格に則ったプローブ・リクエスト・フレームをブロードキャストで送信する(S502)。
【0030】
プローブ・リクエスト・フレームを受信した携帯電話103、携帯電話105、および携帯電話107は、それぞれの位置情報取得部404により自身の位置情報を取得する(S503、S504、S505)。
【0031】
そして、携帯電話103、携帯電話105、および携帯電話107は、識別情報と位置情報とを付与したプローブ・レスポンス・フレームをそれぞれデジタルカメラ101へ応答する(S506)。デジタルカメラ101は、プローブ・レスポンス・フレームを受信すると、携帯電話103、携帯電話105、および携帯電話107それぞれの識別情報と位置情報とを得ることができる。取得される識別情報は、図2で説明したような、人物102、人物104、および人物106の3つの識別情報である。
【0032】
デジタルカメラ101は、識別情報取得部305により識別情報を取得すると、次に属性情報取得部307を用いて、その識別情報を発信する人物の属性情報をサーバ109に問い合わせる(S507)。このとき、携帯電話103、携帯電話105、および携帯電話107から取得した識別情報を当該問い合わせに対して付与することで、どの人物の情報を得たいのかをサーバ109が判別することができる。
【0033】
サーバ109は、デジタルカメラ101から属性情報の要求を受信すると、受信した識別情報に基づいてデータベースから当該識別情報に関連付けられた属性情報を検索する(S508)。サーバ109は該識別情報に関連付けられた属性情報として名前、コメントを取得すると、これらの属性情報をデジタルカメラ101へ送信する(S509)。デジタルカメラ101は、位置情報取得部311によりデジタルカメラ101の位置情報を取得する(S510)。
【0034】
次に、デジタルカメラ101は、プレビュー画像合成部309によりプレビュー画像を生成し、表示部304を用いて該プレビュー画像を表示する(S511)。プレビュー画像の生成処理の詳細については図7を参照して後述する。
【0035】
次に、デジタルカメラ101は、顔特徴情報取得部306を用いて、S506で取得した識別情報を発信する人物の特徴情報をサーバ109へ問い合わせる(S512)。このとき、S506で取得した識別情報を問い合わせに対して付与することで、どの人物の顔特徴情報を得たいのかをサーバ109が判別することができる。
【0036】
サーバ109は、特徴情報の要求を受信すると、受信した要求に含まれる識別情報に基づいてデータベースの中から当該識別情報に関連付けられた顔の特徴情報を検索する(S513)。サーバ109は、当該識別情報に関連付けられた顔特徴情報を取得すると、当該顔特徴情報をデジタルカメラ101へ送信する(S514)。
【0037】
デジタルカメラ101は、サーバ109から顔の特徴情報を取得すると、当該顔の特徴情報に基づいて画像合成部310により本画像を生成する(S515)。本画像の生成処理の詳細については図9を参照して後述する。以上で図5に示すシーケンスが終了する。
【0038】
ここで、図7のフローチャートを参照して、S511におけるプレビュー画像合成部309によるプレビュー画像生成処理の手順を説明する。プレビュー画像生成処理は、S506でデジタルカメラ101が取得した識別情報のそれぞれに対して行われる。ここでは、人物102、人物104、人物106の順に処理を行うものとする。
【0039】
まず、S701において、プレビュー画像合成部309は、外部から取得した識別情報のうち未処理の識別情報があるか否かを判定する。未処理の識別情報があると判定された場合(S701;YES)、S702へ進む。一方、全ての識別情報を処理したと判定された場合(S701;NO)、処理を終了する。最初は、人物102、人物104、人物106のそれぞれの識別情報に対してまだ処理を行っていない状態であるので、S702へ進む。
【0040】
次に、S702において、プレビュー画像合成部309は、外部から取得した識別情報のうち未処理の識別情報を1つ選択する。ここではまず人物102の識別情報についての処理を行うものとする。プレビュー画像合成部309は、識別情報と関連付けられた人物102の属性情報である名前およびコメントを、図6で示した画像601中に合成する。これにより、人物102の識別情報に対しての処理は完了する。
【0041】
次に、S701に戻って再び判定処理を行う。ここでは人物104、人物106のそれぞれの識別情報に対してまだ処理を行っていない状態であるため、再びS702へ進む。プレビュー画像合成部309は、同様に、識別情報と関連付けられた人物104の属性情報である名前およびコメントを、図6で示した画像601中に合成する。
【0042】
次に、S701に戻って再び判定処理を行う。ここでは人物106の識別情報に対してまだ処理を行っていない状態であるため、再びS702へ進む。プレビュー画像合成部309は、同様に、識別情報と関連付けられた人物106の属性情報である名前およびコメントを、図6で示した画像601中に合成する。
【0043】
なお、ここではS510で取得したデジタルカメラ101の位置情報、S506で取得した携帯電話103、携帯電話105、および携帯電話107の位置情報をさらに使用してもよい。具体的には、デジタルカメラ101と携帯電話103との位置関係に基づいて、例えばデジタルカメラ101の撮影範囲に携帯電話103が存在するか否かを判定する。撮影可能範囲内に携帯電話103が存在しないと判定された場合には、属性情報を表示しないように構成してもよい。携帯電話105、携帯電話107についても同様である。人物102、人物104、人物106の識別情報それぞれに対する処理が完了すると、図7のフローチャートの処理が終了する。
【0044】
図8は、図7の処理に基づいて合成されたプレビュー画像の例を示す。画像601中に合成された、ふきだし画像801、ふきだし802、ふきだし803は、それぞれ人物102、人物104、人物106の属性情報である。なお、図8の例では画像601中にふきだし画像に対応する人物が存在するか否かに関わらず、ふきだし画像を表示している。ふきだし画像を表示する画像中の位置は任意であってもよい。しかしながら、位置情報に基づいて、画像601中に存在しない人物に対応するふきだし画像(図8の例ではふきだし画像803)を表示しないように構成することも可能である。なお位置情報を用いる場合、被写体画像602に対応する人物102がデジタルカメラ101から見て正面左側方向に存在すると推定されるため、ふきだし画像801は画像601中の左側に表示されてもよい。同様に、被写体画像603に対応する人物104がデジタルカメラ101から見て中央付近に存在すると推定されるため、ふきだし画像802は画像601中の中央付近に表示される。人物106がデジタルカメラ101の撮影範囲に存在しないと推定されるため、ふきだし画像803は任意の位置、例えば右側に表示される。
【0045】
次に図9のフローチャートを参照して、デジタルカメラ101の本画像生成処理の手順を説明する。識別情報取得部305が取得した識別情報のそれぞれに対して以下の処理を行う。ここでは、図2に示すような、人物102の識別情報「00:00:85:00:00:01」、人物104の識別情報「00:00:85:00:00:02」、人物106の識別情報「00:00:85:00:00:03」の順に処理を行うものとして説明する。
【0046】
S901において、画像合成部310は、外部から取得した識別情報のうち未処理の識別情報があるか否かを判定する。未処理の識別情報があると判定された場合(S901;YES)、S902へ進む。一方、全ての識別情報を処理したと判定された場合(S901;NO)、S905へ進む。
【0047】
S902において、被写体顔特定部308は、S514で取得された特徴情報に基づいて、画像中から人物の被写体画像(オブジェクト)を特定する(オブジェクト判定処理)。画像中から人物の被写体画像を特定できた場合(S902;YES)、S903へ進む。一方、画像中から人物の被写体画像を特定できなかった場合(S902;NO)、S904へ進む。
【0048】
S903において、画像合成部310は、人物に対応する被写体画像が特定されると、特定された当該被写体画像の近傍に、対応する人物の属性情報を表示する。ここで、近傍とは、被写体画像から所定距離の範囲の任意の位置である。例えば、被写体画像から所定の方向かつ所定の距離にある所定の位置であってもよい。被写体画像と重複しない位置であるとよいが一部が重複しても、被写体画像と属性情報とをユーザが判別できれば構わない。その後、S901へ戻る。
【0049】
S904において、画像合成部310は、人物の属性情報を画像中から消去する。その後、S901へ戻る。S905において、表示部304は、合成された画像を表示する。以上で図9のフローチャートの各処理が終了する。
【0050】
以上の処理を、具体例を挙げて説明する。最初は人物102、人物104、人物106の識別情報が未処理なので(S901)、S902へ進む。ここでは画像601中から人物102の被写体画像を特定する(S902)。人物102の被写体画像は、人物102の識別情報に関連付けられておりS514で取得された顔特徴情報を用いて特定される。その後、S903へ進む。ここでは、被写体画像602が人物102であると特定されると、その特定した被写体画像602の位置に基づいて、被写体画像602の近傍に人物102の属性情報を表示する(S903)。
【0051】
次にS901へ戻ると、人物102の識別情報に対する処理は完了したが、人物104、人物106の識別情報は処理が行われていないため、再びS902へ進む。次に人物104の被写体画像を画像601中から特定する(S902)。人物102と同様に特定処理が行われる。被写体画像603が人物104であると特定されると、被写体画像603の近傍に人物104の属性情報を表示する(S903)。以上により、人物104の識別情報に対する処理は完了する。
【0052】
次に、人物106の識別情報に対しての処理が開始される(S901)。同様にして、画像601中から人物106の被写体画像の特定が行われる(S902)。しかし、画像601中には人物106が存在しないため、特定処理に失敗する。すると、デジタルカメラ101は人物106の属性情報を画像601中から消去する(S904)。
【0053】
人物102、人物104、人物106それぞれの識別情報に対して処理が行われると、S901において全ての識別情報に対しての処理が完了したとしてS905へ進む。表示部304は合成した本画像を表示して処理を終了する(S905)。
【0054】
図10は、表示部304により表示される本画像の一例である。ふきだし画像1001、ふきだし画像1002はそれぞれ人物102、人物104の属性情報であり、それぞれふきだし画像801、ふきだし画像802が再描画されたものである。一方で、人物106の属性情報、すなわち、ふきだし画像803に対応する画像は、S904で消去されたために図10には示されない。
【0055】
以上説明したように、本実施形態によれば、被写体の属性情報を画像処理に基づいて特定する前にプレビュー画像を一旦ユーザに表示することによって、ユーザは属性情報を早く閲覧することができる。すなわち被写体に関する情報を得るまでの時間を短縮することができる。また、その後に被写体近傍に属性情報を再描画することで、どの被写体がその属性情報に関連付けられているかを判別しやすくなる。また、被写体画像が存在しない属性情報が表示されないようにすることで、ユーザが別の被写体に関連付けられている属性情報だと誤解する可能性を低減することができる。
【0056】
(第2実施形態)
本実施形態と第1実施形態とは、プレビュー画像を表示する際の条件の有無が異なる。システムの構成、サーバ109が保持するデータベース、デジタルカメラ101、および携帯電話103、携帯電話105、携帯電話107は第1実施形態と同様である。第1実施形態と同様である点に関しては、ここでは説明を省略する。
【0057】
図11のフローチャートを参照して、デジタルカメラ101の撮影処理の手順を説明する。
【0058】
S1101において、デジタルカメラ101は、撮影処理を開始すると、まず、識別情報を周囲の端末から取得する。これは、第1実施形態のS502乃至S506の処理に相当しており、第1実施形態と同様に、携帯電話103、携帯電話105、携帯電話107からそれぞれの識別情報と位置情報とを取得する。
【0059】
S1102において、デジタルカメラ101は、取得した識別情報に関連付けられた属性情報をサーバ109へ問い合わせ、サーバ109からの応答により当該属性情報を取得する。これは、第1実施形態のS507乃至S509の処理に相当する。属性情報は、人物102、人物104、人物106のそれぞれの名前およびコメントである。
【0060】
S1103において、デジタルカメラ101は、取得した識別情報に関連付けられた特徴情報をサーバ109に問い合わせ、サーバ109からの応答により当該特徴情報を取得する。当該特徴判定処理において特徴情報を取得できた場合(S1103;YES)、S1104へ進む。一方、特徴情報を取得できなかった場合(S1103;NO)、S1105へ進む。
【0061】
S1104において、デジタルカメラ101は、本画像を生成する。当該本画像は、第1実施形態と同様に、デジタルカメラ101の画像合成部310によって、図9に示されるフローチャートに従って生成される。そして、図10に示される画像が表示部304に表示される。
【0062】
S1105において、デジタルカメラ101は、プレビュー画像を生成する。プレビュー画像は、第1実施形態と同様に図7に示されるフローチャートに従って生成される。また、生成されるプレビュー画像も第1実施形態と同様に図8で示されるようなプレビュー画像である。
【0063】
S1106において、デジタルカメラ101は、S1105でプレビュー画像を生成すると、次に、特徴情報を再びサーバ109へ問い合わせる。このとき、サーバ109から特徴情報が取得できた場合には(S1106;YES)、S1104へ進み、当該特徴情報に基づいて本画像を生成する。一方、S1106で特徴情報の取得に再度失敗すると(S1106;NO)、プレビュー画像を表示したまま処理を終了する。なお、本実施形態では特徴情報の再取得を一度だけ試みているが、取得できるまでサーバ109へ問い合わせてもよい。あるいは、一定回数取得を試みてもよい。以上で図11のフローチャートの各処理が終了する。
【0064】
以上説明したように、本実施形態によれば、特徴情報が取得できなかった場合にのみ、プレビュー画像を表示する。これにより、例えば、サーバ109の負荷が大きくて特徴情報の問い合わせに対するレスポンスをすぐに返せなかった場合でも、画面上には一旦プレビューが表示されるために、ユーザが属性情報を入手するまでの時間を短縮することができる。すなわち、被写体の情報を得るまでの時間を短縮することができる。
【0065】
(第3実施形態)
本実施形態と第1実施形態とは、プレビュー画像の生成処理の内容が異なる。システムの構成、サーバ109が保持するデータベース、および携帯電話103、携帯電話105、携帯電話107は第1実施形態と同様である。また、デジタルカメラ101が撮影処理を行う際に発生する携帯電話103、携帯電話105、携帯電話107およびサーバ109と、デジタルカメラ101との間のシーケンスは第1実施形態の図5に示されるシーケンスと同様である。本画像生成処理も第1実施形態の図9に示される処理と同様である。第1実施形態と同様である点に関しては説明を省略する。
【0066】
図12を参照して、本実施形態を適用可能なデジタルカメラ101の内部構成を説明する。本実施形態に係るデジタルカメラ101は、第1実施形態で図3を参照して説明した各処理部に対応する、無線通信制御部1201と、シャッターボタン1202と、撮像部1203と、表示部1204と、識別情報取得部1205と、顔特徴情報取得部1206と、属性情報取得部1207と、被写体顔特定部1208と、プレビュー画像合成部1209と、画像合成部1210と、位置情報取得部1211と、記憶部1212とを備える。本実施形態に係るデジタルカメラ101は、クエリ取得部1213と、関連度判定部1214とをさらに備える。なお、各処理部は不図示のCPUによりその動作を制御される。
【0067】
クエリ取得部1213は、ユーザが検索クエリを入力するためのタッチパネルにより構成されており検索クエリの入力を受け付ける。例ええば、検索クエリとしてテキスト情報の入力を受け付ける。
【0068】
関連度判定部1214は、属性情報取得部1207が外部から取得した属性情報と、クエリ取得部1213が取得した検索クエリとの比較を行い、それらの関連度を判定する。例えば、テキスト情報として受付けられた検索クエリと、属性情報としての名前やコメントとを比較して、同一のまたは類似する単語やフレーズが含まれている場合関連性があるものと判定できる。
【0069】
図13のフローチャートを参照して、本実施形態におけるプレビュー画像の生成処理の手順を説明する。
【0070】
S1301において、クエリ取得部1213は、ユーザから検索クエリを取得する。ここで、検索クエリとして「ラーメン」という文字列が取得できたとして、以降の説明をする。次に、第1実施形態のS502乃至S506の各処理で取得された人物102、人物104、人物106の識別情報のそれぞれに対して、順に以降の処理を実施する。
【0071】
S1302において、プレビュー画像合成部1209は、外部から取得した識別情報のうち未処理の識別情報があるか否かを判定する。未処理の識別情報があると判定された場合(S1302;YES)、S1303へ進む。一方、全ての識別情報を処理したと判定された場合(S1302;NO)、S1305へ進む。最初は、人物102、人物104、人物106のそれぞれの識別情報に対してまだ処理を行っていない状態であるので、S1303へ進む。
【0072】
S1303において、関連度判定部1214は、S1301で取得されたクエリと人物102の属性情報とを比較し、関連性があるか否かを判定する。関連性があると判定された場合(S1303;YES)、S1304へ進む。一方、関連性がないと判定された場合(S1303;NO)、S1302戻る。ここでは、S1301で取得されたクエリである「ラーメン」という文字列が、人物102の属性情報に含まれているか否かを判定することにより関連性の有無を判定する。人物102の属性情報である名前、コメントには両方とも「ラーメン」という文字列が含まれていない。そのため関連性がないと判定される。関連性がないと判定されると、人物102の属性情報は画像601中には合成されることなく、人物102の識別情報に対しての処理を完了し、S1302へ戻る。
【0073】
次に、人物104の識別情報に対しての処理である。S1302において、まだ人物104、人物106の処理が完了していないので、S1303へ進む。S1303において、人物104の属性情報と取得した検索クエリとの関連性があるか否かが判定される。ここで、人物104の属性情報であるコメントは「○○ラーメン店はおすすめ!」であり、「ラーメン」という文字列が含まれているため、関連性があると判定される。
【0074】
S1304において、プレビュー画像合成部1209は、S1303で関連性があると判定されると、人物の属性情報として名前とコメントとを画像中に合成する。ここでは、人物104の属性情報として名前とコメントを画像601中に合成する。これにより、人物104の識別情報に対する処理を完了し、S1302へ戻る。
【0075】
次に、人物106の識別情報に対しての処理である。S1302において、まだ人物106の処理が完了していないので、S1303へ進む。次に、同様にしてS1301で取得されたクエリと人物106の属性情報とを比較すると、人物106の属性情報のコメントに「×××ラーメン店はおいしいよ」と「ラーメン」という文字列が含まれているので、関連性があると判定される。関連性があると判定されると、人物106の属性情報を画像601中に合成する。これにより、人物106の識別情報に対する処理を完了し、S1302へ戻る。以上により人物102、人物104、人物106の識別情報に対しての処理が完了したため、S1305へ進む。
【0076】
S1305において、表示部1204は、合成したプレビュー画像を表示する。図14は、当該プレビュー画像の一例を示す。図14において、ふきだし画像1401、ふきだし画像1402はそれぞれ、検索クエリである「ラーメン」と関連性があると判断された人物104、人物106の属性情報に相当する。一方、人物102の属性情報は、「ラーメン」と関連性がないと判断されたため、画像601中に合成されていない。
【0077】
第1実施形態と同様に、位置情報を用いる場合、ふきだし画像1401は、被写体画像603に対応する人物104がデジタルカメラ101から見て中央付近に存在することが分かるため、画像601中の中央付近に表示される。一方、ふきだし画像1402は、人物106に対応する被写体画像が存在しないため、画像601上の任意の位置に表示される。
【0078】
本実施形態によれば、画像処理によって被写体位置を特定する前に、ユーザは関心のある属性情報を見ることができる。そのため、関心のある情報を取得するまでの時間を短縮することができる。
【0079】
(第4実施形態)
本実施形態と第1実施形態とは、本画像の生成処理の内容が異なる。システムの構成、サーバ109が保持するデータベース、および携帯電話103、携帯電話105、携帯電話107は第1実施形態と同様である。また、デジタルカメラ101が撮影処理を行う際に発生する携帯電話103、携帯電話105、携帯電話107およびサーバ109と、デジタルカメラ101との間のシーケンスは第1実施形態の図5に示されるシーケンスと同様である。プレビュー画像生成処理も第1実施形態の図8に示される処理と同様である。第1実施形態と同様である点に関しては説明を省略する。また、デジタルカメラ101の内部構成は第3実施形態の図12に示される構成と同様である。
【0080】
図15のフローチャートを参照して、本実施形態における本画像の生成処理の手順を説明する。
【0081】
S1501において、クエリ取得部1213は、ユーザから検索クエリを取得する。S1502において、画像合成部1210は、外部から取得した識別情報のうち未処理の識別情報があるか否かを判定する。未処理の識別情報があると判定された場合(S1502;YES)、S1503へ進む。一方、全ての識別情報を処理したと判定された場合(S1502;NO)、S1508へ進む。
【0082】
S1503において、被写体顔特定部1208は、画像中から人物の被写体画像を特定する。画像中から人物の被写体画像を特定できた場合(S1503;YES)、S1504へ進む。一方、画像中から人物の被写体画像を特定できなかった場合(S1503;NO)、S1505へ進む。
【0083】
S1504において、画像合成部1210は、人物に対応する被写体画像が特定されると、特定された当該被写体画像の近傍に、対応する人物の属性情報を合成して表示する。ここで、近傍とは、例えば被写体画像から所定距離の範囲であって被写体画像と重複しない所定の位置である。その後、S1502へ戻る。
【0084】
S1505において、関連度判定部1214は、S1501で取得された検索クエリと人物の属性情報とを比較し、関連性があるか否かを判定する(関連判定処理)。関連性があると判定された場合(S1505;YES)、S1506へ進む。一方、関連性がないと判定された場合(S1505;NO)、S1507へ戻る。
【0085】
S1506において、画像合成部1210は、プレビュー画像中に表示されたふきだし画像を消去せずに、画像中に合成した状態を継続して本画像を生成する。S1507において、画像合成部1210は、プレビュー画像中に表示された人物の属性情報として合成されたふきだし画像を、画像中から消去して本画像を生成する。S1508において、表示部1204は、本画像を表示する。以上で図15のフローチャートの各処理が終了する。
【0086】
以下、具体例を挙げて説明する。まずデジタルカメラ101は、クエリ取得部1213により検索クエリを取得する(S1501)。
【0087】
ここで、検索クエリとして「ラーメン」という文字列が取得された場合と、「うどん」という文字列が取得された場合とで、以降の説明をする。
【0088】
まず、「ラーメン」という文字列が取得された場合について述べる。S502乃至S506の各処理で取得された人物102、人物104、人物106の識別情報のそれぞれに対して順に以降の処理を実施する。最初にS1502の処理を実行する際には、まだ人物102、人物104、人物106の識別情報の何れに対しても処理を行っていないので、S1503へ進む。デジタルカメラ101は、被写体顔特定部1208によって画像601中から人物102の被写体画像を特定する(S1503)。被写体画像602が人物102であると特定されると、その特定した被写体の位置に基づいて、被写体画像602の近傍に人物102の属性情報を描画し直す(S1504)。次に、S1502へ戻ると、人物104、人物106の処理は行われていないので、S1503へ進む。人物104の識別情報に対しても、人物102と同様に人物を特定し(S1503)、その近傍に人物104の属性情報を再描画する(S1504)。
【0089】
再びS1502へ戻ると、人物106の処理は行われていないので、S1503へ進む。そして、画像601中から人物106の被写体画像の特定処理を実施する(S1503)。しかし、人物106は画像601中に存在しないため、特定に失敗し、S1505へ進む。
【0090】
次に、デジタルカメラ101は、関連度判定部1214により、取得したクエリと人物106の属性情報とを比較し、関連性があるか否かを判定する(S1505)。ここで、人物106の属性情報であるコメントは「××ラーメン店はおいしいよ」であり「ラーメン」という文字列が含まれているので、関連性があると判定される。
【0091】
関連性があると判定されると、プレビュー画像中に表示されたふきだし画像1603を消去せずに、そのまま画像601中に合成したままにする(S1506)。
【0092】
次に、S1502に戻ると、人物102、104、106の識別情報に対する処理は完了しているため、生成した本画像を表示する(S1508)。
【0093】
図16は、以上の処理によって表示される本画像の一例である。ふきだし画像1601、ふきだし画像1602は被写体を特定できた人物102、人物104の属性情報である。ふきだし画像1603は、人物106の属性情報である。人物106の被写体は特定できなかったが、検索クエリと関連性のある属性情報を有しているので、画像601中に合成されている。
【0094】
次に、S1501において「うどん」という検索クエリが取得された場合について述べる。人物102、人物104の識別情報については、S1503において被写体画像が特定できるため、「ラーメン」という検索クエリを入力した場合と同様である。人物106の識別情報については、まず、S1503において被写体の特定に失敗する。次に、人物106の属性情報と検索クエリである「うどん」とを比較する(S1505)。人物106の属性情報である名前、コメントには「うどん」という文字列は含まれていないので、S1507へ進む。そして、プレビュー画像中に表示された人物106の属性情報として合成されたふきだし画像1603は、画像601中から消去される(S1507)。そして、全ての識別情報に対しての処理が完了すると、S1502からS1508へ進み、本画像が表示される。生成される本画像は第1実施形態の図10で示される本画像と同様である。人物106の属性情報は、検索クエリ「うどん」と関連性がないため表示されていない。
【0095】
本実施形態によれば、画像処理によって被写体を特定できない場合においても、ユーザが関心のある情報を取得できる。
【0096】
(第5実施形態)
その他の構成として、本発明は静止画によらず動画像において人物を特定し、属性情報を表示してもよい。その場合、動画像の各フレームを静止画として連続して処理することで本発明を実現してもよい。
【0097】
識別情報の発信や取得などに関わる通信は、IEEE802.11規格に則った無線LANの通信に限らず、Bluetoothやパッシブ/アクティブ型のRFIDなどでもよい。また、無線LANとパッシブ型RFIDなど複数の無線通信インタフェースで、同時に識別情報に関する通信を行ってもよい。
【0098】
また、各実施形態で各識別情報は人物に関連付けられていたが、必ずしも人物に関連付けられる必要はなく、店などの建築物やある特定の物体などに関連付けられてもよい。また、プレビュー画像から本画像を表示する際に、プレビュー画像でおおよその位置に合成されたふきだし画像を、特定した被写体画像の近傍までアニメーションなどで移動させて表示してもよい。また、このとき、特定できた被写体から順に、その被写体近傍にふきだし画像をアニメーションで移動させてもよい。
【0099】
また、表示されているふきだし画像で、被写体を特定できなかったふきだし画像を画像中から消去する場合においてもアニメーションで表示してもよい。例えば、風船のように破裂させて画面上から消去してもよいし、画面外にアニメーションで移動して表示しないようにしてもよい。
【0100】
また、画面上から消去するのではなく、画面の隅に表示したり、半透明の画像で表示したり、表示方法を変更する形式でもよい。特定の被写体に結びついていないことがユーザにわかりやすい方法であればよい。
【0101】
また、各実施形態ではユーザがシャッターボタンを押下し、撮影を開始してから、識別情報、属性情報、顔の特徴情報を取得しているが、シャッターボタンを押下する前に予め取得しておいてもよい。
【0102】
第3実施形態、第4実施形態において、ユーザが入力する検索クエリは文字列に限らない。例えば、デジタルカメラ101の画面上でレストランモードや、スポーツモードなど複数のモードを選択することができ、その複数のモードの中からユーザが特定のモードを選択することをクエリとして見なしてもよい。
【0103】
また、ユーザの検索クエリは、自身の属性情報であってもよい。例えば、人物102が本発明を適用できる情報処理装置のユーザであったとして、検索クエリとして人物102に関連づけられている「太郎」、「今日は暑い」といった属性情報を検索クエリのひとつとして利用してもよい。
【0104】
さらに属性情報は、名前やコメントに限らない。URLなど外部のサイトへのリンクでもよいし、趣味や生年月日など複数の項目を有していてもよい。
【0105】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
情報処理装置であって、
画像を取得する第1の取得手段と、
他の通信装置から、当該他の通信装置を識別するための識別情報を受信する受信手段と、
前記識別情報と関連付けられた属性情報を取得する第2の取得手段と、
前記識別情報と関連付けられた特徴情報に基づいて、前記第1の取得手段により取得された前記画像の中から所定の被写体を特定する特定手段と、
前記特定手段により前記被写体が特定される前には前記属性情報を、表示部における前記画像上の所定の場所に表示させ、前記特定手段により前記被写体が特定された後には前記属性情報を、前記表示部における前記画像上の前記被写体と関連付けられた場所に表示させる表示手段とを有する
ことを特徴とする情報処理装置。
【請求項2】
前記画像の中から前記所定の被写体を特定するために、前記識別情報と関連付けられた特徴情報を取得する第3の取得手段を更に有し、
前記特定手段は、前記特徴情報に基づいて、前記画像の中から前記所定の被写体を特定することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記所定の被写体は、前記他の通信装置のユーザであることを特徴とする請求項1または2に記載の情報処理装置。
【請求項4】
前記表示手段は、前記特定手段により前記所定の被写体が特定できなかった場合、前記属性情報の表示を消去することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
【請求項5】
ユーザから検索クエリを受け付ける受付手段と、
前記受付手段により受け付けた前記検索クエリと前記第2の取得手段により取得した前記属性情報とに関連があるかを判定する判定手段とを更に有し、
前記表示手段は、前記判定手段により関連があると判定された場合には、前記特定手段により前記所定の被写体が特定できなかった場合であっても、前記属性情報の表示を継続することを特徴とする請求項4に記載の情報処理装置。
【請求項6】
ユーザから検索クエリを受け付ける受付手段と、
前記受付手段により受け付けた前記検索クエリと前記第2の取得手段により取得した前記属性情報とに関連があるかを判定する判定手段とを更に有し、
前記判定手段により関連がないと判定された場合には、前記表示手段は、前記特定手段により前記被写体が特定される前には前記属性情報を表示しないことを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
【請求項7】
情報処理装置の制御方法であって、
画像を取得する第1の取得工程と、
他の通信装置から、当該他の通信装置を識別するための識別情報を受信する受信工程と、
前記識別情報と関連付けられた属性情報を取得する第2の取得工程と、
前記識別情報と関連付けられた特徴情報に基づいて、前記第1の取得工程により取得された前記画像の中から所定の被写体を特定する特定工程と、
前記特定工程により前記被写体が特定される前には前記属性情報を、表示部における前記画像上の所定の場所に表示させ、前記特定工程により前記被写体が特定された後には前記属性情報を、前記表示部における前記画像上の前記被写体と関連付けられた場所に表示させる表示工程とを有する
ことを特徴とする情報処理装置の制御方法。
【請求項8】
請求項7に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2013−37402(P2013−37402A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−170449(P2011−170449)
【出願日】平成23年8月3日(2011.8.3)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】