表示制御装置、表示制御装置の制御方法、プログラム
【課題】 撮像画像から検出されなかったオブジェクトの属性情報のうちユーザの所望の情報を表示させることを目的とする。
【解決手段】 撮像画像から検出したオブジェクトに関する情報を表示する表示制御装置において、撮像画像から検出出来なかったオブジェクトに対応する情報であっても、ユーザから入力されたクエリと関連する情報である場合は表示部に表示させる表示制御装置。
【解決手段】 撮像画像から検出したオブジェクトに関する情報を表示する表示制御装置において、撮像画像から検出出来なかったオブジェクトに対応する情報であっても、ユーザから入力されたクエリと関連する情報である場合は表示部に表示させる表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像画像中の被写体の情報を表示させる表示制御装置に関する。
【背景技術】
【0002】
近年、カメラ等で撮影した撮像画像に、撮像画像中の物体の属性情報を合成して表示するAR(Augmented Reality:拡張現実)技術がある。例えば、GPS(Global Positioning System)による位置情報に基づいて、撮像画像中の物体の属性情報を合成して表示する。
また、被写体人物が有する携帯端末から取得した識別に用いる特徴情報に基づいて、撮影画像中の被写体人物を特定し、特定した人物の属性情報をサーバから取得して、撮像画像中の特定した被写体の近傍に情報を表示する技術が提案されている(特許文献1)。また、撮像位置/方向に基づいて、撮像範囲と思われる被写体の情報を取得して、撮影画像中に該情報を表示するといった技術も提案されている(特許文献2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−305717
【特許文献2】特開2010−118019
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述のように、従来のAR技術としては、撮像画像中の被写体の属性情報を表示している。しかしながら、ユーザの所望の情報を属性情報としている被写体が周辺にいるとしても、該被写体を撮像範囲に捉え、特定されない限り、ユーザの所望の情報が表示されないという問題がある。また、撮像範囲に捉えていない被写体の属性情報も撮像画像に合成したとしても、情報とオブジェクトの対応関係が分からなくなってしまう。また、リッチなユーザインターフェースがない端末装置などの限られた表示範囲に無作為に情報を表示させると、ユーザにとって使い勝手が悪い。
本発明は上述の課題を鑑みてなされた発明であり、他の装置の識別子に関連付けられた情報のうち、ユーザの所望の情報を表示させることを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するための手段として、他の装置の識別子を取得する識別子の取得手段と、前記識別子の取得手段により取得した識別子に関連付けられた情報を取得する情報の取得手段と、前記情報の取得手段により取得された情報のうち、ユーザにより入力されたクエリと関連する情報を表示部に表示させる表示制御手段と、を有することを特徴とする表示制御装置を提供する。
【発明の効果】
【0006】
他の装置の識別子に関連付けられた情報のうち、ユーザが所望とする情報を表示することができる。
【図面の簡単な説明】
【0007】
【図1】本実施例におけるシステムの構成を示す図である。
【図2】実施例1におけるデータベースの概念図を示す図である。
【図3】デジタルカメラの構成を示す図である。
【図4】携帯電話の構成を示す図である。
【図5】撮影処理におけるシステムのシーケンスを示す図である。
【図6】デジタルカメラの処理を示すフローチャートである。
【図7】撮像画像の表示画面の一例を示す図である。
【図8】被写体と関連付けて属性情報を表示する際の表示画面の一例を示す図である。
【図9】被写体と関連付けて属性情報を表示する際の表示画面の他の一例を示す図である
【図10】クエリを表示する際の表示画面の一例を示す図である。
【図11】撮像画像に含まれないオブジェクトに対応する属性情報を表示する際の表示画面の一例を示す図である。
【図12】実施例2における位置情報登録処理の示すシーケンス図である。
【図13】実施例2におけるデータベースの概念図を示す図である。
【図14】実施形態2における撮影処理におけるシステムのシーケンスを示す図である。
【図15】クエリに対応する属性情報を表示する際の表示画面の一例を示す図である。
【発明を実施するための形態】
【0008】
[実施例1]
以下に、添付図面を参照して本発明に係る各実施例を説明する。図1は本実施例におけるシステム構成を示す図である。デジタルカメラ101は、他の端末装置から受信した該端末装置を一意に識別可能な識別情報に関連付けられた属性情報をサーバ111から取得し、取得した属性情報と撮像画像とを合成して表示部に表示させる表示制御装置である。また、デジタルカメラ101は、撮像した画像中のオブジェクトの属性情報と該撮像した画像上のオブジェクトとを関連付けて表示部に合成して表示させる。したがって、デジタルカメラ101の表示画面に重畳して例えば端末装置の所有者に関する情報を表示するので、ユーザは容易に撮像画像のオブジェクトに関する情報を取得することが可能となる。また、撮像画像中のオブジェクトに関連付けて情報を表示するので、どのオブジェクトがどのような情報を発しているかを容易に識別することが可能となる。また、デジタルカメラ101は、撮像した画像に含まれないオブジェクトに関する属性情報であっても、ユーザ所望の情報であれば、撮像した画像と該属性情報を合成して表示部に表示させる。
【0009】
携帯電話103、105、107、109は、定期的あるいは他端末の要求に応じて端末を一意に識別可能な識別子を識別情報として発信する端末装置である。なお、識別情報として、端末装置のユーザを一意に識別するための情報であってもよい。サーバ111はネットワーク110を介して、デジタルカメラ101から端末装置の識別情報を含んだ問い合わせを受信すると、データベースに保持する受信した識別情報に対応付けられた属性情報をデジタルカメラ101に送信する。また、サーバ111は、受信した識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報をデータベースにから取得し、デジタルカメラ101に送信する。サーバ111が管理するデータベースに保持される情報の一例を図2に示す。データベースには、端末装置を一意に識別するための識別子として識別情報201、端末装置の所有者の名前202、コメント203、端末装置の特徴情報204とを夫々関連付けているテーブルデータが保持されている。図2は、図1に示す人物102、104、106、108が保持する携帯電話103、105、107、109に関するテーブルデータである。識別情報201は、端末装置を一意に識別可能な識別子として、例えば、MACアドレスや端末装置の所有者のユーザIDとする。名前202、コメント203は、識別情報に関連付けられた属性情報の一例であり、デジタルカメラ101において撮像された画像と重畳して表示される情報である。なお、属性情報としては名前、コメントに限られず、URLなどで外部のサイトへのリンクでもよいし、趣味や生年月日など複数の項目を有していてもよい。特徴情報204は、識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための情報である。本実施例においては、画像処理によるオブジェクト特定処理を行うためのリファレンス画像を特徴情報とする。なお、特徴情報としては、画像データに限られず、オブジェクト特定処理に用いるに任意の特徴情報であってよい。本実施例では、特徴情報として人物102、104,106、108の顔画像がデータベースに格納されているとする。
【0010】
続いて、表示制御装置であるデジタルカメラ101の構成を図3を用いて説明する。なお、デジタルカメラ101は、CPU(Central Processing Unit)を有する。後述する各構成は、CPUが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。無線通信制御部301は、外部装置との間で無線信号の送受信により通信を行うためにアンテナや回路を制御する。なお、無線通信制御部301はIEEE802.11に則った通信処理を制御するものとする。シャッターボタン302は撮影を開始するためのボタンで、ユーザのシャッターボタン302の押下を検出し、撮像部303において撮影処理の開始を制御する。撮像部303はレンズ、撮像素子、A/D変換により構成され、レンズを介して取得した被写体光を撮像し、撮像した被写体光を画像データとして生成する。表示部304は、ディスプレイに撮像画像や各種情報を表示させる表示制御を行う。取得部314は、識別情報取得部305、特徴情報取得部306、属性情報取得部307から構成され、無線通信制御部301を制御することで各種情報を取得し、保持する。識別情報取得部305は、無線通信制御部301により受信した通信可能な範囲に存在する端末装置の識別情報を取得する。特徴情報取得部306は、識別情報取得部305により取得した識別情報をもとにしてサーバ111に問い合わせを行い、識別情報に関連付けられた特徴情報をサーバ111から取得する。属性情報取得部307は、識別情報取得部305が取得した識別情報をもとにしてサーバ111に問い合わせを行い、識別情報に関連付けられた属性情報をサーバ111から取得する。
【0011】
特定部308は、取得部314で得られた特徴情報をもとに撮像部303により撮像された画像データ上から、所定のオブジェクトを特定するためのハードウェア乃至はプログラムである。なお、本実施例においては、特定部308は公知の顔認識処理を行い、取得部314が取得した特徴情報に対応するオブジェクトを検出する。合成部309は、画像データと該画像データ上の特定部308により特定されたオブジェクトの近傍または任意の場所に、対応する属性情報とオブジェクトとを関連付けて合成し、合成画像データを作成する。入力部310は、ユーザがクエリを入力するためのタッチパネルや操作ボタン等の入力装置から構成される。入力部310は、入力装置を制御し、入力された情報を保持する。ここで、クエリとは、属性情報がユーザの所望の情報かを判定するための情報である。
【0012】
判定部311は、デジタルカメラ101と通信可能範囲に存在する端末装置の識別子に対応する属性情報と、入力部310が取得したクエリとの比較を行い、それらの関連を判定する。即ち、判定部311は、取得部314が取得した属性情報がユーザ所望の情報であるかを判定する。位置情報取得部312は、デジタルカメラ101の緯度、経度、方位、高度などの位置情報を取得するGPSおよび電子コンパスから構成される。記憶部313はROMやRAMから構成され、デジタルカメラ101を制御するためのプログラムや各種データを格納する。
【0013】
続いて、携帯電話103、105、107、109の構成を図4を用いて説明する。携帯電話103、105、107、109は、IEEE802.11に準拠した無線LAN機能を有する携帯電話である。ここで、携帯電話103、105、107、109の所有者は人物102、104、106、108である。また、各携帯電話は各携帯第電話を一意に識別可能な識別情報である識別子を夫々保持している。また、各携帯電話はCPUを有し、後述する各構成は、CPUが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。図4に示す無線通信制御部401は無線LANで他の無線装置との間で無線信号の送受信を行うためのアンテナや回路を制御する。識別情報発信部402は無線通信制御部401を制御することで、保持する識別情報(識別子)を定期的、もしくは他の装置からの要求に応じて報知する。識別情報発信部402は、識別情報(識別子)をIEEE802.11に則ったビーコン・フレームのInformation Elementの一要素として付与し、送信する。携帯電話制御部403は、携帯電話として動作するためのアンテナや回路を制御することで携帯電話通信網と接続し、他の装置と通信を行う。位置情報取得部404は、端末の位置を特定するための緯度、経度、方位、高度などの情報を取得するGPSおよび電子コンパスから構成される。
【0014】
上述の構成を有するシステムの本実施例における動作を説明する。なお、上述した図1を用いてシステムの動作例を説明する。図1において、デジタルカメラ101の撮影範囲には人物102、104が存在し、人物106、108はデジタルカメラ101の撮影範囲には存在しないとする。ここで、デジタルカメラ101が撮影処理を行い、撮像画像に通信可能な範囲に存在する端末装置に対応する属性情報を表示する際のシーケンスを図5に示す。まず、デジタルカメラ101は、シャッターボタン302の操作の検出により、撮影処理を開始する(S501)。次に、デジタルカメラ101の取得部314は、通信可能な範囲に存在する端末に対して識別情報を要求する。具体的には、取得部314は無線通信制御部301を制御し、IEEE802.11に則ったプローブ・リクエスト・フレームをブロードキャストで送信する(S502)。プローブ・リクエスト・フレームを受信した携帯電話103、105、107、109は、位置情報取得部404により自身の位置情報を取得する(S503、S504、S505、S506)。
【0015】
そして、携帯電話103、105、107、109は夫々の装置に対応する識別情報と位置情報を付与したプローブ・レスポンス・フレームでそれぞれ応答する(S507)。デジタルカメラ101がプローブ・レスポンス・フレームを受信すると、取得部314は、該プローブ・レスポンス・フレームから携帯電話103、105、107、109夫々の識別情報と位置情報を取得する。
【0016】
デジタルカメラ101は識別情報を得ると、該識別情報に対応する特徴情報および属性情報を取得するためサーバ111に問い合わせを行う(S508)。すなわち、デジタルカメラ101は携帯電話103、105、107、109から夫々取得した識別情報に基づいて、夫々の識別情報に対応する特徴情報および属性情報をサーバ111に要求する。サーバ111は、デジタルカメラ101からの問い合わせを受信すると、問い合わせに含まれる識別情報をもとにデータベースから該識別情報に関連付けられた属性情報と特徴情報とを検索する(S509)。サーバ111は取得した携帯電話103、105、107、109夫々の識別情報に関連付けられた属性情報(名前、コメント)と特徴情報をデジタルカメラ101に送信する(S510)。デジタルカメラ101は、サーバ111から受信した属性情報と特徴情報に基づいて、撮像画像と属性情報とを合成し、該合成画像を表示部304に表示する(S511)。
【0017】
続いて、上述したデジタルカメラ101が撮影する際の処理を図6のフローチャートを用いて説明する。ここでは、図1に示す人物102、104が撮影範囲内にいて、人物106、108が撮影範囲外にいるものとして説明を行う。まず、デジタルカメラ101にクエリが入力されなかった場合、即ち撮像画像上で検出されたオブジェクト対応する属性情報のみを表示する例について説明する。まず、デジタルカメラ101のシャッターボタン302を操作することで撮影処理が開始される(S601)。なお、ここでシャッターボタン302の操作とは、シャッターボタン302の半押し等の所定の操作により開始される自動焦点制御の指示も含む。このときに表示部304に表示される画面を図7に示す。画像701は撮像部303によって生成された画像である。画像701中には被写体702と被写体703が表示されている。被写体702と被写体703は、それぞれ人物102と人物104が撮影された画像に相当する。
【0018】
704は、ユーザ入力表示部であり、入力部310が取得したユーザが入力したクエリを表示する。ここでは、クエリが入力されていない場合なので、何も表示されていない。
続いて、撮影処理が開始されると、デジタルカメラ101は通信可能な範囲に存在する端末装置から識別情報(識別子)および端末装置の位置情報を取得する(S602)。これは図5において説明したS502〜507に示す処理により、携帯電話103、105、107、109夫々から識別情報(識別子)および各装置の位置情報を取得する。
【0019】
デジタルカメラ101は、通信可能な範囲に存在する端末装置の識別情報を取得すると、取得した識別情報を含む要求を行い、サーバ111から識別情報に関連付けられた属性情報および特徴情報を取得する(S603)。これはS508〜510に示す処理により、識別情報に関連付けられた属性情報および特徴情報を取得する。取得した情報は図2で表わされるような各識別情報に関連付けられた名前、コメント、特徴情報である。次に、取得した全ての識別子に対して、それぞれ順にS604以降のフローチャートの処理を行う。これは、S511の合成画像生成の処理に相当する。まず、デジタルカメラ101の特定部308は、取得した特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる(S605)。ここで、取得した携帯電話103に対応する識別情報「00:00:85:00:00:01」に関する特定処理について説明する。
【0020】
特定部308は、識別情報201「00:00:85:00:00:01」に対応する特徴情報204(Taro.jpg)を用いて図7における画像701上から人物102の検出処理を行う。S605の結果、画像701から識別情報に対応するオブジェトを検出し、被写体702が人物102であると特定される。すると、合成部309は、検出された被写体702と関連付けてその近傍に属性情報(名前とコメント)を合成し、表示部304は該合成画像を表示する(S606)。このときの合成結果の例を図8に示す。ふきだし801は、被写体702に関連付けてその近傍に合成された属性情報である。デジタルカメラ101のユーザは、このふきだし801を見ることにより、人物102に関連する情報を得ることができ、かつ、該情報が人物102に関連付けられた情報であることが容易に知ることができる。
【0021】
次に、携帯電話105に対応する識別情報201「00:00:85:00:00:02」に関する特定処理を行う場合について述べる。この場合も同様に、画像701中から人物104に相当するオブジェクト検出を行い、人物104の特定を行う(S605)。被写体703が人物104であると特定出来ると、その近傍に取得した人物104に関連付けられた属性情報を合成し、表示部304は該合成画像を表示する(S606)。このときの合成結果の例を図9に示す。ふきだし901は、被写体703近傍に関連付けて合成された属性情報である。
【0022】
次に、携帯電話107に対応する識別情報201「00:00:85:00:00:03」、携帯電話109に対応する識別情報「00:00:85:00:00:04」に関する特定処理を行う場合について述べる。なお、夫々の識別情報は独立して処理されるが同様の処理であるため、一度に説明を行う。特定部308により、画像701中から識別情報に関連付けられた特徴情報(Saburo.jpg、Shiro.jpg)を用いて、人物106、人物108の検出処理を実行する(S605)。画像701上には人物106、人物108が存在しないため、人物106、人物108は検出さない。続いて、デジタルカメラ101は、入力部310により、ユーザが入力したクエリの取得を試みる(S607)。つまり、デジタルカメラ101は、ユーザが撮像画像に含まれないオブジェクトの属性情報のうちユーザの所望の情報の表示を希望するかを判定する。ここでユーザはクエリを入力していないので、識別情報「00:00:85:00:00:03」、識別情報「00:00:85:00:00:04」に対しての処理を終える。そのため、識別情報「00:00:85:00:00:03」、識別情報「00:00:85:00:00:04」に関連付けられた属性情報は表示部304には表示しない。このように取得した全ての識別情報に対して処理を行った結果、ユーザは図9の表示画面を得ることができる。これにより、ユーザは撮影した被写体の情報を得ることができる。このように、ユーザは撮像範囲のオブジェクトに関する付加情報のみを取得したい場合はクエリを入力しなければよい。
【0023】
次に、ユーザがクエリを入力した場合、即ちユーザが撮像画像に含まれないオブジェクトの属性情報のうちユーザの所望の情報の表示を希望する場合について説明する。ユーザにとって、特定のオブジェクトの情報が欲しい場合ではなく、特定の情報を欲している場合にクエリを入力することが有効でると考えられる。ユーザは、このように所望の情報を表示させたい場合、属性情報がユーザの所望の情報かを判定するためのクエリを上述の撮影処理を開始する前に入力部310により入力する。入力されたクエリは、表示部304に表示される。図10にユーザがクエリとして「ラーメン」と入力したときの画面を示す。ユーザ入力表示部1001には、ユーザが入力した「ラーメン」という文字列が表示される。
【0024】
ユーザがクエリを入力したときのデジタルカメラ101の撮影処理について図6より述べる。上述のクエリを入力していない場合の処理と比べてクエリを入力した場合は、S607からの処理が異なる。したがって、上述のクエリが入力されていない場合の処理と比べて携帯電話107(人物106)の識別情報「00:00:85:00:00:03」、携帯電話109(人物108)の識別情報「00:00:85:00:00:04」に対しての処理が異なる。以降では、識別情報「00:00:85:00:00:03」、識別情報「00:00:85:00:00:04」、に対してのS607以降の処理をそれぞれ詳細に述べる。
【0025】
まず、デジタルカメラ101は、携帯電話107の識別情報「00:00:85:00:00:03」に対して、上述したS601〜S605までの処理を実行する。S605において、識別情報「00:00:85:00:00:03」に対応する人物106を画像701において特定できず、S607へ処理を進める。S607において、デジタルカメラ101はクエリの取得を試みると、「ラーメン」というクエリを取得することが出来る。クエリの取得に成功すると、取得したクエリと識別情報「00:00:85:00:00:03」に関連付けられた属性情報とを比較し、関連性があるかを判定する(S608)。ここでは、取得したクエリである「ラーメン」という文字列が、識別情報「00:00:85:00:00:03」に関連付けられた属性情報と関連するかを判定する。つまり、判定部311は、属性情報がユーザの所望の情報であるかを判定する。ここで、判定部311は、属性情報であるコメント「××ラーメン店はおいしいよ!」に、クエリである「ラーメン」という文字列が含まれているため、関連性があると判断する。なお、S608の処理は、公知の自然言語処理等を用いてクエリと属性情報とが関連性があるかを判定するように構成してよい。即ち、属性情報にクエリであるキーワードと同一の文字列を含むことを判定するのみでなく、クエリと関連するキーワードや類義語を含めて属性情報と関連があるかを判定してよい。S608において関連性があると判断された場合、位置情報取得部312によりデジタルカメラ101の位置情報を取得する(S609)。合成部309は、取得したデジタルカメラ101の位置情報と、識別情報と共に取得した携帯電話107の位置情報に基づいて、識別情報に関連付けられた属性情報(名前とコメント)と画像701とを合成する。そして、表示部304は該合成画像を表示する(S610)。
【0026】
S610において合成した画像の表示例を図11に示す。ふきだし1101は、合成された携帯電話107(識別情報「00:00:85:00:00:03」)の属性情報である。ふきだし1101は、デジタルカメラ101と携帯電話107の位置関係が判断され、携帯電話107を所持する人物106がデジタルカメラ101から見て右側に存在するため、その位置関係に基づいて、画像701中の右側に表示される。また、表示部304は、ふきだし1101のふきだし元も画像の外側を指すように表示する。表示部304は、一見して撮像画像中にふきだし1101に対応するオブジェクトが存在しないことを認識可能に表示させる。
【0027】
次に、携帯電話109に対応する識別情報「00:00:85:00:00:04」に対応する処理を述べる。携帯電話107の識別情報に対する処理と同様に、S607にまで処理を進め、S607において「ラーメン」というクエリを取得する。次に、デジタルカメラ101は判定部311により、取得したクエリと識別情報「00:00:85:00:00:04」に関連付けられた属性情報とを比較し、関連性があるかを判断する(S608)。ここで、判定部311は、属性情報である名前「史郎」とコメント「おいしいうどん屋探しています」という文字列には、クエリである「ラーメン」という文字列は含まれていないため、関連性がないと判断する。つまり、該属性情報はユーザ所望の情報ではないと判定される。関連性がない(ユーザの所望の情報ではない)と判断されると、識別情報「00:00:85:00:00:04」に関連付けられた属性情報を表示部304は表示しない。
【0028】
以上により、本実施例において、撮像画像中から所定のオブジェクトを特定できなかった場合にも、撮像範囲には存在しないが通信可能な範囲にいる所定のオブジェクトに対応する属性情報がユーザの所望とする情報である場合は該属性情報を表示する。したがって、ユーザは、わざわざ所定のオブジェクトを撮像範囲に捉えないでも所望とする情報を得ることが出来る。また、従来技術では撮像範囲に所望とする情報を属性情報とするオブジェクトを捉えたとしても、S605の特定処理が成功しない場合は該属性情報は表示されない。しかしながら、本実施例においては、S605の特定処理が成功しない場合であっても、ユーザ所望の情報であれば表示されるため、ユーザの情報取得の機会を増加することが出来る。また、表示制御装置と属性情報とに対応付けられたオブジェクトのおおよその位置を知ることができるように属性情報を表示するため、ユーザは該オブジェクトを見つけやすいという効果がある。また、撮像範囲外のオブジェクトに対応付けられた属性情報のうちユーザが所望とする情報のみを表示するので、ユーザにとって利便性が高い。例えば、図11では画像701中の右側に人物106の属性情報が表示されている。そのため。デジタルカメラ101のユーザはデジタルカメラ101を画面右側に向けて再度、撮影を行うことにより、該属性情報を有する人物106を特定しやすくなる。
【0029】
[実施例2]
本実施例2と実施例1との差異は、デジタルカメラ101が携帯電話103、105、107、109の位置情報を取得する方法が異なる。システムの構成、およびデジタルカメラ101、および携帯電話103、105、107、109は、実施例1と同様である。実施例1と同様である点に関しては、ここでは説明を省略する。図12、図13、図14より本実施例について実施例1と異なる点について詳細に説明する。
【0030】
図12は携帯電話103が自身の位置情報をサーバ111に送信する際のシーケンス図を示したものである。携帯電話105、107、109も同様のシーケンスに従って位置情報をサーバに通達する。携帯電話103は、まず位置情報取得部404により、自身の位置情報を取得する(1201)。そして、取得した位置情報に自身の識別子を付与して、携帯電話制御部403により、サーバ111に送信する(S1202)。サーバ111は携帯電話103の位置情報を受信すると、データベースに登録を行う(S1203)。携帯電話103、105、107、109は、定期的に図12で示される位置情報の登録処理を実施する。これによって、携帯電話103、105、107、109の位置が移動されても、定期的にサーバ111に最新の位置情報を登録することができる。
【0031】
本実施例におけるサーバ111が管理するデータベースに保持される情報の一例を図13に示す。図2に示す識別情報、名前、コメント、特徴情報に加えて、図12の手順で登録された位置情報が関連付けられて構成されている。位置置情報は、バイナリデータ、あるいは緯度、経度、方位、高度を表した数値情報などで登録されている。
【0032】
図14は、デジタルカメラ101が撮影をする際の携帯電話103、105、107、109およびサーバ111とのシーケンス図である。まず、デジタルカメラ101のシャッターボタン302を押すことで撮影が開始される(S1401)。次に、デジタルカメラ101の取得部314は、識別情報を通信可能な範囲に存在する端末に対して要求する。該処理は実施例1と同様である。携帯電話103、105、107、109は、識別情報要求を受けると、それぞれの識別情報をデジタルカメラ101に送信する(S1403)。取得される識別情報は、図13に示される4つの識別情報である。識別情報を受信するとデジタルカメラ101は、実施例1と同様に識別情報に関連付けられた属性情報と特徴情報とをサーバ111に問い合わせる(S1405)。サーバ111は、受信した識別情報をもとにデータベースから該識別情報に関連付けられた属性情報、特徴情報、位置情報を検索する(S1405)。サーバ111は検索を完了すると、その結果をデジタルカメラ101に送信する(1406)。
【0033】
デジタルカメラ101は、検索結果を受信すると実施例1と同様に、得られた検索結果1と同様に合成画像を生成する(S1407)。本処理は実施例1と同様に、S604以降の処理として表わされるので、ここでは省略する。実施例1と位置情報を取得するための方法が異なるだけなので、実施例101と同様の合成画像結果が得られる。すなわち、デジタルカメラ101のユーザがクエリを入力しなかった場合は、図9のような画像が得られ、クエリを入力した場合には図11のような画像が結果として得られる。
【0034】
以上により、本実施例において、撮像画像中から所定のオブジェクトを特定できなかった場合にも、撮像範囲には存在しないが通信可能な範囲にいる所定のオブジェクトに対応する属性情報がユーザが所望とする情報である場合は該属性情報を表示する。したがって、ユーザは、わざわざ所定のオブジェクトを撮像範囲に捉えないでも所望とする情報を得ることができる。また、表示制御装置と属性情報と関連するオブジェクトのおおよその位置を知ることができるように属性情報を表示するため、ユーザは該オブジェクトを見つけやすいという効果がある。また、撮像範囲外のオブジェクトに関連する属性情報のうちユーザが所望とする情報のみを表示するので、ユーザにとって利便性が高い。例えば、図11では画像701中の右側に人物106の属性情報が表示されている。そのため。デジタルカメラ101のユーザはデジタルカメラ101を画面右側に向けて再度、撮影を行うことにより、該属性情報を有する人物106を特定しやすくなる。
【0035】
(その他の実施形態)
その他の構成として、本発明は静止画によらず動画像において人物を特定し、属性情報を表示してもよい。その場合、動画像の各フレームを静止画として連続して処理することで実現してもよい。また、識別情報の発信や取得などに関わる通信は、IEEE802.11に則った無線LANの通信に限らず、Bluetoothやパッシブ/アクティブ型のRFIDなどでよい。無線LANとパッシブ型RFIDなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。また、ミリ波などの指向性のある無線方式を利用して識別情報の発信、取得をしてもよい。
【0036】
位置情報取得部312はGPSによる位置情報の取得ではなく、アダプティブアレイアンテナのように指向性のあるアンテナを用いて、電波の入射角などに基づいてオブジェクトのおおよその位置を特定してもよい。実施例1、2では各識別情報に対応する属性情報は人物に紐づけられていたが、人物である必要はなく、お店などの建築物やある特定の物体などに紐づけられていてもよい。
【0037】
また、ユーザが入力するクエリは文字列に限らない。例えば、デジタルカメラ101の画面上でレストランモードや、スポーツモードなど複数のモードを選択することができ、その複数のモードの中からユーザが特定のモードを選択することでクエリとして見なしてもよい。つまり、クエリと属性情報を予め所定の種別に分類し、それらのマッチングによりS608の処理を行ってもよい。また、クエリは、ユーザ自身の属性情報であってもよい。例えば、人物102が本発明を適用できる表示装置のユーザであったとして、クエリとして人物102に関連づけられている「太郎」、「今日は暑い」といった属性情報をクエリのひとつとして利用してもよい。
【0038】
また、上述した実施例においてクエリが入力された場合であっても、撮像画像中のオブジェクトが識別された場合は、該オブジェクトに対応する属性情報は、入力したクエリに関連するか否かに関わらず表示する構成とした。しかしながら、撮像画像中のオブジェクトが識別された場合であっても、該オブジェクトに対応する属性情報と入力したクエリに関連がない場合は、表示しない構成としても良い。例えば、図15に示すようにクエリとして「ラーメン」が入力された場合、「ラーメン」と関連がない被写体702に対応する属性情報であるふきだし801は表示しない。このように構成することでユーザが必要な情報のみを表示できるので、ユーザは所望の情報を容易に取得することが可能となる。
【0039】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは情報処理装置に供給し、そのシステム或いは情報処理装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0040】
101 デジタルカメラ
102、104、106、108 人物
103、105、107、109 携帯電話
110 ネットワーク
111 サーバ
【技術分野】
【0001】
本発明は、撮像画像中の被写体の情報を表示させる表示制御装置に関する。
【背景技術】
【0002】
近年、カメラ等で撮影した撮像画像に、撮像画像中の物体の属性情報を合成して表示するAR(Augmented Reality:拡張現実)技術がある。例えば、GPS(Global Positioning System)による位置情報に基づいて、撮像画像中の物体の属性情報を合成して表示する。
また、被写体人物が有する携帯端末から取得した識別に用いる特徴情報に基づいて、撮影画像中の被写体人物を特定し、特定した人物の属性情報をサーバから取得して、撮像画像中の特定した被写体の近傍に情報を表示する技術が提案されている(特許文献1)。また、撮像位置/方向に基づいて、撮像範囲と思われる被写体の情報を取得して、撮影画像中に該情報を表示するといった技術も提案されている(特許文献2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−305717
【特許文献2】特開2010−118019
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述のように、従来のAR技術としては、撮像画像中の被写体の属性情報を表示している。しかしながら、ユーザの所望の情報を属性情報としている被写体が周辺にいるとしても、該被写体を撮像範囲に捉え、特定されない限り、ユーザの所望の情報が表示されないという問題がある。また、撮像範囲に捉えていない被写体の属性情報も撮像画像に合成したとしても、情報とオブジェクトの対応関係が分からなくなってしまう。また、リッチなユーザインターフェースがない端末装置などの限られた表示範囲に無作為に情報を表示させると、ユーザにとって使い勝手が悪い。
本発明は上述の課題を鑑みてなされた発明であり、他の装置の識別子に関連付けられた情報のうち、ユーザの所望の情報を表示させることを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するための手段として、他の装置の識別子を取得する識別子の取得手段と、前記識別子の取得手段により取得した識別子に関連付けられた情報を取得する情報の取得手段と、前記情報の取得手段により取得された情報のうち、ユーザにより入力されたクエリと関連する情報を表示部に表示させる表示制御手段と、を有することを特徴とする表示制御装置を提供する。
【発明の効果】
【0006】
他の装置の識別子に関連付けられた情報のうち、ユーザが所望とする情報を表示することができる。
【図面の簡単な説明】
【0007】
【図1】本実施例におけるシステムの構成を示す図である。
【図2】実施例1におけるデータベースの概念図を示す図である。
【図3】デジタルカメラの構成を示す図である。
【図4】携帯電話の構成を示す図である。
【図5】撮影処理におけるシステムのシーケンスを示す図である。
【図6】デジタルカメラの処理を示すフローチャートである。
【図7】撮像画像の表示画面の一例を示す図である。
【図8】被写体と関連付けて属性情報を表示する際の表示画面の一例を示す図である。
【図9】被写体と関連付けて属性情報を表示する際の表示画面の他の一例を示す図である
【図10】クエリを表示する際の表示画面の一例を示す図である。
【図11】撮像画像に含まれないオブジェクトに対応する属性情報を表示する際の表示画面の一例を示す図である。
【図12】実施例2における位置情報登録処理の示すシーケンス図である。
【図13】実施例2におけるデータベースの概念図を示す図である。
【図14】実施形態2における撮影処理におけるシステムのシーケンスを示す図である。
【図15】クエリに対応する属性情報を表示する際の表示画面の一例を示す図である。
【発明を実施するための形態】
【0008】
[実施例1]
以下に、添付図面を参照して本発明に係る各実施例を説明する。図1は本実施例におけるシステム構成を示す図である。デジタルカメラ101は、他の端末装置から受信した該端末装置を一意に識別可能な識別情報に関連付けられた属性情報をサーバ111から取得し、取得した属性情報と撮像画像とを合成して表示部に表示させる表示制御装置である。また、デジタルカメラ101は、撮像した画像中のオブジェクトの属性情報と該撮像した画像上のオブジェクトとを関連付けて表示部に合成して表示させる。したがって、デジタルカメラ101の表示画面に重畳して例えば端末装置の所有者に関する情報を表示するので、ユーザは容易に撮像画像のオブジェクトに関する情報を取得することが可能となる。また、撮像画像中のオブジェクトに関連付けて情報を表示するので、どのオブジェクトがどのような情報を発しているかを容易に識別することが可能となる。また、デジタルカメラ101は、撮像した画像に含まれないオブジェクトに関する属性情報であっても、ユーザ所望の情報であれば、撮像した画像と該属性情報を合成して表示部に表示させる。
【0009】
携帯電話103、105、107、109は、定期的あるいは他端末の要求に応じて端末を一意に識別可能な識別子を識別情報として発信する端末装置である。なお、識別情報として、端末装置のユーザを一意に識別するための情報であってもよい。サーバ111はネットワーク110を介して、デジタルカメラ101から端末装置の識別情報を含んだ問い合わせを受信すると、データベースに保持する受信した識別情報に対応付けられた属性情報をデジタルカメラ101に送信する。また、サーバ111は、受信した識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報をデータベースにから取得し、デジタルカメラ101に送信する。サーバ111が管理するデータベースに保持される情報の一例を図2に示す。データベースには、端末装置を一意に識別するための識別子として識別情報201、端末装置の所有者の名前202、コメント203、端末装置の特徴情報204とを夫々関連付けているテーブルデータが保持されている。図2は、図1に示す人物102、104、106、108が保持する携帯電話103、105、107、109に関するテーブルデータである。識別情報201は、端末装置を一意に識別可能な識別子として、例えば、MACアドレスや端末装置の所有者のユーザIDとする。名前202、コメント203は、識別情報に関連付けられた属性情報の一例であり、デジタルカメラ101において撮像された画像と重畳して表示される情報である。なお、属性情報としては名前、コメントに限られず、URLなどで外部のサイトへのリンクでもよいし、趣味や生年月日など複数の項目を有していてもよい。特徴情報204は、識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための情報である。本実施例においては、画像処理によるオブジェクト特定処理を行うためのリファレンス画像を特徴情報とする。なお、特徴情報としては、画像データに限られず、オブジェクト特定処理に用いるに任意の特徴情報であってよい。本実施例では、特徴情報として人物102、104,106、108の顔画像がデータベースに格納されているとする。
【0010】
続いて、表示制御装置であるデジタルカメラ101の構成を図3を用いて説明する。なお、デジタルカメラ101は、CPU(Central Processing Unit)を有する。後述する各構成は、CPUが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。無線通信制御部301は、外部装置との間で無線信号の送受信により通信を行うためにアンテナや回路を制御する。なお、無線通信制御部301はIEEE802.11に則った通信処理を制御するものとする。シャッターボタン302は撮影を開始するためのボタンで、ユーザのシャッターボタン302の押下を検出し、撮像部303において撮影処理の開始を制御する。撮像部303はレンズ、撮像素子、A/D変換により構成され、レンズを介して取得した被写体光を撮像し、撮像した被写体光を画像データとして生成する。表示部304は、ディスプレイに撮像画像や各種情報を表示させる表示制御を行う。取得部314は、識別情報取得部305、特徴情報取得部306、属性情報取得部307から構成され、無線通信制御部301を制御することで各種情報を取得し、保持する。識別情報取得部305は、無線通信制御部301により受信した通信可能な範囲に存在する端末装置の識別情報を取得する。特徴情報取得部306は、識別情報取得部305により取得した識別情報をもとにしてサーバ111に問い合わせを行い、識別情報に関連付けられた特徴情報をサーバ111から取得する。属性情報取得部307は、識別情報取得部305が取得した識別情報をもとにしてサーバ111に問い合わせを行い、識別情報に関連付けられた属性情報をサーバ111から取得する。
【0011】
特定部308は、取得部314で得られた特徴情報をもとに撮像部303により撮像された画像データ上から、所定のオブジェクトを特定するためのハードウェア乃至はプログラムである。なお、本実施例においては、特定部308は公知の顔認識処理を行い、取得部314が取得した特徴情報に対応するオブジェクトを検出する。合成部309は、画像データと該画像データ上の特定部308により特定されたオブジェクトの近傍または任意の場所に、対応する属性情報とオブジェクトとを関連付けて合成し、合成画像データを作成する。入力部310は、ユーザがクエリを入力するためのタッチパネルや操作ボタン等の入力装置から構成される。入力部310は、入力装置を制御し、入力された情報を保持する。ここで、クエリとは、属性情報がユーザの所望の情報かを判定するための情報である。
【0012】
判定部311は、デジタルカメラ101と通信可能範囲に存在する端末装置の識別子に対応する属性情報と、入力部310が取得したクエリとの比較を行い、それらの関連を判定する。即ち、判定部311は、取得部314が取得した属性情報がユーザ所望の情報であるかを判定する。位置情報取得部312は、デジタルカメラ101の緯度、経度、方位、高度などの位置情報を取得するGPSおよび電子コンパスから構成される。記憶部313はROMやRAMから構成され、デジタルカメラ101を制御するためのプログラムや各種データを格納する。
【0013】
続いて、携帯電話103、105、107、109の構成を図4を用いて説明する。携帯電話103、105、107、109は、IEEE802.11に準拠した無線LAN機能を有する携帯電話である。ここで、携帯電話103、105、107、109の所有者は人物102、104、106、108である。また、各携帯電話は各携帯第電話を一意に識別可能な識別情報である識別子を夫々保持している。また、各携帯電話はCPUを有し、後述する各構成は、CPUが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。図4に示す無線通信制御部401は無線LANで他の無線装置との間で無線信号の送受信を行うためのアンテナや回路を制御する。識別情報発信部402は無線通信制御部401を制御することで、保持する識別情報(識別子)を定期的、もしくは他の装置からの要求に応じて報知する。識別情報発信部402は、識別情報(識別子)をIEEE802.11に則ったビーコン・フレームのInformation Elementの一要素として付与し、送信する。携帯電話制御部403は、携帯電話として動作するためのアンテナや回路を制御することで携帯電話通信網と接続し、他の装置と通信を行う。位置情報取得部404は、端末の位置を特定するための緯度、経度、方位、高度などの情報を取得するGPSおよび電子コンパスから構成される。
【0014】
上述の構成を有するシステムの本実施例における動作を説明する。なお、上述した図1を用いてシステムの動作例を説明する。図1において、デジタルカメラ101の撮影範囲には人物102、104が存在し、人物106、108はデジタルカメラ101の撮影範囲には存在しないとする。ここで、デジタルカメラ101が撮影処理を行い、撮像画像に通信可能な範囲に存在する端末装置に対応する属性情報を表示する際のシーケンスを図5に示す。まず、デジタルカメラ101は、シャッターボタン302の操作の検出により、撮影処理を開始する(S501)。次に、デジタルカメラ101の取得部314は、通信可能な範囲に存在する端末に対して識別情報を要求する。具体的には、取得部314は無線通信制御部301を制御し、IEEE802.11に則ったプローブ・リクエスト・フレームをブロードキャストで送信する(S502)。プローブ・リクエスト・フレームを受信した携帯電話103、105、107、109は、位置情報取得部404により自身の位置情報を取得する(S503、S504、S505、S506)。
【0015】
そして、携帯電話103、105、107、109は夫々の装置に対応する識別情報と位置情報を付与したプローブ・レスポンス・フレームでそれぞれ応答する(S507)。デジタルカメラ101がプローブ・レスポンス・フレームを受信すると、取得部314は、該プローブ・レスポンス・フレームから携帯電話103、105、107、109夫々の識別情報と位置情報を取得する。
【0016】
デジタルカメラ101は識別情報を得ると、該識別情報に対応する特徴情報および属性情報を取得するためサーバ111に問い合わせを行う(S508)。すなわち、デジタルカメラ101は携帯電話103、105、107、109から夫々取得した識別情報に基づいて、夫々の識別情報に対応する特徴情報および属性情報をサーバ111に要求する。サーバ111は、デジタルカメラ101からの問い合わせを受信すると、問い合わせに含まれる識別情報をもとにデータベースから該識別情報に関連付けられた属性情報と特徴情報とを検索する(S509)。サーバ111は取得した携帯電話103、105、107、109夫々の識別情報に関連付けられた属性情報(名前、コメント)と特徴情報をデジタルカメラ101に送信する(S510)。デジタルカメラ101は、サーバ111から受信した属性情報と特徴情報に基づいて、撮像画像と属性情報とを合成し、該合成画像を表示部304に表示する(S511)。
【0017】
続いて、上述したデジタルカメラ101が撮影する際の処理を図6のフローチャートを用いて説明する。ここでは、図1に示す人物102、104が撮影範囲内にいて、人物106、108が撮影範囲外にいるものとして説明を行う。まず、デジタルカメラ101にクエリが入力されなかった場合、即ち撮像画像上で検出されたオブジェクト対応する属性情報のみを表示する例について説明する。まず、デジタルカメラ101のシャッターボタン302を操作することで撮影処理が開始される(S601)。なお、ここでシャッターボタン302の操作とは、シャッターボタン302の半押し等の所定の操作により開始される自動焦点制御の指示も含む。このときに表示部304に表示される画面を図7に示す。画像701は撮像部303によって生成された画像である。画像701中には被写体702と被写体703が表示されている。被写体702と被写体703は、それぞれ人物102と人物104が撮影された画像に相当する。
【0018】
704は、ユーザ入力表示部であり、入力部310が取得したユーザが入力したクエリを表示する。ここでは、クエリが入力されていない場合なので、何も表示されていない。
続いて、撮影処理が開始されると、デジタルカメラ101は通信可能な範囲に存在する端末装置から識別情報(識別子)および端末装置の位置情報を取得する(S602)。これは図5において説明したS502〜507に示す処理により、携帯電話103、105、107、109夫々から識別情報(識別子)および各装置の位置情報を取得する。
【0019】
デジタルカメラ101は、通信可能な範囲に存在する端末装置の識別情報を取得すると、取得した識別情報を含む要求を行い、サーバ111から識別情報に関連付けられた属性情報および特徴情報を取得する(S603)。これはS508〜510に示す処理により、識別情報に関連付けられた属性情報および特徴情報を取得する。取得した情報は図2で表わされるような各識別情報に関連付けられた名前、コメント、特徴情報である。次に、取得した全ての識別子に対して、それぞれ順にS604以降のフローチャートの処理を行う。これは、S511の合成画像生成の処理に相当する。まず、デジタルカメラ101の特定部308は、取得した特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる(S605)。ここで、取得した携帯電話103に対応する識別情報「00:00:85:00:00:01」に関する特定処理について説明する。
【0020】
特定部308は、識別情報201「00:00:85:00:00:01」に対応する特徴情報204(Taro.jpg)を用いて図7における画像701上から人物102の検出処理を行う。S605の結果、画像701から識別情報に対応するオブジェトを検出し、被写体702が人物102であると特定される。すると、合成部309は、検出された被写体702と関連付けてその近傍に属性情報(名前とコメント)を合成し、表示部304は該合成画像を表示する(S606)。このときの合成結果の例を図8に示す。ふきだし801は、被写体702に関連付けてその近傍に合成された属性情報である。デジタルカメラ101のユーザは、このふきだし801を見ることにより、人物102に関連する情報を得ることができ、かつ、該情報が人物102に関連付けられた情報であることが容易に知ることができる。
【0021】
次に、携帯電話105に対応する識別情報201「00:00:85:00:00:02」に関する特定処理を行う場合について述べる。この場合も同様に、画像701中から人物104に相当するオブジェクト検出を行い、人物104の特定を行う(S605)。被写体703が人物104であると特定出来ると、その近傍に取得した人物104に関連付けられた属性情報を合成し、表示部304は該合成画像を表示する(S606)。このときの合成結果の例を図9に示す。ふきだし901は、被写体703近傍に関連付けて合成された属性情報である。
【0022】
次に、携帯電話107に対応する識別情報201「00:00:85:00:00:03」、携帯電話109に対応する識別情報「00:00:85:00:00:04」に関する特定処理を行う場合について述べる。なお、夫々の識別情報は独立して処理されるが同様の処理であるため、一度に説明を行う。特定部308により、画像701中から識別情報に関連付けられた特徴情報(Saburo.jpg、Shiro.jpg)を用いて、人物106、人物108の検出処理を実行する(S605)。画像701上には人物106、人物108が存在しないため、人物106、人物108は検出さない。続いて、デジタルカメラ101は、入力部310により、ユーザが入力したクエリの取得を試みる(S607)。つまり、デジタルカメラ101は、ユーザが撮像画像に含まれないオブジェクトの属性情報のうちユーザの所望の情報の表示を希望するかを判定する。ここでユーザはクエリを入力していないので、識別情報「00:00:85:00:00:03」、識別情報「00:00:85:00:00:04」に対しての処理を終える。そのため、識別情報「00:00:85:00:00:03」、識別情報「00:00:85:00:00:04」に関連付けられた属性情報は表示部304には表示しない。このように取得した全ての識別情報に対して処理を行った結果、ユーザは図9の表示画面を得ることができる。これにより、ユーザは撮影した被写体の情報を得ることができる。このように、ユーザは撮像範囲のオブジェクトに関する付加情報のみを取得したい場合はクエリを入力しなければよい。
【0023】
次に、ユーザがクエリを入力した場合、即ちユーザが撮像画像に含まれないオブジェクトの属性情報のうちユーザの所望の情報の表示を希望する場合について説明する。ユーザにとって、特定のオブジェクトの情報が欲しい場合ではなく、特定の情報を欲している場合にクエリを入力することが有効でると考えられる。ユーザは、このように所望の情報を表示させたい場合、属性情報がユーザの所望の情報かを判定するためのクエリを上述の撮影処理を開始する前に入力部310により入力する。入力されたクエリは、表示部304に表示される。図10にユーザがクエリとして「ラーメン」と入力したときの画面を示す。ユーザ入力表示部1001には、ユーザが入力した「ラーメン」という文字列が表示される。
【0024】
ユーザがクエリを入力したときのデジタルカメラ101の撮影処理について図6より述べる。上述のクエリを入力していない場合の処理と比べてクエリを入力した場合は、S607からの処理が異なる。したがって、上述のクエリが入力されていない場合の処理と比べて携帯電話107(人物106)の識別情報「00:00:85:00:00:03」、携帯電話109(人物108)の識別情報「00:00:85:00:00:04」に対しての処理が異なる。以降では、識別情報「00:00:85:00:00:03」、識別情報「00:00:85:00:00:04」、に対してのS607以降の処理をそれぞれ詳細に述べる。
【0025】
まず、デジタルカメラ101は、携帯電話107の識別情報「00:00:85:00:00:03」に対して、上述したS601〜S605までの処理を実行する。S605において、識別情報「00:00:85:00:00:03」に対応する人物106を画像701において特定できず、S607へ処理を進める。S607において、デジタルカメラ101はクエリの取得を試みると、「ラーメン」というクエリを取得することが出来る。クエリの取得に成功すると、取得したクエリと識別情報「00:00:85:00:00:03」に関連付けられた属性情報とを比較し、関連性があるかを判定する(S608)。ここでは、取得したクエリである「ラーメン」という文字列が、識別情報「00:00:85:00:00:03」に関連付けられた属性情報と関連するかを判定する。つまり、判定部311は、属性情報がユーザの所望の情報であるかを判定する。ここで、判定部311は、属性情報であるコメント「××ラーメン店はおいしいよ!」に、クエリである「ラーメン」という文字列が含まれているため、関連性があると判断する。なお、S608の処理は、公知の自然言語処理等を用いてクエリと属性情報とが関連性があるかを判定するように構成してよい。即ち、属性情報にクエリであるキーワードと同一の文字列を含むことを判定するのみでなく、クエリと関連するキーワードや類義語を含めて属性情報と関連があるかを判定してよい。S608において関連性があると判断された場合、位置情報取得部312によりデジタルカメラ101の位置情報を取得する(S609)。合成部309は、取得したデジタルカメラ101の位置情報と、識別情報と共に取得した携帯電話107の位置情報に基づいて、識別情報に関連付けられた属性情報(名前とコメント)と画像701とを合成する。そして、表示部304は該合成画像を表示する(S610)。
【0026】
S610において合成した画像の表示例を図11に示す。ふきだし1101は、合成された携帯電話107(識別情報「00:00:85:00:00:03」)の属性情報である。ふきだし1101は、デジタルカメラ101と携帯電話107の位置関係が判断され、携帯電話107を所持する人物106がデジタルカメラ101から見て右側に存在するため、その位置関係に基づいて、画像701中の右側に表示される。また、表示部304は、ふきだし1101のふきだし元も画像の外側を指すように表示する。表示部304は、一見して撮像画像中にふきだし1101に対応するオブジェクトが存在しないことを認識可能に表示させる。
【0027】
次に、携帯電話109に対応する識別情報「00:00:85:00:00:04」に対応する処理を述べる。携帯電話107の識別情報に対する処理と同様に、S607にまで処理を進め、S607において「ラーメン」というクエリを取得する。次に、デジタルカメラ101は判定部311により、取得したクエリと識別情報「00:00:85:00:00:04」に関連付けられた属性情報とを比較し、関連性があるかを判断する(S608)。ここで、判定部311は、属性情報である名前「史郎」とコメント「おいしいうどん屋探しています」という文字列には、クエリである「ラーメン」という文字列は含まれていないため、関連性がないと判断する。つまり、該属性情報はユーザ所望の情報ではないと判定される。関連性がない(ユーザの所望の情報ではない)と判断されると、識別情報「00:00:85:00:00:04」に関連付けられた属性情報を表示部304は表示しない。
【0028】
以上により、本実施例において、撮像画像中から所定のオブジェクトを特定できなかった場合にも、撮像範囲には存在しないが通信可能な範囲にいる所定のオブジェクトに対応する属性情報がユーザの所望とする情報である場合は該属性情報を表示する。したがって、ユーザは、わざわざ所定のオブジェクトを撮像範囲に捉えないでも所望とする情報を得ることが出来る。また、従来技術では撮像範囲に所望とする情報を属性情報とするオブジェクトを捉えたとしても、S605の特定処理が成功しない場合は該属性情報は表示されない。しかしながら、本実施例においては、S605の特定処理が成功しない場合であっても、ユーザ所望の情報であれば表示されるため、ユーザの情報取得の機会を増加することが出来る。また、表示制御装置と属性情報とに対応付けられたオブジェクトのおおよその位置を知ることができるように属性情報を表示するため、ユーザは該オブジェクトを見つけやすいという効果がある。また、撮像範囲外のオブジェクトに対応付けられた属性情報のうちユーザが所望とする情報のみを表示するので、ユーザにとって利便性が高い。例えば、図11では画像701中の右側に人物106の属性情報が表示されている。そのため。デジタルカメラ101のユーザはデジタルカメラ101を画面右側に向けて再度、撮影を行うことにより、該属性情報を有する人物106を特定しやすくなる。
【0029】
[実施例2]
本実施例2と実施例1との差異は、デジタルカメラ101が携帯電話103、105、107、109の位置情報を取得する方法が異なる。システムの構成、およびデジタルカメラ101、および携帯電話103、105、107、109は、実施例1と同様である。実施例1と同様である点に関しては、ここでは説明を省略する。図12、図13、図14より本実施例について実施例1と異なる点について詳細に説明する。
【0030】
図12は携帯電話103が自身の位置情報をサーバ111に送信する際のシーケンス図を示したものである。携帯電話105、107、109も同様のシーケンスに従って位置情報をサーバに通達する。携帯電話103は、まず位置情報取得部404により、自身の位置情報を取得する(1201)。そして、取得した位置情報に自身の識別子を付与して、携帯電話制御部403により、サーバ111に送信する(S1202)。サーバ111は携帯電話103の位置情報を受信すると、データベースに登録を行う(S1203)。携帯電話103、105、107、109は、定期的に図12で示される位置情報の登録処理を実施する。これによって、携帯電話103、105、107、109の位置が移動されても、定期的にサーバ111に最新の位置情報を登録することができる。
【0031】
本実施例におけるサーバ111が管理するデータベースに保持される情報の一例を図13に示す。図2に示す識別情報、名前、コメント、特徴情報に加えて、図12の手順で登録された位置情報が関連付けられて構成されている。位置置情報は、バイナリデータ、あるいは緯度、経度、方位、高度を表した数値情報などで登録されている。
【0032】
図14は、デジタルカメラ101が撮影をする際の携帯電話103、105、107、109およびサーバ111とのシーケンス図である。まず、デジタルカメラ101のシャッターボタン302を押すことで撮影が開始される(S1401)。次に、デジタルカメラ101の取得部314は、識別情報を通信可能な範囲に存在する端末に対して要求する。該処理は実施例1と同様である。携帯電話103、105、107、109は、識別情報要求を受けると、それぞれの識別情報をデジタルカメラ101に送信する(S1403)。取得される識別情報は、図13に示される4つの識別情報である。識別情報を受信するとデジタルカメラ101は、実施例1と同様に識別情報に関連付けられた属性情報と特徴情報とをサーバ111に問い合わせる(S1405)。サーバ111は、受信した識別情報をもとにデータベースから該識別情報に関連付けられた属性情報、特徴情報、位置情報を検索する(S1405)。サーバ111は検索を完了すると、その結果をデジタルカメラ101に送信する(1406)。
【0033】
デジタルカメラ101は、検索結果を受信すると実施例1と同様に、得られた検索結果1と同様に合成画像を生成する(S1407)。本処理は実施例1と同様に、S604以降の処理として表わされるので、ここでは省略する。実施例1と位置情報を取得するための方法が異なるだけなので、実施例101と同様の合成画像結果が得られる。すなわち、デジタルカメラ101のユーザがクエリを入力しなかった場合は、図9のような画像が得られ、クエリを入力した場合には図11のような画像が結果として得られる。
【0034】
以上により、本実施例において、撮像画像中から所定のオブジェクトを特定できなかった場合にも、撮像範囲には存在しないが通信可能な範囲にいる所定のオブジェクトに対応する属性情報がユーザが所望とする情報である場合は該属性情報を表示する。したがって、ユーザは、わざわざ所定のオブジェクトを撮像範囲に捉えないでも所望とする情報を得ることができる。また、表示制御装置と属性情報と関連するオブジェクトのおおよその位置を知ることができるように属性情報を表示するため、ユーザは該オブジェクトを見つけやすいという効果がある。また、撮像範囲外のオブジェクトに関連する属性情報のうちユーザが所望とする情報のみを表示するので、ユーザにとって利便性が高い。例えば、図11では画像701中の右側に人物106の属性情報が表示されている。そのため。デジタルカメラ101のユーザはデジタルカメラ101を画面右側に向けて再度、撮影を行うことにより、該属性情報を有する人物106を特定しやすくなる。
【0035】
(その他の実施形態)
その他の構成として、本発明は静止画によらず動画像において人物を特定し、属性情報を表示してもよい。その場合、動画像の各フレームを静止画として連続して処理することで実現してもよい。また、識別情報の発信や取得などに関わる通信は、IEEE802.11に則った無線LANの通信に限らず、Bluetoothやパッシブ/アクティブ型のRFIDなどでよい。無線LANとパッシブ型RFIDなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。また、ミリ波などの指向性のある無線方式を利用して識別情報の発信、取得をしてもよい。
【0036】
位置情報取得部312はGPSによる位置情報の取得ではなく、アダプティブアレイアンテナのように指向性のあるアンテナを用いて、電波の入射角などに基づいてオブジェクトのおおよその位置を特定してもよい。実施例1、2では各識別情報に対応する属性情報は人物に紐づけられていたが、人物である必要はなく、お店などの建築物やある特定の物体などに紐づけられていてもよい。
【0037】
また、ユーザが入力するクエリは文字列に限らない。例えば、デジタルカメラ101の画面上でレストランモードや、スポーツモードなど複数のモードを選択することができ、その複数のモードの中からユーザが特定のモードを選択することでクエリとして見なしてもよい。つまり、クエリと属性情報を予め所定の種別に分類し、それらのマッチングによりS608の処理を行ってもよい。また、クエリは、ユーザ自身の属性情報であってもよい。例えば、人物102が本発明を適用できる表示装置のユーザであったとして、クエリとして人物102に関連づけられている「太郎」、「今日は暑い」といった属性情報をクエリのひとつとして利用してもよい。
【0038】
また、上述した実施例においてクエリが入力された場合であっても、撮像画像中のオブジェクトが識別された場合は、該オブジェクトに対応する属性情報は、入力したクエリに関連するか否かに関わらず表示する構成とした。しかしながら、撮像画像中のオブジェクトが識別された場合であっても、該オブジェクトに対応する属性情報と入力したクエリに関連がない場合は、表示しない構成としても良い。例えば、図15に示すようにクエリとして「ラーメン」が入力された場合、「ラーメン」と関連がない被写体702に対応する属性情報であるふきだし801は表示しない。このように構成することでユーザが必要な情報のみを表示できるので、ユーザは所望の情報を容易に取得することが可能となる。
【0039】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは情報処理装置に供給し、そのシステム或いは情報処理装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0040】
101 デジタルカメラ
102、104、106、108 人物
103、105、107、109 携帯電話
110 ネットワーク
111 サーバ
【特許請求の範囲】
【請求項1】
撮像画像を表示させる表示制御装置であって、
他の装置の識別子を取得する識別子の取得手段と
前記識別子の取得手段により取得した識別子に関連付けられた情報を取得する情報の取得手段と、
前記情報の取得手段により取得された情報のうち、ユーザにより入力されたクエリと関連する情報を表示部に表示させる表示制御手段と、
を有することを特徴とする表示制御装置。
【請求項2】
前記識別子の取得手段により取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段を有し、
前記表示制御手段は、前記検出手段により検出したオブジェクトと当該オブジェクトに対応する識別子に関連付けられた情報とを対応付けて前記表示部に表示させることを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記表示制御手段は、前記検出手段により検出が出来なかったオブジェクトに対応する前記情報の取得手段により取得した情報と、前記検出手段により検出したオブジェクトに対応する前記情報の取得手段により取得した情報とを前記表示部に表示させることを特徴とする請求項2に記載の表示制御装置。
【請求項4】
前記他の装置の位置と前記表示制御装置の位置とを取得する位置の取得手段を有し、
前記表示制御手段は、前記位置の取得手段で取得した位置に基づいて、前記表示部における前記情報の取得手段により取得した情報を表示する位置を制御することを特徴とした請求項1乃至請求項3の何れか1項に記載の表示制御装置。
【請求項5】
前記表示制御手段は、前記位置の取得手段で取得した位置に基づいて、前記情報の取得手段により取得した情報に関連付けられた識別子を有する前記他の装置の位置を示すように前記表示部における当該情報を表示する位置を制御することを特徴とした請求項4記載の表示制御装置。
【請求項6】
前記表示制御手段は、前記情報の取得手段により取得した情報を前記検出手段により検出が出来なかったオブジェクトに対応する情報であることを示すように前記表示部に表示させることを特徴とした請求項4または5に記載の表示制御装置。
【請求項7】
前記表示制御手段は、前記情報の取得手段により取得した情報に前記クエリとして入力されたキーワードが含まれる場合に、当該情報の取得手段により取得した情報を当該クエリに関連する情報として表示することを特徴とする請求項1乃至6の何れか1項に記載の表示制御装置。
【請求項8】
前記識別子の取得手段により取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段を有し、
ユーザによりクエリが入力されていない場合、前記表示制御手段は、前記検出手段により検出したオブジェクトと当該オブジェクトに対応する前記情報の取得手段により取得した情報とを関連付けて前記表示部に表示させることを特徴とすることを特徴とした請求項2乃至7の何れか1項に記載の表示制御装置。
【請求項9】
撮像画像を表示させる表示制御装置の制御方法であって、
他の装置の識別子を取得する識別子の取得工程と
前記識別子の取得工程において取得した識別子に関連付けられた情報を取得する情報の取得工程と、
前記情報の取得工程において取得された情報のうち、ユーザにより入力されたクエリと関連する情報を表示部に表示させる表示制御工程と、
を有することを特徴とする表示制御装置の制御方法。
【請求項10】
請求項9に記載の制御方法を情報処理装置に実行させるためのプログラム。
【請求項1】
撮像画像を表示させる表示制御装置であって、
他の装置の識別子を取得する識別子の取得手段と
前記識別子の取得手段により取得した識別子に関連付けられた情報を取得する情報の取得手段と、
前記情報の取得手段により取得された情報のうち、ユーザにより入力されたクエリと関連する情報を表示部に表示させる表示制御手段と、
を有することを特徴とする表示制御装置。
【請求項2】
前記識別子の取得手段により取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段を有し、
前記表示制御手段は、前記検出手段により検出したオブジェクトと当該オブジェクトに対応する識別子に関連付けられた情報とを対応付けて前記表示部に表示させることを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記表示制御手段は、前記検出手段により検出が出来なかったオブジェクトに対応する前記情報の取得手段により取得した情報と、前記検出手段により検出したオブジェクトに対応する前記情報の取得手段により取得した情報とを前記表示部に表示させることを特徴とする請求項2に記載の表示制御装置。
【請求項4】
前記他の装置の位置と前記表示制御装置の位置とを取得する位置の取得手段を有し、
前記表示制御手段は、前記位置の取得手段で取得した位置に基づいて、前記表示部における前記情報の取得手段により取得した情報を表示する位置を制御することを特徴とした請求項1乃至請求項3の何れか1項に記載の表示制御装置。
【請求項5】
前記表示制御手段は、前記位置の取得手段で取得した位置に基づいて、前記情報の取得手段により取得した情報に関連付けられた識別子を有する前記他の装置の位置を示すように前記表示部における当該情報を表示する位置を制御することを特徴とした請求項4記載の表示制御装置。
【請求項6】
前記表示制御手段は、前記情報の取得手段により取得した情報を前記検出手段により検出が出来なかったオブジェクトに対応する情報であることを示すように前記表示部に表示させることを特徴とした請求項4または5に記載の表示制御装置。
【請求項7】
前記表示制御手段は、前記情報の取得手段により取得した情報に前記クエリとして入力されたキーワードが含まれる場合に、当該情報の取得手段により取得した情報を当該クエリに関連する情報として表示することを特徴とする請求項1乃至6の何れか1項に記載の表示制御装置。
【請求項8】
前記識別子の取得手段により取得した識別子に対応するオブジェクトを前記撮像画像から検出する検出手段を有し、
ユーザによりクエリが入力されていない場合、前記表示制御手段は、前記検出手段により検出したオブジェクトと当該オブジェクトに対応する前記情報の取得手段により取得した情報とを関連付けて前記表示部に表示させることを特徴とすることを特徴とした請求項2乃至7の何れか1項に記載の表示制御装置。
【請求項9】
撮像画像を表示させる表示制御装置の制御方法であって、
他の装置の識別子を取得する識別子の取得工程と
前記識別子の取得工程において取得した識別子に関連付けられた情報を取得する情報の取得工程と、
前記情報の取得工程において取得された情報のうち、ユーザにより入力されたクエリと関連する情報を表示部に表示させる表示制御工程と、
を有することを特徴とする表示制御装置の制御方法。
【請求項10】
請求項9に記載の制御方法を情報処理装置に実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2013−55537(P2013−55537A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2011−192850(P2011−192850)
【出願日】平成23年9月5日(2011.9.5)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願日】平成23年9月5日(2011.9.5)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]