説明

ブロードキャストに支援された顔識別に基づく写真のタグ付けのための方法

デバイスを用いて撮影されたデジタル写真に関連付けるべきデータを取得するための、電子デバイス、方法、及びシステム。デバイス(10)は、デバイスを用いて撮影されたデジタル写真にデータを関連付けるための写真管理アプリケーション(80)を含む。写真管理アプリケーションは、写真(150)から顔画像(例えば152)を抽出し、顔画像に関するフェイスプリントを決定し、その画像を撮影したデバイスの通信ゾーン内のリモート移動体デバイスに対してフェイスプリントを送信し、送信されたフェイスプリントを認識するリモートデバイスからデータを受信し、リモートデバイスから受信したデータをデジタル写真に関連付けるように構成される。

【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、一般的に、情報をデジタル写真に関連付けるためのシステム及び方法に関し、特に、デジタル写真中に描かれる1以上の画像に関連する情報を取得してその情報を写真に関連付けるための自動化されたシステム及び方法に関する。
【背景技術】
【0002】
移動電話のようなポータブル電子デバイスは、長年に亘って人気があり、人気が上昇し続けている。長年に亘り、移動電話には、伝統的な音声通信機能を超えた機能が備えられてきた。例えば、移動電話は今日では、データ通信、ビデオ伝送、メディア再生、及び商業ラジオ受信を行うことができる。今日、多くの電子デバイスは、写真及び/又はビデオを撮影するためのカメラ機能を含む。カメラを持つ典型的な移動電話においては、例えば、カメラは電話のハウジング内部に取り付けられている。ハウジングの表面にはカメラレンズのために開口が設けられている。レンズの照準を合わせるためにディスプレイを使用可能であり、或いは、ビューファインダが設けられている。ユーザは、ディスプレイ又はビューファインダを覗き込み、画像を撮影するためにシャッターレリーズを作動させることにより、カメラ機能を使用することになる。
【0003】
今日のほとんどの写真撮影術は、デジタル写真撮影技術を採用している。伝統的なフィルム写真撮影術(これには、撮影された各写真に関連付けられるフィルム消費のコストがある)とは異なり、デジタル写真撮影術には、各写真に関連付けられる漸増コストがない。それゆえ、デジタルカメラ技術のユーザはしばしば、伝統的なフィルムカメラを用いた場合にそうするであろう数よりもずっと多くの写真を撮影する。
【0004】
典型的には、各デジタル写真はディレクトリの中にファイルとして格納される(ファイルには時間順に基づくファイル名が割り当てられ、ディレクトリにも時間順に基づくディレクトリ名が割り当てられる)。デジタル写真を整理して管理する多数の方法が存在する。デジタル写真を整理して管理するアプローチの1つは、ネストしたディレクトリの中に写真を整理して、写真の画像コンテンツを識別するのに有用なファイル名及びディレクトリ名を用いることである。このアプローチは、ファイル名を手作業で変更してデジタル写真をネストしたディレクトリ構造の中に再整理する必要があろうが、これは時間を消費する煩わしいことであろう。更に、このようなソリューションは、適切なディレクトリ名及びファイル名が未知である場合には、写真を検索したりその位置を特定したりすることを容易にはしない。
【0005】
「写真アルバム」ソフトウェアアプリケーションの幾つかの提供者は、デジタル写真の整理を容易にする。プログラム及びアプリケーションによって、ユーザは、テキストベースのタグを各写真に関連付けることができる。その後、検索機能によって、そのようなテキストに基づく検索を行うことができる。
【0006】
やはり提案されてきたこととして、顔認識技術を用いてテキストベースのタグをコレクション中の写真に関連付けることを支援するものがある。2004年に発行された、Andreas Girgensohn、John Adcock、及びLynn Wilcox著の"Leveraging Face Recognition Technology to Find and Organize Photographs"(写真を発見して整理するために顔認識技術にてこ入れする)というタイトルを持つ論文では、著者たちは写真から顔画像を自動的に抽出する顔検出器を使用することを提案している。次いで、選択されたモデルに対する類似性によって顔画像が分類される。ユーザインタフェースが、ユーザが顔画像を個人に割り当てることができるように、分類された顔画像を提示する。これには、画像が対応する個人の名前をタイプすることによって顔画像にラベルを付けることが含まれよう。顔画像に割り当てられたラベルは、その顔画像の抽出元の写真に関連付けられる。ユーザが抽出された顔画像にラベルを付けるので、顔画像は、更なる顔画像を分類する用途のためのモデルとなる。代替の変形例においては、システムは、顔画像に名前を割り当て、ユーザに対してこの割り当てを確認するように促してもよい。更に別の変形例では、個人の名前によってラベル付けを行うために、多くの類似する顔画像がユーザに対して提示されてもよい(例えば、バルク割り当てアプローチ)。ラベルが写真に割り当てられた後に、ラベルの内容によって写真を容易に整理して分類することができる。
【発明の概要】
【0007】
本開示の一態様によれば、移動体デバイスによって撮影されたデジタル写真中に描写される顔画像に関連する情報を取得するように前記移動体デバイスを動作させる方法が提供される。一実施形態では、前記方法は、デジタル写真を撮影するステップと、前記デジタル写真中に描写される顔画像を示すフェイスプリントを作成するステップと、前記フェイスプリントを1以上のリモート移動体デバイスへ送信するステップと、前記送信したフェイスプリントに一致するフェイスプリントを格納している前記1以上のリモート移動体デバイスのうちの少なくとも1つから識別データを取得するステップと、前記取得した識別データの少なくとも一部を前記デジタル写真に関連付けるステップと、を備える。
【0008】
一実施形態によれば、前記フェイスプリントを前記1以上のリモート移動体デバイスへ送信する前記ステップは、前記フェイスプリントを通信ゾーン内の1以上のリモート移動体デバイスへ送信するステップを含み、前記通信ゾーンは、前記移動体デバイスを取り巻くゾーンであって前記移動体デバイスがローカル通信システムを介して電気的に通信可能なゾーンである。
【0009】
一実施形態によれば、前記ローカル通信システムは、Bluetooth無線、赤外線通信、近距離通信、Wi−Fi、WLAN、又はこれらのうちの2以上の組み合わせから選択される。
【0010】
一実施形態によれば、前記フェイスプリントを前記1以上のリモート移動体デバイスへ送信する前記ステップは、前記1以上のリモート移動体デバイスに対して前記移動体デバイスを識別するための識別エレメントを送信するステップを更に含む。
【0011】
一実施形態によれば、前記識別エレメントは、前記フェイスプリントを送信する前記移動体デバイスの電話番号を示すハッシュである。
【0012】
一実施形態によれば、前記方法は、前記デジタル写真から取得した前記フェイスプリントと、前記1以上のリモート移動体デバイスから取得した前記識別データの少なくとも一部とを含む識別レコードを作成するステップを更に備える。
【0013】
一実施形態によれば、前記取得した識別データは、前記フェイスプリントに関連付けられた人に関連するコンタクト情報を含む。
【0014】
一実施形態によれば、前記方法は、前記フェイスプリントと、前記1以上のリモート移動体デバイスのうちの前記少なくとも一部から受信した前記コンタクト情報と、を含むコンタクトレコードを作成するステップを更に備える。
【0015】
本開示の別の態様によれば、移動体デバイスであって、デジタル写真を撮影するカメラと、前記移動体デバイスが電気的に通信可能な、前記移動体デバイスを取り巻く通信ゾーン内の1以上のリモート移動体デバイスと通信するローカル通信システムと、前記デジタル写真を受信し、前記デジタル写真に関連するデータを取得し、前記デジタル写真に関連する前記データの少なくとも一部を前記デジタル写真に関連付け、前記デジタル写真から顔画像を抽出する写真管理アプリケーションと、を備え、前記写真管理アプリケーションがロードされ実行されると、前記移動体デバイスが、前記デジタル写真中に描写される顔画像のフェイスプリントを抽出し、前記顔画像を1以上のリモート移動体デバイスへ送信し、前記送信したフェイスプリントに一致するフェイスプリントを有する前記1以上のリモート移動体デバイスのうちの少なくとも1つから識別データを取得し、前記取得した識別データを前記デジタル写真に関連付けることを特徴とする移動体デバイスが提供される。
【0016】
一実施形態によれば、前記移動体デバイスは、前記移動体デバイスを識別する識別エレメントを前記1以上のリモート移動体デバイスへ更に送信する。
【0017】
一実施形態によれば、前記識別エレメントは、前記移動体デバイスの電話番号を示す。
【0018】
一実施形態によれば、前記識別エレメントは、ハッシュである。
【0019】
一実施形態によれば、前記写真管理アプリケーションは更に、前記移動体デバイスに、前記フェイスプリントを含むレコードを作成させ、前記取得した識別データの少なくとも一部を前記作成したレコードに関連付けさせる。
【0020】
一実施形態によれば、前記取得した識別データは、前記フェイスプリントに関連付けられた人に関連するコンタクト情報を含む。
【0021】
一実施形態によれば、前記移動体デバイスは、コンタクトディレクトリを更に備え、前記コンタクトディレクトリは、前記移動体デバイスに、前記フェイスプリントと、前記取得したコンタクト情報の少なくとも一部とを含むコンタクトレコードを作成させる。
【0022】
本開示の更に別の態様によれば、要求側移動体デバイスに対してデータを送信するように移動体デバイスを動作させる方法が提供される。一実施形態によれば、前記方法は、デジタル写真からの顔画像に対応するフェイスプリントの送信を要求側移動体デバイスから受信するステップと、前記受信したフェイスプリントが前記移動体デバイスに格納されているフェイスプリントに一致するか否かを判定するステップと、前記移動体デバイス上の前記格納されているフェイスプリントが前記要求側移動体デバイスによって送信されたフェイスプリントに一致すると判定された場合に、前記格納されているフェイスプリントに関連付けられた情報データを前記要求側移動体デバイスへ送信するステップと、を備える。
【0023】
一実施形態によれば、前記方法は、前記情報データを前記要求側移動体デバイスへ送信する前記ステップに先立って、前記移動体デバイスにとって前記要求側移動体デバイスが既知であるか未知であるかを判定するステップを備える。
【0024】
一実施形態によれば、前記移動体デバイスにとって前記要求側移動体デバイスが未知であると前記移動体デバイスが判定した場合に、前記移動体デバイスが、(i)前記移動体デバイスに格納されている前記フェイスプリントに関連付けられた指定データを送信するか、又は(ii)いかなる前記情報データも前記要求側移動体デバイスへ送信しない。
【0025】
一実施形態によれば、前記方法は、前記要求側移動体デバイスから受信した前記フェイスプリントに一致する前記移動体デバイスに格納されている前記フェイスプリントが前記移動体デバイスのユーザを識別するフェイスプリントに対応するか否かを判定するステップを備える。
【0026】
一実施形態によれば、前記要求側移動体デバイスから受信した前記フェイスプリントに一致する前記移動体デバイスに格納されている前記フェイスプリントが前記移動体デバイスのユーザを識別するフェイスプリントに対応しないと判定された場合に、前記移動体デバイスは、前記情報データを前記要求側移動体デバイスへ送信しない。
【0027】
これらの特徴及び更なる特徴は、以下の記述及び添付の図面を参照すれば明らかになるであろう。この記述及び図面において、本発明の原理を採用可能な幾つかの方法を示すものとして本発明の特定の実施形態が詳細に開示されているが、理解されることとして、本発明はこれに応じてその範囲が限定されはしない。むしろ本発明は、添付の請求項の範囲内にある全ての変更物、修正物、及び均等物を含む。
【0028】
1つの実施形態に関して記述及び/又は説明される特徴は、1つ又は複数の他の実施形態において、及び/又は他の実施形態の特徴と組み合わせるかその代わりとして、同じ方法又は同様の方法で使用され得る。
【0029】
強調すべきこととして、「含む/含んでいる(comprises/comprising)」という用語は、本明細書において使用される場合、言及された特徴、整数、ステップ、又はコンポーネントの存在を示すものとして捉えられるが、単数又は複数の他の特徴、整数、ステップ、コンポーネント、又はそれらのグループの存在又は追加を排除するものではない。
【図面の簡単な説明】
【0030】
【図1】本発明の態様に従う使用に適した例示的な移動体デバイスの概略図である。
【図2】図1の移動体デバイスのコンポーネントを図形で示す。
【図3】本発明の態様に従う、データを取得してこれを写真に関連付けるデバイス及び写真管理アプリケーションの例示的な動作を示すフローチャートである。
【図4】本発明の一実施形態に従う、移動体デバイスを用いて取得される例示的なデジタル写真、及び、データを取得してこれをデジタル写真に関連付けるシステムを概略的に描写する図である。
【図5】図4に示すシステム及びコンポーネントを採用した、データを取得してこれを写真に関連付ける写真管理アプリケーションの例示的な動作を示すラダー図である。
【図6】本発明の他の実施形態に従う、例示的なデジタル写真、及び、データを取得してこれをデジタル写真に関連付けるシステムの概略図である。
【図7】要求側デバイスによって撮影されたデジタル写真にデータを関連付けるための情報を要求側デバイスへ送信するデバイスの例示的な動作を示すフローチャートである。
【発明を実施するための形態】
【0031】
これから、図面を参照して、実施形態を説明する。図面において、同様の参照符号は全図を通して同様のエレメントを参照するために使用される。図は必ずしも縮尺を調整されている訳ではないことが理解されよう。
【0032】
「電子装置」及び「電子デバイス」という用語は、ポータブル無線通信装置を含む。「ポートブル無線通信装置」という用語は、この先は「移動体無線端末」と呼ぶが、移動体電話、ページャ、コミュニケータ(即ち電子手帳)、携帯情報端末(PDA)、スマートフォン、ポータブル通信装置、などのような全ての装置を含む。「ポータブル通信デバイス」という用語は、任意のポータブル電子装置を含み、例えば、移動体無線端末、移動体電話、移動体デバイス、移動体端末、コミュニケータ、ページャ、電子手帳、携帯情報端末(PDA)、スマートフォン、などを含む。「ポータブル電子デバイス」という用語はまた、ポータブルデジタル音楽プレーヤ及び/又はビデオ表示デバイスも含み得る。
【0033】
本願では、主として移動体電話の文脈で本発明の態様が説明される。しかしながら、理解されるであろうこととして、本発明は移動体電話に限定されることを意図してはおらず、任意の種類のポータブル電子装置であってもよい。
【0034】
図1を参照すると、開示される方法及びアプリケーションと共に使用するのに適した電子デバイス10が示されている。例示的な実施形態における電子デバイス10は、ポータブルネットワーク通信デバイス(例えば移動体電話)として示されており、移動体電話10と呼ばれる。移動体電話10は、「ブリック」又は「ブロック」のデザインタイプのハウジングを持つものとして示されているが、理解されるであろうこととして、他の種類のハウジング(例えば、クラムシェルハウジング又はスライドタイプのハウジング)も、本発明の範囲から逸脱せずに利用可能である。
【0035】
図1に示されるように、移動体電話10は、1以上の通信タスク(例えば、テキスト入力、テキスト又は画像の表示、Eメールの送信、Eメールの表示、Eメールの受信、アドレス帳の識別、アドレス帳の選択、電話の発信、電話の受信、など)をユーザが容易且つ効率的に実行できるようにするユーザインタフェースを含んでもよい。移動体電話10は、ハウジング12、ディスプレイ14、スピーカ16、マイクロフォン18、キーパッド20、及び多数のキー24を含む。ディスプレイ14は、任意の適切なディスプレイであってよく、例えば、液晶ディスプレイ、発光ダイオードディスプレイ、又は他のディスプレイを含む。キーパッド20は、複数のキー22(ダイヤルキーや入力キーなどと呼ぶ場合もある)を含む。キーパッドエリア20のキー22は、例えば手作業で操作可能であってもよいし、或いは、(例えば、電話番号をダイヤルする、テキスト入力を入力する(例えば、テキストメッセージの作成、Eメールの作成、他のテキスト(例えばコード、PIN番号、セキュリティID)の入力などのために)、デバイスを用いた何らかの機能を実行する、或いは、何らかの他の機能を実行するために)移動体電話10の回路への入力を提供するために操作可能であってもよい。
【0036】
キー24は、様々な個別の機能を持つ多数のキーを含み得る。例えば、キー26は、ナビゲーションキー、選択キー、又は他の何らかの種類のキーであってもよく、キー28は、例えば、ソフトキー又はソフトスイッチであってもよい。一例として、ナビゲーションキー26は、ディスプレイ14に示されるリストを通じたスクロールのために、ディスプレイ14のリストに示される1以上の項目を選択するために、などに使用可能である。ソフトスイッチ28は、個別の機能(例えば、各ソフトスイッチの近傍にディスプレイ14上で表示又はリストされるもののような)を実行するために手作業で操作可能であってもよい。ディスプレイ14、スピーカ16、マイクロフォン18、ナビゲーションキー26、及びソフトキー28は、移動体電話が典型的に使用される通常の方法で使用可能であり機能可能である(例えば、電話の呼を開始、受信、及び/又は応答するように、テキストメッセージを送受信するように、ネットワーク(例えば、インターネット又は他の何らかのネットワーク)に接続してそれ経由で様々な機能を実行するように、移動体電話間で情報を電波発信するように、など)。これらは、多様なコンポーネントの適切な用途及び機能の例に過ぎず、他の用途が存在してもよいことも理解されよう。
【0037】
移動体電話10は、ディスプレイ14を含む。ディスプレイ14は、ユーザに対して情報(例えば、動作状態、時刻、電話番号、連絡先、多様なナビゲーションメニュー、1以上の機能の状態など)を表示し、これにより、ユーザは移動体電話10の多様な機能を利用することができる。ディスプレイ14はまた、移動体電話10によってアクセス可能なコンテンツを視覚的に表示するためにも使用可能である。表示されるコンテンツには、Eメールメッセージ、地理的情報、ジャーナル情報、写真画像、移動体電話10のメモリ44(図2)にローカルに格納される及び/又は移動体電話からリモートに(例えば、リモート記憶デバイス、メールサーバ、リモートパーソナルコンピュータ、などに)格納されるオーディオ及び/又はビデオの表示(プレゼンテーション)、デバイスを通じて演奏されているオーディオコンテンツに関連する情報(例えば、ソングタイトル、アーチスト名、アルバムタイトル、など)、などが含まれる。そのような表示(プレゼンテーション)は、Eメールメッセージを通じて受信される(例えば、オーディオファイル及び/又はビデオファイルを含む)マルチメディアファイル、記憶されているオーディオベースのファイル、又は受信した移動体ラジオ及び/又はテレビ信号などに由来し得る。表示されるコンテンツは、ユーザによってデバイスに入力されたテキストであってもよい。オーディオコンポーネントは、移動体電話10のスピーカ16によりユーザへブロードキャストされてもよい。或いは、オーディオコンポーネントは、ヘッドセットスピーカ(不図示)を通じてユーザへブロードキャストされてもよい。
【0038】
デバイス10は、オプションで、タッチパッド又はタッチスクリーンの機能を含む。タッチパッドは、ディスプレイ14の全体又は一部を形成してよく、従来通り操作のために制御回路40に結合されてもよい。
【0039】
図1に示すキー以外の多様なキーが移動体電話10に関連付けられていてもよく、これには、ボリュームキー、オーディオミュートキー、ON/OFF電源キー、ウェブブラウザ起動キー、Eメールアプリケーション起動キー、移動体電話に関連付けられたカメラ回路を起動するためのカメラキー、などが含まれ得る。キー又はキーのような機能はまた、ディスプレイ14に関連付けられたタッチスクリーンとしても具現化可能である。
【0040】
移動体電話10は、従来の呼回路を含み、これは、移動体電話10が呼を確立し、Eメールメッセージを送信及び/又は受信し、及び/又は被呼/発呼デバイス(典型的には、他の移動体電話又は有線電話)と信号を交換することを可能にする。しかしながら、被呼/発呼デバイスは他の電話である必要はなく、他の何らかのデバイス(例えば、インターネットウェブサーバ、Eメールサーバ、コンテンツ提供サーバ、など)であってもよい。
【0041】
移動体電話10がここで説明されるようにカメラとして活用される場合、ディスプレイ14は、写真又はビデオクリップを撮影する際にユーザを補助する電子ビューファインダとして機能可能であり、及び/又は、ディスプレイは、保存された写真及び/又はビデオクリップを表示するためのビューワとして機能可能である。加えて、ディスプレイ14がタッチセンサー式ディスプレイである場合、ディスプレイ14は入力デバイスとしてサービスを行うことができ、これによりユーザはデータの入力やメニューの選択などができる。
【0042】
図2を参照すると、移動体電話10の機能ブロック図が示されている。移動体電話10は、主制御回路40を含み、これは、移動体電話10の機能及び動作の全体制御を実行するように構成される。制御回路40は、例えばCPU、マイクロコントローラ、又はマイクロプロセッサなどのような処理デバイス42を含んでもよい。処理デバイス42は、移動体電話機能45の従来の動作を実行するために、制御回路40内のメモリ(不図示)及び/又は分離したメモリ(例えば、メモリ44)に格納されたコードを実行する。
【0043】
メモリ44は、例えば、バッファ、フラッシュメモリ、ハードドライブ、リムーバブルメディア、揮発性メモリ、及び/又は不揮発性メモリであってもよい。
【0044】
図2の参照を継続すると、移動体電話10は、無線回路46に結合されたアンテナ11を含む。無線回路46は、従来同様にアンテナ11経由で信号を送受信する、無線周波数(RF)送信機及び受信機を含む。移動体電話10は、概して、セルラ電話ネットワークを介した音声及び/又はEメール通信のために無線回路46及びアンテナ11を利用する。移動体電話10は更に、無線回路46との間で送受信されるオーディオ信号を処理するためのサウンド信号処理回路48を含む。サウンド処理回路48には、スピーカ16及びマイクロフォン18が結合され、これらは、ユーザが従来同様に移動体電話10を介して聴き話すことを可能にする。無線回路46及びサウンド処理回路48は、それぞれ、全体動作を実行するために制御回路40に結合される。
【0045】
移動体電話10はまた、前述のディスプレイ14及びキーパッド20も含み、これらは制御回路40に結合される。デバイス10及びディスプレイ14は、オプションで、タッチパッド又はタッチスクリーンの機能を含み、これは、ディスプレイ14の全体又は一部であってもよい。移動体電話10は更に、I/Oインタフェース50を含む。I/Oインタフェース50は、典型的な移動体電話I/Oインタフェース(例えば、移動体電話10の下部にあるマルチエレメントコネクタ)の形式であってもよい。典型的なように、I/Oインタフェース50は、移動体電話10内の電源供給ユニット(PSU)52を充電するために、移動体電話10をバッテリーチャージャーに結合するために使用可能である。加えて、或いは代替として、I/Oインタフェース50は、移動体電話10を、有線パーソナルハンズフリーアダプタへ、データケーブル経由でパーソナルコンピュータ又は他のデバイスへ、など接続する役割を果たすことができる。移動体電話10はまた、計時機能を実行するためのタイマー54も含んでもよい。そのような機能には、呼及び/又はイベントの継続時間を計ったり、呼及び/又はイベントの経過時間を追跡したり、タイムスタンプ情報(例えば、日付及び時刻のスタンプ)を生成したり、などが含まれ得る。
【0046】
移動体電話10は、多様なビルトインアクセサリを含んでもよい。一実施形態では、移動体電話10はまた、位置データ受信機(例えば、GPS受信機、ガリレオ衛星システム受信機、など)も含んでもよい。移動体電話10はまた、移動体電話が曝されている状態(例えば、温度、大気圧、湿度、など)を測定するための環境センサも含んでもよい。
【0047】
移動体電話10は、ローカル通信システム56を含んでもよく、これにより、他のデバイスとの近距離通信が可能になる。ローカル通信システム56はまた、ここでは、ローカル無線インタフェースアダプタとも呼ばれ得る。ローカル通信システムのための適切なモジュール又はシステムには、限定される訳ではないが、例えば、ブルートゥース無線、赤外線通信モジュール、近距離通信モジュール、WiFi、などが含まれる。ローカル通信システムはまた、他のローカルに在るデバイス(無線ヘッドセット、コンピュータなど)との無線通信を確立するためにも使用可能である。加えて、移動体電話10にはまた、他のローカルに在るデバイス(無線ローカルエリアネットワーク、無線アクセスポイント、など)との無線通信を確立するための無線ローカルエリアネットワークインタフェースアダプタ58が含まれ得る。好ましくは、WLANアダプタ58は、1以上のIEEE802.11プロトコル(例えば、802.11(a)、802.11(b)、及び/又は802.11(g)など)に準拠しており、これにより、移動体電話10は、WLAN上で固有のアドレス(例えば、IPアドレス)を獲得してWLAN上の1以上のデバイスと通信することができる(ユーザが適切な権限を持ち、及び/又は、正しく認証されたということを仮定すれば)。ここで使用されるように、「ローカル通信システム」という用語は、無線ローカルエリアネットワークインタフェースを包含する。
【0048】
ローカル通信システム及び/又はWLANは、例えば、デバイス10がリモート移動体デバイス(例えば、通信ゾーン30内にあるデバイス32及び34(図1参照)など)を発見してそれに接続できるようにするために使用可能である。通信ゾーン30は、移動体デバイス10の周囲の領域であってデバイスがローカル通信システム56及び/又はWLANアダプタ58を使用して通信セッションを確立可能な領域によって規定される。理解されるであろうこととして、以下で更に説明されるように、通信は伝統的な呼応答セッションである必要はなく、単に、他のデバイスへ情報を送信すること(例えば、SMS、MMSなどを含むメッセージングシステムやピクチャーメッセージなどによって)も含み得る。
【0049】
図2に示すように、処理デバイス42は、メモリ44に結合される。メモリ44は、プロセッサ42がデバイス10の多様なアプリケーション及び機能を制御するために使用する、多様なデータを含む。理解されるであろうこととして、データは他の追加的なメモリバンク(不図示)に格納されることも可能であり、メモリバンクは任意の適切な種類(例えば、リードオンリーメモリ、リードライトメモリ、など)であってもよい。
【0050】
デバイス10は、複数のコンタクトレコードを格納するためのコンタクトディレクトリ60を含んでもよい。各コンタクトレコードは、コンタクト(連絡先)に関連する任意の所望の情報を含むことができ、これには、伝統的なコンタクトフィールド(例えば、コンタクトの名前、単数又は複数の電話番号、単数又は複数のEメールアドレス、勤務先住所又は家の住所、誕生日、記念日、など)が含まれる。コンタクトディレクトリは、コンタクトレコード中の個人に関連付けられたネットワークアドレス(例えば、電話番号、Eメールアドレス、テキストアドレスなど)を提供するという、コンタクトディレクトリの伝統的な目的を果たす。これにより、電話アプリケーション又はメッセージングアプリケーションのいずれかが、電話通信システム経由でネットワークアドレスとの通信セッションを開始することが可能になる。
【0051】
コンタクトレコードはまた、呼ライン識別写真(これは例えば、コンタクトの顔画像であってもよい)も含んでもよい。着呼の発呼者ID(caller ID)が、呼ライン識別レコードが含まれているコンタクトレコード中の電話番号に一致した場合、電話機能45は、ユーザインタフェースを駆動して呼ライン識別写真を表示してもよい。
【0052】
移動体電話10は、本発明の諸態様を実行するのに適した多様なカメラハードウェア70を含む。カメラハードウェア70には、写真を取得又は撮影するための任意の適当なハードウェア(例えば、カメラレンズ、フラッシュエレメント、そして電荷結合素子(CCD)アレイ又は他の画像撮影デバイス、画像処理回路、など)が含まれ得る。カメラレンズは、撮影対象の単数又は複数の被写体をCCDアレイ上に造影する役割を果たす。CCDによって受信された撮影画像は、画像処理回路へ入力され、画像処理回路は、カメラ機能72の制御下で画像を処理し、こうして、カメラ操作の間に取得された写真が処理され、写真に対応する画像ファイルが例えばメモリ44に格納され得る。
【0053】
移動体電話10を用いて写真を取得することを願う場合、ユーザはボタン又は他の適切なメカニズムを押下して、カメラ回路70及び/又はカメラ機能72を開始する。制御回路は、ユーザが適切なボタンを押下したことで生成された信号を処理する。次いでユーザは、写真及び/又はビデオクリップを従来のやり方で取得することができる。この例では、CCDセンサによって受信された画像は、電子ビューファインダとして機能するためにカメラ機能72経由でディスプレイ14へと提供することができる。
【0054】
デバイス10には、写真管理アプリケーション80が含まれる。写真管理アプリケーション80は、一態様においては、撮影されたデジタル写真に関連する情報を含む情報レコードを取得し、デジタル写真に関連するこの情報の少なくとも一部を撮影された写真に関連付けるように構成される。情報又はデータは、任意の適切な形式(例えば、テキストベースのメタデータなど)で、撮影された写真に関連付けることができる。テキストベースのメタデータは、デジタル写真中に描写されるコンテンツを識別可能であり、こうして、写真のコレクションをコンテンツに基づいて容易に検索及び/又は分類する(例えば、メタデータを使用して検索又は分類する)ことができる。
【0055】
任意の適切なレコードにおいて構造化されたメタデータには、限定される訳ではないが、EXIF、XMLレコード、などが含まれる。例示的なメタデータには、限定される訳ではないが、写真が取得された日付を識別する日付エレメント、写真が取得された時刻を識別する時刻エレメント、写真が取得された場所を識別する場所エレメント、カテゴリー識別エレメントを含む主コンテンツエレメント、などが含まれる。場所エレメントは、任意の適切な方法で決定可能であり、これには、GPS緯度/経度、国、都市、及び/又は他の場所識別情報(例えば、アトラクションの識別情報)の任意の配列(permutation)の識別情報が含まれ得る。写真管理アプリケーションは、デジタル写真が取得される時に他のプログラム(例えば、GPSデータベースのような場所プログラム)から場所エレメントを抽出することができる。場所プログラムは、移動体デバイス中のローカルのものであってもよいし、リモートのディレクトリサーバによって実行されていてもよい。或いは、ユーザは手作業で場所エレメントをデバイスに入力してもよい。
【0056】
写真の被写体に基づいて主コンテンツカテゴリーを判定するために、写真管理アプリケーションは、主コンテンツデータベース(不図示)にアクセスすることができる。主コンテンツデータベースは、1以上の所定のカテゴリーについての、写真の主コンテンツを分類(カテゴライズ)するためのコンテンツ認識データを含む。所定のカテゴリーには、限定される訳ではないが、例えば、人、動物、アトラクションなどが含まれる。コンテンツ認識データは、写真中の単数又は複数の画像と比較可能なモデル写真の形式であってもよい。或いは、コンテンツ認識データは、主コンテンツが最も良く対応するカテゴリーを判定するために写真から抽出された特徴に対して適用可能な、カテゴリーを表す特徴データの形式であってもよい。主コンテンツデータベースは、移動体デバイス上にローカルにあってもよいし、リモートディレクトリサーバ上で実行されていてもよい。
【0057】
写真に関する主コンテンツカテゴリーを判定した後で、或いはその代わりに、写真管理アプリケーションは、写真中に描写される主題に関する具体的な情報を取得することができる。そのような情報は、カテゴリー固有情報(例えば、特定のアトラクションの名前、特定の犬の品種、など)であってもよい。特定のカテゴリーデータは、一態様においては、移動体デバイスによって格納されているデータにアクセスすることによって、或いは、ディレクトリサーバからそのような追加情報を取得することによって、取得可能である。
【0058】
一実施形態では、例えば、写真管理アプリケーションは、写真の主コンテンツカテゴリーが「人」であると判定する場合がある。更に具体的な情報をこの写真に関連付けるために、写真管理アプリケーションは、例えば、コンタクトディレクトリにアクセスして、デジタル写真中に描写されている人を識別することができる。より具体的には、写真管理アプリケーションは、顔画像(例えば、写真又はフェイスプリント)を描写する格納されているレコード(例えば、コンテンツディレクトリの呼ライン識別写真)、又は写真管理アプリケーション80によって格納されているレコードにアクセスして、デジタル写真中に描写されている人の画像を、格納されている顔画像レコードと比較することができる。このことは、例えば、顔識別アプリケーション82を使用することにより達成可能である。顔識別アプリケーション82は、写真から顔画像を抽出し、顔画像のフェイスプリントを決定/作成し、写真から決定されたフェイスプリントをデバイスに格納されているフェイスプリント(例えば、呼ライン識別写真中の顔画像に関連するフェイスプリント)と比較するように構成され得る。写真から決定されるフェイスプリントが格納されているフェイスプリントに十分似ている場合、写真管理アプリケーションは、格納されているフェイスプリントに関連付けられた情報(例えば、コンタクトレコードからの情報(例えば、個人の名前))の少なくとも一部を、撮影された写真に関連付けることができる。フェイスプリントは、本明細書において更に詳細に説明される。写真管理アプリケーションは、撮影された写真中に描写される各顔画像について、そのような比較を実行するように構成されてもよい。
【0059】
本発明によれば、移動体デバイスを用いて撮影された写真中に描写される被写体に関する情報を取得し、その情報を撮影された写真に関連付ける方法が提供される。一態様においては、本方法は、移動体デバイスを用いて撮影されたデジタル写真中に画像が配置されている人々に関する情報を取得するのに特に適しており、特にこれを参照して説明される。
【0060】
図3を参照すると、移動体デバイス10を用いて撮影された写真中に描写される人に関する情報を取得してこの情報をこの撮影された写真に関連付けるための、写真管理アプリケーションを動作させる例示的な態様を描写するフローチャートが示されている。方法100は、機能ブロック102において、移動体デバイス10を用いてデジタル写真を取得することを含む。機能ブロック104において、写真管理アプリケーション80(及び、特に顔識別アプリケーション82)は、デジタル写真中に描写される人の顔画像を抽出し、顔画像のフェイスプリントを作成する。顔識別アプリケーション82は、抽出された顔画像を顔画像の数学的記述に変換するためのアルゴリズムを含み、顔画像の数学的記述は、本明細書では顔画像のフェイスプリントと呼ばれる。フェイスプリントは、顔の特徴を構成する多様なランドマークに基づいていてもよい。機能ブロック106において、顔識別アプリケーション82は、フェイスプリントが移動体デバイス10に格納されている顔画像と一致するか否かを判定する。この比較は、格納されている顔画像(例えば、コンタクトレコードに関連付けられている画像)をフェイスプリントに変換して、これを撮影された画像から決定されたフェイスプリントと比較することにより、実行可能であり、或いは、既に格納されているフェイスプリントとの比較により実行可能である。写真から抽出されたフェイスプリントが格納されているフェイスプリント(或いは、格納されている画像から決定されたフェイスプリント)と一致する場合、写真管理アプリケーションは、機能ブロック114に進み、格納されているフェイスプリントに関連付けられている情報を撮影された写真に関連付けることができる(上述のように)。方法100のこの態様は上述した。
【0061】
写真中の顔画像から決定されたフェイスプリントが格納されているフェイスプリントに一致しない場合、方法は機能ブロック108に進み、移動体デバイス10はフェイスプリントを1以上のリモートデバイスへ送信する。一般的に、フェイスプリントを単数又は複数のデバイスに送信することには、ローカル通信システム(例えば、ローカル通信システム56又はWLAN58)経由で通信ゾーン内の1以上のリモートデバイスに送信することが含まれる。送信することは、例えば、ローカル無線インタフェース(例えば、Bluetooth無線、赤外線通信モジュール、近距離通信モジュール、又は互換性のある他のデバイスとの短距離通信のための他のシステム)を使用して達成可能である。フェイスプリントを送信することは、WLANインタフェースを使用することによっても達成可能である。一態様においては、ローカル通信システム経由で送信することは、通信ゾーン30内の全てのリモートデバイスに対してフェイスプリントをブロードキャストすることを介して実行可能である。他の態様においては、送信することは、圏内(即ち、通信ゾーン内)のデバイスを探して各デバイスに対して1つ1つ個別にコンタクトすることにより達成可能である。
【0062】
画像自体ではなくフェイスプリントを送信することは、デジタル写真のサイズと比べて写真から決定されるフェイスプリントは比較的小さい(例えば、約1キロバイト)であろうという点で、望ましいかもしれない。これにより、移動体デバイスがフェイスプリントをリモートデバイスへ送信することがより容易になるかもしれない(処理時間又は他のデバイスが送信を受信する能力の両方の観点で)。
【0063】
機能ブロック110に示されているように、フェイスプリントが送信されたリモートデバイス(これは、受信側デバイスとも呼ばれる)が送信されたフェイスプリントに一致するフェイスプリントを格納している場合、移動体デバイス10(これは本明細書において、送信側デバイス又は要求側デバイスとも呼ばれる)と単数又は複数のリモートデバイス(これは本明細書において、単数又は複数の受信側デバイスとも呼ばれる)との間で通信セッションが確立される。リモートデバイスが送信されたフェイスプリントに一致するフェイスプリントを格納していない場合、通信セッションは確立されない(そして送信されたフェイスプリントはリモートデバイスから破棄される)。
【0064】
顔識別アプリケーションは、評価対象のパラメータ、及び2つのフェイスプリントが一致していると見なすのに要求される相関の度合いを規定するようにプログラム可能である。受信側デバイス上の2以上のフェイスプリントが要求側デバイスから受信されたフェイスプリントに一致すると判断可能である場合もあるかもしれない。受信側デバイス上のアプリケーションは、潜在的な各一致に関する得点(スコア)を提供するようにプログラム可能であり、この得点は、要求側デバイスから送信されたフェイスプリントに対する受信側デバイス上に格納されているフェイスプリントの関連性を示すものである。この例では、受信側デバイスは、要求側デバイスから送信されたフェイスプリントに対してより高度に相関又は一致するフェイスプリントに関連する情報を送信するようにプログラム可能である。
【0065】
機能ブロック112において、移動体デバイス10は、(送信されたフェイスプリントに一致するフェイスプリントをリモートデバイスが持つことに基づいて)通信セッションが確立されたリモートデバイスから送信されたデータを受信する。機能ブロック114で、写真管理アプリケーションは、リモートデバイスから受信したデータの少なくとも一部を撮影された写真に関連付ける。
【0066】
本方法に従い、機能ブロック116に示されているように、写真管理アプリケーション80は、顔画像(又はフェイスプリント)及びリモートデバイスから受信したデータを伴うレコードを作成することができる。この意味において、ここで格納された顔画像(及び/又はフェイスプリント)に一致する顔画像を持つ写真が次に取得された時に、移動体デバイス10は、例えば機能ブロック108−112において実行される動作によって情報を再取得する必要が無く、機能ブロック106から機能ブロック114へ進んで情報を写真に関連付けることができる。機能ブロック116において作成及び/又は格納されるレコードは、例えば、コンタクトレコードとして作成されてコンタクトディレクトリ60に格納されてもよい。
【0067】
受信側デバイスから要求側デバイスへ送信されるデータは、特に限定されるものではなく、任意の適切な形式であってよく、これには例えばメタデータが含まれる。送信される情報の種類も、限定されるものではなく、これには例えば、名前、住所、Eメールアドレス、電話番号などが含まれ得る。
【0068】
上述のように、本方法により、写真中に描写される顔画像に関連するデータ/情報を他の個々のもの(individual)から自動的に取得して写真に関連付けることが可能となる。写真中に描写される個人に関連するデータを伴うレコードをユーザがまだ持っていない場合もあるが、本方法は、デバイスのユーザが写真に関連付けるべきデータを手作業で入力することを要求しない。更に、ユーザは、写真中に画像が描写されている人に対してそのような情報を要求する(request or ask)必要がない。そうではなく、通信ゾーン内のリモートデバイスに対してフェイスプリントを送信することにより、デバイスは、写真中に描写されている人に関する情報を自動的に取得し、その情報の少なくとも一部を用いて写真に対するタグ付けを自動的に行うことができる。これにより、手作業での入力の必要性が減少し、例えば写真管理アプリケーションなどの移動体デバイスの多様な機能が強化される。
【0069】
図4及び図5を参照すると、本方法及びシステムが更に理解されるであろう。図4及び図5を参照すると、移動体デバイス10がユーザAによって操作されて、ユーザBのデジタル写真150を撮影する。写真管理アプリケーション80、及び特に顔識別アプリケーション82は、写真150から顔画像152を抽出して顔画像152のフェイスプリントを作成することができる。この例の目的で、移動体デバイス10は、顔画像152から判定されたフェイスプリントに一致するフェイスプリント(或いは、フェイスプリントの判定元となる顔画像)を格納してはいないと判断する。次いでデバイス10は、顔画像152に関連するフェイスプリントを、通信ゾーン30(図1参照)内に存在する(ユーザCによって操作される)デバイス32及び(ユーザBによって操作される)デバイス34へ送信する。デバイス32は、デバイス10によって送信されたフェイスプリントに一致するフェイスプリントを持っているか否かを判定する。この例では、デバイス32は、一致するフェイスプリントを持っておらず、通信セッションは確立されない。デバイス34も、デバイス10によって送信されたフェイスプリントがデバイス34に格納されているフェイスプリントに一致するか否かを判定する。この例では、デバイス10によって送信されたフェイスプリントは、デバイス34に格納されているフェイスプリント(例えば、ユーザB自身の格納されているフェイスプリント)に一致する。そこでデバイス34は、デバイス10との通信セッションを確立し、デバイス10へデータを送信する。デバイス10はデバイス34からデータを受信し、デバイス34から受信したデータの少なくとも一部を撮影された写真150に関連付ける。前述のように、写真管理アプリケーション80は、フェイスプリント及びデバイス34から受信したデータのレコードを作成し、そのようなレコードをデバイス10に格納することもできる。
【0070】
理解されるであろうこととして、本方法は、写真中に描写される2以上の顔画像に関連するデータを取得するために使用可能である。図6を参照すると、例えば、ユーザAはデバイス10を使用してユーザB及びユーザCの両方を描写する写真160を撮影することができる。写真管理アプリケーション80(及び特に顔識別アプリケーション82)は、ユーザCの顔画像162及びユーザBの顔画像164を抽出し、それぞれの顔画像に関する別々のフェイスプリントを作成することができる。その後デバイス10は、それぞれのフェイスプリントをデバイス32及びデバイス34へ送信することができる(各デバイスが通信ゾーン30(図1参照)内にあれば)。その後それぞれのデバイスは、送信されたフェイスプリントの1つに一致するフェイスプリントを格納しているか否かを判定することができる。格納していれば、それぞれのデバイスは、デバイス10との通信セッションを確立し、データ又は情報をデバイス10へ送信することができる。例えば、デバイス32は(ユーザCの)顔画像162に関連するフェイスプリントに一致するフェイスプリントを格納しているが、(ユーザBの)顔画像164に関連するフェイスプリントに一致するフェイスプリントは格納していないかもしれない。するとデバイス32は、デバイス10との通信セッションを確立し、デバイス10へ情報を送信する。デバイス34は同様のプロセスをたどり、送信された(ユーザBの)顔画像164に関連するフェイスプリントに一致するフェイスプリントを格納しているが送信された(ユーザCの)顔画像162に関連するフェイスプリントに一致するフェイスプリントは格納していないと判定することができる。
【0071】
複数のフェイスプリントを送信するプロセスは、別々の送信、又は単一の送信において達成可能である。例えば、デバイス10は最初に、顔画像162に関連するフェイスプリントをデバイス32及び34へ送信し、(受信側デバイスの1つが一致するフェイスプリントを持っていれば)応答を受信し、デバイス32又は34の少なくとも一方から受信したデータを写真160に関連付けることができる(そして、オプションとして、データ及び顔画像のレコードを作成することができる)。これが完了した後、デバイス10は、顔画像164に関連付けられたフェイスプリントをデバイス32及び34へ送信し、このプロセスを繰り返すことができる。
【0072】
代わりに、複数のフェイスプリントが通信ゾーン内の1以上のデバイスに対して実質的に同時に送信されてもよい。そのような状況においては、送信されるフェイスプリントがコード又は識別情報を含むことが適切であろう。このコード又は識別情報は、受信側デバイスから要求側デバイスへ送信される情報データに含まれることで、要求側デバイスが、データをどのフェイスプリント(又は顔画像)に関連付けるべきかを判断できるようになる。
【0073】
要求側デバイス(例えば、デバイス10)は、フェイスプリントを送信することに加えて、この送信の送信先である単数又は複数のリモートデバイスに対して要求側デバイスを識別する識別エレメントを送信してもよい。識別エレメントは任意の適切な識別情報であってよく、例えば、要求側デバイスの電話番号を示す識別情報などである。一実施形態では、(撮影された写真から判定されたフェイスプリントを送信する)要求側デバイスは、要求側デバイスの電話番号のハッシュを送信してもよく、単数又は複数の受信側デバイスは、このハッシュを使用して、要求側デバイスが受信側デバイス(及び受信側ユーザ)にとって既知であるか未知であるかを判定することができる。受信側デバイスは、送信されたハッシュが受信側デバイスのコンタクトレコード中の電話番号に対応するか否かを判定することができる。
【0074】
送信されたフェイスプリントを受信するデバイス(例えば、デバイス32及び34)の観点からは、そのようなデバイスには、情報が要求側デバイス(例えば、デバイス10)へ送信されるか否かを制御する機能が備えられていてもよい。例えば、デバイスのユーザは、要求側デバイスが受信側デバイスのユーザにとって未知である場合には、要求側デバイスに対して情報を自動的に送信することを望まないかもしれない。要求側デバイスが受信側デバイスにとって未知である場合、受信側デバイスのユーザは、要求側デバイスに対していかなる情報も送信することを望まないかもしれないし、或いは、要求側デバイスに対して限られた量の情報だけを送信することを望むかもしれない。
【0075】
図7を参照すると、受信側デバイス(例えば、デバイス32又は34)が要求側デバイス(例えば、デバイス10)からフェイスプリントの送信を受信したことに応えて要求側デバイスに対して任意の情報又は限られた量の情報を送信すべきか否かを、受信側デバイスが判定するための方法200が示されている。機能ブロック202で、受信側デバイスは、要求側デバイスからのフェイスプリントの送信を受信する。機能ブロック204で、受信側デバイスは、受信したフェイスプリントが受信側デバイス上に格納されているフェイスプリントに一致するか否かを判定する。受信したフェイスプリントが一致しない場合、プロセスは機能ブロック206へ流れ、要求側デバイスとの通信セッションは確立されない。
【0076】
受信したフェイスプリントが受信側デバイス上に格納されているフェイスプリントに一致する場合、プロセスは機能ブロック210へと流れることができ、ここでは、受信側デバイスは要求側デバイスとの通信セッションを確立し、要求側デバイスに対して所定のデータセットを自動的に送信する(或いは、ブロック212で情報を送信するという確認をユーザに対して要求する)。
【0077】
他の実施形態では、受信したフェイスプリントが受信側デバイス上に格納されているフェイスプリントに一致する場合、プロセスは機能ブロック208へと流れることができ、ここでは、受信側デバイスは、要求側デバイスが受信側デバイスにとって既知であるか否かを判定する。例えば、上述のように、要求側デバイスは送信の一部として識別エレメントを送信することができ、受信側デバイスは、識別エレメントに基づいて受信側デバイスが要求側デバイスを認識するか否かを判定することができる。受信側デバイスが要求側デバイスを認識しない、又は、そうでなく知らない場合、プロセスは(i)機能ブロック216へと流れることができ、ここでは、要求側デバイスとの通信セッションは確立されず、或いは、(ii)機能ブロック218へと流れることができ、ここでは、受信側デバイスは要求側デバイスとのセッションを確立するが、要求側デバイスに対して限られた量の情報だけを送信する。受信側デバイスが要求側デバイスへと送信する限られた情報は、指定データ(designation data)と呼ばれてもよく、(受信側デバイスのユーザによって)選択された又は望まれた任意の種類の及び/又は量の情報であってもよく、この情報は、デバイス又はユーザの象徴となるかこれを特徴付けるかするが、デバイス又はユーザに関するいかなる詳細な情報も提供しない。認識されない要求側デバイスに対して送信可能な指定データの例は、例えば、受信側デバイスに格納されているフェイスプリントに関連付けられたファーストネーム又はニックネームである。理解されるであろうこととして、受信側デバイス上のプログラムは、デバイスを駆動して、要求側デバイスに対して情報又は限られた量の情報を送信すべきではないという確認の(ユーザインタフェース上に表示される)要求を生成してもよいし、及び/又は、どの情報を要求側デバイスに対して送信すべきかを受信側デバイスのユーザが選択できるようにしてもよい。
【0078】
要求側デバイスが受信側デバイスによって知られている又は認識される場合、プロセスは(i)機能ブロック210へと流れることができ、ここでは、受信側デバイスは要求側デバイスとの通信セッションを確立し、要求側デバイスに対して、格納されている一致するフェイスプリントに関連する所定の情報セットを自動的に送信し、或いは、(ii)機能ブロック212へと流れることができ、ここでは、受信側デバイスはユーザインタフェースを駆動して、情報を要求側デバイスへと送信すべきであるということを確認するように受信側デバイスのユーザに対して要求するプロンプトを表示する。情報を送信すべきであるとユーザが確認した場合、プロセスは機能ブロック210へと進み、ここでは、デバイス間で通信セッションが確立され、情報が受信側デバイスから要求側デバイスへと送信される。情報を送信すべきであるとユーザが確認しない場合、プロセスは機能ブロック214へと進み、ここでは、通信セッションは確立されず、受信したフェイスプリントは破棄される。理解されるであろうこととして、機能ブロック212において実行される動作には、要求側デバイスに対して送信すべき受信側デバイスの情報の種類及び/又は量をユーザが選択することが含まれる。
【0079】
情報を要求側デバイスへ送信すべきか否かに関して、他のプライバシーレイヤが単数又は複数の受信側デバイスに備えられてもよい。例えば、受信側デバイスは、受信側デバイス上に格納された複数のフェイスプリントを有していてもよく、これらが別々の人に対応してもよい。更に、各フェイスプリントは、それぞれが関連付けられた情報又はデータを有していてもよく、これは、各フェイスプリントが対応する人に関する情報に関するものである。例えば、図6を参照すると、デバイス32は、ユーザBに対応するフェイスプリントを格納していて、且つ、ユーザCに対応するフェイスプリントを格納していてもよい。デバイス32はユーザCのデバイスであってもよいが、デバイス10から受信したフェイスプリントをユーザBを識別する格納されたフェイスプリントに対応するものとしてデバイス32が認識し、ユーザBに関連する格納された情報を要求側デバイスに対して送信する可能性もある。プライバシー上の懸念のために(例えば、第三者の情報を要求側デバイスへ送信することを避けるといったような)、デバイスは、格納されているフェイスプリントがその特定のデバイスのユーザのフェイスプリントとして認識されるように、プログラムされていてもよい。そして、この機能から、要求側デバイスに対して情報を送信すべきか否かの判定が行われてもよい。
【0080】
例えば、再び図7を参照すると、機能ブロック204において、要求側デバイスから受信したフェイスプリントが格納されているフェイスプリントに一致すると受信側デバイスが判定した場合に、プロセスは機能ブロック220へと流れてもよく、ここでは、受信側デバイスは、受信したフェイスプリントが受信側デバイスのユーザを識別するフェイスプリントに対応するか否かを判定する。例えば、戻って図6を参照すると、デバイス32は、顔画像162及び164に対応する受信したフェイスプリントが、ユーザCのフェイスプリント(デバイス32のユーザのフェイスプリント)として指定されているデバイス32上に格納されているフェイスプリントに一致するか否かを評価することになる。この例では、顔画像162に関連する受信したフェイスプリントは、ユーザB自身の格納されているフェイスプリントには一致せず、プロセスは機能ブロック222へと進み、ここでは、通信セッションは確立されない(そして、受信したフェイスプリントは破棄され得る)。デバイス34が顔画像164に対応するフェイスプリントを受信した場合、デバイス34は、受信したフェイスプリントがユーザBに対応する格納されているフェイスプリント(デバイス34のユーザのフェイスプリント)に一致すると判断し、プロセスは機能ブロック208へと進み、情報/データを要求側デバイスへ送信すべきか否かを判定することができる。
【0081】
更に理解されるであろうこととして、プロセスは機能ブロック220から機能ブロック210又は212へと直接進むことができ、要求側デバイスに対して情報を送信する(或いは、送信するというユーザ確認を要求する)ことができる。
【0082】
プログラミングの当業者は、本明細書において与えられる記述に鑑み、写真管理アプリケーション、顔識別アプリケーション、及び他のアプリケーションプログラムに関して本明細書で説明した機能を実行する電子デバイスを確認してプログラムすること、又は、そのようなシステムを提供することができるであろう。従って、具体的なプログラミングコードに関する詳細は、簡潔さのために省略されてきている。また、各電子デバイス10(又は32又は34)のメモリの中で様々なアプリケーションが実行されるが、理解されるであろうこととして、そのような機能はまた、本発明の範囲から逸脱せずに、専用ハードウェア、ファームウェア、ソフトウェア、又はこれらのうちの2以上の組み合わせを通じても実行可能である。
【0083】
所定の実施形態が示され説明されてきたが、理解されることとして、本明細書を読んで理解すれば、添付の請求項の範囲に含まれる均等物及び修正物が当業者である他者に対して発生するであろう。

【特許請求の範囲】
【請求項1】
移動体デバイスによって撮影されたデジタル写真(150)中に描写される顔画像(152)に関連する情報を取得するように前記移動体デバイス(10)を動作させる方法であって、
デジタル写真を撮影するステップと、
前記デジタル写真中に描写される顔画像を示すフェイスプリントを作成するステップと、
前記フェイスプリントを1以上のリモート移動体デバイスへ送信するステップと、
前記送信したフェイスプリントに一致するフェイスプリントを格納している前記1以上のリモート移動体デバイスのうちの少なくとも1つから識別データを取得するステップと、
前記取得した識別データの少なくとも一部を前記デジタル写真に関連付けるステップと、
を備えることを特徴とする方法。
【請求項2】
前記フェイスプリントを前記1以上のリモート移動体デバイスへ送信する前記ステップは、前記フェイスプリントを通信ゾーン内の1以上のリモート移動体デバイスへ送信するステップを含み、
前記通信ゾーンは、前記移動体デバイスを取り巻くゾーンであって前記移動体デバイスがローカル通信システムを介して電気的に通信可能なゾーンである
ことを特徴とする請求項1に記載の方法。
【請求項3】
前記ローカル通信システムは、Bluetooth無線、赤外線通信、近距離通信、Wi−Fi、WLAN、又はこれらのうちの2以上の組み合わせから選択される
ことを特徴とする請求項2に記載の方法。
【請求項4】
前記フェイスプリントを前記1以上のリモート移動体デバイスへ送信する前記ステップは、前記1以上のリモート移動体デバイスに対して前記移動体デバイスを識別するための識別エレメントを送信するステップを更に含む
ことを特徴とする請求項1乃至3のいずれか1項に記載の方法。
【請求項5】
前記識別エレメントは、前記フェイスプリントを送信する前記移動体デバイスの電話番号を示すハッシュである
ことを特徴とする請求項4に記載の方法。
【請求項6】
前記デジタル写真から取得した前記フェイスプリントと、前記1以上のリモート移動体デバイスから取得した前記識別データの少なくとも一部とを含む識別レコードを作成するステップ
を更に備えることを特徴とする請求項1乃至5のいずれか1項に記載の方法。
【請求項7】
前記取得した識別データは、前記フェイスプリントに関連付けられた人に関連するコンタクト情報を含む
ことを特徴とする請求項1乃至6のいずれか1項に記載の方法。
【請求項8】
前記フェイスプリントと、前記1以上のリモート移動体デバイスのうちの前記少なくとも一部から受信した前記コンタクト情報と、を含むコンタクトレコードを作成するステップ
を更に備えることを特徴とする請求項7に記載の方法。
【請求項9】
移動体デバイス(10)であって、
デジタル写真(150)を撮影するカメラ(70)と、
前記移動体デバイスが電気的に通信可能な、前記移動体デバイスを取り巻く通信ゾーン内の1以上のリモート移動体デバイス(32,34)と通信するローカル通信システム(56)と、
前記デジタル写真を受信し、前記デジタル写真に関連するデータを取得し、前記デジタル写真に関連する前記データの少なくとも一部を前記デジタル写真に関連付け、前記デジタル写真から顔画像を抽出する写真管理アプリケーション(80)と、
を備え、
前記写真管理アプリケーション(80)がロードされ実行されると、前記移動体デバイスが、
前記デジタル写真(150)中に描写される顔画像(152)のフェイスプリントを抽出し、
前記顔画像を1以上のリモート移動体デバイス(32,34)へ送信し、
前記送信したフェイスプリントに一致するフェイスプリントを有する前記1以上のリモート移動体デバイスのうちの少なくとも1つから識別データを取得し、
前記取得した識別データを前記デジタル写真に関連付ける
ことを特徴とする移動体デバイス。
【請求項10】
前記移動体デバイスは、前記移動体デバイスを識別する識別エレメントを前記1以上のリモート移動体デバイスへ更に送信する
ことを特徴とする請求項9に記載の移動体デバイス。
【請求項11】
前記識別エレメントは、前記移動体デバイスの電話番号を示す
ことを特徴とする請求項10に記載の移動体デバイス。
【請求項12】
前記識別エレメントは、ハッシュである
ことを特徴とする請求項11に記載の移動体デバイス。
【請求項13】
前記写真管理アプリケーションは更に、前記移動体デバイスに、前記フェイスプリントを含むレコードを作成させ、前記取得した識別データの少なくとも一部を前記作成したレコードに関連付けさせる
ことを特徴とする請求項9乃至12のいずれか1項に記載の移動体デバイス。
【請求項14】
前記取得した識別データは、前記フェイスプリントに関連付けられた人に関連するコンタクト情報を含む
ことを特徴とする請求項9乃至13のいずれか1項に記載の方法。
【請求項15】
前記移動体デバイスは、コンタクトディレクトリを更に備え、
前記コンタクトディレクトリは、前記移動体デバイスに、前記フェイスプリントと、前記取得したコンタクト情報の少なくとも一部とを含むコンタクトレコードを作成させる
ことを特徴とする請求項14に記載の移動体デバイス。
【請求項16】
要求側移動体デバイス(10)に対してデータを送信するように移動体デバイス(32)を動作させる方法であって、
デジタル写真(150)からの顔画像(152)に対応するフェイスプリントの送信を要求側移動体デバイスから受信するステップと、
前記受信したフェイスプリントが前記移動体デバイス(32)に格納されているフェイスプリントに一致するか否かを判定するステップと、
前記移動体デバイス上の前記格納されているフェイスプリントが前記要求側移動体デバイスによって送信されたフェイスプリントに一致すると判定された場合に、前記格納されているフェイスプリントに関連付けられた情報データを前記要求側移動体デバイスへ送信するステップと、
を備えることを特徴とする方法。
【請求項17】
前記情報データを前記要求側移動体デバイスへ送信する前記ステップに先立って、前記移動体デバイスにとって前記要求側移動体デバイスが既知であるか未知であるかを判定するステップ
を備えることを特徴とする請求項16に記載の方法。
【請求項18】
前記移動体デバイスにとって前記要求側移動体デバイスが未知であると前記移動体デバイスが判定した場合に、前記移動体デバイスが、(i)前記移動体デバイスに格納されている前記フェイスプリントに関連付けられた指定データを送信するか、又は(ii)いかなるデータも前記要求側移動体デバイスへ送信しない
ことを特徴とする請求項17に記載の方法。
【請求項19】
前記要求側移動体デバイスから受信した前記フェイスプリントに一致する前記移動体デバイスに格納されている前記フェイスプリントが前記移動体デバイスのユーザを識別するフェイスプリントに対応するか否かを判定するステップ
を備えることを特徴とする請求項16乃至18のいずれか1項に記載の方法。
【請求項20】
前記要求側移動体デバイスから受信した前記フェイスプリントに一致する前記移動体デバイスに格納されている前記フェイスプリントが前記移動体デバイスのユーザを識別するフェイスプリントに対応しないと判定された場合に、前記移動体デバイスは、前記情報データを前記要求側移動体デバイスへ送信しない
ことを特徴とする請求項19に記載の方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公表番号】特表2012−518827(P2012−518827A)
【公表日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−550661(P2011−550661)
【出願日】平成21年7月31日(2009.7.31)
【国際出願番号】PCT/IB2009/006439
【国際公開番号】WO2010/097654
【国際公開日】平成22年9月2日(2010.9.2)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(502087507)ソニーモバイルコミュニケーションズ, エービー (823)