携帯端末および顔識別システム
【課題】検索用サーバを必要とすることなく、携帯端末において比較的簡易かつ迅速に顔識別を行うことができるようにするものである。
【解決手段】第１の端末１００ａは、撮影により得られた画像中に存在する顔を検出し、顔データを周囲の携帯端末１００ｂ〜１００ｇへ近距離無線通信により送信する。この送信した顔データに第２の携帯端末１００ｂ〜１００ｇが自端末内に保存している当該ユーザの顔画像とマッチング（顔識別）を行う。第１の端末１００ａは、該当する顔画像を保存している第２の端末１００ｂ〜１００ｄから当該ユーザのユーザ識別情報を近距離無線通信により受信し、そのユーザ識別情報を当該顔画像に対応づけて表示画面上に表示および／または記憶部に記憶する。
【解決手段】第１の端末１００ａは、撮影により得られた画像中に存在する顔を検出し、顔データを周囲の携帯端末１００ｂ〜１００ｇへ近距離無線通信により送信する。この送信した顔データに第２の携帯端末１００ｂ〜１００ｇが自端末内に保存している当該ユーザの顔画像とマッチング（顔識別）を行う。第１の端末１００ａは、該当する顔画像を保存している第２の端末１００ｂ〜１００ｄから当該ユーザのユーザ識別情報を近距離無線通信により受信し、そのユーザ識別情報を当該顔画像に対応づけて表示画面上に表示および／または記憶部に記憶する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の携帯端末の相互間の通信を利用した顔識別システムに関する。
【背景技術】
【０００２】
現在、広く普及している携帯電話端末は高機能化、高性能化が進み、殆どの機種にカメラ撮影機能が備わっている。また、Bluetooth（登録商標）等の近距離無線通信機能を備えたものもある。
【０００３】
一方、カメラ撮影により得られた画像の中に存在する人の顔の領域を検出し、さらにはその顔画像の特徴点データを抽出して顔識別（Face Identification）を行う技術も知られている（非特許文献１参照）。
【０００４】
このような状況において、携帯電話端末を用いて人（または人々）を撮影し、その画像中に写った顔画像に基づいて直ちにその人に関する情報を得ることができれば、カメラの新たな用途が広がると考えられる。
【０００５】
特許文献１には、物体（植物、昆虫等）の名前、属性、特徴、飼育方法などを知りたいときに、携帯電話機に付属したカメラでその物体を撮影し、その画像と欲しい情報の内容をインターネットを介して検索用サーバにリクエストし、サーバ側からユーザが入力した質問事項に対して希望する情報を提供するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１３２０６２号公報
【非特許文献】
【０００７】
【非特許文献１】David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", Accepted for publication in the International Journal of Computer Vision, 2004, Computer Science Department, University of British Columbia, Vancouver, B. C., Canada, January 5, 2004
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の顔識別技術には以下の問題がある。
【０００９】
一般的に、識別するために必要な顔データをあらかじめ携帯端末内に保持する必要がある。特に、識別したい顔の数だけ顔データを持つ必要がある。また、登録されていない人を識別するためには携帯端末内の顔データを更新する必要がある。さらに、識別処理を行う際には入力データと登録されているデータのマッチング処理を行う必要がある。このような処理を１台の携帯端末内で実行するには相応の処理時間がかかる、特に、多数の顔データが登録されている状態ではなおさらである。
【００１０】
特許文献１に記載の技術は、インターネット上の検索用サーバを必要とする。また、実在する人の顔画像を集中的に蓄積したデータベースを用意するのは現実的でない。
【００１１】
本発明はこのような背景においてなされたもので、検索用サーバを必要とすることなく、携帯端末において比較的簡易かつ迅速に顔識別を行うことができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明による携帯端末は、撮影により得られた画像中に存在する顔を検出する顔検出手段と、前記顔の画像データに対応する顔データを周囲の携帯端末へ近距離無線通信により送信する送信手段と、前記送信した顔データに該当する顔画像を保存している携帯端末から当該ユーザのユーザ識別情報を近距離無線通信により受信する受信手段と、受信したユーザ識別情報を当該顔画像に対応づけて表示画面上に表示および／または記憶部に記憶する処理手段とを備えたものである。
【００１３】
本発明では、撮影により得られた画像中に存在する顔を検出する処理は第１の携帯端末において行う。しかし、顔の識別処理は、前記顔の画像データに対応する顔データを周囲の携帯端末へ近距離無線通信により送信することによって、周囲に存在する第２の携帯端末に実行させる。周囲に存在する第２の携帯端末のうち、前記送信した顔データに該当する顔画像を保存している携帯端末から当該ユーザのユーザ識別情報を近距離無線通信により受信する。これにより、画像中の顔の識別が迅速に行われる。第１の携帯端末のユーザが撮影者として他の人（人々）の撮影を行ったときには、当然ながらその被撮影者は近傍に存在している。また、その被撮影者は携帯端末を所持している可能性も高い。本発明はこのような前提において極めて有効に機能する。
【００１４】
第２の携帯端末としての、本発明による他の携帯端末は、顔データを他の携帯端末から受信する受信手段と、複数の項目のデータを含む自端末のユーザのユーザ識別情報を保存する保存手段と、前記顔データの送信を受けたとき、受信した前記顔データの顔画像と自端末のユーザの顔画像とが一致するか否かを確認する顔一致検出手段と、前記顔画像の一致時に、前記許可された項目のデータのみを当該他の携帯端末へ返信する送信手段とを備えたものである。
【００１５】
なお、第１の携帯端末と第２の携帯端末とは、実際的には同一の携帯端末がそれらの構成要素を兼ね備えることが可能である。
【００１６】
本発明による顔識別システムは、第１の携帯端末と第２の携帯端末による顔識別システムである。第１の携帯端末は、撮影により得られた画像中に存在する顔を検出する顔検出手段と、前記顔の画像データに対応する顔データを周囲に存在する第２の携帯端末へ近距離無線通信により送信する送信手段と、前記送信した顔データに該当する顔画像を保存している携帯端末から当該ユーザのユーザ識別情報を近距離無線通信により受信する受信手段と、受信したユーザ識別情報を当該顔画像に対応づけて表示画面上に表示および／または記憶部に記憶する処理手段とを備える。第２の携帯端末は、第１の携帯端末から前記顔データを受信する受信手段と、複数の項目のデータを含む自端末のユーザのユーザ識別情報を保存する保存手段と、前記顔データの送信を受けたとき、受信した前記顔データの顔画像と自端末のユーザの顔画像とが一致するか否かを確認する顔一致検出手段と、前記顔画像の一致時に、前記許可された項目のデータのみを第１の携帯端末へ返信する送信手段とを備える。
【発明の効果】
【００１７】
本発明によれば、検索用サーバを必要とすることなく、携帯端末において比較的簡易かつ迅速に顔識別を行うことが可能となる。また、携帯端末に所持者自身の顔データ以外の顔データを記憶しておく必要がないので、既存の携帯端末への応用が容易である。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態における複数の携帯端末で一時的に構築される通信システムの概略構成を示す図である。
【図２】図１内に示した携帯端末として典型的な携帯電話端末の概略のハードウェア構成を示す図である。
【図３】本発明の実施の形態における携帯端末の相互の間のやりとりを示したシーケンス図である。
【図４】本発明の実施の形態において第１の端末のユーザ（所有者）が他のユーザの撮影を行う場面の図である。
【図５】図４の撮影により得られた画像の例を示す図である。
【図６】図５に示した画像の中から顔検出がなされた様子の図である。
【図７】図６の場面で検出された顔データが第１の端末から第２の端末へブロードキャストされた様子の図である。
【図８】本発明の実施の形態における第２の端末での顔データのマッチング処理の様子を示す図である。
【図９】本発明の実施の形態におけるユーザ識別情報の例を示す図である。
【図１０】本発明の実施の形態の第２の端末におけるユーザ識別情報問合せ設定画面と返信可否設定画面の例を示す図である。
【図１１】本発明の実施の形態における第２の端末から第１の端末へユーザ識別情報が返信される様子を示す図である。
【図１２】本発明の実施の形態において撮影画像中の各人の顔領域の下に当該ユーザ識別情報を表示した状態を示す図である。
【図１３】本発明の実施の形態において問い合わせを行う第１の端末の処理を示すフローチャートである。
【図１４】本発明の実施の形態において問い合わせを受信した第２の端末の処理を表したフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の好適な実施の形態について図面を参照しながら説明する。
【００２０】
図１に、本実施の形態における複数の携帯端末で一時的に構築される通信システムとしての顔識別システムの概略構成を示す。ここでは、携帯端末として携帯電話端末を例として説明する。この例では、本システムは、その動作の主体となる第１の携帯端末１００ａと、この端末の近傍に位置する第２の携帯端末１００ｂ，１００ｃ，１００ｄ等とにより構成される。第２の携帯端末の台数は図では３台示したが、１台でもよく、また、４台以上でもよい。携帯端末１００ａ，１００ｂ，１００ｃ，１００ｄ等は総称して携帯端末１００と呼ぶ。これらの各携帯端末は近距離無線通信手段を有し、相互に無線によるデータ通信を行うことができる近距離無線ネットワークを一時的に構築する機能を有する。近距離無線ネットワークとしては、例えば、Bluetooth（登録商標）などを利用可能である。Bluetooth（登録商標）のPAN（Personal Area Network）profileを用いれば、半径１０ｍ前後のネットワークを構築することが可能である。但し、本発明はこれに限るものではなく、利用可能な任意の無線ネットワークを採用可能である。
【００２１】
第１の携帯端末はデジタルカメラのような撮像手段を有する。第２の携帯端末は必ずしも撮像手段を有する必要はない。また、第２の端末は当該ユーザの顔画像データとともにそのユーザに関するメタ情報としてユーザ識別情報を内部に保存しているものとする。携帯電話端末には、通常、自端末のユーザのプロフィール情報としてユーザ識別情報を保存する機能を有している。
【００２２】
図２に、携帯端末１００として典型的な携帯電話端末の概略のハードウェア構成を示す。この構成は第１および第２の携帯端末のいずれとしても機能しうる。
【００２３】
この携帯端末１００は、バス１１７で相互に接続された制御部１０１、通信部１０２、アンテナ１０３、表示部１０４、操作部１０５、記憶部（保存手段）１０６、音声処理部１０８、撮像制御部１１１、近距離無線通信部１１３、アンテナ１１４、時計部１１５を備える。音声処理部１０８にはスピーカ１０９およびマイク１１０が接続される。撮像制御部１１１にはカメラ１１２（撮像手段）が接続される。
【００２４】
制御部１０１は、ＣＰＵを含み、携帯端末１００の各部の制御および必要なデータ処理を行う。本実施の形態ではこの制御部１０１が本発明の「顔一致検出手段」および「処理手段」を構成する。通信部１０２は、アンテナ１０３を介して基地局との間で無線通信を行う。表示部１０４は、ＬＣＤ，有機ＥＬ等の表示デバイスを含み、その表示画面上に情報を表示する。操作部１０５は、テンキーや各種制御キーを有し、ユーザからの指示やデータの入力を受け付ける。記憶部１０６は、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶手段を備え、ＯＳ、各種アプリケーションプログラム等のコンピュータプログラム、各種データを記憶する。各種データとしては、本実施の形態におけるユーザの顔画像およびユーザ識別情報等を含む。音声処理部１０８は、受話音声、警報、動画ファイルの音声、音楽データの音声等を出力するスピーカ１０９と、送話音声等を集音するマイク１１０とに接続され、音声信号の符号化、復号化を含む所定の音声処理を行う。近距離無線通信部１１３は、アンテナ１１４を介して他の近距離無線通信部との間で無線通信を行う手段であり、本発明の「送信手段」および「受信手段」を構成する。本実施の形態では、この近距離無線通信部１１３により、他の端末の近距離無線通信部との間で一時的に無線通信ネットワークが構築される。時計部１１５は、本発明の時計手段を構成し、ＲＴＣ（Real Time Clock）等を含み、年月日および時間情報を生成する時計機能およびタイマー設定を行うタイマー機能を提供する。
【００２５】
以下、本実施の形態の動作について説明する。
【００２６】
顔画像に基づくユーザ認識のためには、第１の段階として、撮影により取得した画像中の顔画像（すなわち顔領域）を検出する顔検出または顔検知(Face Detection）の段階と、第２の段階として、検出された顔画像に基づいてその顔が誰の顔であるのかを識別する顔識別（Face Identification）の段階とがある。本発明では、第１の段階の顔検出処理は第１の端末で行うが、第２の段階の顔識別処理は第２の端末で行う。そのために、顔を識別される人々は携帯端末を所持している（持ち歩いている）ことと、その携帯端末に自身の顔データが登録されていることを前提とする。
【００２７】
今、本実施の形態における典型的なアプリケーションとして、第１の携帯端末のユーザがそのカメラ機能を用いて他の人（または人々）を撮影したとき、撮影された人のユーザ識別情報（すなわち個人情報）を取得し、そのユーザ識別情報の少なくとも一部を撮影画像上の当該人に対応づけてビューファインダなどの表示画面上に表示することを想定する。
【００２８】
図３は、本実施の形態における携帯端末１００ａ〜１００ｄの相互の間のやりとりを示したシーケンス図である。以下、携帯端末は単に端末ともいう。この図には、端末１００ｂ〜１００ｄの他、偶然に周囲（近距離無線通信可能な範囲内）に存在した端末の代表として端末１００ｅ〜１００ｇも含めている。
【００２９】
今、第１の携帯端末である端末１００ａのユーザ（所有者）が他のユーザの撮影を行う（Ｓ１）。ここでは、図４に示すようにユーザＡが撮影者として、ユーザＢ〜Ｄを撮影した場合を想定する。ユーザＢ〜Ｄはそれぞれ端末１００ｂ〜１００ｄを所持しているものとする。この実施の形態における携帯端末１００のアプリケーションでの「撮影」は、シャッタボタンを押して１枚の静止画を取得する形態のみならず、シャッタボタンを押す前の段階で表示部のファインダ表示画面にいわゆるカメラスルー画像を連続的（周期的）に表示する形態も含みうる。
【００３０】
図５に、端末１００ａにより得られた画像の例を示す。この例では、端末１００ｂ〜１００ｄをそれぞれ所持したユーザＢ〜Ｄが写った撮影画像４０を例として示している。
【００３１】
その後、端末１００ａは、そのカメラからの撮影画像４０（入力画像）の中から顔検出、すなわち顔領域を定めてそれぞれの顔画像の抽出を行う（Ｓ２）。上記の例では、図６に示すように、撮影画像４０の中から検出された顔画像４４〜４６を含む顔領域は矩形状の領域としている。
【００３２】
端末１００ａは、この抽出された顔画像に対応する顔データを、近距離無線ネットワークを用いて、周りの人々が所持する端末にブロードキャストする（Ｓ３）。第２の端末へ送信する顔識別処理のためのデータは、抽出された顔領域の顔画像データそのものであってもよいし、その顔画像データから抽出された特徴点データであってもよい。通常の顔識別技術は、同じ顔であるかマッチングをするまえに、マッチングを行うためのデータ形式（顔識別用データ）に変換していることが多い。このような顔識別を行うために必要な処理をあらかじめ送信側端末で行ってしまえば、受信側の端末はデータの比較処理だけを行えばよいので、処理速度がさらに向上する。本明細書ではこれらのデータを総称して「顔データ」という。
【００３３】
上記の例では、図７に示すように、端末１００ａからのブロードキャストされた顔データは、端末１００ｂ〜１００ｄの他、偶然に周囲に存在した端末１００ｅ〜１００ｇにも受信されうる。
【００３４】
顔データを受信した携帯端末は、あらかじめ登録されている自分の顔データを用いて、送られてきた顔データの中に自分の顔に該当するか否かを確認するため、顔データのマッチング(顔識別)処理を行う（Ｓ４ｂ〜Ｓ４ｇ）。特徴点データのマッチング処理としては、例えば非特許文献１に開示されたような技術を利用することができる。この技術によれば、物体（顔を含む）の画像のサイズや物体の向きなどが異なる場合にも物体のマッチングを高信頼度で行うことができる。
【００３５】
上記の例では図８に示すように、例えばユーザＣの端末１００ｃ内に保存された顔画像４５’は送信されてきた顔画像４４〜４６のうち顔画像４５と一致する。ユーザＥの端末内に保存された顔画像４９’は、送信されてきた顔画像４４〜４６のいずれとも一致しない。なお、上述したように送信される顔データは顔画像そのものではない場合があるが、ここでは便宜上「顔画像」として示している。端末内に保存されている顔画像４５’は、撮影画像中の顔画像４５とは同一人物の顔の画像であるが、画像データとしては厳密には同一ではない筈である。しかし、図の例では便宜上同じ画像を用いている。
【００３６】
このようなマッチング処理は、送られてきた顔データが複数であってもそれらと自分一人の顔データとのマッチングを行うだけでよいので処理は高速となる。すなわち、マッチング処理が撮影端末の周囲の端末で分散して行われることになる。
【００３７】
ここで、図９に本実施の形態におけるユーザ識別情報の例を示す。図９では上記の例に対応して端末１００ｂ，１００ｃ，１００ｄ内にそれぞれ保存されているユーザ識別情報の例を示す。
【００３８】
各ユーザ識別情報は、「名前」「ニックネーム」「電話番号」「Ｅメールアドレス」「画像」「生年月日」等の項目を含む。「画像」は当該端末のユーザ（所有者）の顔画像を想定している。画像として複数の画像、例えば顔画像としての画像１、アバターとしての画像２等を含んでもよい。
【００３９】
図１０（ａ）（ｂ）は、それぞれ、第２の端末におけるユーザ識別情報問合せ設定画面５０１と、返信可否設定画面５０２の例を示している。第２の端末のユーザは、第１の端末からユーザ識別情報の問い合わせがあったとしても、それに応答したくない場合もある。そのようなユーザは予めユーザ識別情報問合せ設定画面５０１において、ＯＦＦの設定を行っておくことにより、第１の端末からユーザ識別情報の問い合わせに応答しない。なお、ＯＮの設定がなされている場合にも、応答時に無条件で自動的に応答することを想定している。この代わりに、「ユーザ識別情報の問い合わせがありました。応答してもよいですか？」というようなメッセージを出力し、そのユーザの確認を得ることを条件として応答を行うようにすることも可能である。
【００４０】
また、返信可否設定画面５０２は、第２の端末のユーザがユーザ識別情報の項目毎に送信の可否（「許可」または「不許可」）を設定できるようにするものである。この返信可否設定画面５０２はユーザ識別情報問合せ設定画面５０１と併用し、返信可否設定画面５０２の設定がＯＮであるときに、重ねて設定できるようにすることができる。あるいは、返信可否設定画面５０２を単独で採用することも可能である。この場合、すべての項目を「不許可」に設定すればユーザ識別情報問合せ設定画面５０１で「ＯＦＦ」を設定したと実質的に等価な結果が得られる。
【００４１】
図３に戻り、マッチングによる顔識別処理を行った端末は、顔の一致が確認されたら、自己の公開可能なユーザ識別情報を端末１００ａへ返信する（Ｓ５ｂ〜Ｓ５ｄ）。このユーザ識別情報は、上述のように、当該ユーザが返信許可の設定をした項目の個人情報である。顔の一致が確認されなかった端末は何の返信も行わない。上記の例では、図１１に示すように、顔画像４４，４５，４６にそれぞれ一致する顔画像４４’、４５’、４６’が保存されている端末１００ｂ〜１００ｄのみが内部に保存されているそれぞれの公開可能なユーザ識別情報を端末１００ａに返信する。
【００４２】
これらの返信を受けた端末１００ａは、それらのユーザ識別情報を撮影画像上の当該人に対応づけて表示する（Ｓ６）。上記の例では、図１２に示すように、撮影画像４０中の各人の顔領域の下に当該ユーザ識別情報を表示している。ユーザ識別情報を表示する位置は顔領域の下に限るものではない。顔画像との対応が分かれば足り、その表示位置は問わない。表示された各人のユーザ識別情報の項目は当該ユーザが許可したものに対応している。なお、「年齢」は生年月日が返送されてきたときに現在の年月日と対比して算出したものである。「年齢」に代えて生年月日をそのまま表示するようにしてもよい。もともと「年齢」の項目が存在すれば、このような算出処理は不要である。
【００４３】
なお、このようなユーザ識別情報を表示画面上で表示することに加えて、または代えて、取得したユーザ識別情報を内部に記憶するようにしてもよい。
【００４４】
また、返信するユーザ識別情報は典型的にはテキストデータであるが、テキストを展開したビットマップ画像データを返信するようにしてもよい。この場合、ユーザ識別情報として年齢を用いるためには、ビットマップ画像の生成の前に第２の端末側で年齢の算出を行う。テキストで返信するか画像で返信するかはユーザが選択可能としてもよい。
【００４５】
図１３は、問い合わせを行う第１の端末（端末１００ａ）の処理のフローチャートを示している。この処理は、端末１００の制御部１０１（図２）が記憶部１０６内のプログラムを読み出して実行することにより実現される。
【００４６】
本実施の形態では、処理対象の撮影画像は、典型的には端末のカメラ１１２の起動（Ｓ１０ａ）が行われた後にカメラ撮影が行われたとき（Ｓ１１ａ）、または、ビューファインダ内の画像（いわゆるカメラスルー画像）を利用することが選択されたとき（Ｓ１１ｂ）に得られる画像を想定している。カメラスルー画像も連続して更新される静止画と考えられ、そのうちの一つの静止画を処理対象とすることができる。また、この処理対象は、カメラスルー画像の更新に伴って逐次更新していくこともできる。なお、カメラ起動を行わずに、端末内（例えば記憶部１０６）から処理対象の画像を選択してもよい（Ｓ１０ｂ）。
【００４７】
処理対象の撮影画像が与えられたら、その画像中の顔（顔領域）を検出して顔画像を抽出する顔検出処理を行う（Ｓ１２）。このような顔検出処理自体の手法は周知であり、特にここでは詳述しない。顔が検出されなければ（Ｓ１３，Ｎｏ）、本処理を終了する。
【００４８】
顔が検出されたら（Ｓ１３，Ｙｅｓ）、その顔データを近隣の端末へ送信（ブロードキャスト）する（Ｓ１４）。これに応じて近隣の端末からユーザ識別情報を受信するのを待機する（Ｓ１５）。検出された顔画像の個数に相当する個数の端末からの応答を待つ。送信から所定時間が経過した時点ですべての端末からの応答がなくても、タイムアウトと判断して待機を打ち切る。
【００４９】
１台の端末でもユーザ識別情報の応答があれば（Ｓ１６、Ｙｅｓ）、撮影画像上でそのユーザ識別情報を対応する顔画像に対応づけて表示する（Ｓ１７）。上述したように、表示に代えて、または加えて、そのユーザ識別情報を当該顔画像とともに記憶部１０６（例えば電話帳）に記憶（登録）するようにしてもよい。
【００５０】
図１４は、問い合わせを受信した第２の端末の処理を表したフローチャートである。この処理は、端末１００の制御部１０１（図２）が記憶部１０６内のプログラムを読み出して実行することにより実現される。
【００５１】
まず、第２の端末は、図１０（ａ）に示したようなユーザ識別情報問合せ設定画面５０１で設定された設定内容を確認する（Ｓ２１）。設定が「ＯＦＦ」であればこの処理を終了する。
【００５２】
設定が「ＯＮ」であれば、未処理の顔データがなくなるまで、以下のループ処理を繰り返して実行する（Ｓ２２）。
【００５３】
ループ処理ではまず、受信した顔データが複数存在すればその中から顔データを一つ選択する（Ｓ２３）。その顔データが顔画像データそのものであれば、その顔画像データから顔識別用データ（特徴点データ）を生成する（Ｓ２４）。その顔データがすでに顔識別用データであれば、この処理は不要である。この顔識別用データを端末内に保存されている顔データ（から得られた顔識別用データ）と比較するマッチング処理を行う（Ｓ２５）。一致時には、ステップＳ２６へ進む。一致しなければステップＳ２２へ戻る。
【００５４】
ステップＳ２６では、図１０（ｂ）の返信可否設定画面５０２で設定された返信可否設定の内容を参照する。この設定で許可された項目についてユーザ識別情報を第１の端末へ返信する（Ｓ２７）。この際、第２の端末は、少なくとも、複数の顔データを受信した場合には、この返信するユーザ識別情報が受信したどの顔データに対応するものかを示す画像識別データも付加する。そのようなデータとしては、もともと顔データの受信時に各顔データにその画像ＩＤが付加されていればそれを用いることができる。画像ＩＤが付加されていなければ、顔データの受信した順番を示す番号などを画像識別データとして利用することができる。
【００５５】
以上、本実施の形態によれば、次のような効果が得られる。
(1） 携帯端末に所持者自身のデータ（顔データおよびユーザ識別情報）を保持すれば足り、他者のデータを持つ必要がない。したがって、その更新を行う必要もない。
(2） あらかじめ顔識別を行う相手の顔データおよびユーザ識別情報を持つ必要がないので、 初対面の相手でも顔識別が可能となる。
(3) 顔識別を行いたいユーザ（第１の端末）は顔検出(Face Detection)処理だけを行えばよい。
(4) 顔識別処理を周囲の端末に任せるために高速に顔識別を行うことが可能となる。
【００５６】
本発明は、現存する技術の組み合わせで実現することができる。また、顔識別だけでなく、拡張現実（ＡＲ：augmented reality）を実現するための技術として非常に有用であると考えられる。拡張現実は、仮想現実と対を成す概念であり、現実の環境に付加情報として仮想的な物体を電子情報として合成提示することをいう。ユーザの頭部に装着する表示装置（ＨＭＤ:Head Mount Display）が実用的になった際には、カメラ装置と連動することにより、カメラ画像から一度認識した顔(個人)をトラッキングし続けることで比較的計算量が少なくＡＲを実現することが可能となる。
【００５７】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、本発明の携帯端末はカメラ付の携帯電話端末を例として説明したが、本発明は通信機能付きのデジタルカメラ等、他の装置にも適用可能である。
【符号の説明】
【００５８】
４４，４５，４５’，４６，４９，４９’…顔画像、１００，１００ａ〜１００ｇ…携帯端末、１０１…制御部、１０２…通信部、１０３…アンテナ、１０４…表示部、１０５…操作部、１０６…記憶部、１０８…音声処理部、１０９…スピーカ、１１０…マイク、１１１…撮像制御部、１１２…カメラ、１１３…近距離無線通信部、１１４…アンテナ、１１５…時計部、１１７…バス、５０１…ユーザ識別情報問合せ設定画面、５０２…返信可否設定画面
【技術分野】
【０００１】
本発明は、複数の携帯端末の相互間の通信を利用した顔識別システムに関する。
【背景技術】
【０００２】
現在、広く普及している携帯電話端末は高機能化、高性能化が進み、殆どの機種にカメラ撮影機能が備わっている。また、Bluetooth（登録商標）等の近距離無線通信機能を備えたものもある。
【０００３】
一方、カメラ撮影により得られた画像の中に存在する人の顔の領域を検出し、さらにはその顔画像の特徴点データを抽出して顔識別（Face Identification）を行う技術も知られている（非特許文献１参照）。
【０００４】
このような状況において、携帯電話端末を用いて人（または人々）を撮影し、その画像中に写った顔画像に基づいて直ちにその人に関する情報を得ることができれば、カメラの新たな用途が広がると考えられる。
【０００５】
特許文献１には、物体（植物、昆虫等）の名前、属性、特徴、飼育方法などを知りたいときに、携帯電話機に付属したカメラでその物体を撮影し、その画像と欲しい情報の内容をインターネットを介して検索用サーバにリクエストし、サーバ側からユーザが入力した質問事項に対して希望する情報を提供するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１３２０６２号公報
【非特許文献】
【０００７】
【非特許文献１】David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", Accepted for publication in the International Journal of Computer Vision, 2004, Computer Science Department, University of British Columbia, Vancouver, B. C., Canada, January 5, 2004
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の顔識別技術には以下の問題がある。
【０００９】
一般的に、識別するために必要な顔データをあらかじめ携帯端末内に保持する必要がある。特に、識別したい顔の数だけ顔データを持つ必要がある。また、登録されていない人を識別するためには携帯端末内の顔データを更新する必要がある。さらに、識別処理を行う際には入力データと登録されているデータのマッチング処理を行う必要がある。このような処理を１台の携帯端末内で実行するには相応の処理時間がかかる、特に、多数の顔データが登録されている状態ではなおさらである。
【００１０】
特許文献１に記載の技術は、インターネット上の検索用サーバを必要とする。また、実在する人の顔画像を集中的に蓄積したデータベースを用意するのは現実的でない。
【００１１】
本発明はこのような背景においてなされたもので、検索用サーバを必要とすることなく、携帯端末において比較的簡易かつ迅速に顔識別を行うことができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明による携帯端末は、撮影により得られた画像中に存在する顔を検出する顔検出手段と、前記顔の画像データに対応する顔データを周囲の携帯端末へ近距離無線通信により送信する送信手段と、前記送信した顔データに該当する顔画像を保存している携帯端末から当該ユーザのユーザ識別情報を近距離無線通信により受信する受信手段と、受信したユーザ識別情報を当該顔画像に対応づけて表示画面上に表示および／または記憶部に記憶する処理手段とを備えたものである。
【００１３】
本発明では、撮影により得られた画像中に存在する顔を検出する処理は第１の携帯端末において行う。しかし、顔の識別処理は、前記顔の画像データに対応する顔データを周囲の携帯端末へ近距離無線通信により送信することによって、周囲に存在する第２の携帯端末に実行させる。周囲に存在する第２の携帯端末のうち、前記送信した顔データに該当する顔画像を保存している携帯端末から当該ユーザのユーザ識別情報を近距離無線通信により受信する。これにより、画像中の顔の識別が迅速に行われる。第１の携帯端末のユーザが撮影者として他の人（人々）の撮影を行ったときには、当然ながらその被撮影者は近傍に存在している。また、その被撮影者は携帯端末を所持している可能性も高い。本発明はこのような前提において極めて有効に機能する。
【００１４】
第２の携帯端末としての、本発明による他の携帯端末は、顔データを他の携帯端末から受信する受信手段と、複数の項目のデータを含む自端末のユーザのユーザ識別情報を保存する保存手段と、前記顔データの送信を受けたとき、受信した前記顔データの顔画像と自端末のユーザの顔画像とが一致するか否かを確認する顔一致検出手段と、前記顔画像の一致時に、前記許可された項目のデータのみを当該他の携帯端末へ返信する送信手段とを備えたものである。
【００１５】
なお、第１の携帯端末と第２の携帯端末とは、実際的には同一の携帯端末がそれらの構成要素を兼ね備えることが可能である。
【００１６】
本発明による顔識別システムは、第１の携帯端末と第２の携帯端末による顔識別システムである。第１の携帯端末は、撮影により得られた画像中に存在する顔を検出する顔検出手段と、前記顔の画像データに対応する顔データを周囲に存在する第２の携帯端末へ近距離無線通信により送信する送信手段と、前記送信した顔データに該当する顔画像を保存している携帯端末から当該ユーザのユーザ識別情報を近距離無線通信により受信する受信手段と、受信したユーザ識別情報を当該顔画像に対応づけて表示画面上に表示および／または記憶部に記憶する処理手段とを備える。第２の携帯端末は、第１の携帯端末から前記顔データを受信する受信手段と、複数の項目のデータを含む自端末のユーザのユーザ識別情報を保存する保存手段と、前記顔データの送信を受けたとき、受信した前記顔データの顔画像と自端末のユーザの顔画像とが一致するか否かを確認する顔一致検出手段と、前記顔画像の一致時に、前記許可された項目のデータのみを第１の携帯端末へ返信する送信手段とを備える。
【発明の効果】
【００１７】
本発明によれば、検索用サーバを必要とすることなく、携帯端末において比較的簡易かつ迅速に顔識別を行うことが可能となる。また、携帯端末に所持者自身の顔データ以外の顔データを記憶しておく必要がないので、既存の携帯端末への応用が容易である。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態における複数の携帯端末で一時的に構築される通信システムの概略構成を示す図である。
【図２】図１内に示した携帯端末として典型的な携帯電話端末の概略のハードウェア構成を示す図である。
【図３】本発明の実施の形態における携帯端末の相互の間のやりとりを示したシーケンス図である。
【図４】本発明の実施の形態において第１の端末のユーザ（所有者）が他のユーザの撮影を行う場面の図である。
【図５】図４の撮影により得られた画像の例を示す図である。
【図６】図５に示した画像の中から顔検出がなされた様子の図である。
【図７】図６の場面で検出された顔データが第１の端末から第２の端末へブロードキャストされた様子の図である。
【図８】本発明の実施の形態における第２の端末での顔データのマッチング処理の様子を示す図である。
【図９】本発明の実施の形態におけるユーザ識別情報の例を示す図である。
【図１０】本発明の実施の形態の第２の端末におけるユーザ識別情報問合せ設定画面と返信可否設定画面の例を示す図である。
【図１１】本発明の実施の形態における第２の端末から第１の端末へユーザ識別情報が返信される様子を示す図である。
【図１２】本発明の実施の形態において撮影画像中の各人の顔領域の下に当該ユーザ識別情報を表示した状態を示す図である。
【図１３】本発明の実施の形態において問い合わせを行う第１の端末の処理を示すフローチャートである。
【図１４】本発明の実施の形態において問い合わせを受信した第２の端末の処理を表したフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の好適な実施の形態について図面を参照しながら説明する。
【００２０】
図１に、本実施の形態における複数の携帯端末で一時的に構築される通信システムとしての顔識別システムの概略構成を示す。ここでは、携帯端末として携帯電話端末を例として説明する。この例では、本システムは、その動作の主体となる第１の携帯端末１００ａと、この端末の近傍に位置する第２の携帯端末１００ｂ，１００ｃ，１００ｄ等とにより構成される。第２の携帯端末の台数は図では３台示したが、１台でもよく、また、４台以上でもよい。携帯端末１００ａ，１００ｂ，１００ｃ，１００ｄ等は総称して携帯端末１００と呼ぶ。これらの各携帯端末は近距離無線通信手段を有し、相互に無線によるデータ通信を行うことができる近距離無線ネットワークを一時的に構築する機能を有する。近距離無線ネットワークとしては、例えば、Bluetooth（登録商標）などを利用可能である。Bluetooth（登録商標）のPAN（Personal Area Network）profileを用いれば、半径１０ｍ前後のネットワークを構築することが可能である。但し、本発明はこれに限るものではなく、利用可能な任意の無線ネットワークを採用可能である。
【００２１】
第１の携帯端末はデジタルカメラのような撮像手段を有する。第２の携帯端末は必ずしも撮像手段を有する必要はない。また、第２の端末は当該ユーザの顔画像データとともにそのユーザに関するメタ情報としてユーザ識別情報を内部に保存しているものとする。携帯電話端末には、通常、自端末のユーザのプロフィール情報としてユーザ識別情報を保存する機能を有している。
【００２２】
図２に、携帯端末１００として典型的な携帯電話端末の概略のハードウェア構成を示す。この構成は第１および第２の携帯端末のいずれとしても機能しうる。
【００２３】
この携帯端末１００は、バス１１７で相互に接続された制御部１０１、通信部１０２、アンテナ１０３、表示部１０４、操作部１０５、記憶部（保存手段）１０６、音声処理部１０８、撮像制御部１１１、近距離無線通信部１１３、アンテナ１１４、時計部１１５を備える。音声処理部１０８にはスピーカ１０９およびマイク１１０が接続される。撮像制御部１１１にはカメラ１１２（撮像手段）が接続される。
【００２４】
制御部１０１は、ＣＰＵを含み、携帯端末１００の各部の制御および必要なデータ処理を行う。本実施の形態ではこの制御部１０１が本発明の「顔一致検出手段」および「処理手段」を構成する。通信部１０２は、アンテナ１０３を介して基地局との間で無線通信を行う。表示部１０４は、ＬＣＤ，有機ＥＬ等の表示デバイスを含み、その表示画面上に情報を表示する。操作部１０５は、テンキーや各種制御キーを有し、ユーザからの指示やデータの入力を受け付ける。記憶部１０６は、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶手段を備え、ＯＳ、各種アプリケーションプログラム等のコンピュータプログラム、各種データを記憶する。各種データとしては、本実施の形態におけるユーザの顔画像およびユーザ識別情報等を含む。音声処理部１０８は、受話音声、警報、動画ファイルの音声、音楽データの音声等を出力するスピーカ１０９と、送話音声等を集音するマイク１１０とに接続され、音声信号の符号化、復号化を含む所定の音声処理を行う。近距離無線通信部１１３は、アンテナ１１４を介して他の近距離無線通信部との間で無線通信を行う手段であり、本発明の「送信手段」および「受信手段」を構成する。本実施の形態では、この近距離無線通信部１１３により、他の端末の近距離無線通信部との間で一時的に無線通信ネットワークが構築される。時計部１１５は、本発明の時計手段を構成し、ＲＴＣ（Real Time Clock）等を含み、年月日および時間情報を生成する時計機能およびタイマー設定を行うタイマー機能を提供する。
【００２５】
以下、本実施の形態の動作について説明する。
【００２６】
顔画像に基づくユーザ認識のためには、第１の段階として、撮影により取得した画像中の顔画像（すなわち顔領域）を検出する顔検出または顔検知(Face Detection）の段階と、第２の段階として、検出された顔画像に基づいてその顔が誰の顔であるのかを識別する顔識別（Face Identification）の段階とがある。本発明では、第１の段階の顔検出処理は第１の端末で行うが、第２の段階の顔識別処理は第２の端末で行う。そのために、顔を識別される人々は携帯端末を所持している（持ち歩いている）ことと、その携帯端末に自身の顔データが登録されていることを前提とする。
【００２７】
今、本実施の形態における典型的なアプリケーションとして、第１の携帯端末のユーザがそのカメラ機能を用いて他の人（または人々）を撮影したとき、撮影された人のユーザ識別情報（すなわち個人情報）を取得し、そのユーザ識別情報の少なくとも一部を撮影画像上の当該人に対応づけてビューファインダなどの表示画面上に表示することを想定する。
【００２８】
図３は、本実施の形態における携帯端末１００ａ〜１００ｄの相互の間のやりとりを示したシーケンス図である。以下、携帯端末は単に端末ともいう。この図には、端末１００ｂ〜１００ｄの他、偶然に周囲（近距離無線通信可能な範囲内）に存在した端末の代表として端末１００ｅ〜１００ｇも含めている。
【００２９】
今、第１の携帯端末である端末１００ａのユーザ（所有者）が他のユーザの撮影を行う（Ｓ１）。ここでは、図４に示すようにユーザＡが撮影者として、ユーザＢ〜Ｄを撮影した場合を想定する。ユーザＢ〜Ｄはそれぞれ端末１００ｂ〜１００ｄを所持しているものとする。この実施の形態における携帯端末１００のアプリケーションでの「撮影」は、シャッタボタンを押して１枚の静止画を取得する形態のみならず、シャッタボタンを押す前の段階で表示部のファインダ表示画面にいわゆるカメラスルー画像を連続的（周期的）に表示する形態も含みうる。
【００３０】
図５に、端末１００ａにより得られた画像の例を示す。この例では、端末１００ｂ〜１００ｄをそれぞれ所持したユーザＢ〜Ｄが写った撮影画像４０を例として示している。
【００３１】
その後、端末１００ａは、そのカメラからの撮影画像４０（入力画像）の中から顔検出、すなわち顔領域を定めてそれぞれの顔画像の抽出を行う（Ｓ２）。上記の例では、図６に示すように、撮影画像４０の中から検出された顔画像４４〜４６を含む顔領域は矩形状の領域としている。
【００３２】
端末１００ａは、この抽出された顔画像に対応する顔データを、近距離無線ネットワークを用いて、周りの人々が所持する端末にブロードキャストする（Ｓ３）。第２の端末へ送信する顔識別処理のためのデータは、抽出された顔領域の顔画像データそのものであってもよいし、その顔画像データから抽出された特徴点データであってもよい。通常の顔識別技術は、同じ顔であるかマッチングをするまえに、マッチングを行うためのデータ形式（顔識別用データ）に変換していることが多い。このような顔識別を行うために必要な処理をあらかじめ送信側端末で行ってしまえば、受信側の端末はデータの比較処理だけを行えばよいので、処理速度がさらに向上する。本明細書ではこれらのデータを総称して「顔データ」という。
【００３３】
上記の例では、図７に示すように、端末１００ａからのブロードキャストされた顔データは、端末１００ｂ〜１００ｄの他、偶然に周囲に存在した端末１００ｅ〜１００ｇにも受信されうる。
【００３４】
顔データを受信した携帯端末は、あらかじめ登録されている自分の顔データを用いて、送られてきた顔データの中に自分の顔に該当するか否かを確認するため、顔データのマッチング(顔識別)処理を行う（Ｓ４ｂ〜Ｓ４ｇ）。特徴点データのマッチング処理としては、例えば非特許文献１に開示されたような技術を利用することができる。この技術によれば、物体（顔を含む）の画像のサイズや物体の向きなどが異なる場合にも物体のマッチングを高信頼度で行うことができる。
【００３５】
上記の例では図８に示すように、例えばユーザＣの端末１００ｃ内に保存された顔画像４５’は送信されてきた顔画像４４〜４６のうち顔画像４５と一致する。ユーザＥの端末内に保存された顔画像４９’は、送信されてきた顔画像４４〜４６のいずれとも一致しない。なお、上述したように送信される顔データは顔画像そのものではない場合があるが、ここでは便宜上「顔画像」として示している。端末内に保存されている顔画像４５’は、撮影画像中の顔画像４５とは同一人物の顔の画像であるが、画像データとしては厳密には同一ではない筈である。しかし、図の例では便宜上同じ画像を用いている。
【００３６】
このようなマッチング処理は、送られてきた顔データが複数であってもそれらと自分一人の顔データとのマッチングを行うだけでよいので処理は高速となる。すなわち、マッチング処理が撮影端末の周囲の端末で分散して行われることになる。
【００３７】
ここで、図９に本実施の形態におけるユーザ識別情報の例を示す。図９では上記の例に対応して端末１００ｂ，１００ｃ，１００ｄ内にそれぞれ保存されているユーザ識別情報の例を示す。
【００３８】
各ユーザ識別情報は、「名前」「ニックネーム」「電話番号」「Ｅメールアドレス」「画像」「生年月日」等の項目を含む。「画像」は当該端末のユーザ（所有者）の顔画像を想定している。画像として複数の画像、例えば顔画像としての画像１、アバターとしての画像２等を含んでもよい。
【００３９】
図１０（ａ）（ｂ）は、それぞれ、第２の端末におけるユーザ識別情報問合せ設定画面５０１と、返信可否設定画面５０２の例を示している。第２の端末のユーザは、第１の端末からユーザ識別情報の問い合わせがあったとしても、それに応答したくない場合もある。そのようなユーザは予めユーザ識別情報問合せ設定画面５０１において、ＯＦＦの設定を行っておくことにより、第１の端末からユーザ識別情報の問い合わせに応答しない。なお、ＯＮの設定がなされている場合にも、応答時に無条件で自動的に応答することを想定している。この代わりに、「ユーザ識別情報の問い合わせがありました。応答してもよいですか？」というようなメッセージを出力し、そのユーザの確認を得ることを条件として応答を行うようにすることも可能である。
【００４０】
また、返信可否設定画面５０２は、第２の端末のユーザがユーザ識別情報の項目毎に送信の可否（「許可」または「不許可」）を設定できるようにするものである。この返信可否設定画面５０２はユーザ識別情報問合せ設定画面５０１と併用し、返信可否設定画面５０２の設定がＯＮであるときに、重ねて設定できるようにすることができる。あるいは、返信可否設定画面５０２を単独で採用することも可能である。この場合、すべての項目を「不許可」に設定すればユーザ識別情報問合せ設定画面５０１で「ＯＦＦ」を設定したと実質的に等価な結果が得られる。
【００４１】
図３に戻り、マッチングによる顔識別処理を行った端末は、顔の一致が確認されたら、自己の公開可能なユーザ識別情報を端末１００ａへ返信する（Ｓ５ｂ〜Ｓ５ｄ）。このユーザ識別情報は、上述のように、当該ユーザが返信許可の設定をした項目の個人情報である。顔の一致が確認されなかった端末は何の返信も行わない。上記の例では、図１１に示すように、顔画像４４，４５，４６にそれぞれ一致する顔画像４４’、４５’、４６’が保存されている端末１００ｂ〜１００ｄのみが内部に保存されているそれぞれの公開可能なユーザ識別情報を端末１００ａに返信する。
【００４２】
これらの返信を受けた端末１００ａは、それらのユーザ識別情報を撮影画像上の当該人に対応づけて表示する（Ｓ６）。上記の例では、図１２に示すように、撮影画像４０中の各人の顔領域の下に当該ユーザ識別情報を表示している。ユーザ識別情報を表示する位置は顔領域の下に限るものではない。顔画像との対応が分かれば足り、その表示位置は問わない。表示された各人のユーザ識別情報の項目は当該ユーザが許可したものに対応している。なお、「年齢」は生年月日が返送されてきたときに現在の年月日と対比して算出したものである。「年齢」に代えて生年月日をそのまま表示するようにしてもよい。もともと「年齢」の項目が存在すれば、このような算出処理は不要である。
【００４３】
なお、このようなユーザ識別情報を表示画面上で表示することに加えて、または代えて、取得したユーザ識別情報を内部に記憶するようにしてもよい。
【００４４】
また、返信するユーザ識別情報は典型的にはテキストデータであるが、テキストを展開したビットマップ画像データを返信するようにしてもよい。この場合、ユーザ識別情報として年齢を用いるためには、ビットマップ画像の生成の前に第２の端末側で年齢の算出を行う。テキストで返信するか画像で返信するかはユーザが選択可能としてもよい。
【００４５】
図１３は、問い合わせを行う第１の端末（端末１００ａ）の処理のフローチャートを示している。この処理は、端末１００の制御部１０１（図２）が記憶部１０６内のプログラムを読み出して実行することにより実現される。
【００４６】
本実施の形態では、処理対象の撮影画像は、典型的には端末のカメラ１１２の起動（Ｓ１０ａ）が行われた後にカメラ撮影が行われたとき（Ｓ１１ａ）、または、ビューファインダ内の画像（いわゆるカメラスルー画像）を利用することが選択されたとき（Ｓ１１ｂ）に得られる画像を想定している。カメラスルー画像も連続して更新される静止画と考えられ、そのうちの一つの静止画を処理対象とすることができる。また、この処理対象は、カメラスルー画像の更新に伴って逐次更新していくこともできる。なお、カメラ起動を行わずに、端末内（例えば記憶部１０６）から処理対象の画像を選択してもよい（Ｓ１０ｂ）。
【００４７】
処理対象の撮影画像が与えられたら、その画像中の顔（顔領域）を検出して顔画像を抽出する顔検出処理を行う（Ｓ１２）。このような顔検出処理自体の手法は周知であり、特にここでは詳述しない。顔が検出されなければ（Ｓ１３，Ｎｏ）、本処理を終了する。
【００４８】
顔が検出されたら（Ｓ１３，Ｙｅｓ）、その顔データを近隣の端末へ送信（ブロードキャスト）する（Ｓ１４）。これに応じて近隣の端末からユーザ識別情報を受信するのを待機する（Ｓ１５）。検出された顔画像の個数に相当する個数の端末からの応答を待つ。送信から所定時間が経過した時点ですべての端末からの応答がなくても、タイムアウトと判断して待機を打ち切る。
【００４９】
１台の端末でもユーザ識別情報の応答があれば（Ｓ１６、Ｙｅｓ）、撮影画像上でそのユーザ識別情報を対応する顔画像に対応づけて表示する（Ｓ１７）。上述したように、表示に代えて、または加えて、そのユーザ識別情報を当該顔画像とともに記憶部１０６（例えば電話帳）に記憶（登録）するようにしてもよい。
【００５０】
図１４は、問い合わせを受信した第２の端末の処理を表したフローチャートである。この処理は、端末１００の制御部１０１（図２）が記憶部１０６内のプログラムを読み出して実行することにより実現される。
【００５１】
まず、第２の端末は、図１０（ａ）に示したようなユーザ識別情報問合せ設定画面５０１で設定された設定内容を確認する（Ｓ２１）。設定が「ＯＦＦ」であればこの処理を終了する。
【００５２】
設定が「ＯＮ」であれば、未処理の顔データがなくなるまで、以下のループ処理を繰り返して実行する（Ｓ２２）。
【００５３】
ループ処理ではまず、受信した顔データが複数存在すればその中から顔データを一つ選択する（Ｓ２３）。その顔データが顔画像データそのものであれば、その顔画像データから顔識別用データ（特徴点データ）を生成する（Ｓ２４）。その顔データがすでに顔識別用データであれば、この処理は不要である。この顔識別用データを端末内に保存されている顔データ（から得られた顔識別用データ）と比較するマッチング処理を行う（Ｓ２５）。一致時には、ステップＳ２６へ進む。一致しなければステップＳ２２へ戻る。
【００５４】
ステップＳ２６では、図１０（ｂ）の返信可否設定画面５０２で設定された返信可否設定の内容を参照する。この設定で許可された項目についてユーザ識別情報を第１の端末へ返信する（Ｓ２７）。この際、第２の端末は、少なくとも、複数の顔データを受信した場合には、この返信するユーザ識別情報が受信したどの顔データに対応するものかを示す画像識別データも付加する。そのようなデータとしては、もともと顔データの受信時に各顔データにその画像ＩＤが付加されていればそれを用いることができる。画像ＩＤが付加されていなければ、顔データの受信した順番を示す番号などを画像識別データとして利用することができる。
【００５５】
以上、本実施の形態によれば、次のような効果が得られる。
(1） 携帯端末に所持者自身のデータ（顔データおよびユーザ識別情報）を保持すれば足り、他者のデータを持つ必要がない。したがって、その更新を行う必要もない。
(2） あらかじめ顔識別を行う相手の顔データおよびユーザ識別情報を持つ必要がないので、 初対面の相手でも顔識別が可能となる。
(3) 顔識別を行いたいユーザ（第１の端末）は顔検出(Face Detection)処理だけを行えばよい。
(4) 顔識別処理を周囲の端末に任せるために高速に顔識別を行うことが可能となる。
【００５６】
本発明は、現存する技術の組み合わせで実現することができる。また、顔識別だけでなく、拡張現実（ＡＲ：augmented reality）を実現するための技術として非常に有用であると考えられる。拡張現実は、仮想現実と対を成す概念であり、現実の環境に付加情報として仮想的な物体を電子情報として合成提示することをいう。ユーザの頭部に装着する表示装置（ＨＭＤ:Head Mount Display）が実用的になった際には、カメラ装置と連動することにより、カメラ画像から一度認識した顔(個人)をトラッキングし続けることで比較的計算量が少なくＡＲを実現することが可能となる。
【００５７】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、本発明の携帯端末はカメラ付の携帯電話端末を例として説明したが、本発明は通信機能付きのデジタルカメラ等、他の装置にも適用可能である。
【符号の説明】
【００５８】
４４，４５，４５’，４６，４９，４９’…顔画像、１００，１００ａ〜１００ｇ…携帯端末、１０１…制御部、１０２…通信部、１０３…アンテナ、１０４…表示部、１０５…操作部、１０６…記憶部、１０８…音声処理部、１０９…スピーカ、１１０…マイク、１１１…撮像制御部、１１２…カメラ、１１３…近距離無線通信部、１１４…アンテナ、１１５…時計部、１１７…バス、５０１…ユーザ識別情報問合せ設定画面、５０２…返信可否設定画面
【特許請求の範囲】
【請求項１】
撮影により得られた画像中に存在する顔を検出する顔検出手段と、
前記顔の画像データに対応する顔データを周囲の携帯端末へ近距離無線通信により送信する送信手段と、
前記送信した顔データに該当する顔画像を保存している携帯端末から当該ユーザのユーザ識別情報を近距離無線通信により受信する受信手段と、
受信したユーザ識別情報を当該顔画像に対応づけて表示画面上に表示画面上に表示および／または記憶部に記憶部に記憶する処理手段と
を備えた携帯端末。
【請求項２】
前記顔データは前記画像中の顔領域内の画像データである請求項１に記載の携帯端末。
【請求項３】
前記顔データは前記画像中の顔領域内の顔画像から得られた顔識別用データである請求項１に記載の携帯端末。
【請求項４】
前記ユーザ識別情報はテキストデータまたはテキストを展開した画像データである請求項１に記載の携帯端末。
【請求項５】
顔データを他の携帯端末から受信する受信手段と、
複数の項目のデータを含む自端末のユーザのユーザ識別情報を保存する保存手段と、
前記顔データの送信を受けたとき、受信した前記顔データの顔画像と自端末のユーザの顔画像とが一致するか否かを確認する顔一致検出手段と、
前記顔画像の一致時に、前記許可された項目のデータのみを当該他の携帯端末へ返信する送信手段と
を備えた携帯端末。
【請求項６】
前記顔データの送信を受けたとき、各項目毎に返信を許可するか否かを予め定める返信可否設定手段を有し、前記送信手段は前記顔画像の一致時に、前記許可された項目のデータのみを当該他の携帯端末へ返信する
請求項５に記載の携帯端末。
【請求項７】
第１の携帯端末と第２の携帯端末による顔識別システムであって、
第１の携帯端末は、
撮影により得られた画像中に存在する顔を検出する顔検出手段と、
前記顔の画像データに対応する顔データを周囲に存在する第２の携帯端末へ近距離無線通信により送信する送信手段と、
前記送信した顔データに該当する顔画像を保存している携帯端末から当該ユーザのユーザ識別情報を近距離無線通信により受信する受信手段と、
受信したユーザ識別情報を当該顔画像に対応づけて表示画面上に表示および／または記憶部に記憶する処理手段とを備え、
第２の携帯端末は、
第１の携帯端末から前記顔データを受信する受信手段と、
複数の項目のデータを含む自端末のユーザのユーザ識別情報を保存する保存手段と、
前記顔データの送信を受けたとき、受信した前記顔データの顔画像と自端末のユーザの顔画像とが一致するか否かを確認する顔一致検出手段と、
前記顔画像の一致時に、前記許可された項目のデータのみを第１の携帯端末へ返信する送信手段とを備える
顔識別システム。
【請求項１】
撮影により得られた画像中に存在する顔を検出する顔検出手段と、
前記顔の画像データに対応する顔データを周囲の携帯端末へ近距離無線通信により送信する送信手段と、
前記送信した顔データに該当する顔画像を保存している携帯端末から当該ユーザのユーザ識別情報を近距離無線通信により受信する受信手段と、
受信したユーザ識別情報を当該顔画像に対応づけて表示画面上に表示画面上に表示および／または記憶部に記憶部に記憶する処理手段と
を備えた携帯端末。
【請求項２】
前記顔データは前記画像中の顔領域内の画像データである請求項１に記載の携帯端末。
【請求項３】
前記顔データは前記画像中の顔領域内の顔画像から得られた顔識別用データである請求項１に記載の携帯端末。
【請求項４】
前記ユーザ識別情報はテキストデータまたはテキストを展開した画像データである請求項１に記載の携帯端末。
【請求項５】
顔データを他の携帯端末から受信する受信手段と、
複数の項目のデータを含む自端末のユーザのユーザ識別情報を保存する保存手段と、
前記顔データの送信を受けたとき、受信した前記顔データの顔画像と自端末のユーザの顔画像とが一致するか否かを確認する顔一致検出手段と、
前記顔画像の一致時に、前記許可された項目のデータのみを当該他の携帯端末へ返信する送信手段と
を備えた携帯端末。
【請求項６】
前記顔データの送信を受けたとき、各項目毎に返信を許可するか否かを予め定める返信可否設定手段を有し、前記送信手段は前記顔画像の一致時に、前記許可された項目のデータのみを当該他の携帯端末へ返信する
請求項５に記載の携帯端末。
【請求項７】
第１の携帯端末と第２の携帯端末による顔識別システムであって、
第１の携帯端末は、
撮影により得られた画像中に存在する顔を検出する顔検出手段と、
前記顔の画像データに対応する顔データを周囲に存在する第２の携帯端末へ近距離無線通信により送信する送信手段と、
前記送信した顔データに該当する顔画像を保存している携帯端末から当該ユーザのユーザ識別情報を近距離無線通信により受信する受信手段と、
受信したユーザ識別情報を当該顔画像に対応づけて表示画面上に表示および／または記憶部に記憶する処理手段とを備え、
第２の携帯端末は、
第１の携帯端末から前記顔データを受信する受信手段と、
複数の項目のデータを含む自端末のユーザのユーザ識別情報を保存する保存手段と、
前記顔データの送信を受けたとき、受信した前記顔データの顔画像と自端末のユーザの顔画像とが一致するか否かを確認する顔一致検出手段と、
前記顔画像の一致時に、前記許可された項目のデータのみを第１の携帯端末へ返信する送信手段とを備える
顔識別システム。
【図１】
【図２】
【図３】
【図４】
【図９】
【図１０】
【図１３】
【図１４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図９】
【図１０】
【図１３】
【図１４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図１２】
【公開番号】特開２０１０−２７７４４１（Ｐ２０１０−２７７４４１Ａ）
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願番号】特願２００９−１３１０６９（Ｐ２００９−１３１０６９）
【出願日】平成２１年５月２９日（２００９．５．２９）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願日】平成２１年５月２９日（２００９．５．２９）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
[ Back to top ]