情報処理装置、撮像装置、およびそれらの制御方法、プログラム、並びに記憶媒体
【課題】記憶容量の小さい装置には、必要最低限の顔辞書を持たせることで、記憶容量を抑えつつ、複数の装置間で、人物の特定に係る判定精度を同等にすることができる技術を実現する。
【解決手段】画像データに含まれる人物を特定する機能を有する情報処理装置であって、人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、前記検索手段による検索の結果を表示する表示手段と、辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、前記通信手段により前記撮像装置と接続された状態において、前記撮像装置が有する辞書データと、前記記憶手段に記憶している辞書データとを比較し、前記記憶手段に記憶されている辞書データの方が新しい場合、前記撮像装置の辞書データを前記記憶手段に記憶された新しいものに更新する辞書編集手段と、を有する。
【解決手段】画像データに含まれる人物を特定する機能を有する情報処理装置であって、人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、前記検索手段による検索の結果を表示する表示手段と、辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、前記通信手段により前記撮像装置と接続された状態において、前記撮像装置が有する辞書データと、前記記憶手段に記憶している辞書データとを比較し、前記記憶手段に記憶されている辞書データの方が新しい場合、前記撮像装置の辞書データを前記記憶手段に記憶された新しいものに更新する辞書編集手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像に含まれる人物の特定に使用する顔辞書を編集する技術に関する。
【背景技術】
【０００２】
パーソナルコンピュータ（ＰＣ）やカメラなどにおいて、顔検索アルゴリズムを搭載したアプリケーション上で、画像の閲覧・検索時や画像撮影時に、画像に写っている人物が誰であるかを特定する技術が知られている。人物を特定するためには、その人物の顔画像、もしくは顔画像から算出した顔特徴量が必要となる。これらの人物の固有の情報からなる顔辞書は、人物の名前、顔画像データ、顔特徴量などを関連付けたものである。画像に写っている人物の名前を特定するには、アプリケーションで顔辞書を登録し、カメラで撮像されて表示されている画像中に含まれる被写体から顔画像を切り出し、切り出した顔画像から算出した顔特徴量と顔辞書の顔特徴量とを比較する。そして、それらが近似していれば同じ人物であると判定する。そして、顔特徴量と名前が関連付けられているので、その画像に写っている人物や被写体の名前を特定することができる。
【０００３】
例えば、ＧｏｏｇｌｅのＰｉｃａｓａ３では、顔特徴量が近い顔画像をグルーピングして表示できる。そして、そのグループに対して人物の名前を付加すると、それらの画像の顔特徴量と人物の名前を関連付けた顔辞書が作成される。以降、その顔特徴量に近い画像が検出されると、同じグループに画像が追加される。
【０００４】
しかし、顔辞書が１人の人物に対して、１つしか存在しないと、その顔辞書の顔画像データまたは顔特徴量に近い画像しか特定することができない。例えば、顔辞書がある人物の２０歳の頃の顔画像から作成されたものであるとすると、その顔辞書を用いて、その人物の幼少期の頃の顔画像から、その人物を特定することは困難である。このような課題に対して、特許文献１には、人物の顔辞書を年代別に複数持つことで、その人物の過去から現在に至るまでの全ての顔画像の中から、その人物を特定できるようにした技術が提案されている。
【０００５】
一方、ＰＣのアプリケーションで作成した顔辞書をカメラなどの他のデバイスで使用できない場合、顔検索アルゴリズムを搭載したカメラで人物を特定するためには、カメラ上で顔辞書を登録する必要がある。ここで、特許文献１には、人物の顔特徴量を他のデバイスに書き込む方法として、ＰＣに記憶されている顔特徴量データ、又はカメラＡに記憶されている顔特徴量データをカメラＢに書き込む方法が記載されている。また、特許文献２には、カメラを外部機器に接続することにより、カメラで作成した顔登録ファイルを外部機器に提供でき、編集モードで顔登録ファイルを移動、削除、修正、読み込む方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１６５３１４号公報
【特許文献２】特開２００７−２４１７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像中の人物を特定するデバイスが複数存在する場合、全てのデバイスにおいて同等の判定基準で人物を特定できることが望ましい。しかしながら、複数のデバイス上で、同じ判定基準で人物を特定するには、それぞれのデバイスが同じ顔辞書を持つ必要がある。その場合、全ての人物の顔辞書を記憶しておく必要があり、記憶容量が大きいＰＣなどではそれほど問題にならないが、カメラなどでは記憶容量に限界があるため撮影済み画像データに加えて全ての顔辞書を記憶しておくことは困難である。
【０００８】
一方、特許文献２のように、顔特徴量や顔登録ファイルを他のデバイスに提供しても、他のデバイスに既に顔特徴量や顔登録ファイルが存在する場合、カメラなど記憶容量が小さいデバイスに記憶すべき情報量が増加しないようマージする必要がある。
【０００９】
本発明は、上記課題に鑑みてなされ、その目的は、記憶容量の小さい装置には、必要最低限の顔辞書を持たせることで、記憶容量を抑えつつ、複数の装置間で、人物の特定に係る判定精度を同等にすることができる技術を実現することである。
【課題を解決するための手段】
【００１０】
上記課題を解決し、目的を達成するために、本発明の情報処理装置は、画像データに含まれる人物を特定する機能を有する情報処理装置であって、人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、前記検索手段による検索の結果を表示する表示手段と、辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、前記通信手段により前記撮像装置と接続された状態において、前記撮像装置が有する辞書データと、前記記憶手段に記憶している辞書データとを比較し、前記記憶手段に記憶されている辞書データの方が新しい場合、前記撮像装置の辞書データを前記記憶手段に記憶された新しいものに更新する辞書編集手段と、を有する。
【発明の効果】
【００１１】
本発明によれば、記憶容量の小さい装置には、必要最低限の顔辞書を持たせることで、記憶容量を抑えつつ、複数の装置間で、人物の特定に係る判定精度を同等にすることができる技術を実現することである。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る一実施形態の撮影装置（ａ）及び情報処理装置（ｂ）の各構成を示すブロック図。
【図２】本実施形態のＰＣとデジタルカメラの各顔辞書のデータ構成を例示する図。
【図３】本実施形態のＰＣによるカメラへの顔辞書の書き込み処理を示すフローチャート。
【図４】本実施形態のＰＣによるカメラへの顔辞書の追加処理を示すフローチャート。
【図５】図４において、カメラへ追加する人物の顔辞書を選択するためのダイアログを例示する図。
【図６】本実施形態のＰＣからカメラへの画像データの転送処理を示すフローチャート。
【図７】本実施形態のカメラでの画像データの削除処理を示すフローチャート。
【図８】本実施形態のカメラの撮影処理を示すフローチャート。
【図９】本実施形態のカメラにおいて撮影時に人物を特定し、被写体に人物の名前を表示した表示例を示す図。
【図１０】本実施形態において新規の人物の顔辞書を登録するためのダイアログを例示する図。
【図１１】本実施形態のＰＣにおいて顔辞書をマージしてカメラへ転送する処理を示すフローチャート。
【図１２】図１１のＳ１１０３におけるＰＣの顔辞書とカメラの顔辞書をマージする処理を示すフローチャート。
【図１３】カメラとＰＣの顔検索アルゴリズムの判定結果に応じたマージ処理の切り替え処理を示すフローチャート。
【図１４】図１３のＳ１３０５におけるマージ処理を行う主体の選択処理を示すフローチャート。
【図１５】図１３のＳ１３０９におけるカメラへ顔画像を転送しカメラで顔辞書をマージする処理を示すフローチャート。
【図１６】本実施形態の顔検出処理における類似度の閾値を変更するためのダイアログを例示する図。
【図１７】本実施形態において人物の名前をマージする際の設定画面（ａ）及び顔辞書をマージする主体を選択するための設定画面（ｂ）を例示する図。
【図１８】図１３のＳ１３０５おけるカメラへ顔画像を転送してカメラで顔辞書をマージする処理の説明図。
【図１９】図１３のＳ１３０８おけるカメラへ顔特徴量を転送しカメラで顔特徴量をマージする処理の説明図。
【図２０】図１３のＳ１３０７におけるＰＣで顔辞書をマージしてカメラへ転送する処理の説明図。
【図２１】ＰＣ側のアプリケーションがＰＣとカメラの顔辞書の顔特徴量を比較してマージする処理の説明図。
【図２２】ＰＣのアプリケーションにおいて顔辞書に登録された画像を表示するウィンドウを例示する図。
【図２３】ＰＣからカメラに転送する顔辞書を選択するダイアログを例示する図。
【図２４】ＰＣのアプリケーションにおいて顔検索アルゴリズムに使用する顔画像を選択するためのダイアログ（ａ）及びＰＣの顔辞書をカメラへ転送するダイアログ（ｂ）を例示する図。
【図２５】不明な人物から顔画像を選択するためのダイアログ（ａ）及びＰＣからカメラに顔辞書を転送する場合、同じ名前の顔辞書が存在した場合の警告メッセージの表示例（ｂ）を示す図。
【図２６】同じ人物の顔辞書に複数の顔画像が存在する場合、代表画像を選択するダイアログ（ａ）及び選択した顔辞書をカメラへ書き込むことをユーザに確認するダイアログ（ｂ）を例示する図。
【図２７】ＰＣからカメラへ顔辞書を書き込み中に表示するダイアログ（ａ）及びカメラへ顔辞書の書き込みが完了した場合に表示するダイアログ（ｂ）を例示する図。
【発明を実施するための形態】
【００１３】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１４】
［実施形態１］本発明の画像処理システムを、情報処理装置としてのパーソナルコンピュータ（以下、ＰＣ）と、撮像装置としてのデジタルカメラ（以下、カメラ）とを通信可能に接続することにより実現した例について説明する。本システムは、ＰＣの顔辞書がカメラ側の顔辞書よりも新しい場合などに、カメラの顔辞書をＰＣの顔辞書に書き込むものであり、ＰＣ及びカメラにインストールされた辞書編集アプリケーション（以下、アプリケーション）が処理を実行する。なお、後述する実施形態のように、ＰＣ及びカメラの各アプリケーション上での顔検索アルゴリズムは相違又は変更される場合もある。
【００１５】
＜カメラの構成＞図１（ａ）を参照して、本実施形態のカメラの構成について説明する。
【００１６】
図１（ａ）において、カメラ１００は、光学系１０１と、撮像素子１０２と、ＣＰＵ１０３と、一次記憶装置１０４と、二次記憶装置１０５と、記憶媒体１０６と、表示部１０７と、操作部１０８と、通信装置１０９とを含んでいる。
【００１７】
光学系１０１は、レンズ、シャッター、絞りから構成されていて、被写体からの光を適切な量とタイミングで撮像素子１０２に結像させる。撮像素子１０２は、光学系１０１を通って結像した光を電気信号に変換する。ＣＰＵ１０３は、入力された信号やプログラムに従って、各種の演算や、カメラ１００を構成する各部の制御を行う。一次記憶装置１０４は揮発性メモリなどであり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。二次記憶装置１０５はハードディスクドライブなどであり、カメラ１００を制御するためのプログラム（ファームウェア）や各種の設定情報などを記憶する。記憶媒体１０６は、撮影した画像データ、顔辞書などを記憶する。なお、記憶媒体１０６はカメラ１００から取り外すことが可能であり、後述するＰＣ２００などに装着して画像データを読み出すことが可能である。つまり、カメラ１００は記憶媒体１０６へのアクセス手段を有し、記憶媒体１０６へのデータの読み出し／書き込みが実行できればよい。なお、顔辞書は記憶媒体１０６に記憶されるが、二次記憶装置１０５に記憶してもよい。表示部１０７は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。顔辞書の登録、登録された顔辞書の表示についても表示部１０７で行う。操作部１０８は、ユーザの操作を受け付けるためのものである。操作部１０８は、例えばボタンやレバー、タッチパネルなどを用いることが可能である。通信装置１０９は、ＰＣなどの情報処理装置と接続し制御コマンドやデータの送受信を行う。情報処理装置との接続を確立し、データ通信するためのプロトコルとしては、例えば、ＰＴＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＭＴＰ（Ｍｅｄｉａ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）が用いられる。なお、通信装置１０９は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどの有線接続により通信を行ってもよい。また、無線ＬＡＮなどの無線接続により通信を行ってもよい。また、情報処理装置と直接接続してもよいし、サーバを経由したり、インターネットなどのネットワークを介して接続したりしてもよい。
【００１８】
＜ＰＣの構成＞図１（ｂ）を参照して、本実施形態のＰＣの構成について説明する。
【００１９】
図１（ｂ）において、ＰＣ２００は、表示部２０１と、操作部２０２と、ＣＰＵ２０３と、一次記憶装置２０４と、二次記憶装置２０５と、通信装置２０６とを含んでいる。上記各要素の基本的な機能はカメラ１００と同様であり、詳細な説明は省略する。なお、表示部２０１には液晶表示パネル（ＬＣＤ）などが適用される。また、表示部２０１はＰＣ２００が備えている必要はなく、表示部２０１の表示を制御する表示制御機能を有していればよい。操作部２０２には、キーボードやマウスなどが適用され、例えば、ユーザが顔辞書に人物の名前を入力するために用いられる。
【００２０】
＜顔辞書のデータ構成＞図２を参照して、顔辞書のデータ構成について説明する。
【００２１】
図２において、顔辞書は、ＰＣ２００における二次記憶装置２０５の記憶領域３０１に記憶されている。顔辞書は、人物ごとにフォルダ３０２に分類されている。各人物のフォルダ３０２には、情報ファイル３０３と複数の辞書データが格納されている。各辞書データには、人物を特定するための顔特徴量、例えば、顔の大きさや色、目や鼻などの部位の特徴を表す値、撮影日時、及びＩＤ（識別情報）が記述されている。情報ファイル３０３には人物の名前と生年月日と撮影時に使用する辞書データ（顔検索用辞書データ）のＩＤが記述されている。情報ファイル３０３は、ＰＣ２００やカメラ１００に表示された図１０に示すダイアログ１０００に対して、ユーザが人物の名前と生年月日を入力することで作成される。１００１は顔検索用辞書データとなる顔画像データで、ユーザは顔画像１００１の人物の名前と生年月日を入力欄１００２，１００３に入力し、ＯＫボタン１００４をクリックすると、新規ユーザの顔辞書が登録される。情報ファイル３０３の人物の名前は、顔画像データから顔特徴量を抽出し、顔辞書と照合を行い人物を特定した際に、その顔画像に人物の名前を表示するときなどに使用される。情報ファイル３０３の生年月日は、画像の撮影日時から、その画像に写っている人物の年齢を算出するときなどに使用される。情報ファイル３０３内の顔検索用辞書データは、その人物の辞書データの中で一番撮影日時が新しい辞書データを示している。例えば、情報ファイル３０３において顔検索用辞書データを示すＩＤやファイル名を指定すればよい。
【００２２】
ＰＣ２００には、辞書編集アプリケーション３０８がインストールされていて、画像データ３０６が保存されている。
【００２３】
辞書データは所定の年数の間隔で構成されている。その間隔は年代別辞書間隔データ３０７に示されている年数である。例えば３０７に５年と記述されていれば、辞書データは５年間隔で作成され、辞書データ３０４は山田３０〜３４歳の頃の顔画像を検索するための辞書データで、辞書データ３０５は山田２５〜２９歳の頃の顔画像を検索するための辞書データとなる。辞書データのＩＤは何歳から何歳のものかがわかるように、例えば辞書データ３０４のＩＤは「山田３０−３４」等とする。３０７に５年と記述されているが、この年数は一定でなくてもよい。例えば、幼少期は顔が変化しやすいので、１０歳までは１年ごとに辞書データを作成して、１０歳以降は３年ごと、２０歳以降は５年ごと、などと設定できるようにするとよりよいであろう。
【００２４】
また各年代の辞書データには、予め決められた数（例えば、一人あたり５個とか１０個）の顔の特徴量を登録するようにしてもよい。このようにすることで辞書データが過剰に大きくならないので、記憶容量に乏しいカメラ１００であっても、辞書データを共有する場合に、その記憶容量を圧迫する心配が少なくなる。
【００２５】
また、カメラ１００の二次記憶装置１０５の記憶領域３０９には、必要最低限の顔辞書が記憶されている。顔辞書は、人物ごとのフォルダ３１０に情報ファイル３１１と必要な辞書データ３１２，３１７が格納されている。また、カメラ１００には、辞書編集アプリケーション３１４がインストールされていて、画像データ３１３が保存されている。
【００２６】
なお、ＰＣ２００とカメラ１００のアプリケーション上での顔検索アルゴリズムが相違する場合、同じ画像であっても算出される顔特徴量が異なるのが一般的である。よって、ＩＤは、顔画像から顔特徴量を算出するために使用した顔検索用辞書データに固有の値であり、後述する顔検索アルゴリズムの異同を判定するために使用される。そのため、顔検索アルゴリズムが変更された場合、同じ辞書データであったとしてもそのＩＤは変更されるものとする。
【００２７】
＜顔辞書の書き込み処理＞図３を参照して、ＰＣからカメラへの顔辞書の書き込み処理について説明する。なお、以下の処理は、ＰＣ２００及びカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００２８】
図３において、Ｓ３０１では、カメラ１００とＰＣ２００とが接続され、通信装置１０９、２０６を介してカメラ１００とＰＣ２００との間に通信が確立する。
【００２９】
Ｓ３０２では、カメラ１００とＰＣ２００とが接続された状態で、ユーザがＰＣ２００のアプリケーションを起動して、「顔辞書を書き込む」を実行する。この機能はＳ３０１でカメラ１００とＰＣ２００が接続されたときに自動的に実行してもよい。Ｓ３０３では、カメラ１００やＰＣ２００の同じ人物の顔検索用辞書データ（例えば、辞書データ３０４と３１２）を撮影日時で比較する。この辞書データは、その人物の辞書データの中で、最も撮影日時が新しいものが選択される。顔検索用辞書データであるか否かは、人物の情報ファイル３０３，３１１で判断する。比較の結果、ＰＣ２００の辞書データ３０４の方が新しい場合は、Ｓ３０４に進み、カメラ１００の辞書データ３１１の方が新しい場合は、カメラ１００の辞書データ３０４を更新する必要がないので、本処理を終了する。
【００３０】
Ｓ３０４では、カメラ１００の記憶容量が所定値以上か、つまり、少なくともＰＣ２００から転送する顔辞書のデータ分だけカメラ１００に記憶容量が残っているか判定する。ここで、カメラ１００の記憶容量が足りない場合は、カメラ１００に顔辞書を書き込むことができないので、Ｓ３１０でカメラ１００の記憶容量が足りないことを、メッセージなどで警告表示してユーザに報知する。この警告表示を受けて、ユーザはカメラ１００に記憶されている、顔辞書データや画像データを削除して、記憶容量を確保し、再度Ｓ３０２を実行する。一方、Ｓ３０４でカメラ１００の記憶容量がある場合は、Ｓ３０５に進み、ＰＣ２００とカメラ１００の情報ファイル３０３，３１１に記述された顔検索用辞書データのＩＤが同じであるか判定する。Ｓ３０５でＩＤを判定する理由は、辞書データは所定の時間間隔で作成されるので、カメラ１００に転送する辞書データが新規に作成されたものであるのか、既存の辞書データを更新するものであるのかを確認するためである。
【００３１】
Ｓ３０５でＩＤが同じと判定された場合は、カメラ１００の辞書データを更新するため、Ｓ３０７でカメラ１００の顔辞書の顔検索用辞書データを削除する。一方、ＩＤが同じでないと判定された場合は、Ｓ３０６で、カメラ１００の画像データの中に、カメラ１００の顔検索用辞書データで検索可能な画像データが存在するか判定する。Ｓ３０６を行う理由は、カメラ１００では基本的に顔検索用辞書データを記憶しておけばよいが、画像データを検索する際には、顔検索用辞書データ以外の辞書データも必要となり、古い辞書データの削除の可否を判断するためである。Ｓ３０６で検索可能な画像データが存在しない場合は、その辞書データは不要なので、Ｓ３０７で辞書データを削除する。一方、検索可能な画像データが存在する場合は、その辞書データは顔検索に必要となるので削除せず、Ｓ３０８に進み、ＰＣ２００の顔辞書の顔検索用辞書データをカメラ１００に転送する。Ｓ３０９では、カメラ１００の顔辞書に、ＰＣ２００から転送された顔検索用辞書データを書き込み、カメラ１００の顔検索用辞書データのＩＤをＰＣ２００の辞書データのＩＤに更新する。
【００３２】
カメラ１００に複数人分の顔辞書が記憶されている場合は、上記処理を人数分繰り返し実行する。
【００３３】
このように、カメラ１００の顔検索用辞書データを最新版に更新するので、人物特定の精度が高くなる。また、不要となる古い辞書データを削除する一方、必要な辞書データは残しておくので、カメラ１００の記憶容量を抑えつつ、必要最低限の辞書データのみをカメラ１００に記憶させることができる。
【００３４】
＜顔辞書の追加処理＞図４及び図５を参照して、ＰＣ２００には存在するが、カメラ１００には存在しない顔辞書をＰＣ２００からカメラ１００に転送する処理について説明する。カメラ１００やＰＣ２００、顔辞書の構成は、図１及び図２で説明したものと同様である。なお、以下の処理は、ＰＣ２００及びカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００３５】
図４において、Ｓ４０１では、カメラ１００とＰＣ２００とが接続され、通信装置１０９、２０６を介してカメラ１００とＰＣ２００との間に通信が確立する。
【００３６】
Ｓ４０２では、カメラ１００とＰＣ２００とが接続された状態で、ユーザがＰＣ２００のアプリケーションを起動して、「ＰＣの顔辞書をカメラに追加」を実行する。この機能はＳ４０１でカメラ１００とＰＣ２００が接続されたときに自動的に実行してもよい。
【００３７】
Ｓ４０３では、カメラ１００の記憶容量が所定値以上か、つまり、少なくともＰＣ２００から転送する顔辞書のデータ分だけカメラ１００に記憶容量が残っているか判定する。ここで、カメラ１００の記憶容量が足りない場合は、カメラ１００に顔辞書を書き込むことができないので、Ｓ４０４でカメラ１００の記憶容量が足りないことを、メッセージなどで警告表示してユーザに報知する。この警告表示を受けて、ユーザはカメラ１００に記憶されている、顔辞書データや画像データを削除して、記憶容量を確保し、再度Ｓ４０２を実行する。一方、Ｓ４０３でカメラ１００の記憶容量がある場合は、Ｓ４０５に進み、ＰＣ２００とカメラ１００の全ての顔辞書の情報ファイル３０３，３１１に記述された人物の名前を比較する。比較の結果、Ｓ４０６では、カメラ１００には存在せず、ＰＣ２００にしか存在しない人物の顔辞書があるか判定する。例えば、図２において、山田の顔辞書はＰＣ２００にもカメラ１００にも存在するが、田中の顔辞書はＰＣ２００にしか存在しない。Ｓ４０６でＰＣ２００にしか存在しない人物の顔辞書がある場合、Ｓ４０７でその人物の顔検索用辞書データの撮影日時と現在の日時が所定の間隔（年代別辞書間隔データ３０７）以上離れているか判定する。Ｓ４０７を実行する理由は、顔検索用辞書データは撮影時に使用されるため、現在の実在の人物と顔特徴量が類似している必要があり、実在の人物であっても年代が古い辞書データでは顔検索用辞書データとしては精度が上がらないからである。Ｓ４０７で撮影日時が所定の間隔以上離れている場合は、その人物の顔検索用辞書データをカメラ１００に転送しても、撮影時に使用できないので、Ｓ４０６に戻り、ＰＣ２００にしか存在しない他の人物の顔辞書について同様の処理を行う。一方、Ｓ４０７で所定の間隔以上離れていない場合は、新規に顔辞書をカメラ１００に転送するため、Ｓ４０８で人物追加リストに登録し、Ｓ４０６に戻る。Ｓ４０８で人物追加リストが存在しない場合は新規に作成する。
【００３８】
Ｓ４０６で、ＰＣ２００にしか存在しない他の人物の顔辞書が存在しない場合には、Ｓ４０９で、人物追加リストの中から、カメラ１００に転送したい人物の顔辞書を、図５に示すダイアログ５００をＰＣ２００に表示して、ユーザが任意に選択する。ダイアログ５００には、人物の顔検索用辞書データの顔画像５０２や人物の名前５０３が表示される。ユーザは人物追加リストの中から追加したい人物のチェックボックス５０１にチェックを入れて選択を行う。なお、ダイアログ５００のようなＵＩを表示しないで、人物追加リストの中の人物全てをカメラ１００に転送するようにしてもよい。
【００３９】
このように、ユーザが選択した顔辞書のみをカメラ１００に転送できるので、カメラ１００の記憶容量を抑えつつ、必要最低限の顔辞書のみをカメラ１００に記憶させることができる。
【００４０】
＜画像データの転送処理＞図６を参照して、ＰＣ２００に保存されている画像データをカメラ１００に転送する際に、その画像に写っている人物を特定することができる辞書データをカメラ１００に転送する処理について説明する。カメラ１００やＰＣ２００、辞書データの構成は、図１及び図２で説明したものと同様である。なお、以下の処理は、ＰＣ２００及びカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００４１】
図６において、Ｓ６０１では、カメラ１００とＰＣ２００とが接続され、通信装置１０９、２０６を介してカメラ１００とＰＣ２００との間に通信が確立する。
【００４２】
Ｓ６０２では、カメラ１００とＰＣ２００とが接続された状態で、ユーザがＰＣ２００のアプリケーションを起動して、「カメラに転送」を実行する。Ｓ６０２でユーザはＰＣ２００で、カメラ１００に転送したい画像を選択する。ここでは、図２の画像データ３１５が選択されたものとする。複数の画像を転送したい場合は、複数の画像を選択して、まとめてカメラ１００に転送するようにしてもよい。
【００４３】
Ｓ６０３では、カメラ１００の記憶容量が所定値以上か、つまり、少なくともＰＣ２００から転送する画像データと顔辞書のデータの分だけカメラ１００に記憶容量が残っているか判定する。ここで、カメラ１００の記憶容量が足りない場合は、カメラ１００に画像データと辞書データを転送できないので、Ｓ３１０でカメラ１００の記憶容量が足りないことを、メッセージなどで警告表示してユーザに報知する。この警告表示を受けて、ユーザはカメラ１００に記憶されている、顔辞書データや画像データを削除して、記憶容量を確保し、再度Ｓ６０２を実行する。一方、Ｓ６０３でカメラ１００の記憶容量がある場合は、Ｓ６０４に進み、Ｓ６０２でユーザが選択した画像データ３１５をカメラ１００に転送する。ここで、カメラ１００に転送される画像データ３１５はＰＣ２００から削除されず、カメラ１００にコピーされる。
【００４４】
Ｓ６０５では、カメラ１００に転送した画像データ３１５から顔画像を切り出し、顔画像データから顔特徴量を抽出してＰＣ２００の全ての顔辞書を検索する。Ｓ６０５では、顔画像データから作成した顔辞書に基づいて人物を特定する手順とは反対の処理を行っているが、方法は同じである。
【００４５】
Ｓ６０６では、検索の結果、該当する顔辞書がＰＣ２００に存在するか判定する。ここでは、Ｓ６０５で画像データ３１５から切り出した顔画像から算出した顔特徴量と、ＰＣ２００の顔辞書の顔特徴量とを比較して類似度が閾値以上のものが存在するか判定する。Ｓ６０６で該当する顔辞書がＰＣ２００に存在しない場合は、カメラ１００に転送する顔辞書が存在しないので、本処理を終了する。一方、該当する顔辞書が存在する場合は、その画像データ３１５に含まれる人物を特定することができる辞書データ３０５が存在するということなので、Ｓ６０７に進む。
【００４６】
Ｓ６０７では、ＰＣ２００からカメラ１００に転送する辞書データ３０５が既にカメラ１００に存在するか否か確認するために、同じＩＤの辞書データがカメラ１００に存在するか否かを判定する。Ｓ６０７でカメラ１００に同じＩＤの辞書データが存在していた場合は、カメラ１００に辞書データを転送する必要はないので本処理を終了する。一方、カメラ１００に同じＩＤの辞書データが存在しない場合は、Ｓ６０８でＰＣ２００からカメラ１００に辞書データ３０５を転送する。ここで、カメラ１００に転送した辞書データ３０５はＰＣ２００から削除されず、カメラ１００にコピーされる。
【００４７】
Ｓ６０８でカメラ１００に辞書データを転送する際、Ｓ６０２でユーザが選択した画像に、複数の人物が写っている場合は、図４と同様に、図５のダイアログ５００で、カメラ１００に転送したい人物の顔辞書をユーザに選択させてもよい。また、Ｓ６０２で複数の画像を選択した場合も、図５のダイアログ５００で、カメラ１００に転送したい人物の顔辞書をユーザに選択させてもよい。
【００４８】
このように、カメラ１００においても、ＰＣ２００と同じ判定精度で、ＰＣ２００からカメラ１００に転送した画像から人物を特定することができる。
【００４９】
＜削除処理＞図７を参照して、カメラ１００の画像データを削除する際に、その画像に含まれる人物を特定できる辞書データも同時に削除する処理について説明する。カメラ１００やＰＣ２００、辞書データの構成は、図１及び図２で説明したものと同様である。なお、以下の処理は、ＰＣ２００及びカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００５０】
図７において、Ｓ７０１では、ユーザがカメラ１００のアプリケーションを起動して、「カメラから画像を削除」を実行する。Ｓ７０１でユーザは、カメラ１００から削除したい画像データを選択する。ここでは、図２の画像データ３１６が選択されたものとする。複数の画像を削除したい場合は、複数の画像を選択して、まとめてカメラ１００から削除するようにしてもよい。
【００５１】
Ｓ７０２では、画像データ３１６から人物の顔画像を切り出し、顔特徴量を算出する。Ｓ７０３では、画像データ３１６に含まれる人物を特定できる顔辞書の辞書データを検索するために、Ｓ７０２で算出した顔特徴量と、カメラ１００の顔辞書の辞書データの顔特徴量とを比較する。検索の結果、Ｓ７０４で該当する辞書データが存在しない場合は、画像データ３１６に含まれる人物を特定できる辞書データがカメラ１００に存在しないので、Ｓ７０７でユーザが選択した画像データ３１６を削除して、本処理を終了する。
【００５２】
一方、Ｓ７０４で該当する辞書データ３１７が存在する場合は、Ｓ７０５でカメラ１００の画像データを全て検索して、辞書データ３１７で人物の特定が可能な画像データが存在するか判定する。Ｓ７０５では、辞書データ３１７が他の画像データの人物を特定するために使用されているか確認している。Ｓ７０５で辞書データ３１７で人物の特定が可能な画像データが存在しない場合は、Ｓ７０６で辞書データ３１７を削除する。一方、人物の特定が可能な画像データが存在する場合は、辞書データ３１７は人物の特定に必要となるので、削除せず、Ｓ７０７でユーザが選択した画像データ３１６を削除して、本処理を終了する。
【００５３】
このように、カメラ１００から画像データを削除する際に、不要な辞書データも同時に削除されるので、カメラ１００の記憶容量を抑えることができる。
【００５４】
＜人物の特定処理＞図８及び図９を参照して、カメラ１００の顔検索用辞書データを使用して、撮影時に被写体の人物を特定する処理について説明する。カメラ１００やＰＣ２００、辞書データの構成は、図１及び図２で説明したものと同様である。なお、以下の処理は、ＰＣ２００及びカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００５５】
図８において、Ｓ８０１では、ユーザはカメラ１００を撮影モードに設定する（図９のカメラ９０２）。カメラ１００で撮影された画像から人物９０１の顔を検出する処理は既知であるので説明を省略する。例えば、被写体９０１が山田であるとして、Ｓ８０２で人物の顔９０３が検出された場合、Ｓ８０３で、カメラ１００の全ての人物の顔検索用辞書データから、被写体の人物の顔特徴量との類似度が閾値以上である辞書データを検索する。検索の結果、Ｓ８０４で顔特徴量が近似した辞書データが存在した場合、Ｓ８０５で辞書データの情報ファイル３０３から人物の名前を取得し、表示部１０７にその人物の名前９０４を表示する。
【００５６】
このように、複数の辞書データの中から撮影された被写体の顔特徴量に近い顔検索用辞書データを検索し使用することによって、素早く人物を特定することができる。撮影モードにおいて、顔検索用辞書データのみを対象としている理由は、顔検索用辞書データは、複数の辞書データの中で撮影日時が最新なので、現時点での被写体の顔特徴量に最も近いからである。図３，４で顔検索用辞書データのみをＰＣ２００からカメラ１００に書き込んでいるのはこのためである。
【００５７】
［実施形態２］図１１を参照して、実施形態２として、ＰＣ２００で顔辞書をマージしてカメラ１００へ転送する処理について説明する。カメラ１００やＰＣ２００、辞書データの構成は、図１及び図２で説明したものと同様である。なお、以下の処理は、ＰＣ２００及び／又はカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００５８】
図１１において、Ｓ１１０１では、ＰＣ２００とカメラ１００が接続され、カメラ１００に「カメラに顔辞書を書き込む」が実行されたか判定する。
【００５９】
Ｓ１１０２では、ＰＣ２００の一次記憶装置２０４の記憶領域にカメラ１００の顔辞書をコピーする。
【００６０】
Ｓ１１０３では、ＰＣ２００の顔辞書とカメラ１００の顔辞書とをマージする。
【００６１】
Ｓ１１０４では、マージした顔辞書をカメラ１００へ転送する。
【００６２】
Ｓ１１０５では、ＰＣ２００の一次記憶装置２０４の記憶領域からデータを削除する。
【００６３】
＜マージ処理＞図１２を参照して、図１１のＳ１１０３におけるマージ処理について説明する。
【００６４】
図１２において、Ｓ１２０１では、カメラ１００の全ての顔辞書をＰＣ２００の顔辞書と比較したか判定し、全て比較した場合、本処理を終了する。一方、全て比較していない場合、Ｓ１２０２に進み、カメラ１００の顔辞書の人物の名前とＰＣ２００の顔辞書の人物の名前とを比較する。ここで顔辞書とは、ある画像の顔特徴量と人物の名前を関連付けたものである。
【００６５】
Ｓ１２０３では、人物の名前が一致しているか判定し、人物の名前が一致している場合、Ｓ１２０４に進み、人物の名前が同じであるグループにカメラ１００の顔特徴量を追加する。人物の名前が同じであれば、顔特徴量を比較する前に同じ人物であると認識し、同じグループに登録したほうが利便性が高いためである。なお、人物の名前が一致している条件は、文字列が完全に一致している場合だけではなく、例えば、「山田太郎」と「Ｙａｍａｄａ Ｔａｒｏ」のように、同じ人物であることが推測できる場合も含むものとする。ただし、後者のように完全に一致していない場合は、ユーザに同じグループに顔辞書を追加しても良いか、また、そのグループ名はどちらを使用するかを選択できるものとする。
【００６６】
Ｓ１２０５では、Ｓ１２０３でカメラ１００の顔辞書の人物の名前とＰＣ２００の顔辞書の人物の名前が一致していない場合、カメラ１００の顔特徴量とＰＣ２００の顔特徴量の類似度を比較する。
【００６７】
Ｓ１２０６では、類似度が閾値以上であるかを判定し、閾値以上である場合、Ｓ１２０７に進み、類似度が閾値以上である顔特徴量と同じグループにカメラ１００の顔特徴量を追加する。なお、顔辞書の同じグループに複数の顔特徴量が存在する場合、その中から代表となる顔特徴量を選択し、それら代表顔特徴量同士を比較する。そして、閾値以上であった場合、カメラ１００の代表顔特徴量が存在する全ての顔特徴量を、ＰＣ２００の代表顔特徴量が存在するグループに追加する。顔辞書の同じグループに複数の顔特徴量が存在する場合については、後述する別の実施形態で詳しく説明する。
【００６８】
Ｓ１２０８では、Ｓ１２０６の類似度が閾値以上ではない場合、類似度を比較していないＰＣ２００の顔辞書を取得する。
【００６９】
Ｓ１２０９では、全てのＰＣ２００の顔辞書と人物の名前または顔特徴量の類似度を比較したか判定し、全て比較していない場合、再度、Ｓ１２０２に戻り、カメラ１００の顔辞書の人物の名前とＰＣ２００の顔辞書の人物の名前とを比較する。Ｓ１２０９において、全て比較した場合、その顔特徴量は、どのグループにも属していないものなので、Ｓ１２１０において、ＰＣ２００の顔辞書に新規グループを作成してカメラ１００の顔特徴量を追加する。
【００７０】
＜マージ処理の切り替え処理＞図１３を参照して、カメラ１００とＰＣ２００での顔検索アルゴリズムが一致するか判定し、マージ処理を切り替える処理について説明する。
【００７１】
図１３において、Ｓ１３０１において、ＰＣ２００とカメラ１００が接続され、カメラ１００に「顔辞書を書き込む」が実行されたか判定する。
【００７２】
Ｓ１３０２では、カメラ１００の顔検索アルゴリズムで使用されている顔辞書のＩＤを取得する。
【００７３】
Ｓ１３０３では、ＰＣ２００の顔検索アルゴリズムで使用されている顔辞書のＩＤを取得する。
【００７４】
Ｓ１３０４では、カメラ１００の顔辞書のＩＤとＰＣ２００の顔辞書のＩＤが一致するか判定し、同じ顔辞書が使用されているかを判定する。同じ顔辞書が使用されていれば、その顔辞書から算出した顔特徴量をそのままカメラ１００でも使用して、顔検索アルゴリズムに使用できるためである。
【００７５】
Ｓ１３０５では、カメラ１００で顔辞書をマージするか、ＰＣ２００で顔辞書をマージするかを選択する。Ｓ１２０６では、ＰＣ２００で顔辞書をマージするか判定し、ＰＣ２００でマージする場合、Ｓ１３０７にて、カメラ１００からＰＣ２００へ顔特徴量を転送し、ＰＣ２００で顔辞書をマージし、マージした顔辞書をカメラ１００へ転送する。一方、カメラ１００でマージする場合、Ｓ１３０８にて、カメラ１００へ顔特徴量を転送し、カメラ１００で顔辞書をマージする。このようにカメラ１００は顔画像から顔特徴量を解析する必要がないので、顔特徴量を解析する時間を削減できる。
【００７６】
また、Ｓ１３０４で、カメラ１００の顔辞書のＩＤとＰＣの顔辞書のＩＤが一致しない場合、ＰＣ２００の顔辞書の顔特徴量はカメラ１００ではそのまま使用できないため、Ｓ１３０９にて、カメラ１００へ顔画像データを転送しカメラ１００で顔辞書をマージする。
【００７７】
＜マージ処理を行う主体の選択処理＞図１４を参照して、図１３のＳ１３０５におけるマージ処理を行う主体の選択処理について説明する。
【００７８】
図１４において、Ｓ１４０１では、カメラ１００で顔辞書をマージするか、ＰＣ２００で顔辞書をマージするかをユーザに選択させる。なお、デフォルトではＰＣ２００でマージするが選択され、後でアプリケーションで設定を変更できるようにしても良い。
【００７９】
Ｓ１４０２では、カメラ１００でマージするが選択されたか判定する。そして、カメラ１００でマージするが選択された場合、Ｓ１４０３にて、カメラ１００で顔辞書をマージする設定を記憶する。ＰＣ２００でマージするが選択された場合、Ｓ１４０４において、ＰＣ２００で顔辞書をマージする設定を記憶する。
【００８０】
＜カメラでのマージ処理＞図１５を参照して、図１３のＳ１３０９におけるカメラへ顔画像データを転送しカメラで顔辞書をマージする処理について説明する。
【００８１】
図１５において、Ｓ１５０１では、カメラ１００にＰＣ２００の顔画像データを転送し、カメラ１００の一次記憶装置１０４の記憶領域に記憶する。この記憶領域は、カメラ１００の一次記憶装置１０４の他、二次記憶装置１０５や記憶媒体１０６を使用しても良い。
【００８２】
Ｓ１５０２では、カメラ１００はＰＣ２００の顔画像データから顔特徴量を算出する。顔検索アルゴリズムが異なるため（図１３のＳ１３０４でＮＯ）、カメラ１００は自身が解釈できるように、自身の顔検索アルゴリズムにより顔特徴量を算出する必要がある。
【００８３】
Ｓ１５０３では、カメラ１００はカメラ１００の顔辞書とＰＣ２００の顔辞書とをマージする。
【００８４】
Ｓ１５０４では、カメラ１００はカメラ１００の一次記憶装置１０４の記憶領域に保持された顔画像データを削除する。
【００８５】
＜類似度の設定＞図１６は、本実施形態の顔検索アルゴリズムにおける類似度の閾値を変更するためのダイアログを例示している。１６０１はアプリケーションにより表示される設定ダイアログである。１６０２は設定ダイアログ１６０１内に表示される顔検索タブである。１６０３は、顔検索アルゴリズムにおける類似度の閾値に関する説明文である。閾値を高くすると、検出される画像が少なくなるが、精度高く同一の人物を検出することができる。一方、閾値を低くすると、異なる人物が検出される可能性があるが、より多くの画像を検出することができることが記述されている。１６０４はこの類似度の閾値を変更するためのスライダーであり、０から１００までの値を変更することができる。１６０５はＯＫボタンであり、スライダー１６０４で設定された値を確定する。１６０６はキャンセルボタンであり、スライダー１６０４で設定された値は破棄される。類似度の閾値を任意に変更することで、顔辞書のグループにヒットする枚数や精度を調整することができる。
【００８６】
＜マージする顔辞書及び主体の選択＞図１７（ａ）は、本実施形態において人物の名前をマージする際の設定画面を例示している。１７０１は顔辞書をマージする場合、どの顔辞書とマージするかを選択するためのツリービューである。フォルダ１７０２は、人物と顔特徴量の関連付けがされていない顔画像が含まれたフォルダである。フォルダ１７０３は、フォルダ１７０２の顔画像の中から、「山田太郎」という人物の名前が入力された顔画像が含まれたフォルダである。同様に、フォルダ１７０４は、フォルダ１７０２の顔画像の中から、「ｙａｍａｄａ」という人物の名前が入力された顔画像が含まれたフォルダである。「ｙａｍａｄａ」として登録された顔画像が「山田太郎」として登録された画像と同じであった場合、フォルダをひとつにマージしたほうが使い勝手は良い。例えば、「ｙａｍａｄａ」を「山田太郎」に変更したい場合、「ｙａｍａｄａ」フォルダ上で右クリックして、「顔辞書をマージする」を選択すると表示されるのが、ツリービュー１７０１である。ツリービュー１７０１上で「山田太郎」を選択すると、「ｙａｍａｄａ」として登録された画像を全て「山田太郎」に変更しても良いかを問い合わせる。ここで、「山田太郎」に変更するだけではなく、マージ後の名前を入力できるためのダイアログが表示されても良いものする。
【００８７】
図１７（ｂ）は、本実施形態において顔辞書をマージする主体を選択するための設定画面を例示している。１７１１はアプリケーションにより表示される設定ダイアログである。１７１２は設定ダイアログ１７１１に表示される顔辞書タブである。１７１３は、顔辞書をカメラ１００へマージする場合、ＰＣ２００又はカメラ１００でマージする場合の説明文である。ＰＣ２００でマージする場合、マージ中はアプリケーション上で他の操作ができないが、カメラ１００でマージするよりもマージするまでの時間が掛からないことが記述されている。ＰＣ２００でマージする場合、アプリケーションはモーダルのプログレスバーを表示し、ユーザ操作を行えないようにする。１７１４は、ＰＣ２００でマージするか、カメラ１００でマージするかを選択するためのラジオボタンである。１７１５はＯＫボタンであり、ラジオボタン１７１４で設定された値を確定する。１７１６はキャンセルボタンであり、ラジオボタン１７１４で設定された値は破棄される。
【００８８】
＜カメラとＰＣの顔検索アルゴリズムが異なる場合＞図１８は、図１３のＳ１３０５おけるカメラへ顔画像データを転送してカメラで顔辞書をマージする処理の説明図である。１８０１において、カメラ１００とＰＣ２００を接続し、アプリケーション上で「カメラに顔辞書を追加する」を実行する。１８０２において、カメラ１００の顔検索アルゴリズムで使用されている顔辞書のＩＤを取得する。このＩＤは、カメラ１００とＰＣ２００で使用されている顔辞書が同じであるか判定するために使用する。１８０３において、ＰＣ２００の顔検索アルゴリズムで使用されている顔辞書のＩＤを取得する。そして、カメラ１００で使用されているＩＤとＰＣ２００で使用されている顔辞書のＩＤとを比較する。
【００８９】
顔辞書のＩＤが異なっていた場合、ＰＣ２００で管理している顔特徴量は、カメラ１００の顔検索アルゴリズムでは認識できないため、顔画像と人物の名前のみをカメラ１００に転送し、再度、カメラ側で顔特徴量を算出する。１８０４では、カメラ１００の一次記憶装置１０４の記憶領域にＰＣ２００の顔画像と人物の名前の情報を転送する。この記憶領域は、一次記憶装置１０４の他、カメラ１００のＲＡＭでもメモリーカードでも良いものとする。１８０５において、カメラ１００はＰＣ２００から転送された顔画像データから顔特徴量を算出する。１８０６において、カメラ１００はカメラ１００の顔辞書の顔特徴量と１８０５で算出した顔特徴量の類似度を比較する。１８０７において、カメラ１００はカメラ１００の顔辞書の顔特徴量と新たに算出した顔特徴量をマージする。このマージ処理は、図１２で説明した手順に基づいて行う。なお、図１２では、顔特徴量のみを顔辞書に追加する手順のみが記述されているが、顔画像も顔辞書に登録しても良いものとする。その場合、代表となる画像も選択できるものとする。
【００９０】
＜カメラとＰＣの顔検索アルゴリズムが同じ場合＞図１９は、図１３のＳ１３０８おけるカメラへ顔特徴量を転送しカメラで顔特徴量をマージする処理の説明図である。１９０１において、カメラ１００とＰＣ２００を接続し、アプリケーション上で「カメラに顔辞書を追加する」を実行する。１９０２では、カメラ１００の顔検索アルゴリズムで使用している顔辞書のＩＤを取得する。１９０３では、ＰＣ２００の顔検索アルゴリズムで使用している顔辞書のＩＤを取得し、カメラ１００の顔辞書のＩＤとＰＣ２００の顔辞書のＩＤとを比較する。ＩＤが一致した場合、ＰＣ２００で管理している顔特徴量は、カメラ１００の顔検索アルゴリズムで認識できるため、顔特徴量と人物の名前のみをカメラ１００に転送する。１９０４では、カメラ１００にＰＣ２００の顔特徴量と人物の名前を転送する。１９０５において、カメラ１００はＰＣ２００から転送されたＰＣ２００の顔特徴量とカメラ１００の顔特徴量をマージする。このマージ処理は、図１２で説明した手順に基づいて行う。
【００９１】
図２０は、図１３のＳ１３０７におけるＰＣで顔辞書をマージしてカメラへ転送する処理の説明図である。２００１において、カメラ１００とＰＣ２００を接続し、アプリケーション上で「カメラへ顔辞書を転送」を実行する。２００２では、カメラ１００の顔検索アルゴリズムで使用している顔辞書のＩＤを取得する。２００３では、ＰＣ２００の顔検索アルゴリズムで使用している顔辞書のＩＤを取得し、カメラ１００で使用されている顔辞書のＩＤとＰＣ２００で使用されている顔辞書のＩＤとを比較する。ＩＤが一致した場合、ＰＣ２００で管理している顔特徴量は、カメラ１００の顔検索アルゴリズムで認識できるため、顔特徴量と人物の名前のみをＰＣ２００に転送する。２００４では、ＰＣ２００の一次記憶装置２０４の記憶領域にカメラ１００の顔辞書をコピーする。２００５では、ＰＣ２００の顔辞書と一次記憶装置２０４に保持されたカメラ１００の顔辞書をマージする。このマージ処理は、図１２で説明した手順に基づいて行う。２００６では、マージした顔辞書をカメラ１００へ転送する。
【００９２】
図２１は、ＰＣ側のアプリケーションがＰＣとカメラの顔辞書の顔特徴量を比較してマージする処理の説明図である。２１０１では、顔辞書の同一グループに複数の顔特徴量が存在するか確認する。複数存在する場合、その中から代表となる顔特徴量を選択する。カメラ１００から転送した顔辞書についても、同様の処理を行う。顔辞書の同一グループに複数の顔特徴量がある場合、カメラ１００とＰＣ２００の全ての顔特徴量を比較すると、元々、同一グループに属していた顔特徴量が、マージ後に別のグループに属してしまう可能性があるためである。ＰＣ２００の顔辞書のＧｒｏｕｐ Ａには顔特徴量がひとつしか存在しない場合、顔特徴量００１が比較対象となる。一方、カメラ１００の顔辞書のＧｒｏｕｐ Ａには顔特徴量００１’と００２’が登録されているので、Ｇｒｏｕｐ Ａの代表となる顔特徴量を選択する。ここでは、初めに登録された顔特徴量００１’を代表画像として選択しているが、どちらの顔特徴量が適切であるかをユーザが顔画像から選択できても良いものとする。
【００９３】
２１０２では、ＰＣ２００の顔辞書のＧｒｏｕｐ Ａの顔特徴量００１とカメラ１００の顔辞書のＧｒｏｕｐ Ａの代表となる顔特徴量００１’とを比較して類似度が閾値以上であるかを判定する。２１０３において、類似度が閾値未満であった場合、ＰＣ２００の顔辞書のＧｒｏｕｐ Ｂの顔特徴量００２と、カメラ１００の顔辞書のＧｒｏｕｐ Ａの代表となる顔特徴量００１’を比較して類似度が閾値以上であるかを判定する。閾値以上であった場合、カメラ１００の顔辞書のＧｒｏｕｐ Ａに登録されている顔特徴量００１’と顔特徴量００２は、ＰＣの顔辞書のＧｒｏｕｐ Ｂに追加される。同一グループに複数の顔特徴量が存在する場合、それら全てを同じグループに追加しないと、元々、同じグループに属した顔特徴量が別のグループに分かれてしまう可能性があるためである。例えば、カメラ１００の顔辞書のＧｒｏｕｐ Ａに登録されている顔特徴量００１’はＰＣ２００の顔辞書のＧｒｏｕｐ Ｂに登録されている顔特徴量００２と類似度が閾値以上であり、カメラ１００の顔特徴量００２’はＰＣの顔辞書のＧｒｏｕｐ Ａに登録されている顔特徴量００１と類似度が閾値以上であると、カメラ１００の顔辞書のＧｒｏｕｐ Ａに登録されている顔特徴量００１’と００２’が別のグループに属してしまう。そのため、代表的な顔特徴量をもとに、類似度を比較し、その結果、閾値以上であると判定された場合、同じグループに属するカメラ１００の全ての顔特徴量をＰＣの顔辞書にマージする。この方法はあるまで一例であり、別の手段で顔特徴量をマージしても良い。
【００９４】
＜画像表示例＞図２２は、ＰＣ２００のアプリケーションにおいて顔辞書に登録された画像を表示するウィンドウを例示している。ユーザはツリービュー２２０１内のフォルダを指定することで、そのフォルダ内にあるファイルのサムネイルを表示することができる。ＰＣ２００は画像ファイル内や別ファイルにサムネイル画像があればそれを用いて表示し、なければオリジナル画像からサムネイルを作成し、そのサムネイルをブラウザウィンドウ２２０５内に一覧表示する。ここでは、ツリービュー２２０１に、顔画像と人物の名前が関連付けられた顔辞書フォルダが表示されており、「山田太郎」という顔辞書を選択した場合に、「山田太郎」に該当する人物がブラウザウィンドウ２２０５に表示されている。２２０２は、標準的に実装されているアプリケーションのウィンドウをコントロールするボタンである（左から「最小化」、「最大化」、「閉じる」）。そのフォルダ内に大量の画像が存在する場合、ブラウザウィンドウ２２０５の横にスクロールバー２２０４が有効表示される。例えば、スライダー２２０６は、ブラウザウィンドウ２２０５に表示されるサムネイルの大きさを変更するためのコントローラであり、サムネイルのサイズを大きくして、ブラウザウィンドウに入りきらない場合、スクロールバー２２０４は有効表示される。２２０３は、ブラウザウィンドウ２２０５に表示された画像に対して、何かアクションを行う場合のボタンである。
【００９５】
本実施形態のようにＰＣ２００の顔辞書をカメラ１００へ転送するため、「人物をカメラにエクスポート」ボタン２２０７を選択した場合のＵＩについて説明する。
【００９６】
図２３は、ＰＣからカメラに転送する顔辞書を選択するダイアログを例示している。２３０１は、ＰＣ２００のボタン２２０３から、「人物をカメラにエクスポート」ボタン２２０７を選択した場合に表示されるダイアログである。２３０２は、ＰＣ２００に既に存在する顔辞書を転送するか、新規に顔辞書を作成して転送するかを選択するためのラジオボタンである。２３０３は、ラジオ２３０２で既に存在する顔辞書を選択した場合、存在する顔辞書を選択するためのコンボボックスである。ここでは、ＰＣ２００の顔辞書に登録されている「山田太郎」をカメラ１００へ転送する場合について説明する。２３０４は、次のステップへ遷移するためのボタンである。２３０５はカメラ１００へ転送する処理を中断してダイアログを閉じるためのボタンである。
【００９７】
図２４（ａ）は、ＰＣ２００のアプリケーションにおいて顔検索アルゴリズムに使用する顔画像を選択するためのダイアログを例示しているる。２４０１は、ダイアログ２３０１のボタン２３０４を選択した場合に表示されるダイアログである。ＰＣ２００の顔検索アルゴリズムで使用している顔辞書とカメラ１００の顔検索アルゴリズムで使用している顔辞書が異なる場合、検索結果を調整するダイアログは表示されない。カメラ１００では、ＰＣ２００の顔辞書の顔特徴量を使用できないので、ダイアログに表示される顔をカメラ１００で検出できない可能性があるためである。２４０２は、「山田太郎」の顔画像のうち、顔検索アルゴリズムに使用する顔画像を調整することを記述した説明文である。２４０３は、ＰＣ２００に登録された「山田太郎」の顔画像から顔検索アルゴリズムに使用する顔画像を選択するための表示領域である。２４０４は、ふさわしい顔がない場合に、名前が付いていない不明な人物の顔画像を選択するダイアログを表示するためのボタンである。２４０５は、表示領域２４０３で選択された顔画像の顔特徴量に従って、類似度が閾値以上の顔画像が表示される表示領域であり、該当する画像の枚数も表示される。２４０６は、前のステップへ遷移するためのボタンである。２４０７は、次のステップへ遷移するためのボタンである。２４０８はカメラ１００へ転送する処理を中断してダイアログを閉じるためのボタンである。
【００９８】
図２４（ｂ）は、ＰＣの顔辞書をカメラ１００へ転送するダイアログを例示している。２５０１は、ダイアログ２４０１のボタン２４０７を選択した場合に表示されるダイアログである。２５０２は、「山田太郎」の画像のうち、カメラ１００へ転送するための顔画像を指定するための操作を記述した説明文である。２５０３は、ＰＣ２００に登録された「山田太郎」の顔画像から顔検索アルゴリズムに使用する顔画像を選択するための表示領域である。２５０４は、表示領域２５０３で選択された顔画像をカメラ１００の顔辞書の顔画像が登録された表示領域２５０５にコピーするためのボタンである。２５０５は、カメラ１００に登録された「山田太郎」の顔画像を表示するための表示領域である。図示の例では、既にカメラ１００には「山田太郎」の顔画像が１枚存在している。なお、変形例として、カメラ１００に存在する顔画像を選択してボタン２５０４を選択して、カメラ１００からＰＣ２００へ顔画像を転送できるようにしても良い。２５０６は、前のステップへ遷移するためのボタンである。２５０７は、次のステップへ遷移するためのボタンである。２５０８はカメラ１００へ転送する処理を中断してダイアログを閉じるためのボタンである。
【００９９】
図２５（ａ）は、不明な人物から顔画像を選択するためのダイアログ２６０１を例示しており、ダイアログ２４０１のボタン２４０４を選択した場合に表示される。本実施形態のように、人物の名前が指定されていない大量の顔画像が存在する場合、スクロールバー２６０２が有効表示される。２６０３は、顔画像が同一のグループではないことを強調するための区切り線である。２６０４は、検出された顔画像が表示される表示領域である。例えば、顔画像の右上に表示されているチェックボックスを選択してボタン２６０６を選択すると、チェックされた顔画像の顔特徴量と類似する顔画像を検出し、表示領域２４０５に顔画像を表示する。スライダー２６０５は、表示領域２６０４に表示されるサムネイルの大きさを変更するためのコントローラである。ボタン２６０７は、ダイアログ２６０１で選択した設定を無視してダイアログを閉じるためのボタンである。
【０１００】
図２５（ｂ）は、ＰＣからカメラに顔辞書を転送する場合、同じ名前の顔辞書が存在した場合の警告メッセージの表示例である。警告メッセージ２７０１は、カメラ１００の同じ名前の顔辞書にＰＣ２００の顔辞書を書き込んでも良いかユーザに確認するために表示される。ボタン２７０２を選択すると、次のステップへ遷移する。ボタン２７０３を選択すると、同じ名前のカメラ１００の顔辞書にＰＣ２００の顔辞書を書き込む処理を中断する。
【０１０１】
図２６（ａ）は、同じ人物の顔辞書に複数の顔画像が存在する場合、代表画像を任意に選択するダイアログ２８０１であり、警告メッセージ２７０１のボタン２７０２、または、ダイアログ２５０１のボタン２５０７が選択された場合に表示される。２８０２は、複数の顔画像が存在する場合、カメラ１００に表示される代表画像を選択するための表示領域である。２８０３は、前のステップへ遷移するためのボタンである。２８０４は、次のステップへ遷移するためのボタンである。２８０５はカメラ１００へ転送する処理を中断してダイアログを閉じるためのボタンである。
【０１０２】
図２６（ｂ）は、選択した顔辞書をカメラ１００へ書き込むことをユーザに確認するダイアログ２９０１であり、ダイアログ２８０１のボタン２８０４が選択された場合に表示される。２９０２は、ダイアログ２８０１で選択された代表画像である。２９０３は、顔画像２９０２がＰＣ２００からカメラ１００へ転送されることを示すイラストである。アニメーションで表示しても良いものとする。２９０４は、前のステップへ遷移するためのボタンである。２９０５は、カメラ１００へ顔辞書を書き込むためのボタンである。カメラ１００とＰＣ２００が接続されていない場合、カメラ１００とＰＣ２００を接続することを促すメッセージが表示される。２９０６はカメラ１００へ転送する処理を中断してダイアログを閉じるためのボタンである。
【０１０３】
図２７（ａ）は、ＰＣからカメラへ顔辞書を書き込み中に表示するダイアログ３００１であり、ダイアログ２９０１のボタン２９０５が選択された場合に表示される。３００２は、顔画像がＰＣ２００からカメラ１００へ転送されることを示すイラストである。アニメーションで表示しても良いものとする。３００３は、ＰＣ２００の顔辞書をカメラ１００の顔辞書をマージして転送するまでの処理の進捗率を示すプログレスバーである。顔辞書のマージ中は、ユーザが他の操作を行わないように、ダイアログ３００１は、モーダルで表示しても良いものとする。
【０１０４】
図２７（ｂ）は、カメラ１００へ顔辞書の書き込みが完了した場合に表示するダイアログ３１０１であり、ダイアログ３００１の処理が完了した場合に表示される。ボタン３１０２が選択されると、ダイアログ３１０１は閉じる。
【０１０５】
本実施形態によれば、ＰＣの顔辞書をカメラの顔辞書にマージできるため、カメラでの人物の特定精度を向上することができる。また、カメラで顔辞書を作成するよりも人物を確認しやすく、人物の名前を入力しやすいなどの利便性が高くなる。
【０１０６】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【０１０７】
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、本発明はこれに限定されず、被写体の画像を撮影可能な撮像装置であれば、カメラ付き携帯電話端末などの電子機器に適用可能である。
【技術分野】
【０００１】
本発明は画像に含まれる人物の特定に使用する顔辞書を編集する技術に関する。
【背景技術】
【０００２】
パーソナルコンピュータ（ＰＣ）やカメラなどにおいて、顔検索アルゴリズムを搭載したアプリケーション上で、画像の閲覧・検索時や画像撮影時に、画像に写っている人物が誰であるかを特定する技術が知られている。人物を特定するためには、その人物の顔画像、もしくは顔画像から算出した顔特徴量が必要となる。これらの人物の固有の情報からなる顔辞書は、人物の名前、顔画像データ、顔特徴量などを関連付けたものである。画像に写っている人物の名前を特定するには、アプリケーションで顔辞書を登録し、カメラで撮像されて表示されている画像中に含まれる被写体から顔画像を切り出し、切り出した顔画像から算出した顔特徴量と顔辞書の顔特徴量とを比較する。そして、それらが近似していれば同じ人物であると判定する。そして、顔特徴量と名前が関連付けられているので、その画像に写っている人物や被写体の名前を特定することができる。
【０００３】
例えば、ＧｏｏｇｌｅのＰｉｃａｓａ３では、顔特徴量が近い顔画像をグルーピングして表示できる。そして、そのグループに対して人物の名前を付加すると、それらの画像の顔特徴量と人物の名前を関連付けた顔辞書が作成される。以降、その顔特徴量に近い画像が検出されると、同じグループに画像が追加される。
【０００４】
しかし、顔辞書が１人の人物に対して、１つしか存在しないと、その顔辞書の顔画像データまたは顔特徴量に近い画像しか特定することができない。例えば、顔辞書がある人物の２０歳の頃の顔画像から作成されたものであるとすると、その顔辞書を用いて、その人物の幼少期の頃の顔画像から、その人物を特定することは困難である。このような課題に対して、特許文献１には、人物の顔辞書を年代別に複数持つことで、その人物の過去から現在に至るまでの全ての顔画像の中から、その人物を特定できるようにした技術が提案されている。
【０００５】
一方、ＰＣのアプリケーションで作成した顔辞書をカメラなどの他のデバイスで使用できない場合、顔検索アルゴリズムを搭載したカメラで人物を特定するためには、カメラ上で顔辞書を登録する必要がある。ここで、特許文献１には、人物の顔特徴量を他のデバイスに書き込む方法として、ＰＣに記憶されている顔特徴量データ、又はカメラＡに記憶されている顔特徴量データをカメラＢに書き込む方法が記載されている。また、特許文献２には、カメラを外部機器に接続することにより、カメラで作成した顔登録ファイルを外部機器に提供でき、編集モードで顔登録ファイルを移動、削除、修正、読み込む方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１６５３１４号公報
【特許文献２】特開２００７−２４１７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像中の人物を特定するデバイスが複数存在する場合、全てのデバイスにおいて同等の判定基準で人物を特定できることが望ましい。しかしながら、複数のデバイス上で、同じ判定基準で人物を特定するには、それぞれのデバイスが同じ顔辞書を持つ必要がある。その場合、全ての人物の顔辞書を記憶しておく必要があり、記憶容量が大きいＰＣなどではそれほど問題にならないが、カメラなどでは記憶容量に限界があるため撮影済み画像データに加えて全ての顔辞書を記憶しておくことは困難である。
【０００８】
一方、特許文献２のように、顔特徴量や顔登録ファイルを他のデバイスに提供しても、他のデバイスに既に顔特徴量や顔登録ファイルが存在する場合、カメラなど記憶容量が小さいデバイスに記憶すべき情報量が増加しないようマージする必要がある。
【０００９】
本発明は、上記課題に鑑みてなされ、その目的は、記憶容量の小さい装置には、必要最低限の顔辞書を持たせることで、記憶容量を抑えつつ、複数の装置間で、人物の特定に係る判定精度を同等にすることができる技術を実現することである。
【課題を解決するための手段】
【００１０】
上記課題を解決し、目的を達成するために、本発明の情報処理装置は、画像データに含まれる人物を特定する機能を有する情報処理装置であって、人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、前記検索手段による検索の結果を表示する表示手段と、辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、前記通信手段により前記撮像装置と接続された状態において、前記撮像装置が有する辞書データと、前記記憶手段に記憶している辞書データとを比較し、前記記憶手段に記憶されている辞書データの方が新しい場合、前記撮像装置の辞書データを前記記憶手段に記憶された新しいものに更新する辞書編集手段と、を有する。
【発明の効果】
【００１１】
本発明によれば、記憶容量の小さい装置には、必要最低限の顔辞書を持たせることで、記憶容量を抑えつつ、複数の装置間で、人物の特定に係る判定精度を同等にすることができる技術を実現することである。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る一実施形態の撮影装置（ａ）及び情報処理装置（ｂ）の各構成を示すブロック図。
【図２】本実施形態のＰＣとデジタルカメラの各顔辞書のデータ構成を例示する図。
【図３】本実施形態のＰＣによるカメラへの顔辞書の書き込み処理を示すフローチャート。
【図４】本実施形態のＰＣによるカメラへの顔辞書の追加処理を示すフローチャート。
【図５】図４において、カメラへ追加する人物の顔辞書を選択するためのダイアログを例示する図。
【図６】本実施形態のＰＣからカメラへの画像データの転送処理を示すフローチャート。
【図７】本実施形態のカメラでの画像データの削除処理を示すフローチャート。
【図８】本実施形態のカメラの撮影処理を示すフローチャート。
【図９】本実施形態のカメラにおいて撮影時に人物を特定し、被写体に人物の名前を表示した表示例を示す図。
【図１０】本実施形態において新規の人物の顔辞書を登録するためのダイアログを例示する図。
【図１１】本実施形態のＰＣにおいて顔辞書をマージしてカメラへ転送する処理を示すフローチャート。
【図１２】図１１のＳ１１０３におけるＰＣの顔辞書とカメラの顔辞書をマージする処理を示すフローチャート。
【図１３】カメラとＰＣの顔検索アルゴリズムの判定結果に応じたマージ処理の切り替え処理を示すフローチャート。
【図１４】図１３のＳ１３０５におけるマージ処理を行う主体の選択処理を示すフローチャート。
【図１５】図１３のＳ１３０９におけるカメラへ顔画像を転送しカメラで顔辞書をマージする処理を示すフローチャート。
【図１６】本実施形態の顔検出処理における類似度の閾値を変更するためのダイアログを例示する図。
【図１７】本実施形態において人物の名前をマージする際の設定画面（ａ）及び顔辞書をマージする主体を選択するための設定画面（ｂ）を例示する図。
【図１８】図１３のＳ１３０５おけるカメラへ顔画像を転送してカメラで顔辞書をマージする処理の説明図。
【図１９】図１３のＳ１３０８おけるカメラへ顔特徴量を転送しカメラで顔特徴量をマージする処理の説明図。
【図２０】図１３のＳ１３０７におけるＰＣで顔辞書をマージしてカメラへ転送する処理の説明図。
【図２１】ＰＣ側のアプリケーションがＰＣとカメラの顔辞書の顔特徴量を比較してマージする処理の説明図。
【図２２】ＰＣのアプリケーションにおいて顔辞書に登録された画像を表示するウィンドウを例示する図。
【図２３】ＰＣからカメラに転送する顔辞書を選択するダイアログを例示する図。
【図２４】ＰＣのアプリケーションにおいて顔検索アルゴリズムに使用する顔画像を選択するためのダイアログ（ａ）及びＰＣの顔辞書をカメラへ転送するダイアログ（ｂ）を例示する図。
【図２５】不明な人物から顔画像を選択するためのダイアログ（ａ）及びＰＣからカメラに顔辞書を転送する場合、同じ名前の顔辞書が存在した場合の警告メッセージの表示例（ｂ）を示す図。
【図２６】同じ人物の顔辞書に複数の顔画像が存在する場合、代表画像を選択するダイアログ（ａ）及び選択した顔辞書をカメラへ書き込むことをユーザに確認するダイアログ（ｂ）を例示する図。
【図２７】ＰＣからカメラへ顔辞書を書き込み中に表示するダイアログ（ａ）及びカメラへ顔辞書の書き込みが完了した場合に表示するダイアログ（ｂ）を例示する図。
【発明を実施するための形態】
【００１３】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１４】
［実施形態１］本発明の画像処理システムを、情報処理装置としてのパーソナルコンピュータ（以下、ＰＣ）と、撮像装置としてのデジタルカメラ（以下、カメラ）とを通信可能に接続することにより実現した例について説明する。本システムは、ＰＣの顔辞書がカメラ側の顔辞書よりも新しい場合などに、カメラの顔辞書をＰＣの顔辞書に書き込むものであり、ＰＣ及びカメラにインストールされた辞書編集アプリケーション（以下、アプリケーション）が処理を実行する。なお、後述する実施形態のように、ＰＣ及びカメラの各アプリケーション上での顔検索アルゴリズムは相違又は変更される場合もある。
【００１５】
＜カメラの構成＞図１（ａ）を参照して、本実施形態のカメラの構成について説明する。
【００１６】
図１（ａ）において、カメラ１００は、光学系１０１と、撮像素子１０２と、ＣＰＵ１０３と、一次記憶装置１０４と、二次記憶装置１０５と、記憶媒体１０６と、表示部１０７と、操作部１０８と、通信装置１０９とを含んでいる。
【００１７】
光学系１０１は、レンズ、シャッター、絞りから構成されていて、被写体からの光を適切な量とタイミングで撮像素子１０２に結像させる。撮像素子１０２は、光学系１０１を通って結像した光を電気信号に変換する。ＣＰＵ１０３は、入力された信号やプログラムに従って、各種の演算や、カメラ１００を構成する各部の制御を行う。一次記憶装置１０４は揮発性メモリなどであり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。二次記憶装置１０５はハードディスクドライブなどであり、カメラ１００を制御するためのプログラム（ファームウェア）や各種の設定情報などを記憶する。記憶媒体１０６は、撮影した画像データ、顔辞書などを記憶する。なお、記憶媒体１０６はカメラ１００から取り外すことが可能であり、後述するＰＣ２００などに装着して画像データを読み出すことが可能である。つまり、カメラ１００は記憶媒体１０６へのアクセス手段を有し、記憶媒体１０６へのデータの読み出し／書き込みが実行できればよい。なお、顔辞書は記憶媒体１０６に記憶されるが、二次記憶装置１０５に記憶してもよい。表示部１０７は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。顔辞書の登録、登録された顔辞書の表示についても表示部１０７で行う。操作部１０８は、ユーザの操作を受け付けるためのものである。操作部１０８は、例えばボタンやレバー、タッチパネルなどを用いることが可能である。通信装置１０９は、ＰＣなどの情報処理装置と接続し制御コマンドやデータの送受信を行う。情報処理装置との接続を確立し、データ通信するためのプロトコルとしては、例えば、ＰＴＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＭＴＰ（Ｍｅｄｉａ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）が用いられる。なお、通信装置１０９は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどの有線接続により通信を行ってもよい。また、無線ＬＡＮなどの無線接続により通信を行ってもよい。また、情報処理装置と直接接続してもよいし、サーバを経由したり、インターネットなどのネットワークを介して接続したりしてもよい。
【００１８】
＜ＰＣの構成＞図１（ｂ）を参照して、本実施形態のＰＣの構成について説明する。
【００１９】
図１（ｂ）において、ＰＣ２００は、表示部２０１と、操作部２０２と、ＣＰＵ２０３と、一次記憶装置２０４と、二次記憶装置２０５と、通信装置２０６とを含んでいる。上記各要素の基本的な機能はカメラ１００と同様であり、詳細な説明は省略する。なお、表示部２０１には液晶表示パネル（ＬＣＤ）などが適用される。また、表示部２０１はＰＣ２００が備えている必要はなく、表示部２０１の表示を制御する表示制御機能を有していればよい。操作部２０２には、キーボードやマウスなどが適用され、例えば、ユーザが顔辞書に人物の名前を入力するために用いられる。
【００２０】
＜顔辞書のデータ構成＞図２を参照して、顔辞書のデータ構成について説明する。
【００２１】
図２において、顔辞書は、ＰＣ２００における二次記憶装置２０５の記憶領域３０１に記憶されている。顔辞書は、人物ごとにフォルダ３０２に分類されている。各人物のフォルダ３０２には、情報ファイル３０３と複数の辞書データが格納されている。各辞書データには、人物を特定するための顔特徴量、例えば、顔の大きさや色、目や鼻などの部位の特徴を表す値、撮影日時、及びＩＤ（識別情報）が記述されている。情報ファイル３０３には人物の名前と生年月日と撮影時に使用する辞書データ（顔検索用辞書データ）のＩＤが記述されている。情報ファイル３０３は、ＰＣ２００やカメラ１００に表示された図１０に示すダイアログ１０００に対して、ユーザが人物の名前と生年月日を入力することで作成される。１００１は顔検索用辞書データとなる顔画像データで、ユーザは顔画像１００１の人物の名前と生年月日を入力欄１００２，１００３に入力し、ＯＫボタン１００４をクリックすると、新規ユーザの顔辞書が登録される。情報ファイル３０３の人物の名前は、顔画像データから顔特徴量を抽出し、顔辞書と照合を行い人物を特定した際に、その顔画像に人物の名前を表示するときなどに使用される。情報ファイル３０３の生年月日は、画像の撮影日時から、その画像に写っている人物の年齢を算出するときなどに使用される。情報ファイル３０３内の顔検索用辞書データは、その人物の辞書データの中で一番撮影日時が新しい辞書データを示している。例えば、情報ファイル３０３において顔検索用辞書データを示すＩＤやファイル名を指定すればよい。
【００２２】
ＰＣ２００には、辞書編集アプリケーション３０８がインストールされていて、画像データ３０６が保存されている。
【００２３】
辞書データは所定の年数の間隔で構成されている。その間隔は年代別辞書間隔データ３０７に示されている年数である。例えば３０７に５年と記述されていれば、辞書データは５年間隔で作成され、辞書データ３０４は山田３０〜３４歳の頃の顔画像を検索するための辞書データで、辞書データ３０５は山田２５〜２９歳の頃の顔画像を検索するための辞書データとなる。辞書データのＩＤは何歳から何歳のものかがわかるように、例えば辞書データ３０４のＩＤは「山田３０−３４」等とする。３０７に５年と記述されているが、この年数は一定でなくてもよい。例えば、幼少期は顔が変化しやすいので、１０歳までは１年ごとに辞書データを作成して、１０歳以降は３年ごと、２０歳以降は５年ごと、などと設定できるようにするとよりよいであろう。
【００２４】
また各年代の辞書データには、予め決められた数（例えば、一人あたり５個とか１０個）の顔の特徴量を登録するようにしてもよい。このようにすることで辞書データが過剰に大きくならないので、記憶容量に乏しいカメラ１００であっても、辞書データを共有する場合に、その記憶容量を圧迫する心配が少なくなる。
【００２５】
また、カメラ１００の二次記憶装置１０５の記憶領域３０９には、必要最低限の顔辞書が記憶されている。顔辞書は、人物ごとのフォルダ３１０に情報ファイル３１１と必要な辞書データ３１２，３１７が格納されている。また、カメラ１００には、辞書編集アプリケーション３１４がインストールされていて、画像データ３１３が保存されている。
【００２６】
なお、ＰＣ２００とカメラ１００のアプリケーション上での顔検索アルゴリズムが相違する場合、同じ画像であっても算出される顔特徴量が異なるのが一般的である。よって、ＩＤは、顔画像から顔特徴量を算出するために使用した顔検索用辞書データに固有の値であり、後述する顔検索アルゴリズムの異同を判定するために使用される。そのため、顔検索アルゴリズムが変更された場合、同じ辞書データであったとしてもそのＩＤは変更されるものとする。
【００２７】
＜顔辞書の書き込み処理＞図３を参照して、ＰＣからカメラへの顔辞書の書き込み処理について説明する。なお、以下の処理は、ＰＣ２００及びカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００２８】
図３において、Ｓ３０１では、カメラ１００とＰＣ２００とが接続され、通信装置１０９、２０６を介してカメラ１００とＰＣ２００との間に通信が確立する。
【００２９】
Ｓ３０２では、カメラ１００とＰＣ２００とが接続された状態で、ユーザがＰＣ２００のアプリケーションを起動して、「顔辞書を書き込む」を実行する。この機能はＳ３０１でカメラ１００とＰＣ２００が接続されたときに自動的に実行してもよい。Ｓ３０３では、カメラ１００やＰＣ２００の同じ人物の顔検索用辞書データ（例えば、辞書データ３０４と３１２）を撮影日時で比較する。この辞書データは、その人物の辞書データの中で、最も撮影日時が新しいものが選択される。顔検索用辞書データであるか否かは、人物の情報ファイル３０３，３１１で判断する。比較の結果、ＰＣ２００の辞書データ３０４の方が新しい場合は、Ｓ３０４に進み、カメラ１００の辞書データ３１１の方が新しい場合は、カメラ１００の辞書データ３０４を更新する必要がないので、本処理を終了する。
【００３０】
Ｓ３０４では、カメラ１００の記憶容量が所定値以上か、つまり、少なくともＰＣ２００から転送する顔辞書のデータ分だけカメラ１００に記憶容量が残っているか判定する。ここで、カメラ１００の記憶容量が足りない場合は、カメラ１００に顔辞書を書き込むことができないので、Ｓ３１０でカメラ１００の記憶容量が足りないことを、メッセージなどで警告表示してユーザに報知する。この警告表示を受けて、ユーザはカメラ１００に記憶されている、顔辞書データや画像データを削除して、記憶容量を確保し、再度Ｓ３０２を実行する。一方、Ｓ３０４でカメラ１００の記憶容量がある場合は、Ｓ３０５に進み、ＰＣ２００とカメラ１００の情報ファイル３０３，３１１に記述された顔検索用辞書データのＩＤが同じであるか判定する。Ｓ３０５でＩＤを判定する理由は、辞書データは所定の時間間隔で作成されるので、カメラ１００に転送する辞書データが新規に作成されたものであるのか、既存の辞書データを更新するものであるのかを確認するためである。
【００３１】
Ｓ３０５でＩＤが同じと判定された場合は、カメラ１００の辞書データを更新するため、Ｓ３０７でカメラ１００の顔辞書の顔検索用辞書データを削除する。一方、ＩＤが同じでないと判定された場合は、Ｓ３０６で、カメラ１００の画像データの中に、カメラ１００の顔検索用辞書データで検索可能な画像データが存在するか判定する。Ｓ３０６を行う理由は、カメラ１００では基本的に顔検索用辞書データを記憶しておけばよいが、画像データを検索する際には、顔検索用辞書データ以外の辞書データも必要となり、古い辞書データの削除の可否を判断するためである。Ｓ３０６で検索可能な画像データが存在しない場合は、その辞書データは不要なので、Ｓ３０７で辞書データを削除する。一方、検索可能な画像データが存在する場合は、その辞書データは顔検索に必要となるので削除せず、Ｓ３０８に進み、ＰＣ２００の顔辞書の顔検索用辞書データをカメラ１００に転送する。Ｓ３０９では、カメラ１００の顔辞書に、ＰＣ２００から転送された顔検索用辞書データを書き込み、カメラ１００の顔検索用辞書データのＩＤをＰＣ２００の辞書データのＩＤに更新する。
【００３２】
カメラ１００に複数人分の顔辞書が記憶されている場合は、上記処理を人数分繰り返し実行する。
【００３３】
このように、カメラ１００の顔検索用辞書データを最新版に更新するので、人物特定の精度が高くなる。また、不要となる古い辞書データを削除する一方、必要な辞書データは残しておくので、カメラ１００の記憶容量を抑えつつ、必要最低限の辞書データのみをカメラ１００に記憶させることができる。
【００３４】
＜顔辞書の追加処理＞図４及び図５を参照して、ＰＣ２００には存在するが、カメラ１００には存在しない顔辞書をＰＣ２００からカメラ１００に転送する処理について説明する。カメラ１００やＰＣ２００、顔辞書の構成は、図１及び図２で説明したものと同様である。なお、以下の処理は、ＰＣ２００及びカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００３５】
図４において、Ｓ４０１では、カメラ１００とＰＣ２００とが接続され、通信装置１０９、２０６を介してカメラ１００とＰＣ２００との間に通信が確立する。
【００３６】
Ｓ４０２では、カメラ１００とＰＣ２００とが接続された状態で、ユーザがＰＣ２００のアプリケーションを起動して、「ＰＣの顔辞書をカメラに追加」を実行する。この機能はＳ４０１でカメラ１００とＰＣ２００が接続されたときに自動的に実行してもよい。
【００３７】
Ｓ４０３では、カメラ１００の記憶容量が所定値以上か、つまり、少なくともＰＣ２００から転送する顔辞書のデータ分だけカメラ１００に記憶容量が残っているか判定する。ここで、カメラ１００の記憶容量が足りない場合は、カメラ１００に顔辞書を書き込むことができないので、Ｓ４０４でカメラ１００の記憶容量が足りないことを、メッセージなどで警告表示してユーザに報知する。この警告表示を受けて、ユーザはカメラ１００に記憶されている、顔辞書データや画像データを削除して、記憶容量を確保し、再度Ｓ４０２を実行する。一方、Ｓ４０３でカメラ１００の記憶容量がある場合は、Ｓ４０５に進み、ＰＣ２００とカメラ１００の全ての顔辞書の情報ファイル３０３，３１１に記述された人物の名前を比較する。比較の結果、Ｓ４０６では、カメラ１００には存在せず、ＰＣ２００にしか存在しない人物の顔辞書があるか判定する。例えば、図２において、山田の顔辞書はＰＣ２００にもカメラ１００にも存在するが、田中の顔辞書はＰＣ２００にしか存在しない。Ｓ４０６でＰＣ２００にしか存在しない人物の顔辞書がある場合、Ｓ４０７でその人物の顔検索用辞書データの撮影日時と現在の日時が所定の間隔（年代別辞書間隔データ３０７）以上離れているか判定する。Ｓ４０７を実行する理由は、顔検索用辞書データは撮影時に使用されるため、現在の実在の人物と顔特徴量が類似している必要があり、実在の人物であっても年代が古い辞書データでは顔検索用辞書データとしては精度が上がらないからである。Ｓ４０７で撮影日時が所定の間隔以上離れている場合は、その人物の顔検索用辞書データをカメラ１００に転送しても、撮影時に使用できないので、Ｓ４０６に戻り、ＰＣ２００にしか存在しない他の人物の顔辞書について同様の処理を行う。一方、Ｓ４０７で所定の間隔以上離れていない場合は、新規に顔辞書をカメラ１００に転送するため、Ｓ４０８で人物追加リストに登録し、Ｓ４０６に戻る。Ｓ４０８で人物追加リストが存在しない場合は新規に作成する。
【００３８】
Ｓ４０６で、ＰＣ２００にしか存在しない他の人物の顔辞書が存在しない場合には、Ｓ４０９で、人物追加リストの中から、カメラ１００に転送したい人物の顔辞書を、図５に示すダイアログ５００をＰＣ２００に表示して、ユーザが任意に選択する。ダイアログ５００には、人物の顔検索用辞書データの顔画像５０２や人物の名前５０３が表示される。ユーザは人物追加リストの中から追加したい人物のチェックボックス５０１にチェックを入れて選択を行う。なお、ダイアログ５００のようなＵＩを表示しないで、人物追加リストの中の人物全てをカメラ１００に転送するようにしてもよい。
【００３９】
このように、ユーザが選択した顔辞書のみをカメラ１００に転送できるので、カメラ１００の記憶容量を抑えつつ、必要最低限の顔辞書のみをカメラ１００に記憶させることができる。
【００４０】
＜画像データの転送処理＞図６を参照して、ＰＣ２００に保存されている画像データをカメラ１００に転送する際に、その画像に写っている人物を特定することができる辞書データをカメラ１００に転送する処理について説明する。カメラ１００やＰＣ２００、辞書データの構成は、図１及び図２で説明したものと同様である。なお、以下の処理は、ＰＣ２００及びカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００４１】
図６において、Ｓ６０１では、カメラ１００とＰＣ２００とが接続され、通信装置１０９、２０６を介してカメラ１００とＰＣ２００との間に通信が確立する。
【００４２】
Ｓ６０２では、カメラ１００とＰＣ２００とが接続された状態で、ユーザがＰＣ２００のアプリケーションを起動して、「カメラに転送」を実行する。Ｓ６０２でユーザはＰＣ２００で、カメラ１００に転送したい画像を選択する。ここでは、図２の画像データ３１５が選択されたものとする。複数の画像を転送したい場合は、複数の画像を選択して、まとめてカメラ１００に転送するようにしてもよい。
【００４３】
Ｓ６０３では、カメラ１００の記憶容量が所定値以上か、つまり、少なくともＰＣ２００から転送する画像データと顔辞書のデータの分だけカメラ１００に記憶容量が残っているか判定する。ここで、カメラ１００の記憶容量が足りない場合は、カメラ１００に画像データと辞書データを転送できないので、Ｓ３１０でカメラ１００の記憶容量が足りないことを、メッセージなどで警告表示してユーザに報知する。この警告表示を受けて、ユーザはカメラ１００に記憶されている、顔辞書データや画像データを削除して、記憶容量を確保し、再度Ｓ６０２を実行する。一方、Ｓ６０３でカメラ１００の記憶容量がある場合は、Ｓ６０４に進み、Ｓ６０２でユーザが選択した画像データ３１５をカメラ１００に転送する。ここで、カメラ１００に転送される画像データ３１５はＰＣ２００から削除されず、カメラ１００にコピーされる。
【００４４】
Ｓ６０５では、カメラ１００に転送した画像データ３１５から顔画像を切り出し、顔画像データから顔特徴量を抽出してＰＣ２００の全ての顔辞書を検索する。Ｓ６０５では、顔画像データから作成した顔辞書に基づいて人物を特定する手順とは反対の処理を行っているが、方法は同じである。
【００４５】
Ｓ６０６では、検索の結果、該当する顔辞書がＰＣ２００に存在するか判定する。ここでは、Ｓ６０５で画像データ３１５から切り出した顔画像から算出した顔特徴量と、ＰＣ２００の顔辞書の顔特徴量とを比較して類似度が閾値以上のものが存在するか判定する。Ｓ６０６で該当する顔辞書がＰＣ２００に存在しない場合は、カメラ１００に転送する顔辞書が存在しないので、本処理を終了する。一方、該当する顔辞書が存在する場合は、その画像データ３１５に含まれる人物を特定することができる辞書データ３０５が存在するということなので、Ｓ６０７に進む。
【００４６】
Ｓ６０７では、ＰＣ２００からカメラ１００に転送する辞書データ３０５が既にカメラ１００に存在するか否か確認するために、同じＩＤの辞書データがカメラ１００に存在するか否かを判定する。Ｓ６０７でカメラ１００に同じＩＤの辞書データが存在していた場合は、カメラ１００に辞書データを転送する必要はないので本処理を終了する。一方、カメラ１００に同じＩＤの辞書データが存在しない場合は、Ｓ６０８でＰＣ２００からカメラ１００に辞書データ３０５を転送する。ここで、カメラ１００に転送した辞書データ３０５はＰＣ２００から削除されず、カメラ１００にコピーされる。
【００４７】
Ｓ６０８でカメラ１００に辞書データを転送する際、Ｓ６０２でユーザが選択した画像に、複数の人物が写っている場合は、図４と同様に、図５のダイアログ５００で、カメラ１００に転送したい人物の顔辞書をユーザに選択させてもよい。また、Ｓ６０２で複数の画像を選択した場合も、図５のダイアログ５００で、カメラ１００に転送したい人物の顔辞書をユーザに選択させてもよい。
【００４８】
このように、カメラ１００においても、ＰＣ２００と同じ判定精度で、ＰＣ２００からカメラ１００に転送した画像から人物を特定することができる。
【００４９】
＜削除処理＞図７を参照して、カメラ１００の画像データを削除する際に、その画像に含まれる人物を特定できる辞書データも同時に削除する処理について説明する。カメラ１００やＰＣ２００、辞書データの構成は、図１及び図２で説明したものと同様である。なお、以下の処理は、ＰＣ２００及びカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００５０】
図７において、Ｓ７０１では、ユーザがカメラ１００のアプリケーションを起動して、「カメラから画像を削除」を実行する。Ｓ７０１でユーザは、カメラ１００から削除したい画像データを選択する。ここでは、図２の画像データ３１６が選択されたものとする。複数の画像を削除したい場合は、複数の画像を選択して、まとめてカメラ１００から削除するようにしてもよい。
【００５１】
Ｓ７０２では、画像データ３１６から人物の顔画像を切り出し、顔特徴量を算出する。Ｓ７０３では、画像データ３１６に含まれる人物を特定できる顔辞書の辞書データを検索するために、Ｓ７０２で算出した顔特徴量と、カメラ１００の顔辞書の辞書データの顔特徴量とを比較する。検索の結果、Ｓ７０４で該当する辞書データが存在しない場合は、画像データ３１６に含まれる人物を特定できる辞書データがカメラ１００に存在しないので、Ｓ７０７でユーザが選択した画像データ３１６を削除して、本処理を終了する。
【００５２】
一方、Ｓ７０４で該当する辞書データ３１７が存在する場合は、Ｓ７０５でカメラ１００の画像データを全て検索して、辞書データ３１７で人物の特定が可能な画像データが存在するか判定する。Ｓ７０５では、辞書データ３１７が他の画像データの人物を特定するために使用されているか確認している。Ｓ７０５で辞書データ３１７で人物の特定が可能な画像データが存在しない場合は、Ｓ７０６で辞書データ３１７を削除する。一方、人物の特定が可能な画像データが存在する場合は、辞書データ３１７は人物の特定に必要となるので、削除せず、Ｓ７０７でユーザが選択した画像データ３１６を削除して、本処理を終了する。
【００５３】
このように、カメラ１００から画像データを削除する際に、不要な辞書データも同時に削除されるので、カメラ１００の記憶容量を抑えることができる。
【００５４】
＜人物の特定処理＞図８及び図９を参照して、カメラ１００の顔検索用辞書データを使用して、撮影時に被写体の人物を特定する処理について説明する。カメラ１００やＰＣ２００、辞書データの構成は、図１及び図２で説明したものと同様である。なお、以下の処理は、ＰＣ２００及びカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００５５】
図８において、Ｓ８０１では、ユーザはカメラ１００を撮影モードに設定する（図９のカメラ９０２）。カメラ１００で撮影された画像から人物９０１の顔を検出する処理は既知であるので説明を省略する。例えば、被写体９０１が山田であるとして、Ｓ８０２で人物の顔９０３が検出された場合、Ｓ８０３で、カメラ１００の全ての人物の顔検索用辞書データから、被写体の人物の顔特徴量との類似度が閾値以上である辞書データを検索する。検索の結果、Ｓ８０４で顔特徴量が近似した辞書データが存在した場合、Ｓ８０５で辞書データの情報ファイル３０３から人物の名前を取得し、表示部１０７にその人物の名前９０４を表示する。
【００５６】
このように、複数の辞書データの中から撮影された被写体の顔特徴量に近い顔検索用辞書データを検索し使用することによって、素早く人物を特定することができる。撮影モードにおいて、顔検索用辞書データのみを対象としている理由は、顔検索用辞書データは、複数の辞書データの中で撮影日時が最新なので、現時点での被写体の顔特徴量に最も近いからである。図３，４で顔検索用辞書データのみをＰＣ２００からカメラ１００に書き込んでいるのはこのためである。
【００５７】
［実施形態２］図１１を参照して、実施形態２として、ＰＣ２００で顔辞書をマージしてカメラ１００へ転送する処理について説明する。カメラ１００やＰＣ２００、辞書データの構成は、図１及び図２で説明したものと同様である。なお、以下の処理は、ＰＣ２００及び／又はカメラ１００にインストールされた各アプリケーションが処理を実行する。
【００５８】
図１１において、Ｓ１１０１では、ＰＣ２００とカメラ１００が接続され、カメラ１００に「カメラに顔辞書を書き込む」が実行されたか判定する。
【００５９】
Ｓ１１０２では、ＰＣ２００の一次記憶装置２０４の記憶領域にカメラ１００の顔辞書をコピーする。
【００６０】
Ｓ１１０３では、ＰＣ２００の顔辞書とカメラ１００の顔辞書とをマージする。
【００６１】
Ｓ１１０４では、マージした顔辞書をカメラ１００へ転送する。
【００６２】
Ｓ１１０５では、ＰＣ２００の一次記憶装置２０４の記憶領域からデータを削除する。
【００６３】
＜マージ処理＞図１２を参照して、図１１のＳ１１０３におけるマージ処理について説明する。
【００６４】
図１２において、Ｓ１２０１では、カメラ１００の全ての顔辞書をＰＣ２００の顔辞書と比較したか判定し、全て比較した場合、本処理を終了する。一方、全て比較していない場合、Ｓ１２０２に進み、カメラ１００の顔辞書の人物の名前とＰＣ２００の顔辞書の人物の名前とを比較する。ここで顔辞書とは、ある画像の顔特徴量と人物の名前を関連付けたものである。
【００６５】
Ｓ１２０３では、人物の名前が一致しているか判定し、人物の名前が一致している場合、Ｓ１２０４に進み、人物の名前が同じであるグループにカメラ１００の顔特徴量を追加する。人物の名前が同じであれば、顔特徴量を比較する前に同じ人物であると認識し、同じグループに登録したほうが利便性が高いためである。なお、人物の名前が一致している条件は、文字列が完全に一致している場合だけではなく、例えば、「山田太郎」と「Ｙａｍａｄａ Ｔａｒｏ」のように、同じ人物であることが推測できる場合も含むものとする。ただし、後者のように完全に一致していない場合は、ユーザに同じグループに顔辞書を追加しても良いか、また、そのグループ名はどちらを使用するかを選択できるものとする。
【００６６】
Ｓ１２０５では、Ｓ１２０３でカメラ１００の顔辞書の人物の名前とＰＣ２００の顔辞書の人物の名前が一致していない場合、カメラ１００の顔特徴量とＰＣ２００の顔特徴量の類似度を比較する。
【００６７】
Ｓ１２０６では、類似度が閾値以上であるかを判定し、閾値以上である場合、Ｓ１２０７に進み、類似度が閾値以上である顔特徴量と同じグループにカメラ１００の顔特徴量を追加する。なお、顔辞書の同じグループに複数の顔特徴量が存在する場合、その中から代表となる顔特徴量を選択し、それら代表顔特徴量同士を比較する。そして、閾値以上であった場合、カメラ１００の代表顔特徴量が存在する全ての顔特徴量を、ＰＣ２００の代表顔特徴量が存在するグループに追加する。顔辞書の同じグループに複数の顔特徴量が存在する場合については、後述する別の実施形態で詳しく説明する。
【００６８】
Ｓ１２０８では、Ｓ１２０６の類似度が閾値以上ではない場合、類似度を比較していないＰＣ２００の顔辞書を取得する。
【００６９】
Ｓ１２０９では、全てのＰＣ２００の顔辞書と人物の名前または顔特徴量の類似度を比較したか判定し、全て比較していない場合、再度、Ｓ１２０２に戻り、カメラ１００の顔辞書の人物の名前とＰＣ２００の顔辞書の人物の名前とを比較する。Ｓ１２０９において、全て比較した場合、その顔特徴量は、どのグループにも属していないものなので、Ｓ１２１０において、ＰＣ２００の顔辞書に新規グループを作成してカメラ１００の顔特徴量を追加する。
【００７０】
＜マージ処理の切り替え処理＞図１３を参照して、カメラ１００とＰＣ２００での顔検索アルゴリズムが一致するか判定し、マージ処理を切り替える処理について説明する。
【００７１】
図１３において、Ｓ１３０１において、ＰＣ２００とカメラ１００が接続され、カメラ１００に「顔辞書を書き込む」が実行されたか判定する。
【００７２】
Ｓ１３０２では、カメラ１００の顔検索アルゴリズムで使用されている顔辞書のＩＤを取得する。
【００７３】
Ｓ１３０３では、ＰＣ２００の顔検索アルゴリズムで使用されている顔辞書のＩＤを取得する。
【００７４】
Ｓ１３０４では、カメラ１００の顔辞書のＩＤとＰＣ２００の顔辞書のＩＤが一致するか判定し、同じ顔辞書が使用されているかを判定する。同じ顔辞書が使用されていれば、その顔辞書から算出した顔特徴量をそのままカメラ１００でも使用して、顔検索アルゴリズムに使用できるためである。
【００７５】
Ｓ１３０５では、カメラ１００で顔辞書をマージするか、ＰＣ２００で顔辞書をマージするかを選択する。Ｓ１２０６では、ＰＣ２００で顔辞書をマージするか判定し、ＰＣ２００でマージする場合、Ｓ１３０７にて、カメラ１００からＰＣ２００へ顔特徴量を転送し、ＰＣ２００で顔辞書をマージし、マージした顔辞書をカメラ１００へ転送する。一方、カメラ１００でマージする場合、Ｓ１３０８にて、カメラ１００へ顔特徴量を転送し、カメラ１００で顔辞書をマージする。このようにカメラ１００は顔画像から顔特徴量を解析する必要がないので、顔特徴量を解析する時間を削減できる。
【００７６】
また、Ｓ１３０４で、カメラ１００の顔辞書のＩＤとＰＣの顔辞書のＩＤが一致しない場合、ＰＣ２００の顔辞書の顔特徴量はカメラ１００ではそのまま使用できないため、Ｓ１３０９にて、カメラ１００へ顔画像データを転送しカメラ１００で顔辞書をマージする。
【００７７】
＜マージ処理を行う主体の選択処理＞図１４を参照して、図１３のＳ１３０５におけるマージ処理を行う主体の選択処理について説明する。
【００７８】
図１４において、Ｓ１４０１では、カメラ１００で顔辞書をマージするか、ＰＣ２００で顔辞書をマージするかをユーザに選択させる。なお、デフォルトではＰＣ２００でマージするが選択され、後でアプリケーションで設定を変更できるようにしても良い。
【００７９】
Ｓ１４０２では、カメラ１００でマージするが選択されたか判定する。そして、カメラ１００でマージするが選択された場合、Ｓ１４０３にて、カメラ１００で顔辞書をマージする設定を記憶する。ＰＣ２００でマージするが選択された場合、Ｓ１４０４において、ＰＣ２００で顔辞書をマージする設定を記憶する。
【００８０】
＜カメラでのマージ処理＞図１５を参照して、図１３のＳ１３０９におけるカメラへ顔画像データを転送しカメラで顔辞書をマージする処理について説明する。
【００８１】
図１５において、Ｓ１５０１では、カメラ１００にＰＣ２００の顔画像データを転送し、カメラ１００の一次記憶装置１０４の記憶領域に記憶する。この記憶領域は、カメラ１００の一次記憶装置１０４の他、二次記憶装置１０５や記憶媒体１０６を使用しても良い。
【００８２】
Ｓ１５０２では、カメラ１００はＰＣ２００の顔画像データから顔特徴量を算出する。顔検索アルゴリズムが異なるため（図１３のＳ１３０４でＮＯ）、カメラ１００は自身が解釈できるように、自身の顔検索アルゴリズムにより顔特徴量を算出する必要がある。
【００８３】
Ｓ１５０３では、カメラ１００はカメラ１００の顔辞書とＰＣ２００の顔辞書とをマージする。
【００８４】
Ｓ１５０４では、カメラ１００はカメラ１００の一次記憶装置１０４の記憶領域に保持された顔画像データを削除する。
【００８５】
＜類似度の設定＞図１６は、本実施形態の顔検索アルゴリズムにおける類似度の閾値を変更するためのダイアログを例示している。１６０１はアプリケーションにより表示される設定ダイアログである。１６０２は設定ダイアログ１６０１内に表示される顔検索タブである。１６０３は、顔検索アルゴリズムにおける類似度の閾値に関する説明文である。閾値を高くすると、検出される画像が少なくなるが、精度高く同一の人物を検出することができる。一方、閾値を低くすると、異なる人物が検出される可能性があるが、より多くの画像を検出することができることが記述されている。１６０４はこの類似度の閾値を変更するためのスライダーであり、０から１００までの値を変更することができる。１６０５はＯＫボタンであり、スライダー１６０４で設定された値を確定する。１６０６はキャンセルボタンであり、スライダー１６０４で設定された値は破棄される。類似度の閾値を任意に変更することで、顔辞書のグループにヒットする枚数や精度を調整することができる。
【００８６】
＜マージする顔辞書及び主体の選択＞図１７（ａ）は、本実施形態において人物の名前をマージする際の設定画面を例示している。１７０１は顔辞書をマージする場合、どの顔辞書とマージするかを選択するためのツリービューである。フォルダ１７０２は、人物と顔特徴量の関連付けがされていない顔画像が含まれたフォルダである。フォルダ１７０３は、フォルダ１７０２の顔画像の中から、「山田太郎」という人物の名前が入力された顔画像が含まれたフォルダである。同様に、フォルダ１７０４は、フォルダ１７０２の顔画像の中から、「ｙａｍａｄａ」という人物の名前が入力された顔画像が含まれたフォルダである。「ｙａｍａｄａ」として登録された顔画像が「山田太郎」として登録された画像と同じであった場合、フォルダをひとつにマージしたほうが使い勝手は良い。例えば、「ｙａｍａｄａ」を「山田太郎」に変更したい場合、「ｙａｍａｄａ」フォルダ上で右クリックして、「顔辞書をマージする」を選択すると表示されるのが、ツリービュー１７０１である。ツリービュー１７０１上で「山田太郎」を選択すると、「ｙａｍａｄａ」として登録された画像を全て「山田太郎」に変更しても良いかを問い合わせる。ここで、「山田太郎」に変更するだけではなく、マージ後の名前を入力できるためのダイアログが表示されても良いものする。
【００８７】
図１７（ｂ）は、本実施形態において顔辞書をマージする主体を選択するための設定画面を例示している。１７１１はアプリケーションにより表示される設定ダイアログである。１７１２は設定ダイアログ１７１１に表示される顔辞書タブである。１７１３は、顔辞書をカメラ１００へマージする場合、ＰＣ２００又はカメラ１００でマージする場合の説明文である。ＰＣ２００でマージする場合、マージ中はアプリケーション上で他の操作ができないが、カメラ１００でマージするよりもマージするまでの時間が掛からないことが記述されている。ＰＣ２００でマージする場合、アプリケーションはモーダルのプログレスバーを表示し、ユーザ操作を行えないようにする。１７１４は、ＰＣ２００でマージするか、カメラ１００でマージするかを選択するためのラジオボタンである。１７１５はＯＫボタンであり、ラジオボタン１７１４で設定された値を確定する。１７１６はキャンセルボタンであり、ラジオボタン１７１４で設定された値は破棄される。
【００８８】
＜カメラとＰＣの顔検索アルゴリズムが異なる場合＞図１８は、図１３のＳ１３０５おけるカメラへ顔画像データを転送してカメラで顔辞書をマージする処理の説明図である。１８０１において、カメラ１００とＰＣ２００を接続し、アプリケーション上で「カメラに顔辞書を追加する」を実行する。１８０２において、カメラ１００の顔検索アルゴリズムで使用されている顔辞書のＩＤを取得する。このＩＤは、カメラ１００とＰＣ２００で使用されている顔辞書が同じであるか判定するために使用する。１８０３において、ＰＣ２００の顔検索アルゴリズムで使用されている顔辞書のＩＤを取得する。そして、カメラ１００で使用されているＩＤとＰＣ２００で使用されている顔辞書のＩＤとを比較する。
【００８９】
顔辞書のＩＤが異なっていた場合、ＰＣ２００で管理している顔特徴量は、カメラ１００の顔検索アルゴリズムでは認識できないため、顔画像と人物の名前のみをカメラ１００に転送し、再度、カメラ側で顔特徴量を算出する。１８０４では、カメラ１００の一次記憶装置１０４の記憶領域にＰＣ２００の顔画像と人物の名前の情報を転送する。この記憶領域は、一次記憶装置１０４の他、カメラ１００のＲＡＭでもメモリーカードでも良いものとする。１８０５において、カメラ１００はＰＣ２００から転送された顔画像データから顔特徴量を算出する。１８０６において、カメラ１００はカメラ１００の顔辞書の顔特徴量と１８０５で算出した顔特徴量の類似度を比較する。１８０７において、カメラ１００はカメラ１００の顔辞書の顔特徴量と新たに算出した顔特徴量をマージする。このマージ処理は、図１２で説明した手順に基づいて行う。なお、図１２では、顔特徴量のみを顔辞書に追加する手順のみが記述されているが、顔画像も顔辞書に登録しても良いものとする。その場合、代表となる画像も選択できるものとする。
【００９０】
＜カメラとＰＣの顔検索アルゴリズムが同じ場合＞図１９は、図１３のＳ１３０８おけるカメラへ顔特徴量を転送しカメラで顔特徴量をマージする処理の説明図である。１９０１において、カメラ１００とＰＣ２００を接続し、アプリケーション上で「カメラに顔辞書を追加する」を実行する。１９０２では、カメラ１００の顔検索アルゴリズムで使用している顔辞書のＩＤを取得する。１９０３では、ＰＣ２００の顔検索アルゴリズムで使用している顔辞書のＩＤを取得し、カメラ１００の顔辞書のＩＤとＰＣ２００の顔辞書のＩＤとを比較する。ＩＤが一致した場合、ＰＣ２００で管理している顔特徴量は、カメラ１００の顔検索アルゴリズムで認識できるため、顔特徴量と人物の名前のみをカメラ１００に転送する。１９０４では、カメラ１００にＰＣ２００の顔特徴量と人物の名前を転送する。１９０５において、カメラ１００はＰＣ２００から転送されたＰＣ２００の顔特徴量とカメラ１００の顔特徴量をマージする。このマージ処理は、図１２で説明した手順に基づいて行う。
【００９１】
図２０は、図１３のＳ１３０７におけるＰＣで顔辞書をマージしてカメラへ転送する処理の説明図である。２００１において、カメラ１００とＰＣ２００を接続し、アプリケーション上で「カメラへ顔辞書を転送」を実行する。２００２では、カメラ１００の顔検索アルゴリズムで使用している顔辞書のＩＤを取得する。２００３では、ＰＣ２００の顔検索アルゴリズムで使用している顔辞書のＩＤを取得し、カメラ１００で使用されている顔辞書のＩＤとＰＣ２００で使用されている顔辞書のＩＤとを比較する。ＩＤが一致した場合、ＰＣ２００で管理している顔特徴量は、カメラ１００の顔検索アルゴリズムで認識できるため、顔特徴量と人物の名前のみをＰＣ２００に転送する。２００４では、ＰＣ２００の一次記憶装置２０４の記憶領域にカメラ１００の顔辞書をコピーする。２００５では、ＰＣ２００の顔辞書と一次記憶装置２０４に保持されたカメラ１００の顔辞書をマージする。このマージ処理は、図１２で説明した手順に基づいて行う。２００６では、マージした顔辞書をカメラ１００へ転送する。
【００９２】
図２１は、ＰＣ側のアプリケーションがＰＣとカメラの顔辞書の顔特徴量を比較してマージする処理の説明図である。２１０１では、顔辞書の同一グループに複数の顔特徴量が存在するか確認する。複数存在する場合、その中から代表となる顔特徴量を選択する。カメラ１００から転送した顔辞書についても、同様の処理を行う。顔辞書の同一グループに複数の顔特徴量がある場合、カメラ１００とＰＣ２００の全ての顔特徴量を比較すると、元々、同一グループに属していた顔特徴量が、マージ後に別のグループに属してしまう可能性があるためである。ＰＣ２００の顔辞書のＧｒｏｕｐ Ａには顔特徴量がひとつしか存在しない場合、顔特徴量００１が比較対象となる。一方、カメラ１００の顔辞書のＧｒｏｕｐ Ａには顔特徴量００１’と００２’が登録されているので、Ｇｒｏｕｐ Ａの代表となる顔特徴量を選択する。ここでは、初めに登録された顔特徴量００１’を代表画像として選択しているが、どちらの顔特徴量が適切であるかをユーザが顔画像から選択できても良いものとする。
【００９３】
２１０２では、ＰＣ２００の顔辞書のＧｒｏｕｐ Ａの顔特徴量００１とカメラ１００の顔辞書のＧｒｏｕｐ Ａの代表となる顔特徴量００１’とを比較して類似度が閾値以上であるかを判定する。２１０３において、類似度が閾値未満であった場合、ＰＣ２００の顔辞書のＧｒｏｕｐ Ｂの顔特徴量００２と、カメラ１００の顔辞書のＧｒｏｕｐ Ａの代表となる顔特徴量００１’を比較して類似度が閾値以上であるかを判定する。閾値以上であった場合、カメラ１００の顔辞書のＧｒｏｕｐ Ａに登録されている顔特徴量００１’と顔特徴量００２は、ＰＣの顔辞書のＧｒｏｕｐ Ｂに追加される。同一グループに複数の顔特徴量が存在する場合、それら全てを同じグループに追加しないと、元々、同じグループに属した顔特徴量が別のグループに分かれてしまう可能性があるためである。例えば、カメラ１００の顔辞書のＧｒｏｕｐ Ａに登録されている顔特徴量００１’はＰＣ２００の顔辞書のＧｒｏｕｐ Ｂに登録されている顔特徴量００２と類似度が閾値以上であり、カメラ１００の顔特徴量００２’はＰＣの顔辞書のＧｒｏｕｐ Ａに登録されている顔特徴量００１と類似度が閾値以上であると、カメラ１００の顔辞書のＧｒｏｕｐ Ａに登録されている顔特徴量００１’と００２’が別のグループに属してしまう。そのため、代表的な顔特徴量をもとに、類似度を比較し、その結果、閾値以上であると判定された場合、同じグループに属するカメラ１００の全ての顔特徴量をＰＣの顔辞書にマージする。この方法はあるまで一例であり、別の手段で顔特徴量をマージしても良い。
【００９４】
＜画像表示例＞図２２は、ＰＣ２００のアプリケーションにおいて顔辞書に登録された画像を表示するウィンドウを例示している。ユーザはツリービュー２２０１内のフォルダを指定することで、そのフォルダ内にあるファイルのサムネイルを表示することができる。ＰＣ２００は画像ファイル内や別ファイルにサムネイル画像があればそれを用いて表示し、なければオリジナル画像からサムネイルを作成し、そのサムネイルをブラウザウィンドウ２２０５内に一覧表示する。ここでは、ツリービュー２２０１に、顔画像と人物の名前が関連付けられた顔辞書フォルダが表示されており、「山田太郎」という顔辞書を選択した場合に、「山田太郎」に該当する人物がブラウザウィンドウ２２０５に表示されている。２２０２は、標準的に実装されているアプリケーションのウィンドウをコントロールするボタンである（左から「最小化」、「最大化」、「閉じる」）。そのフォルダ内に大量の画像が存在する場合、ブラウザウィンドウ２２０５の横にスクロールバー２２０４が有効表示される。例えば、スライダー２２０６は、ブラウザウィンドウ２２０５に表示されるサムネイルの大きさを変更するためのコントローラであり、サムネイルのサイズを大きくして、ブラウザウィンドウに入りきらない場合、スクロールバー２２０４は有効表示される。２２０３は、ブラウザウィンドウ２２０５に表示された画像に対して、何かアクションを行う場合のボタンである。
【００９５】
本実施形態のようにＰＣ２００の顔辞書をカメラ１００へ転送するため、「人物をカメラにエクスポート」ボタン２２０７を選択した場合のＵＩについて説明する。
【００９６】
図２３は、ＰＣからカメラに転送する顔辞書を選択するダイアログを例示している。２３０１は、ＰＣ２００のボタン２２０３から、「人物をカメラにエクスポート」ボタン２２０７を選択した場合に表示されるダイアログである。２３０２は、ＰＣ２００に既に存在する顔辞書を転送するか、新規に顔辞書を作成して転送するかを選択するためのラジオボタンである。２３０３は、ラジオ２３０２で既に存在する顔辞書を選択した場合、存在する顔辞書を選択するためのコンボボックスである。ここでは、ＰＣ２００の顔辞書に登録されている「山田太郎」をカメラ１００へ転送する場合について説明する。２３０４は、次のステップへ遷移するためのボタンである。２３０５はカメラ１００へ転送する処理を中断してダイアログを閉じるためのボタンである。
【００９７】
図２４（ａ）は、ＰＣ２００のアプリケーションにおいて顔検索アルゴリズムに使用する顔画像を選択するためのダイアログを例示しているる。２４０１は、ダイアログ２３０１のボタン２３０４を選択した場合に表示されるダイアログである。ＰＣ２００の顔検索アルゴリズムで使用している顔辞書とカメラ１００の顔検索アルゴリズムで使用している顔辞書が異なる場合、検索結果を調整するダイアログは表示されない。カメラ１００では、ＰＣ２００の顔辞書の顔特徴量を使用できないので、ダイアログに表示される顔をカメラ１００で検出できない可能性があるためである。２４０２は、「山田太郎」の顔画像のうち、顔検索アルゴリズムに使用する顔画像を調整することを記述した説明文である。２４０３は、ＰＣ２００に登録された「山田太郎」の顔画像から顔検索アルゴリズムに使用する顔画像を選択するための表示領域である。２４０４は、ふさわしい顔がない場合に、名前が付いていない不明な人物の顔画像を選択するダイアログを表示するためのボタンである。２４０５は、表示領域２４０３で選択された顔画像の顔特徴量に従って、類似度が閾値以上の顔画像が表示される表示領域であり、該当する画像の枚数も表示される。２４０６は、前のステップへ遷移するためのボタンである。２４０７は、次のステップへ遷移するためのボタンである。２４０８はカメラ１００へ転送する処理を中断してダイアログを閉じるためのボタンである。
【００９８】
図２４（ｂ）は、ＰＣの顔辞書をカメラ１００へ転送するダイアログを例示している。２５０１は、ダイアログ２４０１のボタン２４０７を選択した場合に表示されるダイアログである。２５０２は、「山田太郎」の画像のうち、カメラ１００へ転送するための顔画像を指定するための操作を記述した説明文である。２５０３は、ＰＣ２００に登録された「山田太郎」の顔画像から顔検索アルゴリズムに使用する顔画像を選択するための表示領域である。２５０４は、表示領域２５０３で選択された顔画像をカメラ１００の顔辞書の顔画像が登録された表示領域２５０５にコピーするためのボタンである。２５０５は、カメラ１００に登録された「山田太郎」の顔画像を表示するための表示領域である。図示の例では、既にカメラ１００には「山田太郎」の顔画像が１枚存在している。なお、変形例として、カメラ１００に存在する顔画像を選択してボタン２５０４を選択して、カメラ１００からＰＣ２００へ顔画像を転送できるようにしても良い。２５０６は、前のステップへ遷移するためのボタンである。２５０７は、次のステップへ遷移するためのボタンである。２５０８はカメラ１００へ転送する処理を中断してダイアログを閉じるためのボタンである。
【００９９】
図２５（ａ）は、不明な人物から顔画像を選択するためのダイアログ２６０１を例示しており、ダイアログ２４０１のボタン２４０４を選択した場合に表示される。本実施形態のように、人物の名前が指定されていない大量の顔画像が存在する場合、スクロールバー２６０２が有効表示される。２６０３は、顔画像が同一のグループではないことを強調するための区切り線である。２６０４は、検出された顔画像が表示される表示領域である。例えば、顔画像の右上に表示されているチェックボックスを選択してボタン２６０６を選択すると、チェックされた顔画像の顔特徴量と類似する顔画像を検出し、表示領域２４０５に顔画像を表示する。スライダー２６０５は、表示領域２６０４に表示されるサムネイルの大きさを変更するためのコントローラである。ボタン２６０７は、ダイアログ２６０１で選択した設定を無視してダイアログを閉じるためのボタンである。
【０１００】
図２５（ｂ）は、ＰＣからカメラに顔辞書を転送する場合、同じ名前の顔辞書が存在した場合の警告メッセージの表示例である。警告メッセージ２７０１は、カメラ１００の同じ名前の顔辞書にＰＣ２００の顔辞書を書き込んでも良いかユーザに確認するために表示される。ボタン２７０２を選択すると、次のステップへ遷移する。ボタン２７０３を選択すると、同じ名前のカメラ１００の顔辞書にＰＣ２００の顔辞書を書き込む処理を中断する。
【０１０１】
図２６（ａ）は、同じ人物の顔辞書に複数の顔画像が存在する場合、代表画像を任意に選択するダイアログ２８０１であり、警告メッセージ２７０１のボタン２７０２、または、ダイアログ２５０１のボタン２５０７が選択された場合に表示される。２８０２は、複数の顔画像が存在する場合、カメラ１００に表示される代表画像を選択するための表示領域である。２８０３は、前のステップへ遷移するためのボタンである。２８０４は、次のステップへ遷移するためのボタンである。２８０５はカメラ１００へ転送する処理を中断してダイアログを閉じるためのボタンである。
【０１０２】
図２６（ｂ）は、選択した顔辞書をカメラ１００へ書き込むことをユーザに確認するダイアログ２９０１であり、ダイアログ２８０１のボタン２８０４が選択された場合に表示される。２９０２は、ダイアログ２８０１で選択された代表画像である。２９０３は、顔画像２９０２がＰＣ２００からカメラ１００へ転送されることを示すイラストである。アニメーションで表示しても良いものとする。２９０４は、前のステップへ遷移するためのボタンである。２９０５は、カメラ１００へ顔辞書を書き込むためのボタンである。カメラ１００とＰＣ２００が接続されていない場合、カメラ１００とＰＣ２００を接続することを促すメッセージが表示される。２９０６はカメラ１００へ転送する処理を中断してダイアログを閉じるためのボタンである。
【０１０３】
図２７（ａ）は、ＰＣからカメラへ顔辞書を書き込み中に表示するダイアログ３００１であり、ダイアログ２９０１のボタン２９０５が選択された場合に表示される。３００２は、顔画像がＰＣ２００からカメラ１００へ転送されることを示すイラストである。アニメーションで表示しても良いものとする。３００３は、ＰＣ２００の顔辞書をカメラ１００の顔辞書をマージして転送するまでの処理の進捗率を示すプログレスバーである。顔辞書のマージ中は、ユーザが他の操作を行わないように、ダイアログ３００１は、モーダルで表示しても良いものとする。
【０１０４】
図２７（ｂ）は、カメラ１００へ顔辞書の書き込みが完了した場合に表示するダイアログ３１０１であり、ダイアログ３００１の処理が完了した場合に表示される。ボタン３１０２が選択されると、ダイアログ３１０１は閉じる。
【０１０５】
本実施形態によれば、ＰＣの顔辞書をカメラの顔辞書にマージできるため、カメラでの人物の特定精度を向上することができる。また、カメラで顔辞書を作成するよりも人物を確認しやすく、人物の名前を入力しやすいなどの利便性が高くなる。
【０１０６】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【０１０７】
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、本発明はこれに限定されず、被写体の画像を撮影可能な撮像装置であれば、カメラ付き携帯電話端末などの電子機器に適用可能である。
【特許請求の範囲】
【請求項１】
画像データに含まれる人物を特定する機能を有する情報処理装置であって、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、
前記通信手段により前記撮像装置と接続された状態において、前記撮像装置が有する辞書データと、前記記憶手段に記憶している辞書データとを比較し、前記記憶手段に記憶されている辞書データの方が新しい場合、前記撮像装置の辞書データを前記記憶手段に記憶された新しいものに更新する辞書編集手段と、を有することを特徴とする情報処理装置。
【請求項２】
前記辞書データは、人物ごとの情報ファイルを有し、当該情報ファイルには、顔画像データ、撮影日時、及び識別情報が含まれており、
同一の人物について所定の年代別に複数の辞書データが作成されることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記記憶手段に存在する辞書データのうち、前記撮像装置には存在しない辞書データがあるか判定する判定手段と、
前記撮像装置には存在しない辞書データが存在する場合、その辞書データの中から現在の日時から所定の間隔以上離れていない辞書データをリストに登録する登録手段と、
前記リストから前記撮像装置に追加する辞書データを任意に選択する選択手段と、を更に有することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記通信手段を介して画像データを前記撮像装置へ転送する転送手段と、
前記画像データを転送する際に、前記画像データから抽出された被写体の特徴量を基に、前記記憶手段に該当する辞書データが存在するか判定する判定手段と、を更に有し、
前記辞書編集手段は、前記該当する辞書データが前記記憶手段に存在した場合に、前記画像データと前記該当する辞書データを前記撮像装置に転送することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項５】
前記撮像装置から削除する画像データを選択する選択手段と、
前記画像データを削除する際に、前記選択された画像データから抽出した被写体の特徴量から、前記記憶手段に該当する辞書データがあるか判定する判定手段と、を更に有し、
前記辞書編集手段は、前記該当する辞書データが前記撮像装置に存在した場合に、前記選択した画像データと前記該当する辞書データを前記撮像装置から削除することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項６】
画像データに含まれる人物を特定する機能を有する情報処理装置であって、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、
前記撮像装置から辞書データを取得する取得手段と、
前記撮像装置から取得した辞書データに、前記記憶手段に記憶されている辞書データと同じ人物の辞書データが存在するか判定する判定手段と、
前記撮像装置から取得した同じ人物の辞書データを、前記記憶手段に記憶されている同じ人物の辞書データとマージするマージ手段と、を有することを特徴とする情報処理装置。
【請求項７】
前記判定手段は、前記撮像装置から取得した辞書データに、前記記憶手段に記憶されている辞書データと同じ人物の辞書データが存在しない場合であっても、類似度が閾値以上である辞書データが存在するか判定し、
前記マージ手段は、前記類似度が閾値以上の辞書データを前記記憶手段に記憶されている辞書データとマージすることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記マージ手段は、前記類似度が閾値未満の辞書データを、新規の辞書データとして追加することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記類似度の閾値を任意に設定する設定手段を更に有することを特徴とする請求項７又は８に記載の情報処理装置。
【請求項１０】
前記マージ手段は、前記撮像装置から取得した同じ人物の辞書データを、前記記憶手段に記憶されている同じ人物の辞書データとマージし、前記通信手段を介して当該マージした辞書データを前記撮像装置へ転送することを特徴とする請求項６に記載の情報処理装置。
【請求項１１】
前記マージ手段は、前記撮像装置において前記記憶手段に記憶されている同じ人物の辞書データを前記撮像装置の同じ人物の辞書データとマージするように、前記通信手段を介して当該記憶手段に記憶されている同じ人物の辞書データを前記撮像装置へ転送することを特徴とする請求項６に記載の情報処理装置。
【請求項１２】
前記撮像装置は、撮影した画像に含まれる人物を特定し、当該画像に人物の名前を表示する検索手段と、
前記情報処理装置から取得した同じ人物の辞書データを、前記撮像装置の同じ人物の辞書データとマージするマージ手段と、を有することを特徴とする請求項６乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記同じ人物の辞書データのマージを、前記情報処理装置で実行するか、前記撮像装置で実行するかを任意に選択する選択手段を更に有することを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
被写体の画像を撮影する撮像装置であって、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する情報処理装置と通信する通信手段と、
前記通信手段により前記情報処理装置と接続された状態において、前記情報処理装置から、前記記憶手段に記憶している辞書データよりも新しい辞書データが転送された場合に、前記記憶手段に記憶している辞書データを当該新しい辞書データに更新する更新手段と、を有することを特徴とする撮像装置。
【請求項１５】
被写体の画像を撮影する撮像装置であって、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する情報処理装置と通信する通信手段と、
前記情報処理装置から辞書データを取得する取得手段と、
前記情報処理装置から取得した同じ人物の辞書データを、前記記憶手段に記憶されている同じ人物の辞書データとマージするマージ手段と、を有することを特徴とする撮像装置。
【請求項１６】
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、を有する情報処理装置の制御方法であって、
前記通信手段により前記撮像装置と接続された状態において、前記撮像装置が有する辞書データと、前記記憶手段に記憶している辞書データとを比較し、前記記憶手段に記憶されている辞書データの方が新しい場合、前記撮像装置の辞書データを前記記憶手段に記憶された新しいものに更新する辞書編集工程を有することを特徴とする制御方法。
【請求項１７】
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、を有する情報処理装置の制御方法であって、
前記撮像装置から辞書データを取得する取得工程と、
前記撮像装置から取得した辞書データに、前記記憶手段に記憶されている辞書データと同じ人物の辞書データが存在するか判定する判定工程と、
前記撮像装置から取得した同じ人物の辞書データを、前記記憶手段に記憶されている同じ人物の辞書データとマージするマージ工程と、を有することを特徴とする制御方法。
【請求項１８】
被写体の画像を撮影する撮像手段と、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する情報処理装置と通信する通信手段と、を有する撮像装置の制御方法であって、
前記通信手段により前記情報処理装置と接続された状態において、前記情報処理装置から、前記記憶手段に記憶している辞書データよりも新しい辞書データが転送された場合に、前記記憶手段に記憶している辞書データを当該新しい辞書データに更新する更新工程を有することを特徴とする制御方法。
【請求項１９】
被写体の画像を撮影する撮像手段と、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する情報処理装置と通信する通信手段と、を有する撮像装置の制御方法であって、
前記情報処理装置から辞書データを取得する取得工程と、
前記情報処理装置から取得した同じ人物の辞書データを、前記記憶手段に記憶されている同じ人物の辞書データとマージするマージ工程と、を有することを特徴とする制御方法。
【請求項２０】
コンピュータを、請求項１ないし１３のいずれか１項に記載の情報処理装置、もしくは請求項１４または１５に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項２１】
コンピュータを、請求項１ないし１３のいずれか１項に記載の情報処理装置、もしくは請求項１４または１５に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【請求項１】
画像データに含まれる人物を特定する機能を有する情報処理装置であって、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、
前記通信手段により前記撮像装置と接続された状態において、前記撮像装置が有する辞書データと、前記記憶手段に記憶している辞書データとを比較し、前記記憶手段に記憶されている辞書データの方が新しい場合、前記撮像装置の辞書データを前記記憶手段に記憶された新しいものに更新する辞書編集手段と、を有することを特徴とする情報処理装置。
【請求項２】
前記辞書データは、人物ごとの情報ファイルを有し、当該情報ファイルには、顔画像データ、撮影日時、及び識別情報が含まれており、
同一の人物について所定の年代別に複数の辞書データが作成されることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記記憶手段に存在する辞書データのうち、前記撮像装置には存在しない辞書データがあるか判定する判定手段と、
前記撮像装置には存在しない辞書データが存在する場合、その辞書データの中から現在の日時から所定の間隔以上離れていない辞書データをリストに登録する登録手段と、
前記リストから前記撮像装置に追加する辞書データを任意に選択する選択手段と、を更に有することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記通信手段を介して画像データを前記撮像装置へ転送する転送手段と、
前記画像データを転送する際に、前記画像データから抽出された被写体の特徴量を基に、前記記憶手段に該当する辞書データが存在するか判定する判定手段と、を更に有し、
前記辞書編集手段は、前記該当する辞書データが前記記憶手段に存在した場合に、前記画像データと前記該当する辞書データを前記撮像装置に転送することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項５】
前記撮像装置から削除する画像データを選択する選択手段と、
前記画像データを削除する際に、前記選択された画像データから抽出した被写体の特徴量から、前記記憶手段に該当する辞書データがあるか判定する判定手段と、を更に有し、
前記辞書編集手段は、前記該当する辞書データが前記撮像装置に存在した場合に、前記選択した画像データと前記該当する辞書データを前記撮像装置から削除することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項６】
画像データに含まれる人物を特定する機能を有する情報処理装置であって、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、
前記撮像装置から辞書データを取得する取得手段と、
前記撮像装置から取得した辞書データに、前記記憶手段に記憶されている辞書データと同じ人物の辞書データが存在するか判定する判定手段と、
前記撮像装置から取得した同じ人物の辞書データを、前記記憶手段に記憶されている同じ人物の辞書データとマージするマージ手段と、を有することを特徴とする情報処理装置。
【請求項７】
前記判定手段は、前記撮像装置から取得した辞書データに、前記記憶手段に記憶されている辞書データと同じ人物の辞書データが存在しない場合であっても、類似度が閾値以上である辞書データが存在するか判定し、
前記マージ手段は、前記類似度が閾値以上の辞書データを前記記憶手段に記憶されている辞書データとマージすることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記マージ手段は、前記類似度が閾値未満の辞書データを、新規の辞書データとして追加することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記類似度の閾値を任意に設定する設定手段を更に有することを特徴とする請求項７又は８に記載の情報処理装置。
【請求項１０】
前記マージ手段は、前記撮像装置から取得した同じ人物の辞書データを、前記記憶手段に記憶されている同じ人物の辞書データとマージし、前記通信手段を介して当該マージした辞書データを前記撮像装置へ転送することを特徴とする請求項６に記載の情報処理装置。
【請求項１１】
前記マージ手段は、前記撮像装置において前記記憶手段に記憶されている同じ人物の辞書データを前記撮像装置の同じ人物の辞書データとマージするように、前記通信手段を介して当該記憶手段に記憶されている同じ人物の辞書データを前記撮像装置へ転送することを特徴とする請求項６に記載の情報処理装置。
【請求項１２】
前記撮像装置は、撮影した画像に含まれる人物を特定し、当該画像に人物の名前を表示する検索手段と、
前記情報処理装置から取得した同じ人物の辞書データを、前記撮像装置の同じ人物の辞書データとマージするマージ手段と、を有することを特徴とする請求項６乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記同じ人物の辞書データのマージを、前記情報処理装置で実行するか、前記撮像装置で実行するかを任意に選択する選択手段を更に有することを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
被写体の画像を撮影する撮像装置であって、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する情報処理装置と通信する通信手段と、
前記通信手段により前記情報処理装置と接続された状態において、前記情報処理装置から、前記記憶手段に記憶している辞書データよりも新しい辞書データが転送された場合に、前記記憶手段に記憶している辞書データを当該新しい辞書データに更新する更新手段と、を有することを特徴とする撮像装置。
【請求項１５】
被写体の画像を撮影する撮像装置であって、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する情報処理装置と通信する通信手段と、
前記情報処理装置から辞書データを取得する取得手段と、
前記情報処理装置から取得した同じ人物の辞書データを、前記記憶手段に記憶されている同じ人物の辞書データとマージするマージ手段と、を有することを特徴とする撮像装置。
【請求項１６】
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、を有する情報処理装置の制御方法であって、
前記通信手段により前記撮像装置と接続された状態において、前記撮像装置が有する辞書データと、前記記憶手段に記憶している辞書データとを比較し、前記記憶手段に記憶されている辞書データの方が新しい場合、前記撮像装置の辞書データを前記記憶手段に記憶された新しいものに更新する辞書編集工程を有することを特徴とする制御方法。
【請求項１７】
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する撮像装置と通信する通信手段と、を有する情報処理装置の制御方法であって、
前記撮像装置から辞書データを取得する取得工程と、
前記撮像装置から取得した辞書データに、前記記憶手段に記憶されている辞書データと同じ人物の辞書データが存在するか判定する判定工程と、
前記撮像装置から取得した同じ人物の辞書データを、前記記憶手段に記憶されている同じ人物の辞書データとマージするマージ工程と、を有することを特徴とする制御方法。
【請求項１８】
被写体の画像を撮影する撮像手段と、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する情報処理装置と通信する通信手段と、を有する撮像装置の制御方法であって、
前記通信手段により前記情報処理装置と接続された状態において、前記情報処理装置から、前記記憶手段に記憶している辞書データよりも新しい辞書データが転送された場合に、前記記憶手段に記憶している辞書データを当該新しい辞書データに更新する更新工程を有することを特徴とする制御方法。
【請求項１９】
被写体の画像を撮影する撮像手段と、
人物ごとに固有の情報が登録された辞書データを作成し、記憶手段に記憶する作成手段と、
画像データに含まれる被写体の特徴量を抽出し、前記辞書データと照合して人物を特定する検索手段と、
前記検索手段による検索の結果を表示する表示手段と、
辞書データを使用して画像データに含まれる人物を特定する機能を有する情報処理装置と通信する通信手段と、を有する撮像装置の制御方法であって、
前記情報処理装置から辞書データを取得する取得工程と、
前記情報処理装置から取得した同じ人物の辞書データを、前記記憶手段に記憶されている同じ人物の辞書データとマージするマージ工程と、を有することを特徴とする制御方法。
【請求項２０】
コンピュータを、請求項１ないし１３のいずれか１項に記載の情報処理装置、もしくは請求項１４または１５に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項２１】
コンピュータを、請求項１ないし１３のいずれか１項に記載の情報処理装置、もしくは請求項１４または１５に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【図１】
【図３】
【図４】
【図６】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２１】
【図２３】
【図２】
【図５】
【図９】
【図１０】
【図１８】
【図１９】
【図２０】
【図２２】
【図２４】
【図２５】
【図２６】
【図２７】
【図３】
【図４】
【図６】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２１】
【図２３】
【図２】
【図５】
【図９】
【図１０】
【図１８】
【図１９】
【図２０】
【図２２】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１３−４５３６４（Ｐ２０１３−４５３６４Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８４０６５（Ｐ２０１１−１８４０６５）
【出願日】平成２３年８月２５日（２０１１．８．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２５日（２０１１．８．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]