電子画像蓄積方法、電子画像蓄積装置、及び電子画像蓄積システム
電子画像蓄積方法は、顔画像登録フェーズ及び画像整理フェーズを有する。前記顔画像登録フェーズは、登録画像が入力されるステップと、前記登録画像中の顔画像の顔の特徴量を求めるステップと、前記特徴量を登録顔画像として記憶するステップとを含む。前記画像整理フェーズは、整理対象画像が入力されるステップと、前記整理対象画像中の顔画像の顔の特徴量を求めるステップと、前記求めた整理対象画像中の顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出するステップと、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子画像分類装置及システム並びにこれらを用いた電子画像蓄積装置及びシステムに関し、特に、電子画像に撮影されている人物に基づいて分類、蓄積する装置及びシステムに関する。
【背景技術】
【０００２】
撮影した画像の画像データは、後日の利用のために画像管理ソフトウェアがインストールされたパーソナルコンピュータ（ＰＣ）や画像蓄積に特化したコンピュータシステムである専用の画像蓄積装置に蓄積保管される。保管に際しては、後日取り出し易いような方法で整理される。例えば、撮影日時や撮影したイベント名などを検索キーとして画像データに関連付けて記憶させる。画像の撮影日時はデジタルカメラによって自動的に各画像に付与させることができる。後日、画像データを利用する際には、前記検索キーによってコンピュータ検索すれば、所望の画像データを容易に取り出すことができる。画像プリントや画像編集、画像送信などのために画像データにアクセスした日時も自動的に該画像データと関連付けて記憶させ前記検索キーとすることができる。
【０００３】
一方、予め、任意の人物の顔の特徴量とその人物の属性とを記憶させたデータベースを参照して、テレビカメラなどが現在電子画像として捉えている画像又は録画された電子画像の再生画像中の人物の顔の特徴量によって該人物を特定する顔認識システムが知られている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
撮影日時など日時に関するデータは、撮影に用いたデジタルカメラや画像プリント、画像編集、画像送信等の為に画像データを取り扱う機器により自動的に付与させることができるので、画像データに容易に検索キーを付することができるが、イベント名などは手操作による入力作業を要する。この入力作業は手間がかかり面倒なので、画像データに適切な検索キーが付されることなく記憶、蓄積されることが多い。
【０００５】
日時データは画像データに対して容易に付与することができるが、撮影されている内容と直接的に結び付いているものではないので一般的に印象が薄く、必ずしも検索キーとして適当ではない。
【０００６】
一方、画像に誰が撮影されているかは、殆どの場合、検索目的そのものなので、後日の画像検索に重要な検索キーとなる。しかしながら、前記理由により撮影された人名が検索キーとして入力されることは少ない。
【０００７】
本発明は、画像に撮影されている被写体の属性、例えば人の名前などを前記画像に自動的に付することができ、これを用いて前記画像を自動的に分類整理する画像蓄積方法及び画像蓄積装置並びに画像蓄積システムを提供する。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によると、顔画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法は、前記顔画像登録フェーズは、登録画像が入力されるステップと、前記登録画像中の顔画像の顔の特徴量を求めるステップと、前記特徴量を登録顔画像として記憶するステップとを含み、前記画像整理フェーズは、整理対象画像が入力されるステップと、前記整理対象画像中の顔画像の顔の特徴量を求めるステップと、前記求めた整理対象画像中の顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出するステップと、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップとを含む。
本発明の第２の態様によると、第１の態様の画像蓄積方法において、前記特徴量を登録顔画像として記憶するステップは、前記特徴量と前記登録画像中の顔画像とを登録顔画像として記憶するステップであるのが好ましい。
本発明の第３の態様によると、第１又は２の態様の電子画像蓄積方法において、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像の特徴量を付加するステップであるのが好ましい。
本発明の第４の態様によると、第１又は２の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像の人物に関する属性情報を入力させるステップと、前記入力された属性情報と前記登録顔画像とを関連付けて記憶するステップとを更に含むのが好ましい。
本発明の第５の態様によると、第４の態様の電子画像蓄積方法において、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像に対応する前記属性情報を付加するステップであるのが好ましい。
本発明の第６の態様によると、第１又は２の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像に対応する画像保存用フォルダを作成するステップを更に含み、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像を前記検出した登録顔画像に対応する前記画像保存用フォルダに収納するステップであるのが好ましい。
本発明の第７の態様によると、第６の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像の特徴量を前記画像保存用フォルダと関連付けるステップとを更に含むのが好ましい。
本発明の第８の態様によると、第６の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像の人物に関する属性情報を入力させるステップと、前記属性情報の少なくとも一部を前記画像保存用フォルダと関連付けるステップとを更に含むのが好ましい。
本発明の第９の態様によると、第６の態様の電子画像蓄積方法において、前記求めた顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出できなかったとき、前記整理対象画像を予め用意された未登録顔画像フォルダに収納するステップを更に含むのが好ましい。
本発明の第１０の態様によると、第１〜９のいずれかの態様の電子画像蓄積方法において、前記画像整理フェーズは、整理対象画像中の顔の位置を示す位置情報を求めるステップを更に含み、前記画像保存用フォルダに収納するステップ又は未登録顔画像フォルダに収納するステップは、前記求めた顔の位置を示す位置情報を前記整理対象画像と関連付けて収納するのが好ましい。
本発明の第１１の態様によると、第６の態様の電子画像蓄積方法において、前記整理対象画像中に顔画像を検出されなかったとき、前記整理対象画像を予め用意された無顔画像フォルダに収納するステップを更に含むのが好ましい。
本発明の第１２の態様によると、第１又は２の態様の電子画像蓄積方法において、動作フェーズとして画像検索フェーズを更に有し、前記画像検索フェーズは、前記画像入力部に検出すべき顔画像が撮影された検索画像が入力されるステップと、前記検索画像中の顔画像の顔の特徴量を求めるステップと、前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記整理対象画像から検出するステップとを更に含むのが好ましい。
本発明の第１３の態様によると、第１２の態様の電子画像蓄積方法において、前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記未登録顔画像フォルダから検出するステップを更に含むのが好ましい。
本発明の第１４の態様によると、第１２又は１３の態様の電子画像蓄積方法において、前記検出した画像を表示するステップを更に含み、表示した画像の前記位置情報に基づく位置に、所定の表示を表示するのが好ましい。
本発明の第１５の態様によると、プログラムは、第１〜１４のいずれかの態様の方法をコンピュータに実行させるプログラムである。
本発明の第１６の態様によると、電子画像蓄積装置は、画像入力部と、顔認識部と、画像蓄積部とを備え、前記画像入力部には登録画像と整理対象画像とが入力され、前記顔認識部は、前記画像入力部に入力された前記各画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記顔画像とその特徴量とを関連付けて登録顔画像として記憶する第１の記憶部とを有し、前記画像蓄積部は、第２の記憶部を有し、前記第２の記憶部は、前記整理対象画像を収納する画像蓄積フォルダを備え、前記画像処理部が求めた前記整理対象画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに前記整理対象画像を収納して記憶する。
本発明の第１７の態様によると、第１６の態様の電子画像蓄積装置において、前記第１の記憶部と前記第２の記憶部とは一つの記憶部として構成されるのが好ましい。
本発明の第１８の態様によると、第１６の態様の電子画像蓄積装置において、画像検索部を更に備え、前記画像入力部には検索画像が更に入力され、前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに収納された前記整理対象画像を抽出するのが好ましい。
本発明の第１９の態様によると、第１６の態様の電子画像蓄積装置において、画像検索部を更に備え、前記画像入力部には検索画像が更に入力され、前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の顔画像を含む整理対象画像を前記未登録顔画像フォルダから抽出するのが好ましい。
本発明の第２０の態様によると、画像撮像装置は、撮影手段を含む画像入力部と、顔認識部と、登録顔画像と整理対象画像とを記憶する記憶部とからなり、前記画像入力部には、前記画像撮影手段で撮影した画像が前記整理対象画像として入力され、前記記憶部は、前記登録顔画像の顔の特徴量を記憶する第１の記憶部と、前記整理対象画像を記憶する第２の記憶部とを有し、前記顔認識部は、前記整理対象画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記画像処理部が求めた前記整理対象画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する画像比較部とを有し、前記第２の記憶部は、前記整理対象画像を前記画像処理部が求めた前記画像中の顔画像の顔の特徴量に該当する前記登録顔画像の顔の特徴量と関連付けて記憶する。
本発明の第２１の態様によると、第２０の態様の画像撮像装置において、前記第１の記憶部は、前記登録顔画像の特徴量を外部から読み込んで記憶するのが好ましい。
本発明の第２２の態様によると、第２０の態様の画像撮像装置において、前記入力部には前記登録画像が更に入力され、前記画像処理部は、前記入力部に入力された登録画像中の顔画像の顔の特徴量を更に求め、前記第１の記憶部は、前記画像処理部が求めた前記顔画像の顔の特徴量を前記登録顔画像として記憶するのが好ましい。
本発明の第２３の態様によると、電子画像蓄積システムは、表示部と画像入力部と属性入力部とを有し、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と所望の人物の顔画像を含む検索画像とが前記画像入力部に入力される端末装置と、入力された前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記登録画像中の顔画像の特徴量を登録顔画像として記憶する第１の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶すると共に前記登録画像の属性情報を記憶する第２の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、前記各装置を互いに情報授受可能に接続する通信網とから成り、前記端末装置は、前記画像入力部に入力された登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と前記属性入力部に入力された属性情報とを前記画像蓄積装置に送信し、前記表示部に前記画像蓄積装置から受けた検出画像を表示し、前記画像蓄積装置は、前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、前記顔認識装置から各登録顔画像を識別する符号を受け、前記属性情報を前記符号と関連付けて前記第２記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶し、前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信し、前記顔認識装置は、前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第１の記憶部に記憶し、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
本発明の第２４の態様によると、第２３の態様の電子画像蓄積システムにおいて、前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶することは、前記蓄積画像を前記第２記憶部の前記符号が示す登録顔画像に対応する前記収納場所に記憶することであるのが好ましい。
本発明の第２５の態様によると、第２３の態様の電子画像蓄積システムにおいて、前記顔画像と前記収納場所とは、前記属性情報によって対応付けられているのが好ましい。
本発明の第２６の態様によると、電子画像蓄積システムは、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する第１の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する第２の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、前記顔認識装置と前記画像蓄積装置と端末装置とを互いに情報授受可能に接続する通信網とから成り、前記画像蓄積装置は、前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、前記顔認識装置から各登録顔画像を識別する符号を受け、前記属性情報を前記符号と関連付けて前記第２記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶し、前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信し、前記顔認識装置は、前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第１の記憶部に記憶し、記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
本発明の第２７の態様によると、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有し、端末装置及び画像蓄積装置と通信手段で情報授受可能に結ばれた顔認識装置は、前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記記憶部に記憶し、記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
本発明の第２８の態様によると、登録顔画像毎に夫々対応する収納場所を有し蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する記憶部を有し、端末装置及び顔認識装置と通信手段で情報授受可能に結ばれた画像蓄積装置は、前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、前記顔認識装置から各登録顔画像を識別する符号を受けると共に、前記属性情報を前記符号と関連付けて前記記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記記憶部に記憶し、前記画像検索部によって前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信する。
本発明の第２９の態様によると、画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法は、前記画像登録フェーズは、登録画像が入力されるステップと、前記登録画像中の対象物の特徴量を求めるステップと、前記特徴量を登録画像として記憶するステップとを含み、前記画像整理フェーズは、蓄積画像が入力されるステップと、前記蓄積画像中の対象物の特徴量を求めるステップと、前記求めた蓄積画像中の対象物の特徴量に該当する特徴量を前記登録画像から検出するステップと、前記蓄積画像と前記検出した登録画像とを関連付けるステップとを含む。
本発明の第３０の態様によると、電子画像蓄積方法は、登録用画像の中から被写体を特定する特定情報を抽出し、前記抽出した被写体の特定情報を登録し、蓄積対象画像を入力し、前記蓄積対象画像の中から被写体を特定する特定情報を抽出し、前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記蓄積対象画像を前記登録した被写体の特定情報に関連付けて記憶装置に蓄積する。
本発明の第３１の態様によると、第３０の態様の電子画像蓄積方法において、前記被写体は人物であり、前記被写体を特定する特定情報は、人物の顔の画像から抽出できる情報であり、前記蓄積画像は、前記特定情報に基づき、人物単位に管理されるように前記記憶装置に蓄積されるのが好ましい。
本発明の第３２の態様によると、電子画像蓄積装置は、登録用画像と蓄積対象画像を入力する画像入力部と、前記入力された蓄積対象画像を蓄積する記憶部と、前記入力された登録用画像の中から被写体を特定する特定情報を抽出し、登録する特定情報登録部と、前記入力された蓄積対象画像の中から被写体を特定する特定情報を抽出する特定情報抽出部と、前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記入力された蓄積対象画像を前記登録した被写体の特定情報に関連付けて前記記憶装置に蓄積する制御部とを備える。
【発明の効果】
【０００９】
本発明は、以上説明したように構成しているので、次のような効果を奏する。
電子画像を被写体を特定する特定情報や特徴量に関連付けて蓄積するので、自動的にかつ適切に分類し整理することができる。すなわち、電子画像を、煩わしい操作を不要とし、かつ、適切に分類および整理をすることができる。特に、被写体である人物の顔の画像から抽出した情報に基づいて分類するので、電子画像の中に撮像されている人物単位に適切に分類がなされる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態例装置の構成を示すブロック図。
【図２】図１の装置による処理の流れを示した図。
【図３】図１の装置による画像登録フェーズの処理の流れを示した図。
【図４】図１の装置による画像整理フェーズの処理の流れの前半を示した図。
【図５】図１の装置による画像整理フェーズの処理の流れの後半を示した図。
【図６】図１の装置による画像検索フェーズの処理の流れを示した図。
【図７】本発明の実施の形態例システムの構成を示すブロック図。
【図８】図７のシステムによる画像登録フェーズの処理の流れを示した図。
【図９】図７のシステムによる画像整理フェーズの処理の流れの前半を示した図。
【図１０】図７のシステムによる画像整理フェーズの処理の流れの後半を示した図。
【図１１】図７のシステムによる画像検索フェーズの処理の流れを示した図。
【図１２】登録画像に線枠のマークが表示された状態を示した図。
【図１３】登録顔画像の内容を説明する図。
【図１４】蓄積画像に線枠のマークが表示された状態を示した図。
【図１５】蓄積画像に属性が表示された状態を示した図。
【図１６】画像蓄積フォルダの種類と各フォルダに収納される画像を説明する図。
【図１７】他の蓄積画像を示した図。
【図１８】図７のシステムにおける登録顔画像の属性情報の内容を説明する図。
【図１９】図７のシステムにおける登録顔画像情報の内容を説明する図。
【図２０】プログラムをコンピュータに提供する様子を示す図。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明装置の構成の概要を示すブロック図である。本発明装置は、コンピュータ装置ないしコンピュータシステムによって所定のプログラムを実行することにより実現される。
【００１２】
１１は記憶媒体読み取り手段や、外部機器からデータを受信するデータ通信手段などで構成され、画像が入力される画像入力部である。画像入力部１１には登録画像、蓄積画像、検索画像が入力される。１２はキーボードなどの入力手段で構成され、前記登録画像に撮影されている人物の属性、例えば氏名が入力される属性入力部である。１４は画像を表示する表示部である。
【００１３】
２１は顔認識部であり、画像処理部１５と第１の記憶部１３１とで構成されている。画像処理部１５は画像入力部１１に入力された画像に含まれる人物の顔の部分の画像（以下、顔画像という）を解析してその顔の特徴量を求める。第１記憶部１３１はハードディスク装置、光磁気記憶装置、ＣＤ−Ｒなどで構成され、登録画像中の顔画像と画像処理部１５が求めた前記顔画像の顔の特徴量（以下、単に顔画像の特徴量という）と前記人物に関する属性とを、後述する顔認識処理の参照データとなる登録顔画像として記憶する。画像処理部１５は更に、前記求めた顔の特徴量と第１記憶部１３１に記憶した顔画像の特徴量とを比較して、前記求めた顔の特徴量に該当する特徴量の登録顔画像を抽出する。
【００１４】
２２は画像蓄積部であり、第２の記憶部１３２で構成されている。第２記憶部１３２はハードディスク装置、光磁気記憶装置、ＣＤ−Ｒなどで構成され、画像入力部１１に蓄積画像として入力された画像を蓄積・記憶する。その際、画像処理部２１が行う、蓄積画像中の顔画像の特徴量と登録顔画像の特徴量とに基づいて蓄積画像中の人物を識別する顔認識処理の結果に基づいて、前記蓄積画像と識別した人物の属性とを関係付けると共に前記蓄積画像を分類して蓄積・記憶する。なお、第１記憶部１３１と第２記憶部１３２とは、図１に１３で示したように一つの記憶部の一部として構成されることが多い。
【００１５】
１７は画像蓄積部２２の蓄積画像から所望の画像を取り出す画像検索部である。画像検索部１７は、属性入力手段１２から入力された検索キーワードと蓄積画像に関係付けられた属性に基づいて所望の画像を検索する。更に、顔認識部２１に、画像入力部１１に入力された検索画像中の顔画像の特徴量を求めさせると共に前記求めた特徴量と登録顔画像の特徴量とに基づいて検索画像中の人物を識別する顔認識処理を行わせ、その結果に基づいて検索画像中の人物の属性に対応する属性の人物が撮影された蓄積画像を取りだして表示部１４に表示する。即ち、画像検索部１７は顔認識部２１と協同するか、若しくは包含する。
【００１６】
１８は上記各部に接続され上記各部の動作を制御する制御部である。
【００１７】
次に、本発明装置による画像の取扱を説明する。本発明装置による画像の取扱いには三つのフェーズがある。
【００１８】
第１の顔画像登録フェーズでは、後の画像整理フェーズで入力される画像中から検出すべき人物の顔画像をその人物の属性と共に第１記憶部１３１に登録顔画像として記憶させる。第２の画像整理フェーズでは、入力された画像に撮影されている人物の顔画像を検出すると共に、登録顔画像として記憶されている顔画像に該当する人物を検知し、前記画像を前記検知した人物の属性情報と関連付けて第２記憶部１３２に蓄積画像として蓄積・記憶させる。前記属性情報は、後の画像検索フェーズにおいて検索キーとして用いられる。第３の画像検索フェーズでは、検索条件の入力を受け、該検索条件によって第２記憶部１３２の蓄積画像を検索し、該検索条件に合致する画像を取り出す。
【００１９】
本発明装置を起動させると図２に手順を示した処理が行われる。即ち、ステップ２１（図中ではＳ２１と記す。他のステップも同様とする。）において、前記三つのフェーズの一つを選択させる画面が表示される。前記画面には処理を終了させる処理を選択する表示も表示されている。
【００２０】
ステップ２２において、マウスなどにより任意の処理が選択される。ステップ２３において、処理の終了が選択されたかを判断する。処理の終了が選択された場合には処理を終了する。それ以外の場合はステップ２４に進む。ステップ２４において、前記選択されたフェーズの処理を実行してステップ２１に戻る。
【００２１】
以下、各フェーズを詳細に説明する。図３に顔画像登録フェーズの処理手順を、図４、図５に画像整理フェーズの処理手順を、図６に画像検索フェーズの処理手順を示す。
【００２２】
顔画像登録フェーズの処理（図３参照）では、ステップ３１において、画像入力部１１に所望の人物の顔が撮影された画像が登録画像として入力される。入力された登録画像は表示部１４に表示される。
【００２３】
ステップ３２において、画像処理部１５が前記登録画像を解析して、該登録画像に撮影されている人物の顔画像を検出あるいは抽出する。検出した顔画像の位置に線枠などのマークが表示される。複数の顔画像が検出された場合には、夫々の顔画像の位置に前記マークが表示される。図１２は、前記入力された登録画像１２０に前記線枠のマーク１２１〜１２５が表示された状態を示した図である。顔画像が一つも検出されない場合は、図示していないが、その旨を表示するエラー処理を行って処理を終了する。
【００２４】
ステップ３３において、マウスなどの指示装置によって前記マークが表示された顔画像のうち、任意の人物の顔画像が一つ選択される。表示部１４には選択終了ボタンが前記画像と共に表示される。前記顔画像の一つが選択された時、又は前記選択終了ボタンが選択された時にステップ３４に進む。なお、検出した顔画像が一つのみの場合はその顔画像が自動的に選択され、このステップはスキップされるようにしても良い。
【００２５】
ステップ３４において、ステップ３３で選択された顔画像の有無を判断し、あればステップ３５に進み、無ければ処理を終了する。選択された顔画像が無いのは、登録すべき全ての人物の顔画像が登録され、未登録の人物の顔画像が無くなった時、又は有っても登録の必要のない人物の顔画像のみとなった時である。
【００２６】
ステップ３５において、画像処理部１５が前記選択された顔画像の特徴量を求める（抽出する）。前記特徴量は、顔の輪郭の縦横比や、目、鼻、口の相対的位置及び顔輪郭に対する位置、夫々の形状及び大きさ等を含み、個人を十分な精度で識別可能な特徴量である。すなわち、顔画像の特徴量は、被写体である各人物を特定することが可能な情報である。なお、顔画像自体も各人物を特定することができる情報である。前記特徴量を求めるための処理は、「従来の技術」の欄で述べたシステムに用いられる処理と同様の処理である。
【００２７】
ステップ３６において、前記選択された人物の属性が入力部１２から入力される。ステップ３７において、前記画像の前記選択された顔画像を前記特徴量及び前記属性と関連付けて第１記憶部１３１に登録顔画像として記憶して登録する。
【００２８】
ステップ３８において、画像蓄積フォルダを作成する。その際、フォルダ名をステップ３６で入力された属性の一部、例えばその人物の名前などとする。顔画像の特徴量をフォルダ名としても良い。
【００２９】
ステップ３９において、前記選択された顔画像に対する前記マークを消去する。ステップ４０において、他に検出された顔画像があるか否かを判断し、あればステップ３３に戻り、無ければ処理を終了する。
【００３０】
この様にして、登録顔画像として記憶（登録）すべき顔画像が第１記憶部１３１に記憶される。図１３は図１２の枠線１２３の人物を除き登録顔画像として記憶された場合の第１記憶部１３１の記憶内容を示した図である。ＩＤ１は図１２のマーク１２１の「Ａさん」に、ＩＤ２はマーク１２２の「Ｂさん」に、ＩＤ３はマーク１２４の「Ｃさん」に、ＩＤ４はマーク１２５の「Ｄさん」にそれぞれ対応する。登録顔画像は、図１２の登録画像１２０から抽出したそれぞれの顔画像データが格納される。表示していないが少なくとも特徴量の欄にはデータが記入されている。この場合、ステップ３８において、フォルダ名「Ａさん」、「Ｂさん」、「Ｃさん」、「Ｄさん」の４つの画像蓄積フォルダが作成されている。その他に「未登録顔画像」フォルダ及び「無人画像」フォルダが予め作成されている。
【００３１】
画像整理フェーズの処理を図４、図５を参照して説明する。図４、図５の処理は一連の処理であるが、紙面の都合により前半を図４に、後半を図５に示した。
【００３２】
ステップ４１において、ＤＳＣなどの外部機器から整理すべき対象画像、即ち蓄積画像が入力される。ステップ４２において、画像処理部１５が前記蓄積画像を解析して、前記蓄積画像中に撮影されている顔画像を検出する。前記顔画像の位置に線枠などのマークが表示される。複数の顔画像が検出された場合には、夫々の顔画像の位置に前記マークが表示される。図１４は蓄積画像１４０に前記線枠のマーク１４１〜１４３が表示された状態を示した図である。
【００３３】
ステップ４３において、前記蓄積画像中に顔画像があるか否か、即ち前記線枠などのマークの有無を判断する。前記マークがあればステップ４４に進み、なければステップ１４４に進む。ステップ１４４では、該蓄積画像を、人物が撮影されていない画像の保管用に予め用意された無人画像フォルダに収納して処理を終了する。
【００３４】
ステップ４４において、画像処理部１５が前記検出した顔画像を処理してその顔画像の特徴量を求める。該顔画像の特徴量を検出するための処理は前記画像登録フェーズのステップ３５と同じである。
【００３５】
ステップ４５において、第１記憶部１３１の登録顔画像の特徴量を参照して、前記検出した特徴量に該当する登録顔画像を検出する。そして、ステップ４６において、前記検出された登録顔画像と関連付けられた属性、例えば名前を前述の処理をした顔画像の近傍に表示する。蓄積画像中に検出された全ての顔画像についてステップ４４〜ステップ４６の処理を行う。検出した特徴量に該当する登録顔画像が無いときは未登録である旨を表示する。
【００３６】
図１５は蓄積画像１４０に前記属性および未登録である旨が表示された状態の図であり、図１３の登録顔画像に含まれている顔画像１５１と１５２には、その属性「Ａさん」、「Ｄさん」が表示され、前記登録顔画像に含まれていない顔画像１５３には「未登録」が表示される。前記蓄積画像と同時に収納ボタン１５４と追加登録ボタン１５５とキャンセルボタン１５６とが表示される。なお、以下、該当する登録顔画像が検出された顔画像を検出顔画像、登録顔画像が無い顔画像を未登録顔画像と言う。
【００３７】
ステップ４７において、マウスなどの指示装置により前記収納ボタン１５４、追加登録ボタン１５５、キャンセルボタン１５６のいずれのボタンが選択されたかを判断する。そして、収納ボタン１５４の選択に応じてステップ４８に、追加登録ボタン１５６の選択に応じてステップ１４８に、キャンセルボタン１５６の選択に応じてステップ２４８に進む。ここで、前記各ボタンが選択される前に、前記顔画像がマウスなどで選択された場合は該選択された顔画像だけがその後の処理の対象とされる。前記顔画像の選択は複数を選択することができる。
【００３８】
ステップ４８において、前記蓄積画像が、特徴量が該当する登録顔画像に対応する画像蓄積フォルダに収納される。特徴量が該当する登録顔画像が複数ある場合、即ち顔画像が登録されている人物が複数撮影されている場合は、各登録顔画像に対応する全ての画像蓄積フォルダに前記蓄積画像が収納される。即ち、前述の場合、図１４の蓄積画像はフォルダ「Ａさん」とフォルダ「Ｄさん」とに収納される。
【００３９】
なお、蓄積画像を画像保存フォルダに収納するとは、蓄積画像と画像保存フォルダとを対応付けること、又は、前記蓄積画像と特徴量が該当する登録画像に対応する属性情報とを関連付けること、前記蓄積画像の画像ファイルに前記属性情報を付加することも含むものとする。なお、ステップ３８において顔画像の特徴量をフォルダ名とした場合には前記蓄積画像と前記特徴量とを関連付ける。前記蓄積画像の画像ファイルに前記特徴量を付加しても良い。
【００４０】
ステップ４９において、ステップ４８の処理の対象となった検出顔画像のマークが消去されてステップ５０に進む。検出顔画像に対して表示された名前が違っているものがある場合には、正しい表示の検出顔画像をマウスで選択した後に収納ボタンを選択する。その結果、選択された検出顔画像、即ち正しい表示の検出顔画像に対応する登録顔画像の画像蓄積フォルダに蓄積画像が収納される。一方、選択されなかった検出顔画像は未登録顔画像とされる。元々の未登録顔画像はそのまま維持される。
【００４１】
ステップ１４８において、前記未登録顔画像を対象として前記顔画像登録フェーズのステップ３３〜ステップ４０の処理が実行される。即ち、未登録顔画像を登録顔画像に追加登録する処理が行われる。そして、この処理の中で登録された顔画像に対応する画像蓄積フォルダが作成される。但し、ステップ３５は画像整理フェーズのステップ４４と重複するので除外される。追加登録の必要が無い未登録顔画像は、後述のステップ２４８の処理の対象としてキャンセルする。
【００４２】
ステップ１４９において、前記蓄積画像がステップ１４８の処理で作成された画像蓄積フォルダに収納されると共に、このステップの処理の対象となった未登録顔画像のマークが消去されステップ５０に進む。選択されなかった検出顔画像は、ステップ１４８、ステップ１４９の処理後もそのまま維持される。
【００４３】
ステップ２４８において、ステップ４２で顔画像に付されたマーク及びステップ６で顔画像に表示された名前が消去される。このステップの処理の対象となった全ての顔画像のマークや名前が消去される。
【００４４】
ステップ２４９において、キャンセル対象となった未登録顔画像を含む蓄積画像は、前記未登録顔画像の位置情報及び特徴量と関連付けられると共に未登録顔画像フォルダに収納されステップ５０に進む。前述の例において、顔画像１５３をステップ１４８による追加登録の対象とせず、ステップ２４８によりキャンセルすると、図１４の画像は予め用意された「未登録顔画像」フォルダにも収納される。検出顔画像の一部だけをこの処理の対象としたい場合は、予め処理の対象とする顔画像をマウスで選択した後にキャンセルボタン１５６を選択する。
【００４５】
ステップ５０において、ステップ４８、ステップ１４８、ステップ２４８のいずれの処理もされていない顔画像が残っているかを判断し、残っていればステップ４７に戻り、残っていなければ処理を終了する。
【００４６】
図１６は、上記処理により図１７の画像１７０を更に整理蓄積したときに、各画像蓄積フォルダに収納されている画像を示した図である。フォルダ「Ａさん」１６１に図１４の画像１４０と図１７の画像１７０とが、フォルダ「Ｂさん」１６２に図１７の画像１７０が、フォルダ「Ｄさん」１６４に図１４の画像１４０が、フォルダ「未登録」１６５に図１４の画像１４０が、夫々収納されている。フォルダ「Ｃさん」１６３とフォルダ「無人画像」１６６には画像が一つも収納されていない。
【００４７】
検出顔画像と未登録顔画像とが混在する画像の場合には、例えばステップ４７において、まず収納ボタン１５４を選択して各検出顔画像に対応する画像蓄積フォルダに蓄積画像を収納し、次に、未登録顔画像の中で登録顔画像として登録しておきたい人物の顔画像をマウスで選択した後、追加登録ボタン１５５を選択して前記顔画像登録フェーズの処理手順に従って所要の登録操作を行う。次に、キャンセルボタン１５６を選択して残った未登録顔画像の処理を放棄する。
【００４８】
最初に蓄積画像を画像蓄積フォルダに収納する必要のない人物の顔画像や追加登録する必要のない人物の顔画像をマウスで選択した後にキャンセルボタン１５６を選択してこれらを処理対象から除外した後、収納ボタン１５４又は追加登録ボタン１５５を選択しても良い。即ち収納ボタン１５４、追加登録ボタン１５５、キャンセルボタン１５６は適宜の順に選択することができる。
【００４９】
さて、同一人物の顔画像であっても顔の向きや表情の違いによって求めた顔の特徴量に若干の相異が生ずることがある。また、加齢によっても顔の特徴量は多少変化する。そこで、前記ステップ４８の処理と同時に、ステップ４５で検出した特徴量によって登録顔画像に関連付けられた特徴量に修正を加えるか、前記登録画像に前記検出した特徴量を更に関連付けて記憶させることが好ましい。蓄積画像の顔画像に対応する登録顔画像をより正確に検出することができる。
【００５０】
両画像の特徴量に所定量以上の差がある場合に前記特徴量の修正又は追加を行うようにしても良い。また、登録画像、蓄積画像には、各画像が撮影された撮影日時が撮影したデジタルカメラによって関連付けられている。登録画像の撮影日時と蓄積画像の撮影日時とを参照して、両者間に所定日数以上の時間経過がある場合に前記特徴量の修正又は追加を行うようにしても良い。
【００５１】
更に、顔画像登録フェーズのステップ３６で入力された属性が既に記憶されたものと重複した場合、特徴量の更新を行うか否かを確認の上で記憶済みの特徴量の修正又は追加を行うようにしても良い。
【００５２】
次に画像検索フェーズを説明する。画像検索フェーズでは前記第２記憶部１３２の蓄積画像から所望の人物が撮影された画像を抽出するために、２種類の画像検索方法を選択的に用いることができる。その一は、検索部１８が、入力された検索キーワードに基づいて蓄積画像についてフォルダ名、画像ファイル名、これらに関連付けられた属性情報を検索して該当する画像を抽出する方法であり、主に、所望の人物の顔画像が登録顔画像に登録されている人物、即ち所望の人物の属性が知れている場合に用いられる。この方法は周知の方法である。
【００５３】
その二は、入力された顔画像の特徴量と一致する特徴量の顔画像が含まれる画像を抽出する検索方法であり、主として、所望の人物の顔画像が登録顔画像に登録されていない人物である場合に用いられる方法である。以下、この場合の方法をその処理手順を示した図６を参照して説明する。
【００５４】
ステップ６１において、所望の人物の顔画像が撮影された検索画像が入力される。ステップ６２において、画像処理部１５が前記検索画像を解析して、前記画像に撮影されている未登録顔画像を検出し、検出した顔画像の位置に線枠などのマークを表示する。複数の未登録顔画像が検出された場合には、夫々の顔画像の位置に前記マークを表示する。
【００５５】
ステップ６３において、マウスなどの指示装置によって所望の未登録顔画像が選択される。表示部１４には選択終了ボタンが前記検索画像と共に表示され、該選択終了ボタンが選択された時にステップ６４に進む。検出した未登録顔画像が一つのみの場合はその顔画像が自動的に選択され、このステップはスキップされるようにしても良い。以下、選択された顔画像を検索顔画像と言う。
【００５６】
ステップ６４において、画像処理部１５が前記検索顔画像の特徴量を求める。ステップ６５において、画像検索部１７が未登録顔画像フォルダ中の画像と関連付けられた顔画像の特徴量を参照して、画像処理部１５が求めた前記検索顔画像の特徴量に該当すると思われるものを検出する。画像処理部１５の顔画像比較機能を利用して前記処理を行うようにしても良い。
【００５７】
ステップ６６において、前記検出した特徴量に関連付けられた画像、即ち前記検索顔画像の特徴量に該当すると思われる特徴量の顔画像を含む画像を表示部１４に表示すると共に、該画像と関連付けて記憶されている位置情報に基づいて該位置情報の位置にマークを表示する。その結果、前記該当すると思われる顔画像にマークが付される。表示部１４には前記画像と同時に参照顔画像登録フェーズを開始させるボタンと処理終了ボタンとが表示される。
【００５８】
ステップ６７において、いずれのボタンが選択されたかを判定し、前者のボタンの選択に応じてステップ６８に進み、後者のボタンの選択に応じて処理を終了する。ステップ６８において、前記顔画像登録フェーズを実行して処理を終了する。
【００５９】
この検索方法によれば、所望の人物の顔画像が予め登録顔画像に登録されていなくても、その人物が撮影されている画像を容易に抽出することができる。例えば、図１２の画像を検索画像とし、線枠１２３の顔画像を検索顔画像とすれば、図１６のフォルダ「未登録」から図１４の画像が抽出される。
【００６０】
なお、ステップ６２において全ての顔画像を検出するようにすると共に、ステップ６５において登録顔画像に対応する画像保存フォルダを検索対象とすれば、顔画像を登録済みだが名前等の属性を忘れてしまった人物が撮影された画像を抽出することができる。ステップ３８及びステップ４８において顔画像の特徴量を用いた場合には、ステップ６４では求めた特徴量をフォルダ名とする画像保存フォルダに収納されている画像を抽出すれば良い。
【００６１】
また、ステップ４８の処理を行う際に、各蓄積画像に該蓄積画像を収納するフォルダに対応する顔画像の位置を示す位置情報を関連付けて記憶させれば、前記画像保存フォルダに収納されている画像を表示する際に、検索顔画像に該当する人物の顔の位置にその人物の名前等の属性情報を表示するようにすることができる。抽出する人物の名前を忘れても確認することができる。更に、ステップ４８において、検出した全ての登録顔画像の位置と属性情報とを蓄積画像と関連付けて記憶させておけば検索顔画像の人物以外の人物についても名前を表示することができる。
【００６２】
以上説明した方法は、画像蓄積装置のみならず画像撮影装置においても実現することができる。その場合には、前記画像入力部に画像撮影手段を備え、前記画像撮影手段で撮影した画像を前記整理対象画像（蓄積画像）とし、前記第２の記憶部を前記撮影した画像を記録する記憶媒体とする。その結果、撮影した画像を撮影と同時に所望の分類に分けて画像撮影装置の記録媒体に記録することができる。なお、登録顔画像とその属性情報とは前記画像蓄積装置が記憶する登録顔画像を読み込んで記憶しても良いし、撮影した画像を登録画像としても良い。
【００６３】
図７は上記各フェーズの処理をコンピュータネットワーク上で実施した場合のシステムの構成例を示した図である。図１の構成と同様の機能の構成には同一符号を付した。前記システムは顔認識を行う顔認識コンピュータ（以下顔認識ＣＰＵ）７１と、画像を蓄積保管する画像蓄積サーバ７２と、利用者が操作する端末装置としてのパーソナルコンピュータ（ＰＣ）７３と、これらを結ぶ通信手段、例えばインターネット７４とで構成されている。画像蓄積サーバ７２は、例えばインターネットのプロバイダや画像プリント業者などが提供する画像預かりサービス用のサーバ等である。顔認識ＣＰＵ７３は顔認識サービスを提供する業者のコンピュータである。
【００６４】
顔認識ＣＰＵ７１は、入力された画像中の顔画像の特徴量と求める特徴量検出部１５１と、登録顔画像の特徴量を含む登録顔画像情報７１１が記憶された記憶部１３１と、特徴量検出部１５１が検出した特徴量に該当する特徴量の登録顔画像を抽出する顔画像検索部１５２とを備えている。特徴量検出部１５１と顔画像検索部１５２とで前述の実施の形態例の画像処理部１５が構成される。
【００６５】
画像蓄積サーバ７２は蓄積画像７２１と登録顔画像の人物の属性情報等７２２とを記憶した記憶部１３２と画像検索部１７とを備えている。前記蓄積画像７２１は画像蓄積フォルダ７２３に収納されている。
【００６６】
ＰＣ７３は一般的仕様のＰＣであり、表示部１４やキーボード、マウスなどを備えると共に、本システム用のプログラムがインストールされ、該プログラムによって記憶媒体読取部や外部機器接続部、例えば外部記憶装置が接続されたＵＳＢコネクタが画像入力部１１として、キーボードが属性入力部１２として作用する。キーボードは他の文字情報の入力などにも用いられる。
【００６７】
以下、前述の実施の形態例と異なる点を中心に各フェーズにおける処理を説明する。各フェーズにおける処理の内容には、前述の実施の形態例と同様の処理を行うステップが含まれると共に、それらのステップの処理を顔認識ＣＰＵ７１と画像蓄積サーバ７２とＰＣ７３とで分担するためのステップが追加されたものとなっている。なお、以下の説明に参照する図８〜図１１において、各ステップの処理の説明の先頭の文字は、そのステップを実行するコンピュータを示すものであり、Ｋ：は顔認識ＣＰＵ７１を、Ｓ：は画像蓄積サーバ７２を、Ｐ：はＰＣ７３を示している。
【００６８】
顔画像登録フェーズを説明する。図８のステップ８１において、登録画像と利用者に割り当てられたＩＤとがＰＣ７３の画像入力部１１及びキーボードから入力される。入力された登録画像は表示部１４に表示される。入力された登録画像とＩＤとが画像蓄積サーバ７２に送られる。
【００６９】
ステップ８２において、画像蓄積サーバ７２は、前記ＩＤと予め前記ＩＤに対応させて記憶した利用者情報（不図示）とに基づいて利用者を特定し認証すると共に前記登録画像に識別符号を付し、前記識別符号と前記登録画像とを顔認識ＣＰＵ７１に転送する。前記識別符号には前記利用者を特定する情報、例えば前記ＩＤが含まれることが好ましい。
【００７０】
ステップ８３において、顔認識ＣＰＵ７１は、前記登録画像中の顔画像を検出し、前記登録画像中における顔画像の位置を示す位置情報を求めて前記識別符号と共に画像蓄積サーバ７２に送信すると共に該顔画像を画像解析してその顔の特徴量を求め前記識別符号及び前記位置情報と共に記憶する。
【００７１】
ステップ８４において、画像蓄積サーバ７２は前記識別符号と前記位置情報とをＰＣ７３に転送する。ステップ８５において、ＰＣ７３は前記位置情報の位置にマークを表示する。その結果、ＰＣ７３に表示された登録画像の顔画像にマークが付される。
【００７２】
ステップ８６において、ＰＣ７３において、登録すべき顔画像がマウスで選択され、これに応じて表示される属性入力欄に該顔画像の人物の属性が入力される。マークが付されていても登録不要の顔画像は選択されない。選択された顔画像の位置情報と属性とが前記識別符号と共に画像蓄積サーバ７２に送信される。
【００７３】
ステップ８７において、画像蓄積サーバ７２は、受信した前記識別符号と位置情報と前記属性とを関連付けて記憶部１３２に記憶する。図１８に示した前記記憶内容が前述の登録顔画像の属性情報等７２２である。画像蓄積サーバ７２は、更に、前記属性に対応した、例えば前記属性に含まれる人名をフォルダ名とする画像蓄積フォルダ７２３を記憶部１３２に作成する。更に顔認識ＣＰＵ５１に前記受信した識別符号と位置情報とを送信する。
【００７４】
ステップ８８において、顔認識ＣＰＵ７１は、前記識別符号と前記位置情報とを受信し、前記識別符号と前記位置情報とその位置の顔画像の特徴量とを登録顔画像情報７１１として記憶部１３１に記憶する。図１９は画像認識ＣＰＵ７１が記憶した登録顔画像情報７１１の内容を示した図である。図１９の例では顔画像も登録顔画像情報として記憶した。受信した位置情報に含まれていない位置の顔画像の特徴量は破棄する。なお、図１８、図１９のＩＤは便宜上付したもので必須ではない。また、両者のＩＤが同一でも対応している必要はない。
【００７５】
ステップ８３の顔の特徴量の検出は、ステップ８８において受信した位置情報の位置の顔画像のみについて行うようにしても良い。連続して処理されるなど処理中の画像が他の画像と混同される恐れが無いステップでは前記識別符号の送受信を省略しても良い。登録顔画像の人物の属性情報も顔認識ＣＰＵ７１に記憶させることもできるが、通常、顔認識ＣＰＵ７１は画像蓄積サーバ７２の運営者により選定され、利用者が直接選択しないので個人情報保護の観点から上記のように属性情報は画像蓄積サーバ７２に記憶させることが好ましい。
【００７６】
画像整理フェーズを説明する。図９のステップ９１において、蓄積画像と前記ＩＤとがＰＣ７３に入力される。ＰＣ７３は蓄積画像を表示部１４に表示すると共に、入力された蓄積画像とＩＤとを画像蓄積サーバ７２に送信する。ステップ９２において、画像蓄積サーバ７２は前記ＩＤに基づいて利用者を特定し、前記蓄積画像を一時保管フォルダに収納すると共に顔認識ＣＰＵ７１に転送する。
【００７７】
ステップ９３において、顔認識ＣＰＵ７１は前記蓄積画像中の顔画像を検出し、前記蓄積画像中における顔画像の位置を示す位置情報と該顔画像の特徴量とを求め、登録顔画像情報７１１を参照して、前記求めた特徴量に該当する特徴量の顔画像を記憶部１３１の登録顔画像から検出する。そして、該当する特徴量の顔画像が検出された顔画像については該顔画像が含まれる登録画像の識別符号及び登録顔画像の位置情報と、前記蓄積画像中に検出した顔画像の位置情報とを画像蓄積サーバ７２に送信し、該当する特徴量の顔画像が検出されない顔画像については未登録であることを示す未登録情報と前記蓄積画像中に検出した顔画像の位置情報とを画像蓄積サーバ７２に送信する。登録画像の識別符号及び登録顔画像の位置情報を送信しないことをもって未登録情報としても良い。
【００７８】
ステップ９４において、画像蓄積サーバ７２は登録顔画像の属性情報７２２を参照して、前記識別符号及び位置情報に関連付けられた属性を検出する。属性情報７２２を顔認識ＣＰＵ７１に登録顔画像情報７１１の一部として各登録顔画像と関連付けて記憶させることもでき、その場合にはステップ９３において前記検出した登録顔画像の属性情報７１１も画像蓄積サーバ７２に送信する。ステップ９４の前記識別符号及び位置情報に関連付けられた属性を検出することは不要となる。本実施の形態例では、登録顔画像の人物に関する情報保護を重視し、属性情報７１１は画像蓄積サーバ７２に記憶させている。
【００７９】
ステップ９５において、画像蓄積サーバ７２は前記顔認識ＣＰＵ７１から受けた蓄積画像中に検出した顔画像の位置情報を前記属性又は未登録情報と共にＰＣ７３に送信する。ステップ９６において、ＰＣ７３は受信した位置情報の位置に前記属性又は未登録であることを示す未登録マークを表示する。その結果、表示部１４に表示した蓄積画像の顔画像に前記属性又は未登録マークが表示される。以下、図１０を参照する。
【００８０】
ステップ９７において、ＰＣ７３は以降の処理の対象とする顔画像のマウスによる選択入力を受ける。即ち、表示部１４に前記蓄積画像と共に収納ボタン、追加登録ボタン、キャンセルボタンを表示し、選択されたボタンに応じて夫々ステップ９８、ステップ１９８、ステップ２９８の処理に進む。
【００８１】
ステップ９８において、ＰＣ７３は選択された顔画像の位置情報を画像蓄積サーバ７２に送信する。ステップ９９において、画像蓄積サーバ７２は、前記受信した位置情報の位置の顔画像の属性に対応する画像蓄積フォルダ７２３に前記蓄積画像を蓄積画像として収納する。そして、ステップ１００に進む。
【００８２】
ステップ１９８において、前述の顔画像登録フェーズを実行する。この処理の中で登録された顔画像に対応する画像蓄積フォルダ７２３が作成される。ステップ１９９において、上記顔画像登録フェーズで作成した画像蓄積フォルダ７２３に前記蓄積画像を収納する。そして、ステップ１００に進む。
【００８３】
ステップ２９８において、ＰＣ７３はキャンセルボタンが選択されたことを画像蓄積サーバ７２に通知すると共に、ステップ９６で顔画像に表示された名前や未登録マークを消去する。このステップの処理の対象となった全ての名前や未登録マークが消去される。ステップ２９９において、画像蓄積サーバ７２は前記処理の対象となった未登録顔画像を含む蓄積画像を、前記未登録顔画像の位置情報及び特徴量と関連付けると共に予め設けられた未登録顔画像フォルダに収納する。そして、ステップ１００に進む。検出顔画像の一部だけをこの処理の対象としたい場合は、予め、処理の対象とする顔画像をマウスで選択した後にキャンセルボタンを選択する。
【００８４】
ステップ１００において、ステップ９８、ステップ１９８、ステップ２９８のいずれの処理もされていない顔画像が残っているかを判断し、残っていればステップ７に戻り、残っていなければ処理を終了する。
【００８５】
画像検索フェーズを説明する。画像検索フェーズでは、前述の実施の形態例と同様、検索キーワードに基づき、記憶部１３１の登録顔画像に登録されている人物が撮影された画像を検索する検索と、入力された検索画像中の所望の人物の登録顔画像に基づいて、前記登録顔画像の人物に対応する画像蓄積フォルダ７２３に収納されている蓄積画像を抽出する検索とが可能である。後者の場合、前記検索画像中の所望の人物の顔画像の特徴量を求め、前記求めた特徴量に該当する特徴量の登録顔画像を検出し、前記登録顔画像の属性に対応する画像保存フォルダ７２３に収納されている蓄積画像を抽出する。更に、所望の人物の顔画像に基づいて、登録顔画像に登録されていない前記所望の人物が撮影された画像を抽出する検索も可能である。ここではこの方法を図１１を参照して説明する。
【００８６】
ステップ１０１において、ＰＣ７３は利用者のＩＤと検索すべき人物の顔が撮影された検索画像とを読み込むと共に、前記検索画像を表示部に表示する。ステップ１０２において、ＰＣ７３はマウスによる検索すべき人物の顔画像の位置の指示入力を受ける。即ち、前記表示した検索画像の前記顔画像の位置がマウスでクリックされる。
【００８７】
ステップ１０３において、ＰＣ７３は前記指示入力された位置を示す位置情報を求めて、前記ＩＤと共に画像蓄積サーバ７２に送信する。ステップ１０４において、画像蓄積サーバ７２は前記ＩＤに基づいて利用者を特定すると共に、前記検索画像と前記位置情報とを顔認識ＣＰＵ７１に転送する。
【００８８】
ステップ１０５において、顔認識ＣＰＵ７１は前記位置情報の位置の顔画像を検出し、該顔画像の特徴量を求めて画像蓄積サーバ７２に転送する。ステップ１０６において、画像蓄積サーバ７２は画像検索部１７によって画像未登録顔画像フォルダ中の画像と関連付けられた顔画像の特徴量を参照し、受信した特徴量に該当する特徴量の顔画像を含む画像を求め、該画像をＰＣ７３に送信する。
【００８９】
ステップ１０７において、ＰＣ７３は受けた画像を表示部に表示する。顔認識ＣＰＵ７１と画像蓄積サーバ７２とは前述の説明の如く異なる管理者に管理されても良いし、同一の管理者に管理されても良く、更に、一台のコンピュータで両者を兼ねても良い。
【００９０】
本実施の形態例のシステムは、例えば、インターネットプロバイダや映像産業関連業者などがインターネット上で運営する画像預かりサービスのサイトと連携するか、その機能を利用して構築することができる。即ち、画像蓄積サーバ７２と前記画像預かりサービス用サーバとは、少なくとも一方が他方の機能の一部を兼ねても良い。
【００９１】
前記各実施の形態例では、撮影された人物の顔画像に基づいて蓄積画像を分類し蓄積する例を説明したが、被写体の種類毎に、例えば人物の有無、自動車、電車、花等の植物、動物等に分類して蓄積・記録することもできる。更に、自動車や電車の車種毎、花などの植物や動物の種類毎に細分して蓄積・記録することもできる。
【００９２】
上記説明した処理は、コンピュータ装置ないしコンピュータシステムが所定のプログラムを実行することにより行われる。このようなプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図２０はその様子を示す図である。コンピュータ２００は、ＣＤ−ＲＯＭ２０４を介してプログラムの提供を受ける。また、コンピュータ２００は通信回線２０１との接続機能を有する。コンピュータ２０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク２０３などの記録媒体にプログラムを格納する。通信回線２０１は、インターネット、電話回線などの通信回線、あるいは専用通信回線などである。コンピュータ２０２はハードディスク２０３を使用してプログラムを読み出し、通信回線２０１を介してプログラムをコンピュータ２００に送信する。すなわち、プログラムをデータ信号として搬送波にのせて（ｅｍｂｏｄｉｅｄ）、通信回線２０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【００９３】
上記説明した実施の形態の装置は、次のような効果を奏する。電子画像を被写体を特定する特定情報や特徴量に関連付けて蓄積するので、自動的にかつ適切に分類し整理することができる。すなわち、撮像した電子画像を、煩わしい操作を不要とし、かつ、適切に分類および整理をすることができる。特に、被写体である人物の顔の画像から抽出した情報に基づいて分類するので、電子画像の中に撮像されている人物単位に適切に分類がなされる。
【００９４】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【００９５】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００３年第３３４５２８号（２００３年９月２６日出願）
【技術分野】
【０００１】
本発明は、電子画像分類装置及システム並びにこれらを用いた電子画像蓄積装置及びシステムに関し、特に、電子画像に撮影されている人物に基づいて分類、蓄積する装置及びシステムに関する。
【背景技術】
【０００２】
撮影した画像の画像データは、後日の利用のために画像管理ソフトウェアがインストールされたパーソナルコンピュータ（ＰＣ）や画像蓄積に特化したコンピュータシステムである専用の画像蓄積装置に蓄積保管される。保管に際しては、後日取り出し易いような方法で整理される。例えば、撮影日時や撮影したイベント名などを検索キーとして画像データに関連付けて記憶させる。画像の撮影日時はデジタルカメラによって自動的に各画像に付与させることができる。後日、画像データを利用する際には、前記検索キーによってコンピュータ検索すれば、所望の画像データを容易に取り出すことができる。画像プリントや画像編集、画像送信などのために画像データにアクセスした日時も自動的に該画像データと関連付けて記憶させ前記検索キーとすることができる。
【０００３】
一方、予め、任意の人物の顔の特徴量とその人物の属性とを記憶させたデータベースを参照して、テレビカメラなどが現在電子画像として捉えている画像又は録画された電子画像の再生画像中の人物の顔の特徴量によって該人物を特定する顔認識システムが知られている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
撮影日時など日時に関するデータは、撮影に用いたデジタルカメラや画像プリント、画像編集、画像送信等の為に画像データを取り扱う機器により自動的に付与させることができるので、画像データに容易に検索キーを付することができるが、イベント名などは手操作による入力作業を要する。この入力作業は手間がかかり面倒なので、画像データに適切な検索キーが付されることなく記憶、蓄積されることが多い。
【０００５】
日時データは画像データに対して容易に付与することができるが、撮影されている内容と直接的に結び付いているものではないので一般的に印象が薄く、必ずしも検索キーとして適当ではない。
【０００６】
一方、画像に誰が撮影されているかは、殆どの場合、検索目的そのものなので、後日の画像検索に重要な検索キーとなる。しかしながら、前記理由により撮影された人名が検索キーとして入力されることは少ない。
【０００７】
本発明は、画像に撮影されている被写体の属性、例えば人の名前などを前記画像に自動的に付することができ、これを用いて前記画像を自動的に分類整理する画像蓄積方法及び画像蓄積装置並びに画像蓄積システムを提供する。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によると、顔画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法は、前記顔画像登録フェーズは、登録画像が入力されるステップと、前記登録画像中の顔画像の顔の特徴量を求めるステップと、前記特徴量を登録顔画像として記憶するステップとを含み、前記画像整理フェーズは、整理対象画像が入力されるステップと、前記整理対象画像中の顔画像の顔の特徴量を求めるステップと、前記求めた整理対象画像中の顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出するステップと、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップとを含む。
本発明の第２の態様によると、第１の態様の画像蓄積方法において、前記特徴量を登録顔画像として記憶するステップは、前記特徴量と前記登録画像中の顔画像とを登録顔画像として記憶するステップであるのが好ましい。
本発明の第３の態様によると、第１又は２の態様の電子画像蓄積方法において、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像の特徴量を付加するステップであるのが好ましい。
本発明の第４の態様によると、第１又は２の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像の人物に関する属性情報を入力させるステップと、前記入力された属性情報と前記登録顔画像とを関連付けて記憶するステップとを更に含むのが好ましい。
本発明の第５の態様によると、第４の態様の電子画像蓄積方法において、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像に対応する前記属性情報を付加するステップであるのが好ましい。
本発明の第６の態様によると、第１又は２の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像に対応する画像保存用フォルダを作成するステップを更に含み、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像を前記検出した登録顔画像に対応する前記画像保存用フォルダに収納するステップであるのが好ましい。
本発明の第７の態様によると、第６の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像の特徴量を前記画像保存用フォルダと関連付けるステップとを更に含むのが好ましい。
本発明の第８の態様によると、第６の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像の人物に関する属性情報を入力させるステップと、前記属性情報の少なくとも一部を前記画像保存用フォルダと関連付けるステップとを更に含むのが好ましい。
本発明の第９の態様によると、第６の態様の電子画像蓄積方法において、前記求めた顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出できなかったとき、前記整理対象画像を予め用意された未登録顔画像フォルダに収納するステップを更に含むのが好ましい。
本発明の第１０の態様によると、第１〜９のいずれかの態様の電子画像蓄積方法において、前記画像整理フェーズは、整理対象画像中の顔の位置を示す位置情報を求めるステップを更に含み、前記画像保存用フォルダに収納するステップ又は未登録顔画像フォルダに収納するステップは、前記求めた顔の位置を示す位置情報を前記整理対象画像と関連付けて収納するのが好ましい。
本発明の第１１の態様によると、第６の態様の電子画像蓄積方法において、前記整理対象画像中に顔画像を検出されなかったとき、前記整理対象画像を予め用意された無顔画像フォルダに収納するステップを更に含むのが好ましい。
本発明の第１２の態様によると、第１又は２の態様の電子画像蓄積方法において、動作フェーズとして画像検索フェーズを更に有し、前記画像検索フェーズは、前記画像入力部に検出すべき顔画像が撮影された検索画像が入力されるステップと、前記検索画像中の顔画像の顔の特徴量を求めるステップと、前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記整理対象画像から検出するステップとを更に含むのが好ましい。
本発明の第１３の態様によると、第１２の態様の電子画像蓄積方法において、前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記未登録顔画像フォルダから検出するステップを更に含むのが好ましい。
本発明の第１４の態様によると、第１２又は１３の態様の電子画像蓄積方法において、前記検出した画像を表示するステップを更に含み、表示した画像の前記位置情報に基づく位置に、所定の表示を表示するのが好ましい。
本発明の第１５の態様によると、プログラムは、第１〜１４のいずれかの態様の方法をコンピュータに実行させるプログラムである。
本発明の第１６の態様によると、電子画像蓄積装置は、画像入力部と、顔認識部と、画像蓄積部とを備え、前記画像入力部には登録画像と整理対象画像とが入力され、前記顔認識部は、前記画像入力部に入力された前記各画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記顔画像とその特徴量とを関連付けて登録顔画像として記憶する第１の記憶部とを有し、前記画像蓄積部は、第２の記憶部を有し、前記第２の記憶部は、前記整理対象画像を収納する画像蓄積フォルダを備え、前記画像処理部が求めた前記整理対象画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに前記整理対象画像を収納して記憶する。
本発明の第１７の態様によると、第１６の態様の電子画像蓄積装置において、前記第１の記憶部と前記第２の記憶部とは一つの記憶部として構成されるのが好ましい。
本発明の第１８の態様によると、第１６の態様の電子画像蓄積装置において、画像検索部を更に備え、前記画像入力部には検索画像が更に入力され、前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに収納された前記整理対象画像を抽出するのが好ましい。
本発明の第１９の態様によると、第１６の態様の電子画像蓄積装置において、画像検索部を更に備え、前記画像入力部には検索画像が更に入力され、前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の顔画像を含む整理対象画像を前記未登録顔画像フォルダから抽出するのが好ましい。
本発明の第２０の態様によると、画像撮像装置は、撮影手段を含む画像入力部と、顔認識部と、登録顔画像と整理対象画像とを記憶する記憶部とからなり、前記画像入力部には、前記画像撮影手段で撮影した画像が前記整理対象画像として入力され、前記記憶部は、前記登録顔画像の顔の特徴量を記憶する第１の記憶部と、前記整理対象画像を記憶する第２の記憶部とを有し、前記顔認識部は、前記整理対象画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記画像処理部が求めた前記整理対象画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する画像比較部とを有し、前記第２の記憶部は、前記整理対象画像を前記画像処理部が求めた前記画像中の顔画像の顔の特徴量に該当する前記登録顔画像の顔の特徴量と関連付けて記憶する。
本発明の第２１の態様によると、第２０の態様の画像撮像装置において、前記第１の記憶部は、前記登録顔画像の特徴量を外部から読み込んで記憶するのが好ましい。
本発明の第２２の態様によると、第２０の態様の画像撮像装置において、前記入力部には前記登録画像が更に入力され、前記画像処理部は、前記入力部に入力された登録画像中の顔画像の顔の特徴量を更に求め、前記第１の記憶部は、前記画像処理部が求めた前記顔画像の顔の特徴量を前記登録顔画像として記憶するのが好ましい。
本発明の第２３の態様によると、電子画像蓄積システムは、表示部と画像入力部と属性入力部とを有し、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と所望の人物の顔画像を含む検索画像とが前記画像入力部に入力される端末装置と、入力された前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記登録画像中の顔画像の特徴量を登録顔画像として記憶する第１の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶すると共に前記登録画像の属性情報を記憶する第２の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、前記各装置を互いに情報授受可能に接続する通信網とから成り、前記端末装置は、前記画像入力部に入力された登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と前記属性入力部に入力された属性情報とを前記画像蓄積装置に送信し、前記表示部に前記画像蓄積装置から受けた検出画像を表示し、前記画像蓄積装置は、前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、前記顔認識装置から各登録顔画像を識別する符号を受け、前記属性情報を前記符号と関連付けて前記第２記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶し、前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信し、前記顔認識装置は、前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第１の記憶部に記憶し、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
本発明の第２４の態様によると、第２３の態様の電子画像蓄積システムにおいて、前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶することは、前記蓄積画像を前記第２記憶部の前記符号が示す登録顔画像に対応する前記収納場所に記憶することであるのが好ましい。
本発明の第２５の態様によると、第２３の態様の電子画像蓄積システムにおいて、前記顔画像と前記収納場所とは、前記属性情報によって対応付けられているのが好ましい。
本発明の第２６の態様によると、電子画像蓄積システムは、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する第１の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する第２の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、前記顔認識装置と前記画像蓄積装置と端末装置とを互いに情報授受可能に接続する通信網とから成り、前記画像蓄積装置は、前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、前記顔認識装置から各登録顔画像を識別する符号を受け、前記属性情報を前記符号と関連付けて前記第２記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶し、前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信し、前記顔認識装置は、前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第１の記憶部に記憶し、記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
本発明の第２７の態様によると、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有し、端末装置及び画像蓄積装置と通信手段で情報授受可能に結ばれた顔認識装置は、前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記記憶部に記憶し、記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
本発明の第２８の態様によると、登録顔画像毎に夫々対応する収納場所を有し蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する記憶部を有し、端末装置及び顔認識装置と通信手段で情報授受可能に結ばれた画像蓄積装置は、前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、前記顔認識装置から各登録顔画像を識別する符号を受けると共に、前記属性情報を前記符号と関連付けて前記記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記記憶部に記憶し、前記画像検索部によって前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信する。
本発明の第２９の態様によると、画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法は、前記画像登録フェーズは、登録画像が入力されるステップと、前記登録画像中の対象物の特徴量を求めるステップと、前記特徴量を登録画像として記憶するステップとを含み、前記画像整理フェーズは、蓄積画像が入力されるステップと、前記蓄積画像中の対象物の特徴量を求めるステップと、前記求めた蓄積画像中の対象物の特徴量に該当する特徴量を前記登録画像から検出するステップと、前記蓄積画像と前記検出した登録画像とを関連付けるステップとを含む。
本発明の第３０の態様によると、電子画像蓄積方法は、登録用画像の中から被写体を特定する特定情報を抽出し、前記抽出した被写体の特定情報を登録し、蓄積対象画像を入力し、前記蓄積対象画像の中から被写体を特定する特定情報を抽出し、前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記蓄積対象画像を前記登録した被写体の特定情報に関連付けて記憶装置に蓄積する。
本発明の第３１の態様によると、第３０の態様の電子画像蓄積方法において、前記被写体は人物であり、前記被写体を特定する特定情報は、人物の顔の画像から抽出できる情報であり、前記蓄積画像は、前記特定情報に基づき、人物単位に管理されるように前記記憶装置に蓄積されるのが好ましい。
本発明の第３２の態様によると、電子画像蓄積装置は、登録用画像と蓄積対象画像を入力する画像入力部と、前記入力された蓄積対象画像を蓄積する記憶部と、前記入力された登録用画像の中から被写体を特定する特定情報を抽出し、登録する特定情報登録部と、前記入力された蓄積対象画像の中から被写体を特定する特定情報を抽出する特定情報抽出部と、前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記入力された蓄積対象画像を前記登録した被写体の特定情報に関連付けて前記記憶装置に蓄積する制御部とを備える。
【発明の効果】
【０００９】
本発明は、以上説明したように構成しているので、次のような効果を奏する。
電子画像を被写体を特定する特定情報や特徴量に関連付けて蓄積するので、自動的にかつ適切に分類し整理することができる。すなわち、電子画像を、煩わしい操作を不要とし、かつ、適切に分類および整理をすることができる。特に、被写体である人物の顔の画像から抽出した情報に基づいて分類するので、電子画像の中に撮像されている人物単位に適切に分類がなされる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態例装置の構成を示すブロック図。
【図２】図１の装置による処理の流れを示した図。
【図３】図１の装置による画像登録フェーズの処理の流れを示した図。
【図４】図１の装置による画像整理フェーズの処理の流れの前半を示した図。
【図５】図１の装置による画像整理フェーズの処理の流れの後半を示した図。
【図６】図１の装置による画像検索フェーズの処理の流れを示した図。
【図７】本発明の実施の形態例システムの構成を示すブロック図。
【図８】図７のシステムによる画像登録フェーズの処理の流れを示した図。
【図９】図７のシステムによる画像整理フェーズの処理の流れの前半を示した図。
【図１０】図７のシステムによる画像整理フェーズの処理の流れの後半を示した図。
【図１１】図７のシステムによる画像検索フェーズの処理の流れを示した図。
【図１２】登録画像に線枠のマークが表示された状態を示した図。
【図１３】登録顔画像の内容を説明する図。
【図１４】蓄積画像に線枠のマークが表示された状態を示した図。
【図１５】蓄積画像に属性が表示された状態を示した図。
【図１６】画像蓄積フォルダの種類と各フォルダに収納される画像を説明する図。
【図１７】他の蓄積画像を示した図。
【図１８】図７のシステムにおける登録顔画像の属性情報の内容を説明する図。
【図１９】図７のシステムにおける登録顔画像情報の内容を説明する図。
【図２０】プログラムをコンピュータに提供する様子を示す図。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明装置の構成の概要を示すブロック図である。本発明装置は、コンピュータ装置ないしコンピュータシステムによって所定のプログラムを実行することにより実現される。
【００１２】
１１は記憶媒体読み取り手段や、外部機器からデータを受信するデータ通信手段などで構成され、画像が入力される画像入力部である。画像入力部１１には登録画像、蓄積画像、検索画像が入力される。１２はキーボードなどの入力手段で構成され、前記登録画像に撮影されている人物の属性、例えば氏名が入力される属性入力部である。１４は画像を表示する表示部である。
【００１３】
２１は顔認識部であり、画像処理部１５と第１の記憶部１３１とで構成されている。画像処理部１５は画像入力部１１に入力された画像に含まれる人物の顔の部分の画像（以下、顔画像という）を解析してその顔の特徴量を求める。第１記憶部１３１はハードディスク装置、光磁気記憶装置、ＣＤ−Ｒなどで構成され、登録画像中の顔画像と画像処理部１５が求めた前記顔画像の顔の特徴量（以下、単に顔画像の特徴量という）と前記人物に関する属性とを、後述する顔認識処理の参照データとなる登録顔画像として記憶する。画像処理部１５は更に、前記求めた顔の特徴量と第１記憶部１３１に記憶した顔画像の特徴量とを比較して、前記求めた顔の特徴量に該当する特徴量の登録顔画像を抽出する。
【００１４】
２２は画像蓄積部であり、第２の記憶部１３２で構成されている。第２記憶部１３２はハードディスク装置、光磁気記憶装置、ＣＤ−Ｒなどで構成され、画像入力部１１に蓄積画像として入力された画像を蓄積・記憶する。その際、画像処理部２１が行う、蓄積画像中の顔画像の特徴量と登録顔画像の特徴量とに基づいて蓄積画像中の人物を識別する顔認識処理の結果に基づいて、前記蓄積画像と識別した人物の属性とを関係付けると共に前記蓄積画像を分類して蓄積・記憶する。なお、第１記憶部１３１と第２記憶部１３２とは、図１に１３で示したように一つの記憶部の一部として構成されることが多い。
【００１５】
１７は画像蓄積部２２の蓄積画像から所望の画像を取り出す画像検索部である。画像検索部１７は、属性入力手段１２から入力された検索キーワードと蓄積画像に関係付けられた属性に基づいて所望の画像を検索する。更に、顔認識部２１に、画像入力部１１に入力された検索画像中の顔画像の特徴量を求めさせると共に前記求めた特徴量と登録顔画像の特徴量とに基づいて検索画像中の人物を識別する顔認識処理を行わせ、その結果に基づいて検索画像中の人物の属性に対応する属性の人物が撮影された蓄積画像を取りだして表示部１４に表示する。即ち、画像検索部１７は顔認識部２１と協同するか、若しくは包含する。
【００１６】
１８は上記各部に接続され上記各部の動作を制御する制御部である。
【００１７】
次に、本発明装置による画像の取扱を説明する。本発明装置による画像の取扱いには三つのフェーズがある。
【００１８】
第１の顔画像登録フェーズでは、後の画像整理フェーズで入力される画像中から検出すべき人物の顔画像をその人物の属性と共に第１記憶部１３１に登録顔画像として記憶させる。第２の画像整理フェーズでは、入力された画像に撮影されている人物の顔画像を検出すると共に、登録顔画像として記憶されている顔画像に該当する人物を検知し、前記画像を前記検知した人物の属性情報と関連付けて第２記憶部１３２に蓄積画像として蓄積・記憶させる。前記属性情報は、後の画像検索フェーズにおいて検索キーとして用いられる。第３の画像検索フェーズでは、検索条件の入力を受け、該検索条件によって第２記憶部１３２の蓄積画像を検索し、該検索条件に合致する画像を取り出す。
【００１９】
本発明装置を起動させると図２に手順を示した処理が行われる。即ち、ステップ２１（図中ではＳ２１と記す。他のステップも同様とする。）において、前記三つのフェーズの一つを選択させる画面が表示される。前記画面には処理を終了させる処理を選択する表示も表示されている。
【００２０】
ステップ２２において、マウスなどにより任意の処理が選択される。ステップ２３において、処理の終了が選択されたかを判断する。処理の終了が選択された場合には処理を終了する。それ以外の場合はステップ２４に進む。ステップ２４において、前記選択されたフェーズの処理を実行してステップ２１に戻る。
【００２１】
以下、各フェーズを詳細に説明する。図３に顔画像登録フェーズの処理手順を、図４、図５に画像整理フェーズの処理手順を、図６に画像検索フェーズの処理手順を示す。
【００２２】
顔画像登録フェーズの処理（図３参照）では、ステップ３１において、画像入力部１１に所望の人物の顔が撮影された画像が登録画像として入力される。入力された登録画像は表示部１４に表示される。
【００２３】
ステップ３２において、画像処理部１５が前記登録画像を解析して、該登録画像に撮影されている人物の顔画像を検出あるいは抽出する。検出した顔画像の位置に線枠などのマークが表示される。複数の顔画像が検出された場合には、夫々の顔画像の位置に前記マークが表示される。図１２は、前記入力された登録画像１２０に前記線枠のマーク１２１〜１２５が表示された状態を示した図である。顔画像が一つも検出されない場合は、図示していないが、その旨を表示するエラー処理を行って処理を終了する。
【００２４】
ステップ３３において、マウスなどの指示装置によって前記マークが表示された顔画像のうち、任意の人物の顔画像が一つ選択される。表示部１４には選択終了ボタンが前記画像と共に表示される。前記顔画像の一つが選択された時、又は前記選択終了ボタンが選択された時にステップ３４に進む。なお、検出した顔画像が一つのみの場合はその顔画像が自動的に選択され、このステップはスキップされるようにしても良い。
【００２５】
ステップ３４において、ステップ３３で選択された顔画像の有無を判断し、あればステップ３５に進み、無ければ処理を終了する。選択された顔画像が無いのは、登録すべき全ての人物の顔画像が登録され、未登録の人物の顔画像が無くなった時、又は有っても登録の必要のない人物の顔画像のみとなった時である。
【００２６】
ステップ３５において、画像処理部１５が前記選択された顔画像の特徴量を求める（抽出する）。前記特徴量は、顔の輪郭の縦横比や、目、鼻、口の相対的位置及び顔輪郭に対する位置、夫々の形状及び大きさ等を含み、個人を十分な精度で識別可能な特徴量である。すなわち、顔画像の特徴量は、被写体である各人物を特定することが可能な情報である。なお、顔画像自体も各人物を特定することができる情報である。前記特徴量を求めるための処理は、「従来の技術」の欄で述べたシステムに用いられる処理と同様の処理である。
【００２７】
ステップ３６において、前記選択された人物の属性が入力部１２から入力される。ステップ３７において、前記画像の前記選択された顔画像を前記特徴量及び前記属性と関連付けて第１記憶部１３１に登録顔画像として記憶して登録する。
【００２８】
ステップ３８において、画像蓄積フォルダを作成する。その際、フォルダ名をステップ３６で入力された属性の一部、例えばその人物の名前などとする。顔画像の特徴量をフォルダ名としても良い。
【００２９】
ステップ３９において、前記選択された顔画像に対する前記マークを消去する。ステップ４０において、他に検出された顔画像があるか否かを判断し、あればステップ３３に戻り、無ければ処理を終了する。
【００３０】
この様にして、登録顔画像として記憶（登録）すべき顔画像が第１記憶部１３１に記憶される。図１３は図１２の枠線１２３の人物を除き登録顔画像として記憶された場合の第１記憶部１３１の記憶内容を示した図である。ＩＤ１は図１２のマーク１２１の「Ａさん」に、ＩＤ２はマーク１２２の「Ｂさん」に、ＩＤ３はマーク１２４の「Ｃさん」に、ＩＤ４はマーク１２５の「Ｄさん」にそれぞれ対応する。登録顔画像は、図１２の登録画像１２０から抽出したそれぞれの顔画像データが格納される。表示していないが少なくとも特徴量の欄にはデータが記入されている。この場合、ステップ３８において、フォルダ名「Ａさん」、「Ｂさん」、「Ｃさん」、「Ｄさん」の４つの画像蓄積フォルダが作成されている。その他に「未登録顔画像」フォルダ及び「無人画像」フォルダが予め作成されている。
【００３１】
画像整理フェーズの処理を図４、図５を参照して説明する。図４、図５の処理は一連の処理であるが、紙面の都合により前半を図４に、後半を図５に示した。
【００３２】
ステップ４１において、ＤＳＣなどの外部機器から整理すべき対象画像、即ち蓄積画像が入力される。ステップ４２において、画像処理部１５が前記蓄積画像を解析して、前記蓄積画像中に撮影されている顔画像を検出する。前記顔画像の位置に線枠などのマークが表示される。複数の顔画像が検出された場合には、夫々の顔画像の位置に前記マークが表示される。図１４は蓄積画像１４０に前記線枠のマーク１４１〜１４３が表示された状態を示した図である。
【００３３】
ステップ４３において、前記蓄積画像中に顔画像があるか否か、即ち前記線枠などのマークの有無を判断する。前記マークがあればステップ４４に進み、なければステップ１４４に進む。ステップ１４４では、該蓄積画像を、人物が撮影されていない画像の保管用に予め用意された無人画像フォルダに収納して処理を終了する。
【００３４】
ステップ４４において、画像処理部１５が前記検出した顔画像を処理してその顔画像の特徴量を求める。該顔画像の特徴量を検出するための処理は前記画像登録フェーズのステップ３５と同じである。
【００３５】
ステップ４５において、第１記憶部１３１の登録顔画像の特徴量を参照して、前記検出した特徴量に該当する登録顔画像を検出する。そして、ステップ４６において、前記検出された登録顔画像と関連付けられた属性、例えば名前を前述の処理をした顔画像の近傍に表示する。蓄積画像中に検出された全ての顔画像についてステップ４４〜ステップ４６の処理を行う。検出した特徴量に該当する登録顔画像が無いときは未登録である旨を表示する。
【００３６】
図１５は蓄積画像１４０に前記属性および未登録である旨が表示された状態の図であり、図１３の登録顔画像に含まれている顔画像１５１と１５２には、その属性「Ａさん」、「Ｄさん」が表示され、前記登録顔画像に含まれていない顔画像１５３には「未登録」が表示される。前記蓄積画像と同時に収納ボタン１５４と追加登録ボタン１５５とキャンセルボタン１５６とが表示される。なお、以下、該当する登録顔画像が検出された顔画像を検出顔画像、登録顔画像が無い顔画像を未登録顔画像と言う。
【００３７】
ステップ４７において、マウスなどの指示装置により前記収納ボタン１５４、追加登録ボタン１５５、キャンセルボタン１５６のいずれのボタンが選択されたかを判断する。そして、収納ボタン１５４の選択に応じてステップ４８に、追加登録ボタン１５６の選択に応じてステップ１４８に、キャンセルボタン１５６の選択に応じてステップ２４８に進む。ここで、前記各ボタンが選択される前に、前記顔画像がマウスなどで選択された場合は該選択された顔画像だけがその後の処理の対象とされる。前記顔画像の選択は複数を選択することができる。
【００３８】
ステップ４８において、前記蓄積画像が、特徴量が該当する登録顔画像に対応する画像蓄積フォルダに収納される。特徴量が該当する登録顔画像が複数ある場合、即ち顔画像が登録されている人物が複数撮影されている場合は、各登録顔画像に対応する全ての画像蓄積フォルダに前記蓄積画像が収納される。即ち、前述の場合、図１４の蓄積画像はフォルダ「Ａさん」とフォルダ「Ｄさん」とに収納される。
【００３９】
なお、蓄積画像を画像保存フォルダに収納するとは、蓄積画像と画像保存フォルダとを対応付けること、又は、前記蓄積画像と特徴量が該当する登録画像に対応する属性情報とを関連付けること、前記蓄積画像の画像ファイルに前記属性情報を付加することも含むものとする。なお、ステップ３８において顔画像の特徴量をフォルダ名とした場合には前記蓄積画像と前記特徴量とを関連付ける。前記蓄積画像の画像ファイルに前記特徴量を付加しても良い。
【００４０】
ステップ４９において、ステップ４８の処理の対象となった検出顔画像のマークが消去されてステップ５０に進む。検出顔画像に対して表示された名前が違っているものがある場合には、正しい表示の検出顔画像をマウスで選択した後に収納ボタンを選択する。その結果、選択された検出顔画像、即ち正しい表示の検出顔画像に対応する登録顔画像の画像蓄積フォルダに蓄積画像が収納される。一方、選択されなかった検出顔画像は未登録顔画像とされる。元々の未登録顔画像はそのまま維持される。
【００４１】
ステップ１４８において、前記未登録顔画像を対象として前記顔画像登録フェーズのステップ３３〜ステップ４０の処理が実行される。即ち、未登録顔画像を登録顔画像に追加登録する処理が行われる。そして、この処理の中で登録された顔画像に対応する画像蓄積フォルダが作成される。但し、ステップ３５は画像整理フェーズのステップ４４と重複するので除外される。追加登録の必要が無い未登録顔画像は、後述のステップ２４８の処理の対象としてキャンセルする。
【００４２】
ステップ１４９において、前記蓄積画像がステップ１４８の処理で作成された画像蓄積フォルダに収納されると共に、このステップの処理の対象となった未登録顔画像のマークが消去されステップ５０に進む。選択されなかった検出顔画像は、ステップ１４８、ステップ１４９の処理後もそのまま維持される。
【００４３】
ステップ２４８において、ステップ４２で顔画像に付されたマーク及びステップ６で顔画像に表示された名前が消去される。このステップの処理の対象となった全ての顔画像のマークや名前が消去される。
【００４４】
ステップ２４９において、キャンセル対象となった未登録顔画像を含む蓄積画像は、前記未登録顔画像の位置情報及び特徴量と関連付けられると共に未登録顔画像フォルダに収納されステップ５０に進む。前述の例において、顔画像１５３をステップ１４８による追加登録の対象とせず、ステップ２４８によりキャンセルすると、図１４の画像は予め用意された「未登録顔画像」フォルダにも収納される。検出顔画像の一部だけをこの処理の対象としたい場合は、予め処理の対象とする顔画像をマウスで選択した後にキャンセルボタン１５６を選択する。
【００４５】
ステップ５０において、ステップ４８、ステップ１４８、ステップ２４８のいずれの処理もされていない顔画像が残っているかを判断し、残っていればステップ４７に戻り、残っていなければ処理を終了する。
【００４６】
図１６は、上記処理により図１７の画像１７０を更に整理蓄積したときに、各画像蓄積フォルダに収納されている画像を示した図である。フォルダ「Ａさん」１６１に図１４の画像１４０と図１７の画像１７０とが、フォルダ「Ｂさん」１６２に図１７の画像１７０が、フォルダ「Ｄさん」１６４に図１４の画像１４０が、フォルダ「未登録」１６５に図１４の画像１４０が、夫々収納されている。フォルダ「Ｃさん」１６３とフォルダ「無人画像」１６６には画像が一つも収納されていない。
【００４７】
検出顔画像と未登録顔画像とが混在する画像の場合には、例えばステップ４７において、まず収納ボタン１５４を選択して各検出顔画像に対応する画像蓄積フォルダに蓄積画像を収納し、次に、未登録顔画像の中で登録顔画像として登録しておきたい人物の顔画像をマウスで選択した後、追加登録ボタン１５５を選択して前記顔画像登録フェーズの処理手順に従って所要の登録操作を行う。次に、キャンセルボタン１５６を選択して残った未登録顔画像の処理を放棄する。
【００４８】
最初に蓄積画像を画像蓄積フォルダに収納する必要のない人物の顔画像や追加登録する必要のない人物の顔画像をマウスで選択した後にキャンセルボタン１５６を選択してこれらを処理対象から除外した後、収納ボタン１５４又は追加登録ボタン１５５を選択しても良い。即ち収納ボタン１５４、追加登録ボタン１５５、キャンセルボタン１５６は適宜の順に選択することができる。
【００４９】
さて、同一人物の顔画像であっても顔の向きや表情の違いによって求めた顔の特徴量に若干の相異が生ずることがある。また、加齢によっても顔の特徴量は多少変化する。そこで、前記ステップ４８の処理と同時に、ステップ４５で検出した特徴量によって登録顔画像に関連付けられた特徴量に修正を加えるか、前記登録画像に前記検出した特徴量を更に関連付けて記憶させることが好ましい。蓄積画像の顔画像に対応する登録顔画像をより正確に検出することができる。
【００５０】
両画像の特徴量に所定量以上の差がある場合に前記特徴量の修正又は追加を行うようにしても良い。また、登録画像、蓄積画像には、各画像が撮影された撮影日時が撮影したデジタルカメラによって関連付けられている。登録画像の撮影日時と蓄積画像の撮影日時とを参照して、両者間に所定日数以上の時間経過がある場合に前記特徴量の修正又は追加を行うようにしても良い。
【００５１】
更に、顔画像登録フェーズのステップ３６で入力された属性が既に記憶されたものと重複した場合、特徴量の更新を行うか否かを確認の上で記憶済みの特徴量の修正又は追加を行うようにしても良い。
【００５２】
次に画像検索フェーズを説明する。画像検索フェーズでは前記第２記憶部１３２の蓄積画像から所望の人物が撮影された画像を抽出するために、２種類の画像検索方法を選択的に用いることができる。その一は、検索部１８が、入力された検索キーワードに基づいて蓄積画像についてフォルダ名、画像ファイル名、これらに関連付けられた属性情報を検索して該当する画像を抽出する方法であり、主に、所望の人物の顔画像が登録顔画像に登録されている人物、即ち所望の人物の属性が知れている場合に用いられる。この方法は周知の方法である。
【００５３】
その二は、入力された顔画像の特徴量と一致する特徴量の顔画像が含まれる画像を抽出する検索方法であり、主として、所望の人物の顔画像が登録顔画像に登録されていない人物である場合に用いられる方法である。以下、この場合の方法をその処理手順を示した図６を参照して説明する。
【００５４】
ステップ６１において、所望の人物の顔画像が撮影された検索画像が入力される。ステップ６２において、画像処理部１５が前記検索画像を解析して、前記画像に撮影されている未登録顔画像を検出し、検出した顔画像の位置に線枠などのマークを表示する。複数の未登録顔画像が検出された場合には、夫々の顔画像の位置に前記マークを表示する。
【００５５】
ステップ６３において、マウスなどの指示装置によって所望の未登録顔画像が選択される。表示部１４には選択終了ボタンが前記検索画像と共に表示され、該選択終了ボタンが選択された時にステップ６４に進む。検出した未登録顔画像が一つのみの場合はその顔画像が自動的に選択され、このステップはスキップされるようにしても良い。以下、選択された顔画像を検索顔画像と言う。
【００５６】
ステップ６４において、画像処理部１５が前記検索顔画像の特徴量を求める。ステップ６５において、画像検索部１７が未登録顔画像フォルダ中の画像と関連付けられた顔画像の特徴量を参照して、画像処理部１５が求めた前記検索顔画像の特徴量に該当すると思われるものを検出する。画像処理部１５の顔画像比較機能を利用して前記処理を行うようにしても良い。
【００５７】
ステップ６６において、前記検出した特徴量に関連付けられた画像、即ち前記検索顔画像の特徴量に該当すると思われる特徴量の顔画像を含む画像を表示部１４に表示すると共に、該画像と関連付けて記憶されている位置情報に基づいて該位置情報の位置にマークを表示する。その結果、前記該当すると思われる顔画像にマークが付される。表示部１４には前記画像と同時に参照顔画像登録フェーズを開始させるボタンと処理終了ボタンとが表示される。
【００５８】
ステップ６７において、いずれのボタンが選択されたかを判定し、前者のボタンの選択に応じてステップ６８に進み、後者のボタンの選択に応じて処理を終了する。ステップ６８において、前記顔画像登録フェーズを実行して処理を終了する。
【００５９】
この検索方法によれば、所望の人物の顔画像が予め登録顔画像に登録されていなくても、その人物が撮影されている画像を容易に抽出することができる。例えば、図１２の画像を検索画像とし、線枠１２３の顔画像を検索顔画像とすれば、図１６のフォルダ「未登録」から図１４の画像が抽出される。
【００６０】
なお、ステップ６２において全ての顔画像を検出するようにすると共に、ステップ６５において登録顔画像に対応する画像保存フォルダを検索対象とすれば、顔画像を登録済みだが名前等の属性を忘れてしまった人物が撮影された画像を抽出することができる。ステップ３８及びステップ４８において顔画像の特徴量を用いた場合には、ステップ６４では求めた特徴量をフォルダ名とする画像保存フォルダに収納されている画像を抽出すれば良い。
【００６１】
また、ステップ４８の処理を行う際に、各蓄積画像に該蓄積画像を収納するフォルダに対応する顔画像の位置を示す位置情報を関連付けて記憶させれば、前記画像保存フォルダに収納されている画像を表示する際に、検索顔画像に該当する人物の顔の位置にその人物の名前等の属性情報を表示するようにすることができる。抽出する人物の名前を忘れても確認することができる。更に、ステップ４８において、検出した全ての登録顔画像の位置と属性情報とを蓄積画像と関連付けて記憶させておけば検索顔画像の人物以外の人物についても名前を表示することができる。
【００６２】
以上説明した方法は、画像蓄積装置のみならず画像撮影装置においても実現することができる。その場合には、前記画像入力部に画像撮影手段を備え、前記画像撮影手段で撮影した画像を前記整理対象画像（蓄積画像）とし、前記第２の記憶部を前記撮影した画像を記録する記憶媒体とする。その結果、撮影した画像を撮影と同時に所望の分類に分けて画像撮影装置の記録媒体に記録することができる。なお、登録顔画像とその属性情報とは前記画像蓄積装置が記憶する登録顔画像を読み込んで記憶しても良いし、撮影した画像を登録画像としても良い。
【００６３】
図７は上記各フェーズの処理をコンピュータネットワーク上で実施した場合のシステムの構成例を示した図である。図１の構成と同様の機能の構成には同一符号を付した。前記システムは顔認識を行う顔認識コンピュータ（以下顔認識ＣＰＵ）７１と、画像を蓄積保管する画像蓄積サーバ７２と、利用者が操作する端末装置としてのパーソナルコンピュータ（ＰＣ）７３と、これらを結ぶ通信手段、例えばインターネット７４とで構成されている。画像蓄積サーバ７２は、例えばインターネットのプロバイダや画像プリント業者などが提供する画像預かりサービス用のサーバ等である。顔認識ＣＰＵ７３は顔認識サービスを提供する業者のコンピュータである。
【００６４】
顔認識ＣＰＵ７１は、入力された画像中の顔画像の特徴量と求める特徴量検出部１５１と、登録顔画像の特徴量を含む登録顔画像情報７１１が記憶された記憶部１３１と、特徴量検出部１５１が検出した特徴量に該当する特徴量の登録顔画像を抽出する顔画像検索部１５２とを備えている。特徴量検出部１５１と顔画像検索部１５２とで前述の実施の形態例の画像処理部１５が構成される。
【００６５】
画像蓄積サーバ７２は蓄積画像７２１と登録顔画像の人物の属性情報等７２２とを記憶した記憶部１３２と画像検索部１７とを備えている。前記蓄積画像７２１は画像蓄積フォルダ７２３に収納されている。
【００６６】
ＰＣ７３は一般的仕様のＰＣであり、表示部１４やキーボード、マウスなどを備えると共に、本システム用のプログラムがインストールされ、該プログラムによって記憶媒体読取部や外部機器接続部、例えば外部記憶装置が接続されたＵＳＢコネクタが画像入力部１１として、キーボードが属性入力部１２として作用する。キーボードは他の文字情報の入力などにも用いられる。
【００６７】
以下、前述の実施の形態例と異なる点を中心に各フェーズにおける処理を説明する。各フェーズにおける処理の内容には、前述の実施の形態例と同様の処理を行うステップが含まれると共に、それらのステップの処理を顔認識ＣＰＵ７１と画像蓄積サーバ７２とＰＣ７３とで分担するためのステップが追加されたものとなっている。なお、以下の説明に参照する図８〜図１１において、各ステップの処理の説明の先頭の文字は、そのステップを実行するコンピュータを示すものであり、Ｋ：は顔認識ＣＰＵ７１を、Ｓ：は画像蓄積サーバ７２を、Ｐ：はＰＣ７３を示している。
【００６８】
顔画像登録フェーズを説明する。図８のステップ８１において、登録画像と利用者に割り当てられたＩＤとがＰＣ７３の画像入力部１１及びキーボードから入力される。入力された登録画像は表示部１４に表示される。入力された登録画像とＩＤとが画像蓄積サーバ７２に送られる。
【００６９】
ステップ８２において、画像蓄積サーバ７２は、前記ＩＤと予め前記ＩＤに対応させて記憶した利用者情報（不図示）とに基づいて利用者を特定し認証すると共に前記登録画像に識別符号を付し、前記識別符号と前記登録画像とを顔認識ＣＰＵ７１に転送する。前記識別符号には前記利用者を特定する情報、例えば前記ＩＤが含まれることが好ましい。
【００７０】
ステップ８３において、顔認識ＣＰＵ７１は、前記登録画像中の顔画像を検出し、前記登録画像中における顔画像の位置を示す位置情報を求めて前記識別符号と共に画像蓄積サーバ７２に送信すると共に該顔画像を画像解析してその顔の特徴量を求め前記識別符号及び前記位置情報と共に記憶する。
【００７１】
ステップ８４において、画像蓄積サーバ７２は前記識別符号と前記位置情報とをＰＣ７３に転送する。ステップ８５において、ＰＣ７３は前記位置情報の位置にマークを表示する。その結果、ＰＣ７３に表示された登録画像の顔画像にマークが付される。
【００７２】
ステップ８６において、ＰＣ７３において、登録すべき顔画像がマウスで選択され、これに応じて表示される属性入力欄に該顔画像の人物の属性が入力される。マークが付されていても登録不要の顔画像は選択されない。選択された顔画像の位置情報と属性とが前記識別符号と共に画像蓄積サーバ７２に送信される。
【００７３】
ステップ８７において、画像蓄積サーバ７２は、受信した前記識別符号と位置情報と前記属性とを関連付けて記憶部１３２に記憶する。図１８に示した前記記憶内容が前述の登録顔画像の属性情報等７２２である。画像蓄積サーバ７２は、更に、前記属性に対応した、例えば前記属性に含まれる人名をフォルダ名とする画像蓄積フォルダ７２３を記憶部１３２に作成する。更に顔認識ＣＰＵ５１に前記受信した識別符号と位置情報とを送信する。
【００７４】
ステップ８８において、顔認識ＣＰＵ７１は、前記識別符号と前記位置情報とを受信し、前記識別符号と前記位置情報とその位置の顔画像の特徴量とを登録顔画像情報７１１として記憶部１３１に記憶する。図１９は画像認識ＣＰＵ７１が記憶した登録顔画像情報７１１の内容を示した図である。図１９の例では顔画像も登録顔画像情報として記憶した。受信した位置情報に含まれていない位置の顔画像の特徴量は破棄する。なお、図１８、図１９のＩＤは便宜上付したもので必須ではない。また、両者のＩＤが同一でも対応している必要はない。
【００７５】
ステップ８３の顔の特徴量の検出は、ステップ８８において受信した位置情報の位置の顔画像のみについて行うようにしても良い。連続して処理されるなど処理中の画像が他の画像と混同される恐れが無いステップでは前記識別符号の送受信を省略しても良い。登録顔画像の人物の属性情報も顔認識ＣＰＵ７１に記憶させることもできるが、通常、顔認識ＣＰＵ７１は画像蓄積サーバ７２の運営者により選定され、利用者が直接選択しないので個人情報保護の観点から上記のように属性情報は画像蓄積サーバ７２に記憶させることが好ましい。
【００７６】
画像整理フェーズを説明する。図９のステップ９１において、蓄積画像と前記ＩＤとがＰＣ７３に入力される。ＰＣ７３は蓄積画像を表示部１４に表示すると共に、入力された蓄積画像とＩＤとを画像蓄積サーバ７２に送信する。ステップ９２において、画像蓄積サーバ７２は前記ＩＤに基づいて利用者を特定し、前記蓄積画像を一時保管フォルダに収納すると共に顔認識ＣＰＵ７１に転送する。
【００７７】
ステップ９３において、顔認識ＣＰＵ７１は前記蓄積画像中の顔画像を検出し、前記蓄積画像中における顔画像の位置を示す位置情報と該顔画像の特徴量とを求め、登録顔画像情報７１１を参照して、前記求めた特徴量に該当する特徴量の顔画像を記憶部１３１の登録顔画像から検出する。そして、該当する特徴量の顔画像が検出された顔画像については該顔画像が含まれる登録画像の識別符号及び登録顔画像の位置情報と、前記蓄積画像中に検出した顔画像の位置情報とを画像蓄積サーバ７２に送信し、該当する特徴量の顔画像が検出されない顔画像については未登録であることを示す未登録情報と前記蓄積画像中に検出した顔画像の位置情報とを画像蓄積サーバ７２に送信する。登録画像の識別符号及び登録顔画像の位置情報を送信しないことをもって未登録情報としても良い。
【００７８】
ステップ９４において、画像蓄積サーバ７２は登録顔画像の属性情報７２２を参照して、前記識別符号及び位置情報に関連付けられた属性を検出する。属性情報７２２を顔認識ＣＰＵ７１に登録顔画像情報７１１の一部として各登録顔画像と関連付けて記憶させることもでき、その場合にはステップ９３において前記検出した登録顔画像の属性情報７１１も画像蓄積サーバ７２に送信する。ステップ９４の前記識別符号及び位置情報に関連付けられた属性を検出することは不要となる。本実施の形態例では、登録顔画像の人物に関する情報保護を重視し、属性情報７１１は画像蓄積サーバ７２に記憶させている。
【００７９】
ステップ９５において、画像蓄積サーバ７２は前記顔認識ＣＰＵ７１から受けた蓄積画像中に検出した顔画像の位置情報を前記属性又は未登録情報と共にＰＣ７３に送信する。ステップ９６において、ＰＣ７３は受信した位置情報の位置に前記属性又は未登録であることを示す未登録マークを表示する。その結果、表示部１４に表示した蓄積画像の顔画像に前記属性又は未登録マークが表示される。以下、図１０を参照する。
【００８０】
ステップ９７において、ＰＣ７３は以降の処理の対象とする顔画像のマウスによる選択入力を受ける。即ち、表示部１４に前記蓄積画像と共に収納ボタン、追加登録ボタン、キャンセルボタンを表示し、選択されたボタンに応じて夫々ステップ９８、ステップ１９８、ステップ２９８の処理に進む。
【００８１】
ステップ９８において、ＰＣ７３は選択された顔画像の位置情報を画像蓄積サーバ７２に送信する。ステップ９９において、画像蓄積サーバ７２は、前記受信した位置情報の位置の顔画像の属性に対応する画像蓄積フォルダ７２３に前記蓄積画像を蓄積画像として収納する。そして、ステップ１００に進む。
【００８２】
ステップ１９８において、前述の顔画像登録フェーズを実行する。この処理の中で登録された顔画像に対応する画像蓄積フォルダ７２３が作成される。ステップ１９９において、上記顔画像登録フェーズで作成した画像蓄積フォルダ７２３に前記蓄積画像を収納する。そして、ステップ１００に進む。
【００８３】
ステップ２９８において、ＰＣ７３はキャンセルボタンが選択されたことを画像蓄積サーバ７２に通知すると共に、ステップ９６で顔画像に表示された名前や未登録マークを消去する。このステップの処理の対象となった全ての名前や未登録マークが消去される。ステップ２９９において、画像蓄積サーバ７２は前記処理の対象となった未登録顔画像を含む蓄積画像を、前記未登録顔画像の位置情報及び特徴量と関連付けると共に予め設けられた未登録顔画像フォルダに収納する。そして、ステップ１００に進む。検出顔画像の一部だけをこの処理の対象としたい場合は、予め、処理の対象とする顔画像をマウスで選択した後にキャンセルボタンを選択する。
【００８４】
ステップ１００において、ステップ９８、ステップ１９８、ステップ２９８のいずれの処理もされていない顔画像が残っているかを判断し、残っていればステップ７に戻り、残っていなければ処理を終了する。
【００８５】
画像検索フェーズを説明する。画像検索フェーズでは、前述の実施の形態例と同様、検索キーワードに基づき、記憶部１３１の登録顔画像に登録されている人物が撮影された画像を検索する検索と、入力された検索画像中の所望の人物の登録顔画像に基づいて、前記登録顔画像の人物に対応する画像蓄積フォルダ７２３に収納されている蓄積画像を抽出する検索とが可能である。後者の場合、前記検索画像中の所望の人物の顔画像の特徴量を求め、前記求めた特徴量に該当する特徴量の登録顔画像を検出し、前記登録顔画像の属性に対応する画像保存フォルダ７２３に収納されている蓄積画像を抽出する。更に、所望の人物の顔画像に基づいて、登録顔画像に登録されていない前記所望の人物が撮影された画像を抽出する検索も可能である。ここではこの方法を図１１を参照して説明する。
【００８６】
ステップ１０１において、ＰＣ７３は利用者のＩＤと検索すべき人物の顔が撮影された検索画像とを読み込むと共に、前記検索画像を表示部に表示する。ステップ１０２において、ＰＣ７３はマウスによる検索すべき人物の顔画像の位置の指示入力を受ける。即ち、前記表示した検索画像の前記顔画像の位置がマウスでクリックされる。
【００８７】
ステップ１０３において、ＰＣ７３は前記指示入力された位置を示す位置情報を求めて、前記ＩＤと共に画像蓄積サーバ７２に送信する。ステップ１０４において、画像蓄積サーバ７２は前記ＩＤに基づいて利用者を特定すると共に、前記検索画像と前記位置情報とを顔認識ＣＰＵ７１に転送する。
【００８８】
ステップ１０５において、顔認識ＣＰＵ７１は前記位置情報の位置の顔画像を検出し、該顔画像の特徴量を求めて画像蓄積サーバ７２に転送する。ステップ１０６において、画像蓄積サーバ７２は画像検索部１７によって画像未登録顔画像フォルダ中の画像と関連付けられた顔画像の特徴量を参照し、受信した特徴量に該当する特徴量の顔画像を含む画像を求め、該画像をＰＣ７３に送信する。
【００８９】
ステップ１０７において、ＰＣ７３は受けた画像を表示部に表示する。顔認識ＣＰＵ７１と画像蓄積サーバ７２とは前述の説明の如く異なる管理者に管理されても良いし、同一の管理者に管理されても良く、更に、一台のコンピュータで両者を兼ねても良い。
【００９０】
本実施の形態例のシステムは、例えば、インターネットプロバイダや映像産業関連業者などがインターネット上で運営する画像預かりサービスのサイトと連携するか、その機能を利用して構築することができる。即ち、画像蓄積サーバ７２と前記画像預かりサービス用サーバとは、少なくとも一方が他方の機能の一部を兼ねても良い。
【００９１】
前記各実施の形態例では、撮影された人物の顔画像に基づいて蓄積画像を分類し蓄積する例を説明したが、被写体の種類毎に、例えば人物の有無、自動車、電車、花等の植物、動物等に分類して蓄積・記録することもできる。更に、自動車や電車の車種毎、花などの植物や動物の種類毎に細分して蓄積・記録することもできる。
【００９２】
上記説明した処理は、コンピュータ装置ないしコンピュータシステムが所定のプログラムを実行することにより行われる。このようなプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図２０はその様子を示す図である。コンピュータ２００は、ＣＤ−ＲＯＭ２０４を介してプログラムの提供を受ける。また、コンピュータ２００は通信回線２０１との接続機能を有する。コンピュータ２０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク２０３などの記録媒体にプログラムを格納する。通信回線２０１は、インターネット、電話回線などの通信回線、あるいは専用通信回線などである。コンピュータ２０２はハードディスク２０３を使用してプログラムを読み出し、通信回線２０１を介してプログラムをコンピュータ２００に送信する。すなわち、プログラムをデータ信号として搬送波にのせて（ｅｍｂｏｄｉｅｄ）、通信回線２０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【００９３】
上記説明した実施の形態の装置は、次のような効果を奏する。電子画像を被写体を特定する特定情報や特徴量に関連付けて蓄積するので、自動的にかつ適切に分類し整理することができる。すなわち、撮像した電子画像を、煩わしい操作を不要とし、かつ、適切に分類および整理をすることができる。特に、被写体である人物の顔の画像から抽出した情報に基づいて分類するので、電子画像の中に撮像されている人物単位に適切に分類がなされる。
【００９４】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【００９５】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００３年第３３４５２８号（２００３年９月２６日出願）
【特許請求の範囲】
【請求項１】
顔画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法であって、
前記顔画像登録フェーズは、
登録画像が入力されるステップと、
前記登録画像中の顔画像の顔の特徴量を求めるステップと、
前記特徴量を登録顔画像として記憶するステップとを含み、
前記画像整理フェーズは、
整理対象画像が入力されるステップと、
前記整理対象画像中の顔画像の顔の特徴量を求めるステップと、
前記求めた整理対象画像中の顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出するステップと、
前記整理対象画像と前記検出した登録顔画像とを関連付けるステップとを含む。
【請求項２】
請求項１に記載の画像蓄積方法において、
前記特徴量を登録顔画像として記憶するステップは、前記特徴量と前記登録画像中の顔画像とを登録顔画像として記憶するステップである。
【請求項３】
請求項１又は２に記載の電子画像蓄積方法において、
前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像の特徴量を付加するステップである。
【請求項４】
請求項１又は２に記載の電子画像蓄積方法において、
前記顔画像登録フェーズは、
前記登録顔画像の人物に関する属性情報を入力させるステップと、
前記入力された属性情報と前記登録顔画像とを関連付けて記憶するステップとを更に含む。
【請求項５】
請求項４に記載の電子画像蓄積方法において、
前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像に対応する前記属性情報を付加するステップである。
【請求項６】
請求項１又は２に記載の電子画像蓄積方法において、
前記顔画像登録フェーズは、
前記登録顔画像に対応する画像保存用フォルダを作成するステップを更に含み、
前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像を前記検出した登録顔画像に対応する前記画像保存用フォルダに収納するステップである。
【請求項７】
請求項６に記載の電子画像蓄積方法において、
前記顔画像登録フェーズは、
前記登録顔画像の特徴量を前記画像保存用フォルダと関連付けるステップとを更に含む。
【請求項８】
請求項６に記載の電子画像蓄積方法において、
前記顔画像登録フェーズは、
前記登録顔画像の人物に関する属性情報を入力させるステップと、
前記属性情報の少なくとも一部を前記画像保存用フォルダと関連付けるステップとを更に含む。
【請求項９】
請求項６に記載の電子画像蓄積方法において、
前記求めた顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出できなかったとき、前記整理対象画像を予め用意された未登録顔画像フォルダに収納するステップを更に含む。
【請求項１０】
請求項１〜９のいずれかに記載の電子画像蓄積方法において、
前記画像整理フェーズは、
整理対象画像中の顔の位置を示す位置情報を求めるステップを更に含み、
前記画像保存用フォルダに収納するステップ又は未登録顔画像フォルダに収納するステップは、前記求めた顔の位置を示す位置情報を前記整理対象画像と関連付けて収納する。
【請求項１１】
請求項６に記載の電子画像蓄積方法において、
前記整理対象画像中に顔画像を検出されなかったとき、前記整理対象画像を予め用意された無顔画像フォルダに収納するステップを更に含む。
【請求項１２】
請求項１又は２に記載の電子画像蓄積方法において、
動作フェーズとして画像検索フェーズを更に有し、
前記画像検索フェーズは、前記画像入力部に検出すべき顔画像が撮影された検索画像が入力されるステップと、
前記検索画像中の顔画像の顔の特徴量を求めるステップと、
前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記整理対象画像から検出するステップとを更に含む。
【請求項１３】
請求項１２に記載の電子画像蓄積方法において、
前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記未登録顔画像フォルダから検出するステップを更に含む。
【請求項１４】
請求項１２又は１３に記載の電子画像蓄積方法において、
前記検出した画像を表示するステップを更に含み、
表示した画像の前記位置情報に基づく位置に、所定の表示を表示する。
【請求項１５】
請求項１〜１４のいずれかに記載の方法をコンピュータに実行させるプログラム。
【請求項１６】
電子画像蓄積装置であって、
画像入力部と、
顔認識部と、
画像蓄積部とを備え、
前記画像入力部には登録画像と整理対象画像とが入力され、
前記顔認識部は、前記画像入力部に入力された前記各画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記顔画像とその特徴量とを関連付けて登録顔画像として記憶する第１の記憶部とを有し、
前記画像蓄積部は、第２の記憶部を有し、
前記第２の記憶部は、前記整理対象画像を収納する画像蓄積フォルダを備え、
前記画像処理部が求めた前記整理対象画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに前記整理対象画像を収納して記憶する。
【請求項１７】
請求項１６に記載の電子画像蓄積装置において、
前記第１の記憶部と前記第２の記憶部とは一つの記憶部として構成される。
【請求項１８】
請求項１６に記載の電子画像蓄積装置において、
画像検索部を更に備え、
前記画像入力部には検索画像が更に入力され、
前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに収納された前記整理対象画像を抽出する。
【請求項１９】
請求項１６に記載の電子画像蓄積装置において、
画像検索部を更に備え、
前記画像入力部には検索画像が更に入力され、
前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の顔画像を含む整理対象画像を前記未登録顔画像フォルダから抽出する。
【請求項２０】
画像撮像装置であって、
撮影手段を含む画像入力部と、
顔認識部と、
登録顔画像と整理対象画像とを記憶する記憶部とからなり、
前記画像入力部には、前記画像撮影手段で撮影した画像が前記整理対象画像として入力され、
前記記憶部は、前記登録顔画像の顔の特徴量を記憶する第１の記憶部と、前記整理対象画像を記憶する第２の記憶部とを有し、
前記顔認識部は、前記整理対象画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記画像処理部が求めた前記整理対象画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する画像比較部とを有し、
前記第２の記憶部は、前記整理対象画像を前記画像処理部が求めた前記画像中の顔画像の顔の特徴量に該当する前記登録顔画像の顔の特徴量と関連付けて記憶する。
【請求項２１】
請求項２０に記載の画像撮像装置において、
前記第１の記憶部は、前記登録顔画像の特徴量を外部から読み込んで記憶する。
【請求項２２】
請求項２０に記載の画像撮像装置において、
前記入力部には前記登録画像が更に入力され、
前記画像処理部は、前記入力部に入力された登録画像中の顔画像の顔の特徴量を更に求め、
前記第１の記憶部は、前記画像処理部が求めた前記顔画像の顔の特徴量を前記登録顔画像として記憶する。
【請求項２３】
電子画像蓄積システムであって、
表示部と画像入力部と属性入力部とを有し、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と所望の人物の顔画像を含む検索画像とが前記画像入力部に入力される端末装置と、
入力された前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記登録画像中の顔画像の特徴量を登録顔画像として記憶する第１の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、
各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶すると共に前記登録画像の属性情報を記憶する第２の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、
前記各装置を互いに情報授受可能に接続する通信網とから成り、
前記端末装置は、
前記画像入力部に入力された登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と前記属性入力部に入力された属性情報とを前記画像蓄積装置に送信し、
前記表示部に前記画像蓄積装置から受けた検出画像を表示し、
前記画像蓄積装置は、
前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、
前記顔認識装置から各登録顔画像を識別する符号を受け、
前記属性情報を前記符号と関連付けて前記第２記憶部に記憶し、
前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶し、
前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、
前記抽出した蓄積画像を前記端末装置に送信し、
前記顔認識装置は、
前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第１の記憶部に記憶し、
前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
【請求項２４】
請求項２３に記載の電子画像蓄積システムにおいて、
前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶することは、前記蓄積画像を前記第２記憶部の前記符号が示す登録顔画像に対応する前記収納場所に記憶することである。
【請求項２５】
請求項２３に記載の電子画像蓄積システムにおいて、
前記顔画像と前記収納場所とは、前記属性情報によって対応付けられている。
【請求項２６】
電子画像蓄積システムであって、
登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する第１の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、
各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する第２の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、
前記顔認識装置と前記画像蓄積装置と端末装置とを互いに情報授受可能に接続する通信網とから成り、
前記画像蓄積装置は、
前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、
前記顔認識装置から各登録顔画像を識別する符号を受け、
前記属性情報を前記符号と関連付けて前記第２記憶部に記憶し、
前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶し、
前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、
前記抽出した蓄積画像を前記端末装置に送信し、
前記顔認識装置は、
前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第１の記憶部に記憶し、
記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
【請求項２７】
登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有し、端末装置及び画像蓄積装置と通信手段で情報授受可能に結ばれた顔認識装置であって、
前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記記憶部に記憶し、
記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
【請求項２８】
登録顔画像毎に夫々対応する収納場所を有し蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する記憶部を有し、端末装置及び顔認識装置と通信手段で情報授受可能に結ばれた画像蓄積装置であって、
前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、
前記顔認識装置から各登録顔画像を識別する符号を受けると共に、
前記属性情報を前記符号と関連付けて前記記憶部に記憶し、
前記蓄積画像を前記符号と関連付けて前記記憶部に記憶し、
前記画像検索部によって前記符号と関連付けられた前記蓄積画像を抽出し、
前記抽出した蓄積画像を前記端末装置に送信する。
【請求項２９】
画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法であって、
前記画像登録フェーズは、
登録画像が入力されるステップと、
前記登録画像中の対象物の特徴量を求めるステップと、
前記特徴量を登録画像として記憶するステップとを含み、
前記画像整理フェーズは、
蓄積画像が入力されるステップと、
前記蓄積画像中の対象物の特徴量を求めるステップと、
前記求めた蓄積画像中の対象物の特徴量に該当する特徴量を前記登録画像から検出するステップと、
前記蓄積画像と前記検出した登録画像とを関連付けるステップとを含む。
【請求項３０】
電子画像蓄積方法であって、
登録用画像の中から被写体を特定する特定情報を抽出し、
前記抽出した被写体の特定情報を登録し、
蓄積対象画像を入力し、
前記蓄積対象画像の中から被写体を特定する特定情報を抽出し、
前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、
前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記蓄積対象画像を前記登録した被写体の特定情報に関連付けて記憶装置に蓄積する。
【請求項３１】
請求項３０に記載の電子画像蓄積方法において、
前記被写体は人物であり、
前記被写体を特定する特定情報は、人物の顔の画像から抽出できる情報であり、
前記蓄積画像は、前記特定情報に基づき、人物単位に管理されるように前記記憶装置に蓄積される。
【請求項３２】
電子画像蓄積装置であって、
登録用画像と蓄積対象画像を入力する画像入力部と、
前記入力された蓄積対象画像を蓄積する記憶部と、
前記入力された登録用画像の中から被写体を特定する特定情報を抽出し、登録する特定情報登録部と、
前記入力された蓄積対象画像の中から被写体を特定する特定情報を抽出する特定情報抽出部と、
前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記入力された蓄積対象画像を前記登録した被写体の特定情報に関連付けて前記記憶装置に蓄積する制御部とを備える。
【請求項１】
顔画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法であって、
前記顔画像登録フェーズは、
登録画像が入力されるステップと、
前記登録画像中の顔画像の顔の特徴量を求めるステップと、
前記特徴量を登録顔画像として記憶するステップとを含み、
前記画像整理フェーズは、
整理対象画像が入力されるステップと、
前記整理対象画像中の顔画像の顔の特徴量を求めるステップと、
前記求めた整理対象画像中の顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出するステップと、
前記整理対象画像と前記検出した登録顔画像とを関連付けるステップとを含む。
【請求項２】
請求項１に記載の画像蓄積方法において、
前記特徴量を登録顔画像として記憶するステップは、前記特徴量と前記登録画像中の顔画像とを登録顔画像として記憶するステップである。
【請求項３】
請求項１又は２に記載の電子画像蓄積方法において、
前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像の特徴量を付加するステップである。
【請求項４】
請求項１又は２に記載の電子画像蓄積方法において、
前記顔画像登録フェーズは、
前記登録顔画像の人物に関する属性情報を入力させるステップと、
前記入力された属性情報と前記登録顔画像とを関連付けて記憶するステップとを更に含む。
【請求項５】
請求項４に記載の電子画像蓄積方法において、
前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像に対応する前記属性情報を付加するステップである。
【請求項６】
請求項１又は２に記載の電子画像蓄積方法において、
前記顔画像登録フェーズは、
前記登録顔画像に対応する画像保存用フォルダを作成するステップを更に含み、
前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像を前記検出した登録顔画像に対応する前記画像保存用フォルダに収納するステップである。
【請求項７】
請求項６に記載の電子画像蓄積方法において、
前記顔画像登録フェーズは、
前記登録顔画像の特徴量を前記画像保存用フォルダと関連付けるステップとを更に含む。
【請求項８】
請求項６に記載の電子画像蓄積方法において、
前記顔画像登録フェーズは、
前記登録顔画像の人物に関する属性情報を入力させるステップと、
前記属性情報の少なくとも一部を前記画像保存用フォルダと関連付けるステップとを更に含む。
【請求項９】
請求項６に記載の電子画像蓄積方法において、
前記求めた顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出できなかったとき、前記整理対象画像を予め用意された未登録顔画像フォルダに収納するステップを更に含む。
【請求項１０】
請求項１〜９のいずれかに記載の電子画像蓄積方法において、
前記画像整理フェーズは、
整理対象画像中の顔の位置を示す位置情報を求めるステップを更に含み、
前記画像保存用フォルダに収納するステップ又は未登録顔画像フォルダに収納するステップは、前記求めた顔の位置を示す位置情報を前記整理対象画像と関連付けて収納する。
【請求項１１】
請求項６に記載の電子画像蓄積方法において、
前記整理対象画像中に顔画像を検出されなかったとき、前記整理対象画像を予め用意された無顔画像フォルダに収納するステップを更に含む。
【請求項１２】
請求項１又は２に記載の電子画像蓄積方法において、
動作フェーズとして画像検索フェーズを更に有し、
前記画像検索フェーズは、前記画像入力部に検出すべき顔画像が撮影された検索画像が入力されるステップと、
前記検索画像中の顔画像の顔の特徴量を求めるステップと、
前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記整理対象画像から検出するステップとを更に含む。
【請求項１３】
請求項１２に記載の電子画像蓄積方法において、
前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記未登録顔画像フォルダから検出するステップを更に含む。
【請求項１４】
請求項１２又は１３に記載の電子画像蓄積方法において、
前記検出した画像を表示するステップを更に含み、
表示した画像の前記位置情報に基づく位置に、所定の表示を表示する。
【請求項１５】
請求項１〜１４のいずれかに記載の方法をコンピュータに実行させるプログラム。
【請求項１６】
電子画像蓄積装置であって、
画像入力部と、
顔認識部と、
画像蓄積部とを備え、
前記画像入力部には登録画像と整理対象画像とが入力され、
前記顔認識部は、前記画像入力部に入力された前記各画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記顔画像とその特徴量とを関連付けて登録顔画像として記憶する第１の記憶部とを有し、
前記画像蓄積部は、第２の記憶部を有し、
前記第２の記憶部は、前記整理対象画像を収納する画像蓄積フォルダを備え、
前記画像処理部が求めた前記整理対象画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに前記整理対象画像を収納して記憶する。
【請求項１７】
請求項１６に記載の電子画像蓄積装置において、
前記第１の記憶部と前記第２の記憶部とは一つの記憶部として構成される。
【請求項１８】
請求項１６に記載の電子画像蓄積装置において、
画像検索部を更に備え、
前記画像入力部には検索画像が更に入力され、
前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに収納された前記整理対象画像を抽出する。
【請求項１９】
請求項１６に記載の電子画像蓄積装置において、
画像検索部を更に備え、
前記画像入力部には検索画像が更に入力され、
前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の顔画像を含む整理対象画像を前記未登録顔画像フォルダから抽出する。
【請求項２０】
画像撮像装置であって、
撮影手段を含む画像入力部と、
顔認識部と、
登録顔画像と整理対象画像とを記憶する記憶部とからなり、
前記画像入力部には、前記画像撮影手段で撮影した画像が前記整理対象画像として入力され、
前記記憶部は、前記登録顔画像の顔の特徴量を記憶する第１の記憶部と、前記整理対象画像を記憶する第２の記憶部とを有し、
前記顔認識部は、前記整理対象画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記画像処理部が求めた前記整理対象画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する画像比較部とを有し、
前記第２の記憶部は、前記整理対象画像を前記画像処理部が求めた前記画像中の顔画像の顔の特徴量に該当する前記登録顔画像の顔の特徴量と関連付けて記憶する。
【請求項２１】
請求項２０に記載の画像撮像装置において、
前記第１の記憶部は、前記登録顔画像の特徴量を外部から読み込んで記憶する。
【請求項２２】
請求項２０に記載の画像撮像装置において、
前記入力部には前記登録画像が更に入力され、
前記画像処理部は、前記入力部に入力された登録画像中の顔画像の顔の特徴量を更に求め、
前記第１の記憶部は、前記画像処理部が求めた前記顔画像の顔の特徴量を前記登録顔画像として記憶する。
【請求項２３】
電子画像蓄積システムであって、
表示部と画像入力部と属性入力部とを有し、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と所望の人物の顔画像を含む検索画像とが前記画像入力部に入力される端末装置と、
入力された前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記登録画像中の顔画像の特徴量を登録顔画像として記憶する第１の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、
各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶すると共に前記登録画像の属性情報を記憶する第２の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、
前記各装置を互いに情報授受可能に接続する通信網とから成り、
前記端末装置は、
前記画像入力部に入力された登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と前記属性入力部に入力された属性情報とを前記画像蓄積装置に送信し、
前記表示部に前記画像蓄積装置から受けた検出画像を表示し、
前記画像蓄積装置は、
前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、
前記顔認識装置から各登録顔画像を識別する符号を受け、
前記属性情報を前記符号と関連付けて前記第２記憶部に記憶し、
前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶し、
前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、
前記抽出した蓄積画像を前記端末装置に送信し、
前記顔認識装置は、
前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第１の記憶部に記憶し、
前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
【請求項２４】
請求項２３に記載の電子画像蓄積システムにおいて、
前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶することは、前記蓄積画像を前記第２記憶部の前記符号が示す登録顔画像に対応する前記収納場所に記憶することである。
【請求項２５】
請求項２３に記載の電子画像蓄積システムにおいて、
前記顔画像と前記収納場所とは、前記属性情報によって対応付けられている。
【請求項２６】
電子画像蓄積システムであって、
登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する第１の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、
各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する第２の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、
前記顔認識装置と前記画像蓄積装置と端末装置とを互いに情報授受可能に接続する通信網とから成り、
前記画像蓄積装置は、
前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、
前記顔認識装置から各登録顔画像を識別する符号を受け、
前記属性情報を前記符号と関連付けて前記第２記憶部に記憶し、
前記蓄積画像を前記符号と関連付けて前記第２記憶部に記憶し、
前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、
前記抽出した蓄積画像を前記端末装置に送信し、
前記顔認識装置は、
前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第１の記憶部に記憶し、
記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
【請求項２７】
登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有し、端末装置及び画像蓄積装置と通信手段で情報授受可能に結ばれた顔認識装置であって、
前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記記憶部に記憶し、
記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。
【請求項２８】
登録顔画像毎に夫々対応する収納場所を有し蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する記憶部を有し、端末装置及び顔認識装置と通信手段で情報授受可能に結ばれた画像蓄積装置であって、
前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、
前記顔認識装置から各登録顔画像を識別する符号を受けると共に、
前記属性情報を前記符号と関連付けて前記記憶部に記憶し、
前記蓄積画像を前記符号と関連付けて前記記憶部に記憶し、
前記画像検索部によって前記符号と関連付けられた前記蓄積画像を抽出し、
前記抽出した蓄積画像を前記端末装置に送信する。
【請求項２９】
画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法であって、
前記画像登録フェーズは、
登録画像が入力されるステップと、
前記登録画像中の対象物の特徴量を求めるステップと、
前記特徴量を登録画像として記憶するステップとを含み、
前記画像整理フェーズは、
蓄積画像が入力されるステップと、
前記蓄積画像中の対象物の特徴量を求めるステップと、
前記求めた蓄積画像中の対象物の特徴量に該当する特徴量を前記登録画像から検出するステップと、
前記蓄積画像と前記検出した登録画像とを関連付けるステップとを含む。
【請求項３０】
電子画像蓄積方法であって、
登録用画像の中から被写体を特定する特定情報を抽出し、
前記抽出した被写体の特定情報を登録し、
蓄積対象画像を入力し、
前記蓄積対象画像の中から被写体を特定する特定情報を抽出し、
前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、
前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記蓄積対象画像を前記登録した被写体の特定情報に関連付けて記憶装置に蓄積する。
【請求項３１】
請求項３０に記載の電子画像蓄積方法において、
前記被写体は人物であり、
前記被写体を特定する特定情報は、人物の顔の画像から抽出できる情報であり、
前記蓄積画像は、前記特定情報に基づき、人物単位に管理されるように前記記憶装置に蓄積される。
【請求項３２】
電子画像蓄積装置であって、
登録用画像と蓄積対象画像を入力する画像入力部と、
前記入力された蓄積対象画像を蓄積する記憶部と、
前記入力された登録用画像の中から被写体を特定する特定情報を抽出し、登録する特定情報登録部と、
前記入力された蓄積対象画像の中から被写体を特定する特定情報を抽出する特定情報抽出部と、
前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記入力された蓄積対象画像を前記登録した被写体の特定情報に関連付けて前記記憶装置に蓄積する制御部とを備える。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【国際公開番号】ＷＯ２００５／０３１６１２
【国際公開日】平成１７年４月７日（２００５．４．７）
【発行日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願番号】特願２００５−５１４２２１（Ｐ２００５−５１４２２１）
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１４０７３
【国際出願日】平成１６年９月２７日（２００４．９．２７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【出願人】（５９６０７５４６２）株式会社ニコンビジネスサービス (28)
【Ｆターム（参考）】
【国際公開日】平成１７年４月７日（２００５．４．７）
【発行日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１４０７３
【国際出願日】平成１６年９月２７日（２００４．９．２７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【出願人】（５９６０７５４６２）株式会社ニコンビジネスサービス (28)
【Ｆターム（参考）】
[ Back to top ]