画像処理装置およびプログラム
【課題】簡便な操作で人物を特定して高速にかつ高い信頼性の下で画像を検索
することができる画像処理装置およびプログラムを提供する。
【解決手段】 画像検索手段を有する画像処理装置において、画像検索の基準とする参照画像を参照画像の撮影日情報と共に記憶する参照画像記憶手段（２２）と、入力画像から顔画像を抽出する抽出手段（１５）と、前記参照画像記憶手段に記憶された参照画像を表示する画像表示手段（２）と、前記表示部に表示される参照画像の中から同一人物について複数の参照画像を指定する入力手段（３）と、前記指定された同一人物について複数の参照画像の中から、前記入力画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、選択された参照画像を基準として前記顔画像の人物を特定する選択検索手段（１３ａ）と を備えたことを特徴とする画像処理装置。
することができる画像処理装置およびプログラムを提供する。
【解決手段】 画像検索手段を有する画像処理装置において、画像検索の基準とする参照画像を参照画像の撮影日情報と共に記憶する参照画像記憶手段（２２）と、入力画像から顔画像を抽出する抽出手段（１５）と、前記参照画像記憶手段に記憶された参照画像を表示する画像表示手段（２）と、前記表示部に表示される参照画像の中から同一人物について複数の参照画像を指定する入力手段（３）と、前記指定された同一人物について複数の参照画像の中から、前記入力画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、選択された参照画像を基準として前記顔画像の人物を特定する選択検索手段（１３ａ）と を備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子撮像装置を用いて撮像されたデジタル画像を蓄積し表示する画像処理装置およびプログラムに関し、特に撮影された人物の顔を認識して画像の検索、抽出などを行う画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
近年デジタルカメラなどの電子撮像装置が広く一般家庭にも普及してきており、撮影された画像はパソコンなどの画像処理装置に設けられた記憶装置あるいは記憶媒体に記録されて保存されている。
【０００３】
そして、このように保存されている画像を整理し編集して閲覧するための、「デジタルアルバム」とも呼ばれるソフトウエアが発売されている。このソフトウエアは、撮影した画像を多彩なレイアウトで配置でき、また画像だけでなく音声情報も併せて記録できるなど、視覚的に楽しむだけに留まらずより豊富な情報提供できるように構成されている。
【０００４】
ところで、この「デジタルアルバム」を活用して楽しもうとする際には、そのアルバムに貼付する画像の検索が問題になると考えられる。例えば、電子撮像装置で撮影した画像が長年にわたって多数保存されている場合などには、欲しい画像を探そうとしてもなかなか見つけることができない状況になってしまうと考えられる。
【０００５】
この検索の問題を解決するための技術として、撮影画像から所定のインデックスを抽出して登録、検索し、検索条件に合った写真をデジタルアルバム装置に表示等するものが提案されている。
【特許文献１】特開平１０−１２４６５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、この技術ではイメージ情報をインデックス化し、複数のインデックスの組み合わせで検索する画像を特定する方式であるため、例えば、同一人物を検索しようとした場合、その人物が何年にもわたって成長している画像を対象とする場合、また同一人物でも撮影条件によって色調が異なる場合などでは、それぞれに異なる複数のインデックスが必要とされるため、適切なインデックスの選択に熟練が必要とされ、また何種類かのインデックスを用いて繰り返して検索することが必要とされると考えられる。
【０００７】
一般家庭でデジタルアルバムを編集しようとする場合は、その検索の対象は大半が人物であり、検索機能を人物に限定したとしてもその検索技術の利用価値は損なわれないと考えられる。
【０００８】
例えば、１人または複数人の特定の人物（以下、「特定人物」という）の成長記録を作るためにその特定人物の画像を検索する、集合写真において特定人物を見つけ出す、あるいは他の人物の名前を照合する、等の人物を識別する検索機能があれば前述のアルバム編集作業には充分活用することができると考えられる。
【０００９】
一方、近年の顔認識技術は急速に進歩しており、直接写真などと照合して個人を識別する技術も各種提案されている（例えば、特開２０００−１９４８４９）。したがって、これらの技術を活用することで特定人物の検索を煩雑な操作を行うことなく実行することができると考えられる。
【００１０】
ここで、画像同士を比較照合して個人を認識する検索処理は時間を要する処理であるため、操作性の観点からその処理の高速化を図ることが必要不可欠とされ、更に、この高速化と共に検索の信頼性を向上させることも求められている。
【００１１】
また本画像処理装置においては、画像を多彩な形態で表示等できることが必要とされ、特定人物に関連した情報についても簡便な操作で提供できることが望まれている。
【００１２】
本発明は、係る事情に鑑みてなされたものであって、簡便な操作で人物を特定して画像を高速にかつ高い信頼性の下で検索することができ、また画像を多彩な形態で表示することができる画像処理装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解消するため、第１の発明は、 画像検索手段を有する画像処理装置において、
画像検索の基準とする参照画像を参照画像の撮影日情報と共に記憶する参照画像記憶手段と、
入力画像から顔画像を抽出する抽出手段と、前記参照画像記憶手段に記憶された参照画像を表示する画像表示手段と、前記表示部に表示される参照画像の中から同一人物について複数の参照画像を指定する入力手段と、前記指定された同一人物について複数の参照画像の中から、前記入力画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、選択された参照画像を基準として前記顔画像の人物を特定する選択検索手段とを備えた画像処理装置である。
【００１４】
また、第２の発明は、上記第１の発明の画像処理装置において、前記画像表示手段は、前記入力手段により指定された同一人物について複数の参照画像を一覧表示する画像処理装置である。
【００１５】
また第３の発明は、上記第１の発明の画像処理装置において、前記選択検索手段は、前記指定された参照画像が現在から所定期間内の撮影日の画像であるかを調べる画像処理装置である。
【００１６】
また第４の本発明は、上記第３の発明の画像処理装置において、前記選択検索手段は、前記指定された参照画像が現在から所定期間外の撮影日の画像である場合には 新しい参照画像を登録するように促す 画像処理装置である。
【００１７】
また第５の発明は、上記第１の発明の画像処理装置において、前記選択検索手段で参照画像との対比により人物の特定ができたときには、該当した参照画像に付加されている人物の名前を当該入力画像とともに記憶する記憶手段を備えた画像処理装置である。
【００１８】
また第６の発明は、上記第５の発明の画像処理装置において、前記入力画像とともにこの画像に含まれる前記人物の名前を印刷装置に出力する出力手段を備えた画像処理装置である。
【００１９】
また第７の発明は、画像検索の基準となる参照画像を参照画像の撮影日情報と共に記憶する参照画像記憶手段を有し、この参照画像との対比により入力画像の人物を特定する画像処理装置のコンピュータにおいて実行されるプログラムにおいて、
表示された参照画像の中から同一人物について複数の参照画像を指定させ、
前記指定された同一人物について複数の参照画像の中から、前記入力画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、
前記参照画像記憶手段に記憶された参照画像を表示し、選択された参照画像を基準として入力画像の人物を特定するプログラムである。
【発明の効果】
【００２０】
以上説明したように、本発明によれば簡便な操作で人物を特定して画像を高速
にかつ高い信頼性の下で検索することができ、また画像を多彩な形態で表示する
ことができる。
【発明を実施するための最良の形態】
【００２１】
図１は、本発明に係る画像処理装置の構成を示すブロック図である。
【００２２】
本画像処理装置は、画像の検索等を行う画像処理部１と、この画像処理部１の周辺端末である、処理された画像などを表示する表示装置２、画像処理部１に対して各種データあるいは操作指示等の入力を行うための操作入力部３、処理画像等を印刷するプリンタ４、基準となる参照画像の人物像を撮影する撮像装置５及び検索処理等の対象となる画像を記録した画像記録媒体６で構成されている。
【００２３】
そして、画像処理部１には、これらの周辺端末と信号の授受を行なう画像処理部１の各処理機能のインターフェースである入出力制御部１０、検索の基準となる参照画像を登録する登録部１１、検索対象となる画像の検索に関連する付加情報を作成して画像処理部１の内部に蓄積する画像蓄積処理部１２、参照画像の人物が撮影された画像を検索する検索部１３、画像を表示すると共にその画像に付加された情報も関連付けて表示する表示部１４、画像から人物の顔を抽出しまたは個人を認識する抽出認識部１５及び画像と付加情報を集約して印刷するプリント処理部１６が備えられている。
【００２４】
更に、登録部１１には、画像記録媒体６から入力された画像から人物を抽出して、それに基づいてその人物の顔の部分を取り出した画像である顔画像を作成し参照画像として登録する画像指定登録部１１ａ、撮像装置から入力された撮像に基づいて顔画像を作成し参照画像として登録する新規登録部１１ｂが設けられ、また検索部１３には、画像中に指定された参照画像の人物が撮影されているかどうかを調べて該当した画像を抽出する参照画像指定検索部１３ａが設けられ、そして抽出認識部１５には、画像から人物の顔の部分を識別してその顔画像を抽出する顔抽出部１５ａ、参照画像の顔が指定された画像中にあるかどうかを照合して認識する個人認識部１５ｂが設けられている。
【００２５】
また、画像処理部１にはこれらの各機能の動作に必要な情報を記憶する記憶部２０が備えられ、この記憶部２０には検索の対象となる画像を記憶する画像記憶部２１、検索の基準となる参照画像を記憶する参照画像記憶部２２が設けられている。
【００２６】
次に、本画像処理装置を構成する各処理機能の動作について説明する。操作者が画像処理装置の電源を投入したとき、また操作入力部３から初期操作を行ったときは表示部２にはメニュー画面が表示される。
【００２７】
図２は本画像処理装置の処理機能を表すメニュー画面である。
【００２８】
この画像処理装置の処理機能は、登録モード、画像蓄積モード、検索モード、画像表示モードの４つの機能で構成さている。そしてこのメニュー画面では、登録モードには画像指定登録ボタン３０と新規登録ボタン３１が表示され、画像蓄積モードには画像蓄積処理ボタン３２が表示され、検索モードには参照画像指定検索ボタン３３が表示され、画像表示モードには画像表示ボタン３４が表示されている。
【００２９】
操作者が参照画像を登録しようとするときは、人物の撮影された画像が記録された画像記録媒体６を画像処理部１に接続してメニュー画面の画像指定登録ボタン３０を操作すると、画像指定登録部１１ａが起動して参照画像の登録処理を行う。
【００３０】
図３は、画像指定登録部１１ａの概略の動作手順を示すフロー図である。
【００３１】
本画像指定登録機能は、外部の画像記録媒体６に記録されてある画像から参照画像を作成する機能で、参照画像として採用できるかどうかを判断する機能、情報を付加できる機能を併せて有している。尚、この画像記録媒体６に記録されてある画像は、撮像装置５又は他の撮像装置を用いて撮像された画像である。
【００３２】
操作者は表示部２に表示される画像記録媒体６に記録されてある画像のサムネイル画像から、参照画像として登録したい人物の撮影されている画像を選択する（Ｓ１）。
【００３３】
画像指定登録部１１ａは操作者によって選択された画像を画像記録媒体６から抽出して表示部２に表示する（Ｓ２）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５はその画像に撮影されている人物の顔画像を抽出して（Ｓ３）、その結果を画像指定登録部１１ａに返す。
【００３４】
図４は、顔抽出部１５ａによる顔抽出結果を示す図である。
【００３５】
元の画像上に、顔抽出部１５が抽出した人物の顔を囲むように枠が表示されている。操作者が参照画像として登録しようとする人物を操作入力部３から選択すると（Ｓ４）、画像指定登録部１１ａはその選択された人物の顔画像が参照画像として適切かどうかを判断する（Ｓ５）。
【００３６】
例えば、顔の部分が髪または帽子などで覆われて小さい領域しか写っていない場合、目を閉じている場合、等は不適切な顔画像でありこのような場合は表示部２に適切でない旨の警告を表示しまた不適切な理由を表示（Ｓ７）する。顔画像が適切と判断されたときは（Ｓ６）、顔のサイズを所定の大きさに調整した情報入力画面を表示部２に表示する（Ｓ８）。
【００３７】
図５は、情報入力画面の構成を示す図である。
【００３８】
この情報入力画面には、リサイズされた顔画像とともに、後に述べる検索時の情報となる名前、生年月日、撮影年月日、登録年月日などの付加情報の入力欄が設けられている。尚、撮影年月日は、元の画像に付随して既に情報が入力されている場合はそのデータを表示し、登録年月日は当日の日付けを予め設定するように構成しても良い。
【００３９】
操作者が、これらの情報を入力して（Ｓ９）、登録ボタンを操作すれば画像指定登録部１１ａは顔画像と付加情報を参照画像記憶部２２に登録する（Ｓ１０）。そして、まだ処理すべき画像が残っている場合（Ｓ１１）は、以上の手順を繰り返す。ここで、登録とは参照画像を識別するための識別符号と関連付けて記憶することをいう。
【００４０】
操作者が撮像装置５を用いて参照画像を登録しようとするときは、撮像装置５を画像処理部１に接続してメニュー画面の新規登録ボタン３１を操作すると、新規登録部１１ｂが起動して参照画像の登録処理を行う。
【００４１】
図６は、新規登録部１１ｂの概略の動作手順を示すフロー図である。
【００４２】
本新規登録機能は、撮像装置５から取り込んだ人物画像から参照画像を作成する機能である。まず新規登録部１１ｂは、撮像装置５に対して人物の画像を規定するためのテンプレートを出力する（Ｓ１５）。
【００４３】
図７は、撮像装置５の表示部に表示される人物像を示す図である。
【００４４】
撮像装置５の撮影者は、このテンプレートに合わせて人物の大きさ向きなどを設定して撮影することで容易に適正な顔画像を得ることが可能となる。こうして撮影された人物画像は新規登録部１１ｂに送り出され、新規登録部１１ｂは撮像装置５から撮像データを受取り、表示部２に表示する（Ｓ１６）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５はその画像に撮影されている人物の顔画像を抽出して（Ｓ１７）、その結果を新規登録部１１ｂに返す。
【００４５】
次に新規登録部１１ｂは、その抽出した顔画像が参照画像として適切かどうかを判断する（Ｓ１８）。例えば、顔の部分が髪または帽子などで覆われて小さい場合、目を閉じている場合、等は不適切な顔画像でありこのような場合は表示部２に適切でない旨の警告を表示しまた不適切な理由を表示（Ｓ２０）する。これによって撮影者は適正な顔画像を容易に再撮影することができる。顔画像が適切と判断されたときは（Ｓ１９）、顔のサイズを所定の大きさに調整した図５に示す情報入力画面を表示部２に表示する（Ｓ２１）。
【００４６】
操作者が、後述する検索時の情報となる名前、生年月日、撮影年月日、登録年月日などの付加情報を入力して（Ｓ２２）、登録ボタンを操作すれば新規登録部１１ｂは顔画像と付加情報を参照画像記憶部２２に登録する（Ｓ２３）。そして、まだ処理すべき画像が残っている場合（Ｓ２４）は、以上の手順を繰り返す。
【００４７】
参照画像の登録処理をこのように構成すれば、人物の特徴を表す複数のインデックスを抽出しなくても簡便に参照画像として登録ができ、また不適切な顔画像を除去して認識処理の確実性を高めることが可能となる。
【００４８】
次に、外部の画像記録装置等から入力される画像を本画像処理装置の画像記憶部２１に蓄積記憶する際の処理について説明する。操作者が、外部端末を画像処理部１に接続してメニュー画面の画像蓄積処理ボタン３２を操作すると、画像蓄積処理部１２が起動して画像蓄積処理を行う。
【００４９】
図８、図９は、画像蓄積処理部１２の概略の動作手順を示すフロー図である。
【００５０】
本画像蓄積処理機能は、画像を入力する際に、その後の検索処理で必要とされる検索情報を予め抽出して画像と共に蓄積するものである。
【００５１】
画像蓄積処理部１２は、撮像装置５または画像記録媒体６から画像データを受取り、表示部２に表示する（Ｓ３０）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５ａはその画像に撮影されている人物の顔画像を抽出して（Ｓ３２）、その結果を画像蓄積処理部１２に返す。
【００５２】
画像蓄積処理部１２は、画像データ中にある各顔の位置情報（エリア情報又は中心座標）を確定する（Ｓ３３）。
【００５３】
図１０は、画像データ中にある各顔の位置情報を確定する方法を示す図である。
【００５４】
図１０の（１）は、顔のエリア情報を示している。この情報は、顔の存在する領域を例えば複数の座標点からなる多角形で囲まれた領域として表している。一方、図１０の（２）は、顔の中心座標を示している。この情報は、顔の存在する画像データ中の位置を例えば顔の領域の略中心位置を示す1点の座標として代表している。これらの顔位置情報は表示処理において人物の顔の位置を特定するための情報として取り扱われる。
【００５５】
続いて、画像蓄積処理部１２は個人認識部１５ｂを起動する。個人認識部１５ｂは、顔抽出部１５ａが抽出した顔画像を参照画像の顔画像と照合し、参照画像の人物として認識できるかどうかを調べる個人認識処理を実行する（Ｓ３４）。
【００５６】
顔画像が参照画像の特定の人物として認識できた場合（Ｓ３５）は、画像データ中の認識された人物に参照画像の識別符号を付して表示部に表示し（Ｓ３６）、参照画像の特定の人物として認識できなかった場合（Ｓ３５）は、画像データ中のその認識できなかった人物に？符号を付して表示部に表示する（Ｓ３７）。
【００５７】
以上の、個人認識処理を画像データに含まれる全ての人物について繰り返し照合を行ない、全ての顔の照合が終わったときに（Ｓ３８）、認識画面を表示部２に表示する（Ｓ３９）。
【００５８】
図１１は、認識画面の構成を示す図である。
【００５９】
この認識画面では、画像データの各人物に前述の識別符号が付されると共に、参照画像がサムネイル形式で画面の下部に表示されている。この識別符号を介して各人物と参照画像が関連付けられる。そしてこのように関連付けて表示することによって、操作者は認識結果を容易に確認することができる。操作者は、識別符号に基づいて画像データの人物と参照画像の人物を比較して、変更または追加等の識別符号の修正が必要か否かを判断する（Ｓ４０）。
【００６０】
変更または追加が必要であるときは、画像上のメニュー（図示していない）から変更または追加を選択してその操作を行う（Ｓ４１）。
【００６１】
変更を選択した場合（Ｓ４２）は、先ず画像上の人物を、その顔位置（または顔エリア内）にマウスなどを操作することによって特定し、次にその人物に対応させようとする参照画像をマウスなどを用いて特定する（Ｓ４３）。この操作によって画像データ上の人物に付された識別符号が特定された参照画像の識別符号に変更される。
【００６２】
追加を選択した場合（Ｓ４２）は、画像上の人物を、その顔位置（または顔エリア内）にマウスなどを操作することによって特定し、次にその人物を登録させようとする空きの参照画像欄（図１１では識別符号「０」の欄）をマウスなどを用いて対応させる（Ｓ４４）。この操作によって、画像データ上の該人物の顔の部分が参照画像用に切り出されて表示される（Ｓ４５）。そして同時に表示される付加情報入力欄に名前などの情報を入力して追加登録操作を行う（Ｓ４６）。すると、追加した参照画像の識別符号が新たな識別符号として画像上の人物に付されて表示される。尚、この追加登録操作は図５に示す情報入力画面を用いて構成しても良い。
【００６３】
この変更追加の操作を必要な数だけ繰り返して実行し、全ての変更追加処理が終わったときは（Ｓ４７）、蓄積操作を行うことにより、画像データと参照画像から読み出した人物の個人名、顔位置情報等の付加情報とを画像記憶部２１に記憶させる（Ｓ４８）。そして、以上の処理を全ての入力画像について繰り返して（Ｓ４９）、画像蓄積処理を終了する。
【００６４】
図１２は、画像記憶部２１のデータの構成を示す図である。
【００６５】
ヘッダ部には、その画像のファイル名と共に、撮影年月、登録年月、人物の名前、生年月日、顔位置情報等の付加情報が記憶され、それと対応した本画像部には画像データが例えばＪＰＥＧ方式によって圧縮されるなどして記憶されている。
【００６６】
尚、本実施例では、外部の画像記録装置等から入力される画像を対象として蓄積記録する処理について説明したが、本発明はこの形態に限定されるものではなく、一旦前述の処理がされ装置内部の画像記憶部２１に蓄積されている画像を対象として再度同じ処理を繰り返して蓄積記録するように構成することもできる。このように構成すれば、新しく追加された参照画像に関する付加情報を取り込んで、検索などの処理を行うことが可能となる。
【００６７】
次に、検索機能について説明する。本機能は、参照画像の人物が含まれている画像を抽出してサムネイルで表示する機能であり、このとき検索する画像は外部画像記録媒体に記録されている場合と、内部の記録媒体である画像記録部に記録されている場合の２つの場合がある。
【００６８】
先ず、外部画像記録媒体に記録されている画像の処理について説明する。外部端末を画像処理部１に接続してメニュー画面の参照画像指定検索ボタン３３を操作すると、参照画像指定検索部１３ａが起動して検索処理を行う。
【００６９】
図１３、図１４は、参照画像指定検索部１３ａの概略の動作手順を示すフロー図である。
【００７０】
先ず参照画像指定検索部１３ａは、図１５に示す参照画像の一覧を表示部２に表示する（Ｓ５１）。操作者は、この画面上で検索したい人物をマウスなどで指定して特定するが、この際複数画像を指定することも可能である（Ｓ５２）。すると、特定された該当人物の参照画像のみが表示部２に一覧表示される（Ｓ５３）。
【００７１】
続いて参照画像指定検索部１３ａは、一覧表示されている参照画像の付帯情報から撮影年月を取り出して、その年月が現在から所定の期間内にあるか否かを調べる（Ｓ５４）。所定の期間内にない場合は、その参照画像は旧い画像であるため、その参照画像のみの表示色を変更するなどして操作者に注意を促し、新しい参照画像の再登録を促す警告メッセージを出力する（Ｓ５５）。このように構成することにより、旧い参照画像のまま更新がされない不具合を防止することができる。また、該当人物の年令によって所定期間を変更してもよい。つまり、生年月日より年令を計算し、子供であれば顔の変化が大きいことから所定期間を短く設定するようにするとより適切になる。
【００７２】
尚、本実施例では、人物を特定したときに参照画像の撮影年月のチェックを行っているが、この形態のみに限定されず参照画像を一覧表示する際には常に撮影年月のチェックを行うように構成しても良い。
【００７３】
次に参照画像指定検索部１３ａは、撮像装置５または画像記録媒体６から画像データを受取り、表示部２に表示する（Ｓ５６）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５ａはその画像に撮影されている人物の顔画像を抽出して（Ｓ５７）、その結果を参照画像指定検索部１３ａに返す。
【００７４】
顔画像が抽出できなかった場合（Ｓ５８）は、抽出できない旨のメッセージを表示して（Ｓ５９）、次の画像データの処理を開始する。
【００７５】
顔画像が抽出できた場合（Ｓ５８）は、その顔画像と参照画像を比較照合させるが、参照画像に同一人物が複数含まれている場合は、その画像データが撮影された日付けに近い日付けを持つその人物の参照画像を選択する（Ｓ６０）。そして、参照画像指定検索部１３ａは個人認識部１５ｂを起動する。個人認識部１５ｂは、顔抽出部１５ａが抽出した顔画像を参照画像の顔画像と照合し、参照画像の人物として認識できるかどうかを調べる個人認識処理を実行する（Ｓ６１）。
【００７６】
参照画像の特定の人物として認識できた場合（Ｓ６２）は、画像データ中の認識された人物を、例えばマークを付するなどして強調して記憶する（Ｓ６３）。参照画像の特定の人物として認識できなかった場合（Ｓ６２）は、その画像データ中には参照画像の人物がいない旨のメッセージを表示部に表示（Ｓ６４）して次の画像データの処理を行う。
【００７７】
この処理を全ての入力画像データについて繰り返し、全ての入力画像データの処理が完了したときは（Ｓ６５）、抽出した画像データをサムネイル形式で一覧として表示する（Ｓ６６）。そして、このサムネイルを選択することによってその画像データが通常のサイズで表示される。
【００７８】
このように構成することにより、検索しようとする画像の撮影された日付に近い顔画像を参照画像として検索することができるため、同一人物の他の参照画像に基づいた検索が不要となり検索時間を短縮できると共に、検索精度を高めることができる。また、検索結果をサムネイル表示、拡大表示する機能を設けることにより検索結果を容易に確認することができる。
【００７９】
次に、内部記録媒体に記録されている画像の処理について説明する。操作者がメニュー画面の参照画像指定検索ボタン３３を操作すると、参照画像指定検索部１３ａが起動して検索処理を開始する。
【００８０】
図１６は、参照画像指定検索部１３ａの概略の動作手順を示すフロー図である。本内部画像の検索では、前述の画像蓄積処理によって検索情報が既に抽出されているため、外部画像の検索と比して高速に検索することができる。
【００８１】
参照画像指定検索部１３ａは、先ず参照画像の選択処理を行うがこの手順は前述のステップＳ５１からステップＳ５５と同じであるため、その詳細の説明は省略する。続いて参照画像指定検索部１３ａは、指定された画像記憶部２１の各画像毎のヘッダ部の情報を取り出す（Ｓ７０）。そして、参照画像の付加情報に記載されてある名前などが、ヘッダ情報にある名前等と一致するかどうかを調べる（Ｓ７１）。一致する場合（Ｓ７２）は、その画像を抽出して記憶し（Ｓ７３）、一致しない場合は、その画像には検索する人物はいないものとして次の画像データの検索処理に移る。
【００８２】
この処理を全ての入力画像データについて繰り返し、全ての入力画像データの処理が完了したときは（Ｓ７４）、抽出した画像データをサムネイル形式で一覧として表示する（Ｓ７５）。そして、このサムネイルを操作者が選択するとその画像データが通常のサイズで表示される。
【００８３】
このように、付加情報を検索するように構成することで高速に検索を行うことができる。
【００８４】
次に、内部に蓄積された画像を本画像処理装置の表示部２に表示し、またプリンタ４に出力する際の処理について説明する。操作者が、メニュー画面の画像表示ボタン３４を操作すると、画像表示部１４が起動して画像表示処理を行う。
【００８５】
図１７は、画像表示部１４の概略の動作手順を示すフロー図である。
【００８６】
操作者が表示したい画像を指定すると、画像表示部１４は画像記憶部２１からヘッダ情報とその画像データを読み出して表示部２に画像を表示する（Ｓ８０）。操作者が画像データの特定の人物の上にマウス等を操作してポインタを移動すると、画像表示部１４はそのポインタの位置を読み取って、ヘッダ情報の顔位置データである顔座標または顔エリア情報と対応させる（Ｓ８１）。
【００８７】
そして、ヘッダ情報の顔位置データと対応が付けられたときは、その人物の名前などの個人情報を表示し（Ｓ８２）、更に、操作者がその人物の上にポインタを合わせてクリックすれば人物の拡大像が表示される（Ｓ８３）。
【００８８】
続いて、操作者が表示されている画像を印刷する指示操作を行ったときは、画像表示部１４は画像記憶部２１から読み出したヘッダ情報とその画像データをプリント処理部１６に渡して印刷動作を開始させる（Ｓ８６）。そしてプリント処理部１６は画像と共に、ヘッダ情報にある日付け、個人名などの付加情報をプリントする（Ｓ８７）。
【００８９】
このように、本機能では、前述の画像蓄積処理によって付加情報が既に抽出されているため、人物の画像上にポインタを置くだけでその人物の名前が表示でき、また人物上でクリックすればその人物の拡大像を表示させることができ、プリントアウトすれば画像だけでなく写っている人物の名前などの付加情報も併せて印刷することができる。従って、簡便な取り扱いによって関連した情報を集約して参照することができる。
【００９０】
尚、本実施例では簡便な操作で特定人物の名前の表示等ができるように構成しているが、本発明はこの実施例に限定されるものではなく、同様の操作によって例えば関連付けられた音声情報、他の画像情報等を表示または出力するように構成しても良い。
【００９１】
また、本実施例では撮像画像を対象としてデジタルアルバムの機能を目的として説明したが、本発明はこの実施例に限定されるものではなく、顔を認識して特定するための個人認証、写真照合等の技術領域に広く適用できるものである。
【図面の簡単な説明】
【００９２】
【図１】本発明に係る画像処理装置の構成を示すブロック図。
【図２】画像処理装置の処理機能を表すメニュー画面。
【図３】画像指定登録部の概略の動作手順を示すフロー図。
【図４】顔抽出部による顔抽出結果を示す図。
【図５】情報入力画面の構成を示す図
【図６】新規登録部の概略の動作手順を示すフロー図。
【図７】撮像装置の表示部に表示される人物像を示す図。
【図８】画像蓄積処理部の概略の動作手順を示すフロー図。
【図９】画像蓄積処理部の概略の動作手順を示すフロー図。
【図１０】画像データ中にある各顔の位置情報を確定する方法を示す図。
【図１１】認識画面の構成を示す図。
【図１２】画像記憶部のデータの構成を示す図。
【図１３】参照画像指定検索部の概略の動作手順を示すフロー図。
【図１４】参照画像指定検索部の概略の動作手順を示すフロー図。
【図１５】参照画像の一覧を示す図。
【図１６】参照画像指定検索部の概略の動作手順を示すフロー図。
【図１７】画像表示部の概略の動作手順を示すフロー図。
【符号の説明】
【００９３】
１…画像処理部
２…表示部
４…プリンタ
５…撮像装置
６…画像記録媒体
１１ａ…画像指定登録部
１１ｂ…新規登録部
１２…画像蓄積処理部
１３ａ…参照画像指定検索部
１４…画像表示部
１５ａ…顔抽出部
１５ｂ…個人認識部
１６…プリント処理部
２１…画像記憶部
２２…参照画像記憶部
【技術分野】
【０００１】
本発明は、電子撮像装置を用いて撮像されたデジタル画像を蓄積し表示する画像処理装置およびプログラムに関し、特に撮影された人物の顔を認識して画像の検索、抽出などを行う画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
近年デジタルカメラなどの電子撮像装置が広く一般家庭にも普及してきており、撮影された画像はパソコンなどの画像処理装置に設けられた記憶装置あるいは記憶媒体に記録されて保存されている。
【０００３】
そして、このように保存されている画像を整理し編集して閲覧するための、「デジタルアルバム」とも呼ばれるソフトウエアが発売されている。このソフトウエアは、撮影した画像を多彩なレイアウトで配置でき、また画像だけでなく音声情報も併せて記録できるなど、視覚的に楽しむだけに留まらずより豊富な情報提供できるように構成されている。
【０００４】
ところで、この「デジタルアルバム」を活用して楽しもうとする際には、そのアルバムに貼付する画像の検索が問題になると考えられる。例えば、電子撮像装置で撮影した画像が長年にわたって多数保存されている場合などには、欲しい画像を探そうとしてもなかなか見つけることができない状況になってしまうと考えられる。
【０００５】
この検索の問題を解決するための技術として、撮影画像から所定のインデックスを抽出して登録、検索し、検索条件に合った写真をデジタルアルバム装置に表示等するものが提案されている。
【特許文献１】特開平１０−１２４６５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、この技術ではイメージ情報をインデックス化し、複数のインデックスの組み合わせで検索する画像を特定する方式であるため、例えば、同一人物を検索しようとした場合、その人物が何年にもわたって成長している画像を対象とする場合、また同一人物でも撮影条件によって色調が異なる場合などでは、それぞれに異なる複数のインデックスが必要とされるため、適切なインデックスの選択に熟練が必要とされ、また何種類かのインデックスを用いて繰り返して検索することが必要とされると考えられる。
【０００７】
一般家庭でデジタルアルバムを編集しようとする場合は、その検索の対象は大半が人物であり、検索機能を人物に限定したとしてもその検索技術の利用価値は損なわれないと考えられる。
【０００８】
例えば、１人または複数人の特定の人物（以下、「特定人物」という）の成長記録を作るためにその特定人物の画像を検索する、集合写真において特定人物を見つけ出す、あるいは他の人物の名前を照合する、等の人物を識別する検索機能があれば前述のアルバム編集作業には充分活用することができると考えられる。
【０００９】
一方、近年の顔認識技術は急速に進歩しており、直接写真などと照合して個人を識別する技術も各種提案されている（例えば、特開２０００−１９４８４９）。したがって、これらの技術を活用することで特定人物の検索を煩雑な操作を行うことなく実行することができると考えられる。
【００１０】
ここで、画像同士を比較照合して個人を認識する検索処理は時間を要する処理であるため、操作性の観点からその処理の高速化を図ることが必要不可欠とされ、更に、この高速化と共に検索の信頼性を向上させることも求められている。
【００１１】
また本画像処理装置においては、画像を多彩な形態で表示等できることが必要とされ、特定人物に関連した情報についても簡便な操作で提供できることが望まれている。
【００１２】
本発明は、係る事情に鑑みてなされたものであって、簡便な操作で人物を特定して画像を高速にかつ高い信頼性の下で検索することができ、また画像を多彩な形態で表示することができる画像処理装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解消するため、第１の発明は、 画像検索手段を有する画像処理装置において、
画像検索の基準とする参照画像を参照画像の撮影日情報と共に記憶する参照画像記憶手段と、
入力画像から顔画像を抽出する抽出手段と、前記参照画像記憶手段に記憶された参照画像を表示する画像表示手段と、前記表示部に表示される参照画像の中から同一人物について複数の参照画像を指定する入力手段と、前記指定された同一人物について複数の参照画像の中から、前記入力画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、選択された参照画像を基準として前記顔画像の人物を特定する選択検索手段とを備えた画像処理装置である。
【００１４】
また、第２の発明は、上記第１の発明の画像処理装置において、前記画像表示手段は、前記入力手段により指定された同一人物について複数の参照画像を一覧表示する画像処理装置である。
【００１５】
また第３の発明は、上記第１の発明の画像処理装置において、前記選択検索手段は、前記指定された参照画像が現在から所定期間内の撮影日の画像であるかを調べる画像処理装置である。
【００１６】
また第４の本発明は、上記第３の発明の画像処理装置において、前記選択検索手段は、前記指定された参照画像が現在から所定期間外の撮影日の画像である場合には 新しい参照画像を登録するように促す 画像処理装置である。
【００１７】
また第５の発明は、上記第１の発明の画像処理装置において、前記選択検索手段で参照画像との対比により人物の特定ができたときには、該当した参照画像に付加されている人物の名前を当該入力画像とともに記憶する記憶手段を備えた画像処理装置である。
【００１８】
また第６の発明は、上記第５の発明の画像処理装置において、前記入力画像とともにこの画像に含まれる前記人物の名前を印刷装置に出力する出力手段を備えた画像処理装置である。
【００１９】
また第７の発明は、画像検索の基準となる参照画像を参照画像の撮影日情報と共に記憶する参照画像記憶手段を有し、この参照画像との対比により入力画像の人物を特定する画像処理装置のコンピュータにおいて実行されるプログラムにおいて、
表示された参照画像の中から同一人物について複数の参照画像を指定させ、
前記指定された同一人物について複数の参照画像の中から、前記入力画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、
前記参照画像記憶手段に記憶された参照画像を表示し、選択された参照画像を基準として入力画像の人物を特定するプログラムである。
【発明の効果】
【００２０】
以上説明したように、本発明によれば簡便な操作で人物を特定して画像を高速
にかつ高い信頼性の下で検索することができ、また画像を多彩な形態で表示する
ことができる。
【発明を実施するための最良の形態】
【００２１】
図１は、本発明に係る画像処理装置の構成を示すブロック図である。
【００２２】
本画像処理装置は、画像の検索等を行う画像処理部１と、この画像処理部１の周辺端末である、処理された画像などを表示する表示装置２、画像処理部１に対して各種データあるいは操作指示等の入力を行うための操作入力部３、処理画像等を印刷するプリンタ４、基準となる参照画像の人物像を撮影する撮像装置５及び検索処理等の対象となる画像を記録した画像記録媒体６で構成されている。
【００２３】
そして、画像処理部１には、これらの周辺端末と信号の授受を行なう画像処理部１の各処理機能のインターフェースである入出力制御部１０、検索の基準となる参照画像を登録する登録部１１、検索対象となる画像の検索に関連する付加情報を作成して画像処理部１の内部に蓄積する画像蓄積処理部１２、参照画像の人物が撮影された画像を検索する検索部１３、画像を表示すると共にその画像に付加された情報も関連付けて表示する表示部１４、画像から人物の顔を抽出しまたは個人を認識する抽出認識部１５及び画像と付加情報を集約して印刷するプリント処理部１６が備えられている。
【００２４】
更に、登録部１１には、画像記録媒体６から入力された画像から人物を抽出して、それに基づいてその人物の顔の部分を取り出した画像である顔画像を作成し参照画像として登録する画像指定登録部１１ａ、撮像装置から入力された撮像に基づいて顔画像を作成し参照画像として登録する新規登録部１１ｂが設けられ、また検索部１３には、画像中に指定された参照画像の人物が撮影されているかどうかを調べて該当した画像を抽出する参照画像指定検索部１３ａが設けられ、そして抽出認識部１５には、画像から人物の顔の部分を識別してその顔画像を抽出する顔抽出部１５ａ、参照画像の顔が指定された画像中にあるかどうかを照合して認識する個人認識部１５ｂが設けられている。
【００２５】
また、画像処理部１にはこれらの各機能の動作に必要な情報を記憶する記憶部２０が備えられ、この記憶部２０には検索の対象となる画像を記憶する画像記憶部２１、検索の基準となる参照画像を記憶する参照画像記憶部２２が設けられている。
【００２６】
次に、本画像処理装置を構成する各処理機能の動作について説明する。操作者が画像処理装置の電源を投入したとき、また操作入力部３から初期操作を行ったときは表示部２にはメニュー画面が表示される。
【００２７】
図２は本画像処理装置の処理機能を表すメニュー画面である。
【００２８】
この画像処理装置の処理機能は、登録モード、画像蓄積モード、検索モード、画像表示モードの４つの機能で構成さている。そしてこのメニュー画面では、登録モードには画像指定登録ボタン３０と新規登録ボタン３１が表示され、画像蓄積モードには画像蓄積処理ボタン３２が表示され、検索モードには参照画像指定検索ボタン３３が表示され、画像表示モードには画像表示ボタン３４が表示されている。
【００２９】
操作者が参照画像を登録しようとするときは、人物の撮影された画像が記録された画像記録媒体６を画像処理部１に接続してメニュー画面の画像指定登録ボタン３０を操作すると、画像指定登録部１１ａが起動して参照画像の登録処理を行う。
【００３０】
図３は、画像指定登録部１１ａの概略の動作手順を示すフロー図である。
【００３１】
本画像指定登録機能は、外部の画像記録媒体６に記録されてある画像から参照画像を作成する機能で、参照画像として採用できるかどうかを判断する機能、情報を付加できる機能を併せて有している。尚、この画像記録媒体６に記録されてある画像は、撮像装置５又は他の撮像装置を用いて撮像された画像である。
【００３２】
操作者は表示部２に表示される画像記録媒体６に記録されてある画像のサムネイル画像から、参照画像として登録したい人物の撮影されている画像を選択する（Ｓ１）。
【００３３】
画像指定登録部１１ａは操作者によって選択された画像を画像記録媒体６から抽出して表示部２に表示する（Ｓ２）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５はその画像に撮影されている人物の顔画像を抽出して（Ｓ３）、その結果を画像指定登録部１１ａに返す。
【００３４】
図４は、顔抽出部１５ａによる顔抽出結果を示す図である。
【００３５】
元の画像上に、顔抽出部１５が抽出した人物の顔を囲むように枠が表示されている。操作者が参照画像として登録しようとする人物を操作入力部３から選択すると（Ｓ４）、画像指定登録部１１ａはその選択された人物の顔画像が参照画像として適切かどうかを判断する（Ｓ５）。
【００３６】
例えば、顔の部分が髪または帽子などで覆われて小さい領域しか写っていない場合、目を閉じている場合、等は不適切な顔画像でありこのような場合は表示部２に適切でない旨の警告を表示しまた不適切な理由を表示（Ｓ７）する。顔画像が適切と判断されたときは（Ｓ６）、顔のサイズを所定の大きさに調整した情報入力画面を表示部２に表示する（Ｓ８）。
【００３７】
図５は、情報入力画面の構成を示す図である。
【００３８】
この情報入力画面には、リサイズされた顔画像とともに、後に述べる検索時の情報となる名前、生年月日、撮影年月日、登録年月日などの付加情報の入力欄が設けられている。尚、撮影年月日は、元の画像に付随して既に情報が入力されている場合はそのデータを表示し、登録年月日は当日の日付けを予め設定するように構成しても良い。
【００３９】
操作者が、これらの情報を入力して（Ｓ９）、登録ボタンを操作すれば画像指定登録部１１ａは顔画像と付加情報を参照画像記憶部２２に登録する（Ｓ１０）。そして、まだ処理すべき画像が残っている場合（Ｓ１１）は、以上の手順を繰り返す。ここで、登録とは参照画像を識別するための識別符号と関連付けて記憶することをいう。
【００４０】
操作者が撮像装置５を用いて参照画像を登録しようとするときは、撮像装置５を画像処理部１に接続してメニュー画面の新規登録ボタン３１を操作すると、新規登録部１１ｂが起動して参照画像の登録処理を行う。
【００４１】
図６は、新規登録部１１ｂの概略の動作手順を示すフロー図である。
【００４２】
本新規登録機能は、撮像装置５から取り込んだ人物画像から参照画像を作成する機能である。まず新規登録部１１ｂは、撮像装置５に対して人物の画像を規定するためのテンプレートを出力する（Ｓ１５）。
【００４３】
図７は、撮像装置５の表示部に表示される人物像を示す図である。
【００４４】
撮像装置５の撮影者は、このテンプレートに合わせて人物の大きさ向きなどを設定して撮影することで容易に適正な顔画像を得ることが可能となる。こうして撮影された人物画像は新規登録部１１ｂに送り出され、新規登録部１１ｂは撮像装置５から撮像データを受取り、表示部２に表示する（Ｓ１６）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５はその画像に撮影されている人物の顔画像を抽出して（Ｓ１７）、その結果を新規登録部１１ｂに返す。
【００４５】
次に新規登録部１１ｂは、その抽出した顔画像が参照画像として適切かどうかを判断する（Ｓ１８）。例えば、顔の部分が髪または帽子などで覆われて小さい場合、目を閉じている場合、等は不適切な顔画像でありこのような場合は表示部２に適切でない旨の警告を表示しまた不適切な理由を表示（Ｓ２０）する。これによって撮影者は適正な顔画像を容易に再撮影することができる。顔画像が適切と判断されたときは（Ｓ１９）、顔のサイズを所定の大きさに調整した図５に示す情報入力画面を表示部２に表示する（Ｓ２１）。
【００４６】
操作者が、後述する検索時の情報となる名前、生年月日、撮影年月日、登録年月日などの付加情報を入力して（Ｓ２２）、登録ボタンを操作すれば新規登録部１１ｂは顔画像と付加情報を参照画像記憶部２２に登録する（Ｓ２３）。そして、まだ処理すべき画像が残っている場合（Ｓ２４）は、以上の手順を繰り返す。
【００４７】
参照画像の登録処理をこのように構成すれば、人物の特徴を表す複数のインデックスを抽出しなくても簡便に参照画像として登録ができ、また不適切な顔画像を除去して認識処理の確実性を高めることが可能となる。
【００４８】
次に、外部の画像記録装置等から入力される画像を本画像処理装置の画像記憶部２１に蓄積記憶する際の処理について説明する。操作者が、外部端末を画像処理部１に接続してメニュー画面の画像蓄積処理ボタン３２を操作すると、画像蓄積処理部１２が起動して画像蓄積処理を行う。
【００４９】
図８、図９は、画像蓄積処理部１２の概略の動作手順を示すフロー図である。
【００５０】
本画像蓄積処理機能は、画像を入力する際に、その後の検索処理で必要とされる検索情報を予め抽出して画像と共に蓄積するものである。
【００５１】
画像蓄積処理部１２は、撮像装置５または画像記録媒体６から画像データを受取り、表示部２に表示する（Ｓ３０）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５ａはその画像に撮影されている人物の顔画像を抽出して（Ｓ３２）、その結果を画像蓄積処理部１２に返す。
【００５２】
画像蓄積処理部１２は、画像データ中にある各顔の位置情報（エリア情報又は中心座標）を確定する（Ｓ３３）。
【００５３】
図１０は、画像データ中にある各顔の位置情報を確定する方法を示す図である。
【００５４】
図１０の（１）は、顔のエリア情報を示している。この情報は、顔の存在する領域を例えば複数の座標点からなる多角形で囲まれた領域として表している。一方、図１０の（２）は、顔の中心座標を示している。この情報は、顔の存在する画像データ中の位置を例えば顔の領域の略中心位置を示す1点の座標として代表している。これらの顔位置情報は表示処理において人物の顔の位置を特定するための情報として取り扱われる。
【００５５】
続いて、画像蓄積処理部１２は個人認識部１５ｂを起動する。個人認識部１５ｂは、顔抽出部１５ａが抽出した顔画像を参照画像の顔画像と照合し、参照画像の人物として認識できるかどうかを調べる個人認識処理を実行する（Ｓ３４）。
【００５６】
顔画像が参照画像の特定の人物として認識できた場合（Ｓ３５）は、画像データ中の認識された人物に参照画像の識別符号を付して表示部に表示し（Ｓ３６）、参照画像の特定の人物として認識できなかった場合（Ｓ３５）は、画像データ中のその認識できなかった人物に？符号を付して表示部に表示する（Ｓ３７）。
【００５７】
以上の、個人認識処理を画像データに含まれる全ての人物について繰り返し照合を行ない、全ての顔の照合が終わったときに（Ｓ３８）、認識画面を表示部２に表示する（Ｓ３９）。
【００５８】
図１１は、認識画面の構成を示す図である。
【００５９】
この認識画面では、画像データの各人物に前述の識別符号が付されると共に、参照画像がサムネイル形式で画面の下部に表示されている。この識別符号を介して各人物と参照画像が関連付けられる。そしてこのように関連付けて表示することによって、操作者は認識結果を容易に確認することができる。操作者は、識別符号に基づいて画像データの人物と参照画像の人物を比較して、変更または追加等の識別符号の修正が必要か否かを判断する（Ｓ４０）。
【００６０】
変更または追加が必要であるときは、画像上のメニュー（図示していない）から変更または追加を選択してその操作を行う（Ｓ４１）。
【００６１】
変更を選択した場合（Ｓ４２）は、先ず画像上の人物を、その顔位置（または顔エリア内）にマウスなどを操作することによって特定し、次にその人物に対応させようとする参照画像をマウスなどを用いて特定する（Ｓ４３）。この操作によって画像データ上の人物に付された識別符号が特定された参照画像の識別符号に変更される。
【００６２】
追加を選択した場合（Ｓ４２）は、画像上の人物を、その顔位置（または顔エリア内）にマウスなどを操作することによって特定し、次にその人物を登録させようとする空きの参照画像欄（図１１では識別符号「０」の欄）をマウスなどを用いて対応させる（Ｓ４４）。この操作によって、画像データ上の該人物の顔の部分が参照画像用に切り出されて表示される（Ｓ４５）。そして同時に表示される付加情報入力欄に名前などの情報を入力して追加登録操作を行う（Ｓ４６）。すると、追加した参照画像の識別符号が新たな識別符号として画像上の人物に付されて表示される。尚、この追加登録操作は図５に示す情報入力画面を用いて構成しても良い。
【００６３】
この変更追加の操作を必要な数だけ繰り返して実行し、全ての変更追加処理が終わったときは（Ｓ４７）、蓄積操作を行うことにより、画像データと参照画像から読み出した人物の個人名、顔位置情報等の付加情報とを画像記憶部２１に記憶させる（Ｓ４８）。そして、以上の処理を全ての入力画像について繰り返して（Ｓ４９）、画像蓄積処理を終了する。
【００６４】
図１２は、画像記憶部２１のデータの構成を示す図である。
【００６５】
ヘッダ部には、その画像のファイル名と共に、撮影年月、登録年月、人物の名前、生年月日、顔位置情報等の付加情報が記憶され、それと対応した本画像部には画像データが例えばＪＰＥＧ方式によって圧縮されるなどして記憶されている。
【００６６】
尚、本実施例では、外部の画像記録装置等から入力される画像を対象として蓄積記録する処理について説明したが、本発明はこの形態に限定されるものではなく、一旦前述の処理がされ装置内部の画像記憶部２１に蓄積されている画像を対象として再度同じ処理を繰り返して蓄積記録するように構成することもできる。このように構成すれば、新しく追加された参照画像に関する付加情報を取り込んで、検索などの処理を行うことが可能となる。
【００６７】
次に、検索機能について説明する。本機能は、参照画像の人物が含まれている画像を抽出してサムネイルで表示する機能であり、このとき検索する画像は外部画像記録媒体に記録されている場合と、内部の記録媒体である画像記録部に記録されている場合の２つの場合がある。
【００６８】
先ず、外部画像記録媒体に記録されている画像の処理について説明する。外部端末を画像処理部１に接続してメニュー画面の参照画像指定検索ボタン３３を操作すると、参照画像指定検索部１３ａが起動して検索処理を行う。
【００６９】
図１３、図１４は、参照画像指定検索部１３ａの概略の動作手順を示すフロー図である。
【００７０】
先ず参照画像指定検索部１３ａは、図１５に示す参照画像の一覧を表示部２に表示する（Ｓ５１）。操作者は、この画面上で検索したい人物をマウスなどで指定して特定するが、この際複数画像を指定することも可能である（Ｓ５２）。すると、特定された該当人物の参照画像のみが表示部２に一覧表示される（Ｓ５３）。
【００７１】
続いて参照画像指定検索部１３ａは、一覧表示されている参照画像の付帯情報から撮影年月を取り出して、その年月が現在から所定の期間内にあるか否かを調べる（Ｓ５４）。所定の期間内にない場合は、その参照画像は旧い画像であるため、その参照画像のみの表示色を変更するなどして操作者に注意を促し、新しい参照画像の再登録を促す警告メッセージを出力する（Ｓ５５）。このように構成することにより、旧い参照画像のまま更新がされない不具合を防止することができる。また、該当人物の年令によって所定期間を変更してもよい。つまり、生年月日より年令を計算し、子供であれば顔の変化が大きいことから所定期間を短く設定するようにするとより適切になる。
【００７２】
尚、本実施例では、人物を特定したときに参照画像の撮影年月のチェックを行っているが、この形態のみに限定されず参照画像を一覧表示する際には常に撮影年月のチェックを行うように構成しても良い。
【００７３】
次に参照画像指定検索部１３ａは、撮像装置５または画像記録媒体６から画像データを受取り、表示部２に表示する（Ｓ５６）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５ａはその画像に撮影されている人物の顔画像を抽出して（Ｓ５７）、その結果を参照画像指定検索部１３ａに返す。
【００７４】
顔画像が抽出できなかった場合（Ｓ５８）は、抽出できない旨のメッセージを表示して（Ｓ５９）、次の画像データの処理を開始する。
【００７５】
顔画像が抽出できた場合（Ｓ５８）は、その顔画像と参照画像を比較照合させるが、参照画像に同一人物が複数含まれている場合は、その画像データが撮影された日付けに近い日付けを持つその人物の参照画像を選択する（Ｓ６０）。そして、参照画像指定検索部１３ａは個人認識部１５ｂを起動する。個人認識部１５ｂは、顔抽出部１５ａが抽出した顔画像を参照画像の顔画像と照合し、参照画像の人物として認識できるかどうかを調べる個人認識処理を実行する（Ｓ６１）。
【００７６】
参照画像の特定の人物として認識できた場合（Ｓ６２）は、画像データ中の認識された人物を、例えばマークを付するなどして強調して記憶する（Ｓ６３）。参照画像の特定の人物として認識できなかった場合（Ｓ６２）は、その画像データ中には参照画像の人物がいない旨のメッセージを表示部に表示（Ｓ６４）して次の画像データの処理を行う。
【００７７】
この処理を全ての入力画像データについて繰り返し、全ての入力画像データの処理が完了したときは（Ｓ６５）、抽出した画像データをサムネイル形式で一覧として表示する（Ｓ６６）。そして、このサムネイルを選択することによってその画像データが通常のサイズで表示される。
【００７８】
このように構成することにより、検索しようとする画像の撮影された日付に近い顔画像を参照画像として検索することができるため、同一人物の他の参照画像に基づいた検索が不要となり検索時間を短縮できると共に、検索精度を高めることができる。また、検索結果をサムネイル表示、拡大表示する機能を設けることにより検索結果を容易に確認することができる。
【００７９】
次に、内部記録媒体に記録されている画像の処理について説明する。操作者がメニュー画面の参照画像指定検索ボタン３３を操作すると、参照画像指定検索部１３ａが起動して検索処理を開始する。
【００８０】
図１６は、参照画像指定検索部１３ａの概略の動作手順を示すフロー図である。本内部画像の検索では、前述の画像蓄積処理によって検索情報が既に抽出されているため、外部画像の検索と比して高速に検索することができる。
【００８１】
参照画像指定検索部１３ａは、先ず参照画像の選択処理を行うがこの手順は前述のステップＳ５１からステップＳ５５と同じであるため、その詳細の説明は省略する。続いて参照画像指定検索部１３ａは、指定された画像記憶部２１の各画像毎のヘッダ部の情報を取り出す（Ｓ７０）。そして、参照画像の付加情報に記載されてある名前などが、ヘッダ情報にある名前等と一致するかどうかを調べる（Ｓ７１）。一致する場合（Ｓ７２）は、その画像を抽出して記憶し（Ｓ７３）、一致しない場合は、その画像には検索する人物はいないものとして次の画像データの検索処理に移る。
【００８２】
この処理を全ての入力画像データについて繰り返し、全ての入力画像データの処理が完了したときは（Ｓ７４）、抽出した画像データをサムネイル形式で一覧として表示する（Ｓ７５）。そして、このサムネイルを操作者が選択するとその画像データが通常のサイズで表示される。
【００８３】
このように、付加情報を検索するように構成することで高速に検索を行うことができる。
【００８４】
次に、内部に蓄積された画像を本画像処理装置の表示部２に表示し、またプリンタ４に出力する際の処理について説明する。操作者が、メニュー画面の画像表示ボタン３４を操作すると、画像表示部１４が起動して画像表示処理を行う。
【００８５】
図１７は、画像表示部１４の概略の動作手順を示すフロー図である。
【００８６】
操作者が表示したい画像を指定すると、画像表示部１４は画像記憶部２１からヘッダ情報とその画像データを読み出して表示部２に画像を表示する（Ｓ８０）。操作者が画像データの特定の人物の上にマウス等を操作してポインタを移動すると、画像表示部１４はそのポインタの位置を読み取って、ヘッダ情報の顔位置データである顔座標または顔エリア情報と対応させる（Ｓ８１）。
【００８７】
そして、ヘッダ情報の顔位置データと対応が付けられたときは、その人物の名前などの個人情報を表示し（Ｓ８２）、更に、操作者がその人物の上にポインタを合わせてクリックすれば人物の拡大像が表示される（Ｓ８３）。
【００８８】
続いて、操作者が表示されている画像を印刷する指示操作を行ったときは、画像表示部１４は画像記憶部２１から読み出したヘッダ情報とその画像データをプリント処理部１６に渡して印刷動作を開始させる（Ｓ８６）。そしてプリント処理部１６は画像と共に、ヘッダ情報にある日付け、個人名などの付加情報をプリントする（Ｓ８７）。
【００８９】
このように、本機能では、前述の画像蓄積処理によって付加情報が既に抽出されているため、人物の画像上にポインタを置くだけでその人物の名前が表示でき、また人物上でクリックすればその人物の拡大像を表示させることができ、プリントアウトすれば画像だけでなく写っている人物の名前などの付加情報も併せて印刷することができる。従って、簡便な取り扱いによって関連した情報を集約して参照することができる。
【００９０】
尚、本実施例では簡便な操作で特定人物の名前の表示等ができるように構成しているが、本発明はこの実施例に限定されるものではなく、同様の操作によって例えば関連付けられた音声情報、他の画像情報等を表示または出力するように構成しても良い。
【００９１】
また、本実施例では撮像画像を対象としてデジタルアルバムの機能を目的として説明したが、本発明はこの実施例に限定されるものではなく、顔を認識して特定するための個人認証、写真照合等の技術領域に広く適用できるものである。
【図面の簡単な説明】
【００９２】
【図１】本発明に係る画像処理装置の構成を示すブロック図。
【図２】画像処理装置の処理機能を表すメニュー画面。
【図３】画像指定登録部の概略の動作手順を示すフロー図。
【図４】顔抽出部による顔抽出結果を示す図。
【図５】情報入力画面の構成を示す図
【図６】新規登録部の概略の動作手順を示すフロー図。
【図７】撮像装置の表示部に表示される人物像を示す図。
【図８】画像蓄積処理部の概略の動作手順を示すフロー図。
【図９】画像蓄積処理部の概略の動作手順を示すフロー図。
【図１０】画像データ中にある各顔の位置情報を確定する方法を示す図。
【図１１】認識画面の構成を示す図。
【図１２】画像記憶部のデータの構成を示す図。
【図１３】参照画像指定検索部の概略の動作手順を示すフロー図。
【図１４】参照画像指定検索部の概略の動作手順を示すフロー図。
【図１５】参照画像の一覧を示す図。
【図１６】参照画像指定検索部の概略の動作手順を示すフロー図。
【図１７】画像表示部の概略の動作手順を示すフロー図。
【符号の説明】
【００９３】
１…画像処理部
２…表示部
４…プリンタ
５…撮像装置
６…画像記録媒体
１１ａ…画像指定登録部
１１ｂ…新規登録部
１２…画像蓄積処理部
１３ａ…参照画像指定検索部
１４…画像表示部
１５ａ…顔抽出部
１５ｂ…個人認識部
１６…プリント処理部
２１…画像記憶部
２２…参照画像記憶部
【特許請求の範囲】
【請求項１】
画像検索手段を有する画像処理装置において、
画像検索の基準とする参照画像を参照画像の撮影日情報と共に記憶する参照画像記憶手段と、
入力画像から顔画像を抽出する抽出手段と、
前記参照画像記憶手段に記憶された参照画像を表示する画像表示手段と、
前記表示部に表示される参照画像の中から同一人物について複数の参照画像を指定する入力手段と、
前記指定された同一人物について複数の参照画像の中から、前記入力画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、選択された参照画像を基準として前記顔画像の人物を特定する選択検索手段とを備えた
ことを特徴とする画像処理装置。
【請求項２】
前記画像表示手段は、前記入力手段により指定された同一人物について複数の参照画像を一覧表示する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択検索手段は、前記指定された参照画像が現在から所定期間内の撮影日の画像であるかを調べる
ことを特徴とする請求項1に記載の画像処理装置。
【請求項４】
前記選択検索手段は、前記指定された参照画像が現在から所定期間外の撮影日の画像である場合には 新しい参照画像を登録するように促す
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択検索手段で参照画像との対比により人物の特定ができたときには、該当した参照画像に付加されている人物の名前を当該入力画像とともに記憶する記憶手段を備えた
ことを特徴とする請求項1に記載の画像処理装置。
【請求項６】
前記入力画像とともにこの画像に含まれる前記人物の名前を印刷装置に出力する出力手段
を備えた
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
画像検索の基準となる参照画像を参照画像の撮影日情報と共に記憶する参照画像記憶手段を有し、この参照画像との対比により入力画像の人物を特定する画像処理装置のコンピュータにおいて実行されるプログラムにおいて、
前記参照画像記憶手段に記憶された参照画像を表示し、
表示された参照画像の中から同一人物について複数の参照画像を指定させ、
前記指定された同一人物について複数の参照画像の中から、前記入力画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、
選択された参照画像を基準として入力画像の人物を特定する
ことを特徴とするプログラム。
【請求項１】
画像検索手段を有する画像処理装置において、
画像検索の基準とする参照画像を参照画像の撮影日情報と共に記憶する参照画像記憶手段と、
入力画像から顔画像を抽出する抽出手段と、
前記参照画像記憶手段に記憶された参照画像を表示する画像表示手段と、
前記表示部に表示される参照画像の中から同一人物について複数の参照画像を指定する入力手段と、
前記指定された同一人物について複数の参照画像の中から、前記入力画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、選択された参照画像を基準として前記顔画像の人物を特定する選択検索手段とを備えた
ことを特徴とする画像処理装置。
【請求項２】
前記画像表示手段は、前記入力手段により指定された同一人物について複数の参照画像を一覧表示する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択検索手段は、前記指定された参照画像が現在から所定期間内の撮影日の画像であるかを調べる
ことを特徴とする請求項1に記載の画像処理装置。
【請求項４】
前記選択検索手段は、前記指定された参照画像が現在から所定期間外の撮影日の画像である場合には 新しい参照画像を登録するように促す
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択検索手段で参照画像との対比により人物の特定ができたときには、該当した参照画像に付加されている人物の名前を当該入力画像とともに記憶する記憶手段を備えた
ことを特徴とする請求項1に記載の画像処理装置。
【請求項６】
前記入力画像とともにこの画像に含まれる前記人物の名前を印刷装置に出力する出力手段
を備えた
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
画像検索の基準となる参照画像を参照画像の撮影日情報と共に記憶する参照画像記憶手段を有し、この参照画像との対比により入力画像の人物を特定する画像処理装置のコンピュータにおいて実行されるプログラムにおいて、
前記参照画像記憶手段に記憶された参照画像を表示し、
表示された参照画像の中から同一人物について複数の参照画像を指定させ、
前記指定された同一人物について複数の参照画像の中から、前記入力画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、
選択された参照画像を基準として入力画像の人物を特定する
ことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００８−２１３２４（Ｐ２００８−２１３２４Ａ）
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００７−２２３９８９（Ｐ２００７−２２３９８９）
【出願日】平成１９年８月３０日（２００７．８．３０）
【分割の表示】特願２００１−３４６５９７（Ｐ２００１−３４６５９７）の分割
【原出願日】平成１３年１１月１２日（２００１．１１．１２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１９年８月３０日（２００７．８．３０）
【分割の表示】特願２００１−３４６５９７（Ｐ２００１−３４６５９７）の分割
【原出願日】平成１３年１１月１２日（２００１．１１．１２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]