画像処理装置及び撮像装置
【課題】顔認識処理を用いた人物識別の精度を向上させる。
【解決手段】注目入力画像２０２に含まれる人物が、顔認識処理によって第１の登録人物であると判断されているものの、その信頼度が低い時、或いは、第１及び第２の登録人物の何れでもありうると判断されていて一人の登録人物に絞りきれていない時、注目入力画像２０２の直前及び直後に撮影された入力画像２０１及び２０３の顔認識処理の結果を参照する。入力画像２０１及び２０３に含まれている人物が高い信頼度で第１の登録人物であると判断されていて且つ入力画像２０１及び２０２間の撮影時刻差及び入力画像２０２及び２０３間の撮影時刻差が十分に小さい時、注目入力画像２０２に含まれる人物が第１の登録人物であるという判断の信頼度を増大補正する。
【解決手段】注目入力画像２０２に含まれる人物が、顔認識処理によって第１の登録人物であると判断されているものの、その信頼度が低い時、或いは、第１及び第２の登録人物の何れでもありうると判断されていて一人の登録人物に絞りきれていない時、注目入力画像２０２の直前及び直後に撮影された入力画像２０１及び２０３の顔認識処理の結果を参照する。入力画像２０１及び２０３に含まれている人物が高い信頼度で第１の登録人物であると判断されていて且つ入力画像２０１及び２０２間の撮影時刻差及び入力画像２０２及び２０３間の撮影時刻差が十分に小さい時、注目入力画像２０２に含まれる人物が第１の登録人物であるという判断の信頼度を増大補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及び、画像処理装置を有するデジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
画像上における人物の顔を検出して顔画像を抽出する顔検出処理や、抽出顔画像が何れの人物の顔画像であるかを識別する顔認識処理が実用化されている。顔認識処理を、抽出顔画像の画像データと、照合用の顔画像データベースと、に基づいて行うことができる。顔画像データベースには、互いに異なる複数の登録人物についての顔画像（以下、登録顔画像という）の画像データが格納されている。
【０００３】
一般的には、抽出顔画像及び登録顔画像の画像データに基づく抽出顔画像及び登録顔画像間の類似度の計算を登録顔画像ごとに行い、求めた複数の類似度から抽出顔画像に対応する人物が何れの登録人物であるかを識別する。比較的高い類似度に対応する登録顔画像の人物が抽出顔画像の人物であると判断することができ、その類似度が高ければ高いほど、その判断の信頼度は向上する。
【０００４】
顔認識処理によって常に正確に人物の特定ができる訳ではなく、人物の特定ができたとしても、様々な要因（例えば、顔向きの変化、照明条件の変化）によって、類似度に基づく信頼度が低くなる場合もある。また、１つの抽出顔画像が複数の登録顔画像と類似しており、１つの抽出顔画像についての人物が複数の登録人物の何れかであるといった判断しかできないこともある。このような場合に、認識結果をより正しいものへと修正できれば、より精度の高い認識結果をユーザに提供することができる。
【０００５】
また、画像上における人物が誰であるかに応じて画像ファイルの格納フォルダを分類する技術も存在する。例えば、第１の画像上における人物が第１の登録人物であって且つ第２の画像上における人物が第２の登録人物であると判断したならば、第１の画像の画像ファイルを自動的に第１の登録人物用のフォルダに格納し、第２の画像の画像ファイルを自動的に第２の登録人物用のフォルダに格納する。顔認識処理を、このような画像分類に適用する場合においても、認識結果をより正しいものへと修正できれば、分類の精度が向上して有益である。
【０００６】
尚、下記特許文献１に係る画像処理装置では、同一人物についての複数の参照画像の中から、入力画像の撮影日付けに近い撮影日付けを有する参照画像を選択し、選択参照画像を基準として入力画像内の顔画像の人物を特定している。この技術は、登録人物自身の経時的な変化に対応するために技術であり、上述のような問題に対応できる技術ではない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２１３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで本発明は、顔認識処理の認識結果の修正機能を備えた画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、互いに異なる時刻に取得された複数の入力画像の画像データに基づく顔認識処理によって、各入力画像に含まれる人物を認識する顔認識部と、各入力画像の取得時刻を表すタイムスタンプ情報と各入力画像に対する前記顔認識処理の認識結果に基づいて、前記認識結果を修正する顔認識修正部と、を備えたことを特徴とする。
【００１０】
例えば、複数の入力画像の取得時間が十分に近い場合、その複数の入力画像の被写体は同一である可能性が高い。このような事実を利用すべく、上記のようにタイムスタンプ情報を用いて顔認識処理の認識結果を修正する。これにより、より精度の高い認識結果をユーザに提供することが可能となる。
【００１１】
具体的には例えば、前記顔認識修正部は、前記複数の入力画像に含まれる注目入力画像に対する前記認識結果によって前記注目入力画像に含まれる人物が第１〜第ｍの登録人物の何れかであることが示されていて該人物を１人の登録人物に絞り込めていない場合（ｍは２以上の整数）、前記タイムスタンプ情報を用いて前記注目入力画像の直前又は直後に取得された入力画像を含むｎ枚の入力画像をｎ枚の参照入力画像として選択し（ｎは１以上の整数）、前記ｎ枚の参照入力画像に対する前記認識結果と前記注目入力画像に対する前記認識結果とに基づいて前記注目入力画像に対する前記認識結果を修正する。
【００１２】
更に具体的には例えば、前記ｎ枚の参照入力画像は、前記注目入力画像の直前及び直後に取得された入力画像である第１及び第２の参照入力画像を含み、前記顔認識修正部は、前記注目入力画像に対する前記認識結果によって前記注目入力画像に含まれる前記人物が第１〜第ｍの登録人物の何れかであることが示されていて該人物を１人の登録人物に絞り込めていない場合、前記第１及び第２の参照入力画像に対する前記認識結果を参照し、前記第１及び第２の参照入力画像に対する前記認識結果によって前記第１及び第２の参照入力画像の夫々に第１の登録人物が含まれていることが示されているとき、前記注目入力画像に対する前記認識結果を修正する。
【００１３】
或いは具体的には例えば、各入力画像に対する前記認識結果は、各入力画像に含まれる人物が複数の登録人物の内の何れであるかを表す人物特定情報と、該人物特定情報の信頼度を表す信頼度情報と、を含み、前記顔認識修正部は、前記複数の入力画像に含まれる注目入力画像に対する前記信頼度が所定の基準信頼度よりも低い場合、前記タイムスタンプ情報を用いて前記注目入力画像の直前又は直後に取得された入力画像を含むｎ枚の入力画像をｎ枚の参照入力画像として選択し（ｎは１以上の整数）、前記ｎ枚の参照入力画像に対する前記認識結果と前記注目入力画像に対する前記認識結果とに基づいて前記注目入力画像に対する前記認識結果を修正する。
【００１４】
そして例えば、前記ｎ枚の参照入力画像は、前記注目入力画像の直前及び直後に取得された入力画像である第１及び第２の参照入力画像を含み、前記顔認識修正部は、前記注目入力画像の人物特定情報よって前記注目入力画像に第１の登録人物が含まれていることが示されているものの、その人物特定情報の信頼度が前記基準信頼度よりも低い場合、前記第１及び第２の参照入力画像の人物特定情報を参照し、前記第１及び第２の参照入力画像の人物特定情報によって前記第１及び第２の参照入力画像の夫々に第１の登録人物が含まれていることが示されていて且つそれらの信頼度が前記基準信頼度よりも高いとき、前記注目入力画像に対する前記認識結果を修正する。
【００１５】
また例えば、当該画像処理装置は、記録媒体に設けられた複数のフォルダの何れに各入力画像の画像データが格納されるべきかを指定するフォルダ指定部を更に備え、前記フォルダ指定部は、前記顔認識修正部の修正を経た、各入力画像に対する前記認識結果に基づいて、前記指定を行う。
【００１６】
本発明に係る撮像装置は、撮影によって画像データを取得する撮像部と、前記画像処理装置と、を備えた撮像装置であって、異なる時刻での複数回撮影によって前記撮影部から得られた複数の画像の画像データを前記複数の入力画像の画像データとして前記画像処理装置に与えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、顔認識処理の認識結果の修正機能を備えた画像処理装置及び撮像装置を提供することが可能となる。
【００１８】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施形態に係る撮像装置の構成を表すブロック図である。
【図２】認識結果情報が含む情報を示す図である。
【図３】画像ファイルの構造を示す図である。
【図４】複数の入力画像についての類似度等を示した図である。
【図５】複数の入力画像についての類似度等を示した図である。
【図６】３枚の入力画像の撮影時刻関係を示す図である。
【図７】本発明の第１実施形態に係る撮像装置の動作の流れを表すフローチャートである。
【図８】５枚の入力画像の撮影時刻関係を示す図である。
【図９】本発明の第２実施形態に係る撮像装置の構成を表すブロック図である。
【図１０】本発明の第２実施形態に係る撮像装置の動作の流れを表すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２１】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の構成を表すブロック図である。撮像装置１は、符号１１〜２０によって参照される各部位を備える。撮像装置１は、静止画像及び動画像を撮影可能なデジタルビデオカメラである（後述の撮像装置１ａも同様）。但し、撮像装置１は、静止画像のみを撮影可能なデジタルスチルカメラであっても良い（後述の撮像装置１ａも同様）。
【００２２】
撮像部１１は、撮像素子を用いて被写体の撮影を行うことで被写体の画像の画像データを取得する。具体的には、撮像部１１は、図示されない光学系、絞り、及び、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子を有する。この撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られたアナログの電気信号を出力する。図示されないＡＦＥ（Analog Front End）は、撮像素子から出力されたアナログ信号を増幅してデジタル信号に変換する。得られたデジタル信号は、被写体の画像の画像データとして、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成される画像メモリ１２に記録される。
【００２３】
画像メモリ１２に記録された１フレーム周期分の画像データによって表される１枚分の画像を、以下、フレーム画像と呼ぶ。尚、本明細書では、画像データを単に画像ということがある。
【００２４】
フレーム画像の画像データは、入力画像の画像データとして顔検出部１３及び顔認識部１４等に送られる。この際、フレーム画像の画像データに対して必要な画像処理（ノイズ低減処理、エッジ強調処理など）を施し、その画像処理後の画像データを入力画像の画像データとして顔検出部１３等に送るようにしてもよい。
【００２５】
顔検出部１３は、入力画像の画像データに基づいて、入力画像に含まれる人物の顔の画像を検出して抽出する。換言すれば、入力画像の画像データに基づいて、入力画像の画像領域から人物の顔部分を含む領域である顔領域を検出して抽出する。以下、顔の画像を顔画像とも表記すると共に、顔検出処理によって抽出された顔画像を単に抽出顔画像とも表記する。顔検出部１３による、顔画像（顔領域）を検出して抽出する処理を以下「顔検出処理」と呼ぶ。顔検出処理の方法として様々な手法が知られており、顔検出部１３は、公知の方法を含む任意の方法によって顔検出処理を実行可能である。尚、以下の説明において、顔画像の検出及び抽出を顔の検出及び抽出と表現することもある。
【００２６】
顔認識部１４は、顔検出処理によって入力画像から抽出された顔を有する人物が、予め登録された１又は複数の人物の内の、何れの人物であるかを認識する顔認識処理を行う。顔認識処理の方法として様々な手法が知られており、顔認識部１４は、公知の方法を含む任意の方法によって顔認識処理を実行可能である。
【００２７】
例えば、顔認識処理を、顔検出処理によって抽出された顔画像の画像データと、照合用の顔画像データベースと、に基づいて行うことができる。顔画像データベースには、互いに異なる複数の人物についての顔画像の画像データが格納されている。顔画像データベースを、顔認識部１４内に予め設けておくことができる。顔画像データベースに格納されている顔画像を登録顔画像と呼び、登録顔画像に対応する人物を登録人物という。
【００２８】
抽出顔画像及び登録顔画像の画像データに基づく抽出顔画像及び登録顔画像間の類似度評価によって、顔認識処理を実現することができる。具体的には例えば、抽出顔画像及び登録顔画像の画像データに基づいて抽出顔画像の顔に特有な特徴ベクトルを計算すると共に登録顔画像の顔に特有な特徴ベクトルを計算し、それらの特徴ベクトルの類似度を抽出顔画像及び登録顔画像間の類似度として計算する。この類似度の計算を顔画像データベースに格納された登録顔画像ごとに行うことで、抽出顔画像と複数の登録顔画像の夫々との間における類似度を求め、求めた複数の類似度から抽出顔画像に対応する人物が何れの登録人物であるかを識別することができる。
【００２９】
顔認識部１４による顔認識処理の結果を表す情報を、認識結果情報と呼ぶ。認識結果情報を、入力画像ごとに作成することができる。図２に示す如く、認識結果情報には、抽出顔画像に対応する人物が顔画像データベースに登録された複数の登録人物の内の何れの人物であるかを表す人物特定情報と、その人物特定情報の信頼度を表す信頼度情報と、を含む。
【００３０】
顔認識修正部１５は、顔認識部１４によって一旦作成された認識結果情報を、必要に応じて修正する。認識結果情報の詳細及び認識結果情報の修正方法の詳細については、後述する。タイムスタンプ生成部１６は、撮像装置１に内蔵されたタイマ等を用いて、入力画像の撮影時刻を表すタイムスタンプ情報を作成する。記録媒体１７は、磁気ディスクや半導体メモリ等から成る不揮発性メモリである。入力画像の画像データを、画像ファイルに格納した上で記録媒体１７に記録することができる。
【００３１】
図３に、１つの画像ファイルの構造を示す。１つの静止画像又は動画像に対して１つの画像ファイルが作成される。画像ファイルの構造を任意の規格に準拠させることができる。画像ファイルは、静止画像又は動画像の画像データが格納されるべき本体領域と、付加データが格納されるべきヘッダ領域からなる。本例では、入力画像の画像データそのもの又は該画像データの圧縮データが本体領域に格納され、入力画像に対する認識結果情報及び入力画像の撮影時刻を表すタイムスタンプ情報がヘッダ領域に格納される。
【００３２】
表示部１８は、液晶ディスプレイ等から成り、撮像部１１の撮影によって得られた入力画像や、記録媒体１７に記録されている画像などを表示する。操作部１９は、ユーザが撮像装置１に対して各種操作を行うための部位である。操作部１９には、例えば、静止画像の撮影指示を行うためのシャッタボタン、動画像の撮影開始及び終了を指示するための録画ボタンが含まれる。主制御部２０は、操作部１９に対して成された操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。
【００３３】
認識結果情報に含まれる人物特定情報により、通常、１つの抽出顔画像に対して１人の登録人物が割り当てられる。つまり、通常、１つの抽出顔画像に対応する１人の人物は、複数の登録人物の内の何れか１人であることが人物特定情報によって示される。しかしながら、様々な要因によって、１つの抽出顔画像に対して複数の登録顔画像が或る程度類似していると判断されることがあり、このような場合、人物特定情報は、１つの抽出顔画像に対して複数の登録人物を対応させることもある。
【００３４】
図４及び図５を参照して、認識結果情報の内容例を説明する。今、顔画像データベースに登録された複数の登録人物の中に、互いに異なる人物ＨA及びＨBが含まれているものとする。また、説明の簡略化上、以下の説明では、特記なき限り、人物ＨA及びＨB以外の登録人物の存在は考慮しないものとし、また、１枚の入力画像から顔画像が１つだけ抽出されることを想定する。そして、撮像部１１の撮影によって入力画像ＩＭ［１］〜ＩＭ［６］が取得され、入力画像ＩＭ［１］〜ＩＭ［６］に、夫々、人物ＥＨ［１］〜ＥＨ［６］の顔画像が含まれていた場合を想定する。尚、本明細書では、類似度又は信頼度の度合いを表す文言として、「高い」及び「低い」を用いることもあるし「大きい」及び「小さい」を用いることもあるが、「高い」と「大きい」は同義であると共に「低い」と「小さい」は同義である。
【００３５】
顔認識部１４は、顔検出処理によって入力画像ＩＭ［１］から抽出された顔画像に対して顔認識処理を施すことにより、入力画像ＩＭ［１］からの抽出顔画像と登録人物ＨAの顔画像との類似度ＳA［１］を算出すると共に入力画像ＩＭ［１］からの抽出顔画像と登録人物ＨBの顔画像との類似度ＳB［１］を算出する。入力画像ＩＭ［２］〜ＩＭ［６］についても、同様の類似度算出がなされる。この算出によって得られた、入力画像ＩＭ［２］〜ＩＭ［６］からの抽出顔画像と登録人物ＨAの顔画像との類似度をそれぞれ記号ＳA［２］〜ＳA［６］によって表し、入力画像ＩＭ［２］〜ＩＭ［６］からの抽出顔画像と登録人物ＨBの顔画像との類似度をそれぞれ記号ＳB［２］〜ＳB［６］によって表す。ＳA［１］等の類似度は、正の値を持ち、対比される顔画像間の類似度が高いほど、大きな値を持つ。
【００３６】
類似度ＳA［１］は類似度ＳB［１］に対して十分に大きく、且つ、類似度ＳB［４］は類似度ＳA［４］に対して十分に大きいものとする。加えて、類似度ＳA［１］及びＳB［４］そのものが十分に大きいものとする。また、類似度ＳA［２］及びＳA［３］はそれぞれ類似度ＳB［２］及びＳB［３］よりも或る程度大きく、且つ、類似度ＳB［５］及びＳB［６］はそれぞれ類似度ＳA［５］及びＳA［６］よりも或る程度大きいものとする。加えて、類似度ＳB［２］及びＳA［５］は或る程度の大きさを有する一方で、類似度ＳB［３］及びＳA［６］はゼロとみなせる程度に小さいとする。
【００３７】
より具体的には例えば、以下の不等式（１Ａ）〜（６Ｂ）が成立している場合を想定する。
ＳA［１］−ＳB［１］≧ＴＨ1 ・・・（１Ａ）
ＳA［１］≧ＴＨ3 ・・・（１Ｂ）
ＴＨ1＞ＳA［２］−ＳB［２］≧ＴＨ2 ・・・（２Ａ）
ＳB［２］≧ＴＨ4 ・・・（２Ｂ）
ＴＨ1＞ＳA［３］−ＳB［３］≧ＴＨ2 ・・・（３Ａ）
ＳB［３］＜ＴＨ4 ・・・（３Ｂ）
【００３８】
ＳB［４］−ＳA［４］≧ＴＨ1 ・・・（４Ａ）
ＳB［４］≧ＴＨ3 ・・・（４Ｂ）
ＴＨ1＞ＳB［５］−ＳA［５］≧ＴＨ2 ・・・（５Ａ）
ＳA［５］≧ＴＨ4 ・・・（５Ｂ）
ＴＨ1＞ＳB［６］−ＳA［６］≧ＴＨ2 ・・・（６Ａ）
ＳA［６］＜ＴＨ4 ・・・（６Ｂ）
【００３９】
ＴＨ1〜ＴＨ4は、不等式「ＴＨ1＞ＴＨ2＞０」及び「ＴＨ3＞ＴＨ4＞０」を満たすように予め設定された閾値である。
【００４０】
顔認識部１４は、類似度ＳA［ｉ］及びＳB［ｉ］に基づいて、入力画像ＩＭ［ｉ］に含まれる人物ＥＨ［ｉ］が、登録人物ＨAであるか或いは登録人物ＨBであるか或いは登録人物ＨA及びＨB以外であるかを識別する。ここで、ｉは、１、２、３、４、５又は６である。
【００４１】
便宜上、
第１不等式群「ＳA［ｉ］−ＳB［ｉ］≧ＴＨ1」及び「ＳA［ｉ］≧ＴＨ3」が成立するという条件を、Ａ高認識条件と呼び、
第２不等式群「ＴＨ1＞ＳA［ｉ］−ＳB［ｉ］≧ＴＨ2」及び「ＳB［ｉ］≧ＴＨ4」が成立するという条件を、Ａ優勢条件と呼び、
第３不等式群「ＴＨ1＞ＳA［ｉ］−ＳB［ｉ］≧ＴＨ2」及び「ＳB［ｉ］＜ＴＨ4」が成立するという条件を、Ａ低認識条件と呼び、
第４不等式群「ＳB［ｉ］−ＳA［ｉ］≧ＴＨ1」及び「ＳB［ｉ］≧ＴＨ3」が成立するという条件を、Ｂ高認識条件と呼び、
第５不等式群「ＴＨ1＞ＳB［ｉ］−ＳA［ｉ］≧ＴＨ2」及び「ＳA［ｉ］≧ＴＨ4」が成立するという条件を、Ｂ優勢条件と呼び、
第６不等式群「ＴＨ1＞ＳB［ｉ］−ＳA［ｉ］≧ＴＨ2」及び「ＳA［ｉ］＜ＴＨ4」が成立するという条件を、Ｂ低認識条件と呼ぶ。
また、Ａ高認識条件、Ａ優勢条件、Ａ低認識条件、Ｂ高認識条件、Ｂ優勢条件及びＢ低認識条件の何れもが成立せず、且つ、第７不等式群「ＳA［ｉ］＜ＴＨ4」及び「ＳB［ｉ］＜ＴＨ4」が成立するという条件を、ＡＢ不認識条件と呼ぶ。
【００４２】
顔認識部１４は、
人物ＥＨ［ｉ］に対してＡ高認識条件又はＡ低認識条件が成立する場合、人物ＥＨ［ｉ］は登録人物ＨAであると判断して人物ＥＨ［ｉ］が登録人物ＨAであることを示す人物特定情報を作成すると共に類似度ＳA［ｉ］に応じた信頼度ＲＬA［ｉ］を信頼度情報として作成し、
人物ＥＨ［ｉ］に対してＢ高認識条件又はＢ低認識条件が成立する場合、人物ＥＨ［ｉ］は登録人物ＨBであると判断して人物ＥＨ［ｉ］が登録人物ＨBであることを示す人物特定情報を作成すると共に類似度ＳB［ｉ］に応じた信頼度ＲＬB［ｉ］を信頼度情報として作成する。
このように、Ａ高認識条件、Ａ低認識条件、Ｂ高認識条件又はＢ低認識条件が成立する場合、人物特定情報において、１つの抽出顔画像に対応する１人の人物は１人の登録人物に絞り込まれる。
【００４３】
一方、顔認識部１４は、
人物ＥＨ［ｉ］に対してＡ優勢条件又はＢ優勢条件が成立する場合、人物ＥＨ［ｉ］は登録人物ＨA又はＨBであると判断して人物ＥＨ［ｉ］が登録人物ＨA及びＨBのどちらでもありうることを示す人物特定情報を作成すると共に、類似度ＳA［ｉ］に応じた信頼度ＲＬA［ｉ］及び類似度ＳB［ｉ］に応じた信頼度ＲＬB［ｉ］を信頼度情報として作成する。
このように、Ａ優勢条件又はＢ優勢条件が成立する場合、人物特定情報において、１つの抽出顔画像に対応する１人の人物は１人の登録人物に絞り込まれず、複数の登録人物が人物特定情報に書き込まれる。
【００４４】
尚、人物ＥＨ［ｉ］に対してＡＢ不認識条件が成立する場合は、人物ＥＨ［ｉ］の認識ができないため、人物特定情報の作成はなされない或いは人物ＥＨ［ｉ］の認識ができない旨を人物特定情報に書き込む。
【００４５】
上記不等式（１Ａ）〜（６Ｂ）より分かるように、
入力画像ＩＭ［１］及びその人物ＥＨ［１］に対してはＡ高認識条件が成立し、
入力画像ＩＭ［２］及びその人物ＥＨ［２］に対してはＡ優勢条件が成立し、
入力画像ＩＭ［３］及びその人物ＥＨ［３］に対してはＡ低認識条件が成立し、
入力画像ＩＭ［４］及びその人物ＥＨ［４］に対してはＢ高認識条件が成立し、
入力画像ＩＭ［５］及びその人物ＥＨ［５］に対してはＢ優勢条件が成立し、
入力画像ＩＭ［６］及びその人物ＥＨ［６］に対してはＢ低認識条件が成立する。
【００４６】
このため、顔認識部１４は、
入力画像ＩＭ［１］の認識結果情報に対し、人物ＥＨ［１］が登録人物ＨAであるという認識内容を信頼度ＲＬA［１］と共に書き込み、
入力画像ＩＭ［２］の認識結果情報に対し、人物ＥＨ［２］が登録人物ＨA又はＨBであるという認識内容を信頼度ＲＬA［２］及びＲＬB［２］と共に書き込み、
入力画像ＩＭ［３］の認識結果情報に対し、人物ＥＨ［３］が登録人物ＨAであるという認識内容を信頼度ＲＬA［３］と共に書き込み、
入力画像ＩＭ［４］の認識結果情報に対し、人物ＥＨ［４］が登録人物ＨBであるという認識内容を信頼度ＲＬB［４］と共に書き込み、
入力画像ＩＭ［５］の認識結果情報に対し、人物ＥＨ［５］が登録人物ＨA又はＨBであるという認識内容を信頼度ＲＬA［５］及びＲＬB［５］と共に書き込み、
入力画像ＩＭ［６］の認識結果情報に対し、人物ＥＨ［６］が登録人物ＨBであるという認識内容を信頼度ＲＬB［６］と共に書き込む。
【００４７】
信頼度ＲＬA［ｉ］は、人物ＥＨ［ｉ］が登録人物ＨAであることの確からしさを表す指標であり、類似度ＳA［ｉ］が大きいほど、大きな値が与えられる。信頼度ＲＬB［ｉ］は、人物ＥＨ［ｉ］が登録人物ＨBであることの確からしさを表す指標であり、類似度ＳB［ｉ］が大きいほど、大きな値が与えられる。
【００４８】
人物ＥＨ［ｉ］に対してＡ高認識条件が成立する場合における信頼度ＲＬA［ｉ］は、他の何れの条件が成立する場合における信頼度ＲＬA［ｉ］よりも大きく、
人物ＥＨ［ｉ］に対してＢ高認識条件が成立する場合における信頼度ＲＬB［ｉ］は、他の何れの条件が成立する場合における信頼度ＲＬB［ｉ］よりも大きい。
また、人物ＥＨ［ｉ］に対してＡ優勢条件が成立する場合、信頼度ＲＬA［ｉ］は信頼度ＲＬB［ｉ］よりも大きく、人物ＥＨ［ｉ］に対してＢ優勢条件が成立する場合、信頼度ＲＬA［ｉ］は信頼度ＲＬB［ｉ］よりも小さい。
更に、人物ＥＨ［ｉ］に対してＡ優勢条件が成立する場合における信頼度ＲＬA［ｉ］は、人物ＥＨ［ｉ］に対してＢ優勢条件が成立する場合における信頼度ＲＬA［ｉ］よりも大きく、人物ＥＨ［ｉ］に対してＢ優勢条件が成立する場合における信頼度ＲＬB［ｉ］は、人物ＥＨ［ｉ］に対してＡ優勢条件が成立する場合における信頼度ＲＬB［ｉ］よりも大きい。
【００４９】
上記のような想定に当てはまる具体的な数値例として、以下では、ＲＬA［１］＝９０、ＲＬA［２］＝６０、ＲＬB［２］＝４０、ＲＬA［３］＝６０、ＲＬB［４］＝９０、ＲＬA［５］＝４０、ＲＬB［５］＝６０、ＲＬB［３］＝６０、であるとする。尚、ＲＬB［１］＝０、ＲＬB［３］＝０、ＲＬA［４］＝０及びＲＬA［６］＝０を、夫々、入力画像Ｉ［１］、Ｉ［３］、Ｉ［４］及びＩ［６］に対する信頼度情報に追記することも可能である。
【００５０】
Ａ高認識条件又はＢ高認識条件が成立する時に信頼度として書き込まれる０以外の上記数値（今の例において９０）は、予め設定された基準信頼度（例えば、８０）よりも大きく、Ａ優勢条件、Ａ低認識条件、Ｂ優勢条件又はＢ低認識条件が成立する時に信頼度として書き込まれる０以外の上記数値（今の例において４０又は６０）は、その基準信頼度よりも小さいものとする。
【００５１】
故に、入力画像ＩＭ［１］及びＩＭ［４］に対する顔認識処理の信頼度ＲＬA［１］及びＲＬB［４］は基準信頼度よりも大きく、入力画像ＩＭ［２］、ＩＭ［３］、ＩＭ［５］及びＩＭ［６］に対する顔認識処理の信頼度ＲＬA［２］、ＲＬB［２］、ＲＬA［３］、ＲＬA［５］、ＲＬB［５］及びＲＬB［６］は基準信頼度よりも小さい。
【００５２】
顔認識修正部１５は、Ａ優勢条件、Ａ低認識条件、Ｂ優勢条件又はＢ低認識条件に対応する入力画像の認識結果情報を、修正する機能を備える。この修正によって、顔認識部１４によって一旦作成された信頼度ＲＬA［２］、ＲＬB［２］、ＲＬA［３］、ＲＬA［５］、ＲＬB［５］及びＲＬB［６］は変更されうる。
【００５３】
顔認識修正部１５による修正後の信頼度ＲＬA［２］、ＲＬB［２］、ＲＬA［３］、ＲＬA［５］、ＲＬB［５］及びＲＬB［６］を、夫々、信頼度ＲＬA［２］’、ＲＬB［２］’、ＲＬA［３］’、ＲＬA［５］’、ＲＬB［５］’及びＲＬB［６］’にて表す。本明細書において、ダッシュ（’）を伴わない記号ＲＬA［２］、ＲＬB［２］、ＲＬA［３］、ＲＬA［５］、ＲＬB［５］及びＲＬB［６］は、修正前の信頼度を表している。
【００５４】
尚、注目入力画像の認識結果情報に含まれる人物特定情報に複数の登録人物が書き込まれている場合において、画像検索等のために、注目入力画像中の人物を一人の登録人物に絞り込む必要がある時には、その書き込まれた登録人物の内、最も信頼度が高い登録人物を選択した上で画像検索等を行うことができる。また、最も信頼度が高い登録人物を指し示す情報を、注目入力画像の画像ファイルのヘッダ領域に追記することもできる。
【００５５】
顔認識部１４が、信頼度情報を含む認識結果情報を記録媒体１７上の画像ファイルに書き込んだ後に、顔認識修正部１５が、必要に応じて、画像ファイルに書き込まれた認識結果情報を修正する。但し、認識結果情報の記録媒体１７への書き込みを、顔認識修正部１５による必要に応じた修正を経てから実行するようにしてもよい。
【００５６】
修正方法として複数の修正方法が考えられる。以下に、修正方法の具体的な内容を説明するための例として、第１〜第６修正例を説明する。尚、矛盾が生じない限り、第１〜第６修正例の内の、複数の修正例を組み合わせて実施することも可能である。
【００５７】
［第１修正例］
第１修正例を説明する。今、図６に示す如く、入力画像２０１、２０２及び２０３が、この順番で時間的に隣接して撮影されたものとする。即ち、入力画像２０２の撮影直前に入力画像２０１の撮影が行われ、入力画像２０２の撮影直後に入力画像２０３の撮影が行われたとする。入力画像２０１、２０２及び２０３の撮影時刻を、夫々、ＴＳ1、ＴＳ2及びＴＳ3によって表し、撮影時刻ＴＳ1及びＴＳ2間の時間差並びに撮影時刻ＴＳ2及びＴＳ3間の時間差を夫々ＴＤ12及びＴＤ23によって表す。
【００５８】
また、顔認識処理によって算出された入力画像２０２に対する信頼度が上記基準信頼度よりも低い、又は、顔認識処理によって入力画像２０２に含まれている人物を一人の登録人物に絞り込むことができていない、ことを想定する。この場合、顔認識修正部１５は、入力画像２０２を認識結果情報の修正対象としての注目入力画像と捉える一方で入力画像２０１及び２０３を参照入力画像と捉え、入力画像２０１〜２０３のタイムスタンプ情報及び認識結果情報に基づいて、入力画像２０２の認識結果情報に対する修正処理を行う。
【００５９】
このような想定を満たす典型例として、第１修正例では、入力画像２０１及び２０３が共にＡ高認識条件を満たす入力画像ＩＭ［１］と同じ画像であって、且つ、入力画像２０２がＢ優勢条件を満たす入力画像ＩＭ［５］と同じ画像である場合を考える。
【００６０】
顔認識修正部１５は、時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTH以下である場合に、入力画像２０２内の人物ＥＨ［５］に対して求められた信頼度ＲＬA［５］及びＲＬB［５］を修正する。この際、ＲＬA［５］’＞ＲＬA［５］、ＲＬB［５］’＜ＲＬB［５］且つＲＬA［５］’＞ＲＬB［５］’となるように、信頼度ＲＬA［５］を増加させ且つ信頼度ＲＬB［５］を減少させる修正を行う。このような修正を、便宜上、「修正α1」と呼ぶ。
【００６１】
修正α1では、例えば、４０であった信頼度ＲＬA［５］を６０に修正すると共に６０であった信頼度ＲＬB［５］を４０に修正する。これにより、“入力画像２０２内の人物ＥＨ［５］が登録人物ＨBであることが登録人物ＨAであることよりも確からしい”という情報（即ち、修正前の認識結果情報）は、“入力画像２０２内の人物ＥＨ［５］が登録人物ＨAであることが登録人物ＨBであることよりも確からしい”という情報（即ち、修正後の認識結果情報）へと修正される。
【００６２】
一方、時間差ＴＤ12及びＴＤ23の何れか一方又は双方が基準時間差ＴＤTHよりも大きい場合は、顔認識修正部１５による認識結果情報の修正は行われない。基準時間差ＴＤTHは、２枚の入力画像の撮影時刻が十分に近いか否かを区別するための、予め設定された時間的な閾値である。
【００６３】
［第２修正例］
第２修正例を説明する。第２修正例の説明において特に述べない事項に関しては、第１修正例の記載が第２修正例にも適用される。第１修正例では、入力画像２０２がＢ優勢条件を満たす入力画像ＩＭ［５］と同じ画像である場合を考えたが、入力画像２０２がＡ優勢条件を満たす入力画像ＩＭ［２］と同じ画像である場合も、同様の修正を行うことができる。
【００６４】
つまり、入力画像２０１及び２０３が共に入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［２］と同じ画像である場合、時間差ＴＤ12及びＴＤ23と基準時間差ＴＤTHとを比較し、時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTH以下であるならば修正β1を行う一方、時間差ＴＤ12及びＴＤ23の何れか一方又は双方が基準時間差ＴＤTHよりも大きいならば認識結果情報の修正を行わない。
【００６５】
修正β1では、入力画像２０２内の人物ＥＨ［２］に対して求められた信頼度ＲＬA［２］及びＲＬB［２］を修正する。この際、ＲＬA［２］’＞ＲＬA［２］且つＲＬB［２］’＜ＲＬB［２］となるように、信頼度ＲＬA［２］を増加させ且つ信頼度ＲＬB［２］を減少させる修正を行う。例えば、６０であった信頼度ＲＬA［２］を７０に修正すると共に４０であった信頼度ＲＬB［２］を３０に修正する。これにより、入力画像２０２内の人物ＥＨ［２］が登録人物ＨAであることの確からしさが増大修正される。
【００６６】
［第３修正例］
第３修正例を説明する。第３修正例の説明において特に述べない事項に関しては、第１修正例の記載が第３修正例にも適用される。第１修正例では、入力画像２０２がＢ優勢条件を満たす入力画像ＩＭ［５］と同じ画像である場合を考えたが、入力画像２０２がＡ低認識条件を満たす入力画像ＩＭ［３］と同じ画像である場合も、同様の修正を行うことができる。
【００６７】
つまり、入力画像２０１及び２０３が共に入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［３］と同じ画像である場合、時間差ＴＤ12及びＴＤ23と基準時間差ＴＤTHとを比較し、時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTH以下であるならば修正γ1を行う一方、時間差ＴＤ12及びＴＤ23の何れか一方又は双方が基準時間差ＴＤTHよりも大きいならば認識結果情報の修正を行わない。
【００６８】
修正γ1では、入力画像２０２内の人物ＥＨ［３］に対して求められた信頼度ＲＬA［３］を修正する。この際、ＲＬA［３］’＞ＲＬA［３］となるように、信頼度ＲＬA［３］を増加させる修正を行う。例えば、６０であった信頼度ＲＬA［３］を７０に修正する。これにより、入力画像２０２内の人物ＥＨ［３］が登録人物ＨAであることの確からしさが増大修正される。
【００６９】
ここで、図７を参照して、第１〜第３修正例に対応する、撮像装置１の動作の流れを説明する。図７は、この動作の流れを表すフローチャートである。
【００７０】
まず、ステップＳ１１において、撮像部１１を用いた撮影により今回の入力画像を取得する。この入力画像の取得は、例えば、操作部１９に対する静止画像の撮影指示に従って実行される。続くステップＳ１２〜Ｓ１４では、ステップＳ１１にて取得された今回の入力画像に対する顔検出処理及び顔認識処理の実行並びにタイムスタンプ情報の生成が行われる。その後、ステップＳ１５において、画像ファイルが記録媒体１７内に生成されて、該画像ファイルの本体領域に今回の入力画像の画像データが書き込まれると共に、該画像ファイルのヘッダ領域に今回の入力画像に対する認識結果情報及びタイムスタンプ情報が書き込まれる。
【００７１】
その後、ステップＳ１６において、顔認識修正部１５は、今回の入力画像に対する顔認識処理の信頼度が高いか否かを判断する。つまり、今回の入力画像に対する顔認識処理の信頼度が上記基準信頼度よりも高いか否かを判断する。そして、今回の入力画像に対する顔認識処理の信頼度が基準信頼度よりも高い場合はステップＳ１６からステップＳ１９に移行する一方で、そうでない場合はステップＳ１６からステップ１７に移行する。
【００７２】
ステップＳ１７では、前回取得の入力画像に対する顔認識処理の信頼度が上記基準信頼度よりも高いか否かを判断する。そして、前者が後者（基準信頼度）よりも高い場合は、今回の入力画像のＩＤ情報を低信頼度リストに追加してからステップＳ１１に戻る一方で、そうでない場合は、該追加を行うことなくステップＳ１１に戻る。低信頼度リストは、例えば、顔認識修正部１５に設けられる。ＩＤ情報は、個々の入力画像を他の入力画像と区別するための識別情報である。
【００７３】
今回の入力画像に対する顔認識処理の信頼度が高い場合に実行されるステップＳ１９において、顔認識修正部１５は、低信頼度リストにＩＤ情報が書き込まれているかをチェックし、ＩＤ情報が書き込まれている場合は、ステップＳ２０において、該ＩＤ情報が指し示す入力画像の認識結果情報及びタイムスタンプ情報と該ＩＤ情報が指し示す入力画像の前後に取得された入力画像の認識結果情報及びタイムスタンプ情報とに基づいて、修正実行条件が満たされているか否かを判断する。修正実行条件とは、上述の修正α1、β1及びγ1を含む、認識結果情報の修正を実行するために満たすべき条件を指す。
【００７４】
修正実行条件が満たされている場合、ステップＳ２１において、顔認識修正部１５は、画像ファイルのヘッダ領域に既に書き込まれている認識結果情報を修正し、その後、ステップＳ１１に戻る。一方、修正実行条件が満たされていない場合（ステップＳ２０のＮ）又は低信頼度リストにＩＤ情報が書き込まれていない場合（ステップＳ１９のＮ）は、認識結果情報の修正を行うことなく（ステップＳ２２）、ステップＳ１１に戻る。
【００７５】
第１〜第３修正例に係る入力画像２０１〜２０３を、図７の動作に当てはめた時の動作を説明する。
【００７６】
まず、Ａ高認識条件が満たされるべき入力画像２０１が取得されて、入力画像２０１が今回の入力画像となった時、入力画像２０１に対する顔認識処理の信頼度は高いものの、未だ低信頼度リストにはＩＤ情報が存在しないため、修正処理が行われることなく（ステップＳ２２）、ステップＳ１１に戻る。
【００７７】
その後、Ｂ優勢条件等が満たされるべき入力画像２０２が取得されて入力画像２０２が今回の入力画像となると、ステップＳ１６を介してステップＳ１７に至る。入力画像２０２が今回の入力画像である時、前回取得の入力画像は入力画像２０１である。従って、ステップＳ１７では、前回取得の入力画像２０１に対する顔認識処理の信頼度が上記基準信頼度よりも高いと判断され、結果、今回の入力画像２０１のＩＤ情報が低信頼度リストに追加されてから（ステップＳ１８）ステップＳ１１に戻る。
【００７８】
更にその後、Ａ高認識条件が満たされるべき入力画像２０３が取得されて入力画像２０３が今回の入力画像となると、ステップＳ１６を介してステップＳ１９に至る。この時、低信頼度リストに入力画像２０２のＩＤ情報が書き込まれているため、顔認識修正部１５は、入力画像２０２の認識結果情報及びタイムスタンプ情報と入力画像２０２の前後に取得された入力画像２０１及び２０３の認識結果情報及びタイムスタンプ情報とに基づき、入力画像２０２に対する修正実行条件が満たされているか否かを判断する（ステップＳ２０）。
【００７９】
第１〜第３修正例においては、時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTH以下である時に、この修正実行条件は満たされて、入力画像２０２に対する認識結果情報が修正される。その修正は、第１〜第３修正例において、それぞれ上述の修正α1、β1及びγ1である。
【００８０】
注目入力画像がＢ優勢条件、Ａ優勢条件又はＡ低認識条件を満たす場合において、注目入力画像の前後に撮影された入力画像がＡ高認識条件を満たし、且つ、注目入力画像の前後に撮影された入力画像の撮影時刻が注目入力画像の撮影時刻に十分に近い場合、注目入力画像に含まれる人物は登録人物ＨAである可能性が高い。このため、顔認識修正部１５は、上記のような修正を行う。この修正により、より精度の高い顔認識結果をユーザに提供することができる。
【００８１】
［第４修正例］
第４修正例を説明する。第４修正例は、第１〜第３修正例を変形したものに相当する。従って、第４修正例の説明において特に述べない事項に関しては、第１、第２又は第３修正例の記載が第４修正例にも適用される。
【００８２】
第１〜第３修正例では、時間差ＴＤ12及びＴＤ23の何れか一方又は双方が基準時間差ＴＤTHよりも大きい時、入力画像２０２の認識結果情報の修正を行わないが、第４修正例では、時間差ＴＤ12及びＴＤ23の何れか一方のみが基準時間差ＴＤTHよりも大きい場合には、該修正を行うようにする。時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTHよりも大きいならば、第１〜第３修正例と同様、該修正を行わない。
【００８３】
即ち例えば、入力画像２０１及び２０３が共に入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［５］と同じ画像である場合において、時間差ＴＤ12及びＴＤ23の内の一方のみが基準時間差ＴＤTH以下である時、上述の修正α1に類似した修正α2を行う。修正α2では、入力画像２０２内の人物ＥＨ［５］に対して求められた信頼度ＲＬA［５］及びＲＬB［５］を修正する。この際、ＲＬA［５］’＞ＲＬA［５］及びＲＬB［５］’＜ＲＬB［５］となるように、信頼度ＲＬA［５］を増加させ且つ信頼度ＲＬB［５］を減少させる修正を行う。
【００８４】
ここで、修正α2における修正量を、修正α1におけるそれよりも小さくするとよい。例えば、修正α1において、４０であった信頼度ＲＬA［５］が６０に修正されると共に６０であった信頼度ＲＬB［５］が４０に修正されるのであれば、修正α2においては、４０であった信頼度ＲＬA［５］が５０に修正されると共に６０であった信頼度ＲＬB［５］が５０に修正される。
【００８５】
また例えば、入力画像２０１及び２０３が共に入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［２］と同じ画像である場合において、時間差ＴＤ12及びＴＤ23の内の一方のみが基準時間差ＴＤTH以下である時、上述の修正β1に類似した修正β2を行う。修正β2では、入力画像２０２内の人物ＥＨ［２］に対して求められた信頼度ＲＬA［２］及びＲＬB［２］を修正する。この際、ＲＬA［２］’＞ＲＬA［２］且つＲＬB［２］’＜ＲＬB［２］となるように、信頼度ＲＬA［２］を増加させ且つ信頼度ＲＬB［２］を減少させる修正を行う。
【００８６】
ここで、修正β2における修正量を、修正β1におけるそれよりも小さくするとよい。例えば、修正β1において、６０であった信頼度ＲＬA［２］が７０に修正されると共に４０であった信頼度ＲＬB［２］が３０に修正されるのであれば、修正β2においては、６０であった信頼度ＲＬA［２］が６５に修正されると共に４０であった信頼度ＲＬB［２］が３５に修正される。
【００８７】
また例えば、入力画像２０１及び２０３が共に入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［３］と同じ画像である場合において、時間差ＴＤ12及びＴＤ23の内の一方のみが基準時間差ＴＤTH以下である時、上述の修正γ1に類似した修正γ2を行う。修正γ2では、入力画像２０２内の人物ＥＨ［３］に対して求められた信頼度ＲＬA［３］を修正する。この際、ＲＬA［３］’＞ＲＬA［３］となるように、信頼度ＲＬA［３］を増加させる修正を行う。
【００８８】
ここで、修正γ2における修正量を、修正γ1におけるそれよりも小さくするとよい。例えば、修正γ1において、６０であった信頼度ＲＬA［３］が７０に修正されるのであれば、修正γ2においては、６０であった信頼度ＲＬA［３］が６５に修正される。
【００８９】
注目入力画像がＢ優勢条件、Ａ優勢条件又はＡ低認識条件を満たす場合において、注目入力画像の前後に撮影された入力画像がＡ高認識条件を満たし、且つ、注目入力画像の前後に撮影された入力画像の撮影時刻の何れか一方が注目入力画像の撮影時刻に十分に近い場合、注目入力画像に含まれる人物は登録人物ＨAである可能性が比較的高いと推測される。但し、その可能性は、注目入力画像の前後に撮影された入力画像の撮影時刻の双方が注目入力画像の撮影時刻に十分に近い場合と比べて、小さいと推測される。このため、顔認識修正部１５は、上記のような修正を行う。この修正により、より精度の高い顔認識結果をユーザに提供することができる。
【００９０】
［第５修正例］
第５修正例を説明する。第５修正例は、第４修正例を更に変形したものに相当する。従って、第５修正例の説明において特に述べない事項に関しては、第４修正例の記載が第５修正例にも適用される。
【００９１】
第４修正例の如く、入力画像２０１又は２０３の撮影時刻と入力画像２０２の撮影時刻との時間差が大きく、入力画像２０１及び２０３の内の一方と入力画像２０２との間における時間的な関係が希薄である時においても、入力画像２０２の識別結果情報を修正可能であることに鑑みれば、以下のような修正処理を行うことも可能である。
【００９２】
即ち例えば、入力画像２０１が入力画像ＩＭ［１］と同じ画像であって且つ時間差ＴＤ12が基準時間差ＴＤTH以下である場合において、
入力画像２０２が入力画像ＩＭ［５］と同じ画像である時、上述の修正α2又は修正α2に類似する修正を行い、
入力画像２０２が入力画像ＩＭ［２］と同じ画像である時、上述の修正β2又は修正β2に類似する修正を行い、
入力画像２０２が入力画像ＩＭ［３］と同じ画像である時、上述の修正γ2又は修正γ2に類似する修正を行う。
【００９３】
これらの修正は、入力画像２０３がどのような画像であるかを問わず実行することができるし、時間差ＴＤ23と基準時間差ＴＤTHとの大小関係を問わず実行することができる。典型的には例えば、入力画像２０３が上記ＡＢ不認識条件を満たす時に、第５修正例に係る上記修正を実行すると良い。
【００９４】
入力画像２０１が入力画像ＩＭ［１］と同じ画像であって且つ時間差ＴＤ12が基準時間差ＴＤTH以下である場合に実行可能な修正動作を上述したが、入力画像２０３が入力画像ＩＭ［１］と同じ画像であって且つ時間差ＴＤ23が基準時間差ＴＤTH以下である場合についても同様の修正が可能である。
【００９５】
［第６修正例］
第６修正例を説明する。上述の各修正例では、注目入力画像の直前及び／又は直後に撮影された入力画像についての情報が、修正の是非判断に利用されたが、その判断に、注目入力画像の数フレーム前又は数フレーム後の入力画像についての情報を利用するようにしてもよい。
【００９６】
図８を参照して、具体的な修正内容を説明する。第６修正例においても、第１修正例の説明で述べた入力画像２０１〜２０３を参照する。第１修正例で述べたように、入力画像２０１〜２０３の撮影時刻は夫々ＴＳ1、ＴＳ2及びＴＳ3であり、撮影時刻ＴＳ1及びＴＳ2間の時間差並びに撮影時刻ＴＳ2及びＴＳ3間の時間差は夫々ＴＤ12及びＴＤ23である。入力画像２０１〜２０３に加えて、第６修正例では、入力画像２０１の撮影直前に撮影された入力画像２００と、入力画像２０３の撮影直後に撮影された入力画像２０４をも利用する。入力画像２００及び２０４の撮影時刻を夫々ＴＳ0及びＴＳ4によって表し、撮影時刻ＴＳ0及びＴＳ1間の時間差並びに撮影時刻ＴＳ3及びＴＳ4間の時間差を夫々ＴＤ01及びＴＤ34によって表す。撮影時刻ＴＳj+1は、撮影時刻ＴＳjよりも後に訪れる時刻である（ｊは整数）。
【００９７】
また、第１修正例と同様、顔認識処理によって算出された入力画像２０２に対する信頼度が上記基準信頼度よりも低い、又は、顔認識処理によって入力画像２０２に含まれている人物を一人の登録人物に絞り込むことができていない、ことを想定する。顔認識修正部１５は、入力画像２０２を認識結果情報の修正対象としての注目入力画像と捉える一方で入力画像２００、２０１、２０３及び２０４を参照入力画像と捉え、入力画像２００〜２０４のタイムスタンプ情報及び認識結果情報に基づいて、入力画像２０２の認識結果情報に対する修正処理を行う。
【００９８】
例えば、入力画像２００、２０１、２０３及び２０４が全て入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［５］と同じ画像である場合において、時間差ＴＤ01、ＴＤ12、ＴＤ23及びＴＤ34が全て基準時間差ＤTH以下である時、或いは、和（ＴＤ01＋ＴＤ12）及び（ＴＤ23＋ＴＤ34）が共に基準時間差ＤTH以下である時、上述の修正α1に類似した修正α3を行う。修正α3では、入力画像２０２内の人物ＥＨ［５］に対して求められた信頼度ＲＬA［５］及びＲＬB［５］を修正する。この際、ＲＬA［５］’＞ＲＬA［５］、ＲＬB［５］’＜ＲＬB［５］且つＲＬA［５］’＞ＲＬB［５］’となるように、信頼度ＲＬA［５］を増加させ且つ信頼度ＲＬB［５］を減少させる修正を行う。
【００９９】
ここで、修正α3における修正量を、修正α1におけるそれよりも大きくするとよい。例えば、修正α1において、４０であった信頼度ＲＬA［５］が６０に修正されると共に６０であった信頼度ＲＬB［５］が４０に修正されるのであれば、修正α3においては、４０であった信頼度ＲＬA［５］が７０に修正されると共に６０であった信頼度ＲＬB［５］が３０に修正される。
【０１００】
また例えば、入力画像２００、２０１、２０３及び２０４が全て入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［２］と同じ画像である場合において、時間差ＴＤ01、ＴＤ12、ＴＤ23及びＴＤ34が全て基準時間差ＤTH以下である時、或いは、和（ＴＤ01＋ＴＤ12）及び（ＴＤ23＋ＴＤ34）が共に基準時間差ＤTH以下である時、上述の修正β1に類似した修正β3を行う。修正β3では、入力画像２０２内の人物ＥＨ［２］に対して求められた信頼度ＲＬA［２］及びＲＬB［２］を修正する。この際、ＲＬA［２］’＞ＲＬA［２］且つＲＬB［２］’＜ＲＬB［２］となるように、信頼度ＲＬA［２］を増加させ且つ信頼度ＲＬB［２］を減少させる修正を行う。
【０１０１】
ここで、修正β3における修正量を、修正β1におけるそれよりも大きくするとよい。例えば、修正β1において、６０であった信頼度ＲＬA［２］が７０に修正されると共に４０であった信頼度ＲＬB［２］が３０に修正されるのであれば、修正β3においては、６０であった信頼度ＲＬA［２］が８０に修正されると共に４０であった信頼度ＲＬB［２］が２０に修正される。
【０１０２】
また例えば、入力画像２００、２０１、２０３及び２０４が全て入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［３］と同じ画像である場合において、時間差ＴＤ01、ＴＤ12、ＴＤ23及びＴＤ34が全て基準時間差ＤTH以下である時、或いは、和（ＴＤ01＋ＴＤ12）及び（ＴＤ23＋ＴＤ34）が共に基準時間差ＤTH以下である時、上述の修正γ1に類似した修正γ3を行う。修正γ3では、入力画像２０２内の人物ＥＨ［３］に対して求められた信頼度ＲＬA［３］を修正する。この際、ＲＬA［３］’＞ＲＬA［３］となるように、信頼度ＲＬA［３］を増加させる修正を行う。
【０１０３】
ここで、修正γ3における修正量を、修正γ1におけるそれよりも大きくするとよい。例えば、修正γ1において、６０であった信頼度ＲＬA［３］が７０に修正されるのであれば、修正γ3においては、６０であった信頼度ＲＬA［３］が８０に修正される。
【０１０４】
尚、時間差ＴＤ01、ＴＤ12、ＴＤ23及びＴＤ34が全て基準時間差ＤTH以下であるという条件、又は、和（ＴＤ01＋ＴＤ12）及び（ＴＤ23＋ＴＤ34）が共に基準時間差ＤTH以下であるという条件が満たされない時、上述の修正α3、β3及びγ3は行われない、
【０１０５】
第６修正例においても、第１〜第３修正例と同様の作用・効果が得られる。また、第６修正例では、注目入力画像の認識結果情報の修正に際し、注目入力画像の前後に撮影された３枚以上の入力画像を参照するため、第１〜第３修正例よりも修正の妥当性が向上する。修正の妥当性の向上を反映して、上述の如く、第１〜第３修正例と比べて修正量を増大することが可能である。
【０１０６】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。図９は、第１実施形態に係る撮像装置１ａの構成を表すブロック図である。撮像装置１ａは、符号１１〜２１によって参照される各部位を備える。即ち、撮像装置１ａは、第１実施形態に係る撮像装置１に対してフォルダ指定部２１を追加した構成を有し、その追加を除き、撮像装置１と撮像装置１ａは同様のものである。従って、以下では、フォルダ指定部２１の機能を主として説明とする。第２実施形態において特に述べない事項に関しては、第１実施形態の記載が第２実施形態にも適用される。
【０１０７】
記録媒体１７の記録領域に階層構造を持たせ、複数の画像ファイルを階層的に分類保存することができる。例えば、記録媒体１７の記録領域内に、複数の画像ファイルを格納しておくことのできるフィルダを複数個設け、或るフォルダに第１の画像ファイル群を格納し、他のフォルダに第２の画像ファイル群を格納しておく、といった利用が可能である。
【０１０８】
フォルダ指定部２１は、各画像ファイルを何れのフォルダに格納すべきかを指定する。フォルダ指定部２１の指定内容に従って、各画像ファイルのフォルダへの格納が行われる。実際の格納処理は、フォルダ指定部２１以外の部位が行ってもかまわないが、今、フォルダ指定部２１が実際の格納処理をも行うこととする。
【０１０９】
第１実施形態と同様、人物ＨA及びＨB以外の登録人物の存在は考慮しないものとし、１枚の入力画像から顔画像が１つだけ抽出されることを想定する。そして、登録人物ＨAが被写体として含まれる入力画像の画像ファイルを第１フォルダに格納し、登録人物ＨBが被写体として含まれる入力画像の画像ファイルを第２フォルダに格納すべきことが、ユーザ等によって指示されていることを想定する。
【０１１０】
フォルダ指定部２１は、認識結果情報に基づいてフォルダ分類処理を実行することができる。フォルダ指定部２１は、注目入力画像の画像ファイルに対するフォルダ分類処理において、注目入力画像の人物特定情報に登録人物が一人のみ書き込まれている場合は、その書き込まれた登録人物に対応するフォルダに該画像ファイルを格納し、注目入力画像の人物特定情報に複数の登録人物が書き込まれている場合は、その書き込まれた登録人物の内、最も信頼度が高い登録人物に対応するフォルダに該画像ファイルを格納する。従って例えば、顔認識処理によって注目入力画像がＡ高認識条件、Ａ優勢条件又はＡ低認識条件を満たすと判断された場合は、その注目入力画像の画像ファイルを第１フォルダに格納し、顔認識処理によって注目入力画像がＢ高認識条件、Ｂ優勢条件又はＢ低認識条件を満たすと判断された場合は、その注目入力画像の画像ファイルを第２フォルダに格納する（図４及び図５参照）。
【０１１１】
但し、フォルダ指定部２１は、注目入力画像の画像ファイルが格納されるフォルダを、顔認識修正部１５の修正内容に応じて事後的に変更することができる。この変更を実現する処理を、フォルダ変更処理という。例えば、注目入力画像がＢ優勢条件を満たす入力画像ＩＭ［５］である場合、注目入力画像の認識結果情報の信頼度ＲＬA［５］及びＲＬB［５］が不等式「ＲＬA［５］＜ＲＬB［５］」を満たすため、注目入力画像の画像ファイルを一旦第２フォルダに格納する。しかし、信頼度ＲＬA［５］及びＲＬB［５］が顔認識修正部１５の修正処理により信頼度ＲＬA［５］’及びＲＬB［５］’へと変更されて不等式「ＲＬA［５］’＞ＲＬB［５］’」が満たされるならば、フォルダ変更処理により、注目入力画像の画像ファイルが格納されるフォルダを第２フォルダから第１フォルダに変更することができる
【０１１２】
図１０を参照して、撮像装置１ａの動作の流れを説明する。図１０は、この動作の流れを表すフローチャートである。まず、撮像装置１ａにおいてステップＳ１１〜Ｓ１４の処理が実行される。撮像装置１ａにて実行されるステップＳ１１〜Ｓ１４の処理内容は、第１実施形態で示したそれらと同じである。但し、第２実施形態では、ステップＳ１１〜Ｓ１４の処理の後、ステップＳ３５にてフォルダ分類処理が実行される。
【０１１３】
即ち、ステップＳ３５において、フォルダ指定部２１は、今回の入力画像に対する顔認識処理の認識結果情報に基づき、今回の入力画像に対してフォルダ分類処理を実行する。この際、第１実施形態において述べたステップＳ１５の処理も併せて実行するとよい。即ち、今回の入力画像が格納されるべき画像ファイルのヘッダ領域に、今回の入力画像に対する認識結果情報及びタイムスタンプ情報を書き込んでおくとよい。
【０１１４】
ステップＳ３５の処理の後、ステップＳ１６の分岐処理を介してステップＳ１７又はステップＳ１９に移行する、ステップＳ１７に移行した場合はステップＳ１７及びＳ１８の処理が行われ、ステップＳ１９に移行した場合はステップＳ１９及びステップＳ４０〜Ｓ４２の処理が行われる。ステップＳ１６〜Ｓ１９の処理内容は、第１実施形態で示したそれらと同じである。
【０１１５】
ステップＳ１９において、顔認識修正部１５又はフォルダ指定部２１は、低信頼度リストにＩＤ情報が書き込まれているかをチェックし、ＩＤ情報が書き込まれている場合は、ステップＳ４０において、該ＩＤ情報が指し示す入力画像の認識結果情報及びタイムスタンプ情報と該ＩＤ情報が指し示す入力画像の前後に取得された入力画像の認識結果情報及びタイムスタンプ情報とに基づき、フォルダ変更処理の実行の是非を峻別するための条件（以下、フォルダ変更実行条件という）が満たされているか否かを判断する。
【０１１６】
この判断に先立ち、第１実施形態で述べたステップＳ２０及びＳ２１の処理を実行するようにし、顔認識修正部１５による修正後の認識結果情報に基づいてフォルダ変更実行条件の充足／不充足判断を行うことができる。入力画像に対して算出された複数の信頼度の内、最大の信頼度に対応する登録人物が、顔認識修正部１５による修正処理によって変更にされた場合に、フォルダ変更実行条件が充足される。
【０１１７】
フォルダ変更実行条件が満たされている場合、ステップＳ４０からステップＳ４１に移行し、ステップＳ４１において、フォルダ指定部２１は修正後の認識結果情報に基づいてフォルダ変更処理を実行し、その後ステップＳ１１に戻る。一方、フォルダ変更実行条件が満たされていない場合（ステップＳ４０のＮ）又は低信頼度リストにＩＤ情報が書き込まれていない場合（ステップＳ１９のＮ）は、フォルダ変更処理を行うことなく（ステップＳ４２）、ステップＳ１１に戻る。
【０１１８】
上述の第１修正例に係る入力画像２０１〜２０３を、図１０の動作に当てはめた時の動作を説明する。
【０１１９】
まず、Ａ高認識条件が満たされるべき入力画像２０１が取得されて、入力画像２０１が今回の入力画像となった時、入力画像２０１に対する顔認識処理の信頼度は高いものの、未だ低信頼度リストにはＩＤ情報が存在しないため、修正処理が行われることなく（ステップＳ４２）、ステップＳ１１に戻る。入力画像２０１の画像ファイルはステップＳ３５において第１フォルダに格納される。
【０１２０】
その後、Ｂ優勢条件が満たされるべき入力画像２０２が取得されて入力画像２０２が今回の入力画像となると、ステップＳ３５にて入力画像２０２の画像ファイルが第２フォルダに格納された後、ステップＳ１６を介してステップＳ１７に至る。入力画像２０２が今回の入力画像である時、前回取得の入力画像は入力画像２０１である。従って、ステップＳ１７では、前回取得の入力画像２０１に対する顔認識処理の信頼度が上記基準信頼度よりも高いと判断される。結果、今回の入力画像２０１のＩＤ情報が低信頼度リストに追加されてから（ステップＳ１８）、ステップＳ１１に戻る。
【０１２１】
更にその後、Ａ高認識条件が満たされるべき入力画像２０３が取得されて入力画像２０３が今回の入力画像となると、ステップＳ３５にて入力画像２０３の画像ファイルが第１フォルダに格納された後、ステップＳ１６を介してステップＳ１９に至る。この時、低信頼度リストに入力画像２０２のＩＤ情報が書き込まれているため、第１実施形態で述べたステップＳ２０及びＳ２１の処理を経て、フォルダ変更実行条件の充足／不充足判断を行う（ステップＳ４０）。時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTH以下であれば該フォルダ変更実行条件は満たされ、ステップＳ４１において、入力画像２０２の画像ファイルが格納されるフォルダが第２フォルダから第１フォルダへと変更される。
【０１２２】
上記のようなフォルダ変更処理を実行することにより、入力画像に含まれる人物に応じた画像分類をより高い精度で成すことが可能となる。
【０１２３】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。記録媒体１７の記録データに基づく上述の各処理を、撮像装置と異なる電子機器（例えば、画像再生装置；不図示）にて実現することも可能である（撮像装置も電子機器の一種である）。
【０１２４】
例えば、撮像装置１又は１ａにおいて、複数の入力画像を取得し、各入力画像の画像データ並びに各入力画像の認識結果情報及びタイムスタンプ情報を格納した画像ファイルを記録媒体１７に記録しておく。ここで、記録される認識結果情報は、顔認識修正部１５による修正前の認識結果情報である。
【０１２５】
そして、上記電子機器に顔認識修正部１５及びフォルダ指定部２１を設けておき、記録媒体１７の記録データを電子機器内の顔認識修正部１５（及びフォルダ指定部２１）に与えることで、必要に応じて、撮像装置１又は１ａにて生成された認識結果情報を修正することができる或いは各画像ファイルが格納されるべきフォルダを変更することができる。
【０１２６】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【０１２７】
図１の撮像装置１又は図９の撮像装置１ａを、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。特に、図１又は図９に示される、顔検出部１３、顔認識部１４、顔認識修正部１５及びフォルダ指定部２１の機能は、ハードウェアのみ、ソフトウェアのみ、または、ハードウェアとソフトウェアの組み合わせによって実現可能である。それらの機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１２８】
また例えば、以下のように考えることができる。顔検出部１３、顔認識部１４及び顔認識修正部１５を含む部位、又は、顔検出部１３、顔認識部１４、顔認識修正部１５及びフォルダ指定部２１を含む部位は、画像処理装置として機能する。
【符号の説明】
【０１２９】
１、１ａ 撮像装置
１１ 撮像部
１２ 画像メモリ
１３ 顔検出部
１４ 顔認識部
１５ 顔認識修正部
１６ タイムスタンプ生成部
１７ 記録媒体
２１ フォルダ指定部
【技術分野】
【０００１】
本発明は、画像処理装置、及び、画像処理装置を有するデジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
画像上における人物の顔を検出して顔画像を抽出する顔検出処理や、抽出顔画像が何れの人物の顔画像であるかを識別する顔認識処理が実用化されている。顔認識処理を、抽出顔画像の画像データと、照合用の顔画像データベースと、に基づいて行うことができる。顔画像データベースには、互いに異なる複数の登録人物についての顔画像（以下、登録顔画像という）の画像データが格納されている。
【０００３】
一般的には、抽出顔画像及び登録顔画像の画像データに基づく抽出顔画像及び登録顔画像間の類似度の計算を登録顔画像ごとに行い、求めた複数の類似度から抽出顔画像に対応する人物が何れの登録人物であるかを識別する。比較的高い類似度に対応する登録顔画像の人物が抽出顔画像の人物であると判断することができ、その類似度が高ければ高いほど、その判断の信頼度は向上する。
【０００４】
顔認識処理によって常に正確に人物の特定ができる訳ではなく、人物の特定ができたとしても、様々な要因（例えば、顔向きの変化、照明条件の変化）によって、類似度に基づく信頼度が低くなる場合もある。また、１つの抽出顔画像が複数の登録顔画像と類似しており、１つの抽出顔画像についての人物が複数の登録人物の何れかであるといった判断しかできないこともある。このような場合に、認識結果をより正しいものへと修正できれば、より精度の高い認識結果をユーザに提供することができる。
【０００５】
また、画像上における人物が誰であるかに応じて画像ファイルの格納フォルダを分類する技術も存在する。例えば、第１の画像上における人物が第１の登録人物であって且つ第２の画像上における人物が第２の登録人物であると判断したならば、第１の画像の画像ファイルを自動的に第１の登録人物用のフォルダに格納し、第２の画像の画像ファイルを自動的に第２の登録人物用のフォルダに格納する。顔認識処理を、このような画像分類に適用する場合においても、認識結果をより正しいものへと修正できれば、分類の精度が向上して有益である。
【０００６】
尚、下記特許文献１に係る画像処理装置では、同一人物についての複数の参照画像の中から、入力画像の撮影日付けに近い撮影日付けを有する参照画像を選択し、選択参照画像を基準として入力画像内の顔画像の人物を特定している。この技術は、登録人物自身の経時的な変化に対応するために技術であり、上述のような問題に対応できる技術ではない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２１３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで本発明は、顔認識処理の認識結果の修正機能を備えた画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、互いに異なる時刻に取得された複数の入力画像の画像データに基づく顔認識処理によって、各入力画像に含まれる人物を認識する顔認識部と、各入力画像の取得時刻を表すタイムスタンプ情報と各入力画像に対する前記顔認識処理の認識結果に基づいて、前記認識結果を修正する顔認識修正部と、を備えたことを特徴とする。
【００１０】
例えば、複数の入力画像の取得時間が十分に近い場合、その複数の入力画像の被写体は同一である可能性が高い。このような事実を利用すべく、上記のようにタイムスタンプ情報を用いて顔認識処理の認識結果を修正する。これにより、より精度の高い認識結果をユーザに提供することが可能となる。
【００１１】
具体的には例えば、前記顔認識修正部は、前記複数の入力画像に含まれる注目入力画像に対する前記認識結果によって前記注目入力画像に含まれる人物が第１〜第ｍの登録人物の何れかであることが示されていて該人物を１人の登録人物に絞り込めていない場合（ｍは２以上の整数）、前記タイムスタンプ情報を用いて前記注目入力画像の直前又は直後に取得された入力画像を含むｎ枚の入力画像をｎ枚の参照入力画像として選択し（ｎは１以上の整数）、前記ｎ枚の参照入力画像に対する前記認識結果と前記注目入力画像に対する前記認識結果とに基づいて前記注目入力画像に対する前記認識結果を修正する。
【００１２】
更に具体的には例えば、前記ｎ枚の参照入力画像は、前記注目入力画像の直前及び直後に取得された入力画像である第１及び第２の参照入力画像を含み、前記顔認識修正部は、前記注目入力画像に対する前記認識結果によって前記注目入力画像に含まれる前記人物が第１〜第ｍの登録人物の何れかであることが示されていて該人物を１人の登録人物に絞り込めていない場合、前記第１及び第２の参照入力画像に対する前記認識結果を参照し、前記第１及び第２の参照入力画像に対する前記認識結果によって前記第１及び第２の参照入力画像の夫々に第１の登録人物が含まれていることが示されているとき、前記注目入力画像に対する前記認識結果を修正する。
【００１３】
或いは具体的には例えば、各入力画像に対する前記認識結果は、各入力画像に含まれる人物が複数の登録人物の内の何れであるかを表す人物特定情報と、該人物特定情報の信頼度を表す信頼度情報と、を含み、前記顔認識修正部は、前記複数の入力画像に含まれる注目入力画像に対する前記信頼度が所定の基準信頼度よりも低い場合、前記タイムスタンプ情報を用いて前記注目入力画像の直前又は直後に取得された入力画像を含むｎ枚の入力画像をｎ枚の参照入力画像として選択し（ｎは１以上の整数）、前記ｎ枚の参照入力画像に対する前記認識結果と前記注目入力画像に対する前記認識結果とに基づいて前記注目入力画像に対する前記認識結果を修正する。
【００１４】
そして例えば、前記ｎ枚の参照入力画像は、前記注目入力画像の直前及び直後に取得された入力画像である第１及び第２の参照入力画像を含み、前記顔認識修正部は、前記注目入力画像の人物特定情報よって前記注目入力画像に第１の登録人物が含まれていることが示されているものの、その人物特定情報の信頼度が前記基準信頼度よりも低い場合、前記第１及び第２の参照入力画像の人物特定情報を参照し、前記第１及び第２の参照入力画像の人物特定情報によって前記第１及び第２の参照入力画像の夫々に第１の登録人物が含まれていることが示されていて且つそれらの信頼度が前記基準信頼度よりも高いとき、前記注目入力画像に対する前記認識結果を修正する。
【００１５】
また例えば、当該画像処理装置は、記録媒体に設けられた複数のフォルダの何れに各入力画像の画像データが格納されるべきかを指定するフォルダ指定部を更に備え、前記フォルダ指定部は、前記顔認識修正部の修正を経た、各入力画像に対する前記認識結果に基づいて、前記指定を行う。
【００１６】
本発明に係る撮像装置は、撮影によって画像データを取得する撮像部と、前記画像処理装置と、を備えた撮像装置であって、異なる時刻での複数回撮影によって前記撮影部から得られた複数の画像の画像データを前記複数の入力画像の画像データとして前記画像処理装置に与えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、顔認識処理の認識結果の修正機能を備えた画像処理装置及び撮像装置を提供することが可能となる。
【００１８】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施形態に係る撮像装置の構成を表すブロック図である。
【図２】認識結果情報が含む情報を示す図である。
【図３】画像ファイルの構造を示す図である。
【図４】複数の入力画像についての類似度等を示した図である。
【図５】複数の入力画像についての類似度等を示した図である。
【図６】３枚の入力画像の撮影時刻関係を示す図である。
【図７】本発明の第１実施形態に係る撮像装置の動作の流れを表すフローチャートである。
【図８】５枚の入力画像の撮影時刻関係を示す図である。
【図９】本発明の第２実施形態に係る撮像装置の構成を表すブロック図である。
【図１０】本発明の第２実施形態に係る撮像装置の動作の流れを表すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２１】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の構成を表すブロック図である。撮像装置１は、符号１１〜２０によって参照される各部位を備える。撮像装置１は、静止画像及び動画像を撮影可能なデジタルビデオカメラである（後述の撮像装置１ａも同様）。但し、撮像装置１は、静止画像のみを撮影可能なデジタルスチルカメラであっても良い（後述の撮像装置１ａも同様）。
【００２２】
撮像部１１は、撮像素子を用いて被写体の撮影を行うことで被写体の画像の画像データを取得する。具体的には、撮像部１１は、図示されない光学系、絞り、及び、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子を有する。この撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られたアナログの電気信号を出力する。図示されないＡＦＥ（Analog Front End）は、撮像素子から出力されたアナログ信号を増幅してデジタル信号に変換する。得られたデジタル信号は、被写体の画像の画像データとして、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成される画像メモリ１２に記録される。
【００２３】
画像メモリ１２に記録された１フレーム周期分の画像データによって表される１枚分の画像を、以下、フレーム画像と呼ぶ。尚、本明細書では、画像データを単に画像ということがある。
【００２４】
フレーム画像の画像データは、入力画像の画像データとして顔検出部１３及び顔認識部１４等に送られる。この際、フレーム画像の画像データに対して必要な画像処理（ノイズ低減処理、エッジ強調処理など）を施し、その画像処理後の画像データを入力画像の画像データとして顔検出部１３等に送るようにしてもよい。
【００２５】
顔検出部１３は、入力画像の画像データに基づいて、入力画像に含まれる人物の顔の画像を検出して抽出する。換言すれば、入力画像の画像データに基づいて、入力画像の画像領域から人物の顔部分を含む領域である顔領域を検出して抽出する。以下、顔の画像を顔画像とも表記すると共に、顔検出処理によって抽出された顔画像を単に抽出顔画像とも表記する。顔検出部１３による、顔画像（顔領域）を検出して抽出する処理を以下「顔検出処理」と呼ぶ。顔検出処理の方法として様々な手法が知られており、顔検出部１３は、公知の方法を含む任意の方法によって顔検出処理を実行可能である。尚、以下の説明において、顔画像の検出及び抽出を顔の検出及び抽出と表現することもある。
【００２６】
顔認識部１４は、顔検出処理によって入力画像から抽出された顔を有する人物が、予め登録された１又は複数の人物の内の、何れの人物であるかを認識する顔認識処理を行う。顔認識処理の方法として様々な手法が知られており、顔認識部１４は、公知の方法を含む任意の方法によって顔認識処理を実行可能である。
【００２７】
例えば、顔認識処理を、顔検出処理によって抽出された顔画像の画像データと、照合用の顔画像データベースと、に基づいて行うことができる。顔画像データベースには、互いに異なる複数の人物についての顔画像の画像データが格納されている。顔画像データベースを、顔認識部１４内に予め設けておくことができる。顔画像データベースに格納されている顔画像を登録顔画像と呼び、登録顔画像に対応する人物を登録人物という。
【００２８】
抽出顔画像及び登録顔画像の画像データに基づく抽出顔画像及び登録顔画像間の類似度評価によって、顔認識処理を実現することができる。具体的には例えば、抽出顔画像及び登録顔画像の画像データに基づいて抽出顔画像の顔に特有な特徴ベクトルを計算すると共に登録顔画像の顔に特有な特徴ベクトルを計算し、それらの特徴ベクトルの類似度を抽出顔画像及び登録顔画像間の類似度として計算する。この類似度の計算を顔画像データベースに格納された登録顔画像ごとに行うことで、抽出顔画像と複数の登録顔画像の夫々との間における類似度を求め、求めた複数の類似度から抽出顔画像に対応する人物が何れの登録人物であるかを識別することができる。
【００２９】
顔認識部１４による顔認識処理の結果を表す情報を、認識結果情報と呼ぶ。認識結果情報を、入力画像ごとに作成することができる。図２に示す如く、認識結果情報には、抽出顔画像に対応する人物が顔画像データベースに登録された複数の登録人物の内の何れの人物であるかを表す人物特定情報と、その人物特定情報の信頼度を表す信頼度情報と、を含む。
【００３０】
顔認識修正部１５は、顔認識部１４によって一旦作成された認識結果情報を、必要に応じて修正する。認識結果情報の詳細及び認識結果情報の修正方法の詳細については、後述する。タイムスタンプ生成部１６は、撮像装置１に内蔵されたタイマ等を用いて、入力画像の撮影時刻を表すタイムスタンプ情報を作成する。記録媒体１７は、磁気ディスクや半導体メモリ等から成る不揮発性メモリである。入力画像の画像データを、画像ファイルに格納した上で記録媒体１７に記録することができる。
【００３１】
図３に、１つの画像ファイルの構造を示す。１つの静止画像又は動画像に対して１つの画像ファイルが作成される。画像ファイルの構造を任意の規格に準拠させることができる。画像ファイルは、静止画像又は動画像の画像データが格納されるべき本体領域と、付加データが格納されるべきヘッダ領域からなる。本例では、入力画像の画像データそのもの又は該画像データの圧縮データが本体領域に格納され、入力画像に対する認識結果情報及び入力画像の撮影時刻を表すタイムスタンプ情報がヘッダ領域に格納される。
【００３２】
表示部１８は、液晶ディスプレイ等から成り、撮像部１１の撮影によって得られた入力画像や、記録媒体１７に記録されている画像などを表示する。操作部１９は、ユーザが撮像装置１に対して各種操作を行うための部位である。操作部１９には、例えば、静止画像の撮影指示を行うためのシャッタボタン、動画像の撮影開始及び終了を指示するための録画ボタンが含まれる。主制御部２０は、操作部１９に対して成された操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。
【００３３】
認識結果情報に含まれる人物特定情報により、通常、１つの抽出顔画像に対して１人の登録人物が割り当てられる。つまり、通常、１つの抽出顔画像に対応する１人の人物は、複数の登録人物の内の何れか１人であることが人物特定情報によって示される。しかしながら、様々な要因によって、１つの抽出顔画像に対して複数の登録顔画像が或る程度類似していると判断されることがあり、このような場合、人物特定情報は、１つの抽出顔画像に対して複数の登録人物を対応させることもある。
【００３４】
図４及び図５を参照して、認識結果情報の内容例を説明する。今、顔画像データベースに登録された複数の登録人物の中に、互いに異なる人物ＨA及びＨBが含まれているものとする。また、説明の簡略化上、以下の説明では、特記なき限り、人物ＨA及びＨB以外の登録人物の存在は考慮しないものとし、また、１枚の入力画像から顔画像が１つだけ抽出されることを想定する。そして、撮像部１１の撮影によって入力画像ＩＭ［１］〜ＩＭ［６］が取得され、入力画像ＩＭ［１］〜ＩＭ［６］に、夫々、人物ＥＨ［１］〜ＥＨ［６］の顔画像が含まれていた場合を想定する。尚、本明細書では、類似度又は信頼度の度合いを表す文言として、「高い」及び「低い」を用いることもあるし「大きい」及び「小さい」を用いることもあるが、「高い」と「大きい」は同義であると共に「低い」と「小さい」は同義である。
【００３５】
顔認識部１４は、顔検出処理によって入力画像ＩＭ［１］から抽出された顔画像に対して顔認識処理を施すことにより、入力画像ＩＭ［１］からの抽出顔画像と登録人物ＨAの顔画像との類似度ＳA［１］を算出すると共に入力画像ＩＭ［１］からの抽出顔画像と登録人物ＨBの顔画像との類似度ＳB［１］を算出する。入力画像ＩＭ［２］〜ＩＭ［６］についても、同様の類似度算出がなされる。この算出によって得られた、入力画像ＩＭ［２］〜ＩＭ［６］からの抽出顔画像と登録人物ＨAの顔画像との類似度をそれぞれ記号ＳA［２］〜ＳA［６］によって表し、入力画像ＩＭ［２］〜ＩＭ［６］からの抽出顔画像と登録人物ＨBの顔画像との類似度をそれぞれ記号ＳB［２］〜ＳB［６］によって表す。ＳA［１］等の類似度は、正の値を持ち、対比される顔画像間の類似度が高いほど、大きな値を持つ。
【００３６】
類似度ＳA［１］は類似度ＳB［１］に対して十分に大きく、且つ、類似度ＳB［４］は類似度ＳA［４］に対して十分に大きいものとする。加えて、類似度ＳA［１］及びＳB［４］そのものが十分に大きいものとする。また、類似度ＳA［２］及びＳA［３］はそれぞれ類似度ＳB［２］及びＳB［３］よりも或る程度大きく、且つ、類似度ＳB［５］及びＳB［６］はそれぞれ類似度ＳA［５］及びＳA［６］よりも或る程度大きいものとする。加えて、類似度ＳB［２］及びＳA［５］は或る程度の大きさを有する一方で、類似度ＳB［３］及びＳA［６］はゼロとみなせる程度に小さいとする。
【００３７】
より具体的には例えば、以下の不等式（１Ａ）〜（６Ｂ）が成立している場合を想定する。
ＳA［１］−ＳB［１］≧ＴＨ1 ・・・（１Ａ）
ＳA［１］≧ＴＨ3 ・・・（１Ｂ）
ＴＨ1＞ＳA［２］−ＳB［２］≧ＴＨ2 ・・・（２Ａ）
ＳB［２］≧ＴＨ4 ・・・（２Ｂ）
ＴＨ1＞ＳA［３］−ＳB［３］≧ＴＨ2 ・・・（３Ａ）
ＳB［３］＜ＴＨ4 ・・・（３Ｂ）
【００３８】
ＳB［４］−ＳA［４］≧ＴＨ1 ・・・（４Ａ）
ＳB［４］≧ＴＨ3 ・・・（４Ｂ）
ＴＨ1＞ＳB［５］−ＳA［５］≧ＴＨ2 ・・・（５Ａ）
ＳA［５］≧ＴＨ4 ・・・（５Ｂ）
ＴＨ1＞ＳB［６］−ＳA［６］≧ＴＨ2 ・・・（６Ａ）
ＳA［６］＜ＴＨ4 ・・・（６Ｂ）
【００３９】
ＴＨ1〜ＴＨ4は、不等式「ＴＨ1＞ＴＨ2＞０」及び「ＴＨ3＞ＴＨ4＞０」を満たすように予め設定された閾値である。
【００４０】
顔認識部１４は、類似度ＳA［ｉ］及びＳB［ｉ］に基づいて、入力画像ＩＭ［ｉ］に含まれる人物ＥＨ［ｉ］が、登録人物ＨAであるか或いは登録人物ＨBであるか或いは登録人物ＨA及びＨB以外であるかを識別する。ここで、ｉは、１、２、３、４、５又は６である。
【００４１】
便宜上、
第１不等式群「ＳA［ｉ］−ＳB［ｉ］≧ＴＨ1」及び「ＳA［ｉ］≧ＴＨ3」が成立するという条件を、Ａ高認識条件と呼び、
第２不等式群「ＴＨ1＞ＳA［ｉ］−ＳB［ｉ］≧ＴＨ2」及び「ＳB［ｉ］≧ＴＨ4」が成立するという条件を、Ａ優勢条件と呼び、
第３不等式群「ＴＨ1＞ＳA［ｉ］−ＳB［ｉ］≧ＴＨ2」及び「ＳB［ｉ］＜ＴＨ4」が成立するという条件を、Ａ低認識条件と呼び、
第４不等式群「ＳB［ｉ］−ＳA［ｉ］≧ＴＨ1」及び「ＳB［ｉ］≧ＴＨ3」が成立するという条件を、Ｂ高認識条件と呼び、
第５不等式群「ＴＨ1＞ＳB［ｉ］−ＳA［ｉ］≧ＴＨ2」及び「ＳA［ｉ］≧ＴＨ4」が成立するという条件を、Ｂ優勢条件と呼び、
第６不等式群「ＴＨ1＞ＳB［ｉ］−ＳA［ｉ］≧ＴＨ2」及び「ＳA［ｉ］＜ＴＨ4」が成立するという条件を、Ｂ低認識条件と呼ぶ。
また、Ａ高認識条件、Ａ優勢条件、Ａ低認識条件、Ｂ高認識条件、Ｂ優勢条件及びＢ低認識条件の何れもが成立せず、且つ、第７不等式群「ＳA［ｉ］＜ＴＨ4」及び「ＳB［ｉ］＜ＴＨ4」が成立するという条件を、ＡＢ不認識条件と呼ぶ。
【００４２】
顔認識部１４は、
人物ＥＨ［ｉ］に対してＡ高認識条件又はＡ低認識条件が成立する場合、人物ＥＨ［ｉ］は登録人物ＨAであると判断して人物ＥＨ［ｉ］が登録人物ＨAであることを示す人物特定情報を作成すると共に類似度ＳA［ｉ］に応じた信頼度ＲＬA［ｉ］を信頼度情報として作成し、
人物ＥＨ［ｉ］に対してＢ高認識条件又はＢ低認識条件が成立する場合、人物ＥＨ［ｉ］は登録人物ＨBであると判断して人物ＥＨ［ｉ］が登録人物ＨBであることを示す人物特定情報を作成すると共に類似度ＳB［ｉ］に応じた信頼度ＲＬB［ｉ］を信頼度情報として作成する。
このように、Ａ高認識条件、Ａ低認識条件、Ｂ高認識条件又はＢ低認識条件が成立する場合、人物特定情報において、１つの抽出顔画像に対応する１人の人物は１人の登録人物に絞り込まれる。
【００４３】
一方、顔認識部１４は、
人物ＥＨ［ｉ］に対してＡ優勢条件又はＢ優勢条件が成立する場合、人物ＥＨ［ｉ］は登録人物ＨA又はＨBであると判断して人物ＥＨ［ｉ］が登録人物ＨA及びＨBのどちらでもありうることを示す人物特定情報を作成すると共に、類似度ＳA［ｉ］に応じた信頼度ＲＬA［ｉ］及び類似度ＳB［ｉ］に応じた信頼度ＲＬB［ｉ］を信頼度情報として作成する。
このように、Ａ優勢条件又はＢ優勢条件が成立する場合、人物特定情報において、１つの抽出顔画像に対応する１人の人物は１人の登録人物に絞り込まれず、複数の登録人物が人物特定情報に書き込まれる。
【００４４】
尚、人物ＥＨ［ｉ］に対してＡＢ不認識条件が成立する場合は、人物ＥＨ［ｉ］の認識ができないため、人物特定情報の作成はなされない或いは人物ＥＨ［ｉ］の認識ができない旨を人物特定情報に書き込む。
【００４５】
上記不等式（１Ａ）〜（６Ｂ）より分かるように、
入力画像ＩＭ［１］及びその人物ＥＨ［１］に対してはＡ高認識条件が成立し、
入力画像ＩＭ［２］及びその人物ＥＨ［２］に対してはＡ優勢条件が成立し、
入力画像ＩＭ［３］及びその人物ＥＨ［３］に対してはＡ低認識条件が成立し、
入力画像ＩＭ［４］及びその人物ＥＨ［４］に対してはＢ高認識条件が成立し、
入力画像ＩＭ［５］及びその人物ＥＨ［５］に対してはＢ優勢条件が成立し、
入力画像ＩＭ［６］及びその人物ＥＨ［６］に対してはＢ低認識条件が成立する。
【００４６】
このため、顔認識部１４は、
入力画像ＩＭ［１］の認識結果情報に対し、人物ＥＨ［１］が登録人物ＨAであるという認識内容を信頼度ＲＬA［１］と共に書き込み、
入力画像ＩＭ［２］の認識結果情報に対し、人物ＥＨ［２］が登録人物ＨA又はＨBであるという認識内容を信頼度ＲＬA［２］及びＲＬB［２］と共に書き込み、
入力画像ＩＭ［３］の認識結果情報に対し、人物ＥＨ［３］が登録人物ＨAであるという認識内容を信頼度ＲＬA［３］と共に書き込み、
入力画像ＩＭ［４］の認識結果情報に対し、人物ＥＨ［４］が登録人物ＨBであるという認識内容を信頼度ＲＬB［４］と共に書き込み、
入力画像ＩＭ［５］の認識結果情報に対し、人物ＥＨ［５］が登録人物ＨA又はＨBであるという認識内容を信頼度ＲＬA［５］及びＲＬB［５］と共に書き込み、
入力画像ＩＭ［６］の認識結果情報に対し、人物ＥＨ［６］が登録人物ＨBであるという認識内容を信頼度ＲＬB［６］と共に書き込む。
【００４７】
信頼度ＲＬA［ｉ］は、人物ＥＨ［ｉ］が登録人物ＨAであることの確からしさを表す指標であり、類似度ＳA［ｉ］が大きいほど、大きな値が与えられる。信頼度ＲＬB［ｉ］は、人物ＥＨ［ｉ］が登録人物ＨBであることの確からしさを表す指標であり、類似度ＳB［ｉ］が大きいほど、大きな値が与えられる。
【００４８】
人物ＥＨ［ｉ］に対してＡ高認識条件が成立する場合における信頼度ＲＬA［ｉ］は、他の何れの条件が成立する場合における信頼度ＲＬA［ｉ］よりも大きく、
人物ＥＨ［ｉ］に対してＢ高認識条件が成立する場合における信頼度ＲＬB［ｉ］は、他の何れの条件が成立する場合における信頼度ＲＬB［ｉ］よりも大きい。
また、人物ＥＨ［ｉ］に対してＡ優勢条件が成立する場合、信頼度ＲＬA［ｉ］は信頼度ＲＬB［ｉ］よりも大きく、人物ＥＨ［ｉ］に対してＢ優勢条件が成立する場合、信頼度ＲＬA［ｉ］は信頼度ＲＬB［ｉ］よりも小さい。
更に、人物ＥＨ［ｉ］に対してＡ優勢条件が成立する場合における信頼度ＲＬA［ｉ］は、人物ＥＨ［ｉ］に対してＢ優勢条件が成立する場合における信頼度ＲＬA［ｉ］よりも大きく、人物ＥＨ［ｉ］に対してＢ優勢条件が成立する場合における信頼度ＲＬB［ｉ］は、人物ＥＨ［ｉ］に対してＡ優勢条件が成立する場合における信頼度ＲＬB［ｉ］よりも大きい。
【００４９】
上記のような想定に当てはまる具体的な数値例として、以下では、ＲＬA［１］＝９０、ＲＬA［２］＝６０、ＲＬB［２］＝４０、ＲＬA［３］＝６０、ＲＬB［４］＝９０、ＲＬA［５］＝４０、ＲＬB［５］＝６０、ＲＬB［３］＝６０、であるとする。尚、ＲＬB［１］＝０、ＲＬB［３］＝０、ＲＬA［４］＝０及びＲＬA［６］＝０を、夫々、入力画像Ｉ［１］、Ｉ［３］、Ｉ［４］及びＩ［６］に対する信頼度情報に追記することも可能である。
【００５０】
Ａ高認識条件又はＢ高認識条件が成立する時に信頼度として書き込まれる０以外の上記数値（今の例において９０）は、予め設定された基準信頼度（例えば、８０）よりも大きく、Ａ優勢条件、Ａ低認識条件、Ｂ優勢条件又はＢ低認識条件が成立する時に信頼度として書き込まれる０以外の上記数値（今の例において４０又は６０）は、その基準信頼度よりも小さいものとする。
【００５１】
故に、入力画像ＩＭ［１］及びＩＭ［４］に対する顔認識処理の信頼度ＲＬA［１］及びＲＬB［４］は基準信頼度よりも大きく、入力画像ＩＭ［２］、ＩＭ［３］、ＩＭ［５］及びＩＭ［６］に対する顔認識処理の信頼度ＲＬA［２］、ＲＬB［２］、ＲＬA［３］、ＲＬA［５］、ＲＬB［５］及びＲＬB［６］は基準信頼度よりも小さい。
【００５２】
顔認識修正部１５は、Ａ優勢条件、Ａ低認識条件、Ｂ優勢条件又はＢ低認識条件に対応する入力画像の認識結果情報を、修正する機能を備える。この修正によって、顔認識部１４によって一旦作成された信頼度ＲＬA［２］、ＲＬB［２］、ＲＬA［３］、ＲＬA［５］、ＲＬB［５］及びＲＬB［６］は変更されうる。
【００５３】
顔認識修正部１５による修正後の信頼度ＲＬA［２］、ＲＬB［２］、ＲＬA［３］、ＲＬA［５］、ＲＬB［５］及びＲＬB［６］を、夫々、信頼度ＲＬA［２］’、ＲＬB［２］’、ＲＬA［３］’、ＲＬA［５］’、ＲＬB［５］’及びＲＬB［６］’にて表す。本明細書において、ダッシュ（’）を伴わない記号ＲＬA［２］、ＲＬB［２］、ＲＬA［３］、ＲＬA［５］、ＲＬB［５］及びＲＬB［６］は、修正前の信頼度を表している。
【００５４】
尚、注目入力画像の認識結果情報に含まれる人物特定情報に複数の登録人物が書き込まれている場合において、画像検索等のために、注目入力画像中の人物を一人の登録人物に絞り込む必要がある時には、その書き込まれた登録人物の内、最も信頼度が高い登録人物を選択した上で画像検索等を行うことができる。また、最も信頼度が高い登録人物を指し示す情報を、注目入力画像の画像ファイルのヘッダ領域に追記することもできる。
【００５５】
顔認識部１４が、信頼度情報を含む認識結果情報を記録媒体１７上の画像ファイルに書き込んだ後に、顔認識修正部１５が、必要に応じて、画像ファイルに書き込まれた認識結果情報を修正する。但し、認識結果情報の記録媒体１７への書き込みを、顔認識修正部１５による必要に応じた修正を経てから実行するようにしてもよい。
【００５６】
修正方法として複数の修正方法が考えられる。以下に、修正方法の具体的な内容を説明するための例として、第１〜第６修正例を説明する。尚、矛盾が生じない限り、第１〜第６修正例の内の、複数の修正例を組み合わせて実施することも可能である。
【００５７】
［第１修正例］
第１修正例を説明する。今、図６に示す如く、入力画像２０１、２０２及び２０３が、この順番で時間的に隣接して撮影されたものとする。即ち、入力画像２０２の撮影直前に入力画像２０１の撮影が行われ、入力画像２０２の撮影直後に入力画像２０３の撮影が行われたとする。入力画像２０１、２０２及び２０３の撮影時刻を、夫々、ＴＳ1、ＴＳ2及びＴＳ3によって表し、撮影時刻ＴＳ1及びＴＳ2間の時間差並びに撮影時刻ＴＳ2及びＴＳ3間の時間差を夫々ＴＤ12及びＴＤ23によって表す。
【００５８】
また、顔認識処理によって算出された入力画像２０２に対する信頼度が上記基準信頼度よりも低い、又は、顔認識処理によって入力画像２０２に含まれている人物を一人の登録人物に絞り込むことができていない、ことを想定する。この場合、顔認識修正部１５は、入力画像２０２を認識結果情報の修正対象としての注目入力画像と捉える一方で入力画像２０１及び２０３を参照入力画像と捉え、入力画像２０１〜２０３のタイムスタンプ情報及び認識結果情報に基づいて、入力画像２０２の認識結果情報に対する修正処理を行う。
【００５９】
このような想定を満たす典型例として、第１修正例では、入力画像２０１及び２０３が共にＡ高認識条件を満たす入力画像ＩＭ［１］と同じ画像であって、且つ、入力画像２０２がＢ優勢条件を満たす入力画像ＩＭ［５］と同じ画像である場合を考える。
【００６０】
顔認識修正部１５は、時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTH以下である場合に、入力画像２０２内の人物ＥＨ［５］に対して求められた信頼度ＲＬA［５］及びＲＬB［５］を修正する。この際、ＲＬA［５］’＞ＲＬA［５］、ＲＬB［５］’＜ＲＬB［５］且つＲＬA［５］’＞ＲＬB［５］’となるように、信頼度ＲＬA［５］を増加させ且つ信頼度ＲＬB［５］を減少させる修正を行う。このような修正を、便宜上、「修正α1」と呼ぶ。
【００６１】
修正α1では、例えば、４０であった信頼度ＲＬA［５］を６０に修正すると共に６０であった信頼度ＲＬB［５］を４０に修正する。これにより、“入力画像２０２内の人物ＥＨ［５］が登録人物ＨBであることが登録人物ＨAであることよりも確からしい”という情報（即ち、修正前の認識結果情報）は、“入力画像２０２内の人物ＥＨ［５］が登録人物ＨAであることが登録人物ＨBであることよりも確からしい”という情報（即ち、修正後の認識結果情報）へと修正される。
【００６２】
一方、時間差ＴＤ12及びＴＤ23の何れか一方又は双方が基準時間差ＴＤTHよりも大きい場合は、顔認識修正部１５による認識結果情報の修正は行われない。基準時間差ＴＤTHは、２枚の入力画像の撮影時刻が十分に近いか否かを区別するための、予め設定された時間的な閾値である。
【００６３】
［第２修正例］
第２修正例を説明する。第２修正例の説明において特に述べない事項に関しては、第１修正例の記載が第２修正例にも適用される。第１修正例では、入力画像２０２がＢ優勢条件を満たす入力画像ＩＭ［５］と同じ画像である場合を考えたが、入力画像２０２がＡ優勢条件を満たす入力画像ＩＭ［２］と同じ画像である場合も、同様の修正を行うことができる。
【００６４】
つまり、入力画像２０１及び２０３が共に入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［２］と同じ画像である場合、時間差ＴＤ12及びＴＤ23と基準時間差ＴＤTHとを比較し、時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTH以下であるならば修正β1を行う一方、時間差ＴＤ12及びＴＤ23の何れか一方又は双方が基準時間差ＴＤTHよりも大きいならば認識結果情報の修正を行わない。
【００６５】
修正β1では、入力画像２０２内の人物ＥＨ［２］に対して求められた信頼度ＲＬA［２］及びＲＬB［２］を修正する。この際、ＲＬA［２］’＞ＲＬA［２］且つＲＬB［２］’＜ＲＬB［２］となるように、信頼度ＲＬA［２］を増加させ且つ信頼度ＲＬB［２］を減少させる修正を行う。例えば、６０であった信頼度ＲＬA［２］を７０に修正すると共に４０であった信頼度ＲＬB［２］を３０に修正する。これにより、入力画像２０２内の人物ＥＨ［２］が登録人物ＨAであることの確からしさが増大修正される。
【００６６】
［第３修正例］
第３修正例を説明する。第３修正例の説明において特に述べない事項に関しては、第１修正例の記載が第３修正例にも適用される。第１修正例では、入力画像２０２がＢ優勢条件を満たす入力画像ＩＭ［５］と同じ画像である場合を考えたが、入力画像２０２がＡ低認識条件を満たす入力画像ＩＭ［３］と同じ画像である場合も、同様の修正を行うことができる。
【００６７】
つまり、入力画像２０１及び２０３が共に入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［３］と同じ画像である場合、時間差ＴＤ12及びＴＤ23と基準時間差ＴＤTHとを比較し、時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTH以下であるならば修正γ1を行う一方、時間差ＴＤ12及びＴＤ23の何れか一方又は双方が基準時間差ＴＤTHよりも大きいならば認識結果情報の修正を行わない。
【００６８】
修正γ1では、入力画像２０２内の人物ＥＨ［３］に対して求められた信頼度ＲＬA［３］を修正する。この際、ＲＬA［３］’＞ＲＬA［３］となるように、信頼度ＲＬA［３］を増加させる修正を行う。例えば、６０であった信頼度ＲＬA［３］を７０に修正する。これにより、入力画像２０２内の人物ＥＨ［３］が登録人物ＨAであることの確からしさが増大修正される。
【００６９】
ここで、図７を参照して、第１〜第３修正例に対応する、撮像装置１の動作の流れを説明する。図７は、この動作の流れを表すフローチャートである。
【００７０】
まず、ステップＳ１１において、撮像部１１を用いた撮影により今回の入力画像を取得する。この入力画像の取得は、例えば、操作部１９に対する静止画像の撮影指示に従って実行される。続くステップＳ１２〜Ｓ１４では、ステップＳ１１にて取得された今回の入力画像に対する顔検出処理及び顔認識処理の実行並びにタイムスタンプ情報の生成が行われる。その後、ステップＳ１５において、画像ファイルが記録媒体１７内に生成されて、該画像ファイルの本体領域に今回の入力画像の画像データが書き込まれると共に、該画像ファイルのヘッダ領域に今回の入力画像に対する認識結果情報及びタイムスタンプ情報が書き込まれる。
【００７１】
その後、ステップＳ１６において、顔認識修正部１５は、今回の入力画像に対する顔認識処理の信頼度が高いか否かを判断する。つまり、今回の入力画像に対する顔認識処理の信頼度が上記基準信頼度よりも高いか否かを判断する。そして、今回の入力画像に対する顔認識処理の信頼度が基準信頼度よりも高い場合はステップＳ１６からステップＳ１９に移行する一方で、そうでない場合はステップＳ１６からステップ１７に移行する。
【００７２】
ステップＳ１７では、前回取得の入力画像に対する顔認識処理の信頼度が上記基準信頼度よりも高いか否かを判断する。そして、前者が後者（基準信頼度）よりも高い場合は、今回の入力画像のＩＤ情報を低信頼度リストに追加してからステップＳ１１に戻る一方で、そうでない場合は、該追加を行うことなくステップＳ１１に戻る。低信頼度リストは、例えば、顔認識修正部１５に設けられる。ＩＤ情報は、個々の入力画像を他の入力画像と区別するための識別情報である。
【００７３】
今回の入力画像に対する顔認識処理の信頼度が高い場合に実行されるステップＳ１９において、顔認識修正部１５は、低信頼度リストにＩＤ情報が書き込まれているかをチェックし、ＩＤ情報が書き込まれている場合は、ステップＳ２０において、該ＩＤ情報が指し示す入力画像の認識結果情報及びタイムスタンプ情報と該ＩＤ情報が指し示す入力画像の前後に取得された入力画像の認識結果情報及びタイムスタンプ情報とに基づいて、修正実行条件が満たされているか否かを判断する。修正実行条件とは、上述の修正α1、β1及びγ1を含む、認識結果情報の修正を実行するために満たすべき条件を指す。
【００７４】
修正実行条件が満たされている場合、ステップＳ２１において、顔認識修正部１５は、画像ファイルのヘッダ領域に既に書き込まれている認識結果情報を修正し、その後、ステップＳ１１に戻る。一方、修正実行条件が満たされていない場合（ステップＳ２０のＮ）又は低信頼度リストにＩＤ情報が書き込まれていない場合（ステップＳ１９のＮ）は、認識結果情報の修正を行うことなく（ステップＳ２２）、ステップＳ１１に戻る。
【００７５】
第１〜第３修正例に係る入力画像２０１〜２０３を、図７の動作に当てはめた時の動作を説明する。
【００７６】
まず、Ａ高認識条件が満たされるべき入力画像２０１が取得されて、入力画像２０１が今回の入力画像となった時、入力画像２０１に対する顔認識処理の信頼度は高いものの、未だ低信頼度リストにはＩＤ情報が存在しないため、修正処理が行われることなく（ステップＳ２２）、ステップＳ１１に戻る。
【００７７】
その後、Ｂ優勢条件等が満たされるべき入力画像２０２が取得されて入力画像２０２が今回の入力画像となると、ステップＳ１６を介してステップＳ１７に至る。入力画像２０２が今回の入力画像である時、前回取得の入力画像は入力画像２０１である。従って、ステップＳ１７では、前回取得の入力画像２０１に対する顔認識処理の信頼度が上記基準信頼度よりも高いと判断され、結果、今回の入力画像２０１のＩＤ情報が低信頼度リストに追加されてから（ステップＳ１８）ステップＳ１１に戻る。
【００７８】
更にその後、Ａ高認識条件が満たされるべき入力画像２０３が取得されて入力画像２０３が今回の入力画像となると、ステップＳ１６を介してステップＳ１９に至る。この時、低信頼度リストに入力画像２０２のＩＤ情報が書き込まれているため、顔認識修正部１５は、入力画像２０２の認識結果情報及びタイムスタンプ情報と入力画像２０２の前後に取得された入力画像２０１及び２０３の認識結果情報及びタイムスタンプ情報とに基づき、入力画像２０２に対する修正実行条件が満たされているか否かを判断する（ステップＳ２０）。
【００７９】
第１〜第３修正例においては、時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTH以下である時に、この修正実行条件は満たされて、入力画像２０２に対する認識結果情報が修正される。その修正は、第１〜第３修正例において、それぞれ上述の修正α1、β1及びγ1である。
【００８０】
注目入力画像がＢ優勢条件、Ａ優勢条件又はＡ低認識条件を満たす場合において、注目入力画像の前後に撮影された入力画像がＡ高認識条件を満たし、且つ、注目入力画像の前後に撮影された入力画像の撮影時刻が注目入力画像の撮影時刻に十分に近い場合、注目入力画像に含まれる人物は登録人物ＨAである可能性が高い。このため、顔認識修正部１５は、上記のような修正を行う。この修正により、より精度の高い顔認識結果をユーザに提供することができる。
【００８１】
［第４修正例］
第４修正例を説明する。第４修正例は、第１〜第３修正例を変形したものに相当する。従って、第４修正例の説明において特に述べない事項に関しては、第１、第２又は第３修正例の記載が第４修正例にも適用される。
【００８２】
第１〜第３修正例では、時間差ＴＤ12及びＴＤ23の何れか一方又は双方が基準時間差ＴＤTHよりも大きい時、入力画像２０２の認識結果情報の修正を行わないが、第４修正例では、時間差ＴＤ12及びＴＤ23の何れか一方のみが基準時間差ＴＤTHよりも大きい場合には、該修正を行うようにする。時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTHよりも大きいならば、第１〜第３修正例と同様、該修正を行わない。
【００８３】
即ち例えば、入力画像２０１及び２０３が共に入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［５］と同じ画像である場合において、時間差ＴＤ12及びＴＤ23の内の一方のみが基準時間差ＴＤTH以下である時、上述の修正α1に類似した修正α2を行う。修正α2では、入力画像２０２内の人物ＥＨ［５］に対して求められた信頼度ＲＬA［５］及びＲＬB［５］を修正する。この際、ＲＬA［５］’＞ＲＬA［５］及びＲＬB［５］’＜ＲＬB［５］となるように、信頼度ＲＬA［５］を増加させ且つ信頼度ＲＬB［５］を減少させる修正を行う。
【００８４】
ここで、修正α2における修正量を、修正α1におけるそれよりも小さくするとよい。例えば、修正α1において、４０であった信頼度ＲＬA［５］が６０に修正されると共に６０であった信頼度ＲＬB［５］が４０に修正されるのであれば、修正α2においては、４０であった信頼度ＲＬA［５］が５０に修正されると共に６０であった信頼度ＲＬB［５］が５０に修正される。
【００８５】
また例えば、入力画像２０１及び２０３が共に入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［２］と同じ画像である場合において、時間差ＴＤ12及びＴＤ23の内の一方のみが基準時間差ＴＤTH以下である時、上述の修正β1に類似した修正β2を行う。修正β2では、入力画像２０２内の人物ＥＨ［２］に対して求められた信頼度ＲＬA［２］及びＲＬB［２］を修正する。この際、ＲＬA［２］’＞ＲＬA［２］且つＲＬB［２］’＜ＲＬB［２］となるように、信頼度ＲＬA［２］を増加させ且つ信頼度ＲＬB［２］を減少させる修正を行う。
【００８６】
ここで、修正β2における修正量を、修正β1におけるそれよりも小さくするとよい。例えば、修正β1において、６０であった信頼度ＲＬA［２］が７０に修正されると共に４０であった信頼度ＲＬB［２］が３０に修正されるのであれば、修正β2においては、６０であった信頼度ＲＬA［２］が６５に修正されると共に４０であった信頼度ＲＬB［２］が３５に修正される。
【００８７】
また例えば、入力画像２０１及び２０３が共に入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［３］と同じ画像である場合において、時間差ＴＤ12及びＴＤ23の内の一方のみが基準時間差ＴＤTH以下である時、上述の修正γ1に類似した修正γ2を行う。修正γ2では、入力画像２０２内の人物ＥＨ［３］に対して求められた信頼度ＲＬA［３］を修正する。この際、ＲＬA［３］’＞ＲＬA［３］となるように、信頼度ＲＬA［３］を増加させる修正を行う。
【００８８】
ここで、修正γ2における修正量を、修正γ1におけるそれよりも小さくするとよい。例えば、修正γ1において、６０であった信頼度ＲＬA［３］が７０に修正されるのであれば、修正γ2においては、６０であった信頼度ＲＬA［３］が６５に修正される。
【００８９】
注目入力画像がＢ優勢条件、Ａ優勢条件又はＡ低認識条件を満たす場合において、注目入力画像の前後に撮影された入力画像がＡ高認識条件を満たし、且つ、注目入力画像の前後に撮影された入力画像の撮影時刻の何れか一方が注目入力画像の撮影時刻に十分に近い場合、注目入力画像に含まれる人物は登録人物ＨAである可能性が比較的高いと推測される。但し、その可能性は、注目入力画像の前後に撮影された入力画像の撮影時刻の双方が注目入力画像の撮影時刻に十分に近い場合と比べて、小さいと推測される。このため、顔認識修正部１５は、上記のような修正を行う。この修正により、より精度の高い顔認識結果をユーザに提供することができる。
【００９０】
［第５修正例］
第５修正例を説明する。第５修正例は、第４修正例を更に変形したものに相当する。従って、第５修正例の説明において特に述べない事項に関しては、第４修正例の記載が第５修正例にも適用される。
【００９１】
第４修正例の如く、入力画像２０１又は２０３の撮影時刻と入力画像２０２の撮影時刻との時間差が大きく、入力画像２０１及び２０３の内の一方と入力画像２０２との間における時間的な関係が希薄である時においても、入力画像２０２の識別結果情報を修正可能であることに鑑みれば、以下のような修正処理を行うことも可能である。
【００９２】
即ち例えば、入力画像２０１が入力画像ＩＭ［１］と同じ画像であって且つ時間差ＴＤ12が基準時間差ＴＤTH以下である場合において、
入力画像２０２が入力画像ＩＭ［５］と同じ画像である時、上述の修正α2又は修正α2に類似する修正を行い、
入力画像２０２が入力画像ＩＭ［２］と同じ画像である時、上述の修正β2又は修正β2に類似する修正を行い、
入力画像２０２が入力画像ＩＭ［３］と同じ画像である時、上述の修正γ2又は修正γ2に類似する修正を行う。
【００９３】
これらの修正は、入力画像２０３がどのような画像であるかを問わず実行することができるし、時間差ＴＤ23と基準時間差ＴＤTHとの大小関係を問わず実行することができる。典型的には例えば、入力画像２０３が上記ＡＢ不認識条件を満たす時に、第５修正例に係る上記修正を実行すると良い。
【００９４】
入力画像２０１が入力画像ＩＭ［１］と同じ画像であって且つ時間差ＴＤ12が基準時間差ＴＤTH以下である場合に実行可能な修正動作を上述したが、入力画像２０３が入力画像ＩＭ［１］と同じ画像であって且つ時間差ＴＤ23が基準時間差ＴＤTH以下である場合についても同様の修正が可能である。
【００９５】
［第６修正例］
第６修正例を説明する。上述の各修正例では、注目入力画像の直前及び／又は直後に撮影された入力画像についての情報が、修正の是非判断に利用されたが、その判断に、注目入力画像の数フレーム前又は数フレーム後の入力画像についての情報を利用するようにしてもよい。
【００９６】
図８を参照して、具体的な修正内容を説明する。第６修正例においても、第１修正例の説明で述べた入力画像２０１〜２０３を参照する。第１修正例で述べたように、入力画像２０１〜２０３の撮影時刻は夫々ＴＳ1、ＴＳ2及びＴＳ3であり、撮影時刻ＴＳ1及びＴＳ2間の時間差並びに撮影時刻ＴＳ2及びＴＳ3間の時間差は夫々ＴＤ12及びＴＤ23である。入力画像２０１〜２０３に加えて、第６修正例では、入力画像２０１の撮影直前に撮影された入力画像２００と、入力画像２０３の撮影直後に撮影された入力画像２０４をも利用する。入力画像２００及び２０４の撮影時刻を夫々ＴＳ0及びＴＳ4によって表し、撮影時刻ＴＳ0及びＴＳ1間の時間差並びに撮影時刻ＴＳ3及びＴＳ4間の時間差を夫々ＴＤ01及びＴＤ34によって表す。撮影時刻ＴＳj+1は、撮影時刻ＴＳjよりも後に訪れる時刻である（ｊは整数）。
【００９７】
また、第１修正例と同様、顔認識処理によって算出された入力画像２０２に対する信頼度が上記基準信頼度よりも低い、又は、顔認識処理によって入力画像２０２に含まれている人物を一人の登録人物に絞り込むことができていない、ことを想定する。顔認識修正部１５は、入力画像２０２を認識結果情報の修正対象としての注目入力画像と捉える一方で入力画像２００、２０１、２０３及び２０４を参照入力画像と捉え、入力画像２００〜２０４のタイムスタンプ情報及び認識結果情報に基づいて、入力画像２０２の認識結果情報に対する修正処理を行う。
【００９８】
例えば、入力画像２００、２０１、２０３及び２０４が全て入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［５］と同じ画像である場合において、時間差ＴＤ01、ＴＤ12、ＴＤ23及びＴＤ34が全て基準時間差ＤTH以下である時、或いは、和（ＴＤ01＋ＴＤ12）及び（ＴＤ23＋ＴＤ34）が共に基準時間差ＤTH以下である時、上述の修正α1に類似した修正α3を行う。修正α3では、入力画像２０２内の人物ＥＨ［５］に対して求められた信頼度ＲＬA［５］及びＲＬB［５］を修正する。この際、ＲＬA［５］’＞ＲＬA［５］、ＲＬB［５］’＜ＲＬB［５］且つＲＬA［５］’＞ＲＬB［５］’となるように、信頼度ＲＬA［５］を増加させ且つ信頼度ＲＬB［５］を減少させる修正を行う。
【００９９】
ここで、修正α3における修正量を、修正α1におけるそれよりも大きくするとよい。例えば、修正α1において、４０であった信頼度ＲＬA［５］が６０に修正されると共に６０であった信頼度ＲＬB［５］が４０に修正されるのであれば、修正α3においては、４０であった信頼度ＲＬA［５］が７０に修正されると共に６０であった信頼度ＲＬB［５］が３０に修正される。
【０１００】
また例えば、入力画像２００、２０１、２０３及び２０４が全て入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［２］と同じ画像である場合において、時間差ＴＤ01、ＴＤ12、ＴＤ23及びＴＤ34が全て基準時間差ＤTH以下である時、或いは、和（ＴＤ01＋ＴＤ12）及び（ＴＤ23＋ＴＤ34）が共に基準時間差ＤTH以下である時、上述の修正β1に類似した修正β3を行う。修正β3では、入力画像２０２内の人物ＥＨ［２］に対して求められた信頼度ＲＬA［２］及びＲＬB［２］を修正する。この際、ＲＬA［２］’＞ＲＬA［２］且つＲＬB［２］’＜ＲＬB［２］となるように、信頼度ＲＬA［２］を増加させ且つ信頼度ＲＬB［２］を減少させる修正を行う。
【０１０１】
ここで、修正β3における修正量を、修正β1におけるそれよりも大きくするとよい。例えば、修正β1において、６０であった信頼度ＲＬA［２］が７０に修正されると共に４０であった信頼度ＲＬB［２］が３０に修正されるのであれば、修正β3においては、６０であった信頼度ＲＬA［２］が８０に修正されると共に４０であった信頼度ＲＬB［２］が２０に修正される。
【０１０２】
また例えば、入力画像２００、２０１、２０３及び２０４が全て入力画像ＩＭ［１］と同じ画像であって且つ入力画像２０２が入力画像ＩＭ［３］と同じ画像である場合において、時間差ＴＤ01、ＴＤ12、ＴＤ23及びＴＤ34が全て基準時間差ＤTH以下である時、或いは、和（ＴＤ01＋ＴＤ12）及び（ＴＤ23＋ＴＤ34）が共に基準時間差ＤTH以下である時、上述の修正γ1に類似した修正γ3を行う。修正γ3では、入力画像２０２内の人物ＥＨ［３］に対して求められた信頼度ＲＬA［３］を修正する。この際、ＲＬA［３］’＞ＲＬA［３］となるように、信頼度ＲＬA［３］を増加させる修正を行う。
【０１０３】
ここで、修正γ3における修正量を、修正γ1におけるそれよりも大きくするとよい。例えば、修正γ1において、６０であった信頼度ＲＬA［３］が７０に修正されるのであれば、修正γ3においては、６０であった信頼度ＲＬA［３］が８０に修正される。
【０１０４】
尚、時間差ＴＤ01、ＴＤ12、ＴＤ23及びＴＤ34が全て基準時間差ＤTH以下であるという条件、又は、和（ＴＤ01＋ＴＤ12）及び（ＴＤ23＋ＴＤ34）が共に基準時間差ＤTH以下であるという条件が満たされない時、上述の修正α3、β3及びγ3は行われない、
【０１０５】
第６修正例においても、第１〜第３修正例と同様の作用・効果が得られる。また、第６修正例では、注目入力画像の認識結果情報の修正に際し、注目入力画像の前後に撮影された３枚以上の入力画像を参照するため、第１〜第３修正例よりも修正の妥当性が向上する。修正の妥当性の向上を反映して、上述の如く、第１〜第３修正例と比べて修正量を増大することが可能である。
【０１０６】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。図９は、第１実施形態に係る撮像装置１ａの構成を表すブロック図である。撮像装置１ａは、符号１１〜２１によって参照される各部位を備える。即ち、撮像装置１ａは、第１実施形態に係る撮像装置１に対してフォルダ指定部２１を追加した構成を有し、その追加を除き、撮像装置１と撮像装置１ａは同様のものである。従って、以下では、フォルダ指定部２１の機能を主として説明とする。第２実施形態において特に述べない事項に関しては、第１実施形態の記載が第２実施形態にも適用される。
【０１０７】
記録媒体１７の記録領域に階層構造を持たせ、複数の画像ファイルを階層的に分類保存することができる。例えば、記録媒体１７の記録領域内に、複数の画像ファイルを格納しておくことのできるフィルダを複数個設け、或るフォルダに第１の画像ファイル群を格納し、他のフォルダに第２の画像ファイル群を格納しておく、といった利用が可能である。
【０１０８】
フォルダ指定部２１は、各画像ファイルを何れのフォルダに格納すべきかを指定する。フォルダ指定部２１の指定内容に従って、各画像ファイルのフォルダへの格納が行われる。実際の格納処理は、フォルダ指定部２１以外の部位が行ってもかまわないが、今、フォルダ指定部２１が実際の格納処理をも行うこととする。
【０１０９】
第１実施形態と同様、人物ＨA及びＨB以外の登録人物の存在は考慮しないものとし、１枚の入力画像から顔画像が１つだけ抽出されることを想定する。そして、登録人物ＨAが被写体として含まれる入力画像の画像ファイルを第１フォルダに格納し、登録人物ＨBが被写体として含まれる入力画像の画像ファイルを第２フォルダに格納すべきことが、ユーザ等によって指示されていることを想定する。
【０１１０】
フォルダ指定部２１は、認識結果情報に基づいてフォルダ分類処理を実行することができる。フォルダ指定部２１は、注目入力画像の画像ファイルに対するフォルダ分類処理において、注目入力画像の人物特定情報に登録人物が一人のみ書き込まれている場合は、その書き込まれた登録人物に対応するフォルダに該画像ファイルを格納し、注目入力画像の人物特定情報に複数の登録人物が書き込まれている場合は、その書き込まれた登録人物の内、最も信頼度が高い登録人物に対応するフォルダに該画像ファイルを格納する。従って例えば、顔認識処理によって注目入力画像がＡ高認識条件、Ａ優勢条件又はＡ低認識条件を満たすと判断された場合は、その注目入力画像の画像ファイルを第１フォルダに格納し、顔認識処理によって注目入力画像がＢ高認識条件、Ｂ優勢条件又はＢ低認識条件を満たすと判断された場合は、その注目入力画像の画像ファイルを第２フォルダに格納する（図４及び図５参照）。
【０１１１】
但し、フォルダ指定部２１は、注目入力画像の画像ファイルが格納されるフォルダを、顔認識修正部１５の修正内容に応じて事後的に変更することができる。この変更を実現する処理を、フォルダ変更処理という。例えば、注目入力画像がＢ優勢条件を満たす入力画像ＩＭ［５］である場合、注目入力画像の認識結果情報の信頼度ＲＬA［５］及びＲＬB［５］が不等式「ＲＬA［５］＜ＲＬB［５］」を満たすため、注目入力画像の画像ファイルを一旦第２フォルダに格納する。しかし、信頼度ＲＬA［５］及びＲＬB［５］が顔認識修正部１５の修正処理により信頼度ＲＬA［５］’及びＲＬB［５］’へと変更されて不等式「ＲＬA［５］’＞ＲＬB［５］’」が満たされるならば、フォルダ変更処理により、注目入力画像の画像ファイルが格納されるフォルダを第２フォルダから第１フォルダに変更することができる
【０１１２】
図１０を参照して、撮像装置１ａの動作の流れを説明する。図１０は、この動作の流れを表すフローチャートである。まず、撮像装置１ａにおいてステップＳ１１〜Ｓ１４の処理が実行される。撮像装置１ａにて実行されるステップＳ１１〜Ｓ１４の処理内容は、第１実施形態で示したそれらと同じである。但し、第２実施形態では、ステップＳ１１〜Ｓ１４の処理の後、ステップＳ３５にてフォルダ分類処理が実行される。
【０１１３】
即ち、ステップＳ３５において、フォルダ指定部２１は、今回の入力画像に対する顔認識処理の認識結果情報に基づき、今回の入力画像に対してフォルダ分類処理を実行する。この際、第１実施形態において述べたステップＳ１５の処理も併せて実行するとよい。即ち、今回の入力画像が格納されるべき画像ファイルのヘッダ領域に、今回の入力画像に対する認識結果情報及びタイムスタンプ情報を書き込んでおくとよい。
【０１１４】
ステップＳ３５の処理の後、ステップＳ１６の分岐処理を介してステップＳ１７又はステップＳ１９に移行する、ステップＳ１７に移行した場合はステップＳ１７及びＳ１８の処理が行われ、ステップＳ１９に移行した場合はステップＳ１９及びステップＳ４０〜Ｓ４２の処理が行われる。ステップＳ１６〜Ｓ１９の処理内容は、第１実施形態で示したそれらと同じである。
【０１１５】
ステップＳ１９において、顔認識修正部１５又はフォルダ指定部２１は、低信頼度リストにＩＤ情報が書き込まれているかをチェックし、ＩＤ情報が書き込まれている場合は、ステップＳ４０において、該ＩＤ情報が指し示す入力画像の認識結果情報及びタイムスタンプ情報と該ＩＤ情報が指し示す入力画像の前後に取得された入力画像の認識結果情報及びタイムスタンプ情報とに基づき、フォルダ変更処理の実行の是非を峻別するための条件（以下、フォルダ変更実行条件という）が満たされているか否かを判断する。
【０１１６】
この判断に先立ち、第１実施形態で述べたステップＳ２０及びＳ２１の処理を実行するようにし、顔認識修正部１５による修正後の認識結果情報に基づいてフォルダ変更実行条件の充足／不充足判断を行うことができる。入力画像に対して算出された複数の信頼度の内、最大の信頼度に対応する登録人物が、顔認識修正部１５による修正処理によって変更にされた場合に、フォルダ変更実行条件が充足される。
【０１１７】
フォルダ変更実行条件が満たされている場合、ステップＳ４０からステップＳ４１に移行し、ステップＳ４１において、フォルダ指定部２１は修正後の認識結果情報に基づいてフォルダ変更処理を実行し、その後ステップＳ１１に戻る。一方、フォルダ変更実行条件が満たされていない場合（ステップＳ４０のＮ）又は低信頼度リストにＩＤ情報が書き込まれていない場合（ステップＳ１９のＮ）は、フォルダ変更処理を行うことなく（ステップＳ４２）、ステップＳ１１に戻る。
【０１１８】
上述の第１修正例に係る入力画像２０１〜２０３を、図１０の動作に当てはめた時の動作を説明する。
【０１１９】
まず、Ａ高認識条件が満たされるべき入力画像２０１が取得されて、入力画像２０１が今回の入力画像となった時、入力画像２０１に対する顔認識処理の信頼度は高いものの、未だ低信頼度リストにはＩＤ情報が存在しないため、修正処理が行われることなく（ステップＳ４２）、ステップＳ１１に戻る。入力画像２０１の画像ファイルはステップＳ３５において第１フォルダに格納される。
【０１２０】
その後、Ｂ優勢条件が満たされるべき入力画像２０２が取得されて入力画像２０２が今回の入力画像となると、ステップＳ３５にて入力画像２０２の画像ファイルが第２フォルダに格納された後、ステップＳ１６を介してステップＳ１７に至る。入力画像２０２が今回の入力画像である時、前回取得の入力画像は入力画像２０１である。従って、ステップＳ１７では、前回取得の入力画像２０１に対する顔認識処理の信頼度が上記基準信頼度よりも高いと判断される。結果、今回の入力画像２０１のＩＤ情報が低信頼度リストに追加されてから（ステップＳ１８）、ステップＳ１１に戻る。
【０１２１】
更にその後、Ａ高認識条件が満たされるべき入力画像２０３が取得されて入力画像２０３が今回の入力画像となると、ステップＳ３５にて入力画像２０３の画像ファイルが第１フォルダに格納された後、ステップＳ１６を介してステップＳ１９に至る。この時、低信頼度リストに入力画像２０２のＩＤ情報が書き込まれているため、第１実施形態で述べたステップＳ２０及びＳ２１の処理を経て、フォルダ変更実行条件の充足／不充足判断を行う（ステップＳ４０）。時間差ＴＤ12及びＴＤ23が共に基準時間差ＴＤTH以下であれば該フォルダ変更実行条件は満たされ、ステップＳ４１において、入力画像２０２の画像ファイルが格納されるフォルダが第２フォルダから第１フォルダへと変更される。
【０１２２】
上記のようなフォルダ変更処理を実行することにより、入力画像に含まれる人物に応じた画像分類をより高い精度で成すことが可能となる。
【０１２３】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。記録媒体１７の記録データに基づく上述の各処理を、撮像装置と異なる電子機器（例えば、画像再生装置；不図示）にて実現することも可能である（撮像装置も電子機器の一種である）。
【０１２４】
例えば、撮像装置１又は１ａにおいて、複数の入力画像を取得し、各入力画像の画像データ並びに各入力画像の認識結果情報及びタイムスタンプ情報を格納した画像ファイルを記録媒体１７に記録しておく。ここで、記録される認識結果情報は、顔認識修正部１５による修正前の認識結果情報である。
【０１２５】
そして、上記電子機器に顔認識修正部１５及びフォルダ指定部２１を設けておき、記録媒体１７の記録データを電子機器内の顔認識修正部１５（及びフォルダ指定部２１）に与えることで、必要に応じて、撮像装置１又は１ａにて生成された認識結果情報を修正することができる或いは各画像ファイルが格納されるべきフォルダを変更することができる。
【０１２６】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【０１２７】
図１の撮像装置１又は図９の撮像装置１ａを、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。特に、図１又は図９に示される、顔検出部１３、顔認識部１４、顔認識修正部１５及びフォルダ指定部２１の機能は、ハードウェアのみ、ソフトウェアのみ、または、ハードウェアとソフトウェアの組み合わせによって実現可能である。それらの機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１２８】
また例えば、以下のように考えることができる。顔検出部１３、顔認識部１４及び顔認識修正部１５を含む部位、又は、顔検出部１３、顔認識部１４、顔認識修正部１５及びフォルダ指定部２１を含む部位は、画像処理装置として機能する。
【符号の説明】
【０１２９】
１、１ａ 撮像装置
１１ 撮像部
１２ 画像メモリ
１３ 顔検出部
１４ 顔認識部
１５ 顔認識修正部
１６ タイムスタンプ生成部
１７ 記録媒体
２１ フォルダ指定部
【特許請求の範囲】
【請求項１】
互いに異なる時刻に取得された複数の入力画像の画像データに基づく顔認識処理によって、各入力画像に含まれる人物を認識する顔認識部と、
各入力画像の取得時刻を表すタイムスタンプ情報と各入力画像に対する前記顔認識処理の認識結果に基づいて、前記認識結果を修正する顔認識修正部と、を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記顔認識修正部は、前記複数の入力画像に含まれる注目入力画像に対する前記認識結果によって前記注目入力画像に含まれる人物が第１〜第ｍの登録人物の何れかであることが示されていて該人物を１人の登録人物に絞り込めていない場合（ｍは２以上の整数）、
前記タイムスタンプ情報を用いて前記注目入力画像の直前又は直後に取得された入力画像を含むｎ枚の入力画像をｎ枚の参照入力画像として選択し（ｎは１以上の整数）、前記ｎ枚の参照入力画像に対する前記認識結果と前記注目入力画像に対する前記認識結果とに基づいて前記注目入力画像に対する前記認識結果を修正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ｎ枚の参照入力画像は、前記注目入力画像の直前及び直後に取得された入力画像である第１及び第２の参照入力画像を含み、
前記顔認識修正部は、前記注目入力画像に対する前記認識結果によって前記注目入力画像に含まれる前記人物が第１〜第ｍの登録人物の何れかであることが示されていて該人物を１人の登録人物に絞り込めていない場合、
前記第１及び第２の参照入力画像に対する前記認識結果を参照し、
前記第１及び第２の参照入力画像に対する前記認識結果によって前記第１及び第２の参照入力画像の夫々に第１の登録人物が含まれていることが示されているとき、前記注目入力画像に対する前記認識結果を修正する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
各入力画像に対する前記認識結果は、各入力画像に含まれる人物が複数の登録人物の内の何れであるかを表す人物特定情報と、該人物特定情報の信頼度を表す信頼度情報と、を含み、
前記顔認識修正部は、前記複数の入力画像に含まれる注目入力画像に対する前記信頼度が所定の基準信頼度よりも低い場合、
前記タイムスタンプ情報を用いて前記注目入力画像の直前又は直後に取得された入力画像を含むｎ枚の入力画像をｎ枚の参照入力画像として選択し（ｎは１以上の整数）、前記ｎ枚の参照入力画像に対する前記認識結果と前記注目入力画像に対する前記認識結果とに基づいて前記注目入力画像に対する前記認識結果を修正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
記録媒体に設けられた複数のフォルダの何れに各入力画像の画像データが格納されるべきかを指定するフォルダ指定部を更に備え、
前記フォルダ指定部は、前記顔認識修正部の修正を経た、各入力画像に対する前記認識結果に基づいて、前記指定を行う
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項６】
撮影によって画像データを取得する撮像部と、
請求項１〜請求項５の何れかに記載の画像処理装置と、を備えた撮像装置であって、
異なる時刻での複数回撮影によって前記撮影部から得られた複数の画像の画像データを前記複数の入力画像の画像データとして前記画像処理装置に与える
ことを特徴とする撮像装置。
【請求項１】
互いに異なる時刻に取得された複数の入力画像の画像データに基づく顔認識処理によって、各入力画像に含まれる人物を認識する顔認識部と、
各入力画像の取得時刻を表すタイムスタンプ情報と各入力画像に対する前記顔認識処理の認識結果に基づいて、前記認識結果を修正する顔認識修正部と、を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記顔認識修正部は、前記複数の入力画像に含まれる注目入力画像に対する前記認識結果によって前記注目入力画像に含まれる人物が第１〜第ｍの登録人物の何れかであることが示されていて該人物を１人の登録人物に絞り込めていない場合（ｍは２以上の整数）、
前記タイムスタンプ情報を用いて前記注目入力画像の直前又は直後に取得された入力画像を含むｎ枚の入力画像をｎ枚の参照入力画像として選択し（ｎは１以上の整数）、前記ｎ枚の参照入力画像に対する前記認識結果と前記注目入力画像に対する前記認識結果とに基づいて前記注目入力画像に対する前記認識結果を修正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ｎ枚の参照入力画像は、前記注目入力画像の直前及び直後に取得された入力画像である第１及び第２の参照入力画像を含み、
前記顔認識修正部は、前記注目入力画像に対する前記認識結果によって前記注目入力画像に含まれる前記人物が第１〜第ｍの登録人物の何れかであることが示されていて該人物を１人の登録人物に絞り込めていない場合、
前記第１及び第２の参照入力画像に対する前記認識結果を参照し、
前記第１及び第２の参照入力画像に対する前記認識結果によって前記第１及び第２の参照入力画像の夫々に第１の登録人物が含まれていることが示されているとき、前記注目入力画像に対する前記認識結果を修正する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
各入力画像に対する前記認識結果は、各入力画像に含まれる人物が複数の登録人物の内の何れであるかを表す人物特定情報と、該人物特定情報の信頼度を表す信頼度情報と、を含み、
前記顔認識修正部は、前記複数の入力画像に含まれる注目入力画像に対する前記信頼度が所定の基準信頼度よりも低い場合、
前記タイムスタンプ情報を用いて前記注目入力画像の直前又は直後に取得された入力画像を含むｎ枚の入力画像をｎ枚の参照入力画像として選択し（ｎは１以上の整数）、前記ｎ枚の参照入力画像に対する前記認識結果と前記注目入力画像に対する前記認識結果とに基づいて前記注目入力画像に対する前記認識結果を修正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
記録媒体に設けられた複数のフォルダの何れに各入力画像の画像データが格納されるべきかを指定するフォルダ指定部を更に備え、
前記フォルダ指定部は、前記顔認識修正部の修正を経た、各入力画像に対する前記認識結果に基づいて、前記指定を行う
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項６】
撮影によって画像データを取得する撮像部と、
請求項１〜請求項５の何れかに記載の画像処理装置と、を備えた撮像装置であって、
異なる時刻での複数回撮影によって前記撮影部から得られた複数の画像の画像データを前記複数の入力画像の画像データとして前記画像処理装置に与える
ことを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２５０７３０（Ｐ２０１０−２５０７３０Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−１０１８８４（Ｐ２００９−１０１８８４）
【出願日】平成２１年４月２０日（２００９．４．２０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月２０日（２００９．４．２０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]