顔探索装置

【構成】ＣＰＵ２６は、ＳＤＲＡＭ３２の探索画像エリア３２ｃに格納された探索画像データから１または２以上の顔画像を探索し、これによって発見された顔画像を順に指定する。ＣＰＵ２６はまた、指定された顔画像の表情を検出し、複数の登録顔画像のうち指定された顔画像と符合する登録顔画像を検出された表情を参照して探索する。ＣＰＵ２６はその後、発見された登録顔画像の属性を示す属性情報をＬＣＤモニタ３８に表示する。
【効果】動作性能が向上する。

【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、顔探索装置に関し、特に、被写界像に現れた顔画像に符合する登録顔画像を複数の登録顔画像の中から探索する、顔探索装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、被写界に現れた顔は、被写界を捉える撮像素子から出力された画像データに基づいて検出される。検出された顔は、予め設定された笑顔と共通するか否かの識別処理を施され、識別結果が肯定的であるときに笑顔判定対象として決定される。撮像素子から出力された画像データは、笑顔判定対象の顔が笑顔に変わったときに記憶媒体に記録される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１７７６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、予め設定された笑顔と共通するか否かの識別処理を実行するにあたって被写界から検出された顔の表情が参照されることはない。このため、被写界から検出された顔の表情によっては、動作性能が低下するおそれがある。
【０００５】
それゆえに、この発明の主たる目的は、動作性能を向上させることができる、顔探索装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う顔探索装置(10：実施例で相当する参照符号。以下同じ)は、被写界像から１または２以上の顔画像を探索する第１探索手段(S153~S183)、第１探索手段によって発見された１または２以上の顔画像の各々を第１注目顔画像として指定する第１指定手段(S189)、第１注目顔画像と符合する登録顔画像を第１注目顔画像の表情を参照して複数の登録顔画像の中から探索する第２探索手段(S201~S207, S217~S227, S231~S249, S251~S263, S273~S279)、および第２探索手段によって発見された登録顔画像の属性を示す属性情報を出力する出力手段(S209~S215, S265~S271, S125~S133)を備える。
【０００７】
好ましくは、第２探索手段は、複数の登録顔画像の各々を第２注目顔画像として指定する第２指定手段(S205, S227)、および第１注目顔画像の表情と第２注目顔画像の表情との相違が抑制されるように第１注目顔画像および／または第２注目顔画像を修正する修正手段(S219)を含む。
【０００８】
さらに好ましくは、複数の登録顔画像はそれぞれ複数の表情パラメータを伴い、第２探索手段は第２注目顔画像の表情パラメータを修正手段の修正処理のために複数の表情パラメータの中から選択する表情パラメータ選択手段(S217)をさらに含む。
【０００９】
好ましくは、第２探索手段は、複数の登録顔画像の各々を第２注目顔画像として指定する第２指定手段(S205, S249)、互いに異なる表情を示すように第１注目顔画像および／または第２注目顔画像を繰り返し修正する修正手段(S231~S235, S239~S241)、第１注目顔画像および第２注目顔画像を修正手段による修正処理毎に照合する照合手段(S237)、および第１注目顔画像と符合する登録顔画像を照合手段の照合結果に基づいて特定する特定手段(S243~S247)を含む。
【００１０】
好ましくは、複数の登録顔画像の各々は互いに異なる表情で共通の顔を表す複数の画像を含み、第２探索手段は、第１注目顔画像の表情に沿う表情を有する画像を第２指定手段の指定処理に関連して複数の画像の中から選択する画像選択手段(S253~S257)、および画像選択手段によって選択された画像を第１注目画素画像と照合する照合手段(S273)を含む。
【００１１】
好ましくは、複数の登録顔画像はそれぞれ複数の名称を伴い、出力手段によって出力される属性情報は第２探索手段によって発見された登録顔画像の名称を含む。
【００１２】
好ましくは、被写界を捉える撮像手段(16)がさらに備えられ、第１探索手段は撮像手段から出力された被写界像に対して探索処理を実行する。
【００１３】
好ましくは、第１探索手段は標準顔画像を参照して探索処理を実行する。
【００１４】
この発明に従う顔探索プログラムは、顔探索装置(10)のプロセッサ(26)に、被写界像から１または２以上の顔画像を探索する第１探索ステップ(S153~S183)、第１探索ステップによって発見された１または２以上の顔画像の各々を第１注目顔画像として指定する指定ステップ(S189)、第１注目顔画像と符合する登録顔画像を第１注目顔画像の表情を参照して複数の登録顔画像の中から探索する第２探索ステップ(S201~S207, S217~S227, S231~S249, S251~S263, S273~S279)、および第２探索ステップによって発見された登録顔画像の属性を示す属性情報を出力する出力ステップ(S209~S215, S265~S271, S125~S133)を実行させるための、顔探索プログラムである。
【００１５】
この発明に従う顔探索方法は、顔探索装置(10)によって実行される顔探索方法であって、被写界像から１または２以上の顔画像を探索する第１探索ステップ(S153~S183)、第１探索ステップによって発見された１または２以上の顔画像の各々を第１注目顔画像として指定する指定ステップ(S189)、第１注目顔画像と符合する登録顔画像を第１注目顔画像の表情を参照して複数の登録顔画像の中から探索する第２探索ステップ(S201~S207, S217~S227, S231~S249, S251~S263, S273~S279)、および第２探索ステップによって発見された登録顔画像の属性を示す属性情報を出力する出力ステップ(S209~S215, S265~S271, S125~S133)を備える。
【発明の効果】
【００１６】
この発明によれば、被写界像に現れた顔画像と符合する登録顔画像を探索するにあたって、被写界像に現れた顔画像の表情が参照される。出力される属性情報は、こうして発見された登録顔画像の属性つまり被写界像に現れた顔画像の属性を示す。これによって、動作性能が向上する。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】顔登録モードにおいてモニタ画面に表示される登録枠の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】図２実施例に適用される標準顔辞書の構成の一例を示す図解図である。
【図６】図２実施例に適用される顔枠レジスタの構成の一例を示す図解図である。
【図７】登録用顔検出タスクおよび撮像用顔検出タスクにおいて用いられる顔検出枠の一例を示す図解図である。
【図８】登録用顔検出タスクにおける顔検出処理の一例を示す図解図である。
【図９】（Ａ）は顔登録モードにおいてモニタ画面に表示された被写界像の一例を示す図解図であり、（Ｂ）は顔登録モードにおいてモニタ画面に表示された被写界像の他の一例を示す図解図であり、（Ｃ）は顔登録モードにおいてモニタ画面に表示された被写界像のその他の一例を示す図解図であり、（Ｄ）は顔登録モードにおいてモニタ画面に表示された被写界像のさらにその他の一例を示す図解図である。
【図１０】顔登録モードにおいてモニタ画面に表示される登録操作画面の一例を示す図解図である。
【図１１】図２実施例に適用される登録顔辞書の構成の一例を示す図解図である。
【図１２】撮像用顔検出タスクにおける顔検出処理の一例を示す図解図である。
【図１３】図２実施例によって捉えられる被写界の一例を示す図解図である。
【図１４】（Ａ）は修正前の登録顔画像の一例を示す図解図であり、（Ｂ）は修正後の登録顔画像の一例を示す図解図である。
【図１５】図２実施例に適用される認識顔レジスタの構成の一例を示す図解図である。
【図１６】図２実施例に適用される確定レジスタの構成の一例を示す図解図である。
【図１７】撮像モードにおいてモニタ画面に表示された被写界像の一例を示す図解図である。
【図１８】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２２】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２３】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２４】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２５】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２６】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２７】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２８】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２９】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図３０】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図３１】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図３２】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図３３】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図３４】他の実施例に適用される登録顔辞書の構成の一例を示す図解図である。
【図３５】他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図３６】他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図３７】他の実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図３８】その他の実施例に適用される登録顔辞書の構成の一例を示す図解図である。
【図３９】その他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図４０】その他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図４１】その他の実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この発明の顔探索装置は、基本的に次のように構成される。第１探索手段１は、被写界像から１または２以上の顔画像を探索する。第１指定手段２は、第１探索手段１によって発見された１または２以上の顔画像の各々を第１注目顔画像として指定する。第２探索手段３は、第１注目顔画像と符合する登録顔画像を第１注目顔画像の表情を参照して複数の登録顔画像の中から探索する。出力手段４は、第２探索手段３によって発見された登録顔画像の属性を示す属性情報を出力する。
【００２１】
被写界像に現れた顔画像と符合する登録顔画像を探索するにあたって、被写界像に現れた顔画像の表情が参照される。出力される属性情報は、こうして発見された登録顔画像の属性つまり被写界像に現れた顔画像の属性を示す。これによって、動作性能が向上する。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００２３】
電源が投入されると、ＣＰＵ２６は、キー入力装置２８に設けられたモード切り換えスイッチ２８ｍｄの設定（つまり現時点の動作モード）をメインタスクの下で判別する。現時点の動作モードが顔登録モードであれば、顔登録タスクおよび登録用顔検出タスクが起動される。現時点の動作モードが撮像モードであれば、撮像タスクおよび撮像用顔検出タスクが起動される。
【００２４】
顔登録モードが選択されると、ＣＰＵ２６は、顔登録タスクの下で登録枠表示命令をグラフィックジェネレータ４６に与える。グラフィックジェネレータ４６は、登録枠ＲＦ１を表すグラフィックデータを作成し、作成されたグラフィックデータをＬＣＤドライバ３６に与える。登録枠ＲＦ１は、図３に示す要領でＬＣＤモニタ３８に表示される。
【００２５】
ＣＰＵ２６は続いて、動画取り込み処理を実行するべく、顔登録タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２６】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。
【００２７】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の表示画像エリア３２ｂに書き込まれる。探索画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の探索画像エリア３２ｃに書き込まれる。
【００２８】
ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２９】
図４を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００３０】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。
【００３１】
ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００３２】
シャッタボタン２８ｓｈが非操作状態のとき、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を顔登録タスクの下で実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、この結果、スルー画像の明るさが適度に調整される。
【００３３】
ＣＰＵ２６はまた、顔登録タスクと並列して実行される登録用顔検出タスクの下で、探索画像エリア３２ｃに格納された探索画像データから人物の顔画像を探索する。このような登録用顔検出タスクのために、図５に示す標準顔辞書ＳＴＤＣと図６に示す顔枠レジスタＲＧＳＴ１と図７に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…が準備される。なお、標準顔辞書ＳＴＤＣ，顔枠レジスタＲＧＳＴ１および複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…は、後述する撮像用顔検出タスクにおいても用いられる。
【００３４】
顔検出枠ＦＤは、垂直同期信号Ｖｓｙｎｃが発生する毎に、探索画像エリア３２ｂ上を登録枠ＲＦ１に対応してラスタ走査態様で移動する（図８参照）。顔検出枠ＦＤのサイズは、ラスタ走査が終了する毎に“７０”から“４０”まで“５”刻みで縮小される。
【００３５】
ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｂから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、標準顔辞書に登録された顔画像の特徴量と照合される。照合度が基準値ＲＥＦを上回ると、登録枠ＲＦ１から顔画像が発見されたとみなされ、変数ＣＮＴが“０”から“１”に更新される。さらに、現時点の顔検出枠ＦＤの位置およびサイズが、発見された顔画像を囲う顔枠の位置およびサイズとして、顔枠レジスタＲＧＳＴ１に登録される。
【００３６】
シャッタボタン２８ｓｈが非操作状態にあるとき、ＣＰＵ２６は、顔登録タスクの下で変数ＣＮＴの値を繰り返し判別する。変数ＣＮＴが“０”であれば顔枠非表示命令がグラフィックジェネレータ４６に向けて発行され、変数ＣＮＴが“１”であれば顔枠表示命令がグラフィックジェネレータ４６に向けて発行される。顔枠表示命令には、顔枠レジスタＲＧＳＴ１に登録された顔枠の位置およびサイズが記述される。
【００３７】
顔枠表示命令が与えられたとき、グラフィックジェネレータ４６は、顔枠ＫＦ１を表すグラフィックデータを作成し、作成されたグラフィックデータをＬＣＤドライバ３６に与える。グラフィックデータは、顔枠表示命令に記述された位置およびサイズを参照して作成される。この結果、顔枠ＫＦ１は、発見された顔画像を囲うように表示される。
【００３８】
“憲治”の顔画像が登録枠ＲＦ１内に現れたとき、顔枠ＫＦ１は図９（Ａ）に示す要領で表示される。また、“大介”の顔画像が登録枠ＲＦ１内に現れたとき、顔枠ＫＦ１は図９（Ｂ）に示す要領で表示される。さらに、“靖史”の顔画像が登録枠ＲＦ１内に現れたとき、顔枠ＫＦ１は図９（Ｃ）に示す要領で表示される。また、“桂子”の顔画像が登録枠ＲＦ１内に現れたとき、顔枠ＫＦ１は図９（Ｄ）に示す要領で表示される。
【００３９】
顔枠ＫＦ１が表示された状態でシャッタボタン２８ｓｈが操作されると、ＣＰＵ２６は、顔登録タスクの下で静止画取り込み処理を実行する。シャッタボタン２８ｓｈが操作された時点の被写界を表す１フレームの表示画像データは、静止画取り込み処理によって静止画エリア３２ｄに取り込まれる。ＣＰＵ２６はその後、静止画エリア３２ｄに取り込まれた画像データのうち顔枠ＫＦ１に属する一部の画像データを抽出する。これによって、登録顔画像が得られる。
【００４０】
ＣＰＵ２６は続いて、顔登録タスクの下で登録操作画面表示命令をグラフィックジェネレータ４６に与える。グラフィックジェネレータ４６は、登録操作画面を表すグラフィックデータを作成し、作成されたグラフィックデータをＬＣＤドライバ３６に与える。この結果、図１０に示す登録操作画面がＬＣＤモニタ３８に表示される。図１０によれば、登録操作画面は、“登録”および“キャンセル”のアイコンと人名入力欄とによって形成される。
【００４１】
所望の人名が人名入力欄に入力され、その後に“登録”のアイコンが選択されると、ＣＰＵ２６は、名称入力操作が行われたとみなし、上述の要領で抽出された登録顔画像の笑顔度を算出する。抽出された登録顔画像は、人名および笑顔度とともに登録顔辞書ＲＧＤＣに記述される。
【００４２】
したがって、図９（Ａ）に示す状態でシャッタボタン２８ｓｈが操作されると、“憲治”の顔を現す登録顔画像が作成される。名称入力操作によって“憲治”が入力されると、登録顔画像の笑顔度（＝７０）が算出される。登録顔画像，人名（＝憲治）および笑顔度（＝７０）は、図１１に示す登録顔辞書ＲＧＤＣの１番目のカラムに記述される。
【００４３】
図９（Ｂ）に示す状態でシャッタボタン２８ｓｈが操作されると、“大介”の顔を現す登録顔画像が作成される。名称入力操作によって“大介”が入力されると、登録顔画像の笑顔度（＝１００）が算出される。登録顔画像，人名（＝大介）および笑顔度（＝１００）は、図１１に示す登録顔辞書ＲＧＤＣの２番目のカラムに記述される。
【００４４】
図９（Ｃ）に示す状態でシャッタボタン２８ｓｈが操作されると、“靖史”の顔を現す登録顔画像が作成される。名称入力操作によって“靖史”が入力されると、登録顔画像の笑顔度（＝０）が算出される。登録顔画像，人名（＝靖史）および笑顔度（＝０）は、図１１に示す登録顔辞書ＲＧＤＣの３番目のカラムに記述される。
【００４５】
図９（Ｄ）に示す状態でシャッタボタン２８ｓｈが操作されると、“桂子”の顔を現す登録顔画像が作成される。名称入力操作によって“桂子”が入力されると、登録顔画像の笑顔度（＝０）が算出される。登録顔画像，人名（＝桂子）および笑顔度（＝０）は、図１１に示す登録顔辞書ＲＧＤＣの４番目のカラムに記述される。
【００４６】
なお、図１１によれば頭部全体が顔画像として描かれているが、厳密には、顔枠ＫＦ１に属する画像のみが顔画像として登録顔辞書ＲＧＤＣに収められる。
【００４７】
顔登録モードに代えて撮像モードが選択されると、ＣＰＵ２６は、撮像タスクの下で動画取込み処理を開始する。これによって、スルー画像がＬＣＤモニタ３８に表示され、探索画像データが探索画像エリア３２ｃに繰り返し書き込まれる。
【００４８】
シャッタボタン２８ｓｈが非操作状態のとき、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を撮像タスクの下で実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、この結果、スルー画像の明るさが適度に調整される。
【００４９】
ＣＰＵ２６は、撮像タスクと並列して実行される撮像用顔検出タスクの下で、探索画像エリア３２ｃに格納された探索画像データから人物の顔画像を探索する。探索される顔画像は、登録顔辞書ＲＧＤＣに収められた登録顔画像に符合する画像である。
【００５０】
図７に示す顔検出枠ＦＤは、垂直同期信号Ｖｓｙｎｃが発生する毎に、探索画像エリア３２ｂ上を評価エリアＥＶＡに対応してラスタ走査態様で移動する（図１２参照）。顔検出枠ＦＤのサイズは、ラスタ走査が終了する毎に“２００”から“２０”まで“５”刻みで縮小される。
【００５１】
ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｂから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、標準顔辞書ＳＴＤＣに収められた顔画像の特徴量と照合される。照合度が基準値ＲＥＦを上回ると、“０”を初期値とする変数ＣＮＴがインクリメントされる。また、現時点の顔検出枠ＦＤの位置およびサイズが、顔画像を囲う顔枠の位置およびサイズとして図６に示す顔枠レジスタＲＧＳＴ１に設定される。
【００５２】
したがって、図１３に示す被写界が捉えられたときは、人物Ｈ１，Ｈ２および憲治の顔画像が検出され、検出された顔画像を囲う顔枠の位置およびサイズが顔枠レジスタＲＧＳＴ１に設定される。人物Ｈ１に対応する顔枠の位置およびサイズは顔枠レジスタＲＧＳＴ１の１番目のカラムに記述され、人物Ｈ２に対応する顔枠の位置およびサイズは顔枠レジスタＲＧＳＴ１の２番目のカラムに記述され、そして憲治に対応する顔枠の位置およびサイズは顔枠レジスタＲＧＳＴ１の３番目のカラムに記述される。憲治に対応する顔枠の位置およびサイズが記述された時点で、変数ＣＮＴは“３”を示す。
【００５３】
ＣＰＵ２６は続いて、顔枠レジスタＲＧＳＴ１に設定されたＣＮＴ個の顔枠を順に指定する。指定された顔枠に属する画像データは、以下の顔認識処理を施される。
【００５４】
まず、指定顔枠に属する画像データがメモリ制御回路３０を通して探索画像エリア３２ｃから読み出され、読み出された画像データの笑顔度が算出される。次に、変数Ｋが“１”〜“Ｋｍａｘ”の各々に設定され、Ｋ番目のカラムに記述された登録顔画像の笑顔度が登録顔辞書ＲＧＤＣから検出される。なお、“Ｋｍａｘ”は、登録顔画像の総数に相当する。
【００５５】
指定顔枠に属する画像データの特徴量は、算出ないし検出された２つの笑顔度の相違が抑制ないし解消されるように修正される。図１４（Ａ）に示す憲治の顔画像の特徴量をＫ＝１に対応して修正する場合、図１４（Ａ）に示す顔画像の笑顔度（＝０）と登録顔辞書ＲＧＤＣに記述された憲治の顔画像の笑顔度（＝７０）とが参照される。これらの笑顔度の相違が解消されるように特徴量を修正した結果、憲治の顔画像の表情は図１４（Ａ）から図１４（Ｂ）に変化する。
【００５６】
こうして修正された特徴量は、Ｋ番目のカラムに記述された登録顔画像の特徴量と照合される。照合度が基準値ＲＥＦを上回れば、照合先の登録顔画像のカラム番号（＝Ｋ＝登録顔画像番号）と照合度とが図１５に示す認識顔レジスタＲＧＳＴ２に登録される。
【００５７】
少なくとも１つの登録顔画像番号が認識顔レジスタＲＧＳＴ２に設定されていれば、フラグＦＬＧ＿ＲＣＧが“１”に設定され、最大照合度に対応する登録顔画像番号と指定された顔枠の位置およびサイズとが図１６に示す確定レジスタＲＧＳＴ３に登録される。一方、登録顔画像番号が認識顔レジスタＲＧＳＴ２に存在しなければ、フラグＦＬＧ＿ＲＣＧは“０”に設定される。
【００５８】
シャッタボタン２８ｓｈが非操作状態にあるとき、ＣＰＵ２６は、撮像タスクの下でフラグＦＬＧ＿ＲＣＧの値を繰り返し判別する。フラグＦＬＧ＿ＲＣＧが“０”であれば顔枠非表示命令および人名非表示命令がグラフィックジェネレータ４６に向けて発行され、フラグＦＬＧ＿ＲＣＧが“１”であれば顔枠表示命令および人名表示命令がグラフィックジェネレータ４６に向けて発行される。顔枠表示命令には、確定レジスタＲＧＳＴ３に設定された顔枠の位置およびサイズが記述される。また、人名表示命令には、確定レジスタＲＧＳＴ３に設定された登録顔画像番号に対応する人名が記述される。
【００５９】
顔枠表示命令が与えられたとき、グラフィックジェネレータ４６は、顔枠ＫＦ１を表すグラフィックデータを作成し、作成されたグラフィックデータをＬＣＤドライバ３６に与える。グラフィックデータは、顔枠表示命令に記述された位置およびサイズを参照して作成される。この結果、顔枠ＫＦ１は、発見された顔画像を囲うように表示される。
【００６０】
人名表示命令が与えられたとき、グラフィックジェネレータ４６は、人名を表すグラフィックデータを作成し、作成されたグラフィックデータをＬＣＤドライバ３６に与える。人名はモニタ画面の右下に表示される。
【００６１】
したがって、図１３に示す被写界が捉えられたとき、顔枠ＫＦ１および人名は、図１７に示す要領でモニタ画面に表示される。
【００６２】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく厳格ＡＥ処理を撮像タスクの下で実行し、最適ＥＶ値を算出する。最適ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、この結果、スルー画像の明るさが適度に調整される。厳格ＡＥ処理が完了すると、ＣＰＵ２６は、撮像タスクの下でＡＦ処理を実行する。ＡＦ処理はＡＦ評価回路２４の出力を参照した山登り方式で実行され、フォーカスレンズ１２は合焦点に設定される。これによって、スルー画像の鮮鋭度が向上する。
【００６３】
シャッタボタン２８ｓｈが全押しされると、静止画取り込み処理および記録処理が実行される。シャッタボタン２８ｓｈが全押しされた時点の１フレームの表示画像データは、静止画取り込み処理によって静止画エリア３２ｄに取り込まれる。取り込まれた１フレームの画像データは、記録処理に関連して起動したＩ／Ｆ４０によって静止画エリア３２ｄから読み出され、ファイル形式で記録媒体４２に記録される。
【００６４】
ＣＰＵ２６は、図１８に示すメインタスク，図１９〜図２１に示す顔登録タスク，図２２〜図２４に示す登録用顔検出タスク，図２５〜図２７に示す撮像タスク，および図２８〜図３３に示す撮像用顔検出タスクを含む複数のタスクを実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００６５】
図１８を参照して、ステップＳ１では現時点の動作モードが顔登録モードであるか否かを判別し、ステップＳ３では現時点の動作モードが撮像モードであるか否かを判別する。ステップＳ１でＹＥＳであればステップＳ５で顔登録タスクを起動し、ステップＳ３でＹＥＳであればステップＳ７で撮像タスクを起動する。ステップＳ１およびＳ３のいずれもＮＯであればステップＳ９でその他の処理を実行する。ステップＳ５，Ｓ７またはＳ９の処理が完了すると、モード切り換え操作が行われたか否かをステップＳ１１で繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、起動中のタスクをステップＳ１３で停止し、その後にステップＳ１に戻る。
【００６６】
図１９を参照して、ステップＳ２１では登録枠表示命令をグラフィックジェネレータ４６に与える。この結果、登録枠ＲＦ１がＬＣＤモニタ３８に表示される。ステップＳ２３では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８に表示され、探索画像データが探索画像エリア３２ｃに繰り返し書き込まれる。
【００６７】
ステップＳ２５では変数Ｗを“０”に設定し、ステップＳ２７では登録用顔検出タスクを起動する。なお、変数Ｗは、登録用顔検出タスクによって顔画像が発見されたか否かを識別するための変数であり、“０”が未発見を示す一方、“１”が発見を示す。
【００６８】
ステップＳ２９では、フラグＦＬＧ＿ＦＩＮが“１”を示すか否かを判別する。フラグＦＬＧ＿ＦＩＮは、登録用顔検出タスクの開始時に“０”に設定され、登録用顔検出タスクの終了時に“１”に更新される。判別結果がＹＥＳであればステップＳ３９に進み、判別結果がＮＯであればステップＳ３１に進む。
【００６９】
ステップＳ３９では、変数ＣＮＴの値を判別する。変数ＣＮＴは、登録用顔検出タスクによって発見された顔画像の数を示す変数であり、“０”および“１”のいずれか一方を示す。変数ＣＮＴが“１”であれば、ステップＳ４１で顔枠表示命令をグラフィックジェネレータ４６に与え、ステップＳ４３では変数Ｗを“１”に設定する。変数ＣＮＴが“０”であれば、ステップＳ４５で顔枠非表示命令をグラフィックジェネレータ４６に与え、ステップＳ４７で変数Ｗを“０”に設定する。ステップＳ４１の処理の結果、発見された顔画像を囲うように顔枠ＫＦ１が表示される。また、ステップＳ４５の処理の結果、顔枠ＫＦ１の表示が中止される。ステップＳ４３またはＳ４７の処理が完了すると、ステップＳ２７に戻る。
【００７０】
ステップＳ３１ではシャッタボタン２８ｓｈが操作されたか否かを判別し、ステップＳ３３では変数Ｗが“１”を示すか否かを判別する。ステップＳ３１またはＳ３３の判別結果がＮＯであれば、ステップＳ３５で簡易ＡＥ処理を実行し、その後にステップＳ２９に戻る。これに対して、ステップＳ３１およびＳ３３の判別結果がいずれもＹＥＳであれば、ステップＳ３７で静止画取り込み処理を実行し、その後にステップＳ５１に進む。
【００７１】
簡易ＡＥ処理によって、スルー画像の明るさが適度に調整される。また、静止画取り込み処理によって、シャッタボタン２８ｓｈが操作された時点の被写界を表す１フレームの画像データが静止画エリア３２ｄに取り込まれる。
【００７２】
ステップＳ５１では、取り込まれた画像データのうち顔枠ＲＦ１に属する一部の画像データを登録顔画像として抽出する。抽出処理が完了するとステップＳ５３に進み、登録操作画面表示命令をグラフィックジェネレータ４６に与える。この結果、登録操作画面がＬＣＤモニタ３８に表示される。ステップＳ５５では名称入力操作が行われた否かを判別し、ステップＳ５７ではキャンセル操作が行われたか否かを判別する。
【００７３】
ステップＳ５５でＹＥＳであればステップＳ５９に進み、ステップＳ５１で抽出された登録顔画像の笑顔度を算出する。ステップＳ６１では、ステップＳ５１で抽出された登録顔画像と名称入力操作によって入力された人名とステップＳ５９で算出された笑顔度とを登録顔辞書ＲＧＤＣに収める。ステップＳ６１の処理が完了すると、ステップＳ６３で変数Ｗを“０”に設定し、その後にステップＳ２７に戻る。一方、ステップＳ５７でＹＥＳであれば、ステップＳ６３の処理を経てステップＳ２７に戻る。
【００７４】
図２２を参照して、ステップＳ７１ではフラグＦＬＧ＿ＦＩＮを“０”に設定し、ステップＳ７３では登録枠ＲＦ１の内側を探索エリアとして設定する。ステップＳ７５では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘを“７０”に設定し、最小サイズＳＺｍｉｎを“４０”に設定する。可変範囲の定義が完了すると、ステップＳ７７で変数ＣＮＴを“０”に設定し、ステップＳ７９で顔検出枠ＦＤのサイズを“ＳＺｍａｘ”に設定する。
【００７５】
ステップＳ８１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ８３で顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ８５では顔検出枠ＦＤに属する一部の探索画像データを探索画像エリア３２ｃから読み出し、読み出された探索画像データの特徴量を算出する。
【００７６】
ステップＳ８７では算出された特徴量を標準顔辞書ＳＴＤＣに収められた顔画像の特徴量と照合し、ステップＳ８９では照合度が基準値ＲＥＦを上回るか否かを判別する。判別結果がＹＥＳであればステップＳ９１に進み、判別結果がＮＯであればステップＳ９７に進む。
【００７７】
ステップＳ９１では変数ＣＮＴを“１”に設定し、ステップＳ９３では現時点の顔検出枠ＦＤの位置およびサイズを顔画像の位置およびサイズとして顔枠レジスタＲＧＳＴ１に登録する。登録が完了すると、ステップＳ９５でフラグＦＬＧ＿ＦＩＮを“１”に設定し、その後に処理を終了する。
【００７８】
ステップＳ９７では、顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別する。判別結果がＮＯであれば、ステップＳ９９で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ８５に戻る。判別結果がＹＥＳであれば、顔検出枠ＦＤのサイズが“ＳＺｍｉｎ”以下であるか否かをステップＳ１０１で判別する。判別結果がＮＯであれば、ステップＳ１０３で顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ１０５で顔検出枠ＦＤを探索エリアの左上位置に配置し、その後にステップＳ８５に戻る。ステップＳ１０１の判別結果がＹＥＳであれば、ステップＳ９５に進む。
【００７９】
図２５を参照して、ステップＳ１１１では動画取込み処理を実行し、ステップＳ１１３では撮像用顔検出タスクを起動する。ステップＳ１１５では、フラグＦＬＧ＿ＦＩＮが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ１２５に進む一方、判別結果がＮＯであればステップＳ１１７に進む。
【００８０】
ステップＳ１２５では、フラグＦＬＧ＿ＲＣＧが“１”であるか否かを判別する。判別結果がＹＥＳであれば、ステップＳ１２７で顔枠表示命令をグラフィックジェネレータ４６に与え、ステップＳ１２９では人名表示命令をグラフィックジェネレータ４６に与える。一方、判別結果がＮＯであれば、ステップＳ１３１で顔枠非表示命令をグラフィックジェネレータ４６に与え、ステップＳ１３３で人名非表示命令をグラフィックジェネレータ４６に与える。
【００８１】
ステップＳ１２７の処理の結果、確定レジスタＲＧＳＴ３に設定された登録顔画像と符合する顔画像を囲うように顔枠ＫＦ１が表示される。また、ステップＳ１２９の処理の結果、確定レジスタＲＧＳＴ３に設定された登録顔画像に対応する人名が表示される。さらに、ステップＳ１３１〜１３３の処理の結果、顔枠ＫＦ１および人名の表示が中止される。ステップＳ１２９またはＳ１３３の処理が完了すると、ステップＳ１１３に戻る。
【００８２】
ステップＳ１１７では、シャッタボタン２８ｓｈが半押しされたか否かを判別する。判別結果がＮＯであればステップＳ１１９で簡易ＡＥ処理を実行し、判別結果がＹＥＳであればステップＳ１２１で厳格ＡＥ処理を実行する。スルー画像の明るさは、簡易ＡＥ処理によって適度に調整され、厳格ＡＥ処理によって最適値に調整される。ステップＳ１１９の処理が完了するとステップＳ１１５に戻り、ステップＳ１２１の処理が完了するとステップＳ１２３でＡＦ処理を実行する。フォーカスレンズ１２は、ＡＦ処理によって合焦点に配置される。
【００８３】
ステップＳ１３５ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ１３７ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ１３５でＹＥＳであれば、ステップＳ１３９で静止画取り込み処理を実行し、ステップＳ１４１で記録処理を実行し、その後にステップＳ１１３に戻る。ステップＳ１３７でＹＥＳであれば、そのままステップＳ１１３に戻る。ステップＳ１３９の処理の結果、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データが静止画エリア３２ｄに取り込まれる。また、ステップＳ１４１の処理の結果、静止画像エリア３２ｄに取り込まれた画像データがファイル形式で記録媒体４２に記録される。
【００８４】
図２８を参照して、ステップＳ１５１ではフラグＦＬＧ＿ＦＩＮを“０”に設定し、ステップＳ１５３では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ１５５では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘを“２００”に設定し、最小サイズＳＺｍｉｎを“２０”に設定する。可変範囲の定義が完了すると、ステップＳ１５７で変数ＣＮＴを“０”に設定し、ステップＳ１５９で顔検出枠ＦＤのサイズを“ＳＺｍａｘ”に設定する。
【００８５】
ステップＳ１６１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１６３で顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１６５では顔検出枠ＦＤに属する一部の探索画像データを探索画像エリア３２ｃから読み出し、読み出された探索画像データの特徴量を算出する。
【００８６】
ステップＳ１６７では算出された特徴量を標準顔辞書ＳＴＤＣに収められた顔画像の特徴量と照合し、ステップＳ１６９では照合度が基準値ＲＥＦを上回るか否かを判別する。判別結果がＮＯであればそのままステップＳ１７５に進み、判別結果がＹＥＳであればステップＳ１７１およびＳ１７３を経てステップＳ１７５に進む。ステップＳ１７１では、変数ＣＮＴをインクリメントする。ステップＳ１７３では、現時点の顔検出枠ＦＤの位置およびサイズを、顔画像を囲う顔枠の位置およびサイズとして顔枠レジスタＲＧＳＴ１に登録する。
【００８７】
ステップＳ１７５では、顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別する。判別結果がＮＯであれば、ステップＳ１７７で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ１６５に戻る。判別結果がＹＥＳであれば、顔検出枠ＦＤのサイズが“ＳＺｍｉｎ”以下であるか否かをステップＳ１７９で判別する。判別結果がＮＯであれば、ステップＳ１８１で顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ１８３で顔検出枠ＦＤを探索エリアの左上位置に配置し、その後にステップＳ１６５に戻る。ステップＳ１７９の判別結果がＹＥＳであれば、ステップＳ１８５に進む。
【００８８】
ステップＳ１８５では変数Ｎを“１”に設定し、ステップＳ１８７では変数Ｎが変数ＣＮＴを上回るか否かを判別する。判別結果がＮＯであればステップＳ１８９に進み、顔枠レジスタＲＧＳＴ１のＮ番目のカラムに設定された顔枠を指定する。ステップＳ１９１では、指定された顔枠に属する画像データに注目した顔認識処理を実行する。処理が完了すると、ステップＳ１９３で変数Ｎをインクリメントし、その後にステップＳ１８７に戻る。ステップＳ１８７の判別結果がＹＥＳであれば、ステップＳ１９５でフラグＦＬＧ＿ＦＩＮを“１”に設定し、その後に処理を終了する。
【００８９】
ステップＳ１９１の顔認識処理は、図３２〜図３３に示すサブルーチンに従って実行される。まず、指定された顔枠に属する画像データの笑顔度をステップＳ２０１で算出し、認識顔レジスタＲＧＳＴ２をステップＳ２０３でクリアし、そして変数ＫをステップＳ２０５で“１”に設定する。ステップＳ２０７では、変数Ｋが最大値Ｋｍａｘ（＝登録顔画像の総数）を上回るか否かを判別する。判別結果がＮＯであればステップＳ２１７に進み、Ｋ番目の登録顔画像の笑顔度を登録顔辞書ＲＧＤＣから検出する。ステップＳ２１９では、指定された顔枠に属する画像データの特徴量を、ステップＳ２０１で算出された笑顔度とステップＳ２１７で検出された笑顔度との相違が抑制ないし解消されるように修正する。
【００９０】
ステップＳ２２１では修正された特徴量をＫ番目の登録顔画像の特徴量と照合し、ステップＳ２２３では照合度が基準値ＲＥＦを上回るか否かを判別する。判別結果がＹＥＳであればステップＳ２２５に進み、照合先の登録顔画像を示す登録顔画像番号（＝Ｋ）と照合度とを認識顔レジスタＲＧＳＴ２に登録する。登録が完了すると、ステップＳ２２７で変数Ｋをインクリメントし、その後にステップＳ２０７に戻る。ステップＳ２２３の判別結果がＮＯであれば、ステップＳ２２７の処理を経てステップＳ２０７に戻る。
【００９１】
ステップＳ２０７の判別結果がＹＥＳであれば、少なくとも１つの登録顔画像番号が認識顔レジスタＲＧＳＴ２に設定されているか否かをステップＳ２０９で判別する。判別結果がＹＥＳであれば、ステップＳ２１１でフラグＦＬＧ＿ＲＣＧを“１”に設定する。ステップＳ２１３では、最大照合度に対応する登録顔画像番号と指定された顔枠の位置およびサイズとを確定レジスタＲＧＳＴ３に登録する。ステップＳ２０９の判別結果がＮＯであれば、ステップＳ２１５でフラグＦＬＧ＿ＲＣＧを“０”に設定する。ステップＳ２１３またはＳ２１５の処理が完了すると、上階層のルーチンに復帰する。
【００９２】
以上の説明から分かるように、ＣＰＵ２６は、ＳＤＲＡＭ３２の探索画像エリア３２ｃに格納された探索画像データから１または２以上の顔画像を探索し(S153~S183)、これによって発見された顔画像を順に指定する(S189)。ＣＰＵ２６はまた、指定された顔画像の表情を検出し(S201)、複数の登録顔画像のうち指定された顔画像と符合する登録顔画像を検出された表情を参照して探索する(S203~207, S217~S227)。ＣＰＵ２６はその後、発見された登録顔画像の属性を示す属性情報をＬＣＤモニタ３８に表示する(S209~S215, S125~S133)。
【００９３】
探索画像データに現れた顔画像と符合する登録顔画像を探索するにあたっては、探索画像データに現れた顔画像の表情が参照される。ＬＣＤモニタ３８に表示される属性情報は、こうして発見された登録顔画像の属性つまり被写界像に現れた顔画像の属性を示す。これによって、動作性能が向上する。
【００９４】
なお、この実施例では、ステップＳ２０１で算出された笑顔度とステップＳ２１７で検出された笑顔度との相違を抑制ないし解消するために、指定顔枠に属する顔画像の特徴量を修正するようにしている。しかし、指定顔枠に属する顔画像の特徴量に代えて、或いは指定顔枠に属する顔画像の特徴量とともに、Ｋ番目の登録顔画像の特徴量を修正するようにしてもよい。また、修正する対象を特徴量ではなく顔画像とし、修正された顔画像の特徴量を検出するようにしてもよい。
【００９５】
また、この実施例では、特徴量を修正するために、指定顔枠に属する顔画像の笑顔度とＫ番目の登録顔画像の笑顔度とを求めるようにしている。しかし、これに代えて、互いに異なる笑顔度を示すように指定顔枠に属する顔画像および／またはＫ番目の登録顔画像を繰り返し修正し、指定顔枠に属する顔画像の特徴量とＫ番目の登録顔画像の特徴量とを修正処理毎に照合し、そして指定顔枠に属する顔画像と符合する登録顔画像をこのような照合結果に基づいて特定するようにしてもよい。
【００９６】
この場合、図１１に示す登録顔辞書ＲＧＤＣに代えて図３４に示す登録顔辞書ＲＧＤＣを準備し、かつ図３２〜図３３に示す顔認識処理に代えて図３５〜図３７に示す顔認識処理を実行する必要がある。
【００９７】
図３４によれば、登録顔辞書ＲＧＤＣを形成する各カラムには、普通（笑顔度＝０）の顔画像が記述される。図３５によれば、図３２に示すステップＳ２０１に相当する処理は省略される。また、図３５に示すステップＳ２０３〜Ｓ２１５の処理は、図３２に示すステップＳ２０３〜Ｓ２１５の処理と同じであるため、重複した説明は省略する。
【００９８】
ステップＳ２０７の判別結果がＮＯであれば、ステップＳ２３１で変数Ｌを“１”に設定し、ステップＳ２３３で笑顔度を“Ｌ＊１０”に設定する。ステップＳ２３５では、Ｋ番目のカラムに記述された登録顔画像の特徴量をステップＳ２３３で設定された笑顔度を参照して修正する。ステップＳ２３７では指定顔枠に属する画像データの特徴量をステップＳ２３７で修正された特徴量と照合し、ステップＳ２３９では変数Ｌが“１０”に達したか否かを判別する。
【００９９】
判別結果がＮＯであればステップＳ２４１で変数ＬをインクリメントしてからステップＳ２３３に戻り、判別結果がＹＥＳであればステップＳ２４３に進む。ステップＳ２４３ではステップＳ２３７の処理によって得られた合計１０個の照合度の中から最大照合度を検出し、ステップＳ２４５では検出された最大照合度が基準値ＲＥＦを上回るか否かを判別する。判別結果がＹＥＳであればステップＳ２４７に進み、照合先の登録顔画像を示す登録顔画像番号（＝Ｋ）と最大照合度とを認識顔レジスタＲＧＳＴ２に登録する。登録が完了すると、ステップＳ２４９で変数Ｋをインクリメントし、その後にステップＳ２０７に戻る。ステップＳ２４５の判別結果がＮＯであれば、ステップＳ２４９の処理を経てステップＳ２０７に戻る。
【０１００】
また、上述の実施例では、指定顔枠に属する顔画像の笑顔度とＫ番目の登録顔画像の笑顔度との相違を抑制ないし解消するために、顔画像の修正処理を実行するようにしている。しかし、互いに異なる笑顔度で共通の顔を表す複数の登録顔画像を登録顔辞書ＲＧＤＣの各カラムに準備し、指定顔枠に属する顔画像の笑顔度に近い笑顔度を有する登録顔画像を各カラムから選択し、そして選択された登録顔画像を指定顔枠に属する顔画像と照合するようにしてもよい。
【０１０１】
この場合、図１１に示す登録顔辞書ＲＧＤＣに代えて図３８に示す登録顔辞書ＲＧＤＣを準備し、かつ図３２〜図３３に示す顔認識処理に代えて図３９〜図４１に示す顔認識処理を実行する必要がある。
【０１０２】
図３８によれば、登録顔辞書ＲＧＤＣを形成する各カラムには、共通の人物の顔画像が普通顔（笑顔度＝０）および笑顔（笑顔度＝１００）に対応して記述される。
【０１０３】
図３９によれば、まずステップＳ２５１で指定顔枠に属する画像データの笑顔度を算出する。ステップＳ２５３では算出された笑顔度が閾値ＴＨ（＝５０）未満であるか否かを判別し、判別結果がＹＥＳであればステップＳ２５５で普通顔を参照顔として設定する一方、判別結果がＮＯであればステップＳ２５７で笑顔を参照顔として設定する。ステップＳ２５９では認識顔レジスタＲＧＳＴ２をクリアし、ステップＳ２６１では変数Ｋを“１”に設定する。ステップＳ２６３では変数Ｋが最大値Ｋｍａｘを上回るか否かを判別し、判別結果がＮＯであればステップＳ２７３に進む。
【０１０４】
ステップＳ２７３では、指定顔枠に属する画像データの特徴量をＫ番目の登録顔画像の特徴量と照合し、ステップＳ２７５では照合度が基準値ＲＥＦを上回るか否かを判別する。判別結果がＹＥＳであればステップＳ２７７に進み、照合先の登録顔画像を示す登録顔画像番号（＝Ｋ）と照合度とを認識顔レジスタＲＧＳＴ２に登録する。登録が完了すると、ステップＳ２７９で変数Ｋをインクリメントし、その後にステップＳ２６３に戻る。ステップＳ２７５の判別結果がＮＯであれば、ステップＳ２７９の処理を経てステップＳ２６３に戻る。
【０１０５】
ステップＳ２６３の判別結果がＹＥＳであれば、少なくとも１つの登録顔画像番号が認識顔レジスタＲＧＳＴ２に設定されているか否かをステップＳ２６５で判別する。判別結果がＹＥＳであれば、ステップＳ２６７でフラグＦＬＧ＿ＲＣＧを“１”に設定する。ステップＳ２６９では、最大照合度に対応する登録顔画像番号と指定顔枠の位置およびサイズとを確定レジスタＲＧＳＴ３に登録する。ステップＳ２６５の判別結果がＮＯであれば、ステップＳ２７１でフラグＦＬＧ＿ＲＣＧを“０”に設定する。ステップＳ２６９またはＳ２７１の処理が完了すると、上階層のルーチンに復帰する。
【符号の説明】
【０１０６】
１０ …ディジタルカメラ
１６ …イメージャ
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
４４ …フラッシュメモリ

【特許請求の範囲】
【請求項１】
被写界像から１または２以上の顔画像を探索する第１探索手段、
前記第１探索手段によって発見された１または２以上の顔画像の各々を第１注目顔画像として指定する第１指定手段、
前記第１注目顔画像と符合する登録顔画像を前記第１注目顔画像の表情を参照して複数の登録顔画像の中から探索する第２探索手段、および
前記第２探索手段によって発見された登録顔画像の属性を示す属性情報を出力する出力手段を備える、顔探索装置。
【請求項２】
前記第２探索手段は、前記複数の登録顔画像の各々を第２注目顔画像として指定する第２指定手段、および前記第１注目顔画像の表情と前記第２注目顔画像の表情との相違が抑制されるように前記第１注目顔画像および／または前記第２注目顔画像を修正する修正手段を含む、請求項１記載の顔探索装置。
【請求項３】
前記複数の登録顔画像はそれぞれ複数の表情パラメータを伴い、
前記第２探索手段は前記第２注目顔画像の表情パラメータを前記修正手段の修正処理のために前記複数の表情パラメータの中から選択する表情パラメータ選択手段をさらに含む、請求項２記載の顔探索装置。
【請求項４】
前記第２探索手段は、前記複数の登録顔画像の各々を第２注目顔画像として指定する第２指定手段、互いに異なる表情を示すように前記第１注目顔画像および／または前記第２注目顔画像を繰り返し修正する修正手段、前記第１注目顔画像および前記第２注目顔画像を前記修正手段による修正処理毎に照合する照合手段、および前記第１注目顔画像と符合する登録顔画像を前記照合手段の照合結果に基づいて特定する特定手段を含む、請求項１記載の顔探索装置。
【請求項５】
前記複数の登録顔画像の各々は互いに異なる表情で共通の顔を表す複数の画像を含み、
前記第２探索手段は、前記第１注目顔画像の表情に沿う表情を有する画像を前記第２指定手段の指定処理に関連して前記複数の画像の中から選択する画像選択手段、および前記画像選択手段によって選択された画像を前記第１注目画素画像と照合する照合手段を含む、請求項１記載の顔探索装置。
【請求項６】
前記複数の登録顔画像はそれぞれ複数の名称を伴い、
前記出力手段によって出力される属性情報は前記第２探索手段によって発見された登録顔画像の名称を含む、請求項１ないし５のいずれかに記載の顔探索装置。
【請求項７】
被写界を捉える撮像手段をさらに備え、
前記第１探索手段は前記撮像手段から出力された被写界像に対して探索処理を実行する、請求項１ないし６のいずれかに記載の顔探索装置。
【請求項８】
前記第１探索手段は標準顔画像を参照して探索処理を実行する、請求項１ないし７のいずれかに記載の顔探索装置。
【請求項９】
顔探索装置のプロセッサに、
被写界像から１または２以上の顔画像を探索する第１探索ステップ、
前記第１探索ステップによって発見された１または２以上の顔画像の各々を第１注目顔画像として指定する指定ステップ、
前記第１注目顔画像と符合する登録顔画像を前記第１注目顔画像の表情を参照して複数の登録顔画像の中から探索する第２探索ステップ、および
前記第２探索ステップによって発見された登録顔画像の属性を示す属性情報を出力する出力ステップを実行させるための、顔探索プログラム。
【請求項１０】
顔探索装置によって実行される顔探索方法であって、
被写界像から１または２以上の顔画像を探索する第１探索ステップ、
前記第１探索ステップによって発見された１または２以上の顔画像の各々を第１注目顔画像として指定する指定ステップ、
前記第１注目顔画像と符合する登録顔画像を前記第１注目顔画像の表情を参照して複数の登録顔画像の中から探索する第２探索ステップ、および
前記第２探索ステップによって発見された登録顔画像の属性を示す属性情報を出力する出力ステップを備える、顔探索方法。

【図１】