電子カメラ
【構成】イメージャ16は、被写界を捉える撮像面を有して被写界像を繰り返し出力する。CPU26は、イメージャ16から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する。CPU26はまた、照合結果が符合条件を満足するタイミングに対応してイメージャ16から出力された被写界像に基づいて基準画像を作成し、作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する。
【効果】基準画像の作成に掛かる負荷および参照特徴パターンの選択に掛かる負荷が、低減される。
【効果】基準画像の作成に掛かる負荷および参照特徴パターンの選択に掛かる負荷が、低減される。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、電子カメラに関し、特に、指定画像に符合する画像を撮像装置から出力された被写界像から探索する、電子カメラに関する。
【背景技術】
【0002】
この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、人物が本人であるか否かを認識する人物認識装置において、人物の顔画像などの生体情報を辞書情報として用いることにより、人物の認識処理が実行される。また、誤って認識される可能性の高い人物であると判定された場合には、認識条件を変化させて再度認識処理が実行される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−182184号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、辞書情報の中から本人の情報を選択するためには、認識処理以外にも、誤って認識される可能性が高い人物であるか否かの判定処理が実行される必要がある。また、誤って認識される可能性が高い人物であると判定された場合には、再度認識処理が実行される。したがって、辞書情報からの情報の選択に際して、装置への負荷が大きくなるおそれがある。
【0005】
それゆえに、この発明の主たる目的は、負荷を低減することができる、電子カメラを提供することである。
【課題を解決するための手段】
【0006】
この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段(16)、撮像手段から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する照合手段(S51~S63)、照合手段の照合結果が符合条件を満足するタイミングに対応して撮像手段から出力された被写界像に基づいて基準画像を作成する作成手段(S33~S35)、および作成手段によって作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する選択手段(S67~S83)を備える。
【0007】
好ましくは、代表特徴パターンは代表元の特徴パターングループに属する複数の特徴パターンのうち平均特徴パターンに最も近似する特徴パターンに相当する。
【0008】
好ましくは、1または2以上の代表特徴パターンを収めた第1辞書(AVGDC)と1または2以上の特定パターングループの各々に属する複数の特徴パターンを収めた第2辞書(GLDC)とを格納するメモリ(44)をさらに備え、照合手段は第1辞書を参照して照合処理を実行し、選択手段は第2辞書を参照して選択処理を実行する。
【0009】
さらに好ましくは、1または2以上の代表特徴パターンの各々は代表元の特徴パターングループに属する複数の特徴パターンの平均に相当する。
【0010】
好ましくは、特徴パターングループの数は複数であり、選択手段は、照合手段の照合結果に基づいて一部の特徴パターングループを特定する特定手段(S67)、および特定手段によって特定された特徴パターングループに属する複数の特徴パターンの中から参照特徴パターンを選択する選択実行手段(S69~S83)を含む。
【0011】
さらに好ましくは、特定手段は照合度が最も高い代表特徴パターンに対応する特徴パターングループを特定する。
【0012】
好ましくは、特徴パターングループの数は単数であり、照合手段は被写界像を単一の代表特徴パターンと照合し、選択手段は単一の特徴パターングループに属する複数の特徴パターンの中から参照特徴パターンを選択する。
【0013】
好ましくは、特徴パターンは動物の顔画像の特徴パターンに相当し、特徴パターングループは共通の科目に属する動物の特徴パターンを収めたグループに相当する。
【発明の効果】
【0014】
この発明によれば、基準画像の作成にあたって、被写界像は1または2以上の特定パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合される。これによって、基準画像の作成に掛かる負荷が低減される。また、基準画像に相当する物体像の探索に用いる参照特徴パターンは、少なくとも一部の特徴パターングループに属する複数の特徴パターンの中から選択される。これによって、対象となる特徴パターングループが減少するほど、参照特徴パターンの選択に掛かる負荷が低減される。
【0015】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0016】
【図1】この発明の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】図2実施例において参照される一般辞書の構成の一例を示す図解図である。
【図4】ペット登録モードにおいて参照されるレジスタの構成の一例を示す図解図である。
【図5】ペット登録モードにおいて参照される他のレジスタの構成の一例を示す図解図である。
【図6】ペット登録モードにおいて捉えられた動物を表す画像の一例を示す図解図である。
【図7】ペット登録モードにおいて捉えられた動物を表す画像の他の一例を示す図解図である。
【図8】評価エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図9】ペット登録モードにおいて作成される抽出辞書の一例を示す図解図である。
【図10】ペット登録モードにおいて作成される抽出辞書の他の一例を示す図解図である。
【図11】ペット登録モードにおける動作の一部を示すタイミング図である。
【図12】ペット撮像モードにおいてモニタ画面に表示された登録ペット画像の一例を示す図解図である。
【図13】撮像用顔検出タスクにおいて用いられる顔検出枠の一例を示す図解図である。
【図14】撮像用顔検出タスクにおける顔検出処理の一部を示す図解図である。
【図15】ペット撮像モードにおいて捉えられた動物を表す画像の一例を示す図解図である。
【図16】ペット撮像モードにおいて捉えられた動物を表す画像の他の一例を示す図解図である。
【図17】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図18】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図19】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図20】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図21】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図22】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図23】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図24】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図25】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図26】他の実施例において参照される平均辞書の構成の一例を示す図解図である。
【図27】他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【図28】他の実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図29】その他の実施例において参照されるグループ平均辞書の構成の一例を示す図解図である。
【図30】その他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【図31】さらにその他の実施例において参照される一般辞書の構成の一例を示す図解図である。
【図32】他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【図33】他の実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【発明を実施するための形態】
【0017】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0018】
図1を参照して、この発明の電子カメラは、基本的に次のように構成される。撮像手段1は、被写界を捉える撮像面を有して被写界像を繰り返し出力する。照合手段2は、撮像手段1から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する。作成手段3は、照合手段2の照合結果が符合条件を満足するタイミングに対応して撮像手段1から出力された被写界像に基づいて基準画像を作成する。選択手段4は、作成手段3によって作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する。
【0019】
したがって、基準画像の作成にあたって、被写界像は1または2以上の特定パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合される。これによって、基準画像の作成に掛かる負荷が低減される。また、基準画像に相当する物体像の探索に用いる参照特徴パターンは、少なくとも一部の特徴パターングループに属する複数の特徴パターンの中から選択される。これによって、対象となる特徴パターングループが減少するほど、参照特徴パターンの選択に掛かる負荷が低減される。
[実施例]
【0020】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経た被写界の光学像は、イメージャ16の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【0021】
電源が投入されると、CPU26は、キー入力装置28に設けられたモード切り換えスイッチ28mdの設定(つまり現時点の動作モード)をメインタスクの下で判別する。現時点の動作モードがペット登録モードであれば、ペット登録タスクおよび登録用顔検出タスクが起動される。また、現時点の動作モードがペット撮像モードであれば、ペット画像が登録済みであることを条件として、ペット撮像タスクおよび撮像用顔検出タスクが起動される。
【0022】
ペット登録モードが選択されたとき、CPU26は、ペット登録タスクの下で動画取り込み処理を開始するべく、ドライバ18cに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ18cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ16からは、読み出された電荷に基づく生画像データが周期的に出力される。
【0023】
前処理回路20は、イメージャ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路30を通してSDRAM32の生画像エリア32aに書き込まれる。
【0024】
後処理回路34は、生画像エリア32aに格納された生画像データをメモリ制御回路30を通して読み出し、読み出された生画像データに色分離処理,白バランス調整処理,YUV変換処理などの処理を施し、YUV形式に従う表示画像データおよび探索画像データを個別に作成する。表示画像データは、メモリ制御回路30によってSDRAM32の表示画像エリア32bに書き込まれる。探索画像データは、メモリ制御回路30によってSDRAM32の探索画像エリア32cに書き込まれる。
【0025】
LCDドライバ36は、表示画像エリア32bに格納された表示画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0026】
CPU26はまた、ペット登録タスクと並列して実行される登録用顔検出タスクの下で、探索画像エリア32cに格納された探索画像データから動物の顔画像を探索する。このような登録用顔検出タスクのために、図3に示す一般辞書GLDC、図4に示すレジスタRGST1、および図5に示すレジスタRGST2が準備される。
【0027】
図3に示す一般辞書GLDCにおいて、グループ1〜3には、互いに異なる品種に属する犬の顔の特徴を各々が表す複数の顔パターンが、互いに近似する顔を有する品種ごとに収められる。グループ4および5には、互いに異なる品種に属する猫の顔の特徴を各々が表す複数の顔パターンが、互いに近似する顔を有する品種ごとに収められる。グループ6および7には、互いに異なる品種に属するうさぎの顔の特徴を各々が表す複数の顔パターンが、互いに近似する顔を有する品種ごとに収められる。なお、図3では、品種の名称が顔パターン番号FP_K_L(K=1,2,3…,L=1,2,3…)に割り当てられているが、実際には品種に相当する顔のパターンが顔パターン番号FP_K_Lに割り当てられる。また、この実施例では“顔パターン”は顔の特徴量と同義である。
【0028】
登録用顔検出タスクの下では、まず登録枠RF1の表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、登録枠RF1を表すグラフィックジェネレータをLCDドライバ36に向けて出力する。登録枠RF1は、図6または図7に示す要領でLCDモニタ38の中央に表示される。
【0029】
続いて、フラグFLG_Aが“0”に設定され、フラグFLG_Bが“0”に設定される。ここで、フラグFLG_Aは、登録枠RF1に属する画像データとの照合度が基準値REF1を上回る顔パターンが一般辞書GLDCにおいて発見されたか否かを識別するための、フラグである。“0”が未発見を示す一方、“1”が発見済みを示す。また、フラグFLG_Bは参照顔パターン番号が決定されたか否かを識別するためのフラグであり、“0”が未決定を示す一方、“1”が決定済みを示す。なお、参照顔パターン番号は、撮像用顔検出タスクの下での画像探索において参照される顔パターン番号である。
【0030】
垂直同期信号Vsyncが発生すると、登録枠RF1に属する一部の画像データが探索画像エリア32cから読み出され、読み出された画像データの特徴量が算出される。したがって、猫CT1が図6に示す要領で捉えられた場合、猫CT1の顔の特徴量が算出される。また、犬DG1が図7に示す要領で捉えられた場合、犬DG1の顔の特徴量が算出される。
【0031】
続いて、変数Kが“1”,“2”,“3”…の各々に設定され、算出された特徴量が顔パターンFP_K_1と照合される。図3の例では、共通のグループに属する複数の顔パターンの平均に最も近い顔パターンが、グループを代表する顔パターンとして顔パターン番号FP_K_1に割り当てられている。したがって、探索画像エリア32cから読み出された画像データの特徴量は、各グループの代表顔パターン(特徴量)と照合される。照合度が基準値REF1を上回れば、現時点の顔パターン番号(=FP_K_1)と照合度とが図4に示すレジスタRGST1に登録され、フラグFLG_Aが“1”に更新される。
【0032】
図6に示す猫CT1については、グループ4の代表顔パターンであるFP_4_1に対する照合度が基準値REF1を上回る。したがって、レジスタRGST1には、グループ4に対する照合度がグループ4の代表顔パターン番号(=FP_4_1)とともに登録される。
【0033】
図7に示す犬DG1については、グループ1の代表顔パターンであるFP_1_1に対する照合度が基準値REF1を上回り、さらにグループ2の代表顔パターンであるFP_2_1に対する照合度が基準値REF1を上回る。したがって、レジスタRGST1には、グループ1に対する照合度がグループ1の代表顔パターン番号(=FP_1_1)とともに登録され、さらにグループ2に対する照合度がグループ2の代表顔パターン番号(=FP_2_1)とともに登録される。
【0034】
K=7に対応する上述の処理が完了した時点でフラグFLG_Aが“1”を示していれば、レジスタRGST1に登録された顔パターン番号のうち最大照合度に対応する顔パターン番号を含むグループが参照グループとして特定される。図6の例においては、代表の照合度が基準値REF1を上回ったのはグループ4だけであるので、“グループ4”が参照グループとして特定される。また、図7の例において、グループ1に対する照合度がグループ2に対する照合度よりも高ければ、“グループ1”が参照グループとして特定される。
【0035】
続いて、参照グループのグループ番号が変数Lに設定され、参照グループに属する顔パターンの数が検出される。検出された数は、変数Nの可変範囲を定義するべく、最大値Nmaxに設定される。
【0036】
次に、変数Nが“1”〜Nmaxの各々に設定され、先に算出された登録枠RF1に属する画像データの特徴量が、顔パターンFP_L_Nと照合される。照合度が基準値REF1を上回れば、現時点の顔パターン番号(=FP_L_N)と照合度とが図5に示すレジスタRGST2に登録される。
【0037】
図6に示す猫CT1については、アメリカンショートヘアに対する照合度が基準値REF1を上回り、さらにエジプシャンマウに対する照合度が基準値REF1を上回る。したがって、レジスタRGST2には、アメリカンショートヘアに対する照合度がアメリカンショートヘアの顔パターン番号(=FP_4_2)とともに登録され、さらにエジプシャンマウに対する照合度がエジプシャンマウの顔パターン番号(=FP_4_3)とともに登録される。
【0038】
図7に示す犬DG1については、アラスカマラミュートに対する照合度が基準値REF1を上回り、さらにシベリアンハスキーに対する照合度が基準値REF1を上回る。したがって、レジスタRGST2には、アラスカマラミュートに対する照合度がアラスカマラミュートの顔パターン番号(=FP_1_2)とともに登録され、さらにシベリアンハスキーに対する照合度がシベリアンハスキーの顔パターン番号(=FP_1_3)とともに登録される。
【0039】
N=Nmaxに対応する上述の処理が完了すると、レジスタRGST2に登録された顔パターン番号のうち最大照合度に対応する顔パターン番号が参照顔パターン番号として決定される。図6の例において、アメリカンショートヘアに対する照合度がエジプシャンマウに対する照合度よりも高ければ、“FP_4_2”が参照顔パターン番号として決定される。また、図7の例において、シベリアンハスキーに対する照合度がアラスカマラミュートに対する照合度よりも高ければ、“FP_1_3”が参照顔パターン番号として決定される。フラグFLG_Bは、参照顔パターン番号が決定されたことを表明するべく“1”に更新される。
【0040】
図8を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVAを形成する。また、前処理回路20は、上述した処理に加えて、生画像データを簡易的にRGBデータに変換する簡易RGB変換処理を実行する。
【0041】
AE評価回路22は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータを、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAE評価値が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。
【0042】
また、AF評価回路24は、前処理回路20から出力されたRGBデータのうち同じ評価エリアEVAに属するRGBデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。
【0043】
フラグFLG_Aが“0”を示すとき、CPU26は、AE評価回路22からの出力に基づく簡易AE処理をペット登録タスクの下で実行し、適正EV値を算出する。簡易AE処理は動画取込み処理と並列して実行され、算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【0044】
フラグFLG_Aが“1”に更新されると、CPU26は、厳格AE処理とAF処理とをペット登録タスクの下で実行する。厳格AE処理もまたAE評価回路22の出力に基づいて実行され、これによって最適EV値が算出される。算出された最適EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定され、これによってスルー画像の明るさが厳格に調整される。また、AF処理はAF評価回路24の出力に基づいて実行され、フォーカスレンズ12はAF処理によって発見された合焦点に設定される。これによって、スルー画像の鮮鋭度が向上する。
【0045】
AF処理が完了すると、CPU26は、ペット登録タスクの下で静止画取り込み処理を実行する。AF処理が完了した直後の1フレームの画像データは、静止画取り込み処理によって静止画エリア32dに取り込まれる。CPU26はその後、静止画エリア32dに取り込まれた画像データのうち登録枠RF1に属する一部の画像データを切り出し、かつ切り出された画像データを縮小する。これによって、登録ペット画像データが得られる。
【0046】
フラグFLG_Bは、参照顔パターン番号の決定に応答して“1”に更新される。上述の要領で作成された登録ペット画像データは、フラグFLG_Bが“1”に更新されたとき、参照顔パターン番号に割り当てられる。互いに関連する登録ペット画像データおよび参照パターン番号は、抽出辞書EXDCとしてフラッシュメモリ44に保存される。
【0047】
図6の例では、猫CT1の顔を表す登録画像データが“FP_4_2”に割り当てられる。また、図7の例では、犬DG1の顔を表す登録画像データが“FP_1_3”に割り当てられる。したがって、図6に示す猫CT1が最初に撮影されると、図9に示す抽出辞書EXDCが新規に作成される。次に図7に示す犬DG1が撮影されると、抽出辞書EXDCは図10に示す要領で更新される。
【0048】
図11を参照して、登録ペット画像データは、フラグFLG_Aの“0”から“1”への更新に応答して(照合度が基準値REF1を上回る代表顔パターンの最初の発見に応答して)作成される。
【0049】
このように、本実施例では、すべての顔パターンに対して照合処理が行われるのではなく、代表顔パターンに対して照合処理が行われる。また、ペット登録タスクにおける照合処理で用いられる基準値REF1は、後述する撮像用顔検出タスクにおける照合処理で用いられる基準値REF2よりも低く設定された閾値である。よって、登録できるか否かの判定に要する時間が短縮され、登録ペット画像データを早期に取得することができる。これによって、前方を向く顔画像を表す良好な登録画像データが得られる。
【0050】
また、登録ペット画像データに相当する物体像の探索に用いる参照顔パターンは、参照グループに属する顔パターンの中から選択される。これによって、参照グループが減少するほど、参照顔パターンの選択に掛かる負荷が低減される。
【0051】
ペット撮像モードが選択されると、CPU26は、抽出辞書EXDCに収められた登録ペット画像データをペット撮像タスクの下でフラッシュメモリ44から読み出し、読み出された登録ペット画像データをSDRAM32の表示画像エリア32bに展開する。LCDドライバ36は、展開された登録ペット画像データをメモリ制御回路30を通して読み出し、読み出された登録ペット画像データに基づいてLCDモニタ38を駆動する。
【0052】
したがって、抽出辞書EXDCが図10に示す要領で作成されたときは、猫CT1および犬DG2を表す2つの登録ペット画像が図12に示す要領でLCDモニタ38に表示される。
【0053】
表示された登録ペット画像のいずれか1つを選択する選択操作が行われると、CPU26は、選択された登録ペット画像に対応する参照顔パターンの特徴量を一般辞書GLDCから読み出す。図12の例において猫CT1を表す登録ペット画像が選択された場合は、顔パターン番号FP_4_2の特徴量が一般辞書GLDCから読み出される。また、図12の例において犬DG1を表す登録ペット画像が選択された場合は、顔パターン番号FP_1_3の特徴量が一般辞書GLDCから読み出される。参照顔パターンの特徴量の読み出しが完了すると、ペット撮像タスクの下で動画取込み処理が開始される。これによって、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。また、探索画像データが探索画像エリア32cに繰り返し書き込まれる。
【0054】
CPU26はまた、ペット撮像タスクと並列して実行される撮像用顔検出タスクの下で、探索画像エリア32cに格納された探索画像データから動物の顔画像を探索する。探索される顔画像は、選択操作によって選択された登録ペット画像に符合する画像である。このような撮像用顔検出タスクのために、図13に示す複数の顔検出枠FD,FD,FD,…が準備される。
【0055】
顔検出枠FDは、垂直同期信号Vsyncが発生する毎に、探索画像エリア32c上を評価エリアEVAに対応してラスタ走査態様で移動する(図14参照)。顔検出枠FDのサイズは、ラスタ走査が終了する毎に“200”から“20”まで“5”刻みで縮小される。
【0056】
CPU26は、顔検出枠FDに属する画像データをメモリ制御回路30を通して探索画像エリア32cから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、参照顔パターンの特徴量と照合される。照合度が基準値REF2を上回ると、現時点の顔検出枠FDの位置およびサイズが顔画像のサイズおよび位置として決定され、フラグFLGpetが“0”から“1”に更新される。なお、前述の通り、ここで用いられる基準値REF2は、ペット登録タスクの照合処理で用いられる基準値REF1よりも高く設定された閾値である。よって、顔画像の探索の精度が向上する。
【0057】
ペット撮像タスクの下で、CPU26は、FLGpet=0に対応して簡易AE処理を繰り返し実行する。スルー画像の明るさは、簡易AE処理によって適度に調整される。フラグFLGpetが“1”に更新されると、CPU26は、顔枠KF1の表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、顔枠KF1を表すグラフィックジェネレータをLCDドライバ36に向けて出力する。顔枠KF1は、撮像用顔検出タスクの下で決定された顔画像の位置およびサイズに適合する態様でLCDモニタ38に表示される。
【0058】
したがって、猫CT1の登録ペット画像が選択された状態で猫CT1が捉えられたとき、顔枠KF1は図15に示す要領でLCDモニタ38に表示される。また、犬DG1の登録ペット画像が選択された状態で犬DG1が捉えられたとき、顔枠KF1は図16に示す要領でLCDモニタ38に表示される。
【0059】
CPU26はその後、ペット撮像タスクの下で厳格AE処理およびAF処理を実行する。厳格AE処理およびAF処理の結果、スルー画像の明るさおよびフォーカスが厳格に調整
される。AF処理が完了すると、静止画取り込み処理および記録処理が実行される。AF処理が完了した直後の1フレームの画像データは、静止画取り込み処理によって静止画エリア32dに取り込まれる。取り込まれた1フレームの画像データは、記録処理に関連して起動したI/F40によって静止画エリア32dから読み出され、ファイル形式で記録媒体42に記録される。顔枠KF1は、記録処理が完了した後に非表示とされる。
【0060】
CPU26は、図17に示すメインタスク,図18に示すペット登録タスク,図19〜図21に示す登録用顔検出タスク,図22〜図23に示すペット撮像タスク,および図24〜図25に示す撮像用顔検出タスクを含む複数のタスクを実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
【0061】
図17を参照して、ステップS1では現時点の動作モードがペット登録モードであるか否かを判別し、ステップS5では現時点の動作モードがペット撮像モードであるか否かを判別する。ステップS1でYESであれば、ステップS3でペット登録タスクを起動する。ステップS5でYESであれば、ペット画像が登録済みであるか否か(抽出辞書EXDCが作成済みであるか否か)をステップS7で判別する。
【0062】
判別結果がYESであればステップS9でペット撮像タスクを起動し、判別結果がNOであればステップS11でエラーを報知する。ステップS1およびS5のいずれもNOであれば、ステップS13で他の処理を実行する。ステップS3,S9,S11またはS13の処理が完了すると、モード切り換え操作が行われたか否かをステップS15で繰り返し判別する。判別結果がNOからYESに更新されると、起動中のタスクをステップS17で停止し、その後にステップS1に戻る。
【0063】
図18を参照して、ステップS21では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がLCDモニタ38に表示される。ステップS23では、登録用顔検出タスクを起動する。
【0064】
フラグFLG_Aは、登録用顔検出タスクの下で“0”に初期設定され、照合度が基準値REF1を上回る代表顔パターンが発見されたときに“1”に更新される。ステップS25では、このようなフラグFLG_Aが“1”を示すか否かを判別し、判別結果がNOであれば、ステップS27で簡易AE処理を実行する。これによって、スルー画像の明るさが適度に調整される。
【0065】
フラグFLG_Aが“0”から“1”に更新されると、ステップS29で厳格AE処理を実行し、ステップS31でAF処理を実行する。厳格AE処理およびAF処理の結果、スルー画像の明るさおよびフォーカスが厳格に調整される。AF処理が完了すると、ステップS33で静止画取り込み処理を実行する。これによって、AF処理が完了した直後の1フレームの画像データが静止画エリア32dに取り込まれる。ステップS35では、静止画エリア32dに取り込まれた画像データに基づいて登録ペット画像データを作成する。
【0066】
フラグFLG_Bは、登録用顔検出タスクの下で“0”に初期設定され、参照顔パターン番号が決定されたときに“1”に更新される。ステップS37では、このようなフラグFLG_Bが“1”を示すか否かを判別する。ステップS37の判別結果がNOからYESに更新されるとステップS39に進み、ステップS35で作成された登録ペット画像データを参照顔パターン番号に割り当てる。これによって、抽出辞書EXDCが新規または追加的に作成される。抽出辞書EXDCが作成されると、ステップS23に戻る。
【0067】
図19を参照して、ステップS41では登録枠RF1の表示をグラフィックジェネレータ46に要求する。これによって、登録枠RF1がLCDモニタ38の中央に表示される。ステップS43ではフラグFLG_Aを“0”に設定し、ステップS45ではフラグFLG_Bを“0”に設定する。ステップS47では垂直同期信号Vsyncが発生したか否かを判別し、判別結果がNOからYESに更新されるとステップS49に進む。ステップS49では、登録枠RF1に属する一部の画像データを探索画像エリア32cから読み出し、読み出された画像データの特徴量を算出する。
【0068】
ステップS51では変数Kを“1”に設定し、ステップS53ではステップS49で算出された特徴量を一般辞書GLDCに収められた顔パターンFP_K_1と照合する。ステップS55では照合度が基準値REF1を上回るか否かを判別し、判別結果がNOであればそのままステップS61に進む一方、判別結果がYESであればステップS57〜S59を経てステップS61に進む。ステップS57では、現時点の顔パターン番号(=FP_K_1)と照合度とをレジスタRGST1に登録する。ステップS59では、照合度が基準値REF1を上回る顔パターンが発見されたことを表明するべく、フラグFLG_Aを“1”に更新する。
【0069】
ステップS61では変数Kがグループ数に達したか否かを判別し、判別結果がNOであればステップS63で変数KをインクリメントしてからステップS53に戻る一方、判別結果がYESであればフラグFLG_Aが“1”を示すか否かをステップS65で判別する。フラグFLG_Aが“0”であればステップS47に戻り、フラグFLG_Aが“1”であればステップS67に進む。
【0070】
ステップS67では、レジスタRGST1に登録された顔パターン番号のうち最大照合度に対応する顔パターン番号を含むグループを、参照グループとして特定する。特定された参照グループのグループ番号は、変数Lに設定される。ステップS67の処理が完了すると、参照グループに属する顔パターンの数をステップS69で検出する。検出された数は、変数Nの可変範囲を定義するべく、最大値Nmaxに設定される。
【0071】
ステップS71では変数Nを“1”に設定し、ステップS73ではステップS49で算出された特徴量を一般辞書GLDCに収められた顔パターンFP_L_Nと照合する。ステップS75では照合度が基準値REF1を上回るか否かを判別し、判別結果がNOであればそのままステップS79に進む一方、判別結果がYESであればステップS77を経てステップS79に進む。ステップS77では、現時点の顔パターン番号(=FP_L_N)と照合度とをレジスタRGST2に登録する。
【0072】
ステップS79では変数NがNmaxに達したか否かを判別し、判別結果がNOであればステップS81で変数NをインクリメントしてからステップS73に戻る一方、判別結果がYESであればステップS83で参照顔パターン番号を決定する。参照顔パターン番号は、レジスタRGST2に登録された顔パターン番号のうち最大照合度に対応する顔パターン番号に相当する。ステップS83の処理が完了すると、参照顔パターン番号の決定を表明するべくステップS85でフラグFLG_Bを“1”に更新し、その後に処理を終了する。
【0073】
図22を参照して、ステップS91では、抽出辞書EXDCに収められた登録ペット画像データをフラッシュメモリ44から読み出し、読み出された登録ペット画像データをSDRAM32の表示画像エリア32bに展開する。この結果、1または2以上の登録ペット画像がLCDモニタ38に表示される。ステップS93では、表示された登録ペット画像のいずれか1つを選択する選択操作が行われたか否かを判別する。判別結果がNOからYESに更新されるとステップS95に進み、選択された登録ペット画像に対応する参照顔パターンの特徴量を一般辞書GLDCから読み出す。
【0074】
ステップS97では動画取込み処理を実行し、ステップS99では評価エリアEVAの全域を探索エリアとして設定する。ステップS101では、顔検出枠FDのサイズの可変範囲を定義するべく、最大サイズSZmaxを“200”に設定し、最小SZminを“20”に設定する。ステップS101の処理が完了すると、ステップS103で撮像用顔検出タスクを起動する。
【0075】
フラグFLGpetは、撮像用顔検出タスクの下で“0”に初期設定され、参照顔パターンと符合する顔画像が発見されたときに“1”に更新される。ステップS105ではこのようなフラグFLGpetが“1”を示すか否かを判別し、判別結果がNOである限り、ステップS107で簡易AE処理を繰り返し実行する。スルー画像の明るさは、簡易AE処理によって適度に調整される。
【0076】
判別結果がNOからYESに更新されるとステップS109に進み、顔枠KF1の表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、顔枠KF1を表すグラフィックジェネレータをLCDドライバ36に向けて出力する。顔枠KF1は、検出された顔画像を囲うようにLCDモニタ38に表示される。
【0077】
ステップS111では厳格AE処理を実行し、ステップS113ではAF処理を実行する。厳格AE処理およびAF処理の結果、スルー画像の明るさおよびフォーカスが厳格に調整される。ステップS115では静止画取り込み処理を実行し、ステップS117では記録処理を実行する。AF処理が完了した直後の1フレームの画像データは、静止画取り込み処理によって静止画エリア32dに取り込まれる。取り込まれた1フレームの画像データは、記録処理によって、記録媒体42に記録される。記録処理が完了すると、ステップS119で顔枠KF1の非表示をグラフィックジェネレータ46に要求し、その後にステップS99に戻る。
【0078】
図24を参照して、ステップS121ではフラグFLGpetを“0”に設定し、ステップS123では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、ステップS125で顔検出枠FDのサイズを“SZmax”に設定し、ステップS127で顔検出枠FDを探索エリアの左上位置に配置する。ステップS129では顔検出枠FDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。
【0079】
ステップS131では算出された特徴量を一般辞書GLDCから読み出された参照顔パターンの特徴量と照合し、ステップS133では照合度が基準値REF2を上回るか否かを判別する。判別結果がYESであればステップS135に進み、判別結果がNOであればステップS139に進む。
【0080】
ステップS135では、現時点の顔検出枠FDの位置およびサイズを顔画像の位置およびサイズとして決定する。この決定処理は、上述したステップS109の顔枠表示処理に反映される。顔枠KF1は、現時点の顔検出枠FDの位置およびサイズに適合する態様でLCDモニタ38に表示される。ステップS135の処理が完了すると、ステップS137でフラグFLGpetを“1”に設定し、その後に処理を終了する。
【0081】
ステップS139では、顔検出枠FDが探索エリアの右下位置に到達したか否かを判別する。判別結果がNOであれば、ステップS141で顔検出枠FDを既定量だけラスタ方向に移動させ、その後にステップS129に戻る。判別結果がYESであれば、顔検出枠FDのサイズが“SZmin”以下であるか否かをステップS143で判別する。判別結果がNOであれば、ステップS145で顔検出枠FDのサイズを“5”だけ縮小させ、ステップS147で顔検出枠FDを探索エリアの左上位置に配置し、その後にステップS129に戻る。ステップS143の判別結果がYESであれば、そのままステップS123に戻る。
【0082】
以上の説明から分かるように、イメージャ16は、被写界を捉える撮像面を有して被写界像を繰り返し出力する。CPU26は、イメージャ16から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する(S51~S63)。CPU26はまた、照合結果が符合条件を満足するタイミングに対応してイメージャ16から出力された被写界像に基づいて基準画像を作成し(S33~S35)、作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する(S67~S83)。
【0083】
このように、基準画像の作成にあたって、被写界像は1または2以上の特定パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合される。これによって、基準画像の作成に掛かる負荷が低減される。また、基準画像に相当する物体像の探索に用いる参照特徴パターンは、少なくとも一部の特徴パターングループに属する複数の特徴パターンの中から選択される。これによって、対象となる特徴パターングループが減少するほど、参照特徴パターンの選択に掛かる負荷が低減される。
【0084】
なお、この実施例では、一般辞書GLDCの各グループにおいて顔パターンそれぞれの特徴量を平均したものに最も近い特徴量を有する顔パターンを、グループを代表する顔パターンとした。しかし、共通の科目に属する動物の全ての顔パターンの特徴量を平均したものを科目ごとに定め、代表特徴パターンとして用いてもよい。例えば、一般辞書GLDCが犬の顔パターンのみからなる場合、一般辞書GLDCに含まれる全ての顔パターンを平均したものが、一つ定められる。この場合、図26に示す平均辞書AVDCが準備される。平均辞書AVDCにおいて、一般辞書GLDCに含まれる全ての顔パターンの特徴量を平均したものが、顔パターン番号FP_AVに割り当てられる。
【0085】
また、この場合、図27に示すように、図19に示すステップS51〜S53に代えてステップS171が実行され、図20に示すステップS57は実行されず、ステップS61〜S69に代えてステップS173〜S177が実行される。さらに、図28に示すように、図21に示すステップS79とステップS83との間にステップS179およびS181が実行される。
【0086】
ステップS171ではステップS49で算出された特徴量を平均辞書AVDCに収められた顔パターンFP_AVと照合する。ステップS55の判別結果がNOの場合はステップS47に戻る。ステップS59の処理が完了すると、一般辞書GLDCに属するグループの数をステップS173で検出する。検出された数は、変数Lの可変範囲を定義するべく、最大値Lmaxに設定される。ステップS175では変数Lを“1”に設定する。ステップS177ではグループNO.Lに属する顔パターンの数が検出され、その後にステップS71に進む。ステップS179では変数LがLmaxに達したか否かを判別し、判別結果がNOであればステップS181で変数LをインクリメントしてからステップS177に戻る一方、判別結果がYESであればステップS83に進む。
【0087】
また、各グループに含まれる顔パターン各々の特徴量をグループごとに平均したものを定め、各グループを代表する顔パターンとして、登録用顔検出タスクでの照合処理に用いてもよい。この場合、図29に示すグループ平均辞書AVGDCが準備される。グループ平均辞書AVGDCにおいて、各グループに含まれる顔パターン各々の特徴量をグループごとに平均したものが、グループを代表する顔パターンとして顔パターン番号FP_K_AVに割り当てられる。また、この場合、図30に示すように、図19に示すステップS53に代えてステップS191が実行され、図20に示すステップS57に代えてステップS193が実行される。ステップS191ではステップS49で算出された特徴量をグループ平均辞書AVGDCに収められた顔パターンFP_K_AVと照合する。ステップS193では、現時点の顔パターン番号(=FP_K_AV)と照合度とをレジスタRGST1に登録する。
【0088】
また、一般辞書GLDCにおいて、品種ごとに、正面向きの顔パターン、斜め右向きの顔パターン、および斜め左向きの顔パターンを含む1つのグループを構成するようにしてもよい。この場合、図31を参照して、一般辞書GLDCにおいて、グループ1,2,3,4…にはそれぞれグループごとに同一品種の顔パターンが3つずつ含まれる。顔パターンFP_1_1、FP_2_1、FP_3_1、およびFP_…_1は正面向きの顔の特徴を表し、顔パターンFP_1_2、FP_2_2、FP_3_2、およびFP_…_2は斜め右向きの顔の特徴を表し、顔パターンFP_1_3、FP_2_3、FP_3_3、およびFP_…_3は斜め左向きの顔の特徴を表す。図31の例では、例えば、正面向きの顔パターンをグループを代表する顔パターンとして顔パターン番号FP_K_1に割り当て、登録用顔検出タスクでの照合処理に用いればよい。また、この場合、登録用顔検出タスクの処理は、図19〜21に示すステップS41〜S85と同様でよい。さらに、この場合、一般辞書GLDCの各々のグループは、前述の顔向きごとの顔パターンに加えて、斜光属性等を有する顔パターンを各々の顔向きごとに追加したものであってもよい。
【0089】
また、この実施例では、図18に示すステップS29〜S35の処理と並列して、図19に示すステップS53〜S81の処理が実行される。しかし、ステップS29〜S35の処理が実行される期間にステップS53〜S81の処理を中断するようにしてもよい。この場合、図32〜図33に示すように、フラグFLG_Cを“0”に設定するステップS201をステップS29の前段に追加し、フラグFLG_Cを“1”に更新するステップS203をステップS33の後段に追加し、そしてフラグFLG_Cが“0”から“1”に更新されるまでの期間に待機するステップS205をステップS59の後段に追加する必要がある。これによって、CPU26の負荷が軽減され、登録ペット画像データの作成に要する時間がさらに短縮される。
【符号の説明】
【0090】
10 …ディジタルカメラ
16 …イメージャ
22 …AE評価回路
24 …AF評価回路
26 …CPU
32 …SDRAM
44 …フラッシュメモリ
【技術分野】
【0001】
この発明は、電子カメラに関し、特に、指定画像に符合する画像を撮像装置から出力された被写界像から探索する、電子カメラに関する。
【背景技術】
【0002】
この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、人物が本人であるか否かを認識する人物認識装置において、人物の顔画像などの生体情報を辞書情報として用いることにより、人物の認識処理が実行される。また、誤って認識される可能性の高い人物であると判定された場合には、認識条件を変化させて再度認識処理が実行される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−182184号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、辞書情報の中から本人の情報を選択するためには、認識処理以外にも、誤って認識される可能性が高い人物であるか否かの判定処理が実行される必要がある。また、誤って認識される可能性が高い人物であると判定された場合には、再度認識処理が実行される。したがって、辞書情報からの情報の選択に際して、装置への負荷が大きくなるおそれがある。
【0005】
それゆえに、この発明の主たる目的は、負荷を低減することができる、電子カメラを提供することである。
【課題を解決するための手段】
【0006】
この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段(16)、撮像手段から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する照合手段(S51~S63)、照合手段の照合結果が符合条件を満足するタイミングに対応して撮像手段から出力された被写界像に基づいて基準画像を作成する作成手段(S33~S35)、および作成手段によって作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する選択手段(S67~S83)を備える。
【0007】
好ましくは、代表特徴パターンは代表元の特徴パターングループに属する複数の特徴パターンのうち平均特徴パターンに最も近似する特徴パターンに相当する。
【0008】
好ましくは、1または2以上の代表特徴パターンを収めた第1辞書(AVGDC)と1または2以上の特定パターングループの各々に属する複数の特徴パターンを収めた第2辞書(GLDC)とを格納するメモリ(44)をさらに備え、照合手段は第1辞書を参照して照合処理を実行し、選択手段は第2辞書を参照して選択処理を実行する。
【0009】
さらに好ましくは、1または2以上の代表特徴パターンの各々は代表元の特徴パターングループに属する複数の特徴パターンの平均に相当する。
【0010】
好ましくは、特徴パターングループの数は複数であり、選択手段は、照合手段の照合結果に基づいて一部の特徴パターングループを特定する特定手段(S67)、および特定手段によって特定された特徴パターングループに属する複数の特徴パターンの中から参照特徴パターンを選択する選択実行手段(S69~S83)を含む。
【0011】
さらに好ましくは、特定手段は照合度が最も高い代表特徴パターンに対応する特徴パターングループを特定する。
【0012】
好ましくは、特徴パターングループの数は単数であり、照合手段は被写界像を単一の代表特徴パターンと照合し、選択手段は単一の特徴パターングループに属する複数の特徴パターンの中から参照特徴パターンを選択する。
【0013】
好ましくは、特徴パターンは動物の顔画像の特徴パターンに相当し、特徴パターングループは共通の科目に属する動物の特徴パターンを収めたグループに相当する。
【発明の効果】
【0014】
この発明によれば、基準画像の作成にあたって、被写界像は1または2以上の特定パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合される。これによって、基準画像の作成に掛かる負荷が低減される。また、基準画像に相当する物体像の探索に用いる参照特徴パターンは、少なくとも一部の特徴パターングループに属する複数の特徴パターンの中から選択される。これによって、対象となる特徴パターングループが減少するほど、参照特徴パターンの選択に掛かる負荷が低減される。
【0015】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0016】
【図1】この発明の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】図2実施例において参照される一般辞書の構成の一例を示す図解図である。
【図4】ペット登録モードにおいて参照されるレジスタの構成の一例を示す図解図である。
【図5】ペット登録モードにおいて参照される他のレジスタの構成の一例を示す図解図である。
【図6】ペット登録モードにおいて捉えられた動物を表す画像の一例を示す図解図である。
【図7】ペット登録モードにおいて捉えられた動物を表す画像の他の一例を示す図解図である。
【図8】評価エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図9】ペット登録モードにおいて作成される抽出辞書の一例を示す図解図である。
【図10】ペット登録モードにおいて作成される抽出辞書の他の一例を示す図解図である。
【図11】ペット登録モードにおける動作の一部を示すタイミング図である。
【図12】ペット撮像モードにおいてモニタ画面に表示された登録ペット画像の一例を示す図解図である。
【図13】撮像用顔検出タスクにおいて用いられる顔検出枠の一例を示す図解図である。
【図14】撮像用顔検出タスクにおける顔検出処理の一部を示す図解図である。
【図15】ペット撮像モードにおいて捉えられた動物を表す画像の一例を示す図解図である。
【図16】ペット撮像モードにおいて捉えられた動物を表す画像の他の一例を示す図解図である。
【図17】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図18】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図19】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図20】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図21】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図22】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図23】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図24】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図25】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図26】他の実施例において参照される平均辞書の構成の一例を示す図解図である。
【図27】他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【図28】他の実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図29】その他の実施例において参照されるグループ平均辞書の構成の一例を示す図解図である。
【図30】その他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【図31】さらにその他の実施例において参照される一般辞書の構成の一例を示す図解図である。
【図32】他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【図33】他の実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【発明を実施するための形態】
【0017】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0018】
図1を参照して、この発明の電子カメラは、基本的に次のように構成される。撮像手段1は、被写界を捉える撮像面を有して被写界像を繰り返し出力する。照合手段2は、撮像手段1から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する。作成手段3は、照合手段2の照合結果が符合条件を満足するタイミングに対応して撮像手段1から出力された被写界像に基づいて基準画像を作成する。選択手段4は、作成手段3によって作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する。
【0019】
したがって、基準画像の作成にあたって、被写界像は1または2以上の特定パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合される。これによって、基準画像の作成に掛かる負荷が低減される。また、基準画像に相当する物体像の探索に用いる参照特徴パターンは、少なくとも一部の特徴パターングループに属する複数の特徴パターンの中から選択される。これによって、対象となる特徴パターングループが減少するほど、参照特徴パターンの選択に掛かる負荷が低減される。
[実施例]
【0020】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経た被写界の光学像は、イメージャ16の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【0021】
電源が投入されると、CPU26は、キー入力装置28に設けられたモード切り換えスイッチ28mdの設定(つまり現時点の動作モード)をメインタスクの下で判別する。現時点の動作モードがペット登録モードであれば、ペット登録タスクおよび登録用顔検出タスクが起動される。また、現時点の動作モードがペット撮像モードであれば、ペット画像が登録済みであることを条件として、ペット撮像タスクおよび撮像用顔検出タスクが起動される。
【0022】
ペット登録モードが選択されたとき、CPU26は、ペット登録タスクの下で動画取り込み処理を開始するべく、ドライバ18cに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ18cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ16からは、読み出された電荷に基づく生画像データが周期的に出力される。
【0023】
前処理回路20は、イメージャ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路30を通してSDRAM32の生画像エリア32aに書き込まれる。
【0024】
後処理回路34は、生画像エリア32aに格納された生画像データをメモリ制御回路30を通して読み出し、読み出された生画像データに色分離処理,白バランス調整処理,YUV変換処理などの処理を施し、YUV形式に従う表示画像データおよび探索画像データを個別に作成する。表示画像データは、メモリ制御回路30によってSDRAM32の表示画像エリア32bに書き込まれる。探索画像データは、メモリ制御回路30によってSDRAM32の探索画像エリア32cに書き込まれる。
【0025】
LCDドライバ36は、表示画像エリア32bに格納された表示画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0026】
CPU26はまた、ペット登録タスクと並列して実行される登録用顔検出タスクの下で、探索画像エリア32cに格納された探索画像データから動物の顔画像を探索する。このような登録用顔検出タスクのために、図3に示す一般辞書GLDC、図4に示すレジスタRGST1、および図5に示すレジスタRGST2が準備される。
【0027】
図3に示す一般辞書GLDCにおいて、グループ1〜3には、互いに異なる品種に属する犬の顔の特徴を各々が表す複数の顔パターンが、互いに近似する顔を有する品種ごとに収められる。グループ4および5には、互いに異なる品種に属する猫の顔の特徴を各々が表す複数の顔パターンが、互いに近似する顔を有する品種ごとに収められる。グループ6および7には、互いに異なる品種に属するうさぎの顔の特徴を各々が表す複数の顔パターンが、互いに近似する顔を有する品種ごとに収められる。なお、図3では、品種の名称が顔パターン番号FP_K_L(K=1,2,3…,L=1,2,3…)に割り当てられているが、実際には品種に相当する顔のパターンが顔パターン番号FP_K_Lに割り当てられる。また、この実施例では“顔パターン”は顔の特徴量と同義である。
【0028】
登録用顔検出タスクの下では、まず登録枠RF1の表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、登録枠RF1を表すグラフィックジェネレータをLCDドライバ36に向けて出力する。登録枠RF1は、図6または図7に示す要領でLCDモニタ38の中央に表示される。
【0029】
続いて、フラグFLG_Aが“0”に設定され、フラグFLG_Bが“0”に設定される。ここで、フラグFLG_Aは、登録枠RF1に属する画像データとの照合度が基準値REF1を上回る顔パターンが一般辞書GLDCにおいて発見されたか否かを識別するための、フラグである。“0”が未発見を示す一方、“1”が発見済みを示す。また、フラグFLG_Bは参照顔パターン番号が決定されたか否かを識別するためのフラグであり、“0”が未決定を示す一方、“1”が決定済みを示す。なお、参照顔パターン番号は、撮像用顔検出タスクの下での画像探索において参照される顔パターン番号である。
【0030】
垂直同期信号Vsyncが発生すると、登録枠RF1に属する一部の画像データが探索画像エリア32cから読み出され、読み出された画像データの特徴量が算出される。したがって、猫CT1が図6に示す要領で捉えられた場合、猫CT1の顔の特徴量が算出される。また、犬DG1が図7に示す要領で捉えられた場合、犬DG1の顔の特徴量が算出される。
【0031】
続いて、変数Kが“1”,“2”,“3”…の各々に設定され、算出された特徴量が顔パターンFP_K_1と照合される。図3の例では、共通のグループに属する複数の顔パターンの平均に最も近い顔パターンが、グループを代表する顔パターンとして顔パターン番号FP_K_1に割り当てられている。したがって、探索画像エリア32cから読み出された画像データの特徴量は、各グループの代表顔パターン(特徴量)と照合される。照合度が基準値REF1を上回れば、現時点の顔パターン番号(=FP_K_1)と照合度とが図4に示すレジスタRGST1に登録され、フラグFLG_Aが“1”に更新される。
【0032】
図6に示す猫CT1については、グループ4の代表顔パターンであるFP_4_1に対する照合度が基準値REF1を上回る。したがって、レジスタRGST1には、グループ4に対する照合度がグループ4の代表顔パターン番号(=FP_4_1)とともに登録される。
【0033】
図7に示す犬DG1については、グループ1の代表顔パターンであるFP_1_1に対する照合度が基準値REF1を上回り、さらにグループ2の代表顔パターンであるFP_2_1に対する照合度が基準値REF1を上回る。したがって、レジスタRGST1には、グループ1に対する照合度がグループ1の代表顔パターン番号(=FP_1_1)とともに登録され、さらにグループ2に対する照合度がグループ2の代表顔パターン番号(=FP_2_1)とともに登録される。
【0034】
K=7に対応する上述の処理が完了した時点でフラグFLG_Aが“1”を示していれば、レジスタRGST1に登録された顔パターン番号のうち最大照合度に対応する顔パターン番号を含むグループが参照グループとして特定される。図6の例においては、代表の照合度が基準値REF1を上回ったのはグループ4だけであるので、“グループ4”が参照グループとして特定される。また、図7の例において、グループ1に対する照合度がグループ2に対する照合度よりも高ければ、“グループ1”が参照グループとして特定される。
【0035】
続いて、参照グループのグループ番号が変数Lに設定され、参照グループに属する顔パターンの数が検出される。検出された数は、変数Nの可変範囲を定義するべく、最大値Nmaxに設定される。
【0036】
次に、変数Nが“1”〜Nmaxの各々に設定され、先に算出された登録枠RF1に属する画像データの特徴量が、顔パターンFP_L_Nと照合される。照合度が基準値REF1を上回れば、現時点の顔パターン番号(=FP_L_N)と照合度とが図5に示すレジスタRGST2に登録される。
【0037】
図6に示す猫CT1については、アメリカンショートヘアに対する照合度が基準値REF1を上回り、さらにエジプシャンマウに対する照合度が基準値REF1を上回る。したがって、レジスタRGST2には、アメリカンショートヘアに対する照合度がアメリカンショートヘアの顔パターン番号(=FP_4_2)とともに登録され、さらにエジプシャンマウに対する照合度がエジプシャンマウの顔パターン番号(=FP_4_3)とともに登録される。
【0038】
図7に示す犬DG1については、アラスカマラミュートに対する照合度が基準値REF1を上回り、さらにシベリアンハスキーに対する照合度が基準値REF1を上回る。したがって、レジスタRGST2には、アラスカマラミュートに対する照合度がアラスカマラミュートの顔パターン番号(=FP_1_2)とともに登録され、さらにシベリアンハスキーに対する照合度がシベリアンハスキーの顔パターン番号(=FP_1_3)とともに登録される。
【0039】
N=Nmaxに対応する上述の処理が完了すると、レジスタRGST2に登録された顔パターン番号のうち最大照合度に対応する顔パターン番号が参照顔パターン番号として決定される。図6の例において、アメリカンショートヘアに対する照合度がエジプシャンマウに対する照合度よりも高ければ、“FP_4_2”が参照顔パターン番号として決定される。また、図7の例において、シベリアンハスキーに対する照合度がアラスカマラミュートに対する照合度よりも高ければ、“FP_1_3”が参照顔パターン番号として決定される。フラグFLG_Bは、参照顔パターン番号が決定されたことを表明するべく“1”に更新される。
【0040】
図8を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVAを形成する。また、前処理回路20は、上述した処理に加えて、生画像データを簡易的にRGBデータに変換する簡易RGB変換処理を実行する。
【0041】
AE評価回路22は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータを、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAE評価値が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。
【0042】
また、AF評価回路24は、前処理回路20から出力されたRGBデータのうち同じ評価エリアEVAに属するRGBデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。
【0043】
フラグFLG_Aが“0”を示すとき、CPU26は、AE評価回路22からの出力に基づく簡易AE処理をペット登録タスクの下で実行し、適正EV値を算出する。簡易AE処理は動画取込み処理と並列して実行され、算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【0044】
フラグFLG_Aが“1”に更新されると、CPU26は、厳格AE処理とAF処理とをペット登録タスクの下で実行する。厳格AE処理もまたAE評価回路22の出力に基づいて実行され、これによって最適EV値が算出される。算出された最適EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定され、これによってスルー画像の明るさが厳格に調整される。また、AF処理はAF評価回路24の出力に基づいて実行され、フォーカスレンズ12はAF処理によって発見された合焦点に設定される。これによって、スルー画像の鮮鋭度が向上する。
【0045】
AF処理が完了すると、CPU26は、ペット登録タスクの下で静止画取り込み処理を実行する。AF処理が完了した直後の1フレームの画像データは、静止画取り込み処理によって静止画エリア32dに取り込まれる。CPU26はその後、静止画エリア32dに取り込まれた画像データのうち登録枠RF1に属する一部の画像データを切り出し、かつ切り出された画像データを縮小する。これによって、登録ペット画像データが得られる。
【0046】
フラグFLG_Bは、参照顔パターン番号の決定に応答して“1”に更新される。上述の要領で作成された登録ペット画像データは、フラグFLG_Bが“1”に更新されたとき、参照顔パターン番号に割り当てられる。互いに関連する登録ペット画像データおよび参照パターン番号は、抽出辞書EXDCとしてフラッシュメモリ44に保存される。
【0047】
図6の例では、猫CT1の顔を表す登録画像データが“FP_4_2”に割り当てられる。また、図7の例では、犬DG1の顔を表す登録画像データが“FP_1_3”に割り当てられる。したがって、図6に示す猫CT1が最初に撮影されると、図9に示す抽出辞書EXDCが新規に作成される。次に図7に示す犬DG1が撮影されると、抽出辞書EXDCは図10に示す要領で更新される。
【0048】
図11を参照して、登録ペット画像データは、フラグFLG_Aの“0”から“1”への更新に応答して(照合度が基準値REF1を上回る代表顔パターンの最初の発見に応答して)作成される。
【0049】
このように、本実施例では、すべての顔パターンに対して照合処理が行われるのではなく、代表顔パターンに対して照合処理が行われる。また、ペット登録タスクにおける照合処理で用いられる基準値REF1は、後述する撮像用顔検出タスクにおける照合処理で用いられる基準値REF2よりも低く設定された閾値である。よって、登録できるか否かの判定に要する時間が短縮され、登録ペット画像データを早期に取得することができる。これによって、前方を向く顔画像を表す良好な登録画像データが得られる。
【0050】
また、登録ペット画像データに相当する物体像の探索に用いる参照顔パターンは、参照グループに属する顔パターンの中から選択される。これによって、参照グループが減少するほど、参照顔パターンの選択に掛かる負荷が低減される。
【0051】
ペット撮像モードが選択されると、CPU26は、抽出辞書EXDCに収められた登録ペット画像データをペット撮像タスクの下でフラッシュメモリ44から読み出し、読み出された登録ペット画像データをSDRAM32の表示画像エリア32bに展開する。LCDドライバ36は、展開された登録ペット画像データをメモリ制御回路30を通して読み出し、読み出された登録ペット画像データに基づいてLCDモニタ38を駆動する。
【0052】
したがって、抽出辞書EXDCが図10に示す要領で作成されたときは、猫CT1および犬DG2を表す2つの登録ペット画像が図12に示す要領でLCDモニタ38に表示される。
【0053】
表示された登録ペット画像のいずれか1つを選択する選択操作が行われると、CPU26は、選択された登録ペット画像に対応する参照顔パターンの特徴量を一般辞書GLDCから読み出す。図12の例において猫CT1を表す登録ペット画像が選択された場合は、顔パターン番号FP_4_2の特徴量が一般辞書GLDCから読み出される。また、図12の例において犬DG1を表す登録ペット画像が選択された場合は、顔パターン番号FP_1_3の特徴量が一般辞書GLDCから読み出される。参照顔パターンの特徴量の読み出しが完了すると、ペット撮像タスクの下で動画取込み処理が開始される。これによって、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。また、探索画像データが探索画像エリア32cに繰り返し書き込まれる。
【0054】
CPU26はまた、ペット撮像タスクと並列して実行される撮像用顔検出タスクの下で、探索画像エリア32cに格納された探索画像データから動物の顔画像を探索する。探索される顔画像は、選択操作によって選択された登録ペット画像に符合する画像である。このような撮像用顔検出タスクのために、図13に示す複数の顔検出枠FD,FD,FD,…が準備される。
【0055】
顔検出枠FDは、垂直同期信号Vsyncが発生する毎に、探索画像エリア32c上を評価エリアEVAに対応してラスタ走査態様で移動する(図14参照)。顔検出枠FDのサイズは、ラスタ走査が終了する毎に“200”から“20”まで“5”刻みで縮小される。
【0056】
CPU26は、顔検出枠FDに属する画像データをメモリ制御回路30を通して探索画像エリア32cから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、参照顔パターンの特徴量と照合される。照合度が基準値REF2を上回ると、現時点の顔検出枠FDの位置およびサイズが顔画像のサイズおよび位置として決定され、フラグFLGpetが“0”から“1”に更新される。なお、前述の通り、ここで用いられる基準値REF2は、ペット登録タスクの照合処理で用いられる基準値REF1よりも高く設定された閾値である。よって、顔画像の探索の精度が向上する。
【0057】
ペット撮像タスクの下で、CPU26は、FLGpet=0に対応して簡易AE処理を繰り返し実行する。スルー画像の明るさは、簡易AE処理によって適度に調整される。フラグFLGpetが“1”に更新されると、CPU26は、顔枠KF1の表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、顔枠KF1を表すグラフィックジェネレータをLCDドライバ36に向けて出力する。顔枠KF1は、撮像用顔検出タスクの下で決定された顔画像の位置およびサイズに適合する態様でLCDモニタ38に表示される。
【0058】
したがって、猫CT1の登録ペット画像が選択された状態で猫CT1が捉えられたとき、顔枠KF1は図15に示す要領でLCDモニタ38に表示される。また、犬DG1の登録ペット画像が選択された状態で犬DG1が捉えられたとき、顔枠KF1は図16に示す要領でLCDモニタ38に表示される。
【0059】
CPU26はその後、ペット撮像タスクの下で厳格AE処理およびAF処理を実行する。厳格AE処理およびAF処理の結果、スルー画像の明るさおよびフォーカスが厳格に調整
される。AF処理が完了すると、静止画取り込み処理および記録処理が実行される。AF処理が完了した直後の1フレームの画像データは、静止画取り込み処理によって静止画エリア32dに取り込まれる。取り込まれた1フレームの画像データは、記録処理に関連して起動したI/F40によって静止画エリア32dから読み出され、ファイル形式で記録媒体42に記録される。顔枠KF1は、記録処理が完了した後に非表示とされる。
【0060】
CPU26は、図17に示すメインタスク,図18に示すペット登録タスク,図19〜図21に示す登録用顔検出タスク,図22〜図23に示すペット撮像タスク,および図24〜図25に示す撮像用顔検出タスクを含む複数のタスクを実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
【0061】
図17を参照して、ステップS1では現時点の動作モードがペット登録モードであるか否かを判別し、ステップS5では現時点の動作モードがペット撮像モードであるか否かを判別する。ステップS1でYESであれば、ステップS3でペット登録タスクを起動する。ステップS5でYESであれば、ペット画像が登録済みであるか否か(抽出辞書EXDCが作成済みであるか否か)をステップS7で判別する。
【0062】
判別結果がYESであればステップS9でペット撮像タスクを起動し、判別結果がNOであればステップS11でエラーを報知する。ステップS1およびS5のいずれもNOであれば、ステップS13で他の処理を実行する。ステップS3,S9,S11またはS13の処理が完了すると、モード切り換え操作が行われたか否かをステップS15で繰り返し判別する。判別結果がNOからYESに更新されると、起動中のタスクをステップS17で停止し、その後にステップS1に戻る。
【0063】
図18を参照して、ステップS21では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がLCDモニタ38に表示される。ステップS23では、登録用顔検出タスクを起動する。
【0064】
フラグFLG_Aは、登録用顔検出タスクの下で“0”に初期設定され、照合度が基準値REF1を上回る代表顔パターンが発見されたときに“1”に更新される。ステップS25では、このようなフラグFLG_Aが“1”を示すか否かを判別し、判別結果がNOであれば、ステップS27で簡易AE処理を実行する。これによって、スルー画像の明るさが適度に調整される。
【0065】
フラグFLG_Aが“0”から“1”に更新されると、ステップS29で厳格AE処理を実行し、ステップS31でAF処理を実行する。厳格AE処理およびAF処理の結果、スルー画像の明るさおよびフォーカスが厳格に調整される。AF処理が完了すると、ステップS33で静止画取り込み処理を実行する。これによって、AF処理が完了した直後の1フレームの画像データが静止画エリア32dに取り込まれる。ステップS35では、静止画エリア32dに取り込まれた画像データに基づいて登録ペット画像データを作成する。
【0066】
フラグFLG_Bは、登録用顔検出タスクの下で“0”に初期設定され、参照顔パターン番号が決定されたときに“1”に更新される。ステップS37では、このようなフラグFLG_Bが“1”を示すか否かを判別する。ステップS37の判別結果がNOからYESに更新されるとステップS39に進み、ステップS35で作成された登録ペット画像データを参照顔パターン番号に割り当てる。これによって、抽出辞書EXDCが新規または追加的に作成される。抽出辞書EXDCが作成されると、ステップS23に戻る。
【0067】
図19を参照して、ステップS41では登録枠RF1の表示をグラフィックジェネレータ46に要求する。これによって、登録枠RF1がLCDモニタ38の中央に表示される。ステップS43ではフラグFLG_Aを“0”に設定し、ステップS45ではフラグFLG_Bを“0”に設定する。ステップS47では垂直同期信号Vsyncが発生したか否かを判別し、判別結果がNOからYESに更新されるとステップS49に進む。ステップS49では、登録枠RF1に属する一部の画像データを探索画像エリア32cから読み出し、読み出された画像データの特徴量を算出する。
【0068】
ステップS51では変数Kを“1”に設定し、ステップS53ではステップS49で算出された特徴量を一般辞書GLDCに収められた顔パターンFP_K_1と照合する。ステップS55では照合度が基準値REF1を上回るか否かを判別し、判別結果がNOであればそのままステップS61に進む一方、判別結果がYESであればステップS57〜S59を経てステップS61に進む。ステップS57では、現時点の顔パターン番号(=FP_K_1)と照合度とをレジスタRGST1に登録する。ステップS59では、照合度が基準値REF1を上回る顔パターンが発見されたことを表明するべく、フラグFLG_Aを“1”に更新する。
【0069】
ステップS61では変数Kがグループ数に達したか否かを判別し、判別結果がNOであればステップS63で変数KをインクリメントしてからステップS53に戻る一方、判別結果がYESであればフラグFLG_Aが“1”を示すか否かをステップS65で判別する。フラグFLG_Aが“0”であればステップS47に戻り、フラグFLG_Aが“1”であればステップS67に進む。
【0070】
ステップS67では、レジスタRGST1に登録された顔パターン番号のうち最大照合度に対応する顔パターン番号を含むグループを、参照グループとして特定する。特定された参照グループのグループ番号は、変数Lに設定される。ステップS67の処理が完了すると、参照グループに属する顔パターンの数をステップS69で検出する。検出された数は、変数Nの可変範囲を定義するべく、最大値Nmaxに設定される。
【0071】
ステップS71では変数Nを“1”に設定し、ステップS73ではステップS49で算出された特徴量を一般辞書GLDCに収められた顔パターンFP_L_Nと照合する。ステップS75では照合度が基準値REF1を上回るか否かを判別し、判別結果がNOであればそのままステップS79に進む一方、判別結果がYESであればステップS77を経てステップS79に進む。ステップS77では、現時点の顔パターン番号(=FP_L_N)と照合度とをレジスタRGST2に登録する。
【0072】
ステップS79では変数NがNmaxに達したか否かを判別し、判別結果がNOであればステップS81で変数NをインクリメントしてからステップS73に戻る一方、判別結果がYESであればステップS83で参照顔パターン番号を決定する。参照顔パターン番号は、レジスタRGST2に登録された顔パターン番号のうち最大照合度に対応する顔パターン番号に相当する。ステップS83の処理が完了すると、参照顔パターン番号の決定を表明するべくステップS85でフラグFLG_Bを“1”に更新し、その後に処理を終了する。
【0073】
図22を参照して、ステップS91では、抽出辞書EXDCに収められた登録ペット画像データをフラッシュメモリ44から読み出し、読み出された登録ペット画像データをSDRAM32の表示画像エリア32bに展開する。この結果、1または2以上の登録ペット画像がLCDモニタ38に表示される。ステップS93では、表示された登録ペット画像のいずれか1つを選択する選択操作が行われたか否かを判別する。判別結果がNOからYESに更新されるとステップS95に進み、選択された登録ペット画像に対応する参照顔パターンの特徴量を一般辞書GLDCから読み出す。
【0074】
ステップS97では動画取込み処理を実行し、ステップS99では評価エリアEVAの全域を探索エリアとして設定する。ステップS101では、顔検出枠FDのサイズの可変範囲を定義するべく、最大サイズSZmaxを“200”に設定し、最小SZminを“20”に設定する。ステップS101の処理が完了すると、ステップS103で撮像用顔検出タスクを起動する。
【0075】
フラグFLGpetは、撮像用顔検出タスクの下で“0”に初期設定され、参照顔パターンと符合する顔画像が発見されたときに“1”に更新される。ステップS105ではこのようなフラグFLGpetが“1”を示すか否かを判別し、判別結果がNOである限り、ステップS107で簡易AE処理を繰り返し実行する。スルー画像の明るさは、簡易AE処理によって適度に調整される。
【0076】
判別結果がNOからYESに更新されるとステップS109に進み、顔枠KF1の表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、顔枠KF1を表すグラフィックジェネレータをLCDドライバ36に向けて出力する。顔枠KF1は、検出された顔画像を囲うようにLCDモニタ38に表示される。
【0077】
ステップS111では厳格AE処理を実行し、ステップS113ではAF処理を実行する。厳格AE処理およびAF処理の結果、スルー画像の明るさおよびフォーカスが厳格に調整される。ステップS115では静止画取り込み処理を実行し、ステップS117では記録処理を実行する。AF処理が完了した直後の1フレームの画像データは、静止画取り込み処理によって静止画エリア32dに取り込まれる。取り込まれた1フレームの画像データは、記録処理によって、記録媒体42に記録される。記録処理が完了すると、ステップS119で顔枠KF1の非表示をグラフィックジェネレータ46に要求し、その後にステップS99に戻る。
【0078】
図24を参照して、ステップS121ではフラグFLGpetを“0”に設定し、ステップS123では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、ステップS125で顔検出枠FDのサイズを“SZmax”に設定し、ステップS127で顔検出枠FDを探索エリアの左上位置に配置する。ステップS129では顔検出枠FDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。
【0079】
ステップS131では算出された特徴量を一般辞書GLDCから読み出された参照顔パターンの特徴量と照合し、ステップS133では照合度が基準値REF2を上回るか否かを判別する。判別結果がYESであればステップS135に進み、判別結果がNOであればステップS139に進む。
【0080】
ステップS135では、現時点の顔検出枠FDの位置およびサイズを顔画像の位置およびサイズとして決定する。この決定処理は、上述したステップS109の顔枠表示処理に反映される。顔枠KF1は、現時点の顔検出枠FDの位置およびサイズに適合する態様でLCDモニタ38に表示される。ステップS135の処理が完了すると、ステップS137でフラグFLGpetを“1”に設定し、その後に処理を終了する。
【0081】
ステップS139では、顔検出枠FDが探索エリアの右下位置に到達したか否かを判別する。判別結果がNOであれば、ステップS141で顔検出枠FDを既定量だけラスタ方向に移動させ、その後にステップS129に戻る。判別結果がYESであれば、顔検出枠FDのサイズが“SZmin”以下であるか否かをステップS143で判別する。判別結果がNOであれば、ステップS145で顔検出枠FDのサイズを“5”だけ縮小させ、ステップS147で顔検出枠FDを探索エリアの左上位置に配置し、その後にステップS129に戻る。ステップS143の判別結果がYESであれば、そのままステップS123に戻る。
【0082】
以上の説明から分かるように、イメージャ16は、被写界を捉える撮像面を有して被写界像を繰り返し出力する。CPU26は、イメージャ16から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する(S51~S63)。CPU26はまた、照合結果が符合条件を満足するタイミングに対応してイメージャ16から出力された被写界像に基づいて基準画像を作成し(S33~S35)、作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する(S67~S83)。
【0083】
このように、基準画像の作成にあたって、被写界像は1または2以上の特定パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合される。これによって、基準画像の作成に掛かる負荷が低減される。また、基準画像に相当する物体像の探索に用いる参照特徴パターンは、少なくとも一部の特徴パターングループに属する複数の特徴パターンの中から選択される。これによって、対象となる特徴パターングループが減少するほど、参照特徴パターンの選択に掛かる負荷が低減される。
【0084】
なお、この実施例では、一般辞書GLDCの各グループにおいて顔パターンそれぞれの特徴量を平均したものに最も近い特徴量を有する顔パターンを、グループを代表する顔パターンとした。しかし、共通の科目に属する動物の全ての顔パターンの特徴量を平均したものを科目ごとに定め、代表特徴パターンとして用いてもよい。例えば、一般辞書GLDCが犬の顔パターンのみからなる場合、一般辞書GLDCに含まれる全ての顔パターンを平均したものが、一つ定められる。この場合、図26に示す平均辞書AVDCが準備される。平均辞書AVDCにおいて、一般辞書GLDCに含まれる全ての顔パターンの特徴量を平均したものが、顔パターン番号FP_AVに割り当てられる。
【0085】
また、この場合、図27に示すように、図19に示すステップS51〜S53に代えてステップS171が実行され、図20に示すステップS57は実行されず、ステップS61〜S69に代えてステップS173〜S177が実行される。さらに、図28に示すように、図21に示すステップS79とステップS83との間にステップS179およびS181が実行される。
【0086】
ステップS171ではステップS49で算出された特徴量を平均辞書AVDCに収められた顔パターンFP_AVと照合する。ステップS55の判別結果がNOの場合はステップS47に戻る。ステップS59の処理が完了すると、一般辞書GLDCに属するグループの数をステップS173で検出する。検出された数は、変数Lの可変範囲を定義するべく、最大値Lmaxに設定される。ステップS175では変数Lを“1”に設定する。ステップS177ではグループNO.Lに属する顔パターンの数が検出され、その後にステップS71に進む。ステップS179では変数LがLmaxに達したか否かを判別し、判別結果がNOであればステップS181で変数LをインクリメントしてからステップS177に戻る一方、判別結果がYESであればステップS83に進む。
【0087】
また、各グループに含まれる顔パターン各々の特徴量をグループごとに平均したものを定め、各グループを代表する顔パターンとして、登録用顔検出タスクでの照合処理に用いてもよい。この場合、図29に示すグループ平均辞書AVGDCが準備される。グループ平均辞書AVGDCにおいて、各グループに含まれる顔パターン各々の特徴量をグループごとに平均したものが、グループを代表する顔パターンとして顔パターン番号FP_K_AVに割り当てられる。また、この場合、図30に示すように、図19に示すステップS53に代えてステップS191が実行され、図20に示すステップS57に代えてステップS193が実行される。ステップS191ではステップS49で算出された特徴量をグループ平均辞書AVGDCに収められた顔パターンFP_K_AVと照合する。ステップS193では、現時点の顔パターン番号(=FP_K_AV)と照合度とをレジスタRGST1に登録する。
【0088】
また、一般辞書GLDCにおいて、品種ごとに、正面向きの顔パターン、斜め右向きの顔パターン、および斜め左向きの顔パターンを含む1つのグループを構成するようにしてもよい。この場合、図31を参照して、一般辞書GLDCにおいて、グループ1,2,3,4…にはそれぞれグループごとに同一品種の顔パターンが3つずつ含まれる。顔パターンFP_1_1、FP_2_1、FP_3_1、およびFP_…_1は正面向きの顔の特徴を表し、顔パターンFP_1_2、FP_2_2、FP_3_2、およびFP_…_2は斜め右向きの顔の特徴を表し、顔パターンFP_1_3、FP_2_3、FP_3_3、およびFP_…_3は斜め左向きの顔の特徴を表す。図31の例では、例えば、正面向きの顔パターンをグループを代表する顔パターンとして顔パターン番号FP_K_1に割り当て、登録用顔検出タスクでの照合処理に用いればよい。また、この場合、登録用顔検出タスクの処理は、図19〜21に示すステップS41〜S85と同様でよい。さらに、この場合、一般辞書GLDCの各々のグループは、前述の顔向きごとの顔パターンに加えて、斜光属性等を有する顔パターンを各々の顔向きごとに追加したものであってもよい。
【0089】
また、この実施例では、図18に示すステップS29〜S35の処理と並列して、図19に示すステップS53〜S81の処理が実行される。しかし、ステップS29〜S35の処理が実行される期間にステップS53〜S81の処理を中断するようにしてもよい。この場合、図32〜図33に示すように、フラグFLG_Cを“0”に設定するステップS201をステップS29の前段に追加し、フラグFLG_Cを“1”に更新するステップS203をステップS33の後段に追加し、そしてフラグFLG_Cが“0”から“1”に更新されるまでの期間に待機するステップS205をステップS59の後段に追加する必要がある。これによって、CPU26の負荷が軽減され、登録ペット画像データの作成に要する時間がさらに短縮される。
【符号の説明】
【0090】
10 …ディジタルカメラ
16 …イメージャ
22 …AE評価回路
24 …AF評価回路
26 …CPU
32 …SDRAM
44 …フラッシュメモリ
【特許請求の範囲】
【請求項1】
被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段、
前記撮像手段から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する照合手段、
前記照合手段の照合結果が符合条件を満足するタイミングに対応して前記撮像手段から出力された被写界像に基づいて基準画像を作成する作成手段、および
前記作成手段によって作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを前記1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する選択手段を備える、電子カメラ。
【請求項2】
前記代表特徴パターンは代表元の特徴パターングループに属する複数の特徴パターンのうち平均特徴パターンに最も近似する特徴パターンに相当する、請求項1記載の電子カメラ。
【請求項3】
前記1または2以上の代表特徴パターンを収めた第1辞書と前記1または2以上の特徴パターングループの各々に属する複数の特徴パターンを収めた第2辞書とを格納するメモリをさらに備え、
前記照合手段は前記第1辞書を参照して照合処理を実行し、
前記選択手段は前記第2辞書を参照して選択処理を実行する、請求項1記載の電子カメラ。
【請求項4】
前記1または2以上の代表特徴パターンの各々は代表元の特徴パターングループに属する複数の特徴パターンの平均に相当する、請求項3記載の電子カメラ。
【請求項5】
前記特徴パターングループの数は複数であり、
前記選択手段は、前記照合手段の照合結果に基づいて一部の特徴パターングループを特定する特定手段、および前記特定手段によって特定された特徴パターングループに属する複数の特徴パターンの中から前記参照特徴パターンを選択する選択実行手段を含む、請求項1ないし4のいずれかに記載の電子カメラ。
【請求項6】
前記特定手段は照合度が最も高い代表特徴パターンに対応する特徴パターングループを特定する、請求項5記載の電子カメラ。
【請求項7】
前記特徴パターングループの数は単数であり、
前記照合手段は前記被写界像を単一の代表特徴パターンと照合し、
前記選択手段は単一の特徴パターングループに属する複数の特徴パターンの中から前記参照特徴パターンを選択する、請求項1ないし4のいずれかに記載の電子カメラ。
【請求項8】
前記特徴パターンは動物の顔画像の特徴パターンに相当し、
前記特徴パターングループは共通の科目に属する動物の特徴パターンを収めたグループに相当する、請求項1ないし7のいずれかに記載の電子カメラ。
【請求項9】
被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段を備える電子カメラのプロセッサに、
前記撮像手段から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する照合ステップ、
前記照合ステップの照合結果が符合条件を満足するタイミングに対応して前記撮像手段から出力された被写界像に基づいて基準画像を作成する作成ステップ、および
前記作成ステップによって作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを前記1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する選択ステップを実行させるための、撮像制御プログラム。
【請求項10】
被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
前記撮像手段から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する照合ステップ、
前記照合ステップの照合結果が符合条件を満足するタイミングに対応して前記撮像手段から出力された被写界像に基づいて基準画像を作成する作成ステップ、および
前記作成ステップによって作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを前記1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する選択ステップを備える、撮像制御方法。
【請求項1】
被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段、
前記撮像手段から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する照合手段、
前記照合手段の照合結果が符合条件を満足するタイミングに対応して前記撮像手段から出力された被写界像に基づいて基準画像を作成する作成手段、および
前記作成手段によって作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを前記1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する選択手段を備える、電子カメラ。
【請求項2】
前記代表特徴パターンは代表元の特徴パターングループに属する複数の特徴パターンのうち平均特徴パターンに最も近似する特徴パターンに相当する、請求項1記載の電子カメラ。
【請求項3】
前記1または2以上の代表特徴パターンを収めた第1辞書と前記1または2以上の特徴パターングループの各々に属する複数の特徴パターンを収めた第2辞書とを格納するメモリをさらに備え、
前記照合手段は前記第1辞書を参照して照合処理を実行し、
前記選択手段は前記第2辞書を参照して選択処理を実行する、請求項1記載の電子カメラ。
【請求項4】
前記1または2以上の代表特徴パターンの各々は代表元の特徴パターングループに属する複数の特徴パターンの平均に相当する、請求項3記載の電子カメラ。
【請求項5】
前記特徴パターングループの数は複数であり、
前記選択手段は、前記照合手段の照合結果に基づいて一部の特徴パターングループを特定する特定手段、および前記特定手段によって特定された特徴パターングループに属する複数の特徴パターンの中から前記参照特徴パターンを選択する選択実行手段を含む、請求項1ないし4のいずれかに記載の電子カメラ。
【請求項6】
前記特定手段は照合度が最も高い代表特徴パターンに対応する特徴パターングループを特定する、請求項5記載の電子カメラ。
【請求項7】
前記特徴パターングループの数は単数であり、
前記照合手段は前記被写界像を単一の代表特徴パターンと照合し、
前記選択手段は単一の特徴パターングループに属する複数の特徴パターンの中から前記参照特徴パターンを選択する、請求項1ないし4のいずれかに記載の電子カメラ。
【請求項8】
前記特徴パターンは動物の顔画像の特徴パターンに相当し、
前記特徴パターングループは共通の科目に属する動物の特徴パターンを収めたグループに相当する、請求項1ないし7のいずれかに記載の電子カメラ。
【請求項9】
被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段を備える電子カメラのプロセッサに、
前記撮像手段から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する照合ステップ、
前記照合ステップの照合結果が符合条件を満足するタイミングに対応して前記撮像手段から出力された被写界像に基づいて基準画像を作成する作成ステップ、および
前記作成ステップによって作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを前記1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する選択ステップを実行させるための、撮像制御プログラム。
【請求項10】
被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
前記撮像手段から出力された被写界像を1または2以上の特徴パターングループをそれぞれ代表する1または2以上の代表特徴パターンの各々と照合する照合ステップ、
前記照合ステップの照合結果が符合条件を満足するタイミングに対応して前記撮像手段から出力された被写界像に基づいて基準画像を作成する作成ステップ、および
前記作成ステップによって作成された基準画像に相当する物体像の探索に用いる参照特徴パターンを前記1または2以上の特徴パターングループの少なくとも一部に属する複数の特徴パターンの中から選択する選択ステップを備える、撮像制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【公開番号】特開2011−239121(P2011−239121A)
【公開日】平成23年11月24日(2011.11.24)
【国際特許分類】
【出願番号】特願2010−107862(P2010−107862)
【出願日】平成22年5月10日(2010.5.10)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成23年11月24日(2011.11.24)
【国際特許分類】
【出願日】平成22年5月10日(2010.5.10)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]