説明

物体像探索装置

【構成】イメージャ16によって捉えられた被写界を表す探索画像データは、メモリ制御回路30によってSDRAM32の探索画像エリア32cに取り込まれる。CPU26は、顔辞書DC_Fに収められた辞書画像に対する符合度が閾値THfaceを上回る顔画像を探索画像エリア32cに格納された探索画像データから探索し、顔枠キャラクタをLCDモニタ38に表示するキャラクタ表示処理を顔画像の探知に応答して開始する。CPU26はまた、顔画像の非探知が継続する時間をキャラクタ表示処理と並列して測定し、探知された顔画像の辞書画像に対する符合度が大きいほど増大するように閾値THtmを調整する。CPU26はさらに、顔画像の非探知が継続する時間が閾値THtmに達したときキャラクタ表示処理を終了する。
【効果】顔枠キャラクタの表示性能が向上する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、物体像探索装置に関し、特に辞書画像に符合する物体像の出現に応答して報知を発生する、物体像探索装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、画像相関追尾回路は、動画像のフレーム間の相関性に基づき任意の被写体を追尾する。一方、顔検出回路は、撮影画面から特定被写体(=顔)を検出して、被写体領域情報と検出信頼度を出力する。特定被写体を追尾する回路は、画像相関追尾回路によって検出された被写体が特定被写体と同一であると判断されたときに、画像相関追尾回路から顔検出回路に移行される。これによって、特定被写体を的確に追尾することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−154286号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、特定被写体の存在が報知されることはなく、検出信頼度の大きさが報知動作に反映されることもない。
【0005】
それゆえに、この発明の主たる目的は、報知性能を高めることができる、物体像探索装置を提供することである。
【課題を解決するための手段】
【0006】
この発明に従う物体像探索装置(10:実施例で相当する参照符号。以下同じ)は、画像を繰り返し取り込む取り込み手段(16, 20, 30, 34)、特徴パターンに対する符合度が基準を上回る物体像を取り込み手段によって取り込まれた画像から探索する探索手段(S51)、探索手段の探知に応答して報知処理を開始する開始手段(S111, S61~S63, S7~S9)、および開始手段によって開始された報知処理の継続期間を探索手段によって探知された物体像の特徴パターンに対する符合度が大きいほど延長する調整手段(S125~S131, S145~S151, S159, S163, S61~S65, S7~S9, S15)を備える。
【0007】
好ましくは、探索手段によって探知された物体像の属性を登録する登録手段(S107~S111, S117~S123)がさらに備えられ、開始手段は登録手段によって登録された属性毎に報知処理を実行する。
【0008】
或る局面では、取り込み手段は撮像手段(16)を含み、登録手段によって登録された属性を参照して撮像条件を調整する撮像条件調整手段(S13, S25, S29)がさらに備えられる。
【0009】
他の局面では、登録手段は、物体像の属性に符合する登録属性を1または2以上の登録属性の中から探索する属性探索手段(S107~S109, S117~S121)、物体像の属性を属性探索手段の非探知に応答して新規の登録属性として定義する定義手段(S111)、および属性探索手段によって探知された登録属性の記述を物体像の属性に基づいて更新する更新手段(S123)を含む。
【0010】
さらに好ましくは、調整手段は、1または2以上の登録属性のうち更新手段による非更新の期間が調整手段によって調整された期限に達した登録属性を削除する削除手段(S149~S151, S159, S163)、および削除手段によって削除された登録属性に対応して報知処理を終了する報知終了手段(S9, S15)を含む。
【0011】
好ましくは、調整手段は、探索手段による非探知が継続する期間を報知処理と並列して測定する測定手段(S145)、符合度の増大に応じて延長される期限を設定する設定手段(S125~S131, S147)、および測定手段によって測定された期間が設定手段によって設定された期限に達したとき報知処理を終了する終了手段(S149~S151, S159, S163, S61~S65, S7~S9, S15)を含む。
【0012】
好ましくは、調整手段は、共通の物体に対応して探知された複数の物体像にそれぞれ対応する複数の符合度の中から最大符合度を特定する特定手段(S125~S131)、および特定手段によって特定された最大符合度に基づいて期限調整を実行する調整実行手段(S147)を含む。
【0013】
好ましくは、取り込み手段によって取り込まれた画像を取り込み手段の取り込み処理と並列してモニタ画面に表示する表示手段(36)がさらに備えられ、報知処理は物体像を指向するキャラクタをモニタ画面に表示するキャラクタ表示処理を含む。
【0014】
この発明に従う物体像探索プログラムは、画像を繰り返し取り込む取り込み手段(16, 20, 30, 34)を備える物体像探索装置(10)のプロセッサ(26)に、特徴パターンに対する符合度が基準を上回る物体像を取り込み手段によって取り込まれた画像から探索する探索ステップ(S51)、探索ステップの探知に応答して報知処理を開始する開始ステップ(S111, S61~S63, S7~S9)、および開始ステップによって開始された報知処理の継続期間を探索ステップによって探知された物体像の特徴パターンに対する符合度が大きいほど延長する調整ステップ(S125~S131, S145~S151, S159, S163, S61~S65, S7~S9, S15)を実行させるための、物体像探索プログラムである。
【0015】
この発明に従う物体像探索方法は、画像を繰り返し取り込む取り込み手段(16, 20, 30, 34)を備える物体像探索装置(10)によって実行される物体像探索方法であって、特徴パターンに対する符合度が基準を上回る物体像を取り込み手段によって取り込まれた画像から探索する探索ステップ(S51)、探索ステップの探知に応答して報知処理を開始する開始ステップ(S111, S61~S63, S7~S9)、および開始ステップによって開始された報知処理の継続期間を探索ステップによって探知された物体像の特徴パターンに対する符合度が大きいほど延長する調整ステップ(S125~S131, S145~S151, S159, S163, S61~S65, S7~S9, S15)を備える。
【0016】
この発明に従う外部制御プログラムは、画像を繰り返し取り込む取り込み手段(16,
20, 30, 34)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える物体像探索装置(10)に供給される外部制御プログラムであって、特徴パターンに対する符合度が基準を上回る物体像を取り込み手段によって取り込まれた画像から探索する探索ステップ(S51)、探索ステップの探知に応答して報知処理を開始する開始ステップ(S111, S61~S63, S7~S9)、および開始ステップによって開始された報知処理の継続期間を探索ステップによって探知された物体像の特徴パターンに対する符合度が大きいほど延長する調整ステップ(S125~S131, S145~S151, S159, S163, S61~S65, S7~S9, S15)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【0017】
この発明に従う物体像探索装置(10)は、画像を繰り返し取り込む取り込み手段(16, 20, 30, 34)、外部制御プログラムを受信する受信手段(48)、および受信手段によって受信された外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える物体像探索装置であって、外部制御プログラムは、特徴パターンに対する符合度が基準を上回る物体像を取り込み手段によって取り込まれた画像から探索する探索ステップ(S51)、探索ステップの探知に応答して報知処理を開始する開始ステップ(S111, S61~S63, S7~S9)、および開始ステップによって開始された報知処理の継続期間を探索ステップによって探知された物体像の特徴パターンに対する符合度が大きいほど延長する調整ステップ(S125~S131, S145~S151, S159, S163, S61~S65, S7~S9, S15)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【0018】
この発明によれば、報知処理は、特徴パターンに対する符合度が基準を上回る物体像の探知によって開始される。開始された報知処理の継続期間は、探知された物体像の特徴パターンに対する符合度が大きいほど延長される。したがって、探知された特定の物体像が所望の物体に相当する可能性が高ければ、報知処理の期間は長くなる。逆に、探知された特定の物体像が所望の物体に相当する可能性が低ければ、報知処理の期間は短くなる。これによって、報知性能が向上する。
【0019】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0020】
【図1】この発明の一実施例の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図4】顔検出処理に用いられる顔枠の一例を示す図解図である。
【図5】顔検出処理において参照される顔辞書の構成の一例を示す図解図である。
【図6】顔検出処理の一部を示す図解図である。
【図7】顔検出処理に用いられるレジスタの構成の一例を示す図解図である。
【図8】撮像面で捉えられる被写界の変動の一例を示す図解図である。
【図9】顔枠および保持枠の定義状態の一例を示す図解図である。
【図10】顔枠および保持枠の定義状態の他の一例を示す図解図である。
【図11】図2実施例の動作の一部を示すタイミング図である。
【図12】図2実施例の動作の他の一部を示すタイミング図である。
【図13】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図14】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図15】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図16】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図17】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図18】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図19】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図20】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図21】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図22】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【0021】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0022】
図1を参照して、この実施例の物体像探索装置は、基本的に次のように構成される。取り込み手段1は、画像を繰り返し取り込む。探索手段2は、特徴パターンに対する符合度が基準を上回る物体像を取り込み手段1によって取り込まれた画像から探索する。開始手段3は、探索手段2の探知に応答して報知処理を開始する。調整手段4は、開始手段3によって開始された報知処理の継続期間を探索手段2によって探知された物体像の特徴パターンに対する符合度が大きいほど延長する。
【0023】
報知処理は、特徴パターンに対する符合度が基準を上回る物体像の探知によって開始される。開始された報知処理の継続期間は、探知された物体像の特徴パターンに対する符合度が大きいほど延長される。したがって、探知された特定の物体像が所望の物体に相当する可能性が高ければ、報知処理の期間は長くなる。逆に、探知された特定の物体像が所望の物体に相当する可能性が低ければ、報知処理の期間は短くなる。これによって、報知性能が向上する。
[実施例]
【0024】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞り機構14を含む。これらの部材を経た被写界の光学像は、イメージャ16の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【0025】
電源が投入されると、CPU26は、動画取り込み処理を開始するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ18cに命令する。ドライバ18cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ16からは、読み出された電荷に基づく生画像データが周期的に出力される。
【0026】
前処理回路20は、イメージャ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路30を通してSDRAM32の生画像エリア32aに書き込まれる。
【0027】
後処理回路34は、生画像エリア32aに格納された生画像データをメモリ制御回路30を通して読み出し、読み出された生画像データに色分離処理,白バランス調整処理およびYUV変換処理を施す。後処理回路34はさらに、YUV形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、YUV形式に従う表示画像データおよび探索画像データが個別に作成される。
【0028】
表示画像データは、メモリ制御回路30によってSDRAM32の表示画像エリア32bに書き込まれる。また、探索画像データは、メモリ制御回路30によってSDRAM32の探索画像エリア32cに書き込まれる。
【0029】
LCDドライバ36は、表示画像エリア32bに格納された表示画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0030】
図3を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において64分割され、合計4096個の分割エリアによって評価エリアEVAが形成される。また、図2に示す前処理回路20は、上述した処理に加えて、生画像データを簡易的にRGBデータに変換する簡易RGB変換処理を実行する。
【0031】
AE評価回路22は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータを分割エリア毎に積分する。この積分処理は、垂直同期信号Vsyncが発生する毎に実行される。これによって、4096個の積分値つまり4096個のAE評価値が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。
【0032】
また、AF評価回路24は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータの高周波成分を分割エリア毎に積分する。この積分処理もまた、垂直同期信号Vsyncが発生する毎に実行される。これによって、4096個の積分値つまり4096個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。
【0033】
なお、AE評価回路22から出力されたAE評価値およびAF評価回路24から出力されたAF評価値に基づく処理については、後述する。
【0034】
CPU26はまた、撮像タスクと並列して実行される顔検出タスクの下で、探索画像エリア32cに格納された探索画像データから人物の顔画像を繰り返し探索する。このとき、図4に示す要領でサイズが調整される顔枠FDと図5に示す5つの辞書画像を収めた顔辞書DC_Fとが用いられる。
【0035】
ここで、顔辞書DC_Fはフラッシュメモリ44に保存される。また、顔辞書DC_Fにおいて、FC=1に割り当てられた辞書画像は正面を向く顔画像に相当し、FC=2に割り当てられた辞書画像は左斜め前を向く顔画像に相当し、FC=3に割り当てられた辞書画像は左を向く顔画像に相当する。さらに、FC=4に割り当てられた辞書画像は右斜め前を向く顔画像に相当し、FC=5に割り当てられた辞書画像は右を向く顔画像に相当する。
【0036】
顔検出タスクではまず、評価エリアEVAの全域が顔部探索エリアとして設定される。また、顔枠FDのサイズの可変範囲を定義するべく、最大サイズFSZmaxが“200”に設定され、最小サイズFSZminが“20”に設定される。可変範囲の定義が完了すると、顔検出処理が開始される。
【0037】
顔枠FDは、顔部探索エリアの開始位置(左上位置)から終了位置(右下位置)に向かって、ラスタ走査態様で既定量ずつ移動される(図6参照)。また、顔枠FDのサイズは、顔枠FDが終了位置に到達する毎に“FSZmax”から“FSZmin”まで“5”ずつ縮小される。
【0038】
顔枠FDに属する一部の探索画像データは、メモリ制御回路30を通して探索画像エリア32cから読み出される。読み出された探索画像データの特徴量は、顔辞書DC_Fに収められた5つの辞書画像の各々の特徴量と照合される。照合結果である符合度が閾値THface以上の値を示せば、顔画像が検出されたものとみなされる。現時点の顔枠FDの位置およびサイズと照合結果である符合度は、顔枠情報として図7に示すレジスタRGSTtmpに登録される。また、レジスタRGSTtmpに記述された顔枠数は、このような登録処理に伴ってインクリメントされる。なお、顔枠情報および顔枠数は、厳密にはレジスタRGSTtmp上の顔枠登録領域FCR1に記述される。
【0039】
最小サイズFSZminを有する顔枠FDが顔部探索エリアの終了位置に到達すると、レジスタRGSTtmpに注目した顔枠保持処理が開始される。
【0040】
まず、レジスタRGSTtmp上の保持枠登録領域HDR1に記述された全てのマーカが“0”に設定され、変数Iが“1”〜“MAX1”に設定されるとともに、変数Jが“1”〜“MAX2”に設定される。具体的には、変数Jは、I=1に対応して“1”〜“MAX2”に設定され、I=2に対応して“1”〜“MAX2”に設定され、…I=MAX1に対応して“1”〜“MAX2”に設定される。つまり、変数Jを“1”〜“MAX2”に設定する処理は、変数Iの個数(=MAX1)に相当する回数だけ実行される。
【0041】
ここで、変数Iは顔枠登録領域FCR1に記述された顔枠情報を識別する番号に相当し、変数Jは保持枠登録領域HDR1に記述された保持枠情報を識別する番号に相当する。また、“MAX1”は顔枠登録領域FCR1に記述された顔枠数に相当し、“MAX2”は保持枠登録領域HDR1に記述された保持枠数に相当する。
【0042】
変数IおよびJが設定されると、I番目の顔枠情報によって定義されるエリアとJ番目の保持枠情報によって定義されるエリアとの重複度が算出される。算出される重複度は、重複する面積の増大に伴って増大する。算出された重複度が基準値REFを上回れば、J番目の保持枠情報を定義する位置およびサイズがI番目の顔枠情報を定義する位置およびサイズによって更新される。
【0043】
また、I番目の顔枠情報を定義する符合度がJ番目の保持枠情報を定義する符合度を上回れば、J番目の保持枠情報を定義する符合度がI番目の顔枠情報を定義する符合度によって更新される。このような更新処理が完了すると、J番目の保持枠情報に割り当てられたマーカが“1”に更新され、J番目の保持枠情報に割り当てられた非探知時間が“0”に設定される。
【0044】
I番目の顔枠情報によって示されるエリアがMAX2個の保持枠情報によってそれぞれ示されるMAX2個のエリアのいずれとも重複しなければ、I番目の顔枠情報を定義する位置,サイズおよび符合度は、新規の保持枠情報として保持枠登録エリアHDR1に登録される。なお、この保持枠情報に割り当てられたマーカは“1”を示す。
【0045】
したがって、撮像面で捉えられた人物HM1およびHM2が図8の上段に示す姿勢で静止しているとき、人物HM1に対応する顔枠情報および保持枠情報は図9に示す顔枠KF1およびHF1を表し、人物HM2に対応する顔枠情報および保持枠情報は図9に示す顔枠KF2およびHF2を表す。
【0046】
その後に、人物HM1が撮像面に向かって左前方に移動し、人物HM2が下を向き、そして人物HM3が出現したとする(図8の下段参照)。また、人物HM1およびHM3の顔画像の検出は成功するものの、人物HM2の顔画像の検出は失敗したとする(符合度:人物HM1およびHM3については閾値THface以上、人物HM2については閾値THface未満)。
【0047】
すると、人物HM1の顔枠情報を表す顔枠KF1および人物HM3の顔枠情報を表す顔枠KF3は顔検出処理によって図10に示すように定義され、人物HM2の顔枠情報を表す顔枠KF2は顔検出処理によって消失する。
【0048】
その後の顔枠保持処理では、人物HM1の保持枠情報が図10に示す顔枠KF1を定義するように更新され、人物HM3の保持枠情報が図10に示す顔枠KF3を定義するように新規に作成される。なお、人物HM2の保持枠情報はこれまでの定義を維持する。
【0049】
変数Iが“MAX1”に達し、かつ変数Jが“MAX2”に達すると、マーカが“0”を示す保持枠情報が保持枠登録領域HDR1から検出され、検出された保持枠情報に割り当てられた非探知時間がタイマ26tを参照して更新される。タイマ26tは、現フレームの顔検出処理の開始に先立ってスタートされ、顔検出処理の完了時にストップされる。非探知時間には、このようなタイマ26tのスタートからストップまでの時間が積算される。
【0050】
こうして更新された非探知時間は、閾値THtmと比較される。閾値THtmは、検出された保持枠情報を定義する符合度が大きいほど大きい値を示す。更新された非探知時間がこのような閾値THtm以上であれば、検出された保持枠情報がレジスタRGSTtmpから削除される。削除の後にレジスタRGSTtmpに残った保持枠情報はソートされ、“MAX2”は削除に伴ってディクリメントされる。
【0051】
したがって、図8の例において、人物HM2の顔画像が検出されない期間が閾値THtmを上回ると、人物HM2の保持枠情報が保持枠登録領域HDR1から削除される。
【0052】
顔枠保持処理は、非探知時間が閾値THtmに達した全ての保持枠情報の削除と、これに対応する保持枠情報のソート処理および“MAX2”のディクリメント処理の後に完了する。
【0053】
顔枠保持処理が完了すると、CPU26は、レジスタRGSTtmpの記述をレジスタRGSToutに複製し、その後にレジスタRGSTtmpの顔枠登録領域FCR1をクリアする。撮像タスクによって参照されるフラグFLG_faceは、レジスタRGSToutの顔枠登録領域FCR1に記述された顔枠数が“0”のとき“0”に設定され、レジスタRGSToutの顔枠登録領域FCR1に記述された顔数が“1”以上のとき“1”に設定される。
【0054】
フラグFLG_faceが“1”であれば、CPU26は、1または2以上の顔枠キャラクタをLCDモニタ38に表示すべく、撮像タスクの下で顔枠キャラクタ表示命令をキャラクタジェネレータ46に与える。顔枠キャラクタは、レジスタRGSToutの保持枠登録領域HDR1に記述された保持枠情報に適合する態様でLCDモニタ38に表示される。具体的には、保持枠情報を定義するサイズを有する顔枠キャラクタが、保持枠情報を定義する位置に対応してモニタ画面に表示される。
【0055】
上述のように、保持枠情報を保持枠登録領域HDR1から削除するタイミングを規定する閾値THtmは、保持枠情報を定義する符合度の大きさによって相違する。また、顔枠キャラクタの表示/非表示を制御するにあたっては、保持枠登録領域HDR1に記述された保持枠情報が参照される。したがって、符合度が小さい保持枠情報に対応する顔枠キャラクタは図11に示すように早いタイミングで非表示とされ、符合度が大きい保持枠情報に対応する顔枠キャラクタは図12に示すように遅いタイミングで非表示とされる。
【0056】
CPU26は続いて、最大サイズを有する顔枠キャラクタの近傍にAEエリアを設定し、設定されたAEエリアに注目した厳格AE処理を実行する。厳格AE処理では、AE評価回路22から出力された4096個のAE評価値のうちAEエリアに属する一部のAE評価値を参照して最適EV値が算出され、算出された最適EV値を定義する絞り量および露光時間がドライバ18bおよび18cにそれぞれ設定される。この結果、最大サイズを有する顔枠キャラクタの近傍に存在する画像の明るさが最適値に調整される。
【0057】
フラグFLG_faceが“0”であれば、CPU26は、顔枠非表示命令をキャラクタジェネレータ46に与える。この結果、顔枠キャラクタの表示が中止される。CPU26は続いて、評価エリアEVAの中央にAEエリアを設定し、設定されたAEエリアに注目した簡易AE処理を実行する。簡易AE処理では、AE評価回路22から出力された4096個のAE評価値のうちAEエリアに属する一部のAE評価値を参照して適正EV値が算出され、算出された適正EV値を定義する絞り量および露光時間がドライバ18bおよび18cにそれぞれ設定される。この結果、評価エリアの中央に存在する画像の明るさが適正値に調整される。
【0058】
シャッタボタン28shが半押しされると、CPU26は、フラグFLG_faceの状態に応じて異なる態様でAFエリアを設定する。AFエリアは、FLG_face=1に対応して最大サイズの顔枠キャラクタの近傍に設定される一方、FLG_face=0に対応して評価エリアEVAの中央に設定される。
【0059】
CPU26は続いて、AF評価回路24から出力された4096個のAF評価値のうちAFエリアに属する一部のAF評価値を参照してAF処理を実行する。フォーカスレンズ12は、参照されたAF評価値の総和が最大となる位置に配置され、これによってAFエリアに属する画像の鮮鋭度が向上する。
【0060】
シャッタボタン28shが全押しされると、CPU26は、静止画取り込み処理および記録処理を実行する。静止画取り込み処理の結果、シャッタボタン28shが全押しされた時点の被写界を表す1フレームの画像データがYUV画像エリア32bから静止画像エリア32dに退避される。また、記録処理の結果、メモリI/F40が起動される。メモリI/F40は、静止画像エリア32dに退避された画像データをメモリ制御回路30を通して読み出し、読み出された画像データをファイル形式で記録媒体42に記録する。
【0061】
CPU26は、図13〜図14に示す撮像タスクおよび図15〜図21に示す顔検出タスクを含む複数のタスクをマルチタスクOSの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
【0062】
図13を参照して、ステップS1では動画取り込み処理を開始する。この結果、被写界を表すスルー画像がLCDモニタ38に表示される。ステップS3ではフラグFLG_faceを“0”に設定し、ステップS5では顔検出タスクを起動する。フラグFLG_faceは顔検出タスクの下で顔画像が検出されたか否かを識別するためのフラグであり、“0”が非検出を示す一方、“1”が検出を示す。ステップS7ではこのようなフラグFLG_faceが“1”を示すか否かを判別し、判別結果がYESであればステップS9に進む一方、判別結果がNOであればステップS15に進む。
【0063】
ステップS9では、1または2以上の顔枠キャラクタをLCDモニタ38に表示すべく、顔枠表示命令をキャラクタジェネレータ46に与える。顔枠キャラクタは、レジスタRGSToutの保持枠登録領域HDR1に記述された保持枠情報に適合する態様でLCDモニタ38に表示される。ステップS11では、最大サイズを有する顔枠キャラクタを検出し、検出された顔枠キャラクタの近傍にAEエリアを設定する。ステップS13では、AE評価回路22から出力された4096個のAE評価値のうちステップS11で設定されたAEエリアに属する一部のAE評価値を参照して厳格AE処理を実行する。この結果、最大サイズを有する顔枠キャラクタの近傍に存在する画像の明るさが最適値に調整される。
【0064】
ステップS15では、顔枠非表示命令をキャラクタジェネレータ46に与える。この結果、顔枠キャラクタの表示が中止される。ステップS17では、評価エリアEVAの中央にAEエリアを設定する。ステップS19では、AE評価回路22から出力された4096個のAE評価値のうちステップS17で設定されたAEエリアに属する一部のAE評価値を参照して簡易AE処理を実行する。この結果、評価エリアの中央に存在する画像の明るさが適正値に調整される。
【0065】
ステップS21ではシャッタボタン28shが半押しされたか否かを判別し、判別結果がNOであればステップS7に戻る一方、判別結果がYESであればステップS23に進む。ステップS23では、フラグFLG_faceが“1”であるか否かを再度判別する。判別結果がYESであればステップS25に進み、最大サイズを有する顔枠キャラクタの近傍にAFエリアを設定する。これに対して、判別結果がNOであれば、評価エリアEVAの中央にAFエリアを設定する。
【0066】
ステップS29では、AF評価回路24から出力された4096個のAF評価値のうちステップS25またはS27で設定されたAFエリアに属する一部のAF評価値を参照してAF処理を実行する。フォーカスレンズ12は、参照されたAF評価値の総和が最大となる位置に配置され、これによってAFエリアに属する画像の鮮鋭度が向上する。
【0067】
AF処理が完了すると、シャッタボタン28shが全押しされたか否かをステップS31で判別し、シャッタボタン28shの操作が解除されたか否かをステップS33で判別する。ステップS33の判別結果がYESであれば、そのままステップS7に戻る。ステップS31の判別結果がYESであれば、ステップS35で静止画取り込み処理を実行し、ステップS37で記録処理を実行し、その後にステップS7に戻る。静止画取り込み処理の結果、シャッタボタン28shが全押しされた時点の被写界を表す1フレームの画像データが静止画エリア32dに取り込まれる。また、記録処理の結果、静止画取り込みエリア32dに取り込まれた画像データが、メモリI/F40によって記録媒体42に記録される。
【0068】
図15を参照して、ステップS41ではレジスタRGSTtmpおよびRGSToutをクリアし、ステップS43では評価エリアEVAの全域を顔探索エリアとして設定する。ステップS45では、顔枠FDのサイズの可変範囲を定義するべく、最大サイズFSZmaxを“200”に設定し、最小サイズFSZminを“20”に設定する。可変範囲の定義が完了すると、ステップS47でタイマ26tをスタートさせ、垂直同期信号Vsyncが発生したか否かをステップS49で判別する。判別結果がNOからYESに更新されると、ステップS51で顔検出処理を実行する。顔検出処理が完了すると、ステップS53でタイマ26tをストップし、レジスタRGSTtmpに注目した顔枠保持処理をステップS55で実行する。
【0069】
顔枠保持処理が完了するとステップS57に進み、レジスタRGSTtmpの記述をレジスタRGSToutに複製する。ステップS59ではレジスタRGSTtmpの顔枠登録領域FCRをクリアし、ステップS61ではレジスタRGSToutの保持枠登録領域HDR1に記述された保持枠数が“1”以上であるか否かを判別する。判別結果がYESであれば、顔が検出されたことを表明するべく、ステップS63でフラグFLG_faceを“1”に設定する。判別結果がNOであれば、顔が検出されなかったことを表明するべく、ステップS65でフラグFLG_faceを“0”に設定する。ステップS63またはS65の処理が完了すると、ステップS47に戻る。
【0070】
ステップS51の顔検出処理は、図16〜図17に示すサブルーチンに従って実行される。ステップS71では顔枠FDのサイズを“SZmax”に設定し、ステップS73では顔枠FDを顔探索エリアの開始位置(左上位置)に配置する。ステップS75では、顔枠FDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。ステップS77では、顔辞書番号FCを“1”に設定する。
【0071】
ステップS79では、ステップS75で算出された特徴量を、顔辞書DC_Fに収められた5つの辞書画像のうち顔辞書番号FCに対応する辞書画像の特徴量と照合する。ステップS81では照合結果である符合度が閾値THface以上であるか否かを判別し、ステップS83では顔辞書番号FCが“5”であるか否かを判別する。
【0072】
ステップS81の判別結果がYESであればステップS87に進み、現時点の顔枠FDの位置およびサイズと照合結果である符合度とを顔枠情報としてレジスタRGSTtmpの顔枠登録領域FCR1に登録する。ステップS87ではまた、レジスタRGSTtmpの顔枠登録領域FCR1に記述された顔枠数をインクリメントする。ステップS87の処理が完了すると、ステップS89に進む。
【0073】
ステップS81の判別結果およびステップS83の判別結果のいずれもがNOであれば、ステップS85で顔辞書番号FCをインクリメントし、その後にステップS79に戻る。ステップS81の判別結果がNOでかつステップS83の判別結果がYESであれば、そのままステップS89に進む。
【0074】
ステップS89では、顔枠FDが顔探索エリアの終了位置(右下位置)に到達したか否かを判別する。判別結果がNOであれば、ステップS91で顔枠FDを既定量だけラスタ方向に移動させ、その後にステップS75に戻る。判別結果がYESであれば、顔枠FDのサイズが“FSZmin”以下であるか否かをステップS93で判別する。判別結果がNOであれば、ステップS95で顔枠FDのサイズを“5”だけ縮小し、ステップS97で顔枠FDを顔探索エリアの開始位置に配置し、その後にステップS75に戻る。ステップS93の判別結果がYESであれば、上階層のルーチンに復帰する。
【0075】
図15に示すステップS55の顔枠保持処理は、図18〜図21に示すサブルーチンに従って実行される。ステップS101では保持枠登録領域HDR1に記述された全てのマーカを“0”に設定し、ステップS103では顔枠登録領域FCR1に記述された顔枠情報を識別する変数Iを“1”に設定する。ステップS105では変数Iが最大値MAX1(=顔枠登録領域FCR1に記述された顔枠数)を上回るか否かを判別し、判別結果がNOであればステップS107に進む。
【0076】
ステップS107では保持枠登録領域HDR1に記述された保持枠情報を識別する変数Jを“1”に設定し、ステップS109では変数Jが最大値MAX2(=保持枠登録領域HDR1に記述された保持枠数)を上回るか否かを判別する。判別結果がYESであれば、ステップS111でI番目の顔枠情報を定義する位置,サイズおよび符合度を新規の保持枠情報として保持枠登録領域HDR1に登録する。なお、この保持枠情報に割り当てられたマーカは“1”を示す。ステップS113では、ステップS111の登録処理を踏まえて最大値MAX2をインクリメントする。続くステップS115で変数Iをインクリメントし、インクリメントが完了するとステップS105に戻る。
【0077】
ステップS109の判別結果がNOであればステップS117に進み、I番目の顔枠情報によって示されるエリアとJ番目の保持枠情報によって示されるエリアとの重複度を算出する。算出される重複度は、重複する面積の増大に伴って増大する。ステップS119では、算出された重複度が基準値REFを上回るか否かを判別する。判別結果がNOであれば、ステップS121で変数JをインクリメントしてからステップS109に戻る。判別結果がYESであればステップS123に進み、J番目の保持枠情報を定義する位置およびサイズをI番目の顔枠情報を定義する位置およびサイズによって更新する。
【0078】
ステップS125ではI番目の顔枠情報を定義する符合度を“MD1”として検出し、ステップS127ではJ番目の保持枠情報を定義する符合度を“MD2”として検出する。ステップS129では、ステップS125で検出された符合度MD1がステップS127で検出された符合度MD2を上回るか否かを判別する。判別結果がNOであればそのままステップS133に進む一方、判別結果がYESであればステップS131を経てステップS133に進む。ステップS131では、J番目の保持枠情報を定義する符合度をI番目の顔枠情報を定義する符合度によって更新する処理をレジスタRGSTtmp上で実行する。
【0079】
ステップS133では、J番目の保持枠情報に割り当てられたマーカを“1”に更新し、ステップS135ではJ番目の保持枠情報に割り当てられた非探知時間を“0”に設定する。ステップS135の処理が完了すると、ステップS137で変数Iをインクリメントし、その後にステップS105に戻る。
【0080】
ステップS105の判別結果がYESであれば、ステップS139で変数Jを“1”に設定し、変数Jが最大値MAX2を上回るか否かをステップS141で判別する。判別結果がNOであればステップS143に進み、J番目の保持枠情報に割り当てられたマーカが“0”を示すか否かを判別する。判別結果がNOであればステップS153に進む一方、判別結果がYESであればステップS145に進む。
【0081】
ステップS145では、J番目の保持枠情報に割り当てられた非探知時間をタイマ26tを参照して更新する。具体的には、図15に示すステップS47でスタートされた時点のタイマ26tの値と現時点のタイマ26tの値との差分に相当する時間を、J番目の保持枠情報に割り当てられた非探知時間に積算する。ステップS147では、J番目の保持枠情報を定義する符合度を参照して閾値THtmを調整する。閾値THtmは、参照する符合度が大きいほど大きい値を示す。
【0082】
ステップS149では、ステップS145で更新された非探知時間がステップS147で調整された閾値THtm以上であるか否かを判別する。判別結果がNOであればそのままステップS153に進む一方、判別結果がYESであればステップS151の処理を経てステップS153に進む。ステップS151では、J番目の保持枠に割り当てられたマーカを“9”に更新する。ステップS153では変数Jをインクリメントし、インクリメントが完了するとステップS141に戻る。
【0083】
ステップS141の判別結果がYESであれば、ステップS155で変数Jを“1”に設定し、変数Jが最大値MAX2を上回るか否かをステップS157で判別する。判別結果がNOであれば、J番目の保持枠情報に割り当てられたマーカが“9”を示すか否かをステップS159で判別する。判別結果がNOであれば、ステップS161で変数JをインクリメントしてからステップS157に戻る。一方、判別結果がYESであればステップS163に進み、J番目の保持枠情報を保持枠登録領域HDR1から削除する。
【0084】
ステップS165では削除の後に保持枠登録領域HDR1に残った保持枠情報をソートし、ステップS167では最大値MAX2をディクリメントする。ディクリメントが完了すると、ステップS157に戻る。ステップS157の判別結果がYESであれば、上階層のルーチンに復帰する。
【0085】
以上の説明から分かるように、イメージャ16によって捉えられた被写界を表す探索画像データは、メモリ制御回路30によってSDRAM32の探索画像エリア32cに取り込まれる。CPU26は、顔辞書DC_Fに収められた辞書画像に対する符合度が閾値THfaceを上回る顔画像を探索画像エリア32cに格納された探索画像データから探索し(S51)、顔枠キャラクタを表示するキャラクタ表示処理を顔画像の探知に応答して開始する(S111, S61~S63, S7~S9)。CPU26はまた、顔画像の非探知が継続する時間をキャラクタ表示処理と並列して測定し(S145)、探知された顔画像の辞書画像に対する符合度が大きいほど増大するように閾値THtmを調整する(S125~S131, S147)。CPU26はさらに、顔画像の非探知が継続する時間が閾値THtmに達したときキャラクタ表示処理を終了する(S149~S151, S159, S163, S61~S65, S7~S9, S15)。
【0086】
キャラクタ表示処理は、顔画像が探知されたときに開始され、顔画像の非探知が継続する時間が閾値THtmに達したときに終了される。ここで、探知される顔画像は辞書画像に対する符合度が基準を上回る画像に相当し、閾値THtmはこのような符合度の増大に伴って増大する。したがって、探知された顔画像が人物の顔部に相当する可能性が高ければ(顔画像の誤探知の可能性が低ければ)、キャラクタ表示処理の期間は長くなる。逆に、探知された顔画像が人物の顔部に相当する可能性が低ければ(顔画像の誤探知の可能性が高ければ)、キャラクタ表示処理の期間は短くなる。これによって、顔枠キャラクタの表示性能が向上する。
【0087】
なお、この実施例では、マルチタスクOSおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ44に予め記憶される。しかし、図22に示すように通信I/F48をディジタルカメラ10に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ44に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【0088】
また、この実施例では、CPU26によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【0089】
10 …ディジタルカメラ
12 …フォーカスレンズ
14 …絞り機構
16 …イメージャ
22 …AE評価回路
24 …AF評価回路
26 …CPU
32 …SDRAM
44 …フラッシュメモリ

【特許請求の範囲】
【請求項1】
画像を繰り返し取り込む取り込み手段、
特徴パターンに対する符合度が基準を上回る物体像を前記取り込み手段によって取り込まれた画像から探索する探索手段、
前記探索手段の探知に応答して報知処理を開始する開始手段、および
前記開始手段によって開始された報知処理の継続期間を前記探索手段によって探知された物体像の前記特徴パターンに対する符合度が大きいほど延長する調整手段を備える、物体像探索装置。
【請求項2】
前記探索手段によって探知された物体像の属性を登録する登録手段をさらに備え、
前記開始手段は前記登録手段によって登録された属性毎に前記報知処理を実行する、請求項1記載の物体像探索装置。
【請求項3】
前記取り込み手段は撮像手段を含み、
前記登録手段によって登録された属性を参照して撮像条件を調整する撮像条件調整手段をさらに備える、請求項2記載の物体像探索装置。
【請求項4】
前記登録手段は、前記物体像の属性に符合する登録属性を1または2以上の登録属性の中から探索する属性探索手段、前記物体像の属性を前記属性探索手段の非探知に応答して新規の登録属性として定義する定義手段、および前記属性探索手段によって探知された登録属性の記述を前記物体像の属性に基づいて更新する更新手段を含む、請求項2または3記載の物体像探索装置。
【請求項5】
前記調整手段は、前記1または2以上の登録属性のうち前記更新手段による非更新の期間が前記調整手段によって調整された期限に達した登録属性を削除する削除手段、および前記削除手段によって削除された登録属性に対応して前記報知処理を終了する報知終了手段を含む、請求項4記載の物体像探索装置。
【請求項6】
前記調整手段は、前記探索手段による非探知が継続する期間を前記報知処理と並列して測定する測定手段、前記符合度の増大に応じて延長される期限を設定する設定手段、および前記測定手段によって測定された期間が前記設定手段によって設定された期限に達したとき前記報知処理を終了する終了手段を含む、請求項1ないし3のいずれかに記載の物体像探索装置。
【請求項7】
前記調整手段は、共通の物体に対応して探知された複数の物体像にそれぞれ対応する複数の符合度の中から最大符合度を特定する特定手段、および前記特定手段によって特定された最大符合度に基づいて期限調整を実行する調整実行手段を含む、請求項1ないし6のいずれかに記載の物体像探索装置。
【請求項8】
前記取り込み手段によって取り込まれた画像を前記取り込み手段の取り込み処理と並列してモニタ画面に表示する表示手段をさらに備え、
前記報知処理は前記物体像を指向するキャラクタを前記モニタ画面に表示するキャラクタ表示処理を含む、請求項1ないし7のいずれかに記載の物体像探索装置。
【請求項9】
画像を繰り返し取り込む取り込み手段を備える物体像探索装置のプロセッサに、
特徴パターンに対する符合度が基準を上回る物体像を前記取り込み手段によって取り込まれた画像から探索する探索ステップ、
前記探索ステップの探知に応答して報知処理を開始する開始ステップ、および
前記開始ステップによって開始された報知処理の継続期間を前記探索ステップによって探知された物体像の前記特徴パターンに対する符合度が大きいほど延長する調整ステップを実行させるための、物体像探索プログラム。
【請求項10】
画像を繰り返し取り込む取り込み手段を備える物体像探索装置によって実行される物体像探索方法であって、
特徴パターンに対する符合度が基準を上回る物体像を前記取り込み手段によって取り込まれた画像から探索する探索ステップ、
前記探索ステップの探知に応答して報知処理を開始する開始ステップ、および
前記開始ステップによって開始された報知処理の継続期間を前記探索ステップによって探知された物体像の前記特徴パターンに対する符合度が大きいほど延長する調整ステップを備える、物体像探索方法。
【請求項11】
画像を繰り返し取り込む取り込み手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える物体像探索装置に供給される外部制御プログラムであって、
特徴パターンに対する符合度が基準を上回る物体像を前記取り込み手段によって取り込まれた画像から探索する探索ステップ、
前記探索ステップの探知に応答して報知処理を開始する開始ステップ、および
前記開始ステップによって開始された報知処理の継続期間を前記探索ステップによって探知された物体像の前記特徴パターンに対する符合度が大きいほど延長する調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項12】
画像を繰り返し取り込む取り込み手段、
外部制御プログラムを受信する受信手段、および
前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える物体像探索装置であって、
前記外部制御プログラムは、
特徴パターンに対する符合度が基準を上回る物体像を前記取り込み手段によって取り込まれた画像から探索する探索ステップ、
前記探索ステップの探知に応答して報知処理を開始する開始ステップ、および
前記開始ステップによって開始された報知処理の継続期間を前記探索ステップによって探知された物体像の前記特徴パターンに対する符合度が大きいほど延長する調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、物体像探索装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate


【公開番号】特開2012−175400(P2012−175400A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−35342(P2011−35342)
【出願日】平成23年2月22日(2011.2.22)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】