画像処理装置
【構成】探索画像データは、イメージャ16によって捉えられた被写界を表して、SDRAM32の探索画像エリア32cに格納される。CPU26は、1または2以上の顔部画像を探索画像データから探索し、これと並列して1または2以上の後頭部画像を同じ探索画像データから探索する。CPU26はまた、1または2以上の顔画像に対応する領域をAFエリアとして設定する処理と、1または2以上の後頭部画像に対応する領域と異なる領域をAFエリアとして設定する処理とを選択的に実行する。ここで、前者のAFエリア設定処理は、後者のAFエリア設定処理に優先して起動される。
【効果】画質の向上が図られる。
【効果】画質の向上が図られる。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像処理装置に関し、特に顔部画像を検出して指定画像の品質を調整する、画像処理装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、映像信号中から肌色領域または人の顔の領域が検出される。輝度補正,色補正,アパーチャ補正は、検出された肌色領域または顔領域に対してのみ実行される。検出された肌色領域または顔領域はまた、オートフォーカス,アイリス制御,自動利得制御,自動シャッタのための測光領域とされる。これによって、適応的な画質向上が図られる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−146405号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、画質調整のために参照すべきではない領域が積極的に検出されることはなく、このような領域と異なる領域の画像に基づいて画質調整処理が実行されることもない。このため、背景技術では、画質の向上に限界がある。
【0005】
それゆえに、この発明の主たる目的は、画質を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【0006】
この発明に従う画像処理装置(10:実施例で相当する参照符号。以下同じ)は、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索手段(S7, S145~S149, S171~S185)、後頭部を各々が表す1または2以上の第2部分画像を第1探索手段の探索処理に関連して指定画像から探索する第2探索手段(S155~S169)、指定画像上の領域のうち第1探索手段によって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定手段(S255~S259)、指定画像上の領域のうち第2探索手段によって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する第2設定手段(S241~S245, S261)、および第1設定手段が第2設定手段に優先するように第1設定手段および第2設定手段を選択的に起動する起動制御手段(S251~S253)を備える。
【0007】
好ましくは、上半身の輪郭を表す第1辞書画像(DC_B)に符合する部分画像を上半身画像として指定画像から探索する上半身画像探索手段(S9)、および頭部の輪郭を表す第2辞書画像(DC_H)に符合する部分画像を頭部画像として上半身画像から探索する頭部画像探索手段(S13)がさらに備えられ、第2探索手段は後頭部を表す第3辞書画像(DC_R)に符合する部分画像を第2部分画像として頭部画像から探索する。
【0008】
好ましくは、第1探索手段は顔部を表す第4辞書画像(DC_F)と符合する部分画像を第1部分画像として探索し、第1設定手段は、第1部分画像と第4辞書画像との符合度が基準(TH_F)以上のとき顔部に注目して参照領域を設定する第1参照領域設定手段(S255, S259)、および第1部分画像と第4辞書画像との符合度が基準を下回るとき上半身に注目して参照領域を設定する第2参照領域設定手段(S257, S259)を含む。
【0009】
好ましくは、フォーカスレンズ(12)を通して被写界を捉える撮像面を有して被写界像を出力する撮像手段(16)、および参照領域に属する画像に基づいてフォーカスレンズから撮像面までの距離を調整する距離調整手段(S203)がさらに備えられる。
【0010】
ある局面では、撮像面に照射される光量を調整する絞り機構(14)、第2探索手段の検知に対応して絞りを既定量ずつ開放する開放手段(S283)、およびフォーカスレンズから撮像面までの距離を開放手段の開放処理と並列して再調整する再調整手段(S289)がさらに備えられる。
【0011】
他の局面では、第1探索手段および/または第2探索手段の検知結果に応じて異なる態様で測光する測光手段(S309~S323)、および測光手段の測光結果に基づいて絞り機構の絞り量および/または撮像手段の露光時間を調整する露光調整手段(S307)がさらに備えられる。
【0012】
その他の局面では、撮像面の前方に向けて閃光を発生する発生手段(48)、および第1探索手段および/または第2探索手段の検知結果に応じて異なるように発生手段の発生態様を調整する閃光調整手段(S209)がさらに備えられる。
【0013】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(26)に、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ(S7, S145~S149, S171~S185)、後頭部を各々が表す1または2以上の第2部分画像を第1探索ステップの探索処理に関連して指定画像から探索する第2探索ステップ(S155~S169)、指定画像上の領域のうち第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ(S255~S259)、指定画像上の領域のうち第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する第2設定ステップ(S241~S245, S261)、および第1設定ステップが第2設定ステップに優先するように第1設定ステップおよび第2設定ステップを選択的に起動する起動制御ステップ(S251~S253)を実行させるための、画像処理プログラムである。
【0014】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ(S7, S145~S149, S171~S185)、後頭部を各々が表す1または2以上の第2部分画像を第1探索ステップの探索処理に関連して指定画像から探索する第2探索ステップ(S155~S169)、指定画像上の領域のうち第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ(S255~S259)、指定画像上の領域のうち第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する第2設定ステップ(S241~S245, S261)、および第1設定ステップが第2設定ステップに優先するように第1設定ステップおよび第2設定ステップを選択的に起動する起動制御ステップ(S251~S253)を備える。
【0015】
この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ(S7, S145~S149, S171~S185)、後頭部を各々が表す1または2以上の第2部分画像を第1探索ステップの探索処理に関連して指定画像から探索する第2探索ステップ(S155~S169)、指定画像上の領域のうち第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ(S255~S259)、指定画像上の領域のうち第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する第2設定ステップ(S241~S245, S261)、および第1設定ステップが第2設定ステップに優先するように第1設定ステップおよび第2設定ステップを選択的に起動する起動制御ステップ(S251~S253)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【0016】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(50)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置であって、外部制御プログラムは、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ(S7, S145~S149, S171~S185)、後頭部を各々が表す1または2以上の第2部分画像を第1探索ステップの探索処理に関連して指定画像から探索する第2探索ステップ(S155~S169)、指定画像上の領域のうち第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ(S255~S259)、指定画像上の領域のうち第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する第2設定ステップ(S241~S245, S261)、および第1設定ステップが第2設定ステップに優先するように第1設定ステップおよび第2設定ステップを選択的に起動する起動制御ステップ(S251~S253)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【0017】
この発明によれば、顔部画像および後頭部画像の両方が検出されたとき、或いは顔部画像のみが検知されたときは、顔部画像に対応する領域が参照領域として設定される。これに対して、後頭部画像のみが検知されたときは、後頭部画像に対応する領域と異なる領域が参照領域として設定される。参照領域は画質調整のための領域であるため、顔部画像が検出されたときは顔部画像を参照して画質が調整され、後頭部画像のみが検出されたときは後頭部画像と異なる画像を参照して画質が調整される。これによって、画質の向上が図られる。
【0018】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0019】
【図1】この発明の一実施例の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図4】顔検出処理において用いられる顔枠の一例を示す図解図である。
【図5】顔検出処理および顔部/後頭部判定処理において参照される顔辞書の構成の一例を示す図解図である。
【図6】人体検出処理において用いられる人体枠の一例を示す図解図である。
【図7】人体検出処理において参照される人体辞書の構成の一例を示す図解図である。
【図8】顔検出処理または人体検出処理の一部を示す図解図である。
【図9】図2実施例に適用されるレジスタの構成の一例を示す図解図である。
【図10】図2実施例の動作の一部を示す図解図である。
【図11】頭部検出処理において用いられる頭部枠の一例を示す図解図である。
【図12】頭部検出処理において参照される頭部辞書の構成の一例を示す図解図である。
【図13】顔部/後頭部判定処理において参照される後頭部辞書の構成の一例を示す図解図である。
【図14】図2実施例の動作の他の一部を示す図解図である。
【図15】図2実施例の動作のその他の一部を示す図解図である。
【図16】(A)は顔辞書に収められた1番目の辞書画像と顔枠との位置関係の一例を示す図解図であり、(B)は顔辞書に収められた2番目の辞書画像と顔枠との位置関係の一例を示す図解図であり、(C)は顔辞書に収められた3番目の辞書画像と顔枠との位置関係の一例を示す図解図であり、(D)は顔辞書に収められた4番目の辞書画像と顔枠との位置関係の一例を示す図解図であり、(E)は顔辞書に収められた5番目の辞書画像と顔枠との位置関係の一例を示す図解図である。
【図17】図2実施例の動作のさらにその他の一部を示す図解図である。
【図18】図2実施例の動作の他の一部を示す図解図である。
【図19】図2実施例の動作のその他の一部を示す図解図である。
【図20】図2実施例の動作のさらにその他の一部を示す図解図である。
【図21】被写界深度を調整する動作の一例を示す図解図である。
【図22】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図23】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図24】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図25】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図26】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図27】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図28】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図29】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図30】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図31】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図32】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図33】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図34】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図35】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図36】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図37】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図38】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図39】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図40】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図41】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図42】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図43】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0021】
図1を参照して、この実施例の電子カメラは、基本的に次のように構成される。第1探索手段1は、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する。第2探索手段2は、後頭部を各々が表す1または2以上の第2部分画像を第1探索手段1の探索処理に関連して指定画像から探索する。第1設定手段3は、指定画像上の領域のうち第1探索手段1によって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する。第2設定手段4は、指定画像上の領域のうち第2探索手段2によって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する。起動制御手段5は、第1設定手段3が第2設定手段4に優先するように第1設定手段3および第2設定手段4を選択的に起動する。
【0022】
顔部画像および後頭部画像の両方が検出されたとき、或いは顔部画像のみが検知されたときは、顔部画像に対応する領域が参照領域として設定される。これに対して、後頭部画像のみが検知されたときは、後頭部画像に対応する領域と異なる領域が参照領域として設定される。参照領域は画質調整のための領域であるため、顔部画像が検出されたときは顔部画像を参照して画質が調整され、後頭部画像のみが検出されたときは後頭部画像と異なる画像を参照して画質が調整される。これによって、画質の向上が図られる。
[実施例]
【0023】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経た被写界の光学像は、イメージャ16の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【0024】
電源が投入されると、CPU26は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ18cに命令する。ドライバ18cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ16からは、読み出された電荷に基づく生画像データが周期的に出力される。
【0025】
前処理回路20は、イメージャ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路30を通してSDRAM32の生画像エリア32aに書き込まれる。
【0026】
後処理回路34は、生画像エリア32aに格納された生画像データをメモリ制御回路30を通して読み出し、読み出された生画像データに色分離処理,白バランス調整処理およびYUV変換処理を施す。後処理回路34はさらに、YUV形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、YUV形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路30によってSDRAM32の表示画像エリア32bに書き込まれる。探索画像データは、メモリ制御回路30によってSDRAM32の探索画像エリア32cに書き込まれる。
【0027】
LCDドライバ36は、表示画像エリア32bに格納された表示画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0028】
図3を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVAを形成する。また、図2に示す前処理回路20は、上述した処理に加えて、生画像データを簡易的にRGBデータに変換する簡易RGB変換処理を実行する。
【0029】
AE評価回路22は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータを、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAE評価値が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。AF評価回路24は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータの高周波成分を、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。こうして得られたAE評価値およびAF評価値に基づく処理については、後述する。
【0030】
撮像タスクと並列して実行される人物検出タスクの下で、CPU26は、探索画像エリア32cに格納された探索画像データから人物の顔画像および人体画像を探索するべく、垂直同期信号Vsyncが発生する毎に顔検出処理および人体検出処理を実行する。
【0031】
顔検出処理では、図4に示す要領でサイズが調整される顔枠FDと図5に示す5つの辞書画像(=向きが互いに異なる顔画像)を収めた顔辞書DC_Fとが用いられる。また、人体検出処理では、図6に示す要領でサイズが調整される人体枠BDと図7に示す単一の辞書画像(=上半身の輪郭画像)を収めた人体辞書DC_Bとが用いられる。なお、顔辞書DC_Fおよび人体辞書DC_Bはいずれもフラッシュメモリ44に保存される。
【0032】
顔検出処理ではまず、評価エリアEVAの全域が顔部探索エリアとして設定される。また、顔枠FDのサイズの可変範囲を定義するべく、最大サイズFSZmaxが“200”に設定され、最小サイズFSZminが“20”に設定される。
【0033】
顔枠FDは、顔部探索エリアの開始位置(左上位置)から終了位置(右下位置)に向かって、ラスタ走査態様で既定量ずつ移動される(図8参照)。また、顔枠FDのサイズは、顔枠FDが終了位置に到達する毎に“FSZmax”から“Fszmin”まで“5”ずつ縮小される。
【0034】
顔枠FDに属する一部の探索画像データは、メモリ制御回路30を通して探索画像エリア32cから読み出される。読み出された探索画像データの特徴量は、顔辞書DC_Fに収められた5つの辞書画像の各々の特徴量と照合される。閾値TH_F以上の照合度が得られると、顔画像が検出されたものとみなされる。現時点の顔枠FDの位置およびサイズは顔情報として図9に示すレジスタRGSTtmpに登録され、同じレジスタRGSTtmpに記述された顔数は顔情報の登録に伴ってインクリメントされる。
【0035】
人物検出処理ではまず、評価エリアEVAの全域が人体探索エリアとして設定される。また、人体枠BDのサイズの可変範囲を定義するべく、最大サイズBSZmaxが“400”に設定され、最小サイズBSZminが“40”に設定される。
【0036】
人体枠BDもまた、人体探索エリアの開始位置(左上位置)から終了位置(右下位置)に向かって、ラスタ走査態様で既定量ずつ移動される(図8参照)。また、人体枠BDのサイズは、人体枠BDが終了位置に到達する毎に“BSZmax”から“Bszmin”まで“5”ずつ縮小される。
【0037】
人体枠BDに属する一部の探索画像データは、メモリ制御回路30を通して探索画像エリア32cから読み出される。読み出された探索画像データの特徴量は、人体辞書DC_Bに収められた辞書画像の特徴量と照合される。閾値TH_B以上の照合度が得られると、人体画像が検出されたものとみなされる。現時点の人体枠BDの位置およびサイズは人体情報としてレジスタRGSTtmpに登録され、レジスタRGSTtmpに記述された人体数は人体情報の登録に伴ってインクリメントされる。
【0038】
したがって、撮像面に対して後ろを向く人物HM1と撮像面に対して前を向く人物HM2〜HM3と撮像面に対して前斜め下を向く人物HM4とが図10に示す要領で捉えられる場合、レジスタRGSTtmpに登録された顔情報は図10に示す2つの顔枠FD_1およびFD_2の各々の位置およびサイズを示し、レジスタRGSTtmpに記述された顔数は“2”を示す。また、レジスタRGSTtmpに登録された人体情報は図10に示す4つの人体枠BD_1〜BD_4の各々の位置およびサイズを示し、レジスタRGSTtmpに記述された人体数は“4”を示す。
【0039】
人体検出処理が完了すると、CPU26は、レジスタRGSTtmpに記述された人体数を人体検出タスクの下で特定する。特定された人体数が“1”以上であれば、CPU26は、頭部検出処理および顔部/後頭部判定処理を追加的に実行する。
【0040】
頭部検出処理では、図11に示す要領でサイズが調整される頭部枠HDと図12に示す単一の辞書画像(=頭部の輪郭画像)を収めた頭部辞書DC_Hとが用いられる。また、顔部/後頭部判定処理では、図13に示す要領で3つの辞書画像(=髪型が互いに異なる後頭部画像)を収めた後頭部辞書DC_Rと上述した顔辞書DC_Fとが用いられる。なお、頭部辞書DC_Hおよび後頭部辞書DC_Rもまた、フラッシュメモリ44に保存される。
【0041】
頭部検出処理ではまず、レジスタRGSTtmpに登録された人体情報の識別番号に相当する変数BNが“1”に設定され、BN番目の人体情報がレジスタRGSTtmpから読み出される。頭部の位置およびサイズは、読み出された人体情報に基づいて想定される。頭部探索エリアは、想定された頭部サイズよりも大きいサイズを有して、想定された頭部位置に設定される(図14参照)。
【0042】
次に、頭部枠HDのサイズの可変範囲を定義するべく、読み出された人体情報を定義するサイズの0.75倍が最大サイズHSZmaxとして設定され、読み出された人体情報を定義するサイズの0.6倍が最小サイズHSZminとして設定される。
【0043】
頭部枠HDは、頭部探索エリアの開始位置(左上位置)から終了位置(右下位置)に向かって、ラスタ走査態様で既定量ずつ移動される。また、頭部枠HDのサイズは、頭部枠HDが終了位置に到達する毎に“HSZmax”から“Hszmin”まで“5”ずつ縮小される。
【0044】
頭部枠HDに属する一部の探索画像データは、メモリ制御回路30を通して探索画像エリア32cから読み出される。読み出された探索画像データの特徴量は、頭部辞書DC_Hに収められた辞書画像の特徴量と照合される。閾値TH_H以上の照合度が得られると、頭部画像が検出されたものとみなされ、現時点の頭部枠HDの位置およびサイズが頭部情報としてレジスタRGSTtmpに登録される。
【0045】
変数BNは、最小サイズHSZminを有する頭部枠HDが頭部探索エリアの終了位置に到達する毎にインクリメントされる。上述の処理は、変数BNがレジスタRGSTtmpに記述された人体数を上回るまで繰り返される。
【0046】
したがって、図10または図14に示す例では、図15に示す4つの頭部枠HD_1〜HD_4の各々の位置およびサイズが、頭部情報としてレジスタRGSTtmpに登録される。
【0047】
顔部/後頭部判定処理では、まず変数BNが“1”に設定される。BN番目の人体情報に対応する頭部情報がレジスタRGSTtmpに存在すれば、注目する頭部情報に共通する顔情報がレジスタRGSTtmpから探索される。具体的には、注目する頭部情報によって定義されたエリアと重複するエリアを定義する顔情報が探索される。
【0048】
所望の顔情報が発見されると、顔画像が検出されたものとみなされ、“1”を示す顔部/後頭部判定結果がBN番目の人体情報に対応してレジスタRGTStmpに登録される。なお、変数BNは、顔部/後頭部判定結果がレジスタRGSTtmpに登録される毎に、レジスタRGSTtmpに記述された人体数を上回るまでインクリメントされる。
【0049】
したがって、図10,図14または図15に示す例では、顔部/後頭部判定結果は、人物HM2の人体情報に対応して“1”を示し、また人物HM3の人体情報に対応して“1”を示す。
【0050】
所望の顔情報が発見されなければ、注目する頭部情報に基づいて頭部枠HDが設定される。頭部枠HDは、頭部情報によって定義されたエリアに相当するエリアを有して、頭部情報によって定義された位置に相当する位置に設定される。
【0051】
頭部枠HDに属する一部の探索画像データは探索画像エリア32cから読み出され、読み出された探索画像データの特徴量は図13に示す後頭部辞書DC_Rに収められた3つの辞書画像の各々の特徴量と照合される。閾値TH_R以上の照合度が得られると、後頭部画像が検出されたものとみなされ、“2”を示す顔部/後頭部判定結果がBN番目の人体情報に対応してレジスタRGTStmpに登録される。
【0052】
したがって、図10,図14または図15に示す例では、顔部/後頭部判定結果は、人物HM1の人体情報に対応して“2”を示す。
【0053】
後頭部辞書DC_Rに収められた3つの辞書画像のいずれに対しても閾値TH_R以上の照合度が得られなければ、顔辞書DC_Fに収められた5つの辞書画像の各々が指定される。顔枠FDは、注目する頭部情報によって定義されたエリアのうち、指定された辞書画像に現れた顔の位置に対応する位置に設定される(図16(A)〜図16(E)参照)。
【0054】
設定された顔枠FDに属する一部の探索画像データは探索画像エリア32cから読み出され、読み出された探索画像データの特徴量は指定された辞書画像の特徴量と照合される。照合度が閾値TH_HF以上であれば(ただし、TH_HF<TH_F)、顔部画像が存在する可能性があるとみなされ、“3”を示す顔部/後頭部判定結果がBN番目の人体情報に対応してレジスタRGTStmpに登録される。
【0055】
したがって、図10,図14または図15に示す例において、頭部枠HD_4に属する顔画像と指定された辞書画像との照合度が閾値TH_HF以上であれば、顔部/後頭部判定結果は、人物HM4の人体情報に対応して“3”を示す。
【0056】
顔辞書DC_Fに収められた5つの辞書画像のいずれについても照合度が閾値TH_HF未満であれば、顔画像の有無については判定不能とみなされ、“4”を示す顔部/後頭部判定結果がBN番目の人体情報に対応してレジスタRGTStmpに登録される。
【0057】
こうしてレジスタRGSTtmpへの登録が完了すると、CPU26は、レジスタRGSTtmpの記述をレジスタRGSToutに複製し、その後にレジスタRGSTtmpをクリアする。撮像タスクによって参照されるフラグFLG_Fは、レジスタRGSToutの記述を参照して、以下の要領で更新される。
【0058】
レジスタRGSToutに記述された顔数が“1”以上であれば、顔部画像および/または後頭部画像が探索画像データ上に存在することを表明するべく、フラグFLG_Fが“1”に設定される。また、レジスタRGSToutに記述された顔数が“0”であっても、レジスタRGSToutに記述された人体数が“1”以上で、かつレジスタRGSToutに記述された顔部/後頭部判定結果の少なくとも1つが“1”,“2”または“3”であれば、フラグFLG_Fは“1”に設定される。
【0059】
これに対して、レジスタRGSToutに記述された顔数および人体数がいずれも“0”であれば、顔部画像および/または後頭部画像が探索画像データ上に存在しないことを表明するべく、フラグFLG_Fが“0”に設定される。また、レジスタRGSToutに記述された人体数が“1”以上であっても、レジスタRGSToutに記述された顔部/後頭部判定結果のいずれもが“4”であれば、フラグFLG_Fは“0”に設定される。
【0060】
こうして“1”または“0”に設定されるフラグFLG_Fの状態は、撮像タスクの下で繰り返し判別され、判別結果に応じて異なる処理が以下の要領で実行される。
【0061】
フラグFLG_Fが“1”を示す場合、CPU26は、1または2以上の顔枠キャラクタをLCDモニタ38に表示すべく、顔枠キャラクタ表示命令をキャラクタジェネレータ46に与える。顔枠キャラクタは、レジスタRGSToutに登録された顔情報に従う態様でLCDモニタ38に表示される。表示が完了すると、注目領域設定処理,AFエリア設定処理,AF処理,AE優先設定処理,厳格AE処理およびフラッシュ調整処理が以下の要領で実行される。
【0062】
注目領域設定処理では、まず“2”を示す顔部/後頭部判定結果がレジスタRGSToutから探索される。続いて、撮像面に対して後ろを向いている人物の領域が、“2”を示す顔部/後頭部判定結果に対応する人体情報に基づいて特定される。注目領域は、特定された人物領域を回避するように設定される。したがって、図10,図14または図15に示す例では、注目領域は図17に示す要領で設定される。
【0063】
AFエリア設定処理では、レジスタRGSToutの記述を参照して、以下の要領でAFエリアが設定される。
【0064】
レジスタRGSToutに記述された顔数が“1”以上であれば、レジスタRSGToutの記述された顔情報のうち最大サイズを定義する顔情報が特定される。AFエリアは、特定された顔情報が示すサイズに相当するサイズを有して、特定された顔情報が示す位置に設定される。したがって、図10,図14または図15に示す例では、AFエリアは、図18に示すように人物HM2の顔部を覆う位置に設定される。
【0065】
レジスタRGSToutに記述された顔数が“0”であっても、レジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果の少なくとも1つが“3”であれば、“3”を示す顔部/後頭部判定結果に対応する人体情報のうち最大サイズを定義する人体情報が特定される。AFエリアは、特定された人体情報が示すサイズに相当するサイズを有して、特定された人体情報が示す位置に設定される。したがって、図19に示すように物体OBJ1およびOBJ2が人物HM2およびHM3の代わりに存在する場合、AFエリアは人物HM4の上半身を覆う位置に設定される。
【0066】
レジスタRGSToutに記述された顔数が“0”で、かつレジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果のいずれもが“2”であれば、注目領域設定処理によって設定された注目領域内にAFエリアが設定される。したがって、図20に示すように物体OBJ1〜OBJ3が人物HM2〜HM4の代わりに存在する場合、AFエリアは注目領域内に設定される。
【0067】
AF処理は、AF評価回路24から出力された256個のAF評価値のうち上述の要領で設定されたAFエリアに属するAF評価値に基づいて実行される。フォーカスレンズ12はドライバ18aによって光軸方向に移動され、注目するAF評価値が最大となる位置に設定される。これによって、AFエリアに属する画像の鮮鋭度が向上する。
【0068】
AE優先設定処理では、AE調整動作が“絞り優先”および“露光時間優先”のいずれか一方に設定される。
【0069】
撮像面に対して後ろを向く人物が存在し、かつ後頭部画像(=“2”を示す顔部/後頭部判定結果に対応する頭部情報によって定義される画像)の合焦度が閾値Vaf1以上であれば、絞りユニット14を駆動して絞りを既定量ずつ開放する処理とAFエリアに属するAF評価値を参照したAF処理とが並列的に実行される。これによって、AFエリアに属する画像に合焦しつつ、被写界深度が狭められる(図21参照)。
【0070】
AF調整動作は、被写界深度の変更によって後頭部画像の合焦度が閾値Vaf1を下回った時点、或いは後頭部画像の合焦度が閾値Vaf1を下回ることなく絞りの開放量が最大値に達した時点で、“絞り優先”に設定される。一方、撮像面に対して後ろを向く人物が存在しなければ、AE調整動作は“露光時間優先”に設定される。
【0071】
厳格AE処理では、“中央重点測光”,“顔優先測光”,“人体優先測光”および“マルチ測光”のいずれか1つの測光モードに従う態様で測光処理が実行される。
【0072】
“中央重点測光”が選択されたときは、被写界の中央領域の明るさの平均値が“Bav_ctr”として算出されるとともに、被写界の周辺領域の明るさの平均値が“Bav_prf”として算出され、数1に従ってBV値が算出される。
[数1]
BV値=0.9*Bav_ctr+0.1*Bav_prf
【0073】
“マルチ測光”が選択されたときは、注目領域設定処理によって設定された注目領域の明るさの平均値が“Bav_ntc”として算出され、数2に従ってBV値が算出される。
[数2]
BV値=Bav_ntc
【0074】
人物の顔部が存在する状態で“顔優先測光”が選択されたときは、顔領域(=顔情報によって定義される領域)の明るさの平均値が“Bav_face”として算出されるとともに、注目領域の明るさの平均値が“Bav_ntc”として算出され、数3に従ってBV値が算出される。
[数3]
BV値=0.9*Bav_face+0.1*Bav_ntc
【0075】
人物の顔部が存在する状態で“人物優先測光”が選択されたときは、撮像面に対して前を向く人物に対応する人体領域(=“1”を示す顔部/後頭部判定結果に対応する人体情報によって定義される領域)の明るさ平均値が“Bav_bdy”として算出されるとともに、注目領域の明るさの平均値が“Bav_ntc”として算出され、数4に従ってBV値が算出される。
[数4]
BV値=0.9*Bav_bdy+0.1*Bav_ntc
【0076】
絞り量および露光時間は、算出されたBV値およびAE優先設定に適合するように、ドライバ18bおよび18cにそれぞれ設定される。これによって、スルー画像の明るさが適正値に調整される。
【0077】
フラッシュ調整処理では、ストロボ発光装置48から放射されるフラッシュの方向および光量が調整される。フラッシュの方向は、撮像面に対して後ろを向く人物が存在しない場合に標準方向に調整され、撮像面に対して後ろを向く人物が存在する場合に後頭部を回避する方向に調整される。フラッシュの光量は、人物の顔部が存在しない場合に標準量に調整され、人物の顔部が存在する場合に顔領域の明るさの平均値に基づく量に調整される。
【0078】
フラグFLG_Fが“0”を示す場合、CPU26は、顔枠キャラクタ非表示命令をキャラクタジェネレータ46に与える。この結果、顔枠キャラクタの表示が中止される。表示が中止されると、簡易AE処理,AEエリア設定処理,AF処理およびフラッシュ調整処理が以下の要領で実行される。
【0079】
簡易AE処理では、AE評価回路22から出力された256個のAE評価値に基づいて適正BV値が算出される。算出された適正BV値に適合する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定され、これによってスルー画像の明るさが適正値に調整される。
【0080】
AEエリア設定処理では、AFエリアは評価エリアEVAの中央に設定される。AF処理は、設定されたAFエリアに属するAF評価値を参照して実行される。これによって、評価エリアEVAの中央に存在する画像の鮮鋭度が向上する。フラッシュ調整処理では、ストロボ発光装置48から放射されるフラッシュの方向および光量を標準方向および標準量にそれぞれに設定する。
【0081】
シャッタボタン28shが半押し経由で全押しされるか、或いは一気に全押しされると、CPU26は、静止画取り込み処理を実行する。この結果、ストロボ発光装置48が必要に応じて駆動され、シャッタボタン28shが全押しされた時点の被写界を表す1フレームの画像データが静止画エリア32dに取り込まれる。静止画取り込み処理が完了すると、記録処理を実行するべく、対応する命令をメモリI/F40に与える。メモリI/F40は、静止画像エリア32dに取り込まれた画像データをメモリ制御回路30を通して読み出し、読み出された画像データをファイル形式で記録媒体42に記録する。
【0082】
CPU26は、図22〜図32に示す人物検出タスク,図33〜図42に示す撮像タスクを含む複数のタスクをマルチタスクOSの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
【0083】
図22を参照して、ステップS1ではフラグFLG_Fを“0”に設定し、ステップS3ではレジスタRGSTtmpおよびRGSToutをクリアする。ステップS5では、垂直同期信号Vsyncが発生したか否かを繰り返し判別し、判別結果がNOからYESに更新されると、ステップS7で顔検出処理を実行するとともに、ステップS9で人体検出処理を実行する。
【0084】
顔検出処理の結果、顔辞書DC_Fに収められた5つの辞書画像のいずれか1つと符合する部分画像(=照合度が閾値TH_F以上の部分画像)が顔画像として検出される。レジスタRGSTtmpには、検出された顔画像を囲う顔枠の位置およびサイズが顔情報として登録される。レジスタRGSTtmpにはまた、検出された顔画像の数が顔数として登録される。
【0085】
人体検出処理の結果、人体辞書DC_Bに収められた辞書画像と符合する部分画像(=照合度が閾値TH_B以上の部分画像)が人体画像として検出される。レジスタRGSTtmpには、検出された人体画像を囲う人体枠の位置およびサイズが人体情報として登録される。レジスタRGSTtmpにはまた、検出された人体画像の数が人体数として登録される。
【0086】
ステップS11では、人体検出処理によって検出された人体数が“1”以上であるか否かを判別する。判別結果がNOであればそのままステップS17に進む一方、判別結果がYESであればステップS13およびS15で頭部検出処理および顔部/後頭部判定処理を実行してからステップS17に進む。
【0087】
頭部検出処理の結果、頭部辞書DC_Hに収められた辞書画像と符合する部分画像(=照合度が閾値TH_Hを上回る部分画像)が頭部画像として検出される。レジスタRGSTtmpには、検出された頭部画像を囲う頭部枠の位置およびサイズが頭部情報として登録される。
【0088】
顔部/後頭部判定処理の結果、頭部検出処理によって検出された頭部画像の属性が判定される。顔部/後頭部判定結果は、顔部が現れた頭部画像に対応して“1”を示し、後頭部が現れた頭部画像に対応して“2”を示す。顔部/後頭部判定結果はまた、顔部が現れている可能性がある頭部画像に対応して“3”を示し、判定不能に対応して“4”を示す。このような判定結果もまた、レジスタRGSTtmpに登録される。
【0089】
ステップS17ではレジスタRGSTtmpの記述をレジスタRGSToutに複製し、ステップS19ではレジスタRGSTtmpをクリアする。ステップS21ではレジスタRGSToutに記述された顔数が“1”以上であるか否かを判別し、ステップS23ではレジスタRGSToutに記述された人体数が“0”であるか否かを判別し、そしてステップS25ではレジスタRGSToutに記述された顔部/後頭部判定結果のいずれもが“4”であるか否かを判別する。
【0090】
ステップS21の判別結果がYESであれば、ステップS29に進む。ステップS21の判別結果がNOでかつステップS23の判別結果がYESであれば、ステップS27に進む。ステップS21の判別結果,ステップS23の判別結果およびステップS25の判別結果のいずれもがNOであれば、ステップS29に進む。ステップS21の判別結果およびステップS23の判別結果がNOでかつステップS25の判別結果がYESであれば、ステップS27に進む。
【0091】
ステップS27では、顔部画像および/または後頭部画像が探索画像データ上に存在しないことを表明するべく、フラグFLG_Fを“0”に設定する。ステップS29では、顔部画像および/または後頭部画像が探索画像データ上に存在すること表明するべく、フラグFLG_Fを“1”に設定する。ステップS27またはS29の処理が完了すると、ステップS5に戻る。
【0092】
図22に示すステップS7の顔検出処理は、図24〜図25に示すサブルーチンに従って実行される。
【0093】
まずステップS31で、評価エリアEVAの全域を顔部探索エリアとして設定する。ステップS33では、顔枠FDのサイズの可変範囲を定義するべく、最大サイズFSZmaxを“200”に設定し、最小サイズFSZminを“20”に設定する。可変範囲の定義が完了するとステップS35に進み、顔枠FDのサイズを“FSZmax”に設定する。
【0094】
ステップS37では、顔枠FDを顔部探索エリアの開始位置(左上位置)に配置する。ステップS39では、顔枠FDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。ステップS41では、顔辞書番号FDICを“1”に設定する。
【0095】
ステップS43では、ステップS39で算出された特徴量を、顔辞書DC_Fに収められた5つの辞書画像のうち顔辞書番号FDICに対応する辞書画像の特徴量と照合する。ステップS45では照合度が閾値TH_F以上であるか否かを判別し、ステップS47では顔辞書番号FDICが“5”であるか否かを判別する。
【0096】
ステップS45の判別結果がYESであればステップS51に進み、現時点の顔枠FDの位置およびサイズを顔情報としてレジスタRGSTtmpに登録する。ステップS51ではまた、レジスタRGSTtmpに記述された顔数をインクリメントする。ステップS51の処理が完了すると、ステップS53に進む。
【0097】
ステップS47の判別結果がYESであれば、ステップS49で顔辞書番号FDICをインクリメントし、その後にステップS43に戻る。ステップS45の判別結果およびステップS47の判別結果のいずれもがNOであれば、そのままステップS53に進む。
【0098】
ステップS53では、顔枠FDが顔部探索エリアの終了位置(右下位置)に到達したか否かを判別する。判別結果がNOであれば、ステップS55で顔枠FDを既定量だけラスタ方向に移動させ、その後にステップS39に戻る。判別結果がYESであれば、顔枠FDのサイズが“FSZmin”以下であるか否かをステップS57で判別する。判別結果がNOであれば、ステップS59で顔枠FDのサイズを“5”だけ縮小し、ステップS61で顔枠FDを顔部探索エリアの開始位置に配置し、その後にステップS39に戻る。ステップS57の判別結果がYESであれば、上階層のルーチンに復帰する。
【0099】
図22に示すステップS9の人体検出処理は、図26〜図27に示すサブルーチンに従って実行される。
【0100】
まずステップS71で、評価エリアEVAの全域を人体探索エリアとして設定する。ステップS73では、人体枠BDのサイズの可変範囲を定義するべく、最大サイズBSZmaxを“400”に設定し、最小サイズBSZminを“40”に設定する。可変範囲の定義が完了するとステップS75に進み、人体枠BDのサイズを“BSZmax”に設定する。
【0101】
ステップS77では、人体枠BDを人体探索エリアの開始位置(左上位置)に配置する。ステップS79では人体枠BDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。ステップS81では、ステップS79で算出された特徴量を人体辞書DC_Bに収められた辞書画像の特徴量と照合する。
【0102】
ステップS83では照合度が閾値TH_B以上であるか否かを判別し、判別結果がNOであればそのままステップS87に進む一方、判別結果がYESであればステップS85の処理を経てステップS87に進む。ステップS87では、現時点の人体枠BDの位置およびサイズを人体情報としてレジスタRGSTtmpに登録する。ステップS87ではまた、レジスタRGSTtmpに記述された人体数をインクリメントする。
【0103】
ステップS87では、人体枠BDが人体探索エリアの終了位置(右下位置)に到達したか否かを判別する。判別結果がNOであれば、ステップS89で人体枠BDを既定量だけラスタ方向に移動させ、その後にステップS79に戻る。判別結果がYESであれば、人体枠BDのサイズが“BSZmin”以下であるか否かをステップS91で判別する。判別結果がNOであれば、ステップS93で人体枠BDのサイズを“5”だけ縮小し、ステップS95で人体枠BDを人体探索エリアの開始位置に配置し、その後にステップS79に戻る。ステップS91の判別結果がYESであれば、上階層のルーチンに復帰する。
【0104】
図22に示すステップS13の頭部検出処理は、図28〜図29に示すサブルーチンに従って実行される。
【0105】
まずステップS101で、人体情報の識別番号に相当する変数BNを“1”に設定する。ステップS103では、BN番目の人体情報をレジスタRGSTtmpから読み出し、読み出された人体情報に基づいて頭部の位置およびサイズを想定し、そして想定された頭部サイズよりも大きいサイズを有する頭部探索エリアを想定された頭部位置に設定する。
【0106】
ステップS105では、頭部枠HDのサイズの可変範囲を定義するべく、読み出された人体情報を定義するサイズの0.75倍を最大サイズHSZmaxとして設定し、読み出された人体情報を定義するサイズの0.6倍を最小サイズHSZminとして設定する。可変範囲の定義が完了するとステップS107に進み、頭部枠HDのサイズを“HSZmax”に設定する。
【0107】
ステップS109では、頭部枠HDを頭部探索エリアの開始位置(左上位置)に配置する。ステップS111では頭部枠HDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。ステップS113では、ステップS111で算出された特徴量を頭部辞書DC_Hに収められた辞書画像の特徴量と照合する。
【0108】
ステップS115では照合度が閾値TH_H以上であるか否かを判別し、判別結果がNOであればそのままステップS119に進む一方、判別結果がYESであればステップS117の処理を経てステップS119に進む。ステップS117では、現時点の頭部枠HDの位置およびサイズを頭部情報としてレジスタRGSTtmpに登録する。
【0109】
ステップS119では、頭部枠HDが頭部探索エリアの終了位置(右下位置)に到達したか否かを判別する。判別結果がNOであれば、ステップS121で頭部枠HDを既定量だけラスタ方向に移動させ、その後にステップS111に戻る。判別結果がYESであれば、頭部枠HDのサイズが“HSZmin”以下であるか否かをステップS123で判別する。判別結果がNOであれば、ステップS125で頭部枠HDのサイズを“5”だけ縮小し、ステップS127で頭部枠HDを頭部探索エリアの開始位置に配置し、その後にステップS111に戻る。
【0110】
ステップS123の判別結果がYESであれば、変数BNをステップS129でインクリメントし、インクリメントされた変数BNの値がレジスタRGSTtmpに記述された人体数を上回るか否かをステップS131で判別する。判別結果がNOであればステップS103に戻る一方、判別結果がYESであれば上階層のルーチンに復帰する。
【0111】
図22に示すステップS15の顔部/後頭部判定処理は、図30〜図32に示すサブルーチンに従って実行される。
【0112】
まずステップS141で変数BNを“1”に設定する。ステップS143ではBN番目の人体情報に対応する頭部情報がレジスタRGSTtmpに存在するか否かを判別し、判別結果がYESであればステップS145に進む一方、判別結果がNOであればステップS151に進む。
【0113】
ステップS145では、注目する頭部情報に共通する顔情報をレジスタRGSTtmpから探索する。具体的には、注目する頭部情報によって定義されたエリアと重複するエリアを定義する顔情報を探索する。ステップS147では、所望の顔情報が発見されたか否かを判別する。判別結果がYESであればステップS149に進み、“1”を示す顔部/後頭部判定結果をBN番目の人体情報に対応してレジスタRGTStmpに登録する。登録が完了すると、ステップS151に進む。
【0114】
ステップS151では変数BNをインクリメントし、ステップS153ではインクリメントされた変数BNの値がレジスタRGSTtmpに記述された人体数を上回るか否かを判別する。判別結果がNOであればステップS143に戻る一方、判別結果がYESであれば上階層のルーチンに復帰する。
【0115】
ステップS147の判別結果がNOであればステップS155に進み、注目する頭部情報に基づいて頭部枠HDを設定する。頭部枠HDは、頭部情報によって定義されたエリアに相当するエリアを有して、頭部情報によって定義された位置に相当する位置に設定される。ステップS157では、頭部枠HDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。
【0116】
ステップS159では、後頭部辞書番号RDICを“1”に設定する。ステップS161では、ステップS157で算出された特徴量を、後頭部辞書DC_Rに収められた3つの辞書画像のうち後頭部辞書番号RDICに対応する辞書画像の特徴量と照合する。ステップS163では照合度が閾値TH_RH以上であるか否かを判別し、ステップS165では後頭部辞書番号RDICが“3”であるか否かを判別する。
【0117】
ステップS163の判別結果がYESであればステップS169に進み、“2”を示す顔部/後頭部判定結果をBN番目の人体情報に対応してレジスタRGTStmpに登録する。登録が完了すると、ステップS151に進む。ステップS163の判別結果およびステップS165の判別結果がいずれもNOであれば、ステップS167で後頭部辞書番号RDICをインクリメントし、その後にステップS161に戻る。ステップS163の判別結果がNOでかつステップS165の判別結果がYESであれば、ステップS171に進む。
【0118】
ステップS171では、顔辞書番号FDICを“1”に設定する。ステップS173では、注目する頭部情報によって定義されたエリアのうち顔辞書番号FDICの値(=顔の向き)に応じて異なる位置およびサイズに顔枠FDを設定する。ステップS175では、設定された顔枠FDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。
【0119】
ステップS177では、算出された特徴量を顔辞書番号FDICに対応する辞書画像の特徴量と照合する。ステップS179では照合度が閾値TH_HF以上であるか否かを判別し、ステップS181では顔辞書番号FDICが“5”であるか否かを判別する。なお、閾値TH_HFは、上述した閾値TH_Fよりも小さい。
【0120】
ステップS179の判別結果およびステップS181の判別結果がいずれもNOであれば、ステップS183で顔辞書番号FDICをインクリメントし、その後にステップS173に戻る。ステップS179の判別結果がYESであればステップS185に進み、ステップS179の判別結果がNOでかつステップS181の判別結果がYESであればステップS187に進む。
【0121】
ステップS185では、“3”を示す顔部/後頭部判定結果をBN番目の人体情報に対応してレジスタRGTStmpに登録する。また、ステップS187では、“4”を示す顔部/後頭部判定結果をBN番目の人体情報に対応してレジスタRGTStmpに登録する。ステップS185またはS187の処理が完了すると、ステップS151に進む。
【0122】
図33を参照して、ステップS191では、動画取込み処理を実行する。この結果、被写界を表すスルー画像がLCDモニタ38に表示される。ステップS193では上述した人物検出タスクを起動し、ステップS195ではフラグFLG_Fが“1”を示すか否かを判別する。FLG_F=1であればステップS197〜S209を経てステップS221に進み、FLG_F=0であればステップS211〜S219を経てステップS221に進む。
【0123】
ステップS197では、1または2以上の顔枠キャラクタをLCDモニタ38に表示すべく、顔枠表示命令をキャラクタジェネレータ46に与える。顔枠キャラクタは、レジスタRGSToutに登録された顔情報に従う態様でLCDモニタ38に表示される。ステップS199では注目領域設定処理を実行し、ステップS201ではAFエリア設定処理を実行する。
【0124】
注目領域設定処理では、まず“2”を示す顔部/後頭部判定結果がレジスタRGSToutから探索される。続いて、撮像面に対して後ろを向いている人物の領域が、レジスタRGSToutから発見された顔部/後頭部判定結果に対応する人体情報に基づいて特定される。注目領域は、特定された人物領域を回避するように設定される。
【0125】
AFエリア設定処理では、レジスタRGSToutの記述を参照して、以下の要領でAFエリアが設定される。
【0126】
レジスタRGSToutに記述された顔数が“1”以上であれば、レジスタRSGToutの記述された顔情報のうち最大サイズを定義する顔情報が特定される。AFエリアは、特定された顔情報が示すサイズに相当するサイズを有して、特定された顔情報が示す位置に設定される。
【0127】
レジスタRGSToutに記述された顔数が“0”であっても、レジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果の少なくとも1つが“3”であれば、“3”を示す顔部/後頭部判定結果に対応する人体情報のうち最大サイズを定義する人体情報が特定される。AFエリアは、特定された人体情報が示すサイズに相当するサイズを有して、特定された人体情報が示す位置に設定される。
【0128】
レジスタRGSToutに記述された顔数が“0”で、かつレジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果のいずれもが“2”であれば、注目領域設定処理によって設定された注目領域内にAFエリアが設定される。
【0129】
ステップS203ではAF処理を実行し、ステップS205ではAE優先設定処理を実行する。また、ステップS207では厳格AE処理を実行し、ステップS209ではフラッシュ調整処理を実行する。
【0130】
AF処理は、AF評価回路24から出力された256個のAF評価値のうちステップS201で設定されたAFエリアに属するAF評価値に基づいて実行される。この結果、AFエリアに属する画像の鮮鋭度が向上するようにフォーカスが調整される。
【0131】
AE優先設定処理では、AE調整動作を“絞り優先”および“露光時間優先”のいずれか一方に設定する。
【0132】
撮像面に対して後ろを向く人物が存在し、かつ後頭部画像の合焦度が閾値Vaf1以上であれば、絞りを既定量ずつ開放する処理とAFエリアに属する画像に注目したAF処理とが並列的に実行される。これによって、AFエリアに属する画像に合焦しつつ、被写界深度が狭められる。
【0133】
AF調整動作は、被写界深度の変更によって後頭部画像の合焦度が閾値Vaf1を下回った時点、或いは後頭部画像の合焦度が閾値Vaf1を下回ることなく絞りの開放量が最大値に達した時点で、“絞り優先”に設定される。一方、撮像面に対して後ろを向く人物が存在しなければ、AE調整動作は“露光時間優先”に設定される。
【0134】
厳格AE処理では、“中央重点測光”,“顔優先測光”,“人体優先測光”および“マルチ測光”のいずれか1つの測光モードに従う態様で測光処理が実行される。
【0135】
“中央重点測光”が選択されたときは、中央領域の明るさの平均値と周辺領域の明るさの平均値とが算出され、算出されたこれらの平均値に基づいてBV値が算出される。“マルチ測光”が選択されたときは、注目領域設定処理によって設定された注目領域の明るさの平均値が算出され、算出された平均値に基づいてBV値が算出される。
【0136】
人物の顔部が存在する状態で“顔優先測光”が選択されたときは、顔領域の明るさの平均値と注目領域の明るさの平均値とが算出され、算出されたこれらの平均値に基づいてBV値が算出される。人物の顔部が存在する状態で“人物優先測光”が選択されたときは、撮像面に対して前を向く人物に対応する人体領域の明るさ平均値と注目領域の明るさの平均値とが算出され、算出されたこれらの平均値に基づいてBV値が算出される。
【0137】
露光量(=絞り量および/または露光時間)は、算出されたBV値を参照して調整される。ただし、調整態様は、AE優先設定に従う。
【0138】
フラッシュ調整処理では、ストロボ発光装置48から放射されるフラッシュの方向および光量が調整される。フラッシュの方向は、撮像面に対して後ろを向く人物が存在しない場合に標準方向に調整され、撮像面に対して後ろを向く人物が存在する場合に後頭部を回避する方向に調整される。フラッシュの光量は、人物の顔部が存在しない場合に標準量に調整され、人物の顔部が存在する場合に顔領域の明るさの平均値に基づく量に調整される。
【0139】
ステップS211では顔枠非表示命令をキャラクタジェネレータ46に与え、ステップS213では簡易AE処理を実行する。ステップS211の処理の結果、顔枠キャラクタの表示が中止される。また、ステップS213の処理の結果、スルー画像の明るさが適度に調整される。ステップS215ではAFエリアを評価エリアEVAの中央に設定し、ステップS217ではステップS203と同様のAF処理を実行する。ステップS219では、ストロボ発光装置48から放射されるフラッシュの方向および光量を標準方向および標準量にそれぞれに設定する。
【0140】
ステップS221ではシャッタボタン28shが半押しされたか否かを判別し、ステップS223およびS225の各々ではシャッタボタン28shが全押しされたか否かを判別し、そしてステップS227ではシャッタボタン28shの操作が解除されたか否かを判別する。
【0141】
ステップS221の判別結果およびステップS223の判別結果のいずれもがNOであるか、或いはステップS221の判別結果,ステップS225の判別結果およびステップS227の判別結果がそれぞれYES,NOおよびYESであれば、そのままステップS195に戻る。また、ステップ227の判別結果がNOであれば、ステップS225に戻る。さらに、ステップS223の判別結果またはステップS225の判別結果がYESであれば、ステップS221の判別結果に関係なくステップS229に進む。
【0142】
ステップS229では静止画取り込み処理を実行し、ステップS231では記録処理を実行する。ステップS229の処理の結果、ストロボ発光装置48が必要に応じて駆動され、シャッタボタン28shが全押しされた時点の被写界を表す1フレームの画像データが静止画エリア32dに取り込まれる。また、ステップS231の処理の結果、静止画像エリア32dに取り込まれた画像データがファイル形式で記録媒体42に記録される。ステップS231の処理が完了すると、ステップS195に戻る。
【0143】
図33に示すステップS199の注目領域設定処理は、図35に示すサブルーチンに従って実行される。ステップS241では、レジスタRGSToutに記述された顔部/後頭部判定結果の少なくとも1つが“2”を示すか否かを判別する。判別結果がNOであればそのまま上階層のルーチンに復帰する一方、判別結果がYESであればステップS243に進む。
【0144】
ステップS243では、後頭部を有する1または2以上の人体画像がそれぞれ存在する1または2以上の領域を探索画像データ上で特定する。この領域特定処理は、“2”を示す顔部/後頭部判定結果に対応してレジスタRGSToutに記述された人体情報を参照して実行される。ステップS245では、ステップS243で特定された1または2以上の領域を包含する単一の領域を探索画像データ上で定義し、こうして定義された単一の領域以外の領域を注目領域として設定する。設定が完了すると、上階層のルーチンに復帰する。
【0145】
図33に示すステップS201のAFエリア設定処理は、図36に示すサブルーチンに従って実行される。
【0146】
ステップS251では、レジスタRGSToutに記述された顔数が“1”以上であるか否かを判別し、ステップS253ではレジスタRGSToutに記述された顔部/後頭部判定結果の少なくとも1つが“3”を示すか否かを判別する。
【0147】
ステップS251の判別結果がYESであればステップS255に進み、1または2以上の顔画像がそれぞれ存在する1または2以上の領域を探索画像データ上で特定する。この領域特定処理は、レジスタRGSToutに記述された顔情報を参照して実行される。
【0148】
ステップS251の判別結果がNOでかつステップS253の判別結果がYESであれば、ステップS257に進み、1または2以上の人体画像がそれぞれ存在する1または2以上の領域を探索画像データ上で特定する。この領域特定処理は、“3”を示す顔部/後頭部判定結果に対応してレジスタRGSToutに記述された人体情報を参照して実行される。
【0149】
ステップS259では、ステップS255またはS257で特定された1または2以上の領域の中から最大サイズを有する領域を抽出し、抽出された領域をAFエリアとして設定する。設定処理が完了すると、上階層のルーチンに復帰する。
【0150】
ステップS251の判別結果およびステップS253の判別結果のいずれもがNOであれば、ステップS261に進み、注目領域内にAFエリアを設定する。設定が完了すると、上階層のルーチンに復帰する。
【0151】
図33に示すステップS205のAE優先設定処理は、図37〜図38に示すサブルーチンに従って実行される。
【0152】
ステップS271では、レジスタRGSToutに記述された顔部/後頭部判定結果の少なくとも1つが“2”を示すか否かを判別する。判別結果がNOであればステップS281に進む一方、判別結果がYESであればステップS273に進む。ステップS281ではAE調整動作を“露光時間優先”に設定し、設定が完了すると上階層のルーチンに復帰する。
【0153】
ステップS273では、後頭部に相当する1または2以上の頭部領域を検出し、検出された頭部領域毎に合焦度を検出する。頭部領域は、“2”を示す顔部/後頭部判定結果に対応する人体情報を参照して検出される。また、合焦度は、頭部領域に属するAF評価値を参照して検出される。
【0154】
ステップS275では検出された1または2以上の合焦度のいずれもが閾値Vaf1未満であるか否かを判別し、ステップS277では絞りの開放量が最大であるか否かを判別する。ステップS275の判別結果およびステップS277の判別結果のいずれか一方がYESであれば、ステップS279でAE調整動作を“絞り優先”に設定する。設定が完了すると、上階層のルーチンに復帰する。
【0155】
ステップS275の判別結果およびステップS277の判別結果のいずれもがNOであれば、ステップS283に進む。ステップS283では、絞りが既定量だけ開放されるように絞り機構14を駆動する。ステップS285では、AF評価回路24から出力された256個のAF評価値のうちAFエリアに属するAF評価値を参照して、AFエリアに属する画像の合焦度を検出する。ステップS287では検出された合焦度が閾値Vaf2以上であるか否かを判別する。ここで、閾値Vaf2は閾値Vaf1よりも大きい。判別結果がYESであればそのままステップS273に戻る一方、判別結果がNOであればステップS289で上述と同様のAF処理を実行してからステップS273に戻る。
【0156】
図33に示すステップS207の厳格AE処理は、図39〜図40に示すサブルーチンに従って実行される。
【0157】
まず現時点の測光モードが“顔優先”,“人体優先”,“マルチ測光”および“中央重点測光”のいずれであるかをステップS291,S293およびS295で判別する。現時点の測光モードが“中央重点測光”であればステップS297に進み、現時点の測光モードがマルチ測光であればステップS303に進む。
【0158】
ステップS297では中央領域の明るさの平均値を“Bav_ctr”として算出し、ステップS299では周辺領域の明るさの平均値を“Bav_prf”として算出する。平均値Bav_ctrは、AE評価回路22から出力された256個のAE評価値のうち中央領域に属するAE評価値に基づいて算出される。また、平均値Bav_prfは、同じ256個のAE評価値のうち周辺領域に属するAE評価値に基づいて算出される。ステップS301では、算出された平均値Bav_ctrおよびBav_prfを数1に適用してBV値を算出する。
【0159】
ステップS303では、注目領域設定処理によって設定された注目領域の明るさの平均値を“Bav_ntc”として算出する。平均値Bav_ntcも、上述した256個のAE評価値のうち注目領域に属するAE評価値に基づいて算出される。ステップS305では、算出された平均値Bav_ntcを数2に適用してBV値を算出する。
【0160】
現時点の測光モードが“顔優先測光”であれば、レジスタRGSToutに記述された顔数が“1”以上であるか否かをステップS309で判別し、レジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果の少なくとも1つが“1”または“3”を示すか否かをステップS311で判別する。また、現時点の測光モードが“人体優先測光”であれば、ステップS311の判別処理を実行する。
【0161】
ステップS309の判別結果がYESであればステップS313に進み、ステップS309の判別結果がNOであればステップS311に進む。また、ステップS311の判別結果がYESであればステップS319に進み、ステップS311の判別結果がNOであればステップS303に進む。
【0162】
ステップS313では顔領域の明るさの平均値を“Bav_face”として算出し、ステップS315では注目領域の明るさの平均値を“Bav_ntc”として算出する。平均値Bav_faceは、AE評価回路22から出力された256個のAE評価値のうちレジスタRGSToutに記述された顔情報によって定義されるエリアに属するAE評価値に基づいて算出される。また、平均値Bav_ntcは、上述のステップS303と同じ要領で算出される。ステップS317では、こうして算出された平均値Bav_faceおよびBav_ntcを数3に適用してBV値を算出する。
【0163】
ステップS319では、“1”および/または“3”を示す顔部/後頭部判定結果に対応する人体情報によって定義されるエリアの明るさの平均値を“Bav_bdy”として算出する。平均値Bav_bdyは、注目するエリアに属するAE評価値に基づいて算出される。ステップS321では、ステップS315と同じ要領で平均値Bav_ntcを算出する。ステップS323では、こうして算出された平均値Bav_bdyおよびBav_ntcを数4に適用してBV値を算出する。
【0164】
ステップS301,S305,S317またはS323の処理が完了すると、ステップS307に進む。ステップS307では、上述の要領で算出されたBV値を参照して、AE優先設定に従う態様で露光量(=絞り量および/または露光時間)を調整する。調整が完了すると、上階層のルーチンに復帰する。
【0165】
図33に示すステップS209のフラッシュ調整処理は、図41〜図42に示すサブルーチンに従って実行される。
【0166】
まず、レジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果の少なくとも1つが“2”であるか否かをステップS331で判別する。判別結果がNOであればステップS333に進み、ストロボ発光装置48から放射されるフラッシュの方向を既定方向に調整する。
【0167】
ステップS331の判別結果がYESであれば、ステップS335に進む。ステップS335では、“2”を示す顔部/後頭部判定結果に対応する頭部情報に基づいて後頭部領域を特定し、特定された後頭部領域に属するAF評価値を参照して後頭部までの距離の算出精度を検出する。算出精度は、注目するAF評価値の増大に応じて増大する。
【0168】
ステップS337では検出された算出精度が基準を上回るか否かを判別し、判別結果がYESであればステップS339に進む一方、判別結果がNOであればステップS341に進む。ステップS339では、フラッシュの方向を後頭部領域と異なる方向に厳密に調整する。ステップS341では、フラッシュの方向を後頭部領域と異なる方向に大まかに調整する。
【0169】
ステップS333,S339または341の処理が完了すると、レジスタRGSToutに記述された顔数が“1”以上であるか否かをステップS343で判別する。判別結果がNOであればステップS345に進み、フラッシュの光量を標準量に調整する。調整が完了すると、上階層のルーチンに復帰する。
【0170】
ステップS343の判別結果がYESであればステップS347に進み、上述のステップS313と同じ要領で平均値Bav_faceを算出する。ステップS349ではステップS331と同様の判別処理を実行し、判別結果がYESであればステップS351〜S353の処理を経てステップS359に進む一方、判別結果がNOであればステップS355〜S357の処理を経てステップS359に進む。
【0171】
ステップS351〜S353では、上述のステップS315〜S317と同様の処理によってBV値を算出する。ステップS355ではAE評価回路22から出力された256個のAE評価値の平均値を“Bav_entr”として算出し、ステップS357では平均値Bav_faceおよびBav_entrに基づいてBV値を算出する。ステップS359では、算出されたBV値に基づいてフラッシュの光量を調整する。調整が完了すると、上階層のルーチンに復帰する。
【0172】
以上の説明から分かるように、探索画像データは、イメージャ16によって捉えられた被写界を表して、SDRAM32の探索画像エリア32cに格納される。CPU26は、1または2以上の顔部画像を探索画像データから探索し(S7, S145~S149, S171~S185)、これと並列して1または2以上の後頭部画像を同じ探索画像データから探索する(S155~S169)。CPU26はまた、1または2以上の顔画像に対応する領域をAFエリアとして設定する処理(S255~S259)と、1または2以上の後頭部画像に対応する領域と異なる領域をAFエリアとして設定する処理(S241~S245, S261)とを選択的に実行する。ここで、前者のAFエリア設定処理は、後者のAFエリア設定処理に優先して起動される(S251~S253)。
【0173】
したがって、顔部画像および後頭部画像の両方が検出されたとき、或いは顔部画像のみが検知されたときは、顔部画像に対応する領域がAFエリアとして設定される。これに対して、後頭部画像のみが検知されたときは、後頭部画像に対応する領域と異なる領域がAFエリアとして設定される。顔部画像が検出されたときは顔部画像を参照してフォーカスが調整され、後頭部画像のみが検出されたときは後頭部画像と異なる画像を参照してフォーカスが調整される。これによって、画質の向上が図られる。
【0174】
なお、この実施例では、マルチタスクOSおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ44に予め記憶される。しかし、図43に示すように通信I/F50をディジタルカメラ10に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ44に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【0175】
また、この実施例では、CPU26によって実行される処理を図22〜図32に示す人物検出タスクと図33〜図42に示す撮像タスクとに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【0176】
さらに、この実施例では、カメラモードにおいて顔部画像および/または後頭部画像を探索し、探索結果に応じて異なる要領で撮像条件を調整するようにしている。しかし、再生モードにおいて、再生画像から顔部画像および/または後頭部画像を探索し、探索結果に応じて異なる要領で再生画像の品質を調整するようにしてもよい。この場合、たとえば顔部画像の明るさを増大させたり、後頭部画像の明るさを低減させる処理が考えられる。
【符号の説明】
【0177】
10 …ディジタルカメラ
16 …イメージャ
22 …AE評価回路
24 …AF評価回路
26 …CPU
32 …SDRAM
44 …フラッシュメモリ
48 …ストロボ発光装置
【技術分野】
【0001】
この発明は、画像処理装置に関し、特に顔部画像を検出して指定画像の品質を調整する、画像処理装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、映像信号中から肌色領域または人の顔の領域が検出される。輝度補正,色補正,アパーチャ補正は、検出された肌色領域または顔領域に対してのみ実行される。検出された肌色領域または顔領域はまた、オートフォーカス,アイリス制御,自動利得制御,自動シャッタのための測光領域とされる。これによって、適応的な画質向上が図られる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−146405号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、画質調整のために参照すべきではない領域が積極的に検出されることはなく、このような領域と異なる領域の画像に基づいて画質調整処理が実行されることもない。このため、背景技術では、画質の向上に限界がある。
【0005】
それゆえに、この発明の主たる目的は、画質を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【0006】
この発明に従う画像処理装置(10:実施例で相当する参照符号。以下同じ)は、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索手段(S7, S145~S149, S171~S185)、後頭部を各々が表す1または2以上の第2部分画像を第1探索手段の探索処理に関連して指定画像から探索する第2探索手段(S155~S169)、指定画像上の領域のうち第1探索手段によって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定手段(S255~S259)、指定画像上の領域のうち第2探索手段によって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する第2設定手段(S241~S245, S261)、および第1設定手段が第2設定手段に優先するように第1設定手段および第2設定手段を選択的に起動する起動制御手段(S251~S253)を備える。
【0007】
好ましくは、上半身の輪郭を表す第1辞書画像(DC_B)に符合する部分画像を上半身画像として指定画像から探索する上半身画像探索手段(S9)、および頭部の輪郭を表す第2辞書画像(DC_H)に符合する部分画像を頭部画像として上半身画像から探索する頭部画像探索手段(S13)がさらに備えられ、第2探索手段は後頭部を表す第3辞書画像(DC_R)に符合する部分画像を第2部分画像として頭部画像から探索する。
【0008】
好ましくは、第1探索手段は顔部を表す第4辞書画像(DC_F)と符合する部分画像を第1部分画像として探索し、第1設定手段は、第1部分画像と第4辞書画像との符合度が基準(TH_F)以上のとき顔部に注目して参照領域を設定する第1参照領域設定手段(S255, S259)、および第1部分画像と第4辞書画像との符合度が基準を下回るとき上半身に注目して参照領域を設定する第2参照領域設定手段(S257, S259)を含む。
【0009】
好ましくは、フォーカスレンズ(12)を通して被写界を捉える撮像面を有して被写界像を出力する撮像手段(16)、および参照領域に属する画像に基づいてフォーカスレンズから撮像面までの距離を調整する距離調整手段(S203)がさらに備えられる。
【0010】
ある局面では、撮像面に照射される光量を調整する絞り機構(14)、第2探索手段の検知に対応して絞りを既定量ずつ開放する開放手段(S283)、およびフォーカスレンズから撮像面までの距離を開放手段の開放処理と並列して再調整する再調整手段(S289)がさらに備えられる。
【0011】
他の局面では、第1探索手段および/または第2探索手段の検知結果に応じて異なる態様で測光する測光手段(S309~S323)、および測光手段の測光結果に基づいて絞り機構の絞り量および/または撮像手段の露光時間を調整する露光調整手段(S307)がさらに備えられる。
【0012】
その他の局面では、撮像面の前方に向けて閃光を発生する発生手段(48)、および第1探索手段および/または第2探索手段の検知結果に応じて異なるように発生手段の発生態様を調整する閃光調整手段(S209)がさらに備えられる。
【0013】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(26)に、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ(S7, S145~S149, S171~S185)、後頭部を各々が表す1または2以上の第2部分画像を第1探索ステップの探索処理に関連して指定画像から探索する第2探索ステップ(S155~S169)、指定画像上の領域のうち第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ(S255~S259)、指定画像上の領域のうち第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する第2設定ステップ(S241~S245, S261)、および第1設定ステップが第2設定ステップに優先するように第1設定ステップおよび第2設定ステップを選択的に起動する起動制御ステップ(S251~S253)を実行させるための、画像処理プログラムである。
【0014】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ(S7, S145~S149, S171~S185)、後頭部を各々が表す1または2以上の第2部分画像を第1探索ステップの探索処理に関連して指定画像から探索する第2探索ステップ(S155~S169)、指定画像上の領域のうち第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ(S255~S259)、指定画像上の領域のうち第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する第2設定ステップ(S241~S245, S261)、および第1設定ステップが第2設定ステップに優先するように第1設定ステップおよび第2設定ステップを選択的に起動する起動制御ステップ(S251~S253)を備える。
【0015】
この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ(S7, S145~S149, S171~S185)、後頭部を各々が表す1または2以上の第2部分画像を第1探索ステップの探索処理に関連して指定画像から探索する第2探索ステップ(S155~S169)、指定画像上の領域のうち第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ(S255~S259)、指定画像上の領域のうち第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する第2設定ステップ(S241~S245, S261)、および第1設定ステップが第2設定ステップに優先するように第1設定ステップおよび第2設定ステップを選択的に起動する起動制御ステップ(S251~S253)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【0016】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(50)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置であって、外部制御プログラムは、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ(S7, S145~S149, S171~S185)、後頭部を各々が表す1または2以上の第2部分画像を第1探索ステップの探索処理に関連して指定画像から探索する第2探索ステップ(S155~S169)、指定画像上の領域のうち第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ(S255~S259)、指定画像上の領域のうち第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する第2設定ステップ(S241~S245, S261)、および第1設定ステップが第2設定ステップに優先するように第1設定ステップおよび第2設定ステップを選択的に起動する起動制御ステップ(S251~S253)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【0017】
この発明によれば、顔部画像および後頭部画像の両方が検出されたとき、或いは顔部画像のみが検知されたときは、顔部画像に対応する領域が参照領域として設定される。これに対して、後頭部画像のみが検知されたときは、後頭部画像に対応する領域と異なる領域が参照領域として設定される。参照領域は画質調整のための領域であるため、顔部画像が検出されたときは顔部画像を参照して画質が調整され、後頭部画像のみが検出されたときは後頭部画像と異なる画像を参照して画質が調整される。これによって、画質の向上が図られる。
【0018】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0019】
【図1】この発明の一実施例の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図4】顔検出処理において用いられる顔枠の一例を示す図解図である。
【図5】顔検出処理および顔部/後頭部判定処理において参照される顔辞書の構成の一例を示す図解図である。
【図6】人体検出処理において用いられる人体枠の一例を示す図解図である。
【図7】人体検出処理において参照される人体辞書の構成の一例を示す図解図である。
【図8】顔検出処理または人体検出処理の一部を示す図解図である。
【図9】図2実施例に適用されるレジスタの構成の一例を示す図解図である。
【図10】図2実施例の動作の一部を示す図解図である。
【図11】頭部検出処理において用いられる頭部枠の一例を示す図解図である。
【図12】頭部検出処理において参照される頭部辞書の構成の一例を示す図解図である。
【図13】顔部/後頭部判定処理において参照される後頭部辞書の構成の一例を示す図解図である。
【図14】図2実施例の動作の他の一部を示す図解図である。
【図15】図2実施例の動作のその他の一部を示す図解図である。
【図16】(A)は顔辞書に収められた1番目の辞書画像と顔枠との位置関係の一例を示す図解図であり、(B)は顔辞書に収められた2番目の辞書画像と顔枠との位置関係の一例を示す図解図であり、(C)は顔辞書に収められた3番目の辞書画像と顔枠との位置関係の一例を示す図解図であり、(D)は顔辞書に収められた4番目の辞書画像と顔枠との位置関係の一例を示す図解図であり、(E)は顔辞書に収められた5番目の辞書画像と顔枠との位置関係の一例を示す図解図である。
【図17】図2実施例の動作のさらにその他の一部を示す図解図である。
【図18】図2実施例の動作の他の一部を示す図解図である。
【図19】図2実施例の動作のその他の一部を示す図解図である。
【図20】図2実施例の動作のさらにその他の一部を示す図解図である。
【図21】被写界深度を調整する動作の一例を示す図解図である。
【図22】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図23】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図24】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図25】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図26】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図27】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図28】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図29】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図30】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図31】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図32】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図33】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図34】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図35】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図36】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図37】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図38】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図39】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図40】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図41】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図42】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図43】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0021】
図1を参照して、この実施例の電子カメラは、基本的に次のように構成される。第1探索手段1は、顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する。第2探索手段2は、後頭部を各々が表す1または2以上の第2部分画像を第1探索手段1の探索処理に関連して指定画像から探索する。第1設定手段3は、指定画像上の領域のうち第1探索手段1によって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する。第2設定手段4は、指定画像上の領域のうち第2探索手段2によって検知された1または2以上の第2部分画像に対応する領域と異なる領域を参照領域として設定する。起動制御手段5は、第1設定手段3が第2設定手段4に優先するように第1設定手段3および第2設定手段4を選択的に起動する。
【0022】
顔部画像および後頭部画像の両方が検出されたとき、或いは顔部画像のみが検知されたときは、顔部画像に対応する領域が参照領域として設定される。これに対して、後頭部画像のみが検知されたときは、後頭部画像に対応する領域と異なる領域が参照領域として設定される。参照領域は画質調整のための領域であるため、顔部画像が検出されたときは顔部画像を参照して画質が調整され、後頭部画像のみが検出されたときは後頭部画像と異なる画像を参照して画質が調整される。これによって、画質の向上が図られる。
[実施例]
【0023】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経た被写界の光学像は、イメージャ16の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【0024】
電源が投入されると、CPU26は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ18cに命令する。ドライバ18cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ16からは、読み出された電荷に基づく生画像データが周期的に出力される。
【0025】
前処理回路20は、イメージャ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路30を通してSDRAM32の生画像エリア32aに書き込まれる。
【0026】
後処理回路34は、生画像エリア32aに格納された生画像データをメモリ制御回路30を通して読み出し、読み出された生画像データに色分離処理,白バランス調整処理およびYUV変換処理を施す。後処理回路34はさらに、YUV形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、YUV形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路30によってSDRAM32の表示画像エリア32bに書き込まれる。探索画像データは、メモリ制御回路30によってSDRAM32の探索画像エリア32cに書き込まれる。
【0027】
LCDドライバ36は、表示画像エリア32bに格納された表示画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0028】
図3を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVAを形成する。また、図2に示す前処理回路20は、上述した処理に加えて、生画像データを簡易的にRGBデータに変換する簡易RGB変換処理を実行する。
【0029】
AE評価回路22は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータを、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAE評価値が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。AF評価回路24は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータの高周波成分を、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。こうして得られたAE評価値およびAF評価値に基づく処理については、後述する。
【0030】
撮像タスクと並列して実行される人物検出タスクの下で、CPU26は、探索画像エリア32cに格納された探索画像データから人物の顔画像および人体画像を探索するべく、垂直同期信号Vsyncが発生する毎に顔検出処理および人体検出処理を実行する。
【0031】
顔検出処理では、図4に示す要領でサイズが調整される顔枠FDと図5に示す5つの辞書画像(=向きが互いに異なる顔画像)を収めた顔辞書DC_Fとが用いられる。また、人体検出処理では、図6に示す要領でサイズが調整される人体枠BDと図7に示す単一の辞書画像(=上半身の輪郭画像)を収めた人体辞書DC_Bとが用いられる。なお、顔辞書DC_Fおよび人体辞書DC_Bはいずれもフラッシュメモリ44に保存される。
【0032】
顔検出処理ではまず、評価エリアEVAの全域が顔部探索エリアとして設定される。また、顔枠FDのサイズの可変範囲を定義するべく、最大サイズFSZmaxが“200”に設定され、最小サイズFSZminが“20”に設定される。
【0033】
顔枠FDは、顔部探索エリアの開始位置(左上位置)から終了位置(右下位置)に向かって、ラスタ走査態様で既定量ずつ移動される(図8参照)。また、顔枠FDのサイズは、顔枠FDが終了位置に到達する毎に“FSZmax”から“Fszmin”まで“5”ずつ縮小される。
【0034】
顔枠FDに属する一部の探索画像データは、メモリ制御回路30を通して探索画像エリア32cから読み出される。読み出された探索画像データの特徴量は、顔辞書DC_Fに収められた5つの辞書画像の各々の特徴量と照合される。閾値TH_F以上の照合度が得られると、顔画像が検出されたものとみなされる。現時点の顔枠FDの位置およびサイズは顔情報として図9に示すレジスタRGSTtmpに登録され、同じレジスタRGSTtmpに記述された顔数は顔情報の登録に伴ってインクリメントされる。
【0035】
人物検出処理ではまず、評価エリアEVAの全域が人体探索エリアとして設定される。また、人体枠BDのサイズの可変範囲を定義するべく、最大サイズBSZmaxが“400”に設定され、最小サイズBSZminが“40”に設定される。
【0036】
人体枠BDもまた、人体探索エリアの開始位置(左上位置)から終了位置(右下位置)に向かって、ラスタ走査態様で既定量ずつ移動される(図8参照)。また、人体枠BDのサイズは、人体枠BDが終了位置に到達する毎に“BSZmax”から“Bszmin”まで“5”ずつ縮小される。
【0037】
人体枠BDに属する一部の探索画像データは、メモリ制御回路30を通して探索画像エリア32cから読み出される。読み出された探索画像データの特徴量は、人体辞書DC_Bに収められた辞書画像の特徴量と照合される。閾値TH_B以上の照合度が得られると、人体画像が検出されたものとみなされる。現時点の人体枠BDの位置およびサイズは人体情報としてレジスタRGSTtmpに登録され、レジスタRGSTtmpに記述された人体数は人体情報の登録に伴ってインクリメントされる。
【0038】
したがって、撮像面に対して後ろを向く人物HM1と撮像面に対して前を向く人物HM2〜HM3と撮像面に対して前斜め下を向く人物HM4とが図10に示す要領で捉えられる場合、レジスタRGSTtmpに登録された顔情報は図10に示す2つの顔枠FD_1およびFD_2の各々の位置およびサイズを示し、レジスタRGSTtmpに記述された顔数は“2”を示す。また、レジスタRGSTtmpに登録された人体情報は図10に示す4つの人体枠BD_1〜BD_4の各々の位置およびサイズを示し、レジスタRGSTtmpに記述された人体数は“4”を示す。
【0039】
人体検出処理が完了すると、CPU26は、レジスタRGSTtmpに記述された人体数を人体検出タスクの下で特定する。特定された人体数が“1”以上であれば、CPU26は、頭部検出処理および顔部/後頭部判定処理を追加的に実行する。
【0040】
頭部検出処理では、図11に示す要領でサイズが調整される頭部枠HDと図12に示す単一の辞書画像(=頭部の輪郭画像)を収めた頭部辞書DC_Hとが用いられる。また、顔部/後頭部判定処理では、図13に示す要領で3つの辞書画像(=髪型が互いに異なる後頭部画像)を収めた後頭部辞書DC_Rと上述した顔辞書DC_Fとが用いられる。なお、頭部辞書DC_Hおよび後頭部辞書DC_Rもまた、フラッシュメモリ44に保存される。
【0041】
頭部検出処理ではまず、レジスタRGSTtmpに登録された人体情報の識別番号に相当する変数BNが“1”に設定され、BN番目の人体情報がレジスタRGSTtmpから読み出される。頭部の位置およびサイズは、読み出された人体情報に基づいて想定される。頭部探索エリアは、想定された頭部サイズよりも大きいサイズを有して、想定された頭部位置に設定される(図14参照)。
【0042】
次に、頭部枠HDのサイズの可変範囲を定義するべく、読み出された人体情報を定義するサイズの0.75倍が最大サイズHSZmaxとして設定され、読み出された人体情報を定義するサイズの0.6倍が最小サイズHSZminとして設定される。
【0043】
頭部枠HDは、頭部探索エリアの開始位置(左上位置)から終了位置(右下位置)に向かって、ラスタ走査態様で既定量ずつ移動される。また、頭部枠HDのサイズは、頭部枠HDが終了位置に到達する毎に“HSZmax”から“Hszmin”まで“5”ずつ縮小される。
【0044】
頭部枠HDに属する一部の探索画像データは、メモリ制御回路30を通して探索画像エリア32cから読み出される。読み出された探索画像データの特徴量は、頭部辞書DC_Hに収められた辞書画像の特徴量と照合される。閾値TH_H以上の照合度が得られると、頭部画像が検出されたものとみなされ、現時点の頭部枠HDの位置およびサイズが頭部情報としてレジスタRGSTtmpに登録される。
【0045】
変数BNは、最小サイズHSZminを有する頭部枠HDが頭部探索エリアの終了位置に到達する毎にインクリメントされる。上述の処理は、変数BNがレジスタRGSTtmpに記述された人体数を上回るまで繰り返される。
【0046】
したがって、図10または図14に示す例では、図15に示す4つの頭部枠HD_1〜HD_4の各々の位置およびサイズが、頭部情報としてレジスタRGSTtmpに登録される。
【0047】
顔部/後頭部判定処理では、まず変数BNが“1”に設定される。BN番目の人体情報に対応する頭部情報がレジスタRGSTtmpに存在すれば、注目する頭部情報に共通する顔情報がレジスタRGSTtmpから探索される。具体的には、注目する頭部情報によって定義されたエリアと重複するエリアを定義する顔情報が探索される。
【0048】
所望の顔情報が発見されると、顔画像が検出されたものとみなされ、“1”を示す顔部/後頭部判定結果がBN番目の人体情報に対応してレジスタRGTStmpに登録される。なお、変数BNは、顔部/後頭部判定結果がレジスタRGSTtmpに登録される毎に、レジスタRGSTtmpに記述された人体数を上回るまでインクリメントされる。
【0049】
したがって、図10,図14または図15に示す例では、顔部/後頭部判定結果は、人物HM2の人体情報に対応して“1”を示し、また人物HM3の人体情報に対応して“1”を示す。
【0050】
所望の顔情報が発見されなければ、注目する頭部情報に基づいて頭部枠HDが設定される。頭部枠HDは、頭部情報によって定義されたエリアに相当するエリアを有して、頭部情報によって定義された位置に相当する位置に設定される。
【0051】
頭部枠HDに属する一部の探索画像データは探索画像エリア32cから読み出され、読み出された探索画像データの特徴量は図13に示す後頭部辞書DC_Rに収められた3つの辞書画像の各々の特徴量と照合される。閾値TH_R以上の照合度が得られると、後頭部画像が検出されたものとみなされ、“2”を示す顔部/後頭部判定結果がBN番目の人体情報に対応してレジスタRGTStmpに登録される。
【0052】
したがって、図10,図14または図15に示す例では、顔部/後頭部判定結果は、人物HM1の人体情報に対応して“2”を示す。
【0053】
後頭部辞書DC_Rに収められた3つの辞書画像のいずれに対しても閾値TH_R以上の照合度が得られなければ、顔辞書DC_Fに収められた5つの辞書画像の各々が指定される。顔枠FDは、注目する頭部情報によって定義されたエリアのうち、指定された辞書画像に現れた顔の位置に対応する位置に設定される(図16(A)〜図16(E)参照)。
【0054】
設定された顔枠FDに属する一部の探索画像データは探索画像エリア32cから読み出され、読み出された探索画像データの特徴量は指定された辞書画像の特徴量と照合される。照合度が閾値TH_HF以上であれば(ただし、TH_HF<TH_F)、顔部画像が存在する可能性があるとみなされ、“3”を示す顔部/後頭部判定結果がBN番目の人体情報に対応してレジスタRGTStmpに登録される。
【0055】
したがって、図10,図14または図15に示す例において、頭部枠HD_4に属する顔画像と指定された辞書画像との照合度が閾値TH_HF以上であれば、顔部/後頭部判定結果は、人物HM4の人体情報に対応して“3”を示す。
【0056】
顔辞書DC_Fに収められた5つの辞書画像のいずれについても照合度が閾値TH_HF未満であれば、顔画像の有無については判定不能とみなされ、“4”を示す顔部/後頭部判定結果がBN番目の人体情報に対応してレジスタRGTStmpに登録される。
【0057】
こうしてレジスタRGSTtmpへの登録が完了すると、CPU26は、レジスタRGSTtmpの記述をレジスタRGSToutに複製し、その後にレジスタRGSTtmpをクリアする。撮像タスクによって参照されるフラグFLG_Fは、レジスタRGSToutの記述を参照して、以下の要領で更新される。
【0058】
レジスタRGSToutに記述された顔数が“1”以上であれば、顔部画像および/または後頭部画像が探索画像データ上に存在することを表明するべく、フラグFLG_Fが“1”に設定される。また、レジスタRGSToutに記述された顔数が“0”であっても、レジスタRGSToutに記述された人体数が“1”以上で、かつレジスタRGSToutに記述された顔部/後頭部判定結果の少なくとも1つが“1”,“2”または“3”であれば、フラグFLG_Fは“1”に設定される。
【0059】
これに対して、レジスタRGSToutに記述された顔数および人体数がいずれも“0”であれば、顔部画像および/または後頭部画像が探索画像データ上に存在しないことを表明するべく、フラグFLG_Fが“0”に設定される。また、レジスタRGSToutに記述された人体数が“1”以上であっても、レジスタRGSToutに記述された顔部/後頭部判定結果のいずれもが“4”であれば、フラグFLG_Fは“0”に設定される。
【0060】
こうして“1”または“0”に設定されるフラグFLG_Fの状態は、撮像タスクの下で繰り返し判別され、判別結果に応じて異なる処理が以下の要領で実行される。
【0061】
フラグFLG_Fが“1”を示す場合、CPU26は、1または2以上の顔枠キャラクタをLCDモニタ38に表示すべく、顔枠キャラクタ表示命令をキャラクタジェネレータ46に与える。顔枠キャラクタは、レジスタRGSToutに登録された顔情報に従う態様でLCDモニタ38に表示される。表示が完了すると、注目領域設定処理,AFエリア設定処理,AF処理,AE優先設定処理,厳格AE処理およびフラッシュ調整処理が以下の要領で実行される。
【0062】
注目領域設定処理では、まず“2”を示す顔部/後頭部判定結果がレジスタRGSToutから探索される。続いて、撮像面に対して後ろを向いている人物の領域が、“2”を示す顔部/後頭部判定結果に対応する人体情報に基づいて特定される。注目領域は、特定された人物領域を回避するように設定される。したがって、図10,図14または図15に示す例では、注目領域は図17に示す要領で設定される。
【0063】
AFエリア設定処理では、レジスタRGSToutの記述を参照して、以下の要領でAFエリアが設定される。
【0064】
レジスタRGSToutに記述された顔数が“1”以上であれば、レジスタRSGToutの記述された顔情報のうち最大サイズを定義する顔情報が特定される。AFエリアは、特定された顔情報が示すサイズに相当するサイズを有して、特定された顔情報が示す位置に設定される。したがって、図10,図14または図15に示す例では、AFエリアは、図18に示すように人物HM2の顔部を覆う位置に設定される。
【0065】
レジスタRGSToutに記述された顔数が“0”であっても、レジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果の少なくとも1つが“3”であれば、“3”を示す顔部/後頭部判定結果に対応する人体情報のうち最大サイズを定義する人体情報が特定される。AFエリアは、特定された人体情報が示すサイズに相当するサイズを有して、特定された人体情報が示す位置に設定される。したがって、図19に示すように物体OBJ1およびOBJ2が人物HM2およびHM3の代わりに存在する場合、AFエリアは人物HM4の上半身を覆う位置に設定される。
【0066】
レジスタRGSToutに記述された顔数が“0”で、かつレジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果のいずれもが“2”であれば、注目領域設定処理によって設定された注目領域内にAFエリアが設定される。したがって、図20に示すように物体OBJ1〜OBJ3が人物HM2〜HM4の代わりに存在する場合、AFエリアは注目領域内に設定される。
【0067】
AF処理は、AF評価回路24から出力された256個のAF評価値のうち上述の要領で設定されたAFエリアに属するAF評価値に基づいて実行される。フォーカスレンズ12はドライバ18aによって光軸方向に移動され、注目するAF評価値が最大となる位置に設定される。これによって、AFエリアに属する画像の鮮鋭度が向上する。
【0068】
AE優先設定処理では、AE調整動作が“絞り優先”および“露光時間優先”のいずれか一方に設定される。
【0069】
撮像面に対して後ろを向く人物が存在し、かつ後頭部画像(=“2”を示す顔部/後頭部判定結果に対応する頭部情報によって定義される画像)の合焦度が閾値Vaf1以上であれば、絞りユニット14を駆動して絞りを既定量ずつ開放する処理とAFエリアに属するAF評価値を参照したAF処理とが並列的に実行される。これによって、AFエリアに属する画像に合焦しつつ、被写界深度が狭められる(図21参照)。
【0070】
AF調整動作は、被写界深度の変更によって後頭部画像の合焦度が閾値Vaf1を下回った時点、或いは後頭部画像の合焦度が閾値Vaf1を下回ることなく絞りの開放量が最大値に達した時点で、“絞り優先”に設定される。一方、撮像面に対して後ろを向く人物が存在しなければ、AE調整動作は“露光時間優先”に設定される。
【0071】
厳格AE処理では、“中央重点測光”,“顔優先測光”,“人体優先測光”および“マルチ測光”のいずれか1つの測光モードに従う態様で測光処理が実行される。
【0072】
“中央重点測光”が選択されたときは、被写界の中央領域の明るさの平均値が“Bav_ctr”として算出されるとともに、被写界の周辺領域の明るさの平均値が“Bav_prf”として算出され、数1に従ってBV値が算出される。
[数1]
BV値=0.9*Bav_ctr+0.1*Bav_prf
【0073】
“マルチ測光”が選択されたときは、注目領域設定処理によって設定された注目領域の明るさの平均値が“Bav_ntc”として算出され、数2に従ってBV値が算出される。
[数2]
BV値=Bav_ntc
【0074】
人物の顔部が存在する状態で“顔優先測光”が選択されたときは、顔領域(=顔情報によって定義される領域)の明るさの平均値が“Bav_face”として算出されるとともに、注目領域の明るさの平均値が“Bav_ntc”として算出され、数3に従ってBV値が算出される。
[数3]
BV値=0.9*Bav_face+0.1*Bav_ntc
【0075】
人物の顔部が存在する状態で“人物優先測光”が選択されたときは、撮像面に対して前を向く人物に対応する人体領域(=“1”を示す顔部/後頭部判定結果に対応する人体情報によって定義される領域)の明るさ平均値が“Bav_bdy”として算出されるとともに、注目領域の明るさの平均値が“Bav_ntc”として算出され、数4に従ってBV値が算出される。
[数4]
BV値=0.9*Bav_bdy+0.1*Bav_ntc
【0076】
絞り量および露光時間は、算出されたBV値およびAE優先設定に適合するように、ドライバ18bおよび18cにそれぞれ設定される。これによって、スルー画像の明るさが適正値に調整される。
【0077】
フラッシュ調整処理では、ストロボ発光装置48から放射されるフラッシュの方向および光量が調整される。フラッシュの方向は、撮像面に対して後ろを向く人物が存在しない場合に標準方向に調整され、撮像面に対して後ろを向く人物が存在する場合に後頭部を回避する方向に調整される。フラッシュの光量は、人物の顔部が存在しない場合に標準量に調整され、人物の顔部が存在する場合に顔領域の明るさの平均値に基づく量に調整される。
【0078】
フラグFLG_Fが“0”を示す場合、CPU26は、顔枠キャラクタ非表示命令をキャラクタジェネレータ46に与える。この結果、顔枠キャラクタの表示が中止される。表示が中止されると、簡易AE処理,AEエリア設定処理,AF処理およびフラッシュ調整処理が以下の要領で実行される。
【0079】
簡易AE処理では、AE評価回路22から出力された256個のAE評価値に基づいて適正BV値が算出される。算出された適正BV値に適合する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定され、これによってスルー画像の明るさが適正値に調整される。
【0080】
AEエリア設定処理では、AFエリアは評価エリアEVAの中央に設定される。AF処理は、設定されたAFエリアに属するAF評価値を参照して実行される。これによって、評価エリアEVAの中央に存在する画像の鮮鋭度が向上する。フラッシュ調整処理では、ストロボ発光装置48から放射されるフラッシュの方向および光量を標準方向および標準量にそれぞれに設定する。
【0081】
シャッタボタン28shが半押し経由で全押しされるか、或いは一気に全押しされると、CPU26は、静止画取り込み処理を実行する。この結果、ストロボ発光装置48が必要に応じて駆動され、シャッタボタン28shが全押しされた時点の被写界を表す1フレームの画像データが静止画エリア32dに取り込まれる。静止画取り込み処理が完了すると、記録処理を実行するべく、対応する命令をメモリI/F40に与える。メモリI/F40は、静止画像エリア32dに取り込まれた画像データをメモリ制御回路30を通して読み出し、読み出された画像データをファイル形式で記録媒体42に記録する。
【0082】
CPU26は、図22〜図32に示す人物検出タスク,図33〜図42に示す撮像タスクを含む複数のタスクをマルチタスクOSの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
【0083】
図22を参照して、ステップS1ではフラグFLG_Fを“0”に設定し、ステップS3ではレジスタRGSTtmpおよびRGSToutをクリアする。ステップS5では、垂直同期信号Vsyncが発生したか否かを繰り返し判別し、判別結果がNOからYESに更新されると、ステップS7で顔検出処理を実行するとともに、ステップS9で人体検出処理を実行する。
【0084】
顔検出処理の結果、顔辞書DC_Fに収められた5つの辞書画像のいずれか1つと符合する部分画像(=照合度が閾値TH_F以上の部分画像)が顔画像として検出される。レジスタRGSTtmpには、検出された顔画像を囲う顔枠の位置およびサイズが顔情報として登録される。レジスタRGSTtmpにはまた、検出された顔画像の数が顔数として登録される。
【0085】
人体検出処理の結果、人体辞書DC_Bに収められた辞書画像と符合する部分画像(=照合度が閾値TH_B以上の部分画像)が人体画像として検出される。レジスタRGSTtmpには、検出された人体画像を囲う人体枠の位置およびサイズが人体情報として登録される。レジスタRGSTtmpにはまた、検出された人体画像の数が人体数として登録される。
【0086】
ステップS11では、人体検出処理によって検出された人体数が“1”以上であるか否かを判別する。判別結果がNOであればそのままステップS17に進む一方、判別結果がYESであればステップS13およびS15で頭部検出処理および顔部/後頭部判定処理を実行してからステップS17に進む。
【0087】
頭部検出処理の結果、頭部辞書DC_Hに収められた辞書画像と符合する部分画像(=照合度が閾値TH_Hを上回る部分画像)が頭部画像として検出される。レジスタRGSTtmpには、検出された頭部画像を囲う頭部枠の位置およびサイズが頭部情報として登録される。
【0088】
顔部/後頭部判定処理の結果、頭部検出処理によって検出された頭部画像の属性が判定される。顔部/後頭部判定結果は、顔部が現れた頭部画像に対応して“1”を示し、後頭部が現れた頭部画像に対応して“2”を示す。顔部/後頭部判定結果はまた、顔部が現れている可能性がある頭部画像に対応して“3”を示し、判定不能に対応して“4”を示す。このような判定結果もまた、レジスタRGSTtmpに登録される。
【0089】
ステップS17ではレジスタRGSTtmpの記述をレジスタRGSToutに複製し、ステップS19ではレジスタRGSTtmpをクリアする。ステップS21ではレジスタRGSToutに記述された顔数が“1”以上であるか否かを判別し、ステップS23ではレジスタRGSToutに記述された人体数が“0”であるか否かを判別し、そしてステップS25ではレジスタRGSToutに記述された顔部/後頭部判定結果のいずれもが“4”であるか否かを判別する。
【0090】
ステップS21の判別結果がYESであれば、ステップS29に進む。ステップS21の判別結果がNOでかつステップS23の判別結果がYESであれば、ステップS27に進む。ステップS21の判別結果,ステップS23の判別結果およびステップS25の判別結果のいずれもがNOであれば、ステップS29に進む。ステップS21の判別結果およびステップS23の判別結果がNOでかつステップS25の判別結果がYESであれば、ステップS27に進む。
【0091】
ステップS27では、顔部画像および/または後頭部画像が探索画像データ上に存在しないことを表明するべく、フラグFLG_Fを“0”に設定する。ステップS29では、顔部画像および/または後頭部画像が探索画像データ上に存在すること表明するべく、フラグFLG_Fを“1”に設定する。ステップS27またはS29の処理が完了すると、ステップS5に戻る。
【0092】
図22に示すステップS7の顔検出処理は、図24〜図25に示すサブルーチンに従って実行される。
【0093】
まずステップS31で、評価エリアEVAの全域を顔部探索エリアとして設定する。ステップS33では、顔枠FDのサイズの可変範囲を定義するべく、最大サイズFSZmaxを“200”に設定し、最小サイズFSZminを“20”に設定する。可変範囲の定義が完了するとステップS35に進み、顔枠FDのサイズを“FSZmax”に設定する。
【0094】
ステップS37では、顔枠FDを顔部探索エリアの開始位置(左上位置)に配置する。ステップS39では、顔枠FDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。ステップS41では、顔辞書番号FDICを“1”に設定する。
【0095】
ステップS43では、ステップS39で算出された特徴量を、顔辞書DC_Fに収められた5つの辞書画像のうち顔辞書番号FDICに対応する辞書画像の特徴量と照合する。ステップS45では照合度が閾値TH_F以上であるか否かを判別し、ステップS47では顔辞書番号FDICが“5”であるか否かを判別する。
【0096】
ステップS45の判別結果がYESであればステップS51に進み、現時点の顔枠FDの位置およびサイズを顔情報としてレジスタRGSTtmpに登録する。ステップS51ではまた、レジスタRGSTtmpに記述された顔数をインクリメントする。ステップS51の処理が完了すると、ステップS53に進む。
【0097】
ステップS47の判別結果がYESであれば、ステップS49で顔辞書番号FDICをインクリメントし、その後にステップS43に戻る。ステップS45の判別結果およびステップS47の判別結果のいずれもがNOであれば、そのままステップS53に進む。
【0098】
ステップS53では、顔枠FDが顔部探索エリアの終了位置(右下位置)に到達したか否かを判別する。判別結果がNOであれば、ステップS55で顔枠FDを既定量だけラスタ方向に移動させ、その後にステップS39に戻る。判別結果がYESであれば、顔枠FDのサイズが“FSZmin”以下であるか否かをステップS57で判別する。判別結果がNOであれば、ステップS59で顔枠FDのサイズを“5”だけ縮小し、ステップS61で顔枠FDを顔部探索エリアの開始位置に配置し、その後にステップS39に戻る。ステップS57の判別結果がYESであれば、上階層のルーチンに復帰する。
【0099】
図22に示すステップS9の人体検出処理は、図26〜図27に示すサブルーチンに従って実行される。
【0100】
まずステップS71で、評価エリアEVAの全域を人体探索エリアとして設定する。ステップS73では、人体枠BDのサイズの可変範囲を定義するべく、最大サイズBSZmaxを“400”に設定し、最小サイズBSZminを“40”に設定する。可変範囲の定義が完了するとステップS75に進み、人体枠BDのサイズを“BSZmax”に設定する。
【0101】
ステップS77では、人体枠BDを人体探索エリアの開始位置(左上位置)に配置する。ステップS79では人体枠BDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。ステップS81では、ステップS79で算出された特徴量を人体辞書DC_Bに収められた辞書画像の特徴量と照合する。
【0102】
ステップS83では照合度が閾値TH_B以上であるか否かを判別し、判別結果がNOであればそのままステップS87に進む一方、判別結果がYESであればステップS85の処理を経てステップS87に進む。ステップS87では、現時点の人体枠BDの位置およびサイズを人体情報としてレジスタRGSTtmpに登録する。ステップS87ではまた、レジスタRGSTtmpに記述された人体数をインクリメントする。
【0103】
ステップS87では、人体枠BDが人体探索エリアの終了位置(右下位置)に到達したか否かを判別する。判別結果がNOであれば、ステップS89で人体枠BDを既定量だけラスタ方向に移動させ、その後にステップS79に戻る。判別結果がYESであれば、人体枠BDのサイズが“BSZmin”以下であるか否かをステップS91で判別する。判別結果がNOであれば、ステップS93で人体枠BDのサイズを“5”だけ縮小し、ステップS95で人体枠BDを人体探索エリアの開始位置に配置し、その後にステップS79に戻る。ステップS91の判別結果がYESであれば、上階層のルーチンに復帰する。
【0104】
図22に示すステップS13の頭部検出処理は、図28〜図29に示すサブルーチンに従って実行される。
【0105】
まずステップS101で、人体情報の識別番号に相当する変数BNを“1”に設定する。ステップS103では、BN番目の人体情報をレジスタRGSTtmpから読み出し、読み出された人体情報に基づいて頭部の位置およびサイズを想定し、そして想定された頭部サイズよりも大きいサイズを有する頭部探索エリアを想定された頭部位置に設定する。
【0106】
ステップS105では、頭部枠HDのサイズの可変範囲を定義するべく、読み出された人体情報を定義するサイズの0.75倍を最大サイズHSZmaxとして設定し、読み出された人体情報を定義するサイズの0.6倍を最小サイズHSZminとして設定する。可変範囲の定義が完了するとステップS107に進み、頭部枠HDのサイズを“HSZmax”に設定する。
【0107】
ステップS109では、頭部枠HDを頭部探索エリアの開始位置(左上位置)に配置する。ステップS111では頭部枠HDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。ステップS113では、ステップS111で算出された特徴量を頭部辞書DC_Hに収められた辞書画像の特徴量と照合する。
【0108】
ステップS115では照合度が閾値TH_H以上であるか否かを判別し、判別結果がNOであればそのままステップS119に進む一方、判別結果がYESであればステップS117の処理を経てステップS119に進む。ステップS117では、現時点の頭部枠HDの位置およびサイズを頭部情報としてレジスタRGSTtmpに登録する。
【0109】
ステップS119では、頭部枠HDが頭部探索エリアの終了位置(右下位置)に到達したか否かを判別する。判別結果がNOであれば、ステップS121で頭部枠HDを既定量だけラスタ方向に移動させ、その後にステップS111に戻る。判別結果がYESであれば、頭部枠HDのサイズが“HSZmin”以下であるか否かをステップS123で判別する。判別結果がNOであれば、ステップS125で頭部枠HDのサイズを“5”だけ縮小し、ステップS127で頭部枠HDを頭部探索エリアの開始位置に配置し、その後にステップS111に戻る。
【0110】
ステップS123の判別結果がYESであれば、変数BNをステップS129でインクリメントし、インクリメントされた変数BNの値がレジスタRGSTtmpに記述された人体数を上回るか否かをステップS131で判別する。判別結果がNOであればステップS103に戻る一方、判別結果がYESであれば上階層のルーチンに復帰する。
【0111】
図22に示すステップS15の顔部/後頭部判定処理は、図30〜図32に示すサブルーチンに従って実行される。
【0112】
まずステップS141で変数BNを“1”に設定する。ステップS143ではBN番目の人体情報に対応する頭部情報がレジスタRGSTtmpに存在するか否かを判別し、判別結果がYESであればステップS145に進む一方、判別結果がNOであればステップS151に進む。
【0113】
ステップS145では、注目する頭部情報に共通する顔情報をレジスタRGSTtmpから探索する。具体的には、注目する頭部情報によって定義されたエリアと重複するエリアを定義する顔情報を探索する。ステップS147では、所望の顔情報が発見されたか否かを判別する。判別結果がYESであればステップS149に進み、“1”を示す顔部/後頭部判定結果をBN番目の人体情報に対応してレジスタRGTStmpに登録する。登録が完了すると、ステップS151に進む。
【0114】
ステップS151では変数BNをインクリメントし、ステップS153ではインクリメントされた変数BNの値がレジスタRGSTtmpに記述された人体数を上回るか否かを判別する。判別結果がNOであればステップS143に戻る一方、判別結果がYESであれば上階層のルーチンに復帰する。
【0115】
ステップS147の判別結果がNOであればステップS155に進み、注目する頭部情報に基づいて頭部枠HDを設定する。頭部枠HDは、頭部情報によって定義されたエリアに相当するエリアを有して、頭部情報によって定義された位置に相当する位置に設定される。ステップS157では、頭部枠HDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。
【0116】
ステップS159では、後頭部辞書番号RDICを“1”に設定する。ステップS161では、ステップS157で算出された特徴量を、後頭部辞書DC_Rに収められた3つの辞書画像のうち後頭部辞書番号RDICに対応する辞書画像の特徴量と照合する。ステップS163では照合度が閾値TH_RH以上であるか否かを判別し、ステップS165では後頭部辞書番号RDICが“3”であるか否かを判別する。
【0117】
ステップS163の判別結果がYESであればステップS169に進み、“2”を示す顔部/後頭部判定結果をBN番目の人体情報に対応してレジスタRGTStmpに登録する。登録が完了すると、ステップS151に進む。ステップS163の判別結果およびステップS165の判別結果がいずれもNOであれば、ステップS167で後頭部辞書番号RDICをインクリメントし、その後にステップS161に戻る。ステップS163の判別結果がNOでかつステップS165の判別結果がYESであれば、ステップS171に進む。
【0118】
ステップS171では、顔辞書番号FDICを“1”に設定する。ステップS173では、注目する頭部情報によって定義されたエリアのうち顔辞書番号FDICの値(=顔の向き)に応じて異なる位置およびサイズに顔枠FDを設定する。ステップS175では、設定された顔枠FDに属する一部の探索画像データを探索画像エリア32cから読み出し、読み出された探索画像データの特徴量を算出する。
【0119】
ステップS177では、算出された特徴量を顔辞書番号FDICに対応する辞書画像の特徴量と照合する。ステップS179では照合度が閾値TH_HF以上であるか否かを判別し、ステップS181では顔辞書番号FDICが“5”であるか否かを判別する。なお、閾値TH_HFは、上述した閾値TH_Fよりも小さい。
【0120】
ステップS179の判別結果およびステップS181の判別結果がいずれもNOであれば、ステップS183で顔辞書番号FDICをインクリメントし、その後にステップS173に戻る。ステップS179の判別結果がYESであればステップS185に進み、ステップS179の判別結果がNOでかつステップS181の判別結果がYESであればステップS187に進む。
【0121】
ステップS185では、“3”を示す顔部/後頭部判定結果をBN番目の人体情報に対応してレジスタRGTStmpに登録する。また、ステップS187では、“4”を示す顔部/後頭部判定結果をBN番目の人体情報に対応してレジスタRGTStmpに登録する。ステップS185またはS187の処理が完了すると、ステップS151に進む。
【0122】
図33を参照して、ステップS191では、動画取込み処理を実行する。この結果、被写界を表すスルー画像がLCDモニタ38に表示される。ステップS193では上述した人物検出タスクを起動し、ステップS195ではフラグFLG_Fが“1”を示すか否かを判別する。FLG_F=1であればステップS197〜S209を経てステップS221に進み、FLG_F=0であればステップS211〜S219を経てステップS221に進む。
【0123】
ステップS197では、1または2以上の顔枠キャラクタをLCDモニタ38に表示すべく、顔枠表示命令をキャラクタジェネレータ46に与える。顔枠キャラクタは、レジスタRGSToutに登録された顔情報に従う態様でLCDモニタ38に表示される。ステップS199では注目領域設定処理を実行し、ステップS201ではAFエリア設定処理を実行する。
【0124】
注目領域設定処理では、まず“2”を示す顔部/後頭部判定結果がレジスタRGSToutから探索される。続いて、撮像面に対して後ろを向いている人物の領域が、レジスタRGSToutから発見された顔部/後頭部判定結果に対応する人体情報に基づいて特定される。注目領域は、特定された人物領域を回避するように設定される。
【0125】
AFエリア設定処理では、レジスタRGSToutの記述を参照して、以下の要領でAFエリアが設定される。
【0126】
レジスタRGSToutに記述された顔数が“1”以上であれば、レジスタRSGToutの記述された顔情報のうち最大サイズを定義する顔情報が特定される。AFエリアは、特定された顔情報が示すサイズに相当するサイズを有して、特定された顔情報が示す位置に設定される。
【0127】
レジスタRGSToutに記述された顔数が“0”であっても、レジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果の少なくとも1つが“3”であれば、“3”を示す顔部/後頭部判定結果に対応する人体情報のうち最大サイズを定義する人体情報が特定される。AFエリアは、特定された人体情報が示すサイズに相当するサイズを有して、特定された人体情報が示す位置に設定される。
【0128】
レジスタRGSToutに記述された顔数が“0”で、かつレジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果のいずれもが“2”であれば、注目領域設定処理によって設定された注目領域内にAFエリアが設定される。
【0129】
ステップS203ではAF処理を実行し、ステップS205ではAE優先設定処理を実行する。また、ステップS207では厳格AE処理を実行し、ステップS209ではフラッシュ調整処理を実行する。
【0130】
AF処理は、AF評価回路24から出力された256個のAF評価値のうちステップS201で設定されたAFエリアに属するAF評価値に基づいて実行される。この結果、AFエリアに属する画像の鮮鋭度が向上するようにフォーカスが調整される。
【0131】
AE優先設定処理では、AE調整動作を“絞り優先”および“露光時間優先”のいずれか一方に設定する。
【0132】
撮像面に対して後ろを向く人物が存在し、かつ後頭部画像の合焦度が閾値Vaf1以上であれば、絞りを既定量ずつ開放する処理とAFエリアに属する画像に注目したAF処理とが並列的に実行される。これによって、AFエリアに属する画像に合焦しつつ、被写界深度が狭められる。
【0133】
AF調整動作は、被写界深度の変更によって後頭部画像の合焦度が閾値Vaf1を下回った時点、或いは後頭部画像の合焦度が閾値Vaf1を下回ることなく絞りの開放量が最大値に達した時点で、“絞り優先”に設定される。一方、撮像面に対して後ろを向く人物が存在しなければ、AE調整動作は“露光時間優先”に設定される。
【0134】
厳格AE処理では、“中央重点測光”,“顔優先測光”,“人体優先測光”および“マルチ測光”のいずれか1つの測光モードに従う態様で測光処理が実行される。
【0135】
“中央重点測光”が選択されたときは、中央領域の明るさの平均値と周辺領域の明るさの平均値とが算出され、算出されたこれらの平均値に基づいてBV値が算出される。“マルチ測光”が選択されたときは、注目領域設定処理によって設定された注目領域の明るさの平均値が算出され、算出された平均値に基づいてBV値が算出される。
【0136】
人物の顔部が存在する状態で“顔優先測光”が選択されたときは、顔領域の明るさの平均値と注目領域の明るさの平均値とが算出され、算出されたこれらの平均値に基づいてBV値が算出される。人物の顔部が存在する状態で“人物優先測光”が選択されたときは、撮像面に対して前を向く人物に対応する人体領域の明るさ平均値と注目領域の明るさの平均値とが算出され、算出されたこれらの平均値に基づいてBV値が算出される。
【0137】
露光量(=絞り量および/または露光時間)は、算出されたBV値を参照して調整される。ただし、調整態様は、AE優先設定に従う。
【0138】
フラッシュ調整処理では、ストロボ発光装置48から放射されるフラッシュの方向および光量が調整される。フラッシュの方向は、撮像面に対して後ろを向く人物が存在しない場合に標準方向に調整され、撮像面に対して後ろを向く人物が存在する場合に後頭部を回避する方向に調整される。フラッシュの光量は、人物の顔部が存在しない場合に標準量に調整され、人物の顔部が存在する場合に顔領域の明るさの平均値に基づく量に調整される。
【0139】
ステップS211では顔枠非表示命令をキャラクタジェネレータ46に与え、ステップS213では簡易AE処理を実行する。ステップS211の処理の結果、顔枠キャラクタの表示が中止される。また、ステップS213の処理の結果、スルー画像の明るさが適度に調整される。ステップS215ではAFエリアを評価エリアEVAの中央に設定し、ステップS217ではステップS203と同様のAF処理を実行する。ステップS219では、ストロボ発光装置48から放射されるフラッシュの方向および光量を標準方向および標準量にそれぞれに設定する。
【0140】
ステップS221ではシャッタボタン28shが半押しされたか否かを判別し、ステップS223およびS225の各々ではシャッタボタン28shが全押しされたか否かを判別し、そしてステップS227ではシャッタボタン28shの操作が解除されたか否かを判別する。
【0141】
ステップS221の判別結果およびステップS223の判別結果のいずれもがNOであるか、或いはステップS221の判別結果,ステップS225の判別結果およびステップS227の判別結果がそれぞれYES,NOおよびYESであれば、そのままステップS195に戻る。また、ステップ227の判別結果がNOであれば、ステップS225に戻る。さらに、ステップS223の判別結果またはステップS225の判別結果がYESであれば、ステップS221の判別結果に関係なくステップS229に進む。
【0142】
ステップS229では静止画取り込み処理を実行し、ステップS231では記録処理を実行する。ステップS229の処理の結果、ストロボ発光装置48が必要に応じて駆動され、シャッタボタン28shが全押しされた時点の被写界を表す1フレームの画像データが静止画エリア32dに取り込まれる。また、ステップS231の処理の結果、静止画像エリア32dに取り込まれた画像データがファイル形式で記録媒体42に記録される。ステップS231の処理が完了すると、ステップS195に戻る。
【0143】
図33に示すステップS199の注目領域設定処理は、図35に示すサブルーチンに従って実行される。ステップS241では、レジスタRGSToutに記述された顔部/後頭部判定結果の少なくとも1つが“2”を示すか否かを判別する。判別結果がNOであればそのまま上階層のルーチンに復帰する一方、判別結果がYESであればステップS243に進む。
【0144】
ステップS243では、後頭部を有する1または2以上の人体画像がそれぞれ存在する1または2以上の領域を探索画像データ上で特定する。この領域特定処理は、“2”を示す顔部/後頭部判定結果に対応してレジスタRGSToutに記述された人体情報を参照して実行される。ステップS245では、ステップS243で特定された1または2以上の領域を包含する単一の領域を探索画像データ上で定義し、こうして定義された単一の領域以外の領域を注目領域として設定する。設定が完了すると、上階層のルーチンに復帰する。
【0145】
図33に示すステップS201のAFエリア設定処理は、図36に示すサブルーチンに従って実行される。
【0146】
ステップS251では、レジスタRGSToutに記述された顔数が“1”以上であるか否かを判別し、ステップS253ではレジスタRGSToutに記述された顔部/後頭部判定結果の少なくとも1つが“3”を示すか否かを判別する。
【0147】
ステップS251の判別結果がYESであればステップS255に進み、1または2以上の顔画像がそれぞれ存在する1または2以上の領域を探索画像データ上で特定する。この領域特定処理は、レジスタRGSToutに記述された顔情報を参照して実行される。
【0148】
ステップS251の判別結果がNOでかつステップS253の判別結果がYESであれば、ステップS257に進み、1または2以上の人体画像がそれぞれ存在する1または2以上の領域を探索画像データ上で特定する。この領域特定処理は、“3”を示す顔部/後頭部判定結果に対応してレジスタRGSToutに記述された人体情報を参照して実行される。
【0149】
ステップS259では、ステップS255またはS257で特定された1または2以上の領域の中から最大サイズを有する領域を抽出し、抽出された領域をAFエリアとして設定する。設定処理が完了すると、上階層のルーチンに復帰する。
【0150】
ステップS251の判別結果およびステップS253の判別結果のいずれもがNOであれば、ステップS261に進み、注目領域内にAFエリアを設定する。設定が完了すると、上階層のルーチンに復帰する。
【0151】
図33に示すステップS205のAE優先設定処理は、図37〜図38に示すサブルーチンに従って実行される。
【0152】
ステップS271では、レジスタRGSToutに記述された顔部/後頭部判定結果の少なくとも1つが“2”を示すか否かを判別する。判別結果がNOであればステップS281に進む一方、判別結果がYESであればステップS273に進む。ステップS281ではAE調整動作を“露光時間優先”に設定し、設定が完了すると上階層のルーチンに復帰する。
【0153】
ステップS273では、後頭部に相当する1または2以上の頭部領域を検出し、検出された頭部領域毎に合焦度を検出する。頭部領域は、“2”を示す顔部/後頭部判定結果に対応する人体情報を参照して検出される。また、合焦度は、頭部領域に属するAF評価値を参照して検出される。
【0154】
ステップS275では検出された1または2以上の合焦度のいずれもが閾値Vaf1未満であるか否かを判別し、ステップS277では絞りの開放量が最大であるか否かを判別する。ステップS275の判別結果およびステップS277の判別結果のいずれか一方がYESであれば、ステップS279でAE調整動作を“絞り優先”に設定する。設定が完了すると、上階層のルーチンに復帰する。
【0155】
ステップS275の判別結果およびステップS277の判別結果のいずれもがNOであれば、ステップS283に進む。ステップS283では、絞りが既定量だけ開放されるように絞り機構14を駆動する。ステップS285では、AF評価回路24から出力された256個のAF評価値のうちAFエリアに属するAF評価値を参照して、AFエリアに属する画像の合焦度を検出する。ステップS287では検出された合焦度が閾値Vaf2以上であるか否かを判別する。ここで、閾値Vaf2は閾値Vaf1よりも大きい。判別結果がYESであればそのままステップS273に戻る一方、判別結果がNOであればステップS289で上述と同様のAF処理を実行してからステップS273に戻る。
【0156】
図33に示すステップS207の厳格AE処理は、図39〜図40に示すサブルーチンに従って実行される。
【0157】
まず現時点の測光モードが“顔優先”,“人体優先”,“マルチ測光”および“中央重点測光”のいずれであるかをステップS291,S293およびS295で判別する。現時点の測光モードが“中央重点測光”であればステップS297に進み、現時点の測光モードがマルチ測光であればステップS303に進む。
【0158】
ステップS297では中央領域の明るさの平均値を“Bav_ctr”として算出し、ステップS299では周辺領域の明るさの平均値を“Bav_prf”として算出する。平均値Bav_ctrは、AE評価回路22から出力された256個のAE評価値のうち中央領域に属するAE評価値に基づいて算出される。また、平均値Bav_prfは、同じ256個のAE評価値のうち周辺領域に属するAE評価値に基づいて算出される。ステップS301では、算出された平均値Bav_ctrおよびBav_prfを数1に適用してBV値を算出する。
【0159】
ステップS303では、注目領域設定処理によって設定された注目領域の明るさの平均値を“Bav_ntc”として算出する。平均値Bav_ntcも、上述した256個のAE評価値のうち注目領域に属するAE評価値に基づいて算出される。ステップS305では、算出された平均値Bav_ntcを数2に適用してBV値を算出する。
【0160】
現時点の測光モードが“顔優先測光”であれば、レジスタRGSToutに記述された顔数が“1”以上であるか否かをステップS309で判別し、レジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果の少なくとも1つが“1”または“3”を示すか否かをステップS311で判別する。また、現時点の測光モードが“人体優先測光”であれば、ステップS311の判別処理を実行する。
【0161】
ステップS309の判別結果がYESであればステップS313に進み、ステップS309の判別結果がNOであればステップS311に進む。また、ステップS311の判別結果がYESであればステップS319に進み、ステップS311の判別結果がNOであればステップS303に進む。
【0162】
ステップS313では顔領域の明るさの平均値を“Bav_face”として算出し、ステップS315では注目領域の明るさの平均値を“Bav_ntc”として算出する。平均値Bav_faceは、AE評価回路22から出力された256個のAE評価値のうちレジスタRGSToutに記述された顔情報によって定義されるエリアに属するAE評価値に基づいて算出される。また、平均値Bav_ntcは、上述のステップS303と同じ要領で算出される。ステップS317では、こうして算出された平均値Bav_faceおよびBav_ntcを数3に適用してBV値を算出する。
【0163】
ステップS319では、“1”および/または“3”を示す顔部/後頭部判定結果に対応する人体情報によって定義されるエリアの明るさの平均値を“Bav_bdy”として算出する。平均値Bav_bdyは、注目するエリアに属するAE評価値に基づいて算出される。ステップS321では、ステップS315と同じ要領で平均値Bav_ntcを算出する。ステップS323では、こうして算出された平均値Bav_bdyおよびBav_ntcを数4に適用してBV値を算出する。
【0164】
ステップS301,S305,S317またはS323の処理が完了すると、ステップS307に進む。ステップS307では、上述の要領で算出されたBV値を参照して、AE優先設定に従う態様で露光量(=絞り量および/または露光時間)を調整する。調整が完了すると、上階層のルーチンに復帰する。
【0165】
図33に示すステップS209のフラッシュ調整処理は、図41〜図42に示すサブルーチンに従って実行される。
【0166】
まず、レジスタRGSToutに記述された1または2以上の顔部/後頭部判定結果の少なくとも1つが“2”であるか否かをステップS331で判別する。判別結果がNOであればステップS333に進み、ストロボ発光装置48から放射されるフラッシュの方向を既定方向に調整する。
【0167】
ステップS331の判別結果がYESであれば、ステップS335に進む。ステップS335では、“2”を示す顔部/後頭部判定結果に対応する頭部情報に基づいて後頭部領域を特定し、特定された後頭部領域に属するAF評価値を参照して後頭部までの距離の算出精度を検出する。算出精度は、注目するAF評価値の増大に応じて増大する。
【0168】
ステップS337では検出された算出精度が基準を上回るか否かを判別し、判別結果がYESであればステップS339に進む一方、判別結果がNOであればステップS341に進む。ステップS339では、フラッシュの方向を後頭部領域と異なる方向に厳密に調整する。ステップS341では、フラッシュの方向を後頭部領域と異なる方向に大まかに調整する。
【0169】
ステップS333,S339または341の処理が完了すると、レジスタRGSToutに記述された顔数が“1”以上であるか否かをステップS343で判別する。判別結果がNOであればステップS345に進み、フラッシュの光量を標準量に調整する。調整が完了すると、上階層のルーチンに復帰する。
【0170】
ステップS343の判別結果がYESであればステップS347に進み、上述のステップS313と同じ要領で平均値Bav_faceを算出する。ステップS349ではステップS331と同様の判別処理を実行し、判別結果がYESであればステップS351〜S353の処理を経てステップS359に進む一方、判別結果がNOであればステップS355〜S357の処理を経てステップS359に進む。
【0171】
ステップS351〜S353では、上述のステップS315〜S317と同様の処理によってBV値を算出する。ステップS355ではAE評価回路22から出力された256個のAE評価値の平均値を“Bav_entr”として算出し、ステップS357では平均値Bav_faceおよびBav_entrに基づいてBV値を算出する。ステップS359では、算出されたBV値に基づいてフラッシュの光量を調整する。調整が完了すると、上階層のルーチンに復帰する。
【0172】
以上の説明から分かるように、探索画像データは、イメージャ16によって捉えられた被写界を表して、SDRAM32の探索画像エリア32cに格納される。CPU26は、1または2以上の顔部画像を探索画像データから探索し(S7, S145~S149, S171~S185)、これと並列して1または2以上の後頭部画像を同じ探索画像データから探索する(S155~S169)。CPU26はまた、1または2以上の顔画像に対応する領域をAFエリアとして設定する処理(S255~S259)と、1または2以上の後頭部画像に対応する領域と異なる領域をAFエリアとして設定する処理(S241~S245, S261)とを選択的に実行する。ここで、前者のAFエリア設定処理は、後者のAFエリア設定処理に優先して起動される(S251~S253)。
【0173】
したがって、顔部画像および後頭部画像の両方が検出されたとき、或いは顔部画像のみが検知されたときは、顔部画像に対応する領域がAFエリアとして設定される。これに対して、後頭部画像のみが検知されたときは、後頭部画像に対応する領域と異なる領域がAFエリアとして設定される。顔部画像が検出されたときは顔部画像を参照してフォーカスが調整され、後頭部画像のみが検出されたときは後頭部画像と異なる画像を参照してフォーカスが調整される。これによって、画質の向上が図られる。
【0174】
なお、この実施例では、マルチタスクOSおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ44に予め記憶される。しかし、図43に示すように通信I/F50をディジタルカメラ10に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ44に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【0175】
また、この実施例では、CPU26によって実行される処理を図22〜図32に示す人物検出タスクと図33〜図42に示す撮像タスクとに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【0176】
さらに、この実施例では、カメラモードにおいて顔部画像および/または後頭部画像を探索し、探索結果に応じて異なる要領で撮像条件を調整するようにしている。しかし、再生モードにおいて、再生画像から顔部画像および/または後頭部画像を探索し、探索結果に応じて異なる要領で再生画像の品質を調整するようにしてもよい。この場合、たとえば顔部画像の明るさを増大させたり、後頭部画像の明るさを低減させる処理が考えられる。
【符号の説明】
【0177】
10 …ディジタルカメラ
16 …イメージャ
22 …AE評価回路
24 …AF評価回路
26 …CPU
32 …SDRAM
44 …フラッシュメモリ
48 …ストロボ発光装置
【特許請求の範囲】
【請求項1】
顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索手段、
後頭部を各々が表す1または2以上の第2部分画像を前記第1探索手段の探索処理に関連して前記指定画像から探索する第2探索手段、
前記指定画像上の領域のうち前記第1探索手段によって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定手段、
前記指定画像上の領域のうち前記第2探索手段によって検知された1または2以上の第2部分画像に対応する領域と異なる領域を前記参照領域として設定する第2設定手段、および
前記第1設定手段が前記第2設定手段に優先するように前記第1設定手段および前記第2設定手段を選択的に起動する起動制御手段を備える、画像処理装置。
【請求項2】
上半身の輪郭を表す第1辞書画像に符合する部分画像を上半身画像として前記指定画像から探索する上半身画像探索手段、および
頭部の輪郭を表す第2辞書画像に符合する部分画像を頭部画像として前記上半身画像から探索する頭部画像探索手段をさらに備え、
前記第2探索手段は前記後頭部を表す第3辞書画像に符合する部分画像を前記第2部分画像として前記頭部画像から探索する、請求項1記載の画像処理装置。
【請求項3】
前記第1探索手段は前記顔部を表す第4辞書画像と符合する部分画像を前記第1部分画像として探索し、
前記第1設定手段は、前記第1部分画像と前記第4辞書画像との符合度が基準以上のとき顔部に注目して前記参照領域を設定する第1参照領域設定手段、および前記第1部分画像と前記第4辞書画像との符合度が前記基準を下回るとき上半身に注目して前記参照領域を設定する第2参照領域設定手段を含む、請求項1または2記載の画像処理装置。
【請求項4】
フォーカスレンズを通して被写界を捉える撮像面を有して被写界像を出力する撮像手段、および
前記参照領域に属する画像に基づいて前記フォーカスレンズから前記撮像面までの距離を調整する距離調整手段をさらに備える、請求項1ないし3のいずれかに記載の画像処理装置。
【請求項5】
前記撮像面に照射される光量を調整する絞り機構、
前記第2探索手段の検知に対応して前記絞りを既定量ずつ開放する開放手段、および
前記フォーカスレンズから前記撮像面までの距離を前記開放手段の開放処理と並列して再調整する再調整手段をさらに備える、請求項4記載の画像処理装置。
【請求項6】
前記第1探索手段および/または前記第2探索手段の検知結果に応じて異なる態様で測光する測光手段、および
前記測光手段の測光結果に基づいて前記絞り機構の絞り量および/または前記撮像手段の露光時間を調整する露光調整手段をさらに備える、請求項4または5記載の画像処理装置。
【請求項7】
前記撮像面の前方に向けて閃光を発生する発生手段、および
前記第1探索手段および/または前記第2探索手段の検知結果に応じて異なるように前記発生手段の発生態様を調整する閃光調整手段をさらに備える、請求項4ないし6のいずれかに記載の画像処理装置。
【請求項8】
画像処理装置のプロセッサに、
顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ、
後頭部を各々が表す1または2以上の第2部分画像を前記第1探索ステップの探索処理に関連して前記指定画像から探索する第2探索ステップ、
前記指定画像上の領域のうち前記第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ、
前記指定画像上の領域のうち前記第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を前記参照領域として設定する第2設定ステップ、および
前記第1設定ステップが前記第2設定ステップに優先するように前記第1設定ステップおよび前記第2設定ステップを選択的に起動する起動制御ステップを実行させるための、画像処理プログラム。
【請求項9】
画像処理装置によって実行される画像処理方法であって、
顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ、
後頭部を各々が表す1または2以上の第2部分画像を前記第1探索ステップの探索処理に関連して前記指定画像から探索する第2探索ステップ、
前記指定画像上の領域のうち前記第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ、
前記指定画像上の領域のうち前記第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を前記参照領域として設定する第2設定ステップ、および
前記第1設定ステップが前記第2設定ステップに優先するように前記第1設定ステップおよび前記第2設定ステップを選択的に起動する起動制御ステップを備える、画像処理方法。
【請求項10】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ、
後頭部を各々が表す1または2以上の第2部分画像を前記第1探索ステップの探索処理に関連して前記指定画像から探索する第2探索ステップ、
前記指定画像上の領域のうち前記第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ、
前記指定画像上の領域のうち前記第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を前記参照領域として設定する第2設定ステップ、および
前記第1設定ステップが前記第2設定ステップに優先するように前記第1設定ステップおよび前記第2設定ステップを選択的に起動する起動制御ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項11】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ、
後頭部を各々が表す1または2以上の第2部分画像を前記第1探索ステップの探索処理に関連して前記指定画像から探索する第2探索ステップ、
前記指定画像上の領域のうち前記第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ、
前記指定画像上の領域のうち前記第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を前記参照領域として設定する第2設定ステップ、および
前記第1設定ステップが前記第2設定ステップに優先するように前記第1設定ステップおよび前記第2設定ステップを選択的に起動する起動制御ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【請求項1】
顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索手段、
後頭部を各々が表す1または2以上の第2部分画像を前記第1探索手段の探索処理に関連して前記指定画像から探索する第2探索手段、
前記指定画像上の領域のうち前記第1探索手段によって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定手段、
前記指定画像上の領域のうち前記第2探索手段によって検知された1または2以上の第2部分画像に対応する領域と異なる領域を前記参照領域として設定する第2設定手段、および
前記第1設定手段が前記第2設定手段に優先するように前記第1設定手段および前記第2設定手段を選択的に起動する起動制御手段を備える、画像処理装置。
【請求項2】
上半身の輪郭を表す第1辞書画像に符合する部分画像を上半身画像として前記指定画像から探索する上半身画像探索手段、および
頭部の輪郭を表す第2辞書画像に符合する部分画像を頭部画像として前記上半身画像から探索する頭部画像探索手段をさらに備え、
前記第2探索手段は前記後頭部を表す第3辞書画像に符合する部分画像を前記第2部分画像として前記頭部画像から探索する、請求項1記載の画像処理装置。
【請求項3】
前記第1探索手段は前記顔部を表す第4辞書画像と符合する部分画像を前記第1部分画像として探索し、
前記第1設定手段は、前記第1部分画像と前記第4辞書画像との符合度が基準以上のとき顔部に注目して前記参照領域を設定する第1参照領域設定手段、および前記第1部分画像と前記第4辞書画像との符合度が前記基準を下回るとき上半身に注目して前記参照領域を設定する第2参照領域設定手段を含む、請求項1または2記載の画像処理装置。
【請求項4】
フォーカスレンズを通して被写界を捉える撮像面を有して被写界像を出力する撮像手段、および
前記参照領域に属する画像に基づいて前記フォーカスレンズから前記撮像面までの距離を調整する距離調整手段をさらに備える、請求項1ないし3のいずれかに記載の画像処理装置。
【請求項5】
前記撮像面に照射される光量を調整する絞り機構、
前記第2探索手段の検知に対応して前記絞りを既定量ずつ開放する開放手段、および
前記フォーカスレンズから前記撮像面までの距離を前記開放手段の開放処理と並列して再調整する再調整手段をさらに備える、請求項4記載の画像処理装置。
【請求項6】
前記第1探索手段および/または前記第2探索手段の検知結果に応じて異なる態様で測光する測光手段、および
前記測光手段の測光結果に基づいて前記絞り機構の絞り量および/または前記撮像手段の露光時間を調整する露光調整手段をさらに備える、請求項4または5記載の画像処理装置。
【請求項7】
前記撮像面の前方に向けて閃光を発生する発生手段、および
前記第1探索手段および/または前記第2探索手段の検知結果に応じて異なるように前記発生手段の発生態様を調整する閃光調整手段をさらに備える、請求項4ないし6のいずれかに記載の画像処理装置。
【請求項8】
画像処理装置のプロセッサに、
顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ、
後頭部を各々が表す1または2以上の第2部分画像を前記第1探索ステップの探索処理に関連して前記指定画像から探索する第2探索ステップ、
前記指定画像上の領域のうち前記第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ、
前記指定画像上の領域のうち前記第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を前記参照領域として設定する第2設定ステップ、および
前記第1設定ステップが前記第2設定ステップに優先するように前記第1設定ステップおよび前記第2設定ステップを選択的に起動する起動制御ステップを実行させるための、画像処理プログラム。
【請求項9】
画像処理装置によって実行される画像処理方法であって、
顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ、
後頭部を各々が表す1または2以上の第2部分画像を前記第1探索ステップの探索処理に関連して前記指定画像から探索する第2探索ステップ、
前記指定画像上の領域のうち前記第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ、
前記指定画像上の領域のうち前記第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を前記参照領域として設定する第2設定ステップ、および
前記第1設定ステップが前記第2設定ステップに優先するように前記第1設定ステップおよび前記第2設定ステップを選択的に起動する起動制御ステップを備える、画像処理方法。
【請求項10】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ、
後頭部を各々が表す1または2以上の第2部分画像を前記第1探索ステップの探索処理に関連して前記指定画像から探索する第2探索ステップ、
前記指定画像上の領域のうち前記第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ、
前記指定画像上の領域のうち前記第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を前記参照領域として設定する第2設定ステップ、および
前記第1設定ステップが前記第2設定ステップに優先するように前記第1設定ステップおよび前記第2設定ステップを選択的に起動する起動制御ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項11】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
顔部を各々が表す1または2以上の第1部分画像を指定画像から探索する第1探索ステップ、
後頭部を各々が表す1または2以上の第2部分画像を前記第1探索ステップの探索処理に関連して前記指定画像から探索する第2探索ステップ、
前記指定画像上の領域のうち前記第1探索ステップによって検知された1または2以上の第1部分画像に対応する領域を画質調整のための参照領域として設定する第1設定ステップ、
前記指定画像上の領域のうち前記第2探索ステップによって検知された1または2以上の第2部分画像に対応する領域と異なる領域を前記参照領域として設定する第2設定ステップ、および
前記第1設定ステップが前記第2設定ステップに優先するように前記第1設定ステップおよび前記第2設定ステップを選択的に起動する起動制御ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【公開番号】特開2012−103979(P2012−103979A)
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願番号】特願2010−253147(P2010−253147)
【出願日】平成22年11月11日(2010.11.11)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願日】平成22年11月11日(2010.11.11)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]