画像処理装置および電子カメラ
【構成】辞書ＤＩＣには、互いに異なる複数の斜光属性をそれぞれ有する複数の顔パターンが収められる。ＣＰＵ２６は、これらの顔パターンの各々と被写界像を形成する部分画像とを照合して、複数の照合度を検出する。ＣＰＵ２６は続いて、検出された複数の照合度のうち閾値を上回る照合度に対応する顔パターンを特定し、複数の照合度の検出のために注目された部分画像の明るさを特定された顔パターンの斜光属性を参照して修正する。
【効果】被写界像の品質を改善することができる。
【効果】被写界像の品質を改善することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に、斜光に起因する物体像の明るさのばらつきを修正する、画像処理装置に関する。
【０００２】
この発明はまた、電子カメラに関し、特に、撮像面で生成された被写界像から人物の顔画像を探索する、電子カメラに関する。
【背景技術】
【０００３】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像装置によって生成された画像から被写体の肌領域が抽出され、抽出された肌領域の輝度データに基づいて被写体の斜光状態が判定される。補正目標値は判定された斜光状態の程度に基づいて変更され、画像は変更された補正目標値に従って補正される。これによって、被写体の品位を損なうことなく画像を適正に補正することができる。
【０００４】
また、この種の装置の他の一例が、特許文献２に開示されている。この背景技術によれば、画像のコントラストが正規化された後に、画像上の輝度分布に係る特徴量に基づいて当該画像が顔画像であるか否かが判別される。これによって、画像上の顔への重畳物、斜光、顔以外の背景による濃淡のばらつき等の影響による判別精度の低下が抑制される。
【０００５】
正規化処理においては、画像上の各局所領域における画素値の分散の程度が所定レベルに近づくように、画素値の階調が変換される。ここで、局所領域は、判別すべき顔の目が１つのみ含まれる大きさの領域とされる。これによって、顔であることを特徴付ける目や鼻等の顔の構成部品内でのコントラストの変化を抑えつつ、顔以外のものによる濃淡変化の影響を受け難い安定した正規化が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２４１３２号公報
【特許文献２】特開２００６−３０９７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１において、補正目標値を参照した補正処理は、画像全体に対して実行される。このため、陰影部分の明るさを増大させると非陰影部分の明るさが飽和し、これによって全体の画質が低下するおそれがある。また、特許文献２において、正規化処理は、顔画像のサイズよりも小さいサイズを有する所定領域毎に実行されるため、正規化された顔画像の品質が所定領域間でばらついてしまい、顔画像の全体的な品質が低下するおそれがある。
【０００８】
それゆえに、この発明の主たる目的は、被写界像の品質を改善することができる、画像処理装置を提供することである。
【０００９】
この発明の他の目的は、被写界像の品質を改善することができる、電子カメラを提供することである。
【課題を解決するための手段】
【００１０】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出手段(S53~S55, S63~S79)、検出手段によって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定手段(S57~S61, S81~S83, S93~S95, S105~S107)、および検出手段によって注目された部分画像の明るさを特定手段によって特定された登録物体像の斜光属性を参照して修正する修正手段(S97~S103)を備える。
【００１１】
好ましくは、検出手段によって注目される部分画像の位置および／またはサイズを被写界像上で繰り返し変更する変更手段(S39, S43~S45)がさらに備えられる。
【００１２】
好ましくは、Ｎ個の斜光属性は光源の種類および／または強さを示す光源情報と陰影の位置および／または形状を示す陰影情報とを含み、修正手段は、部分画像に現れた陰影を陰影情報に基づいて検出する陰影検出手段(S97)、および陰影検出手段によって検出された陰影の明るさを光源情報に基づいて修正する陰影修正手段(S99~S101)を含む。
【００１３】
さらに好ましくは、登録物体像は人物の顔画像に相当し、修正手段は陰性修正手段の修正処理の後に顔画像に美肌処理を施す美肌処理手段(S103)をさらに含む。
【００１４】
好ましくは、被写界を捉える撮像面を有して被写界像を出力する撮像手段(16)、および特定手段の特定処理に関連して定義された部分画像に注目して撮像条件を調整する調整手段(S7, S9)がさらに備えられる。
【００１５】
好ましくは、Ｐ個の登録物体像はそれぞれＰ個の除外エリアを有し、検出手段は除外エリアに対応する一部の画像を部分画像から除外して照合処理を実行する。
【００１６】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(26)に、互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出ステップ(S53~S55, S63~S79)、検出ステップによって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定ステップ(S57~S61, S81~S83, S93~S95, S105~S107)、および検出ステップによって注目された部分画像の明るさを特定ステップによって特定された登録物体像の斜光属性を参照して修正する修正ステップ(S97~S103)を実行させるための、画像処理プログラムである。
【００１７】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出ステップ(S53~S55, S63~S79)、検出ステップによって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定ステップ(S57~S61, S81~S83, S93~S95, S105~S107)、および検出ステップによって注目された部分画像の明るさを特定ステップによって特定された登録物体像の斜光属性を参照して修正する修正ステップ(S97~S103)を備える。
【００１８】
この発明に従う電子カメラ(10)は、被写界を捉える撮像面を有して被写界像を生成する撮像手段(16)、撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索手段(S119~S121, S141~S143)、探索手段によって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出手段(S145)、探索手段によって発見された肌色画像を形成する陰影部分の色および／または輝度を検出手段の検出結果を参照して修正する修正手段(S147~S149)、人物の顔を表す複数の登録画像の各々と修正手段によって修正された肌色画像とを照合する照合手段(S125)、および照合手段の照合結果を参照して撮像条件を調整する調整手段(S7, S9)を備える。
【００１９】
好ましくは、修正手段によって修正された肌色画像に美肌処理を施す美肌処理手段(S149)がさらに備えられ、照合手段は美肌処理の後に照合処理を実行する。
【００２０】
好ましくは、探索手段は、被写界像から肌色画像を探索する肌色画像探索手段(S119)、および肌色画像探索手段によって発見された肌色画像から陰影部分を探索する陰影探索手段(S141)を含む。
【００２１】
好ましくは、修正手段は肌色画像を形成する陰影部分および非陰影部分の間の色および／または色の相違が抑制されるように修正処理を実行する。
【００２２】
好ましくは、調整手段は複数の登録画像の少なくとも１つと符合する肌色画像に注目して調整処理を実行する。
【００２３】
この発明に従う撮像制御プログラムは、被写界を捉える撮像面を有して被写界像を生成する撮像手段(16)を備える電子カメラ(10)のプロセッサ(26)に、撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索ステップ(S119~S121, S141~S143)、探索ステップによって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出ステップ(S145)、探索ステップによって発見された肌色画像を形成する陰影部分の色および／または輝度を検出ステップの検出結果を参照して修正する修正ステップ(S147~S149)、人物の顔を表す複数の登録画像の各々と修正ステップによって修正された肌色画像とを照合する照合ステップ(S125)、および照合ステップの照合結果を参照して撮像条件を調整する調整ステップ(S7, S9)を実行させるための、撮像制御プログラムである。
【００２４】
この発明に従う撮像制御方法は、被写界を捉える撮像面を有して被写界像を生成する撮像手段(16)を備える電子カメラ(10)によって実行される撮像制御方法であって、撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索ステップ(S119~S121, S141~S143)、探索ステップによって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出ステップ(S145)、探索ステップによって発見された肌色画像を形成する陰影部分の色および／または輝度を検出ステップの検出結果を参照して修正する修正ステップ(S147~S149)、人物の顔を表す複数の登録画像の各々と修正ステップによって修正された肌色画像とを照合する照合ステップ(S125)、および照合ステップの照合結果を参照して撮像条件を調整する調整ステップ(S7, S9)を備える。
【発明の効果】
【００２５】
この発明によれば、Ｐ個の照合度は、互いに異なる斜光属性を有するＰ個の登録物体像の各々と部分画像とを照合することで検出される。また、部分画像の明るさは、既定条件を満足する照合度に対応する登録物体像の斜光属性を参照して修正される。これによって、被写界像の品質を改善することができる。
【００２６】
この発明によれば、肌色画像を形成する陰性部分の色および／または輝度は人物の顔を表す複数の登録画像の各々と肌色画像との照合処理に先立って修正され、撮像条件は照合処理の結果を参照して調整される。これによって、被写界像の品質を改善することができる。
【００２７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２８】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の基本的構成を示すブロック図である。
【図３】この発明の一実施例の構成を示すブロック図である。
【図４】評価エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図５】顔検出動作の一部を示す図解図である。
【図６】辞書に収められた顔パターンの一部を示す図解図である。
【図７】辞書に収められた顔パターンの他の一部を示す図解図である。
【図８】辞書に収められた顔パターンのその他の一部を示す図解図である。
【図９】辞書に収められた顔パターンのさらにその他の一部を示す図解図である。
【図１０】辞書に収められた顔パターンの他の一部を示す図解図である。
【図１１】辞書に収められた顔パターンのその他の一部を示す図解図である。
【図１２】顔検出動作において参照されるレジスタの一例を示す図解図である。
【図１３】顔認識処理のために用いられる顔検出枠の一例を示す図解図である。
【図１４】顔検出動作の他の一部を示す図解図である。
【図１５】図３実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１６】図３実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１７】図３実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１８】図３実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１９】図３実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２０】図３実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２１】他の実施例で参照される辞書に収められた顔パターンの一例を示す図解図である。
【図２２】他の実施例で参照される辞書に収められた顔パターンの他の一例を示す図解図である。
【図２３】他の実施例で参照される辞書に収められた顔パターンのその他の一例を示す図解図である。
【図２４】他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図２５】他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２６】他の実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２７】他の実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２８】他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２９】他の実施例において参照されるレジスタの構成の一例を示す図解図である。
【図３０】他の実施例における顔検出動作の一部を示す図解図である。
【発明を実施するための形態】
【００２９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成１］
【００３０】
図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。検出手段１ａは、互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する。特定手段２ａは、検出手段１ａによって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する。修正手段３ａは、検出手段１ａによって注目された部分画像の明るさを特定手段２ａによって特定された登録物体像の斜光属性を参照して修正する。
【００３１】
このように、Ｐ個の照合度は、互いに異なる斜光属性を有するＰ個の登録物体像の各々と部分画像とを照合することで検出される。また、部分画像の明るさは、既定条件を満足する照合度に対応する登録物体像の斜光属性を参照して修正される。これによって、被写界像の品質を改善することができる。
［基本的構成２］
【００３２】
図２を参照して、この発明の電子カメラは、基本的に次のように構成される。撮像手段１ｂは、被写界を捉える撮像面を有して被写界像を生成する。探索手段２ｂは、撮像手段１ｂによって生成された被写界像から陰影部分を有する肌色画像を探索する。検出手段３ｂは、探索手段２ｂによって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する。修正手段４ｂは、探索手段２ｂによって発見された肌色画像を形成する陰影部分の色および／または輝度を検出手段３ｂの検出結果を参照して修正する。照合手段５ｂは、人物の顔を表す複数の登録画像の各々と修正手段４ｂによって修正された肌色画像とを照合する。調整手段６ｂは、照合手段５ｂの照合結果を参照して撮像条件を調整する。
【００３３】
このように、肌色画像を形成する陰性部分の色および／または輝度は人物の顔を表す複数の登録画像の各々と肌色画像との照合処理に先立って修正され、撮像条件は照合処理の結果を参照して調整される。これによって、被写界像の品質を改善することができる。
［実施例］
【００３４】
図３を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００３５】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を開始するべく、ドライバ１８ｃに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００３６】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。
【００３７】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに書き込まれる。
【００３８】
ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００３９】
図４を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００４０】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。
【００４１】
また、ＡＦ評価回路２４は、前処理回路２０から出力されたＲＧＢデータのうち同じ評価エリアＥＶＡに属するＧデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００４２】
ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を動画取り込み処理と並列して実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【００４３】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価回路２２の出力に基づいてＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、ＡＦ評価回路２４からの出力に基づくＡＦ処理を実行する。フォーカスレンズ１２はドライバ１８ａによって合焦点に設定され、これによってスルー画像の鮮鋭度が向上する。
【００４４】
シャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、記録処理のために、Ｉ／Ｆ４０を起動する。Ｉ／Ｆ４０は、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データをメモリ制御回路３０を通してＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データをファイル形式で記録媒体４２に記録する。
【００４５】
ＣＰＵ２６は、撮像タスクと並列して実行される顔検出タスクの下で、ＹＵＶ画像エリア３２ｂに格納された画像データから人物の顔画像を繰り返し検索する。このような顔検出タスクのために、図６〜図１１に示す複数の顔パターンＦＰ＿Ｋ＿Ｌ＿Ｍ＿Ｎ（Ｋ：１〜９，Ｌ：１〜３，Ｍ：００〜１２，Ｎ：１〜９（ただし、Ｍ＝００についてはＮ＝１））を収めた辞書ＤＩＣ，図１２に示すレジスタＲＧＳＴ１，および図１３に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…が準備される。
【００４６】
図６〜図１１を参照して、紙面に直交する軸に沿う方向に対する顔の向きは、変数Ｋの値に応じて異なる。紙面に直交する軸回り方向における顔の傾きは、変数Ｌの値に応じて異なる。斜光エリアの位置ないし形状は、変数Ｍの値に応じて異なる。光源の種類ないし強さは、変数Ｎの値に応じて異なる。なお、顔パターンＦＰ＿２＿１＿Ｍ＿Ｎ〜ＦＰ＿９＿１＿Ｍ＿Ｎの一部については、図示を省略する。
【００４７】
各々の顔パターンには、斜光属性情報および除外エリア情報が付加される。斜光属性情報は、斜光の有無，斜光エリアの位置ないし形状，光源の種類，および光源の強さをパラメータとして有する。除外エリア情報は、顔検出枠ＦＤに属する画像データのうち照合対象から除外される一部の画像データの位置ないし形状をパラメータとして有する。
【００４８】
なお、除外エリアは図６〜図１１において斜線で示すエリアに相当し、位置ないし形状は紙面に直交する軸回り方向における顔の傾きに応じて異なる。
【００４９】
図１２に示すレジスタＲＧＳＴ１は、顔枠情報を登録するためのレジスタである。各カラムには、検出された顔画像の位置およびサイズ（具体的には、顔画像が検出された時点の顔検出枠ＦＤの位置およびサイズ）を記述するための項目と、検出された顔画像に符合する顔パターンおよび検出された顔画像と符合顔パターンとの照合度を記述するための項目とか形成される。
【００５０】
図１３に示す顔検出枠ＦＤは、垂直同期信号Ｖｓｙｎｃが発生する毎に、ＹＵＶ画像エリア３２ｂ上を評価エリアＥＶＡに対応してラスタ走査態様で移動する（図５参照）。顔検出枠ＦＤのサイズは、ラスタ走査が終了する毎に“２００”から“２０”まで“５”刻みで縮小される。
【００５１】
ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをメモリ制御回路３０を通してＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、辞書ＤＩＣに収められた顔パターンＦＰ＿Ｋ＿Ｌ＿Ｍ＿Ｎと照合される。照合度が閾値ＴＨを上回ると、顔検出枠ＦＤの現時点の位置およびサイズ，符合顔パターンおよび照合度がレジスタＲＧＳＴ１に登録される。
【００５２】
最小サイズ（＝２０）の顔検出枠ＦＤのラスタ走査が終了すると、ＣＰＵ２６は顔修正処理を以下の要領で実行する。ＣＰＵ２６はまず、顔検出枠ＦＤの位置およびサイズと照合度が最大の顔パターンとをレジスタＲＧＳＴ１上の各カラムから検出する。ＣＰＵ２６は続いて、検出された顔検出枠の位置およびサイズを参照してＹＵＶ画像エリア３２ｂから顔画像を特定し、検出された顔パターンに付随する斜光属性情報を参照して顔画像の陰影部分と光源の種類および強さとを特定し、そして顔画像の陰影部分の色および／または輝度（つまりコントラスト）を光源の種類および強さを考慮して修正する。修正された顔画像には、美肌処理（スムージング処理）が追加的に施される。
【００５３】
したがって、図１４の上段に示す被写界像が捉えられた場合、人物ＨＭ１の顔画像に現れた陰影部分の色および／輝度は、図１４の下段に示すように、顔画像の非陰影部分の色および／または輝度に近づく。
【００５４】
顔修正処理が完了すると、ＣＰＵ２６は、検出された顔検出枠の位置およびサイズに対応する顔枠キャラクタ表示命令をＬＣＤドライバ３６に向けて発行する。ＬＣＤドライバ３６は、与えられた顔枠キャラクタ表示命令を参照して、ＬＣＤモニタ３８に顔枠キャラクタＫＦ１を表示する（図１４下段参照）。
【００５５】
なお、被写界から顔画像が検出されない場合、上述のような陰影の修正は中止され、さらに顔枠キャラクタＫＦ１の表示も中止される。
【００５６】
顔枠キャラクタＫＦ１が表示されたとき、上述のＡＥ処理およびＡＦ処理は、顔枠キャラクタＫＦ１内の画像に注目して実行される。一方、顔枠キャラクタＫＦが非表示とされたとき、上述のＡＥ処理およびＡＦ処理は、評価エリアＥＶＡの全体画像に注目して実行される。こうして、露光量やフォーカスなどの撮像パラメータが良好に調整される。また、シャッタボタン２８ｓｈが全押しされたときは、顔修正処理を施された画像データがファイル形式で記録媒体４２に記録される。
【００５７】
ＣＰＵ２６は、図１５に示す撮像タスク，図１６〜図２０に示す顔検出タスクを含む複数のタスクを並列的に実行する。これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００５８】
図１５を参照して、ステップＳ１では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ５の簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが適度に調整される。ステップＳ３でＹＥＳであれば、ステップＳ７でＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。この結果、スルー画像の明るさおよびフォーカスが厳格に調整される。
【００５９】
ステップＳ１１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ１１でＹＥＳであればステップＳ１５で記録処理を実行し、その後にステップＳ３に戻る。ステップＳ１３でＹＥＳであれば、そのままステップＳ３に戻る。ステップＳ１５の記録処理の結果、シャッタボタン２８ｓｈが全押しされた時点の被写界に対応しかつ顔修正処理を施された画像データが、ファイル形式で記録媒体４２に記録される。
【００６０】
図１６を参照して、ステップＳ２１では変数Ｔを“１”に設定し、ステップＳ２３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ２５で顔検出枠ＦＤのサイズを“２００”に設定し、ステップＳ２７で顔検出枠ＦＤを開始位置（評価エリアＥＶＡの左上）に配置する。ステップＳ２９では顔検出枠ＦＤに属する一部の画像データをＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データから肌色画像エリアを探索する。
【００６１】
ステップＳ３１では肌色画像エリアが発見されたか否かを判別し、判別結果がＮＯであればそのままステップＳ３７に進む一方、判別結果がＹＥＳであればステップＳ３３〜Ｓ３５の処理を経てステップＳ３７に進む。
【００６２】
ステップＳ３３では、顔検出枠ＦＤに属する画像データの特徴量を算出する。ステップＳ３５では、算出された特徴量を辞書ＤＩＣに収められた顔パターンＦＰ＿Ｋ＿Ｌ＿Ｍ＿Ｎの各々と照合する照合処理を実行する。
【００６３】
ステップＳ３７では、顔検出枠ＦＤが終了位置（評価エリアＥＶＡの右下）に達したか否かを判別する。判別結果がＮＯであれば、ステップＳ３９で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ２９に戻る。判別結果がＹＥＳであれば、顔検出枠ＦＤのサイズが“２０”まで縮小したか否かをステップＳ４１で判別する。判別結果がＮＯであれば、ステップＳ４３で顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ４５で顔検出枠を開始位置に配置し、その後にステップＳ２９に戻る。
【００６４】
ステップＳ４１の判別結果がＹＥＳであればステップＳ４７に進み、顔画像に現れた陰影を修正する顔修正処理をＹＵＶ画像エリア３２ｂ上で実行する。この結果、陰影部分と非陰影部分との間における色および／または輝度の相違が抑制される。また、こうして修正された画像データが記録処理の対象となる。
【００６５】
ステップＳ４９では、レジスタＲＧＳＴ１に登録された顔検出枠ＦＤの位置およびサイズを検出し、検出された位置およびサイズに対応する顔枠キャラクタ表示命令をＬＣＤドライバ３６に向けて発行する。ただし、レジスタＲＧＴＳ１に顔枠情報が存在しない場合、顔枠キャラクタ表示命令の発行は中止される。この結果、顔枠キャラクタＫＦ１がスルー画像上にＯＳＤ態様で表示される。ステップＳ４９の処理が完了すると、ステップＳ２１に戻る。
【００６６】
図１６に示すステップＳ３５の照合処理は、図１８に示すサブルーチンに従って実行される。まずステップＳ５１でフラグＦＬＧを“０”に設定し、ステップＳ５３で変数Ｋ，Ｌ，ＭおよびＮを初期化する。変数Ｋ，ＬおよびＮは“１”に設定され、変数Ｍは“００”に設定される。
【００６７】
ステップＳ５５では顔検出枠ＦＤに属する画像データの特徴量を辞書ＤＩＣに収められた顔パターンＦＰ＿Ｋ＿Ｌ＿Ｍ＿Ｎと照合して照合度を算出する。このとき、顔パターンＦＰ＿Ｋ＿Ｌ＿Ｍ＿Ｎに付随する除外エリア情報が参照され、除外エリアに対応する一部の画像データが照合対象から除外される。
【００６８】
ステップＳ５７では、ステップＳ５５で算出された照合度が閾値ＴＨを上回るか否かを判別する。判別結果がＮＯであればそのままステップＳ６３に進み、判別結果がＹＥＳであればステップＳ５９〜Ｓ６１の処理を経てステップＳ６３に進む。
【００６９】
ステップＳ５９では、ステップＳ５５で参照された顔パターンとステップＳ５５で算出された照合度とを、現時点の顔検出枠ＦＤの位置およびサイズとともにレジスタＲＧＳＴ１のＴ番目のカラムに登録する。ステップＳ６１では、レジスタＲＧＳＴ１への登録処理が実行されたことを表明するべく、フラグＦＬＧを“１”に設定する。
【００７０】
ステップＳ６３では変数Ｍが“００”を示すか否かを判別し、ステップＳ６５では変数Ｎが最大値Ｎｍａｘ（＝９）を示すか否かを判別する。ステップＳ６３およびＳ６５のいずれもＮＯであれば、ステップＳ６７で変数Ｎをインクリメントし、その後にステップＳ５５に戻る。
【００７１】
ステップＳ６３およびＳ６５のいずれか一方でＹＥＳであれば、変数Ｍが最大値Ｍｍａｘ（＝１２）を示すか否かをステップＳ６９で判別し、変数Ｌが最大値Ｌｍａｘ（＝３）を示すか否かをステップＳ７３で判別し、そして変数Ｋが最大値Ｋｍａｘ（＝９）を示すか否かをステップＳ７７で判別する。
【００７２】
ステップＳ６９でＮＯであればステップＳ７１に進み、変数Ｎを“１”に設定するとともに変数Ｍをインクリメントする。ステップＳ６９でＹＥＳである一方、ステップＳ７３でＮＯであれば、ステップＳ７５に進み、変数ＮおよびＭをそれぞれ“１”および“００”に設定するとともに、変数Ｌをインクリメントする。
【００７３】
ステップＳ６９およびＳ７３でＹＥＳである一方、ステップＳ７７でＮＯであれば、ステップＳ７９に進み、変数Ｎ，ＭおよびＬをそれぞれ“１”，“００”および“１”に設定し、変数Ｋをインクリメントする。ステップＳ６７，Ｓ７１，Ｓ７５またはＳ７９の処理が完了すると、ステップＳ５５に戻る。
【００７４】
ステップＳ６９，Ｓ７３およびＳ７７でＹＥＳであれば、フラグＦＬＧが“１”を示すか否かをステップＳ８１で判別する。判別結果がＮＯであればそのまま上階層のルーチンに復帰し、判別結果がＹＥＳであればステップＳ８３で変数Ｔをインクリメントしてから上階層のルーチンに復帰する。
【００７５】
図１７に示すステップＳ４７の顔修正処理は、図２０に示すサブルーチンに従って実行される。まず、レジスタＲＧＳＴ１に登録が存在するか否かをステップＳ９１で判別する。判別結果がＮＯであれば上階層のルーチンに復帰し、判別結果がＹＥＳであればステップＳ９３に進む。
【００７６】
ステップＳ９３では変数Ｔを“１”に設定し、ステップＳ９５では顔検出枠ＦＤの位置およびサイズと照合度が最大の顔パターンとをレジスタＲＧＳＴ１のＴ番目のカラムから検出する。ステップＳ９７では、検出された顔パターンに付随する斜光属性情報を参照して、検出された顔パターンが陰影部分を有するか否かを判別する。判別結果がＮＯであればそのままステップＳ１０５に進む一方、判別結果がＹＥＳであればステップＳ９９〜Ｓ１０３の処理を経てステップＳ１０５に進む。
【００７７】
ステップＳ９９では、上述の斜光属性情報を参照して光源の種類および強さを検出する。ステップＳ１０１では、ステップＳ９５で検出された顔検出枠の位置およびサイズを参照してＹＵＶ画像エリア３２ｂから顔画像を特定し、特定された顔画像の陰影部分を上述の斜光属性情報を参照して特定し、そして特定された陰影部分の色および／または輝度をステップＳ９９で検出された光源の種類および強さを参照して修正する。ステップＳ１０３では、ステップＳ１０１で特定された顔画像に美肌処理を施す。
【００７８】
ステップＳ１０５では、変数Ｔが最大値Ｔｍａｘ（＝レジスタＲＧＳＴ１に登録された顔検出枠ＦＤの総数）を示すか否かを判別する。判別結果がＮＯであればステップＳ１０７で変数ＴをインクリメントしてからステップＳ９５に戻り、判別結果がＹＥＳであれば上階層のルーチンに復帰する。
【００７９】
以上の説明から分かるように、ＣＰＵ２６は、互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の顔パターンの各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する(S53~S55, S63~S81)。ＣＰＵ２６は続いて、検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する顔パターンを特定し(S57~S61, S83~S85, S93~S95, S105~S107)、Ｐ個の照合度の検出のために注目された部分画像の明るさを特定された顔パターンの斜光属性を参照して修正する(S97~S103)。
【００８０】
このように、Ｐ個の照合度は、互いに異なる斜光属性を有するＰ個の顔パターンの各々と部分画像とを照合することで検出される。また、部分画像の明るさは、既定条件を満足する照合度に対応する顔パターンの斜光属性を参照して修正される。これによって、被写界像の品質を改善することができる。
【００８１】
他の実施例のディジタルカメラ１０は、図２１〜図２３に示す複数の顔パターンＦＰ＿Ｋ＿Ｌ（Ｋ：１〜９，Ｌ：１〜３）が辞書ＤＩＣに収められ、図１６〜図２０に示す顔検出タスクに代えて図２４〜図２８に示す顔検出タスクが実行され、レジスタＲＧＳＴ１が図２９に示すように構成される点を除き、図３実施例と同様であるため、同様の部分に関する重複した説明は省略する。
【００８２】
図２１〜図２３を参照して、紙面に直交する軸に沿う方向に対する顔の向きは、変数Ｋの値に応じて異なる。紙面に直交する軸回り方向における顔の傾きは、変数Ｌの値に応じて異なる。各々の顔パターンには、除外エリア情報が付加される。除外エリア情報は、顔検出枠ＦＤに属する画像データのうち照合対象から除外される一部の画像データの位置ないし形状をパラメータとして有する。
【００８３】
図２８に示すレジスタＲＧＳＴ１は、顔枠情報を登録するためのレジスタである。各カラムには、検出された顔画像の位置およびサイズ（具体的には、顔画像が検出された時点の顔検出枠ＦＤの位置およびサイズ）が記述される。
【００８４】
図２４〜図２８に示す顔検出タスクにおいて、ステップＳ１１１〜Ｓ１２１，Ｓ１２７〜Ｓ１３５およびＳ１３７の処理は、図１６〜図１７に示すステップＳ２１〜Ｓ３１，Ｓ３７〜Ｓ４５およびＳ４９の処理と同様である。図１７に示すステップＳ４７に相当する処理は、ここでは省略される。ステップＳ１２３では、顔検出枠ＦＤに属する画像データから陰影を探索しかつ発見された陰影を修正する陰影探索／修正処理を実行する。ステップＳ１２５では、算出された特徴量を辞書ＤＩＣに収められた顔パターンＦＰ＿Ｋ＿Ｌの各々と照合する照合処理を実行する。
【００８５】
図２４に示すステップＳ１２３の陰影探索／修正処理は、図２６に示すサブルーチンに従って実行される。まずステップＳ１４１で肌色画像エリアから陰影部分を探索する。具体的には、肌色画像エリア上の複数の位置で輝度を検出し、検出された輝度が急峻に変化する境界線を特定し、そして特定された境界線よりも低輝度側の部分を陰影部分として定義する。
【００８６】
ステップＳ１４３では陰影部分が発見されたか否かを判別し、判別結果がＮＯであればそのまま上階層のルーチンに復帰する一方、判別結果がＹＥＳであればステップＳ１４５〜Ｓ１４９の処理を経て上階層のルーチンに復帰する。
【００８７】
ステップＳ１４５では、肌色画像エリアを形成する非陰影部分の色および／または輝度を検出する。ステップＳ１４７では、ステップＳ１４５で検出された色および／または輝度を参照して、肌色画像エリアを形成する陰影部分の色および／または輝度を修正する。この結果、陰影部分と非陰影部分との間での色および／または輝度の相違が抑制される。ステップＳ１４７の処理が完了すると、ステップＳ１４９で肌色画像エリアに美肌処理を施す。
【００８８】
したがって、図３０の左側に示す被写界像が捉えられた場合、人物ＨＭ２の顔画像に現れた陰影部分の色および／輝度は、図３０の右側に示すように、顔画像の非陰影部分の色および／または輝度に近づく。
【００８９】
図２４に示すステップＳ１２５の照合処理は、図２７〜図２８に示すサブルーチンに従って実行される。ただし、ステップＳ１５１，Ｓ１５７，Ｓ１６１，Ｓ１７３およびＳ１７５の処理は、図１８〜図１９に示すステップＳ５１，Ｓ５７，Ｓ６１，Ｓ８１およびＳ８３の処理と同様である。
【００９０】
ステップＳ１５３では変数ＫおよびＮを“１”に設定し、ステップＳ１５５では顔検出枠ＦＤに属する画像データの特徴量を辞書ＤＩＣに収められた顔パターンＦＰ＿Ｋ＿Ｌと照合して照合度を算出する。このとき、顔パターンＦＰ＿Ｋ＿Ｌに付随する除外エリア情報が参照され、除外エリアに対応する一部の画像データが照合対象から除外される。ステップＳ１５９では、現時点の顔検出枠ＦＤの位置およびサイズをレジスタＲＧＳＴ１のＴ番目のカラムに登録する。
【００９１】
ステップＳ１６３では変数Ｌが最大値Ｌｍａｘ（＝３）を示すか否かを判別し、ステップＳ１６７では変数Ｋが最大値Ｋｍａｘ（＝９）を示すか否かを判別する。ステップＳ１６３でＮＯであれば、ステップＳ１６５で変数Ｌをインクリメントする。ステップＳ１６３でＹＥＳである一方、ステップＳ１６７でＮＯであれば、ステップＳ１６９に進み、変数Ｌを“１”に設定するとともに、変数Ｋをインクリメントする。ステップＳ１６５またはＳ１６９の処理が完了すると、ステップＳ１５５に戻る。ステップＳ１６３およびＳ１６７のいずれもＹＥＳであれば、ステップＳ１７３に進む。
【００９２】
以上の説明から分かるように、イメージャ１６は、被写界を捉える撮像面を有して被写界像を生成する。ＣＰＵ２６は、イメージャ１６によって生成された被写界像から陰影部分を有する肌色画像を探索し(S119~S121, S141~S143)、発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する(S145)。ＣＰＵ２６はまた、発見された肌色画像を形成する陰影部分の色および／または輝度を、非陰影部分の色および／または輝度を参照して修正する(S147~S149)。修正処理が完了すると、ＣＰＵ２６は、複数の顔パターンの各々と修正された肌色画像とを照合し(S125)、照合手段の照合結果を参照して撮像条件を調整する(S7, S9)。
【００９３】
このように、肌色画像を形成する陰性部分の色および／または輝度は人物の顔を表す複数の登録画像の各々と肌色画像との照合処理に先立って修正され、撮像条件は照合処理の結果を参照して調整される。これによって、被写界像の品質を改善することができる。
【００９４】
なお、これらの実施例では、陰影部分と非陰影部分との間の色および／または輝度の相違を抑制するために、陰影部分の色および／または輝度を修正するようにしているが、陰影部分の色および／または輝度に代えて或いは陰影部分の色および／または輝度とともに、非陰影部分の色および／または輝度を修正するようにしてもよい。
【００９５】
また、これらの実施例では、顔画像の色および／または輝度を修正するようにしているが、顔画像の色および／または輝度だけでなく、その周辺の画像の色および／または輝度も修正するようにしてもよい。
【００９６】
さらに、これらの実施例では、静止画像を記録するいわゆるディジタルスチルカメラを想定しているが、この発明は動画像を記録するディジタルビデオカメラにも適用できる。
【符号の説明】
【００９７】
１０ …ディジタルカメラ
１６ …イメージャ
２２ …ＡＥ／ＡＷＢ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
４４ …フラッシュメモリ
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に、斜光に起因する物体像の明るさのばらつきを修正する、画像処理装置に関する。
【０００２】
この発明はまた、電子カメラに関し、特に、撮像面で生成された被写界像から人物の顔画像を探索する、電子カメラに関する。
【背景技術】
【０００３】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像装置によって生成された画像から被写体の肌領域が抽出され、抽出された肌領域の輝度データに基づいて被写体の斜光状態が判定される。補正目標値は判定された斜光状態の程度に基づいて変更され、画像は変更された補正目標値に従って補正される。これによって、被写体の品位を損なうことなく画像を適正に補正することができる。
【０００４】
また、この種の装置の他の一例が、特許文献２に開示されている。この背景技術によれば、画像のコントラストが正規化された後に、画像上の輝度分布に係る特徴量に基づいて当該画像が顔画像であるか否かが判別される。これによって、画像上の顔への重畳物、斜光、顔以外の背景による濃淡のばらつき等の影響による判別精度の低下が抑制される。
【０００５】
正規化処理においては、画像上の各局所領域における画素値の分散の程度が所定レベルに近づくように、画素値の階調が変換される。ここで、局所領域は、判別すべき顔の目が１つのみ含まれる大きさの領域とされる。これによって、顔であることを特徴付ける目や鼻等の顔の構成部品内でのコントラストの変化を抑えつつ、顔以外のものによる濃淡変化の影響を受け難い安定した正規化が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２４１３２号公報
【特許文献２】特開２００６−３０９７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１において、補正目標値を参照した補正処理は、画像全体に対して実行される。このため、陰影部分の明るさを増大させると非陰影部分の明るさが飽和し、これによって全体の画質が低下するおそれがある。また、特許文献２において、正規化処理は、顔画像のサイズよりも小さいサイズを有する所定領域毎に実行されるため、正規化された顔画像の品質が所定領域間でばらついてしまい、顔画像の全体的な品質が低下するおそれがある。
【０００８】
それゆえに、この発明の主たる目的は、被写界像の品質を改善することができる、画像処理装置を提供することである。
【０００９】
この発明の他の目的は、被写界像の品質を改善することができる、電子カメラを提供することである。
【課題を解決するための手段】
【００１０】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出手段(S53~S55, S63~S79)、検出手段によって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定手段(S57~S61, S81~S83, S93~S95, S105~S107)、および検出手段によって注目された部分画像の明るさを特定手段によって特定された登録物体像の斜光属性を参照して修正する修正手段(S97~S103)を備える。
【００１１】
好ましくは、検出手段によって注目される部分画像の位置および／またはサイズを被写界像上で繰り返し変更する変更手段(S39, S43~S45)がさらに備えられる。
【００１２】
好ましくは、Ｎ個の斜光属性は光源の種類および／または強さを示す光源情報と陰影の位置および／または形状を示す陰影情報とを含み、修正手段は、部分画像に現れた陰影を陰影情報に基づいて検出する陰影検出手段(S97)、および陰影検出手段によって検出された陰影の明るさを光源情報に基づいて修正する陰影修正手段(S99~S101)を含む。
【００１３】
さらに好ましくは、登録物体像は人物の顔画像に相当し、修正手段は陰性修正手段の修正処理の後に顔画像に美肌処理を施す美肌処理手段(S103)をさらに含む。
【００１４】
好ましくは、被写界を捉える撮像面を有して被写界像を出力する撮像手段(16)、および特定手段の特定処理に関連して定義された部分画像に注目して撮像条件を調整する調整手段(S7, S9)がさらに備えられる。
【００１５】
好ましくは、Ｐ個の登録物体像はそれぞれＰ個の除外エリアを有し、検出手段は除外エリアに対応する一部の画像を部分画像から除外して照合処理を実行する。
【００１６】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(26)に、互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出ステップ(S53~S55, S63~S79)、検出ステップによって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定ステップ(S57~S61, S81~S83, S93~S95, S105~S107)、および検出ステップによって注目された部分画像の明るさを特定ステップによって特定された登録物体像の斜光属性を参照して修正する修正ステップ(S97~S103)を実行させるための、画像処理プログラムである。
【００１７】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出ステップ(S53~S55, S63~S79)、検出ステップによって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定ステップ(S57~S61, S81~S83, S93~S95, S105~S107)、および検出ステップによって注目された部分画像の明るさを特定ステップによって特定された登録物体像の斜光属性を参照して修正する修正ステップ(S97~S103)を備える。
【００１８】
この発明に従う電子カメラ(10)は、被写界を捉える撮像面を有して被写界像を生成する撮像手段(16)、撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索手段(S119~S121, S141~S143)、探索手段によって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出手段(S145)、探索手段によって発見された肌色画像を形成する陰影部分の色および／または輝度を検出手段の検出結果を参照して修正する修正手段(S147~S149)、人物の顔を表す複数の登録画像の各々と修正手段によって修正された肌色画像とを照合する照合手段(S125)、および照合手段の照合結果を参照して撮像条件を調整する調整手段(S7, S9)を備える。
【００１９】
好ましくは、修正手段によって修正された肌色画像に美肌処理を施す美肌処理手段(S149)がさらに備えられ、照合手段は美肌処理の後に照合処理を実行する。
【００２０】
好ましくは、探索手段は、被写界像から肌色画像を探索する肌色画像探索手段(S119)、および肌色画像探索手段によって発見された肌色画像から陰影部分を探索する陰影探索手段(S141)を含む。
【００２１】
好ましくは、修正手段は肌色画像を形成する陰影部分および非陰影部分の間の色および／または色の相違が抑制されるように修正処理を実行する。
【００２２】
好ましくは、調整手段は複数の登録画像の少なくとも１つと符合する肌色画像に注目して調整処理を実行する。
【００２３】
この発明に従う撮像制御プログラムは、被写界を捉える撮像面を有して被写界像を生成する撮像手段(16)を備える電子カメラ(10)のプロセッサ(26)に、撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索ステップ(S119~S121, S141~S143)、探索ステップによって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出ステップ(S145)、探索ステップによって発見された肌色画像を形成する陰影部分の色および／または輝度を検出ステップの検出結果を参照して修正する修正ステップ(S147~S149)、人物の顔を表す複数の登録画像の各々と修正ステップによって修正された肌色画像とを照合する照合ステップ(S125)、および照合ステップの照合結果を参照して撮像条件を調整する調整ステップ(S7, S9)を実行させるための、撮像制御プログラムである。
【００２４】
この発明に従う撮像制御方法は、被写界を捉える撮像面を有して被写界像を生成する撮像手段(16)を備える電子カメラ(10)によって実行される撮像制御方法であって、撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索ステップ(S119~S121, S141~S143)、探索ステップによって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出ステップ(S145)、探索ステップによって発見された肌色画像を形成する陰影部分の色および／または輝度を検出ステップの検出結果を参照して修正する修正ステップ(S147~S149)、人物の顔を表す複数の登録画像の各々と修正ステップによって修正された肌色画像とを照合する照合ステップ(S125)、および照合ステップの照合結果を参照して撮像条件を調整する調整ステップ(S7, S9)を備える。
【発明の効果】
【００２５】
この発明によれば、Ｐ個の照合度は、互いに異なる斜光属性を有するＰ個の登録物体像の各々と部分画像とを照合することで検出される。また、部分画像の明るさは、既定条件を満足する照合度に対応する登録物体像の斜光属性を参照して修正される。これによって、被写界像の品質を改善することができる。
【００２６】
この発明によれば、肌色画像を形成する陰性部分の色および／または輝度は人物の顔を表す複数の登録画像の各々と肌色画像との照合処理に先立って修正され、撮像条件は照合処理の結果を参照して調整される。これによって、被写界像の品質を改善することができる。
【００２７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２８】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の基本的構成を示すブロック図である。
【図３】この発明の一実施例の構成を示すブロック図である。
【図４】評価エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図５】顔検出動作の一部を示す図解図である。
【図６】辞書に収められた顔パターンの一部を示す図解図である。
【図７】辞書に収められた顔パターンの他の一部を示す図解図である。
【図８】辞書に収められた顔パターンのその他の一部を示す図解図である。
【図９】辞書に収められた顔パターンのさらにその他の一部を示す図解図である。
【図１０】辞書に収められた顔パターンの他の一部を示す図解図である。
【図１１】辞書に収められた顔パターンのその他の一部を示す図解図である。
【図１２】顔検出動作において参照されるレジスタの一例を示す図解図である。
【図１３】顔認識処理のために用いられる顔検出枠の一例を示す図解図である。
【図１４】顔検出動作の他の一部を示す図解図である。
【図１５】図３実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１６】図３実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１７】図３実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１８】図３実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１９】図３実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２０】図３実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２１】他の実施例で参照される辞書に収められた顔パターンの一例を示す図解図である。
【図２２】他の実施例で参照される辞書に収められた顔パターンの他の一例を示す図解図である。
【図２３】他の実施例で参照される辞書に収められた顔パターンのその他の一例を示す図解図である。
【図２４】他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図２５】他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２６】他の実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２７】他の実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２８】他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２９】他の実施例において参照されるレジスタの構成の一例を示す図解図である。
【図３０】他の実施例における顔検出動作の一部を示す図解図である。
【発明を実施するための形態】
【００２９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成１］
【００３０】
図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。検出手段１ａは、互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する。特定手段２ａは、検出手段１ａによって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する。修正手段３ａは、検出手段１ａによって注目された部分画像の明るさを特定手段２ａによって特定された登録物体像の斜光属性を参照して修正する。
【００３１】
このように、Ｐ個の照合度は、互いに異なる斜光属性を有するＰ個の登録物体像の各々と部分画像とを照合することで検出される。また、部分画像の明るさは、既定条件を満足する照合度に対応する登録物体像の斜光属性を参照して修正される。これによって、被写界像の品質を改善することができる。
［基本的構成２］
【００３２】
図２を参照して、この発明の電子カメラは、基本的に次のように構成される。撮像手段１ｂは、被写界を捉える撮像面を有して被写界像を生成する。探索手段２ｂは、撮像手段１ｂによって生成された被写界像から陰影部分を有する肌色画像を探索する。検出手段３ｂは、探索手段２ｂによって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する。修正手段４ｂは、探索手段２ｂによって発見された肌色画像を形成する陰影部分の色および／または輝度を検出手段３ｂの検出結果を参照して修正する。照合手段５ｂは、人物の顔を表す複数の登録画像の各々と修正手段４ｂによって修正された肌色画像とを照合する。調整手段６ｂは、照合手段５ｂの照合結果を参照して撮像条件を調整する。
【００３３】
このように、肌色画像を形成する陰性部分の色および／または輝度は人物の顔を表す複数の登録画像の各々と肌色画像との照合処理に先立って修正され、撮像条件は照合処理の結果を参照して調整される。これによって、被写界像の品質を改善することができる。
［実施例］
【００３４】
図３を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００３５】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を開始するべく、ドライバ１８ｃに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００３６】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。
【００３７】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに書き込まれる。
【００３８】
ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００３９】
図４を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００４０】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。
【００４１】
また、ＡＦ評価回路２４は、前処理回路２０から出力されたＲＧＢデータのうち同じ評価エリアＥＶＡに属するＧデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００４２】
ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を動画取り込み処理と並列して実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【００４３】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価回路２２の出力に基づいてＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、ＡＦ評価回路２４からの出力に基づくＡＦ処理を実行する。フォーカスレンズ１２はドライバ１８ａによって合焦点に設定され、これによってスルー画像の鮮鋭度が向上する。
【００４４】
シャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、記録処理のために、Ｉ／Ｆ４０を起動する。Ｉ／Ｆ４０は、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データをメモリ制御回路３０を通してＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データをファイル形式で記録媒体４２に記録する。
【００４５】
ＣＰＵ２６は、撮像タスクと並列して実行される顔検出タスクの下で、ＹＵＶ画像エリア３２ｂに格納された画像データから人物の顔画像を繰り返し検索する。このような顔検出タスクのために、図６〜図１１に示す複数の顔パターンＦＰ＿Ｋ＿Ｌ＿Ｍ＿Ｎ（Ｋ：１〜９，Ｌ：１〜３，Ｍ：００〜１２，Ｎ：１〜９（ただし、Ｍ＝００についてはＮ＝１））を収めた辞書ＤＩＣ，図１２に示すレジスタＲＧＳＴ１，および図１３に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…が準備される。
【００４６】
図６〜図１１を参照して、紙面に直交する軸に沿う方向に対する顔の向きは、変数Ｋの値に応じて異なる。紙面に直交する軸回り方向における顔の傾きは、変数Ｌの値に応じて異なる。斜光エリアの位置ないし形状は、変数Ｍの値に応じて異なる。光源の種類ないし強さは、変数Ｎの値に応じて異なる。なお、顔パターンＦＰ＿２＿１＿Ｍ＿Ｎ〜ＦＰ＿９＿１＿Ｍ＿Ｎの一部については、図示を省略する。
【００４７】
各々の顔パターンには、斜光属性情報および除外エリア情報が付加される。斜光属性情報は、斜光の有無，斜光エリアの位置ないし形状，光源の種類，および光源の強さをパラメータとして有する。除外エリア情報は、顔検出枠ＦＤに属する画像データのうち照合対象から除外される一部の画像データの位置ないし形状をパラメータとして有する。
【００４８】
なお、除外エリアは図６〜図１１において斜線で示すエリアに相当し、位置ないし形状は紙面に直交する軸回り方向における顔の傾きに応じて異なる。
【００４９】
図１２に示すレジスタＲＧＳＴ１は、顔枠情報を登録するためのレジスタである。各カラムには、検出された顔画像の位置およびサイズ（具体的には、顔画像が検出された時点の顔検出枠ＦＤの位置およびサイズ）を記述するための項目と、検出された顔画像に符合する顔パターンおよび検出された顔画像と符合顔パターンとの照合度を記述するための項目とか形成される。
【００５０】
図１３に示す顔検出枠ＦＤは、垂直同期信号Ｖｓｙｎｃが発生する毎に、ＹＵＶ画像エリア３２ｂ上を評価エリアＥＶＡに対応してラスタ走査態様で移動する（図５参照）。顔検出枠ＦＤのサイズは、ラスタ走査が終了する毎に“２００”から“２０”まで“５”刻みで縮小される。
【００５１】
ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをメモリ制御回路３０を通してＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、辞書ＤＩＣに収められた顔パターンＦＰ＿Ｋ＿Ｌ＿Ｍ＿Ｎと照合される。照合度が閾値ＴＨを上回ると、顔検出枠ＦＤの現時点の位置およびサイズ，符合顔パターンおよび照合度がレジスタＲＧＳＴ１に登録される。
【００５２】
最小サイズ（＝２０）の顔検出枠ＦＤのラスタ走査が終了すると、ＣＰＵ２６は顔修正処理を以下の要領で実行する。ＣＰＵ２６はまず、顔検出枠ＦＤの位置およびサイズと照合度が最大の顔パターンとをレジスタＲＧＳＴ１上の各カラムから検出する。ＣＰＵ２６は続いて、検出された顔検出枠の位置およびサイズを参照してＹＵＶ画像エリア３２ｂから顔画像を特定し、検出された顔パターンに付随する斜光属性情報を参照して顔画像の陰影部分と光源の種類および強さとを特定し、そして顔画像の陰影部分の色および／または輝度（つまりコントラスト）を光源の種類および強さを考慮して修正する。修正された顔画像には、美肌処理（スムージング処理）が追加的に施される。
【００５３】
したがって、図１４の上段に示す被写界像が捉えられた場合、人物ＨＭ１の顔画像に現れた陰影部分の色および／輝度は、図１４の下段に示すように、顔画像の非陰影部分の色および／または輝度に近づく。
【００５４】
顔修正処理が完了すると、ＣＰＵ２６は、検出された顔検出枠の位置およびサイズに対応する顔枠キャラクタ表示命令をＬＣＤドライバ３６に向けて発行する。ＬＣＤドライバ３６は、与えられた顔枠キャラクタ表示命令を参照して、ＬＣＤモニタ３８に顔枠キャラクタＫＦ１を表示する（図１４下段参照）。
【００５５】
なお、被写界から顔画像が検出されない場合、上述のような陰影の修正は中止され、さらに顔枠キャラクタＫＦ１の表示も中止される。
【００５６】
顔枠キャラクタＫＦ１が表示されたとき、上述のＡＥ処理およびＡＦ処理は、顔枠キャラクタＫＦ１内の画像に注目して実行される。一方、顔枠キャラクタＫＦが非表示とされたとき、上述のＡＥ処理およびＡＦ処理は、評価エリアＥＶＡの全体画像に注目して実行される。こうして、露光量やフォーカスなどの撮像パラメータが良好に調整される。また、シャッタボタン２８ｓｈが全押しされたときは、顔修正処理を施された画像データがファイル形式で記録媒体４２に記録される。
【００５７】
ＣＰＵ２６は、図１５に示す撮像タスク，図１６〜図２０に示す顔検出タスクを含む複数のタスクを並列的に実行する。これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００５８】
図１５を参照して、ステップＳ１では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ５の簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが適度に調整される。ステップＳ３でＹＥＳであれば、ステップＳ７でＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。この結果、スルー画像の明るさおよびフォーカスが厳格に調整される。
【００５９】
ステップＳ１１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ１１でＹＥＳであればステップＳ１５で記録処理を実行し、その後にステップＳ３に戻る。ステップＳ１３でＹＥＳであれば、そのままステップＳ３に戻る。ステップＳ１５の記録処理の結果、シャッタボタン２８ｓｈが全押しされた時点の被写界に対応しかつ顔修正処理を施された画像データが、ファイル形式で記録媒体４２に記録される。
【００６０】
図１６を参照して、ステップＳ２１では変数Ｔを“１”に設定し、ステップＳ２３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ２５で顔検出枠ＦＤのサイズを“２００”に設定し、ステップＳ２７で顔検出枠ＦＤを開始位置（評価エリアＥＶＡの左上）に配置する。ステップＳ２９では顔検出枠ＦＤに属する一部の画像データをＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データから肌色画像エリアを探索する。
【００６１】
ステップＳ３１では肌色画像エリアが発見されたか否かを判別し、判別結果がＮＯであればそのままステップＳ３７に進む一方、判別結果がＹＥＳであればステップＳ３３〜Ｓ３５の処理を経てステップＳ３７に進む。
【００６２】
ステップＳ３３では、顔検出枠ＦＤに属する画像データの特徴量を算出する。ステップＳ３５では、算出された特徴量を辞書ＤＩＣに収められた顔パターンＦＰ＿Ｋ＿Ｌ＿Ｍ＿Ｎの各々と照合する照合処理を実行する。
【００６３】
ステップＳ３７では、顔検出枠ＦＤが終了位置（評価エリアＥＶＡの右下）に達したか否かを判別する。判別結果がＮＯであれば、ステップＳ３９で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ２９に戻る。判別結果がＹＥＳであれば、顔検出枠ＦＤのサイズが“２０”まで縮小したか否かをステップＳ４１で判別する。判別結果がＮＯであれば、ステップＳ４３で顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ４５で顔検出枠を開始位置に配置し、その後にステップＳ２９に戻る。
【００６４】
ステップＳ４１の判別結果がＹＥＳであればステップＳ４７に進み、顔画像に現れた陰影を修正する顔修正処理をＹＵＶ画像エリア３２ｂ上で実行する。この結果、陰影部分と非陰影部分との間における色および／または輝度の相違が抑制される。また、こうして修正された画像データが記録処理の対象となる。
【００６５】
ステップＳ４９では、レジスタＲＧＳＴ１に登録された顔検出枠ＦＤの位置およびサイズを検出し、検出された位置およびサイズに対応する顔枠キャラクタ表示命令をＬＣＤドライバ３６に向けて発行する。ただし、レジスタＲＧＴＳ１に顔枠情報が存在しない場合、顔枠キャラクタ表示命令の発行は中止される。この結果、顔枠キャラクタＫＦ１がスルー画像上にＯＳＤ態様で表示される。ステップＳ４９の処理が完了すると、ステップＳ２１に戻る。
【００６６】
図１６に示すステップＳ３５の照合処理は、図１８に示すサブルーチンに従って実行される。まずステップＳ５１でフラグＦＬＧを“０”に設定し、ステップＳ５３で変数Ｋ，Ｌ，ＭおよびＮを初期化する。変数Ｋ，ＬおよびＮは“１”に設定され、変数Ｍは“００”に設定される。
【００６７】
ステップＳ５５では顔検出枠ＦＤに属する画像データの特徴量を辞書ＤＩＣに収められた顔パターンＦＰ＿Ｋ＿Ｌ＿Ｍ＿Ｎと照合して照合度を算出する。このとき、顔パターンＦＰ＿Ｋ＿Ｌ＿Ｍ＿Ｎに付随する除外エリア情報が参照され、除外エリアに対応する一部の画像データが照合対象から除外される。
【００６８】
ステップＳ５７では、ステップＳ５５で算出された照合度が閾値ＴＨを上回るか否かを判別する。判別結果がＮＯであればそのままステップＳ６３に進み、判別結果がＹＥＳであればステップＳ５９〜Ｓ６１の処理を経てステップＳ６３に進む。
【００６９】
ステップＳ５９では、ステップＳ５５で参照された顔パターンとステップＳ５５で算出された照合度とを、現時点の顔検出枠ＦＤの位置およびサイズとともにレジスタＲＧＳＴ１のＴ番目のカラムに登録する。ステップＳ６１では、レジスタＲＧＳＴ１への登録処理が実行されたことを表明するべく、フラグＦＬＧを“１”に設定する。
【００７０】
ステップＳ６３では変数Ｍが“００”を示すか否かを判別し、ステップＳ６５では変数Ｎが最大値Ｎｍａｘ（＝９）を示すか否かを判別する。ステップＳ６３およびＳ６５のいずれもＮＯであれば、ステップＳ６７で変数Ｎをインクリメントし、その後にステップＳ５５に戻る。
【００７１】
ステップＳ６３およびＳ６５のいずれか一方でＹＥＳであれば、変数Ｍが最大値Ｍｍａｘ（＝１２）を示すか否かをステップＳ６９で判別し、変数Ｌが最大値Ｌｍａｘ（＝３）を示すか否かをステップＳ７３で判別し、そして変数Ｋが最大値Ｋｍａｘ（＝９）を示すか否かをステップＳ７７で判別する。
【００７２】
ステップＳ６９でＮＯであればステップＳ７１に進み、変数Ｎを“１”に設定するとともに変数Ｍをインクリメントする。ステップＳ６９でＹＥＳである一方、ステップＳ７３でＮＯであれば、ステップＳ７５に進み、変数ＮおよびＭをそれぞれ“１”および“００”に設定するとともに、変数Ｌをインクリメントする。
【００７３】
ステップＳ６９およびＳ７３でＹＥＳである一方、ステップＳ７７でＮＯであれば、ステップＳ７９に進み、変数Ｎ，ＭおよびＬをそれぞれ“１”，“００”および“１”に設定し、変数Ｋをインクリメントする。ステップＳ６７，Ｓ７１，Ｓ７５またはＳ７９の処理が完了すると、ステップＳ５５に戻る。
【００７４】
ステップＳ６９，Ｓ７３およびＳ７７でＹＥＳであれば、フラグＦＬＧが“１”を示すか否かをステップＳ８１で判別する。判別結果がＮＯであればそのまま上階層のルーチンに復帰し、判別結果がＹＥＳであればステップＳ８３で変数Ｔをインクリメントしてから上階層のルーチンに復帰する。
【００７５】
図１７に示すステップＳ４７の顔修正処理は、図２０に示すサブルーチンに従って実行される。まず、レジスタＲＧＳＴ１に登録が存在するか否かをステップＳ９１で判別する。判別結果がＮＯであれば上階層のルーチンに復帰し、判別結果がＹＥＳであればステップＳ９３に進む。
【００７６】
ステップＳ９３では変数Ｔを“１”に設定し、ステップＳ９５では顔検出枠ＦＤの位置およびサイズと照合度が最大の顔パターンとをレジスタＲＧＳＴ１のＴ番目のカラムから検出する。ステップＳ９７では、検出された顔パターンに付随する斜光属性情報を参照して、検出された顔パターンが陰影部分を有するか否かを判別する。判別結果がＮＯであればそのままステップＳ１０５に進む一方、判別結果がＹＥＳであればステップＳ９９〜Ｓ１０３の処理を経てステップＳ１０５に進む。
【００７７】
ステップＳ９９では、上述の斜光属性情報を参照して光源の種類および強さを検出する。ステップＳ１０１では、ステップＳ９５で検出された顔検出枠の位置およびサイズを参照してＹＵＶ画像エリア３２ｂから顔画像を特定し、特定された顔画像の陰影部分を上述の斜光属性情報を参照して特定し、そして特定された陰影部分の色および／または輝度をステップＳ９９で検出された光源の種類および強さを参照して修正する。ステップＳ１０３では、ステップＳ１０１で特定された顔画像に美肌処理を施す。
【００７８】
ステップＳ１０５では、変数Ｔが最大値Ｔｍａｘ（＝レジスタＲＧＳＴ１に登録された顔検出枠ＦＤの総数）を示すか否かを判別する。判別結果がＮＯであればステップＳ１０７で変数ＴをインクリメントしてからステップＳ９５に戻り、判別結果がＹＥＳであれば上階層のルーチンに復帰する。
【００７９】
以上の説明から分かるように、ＣＰＵ２６は、互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の顔パターンの各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する(S53~S55, S63~S81)。ＣＰＵ２６は続いて、検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する顔パターンを特定し(S57~S61, S83~S85, S93~S95, S105~S107)、Ｐ個の照合度の検出のために注目された部分画像の明るさを特定された顔パターンの斜光属性を参照して修正する(S97~S103)。
【００８０】
このように、Ｐ個の照合度は、互いに異なる斜光属性を有するＰ個の顔パターンの各々と部分画像とを照合することで検出される。また、部分画像の明るさは、既定条件を満足する照合度に対応する顔パターンの斜光属性を参照して修正される。これによって、被写界像の品質を改善することができる。
【００８１】
他の実施例のディジタルカメラ１０は、図２１〜図２３に示す複数の顔パターンＦＰ＿Ｋ＿Ｌ（Ｋ：１〜９，Ｌ：１〜３）が辞書ＤＩＣに収められ、図１６〜図２０に示す顔検出タスクに代えて図２４〜図２８に示す顔検出タスクが実行され、レジスタＲＧＳＴ１が図２９に示すように構成される点を除き、図３実施例と同様であるため、同様の部分に関する重複した説明は省略する。
【００８２】
図２１〜図２３を参照して、紙面に直交する軸に沿う方向に対する顔の向きは、変数Ｋの値に応じて異なる。紙面に直交する軸回り方向における顔の傾きは、変数Ｌの値に応じて異なる。各々の顔パターンには、除外エリア情報が付加される。除外エリア情報は、顔検出枠ＦＤに属する画像データのうち照合対象から除外される一部の画像データの位置ないし形状をパラメータとして有する。
【００８３】
図２８に示すレジスタＲＧＳＴ１は、顔枠情報を登録するためのレジスタである。各カラムには、検出された顔画像の位置およびサイズ（具体的には、顔画像が検出された時点の顔検出枠ＦＤの位置およびサイズ）が記述される。
【００８４】
図２４〜図２８に示す顔検出タスクにおいて、ステップＳ１１１〜Ｓ１２１，Ｓ１２７〜Ｓ１３５およびＳ１３７の処理は、図１６〜図１７に示すステップＳ２１〜Ｓ３１，Ｓ３７〜Ｓ４５およびＳ４９の処理と同様である。図１７に示すステップＳ４７に相当する処理は、ここでは省略される。ステップＳ１２３では、顔検出枠ＦＤに属する画像データから陰影を探索しかつ発見された陰影を修正する陰影探索／修正処理を実行する。ステップＳ１２５では、算出された特徴量を辞書ＤＩＣに収められた顔パターンＦＰ＿Ｋ＿Ｌの各々と照合する照合処理を実行する。
【００８５】
図２４に示すステップＳ１２３の陰影探索／修正処理は、図２６に示すサブルーチンに従って実行される。まずステップＳ１４１で肌色画像エリアから陰影部分を探索する。具体的には、肌色画像エリア上の複数の位置で輝度を検出し、検出された輝度が急峻に変化する境界線を特定し、そして特定された境界線よりも低輝度側の部分を陰影部分として定義する。
【００８６】
ステップＳ１４３では陰影部分が発見されたか否かを判別し、判別結果がＮＯであればそのまま上階層のルーチンに復帰する一方、判別結果がＹＥＳであればステップＳ１４５〜Ｓ１４９の処理を経て上階層のルーチンに復帰する。
【００８７】
ステップＳ１４５では、肌色画像エリアを形成する非陰影部分の色および／または輝度を検出する。ステップＳ１４７では、ステップＳ１４５で検出された色および／または輝度を参照して、肌色画像エリアを形成する陰影部分の色および／または輝度を修正する。この結果、陰影部分と非陰影部分との間での色および／または輝度の相違が抑制される。ステップＳ１４７の処理が完了すると、ステップＳ１４９で肌色画像エリアに美肌処理を施す。
【００８８】
したがって、図３０の左側に示す被写界像が捉えられた場合、人物ＨＭ２の顔画像に現れた陰影部分の色および／輝度は、図３０の右側に示すように、顔画像の非陰影部分の色および／または輝度に近づく。
【００８９】
図２４に示すステップＳ１２５の照合処理は、図２７〜図２８に示すサブルーチンに従って実行される。ただし、ステップＳ１５１，Ｓ１５７，Ｓ１６１，Ｓ１７３およびＳ１７５の処理は、図１８〜図１９に示すステップＳ５１，Ｓ５７，Ｓ６１，Ｓ８１およびＳ８３の処理と同様である。
【００９０】
ステップＳ１５３では変数ＫおよびＮを“１”に設定し、ステップＳ１５５では顔検出枠ＦＤに属する画像データの特徴量を辞書ＤＩＣに収められた顔パターンＦＰ＿Ｋ＿Ｌと照合して照合度を算出する。このとき、顔パターンＦＰ＿Ｋ＿Ｌに付随する除外エリア情報が参照され、除外エリアに対応する一部の画像データが照合対象から除外される。ステップＳ１５９では、現時点の顔検出枠ＦＤの位置およびサイズをレジスタＲＧＳＴ１のＴ番目のカラムに登録する。
【００９１】
ステップＳ１６３では変数Ｌが最大値Ｌｍａｘ（＝３）を示すか否かを判別し、ステップＳ１６７では変数Ｋが最大値Ｋｍａｘ（＝９）を示すか否かを判別する。ステップＳ１６３でＮＯであれば、ステップＳ１６５で変数Ｌをインクリメントする。ステップＳ１６３でＹＥＳである一方、ステップＳ１６７でＮＯであれば、ステップＳ１６９に進み、変数Ｌを“１”に設定するとともに、変数Ｋをインクリメントする。ステップＳ１６５またはＳ１６９の処理が完了すると、ステップＳ１５５に戻る。ステップＳ１６３およびＳ１６７のいずれもＹＥＳであれば、ステップＳ１７３に進む。
【００９２】
以上の説明から分かるように、イメージャ１６は、被写界を捉える撮像面を有して被写界像を生成する。ＣＰＵ２６は、イメージャ１６によって生成された被写界像から陰影部分を有する肌色画像を探索し(S119~S121, S141~S143)、発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する(S145)。ＣＰＵ２６はまた、発見された肌色画像を形成する陰影部分の色および／または輝度を、非陰影部分の色および／または輝度を参照して修正する(S147~S149)。修正処理が完了すると、ＣＰＵ２６は、複数の顔パターンの各々と修正された肌色画像とを照合し(S125)、照合手段の照合結果を参照して撮像条件を調整する(S7, S9)。
【００９３】
このように、肌色画像を形成する陰性部分の色および／または輝度は人物の顔を表す複数の登録画像の各々と肌色画像との照合処理に先立って修正され、撮像条件は照合処理の結果を参照して調整される。これによって、被写界像の品質を改善することができる。
【００９４】
なお、これらの実施例では、陰影部分と非陰影部分との間の色および／または輝度の相違を抑制するために、陰影部分の色および／または輝度を修正するようにしているが、陰影部分の色および／または輝度に代えて或いは陰影部分の色および／または輝度とともに、非陰影部分の色および／または輝度を修正するようにしてもよい。
【００９５】
また、これらの実施例では、顔画像の色および／または輝度を修正するようにしているが、顔画像の色および／または輝度だけでなく、その周辺の画像の色および／または輝度も修正するようにしてもよい。
【００９６】
さらに、これらの実施例では、静止画像を記録するいわゆるディジタルスチルカメラを想定しているが、この発明は動画像を記録するディジタルビデオカメラにも適用できる。
【符号の説明】
【００９７】
１０ …ディジタルカメラ
１６ …イメージャ
２２ …ＡＥ／ＡＷＢ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
４４ …フラッシュメモリ
【特許請求の範囲】
【請求項１】
互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出手段、
前記検出手段によって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定手段、および
前記検出手段によって注目された部分画像の明るさを前記特定手段によって特定された登録物体像の斜光属性を参照して修正する修正手段を備える、画像処理装置。
【請求項２】
前記検出手段によって注目される部分画像の位置および／またはサイズを前記被写界像上で繰り返し変更する変更手段をさらに備える、請求項１記載の画像処理装置。
【請求項３】
前記Ｎ個の斜光属性は光源の種類および／または強さを示す光源情報と陰影の位置および／または形状を示す陰影情報とを含み、
前記修正手段は、前記部分画像に現れた陰影を前記陰影情報に基づいて検出する陰影検出手段、および前記陰影検出手段によって検出された陰影の明るさを前記光源情報に基づいて修正する陰影修正手段を含む、請求項１または２記載の画像処理装置。
【請求項４】
前記登録物体像は人物の顔画像に相当し、
前記修正手段は前記陰性修正手段の修正処理の後に前記顔画像に美肌処理を施す美肌処理手段をさらに含む、請求項３記載の画像処理装置。
【請求項５】
被写界を捉える撮像面を有して前記被写界像を出力する撮像手段、および
前記特定手段の特定処理に関連して定義された部分画像に注目して撮像条件を調整する調整手段をさらに備える、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記Ｐ個の登録物体像はそれぞれＰ個の除外エリアを有し、
前記検出手段は前記除外エリアに対応する一部の画像を前記部分画像から除外して照合処理を実行する、請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
画像処理装置のプロセッサに、
互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出ステップ、
前記検出ステップによって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定ステップ、および
前記検出ステップによって注目された部分画像の明るさを前記特定ステップによって特定された登録物体像の斜光属性を参照して修正する修正ステップを実行させるための、画像処理プログラム。
【請求項８】
画像処理装置によって実行される画像処理方法であって、
互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出ステップ、
前記検出ステップによって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定ステップ、および
前記検出ステップによって注目された部分画像の明るさを前記特定ステップによって特定された登録物体像の斜光属性を参照して修正する修正ステップを備える、画像処理方法。
【請求項９】
被写界を捉える撮像面を有して被写界像を生成する撮像手段、
前記撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索手段、
前記探索手段によって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出手段、
前記探索手段によって発見された肌色画像を形成する陰影部分の色および／または輝度を前記検出手段の検出結果を参照して修正する修正手段、
人物の顔を表す複数の登録画像の各々と前記修正手段によって修正された肌色画像とを照合する照合手段、および
前記照合手段の照合結果を参照して撮像条件を調整する調整手段を備える、電子カメラ。
【請求項１０】
前記修正手段によって修正された肌色画像に美肌処理を施す美肌処理手段をさらに備え、
前記照合手段は前記美肌処理の後に照合処理を実行する、請求項９記載の電子カメラ。
【請求項１１】
前記探索手段は、前記被写界像から肌色画像を探索する肌色画像探索手段、および前記肌色画像探索手段によって発見された肌色画像から陰影部分を探索する陰影探索手段を含む、請求項９または１０記載の電子カメラ。
【請求項１２】
前記修正手段は前記肌色画像を形成する陰影部分および非陰影部分の間の色および／または色の相違が抑制されるように修正処理を実行する、請求項９ないし１１のいずれかに記載の電子カメラ。
【請求項１３】
前記調整手段は前記複数の登録画像の少なくとも１つと符合する肌色画像に注目して調整処理を実行する、請求項９ないし１２のいずれかに記載の電子カメラ。
【請求項１４】
被写界を捉える撮像面を有して被写界像を生成する撮像手段を備える電子カメラのプロセッサに、
前記撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索ステップ、
前記探索ステップによって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出ステップ、
前記探索ステップによって発見された肌色画像を形成する陰影部分の色および／または輝度を前記検出ステップの検出結果を参照して修正する修正ステップ、
人物の顔を表す複数の登録画像の各々と前記修正ステップによって修正された肌色画像とを照合する照合ステップ、および
前記照合ステップの照合結果を参照して撮像条件を調整する調整ステップを実行させるための、撮像制御プログラム。
【請求項１５】
被写界を捉える撮像面を有して被写界像を生成する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
前記撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索ステップ、
前記探索ステップによって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出ステップ、
前記探索ステップによって発見された肌色画像を形成する陰影部分の色および／または輝度を前記検出ステップの検出結果を参照して修正する修正ステップ、
人物の顔を表す複数の登録画像の各々と前記修正ステップによって修正された肌色画像とを照合する照合ステップ、および
前記照合ステップの照合結果を参照して撮像条件を調整する調整ステップを備える、撮像制御方法。
【請求項１】
互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出手段、
前記検出手段によって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定手段、および
前記検出手段によって注目された部分画像の明るさを前記特定手段によって特定された登録物体像の斜光属性を参照して修正する修正手段を備える、画像処理装置。
【請求項２】
前記検出手段によって注目される部分画像の位置および／またはサイズを前記被写界像上で繰り返し変更する変更手段をさらに備える、請求項１記載の画像処理装置。
【請求項３】
前記Ｎ個の斜光属性は光源の種類および／または強さを示す光源情報と陰影の位置および／または形状を示す陰影情報とを含み、
前記修正手段は、前記部分画像に現れた陰影を前記陰影情報に基づいて検出する陰影検出手段、および前記陰影検出手段によって検出された陰影の明るさを前記光源情報に基づいて修正する陰影修正手段を含む、請求項１または２記載の画像処理装置。
【請求項４】
前記登録物体像は人物の顔画像に相当し、
前記修正手段は前記陰性修正手段の修正処理の後に前記顔画像に美肌処理を施す美肌処理手段をさらに含む、請求項３記載の画像処理装置。
【請求項５】
被写界を捉える撮像面を有して前記被写界像を出力する撮像手段、および
前記特定手段の特定処理に関連して定義された部分画像に注目して撮像条件を調整する調整手段をさらに備える、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記Ｐ個の登録物体像はそれぞれＰ個の除外エリアを有し、
前記検出手段は前記除外エリアに対応する一部の画像を前記部分画像から除外して照合処理を実行する、請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
画像処理装置のプロセッサに、
互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出ステップ、
前記検出ステップによって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定ステップ、および
前記検出ステップによって注目された部分画像の明るさを前記特定ステップによって特定された登録物体像の斜光属性を参照して修正する修正ステップを実行させるための、画像処理プログラム。
【請求項８】
画像処理装置によって実行される画像処理方法であって、
互いに異なるＰ個（Ｐ：２以上の整数）の斜光属性をそれぞれ有するＰ個の登録物体像の各々と被写界像を形成する部分画像とを照合してＰ個の照合度を検出する検出ステップ、
前記検出ステップによって検出されたＰ個の照合度のうち既定条件を満足する照合度に対応する登録物体像を特定する特定ステップ、および
前記検出ステップによって注目された部分画像の明るさを前記特定ステップによって特定された登録物体像の斜光属性を参照して修正する修正ステップを備える、画像処理方法。
【請求項９】
被写界を捉える撮像面を有して被写界像を生成する撮像手段、
前記撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索手段、
前記探索手段によって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出手段、
前記探索手段によって発見された肌色画像を形成する陰影部分の色および／または輝度を前記検出手段の検出結果を参照して修正する修正手段、
人物の顔を表す複数の登録画像の各々と前記修正手段によって修正された肌色画像とを照合する照合手段、および
前記照合手段の照合結果を参照して撮像条件を調整する調整手段を備える、電子カメラ。
【請求項１０】
前記修正手段によって修正された肌色画像に美肌処理を施す美肌処理手段をさらに備え、
前記照合手段は前記美肌処理の後に照合処理を実行する、請求項９記載の電子カメラ。
【請求項１１】
前記探索手段は、前記被写界像から肌色画像を探索する肌色画像探索手段、および前記肌色画像探索手段によって発見された肌色画像から陰影部分を探索する陰影探索手段を含む、請求項９または１０記載の電子カメラ。
【請求項１２】
前記修正手段は前記肌色画像を形成する陰影部分および非陰影部分の間の色および／または色の相違が抑制されるように修正処理を実行する、請求項９ないし１１のいずれかに記載の電子カメラ。
【請求項１３】
前記調整手段は前記複数の登録画像の少なくとも１つと符合する肌色画像に注目して調整処理を実行する、請求項９ないし１２のいずれかに記載の電子カメラ。
【請求項１４】
被写界を捉える撮像面を有して被写界像を生成する撮像手段を備える電子カメラのプロセッサに、
前記撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索ステップ、
前記探索ステップによって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出ステップ、
前記探索ステップによって発見された肌色画像を形成する陰影部分の色および／または輝度を前記検出ステップの検出結果を参照して修正する修正ステップ、
人物の顔を表す複数の登録画像の各々と前記修正ステップによって修正された肌色画像とを照合する照合ステップ、および
前記照合ステップの照合結果を参照して撮像条件を調整する調整ステップを実行させるための、撮像制御プログラム。
【請求項１５】
被写界を捉える撮像面を有して被写界像を生成する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
前記撮像手段によって生成された被写界像から陰影部分を有する肌色画像を探索する探索ステップ、
前記探索ステップによって発見された肌色画像を形成する非陰影部分の色および／または輝度を検出する検出ステップ、
前記探索ステップによって発見された肌色画像を形成する陰影部分の色および／または輝度を前記検出ステップの検出結果を参照して修正する修正ステップ、
人物の顔を表す複数の登録画像の各々と前記修正ステップによって修正された肌色画像とを照合する照合ステップ、および
前記照合ステップの照合結果を参照して撮像条件を調整する調整ステップを備える、撮像制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１１−７８０４１（Ｐ２０１１−７８０４１Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２３０１０２（Ｐ２００９−２３０１０２）
【出願日】平成２１年１０月２日（２００９．１０．２）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年１０月２日（２００９．１０．２）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]