画像処理装置及び方法、及び撮像装置
【課題】 顔検出結果に応じて、より安定したホワイトバランス補正を行うこと。
【解決手段】画像の画像信号を処理する画像処理装置であって、画像から白画素の検出を行うことにより第１のホワイトバランス補正値を算出する第１の算出手段（１０３）と、顔領域を検出する顔検出部（１１４）と、顔領域の画像信号を第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、肌色を表す第１の色信号領域の周辺の第２の色信号領域にあるか否かを判定する判定手段（１０３）と、第２の色信号領域にある場合、補正された顔領域の画像信号と第１の色信号領域との関係に基づき、当該画像信号が第１の色信号領域の方向に移動するように補正した第２のホワイトバランス補正値を算出し、第２の色信号領域にない場合、第２のホワイトバランス補正値の算出を行わない第２の算出手段（１０３）と、ホワイトバランス補正手段（１０３）とを有する。
【解決手段】画像の画像信号を処理する画像処理装置であって、画像から白画素の検出を行うことにより第１のホワイトバランス補正値を算出する第１の算出手段（１０３）と、顔領域を検出する顔検出部（１１４）と、顔領域の画像信号を第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、肌色を表す第１の色信号領域の周辺の第２の色信号領域にあるか否かを判定する判定手段（１０３）と、第２の色信号領域にある場合、補正された顔領域の画像信号と第１の色信号領域との関係に基づき、当該画像信号が第１の色信号領域の方向に移動するように補正した第２のホワイトバランス補正値を算出し、第２の色信号領域にない場合、第２のホワイトバランス補正値の算出を行わない第２の算出手段（１０３）と、ホワイトバランス補正手段（１０３）とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び方法、及び撮像装置に関し、更に詳しくは、顔検出結果を用いて画像処理を行う画像処理装置及び方法、及び撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等に用いられている従来のホワイトバランスゲイン算出回路の動作を説明する。まず図８に示すように、予め画面を、複数画素ずつ任意の複数のブロック（ｍ個）に分割する。そして、各ブロック（１〜ｍ）毎に、画素値を各色毎に加算平均して色平均値（R[i]、G[i]、B[i]）を算出する。そして、例えば以下の式（１）を用いて色評価値（Cx[i]、Cy[i]）を算出する。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i]/ Y[i] × 1024 …（１）
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号
【０００３】
そして、予め様々な光源下で白色被写体を撮影し、色評価値を算出する。これにより、予め設定された図９に示すような白検出範囲３０１に、各ブロック毎に算出された色評価値が含まれる場合、そのブロックは白であると判定する。そして、同様にして白と判定されたブロックの画素値を積分する。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたもので、図９におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧ成分が大きくなり、つまり光源が蛍光灯であることを示している。
【０００４】
そして、積分された画素値（sumR、sumG、sumB）より、以下の式（２）を用いてホワイトバランス係数（WBCo_R、WBCo_G、WBCo_B）を算出する。
WBCo_R = sumY × 1024 / sumR
WBCo_G = sumY × 1024 / sumG …（２）
WBCo_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4
【０００５】
しかし、従来のホワイトバランス係数算出方法では、以下のような問題があった。即ち、太陽光のような光源下において、白の色評価値は図９の領域Ａ付近に分布し、肌色の分布は領域Ｂ付近に分布する。太陽光源下における肌色の色評価値は低色光源下における白点の色評価値とほぼ同等の領域に分布する。従って、画角に白色が少なくかつ、図１０のように人がアップで撮影された場合、画面の色評価値は図９の領域Ｂに分布するため、肌色を低色温度下の白色と誤判別し、人の肌を白色に補正してしまうという問題があった。また、人の肌を示す領域付近に分布する有彩色が画角一面にあるときは、その有彩色を白と誤判別して肌を白色に補正してしまう場合もあった。
【０００６】
この問題に対する従来の対処法として被写体照度が明るい場合は外光と判断して、白検出範囲を狭めて肌色を白と誤判別しないような工夫を行っていた。
【０００７】
しかし、一般の蛍光灯類には、白色が領域Ｃ付近となる光源や領域Ｃより下方にも分布する光源も存在し、そういった光源に対応するためには、白検出範囲を拡大しなければならない。だが、低照度の高色温度蛍光灯や中色温度蛍光灯類での肌色分布は黒体放射軸の下方向（領域Ｃ）付近に分布するケースがあり、白検出範囲を拡大することで肌色を白と誤判別してしまい、肌色が褪色するようなケースがあった。
【０００８】
そこで、特許文献１記載の方法では、顔検出を行い、顔が検出された場合は顔の肌色を抽出し、基準の肌と比較しその結果を基にホワイトバランス補正を行うという提案がなされている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第６９７５７５９号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した従来のホワイトバランス補正値算出方法においては、顔検出回路において顔を誤認識した場合が考慮されていない。そのため顔検出回路において顔ではない領域を顔と誤検出した場合にも、その顔ではない領域を適正な肌色にするように動作するため、結果として所望なホワイトバランス補正値を得ることができないことがあるという欠点があった。
【００１１】
また、処理速度等の撮像装置のパフォーマンスによっては、撮影時に顔検出ができない場合がある。そのような撮像装置において、撮影準備段階で顔が検出されていても、撮影時に被写体の位置がずれてしまうようなケースが生じることがあるが、そのような場合についても考慮されていない。つまり撮影準備時に正しく顔を検出した場合であっても、結果としてホワイトバランス補正精度が低くなることがあるという欠点があった。図１１はＳＷ１までに顔検出を行い、ＳＷ２（本撮影）直前で被写体の位置がずれた場合を示した例である。ＳＷ１直前に得られた顔検出結果を利用することにより、ＳＷ２時（本撮影時）に正しい顔色評価値を取得できなくなり、ホワイトバランス補正精度が低くなってしまう。
【課題を解決するための手段】
【００１２】
本発明は上記問題点を鑑みてなされたものであり、撮像を行って得られた画像の画像信号を処理する本発明の画像処理装置は、前記画像から白画素の検出を行うことにより第１のホワイトバランス補正値を算出する第１の算出手段と、前記画像から顔領域を検出する顔検出手段と、前記顔検出手段により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が、肌色を表す第１の色信号領域の周辺の第２の色信号領域にあるか否かを判定する判定手段と、前記判定手段により前記第２の色信号領域にあると判定された場合、前記補正された顔領域の画像信号と前記第１の色信号領域との関係に基づき、前記補正された顔領域の画像信号が前記第１の色信号領域の方向に移動するように前記画像の画像信号を補正した第２のホワイトバランス補正値を算出し、前記判定手段により前記第２の色信号領域にないと判定された場合、前記第２のホワイトバランス補正値の算出を行わない第２の算出手段と、前記第１または前記第２のホワイトバランス補正値を用いて、撮像を行って得られた画像の画像信号にホワイトバランス補正を行うホワイトバランス補正手段と、を有する。
【００１３】
また、撮像を行って得られた画像の画像信号を処理する本発明の画像処理方法は、第１の算出手段が、前記画像から白画素の検出を行うことにより第１のホワイトバランス補正値を算出する第１の算出工程と、顔検出手段が、前記画像から顔領域を検出する顔検出工程と、判定手段が、前記顔検出工程により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が肌色を表す第１の色信号領域の周辺の第２の色信号領域にあるか否かを判定する判定工程と、第２の算出手段が、前記判定工程により前記第２の色信号領域にあると判定された場合、前記補正された顔領域の画像信号と前記第１の色信号領域との関係に基づき、前記補正された顔領域の画像信号が前記第１の色信号領域の方向に移動するように前記画像の画像信号を補正した第２のホワイトバランス補正値を算出し、前記判定手段により前記第２の色信号領域にないと判定された場合、前記第２のホワイトバランス補正値の算出を行わない第２の算出工程と、前記第１または前記第２のホワイトバランス補正値を用いて、撮像を行って得られた画像の画像信号にホワイトバランス補正を行うホワイトバランス補正工程と、を有する。
【００１４】
また、本発明の撮像装置は、撮像して得られた画像の画像信号を出力する撮像手段と、上記画像処理装置とを含む。
【発明の効果】
【００１５】
本発明によれば、顔検出結果に応じて、より安定したホワイトバランス補正を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。
【図２】テンプレートマッチングによるパターン認識処理を説明するフローチャートである。
【図３】テンプレートマッチングの概念を説明する図である。
【図４】本発明の実施の形態におけるＷＢ補正値の算出方法を示すフローチャートである。
【図５】本発明の実施の形態における第１のＷＢ補正値の算出処理を示すフローチャートである。
【図６】本発明の実施の形態における肌色補正の判断方法を説明する図である。
【図７】本発明の実施の形態における第２のＷＢ補正値算出の概念図である。
【図８】画面を任意の複数ブロックに分割した例を示す図である。
【図９】白検出範囲を示す図である。
【図１０】被写体として顔のアップを撮影した例を示す図である。
【図１１】従来のホワイトバランス補正方法で起こる問題の一例を説明した図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１８】
図１は、画像処理装置の一例として、本発明の実施の形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。
【００１９】
図１において、１０１はＣＣＤやＣＭＯＳ等から成る固体撮像素子であり、その表面は、例えばベイヤー配列のＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。１０２はメモリで、撮像素子１０１から得られた画像信号を一旦記憶する。
【００２０】
１１４は顔検出部であり、メモリ１０２に記憶された画像信号から、顔領域を検出する。なお、顔領域を検出する技術としては様々な手法が提案されており、顔の位置およびサイズ情報を取得できればどのような手法を用いてもよく、本願発明は、顔検出の手法により制限されるものではない。例えば、ニュートラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる（例えば、特開平１０−２３２９３４号公報、特開２０００−４８１８４号公報を参照）。他に、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔検出する方法等や、テンプレートマッチング等を組み合わせた方法などがある。
【００２１】
ここで、顔検出の手法として、パターン認識の一つであるテンプレートマッチングについて説明する。パターン認識とは、観測されたパターンをあらかじめ定められた概念（クラス）の一つに対応させる処理である。図２は、パターン認識処理のフローチャートであり、顔検出部１１４によって実行される。
【００２２】
先ず、メモリ１０２から画像データを読み出して前処理し（ステップＳ１）、前処理された画像データから特徴的部分のパターンを抽出する（ステップＳ２）。そして、抽出されたパターンをテンプレート（標準パターン）に対応させる（テンプレートマッチング）。例えば、図３に示すように特徴的部分のパターン６３が抽出された場合、テンプレート６１の中心点６２を取得したパターン６３のある座標点（ｉ，ｊ）に置く。そして、中心点６２のパターン６３における位置をずらしながら、テンプレート６１とパターン６３との重なり部分の類似度を計算して行き、類似度が最大になる位置を決定する。パターン６３を例えば目や耳等の形状を含むテンプレート６１にマッチングさせることにより、目の位置情報や顔領域（顔座標）を取得することができる。
【００２３】
このようにして、認識パターンを取得して（ステップＳ３）、取得した認識パターンを出力し（ステップＳ４）、パターン認識処理を終了する。
【００２４】
図１の説明に戻る。ＣＰＵ１１５では、顔検出部１１４から送られた信号に基づいて、顔が検出されていれば、顔が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算し、また顔に合焦するようにフォーカスレンズの駆動量を計算する。一方、顔が検出されていなければ、ＣＰＵ１１５は画像全体が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算すると共に、予め設定された合焦領域内にある被写体に合焦するようなフォーカスレンズの駆動量を計算する。ＣＰＵ１１５で計算された露出値（Ｔｖ、Ａｖ）及びフォーカスレンズの駆動量は制御回路１１３に送られ、各値に基づいて不図示のレンズや絞り、シャッター、撮像素子１０１がそれぞれ制御される。
【００２５】
１０３はホワイトバランス（ＷＢ）制御部であり、メモリ１０２に記憶された画像信号及び顔検出部１１４から得られる顔情報に基づいてＷＢ補正値を算出する。そして、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像信号に対してホワイトバランス補正（ＷＢ補正）を行う。即ち、ＷＢ制御部１０３は、ホワイトバランス補正手段と、第１の算出手段及び第２の算出手段とに対応する。なお、このＷＢ制御部１０３で用いられるＷＢ補正値の算出方法については、詳細に後述する。
【００２６】
１０４は、ＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色変換マトリックス（ＭＴＸ）回路である。１０５は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路、１０６はＬＰＦ回路１０５で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するＣＳＵＰ（Chroma Supress）回路である。
【００２７】
一方、ＷＢ制御部１０３によりＷＢ補正された画像信号は輝度信号（Ｙ）生成回路１１１にも出力されて輝度信号Ｙが生成され、生成された輝度信号Ｙに対してエッジ強調回路１１２にてエッジ強調処理が施される。
【００２８】
ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号Ｙは、ＲＧＢ変換回路１０７にてＲＧＢ信号に変換され、ガンマ補正回路１０８にて階調補正が施される。その後、色輝度変換回路１０９にてＹＵＶ信号に変換され、更に圧縮回路１１０にて例えばＪＰＥＧ圧縮されて、外部記録媒体または内部記録媒体に画像信号として記録される。
【００２９】
次に、本実施の形態におけるＷＢ補正値の算出方法について図４を参照して説明する。本実施の形態におけるＷＢ補正値の算出方法は、顔検出結果に応じて顔領域が最適となるようなＷＢ補正値を得ることができるようにするものである。なお、顔検出処理は図４に示す処理が行われる直前に、得られた画像信号に基づいて、例えば図２及び図３を参照して上述した方法により顔検出部１１４により行われ、顔検出結果がすでに得られているものとする。また、ここで行われるＷＢ補正値の算出は、ＣＰＵ１１５が行うように構成しても、ＷＢ制御部１０３が行うように構成しても、更には、ＷＢ補正値算出用の専用の構成を追加するようにしても、何れでも構わない。
【００３０】
先ず、ステップＳ１１において、メモリ１０２に記憶された画像信号から白画素の検出を行って第１のホワイトバランス補正値（第１のＷＢ補正値）を算出する。ここで、第１のＷＢ補正値の算出方法について、図５を参照して詳しく説明する。
【００３１】
まず、メモリ１０２に記憶された画像信号を読み出し、その画面を図８のような任意のm個のブロックに分割する（ステップＳ１０１）。そして、各ブロック（１〜ｍ）毎に、画素値を各色毎に加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、式（１）を用いて色評価値（Cx[i]、Cy[i]）を算出する（ステップＳ１０２）。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i]/ Y[i] × 1024 …（１）
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号
【００３２】
次に、ステップＳ１０２で算出したｉ番目のブロックの色評価値（Cx[i]、Cy[i]）が、図９に示す予め設定した白検出範囲３０１に含まれるかどうかを判断する（ステップＳ１０３）。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。図９におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧ成分が大きくなり、つまり光源が蛍光灯であることを示している。
【００３３】
算出した色評価値（Cx[i]、Cy[i]）がこの白検出範囲３０１に含まれる場合には（ステップＳ１０３でＹＥＳ）そのブロックが白色であると判断する。そして、そのブロックの色平均値（R[i]、G[i]、B[i]）を積算していき（ステップＳ１０４）、含まれない場合には加算せずにステップＳ１０５に進む。このステップＳ１０３及びステップＳ１０４の処理は、式（３）により表すことができる。
【００３４】
【００３５】
ここで、式（３）において、色評価値（Cx[i]、Cy[i]）が白検出範囲３０１に含まれる場合はSw[i]を１に、含まれない場合にはSw[i]を０とする。このようにして、ステップＳ１０３の判断により色平均値（R[i]、G[i]、B[i]）の加算を行うか、行わないかの処理を実質的に行っている。
ステップＳ１０５では、全てのブロックについて上記処理を行ったかどうかを判断し、未処理のブロックがあればステップＳ１０２に戻って上記処理を繰り返し、全てのブロックの処理が終了していればステップＳ１０６に進む。
【００３６】
ステップＳ１０６では、得られた色評価値の積分値（sumR、sumG、sumB）から、以下の式（４）を用いて、第１のＷＢ補正値（WBCo1_R、WBCo1_Ｇ、WBCo1_Ｂ）を算出する。
WBCo1_R = sumY × 1024 / sumR
WBCo1_G = sumY × 1024 / sumG …（４）
WBCo1_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4
【００３７】
上述したようにして第１のＷＢ補正値を算出すると、ステップＳ１２において顔が検出されているかどうかを判断する。顔が検出されていなければ、ステップＳ１１で算出した第１のＷＢ補正値をＷＢ制御部１０３でＷＢ処理に使用するＷＢ補正値と決定して（ステップＳ２０）、処理を終了する。
【００３８】
顔が検出されていれば、ステップＳ１３において顔領域のブロックを取得し、そのブロックの内の１つのブロックについて、第１のＷＢ補正値を算出するためにステップＳ１０２で求めた色平均値（R[i]、G[i]、B[i]）を取得する（ステップＳ１４）。
【００３９】
次に、ステップＳ１４で取得した色平均値にステップＳ１１で求めた第１のＷＢ補正値をそれぞれ乗じて、肌色平均値（顔領域の色平均値を第１のＷＢ補正値によりＷＢ補正した値、補正画像信号）を求める。そして、この肌色平均値が肌色領域（図６の領域（Ａ））、肌色補正対象領域（図６の領域（Ｂ））、肌色補正対象外領域（図６の領域（Ｃ））のいずれにあるのかを判定する（ステップＳ１５）。なお、肌色領域（Ａ）は第１の色信号領域に対応し、肌色補正対象領域（Ｂ）は、第１の色信号領域の周辺領域である第２の色信号領域に対応する。図６の肌色領域（Ａ）内（第１の色信号領域内）もしくは肌色補正対象領域（Ｂ）内（第２の色信号領域内）にある場合、肌色平均値をそれまでに算出された肌色平均値の合計に加算する（ステップＳ１６）。また、肌色補正対象外領域（Ｃ）にあれば、そのブロックの肌色平均値は加算せずに、そのままステップＳ１７に進む。なお、図６に示す肌色領域（Ａ）及び肌色補正対象領域（Ｂ）は、例えば、太陽光などの白色光下で予め肌色を複数撮影し、統計的な手法を用いて設定することができる。
【００４０】
例えば、顔を誤検出した場合（図６（ｂ）に示すような場合）や被写体が完全にずれた場合には、ブロックの肌評価値が図６の肌色補正対象外領域（Ｃ）に分布する場合が多い。顔領域がずれた場合（図６（ｃ）に示すような場合）は顔領域の肌評価値は図６の肌色領域（Ａ）または肌色補正対象領域（Ｂ）に分布することが多い。このように、肌色領域（Ａ）及び肌色補正対象領域（Ｂ）にあるブロックのみを抽出して、ＷＢ演算処理に反映させる。なお、ステップＳ１５の判断により肌色補正対象外領域（Ｃ）にある肌色評価値を除外するのではなく、重み付けによる加重加算を行ってもよい。その際には、肌色補正対象外領域（Ｃ）にある肌色評価値にかける重みを、肌色領域（Ａ）及び肌色補正対象領域（Ｂ）にある肌色評価値にかける重みに対して低く設定しておく。
【００４１】
上述した処理を取得したブロック数分（ステップＳ１７でＹＥＳとなるまで）行ってから、ステップＳ１８に進む。ステップＳ１８では、ステップＳ１６で加算して得られた肌色平均値の合計（合計画像信号）が肌色補正対象領域（Ｂ）内にあるかどうかを判断する。
【００４２】
図６の肌色領域（Ａ）に入っている場合は（ステップＳ１８でＮＯ）、第１のＷＢ補正値により肌色が適正にＷＢ補正されたと判断できるため、第１のＷＢ補正値を使用すると決定する（ステップＳ２０）。肌色補正対象領域（Ｂ）内にある場合は（ステップＳ１８でＹＥＳ）、第１のＷＢ補正値により補正された肌色が適正にＷＢ補正されなかったと判断できる。従って、肌色領域方向に移動するような第２のホワイトバランス補正値（第２のＷＢ補正値）を算出する（ステップＳ１９）。また、肌色補正対象領域外（Ｃ）にある場合は（ステップＳ１８でＮＯ）、検出された肌色評価値が人の肌を表していないと判断し、第１のＷＢ補正値を使用する（ステップＳ２０）。
【００４３】
図７にステップＳ１９で行う第２のＷＢ補正値算出の概念を示す。図７は、ある光源下において肌色が白色と誤認識され、第１のＷＢ補正値が算出された場合を想定している。第１のＷＢ補正値が適正なＷＢ補正値より低色温度方向に位置しているために、第１のＷＢ補正後の肌色が寒色方向に推移している。この場合、肌色評価値は適正な肌色を示す領域よりも寒色方向に位置しているため、ホワイトバランス補正値としてＲゲインを第１のＷＢ補正値よりも大きくかけることにより、適正肌色に補正することが可能になる。
【００４４】
上記の通り、本実施の形態によれば、顔を誤認識した場合や撮影時の被写体ずれによる誤補正、過補正を低減することができるため、顔検出結果に応じて、より安定したホワイトバランス補正を行うことが可能になる。
【００４５】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【００４６】
また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【技術分野】
【０００１】
本発明は画像処理装置及び方法、及び撮像装置に関し、更に詳しくは、顔検出結果を用いて画像処理を行う画像処理装置及び方法、及び撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等に用いられている従来のホワイトバランスゲイン算出回路の動作を説明する。まず図８に示すように、予め画面を、複数画素ずつ任意の複数のブロック（ｍ個）に分割する。そして、各ブロック（１〜ｍ）毎に、画素値を各色毎に加算平均して色平均値（R[i]、G[i]、B[i]）を算出する。そして、例えば以下の式（１）を用いて色評価値（Cx[i]、Cy[i]）を算出する。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i]/ Y[i] × 1024 …（１）
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号
【０００３】
そして、予め様々な光源下で白色被写体を撮影し、色評価値を算出する。これにより、予め設定された図９に示すような白検出範囲３０１に、各ブロック毎に算出された色評価値が含まれる場合、そのブロックは白であると判定する。そして、同様にして白と判定されたブロックの画素値を積分する。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたもので、図９におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧ成分が大きくなり、つまり光源が蛍光灯であることを示している。
【０００４】
そして、積分された画素値（sumR、sumG、sumB）より、以下の式（２）を用いてホワイトバランス係数（WBCo_R、WBCo_G、WBCo_B）を算出する。
WBCo_R = sumY × 1024 / sumR
WBCo_G = sumY × 1024 / sumG …（２）
WBCo_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4
【０００５】
しかし、従来のホワイトバランス係数算出方法では、以下のような問題があった。即ち、太陽光のような光源下において、白の色評価値は図９の領域Ａ付近に分布し、肌色の分布は領域Ｂ付近に分布する。太陽光源下における肌色の色評価値は低色光源下における白点の色評価値とほぼ同等の領域に分布する。従って、画角に白色が少なくかつ、図１０のように人がアップで撮影された場合、画面の色評価値は図９の領域Ｂに分布するため、肌色を低色温度下の白色と誤判別し、人の肌を白色に補正してしまうという問題があった。また、人の肌を示す領域付近に分布する有彩色が画角一面にあるときは、その有彩色を白と誤判別して肌を白色に補正してしまう場合もあった。
【０００６】
この問題に対する従来の対処法として被写体照度が明るい場合は外光と判断して、白検出範囲を狭めて肌色を白と誤判別しないような工夫を行っていた。
【０００７】
しかし、一般の蛍光灯類には、白色が領域Ｃ付近となる光源や領域Ｃより下方にも分布する光源も存在し、そういった光源に対応するためには、白検出範囲を拡大しなければならない。だが、低照度の高色温度蛍光灯や中色温度蛍光灯類での肌色分布は黒体放射軸の下方向（領域Ｃ）付近に分布するケースがあり、白検出範囲を拡大することで肌色を白と誤判別してしまい、肌色が褪色するようなケースがあった。
【０００８】
そこで、特許文献１記載の方法では、顔検出を行い、顔が検出された場合は顔の肌色を抽出し、基準の肌と比較しその結果を基にホワイトバランス補正を行うという提案がなされている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第６９７５７５９号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した従来のホワイトバランス補正値算出方法においては、顔検出回路において顔を誤認識した場合が考慮されていない。そのため顔検出回路において顔ではない領域を顔と誤検出した場合にも、その顔ではない領域を適正な肌色にするように動作するため、結果として所望なホワイトバランス補正値を得ることができないことがあるという欠点があった。
【００１１】
また、処理速度等の撮像装置のパフォーマンスによっては、撮影時に顔検出ができない場合がある。そのような撮像装置において、撮影準備段階で顔が検出されていても、撮影時に被写体の位置がずれてしまうようなケースが生じることがあるが、そのような場合についても考慮されていない。つまり撮影準備時に正しく顔を検出した場合であっても、結果としてホワイトバランス補正精度が低くなることがあるという欠点があった。図１１はＳＷ１までに顔検出を行い、ＳＷ２（本撮影）直前で被写体の位置がずれた場合を示した例である。ＳＷ１直前に得られた顔検出結果を利用することにより、ＳＷ２時（本撮影時）に正しい顔色評価値を取得できなくなり、ホワイトバランス補正精度が低くなってしまう。
【課題を解決するための手段】
【００１２】
本発明は上記問題点を鑑みてなされたものであり、撮像を行って得られた画像の画像信号を処理する本発明の画像処理装置は、前記画像から白画素の検出を行うことにより第１のホワイトバランス補正値を算出する第１の算出手段と、前記画像から顔領域を検出する顔検出手段と、前記顔検出手段により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が、肌色を表す第１の色信号領域の周辺の第２の色信号領域にあるか否かを判定する判定手段と、前記判定手段により前記第２の色信号領域にあると判定された場合、前記補正された顔領域の画像信号と前記第１の色信号領域との関係に基づき、前記補正された顔領域の画像信号が前記第１の色信号領域の方向に移動するように前記画像の画像信号を補正した第２のホワイトバランス補正値を算出し、前記判定手段により前記第２の色信号領域にないと判定された場合、前記第２のホワイトバランス補正値の算出を行わない第２の算出手段と、前記第１または前記第２のホワイトバランス補正値を用いて、撮像を行って得られた画像の画像信号にホワイトバランス補正を行うホワイトバランス補正手段と、を有する。
【００１３】
また、撮像を行って得られた画像の画像信号を処理する本発明の画像処理方法は、第１の算出手段が、前記画像から白画素の検出を行うことにより第１のホワイトバランス補正値を算出する第１の算出工程と、顔検出手段が、前記画像から顔領域を検出する顔検出工程と、判定手段が、前記顔検出工程により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が肌色を表す第１の色信号領域の周辺の第２の色信号領域にあるか否かを判定する判定工程と、第２の算出手段が、前記判定工程により前記第２の色信号領域にあると判定された場合、前記補正された顔領域の画像信号と前記第１の色信号領域との関係に基づき、前記補正された顔領域の画像信号が前記第１の色信号領域の方向に移動するように前記画像の画像信号を補正した第２のホワイトバランス補正値を算出し、前記判定手段により前記第２の色信号領域にないと判定された場合、前記第２のホワイトバランス補正値の算出を行わない第２の算出工程と、前記第１または前記第２のホワイトバランス補正値を用いて、撮像を行って得られた画像の画像信号にホワイトバランス補正を行うホワイトバランス補正工程と、を有する。
【００１４】
また、本発明の撮像装置は、撮像して得られた画像の画像信号を出力する撮像手段と、上記画像処理装置とを含む。
【発明の効果】
【００１５】
本発明によれば、顔検出結果に応じて、より安定したホワイトバランス補正を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。
【図２】テンプレートマッチングによるパターン認識処理を説明するフローチャートである。
【図３】テンプレートマッチングの概念を説明する図である。
【図４】本発明の実施の形態におけるＷＢ補正値の算出方法を示すフローチャートである。
【図５】本発明の実施の形態における第１のＷＢ補正値の算出処理を示すフローチャートである。
【図６】本発明の実施の形態における肌色補正の判断方法を説明する図である。
【図７】本発明の実施の形態における第２のＷＢ補正値算出の概念図である。
【図８】画面を任意の複数ブロックに分割した例を示す図である。
【図９】白検出範囲を示す図である。
【図１０】被写体として顔のアップを撮影した例を示す図である。
【図１１】従来のホワイトバランス補正方法で起こる問題の一例を説明した図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１８】
図１は、画像処理装置の一例として、本発明の実施の形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。
【００１９】
図１において、１０１はＣＣＤやＣＭＯＳ等から成る固体撮像素子であり、その表面は、例えばベイヤー配列のＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。１０２はメモリで、撮像素子１０１から得られた画像信号を一旦記憶する。
【００２０】
１１４は顔検出部であり、メモリ１０２に記憶された画像信号から、顔領域を検出する。なお、顔領域を検出する技術としては様々な手法が提案されており、顔の位置およびサイズ情報を取得できればどのような手法を用いてもよく、本願発明は、顔検出の手法により制限されるものではない。例えば、ニュートラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる（例えば、特開平１０−２３２９３４号公報、特開２０００−４８１８４号公報を参照）。他に、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔検出する方法等や、テンプレートマッチング等を組み合わせた方法などがある。
【００２１】
ここで、顔検出の手法として、パターン認識の一つであるテンプレートマッチングについて説明する。パターン認識とは、観測されたパターンをあらかじめ定められた概念（クラス）の一つに対応させる処理である。図２は、パターン認識処理のフローチャートであり、顔検出部１１４によって実行される。
【００２２】
先ず、メモリ１０２から画像データを読み出して前処理し（ステップＳ１）、前処理された画像データから特徴的部分のパターンを抽出する（ステップＳ２）。そして、抽出されたパターンをテンプレート（標準パターン）に対応させる（テンプレートマッチング）。例えば、図３に示すように特徴的部分のパターン６３が抽出された場合、テンプレート６１の中心点６２を取得したパターン６３のある座標点（ｉ，ｊ）に置く。そして、中心点６２のパターン６３における位置をずらしながら、テンプレート６１とパターン６３との重なり部分の類似度を計算して行き、類似度が最大になる位置を決定する。パターン６３を例えば目や耳等の形状を含むテンプレート６１にマッチングさせることにより、目の位置情報や顔領域（顔座標）を取得することができる。
【００２３】
このようにして、認識パターンを取得して（ステップＳ３）、取得した認識パターンを出力し（ステップＳ４）、パターン認識処理を終了する。
【００２４】
図１の説明に戻る。ＣＰＵ１１５では、顔検出部１１４から送られた信号に基づいて、顔が検出されていれば、顔が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算し、また顔に合焦するようにフォーカスレンズの駆動量を計算する。一方、顔が検出されていなければ、ＣＰＵ１１５は画像全体が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算すると共に、予め設定された合焦領域内にある被写体に合焦するようなフォーカスレンズの駆動量を計算する。ＣＰＵ１１５で計算された露出値（Ｔｖ、Ａｖ）及びフォーカスレンズの駆動量は制御回路１１３に送られ、各値に基づいて不図示のレンズや絞り、シャッター、撮像素子１０１がそれぞれ制御される。
【００２５】
１０３はホワイトバランス（ＷＢ）制御部であり、メモリ１０２に記憶された画像信号及び顔検出部１１４から得られる顔情報に基づいてＷＢ補正値を算出する。そして、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像信号に対してホワイトバランス補正（ＷＢ補正）を行う。即ち、ＷＢ制御部１０３は、ホワイトバランス補正手段と、第１の算出手段及び第２の算出手段とに対応する。なお、このＷＢ制御部１０３で用いられるＷＢ補正値の算出方法については、詳細に後述する。
【００２６】
１０４は、ＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色変換マトリックス（ＭＴＸ）回路である。１０５は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路、１０６はＬＰＦ回路１０５で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するＣＳＵＰ（Chroma Supress）回路である。
【００２７】
一方、ＷＢ制御部１０３によりＷＢ補正された画像信号は輝度信号（Ｙ）生成回路１１１にも出力されて輝度信号Ｙが生成され、生成された輝度信号Ｙに対してエッジ強調回路１１２にてエッジ強調処理が施される。
【００２８】
ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号Ｙは、ＲＧＢ変換回路１０７にてＲＧＢ信号に変換され、ガンマ補正回路１０８にて階調補正が施される。その後、色輝度変換回路１０９にてＹＵＶ信号に変換され、更に圧縮回路１１０にて例えばＪＰＥＧ圧縮されて、外部記録媒体または内部記録媒体に画像信号として記録される。
【００２９】
次に、本実施の形態におけるＷＢ補正値の算出方法について図４を参照して説明する。本実施の形態におけるＷＢ補正値の算出方法は、顔検出結果に応じて顔領域が最適となるようなＷＢ補正値を得ることができるようにするものである。なお、顔検出処理は図４に示す処理が行われる直前に、得られた画像信号に基づいて、例えば図２及び図３を参照して上述した方法により顔検出部１１４により行われ、顔検出結果がすでに得られているものとする。また、ここで行われるＷＢ補正値の算出は、ＣＰＵ１１５が行うように構成しても、ＷＢ制御部１０３が行うように構成しても、更には、ＷＢ補正値算出用の専用の構成を追加するようにしても、何れでも構わない。
【００３０】
先ず、ステップＳ１１において、メモリ１０２に記憶された画像信号から白画素の検出を行って第１のホワイトバランス補正値（第１のＷＢ補正値）を算出する。ここで、第１のＷＢ補正値の算出方法について、図５を参照して詳しく説明する。
【００３１】
まず、メモリ１０２に記憶された画像信号を読み出し、その画面を図８のような任意のm個のブロックに分割する（ステップＳ１０１）。そして、各ブロック（１〜ｍ）毎に、画素値を各色毎に加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、式（１）を用いて色評価値（Cx[i]、Cy[i]）を算出する（ステップＳ１０２）。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i]/ Y[i] × 1024 …（１）
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号
【００３２】
次に、ステップＳ１０２で算出したｉ番目のブロックの色評価値（Cx[i]、Cy[i]）が、図９に示す予め設定した白検出範囲３０１に含まれるかどうかを判断する（ステップＳ１０３）。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。図９におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧ成分が大きくなり、つまり光源が蛍光灯であることを示している。
【００３３】
算出した色評価値（Cx[i]、Cy[i]）がこの白検出範囲３０１に含まれる場合には（ステップＳ１０３でＹＥＳ）そのブロックが白色であると判断する。そして、そのブロックの色平均値（R[i]、G[i]、B[i]）を積算していき（ステップＳ１０４）、含まれない場合には加算せずにステップＳ１０５に進む。このステップＳ１０３及びステップＳ１０４の処理は、式（３）により表すことができる。
【００３４】
【００３５】
ここで、式（３）において、色評価値（Cx[i]、Cy[i]）が白検出範囲３０１に含まれる場合はSw[i]を１に、含まれない場合にはSw[i]を０とする。このようにして、ステップＳ１０３の判断により色平均値（R[i]、G[i]、B[i]）の加算を行うか、行わないかの処理を実質的に行っている。
ステップＳ１０５では、全てのブロックについて上記処理を行ったかどうかを判断し、未処理のブロックがあればステップＳ１０２に戻って上記処理を繰り返し、全てのブロックの処理が終了していればステップＳ１０６に進む。
【００３６】
ステップＳ１０６では、得られた色評価値の積分値（sumR、sumG、sumB）から、以下の式（４）を用いて、第１のＷＢ補正値（WBCo1_R、WBCo1_Ｇ、WBCo1_Ｂ）を算出する。
WBCo1_R = sumY × 1024 / sumR
WBCo1_G = sumY × 1024 / sumG …（４）
WBCo1_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4
【００３７】
上述したようにして第１のＷＢ補正値を算出すると、ステップＳ１２において顔が検出されているかどうかを判断する。顔が検出されていなければ、ステップＳ１１で算出した第１のＷＢ補正値をＷＢ制御部１０３でＷＢ処理に使用するＷＢ補正値と決定して（ステップＳ２０）、処理を終了する。
【００３８】
顔が検出されていれば、ステップＳ１３において顔領域のブロックを取得し、そのブロックの内の１つのブロックについて、第１のＷＢ補正値を算出するためにステップＳ１０２で求めた色平均値（R[i]、G[i]、B[i]）を取得する（ステップＳ１４）。
【００３９】
次に、ステップＳ１４で取得した色平均値にステップＳ１１で求めた第１のＷＢ補正値をそれぞれ乗じて、肌色平均値（顔領域の色平均値を第１のＷＢ補正値によりＷＢ補正した値、補正画像信号）を求める。そして、この肌色平均値が肌色領域（図６の領域（Ａ））、肌色補正対象領域（図６の領域（Ｂ））、肌色補正対象外領域（図６の領域（Ｃ））のいずれにあるのかを判定する（ステップＳ１５）。なお、肌色領域（Ａ）は第１の色信号領域に対応し、肌色補正対象領域（Ｂ）は、第１の色信号領域の周辺領域である第２の色信号領域に対応する。図６の肌色領域（Ａ）内（第１の色信号領域内）もしくは肌色補正対象領域（Ｂ）内（第２の色信号領域内）にある場合、肌色平均値をそれまでに算出された肌色平均値の合計に加算する（ステップＳ１６）。また、肌色補正対象外領域（Ｃ）にあれば、そのブロックの肌色平均値は加算せずに、そのままステップＳ１７に進む。なお、図６に示す肌色領域（Ａ）及び肌色補正対象領域（Ｂ）は、例えば、太陽光などの白色光下で予め肌色を複数撮影し、統計的な手法を用いて設定することができる。
【００４０】
例えば、顔を誤検出した場合（図６（ｂ）に示すような場合）や被写体が完全にずれた場合には、ブロックの肌評価値が図６の肌色補正対象外領域（Ｃ）に分布する場合が多い。顔領域がずれた場合（図６（ｃ）に示すような場合）は顔領域の肌評価値は図６の肌色領域（Ａ）または肌色補正対象領域（Ｂ）に分布することが多い。このように、肌色領域（Ａ）及び肌色補正対象領域（Ｂ）にあるブロックのみを抽出して、ＷＢ演算処理に反映させる。なお、ステップＳ１５の判断により肌色補正対象外領域（Ｃ）にある肌色評価値を除外するのではなく、重み付けによる加重加算を行ってもよい。その際には、肌色補正対象外領域（Ｃ）にある肌色評価値にかける重みを、肌色領域（Ａ）及び肌色補正対象領域（Ｂ）にある肌色評価値にかける重みに対して低く設定しておく。
【００４１】
上述した処理を取得したブロック数分（ステップＳ１７でＹＥＳとなるまで）行ってから、ステップＳ１８に進む。ステップＳ１８では、ステップＳ１６で加算して得られた肌色平均値の合計（合計画像信号）が肌色補正対象領域（Ｂ）内にあるかどうかを判断する。
【００４２】
図６の肌色領域（Ａ）に入っている場合は（ステップＳ１８でＮＯ）、第１のＷＢ補正値により肌色が適正にＷＢ補正されたと判断できるため、第１のＷＢ補正値を使用すると決定する（ステップＳ２０）。肌色補正対象領域（Ｂ）内にある場合は（ステップＳ１８でＹＥＳ）、第１のＷＢ補正値により補正された肌色が適正にＷＢ補正されなかったと判断できる。従って、肌色領域方向に移動するような第２のホワイトバランス補正値（第２のＷＢ補正値）を算出する（ステップＳ１９）。また、肌色補正対象領域外（Ｃ）にある場合は（ステップＳ１８でＮＯ）、検出された肌色評価値が人の肌を表していないと判断し、第１のＷＢ補正値を使用する（ステップＳ２０）。
【００４３】
図７にステップＳ１９で行う第２のＷＢ補正値算出の概念を示す。図７は、ある光源下において肌色が白色と誤認識され、第１のＷＢ補正値が算出された場合を想定している。第１のＷＢ補正値が適正なＷＢ補正値より低色温度方向に位置しているために、第１のＷＢ補正後の肌色が寒色方向に推移している。この場合、肌色評価値は適正な肌色を示す領域よりも寒色方向に位置しているため、ホワイトバランス補正値としてＲゲインを第１のＷＢ補正値よりも大きくかけることにより、適正肌色に補正することが可能になる。
【００４４】
上記の通り、本実施の形態によれば、顔を誤認識した場合や撮影時の被写体ずれによる誤補正、過補正を低減することができるため、顔検出結果に応じて、より安定したホワイトバランス補正を行うことが可能になる。
【００４５】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【００４６】
また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【特許請求の範囲】
【請求項１】
撮像を行って得られた画像の画像信号を処理する画像処理装置であって、
前記画像から白画素の検出を行うことにより第１のホワイトバランス補正値を算出する第１の算出手段と、
前記画像から顔領域を検出する顔検出手段と、
前記顔検出手段により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が、肌色を表す第１の色信号領域の周辺の第２の色信号領域にあるか否かを判定する判定手段と、
前記判定手段により前記第２の色信号領域にあると判定された場合、前記補正された顔領域の画像信号と前記第１の色信号領域との関係に基づき、前記補正された顔領域の画像信号が前記第１の色信号領域の方向に移動するように前記画像の画像信号を補正した第２のホワイトバランス補正値を算出し、前記判定手段により前記第２の色信号領域にないと判定された場合、前記第２のホワイトバランス補正値の算出を行わない第２の算出手段と、
前記第１または前記第２のホワイトバランス補正値を用いて、撮像を行って得られた画像の画像信号にホワイトバランス補正を行うホワイトバランス補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第２の算出手段は、前記補正後の顔領域の画像信号が前記第１の色信号領域内に入るように、前記第２のホワイトバランス補正値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の算出手段は前記画像の白画素を所定のブロック単位で検出し、前記判定手段は前記所定のブロック単位で検出された顔領域の画像信号について、前記判定を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
撮像して得られた画像の画像信号を出力する撮像手段と、
請求項１乃至３のいずれか１項に記載の画像処理装置と
を備えたことを特徴とする撮像装置。
【請求項５】
撮像を行って得られた画像の画像信号を処理する画像処理方法であって、
第１の算出手段が、前記画像から白画素の検出を行うことにより第１のホワイトバランス補正値を算出する第１の算出工程と、
顔検出手段が、前記画像から顔領域を検出する顔検出工程と、
判定手段が、前記顔検出工程により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が肌色を表す第１の色信号領域の周辺の第２の色信号領域にあるか否かを判定する判定工程と、
第２の算出手段が、前記判定工程により前記第２の色信号領域にあると判定された場合、前記補正された顔領域の画像信号と前記第１の色信号領域との関係に基づき、前記補正された顔領域の画像信号が前記第１の色信号領域の方向に移動するように前記画像の画像信号を補正した第２のホワイトバランス補正値を算出し、前記判定手段により前記第２の色信号領域にないと判定された場合、前記第２のホワイトバランス補正値の算出を行わない第２の算出工程と、
前記第１または前記第２のホワイトバランス補正値を用いて、撮像を行って得られた画像の画像信号にホワイトバランス補正を行うホワイトバランス補正工程と、
を有することを特徴とする画像処理方法。
【請求項６】
コンピュータに、請求項５に記載の画像処理方法の各工程を実行させるためのプログラム。
【請求項７】
請求項６に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【請求項１】
撮像を行って得られた画像の画像信号を処理する画像処理装置であって、
前記画像から白画素の検出を行うことにより第１のホワイトバランス補正値を算出する第１の算出手段と、
前記画像から顔領域を検出する顔検出手段と、
前記顔検出手段により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が、肌色を表す第１の色信号領域の周辺の第２の色信号領域にあるか否かを判定する判定手段と、
前記判定手段により前記第２の色信号領域にあると判定された場合、前記補正された顔領域の画像信号と前記第１の色信号領域との関係に基づき、前記補正された顔領域の画像信号が前記第１の色信号領域の方向に移動するように前記画像の画像信号を補正した第２のホワイトバランス補正値を算出し、前記判定手段により前記第２の色信号領域にないと判定された場合、前記第２のホワイトバランス補正値の算出を行わない第２の算出手段と、
前記第１または前記第２のホワイトバランス補正値を用いて、撮像を行って得られた画像の画像信号にホワイトバランス補正を行うホワイトバランス補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第２の算出手段は、前記補正後の顔領域の画像信号が前記第１の色信号領域内に入るように、前記第２のホワイトバランス補正値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の算出手段は前記画像の白画素を所定のブロック単位で検出し、前記判定手段は前記所定のブロック単位で検出された顔領域の画像信号について、前記判定を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
撮像して得られた画像の画像信号を出力する撮像手段と、
請求項１乃至３のいずれか１項に記載の画像処理装置と
を備えたことを特徴とする撮像装置。
【請求項５】
撮像を行って得られた画像の画像信号を処理する画像処理方法であって、
第１の算出手段が、前記画像から白画素の検出を行うことにより第１のホワイトバランス補正値を算出する第１の算出工程と、
顔検出手段が、前記画像から顔領域を検出する顔検出工程と、
判定手段が、前記顔検出工程により検出された顔領域の画像信号を前記第１のホワイトバランス補正値に基づきホワイトバランス補正した場合に、補正された顔領域の画像信号が肌色を表す第１の色信号領域の周辺の第２の色信号領域にあるか否かを判定する判定工程と、
第２の算出手段が、前記判定工程により前記第２の色信号領域にあると判定された場合、前記補正された顔領域の画像信号と前記第１の色信号領域との関係に基づき、前記補正された顔領域の画像信号が前記第１の色信号領域の方向に移動するように前記画像の画像信号を補正した第２のホワイトバランス補正値を算出し、前記判定手段により前記第２の色信号領域にないと判定された場合、前記第２のホワイトバランス補正値の算出を行わない第２の算出工程と、
前記第１または前記第２のホワイトバランス補正値を用いて、撮像を行って得られた画像の画像信号にホワイトバランス補正を行うホワイトバランス補正工程と、
を有することを特徴とする画像処理方法。
【請求項６】
コンピュータに、請求項５に記載の画像処理方法の各工程を実行させるためのプログラム。
【請求項７】
請求項６に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１５７０５７（Ｐ２０１２−１５７０５７Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１２−８８７６９（Ｐ２０１２−８８７６９）
【出願日】平成２４年４月９日（２０１２．４．９）
【分割の表示】特願２００７−２３５９４８（Ｐ２００７−２３５９４８）の分割
【原出願日】平成１９年９月１１日（２００７．９．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２４年４月９日（２０１２．４．９）
【分割の表示】特願２００７−２３５９４８（Ｐ２００７−２３５９４８）の分割
【原出願日】平成１９年９月１１日（２００７．９．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]