撮像装置、その制御方法及びプログラム
【課題】マニュアルホワイトバランス処理において簡単にホワイトバランス係数を設定できるようにする。
【解決手段】撮像素子１０１により撮像された画像データ中の顔領域を検出する顔検出部４０１と、撮像素子１０１により撮像された画像データ中の特定領域を指示するＭＷＢ枠設定部４０３と、ＭＷＢ枠設定部４０３により指示された特定領域が顔検出部４０１により検出された顔領域に含まれるか否かを判別する領域判別部４０５と、領域判別部４０５による判別結果に基づいてホワイトバランス係数を決定するパラメータ決定部４０７、４０８と、決定されたホワイトバランス係数を保持するパラメータ保持手段とを備え、パラメータ保持手段により保持されているホワイトバランス係数に基づいて撮像素子１０１により撮像された画像データにホワイトバランス処理を行う。
【解決手段】撮像素子１０１により撮像された画像データ中の顔領域を検出する顔検出部４０１と、撮像素子１０１により撮像された画像データ中の特定領域を指示するＭＷＢ枠設定部４０３と、ＭＷＢ枠設定部４０３により指示された特定領域が顔検出部４０１により検出された顔領域に含まれるか否かを判別する領域判別部４０５と、領域判別部４０５による判別結果に基づいてホワイトバランス係数を決定するパラメータ決定部４０７、４０８と、決定されたホワイトバランス係数を保持するパラメータ保持手段とを備え、パラメータ保持手段により保持されているホワイトバランス係数に基づいて撮像素子１０１により撮像された画像データにホワイトバランス処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像データにマニュアルホワイトバランス処理を行う撮像装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、マニュアル設定によるホワイトバランス（ＷＢ）補正を実施するマニュアルホワイトバランス（ＭＷＢ）処理が知られている。ＭＷＢ処理では、例えば撮像された画像データ中の特定領域を指示し、当該領域に含まれる画像データが画像の白色になるようなＷＢ係数を決定し、その決定されたＷＢ係数に基づいてＷＢ処理を行う。具体的には、図９（Ａ）に示すように、画像中心に特定領域（ＭＷＢ設定枠）９０１を設定し、白い被写体がＭＷＢ設定枠９０１に入るようにフレーミングして、ユーザの指示によりホワイトバランス係数を決定する手法が実施されている。或いは、図９（Ｂ）に示すように、ユーザがＭＷＢ設定枠９０１の位置を白い被写体の位置まで移動して、ホワイトバランス係数を決定する手法が実施されている。
【０００３】
また、近年では、顔検出機能を搭載したデジタルカメラが開発、実用化されている。特許文献１には、顔が検出された場合、検出された顔領域の顔色に基づいて、検出された領域の顔色が目標の顔色になるようなＷＢ係数を決定し、顔が検出されなかった場合、画面中の白色を探し、その値からＷＢ係数を決定して、ＷＢ処理を行うデジタルカメラが開示されている。
【０００４】
【特許文献１】米国特許第６９７５７５９号明細書
【特許文献２】特開平１０−２３２９３４号公報
【特許文献３】特開２０００−４８１８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１にあるような画面中の「白領域」もしくは「顔領域」からＷＢ係数を求めるデジタルカメラにおいては、ＭＷＢ処理を実施する場合、特定領域として画面中の「白領域」を設定するのか、「顔領域」を設定するのかをユーザに予め指示させる必要がある。そのため、簡単にＷＢ係数を設定することができなかった。
【０００６】
本発明は以上のような状況に鑑みてなされたものであり、マニュアルホワイトバランス処理において簡単にホワイトバランス係数を設定できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像を行う撮像手段と、前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段と、前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する領域判別手段と、前記領域判別手段による判別結果に基づいてパラメータを決定するパラメータ決定手段と、前記パラメータ決定手段により決定されたパラメータを保持するパラメータ保持手段と、前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う画像処理手段とを備えたことを特徴とする。
本発明の撮像装置の制御方法は、撮像を行う撮像手段と、前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段とを備えた撮像装置の制御方法であって、前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する処理と、前記特定領域が前記顔領域に含まれるか否かの判別結果に基づいてパラメータを決定する処理と、前記決定されたパラメータを保持手段に保持する処理と、前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う処理とを有することを特徴とする。
本発明のプログラムは、撮像を行う撮像手段と、前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段とを備えた撮像装置を制御するためのプログラムであって、前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する処理と、前記特定領域が前記顔領域に含まれるか否かの判別結果に基づいてパラメータを決定する処理と、前記決定されたパラメータを保持手段に保持する処理と、前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う処理とをコンピュータに実行させる。
【発明の効果】
【０００８】
本発明によれば、特定領域として画面中の「白領域」を設定するのか、「顔領域」を設定するのかをユーザに予め指示させる必要がなく、簡単にホワイトバランス係数を設定することができる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本発明の実施形態に係る顔検出機能を搭載した撮像装置の機能構成を示す概略ブロック図である。図１において、１０１はＣＣＤやＣＭＯＳ等からなる固体撮像素子であり、その表面が例えばベイヤー配列のＲＧＢカラーフィルタにより覆われて、カラー撮影可能に構成されている。１０２はメモリであり、撮像素子１０１から得られた画像信号を一旦記憶する。
【００１０】
１１４は顔検出部であり、メモリ１０２に記憶された画像信号中の顔領域を検出する顔領域検出手段である。顔領域を検出する技術としては様々な手法が提案されており、顔の位置及びサイズ情報を取得できるのであればどのような手法を用いてもよく、本願発明は顔検出の手法により制限されるものではない。例えば、ニューラルネットワークに代表される学習を用いた手法や、目や鼻といった物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる（例えば特許文献２、３を参照）。さらに、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔検出する手法等や、テンプレートマッチング等を組み合わせた手法等がある。
【００１１】
ここで、顔検出の手法として、パターン認識の一つであるテンプレートマッチングについて説明する。パターン認識とは、観測されたパターンを予め定められた概念（クラス）の一つに対応させる処理である。図２は、パターン認識処理のフローチャートであり、顔検出部１１４によって実行される。先ず、メモリ１０２から画像データを読み出して前処理し（ステップＳ１）、前処理した画像データから特徴的部分のパターンを抽出する（ステップＳ２）。そして、抽出したパターンをテンプレート（標準パターン）に対応させる（テンプレートマッチング）。例えば、図３に示すように特徴的部分のパターン６３が抽出された場合、テンプレート６１の中心点６２を、取得したパターン６３のある座標点（ｉ，ｊ）に置く。そして、中心点６２のパターン６３における位置をずらしながら、テンプレート６１とパターン６３との重なり部分の類似度を計算していき、類似度が最大になる位置を決定する。パターン６３を例えば目や耳等の形状を含むテンプレート６１にマッチングさせることにより、目の位置情報や顔領域（顔座標）を取得することができる。このようにして、認識パターンを取得して（ステップＳ３）、取得した認識パターンを出力し（ステップＳ４）、パターン認識処理を終了する。
【００１２】
図１の説明に戻って、１０３はホワイトバランス（ＷＢ）制御部であり、メモリ１０２に記憶された画像信号及び顔検出部１１４から得られる顔情報に基づいて、本発明でいうパラメータであるＷＢ係数（ＷＢ補正値）を算出する。そして、算出したＷＢ係数を用いて、メモリ１０２に記憶された画像信号にＷＢ補正を行う。すなわち、ＷＢ制御部１０３は、本発明でいうパラメータ決定手段及び画像処理手段として機能する。なお、ＷＢ制御部１０３で用いられるＷＢ係数の算出方法については、詳細に後述する。
【００１３】
１０４は色変換マトリックス（ＭＴＸ）回路であり、ＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。１０５は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路である。１０６はＣＳＵＰ（Chroma Supress）回路であり、ＬＰＦ回路１０５により帯域制限された画像信号のうち、飽和部分の偽色信号を抑圧する。
【００１４】
１１１は輝度信号（Ｙ）生成回路であり、ＷＢ制御部１０３によりＷＢ補正された画像信号から輝度信号Ｙを生成する。１１２はエッジ強調回路であり、Ｙ生成回路１１１により生成された輝度信号Ｙに対してエッジ強調処理を施す。
【００１５】
１０７はＲＧＢ変換回路であり、ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号ＹとをＲＧＢ信号に変換する。１０８はガンマ（γ）補正回路であり、ＲＧＢ変換回路１０７により変換されたＲＧＢ信号に階調補正を施す。１０９は色輝度変換回路であり、γ補正回路１０８により階調補正されたＲＧＢ信号をＹＵＶ信号に変換する。１１０は圧縮回路であり、色輝度変換回路１０９により変換されたＹＵＶ信号を例えばＪＰＥＧ圧縮し、外部記録媒体又は内部記録媒体に画像信号として記録する。
【００１６】
１１５は全体の制御を司るＣＰＵであり、顔検出部１１４から送られた信号に基づいて、顔が検出されていれば、顔が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算し、また、顔に合焦するようにフォーカスレンズの駆動量を計算する。一方、顔が検出されていなければ、画像全体が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算すると共に、予め設定された合焦領域内にある被写体に合焦するようなフォーカスレンズの駆動量を計算する。１１３は制御回路であり、ＣＰＵ１１５により計算された露出値（Ｔｖ、Ａｖ）及びフォーカスレンズの駆動量に基づいて、不図示のレンズや絞り、シャッター、撮像素子１０１をそれぞれ制御する。
【００１７】
ここで、図４を参照して、第１の実施形態におけるマニュアルホワイトバランス（ＭＷＢ）時のＷＢ係数決定までの手順を説明する。図４において、顔検出部４０１は、図１に示す顔検出部１１４に相当するものである。また、ＭＷＢ枠設定部４０３、顔領域判別部４０５、目標値決定部４０７、ＷＢ係数算出部４０８は、図１に示すＷＢ制御部１０３によりその機能が実現される。
【００１８】
図４において、顔検出部４０１により検出された顔情報４０２は領域判別部４０５に送られる。ここでの顔情報とは、少なくとも顔の位置及びサイズ情報であり、具体的には画像中より検出された顔の個数、個数分の顔座標、顔の大きさ情報である。
【００１９】
一方、ＭＷＢ枠設定部４０３は、ＭＷＢ処理におけるＷＢ係数を決定するための枠位置を制御する。図５は、ＭＷＢ枠設定部４０３の動作を説明するための図であり、ＭＷＢ設定時の画像表示装置（電子ビューファインダ）上の画面を示す。画面中には、顔検出部４０１により検出された顔領域枠５０２及びＭＷＢ枠設定部４０３により表示されるユーザが移動設定可能なＭＷＢ設定枠５０１が表示される。ユーザの操作によりＭＷＢ設定枠５０１が移動され、位置が決定されると、領域判別部４０５にＭＷＢ設定枠５０１の座標情報であるＭＷＢ枠情報４０４が送られる。このＭＷＢ枠設定部４０３が、本発明でいう特定領域指示手段として機能するものである。
【００２０】
領域判別部４０５は、顔情報４０２と共にＭＷＢ枠情報４０４を用いて、ＭＷＢ設定枠５０１が顔領域に含まれるか否かを判別する。この領域判別部４０５が、本発明でいう領域判別手段として機能するものである。ここで、領域判別について説明する。画面上のＭＷＢ設定枠５０１の左上の座標を（Ｘｓ，Ｙｓ）、右下の座標を（Ｘｅ，Ｙｅ）、検出された顔領域枠５０２の左上の座標を（Ｘｓｆ，Ｙｓｆ）、右下の座標を（Ｘｅｆ，Ｙｅｆ）とする。この場合、以下の式（１）〜（４）の条件を満たしたとき、ＭＷＢ設定枠５０１が顔領域に含まれると判別する。
Ｘｓ ≧ Ｘｓｆ・・・（１）
Ｙｓ ≧ Ｙｓｆ・・・（２）
Ｘｅ ≦ Ｘｅｆ・・・（３）
Ｙｅ ≦ Ｙｅｆ・・・（４）
【００２１】
領域判別部４０５は、ＭＷＢ設定枠５０１が顔領域に含まれると判別した場合は、領域判別情報４０６＝「１」とし、含まれないと判別した場合は、領域判別情報４０６＝「０」として、目標値決定部４０７に送る。
【００２２】
目標値決定部４０７には、ＭＷＢ設定枠５０１が顔領域に含まれると判別された場合の目標値１（Ｒｔ１，Ｇｔ１，Ｂｔ１）と、含まれないと判別された場合の目標値２（Ｒｔ２，Ｇｔ２，Ｂｔ２）とが予め用意されている。そして、領域判別情報４０６に従っていずれかの目標値を目標値（Ｒｔ，Ｇｔ，Ｂｔ）として選択して設定する。目標値１及び目標値２は、ＣＣＤ（撮像素子１０１）のＲＧＢカラーフィルタに依存して決定されるものである。目標値１は、肌色に基づいて決定された目標値であり、肌色を撮像して得られるＣＣＤのＲＧＢカラーフィルタ値より決定される。また、目標値２は、白色に基づいて決定された目標値であり、ＣＣＤから得られた信号のＡ／Ｄ変換後の出力が１０Ｂｉｔの場合は（１０２４，１０２４，１０２４）に設定される。本実施形態における（Ｒｔ１，Ｇｔ１，Ｂｔ１）の値は、予め太陽光下にて、基準肌色パッチを撮影して得られた値を用いている。この目標値決定部４０７が、本発明でいう目標値決定手段として機能するものである。目標値決定部４０７により決定された目標値はＷＢ係数算出部４０８に送られる。
【００２３】
ＷＢ係数算出部４０８は、目標値に基づいてＷＢ係数４０９を算出、決定する。このＷＢ係数算出部４０８が、本発明でいうパラメータ算出手段として機能するものである。以下、ＷＢ係数の決定方法について説明する。ＭＷＢ設定枠５０１により囲まれた領域のＣＣＤ信号の色毎の加算平均画素値（ＡｖｅＲ，ＡｖｅＧ，ＡｖｅＢ）を求める。
【００２４】
また、色毎の加算平均画素値から平均輝度値ＡｖｅＹを以下の式（５）にて求める。
ＡｖｅＹ＝（ＡｖｅＲ＋ＡｖｅＧ＋ＡｖｅＢ）／３・・・式（５）
【００２５】
平均輝度値及び加算平均画素値、目標値より、以下の式（６）〜（８）を用いてＷＢ係数（ＷＢ＿Ｒ，ＷＢ＿Ｇ，ＷＢ＿Ｂ）を算出する。
ＷＢ＿Ｒ＝ＡｖｅＹ×Ｒｔ／ＡｖｅＲ・・・（６）
ＷＢ＿Ｇ＝ＡｖｅＹ×Ｇｔ／ＡｖｅＧ・・・（７）
ＷＢ＿Ｂ＝ＡｖｅＹ×Ｂｔ／ＡｖｅＢ・・・（８）
【００２６】
ＷＢ係数算出部４０８により求められたＷＢ係数４０９は、再びＭＷＢ設定枠５０１が変更されるまで、パラメータ保持手段であるメモリに保持される。これが、本発明でいうパラメータ保持手段による処理の例である。保持されたＷＢ係数４０９は、図１のＷＢ制御部１０３で、以下の式（９）〜（１２）に示すように、ベイヤー配列ＣＣＤ信号Ｒ[ｉ]、Ｇ１[ｉ]、Ｇ２[ｉ]、Ｂ[ｉ]（ｉは画素の位置を示す）に乗算され、ＷＢ補正処理が実施される。
Ｒｗ[ｉ]＝Ｒ[ｉ]×ＷＢ＿Ｒ・・・（９）
Ｇｗ１[ｉ]＝Ｇ１[ｉ]×ＷＢ＿Ｇ・・・（１０）
Ｇｗ２[ｉ]＝Ｇ２[ｉ]×ＷＢ＿Ｇ・・・（１１）
Ｂｗ[ｉ]＝Ｂｗ[ｉ]×ＷＢ＿Ｂ・・・（１２）
【００２７】
以上がＷＢ係数決定及びＷＢ補正処理となる。ここで決定されたＷＢ係数４０９、領域判別情報４０６、目標値決定部４０７により決定された目標値は、図１の圧縮回路１１０で圧縮された画像と共にヘッダー情報の一部として記録される。本実施形態においては、Ｅｘｉｆフォーマットのプライベートタグ領域に格納される。このように、画像の記録時に、保持されているＷＢ係数４０９の決定時の領域判別部４０５による判別結果（領域判別情報４０６）、保持されているＷＢ係数４０９の決定時の目標値、ＷＢ係数４０９（或いはそれに関連付けられる値）を画像と関連付けて記憶媒体に記録することにより、撮影された画像が「白領域」もしくは「顔領域」のどちらかで決定されたＷＢ係数に基づいてＷＢ処理されたのかを識別可能とする。
【００２８】
次に、図５及び図６を参照して、ＭＷＢ判別アイコンについて説明する。図５は、ＭＷＢ設定枠５０１が顔領域枠５０２外にある状態を示す。一方、図６は、ＭＷＢ設定枠５０１が顔領域枠５０２内にある状態を示す。
【００２９】
図５の状態にＭＷＢ設定枠５０１が設定された場合は、画面左上にあるＭＷＢ判別アイコン５０３として、ＭＷＢによって決定されたＷＢ係数が目標値２（ＭＷＢ設定枠５０１が画面中の白領域に設定）にて決定されたことを表すアイコンが表示される。一方、図６の状態にＭＷＢ設定枠５０１が設定された場合は、ＭＷＢ判別アイコン５０３として、ＭＷＢによって決定されたＷＢ係数が目標値１（ＭＷＢ設定枠５０１が画面中の顔領域に設定）にて決定されたことを表すアイコンが表示される。このように、パラメータ決定時の領域判別部４０５による判別結果を表示し、ユーザに告知することにより、現在保持されているＷＢ係数が「白領域」をもとに決定されたものであるか、「顔領域」をもとに決定されたものであるかを明示することが可能となる。この処理が、本発明でいう第２の領域判別結果表示手段による処理例である。
【００３０】
図５、図６のＭＷＢ判別アイコン５０３は、ＭＷＢ設定枠５０１が設定されたときの領域判別情報を表示するものである。図７に示すように、ＭＷＢ判別アイコン５０３とは別に、ＭＷＢ判別補助アイコン５０４を表示するようにしても良い。このＭＷＢ判別補助アイコン５０４は、ＭＷＢ設定枠５０１の位置を決定する前の枠移動中に、現在の枠設定が顔領域に含まれているか、含まれていないかをリアルタイムに表すものである。ＭＷＢ判別補助アイコン５０４は、領域判別情報４０６をリアルタイムに求めることにより表示される。このように、領域判別部４０５の結果（領域判別情報４０６）を表示し、ユーザに告知することにより、その時点でＭＷＢ設定を実施した場合に、「白領域」の目標値にてＷＢ係数が決定されるのか、「顔領域」の目標値にてＷＢ係数が決定されるのかを明示することが可能となる。なお、本実施形態では、ＭＷＢ設定枠５０１が設定されたときの領域判別情報４０６をユーザに告知するため、ＭＷＢ判別補助アイコン５０４を表示するようにしたが、これに限られるものではない。例えばＬＥＤ等の色や点滅の方法等を用いて領域判別情報４０６をリアルタイムに表現することも可能である。この処理が、本発明でいう第１の領域判別結果表示手段による処理例である。
【００３１】
また、ＭＷＢ設定枠５０１が顔領域に含まれるか否かを判別するのに、式（１）〜（４）（ＭＷＢ設定枠５０１が顔領域に完全に含まれる条件）を用いたが、これに限られるものではない。例えばＭＷＢ設定枠５０１内に顔領域が一部でも含まれる場合は、ＭＷＢ設定枠５０１が顔領域に含まれると判別するようにしても良い。
【００３２】
以上述べたように、本発明を適用することにより、「白領域」、「顔領域」が設定されたときの目標値を設定し、特定領域が顔領域に含まれている場合には、顔領域用の目標値、それ以外の場合は白領域用の目標値と２つの目標値を切り替える。これにより、ユーザに画面中の「白領域」を設定するのか、「顔」領域を設定するのかを指示させることなく自動的に最適なマニュアルホワイトバランス係数を設定することが可能となる。
【００３３】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。以下では、第１の実施形態と異なる部分について詳細に説明し、第１の実施形態と同等の部分に関しては説明を省略する。
【００３４】
図８を参照して、第２の実施形態におけるＭＷＢ時のＷＢ係数決定までの手順を説明する。図８において、顔検出部８０１より検出された顔情報８０２は領域判別部８０５に送られる。ここでの顔情報とは、画像中より検出された顔の個数、個数分の顔座標、顔の大きさ情報である。
【００３５】
一方、ＭＷＢ枠設定部８０３は、ＭＷＢ処理におけるＷＢ係数を決定するための枠位置を制御する。ＭＷＢ枠設定部８０３の動作は、第１の実施形態で図５、６により説明したとおりである。ユーザの操作によりＭＷＢ設定枠５０１が移動され、位置が決定されると、領域判別部８０５にＭＷＢ設定枠５０１の座標情報であるＭＷＢ枠情報８０４が送られる。
【００３６】
領域判別部８０５は、顔情報８０２と共にＭＷＢ枠情報８０４を用いて、ＭＷＢ設定枠５０１に顔領域が含まれるか否かを判別する。領域判別については第１の実施形態で説明したとおりである。
【００３７】
領域判別部８０５は、ＭＷＢ設定枠５０１が顔領域に含まれると判別した場合は、領域判別情報８０６＝「１」、含まれないと判別した場合は、領域判別情報８０６＝「０」として、ＷＢ係数決定部８０７に送る。
【００３８】
ＷＢ係数決定部８０７は、２つのＷＢ係数決定方法を有し、領域判別情報８０６に基づいてＷＢ係数決定方法を選択する。
【００３９】
ＭＷＢ設定枠５０１により囲まれた領域のＣＣＤ信号の色毎の加算平均画素値（ＡｖｅＲ，ＡｖｅＧ，ＡｖｅＢ）とし、色毎の加算平均画素値から平均輝度値をＡｖｅＹとした場合、領域判別情報８０６＝「１」のときは、第１のＷＢ係数決定方法である以下の式（１３）〜（１５）を用いてＷＢ係数８０８を決定する。この処理が、本発明でいう第１のパラメータ決定方法の例である。なお、Ｒｆ、Ｇｆ、Ｂｆは肌色に基づき求められる目標値である。
ＷＢ＿Ｒ＝ＡｖｅＹ×Ｒｆ／ＡｖｅＲ・・・（１３）
ＷＢ＿Ｇ＝ＡｖｅＹ×Ｇｆ／ＡｖｅＧ・・・（１４）
ＷＢ＿Ｂ＝ＡｖｅＹ×Ｂｆ／ＡｖｅＢ・・・（１５）
【００４０】
それに対して、領域判別情報８０６＝「０」のときは、第２のＷＢ係数決定方法である以下の式（１６）〜（１８）を用いてＷＢ係数８０８を決定する。この処理が、本発明でいう第２のパラメータ決定方法の例である。
ＷＢ＿Ｒ＝ＡｖｅＹ×１０２４／ＡｖｅＲ・・・（１６）
ＷＢ＿Ｇ＝ＡｖｅＹ×１０２４／ＡｖｅＧ・・・（１７）
ＷＢ＿Ｂ＝ＡｖｅＹ×１０２４／ＡｖｅＢ・・・（１８）
【００４１】
以上がＷＢ係数決定及びＷＢ補正処理となる。ここで決定されたＷＢ係数８０８、領域判別情報８０６、ＷＢ係数決定方法は、図１の圧縮回路１１０で圧縮された画像と共にヘッダー情報の一部として記録される。本実施形態においては、Ｅｘｉｆフォーマットのプライベートタグ領域に格納される。
【００４２】
以上述べたように、本発明を適用することにより、特定領域が顔領域に含まれている場合とそれ以外の場合とでＷＢ係数決定方法を切り替える。これにより、ユーザに画面中の「白領域」を設定するのか、「顔」領域を設定するのかを指示させることなく自動的に最適なマニュアルホワイトバランス係数を設定することが可能となる。
【００４３】
本発明による効果をまとめると、顔検出を用いて顔が存在する場合に顔に最適なＷＢ係数と、顔が存在しない場合に画像の白領域を検出してＷＢ係数を決定するデジタルカメラにおけるマニュアルホワイトバランス設定を行う場合に、ユーザがどちらの手段でマニュアルホワイトバランス処理を実施したいかを設定することなく、自動にマニュアルホワイトバランスのＷＢ係数決定のための目標値もしくは決定方法を切り換えることが可能になる。
【００４４】
なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。
【００４５】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４７】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけに限らない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現されてもよい。
【００４８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる形態でもよい。この場合メモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態に係る撮像装置の機能構成を示す概略ブロック図である。
【図２】テンプレートマッチングによるパターン認識処理を説明するためのフローチャートである。
【図３】テンプレートマッチングの概念を説明するための図である。
【図４】第１の実施形態におけるマニュアルホワイトバランス時のホワイトバランス係数決定のための構成を示す図である。
【図５】マニュアルホワイトバランス設定枠の設定時の画面表示例を示す図である。
【図６】マニュアルホワイトバランス設定枠の設定時の画面表示例を示す図である。
【図７】マニュアルホワイトバランス設定枠の設定時の画面表示例を示す図である。
【図８】第２の実施形態におけるマニュアルホワイトバランス時のホワイトバランス係数決定のための構成を示す図である。
【図９】従来のマニュアルホワイトバランス設定枠について説明するための図である。
【符号の説明】
【００５０】
１０１：固体撮像素子
１０２：メモリ
１０３：ホワイトバランス制御部
１０４：色変換マトリックス回路
１０５：ローパスフィルタ回路
１０６：ＣＳＵＰ回路
１０７：ＲＧＢ変換回路
１０８：ガンマ補正回路
１０９：色輝度変換回路
１１０：圧縮回路
１１１：輝度信号生成回路
１１２：エッジ強調回路
１１３：制御回路
１１４：顔検出部
１１５：ＣＰＵ
４０１：顔検出部
４０３：マニュアルホワイトバランス枠設定部
４０５：領域判別部
４０７：目標値決定部
４０８：ホワイトバランス係数算出部
８０１：顔検出部
８０３：マニュアルホワイトバランス枠設定部
８０５：領域判別部
８０７：ホワイトバランス係数決定部
【技術分野】
【０００１】
本発明は、撮像された画像データにマニュアルホワイトバランス処理を行う撮像装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、マニュアル設定によるホワイトバランス（ＷＢ）補正を実施するマニュアルホワイトバランス（ＭＷＢ）処理が知られている。ＭＷＢ処理では、例えば撮像された画像データ中の特定領域を指示し、当該領域に含まれる画像データが画像の白色になるようなＷＢ係数を決定し、その決定されたＷＢ係数に基づいてＷＢ処理を行う。具体的には、図９（Ａ）に示すように、画像中心に特定領域（ＭＷＢ設定枠）９０１を設定し、白い被写体がＭＷＢ設定枠９０１に入るようにフレーミングして、ユーザの指示によりホワイトバランス係数を決定する手法が実施されている。或いは、図９（Ｂ）に示すように、ユーザがＭＷＢ設定枠９０１の位置を白い被写体の位置まで移動して、ホワイトバランス係数を決定する手法が実施されている。
【０００３】
また、近年では、顔検出機能を搭載したデジタルカメラが開発、実用化されている。特許文献１には、顔が検出された場合、検出された顔領域の顔色に基づいて、検出された領域の顔色が目標の顔色になるようなＷＢ係数を決定し、顔が検出されなかった場合、画面中の白色を探し、その値からＷＢ係数を決定して、ＷＢ処理を行うデジタルカメラが開示されている。
【０００４】
【特許文献１】米国特許第６９７５７５９号明細書
【特許文献２】特開平１０−２３２９３４号公報
【特許文献３】特開２０００−４８１８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１にあるような画面中の「白領域」もしくは「顔領域」からＷＢ係数を求めるデジタルカメラにおいては、ＭＷＢ処理を実施する場合、特定領域として画面中の「白領域」を設定するのか、「顔領域」を設定するのかをユーザに予め指示させる必要がある。そのため、簡単にＷＢ係数を設定することができなかった。
【０００６】
本発明は以上のような状況に鑑みてなされたものであり、マニュアルホワイトバランス処理において簡単にホワイトバランス係数を設定できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像を行う撮像手段と、前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段と、前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する領域判別手段と、前記領域判別手段による判別結果に基づいてパラメータを決定するパラメータ決定手段と、前記パラメータ決定手段により決定されたパラメータを保持するパラメータ保持手段と、前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う画像処理手段とを備えたことを特徴とする。
本発明の撮像装置の制御方法は、撮像を行う撮像手段と、前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段とを備えた撮像装置の制御方法であって、前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する処理と、前記特定領域が前記顔領域に含まれるか否かの判別結果に基づいてパラメータを決定する処理と、前記決定されたパラメータを保持手段に保持する処理と、前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う処理とを有することを特徴とする。
本発明のプログラムは、撮像を行う撮像手段と、前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段とを備えた撮像装置を制御するためのプログラムであって、前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する処理と、前記特定領域が前記顔領域に含まれるか否かの判別結果に基づいてパラメータを決定する処理と、前記決定されたパラメータを保持手段に保持する処理と、前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う処理とをコンピュータに実行させる。
【発明の効果】
【０００８】
本発明によれば、特定領域として画面中の「白領域」を設定するのか、「顔領域」を設定するのかをユーザに予め指示させる必要がなく、簡単にホワイトバランス係数を設定することができる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本発明の実施形態に係る顔検出機能を搭載した撮像装置の機能構成を示す概略ブロック図である。図１において、１０１はＣＣＤやＣＭＯＳ等からなる固体撮像素子であり、その表面が例えばベイヤー配列のＲＧＢカラーフィルタにより覆われて、カラー撮影可能に構成されている。１０２はメモリであり、撮像素子１０１から得られた画像信号を一旦記憶する。
【００１０】
１１４は顔検出部であり、メモリ１０２に記憶された画像信号中の顔領域を検出する顔領域検出手段である。顔領域を検出する技術としては様々な手法が提案されており、顔の位置及びサイズ情報を取得できるのであればどのような手法を用いてもよく、本願発明は顔検出の手法により制限されるものではない。例えば、ニューラルネットワークに代表される学習を用いた手法や、目や鼻といった物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる（例えば特許文献２、３を参照）。さらに、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔検出する手法等や、テンプレートマッチング等を組み合わせた手法等がある。
【００１１】
ここで、顔検出の手法として、パターン認識の一つであるテンプレートマッチングについて説明する。パターン認識とは、観測されたパターンを予め定められた概念（クラス）の一つに対応させる処理である。図２は、パターン認識処理のフローチャートであり、顔検出部１１４によって実行される。先ず、メモリ１０２から画像データを読み出して前処理し（ステップＳ１）、前処理した画像データから特徴的部分のパターンを抽出する（ステップＳ２）。そして、抽出したパターンをテンプレート（標準パターン）に対応させる（テンプレートマッチング）。例えば、図３に示すように特徴的部分のパターン６３が抽出された場合、テンプレート６１の中心点６２を、取得したパターン６３のある座標点（ｉ，ｊ）に置く。そして、中心点６２のパターン６３における位置をずらしながら、テンプレート６１とパターン６３との重なり部分の類似度を計算していき、類似度が最大になる位置を決定する。パターン６３を例えば目や耳等の形状を含むテンプレート６１にマッチングさせることにより、目の位置情報や顔領域（顔座標）を取得することができる。このようにして、認識パターンを取得して（ステップＳ３）、取得した認識パターンを出力し（ステップＳ４）、パターン認識処理を終了する。
【００１２】
図１の説明に戻って、１０３はホワイトバランス（ＷＢ）制御部であり、メモリ１０２に記憶された画像信号及び顔検出部１１４から得られる顔情報に基づいて、本発明でいうパラメータであるＷＢ係数（ＷＢ補正値）を算出する。そして、算出したＷＢ係数を用いて、メモリ１０２に記憶された画像信号にＷＢ補正を行う。すなわち、ＷＢ制御部１０３は、本発明でいうパラメータ決定手段及び画像処理手段として機能する。なお、ＷＢ制御部１０３で用いられるＷＢ係数の算出方法については、詳細に後述する。
【００１３】
１０４は色変換マトリックス（ＭＴＸ）回路であり、ＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。１０５は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路である。１０６はＣＳＵＰ（Chroma Supress）回路であり、ＬＰＦ回路１０５により帯域制限された画像信号のうち、飽和部分の偽色信号を抑圧する。
【００１４】
１１１は輝度信号（Ｙ）生成回路であり、ＷＢ制御部１０３によりＷＢ補正された画像信号から輝度信号Ｙを生成する。１１２はエッジ強調回路であり、Ｙ生成回路１１１により生成された輝度信号Ｙに対してエッジ強調処理を施す。
【００１５】
１０７はＲＧＢ変換回路であり、ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号ＹとをＲＧＢ信号に変換する。１０８はガンマ（γ）補正回路であり、ＲＧＢ変換回路１０７により変換されたＲＧＢ信号に階調補正を施す。１０９は色輝度変換回路であり、γ補正回路１０８により階調補正されたＲＧＢ信号をＹＵＶ信号に変換する。１１０は圧縮回路であり、色輝度変換回路１０９により変換されたＹＵＶ信号を例えばＪＰＥＧ圧縮し、外部記録媒体又は内部記録媒体に画像信号として記録する。
【００１６】
１１５は全体の制御を司るＣＰＵであり、顔検出部１１４から送られた信号に基づいて、顔が検出されていれば、顔が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算し、また、顔に合焦するようにフォーカスレンズの駆動量を計算する。一方、顔が検出されていなければ、画像全体が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算すると共に、予め設定された合焦領域内にある被写体に合焦するようなフォーカスレンズの駆動量を計算する。１１３は制御回路であり、ＣＰＵ１１５により計算された露出値（Ｔｖ、Ａｖ）及びフォーカスレンズの駆動量に基づいて、不図示のレンズや絞り、シャッター、撮像素子１０１をそれぞれ制御する。
【００１７】
ここで、図４を参照して、第１の実施形態におけるマニュアルホワイトバランス（ＭＷＢ）時のＷＢ係数決定までの手順を説明する。図４において、顔検出部４０１は、図１に示す顔検出部１１４に相当するものである。また、ＭＷＢ枠設定部４０３、顔領域判別部４０５、目標値決定部４０７、ＷＢ係数算出部４０８は、図１に示すＷＢ制御部１０３によりその機能が実現される。
【００１８】
図４において、顔検出部４０１により検出された顔情報４０２は領域判別部４０５に送られる。ここでの顔情報とは、少なくとも顔の位置及びサイズ情報であり、具体的には画像中より検出された顔の個数、個数分の顔座標、顔の大きさ情報である。
【００１９】
一方、ＭＷＢ枠設定部４０３は、ＭＷＢ処理におけるＷＢ係数を決定するための枠位置を制御する。図５は、ＭＷＢ枠設定部４０３の動作を説明するための図であり、ＭＷＢ設定時の画像表示装置（電子ビューファインダ）上の画面を示す。画面中には、顔検出部４０１により検出された顔領域枠５０２及びＭＷＢ枠設定部４０３により表示されるユーザが移動設定可能なＭＷＢ設定枠５０１が表示される。ユーザの操作によりＭＷＢ設定枠５０１が移動され、位置が決定されると、領域判別部４０５にＭＷＢ設定枠５０１の座標情報であるＭＷＢ枠情報４０４が送られる。このＭＷＢ枠設定部４０３が、本発明でいう特定領域指示手段として機能するものである。
【００２０】
領域判別部４０５は、顔情報４０２と共にＭＷＢ枠情報４０４を用いて、ＭＷＢ設定枠５０１が顔領域に含まれるか否かを判別する。この領域判別部４０５が、本発明でいう領域判別手段として機能するものである。ここで、領域判別について説明する。画面上のＭＷＢ設定枠５０１の左上の座標を（Ｘｓ，Ｙｓ）、右下の座標を（Ｘｅ，Ｙｅ）、検出された顔領域枠５０２の左上の座標を（Ｘｓｆ，Ｙｓｆ）、右下の座標を（Ｘｅｆ，Ｙｅｆ）とする。この場合、以下の式（１）〜（４）の条件を満たしたとき、ＭＷＢ設定枠５０１が顔領域に含まれると判別する。
Ｘｓ ≧ Ｘｓｆ・・・（１）
Ｙｓ ≧ Ｙｓｆ・・・（２）
Ｘｅ ≦ Ｘｅｆ・・・（３）
Ｙｅ ≦ Ｙｅｆ・・・（４）
【００２１】
領域判別部４０５は、ＭＷＢ設定枠５０１が顔領域に含まれると判別した場合は、領域判別情報４０６＝「１」とし、含まれないと判別した場合は、領域判別情報４０６＝「０」として、目標値決定部４０７に送る。
【００２２】
目標値決定部４０７には、ＭＷＢ設定枠５０１が顔領域に含まれると判別された場合の目標値１（Ｒｔ１，Ｇｔ１，Ｂｔ１）と、含まれないと判別された場合の目標値２（Ｒｔ２，Ｇｔ２，Ｂｔ２）とが予め用意されている。そして、領域判別情報４０６に従っていずれかの目標値を目標値（Ｒｔ，Ｇｔ，Ｂｔ）として選択して設定する。目標値１及び目標値２は、ＣＣＤ（撮像素子１０１）のＲＧＢカラーフィルタに依存して決定されるものである。目標値１は、肌色に基づいて決定された目標値であり、肌色を撮像して得られるＣＣＤのＲＧＢカラーフィルタ値より決定される。また、目標値２は、白色に基づいて決定された目標値であり、ＣＣＤから得られた信号のＡ／Ｄ変換後の出力が１０Ｂｉｔの場合は（１０２４，１０２４，１０２４）に設定される。本実施形態における（Ｒｔ１，Ｇｔ１，Ｂｔ１）の値は、予め太陽光下にて、基準肌色パッチを撮影して得られた値を用いている。この目標値決定部４０７が、本発明でいう目標値決定手段として機能するものである。目標値決定部４０７により決定された目標値はＷＢ係数算出部４０８に送られる。
【００２３】
ＷＢ係数算出部４０８は、目標値に基づいてＷＢ係数４０９を算出、決定する。このＷＢ係数算出部４０８が、本発明でいうパラメータ算出手段として機能するものである。以下、ＷＢ係数の決定方法について説明する。ＭＷＢ設定枠５０１により囲まれた領域のＣＣＤ信号の色毎の加算平均画素値（ＡｖｅＲ，ＡｖｅＧ，ＡｖｅＢ）を求める。
【００２４】
また、色毎の加算平均画素値から平均輝度値ＡｖｅＹを以下の式（５）にて求める。
ＡｖｅＹ＝（ＡｖｅＲ＋ＡｖｅＧ＋ＡｖｅＢ）／３・・・式（５）
【００２５】
平均輝度値及び加算平均画素値、目標値より、以下の式（６）〜（８）を用いてＷＢ係数（ＷＢ＿Ｒ，ＷＢ＿Ｇ，ＷＢ＿Ｂ）を算出する。
ＷＢ＿Ｒ＝ＡｖｅＹ×Ｒｔ／ＡｖｅＲ・・・（６）
ＷＢ＿Ｇ＝ＡｖｅＹ×Ｇｔ／ＡｖｅＧ・・・（７）
ＷＢ＿Ｂ＝ＡｖｅＹ×Ｂｔ／ＡｖｅＢ・・・（８）
【００２６】
ＷＢ係数算出部４０８により求められたＷＢ係数４０９は、再びＭＷＢ設定枠５０１が変更されるまで、パラメータ保持手段であるメモリに保持される。これが、本発明でいうパラメータ保持手段による処理の例である。保持されたＷＢ係数４０９は、図１のＷＢ制御部１０３で、以下の式（９）〜（１２）に示すように、ベイヤー配列ＣＣＤ信号Ｒ[ｉ]、Ｇ１[ｉ]、Ｇ２[ｉ]、Ｂ[ｉ]（ｉは画素の位置を示す）に乗算され、ＷＢ補正処理が実施される。
Ｒｗ[ｉ]＝Ｒ[ｉ]×ＷＢ＿Ｒ・・・（９）
Ｇｗ１[ｉ]＝Ｇ１[ｉ]×ＷＢ＿Ｇ・・・（１０）
Ｇｗ２[ｉ]＝Ｇ２[ｉ]×ＷＢ＿Ｇ・・・（１１）
Ｂｗ[ｉ]＝Ｂｗ[ｉ]×ＷＢ＿Ｂ・・・（１２）
【００２７】
以上がＷＢ係数決定及びＷＢ補正処理となる。ここで決定されたＷＢ係数４０９、領域判別情報４０６、目標値決定部４０７により決定された目標値は、図１の圧縮回路１１０で圧縮された画像と共にヘッダー情報の一部として記録される。本実施形態においては、Ｅｘｉｆフォーマットのプライベートタグ領域に格納される。このように、画像の記録時に、保持されているＷＢ係数４０９の決定時の領域判別部４０５による判別結果（領域判別情報４０６）、保持されているＷＢ係数４０９の決定時の目標値、ＷＢ係数４０９（或いはそれに関連付けられる値）を画像と関連付けて記憶媒体に記録することにより、撮影された画像が「白領域」もしくは「顔領域」のどちらかで決定されたＷＢ係数に基づいてＷＢ処理されたのかを識別可能とする。
【００２８】
次に、図５及び図６を参照して、ＭＷＢ判別アイコンについて説明する。図５は、ＭＷＢ設定枠５０１が顔領域枠５０２外にある状態を示す。一方、図６は、ＭＷＢ設定枠５０１が顔領域枠５０２内にある状態を示す。
【００２９】
図５の状態にＭＷＢ設定枠５０１が設定された場合は、画面左上にあるＭＷＢ判別アイコン５０３として、ＭＷＢによって決定されたＷＢ係数が目標値２（ＭＷＢ設定枠５０１が画面中の白領域に設定）にて決定されたことを表すアイコンが表示される。一方、図６の状態にＭＷＢ設定枠５０１が設定された場合は、ＭＷＢ判別アイコン５０３として、ＭＷＢによって決定されたＷＢ係数が目標値１（ＭＷＢ設定枠５０１が画面中の顔領域に設定）にて決定されたことを表すアイコンが表示される。このように、パラメータ決定時の領域判別部４０５による判別結果を表示し、ユーザに告知することにより、現在保持されているＷＢ係数が「白領域」をもとに決定されたものであるか、「顔領域」をもとに決定されたものであるかを明示することが可能となる。この処理が、本発明でいう第２の領域判別結果表示手段による処理例である。
【００３０】
図５、図６のＭＷＢ判別アイコン５０３は、ＭＷＢ設定枠５０１が設定されたときの領域判別情報を表示するものである。図７に示すように、ＭＷＢ判別アイコン５０３とは別に、ＭＷＢ判別補助アイコン５０４を表示するようにしても良い。このＭＷＢ判別補助アイコン５０４は、ＭＷＢ設定枠５０１の位置を決定する前の枠移動中に、現在の枠設定が顔領域に含まれているか、含まれていないかをリアルタイムに表すものである。ＭＷＢ判別補助アイコン５０４は、領域判別情報４０６をリアルタイムに求めることにより表示される。このように、領域判別部４０５の結果（領域判別情報４０６）を表示し、ユーザに告知することにより、その時点でＭＷＢ設定を実施した場合に、「白領域」の目標値にてＷＢ係数が決定されるのか、「顔領域」の目標値にてＷＢ係数が決定されるのかを明示することが可能となる。なお、本実施形態では、ＭＷＢ設定枠５０１が設定されたときの領域判別情報４０６をユーザに告知するため、ＭＷＢ判別補助アイコン５０４を表示するようにしたが、これに限られるものではない。例えばＬＥＤ等の色や点滅の方法等を用いて領域判別情報４０６をリアルタイムに表現することも可能である。この処理が、本発明でいう第１の領域判別結果表示手段による処理例である。
【００３１】
また、ＭＷＢ設定枠５０１が顔領域に含まれるか否かを判別するのに、式（１）〜（４）（ＭＷＢ設定枠５０１が顔領域に完全に含まれる条件）を用いたが、これに限られるものではない。例えばＭＷＢ設定枠５０１内に顔領域が一部でも含まれる場合は、ＭＷＢ設定枠５０１が顔領域に含まれると判別するようにしても良い。
【００３２】
以上述べたように、本発明を適用することにより、「白領域」、「顔領域」が設定されたときの目標値を設定し、特定領域が顔領域に含まれている場合には、顔領域用の目標値、それ以外の場合は白領域用の目標値と２つの目標値を切り替える。これにより、ユーザに画面中の「白領域」を設定するのか、「顔」領域を設定するのかを指示させることなく自動的に最適なマニュアルホワイトバランス係数を設定することが可能となる。
【００３３】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。以下では、第１の実施形態と異なる部分について詳細に説明し、第１の実施形態と同等の部分に関しては説明を省略する。
【００３４】
図８を参照して、第２の実施形態におけるＭＷＢ時のＷＢ係数決定までの手順を説明する。図８において、顔検出部８０１より検出された顔情報８０２は領域判別部８０５に送られる。ここでの顔情報とは、画像中より検出された顔の個数、個数分の顔座標、顔の大きさ情報である。
【００３５】
一方、ＭＷＢ枠設定部８０３は、ＭＷＢ処理におけるＷＢ係数を決定するための枠位置を制御する。ＭＷＢ枠設定部８０３の動作は、第１の実施形態で図５、６により説明したとおりである。ユーザの操作によりＭＷＢ設定枠５０１が移動され、位置が決定されると、領域判別部８０５にＭＷＢ設定枠５０１の座標情報であるＭＷＢ枠情報８０４が送られる。
【００３６】
領域判別部８０５は、顔情報８０２と共にＭＷＢ枠情報８０４を用いて、ＭＷＢ設定枠５０１に顔領域が含まれるか否かを判別する。領域判別については第１の実施形態で説明したとおりである。
【００３７】
領域判別部８０５は、ＭＷＢ設定枠５０１が顔領域に含まれると判別した場合は、領域判別情報８０６＝「１」、含まれないと判別した場合は、領域判別情報８０６＝「０」として、ＷＢ係数決定部８０７に送る。
【００３８】
ＷＢ係数決定部８０７は、２つのＷＢ係数決定方法を有し、領域判別情報８０６に基づいてＷＢ係数決定方法を選択する。
【００３９】
ＭＷＢ設定枠５０１により囲まれた領域のＣＣＤ信号の色毎の加算平均画素値（ＡｖｅＲ，ＡｖｅＧ，ＡｖｅＢ）とし、色毎の加算平均画素値から平均輝度値をＡｖｅＹとした場合、領域判別情報８０６＝「１」のときは、第１のＷＢ係数決定方法である以下の式（１３）〜（１５）を用いてＷＢ係数８０８を決定する。この処理が、本発明でいう第１のパラメータ決定方法の例である。なお、Ｒｆ、Ｇｆ、Ｂｆは肌色に基づき求められる目標値である。
ＷＢ＿Ｒ＝ＡｖｅＹ×Ｒｆ／ＡｖｅＲ・・・（１３）
ＷＢ＿Ｇ＝ＡｖｅＹ×Ｇｆ／ＡｖｅＧ・・・（１４）
ＷＢ＿Ｂ＝ＡｖｅＹ×Ｂｆ／ＡｖｅＢ・・・（１５）
【００４０】
それに対して、領域判別情報８０６＝「０」のときは、第２のＷＢ係数決定方法である以下の式（１６）〜（１８）を用いてＷＢ係数８０８を決定する。この処理が、本発明でいう第２のパラメータ決定方法の例である。
ＷＢ＿Ｒ＝ＡｖｅＹ×１０２４／ＡｖｅＲ・・・（１６）
ＷＢ＿Ｇ＝ＡｖｅＹ×１０２４／ＡｖｅＧ・・・（１７）
ＷＢ＿Ｂ＝ＡｖｅＹ×１０２４／ＡｖｅＢ・・・（１８）
【００４１】
以上がＷＢ係数決定及びＷＢ補正処理となる。ここで決定されたＷＢ係数８０８、領域判別情報８０６、ＷＢ係数決定方法は、図１の圧縮回路１１０で圧縮された画像と共にヘッダー情報の一部として記録される。本実施形態においては、Ｅｘｉｆフォーマットのプライベートタグ領域に格納される。
【００４２】
以上述べたように、本発明を適用することにより、特定領域が顔領域に含まれている場合とそれ以外の場合とでＷＢ係数決定方法を切り替える。これにより、ユーザに画面中の「白領域」を設定するのか、「顔」領域を設定するのかを指示させることなく自動的に最適なマニュアルホワイトバランス係数を設定することが可能となる。
【００４３】
本発明による効果をまとめると、顔検出を用いて顔が存在する場合に顔に最適なＷＢ係数と、顔が存在しない場合に画像の白領域を検出してＷＢ係数を決定するデジタルカメラにおけるマニュアルホワイトバランス設定を行う場合に、ユーザがどちらの手段でマニュアルホワイトバランス処理を実施したいかを設定することなく、自動にマニュアルホワイトバランスのＷＢ係数決定のための目標値もしくは決定方法を切り換えることが可能になる。
【００４４】
なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。
【００４５】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４７】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけに限らない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現されてもよい。
【００４８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる形態でもよい。この場合メモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態に係る撮像装置の機能構成を示す概略ブロック図である。
【図２】テンプレートマッチングによるパターン認識処理を説明するためのフローチャートである。
【図３】テンプレートマッチングの概念を説明するための図である。
【図４】第１の実施形態におけるマニュアルホワイトバランス時のホワイトバランス係数決定のための構成を示す図である。
【図５】マニュアルホワイトバランス設定枠の設定時の画面表示例を示す図である。
【図６】マニュアルホワイトバランス設定枠の設定時の画面表示例を示す図である。
【図７】マニュアルホワイトバランス設定枠の設定時の画面表示例を示す図である。
【図８】第２の実施形態におけるマニュアルホワイトバランス時のホワイトバランス係数決定のための構成を示す図である。
【図９】従来のマニュアルホワイトバランス設定枠について説明するための図である。
【符号の説明】
【００５０】
１０１：固体撮像素子
１０２：メモリ
１０３：ホワイトバランス制御部
１０４：色変換マトリックス回路
１０５：ローパスフィルタ回路
１０６：ＣＳＵＰ回路
１０７：ＲＧＢ変換回路
１０８：ガンマ補正回路
１０９：色輝度変換回路
１１０：圧縮回路
１１１：輝度信号生成回路
１１２：エッジ強調回路
１１３：制御回路
１１４：顔検出部
１１５：ＣＰＵ
４０１：顔検出部
４０３：マニュアルホワイトバランス枠設定部
４０５：領域判別部
４０７：目標値決定部
４０８：ホワイトバランス係数算出部
８０１：顔検出部
８０３：マニュアルホワイトバランス枠設定部
８０５：領域判別部
８０７：ホワイトバランス係数決定部
【特許請求の範囲】
【請求項１】
撮像を行う撮像手段と、
前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、
前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段と、
前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する領域判別手段と、
前記領域判別手段による判別結果に基づいてパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段により決定されたパラメータを保持するパラメータ保持手段と、
前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う画像処理手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記パラメータ決定手段は、前記領域判別手段による判別結果に基づいて目標値を決定する目標値決定手段と、前記特定領域に含まれる画像データと前記目標値決定手段により決定された目標値とに基づいてパラメータを算出するパラメータ算出手段とにより構成されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記目標値決定手段は、少なくとも２つ以上の目標値を有し、前記領域判別手段による判別結果に基づいて目標値を選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記少なくとも２つ以上の目標値のうち、少なくとも一つは肌色に基づいて決定された目標値であり、少なくとも一つは白色に基づいて決定された目標値であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記パラメータ決定手段は、前記領域判別手段により前記特定領域が前記顔領域に含まれると判別された場合に、前記特定領域に含まれる画像データを用いて第１のパラメータを算出する第１のパラメータ決定方法と、前記領域判別手段により前記特定領域が前記顔領域に含まれないと判別された場合に、前記特定領域に含まれる画像データを用いて第２のパラメータを算出する第２のパラメータ決定方法とを実行することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第１のパラメータ決定手段には第１の目標値が、前記第２のパラメータ決定手段には第２の目標値が予め設定されており、それぞれの目標値に応じてパラメータが決定されることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記パラメータ決定手段により決定されるパラメータは、画像データのホワイトバランス補正を行うホワイトバランス係数であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記領域判別手段による判別結果を表示装置に表示する第１の領域判別結果表示手段を備えたことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の領域判別結果表示手段は、前記特定領域が前記顔領域に含まれていることを表すアイコンと、前記特定領域が前記顔領域に含まれていないことを表すアイコンとを表示することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記パラメータ保持手段が保持するパラメータ決定時の前記領域判別手段による判別結果を表示装置に表示する第２の領域判別結果表示手段を備えたことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記第２の領域判別結果表示手段は、パラメータ決定時に前記特定領域が前記顔領域に含まれていたことを表すアイコンと、パラメータ決定時に前記特定領域が前記顔領域に含まれていないことを表すアイコンとを表示することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記撮像手段により撮像された画像データを記録する記憶媒体を備え、
前記画像データの記録時に、前記パラメータ保持手段に保持されているパラメータの決定時の前記領域判別手段による判別結果、前記パラメータ保持手段に保持されているパラメータの決定時に前記目標値決定手段により決定された目標値、及び前記パラメータ保持手段に保持されているパラメータ又は該パラメータに関連付けられる値のうち少なくともいずれかを該画像データと関連付けて前記記憶媒体に記録することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項１３】
前記撮像手段により撮像された画像データを記録する記憶媒体を備え、
前記画像データの記録時に、前記パラメータ保持手段に保持されているパラメータの決定時の前記領域判別手段による判別結果、前記パラメータ保持手段に保持されているパラメータの決定方法、及び前記パラメータ保持手段に保持されているパラメータ又は該パラメータに関連付けられる値のうち少なくともいずれかを該画像データと関連付けて前記記憶媒体に記録することを特徴とする請求項５又は６に記載の撮像装置。
【請求項１４】
撮像を行う撮像手段と、前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段とを備えた撮像装置の制御方法であって、
前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する処理と、
前記特定領域が前記顔領域に含まれるか否かの判別結果に基づいてパラメータを決定する処理と、
前記決定されたパラメータを保持手段に保持する処理と、
前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う処理とを有することを特徴とする撮像装置の制御方法。
【請求項１５】
撮像を行う撮像手段と、前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段とを備えた撮像装置を制御するためのプログラムであって、
前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する処理と、
前記特定領域が前記顔領域に含まれるか否かの判別結果に基づいてパラメータを決定する処理と、
前記決定されたパラメータを保持手段に保持する処理と、
前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う処理とをコンピュータに実行させるためのプログラム。
【請求項１】
撮像を行う撮像手段と、
前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、
前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段と、
前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する領域判別手段と、
前記領域判別手段による判別結果に基づいてパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段により決定されたパラメータを保持するパラメータ保持手段と、
前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う画像処理手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記パラメータ決定手段は、前記領域判別手段による判別結果に基づいて目標値を決定する目標値決定手段と、前記特定領域に含まれる画像データと前記目標値決定手段により決定された目標値とに基づいてパラメータを算出するパラメータ算出手段とにより構成されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記目標値決定手段は、少なくとも２つ以上の目標値を有し、前記領域判別手段による判別結果に基づいて目標値を選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記少なくとも２つ以上の目標値のうち、少なくとも一つは肌色に基づいて決定された目標値であり、少なくとも一つは白色に基づいて決定された目標値であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記パラメータ決定手段は、前記領域判別手段により前記特定領域が前記顔領域に含まれると判別された場合に、前記特定領域に含まれる画像データを用いて第１のパラメータを算出する第１のパラメータ決定方法と、前記領域判別手段により前記特定領域が前記顔領域に含まれないと判別された場合に、前記特定領域に含まれる画像データを用いて第２のパラメータを算出する第２のパラメータ決定方法とを実行することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第１のパラメータ決定手段には第１の目標値が、前記第２のパラメータ決定手段には第２の目標値が予め設定されており、それぞれの目標値に応じてパラメータが決定されることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記パラメータ決定手段により決定されるパラメータは、画像データのホワイトバランス補正を行うホワイトバランス係数であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記領域判別手段による判別結果を表示装置に表示する第１の領域判別結果表示手段を備えたことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の領域判別結果表示手段は、前記特定領域が前記顔領域に含まれていることを表すアイコンと、前記特定領域が前記顔領域に含まれていないことを表すアイコンとを表示することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記パラメータ保持手段が保持するパラメータ決定時の前記領域判別手段による判別結果を表示装置に表示する第２の領域判別結果表示手段を備えたことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記第２の領域判別結果表示手段は、パラメータ決定時に前記特定領域が前記顔領域に含まれていたことを表すアイコンと、パラメータ決定時に前記特定領域が前記顔領域に含まれていないことを表すアイコンとを表示することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記撮像手段により撮像された画像データを記録する記憶媒体を備え、
前記画像データの記録時に、前記パラメータ保持手段に保持されているパラメータの決定時の前記領域判別手段による判別結果、前記パラメータ保持手段に保持されているパラメータの決定時に前記目標値決定手段により決定された目標値、及び前記パラメータ保持手段に保持されているパラメータ又は該パラメータに関連付けられる値のうち少なくともいずれかを該画像データと関連付けて前記記憶媒体に記録することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項１３】
前記撮像手段により撮像された画像データを記録する記憶媒体を備え、
前記画像データの記録時に、前記パラメータ保持手段に保持されているパラメータの決定時の前記領域判別手段による判別結果、前記パラメータ保持手段に保持されているパラメータの決定方法、及び前記パラメータ保持手段に保持されているパラメータ又は該パラメータに関連付けられる値のうち少なくともいずれかを該画像データと関連付けて前記記憶媒体に記録することを特徴とする請求項５又は６に記載の撮像装置。
【請求項１４】
撮像を行う撮像手段と、前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段とを備えた撮像装置の制御方法であって、
前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する処理と、
前記特定領域が前記顔領域に含まれるか否かの判別結果に基づいてパラメータを決定する処理と、
前記決定されたパラメータを保持手段に保持する処理と、
前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う処理とを有することを特徴とする撮像装置の制御方法。
【請求項１５】
撮像を行う撮像手段と、前記撮像手段により撮像された画像データ中の顔領域を検出する顔領域検出手段と、前記撮像手段により撮像された画像データ中の特定領域を指示する特定領域指示手段とを備えた撮像装置を制御するためのプログラムであって、
前記特定領域指示手段により指示された特定領域が前記顔領域検出手段により検出された顔領域に含まれるか否かを判別する処理と、
前記特定領域が前記顔領域に含まれるか否かの判別結果に基づいてパラメータを決定する処理と、
前記決定されたパラメータを保持手段に保持する処理と、
前記パラメータ保持手段により保持されているパラメータに基づいて前記撮像手段により撮像された画像データに画像処理を行う処理とをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−８７９９９（Ｐ２０１０−８７９９９Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５６８０６（Ｐ２００８−２５６８０６）
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]