画像処理装置、方法及びプログラム
【課題】ストロボを発光した場合にホワイトバランスを適切に調整できるようにする。
【解決手段】ストロボ非発光時の画像データと本発光時の画像データとの差分値から被写体領域を抽出し、その抽出した被写体候補領域のノイズ成分を低減した後、被写体候補領域に照射されている光量を算出する。ストロボ非発光時の画像データから外光用ホワイトバランス補正値を算出し、本発光時の画像データからストロボ光用ホワイトバランス補正値を算出して、これら外光用ホワイトバランス補正値とストロボ光用ホワイトバランス補正値とを、被写体候補領域に照射されている光量比率に応じて混合する。
【解決手段】ストロボ非発光時の画像データと本発光時の画像データとの差分値から被写体領域を抽出し、その抽出した被写体候補領域のノイズ成分を低減した後、被写体候補領域に照射されている光量を算出する。ストロボ非発光時の画像データから外光用ホワイトバランス補正値を算出し、本発光時の画像データからストロボ光用ホワイトバランス補正値を算出して、これら外光用ホワイトバランス補正値とストロボ光用ホワイトバランス補正値とを、被写体候補領域に照射されている光量比率に応じて混合する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特にストロボを発光した場合にホワイトバランスを調整するのに好適な画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
撮像素子から出力された信号はＡ／Ｄ変換によってデジタル化され、複数のブロックに分割される。各ブロック信号はＲ（赤）、Ｇ（緑）、Ｂ（青）を含む色信号で構成されており、その色評価値の算出例として下式（１）がある。
Ｃｘ[ｉ]＝（Ｒ[ｉ]−Ｂ[ｉ]）／Ｙ[ｉ]×１０２４
Ｃｙ[ｉ]＝（Ｒ[ｉ]＋Ｂ[ｉ]−２Ｇ[ｉ]）／Ｙ[ｉ]×１０２４ …（１）
ここで、Ｙ[ｉ]＝Ｒ[ｉ]＋２Ｇ[ｉ]＋Ｂ[ｉ]である。
【０００３】
そして、色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）が予め設定した白検出範囲に含まれる場合は、そのブロックが白であると判定し、白検出範囲に入った色画素の積分値ｓｕｍＲ、ｓｕｍＧ、ｓｕｍＢを算出して、下式（２）のようにホワイトバランス係数を算出する。
ＷＢＣｏ_Ｒ＝ｓｕｍＹ×１０２４／ｓｕｍＲ
ＷＢＣｏ_Ｇ＝ｓｕｍＹ×１０２４／ｓｕｍＧ …（２）
ＷＢＣｏ_Ｂ＝ｓｕｍＹ×１０２４／ｓｕｍＢ
ここで、ｓｕｍＹ＝（ｓｕｍＲ＋２×ｓｕｍＧ＋ｓｕｍＢ）／４である。
【０００４】
従来、ストロボ撮影時におけるホワイトバランス係数は、外光のみが照射された画像信号から外光のホワイトバランス係数を算出すると共に、ストロボが照射された画像信号からストロボのホワイトバランス係数を算出し、被写体に対するストロボ寄与度から両者を加重平均することで算出している。このとき、外光のみが照射された画像信号としてはフィールド読み出しされた信号を用いている。これは、フィールド読み出しが画素の加算によりフレーム読み出しと比べて短い時間で処理できるからである。このフィールド読み出しの画像データから外光のみが照射された画像信号のホワイトバランス係数を算出し、それをストロボが照射された画像信号から算出したホワイトバランス係数と加重加算することで最終的なホワイトバランス係数を算出する。
【０００５】
特許文献１では、予備露光の際に、ストロボ光なしにデフォルト撮影条件下で外光による色温度情報が取得され、ストロボ発光時のホワイトバランスの制御値と外光による色温度情報に基づくホワイトバランスの制御値との比例配分から、ストロボ発光時におけるホワイトバランスの制御値を決定するようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０９−３２２１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１に開示された従来技術では、外光用のホワイトバランス補正値とストロボ光用のホワイトバランス補正値との配分比率が誤って算出された場合の対策が考慮されていない。
【０００８】
本発明は上述した課題に鑑みてなされたものであり、ストロボを発光した場合にホワイトバランスを適切に調整できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、撮影により得られた画像データを処理する画像処理装置であって、撮影により得られた画像データの被写体候補領域を抽出する被写体候補領域抽出手段と、前記被写体候補領域抽出手段により抽出した被写体候補領域のノイズ成分を低減するノイズ低減手段と、前記ノイズ低減手段によりノイズ成分が低減された被写体候補領域に照射されている光量を算出する光量算出手段とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ストロボを発光した場合にホワイトバランスを適切に調整することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係るカメラの構成を示すブロック図である。
【図２Ａ】第１のＷＢ補正値の算出処理を示すフローチャートである。
【図２Ｂ】第２のＷＢ補正値の算出処理を示すフローチャートである。
【図３】白検出範囲を示す図である。
【図４】撮影駆動モードによる分光差分の補正例を示す図である。
【図５】第１の実施形態における照射量比率算出処理を示すフローチャートである。
【図６】被写体領域情報の算出処理例を示す図である。
【図７】ノイズ低減処理におけるゲイン算出例を示す図である。
【図８】メディアンフィルターによるノイズの平滑化処理例を示す図である。
【図９】第２の実施形態における照射量比率算出処理を示すフローチャートである。
【図１０】ストロボ照射成分が小さい部分を除去するゲイン算出例を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係るカメラ（撮像装置）の構成を示すブロック図である。図１において、１０１はＣＣＤやＣＭＯＳセンサ等からなる固体撮像素子であり、その表面は例えばベイヤー配列のようなＲＧＢ（赤、緑、青）のカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。
【００１３】
１０２はメモリであり、固体撮像素子１０１で得られた画像信号を記憶する。１０３はＷＢ（ホワイトバランス）制御部であり、メモリ１０２に記憶された画像信号からの情報に基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像信号に対してＷＢ補正を行う。このＷＢ制御部１０３におけるＷＢ補正値の算出方法については後述する。
【００１４】
１０４は色変換ＭＴＸ（色変換マトリックス）回路であり、ＷＢ制御部１０３でＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。１０５はＬＰＦ（ローパスフィルタ）回路であり、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限する。１０６はＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路であり、ＬＰＦ回路１０５で帯域制限された画像信号のうち、飽和部分の偽色信号を抑圧する。
【００１５】
１１１はＹ（輝度信号）生成回路であり、ＷＢ制御部１０３でＷＢ補正された画像信号から輝度信号Ｙを生成する。１１２はエッジ強調回路であり、Ｙ生成回路で生成された輝度信号Ｙに対してエッジ強調処理を施す。
【００１６】
１０７はＲＧＢ変換回路であり、ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号ＹとをＲＧＢ信号に変換する。１０８はγ補正回路であり、ＲＧＢ変換回路１０７で変換されたＲＧＢ信号に階調補正を施す。１０９は色輝度変換回路であり、γ補正回路１０８で補正されたＲＧＢ信号をＹＵＶ信号に変換する。１１０はＪＰＥＧ圧縮回路であり、色輝度変換回路１０９で変換されたＹＵＶ信号を圧縮して、外部記録媒体又は内部記録媒体に画像信号として記録する。
【００１７】
１１４はＣＰＵであり、画像全体が適切な明るさになるようなシャッター速度、絞り値を計算すると共に、合焦領域内にある被写体に合焦するように不図示の撮影レンズ内のフォーカスレンズの駆動量を計算する。１１３は制御回路であり、ＣＰＵ１１４で計算された露出値（シャッター速度、絞り値）及びフォーカスレンズの駆動量に基づいて露出及びフォーカスをそれぞれ制御する。
【００１８】
以下、ＷＢ制御部１０３におけるＷＢ補正値の算出方法について詳細に説明する。まず、図２Ａを参照して、外光用ホワイトバランス補正値（以下、第１のＷＢ補正値と称する）の算出方法の手順について説明する。メモリ１０２に記憶された画像信号を読み出し、その画面を任意のｍ個のブロックに分割する（ステップＳ１０１）。そして、各ブロック（１〜ｍ）毎に、画素値を各色ごとに加算平均して色平均値（Ｒ[ｉ]、Ｇ[ｉ]、Ｂ[ｉ]）を算出し、式（１）を用いて色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）を算出する（ステップＳ１０２）。
Ｃｘ[ｉ]＝（Ｒ[ｉ]−Ｂ[ｉ]）／Ｙ[ｉ]×１０２４
Ｃｙ[ｉ]＝（Ｒ[ｉ]＋Ｂ[ｉ]−２Ｇ[ｉ]）／Ｙ[ｉ]×１０２４ …（１）
ここで、Ｙ[ｉ]＝Ｒ[ｉ]＋２Ｇ[ｉ]＋Ｂ[ｉ]である。
【００１９】
次に、ステップＳ１０２において算出したｉ番目のブロックの色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）が、図３（ａ）に示すような予め設定した白検出範囲３０１に含まれるかどうかを判断する（ステップＳ１０３）。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。この白検出範囲３０１は、撮影モードによって別設定できるものとする。図３におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。また、ｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ（緑）成分が大きくなり、つまり蛍光灯であることを示している。
【００２０】
ステップＳ１０２において算出した色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）が白検出範囲３０１に含まれる場合（ステップＳ１０３でＹＥＳ）、そのブロックが白色であると判断する。そして、そのブロックの色平均値（Ｒ[ｉ]、Ｇ[ｉ]、Ｂ[ｉ]）を積算していき（ステップＳ１０４）、その後ステップＳ１０５に進む。ステップＳ１０２において算出した色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）が白検出範囲３０１に含まれない場合（ステップＳ１０３でＮＯ）、ステップＳ１０４を経ずにステップＳ１０５に進む。このステップＳ１０３及びステップＳ１０４の処理は、下式（３）により表すことができる。
【００２１】
【数１】
【００２２】
ここで、式（３）において、色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）が白検出範囲３０１に含まれる場合はＳｗ[ｉ]を１に、含まれない場合はＳｗ[ｉ]を０とする。これにより、ステップＳ１０３の判断により色平均値（Ｒ[ｉ]、Ｇ[ｉ]、Ｂ[ｉ]）の加算を行うか、行わないかの処理を実質的に行っている。
【００２３】
上述の第１のＷＢ補正値は、ストロボ非発光時の画像データより外光用ＷＢ補正値を算出するので、撮影駆動モードが異なる場合にも適応できる。例えば、過去に算出されたＥＶＦ（Ｅｌｅｃｔｏｒｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）のＷＢ補正値を使用することができる。ただし、撮影駆動モードにより分光差分が生じる場合は、例えば図４に示すようにΔＣｘ、ΔＣｙを補正
してＷＢ補正値を算出する。
【００２４】
ステップＳ１０５では、すべてのブロックについて上記処理を行ったかどうかを判断する。未処理のブロックがあればステップＳ１０２に戻って上記処理を繰り返し、すべてのブロックの処理が終了していればステップＳ１０６に進む。ステップ１０６では、得られた色評価値の積分値（ｓｕｍＲ、ｓｕｍＧ、ｓｕｍＢ）から、以下の式（４）を用いて、第１のＷＢ補正値（ＷＢＣｏ１_Ｒ、ＷＢＣｏ１_Ｇ、ＷＢＣｏ１_Ｂ）を算出する。
ＷＢＣｏ１_Ｒ＝ｓｕｍＹ×１０２４／ｓｕｍＲ
ＷＢＣｏ１_Ｇ＝ｓｕｍＹ×１０２４／ｓｕｍＧ …（４）
ＷＢＣｏ１_Ｂ＝ｓｕｍＹ×１０２４／ｓｕｍＢ
ここで、ｓｕｍＹ＝（ｓｕｍＲ＋２×ｓｕｍＧ＋ｓｕｍＢ）／４である。
【００２５】
次に、図２Ｂを参照して、ストロボ光用ホワイトバランス補正値（以下、第２のＷＢ補正値と称する）の算出方法の手順について説明する。ステップＳ２０１〜ステップＳ２０６において、基本的には、上述の第１のＷＢ補正値の算出処理と同様の処理を行う。第１のＷＢ補正値の算出処理と異なる点は、本発光時の画像データから図３（ｂ）に示す白検出範囲３０２のようにストロボ光用の白検出範囲で処理する点である。これは、ストロボ光が既知の光源であるので白検出範囲３０２のように限定できるからである。もしくは、ストロボ光用ＷＢ補正値を既知のものとして記憶しておいてもよい。
【００２６】
以上のようにして算出した第１のＷＢ補正値と第２のＷＢ補正値とを、被写体領域に照射されている外光量とストロボ光量の光量比率（照射量比率）によってＭｉｘ（混合）する。図５を参照して、第１の実施形態における光量比率の算出方法の手順について説明する。ステップＳ３０１で、ストロボ非発光時の画像データから、図６（ａ）に示すように、ｎ個で構成される輝度ブロックａ［ｎ］を算出する。同様に、本発光時の画像データから、図６（ｂ）に示すように、ｎ個で構成される輝度ブロックｂ［ｎ］を取得する。この場合に、本発光時と非発光時とで露光条件が異なる場合は、露光条件を揃えてから輝度ブロックを算出する。輝度ブロックａ［ｎ］及びｂ［ｎ］は、撮像装置が備えるＲＡＭ等に一時的に格納される。
【００２７】
次に、ステップＳ３０２で、２つの輝度ブロックａ［ｎ］と輝度ブロックｂ［ｎ］との差分値より、本発光時における被写体領域の反射光となり、被写体候補領域情報ｃ［ｎ］を抽出することができる。
【００２８】
次に、ステップＳ３０３で、輝度ブロック毎にノイズを低減するようなゲイン値を乗算するノイズ低減処理を行う。ここでいうノイズとは、例えばストロボ光による正反射成分等により極端に返り値が大きくなってしまうことであり、このようなノイズ成分がある場合には所望値を得ることができない。ここでは極端に高い輝度値のブロック成分を除去するように、例えば図７に示すように閾値Ｔｈ１〜Ｔｈ２の範囲では輝度値が高くなるに従って徐々に値を下げるようにしたゲイン値をブロック毎に乗算する。
【００２９】
次に、ステップＳ３０４で、平滑化処理を行う。ステップＳ３０３においては極端に高い輝度ブロックを排除できるが、例えば、正反射成分の周辺部や点滅光源等があった場合に返り値として所望値を得ることができなかったり、被写体領域と誤判別（ノイズ）したりする場合がある。点滅光源に関しては、非発光画像の本発光画像と時間差分があるために返り値として所望値を得られないためである。このようなブロック成分を平滑化するために、例えば図８に示すようなメディアンフィルターのように中間値に置き換える処理によってノイズを平滑化する。
【００３０】
次に、ステップＳ３０５で、ステップＳ３０３において乗算したようなゲインを再度乗算するノイズ低減処理を行う。極端に高い輝度ブロックを除去した部分が平滑化処理によって再出してしまうので、平滑化処理後にノイズを低減するようなゲインを乗算するものである。
【００３１】
次に、ステップＳ３０５で、被写体領域における光量比率を算出する。上記のようにして算出された輝度ブロック値を被写体領域に照射されているストロボ照射量成分とする。このように算出された被写体領域のストロボ照射量成分のブロックと上述の輝度ブロックａ［ｎ］、ｂ［ｎ］とから、ストロボ非発光時被写体輝度（Ｙ_ａ）と本発光時被写体輝度（Ｙ_ｂ）とを算出する。各ブロックのストロボ照射量成分をＦｌａｓｈ Ｗｅｉｇｈｔ［ｎ］とすると、式（５）によりＹ_ａとＹ_ｂを算出する。
【００３２】
【数２】
【００３３】
即ち、被写体領域に照射されている外光量Ｙ１とストロボ光量Ｙ２とは、以下の式になる。
Ｙ１＝Ｙ_ａ
Ｙ２＝Ｙ_ｂ−Ｙ_ａ
【００３４】
このように算出された外光量Ｙ１とストロボ光量Ｙ２との比率を光量比率として、第１のＷＢ補正値ＷＢＣｏ１と第２のＷＢ補正値ＷＢＣｏ２とを混合する。
ＷＢＣｏ1：ＷＢＣｏ２＝Ｙ１：Ｙ２
【００３５】
そして、上記光量比率（混合比率）で算出したＷＢ補正値（ＷＢＣｏ_Ｒ、ＷＢＣｏ_Ｇ、ＷＢＣｏ_Ｂ）を最終ホワイトバランス係数として出力する。
【００３６】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、被写体領域に照射されているストロボ照射量成分をさらに制限して、被写体領域における光量比率を算出する点が第１の実施形態と異なる。以下では第１の実施形態と異なる点を中心に説明し、第１の実施形態と同様の構成や処理についての詳細の説明は省略する。
【００３７】
図９を参照して、第２の実施形態における光量比率の算出方法の手順について説明する。ステップＳ４０１〜ステップＳ４０５、ステップＳＳ４０７の処理は、第１の実施形態のステップＳ３０１〜ステップＳ３０６と同様である。ステップＳ４０６で、算出されたストロボ照射量成分のうち、所定の値よりも小さい照射量成分を除去する。ストロボ光が多く照射されている部分がメインの被写体領域であると考えられるためである。ステップＳ４０５を経て算出されたストロボ照射量成分に対してそのｎ個のブロックの最大値（Ｆｌａｓｈ＿Ｍａｘ）を算出し、式（６）で示す比を求める。
Ｒａｔｉｏ［ｎ］＝ＦｌａｓｈＷｅｉｇｈｔ［ｎ］／Ｆｌａｓｈ＿Ｍａｘ …（６）
【００３８】
そして、その比に応じて、例えば図１０に示すように閾値Ｔｈ１〜Ｔｈ２の範囲では比が高くなるに従って徐々に値を上げるようにしたゲイン値を算出する。このようにして算出したゲイン値を、各ブロックＦｌａｓｈＷｅｉｇｈｔ［ｎ］に乗算する。
【００３９】
（他の実施形態）
上記実施形態では、本発明をデジタルカメラやデジタルビデオカメラ等の撮像装置に適用する例を説明したが、これに限られるものではなく、画像のホワイトバランス制御を行う機能を有する画像処理装置であれば適用可能である。例えば、パーソナルコンピュータで動作するアプリケーションソフトウェアが、ＲＡＷ画像ファイル（撮像素子から出力されたホワイトバランス補正前のデータのファイル）に対して、本発明の処理を行う例がある。
【００４０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４１】
１０１：固体撮像素子、１０２：メモリ、１０３：ＷＢ（ホワイトバランス）制御部、１０４：色変換ＭＴＸ（色変換マトリックス）回路、１０５：ＬＰＦ（ローパスフィルタ）回路、１０６：ＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路、１０７：ＲＧＢ変換回路、１０８：γ補正回路、１０９：色輝度変換回路、１１０：ＪＰＥＧ圧縮回路、１１１：Ｙ（輝度信号）生成回路、１１２：エッジ強調回路、１１３：制御回路、１１４：ＣＰＵ
【技術分野】
【０００１】
本発明は、特にストロボを発光した場合にホワイトバランスを調整するのに好適な画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
撮像素子から出力された信号はＡ／Ｄ変換によってデジタル化され、複数のブロックに分割される。各ブロック信号はＲ（赤）、Ｇ（緑）、Ｂ（青）を含む色信号で構成されており、その色評価値の算出例として下式（１）がある。
Ｃｘ[ｉ]＝（Ｒ[ｉ]−Ｂ[ｉ]）／Ｙ[ｉ]×１０２４
Ｃｙ[ｉ]＝（Ｒ[ｉ]＋Ｂ[ｉ]−２Ｇ[ｉ]）／Ｙ[ｉ]×１０２４ …（１）
ここで、Ｙ[ｉ]＝Ｒ[ｉ]＋２Ｇ[ｉ]＋Ｂ[ｉ]である。
【０００３】
そして、色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）が予め設定した白検出範囲に含まれる場合は、そのブロックが白であると判定し、白検出範囲に入った色画素の積分値ｓｕｍＲ、ｓｕｍＧ、ｓｕｍＢを算出して、下式（２）のようにホワイトバランス係数を算出する。
ＷＢＣｏ_Ｒ＝ｓｕｍＹ×１０２４／ｓｕｍＲ
ＷＢＣｏ_Ｇ＝ｓｕｍＹ×１０２４／ｓｕｍＧ …（２）
ＷＢＣｏ_Ｂ＝ｓｕｍＹ×１０２４／ｓｕｍＢ
ここで、ｓｕｍＹ＝（ｓｕｍＲ＋２×ｓｕｍＧ＋ｓｕｍＢ）／４である。
【０００４】
従来、ストロボ撮影時におけるホワイトバランス係数は、外光のみが照射された画像信号から外光のホワイトバランス係数を算出すると共に、ストロボが照射された画像信号からストロボのホワイトバランス係数を算出し、被写体に対するストロボ寄与度から両者を加重平均することで算出している。このとき、外光のみが照射された画像信号としてはフィールド読み出しされた信号を用いている。これは、フィールド読み出しが画素の加算によりフレーム読み出しと比べて短い時間で処理できるからである。このフィールド読み出しの画像データから外光のみが照射された画像信号のホワイトバランス係数を算出し、それをストロボが照射された画像信号から算出したホワイトバランス係数と加重加算することで最終的なホワイトバランス係数を算出する。
【０００５】
特許文献１では、予備露光の際に、ストロボ光なしにデフォルト撮影条件下で外光による色温度情報が取得され、ストロボ発光時のホワイトバランスの制御値と外光による色温度情報に基づくホワイトバランスの制御値との比例配分から、ストロボ発光時におけるホワイトバランスの制御値を決定するようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０９−３２２１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１に開示された従来技術では、外光用のホワイトバランス補正値とストロボ光用のホワイトバランス補正値との配分比率が誤って算出された場合の対策が考慮されていない。
【０００８】
本発明は上述した課題に鑑みてなされたものであり、ストロボを発光した場合にホワイトバランスを適切に調整できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、撮影により得られた画像データを処理する画像処理装置であって、撮影により得られた画像データの被写体候補領域を抽出する被写体候補領域抽出手段と、前記被写体候補領域抽出手段により抽出した被写体候補領域のノイズ成分を低減するノイズ低減手段と、前記ノイズ低減手段によりノイズ成分が低減された被写体候補領域に照射されている光量を算出する光量算出手段とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ストロボを発光した場合にホワイトバランスを適切に調整することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係るカメラの構成を示すブロック図である。
【図２Ａ】第１のＷＢ補正値の算出処理を示すフローチャートである。
【図２Ｂ】第２のＷＢ補正値の算出処理を示すフローチャートである。
【図３】白検出範囲を示す図である。
【図４】撮影駆動モードによる分光差分の補正例を示す図である。
【図５】第１の実施形態における照射量比率算出処理を示すフローチャートである。
【図６】被写体領域情報の算出処理例を示す図である。
【図７】ノイズ低減処理におけるゲイン算出例を示す図である。
【図８】メディアンフィルターによるノイズの平滑化処理例を示す図である。
【図９】第２の実施形態における照射量比率算出処理を示すフローチャートである。
【図１０】ストロボ照射成分が小さい部分を除去するゲイン算出例を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係るカメラ（撮像装置）の構成を示すブロック図である。図１において、１０１はＣＣＤやＣＭＯＳセンサ等からなる固体撮像素子であり、その表面は例えばベイヤー配列のようなＲＧＢ（赤、緑、青）のカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。
【００１３】
１０２はメモリであり、固体撮像素子１０１で得られた画像信号を記憶する。１０３はＷＢ（ホワイトバランス）制御部であり、メモリ１０２に記憶された画像信号からの情報に基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像信号に対してＷＢ補正を行う。このＷＢ制御部１０３におけるＷＢ補正値の算出方法については後述する。
【００１４】
１０４は色変換ＭＴＸ（色変換マトリックス）回路であり、ＷＢ制御部１０３でＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。１０５はＬＰＦ（ローパスフィルタ）回路であり、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限する。１０６はＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路であり、ＬＰＦ回路１０５で帯域制限された画像信号のうち、飽和部分の偽色信号を抑圧する。
【００１５】
１１１はＹ（輝度信号）生成回路であり、ＷＢ制御部１０３でＷＢ補正された画像信号から輝度信号Ｙを生成する。１１２はエッジ強調回路であり、Ｙ生成回路で生成された輝度信号Ｙに対してエッジ強調処理を施す。
【００１６】
１０７はＲＧＢ変換回路であり、ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号ＹとをＲＧＢ信号に変換する。１０８はγ補正回路であり、ＲＧＢ変換回路１０７で変換されたＲＧＢ信号に階調補正を施す。１０９は色輝度変換回路であり、γ補正回路１０８で補正されたＲＧＢ信号をＹＵＶ信号に変換する。１１０はＪＰＥＧ圧縮回路であり、色輝度変換回路１０９で変換されたＹＵＶ信号を圧縮して、外部記録媒体又は内部記録媒体に画像信号として記録する。
【００１７】
１１４はＣＰＵであり、画像全体が適切な明るさになるようなシャッター速度、絞り値を計算すると共に、合焦領域内にある被写体に合焦するように不図示の撮影レンズ内のフォーカスレンズの駆動量を計算する。１１３は制御回路であり、ＣＰＵ１１４で計算された露出値（シャッター速度、絞り値）及びフォーカスレンズの駆動量に基づいて露出及びフォーカスをそれぞれ制御する。
【００１８】
以下、ＷＢ制御部１０３におけるＷＢ補正値の算出方法について詳細に説明する。まず、図２Ａを参照して、外光用ホワイトバランス補正値（以下、第１のＷＢ補正値と称する）の算出方法の手順について説明する。メモリ１０２に記憶された画像信号を読み出し、その画面を任意のｍ個のブロックに分割する（ステップＳ１０１）。そして、各ブロック（１〜ｍ）毎に、画素値を各色ごとに加算平均して色平均値（Ｒ[ｉ]、Ｇ[ｉ]、Ｂ[ｉ]）を算出し、式（１）を用いて色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）を算出する（ステップＳ１０２）。
Ｃｘ[ｉ]＝（Ｒ[ｉ]−Ｂ[ｉ]）／Ｙ[ｉ]×１０２４
Ｃｙ[ｉ]＝（Ｒ[ｉ]＋Ｂ[ｉ]−２Ｇ[ｉ]）／Ｙ[ｉ]×１０２４ …（１）
ここで、Ｙ[ｉ]＝Ｒ[ｉ]＋２Ｇ[ｉ]＋Ｂ[ｉ]である。
【００１９】
次に、ステップＳ１０２において算出したｉ番目のブロックの色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）が、図３（ａ）に示すような予め設定した白検出範囲３０１に含まれるかどうかを判断する（ステップＳ１０３）。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。この白検出範囲３０１は、撮影モードによって別設定できるものとする。図３におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。また、ｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ（緑）成分が大きくなり、つまり蛍光灯であることを示している。
【００２０】
ステップＳ１０２において算出した色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）が白検出範囲３０１に含まれる場合（ステップＳ１０３でＹＥＳ）、そのブロックが白色であると判断する。そして、そのブロックの色平均値（Ｒ[ｉ]、Ｇ[ｉ]、Ｂ[ｉ]）を積算していき（ステップＳ１０４）、その後ステップＳ１０５に進む。ステップＳ１０２において算出した色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）が白検出範囲３０１に含まれない場合（ステップＳ１０３でＮＯ）、ステップＳ１０４を経ずにステップＳ１０５に進む。このステップＳ１０３及びステップＳ１０４の処理は、下式（３）により表すことができる。
【００２１】
【数１】
【００２２】
ここで、式（３）において、色評価値（Ｃｘ[ｉ]、Ｃｙ[ｉ]）が白検出範囲３０１に含まれる場合はＳｗ[ｉ]を１に、含まれない場合はＳｗ[ｉ]を０とする。これにより、ステップＳ１０３の判断により色平均値（Ｒ[ｉ]、Ｇ[ｉ]、Ｂ[ｉ]）の加算を行うか、行わないかの処理を実質的に行っている。
【００２３】
上述の第１のＷＢ補正値は、ストロボ非発光時の画像データより外光用ＷＢ補正値を算出するので、撮影駆動モードが異なる場合にも適応できる。例えば、過去に算出されたＥＶＦ（Ｅｌｅｃｔｏｒｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）のＷＢ補正値を使用することができる。ただし、撮影駆動モードにより分光差分が生じる場合は、例えば図４に示すようにΔＣｘ、ΔＣｙを補正
してＷＢ補正値を算出する。
【００２４】
ステップＳ１０５では、すべてのブロックについて上記処理を行ったかどうかを判断する。未処理のブロックがあればステップＳ１０２に戻って上記処理を繰り返し、すべてのブロックの処理が終了していればステップＳ１０６に進む。ステップ１０６では、得られた色評価値の積分値（ｓｕｍＲ、ｓｕｍＧ、ｓｕｍＢ）から、以下の式（４）を用いて、第１のＷＢ補正値（ＷＢＣｏ１_Ｒ、ＷＢＣｏ１_Ｇ、ＷＢＣｏ１_Ｂ）を算出する。
ＷＢＣｏ１_Ｒ＝ｓｕｍＹ×１０２４／ｓｕｍＲ
ＷＢＣｏ１_Ｇ＝ｓｕｍＹ×１０２４／ｓｕｍＧ …（４）
ＷＢＣｏ１_Ｂ＝ｓｕｍＹ×１０２４／ｓｕｍＢ
ここで、ｓｕｍＹ＝（ｓｕｍＲ＋２×ｓｕｍＧ＋ｓｕｍＢ）／４である。
【００２５】
次に、図２Ｂを参照して、ストロボ光用ホワイトバランス補正値（以下、第２のＷＢ補正値と称する）の算出方法の手順について説明する。ステップＳ２０１〜ステップＳ２０６において、基本的には、上述の第１のＷＢ補正値の算出処理と同様の処理を行う。第１のＷＢ補正値の算出処理と異なる点は、本発光時の画像データから図３（ｂ）に示す白検出範囲３０２のようにストロボ光用の白検出範囲で処理する点である。これは、ストロボ光が既知の光源であるので白検出範囲３０２のように限定できるからである。もしくは、ストロボ光用ＷＢ補正値を既知のものとして記憶しておいてもよい。
【００２６】
以上のようにして算出した第１のＷＢ補正値と第２のＷＢ補正値とを、被写体領域に照射されている外光量とストロボ光量の光量比率（照射量比率）によってＭｉｘ（混合）する。図５を参照して、第１の実施形態における光量比率の算出方法の手順について説明する。ステップＳ３０１で、ストロボ非発光時の画像データから、図６（ａ）に示すように、ｎ個で構成される輝度ブロックａ［ｎ］を算出する。同様に、本発光時の画像データから、図６（ｂ）に示すように、ｎ個で構成される輝度ブロックｂ［ｎ］を取得する。この場合に、本発光時と非発光時とで露光条件が異なる場合は、露光条件を揃えてから輝度ブロックを算出する。輝度ブロックａ［ｎ］及びｂ［ｎ］は、撮像装置が備えるＲＡＭ等に一時的に格納される。
【００２７】
次に、ステップＳ３０２で、２つの輝度ブロックａ［ｎ］と輝度ブロックｂ［ｎ］との差分値より、本発光時における被写体領域の反射光となり、被写体候補領域情報ｃ［ｎ］を抽出することができる。
【００２８】
次に、ステップＳ３０３で、輝度ブロック毎にノイズを低減するようなゲイン値を乗算するノイズ低減処理を行う。ここでいうノイズとは、例えばストロボ光による正反射成分等により極端に返り値が大きくなってしまうことであり、このようなノイズ成分がある場合には所望値を得ることができない。ここでは極端に高い輝度値のブロック成分を除去するように、例えば図７に示すように閾値Ｔｈ１〜Ｔｈ２の範囲では輝度値が高くなるに従って徐々に値を下げるようにしたゲイン値をブロック毎に乗算する。
【００２９】
次に、ステップＳ３０４で、平滑化処理を行う。ステップＳ３０３においては極端に高い輝度ブロックを排除できるが、例えば、正反射成分の周辺部や点滅光源等があった場合に返り値として所望値を得ることができなかったり、被写体領域と誤判別（ノイズ）したりする場合がある。点滅光源に関しては、非発光画像の本発光画像と時間差分があるために返り値として所望値を得られないためである。このようなブロック成分を平滑化するために、例えば図８に示すようなメディアンフィルターのように中間値に置き換える処理によってノイズを平滑化する。
【００３０】
次に、ステップＳ３０５で、ステップＳ３０３において乗算したようなゲインを再度乗算するノイズ低減処理を行う。極端に高い輝度ブロックを除去した部分が平滑化処理によって再出してしまうので、平滑化処理後にノイズを低減するようなゲインを乗算するものである。
【００３１】
次に、ステップＳ３０５で、被写体領域における光量比率を算出する。上記のようにして算出された輝度ブロック値を被写体領域に照射されているストロボ照射量成分とする。このように算出された被写体領域のストロボ照射量成分のブロックと上述の輝度ブロックａ［ｎ］、ｂ［ｎ］とから、ストロボ非発光時被写体輝度（Ｙ_ａ）と本発光時被写体輝度（Ｙ_ｂ）とを算出する。各ブロックのストロボ照射量成分をＦｌａｓｈ Ｗｅｉｇｈｔ［ｎ］とすると、式（５）によりＹ_ａとＹ_ｂを算出する。
【００３２】
【数２】
【００３３】
即ち、被写体領域に照射されている外光量Ｙ１とストロボ光量Ｙ２とは、以下の式になる。
Ｙ１＝Ｙ_ａ
Ｙ２＝Ｙ_ｂ−Ｙ_ａ
【００３４】
このように算出された外光量Ｙ１とストロボ光量Ｙ２との比率を光量比率として、第１のＷＢ補正値ＷＢＣｏ１と第２のＷＢ補正値ＷＢＣｏ２とを混合する。
ＷＢＣｏ1：ＷＢＣｏ２＝Ｙ１：Ｙ２
【００３５】
そして、上記光量比率（混合比率）で算出したＷＢ補正値（ＷＢＣｏ_Ｒ、ＷＢＣｏ_Ｇ、ＷＢＣｏ_Ｂ）を最終ホワイトバランス係数として出力する。
【００３６】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、被写体領域に照射されているストロボ照射量成分をさらに制限して、被写体領域における光量比率を算出する点が第１の実施形態と異なる。以下では第１の実施形態と異なる点を中心に説明し、第１の実施形態と同様の構成や処理についての詳細の説明は省略する。
【００３７】
図９を参照して、第２の実施形態における光量比率の算出方法の手順について説明する。ステップＳ４０１〜ステップＳ４０５、ステップＳＳ４０７の処理は、第１の実施形態のステップＳ３０１〜ステップＳ３０６と同様である。ステップＳ４０６で、算出されたストロボ照射量成分のうち、所定の値よりも小さい照射量成分を除去する。ストロボ光が多く照射されている部分がメインの被写体領域であると考えられるためである。ステップＳ４０５を経て算出されたストロボ照射量成分に対してそのｎ個のブロックの最大値（Ｆｌａｓｈ＿Ｍａｘ）を算出し、式（６）で示す比を求める。
Ｒａｔｉｏ［ｎ］＝ＦｌａｓｈＷｅｉｇｈｔ［ｎ］／Ｆｌａｓｈ＿Ｍａｘ …（６）
【００３８】
そして、その比に応じて、例えば図１０に示すように閾値Ｔｈ１〜Ｔｈ２の範囲では比が高くなるに従って徐々に値を上げるようにしたゲイン値を算出する。このようにして算出したゲイン値を、各ブロックＦｌａｓｈＷｅｉｇｈｔ［ｎ］に乗算する。
【００３９】
（他の実施形態）
上記実施形態では、本発明をデジタルカメラやデジタルビデオカメラ等の撮像装置に適用する例を説明したが、これに限られるものではなく、画像のホワイトバランス制御を行う機能を有する画像処理装置であれば適用可能である。例えば、パーソナルコンピュータで動作するアプリケーションソフトウェアが、ＲＡＷ画像ファイル（撮像素子から出力されたホワイトバランス補正前のデータのファイル）に対して、本発明の処理を行う例がある。
【００４０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４１】
１０１：固体撮像素子、１０２：メモリ、１０３：ＷＢ（ホワイトバランス）制御部、１０４：色変換ＭＴＸ（色変換マトリックス）回路、１０５：ＬＰＦ（ローパスフィルタ）回路、１０６：ＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路、１０７：ＲＧＢ変換回路、１０８：γ補正回路、１０９：色輝度変換回路、１１０：ＪＰＥＧ圧縮回路、１１１：Ｙ（輝度信号）生成回路、１１２：エッジ強調回路、１１３：制御回路、１１４：ＣＰＵ
【特許請求の範囲】
【請求項１】
撮影により得られた画像データを処理する画像処理装置であって、
撮影により得られた画像データの被写体候補領域を抽出する被写体候補領域抽出手段と、
前記被写体候補領域抽出手段により抽出した被写体候補領域のノイズ成分を低減するノイズ低減手段と、
前記ノイズ低減手段によりノイズ成分が低減された被写体候補領域に照射されている光量を算出する光量算出手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記被写体候補領域抽出手段は、ストロボ非発光時の画像データと本発光時の画像データとの差分値から被写体領域を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ低減手段は、前記被写体候補領域抽出手段により抽出した被写体候補領域の各ブロックに、前記各ブロックの輝度値に応じたゲイン値を乗算することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ノイズ低減手段は、メディアンフィルターによる平滑化処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ノイズ低減手段は、前記被写体候補領域抽出手段により抽出した被写体候補領域の各ブロックに、前記各ブロックの輝度値に応じたゲイン値を乗算し、
次に、メディアンフィルターによるノイズ平滑化処理を行い、
その後、前記被写体候補領域抽出手段により抽出した被写体候補領域の各ブロックに、前記各ブロックの輝度値に応じたゲイン値を再度乗算することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記光量算出手段により算出したストロボ照射量成分のうち、所定の値よりも小さい照射量成分を除去する除去手段を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
ストロボ非発光時の画像データから外光用ホワイトバランス補正値を算出し、本発光時の画像データからストロボ光用ホワイトバランス補正値を算出する算出手段を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記外光用ホワイトバランス補正値と前記ストロボ光用ホワイトバランス補正値とを、前記被写体候補領域抽出手段により抽出した被写体候補領域に照射されている光量比率に応じて混合する混合手段を備えたことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
撮影により得られた画像データを画像処理装置が処理する画像処理方法であって、
撮影により得られた画像データの被写体候補領域を抽出する手順と、
前記抽出した被写体候補領域のノイズ成分を低減する手順と、
前記ノイズ成分が低減された被写体候補領域に照射されている光量を算出する手順とを有することを特徴とする画像処理方法。
【請求項１０】
撮影により得られた画像データを処理するためのプログラムであって、
撮影により得られた画像データの被写体候補領域を抽出する処理と、
前記抽出した被写体候補領域のノイズ成分を低減する処理と、
前記ノイズ成分が低減された被写体候補領域に照射されている光量を算出する処理とをコンピュータに実行させるためのプログラム。
【請求項１】
撮影により得られた画像データを処理する画像処理装置であって、
撮影により得られた画像データの被写体候補領域を抽出する被写体候補領域抽出手段と、
前記被写体候補領域抽出手段により抽出した被写体候補領域のノイズ成分を低減するノイズ低減手段と、
前記ノイズ低減手段によりノイズ成分が低減された被写体候補領域に照射されている光量を算出する光量算出手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記被写体候補領域抽出手段は、ストロボ非発光時の画像データと本発光時の画像データとの差分値から被写体領域を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ低減手段は、前記被写体候補領域抽出手段により抽出した被写体候補領域の各ブロックに、前記各ブロックの輝度値に応じたゲイン値を乗算することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ノイズ低減手段は、メディアンフィルターによる平滑化処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ノイズ低減手段は、前記被写体候補領域抽出手段により抽出した被写体候補領域の各ブロックに、前記各ブロックの輝度値に応じたゲイン値を乗算し、
次に、メディアンフィルターによるノイズ平滑化処理を行い、
その後、前記被写体候補領域抽出手段により抽出した被写体候補領域の各ブロックに、前記各ブロックの輝度値に応じたゲイン値を再度乗算することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記光量算出手段により算出したストロボ照射量成分のうち、所定の値よりも小さい照射量成分を除去する除去手段を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
ストロボ非発光時の画像データから外光用ホワイトバランス補正値を算出し、本発光時の画像データからストロボ光用ホワイトバランス補正値を算出する算出手段を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記外光用ホワイトバランス補正値と前記ストロボ光用ホワイトバランス補正値とを、前記被写体候補領域抽出手段により抽出した被写体候補領域に照射されている光量比率に応じて混合する混合手段を備えたことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
撮影により得られた画像データを画像処理装置が処理する画像処理方法であって、
撮影により得られた画像データの被写体候補領域を抽出する手順と、
前記抽出した被写体候補領域のノイズ成分を低減する手順と、
前記ノイズ成分が低減された被写体候補領域に照射されている光量を算出する手順とを有することを特徴とする画像処理方法。
【請求項１０】
撮影により得られた画像データを処理するためのプログラムであって、
撮影により得られた画像データの被写体候補領域を抽出する処理と、
前記抽出した被写体候補領域のノイズ成分を低減する処理と、
前記ノイズ成分が低減された被写体候補領域に照射されている光量を算出する処理とをコンピュータに実行させるためのプログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１３４６５１（Ｐ２０１２−１３４６５１Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８３４８４（Ｐ２０１０−２８３４８４）
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]