画像処理装置および方法、記録媒体、並びにプログラム

【課題】撮像された画像の肌色を理想的な肌色に補正する。
【解決手段】撮像された１画像は、複数の領域、例えば、７×７個の領域に分割され、それぞれの領域毎に色が判別される。肌色と判別された領域の色に関するデータが用いられ、理想の肌色とするためのホワイトバランスのゲインが算出される。次に領域毎の輝度値の変化量を用いて撮像されている画像に凹凸があるか否かが判断される。凹凸があり、肌色であると判断される領域の数により、算出されたホワイトバランスのゲインが用いられるか否かが決定される。本発明は、ホワイトバランスを行うことにより理想的な色を再現するビデオカメラに適用できる。

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、ホワイトバランスを調整することにより、特定の色が所望の色となるように画像全体の色を調整する装置に適用して好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】ビデオカメラ、スチールカメラなど、デジタルやアナログを問わず、カラー画像を扱うカメラが普及しているが、これらのカメラで撮像した画像と、人間の目で見た画像とでは、色調が異なっている場合がある。これは、例えば、光源の分光分布により赤色が強い光源や緑色が強い光源が存在し、光源からの光を受けた被写体からの反射光の色バランスが崩れているからであり、人間は、白色に感じでも、受光素子を使用するデジタルカメラなどにおいては、光源の色を感知してしまうといった原因が一例としてあげられる。その結果、全体的に赤色を帯びた画像や、緑色を帯びた画像となってしまう場合があった。
【０００３】このようなことを防ぐために、デジタルカメラでは受光素子に取り込まれた被写体画像の色調を調整して、人間の目で見た被写体と同じ色調になるように、色バランスを調整する機能を有している。このような色バランスの調整は、色バランスが適切な白色光源下での色を再現するという意味で、一般にホワイトバランスの調整と称されており、そのホワイトバランスの調整は、例えば、適切な白色光源下でのＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色の強度比を用いて行われる。
【０００４】
【発明が解決しようとする課題】上述したように、人間の目で見た被写体と同じ色調になるように、デジタルカメラに取り込まれた被写体の色調を調整する場合、様々な状況、例えば、太陽光の下で撮影する状況、室内で撮影する状況などの異なる状況下で、常に最適な調整を行うのは困難であるという問題があった。
【０００５】ホワイトバランスなどの調整により色調を調整しても、誤った判断のもと誤った調整を行ってしまい、その画像を見る人に不快感を与えてしまう場合がある可能性があった。特に人間は、肌色、緑色、空色などの記憶色に対する判断が、他の色と比較して敏感であるという特徴がある。そのため、これらの色が撮像された画像において、ユーザが認識していた被写体の色調と異なると、他の色が異なる場合よりも、より敏感に反応し、不快感を感じてしまうといった問題があった。
【０００６】撮像された画像の色調が、忠実に被写体の色調を再現していたとしても、その再現によりユーザが不快感を感じてしまう場合もあった。例えば、上述したように、人間は、肌の色には敏感であるが、肌の色に関しては、カメラにより取得された画像と実際の画像の色とが異なっている方が好ましい場合がある。例えば、白人は、実際には赤みをおびた肌の色であっても、その色を忠実に再現した画像を見ると、もっと肌の色は白いはずであると感じたり、その赤みに対して不快に感じたりする場合があるということが経験的に言われている。従って、必ずしも、実際の色を忠実に再現すれば好ましいということではないという問題があった。
【０００７】また、人の顔のアップの画像では、色温度の低い光源の下では、白色との判別が難しいといった問題があり、そのために、誤った判断がされ、その判断のもと、色補正などの処理が実行されてしまったために、肌の色が青白く再現されてしまういったような問題もあった。
【０００８】ユーザは、デジタルカメラにより取得された画像の色調が気に入らなかった場合、所定のソフトウェアを用いて、その画像の色調を変化させる（加工する）ことができる。しかしながら、静止画については、このような処理を行うことができても、動画像に対してはできない、または、できても困難であるといった問題があった。
【０００９】また、そのようなソフトウェアを用いて修正することは、その修正を行ったユーザの好みや感覚が強く反映されるため、実際の色調とは大きくかけ離れてしまう可能性があり、実際の色調を再現するといった意味からは、あまり好ましい状況ではないといった問題があった。
【００１０】本発明はこのような状況に鑑みてなされたものであり、ホワイトバランスを調整することにより、肌色などの目的とする色が好ましい色として再現されるようにすることを課題とする。
【００１１】
【課題を解決するための手段】本発明の画像処理装置は、画像を撮像する撮像手段と、撮像手段により撮像された画像を複数の領域に分割し、その領域内の色を判別する判別手段と、判別手段による判別結果に基づいて、予め処理対象として設定されている所定の色であると判別された領域があるか否かを判断する判断手段と、判断手段により所定の色であると判別された領域があると判断された場合、所定の色が好ましい色となるようにホワイトバランスを調整する調整手段とを含むことを特徴とする。
【００１２】画像の四隅に対応する所定数の領域に、判断手段により所定の色であると判別された領域があると判断された場合、調整手段は、ホワイトバランスの調整を行わないようにすることができる。
【００１３】複数の領域のうちの第１の領域の輝度値と、第１の領域の周囲に位置する第２の領域の輝度値との差分値を算出する算出手段と、算出手段により算出された差分値が所定の値以上である第１の領域の数が、所定の値以下である第１の領域の数よりも多いか否かを判定する判定手段とをさらに含み、調整手段は、判定手段が、算出手段により算出された差分値が所定の値以上である第１の領域の数が、所定の値以下である第１の領域の数よりも多いと判定したとき、ホワイトバランスの調整を行うようにすることができる。
【００１４】本発明を適用した画像処理方法は、画像を撮像する撮像ステップと、撮像ステップの処理による撮像された画像を複数の領域に分割し、その領域内の色を判別する判別ステップと、判別ステップの処理で判別結果に基づいて、予め処理対象として設定されている所定の色であると判別された領域があるか否かを判断する判断ステップと、判断ステップの処理で所定の色であると判別された領域があると判断された場合、所定の色が好ましい色となるようにホワイトバランスを調整する調整ステップとを含むことを特徴とする。
【００１５】本発明の記録媒体のプログラムは、画像を撮像する撮像ステップと、撮像ステップの処理で撮像された画像を複数の領域に分割し、その領域内の色を判別する判別ステップと、判別ステップの処理による判別結果に基づいて、予め処理対象として設定されている所定の色であると判別された領域があるか否かを判断する判断ステップと、判断ステップの処理で所定の色であると判別された領域があると判断された場合、所定の色が好ましい色となるようにホワイトバランスを調整する調整ステップとを含むことを特徴とする。
【００１６】本発明のプログラムは、画像を撮像する撮像ステップと、撮像ステップの処理で撮像された画像を複数の領域に分割し、その領域内の色を判別する判別ステップと、判別ステップの処理による判別結果に基づいて、予め処理対象として設定されている所定の色であると判別された領域があるか否かを判断する判断ステップと、判断ステップの処理で所定の色であると判別された領域があると判断された場合、所定の色が好ましい色となるようにホワイトバランスを調整する調整ステップとをコンピュータに実行させることを特徴とする。
【００１７】本発明の画像処理装置および方法、並びにプログラムにおいては、撮像された画像が複数の領域に分割され、その領域内の色が判別され、その判別結果が、予め処理対象として設定されている所定の色であると判別された場合、その色が好ましい色となるようにホワイトバランスが調整される。
【００１８】
【発明の実施の形態】以下に、本発明の実施の形態について図面を参照して説明する。図１は、本発明を適用した画像処理装置の一実施の形態の構成を示す図である。図１に示した画像処理装置１０は、デジタル式のビデオカメラやスチールカメラに備えられ、撮像された画像（映像）に対して色の補正を行う装置である。
【００１９】被写体の画像（光）は、画像処理装置１０のレンズ１１を介してＣＣＤ（Charge Coupled Devices）１２により受光される。ＣＣＤ１２は、受光した光の強度を電気信号に変換し、Ｓ／Ｈ（Sampling/Hold）回路１３に供給する。Ｓ／Ｈ回路１３は、所定のサンプリング周波数に基づき入力された電気信号をサンプリングし、そのサンプリングした値を一旦保持する。
【００２０】保持された値（信号）は、ＡＧＣ（Automatic Gain Control）回路１４に供給される。ＡＧＣ回路１４は、入力された信号を、後段の信号処理のために、適切な信号レベルになるように変換し、Ａ／Ｄ（Analog/Digital）変換回路１５に供給する。Ａ／Ｄ変換回路１５は、入力されたＲＧＢのカラーアナログ信号をデジタル信号に変換して、ＲＧＢマトリクス回路１６に出力する。
【００２１】ＲＧＢマトリクス回路１６は、入力されたＲＧＢのカラーデジタル信号を、Ｒ（赤）、Ｇ（緑）、および、Ｂ（青）のそれぞれの成分のデジタル信号にし、ＷＢ（ホワイトバランス）アンプ１７とＷＢ調整回路１８に出力する。ＷＢ調整回路１８は、ＷＢアンプ１７におけるゲインを調整するための回路であり、図２にその詳細な構成を示し、後述する。
【００２２】ＷＢアンプ１７は、入力されたＲ，Ｇ，Ｂのそれぞれのデジタル信号に対して、ＷＢ調整回路１８からの指示に基づくゲインを乗算することによりホワイトバランスを調整し、色差計算回路１９に供給する。
【００２３】ここで、ホワイトバランスについて簡単に説明する。Ｒ（赤）、Ｇ（緑）、および、Ｂ（青）を加算すると（Ｒ＋Ｇ＋Ｂ、ただし、Ｒ＝Ｇ＝Ｂ）と白色が生成される。ホワイトバランスという処理を施さずに、例えば、人間が白と認識する紙を、晴天下で撮像したときの画像と、曇り空の下で撮像した時の画像を比較すると、それらの画像の白い紙は、同一の白さであるとは認識されない。すなわち、撮影条件などにより、白は白として必ずしも認識される色として撮像されるとは限らない。
【００２４】そこで、いかなる状況下で撮像された画像であっても、基本的に、白が白として認識されるように、撮像された画像の信号に対してホワイトバランスの調整を行うようにする。
【００２５】色差計算回路１９は、ホワイトバランスが調整されたＲ信号、Ｇ信号、および、Ｂ信号を用いて、色差信号を生成する。生成される色差信号はＲ−Ｇ信号とＢ−Ｇ信号である。これは、Ｇ（緑）を基準としてＲ（赤）とＢ（青）を表現するために、このような色差が算出される。
【００２６】さらに、色差マトリクス回路２０により、Ｒ−Ｙ信号とＢ−Ｙ信号に変換される。ここでＹは、輝度信号（輝度値）を示す。このＹ信号は、図示されていない回路から供給される。
【００２７】図２は、ＷＢ調整回路１８の内部構成例を示す図である。ＷＢ調整回路１８には、ＲＧＢマトリクス回路１６から、Ｒ信号、Ｇ信号、および、Ｂ信号が、それぞれ供給されるわけだが、それらの信号は、検波回路３１に供給される。検波回路３１は、後述する検波領域毎に、輝度値や積分値などを算出し、ＷＢアンプ３２と輝度ピーク値算出回路３３に、それぞれその回路で必要とされる値を出力する。
【００２８】ＷＢアンプ３２は、入力された各領域毎のＲ，Ｇ，Ｂ信号に対して、予め設定されている一定のゲインで、ホワイトバランスの調整を行い、色差計算回路３４に出力する。この色差計算回路３４は、色差計算回路１９（図１）と同一の処理を行う。すなわち、入力された信号から、Ｒ−Ｇ信号とＢ−Ｇ信号を生成する。生成された信号は、ＷＢ値算出回路３５に供給される。
【００２９】ＷＢ値算出回路３５は、後述する各領域内に肌色が含まれているか否かを判断し、含まれている場合、その含まれている肌色が、この画像処理装置１０を含むカメラで撮像された画像内で理想的な肌色になるようなホワイトバランスのゲインを算出する。
【００３０】一方、検波回路３１からの出力は、輝度ピーク値算出回路３３にも出力されるわけだが、この輝度ピーク値算出回路３３は、輝度値を用いて、各領域内の画像は凹凸のある画像であるか否かを判断し、その結果を、ＷＢ値設定回路３６に出力する。
【００３１】ＷＢ値設定回路３６は、ＷＢ値算出回路３５から供給される情報と、輝度ピーク値算出回路３３から供給される情報に基づき、最終的に、ＷＢアンプ１７（図１）のゲインを補正するか否かを決定し、その決定に基づきＷＢアンプ１７を制御する。
【００３２】図３乃至図７のフローチャートを参照して、ＷＢ調整回路１８の動作について説明する。図４は、図３のステップＳ１１で行われる領域内の色判別処理の詳細を説明するフローチャートである。図５は、図３のステップＳ１２で行われる補正量の算出処理の詳細を説明するフローチャートである。図６は、図３のステップＳ１３で行われる顔の部分の判別処理の詳細を説明するフローチャートである。図７は、図３のステップＳ１４で行われる補正処理の詳細を説明するフローチャートである。
【００３３】ＷＢ調整回路１８は、まず、ステップＳ１１において、領域内の色判別の処理を行う。ここで、領域（検波領域）について説明する。図８は、領域について説明するための図である。レンズ１１やＣＣＤ１２の処理により撮像された１画像は、検波回路３１により、図８に示したような複数の領域に分割される。図８に示した例では、１画像が７×７の領域に分けられている。各領域は、それぞれの領域が一意に区別が付くように番号が割り振られている。
【００３４】この場合、１画面が７×７個の領域に分割され、１領域は複数の画素から構成されている。ＷＢ調整回路１８の検波回路３１は、ステップＳ２１（図４）において、この７×７領域毎に検波を行い、Ｒ，Ｇ，Ｂ信号をそれぞれＷＢアンプ３２に出力する。
【００３５】ＷＢアンプ３２は、ステップＳ２２において、７×７領域の各領域からの信号に対して、一定のゲインを乗算することによりホワイトバランスを調整する。このように、一定のゲインを乗算することにより仮のホワイトバランスを調整しておくことにより、後段の処理による詳細なホワイトバランスの調整を正確に行うことが可能となる。
【００３６】ステップＳ２３において、ＷＢアンプ３２からの出力は、色差計算回路３４に入力され、色差が計算されることにより、Ｒ―Ｇ信号とＢ―Ｇ信号がＷＢ値算出回路３５に出力される。ＷＢ値算出回路３５は、ステップＳ２４において、入力されたＲ―Ｇ信号とＢ―Ｇ信号を用いて、各領域内の色の判別を行い、その判別に基づく色情報を各領域毎に設定する。その色の判別について説明する。
【００３７】図９は、色の判別を行う際に用いられるデータについて説明するための図である。Ｒ―Ｇ信号とＢ―Ｇ信号により決定される１座標が、図９に示した円内のどの位置に存在するかにより、色が判別される。図９において、例えば、肌色と表記した円内は、人間がその円内の座標に位置するＲ―Ｇ信号とＢ―Ｇ信号により表される色を見たときに、肌色と判別する範囲を表している。
【００３８】範囲の大きさは、人間が、Ｒ―Ｇ信号とＢ―Ｇ信号により表される色を見たときに、例えば、肌色なら肌色と認識する範囲を表している。範囲が小さい場合、その色に対して人間は敏感であることを示し、範囲が大きい場合、その色に対して人間は比較的鈍感であることを示す。
【００３９】ステップＳ２４における色情報の設定は、まず、Ｒ―Ｇ信号とＢ―Ｇ信号で一意的に決定される座標が、図９に示したような円内のどの位置に存在するかを判別し、その位置がどの範囲に含まれるかを判別することにより行われる。座標が存在する範囲の色が、色情報の設定対象となっている範囲の色として設定される。このようにして図９に示したような円で示される色情報が用いられるため、ＷＢ調整回路１８は、図９に示したような円で示される色情報をデータとして保持しており、その保持されているデータが参照されることにより、処理対象となっている検波領域の色が判別される。
【００４０】色が判別された結果、色情報が各領域に設定されるわけだが、その色情報は、例えば、無彩色の場合“１”、肌色の場合“２”、空色の場合“３”、緑色の場合“４”、黄色の場合“５”などと設定される。このように、特徴となる色だけ設定され、その他の色は“０”と設定される。
【００４１】このような色情報の設定は、一例であり、これに限定されるものではない。例えば、後述する実施の形態においては、肌色の補正を主な目的としているため、肌色だけが設定されるようにしても良い。そのように肌色だけが設定されるようにした場合、単なる１または０により色情報の設定が行えるため、換言すれば、肌色であった場合フラグがたつといった情報として設定が行えるため、色情報に用いられるデータ量を少なくすることが可能となる。
【００４２】なお、ステップＳ２１における検波処理において、ＲＧＢの各値が“０００”や“ＦＦＦ”という処理結果だった場合、その領域はエラー領域であると判断し、その後の処理を行わないようにしても良い。
【００４３】ステップＳ１１（図３）において、領域内の色判別処理が終了すると、ステップＳ１２において、補正量の算出処理が、ＷＢ値算出回路３５において行われる。ＷＢ値算出回路３５は、図５に示したようなフローチャートの処理に基づき、補正量の算出を行う。ここで、補正量とは、ＷＢアンプ１７（図１）におけるホワイトバランスの調整に用いられるゲインを決定する値であり、その時点で用いられているゲインをどの程度補正するかを示す値である。
【００４４】ＷＢ値算出回路３５は、補正量の算出処理を行う前の段階で、７×７領域の各領域において、その領域の色を判別している。その色を判別した７×７領域のうち、４隅の領域に肌色と判断された領域があるか否かが、ステップＳ３１（図５）において判断される。４隅とは、図８において斜線で示した領域であり、具体的には、左上の｛［０］［０］，［０］［１］，［１］［０］｝、右上の｛［０］［６］，［０］［５］，［１］［６］｝、右下の｛［６］［６］，［５］［６］，［６］［５］｝、および左下の｛［６］［０］，［５］［０］，［６］［１］｝の各領域である。
【００４５】４隅の領域に肌色と判断された領域があるか否かを判断するステップを設けるのは、以下のような理由からである。すなわち、１画面の４隅に肌色が存在する画像とは、顔だけが画面全体に写っている画像であり顔が見切れた状態である場合などと考えられるが、そのような画像はまれである。また、４隅に肌色が存在する画像は、その四隅に存在する画像自体は顔ではなく、顔以外の肌色の物体であると判断する方が、顔であると判断するより正確な判断である場合が多い。
【００４６】このような理由から、撮像された画像の４隅に肌色と判断される領域が存在するか否かを判断し、４隅に肌色と判断される領域がある場合、その画像は、顔ではなく物体であると判断し、肌色の補正、この場合、ホワイトバランスの補正を行わないようにする。一方、ステップＳ３１において、４隅に肌色と判断される領域が存在しないと判断された場合、ステップＳ３２に進み、肌色領域の平均値の算出が行われる。
【００４７】平均値が算出される肌色領域とは、７×７個の領域のうち、中央の９領域（図８において中央に位置し、斜線で示した領域）のうちの、肌色という色情報が設定されている領域である。このように、１画像の中心部分だけを処理対象とするのは、通常、顔は画面の中央付近に存在していることが多いからである。
【００４８】勿論、画像の中央付近以外のところに、顔が存在することはあるが、そのような場合、顔をメインにしているのではないと考えられる状況が多い。また、画像の中央付近以外のところに顔が存在する場合、風景と顔（人物）を同時にメインにして撮像している場合が多く、そのような画像では、風景に対して、顔の割合は比較的小さくなっていると考えられる。
【００４９】このような状況を考慮し、画像の中央部分に顔が存在すると判断される場合、その顔の肌色を理想的な肌色になるようにホワイトバランスを調整するようにする。従って、ここでは、画像の中央に位置する９領域の肌色の検波値の平均値が、ステップＳ３２において算出される。ステップＳ３２において肌色の領域の検波値の平均値が算出されると、ステップＳ３３において、ＷＢ値の目標値が設定される。
【００５０】このＷＢ値の目標値の設定は、以下のように設定される。ここでは、Ｇ（緑）を基準とした場合を例に挙げて説明する。ここで、上述した画像の中央に位置する９領域のうち、肌色の領域であると判断される領域のＲ信号をＲｒ信号、Ｂ信号をＢｒ信号、および、Ｇ信号をＧｒ信号とする。これらのＲｒ信号、Ｂｒ信号、および、Ｇｒ信号は、それぞれ、検波回路３１から出力される信号である。
【００５１】Ｒｒ信号、Ｂｒ信号、および、Ｇｒ信号を、それぞれ加算し、加算した枠数で除算した値、すなわち、それぞれの信号の平均値をＲｒ’値、Ｂｒ’値、および、Ｇｒ’値とする。ここで、Ｇ信号にかけられるホワイトバランスのゲインのＧgainを固定とすると、まず、Ｇｗ＝Ｇｒ×Ｇgainが成り立つ。Ｇｗの平均値をＧｗ’とすると、以下の式が成り立つ。
Ｒgain＝（（Ｒ−Ｇ）i＋Ｇｗ’）／Ｒｒ’Ｂgain＝（（Ｂ−Ｇ）i＋Ｇｗ’）／Ｂｒ’
【００５２】上記した式において、（Ｒ−Ｇ）ｉと（Ｂ−Ｇ）ｉは、それぞれ、好ましい肌色を実現する際に、経験的（実験的）に取得された値である。これらの値は、例えば、このＷＢ調整回路１８を含むカメラの仕向地などにより、その仕向地に合った値を設定しておくことが可能である。これは、仕向地により好まれる肌色が異なる場合があり、そのような場合に適合するようにするためである。
【００５３】このような式により理想となる（目標となる）ＷＢ値が算出されると、図５に示したフローチャートの処理（図３のステップＳ１２の処理）は終了され、ステップＳ１３に進み、顔の部分の判別処理が実行される。図６のフローチャートを参照して、顔の部分の判別処理について説明する。顔の部分の判別処理は、輝度ピーク値算出回路３３により行われる。
【００５４】この顔の部分の判別処理は、図８に示したように、７×７個の領域に分けられた各領域において後述する処理を行うことにより行われるが、実際に処理が実行される領域は、図１０に示したように、画像の中央に位置する５×５の２５個の領域、換言すれば、外周をのぞく領域である。
【００５５】ステップＳ４１において、２５領域の各領域毎に、輝度値のピーク値が算出される。そして、ステップＳ４２において、所定の領域（処理対象とされた領域）の周囲の８領域に肌色の領域が１以上存在するか否かが判断される。肌色の領域であるか否かの色情報は、ＷＢ値算出回路３５から供給されるようにしても良い。
【００５６】ステップＳ４２において、処理対象とされている領域に対して周囲に位置する８個の領域のうち、肌色の領域が１以上存在すると判断された場合、ステップＳ４３に進み、存在していないと判断された場合、ステップＳ４７に進む。ステップＳ４３において、輝度値のピーク値の差分が算出される。差分を算出する対象となる領域は、処理対象となっている領域と、肌色であると判断された領域である。
【００５７】ステップＳ４４において、ステップＳ４３において算出された輝度値のピーク値の差分値が、所定の値以下であるか否かが判断される。輝度値のピーク値の差分値が、所定の値以下であると判断された場合、ステップＳ４５に進み、その処理対象とされている領域は、平坦な領域（以下、Ｆ領域とする）として設定され、輝度値のピーク値の差分値が、所定の値以下ではないと判断された場合、ステップＳ４６に進み、その処理対象とされている領域は、平坦ではない領域（以下、Ｄ領域とする）として設定される。
【００５８】このように、処理対象とされている領域と、その周りの８領域のうちの１領域との輝度値のピーク値の差分が大きい場合、顔などの凹凸のある物体が撮像されている領域であると判断することが可能である。従って、上述したように、輝度値の差分値により、平坦な領域（Ｆ領域）と平坦ではない領域（Ｄ領域）に区分することができる。
【００５９】ステップＳ４７において、処理対象とされる全ての領域、この場合、２５領域に対して、Ｆ領域またはＤ領域の設定が終了したか否かが判断される。ステップＳ４７において、２５領域に対してＦ領域またはＤ領域の設定が終了したと判断された場合、図６に示した顔の部分の判別処理は終了し、図３のステップＳ１４に進み、まだ設定は終了していないと判断された場合、ステップＳ４２に戻り、それ以降の処理が繰り返される。
【００６０】ステップＳ１４（図３）における補正処理について、図７のフローチャートを参照して説明する。図７に示す補正処理は、ＷＢ値設定回路３６において行われる。この補正処理は、主に、顔の大きさが大きいか否かを判断し、顔と判断される領域が大きい場合には、ホワイトバランスの調整を行い、顔が比較的小さいと判断される場合には、ホワイトバランスの調整を行わないとするという処理である。
【００６１】このように、顔の大きさを判断し、ホワイトバランスの調整を行うか否かを決定するのは、本実施の形態においては、顔の肌色が理想的な肌色になるようにホワイトバランスの調整を行うからである。撮像された画像のうち、顔の領域が小さいときに、その顔の肌色に合わせてホワイトバランスの調整を行うようにすると、その小さい顔の肌色には合った色調であっても、画像全体としては、好ましくないホワイトバランスの調整が行われた画像となってしまうことが考えられ、そのようなことを防ぐために、顔の大きさを判断する。
【００６２】すなわち、本実施の形態においては、撮像されている顔の大きさが、１画面のうちの所定領域を占めていなければ、その顔の肌色に合うようなホワイトバランスの調整を実行しない。このようにすることで、顔の色を好ましい肌色とすることができるとともに、画像全体の色調がおかしくなってしまうようなことを防ぐことができる。
【００６３】ＷＢ値設定回路３６は、ステップＳ５１において、Ｆ領域がＤ領域よりも少ないか否かが判断され、少ないと判断される場合、ステップＳ５５に進み、少なくはない（多い）と判断される場合、ステップＳ５２に進む。ステップＳ５２において、Ｆ領域とＤ領域が同数であるか否かが判断され、同数であると判断された場合、ステップＳ５４に進み、同数でないと判断された場合、ステップＳ５３に進む。
【００６４】ステップＳ５１からステップＳ５２、そして、ステップＳ５３に処理が進んだ場合、Ｆ領域の方がＤ領域より多い（Ｆ領域＞Ｄ領域）と判断された場合であり、換言すれば、顔の部分と判断される領域より顔ではないと判断される領域の方が多い場合であるので、ステップＳ５３においては、ホワイトバランスの調整の処理を実行しない（補正処理の中止）という決定がされる。この補正処理の中止とは、その時点で、ＷＢアンプ１７（図１）において用いられているゲインをそのまま継続して用いるということである。
【００６５】一方、ステップＳ５２において、Ｆ領域とＤ領域が同数であると判断された場合、ステップＳ５４に進み、肌色の領域が９領域以内であるか否かが判断される。この判断は、顔と判断される領域と顔ではないと判断される領域が同数であると判断された場合、肌色の領域が９領域以内であるとき、ステップＳ５６に進み、ホワイトバランスの調整の処理を実行し、９領域以上であるとき、ステップＳ５３に進み、ホワイトバランスの調整の処理を実行しないというものである。
【００６６】Ｆ領域とＤ領域が同数の場合、基本的には補正処理を中止するが、肌色の領域が９領域以内である場合は例外的に補正処理を実行するのは、肌色の領域が９領域以内であれば、判断精度が低くなり、また、肌色の領域の数が少なくなると、補正量（ホワイトバランスのゲインの変化量）も小さいので、仮に誤った判断のもとホワイトバランスの調整が行われたとしても、ホワイトバランスのずれは少なくてすむと考えられるからである。
【００６７】肌色の領域の数が少ないと補正量が小さくなるというのは、肌色を補正するためのゲイン（Ｒgain、Ｂgain）を算出する際、画面内の肌色の領域数（＝面積）に応じて、ＷＢアンプ１７（図１）において用いられているゲインと、上述した理想の肌色に設定するためのゲインの加重平均値をＲgain、Ｂgainとして用いるためである。これは、肌色が少ない場合、補正を余りかけない方が画面全体の色バランスが崩れないためである。
【００６８】ステップＳ５４において、肌色の領域が９領域以内であると判断された場合、ステップＳ５６に進み、上述した処理により既に算出されている理想とされる肌色にするためのホワイトバランスのゲインにするように、ＷＢ値設定回路３６からＷＢアンプ１７に対して指示が出される。この指示が出されることにより、ホワイトバランスの調整（補正）が行われる。
【００６９】一方、ステップＳ５１において、Ｆ領域がＤ領域よりも少ないと判断された場合、換言すれば、顔ではないと判断される領域の方が、顔であると判断される領域よりも少ないと判断された場合、ステップＳ５５に進む。ステップＳ５５において、１画像の中央に位置する９領域（図８に示した領域のうち、中央で斜線が引いてある領域）の輝度値の平均値が所定の値以下であるか否かが判断される。
【００７０】この判断は、輝度値のリミッター処理としての役割をはたす。すなわち、上述したように、理想の肌色にするためのホワイトバランスのゲイン（Ｒgain、Ｂgain）を算出する際にＲ−Ｇ信号とＢ−Ｇ信号を用いており、輝度値が大きくなると、ゲインの計算結果の誤差が大きくなるため、そのような誤差が大きくなるような状況を防ぐために行われる。従って、ステップＳ５５の処理は、理想の肌色にするためのホワイトバランスのゲイン（Ｒgain、Ｂgain）を算出する際に、Ｒ／ＧやＢ／Ｇといった値を用いて算出するようにした場合には、省略することが可能なステップである。
【００７１】この場合、ゲインの計算にＲ−Ｇ信号とＢ―Ｇ信号を用いているため、ステップＳ５５の処理が行われる。なお、一般的に、除算を行って、Ｒ／ＧやＢ／Ｇの値を算出するより、減算によりＲ−ＧやＢ−Ｇを算出する方が、処理が簡便になり、回路構成も簡便になることが多いため、ここでは、減算処理を行うことにしている。
【００７２】ステップＳ５５において、中央の９領域の輝度値の平均値が所定の値以下であると判断された場合、ステップＳ５６に進み、補正処理が実行され、所定の値以上であると判断された場合、ステップＳ５３に進み、補正処理は中止される。
【００７３】このようにしてＷＢアンプ１７（図１）において行われるホワイトバランスの調整のためのゲインが決定される。
【００７４】このように、まず、肌色である領域を判断し、肌色の領域が存在している画像に対しては理想の肌色となるように、ホワイトバランスの調整を行うようにしたので、撮像された画像のうち特に人間の肌色は理想的な（好ましい）色にすることができる。
【００７５】また、顔の大きさを判断し、その大きさによりホワイトバランスの調整を実行するか否かを判断するので、画像に占める顔の割合が小さいときに、その顔の色に合わせられたホワイトバランスの調整が行われ、全体として好ましくない色調になってしまうような補正が行われるようなことを防ぐことができる。
【００７６】すなわち、本発明を適用することにより、簡便でありながら、静止画像、動画像の区別なく、好ましい肌色を実現することが可能となるだけでなく、画像内の肌色の領域（面積）を考慮することにより、背景の画像への影響も問題ない範囲で処理できるようになる。また、広角な画で、肌色が少ないときには補正量が小さいため、背景の色も正しく再現され、逆に、顔を大写しにしたようなときには補正量が大きく、適切な肌色の再現が行われるため、さまざまな状況に対応した好ましい画像が得られることになる。
【００７７】上述した実施の形態においては、好ましい肌色を再現するようにしたが、空色や緑色など、他の色を好ましい色として再現するようにしても良い。例えば、画像処理装置１０を含むカメラに、空色モードなどと称されるモードを設け、そのモードに設定された場合には、空色が最も好ましい色になるように、ホワイトバランスが調整されるようにしても良い。このように、肌色以外の他の色が好ましい色として再現されるようにした場合でも、本発明を適用できることはいうまでもない。なお、肌色以外の色を補正する対象とした場合、上述した各設定を、対象とする色に合わせた設定とすることが好ましい。
【００７８】なお、撮像された画像の見た目を良くするために、ホワイトバランスをずらすような場合、例えば、夕焼け時の撮影や日陰のところでの撮影などで、そのときの状況を効果的に再現するためにホワイトバランスをずらすような場合、色差信号が変化するために、白と肌色については、図９に示したような色の判断のために用いられるデータを、別に用意しておき、その別に用意されているデータを用いて色の判断を行うようにしても良い。
【００７９】また、上述した実施の形態においては、補色のＣＣＤ１２を用いた場合を例に挙げて説明したが、原色ＣＣＤや、３枚、単板を問わず、同様の手法により、色の調整を行うことが可能である。
【００８０】上述した一連の処理は、換言すれば、図２に示したようなＷＢ調整回路１８の各回路が行う処理を、ハードウェア的に構成して実行させるようにしても良いし、ソフトウェア的に構成して実行させるようにしても良い。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８１】記録媒体について説明する前に、汎用のパーソナルコンピュータについて簡単に説明する。図１１は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）１１１は、ＲＯＭ（Read Only Memory）１１２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）１１３には、ＣＰＵ１１１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース１１５は、キーボードやマウスから構成される入力部１１６が接続され、入力部１１６に入力された信号をＣＰＵ１１１に出力する。また、入出力インタフェース１１５には、ディスプレイやスピーカなどから構成される出力部１１７も接続されている。
【００８２】さらに、入出力インタフェース１１５には、ハードディスクなどから構成される記憶部１１８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部１１９も接続されている。ドライブ１２０は、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、半導体メモリ１３４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【００８３】記録媒体は、図１１に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１３１（フレキシブルディスクを含む）、光ディスク１３２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク１３３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ１１２や記憶部１１８が含まれるハードディスクなどで構成される。
【００８４】なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８５】
【発明の効果】以上の如く本発明の画像処理装置および方法、並びにプログラムによれば、撮像された画像を複数の領域に分割し、その領域毎に設定されている所定の色であるか否かを判断し、所定の色であると判別された領域であると判断された場合、その色が好ましい色となるようにホワイトバランスを調整するようにしたので、撮像された画像の所定の色、例えば、肌色がユーザの好む色に簡便に調整することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示す図である。
【図２】ＷＢ調整回路１８の内部構成例を示す図である。
【図３】ＷＢ調整回路１８の動作を説明するフローチャートである。
【図４】ステップＳ１１の領域内の色判別処理について説明するフローチャートである。
【図５】ステップＳ１２の補正量の算出処理について説明するフローチャートである。
【図６】ステップＳ１３の顔の部分の判別処理について説明するフローチャートである。
【図７】ステップＳ１４の補正処理について説明するフローチャートである。
【図８】色の判別に用いられるデータについて説明する図である。
【図９】色の判別に用いられる領域について説明する図である。
【図１０】顔の部分の判別に用いられる領域について説明する図である。
【図１１】媒体を説明する図である。
【符号の説明】
１０画像処理装置，１１レンズ，１２ＣＣＤ，１３Ｓ／Ｈ回路，１４ＡＧＣ回路，１５Ａ／Ｄ変換回路，１６ＲＧＢマトリクス回路，１７ＷＢアンプ，１８ＷＢ調整回路，１９色差計算回路，２０色差マトリクス回路，３１検波回路，３２ＷＢアンプ，３３輝度ピーク値算出回路，３４色差計算回路，３５ＷＢ値算出回路，３６ＷＢ値設定回路

【特許請求の範囲】
【請求項１】画像を撮像する撮像手段と、前記撮像手段により撮像された前記画像を複数の領域に分割し、その領域内の色を判別する判別手段と、前記判別手段による判別結果に基づいて、予め処理対象として設定されている所定の色であると判別された領域があるか否かを判断する判断手段と、前記判断手段により前記所定の色であると判別された領域があると判断された場合、前記所定の色が好ましい色となるようにホワイトバランスを調整する調整手段とを含むことを特徴とする画像処理装置。
【請求項２】前記画像の四隅に対応する所定数の領域に、前記判断手段により前記所定の色であると判別された領域があると判断された場合、前記調整手段は、ホワイトバランスの調整を行わないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記複数の領域のうちの第１の領域の輝度値と、前記第１の領域の周囲に位置する第２の領域の輝度値との差分値を算出する算出手段と、前記算出手段により算出された前記差分値が所定の値以上である前記第１の領域の数が、前記所定の値以下である前記第１の領域の数よりも多いか否かを判定する判定手段とをさらに含み、前記調整手段は、前記判定手段が、前記算出手段により算出された前記差分値が所定の値以上である前記第１の領域の数が、前記所定の値以下である前記第１の領域の数よりも多いと判定したとき、ホワイトバランスの調整を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】画像を撮像する撮像ステップと、前記撮像ステップの処理による撮像された前記画像を複数の領域に分割し、その領域内の色を判別する判別ステップと、前記判別ステップの処理で判別結果に基づいて、予め処理対象として設定されている所定の色であると判別された領域があるか否かを判断する判断ステップと、前記判断ステップの処理で前記所定の色であると判別された領域があると判断された場合、前記所定の色が好ましい色となるようにホワイトバランスを調整する調整ステップとを含むことを特徴とする画像処理方法。
【請求項５】画像を撮像する撮像ステップと、前記撮像ステップの処理で撮像された前記画像を複数の領域に分割し、その領域内の色を判別する判別ステップと、前記判別ステップの処理による判別結果に基づいて、予め処理対象として設定されている所定の色であると判別された領域があるか否かを判断する判断ステップと、前記判断ステップの処理で前記所定の色であると判別された領域があると判断された場合、前記所定の色が好ましい色となるようにホワイトバランスを調整する調整ステップとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項６】画像を撮像する撮像ステップと、前記撮像ステップの処理で撮像された前記画像を複数の領域に分割し、その領域内の色を判別する判別ステップと、前記判別ステップの処理による判別結果に基づいて、予め処理対象として設定されている所定の色であると判別された領域があるか否かを判断する判断ステップと、前記判断ステップの処理で前記所定の色であると判別された領域があると判断された場合、前記所定の色が好ましい色となるようにホワイトバランスを調整する調整ステップとをコンピュータに実行させるプログラム。

【図１】