画像処理装置
【課題】光源の色温度が変化しても肌色を含む領域の画質をより安定的に向上させることが可能となる画像処理装置を提供する。
【解決手段】画像処理装置は、撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段１１４を備える。この制御手段１１４は、ホワイトバランス制御のための色温度情報が低色温度側である場合、撮影画像の後の撮影において、色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させる機能を有する。
【解決手段】画像処理装置は、撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段１１４を備える。この制御手段１１４は、ホワイトバランス制御のための色温度情報が低色温度側である場合、撮影画像の後の撮影において、色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させる機能を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関するものである。
【背景技術】
【０００２】
従来、撮影された画像に対し圧縮符号化を行う画像処理装置において、重要度が高いとされる所定色を含む領域を検出し、所定色が検出された領域に対して画質を向上させる処理を行う装置がある。
【０００３】
このような装置で重要度が高いとされる色は一般的に人物の顔に相当する色、即ち、肌色である場合が多い。
【０００４】
このように画像中の肌色を含む領域を検出し、肌色が検出された領域に対して、フィルタ処理を行い、画像圧縮時の符号割り当て量を制御することにより、画質を向上させる提案として特許文献１がある。
【０００５】
図１５は、従来例（特許文献１）に係る画像処理装置のブロック図である。
【０００６】
図１５において、撮像部１５０１は、レンズや撮像素子を含み映像を撮影（撮像）する。画像信号処理部１５０２は、ガンマ変換、色空間変換、ラスタ−ブロック変換等一連の画像信号処理を実行する。
【０００７】
肌色検出処理部１５０３は、一連の画像処理が施された画像に対して撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出する。フィルタ部１５０４は、撮影された画像データの任意の領域に対して選択的にその高周波成分強度を減衰させる。
【０００８】
動き補償予測部１５０５は、予測対象画像ブロックと最も一致する参照画像ブロックを予測し、動きベクトルを生成する。直交変換部１５０６は、離散コサイン変換等の直交変換を行う。量子化部１５０７は、直交変換係数を量子化行列等で除算し、情報量を削減する。
【０００９】
エントロピー符号化部１５０８は、ハフマン符号等で可変長符号化することにより更に情報量を削減する。バッファ部１５０９は、変動する単位時間あたりに発生する符号量を時間軸上で平滑化する。
【００１０】
記録部１５１０は、磁気テープやメモリカード等の記録媒体へ符号化データを記録する。逆量子化部１５１１は、参照画像を再構成するため、量子化部１５０７により量子化された直交変換係数を逆量子化する。
【００１１】
逆直交変換部１５１２は、逆量子化部１５１１により生成された逆量子化後の直交変換係数を逆直交変換する。撮影モード選択部１５１３は、撮影者により操作され撮影モードを選択（設定）する。
【００１２】
制御部１５１４は、バッファ部１５０９の占有率を監視し、システム全体を統括的に制御する。符号化モード選択部１５１５は、撮影者により操作され、静止画または動画を選択する。
【００１３】
図１６は、図１５の量子化部における符号量制御処理の手順を示すフローチャートである。
【００１４】
ステップＳ１６０１で撮影者により撮影開始が指示されると、ステップＳ１６０２にて制御部１５１４は符号化モード選択部１５１５に設定されている符号化モードを調べる。
【００１５】
符号化モードが動画符号化モードであった場合は、ステップＳ１６０３に進んで撮影モード選択部１５１３に設定されている撮影モードを調べ、動画符号化モードで無い場合は処理を終了する。
【００１６】
ステップＳ１６０３において、撮影モードがポートレートモードで無い場合は処理を終了する。
【００１７】
一方、ステップＳ１６０３で撮影モードがポートレートモードであった場合は、ステップＳ１６０４に進む。そして、ステップＳ１６０４で、肌色検出処理部１５０３において肌色と検出された領域に該当する画像ブロックの量子化に際して量子化ステップ値を小さくする等して符号量を増加させ、処理を終了する。
【００１８】
尚、この制御に加えて、肌色と検出された領域以外の領域に該当する画像ブロックの量子化に際しては、量子化ステップ値を大きくする等して符号量を低減させるように量子化部１５０７を制御する。結果的に、肌色検出処理部１５０３において肌色と検出された領域に対する符号量をそれ以外の領域と比べて相対的に増加するように量子化部１５０７を制御する。
【００１９】
このような符号量制御処理により、画像中に肌色の存在が検出された領域における符号量は増加し、一方、それ以外の領域における符号量は低減するので全体の符号量を保ちながら肌色を含む領域の画質を向上させることができるような構成となっている。
【００２０】
また、特許文献１では、ユーザーがポートレートモードを選択した時に限り肌色の存在が検出された領域に符号量を与えることにより、効果的に符号量を削減できる構成にもなっている。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開２００５―２１８０１７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
以下に特許文献１に示した従来技術における問題点について説明する。
【００２３】
通常、図１５に示すようなビデオカメラに代表される画像処理装置では、被写体を照らす光源の色温度変化を補正する目的で所謂ホワイトバランス補正が行われている。
【００２４】
ここで、本発明が解決しようとする課題を説明するために、一般的なホワイトバランス補正の動作について述べる。
【００２５】
（一般的なホワイトバランスの動作説明）
ホワイトバランス補正で制御可能な色温度範囲は、実際の撮影で使用される光源の色温度変化範囲を想定して設定されており、ある一定の有限な範囲に限定されている。
【００２６】
通常、ホワイトバランスの補正可能な色温度範囲として、高色温度側は、太陽光の色温度付近に設定され、低色温度側は、白熱電球の色温度付近に設定されている。
【００２７】
このように、ホワイトバランス補正で制御可能な色温度範囲を設定することにより、例えば、ろうそくや暖炉の炎のように低い色温度による光源で照らされた被写体を撮影した場合には、光源の赤みが残された画像になり、温かみのある画像を得ることができる。
【００２８】
一方、日陰のように高い色温度による光源の元での被写体を撮影した場合には、光源の青みが残された画像になり、清涼感のある画像を得ることができる。
【００２９】
更に、ホワイトバランス補正で制御可能な色温度範囲を所定の有限な範囲以内に定めることにより、以下の効果がある。即ち、特定の有彩色の影響を受け、カラーフェイリアと呼ばれるホワイトバランス誤補正が生じた場合でも、ホワイトバランス補正された画像の色味が極端にずれてしまう事態を防ぐ効果もある。
【００３０】
また、時間的に連続した動画を撮影するビデオカメラに代表される画像処理装置では、急激なホワイトバランス補正によりシーンの途中で色味が変化しないように、単位時間当たりの補正量も制限されており、時間的に緩やかな補正が行われている。
【００３１】
上記のようなホワイトバランス補正機能を持ち、肌色を含む領域を検出する場合の問題点について説明する。
【００３２】
図１７は被写体を示す図であり、白い衣服を着た人物の例である。図中１７０１、１７０２はそれぞれ肌色部である人物の顔部と白色の衣服部を示す。
【００３３】
図１８は、図１７に示す被写体が撮影された場合の画像信号における色差信号のレベルを示したベクトル図である。
【００３４】
ホワイトバランス補正がされた状態では、被写体の衣服部１７０２は白色なので、図１８中、Ｐ１８０２に示す点となる。
【００３５】
また、被写体の顔部１７０１は肌色であるので、図１８中、Ｐ１８０１に示す点となる。尚、図１８中、破線Ａ１８０１は、肌色と判定するための色差信号の閾値を示しており、破線Ａ１８０１で囲まれた内側の領域内に色差信号が存在すれば肌色と判定される。以降、この領域を肌色判定領域Ａ１８０１と記す。
【００３６】
画像の色差信号が図１８に示した状態の時、人物の顔部１７０１であるＰ１８０１は肌色判定領域Ａ１８０１の内側に入っているため肌色と判定される。
【００３７】
また、衣服部１７０２であるＰ１８０２は肌色判定領域Ａ１８０１の内側に入っていないため肌色とは判定されない。
【００３８】
肌色を含む領域に多くの符号量を割り当てる従来の方式では、このような通常のホワイトバランス補正がなされた状態においては、図１７の顔部１７０１は肌色と判定されるため、それ以外の領域に比べ相対的に多くの符号量が割り当てられるようになる。
【００３９】
また、図１７の衣服部１７０２は肌色と判定されないので、相対的に少ない符号量が割り当てられ、全体の符号量を保ちながら肌色を含む領域の画質を向上させることができる。
【００４０】
しかしながら、色温度が通常のホワイトバランス制御範囲よりも低色温度側であったり高色温度側であったりするような場合には次に示す問題が生じる。
【００４１】
図１９は、低色温度の光源の元で図１７に示す人物を撮影した場合の色差信号のレベルを示したベクトル図である。
【００４２】
例えば、ろうそくや暖炉の炎のように、通常のホワイトバランス制御範囲よりも低い色温度による光源で照らされた場合、即ち、ホワイトバランスが低色温度側で動作している場合には、ホワイトバランス補正がなされても画像の赤みが残ってしまうことがある。
【００４３】
その場合、被写体の衣服部１７０２は、図１９中、Ｐ１９０２に示す点となる。また、被写体の顔部１７０１は、図１９中、Ｐ１９０１に示す点となる。尚、図１９中のＡ１９０１は、図１８中のＡ１８０１と同じ肌色判定領域である。
【００４４】
図１９に示した状態では、人物の顔部であるＰ１９０１、衣服部Ｐ１９０２共に肌色判定領域Ａ１９０１の内側に入っているため肌色と判定されてしまう。その結果、顔部１７０１と衣服部１７０２の両方に対して多くの符号量を割り当てようと動作してしまう。
【００４５】
しかしながら、顔部１７０１以外に衣服部１７０２にも多くの符号量を割り当ててしまと、相対的に顔部１７０１のみに多くの符号量を割り当てることができなくなり、顔部１７０１の画質を向上させることができなくなるという問題がある。
【００４６】
また、光源が低色温度の場合には、本来の人物の肌でなくとも他の被写体も肌色に類似した赤みのある色になりやすい傾向がある。その場合、肌色判定領域に対してフィルタ処理を行うと、肌色に類似した他の被写体に対しもフィルタ処理を施してしまうので人物の肌色部以外の画質も変化してしまうという問題があった。
【００４７】
図２０は、高色温度の光源の元で図１７に示す人物を撮影した場合の画像信号の色差レベルを示したベクトル図である。
【００４８】
例えば、日陰のように高い色温度による光源で照らされた場合、即ち、ホワイトバランスが高色温度側で動作している場合には画像の青みが残ってしまうことがある。
【００４９】
その場合、被写体の衣服部１７０２は、図２０中、Ｐ２００２に示す点となる。また、被写体の顔部１７０１は、図２０中Ｐ２００１に示す点となる。尚、図２０中、Ａ２００１は、図１８中、Ａ１８０１と同じ肌色判定領域である。
【００５０】
この場合、人物の顔部であるＰ２００１、衣服部Ｐ２００２共に肌色判定領域Ａ２００１の内側に入っていないため肌色とは判定されない。その結果、顔部１７０１に対して多くの符号量を割り当てようとする動作は行わないため、顔部１７０１の画質を向上させることができなくなるという問題がある。
【００５１】
この問題は、前述したような色温度が極端に低い場合や高い場合以外でも生じる場合がある。
【００５２】
ホワイトバランス補正の動作説明でも述べたように、ホワイトバランスの補正は時間的に緩やかに変化するように制御されている。そのため、屋内から屋外にカメラが移動する等して光源の色温度が急激に変化した場合、ホワイトバランス補正が追従できない場合がある。
【００５３】
例えば、色温度の低い屋内で、図１７の被写体を撮影し、ホワイトバランスが図１８に示すように正しく補正されている状態で、被写体が色温度の高い屋外に移動したとする。
【００５４】
その場合、光源の色温度が急激に高く変化するため、色差ベクトルは一時的に図２０に示す状態となる。
【００５５】
その後、ホワイトバランスが屋外の色温度に追従して、図１８のように正しく補正されるまでの間、肌色が本来よりも青側にずれてしまうので、人物の顔が正しく肌色と判定されない。
【００５６】
同様に、色温度の高い屋外から色温度の低い屋内に移動した場合、色差ベクトルは一時的に図１９のような状態となる。
【００５７】
その後、ホワイトバランスが屋外の色温度に追従して、図１８のように正しく補正されるまでの間は、肌色以外の衣服も肌色と誤判定されてしまう。
【００５８】
このように、光源の色温度が急激に変化した場合にも、従来例では、顔部が正しく検出されず、顔部即ち肌色部に対してのみ多くの符号量を割り当てる動作が行われないという問題があった。
【００５９】
本発明の目的は、光源の色温度が変化しても肌色を含む領域の画質をより安定的に向上させることが可能となる画像処理装置を提供することにある。
【課題を解決するための手段】
【００６０】
上記目的を達成するために、請求項１記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合、前記撮影画像の後の撮影において、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする。
【００６１】
請求項４記載の画像処理装置は、入力された画像データから所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、撮影画像から得られたホワイトバランス制御のための色温度情報を検出するホワイトバランス検出手段と、検出された前記ホワイトバランス制御のための色温度情報に応じて、前記色検出部における前記所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合、前記撮影画像の後の撮影において、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする。
【００６２】
請求項６記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記符号化部における前記所定色が検出された領域に割り当てる画像符号化時の符号量を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合には、前記撮影画像の後の撮影において、高色温度側である場合に比べ前記符号化部における肌色が検出された領域に割り当てる画像符号化時の符号量を少なくすることを特徴とする。
【００６３】
請求項８記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記フィルタ処理部における前記所定色が検出された領域に対して施す前記フィルタ処理の種類及び強度を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側の場合には、前記撮影画像の後の撮影において、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする。
【発明の効果】
【００６４】
本発明の画像処理装置によれば、光源の色温度が変化しても肌色を含む領域の画質をより安定的に向上させることが可能となる。
【図面の簡単な説明】
【００６５】
【図１】図１は、本発明のビデオカメラに代表される画像処理装置の第１の構成例を示すブロック図である。
【図２】図１におけるホワイトバランス動作モード選択部で、オートモード（オートホワイトバランスモード）が選択されている例を示す図である。
【図３】図１の画像処理装置におけるホワイトバランス制御データと色温度の関係を示す図である。
【図４】図１の画像処理装置における色温度変化と肌色判定領域の関係を示す色差ベクトル図である。
【図５】図１の画像処理装置における色温度変化と肌色判定領域と白色部、肌色部の関係を示す色差ベクトル図である。
【図６】図１の画像処理装置によって実行されるフィルタ処理及び量子化処理の手順を示すフローチャートである。
【図７】図１の画像処理装置における色温度変化と量子化補正係数の関係を示す図である。
【図８】図１の画像処理装置におけるホワイトバランス動作モードと肌色判定領域の関係を示す色差ベクトル図である。
【図９】図１の画像処理装置におけるホワイトバランス制御データの現在値と目標制御値を示す図である。
【図１０】図１の画像処理装置における目標制御値と肌色判定領域の関係を示す色差ベクトル図である。
【図１１】本発明のビデオカメラに代表される画像処理装置の第２の構成例を示すブロック図である。
【図１２】図１１における記録媒体上の画像データとメタデータを示す図である。
【図１３】図１１におけるホワイトバランス検出部でのホワイトバランス検出処理の手順を示すフローチャートである。
【図１４】図１１におけるフィルタ部のフィルタ制御処理の手順を示すフローチャートである。
【図１５】従来例（特許文献１）に係る画像処理装置のブロック図である。
【図１６】図１５の量子化部における符号量制御処理の手順を示すフローチャートである。
【図１７】は被写体を示す図である。
【図１８】図１７に示す被写体が撮影された場合の画像信号における色差信号のレベルを示すベクトル図である。
【図１９】低色温度の光源の元で図１７に示す人物を撮影した場合の色差信号のレベルを示すベクトル図である。
【図２０】高色温度の光源の元で図１７に示す人物を撮影した場合の画像信号の色差レベルを示すベクトル図である。
【発明を実施するための最良の形態】
【００６６】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００６７】
（第１の実施の形態）
図１は、本発明のビデオカメラに代表される画像処理装置の第１の構成例を示すブロック図である。
【００６８】
図１において、撮像部１０１は、レンズや撮像素子を含み映像を撮影（撮像）する。画像信号処理部１０２は、ガンマ変換、色空間変換、ホワイトバランス処理、ラスタ−ブロック変換等一連の画像信号処理を実行する。
【００６９】
肌色検出処理部（色検出部）１０３は、一連の画像処理が施された画像に対して撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出する。フィルタ部（フィルタ処理部）１０４は、撮影された画像データの任意の領域に対して選択的にその高周波成分強度を減衰させる。
【００７０】
動き補償予測部１０５は、予測対象画像ブロックと最も一致する参照画像ブロックを予測し、動きベクトルを生成する。直交変換部１０６は、離散コサイン変換等の直交変換を行う。量子化部１０７は、直交変換係数を量子化行列等で除算し、情報量を削減する。
【００７１】
エントロピー符号化部１０８は、ハフマン符号等で可変長符号化することにより更に情報量を削減する。バッファ部１０９は、変動する単位時間当たりに発生する符号量を時間軸上で平滑化する。
【００７２】
記録部１１０は、磁気テープやメモリカード等の記録媒体へ符号化データを記録する。逆量子化部１１１は、参照画像を再構成するために、量子化部１０７により量子化された直交変換係数を逆量子化する。
【００７３】
逆直交変換部１１２は、逆量子化部１１１により生成された逆量子化後の直交変換係数を逆直交変換する。ホワイトバランス動作モード選択部１１３は、撮影者により操作されたホワイトバランス動作モードを選択（設定）する。
【００７４】
制御部（制御手段）１１４は、本ビデオカメラを統括的に制御する。即ち、制御部１１４は、バッファ部１０９の占有率を監視し符号化データ量を保つ制御、後述する肌色検出処理における閾値制御、フィルタ部１０４の強度制御等を行う。
【００７５】
制御部１１４は、画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、肌色検出処理部１０３における所定色を検出する際の輝度信号及び色信号の閾値を変化させる。または、制御部１１４は、エントロピー符号化部１０８における所定色が検出された領域に割り当てる画像符号化時の符号量を変化させる。または、制御部１１４は、フィルタ部１０４における所定色が検出された領域に対して施すフィルタ処理の種類及び強度を変化させる。
【００７６】
また、制御部１１４は、ホワイトバランス制御状態が所定の値に固定されている場合と自動追尾状態である場合とで肌色検出処理部１０３部における肌色を検出する際の輝度信号及び色信号の閾値を変化させる。
【００７７】
また、制御部１１４は、ホワイトバランス制御における現在の補正量と最終補正量とを求め、補正量と最終補正量との差に応じて肌色検出処理部１０３における所定色を検出する際の輝度信号や色信号の閾値を変化させる。
【００７８】
上記構成を有する画像処理装置において、本発明の特徴的な動作について説明する。
【００７９】
撮像部１０１より入力された画像データは、画像信号処理部１０２においてガンマ変換、色空間変換、ホワイトバランス処理、ラスタ−ブロック変換等一連の画像信号処理が施される。
【００８０】
尚、ここでのホワイトバランス処理は、ホワイトバランス動作モード選択部１１３で設定された動作モードに応じて動作する。
【００８１】
図２は、図１におけるホワイトバランス動作モード選択部で、オートモード（オートホワイトバランスモード）が選択されている例を示す図である。
【００８２】
図２に示すように、設定可能なホワイトバランスの動作モードとしては、光源の色温度変化に対して自動てきに追尾して調整する所謂オートホワイトバランスモードがある。また、白紙等を撮影して任意の光源の色温度に調整するホワイトバランスセットモード、太陽光や蛍光灯等、予めいくつかの光源の色温度に合わせたホワイトバランス調整値に設定可能なプリセットモード等がある。
【００８３】
このように選択されたホワイトバランスの動作モード、及び画像信号処理部１０２におけるホワイトバランスの動作状態、色温度情報は制御部１１４に出力される。
【００８４】
次に、一連の画像処理が施された画像に対して、肌色検出処理部１０３は、撮影対象としての重要度が一般的に高い人物を検出する目的で肌色検出処理を行う。
【００８５】
ここで、本実施の形態におけるホワイトバランスの制御状態と肌色検出処理部１０３、制御部１１４の動作について、図３、図４、図５を用いて説明する。
【００８６】
図３は、図１の画像処理装置における色温度とホワイトバランスの制御データの関係を示す図である。
【００８７】
図３の実線で示す特性は、色温度の変化に伴うホワイトバランス制御データＲ＿Ｇａｉｎ，Ｂ＿Ｇａｉｎの制御特性であり、Ｒ＿Ｇａｉｎは画像信号中の赤成分のゲインを調整するデータであり、Ｂ＿Ｇａｉｎは画像信号中の青成分のゲインを調整するデータである。
【００８８】
図３に示すように、Ｒ＿Ｇａｉｎ，Ｂ＿Ｇａｉｎは、色温度が低色温度から高色温度に変化するのに伴い、それぞれＲＧ１→ＲＧ４、ＢＧ１→ＢＧ４と変化する。
【００８９】
制御部１１４は、Ｒ＿ｇａｉｎがＲＧ２以下、もしくは／かつＢ＿ｇａｉｎがＢＧ２以上である場合には、ホワイトバランス制御状態が低色温度側であると判定する。また、Ｒ＿ｇａｉｎがＲＧ３以上、もしくは／かつＢ＿ｇａｉｎがＢＧ３以下である場合には、ホワイトバランス制御状態が高色温度側であると判定する。制御部１１４は、ホワイトバランス制御状態が高色温度側でも低色温度側でもない場合には通常範囲と判定する。
【００９０】
図４（ａ）〜（ｃ）は、図１における制御部が判定した色温度と肌色検出処理部による肌色判定領域との関係を示す図である。
【００９１】
図４（ａ）の破線内の領域Ａ４０１ａは、色温度が低色温度側と判定された場合の肌色判定領域である。
【００９２】
図４（ｂ）の破線内の領域Ａ４０１ｂは色温度が通常範囲と判定された場合の肌色判定領域である。
【００９３】
図４（ｃ）の破線内の領域Ａ４０１ｃは、色温度が高色温度側と判定された場合の肌色判定領域である。
【００９４】
このように、図４（ｂ）の通常範囲と判定された場合の肌色判定領域４０１ｂに比べ、低色温度側と判定された場合の肌色判定領域Ａ４０１ａは、図４（ａ）に示すように彩度が高い方向にシフトする。
【００９５】
また、高色温度側と判定された場合の肌色判定領域Ａ４０１ｃは、図４（ｃ）に示すように彩度が低い方向にシフトする。
【００９６】
このように、本実施の形態の肌色検出処理部１０３は、ホワイトバランスの制御状態に応じて肌色判定領域を変化させる動作を行う。
【００９７】
ここで、本実施の形態における色温度が低い場合と高い場合の肌色検出の動作について図５を用いて説明する。
【００９８】
図５（ａ）は、低色温度の光源において図１７に示す人物を撮影した場合の画像信号の色差レベルを示したベクトル図である。
【００９９】
前述したように、例えば、ろうそくや暖炉の炎のように低い色温度による光源で被写体が照らされた場合、即ち、ホワイトバランスが低色温度側で動作している場合には、ホワイトバランス補正がなされても画像の赤みが残ってしまうことがある。
【０１００】
その場合、被写体の衣服部１７０２（図１７）は、図５中、Ｐ５０２ａに示す点となる。また、被写体の顔部１７０１（図１７）は、図５中、Ｐ５０１ａに示す点となる。
【０１０１】
しかし、本実施の形態での肌色判定領域は、Ａ５０１ａに示すように、彩度が高い方向にシフトするため、顔部の色差信号Ｐ５０１ａのみが肌色判定領域Ａ５０１ａ内に入り、衣服部の色差信号Ｐ５０２ａは肌色と判定されることはない。
【０１０２】
また、図５（ｃ）は、高色温度の光源において図１７に示す人物を撮影した場合の画像信号の色差レベルを示したベクトル図である。
【０１０３】
前述したように、例えば、日陰のように高い色温度による光源で被写体が照らされた場合、即ち、ホワイトバランスが高色温度側で動作している場合には、ホワイトバランス補正がなされても画像の青みが残ってしまうことがある。
【０１０４】
その場合、被写体の衣服部１７０２は、図５（ｃ）中、Ｐ５０２ｃに示す点となる。
【０１０５】
また、被写体の顔部１７０１は、図５（ｃ）中、Ｐ５０１ｃに示す点となるが、本実施の形態の肌色判定領域は、Ａ５０１ｃに示すように彩度が低い方向にシフトするため、人物の顔部であるＰ５０１ｃを肌色と判定することができる。
【０１０６】
尚、ホワイトバランス制御状態が図５（ｂ）に示す通常範囲である場合には、従来例と同様に、人物の顔部であるＰ５０１ｂのみを肌色と判定することができる。衣服部１７０２であるＰ５０２ｂは、肌色と判定されない。
【０１０７】
このように、様々な色温度状態に適応して肌色と判定するための色差信号の閾値を変化させることにより、光源の色温度によらず安定的に肌色を検出することが可能となる。
【０１０８】
図６は、図１の画像処理装置によって実行されるフィルタ処理及び量子化処理の手順を示すフローチャートである。
【０１０９】
本処理は、図１における制御部１１４の制御の下に実行される。
【０１１０】
図６において、処理が開始されると、まず、ステップＳ６０１にて画像全体の目標符号量を元に、基本となる量子化ステップＱを算出する。次に、ステップＳ６０２にてホワイトバランス制御状態から色温度判定を行う。
【０１１１】
ステップＳ６０２は、ホワイトバランス制御状態から色温度を判定する判定手段として機能する。色温度判定は、図３で示したように、ホワイトバランス制御データＲ＿Ｇａｉｎ，Ｂ＿Ｇａｉｎの値により行う。次にステップＳ６０３にて低色温度側か否かを判定する。
【０１１２】
ステップＳ６０３にて低色温度側と判定された場合には、ステップＳ６０４にて量子化ステップＱに補正係数Ｋ１を乗じ、補正量子化ステップＱ’を算出し、ステップＳ６０５にてフィルタ強度を弱に設定する。
【０１１３】
ステップＳ６０３にて低色温度側と判定されない場合には、ステップＳ６０６にて高色温度側か否かを判定する。ステップＳ６０６にて高色温度側と判定された場合には、ステップＳ６０７にて量子化ステップＱに補正係数Ｋ３を乗じた補正量子化ステップＱ’を算出し、ステップＳ６０８にてフィルタ強度を強に設定する。
【０１１４】
ステップＳ６０６にて高色温度側と判定されない場合には、通常色温度とみなし、ステップＳ６０９にて量子化ステップＱに補正係数Ｋ２を乗じた補正量子化ステップＱ’を算出し、ステップＳ６１０にてフィルタ強度を中に設定する。
【０１１５】
ステップＳ６０４、Ｓ６０７、Ｓ６０９は、判定手段の判定結果に基づき画像全体の目標符号量を元に算出された量子化ステップを補正する補正手段として機能する。
【０１１６】
ステップＳ６０５、Ｓ６０８、Ｓ６１０は、補正手段の補正結果に基づきフィルタ強度を設定する設定手段として機能する。
【０１１７】
尚、前述の係数Ｋ１、Ｋ２、Ｋ３の値は数式１に示す関係とする。
【０１１８】
［数１］
Ｋ３ ＜ Ｋ２ ＜ Ｋ１ ＜ １．０
数式１で示すＫ１〜Ｋ３の各係数値を与えることにより、補正量子化ステップＱ’は基本となる量子化ステップＱよりも小さくなる。かつ色温度が高くなるに伴い、補正量子化ステップＱ’はより小さく設定される。
【０１１９】
また、フィルタ強度も色温度が高くなるに伴い強く設定される。尚、本実施の形態では、フィルタ強度が強くなるにつれて画像信号中の高周波成分をより低減させる動作を行う。
【０１２０】
次に、ステップＳ６１１では前述の処理で設定されたフィルタ強度を用いて肌色を含むと判定された領域に対してフィルタ処理を行う。
【０１２１】
ステップＳ６１１は、設定手段で設定されたフィルタ強度で肌色判定領域をフィルタ処理するフィルタ処理手段として機能する。
【０１２２】
次に、ステップＳ６１２では前述の処理で設定された補正量子化ステップＱ’を用いて肌色を含むと判定された領域に対して量子化処理を行う。
【０１２３】
ステップＳ６１２は、補正された量子化ステップで肌色判定領域を量子化する量子化処理手段として機能する。
【０１２４】
尚、図６には示していないが、肌色判定領域以外の部分に関しては基本の量子化ステップＱを用いて量子化を行う。
【０１２５】
その後、エントロピー符号化部１０８により一連の符号化処理を施された後、符号化データはバッファ部１０９に一時蓄えられ、最終的に記録部１１０により磁気テープやメモリカード等の記録媒体へ記録される。
【０１２６】
このように、本実施の形態では、光源の色温度情報やホワイトバランス制御状態に応じて、肌色を検出する際の輝度信号や色信号の閾値、肌色判定領域に対して行うフィルタ強度及び量子化ステップを適時変更させることが可能な構成となっている。
【０１２７】
その結果、一般的に撮影対象としての重要度が高い人物の特に顔面部が、肌色検出処理により色温度変化の影響を受けることなく精度良く安定的に認識することができる。
【０１２８】
また、色温度に応じて逆直交変換部１１２は、顔面部に該当する画像ブロックの量子化に際して量子化ステップ値を小さくすることにより、情報量を増加させることが可能となる。
【０１２９】
また、肌色判定領域には色温度に対応したフィルタ処理が行われるので、色温度が低い場合に、人物以外の被写体がフィルタ処理によって画質が変化してしまうことを低減することができる。
【０１３０】
これらの結果として、安定的に肌色を含む領域の画質を向上させることが可能になる。
【０１３１】
尚、本実施の形態では、色温度に応じて３つのレベルで肌色検出のための閾値、量子化ステップ、及びフィルタ強度を変化させる構成としたが特に３つのレベルでなくても良い。
【０１３２】
例えば、図７の実線で示すように、光源の色温度の変化に対応して変化するホワイトバランス制御データであるＲ＿Ｇａｉｎに応じて連続的に量子化補正係数を変化させることで、肌色判定領域に対する量子化ステップも連続的に変化させる構成にしても良い。
【０１３３】
また、色温度に応じて肌色判定領域を決める色差信号や輝度信号の閾値レベル、及びフィルタ強度も連続的に変化させても良いことはいうまでもない。
【０１３４】
また、本実施の形態では量子化ステップを変化させることが可能な符号化方式例に説明したが、量子化ステップが変更できない符号化方式の場合にはフィルタ強度のみを変化させる構成にしても良い。
【０１３５】
（第２の実施の形態）
以下、本発明の第２の実施の形態について説明する。尚、第２の実施の形態における画像処理装置の構成は、第１の実施の形態と同様であるため、説明を省略する。
【０１３６】
本実施の形態の特徴は、ホワイトバランスの制御状態、特にホワイトバランスの動作モードによって肌色判定領域を変更する点にある。
【０１３７】
図２で説明したように、設定可能なホワイトバランスの動作モードとしては、光源の色温度変化に対して自動的に追尾して調整する所謂オートホワイトバランスモードがある。また、白紙等を撮影して任意の光源の色温度に調整するホワイトバランスセットモード、太陽光や蛍光灯等予めいくつかの光源の色温度に合わせたホワイトバランス調整値に設定可能なプリセットモード等がある。
【０１３８】
ホワイトバランスセットモードでは、一旦白紙等無色の被写体を撮影してホワイトバランスを調整するため、オートホワイトバランスモードの場合と比べて正確にホワイトバランスが補正できる。また、太陽光や蛍光灯等のプリセットモードを使用する場合も、撮影者は光源の色温度状態を事前に把握した上で用いるため、比較的正しくホワイトバランス補正を行うことができる。
【０１３９】
それに対して、一般的にオートホワイトバランスモードでは、被写体の色の影響を受けやすく、人物を撮影した場合には僅かではあるが肌色の彩度が低下する場合がある。
【０１４０】
本実施の形態は、このようなオートホワイトバランスモードとそれ以外のモードにおける肌色の彩度の差に対応するためのものである。
【０１４１】
図８は、本実施の形態におけるホワイトバランス動作モードと肌色判定領域の変化を示す図である。
【０１４２】
図８（ａ）のＡ８０１ａは、ホワイトバランスの動作モードがセットモードまたはプリセットモードの場合の肌色判定領域を示す。また図８（ａ）中、Ｐ８０１ａ、Ｐ８０２ａは、図１７に示す人物を撮影した場の顔部１７０１及び衣服部１７０２に対応する点である。
【０１４３】
図８（ａ）に示すように、ホワイトバランス動作モードがセットモードやプリセットモードの場合は、撮影者が光源の色温度に合わせて正しくホワイトバランス調整するため、正確に衣服部１７０２の白に相当するＰ８０２ａがベクトル図の中心に合っている。
【０１４４】
本実施の形態では、このような場合には肌色判定領域Ａ８０１ａを変化させずに固定の領域とする。
【０１４５】
一方、図８（ｂ）中、Ｐ８０１ｂ、Ｐ８０２ｂは、ホワイトバランス動作モードがオートモードで、図１７に示す人物を撮影した場の顔部１７０１及び衣服部１７０２に対応する点である。
【０１４６】
図８（ｂ）に示すように、ホワイトバランス動作モードがオートモード場合、僅かにホワイトバランスが誤補正され、被写体の衣服部１７０２の白に相当する点Ｐ８０２ｂがベクトル図の中心から青方向に少しずれる。そして、それに伴い、顔部１７０１に相当する点Ｐ８０１ｂの彩度も低下する場合がある。
【０１４７】
本実施の形態では、ホワイトバランス動作モードがオートモードの場合に、図８（ｂ）に示すように、肌色判定領域Ａ８０１ｂを少し低彩度側にシフトさせる処理を行うことで、ホワイトバランスの動作モードに関係なく、正しく肌色を検出することが可能となる。
【０１４８】
結果として、第１の実施の形態と同様に、一般的に撮影対象としての重要度が高い人物の特に顔面部を、肌色検出処理により色温度変化の影響を受けることなく精度良く安定的に認識することができる。
【０１４９】
また、色温度に応じて逆直交変換部１１２は、顔面部に該当する画像ブロックの量子化に際して量子化ステップ値を小さくし、情報量を増加させることが可能となる。また、肌色判定領域には色温度に応じたフィルタ処理も行われるので、結果的に、肌色検出処理部１０３において肌色と検出された領域に対する符号量を、それ以外の領域と比べて相対的に増加するように量子化部１０７を制御することが可能となる。その結果、安定的に肌色を含む領域の画質を向上させることが可能になる。
【０１５０】
（第３の実施の形態）
以下、本発明の第３の実施の形態について説明する。尚、第３の実施の形態における画像処理装置の構成は、第１の実施の形態と同様であるため、説明を省略する。
【０１５１】
本実施の形態は、第１の実施の形態の構成及び動作に加えてホワイトバランスがオートモードで動作している場合に、光源の色温度が急激に変化した場合にも適切に対応可能とするものである。
【０１５２】
また、本実施の形態の特徴は、ホワイトバランス制御データの目標補正量と現在の補正値との差に対応して肌色判定領域を変化させる点にある。
【０１５３】
図９、及び図１０を用いて第３の実施の形態について詳しく説明する。
【０１５４】
ここで、光源の色温度が高く、ホワイトバランス制御データは、図９におけるＴＳの値を出力してホワイトバランス補正されているとする。
【０１５５】
その場合に、図１７の被写体を撮影したときの顔部１７０１と白い衣服部１７０２の色差ベクトルは図１０中、Ｐ＿ＴＳ１、Ｐ＿ＴＳ２となる。また、肌色判定領域は、図１０中のＡ＿ＴＳとなる。
【０１５６】
その後、急速に光源の色温度が低く変化した場合、色差ベクトルは、それぞれ、図１０中のＰ＿ＴＳ１がＰ＿ＴＤ１へ、Ｐ＿ＴＳ２がＰ＿ＴＤ２へずれてしまう。これは、ホワイトバランス補正が時間的にゆっくりと行われるので、急速に光源の色温度が変化した場合にホワイトバランス補正が追従できないためである。
【０１５７】
この場合、第１の実施の形態の構成のみでは、ホワイトバランスが追従するまでの間は肌色判定領域は、図１０中のＡ＿ＴＳのままであるので、色温度変化後の肌色に相当するＰ＿ＴＤ１がＡ＿ＴＳの領域外となり、肌色と検出されなくなってしまう恐れがある。
【０１５８】
そこで、本実施の形態では、ホワイトバランス制御データの現在の補正値と最終的に目標とすべき目標補正値との差に応じて肌色判定領域を変化させるようにしている。
【０１５９】
尚、ホワイトバランスの目標補正値は、例えば、白の衣服部等、白に相当する領域の色差信号の値が色差ベクトルの中心（色差ゼロの点）からどれくらいずれているかを算出することによって求めることができる。本実施の形態では、図１０中のＰ＿ＴＤ２の色差ベクトル中心からのずれ量によって求める。
【０１６０】
ここで、求められたホワイトバランス制御データの目標補正量が図９中のＴＤであった場合、現在の補正量ＴＳとＴＤとの差に応じて、また肌色判定領域をシフトする。
【０１６１】
図９に示すように、ＴＳとＴＤに対応するＲ＿Ｇａｉｎの補正量をそれぞれＲＧ＿ＴＳ、ＲＧ＿Ｔとすると、例えば、現在の制御値と目標とする制御値が図９に示すような場合は、数式２に示す関係が成り立つ。従って、目標とする色温度は現在の色温度よりも低いと判定することができる。
【０１６２】
［数２］
ＲＧ＿ＴＳ ＞ ＲＧ＿ＴＤ
その場合は、肌色判定領域を低色温度側にシフトし、図１０中のＡ＿ＴＤの位置にする。ここで、肌色判定領域をシフトする量は、ＲＧ＿ＴＳとＲＧ＿ＴＤとの差に対応して行えば良い。
【０１６３】
その結果、色温度が低く変化した場合の肌色に相当するＰ＿ＴＤ１がＡ＿ＴＤの領域内となり、肌色と検出することが可能となる。
【０１６４】
本実施の形態では、ホワイトバランス補正の追従速度を超える急激な光源の色温度変化が生じた場合でも、ホワイトバランス制御データの目標補正量と現在の補正値との差に対応して肌色判定領域を変化させるので、適切な肌色検出を行うことが可能となる。
【０１６５】
それにより、同様に逆直交変換部１１２は、顔面部に該当する画像ブロックの量子化に際して、量子化ステップ値を小さくし情報量を増加させることが可能となる。また、肌色判定領域には適時フィルタ処理が行われるので、結果的に、肌色検出処理部１０３において肌色と検出された領域に対する符号量を、それ以外の領域と比べて相対的に増加するように量子化部１０７を制御することが可能となる。
【０１６６】
その結果、重要度が高い人物の特に顔面部を、肌色検出処理により色温度変化の影響を受けることなく精度良く安定的に認識することができるので、安定的に肌色を含む領域の画質を向上させることが可能になる。
【０１６７】
（第４の実施の形態）
第１乃至第３の実施の形態では、画像を符号化する際に安定的に肌色を検出し、肌色を含む領域の画質を向上させる例について説明した。
【０１６８】
しかし、本発明は必ずしも画像を符号化して記録する場合にのみ効果を発揮するものではなく、画像を再生する場合にも有効である。
【０１６９】
図１１は、本発明のビデオカメラに代表される画像処理装置の第２の構成例を示すブロック図である。
【０１７０】
図１１を用いて画像を再生する場合の本実施の形態の動作について説明する。
【０１７１】
図１１において、記録媒体１１０１は、メモリカード、ハードディスク、光ディスク等からなる。読み出し部１１０２は、記録媒体１１０１から後述する画像データ及びメタデータを読み出す。
【０１７２】
復号化部１１０３は、圧縮符号化された画像データをベースバンドの画像データに伸張する。ホワイトバランス検出部１１０４は、読み出された画像データやメタデータから後述するホワイトバランス情報を検出する。
【０１７３】
肌色検出処理部１１０５は、第１乃至第３の実施の形態と同様の動作を行う。フィルタ部１１０６も、第１乃至第３の実施の形態と同様の動作を行う。画像出力部１１０７は、画像を図示しないディスプレイや他の画像機器に出力する。制御部１１０８は、画像処理装置全体を統括的に制御する。
【０１７４】
上記構成を有する画像処理装置において、本実施の形態の特徴的な動作について説明する。
【０１７５】
図１１中の記録媒体１１０１には、図１２に示すように、圧縮符号化された画像データ１２０１とそれに付随するメタデータ１２０２が記録されている。
【０１７６】
メタデータ１２０２には、撮影時のホワイトバランス制御情報、撮影時の色温度情報等が記録されている。
【０１７７】
読み出し部１１０２により、符号化された画像データ及びメタデータが記録媒体１１０１から読み出される。読み出された画像データは、復号化部１１０３によりベースバンドの画像信号に復号化される。
【０１７８】
尚、本実施の形態において、圧縮符号化の方式は特にどのような種類のものであっても差し支えない。また、記録媒体１１０１に記録されている画像は必ずしも圧縮符号化されている必要もない。よって、本実施の形態では、復号化部１１０３の詳細構成及び動作については説明を省略する。
【０１７９】
復号化部１１０３によりベースバンド画像に復号された画像データは、ホワイトバランス検出手段であるホワイトバランス検出部１１０４に入力される。尚、ホワイトバランス検出部１１０４には、記録媒体１１０１から読み出されたメタデータも入力される。復号された画像データは、肌色検出処理部１１０５及びフィルタ部１１０６にも入力される。
【０１８０】
尚、フィルタ部１１０６は、再生時に処理されるフィルタであるため一般的にはポストフィルタと称される。
【０１８１】
ホワイトバランス検出部１１０４では、入力されたメタデータや画像データによってホワイトバランス制御状態や画像が撮影された光源の色温度を検出する。
【０１８２】
図１３は、図１１におけるホワイトバランス検出部でのホワイトバランス検出処理の手順を示すフローチャートである。
【０１８３】
図１３において、ホワイトバランス検出処理が開始されると、まず、ステップＳ１３０１にてメタデータの読み込みを行う。次に、ステップＳ１３０２にて入力されたメタデータ中に撮影時のホワイトバランス制御情報や光源の色温度情報等のホワイトバランス情報が含まれているかどうかを判定する。
【０１８４】
ホワイトバランス情報が含まれている場合、ステップＳ１３０３にてメタデータ含まれたホワイトバランス情報を抜き出し、ホワイトバランス検出データとして制御部１１０８に出力し処理を終える。
【０１８５】
ステップＳ１３０３にてメタデータにホワイトバランス情報が含まれていない場合やメタデータ自体が存在しない場合、ステップＳ１３０４にて画像データを読み込む処理を行う。次に、ステップＳ１３０５にて画像データから光源の色温度を推定する処理を行う。
【０１８６】
本実施の形態では、色温度の推定は画像の色差信号の平均値により行う。例えば、画像中の色差信号を平均した値が赤方向に偏っている場合、低色温度と判定する。また、画像中の色差信号を平均した値が青方向に偏っている場合、高色温度と判定する。
【０１８７】
これらの判定結果を、ステップＳ１３０６にてホワイトバランス検出データとして制御部１３０８に出力して、処理を終了する。
【０１８８】
肌色検出処理部１１０５では、ホワイトバランス検出部１１０４にて検出されたホワイトバランス検出情報、即ち、ホワイトバランス動作モードや色温度情報に応じた肌色検出動作を行う。
【０１８９】
尚、本実施の形態でも、ホワイトバランス動作モードや色温度情報に応じて肌色判定領域を変化させる肌色検出動作については第１乃至第３の実施の形態と同様であるので説明を省略する。
【０１９０】
次にフィルタ部１１０６は、肌色検出処理部１１０５にて肌色と検出された領域に対してフィルタ処理を行う。
【０１９１】
図１４は、図１１におけるフィルタ部のフィルタ制御処理の手順を示すフローチャートである。
【０１９２】
尚、この処理は図１１の制御部１１０８が行う。
【０１９３】
図１４において、フィルタ制御処理が開始されると、まず、フステップＳ１４０１にてホワイトバランス検出部１１０４からの出力により色温度が低色温度側か否かを判定する。
【０１９４】
ステップＳ１４０１にて低色温度側と判定された場合には、ステップＳ１４０２にてフィルタ強度を弱に設定する。ステップＳ１４０１にて低色温度側と判定されない場合にはステップＳ１４０３にて高色温度側か否かを判定する。
【０１９５】
ステップＳ１４０３にて高色温度側と判定された場合には、ステップＳ１４０４にてフィルタ強度を強に設定する。ステップＳ１４０３にて高色温度側と判定されない場合には、通常色温度とみなし、ステップＳ１４０５にてフィルタ強度を中に設定する。
【０１９６】
このように、フィルタ強度は色温度が高くなるに伴い強く設定される。尚、本実施の形態では、フィルタ強度が強くなるにつれて画像信号中の高周波成分をより低減させる動作を行う。
【０１９７】
次に、ステップＳ１４０６にて前述の処理で設定されたフィルタ強度を用いて肌色を含むと判定された領域に対してフィルタ処理を行い、このフローを抜ける。
【０１９８】
尚、図１４には示していないが、肌色判定領域以外の部分に関しては特にフィルタ処理は行わない。
【０１９９】
これらのフィルタ処理が行われた画像信号は、画像出力部１１０７や他の画像機器に出力される。
【０２００】
このように、本実施の形態では、記録された画像データから光源の色温度情報やホワイトバランス制御状態を検出して、肌色判定領域の閾値及び肌色判定領域に対して行うフィルタ強度を適時変更させることが可能な構成となっている。
【０２０１】
一般的に、重要度が高い人物の特に顔面部が肌色検出処理により精度良く安定的に認識することができる。また、肌色判定領域には適時フィルタ処理が行われるので、安定的に肌色を含む領域の画質を向上させることが可能になる。
【０２０２】
尚、本実施の形態では、色温度に応じて３つのレベルでフィルタ強度を変化させる構成としたが特に３つのレベルでなくても良く、連続してフィルタ強度を変化させる構成にしても良い。
【０２０３】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【０２０４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２０５】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしても良い。
【０２０６】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯステップＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０２０７】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【０２０８】
１０１ 撮像部
１０２ 画像信号処理部
１０３ 肌色検出処理部
１０４ フィルタ部
１０５ 動き補償予測部
１０６ 直交変換部
１０７ 量子化部
１０８ エントロピー符号化部
１０９ バッファ部
１１０ 記録部
１１１ 逆量子化部
１１２ 逆直交変換部
１１３ ホワイトバランス動作モード選択部
１１４ 制御部
【技術分野】
【０００１】
本発明は、画像処理装置に関するものである。
【背景技術】
【０００２】
従来、撮影された画像に対し圧縮符号化を行う画像処理装置において、重要度が高いとされる所定色を含む領域を検出し、所定色が検出された領域に対して画質を向上させる処理を行う装置がある。
【０００３】
このような装置で重要度が高いとされる色は一般的に人物の顔に相当する色、即ち、肌色である場合が多い。
【０００４】
このように画像中の肌色を含む領域を検出し、肌色が検出された領域に対して、フィルタ処理を行い、画像圧縮時の符号割り当て量を制御することにより、画質を向上させる提案として特許文献１がある。
【０００５】
図１５は、従来例（特許文献１）に係る画像処理装置のブロック図である。
【０００６】
図１５において、撮像部１５０１は、レンズや撮像素子を含み映像を撮影（撮像）する。画像信号処理部１５０２は、ガンマ変換、色空間変換、ラスタ−ブロック変換等一連の画像信号処理を実行する。
【０００７】
肌色検出処理部１５０３は、一連の画像処理が施された画像に対して撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出する。フィルタ部１５０４は、撮影された画像データの任意の領域に対して選択的にその高周波成分強度を減衰させる。
【０００８】
動き補償予測部１５０５は、予測対象画像ブロックと最も一致する参照画像ブロックを予測し、動きベクトルを生成する。直交変換部１５０６は、離散コサイン変換等の直交変換を行う。量子化部１５０７は、直交変換係数を量子化行列等で除算し、情報量を削減する。
【０００９】
エントロピー符号化部１５０８は、ハフマン符号等で可変長符号化することにより更に情報量を削減する。バッファ部１５０９は、変動する単位時間あたりに発生する符号量を時間軸上で平滑化する。
【００１０】
記録部１５１０は、磁気テープやメモリカード等の記録媒体へ符号化データを記録する。逆量子化部１５１１は、参照画像を再構成するため、量子化部１５０７により量子化された直交変換係数を逆量子化する。
【００１１】
逆直交変換部１５１２は、逆量子化部１５１１により生成された逆量子化後の直交変換係数を逆直交変換する。撮影モード選択部１５１３は、撮影者により操作され撮影モードを選択（設定）する。
【００１２】
制御部１５１４は、バッファ部１５０９の占有率を監視し、システム全体を統括的に制御する。符号化モード選択部１５１５は、撮影者により操作され、静止画または動画を選択する。
【００１３】
図１６は、図１５の量子化部における符号量制御処理の手順を示すフローチャートである。
【００１４】
ステップＳ１６０１で撮影者により撮影開始が指示されると、ステップＳ１６０２にて制御部１５１４は符号化モード選択部１５１５に設定されている符号化モードを調べる。
【００１５】
符号化モードが動画符号化モードであった場合は、ステップＳ１６０３に進んで撮影モード選択部１５１３に設定されている撮影モードを調べ、動画符号化モードで無い場合は処理を終了する。
【００１６】
ステップＳ１６０３において、撮影モードがポートレートモードで無い場合は処理を終了する。
【００１７】
一方、ステップＳ１６０３で撮影モードがポートレートモードであった場合は、ステップＳ１６０４に進む。そして、ステップＳ１６０４で、肌色検出処理部１５０３において肌色と検出された領域に該当する画像ブロックの量子化に際して量子化ステップ値を小さくする等して符号量を増加させ、処理を終了する。
【００１８】
尚、この制御に加えて、肌色と検出された領域以外の領域に該当する画像ブロックの量子化に際しては、量子化ステップ値を大きくする等して符号量を低減させるように量子化部１５０７を制御する。結果的に、肌色検出処理部１５０３において肌色と検出された領域に対する符号量をそれ以外の領域と比べて相対的に増加するように量子化部１５０７を制御する。
【００１９】
このような符号量制御処理により、画像中に肌色の存在が検出された領域における符号量は増加し、一方、それ以外の領域における符号量は低減するので全体の符号量を保ちながら肌色を含む領域の画質を向上させることができるような構成となっている。
【００２０】
また、特許文献１では、ユーザーがポートレートモードを選択した時に限り肌色の存在が検出された領域に符号量を与えることにより、効果的に符号量を削減できる構成にもなっている。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開２００５―２１８０１７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
以下に特許文献１に示した従来技術における問題点について説明する。
【００２３】
通常、図１５に示すようなビデオカメラに代表される画像処理装置では、被写体を照らす光源の色温度変化を補正する目的で所謂ホワイトバランス補正が行われている。
【００２４】
ここで、本発明が解決しようとする課題を説明するために、一般的なホワイトバランス補正の動作について述べる。
【００２５】
（一般的なホワイトバランスの動作説明）
ホワイトバランス補正で制御可能な色温度範囲は、実際の撮影で使用される光源の色温度変化範囲を想定して設定されており、ある一定の有限な範囲に限定されている。
【００２６】
通常、ホワイトバランスの補正可能な色温度範囲として、高色温度側は、太陽光の色温度付近に設定され、低色温度側は、白熱電球の色温度付近に設定されている。
【００２７】
このように、ホワイトバランス補正で制御可能な色温度範囲を設定することにより、例えば、ろうそくや暖炉の炎のように低い色温度による光源で照らされた被写体を撮影した場合には、光源の赤みが残された画像になり、温かみのある画像を得ることができる。
【００２８】
一方、日陰のように高い色温度による光源の元での被写体を撮影した場合には、光源の青みが残された画像になり、清涼感のある画像を得ることができる。
【００２９】
更に、ホワイトバランス補正で制御可能な色温度範囲を所定の有限な範囲以内に定めることにより、以下の効果がある。即ち、特定の有彩色の影響を受け、カラーフェイリアと呼ばれるホワイトバランス誤補正が生じた場合でも、ホワイトバランス補正された画像の色味が極端にずれてしまう事態を防ぐ効果もある。
【００３０】
また、時間的に連続した動画を撮影するビデオカメラに代表される画像処理装置では、急激なホワイトバランス補正によりシーンの途中で色味が変化しないように、単位時間当たりの補正量も制限されており、時間的に緩やかな補正が行われている。
【００３１】
上記のようなホワイトバランス補正機能を持ち、肌色を含む領域を検出する場合の問題点について説明する。
【００３２】
図１７は被写体を示す図であり、白い衣服を着た人物の例である。図中１７０１、１７０２はそれぞれ肌色部である人物の顔部と白色の衣服部を示す。
【００３３】
図１８は、図１７に示す被写体が撮影された場合の画像信号における色差信号のレベルを示したベクトル図である。
【００３４】
ホワイトバランス補正がされた状態では、被写体の衣服部１７０２は白色なので、図１８中、Ｐ１８０２に示す点となる。
【００３５】
また、被写体の顔部１７０１は肌色であるので、図１８中、Ｐ１８０１に示す点となる。尚、図１８中、破線Ａ１８０１は、肌色と判定するための色差信号の閾値を示しており、破線Ａ１８０１で囲まれた内側の領域内に色差信号が存在すれば肌色と判定される。以降、この領域を肌色判定領域Ａ１８０１と記す。
【００３６】
画像の色差信号が図１８に示した状態の時、人物の顔部１７０１であるＰ１８０１は肌色判定領域Ａ１８０１の内側に入っているため肌色と判定される。
【００３７】
また、衣服部１７０２であるＰ１８０２は肌色判定領域Ａ１８０１の内側に入っていないため肌色とは判定されない。
【００３８】
肌色を含む領域に多くの符号量を割り当てる従来の方式では、このような通常のホワイトバランス補正がなされた状態においては、図１７の顔部１７０１は肌色と判定されるため、それ以外の領域に比べ相対的に多くの符号量が割り当てられるようになる。
【００３９】
また、図１７の衣服部１７０２は肌色と判定されないので、相対的に少ない符号量が割り当てられ、全体の符号量を保ちながら肌色を含む領域の画質を向上させることができる。
【００４０】
しかしながら、色温度が通常のホワイトバランス制御範囲よりも低色温度側であったり高色温度側であったりするような場合には次に示す問題が生じる。
【００４１】
図１９は、低色温度の光源の元で図１７に示す人物を撮影した場合の色差信号のレベルを示したベクトル図である。
【００４２】
例えば、ろうそくや暖炉の炎のように、通常のホワイトバランス制御範囲よりも低い色温度による光源で照らされた場合、即ち、ホワイトバランスが低色温度側で動作している場合には、ホワイトバランス補正がなされても画像の赤みが残ってしまうことがある。
【００４３】
その場合、被写体の衣服部１７０２は、図１９中、Ｐ１９０２に示す点となる。また、被写体の顔部１７０１は、図１９中、Ｐ１９０１に示す点となる。尚、図１９中のＡ１９０１は、図１８中のＡ１８０１と同じ肌色判定領域である。
【００４４】
図１９に示した状態では、人物の顔部であるＰ１９０１、衣服部Ｐ１９０２共に肌色判定領域Ａ１９０１の内側に入っているため肌色と判定されてしまう。その結果、顔部１７０１と衣服部１７０２の両方に対して多くの符号量を割り当てようと動作してしまう。
【００４５】
しかしながら、顔部１７０１以外に衣服部１７０２にも多くの符号量を割り当ててしまと、相対的に顔部１７０１のみに多くの符号量を割り当てることができなくなり、顔部１７０１の画質を向上させることができなくなるという問題がある。
【００４６】
また、光源が低色温度の場合には、本来の人物の肌でなくとも他の被写体も肌色に類似した赤みのある色になりやすい傾向がある。その場合、肌色判定領域に対してフィルタ処理を行うと、肌色に類似した他の被写体に対しもフィルタ処理を施してしまうので人物の肌色部以外の画質も変化してしまうという問題があった。
【００４７】
図２０は、高色温度の光源の元で図１７に示す人物を撮影した場合の画像信号の色差レベルを示したベクトル図である。
【００４８】
例えば、日陰のように高い色温度による光源で照らされた場合、即ち、ホワイトバランスが高色温度側で動作している場合には画像の青みが残ってしまうことがある。
【００４９】
その場合、被写体の衣服部１７０２は、図２０中、Ｐ２００２に示す点となる。また、被写体の顔部１７０１は、図２０中Ｐ２００１に示す点となる。尚、図２０中、Ａ２００１は、図１８中、Ａ１８０１と同じ肌色判定領域である。
【００５０】
この場合、人物の顔部であるＰ２００１、衣服部Ｐ２００２共に肌色判定領域Ａ２００１の内側に入っていないため肌色とは判定されない。その結果、顔部１７０１に対して多くの符号量を割り当てようとする動作は行わないため、顔部１７０１の画質を向上させることができなくなるという問題がある。
【００５１】
この問題は、前述したような色温度が極端に低い場合や高い場合以外でも生じる場合がある。
【００５２】
ホワイトバランス補正の動作説明でも述べたように、ホワイトバランスの補正は時間的に緩やかに変化するように制御されている。そのため、屋内から屋外にカメラが移動する等して光源の色温度が急激に変化した場合、ホワイトバランス補正が追従できない場合がある。
【００５３】
例えば、色温度の低い屋内で、図１７の被写体を撮影し、ホワイトバランスが図１８に示すように正しく補正されている状態で、被写体が色温度の高い屋外に移動したとする。
【００５４】
その場合、光源の色温度が急激に高く変化するため、色差ベクトルは一時的に図２０に示す状態となる。
【００５５】
その後、ホワイトバランスが屋外の色温度に追従して、図１８のように正しく補正されるまでの間、肌色が本来よりも青側にずれてしまうので、人物の顔が正しく肌色と判定されない。
【００５６】
同様に、色温度の高い屋外から色温度の低い屋内に移動した場合、色差ベクトルは一時的に図１９のような状態となる。
【００５７】
その後、ホワイトバランスが屋外の色温度に追従して、図１８のように正しく補正されるまでの間は、肌色以外の衣服も肌色と誤判定されてしまう。
【００５８】
このように、光源の色温度が急激に変化した場合にも、従来例では、顔部が正しく検出されず、顔部即ち肌色部に対してのみ多くの符号量を割り当てる動作が行われないという問題があった。
【００５９】
本発明の目的は、光源の色温度が変化しても肌色を含む領域の画質をより安定的に向上させることが可能となる画像処理装置を提供することにある。
【課題を解決するための手段】
【００６０】
上記目的を達成するために、請求項１記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合、前記撮影画像の後の撮影において、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする。
【００６１】
請求項４記載の画像処理装置は、入力された画像データから所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、撮影画像から得られたホワイトバランス制御のための色温度情報を検出するホワイトバランス検出手段と、検出された前記ホワイトバランス制御のための色温度情報に応じて、前記色検出部における前記所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合、前記撮影画像の後の撮影において、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする。
【００６２】
請求項６記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記符号化部における前記所定色が検出された領域に割り当てる画像符号化時の符号量を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合には、前記撮影画像の後の撮影において、高色温度側である場合に比べ前記符号化部における肌色が検出された領域に割り当てる画像符号化時の符号量を少なくすることを特徴とする。
【００６３】
請求項８記載の画像処理装置は、画像中の所定色を含む領域を検出する色検出部と、画像データに対してフィルタ処理を行うフィルタ処理部と、画像データを符号化する符号化部と、撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記フィルタ処理部における前記所定色が検出された領域に対して施す前記フィルタ処理の種類及び強度を変化させる制御手段と、を備え、前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側の場合には、前記撮影画像の後の撮影において、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする。
【発明の効果】
【００６４】
本発明の画像処理装置によれば、光源の色温度が変化しても肌色を含む領域の画質をより安定的に向上させることが可能となる。
【図面の簡単な説明】
【００６５】
【図１】図１は、本発明のビデオカメラに代表される画像処理装置の第１の構成例を示すブロック図である。
【図２】図１におけるホワイトバランス動作モード選択部で、オートモード（オートホワイトバランスモード）が選択されている例を示す図である。
【図３】図１の画像処理装置におけるホワイトバランス制御データと色温度の関係を示す図である。
【図４】図１の画像処理装置における色温度変化と肌色判定領域の関係を示す色差ベクトル図である。
【図５】図１の画像処理装置における色温度変化と肌色判定領域と白色部、肌色部の関係を示す色差ベクトル図である。
【図６】図１の画像処理装置によって実行されるフィルタ処理及び量子化処理の手順を示すフローチャートである。
【図７】図１の画像処理装置における色温度変化と量子化補正係数の関係を示す図である。
【図８】図１の画像処理装置におけるホワイトバランス動作モードと肌色判定領域の関係を示す色差ベクトル図である。
【図９】図１の画像処理装置におけるホワイトバランス制御データの現在値と目標制御値を示す図である。
【図１０】図１の画像処理装置における目標制御値と肌色判定領域の関係を示す色差ベクトル図である。
【図１１】本発明のビデオカメラに代表される画像処理装置の第２の構成例を示すブロック図である。
【図１２】図１１における記録媒体上の画像データとメタデータを示す図である。
【図１３】図１１におけるホワイトバランス検出部でのホワイトバランス検出処理の手順を示すフローチャートである。
【図１４】図１１におけるフィルタ部のフィルタ制御処理の手順を示すフローチャートである。
【図１５】従来例（特許文献１）に係る画像処理装置のブロック図である。
【図１６】図１５の量子化部における符号量制御処理の手順を示すフローチャートである。
【図１７】は被写体を示す図である。
【図１８】図１７に示す被写体が撮影された場合の画像信号における色差信号のレベルを示すベクトル図である。
【図１９】低色温度の光源の元で図１７に示す人物を撮影した場合の色差信号のレベルを示すベクトル図である。
【図２０】高色温度の光源の元で図１７に示す人物を撮影した場合の画像信号の色差レベルを示すベクトル図である。
【発明を実施するための最良の形態】
【００６６】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００６７】
（第１の実施の形態）
図１は、本発明のビデオカメラに代表される画像処理装置の第１の構成例を示すブロック図である。
【００６８】
図１において、撮像部１０１は、レンズや撮像素子を含み映像を撮影（撮像）する。画像信号処理部１０２は、ガンマ変換、色空間変換、ホワイトバランス処理、ラスタ−ブロック変換等一連の画像信号処理を実行する。
【００６９】
肌色検出処理部（色検出部）１０３は、一連の画像処理が施された画像に対して撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出する。フィルタ部（フィルタ処理部）１０４は、撮影された画像データの任意の領域に対して選択的にその高周波成分強度を減衰させる。
【００７０】
動き補償予測部１０５は、予測対象画像ブロックと最も一致する参照画像ブロックを予測し、動きベクトルを生成する。直交変換部１０６は、離散コサイン変換等の直交変換を行う。量子化部１０７は、直交変換係数を量子化行列等で除算し、情報量を削減する。
【００７１】
エントロピー符号化部１０８は、ハフマン符号等で可変長符号化することにより更に情報量を削減する。バッファ部１０９は、変動する単位時間当たりに発生する符号量を時間軸上で平滑化する。
【００７２】
記録部１１０は、磁気テープやメモリカード等の記録媒体へ符号化データを記録する。逆量子化部１１１は、参照画像を再構成するために、量子化部１０７により量子化された直交変換係数を逆量子化する。
【００７３】
逆直交変換部１１２は、逆量子化部１１１により生成された逆量子化後の直交変換係数を逆直交変換する。ホワイトバランス動作モード選択部１１３は、撮影者により操作されたホワイトバランス動作モードを選択（設定）する。
【００７４】
制御部（制御手段）１１４は、本ビデオカメラを統括的に制御する。即ち、制御部１１４は、バッファ部１０９の占有率を監視し符号化データ量を保つ制御、後述する肌色検出処理における閾値制御、フィルタ部１０４の強度制御等を行う。
【００７５】
制御部１１４は、画像撮影時のホワイトバランス制御状態及び色温度情報に応じて、肌色検出処理部１０３における所定色を検出する際の輝度信号及び色信号の閾値を変化させる。または、制御部１１４は、エントロピー符号化部１０８における所定色が検出された領域に割り当てる画像符号化時の符号量を変化させる。または、制御部１１４は、フィルタ部１０４における所定色が検出された領域に対して施すフィルタ処理の種類及び強度を変化させる。
【００７６】
また、制御部１１４は、ホワイトバランス制御状態が所定の値に固定されている場合と自動追尾状態である場合とで肌色検出処理部１０３部における肌色を検出する際の輝度信号及び色信号の閾値を変化させる。
【００７７】
また、制御部１１４は、ホワイトバランス制御における現在の補正量と最終補正量とを求め、補正量と最終補正量との差に応じて肌色検出処理部１０３における所定色を検出する際の輝度信号や色信号の閾値を変化させる。
【００７８】
上記構成を有する画像処理装置において、本発明の特徴的な動作について説明する。
【００７９】
撮像部１０１より入力された画像データは、画像信号処理部１０２においてガンマ変換、色空間変換、ホワイトバランス処理、ラスタ−ブロック変換等一連の画像信号処理が施される。
【００８０】
尚、ここでのホワイトバランス処理は、ホワイトバランス動作モード選択部１１３で設定された動作モードに応じて動作する。
【００８１】
図２は、図１におけるホワイトバランス動作モード選択部で、オートモード（オートホワイトバランスモード）が選択されている例を示す図である。
【００８２】
図２に示すように、設定可能なホワイトバランスの動作モードとしては、光源の色温度変化に対して自動てきに追尾して調整する所謂オートホワイトバランスモードがある。また、白紙等を撮影して任意の光源の色温度に調整するホワイトバランスセットモード、太陽光や蛍光灯等、予めいくつかの光源の色温度に合わせたホワイトバランス調整値に設定可能なプリセットモード等がある。
【００８３】
このように選択されたホワイトバランスの動作モード、及び画像信号処理部１０２におけるホワイトバランスの動作状態、色温度情報は制御部１１４に出力される。
【００８４】
次に、一連の画像処理が施された画像に対して、肌色検出処理部１０３は、撮影対象としての重要度が一般的に高い人物を検出する目的で肌色検出処理を行う。
【００８５】
ここで、本実施の形態におけるホワイトバランスの制御状態と肌色検出処理部１０３、制御部１１４の動作について、図３、図４、図５を用いて説明する。
【００８６】
図３は、図１の画像処理装置における色温度とホワイトバランスの制御データの関係を示す図である。
【００８７】
図３の実線で示す特性は、色温度の変化に伴うホワイトバランス制御データＲ＿Ｇａｉｎ，Ｂ＿Ｇａｉｎの制御特性であり、Ｒ＿Ｇａｉｎは画像信号中の赤成分のゲインを調整するデータであり、Ｂ＿Ｇａｉｎは画像信号中の青成分のゲインを調整するデータである。
【００８８】
図３に示すように、Ｒ＿Ｇａｉｎ，Ｂ＿Ｇａｉｎは、色温度が低色温度から高色温度に変化するのに伴い、それぞれＲＧ１→ＲＧ４、ＢＧ１→ＢＧ４と変化する。
【００８９】
制御部１１４は、Ｒ＿ｇａｉｎがＲＧ２以下、もしくは／かつＢ＿ｇａｉｎがＢＧ２以上である場合には、ホワイトバランス制御状態が低色温度側であると判定する。また、Ｒ＿ｇａｉｎがＲＧ３以上、もしくは／かつＢ＿ｇａｉｎがＢＧ３以下である場合には、ホワイトバランス制御状態が高色温度側であると判定する。制御部１１４は、ホワイトバランス制御状態が高色温度側でも低色温度側でもない場合には通常範囲と判定する。
【００９０】
図４（ａ）〜（ｃ）は、図１における制御部が判定した色温度と肌色検出処理部による肌色判定領域との関係を示す図である。
【００９１】
図４（ａ）の破線内の領域Ａ４０１ａは、色温度が低色温度側と判定された場合の肌色判定領域である。
【００９２】
図４（ｂ）の破線内の領域Ａ４０１ｂは色温度が通常範囲と判定された場合の肌色判定領域である。
【００９３】
図４（ｃ）の破線内の領域Ａ４０１ｃは、色温度が高色温度側と判定された場合の肌色判定領域である。
【００９４】
このように、図４（ｂ）の通常範囲と判定された場合の肌色判定領域４０１ｂに比べ、低色温度側と判定された場合の肌色判定領域Ａ４０１ａは、図４（ａ）に示すように彩度が高い方向にシフトする。
【００９５】
また、高色温度側と判定された場合の肌色判定領域Ａ４０１ｃは、図４（ｃ）に示すように彩度が低い方向にシフトする。
【００９６】
このように、本実施の形態の肌色検出処理部１０３は、ホワイトバランスの制御状態に応じて肌色判定領域を変化させる動作を行う。
【００９７】
ここで、本実施の形態における色温度が低い場合と高い場合の肌色検出の動作について図５を用いて説明する。
【００９８】
図５（ａ）は、低色温度の光源において図１７に示す人物を撮影した場合の画像信号の色差レベルを示したベクトル図である。
【００９９】
前述したように、例えば、ろうそくや暖炉の炎のように低い色温度による光源で被写体が照らされた場合、即ち、ホワイトバランスが低色温度側で動作している場合には、ホワイトバランス補正がなされても画像の赤みが残ってしまうことがある。
【０１００】
その場合、被写体の衣服部１７０２（図１７）は、図５中、Ｐ５０２ａに示す点となる。また、被写体の顔部１７０１（図１７）は、図５中、Ｐ５０１ａに示す点となる。
【０１０１】
しかし、本実施の形態での肌色判定領域は、Ａ５０１ａに示すように、彩度が高い方向にシフトするため、顔部の色差信号Ｐ５０１ａのみが肌色判定領域Ａ５０１ａ内に入り、衣服部の色差信号Ｐ５０２ａは肌色と判定されることはない。
【０１０２】
また、図５（ｃ）は、高色温度の光源において図１７に示す人物を撮影した場合の画像信号の色差レベルを示したベクトル図である。
【０１０３】
前述したように、例えば、日陰のように高い色温度による光源で被写体が照らされた場合、即ち、ホワイトバランスが高色温度側で動作している場合には、ホワイトバランス補正がなされても画像の青みが残ってしまうことがある。
【０１０４】
その場合、被写体の衣服部１７０２は、図５（ｃ）中、Ｐ５０２ｃに示す点となる。
【０１０５】
また、被写体の顔部１７０１は、図５（ｃ）中、Ｐ５０１ｃに示す点となるが、本実施の形態の肌色判定領域は、Ａ５０１ｃに示すように彩度が低い方向にシフトするため、人物の顔部であるＰ５０１ｃを肌色と判定することができる。
【０１０６】
尚、ホワイトバランス制御状態が図５（ｂ）に示す通常範囲である場合には、従来例と同様に、人物の顔部であるＰ５０１ｂのみを肌色と判定することができる。衣服部１７０２であるＰ５０２ｂは、肌色と判定されない。
【０１０７】
このように、様々な色温度状態に適応して肌色と判定するための色差信号の閾値を変化させることにより、光源の色温度によらず安定的に肌色を検出することが可能となる。
【０１０８】
図６は、図１の画像処理装置によって実行されるフィルタ処理及び量子化処理の手順を示すフローチャートである。
【０１０９】
本処理は、図１における制御部１１４の制御の下に実行される。
【０１１０】
図６において、処理が開始されると、まず、ステップＳ６０１にて画像全体の目標符号量を元に、基本となる量子化ステップＱを算出する。次に、ステップＳ６０２にてホワイトバランス制御状態から色温度判定を行う。
【０１１１】
ステップＳ６０２は、ホワイトバランス制御状態から色温度を判定する判定手段として機能する。色温度判定は、図３で示したように、ホワイトバランス制御データＲ＿Ｇａｉｎ，Ｂ＿Ｇａｉｎの値により行う。次にステップＳ６０３にて低色温度側か否かを判定する。
【０１１２】
ステップＳ６０３にて低色温度側と判定された場合には、ステップＳ６０４にて量子化ステップＱに補正係数Ｋ１を乗じ、補正量子化ステップＱ’を算出し、ステップＳ６０５にてフィルタ強度を弱に設定する。
【０１１３】
ステップＳ６０３にて低色温度側と判定されない場合には、ステップＳ６０６にて高色温度側か否かを判定する。ステップＳ６０６にて高色温度側と判定された場合には、ステップＳ６０７にて量子化ステップＱに補正係数Ｋ３を乗じた補正量子化ステップＱ’を算出し、ステップＳ６０８にてフィルタ強度を強に設定する。
【０１１４】
ステップＳ６０６にて高色温度側と判定されない場合には、通常色温度とみなし、ステップＳ６０９にて量子化ステップＱに補正係数Ｋ２を乗じた補正量子化ステップＱ’を算出し、ステップＳ６１０にてフィルタ強度を中に設定する。
【０１１５】
ステップＳ６０４、Ｓ６０７、Ｓ６０９は、判定手段の判定結果に基づき画像全体の目標符号量を元に算出された量子化ステップを補正する補正手段として機能する。
【０１１６】
ステップＳ６０５、Ｓ６０８、Ｓ６１０は、補正手段の補正結果に基づきフィルタ強度を設定する設定手段として機能する。
【０１１７】
尚、前述の係数Ｋ１、Ｋ２、Ｋ３の値は数式１に示す関係とする。
【０１１８】
［数１］
Ｋ３ ＜ Ｋ２ ＜ Ｋ１ ＜ １．０
数式１で示すＫ１〜Ｋ３の各係数値を与えることにより、補正量子化ステップＱ’は基本となる量子化ステップＱよりも小さくなる。かつ色温度が高くなるに伴い、補正量子化ステップＱ’はより小さく設定される。
【０１１９】
また、フィルタ強度も色温度が高くなるに伴い強く設定される。尚、本実施の形態では、フィルタ強度が強くなるにつれて画像信号中の高周波成分をより低減させる動作を行う。
【０１２０】
次に、ステップＳ６１１では前述の処理で設定されたフィルタ強度を用いて肌色を含むと判定された領域に対してフィルタ処理を行う。
【０１２１】
ステップＳ６１１は、設定手段で設定されたフィルタ強度で肌色判定領域をフィルタ処理するフィルタ処理手段として機能する。
【０１２２】
次に、ステップＳ６１２では前述の処理で設定された補正量子化ステップＱ’を用いて肌色を含むと判定された領域に対して量子化処理を行う。
【０１２３】
ステップＳ６１２は、補正された量子化ステップで肌色判定領域を量子化する量子化処理手段として機能する。
【０１２４】
尚、図６には示していないが、肌色判定領域以外の部分に関しては基本の量子化ステップＱを用いて量子化を行う。
【０１２５】
その後、エントロピー符号化部１０８により一連の符号化処理を施された後、符号化データはバッファ部１０９に一時蓄えられ、最終的に記録部１１０により磁気テープやメモリカード等の記録媒体へ記録される。
【０１２６】
このように、本実施の形態では、光源の色温度情報やホワイトバランス制御状態に応じて、肌色を検出する際の輝度信号や色信号の閾値、肌色判定領域に対して行うフィルタ強度及び量子化ステップを適時変更させることが可能な構成となっている。
【０１２７】
その結果、一般的に撮影対象としての重要度が高い人物の特に顔面部が、肌色検出処理により色温度変化の影響を受けることなく精度良く安定的に認識することができる。
【０１２８】
また、色温度に応じて逆直交変換部１１２は、顔面部に該当する画像ブロックの量子化に際して量子化ステップ値を小さくすることにより、情報量を増加させることが可能となる。
【０１２９】
また、肌色判定領域には色温度に対応したフィルタ処理が行われるので、色温度が低い場合に、人物以外の被写体がフィルタ処理によって画質が変化してしまうことを低減することができる。
【０１３０】
これらの結果として、安定的に肌色を含む領域の画質を向上させることが可能になる。
【０１３１】
尚、本実施の形態では、色温度に応じて３つのレベルで肌色検出のための閾値、量子化ステップ、及びフィルタ強度を変化させる構成としたが特に３つのレベルでなくても良い。
【０１３２】
例えば、図７の実線で示すように、光源の色温度の変化に対応して変化するホワイトバランス制御データであるＲ＿Ｇａｉｎに応じて連続的に量子化補正係数を変化させることで、肌色判定領域に対する量子化ステップも連続的に変化させる構成にしても良い。
【０１３３】
また、色温度に応じて肌色判定領域を決める色差信号や輝度信号の閾値レベル、及びフィルタ強度も連続的に変化させても良いことはいうまでもない。
【０１３４】
また、本実施の形態では量子化ステップを変化させることが可能な符号化方式例に説明したが、量子化ステップが変更できない符号化方式の場合にはフィルタ強度のみを変化させる構成にしても良い。
【０１３５】
（第２の実施の形態）
以下、本発明の第２の実施の形態について説明する。尚、第２の実施の形態における画像処理装置の構成は、第１の実施の形態と同様であるため、説明を省略する。
【０１３６】
本実施の形態の特徴は、ホワイトバランスの制御状態、特にホワイトバランスの動作モードによって肌色判定領域を変更する点にある。
【０１３７】
図２で説明したように、設定可能なホワイトバランスの動作モードとしては、光源の色温度変化に対して自動的に追尾して調整する所謂オートホワイトバランスモードがある。また、白紙等を撮影して任意の光源の色温度に調整するホワイトバランスセットモード、太陽光や蛍光灯等予めいくつかの光源の色温度に合わせたホワイトバランス調整値に設定可能なプリセットモード等がある。
【０１３８】
ホワイトバランスセットモードでは、一旦白紙等無色の被写体を撮影してホワイトバランスを調整するため、オートホワイトバランスモードの場合と比べて正確にホワイトバランスが補正できる。また、太陽光や蛍光灯等のプリセットモードを使用する場合も、撮影者は光源の色温度状態を事前に把握した上で用いるため、比較的正しくホワイトバランス補正を行うことができる。
【０１３９】
それに対して、一般的にオートホワイトバランスモードでは、被写体の色の影響を受けやすく、人物を撮影した場合には僅かではあるが肌色の彩度が低下する場合がある。
【０１４０】
本実施の形態は、このようなオートホワイトバランスモードとそれ以外のモードにおける肌色の彩度の差に対応するためのものである。
【０１４１】
図８は、本実施の形態におけるホワイトバランス動作モードと肌色判定領域の変化を示す図である。
【０１４２】
図８（ａ）のＡ８０１ａは、ホワイトバランスの動作モードがセットモードまたはプリセットモードの場合の肌色判定領域を示す。また図８（ａ）中、Ｐ８０１ａ、Ｐ８０２ａは、図１７に示す人物を撮影した場の顔部１７０１及び衣服部１７０２に対応する点である。
【０１４３】
図８（ａ）に示すように、ホワイトバランス動作モードがセットモードやプリセットモードの場合は、撮影者が光源の色温度に合わせて正しくホワイトバランス調整するため、正確に衣服部１７０２の白に相当するＰ８０２ａがベクトル図の中心に合っている。
【０１４４】
本実施の形態では、このような場合には肌色判定領域Ａ８０１ａを変化させずに固定の領域とする。
【０１４５】
一方、図８（ｂ）中、Ｐ８０１ｂ、Ｐ８０２ｂは、ホワイトバランス動作モードがオートモードで、図１７に示す人物を撮影した場の顔部１７０１及び衣服部１７０２に対応する点である。
【０１４６】
図８（ｂ）に示すように、ホワイトバランス動作モードがオートモード場合、僅かにホワイトバランスが誤補正され、被写体の衣服部１７０２の白に相当する点Ｐ８０２ｂがベクトル図の中心から青方向に少しずれる。そして、それに伴い、顔部１７０１に相当する点Ｐ８０１ｂの彩度も低下する場合がある。
【０１４７】
本実施の形態では、ホワイトバランス動作モードがオートモードの場合に、図８（ｂ）に示すように、肌色判定領域Ａ８０１ｂを少し低彩度側にシフトさせる処理を行うことで、ホワイトバランスの動作モードに関係なく、正しく肌色を検出することが可能となる。
【０１４８】
結果として、第１の実施の形態と同様に、一般的に撮影対象としての重要度が高い人物の特に顔面部を、肌色検出処理により色温度変化の影響を受けることなく精度良く安定的に認識することができる。
【０１４９】
また、色温度に応じて逆直交変換部１１２は、顔面部に該当する画像ブロックの量子化に際して量子化ステップ値を小さくし、情報量を増加させることが可能となる。また、肌色判定領域には色温度に応じたフィルタ処理も行われるので、結果的に、肌色検出処理部１０３において肌色と検出された領域に対する符号量を、それ以外の領域と比べて相対的に増加するように量子化部１０７を制御することが可能となる。その結果、安定的に肌色を含む領域の画質を向上させることが可能になる。
【０１５０】
（第３の実施の形態）
以下、本発明の第３の実施の形態について説明する。尚、第３の実施の形態における画像処理装置の構成は、第１の実施の形態と同様であるため、説明を省略する。
【０１５１】
本実施の形態は、第１の実施の形態の構成及び動作に加えてホワイトバランスがオートモードで動作している場合に、光源の色温度が急激に変化した場合にも適切に対応可能とするものである。
【０１５２】
また、本実施の形態の特徴は、ホワイトバランス制御データの目標補正量と現在の補正値との差に対応して肌色判定領域を変化させる点にある。
【０１５３】
図９、及び図１０を用いて第３の実施の形態について詳しく説明する。
【０１５４】
ここで、光源の色温度が高く、ホワイトバランス制御データは、図９におけるＴＳの値を出力してホワイトバランス補正されているとする。
【０１５５】
その場合に、図１７の被写体を撮影したときの顔部１７０１と白い衣服部１７０２の色差ベクトルは図１０中、Ｐ＿ＴＳ１、Ｐ＿ＴＳ２となる。また、肌色判定領域は、図１０中のＡ＿ＴＳとなる。
【０１５６】
その後、急速に光源の色温度が低く変化した場合、色差ベクトルは、それぞれ、図１０中のＰ＿ＴＳ１がＰ＿ＴＤ１へ、Ｐ＿ＴＳ２がＰ＿ＴＤ２へずれてしまう。これは、ホワイトバランス補正が時間的にゆっくりと行われるので、急速に光源の色温度が変化した場合にホワイトバランス補正が追従できないためである。
【０１５７】
この場合、第１の実施の形態の構成のみでは、ホワイトバランスが追従するまでの間は肌色判定領域は、図１０中のＡ＿ＴＳのままであるので、色温度変化後の肌色に相当するＰ＿ＴＤ１がＡ＿ＴＳの領域外となり、肌色と検出されなくなってしまう恐れがある。
【０１５８】
そこで、本実施の形態では、ホワイトバランス制御データの現在の補正値と最終的に目標とすべき目標補正値との差に応じて肌色判定領域を変化させるようにしている。
【０１５９】
尚、ホワイトバランスの目標補正値は、例えば、白の衣服部等、白に相当する領域の色差信号の値が色差ベクトルの中心（色差ゼロの点）からどれくらいずれているかを算出することによって求めることができる。本実施の形態では、図１０中のＰ＿ＴＤ２の色差ベクトル中心からのずれ量によって求める。
【０１６０】
ここで、求められたホワイトバランス制御データの目標補正量が図９中のＴＤであった場合、現在の補正量ＴＳとＴＤとの差に応じて、また肌色判定領域をシフトする。
【０１６１】
図９に示すように、ＴＳとＴＤに対応するＲ＿Ｇａｉｎの補正量をそれぞれＲＧ＿ＴＳ、ＲＧ＿Ｔとすると、例えば、現在の制御値と目標とする制御値が図９に示すような場合は、数式２に示す関係が成り立つ。従って、目標とする色温度は現在の色温度よりも低いと判定することができる。
【０１６２】
［数２］
ＲＧ＿ＴＳ ＞ ＲＧ＿ＴＤ
その場合は、肌色判定領域を低色温度側にシフトし、図１０中のＡ＿ＴＤの位置にする。ここで、肌色判定領域をシフトする量は、ＲＧ＿ＴＳとＲＧ＿ＴＤとの差に対応して行えば良い。
【０１６３】
その結果、色温度が低く変化した場合の肌色に相当するＰ＿ＴＤ１がＡ＿ＴＤの領域内となり、肌色と検出することが可能となる。
【０１６４】
本実施の形態では、ホワイトバランス補正の追従速度を超える急激な光源の色温度変化が生じた場合でも、ホワイトバランス制御データの目標補正量と現在の補正値との差に対応して肌色判定領域を変化させるので、適切な肌色検出を行うことが可能となる。
【０１６５】
それにより、同様に逆直交変換部１１２は、顔面部に該当する画像ブロックの量子化に際して、量子化ステップ値を小さくし情報量を増加させることが可能となる。また、肌色判定領域には適時フィルタ処理が行われるので、結果的に、肌色検出処理部１０３において肌色と検出された領域に対する符号量を、それ以外の領域と比べて相対的に増加するように量子化部１０７を制御することが可能となる。
【０１６６】
その結果、重要度が高い人物の特に顔面部を、肌色検出処理により色温度変化の影響を受けることなく精度良く安定的に認識することができるので、安定的に肌色を含む領域の画質を向上させることが可能になる。
【０１６７】
（第４の実施の形態）
第１乃至第３の実施の形態では、画像を符号化する際に安定的に肌色を検出し、肌色を含む領域の画質を向上させる例について説明した。
【０１６８】
しかし、本発明は必ずしも画像を符号化して記録する場合にのみ効果を発揮するものではなく、画像を再生する場合にも有効である。
【０１６９】
図１１は、本発明のビデオカメラに代表される画像処理装置の第２の構成例を示すブロック図である。
【０１７０】
図１１を用いて画像を再生する場合の本実施の形態の動作について説明する。
【０１７１】
図１１において、記録媒体１１０１は、メモリカード、ハードディスク、光ディスク等からなる。読み出し部１１０２は、記録媒体１１０１から後述する画像データ及びメタデータを読み出す。
【０１７２】
復号化部１１０３は、圧縮符号化された画像データをベースバンドの画像データに伸張する。ホワイトバランス検出部１１０４は、読み出された画像データやメタデータから後述するホワイトバランス情報を検出する。
【０１７３】
肌色検出処理部１１０５は、第１乃至第３の実施の形態と同様の動作を行う。フィルタ部１１０６も、第１乃至第３の実施の形態と同様の動作を行う。画像出力部１１０７は、画像を図示しないディスプレイや他の画像機器に出力する。制御部１１０８は、画像処理装置全体を統括的に制御する。
【０１７４】
上記構成を有する画像処理装置において、本実施の形態の特徴的な動作について説明する。
【０１７５】
図１１中の記録媒体１１０１には、図１２に示すように、圧縮符号化された画像データ１２０１とそれに付随するメタデータ１２０２が記録されている。
【０１７６】
メタデータ１２０２には、撮影時のホワイトバランス制御情報、撮影時の色温度情報等が記録されている。
【０１７７】
読み出し部１１０２により、符号化された画像データ及びメタデータが記録媒体１１０１から読み出される。読み出された画像データは、復号化部１１０３によりベースバンドの画像信号に復号化される。
【０１７８】
尚、本実施の形態において、圧縮符号化の方式は特にどのような種類のものであっても差し支えない。また、記録媒体１１０１に記録されている画像は必ずしも圧縮符号化されている必要もない。よって、本実施の形態では、復号化部１１０３の詳細構成及び動作については説明を省略する。
【０１７９】
復号化部１１０３によりベースバンド画像に復号された画像データは、ホワイトバランス検出手段であるホワイトバランス検出部１１０４に入力される。尚、ホワイトバランス検出部１１０４には、記録媒体１１０１から読み出されたメタデータも入力される。復号された画像データは、肌色検出処理部１１０５及びフィルタ部１１０６にも入力される。
【０１８０】
尚、フィルタ部１１０６は、再生時に処理されるフィルタであるため一般的にはポストフィルタと称される。
【０１８１】
ホワイトバランス検出部１１０４では、入力されたメタデータや画像データによってホワイトバランス制御状態や画像が撮影された光源の色温度を検出する。
【０１８２】
図１３は、図１１におけるホワイトバランス検出部でのホワイトバランス検出処理の手順を示すフローチャートである。
【０１８３】
図１３において、ホワイトバランス検出処理が開始されると、まず、ステップＳ１３０１にてメタデータの読み込みを行う。次に、ステップＳ１３０２にて入力されたメタデータ中に撮影時のホワイトバランス制御情報や光源の色温度情報等のホワイトバランス情報が含まれているかどうかを判定する。
【０１８４】
ホワイトバランス情報が含まれている場合、ステップＳ１３０３にてメタデータ含まれたホワイトバランス情報を抜き出し、ホワイトバランス検出データとして制御部１１０８に出力し処理を終える。
【０１８５】
ステップＳ１３０３にてメタデータにホワイトバランス情報が含まれていない場合やメタデータ自体が存在しない場合、ステップＳ１３０４にて画像データを読み込む処理を行う。次に、ステップＳ１３０５にて画像データから光源の色温度を推定する処理を行う。
【０１８６】
本実施の形態では、色温度の推定は画像の色差信号の平均値により行う。例えば、画像中の色差信号を平均した値が赤方向に偏っている場合、低色温度と判定する。また、画像中の色差信号を平均した値が青方向に偏っている場合、高色温度と判定する。
【０１８７】
これらの判定結果を、ステップＳ１３０６にてホワイトバランス検出データとして制御部１３０８に出力して、処理を終了する。
【０１８８】
肌色検出処理部１１０５では、ホワイトバランス検出部１１０４にて検出されたホワイトバランス検出情報、即ち、ホワイトバランス動作モードや色温度情報に応じた肌色検出動作を行う。
【０１８９】
尚、本実施の形態でも、ホワイトバランス動作モードや色温度情報に応じて肌色判定領域を変化させる肌色検出動作については第１乃至第３の実施の形態と同様であるので説明を省略する。
【０１９０】
次にフィルタ部１１０６は、肌色検出処理部１１０５にて肌色と検出された領域に対してフィルタ処理を行う。
【０１９１】
図１４は、図１１におけるフィルタ部のフィルタ制御処理の手順を示すフローチャートである。
【０１９２】
尚、この処理は図１１の制御部１１０８が行う。
【０１９３】
図１４において、フィルタ制御処理が開始されると、まず、フステップＳ１４０１にてホワイトバランス検出部１１０４からの出力により色温度が低色温度側か否かを判定する。
【０１９４】
ステップＳ１４０１にて低色温度側と判定された場合には、ステップＳ１４０２にてフィルタ強度を弱に設定する。ステップＳ１４０１にて低色温度側と判定されない場合にはステップＳ１４０３にて高色温度側か否かを判定する。
【０１９５】
ステップＳ１４０３にて高色温度側と判定された場合には、ステップＳ１４０４にてフィルタ強度を強に設定する。ステップＳ１４０３にて高色温度側と判定されない場合には、通常色温度とみなし、ステップＳ１４０５にてフィルタ強度を中に設定する。
【０１９６】
このように、フィルタ強度は色温度が高くなるに伴い強く設定される。尚、本実施の形態では、フィルタ強度が強くなるにつれて画像信号中の高周波成分をより低減させる動作を行う。
【０１９７】
次に、ステップＳ１４０６にて前述の処理で設定されたフィルタ強度を用いて肌色を含むと判定された領域に対してフィルタ処理を行い、このフローを抜ける。
【０１９８】
尚、図１４には示していないが、肌色判定領域以外の部分に関しては特にフィルタ処理は行わない。
【０１９９】
これらのフィルタ処理が行われた画像信号は、画像出力部１１０７や他の画像機器に出力される。
【０２００】
このように、本実施の形態では、記録された画像データから光源の色温度情報やホワイトバランス制御状態を検出して、肌色判定領域の閾値及び肌色判定領域に対して行うフィルタ強度を適時変更させることが可能な構成となっている。
【０２０１】
一般的に、重要度が高い人物の特に顔面部が肌色検出処理により精度良く安定的に認識することができる。また、肌色判定領域には適時フィルタ処理が行われるので、安定的に肌色を含む領域の画質を向上させることが可能になる。
【０２０２】
尚、本実施の形態では、色温度に応じて３つのレベルでフィルタ強度を変化させる構成としたが特に３つのレベルでなくても良く、連続してフィルタ強度を変化させる構成にしても良い。
【０２０３】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【０２０４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２０５】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしても良い。
【０２０６】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯステップＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０２０７】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【０２０８】
１０１ 撮像部
１０２ 画像信号処理部
１０３ 肌色検出処理部
１０４ フィルタ部
１０５ 動き補償予測部
１０６ 直交変換部
１０７ 量子化部
１０８ エントロピー符号化部
１０９ バッファ部
１１０ 記録部
１１１ 逆量子化部
１１２ 逆直交変換部
１１３ ホワイトバランス動作モード選択部
１１４ 制御部
【特許請求の範囲】
【請求項１】
画像中の所定色を含む領域を検出する色検出部と、
画像データに対してフィルタ処理を行うフィルタ処理部と、
画像データを符号化する符号化部と、
撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合、前記撮影画像の後の撮影において、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合には、高色温度側である場合に比べ前記符号化部における肌色が検出された領域に割り当てる画像符号化時の符号量を少なくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
入力された画像データから所定色を含む領域を検出する色検出部と、
画像データに対してフィルタ処理を行うフィルタ処理部と、
撮影画像から得られたホワイトバランス制御のための色温度情報を検出するホワイトバランス検出手段と、
検出された前記ホワイトバランス制御のための色温度情報に応じて、前記色検出部における前記所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合、前記撮影画像の後の撮影において、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする画像処理装置。
【請求項５】
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
画像中の所定色を含む領域を検出する色検出部と、
画像データに対してフィルタ処理を行うフィルタ処理部と、
画像データを符号化する符号化部と、
撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記符号化部における前記所定色が検出された領域に割り当てる画像符号化時の符号量を変化させる制御手段と、を備え、
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合には、前記撮影画像の後の撮影において、高色温度側である場合に比べ前記符号化部における肌色が検出された領域に割り当てる画像符号化時の符号量を少なくすることを特徴とする画像処理装置。
【請求項７】
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
画像中の所定色を含む領域を検出する色検出部と、
画像データに対してフィルタ処理を行うフィルタ処理部と、
画像データを符号化する符号化部と、
撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記フィルタ処理部における前記所定色が検出された領域に対して施す前記フィルタ処理の種類及び強度を変化させる制御手段と、を備え、
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側の場合には、前記撮影画像の後の撮影において、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする画像処理装置。
【請求項１】
画像中の所定色を含む領域を検出する色検出部と、
画像データに対してフィルタ処理を行うフィルタ処理部と、
画像データを符号化する符号化部と、
撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記色検出部における所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合、前記撮影画像の後の撮影において、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合には、高色温度側である場合に比べ前記符号化部における肌色が検出された領域に割り当てる画像符号化時の符号量を少なくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
入力された画像データから所定色を含む領域を検出する色検出部と、
画像データに対してフィルタ処理を行うフィルタ処理部と、
撮影画像から得られたホワイトバランス制御のための色温度情報を検出するホワイトバランス検出手段と、
検出された前記ホワイトバランス制御のための色温度情報に応じて、前記色検出部における前記所定色を検出する際の輝度信号及び色信号の閾値を変化させる制御手段と、を備え、
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合、前記撮影画像の後の撮影において、前記色検出部における肌色を検出する際の閾値を彩度が高い方向に変化させることを特徴とする画像処理装置。
【請求項５】
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
画像中の所定色を含む領域を検出する色検出部と、
画像データに対してフィルタ処理を行うフィルタ処理部と、
画像データを符号化する符号化部と、
撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記符号化部における前記所定色が検出された領域に割り当てる画像符号化時の符号量を変化させる制御手段と、を備え、
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側である場合には、前記撮影画像の後の撮影において、高色温度側である場合に比べ前記符号化部における肌色が検出された領域に割り当てる画像符号化時の符号量を少なくすることを特徴とする画像処理装置。
【請求項７】
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側の場合には、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
画像中の所定色を含む領域を検出する色検出部と、
画像データに対してフィルタ処理を行うフィルタ処理部と、
画像データを符号化する符号化部と、
撮影画像から得られたホワイトバランス制御のための色温度情報に応じて、前記フィルタ処理部における前記所定色が検出された領域に対して施す前記フィルタ処理の種類及び強度を変化させる制御手段と、を備え、
前記制御手段は、前記ホワイトバランス制御のための色温度情報が低色温度側の場合には、前記撮影画像の後の撮影において、高色温度側である場合に比べ前記フィルタ処理部における肌色が検出された領域に対して施す前記フィルタ処理の強度を弱くすることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−１２０２４１（Ｐ２０１２−１２０２４１Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１２−２８２２６（Ｐ２０１２−２８２２６）
【出願日】平成２４年２月１３日（２０１２．２．１３）
【分割の表示】特願２００８−３５６８（Ｐ２００８−３５６８）の分割
【原出願日】平成２０年１月１０日（２００８．１．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２４年２月１３日（２０１２．２．１３）
【分割の表示】特願２００８−３５６８（Ｐ２００８−３５６８）の分割
【原出願日】平成２０年１月１０日（２００８．１．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]