画像処理装置及び画像処理方法
【課題】入力画像中の肌色部と暗部の検出結果に応じたγカーブを適用し、良好な階調再現を実現するダイナミックγ処理を行うための技術を提供する。
【解決手段】入力画像信号中のフレーム画像を複数の領域に分割し、各分割領域において、輝度成分を抽出して輝度ヒストグラムを作成し、かつ、所定の色成分を肌色として抽出して肌色輝度ヒストグラムを作成するヒストグラム検出部と、前記輝度ヒストグラムおよび前記肌色輝度ヒストグラムを用いて、フレーム画像に人物が含まれるかどうかを検出する人物検出部と、前記人物検出部による検出結果に基づいてγカーブを作成するγカーブ作成部と、フレーム画像に前記γカーブを適用して出力画像信号を作成するγ変換部とを備える画像処理装置を用いる。
【解決手段】入力画像信号中のフレーム画像を複数の領域に分割し、各分割領域において、輝度成分を抽出して輝度ヒストグラムを作成し、かつ、所定の色成分を肌色として抽出して肌色輝度ヒストグラムを作成するヒストグラム検出部と、前記輝度ヒストグラムおよび前記肌色輝度ヒストグラムを用いて、フレーム画像に人物が含まれるかどうかを検出する人物検出部と、前記人物検出部による検出結果に基づいてγカーブを作成するγカーブ作成部と、フレーム画像に前記γカーブを適用して出力画像信号を作成するγ変換部とを備える画像処理装置を用いる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
入力画像信号の特徴に応じて適応的にγ処理を実行する画像処理方法があり、ダイナミックγ処理と呼ばれる。さらに肌色部分の面積、平均輝度等に応じてダイナミックγ処理を行うことで肌色の再現性を改善する技術も知られている（特許文献１）。また、人物の肌領域と、髪領域を抽出し、人物の有無を検出する技術も知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２８８８３６号公報
【特許文献２】特開２００７−０８７１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、肌色を検出し、肌色の階調再現性を高める従来の技術では、肌色の階調再現性が改善されても、肌色周囲のオブジェクトに対する階調再現性が逆に劣化する恐れがあった。
例えば、暗い（黒い）髪の毛の人物が存在する画像が入力されたとする。従来技術では、人物の肌色の面積と、入力画像信号の平均輝度レベルから、肌色補正信号を算出し、肌色に階調を割り当てるγカーブを作成し、ダイナミックγ処理を行う。しかし、このようなγカーブでは、肌色部の輝度階調に対し表示ビット数が多く割り当てられるため、周囲の暗い髪の毛部分への表示ビット数の割り当てが減少する。その結果、暗い髪の毛部分の階調つぶれや疑似輪郭が発生する恐れがあった。
【０００５】
本発明は上記実情に鑑みてなされたものであって、ダイナミックγ処理において、入力画像中の肌色部と暗部の検出結果に応じたγカーブを作成し、良好な階調再現を実現するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明では以下の構成を採用する。すなわち、入力画像信号中のフレーム画像を複数の領域に分割し、各分割領域において、輝度成分を抽出して輝度ヒストグラムを作成し、かつ、所定の色成分を肌色として抽出して肌色輝度ヒストグラムを作成するヒストグラム検出部と、前記輝度ヒストグラムおよび前記肌色輝度ヒストグラムを用いて、フレーム画像に人物が含まれるかどうかを検出する人物検出部と、前記人物検出部による検出結果に基づいてγカーブを作成するγカーブ作成部と、フレーム画像に前記γカーブを適用して出力画像信号を作成するγ変換部と、を備え、前記ヒストグラム検出部は、各分割領域の輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第１の閾値を超え、かつ、前記第１の閾値を超えた時の階級値が所定の階級値よりも小さい場合、前記第１の閾値を超えた時の階級値を暗部階調として検出し、フレーム画像内の各分割領域の暗部階調を比較して当該フレーム画像における最小暗部階調と最大暗部階調を求め、分割領域の肌色輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第２の閾値を超えた場合、前記第２の閾値を超えた時の階級値を肌色階調として検出し、フレーム画像内の各分割領域の肌色階調を比較して当該フレーム画像における最小肌色階調と最大肌色階調を求め、前記人物検出部は、暗部階調が検出された分割領域を中心とする所定の範囲に、肌色領
域が検出された分割領域が存在する場合、前記フレーム画像に人物が含まれると判定し、前記γカーブ作成部は、人物が含まれると判定された場合に、最小暗部階調と最大暗部階調の間の範囲、および、最小肌色階調と最大肌色階調の間の範囲に割り当てる階調数を増やすようにγカーブを作成することを特徴とする画像処理装置である。
【０００７】
本発明ではまた、以下の構成を採用する。すなわち、入力画像信号中のフレーム画像を複数の領域に分割し、各分割領域において、輝度成分を抽出して輝度ヒストグラムを作成し、かつ、所定の色成分を肌色として抽出して肌色輝度ヒストグラムを作成するヒストグラム検出ステップと、前記輝度ヒストグラムおよび前記肌色輝度ヒストグラムを用いて、フレーム画像に人物が含まれるかどうかを検出する人物検出ステップと、前記人物検出部による検出結果に基づいてγカーブを作成するγカーブ作成ステップと、フレーム画像に前記γカーブを適用して出力画像信号を作成するγ変換ステップと、を含み、前記ヒストグラム検出ステップは、各分割領域の輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第１の閾値を超え、かつ、前記第１の閾値を超えた時の階級値が所定の階級値よりも小さい場合、前記第１の閾値を超えた時の階級値を暗部階調として検出し、フレーム画像内の各分割領域の暗部階調を比較して当該フレーム画像における最小暗部階調と最大暗部階調を求め、分割領域の肌色輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第２の閾値を超えた場合、前記第２の閾値を超えた時の階級値を肌色階調として検出し、フレーム画像内の各分割領域の肌色階調を比較して当該フレーム画像における最小肌色階調と最大肌色階調を求め、前記人物検出ステップは、暗部階調が検出された分割領域を中心とする所定の範囲に、肌色領域が検出された分割領域が存在する場合、前記フレーム画像に人物が含まれると判定し、前記γカーブ作成ステップは、人物が含まれると判定された場合に、最小暗部階調と最大暗部階調の間の範囲、および、最小肌色階調と最大肌色階調の間の範囲に割り当てる階調数を増やすようにγカーブを作成することを特徴とする画像処理方法である。
【発明の効果】
【０００８】
本発明によれば、ダイナミックγ処理において、入力画像中の肌色部と暗部の検出結果に応じたγカーブを作成し、良好な階調再現を実現することができるようになる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の画像処理装置のブロック図。
【図２】ヒストグラム検出部により検出されたヒストグラムを示す図。
【図３】実施例１で最小暗部階調を検出する際のフローチャート。
【図４】実施例１で最大暗部階調を検出する際のフローチャート。
【図５】実施例１で暗部階調と肌色階調が存在する場合のγカーブ。
【図６】実施例１で暗部階調のみが存在する場合のγカーブ。
【図７】実施例１で肌色階調のみが存在する場合のγカーブ。
【図８】実施例２の暗部伸長量を説明する図。
【図９】実施例２の肌色部伸長量を説明する図。
【図１０】実施例３で用いるγカーブ。
【発明を実施するための形態】
【００１０】
以下、本発明の画像処理装置について、図面を参照しつつ説明する。この画像処理装置は入力画像信号にダイナミックγ処理を施し、階調変換された出力画像信号を得るものである。この画像処理装置はテレビジョン、ＳＴＢ（Set Top Box）、コンピュータ用のデ
ィスプレイ装置などと接続したり、これらに組み込んだりして用いることができる。以下に記述するブロックは、専用の回路を用いることもできるし、ＣＰＵ上で動作するプログラムであっても良い。また、以下の画像処理装置が行うそれぞれの処理をコンピュータ用
のプログラムなどに実行させることにより、本発明を画像処理方法として実現することができる。
なお、人物の肌の色には個体差があり、また、画像の撮影環境によって色合いは変化する。以下の記載における肌色とは、特定の人物の肌の色に限定されるものではなく、撮影対象や撮影環境に応じて柔軟に変更することができる。
【００１１】
＜実施例１＞
図１は本実施例の画像処理装置のブロック図を示している。図１に示す画像処理装置１００はヒストグラム検出部１０１と、人物検出部１０２と、γカーブ作成部１０３と、γ変換部１０４から構成されている。各ブロックの動作を以下で説明する。
【００１２】
ヒストグラム検出部１０１は、入力画像信号を輝度成分と色彩成分に分けた場合の輝度成分を抽出し、予め定められた階調範囲に基づいて輝度ヒストグラムを検出する。また、入力画像信号から肌色成分を抽出し、肌色輝度ヒストグラムを検出する。どのような色成分を肌色として認識するかは、画像中の人物の肌特性や使用者の嗜好によって自由に定めることができる。例えば、ＲＧＢ表色系やＬａｂ表色系などで所定の数値範囲で指定すれば良い。この処理は入力画像信号のフレーム（全画面）ごとに行われるので、ここで得られた輝度ヒストグラムのことを後に「全画面輝度ヒストグラム」と呼び、肌色輝度ヒストグラムのことを後に「全画面肌色輝度ヒストグラム」と呼ぶ。
さらに、ヒストグラム検出部１０１は、入力画像信号中の１つのフレーム画像を複数の領域に分割する。そして、各領域の輝度ヒストグラムと、肌色輝度ヒストグラムを検出する。また、検出した各領域の輝度ヒストグラムの、輝度が低い側の階級から順に度数の合計値を取ることにより累積輝度ヒストグラムを作成する。また、各領域の肌色輝度ヒストグラムの、輝度が低い側の階級から順に度数の合計値を取ることにより肌色累積輝度ヒストグラムを作成する。
本実施例では、１フレーム分の画面を縦１０×横１０の、計１００個の領域に分割して、各領域の輝度ヒストグラムと肌色輝度ヒストグラムを検出する。分割した各領域には、１〜１００までの領域番号をつける。なお、本実施例では入力画像信号中の１つのフレーム画像内を１０×１０に分割しているが、この値は任意であり、例えば１０×５や６×３でも良い。また、検出するヒストグラムは２５６階級とし、０〜２５５の階級値を持つものとする。
図２は、ヒストグラム検出部１０１により検出されたヒストグラムを示す図である。図２（ａ）は、分割されたある領域の輝度成分のみを抽出した輝度ヒストグラムの一例を示す図である。図２（ｂ）は、分割されたある領域の肌色成分の輝度のみを抽出した肌色輝度ヒストグラムの一例を示す図である。
【００１３】
人物検出部１０２は、フレーム画像内に人物が含まれるかどうかを検出し、検出結果を後続処理に送る。人物検出部１０２は、ヒストグラム検出部１０１で検出した各領域の累積輝度ヒストグラムから暗部階調ｄｐ［ａ］を算出し、肌色累積輝度ヒストグラムから肌色階調ｓｐ［ａ］を算出する。ここで、ａは分割した各領域につけた領域番号（１〜１００）である。ここで、暗部階調ｄｐ［ａ］は、領域番号ａにおいて、累積輝度ヒストグラムが閾値ｔｈ１を超えた時の階調値（階級）である。閾値ｔｈ１は所定の値であり、本発明の第１の閾値に当たる。また、肌色階調ｓｐ［ａ］は、領域番号ａにおいて、肌色累積輝度ヒストグラムが閾値ｔｈ２を超えた時の階調値（階級）である。閾値ｔｈ２は所定の値であり、本発明の第２の閾値に当たる。
ただし、検出された暗部階調ｄｐ［ａ］が全階調範囲の中央値以上の場合、暗部階調は検出されなかったものとする。本例のヒストグラムは２５６階級なので、中央の１２８という階級が基準となる。そして、ある領域で閾値ｔｈ１を超えた時の階級が１２８以上ならば、暗部階調は検出されなかったものとして、ｄｐ［ａ］に−１を設定する。なお、ここで中央値を境界としたのは一例に過ぎず、画像特性等の処理の実情に合わせて適宜変更
して構わない。また、累積ヒストグラムが最後まで閾値ｔｈ１を超えなかった場合も、ｄｐ［ａ］に−１を設定する。
また、肌色階調ｓｐ［ａ］を検出する際に、累積ヒストグラムが最後まで閾値ｔｈ２を超えなければ、その領域の肌色階調ｓｐ［ａ］に−１を設定する。
【００１４】
人物検出部１０２は、さらに、各分割領域にて検出された暗部階調を比較する。そして、それらの中で最も暗い暗部階調を最小暗部階調ｄｐ＿ｍｉｎ、最も明るい暗部階調を最大暗部階調ｄｐ＿ｍａｘとしてγカーブ作成部１０３に出力する。なお、この処理に当たっては、たとえ暗部階調が検出された分割領域であっても、同じ領域もしくは隣接する領域に肌色階調が検出されなかった領域は除外される。
人物検出部１０２は、また、各分割領域にて検出された肌色階調を比較する。そして、それらの中で最も暗い肌色階調を最小肌色階調ｓｐ＿ｍｉｎ、最も明るい肌色階調を最大肌色階調ｓｐ＿ｍａｘとし、γカーブ作成部１０３に出力する。
【００１５】
最小暗部階調ｄｐ＿ｍｉｎを検出するフローチャートを図３に示す。このフローにおいては、各分割領域について暗部階調検出が行われていることが前提となる。
ステップＳ１１１は初期化のステップであり、最小暗部階調ｄｐ＿ｍｉｎを１２８（２５６階級のヒストグラムを検出しているため、２５６の半分である１２８階調以下を暗部と判断する）、領域番号ａを１に設定する。
ステップＳ１１２で、領域番号ａが１００より大きいかどうか判定し、１００より大きくなければステップＳ１１３へ進む。１００より大きければステップＳ１１８に進み、処理を終了する。
ステップＳ１１３でｄｐ［ａ］が−１かどうか（暗部階調が検出されているかどうか）判定し、−１でなければステップＳ１１４へ進む。−１であればａに１を加え（Ｓ１１７）、ステップＳ１１２へ戻る。
ステップＳ１１４で、暗部階調ｄｐ［ａ］が検出された領域ａを中心とする３×３の領域内に肌色階調ｓｐ［ａ］が検出されていれば、ステップＳ１１５へ進む。検出されていなければａに１を加え（Ｓ１１７）、ステップＳ１１２へ戻る。これにより、暗部と肌色が近接している部分（すなわち、髪と肌が近接している可能性が高い部分）が判別でき、人物が検出できる。なお、この３×３という範囲は本実施例における所定の値に過ぎない。どのような範囲を設定するかは、例えば要求される検出感度、一つの分割領域の広さ、画像の特性などによって定められるべきものである。
ステップＳ１１５で、暗部階調ｄｐ［ａ］と最小暗部階調ｄｐ＿ｍｉｎを比較し、ｄｐ［ａ］＜ｄｐ＿ｍｉｎならばステップＳ１１６へ進み、そうでなければａに１を加え（Ｓ１１７）、ステップＳ１１２へ戻る。
ステップＳ１１６でｄｐ＿ｍｉｎ＝ｄｐ［ａ］に更新し、ａに１を加え、ステップＳ１１２へ戻る。
本実施例では、図３のフローチャートによって、１５という最小暗部階調ｄｐ＿ｍｉｎが得られたものとする。
【００１６】
最大暗部階調ｄｐ＿ｍａｘを検出するフローチャートを図４に示す。このフローにおいても、各分割領域について暗部階調検出が行われていることが前提となる。
ステップＳ１２１で、最大暗部階調ｄｐ＿ｍａｘを０、領域番号ａを１に初期化する。
ステップＳ１２２で、領域番号ａが１００より大きいかどうか判定し、１００より大きくなければステップＳ１２３へ進む。１００より大きければステップＳ１２８に進み、処理を終了する。
ステップＳ１２３でｄｐ［ａ］が−１かどうか（暗部階調が検出されているかどうか）判定し、−１でなければステップＳ１２４へ進む。−１であればａに１を加え（Ｓ１２７）、ステップＳ１２２へ戻る。
ステップＳ１２４で、暗部階調ｄｐ［ａ］が検出された領域ａを中心とする３×３の領
域内にｓｐ［ａ］が検出されていれば、ステップＳ１２５へ進む。検出されていなければａに１を加え（Ｓ１２７）、ステップＳ１２２へ戻る。
ステップＳ１２５で、暗部階調ｄｐ［ａ］と最大暗部階調ｄｐ＿ｍａｘを比較し、ｄｐ［ａ］＞ｄｐ＿ｍａｘならばステップＳ１２６へ進み、そうでなければａに１を加え（Ｓ１２７）、ステップＳ１２２へ戻る。
ステップＳ１２６でｄｐ＿ｍａｘ＝ｄｐ［ａ］に更新し、ａに１を加え（Ｓ１２７）、ステップＳ１２２へ戻る。
本実施例では、図４のフローチャートによって、２５という最大暗部階調ｄｐ＿ｍａｘが得られたとものする。
【００１７】
最小肌色階調ｓｐ＿ｍｉｎを検出する際には、まず、最小肌色階調ｓｐ＿ｍｉｎを２５５、領域番号ａを１に初期化する。そして、領域番号ａを１００まで１ずつ加算しつつ、ｓｐ［ａ］が−１かどうか（肌色階調が検出されているか）判定する。検出されていれば、ｓｐ［ａ］と、現時点での最小肌色階調ｓｐ＿ｍｉｎを比較する。そして、ｓｐ［ａ］の方が小さければ、ｓｐ＿ｍｉｎを更新する。
本実施例では、この処理を領域番号１００まで繰り返すことにより、４０という最小肌色階調ｓｐ＿ｍｉｎが得られたものとする。
【００１８】
最大肌色階調ｓｐ＿ｍａｘを検出する際には、まず、最大肌色階調ｓｐ＿ｍａｘを０、領域番号ａを１に初期化する。そして、領域番号ａを１００まで１ずつ加算しつつ、ｓｐ［ａ］が−１かどうか（肌色階調が検出されているか）判定する。検出されていれば、ｓｐ［ａ］と、現時点での最大肌色階調ｓｐ＿ｍａｘを比較する。そして、ｓｐ［ａ］の方が大きければ、ｓｐ＿ｍａｘを更新する。
本実施例では、この処理を領域番号１００まで繰り返すことにより、５５という最大肌色階調ｓｐ＿ｍａｘが得られたものとする。
【００１９】
また、ヒストグラム検出部１０１で検出した入力画像の全画面輝度ヒストグラムを用いて、最小暗部階調ｄｐ＿ｍｉｎから最大暗部階調ｄｐ＿ｍａｘまでの度数を積算した暗部面積ｄｐ＿ｓを求めて、γカーブ作成部１０３に出力する。同様に、入力画像の全画面肌色輝度ヒストグラムを用いて、最小肌色階調ｓｐ＿ｍｉｎから最大肌色階調ｓｐ＿ｍａｘまでの度数を積算した肌色面積ｓｐ＿ｓを求めて、γカーブ作成部１０３に出力する。
【００２０】
暗部と肌色部が共に検出された場合、γカーブ作成部１０３は以下の情報からγカーブを作成する。すなわち、人物検出部１０２で検出された最小暗部階調ｄｐ＿ｍｉｎ、最大暗部階調ｄｐ＿ｍａｘ、最小肌色階調ｓｐ＿ｍｉｎ、最大肌色階調ｓｐ＿ｍａｘ、暗部面積ｄｐ＿ｓ、肌色面積ｓｐ＿ｓである。
図５に示すように、暗部階調の伸長範囲はｄｐ＿ｍｉｎおよびｄｐ＿ｍａｘに基づいて決定され、１５〜２５の範囲である。暗部伸長量は暗部面積ｄｐ＿ｓに比例する。また、肌色階調の伸長範囲はｓｐ＿ｍｉｎおよびｓｐ＿ｍａｘに基づいて決定され、４０〜５５である。肌色部伸長量は肌色面積ｓｐ＿ｓに比例する。
本実施例では、最小暗部階調ｄｐ＿ｍｉｎの値１５と、最大暗部階調ｄｐ＿ｍａｘの値２５と、最小肌色階調ｓｐ＿ｍｉｎの値４０と、最大肌色階調ｓｐ＿ｍａｘの値５５から図５のようなγカーブを作成する。なお、図５中の点線は、入力画像信号をそのまま出力した場合の変換直線であり、実線が作成したγカーブである。このように、値が１５〜２５の間の範囲と、４０〜５５の間の範囲に多くの階調数が割当てられている。
【００２１】
人物検出部１０２で、最小暗部階調ｄｐ＿ｍｉｎが１２８かつ、最大暗部階調ｄｐ＿ｍａｘが０の場合は暗部が存在していないことを表している。また、最小肌色階調ｓｐ＿ｍｉｎが２５５かつ、最大肌色階調ｓｐ＿ｍａｘが０の場合は肌色部が存在していないことを表している。そこで、あるフレームにおいて、最小暗部階調ｄｐ＿ｍｉｎが１５、最大
暗部階調ｄｐ＿ｍａｘが２５、最小肌色階調ｓｐ＿ｍｉｎが２５５、最大肌色階調ｓｐ＿ｍａｘが０（肌色階調がない）であったと想定する。この場合肌色の補正をする必要が無いので、図６のように暗部に階調を割り当てるγカーブを作成する。
【００２２】
また、別のフレームにおいて、最小暗部階調ｄｐ＿ｍｉｎが１２８、最大暗部階調ｄｐ＿ｍａｘが０（暗部階調がない）、最小肌色階調ｓｐ＿ｍｉｎが４０、最大肌色階調ｓｐ＿ｍａｘが５５であったと想定する。この場合は暗部の補正をする必要が無いので、図７のように肌色部に階調を割り当てるγカーブを作成する。
【００２３】
γ変換部１０４は、入力画像信号中のγカーブを作成する元となったフレーム画像にγカーブ作成部１０３で作成したγカーブを適用して階調変換を行い、γ変換後のデータを出力する。これにより、出力画像信号が得られる。
【００２４】
以上説明したように、本実施例の画像処理方法によれば、取得したヒストグラムの暗部と肌色部の階調に基づいて、暗部と肌色部が隣接している、あるいは同じ領域に存在する場合は、人物画像が存在していると判定する。この場合、暗部は髪の毛であると判定して検出された肌色階調範囲および暗部階調範囲に対してビット数を割り当て、階調伸長制御を行うようなγカーブを作成する。このようにダイナミックγ処理を行うことにより、暗部も肌色部も共に良好に再現する表示を行うことができる。
【００２５】
また、入力画像中に暗部のみが存在する場合は、暗部に階調を割り当てるγカーブを作成するので、暗部を良好に再現することができる。さらに、入力画像中に肌色部のみが存在する場合は、肌色部に階調を割り当てるγカーブを作成するので、肌色を良好に再現することができる。
【００２６】
＜実施例２＞
本実施例においては、γカーブの作成方法が実施例１とは異なる画像処理装置について説明を行う。なお、装置の構成自体は実施例１において図１を用いて説明したものと同じである。以下、実施例１と異なる部分を中心に画像処理の流れを述べる。
ヒストグラム検出部１０１は、実施例１と同様に、１フレーム（全画面）分の入力画像信号に基づいて、全画面輝度ヒストグラム、全画面肌色輝度ヒストグラムを検出する。また、画面を１０×１０の領域に分割して、各領域の輝度ヒストグラム、累積輝度ヒストグラム、肌色輝度ヒストグラム、累積肌色輝度ヒストグラムを検出する。人物検出部１０２は、実施例１と同様に、最小暗部階調ｄｐ＿ｍｉｎ、最大暗部階調ｄｐ＿ｍａｘ、暗部面積ｄｐ＿ｓ、最小肌色階調ｓｐ＿ｍｉｎ、最大肌色階調ｓｐ＿ｍａｘ、肌色面積ｓｐ＿ｓを求め、γカーブ作成部１０３に出力する。
そして、γカーブ作成部１０３は、これらの人物検出部１０２から入力されたデータを用いてγカーブを作成する。
【００２７】
これから作成しようとするγカーブにおける、直線的な変換からの暗部伸長の度合いを表したものを、暗部伸長量ｄｐ＿ａとする。また、処理対象のフレーム画像における最大限の暗部伸長量を、最大暗部伸長量ｄｐ＿ａ＿ｍａｘとする。また、フレーム画像の全画面輝度ヒストグラムにおいて、全ての階級の度数を足し合わせた値を、ｄｐ＿ｓ＿ｍａｘとする。この時の暗部伸長量ｄｐ＿ａを、以下の式（１）で表す。
dp_a = (dp_s / dp_s_max) × dp_a_max …式（１）
式（１）は、暗部面積ｄｐ＿ｓが全画面輝度ヒストグラム中に占める割合が大きいほど、暗部伸長量ｄｐ＿ａの値が大きくなることを表している。
この式は一例であり、暗部面積ｄｐ＿ｓに応じて暗部伸長量ｄｐ＿ａを決定する式であればよい。図８は暗部面積ｄｐ＿ｓがｄｐ＿ｓ＿ｍａｘの１／２の場合の例であり、この時の暗部伸長量ｄｐ＿ａは、式（１）のｄｐ＿ｓにｄｐ＿ｓ＿ｍａｘ／２を代入して、ｄ
ｐ＿ａ＿ｍａｘ／２という値が得られる。また、最大暗部伸長量ｄｐ＿ａ＿ｍａｘは、画像の特性や視聴者の嗜好に応じて適宜変更することが可能である。
【００２８】
同様に、γカーブにおいて肌色を伸長させる度合いを表したものを肌色部伸長量ｓｐ＿ａ、処理対象のフレーム画像における最大限の肌色部伸長量を、最大肌色部伸長量ｓｐ＿ａ＿ｍａｘとする。図９は肌色伸長量を示す図である。また、フレーム画像の全画面輝度ヒストグラムにおいて、全ての階級の度数を足し合わせた値を、ｓｐ＿ｓ＿ｍａｘとする。この時の肌色部伸長量ｓｐ＿ａを、以下の式（２）で表す。
sp_a = (sp_s / sp_s_max) × sp_a_max …式（２）
式（２）は、肌色部面積ｓｐ＿ｓが全画面肌色輝度ヒストグラム中に占める割合が大きいほど肌色部伸長量ｓｐ＿ａの値が大きくなることを表している。この式は一例であり、肌色部面積ｓｐ＿ｓに応じて肌色部伸長量ｓｐ＿ａを決定する式であればよい。図９は肌色部面積ｓｐ＿ｓがｓｐ＿ｓ＿ｍａｘの１／２の場合の例であり、この時の肌色部伸長量ｓｐ＿ａは、式（２）のｓｐ＿ｓにｓｐ＿ｓ＿ｍａｘ／２を代入して、ｓｐ＿ａ＿ｍａｘ／２という値が得られる。また、最大肌色部伸長量ｓｐ＿ａ＿ｍａｘは、画像の特性や視聴者の嗜好に応じて適宜変更することが可能である。
なお、本実施例においては、ｄｐ＿ｓ＿ｍａｘとｓｐ＿ｓ＿ｍａｘは共に全画面輝度ヒストグラムの全階級の度数の和であり、同じ値となる。しかし、実際の処理においては、両者の値を互いに独立に変更することが可能であり、柔軟なダイナミックγ処理を実現することができる。
【００２９】
γカーブ作成部１０３は、以上のようにして得られた暗部伸長量ｄｐ＿ａと、肌色部伸長量ｓｐ＿ａを用いて暗部と肌色部に階調を割り当てるγカーブを作成する。
γ変換部１０４は、入力画像信号から、γカーブ作成部１０３で作成したγカーブから階調変換を行い、γ変換後のデータを出力する。
【００３０】
以上説明したように、本実施例の方法によれば、肌色領域の面積に応じて肌色部の階調伸長量と、暗部階調領域の面積に応じて暗部の階調伸長量を算出し、暗部と肌色部に階調を割り当てるγカーブを作成する。このようにダイナミックγ処理を行うことにより、暗部も肌色部も共に良好に再現する表示を行うことができる。
【００３１】
＜実施例３＞
本実施例においては、ヒストグラムの検出方法と、γカーブの作成方法が実施例１、２とは異なる画像処理装置について説明を行う。なお、装置の構成自体は実施例１において図１を用いて説明したものと同じである。以下、実施例１と異なる部分を中心に画像処理の流れを述べる。
ヒストグラム検出部１０１は、画面を１０×１０の領域に分割して、各領域の輝度ヒストグラム、累積輝度ヒストグラム、肌色輝度ヒストグラム、累積肌色輝度ヒストグラムを検出する。人物検出部１０２は、最小暗部階調ｄｐ＿ｍｉｎ、最小肌色階調ｓｐ＿ｍｉｎを求め、γカーブ作成部１０３に出力する。
そして、γカーブ作成部１０３は、これらの人物検出部１０２から入力されたデータを用いてγカーブを作成する。
【００３２】
本実施例では、人物検出部１０２で検出された最小暗部階調ｄｐ＿ｍｉｎ、最小肌色階調ｓｐ＿ｍｉｎを用いてγカーブを作成する。実施例１、２では、最小暗部階調ｄｐ＿ｍｉｎから最大暗部階調ｄｐ＿ｍａｘの階調と、最小肌色階調ｓｐ＿ｍｉｎから最大肌色階調ｓｐ＿ｍａｘの階調に、階調を割り当てるγカーブを適用していた。一方本実施例では、最小暗部階調ｄｐ＿ｍｉｎと最小肌色階調ｓｐ＿ｍｉｎ近辺に階調を割り当てるγカーブを適用する。比較的暗い階調の暗部や肌色は、黒つぶれやくすみなどが分かりやすい。そこで、最小暗部階調ｄｐ＿ｍｉｎと最小肌色階調ｓｐ＿ｍｉｎのみを用いてγカーブを
作成することでも、良好な階調再現を行うことができる。
【００３３】
γカーブ作成部１０３は、最小暗部階調ｄｐ＿ｍｉｎと最小肌色階調ｓｐ＿ｍｉｎから暗部と肌色部に階調を割り当てるγカーブを作成する。図１０は、最小暗部階調ｄｐ＿ｍｉｎの近辺と、最小肌色階調ｓｐ＿ｍｉｎの近辺に階調を割り当てたγカーブの一例を示す図である。
γ変換部１０４は、入力画像信号から、γカーブ作成部１０３で作成したγカーブから階調変換を行い、γ変換後のデータを出力する。
【００３４】
以上説明したように、本実施例の方法によれば、暗部と肌色部の暗い階調に階調を割り当てるγカーブを作成する。このようにダイナミックγ処理を行うことにより、暗部も肌色部も共に良好に再現する表示を行うことができる。
【符号の説明】
【００３５】
１００ 画像処理装置
１０１ ヒストグラム検出部
１０２ 人物検出部
１０３ γカーブ作成部
１０４ γ変換部
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
入力画像信号の特徴に応じて適応的にγ処理を実行する画像処理方法があり、ダイナミックγ処理と呼ばれる。さらに肌色部分の面積、平均輝度等に応じてダイナミックγ処理を行うことで肌色の再現性を改善する技術も知られている（特許文献１）。また、人物の肌領域と、髪領域を抽出し、人物の有無を検出する技術も知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２８８８３６号公報
【特許文献２】特開２００７−０８７１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、肌色を検出し、肌色の階調再現性を高める従来の技術では、肌色の階調再現性が改善されても、肌色周囲のオブジェクトに対する階調再現性が逆に劣化する恐れがあった。
例えば、暗い（黒い）髪の毛の人物が存在する画像が入力されたとする。従来技術では、人物の肌色の面積と、入力画像信号の平均輝度レベルから、肌色補正信号を算出し、肌色に階調を割り当てるγカーブを作成し、ダイナミックγ処理を行う。しかし、このようなγカーブでは、肌色部の輝度階調に対し表示ビット数が多く割り当てられるため、周囲の暗い髪の毛部分への表示ビット数の割り当てが減少する。その結果、暗い髪の毛部分の階調つぶれや疑似輪郭が発生する恐れがあった。
【０００５】
本発明は上記実情に鑑みてなされたものであって、ダイナミックγ処理において、入力画像中の肌色部と暗部の検出結果に応じたγカーブを作成し、良好な階調再現を実現するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明では以下の構成を採用する。すなわち、入力画像信号中のフレーム画像を複数の領域に分割し、各分割領域において、輝度成分を抽出して輝度ヒストグラムを作成し、かつ、所定の色成分を肌色として抽出して肌色輝度ヒストグラムを作成するヒストグラム検出部と、前記輝度ヒストグラムおよび前記肌色輝度ヒストグラムを用いて、フレーム画像に人物が含まれるかどうかを検出する人物検出部と、前記人物検出部による検出結果に基づいてγカーブを作成するγカーブ作成部と、フレーム画像に前記γカーブを適用して出力画像信号を作成するγ変換部と、を備え、前記ヒストグラム検出部は、各分割領域の輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第１の閾値を超え、かつ、前記第１の閾値を超えた時の階級値が所定の階級値よりも小さい場合、前記第１の閾値を超えた時の階級値を暗部階調として検出し、フレーム画像内の各分割領域の暗部階調を比較して当該フレーム画像における最小暗部階調と最大暗部階調を求め、分割領域の肌色輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第２の閾値を超えた場合、前記第２の閾値を超えた時の階級値を肌色階調として検出し、フレーム画像内の各分割領域の肌色階調を比較して当該フレーム画像における最小肌色階調と最大肌色階調を求め、前記人物検出部は、暗部階調が検出された分割領域を中心とする所定の範囲に、肌色領
域が検出された分割領域が存在する場合、前記フレーム画像に人物が含まれると判定し、前記γカーブ作成部は、人物が含まれると判定された場合に、最小暗部階調と最大暗部階調の間の範囲、および、最小肌色階調と最大肌色階調の間の範囲に割り当てる階調数を増やすようにγカーブを作成することを特徴とする画像処理装置である。
【０００７】
本発明ではまた、以下の構成を採用する。すなわち、入力画像信号中のフレーム画像を複数の領域に分割し、各分割領域において、輝度成分を抽出して輝度ヒストグラムを作成し、かつ、所定の色成分を肌色として抽出して肌色輝度ヒストグラムを作成するヒストグラム検出ステップと、前記輝度ヒストグラムおよび前記肌色輝度ヒストグラムを用いて、フレーム画像に人物が含まれるかどうかを検出する人物検出ステップと、前記人物検出部による検出結果に基づいてγカーブを作成するγカーブ作成ステップと、フレーム画像に前記γカーブを適用して出力画像信号を作成するγ変換ステップと、を含み、前記ヒストグラム検出ステップは、各分割領域の輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第１の閾値を超え、かつ、前記第１の閾値を超えた時の階級値が所定の階級値よりも小さい場合、前記第１の閾値を超えた時の階級値を暗部階調として検出し、フレーム画像内の各分割領域の暗部階調を比較して当該フレーム画像における最小暗部階調と最大暗部階調を求め、分割領域の肌色輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第２の閾値を超えた場合、前記第２の閾値を超えた時の階級値を肌色階調として検出し、フレーム画像内の各分割領域の肌色階調を比較して当該フレーム画像における最小肌色階調と最大肌色階調を求め、前記人物検出ステップは、暗部階調が検出された分割領域を中心とする所定の範囲に、肌色領域が検出された分割領域が存在する場合、前記フレーム画像に人物が含まれると判定し、前記γカーブ作成ステップは、人物が含まれると判定された場合に、最小暗部階調と最大暗部階調の間の範囲、および、最小肌色階調と最大肌色階調の間の範囲に割り当てる階調数を増やすようにγカーブを作成することを特徴とする画像処理方法である。
【発明の効果】
【０００８】
本発明によれば、ダイナミックγ処理において、入力画像中の肌色部と暗部の検出結果に応じたγカーブを作成し、良好な階調再現を実現することができるようになる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の画像処理装置のブロック図。
【図２】ヒストグラム検出部により検出されたヒストグラムを示す図。
【図３】実施例１で最小暗部階調を検出する際のフローチャート。
【図４】実施例１で最大暗部階調を検出する際のフローチャート。
【図５】実施例１で暗部階調と肌色階調が存在する場合のγカーブ。
【図６】実施例１で暗部階調のみが存在する場合のγカーブ。
【図７】実施例１で肌色階調のみが存在する場合のγカーブ。
【図８】実施例２の暗部伸長量を説明する図。
【図９】実施例２の肌色部伸長量を説明する図。
【図１０】実施例３で用いるγカーブ。
【発明を実施するための形態】
【００１０】
以下、本発明の画像処理装置について、図面を参照しつつ説明する。この画像処理装置は入力画像信号にダイナミックγ処理を施し、階調変換された出力画像信号を得るものである。この画像処理装置はテレビジョン、ＳＴＢ（Set Top Box）、コンピュータ用のデ
ィスプレイ装置などと接続したり、これらに組み込んだりして用いることができる。以下に記述するブロックは、専用の回路を用いることもできるし、ＣＰＵ上で動作するプログラムであっても良い。また、以下の画像処理装置が行うそれぞれの処理をコンピュータ用
のプログラムなどに実行させることにより、本発明を画像処理方法として実現することができる。
なお、人物の肌の色には個体差があり、また、画像の撮影環境によって色合いは変化する。以下の記載における肌色とは、特定の人物の肌の色に限定されるものではなく、撮影対象や撮影環境に応じて柔軟に変更することができる。
【００１１】
＜実施例１＞
図１は本実施例の画像処理装置のブロック図を示している。図１に示す画像処理装置１００はヒストグラム検出部１０１と、人物検出部１０２と、γカーブ作成部１０３と、γ変換部１０４から構成されている。各ブロックの動作を以下で説明する。
【００１２】
ヒストグラム検出部１０１は、入力画像信号を輝度成分と色彩成分に分けた場合の輝度成分を抽出し、予め定められた階調範囲に基づいて輝度ヒストグラムを検出する。また、入力画像信号から肌色成分を抽出し、肌色輝度ヒストグラムを検出する。どのような色成分を肌色として認識するかは、画像中の人物の肌特性や使用者の嗜好によって自由に定めることができる。例えば、ＲＧＢ表色系やＬａｂ表色系などで所定の数値範囲で指定すれば良い。この処理は入力画像信号のフレーム（全画面）ごとに行われるので、ここで得られた輝度ヒストグラムのことを後に「全画面輝度ヒストグラム」と呼び、肌色輝度ヒストグラムのことを後に「全画面肌色輝度ヒストグラム」と呼ぶ。
さらに、ヒストグラム検出部１０１は、入力画像信号中の１つのフレーム画像を複数の領域に分割する。そして、各領域の輝度ヒストグラムと、肌色輝度ヒストグラムを検出する。また、検出した各領域の輝度ヒストグラムの、輝度が低い側の階級から順に度数の合計値を取ることにより累積輝度ヒストグラムを作成する。また、各領域の肌色輝度ヒストグラムの、輝度が低い側の階級から順に度数の合計値を取ることにより肌色累積輝度ヒストグラムを作成する。
本実施例では、１フレーム分の画面を縦１０×横１０の、計１００個の領域に分割して、各領域の輝度ヒストグラムと肌色輝度ヒストグラムを検出する。分割した各領域には、１〜１００までの領域番号をつける。なお、本実施例では入力画像信号中の１つのフレーム画像内を１０×１０に分割しているが、この値は任意であり、例えば１０×５や６×３でも良い。また、検出するヒストグラムは２５６階級とし、０〜２５５の階級値を持つものとする。
図２は、ヒストグラム検出部１０１により検出されたヒストグラムを示す図である。図２（ａ）は、分割されたある領域の輝度成分のみを抽出した輝度ヒストグラムの一例を示す図である。図２（ｂ）は、分割されたある領域の肌色成分の輝度のみを抽出した肌色輝度ヒストグラムの一例を示す図である。
【００１３】
人物検出部１０２は、フレーム画像内に人物が含まれるかどうかを検出し、検出結果を後続処理に送る。人物検出部１０２は、ヒストグラム検出部１０１で検出した各領域の累積輝度ヒストグラムから暗部階調ｄｐ［ａ］を算出し、肌色累積輝度ヒストグラムから肌色階調ｓｐ［ａ］を算出する。ここで、ａは分割した各領域につけた領域番号（１〜１００）である。ここで、暗部階調ｄｐ［ａ］は、領域番号ａにおいて、累積輝度ヒストグラムが閾値ｔｈ１を超えた時の階調値（階級）である。閾値ｔｈ１は所定の値であり、本発明の第１の閾値に当たる。また、肌色階調ｓｐ［ａ］は、領域番号ａにおいて、肌色累積輝度ヒストグラムが閾値ｔｈ２を超えた時の階調値（階級）である。閾値ｔｈ２は所定の値であり、本発明の第２の閾値に当たる。
ただし、検出された暗部階調ｄｐ［ａ］が全階調範囲の中央値以上の場合、暗部階調は検出されなかったものとする。本例のヒストグラムは２５６階級なので、中央の１２８という階級が基準となる。そして、ある領域で閾値ｔｈ１を超えた時の階級が１２８以上ならば、暗部階調は検出されなかったものとして、ｄｐ［ａ］に−１を設定する。なお、ここで中央値を境界としたのは一例に過ぎず、画像特性等の処理の実情に合わせて適宜変更
して構わない。また、累積ヒストグラムが最後まで閾値ｔｈ１を超えなかった場合も、ｄｐ［ａ］に−１を設定する。
また、肌色階調ｓｐ［ａ］を検出する際に、累積ヒストグラムが最後まで閾値ｔｈ２を超えなければ、その領域の肌色階調ｓｐ［ａ］に−１を設定する。
【００１４】
人物検出部１０２は、さらに、各分割領域にて検出された暗部階調を比較する。そして、それらの中で最も暗い暗部階調を最小暗部階調ｄｐ＿ｍｉｎ、最も明るい暗部階調を最大暗部階調ｄｐ＿ｍａｘとしてγカーブ作成部１０３に出力する。なお、この処理に当たっては、たとえ暗部階調が検出された分割領域であっても、同じ領域もしくは隣接する領域に肌色階調が検出されなかった領域は除外される。
人物検出部１０２は、また、各分割領域にて検出された肌色階調を比較する。そして、それらの中で最も暗い肌色階調を最小肌色階調ｓｐ＿ｍｉｎ、最も明るい肌色階調を最大肌色階調ｓｐ＿ｍａｘとし、γカーブ作成部１０３に出力する。
【００１５】
最小暗部階調ｄｐ＿ｍｉｎを検出するフローチャートを図３に示す。このフローにおいては、各分割領域について暗部階調検出が行われていることが前提となる。
ステップＳ１１１は初期化のステップであり、最小暗部階調ｄｐ＿ｍｉｎを１２８（２５６階級のヒストグラムを検出しているため、２５６の半分である１２８階調以下を暗部と判断する）、領域番号ａを１に設定する。
ステップＳ１１２で、領域番号ａが１００より大きいかどうか判定し、１００より大きくなければステップＳ１１３へ進む。１００より大きければステップＳ１１８に進み、処理を終了する。
ステップＳ１１３でｄｐ［ａ］が−１かどうか（暗部階調が検出されているかどうか）判定し、−１でなければステップＳ１１４へ進む。−１であればａに１を加え（Ｓ１１７）、ステップＳ１１２へ戻る。
ステップＳ１１４で、暗部階調ｄｐ［ａ］が検出された領域ａを中心とする３×３の領域内に肌色階調ｓｐ［ａ］が検出されていれば、ステップＳ１１５へ進む。検出されていなければａに１を加え（Ｓ１１７）、ステップＳ１１２へ戻る。これにより、暗部と肌色が近接している部分（すなわち、髪と肌が近接している可能性が高い部分）が判別でき、人物が検出できる。なお、この３×３という範囲は本実施例における所定の値に過ぎない。どのような範囲を設定するかは、例えば要求される検出感度、一つの分割領域の広さ、画像の特性などによって定められるべきものである。
ステップＳ１１５で、暗部階調ｄｐ［ａ］と最小暗部階調ｄｐ＿ｍｉｎを比較し、ｄｐ［ａ］＜ｄｐ＿ｍｉｎならばステップＳ１１６へ進み、そうでなければａに１を加え（Ｓ１１７）、ステップＳ１１２へ戻る。
ステップＳ１１６でｄｐ＿ｍｉｎ＝ｄｐ［ａ］に更新し、ａに１を加え、ステップＳ１１２へ戻る。
本実施例では、図３のフローチャートによって、１５という最小暗部階調ｄｐ＿ｍｉｎが得られたものとする。
【００１６】
最大暗部階調ｄｐ＿ｍａｘを検出するフローチャートを図４に示す。このフローにおいても、各分割領域について暗部階調検出が行われていることが前提となる。
ステップＳ１２１で、最大暗部階調ｄｐ＿ｍａｘを０、領域番号ａを１に初期化する。
ステップＳ１２２で、領域番号ａが１００より大きいかどうか判定し、１００より大きくなければステップＳ１２３へ進む。１００より大きければステップＳ１２８に進み、処理を終了する。
ステップＳ１２３でｄｐ［ａ］が−１かどうか（暗部階調が検出されているかどうか）判定し、−１でなければステップＳ１２４へ進む。−１であればａに１を加え（Ｓ１２７）、ステップＳ１２２へ戻る。
ステップＳ１２４で、暗部階調ｄｐ［ａ］が検出された領域ａを中心とする３×３の領
域内にｓｐ［ａ］が検出されていれば、ステップＳ１２５へ進む。検出されていなければａに１を加え（Ｓ１２７）、ステップＳ１２２へ戻る。
ステップＳ１２５で、暗部階調ｄｐ［ａ］と最大暗部階調ｄｐ＿ｍａｘを比較し、ｄｐ［ａ］＞ｄｐ＿ｍａｘならばステップＳ１２６へ進み、そうでなければａに１を加え（Ｓ１２７）、ステップＳ１２２へ戻る。
ステップＳ１２６でｄｐ＿ｍａｘ＝ｄｐ［ａ］に更新し、ａに１を加え（Ｓ１２７）、ステップＳ１２２へ戻る。
本実施例では、図４のフローチャートによって、２５という最大暗部階調ｄｐ＿ｍａｘが得られたとものする。
【００１７】
最小肌色階調ｓｐ＿ｍｉｎを検出する際には、まず、最小肌色階調ｓｐ＿ｍｉｎを２５５、領域番号ａを１に初期化する。そして、領域番号ａを１００まで１ずつ加算しつつ、ｓｐ［ａ］が−１かどうか（肌色階調が検出されているか）判定する。検出されていれば、ｓｐ［ａ］と、現時点での最小肌色階調ｓｐ＿ｍｉｎを比較する。そして、ｓｐ［ａ］の方が小さければ、ｓｐ＿ｍｉｎを更新する。
本実施例では、この処理を領域番号１００まで繰り返すことにより、４０という最小肌色階調ｓｐ＿ｍｉｎが得られたものとする。
【００１８】
最大肌色階調ｓｐ＿ｍａｘを検出する際には、まず、最大肌色階調ｓｐ＿ｍａｘを０、領域番号ａを１に初期化する。そして、領域番号ａを１００まで１ずつ加算しつつ、ｓｐ［ａ］が−１かどうか（肌色階調が検出されているか）判定する。検出されていれば、ｓｐ［ａ］と、現時点での最大肌色階調ｓｐ＿ｍａｘを比較する。そして、ｓｐ［ａ］の方が大きければ、ｓｐ＿ｍａｘを更新する。
本実施例では、この処理を領域番号１００まで繰り返すことにより、５５という最大肌色階調ｓｐ＿ｍａｘが得られたものとする。
【００１９】
また、ヒストグラム検出部１０１で検出した入力画像の全画面輝度ヒストグラムを用いて、最小暗部階調ｄｐ＿ｍｉｎから最大暗部階調ｄｐ＿ｍａｘまでの度数を積算した暗部面積ｄｐ＿ｓを求めて、γカーブ作成部１０３に出力する。同様に、入力画像の全画面肌色輝度ヒストグラムを用いて、最小肌色階調ｓｐ＿ｍｉｎから最大肌色階調ｓｐ＿ｍａｘまでの度数を積算した肌色面積ｓｐ＿ｓを求めて、γカーブ作成部１０３に出力する。
【００２０】
暗部と肌色部が共に検出された場合、γカーブ作成部１０３は以下の情報からγカーブを作成する。すなわち、人物検出部１０２で検出された最小暗部階調ｄｐ＿ｍｉｎ、最大暗部階調ｄｐ＿ｍａｘ、最小肌色階調ｓｐ＿ｍｉｎ、最大肌色階調ｓｐ＿ｍａｘ、暗部面積ｄｐ＿ｓ、肌色面積ｓｐ＿ｓである。
図５に示すように、暗部階調の伸長範囲はｄｐ＿ｍｉｎおよびｄｐ＿ｍａｘに基づいて決定され、１５〜２５の範囲である。暗部伸長量は暗部面積ｄｐ＿ｓに比例する。また、肌色階調の伸長範囲はｓｐ＿ｍｉｎおよびｓｐ＿ｍａｘに基づいて決定され、４０〜５５である。肌色部伸長量は肌色面積ｓｐ＿ｓに比例する。
本実施例では、最小暗部階調ｄｐ＿ｍｉｎの値１５と、最大暗部階調ｄｐ＿ｍａｘの値２５と、最小肌色階調ｓｐ＿ｍｉｎの値４０と、最大肌色階調ｓｐ＿ｍａｘの値５５から図５のようなγカーブを作成する。なお、図５中の点線は、入力画像信号をそのまま出力した場合の変換直線であり、実線が作成したγカーブである。このように、値が１５〜２５の間の範囲と、４０〜５５の間の範囲に多くの階調数が割当てられている。
【００２１】
人物検出部１０２で、最小暗部階調ｄｐ＿ｍｉｎが１２８かつ、最大暗部階調ｄｐ＿ｍａｘが０の場合は暗部が存在していないことを表している。また、最小肌色階調ｓｐ＿ｍｉｎが２５５かつ、最大肌色階調ｓｐ＿ｍａｘが０の場合は肌色部が存在していないことを表している。そこで、あるフレームにおいて、最小暗部階調ｄｐ＿ｍｉｎが１５、最大
暗部階調ｄｐ＿ｍａｘが２５、最小肌色階調ｓｐ＿ｍｉｎが２５５、最大肌色階調ｓｐ＿ｍａｘが０（肌色階調がない）であったと想定する。この場合肌色の補正をする必要が無いので、図６のように暗部に階調を割り当てるγカーブを作成する。
【００２２】
また、別のフレームにおいて、最小暗部階調ｄｐ＿ｍｉｎが１２８、最大暗部階調ｄｐ＿ｍａｘが０（暗部階調がない）、最小肌色階調ｓｐ＿ｍｉｎが４０、最大肌色階調ｓｐ＿ｍａｘが５５であったと想定する。この場合は暗部の補正をする必要が無いので、図７のように肌色部に階調を割り当てるγカーブを作成する。
【００２３】
γ変換部１０４は、入力画像信号中のγカーブを作成する元となったフレーム画像にγカーブ作成部１０３で作成したγカーブを適用して階調変換を行い、γ変換後のデータを出力する。これにより、出力画像信号が得られる。
【００２４】
以上説明したように、本実施例の画像処理方法によれば、取得したヒストグラムの暗部と肌色部の階調に基づいて、暗部と肌色部が隣接している、あるいは同じ領域に存在する場合は、人物画像が存在していると判定する。この場合、暗部は髪の毛であると判定して検出された肌色階調範囲および暗部階調範囲に対してビット数を割り当て、階調伸長制御を行うようなγカーブを作成する。このようにダイナミックγ処理を行うことにより、暗部も肌色部も共に良好に再現する表示を行うことができる。
【００２５】
また、入力画像中に暗部のみが存在する場合は、暗部に階調を割り当てるγカーブを作成するので、暗部を良好に再現することができる。さらに、入力画像中に肌色部のみが存在する場合は、肌色部に階調を割り当てるγカーブを作成するので、肌色を良好に再現することができる。
【００２６】
＜実施例２＞
本実施例においては、γカーブの作成方法が実施例１とは異なる画像処理装置について説明を行う。なお、装置の構成自体は実施例１において図１を用いて説明したものと同じである。以下、実施例１と異なる部分を中心に画像処理の流れを述べる。
ヒストグラム検出部１０１は、実施例１と同様に、１フレーム（全画面）分の入力画像信号に基づいて、全画面輝度ヒストグラム、全画面肌色輝度ヒストグラムを検出する。また、画面を１０×１０の領域に分割して、各領域の輝度ヒストグラム、累積輝度ヒストグラム、肌色輝度ヒストグラム、累積肌色輝度ヒストグラムを検出する。人物検出部１０２は、実施例１と同様に、最小暗部階調ｄｐ＿ｍｉｎ、最大暗部階調ｄｐ＿ｍａｘ、暗部面積ｄｐ＿ｓ、最小肌色階調ｓｐ＿ｍｉｎ、最大肌色階調ｓｐ＿ｍａｘ、肌色面積ｓｐ＿ｓを求め、γカーブ作成部１０３に出力する。
そして、γカーブ作成部１０３は、これらの人物検出部１０２から入力されたデータを用いてγカーブを作成する。
【００２７】
これから作成しようとするγカーブにおける、直線的な変換からの暗部伸長の度合いを表したものを、暗部伸長量ｄｐ＿ａとする。また、処理対象のフレーム画像における最大限の暗部伸長量を、最大暗部伸長量ｄｐ＿ａ＿ｍａｘとする。また、フレーム画像の全画面輝度ヒストグラムにおいて、全ての階級の度数を足し合わせた値を、ｄｐ＿ｓ＿ｍａｘとする。この時の暗部伸長量ｄｐ＿ａを、以下の式（１）で表す。
dp_a = (dp_s / dp_s_max) × dp_a_max …式（１）
式（１）は、暗部面積ｄｐ＿ｓが全画面輝度ヒストグラム中に占める割合が大きいほど、暗部伸長量ｄｐ＿ａの値が大きくなることを表している。
この式は一例であり、暗部面積ｄｐ＿ｓに応じて暗部伸長量ｄｐ＿ａを決定する式であればよい。図８は暗部面積ｄｐ＿ｓがｄｐ＿ｓ＿ｍａｘの１／２の場合の例であり、この時の暗部伸長量ｄｐ＿ａは、式（１）のｄｐ＿ｓにｄｐ＿ｓ＿ｍａｘ／２を代入して、ｄ
ｐ＿ａ＿ｍａｘ／２という値が得られる。また、最大暗部伸長量ｄｐ＿ａ＿ｍａｘは、画像の特性や視聴者の嗜好に応じて適宜変更することが可能である。
【００２８】
同様に、γカーブにおいて肌色を伸長させる度合いを表したものを肌色部伸長量ｓｐ＿ａ、処理対象のフレーム画像における最大限の肌色部伸長量を、最大肌色部伸長量ｓｐ＿ａ＿ｍａｘとする。図９は肌色伸長量を示す図である。また、フレーム画像の全画面輝度ヒストグラムにおいて、全ての階級の度数を足し合わせた値を、ｓｐ＿ｓ＿ｍａｘとする。この時の肌色部伸長量ｓｐ＿ａを、以下の式（２）で表す。
sp_a = (sp_s / sp_s_max) × sp_a_max …式（２）
式（２）は、肌色部面積ｓｐ＿ｓが全画面肌色輝度ヒストグラム中に占める割合が大きいほど肌色部伸長量ｓｐ＿ａの値が大きくなることを表している。この式は一例であり、肌色部面積ｓｐ＿ｓに応じて肌色部伸長量ｓｐ＿ａを決定する式であればよい。図９は肌色部面積ｓｐ＿ｓがｓｐ＿ｓ＿ｍａｘの１／２の場合の例であり、この時の肌色部伸長量ｓｐ＿ａは、式（２）のｓｐ＿ｓにｓｐ＿ｓ＿ｍａｘ／２を代入して、ｓｐ＿ａ＿ｍａｘ／２という値が得られる。また、最大肌色部伸長量ｓｐ＿ａ＿ｍａｘは、画像の特性や視聴者の嗜好に応じて適宜変更することが可能である。
なお、本実施例においては、ｄｐ＿ｓ＿ｍａｘとｓｐ＿ｓ＿ｍａｘは共に全画面輝度ヒストグラムの全階級の度数の和であり、同じ値となる。しかし、実際の処理においては、両者の値を互いに独立に変更することが可能であり、柔軟なダイナミックγ処理を実現することができる。
【００２９】
γカーブ作成部１０３は、以上のようにして得られた暗部伸長量ｄｐ＿ａと、肌色部伸長量ｓｐ＿ａを用いて暗部と肌色部に階調を割り当てるγカーブを作成する。
γ変換部１０４は、入力画像信号から、γカーブ作成部１０３で作成したγカーブから階調変換を行い、γ変換後のデータを出力する。
【００３０】
以上説明したように、本実施例の方法によれば、肌色領域の面積に応じて肌色部の階調伸長量と、暗部階調領域の面積に応じて暗部の階調伸長量を算出し、暗部と肌色部に階調を割り当てるγカーブを作成する。このようにダイナミックγ処理を行うことにより、暗部も肌色部も共に良好に再現する表示を行うことができる。
【００３１】
＜実施例３＞
本実施例においては、ヒストグラムの検出方法と、γカーブの作成方法が実施例１、２とは異なる画像処理装置について説明を行う。なお、装置の構成自体は実施例１において図１を用いて説明したものと同じである。以下、実施例１と異なる部分を中心に画像処理の流れを述べる。
ヒストグラム検出部１０１は、画面を１０×１０の領域に分割して、各領域の輝度ヒストグラム、累積輝度ヒストグラム、肌色輝度ヒストグラム、累積肌色輝度ヒストグラムを検出する。人物検出部１０２は、最小暗部階調ｄｐ＿ｍｉｎ、最小肌色階調ｓｐ＿ｍｉｎを求め、γカーブ作成部１０３に出力する。
そして、γカーブ作成部１０３は、これらの人物検出部１０２から入力されたデータを用いてγカーブを作成する。
【００３２】
本実施例では、人物検出部１０２で検出された最小暗部階調ｄｐ＿ｍｉｎ、最小肌色階調ｓｐ＿ｍｉｎを用いてγカーブを作成する。実施例１、２では、最小暗部階調ｄｐ＿ｍｉｎから最大暗部階調ｄｐ＿ｍａｘの階調と、最小肌色階調ｓｐ＿ｍｉｎから最大肌色階調ｓｐ＿ｍａｘの階調に、階調を割り当てるγカーブを適用していた。一方本実施例では、最小暗部階調ｄｐ＿ｍｉｎと最小肌色階調ｓｐ＿ｍｉｎ近辺に階調を割り当てるγカーブを適用する。比較的暗い階調の暗部や肌色は、黒つぶれやくすみなどが分かりやすい。そこで、最小暗部階調ｄｐ＿ｍｉｎと最小肌色階調ｓｐ＿ｍｉｎのみを用いてγカーブを
作成することでも、良好な階調再現を行うことができる。
【００３３】
γカーブ作成部１０３は、最小暗部階調ｄｐ＿ｍｉｎと最小肌色階調ｓｐ＿ｍｉｎから暗部と肌色部に階調を割り当てるγカーブを作成する。図１０は、最小暗部階調ｄｐ＿ｍｉｎの近辺と、最小肌色階調ｓｐ＿ｍｉｎの近辺に階調を割り当てたγカーブの一例を示す図である。
γ変換部１０４は、入力画像信号から、γカーブ作成部１０３で作成したγカーブから階調変換を行い、γ変換後のデータを出力する。
【００３４】
以上説明したように、本実施例の方法によれば、暗部と肌色部の暗い階調に階調を割り当てるγカーブを作成する。このようにダイナミックγ処理を行うことにより、暗部も肌色部も共に良好に再現する表示を行うことができる。
【符号の説明】
【００３５】
１００ 画像処理装置
１０１ ヒストグラム検出部
１０２ 人物検出部
１０３ γカーブ作成部
１０４ γ変換部
【特許請求の範囲】
【請求項１】
入力画像信号中のフレーム画像を複数の領域に分割し、各分割領域において、輝度成分を抽出して輝度ヒストグラムを作成し、かつ、所定の色成分を肌色として抽出して肌色輝度ヒストグラムを作成するヒストグラム検出部と、
前記輝度ヒストグラムおよび前記肌色輝度ヒストグラムを用いて、フレーム画像に人物が含まれるかどうかを検出する人物検出部と、
前記人物検出部による検出結果に基づいてγカーブを作成するγカーブ作成部と、
フレーム画像に前記γカーブを適用して出力画像信号を作成するγ変換部と、
を備え、
前記ヒストグラム検出部は、
各分割領域の輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第１の閾値を超え、かつ、前記第１の閾値を超えた時の階級値が所定の階級値よりも小さい場合、前記第１の閾値を超えた時の階級値を暗部階調として検出し、
フレーム画像内の各分割領域の暗部階調を比較して当該フレーム画像における最小暗部階調と最大暗部階調を求め、
分割領域の肌色輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第２の閾値を超えた場合、前記第２の閾値を超えた時の階級値を肌色階調として検出し、
フレーム画像内の各分割領域の肌色階調を比較して当該フレーム画像における最小肌色階調と最大肌色階調を求め、
前記人物検出部は、暗部階調が検出された分割領域を中心とする所定の範囲に、肌色領域が検出された分割領域が存在する場合、前記フレーム画像に人物が含まれると判定し、
前記γカーブ作成部は、人物が含まれると判定された場合に、最小暗部階調と最大暗部階調の間の範囲、および、最小肌色階調と最大肌色階調の間の範囲に割り当てる階調数を増やすようにγカーブを作成する
ことを特徴とする画像処理装置。
【請求項２】
前記ヒストグラム検出部により、フレーム画像のいずれの分割領域からも暗部階調が検出されず、かつ、いずれかの分割領域から肌色階調が検出された場合、前記γカーブ作成部は、最小肌色階調と最大肌色階調の間の範囲に割り当てる階調数のみ増やすようにγカーブを作成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ヒストグラム検出部により、フレーム画像のいずれの分割領域からも肌色階調が検出されず、かつ、いずれかの分割領域から暗部階調が検出された場合、前記γカーブ作成部は、最小暗部階調と最大暗部階調の間の範囲に割り当てる階調数のみ増やすようにγカーブを作成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ヒストグラム検出部は、フレーム画像に含まれる分割領域における、最小暗部階調から最大暗部階調までの度数の和を、全ての分割領域について積算して暗部面積を求め、最小肌色階調から最大肌色階調までの度数の和を、全ての分割領域について積算して肌色面積を求め、
前記γカーブ作成部は、前記暗部面積に比例するように最小暗部階調から最大暗部階調の間の範囲に割り当てる階調数を決定し、前記肌色面積に比例するように最小肌色階調から最大肌色階調の間の範囲に割り当てる階調数を決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
入力画像信号中のフレーム画像を複数の領域に分割し、各分割領域において、輝度成分を抽出して輝度ヒストグラムを作成し、かつ、所定の色成分を肌色として抽出して肌色輝度ヒストグラムを作成するヒストグラム検出ステップと、
前記輝度ヒストグラムおよび前記肌色輝度ヒストグラムを用いて、フレーム画像に人物が含まれるかどうかを検出する人物検出ステップと、
前記人物検出ステップによる検出結果に基づいてγカーブを作成するγカーブ作成ステップと、
フレーム画像に前記γカーブを適用して出力画像信号を作成するγ変換ステップと、
を含み、
前記ヒストグラム検出ステップは、
各分割領域の輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第１の閾値を超え、かつ、前記第１の閾値を超えた時の階級値が所定の階級値よりも小さい場合、前記第１の閾値を超えた時の階級値を暗部階調として検出し、
フレーム画像内の各分割領域の暗部階調を比較して当該フレーム画像における最小暗部階調と最大暗部階調を求め、
分割領域の肌色輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第２の閾値を超えた場合、前記第２の閾値を超えた時の階級値を肌色階調として検出し、
フレーム画像内の各分割領域の肌色階調を比較して当該フレーム画像における最小肌色階調と最大肌色階調を求め、
前記人物検出ステップは、暗部階調が検出された分割領域を中心とする所定の範囲に、肌色領域が検出された分割領域が存在する場合、前記フレーム画像に人物が含まれると判定し、
前記γカーブ作成ステップは、人物が含まれると判定された場合に、最小暗部階調と最大暗部階調の間の範囲、および、最小肌色階調と最大肌色階調の間の範囲に割り当てる階調数を増やすようにγカーブを作成する
ことを特徴とする画像処理方法。
【請求項１】
入力画像信号中のフレーム画像を複数の領域に分割し、各分割領域において、輝度成分を抽出して輝度ヒストグラムを作成し、かつ、所定の色成分を肌色として抽出して肌色輝度ヒストグラムを作成するヒストグラム検出部と、
前記輝度ヒストグラムおよび前記肌色輝度ヒストグラムを用いて、フレーム画像に人物が含まれるかどうかを検出する人物検出部と、
前記人物検出部による検出結果に基づいてγカーブを作成するγカーブ作成部と、
フレーム画像に前記γカーブを適用して出力画像信号を作成するγ変換部と、
を備え、
前記ヒストグラム検出部は、
各分割領域の輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第１の閾値を超え、かつ、前記第１の閾値を超えた時の階級値が所定の階級値よりも小さい場合、前記第１の閾値を超えた時の階級値を暗部階調として検出し、
フレーム画像内の各分割領域の暗部階調を比較して当該フレーム画像における最小暗部階調と最大暗部階調を求め、
分割領域の肌色輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第２の閾値を超えた場合、前記第２の閾値を超えた時の階級値を肌色階調として検出し、
フレーム画像内の各分割領域の肌色階調を比較して当該フレーム画像における最小肌色階調と最大肌色階調を求め、
前記人物検出部は、暗部階調が検出された分割領域を中心とする所定の範囲に、肌色領域が検出された分割領域が存在する場合、前記フレーム画像に人物が含まれると判定し、
前記γカーブ作成部は、人物が含まれると判定された場合に、最小暗部階調と最大暗部階調の間の範囲、および、最小肌色階調と最大肌色階調の間の範囲に割り当てる階調数を増やすようにγカーブを作成する
ことを特徴とする画像処理装置。
【請求項２】
前記ヒストグラム検出部により、フレーム画像のいずれの分割領域からも暗部階調が検出されず、かつ、いずれかの分割領域から肌色階調が検出された場合、前記γカーブ作成部は、最小肌色階調と最大肌色階調の間の範囲に割り当てる階調数のみ増やすようにγカーブを作成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ヒストグラム検出部により、フレーム画像のいずれの分割領域からも肌色階調が検出されず、かつ、いずれかの分割領域から暗部階調が検出された場合、前記γカーブ作成部は、最小暗部階調と最大暗部階調の間の範囲に割り当てる階調数のみ増やすようにγカーブを作成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ヒストグラム検出部は、フレーム画像に含まれる分割領域における、最小暗部階調から最大暗部階調までの度数の和を、全ての分割領域について積算して暗部面積を求め、最小肌色階調から最大肌色階調までの度数の和を、全ての分割領域について積算して肌色面積を求め、
前記γカーブ作成部は、前記暗部面積に比例するように最小暗部階調から最大暗部階調の間の範囲に割り当てる階調数を決定し、前記肌色面積に比例するように最小肌色階調から最大肌色階調の間の範囲に割り当てる階調数を決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
入力画像信号中のフレーム画像を複数の領域に分割し、各分割領域において、輝度成分を抽出して輝度ヒストグラムを作成し、かつ、所定の色成分を肌色として抽出して肌色輝度ヒストグラムを作成するヒストグラム検出ステップと、
前記輝度ヒストグラムおよび前記肌色輝度ヒストグラムを用いて、フレーム画像に人物が含まれるかどうかを検出する人物検出ステップと、
前記人物検出ステップによる検出結果に基づいてγカーブを作成するγカーブ作成ステップと、
フレーム画像に前記γカーブを適用して出力画像信号を作成するγ変換ステップと、
を含み、
前記ヒストグラム検出ステップは、
各分割領域の輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第１の閾値を超え、かつ、前記第１の閾値を超えた時の階級値が所定の階級値よりも小さい場合、前記第１の閾値を超えた時の階級値を暗部階調として検出し、
フレーム画像内の各分割領域の暗部階調を比較して当該フレーム画像における最小暗部階調と最大暗部階調を求め、
分割領域の肌色輝度ヒストグラムにおいて輝度が低い側の階級から順に度数を加算した時に、度数の合計値が第２の閾値を超えた場合、前記第２の閾値を超えた時の階級値を肌色階調として検出し、
フレーム画像内の各分割領域の肌色階調を比較して当該フレーム画像における最小肌色階調と最大肌色階調を求め、
前記人物検出ステップは、暗部階調が検出された分割領域を中心とする所定の範囲に、肌色領域が検出された分割領域が存在する場合、前記フレーム画像に人物が含まれると判定し、
前記γカーブ作成ステップは、人物が含まれると判定された場合に、最小暗部階調と最大暗部階調の間の範囲、および、最小肌色階調と最大肌色階調の間の範囲に割り当てる階調数を増やすようにγカーブを作成する
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−５５１８５（Ｐ２０１１−５５１８５Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０１４２９（Ｐ２００９−２０１４２９）
【出願日】平成２１年９月１日（２００９．９．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月１日（２００９．９．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]