映像信号調整装置および映像信号調整方法
【課題】心理補色の影響により映像における肌色が異なる色に見える現象を効果的に抑える。
【解決手段】映像信号調整装置10は、映像信号における肌色領域を検出する肌色領域検出回路11と、肌色領域検出回路11によって検出された肌色領域の周辺領域である肌色周辺領域を検出する肌色領域拡張回路12と、肌色周辺領域において、所定の色相の画素を検出する色相検出回路13と、色相検出回路13によって検出された所定の色相の画素数を積算する積算回路14と、積算回路14によって積算された所定の色相の画素数が所定の閾値を超えた場合、肌色領域の肌色あるいは肌色周辺領域における所定の色相の少なくとも一方の映像信号を調整する映像信号調整回路15とを有する。
【解決手段】映像信号調整装置10は、映像信号における肌色領域を検出する肌色領域検出回路11と、肌色領域検出回路11によって検出された肌色領域の周辺領域である肌色周辺領域を検出する肌色領域拡張回路12と、肌色周辺領域において、所定の色相の画素を検出する色相検出回路13と、色相検出回路13によって検出された所定の色相の画素数を積算する積算回路14と、積算回路14によって積算された所定の色相の画素数が所定の閾値を超えた場合、肌色領域の肌色あるいは肌色周辺領域における所定の色相の少なくとも一方の映像信号を調整する映像信号調整回路15とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像信号を調整する映像信号調整装置および映像信号調整方法に関する。
【背景技術】
【0002】
デジタル放送の視聴エリア拡大と、デジタル対応受像機、およびブルーレイ(登録商標)等の高画質記録メディアの急速な普及により、一般家庭における高精細、高画質視聴環境が整備されつつある。これに伴い、ディスプレイに対するユーザの色調整機能への要求がいっそう高まってきている。
【0003】
液晶表示装置は、独自の色再現範囲を持ち、映像撮影の色再現範囲とは一致しないことから、双方の色相を調整する色調整回路を持つものが一般的である。この色調整回路では、肌色や特徴的な色に対し補正するといった、複数の色変換を行うものが多い。
【0004】
そこで、従来、画像全体の中で、一番多く使われている支配色を検出して、その支配色の補色に対して、彩度、輝度を調節することにより、従来の色補正にさらに色覚的効果を加えることにより、色のコントラストを強調して、ユーザに実際の色再現性以上に良好な印象の映像を得る画像補正装置および方法がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−278227号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、このような色調整回路を持つものであっても、液晶表示装置の大画面化に伴い、心理補色により、特に、肌色への心理的な色相変化が生じている。例えば、人の顔の直近の周囲に、肌色の補色成分を有し彩度の高い均一な背景色が存在する場合、その背景色に順応して負の残像(背景色による心理補色)が現れ、それが肌色と混色することで色相が変化して見える。これにより人の顔色がくすんでしまうなどの現象が生じることがある。
【0007】
本発明は上記に鑑みてなされたもので、心理補色の影響により映像における肌色が異なる色に見える現象を効果的に抑えることができる映像信号調整装置および映像信号調整方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の映像信号調整装置の第1の特徴は、映像信号における肌色領域を検出する肌色領域検出部(11)と、前記肌色領域検出部によって検出された前記肌色領域の周辺領域である肌色周辺領域を検出する周辺領域検出部(12)と、前記肌色周辺領域において、所定の色相の画素を検出する色相検出部(13)と、前記色相検出部によって検出された前記所定の色相の画素数を積算する積算部(14)と、前記積算部によって積算された前記所定の色相の画素数が所定の閾値を超えた場合、前記肌色領域の肌色あるいは前記肌色周辺領域における前記所定の色相の少なくとも一方の映像信号を調整する映像信号調整部(15)と、を有することにある。
【0009】
また、本発明の映像信号調整装置の第2の特徴は、前記色相検出部(13)は、前記所定の色相として、前記映像信号の肌色と補色関係にある色相を検出する、ことにある。
【0010】
また、本発明の映像信号調整装置の第3の特徴は、前記映像信号調整部(15)は、前記肌色領域の肌色あるいは前記肌色周辺領域の前記所定の色相の映像信号の色相と彩度とのうち少なくとも一方を調整する、ことにある。
【0011】
また、本発明の映像信号調整装置の第4の特徴は、前記肌色領域検出部(11)によって検出された前記肌色領域の映像信号と前記映像信号調整部(15)によって調整された前記肌色領域の映像信号、または前記周辺領域検出部(12)によって検出された前記肌色周辺領域の映像信号と前記映像信号調整部(15)によって調整された前記肌色周辺領域の映像信号のいずれか一方を、前記映像信号調整部(15)が調整した領域に対応して表示させ、前記映像信号調整部(15)による映像信号の調整を施すか否かを選択するボタンを表示させるOSD表示部(18)をさらに有し、前記映像信号調整部(15)による映像信号の調整を施すことが選択されると前記映像信号調整部(15)の調整を実行する、ことにある。
【0012】
また、本発明の映像信号調整方法の第1の特徴は、映像信号における肌色領域を検出するステップと、前記肌色領域の周辺領域である肌色周辺領域を検出するステップと、前記肌色周辺領域において、所定の色相の画素を検出するステップと、前記所定の色相の画素数を積算するステップと、前記所定の色相の画素数が所定の閾値を超えた場合、前記肌色領域の肌色あるいは前記肌色周辺領域における前記所定の色相の少なくとも一方の映像信号を調整するステップと、を有することにある。
【0013】
また、本発明の映像信号調整方法の第2の特徴は、前記所定の色相の画素を検出するステップにおいて、前記所定の色相として、前記映像信号の肌色と補色関係にある色相を検出する、ことにある。
【0014】
また、本発明の映像信号調整方法の第3の特徴は、前記映像信号を調整するステップにおいて、前記肌色領域の肌色あるいは前記肌色周辺領域の前記所定の色相の映像信号の色相と彩度とのうち少なくとも一方を調整する、ことにある。
【0015】
また、本発明の映像信号調整方法の第4の特徴は、前記肌色領域の映像信号と前記映像信号を調整するステップで調整された前記肌色領域の映像信号、または前記肌色周辺領域の映像信号と前記映像信号を調整するステップで調整された前記肌色周辺領域の映像信号のいずれか一方を、前記映像信号を調整するステップで調整された領域に対応してOSD表示し、映像信号の調整を施すか否かを選択するボタンをOSD表示するステップと、映像信号の調整を施すことが選択されると調整を実行するステップとをさらに有する、ことにある。
【発明の効果】
【0016】
本発明によれば、心理補色の影響により映像における肌色が異なる色に見える現象を効果的に抑えることができる。
【図面の簡単な説明】
【0017】
【図1】心理補色を示す色相環の一例を示す図である。
【図2】背景色が緑の場合の肌色の色相変化を示す図である。
【図3】背景色が赤の場合の肌色の色相変化を示す図である。
【図4】本発明に係る実施形態1の映像信号映像信号調整装置の構成例を示すブロック図である。
【図5】本発明の実施形態1のY軸、U軸、V軸おのおのにUPPERリミット(UL)、LOWERリミット(LL)を定めたときの領域を表す説明図である。
【図6】図1に示す実施形態1の肌色領域検出回路の構成例を示すブロック図である。
【図7】(a)〜(d)、それぞれ、図6に示すY信号リミッタ、U信号リミッタ、およびV信号リミッタから出力されたY’信号、U’信号、V’信号の波形と、それらの信号の論理積信号の一例を示す図である。
【図8】肌色領域検出回路が映像信号として取得する画像情報の一例を示す図である。
【図9】(a)〜(d)、それぞれ、図9に示す画像情報における人の顔、肌色領域、肌色領域の拡張、肌色拡張領域、肌色周辺領域の一例を示す説明図である。
【図10】重心からの3つの距離レベルにおける重み付け係数の一例を示す図である。
【図11】図1に示す実施形態1の積算回路の内部構成例を示すブロック図である。
【図12】図1に示す実施形態1の映像信号調整回路の内部構成例を示すブロック図である。
【図13】本発明に係る実施形態2の映像信号映像信号調整装置の構成例を示すブロック図である。
【図14】実施形態2の映像信号処理装置の動作を示すフローチャートである。
【図15】実施形態2により画像上に重畳して表示されるに肌色検出枠と背景色検出枠のOSD情報の一例を示す図である。
【図16】実施形態2における肌色自動補正欄のOSD情報の一例を示す図である。
【図17】実施形態2における背景色自動補正欄のOSD情報の一例を示す図である。
【発明を実施するための形態】
【0018】
本発明に係る映像信号調整装置および映像信号補正方法の実施形態について説明する前に、まず、心理補色が色相に与える影響について説明する。
【0019】
(心理補色の影響について)
例えば、肌色の背景色として、緑と赤の2種類があった場合、同じ肌色であっても、背景色が緑である場合には、その肌色が「赤」を帯びて見える。一方、背景色が赤である場合には、肌色が「緑」を帯びて見える。
【0020】
これは、色相対比によって起こる現象である。背景色が緑の場合は、緑の心理補色である赤紫の影響を受ける一方、背景色が赤の場合は、赤の心理補色である青緑の影響を受けるからである。
【0021】
図1は、心理補色の関係を対で並べた色相環の図である。
【0022】
この色相環において互いに心理補色の関係にある場合は、色相の変化は生じない。しかし、互いに心理補色の関係で無い場合、例えば、肌色に緑の背景や、肌色に赤の背景の場合は、それぞれ、図2、図3に示す矢印の方向に、肌色の色相が「赤みがかった肌色」や「緑がかった肌色」に変化して見える。
【0023】
また、彩度については、同じ肌色であっても、彩度の低い背景色上では、肌色の彩度が高められて見える。これに対し、彩度の高い背景色上では、肌色の彩度が低くなったように見える。これは、彩度対比によって起こる現象で、異なる彩度を持つ色の組み合わせがあった場合、互いの彩度の差を強調するように変化して見えるからである。
【0024】
そこで、本発明に係る映像信号調整装置および映像信号補正方法の実施形態では、上記のように心理補色の影響により、「赤みがかった肌色」や「緑がかった肌色」、または「彩度の高い肌色」や「彩度の低い肌色」等の色相対比や彩度対比が生じている場合、背景色または肌色のそれぞれの色相と彩度のうち少なくとも一方に対し、色相対比または彩度対比の影響を打ち消すように最適な色相と彩度とにシフトすることで、顔色等の肌色が悪く見えるシーンを回避するようにする。
【0025】
また、本発明に係る映像信号調整装置および映像信号補正方法の実施形態では、肌色の色相と彩度との変換については、顔が注目を集める映像や、シーンチェンジが短い間隔で起こる映像など、見ている者に違和感を与える可能性を考慮し、肌色ではなく、その背景色のみに色相または彩度の変換処理を行うことも可能にする。
【0026】
なお、本発明に係る映像信号調整装置および映像信号補正方法の実施形態は、肌色だけではなく、任意の色に対して、色相または彩度の対比現象を抑えたい色として、その色の情報を特定すれば、同じ手法を用いて色相または彩度対比の影響を打ち消すように最適な色相または彩度にシフトすることで、色変換を行うことができる。
【0027】
(実施形態1の映像信号調整装置および映像信号補正方法の説明)
次に、本発明に係る映像信号調整装置および映像信号補正方法の実施形態1について説明する。
【0028】
ここで、映像信号調整装置には、ディスプレイやモニタを備えた映像信号表示装置や、ディスプレイやモニタを備えず、ディスプレイやモニタを接続して映像を表示するハードディスクや、DVD、Blu−rayディスクを含む高画質記録メディアの記録・再生機器や、小型液晶表示装置が一体化、もしくは付属されているデジタルカメラ、カムコーダー等の撮像機器が含まれる。
【0029】
図4は、本発明に係る映像信号調整装置の実施形態1の構成例を示すブロック図である。
【0030】
図4に示すように、実施形態1の映像信号調整装置10は、肌色領域検出回路11と、肌色領域拡張回路12と、色相検出回路13と、積算回路14と、映像信号調整回路15と、第1遅延器16と、第2遅延器17とを備える。映像信号調整装置10は、TV信号等がデコードされた原色信号(RGB信号)や、パーソナルコンピュータ(PC)のRGB信号等の映像信号S1の、肌色または背景色を補正すなわち調整する。
【0031】
次に、映像信号調整装置10の動作を、簡単に説明する。
【0032】
まず、肌色領域検出回路11は、映像信号S1を受け取り、肌色の領域である肌色領域を示す肌色領域信号S2を、肌色領域拡張回路12へ出力する。映像信号S1は例えば、YUV信号、またはRGB信号である。
【0033】
肌色領域拡張回路12では、肌色への補色効果が及ぶ領域を得るため、肌色領域検出回路11から出力された肌色領域を示す肌色領域信号S2に基づいて肌色領域を含む肌色拡張領域を検出し、肌色領域と肌色拡張領域とより、肌色領域周辺の領域(以下、肌色周辺領域)を示す肌色周辺領域信号S3を色相検出回路13へ出力する。肌色拡張領域とは、肌色領域を含み、肌色領域よりも面積の大きい領域であれば良く、肌色領域を中心として肌色領域よりも拡張した領域を有したものでも良い。
【0034】
色相検出回路13では、肌色領域拡張回路12から出力された肌色周辺領域信号S3を受け取り、その肌色周辺領域信号S3に基づいて、映像信号S1の肌色周辺領域において主に肌色と特定の関係、すなわち補色関係、にある色相を検出する。そのため、色相検出回路13は、主に肌色との補色関係にある色相を検出できるように予め特定の検出すべき色相情報が設定ないしは記憶されている。
【0035】
ここで、この色相情報とは、中心となる色相と、その色相の幅を持つことが望ましい。また、色相を示す色空間としては、輝度情報を包含するRGB信号よりも、UV軸で色相情報を分離して扱えるYUV信号を用いることが望ましい。RGB信号からYUV信号への変換は、ITU−R BT.601規格に従う。ITU−R BT.601規格では、YUV信号と、RGB信号との関係が、下記に示す数式(1)で定められている。
【0036】
Y = 0.299×R + 0.587×G + 0.114×B
U =−0.168×R − 0.331×G + 0.500×B …(1)
V = 0.500×R − 0.419×G − 0.081×B
色相検出回路13は、予め設定等しておいた検出すべき色相情報に従い、色相情報の範囲内の色情報を検出した場合、検出信号S4を積算回路14へ出力する。すなわち色相検出回路13は、肌色周辺領域信号S3と映像信号S1とに基づいて、肌色周辺領域において、予め定めた主に肌色との補色関係にある色相情報を有する画素を検出した場合には、検出信号S4を積算回路14へ出力する。色相検出回路13は、複数の色相情報を設定し、各色相情報に該当する画素を検出することも可能である。その際、検出信号S4は、設定した色相情報の数(n)だけ積算回路14へ出力される(S41〜S4n)。
【0037】
積算回路14は、色相検出回路13によって検出された肌色周辺領域において特定の色相、本実施形態では肌色と捕色関係にある色相の画素数を積算するものである。具体的には、積算回路14は、色相検出回路13から出力された検出信号S4に基づいて肌色周辺領域における肌色と捕色関係にある所定の色相信号の有無と量的判定とを行う。例えば、検出信号S4が入力された回数にて肌色周辺領域内の所定の色相の画素数を1画面内で積算し、その画素数の積算値が所定の閾値を超えるか否かを判断する。そして、その画素数の積算値が所定の閾値を超えた場合、積算値信号S5を、映像信号調整回路15へ出力する。
【0038】
映像信号調整回路15は、肌色領域の肌色あるいは肌色周辺領域の所定の色相の映像信号を調整するものである。具体的には、映像信号調整回路15は、積算回路14から積算値信号S5が送られてくると、肌色領域の肌色あるいは肌色周辺領域の所定の色相の映像信号に対して色相の調整すなわち補正処理を行って、出力映像信号S6として出力する。この色相の調整処理は、1フレーム単位で行われる。映像信号調整回路15が肌色領域または肌色周辺領域のうちいずれの領域の映像信号を調整するかは、予め定めておけばよい。
【0039】
なお、映像信号調整回路15の出力形式は、YUV信号で上記色相の調整(補正)処理を行った場合、RGB信号に変換して、出力映像信号S6とする。また、映像信号調整装置10に入力する映像信号S1については、RGB信号だけでなく、YUV信号を扱う場合にも、同様に処理をする。この場合、最前段の肌色領域検出回路11では、RGB信号をYUV信号に変換する処理は必要とせず、最終段の映像信号調整回路15では、YUV信号をRGB信号に変換して出力映像信号S6として出力する。
【0040】
なお、本実施形態1では、色相検出回路13で設定する色相についても、設定する色相軸の数を限定しない。
【0041】
また、本実施形態1では、肌色領域検出回路11と肌色領域拡張回路12での処理を行う上での時間調整のために第1遅延器16を設けると共に、色相検出回路13と積算回路14での処理を行う上での時間調整のために第2遅延器17とを設けている。
【0042】
次に、図4の映像信号調整装置10を構成する各構成要素の詳細な構成および動作例について説明する。
【0043】
(肌色領域検出回路11の構成および動作の詳細)
肌色領域検出回路11は、前述の通り、入力された映像信号S1(YUV信号)から特定の肌色を示す肌色領域成分を検出して、この肌色領域成分を有する肌色領域を示す信号として肌色領域信号S2を出力する。この際、肌色領域検出回路11は、肌色を中心にある程度の色相の幅を設け、肌色近傍色を含めて検出している。
【0044】
つまり、肌色領域検出回路11は、肌色の近傍色を含めて検出する場合には、例えば、図5に示すように、Y軸、U軸、V軸の各々に、上限値(UL;UPPERリミット)と下限値(LL;LOWERリミット)である、Y軸上限値YUL,Y軸下限値YLL、U軸上限値UUL,U軸下限値ULL、V軸上限値VUL,V軸下限値VLLを定める。
【0045】
図6は、肌色領域検出回路11の構成例を示すブロック図である。
【0046】
図6において、肌色領域検出回路11は、RGB・YUV変換回路111と、Y信号リミッタ112と、U信号リミッタ113と、V信号リミッタ114とを有している。なお、映像信号S1としてYUV信号を入力する場合には、RGB・YUV変換回路111は、省略可能である。
【0047】
ここで、Y信号リミッタ112と、U信号リミッタ113と、V信号リミッタ114とは、それぞれ、リミット値x,yで定める領域をリミット関数LM(x,y)とすると、図6のブロック図に示すように、Y軸に対しLM(YLL,YUL)、U軸に対しLM(ULL,UUL)、V軸に対しLM(VLL,VUL)によりリミット処理を行う。つまり、Y、U、Vそれぞれの検出値に対し、Y、U、Vそれぞれ特定の閾値(リミット関数LM)と比較し、例えば、特定の閾値以上の場合は“1”を割り当てる一方、特定の閾値より小さい場合は“0”を割り当てて、それぞれ、Y’、U ’、V’として出力する。その結果、肌色領域検出回路11は、肌色と、リミット関数LM(x,y)によりその近傍の幅を持たせた肌色の近傍色を検出することができる。
【0048】
図7(a)〜(d)は、それぞれ、Y信号リミッタ112から出力されたY’信号の波形、U信号リミッタ113から出力されたU’信号の波形、およびV信号リミッタ114から出力されたV’信号の波形と、Y’信号とU’信号とV’信号との論理積信号の一例を示す図である。
【0049】
図7(d)に示すY’信号、U’信号、V’信号の論理積信号を、数式により表すと、次の数式(2)に示すようになる。
【0050】
LM(YLL,YUL)&LM(ULL,UUL)&LM(VLL,VUL) …(2)
なお、数式(2)において、“&”が論理積を示している。
【0051】
以上から肌色領域検出回路11では、特定の範囲内の肌色領域を検出することが可能になる。
【0052】
(肌色領域拡張回路12の詳細動作)
通常、映像信号において肌色を見る場合、人の顔色がその大半を占める。
【0053】
例えば、肌色領域検出回路11は、映像信号S1として、例えば、図8に示すような画像91を取得すると、まずは、輝度の検出や顔の特徴認識などによる公知の顔認識技術により、図9(a)に示すように人物の顔または顔の領域を検出する。次いで、肌色領域検出回路11は、図9(b)に示すように輝度や色相等から人物の顔の肌色領域Aを検出して、肌色領域信号S2として肌色領域拡張回路12へ出力する。
【0054】
肌色領域拡張回路12は、肌色領域検出回路11から肌色領域信号S2が入力されると、図9(c)に示すように肌色領域Aを所定範囲だけ拡張することにより、図9(d)に示すような肌色拡張領域Bを生成する。本実施形態では、肌色領域Aを中心として同心円状に領域を拡張した肌色拡張領域Bとした。
【0055】
ここで、肌色拡張領域B⊃肌色領域A、すなわち肌色拡張領域Bに肌色領域Aが含まれる。このため、肌色領域拡張回路12は、肌色拡張領域Bから肌色領域Aを減算することにより、図9(e)に示すような肌色周辺領域Cを得ることができる。
【0056】
次に、肌色領域拡張回路12における肌色周辺領域Cの検出例を、2つほど以下に挙げる。
【0057】
(肌色周辺領域Cの第1検出例)
第1検出例では、肌色領域拡張回路12において、図7(d)に示すY’信号、U’信号、V’信号の論理積信号“1“に対し、領域拡張のための処理として、LPF(Low Pass Filter)を施す方法である。
【0058】
このLPFの構成は様々なものが考えられるが、一例として、次のような手法を説明する。LPF処理により、通常U信号、V信号の値が極端に小さくなるため、LPF処理を行う前に重み付け処理を行う。
【0059】
つまり、肌色領域拡張回路12は、図7(d)に示すY’信号、U’信号、V’信号の論理積信号“1”に対し、重み付け係数M(Mは1より大きい)を乗算した後、LPF処理を行い、その後、閾値処理、すなわち特定の閾値より大きい場合“1”を割り当て、その他は“0”を割り当てて領域信号を得る。肌色領域拡張回路12は、これらの一連の処理によって、図9に示すような、肌色領域Aを拡張した肌色拡張領域Bを設定し、肌色拡張領域Bより肌色領域Aを除いた肌色周辺領域Cを示す肌色周辺領域信号S3を生成することができる。
【0060】
ここで、肌色領域Aを拡張して肌色拡張領域Bを設定するためには、LPFの次数を大きくする必要があり、水平および垂直方向に高次のLPFを施すことが望ましい。ただし、図8に示すような画像91から図9(b)に示すような顔を肌色領域Aとして検出した場合、その肌色領域Aの左右に隣接する領域には背景の画像、上方向に隣接する領域には髪の毛や帽子の画像、下方向に隣接する領域には衣服の画像などが存在する可能性が高い。このため肌色周辺領域Cのうち、肌色領域Aの上下方向(垂直方向)の領域に肌色と同じ色相の色があることはまれである。従って肌色周辺領域Cのうち、心理補色として肌色に影響を与えるのは、頬や額と水平方向に並んでいる領域、すなわち肌色領域Aの左右方向に隣接する背景領域に一定の色相の色が連続して存在するケースである。
【0061】
また、画面の垂直方向に、高次のLPFを施すことは、メモリ等のハードウェアを多く必要とする。
【0062】
このような理由から肌色領域拡張回路12は、領域拡張のためのLPFを、水平方向処理のみとして、垂直方向のLPF処理に必要なメモリを省略することも可能となる。
【0063】
肌色領域拡張回路12は、以上のような手法で肌色領域Aより肌色領域Aの周辺の領域となる肌色周辺領域Cを求め、肌色周辺領域Cを示す肌色周辺領域信号S3を、色相検出回路13へ出力する。
【0064】
(肌色周辺領域Cの第2検出例)
肌色領域拡張回路12は、肌色周辺領域信号S3を色相検出回路13へ出力し、色相検出回路13では肌色周辺領域信号S3を基に色相信号S41を算出する。その際、色相検出回路13は、色相信号S41に対し、肌色領域Aの重心からの距離に依存する重み付けを行うようにしても良い。なぜなら肌色周辺領域Cに心理補色が存在する場合でも、肌色周辺領域Cのうち肌色領域Aの最外周と接する領域に心理補色が存在する場合と肌色周辺領域Cの最外周付近の領域、すなわち肌色領域Aから最も離れた領域、に心理補色が存在する場合とでは心理補色が肌色領域Aに与える影響が異なる。肌色周辺領域Cのうち肌色領域Aにより近い領域ほど心理補色が肌色領域Aに与える影響は最も大きく、肌色領域Aからの距離が大きくなるにつれて影響は小さくなる。
【0065】
そのため、色相検出回路13は、肌色領域Aにおける重心を求め、重心から肌色領域Aと肌色周辺領域Cの境界(最外周)までいくつかのポイントを定めて、重心からの距離を算出する。そして、それらを閾値処理し、近距離a、中距離b、遠距離cとしてレベルを設け分類する。
【0066】
図10は、色相検出回路13が色相信号S41に対し重み付けを行う、肌色領域Aの重心からの距離に依存する重み付け係数の一例を示す図である。
【0067】
本実施形態では図10に示すように、重心からの距離が遠くなるにつれて、重み付け係数を小さくしている。すなわち近距離aの重み付け係数を最も大きく設定する。なお、ここでは例として、近距離a、中距離b、遠距離cという3つの距離における重み付け係数を設定したが、その他に、最も一般的な方法として、距離に対し一次関数等を用いて重み付け係数を算出する手法を使用して良い。いずれにおいても、重心からの距離が増すにつれ、重み付け係数が小さくなるという上記の特性を条件として満たしていれば、その方法は限定しない。また、重心からの距離については、水平および垂直方向に扱うことが望ましいが、肌色周辺領域Cの第1検出例にて説明したように、心理補色として肌色に影響を与える色は、頬や額等のように水平方向に並んでいる背景領域の場合が多いことから、水平方向のみの距離を選出し、重み付け係数を算出しても良い。
【0068】
肌色領域A、肌色拡張領域B、肌色周辺領域Cの検出方法は、上述したものに限定されず、周知の技術によって検出すればよい。例えば特開2008−15641号公報(発明の名称「人体領域抽出方法および装置並びにプログラム」)に記載の人体領域抽出方法を用いて肌色や顔の領域を抽出してもよい。
【0069】
(色相検出回路13の詳細動作)
色相検出回路13では、第1遅延器16を通過した映像信号S1に対して、肌色領域検出回路11と同様に必要あればRGB信号からYUV信号へ変換した後、主に肌色との補色関係にある色相を検出できるよう、予め特定の検出すべき色相情報(Y、U、V)を設定しておく。この色相情報は、肌色の色相範囲の抽出を行ったときと同様に、中心となる色相とその色相幅を持つことが望ましい。ここでは一例として、2種類の色相軸1、色相軸2を設定し、それぞれ色相の幅を持たせているが、設定する色相軸の数を制限するものではない。色相検出回路13では、肌色検出する処理と同様に、色相軸1、色相軸2において、おのおの図5のようにY軸、U軸、V軸それぞれに上限値(UL)、下限値(LL)を定め、図6にて説明したリミッタ処理を行う。
【0070】
色相検出回路13は、設定した色相情報を有する映像信号を検出すると、検出すべき色相を有する画素を検出したことを示す検出信号S4を積算回路14へ出力する。これによって、肌色周辺領域内に肌色との補色関係にあるY、U、Vの組み合わせが存在するか、存在しないかが判別可能となる。本実施形態では、色相検出回路13にて肌色周辺領域Cにおける所定の色相(補色)の画素を検出したが、肌色拡張領域Bより所定の色相の画素を検出してもよい。その際、肌色領域拡張回路12は肌色拡張領域Bを示す信号を色相検出回路13に供給すればよい。
【0071】
(積算回路14の詳細動作)
積算回路14では、色相検出回路13から検出信号S4が入力されると、検出信号S4を積算し、積算した検出信号S4に基づく積算値信号S5を映像信号調整回路15へ出力する。
【0072】
映像信号調整回路15は、積算回路14から積算値信号S5が入力されると、積算値信号S5に応じて、第1遅延器16および第2遅延器17を介し時間を調整して入力された映像信号S1の色相もしくは彩度のうち少なくとも一方の調整を行い、出力映像信号S6として出力する。
【0073】
図11は、積算回路14の構成例を示すブロック図である。
【0074】
図11において、積算回路14は、選択器141と、加算器142と、リミッタ143と、除算器144とを有している。
【0075】
積算回路14においては、例えば、選択器141が色相検出回路13からの検出信号S4を1画面内で積算した積算値を出力する。選択器141は、検出信号S4として“1”が入力されると、検出信号S4を加算器142へ出力する。なお、加算器142は、リセット信号Rの入力により、その積算結果をリセットする。
【0076】
検出信号S4が“1”の場合は、肌色周辺領域C内に特定の色相(肌色の補色)の画素が存在することを示している。
【0077】
加算器142では、検出信号S4を加算した値をリミッタ143に出力すると同時に、加算器142へ入力し、続いて入力される検出信号S4へ加算する。なお、加算結果は、一定以上の大きさに達すれば、それ以上は必要ないため、図11に示す積算回路14の一例においては、リミッタ143により制限を行う。こうして得た肌色周辺領域C内の所定の色相の画素数を示す積算値は、通常、除算器144により振幅が調整され、積算値信号S5として出力される。ここで、簡易的には、除算器144において、積算値信号S5を示すビット長の下位を切捨てることにより振幅を調整する。なお、加算器142における積算は、映像信号調整装置10に入力される映像信号S1あるいは映像信号調整装置10から出力される映像信号S6の1フレームに相当する単位で行う。そのため、加算器142を1フレーム毎に一旦“0”とリセットする必要があり、これをリセット信号Rによって行っている。
【0078】
なお、リセット信号Rは1フレーム毎に入力される必要はなく、演算に時間を要する構成の場合、複数フレームに一度入力されても良い。なぜなら、心理補色は心理的効果であり、1フレームの周期より長い認知周期を持っているからである。今回の例では、説明の便宜上、1フレーム単位としている。以上の処理により、積算回路14は、映像信号調整を行うための制御信号である積算値信号S5を生成して、映像信号調整回路15へ出力する。なお、複数の補色の色相軸を設定した際には、同様の回路によって各色相軸における積算値信号S5の生成を行う。
【0079】
(映像信号調整回路15の詳細構成および動作)
図12は、映像信号調整回路15の構成例を示すブロック図である。
【0080】
図12において、映像信号調整回路15は、補正量設定部151と、色相・彩度補正処理部152とを有している。補正量設定部151は、積算回路14から積算値信号S5が入力される。積算回路14において、色相軸1、色相軸2における積算値信号S51,S52が生成された場合には、積算値信号S51,S52が補正量設定部151に入力される。
【0081】
補正量設定部151では、色相軸毎に積算値に対する色相および彩度の補正量を予め設定してある。従って、補正量設定部151では、各色相軸1,2に対する積算値信号S51,S52が入力されると、その積算値信号S51,S52の大きさに応じて、色相と彩度の補正量信号である色相軸1の色相補正量信号S511、色相軸1の彩度補正量信号S512、色相軸2の色相補正量信号S521、色相軸2の彩度補正量信号S522を、色相・彩度補正処理部152へ出力する。ここで、この補正量設定部151では、実際の映像を見ながら調整を要するために、変更が容易なルックアップテーブルなどを利用するようにしても良い。
【0082】
色相・彩度補正処理部152では、入力映像信号S1の色相もしくは彩度の制御を行うため、入力映像信号S1のYUV信号に対し、色相軸ごとの色相と彩度を検出して、色相と彩度のうち少なくとも一方の補正処理を行う。本実施形態の色相・彩度補正処理部152は、RGB信号で入力映像信号S1が入力され、図示しないRGB・YUV変換回路にてRGB信号をYUV信号に変換する。
【0083】
ここで、本実施形態1の色相・彩度補正処理部152では、入力映像信号S1のうち肌色領域Aの肌色について、色相軸ごとの色相と彩度を検出して、色相と彩度のうち少なくとも一方の補正処理を行うことにより、肌色周辺領域Cの背景色による心理補色の影響により肌色領域Aの肌色が異なる色に見える現象を抑えるようにしても良いし、あるいは、入力映像信号S1のうち肌色周辺領域Cの背景色について、色相軸ごとの色相と彩度を検出して、色相と彩度のうち少なくとも一方の補正処理を行うことにより、背景色による心理補色の影響により肌色が異なる色に見える現象を抑えるようにしても良い。
【0084】
以上のように、肌色近傍色の検出によって肌色近傍色の肌色領域Aを検出すると共に、肌色領域Aを拡張して肌色領域Aを除いた肌色周辺領域Cを検出して、肌色周辺領域Cの背景色の影響により肌色領域Aの肌色ないしは肌色近傍色が異なる色に見える心理補色の問題を解決することができる。
【0085】
なお、この映像信号調整回路15の詳細は、例えば、特開2007−49341号公報(発明の名称「映像補正装置」)に記載されており、特に、図6に示されている色補正回路を参考とすればよい。この色補正回路は、本実施形態1において構成上必要な映像信号調整回路15と同様に、複数の色相軸で、それぞれ独立した色相と彩度を調整できるように構成されている。特開2007−49341号公報の図6に示す色補正回路における補正係数算出部3nに入力する色相2(p2)と、彩度sに相当するものが、本実施形態1の図12中の色相補正量信号S511、S521と、彩度補正量信号S512、S522であるため、これらを本発明の映像信号調整回路15が特開2007−49341号公報に記載された色補正装置と同様に処理することにより、色相、彩度を補正することができる。
【0086】
そして、映像信号調整回路15は、入力映像信号S1のYUV信号の色相と彩度を補正した結果として、補正後の映像信号である出力映像信号S6のY’U’V’信号が得られる。なお、映像信号調整回路15の出力形式については、上記処理を、YUV信号に対し行っていたので、Y’U’V’信号をRGB信号に図示しないRGB・YUV変換回路にてマトリクス変換して、R’G’B’信号からなる出力映像信号S6とする。
【0087】
以上説明したように、本実施形態1の映像信号調整装置10は、映像信号における肌色領域を所定の範囲だけ拡張して肌色領域周辺領域を検出し、肌色周辺領域において映像信号の肌色と特定の関係にある特定の色相を検出し、肌色と補色関係にある特定の色相の画素数を積算し、その画素数の積算値に基づいて、肌色領域あるいは肌色周辺領域の映像信号を調整する。これにより、映像における肌色周辺領域の背景色による心理補色の影響により肌色領域の肌色が異なる色に見える現象を効果的に抑えることができる。
【0088】
(実施形態2)
上記実施形態1では、肌色周辺領域の背景色の影響により肌色領域の肌色が異なる色に見える心理補色の問題を解決するため、肌色領域の肌色または肌色周辺領域の背景色の色相または彩度のうち少なくとも一方を自動的に調整するものとして説明したが、実施形態2の映像信号調整装置は、肌色領域の肌色または肌色周辺領域の背景色の映像信号の色相または彩度の調整結果をオンスクリーンディスプレイ(OSD)表示することにより、シミュレーションとして確認することができ、色相および彩度の補正レベルをユーザが調整できるようにしたものである。また、これらOSD表示によるシミュレーション結果を見て、ユーザが色相および彩度の補正処理をそれぞれ行うか、行わないかを判断することができるようにしたものである。
【0089】
(実施形態2の映像信号調整装置の構成)
図13は、実施形態2の映像信号調整装置の構成例を示すブロック図である。
【0090】
図13において、実施形態2の映像信号調整装置10Aは、図4に示した映像信号調整装置10に対し、新たにOSD表示回路18を設けたものであり、それ以外の構成は、図4の映像信号調整装置10と同じである。従って、図13において、図4の映像信号調整装置10と同じ構成要素には、同一符号を付して、その説明は省略する。
【0091】
OSD表示回路18は、次の図14に示す動作により、映像信号調整回路15による調整後の肌色領域の肌色あるいは肌色周辺領域の背景色の映像信号と、調整前の肌色領域の肌色あるいは肌色周辺領域の背景色の映像信号とをOSD表示すると共に、調整を行うか否かを選択させるためのON/OFFボタン等をOSD表示するものである。OSD表示回路18は、肌色領域検出回路11から肌色領域信号S2を受け取り、肌色領域拡張回路12より肌色周辺領域信号S3を受け取り、それぞれに基づいてOSD表示を行う。
【0092】
(実施形態2の映像信号調整装置の動作)
次に、映像信号調整装置10Aの動作について説明する。
【0093】
図14は、映像信号調整装置10Aの動作を示すフローチャートである。
【0094】
まず、映像信号調整装置10Aでは、実施形態1と同様に、映像信号を取得し(ステップS1600)、続いて肌色領域Aまたは肌色周辺領域Cの認識を行う(ステップS1610)。
【0095】
次に、OSD表示回路18は、OSD重畳処理により、例えば、図15に示すように、表示画像91上に肌色領域Aを示す肌色検出枠171と肌色周辺領域Cを示す背景色検出枠172をOSD表示して、表示画像91におけるマーキング処理を行う(ステップS1620)。
【0096】
図15は、映像信号調整装置10Aにより画像上に重畳して表示されるOSD情報の一例を示している。実施形態2では、肌色領域拡張回路12は既述した理由により肌色領域Aに対して水平方向に拡張された周辺領域を肌色周辺領域Cとした。
【0097】
次に、OSD表示回路18では、その画像91の上に、後述する図16に示すような肌色自動補正欄180のOSD情報や、図17に示すような背景色自動補正欄190のOSD情報を表示して、その肌色自動補正欄180や背景色自動補正欄190のOSD情報に、補正前の肌色または背景色をOSD表示する(ステップS1630)。なお、映像信号調整回路15が調整する領域(肌色領域または肌色周辺領域)に対応して、肌色自動補正欄180または背景色自動補正欄190のいずれか一方のOSD情報が表示されれば良い。OSD情報は、画像91の一部または全体に重畳して表示される。
【0098】
図16は、映像信号調整回路15が肌色領域の肌色を調整する際に、ステップS1630の処理により表示される肌色自動補正欄180のOSD情報の一例を示している。
【0099】
肌色自動補正欄180のOSD情報には、図16に示すように、肌色自動補正を選択するためのON/OFFボタン181と、肌色の色相および彩度を手動調整するための色相調整バー182と、彩度調整バー183と、肌色を自動または手動調整した際の処理前と処理後の状態が表示される処理前ウインドウ184と、処理後ウインドウ185との画像が含まれる。
【0100】
そのため、肌色を調整する場合には、このステップS1630の処理により、肌色自動補正欄180の処理前ウインドウ184に、補正前の肌色が表示されることになる。なお、ステップS1630では映像信号調整回路15による調整が行われていないため、処理後ウインドウ185に何も表示されていない、または処理後ウインドウ185が表示されていない、肌色自動補正欄180を表示すればよい。
【0101】
図17は、映像信号調整回路15が肌色周辺領域の所定の色相を調整する際に、ステップS1630の処理により表示される背景色自動補正欄190のOSD情報の一例を示している。本実施形態では、色相検出回路13が検出した肌色周辺領域に含まれる所定の色相を映像信号調整回路15が調整する背景色とする。
【0102】
図17に示す背景色自動補正欄190のOSD情報でも、図16に示す肌色自動補正欄180のOSD情報と同様に、背景色自動補正を選択するためのON/OFFボタン191と、背景色の色相および彩度を手動調整するための色相調整バー192と、彩度調整バー193と、背景色を自動または手動調整した際の処理前と処理後の状態が表示される処理前ウインドウ194と、処理後ウインドウ195との画像が含まれる。
【0103】
そのため、背景色を調整する場合には、このステップS1630の処理により、背景色自動補正欄190の処理前ウインドウ194に、補正前の背景色が表示されることになる。
【0104】
ここで、映像信号調整装置10Aは、前述の実施形態1の映像信号調整装置10と同様に、肌色領域Aにおける肌色または肌色周辺領域Cにおける背景色の調整すなわち補正処理を実行する(ステップS1640)。
【0105】
次に、OSD表示回路18は、肌色自動補正欄180のOSD情報における処理後ウインドウ185、または背景色自動補正欄190のOSD情報における処理後ウインドウ195に、補正後の肌色または背景色をOSD重畳表示する(ステップS1650)。OSD表示回路18は、肌色自動補正欄180のOSD情報では、処理前ウインドウ184に補正前の肌色、処理後ウインドウ185に補正後の肌色を表示させる。背景色自動補正欄190のOSD情報では、処理前ウインドウ194および処理後ウインドウ195には、処理前および処理後の背景色がOSD重畳表示される。
【0106】
その際、映像信号調整装置10Aでは、ユーザが、図16に示す肌色自動補正欄180のOSD情報における色相調整バー182および彩度調整バー183や、図17に示す背景色自動補正欄190のOSD情報における色相調整バー192および彩度調整バー193を手動操作して、ユーザは、処理前および処理後の肌色または背景色を参照して、ステップS1640の処理により補正された肌色や背景色における色相や彩度を、さらに手動で調整するようにしても良い(ステップS1660)。なお、このステップS1660の処理は、ユーザによる手動操作の処理なので、必要なければ、省略しても良いし、ステップS1650の前に行うようにしても良い。
【0107】
ユーザは、処理後ウインドウ185または処理後ウインドウ195に表示された補正後の色を確認し、肌色自動補正欄180のOSD情報におけるON/OFFボタン181、または背景色自動補正欄190のOSD情報におけるON/OFFボタン191において手動調整したように映像調整を行うか(ON)否か(OFF)を選択できる。映像信号調整装置10Aは、このユーザによる選択操作を受け付ける(ステップS1670)。映像信号調整装置10Aは、ステップS1670においてONが選択されたか否かを判断する(ステップS1680)。ユーザによる選択操作を示す信号は、OSD表示回路18または映像信号調整回路15が受け取ればよい。OSD表示回路18が選択操作を示す信号を受信する場合は、OSD表示回路18より映像信号調整回路15に選択操作を示す信号を供給すればよく、映像信号調整回路15は選択操作を示す信号を基にステップS1670以降のステップを処理する。
【0108】
ONが選択された場合(ステップS1680“YES”)、映像信号調整装置10Aの映像信号調整回路15は、実施形態1の映像信号調整回路15と同様に、画像91における肌色領域Aの肌色または肌色周辺領域Cの背景色に対し補正処理を実行する(ステップS1690)。
【0109】
これに対し、OFFが選択された場合(ステップS1680“NO”)、映像信号調整回路15は、肌色または背景色の調整処理をリセットする(ステップS1700)。
【0110】
以上説明したように、本実施形態2の映像信号調整装置10Aでは、実施形態1と同様の調整処理による肌色領域の肌色または肌色周辺領域の背景色の調整結果を表示画像に対し適用する前に、表示画像の上にOSD表示する。これにより、ユーザは、そのOSD表示を参照することにより、表示画像における肌色または背景色の調整結果をシミュレーション結果として事前に確認することができる。この結果、ユーザは、これらOSD表示によるシミュレーション結果を見てから肌色または背景色の補正処理をそれぞれ行うか、行わないかを判断することが可能となり、ユーザにとって利便性が向上する。
【0111】
なお、上記実施形態1,2の説明では、図4および図13に示すように、映像信号調整装置10,10Aをハードウェアにより構成して説明したが、本発明では、これに限らず、CPUがプログラムを実行することによりソフトウェア的に図4および図13に示す映像信号調整装置10,10Aの機能を実行するように構成しても勿論よい。
【0112】
実施形態1、2において、肌色検出に限定して説明したが、本発明の映像信号調整装置は肌色の映像を検出し、肌色領域あるいはその近傍領域の映像を調整することに限られるものではない。肌色領域検出回路11に代わり所定の色の領域を検出する回路を設け、色相検出回路13において、所定の色と補色関係にある色の色相を検出することで、所定の色についても同様に調整が行えるものである。
【0113】
また、肌色領域検出回路11にて複数の肌色を検出してもよい。肌色領域拡張回路12は検出された肌色領域毎に肌色拡張領域を設定して肌色周辺領域を得て、色相検出回路13にて、各肌色に対する補色を検出すればよい。あるいは、肌色領域検出回路11及び肌色領域拡張回路12を一組とした回路を、検出したい色数と同数の組だけ設けることでも複数の肌色を検出できる。また同様の構成にて複数の異なる色の領域及びその周辺領域を検出することも可能となる。更に、複数の人物が映像に含まれる場合は、肌色領域検出回路11は映像に含まれる複数の肌色領域を検出すればよい。
【符号の説明】
【0114】
11 肌色領域検出回路(肌色領域検出部)
12 肌色領域拡張回路(周辺領域検出部)
13 色相検出回路(色相検出部)
14 積算回路(積算部)
15 映像信号調整回路(映像信号調整部)
16,17 遅延器
18 OSD表示回路(OSD表示部)
【技術分野】
【0001】
本発明は、映像信号を調整する映像信号調整装置および映像信号調整方法に関する。
【背景技術】
【0002】
デジタル放送の視聴エリア拡大と、デジタル対応受像機、およびブルーレイ(登録商標)等の高画質記録メディアの急速な普及により、一般家庭における高精細、高画質視聴環境が整備されつつある。これに伴い、ディスプレイに対するユーザの色調整機能への要求がいっそう高まってきている。
【0003】
液晶表示装置は、独自の色再現範囲を持ち、映像撮影の色再現範囲とは一致しないことから、双方の色相を調整する色調整回路を持つものが一般的である。この色調整回路では、肌色や特徴的な色に対し補正するといった、複数の色変換を行うものが多い。
【0004】
そこで、従来、画像全体の中で、一番多く使われている支配色を検出して、その支配色の補色に対して、彩度、輝度を調節することにより、従来の色補正にさらに色覚的効果を加えることにより、色のコントラストを強調して、ユーザに実際の色再現性以上に良好な印象の映像を得る画像補正装置および方法がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−278227号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、このような色調整回路を持つものであっても、液晶表示装置の大画面化に伴い、心理補色により、特に、肌色への心理的な色相変化が生じている。例えば、人の顔の直近の周囲に、肌色の補色成分を有し彩度の高い均一な背景色が存在する場合、その背景色に順応して負の残像(背景色による心理補色)が現れ、それが肌色と混色することで色相が変化して見える。これにより人の顔色がくすんでしまうなどの現象が生じることがある。
【0007】
本発明は上記に鑑みてなされたもので、心理補色の影響により映像における肌色が異なる色に見える現象を効果的に抑えることができる映像信号調整装置および映像信号調整方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の映像信号調整装置の第1の特徴は、映像信号における肌色領域を検出する肌色領域検出部(11)と、前記肌色領域検出部によって検出された前記肌色領域の周辺領域である肌色周辺領域を検出する周辺領域検出部(12)と、前記肌色周辺領域において、所定の色相の画素を検出する色相検出部(13)と、前記色相検出部によって検出された前記所定の色相の画素数を積算する積算部(14)と、前記積算部によって積算された前記所定の色相の画素数が所定の閾値を超えた場合、前記肌色領域の肌色あるいは前記肌色周辺領域における前記所定の色相の少なくとも一方の映像信号を調整する映像信号調整部(15)と、を有することにある。
【0009】
また、本発明の映像信号調整装置の第2の特徴は、前記色相検出部(13)は、前記所定の色相として、前記映像信号の肌色と補色関係にある色相を検出する、ことにある。
【0010】
また、本発明の映像信号調整装置の第3の特徴は、前記映像信号調整部(15)は、前記肌色領域の肌色あるいは前記肌色周辺領域の前記所定の色相の映像信号の色相と彩度とのうち少なくとも一方を調整する、ことにある。
【0011】
また、本発明の映像信号調整装置の第4の特徴は、前記肌色領域検出部(11)によって検出された前記肌色領域の映像信号と前記映像信号調整部(15)によって調整された前記肌色領域の映像信号、または前記周辺領域検出部(12)によって検出された前記肌色周辺領域の映像信号と前記映像信号調整部(15)によって調整された前記肌色周辺領域の映像信号のいずれか一方を、前記映像信号調整部(15)が調整した領域に対応して表示させ、前記映像信号調整部(15)による映像信号の調整を施すか否かを選択するボタンを表示させるOSD表示部(18)をさらに有し、前記映像信号調整部(15)による映像信号の調整を施すことが選択されると前記映像信号調整部(15)の調整を実行する、ことにある。
【0012】
また、本発明の映像信号調整方法の第1の特徴は、映像信号における肌色領域を検出するステップと、前記肌色領域の周辺領域である肌色周辺領域を検出するステップと、前記肌色周辺領域において、所定の色相の画素を検出するステップと、前記所定の色相の画素数を積算するステップと、前記所定の色相の画素数が所定の閾値を超えた場合、前記肌色領域の肌色あるいは前記肌色周辺領域における前記所定の色相の少なくとも一方の映像信号を調整するステップと、を有することにある。
【0013】
また、本発明の映像信号調整方法の第2の特徴は、前記所定の色相の画素を検出するステップにおいて、前記所定の色相として、前記映像信号の肌色と補色関係にある色相を検出する、ことにある。
【0014】
また、本発明の映像信号調整方法の第3の特徴は、前記映像信号を調整するステップにおいて、前記肌色領域の肌色あるいは前記肌色周辺領域の前記所定の色相の映像信号の色相と彩度とのうち少なくとも一方を調整する、ことにある。
【0015】
また、本発明の映像信号調整方法の第4の特徴は、前記肌色領域の映像信号と前記映像信号を調整するステップで調整された前記肌色領域の映像信号、または前記肌色周辺領域の映像信号と前記映像信号を調整するステップで調整された前記肌色周辺領域の映像信号のいずれか一方を、前記映像信号を調整するステップで調整された領域に対応してOSD表示し、映像信号の調整を施すか否かを選択するボタンをOSD表示するステップと、映像信号の調整を施すことが選択されると調整を実行するステップとをさらに有する、ことにある。
【発明の効果】
【0016】
本発明によれば、心理補色の影響により映像における肌色が異なる色に見える現象を効果的に抑えることができる。
【図面の簡単な説明】
【0017】
【図1】心理補色を示す色相環の一例を示す図である。
【図2】背景色が緑の場合の肌色の色相変化を示す図である。
【図3】背景色が赤の場合の肌色の色相変化を示す図である。
【図4】本発明に係る実施形態1の映像信号映像信号調整装置の構成例を示すブロック図である。
【図5】本発明の実施形態1のY軸、U軸、V軸おのおのにUPPERリミット(UL)、LOWERリミット(LL)を定めたときの領域を表す説明図である。
【図6】図1に示す実施形態1の肌色領域検出回路の構成例を示すブロック図である。
【図7】(a)〜(d)、それぞれ、図6に示すY信号リミッタ、U信号リミッタ、およびV信号リミッタから出力されたY’信号、U’信号、V’信号の波形と、それらの信号の論理積信号の一例を示す図である。
【図8】肌色領域検出回路が映像信号として取得する画像情報の一例を示す図である。
【図9】(a)〜(d)、それぞれ、図9に示す画像情報における人の顔、肌色領域、肌色領域の拡張、肌色拡張領域、肌色周辺領域の一例を示す説明図である。
【図10】重心からの3つの距離レベルにおける重み付け係数の一例を示す図である。
【図11】図1に示す実施形態1の積算回路の内部構成例を示すブロック図である。
【図12】図1に示す実施形態1の映像信号調整回路の内部構成例を示すブロック図である。
【図13】本発明に係る実施形態2の映像信号映像信号調整装置の構成例を示すブロック図である。
【図14】実施形態2の映像信号処理装置の動作を示すフローチャートである。
【図15】実施形態2により画像上に重畳して表示されるに肌色検出枠と背景色検出枠のOSD情報の一例を示す図である。
【図16】実施形態2における肌色自動補正欄のOSD情報の一例を示す図である。
【図17】実施形態2における背景色自動補正欄のOSD情報の一例を示す図である。
【発明を実施するための形態】
【0018】
本発明に係る映像信号調整装置および映像信号補正方法の実施形態について説明する前に、まず、心理補色が色相に与える影響について説明する。
【0019】
(心理補色の影響について)
例えば、肌色の背景色として、緑と赤の2種類があった場合、同じ肌色であっても、背景色が緑である場合には、その肌色が「赤」を帯びて見える。一方、背景色が赤である場合には、肌色が「緑」を帯びて見える。
【0020】
これは、色相対比によって起こる現象である。背景色が緑の場合は、緑の心理補色である赤紫の影響を受ける一方、背景色が赤の場合は、赤の心理補色である青緑の影響を受けるからである。
【0021】
図1は、心理補色の関係を対で並べた色相環の図である。
【0022】
この色相環において互いに心理補色の関係にある場合は、色相の変化は生じない。しかし、互いに心理補色の関係で無い場合、例えば、肌色に緑の背景や、肌色に赤の背景の場合は、それぞれ、図2、図3に示す矢印の方向に、肌色の色相が「赤みがかった肌色」や「緑がかった肌色」に変化して見える。
【0023】
また、彩度については、同じ肌色であっても、彩度の低い背景色上では、肌色の彩度が高められて見える。これに対し、彩度の高い背景色上では、肌色の彩度が低くなったように見える。これは、彩度対比によって起こる現象で、異なる彩度を持つ色の組み合わせがあった場合、互いの彩度の差を強調するように変化して見えるからである。
【0024】
そこで、本発明に係る映像信号調整装置および映像信号補正方法の実施形態では、上記のように心理補色の影響により、「赤みがかった肌色」や「緑がかった肌色」、または「彩度の高い肌色」や「彩度の低い肌色」等の色相対比や彩度対比が生じている場合、背景色または肌色のそれぞれの色相と彩度のうち少なくとも一方に対し、色相対比または彩度対比の影響を打ち消すように最適な色相と彩度とにシフトすることで、顔色等の肌色が悪く見えるシーンを回避するようにする。
【0025】
また、本発明に係る映像信号調整装置および映像信号補正方法の実施形態では、肌色の色相と彩度との変換については、顔が注目を集める映像や、シーンチェンジが短い間隔で起こる映像など、見ている者に違和感を与える可能性を考慮し、肌色ではなく、その背景色のみに色相または彩度の変換処理を行うことも可能にする。
【0026】
なお、本発明に係る映像信号調整装置および映像信号補正方法の実施形態は、肌色だけではなく、任意の色に対して、色相または彩度の対比現象を抑えたい色として、その色の情報を特定すれば、同じ手法を用いて色相または彩度対比の影響を打ち消すように最適な色相または彩度にシフトすることで、色変換を行うことができる。
【0027】
(実施形態1の映像信号調整装置および映像信号補正方法の説明)
次に、本発明に係る映像信号調整装置および映像信号補正方法の実施形態1について説明する。
【0028】
ここで、映像信号調整装置には、ディスプレイやモニタを備えた映像信号表示装置や、ディスプレイやモニタを備えず、ディスプレイやモニタを接続して映像を表示するハードディスクや、DVD、Blu−rayディスクを含む高画質記録メディアの記録・再生機器や、小型液晶表示装置が一体化、もしくは付属されているデジタルカメラ、カムコーダー等の撮像機器が含まれる。
【0029】
図4は、本発明に係る映像信号調整装置の実施形態1の構成例を示すブロック図である。
【0030】
図4に示すように、実施形態1の映像信号調整装置10は、肌色領域検出回路11と、肌色領域拡張回路12と、色相検出回路13と、積算回路14と、映像信号調整回路15と、第1遅延器16と、第2遅延器17とを備える。映像信号調整装置10は、TV信号等がデコードされた原色信号(RGB信号)や、パーソナルコンピュータ(PC)のRGB信号等の映像信号S1の、肌色または背景色を補正すなわち調整する。
【0031】
次に、映像信号調整装置10の動作を、簡単に説明する。
【0032】
まず、肌色領域検出回路11は、映像信号S1を受け取り、肌色の領域である肌色領域を示す肌色領域信号S2を、肌色領域拡張回路12へ出力する。映像信号S1は例えば、YUV信号、またはRGB信号である。
【0033】
肌色領域拡張回路12では、肌色への補色効果が及ぶ領域を得るため、肌色領域検出回路11から出力された肌色領域を示す肌色領域信号S2に基づいて肌色領域を含む肌色拡張領域を検出し、肌色領域と肌色拡張領域とより、肌色領域周辺の領域(以下、肌色周辺領域)を示す肌色周辺領域信号S3を色相検出回路13へ出力する。肌色拡張領域とは、肌色領域を含み、肌色領域よりも面積の大きい領域であれば良く、肌色領域を中心として肌色領域よりも拡張した領域を有したものでも良い。
【0034】
色相検出回路13では、肌色領域拡張回路12から出力された肌色周辺領域信号S3を受け取り、その肌色周辺領域信号S3に基づいて、映像信号S1の肌色周辺領域において主に肌色と特定の関係、すなわち補色関係、にある色相を検出する。そのため、色相検出回路13は、主に肌色との補色関係にある色相を検出できるように予め特定の検出すべき色相情報が設定ないしは記憶されている。
【0035】
ここで、この色相情報とは、中心となる色相と、その色相の幅を持つことが望ましい。また、色相を示す色空間としては、輝度情報を包含するRGB信号よりも、UV軸で色相情報を分離して扱えるYUV信号を用いることが望ましい。RGB信号からYUV信号への変換は、ITU−R BT.601規格に従う。ITU−R BT.601規格では、YUV信号と、RGB信号との関係が、下記に示す数式(1)で定められている。
【0036】
Y = 0.299×R + 0.587×G + 0.114×B
U =−0.168×R − 0.331×G + 0.500×B …(1)
V = 0.500×R − 0.419×G − 0.081×B
色相検出回路13は、予め設定等しておいた検出すべき色相情報に従い、色相情報の範囲内の色情報を検出した場合、検出信号S4を積算回路14へ出力する。すなわち色相検出回路13は、肌色周辺領域信号S3と映像信号S1とに基づいて、肌色周辺領域において、予め定めた主に肌色との補色関係にある色相情報を有する画素を検出した場合には、検出信号S4を積算回路14へ出力する。色相検出回路13は、複数の色相情報を設定し、各色相情報に該当する画素を検出することも可能である。その際、検出信号S4は、設定した色相情報の数(n)だけ積算回路14へ出力される(S41〜S4n)。
【0037】
積算回路14は、色相検出回路13によって検出された肌色周辺領域において特定の色相、本実施形態では肌色と捕色関係にある色相の画素数を積算するものである。具体的には、積算回路14は、色相検出回路13から出力された検出信号S4に基づいて肌色周辺領域における肌色と捕色関係にある所定の色相信号の有無と量的判定とを行う。例えば、検出信号S4が入力された回数にて肌色周辺領域内の所定の色相の画素数を1画面内で積算し、その画素数の積算値が所定の閾値を超えるか否かを判断する。そして、その画素数の積算値が所定の閾値を超えた場合、積算値信号S5を、映像信号調整回路15へ出力する。
【0038】
映像信号調整回路15は、肌色領域の肌色あるいは肌色周辺領域の所定の色相の映像信号を調整するものである。具体的には、映像信号調整回路15は、積算回路14から積算値信号S5が送られてくると、肌色領域の肌色あるいは肌色周辺領域の所定の色相の映像信号に対して色相の調整すなわち補正処理を行って、出力映像信号S6として出力する。この色相の調整処理は、1フレーム単位で行われる。映像信号調整回路15が肌色領域または肌色周辺領域のうちいずれの領域の映像信号を調整するかは、予め定めておけばよい。
【0039】
なお、映像信号調整回路15の出力形式は、YUV信号で上記色相の調整(補正)処理を行った場合、RGB信号に変換して、出力映像信号S6とする。また、映像信号調整装置10に入力する映像信号S1については、RGB信号だけでなく、YUV信号を扱う場合にも、同様に処理をする。この場合、最前段の肌色領域検出回路11では、RGB信号をYUV信号に変換する処理は必要とせず、最終段の映像信号調整回路15では、YUV信号をRGB信号に変換して出力映像信号S6として出力する。
【0040】
なお、本実施形態1では、色相検出回路13で設定する色相についても、設定する色相軸の数を限定しない。
【0041】
また、本実施形態1では、肌色領域検出回路11と肌色領域拡張回路12での処理を行う上での時間調整のために第1遅延器16を設けると共に、色相検出回路13と積算回路14での処理を行う上での時間調整のために第2遅延器17とを設けている。
【0042】
次に、図4の映像信号調整装置10を構成する各構成要素の詳細な構成および動作例について説明する。
【0043】
(肌色領域検出回路11の構成および動作の詳細)
肌色領域検出回路11は、前述の通り、入力された映像信号S1(YUV信号)から特定の肌色を示す肌色領域成分を検出して、この肌色領域成分を有する肌色領域を示す信号として肌色領域信号S2を出力する。この際、肌色領域検出回路11は、肌色を中心にある程度の色相の幅を設け、肌色近傍色を含めて検出している。
【0044】
つまり、肌色領域検出回路11は、肌色の近傍色を含めて検出する場合には、例えば、図5に示すように、Y軸、U軸、V軸の各々に、上限値(UL;UPPERリミット)と下限値(LL;LOWERリミット)である、Y軸上限値YUL,Y軸下限値YLL、U軸上限値UUL,U軸下限値ULL、V軸上限値VUL,V軸下限値VLLを定める。
【0045】
図6は、肌色領域検出回路11の構成例を示すブロック図である。
【0046】
図6において、肌色領域検出回路11は、RGB・YUV変換回路111と、Y信号リミッタ112と、U信号リミッタ113と、V信号リミッタ114とを有している。なお、映像信号S1としてYUV信号を入力する場合には、RGB・YUV変換回路111は、省略可能である。
【0047】
ここで、Y信号リミッタ112と、U信号リミッタ113と、V信号リミッタ114とは、それぞれ、リミット値x,yで定める領域をリミット関数LM(x,y)とすると、図6のブロック図に示すように、Y軸に対しLM(YLL,YUL)、U軸に対しLM(ULL,UUL)、V軸に対しLM(VLL,VUL)によりリミット処理を行う。つまり、Y、U、Vそれぞれの検出値に対し、Y、U、Vそれぞれ特定の閾値(リミット関数LM)と比較し、例えば、特定の閾値以上の場合は“1”を割り当てる一方、特定の閾値より小さい場合は“0”を割り当てて、それぞれ、Y’、U ’、V’として出力する。その結果、肌色領域検出回路11は、肌色と、リミット関数LM(x,y)によりその近傍の幅を持たせた肌色の近傍色を検出することができる。
【0048】
図7(a)〜(d)は、それぞれ、Y信号リミッタ112から出力されたY’信号の波形、U信号リミッタ113から出力されたU’信号の波形、およびV信号リミッタ114から出力されたV’信号の波形と、Y’信号とU’信号とV’信号との論理積信号の一例を示す図である。
【0049】
図7(d)に示すY’信号、U’信号、V’信号の論理積信号を、数式により表すと、次の数式(2)に示すようになる。
【0050】
LM(YLL,YUL)&LM(ULL,UUL)&LM(VLL,VUL) …(2)
なお、数式(2)において、“&”が論理積を示している。
【0051】
以上から肌色領域検出回路11では、特定の範囲内の肌色領域を検出することが可能になる。
【0052】
(肌色領域拡張回路12の詳細動作)
通常、映像信号において肌色を見る場合、人の顔色がその大半を占める。
【0053】
例えば、肌色領域検出回路11は、映像信号S1として、例えば、図8に示すような画像91を取得すると、まずは、輝度の検出や顔の特徴認識などによる公知の顔認識技術により、図9(a)に示すように人物の顔または顔の領域を検出する。次いで、肌色領域検出回路11は、図9(b)に示すように輝度や色相等から人物の顔の肌色領域Aを検出して、肌色領域信号S2として肌色領域拡張回路12へ出力する。
【0054】
肌色領域拡張回路12は、肌色領域検出回路11から肌色領域信号S2が入力されると、図9(c)に示すように肌色領域Aを所定範囲だけ拡張することにより、図9(d)に示すような肌色拡張領域Bを生成する。本実施形態では、肌色領域Aを中心として同心円状に領域を拡張した肌色拡張領域Bとした。
【0055】
ここで、肌色拡張領域B⊃肌色領域A、すなわち肌色拡張領域Bに肌色領域Aが含まれる。このため、肌色領域拡張回路12は、肌色拡張領域Bから肌色領域Aを減算することにより、図9(e)に示すような肌色周辺領域Cを得ることができる。
【0056】
次に、肌色領域拡張回路12における肌色周辺領域Cの検出例を、2つほど以下に挙げる。
【0057】
(肌色周辺領域Cの第1検出例)
第1検出例では、肌色領域拡張回路12において、図7(d)に示すY’信号、U’信号、V’信号の論理積信号“1“に対し、領域拡張のための処理として、LPF(Low Pass Filter)を施す方法である。
【0058】
このLPFの構成は様々なものが考えられるが、一例として、次のような手法を説明する。LPF処理により、通常U信号、V信号の値が極端に小さくなるため、LPF処理を行う前に重み付け処理を行う。
【0059】
つまり、肌色領域拡張回路12は、図7(d)に示すY’信号、U’信号、V’信号の論理積信号“1”に対し、重み付け係数M(Mは1より大きい)を乗算した後、LPF処理を行い、その後、閾値処理、すなわち特定の閾値より大きい場合“1”を割り当て、その他は“0”を割り当てて領域信号を得る。肌色領域拡張回路12は、これらの一連の処理によって、図9に示すような、肌色領域Aを拡張した肌色拡張領域Bを設定し、肌色拡張領域Bより肌色領域Aを除いた肌色周辺領域Cを示す肌色周辺領域信号S3を生成することができる。
【0060】
ここで、肌色領域Aを拡張して肌色拡張領域Bを設定するためには、LPFの次数を大きくする必要があり、水平および垂直方向に高次のLPFを施すことが望ましい。ただし、図8に示すような画像91から図9(b)に示すような顔を肌色領域Aとして検出した場合、その肌色領域Aの左右に隣接する領域には背景の画像、上方向に隣接する領域には髪の毛や帽子の画像、下方向に隣接する領域には衣服の画像などが存在する可能性が高い。このため肌色周辺領域Cのうち、肌色領域Aの上下方向(垂直方向)の領域に肌色と同じ色相の色があることはまれである。従って肌色周辺領域Cのうち、心理補色として肌色に影響を与えるのは、頬や額と水平方向に並んでいる領域、すなわち肌色領域Aの左右方向に隣接する背景領域に一定の色相の色が連続して存在するケースである。
【0061】
また、画面の垂直方向に、高次のLPFを施すことは、メモリ等のハードウェアを多く必要とする。
【0062】
このような理由から肌色領域拡張回路12は、領域拡張のためのLPFを、水平方向処理のみとして、垂直方向のLPF処理に必要なメモリを省略することも可能となる。
【0063】
肌色領域拡張回路12は、以上のような手法で肌色領域Aより肌色領域Aの周辺の領域となる肌色周辺領域Cを求め、肌色周辺領域Cを示す肌色周辺領域信号S3を、色相検出回路13へ出力する。
【0064】
(肌色周辺領域Cの第2検出例)
肌色領域拡張回路12は、肌色周辺領域信号S3を色相検出回路13へ出力し、色相検出回路13では肌色周辺領域信号S3を基に色相信号S41を算出する。その際、色相検出回路13は、色相信号S41に対し、肌色領域Aの重心からの距離に依存する重み付けを行うようにしても良い。なぜなら肌色周辺領域Cに心理補色が存在する場合でも、肌色周辺領域Cのうち肌色領域Aの最外周と接する領域に心理補色が存在する場合と肌色周辺領域Cの最外周付近の領域、すなわち肌色領域Aから最も離れた領域、に心理補色が存在する場合とでは心理補色が肌色領域Aに与える影響が異なる。肌色周辺領域Cのうち肌色領域Aにより近い領域ほど心理補色が肌色領域Aに与える影響は最も大きく、肌色領域Aからの距離が大きくなるにつれて影響は小さくなる。
【0065】
そのため、色相検出回路13は、肌色領域Aにおける重心を求め、重心から肌色領域Aと肌色周辺領域Cの境界(最外周)までいくつかのポイントを定めて、重心からの距離を算出する。そして、それらを閾値処理し、近距離a、中距離b、遠距離cとしてレベルを設け分類する。
【0066】
図10は、色相検出回路13が色相信号S41に対し重み付けを行う、肌色領域Aの重心からの距離に依存する重み付け係数の一例を示す図である。
【0067】
本実施形態では図10に示すように、重心からの距離が遠くなるにつれて、重み付け係数を小さくしている。すなわち近距離aの重み付け係数を最も大きく設定する。なお、ここでは例として、近距離a、中距離b、遠距離cという3つの距離における重み付け係数を設定したが、その他に、最も一般的な方法として、距離に対し一次関数等を用いて重み付け係数を算出する手法を使用して良い。いずれにおいても、重心からの距離が増すにつれ、重み付け係数が小さくなるという上記の特性を条件として満たしていれば、その方法は限定しない。また、重心からの距離については、水平および垂直方向に扱うことが望ましいが、肌色周辺領域Cの第1検出例にて説明したように、心理補色として肌色に影響を与える色は、頬や額等のように水平方向に並んでいる背景領域の場合が多いことから、水平方向のみの距離を選出し、重み付け係数を算出しても良い。
【0068】
肌色領域A、肌色拡張領域B、肌色周辺領域Cの検出方法は、上述したものに限定されず、周知の技術によって検出すればよい。例えば特開2008−15641号公報(発明の名称「人体領域抽出方法および装置並びにプログラム」)に記載の人体領域抽出方法を用いて肌色や顔の領域を抽出してもよい。
【0069】
(色相検出回路13の詳細動作)
色相検出回路13では、第1遅延器16を通過した映像信号S1に対して、肌色領域検出回路11と同様に必要あればRGB信号からYUV信号へ変換した後、主に肌色との補色関係にある色相を検出できるよう、予め特定の検出すべき色相情報(Y、U、V)を設定しておく。この色相情報は、肌色の色相範囲の抽出を行ったときと同様に、中心となる色相とその色相幅を持つことが望ましい。ここでは一例として、2種類の色相軸1、色相軸2を設定し、それぞれ色相の幅を持たせているが、設定する色相軸の数を制限するものではない。色相検出回路13では、肌色検出する処理と同様に、色相軸1、色相軸2において、おのおの図5のようにY軸、U軸、V軸それぞれに上限値(UL)、下限値(LL)を定め、図6にて説明したリミッタ処理を行う。
【0070】
色相検出回路13は、設定した色相情報を有する映像信号を検出すると、検出すべき色相を有する画素を検出したことを示す検出信号S4を積算回路14へ出力する。これによって、肌色周辺領域内に肌色との補色関係にあるY、U、Vの組み合わせが存在するか、存在しないかが判別可能となる。本実施形態では、色相検出回路13にて肌色周辺領域Cにおける所定の色相(補色)の画素を検出したが、肌色拡張領域Bより所定の色相の画素を検出してもよい。その際、肌色領域拡張回路12は肌色拡張領域Bを示す信号を色相検出回路13に供給すればよい。
【0071】
(積算回路14の詳細動作)
積算回路14では、色相検出回路13から検出信号S4が入力されると、検出信号S4を積算し、積算した検出信号S4に基づく積算値信号S5を映像信号調整回路15へ出力する。
【0072】
映像信号調整回路15は、積算回路14から積算値信号S5が入力されると、積算値信号S5に応じて、第1遅延器16および第2遅延器17を介し時間を調整して入力された映像信号S1の色相もしくは彩度のうち少なくとも一方の調整を行い、出力映像信号S6として出力する。
【0073】
図11は、積算回路14の構成例を示すブロック図である。
【0074】
図11において、積算回路14は、選択器141と、加算器142と、リミッタ143と、除算器144とを有している。
【0075】
積算回路14においては、例えば、選択器141が色相検出回路13からの検出信号S4を1画面内で積算した積算値を出力する。選択器141は、検出信号S4として“1”が入力されると、検出信号S4を加算器142へ出力する。なお、加算器142は、リセット信号Rの入力により、その積算結果をリセットする。
【0076】
検出信号S4が“1”の場合は、肌色周辺領域C内に特定の色相(肌色の補色)の画素が存在することを示している。
【0077】
加算器142では、検出信号S4を加算した値をリミッタ143に出力すると同時に、加算器142へ入力し、続いて入力される検出信号S4へ加算する。なお、加算結果は、一定以上の大きさに達すれば、それ以上は必要ないため、図11に示す積算回路14の一例においては、リミッタ143により制限を行う。こうして得た肌色周辺領域C内の所定の色相の画素数を示す積算値は、通常、除算器144により振幅が調整され、積算値信号S5として出力される。ここで、簡易的には、除算器144において、積算値信号S5を示すビット長の下位を切捨てることにより振幅を調整する。なお、加算器142における積算は、映像信号調整装置10に入力される映像信号S1あるいは映像信号調整装置10から出力される映像信号S6の1フレームに相当する単位で行う。そのため、加算器142を1フレーム毎に一旦“0”とリセットする必要があり、これをリセット信号Rによって行っている。
【0078】
なお、リセット信号Rは1フレーム毎に入力される必要はなく、演算に時間を要する構成の場合、複数フレームに一度入力されても良い。なぜなら、心理補色は心理的効果であり、1フレームの周期より長い認知周期を持っているからである。今回の例では、説明の便宜上、1フレーム単位としている。以上の処理により、積算回路14は、映像信号調整を行うための制御信号である積算値信号S5を生成して、映像信号調整回路15へ出力する。なお、複数の補色の色相軸を設定した際には、同様の回路によって各色相軸における積算値信号S5の生成を行う。
【0079】
(映像信号調整回路15の詳細構成および動作)
図12は、映像信号調整回路15の構成例を示すブロック図である。
【0080】
図12において、映像信号調整回路15は、補正量設定部151と、色相・彩度補正処理部152とを有している。補正量設定部151は、積算回路14から積算値信号S5が入力される。積算回路14において、色相軸1、色相軸2における積算値信号S51,S52が生成された場合には、積算値信号S51,S52が補正量設定部151に入力される。
【0081】
補正量設定部151では、色相軸毎に積算値に対する色相および彩度の補正量を予め設定してある。従って、補正量設定部151では、各色相軸1,2に対する積算値信号S51,S52が入力されると、その積算値信号S51,S52の大きさに応じて、色相と彩度の補正量信号である色相軸1の色相補正量信号S511、色相軸1の彩度補正量信号S512、色相軸2の色相補正量信号S521、色相軸2の彩度補正量信号S522を、色相・彩度補正処理部152へ出力する。ここで、この補正量設定部151では、実際の映像を見ながら調整を要するために、変更が容易なルックアップテーブルなどを利用するようにしても良い。
【0082】
色相・彩度補正処理部152では、入力映像信号S1の色相もしくは彩度の制御を行うため、入力映像信号S1のYUV信号に対し、色相軸ごとの色相と彩度を検出して、色相と彩度のうち少なくとも一方の補正処理を行う。本実施形態の色相・彩度補正処理部152は、RGB信号で入力映像信号S1が入力され、図示しないRGB・YUV変換回路にてRGB信号をYUV信号に変換する。
【0083】
ここで、本実施形態1の色相・彩度補正処理部152では、入力映像信号S1のうち肌色領域Aの肌色について、色相軸ごとの色相と彩度を検出して、色相と彩度のうち少なくとも一方の補正処理を行うことにより、肌色周辺領域Cの背景色による心理補色の影響により肌色領域Aの肌色が異なる色に見える現象を抑えるようにしても良いし、あるいは、入力映像信号S1のうち肌色周辺領域Cの背景色について、色相軸ごとの色相と彩度を検出して、色相と彩度のうち少なくとも一方の補正処理を行うことにより、背景色による心理補色の影響により肌色が異なる色に見える現象を抑えるようにしても良い。
【0084】
以上のように、肌色近傍色の検出によって肌色近傍色の肌色領域Aを検出すると共に、肌色領域Aを拡張して肌色領域Aを除いた肌色周辺領域Cを検出して、肌色周辺領域Cの背景色の影響により肌色領域Aの肌色ないしは肌色近傍色が異なる色に見える心理補色の問題を解決することができる。
【0085】
なお、この映像信号調整回路15の詳細は、例えば、特開2007−49341号公報(発明の名称「映像補正装置」)に記載されており、特に、図6に示されている色補正回路を参考とすればよい。この色補正回路は、本実施形態1において構成上必要な映像信号調整回路15と同様に、複数の色相軸で、それぞれ独立した色相と彩度を調整できるように構成されている。特開2007−49341号公報の図6に示す色補正回路における補正係数算出部3nに入力する色相2(p2)と、彩度sに相当するものが、本実施形態1の図12中の色相補正量信号S511、S521と、彩度補正量信号S512、S522であるため、これらを本発明の映像信号調整回路15が特開2007−49341号公報に記載された色補正装置と同様に処理することにより、色相、彩度を補正することができる。
【0086】
そして、映像信号調整回路15は、入力映像信号S1のYUV信号の色相と彩度を補正した結果として、補正後の映像信号である出力映像信号S6のY’U’V’信号が得られる。なお、映像信号調整回路15の出力形式については、上記処理を、YUV信号に対し行っていたので、Y’U’V’信号をRGB信号に図示しないRGB・YUV変換回路にてマトリクス変換して、R’G’B’信号からなる出力映像信号S6とする。
【0087】
以上説明したように、本実施形態1の映像信号調整装置10は、映像信号における肌色領域を所定の範囲だけ拡張して肌色領域周辺領域を検出し、肌色周辺領域において映像信号の肌色と特定の関係にある特定の色相を検出し、肌色と補色関係にある特定の色相の画素数を積算し、その画素数の積算値に基づいて、肌色領域あるいは肌色周辺領域の映像信号を調整する。これにより、映像における肌色周辺領域の背景色による心理補色の影響により肌色領域の肌色が異なる色に見える現象を効果的に抑えることができる。
【0088】
(実施形態2)
上記実施形態1では、肌色周辺領域の背景色の影響により肌色領域の肌色が異なる色に見える心理補色の問題を解決するため、肌色領域の肌色または肌色周辺領域の背景色の色相または彩度のうち少なくとも一方を自動的に調整するものとして説明したが、実施形態2の映像信号調整装置は、肌色領域の肌色または肌色周辺領域の背景色の映像信号の色相または彩度の調整結果をオンスクリーンディスプレイ(OSD)表示することにより、シミュレーションとして確認することができ、色相および彩度の補正レベルをユーザが調整できるようにしたものである。また、これらOSD表示によるシミュレーション結果を見て、ユーザが色相および彩度の補正処理をそれぞれ行うか、行わないかを判断することができるようにしたものである。
【0089】
(実施形態2の映像信号調整装置の構成)
図13は、実施形態2の映像信号調整装置の構成例を示すブロック図である。
【0090】
図13において、実施形態2の映像信号調整装置10Aは、図4に示した映像信号調整装置10に対し、新たにOSD表示回路18を設けたものであり、それ以外の構成は、図4の映像信号調整装置10と同じである。従って、図13において、図4の映像信号調整装置10と同じ構成要素には、同一符号を付して、その説明は省略する。
【0091】
OSD表示回路18は、次の図14に示す動作により、映像信号調整回路15による調整後の肌色領域の肌色あるいは肌色周辺領域の背景色の映像信号と、調整前の肌色領域の肌色あるいは肌色周辺領域の背景色の映像信号とをOSD表示すると共に、調整を行うか否かを選択させるためのON/OFFボタン等をOSD表示するものである。OSD表示回路18は、肌色領域検出回路11から肌色領域信号S2を受け取り、肌色領域拡張回路12より肌色周辺領域信号S3を受け取り、それぞれに基づいてOSD表示を行う。
【0092】
(実施形態2の映像信号調整装置の動作)
次に、映像信号調整装置10Aの動作について説明する。
【0093】
図14は、映像信号調整装置10Aの動作を示すフローチャートである。
【0094】
まず、映像信号調整装置10Aでは、実施形態1と同様に、映像信号を取得し(ステップS1600)、続いて肌色領域Aまたは肌色周辺領域Cの認識を行う(ステップS1610)。
【0095】
次に、OSD表示回路18は、OSD重畳処理により、例えば、図15に示すように、表示画像91上に肌色領域Aを示す肌色検出枠171と肌色周辺領域Cを示す背景色検出枠172をOSD表示して、表示画像91におけるマーキング処理を行う(ステップS1620)。
【0096】
図15は、映像信号調整装置10Aにより画像上に重畳して表示されるOSD情報の一例を示している。実施形態2では、肌色領域拡張回路12は既述した理由により肌色領域Aに対して水平方向に拡張された周辺領域を肌色周辺領域Cとした。
【0097】
次に、OSD表示回路18では、その画像91の上に、後述する図16に示すような肌色自動補正欄180のOSD情報や、図17に示すような背景色自動補正欄190のOSD情報を表示して、その肌色自動補正欄180や背景色自動補正欄190のOSD情報に、補正前の肌色または背景色をOSD表示する(ステップS1630)。なお、映像信号調整回路15が調整する領域(肌色領域または肌色周辺領域)に対応して、肌色自動補正欄180または背景色自動補正欄190のいずれか一方のOSD情報が表示されれば良い。OSD情報は、画像91の一部または全体に重畳して表示される。
【0098】
図16は、映像信号調整回路15が肌色領域の肌色を調整する際に、ステップS1630の処理により表示される肌色自動補正欄180のOSD情報の一例を示している。
【0099】
肌色自動補正欄180のOSD情報には、図16に示すように、肌色自動補正を選択するためのON/OFFボタン181と、肌色の色相および彩度を手動調整するための色相調整バー182と、彩度調整バー183と、肌色を自動または手動調整した際の処理前と処理後の状態が表示される処理前ウインドウ184と、処理後ウインドウ185との画像が含まれる。
【0100】
そのため、肌色を調整する場合には、このステップS1630の処理により、肌色自動補正欄180の処理前ウインドウ184に、補正前の肌色が表示されることになる。なお、ステップS1630では映像信号調整回路15による調整が行われていないため、処理後ウインドウ185に何も表示されていない、または処理後ウインドウ185が表示されていない、肌色自動補正欄180を表示すればよい。
【0101】
図17は、映像信号調整回路15が肌色周辺領域の所定の色相を調整する際に、ステップS1630の処理により表示される背景色自動補正欄190のOSD情報の一例を示している。本実施形態では、色相検出回路13が検出した肌色周辺領域に含まれる所定の色相を映像信号調整回路15が調整する背景色とする。
【0102】
図17に示す背景色自動補正欄190のOSD情報でも、図16に示す肌色自動補正欄180のOSD情報と同様に、背景色自動補正を選択するためのON/OFFボタン191と、背景色の色相および彩度を手動調整するための色相調整バー192と、彩度調整バー193と、背景色を自動または手動調整した際の処理前と処理後の状態が表示される処理前ウインドウ194と、処理後ウインドウ195との画像が含まれる。
【0103】
そのため、背景色を調整する場合には、このステップS1630の処理により、背景色自動補正欄190の処理前ウインドウ194に、補正前の背景色が表示されることになる。
【0104】
ここで、映像信号調整装置10Aは、前述の実施形態1の映像信号調整装置10と同様に、肌色領域Aにおける肌色または肌色周辺領域Cにおける背景色の調整すなわち補正処理を実行する(ステップS1640)。
【0105】
次に、OSD表示回路18は、肌色自動補正欄180のOSD情報における処理後ウインドウ185、または背景色自動補正欄190のOSD情報における処理後ウインドウ195に、補正後の肌色または背景色をOSD重畳表示する(ステップS1650)。OSD表示回路18は、肌色自動補正欄180のOSD情報では、処理前ウインドウ184に補正前の肌色、処理後ウインドウ185に補正後の肌色を表示させる。背景色自動補正欄190のOSD情報では、処理前ウインドウ194および処理後ウインドウ195には、処理前および処理後の背景色がOSD重畳表示される。
【0106】
その際、映像信号調整装置10Aでは、ユーザが、図16に示す肌色自動補正欄180のOSD情報における色相調整バー182および彩度調整バー183や、図17に示す背景色自動補正欄190のOSD情報における色相調整バー192および彩度調整バー193を手動操作して、ユーザは、処理前および処理後の肌色または背景色を参照して、ステップS1640の処理により補正された肌色や背景色における色相や彩度を、さらに手動で調整するようにしても良い(ステップS1660)。なお、このステップS1660の処理は、ユーザによる手動操作の処理なので、必要なければ、省略しても良いし、ステップS1650の前に行うようにしても良い。
【0107】
ユーザは、処理後ウインドウ185または処理後ウインドウ195に表示された補正後の色を確認し、肌色自動補正欄180のOSD情報におけるON/OFFボタン181、または背景色自動補正欄190のOSD情報におけるON/OFFボタン191において手動調整したように映像調整を行うか(ON)否か(OFF)を選択できる。映像信号調整装置10Aは、このユーザによる選択操作を受け付ける(ステップS1670)。映像信号調整装置10Aは、ステップS1670においてONが選択されたか否かを判断する(ステップS1680)。ユーザによる選択操作を示す信号は、OSD表示回路18または映像信号調整回路15が受け取ればよい。OSD表示回路18が選択操作を示す信号を受信する場合は、OSD表示回路18より映像信号調整回路15に選択操作を示す信号を供給すればよく、映像信号調整回路15は選択操作を示す信号を基にステップS1670以降のステップを処理する。
【0108】
ONが選択された場合(ステップS1680“YES”)、映像信号調整装置10Aの映像信号調整回路15は、実施形態1の映像信号調整回路15と同様に、画像91における肌色領域Aの肌色または肌色周辺領域Cの背景色に対し補正処理を実行する(ステップS1690)。
【0109】
これに対し、OFFが選択された場合(ステップS1680“NO”)、映像信号調整回路15は、肌色または背景色の調整処理をリセットする(ステップS1700)。
【0110】
以上説明したように、本実施形態2の映像信号調整装置10Aでは、実施形態1と同様の調整処理による肌色領域の肌色または肌色周辺領域の背景色の調整結果を表示画像に対し適用する前に、表示画像の上にOSD表示する。これにより、ユーザは、そのOSD表示を参照することにより、表示画像における肌色または背景色の調整結果をシミュレーション結果として事前に確認することができる。この結果、ユーザは、これらOSD表示によるシミュレーション結果を見てから肌色または背景色の補正処理をそれぞれ行うか、行わないかを判断することが可能となり、ユーザにとって利便性が向上する。
【0111】
なお、上記実施形態1,2の説明では、図4および図13に示すように、映像信号調整装置10,10Aをハードウェアにより構成して説明したが、本発明では、これに限らず、CPUがプログラムを実行することによりソフトウェア的に図4および図13に示す映像信号調整装置10,10Aの機能を実行するように構成しても勿論よい。
【0112】
実施形態1、2において、肌色検出に限定して説明したが、本発明の映像信号調整装置は肌色の映像を検出し、肌色領域あるいはその近傍領域の映像を調整することに限られるものではない。肌色領域検出回路11に代わり所定の色の領域を検出する回路を設け、色相検出回路13において、所定の色と補色関係にある色の色相を検出することで、所定の色についても同様に調整が行えるものである。
【0113】
また、肌色領域検出回路11にて複数の肌色を検出してもよい。肌色領域拡張回路12は検出された肌色領域毎に肌色拡張領域を設定して肌色周辺領域を得て、色相検出回路13にて、各肌色に対する補色を検出すればよい。あるいは、肌色領域検出回路11及び肌色領域拡張回路12を一組とした回路を、検出したい色数と同数の組だけ設けることでも複数の肌色を検出できる。また同様の構成にて複数の異なる色の領域及びその周辺領域を検出することも可能となる。更に、複数の人物が映像に含まれる場合は、肌色領域検出回路11は映像に含まれる複数の肌色領域を検出すればよい。
【符号の説明】
【0114】
11 肌色領域検出回路(肌色領域検出部)
12 肌色領域拡張回路(周辺領域検出部)
13 色相検出回路(色相検出部)
14 積算回路(積算部)
15 映像信号調整回路(映像信号調整部)
16,17 遅延器
18 OSD表示回路(OSD表示部)
【特許請求の範囲】
【請求項1】
映像信号における肌色領域を検出する肌色領域検出部と、
前記肌色領域検出部によって検出された前記肌色領域の周辺領域である肌色周辺領域を検出する周辺領域検出部と、
前記肌色周辺領域において、所定の色相の画素を検出する色相検出部と、
前記色相検出部によって検出された前記所定の色相の画素数を積算する積算部と、
前記積算部によって積算された前記所定の色相の画素数が所定の閾値を超えた場合、前記肌色領域の肌色あるいは前記肌色周辺領域における前記所定の色相の少なくとも一方の映像信号を調整する映像信号調整部と、
を有することを特徴とする映像信号調整装置。
【請求項2】
前記色相検出部は、
前記所定の色相として、前記映像信号の肌色と補色関係にある色相を検出する、
ことを特徴とする請求項1記載の映像信号調整装置。
【請求項3】
前記映像信号調整部は、
前記肌色領域の肌色あるいは前記肌色周辺領域の前記所定の色相の映像信号の色相と彩度とのうち少なくとも一方を調整する、
ことを特徴とする請求項1または請求項2記載の映像信号調整装置。
【請求項4】
前記肌色領域検出部によって検出された前記肌色領域の映像信号と前記映像信号調整部によって調整された前記肌色領域の映像信号、または前記周辺領域検出部によって検出された前記肌色周辺領域の映像信号と前記映像信号調整部によって調整された前記肌色周辺領域の映像信号のいずれか一方を、前記映像信号調整部が調整した領域に対応して表示させ、前記映像信号調整部による映像信号の調整を施すか否かを選択するボタンを表示させるOSD表示部をさらに有し、
前記映像信号調整部による映像信号の調整を施すことが選択されると前記映像信号調整部の調整を実行する、
ことを特徴とする請求項1〜請求項3のいずれか一の請求項に記載の映像信号調整装置。
【請求項5】
映像信号における肌色領域を検出するステップと、
前記肌色領域の周辺領域である肌色周辺領域を検出するステップと、
前記肌色周辺領域において、所定の色相の画素を検出するステップと、
前記所定の色相の画素数を積算するステップと、
前記所定の色相の画素数が所定の閾値を超えた場合、前記肌色領域の肌色あるいは前記肌色周辺領域における前記所定の色相の少なくとも一方の映像信号を調整するステップと、
を有することを特徴とする映像信号調整方法。
【請求項6】
前記所定の色相の画素を検出するステップにおいて、
前記所定の色相として、前記映像信号の肌色と補色関係にある色相を検出する、
ことを特徴とする請求項5記載の映像信号調整方法。
【請求項7】
前記映像信号を調整するステップにおいて、
前記肌色領域の肌色あるいは前記肌色周辺領域の前記所定の色相の映像信号の色相と彩度とのうち少なくとも一方を調整する、
ことを特徴とする請求項5または請求項6記載の映像信号調整方法。
【請求項8】
前記肌色領域の映像信号と前記映像信号を調整するステップで調整された前記肌色領域の映像信号、または前記肌色周辺領域の映像信号と前記映像信号を調整するステップで調整された前記肌色周辺領域の映像信号のいずれか一方を、前記映像信号を調整するステップで調整された領域に対応してOSD表示し、映像信号の調整を施すか否かを選択するボタンをOSD表示するステップと、
映像信号の調整を施すことが選択されると調整を実行するステップとをさらに有する、
ことを特徴とする請求項5〜請求項7のいずれか一の請求項に記載の映像信号調整方法。
【請求項1】
映像信号における肌色領域を検出する肌色領域検出部と、
前記肌色領域検出部によって検出された前記肌色領域の周辺領域である肌色周辺領域を検出する周辺領域検出部と、
前記肌色周辺領域において、所定の色相の画素を検出する色相検出部と、
前記色相検出部によって検出された前記所定の色相の画素数を積算する積算部と、
前記積算部によって積算された前記所定の色相の画素数が所定の閾値を超えた場合、前記肌色領域の肌色あるいは前記肌色周辺領域における前記所定の色相の少なくとも一方の映像信号を調整する映像信号調整部と、
を有することを特徴とする映像信号調整装置。
【請求項2】
前記色相検出部は、
前記所定の色相として、前記映像信号の肌色と補色関係にある色相を検出する、
ことを特徴とする請求項1記載の映像信号調整装置。
【請求項3】
前記映像信号調整部は、
前記肌色領域の肌色あるいは前記肌色周辺領域の前記所定の色相の映像信号の色相と彩度とのうち少なくとも一方を調整する、
ことを特徴とする請求項1または請求項2記載の映像信号調整装置。
【請求項4】
前記肌色領域検出部によって検出された前記肌色領域の映像信号と前記映像信号調整部によって調整された前記肌色領域の映像信号、または前記周辺領域検出部によって検出された前記肌色周辺領域の映像信号と前記映像信号調整部によって調整された前記肌色周辺領域の映像信号のいずれか一方を、前記映像信号調整部が調整した領域に対応して表示させ、前記映像信号調整部による映像信号の調整を施すか否かを選択するボタンを表示させるOSD表示部をさらに有し、
前記映像信号調整部による映像信号の調整を施すことが選択されると前記映像信号調整部の調整を実行する、
ことを特徴とする請求項1〜請求項3のいずれか一の請求項に記載の映像信号調整装置。
【請求項5】
映像信号における肌色領域を検出するステップと、
前記肌色領域の周辺領域である肌色周辺領域を検出するステップと、
前記肌色周辺領域において、所定の色相の画素を検出するステップと、
前記所定の色相の画素数を積算するステップと、
前記所定の色相の画素数が所定の閾値を超えた場合、前記肌色領域の肌色あるいは前記肌色周辺領域における前記所定の色相の少なくとも一方の映像信号を調整するステップと、
を有することを特徴とする映像信号調整方法。
【請求項6】
前記所定の色相の画素を検出するステップにおいて、
前記所定の色相として、前記映像信号の肌色と補色関係にある色相を検出する、
ことを特徴とする請求項5記載の映像信号調整方法。
【請求項7】
前記映像信号を調整するステップにおいて、
前記肌色領域の肌色あるいは前記肌色周辺領域の前記所定の色相の映像信号の色相と彩度とのうち少なくとも一方を調整する、
ことを特徴とする請求項5または請求項6記載の映像信号調整方法。
【請求項8】
前記肌色領域の映像信号と前記映像信号を調整するステップで調整された前記肌色領域の映像信号、または前記肌色周辺領域の映像信号と前記映像信号を調整するステップで調整された前記肌色周辺領域の映像信号のいずれか一方を、前記映像信号を調整するステップで調整された領域に対応してOSD表示し、映像信号の調整を施すか否かを選択するボタンをOSD表示するステップと、
映像信号の調整を施すことが選択されると調整を実行するステップとをさらに有する、
ことを特徴とする請求項5〜請求項7のいずれか一の請求項に記載の映像信号調整方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2012−142755(P2012−142755A)
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願番号】特願2010−293446(P2010−293446)
【出願日】平成22年12月28日(2010.12.28)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願日】平成22年12月28日(2010.12.28)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】
[ Back to top ]