説明

色信号処理装置

【課題】ディジタル映像信号をリサンプリングした場合、数学的には正しい処理を行っていても、映像によっては主観的な色が変化してしまう場合がある。
【解決手段】色信号処理装置401において、入力端子405に入力されたディジタル映像信号の色差信号nと、リサンプリング手段407がリサンプリングした信号rとから、入力信号がリサンプリングによって変化したように見える条件を満たしているかを色変化判定装置201が判定し、制御信号oを出力する。その結果から必要に応じ、信号補正装置301がリサンプリングされた入力信号pを補正して出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディジタル映像信号を帯域制限する前後で、見かけの色が変化してしまうことを防ぐための色信号処理装置に関する。
【背景技術】
【0002】
映像信号を標本化して得られるディジタル信号に対する帯域制限は、一般的に行われている信号処理である。その中でも特に、ディジタル信号の標本化周波数を変化させるリサンプリング処理が多くの場合で適用される。リサンプリング処理はサンプリングレート変換処理とも呼ばれる。リサンプリング処理には、標本化周波数を上げるアップサンプリングと、標本化周波数を下げるダウンサンプリングとがある。
【0003】
例えば、ディジタルVTR等の記録再生装置に内蔵されたダウンサンプリング装置は、記録時に、入力された映像に対して間引きフィルタによるダウンサンプリングを行う。
【0004】
図1を用いて、YUV4:2:2形式の映像を入力とし、ダウンサンプリングしてYUV4:2:0形式の画像を出力する、4タップローパスフィルタの動作を説明する。同図中、「○」はYUV4:2:2形式の映像の色差信号を示す。また、「●」はダウンサンプリング後の、YUV4:2:0形式の映像での色差信号を示す。4タップのローパスフィルタでダウンサンプリングする際には、4個の入力信号を加算平均し、1個の出力信号を計算すればよい。例えば出力信号b及びbはそれぞれ、入力信号a〜aを用いて数式1及び数式2で表される(例えば、特許文献1参照)。
【0005】
【数1】

【0006】
【数2】

【特許文献1】特開平8−33002号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、上記従来のダウンサンプリング装置を用いて色差信号をダウンサンプリングした場合、数学的に正しい処理を行っていたとしても、映像によってはダウンサンプリングの前後で見た目の色が変化してしまうという課題があった。例えば、暗所で感度を上げて撮影した雑音を多く含む映像をダウンサンプリングすると、映像全体がダウンサンプリング前の映像よりも黄色っぽくなったように見える。
【0008】
この問題の原因を説明するために、色域効果について説明する。以降では、YUV形式の映像を例として用い、色差あるいは色差信号の値は0を中心とした符号付きの値とする。また、リサンプリングにはFIRフィルタを用いることにする。
【0009】
色域効果とは、色差の絶対値が大きい画素の近傍にある色差の絶対値が小さい画素は、主観的に色が知覚されにくくなるという効果である。一般に、ある領域内の色差信号の分散が大きい映像ほど、色域効果が大きくなる。色域効果が大きい映像は、映像全域で色域効果が生じる映像、すなわち、映像全域において色差信号の分散が大きい映像である。例えば、前述した暗所で感度を上げて撮影したような、ランダムノイズを多く含む映像は、色差の絶対値が大きい画素と小さい画素が映像全域に分布しているため、色域効果が大きい。
【0010】
このような色域効果の大きい映像の色差信号に対して、上記従来のリサンプリング装置でリサンプリングを行うと、ローパスフィルタによる平滑化により映像全体における色差信号の分散が小さくなる。その結果、色域効果も小さくなり、それまで知覚されにくかった色、すなわち色差の絶対値が小さい画素の色が知覚されるようになる。これが、ダウンサンプリング後の映像がダウンサンプリング前の映像よりも黄色っぽくなったように見える原因である。
【0011】
すなわち、上記のような見た目の色が変化してしまう問題は、以下の2つの条件が揃った映像に対してリサンプリングを行ったときに発生する。第1の条件は、映像が、色域効果の大きい映像であるということである。言い換えると、映像中の全域において色差信号の分散が大きい、ということになる。第2の条件は、映像全体の色差信号の平均が0ではなく特定の値に偏っていることである。これにより、色域効果の影響で知覚されにくかった画素の色がリサンプリング後には知覚されやすくなり、映像全体の色調が変わってしまったように見える。
【0012】
本発明は上記課題を解決すべくなされたものであり、その目的とするところは、リサンプリングの前後での見た目の色変化を防ぐことのできる色信号処理装置を提供することにある。
【課題を解決するための手段】
【0013】
上記の問題を解決するために本発明の色信号処理装置は、ディジタル映像信号の色差信号を入力信号として、ディジタル映像信号の見た目の色が帯域制限前後で変化する場合に補正を行う色信号処理装置であって、入力信号の所定範囲における分散と、平滑化処理された入力信号の所定範囲における分散とを比較することで、ディジタル映像信号の見た目の色が平滑化処理によって変化する条件を満たすか否かを判定する第1の条件判定手段と、入力信号の所定範囲における平均値と、入力信号の最大値とを比較することで、ディジタル映像信号の見た目の色が平滑化処理によって変化する条件を満たすか否かを判定する第2の条件判定手段と、第1の条件判定手段及び第2の条件判定手段での判定結果からディジタル映像信号の見た目の色が平滑化処理によって変化するか否かを判定する色変化判定手段と、入力信号の平均値が0に近づくように所定範囲における入力信号を補正する信号補正手段と、色変化判定手段が、ディジタル映像信号の見た目の色が平滑化処理によって変化すると判定したとき、信号補正手段での補正結果を選択して出力し、色変化判定手段が、ディジタル映像信号の見た目の色が平滑化処理によって変化しないと判定したとき、入力信号を選択して出力する出力手段とを備えた構成としたものである。
【発明の効果】
【0014】
本発明の色信号処理装置によれば、リサンプリング処理の前後でディジタル映像信号の見た目の色が変化しないように、補正を行うことができる。
【発明を実施するための最良の形態】
【0015】
(実施の形態1)
本発明の実施の形態1にかかる色変化判定装置は、ディジタル映像信号の色差信号と、ローパスフィルタによりリサンプリングされたディジタル映像信号の色差信号とを入力とし、入力される色差信号の分散とリサンプリングされた色差信号の分散の差が大きいこと(第1の条件)及び、色差信号の平均が0ではなく特定の値に偏っていること(第2の条件)を共に満たすか否かを判断することにより、ディジタル映像信号の見た目の色がリサンプリングによって変化するか否かを判定する。なお、以下において、形式を限定せず単にディジタル映像信号と表記する場合は、リサンプリング前後両方のディジタル映像信号を指すものとする。
【0016】
図2に、本実施の形態における色変化判定装置の構成を示す。色変化判定装置201には、YUV4:2:2形式のディジタル映像信号の色差信号(U信号)と、この色差信号(U信号)がYUV4:2:0形式にリサンプリングされたディジタル映像信号の色差信号(U信号)が順次入力される。これらの情報を元にして、入力されるディジタル映像信号の見た目の色がリサンプリング前後で変化するか否かを判断する。色変化判定装置201に入力される映像信号は事前にバッファリングされる等した上で、1フレーム分の信号が順次入力されるものとする。
【0017】
色変化判定装置201において、第1の条件判定手段202は、第1の条件を満たすか否かを判定する手段である。第2の条件判定手段203は、第2の条件を満たすか否かを判定する手段である。色変化判定手段204は、2つの条件判定手段202、203の出力から、前記YUV4:2:2形式のディジタル映像信号の見た目の色がリサンプリングによって変化するか否かを判定する手段である。
【0018】
上記のように構成された本発明の色変化判定装置の動作について、図2を参照しながら説明する。YUV4:2:2形式の1フレーム分のディジタル映像信号の色差信号(U信号)が、信号aとして入力端子205に入力される。また、このディジタル映像信号をYUV4:2:0形式にリサンプリングして得られたディジタル映像信号の色差信号(U信号)が信号bとして入力端子206に入力される。
【0019】
第1の条件判定手段202は、信号aから1フレーム分の信号値の分散を計算する(分散Aとする)。また、信号bから1フレーム分の信号値の分散を計算する(分散Bとする)。さらに、分散Aと分散Bの計算が終わった後に両者を比較し、分散Bが分散Aの半分以下の場合には、前記ディジタル映像信号が第1の条件を満たすと判断し、信号cとして「真」を示す信号を、そうでない場合には、信号cとして「偽」を示す信号を出力する。
【0020】
第2の条件判定手段203は、信号bから1フレーム分の信号値の平均の絶対値を計算する。その値が、信号bの絶対値が取りうる最大値の10%(入力信号が−512〜+511の10ビット精度であれば、51)以上の場合には、前記ディジタル映像信号が第2の条件を満たすと判断し、信号dとして「真」を示す信号を出力し、そうでない場合には、信号dとして「偽」を示す信号を出力する。
【0021】
色変化判定手段204は、第1の条件判定手段202からの信号cと第2の条件判定手段203からの信号dとを受け、信号c、信号dの双方が「真」である場合は、前記ディジタル映像信号の見た目の色がリサンプリングによって変化すると判断し、信号eとして色変化信号Srを、そうでない場合は信号eとして色非変化信号Snを出力端子207から出力する。
【0022】
本実施の形態の色変化判定装置201は上記のように動作することにより、ディジタル映像信号の見た目の色がリサンプリングによって変化するか否かを判定することが可能となり、この出力を使用して、リサンプリング後のディジタル映像信号でも見た目の色が変化しないように補正等の処理を行うことができる。
【0023】
なお、本実施の形態では、YUV4:2:2形式のディジタル映像信号のU信号のダウンサンプリング時を例に挙げて説明したが、V信号やRGB信号などの他の形式の信号に対しても同様に判定処理を行うことができる。また入力端子205にYUV4:2:0形式のディジタル映像信号の色差信号、入力端子206に、このYUV4:2:0形式のディジタル映像信号をYUV4:2:2形式にリサンプリングしたディジタル映像信号の色差信号を入力することで、アップサンプリング時も同様に判定処理を行うことができる。また、本実施の形態では垂直方向のリサンプリングを例に挙げて説明したが、水平方向の解像度を変えるリサンプリング等でも同様に処理できる。さらに、1フレーム分の色差信号を入力する代わりに、任意の領域の色差信号を入力することで、任意の領域に対しても同様に判定処理を行うことができる。
【0024】
また、本実施の形態では、第1の条件判定手段202が「真」を出力するための閾値を分散Aの半分としたが、これは分散A未満であれば任意の値に設定してよい。
【0025】
また、本実施の形態では、第2の条件判定手段203が「真」を出力するための閾値を、入力信号の絶対値が取りうる最大値の10%としたが、これは入力信号の絶対値が取りうる最大値未満であれば任意の実数でよい。
【0026】
さらに、本実施の形態はローパスフィルタによるリサンプリングを例に挙げて説明してあるが、ディジタル映像信号の見た目の色が変化するか否かを判定する対象となる処理はリサンプリングに限らず、色差信号に関する平滑化、すなわちローパスフィルタの効果がある処理であればよい。
【0027】
(実施の形態2)
本発明の実施の形態2にかかる信号補正装置は、1フレーム分のディジタル映像信号の色信号と、前記ディジタル映像信号の見た目の色がリサンプリングによって変化する否かを示す制御信号を入力とし、制御信号に応じて色信号を補正して前記ディジタル映像信号の見た目の色がリサンプリングによって変化しないようにする。
【0028】
図3に、本実施の形態における信号補正装置の構成を示す。信号補正装置301は、YUV4:2:0形式の1フレーム分のディジタル映像信号の色差信号(U信号)と、前記ディジタル映像信号のU成分がリサンプリングによって変化したように見えるか否かを示す制御信号を入力とし、制御信号に応じて入力された色差信号を補正し、出力する。
【0029】
信号補正装置301は、実施の形態1の色変化判定装置201と接続して使用する。具体的には、色変化判定装置201の出力端子207と、信号補正装置301の入力端子305とを接続する。したがって、信号eと信号kとが同一の信号となる。すなわち信号kは、色変化判定装置201において、ディジタル映像信号の見た目の色がリサンプリングによって変化すると判断した場合に色変化信号Sr、そうでない場合は色非変化信号Snとなるような信号である。
【0030】
また、入力端子206及び入力端子304には同一の信号が入力される。したがって、信号bと信号jとが同一の信号となる。すなわち信号jは、YUV4:2:2形式の1フレーム分のディジタル映像信号をYUV4:2:0形式にリサンプリングして得られたディジタル映像信号の色差信号(U信号)である。
【0031】
信号補正装置301に入力される映像信号は事前にバッファリングされる等した上で、1フレーム分の信号が順次入力されるものとし、制御信号は必要なタイミングで入力されるものとする。
【0032】
信号補正装置301において、信号補正手段302は、入力端子304から入力された色差信号jを、リサンプリング前後で見た目の色が変化しないように補正する。遅延手段303は、入力された色差信号jを、必要な時間だけ遅延させる。入力端子305には、入力されたディジタル映像信号がリサンプリング前後で見た目の色が変化したように見える場合には、色変化信号Snが入力され、そうでない場合には色非変化信号Srが入力される。
【0033】
上記のように構成された本発明の信号補正装置の動作について、図3を参照しながら説明する。YUV4:2:0形式の1フレーム分のディジタル映像信号の色差信号(U信号)が信号jとして入力端子304に入力され、前記ディジタル映像信号のU成分の見た目の色がリサンプリングによって変化するか否かを示す制御信号が、入力端子305に信号kとして入力される。
【0034】
信号補正手段302は、まず信号jの平均値を計算し、更に信号jの全ての信号値からその平均値を減算し、信号lとして出力する。これにより、信号lの平均値は0になる。遅延手段303は、信号補正手段302が1フレーム分の信号を処理するのに必要な時間だけ信号jを遅延させ、信号mとして出力する。これにより、信号lと信号mは同じタイミングで出力されることになる。スイッチ306は、信号kによって制御され、信号kがSnであればスイッチをA側に接続することにより、信号lを信号iとして出力端子307から出力し、信号kがSrであればスイッチをB側に接続することにより、信号mを信号iとして出力端子307から出力する。
【0035】
本実施の形態の信号補正装置301は上記のように動作することにより、色変化判定装置201にてディジタル映像信号の見た目の色がリサンプリングによって変化すると判断した場合には、リサンプリング後のディジタル映像信号中の色差信号の平均値が0となるように補正を行うため、リサンプリング後のディジタル映像信号でも見た目の色が変化しないようにすることができる。
【0036】
なお、本実施の形態における信号補正手段302は、信号jから信号jの平均値を減算することで信号jの平均値を0にしているが、信号jの平均値よりも0に近い値であればどんな値で減算してもよい。そうすることで、信号lは信号jよりも0に近い値になり、色域効果が起こっても見た目の色変化が起こりにくくなる。また、信号補正手段302が信号kも受信し、信号kが色変化信号Srであれば上記のように動作し、信号kが色非変化信号Snであれば信号jを減算しないようにすることで、遅延手段303とスイッチ306を省略することができる。
【0037】
また、本実施の形態では、入力信号としてYUV4:2:0形式のディジタル信号のU信号を例に挙げて説明したが、V信号やRGB信号などの他の形式の信号、またYUV4:2:2形式の信号に対しても同様に補正処理することができる。また、本実施の形態では垂直方向のリサンプリングを例に挙げて説明したが、水平方向の解像度を変えるリサンプリング等でも同様に処理できる。
【0038】
また、本実施の形態の信号補正装置301は、実施の形態1の色変化判定装置201と接続して使用する例を挙げて説明したが、色変化判定装置201と同様に判定を行った結果が入力されるのであれば、他の構成の装置と接続して使用することも可能である。
【0039】
さらに、本実施の形態はリサンプリングを例に挙げて説明してあるが、ディジタル映像信号の見た目の色が変化するか否かを判定する対象となる処理はリサンプリングに限らず、色差信号に関する平滑化、すなわちローパスフィルタの効果がある処理であればよい。
【0040】
(実施の形態3)
本発明の実施の形態3にかかる色信号処理装置は、ディジタル映像信号の色差信号を入力として、リサンプリング前後で前記ディジタル映像信号の見た目の色が変化するか否かを判定し、変化する場合には前記ディジタル映像信号のリサンプリング後の色信号を補正することで、リサンプリングによる色変化が起こらないようにして出力し、変化しない場合には前記ディジタル映像信号のリサンプリング後の色信号をそのまま出力する。すなわち、本実施の形態の色信号処理装置は、実施の形態1の色変化判定装置と、実施の形態2の信号補正装置とを包含した構成となる。
【0041】
図4は実施の形態3における色信号処理装置の構成を示すブロック図である。色信号処理装置401において、色変化判定装置201は、実施の形態1におけるそれと同等のものである。したがって、信号a、信号bおよび信号eと、信号n、信号rおよび信号oとがそれぞれ同一の信号となる。また、信号補正装置301は、実施の形態3におけるそれと同等のものである。したがって、信号j、信号kおよび信号iと、信号p、信号oおよび信号qとがそれぞれ同一の信号となる。信号遅延手段404は、入力された信号を必要な時間だけ遅延させて出力する手段である。リサンプリング手段407は、例えば従前の方法で、入力されたYUV4:2:2形式のディジタル映像信号をYUV4:2:0形式のディジタル映像信号にリサンプリングする手段である。色信号処理装置401に入力される映像信号は事前にバッファリングされる等した上で、1フレーム分の信号が順次入力されるものとする。
【0042】
上記のように構成された本発明の色信号処理装置について、図4を参照しながら説明する。YUV4:2:2形式の1フレーム分のディジタル映像信号の色差信号(U信号)が信号nとして、入力端子405に入力される。リサンプリング手段407は信号nを、YUV4:2:0形式のディジタル映像信号にリサンプリングし、信号rとして出力する。色変化判定装置201は信号nと信号rを入力とし、前記ディジタル映像信号のU成分の見た目の色がリサンプリングによって変化するか否かを判定し、変化する場合には信号oとして変化信号Srを、変化しない場合には信号oとして非変化信号Snを出力する。遅延手段404は、信号nを色変化判定装置201が1フレーム分の信号を処理するのに必要な時間だけ遅延させ、信号pとして出力する。信号補正装置301は、信号oと信号pを入力とし、信号oを基に必要に応じて信号pを補正し、信号qとして出力端子406から出力する。
【0043】
本実施の形態の色信号処理装置401は上記のように動作することにより、ディジタル映像信号の見た目の色がリサンプリングによって変化するか否かを判定し、ディジタル映像信号の見た目の色がリサンプリングによって変化すると判断した場合には、リサンプリング後のディジタル映像信号中の色差信号の平均値が0となるように補正を行うため、リサンプリング後のディジタル映像信号でも見た目の色が変化しないようにすることができる。
【0044】
なお、本実施の形態では、YUV4:2:2形式のディジタル映像信号のU信号をダウンサンプリングする場合を例に挙げて説明したが、V信号やRGB信号などの他の形式の信号に対してや、アップサンプリングする場合も同様に補正処理を行うことがでる。また、本実施の形態では垂直方向のリサンプリングを例に挙げて説明したが、水平方向の解像度を変えるリサンプリング等でも同様に処理できる。さらに、1フレーム分ではなく、任意の領域に対しても同様に補正処理を行うことができる。
【0045】
さらに、本実施の形態はリサンプリングを例に挙げて説明してあるが、ディジタル映像信号の見た目の色が変化するか否かを判定する対象となる処理はリサンプリングに限らず、色差信号に関する平滑化、すなわちローパスフィルタの効果がある処理であればよい。
【産業上の利用可能性】
【0046】
本発明の色信号処理装置によれば、リサンプリングによる主観的な色が変化しないように補正することができるため、暗所で感度を上げて撮影するとノイズが発生しやすくなるカメラレコーダ等においても有用である。
【図面の簡単な説明】
【0047】
【図1】YUV4:2:2形式からYUV4:2:0形式へのダウンサンプリング処理を説明した図
【図2】実施の形態1における色変化条件判定装置のブロック図
【図3】実施の形態2における信号補正装置のブロック図
【図4】実施の形態3における色信号処理装置のブロック図
【符号の説明】
【0048】
201 色変化判定装置
202 条件判定手段
203 条件判定手段
204 色変化判定手段
205 入力端子
206 入力端子
207 出力端子
301 信号補正装置
302 信号補正手段
303 遅延手段
304 入力端子
305 入力端子
306 スイッチ
307 出力端子
401 色信号処理装置
404 遅延手段
405 入力端子
406 出力端子
407 リサンプリング手段

【特許請求の範囲】
【請求項1】
ディジタル映像信号の色差信号を入力信号として、前記ディジタル映像信号の見た目の色が平滑化処理前後で変化するか否かを判定する色変化判定装置であって、
前記入力信号の所定範囲における分散と、平滑化処理された前記入力信号の前記所定範囲における分散とを比較することで、前記ディジタル映像信号の見た目の色が前記平滑化処理によって変化する条件を満たすか否かを判定する第1の条件判定手段と、
前記入力信号の前記所定範囲における平均値と、前記入力信号の最大値とを比較することで、前記ディジタル映像信号の見た目の色が前記平滑化処理によって変化する条件を満たすか否かを判定する第2の条件判定手段と、
前記第1の条件判定手段及び前記第2の条件判定手段での判定結果から前記ディジタル映像信号の見た目の色が前記平滑化処理によって変化するか否かを判定する色変化判定手段とを備えた色変化判定装置。
【請求項2】
前記平滑化処理はリサンプリング処理である、請求項1記載の色変化判定装置。
【請求項3】
ディジタル映像信号の色差信号を入力信号として、前記ディジタル映像信号の見た目の色が帯域制限前後で変化する場合に補正を行う色信号処理装置であって、
前記入力信号の所定範囲における分散と、平滑化処理された前記入力信号の前記所定範囲における分散とを比較することで、前記ディジタル映像信号の見た目の色が前記平滑化処理によって変化する条件を満たすか否かを判定する第1の条件判定手段と、
前記入力信号の前記所定範囲における平均値と、前記入力信号の最大値とを比較することで、前記ディジタル映像信号の見た目の色が前記平滑化処理によって変化する条件を満たすか否かを判定する第2の条件判定手段と、
前記第1の条件判定手段及び前記第2の条件判定手段での判定結果から前記ディジタル映像信号の見た目の色が前記平滑化処理によって変化するか否かを判定する色変化判定手段と、
前記入力信号の前記平均値が0に近づくように前記所定範囲における前記入力信号を補正する信号補正手段と、
前記色変化判定手段が、前記ディジタル映像信号の見た目の色が前記平滑化処理によって変化すると判定したとき、前記信号補正手段での補正結果を選択して出力し、前記色変化判定手段が、前記ディジタル映像信号の見た目の色が前記平滑化処理によって変化しないと判定したとき、前記入力信号を選択して出力する出力手段とを備えた色信号処理装置。
【請求項4】
前記平滑化処理はリサンプリング処理である、請求項3記載の色信号処理装置。
【請求項5】
ディジタル映像信号の色差信号と、前記ディジタル映像信号の見た目の色が平滑化処理によって変化するか否かを示す制御信号とを入力信号とし、
入力された色差信号の絶対値を小さくする信号補正手段と、
前記色差信号を、所定の期間だけ遅延させる遅延手段とを備え、
前記制御信号が、前記ディジタル映像信号の見た目の色が前記平滑化処理によって変化することを示すとき、前記信号補正手段によって補正された色差信号を選択して出力し、前記制御信号が、前記ディジタル映像信号の見た目の色が前記平滑化処理によって変化しないことを示すとき、前記遅延手段で遅延された前記色差信号を選択して出力する信号補正装置。
【請求項6】
前記平滑化処理がリサンプリング処理である、請求項5記載の信号補正装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2008−199478(P2008−199478A)
【公開日】平成20年8月28日(2008.8.28)
【国際特許分類】
【出願番号】特願2007−34798(P2007−34798)
【出願日】平成19年2月15日(2007.2.15)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】