ビデオ信号前処理方法,ビデオ信号前処理装置およびビデオ信号前処理プログラム
【課題】画像符号化の前段階で,人間の知覚特性に応じた輝度・色差分離型ビデオ信号の前処理を行い,知覚的な印象はできるだけ保存しつつ後段の符号化の結果の符号量を削減する。
【解決手段】輝度色差分離型ビデオ信号を入力し,入力したビデオ信号に含まれる輝度信号に,主観実験により予め決定された遮断周波数を持つ時間的高域通過フィルタを施し,該フィルタを施した信号に,上記入力したビデオ信号に含まれる輝度信号から得た時間的直流成分を重畳する前処理を行う。
【解決手段】輝度色差分離型ビデオ信号を入力し,入力したビデオ信号に含まれる輝度信号に,主観実験により予め決定された遮断周波数を持つ時間的高域通過フィルタを施し,該フィルタを施した信号に,上記入力したビデオ信号に含まれる輝度信号から得た時間的直流成分を重畳する前処理を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は高能率ビデオ符号化において,特に低ビットレート符号化における映像品質の改善を目的として,符号化に先立ちビデオ信号に処理を施すビデオ信号前処理方法に関する。
【背景技術】
【0002】
ビデオ信号は,表示においてはR(赤),G(緑),B(青)の3原色により表現されているが,通常の高能率符号化においては,RGBを線形変換したY(輝度),U(青−黄色差),V(赤−緑色差)の3信号により表現されるのが普通である。
【0003】
符号化効率の改善を目的とした従来のビデオ前処理方式として,特にU,V信号の空間的な起伏はY信号に比べ知覚されにくいことに着目し,
(i)U,Vそれぞれ水平方向に1/2に間引いた所謂4:2:2信号(RGB比容量1/2),
(ii)U,Vそれぞれ水平垂直各方向に1/2に間引いた所謂4:2:0信号(RGB比容量1/3),
(iii) U,Vそれぞれ水平方向に1/4に間引いた所謂4:1:1信号(RGB比容量1/3),
のように積極的に情報量を削減することが広くなされている。
【0004】
また,以下の特許・非特許文献には,ビデオ信号の前処理に関する技術として,それぞれ次のような性質のものが記載されている。
【0005】
下記の特許文献1には,前処理は空間的な低域通過フィルタ(LPF)に限定し,輝度変化やエッジ有無に応じてLPF強度を適応的に変化させる技術が示されている。
【0006】
下記の特許文献2には,前処理は空間的なLPFおよび信号レベルの補正・画像サイズの変更・ノイズの低減などにより行うことが示されている。
【0007】
下記の特許文献3には,前処理として空間的なLPFあるいは雑音除去を行うことが示されている。
【0008】
下記の特許文献4には,「時空間フィルタ」を,シーンチェンジ適応させた空間LPFの意味で使い,LPF強度を適応変化させる技術が示されている。
【0009】
下記の非特許文献1には,ビデオ信号に含まれている雑音成分を低減するものが示されている。
【0010】
下記の非特許文献2には,符号量削減を目的とした時間的前処理を行うものが示されている。
【0011】
下記の非特許文献3には,エッジを残しつつ,画像中の芝目などの高周波部分を平坦化するものが示されている。
【0012】
これらに記載された技術はいずれも,前処理の度合いを適応的に変化させたり雑音を除去するものであり,ビデオ信号の空間帯域の高域,あるいは時空間の雑音帯域あるいは高域といった部分に着目したビデオ情報の削減を狙った技術である。
【0013】
これらのような前処理をビデオ信号に施すことにより,信号の持つ帯域の一部が低減され,後段の符号化の結果,符号量(ビットレート)が減少するという好ましい効果が得られる。
【0014】
しかしながら,従来,輝度と色差信号の時空間帯域の一部(低・中周波数領域等)に着目し,効果的に情報量を低減するビデオ信号前処理方法はなかった。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】特開2005−026747公報
【特許文献2】特開2003−250156公報
【特許文献3】特開2002−016910公報
【特許文献4】特開2001−251629公報
【非特許文献】
【0016】
【非特許文献1】松村,長谷山,北島:“効果的な雑音除去のための適応的な画像のモデル化によるカルマンフィルタ”,電子情報通信学会論文誌,Vol.J86-D2,No.2,pp.212-222,Feb.2003
【非特許文献2】辻,阪谷,八島,小林:“非等方拡散に基づく低ビットレート符号化用プレフィルタの検討”,画像符号化シンポジウム PCSJ2001,P-5.19,Nov.2001
【非特許文献3】木全,八島,小林:“低ビットレート映像符号化におけるエッジ保存形プレフィルタ制御方法の一検討”,画像符号化シンポジウム PCSJ2000,P-P1.14 ,Nov.2000
【発明の概要】
【発明が解決しようとする課題】
【0017】
本発明は,上に述べたような問題に鑑みて,人間の知覚特性に応じ,知覚されにくい輝度・色差信号の前処理を行い,符号化前の段階で情報量を削減しておくことにより,知覚的な印象はできるだけ保存しつつ,後段の符号化の結果の符号量を削減することを目的とする。
【課題を解決するための手段】
【0018】
輝度と色差の信号に,デジタルフィルタによる信号処理を施し,これを動画として表示した際,人間の知覚にこの処理がどのように影響を及ぼすかを定量評価し,できるだけ知覚に影響の及ぼされない信号処理を選択する。
【0019】
〔人間の視覚・知覚特性〕
本発明者が行った心理物理実験の結果,人間が目および脳で知覚する動きには,以下のような性質があることがわかった。
【0020】
・知覚特性1:輝度一定で,かつ色差空間において青−黄方向のみが,時間的あるいは空間的に変化するような,ビデオ信号の変動(起伏や動き)は知覚しにくい。
【0021】
・知覚特性2:輝度・色差に空間的あるいは時間的なBEF(Band Elimination Filter) を施す場合と,施さない場合とで,ほぼ同様の見えが知覚される。
【0022】
・知覚特性3:輝度信号のみのビデオ信号に時間的HPF(High Pass Filter)を施すと動きの知覚が困難になるが,輝度色差信号の輝度信号のみに時間的HPFを施しても,動きは知覚できる(ただし,直流成分のみは残す)。
【0023】
ここでBEFはバンド抑圧フィルタ,HPFは高域通過フィルタである。
【0024】
〔第1の関連発明〕
この関連発明に係るビデオ信号前処理方法は,上記知覚特性1に鑑み,YUV変換されたビデオ信号のU成分(色差空間の青−黄方向に対応)に,時間的な一次元LPFを施すものである。
【0025】
主観実験より,青−黄信号の時間解像度は2Hz程度まで落としても極端な劣化を感じさせないことがわかっている。
【0026】
LPFの次数・フィルタ係数は任意であるが,例えば[1/4, 1/2, 1/4 ]の3タップフィルタが挙げられる。このフィルタを,隣接するフレームの同一空間位置において施していく。
【0027】
すなわち,空間位置を(x,y),時刻(フレーム番号)tのU信号をU(x,y,t) とするとき,新しいU信号U'(x,y,t)を,
U'(x,y,t)=(1/4) U(x,y,t-1) +(1/2) U(x,y,t) +(1/4) U(x,y,t+1)
のように求める。
【0028】
時間的に端を越える部分については,例えば端の画像信号が繰り返されているものとして扱う。
【0029】
〔第2の関連発明〕
この関連発明に係るビデオ信号前処理方法は,上記知覚特性1に鑑み,YUV変換されたビデオ信号のU成分に,空間的な二次元LPFを施すものである。
【0030】
主観実験より,青−黄信号の空間解像度は3cycles/image程度まで落としても極端な劣化を感じさせないことがわかっている。
【0031】
LPFの次数・フィルタ係数は任意であるが,例えば[1/4, 1/2, 1/4 ]の3タップフィルタを縦横に施した
1/16 1/8 1/16
1/8 1/4 1/8
1/16 1/8 1/16
が挙げられる。このフィルタを,同一フレームの隣接空間位置において施していく。
【0032】
すなわち,新しいU信号U'(x,y,t)を,
U'(x,y,t)=(1/16)U(x-1,y-1,t) +(1/8) U(x,y-1,t) +(1/16)U(x+1,y-1,t) +
(1/8) U(x-1,y,t) +(1/4) U(x,y,t) +(1/8) U(x+1,y,t) +
(1/16)U(x-1,y+1,t) +(1/8) U(x,y+1,t) +(1/16)U(x+1,y+1,t)
のように求める。
【0033】
画面端を越える部分については,例えば端の画像信号が繰り返されているものとして扱う。
【0034】
〔第3の関連発明〕
この関連発明に係るビデオ信号前処理方法は,上記知覚特性2に鑑み,YUV変換されたビデオ信号のY,U,V各成分に,時間的な一次元BEFを施すものである。
【0035】
主観実験より,時間BEFの低域遮断周波数を2Hz程度,高域遮断周波数を6Hz程度としても極端な劣化を感じさせないことがわかっている。通常の画像信号においては電力のおよそ半分はこの帯域にあるので,大きな情報削減が期待できる。
【0036】
BEFの次数・フィルタ係数は任意であるが,例えば[0.3, 0, 0.4, 0, 0.3 ]の5タップフィルタが挙げられる。このフィルタを,隣接するフレームの同一空間位置において施していく。
【0037】
すなわち,空間位置(x,y),時刻tのY信号をY(x,y,t) とするとき,新しいY信号Y'(x,y,t)を,
Y'(x,y,t)=0.3 Y(x,y,t-2) +0.4 Y(x,y,t) +0.3 Y(x,y,t+2)
のように求める。
【0038】
時間的に端を越える部分については,例えば端の画像信号が繰り返されているものとして扱う。
【0039】
〔第4の関連発明〕
この関連発明に係るビデオ信号前処理方法は,上記知覚特性2に鑑み,YUV変換されたビデオ信号のY,U,V各成分に,空間的な二次元BEFを施すものである。
【0040】
主観実験より,空間BEFの低域遮断周波数を3cycles/image程度,高域遮断周波数を8cycles/image程度としても極端な劣化を感じさせないことがわかっている。
【0041】
BEFの次数・フィルタ係数は任意であるが,例えば[0.3, 0, 0.4, 0, 0.3 ]の5タップフィルタを縦横に施した
O.09 0 0.12 0 0.09
0 0 0 0 0
O.12 0 0.16 0 0.12
0 0 0 0 0
O.09 0 0.12 0 0.09
が挙げられる。このフィルタを,同一フレームの隣接空間位置において施していく。
【0042】
すなわち,新しいY信号Y'(x,y,t)を,
Y'(x,y,t)=0.09Y(x-2,y-2,t) +0.12Y(x,y-2,t) +0.09Y(x+2,y-2,t) +
0.12Y(x-2,y,t) +0.16Y(x,y,t) +0.12Y(x+2,y,t) +
0.09Y(x-2,y+2,t) +0.12Y(x,y+2,t) +0.09Y(x+2,y+2,t)
のように求める。
【0043】
画面端を越える部分については,例えば端の画像信号が繰り返されているものとして扱う。
【0044】
〔本発明〕
この発明に係るビデオ信号前処理方法は,上記知覚特性3に鑑み,YUV変換されたビデオ信号のY成分に,時間的HPF(但し直流は保存)を施すものである。
【0045】
主観実験より,Y成分に対する時間的HPFの遮断周波数を5Hz程度としても極端な劣化を感じさせないことがわかっている。
【0046】
HPFのフィルタ係数は任意であるが,例えば[−1/2, 1, −1/2 ]の3タップフィルタを施した。
【0047】
このフィルタを,隣接フレームの同一空間位置において施していく。
【0048】
すなわち,新しいY信号Y'(x,y,t)を,
Y'(x,y,t)=−(1/2) Y(x,y,t-1) +Y(x,y,t) −(1/2) Y(x,y,t+1)
のように求める。
【0049】
次いで,各画素位置(x,y)において直流分を以下のように加える。
【0050】
Y'(x,y,t)=Y'(x,y,t)+Σt Y(x,y,t) /N
第二項が原信号の直流に相当する。Nはフレーム枚数である。
【0051】
〔第5の関連発明〕
この関連発明に係るビデオ信号前処理方法は,本発明と上記第1〜第4の関連発明に係るビデオ信号前処理方法のいずれか複数を組み合わせて輝度色差分離型ビデオ信号の一部帯域を減衰させる。どのビデオ信号前処理方法を組み合わせて適用するかについては,あらかじめ固定的に定めておいてもよく,また,その都度ユーザに選択させる方法を用いてもよい。
【0052】
以上のようなフィルタのデジタル演算は,コンピュータと画像処理用プログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。
【発明の効果】
【0053】
以上説明したように,本発明は輝度選択的HPFという,従来の空間的・時間的LPFに基づく方式が着目していた高周波の帯域とは異なる帯域に着目し,帯域を削減するものであるが,ビデオ信号に本発明のような前処理を施すことで,従来方式では削減できず残存せざるをえなかった帯域の削減が達成でき,結果として後段の符号化効率を従来方式に増して改善できるという,格別の効果が生まれる。
【図面の簡単な説明】
【0054】
【図1】本発明に係るビデオ信号前処理装置の構成例を示す図である。
【図2】第1の信号処理プログラムの処理フローチャートである。
【図3】第2の信号処理プログラムの処理フローチャートである。
【図4】本発明の実施例で用いるフィルタの概念図である。
【図5】コントラストの増減方法の例を示す図である。
【図6】時間フィルタを施した映像における運動の鮮明化現象を示す図である。
【図7】空間フィルタを施した映像における運動の鮮明化現象を示す図である。
【図8】映像A,映像B,合成映像A&Bのそれぞれの正答率の関係を示す図である。
【図9】合成映像A&Bの正答率と,映像A,映像Bそれぞれからの推定正答率の比較を示す図である。
【発明を実施するための形態】
【0055】
図1は,本発明に係るビデオ信号前処理装置の構成例を示す図である。
【0056】
本ビデオ信号前処理装置は,輝度色差分離型ビデオ信号の入力手段1と,プログラムを実行するCPU2と,メモリ(RAM)3と,フィルタ処理を行うデジタルフィルタ部4と,前処理により帯域を減衰させた結果の輝度色差分離型ビデオ信号を出力する出力手段5と,フィルタ情報を記憶するフィルタ情報記憶部6と,信号を処理するためのプログラムを格納したプログラム記憶部7と,それらを接続するバス線8とから構成される。
【0057】
フィルタ情報記憶部6には,事前に設定されたデジタルフィルタの種類ごとのフィルタ係数(パラメータ)が記憶されている。プログラム記憶部7には,適用するデジタルフィルタの種別に応じた信号前処理を実行するための各信号処理プログラム11a,11b,11c,…と,それらの起動制御を行うための信号処理制御プログラム10とが格納される。信号処理プログラムが単独の場合には,信号処理制御プログラム10を用いない構成にすることもできる。
【0058】
CPU2は,プログラム記憶部7からロードした信号処理制御プログラム10を実行し,あらかじめ選択された信号処理プログラムまたはユーザが指定した信号処理プログラムをプログラム記憶部7から読み出して実行する。CPU2は,信号処理プログラムを実行することにより,フィルタ情報記憶部6からフィルタ係数をロードし,ビデオ信号の一部に対する処理を繰り返し,全入力信号に対する処理等を行う。
【0059】
RAM3は,出力用のデータを一旦格納するものであり,デジタルフィルタ部4は,フィルタ係数およびCPU2からの指示に従って,メモリ上の信号系列に対し1次元フィルタ処理あるいは2次元フィルタ処理を実行し,必要なビデオデータを生成する。
【0060】
本ビデオ信号前処理装置内の記憶装置には,フィルタ情報記憶部6とプログラム記憶部7とが設けられているが,これらに記憶されるフィルタ情報および信号処理プログラムは,別々に変更可能である。例えば信号処理プログラム11aは,上述した第1の関連発明を実現するためのプログラムであり,信号処理プログラム11bは,第2の関連発明を実現するためのプログラムである。信号処理プログラム11cは,本発明を実現するためのプログラムである。他の信号処理プログラム等も同様に入力信号に特定のデジタルフィルタ処理を適用し,一部帯域を減衰するためのプログラムである。
【0061】
図2は,信号処理プログラム11aの処理フローチャートである。以下,図2に従って,第1の関連発明を実現するビデオ信号前処理の動作を説明する。
【0062】
処理開始の指示が出されると,ステップS11では,信号処理プログラム11aに従って,入力手段1を利用して輝度色差分離型ビデオ信号を入力する。次に,ステップS12では,フィルタ情報記憶部6から時間帯域を減衰させるためのLPFフィルタ係数をロードする。
【0063】
ステップS13では,未処理の空間位置(x,y)を一つ決定する。続いて,ステップS14では,決定した空間位置(x,y)における全時間の輝度信号系列と赤−緑色差信号系列(ともに1次元の列)とを抽出し,メモリを利用して一時蓄積する。ステップS15では,同様に空間位置(x,y)における全時間の青−黄色差信号系列を抽出する。
【0064】
次に,ステップS16では,LPFフィルタ係数およびデジタルフィルタ部4を利用して該信号系列にフィルタ処理(1次元処理である)を施す。ステップS17では,フィルタ処理によって生成された処理済み信号系列を,メモリを利用して一時蓄積する。
【0065】
その後,ステップS18では,すべての空間位置(x,y)が処理されたかを判断し,未処理の空間位置(x,y)があれば,ステップS13へ戻る。すべての空間位置(x,y)の処理が終われば,ステップS19へ進み,メモリに蓄積された情報を,入力と同じ輝度色差分離型ビデオ信号の形態として出力手段5を用いて出力し終了する。
【0066】
図3は,信号処理プログラム11bの処理フローチャートである。以下,図3に従って,第2の関連発明を実現するビデオ信号前処理の動作を説明する。
【0067】
処理開始の指示が出されると,ステップS21では,信号処理プログラム11bに従って,入力手段1を利用して輝度色差分離型ビデオ信号を入力する。次に,ステップS22では,フィルタ情報記憶部6から空間帯域を減衰させるためのLPFフィルタ係数をロードする。
【0068】
ステップS23では,未処理の時刻t(フレーム番号)を一つ決定する。続いて,ステップS24では,決定した時刻tにおける全フレームの輝度信号と赤−緑色差フレーム(ともに2次元)とを抽出し,メモリを利用して一時蓄積する。ステップS25では,同様に時刻tにおける青−黄色差信号フレームを抽出する。
【0069】
次に,ステップS26では,LPFフィルタ係数およびデジタルフィルタ部4を利用して該フレームにフィルタ処理(2次元処理である)を施す。ステップS27では,生成された処理済みフレームを,メモリを利用して一時蓄積する。
【0070】
その後,ステップS28では,すべての時刻tが処理されたかを判断し,未処理の時刻tのフレームがあれば,ステップS23へ戻る。すべての時刻tの処理が終われば,ステップS29へ進み,メモリに蓄積された情報を,入力と同じ輝度色差分離型ビデオ信号の形態として出力手段5を用いて出力し終了する。
【0071】
以上,第1および第2の関連発明に係るビデオ信号前処理の実施形態を説明したが,本発明および第3,第4の関連発明に係るビデオ信号前処理についても,同様にあらかじめ定められたフィルタ係数と,該当する信号処理プログラムを用いてCPU2によって実行することができる。
【0072】
第5の関連発明に係るビデオ信号前処理を実現する場合,第5の関連発明に係るビデオ信号前処理をCPU2に実行させるための専用の信号処理プログラムを用いて実現してもよいし,最初に信号処理制御プログラム10を実行することによって信号処理プログラム11a,11b,11c,…の中からいくつかのプログラムを規定値またはユーザの指定値に基づき選択し,選択した信号処理プログラムを用いてCPU2によって逐次的に実行することによって実現することもできる。
【実施例1】
【0073】
図4に,本発明および関連発明の実施例で用いるフィルタの概念図を示す。図4(A)は,低域通過フィルタ(LPF)の例であり,周波数の高域をカットし低域を残す。図4(B)は,高域通過フィルタ(HPF)の例であり,周波数の低域をカットし高域を残す。また,図4(C)は,バンド抑圧フィルタ(BEF)の例であり,本実施例ではLPFとHPFの和となる。
【0074】
本発明および関連発明の効果を確認するために行った実験の結果を以下に示す。時間・空間フィルタが運動の鮮明化に及ぼす影響を次のように測定した。
【0075】
・被験者は,画像の見かけのコントラストを増加させ,フィルタ後の画像と同等に見えるコントラストを同定する。
【0076】
・コントラスト操作は,高空間周波数成分の振幅を相対的に増減させることにより行う。図5に,コントラストの増減方法の例を示す。
【0077】
〔実験1〕
時間フィルタを施した映像における運動の鮮明化現象を図6に示す。実験は,映像数=12,被験者数=14で行った。この実験から,以下のような知見が得られた。図6に示されるように,時間低周波数成分(時間的LPF)において鮮明化が生じることがわかった。また,時間高周波数成分のみを持つ映像(時間的HPF)はぼけるが,両者の相互作用により,時間的BEF映像では強い鮮明化が生じることが確認できた。なお,この実験における時間的LPFの遮断周波数は2Hzであり,時間的HPFの遮断周波数は6Hzである(時間的BEFの低域遮断周波数・高域遮断周波数は,それぞれ2Hz・6Hz)。
【0078】
〔実験2〕
空間フィルタを施した映像における運動の鮮明化現象を図7に示す。実験は,映像数=12,被験者数=14で行った。この実験から,以下のような知見が得られた。図7に示されるように,低空間周波数成分(空間的LPF)が鮮明化を引き起こす。また,高空間周波数成分のみを持つ映像(空間的HPF)はぼけるが,低空間周波数成分を足し合わせた空間的BEF映像においては,両者の相互作用により,鮮明化の量が増すことが確認できた。なお,この実験における空間的LPFの遮断周波数は3cycles/imageであり,空間的HPFの遮断周波数は8cycles/imageである(空間的BEFの低域遮断周波数・高域遮断周波数は,それぞれ3cycles/image・8cycles/image)。
【0079】
〔実験3〕
視覚刺激を調べるために以下のような映像を用意した。
・映像A:輝度信号に時間的HPF(遮断周波数=5Hz,ただし直流成分を残す)のフ ィルタをかけた映像
・映像B:色差のみの映像(フィルタ処理なし)
・映像A&B:映像Aと映像Bの合成映像
被験者に,これらの映像A,映像B,合成映像A&Bを,「順送り」あるいは「逆送り」で短時間(0.5秒〜4.0秒)提示し,その順/逆のいずれかを当てさせるという実験を,映像数=12,被験者数=5で行った。
【0080】
これらの実験結果を,図8および図9に示す。図8は,映像A,映像B,合成映像A&Bのそれぞれの正答率の関係を示している。
【0081】
図9は合成映像A&Bの正答率と,映像A,映像Bそれぞれからの推定正答率の比較を示している。図9において,映像A,映像Bそれぞれからの確率加重の計算は,次の参考文献に基づいて行った。
[参考文献]S.M.Wuerger et al.: "The integration of auditory and visual motion signals at threshold", Perception & Psychophysics, Vol.65, No.8, pp.1188-1196, 2003.
これらの実験結果から,次の知見が得られた。
・時間的HPFを輝度成分に施した映像Aの運動方向の判断は,色成分の映像Bを付け足すと向上する(図8参照)。
・映像Aと映像Bの個々の成分の正答率の確率加重よりも,合成映像A&Bの正答率が上回った(図9参照)。
【0082】
この実験結果は,本発明による前処理のように,輝度信号に時間的HPFを施しても,色差信号の存在が動きの知覚を助けることを示している。
【0083】
以上説明したように,従来技術では,画像符号化の前処理として,空間帯域/時間帯域の高域を落とすことしか考えられていなかったのに対し,本発明では,空間帯域/時間帯域/色空間帯域の一部帯域を落とす前処理を行っても人間の認識にはほとんど影響がないという,人間の視覚・知覚特性の実験結果に基づき,画像符号化前に,これらの一部帯域を減衰させるフィルタを用いて輝度色差分離型ビデオ信号の前処理を実行する。本発明は,特定の一部帯域の減衰により,従来技術の前処理ではなしえなっかった画像符号量の削減が可能になるとの顕著な効果を奏する。
【0084】
入力したビデオ信号に含まれる色差信号のうち,青−黄成分に対して時間的LPFを施す場合,遮断周波数がF(Hz)のフィルタを用いるが,Fは人間の視覚・知覚特性の主観実験によれば,映像の劣化度と符号化における情報量削減としての前処理の効果との兼ね合いから,2Hz前後が好適であることがわかった。2Hz前後より遮断周波数が低い場合,色成分がぼけすぎてしまい,輝度と合わせたときに全体として映像の劣化が目立つようになる。一方,遮断周波数がこれより高い場合,情報量削減としての前処理の効果は小さくなる。なお,少なくとも2±0.5Hzの範囲であれば2Hz前後ということができ,この範囲であれば従来の前処理よりも良好な結果が得られることが明らかである。
【0085】
また,入力したビデオ信号に含まれる色差信号のうち,青−黄成分に対して空間的LPFを施す場合,遮断周波数がC(cycles/image)のフィルタを用いるが,Cは人間の視覚・知覚特性の主観実験によれば,3cycles/image前後が好適であることがわかった。3cycles/image前後より遮断周波数が低い場合,色成分がぼけすぎてしまい,輝度と合わせたときに全体として映像の劣化が目立つようになる。一方,遮断周波数がこれより高い場合,情報量削減としての前処理の効果は小さくなる。なお,少なくとも3±0.9cycles/imageの範囲であれば3cycles/image前後ということができ,この範囲であれば従来の前処理よりも良好な結果が得られることが明らかである。
【0086】
また,入力したビデオ信号に含まれる輝度・色差各信号に,時間的BEFを施す場合,低域遮断周波数がF1(Hz),高域遮断周波数がF2(Hz)のフィルタを用いるが,人間の視覚・知覚特性の主観実験によれば,F1は2Hz前後(2±0.5Hz),F2は6Hz前後(6±0.5Hz)が好適であることがわかった。低域遮断周波数F1が2Hz前後より低い場合,色や輝度成分がぼけすぎてしまい,全体として映像の劣化が目立つようになる。一方,低域遮断周波数F1がこれより高い場合,情報量削減としての前処理の効果は小さくなる。また,高域遮断周波数F2が6Hz前後より低い場合,情報量削減としての前処理の効果は小さくなる。一方,高域遮断周波数F2がこれより高い場合,情報の削り過ぎにより,全体として映像の劣化が目立つようになる。
【0087】
また,入力したビデオ信号に含まれる輝度・色差各信号に,空間的BEFを施す場合,低域遮断周波数がC1(cycles/image),高域遮断周波数がC2(cycles/image)のフィルタを用いるが,人間の視覚・知覚特性の主観実験によれば,C1は3cycles/image(3±0.9cycles/image),C2は8cycles/image前後(8±0.9cycles/image)が好適であることがわかった。低域遮断周波数C1が3cycles/image前後より低い場合,色や輝度成分がぼけすぎてしまい,全体として映像の劣化が目立つようになる。一方,低域遮断周波数C1がこれより高い場合,情報量削減としての前処理の効果は小さくなる。また,高域遮断周波数C2が8cycles/image前後より低い場合,情報量削減としての前処理の効果は小さくなる。一方,高域遮断周波数C2がこれより高い場合,情報の削り過ぎにより,全体として映像の劣化が目立つようになる。
【0088】
また,入力したビデオ信号に含まれる輝度信号に,時間的HPFを施し,該信号に時間的直流成分を重畳する前処理を行う場合,遮断周波数がF3(HZ)のフィルタを用いる。人間の視覚・知覚特性の主観実験によれば,求めるクォリティや映像の種類にもよるが,F3は4Hzから6Hz,好ましくは5Hz前後(5±0.5Hz)が好適であることがわかった。
【0089】
これらの前処理のいくつかを組み合わせて実施することも可能である。なお,いくつかを組み合わせる場合でも,低・中周波数領域を落としすぎると,滑らかな運動印象が喪失することになるので,上記の主観実験をもとに決定された遮断周波数を採用するのが望ましい。
【符号の説明】
【0090】
1 入力手段
2 CPU
3 メモリ(RAM)
4 デジタルフィルタ部
5 出力手段
6 フィルタ情報記憶部
7 プログラム記憶部
8 バス線
10 信号処理制御プログラム
11a,11b,11c,… 信号処理プログラム
【技術分野】
【0001】
本発明は高能率ビデオ符号化において,特に低ビットレート符号化における映像品質の改善を目的として,符号化に先立ちビデオ信号に処理を施すビデオ信号前処理方法に関する。
【背景技術】
【0002】
ビデオ信号は,表示においてはR(赤),G(緑),B(青)の3原色により表現されているが,通常の高能率符号化においては,RGBを線形変換したY(輝度),U(青−黄色差),V(赤−緑色差)の3信号により表現されるのが普通である。
【0003】
符号化効率の改善を目的とした従来のビデオ前処理方式として,特にU,V信号の空間的な起伏はY信号に比べ知覚されにくいことに着目し,
(i)U,Vそれぞれ水平方向に1/2に間引いた所謂4:2:2信号(RGB比容量1/2),
(ii)U,Vそれぞれ水平垂直各方向に1/2に間引いた所謂4:2:0信号(RGB比容量1/3),
(iii) U,Vそれぞれ水平方向に1/4に間引いた所謂4:1:1信号(RGB比容量1/3),
のように積極的に情報量を削減することが広くなされている。
【0004】
また,以下の特許・非特許文献には,ビデオ信号の前処理に関する技術として,それぞれ次のような性質のものが記載されている。
【0005】
下記の特許文献1には,前処理は空間的な低域通過フィルタ(LPF)に限定し,輝度変化やエッジ有無に応じてLPF強度を適応的に変化させる技術が示されている。
【0006】
下記の特許文献2には,前処理は空間的なLPFおよび信号レベルの補正・画像サイズの変更・ノイズの低減などにより行うことが示されている。
【0007】
下記の特許文献3には,前処理として空間的なLPFあるいは雑音除去を行うことが示されている。
【0008】
下記の特許文献4には,「時空間フィルタ」を,シーンチェンジ適応させた空間LPFの意味で使い,LPF強度を適応変化させる技術が示されている。
【0009】
下記の非特許文献1には,ビデオ信号に含まれている雑音成分を低減するものが示されている。
【0010】
下記の非特許文献2には,符号量削減を目的とした時間的前処理を行うものが示されている。
【0011】
下記の非特許文献3には,エッジを残しつつ,画像中の芝目などの高周波部分を平坦化するものが示されている。
【0012】
これらに記載された技術はいずれも,前処理の度合いを適応的に変化させたり雑音を除去するものであり,ビデオ信号の空間帯域の高域,あるいは時空間の雑音帯域あるいは高域といった部分に着目したビデオ情報の削減を狙った技術である。
【0013】
これらのような前処理をビデオ信号に施すことにより,信号の持つ帯域の一部が低減され,後段の符号化の結果,符号量(ビットレート)が減少するという好ましい効果が得られる。
【0014】
しかしながら,従来,輝度と色差信号の時空間帯域の一部(低・中周波数領域等)に着目し,効果的に情報量を低減するビデオ信号前処理方法はなかった。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】特開2005−026747公報
【特許文献2】特開2003−250156公報
【特許文献3】特開2002−016910公報
【特許文献4】特開2001−251629公報
【非特許文献】
【0016】
【非特許文献1】松村,長谷山,北島:“効果的な雑音除去のための適応的な画像のモデル化によるカルマンフィルタ”,電子情報通信学会論文誌,Vol.J86-D2,No.2,pp.212-222,Feb.2003
【非特許文献2】辻,阪谷,八島,小林:“非等方拡散に基づく低ビットレート符号化用プレフィルタの検討”,画像符号化シンポジウム PCSJ2001,P-5.19,Nov.2001
【非特許文献3】木全,八島,小林:“低ビットレート映像符号化におけるエッジ保存形プレフィルタ制御方法の一検討”,画像符号化シンポジウム PCSJ2000,P-P1.14 ,Nov.2000
【発明の概要】
【発明が解決しようとする課題】
【0017】
本発明は,上に述べたような問題に鑑みて,人間の知覚特性に応じ,知覚されにくい輝度・色差信号の前処理を行い,符号化前の段階で情報量を削減しておくことにより,知覚的な印象はできるだけ保存しつつ,後段の符号化の結果の符号量を削減することを目的とする。
【課題を解決するための手段】
【0018】
輝度と色差の信号に,デジタルフィルタによる信号処理を施し,これを動画として表示した際,人間の知覚にこの処理がどのように影響を及ぼすかを定量評価し,できるだけ知覚に影響の及ぼされない信号処理を選択する。
【0019】
〔人間の視覚・知覚特性〕
本発明者が行った心理物理実験の結果,人間が目および脳で知覚する動きには,以下のような性質があることがわかった。
【0020】
・知覚特性1:輝度一定で,かつ色差空間において青−黄方向のみが,時間的あるいは空間的に変化するような,ビデオ信号の変動(起伏や動き)は知覚しにくい。
【0021】
・知覚特性2:輝度・色差に空間的あるいは時間的なBEF(Band Elimination Filter) を施す場合と,施さない場合とで,ほぼ同様の見えが知覚される。
【0022】
・知覚特性3:輝度信号のみのビデオ信号に時間的HPF(High Pass Filter)を施すと動きの知覚が困難になるが,輝度色差信号の輝度信号のみに時間的HPFを施しても,動きは知覚できる(ただし,直流成分のみは残す)。
【0023】
ここでBEFはバンド抑圧フィルタ,HPFは高域通過フィルタである。
【0024】
〔第1の関連発明〕
この関連発明に係るビデオ信号前処理方法は,上記知覚特性1に鑑み,YUV変換されたビデオ信号のU成分(色差空間の青−黄方向に対応)に,時間的な一次元LPFを施すものである。
【0025】
主観実験より,青−黄信号の時間解像度は2Hz程度まで落としても極端な劣化を感じさせないことがわかっている。
【0026】
LPFの次数・フィルタ係数は任意であるが,例えば[1/4, 1/2, 1/4 ]の3タップフィルタが挙げられる。このフィルタを,隣接するフレームの同一空間位置において施していく。
【0027】
すなわち,空間位置を(x,y),時刻(フレーム番号)tのU信号をU(x,y,t) とするとき,新しいU信号U'(x,y,t)を,
U'(x,y,t)=(1/4) U(x,y,t-1) +(1/2) U(x,y,t) +(1/4) U(x,y,t+1)
のように求める。
【0028】
時間的に端を越える部分については,例えば端の画像信号が繰り返されているものとして扱う。
【0029】
〔第2の関連発明〕
この関連発明に係るビデオ信号前処理方法は,上記知覚特性1に鑑み,YUV変換されたビデオ信号のU成分に,空間的な二次元LPFを施すものである。
【0030】
主観実験より,青−黄信号の空間解像度は3cycles/image程度まで落としても極端な劣化を感じさせないことがわかっている。
【0031】
LPFの次数・フィルタ係数は任意であるが,例えば[1/4, 1/2, 1/4 ]の3タップフィルタを縦横に施した
1/16 1/8 1/16
1/8 1/4 1/8
1/16 1/8 1/16
が挙げられる。このフィルタを,同一フレームの隣接空間位置において施していく。
【0032】
すなわち,新しいU信号U'(x,y,t)を,
U'(x,y,t)=(1/16)U(x-1,y-1,t) +(1/8) U(x,y-1,t) +(1/16)U(x+1,y-1,t) +
(1/8) U(x-1,y,t) +(1/4) U(x,y,t) +(1/8) U(x+1,y,t) +
(1/16)U(x-1,y+1,t) +(1/8) U(x,y+1,t) +(1/16)U(x+1,y+1,t)
のように求める。
【0033】
画面端を越える部分については,例えば端の画像信号が繰り返されているものとして扱う。
【0034】
〔第3の関連発明〕
この関連発明に係るビデオ信号前処理方法は,上記知覚特性2に鑑み,YUV変換されたビデオ信号のY,U,V各成分に,時間的な一次元BEFを施すものである。
【0035】
主観実験より,時間BEFの低域遮断周波数を2Hz程度,高域遮断周波数を6Hz程度としても極端な劣化を感じさせないことがわかっている。通常の画像信号においては電力のおよそ半分はこの帯域にあるので,大きな情報削減が期待できる。
【0036】
BEFの次数・フィルタ係数は任意であるが,例えば[0.3, 0, 0.4, 0, 0.3 ]の5タップフィルタが挙げられる。このフィルタを,隣接するフレームの同一空間位置において施していく。
【0037】
すなわち,空間位置(x,y),時刻tのY信号をY(x,y,t) とするとき,新しいY信号Y'(x,y,t)を,
Y'(x,y,t)=0.3 Y(x,y,t-2) +0.4 Y(x,y,t) +0.3 Y(x,y,t+2)
のように求める。
【0038】
時間的に端を越える部分については,例えば端の画像信号が繰り返されているものとして扱う。
【0039】
〔第4の関連発明〕
この関連発明に係るビデオ信号前処理方法は,上記知覚特性2に鑑み,YUV変換されたビデオ信号のY,U,V各成分に,空間的な二次元BEFを施すものである。
【0040】
主観実験より,空間BEFの低域遮断周波数を3cycles/image程度,高域遮断周波数を8cycles/image程度としても極端な劣化を感じさせないことがわかっている。
【0041】
BEFの次数・フィルタ係数は任意であるが,例えば[0.3, 0, 0.4, 0, 0.3 ]の5タップフィルタを縦横に施した
O.09 0 0.12 0 0.09
0 0 0 0 0
O.12 0 0.16 0 0.12
0 0 0 0 0
O.09 0 0.12 0 0.09
が挙げられる。このフィルタを,同一フレームの隣接空間位置において施していく。
【0042】
すなわち,新しいY信号Y'(x,y,t)を,
Y'(x,y,t)=0.09Y(x-2,y-2,t) +0.12Y(x,y-2,t) +0.09Y(x+2,y-2,t) +
0.12Y(x-2,y,t) +0.16Y(x,y,t) +0.12Y(x+2,y,t) +
0.09Y(x-2,y+2,t) +0.12Y(x,y+2,t) +0.09Y(x+2,y+2,t)
のように求める。
【0043】
画面端を越える部分については,例えば端の画像信号が繰り返されているものとして扱う。
【0044】
〔本発明〕
この発明に係るビデオ信号前処理方法は,上記知覚特性3に鑑み,YUV変換されたビデオ信号のY成分に,時間的HPF(但し直流は保存)を施すものである。
【0045】
主観実験より,Y成分に対する時間的HPFの遮断周波数を5Hz程度としても極端な劣化を感じさせないことがわかっている。
【0046】
HPFのフィルタ係数は任意であるが,例えば[−1/2, 1, −1/2 ]の3タップフィルタを施した。
【0047】
このフィルタを,隣接フレームの同一空間位置において施していく。
【0048】
すなわち,新しいY信号Y'(x,y,t)を,
Y'(x,y,t)=−(1/2) Y(x,y,t-1) +Y(x,y,t) −(1/2) Y(x,y,t+1)
のように求める。
【0049】
次いで,各画素位置(x,y)において直流分を以下のように加える。
【0050】
Y'(x,y,t)=Y'(x,y,t)+Σt Y(x,y,t) /N
第二項が原信号の直流に相当する。Nはフレーム枚数である。
【0051】
〔第5の関連発明〕
この関連発明に係るビデオ信号前処理方法は,本発明と上記第1〜第4の関連発明に係るビデオ信号前処理方法のいずれか複数を組み合わせて輝度色差分離型ビデオ信号の一部帯域を減衰させる。どのビデオ信号前処理方法を組み合わせて適用するかについては,あらかじめ固定的に定めておいてもよく,また,その都度ユーザに選択させる方法を用いてもよい。
【0052】
以上のようなフィルタのデジタル演算は,コンピュータと画像処理用プログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。
【発明の効果】
【0053】
以上説明したように,本発明は輝度選択的HPFという,従来の空間的・時間的LPFに基づく方式が着目していた高周波の帯域とは異なる帯域に着目し,帯域を削減するものであるが,ビデオ信号に本発明のような前処理を施すことで,従来方式では削減できず残存せざるをえなかった帯域の削減が達成でき,結果として後段の符号化効率を従来方式に増して改善できるという,格別の効果が生まれる。
【図面の簡単な説明】
【0054】
【図1】本発明に係るビデオ信号前処理装置の構成例を示す図である。
【図2】第1の信号処理プログラムの処理フローチャートである。
【図3】第2の信号処理プログラムの処理フローチャートである。
【図4】本発明の実施例で用いるフィルタの概念図である。
【図5】コントラストの増減方法の例を示す図である。
【図6】時間フィルタを施した映像における運動の鮮明化現象を示す図である。
【図7】空間フィルタを施した映像における運動の鮮明化現象を示す図である。
【図8】映像A,映像B,合成映像A&Bのそれぞれの正答率の関係を示す図である。
【図9】合成映像A&Bの正答率と,映像A,映像Bそれぞれからの推定正答率の比較を示す図である。
【発明を実施するための形態】
【0055】
図1は,本発明に係るビデオ信号前処理装置の構成例を示す図である。
【0056】
本ビデオ信号前処理装置は,輝度色差分離型ビデオ信号の入力手段1と,プログラムを実行するCPU2と,メモリ(RAM)3と,フィルタ処理を行うデジタルフィルタ部4と,前処理により帯域を減衰させた結果の輝度色差分離型ビデオ信号を出力する出力手段5と,フィルタ情報を記憶するフィルタ情報記憶部6と,信号を処理するためのプログラムを格納したプログラム記憶部7と,それらを接続するバス線8とから構成される。
【0057】
フィルタ情報記憶部6には,事前に設定されたデジタルフィルタの種類ごとのフィルタ係数(パラメータ)が記憶されている。プログラム記憶部7には,適用するデジタルフィルタの種別に応じた信号前処理を実行するための各信号処理プログラム11a,11b,11c,…と,それらの起動制御を行うための信号処理制御プログラム10とが格納される。信号処理プログラムが単独の場合には,信号処理制御プログラム10を用いない構成にすることもできる。
【0058】
CPU2は,プログラム記憶部7からロードした信号処理制御プログラム10を実行し,あらかじめ選択された信号処理プログラムまたはユーザが指定した信号処理プログラムをプログラム記憶部7から読み出して実行する。CPU2は,信号処理プログラムを実行することにより,フィルタ情報記憶部6からフィルタ係数をロードし,ビデオ信号の一部に対する処理を繰り返し,全入力信号に対する処理等を行う。
【0059】
RAM3は,出力用のデータを一旦格納するものであり,デジタルフィルタ部4は,フィルタ係数およびCPU2からの指示に従って,メモリ上の信号系列に対し1次元フィルタ処理あるいは2次元フィルタ処理を実行し,必要なビデオデータを生成する。
【0060】
本ビデオ信号前処理装置内の記憶装置には,フィルタ情報記憶部6とプログラム記憶部7とが設けられているが,これらに記憶されるフィルタ情報および信号処理プログラムは,別々に変更可能である。例えば信号処理プログラム11aは,上述した第1の関連発明を実現するためのプログラムであり,信号処理プログラム11bは,第2の関連発明を実現するためのプログラムである。信号処理プログラム11cは,本発明を実現するためのプログラムである。他の信号処理プログラム等も同様に入力信号に特定のデジタルフィルタ処理を適用し,一部帯域を減衰するためのプログラムである。
【0061】
図2は,信号処理プログラム11aの処理フローチャートである。以下,図2に従って,第1の関連発明を実現するビデオ信号前処理の動作を説明する。
【0062】
処理開始の指示が出されると,ステップS11では,信号処理プログラム11aに従って,入力手段1を利用して輝度色差分離型ビデオ信号を入力する。次に,ステップS12では,フィルタ情報記憶部6から時間帯域を減衰させるためのLPFフィルタ係数をロードする。
【0063】
ステップS13では,未処理の空間位置(x,y)を一つ決定する。続いて,ステップS14では,決定した空間位置(x,y)における全時間の輝度信号系列と赤−緑色差信号系列(ともに1次元の列)とを抽出し,メモリを利用して一時蓄積する。ステップS15では,同様に空間位置(x,y)における全時間の青−黄色差信号系列を抽出する。
【0064】
次に,ステップS16では,LPFフィルタ係数およびデジタルフィルタ部4を利用して該信号系列にフィルタ処理(1次元処理である)を施す。ステップS17では,フィルタ処理によって生成された処理済み信号系列を,メモリを利用して一時蓄積する。
【0065】
その後,ステップS18では,すべての空間位置(x,y)が処理されたかを判断し,未処理の空間位置(x,y)があれば,ステップS13へ戻る。すべての空間位置(x,y)の処理が終われば,ステップS19へ進み,メモリに蓄積された情報を,入力と同じ輝度色差分離型ビデオ信号の形態として出力手段5を用いて出力し終了する。
【0066】
図3は,信号処理プログラム11bの処理フローチャートである。以下,図3に従って,第2の関連発明を実現するビデオ信号前処理の動作を説明する。
【0067】
処理開始の指示が出されると,ステップS21では,信号処理プログラム11bに従って,入力手段1を利用して輝度色差分離型ビデオ信号を入力する。次に,ステップS22では,フィルタ情報記憶部6から空間帯域を減衰させるためのLPFフィルタ係数をロードする。
【0068】
ステップS23では,未処理の時刻t(フレーム番号)を一つ決定する。続いて,ステップS24では,決定した時刻tにおける全フレームの輝度信号と赤−緑色差フレーム(ともに2次元)とを抽出し,メモリを利用して一時蓄積する。ステップS25では,同様に時刻tにおける青−黄色差信号フレームを抽出する。
【0069】
次に,ステップS26では,LPFフィルタ係数およびデジタルフィルタ部4を利用して該フレームにフィルタ処理(2次元処理である)を施す。ステップS27では,生成された処理済みフレームを,メモリを利用して一時蓄積する。
【0070】
その後,ステップS28では,すべての時刻tが処理されたかを判断し,未処理の時刻tのフレームがあれば,ステップS23へ戻る。すべての時刻tの処理が終われば,ステップS29へ進み,メモリに蓄積された情報を,入力と同じ輝度色差分離型ビデオ信号の形態として出力手段5を用いて出力し終了する。
【0071】
以上,第1および第2の関連発明に係るビデオ信号前処理の実施形態を説明したが,本発明および第3,第4の関連発明に係るビデオ信号前処理についても,同様にあらかじめ定められたフィルタ係数と,該当する信号処理プログラムを用いてCPU2によって実行することができる。
【0072】
第5の関連発明に係るビデオ信号前処理を実現する場合,第5の関連発明に係るビデオ信号前処理をCPU2に実行させるための専用の信号処理プログラムを用いて実現してもよいし,最初に信号処理制御プログラム10を実行することによって信号処理プログラム11a,11b,11c,…の中からいくつかのプログラムを規定値またはユーザの指定値に基づき選択し,選択した信号処理プログラムを用いてCPU2によって逐次的に実行することによって実現することもできる。
【実施例1】
【0073】
図4に,本発明および関連発明の実施例で用いるフィルタの概念図を示す。図4(A)は,低域通過フィルタ(LPF)の例であり,周波数の高域をカットし低域を残す。図4(B)は,高域通過フィルタ(HPF)の例であり,周波数の低域をカットし高域を残す。また,図4(C)は,バンド抑圧フィルタ(BEF)の例であり,本実施例ではLPFとHPFの和となる。
【0074】
本発明および関連発明の効果を確認するために行った実験の結果を以下に示す。時間・空間フィルタが運動の鮮明化に及ぼす影響を次のように測定した。
【0075】
・被験者は,画像の見かけのコントラストを増加させ,フィルタ後の画像と同等に見えるコントラストを同定する。
【0076】
・コントラスト操作は,高空間周波数成分の振幅を相対的に増減させることにより行う。図5に,コントラストの増減方法の例を示す。
【0077】
〔実験1〕
時間フィルタを施した映像における運動の鮮明化現象を図6に示す。実験は,映像数=12,被験者数=14で行った。この実験から,以下のような知見が得られた。図6に示されるように,時間低周波数成分(時間的LPF)において鮮明化が生じることがわかった。また,時間高周波数成分のみを持つ映像(時間的HPF)はぼけるが,両者の相互作用により,時間的BEF映像では強い鮮明化が生じることが確認できた。なお,この実験における時間的LPFの遮断周波数は2Hzであり,時間的HPFの遮断周波数は6Hzである(時間的BEFの低域遮断周波数・高域遮断周波数は,それぞれ2Hz・6Hz)。
【0078】
〔実験2〕
空間フィルタを施した映像における運動の鮮明化現象を図7に示す。実験は,映像数=12,被験者数=14で行った。この実験から,以下のような知見が得られた。図7に示されるように,低空間周波数成分(空間的LPF)が鮮明化を引き起こす。また,高空間周波数成分のみを持つ映像(空間的HPF)はぼけるが,低空間周波数成分を足し合わせた空間的BEF映像においては,両者の相互作用により,鮮明化の量が増すことが確認できた。なお,この実験における空間的LPFの遮断周波数は3cycles/imageであり,空間的HPFの遮断周波数は8cycles/imageである(空間的BEFの低域遮断周波数・高域遮断周波数は,それぞれ3cycles/image・8cycles/image)。
【0079】
〔実験3〕
視覚刺激を調べるために以下のような映像を用意した。
・映像A:輝度信号に時間的HPF(遮断周波数=5Hz,ただし直流成分を残す)のフ ィルタをかけた映像
・映像B:色差のみの映像(フィルタ処理なし)
・映像A&B:映像Aと映像Bの合成映像
被験者に,これらの映像A,映像B,合成映像A&Bを,「順送り」あるいは「逆送り」で短時間(0.5秒〜4.0秒)提示し,その順/逆のいずれかを当てさせるという実験を,映像数=12,被験者数=5で行った。
【0080】
これらの実験結果を,図8および図9に示す。図8は,映像A,映像B,合成映像A&Bのそれぞれの正答率の関係を示している。
【0081】
図9は合成映像A&Bの正答率と,映像A,映像Bそれぞれからの推定正答率の比較を示している。図9において,映像A,映像Bそれぞれからの確率加重の計算は,次の参考文献に基づいて行った。
[参考文献]S.M.Wuerger et al.: "The integration of auditory and visual motion signals at threshold", Perception & Psychophysics, Vol.65, No.8, pp.1188-1196, 2003.
これらの実験結果から,次の知見が得られた。
・時間的HPFを輝度成分に施した映像Aの運動方向の判断は,色成分の映像Bを付け足すと向上する(図8参照)。
・映像Aと映像Bの個々の成分の正答率の確率加重よりも,合成映像A&Bの正答率が上回った(図9参照)。
【0082】
この実験結果は,本発明による前処理のように,輝度信号に時間的HPFを施しても,色差信号の存在が動きの知覚を助けることを示している。
【0083】
以上説明したように,従来技術では,画像符号化の前処理として,空間帯域/時間帯域の高域を落とすことしか考えられていなかったのに対し,本発明では,空間帯域/時間帯域/色空間帯域の一部帯域を落とす前処理を行っても人間の認識にはほとんど影響がないという,人間の視覚・知覚特性の実験結果に基づき,画像符号化前に,これらの一部帯域を減衰させるフィルタを用いて輝度色差分離型ビデオ信号の前処理を実行する。本発明は,特定の一部帯域の減衰により,従来技術の前処理ではなしえなっかった画像符号量の削減が可能になるとの顕著な効果を奏する。
【0084】
入力したビデオ信号に含まれる色差信号のうち,青−黄成分に対して時間的LPFを施す場合,遮断周波数がF(Hz)のフィルタを用いるが,Fは人間の視覚・知覚特性の主観実験によれば,映像の劣化度と符号化における情報量削減としての前処理の効果との兼ね合いから,2Hz前後が好適であることがわかった。2Hz前後より遮断周波数が低い場合,色成分がぼけすぎてしまい,輝度と合わせたときに全体として映像の劣化が目立つようになる。一方,遮断周波数がこれより高い場合,情報量削減としての前処理の効果は小さくなる。なお,少なくとも2±0.5Hzの範囲であれば2Hz前後ということができ,この範囲であれば従来の前処理よりも良好な結果が得られることが明らかである。
【0085】
また,入力したビデオ信号に含まれる色差信号のうち,青−黄成分に対して空間的LPFを施す場合,遮断周波数がC(cycles/image)のフィルタを用いるが,Cは人間の視覚・知覚特性の主観実験によれば,3cycles/image前後が好適であることがわかった。3cycles/image前後より遮断周波数が低い場合,色成分がぼけすぎてしまい,輝度と合わせたときに全体として映像の劣化が目立つようになる。一方,遮断周波数がこれより高い場合,情報量削減としての前処理の効果は小さくなる。なお,少なくとも3±0.9cycles/imageの範囲であれば3cycles/image前後ということができ,この範囲であれば従来の前処理よりも良好な結果が得られることが明らかである。
【0086】
また,入力したビデオ信号に含まれる輝度・色差各信号に,時間的BEFを施す場合,低域遮断周波数がF1(Hz),高域遮断周波数がF2(Hz)のフィルタを用いるが,人間の視覚・知覚特性の主観実験によれば,F1は2Hz前後(2±0.5Hz),F2は6Hz前後(6±0.5Hz)が好適であることがわかった。低域遮断周波数F1が2Hz前後より低い場合,色や輝度成分がぼけすぎてしまい,全体として映像の劣化が目立つようになる。一方,低域遮断周波数F1がこれより高い場合,情報量削減としての前処理の効果は小さくなる。また,高域遮断周波数F2が6Hz前後より低い場合,情報量削減としての前処理の効果は小さくなる。一方,高域遮断周波数F2がこれより高い場合,情報の削り過ぎにより,全体として映像の劣化が目立つようになる。
【0087】
また,入力したビデオ信号に含まれる輝度・色差各信号に,空間的BEFを施す場合,低域遮断周波数がC1(cycles/image),高域遮断周波数がC2(cycles/image)のフィルタを用いるが,人間の視覚・知覚特性の主観実験によれば,C1は3cycles/image(3±0.9cycles/image),C2は8cycles/image前後(8±0.9cycles/image)が好適であることがわかった。低域遮断周波数C1が3cycles/image前後より低い場合,色や輝度成分がぼけすぎてしまい,全体として映像の劣化が目立つようになる。一方,低域遮断周波数C1がこれより高い場合,情報量削減としての前処理の効果は小さくなる。また,高域遮断周波数C2が8cycles/image前後より低い場合,情報量削減としての前処理の効果は小さくなる。一方,高域遮断周波数C2がこれより高い場合,情報の削り過ぎにより,全体として映像の劣化が目立つようになる。
【0088】
また,入力したビデオ信号に含まれる輝度信号に,時間的HPFを施し,該信号に時間的直流成分を重畳する前処理を行う場合,遮断周波数がF3(HZ)のフィルタを用いる。人間の視覚・知覚特性の主観実験によれば,求めるクォリティや映像の種類にもよるが,F3は4Hzから6Hz,好ましくは5Hz前後(5±0.5Hz)が好適であることがわかった。
【0089】
これらの前処理のいくつかを組み合わせて実施することも可能である。なお,いくつかを組み合わせる場合でも,低・中周波数領域を落としすぎると,滑らかな運動印象が喪失することになるので,上記の主観実験をもとに決定された遮断周波数を採用するのが望ましい。
【符号の説明】
【0090】
1 入力手段
2 CPU
3 メモリ(RAM)
4 デジタルフィルタ部
5 出力手段
6 フィルタ情報記憶部
7 プログラム記憶部
8 バス線
10 信号処理制御プログラム
11a,11b,11c,… 信号処理プログラム
【特許請求の範囲】
【請求項1】
輝度色差分離型ビデオ信号を入力とし,後段での符号化を前提とした前処理を該入力信号に施し,入力と同形式の輝度色差分離型ビデオ信号を出力するビデオ信号前処理方法であって,
輝度色差分離型ビデオ信号を入力するステップと,
入力したビデオ信号のもつ空間帯域または時間帯域または色空間帯域の一部帯域を減衰させる前処理ステップと,
該前処理を施した信号と前処理を施さなかった信号とを統合し出力するステップとを有し,
上記前処理ステップは,上記入力したビデオ信号に含まれる輝度信号に,遮断周波数がF3ヘルツ(F3は主観実験により定められた所定値)の時間的高域通過フィルタを施し,該フィルタを施した信号に,上記入力したビデオ信号に含まれる輝度信号から得た時間的直流成分を重畳するステップである
であることを特徴とするビデオ信号前処理方法。
【請求項2】
輝度色差分離型ビデオ信号を入力とし,後段での符号化を前提とした前処理を該入力信号に施し,入力と同形式の輝度色差分離型ビデオ信号を出力するビデオ信号前処理装置であって,
輝度色差分離型ビデオ信号を入力する入力手段と,
入力したビデオ信号のもつ空間帯域または時間帯域または色空間帯域の一部帯域を減衰させる前処理手段と,
該前処理を施した信号と前処理を施さなかった信号とを統合し出力する出力手段とを備え,
上記前処理手段は,上記入力したビデオ信号に含まれる輝度信号に,遮断周波数がF3ヘルツ(F3は主観実験により定められた所定値)の時間的高域通過フィルタを施し,該フィルタを施した信号に,上記入力したビデオ信号に含まれる輝度信号から得た時間的直流成分を重畳する手段である
ことを特徴とするビデオ信号前処理装置。
【請求項3】
請求項1に記載のビデオ信号前処理方法をコンピュータに実行させるためのビデオ信号前処理プログラム。
【請求項1】
輝度色差分離型ビデオ信号を入力とし,後段での符号化を前提とした前処理を該入力信号に施し,入力と同形式の輝度色差分離型ビデオ信号を出力するビデオ信号前処理方法であって,
輝度色差分離型ビデオ信号を入力するステップと,
入力したビデオ信号のもつ空間帯域または時間帯域または色空間帯域の一部帯域を減衰させる前処理ステップと,
該前処理を施した信号と前処理を施さなかった信号とを統合し出力するステップとを有し,
上記前処理ステップは,上記入力したビデオ信号に含まれる輝度信号に,遮断周波数がF3ヘルツ(F3は主観実験により定められた所定値)の時間的高域通過フィルタを施し,該フィルタを施した信号に,上記入力したビデオ信号に含まれる輝度信号から得た時間的直流成分を重畳するステップである
であることを特徴とするビデオ信号前処理方法。
【請求項2】
輝度色差分離型ビデオ信号を入力とし,後段での符号化を前提とした前処理を該入力信号に施し,入力と同形式の輝度色差分離型ビデオ信号を出力するビデオ信号前処理装置であって,
輝度色差分離型ビデオ信号を入力する入力手段と,
入力したビデオ信号のもつ空間帯域または時間帯域または色空間帯域の一部帯域を減衰させる前処理手段と,
該前処理を施した信号と前処理を施さなかった信号とを統合し出力する出力手段とを備え,
上記前処理手段は,上記入力したビデオ信号に含まれる輝度信号に,遮断周波数がF3ヘルツ(F3は主観実験により定められた所定値)の時間的高域通過フィルタを施し,該フィルタを施した信号に,上記入力したビデオ信号に含まれる輝度信号から得た時間的直流成分を重畳する手段である
ことを特徴とするビデオ信号前処理装置。
【請求項3】
請求項1に記載のビデオ信号前処理方法をコンピュータに実行させるためのビデオ信号前処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【公開番号】特開2009−207203(P2009−207203A)
【公開日】平成21年9月10日(2009.9.10)
【国際特許分類】
【出願番号】特願2009−143794(P2009−143794)
【出願日】平成21年6月17日(2009.6.17)
【分割の表示】特願2005−158452(P2005−158452)の分割
【原出願日】平成17年5月31日(2005.5.31)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成21年9月10日(2009.9.10)
【国際特許分類】
【出願日】平成21年6月17日(2009.6.17)
【分割の表示】特願2005−158452(P2005−158452)の分割
【原出願日】平成17年5月31日(2005.5.31)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]