説明

映像信号処理装置、動き検出方法およびプログラム

【課題】動き検出を行うためのフレーム間でドット妨害成分の位相が異なっていたとしても、ドット妨害成分に影響されることなく、高精度な動き検出を可能とする。
【解決手段】動き検出部202は、動き検出信号を得る画素毎に、算出領域を設定する。動き検出部202は、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値を求め、この差分絶対値と閾値との比較結果に基づいて動き検出信号αを得る。算出領域は、動き検出信号を得る画素(注目画素)を中心とし、水平幅がドット妨害成分の水平方向周期の整数倍で垂直幅がドット妨害成分の垂直方向周期の整数倍に設定される。現在フレームと過去フレームとの間でドット妨害成分の位相が異なっていても、算出領域内の輝度値総和どうしの差分絶対値は静止領域では極めて小さな値となる。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、映像信号処理装置、動き検出方法およびプログラムに関し、特に、画素毎の動き検出信号に基づいて映像信号の処理を行う映像信号処理装置等に関する。
【背景技術】
【0002】
近年、デジタル放送や外部機器からテレビ受信機に、ドット妨害成分やクロスカラー妨害成分が含まれるコンポーネントの映像信号(輝度信号、色差信号)が入力される機会が増えている。これらの信号の中には、YC分離後の拡大処理(スケーリング)でドット妨害成分やクロスカラー妨害成分がより顕著になっているものも少なくない。このため、コンポーネントの映像信号におけるこれらの妨害成分の低減処理の重要性が増している。
【0003】
例えば、放送局においてデジタル放送用のHD(High Definition)映像コンテンツを作成する際、その素材としては、SD(Standard Definition)映像信号で記録されたコンテンツがしばしが利用される。このSD映像信号がコンポジット映像信号であった場合、SD映像信号からHD映像信号へのアップコンバート時にYC分離が精度よく行われないと、結果として、放送局から配信されるコンポーネントのHD映像信号(輝度信号、色差信号)にドット妨害成分、クロスカラー妨害成分が含まれることになる。
【0004】
ドット妨害成分やクロスカラー妨害成分の有効な低減処理のひとつとして、ドット妨害成分やクロスカラー妨害成分の時間方向の周期性を利用した手法がある。具体的には、妨害成分が位相反転関係にあるフレーム間で平滑化処理を行うことで、ドット妨害成分やクロスカラー妨害成分を低減する手法である。ただし、この手法は低減処理が時間方向の平滑化処理であるため、動いている領域を処理してしまうとぼやけ等の副作用が発生してしまう危険性がある。
【0005】
このため、例えば、特許文献1、特許文献2等には、動き検出を用いて適応的に時間方向の平滑化処理を行うことで、副作用の発生を抑えつつ効果を出す手法が提案されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007− 67888号公報
【特許文献2】特開2007−221407号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、これらの手法における動き検出処理は、ドット妨害成分が同位相のフレーム間で判定を行う必要があり、フレームメモリが多く必要になってしまうという問題点がある。ここで、インタレース入力の場合、同位相のフィールド間で処理を行うためには、NTSC方式の信号では、4フィールド前、PAL形式の信号では8フィールド前を参照する必要がある。
【0008】
このように動き検出のためにフレームメモリを数多く持つことを避けるためには、ドット妨害成分の位相が異なるフレーム間で動き検出を行うことが必要となる。しかし、ドット妨害成分による輝度値の変動は小さくなく、高精度な動き検出を実現するのは困難である。例えば、デジタル放送で配信されるコンポーネント映像信号の輝度信号に含まれるドット妨害成分の振幅は、8ビット深度の輝度信号の輝度値(0〜255)で100程度に達することがある。
【0009】
この発明の目的は、動き検出を行うためのフレーム間でドット妨害成分の位相が異なっていたとしても、ドット妨害成分に影響されることなく、高精度な動き検出を可能とすることにある。
【課題を解決するための手段】
【0010】
この発明の概念は、
入力映像信号に含まれる輝度信号に基づいて画素毎の動き検出信号を得る動き検出部と、
上記動き検出部で得られた画素毎の動き検出信号に基づいて、上記入力映像信号の処理を行って出力映像信号を得る映像処理部を備え、
上記動き検出部は、現在フレームと過去フレームとの間で、注目画素を含み該注目画素を中心とした、水平幅がドット妨害成分の水平方向周期の整数倍で、垂直幅がドット妨害成分の垂直方向周期の整数倍の算出領域内の輝度値総和どうしの差分絶対値を求め、該差分絶対値に基づいて上記注目画素の動き検出信号を得る
映像信号処理装置にある。
【0011】
この発明において、動き検出部により、入力映像信号に含まれる輝度信号に基づいて画素毎の動き検出信号が得られる。この場合、注目画素を含みこの注目画素を中心とした、水平幅がドット妨害成分の水平方向周期の整数倍で、垂直幅がドット妨害成分の垂直方向周期の整数倍である算出領域が設定される。そして、現在フレームと過去フレームとの間で、設定された算出領域内の輝度値総和どうしの差分絶対値が求められ、この差分絶対値に基づいて注目画素の動き検出信号が得られる。
【0012】
上述のように算出領域が設定された場合、現在フレームと過去フレームとの間でドット妨害成分の位相が異なっていたとしても、上述の算出領域内の輝度値総和どうしの差分絶対値は静止領域では極めて小さな値となる。そのため、ドット妨害成分に影響されることなく、注目画素の動き検出信号を高精度に得ることができる。
【0013】
この発明において、例えば、動き検出部は、現在フレームと過去フレームとの間で、算出領域内の画素毎の差分絶対値の総和をさらに求め、この算出領域内の輝度値総和どうしの差分絶対値と、この算出領域内の画素毎の差分絶対値の総和との加算平均値を求め、この加算平均値に基づいて注目画素の動き検出信号を得る、ようにしてもよい。このように、算出領域内の輝度値総和どうしの差分絶対値の他に、算出領域内の画素毎の差分絶対値の総和を併せて用いることで、例えば、フラットな背景の前を細い線が移動するような、算出領域内の輝度値総和どうしの差分絶対値では差分が出ないパターンで、検出漏れが発生することを防ぐことができる。
【0014】
また、この発明において、例えば、現在フレームまたは過去フレームの算出領域内の輝度値の分散値を求める分散値算出部をさらに備え、動き検出部は、算出領域内の輝度値総和どうしの差分絶対値を閾値と比較した結果に基づいて注目画素の動き検出信号を取得し、閾値を分散値算出部で求められた分散値に応じて適応的に制御する、ようにしてもよい。算出領域内の輝度値の分散値が大きい場合、算出領域内の輝度値総和どうしの差分絶対値は大きく出やすくなる。そのため、閾値は高くされる。これにより、注目画素の動き検出信号の精度を高めることが可能となる。
【0015】
また、この発明において、入力映像信号に基づいてクロスカラー妨害を検出するクロスカラー妨害検出部をさらに備え、動き検出部は、算出領域内の輝度値総和どうしの差分絶対値を閾値と比較した結果に基づいて注目画素の動き検出信号を取得し、閾値をクロスカラー妨害検出部の検出結果に応じて適応的に制御する、ようにしてもよい。クロスカラー妨害が発生している箇所では本来の輝度信号が一部失われている可能性が高く、算出領域内の輝度値総和どうしの差分絶対値は大きく出やすくなる。そのため、閾値は高くされる。これにより、注目画素の動き検出信号の精度を高めることが可能となる。
【0016】
また、この発明において、入力映像信号に基づいてドット妨害を検出するドット妨害検出部をさらに備え、動き検出部は、算出領域内の輝度値総和どうしの差分絶対値を閾値と比較した結果に基づいて注目画素の動き検出信号を取得し、閾値をドット妨害検出部の検出結果に応じて適応的に制御する、ようにしてもよい。ドット妨害が発生している箇所では本来の輝度信号が一部失われている可能性が高く、算出領域内の輝度値総和どうしの差分絶対値は大きく出やすくなる。そのため、閾値は高くされる。これにより、注目画素の動き検出信号の精度を高めることが可能となる。
【0017】
また、この発明において、入力映像信号はデジタル放送の受信部で得られたものであり、この受信部では入力映像信号のスケーリング情報が取得され、動き検出部は、受信部で取得されたスケーリング情報に基づいて、ドット妨害成分の水平方向周期および垂直方向周期を認識する、ようにしてもよい。入力映像信号に含まれる輝度信号におけるドット妨害成分の水平方向周期および垂直方向周期は、例えば放送局におけるYC分離後の拡大処理(スケーリング)での拡大率により異なってくる。そのため、動き検出部は、スケーリング情報に基づいてドット妨害成分の水平方向周期および垂直方向周期を正確に認識できる。
【0018】
この発明において、映像処理部では、動き検出部で得られた画素毎の動き検出信号に基づいて、入力映像信号の処理が行われて出力映像信号が得られる。上述したように、動き検出部で得られた画素毎の動き検出信号は高精度なものとなるので、この映像処理部における処理もより的確に行われる。例えば、映像処理部では、入力映像信号に含まれる輝度信号の時間方向の平滑化処理により、この輝度信号からドット妨害成分を除去することが行われる。また、例えば、映像処理部では、入力映像信号に含まれる色信号の時間方向の平滑化処理により、この色信号からクロスカラー妨害成分を除去することが行われる。
【発明の効果】
【0019】
この発明によれば、現在フレームと過去フレームとの間でドット妨害成分の位相が異なっていたとしても、ドット妨害成分に影響されることなく、注目画素の動き検出信号を精度よく得ることができる。そのため、動き検出用に余分なフレームメモリを持つことなく、画素毎の動き検出信号を用いた映像信号処理、例えばドット妨害成分除去処理、クロスカラー妨害成分除去処理等を的確に行うことができる。
【図面の簡単な説明】
【0020】
【図1】実施の形態としてのテレビ受信機の構成例を示すブロック図である。
【図2】ドット妨害成分、クロスカラー妨害成分の除去処理部の構成例を示すブロック図である。
【図3】ドット妨害成分、クロスカラー妨害成分の除去処理部を構成するY信号平滑化部の構成例を示すブロック図である。
【図4】ドット妨害成分、クロスカラー妨害成分の除去処理部を構成する動き検出部の構成例を示すブロック図である。
【図5】算出領域内の輝度値総和どうしの差分絶対値dif2の求め方を説明するための図である。
【図6】スケーリング情報が映像データのサイズ情報として与えられる場合における、ドット妨害成分の水平方向周期および垂直方向周期と、算出領域の設定例を示す図である。
【図7】動き検出部を構成する差分値数値化部の構成例を示すブロック図である。
【図8】動き検出部における、ある一つの画素(対象画素)の動き検出信号αを得るための処理手順を示すフローチャートである。
【図9】算出領域内の画素毎の差分絶対値の総和dif1の求め方を説明するための図である。
【図10】ドット妨害成分、クロスカラー妨害成分の除去処理部の他の構成例(1)を示すブロック図である。
【図11】ドット妨害成分、クロスカラー妨害成分の除去処理部の他の構成例(2)を示すブロック図である。
【図12】ドット妨害成分、クロスカラー妨害成分の除去処理部を構成する動き検出部の他の構成例を示すブロック図である。
【図13】動き検出部(他の構成例)を構成する差分値数値化部の構成例を示すブロック図である。
【図14】動き検出部(他の構成例)における、ある一つの画素(対象画素)の動き検出信号αを得るための処理手順を示すフローチャートである。
【図15】ドット妨害成分、クロスカラー妨害成分の除去処理部の他の構成例(3)を示すブロック図である。
【発明を実施するための形態】
【0021】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
【0022】
<1.実施の形態>
[テレビ受信機の構成]
図1は、実施の形態としてのテレビ受信機100の構成例を示している。このテレビ受信機100は、アンテナ端子103と、デジタルチューナ104と、デマルチプレクサ105と、MPEGデコーダ106を有している。また、テレビ受信機100は、映像処理回路107と、パネル駆動回路108と、表示パネル109と、音声処理回路110と、音声増幅回路111と、スピーカ112を有している。
【0023】
また、テレビ受信機100は、内部バス120と、CPU(CentralProcessing Unit)121と、フラッシュROM(Read Only Memory)122と、SDRAM(Synchronous DRAM)123を有している。また、テレビ受信機100は、イーサネットインタフェース(Ethernet I/F)124と、ネットワーク端子125と、リモコン受信部126と、リモコン送信機127を有している。なお、「イーサネット」、「Ethernet」は、登録商標である。
【0024】
アンテナ端子103は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ104は、アンテナ端子103に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームを出力する。デマルチプレクサ105は、デジタルチューナ104で得られたトランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(Transport Stream)を抽出する。このパーシャルTSには、映像データのTSパケット、音声データのTSパケットが含まれている。
【0025】
また、デマルチプレクサ105は、デジタルチューナ104で得られたトランスポートストリームから、PSI/SI(Program Specific Information/Service Information)を取り出し、CPU121に出力する。デジタルチューナ104で得られたトランスポートストリームには、複数のチャネルが多重化されている。デマルチプレクサ105で、当該トランスポートストリームから任意のチャネルのパーシャルTSを抽出する処理は、PSI/SI(PAT/PMT)から当該任意のチャネルのパケットID(PID)の情報を得ることで可能となる。
【0026】
MPEGデコーダ106は、デマルチプレクサ105で得られる映像データのTSパケットにより構成される映像PES(Packetized Elementary Stream)パケットに対してデコード処理を行って映像データ(映像信号)を得る。また、MPEGデコーダ106は、デマルチプレクサ105で得られる音声データのTSパケットにより構成される音声PESパケットに対してデコード処理を行って音声データ(音声信号)を得る。
【0027】
映像処理回路107は、MPEGデコーダ106で得られた映像データに対し、ドット妨害、クロスカラー妨害の除去、輪郭強調、IP(Interlace/Progressive)変換、グラフィックスデータの重畳等の必要な処理を行う。
【0028】
なお、後述するが、映像データ(輝度データ、色差データ)に対してドット妨害成分、クロスカラー妨害成分の除去処理を行う際に、輝度データに基づいて、画素毎の動き検出信号が取得されて使用される。この実施の形態において、この動き検出信号を取得する際に、輝度データのドット妨害成分の水平方向周期および垂直方向周期の情報が必要とされる。
【0029】
この情報は、例えば、デジタルチューナ104で取得される映像データのスケーリング(拡大処理)情報に基づいて認識される。このスケーリング情報は、映像データが、オリジナルのSD映像データ(例えば、720×480)に対して、水平、垂直の各方向にどれだけ拡大されているかを示す情報である。このスケーリング情報は、例えば、映像データのサイズ(画サイズ)情報として、あるいは、映像データのSD映像データに対するサイズ比情報等として与えられる。
【0030】
映像処理回路107におけるドット妨害成分、クロスカラー妨害成分の除去処理を行う処理部(映像信号処理装置)の詳細については後述する。
【0031】
パネル駆動回路108は、映像処理回路107から出力される映像データに基づいて、表示パネル109を駆動する。表示パネル109は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)等で構成されている。音声処理回路110は、MPEGデコーダ106で得られた音声データに対して、音質調整処理、D/A変換処理等の必要な処理を行う。音声増幅回路111は、音声処理回路110から出力される音声信号を増幅してスピーカ112に供給する。
【0032】
CPU121は、テレビ受信機100の各部の動作を制御する。フラッシュROM122は、制御ソフトウェアの格納およびデータの保管を行う。SDRAM123は、CPU121のワークエリアを構成する。CPU121は、フラッシュROM122から読み出したソフトウェアやデータをSDRAM123上に展開してソフトウェアを起動させ、テレビ受信機100の各部を制御する。
【0033】
リモコン受信部126は、リモコン送信機127から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU121に供給する。CPU121は、このリモコンコードに基づいて、テレビ受信機100の各部を制御する。ネットワーク端子125は、ネットワークに接続する端子であり、イーサネットインタフェース124に接続されている。CPU121、フラッシュROM122、SDRAM123およびイーサネットインタフェース124は、内部バス120に接続されている。
【0034】
図1に示すテレビ受信機100の動作を簡単に説明する。アンテナ端子103に入力されたテレビ放送信号はデジタルチューナ104に供給される。このデジタルチューナ104では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームが出力される。この所定のトランスポートストリームは、デマルチプレクサ105に供給される。このデマルチプレクサ105では、トランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(映像データのTSパケット、音声データのTSパケット)が抽出される。このパーシャルTSは、MPEGデコーダ106に供給される。
【0035】
MPEGデコーダ106では、映像データのTSパケットにより構成される映像PESパケットに対してデコード処理が行われて映像データが得られる。この映像データは、映像処理回路107に供給される。この映像処理回路107では、映像データに対して、ドット妨害成分、クロスカラー妨害成分の除去処理、輪郭強調処理、IP変換処理、グラフィックスデータの重畳処理等の処理が行われる。そして、処理後の映像データはパネル駆動回路108に供給される。そのため、表示パネル109には、ユーザの選択チャネルに対応した映像が表示される。
【0036】
また、MPEGデコーダ106では、音声データのTSパケットにより構成される音声PESパケットに対してデコード処理が行われて音声データが得られる。この音声データは、音声処理回路110で音質調整処理、D/A変換処理等の処理が行われ、さらに、音声増幅回路111で増幅された後に、スピーカ112に供給される。そのため、スピーカ112から、ユーザの選択チャネルに対応した音声が出力される。
【0037】
[ドット妨害成分、クロスカラー妨害成分の除去処理部の構成例]
次に、映像処理回路107におけるドット妨害成分、クロスカラー妨害成分の除去処理部200の構成例について説明する。図2は、ドット妨害成分、クロスカラー妨害成分の除去処理部200の構成例を示している。
【0038】
この除去処理部200は、フレーム遅延部201Y,201Cと、動き検出部202と、輝度(Y)信号平滑化部203Yと、色(C)信号平滑化部203Cを有している。フレーム遅延部201Yは、輝度データYinを遅延して出力する。また、フレーム遅延部201Cは、色差データCinを遅延して出力する。ここで、輝度データYinおよび色差データCinを得るために用いられたオリジナルのSD映像データの信号形式をオリジナル信号形式とする。オリジナル信号形式がNTSC(National Television System Committee)方式であるかPAL(Phase Alternating Line)方式であるかにより、フレーム遅延部201Y,201Cの遅延時間は異なる。
【0039】
オリジナル信号形式がNTSC方式である場合、フレーム遅延部201Y,201Cの遅延時間は1フレーム(2フィールド)とされる。この場合、現在フレームの輝度データYinと、フレーム遅延部201Yで1フレーム遅延された過去フレームの輝度データYin′とで、ドット妨害成分の位相は互いに逆位相となる。また、この場合、現在フレームの色差データCinと、フレーム遅延部201Cで1フレーム遅延された過去フレームの色差データCin′とで、クロスカラー妨害成分の位相は互いに逆位相となる。
【0040】
一方、オリジナル信号形式がPAL方式である場合、フレーム遅延部201Y,201Cの遅延時間は2フレーム(4フィールド)とされる。この場合、現在フレームの輝度データYinと、フレーム遅延部201Yで2フレーム遅延された過去フレームの輝度データYin′とで、ドット妨害成分の位相は互いに逆位相となる。また、この場合、現在フレームの色差データCinと、フレーム遅延部201Cで2フレーム遅延された過去フレームの色差データCin′とで、クロスカラー妨害成分の位相は互いに逆位相となる。
【0041】
動き検出部202は、現在フレームの輝度データYinおよびフレーム遅延部201Yで遅延された過去フレームの輝度データYin′に基づいて、画素毎に、動き検出信号α(0〜8)を得る。ここで、α=8のとき、静止領域を示す。また、α=7〜0のとき動き領域を示し、数値が小さいほど動きが大きいことを示す。この動き検出部202の詳細については、後述する。
【0042】
Y信号平滑化部203Yは、動き検出部202で得られた画素毎の動き検出信号αに基づいて、輝度データに対して動き適応的に時間方向の平滑化処理を行い、輝度データに含まれるドット妨害成分の除去を行う。Y信号平滑化部203Yは、現在フレームの輝度データYinおよびフレーム遅延部201Yで遅延された過去フレームの輝度データYin′を入力し、これらの輝度データに対して平滑化処理を行い、ドット妨害成分の除去された出力輝度データYoutを出力する。
【0043】
図3は、Y信号平滑化部203Yの構成例を示している。このY信号平滑化部203Yは、加算器211と、減算器212と、乗算器213と、除算器214により構成されている。現在フレームの輝度データYinは、加算器211および減算器212に供給される。過去フレームの輝度データYin′は、減算器212に供給される。減算器212では、輝度データYin′から輝度データYinを差し引く演算が行われる。この減算器212の出力データ(Yin′−Yin)は乗算器213に供給される。
【0044】
また、動き検出部202(図2参照)からの動き検出信号αは、乗算器213に供給される。乗算器213では、減算器212の出力データ(Yin′−Yin)に動き検出信号αが掛けられる。この乗算器213の出力データα*(Yin′−Yin)は、除算器214に供給される。この除算器214では、乗算器213の出力データα*(Yin′−Yin)が「16」で割られる。この除算器214の出力データα*(Yin′−Yin)/16は、加算器211に供給される。加算器211では、現在フレームの輝度データYinに除算器214の出力データα*(Yin′−Yin)/16が加算されて、出力輝度データYoutが得られる。
【0045】
以下の(1)式は、図3のY信号平滑化部203Yにおける輝度データYin、Yin′および動き検出信号αと、出力輝度データYoutとの関係を表している。
Yout=Yin+{α*(Yin′−Yin)}/16 ・・・(1)
【0046】
静止領域の場合、上述したようにα=8であるので、Yout=Yin+(Yin′−Yin)/2となる。この場合、出力輝度データYoutは、ドット妨害成分の位相が互いに逆位相となっている現在フレームの輝度データYinおよび過去フレームの輝度データYin′が加算平均されたものとなり、ドット妨害成分が除去される。
【0047】
また、動画領域の場合、上述したようにα=7〜0であって数値が小さいほど動きが大きいことを示しているので、動きが大きくなるほど平滑化処理が抑制される。そして、α=0、つまり最も動きが大きい場合には、Yout=Yinとなる。この場合、出力輝度データYoutは、現在フレームの輝度データYinそのものとなる。このように、動きが大きくなるほど平滑化処理が抑制される。そのため、ぼやけ等の副作用の発生が効果的に抑制される。
【0048】
C信号平滑化部203Cは、動き検出部202で得られた画素毎の動き検出信号αに基づいて、色差データに対して動き適応的に時間方向の平滑化処理を行い、色差データに含まれるクロスカラー妨害成分の除去を行う。C信号平滑化部203Cは、現在フレームの色差データCinおよびフレーム遅延部201Cで遅延された過去フレームの色差データCin′を入力し、これらの色差データに対して平滑化処理を行い、クロスカラー妨害成分の除去された出力色差データCoutを出力する。上述したように、現在フレームの色差データCinおよび過去フレームの色差データCin′のクロスカラー妨害成分の位相は互いに逆位相である。詳細説明は省略するが、C信号平滑化部203Cは、上述したY信号平滑化部203Yと同様の構成とされている(図3参照)。
【0049】
[動き検出部の構成例]
次に、図2のドット妨害成分、クロスカラー妨害成分の除去処理部200における動き検出部202の構成例について説明する。図4は、動き検出部202の構成例を示している。この動き検出部202は、前処理部221,222と、領域内差分値算出部223と、差分値数値化部224と、後処理部225を有している。
【0050】
前処理部221は、現在フレームの輝度データYinに対して帯域制限等を行う。この帯域制限では、ローパスフィルタを用いて輝度データYinから不要な高域信号(ノイズ成分)を除去することが行われる。前処理部222は、過去フレームの輝度データYin′に対して帯域制限等を行う。この帯域制限では、上述の前処理部221と同様に、ローパスフィルタを用いて輝度データYin′から不要な高域信号(ノイズ成分)を除去することが行われる。
【0051】
領域内差分値算出部223は、動き検出信号を得る画素毎に、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、図5に示すように、算出領域内の輝度値総和どうしの差分絶対値dif2を求める。ここで、算出領域は、動き検出信号を得る画素を注目画素とし、この注目画素を含みこの注目画素を中心とした、水平幅Whがドット妨害成分の水平方向周期の整数倍で、垂直幅Wvがドット妨害成分の垂直方向周期の整数倍の領域である。
【0052】
ここで、ドット妨害成分の水平方向周期および垂直方向周期の情報は、上述したように、例えば、デジタルチューナ104(図1参照)で取得される映像データのスケーリング(拡大処理)情報に基づいて認識される。このスケーリング情報は、上述したように、映像データが、オリジナルのSD映像データ(例えば、720×480)に対して水平、垂直の各方向にどれだけ拡大されて得られたものかを示す情報である。そして、このスケーリング情報は、例えば、映像データのサイズ(画サイズ)情報として、あるいは、映像データのSD映像データに対するサイズ比情報等として与えられる。なお、ドット妨害成分の水平方向周期および垂直方向周期の情報は、例えば、ユーザの入力操作で与えられてもよい。
【0053】
図6は、スケーリング情報が映像データのサイズ情報として与えられる場合における、ドット妨害成分の水平方向周期および垂直方向周期と、算出領域の設定例を示している。この例は、オリジナルのSD映像データの画サイズが720×480の場合の例である。例えば、オリジナル信号形式がNTSC方式で映像データのサイズが1920×1080であるとき、領域内差分値算出部223は、ドット妨害成分の水平方向周期は8〜9画素、その垂直方向周期は4〜5画素と認識する。そして、領域内差分値算出部223は、例えば、算出領域の水平幅Whを9画素に、垂直幅Wvを5画素とする。
【0054】
なお、上述では、算出領域は注目画素を中心とした領域であると説明した。しかし、注目画素が厳格に算出領域の中心である必要はなく、注目画素は算出領域のほぼ中心であればよい。算出領域の幅が偶数画素となる場合には、その中心には画素が存在し得ないからである。また、図6では、映像データのサイズが1920×1080と720×480の2種類の場合だけを示しているが、映像データのサイズはこの2種類に限定されない。
【0055】
輝度データYinの算出領域内の各画素の輝度値をnext(i,j)とし、輝度データYin′の算出領域内の各画素の輝度値をprev(i,j)とするとき、上述の算出領域内の輝度値総和どうしの差分絶対値dif2は、以下の(2)式で求められる。
【数1】

【0056】
差分値数値化部224は、領域内差分値算出部223で算出された差分絶対値dif2を閾値と比較し、その比較結果に基づいて動き検出信号αを求める。図7は、差分値数値化部224の構成例を示している。この差分値数値化部224は、減算器231と、割り当て回路232を有している。
【0057】
差分絶対値dif2は減算器231に供給される。この減算器231には、閾値thも供給される。この減算器231では、差分絶対値dif2から閾値thが差し引かれる。この減算器231の出力データ(dif2−th)は、割り当て回路232に供給される。割り当て回路232では、出力データ(dif2−th)に対し、その値に応じて8〜0の値を割り当て、動き検出信号αとして出力する。
【0058】
ここで、割り当て回路232は、差分絶対値dif2が閾値th以下であり、出力データ(dif2−th)が0以下であるとき、静止領域を示す8を割り当てる。また、割り当て回路232は、差分絶対値dif2が閾値thより大きく、出力データ(dif2−th)が正の値となるとき、その値が属する範囲に応じて、動き領域を示す7〜0の値を割り当てる。この場合、割り当て回路232は、出力データ(dif2−th)が一定値以上のとき、最も動きが大きいことを示す0を割り当てる。
【0059】
図4に戻って、後処理部225は、差分値数値化部224で得られた動き検出信号αに対して、孤立点除去や広げ処理、平滑化処理等を行って、最終的な動き検出信号αを得る。
【0060】
図4に示す動き検出部202の動作を説明する。現在フレームの輝度データYinは、前処理部221で帯域制限等の前処理が行われた後に領域内差分値算出部223に供給される。また、過去フレームの輝度データYin′は、現在フレームの輝度データYinと同様に、前処理部222で帯域制限等の前処理が行われた後に領域内差分値算出部223に供給される。
【0061】
領域内差分値算出部223では、動き検出信号を得る画素毎に、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2が求められる。この差分絶対値dif2は、差分値数値化部224に供給される。
【0062】
差分値数値化部224では、差分絶対値dif2が閾値thと比較され、その比較結果に基づいて動き検出信号α(8〜0)が求められる。この動き検出信号αは、後処理部225に供給され、孤立点除去や広げ処理、平滑化処理等の後処理が行われて、最終的な動き検出信号αとされる。
【0063】
図8のフローチャートは、上述の動き検出部202における、ある一つの画素(対象画素)の動き検出信号αを得るための処理手順を示している。
【0064】
動き検出部202は、ステップST1において、処理を開始する。そして、動き検出部202は、ステップST2において、領域内差分値算出部223により、対象画素(注目画素)を中心とし、水平幅がドット妨害成分の水平方向周期の整数倍で垂直幅がドット妨害成分の垂直方向周期の整数倍の算出領域を設定する。
【0065】
次に、動き検出部202は、ステップST3において、領域内差分値算出部223により、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2を求める。動き検出部202は、ステップST3の後、ステップST4の処理に移る。
【0066】
このステップST4において、動き検出部202は、差分値数値化部224により、差分絶対値dif2が閾値thより大きいか否かを判断する。そして、差分絶対値dif2が閾値thより大きいとき、動き検出部202は、ステップST5において、差分値数値化部224により、動き領域とし、差分絶対値dif2と閾値thとの差分に応じて、7〜0を割り当てた動き検出信号αを得る。
【0067】
一方、ステップST4で差分絶対値dif2が閾値th以下のとき、動き検出部202は、ステップST6において、差分値数値化部224により、静止領域とし、8を割り当てた動き検出信号αを得る。動き検出部202は、ステップST5の処理の後、あるいはステップST6の処理の後、ステップST7において、処理を終了する。
【0068】
図2に示す除去処理部200において、動き検出部202では、動き検出信号を得る画素毎に、算出領域が設定される。そして、この動き検出部202では、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2が求められ、この差分絶対値dif2に基づいて動き検出信号αが得られる。
【0069】
この場合、算出領域は、動き検出信号を得る画素(注目画素)を中心とし、水平幅がドット妨害成分の水平方向周期の整数倍で垂直幅がドット妨害成分の垂直方向周期の整数倍の領域に設定される。そのため、現在フレームと過去フレームとの間でドット妨害成分の位相が逆位相で異なっていても、上述の算出領域内の輝度値総和どうしの差分絶対値dif2は静止領域では極めて小さな値となる。そのため、動き検出部202では、ドット妨害成分に影響されることなく、注目画素の動き検出信号を高精度に得ることができる。
【0070】
したがって、図2に示す除去処理部200においては、動き検出用に余分なフレームメモリを持つことなく、画素毎の動き検出信号αを用いたドット妨害成分除去処理、クロスカラー妨害成分除去処理を的確に行うことができる。
【0071】
<2.変形例>
[領域内差分値算出部の変形例]
なお、上述実施形態において、動き検出部202(図4参照)では、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で求められた算出領域内の輝度値総和どうしの差分絶対値dif2に基づいて動き検出信号αを得るようにしている。しかし、この差分絶対値dif2の他に、算出領域内の画素毎の差分絶対値の総和dif1を併せて用いることも考えられる。
【0072】
この場合、動き検出部202の領域内差分値算出部223では、動き検出信号を得る画素毎に、差分絶対値dif2と共に、算出領域内の画素毎の差分絶対値の総和dif1が求められる。この総和dif1は、図9に示すように、現在フレームの輝度データYinと過去フレームの輝度データYin′との間の演算で求められる。
【0073】
輝度データYinの算出領域内の各画素の輝度値をnext(i,j)とし、輝度データYin′の算出領域内の各画素の輝度値をprev(i,j)とするとき、上述の算出領域内の画素毎の差分絶対値の総和dif1は、以下の(3)式で求められる。
【数2】

【0074】
領域内差分値算出部223では、算出領域内の輝度値総和どうしの差分絶対値dif2と算出領域内の画素毎の差分絶対値の総和dif1との加算平均値dif=(dif1+dif2)/2が求められる。そして、領域内差分値算出部223から差分値数値化部224には、差分絶対値dif2の代わりに、この加算平均値difが供給される。
【0075】
なお、動き検出部202のその他の部分、すなわち前処理部221,222、差分値数値化部224および後処理部225の構成、動作に関しては上述したと同様とされる。
【0076】
このように、動き検出部202において、算出領域内の輝度値総和どうしの差分絶対値dif2の他に、算出領域内の画素毎の差分絶対値の総和dif1が併せて用いられることで、動き検出信号αの精度を高めることができる。すなわち、フラットな背景の前を細い線が移動するような、差分絶対値dif2では差分が出ないパターンでも、総和dif1では差分が出るので、検出漏れの発生を防ぐことができる。
【0077】
[ドット妨害成分、クロスカラー妨害成分の除去処理部の他の構成例(1)]
また、上述実施の形態において、図2に示すドット妨害成分、クロスカラー妨害成分の除去処理部200は非巡回型の構成である。しかし、同様の動き検出部を持つドット妨害成分、クロスカラー妨害成分の除去処理部を巡回型の構成とすることも考えられる。
【0078】
図10は、ドット妨害成分、クロスカラー妨害成分の除去処理部200Aの構成例を示している。この図10において、図2と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【0079】
この除去処理部200Aは、動き検出部202と、輝度(Y)信号平滑化部203Yと、色(C)信号平滑化部203Cと、フレーム遅延部204Y,204Cを有している。フレーム遅延部204Yは、巡回型処理を行うために、Y信号平滑化部203Yの出力輝度データYoutを遅延した輝度データYout′を出力する。また、フレーム遅延部204Cは、巡回型処理を行うために、C信号平滑化部203Cの出力色差データCoutを遅延した色差データCout′を出力する。
【0080】
フレーム遅延部204Y,204Cの遅延時間は、輝度データYinおよび色差データCinを得るために用いられたオリジナルのSD映像データの信号形式(オリジナル信号形式)がNTSC方式、PAL方式のいずれでも、1フレーム(2フィールド)とされる。
【0081】
オリジナル信号形式がNTSC方式である場合、現在フレームの輝度データYoutと、フレーム遅延部204Yで1フレーム遅延された過去フレームの輝度データYout′とで、ドット妨害成分の位相は互いに逆位相となる。また、この場合、現在フレームの色差データCoutと、フレーム遅延部204Cで1フレーム遅延された過去フレームの色差データCout′とで、クロスカラー妨害成分の位相は互いに逆位相となる。
【0082】
一方、オリジナル信号形式がPAL方式である場合、現在フレームの輝度データYoutと、フレーム遅延部204Yで1フレーム遅延された過去フレームの輝度データYout′とで、ドット妨害成分の位相は互いに1/4位相(90度)だけずれたものとなる。また、この場合、現在フレームの色差データCoutと、フレーム遅延部204Cで1フレーム遅延された過去フレームの色差データCout′とで、クロスカラー妨害成分の位相は互いに1/4位相(90度)だけずれたものとなる。
【0083】
動き検出部202は、現在フレームの輝度データYinおよびフレーム遅延部204Yで遅延されて得られた輝度データYout′に基づいて、画素毎の動き検出信号α(8〜0)を得る。この動き検出部202は、図2のドット妨害成分、クロスカラー妨害成分の除去処理部200における動き検出部202と同様の構成とされ、同様の処理により画素毎の動き検出信号α(8〜0)を取得する(図4参照)。
【0084】
Y信号平滑化部203Yは、動き検出部202で得られた画素毎の動き検出信号αに基づいて、輝度データに対して動き適応的に時間方向の平滑化処理を行い、輝度データに含まれるドット妨害成分の除去を行う。Y信号平滑化部203Yは、現在フレームの輝度データYinおよびフレーム遅延部204Yで得られた輝度データYout′を入力し、ドット妨害成分の除去された出力輝度データYoutを出力する。このY信号平滑化部203Yは、図2のドット妨害成分、クロスカラー妨害成分の除去処理部200におけるY信号平滑化部203Yと同様の構成とされ、同様の平滑化処理によりドット妨害成分を、動き適応的に除去する(図3参照)。
【0085】
C信号平滑化部203Cは、動き検出部202で得られた画素毎の動き検出信号αに基づいて、色差データに対して動き適応的に時間方向の平滑化処理を行い、色差データに含まれるクロスカラー妨害成分の除去を行う。C信号平滑化部203Cは、現在フレームの色差データCinおよびフレーム遅延部204Cで遅延されて得られた色差データCout′を入力し、クロスカラー妨害成分の除去された出力色差データCoutを出力する。このC信号平滑化部203Cは、図2のドット妨害成分、クロスカラー妨害成分の除去処理部200におけるC信号平滑化部203Cと同様の構成とされ、同様の平滑化処理によりクロスカラー妨害成分を、動き適応的に除去する。
【0086】
図10に示す除去処理部200Aにおいては、動き検出部202では、動き検出信号を得る画素毎に、算出領域が設定される。そして、この動き検出部202では、現在フレームの輝度データYinと過去フレームの輝度データYout′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2が求められ、この差分絶対値dif2に基づいて動き検出信号αが得られる。
【0087】
この場合、算出領域は、動き検出信号を得る画素(注目画素)を中心とし、水平幅がドット妨害成分の水平方向周期の整数倍で垂直幅がドット妨害成分の垂直方向周期の整数倍に設定される。そのため、現在フレームと過去フレームとの間でドット妨害成分の位相が逆位相、あるいは1/4位相ずれて異なっていても、上述の算出領域内の輝度値総和どうしの差分絶対値dif2は静止領域では極めて小さな値となる。そのため、動き検出部202では、ドット妨害成分に影響されることなく、注目画素の動き検出信号αを精度よく得ることができる。
【0088】
したがって、図10に示す除去処理部200Aにおいては、動き検出用に余分なフレームメモリを持つことなく、画素毎の動き検出信号αを用いたドット妨害成分除去処理、クロスカラー妨害成分除去処理を的確に行うことができる。これにより、図10に示す除去処理部200Aにおいては、ぼやけ等の副作用が顕著になる巡回型の構成ではあるが、この副作用の発生を抑制できる。
【0089】
[ドット妨害成分、クロスカラー妨害成分の除去処理部の他の構成例(2)]
また、上述実施の形態において、図2に示すドット妨害成分、クロスカラー妨害成分の除去処理部200における動き検出部202は、算出領域内の輝度値総和どうしの差分絶対値dif2と比較する閾値thが固定である。しかし、算出領域内の輝度値の分散値が大きい場合、差分絶対値dif2は大きく出やすくなる。また、ドット妨害やクロスカラー妨害が発生している箇所では本来の輝度信号が一部失われている可能性が高く、差分絶対値dif2は大きく出やすくなる。そこで、算出領域内の輝度値の分散値、ドット妨害やクロスカラー妨害の検出結果に応じて、差分絶対値dif2と比較する閾値を適応的に制御することが考えられる。
【0090】
図11は、ドット妨害成分、クロスカラー妨害成分の除去処理部200Bの構成例を示している。この図11において、図2と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【0091】
この除去処理部200Bは、フレーム遅延部201Y,201Cと、動き検出部202Bと、輝度(Y)信号平滑化部203Yと、色(C)信号平滑化部203Cと、ドット妨害検出部205と、クロスカラー妨害検出部206を有している。フレーム遅延部201Yは、現在フレームの輝度データYinを遅延して出力する。また、フレーム遅延部201Cは、現在フレームの色差データCinを遅延して出力する。フレーム遅延部201Y,201Cの遅延時間は、オリジナル信号形式がNTSC方式であるときは1フレームであり、オリジナル信号形式がPAL方式であるときは2フレームである。
【0092】
ドット妨害検出部205は、例えば、現在フレームの輝度データYinに基づいて、ドット妨害を検出する。すなわち、ドット妨害検出部205は、輝度データYinに含まれる色副搬送波と同じ周波数成分をバンドパスフィルタ等で抽出し、抽出された周波数成分の大きさに応じた値のドット妨害検出信号Ddotを出力する。この実施の形態において、ドット妨害検出信号Ddotは、例えば0〜4の値をとり、数値が大きいほどドット妨害の発生量が大きいことを示す。ここで、色副搬送波の周波数は、オリジナル信号形式がNTSC方式であるときは3.58MHzであり、オリジナル信号形式がNTSC方式であるときは4.43MHzである。
【0093】
クロスカラー妨害検出部206は、現在フレームの輝度データYin、現在フレームの色差データCinおよび過去フレームの色差データCin′に基づいて、クロスカラー妨害を検出する。すなわち、クロスカラー妨害検出部206は、例えば、輝度データYinから色副搬送波と同じ周波数成分をバンドパスフィルタ等で抽出する。また、クロスカラー妨害検出部206は、現在フレームの色差データCinおよび過去フレームの色差データCin′の差分を減算器などで抽出する。
【0094】
クロスカラー妨害検出部206は、色副搬送波と同じ周波数成分のレベルが第1の閾値以上であり、かつ色差データCin,Cin′の差分が第2の閾値以上であるとき、クロスカラー妨害があると判断する。そして、クロスカラー妨害検出部206は、色差データCin,Cin′の差分の大きさに応じた値のクロスカラー妨害検出信号Dxcを出力する。この実施の形態において、クロスカラー妨害検出信号Dxcは、例えば0〜4の値をとり、数値が大きいほどクロスカラー妨害の発生量が大きいことを示す。
【0095】
動き検出部202Bは、現在フレームの輝度データYinおよびフレーム遅延部201Yで遅延された過去フレームの輝度データYin′に基づいて、画素毎の動き検出信号α(8〜0)を得る。ここで、α=8のとき、静止領域を示す。また、α=7〜0のとき動き領域を示し、数値が小さいほど動きが大きいことを示す。この動き検出部202Bは、図2の除去処理部200における動き検出部202とは、算出領域内の輝度値総和どうしの差分絶対値dif2と比較する閾値th′が可変である点で異なる。すなわち、動き検出部202Bは、算出領域内の輝度値の分散値、ドット妨害検出信号Ddot、クロスカラー妨害検出信号Dxc等に基づいて、閾値th′を適応的に制御する。この動き検出部202Bの詳細については、後述する。
【0096】
Y信号平滑化部203Yは、動き検出部202Bで得られた画素毎の動き検出信号αに基づいて、輝度データに対して動き適応的に時間方向の平滑化処理を行い、輝度データに含まれるドット妨害成分の除去を行う。Y信号平滑化部203Yは、現在フレームの輝度データYinおよびフレーム遅延部201Yで遅延された過去フレームの輝度データYin′を入力し、ドット妨害成分の除去された出力輝度データYoutを出力する。このY信号平滑化部203Yは、図2のドット妨害成分、クロスカラー妨害成分の除去処理部200におけるY信号平滑化部203Yと同様の構成とされ、同様の平滑化処理によりドット妨害成分を、動き適応的に除去する(図3参照)。
【0097】
C信号平滑化部203Cは、動き検出部202で得られた画素毎の動き検出信号αに基づいて、色差データに対して動き適応的に時間方向の平滑化処理を行い、色差データに含まれるクロスカラー妨害成分の除去を行う。C信号平滑化部203Cは、現在フレームの色差データCinおよびフレーム遅延部201Cで遅延された過去フレームの色差データCin′を入力し、クロスカラー妨害成分の除去された出力色差データCoutを出力する。このC信号平滑化部203Cは、図2のドット妨害成分、クロスカラー妨害成分の除去処理部200におけるC信号平滑化部203Cと同様の構成とされ、同様の平滑化処理によりクロスカラー妨害成分を、動き適応的に除去する。
【0098】
[動き検出部の構成例]
次に、図11のドット妨害成分、クロスカラー妨害成分の除去処理部200Bにおける動き検出部202Bの構成例について説明する。図12は、動き検出部202Bの構成例を示している。この図12において、図4と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この動き検出部202Bは、前処理部221,222と、領域内差分値算出部223と、差分値数値化部224Bと、後処理部225と、領域内分散値算出部226を有している。
【0099】
前処理部221は、現在フレームの輝度データYinに対して帯域制限等を行う。この帯域制限では、ローパスフィルタを用いて輝度データYinから不要な高域信号を除去することが行われる。前処理部222は、過去フレームの輝度データYin′に対して帯域制限等を行う。この帯域制限では、上述の前処理部221と同様に、ローパスフィルタを用いて輝度データYin′から不要な高域信号を除去することが行われる。
【0100】
領域内差分値算出部223は、図4の動き検出部202における領域内差分値算出部223と同様の構成とされ、同様の処理を行う。すなわち、この領域内差分値算出部223は、動き検出信号を得る画素毎に、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2を求める(図5参照)。
【0101】
領域内分散値算出部226は、現在フレームの輝度データYinに基づいて、動き検出信号を得る画素毎に、その算出領域内の輝度値の分散値を算出し、この分散値に応じた値を持つ分散検出信号Ddisを出力する。この実施の形態において、分散検出信号Ddisは、例えば0〜4の値をとり、数値が大きいほど算出領域内の輝度値の分散値が大きいことを示す。なお、領域内分散値算出部226は、現在フレームの輝度データYinの代わりに、過去フレームの輝度データYin′に基づいて、分散検出信号Ddisを出力してもよい。
【0102】
差分値数値化部224Bは、領域内差分値算出部223で算出された差分絶対値dif2を閾値th′と比較し、その比較結果に基づいて動き検出信号αを求める。この場合、閾値th′は分散検出信号Ddis、ドット妨害検出信号Ddot、クロスカラー妨害検出信号Dxcに応じて、適応的に制御される。
【0103】
図13は、差分値数値化部224Bの構成例を示している。この図13において、図7と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この差分値数値化部224Bは、減算器231と、割り当て回路232と、最大値選択部233と、加算器234と、乗算器235と、除算器236を有している。
【0104】
最大値選択部233は、分散検出信号Ddis、ドット妨害検出信号Ddot、クロスカラー妨害検出信号Dxcのうち、最大値を選択し、それを出力データβとする。上述したように、分散検出信号Ddisは、領域内分散値算出部226で得られたものである(図12参照)。ドット妨害検出信号Ddotは、ドット妨害検出部205で得られたものである(図11参照)。クロスカラー妨害検出信号Dxcは、クロスカラー妨害検出部206で得られたものである(図11参照)。これら各検出信号は0〜4の値をとるので、出力データβも0〜4の値をとる。
【0105】
最大値選択部233の出力データβは加算器234に供給される。この加算器234にはデータ「8」も供給される。この加算器234では、出力データβに「8」が加算される。この加算器234の出力データ(β+8)は、乗算器235に供給される。この乗算器235には、閾値thも供給される。この乗算器235では、閾値thに出力データ(β+8)が掛けられる。この乗算器235の出力データ{(β+8)*th}は、除算器236に供給される。この除算器236では、乗算器235の出力データ{(β+8)*th}が8で割られる。
【0106】
この除算器236は、分散検出信号Ddis、ドット妨害検出信号Ddot、クロスカラー妨害検出信号Dxcに応じて適応的に制御された閾値th′、すなわち{(β+8)*th/8}を出力する。この出力データth′は、βが0〜4の値をとるので必ず閾値th以上となる。また、この閾値th′は、分散検出信号Ddis、ドット妨害検出信号Ddot、クロスカラー妨害検出信号Dxcの少なくともいずれかが大きな値となれば大きくなり、最大で閾値thの1.5倍となる。
【0107】
領域内差分値算出部(図12参照)で得られた差分絶対値dif2は減算器231に供給される。この減算器231には、除算器236で得られた閾値th′も供給される。この減算器231では、差分絶対値dif2から閾値th′が差し引かれる。この減算器231の出力データ(dif2−th′)は、割り当て回路232に供給される。割り当て回路232は、出力データ(dif2−th′)に対し、その値に応じて8〜0の値を割り当て、動き検出信号αとして出力する。詳細説明は省略するが、この割り当て回路232は、図7の差分値数値化部224における割り当て回路232と同様の構成とされている。
【0108】
図12に戻って、後処理部225は、差分値数値化部224Bで得られた動き検出信号αに対して、孤立点除去や広げ処理、平滑化処理等を行って、最終的な動き検出信号αを得る。
【0109】
図12に示す動き検出部202Bの動作を説明する。現在フレームの輝度データYinは、前処理部221で帯域制限等の前処理が行われた後に、領域内差分値算出部223および領域内分散値算出部226に供給される。また、過去フレームの輝度データYin′は、現在フレームの輝度データYinと同様に前処理部222で帯域制限等の前処理が行われた後に、領域内差分値算出部223に供給される。
【0110】
領域内差分値算出部223では、動き検出信号を得る画素毎に、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2が求められる。この差分絶対値dif2は差分値数値化部224Bに供給される。
【0111】
また、領域内分散値算出部226では、現在フレームの輝度データYinに基づいて、動き検出信号を得る画素毎に、その算出領域内の輝度値の分散値が算出され、分散値に応じた値を持つ分散検出信号Ddisが出力される。この分散検出信号Ddisは、差分数値化部224Bに供給される。この差分数値化部224Bには、ドット妨害検出部205(図11参照)で得られるドット妨害検出信号Ddot、およびクロスカラー妨害検出部206(図11参照)で得られるクロスカラー妨害検出信号Dxcも供給される。
【0112】
差分値数値化部224Bでは、差分絶対値dif2が、分散検出信号Ddis、ドット妨害検出信号Ddot、クロスカラー妨害検出信号Dxcに応じて適応的に制御された閾値th′と比較される。そして、差分値数値化部224Bでは、その比較結果(減算値)に基づいて、動き検出信号α(8〜0)が求められる(図13参照)。この動き検出信号αは、後処理部225に供給され、孤立点除去や広げ処理、平滑化処理等の後処理が行われて、最終的な動き検出信号αとされる。
【0113】
図14のフローチャートは、上述の動き検出部202Bにおける、ある一つの画素(対象画素)の動き検出信号αを得るための処理手順を示している。
【0114】
動き検出部202Bは、ステップST11において、処理を開始する。そして、動き検出部202Bは、ステップST12において、領域内差分値算出部223により、対象画素(注目画素)を中心とし、水平幅がドット妨害成分の水平方向周期の整数倍で垂直幅がドット妨害成分の垂直方向周期の整数倍の算出領域を設定する。
【0115】
次に、動き検出部202Bは、ステップST13において、領域内差分値算出部223により、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2を求める。また、動き検出部202Bは、ステップST14において、領域内分散値算出部226により、算出領域内の輝度値の分散値を算出し、分散値に応じた値を持つ分散検出信号Ddisを求める。なお、ステップST13とステップST14の処理順は逆であってもよい。
【0116】
次に、動き検出部202Bは、ステップST15において、差分値数値化部224Bにより、分散検出信号Ddis、ドット妨害検出信号Ddot、クロスカラー妨害検出信号Dxcに基づいて、閾値th′を算出する。
【0117】
また、動き検出部202Bは、ステップST16において、差分値数値化部224Bにより、差分絶対値dif2が閾値th′より大きいか否かを判断する。そして、差分絶対値dif2が閾値th′より大きいとき、動き検出部202Bは、ステップST17において、差分値数値化部224Bにより、動き領域とし、差分絶対値dif2と閾値th′との差分に応じて、7〜0を割り当てた動き検出信号αを得る。
【0118】
一方、ステップST16で差分絶対値dif2が閾値th′以下のとき、動き検出部202Bは、ステップST18において、差分値数値化部224Bにより、静止領域とし、8を割り当てた動き検出信号αを得る。動き検出部202Bは、ステップST17の処理の後、あるいはステップST18の処理の後、ステップST19において、処理を終了する。
【0119】
図11に示す除去処理部200Bにおいて、動き検出部202Bでは、動き検出信号を得る画素毎に、算出領域が設定される。そして、この動き検出部202では、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2が求められる。そして、この動き検出部202では、この差分絶対値dif2が閾値th′と比較され、その比較結果に基づいて動き検出信号αが得られる。
【0120】
この場合、算出領域は、動き検出信号を得る画素(注目画素)を中心とし、水平幅がドット妨害成分の水平方向周期の整数倍で垂直幅がドット妨害成分の垂直方向周期の整数倍に設定される。そのため、現在フレームと過去フレームとの間でドット妨害成分の位相が逆位相で異なっていても、上述の算出領域内の輝度値総和どうしの差分絶対値dif2は静止領域では極めて小さな値となる。そのため、動き検出部202Bでは、ドット妨害成分に影響されることなく、注目画素の動き検出信号を高精度に得ることができる。したがって、図11に示す除去処理部200Bにおいては、動き検出用に余分なフレームメモリを持つことなく、画素毎の動き検出信号αを用いたドット妨害成分除去処理、クロスカラー妨害成分除去処理を的確に行うことができる。
【0121】
また、動き検出部202Bでは、差分絶対値dif2が閾値th′と比較されるが、この閾値th′は、算出領域内の輝度値の分散値、ドット妨害やクロスカラー妨害の検出結果に応じて適応的に制御されたものとなる。例えば、算出領域内の輝度値の分散値が大きい場合、算出領域内の輝度値総和どうしの差分絶対値dif2は大きく出やすくなる。しかし、その場合には、閾値th′は高くされる。また、例えば、ドット妨害やクロスカラー妨害が発生している箇所では本来の輝度信号が一部失われている可能性が高く、算出領域内の輝度値総和どうしの差分絶対値dif2は大きく出やすくなる。しかし、その場合には、閾値th′は高くされる。これにより、注目画素の動き検出信号αの精度をより高めることができる。
【0122】
なお、上述の図13の差分値数値化部224Bの最大値選択部233の部分を、分散検出信号Ddis、ドット妨害検出信号Ddot、クロスカラー妨害検出信号Dxcの平均値を求める平均値算出部に置き換えた構成も考えられる。また、この最大値選択部b233の部分を、分散検出信号Ddis、ドット妨害検出信号Ddot、クロスカラー妨害検出信号Dxcのいずれかを例えばユーザの選択操作に基づいて選択する選択部に置き換えた構成も考えられる。
【0123】
また、上述の図11の除去処理部200Bにおける動き検出部202B(図12参照)では、算出領域内の輝度値総和どうしの差分絶対値dif2に基づいて動き検出信号αを得るようにしている。しかし、この差分絶対値dif2の他に、算出領域内の画素毎の差分絶対値の総和dif1を併せて用いることも考えられる。
【0124】
この場合、動き検出部202Bの領域内差分値算出部223では、動き検出信号を得る画素毎に、差分絶対値dif2と共に、算出領域内の画素毎の差分絶対値の総和dif1が求められる。この総和dif1は、上述の図9に示すように、現在フレームの輝度データYinと過去フレームの輝度データYin′との間の演算で求められる((3)式参照)。
【0125】
そして、領域内差分値算出部223では、算出領域内の輝度値総和どうしの差分絶対値dif2と、算出領域内の画素毎の差分絶対値の総和dif1の加算平均値dif=(dif1+dif2)/2が求められる。そして、領域内差分値算出部223から差分値数値化部224Bには、差分絶対値dif2の代わりに、この加算平均値difが供給される。
【0126】
なお、動き検出部202Bのその他の部分、すなわち前処理部221,222、差分値数値化部224B、後処理部225および領域内分散値算出部226の構成、動作に関しては上述したと同様とされる。
【0127】
このように、動き検出部202Bにおいて、算出領域内の輝度値総和どうしの差分絶対値dif2の他に、算出領域内の画素毎の差分絶対値の総和dif1を併せて用いられることで、動き検出信号αの精度を高めることができる。すなわち、フラットな背景の前を細い線が移動するような、差分絶対値dif2では差分が出ないパターンでも、総和dif1では差分が出るので、検出漏れの発生を防ぐことができる。
【0128】
[ドット妨害成分、クロスカラー妨害成分の除去処理部の他の構成例(3)]
また、上述の図11のドット妨害成分、クロスカラー妨害成分の除去処理部200Bは非巡回型の構成である。しかし、同様の動き検出部を持つドット妨害成分、クロスカラー妨害成分の除去処理部を巡回型の構成とすることも考えられる。図15は、ドット妨害成分、クロスカラー妨害成分の除去処理部200Cの構成例を示している。この図15において、図11と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【0129】
この除去処理部200Cは、動き検出部202Bと、輝度(Y)信号平滑化部203Yと、色(C)信号平滑化部203Cと、ドット妨害検出部205と、クロスカラー妨害検出部206と、フレーム遅延部207Y,207Cを有している。フレーム遅延部207Yは、巡回型処理を行うために、Y信号平滑化部203Yの出力輝度データYoutを遅延した輝度データYout′を出力する。また、フレーム遅延部207Cは、巡回型処理を行うために、C信号平滑化部203Cの出力色差データCoutを遅延した色差データCout′を出力する。
【0130】
フレーム遅延部207Y,207Cの遅延時間は、輝度データYinおよび色差データCinを得るために用いられたオリジナルのSD映像データの信号形式(オリジナル信号形式)がNTSC方式、PAL方式のいずれでも、1フレーム(2フィールド)とされる。
【0131】
オリジナル信号形式がNTSC方式である場合、現在フレームの輝度データYoutと1フレーム遅延部201Yで1フレーム遅延された過去フレームの輝度データYout′とで、ドット妨害成分の位相は互いに逆位相となる。また、この場合、現在フレームの色差データCoutと、フレーム遅延部201Cで1フレーム遅延された過去フレームの色差データCout′とで、クロスカラー妨害成分の位相は互いに逆位相となる。
【0132】
一方、オリジナル信号形式がPAL方式である場合、現在フレームの輝度データYoutと1フレーム遅延部201Yで1フレーム遅延された過去フレームの輝度データYout′とで、ドット妨害成分の位相は互いに1/4位相(90度)だけずれたものとなる。また、この場合、現在フレームの色差データCoutと、フレーム遅延部201Cで1フレーム遅延された過去フレームの色差データCout′とで、クロスカラー妨害成分の位相は互いに1/4位相(90度)だけずれたものとなる。
【0133】
動き検出部202Bは、現在フレームの輝度データYinおよびフレーム遅延部204Yで遅延されて得られた輝度データYout′に基づいて、画素毎の動き検出信号α(8〜0)を得る。この動き検出部202Bは、図11の除去処理部200Bにおける動き検出部202Bと同様の構成とされ、同様の処理により画素毎の動き検出信号α(8〜0)を取得する(図4参照)。
【0134】
Y信号平滑化部203Yは、動き検出部202Bで得られた画素毎の動き検出信号αに基づいて、輝度データに対して動き適応的に時間方向の平滑化処理を行い、輝度データに含まれるドット妨害成分の除去を行う。Y信号平滑化部203Yは、現在フレームの輝度データYinおよびフレーム遅延部207Yで得られた輝度データYout′を入力し、ドット妨害成分の除去された出力輝度データYoutを出力する。このY信号平滑化部203Yは、図11のドット妨害成分、クロスカラー妨害成分の除去処理部200BにおけるY信号平滑化部203Yと同様の構成とされ、同様の平滑化処理によりドット妨害成分を、動き適応的に除去する(図3参照)。
【0135】
C信号平滑化部203Cは、動き検出部202Bで得られた画素毎の動き検出信号αに基づいて、色差データに対して動き適応的に時間方向の平滑化処理を行い、色差データに含まれるクロスカラー妨害成分の除去を行う。C信号平滑化部203Cは、現在フレームの色差データCinおよびフレーム遅延部207Cで遅延されて得られた色差データCout′を入力し、クロスカラー妨害成分の除去された出力色差データCoutを出力する。このC信号平滑化部203Cは、図11のドット妨害成分、クロスカラー妨害成分の除去処理部200BにおけるC信号平滑化部203Cと同様の構成とされ、同様の平滑化処理によりクロスカラー妨害成分を、動き適応的に除去する。
【0136】
図15に示す除去処理部200Cにおいては、動き検出部202Bでは、動き検出信号を得る画素毎に、算出領域が設定される。そして、この動き検出部202Bでは、現在フレームの輝度データYinと過去フレームの輝度データYout′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2が求められ、この差分絶対値dif2に基づいて動き検出信号αが得られる。
【0137】
この場合、算出領域は、動き検出信号を得る画素(注目画素)を中心とし、水平幅がドット妨害成分の水平方向周期の整数倍で垂直幅がドット妨害成分の垂直方向周期の整数倍に設定される。そのため、現在フレームと過去フレームとの間でドット妨害成分の位相が逆位相、あるいは1/4位相ずれて異なっていても、上述の算出領域内の輝度値総和どうしの差分絶対値dif2は静止領域では極めて小さな値となる。そのため、動き検出部202Bでは、ドット妨害成分に影響されることなく、注目画素の動き検出信号αを精度よく得ることができる。
【0138】
また、動き検出部202Bでは、差分絶対値dif2が閾値th′と比較されるが、この閾値th′は、算出領域内の輝度値の分散値、ドット妨害やクロスカラー妨害の検出結果に応じて適応的に制御されたものとなる。例えば、算出領域内の輝度値の分散値が大きい場合、算出領域内の輝度値総和どうしの差分絶対値dif2は大きく出やすくなる。しかし、その場合には、閾値th′は高くされる。また、例えば、ドット妨害やクロスカラー妨害が発生している箇所では本来の輝度信号が一部失われている可能性が高く、算出領域内の輝度値総和どうしの差分絶対値dif2は大きく出やすくなる。しかし、その場合には、閾値th′は高くされる。これにより、注目画素の動き検出信号αの精度をより高めることができる。
【0139】
したがって、図15に示す除去処理部200Cにおいては、動き検出用に余分なフレームメモリを持つことなく、画素毎の動き検出信号αを用いたドット妨害成分除去処理、クロスカラー妨害成分除去処理を的確に行うことができる。これにより、図15に示す除去処理部200Cにおいては、ぼやけ等の副作用が顕著になる巡回型の構成ではあるが、この副作用の発生を抑制できる。
【0140】
[その他]
なお、上述実施形態においては、ドット妨害成分およびクロスカラー妨害成分の除去処理部200,200A〜200Cがハードウェアで構成されるように説明した。しかし、この除去処理部200,200A〜200Cにおける一部または全部の処理をソフトウェアで実現することも可能である。その場合、CPU、ROM、RAM等からなるコンピュータ装置において、例えばROM等に格納された処理プログラムがRAM上に展開されてCPUで実行される。
【0141】
また、上述実施形態においては、動き検出部202,202Bで得られる動き検出信号αが用いられて、Y信号平滑化部203Y、C信号平滑化部203Cで動き適応的に時間方向の平滑化処理が行われるものを示した。動き検出部202,202Bで得られる高精度な動き検出信号αを、その他の信号処理、例えば動き適応的な輪郭強調処理等で使用することも考えられる。
【産業上の利用可能性】
【0142】
この発明は、動き検出を行うためのフレーム間でドット妨害成分の位相が異なっていたとしても、ドット妨害成分に影響されることなく高精度な動き検出が可能となる。そのため、ドット妨害成分およびクロスカラー妨害成分の除去を動き適応的な平滑化処理で行うノイズリダクション回路等に適用できる。
【符号の説明】
【0143】
100・・・テレビ受信機、103・・・アンテナ端子、104・・・デジタルチューナ、105・・・デマルチプレクサ、106・・・MPEGデコーダ、107・・・映像処理回路、108・・・パネル駆動回路、109・・・表示パネル、110・・・音声処理回路、111・・・音声増幅回路、112・・・スピーカ、120・・・内部バス、121・・・CPU、122・・・フラッシュROM、123・・・SDRAM、124・・・イーサネットインタフェース、125・・・ネットワーク端子、126・・・リモコン受信部、127・・・リモコン送信機、200,200A〜200C・・・ドット妨害成分、クロスカラー妨害成分の除去処理部、201Y,201C,204Y,204C,207Y,207C・・・フレーム遅延部、202,202B・・・動き検出部、203Y・・・輝度(Y)信号平滑化部、203C・・・色(C)信号平滑化部、205・・・ドット妨害検出部、206・・・クロスカラー妨害検出部、211・・・加算器、212・・・減算器、213・・・乗算器、214・・・除算器、221,222・・・前処理部、223・・・領域内差分値算出部、224,224B・・・差分値数値化部、225・・・後処理部、226・・・領域内分散値算出部、231・・・減算器、232・・・割り当て回路、233・・・最大値選択部、234・・・加算器、235・・・乗算器、236・・・除算器

【特許請求の範囲】
【請求項1】
入力映像信号に含まれる輝度信号に基づいて画素毎の動き検出信号を得る動き検出部と、
上記動き検出部で得られた画素毎の動き検出信号に基づいて、上記入力映像信号の処理を行って出力映像信号を得る映像処理部を備え、
上記動き検出部は、現在フレームと過去フレームとの間で、注目画素を含み該注目画素を中心とした、水平幅がドット妨害成分の水平方向周期の整数倍で、垂直幅がドット妨害成分の垂直方向周期の整数倍の算出領域内の輝度値総和どうしの差分絶対値を求め、該差分絶対値に基づいて上記注目画素の動き検出信号を得る
映像信号処理装置。
【請求項2】
上記動き検出部は、上記現在フレームと過去フレームとの間で、上記算出領域内の画素毎の差分絶対値の総和をさらに求め、
上記算出領域内の輝度値総和どうしの差分絶対値と上記算出領域内の画素毎の差分絶対値の総和との加算平均値を求め、該加算平均値に基づいて、上記注目画素の動き検出信号を得る
請求項1に記載の映像信号処理装置。
【請求項3】
上記現在フレームまたは上記過去フレームの上記算出領域内の輝度値の分散値を求める分散値算出部をさらに備え、
上記動き検出部は、上記算出領域内の輝度値総和どうしの差分絶対値を閾値と比較した結果に基づいて上記注目画素の動き検出信号を取得し、上記閾値を上記分散値算出部で求められた分散値に応じて適応的に制御する
請求項1または請求項2に記載の映像信号処理装置。
【請求項4】
上記入力映像信号に基づいてクロスカラー妨害を検出するクロスカラー妨害検出部をさらに備え、
上記動き検出部は、上記算出領域内の輝度値総和どうしの差分絶対値を閾値と比較した結果に基づいて上記注目画素の動き検出信号を取得し、上記閾値を上記クロスカラー妨害検出部の検出結果に応じて適応的に制御する
請求項1または請求項2に記載の映像信号処理装置。
【請求項5】
上記入力映像信号に基づいてドット妨害を検出するドット妨害検出部をさらに備え、
上記動き検出部は、上記算出領域内の輝度値総和どうしの差分絶対値を閾値と比較した結果に基づいて上記注目画素の動き検出信号を取得し、上記閾値を上記ドット妨害検出部の検出結果に応じて適応的に制御する
請求項1または請求項2に記載の映像信号処理装置。
【請求項6】
上記入力映像信号はデジタル放送の受信部で得られたものであり、
上記受信部では上記入力映像信号のスケーリング情報が取得され、
上記動き検出部は、上記受信部で取得されたスケーリング情報に基づいて、上記ドット妨害成分の水平方向周期および垂直方向周期を認識する
請求項1に記載の映像信号処理装置。
【請求項7】
上記映像処理部は、上記入力映像信号に含まれる輝度信号の時間方向の平滑化処理により、該輝度信号からドット妨害成分を除去する
請求項1に記載の映像信号処理装置。
【請求項8】
上記映像処理部は、上記入力映像信号に含まれる色信号の時間方向の平滑化処理により、該色信号からクロスカラー妨害成分を除去する
請求項1に記載の映像信号処理装置。
【請求項9】
注目画素を含み該注目画素を中心とした、水平幅がドット妨害成分の水平方向周期の整数倍で、垂直幅がドット妨害成分の垂直方向周期の整数倍である算出領域を設定するステップと、
現在フレームと過去フレームとの間で、上記設定された算出領域内の輝度値総和どうしの差分絶対値を求めるステップと、
上記求められた差分絶対値に基づいて上記注目画素の動き検出信号を得るステップ
を有する動き検出方法。
【請求項10】
注目画素を含み該注目画素を中心とした、水平幅がドット妨害成分の水平方向周期の整数倍で、垂直幅がドット妨害成分の垂直方向周期の整数倍である算出領域を設定するステップと、
現在フレームと過去フレームとの間で、上記設定された算出領域内の輝度値総和どうしの差分絶対値を求めるステップと、
上記求められた差分絶対値に基づいて上記注目画素の動き検出信号を得るステップ
を有する動き検出方法をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2011−41025(P2011−41025A)
【公開日】平成23年2月24日(2011.2.24)
【国際特許分類】
【出願番号】特願2009−186879(P2009−186879)
【出願日】平成21年8月11日(2009.8.11)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】