映像信号処理装置及び映像信号処理方法
【課題】補間フレーム生成とノイズリダクション処理のために必要となるメモリを共有化してメモリを削減し、入力映像信号のフレーム周波数よりも高いフレーム周波数に変換する映像信号処理装置を提供する。
【解決手段】入力された第１の映像信号と１フレーム期間遅延させた第２の映像信号から動きベクトルを検出する動きベクトル検出部２１，２２と、第２の映像信号と動きベクトルを用いて第１の映像信号のノイズを除去するノイズリダクション処理部１１と、ノイズリダクション処理部によりノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して第２の映像信号とするフレームメモリ１２と、第１の映像信号と第２の映像信号とを用いて、第１の映像信号の隣接する実フレーム間に内挿する１または複数の補間フレームを生成する補間フレーム生成部１３とを有する。
【解決手段】入力された第１の映像信号と１フレーム期間遅延させた第２の映像信号から動きベクトルを検出する動きベクトル検出部２１，２２と、第２の映像信号と動きベクトルを用いて第１の映像信号のノイズを除去するノイズリダクション処理部１１と、ノイズリダクション処理部によりノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して第２の映像信号とするフレームメモリ１２と、第１の映像信号と第２の映像信号とを用いて、第１の映像信号の隣接する実フレーム間に内挿する１または複数の補間フレームを生成する補間フレーム生成部１３とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された映像信号を、その映像信号が有するフレーム周波数よりも高いフレーム周波数に変換して液晶パネル等の表示部に表示する映像信号処理装置及び映像信号処理方法に関する。
【背景技術】
【０００２】
液晶パネルを用いた液晶表示装置においては、動画を表示したときに残像を生じるという問題点がある。この問題点を低減する１つの方法として、本出願人は、入力された映像信号のフレーム間に補間フレームを内挿するための補間フレーム生成部を設けて、入力映像信号より高いフレームレートに変換して液晶パネルに表示する画像表示装置を特許文献１に開示している。特許文献１記載の発明によれば、フレーム周波数６０Ｈｚの映像信号を例えばフレーム周波数１２０Ｈｚに変換して残像を低減させている。
【０００３】
一方、近年、液晶表示装置の大型化が進み、入力映像信号に含まれるノイズ信号が目立つようになってきた。そこで、ノイズ信号を低減した高画質な映像を表示するための３次元ノイズリダクション（以下、３Ｄ−ＮＲと略す）処理部が、特許文献２に開示されている。
【特許文献１】特開２００６−３３７４４８号公報
【特許文献２】特開２００３−３１９２０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、液晶表示装置において、残像感とノイズを共に低減するためには、上述した補間フレーム生成部と３Ｄ−ＮＲ処理部を共に備える必要がある。そして、補間フレーム生成部と３Ｄ−ＮＲ処理部の双方は、入力映像信号と共に、入力映像信号を１フレーム期間遅延させた映像信号も用いなければならない。そのため、補間フレーム生成用とノイズリダクション処理用に、入力映像信号を１フレーム期間遅延させるための１フレーム分のフレームメモリがそれぞれ必要となっていた。
【０００５】
また、補間フレーム生成部と３Ｄ−ＮＲ処理部の双方は、入力映像信号と１フレーム期間遅延させた映像信号の間の動きベクトルも用いる必要がある。そのため、補間フレーム生成部と３Ｄ−ＮＲ処理部に、動きベクトルを検出するためのラインメモリ等の遅延手段がそれぞれ必要となっていた。しかし、近年の高画質化を図った液晶表示装置では、上述以外の処理においても多くのメモリを必要とする。よって、従来とほぼ同等の高画質を維持し、且つメモリを削減した映像信号処理装置が望まれる。
【０００６】
本発明はこのような問題点に鑑みなされたものであり、従来とほぼ同等の高画質を維持しながら、補間フレーム生成とノイズリダクション生成のために必要となるメモリを共有できる構成とし、メモリを削減した映像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、前述した従来の技術の課題を解決するため、入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、第１の映像信号のノイズを除去するノイズリダクション処理部（１１）と、ノイズリダクション処理部によりノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して第２の映像信号とするフレームメモリ（１２）と、第１の映像信号と第２の映像信号とを用いて、第１の映像信号と第２の映像信号の間に内挿する１または複数の補間フレームを生成する補間フレーム生成部（１３）とを有する映像信号処理装置（１）である。
【０００８】
ここで、第１の映像信号と第２の映像信号の間の動きベクトルを検出するために、第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延する第１及び第２の遅延部（３２，３３）と、第１の期間遅延された第１の映像信号と第２の期間遅延された第２の映像信号を用いて、第１の映像信号と第２の映像信号の間の第１及び第２の動きベクトルをそれぞれ検出する第１及び第２の動きベクトル検出部（２１，２２）とを備え、ノイズリダクション処理部は、第２の映像信号と前記第１の動きベクトルを用いて、第１の映像信号のノイズを除去し、補間フレーム生成部は、第１の映像信号、第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。
また、ノイズリダクション処理部及び補間フレーム生成部に供給する第２の映像信号を第３の期間遅延する第３の遅延部（３１）と、第３の期間遅延された前記第２の映像信号に同期させるために、補間フレーム生成部に供給する第１の映像信号を第４の期間遅延する第４の遅延部（３４）とを備え、ノイズリダクション処理部は、第３の期間遅延された第２の映像信号と第１の動きベクトルとを用いて、第１の映像信号のノイズを除去し、補間フレーム生成部は、第４の期間遅延された第１の映像信号と、第３の期間遅延された第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。
【０００９】
本発明は、前述した従来の技術の課題を解決するため、入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、第１の映像信号のノイズを除去し、ノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して第２の映像信号とし、第１の映像信号と第２の映像信号とを用いて、第１の映像信号と第２の映像信号の間に内挿する１または複数の補間フレームを生成する映像信号処理方法である。
【００１０】
ここで、第１の映像信号と第２の映像信号の間の動きベクトルを検出するために第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延し、第１の期間遅延された第１の映像信号と第２の期間遅延された第２の映像信号を用いて、第１の映像信号と第２の映像信号の間の第１及び第２の動きベクトルを検出し、第２の映像信号と第１の動きベクトルを用いて、第１の映像信号のノイズを除去し、第１の映像信号、第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。
また、第１の映像信号のノイズの低減及び補間フレームを生成するために第２の映像信号を第３の期間遅延し、第３の期間遅延された第２の映像信号に同期させて補間フレームを生成するための第１の映像信号を第４の期間遅延し、第３の期間遅延された第２の映像信号と第１の動きベクトルとを用いて、第１の映像信号のノイズを除去し、第４の期間遅延された第１の映像信号と、第３の期間遅延された第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。
【発明の効果】
【００１１】
本発明によれば、従来とほぼ同等の高画質を維持しながら、補間フレーム生成とノイズリダクション生成のために必要となるメモリを共有化でき、メモリの削減が可能である。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の映像信号処理装置及び映像信号処理方法について、添付図面を参照して説明する。図１は、本発明の映像信号処理装置の一例を示すブロック図である。図１において、映像信号（第１の映像信号）Ｆ０が、映像信号処理装置１に入力される。
【００１３】
ノイズリダクション処理部１１は、例えば３Ｄ−ＮＲであり、後述する第２の映像信号Ｆ１と動きベクトル検出部２１により検出された動きベクトルを用いて、第１の映像信号Ｆ０のノイズを低減する。ノイズリダクション処理部１１によりノイズを低減された第１の映像信号Ｆ０は、フレームメモリ１２に供給される。
【００１４】
フレームメモリ１２は、ノイズリダクション処理部１１より供給された第１の映像信号Ｆ０を１フレーム期間遅延して第２の映像信号Ｆ１を生成する。本実施形態においては、第１の映像信号の１フレーム期間は１／６０秒であり、第２の映像信号Ｆ１は１／６０秒（１フレーム）前の第１の映像信号Ｆ０である。また、遅延部３１は、ノイズリダクション処理部１１での信号処理に同期して、例えば第２の映像信号Ｆ１を１ライン分遅延して出力する。
【００１５】
遅延部３２は、例えば第２の映像信号Ｆ１を１ライン分遅延するラインメモリであり、動きベクトル検出部２１の信号処理に同期して第２の映像信号Ｆ１を動きベクトル検出部２１に供給する。遅延部３３は、例えば第１の映像信号Ｆ０を１画素分遅延するメモリであり、動きベクトル検出部２１の信号処理に同期して第１の映像信号Ｆ０を動きベクトル検出部２１に供給する。
【００１６】
図２は、動きベクトル検出部２１において、ノイズリダクションを行うための動きベクトルの検出を説明する図である。ここで、第１の映像信号Ｆ０の動きを検出する対象画素をＰ０とし、図２に示す丸印は１画素を示している。
【００１７】
動きベクトル検出部２１は、対象画素Ｐ０と第２の映像信号Ｆ１の水平方向の１ライン分の画素との間で画素値を比較する。画素値を比較した結果、画素値の差分が最小となる動きベクトルＭＶ1を検出する。なお、対象画素Ｐ０に対して最小の動きベクトルＭＶ1となる第２の映像信号Ｆ１の画素をＰ１としている。そして、第１の映像信号Ｆ０の対象画素Ｐ０は、１フレーム前の第２の映像信号Ｆ１より左に２画素分動いたことを示している。
【００１８】
対象画素Ｐ０毎に検出された動きベクトルＭＶ1のデータは、ノイズリダクション処理部１１の信号処理に同期して、ノイズリダクション処理部１１に順次供給される。なお、本実施形態では、第１の映像信号Ｆ０の対象画素Ｐ０が含まれる水平方向のラインと、比較対象とする第２の映像信号Ｆ１の水平方向の１ラインは、同位置のラインとしている。
【００１９】
図３は、ノイズリダクション処理部１１の詳細な構成の一例を示すブロック図である。画素選択部５１には、第１の映像信号Ｆ０と、第１の映像信号Ｆ０に同期させるために遅延部３１により１ライン分遅延された第２の映像信号Ｆ１と、動きベクトル検出部２１より供給される画素Ｐ０毎の動きベクトルＭＶ1のデータが供給される。
【００２０】
画素選択部５１は、画素Ｐ０毎の動きベクトルＭＶ1から、第１の映像信号Ｆ０の選択された画素Ｐ０に対して動き補正した１フレーム前の映像信号の画素Ｐ１を得る。そして、画素選択部５１は、第１の映像信号Ｆ０の画素Ｐ０と動き補正した１フレーム前の映像信号の画素Ｐ１の画素値の差分を求め、差分値を示す差分信号ＦＴが、直交変換部５２に供給される。
【００２１】
直交変換部５２は、画素選択部５１により供給された差分信号ＦＴをアダマール変換等により直交変換して周波数成分に分解する。周波数成分に分解された信号は、コアリング処理部５３に供給される。なお、映像信号中のノイズ成分はランダムに発生するため、周波数分解された信号は各周波数でそれぞれ小さな値をもつ。一方、映像信号中の動き成分はある程度偏りのある周波数分布となり、特定の周波数で大きな値をもつ。
【００２２】
コアリング処理部５３は、非線形な処理を行うフィルタであり、周波数成分に分解されたデータに含まれるノイズ成分と考えられる小振幅の周波数成分のみの信号を抽出する。すなわち、予め設定した閾値より大きな値をもつ信号を０とし、その閾値より小さな値をもつ信号のみを通過させて、直交逆変換部５４に供給する。直交逆変換部５４は、コアリング処理部５３により抽出されたノイズ成分と考えられる信号を直交逆変換して実空間領域のノイズとしてノイズ信号ＦＮを求める。
【００２３】
減算器５５は、第１の映像信号Ｆ０からノイズ信号ＦＮを減算して、ノイズ除去された第１の映像信号Ｆ０を生成して、フレームメモリ１３に供給する。
【００２４】
次に、補間フレームを生成する処理について説明する。図４は、補間フレーム生成部１３による補間フレームの生成を説明するための図である。入力映像信号Ｆ０のフレーム番号をＦＲ１、１フレーム（１／６０秒）前の映像信号をＦＲ２とする。フレームｆｒ１２は、フレームＦＲ１とＦＲ２のフレーム間の動きベクトルに基づいて求められ、フレームＦＲ１とＦＲ２のフレームとの間に挿入される。
【００２５】
図４に示すように、フレームＦＲ２で左下部に位置する物体Ａは、フレームＦＲ１においては右上部に位置する。そして、フレームｆｒ１２の物体Ａの位置は、フレームＦＲ１とＦＲ２の中間に位置する。
【００２６】
補間フレーム生成部１３の信号処理において、遅延部３１から出力される第２の映像信号Ｆ１と第１の映像信号Ｆ０を同期させる必要がある。遅延部３４は、遅延部３１から出力される第２の映像信号Ｆ１と同期させるために、第１の映像信号Ｆ０を１ライン分遅延させるラインメモリである。動きベクトル検出部２２は、第１の映像信号Ｆ０と第２の映像信号Ｆ１のフレーム間の動きベクトルＭＶ2を検出する。
【００２７】
図５は、動きベクトル検出部２２において動きベクトルＭＶ2の検出を説明するための図である。ここで、補間フレーム生成部１３にて生成される補間フレームの動きベクトルＭＶ2を求める対象画素をＨ０とする。動きベクトル検出部２２は、第１の映像信号Ｆ０の１ライン分の各画素と第２の映像信号Ｆ１の１ライン分の各画素を比較する。その際、比較する各映像信号のラインは、補間フレームの対象画素Ｈ０を含むラインと水平方向が同一なラインとする。画素値を比較した結果、画素値の差分が最小となる動きベクトルＭＶ2を検出する。
【００２８】
図５中、破線の矢印は水平方向のラインにおける画素間の動きベクトルの候補を示し、実線の矢印は画素値の差分が最小として検出された動きベクトルＭＶ2を示している。なお、第１の映像信号Ｆ０と第２の映像信号Ｆ１の水平方向に同一のラインにおいて、最小の動きベクトルＭＶ2を検出した第１の映像信号Ｆ０の画素をＨ１、第２の映像信号Ｆ１の画素をＨ２としている。
【００２９】
第１の映像信号Ｆ０の画素Ｈ１は、１フレーム前の第２の映像信号Ｆ１の画素Ｈ２より右に４画素分動いたときが動きベクトルＭＶ2が最小であることを示している。例えば、１フレーム分の補間フレームを挿入する場合、対象画素Ｈ０にを求める動きベクトルは、第１の映像信号Ｆ０より左に２画素分動くこととなる動きベクトルＭＶ2／２となる。２フレーム分の補間フレームを挿入する場合、動きベクトル検出部２２は、動きベクトルＭＶ2／３、２ＭＶ2／３に基づいて補間フレームを生成することになる。よって、動きベクトルの縮小率を変化させることにより、容易に１フレーム期間内に挿入する補間フレームを複数生成してフレーム周波数を挙げることが可能である。
【００３０】
そして、対象画素Ｈ０毎に検出された動きベクトルＭＶ2のデータは、補間フレーム生成部１３の信号処理に同期して、補間フレーム生成部１３に順次供給される。
【００３１】
図６は、補間フレーム生成部１３の詳細な構成の一例を示すブロック図である。画素選択部６１は、補間フレームの対象画素Ｈ０を選択して、対象画素Ｈ０の動きベクトルＭＶ2により、第１の映像信号Ｆ０と第２の映像信号Ｆ１の少なくとも１つの映像信号から対象画素Ｈ０の映像信号（内挿映像信号）を生成して、補間画素記憶部６２に供給する。
【００３２】
画素選択部６１は、各対象画素Ｈ０について順次同様の処理を行う。補間画素記憶部６２は、１フレーム分の映像信号を蓄積した後、蓄積した補間フレームの映像信号Ｆ２’を時系列変換メモリ１４に供給する。また、遅延部６３は補間フレームが時系列変換メモリ１４に供給されるタイミングと所定周期で同期させるために第２の映像信号Ｆ１を所定期間遅延して映像信号Ｆ１’を時系列変換メモリ１４に供給する。
【００３３】
時系列変化メモリ１４は、映像信号Ｆ１’とＦ２’を２倍のフレーム周波数に変換して時系列順に映像信号Ｆ０’として出力する。時系列変換メモリ１４に入力される映像信号Ｆ１’は、ノイズリダクション処理部１１でノイズ低減された映像信号Ｆ１のみを用いたものであり、映像信号Ｆ２’は、ノイズリダクション処理部１１でノイズ低減された映像信号Ｆ１とノイズ低減されていない映像信号Ｆ０を用いたものである。
【００３４】
従って、時系列変化メモリ１４より出力される映像信号Ｆ０’は、従来のノイズ低減に比して３／４倍のノイズ低減がなされている。本出願人の実験結果によれば、本発明の映像信号処理装置１を用いることにより、従来と遜色ない表示画像を得られることが確かめられている。また、入力映像信号中に含まれるノイズが少ないと考えられる場合、時系列変換メモリ１４に入力される映像信号Ｆ１’は、ノイズ低減されていない映像信号Ｆ０を用いてもよい。
【００３５】
本発明は以上説明した本実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更可能である。例えば、動きベクトル検出部２１，２２は、垂直方向の画素や斜め方向の画素についても動きベクトルＭＶ1，ＭＶ2を検出する構成でもよく、例えばマッチング法等を用いることが可能である。その場合、遅延部３２，３３での遅延量を上述の構成と変えることで対応可能である。
【００３６】
また、図７に示す映像信号処理装置７１のように、動きベクトル検出部２１，２２は動きベクトル検出部２３として同一の検出部としてもよく、ノイズリダクション処理部１１と補正フレーム生成部１３で用いる動きベクトルは同一の方法で求められる。
【００３７】
更に、遅延部３１〜３４は上述の構成に限定されることなく、所定期間遅延する機能を有していればよく、ラインメモリの代わりにフリップフロップを用いてもよい。
【００３８】
以上説明してきたように、本実施形態によれば、従来とほぼ同等のノイズ低減効果があり、高画質な映像信号が得られると共に、ノイズリダクション処理部や補間フレーム生成部に使用されるフレームメモリや遅延部が削減できるのでコスト低減となる。
【図面の簡単な説明】
【００３９】
【図１】本発明の映像信号処理装置の一実施形態を示すブロック図である。
【図２】本発明のノイズリダクション処理部に用いる動きベクトルの検出を説明するための図である。
【図３】本発明のノイズリダクション処理部の一例を示すブロック図である。
【図４】本発明の補間フレーム生成部による補間フレームの生成を説明するための図である。
【図５】本発明の補間フレーム生成部に用いる動きベクトルの検出を説明するための図である。
【図６】本発明の補間フレーム生成部の一例を示すブロック図である。
【図７】本発明の映像信号処理装置の他の実施形態を示すブロック構成図である。
【符号の説明】
【００４０】
１、７１ 映像信号処理装置
１１ ノイズリダクション処理部
１２ フレームメモリ
１３ 補間フレーム生成部
１４ 時系列変換メモリ
２１〜２３ 動きベクトル検出部
３１〜３４ 遅延部
【技術分野】
【０００１】
本発明は、入力された映像信号を、その映像信号が有するフレーム周波数よりも高いフレーム周波数に変換して液晶パネル等の表示部に表示する映像信号処理装置及び映像信号処理方法に関する。
【背景技術】
【０００２】
液晶パネルを用いた液晶表示装置においては、動画を表示したときに残像を生じるという問題点がある。この問題点を低減する１つの方法として、本出願人は、入力された映像信号のフレーム間に補間フレームを内挿するための補間フレーム生成部を設けて、入力映像信号より高いフレームレートに変換して液晶パネルに表示する画像表示装置を特許文献１に開示している。特許文献１記載の発明によれば、フレーム周波数６０Ｈｚの映像信号を例えばフレーム周波数１２０Ｈｚに変換して残像を低減させている。
【０００３】
一方、近年、液晶表示装置の大型化が進み、入力映像信号に含まれるノイズ信号が目立つようになってきた。そこで、ノイズ信号を低減した高画質な映像を表示するための３次元ノイズリダクション（以下、３Ｄ−ＮＲと略す）処理部が、特許文献２に開示されている。
【特許文献１】特開２００６−３３７４４８号公報
【特許文献２】特開２００３−３１９２０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、液晶表示装置において、残像感とノイズを共に低減するためには、上述した補間フレーム生成部と３Ｄ−ＮＲ処理部を共に備える必要がある。そして、補間フレーム生成部と３Ｄ−ＮＲ処理部の双方は、入力映像信号と共に、入力映像信号を１フレーム期間遅延させた映像信号も用いなければならない。そのため、補間フレーム生成用とノイズリダクション処理用に、入力映像信号を１フレーム期間遅延させるための１フレーム分のフレームメモリがそれぞれ必要となっていた。
【０００５】
また、補間フレーム生成部と３Ｄ−ＮＲ処理部の双方は、入力映像信号と１フレーム期間遅延させた映像信号の間の動きベクトルも用いる必要がある。そのため、補間フレーム生成部と３Ｄ−ＮＲ処理部に、動きベクトルを検出するためのラインメモリ等の遅延手段がそれぞれ必要となっていた。しかし、近年の高画質化を図った液晶表示装置では、上述以外の処理においても多くのメモリを必要とする。よって、従来とほぼ同等の高画質を維持し、且つメモリを削減した映像信号処理装置が望まれる。
【０００６】
本発明はこのような問題点に鑑みなされたものであり、従来とほぼ同等の高画質を維持しながら、補間フレーム生成とノイズリダクション生成のために必要となるメモリを共有できる構成とし、メモリを削減した映像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、前述した従来の技術の課題を解決するため、入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、第１の映像信号のノイズを除去するノイズリダクション処理部（１１）と、ノイズリダクション処理部によりノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して第２の映像信号とするフレームメモリ（１２）と、第１の映像信号と第２の映像信号とを用いて、第１の映像信号と第２の映像信号の間に内挿する１または複数の補間フレームを生成する補間フレーム生成部（１３）とを有する映像信号処理装置（１）である。
【０００８】
ここで、第１の映像信号と第２の映像信号の間の動きベクトルを検出するために、第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延する第１及び第２の遅延部（３２，３３）と、第１の期間遅延された第１の映像信号と第２の期間遅延された第２の映像信号を用いて、第１の映像信号と第２の映像信号の間の第１及び第２の動きベクトルをそれぞれ検出する第１及び第２の動きベクトル検出部（２１，２２）とを備え、ノイズリダクション処理部は、第２の映像信号と前記第１の動きベクトルを用いて、第１の映像信号のノイズを除去し、補間フレーム生成部は、第１の映像信号、第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。
また、ノイズリダクション処理部及び補間フレーム生成部に供給する第２の映像信号を第３の期間遅延する第３の遅延部（３１）と、第３の期間遅延された前記第２の映像信号に同期させるために、補間フレーム生成部に供給する第１の映像信号を第４の期間遅延する第４の遅延部（３４）とを備え、ノイズリダクション処理部は、第３の期間遅延された第２の映像信号と第１の動きベクトルとを用いて、第１の映像信号のノイズを除去し、補間フレーム生成部は、第４の期間遅延された第１の映像信号と、第３の期間遅延された第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。
【０００９】
本発明は、前述した従来の技術の課題を解決するため、入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、第１の映像信号のノイズを除去し、ノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して第２の映像信号とし、第１の映像信号と第２の映像信号とを用いて、第１の映像信号と第２の映像信号の間に内挿する１または複数の補間フレームを生成する映像信号処理方法である。
【００１０】
ここで、第１の映像信号と第２の映像信号の間の動きベクトルを検出するために第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延し、第１の期間遅延された第１の映像信号と第２の期間遅延された第２の映像信号を用いて、第１の映像信号と第２の映像信号の間の第１及び第２の動きベクトルを検出し、第２の映像信号と第１の動きベクトルを用いて、第１の映像信号のノイズを除去し、第１の映像信号、第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。
また、第１の映像信号のノイズの低減及び補間フレームを生成するために第２の映像信号を第３の期間遅延し、第３の期間遅延された第２の映像信号に同期させて補間フレームを生成するための第１の映像信号を第４の期間遅延し、第３の期間遅延された第２の映像信号と第１の動きベクトルとを用いて、第１の映像信号のノイズを除去し、第４の期間遅延された第１の映像信号と、第３の期間遅延された第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。
【発明の効果】
【００１１】
本発明によれば、従来とほぼ同等の高画質を維持しながら、補間フレーム生成とノイズリダクション生成のために必要となるメモリを共有化でき、メモリの削減が可能である。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の映像信号処理装置及び映像信号処理方法について、添付図面を参照して説明する。図１は、本発明の映像信号処理装置の一例を示すブロック図である。図１において、映像信号（第１の映像信号）Ｆ０が、映像信号処理装置１に入力される。
【００１３】
ノイズリダクション処理部１１は、例えば３Ｄ−ＮＲであり、後述する第２の映像信号Ｆ１と動きベクトル検出部２１により検出された動きベクトルを用いて、第１の映像信号Ｆ０のノイズを低減する。ノイズリダクション処理部１１によりノイズを低減された第１の映像信号Ｆ０は、フレームメモリ１２に供給される。
【００１４】
フレームメモリ１２は、ノイズリダクション処理部１１より供給された第１の映像信号Ｆ０を１フレーム期間遅延して第２の映像信号Ｆ１を生成する。本実施形態においては、第１の映像信号の１フレーム期間は１／６０秒であり、第２の映像信号Ｆ１は１／６０秒（１フレーム）前の第１の映像信号Ｆ０である。また、遅延部３１は、ノイズリダクション処理部１１での信号処理に同期して、例えば第２の映像信号Ｆ１を１ライン分遅延して出力する。
【００１５】
遅延部３２は、例えば第２の映像信号Ｆ１を１ライン分遅延するラインメモリであり、動きベクトル検出部２１の信号処理に同期して第２の映像信号Ｆ１を動きベクトル検出部２１に供給する。遅延部３３は、例えば第１の映像信号Ｆ０を１画素分遅延するメモリであり、動きベクトル検出部２１の信号処理に同期して第１の映像信号Ｆ０を動きベクトル検出部２１に供給する。
【００１６】
図２は、動きベクトル検出部２１において、ノイズリダクションを行うための動きベクトルの検出を説明する図である。ここで、第１の映像信号Ｆ０の動きを検出する対象画素をＰ０とし、図２に示す丸印は１画素を示している。
【００１７】
動きベクトル検出部２１は、対象画素Ｐ０と第２の映像信号Ｆ１の水平方向の１ライン分の画素との間で画素値を比較する。画素値を比較した結果、画素値の差分が最小となる動きベクトルＭＶ1を検出する。なお、対象画素Ｐ０に対して最小の動きベクトルＭＶ1となる第２の映像信号Ｆ１の画素をＰ１としている。そして、第１の映像信号Ｆ０の対象画素Ｐ０は、１フレーム前の第２の映像信号Ｆ１より左に２画素分動いたことを示している。
【００１８】
対象画素Ｐ０毎に検出された動きベクトルＭＶ1のデータは、ノイズリダクション処理部１１の信号処理に同期して、ノイズリダクション処理部１１に順次供給される。なお、本実施形態では、第１の映像信号Ｆ０の対象画素Ｐ０が含まれる水平方向のラインと、比較対象とする第２の映像信号Ｆ１の水平方向の１ラインは、同位置のラインとしている。
【００１９】
図３は、ノイズリダクション処理部１１の詳細な構成の一例を示すブロック図である。画素選択部５１には、第１の映像信号Ｆ０と、第１の映像信号Ｆ０に同期させるために遅延部３１により１ライン分遅延された第２の映像信号Ｆ１と、動きベクトル検出部２１より供給される画素Ｐ０毎の動きベクトルＭＶ1のデータが供給される。
【００２０】
画素選択部５１は、画素Ｐ０毎の動きベクトルＭＶ1から、第１の映像信号Ｆ０の選択された画素Ｐ０に対して動き補正した１フレーム前の映像信号の画素Ｐ１を得る。そして、画素選択部５１は、第１の映像信号Ｆ０の画素Ｐ０と動き補正した１フレーム前の映像信号の画素Ｐ１の画素値の差分を求め、差分値を示す差分信号ＦＴが、直交変換部５２に供給される。
【００２１】
直交変換部５２は、画素選択部５１により供給された差分信号ＦＴをアダマール変換等により直交変換して周波数成分に分解する。周波数成分に分解された信号は、コアリング処理部５３に供給される。なお、映像信号中のノイズ成分はランダムに発生するため、周波数分解された信号は各周波数でそれぞれ小さな値をもつ。一方、映像信号中の動き成分はある程度偏りのある周波数分布となり、特定の周波数で大きな値をもつ。
【００２２】
コアリング処理部５３は、非線形な処理を行うフィルタであり、周波数成分に分解されたデータに含まれるノイズ成分と考えられる小振幅の周波数成分のみの信号を抽出する。すなわち、予め設定した閾値より大きな値をもつ信号を０とし、その閾値より小さな値をもつ信号のみを通過させて、直交逆変換部５４に供給する。直交逆変換部５４は、コアリング処理部５３により抽出されたノイズ成分と考えられる信号を直交逆変換して実空間領域のノイズとしてノイズ信号ＦＮを求める。
【００２３】
減算器５５は、第１の映像信号Ｆ０からノイズ信号ＦＮを減算して、ノイズ除去された第１の映像信号Ｆ０を生成して、フレームメモリ１３に供給する。
【００２４】
次に、補間フレームを生成する処理について説明する。図４は、補間フレーム生成部１３による補間フレームの生成を説明するための図である。入力映像信号Ｆ０のフレーム番号をＦＲ１、１フレーム（１／６０秒）前の映像信号をＦＲ２とする。フレームｆｒ１２は、フレームＦＲ１とＦＲ２のフレーム間の動きベクトルに基づいて求められ、フレームＦＲ１とＦＲ２のフレームとの間に挿入される。
【００２５】
図４に示すように、フレームＦＲ２で左下部に位置する物体Ａは、フレームＦＲ１においては右上部に位置する。そして、フレームｆｒ１２の物体Ａの位置は、フレームＦＲ１とＦＲ２の中間に位置する。
【００２６】
補間フレーム生成部１３の信号処理において、遅延部３１から出力される第２の映像信号Ｆ１と第１の映像信号Ｆ０を同期させる必要がある。遅延部３４は、遅延部３１から出力される第２の映像信号Ｆ１と同期させるために、第１の映像信号Ｆ０を１ライン分遅延させるラインメモリである。動きベクトル検出部２２は、第１の映像信号Ｆ０と第２の映像信号Ｆ１のフレーム間の動きベクトルＭＶ2を検出する。
【００２７】
図５は、動きベクトル検出部２２において動きベクトルＭＶ2の検出を説明するための図である。ここで、補間フレーム生成部１３にて生成される補間フレームの動きベクトルＭＶ2を求める対象画素をＨ０とする。動きベクトル検出部２２は、第１の映像信号Ｆ０の１ライン分の各画素と第２の映像信号Ｆ１の１ライン分の各画素を比較する。その際、比較する各映像信号のラインは、補間フレームの対象画素Ｈ０を含むラインと水平方向が同一なラインとする。画素値を比較した結果、画素値の差分が最小となる動きベクトルＭＶ2を検出する。
【００２８】
図５中、破線の矢印は水平方向のラインにおける画素間の動きベクトルの候補を示し、実線の矢印は画素値の差分が最小として検出された動きベクトルＭＶ2を示している。なお、第１の映像信号Ｆ０と第２の映像信号Ｆ１の水平方向に同一のラインにおいて、最小の動きベクトルＭＶ2を検出した第１の映像信号Ｆ０の画素をＨ１、第２の映像信号Ｆ１の画素をＨ２としている。
【００２９】
第１の映像信号Ｆ０の画素Ｈ１は、１フレーム前の第２の映像信号Ｆ１の画素Ｈ２より右に４画素分動いたときが動きベクトルＭＶ2が最小であることを示している。例えば、１フレーム分の補間フレームを挿入する場合、対象画素Ｈ０にを求める動きベクトルは、第１の映像信号Ｆ０より左に２画素分動くこととなる動きベクトルＭＶ2／２となる。２フレーム分の補間フレームを挿入する場合、動きベクトル検出部２２は、動きベクトルＭＶ2／３、２ＭＶ2／３に基づいて補間フレームを生成することになる。よって、動きベクトルの縮小率を変化させることにより、容易に１フレーム期間内に挿入する補間フレームを複数生成してフレーム周波数を挙げることが可能である。
【００３０】
そして、対象画素Ｈ０毎に検出された動きベクトルＭＶ2のデータは、補間フレーム生成部１３の信号処理に同期して、補間フレーム生成部１３に順次供給される。
【００３１】
図６は、補間フレーム生成部１３の詳細な構成の一例を示すブロック図である。画素選択部６１は、補間フレームの対象画素Ｈ０を選択して、対象画素Ｈ０の動きベクトルＭＶ2により、第１の映像信号Ｆ０と第２の映像信号Ｆ１の少なくとも１つの映像信号から対象画素Ｈ０の映像信号（内挿映像信号）を生成して、補間画素記憶部６２に供給する。
【００３２】
画素選択部６１は、各対象画素Ｈ０について順次同様の処理を行う。補間画素記憶部６２は、１フレーム分の映像信号を蓄積した後、蓄積した補間フレームの映像信号Ｆ２’を時系列変換メモリ１４に供給する。また、遅延部６３は補間フレームが時系列変換メモリ１４に供給されるタイミングと所定周期で同期させるために第２の映像信号Ｆ１を所定期間遅延して映像信号Ｆ１’を時系列変換メモリ１４に供給する。
【００３３】
時系列変化メモリ１４は、映像信号Ｆ１’とＦ２’を２倍のフレーム周波数に変換して時系列順に映像信号Ｆ０’として出力する。時系列変換メモリ１４に入力される映像信号Ｆ１’は、ノイズリダクション処理部１１でノイズ低減された映像信号Ｆ１のみを用いたものであり、映像信号Ｆ２’は、ノイズリダクション処理部１１でノイズ低減された映像信号Ｆ１とノイズ低減されていない映像信号Ｆ０を用いたものである。
【００３４】
従って、時系列変化メモリ１４より出力される映像信号Ｆ０’は、従来のノイズ低減に比して３／４倍のノイズ低減がなされている。本出願人の実験結果によれば、本発明の映像信号処理装置１を用いることにより、従来と遜色ない表示画像を得られることが確かめられている。また、入力映像信号中に含まれるノイズが少ないと考えられる場合、時系列変換メモリ１４に入力される映像信号Ｆ１’は、ノイズ低減されていない映像信号Ｆ０を用いてもよい。
【００３５】
本発明は以上説明した本実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更可能である。例えば、動きベクトル検出部２１，２２は、垂直方向の画素や斜め方向の画素についても動きベクトルＭＶ1，ＭＶ2を検出する構成でもよく、例えばマッチング法等を用いることが可能である。その場合、遅延部３２，３３での遅延量を上述の構成と変えることで対応可能である。
【００３６】
また、図７に示す映像信号処理装置７１のように、動きベクトル検出部２１，２２は動きベクトル検出部２３として同一の検出部としてもよく、ノイズリダクション処理部１１と補正フレーム生成部１３で用いる動きベクトルは同一の方法で求められる。
【００３７】
更に、遅延部３１〜３４は上述の構成に限定されることなく、所定期間遅延する機能を有していればよく、ラインメモリの代わりにフリップフロップを用いてもよい。
【００３８】
以上説明してきたように、本実施形態によれば、従来とほぼ同等のノイズ低減効果があり、高画質な映像信号が得られると共に、ノイズリダクション処理部や補間フレーム生成部に使用されるフレームメモリや遅延部が削減できるのでコスト低減となる。
【図面の簡単な説明】
【００３９】
【図１】本発明の映像信号処理装置の一実施形態を示すブロック図である。
【図２】本発明のノイズリダクション処理部に用いる動きベクトルの検出を説明するための図である。
【図３】本発明のノイズリダクション処理部の一例を示すブロック図である。
【図４】本発明の補間フレーム生成部による補間フレームの生成を説明するための図である。
【図５】本発明の補間フレーム生成部に用いる動きベクトルの検出を説明するための図である。
【図６】本発明の補間フレーム生成部の一例を示すブロック図である。
【図７】本発明の映像信号処理装置の他の実施形態を示すブロック構成図である。
【符号の説明】
【００４０】
１、７１ 映像信号処理装置
１１ ノイズリダクション処理部
１２ フレームメモリ
１３ 補間フレーム生成部
１４ 時系列変換メモリ
２１〜２３ 動きベクトル検出部
３１〜３４ 遅延部
【特許請求の範囲】
【請求項１】
入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、前記第１の映像信号のノイズを除去するノイズリダクション処理部と、
前記ノイズリダクション処理部によりノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して前記第２の映像信号とするフレームメモリと、
前記第１の映像信号と前記第２の映像信号とを用いて、前記第１の映像信号と前記第２の映像信号の間に内挿する１または複数の補間フレームを生成する補間フレーム生成部と、
を有することを特徴とする映像信号処理装置。
【請求項２】
前記第１の映像信号と前記第２の映像信号の間の動きベクトルを検出するために、前記第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延する第１及び第２の遅延部と、
前記第１の期間遅延された前記第１の映像信号と前記第２の期間遅延された前記第２の映像信号を用いて、前記第１の映像信号と前記第２の映像信号の間の第１及び第２の動きベクトルをそれぞれ検出する第１及び第２の動きベクトル検出部とを備え、
前記ノイズリダクション処理部は、前記第２の映像信号と前記第１の動きベクトルを用いて、前記第１の映像信号のノイズを除去し、
前記補間フレーム生成部は、前記第１の映像信号、前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
前記ノイズリダクション処理部及び前記補間フレーム生成部に供給する前記第２の映像信号を第３の期間遅延する第３の遅延部と、
前記第３の期間遅延された前記第２の映像信号に同期させるために、前記補間フレーム生成部に供給する前記第１の映像信号を第４の期間遅延する第４の遅延部とを備え、
前記ノイズリダクション処理部は、前記第３の期間遅延された前記第２の映像信号と前記第１の動きベクトルとを用いて、前記第１の映像信号のノイズを除去し、
前記補間フレーム生成部は、前記第４の期間遅延された第１の映像信号と、前記第３の期間遅延された前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項１または２記載の映像信号処理装置。
【請求項４】
入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、前記第１の映像信号のノイズを除去し、
ノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して前記第２の映像信号とし、
前記第１の映像信号と前記第２の映像信号とを用いて、前記第１の映像信号と前記第２の映像信号の間に内挿する１または複数の補間フレームを生成することを特徴とする映像信号処理方法。
【請求項５】
第１の映像信号と第２の映像信号の間の動きベクトルを検出するために前記第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延し、
前記第１の期間遅延された前記第１の映像信号と前記第２の期間遅延された前記第２の映像信号を用いて、前記第１の映像信号と前記第２の映像信号の間の第１及び第２の動きベクトルを検出し、
前記第２の映像信号と前記第１の動きベクトルを用いて、前記第１の映像信号のノイズを除去し、
前記第１の映像信号、前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項４記載の映像信号処理方法。
【請求項６】
前記第１の映像信号のノイズの低減及び前記補間フレームを生成するために前記第２の映像信号を第３の期間遅延し、
前記第３の期間遅延された前記第２の映像信号に同期させるために、前記補間フレームを生成するための前記第１の映像信号を第４の期間遅延し、
前記第３の期間遅延された前記第２の映像信号と前記第１の動きベクトルとを用いて、前記第１の映像信号のノイズを除去し、
前記第４の期間遅延された前記第１の映像信号と、前記第３の期間遅延された前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項４または５記載の映像信号処理方法。
【請求項１】
入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、前記第１の映像信号のノイズを除去するノイズリダクション処理部と、
前記ノイズリダクション処理部によりノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して前記第２の映像信号とするフレームメモリと、
前記第１の映像信号と前記第２の映像信号とを用いて、前記第１の映像信号と前記第２の映像信号の間に内挿する１または複数の補間フレームを生成する補間フレーム生成部と、
を有することを特徴とする映像信号処理装置。
【請求項２】
前記第１の映像信号と前記第２の映像信号の間の動きベクトルを検出するために、前記第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延する第１及び第２の遅延部と、
前記第１の期間遅延された前記第１の映像信号と前記第２の期間遅延された前記第２の映像信号を用いて、前記第１の映像信号と前記第２の映像信号の間の第１及び第２の動きベクトルをそれぞれ検出する第１及び第２の動きベクトル検出部とを備え、
前記ノイズリダクション処理部は、前記第２の映像信号と前記第１の動きベクトルを用いて、前記第１の映像信号のノイズを除去し、
前記補間フレーム生成部は、前記第１の映像信号、前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
前記ノイズリダクション処理部及び前記補間フレーム生成部に供給する前記第２の映像信号を第３の期間遅延する第３の遅延部と、
前記第３の期間遅延された前記第２の映像信号に同期させるために、前記補間フレーム生成部に供給する前記第１の映像信号を第４の期間遅延する第４の遅延部とを備え、
前記ノイズリダクション処理部は、前記第３の期間遅延された前記第２の映像信号と前記第１の動きベクトルとを用いて、前記第１の映像信号のノイズを除去し、
前記補間フレーム生成部は、前記第４の期間遅延された第１の映像信号と、前記第３の期間遅延された前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項１または２記載の映像信号処理装置。
【請求項４】
入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、前記第１の映像信号のノイズを除去し、
ノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して前記第２の映像信号とし、
前記第１の映像信号と前記第２の映像信号とを用いて、前記第１の映像信号と前記第２の映像信号の間に内挿する１または複数の補間フレームを生成することを特徴とする映像信号処理方法。
【請求項５】
第１の映像信号と第２の映像信号の間の動きベクトルを検出するために前記第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延し、
前記第１の期間遅延された前記第１の映像信号と前記第２の期間遅延された前記第２の映像信号を用いて、前記第１の映像信号と前記第２の映像信号の間の第１及び第２の動きベクトルを検出し、
前記第２の映像信号と前記第１の動きベクトルを用いて、前記第１の映像信号のノイズを除去し、
前記第１の映像信号、前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項４記載の映像信号処理方法。
【請求項６】
前記第１の映像信号のノイズの低減及び前記補間フレームを生成するために前記第２の映像信号を第３の期間遅延し、
前記第３の期間遅延された前記第２の映像信号に同期させるために、前記補間フレームを生成するための前記第１の映像信号を第４の期間遅延し、
前記第３の期間遅延された前記第２の映像信号と前記第１の動きベクトルとを用いて、前記第１の映像信号のノイズを除去し、
前記第４の期間遅延された前記第１の映像信号と、前記第３の期間遅延された前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項４または５記載の映像信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−９３６８０（Ｐ２０１０−９３６８０Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００８−２６３６６０（Ｐ２００８−２６３６６０）
【出願日】平成２０年１０月１０日（２００８．１０．１０）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２０年１０月１０日（２００８．１０．１０）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]