信号処理装置及び信号処理方法
【課題】入力映像信号の各フレームに現れる動きをより高い精度で推定するための映像信号を、出力映像の画質に影響を与えることなく供給すること。
【解決手段】入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得する計測値取得部と、上記計測値取得部により取得される上記計測値に基づいて、上記入力映像信号に適用すべきフィルタの特性を決定する決定部と、上記決定部により決定される特性を有するフィルタを上記入力映像信号に適用することにより、上記動きの推定のために使用される映像信号を生成するフィルタリング部と、を備える信号処理装置を提供する。
【解決手段】入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得する計測値取得部と、上記計測値取得部により取得される上記計測値に基づいて、上記入力映像信号に適用すべきフィルタの特性を決定する決定部と、上記決定部により決定される特性を有するフィルタを上記入力映像信号に適用することにより、上記動きの推定のために使用される映像信号を生成するフィルタリング部と、を備える信号処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置及び信号処理方法に関する。
【背景技術】
【０００２】
従来、映像信号の各フレームに現れる人物又は物体の動きを動きベクトルとして推定するための、ブロックマッチング法に代表される動きベクトル推定技術が知られている。推定された動きベクトルは、例えば、インターレース−プログレッシブ変換又はフレームレート変換に際して、動き補償と共にフレーム（又はフィールド）を補間するために用いられる。また、動きベクトル推定技術は、動画の圧縮符号化において圧縮効率を高めるためのフレーム間予測にとっても欠かせない技術である。しかし、動きベクトル推定技術は、一般的に、映像信号に含まれる繰り返しパターンやノイズの影響を受け易い。例えば、映像信号の１つのフレーム内に複数の類似するパターンが含まれている場合、前のフレームの１つのパターンが複数の類似するパターンのいずれに移動したのかを正確に決定することは困難である。
【０００３】
一例として、図１７を参照すると、左側に時刻ＴにおけるフレームＩｍ０１、右側に時刻Ｔ＋ΔｔにおけるフレームＩｍ０２が示されている。フレームＩｍ０１は、ストライプ状の網掛けで示した繰り返しパターンを有するブロックＢ１を含んでいる。また、フレームＩｍ０２は、ストライプ状の網掛けで示した繰り返しパターンをそれぞれ有するブロックＢ２及びＢ３を含んでいる。このような入力映像信号にブロックマッチング法を適用すると、ブロックＢ１とブロックＢ２との相関、及びブロックＢ１とブロックＢ３との相関はほぼ同等である。そのため、時刻ＴにおけるブロックＢ１は、時刻Ｔ＋ΔＴにおいてブロックＢ２に移動したともブロックＢ３に移動したとも解釈され得る。
【０００４】
結果として、映像信号に高周波の繰り返しパターンやノイズが多く含まれる場合には、類似するパターンが同一のフレーム内に多数存在するため、画素ごとに導かれる動きベクトルの方向が様々に異なるという結果が生じる。そして、ベクトルのばらつきなどのエラーを原因とする映像の破綻が顕在化する。即ち、動きベクトルのエラーが頻繁に発生し、例えばフレーム補間後の映像の破綻がユーザに感知されるといった問題が生じ得る。
【０００５】
動きベクトルのエラーを軽減するための手法として、例えば、下記特許文献１は、算出した動きベクトルとその周囲のベクトルとを比較し、空間的又は時間的なベクトルのばらつきが抑制されるようにベクトル自体を補正する手法を提案している。また、ＭＰＥＧ（Moving Picture Experts Group）圧縮の分野では、入力映像信号の内容に応じて適応的に入力映像信号にローパスフィルタを施すことにより、モスキートノイズなどのノイズ成分を抑制する手法が知られている（例えば、下記特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２６６１７０号公報
【特許文献２】特開２００１−２３１０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１により提案された手法では、過去に算出した多数のベクトルをその後の比較のために保持しておかなければならず、大規模なフレームメモリなどのリソースが必要であり、装置の小型化や低コスト化などの要求を満たすことができなかった。また、上記特許文献２に示されているような入力映像信号をフィルタリングする手法は、ノイズ成分を抑制することはできるものの、動きベクトルの推定に単純に応用し得るものではない。例えば、映像信号にローパスフィルタを施せば、フィルタの強度によっては出力される映像の画質（例えば鮮鋭度）が低下し得る。しかし、動きベクトルの推定を目的とする場合には、動きベクトルの推定の基礎とする情報においてエラーの原因となる成分が除去されていればよく、出力映像の画質にまで影響を与えることは避けられるべきである。エラーの原因となる成分とは、例えば、映像信号に高周波の繰り返しパターンやノイズが多く含まれる場合における映像信号の高周波成分である。この場合、低周波数成分を抽出し又は相対的に強調した上で動きベクトルを推定することで、より良好な推定結果を得ることができるものと期待される。
【０００８】
そこで、本発明は、入力映像信号の各フレームに現れる動きをより高い精度で推定するための映像信号を、出力映像の画質に影響を与えることなく供給することのできる、新規かつ改良された信号処理装置及び信号処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００９】
本発明のある実施形態によれば、入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得する計測値取得部と、上記計測値取得部により取得される上記計測値に基づいて、上記入力映像信号に適用すべきフィルタの特性を決定する決定部と、上記決定部により決定される特性を有するフィルタを上記入力映像信号に適用することにより、上記動きの推定のために使用される映像信号を生成するフィルタリング部と、を備える信号処理装置が提供される。
【００１０】
かかる構成によれば、入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値に基づいて入力映像信号に適用すべきフィルタの特性が決定され、決定された特性を有するフィルタが入力映像信号に適用される。そして、フィルタリング処理の結果として生成される映像信号が、動きの推定のために使用される。
【００１１】
また、上記動きの推定に影響を与える特徴量は、上記入力映像信号の各フレームの水平方向又は垂直方向における高周波成分の大きさに応じた特徴量を含んでもよい。
【００１２】
また、上記高周波成分の大きさに応じた特徴量は、上記入力映像信号の各フレームの水平方向又は垂直方向における帯域別のヒストグラムを表す第１の特徴量を含んでもよい。
【００１３】
また、上記高周波成分の大きさに応じた特徴量は、上記入力映像信号の各フレームに含まれる隣接画素間の画素値の差分の総和を表す第２の特徴量を含んでもよい。
【００１４】
また、上記決定部は、上記計測値取得部により取得される上記計測値が示す上記入力映像信号の各フレームの上記高周波成分の大きさに応じて、上記フィルタの特性における高周波帯域の減衰の強さを変化させてもよい。
【００１５】
また、上記決定部は、上記帯域別のヒストグラムにおいて最大の度数を示す帯域の周波数に応じて、上記フィルタの特性における遮断帯域を変化させてもよい。
【００１６】
また、上記動きの推定に影響を与える特徴量は、上記入力映像信号の各フレームに含まれるノイズ成分の強さに応じた第３の特徴量を含んでもよい。
【００１７】
また、上記フィルタの特性は、上記入力映像信号の各信号値に乗算されるフィルタ係数と各信号値に対するシフト量とにより表現され、上記決定部は、上記計測値取得部により取得される上記計測値が示す上記入力映像信号の各フレームの上記ノイズ成分の強さに応じて、上記シフト量を変化させてもよい。
【００１８】
また、上記信号処理装置は、上記入力映像信号の各フレームについて上記特徴量を計測する計測部、をさらに備えてもよい。
【００１９】
また、上記信号処理装置は、上記フィルタリング部により生成される上記映像信号の第１のフレームと第２のフレームとの間の信号の相関に基づいて、各フレームに現れる上記動きを推定する動き推定部、をさらに備えてもよい。
【００２０】
また、上記信号処理装置は、上記動き推定部により推定された上記動きに応じて、上記入力映像信号の第１のフレームと第２のフレームとの間のフレームを補間する補間処理部、をさらに備えてもよい。
【００２１】
また、本発明の別の実施形態によれば、入力映像信号を処理する信号処理装置による信号処理方法であって、上記入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得するステップと、取得された上記計測値に基づいて、上記入力映像信号に適用すべきフィルタの特性を決定するステップと、決定された特性を有するフィルタを上記入力映像信号に適用することにより、上記動きの推定のために使用される映像信号を生成するステップと、を含む信号処理方法が提供される。
【発明の効果】
【００２２】
以上説明したように、本発明に係る信号処理装置及び信号処理方法によれば、入力映像信号の各フレームに現れる動きをより高い精度で推定するための映像信号を、出力映像の画質に影響を与えることなく供給することができる。
【図面の簡単な説明】
【００２３】
【図１】一実施形態に係る信号処理装置の全体的な構成の一例を示すブロック図である。
【図２】一実施形態に係る計測部のより詳細な構成の一例を示すブロック図である。
【図３】一実施形態に係る帯域計測部のさらに具体的な構成の一例を示すブロック図である。
【図４】一実施形態に係る隣接差分計測部のさらに具体的な構成の一例を示すブロック図である。
【図５】一実施形態に係るノイズ計測部のさらに具体的な構成の一例を示すブロック図である。
【図６】一実施形態に係る決定部のより詳細な構成の一例を示すブロック図である。
【図７Ａ】帯域別ヒストグラムの第１のデータ例を示す説明図である。
【図７Ｂ】帯域別ヒストグラムの第２のデータ例を示す説明図である。
【図８】強度選択テーブルのデータの一例を示す説明図である。
【図９】一実施形態に係る帯域別ヒストグラムに基づくフィルタ強度判定処理の流れの一例を示すフローチャートである。
【図１０】一実施形態に係る隣接差分総和に基づくフィルタ強度判定処理の流れの一例を示すフローチャートである。
【図１１】一実施形態に係る特性決定部のさらに具体的な構成の一例を示すブロック図である。
【図１２】一実施形態に係る強度段階制御処理の流れの一例を示すフローチャートである。
【図１３】一実施形態に係るフィルタ係数について説明するための説明図である。
【図１４】一実施形態に係るシフト量のオフセットについて説明するための説明図である。
【図１５】一実施形態に係るフィルタリング部のより詳細な構成の一例を示すブロック図である。
【図１６】一変形例に係る信号処理装置の構成の一例を示すブロック図である。
【図１７】入力フレームに含まれる繰り返しパターンの動きベクトル推定への影響について説明するための説明図である。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２５】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る信号処理装置の全体的な構成
２．各部の説明
２−１．計測部
２−２．計測値取得部
２−３．決定部
２−４．フィルタリング部
２−５．フレームメモリ
２−６．動き推定部
２−７．補間処理部
３．効果の説明
４．変形例
【００２６】
＜１．一実施形態に係る信号処理装置の全体的な構成＞
図１は、本発明の一実施形態に係る信号処理装置１００の構成の一例を示すブロック図である。図１を参照すると、信号処理装置１００は、計測部１１０、計測値取得部１３０、決定部１４０、フィルタリング部１５０、フレームメモリ１６０、動き推定部１７０、及び補間処理部１８０を備える。信号処理装置１００のこれら構成要素のうち、フレームメモリ１６０以外の構成要素は、主にＡＳＩＣ（Application Specific Integrated Circuit）若しくはシステムＬＳＩ（Large Scale Integration）などの集積回路又はＣＰＵ（Central Processing Unit）などのプロセッサと、補助的な記憶媒体とを用いて実現され得る。フレームメモリ１６０は、例えばＲＡＭ（Random Access Memory）又はフラッシュメモリなどの記憶媒体を用いて実現され得る。
【００２７】
本実施形態において、信号処理装置１００は、外部から入力される入力映像信号Ｖｉｎを取得し、入力映像信号Ｖｉｎを処理した後、フレームが補間された出力映像信号Ｖｏｕｔを出力する。かかる信号処理の過程において、フレームの補間のために利用される動きベクトルは、動き推定用の映像信号Ｖｅｘを用いて推定されるベクトルである。フレームが補間される入力映像信号Ｖｉｎとは独立して動き推定用の映像信号Ｖｅｘが動きベクトルの推定のために供給されることは、本発明の有利な側面の１つである。次節より、このような動き推定用の映像信号Ｖｅｘの生成、動きの推定及びフレームの補間を行う信号処理装置１００の各部の構成について、より具体的に説明する。
【００２８】
＜２．各部の説明＞
［２−１．計測部］
計測部１１０は、入力映像信号Ｖｉｎの各フレームに現れる動きの推定に影響を与える特徴量を計測する。本実施形態において、計測部１１０が計測する特徴量は、入力映像信号Ｖｉｎの各フレームの水平方向及び垂直方向における高周波成分の大きさ（amplitude）に応じた特徴量と、入力映像信号Ｖｉｎの各フレームに含まれるノイズ成分の強さに応じた特徴量とを含む。さらに、高周波成分の大きさに応じた特徴量は、入力映像信号Ｖｉｎの各フレームの水平方向及び垂直方向における帯域別のヒストグラムと、入力映像信号Ｖｉｎの各フレームに含まれる隣接画素間の画素値の差分の総和（以下、隣接差分総和という）とを含み得る。
【００２９】
図２は、本実施形態に係る計測部１１０のより詳細な構成の一例を示すブロック図である。図２を参照すると、計測部１１０は、帯域計測部１１２、隣接差分計測部１１４及びノイズ計測部１１８を含む。計測部１１０に入力される入力映像信号Ｖｉｎは、これら帯域計測部１１２、隣接差分計測部１１４及びノイズ計測部１１８にそれぞれ入力される。そして、帯域計測部１１２は、上述した特徴量のうち、各フレームにおける帯域別ヒストグラムＭ１を出力する。隣接差分計測部１１４は、各フレームの隣接差分総和Ｍ２を出力する。ノイズ計測部１１８は、各フレームに含まれるノイズ成分の強さを表すノイズレベルＭ３を出力する。
【００３０】
なお、他の実施形態において、計測部１１０は、上述した３種類の計測値Ｍ１、Ｍ２及びＭ３のうちのいずれかの計測値を計測せず又は出力しなくてもよい。また、計測部１１０は、入力映像信号Ｖｉｎの各フレームの水平方向及び垂直方向のいずれか一方について特徴量を計測してもよい。
【００３１】
（帯域計測部）
帯域計測部１１２は、入力映像信号Ｖｉｎの各フレームの水平方向及び垂直方向における帯域別の繰り返し成分の強さを計測し、水平方向の帯域別ヒストグラムと垂直方向の帯域別ヒストグラムとを生成する。帯域別の繰り返し成分の強さは、個々の帯域（band）にそれぞれ適合される帯域通過フィルタである水平フィルタ及び垂直フィルタを用いて計測され得る。
【００３２】
図３は、本実施形態に係る帯域計測部１１２のさらに具体的な構成の一例を示すブロック図である。図３を参照すると、帯域計測部１１２は、Ｍ個の帯域別水平フィルタＦｈ１〜ＦｈＭ、Ｎ個の帯域別垂直フィルタＦｖ１〜ＦｖＮ、及びヒストグラム生成部１１３を含む。
【００３３】
第１の帯域別水平フィルタＦｈ１は、入力映像信号Ｖｉｎの水平方向の第１の帯域成分を分離する。第２の帯域別水平フィルタＦｈ２は、入力映像信号Ｖｉｎの水平方向の第２の帯域成分を分離する。同様に、第Ｍの帯域別水平フィルタＦｈＭは、入力映像信号Ｖｉｎの水平方向の第Ｍの帯域成分を分離する。即ち、本実施形態において、１つのフレームに含まれる水平方向の繰り返し成分は、Ｍ個の帯域成分に分離され計測される。
【００３４】
また、第１の帯域別垂直フィルタＦｖ１は、入力映像信号Ｖｉｎの垂直方向の第１の帯域成分を分離する。第２の帯域別垂直フィルタＦｖ２は、入力映像信号Ｖｉｎの垂直方向の第２の帯域成分を分離する。同様に、第Ｎの帯域別垂直フィルタＦｖＮは、入力映像信号Ｖｉｎの垂直方向の第Ｎの帯域成分を分離する。即ち、本実施形態において、１つのフレームに含まれる垂直方向の繰り返し成分は、Ｎ個の帯域成分に分離され計測される。
【００３５】
ヒストグラム生成部１１３は、水平フィルタＦｈ１〜ＦｈＭ及び垂直フィルタＦｖ１〜ＦｖＮから入力される各帯域成分の大きさを１つのフレームにわたってそれぞれ積算し、帯域別ヒストグラムＭ１を生成する。帯域別ヒストグラムＭ１は、水平方向のＭ個の帯域ごとの度数（フィルタ出力の積算値）と、垂直方向のＮ個の帯域ごとの度数とを含む。
【００３６】
（隣接差分計測部）
隣接差分計測部１１４は、入力映像信号Ｖｉｎの各フレームに含まれる隣接差分総和を水平方向及び垂直方向のそれぞれについて計測する。
【００３７】
図４は、本実施形態に係る隣接差分計測部１１４のさらに具体的な構成の一例を示すブロック図である。図４を参照すると、隣接差分計測部１１４は、遅延部１１５ａ、減算部１１５ｂ、絶対値演算部１１５ｃ及び積算部１１５ｄ、並びに遅延部１１６ａ、減算部１１６ｂ、絶対値演算部１１６ｃ及び積算部１１６ｄを含む。このうち、遅延部１１５ａ、減算部１１５ｂ、絶対値演算部１１５ｃ及び積算部１１５ｄは、入力映像信号Ｖｉｎの各フレームに含まれる水平方向についての隣接差分総和を算出する。一方、遅延部１１６ａ、減算部１１６ｂ、絶対値演算部１１６ｃ及び積算部１１６ｄは、入力映像信号Ｖｉｎの各フレームに含まれる垂直方向についての隣接差分総和を算出する。
【００３８】
遅延部１１５ａは、入力映像信号Ｖｉｎの各画素の処理タイミングを１画素（１Pixel）分遅延させ、遅延後の画素値を減算部１１５ｂへ出力する。減算部１１５ｂは、隣接差分計測部１１４に入力される入力映像信号Ｖｉｎの各画素の画素値と遅延部１１５ａから入力される遅延後の画素値との差分を算出する。絶対値演算部１１５ｃは、減算部１１５ｂにより算出された差分の絶対値を算出する。そして、積算部１１５ｄは、絶対値演算部１１５ｃにより算出された差分の絶対値を１つのフレームにわたって積算する。それにより、入力映像信号Ｖｉｎの各フレームに含まれる水平方向についての隣接差分総和が算出される。
【００３９】
一方、遅延部１１６ａは、入力映像信号Ｖｉｎの各画素の処理タイミングを１ライン（１Line）分遅延させ、遅延後の画素値を減算部１１６ｂへ出力する。減算部１１６ｂは、隣接差分計測部１１４に入力される入力映像信号Ｖｉｎの各画素の画素値と遅延部１１６ａから入力される遅延後の画素値との差分を算出する。絶対値演算部１１６ｃは、減算部１１６ｂにより算出された差分の絶対値を算出する。そして、積算部１１６ｄは、絶対値演算部１１６ｃにより算出された差分の絶対値を１つのフレームにわたって積算する。それにより、入力映像信号Ｖｉｎの各フレームに含まれる垂直方向についての隣接差分総和が算出される。
【００４０】
（ノイズ計測部）
ノイズ計測部１１８は、入力映像信号Ｖｉｎの各フレームに含まれるノイズ成分の強さを表すノイズレベルを計測する。
【００４１】
図５は、本実施形態に係るノイズ計測部１１８のさらに具体的な構成の一例を示すブロック図である。図５を参照すると、ノイズ計測部１１８は、フレームメモリ１１９ａ及びノイズレベル検出部１１９ｂを含む。
【００４２】
フレームメモリ１１９ａは、入力映像信号Ｖｉｎの各フレームを一時的に記憶する。ノイズレベル検出部１１９ｂは、入力映像信号Ｖｉｎの各フレームとフレームメモリ１１９ａに記憶されている前のフレームとを比較し、その比較の結果に基づいて、各フレームについてのノイズレベルを検出する。ノイズレベル検出部１１９ｂによるノイズレベルの検出は、例えば特開２００９−３５９９号公報に記載された公知の手法に従って行われ得る。ノイズレベルの値は、例えば標準偏差又は標準分散などの量を所定のビット数（例えば１０ｂｉｔ）を用いて表現した値であってよい。
【００４３】
計測部１１０は、上述したような帯域計測部１１２、隣接差分計測部１１４及びノイズ計測部１１８による計測結果としての計測値、即ち帯域別ヒストグラムＭ１、隣接差分総和Ｍ２及びノイズレベルＭ３を、計測値取得部１３０へ出力する。
【００４４】
［２−２．計測値取得部］
計測値取得部１３０は、入力映像信号Ｖｉｎの各フレームに現れる動きの推定に影響を与える特徴量についての計測値を、計測部１１０から取得する。本実施形態において計測値取得部１３０が取得する計測値は、上述した帯域別ヒストグラムＭ１、隣接差分総和Ｍ２及びノイズレベルＭ３である。そして、計測値取得部１３０は、取得したこれら計測値を決定部１４０へ出力する。
【００４５】
［２−３．決定部］
決定部１４０は、計測値取得部１３０により取得される計測値に基づいて、入力映像信号Ｖｉｎに適用すべきフィルタの特性を決定する。入力映像信号Ｖｉｎに適用すべきフィルタとは、後に説明するフィルタリング部１５０が有するフィルタである。本実施形態において、入力映像信号Ｖｉｎに適用すべきフィルタの特性は、入力映像信号Ｖｉｎの各信号値に乗算されるフィルタ係数と、各信号値に対するシフト量（スケーリングパラメータともいう）とにより表現される。従って、決定部１４０は、以下に説明するように、計測値取得部１３０により取得される計測値に基づいて、入力映像信号Ｖｉｎに適用すべきフィルタのフィルタ係数とシフト量とを決定する。
【００４６】
図６は、本実施形態に係る決定部１４０のより詳細な構成の一例を示すブロック図である。図６を参照すると、決定部１４０は、第１判定部１４２、強度選択テーブル１４３、第２判定部１４４、特性決定部１４６及びフィルタ係数テーブル１４８を含む。このうち第１判定部１４２及び第２判定部１４４は、入力映像信号Ｖｉｎの各フレームの高周波成分の大きさに応じて、フィルタ特性における高周波帯域の減衰の強さを変化させるための処理を行う。
【００４７】
（第１判定部）
第１判定部１４２は、計測値取得部１３０から入力される帯域別ヒストグラムＭ１に応じて、入力映像信号Ｖｉｎに適用すべき水平方向のフィルタの強度及び垂直方向のフィルタの強度をそれぞれ変化させる。本明細書において、フィルタの強度とは、入力信号に対する減衰の強さと遮断帯域の広さとを含む概念である。後に説明する図８の例では、フィルタの強度は、Ｌｖ０からＬｖ４までの５つのレベルのいずれかにより表される。フィルタの強度は、フィルタタップごと係数値をそれぞれ含むフィルタ係数のセットと関連付けれ、実質的にはフィルタ係数のセットが入力信号に対する減衰の強さと遮断帯域の広さとを規定する。
【００４８】
より具体的には、第１判定部１４２は、水平方向及び垂直方向のそれぞれについて、まず、帯域別のヒストグラムにおいて最大の度数を示す帯域を選択する。次に、第１判定部１４２は、選択した帯域の度数を閾値と比較する。ここで、選択した帯域の度数が所定の閾値を上回る場合には、入力フレーム内で当該帯域の繰り返しパターンが強く現れているものと判断される。この場合、第１判定部１４２は、選択した帯域の周波数が高いほど強いフィルタの強度を選択する。また、選択した帯域の度数が所定の閾値を上回らない場合には、入力フレーム内でいずれの帯域においても繰り返しパターンがあまり強くは現れていないものと判断される。この場合、第１判定部１４２は、最も弱いフィルタの強度を選択する。
【００４９】
図７Ａ及び図７Ｂは、帯域別ヒストグラムのデータ例をそれぞれ示す説明図である。
【００５０】
図７Ａを参照すると、帯域別ヒストグラムは、１から８までの番号が付された８個の帯域ごとに計測された度数を含む。図７Ａの例では、最大の度数を示す帯域は８番目の帯域である。また、８番目の帯域の度数は閾値Ｔｈ１を上回っている。この場合、入力フレーム内で８番目の帯域の周波数を有する繰り返しパターンが強く現れていると判断される。そこで、第１判定部１４２は、当該８番目の帯域の周波数に応じたフィルタの強度を強度選択テーブル１４３を参照して設定する。
【００５１】
一方、図７Ｂの例では、最大の度数を示す帯域は４番目の帯域である。また、４番目の帯域の度数は閾値Ｔｈ１を下回っている。この場合、いずれの周波数を有する繰り返しパターンも入力フレーム内で強くは現れていないと判断される。そこで、第１判定部１４２は、最も弱いフィルタの強度を選択する。
【００５２】
図８は、強度選択テーブル１４３のデータの一例を示す説明図である。図８を参照すると、強度選択テーブル１４３は、選択された帯域及び強度判定値という２つのデータ項目を有する。図８の例における第２行は、７番目（＃７）又は８番目（＃８）の帯域が最大の度数を示す帯域として選択された場合に、最も高い強度Ｌｖ４が設定され得ることを示している。第３行は、５番目（＃５）又は６番目（＃６）の帯域が最大の度数を示す帯域として選択された場合に、次に高い強度Ｌｖ３が設定され得ることを示している。第４行は、３番目（＃３）又は４番目（＃４）の帯域が最大の度数を示す帯域として選択された場合に、次に高い強度Ｌｖ２が設定され得ることを示している。第５行は、１番目（＃１）又は２番目（＃２）の帯域が最大の度数を示す帯域として選択された場合に、次に高い強度Ｌｖ１が設定され得ることを示している。なお、上述したように、選択された帯域の度数が閾値Ｔｈ１を上回らない場合には、帯域の周波数及び強度選択テーブル１４３における強度判定値に関わらず、第１判定部１４２は、入力映像信号Ｖｉｎに適用すべきフィルタの強度として最も弱い強度Ｌｖ０を設定する。
【００５３】
第１判定部１４２は、このようなフィルタ強度判定処理を水平方向及び垂直方向のそれぞれについて行う。そして、第１判定部１４２は、判定結果としての水平方向のフィルタ強度Ｓ１ｈｔｍｐ及び垂直方向のフィルタ強度Ｓ１ｖｔｍｐを特性決定部１４６へ出力する。なお、フィルタ強度Ｓ１ｈｔｍｐ及びＳ１ｖｔｍｐの添え字の“ｔｍｐ”は、本実施形態において、第１判定部１４２により判定されたフィルタ強度が暫定的な値であることを意味している。但し、かかる実施形態に限定されず、第１判定部１４２により判定されたフィルタ強度は最終的な値として扱われてもよい。
【００５４】
図９は、本実施形態に係る第１判定部１４２によるフィルタ強度判定処理の流れの一例を示すフローチャートである。
【００５５】
図９を参照すると、第１判定部１４２は、まず、水平方向の帯域別ヒストグラムから最大度数を示す帯域を選択する（ステップＳ１０２）。次に、第１判定部１４２は、選択した帯域の度数が所定の閾値を上回るか否かを判定する（ステップＳ１０４）。ここで、選択した帯域の度数が所定の閾値を上回る場合には、第１判定部１４２は、強度選択テーブル１４３を参照し、選択した帯域の度数に応じて水平方向のフィルタ強度Ｓ１ｈｔｍｐを設定する（ステップＳ１０６）。一方、ステップＳ１０４において選択した帯域の度数が所定の閾値を上回らない場合には、第１判定部１４２は、水平方向のフィルタ強度Ｓ１ｈｔｍｐを最も弱いＬｖ０に設定する（ステップＳ１０８）。
【００５６】
次に、第１判定部１４２は、垂直方向の帯域別ヒストグラムから最大度数を示す帯域を選択する（ステップＳ１１２）。次に、第１判定部１４２は、選択した帯域の度数が所定の閾値を上回るか否かを判定する（ステップＳ１１４）。ここで、選択した帯域の度数が所定の閾値を上回る場合には、第１判定部１４２は、強度選択テーブル１４３を参照し、選択した帯域の度数に応じて垂直方向のフィルタ強度Ｓ１ｖｔｍｐを設定する（ステップＳ１１６）。一方、ステップＳ１１４において選択した帯域の度数が所定の閾値を上回らない場合には、第１判定部１４２は、垂直方向のフィルタ強度Ｓ１ｖｔｍｐを最も弱いＬｖ０に設定する（ステップＳ１１８）。
【００５７】
なお、ステップ１０４において水平方向の帯域別ヒストグラムの度数と比較される閾値と、ステップ１１４において垂直方向の帯域別ヒストグラムの度数と比較される閾値とは、同じ値であってもよく又は異なる値であってもよい。
【００５８】
（第２判定部）
第２判定部１４４は、計測値取得部１３０から入力される隣接差分総和Ｍ２に応じて、入力映像信号Ｖｉｎに適用すべき水平方向のフィルタの強度及び垂直方向のフィルタの強度をそれぞれ変化させる。より具体的には、第２判定部１４４は、水平方向及び垂直方向のそれぞれについて、隣接差分総和Ｍ２の値を所定の閾値と比較する。そして、例えば、第２判定部１４４は、隣接差分総和Ｍ２の値が当該閾値を上回る場合には最も強いフィルタ強度、隣接差分総和Ｍ２の値が当該閾値を上回らない場合には最も弱いフィルタ強度を選択する。第２判定部１４４は、このようなフィルタ強度判定処理を水平方向及び垂直方向のそれぞれについて行う。そして、第２判定部１４４は、判定結果としての水平方向のフィルタ強度Ｓ２ｈｔｍｐ及び垂直方向のフィルタ強度Ｓ２ｖｔｍｐを特性決定部１４６へ出力する。
【００５９】
図１０は、本実施形態に係る第２判定部１４４によるフィルタ強度判定処理の流れの一例を示すフローチャートである。
【００６０】
図１０を参照すると、第２判定部１４４は、まず、水平方向の隣接差分総和が所定の閾値を上回るか否かを判定する（ステップＳ１５２）。ここで、隣接差分総和が所定の閾値を上回る場合には、第２判定部１４４は、水平方向のフィルタ強度Ｓ２ｈｔｍｐを最も強いＬｖ４に設定する（ステップＳ１５４）。一方、ステップＳ１５２において隣接差分総和が所定の閾値を上回らない場合には、第２判定部１４４は、水平方向のフィルタ強度Ｓ２ｈｔｍｐを最も弱いＬｖ０に設定する（ステップＳ１５６）。
【００６１】
次に、第２判定部１４４は、垂直方向の隣接差分総和が所定の閾値を上回るか否かを判定する（ステップＳ１６２）。ここで、隣接差分総和が所定の閾値を上回る場合には、第２判定部１４４は、垂直方向のフィルタ強度Ｓ２ｖｔｍｐを最も強いＬｖ４に設定する（ステップＳ１６４）。一方、ステップＳ１６２において隣接差分総和が所定の閾値を上回らない場合には、第２判定部１４４は、垂直方向のフィルタ強度Ｓ２ｖｔｍｐを最も弱いＬｖ０に設定する（ステップＳ１６６）。
【００６２】
なお、ステップ１５２において水平方向の隣接差分総和と比較される閾値と、ステップ１６２において垂直方向の隣接差分総和と比較される閾値とは、同じ値であってもよく又は異なる値であってもよい。
【００６３】
（特性決定部）
特性決定部１４６は、第１判定部１４２から入力される水平方向のフィルタ強度Ｓ１ｈｔｍｐ及び第２判定部１４４から入力される水平方向のフィルタ強度Ｓ２ｈｔｍｐに基づいて、入力映像信号Ｖｉｎに適用すべき水平方向のフィルタのフィルタ係数を決定する。また、特性決定部１４６は、第１判定部１４２から入力される垂直方向のフィルタ強度Ｓ１ｖｔｍｐ及び第２判定部１４４から入力される垂直方向のフィルタ強度Ｓ２ｖｔｍｐに基づいて、入力映像信号Ｖｉｎに適用すべき垂直方向のフィルタのフィルタ係数を決定する。さらに、特性決定部１４６は、計測値取得部１３０により取得されるノイズレベルＭ３に基づいて、入力映像信号Ｖｉｎに適用すべきフィルタにおけるシフト量を決定する。
【００６４】
図１１は、本実施形態に係る特性決定部１４６のさらに具体的な構成の一例を示すブロック図である。図１１を参照すると、特性決定部１４６は、強度決定部１４７ａ、強度段階制御部１４７ｂ、ノイズレベル段階制御部１４７ｃ、及びパラメータ出力部１４７ｄを含む。
【００６５】
（１）フィルタ係数の決定
強度決定部１４７ａは、第１判定部１４２から入力される水平方向のフィルタ強度Ｓ１ｈｔｍｐ及び第２判定部１４４から入力される水平方向のフィルタ強度Ｓ２ｈｔｍｐから１つのフィルタ強度Ｓｈを算出する。フィルタ強度Ｓｈは、例えば、フィルタ強度Ｓ１ｈｔｍｐ及びＳ２ｈｔｍｐの平均値であってもよい。また、例えば、フィルタ強度Ｓ１ｈｔｍｐ及びＳ２ｈｔｍｐに所定の重みを乗算した上で、その重み付け後の値の平均値としてフィルタ強度Ｓｈが算出されてもよい。なお、算出された平均値が小数点以下の端数を有する場合には、例えば、端数は四捨五入され得る。同様に、強度決定部１４７ａは、第１判定部１４２から入力される垂直方向のフィルタ強度Ｓ１ｖｔｍｐ及び第２判定部１４４から入力される垂直方向のフィルタ強度Ｓ２ｖｔｍｐから１つのフィルタ強度Ｓｖを算出する。強度決定部１４７ａは、このように算出したフィルタ強度Ｓｈ及びＳｖを強度段階制御部１４７ｂへ出力する。
【００６６】
強度段階制御部１４７ｂは、フィルタ強度の急激な変化によりベクトルエラーが引き起こされることを防止するために、フィルタ強度が段階的に変化するように強度の出力値を制御する。例えば、強度段階制御部１４７ｂは、前のフレームについての強度の出力値がＬｖ０であって、強度決定部１４７ａから入力された最新の強度がＬｖ４である場合には、パラメータ出力部１４７ｄへ出力する強度がフレームを追って（frame by frame）Ｌｖ０→Ｌｖ１→Ｌｖ２→Ｌｖ３→Ｌｖ４となるように、強度の出力値を制御する。
【００６７】
図１２は、本実施形態に係る強度段階制御処理の流れの一例を示すフローチャートである。
【００６８】
図１２を参照すると、まず、強度段階制御部１４７ｂは、強度決定部１４７ａからフィルタ強度（Ｓｈ又はＳｖ）を取得する（ステップＳ２０２）。次に、強度段階制御部１４７ｂは、取得したフィルタ強度が前回の強度の出力値と等しいか否かを判定する（ステップＳ２０４）。ここで、取得したフィルタ強度が前回の強度の出力値と等しい場合には、強度段階制御部１４７ｂは、そのフィルタ強度をパラメータ出力部１４７ｄへ出力する（ステップＳ２０６）。一方、強度段階制御部１４７ｂは、取得したフィルタ強度が前回の強度の出力値と等しくない場合には、当該取得したフィルタ強度が前回の強度の出力値を上回るか否かをさらに判定する（ステップＳ２１０）。ここで、取得したフィルタ強度が前回の強度の出力値を上回る場合には、処理はステップＳ２１２へ進む。一方、取得したフィルタ強度が前回の強度の出力値を下回る場合には、処理はステップＳ２２２へ進む。
【００６９】
ステップＳ２１２では、強度段階制御部１４７ｂは、前回の強度の出力値に所定の変化量（variation）を加えた値をフィルタ強度に代入する（ステップＳ２１２）。例えば、前回の強度の出力値がＬｖ０であって、変化量が１レベルであると定義されている場合には、新たなフィルタ強度はＬｖ１となる。次に、強度段階制御部１４７ｂは、新たなフィルタ強度がフィルタ強度の上限値を上回るか否かを判定する（ステップＳ２１４）。ここで、新たなフィルタ強度がフィルタ強度の上限値を上回る場合には、強度段階制御部１４７ｂは、フィルタ強度の上限値（例えばＬｖ４）をパラメータ出力部１４７ｄへ出力する（ステップＳ２１６）。一方、新たなフィルタ強度がフィルタ強度の上限値を上回らない場合には、強度段階制御部１４７ｂは、その新たなフィルタ強度をパラメータ出力部１４７ｄへ出力する（ステップＳ２１８）。
【００７０】
ステップＳ２２２では、強度段階制御部１４７ｂは、前回の強度の出力値から所定の変化量を差し引いた値をフィルタ強度に代入する（ステップＳ２２２）。例えば、前回の強度の出力値がＬｖ４であって、変化量が１レベルであると定義されている場合には、新たなフィルタ強度はＬｖ３となる。次に、強度段階制御部１４７ｂは、新たなフィルタ強度がフィルタ強度の下限値を下回るか否かを判定する（ステップＳ２２４）。ここで、新たなフィルタ強度がフィルタ強度の下限値を下回る場合には、強度段階制御部１４７ｂは、フィルタ強度の下限値（例えばＬｖ０）をパラメータ出力部１４７ｄへ出力する（ステップＳ２２６）。一方、新たなフィルタ強度がフィルタ強度の下限値を下回らない場合には、強度段階制御部１４７ｂは、その新たなフィルタ強度をパラメータ出力部１４７ｄへ出力する（ステップＳ２２８）。
【００７１】
強度段階制御部１４７ｂによるこのような段階制御処理は、水平方向のフィルタ強度Ｓｈ及び垂直方向のフィルタ強度Ｓｖのそれぞれについて並列的に行われる。
【００７２】
パラメータ出力部１４７ｄは、強度段階制御部１４７ｂから入力されるフィルタ強度Ｓｈ及びＳｖとそれぞれ関連付けられるフィルタ係数のセットをフィルタ係数テーブル１４８から取得し、取得したフィルタ係数のセットをフィルタリング部１５０へ出力する。
【００７３】
図１３は、本実施形態に係る一例としてのフィルタ係数について説明するための説明図である。フィルタ係数テーブル１４８は、予め定義される複数のフィルタ強度と各フィルタ強度に対応するフィルタ係数のセットとを関連付けて記憶している。図１３は、各フィルタ強度に対応するフィルタ係数のセットによりそれぞれ規定されるフィルタ特性を特性図でそれぞれ示している。
【００７４】
まず、フィルタ強度＝Ｌｖ０である場合（図の上段左）には、フィルタ特性は、ゼロから最高周波数（サンプリングレートｆｓの１／２）にわたって１である。即ち、この場合、フィルタは全ての信号をそのまま通過させる。また、フィルタ強度＝Ｌｖ１〜Ｌｖ４である場合には、フィルタ特性は、ローパスフィルタの特性を示す。そして、フィルタ強度が強くなるほど、高周波帯域における減衰の強さは大きくなっている。また、フィルタ強度が強くなるほど、遮断帯域はより低い帯域まで広がっている。例えば、フィルタ強度＝Ｌｖ１である場合（図の上段中央）には、最高周波数（ｆｓ／２）に近い帯域においてのみ信号が遮断され、ｆｓ／４付近ではほとんど信号は減衰されない。これに対し、フィルタ強度＝Ｌｖ４である場合（図の下段右）には、ｆｓ／４よりも周波数の低い帯域にまで信号が遮断される帯域が広がっている。
【００７５】
なお、図１３に示したフィルタ特性は一例に過ぎない。即ち、より多くの若しくはより少ない種類のフィルタ係数のセットが提供されてもよく、又は図１３の例とは異なる特性を示すフィルタ係数のセットが提供されてもよい。
【００７６】
パラメータ出力部１４７ｄは、強度段階制御部１４７ｂから入力されるフィルタ強度に応じて、このようなフィルタ特性を示すフィルタ係数のセットを水平方向及び垂直方向のそれぞれについて取得し、取得したフィルタ係数のセットをフィルタリング部１５０へ出力する。
【００７７】
なお、フィルタ係数テーブル１４８には、フィルタ係数のセットの各々と関連付けて、シフト量の既定値がさらに記憶される。シフト量の既定値は、次に説明するシフト量の決定の際にパラメータ出力部１４７ｄにより使用される。
【００７８】
（２）シフト量の決定
本実施形態において、シフト量とは、フィルタ出力の最大値が出力のダイナミックレンジを超えないようにするためにフィルタリング部１５０が実行するシフト演算における、シフトされるビット数を指す。シフト演算により信号値の下位のビットが削られることから、シフト量が大きいほど、フレームの鮮鋭度が低下する一方でフレームに含まれるノイズがより強く除去される。
【００７９】
ノイズレベル段階制御部１４７ｃは、ノイズレベルに基づいて決定されるシフト量の急激な変化を緩和するために、ノイズレベルの出力値を段階的に変化するように制御する。例えば、ノイズレベル段階制御部１４７ｃは、ノイズ計測部１１８から出力されるノイズレベルＭ３の値がフレームごとに一定の変化量で変化するように、ノイズレベルＭ３の値を修正（加算又は減算）する。ノイズレベル段階制御部１４７ｃは、図１２に示した強度段階制御処理と同様の論理的な処理により実現されてもよく、その代わりにＩＩＲ（Infinite Impulse Response）を用いて実現されてもよい。
【００８０】
パラメータ出力部１４７ｄは、フィルタ係数テーブル１４８を参照し、ノイズレベル段階制御部１４７ｃから入力されるノイズレベルと関連付けられているシフト量のオフセットを取得する。そして、パラメータ出力部１４７ｄは、フィルタ係数のセットと共にフィルタ係数テーブル１４８から取得されるシフト量の既定値にシフト量のオフセットを加えた値を、最終的に使用すべきシフト量としてフィルタリング部１５０へ出力する。
【００８１】
図１４は、本実施形態に係る一例としてのシフト量のオフセットについて説明するための説明図である。フィルタ係数テーブル１４８は、ノイズレベルの値の範囲と各ノイズレベルに対応するシフト量のオフセットとを関連付けて記憶している。
【００８２】
図１４の例では、ノイズレベルの値がｎ０からｎ１までの間にあるとき、シフト量のオフセットはゼロである。ノイズレベルの値がｎ１からｎ２までの間にあるとき、シフト量のオフセットは１である。ノイズレベルの値がｎ２からｎ３までの間にあるとき、シフト量のオフセットは２である。ノイズレベルの値がｎ３を超えているとき、シフト量のオフセットは３である。なお、これらノイズレベルの範囲を規定するｎ０、ｎ１、ｎ２及びｎ３の値は、信号処理装置１００において予め定義されると共に、信号処理装置１００が取り扱う入力映像信号に応じて事後的に変更されてよい。
【００８３】
フィルタ係数のセットと共に予め定義されるシフト量の既定値をＳｆｉｎ、ノイズレベルに応じて取得されるシフト量のオフセットをＳｆｏｆｆｓｅｔ、パラメータ出力部１４７ｄが出力するシフト量をＳｆｏｕｔとすると、Ｓｆｏｕｔは次式により導かれる。
【００８４】
【数１】
【００８５】
［２−４．フィルタリング部］
フィルタリング部１５０は、決定部１４０により決定される特性を有するフィルタを入力映像信号Ｖｉｎに適用することにより、動き推定用の映像信号Ｖｅｘを生成する。
【００８６】
図１５は、本実施形態に係るフィルタリング部１５０のより詳細な構成の一例を示すブロック図である。図１５を参照すると、フィルタリング部１５０は、水平方向フィルタ１５２、垂直方向フィルタ１５４及びスケーリング部１５６を含む。決定部１４０からフィルタリング部１５０へ入力されるフィルタ特性データＦＤのうち、水平方向のフィルタ係数のセットは、水平方向フィルタ１５２へ入力される。垂直方向のフィルタ係数のセットは、垂直方向フィルタ１５４へ入力される。そして、シフト量は、スケーリング部１５６へ入力される。
【００８７】
水平方向フィルタ１５２は、水平方向のフィルタ係数のセットを用いて入力信号Ｖｉｎの各フレームをフィルタリングすることにより、各フレームに含まれる水平方向の高周波成分を遮断し又は減衰させる。水平方向フィルタ１５２によるフィルタ演算は次式により表される。
【００８８】
【数２】
【００８９】
ここで、Ｖｉｎ［ｘ，ｙ］は入力映像信号の１フレーム内の座標（ｘ，ｙ）における画素値である。Ｍは、水平方向フィルタ１５２のフィルタタップの数を決定する値である。Ｃｏｅｆｆｈ［０］〜Ｃｏｅｆｆｈ［２Ｍ］は、水平方向のフィルタ係数のセットである。Ｖｈｏｕｔ［ｘ，ｙ］は、水平方向フィルタ１５２の出力信号の１フレーム内の座標（ｘ，ｙ）における画素値である。
【００９０】
垂直方向フィルタ１５４は、垂直方向のフィルタ係数のセットを用いて水平方向フィルタ１５２からの出力信号Ｖｈｏｕｔの各フレームをフィルタリングすることにより、各フレームに含まれる垂直方向の高周波成分を遮断し又は減衰させる。垂直方向フィルタ１５４によるフィルタ演算は次式により表される。
【００９１】
【数３】
【００９２】
ここで、Ｎは、垂直方向フィルタ１５４のフィルタタップの数を決定する値である。Ｃｏｅｆｆｖ［０］〜Ｃｏｅｆｆｖ［２Ｎ］は、垂直方向のフィルタ係数のセットである。Ｖｖｏｕｔ［ｘ，ｙ］は、垂直方向フィルタ１５４の出力信号の１フレーム内の座標（ｘ，ｙ）における画素値である。
【００９３】
スケーリング部１５６は、フィルタリング部１５０からの出力信号がダイナミックレンジを超えないように、垂直方向フィルタ１５４の出力信号をシフトさせる。スケーリング部１５６によるシフト演算は次式により表される。
【００９４】
【数４】
【００９５】
Ｖｅｘ［ｘ，ｙ］は、フィルタリング処理の結果としてフィルタリング部１５０から出力される動き推定用の映像信号Ｖｅｘの１フレーム内の座標（ｘ，ｙ）における画素値である。
【００９６】
［２−５．フレームメモリ］
フレームメモリ１６０は、フィルタリング部１５０から出力される動き推定用の映像信号Ｖｅｘの各フレームを一時的に記憶する。フレームメモリ１６０により記憶される動き推定用の映像信号Ｖｅｘの各フレームは、動き推定部１７０による動きベクトルの推定のために用いられる。また、フレームメモリ１６０は、信号処理装置１００に入力される入力映像信号Ｖｉｎの各フレームを一時的に記憶する。さらに、フレームメモリ１６０は、動き推定部１７０により推定される各フレームについての動きベクトルを一時的に記憶する。フレームメモリ１６０により記憶される入力映像信号Ｖｉｎの各フレーム及び各フレームについての動きベクトルは、補間処理部１８０によるフレームの補間のために用いられる。
【００９７】
［２−６．動き推定部］
動き推定部１７０は、フィルタリング部１５０により生成される動き推定用の映像信号Ｖｅｘの第１のフレームと第２のフレームとの間の信号の相関に基づいて、各フレームに現れる動きを表す動きベクトルを推定する。第１のフレームと第２のフレームとは、例えば、現在の（最新の）フレームと前のフレームに相当する。動き推定部１７０による動きベクトルの推定は、例えばブロックマッチング法などの公知の手法に従って行われてよい。そして、動き推定部１７０は、推定した動きベクトルを補間処理部１８０へ出力する。
【００９８】
［２−７．補間処理部］
補間処理部１８０は、動き推定部１７０により推定された動きに応じて、即ち動き推定部１７０から入力される動きベクトルに応じて、入力映像信号Ｖｉｎの第１のフレームと第２のフレームとの間のフレームを補間する。補間処理部１８０によるフレームの補間もまた公知の手法に従って行われてよい。そして、補間処理部１８０は、フレームを補間した出力映像信号Ｖｏｕｔを出力する。出力映像信号Ｖｏｕｔは、フレームレート変換された映像信号として直接的に利用されてもよく、インターレース−プログレッシブ変換などの用途に利用されてもよい。
【００９９】
＜３．効果の説明＞
ここまで、図１〜図１５を用いて、本発明の一実施形態に係る信号処理装置１００について詳細に説明した。本実施形態によれば、入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値に基づいて入力映像信号に適用すべきフィルタの特性が決定され、決定された特性を有するフィルタが入力映像信号に適用される。そして、フィルタリング処理の結果として生成される映像信号が、動きの推定のために使用される。かかる構成によれば、動き推定用の映像信号の生成のためのフィルタの特性が動的に制御されるため、入力映像信号が繰り返しパターン又は強いノイズを含む場合には、その影響を効果的に低減することができる。また、入力映像信号が繰り返しパターンも強いノイズも含まない場合には、入力映像信号に適用されるフィルタの強度が抑制される。従って、入力映像信号の各フレームに現れる動きをより高いロバスト性をもって推定することを可能とする映像信号が供給される。また、本実施形態によれば、例えばフレームの補間などの後段の処理のために入力される映像信号とは別個に動き推定用の映像信号が供給される。従って、動きベクトルのベクトルエラーの低減のために強いフィルタを使用した場合にも、フィルタリング処理が出力映像の画質に影響を与えることがない。
【０１００】
また、本実施形態によれば、動きの推定に影響を与える特徴量は、入力映像信号の各フレームの水平方向又は垂直方向における高周波成分の大きさに応じた特徴量を含む。即ち、水平方向若しくは垂直方向（又はその双方）における高周波成分の大きさをフィルタ特性の決定の基礎とすることにより、入力フレーム内に現れる繰り返しパターンの強さを認識し、繰り返しパターンを除去又は緩和するようなフィルタ特性を選択することができる。高周波成分の大きさに応じた特徴量は、例えば、入力映像信号の各フレームの水平方向又は垂直方向における帯域別のヒストグラムである。帯域別のヒストグラムを用いることにより、帯域の数に応じて高周波成分の大きさを複数のレベルに分類できるため、フィルタ特性をより柔軟に制御することが可能となる。また、高周波成分の大きさに応じた特徴量は、例えば、入力映像信号の各フレームに含まれる隣接画素間の画素値の差分の総和である。隣接画素間の画素値の差分の総和は、複雑な計算処理を要求しないため、少ない計算コストと比較的小さい回路規模とにより算出され得る。
【０１０１】
また、本実施形態によれば、動きの推定に影響を与える特徴量は、入力映像信号の各フレームに含まれるノイズ成分の強さを表すノイズレベルを含む。例えば、ノイズレベルに応じてフィルタ特性のうちのシフト量を決定することにより、ノイズが少ない場合にはフレームの鮮鋭度を維持すると共に、ノイズが多い場合にはそのノイズを除去することができる。それにより、動きベクトルの推定のロバスト性が一層向上される。
【０１０２】
＜４．変形例＞
上述した実施形態では、信号処理装置１００が計測部１１０、動き推定部１７０及び補間処理部１８０を含む例を説明した。しかしながら、かかる例に限定されず、例えば上述した計測値取得部１３０、決定部１４０及びフィルタリング部１５０、又は、計測値取得部１３０及び決定部１４０のみを備える装置が提供されてもよい。例えば、図１６に示した一変形例に係る信号処理装置２００は、計測値取得部１３０及び決定部１４０のみを備える。この場合、信号処理装置２００は、上述した計測部１１０と同等の機能を有する計測装置２１０と接続される。そして、信号処理装置２００の計測値取得部１３０は、計測装置２１０から入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得する。また、信号処理装置２００は、映像処理装置２６０と接続される。そして、信号処理装置２００の決定部１４０は、計測値取得部１３０により取得される計測値に基づいて、入力映像信号Ｖｉｎに適用すべきフィルタの特性を決定し、決定したフィルタの特性を映像処理装置２６０のフィルタリング部１５０に通知する。映像処理装置２６０のフィルタリング部１５０は、通知された特性を有するフィルタを入力映像信号Ｖｉｎに適用することにより動き推定用の映像信号Ｖｅｘを生成し、生成した動き推定用の映像信号Ｖｅｘを映像処理部２７０へ出力する。映像処理部２７０は、かかる動き推定用の映像信号Ｖｅｘを用いて動きベクトルを推定し、例えば入力映像信号Ｖｉｎに対してフレームを補間した出力映像信号Ｖｏｕｔを出力する。
【０１０３】
また、信号処理装置１００又は２００は、上述した３種類の計測値Ｍ１、Ｍ２及びＭ３のうちのいずれかの計測値をフィルタ特性の決定のために使用しなくてもよい。例えば、隣接差分総和Ｍ２を使用しない場合には、決定部１４０の特性決定部１４６は、第１判定部１４２から入力されるフィルタ強度Ｓ１ｈｔｍｐ及びＳ１ｖｔｍｐのみに基づいてフィルタ特性を決定し得る。同様に、帯域別ヒストグラムＭ１を使用しない場合には、決定部１４０の特性決定部１４６は、第２判定部１４４から入力されるフィルタ強度Ｓ２ｈｔｍｐ及びＳ２ｖｔｍｐのみに基づいてフィルタ特性を決定し得る。さらに、信号処理装置１００又は２００は、水平方向及び垂直方向のいずれか一方についてフィルタ特性の決定及びフィルタリング処理を省略してもよい。
【０１０４】
なお、本明細書において説明した信号処理装置１００及び２００による一連の処理の全部又は一部は、ソフトウェアを用いて実現されてもよい。一連の処理の全部又は一部を実現するソフトウェアを構成するプログラムは、例えば、装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１０５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０６】
１００，２００ 信号処理装置
１１０ 計測部
１３０ 計測値取得部
１４０ 決定部
１５０ フィルタリング部
１７０ 動き推定部
１８０ 補間処理部
Ｖｉｎ 入力映像信号
Ｖｅｘ 動き推定用の映像信号
Ｖｏｕｔ 出力映像信号
【技術分野】
【０００１】
本発明は、信号処理装置及び信号処理方法に関する。
【背景技術】
【０００２】
従来、映像信号の各フレームに現れる人物又は物体の動きを動きベクトルとして推定するための、ブロックマッチング法に代表される動きベクトル推定技術が知られている。推定された動きベクトルは、例えば、インターレース−プログレッシブ変換又はフレームレート変換に際して、動き補償と共にフレーム（又はフィールド）を補間するために用いられる。また、動きベクトル推定技術は、動画の圧縮符号化において圧縮効率を高めるためのフレーム間予測にとっても欠かせない技術である。しかし、動きベクトル推定技術は、一般的に、映像信号に含まれる繰り返しパターンやノイズの影響を受け易い。例えば、映像信号の１つのフレーム内に複数の類似するパターンが含まれている場合、前のフレームの１つのパターンが複数の類似するパターンのいずれに移動したのかを正確に決定することは困難である。
【０００３】
一例として、図１７を参照すると、左側に時刻ＴにおけるフレームＩｍ０１、右側に時刻Ｔ＋ΔｔにおけるフレームＩｍ０２が示されている。フレームＩｍ０１は、ストライプ状の網掛けで示した繰り返しパターンを有するブロックＢ１を含んでいる。また、フレームＩｍ０２は、ストライプ状の網掛けで示した繰り返しパターンをそれぞれ有するブロックＢ２及びＢ３を含んでいる。このような入力映像信号にブロックマッチング法を適用すると、ブロックＢ１とブロックＢ２との相関、及びブロックＢ１とブロックＢ３との相関はほぼ同等である。そのため、時刻ＴにおけるブロックＢ１は、時刻Ｔ＋ΔＴにおいてブロックＢ２に移動したともブロックＢ３に移動したとも解釈され得る。
【０００４】
結果として、映像信号に高周波の繰り返しパターンやノイズが多く含まれる場合には、類似するパターンが同一のフレーム内に多数存在するため、画素ごとに導かれる動きベクトルの方向が様々に異なるという結果が生じる。そして、ベクトルのばらつきなどのエラーを原因とする映像の破綻が顕在化する。即ち、動きベクトルのエラーが頻繁に発生し、例えばフレーム補間後の映像の破綻がユーザに感知されるといった問題が生じ得る。
【０００５】
動きベクトルのエラーを軽減するための手法として、例えば、下記特許文献１は、算出した動きベクトルとその周囲のベクトルとを比較し、空間的又は時間的なベクトルのばらつきが抑制されるようにベクトル自体を補正する手法を提案している。また、ＭＰＥＧ（Moving Picture Experts Group）圧縮の分野では、入力映像信号の内容に応じて適応的に入力映像信号にローパスフィルタを施すことにより、モスキートノイズなどのノイズ成分を抑制する手法が知られている（例えば、下記特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２６６１７０号公報
【特許文献２】特開２００１−２３１０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１により提案された手法では、過去に算出した多数のベクトルをその後の比較のために保持しておかなければならず、大規模なフレームメモリなどのリソースが必要であり、装置の小型化や低コスト化などの要求を満たすことができなかった。また、上記特許文献２に示されているような入力映像信号をフィルタリングする手法は、ノイズ成分を抑制することはできるものの、動きベクトルの推定に単純に応用し得るものではない。例えば、映像信号にローパスフィルタを施せば、フィルタの強度によっては出力される映像の画質（例えば鮮鋭度）が低下し得る。しかし、動きベクトルの推定を目的とする場合には、動きベクトルの推定の基礎とする情報においてエラーの原因となる成分が除去されていればよく、出力映像の画質にまで影響を与えることは避けられるべきである。エラーの原因となる成分とは、例えば、映像信号に高周波の繰り返しパターンやノイズが多く含まれる場合における映像信号の高周波成分である。この場合、低周波数成分を抽出し又は相対的に強調した上で動きベクトルを推定することで、より良好な推定結果を得ることができるものと期待される。
【０００８】
そこで、本発明は、入力映像信号の各フレームに現れる動きをより高い精度で推定するための映像信号を、出力映像の画質に影響を与えることなく供給することのできる、新規かつ改良された信号処理装置及び信号処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００９】
本発明のある実施形態によれば、入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得する計測値取得部と、上記計測値取得部により取得される上記計測値に基づいて、上記入力映像信号に適用すべきフィルタの特性を決定する決定部と、上記決定部により決定される特性を有するフィルタを上記入力映像信号に適用することにより、上記動きの推定のために使用される映像信号を生成するフィルタリング部と、を備える信号処理装置が提供される。
【００１０】
かかる構成によれば、入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値に基づいて入力映像信号に適用すべきフィルタの特性が決定され、決定された特性を有するフィルタが入力映像信号に適用される。そして、フィルタリング処理の結果として生成される映像信号が、動きの推定のために使用される。
【００１１】
また、上記動きの推定に影響を与える特徴量は、上記入力映像信号の各フレームの水平方向又は垂直方向における高周波成分の大きさに応じた特徴量を含んでもよい。
【００１２】
また、上記高周波成分の大きさに応じた特徴量は、上記入力映像信号の各フレームの水平方向又は垂直方向における帯域別のヒストグラムを表す第１の特徴量を含んでもよい。
【００１３】
また、上記高周波成分の大きさに応じた特徴量は、上記入力映像信号の各フレームに含まれる隣接画素間の画素値の差分の総和を表す第２の特徴量を含んでもよい。
【００１４】
また、上記決定部は、上記計測値取得部により取得される上記計測値が示す上記入力映像信号の各フレームの上記高周波成分の大きさに応じて、上記フィルタの特性における高周波帯域の減衰の強さを変化させてもよい。
【００１５】
また、上記決定部は、上記帯域別のヒストグラムにおいて最大の度数を示す帯域の周波数に応じて、上記フィルタの特性における遮断帯域を変化させてもよい。
【００１６】
また、上記動きの推定に影響を与える特徴量は、上記入力映像信号の各フレームに含まれるノイズ成分の強さに応じた第３の特徴量を含んでもよい。
【００１７】
また、上記フィルタの特性は、上記入力映像信号の各信号値に乗算されるフィルタ係数と各信号値に対するシフト量とにより表現され、上記決定部は、上記計測値取得部により取得される上記計測値が示す上記入力映像信号の各フレームの上記ノイズ成分の強さに応じて、上記シフト量を変化させてもよい。
【００１８】
また、上記信号処理装置は、上記入力映像信号の各フレームについて上記特徴量を計測する計測部、をさらに備えてもよい。
【００１９】
また、上記信号処理装置は、上記フィルタリング部により生成される上記映像信号の第１のフレームと第２のフレームとの間の信号の相関に基づいて、各フレームに現れる上記動きを推定する動き推定部、をさらに備えてもよい。
【００２０】
また、上記信号処理装置は、上記動き推定部により推定された上記動きに応じて、上記入力映像信号の第１のフレームと第２のフレームとの間のフレームを補間する補間処理部、をさらに備えてもよい。
【００２１】
また、本発明の別の実施形態によれば、入力映像信号を処理する信号処理装置による信号処理方法であって、上記入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得するステップと、取得された上記計測値に基づいて、上記入力映像信号に適用すべきフィルタの特性を決定するステップと、決定された特性を有するフィルタを上記入力映像信号に適用することにより、上記動きの推定のために使用される映像信号を生成するステップと、を含む信号処理方法が提供される。
【発明の効果】
【００２２】
以上説明したように、本発明に係る信号処理装置及び信号処理方法によれば、入力映像信号の各フレームに現れる動きをより高い精度で推定するための映像信号を、出力映像の画質に影響を与えることなく供給することができる。
【図面の簡単な説明】
【００２３】
【図１】一実施形態に係る信号処理装置の全体的な構成の一例を示すブロック図である。
【図２】一実施形態に係る計測部のより詳細な構成の一例を示すブロック図である。
【図３】一実施形態に係る帯域計測部のさらに具体的な構成の一例を示すブロック図である。
【図４】一実施形態に係る隣接差分計測部のさらに具体的な構成の一例を示すブロック図である。
【図５】一実施形態に係るノイズ計測部のさらに具体的な構成の一例を示すブロック図である。
【図６】一実施形態に係る決定部のより詳細な構成の一例を示すブロック図である。
【図７Ａ】帯域別ヒストグラムの第１のデータ例を示す説明図である。
【図７Ｂ】帯域別ヒストグラムの第２のデータ例を示す説明図である。
【図８】強度選択テーブルのデータの一例を示す説明図である。
【図９】一実施形態に係る帯域別ヒストグラムに基づくフィルタ強度判定処理の流れの一例を示すフローチャートである。
【図１０】一実施形態に係る隣接差分総和に基づくフィルタ強度判定処理の流れの一例を示すフローチャートである。
【図１１】一実施形態に係る特性決定部のさらに具体的な構成の一例を示すブロック図である。
【図１２】一実施形態に係る強度段階制御処理の流れの一例を示すフローチャートである。
【図１３】一実施形態に係るフィルタ係数について説明するための説明図である。
【図１４】一実施形態に係るシフト量のオフセットについて説明するための説明図である。
【図１５】一実施形態に係るフィルタリング部のより詳細な構成の一例を示すブロック図である。
【図１６】一変形例に係る信号処理装置の構成の一例を示すブロック図である。
【図１７】入力フレームに含まれる繰り返しパターンの動きベクトル推定への影響について説明するための説明図である。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２５】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る信号処理装置の全体的な構成
２．各部の説明
２−１．計測部
２−２．計測値取得部
２−３．決定部
２−４．フィルタリング部
２−５．フレームメモリ
２−６．動き推定部
２−７．補間処理部
３．効果の説明
４．変形例
【００２６】
＜１．一実施形態に係る信号処理装置の全体的な構成＞
図１は、本発明の一実施形態に係る信号処理装置１００の構成の一例を示すブロック図である。図１を参照すると、信号処理装置１００は、計測部１１０、計測値取得部１３０、決定部１４０、フィルタリング部１５０、フレームメモリ１６０、動き推定部１７０、及び補間処理部１８０を備える。信号処理装置１００のこれら構成要素のうち、フレームメモリ１６０以外の構成要素は、主にＡＳＩＣ（Application Specific Integrated Circuit）若しくはシステムＬＳＩ（Large Scale Integration）などの集積回路又はＣＰＵ（Central Processing Unit）などのプロセッサと、補助的な記憶媒体とを用いて実現され得る。フレームメモリ１６０は、例えばＲＡＭ（Random Access Memory）又はフラッシュメモリなどの記憶媒体を用いて実現され得る。
【００２７】
本実施形態において、信号処理装置１００は、外部から入力される入力映像信号Ｖｉｎを取得し、入力映像信号Ｖｉｎを処理した後、フレームが補間された出力映像信号Ｖｏｕｔを出力する。かかる信号処理の過程において、フレームの補間のために利用される動きベクトルは、動き推定用の映像信号Ｖｅｘを用いて推定されるベクトルである。フレームが補間される入力映像信号Ｖｉｎとは独立して動き推定用の映像信号Ｖｅｘが動きベクトルの推定のために供給されることは、本発明の有利な側面の１つである。次節より、このような動き推定用の映像信号Ｖｅｘの生成、動きの推定及びフレームの補間を行う信号処理装置１００の各部の構成について、より具体的に説明する。
【００２８】
＜２．各部の説明＞
［２−１．計測部］
計測部１１０は、入力映像信号Ｖｉｎの各フレームに現れる動きの推定に影響を与える特徴量を計測する。本実施形態において、計測部１１０が計測する特徴量は、入力映像信号Ｖｉｎの各フレームの水平方向及び垂直方向における高周波成分の大きさ（amplitude）に応じた特徴量と、入力映像信号Ｖｉｎの各フレームに含まれるノイズ成分の強さに応じた特徴量とを含む。さらに、高周波成分の大きさに応じた特徴量は、入力映像信号Ｖｉｎの各フレームの水平方向及び垂直方向における帯域別のヒストグラムと、入力映像信号Ｖｉｎの各フレームに含まれる隣接画素間の画素値の差分の総和（以下、隣接差分総和という）とを含み得る。
【００２９】
図２は、本実施形態に係る計測部１１０のより詳細な構成の一例を示すブロック図である。図２を参照すると、計測部１１０は、帯域計測部１１２、隣接差分計測部１１４及びノイズ計測部１１８を含む。計測部１１０に入力される入力映像信号Ｖｉｎは、これら帯域計測部１１２、隣接差分計測部１１４及びノイズ計測部１１８にそれぞれ入力される。そして、帯域計測部１１２は、上述した特徴量のうち、各フレームにおける帯域別ヒストグラムＭ１を出力する。隣接差分計測部１１４は、各フレームの隣接差分総和Ｍ２を出力する。ノイズ計測部１１８は、各フレームに含まれるノイズ成分の強さを表すノイズレベルＭ３を出力する。
【００３０】
なお、他の実施形態において、計測部１１０は、上述した３種類の計測値Ｍ１、Ｍ２及びＭ３のうちのいずれかの計測値を計測せず又は出力しなくてもよい。また、計測部１１０は、入力映像信号Ｖｉｎの各フレームの水平方向及び垂直方向のいずれか一方について特徴量を計測してもよい。
【００３１】
（帯域計測部）
帯域計測部１１２は、入力映像信号Ｖｉｎの各フレームの水平方向及び垂直方向における帯域別の繰り返し成分の強さを計測し、水平方向の帯域別ヒストグラムと垂直方向の帯域別ヒストグラムとを生成する。帯域別の繰り返し成分の強さは、個々の帯域（band）にそれぞれ適合される帯域通過フィルタである水平フィルタ及び垂直フィルタを用いて計測され得る。
【００３２】
図３は、本実施形態に係る帯域計測部１１２のさらに具体的な構成の一例を示すブロック図である。図３を参照すると、帯域計測部１１２は、Ｍ個の帯域別水平フィルタＦｈ１〜ＦｈＭ、Ｎ個の帯域別垂直フィルタＦｖ１〜ＦｖＮ、及びヒストグラム生成部１１３を含む。
【００３３】
第１の帯域別水平フィルタＦｈ１は、入力映像信号Ｖｉｎの水平方向の第１の帯域成分を分離する。第２の帯域別水平フィルタＦｈ２は、入力映像信号Ｖｉｎの水平方向の第２の帯域成分を分離する。同様に、第Ｍの帯域別水平フィルタＦｈＭは、入力映像信号Ｖｉｎの水平方向の第Ｍの帯域成分を分離する。即ち、本実施形態において、１つのフレームに含まれる水平方向の繰り返し成分は、Ｍ個の帯域成分に分離され計測される。
【００３４】
また、第１の帯域別垂直フィルタＦｖ１は、入力映像信号Ｖｉｎの垂直方向の第１の帯域成分を分離する。第２の帯域別垂直フィルタＦｖ２は、入力映像信号Ｖｉｎの垂直方向の第２の帯域成分を分離する。同様に、第Ｎの帯域別垂直フィルタＦｖＮは、入力映像信号Ｖｉｎの垂直方向の第Ｎの帯域成分を分離する。即ち、本実施形態において、１つのフレームに含まれる垂直方向の繰り返し成分は、Ｎ個の帯域成分に分離され計測される。
【００３５】
ヒストグラム生成部１１３は、水平フィルタＦｈ１〜ＦｈＭ及び垂直フィルタＦｖ１〜ＦｖＮから入力される各帯域成分の大きさを１つのフレームにわたってそれぞれ積算し、帯域別ヒストグラムＭ１を生成する。帯域別ヒストグラムＭ１は、水平方向のＭ個の帯域ごとの度数（フィルタ出力の積算値）と、垂直方向のＮ個の帯域ごとの度数とを含む。
【００３６】
（隣接差分計測部）
隣接差分計測部１１４は、入力映像信号Ｖｉｎの各フレームに含まれる隣接差分総和を水平方向及び垂直方向のそれぞれについて計測する。
【００３７】
図４は、本実施形態に係る隣接差分計測部１１４のさらに具体的な構成の一例を示すブロック図である。図４を参照すると、隣接差分計測部１１４は、遅延部１１５ａ、減算部１１５ｂ、絶対値演算部１１５ｃ及び積算部１１５ｄ、並びに遅延部１１６ａ、減算部１１６ｂ、絶対値演算部１１６ｃ及び積算部１１６ｄを含む。このうち、遅延部１１５ａ、減算部１１５ｂ、絶対値演算部１１５ｃ及び積算部１１５ｄは、入力映像信号Ｖｉｎの各フレームに含まれる水平方向についての隣接差分総和を算出する。一方、遅延部１１６ａ、減算部１１６ｂ、絶対値演算部１１６ｃ及び積算部１１６ｄは、入力映像信号Ｖｉｎの各フレームに含まれる垂直方向についての隣接差分総和を算出する。
【００３８】
遅延部１１５ａは、入力映像信号Ｖｉｎの各画素の処理タイミングを１画素（１Pixel）分遅延させ、遅延後の画素値を減算部１１５ｂへ出力する。減算部１１５ｂは、隣接差分計測部１１４に入力される入力映像信号Ｖｉｎの各画素の画素値と遅延部１１５ａから入力される遅延後の画素値との差分を算出する。絶対値演算部１１５ｃは、減算部１１５ｂにより算出された差分の絶対値を算出する。そして、積算部１１５ｄは、絶対値演算部１１５ｃにより算出された差分の絶対値を１つのフレームにわたって積算する。それにより、入力映像信号Ｖｉｎの各フレームに含まれる水平方向についての隣接差分総和が算出される。
【００３９】
一方、遅延部１１６ａは、入力映像信号Ｖｉｎの各画素の処理タイミングを１ライン（１Line）分遅延させ、遅延後の画素値を減算部１１６ｂへ出力する。減算部１１６ｂは、隣接差分計測部１１４に入力される入力映像信号Ｖｉｎの各画素の画素値と遅延部１１６ａから入力される遅延後の画素値との差分を算出する。絶対値演算部１１６ｃは、減算部１１６ｂにより算出された差分の絶対値を算出する。そして、積算部１１６ｄは、絶対値演算部１１６ｃにより算出された差分の絶対値を１つのフレームにわたって積算する。それにより、入力映像信号Ｖｉｎの各フレームに含まれる垂直方向についての隣接差分総和が算出される。
【００４０】
（ノイズ計測部）
ノイズ計測部１１８は、入力映像信号Ｖｉｎの各フレームに含まれるノイズ成分の強さを表すノイズレベルを計測する。
【００４１】
図５は、本実施形態に係るノイズ計測部１１８のさらに具体的な構成の一例を示すブロック図である。図５を参照すると、ノイズ計測部１１８は、フレームメモリ１１９ａ及びノイズレベル検出部１１９ｂを含む。
【００４２】
フレームメモリ１１９ａは、入力映像信号Ｖｉｎの各フレームを一時的に記憶する。ノイズレベル検出部１１９ｂは、入力映像信号Ｖｉｎの各フレームとフレームメモリ１１９ａに記憶されている前のフレームとを比較し、その比較の結果に基づいて、各フレームについてのノイズレベルを検出する。ノイズレベル検出部１１９ｂによるノイズレベルの検出は、例えば特開２００９−３５９９号公報に記載された公知の手法に従って行われ得る。ノイズレベルの値は、例えば標準偏差又は標準分散などの量を所定のビット数（例えば１０ｂｉｔ）を用いて表現した値であってよい。
【００４３】
計測部１１０は、上述したような帯域計測部１１２、隣接差分計測部１１４及びノイズ計測部１１８による計測結果としての計測値、即ち帯域別ヒストグラムＭ１、隣接差分総和Ｍ２及びノイズレベルＭ３を、計測値取得部１３０へ出力する。
【００４４】
［２−２．計測値取得部］
計測値取得部１３０は、入力映像信号Ｖｉｎの各フレームに現れる動きの推定に影響を与える特徴量についての計測値を、計測部１１０から取得する。本実施形態において計測値取得部１３０が取得する計測値は、上述した帯域別ヒストグラムＭ１、隣接差分総和Ｍ２及びノイズレベルＭ３である。そして、計測値取得部１３０は、取得したこれら計測値を決定部１４０へ出力する。
【００４５】
［２−３．決定部］
決定部１４０は、計測値取得部１３０により取得される計測値に基づいて、入力映像信号Ｖｉｎに適用すべきフィルタの特性を決定する。入力映像信号Ｖｉｎに適用すべきフィルタとは、後に説明するフィルタリング部１５０が有するフィルタである。本実施形態において、入力映像信号Ｖｉｎに適用すべきフィルタの特性は、入力映像信号Ｖｉｎの各信号値に乗算されるフィルタ係数と、各信号値に対するシフト量（スケーリングパラメータともいう）とにより表現される。従って、決定部１４０は、以下に説明するように、計測値取得部１３０により取得される計測値に基づいて、入力映像信号Ｖｉｎに適用すべきフィルタのフィルタ係数とシフト量とを決定する。
【００４６】
図６は、本実施形態に係る決定部１４０のより詳細な構成の一例を示すブロック図である。図６を参照すると、決定部１４０は、第１判定部１４２、強度選択テーブル１４３、第２判定部１４４、特性決定部１４６及びフィルタ係数テーブル１４８を含む。このうち第１判定部１４２及び第２判定部１４４は、入力映像信号Ｖｉｎの各フレームの高周波成分の大きさに応じて、フィルタ特性における高周波帯域の減衰の強さを変化させるための処理を行う。
【００４７】
（第１判定部）
第１判定部１４２は、計測値取得部１３０から入力される帯域別ヒストグラムＭ１に応じて、入力映像信号Ｖｉｎに適用すべき水平方向のフィルタの強度及び垂直方向のフィルタの強度をそれぞれ変化させる。本明細書において、フィルタの強度とは、入力信号に対する減衰の強さと遮断帯域の広さとを含む概念である。後に説明する図８の例では、フィルタの強度は、Ｌｖ０からＬｖ４までの５つのレベルのいずれかにより表される。フィルタの強度は、フィルタタップごと係数値をそれぞれ含むフィルタ係数のセットと関連付けれ、実質的にはフィルタ係数のセットが入力信号に対する減衰の強さと遮断帯域の広さとを規定する。
【００４８】
より具体的には、第１判定部１４２は、水平方向及び垂直方向のそれぞれについて、まず、帯域別のヒストグラムにおいて最大の度数を示す帯域を選択する。次に、第１判定部１４２は、選択した帯域の度数を閾値と比較する。ここで、選択した帯域の度数が所定の閾値を上回る場合には、入力フレーム内で当該帯域の繰り返しパターンが強く現れているものと判断される。この場合、第１判定部１４２は、選択した帯域の周波数が高いほど強いフィルタの強度を選択する。また、選択した帯域の度数が所定の閾値を上回らない場合には、入力フレーム内でいずれの帯域においても繰り返しパターンがあまり強くは現れていないものと判断される。この場合、第１判定部１４２は、最も弱いフィルタの強度を選択する。
【００４９】
図７Ａ及び図７Ｂは、帯域別ヒストグラムのデータ例をそれぞれ示す説明図である。
【００５０】
図７Ａを参照すると、帯域別ヒストグラムは、１から８までの番号が付された８個の帯域ごとに計測された度数を含む。図７Ａの例では、最大の度数を示す帯域は８番目の帯域である。また、８番目の帯域の度数は閾値Ｔｈ１を上回っている。この場合、入力フレーム内で８番目の帯域の周波数を有する繰り返しパターンが強く現れていると判断される。そこで、第１判定部１４２は、当該８番目の帯域の周波数に応じたフィルタの強度を強度選択テーブル１４３を参照して設定する。
【００５１】
一方、図７Ｂの例では、最大の度数を示す帯域は４番目の帯域である。また、４番目の帯域の度数は閾値Ｔｈ１を下回っている。この場合、いずれの周波数を有する繰り返しパターンも入力フレーム内で強くは現れていないと判断される。そこで、第１判定部１４２は、最も弱いフィルタの強度を選択する。
【００５２】
図８は、強度選択テーブル１４３のデータの一例を示す説明図である。図８を参照すると、強度選択テーブル１４３は、選択された帯域及び強度判定値という２つのデータ項目を有する。図８の例における第２行は、７番目（＃７）又は８番目（＃８）の帯域が最大の度数を示す帯域として選択された場合に、最も高い強度Ｌｖ４が設定され得ることを示している。第３行は、５番目（＃５）又は６番目（＃６）の帯域が最大の度数を示す帯域として選択された場合に、次に高い強度Ｌｖ３が設定され得ることを示している。第４行は、３番目（＃３）又は４番目（＃４）の帯域が最大の度数を示す帯域として選択された場合に、次に高い強度Ｌｖ２が設定され得ることを示している。第５行は、１番目（＃１）又は２番目（＃２）の帯域が最大の度数を示す帯域として選択された場合に、次に高い強度Ｌｖ１が設定され得ることを示している。なお、上述したように、選択された帯域の度数が閾値Ｔｈ１を上回らない場合には、帯域の周波数及び強度選択テーブル１４３における強度判定値に関わらず、第１判定部１４２は、入力映像信号Ｖｉｎに適用すべきフィルタの強度として最も弱い強度Ｌｖ０を設定する。
【００５３】
第１判定部１４２は、このようなフィルタ強度判定処理を水平方向及び垂直方向のそれぞれについて行う。そして、第１判定部１４２は、判定結果としての水平方向のフィルタ強度Ｓ１ｈｔｍｐ及び垂直方向のフィルタ強度Ｓ１ｖｔｍｐを特性決定部１４６へ出力する。なお、フィルタ強度Ｓ１ｈｔｍｐ及びＳ１ｖｔｍｐの添え字の“ｔｍｐ”は、本実施形態において、第１判定部１４２により判定されたフィルタ強度が暫定的な値であることを意味している。但し、かかる実施形態に限定されず、第１判定部１４２により判定されたフィルタ強度は最終的な値として扱われてもよい。
【００５４】
図９は、本実施形態に係る第１判定部１４２によるフィルタ強度判定処理の流れの一例を示すフローチャートである。
【００５５】
図９を参照すると、第１判定部１４２は、まず、水平方向の帯域別ヒストグラムから最大度数を示す帯域を選択する（ステップＳ１０２）。次に、第１判定部１４２は、選択した帯域の度数が所定の閾値を上回るか否かを判定する（ステップＳ１０４）。ここで、選択した帯域の度数が所定の閾値を上回る場合には、第１判定部１４２は、強度選択テーブル１４３を参照し、選択した帯域の度数に応じて水平方向のフィルタ強度Ｓ１ｈｔｍｐを設定する（ステップＳ１０６）。一方、ステップＳ１０４において選択した帯域の度数が所定の閾値を上回らない場合には、第１判定部１４２は、水平方向のフィルタ強度Ｓ１ｈｔｍｐを最も弱いＬｖ０に設定する（ステップＳ１０８）。
【００５６】
次に、第１判定部１４２は、垂直方向の帯域別ヒストグラムから最大度数を示す帯域を選択する（ステップＳ１１２）。次に、第１判定部１４２は、選択した帯域の度数が所定の閾値を上回るか否かを判定する（ステップＳ１１４）。ここで、選択した帯域の度数が所定の閾値を上回る場合には、第１判定部１４２は、強度選択テーブル１４３を参照し、選択した帯域の度数に応じて垂直方向のフィルタ強度Ｓ１ｖｔｍｐを設定する（ステップＳ１１６）。一方、ステップＳ１１４において選択した帯域の度数が所定の閾値を上回らない場合には、第１判定部１４２は、垂直方向のフィルタ強度Ｓ１ｖｔｍｐを最も弱いＬｖ０に設定する（ステップＳ１１８）。
【００５７】
なお、ステップ１０４において水平方向の帯域別ヒストグラムの度数と比較される閾値と、ステップ１１４において垂直方向の帯域別ヒストグラムの度数と比較される閾値とは、同じ値であってもよく又は異なる値であってもよい。
【００５８】
（第２判定部）
第２判定部１４４は、計測値取得部１３０から入力される隣接差分総和Ｍ２に応じて、入力映像信号Ｖｉｎに適用すべき水平方向のフィルタの強度及び垂直方向のフィルタの強度をそれぞれ変化させる。より具体的には、第２判定部１４４は、水平方向及び垂直方向のそれぞれについて、隣接差分総和Ｍ２の値を所定の閾値と比較する。そして、例えば、第２判定部１４４は、隣接差分総和Ｍ２の値が当該閾値を上回る場合には最も強いフィルタ強度、隣接差分総和Ｍ２の値が当該閾値を上回らない場合には最も弱いフィルタ強度を選択する。第２判定部１４４は、このようなフィルタ強度判定処理を水平方向及び垂直方向のそれぞれについて行う。そして、第２判定部１４４は、判定結果としての水平方向のフィルタ強度Ｓ２ｈｔｍｐ及び垂直方向のフィルタ強度Ｓ２ｖｔｍｐを特性決定部１４６へ出力する。
【００５９】
図１０は、本実施形態に係る第２判定部１４４によるフィルタ強度判定処理の流れの一例を示すフローチャートである。
【００６０】
図１０を参照すると、第２判定部１４４は、まず、水平方向の隣接差分総和が所定の閾値を上回るか否かを判定する（ステップＳ１５２）。ここで、隣接差分総和が所定の閾値を上回る場合には、第２判定部１４４は、水平方向のフィルタ強度Ｓ２ｈｔｍｐを最も強いＬｖ４に設定する（ステップＳ１５４）。一方、ステップＳ１５２において隣接差分総和が所定の閾値を上回らない場合には、第２判定部１４４は、水平方向のフィルタ強度Ｓ２ｈｔｍｐを最も弱いＬｖ０に設定する（ステップＳ１５６）。
【００６１】
次に、第２判定部１４４は、垂直方向の隣接差分総和が所定の閾値を上回るか否かを判定する（ステップＳ１６２）。ここで、隣接差分総和が所定の閾値を上回る場合には、第２判定部１４４は、垂直方向のフィルタ強度Ｓ２ｖｔｍｐを最も強いＬｖ４に設定する（ステップＳ１６４）。一方、ステップＳ１６２において隣接差分総和が所定の閾値を上回らない場合には、第２判定部１４４は、垂直方向のフィルタ強度Ｓ２ｖｔｍｐを最も弱いＬｖ０に設定する（ステップＳ１６６）。
【００６２】
なお、ステップ１５２において水平方向の隣接差分総和と比較される閾値と、ステップ１６２において垂直方向の隣接差分総和と比較される閾値とは、同じ値であってもよく又は異なる値であってもよい。
【００６３】
（特性決定部）
特性決定部１４６は、第１判定部１４２から入力される水平方向のフィルタ強度Ｓ１ｈｔｍｐ及び第２判定部１４４から入力される水平方向のフィルタ強度Ｓ２ｈｔｍｐに基づいて、入力映像信号Ｖｉｎに適用すべき水平方向のフィルタのフィルタ係数を決定する。また、特性決定部１４６は、第１判定部１４２から入力される垂直方向のフィルタ強度Ｓ１ｖｔｍｐ及び第２判定部１４４から入力される垂直方向のフィルタ強度Ｓ２ｖｔｍｐに基づいて、入力映像信号Ｖｉｎに適用すべき垂直方向のフィルタのフィルタ係数を決定する。さらに、特性決定部１４６は、計測値取得部１３０により取得されるノイズレベルＭ３に基づいて、入力映像信号Ｖｉｎに適用すべきフィルタにおけるシフト量を決定する。
【００６４】
図１１は、本実施形態に係る特性決定部１４６のさらに具体的な構成の一例を示すブロック図である。図１１を参照すると、特性決定部１４６は、強度決定部１４７ａ、強度段階制御部１４７ｂ、ノイズレベル段階制御部１４７ｃ、及びパラメータ出力部１４７ｄを含む。
【００６５】
（１）フィルタ係数の決定
強度決定部１４７ａは、第１判定部１４２から入力される水平方向のフィルタ強度Ｓ１ｈｔｍｐ及び第２判定部１４４から入力される水平方向のフィルタ強度Ｓ２ｈｔｍｐから１つのフィルタ強度Ｓｈを算出する。フィルタ強度Ｓｈは、例えば、フィルタ強度Ｓ１ｈｔｍｐ及びＳ２ｈｔｍｐの平均値であってもよい。また、例えば、フィルタ強度Ｓ１ｈｔｍｐ及びＳ２ｈｔｍｐに所定の重みを乗算した上で、その重み付け後の値の平均値としてフィルタ強度Ｓｈが算出されてもよい。なお、算出された平均値が小数点以下の端数を有する場合には、例えば、端数は四捨五入され得る。同様に、強度決定部１４７ａは、第１判定部１４２から入力される垂直方向のフィルタ強度Ｓ１ｖｔｍｐ及び第２判定部１４４から入力される垂直方向のフィルタ強度Ｓ２ｖｔｍｐから１つのフィルタ強度Ｓｖを算出する。強度決定部１４７ａは、このように算出したフィルタ強度Ｓｈ及びＳｖを強度段階制御部１４７ｂへ出力する。
【００６６】
強度段階制御部１４７ｂは、フィルタ強度の急激な変化によりベクトルエラーが引き起こされることを防止するために、フィルタ強度が段階的に変化するように強度の出力値を制御する。例えば、強度段階制御部１４７ｂは、前のフレームについての強度の出力値がＬｖ０であって、強度決定部１４７ａから入力された最新の強度がＬｖ４である場合には、パラメータ出力部１４７ｄへ出力する強度がフレームを追って（frame by frame）Ｌｖ０→Ｌｖ１→Ｌｖ２→Ｌｖ３→Ｌｖ４となるように、強度の出力値を制御する。
【００６７】
図１２は、本実施形態に係る強度段階制御処理の流れの一例を示すフローチャートである。
【００６８】
図１２を参照すると、まず、強度段階制御部１４７ｂは、強度決定部１４７ａからフィルタ強度（Ｓｈ又はＳｖ）を取得する（ステップＳ２０２）。次に、強度段階制御部１４７ｂは、取得したフィルタ強度が前回の強度の出力値と等しいか否かを判定する（ステップＳ２０４）。ここで、取得したフィルタ強度が前回の強度の出力値と等しい場合には、強度段階制御部１４７ｂは、そのフィルタ強度をパラメータ出力部１４７ｄへ出力する（ステップＳ２０６）。一方、強度段階制御部１４７ｂは、取得したフィルタ強度が前回の強度の出力値と等しくない場合には、当該取得したフィルタ強度が前回の強度の出力値を上回るか否かをさらに判定する（ステップＳ２１０）。ここで、取得したフィルタ強度が前回の強度の出力値を上回る場合には、処理はステップＳ２１２へ進む。一方、取得したフィルタ強度が前回の強度の出力値を下回る場合には、処理はステップＳ２２２へ進む。
【００６９】
ステップＳ２１２では、強度段階制御部１４７ｂは、前回の強度の出力値に所定の変化量（variation）を加えた値をフィルタ強度に代入する（ステップＳ２１２）。例えば、前回の強度の出力値がＬｖ０であって、変化量が１レベルであると定義されている場合には、新たなフィルタ強度はＬｖ１となる。次に、強度段階制御部１４７ｂは、新たなフィルタ強度がフィルタ強度の上限値を上回るか否かを判定する（ステップＳ２１４）。ここで、新たなフィルタ強度がフィルタ強度の上限値を上回る場合には、強度段階制御部１４７ｂは、フィルタ強度の上限値（例えばＬｖ４）をパラメータ出力部１４７ｄへ出力する（ステップＳ２１６）。一方、新たなフィルタ強度がフィルタ強度の上限値を上回らない場合には、強度段階制御部１４７ｂは、その新たなフィルタ強度をパラメータ出力部１４７ｄへ出力する（ステップＳ２１８）。
【００７０】
ステップＳ２２２では、強度段階制御部１４７ｂは、前回の強度の出力値から所定の変化量を差し引いた値をフィルタ強度に代入する（ステップＳ２２２）。例えば、前回の強度の出力値がＬｖ４であって、変化量が１レベルであると定義されている場合には、新たなフィルタ強度はＬｖ３となる。次に、強度段階制御部１４７ｂは、新たなフィルタ強度がフィルタ強度の下限値を下回るか否かを判定する（ステップＳ２２４）。ここで、新たなフィルタ強度がフィルタ強度の下限値を下回る場合には、強度段階制御部１４７ｂは、フィルタ強度の下限値（例えばＬｖ０）をパラメータ出力部１４７ｄへ出力する（ステップＳ２２６）。一方、新たなフィルタ強度がフィルタ強度の下限値を下回らない場合には、強度段階制御部１４７ｂは、その新たなフィルタ強度をパラメータ出力部１４７ｄへ出力する（ステップＳ２２８）。
【００７１】
強度段階制御部１４７ｂによるこのような段階制御処理は、水平方向のフィルタ強度Ｓｈ及び垂直方向のフィルタ強度Ｓｖのそれぞれについて並列的に行われる。
【００７２】
パラメータ出力部１４７ｄは、強度段階制御部１４７ｂから入力されるフィルタ強度Ｓｈ及びＳｖとそれぞれ関連付けられるフィルタ係数のセットをフィルタ係数テーブル１４８から取得し、取得したフィルタ係数のセットをフィルタリング部１５０へ出力する。
【００７３】
図１３は、本実施形態に係る一例としてのフィルタ係数について説明するための説明図である。フィルタ係数テーブル１４８は、予め定義される複数のフィルタ強度と各フィルタ強度に対応するフィルタ係数のセットとを関連付けて記憶している。図１３は、各フィルタ強度に対応するフィルタ係数のセットによりそれぞれ規定されるフィルタ特性を特性図でそれぞれ示している。
【００７４】
まず、フィルタ強度＝Ｌｖ０である場合（図の上段左）には、フィルタ特性は、ゼロから最高周波数（サンプリングレートｆｓの１／２）にわたって１である。即ち、この場合、フィルタは全ての信号をそのまま通過させる。また、フィルタ強度＝Ｌｖ１〜Ｌｖ４である場合には、フィルタ特性は、ローパスフィルタの特性を示す。そして、フィルタ強度が強くなるほど、高周波帯域における減衰の強さは大きくなっている。また、フィルタ強度が強くなるほど、遮断帯域はより低い帯域まで広がっている。例えば、フィルタ強度＝Ｌｖ１である場合（図の上段中央）には、最高周波数（ｆｓ／２）に近い帯域においてのみ信号が遮断され、ｆｓ／４付近ではほとんど信号は減衰されない。これに対し、フィルタ強度＝Ｌｖ４である場合（図の下段右）には、ｆｓ／４よりも周波数の低い帯域にまで信号が遮断される帯域が広がっている。
【００７５】
なお、図１３に示したフィルタ特性は一例に過ぎない。即ち、より多くの若しくはより少ない種類のフィルタ係数のセットが提供されてもよく、又は図１３の例とは異なる特性を示すフィルタ係数のセットが提供されてもよい。
【００７６】
パラメータ出力部１４７ｄは、強度段階制御部１４７ｂから入力されるフィルタ強度に応じて、このようなフィルタ特性を示すフィルタ係数のセットを水平方向及び垂直方向のそれぞれについて取得し、取得したフィルタ係数のセットをフィルタリング部１５０へ出力する。
【００７７】
なお、フィルタ係数テーブル１４８には、フィルタ係数のセットの各々と関連付けて、シフト量の既定値がさらに記憶される。シフト量の既定値は、次に説明するシフト量の決定の際にパラメータ出力部１４７ｄにより使用される。
【００７８】
（２）シフト量の決定
本実施形態において、シフト量とは、フィルタ出力の最大値が出力のダイナミックレンジを超えないようにするためにフィルタリング部１５０が実行するシフト演算における、シフトされるビット数を指す。シフト演算により信号値の下位のビットが削られることから、シフト量が大きいほど、フレームの鮮鋭度が低下する一方でフレームに含まれるノイズがより強く除去される。
【００７９】
ノイズレベル段階制御部１４７ｃは、ノイズレベルに基づいて決定されるシフト量の急激な変化を緩和するために、ノイズレベルの出力値を段階的に変化するように制御する。例えば、ノイズレベル段階制御部１４７ｃは、ノイズ計測部１１８から出力されるノイズレベルＭ３の値がフレームごとに一定の変化量で変化するように、ノイズレベルＭ３の値を修正（加算又は減算）する。ノイズレベル段階制御部１４７ｃは、図１２に示した強度段階制御処理と同様の論理的な処理により実現されてもよく、その代わりにＩＩＲ（Infinite Impulse Response）を用いて実現されてもよい。
【００８０】
パラメータ出力部１４７ｄは、フィルタ係数テーブル１４８を参照し、ノイズレベル段階制御部１４７ｃから入力されるノイズレベルと関連付けられているシフト量のオフセットを取得する。そして、パラメータ出力部１４７ｄは、フィルタ係数のセットと共にフィルタ係数テーブル１４８から取得されるシフト量の既定値にシフト量のオフセットを加えた値を、最終的に使用すべきシフト量としてフィルタリング部１５０へ出力する。
【００８１】
図１４は、本実施形態に係る一例としてのシフト量のオフセットについて説明するための説明図である。フィルタ係数テーブル１４８は、ノイズレベルの値の範囲と各ノイズレベルに対応するシフト量のオフセットとを関連付けて記憶している。
【００８２】
図１４の例では、ノイズレベルの値がｎ０からｎ１までの間にあるとき、シフト量のオフセットはゼロである。ノイズレベルの値がｎ１からｎ２までの間にあるとき、シフト量のオフセットは１である。ノイズレベルの値がｎ２からｎ３までの間にあるとき、シフト量のオフセットは２である。ノイズレベルの値がｎ３を超えているとき、シフト量のオフセットは３である。なお、これらノイズレベルの範囲を規定するｎ０、ｎ１、ｎ２及びｎ３の値は、信号処理装置１００において予め定義されると共に、信号処理装置１００が取り扱う入力映像信号に応じて事後的に変更されてよい。
【００８３】
フィルタ係数のセットと共に予め定義されるシフト量の既定値をＳｆｉｎ、ノイズレベルに応じて取得されるシフト量のオフセットをＳｆｏｆｆｓｅｔ、パラメータ出力部１４７ｄが出力するシフト量をＳｆｏｕｔとすると、Ｓｆｏｕｔは次式により導かれる。
【００８４】
【数１】
【００８５】
［２−４．フィルタリング部］
フィルタリング部１５０は、決定部１４０により決定される特性を有するフィルタを入力映像信号Ｖｉｎに適用することにより、動き推定用の映像信号Ｖｅｘを生成する。
【００８６】
図１５は、本実施形態に係るフィルタリング部１５０のより詳細な構成の一例を示すブロック図である。図１５を参照すると、フィルタリング部１５０は、水平方向フィルタ１５２、垂直方向フィルタ１５４及びスケーリング部１５６を含む。決定部１４０からフィルタリング部１５０へ入力されるフィルタ特性データＦＤのうち、水平方向のフィルタ係数のセットは、水平方向フィルタ１５２へ入力される。垂直方向のフィルタ係数のセットは、垂直方向フィルタ１５４へ入力される。そして、シフト量は、スケーリング部１５６へ入力される。
【００８７】
水平方向フィルタ１５２は、水平方向のフィルタ係数のセットを用いて入力信号Ｖｉｎの各フレームをフィルタリングすることにより、各フレームに含まれる水平方向の高周波成分を遮断し又は減衰させる。水平方向フィルタ１５２によるフィルタ演算は次式により表される。
【００８８】
【数２】
【００８９】
ここで、Ｖｉｎ［ｘ，ｙ］は入力映像信号の１フレーム内の座標（ｘ，ｙ）における画素値である。Ｍは、水平方向フィルタ１５２のフィルタタップの数を決定する値である。Ｃｏｅｆｆｈ［０］〜Ｃｏｅｆｆｈ［２Ｍ］は、水平方向のフィルタ係数のセットである。Ｖｈｏｕｔ［ｘ，ｙ］は、水平方向フィルタ１５２の出力信号の１フレーム内の座標（ｘ，ｙ）における画素値である。
【００９０】
垂直方向フィルタ１５４は、垂直方向のフィルタ係数のセットを用いて水平方向フィルタ１５２からの出力信号Ｖｈｏｕｔの各フレームをフィルタリングすることにより、各フレームに含まれる垂直方向の高周波成分を遮断し又は減衰させる。垂直方向フィルタ１５４によるフィルタ演算は次式により表される。
【００９１】
【数３】
【００９２】
ここで、Ｎは、垂直方向フィルタ１５４のフィルタタップの数を決定する値である。Ｃｏｅｆｆｖ［０］〜Ｃｏｅｆｆｖ［２Ｎ］は、垂直方向のフィルタ係数のセットである。Ｖｖｏｕｔ［ｘ，ｙ］は、垂直方向フィルタ１５４の出力信号の１フレーム内の座標（ｘ，ｙ）における画素値である。
【００９３】
スケーリング部１５６は、フィルタリング部１５０からの出力信号がダイナミックレンジを超えないように、垂直方向フィルタ１５４の出力信号をシフトさせる。スケーリング部１５６によるシフト演算は次式により表される。
【００９４】
【数４】
【００９５】
Ｖｅｘ［ｘ，ｙ］は、フィルタリング処理の結果としてフィルタリング部１５０から出力される動き推定用の映像信号Ｖｅｘの１フレーム内の座標（ｘ，ｙ）における画素値である。
【００９６】
［２−５．フレームメモリ］
フレームメモリ１６０は、フィルタリング部１５０から出力される動き推定用の映像信号Ｖｅｘの各フレームを一時的に記憶する。フレームメモリ１６０により記憶される動き推定用の映像信号Ｖｅｘの各フレームは、動き推定部１７０による動きベクトルの推定のために用いられる。また、フレームメモリ１６０は、信号処理装置１００に入力される入力映像信号Ｖｉｎの各フレームを一時的に記憶する。さらに、フレームメモリ１６０は、動き推定部１７０により推定される各フレームについての動きベクトルを一時的に記憶する。フレームメモリ１６０により記憶される入力映像信号Ｖｉｎの各フレーム及び各フレームについての動きベクトルは、補間処理部１８０によるフレームの補間のために用いられる。
【００９７】
［２−６．動き推定部］
動き推定部１７０は、フィルタリング部１５０により生成される動き推定用の映像信号Ｖｅｘの第１のフレームと第２のフレームとの間の信号の相関に基づいて、各フレームに現れる動きを表す動きベクトルを推定する。第１のフレームと第２のフレームとは、例えば、現在の（最新の）フレームと前のフレームに相当する。動き推定部１７０による動きベクトルの推定は、例えばブロックマッチング法などの公知の手法に従って行われてよい。そして、動き推定部１７０は、推定した動きベクトルを補間処理部１８０へ出力する。
【００９８】
［２−７．補間処理部］
補間処理部１８０は、動き推定部１７０により推定された動きに応じて、即ち動き推定部１７０から入力される動きベクトルに応じて、入力映像信号Ｖｉｎの第１のフレームと第２のフレームとの間のフレームを補間する。補間処理部１８０によるフレームの補間もまた公知の手法に従って行われてよい。そして、補間処理部１８０は、フレームを補間した出力映像信号Ｖｏｕｔを出力する。出力映像信号Ｖｏｕｔは、フレームレート変換された映像信号として直接的に利用されてもよく、インターレース−プログレッシブ変換などの用途に利用されてもよい。
【００９９】
＜３．効果の説明＞
ここまで、図１〜図１５を用いて、本発明の一実施形態に係る信号処理装置１００について詳細に説明した。本実施形態によれば、入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値に基づいて入力映像信号に適用すべきフィルタの特性が決定され、決定された特性を有するフィルタが入力映像信号に適用される。そして、フィルタリング処理の結果として生成される映像信号が、動きの推定のために使用される。かかる構成によれば、動き推定用の映像信号の生成のためのフィルタの特性が動的に制御されるため、入力映像信号が繰り返しパターン又は強いノイズを含む場合には、その影響を効果的に低減することができる。また、入力映像信号が繰り返しパターンも強いノイズも含まない場合には、入力映像信号に適用されるフィルタの強度が抑制される。従って、入力映像信号の各フレームに現れる動きをより高いロバスト性をもって推定することを可能とする映像信号が供給される。また、本実施形態によれば、例えばフレームの補間などの後段の処理のために入力される映像信号とは別個に動き推定用の映像信号が供給される。従って、動きベクトルのベクトルエラーの低減のために強いフィルタを使用した場合にも、フィルタリング処理が出力映像の画質に影響を与えることがない。
【０１００】
また、本実施形態によれば、動きの推定に影響を与える特徴量は、入力映像信号の各フレームの水平方向又は垂直方向における高周波成分の大きさに応じた特徴量を含む。即ち、水平方向若しくは垂直方向（又はその双方）における高周波成分の大きさをフィルタ特性の決定の基礎とすることにより、入力フレーム内に現れる繰り返しパターンの強さを認識し、繰り返しパターンを除去又は緩和するようなフィルタ特性を選択することができる。高周波成分の大きさに応じた特徴量は、例えば、入力映像信号の各フレームの水平方向又は垂直方向における帯域別のヒストグラムである。帯域別のヒストグラムを用いることにより、帯域の数に応じて高周波成分の大きさを複数のレベルに分類できるため、フィルタ特性をより柔軟に制御することが可能となる。また、高周波成分の大きさに応じた特徴量は、例えば、入力映像信号の各フレームに含まれる隣接画素間の画素値の差分の総和である。隣接画素間の画素値の差分の総和は、複雑な計算処理を要求しないため、少ない計算コストと比較的小さい回路規模とにより算出され得る。
【０１０１】
また、本実施形態によれば、動きの推定に影響を与える特徴量は、入力映像信号の各フレームに含まれるノイズ成分の強さを表すノイズレベルを含む。例えば、ノイズレベルに応じてフィルタ特性のうちのシフト量を決定することにより、ノイズが少ない場合にはフレームの鮮鋭度を維持すると共に、ノイズが多い場合にはそのノイズを除去することができる。それにより、動きベクトルの推定のロバスト性が一層向上される。
【０１０２】
＜４．変形例＞
上述した実施形態では、信号処理装置１００が計測部１１０、動き推定部１７０及び補間処理部１８０を含む例を説明した。しかしながら、かかる例に限定されず、例えば上述した計測値取得部１３０、決定部１４０及びフィルタリング部１５０、又は、計測値取得部１３０及び決定部１４０のみを備える装置が提供されてもよい。例えば、図１６に示した一変形例に係る信号処理装置２００は、計測値取得部１３０及び決定部１４０のみを備える。この場合、信号処理装置２００は、上述した計測部１１０と同等の機能を有する計測装置２１０と接続される。そして、信号処理装置２００の計測値取得部１３０は、計測装置２１０から入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得する。また、信号処理装置２００は、映像処理装置２６０と接続される。そして、信号処理装置２００の決定部１４０は、計測値取得部１３０により取得される計測値に基づいて、入力映像信号Ｖｉｎに適用すべきフィルタの特性を決定し、決定したフィルタの特性を映像処理装置２６０のフィルタリング部１５０に通知する。映像処理装置２６０のフィルタリング部１５０は、通知された特性を有するフィルタを入力映像信号Ｖｉｎに適用することにより動き推定用の映像信号Ｖｅｘを生成し、生成した動き推定用の映像信号Ｖｅｘを映像処理部２７０へ出力する。映像処理部２７０は、かかる動き推定用の映像信号Ｖｅｘを用いて動きベクトルを推定し、例えば入力映像信号Ｖｉｎに対してフレームを補間した出力映像信号Ｖｏｕｔを出力する。
【０１０３】
また、信号処理装置１００又は２００は、上述した３種類の計測値Ｍ１、Ｍ２及びＭ３のうちのいずれかの計測値をフィルタ特性の決定のために使用しなくてもよい。例えば、隣接差分総和Ｍ２を使用しない場合には、決定部１４０の特性決定部１４６は、第１判定部１４２から入力されるフィルタ強度Ｓ１ｈｔｍｐ及びＳ１ｖｔｍｐのみに基づいてフィルタ特性を決定し得る。同様に、帯域別ヒストグラムＭ１を使用しない場合には、決定部１４０の特性決定部１４６は、第２判定部１４４から入力されるフィルタ強度Ｓ２ｈｔｍｐ及びＳ２ｖｔｍｐのみに基づいてフィルタ特性を決定し得る。さらに、信号処理装置１００又は２００は、水平方向及び垂直方向のいずれか一方についてフィルタ特性の決定及びフィルタリング処理を省略してもよい。
【０１０４】
なお、本明細書において説明した信号処理装置１００及び２００による一連の処理の全部又は一部は、ソフトウェアを用いて実現されてもよい。一連の処理の全部又は一部を実現するソフトウェアを構成するプログラムは、例えば、装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１０５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０６】
１００，２００ 信号処理装置
１１０ 計測部
１３０ 計測値取得部
１４０ 決定部
１５０ フィルタリング部
１７０ 動き推定部
１８０ 補間処理部
Ｖｉｎ 入力映像信号
Ｖｅｘ 動き推定用の映像信号
Ｖｏｕｔ 出力映像信号
【特許請求の範囲】
【請求項１】
入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得する計測値取得部と；
前記計測値取得部により取得される前記計測値に基づいて、前記入力映像信号に適用すべきフィルタの特性を決定する決定部と；
前記決定部により決定される特性を有するフィルタを前記入力映像信号に適用することにより、前記動きの推定のために使用される映像信号を生成するフィルタリング部と；
を備える信号処理装置。
【請求項２】
前記動きの推定に影響を与える特徴量は、前記入力映像信号の各フレームの水平方向又は垂直方向における高周波成分の大きさに応じた特徴量を含む、請求項１に記載の信号処理装置。
【請求項３】
前記高周波成分の大きさに応じた特徴量は、前記入力映像信号の各フレームの水平方向又は垂直方向における帯域別のヒストグラムを表す第１の特徴量を含む、請求項２に記載の信号処理装置。
【請求項４】
前記高周波成分の大きさに応じた特徴量は、前記入力映像信号の各フレームに含まれる隣接画素間の画素値の差分の総和を表す第２の特徴量を含む、請求項２に記載の信号処理装置。
【請求項５】
前記決定部は、前記計測値取得部により取得される前記計測値が示す前記入力映像信号の各フレームの前記高周波成分の大きさに応じて、前記フィルタの特性における高周波帯域の減衰の強さを変化させる、請求項２〜４のいずれか１項に記載の信号処理装置。
【請求項６】
前記決定部は、前記帯域別のヒストグラムにおいて最大の度数を示す帯域の周波数に応じて、前記フィルタの特性における遮断帯域を変化させる、請求項３に記載の信号処理装置。
【請求項７】
前記動きの推定に影響を与える特徴量は、前記入力映像信号の各フレームに含まれるノイズ成分の強さに応じた第３の特徴量を含む、請求項１〜６のいずれか１項に記載の信号処理装置。
【請求項８】
前記フィルタの特性は、前記入力映像信号の各信号値に乗算されるフィルタ係数と各信号値に対するシフト量とにより表現され、
前記決定部は、前記計測値取得部により取得される前記計測値が示す前記入力映像信号の各フレームの前記ノイズ成分の強さに応じて、前記シフト量を変化させる、
請求項７に記載の信号処理装置。
【請求項９】
前記信号処理装置は、
前記入力映像信号の各フレームについて前記特徴量を計測する計測部、
をさらに備える、請求項１に記載の信号処理装置。
【請求項１０】
前記信号処理装置は、
前記フィルタリング部により生成される前記映像信号の第１のフレームと第２のフレームとの間の信号の相関に基づいて、各フレームに現れる前記動きを推定する動き推定部、
をさらに備える、請求項１に記載の信号処理装置。
【請求項１１】
前記信号処理装置は、
前記動き推定部により推定された前記動きに応じて、前記入力映像信号の第１のフレームと第２のフレームとの間のフレームを補間する補間処理部、
をさらに備える、請求項１０に記載の信号処理装置。
【請求項１２】
入力映像信号を処理する信号処理装置による信号処理方法であって：
前記入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得するステップと；
取得された前記計測値に基づいて、前記入力映像信号に適用すべきフィルタの特性を決定するステップと；
決定された特性を有するフィルタを前記入力映像信号に適用することにより、前記動きの推定のために使用される映像信号を生成するステップと；
を含む信号処理方法。
【請求項１】
入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得する計測値取得部と；
前記計測値取得部により取得される前記計測値に基づいて、前記入力映像信号に適用すべきフィルタの特性を決定する決定部と；
前記決定部により決定される特性を有するフィルタを前記入力映像信号に適用することにより、前記動きの推定のために使用される映像信号を生成するフィルタリング部と；
を備える信号処理装置。
【請求項２】
前記動きの推定に影響を与える特徴量は、前記入力映像信号の各フレームの水平方向又は垂直方向における高周波成分の大きさに応じた特徴量を含む、請求項１に記載の信号処理装置。
【請求項３】
前記高周波成分の大きさに応じた特徴量は、前記入力映像信号の各フレームの水平方向又は垂直方向における帯域別のヒストグラムを表す第１の特徴量を含む、請求項２に記載の信号処理装置。
【請求項４】
前記高周波成分の大きさに応じた特徴量は、前記入力映像信号の各フレームに含まれる隣接画素間の画素値の差分の総和を表す第２の特徴量を含む、請求項２に記載の信号処理装置。
【請求項５】
前記決定部は、前記計測値取得部により取得される前記計測値が示す前記入力映像信号の各フレームの前記高周波成分の大きさに応じて、前記フィルタの特性における高周波帯域の減衰の強さを変化させる、請求項２〜４のいずれか１項に記載の信号処理装置。
【請求項６】
前記決定部は、前記帯域別のヒストグラムにおいて最大の度数を示す帯域の周波数に応じて、前記フィルタの特性における遮断帯域を変化させる、請求項３に記載の信号処理装置。
【請求項７】
前記動きの推定に影響を与える特徴量は、前記入力映像信号の各フレームに含まれるノイズ成分の強さに応じた第３の特徴量を含む、請求項１〜６のいずれか１項に記載の信号処理装置。
【請求項８】
前記フィルタの特性は、前記入力映像信号の各信号値に乗算されるフィルタ係数と各信号値に対するシフト量とにより表現され、
前記決定部は、前記計測値取得部により取得される前記計測値が示す前記入力映像信号の各フレームの前記ノイズ成分の強さに応じて、前記シフト量を変化させる、
請求項７に記載の信号処理装置。
【請求項９】
前記信号処理装置は、
前記入力映像信号の各フレームについて前記特徴量を計測する計測部、
をさらに備える、請求項１に記載の信号処理装置。
【請求項１０】
前記信号処理装置は、
前記フィルタリング部により生成される前記映像信号の第１のフレームと第２のフレームとの間の信号の相関に基づいて、各フレームに現れる前記動きを推定する動き推定部、
をさらに備える、請求項１に記載の信号処理装置。
【請求項１１】
前記信号処理装置は、
前記動き推定部により推定された前記動きに応じて、前記入力映像信号の第１のフレームと第２のフレームとの間のフレームを補間する補間処理部、
をさらに備える、請求項１０に記載の信号処理装置。
【請求項１２】
入力映像信号を処理する信号処理装置による信号処理方法であって：
前記入力映像信号の各フレームに現れる動きの推定に影響を与える特徴量についての計測値を取得するステップと；
取得された前記計測値に基づいて、前記入力映像信号に適用すべきフィルタの特性を決定するステップと；
決定された特性を有するフィルタを前記入力映像信号に適用することにより、前記動きの推定のために使用される映像信号を生成するステップと；
を含む信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−２４４０８５（Ｐ２０１１−２４４０８５Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１２２７３（Ｐ２０１０−１１２２７３）
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]