映像信号処理装置及び映像信号処理方法
【課題】２つのフレームの間に補間フレームを挿入してフレーム数を増加させる映像処理において、出力される映像に乱れが生じることを抑制可能な映像信号処理装置及び映像信号処理方法を提供する
【解決手段】２つのフレームのブロックマッチングにおいて、２つのフレームのうちの前フレームの画像のブロックと後フレームの画像のブロックとの対応する画素値どうしの差分絶対値のブロック全体にわたる総和である差分絶対値和が極小となるシフト量が、ブロックマッチングのサーチ範囲内に複数ある場合、ブロックマッチングで検出される動きベクトルは信頼性が低いと判定する。フレーム全体の中に、ブロックマッチングで検出される動きベクトルの信頼性が低いと判定されたブロックが所定割合以上ある場合、検出された動きベクトルに基づく補間フレームの画像生成を行なわず、２つのフレームの画像のいずれか一方を補間フレームの画像とする。
【解決手段】２つのフレームのブロックマッチングにおいて、２つのフレームのうちの前フレームの画像のブロックと後フレームの画像のブロックとの対応する画素値どうしの差分絶対値のブロック全体にわたる総和である差分絶対値和が極小となるシフト量が、ブロックマッチングのサーチ範囲内に複数ある場合、ブロックマッチングで検出される動きベクトルは信頼性が低いと判定する。フレーム全体の中に、ブロックマッチングで検出される動きベクトルの信頼性が低いと判定されたブロックが所定割合以上ある場合、検出された動きベクトルに基づく補間フレームの画像生成を行なわず、２つのフレームの画像のいずれか一方を補間フレームの画像とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号処理装置及び映像信号処理方法に関し、特に連続する２つのフレームの画像の間に補間フレームを挿入して映像信号のフレーム数を増やす映像信号処理装置及び映像信号処理方法に関する。
【背景技術】
【０００２】
入力される映像信号の連続する２つのフレームの画像から画像の動きを表す動きベクトルを検出し、動きベクトルに基づいて２つのフレームの間に挿入する補間フレームを生成し、映像信号のフレーム数を増やすフレームレート変換技術がある。
【０００３】
動きベクトルを検出する方式の一つとして、ブロックマッチング法がある。ブロックマッチング法では、２つのフレームのうちの前フレーム内のブロックと後フレーム内のブロックとの相関を、両ブロックの相対位置を所定範囲内でずらしながら計算し、最も相関の高かった相対位置から動きベクトルを算出する。画像内に例えば縞模様や格子パターン等の一定周期の繰り返しパターンの領域がある場合、繰り返しパターンの周期に一致する相対位置においてもブロックマッチングの相関が高くなる。最も相関が高かった相対位置が繰り返しパターンの周期に一致するものであった場合には、本来の画像の動きとは無関係の誤った動きベクトルが検出されてしまう。このような不適切な動きベクトルに基づいて生成された補間フレームの画像を２つのフレームの間に挿入してフレーム数を増やす映像処理を行なうと、大きく乱れた映像が生成される。また、背景と前景との動きが異なる映像のように画像内に異なる動きが共存する領域がある場合、それぞれの動きに対応する相対位置においてブロックマッチングの相関が高くなり、いずれかの動きに対応する相対位置から動きベクトルが検出されることになる。その動きベクトルに基づいて生成された補間フレームの画像を２つのフレームの間に挿入してフレーム数を増やす映像処理を行なうと、その他の動きの部分が乱れが生じた映像が生成される。
【０００４】
この課題を解決するために、検出された動きベクトルの信頼性を判定する技術が提案されている。例えば、特許文献１には、ブロックマッチングの第１最大相関点の周囲を除外した部分から第２最大相関点を検出し、第２最大相関点が除外した部分に接していないという条件を基に、検出された動きベクトルの信頼性を判断する技術が記載されている。また、特許文献２には、ブロックマッチングのサーチ範囲をいくつかの領域に分割し、領域ごとに最大相関点を検出し、それら相関点の各々の相関値に基づいて、検出されたベクトルの信頼性を判断する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０７−０５０８１５号公報
【特許文献２】特開２００８−０３５４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された技術では、第１最大相関点の周囲に第１最大相関点と同程度に高い相関点がある場合には、検出された動きベクトルの信頼性は低いと判定されない場合があった。また、特許文献２に記載された技術では、分割したサーチ範囲の同一領域内に前景の動きベクトルと背景の動きベクトルの最大相関点があった場合に、検出された動きベクトルの信頼性は低いと判定されない場合があった。そのため、不適切な動きベクトルに基づいて補間フレームが生成され、生成された補間フレームを用いてフレーム数変換処
理が行なわれることにより、出力映像に乱れが生じる場合があった。
【０００７】
本発明は、２つのフレームの間に補間フレームを挿入してフレーム数を増加させる映像処理において、出力される映像に乱れが生じることを抑制可能な映像信号処理装置及び映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る映像信号処理装置は、
入力される映像信号の連続する２つのフレームの間に挿入する補間フレームの画像を生成する映像信号処理装置であって、
前記２つのフレームのうちの前フレームの画像を分割して得られるブロックと、該ブロックの位置に対して所定のサーチ範囲内のシフト量で表される相対位置にある後フレームのブロックと、の対応する画素値どうしの差分絶対値の該ブロックの全体にわたる総和である差分絶対値和を、該サーチ範囲内のシフト量毎に算出する算出手段と、
前記算出手段により算出される差分絶対値和が最小となる前記サーチ範囲内のシフト量に基づいて、前記前フレームのブロックと前記後フレームのブロックとの間の画像の動きを表す動きベクトルを検出する動きベクトル検出手段と、
前記算出手段により算出される差分絶対値和が極小となるシフト量が前記サーチ範囲内に複数ある場合に、前記動きベクトル検出手段により検出される前記動きベクトルは信頼性が低いと判定する判定手段と、
前記前フレームを構成する複数のブロックのうちに、動きベクトルの信頼性が低いと判定されたブロックが所定割合以上ある場合、前記前フレームの画像又は前記後フレームの画像のいずれかを前記補間フレームの画像とし、そうでない場合、前記動きベクトル検出手段により検出される動きベクトル、前記前フレームの画像及び前記後フレームの画像に基づいて前記補間フレームの画像を生成する生成手段と、
を備えることを特徴とする。
【０００９】
また、本発明に係る映像信号処理方法は、
入力される映像信号の連続する２つのフレームの間に挿入する補間フレームの画像を生成する映像信号処理方法であって、
映像信号を入力する工程と、
前記入力される映像信号の連続する２つのフレームのうちの前フレームの画像を分割して得られるブロックと、該ブロックの位置に対して所定のサーチ範囲内のシフト量で表される相対位置にある後フレームのブロックと、の対応する画素値どうしの差分絶対値の該ブロックの全体にわたる総和である差分絶対値和を、該サーチ範囲内のシフト量毎に算出する算出工程と、
前記算出工程により算出される差分絶対値和が最小となる前記サーチ範囲内のシフト量に基づいて、前記前フレームのブロックと前記後フレームのブロックとの間の画像の動きを表す動きベクトルを検出する動きベクトル検出工程と、
前記算出工程により算出される差分絶対値和が極小となるシフト量が前記サーチ範囲内に複数ある場合に、前記動きベクトル検出工程により検出される前記動きベクトルは信頼性が低いと判定する判定工程と、
前記前フレームを構成する複数のブロックのうちに、動きベクトルの信頼性は低いと判定されたブロックが所定割合以上ある場合、前記前フレームの画像又は前記後フレームの画像のいずれかを前記補間フレームの画像とし、そうでない場合、前記動きベクトル検出工程により検出される動きベクトル、前記前フレームの画像及び前記後フレームの画像に基づいて前記補間フレームの画像を生成する生成工程と、
を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、２つの連続するフレームの画像から検出した動きベクトルに基づいて補間フレームを生成してフレーム数を増加させる処理において、出力される映像に乱れが生じることを抑制することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係るフレームレート変換装置の概略構成を示すブロック図
【図２】フレーム０の画像のブロック分割の例を説明する図
【図３】ブロックマッチングの動きベクトルのサーチ範囲の例を示す図
【図４】差分絶対値和の分布の例を示す図
【図５】動きベクトルに基づく補間フレーム画像の生成方法の例を示す図
【図６】不適切な動きベクトルが検出されやすい画像の例
【図７】差分絶対値和の分布の例を示す図
【図８】差分絶対値和の分布の例を示す図
【図９】実施例１における複数ピーク検出部の構成を示すブロック図
【図１０】差分絶対値和のピークの検出方法の例を示す図
【図１１】実施例２における複数ピーク検出部の構成を示すブロック図
【図１２】実施例３における複数ピーク検出部の構成を示すブロック図
【図１３】実施例４における複数ピーク検出部の構成を示すブロック図
【図１４】実施例５における複数ピーク検出部の構成を示すブロック図
【発明を実施するための形態】
【００１２】
（実施例１）
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明に係る映像信号処理装置の一実施形態を示すブロック構成図である。この映像信号処理装置は、入力される映像信号の連続する２つのフレームの間に補間フレームを挿入して映像信号のフレーム数を増加させるフレームレート変換装置である。このようなフレームレート変換装置は、例えば液晶モニタやデジタルテレビにテレビジョン信号やビデオカメラで撮影した動画のような動きのある映像を表示させる際に、より滑らかな動きの表示が得られるように映像信号を処理するために用いることができる。また、このような映像表示時のリアルタイムの映像処理だけでなく、映像編集時に既存の映像をフレームレートの高い映像に変換する映像処理にも用いることができる。本実施例のフレームレート変換装置は、単位時間あたりのフレーム数を増加させる処理だけでなく、単に映像のフレーム数を増加させる処理を行なうためにも用いることが可能である。
【００１３】
図１に示すように、本実施例に係るフレームレート変換装置１は、ブロックバッファ１０、ブロックバッファ１１、差分絶対値和計算部１２、動きベクトル検出部１３、複数ピーク検出部１４、補間画像生成部１５で構成される。フレームレート変換装置１は、連続する２つのフレームの画像の入力を受け、２つのフレームの画像から動きベクトルを検出し、動きベクトルに基づいて２つのフレームの前フレームと後フレームの間に挿入する補間フレームの画像を生成し出力する。フレームレート変換装置１の前段には、例えばフレームメモリが設けられ、フレームメモリに保持された前フレームの画像がブロックバッファ１０に入力される。
【００１４】
＜ブロックバッファ１０＞
ブロックバッファ１０は、連続する２つのフレームのうち前フレーム（フレーム０という）の画像の特定領域の画像をブロックとして切り出し、ブロックデータ０として出力する。以下、図２に示すように、１２８ドット×９６ドットのフレーム０の画像を３２ドット×３２ドットの1２個の矩形のブロックに分割し、各ブロックをブロックデータ０とし
て出力
する場合を例に説明する。後述するように、各ブロックデータ０は、動きベクトルを検出
するための単位となる画像である。以下、ブロックバッファ１０から出力されるブロックデータ０（以下、ＢＤ０とも表す）を、図２に示すブロック番号（ｎ，ｍ）（ｎ＝０〜３、ｍ＝０〜２）を用いて、ＢＤ０ｎ，ｍと表す。また、ブロックデータＢＤ０ｎ，ｍ内の水平座標ｉ、垂直座標ｊにおける画素データを、ＢＤ０ｎ，ｍ（ｉ，ｊ）と表す。フレーム０の画像データをＦＤ０とし、フレーム０の画像データＦＤ０内の座標（ｘ，ｙ）における画素データをＦＤ０（ｘ，ｙ）と表せば、ブロックデータ０内の座標（ｉ，ｊ）における画素データＢＤ０ｎ，ｍ（ｉ，ｊ）は式（１）のように表わされる。
【００１５】
＜ブロックバッファ１１＞
ブロックバッファ１１は、連続する２つのフレームのうちの後フレーム（フレーム１という）の画像からブロックデータ０と同一形状のブロックを切り出し、ブロックデータ１として出力する。フレーム１の画像からブロックデータ１を切り出す位置は、フレーム画像０からブロックデータ０を切り出した位置に対する相対位置が所定の範囲（サーチ範囲という）内のシフト量で表されるような位置である。フレーム１の画像からのブロックデータ１の切り出しは、サーチ範囲内の全てのシフト量について行なわれ、順次出力される。サーチ範囲は、検出する動きベクトルの大きさに応じて定める。例えば、検出する動きベクトルの大きさが水平±２４ドット、垂直±１５ドットの場合、サーチ範囲を水平方向±２４ドット、垂直方向±１５ドットと定める。そして、フレーム０の画像においてブロックデータ０を切り出した位置に対する相対位置が水平方向に±２４ドット、垂直方向に±１５ドットの範囲内のシフト量で表される位置において、フレーム１の画像からのブロックデータ１の切り出しが行なわれる。なお、ブロックデータ０がフレーム０の画像の端に近い位置にある場合、対応するブロックデータ１を切り出すべき位置がフレーム１からはみ出す場合があるが、はみ出した画素の値は例えば予め定めた固定値とする。この場合、水平方向及び垂直方向のシフト量の可能な組み合わせの数は１４４０であり、１つのブロックデータ０に対応して１４４０枚のブロックデータ１が出力される。
【００１６】
図３に、１つのブロックデータ０と、それに対応して出力されるブロックデータ１の存在範囲と、を示す。図３において中央に描かれた１枚のブロックデータ０に対して、外側の実線で囲まれる範囲内で水平方向又は垂直方向が１ドットずつ位置がずれた１４４０枚のブロックデータ１が出力される。このようなブロックデータ１が、１２枚のブロックデータ０の各々に対して出力される。
【００１７】
ブロックデータ０（ＢＤ０ｎ，ｍ）に対応するシフト量（ｉｓ，ｊｓ）のブロックデータ１をＢＤ１ｎ，ｍ（ｉｓ，ｊｓ）と表す。ブロックデータＢＤ１ｎ，ｍ（ｉｓ，ｊｓ）内の水平座標ｉ、垂直座標ｊにおける画素データをＢＤ１ｎ，ｍ（ｉ，ｊ，ｉｓ，ｊｓ）と表す。フレーム１の画像データをＦＤ１とし、フレーム１の画像データＦＤ１内の座標（ｘ，ｙ）における画素データをＦＤ１（ｘ，ｙ）とすれば、ブロックデータ１の画素ＢＤ１ｎ，ｍ（ｉ，ｊ，ｉｓ，ｊｓ）は式（２）のように表わされる。
【００１８】
＜差分絶対値和計算部１２＞
差分絶対値和計算部１２は、入力されたブロックデータ０と、それに対応するシフト量
（ｉｓ，ｊｓ）のブロックデータ１と、対応する画素値どうしの差分絶対値を計算し、該ブロック内の全画素にわって差分絶対値の総和を計算する。この総和を差分絶対値和（ＳＡＤ）という。ブロックデータ０（ＢＤ０ｎ，ｍ）と、それに対応するシフト量（ｉｓ，ｊｓ）のブロックデータ１（ＢＤ１ｎ，ｍ（ｉｓ，ｊｓ））と、の差分絶対値和をＳＡＤｎ，ｍ（ｉｓ，ｊｓ）と表せば、ＳＡＤｎ，ｍ（ｉｓ，ｊｓ）は以下の式（３）で表される。
差分絶対値和計算部１２は、各ブロックデータ０について、サーチ範囲内のシフト量毎に差分絶対値和を計算する。本実施例の差分絶対値和計算部１２は、本発明における「算出手段」に相当する。これにより、各ブロックデータ０について、差分絶対値和の分布が得られる。図４は、本実施例における差分絶対値和の分布例を、シフト量に対応するｉｓ−ｊｓ平面上の各点において高さ方向に差分絶対値和の値をプロットすることによって可視化した図である。
【００１９】
＜動きベクトル検出部１３＞
差分絶対値和はブロックデータ０とそれに対応するブロックデータ１との相違の度合いを表す。差分絶対値和ＳＡＤｎ，ｍ（ｉｓ，ｊｓ）の値が小さいほど、ブロックデータＢＤ０ｎ，ｍとそれに対応するシフト量（ｉｓ，ｊｓ）のブロックデータＢＤ１ｎ，ｍ（ｉｓ，ｊｓ）との相関は高い。差分絶対値和の分布において差分絶対値和の値が比較的小さくなっている箇所を相関点という。ブロックデータ０の位置からブロックデータ１の位置へのシフト量が、ブロックデータ０の画像とブロックデータ１の画像との間の動きベクトルに一致するとき、ブロックデータ０とブロックデータ１との相関は高くなる。そこで動きベクトル検出部１３は、差分絶対値和が最小となるシフト量（ｉｓ，ｊｓ）に基づいて動きベクトルを検出する。本実施例では、サーチ範囲内の全てのシフト量（ｉｓ，ｊｓ）について差分絶対値和を求め、ブロックデータ０とブロックデータ１との相関度合が最も高くなるシフト量を探索することによりブロックマッチングが行なわれる。本実施例の動きベクトル検出部１３が、本発明における「動きベクトル検出手段」に相当する。
【００２０】
例えば、フレーム０の画像とフレーム１の画像との間の動きが、平行移動のような単純な動きの場合には、差分絶対値和の分布は、図４に示すように、鋭いピークを有する分布となり、このピークにおいて差分絶対値和は最小値となる。従って、動きベクトル検出部１３は、このピークとなっている差分絶対値和に対応するシフト量（ｉｓ，ｊｓ）に基づいて動きベクトルを検出する。
【００２１】
＜補間画像生成部１５＞
補間画像生成部１５は、動きベクトル検出部１３から入力される動きベクトルに基づいて、フレーム０画像とフレーム１画像からそれらの中間に挿入すべき補間フレームの画像を生成し出力する。補間フレームの画像の生成方法の例を図５に基づいて説明する。図５の例では、動きベクトルを（Ｖｘ、Ｖｙ）とし、生成すべき補間フレームの画像の画素Ｐの座標を（ｘ，ｙ）とする。このとき、画素Ｐは、座標（ｘ，ｙ）に対する相対位置が（−Ｖｘ／２、―Ｖｙ／２）であるフレーム０の画素Ａ０と、座標（ｘ，ｙ）に対する相対位置が（Ｖｘ／２、Ｖｙ／２）であるフレーム１画像の画素Ａ１と、の平均値を算出することで生成する。本実施例の補間画像生成部１５が、本発明における「生成手段」に相当する。
【００２２】
＜動きベクトルの誤検出（繰り返しパターン）＞
ところで、図６の右側の領域のように繰り返しパターンがある画像では、繰り返しパタ
ーンの周期と一致するシフト量においてブロックデータ０とブロックデータ１との相関が高くなる。従って、差分絶対値和の分布において、動きベクトルに一致するシフト量だけでなく、繰り返しパターンの周期に一致するシフト量においても、差分絶対値和が小さい値となる。従って、ブロックマッチングにおいて相関が高くなるシフト量が複数現われる。上述のように、動きベクトル検出部１３は、差分絶対値和の値が最小となるシフト量を動きベクトルとして検出する。そのため、繰り返しパターンの周期に対応するシフト量における差分絶対値和が、動きベクトルに対応するシフト量における差分絶対値和より小さい場合、繰り返しパターンの周期に対応するシフト量を動きベクトルとして誤検出してしまう。
【００２３】
繰り返しパターンがある画像における差分絶対値和の分布例を図７に示す。図７において、相関点Ａが動きベクトルに対応するシフト量における差分絶対値和を表し、相関点Ｂが繰り返しパターンの周期に対応するシフト量における差分絶対値和を表す。相関点Ａにおける差分絶対値和よりも相関点Ｂにおける差分絶対値和の方が小さくなっている場合、相関点Ｂに対応するシフト量が動きベクトルとして検出されることになる。すなわち、繰り返しパターンの周期に対応する、本来の画像の動きとは無関係のシフト量が、動きベクトルとして誤検出される。そして、このように誤検出された動きベクトルに基づいて補間フレームの画像が生成され、生成された補間フレームがフレーム０とフレーム１との間に挿入される。
【００２４】
例えば、相関点Ａに対応するシフト量、すなわち本来の動きベクトルが（０，０）、相関点Ｂに対応するシフト量、すなわち繰り返しパターンの周期が（Ｌ，０）であるとすると、動きベクトル検出部１３によって検出される動きベクトルは（Ｌ，０）となる。従って、補間フレームの画像の各画素は、その座標に対して相対位置（−Ｌ／２，０）にあるフレーム０画像の画素と、その座標に対して相対位置（Ｌ／２，０）にあるフレーム１画像の画素と、の平均値により生成される。しかしながら、画像の動きに対応する動きベクトルは（０，０）であり、この場合実際には画像に動きは無い。従って、生成された補間フレームがフレーム０とフレーム１との間に挿入されることにより、フレームレート変換後の映像は大きく乱れたものとなってしまう。
【００２５】
＜動きベクトルの誤検出（異なる動きの共存）＞
また、図６の左側の領域のように異なる動きが画像内で共存している画像では、それぞれの動きを示す動きベクトルに対応するシフト量において、ブロックデータ０とブロックデータ１との相関が高くなる。従って、差分絶対値和の分布において、それぞれの動きベクトルに対応するシフト量において差分絶対値和が小さい値となる。そのため、ブロックマッチングにおいて相関が高くなるシフト量が複数現われる。そして、差分絶対値和の値が最小となっているシフト量が動きベクトルとして検出されることになる。
【００２６】
図６の左側の領域のように、前景と背景とで動きが異なる画像における差分絶対値和の分布例を図８に示す。図８において、相関点Ａが前景の動きベクトルに対応するシフト量における差分絶対値和を表し、相関点Ｂが背景の動きベクトルに対応するシフト量における差分絶対値和を表す。相関点Ａにおける差分絶対値和が相関点Ｂにおける差分絶対値和より小さい場合、相関点Ａに対応するシフト量が動きベクトルとして検出される。そして、この検出された動きベクトルに基づいて補間フレームの画像が生成され、生成された補間フレームがフレーム０とフレーム１との間に挿入される。このようにして生成されたフレームレート変換後の映像は、前景の動きについては滑らかに表示されるものの、背景については大きく乱れたものとなってしまう。
【００２７】
＜複数ピーク検出部１４＞
このように、フレームレート変換により乱れた映像が生成されることを抑制するための
、本実施例の映像信号処理装置に特有の構成について以下説明する。複数ピーク検出部１４は、動きベクトル検出部１３によって検出される動きベクトルの信頼性を判断し、検出される動きベクトルの信頼性が低いと判断される場合には、検出された動きベクトルに基づく補間フレームの画像生成を抑制する信号を出力する。図９に複数ピーク検出部１４の構成図を示す。複数ピーク検出部１４は、ピーク検出部１６、比較部１７、カウント部１８、判定部１９で構成される。
【００２８】
＜ピーク検出部１６＞
ピーク検出部１６は、差分絶対値和計算部１２からの差分絶対値和の入力を受けて、差分絶対値和の極小ピークを検出する。ピーク検出部１６による差分絶対値和のピークの検出方法の例について図１０に基づいて説明する。図１０は、あるブロックデータ０について算出された各シフト量における差分絶対値和を、ブロックマッチングのサーチ範囲内の対応する位置に記して可視化した分布図である。サーチ範囲は、本実施例では−２４≦ｉｓ≦＋２４、−１５≦ｊｓ≦＋１５だが、図１０では簡単のため−５≦ｉｓ≦＋５、−２≦ｊｓ≦＋２の範囲のみを拡大して示している。
【００２９】
ピーク検出部１６は、注目するシフト量における差分絶対値和と、それに隣接する８箇所のシフト量における差分絶対値和とを比較する。そして、注目するシフト量における差分絶対値和が最小であった場合に、その差分絶対値和をピークと判定する。図１０に示す例では、２重線で囲まれた３箇所の差分絶対値和１０、２０及び７５がピークと判定される。
【００３０】
なお、ピークの判定方法は、差分絶対値和の分布において極小値となっている差分絶対値和（極大相関点という）を検出することができれば、上述した方法に限られない。例えば、注目するシフト量における差分絶対値和が、該シフト量に水平方向又は垂直方向に隣接する４箇所のシフト量における差分絶対値和より小さい場合に、該注目するシフト量における差分絶対値和をピークと判定しても良い。また、注目するシフト量における差分絶対値和が、該シフト量に隣接する８箇所のシフト量及びその外側にある１６箇所のシフト量における差分絶対値和より小さい場合に、該注目するシフト量における差分絶対値和をピークと判定しても良い。
【００３１】
＜比較部１７＞
ブロックマッチングの相関度合が低いシフト量における差分絶対値和であっても、ピーク検出部１６によってピークとして検出されることがある。このような相関度合の低いピークは、サーチ範囲内におけるブロックマッチングの相関が低い領域内でランダムに発生し得る。そこで、比較部１７は、ピーク検出部１６によってピークと判定された差分絶対値和の値を所定の閾値（複数ピーク検出閾値という）と比較し、複数ピーク検出閾値以下のピークを有効なピークと判定する。例えば、複数ピーク検出閾値を５０とした場合、図１０の例では、検出された３つのピーク（差分絶対値和１０、２０及び７５）のうち、差分絶対値和１０及び２０の２つのピークが有効なピークと判定される。比較部１７により、ピーク検出部１６が検出したピークのうちブロックマッチングで一定以上の相関があるピークが抽出される。本実施例の複数ピーク検出閾値は、本発明における「閾値」に相当する。
【００３２】
＜カウント部１８＞
カウント部１８では、サーチ範囲内に有効なピークがいくつあったかをカウントする。そして、カウント値が２以上の場合には、動きベクトル検出部１３で検出される動きベクトルの信頼性は低いと判定し、それを示す信号を出力する。繰り返しパターンや異なる動きが共存する画像を含むブロックデータの場合、サーチ範囲内に２以上の有効なピークが検出される可能性が高いので、ブロックマッチングによって検出された動きベクトルの信
頼性は低いと判定されることになる。
【００３３】
＜判定部１９＞
判定部１９は、フレーム０の画像を構成する全てのブロックデータのうちに、動きベクトル検出部１３によって検出された動きベクトルは信頼性が低いと判定されたブロックデータが所定割合以上あるか否かを判定する。そして、判定部１９は、検出された動きベクトルの信頼性が低いと判定されたブロックデータが所定割合以上あった場合、検出された動きベクトルに基づいて補間フレームの画像を生成することを禁止する信号を出力する。
【００３４】
補間画像生成部１５は、判定部１９から上記禁止信号を受信した場合は、動きベクトル検出部１３が検出した動きベクトルに基づく補間フレームの画像生成をせずに、フレーム０画像又はフレーム１画像を補間フレームの画像として出力する。すなわち、この場合、フレーム０とフレーム１の間に、補間フレームとして、フレーム０画像又はフレーム１画像を挿入することによって、フレームレートを増加させる処理が行なわれる。これにより、ブロックマッチングにより不適切な動きベクトルが検出される可能性が高い画像については、ブロックマッチングで検出された動きベクトルに基づく補間フレームの生成は行なわれない。従って、画像内に繰り返しパターンを含む領域や異なる複数の動きが共存する領域があるような映像信号に対しても、フレームレート変換後の映像に乱れが生じることを抑制しつつ、フレームレート変換処理を行なうことが可能となる。ブロックマッチングのサーチ範囲内に有効なピークが１つしかない場合には、当該ピークに対応するシフト量から検出される動きベクトルはブロックデータ間の画像の動きを正しく示す適切な動きベクトルであると考えられる。従って、この場合、補間画像生成部１５は、上述したように、動きベクトル検出部１３により検出された動きベクトル、ブロックデータ０及びブロックデータ１に基づいて補間フレームの画像を生成する。
【００３５】
なお、本実施例では、サーチ範囲内に有効なピークが複数有る場合に、検出される動きベクトルの信頼性は低いと判定する例について説明したが、単にサーチ範囲内にピークが複数有る場合に、検出される動きベクトルの信頼性が低いと判定するようにしても良い。
【００３６】
（実施例２）
図１１は、実施例２における複数ピーク検出部１４のブロック構成図である。実施例２の複数ピーク検出部１４は、ピーク検出部１６、比較部１７、判定部１９、第１最小ピーク値メモリ部２０、第２最小ピーク値メモリ部２１で構成される。本実施例では、ピーク検出部１６で検出したピークのうち差分絶対値和の値が２番目に小さいピークの差分絶対値和の値に基づいて、動きベクトル検出部１３で検出した動きベクトルの信頼性を判定する。複数ピーク検出部１４以外の構成は実施例１と同じなので説明を割愛し、複数ピーク検出部１４についてのみ以下説明する。
本実施例のピーク検出部１６、判定部１９の動作は実施例１と同じである。
【００３７】
＜第１最小ピーク値メモリ部２０＞
第１最小ピーク値メモリ部２０は、サーチ範囲内に存在する全てのピークのうち、差分絶対値和が最小のピーク（第１最小ピークという）の差分絶対値和（第１最小差分絶対値和という）を記憶する。ピーク検出部１６によるブロック毎のピークの検出が続けられる間、第１最小ピーク値メモリ部２０に記憶される差分絶対値和は、既に検出されたピークのうち差分絶対値和が最小のピークの差分絶対値和で更新されていく。ピーク検出部１６によるピークの検出が完了した時点で、第１最小ピーク値メモリ部２０には、第１最小差分絶対値和が記憶されていることになる。
【００３８】
＜第２最小ピーク値メモリ部２１＞
第２最小ピーク値メモリ部２１は、サーチ範囲内に存在する全てのピークのうち、差分
絶対値和が２番目に小さいピーク（第２最小ピークという）の差分絶対値和（第２最小差分絶対値和という）を記憶する。ピーク検出部１６によるブロック毎のピークの検出が続けられる間、第２最小ピーク値メモリ部２１に記憶される差分絶対値和は、既に検出されたピークのうち差分絶対値和が２番目に小さいピークの差分絶対値和で更新されていく。ピーク検出部１６によるピークの検出が完了した時点で、第２最小ピーク値メモリ部２１には、第２最小差分絶対値和が記憶されていることになる。
【００３９】
具体的な処理フローを説明する。ピーク検出部１６によって新たなピークが検出されると、該ピークの差分絶対値和ＳＡＤｎｅｗが第１最小ピーク値メモリ部２０及び第２最小ピーク値メモリ部２１に入力される。そして、入力された差分絶対値和ＳＡＤｎｅｗと、第１最小ピーク値メモリ部２０に記憶されている差分絶対値和ＳＡＤｍｉｎ１と、第２最小ピーク値メモリ部２１に記憶されている差分絶対値和ＳＡＤｍｉｎ２と、の比較が行なわれる。
（イ）入力された値が第１最小ピーク値メモリ部２０の値よりも小さい場合（ＳＡＤｎｅｗ＜ＳＡＤｍｉｎ１）、第２最小ピーク値メモリ部２１の値が、第１最小ピーク値メモリ部２０の値ＳＡＤｍｉｎ１で更新される。また、第１最小ピーク値メモリ部２０の値が、入力された値ＳＡＤｎｅｗで更新される。
（ロ）入力された値が第１最小ピーク値メモリ部２０の値以上で、且つ第２最小ピーク値メモリ部２１の値よりも小さい場合（ＳＡＤｍｉｎ１≦ＳＡＤｎｅｗ＜ＳＡＤｍｉｎ２）、第２最小ピーク値メモリ部２１の値が、入力された値ＳＡＤｎｅｗで更新される。
【００４０】
このような処理フローを繰り返すことにより、あるブロックについてピーク検出部１６によるピークの検出が完了した時点で、第１最小差分絶対値和と第２最小差分絶対値和が得られる。図１０の例では、第１最小差分絶対値和は１０、第２最小差分絶対値和は２０となる。
【００４１】
＜比較部１７＞
比較部１７は、第２最小差分絶対値和を複数ピーク検出閾値と比較し、複数ピーク検出閾値以下であった場合に、動きベクトル検出部１３で検出される動きベクトルの信頼性は低いと判定し、それを示す信号を出力する。図１０の例では、第２最小差分絶対値和は２０であり、複数ピーク検出閾値を実施例１と同様５０とすれば、図１０のブロックについては動きベクトル検出部１３で検出される動きベクトルは信頼性が低いと判定されることになる。
なお、第２最小ピークが無かった場合には、サーチ範囲内にピークが１つしか存在しないことを意味する。従ってこの場合、比較部１７は、動きベクトル検出部１３によって検出される動きベクトルは信頼できると判定する。また、第１最小ピークが無かった場合は、サーチ範囲の端に差分絶対値和の最小点があることになり、それはサーチ範囲内にピークが存在しないことを意味する。従ってこの場合、比較部１７は、動きベクトル検出部１３によって検出される動きベクトルの信頼性は低いと判定する。
【００４２】
実施例２の構成によれば、不適切な動きベクトルが誤検出される可能性が高い画像については、ブロックマッチングで検出された動きベクトルに基づく補間フレームの生成は行なわれない。従って、そのような画像を含む映像信号に対して、２つのフレームの間に補間フレームを挿入するフレームレート変換処理を行なっても、変換後の映像に乱れが生じることを精度良く抑制することが可能となる。
【００４３】
（実施例３）
実施例１及び実施例２では、複数ピーク検出閾値を固定値として比較部１７に入力する例を説明したが、画像により差分絶対値和のピークにおける値は異なる。例えばノイズの多い画像では、ノイズの影響でブロックマッチングの相関が全体的に低くなるため、差分
絶対値和の分布は鈍いピークを有する分布になり、ピークにおける差分絶対値和の値は平均値に近くなる。そこで実施例３では、画像に応じて複数ピーク検出閾値を適応的に設定する。複数ピーク検出部１４以外の構成は実施例１と同じなので説明を割愛し、複数ピーク検出部１４についてのみ以下説明する。
図１２は、実施例３における複数ピーク検出部１４のブロック構成図である。実施例３の複数ピーク検出部１４は、実施例２における複数ピーク検出部１４の構成に、閾値算出部２２を追加して構成される。閾値算出部２２は、第１最小ピーク値メモリ部２０から第１最小差分絶対値和の入力を受け、以下の式（４）の計算式によって複数ピーク検出閾値を計算する。
複数ピーク検出閾値＝第１最小差分絶対値和＋α（αは固定定数）・・・（４）
本実施例における閾値算出部２２は、本発明における設定手段に相当する。
【００４４】
比較部１７は、第２最小差分絶対値和を閾値算出部２２により算出された複数ピーク検出閾値と比較し、複数ピーク検出閾値以下であった場合に、動きベクトル検出部１３で検出される動きベクトルの信頼性は低いと判定し、それを示す信号を出力する。
実施例３の構成によれば、入力信号のフレーム０の画像とフレーム１の画像との全体的な相関の度合いに応じて複数ピーク検出閾値を適応的に設定できるので、動きベクトルの信頼性をより精度良く判定することができる。従って、不適切な動きベクトルに基づく補間フレームの画像生成が行なわれることを抑制し、フレームレート変換後の映像に乱れが生じることを抑制することが可能となる。
【００４５】
（実施例４）
実施例３の様に２つのフレームの全体的な相関度合に対して適応的に複数ピーク検出閾値を設定する方法として、サーチ範囲内の最大の差分絶対値和（最大差分絶対値和という）に応じて複数ピーク検出閾値を設定しても良い。
【００４６】
図１３は、実施例４における複数ピーク検出部１４のブロック構成図である。実施例４の複数ピーク検出部１４は、実施例３における複数ピーク検出部１４の構成に、最大値メモリ部２３を追加して構成される。
最大値メモリ部２３は、ブロック毎のブロックマッチングにおいて差分絶対値和の算出が続けられる間、既に算出された差分絶対値和のうち最大の値を記憶する。具体的な処理フローは、新たに入力された差分絶対値和の値が最大値メモリ部２３に記憶されている値より大きい場合、入力された差分絶対値和によって最大値メモリ部２３の値を更新する。
閾値算出部２２は、最大値メモリ部２３からの最大差分絶対値和の入力及び第１最小ピーク値メモリ部２０からの第１最小差分絶対値和の入力を受け、以下の式（５）の計算式によって複数ピーク検出閾値を計算する。
複数ピーク検出閾値＝第１最小差分絶対値和＋（最大差分絶対値和−第１最小差分絶対値和）×α（αは０＜α＜１の値）・・・（５）
本実施例における閾値算出部２２は、本発明における設定手段に相当する。
【００４７】
比較部１７は、第２最小差分絶対値和を閾値算出部２２により算出された複数ピーク検出閾値と比較し、複数ピーク検出閾値以下であった場合に、動きベクトル検出部１３で検出される動きベクトルの信頼性は低いと判定し、それを示す信号を出力する。
実施例４の構成によれば、入力信号のフレーム０の画像とフレーム１の画像との全体的な相関の度合いに応じて複数ピーク検出閾値を適応的に設定できるので、動きベクトルの信頼性をより精度良く判定することができる。従って、不適切な動きベクトルに基づく補間フレームの画像生成が行なわれることを抑制し、フレームレート変換後の映像に乱れが生じることを抑制することが可能となる。
【００４８】
（実施例５）
実施例３の様に２つのフレームの全体的な相関度合に応じて適応的に複数ピーク検出閾値を設定する方法として、サーチ範囲内の差分絶対値和の平均値（差分絶対値和平均という）に応じて複数ピーク検出閾値を設定しても良い。
【００４９】
図１４は、実施例５における複数ピーク検出部１４のブロック構成図である。実施例５の複数ピーク検出部１４は、実施例３における複数ピーク検出部１４の構成に、平均値算出部２４を追加して構成される。
平均値算出部２４は、サーチ範囲内の差分絶対値和の平均値を算出し出力する。
閾値算出部２２は、平均値算出部２４からの差分絶対値和平均の入力及び第１最小ピーク値メモリ部２０からの第１最小差分絶対値和の入力を受け、以下の式（６）の計算式によって複数ピーク検出閾値を計算する。
複数ピーク検出閾値＝第１最小差分絶対値和＋（差分絶対値和平均−第１最小差分絶対値和）×α（αは０＜α＜１の値）・・・（６）
本実施例における閾値算出部２２は、本発明における設定手段に相当する。
【００５０】
比較部１７は、第２最小差分絶対値和を閾値算出部２２により算出された複数ピーク検出閾値と比較し、複数ピーク検出閾値以下であった場合に、動きベクトル検出部１３で検出される動きベクトルの信頼性は低いと判定し、それを示す信号を出力する。
実施例５の構成によれば、入力信号のフレーム０の画像とフレーム１の画像との全体的な相関の度合いに応じて複数ピーク検出閾値を適応的に設定できるので、動きベクトルの信頼性をより精度良く判定することができる。従って、不適切な動きベクトルに基づく補間フレームの画像生成が行なわれることを抑制し、フレームレート変換後の映像に乱れが生じることを抑制することが可能となる。
【符号の説明】
【００５１】
１０：ブロックバッファ、１１：ブロックバッファ、１２：差分絶対値和計算部、１３：動きベクトル検出部、１４：複数ピーク検出部、１５：補間画像生成部
【技術分野】
【０００１】
本発明は、映像信号処理装置及び映像信号処理方法に関し、特に連続する２つのフレームの画像の間に補間フレームを挿入して映像信号のフレーム数を増やす映像信号処理装置及び映像信号処理方法に関する。
【背景技術】
【０００２】
入力される映像信号の連続する２つのフレームの画像から画像の動きを表す動きベクトルを検出し、動きベクトルに基づいて２つのフレームの間に挿入する補間フレームを生成し、映像信号のフレーム数を増やすフレームレート変換技術がある。
【０００３】
動きベクトルを検出する方式の一つとして、ブロックマッチング法がある。ブロックマッチング法では、２つのフレームのうちの前フレーム内のブロックと後フレーム内のブロックとの相関を、両ブロックの相対位置を所定範囲内でずらしながら計算し、最も相関の高かった相対位置から動きベクトルを算出する。画像内に例えば縞模様や格子パターン等の一定周期の繰り返しパターンの領域がある場合、繰り返しパターンの周期に一致する相対位置においてもブロックマッチングの相関が高くなる。最も相関が高かった相対位置が繰り返しパターンの周期に一致するものであった場合には、本来の画像の動きとは無関係の誤った動きベクトルが検出されてしまう。このような不適切な動きベクトルに基づいて生成された補間フレームの画像を２つのフレームの間に挿入してフレーム数を増やす映像処理を行なうと、大きく乱れた映像が生成される。また、背景と前景との動きが異なる映像のように画像内に異なる動きが共存する領域がある場合、それぞれの動きに対応する相対位置においてブロックマッチングの相関が高くなり、いずれかの動きに対応する相対位置から動きベクトルが検出されることになる。その動きベクトルに基づいて生成された補間フレームの画像を２つのフレームの間に挿入してフレーム数を増やす映像処理を行なうと、その他の動きの部分が乱れが生じた映像が生成される。
【０００４】
この課題を解決するために、検出された動きベクトルの信頼性を判定する技術が提案されている。例えば、特許文献１には、ブロックマッチングの第１最大相関点の周囲を除外した部分から第２最大相関点を検出し、第２最大相関点が除外した部分に接していないという条件を基に、検出された動きベクトルの信頼性を判断する技術が記載されている。また、特許文献２には、ブロックマッチングのサーチ範囲をいくつかの領域に分割し、領域ごとに最大相関点を検出し、それら相関点の各々の相関値に基づいて、検出されたベクトルの信頼性を判断する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０７−０５０８１５号公報
【特許文献２】特開２００８−０３５４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された技術では、第１最大相関点の周囲に第１最大相関点と同程度に高い相関点がある場合には、検出された動きベクトルの信頼性は低いと判定されない場合があった。また、特許文献２に記載された技術では、分割したサーチ範囲の同一領域内に前景の動きベクトルと背景の動きベクトルの最大相関点があった場合に、検出された動きベクトルの信頼性は低いと判定されない場合があった。そのため、不適切な動きベクトルに基づいて補間フレームが生成され、生成された補間フレームを用いてフレーム数変換処
理が行なわれることにより、出力映像に乱れが生じる場合があった。
【０００７】
本発明は、２つのフレームの間に補間フレームを挿入してフレーム数を増加させる映像処理において、出力される映像に乱れが生じることを抑制可能な映像信号処理装置及び映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る映像信号処理装置は、
入力される映像信号の連続する２つのフレームの間に挿入する補間フレームの画像を生成する映像信号処理装置であって、
前記２つのフレームのうちの前フレームの画像を分割して得られるブロックと、該ブロックの位置に対して所定のサーチ範囲内のシフト量で表される相対位置にある後フレームのブロックと、の対応する画素値どうしの差分絶対値の該ブロックの全体にわたる総和である差分絶対値和を、該サーチ範囲内のシフト量毎に算出する算出手段と、
前記算出手段により算出される差分絶対値和が最小となる前記サーチ範囲内のシフト量に基づいて、前記前フレームのブロックと前記後フレームのブロックとの間の画像の動きを表す動きベクトルを検出する動きベクトル検出手段と、
前記算出手段により算出される差分絶対値和が極小となるシフト量が前記サーチ範囲内に複数ある場合に、前記動きベクトル検出手段により検出される前記動きベクトルは信頼性が低いと判定する判定手段と、
前記前フレームを構成する複数のブロックのうちに、動きベクトルの信頼性が低いと判定されたブロックが所定割合以上ある場合、前記前フレームの画像又は前記後フレームの画像のいずれかを前記補間フレームの画像とし、そうでない場合、前記動きベクトル検出手段により検出される動きベクトル、前記前フレームの画像及び前記後フレームの画像に基づいて前記補間フレームの画像を生成する生成手段と、
を備えることを特徴とする。
【０００９】
また、本発明に係る映像信号処理方法は、
入力される映像信号の連続する２つのフレームの間に挿入する補間フレームの画像を生成する映像信号処理方法であって、
映像信号を入力する工程と、
前記入力される映像信号の連続する２つのフレームのうちの前フレームの画像を分割して得られるブロックと、該ブロックの位置に対して所定のサーチ範囲内のシフト量で表される相対位置にある後フレームのブロックと、の対応する画素値どうしの差分絶対値の該ブロックの全体にわたる総和である差分絶対値和を、該サーチ範囲内のシフト量毎に算出する算出工程と、
前記算出工程により算出される差分絶対値和が最小となる前記サーチ範囲内のシフト量に基づいて、前記前フレームのブロックと前記後フレームのブロックとの間の画像の動きを表す動きベクトルを検出する動きベクトル検出工程と、
前記算出工程により算出される差分絶対値和が極小となるシフト量が前記サーチ範囲内に複数ある場合に、前記動きベクトル検出工程により検出される前記動きベクトルは信頼性が低いと判定する判定工程と、
前記前フレームを構成する複数のブロックのうちに、動きベクトルの信頼性は低いと判定されたブロックが所定割合以上ある場合、前記前フレームの画像又は前記後フレームの画像のいずれかを前記補間フレームの画像とし、そうでない場合、前記動きベクトル検出工程により検出される動きベクトル、前記前フレームの画像及び前記後フレームの画像に基づいて前記補間フレームの画像を生成する生成工程と、
を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、２つの連続するフレームの画像から検出した動きベクトルに基づいて補間フレームを生成してフレーム数を増加させる処理において、出力される映像に乱れが生じることを抑制することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係るフレームレート変換装置の概略構成を示すブロック図
【図２】フレーム０の画像のブロック分割の例を説明する図
【図３】ブロックマッチングの動きベクトルのサーチ範囲の例を示す図
【図４】差分絶対値和の分布の例を示す図
【図５】動きベクトルに基づく補間フレーム画像の生成方法の例を示す図
【図６】不適切な動きベクトルが検出されやすい画像の例
【図７】差分絶対値和の分布の例を示す図
【図８】差分絶対値和の分布の例を示す図
【図９】実施例１における複数ピーク検出部の構成を示すブロック図
【図１０】差分絶対値和のピークの検出方法の例を示す図
【図１１】実施例２における複数ピーク検出部の構成を示すブロック図
【図１２】実施例３における複数ピーク検出部の構成を示すブロック図
【図１３】実施例４における複数ピーク検出部の構成を示すブロック図
【図１４】実施例５における複数ピーク検出部の構成を示すブロック図
【発明を実施するための形態】
【００１２】
（実施例１）
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明に係る映像信号処理装置の一実施形態を示すブロック構成図である。この映像信号処理装置は、入力される映像信号の連続する２つのフレームの間に補間フレームを挿入して映像信号のフレーム数を増加させるフレームレート変換装置である。このようなフレームレート変換装置は、例えば液晶モニタやデジタルテレビにテレビジョン信号やビデオカメラで撮影した動画のような動きのある映像を表示させる際に、より滑らかな動きの表示が得られるように映像信号を処理するために用いることができる。また、このような映像表示時のリアルタイムの映像処理だけでなく、映像編集時に既存の映像をフレームレートの高い映像に変換する映像処理にも用いることができる。本実施例のフレームレート変換装置は、単位時間あたりのフレーム数を増加させる処理だけでなく、単に映像のフレーム数を増加させる処理を行なうためにも用いることが可能である。
【００１３】
図１に示すように、本実施例に係るフレームレート変換装置１は、ブロックバッファ１０、ブロックバッファ１１、差分絶対値和計算部１２、動きベクトル検出部１３、複数ピーク検出部１４、補間画像生成部１５で構成される。フレームレート変換装置１は、連続する２つのフレームの画像の入力を受け、２つのフレームの画像から動きベクトルを検出し、動きベクトルに基づいて２つのフレームの前フレームと後フレームの間に挿入する補間フレームの画像を生成し出力する。フレームレート変換装置１の前段には、例えばフレームメモリが設けられ、フレームメモリに保持された前フレームの画像がブロックバッファ１０に入力される。
【００１４】
＜ブロックバッファ１０＞
ブロックバッファ１０は、連続する２つのフレームのうち前フレーム（フレーム０という）の画像の特定領域の画像をブロックとして切り出し、ブロックデータ０として出力する。以下、図２に示すように、１２８ドット×９６ドットのフレーム０の画像を３２ドット×３２ドットの1２個の矩形のブロックに分割し、各ブロックをブロックデータ０とし
て出力
する場合を例に説明する。後述するように、各ブロックデータ０は、動きベクトルを検出
するための単位となる画像である。以下、ブロックバッファ１０から出力されるブロックデータ０（以下、ＢＤ０とも表す）を、図２に示すブロック番号（ｎ，ｍ）（ｎ＝０〜３、ｍ＝０〜２）を用いて、ＢＤ０ｎ，ｍと表す。また、ブロックデータＢＤ０ｎ，ｍ内の水平座標ｉ、垂直座標ｊにおける画素データを、ＢＤ０ｎ，ｍ（ｉ，ｊ）と表す。フレーム０の画像データをＦＤ０とし、フレーム０の画像データＦＤ０内の座標（ｘ，ｙ）における画素データをＦＤ０（ｘ，ｙ）と表せば、ブロックデータ０内の座標（ｉ，ｊ）における画素データＢＤ０ｎ，ｍ（ｉ，ｊ）は式（１）のように表わされる。
【００１５】
＜ブロックバッファ１１＞
ブロックバッファ１１は、連続する２つのフレームのうちの後フレーム（フレーム１という）の画像からブロックデータ０と同一形状のブロックを切り出し、ブロックデータ１として出力する。フレーム１の画像からブロックデータ１を切り出す位置は、フレーム画像０からブロックデータ０を切り出した位置に対する相対位置が所定の範囲（サーチ範囲という）内のシフト量で表されるような位置である。フレーム１の画像からのブロックデータ１の切り出しは、サーチ範囲内の全てのシフト量について行なわれ、順次出力される。サーチ範囲は、検出する動きベクトルの大きさに応じて定める。例えば、検出する動きベクトルの大きさが水平±２４ドット、垂直±１５ドットの場合、サーチ範囲を水平方向±２４ドット、垂直方向±１５ドットと定める。そして、フレーム０の画像においてブロックデータ０を切り出した位置に対する相対位置が水平方向に±２４ドット、垂直方向に±１５ドットの範囲内のシフト量で表される位置において、フレーム１の画像からのブロックデータ１の切り出しが行なわれる。なお、ブロックデータ０がフレーム０の画像の端に近い位置にある場合、対応するブロックデータ１を切り出すべき位置がフレーム１からはみ出す場合があるが、はみ出した画素の値は例えば予め定めた固定値とする。この場合、水平方向及び垂直方向のシフト量の可能な組み合わせの数は１４４０であり、１つのブロックデータ０に対応して１４４０枚のブロックデータ１が出力される。
【００１６】
図３に、１つのブロックデータ０と、それに対応して出力されるブロックデータ１の存在範囲と、を示す。図３において中央に描かれた１枚のブロックデータ０に対して、外側の実線で囲まれる範囲内で水平方向又は垂直方向が１ドットずつ位置がずれた１４４０枚のブロックデータ１が出力される。このようなブロックデータ１が、１２枚のブロックデータ０の各々に対して出力される。
【００１７】
ブロックデータ０（ＢＤ０ｎ，ｍ）に対応するシフト量（ｉｓ，ｊｓ）のブロックデータ１をＢＤ１ｎ，ｍ（ｉｓ，ｊｓ）と表す。ブロックデータＢＤ１ｎ，ｍ（ｉｓ，ｊｓ）内の水平座標ｉ、垂直座標ｊにおける画素データをＢＤ１ｎ，ｍ（ｉ，ｊ，ｉｓ，ｊｓ）と表す。フレーム１の画像データをＦＤ１とし、フレーム１の画像データＦＤ１内の座標（ｘ，ｙ）における画素データをＦＤ１（ｘ，ｙ）とすれば、ブロックデータ１の画素ＢＤ１ｎ，ｍ（ｉ，ｊ，ｉｓ，ｊｓ）は式（２）のように表わされる。
【００１８】
＜差分絶対値和計算部１２＞
差分絶対値和計算部１２は、入力されたブロックデータ０と、それに対応するシフト量
（ｉｓ，ｊｓ）のブロックデータ１と、対応する画素値どうしの差分絶対値を計算し、該ブロック内の全画素にわって差分絶対値の総和を計算する。この総和を差分絶対値和（ＳＡＤ）という。ブロックデータ０（ＢＤ０ｎ，ｍ）と、それに対応するシフト量（ｉｓ，ｊｓ）のブロックデータ１（ＢＤ１ｎ，ｍ（ｉｓ，ｊｓ））と、の差分絶対値和をＳＡＤｎ，ｍ（ｉｓ，ｊｓ）と表せば、ＳＡＤｎ，ｍ（ｉｓ，ｊｓ）は以下の式（３）で表される。
差分絶対値和計算部１２は、各ブロックデータ０について、サーチ範囲内のシフト量毎に差分絶対値和を計算する。本実施例の差分絶対値和計算部１２は、本発明における「算出手段」に相当する。これにより、各ブロックデータ０について、差分絶対値和の分布が得られる。図４は、本実施例における差分絶対値和の分布例を、シフト量に対応するｉｓ−ｊｓ平面上の各点において高さ方向に差分絶対値和の値をプロットすることによって可視化した図である。
【００１９】
＜動きベクトル検出部１３＞
差分絶対値和はブロックデータ０とそれに対応するブロックデータ１との相違の度合いを表す。差分絶対値和ＳＡＤｎ，ｍ（ｉｓ，ｊｓ）の値が小さいほど、ブロックデータＢＤ０ｎ，ｍとそれに対応するシフト量（ｉｓ，ｊｓ）のブロックデータＢＤ１ｎ，ｍ（ｉｓ，ｊｓ）との相関は高い。差分絶対値和の分布において差分絶対値和の値が比較的小さくなっている箇所を相関点という。ブロックデータ０の位置からブロックデータ１の位置へのシフト量が、ブロックデータ０の画像とブロックデータ１の画像との間の動きベクトルに一致するとき、ブロックデータ０とブロックデータ１との相関は高くなる。そこで動きベクトル検出部１３は、差分絶対値和が最小となるシフト量（ｉｓ，ｊｓ）に基づいて動きベクトルを検出する。本実施例では、サーチ範囲内の全てのシフト量（ｉｓ，ｊｓ）について差分絶対値和を求め、ブロックデータ０とブロックデータ１との相関度合が最も高くなるシフト量を探索することによりブロックマッチングが行なわれる。本実施例の動きベクトル検出部１３が、本発明における「動きベクトル検出手段」に相当する。
【００２０】
例えば、フレーム０の画像とフレーム１の画像との間の動きが、平行移動のような単純な動きの場合には、差分絶対値和の分布は、図４に示すように、鋭いピークを有する分布となり、このピークにおいて差分絶対値和は最小値となる。従って、動きベクトル検出部１３は、このピークとなっている差分絶対値和に対応するシフト量（ｉｓ，ｊｓ）に基づいて動きベクトルを検出する。
【００２１】
＜補間画像生成部１５＞
補間画像生成部１５は、動きベクトル検出部１３から入力される動きベクトルに基づいて、フレーム０画像とフレーム１画像からそれらの中間に挿入すべき補間フレームの画像を生成し出力する。補間フレームの画像の生成方法の例を図５に基づいて説明する。図５の例では、動きベクトルを（Ｖｘ、Ｖｙ）とし、生成すべき補間フレームの画像の画素Ｐの座標を（ｘ，ｙ）とする。このとき、画素Ｐは、座標（ｘ，ｙ）に対する相対位置が（−Ｖｘ／２、―Ｖｙ／２）であるフレーム０の画素Ａ０と、座標（ｘ，ｙ）に対する相対位置が（Ｖｘ／２、Ｖｙ／２）であるフレーム１画像の画素Ａ１と、の平均値を算出することで生成する。本実施例の補間画像生成部１５が、本発明における「生成手段」に相当する。
【００２２】
＜動きベクトルの誤検出（繰り返しパターン）＞
ところで、図６の右側の領域のように繰り返しパターンがある画像では、繰り返しパタ
ーンの周期と一致するシフト量においてブロックデータ０とブロックデータ１との相関が高くなる。従って、差分絶対値和の分布において、動きベクトルに一致するシフト量だけでなく、繰り返しパターンの周期に一致するシフト量においても、差分絶対値和が小さい値となる。従って、ブロックマッチングにおいて相関が高くなるシフト量が複数現われる。上述のように、動きベクトル検出部１３は、差分絶対値和の値が最小となるシフト量を動きベクトルとして検出する。そのため、繰り返しパターンの周期に対応するシフト量における差分絶対値和が、動きベクトルに対応するシフト量における差分絶対値和より小さい場合、繰り返しパターンの周期に対応するシフト量を動きベクトルとして誤検出してしまう。
【００２３】
繰り返しパターンがある画像における差分絶対値和の分布例を図７に示す。図７において、相関点Ａが動きベクトルに対応するシフト量における差分絶対値和を表し、相関点Ｂが繰り返しパターンの周期に対応するシフト量における差分絶対値和を表す。相関点Ａにおける差分絶対値和よりも相関点Ｂにおける差分絶対値和の方が小さくなっている場合、相関点Ｂに対応するシフト量が動きベクトルとして検出されることになる。すなわち、繰り返しパターンの周期に対応する、本来の画像の動きとは無関係のシフト量が、動きベクトルとして誤検出される。そして、このように誤検出された動きベクトルに基づいて補間フレームの画像が生成され、生成された補間フレームがフレーム０とフレーム１との間に挿入される。
【００２４】
例えば、相関点Ａに対応するシフト量、すなわち本来の動きベクトルが（０，０）、相関点Ｂに対応するシフト量、すなわち繰り返しパターンの周期が（Ｌ，０）であるとすると、動きベクトル検出部１３によって検出される動きベクトルは（Ｌ，０）となる。従って、補間フレームの画像の各画素は、その座標に対して相対位置（−Ｌ／２，０）にあるフレーム０画像の画素と、その座標に対して相対位置（Ｌ／２，０）にあるフレーム１画像の画素と、の平均値により生成される。しかしながら、画像の動きに対応する動きベクトルは（０，０）であり、この場合実際には画像に動きは無い。従って、生成された補間フレームがフレーム０とフレーム１との間に挿入されることにより、フレームレート変換後の映像は大きく乱れたものとなってしまう。
【００２５】
＜動きベクトルの誤検出（異なる動きの共存）＞
また、図６の左側の領域のように異なる動きが画像内で共存している画像では、それぞれの動きを示す動きベクトルに対応するシフト量において、ブロックデータ０とブロックデータ１との相関が高くなる。従って、差分絶対値和の分布において、それぞれの動きベクトルに対応するシフト量において差分絶対値和が小さい値となる。そのため、ブロックマッチングにおいて相関が高くなるシフト量が複数現われる。そして、差分絶対値和の値が最小となっているシフト量が動きベクトルとして検出されることになる。
【００２６】
図６の左側の領域のように、前景と背景とで動きが異なる画像における差分絶対値和の分布例を図８に示す。図８において、相関点Ａが前景の動きベクトルに対応するシフト量における差分絶対値和を表し、相関点Ｂが背景の動きベクトルに対応するシフト量における差分絶対値和を表す。相関点Ａにおける差分絶対値和が相関点Ｂにおける差分絶対値和より小さい場合、相関点Ａに対応するシフト量が動きベクトルとして検出される。そして、この検出された動きベクトルに基づいて補間フレームの画像が生成され、生成された補間フレームがフレーム０とフレーム１との間に挿入される。このようにして生成されたフレームレート変換後の映像は、前景の動きについては滑らかに表示されるものの、背景については大きく乱れたものとなってしまう。
【００２７】
＜複数ピーク検出部１４＞
このように、フレームレート変換により乱れた映像が生成されることを抑制するための
、本実施例の映像信号処理装置に特有の構成について以下説明する。複数ピーク検出部１４は、動きベクトル検出部１３によって検出される動きベクトルの信頼性を判断し、検出される動きベクトルの信頼性が低いと判断される場合には、検出された動きベクトルに基づく補間フレームの画像生成を抑制する信号を出力する。図９に複数ピーク検出部１４の構成図を示す。複数ピーク検出部１４は、ピーク検出部１６、比較部１７、カウント部１８、判定部１９で構成される。
【００２８】
＜ピーク検出部１６＞
ピーク検出部１６は、差分絶対値和計算部１２からの差分絶対値和の入力を受けて、差分絶対値和の極小ピークを検出する。ピーク検出部１６による差分絶対値和のピークの検出方法の例について図１０に基づいて説明する。図１０は、あるブロックデータ０について算出された各シフト量における差分絶対値和を、ブロックマッチングのサーチ範囲内の対応する位置に記して可視化した分布図である。サーチ範囲は、本実施例では−２４≦ｉｓ≦＋２４、−１５≦ｊｓ≦＋１５だが、図１０では簡単のため−５≦ｉｓ≦＋５、−２≦ｊｓ≦＋２の範囲のみを拡大して示している。
【００２９】
ピーク検出部１６は、注目するシフト量における差分絶対値和と、それに隣接する８箇所のシフト量における差分絶対値和とを比較する。そして、注目するシフト量における差分絶対値和が最小であった場合に、その差分絶対値和をピークと判定する。図１０に示す例では、２重線で囲まれた３箇所の差分絶対値和１０、２０及び７５がピークと判定される。
【００３０】
なお、ピークの判定方法は、差分絶対値和の分布において極小値となっている差分絶対値和（極大相関点という）を検出することができれば、上述した方法に限られない。例えば、注目するシフト量における差分絶対値和が、該シフト量に水平方向又は垂直方向に隣接する４箇所のシフト量における差分絶対値和より小さい場合に、該注目するシフト量における差分絶対値和をピークと判定しても良い。また、注目するシフト量における差分絶対値和が、該シフト量に隣接する８箇所のシフト量及びその外側にある１６箇所のシフト量における差分絶対値和より小さい場合に、該注目するシフト量における差分絶対値和をピークと判定しても良い。
【００３１】
＜比較部１７＞
ブロックマッチングの相関度合が低いシフト量における差分絶対値和であっても、ピーク検出部１６によってピークとして検出されることがある。このような相関度合の低いピークは、サーチ範囲内におけるブロックマッチングの相関が低い領域内でランダムに発生し得る。そこで、比較部１７は、ピーク検出部１６によってピークと判定された差分絶対値和の値を所定の閾値（複数ピーク検出閾値という）と比較し、複数ピーク検出閾値以下のピークを有効なピークと判定する。例えば、複数ピーク検出閾値を５０とした場合、図１０の例では、検出された３つのピーク（差分絶対値和１０、２０及び７５）のうち、差分絶対値和１０及び２０の２つのピークが有効なピークと判定される。比較部１７により、ピーク検出部１６が検出したピークのうちブロックマッチングで一定以上の相関があるピークが抽出される。本実施例の複数ピーク検出閾値は、本発明における「閾値」に相当する。
【００３２】
＜カウント部１８＞
カウント部１８では、サーチ範囲内に有効なピークがいくつあったかをカウントする。そして、カウント値が２以上の場合には、動きベクトル検出部１３で検出される動きベクトルの信頼性は低いと判定し、それを示す信号を出力する。繰り返しパターンや異なる動きが共存する画像を含むブロックデータの場合、サーチ範囲内に２以上の有効なピークが検出される可能性が高いので、ブロックマッチングによって検出された動きベクトルの信
頼性は低いと判定されることになる。
【００３３】
＜判定部１９＞
判定部１９は、フレーム０の画像を構成する全てのブロックデータのうちに、動きベクトル検出部１３によって検出された動きベクトルは信頼性が低いと判定されたブロックデータが所定割合以上あるか否かを判定する。そして、判定部１９は、検出された動きベクトルの信頼性が低いと判定されたブロックデータが所定割合以上あった場合、検出された動きベクトルに基づいて補間フレームの画像を生成することを禁止する信号を出力する。
【００３４】
補間画像生成部１５は、判定部１９から上記禁止信号を受信した場合は、動きベクトル検出部１３が検出した動きベクトルに基づく補間フレームの画像生成をせずに、フレーム０画像又はフレーム１画像を補間フレームの画像として出力する。すなわち、この場合、フレーム０とフレーム１の間に、補間フレームとして、フレーム０画像又はフレーム１画像を挿入することによって、フレームレートを増加させる処理が行なわれる。これにより、ブロックマッチングにより不適切な動きベクトルが検出される可能性が高い画像については、ブロックマッチングで検出された動きベクトルに基づく補間フレームの生成は行なわれない。従って、画像内に繰り返しパターンを含む領域や異なる複数の動きが共存する領域があるような映像信号に対しても、フレームレート変換後の映像に乱れが生じることを抑制しつつ、フレームレート変換処理を行なうことが可能となる。ブロックマッチングのサーチ範囲内に有効なピークが１つしかない場合には、当該ピークに対応するシフト量から検出される動きベクトルはブロックデータ間の画像の動きを正しく示す適切な動きベクトルであると考えられる。従って、この場合、補間画像生成部１５は、上述したように、動きベクトル検出部１３により検出された動きベクトル、ブロックデータ０及びブロックデータ１に基づいて補間フレームの画像を生成する。
【００３５】
なお、本実施例では、サーチ範囲内に有効なピークが複数有る場合に、検出される動きベクトルの信頼性は低いと判定する例について説明したが、単にサーチ範囲内にピークが複数有る場合に、検出される動きベクトルの信頼性が低いと判定するようにしても良い。
【００３６】
（実施例２）
図１１は、実施例２における複数ピーク検出部１４のブロック構成図である。実施例２の複数ピーク検出部１４は、ピーク検出部１６、比較部１７、判定部１９、第１最小ピーク値メモリ部２０、第２最小ピーク値メモリ部２１で構成される。本実施例では、ピーク検出部１６で検出したピークのうち差分絶対値和の値が２番目に小さいピークの差分絶対値和の値に基づいて、動きベクトル検出部１３で検出した動きベクトルの信頼性を判定する。複数ピーク検出部１４以外の構成は実施例１と同じなので説明を割愛し、複数ピーク検出部１４についてのみ以下説明する。
本実施例のピーク検出部１６、判定部１９の動作は実施例１と同じである。
【００３７】
＜第１最小ピーク値メモリ部２０＞
第１最小ピーク値メモリ部２０は、サーチ範囲内に存在する全てのピークのうち、差分絶対値和が最小のピーク（第１最小ピークという）の差分絶対値和（第１最小差分絶対値和という）を記憶する。ピーク検出部１６によるブロック毎のピークの検出が続けられる間、第１最小ピーク値メモリ部２０に記憶される差分絶対値和は、既に検出されたピークのうち差分絶対値和が最小のピークの差分絶対値和で更新されていく。ピーク検出部１６によるピークの検出が完了した時点で、第１最小ピーク値メモリ部２０には、第１最小差分絶対値和が記憶されていることになる。
【００３８】
＜第２最小ピーク値メモリ部２１＞
第２最小ピーク値メモリ部２１は、サーチ範囲内に存在する全てのピークのうち、差分
絶対値和が２番目に小さいピーク（第２最小ピークという）の差分絶対値和（第２最小差分絶対値和という）を記憶する。ピーク検出部１６によるブロック毎のピークの検出が続けられる間、第２最小ピーク値メモリ部２１に記憶される差分絶対値和は、既に検出されたピークのうち差分絶対値和が２番目に小さいピークの差分絶対値和で更新されていく。ピーク検出部１６によるピークの検出が完了した時点で、第２最小ピーク値メモリ部２１には、第２最小差分絶対値和が記憶されていることになる。
【００３９】
具体的な処理フローを説明する。ピーク検出部１６によって新たなピークが検出されると、該ピークの差分絶対値和ＳＡＤｎｅｗが第１最小ピーク値メモリ部２０及び第２最小ピーク値メモリ部２１に入力される。そして、入力された差分絶対値和ＳＡＤｎｅｗと、第１最小ピーク値メモリ部２０に記憶されている差分絶対値和ＳＡＤｍｉｎ１と、第２最小ピーク値メモリ部２１に記憶されている差分絶対値和ＳＡＤｍｉｎ２と、の比較が行なわれる。
（イ）入力された値が第１最小ピーク値メモリ部２０の値よりも小さい場合（ＳＡＤｎｅｗ＜ＳＡＤｍｉｎ１）、第２最小ピーク値メモリ部２１の値が、第１最小ピーク値メモリ部２０の値ＳＡＤｍｉｎ１で更新される。また、第１最小ピーク値メモリ部２０の値が、入力された値ＳＡＤｎｅｗで更新される。
（ロ）入力された値が第１最小ピーク値メモリ部２０の値以上で、且つ第２最小ピーク値メモリ部２１の値よりも小さい場合（ＳＡＤｍｉｎ１≦ＳＡＤｎｅｗ＜ＳＡＤｍｉｎ２）、第２最小ピーク値メモリ部２１の値が、入力された値ＳＡＤｎｅｗで更新される。
【００４０】
このような処理フローを繰り返すことにより、あるブロックについてピーク検出部１６によるピークの検出が完了した時点で、第１最小差分絶対値和と第２最小差分絶対値和が得られる。図１０の例では、第１最小差分絶対値和は１０、第２最小差分絶対値和は２０となる。
【００４１】
＜比較部１７＞
比較部１７は、第２最小差分絶対値和を複数ピーク検出閾値と比較し、複数ピーク検出閾値以下であった場合に、動きベクトル検出部１３で検出される動きベクトルの信頼性は低いと判定し、それを示す信号を出力する。図１０の例では、第２最小差分絶対値和は２０であり、複数ピーク検出閾値を実施例１と同様５０とすれば、図１０のブロックについては動きベクトル検出部１３で検出される動きベクトルは信頼性が低いと判定されることになる。
なお、第２最小ピークが無かった場合には、サーチ範囲内にピークが１つしか存在しないことを意味する。従ってこの場合、比較部１７は、動きベクトル検出部１３によって検出される動きベクトルは信頼できると判定する。また、第１最小ピークが無かった場合は、サーチ範囲の端に差分絶対値和の最小点があることになり、それはサーチ範囲内にピークが存在しないことを意味する。従ってこの場合、比較部１７は、動きベクトル検出部１３によって検出される動きベクトルの信頼性は低いと判定する。
【００４２】
実施例２の構成によれば、不適切な動きベクトルが誤検出される可能性が高い画像については、ブロックマッチングで検出された動きベクトルに基づく補間フレームの生成は行なわれない。従って、そのような画像を含む映像信号に対して、２つのフレームの間に補間フレームを挿入するフレームレート変換処理を行なっても、変換後の映像に乱れが生じることを精度良く抑制することが可能となる。
【００４３】
（実施例３）
実施例１及び実施例２では、複数ピーク検出閾値を固定値として比較部１７に入力する例を説明したが、画像により差分絶対値和のピークにおける値は異なる。例えばノイズの多い画像では、ノイズの影響でブロックマッチングの相関が全体的に低くなるため、差分
絶対値和の分布は鈍いピークを有する分布になり、ピークにおける差分絶対値和の値は平均値に近くなる。そこで実施例３では、画像に応じて複数ピーク検出閾値を適応的に設定する。複数ピーク検出部１４以外の構成は実施例１と同じなので説明を割愛し、複数ピーク検出部１４についてのみ以下説明する。
図１２は、実施例３における複数ピーク検出部１４のブロック構成図である。実施例３の複数ピーク検出部１４は、実施例２における複数ピーク検出部１４の構成に、閾値算出部２２を追加して構成される。閾値算出部２２は、第１最小ピーク値メモリ部２０から第１最小差分絶対値和の入力を受け、以下の式（４）の計算式によって複数ピーク検出閾値を計算する。
複数ピーク検出閾値＝第１最小差分絶対値和＋α（αは固定定数）・・・（４）
本実施例における閾値算出部２２は、本発明における設定手段に相当する。
【００４４】
比較部１７は、第２最小差分絶対値和を閾値算出部２２により算出された複数ピーク検出閾値と比較し、複数ピーク検出閾値以下であった場合に、動きベクトル検出部１３で検出される動きベクトルの信頼性は低いと判定し、それを示す信号を出力する。
実施例３の構成によれば、入力信号のフレーム０の画像とフレーム１の画像との全体的な相関の度合いに応じて複数ピーク検出閾値を適応的に設定できるので、動きベクトルの信頼性をより精度良く判定することができる。従って、不適切な動きベクトルに基づく補間フレームの画像生成が行なわれることを抑制し、フレームレート変換後の映像に乱れが生じることを抑制することが可能となる。
【００４５】
（実施例４）
実施例３の様に２つのフレームの全体的な相関度合に対して適応的に複数ピーク検出閾値を設定する方法として、サーチ範囲内の最大の差分絶対値和（最大差分絶対値和という）に応じて複数ピーク検出閾値を設定しても良い。
【００４６】
図１３は、実施例４における複数ピーク検出部１４のブロック構成図である。実施例４の複数ピーク検出部１４は、実施例３における複数ピーク検出部１４の構成に、最大値メモリ部２３を追加して構成される。
最大値メモリ部２３は、ブロック毎のブロックマッチングにおいて差分絶対値和の算出が続けられる間、既に算出された差分絶対値和のうち最大の値を記憶する。具体的な処理フローは、新たに入力された差分絶対値和の値が最大値メモリ部２３に記憶されている値より大きい場合、入力された差分絶対値和によって最大値メモリ部２３の値を更新する。
閾値算出部２２は、最大値メモリ部２３からの最大差分絶対値和の入力及び第１最小ピーク値メモリ部２０からの第１最小差分絶対値和の入力を受け、以下の式（５）の計算式によって複数ピーク検出閾値を計算する。
複数ピーク検出閾値＝第１最小差分絶対値和＋（最大差分絶対値和−第１最小差分絶対値和）×α（αは０＜α＜１の値）・・・（５）
本実施例における閾値算出部２２は、本発明における設定手段に相当する。
【００４７】
比較部１７は、第２最小差分絶対値和を閾値算出部２２により算出された複数ピーク検出閾値と比較し、複数ピーク検出閾値以下であった場合に、動きベクトル検出部１３で検出される動きベクトルの信頼性は低いと判定し、それを示す信号を出力する。
実施例４の構成によれば、入力信号のフレーム０の画像とフレーム１の画像との全体的な相関の度合いに応じて複数ピーク検出閾値を適応的に設定できるので、動きベクトルの信頼性をより精度良く判定することができる。従って、不適切な動きベクトルに基づく補間フレームの画像生成が行なわれることを抑制し、フレームレート変換後の映像に乱れが生じることを抑制することが可能となる。
【００４８】
（実施例５）
実施例３の様に２つのフレームの全体的な相関度合に応じて適応的に複数ピーク検出閾値を設定する方法として、サーチ範囲内の差分絶対値和の平均値（差分絶対値和平均という）に応じて複数ピーク検出閾値を設定しても良い。
【００４９】
図１４は、実施例５における複数ピーク検出部１４のブロック構成図である。実施例５の複数ピーク検出部１４は、実施例３における複数ピーク検出部１４の構成に、平均値算出部２４を追加して構成される。
平均値算出部２４は、サーチ範囲内の差分絶対値和の平均値を算出し出力する。
閾値算出部２２は、平均値算出部２４からの差分絶対値和平均の入力及び第１最小ピーク値メモリ部２０からの第１最小差分絶対値和の入力を受け、以下の式（６）の計算式によって複数ピーク検出閾値を計算する。
複数ピーク検出閾値＝第１最小差分絶対値和＋（差分絶対値和平均−第１最小差分絶対値和）×α（αは０＜α＜１の値）・・・（６）
本実施例における閾値算出部２２は、本発明における設定手段に相当する。
【００５０】
比較部１７は、第２最小差分絶対値和を閾値算出部２２により算出された複数ピーク検出閾値と比較し、複数ピーク検出閾値以下であった場合に、動きベクトル検出部１３で検出される動きベクトルの信頼性は低いと判定し、それを示す信号を出力する。
実施例５の構成によれば、入力信号のフレーム０の画像とフレーム１の画像との全体的な相関の度合いに応じて複数ピーク検出閾値を適応的に設定できるので、動きベクトルの信頼性をより精度良く判定することができる。従って、不適切な動きベクトルに基づく補間フレームの画像生成が行なわれることを抑制し、フレームレート変換後の映像に乱れが生じることを抑制することが可能となる。
【符号の説明】
【００５１】
１０：ブロックバッファ、１１：ブロックバッファ、１２：差分絶対値和計算部、１３：動きベクトル検出部、１４：複数ピーク検出部、１５：補間画像生成部
【特許請求の範囲】
【請求項１】
入力される映像信号の連続する２つのフレームの間に挿入する補間フレームの画像を生成する映像信号処理装置であって、
前記２つのフレームのうちの前フレームの画像を分割して得られるブロックと、該ブロックの位置に対して所定のサーチ範囲内のシフト量で表される相対位置にある後フレームのブロックと、の対応する画素値どうしの差分絶対値の該ブロックの全体にわたる総和である差分絶対値和を、該サーチ範囲内のシフト量毎に算出する算出手段と、
前記算出手段により算出される差分絶対値和が最小となる前記サーチ範囲内のシフト量に基づいて、前記前フレームのブロックと前記後フレームのブロックとの間の画像の動きを表す動きベクトルを検出する動きベクトル検出手段と、
前記算出手段により算出される差分絶対値和が極小となるシフト量が前記サーチ範囲内に複数ある場合に、前記動きベクトル検出手段により検出される前記動きベクトルは信頼性が低いと判定する判定手段と、
前記前フレームを構成する複数のブロックのうちに、動きベクトルの信頼性が低いと判定されたブロックが所定割合以上ある場合、前記前フレームの画像又は前記後フレームの画像のいずれかを前記補間フレームの画像とし、そうでない場合、前記動きベクトル検出手段により検出される動きベクトル、前記前フレームの画像及び前記後フレームの画像に基づいて前記補間フレームの画像を生成する生成手段と、
を備えることを特徴とする映像信号処理装置。
【請求項２】
前記判定手段は、前記算出手段により算出される差分絶対値和が極小かつ所定の閾値以下となるシフト量が前記サーチ範囲内に２以上ある場合に、動きベクトルの信頼性は低いと判定することを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記判定手段は、前記算出手段により算出される差分絶対値和の極小値のうち前記サーチ範囲内で２番目に小さい極小値が所定の閾値以下である場合に、動きベクトルの信頼性は低いと判定することを特徴とする請求項１に記載の映像信号処理装置。
【請求項４】
前記算出手段により算出される差分絶対値和の極小値の前記サーチ範囲内での最小値に基づいて前記閾値を設定する設定手段を更に備えることを特徴とする請求項２又は３に記載の映像信号処理装置。
【請求項５】
前記算出手段により算出される差分絶対値和の前記サーチ範囲内での最大値と、前記算出手段により算出される差分絶対値和の極小値の前記サーチ範囲内での最小値と、に基づいて前記閾値を設定する設定手段を更に備えることを特徴とする請求項２又は３に記載の映像信号処理装置。
【請求項６】
前記算出手段により算出される差分絶対値和の前記サーチ範囲内での平均値と、前記算出手段により算出される差分絶対値和の極小値の前記サーチ範囲内での最小値と、に基づいて前記閾値を設定する設定手段を更に備えることを特徴とする請求項２又は３に記載の映像信号処理装置。
【請求項７】
入力される映像信号の連続する２つのフレームの間に挿入する補間フレームの画像を生成する映像信号処理方法であって、
映像信号を入力する工程と、
前記入力される映像信号の連続する２つのフレームのうちの前フレームの画像を分割して得られるブロックと、該ブロックの位置に対して所定のサーチ範囲内のシフト量で表される相対位置にある後フレームのブロックと、の対応する画素値どうしの差分絶対値の該ブロックの全体にわたる総和である差分絶対値和を、該サーチ範囲内のシフト量毎に算出
する算出工程と、
前記算出工程により算出される差分絶対値和が最小となる前記サーチ範囲内のシフト量に基づいて、前記前フレームのブロックと前記後フレームのブロックとの間の画像の動きを表す動きベクトルを検出する動きベクトル検出工程と、
前記算出工程により算出される差分絶対値和が極小となるシフト量が前記サーチ範囲内に複数ある場合に、前記動きベクトル検出工程により検出される前記動きベクトルは信頼性が低いと判定する判定工程と、
前記前フレームを構成する複数のブロックのうちに、動きベクトルの信頼性は低いと判定されたブロックが所定割合以上ある場合、前記前フレームの画像又は前記後フレームの画像のいずれかを前記補間フレームの画像とし、そうでない場合、前記動きベクトル検出工程により検出される動きベクトル、前記前フレームの画像及び前記後フレームの画像に基づいて前記補間フレームの画像を生成する生成工程と、
を有することを特徴とする映像信号処理方法。
【請求項１】
入力される映像信号の連続する２つのフレームの間に挿入する補間フレームの画像を生成する映像信号処理装置であって、
前記２つのフレームのうちの前フレームの画像を分割して得られるブロックと、該ブロックの位置に対して所定のサーチ範囲内のシフト量で表される相対位置にある後フレームのブロックと、の対応する画素値どうしの差分絶対値の該ブロックの全体にわたる総和である差分絶対値和を、該サーチ範囲内のシフト量毎に算出する算出手段と、
前記算出手段により算出される差分絶対値和が最小となる前記サーチ範囲内のシフト量に基づいて、前記前フレームのブロックと前記後フレームのブロックとの間の画像の動きを表す動きベクトルを検出する動きベクトル検出手段と、
前記算出手段により算出される差分絶対値和が極小となるシフト量が前記サーチ範囲内に複数ある場合に、前記動きベクトル検出手段により検出される前記動きベクトルは信頼性が低いと判定する判定手段と、
前記前フレームを構成する複数のブロックのうちに、動きベクトルの信頼性が低いと判定されたブロックが所定割合以上ある場合、前記前フレームの画像又は前記後フレームの画像のいずれかを前記補間フレームの画像とし、そうでない場合、前記動きベクトル検出手段により検出される動きベクトル、前記前フレームの画像及び前記後フレームの画像に基づいて前記補間フレームの画像を生成する生成手段と、
を備えることを特徴とする映像信号処理装置。
【請求項２】
前記判定手段は、前記算出手段により算出される差分絶対値和が極小かつ所定の閾値以下となるシフト量が前記サーチ範囲内に２以上ある場合に、動きベクトルの信頼性は低いと判定することを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記判定手段は、前記算出手段により算出される差分絶対値和の極小値のうち前記サーチ範囲内で２番目に小さい極小値が所定の閾値以下である場合に、動きベクトルの信頼性は低いと判定することを特徴とする請求項１に記載の映像信号処理装置。
【請求項４】
前記算出手段により算出される差分絶対値和の極小値の前記サーチ範囲内での最小値に基づいて前記閾値を設定する設定手段を更に備えることを特徴とする請求項２又は３に記載の映像信号処理装置。
【請求項５】
前記算出手段により算出される差分絶対値和の前記サーチ範囲内での最大値と、前記算出手段により算出される差分絶対値和の極小値の前記サーチ範囲内での最小値と、に基づいて前記閾値を設定する設定手段を更に備えることを特徴とする請求項２又は３に記載の映像信号処理装置。
【請求項６】
前記算出手段により算出される差分絶対値和の前記サーチ範囲内での平均値と、前記算出手段により算出される差分絶対値和の極小値の前記サーチ範囲内での最小値と、に基づいて前記閾値を設定する設定手段を更に備えることを特徴とする請求項２又は３に記載の映像信号処理装置。
【請求項７】
入力される映像信号の連続する２つのフレームの間に挿入する補間フレームの画像を生成する映像信号処理方法であって、
映像信号を入力する工程と、
前記入力される映像信号の連続する２つのフレームのうちの前フレームの画像を分割して得られるブロックと、該ブロックの位置に対して所定のサーチ範囲内のシフト量で表される相対位置にある後フレームのブロックと、の対応する画素値どうしの差分絶対値の該ブロックの全体にわたる総和である差分絶対値和を、該サーチ範囲内のシフト量毎に算出
する算出工程と、
前記算出工程により算出される差分絶対値和が最小となる前記サーチ範囲内のシフト量に基づいて、前記前フレームのブロックと前記後フレームのブロックとの間の画像の動きを表す動きベクトルを検出する動きベクトル検出工程と、
前記算出工程により算出される差分絶対値和が極小となるシフト量が前記サーチ範囲内に複数ある場合に、前記動きベクトル検出工程により検出される前記動きベクトルは信頼性が低いと判定する判定工程と、
前記前フレームを構成する複数のブロックのうちに、動きベクトルの信頼性は低いと判定されたブロックが所定割合以上ある場合、前記前フレームの画像又は前記後フレームの画像のいずれかを前記補間フレームの画像とし、そうでない場合、前記動きベクトル検出工程により検出される動きベクトル、前記前フレームの画像及び前記後フレームの画像に基づいて前記補間フレームの画像を生成する生成工程と、
を有することを特徴とする映像信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−３５８１４（Ｐ２０１１−３５８１４Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１８２３５０（Ｐ２００９−１８２３５０）
【出願日】平成２１年８月５日（２００９．８．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年８月５日（２００９．８．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]