信号処理装置及び映像表示装置
【課題】 補間フレームの画像の歪みを抑制することを可能とする信号処理装置及び映像表示装置を提供する。
【解決手段】 信号処理装置１００は、基準フレーム及び参照フレームとに基づいて、動きベクトルを検出する。信号処理装置１００は、基準フレームと参照フレームとの間に挿入される補間フレームを生成する補間フレーム生成部５０を備える。補間フレームは、動きベクトルに基づいて補間されるベクトル適応領域と、動きベクトルに基づいて補間されないベクトル非適応領域とを有する。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。
【解決手段】 信号処理装置１００は、基準フレーム及び参照フレームとに基づいて、動きベクトルを検出する。信号処理装置１００は、基準フレームと参照フレームとの間に挿入される補間フレームを生成する補間フレーム生成部５０を備える。補間フレームは、動きベクトルに基づいて補間されるベクトル適応領域と、動きベクトルに基づいて補間されないベクトル非適応領域とを有する。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基準フレームと参照フレームとに基づいて、動きベクトルを検出する信号処理装置及び映像表示装置に関する。
【背景技術】
【０００２】
基準フレーム及び参照フレームに基づいて、基準フレームと参照フレームとの間に挿入される補間フレームを生成する技術が知られている。補間フレームの生成では、基準フレーム及び参照フレームに基づいて、基準フレームの動きベクトルが検出される。
【０００３】
基準フレームの動きベクトルを検出する技術としては、ブロックマッチング技術が知られている。ブロックマッチング技術では、基準フレームは、複数のブロックによって構成されており、動きベクトルは、複数のブロック毎に検出される。以下において、複数のブロックのうち、動きベクトルを検出すべきブロックを対象ブロック（注目ブロック）と称する。
【０００４】
具体的には、ブロックマッチング技術では、第１に、基準フレーム内における対象ブロックの位置に基づいて、参照フレーム内における探索範囲が設定される。第２に、探索範囲内において、対象ブロックと同形状の探索ブロックを順にシフトして、対象ブロックと探索ブロックとの一致度を算出する。第３に、対象ブロックと一致度が最も高い探索ブロック、すなわち、一致ブロックが特定される。第４に、基準フレーム内における対象ブロックの位置と参照フレーム内における一致ブロックの位置とのずれ量によって、対象ブロックの動きベクトルが検出される。
【０００５】
また、動き補償方法を部分的に切り替えることによって、フレームに含まれる局所的な画像の性質に応じて、フレーム間補間を行う技術が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−２００７７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、基準フレームの端部に位置する画像は、参照フレーム内に設定される探索範囲に存在しないケースが考えられる。このようなケースでは、対象ブロックに含まれる画像とは異なる画像が探索範囲内で特定されて、対象ブロックの動きベクトルの検出精度が低下する。動きベクトルの検出精度が低下すると、補間フレームの画像が歪んでしまう。
【０００８】
そこで、本発明は、上述した課題を解決するためになされたものであり、補間フレームの画像の歪みを抑制することを可能とする信号処理装置及び映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の特徴に係る信号処理装置は、基準フレーム及び参照フレームとに基づいて、動きベクトルを検出する。信号処理装置は、前記基準フレームと前記参照フレームとの間に挿入される補間フレームを生成する補間フレーム生成部（補間フレーム生成部５０）を備える。前記補間フレームは、前記動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有する。前記ベクトル非適応領域は、前記ベクトル適応領域の外側に設けられている。
【００１０】
第１の特徴において、前記補間フレーム生成部は、前記参照フレーム内において前記動きベクトルの検出で参照される探索範囲の大きさに基づいて、前記ベクトル非適応領域を設定する。
【００１１】
第１の特徴において、前記補間フレーム生成部は、前記動きベクトルに基づいて、前記ベクトル非適応領域の幅及び高さを設定する。
【００１２】
第１の特徴において、前記補間フレーム生成部は、前記基準フレームに設けられた帯状領域に対応する前記動きベクトルに基づいて、前記ベクトル非適応領域の幅及び高さを設定する。前記基準フレームに設けられた帯状領域は、前記参照フレーム内において前記動きベクトルの検出で参照される探索範囲の大きさに応じて設定される。
【００１３】
第１の特徴において、前記補間フレーム生成部は、映像入力信号に基づいて特定される黒表示領域に応じて、前記動きベクトルに基づいて補間されない不感領域を設定する。
【００１４】
第２の特徴に係る映像表示装置は、複数のオリジナルフレーム間に補間フレームを挿入する。映像表示装置は、前記複数のオリジナルフレームのいずれかである基準フレームと、前記複数のオリジナルフレームのいずれかである参照フレームとに基づいて、動きベクトルを検出する信号処理装置と、前記複数のオリジナルフレーム及び前記補間フレームを表示する表示部とを備える。前記信号処理装置は、前記補間フレームを生成する補間フレーム生成部を有する。前記補間フレームは、前記動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有する。前記ベクトル非適応領域は、前記ベクトル適応領域の外側に設けられていることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、補間フレームの画像の歪みを抑制することを可能とする信号処理装置及び映像表示装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態に係る映像表示装置１を示すブロック図である。
【図２】第１実施形態に係る動きベクトル検出部４０を示すブロック図である。
【図３】第１実施形態に係る補間フレームの生成を説明する図である。
【図４】第１実施形態に係る対象ブロックを示す図である。
【図５】第１実施形態に係る探索ブロックのシフトを説明する図である。
【図６】第１実施形態に係る補間フレームを示す図である。
【図７】第１実施形態に係る補間フレームの生成を説明する図である。
【図８】変更例１に係る補間フレームの生成を説明する図である。
【図９】変更例２に係る補間フレームの生成を説明する図である。
【図１０】変更例３に係るベクトル非適応領域の設定方法を説明する図である。
【図１１】変更例３に係るベクトル非適応領域の設定方法を説明する図である。
【図１２】変更例４に係るベクトル非適応領域の設定方法を説明する図である。
【図１３】変更例４に係るベクトル非適応領域の設定方法を説明する図である。
【図１４】変更例４に係るベクトル非適応領域の設定方法を説明する図である。
【図１５】変更例４に係るベクトル非適応領域の設定方法を説明する図である。
【図１６】変更例５に係る不感領域の設定方法を説明する図である。
【図１７】変更例５に係る不感領域の設定方法を説明する図である。
【図１８】変更例６に係る補間フレームの生成方法を説明する図である。
【図１９】変更例７に係る補間フレームの生成方法を説明する図である。
【図２０】変更例８に係る補間フレームの生成方法を説明する図である。
【図２１】変更例８に係る補間フレームの生成方法を説明する図である。
【図２２】変更例９に係る補間フレームの生成方法を説明する図である。
【図２３】変更例９に係る補間フレームの生成方法を説明する図である。
【図２４】変更例９に係る補間フレームの生成方法を説明する図である。
【図２５】変更例１０に係る補間フレームの生成方法を説明する図である。
【発明を実施するための形態】
【００１７】
以下において、本発明の実施形態に係る信号処理装置及び映像表示装置について、図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
【００１８】
ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００１９】
［実施形態の概要］
実施形態に係る信号処理装置は、基準フレーム及び参照フレームとに基づいて、動きベクトルを検出する。信号処理装置は、基準フレームと参照フレームとの間に挿入される補間フレームを生成する補間フレーム生成部を備える。補間フレームは、動きベクトルに基づいて補間されるベクトル適応領域と、動きベクトルに基づいて補間されないベクトル非適応領域とを有する。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。
【００２０】
実施形態では、補間フレームは、動きベクトルに基づいて補間されるベクトル適応領域と、動きベクトルに基づいて補間されないベクトル非適応領域とを有する。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。
【００２１】
このように、基準フレームに含まれる画像が参照フレームに存在しない可能性が高い領域（ベクトル非適応領域）は、動きベクトルに基づいて補間されないため、動きベクトルの検出精度の低下によって、補間フレームの端部に位置する画像が歪むことを抑制することができる。
【００２２】
［第１実施形態］
（映像表示装置の構成）
以下において、第１実施形態に係る映像表示装置の構成について、図面を参照しながら説明する。図１は、第１実施形態に係る映像表示装置１を示すブロック図である。映像表示装置１は、複数のオリジナルフレーム間に補間フレームを挿入する。なお、映像表示装置１は、投写型映像表示装置などのように、映像を表示する装置である。
【００２３】
図１に示すように、映像表示装置１は、信号処理装置１００と、表示部２００とを有する。
【００２４】
信号処理装置１００は、複数のオリジナルフレームのいずれかである基準フレームと、複数のオリジナルフレームのいずれかである参照フレームとに基づいて、動きベクトルを検出する。
【００２５】
具体的には、信号処理装置１００は、入力信号受付部１０と、基準フレーム取得部２０と、参照フレーム取得部３０と、動きベクトル検出部４０と、補間フレーム生成部５０と、出力部６０とを有する。
【００２６】
入力信号受付部１０は、オリジナルフレームを構成する複数の画素毎に映像入力信号を受け付ける。オリジナルフレームは、映像入力信号によって構成されるフレームである。映像入力信号は、例えば、赤入力信号、緑入力信号及び青入力信号を含む。入力信号受付部１０は、複数のオリジナルフレームのそれぞれを構成する映像入力信号を順に受け付ける。
【００２７】
基準フレーム取得部２０は、映像入力信号に基づいて基準フレームを取得する。基準フレームは、動きベクトルの検出対象のオリジナルフレームである。基準フレームは、複数のブロックによって構成される。基準フレームは、例えば、ｎ番目のオリジナルフレームである。
【００２８】
参照フレーム取得部３０は、映像入力信号に基づいて参照フレームを取得する。参照フレームは、動きベクトルの検出で参照されるオリジナルフレームである。参照フレームは、例えば、ｎ＋１番目のオリジナルフレームである。
【００２９】
なお、動きベクトルの検出方法に応じて、参照フレームを変更してもよいことは勿論である。動きベクトルが前方予測によって検出される場合には、基準フレームよりも時間的に前方のオリジナルフレームが参照フレームとして用いられる。動きベクトルが後方予測によって検出される場合には、基準フレームよりも時間的に後方のオリジナルフレームが参照フレームとして用いられる。動きベクトルが双方向予測によって検出される場合には、複数のオリジナルフレームが参照フレームとして用いられる。
【００３０】
動きベクトル検出部４０は、基準フレーム及び参照フレームに基づいて、基準フレームの動きベクトルを検出する。具体的には、動きベクトル検出部４０は、複数のブロックのいずれかである対象ブロックをセットした上で、対象ブロックの動きベクトルを検出する。動きベクトル検出部４０は、対象ブロックをブロック単位で順にシフトして、基準フレームを構成する全てのブロックについて、ブロック毎に動きベクトルを検出する。なお、動きベクトル検出部４０の詳細については後述する（図２を参照）。
【００３１】
補間フレーム生成部５０は、基準フレームと参照フレームとの間に挿入される補間フレームを生成する。
【００３２】
ここで、補間フレームは、後述するように、動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有する（図６を参照）。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。なお、ベクトル適応領域及びベクトル非適応領域は、補間フレーム生成部５０によって設定される。
【００３３】
第１に、補間フレーム生成部５０は、基準フレームを構成する画素、参照フレームを構成する画素及び動きベクトルに基づいて、補間フレームのベクトル適応領域を構成する画素を決定する。
【００３４】
第２に、補間フレーム生成部５０は、基準フレーム又は参照フレームを構成する画素の複製によって、補間フレームのベクトル非適応領域を構成する画素を決定する。
【００３５】
出力部６０は、映像入力信号に応じて、映像出力信号を出力する。具体的には、出力部６０は、オリジナルフレームに対応する映像出力信号に加えて、オリジナルフレーム間に挿入される補間フレームに対応する映像出力信号を出力する。なお、出力部６０は、γ補正機能などを有していてもよい。
【００３６】
表示部２００は、複数のオリジナルフレーム及び補間フレームを表示する。具体的には、表示部２００は、信号処理装置１００から出力される映像出力信号に基づいて、映像を表示する。例えば、表示部２００は、液晶パネルなどである。
【００３７】
（動きベクトル検出部の構成）
以下において、第１実施形態に係る動きベクトル検出部の構成について、図面を参照しながら説明する。図２は、第１実施形態に係る動きベクトル検出部４０を示すブロック図である。
【００３８】
図２に示すように、動きベクトル検出部４０は、特定部４１と、設定部４２と、探索領域シフト部４３と、比較部４４と、検出部４５とを有する。
【００３９】
特定部４１は、対象ブロックをセットする。また、特定部４１は、対象ブロックの動きベクトルが検出されると、基準フレームを構成するブロック毎に対象ブロックをシフトする。なお、特定部４１は、基準フレームを構成する全てのブロックが対象ブロックとしてセットされるまで、対象ブロックのシフトを繰り返す。
【００４０】
設定部４２は、参照フレーム内において探索範囲を設定する。具体的には、設定部４２は、基準フレーム内における対象ブロックの位置に基づいて、参照フレーム内において対象ブロックに相当する位置（座標）を特定する。続いて、設定部４２は、参照フレーム内において対象ブロックに相当する位置（座標）の周辺領域を探索範囲として設定する。探索範囲は、対象ブロックよりも広い範囲である。
【００４１】
探索領域シフト部４３は、参照フレーム内において、対象ブロックと比較する探索ブロックを順にシフトする。具体的には、探索領域シフト部４３は、探索範囲内において、探索ブロックを順にシフトする。探索領域シフト部４３は、１画素毎に探索ブロックをシフトすることが好ましい。探索ブロックは、対象ブロックと略同形状であることが好ましい。
【００４２】
比較部４４は、探索ブロックのシフト毎に、対象ブロックと探索ブロックとの一致度を算出する。比較部４４は、対象ブロックと一致度が最も高い探索ブロックを一致ブロックとして特定する。具体的には、比較部４４は、対象ブロックを探索ブロックに重ね合わせた上で、対象ブロックの画素と、対象ブロックの画素と同位置（座標）を有する探索ブロックの画素との差分の絶対値を取得する。続いて、比較部４４は、対象ブロックを構成する全画素について、差分の絶対値の総和（差分絶対値和）を算出する。比較部４４は、差分絶対値和が最小である探索ブロックを一致ブロックとして特定する。
【００４３】
検出部４５は、基準フレーム内における対象ブロックの位置（座標）と参照フレーム内における一致ブロックの位置（座標）とに基づいて、対象ブロックの動きベクトルを検出する。具体的には、検出部４５は、対象ブロックの位置（座標）と一致ブロックの位置（座標）とのずれ量に基づいて、対象ブロックの動きベクトルを検出する。
【００４４】
（補間フレームの生成）
以下において、第１実施形態に係る補間フレームの生成について、図面を参照しながら説明する。図３は、第１実施形態に係る補間フレームの生成を説明する図である。
【００４５】
図３に示すように、基準フレーム及び参照フレームに基づいて、基準フレームを構成する複数のブロック毎に動きベクトルが検出される。続いて、基準フレーム、参照フレーム及び動きベクトルに基づいて、補間フレームが生成される。
【００４６】
（対象ブロック）
以下において、第１実施形態に係る対象ブロックについて、図面を参照しながら説明する。図４は、第１実施形態に係る対象ブロックを示す図である。
【００４７】
図４に示すように、対象ブロックは、基準フレームを構成する複数のブロックのいずれかである。各ブロックの位置は、予め定められている。上述したように、対象ブロックは、基準フレーム内においてブロック単位で順にシフトされる。
【００４８】
（探索ブロックのシフト）
以下において、第１実施形態に係る探索ブロックのシフトについて、図面を参照しながら説明する。図５は、第１実施形態に係る探索ブロックのシフトを説明する図である。
【００４９】
図５に示すように、探索範囲は、参照フレーム内に設定される。探索ブロックは、探索範囲内を順にシフトされる。ここで、探索範囲は、１画素毎にシフトされることが好ましい。探索範囲のサイズは、水平方向において幅Ｗであり、垂直方向において高さＨである。なお、探索範囲における探索ブロックのシフト範囲は、左上の位置Ａの探索ブロック、右上の位置Ｂの探索ブロック、左下の位置Ｃの探索ブロック及び右下の位置Ｄの探索ブロックの中心を結ぶ範囲である。
【００５０】
（補間フレームの構成）
以下において、第１実施形態に係る補間フレームの構成について、図面を参照しながら説明する。図６は、第１実施形態に係る補間フレームの構成を示す図である。
【００５１】
図６に示すように、補間フレームは、動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有する。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。
【００５２】
ベクトル非適応領域は、ベクトル適応領域の左側において、幅Ｗａを有する帯状の領域と、ベクトル適応領域の右側において、幅Ｗｂを有する帯状の領域とを有する。また、ベクトル非適応領域は、ベクトル適応領域の上側において、高さＨａを有する帯状の領域と、ベクトル適応領域の下側において、高さＨｂを有する帯状の領域とを有する。
【００５３】
なお、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、探索範囲の幅Ｗによって定められることが好ましい。例えば、“Ｗａ＝Ｗｂ＝１／２Ｗ”の関係が満たされる。同様に、ベクトル非適応領域の高さＨａ及び高さＨｂは、探索範囲の高さＨによって定められることが好ましい。例えば、“Ｈａ＝Ｈｂ＝１／２Ｈ”の関係が満たされる。
【００５４】
（補間フレームの生成）
以下において、第１実施形態に係る補間フレームの生成について、図面を参照しながら説明する。図７は、第１実施形態に係る補間フレームの生成を示す図である。ここでは、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）から１２０ｆｐｓにフレームレートを変更するケースを例示する。このようなケースでは、１コマのオリジナルフレームに対して、１コマの補間フレームが生成される。
【００５５】
図７に示すように、補間フレームのベクトル非適応領域では、動きベクトルによって補間された画素ではなくて、オリジナルフレームを構成する画素の複製が用いられる。補間フレームのベクトル適応領域では、動きベクトルによって補間された画素が用いられる。
【００５６】
例えば、補間フレーム＃ｎでは、ベクトル非適応領域“Ａ”を構成する画素として、オリジナルフレームＡを構成する画素、すなわち、動きベクトルによって補間されていない画素が用いられる。ベクトル適応領域“ＡＢ”を構成する画素として、オリジナルフレームＡ及びオリジナルフレームＢによって補間された画素、動きベクトルによって補間された画素が用いられる。
【００５７】
（作用及び効果）
第１実施形態では、補間フレームは、動きベクトルに基づいて補間されるベクトル適応領域と、動きベクトルに基づいて補間されないベクトル非適応領域とを有する。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。
【００５８】
このように、基準フレームに含まれる画像が参照フレームに存在しない可能性が高い領域（ベクトル非適応領域）は、動きベクトルに基づいて補間されないため、動きベクトルの検出精度の低下によって、補間フレームの画像が歪むことを抑制することができる。
【００５９】
第１実施形態では、ベクトル非適応領域は、探索範囲のサイズに基づいて設定される。すなわち、探索範囲が参照フレームから外れることがない。従って、補間フレームの画像が歪む可能性をさらに低減することができる。
【００６０】
［変更例１］
以下において、第１実施形態の変更例１について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【００６１】
第１実施形態では、６０ｆｐｓから１２０ｆｐｓにフレームレートを変換するケースについて説明した。これに対して、変更例１では、２４ｆｐｓから１２０ｆｐｓにフレームレートを変換するケースについて説明する。
【００６２】
（補間フレームの生成）
以下において、変更例１に係る補間フレームの生成について、図面を参照しながら説明する。図８は、変更例１に係る補間フレームの生成を示す図である。ここでは、２４ｆｐｓから１２０ｆｐｓにフレームレートを変更するケースを例示する。このようなケースでは、１コマのオリジナルフレームに対して、４コマの補間フレームが生成される。
【００６３】
なお、２４ｆｐｓのオリジナルフレームは、図８に示すように、２−３プルダウン方式によって６０ｆｐｓに予め変換されていてもよい。
【００６４】
図８に示すように、補間フレームのベクトル非適応領域では、動きベクトルによって補間された画素ではなくて、オリジナルフレームを構成する画素の複製が用いられる。補間フレームのベクトル適応領域では、動きベクトルによって補間された画素が用いられる。
【００６５】
例えば、補間フレーム＃ｎでは、ベクトル非適応領域を構成する画素として、オリジナルフレームＡを構成する画素、すなわち、動きベクトルによって補間されていない画素が用いられる。一方で、ベクトル適応領域を構成する画素として、オリジナルフレームＡ及びオリジナルフレームＢによって補間された画素、すなわち、動きベクトルによって補間された画素が用いられる。
【００６６】
ここで、変更例１では、ベクトル非適応領域では、２−３プルダウン方式で変換されたオリジナルフレームの比率が保たれている。例えば、フレームレートの変更後において、ベクトル非適応領域に相当する領域では、４コマのオリジナルフレームＡ及び６コマのオリジナルフレームＢを構成する画素が設けられる。
【００６７】
なお、ベクトル適応領域では、完全フレーム補間方法が適用されていることに留意すべきである。ベクトル適応領域“ＡＢ１”〜ベクトル適応領域“ＡＢ４”の生成では、オリジナルフレーム“Ａ”及びオリジナルフレーム“Ｂ”が基準フレーム及び参照フレームとして用いられる。但し、ベクトル適応領域“ＡＢ１”〜ベクトル適応領域“ＡＢ４”では、動きベクトルの適用比率が異なっている。
【００６８】
（作用及び効果）
変更例１では、ベクトル非適応領域では、２−３プルダウン方式で変換されたオリジナルフレームの比率が保たれている。従って、ベクトル非適応領域を生成するために必要な負荷が軽減される。
【００６９】
［変更例２］
以下において、第１実施形態の変更例２について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【００７０】
第１実施形態では、６０ｆｐｓから１２０ｆｐｓにフレームレートを変換するケースについて説明した。これに対して、変更例２では、２４ｆｐｓから１２０ｆｐｓにフレームレートを変換するケースについて説明する。
【００７１】
（補間フレームの生成）
以下において、変更例２に係る補間フレームの生成について、図面を参照しながら説明する。図９は、変更例２に係る補間フレームの生成を示す図である。ここでは、２４ｆｐｓから１２０ｆｐｓにフレームレートを変更するケースを例示する。このようなケースでは、１コマのオリジナルフレームに対して、４コマの補間フレームが生成される。
【００７２】
なお、２４ｆｐｓのオリジナルフレームは、図９に示すように、２−３プルダウン方式によって６０ｆｐｓに予め変換されていてもよい。
【００７３】
図９に示すように、補間フレームのベクトル非適応領域では、動きベクトルによって補間された画素ではなくて、オリジナルフレームを構成する画素の複製が用いられる。補間フレームのベクトル適応領域では、動きベクトルによって補間された画素が用いられる。
【００７４】
例えば、補間フレーム＃ｎでは、ベクトル非適応領域を構成する画素として、オリジナルフレームＡを構成する画素、すなわち、動きベクトルによって補間されていない画素が用いられる。一方で、ベクトル適応領域を構成する画素として、オリジナルフレームＡ及びオリジナルフレームＢによって補間された画素、すなわち、動きベクトルによって補間された画素が用いられる。
【００７５】
ここで、変更例１では、ベクトル非適応領域では、２−３プルダウン方式で変換されたオリジナルフレームの比率が変更されている。具体的には、ベクトル非適応領域では、各オリジナルフレームの比率が同じである。例えば、フレームレートの変更後において、ベクトル非適応領域に相当する領域では、５コマのオリジナルフレームＡ及び５コマのオリジナルフレームＢを構成する画素が設けられる。
【００７６】
なお、ベクトル適応領域では、完全フレーム補間方法が適用されていることに留意すべきである。ベクトル適応領域“ＡＢ１”〜ベクトル適応領域“ＡＢ４”の生成では、オリジナルフレーム“Ａ”及びオリジナルフレーム“Ｂ”が基準フレーム及び参照フレームとして用いられる。但し、ベクトル適応領域“ＡＢ１”〜ベクトル適応領域“ＡＢ４”では、動きベクトルの適用比率が異なっている。
【００７７】
（作用及び効果）
変更例２では、ベクトル非適応領域では、各オリジナルフレームの比率が同じである。従って、視聴者に与える違和感が軽減される。
【００７８】
［変更例３］
以下において、第１実施形態の変更例３について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【００７９】
第１実施形態では、ベクトル非適応領域の幅及び高さは一定である。これに対して、変更例３では、ベクトル非適応領域の幅及び高さは可変である。
【００８０】
（ベクトル非適応領域の設定方法）
以下において、変更例３に係るベクトル非適応領域の設定方法について、図面を参照しながら説明する。図１０及び図１１は、変更例３に係るベクトル非適応領域の設定方法を示す図である。なお、変更例３では、ベクトル非適応領域は、上述した補間フレーム生成部５０によって設定される。
【００８１】
図１０に示すように、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、動きベクトルの水平方向成分の平均値ＭＶＨ＿ＡＶＥに基づいて設定される。平均値ＭＶＨ＿ＡＶＥは、基準フレームを構成する全ブロックの動きベクトルから抽出された水平方向成分の平均値である。ベクトル非適応領域の幅Ｗａ及び幅Ｗｂの範囲は、最小値ＭＩＮから最大値ＭＡＸの範囲である。最小値ＭＩＮは、例えば、“０”である。最大値ＭＡＸは、例えば、探索範囲の幅Ｗである。
【００８２】
図１０に示すように、平均値ＭＶＨ＿ＡＶＥが閾値Ｔｈ１以下である場合には、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、最小値ＭＩＮで一定である。平均値ＭＶＨ＿ＡＶＥが閾値Ｔｈ１を超える場合には、平均値ＭＶＨ＿ＡＶＥが大きいほど、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂが大きくなる。
【００８３】
図１１に示すように、ベクトル非適応領域の高さＨａ及び高さＨｂは、動きベクトルの垂直方向成分の平均値ＭＶＶ＿ＡＶＥに基づいて設定される。平均値ＭＶＶ＿ＡＶＥは、基準フレームを構成する全ブロックの動きベクトルから抽出された垂直方向成分の平均値である。ベクトル非適応領域の高さＨａ及び高さＨｂの範囲は、最小値ＭＩＮから最大値ＭＡＸの範囲である。最小値ＭＩＮは、例えば、“０”である。最大値ＭＡＸは、例えば、探索範囲の高さＨである。
【００８４】
図１１に示すように、平均値ＭＶＶ＿ＡＶＥが閾値Ｔｈ２以下である場合には、ベクトル非適応領域の高さＨａ及び高さＨｂは、最小値ＭＩＮで一定である。平均値ＭＶＶ＿ＡＶＥが閾値Ｔｈ２を超える場合には、平均値ＭＶＶ＿ＡＶＥが大きいほど、ベクトル非適応領域の高さＨａ及び高さＨｂが大きくなる。
【００８５】
（作用及び効果）
変更例３では、ベクトル非適応領域は、動きベクトルに基づいて設定される。ベクトル非適応領域の幅及び高さは、画像に応じて可変である。従って、動きベクトルの検出精度の低下を抑制しながら、動きベクトルを有効に利用することができる。
【００８６】
例えば、動きベクトルの水平方向成分の平均値が小さい場合に、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂを小さくすることによって、ベクトル適応領域を拡大することができる。同様に、動きベクトルの垂直方向成分の平均値が小さい場合に、ベクトル非適応領域の高さＨａ及び高さＨｂを小さくすることによって、ベクトル適応領域を拡大することができる。
【００８７】
［変更例４］
以下において、第１実施形態の変更例４について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【００８８】
第１実施形態では、ベクトル非適応領域の幅及び高さは一定である。これに対して、変更例４では、ベクトル非適応領域の幅及び高さは可変である。
【００８９】
なお、変更例３との相違点は、平均値ＭＶＨ＿ＡＶＥ及び平均値ＭＶＶ＿ＡＶＥの算出で用いる動きベクトルが異なる。変更例４では、平均値ＭＶＨ＿ＡＶＥ及び平均値ＭＶＶ＿ＡＶＥは、基準フレームに設けられた帯状領域に対応する動きベクトルに基づいて算出される。基準フレームに設けられた帯状領域は、探索範囲の大きさに応じて設定される。
【００９０】
（ベクトル非適応領域の設定方法）
以下において、変更例４に係るベクトル非適応領域の設定方法について、図面を参照しながら説明する。図１２〜図１５は、変更例４に係るベクトル非適応領域の設定方法を示す図である。なお、変更例４では、ベクトル非適応領域は、上述した補間フレーム生成部５０によって設定される。
【００９１】
図１２に示すように、基準フレームは、平均値ＭＶＨ＿ＡＶＥの算出で参照すべき帯状領域Ｘａ及び帯状領域Ｘｂを有する。帯状領域Ｘａ及び帯状領域Ｘｂは、垂直方向に延びており、探索範囲の幅Ｗに応じて設定される。例えば、帯状領域Ｘａは、基準フレームの左端からの距離が“１／２Ｗ〜Ｗ”の範囲である。帯状領域Ｘｂは、基準フレームの右端からの距離が“１／２Ｗ〜Ｗ”の範囲である。
【００９２】
図１３に示すように、基準フレームは、平均値ＭＶＶ＿ＡＶＥの算出で参照すべき帯状領域Ｙａ及び帯状領域Ｙｂを有する。帯状領域Ｙａ及び帯状領域Ｙｂは、水平方向に延びており、探索範囲の高さＨに応じて設定される。例えば、帯状領域Ｙａは、基準フレームの上端からの距離が“１／２Ｈ〜Ｈ”の範囲である。帯状領域Ｙｂは、基準フレームの下端からの距離が“１／２Ｈ〜Ｈ”の範囲である。
【００９３】
図１４に示すように、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、動きベクトルの水平方向成分の平均値ＭＶＨ＿ＡＶＥに基づいて設定される。ベクトル非適応領域の幅Ｗａの設定で用いる平均値ＭＶＨ＿ＡＶＥは、基準フレームの帯状領域Ｘａに対応する動きベクトルから抽出された水平方向成分の平均値である。ベクトル非適応領域の幅Ｗｂの設定で用いる平均値ＭＶＨ＿ＡＶＥは、基準フレームの帯状領域Ｘｂに対応する動きベクトルから抽出された水平方向成分の平均値である。
【００９４】
なお、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂの範囲は、最小値ＭＩＮから最大値ＭＡＸの範囲である。最小値ＭＩＮは、例えば、“０”である。最大値ＭＡＸは、例えば、探索範囲の幅Ｗである。
【００９５】
図１４に示すように、平均値ＭＶＨ＿ＡＶＥが閾値Ｔｈ３以下である場合には、平均値ＭＶＨ＿ＡＶＥが大きいほど、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂが大きくなる。平均値ＭＶＨ＿ＡＶＥが閾値Ｔｈ３を超える場合には、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、最大値ＭＡＸで一定である。
【００９６】
図１５に示すように、ベクトル非適応領域の高さＨａ及び高さＨｂは、動きベクトルの垂直方向成分の平均値ＭＶＶ＿ＡＶＥに基づいて設定される。ベクトル非適応領域の高さＨａの設定で用いる平均値ＭＶＶ＿ＡＶＥは、基準フレームの帯状領域Ｙａに対応する動きベクトルから抽出された垂直方向成分の平均値である。ベクトル非適応領域の高さＨｂの設定で用いる平均値ＭＶＶ＿ＡＶＥは、基準フレームの帯状領域Ｙｂに対応する動きベクトルから抽出された垂直方向成分の平均値である。
【００９７】
なお、ベクトル非適応領域の高さＨａ及び高さＨｂの範囲は、最小値ＭＩＮから最大値ＭＡＸの範囲である。最小値ＭＩＮは、例えば、“０”である。最大値ＭＡＸは、例えば、探索範囲の高さＨである。
【００９８】
図１５に示すように、平均値ＭＶＶ＿ＡＶＥが閾値Ｔｈ４以下である場合には、平均値ＭＶＶ＿ＡＶＥが大きいほど、ベクトル非適応領域の高さＨａ及び高さＨｂが大きくなる。平均値ＭＶＶ＿ＡＶＥが閾値Ｔｈ４を超える場合には、ベクトル非適応領域の高さＨａ及び高さＨｂは、最大値ＭＡＸで一定である。
【００９９】
（作用及び効果）
変更例４では、ベクトル非適応領域は、基準フレームに設けられた帯状領域に対応する動きベクトルに基づいて算出される。基準フレームに設けられた帯状領域は、探索範囲の大きさに応じて設定される。
【０１００】
このように、補間フレームの画像の歪みに影響を与える領域（帯状領域）に対応する動きベクトルに基づいて、ベクトル非適応領域が設定されるため、動きベクトルの検出精度の低下を抑制しながら、動きベクトルを有効に利用することができる。
【０１０１】
［変更例５］
以下において、第１実施形態の変更例５について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１０２】
変更例５では、補間フレームは、ベクトル適応領域及びベクトル非適応領域に加えて、不感領域を有する。不感領域は、動きベクトルに基づいて補間されない領域である。不感領域は、映像入力信号に基づいて特定される黒表示領域に応じて設定される。
【０１０３】
（不感領域の設定方法）
以下において、変更例５に係る不感領域の設定方法について、図面を参照しながら説明する。図１６及び図１７は、変更例５に係る不感領域の設定方法を示す図である。
【０１０４】
第１に、垂直方向に延びる帯状の黒表示領域が表示部２００の左右に設けられるケースについて、図１６を参照しながら説明する。例えば、このようなケースは、１６：９の画角を有する表示部２００上に４：３の画角を有する映像を表示するケースである。
【０１０５】
図１６に示すように、補間フレームの左端部及び右端部には、垂直方向に沿って延びる黒表示領域に対応する領域が不感領域として設けられる。具体的には、上述した補間フレーム生成部５０は、映像入力信号に基づいて黒表示領域を特定し、黒表示領域に対応する領域を不感領域として設定する。
【０１０６】
第２に、水平方向に延びる帯状の黒表示領域が表示部２００の上下に設けられるケースについて、図１７を参照しながら説明する。例えば、このようなケースは、映画などを表示部２００上に表示するケースである。
【０１０７】
図１７に示すように、補間フレームの上端部及び下端部には、水平方向に沿って延びる黒表示領域に対応する領域が不感領域として設けられる。具体的には、上述した補間フレーム生成部５０は、映像入力信号に基づいて黒表示領域を特定し、黒表示領域に対応する領域を不感領域として設定する。
【０１０８】
なお、不感領域では、黒表示が行われることは勿論である。また、不感領域では、フレーム間補間が省略されてもよい。
【０１０９】
（作用及び効果）
変更例５では、不感領域は、映像入力信号に基づいて特定される黒表示領域に応じて設定される。従って、不必要な補間処理を省略することができ、補間フレームの生成に必要な負荷を軽減することができる。
【０１１０】
［変更例６］
以下において、第１実施形態の変更例６について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１１１】
変更例６では、オリジナルフレーム間に２種類の補間フレームを挿入するケースについて、図１８を参照しながら説明する。
【０１１２】
図１８に示すように、変更例６では、オリジナルフレーム間に２種類の補間フレームが挿入される。２種類の補間フレームの生成では、各補間フレームに適用される動きベクトル適用率が異なっている。
【０１１３】
なお、動きベクトル適用率は、オリジナルフレーム間において、どの時点の画像が補間フレームとして生成されるかを示す割合である。動きベクトル適用率が低いほど、時間的に前のオリジナルフレームに近い画像が補間フレームとして生成される。一方で、動きベクトル適用率が高いほど、時間的に後のオリジナルフレームに近い画像が補間フレームとして生成される。
【０１１４】
ここでは、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間に、２コマの補間フレーム“ＡＢ１”及び１コマの補間フレーム“ＡＢ２”が挿入されるケースを例に挙げて説明する。
【０１１５】
ここで、オリジナルフレーム“Ａ”と２コマの補間フレーム“ＡＢ１”の中心との時間的な間隔はａで表される。オリジナルフレーム“Ａ”と１コマの補間フレーム“ＡＢ２”の中心との時間的な間隔はｂで表される。オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との時間的な間隔はｃで表される。
【０１１６】
また、補間フレーム“ＡＢ１”及び補間フレーム“ＡＢ２”の生成では、オリジナルフレーム“Ａ”が基準フレームとして用いられ、オリジナルフレーム“Ｂ”が参照フレームとして用いられるものとする。
【０１１７】
補間フレーム“ＡＢ１”の生成で用いられる動きベクトルは、基準フレームの動きベクトルのａ／ｃ倍（動きベクトル適用率）である。ここでは、補間フレーム“ＡＢ１”の生成で用いられる動きベクトルは、基準フレームの動きベクトルの４０％である。すなわち、オリジナルフレーム“Ａ”からオリジナルフレーム“Ｂ”への動き量を１００％とした場合に、動き量が４０％である時点の画像が補間フレーム“ＡＢ１”として生成される。
【０１１８】
補間フレーム“ＡＢ２”の生成で用いられる動きベクトルは、基準フレームの動きベクトルのｂ／ｃ倍（動きベクトル適用率）である。ここでは、補間フレーム“ＡＢ２”の生成で用いられる動きベクトルは、基準フレームの動きベクトルの７０％である。すなわち、オリジナルフレーム“Ａ”からオリジナルフレーム“Ｂ”への動き量を１００％とした場合に、動き量が７０％である時点の画像が補間フレーム“ＡＢ１”として生成される。
【０１１９】
（作用及び効果）
変更例６では、時間的に前の補間フレームのコマ数が時間的に後の補間フレームのコマ数よりも多い。従って、フレームに含まれる画像が加速するケースにおいて、補間フレームによって加速度を適切に再現することができる。
【０１２０】
変更例６では、同一の補間フレームが２コマ以上である場合に、２コマ以上の補間フレームの時間的な中心に応じて、動きベクトル適用率が用いられる。従って、視聴者に違和感を与えないように、補間フレームを生成することができる。
【０１２１】
［変更例７］
以下において、第１実施形態の変更例７について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１２２】
変更例７では、オリジナルフレーム間に２種類の補間フレームを挿入するケースについて、図１９を参照しながら説明する。２種類の補間フレームの生成では、各補間フレームに適用される動きベクトル適用率が異なっている。
【０１２３】
なお、動きベクトル適用率は、オリジナルフレーム間において、どの時点の画像が補間フレームとして生成されるかを示す割合である。動きベクトル適用率が低いほど、時間的に前のオリジナルフレームに近い画像が補間フレームとして生成される。一方で、動きベクトル適用率が高いほど、時間的に後のオリジナルフレームに近い画像が補間フレームとして生成される。
【０１２４】
図１９に示すように、変更例７では、オリジナルフレーム間に２種類の補間フレームが挿入される。ここでは、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間に、１コマの補間フレーム“ＡＢ１”及び２コマの補間フレーム“ＡＢ２”が挿入されるケースを例に挙げて説明する。
【０１２５】
ここで、オリジナルフレーム“Ａ”と１コマの補間フレーム“ＡＢ１”の中心との時間的な間隔はａで表される。オリジナルフレーム“Ａ”と２コマの補間フレーム“ＡＢ２”の中心との時間的な間隔はｂで表される。オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との時間的な間隔はｃで表される。
【０１２６】
また、補間フレーム“ＡＢ１”及び補間フレーム“ＡＢ２”の生成では、オリジナルフレーム“Ａ”が基準フレームとして用いられ、オリジナルフレーム“Ｂ”が参照フレームとして用いられるものとする。
【０１２７】
補間フレーム“ＡＢ１”の生成で用いられる動きベクトルは、基準フレームの動きベクトルのａ／ｃ倍（動きベクトル適用率）である。ここでは、補間フレーム“ＡＢ１”の生成で用いられる動きベクトルは、基準フレームの動きベクトルの３０％である。すなわち、オリジナルフレーム“Ａ”からオリジナルフレーム“Ｂ”への動き量を１００％とした場合に、動き量が３０％である時点の画像が補間フレーム“ＡＢ１”として生成される。
【０１２８】
補間フレーム“ＡＢ２”の生成で用いられる動きベクトルは、基準フレームの動きベクトルのｂ／ｃ倍（動きベクトル適用率）である。ここでは、補間フレーム“ＡＢ２”の生成で用いられる動きベクトルは、基準フレームの動きベクトルの６０％である。すなわち、オリジナルフレーム“Ａ”からオリジナルフレーム“Ｂ”への動き量を１００％とした場合に、動き量が６０％である時点の画像が補間フレーム“ＡＢ１”として生成される。
【０１２９】
（作用及び効果）
変更例７では、時間的に後の補間フレームのコマ数が時間的に前の補間フレームのコマ数よりも多い。従って、フレームに含まれる画像が減速するケースにおいて、補間フレームによって減速度を適切に再現することができる。
【０１３０】
変更例７では、同一の補間フレームが２コマ以上である場合に、２コマ以上の補間フレームの時間的な中心に応じて、動きベクトル適用率が用いられる。従って、視聴者に違和感を与えないように、補間フレームを生成することができる。
【０１３１】
［変更例８］
以下において、第１実施形態の変更例８について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１３２】
なお、変更例６及び変更例７との相違点は、補間フレームの生成で用いられる動きベクトル適用率の決定方法である。具体的には、変更例６及び変更例７では、時間的な間隔に応じて動きベクトル適用率が決定される。これに対して、時間的に後のオリジナルフレームの動きベクトルの平均値から時間的に前のオリジナルフレームの動きベクトルの平均値を除いた差分ＭＶｄｉｆｆに応じて動きベクトル適用率が決定される。
【０１３３】
すなわち、差分ＭＶｄｉｆｆが“０”である場合には、フレームに含まれる画像が定速で動いている。差分ＭＶｄｉｆｆが“０”よりも大きい場合には、フレームに含まれる画像が加速している。差分ＭＶｄｉｆｆが“０”よりも小さい場合には、フレームに含まれる画像が減速している。
【０１３４】
ここでは、変更例６のように、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間に、２コマの補間フレーム“ＡＢ１”及び１コマの補間フレーム“ＡＢ２”が挿入されるケースを例に挙げて説明する（図１８を参照）。
【０１３５】
図２０に示すように、２コマの補間フレーム“ＡＢ１”の生成では、動きベクトル適用率の範囲は、変更例６で示したａ／ｃ（例えば、４０％）を中心として、Ａ（例えば、２０％）〜Ｂ（例えば、６０％）である。差分ＭＶｄｉｆｆが“０”である場合に、動きベクトル適用率は、ａ／ｃである。差分ＭＶｄｉｆｆが“０”よりも小さいほど、動きベクトル適用率がａ／ｃよりも増大する。差分ＭＶｄｉｆｆが“０”よりも大きいほど、動きベクトル適用率がａ／ｃよりも減少する。
【０１３６】
図２１に示すように、１コマの補間フレーム“ＡＢ２”の生成では、動きベクトル適用率の範囲は、変更例６で示したｂ／ｃ（例えば、７０％）を中心として、Ｃ（例えば、５０％）〜Ｄ（例えば、９０％）である。差分ＭＶｄｉｆｆが“０”である場合に、動きベクトル適用率は、ｂ／ｃである。差分ＭＶｄｉｆｆが“０”よりも小さいほど、動きベクトル適用率がｂ／ｃよりも増大する。差分ＭＶｄｉｆｆが“０”よりも大きいほど、動きベクトル適用率がｂ／ｃよりも減少する。
【０１３７】
（作用及び効果）
変更例８では、差分ＭＶｄｉｆｆ、すなわち、フレームに含まれる画像の加速度（減速度）に応じて、補間フレームの動きベクトル適用率が変更される。従って、補間フレームによって、フレームに含まれる画像の加速度（減速度）を適切に再現することができる。
【０１３８】
［変更例９］
以下において、第１実施形態の変更例９について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１３９】
ここで、変更例９では、変更例８の動作に加えて、変更例６に示すパターン１及び変更例７に示すパターン２が差分ＭＶｄｉｆｆに応じて切り替えられる。差分ＭＶｄｉｆｆは、変更例８と同様に、時間的に後のオリジナルフレームの動きベクトルの平均値から時間的に前のオリジナルフレームの動きベクトルの平均値を除いた差分である。
【０１４０】
図２２に示すように、差分ＭＶｄｉｆｆが“０”よりも大きい場合には、変更例６に示すパターン１が適用される。すなわち、時間的に前の補間フレームが２コマである。一方で、差分ＭＶｄｉｆｆが“０”よりも小さい場合には、変更例７に示すパターン２が適用される。すなわち、時間的に後の補間フレームが２コマである。
【０１４１】
同様に、図２３に示すように、差分ＭＶｄｉｆｆが“０”よりも大きい場合には、変更例６に示すパターン１が適用される。すなわち、時間的に前の補間フレームが２コマである。一方で、差分ＭＶｄｉｆｆが“０”よりも小さい場合には、変更例７に示すパターン２が適用される。すなわち、時間的に後の補間フレームが２コマである。
【０１４２】
例えば、オリジナルフレーム“Ｂ”の動きベクトルがオリジナルフレーム“Ａ”の動きベクトルよりも小さく、オリジナルフレーム“Ｃ”の動きベクトルがオリジナルフレーム“Ｃ”の動きベクトルよりも大きいケースについて、図２４を参照しながら説明する。
【０１４３】
すなわち、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間では、フレームに含まれる画像が減速しており、オリジナルフレーム“Ｂ”とオリジナルフレーム“Ｃ”との間では、フレームに含まれる画像が加速している。
【０１４４】
ここで、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間には、１コマの補間フレーム“ＡＢ１”及び２コマの補間フレーム“ＡＢ２”が挿入される。すなわち、差分ＭＶｄｉｆｆが“０”よりも小さいため、変更例７に示すパターン２が適用される。
【０１４５】
ここで、オリジナルフレーム“Ｂ”とオリジナルフレーム“Ｃ”との間には、２コマの補間フレーム“ＢＣ１”及び１コマの補間フレーム“ＢＣ２”が挿入される。すなわち、差分ＭＶｄｉｆｆが“０”よりも大きいため、変更例６に示すパターン１が適用される。
【０１４６】
（作用及び効果）
変更例９では、差分ＭＶｄｉｆｆ、すなわち、フレームに含まれる画像の加速度（減速度）に応じて、変更例６に示すパターン１及び変更例７に示すパターン２を切り替える。従って、補間フレームによって、フレームに含まれる画像の加速度（減速度）を適切に再現することができる。
【０１４７】
［変更例１０］
以下において、第１実施形態の変更例９について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１４８】
変更例１０では、オリジナルフレーム間に４種類の補間フレームを挿入するケースについて、図２５を参照しながら説明する。４種類の補間フレームの生成では、各補間フレームに適用される動きベクトル適用率が異なっている。
【０１４９】
なお、変更例１０は、完全フレーム補間方法が採用されていることを除けば、変更例６〜変更例８と同様である。
【０１５０】
図２５に示すように、変更例１０では、オリジナルフレーム間に４種類の補間フレームが挿入される。ここでは、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間に、１コマの補間フレーム“ＡＢ１”〜“ＡＢ４”が挿入されるケースを例に挙げて説明する。
【０１５１】
ここで、オリジナルフレーム“Ａ”と補間フレーム“ＡＢ１”の中心との時間的な間隔はａで表される。オリジナルフレーム“Ａ”と補間フレーム“ＡＢ２”の中心との時間的な間隔はｂで表される。オリジナルフレーム“Ａ”と補間フレーム“ＡＢ３”の中心との時間的な間隔はｃで表される。オリジナルフレーム“Ａ”と補間フレーム“ＡＢ４”の中心との時間的な間隔はｄで表される。オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との時間的な間隔はｅで表される。
【０１５２】
補間フレーム“ＡＢ１”の生成では、動きベクトル適用率としてａ／ｅが用いられる。補間フレーム“ＡＢ２”の生成では、動きベクトル適用率としてｂ／ｅが用いられる。補間フレーム“ＡＢ３”の生成では、動きベクトル適用率としてｃ／ｅが用いられる。補間フレーム“ＡＢ４”の生成では、動きベクトル適用率としてｄ／ｅが用いられる。
【０１５３】
なお、変更例８と同様に、補間フレーム“ＡＢ１”〜“ＡＢ４”の生成で用いられる動きベクトル適用率は可変であってもよい。
【０１５４】
（作用及び効果）
変更例１０では、完全フレーム補間方法が採用される場合であっても、視聴者に違和感を与えないように、補間フレームを生成することができる。
【０１５５】
［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【０１５６】
変更例３及び変更例４では、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、動きベクトルの水平方向成分の平均値ＭＶＨ＿ＡＶＥに基づいて設定される。しかしながら、実施形態はこれに限定されるものではない。具体的には、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、動きベクトルの水平方向成分の最大値ＭＶＨ＿ＭＡＸに基づいて設定されてもよい。
【０１５７】
なお、動きベクトルの水平方向成分の最大値ＭＶＨ＿ＭＡＸは、変更例３と同様に、基準フレームを構成する全ブロックの動きベクトルから抽出された水平方向成分の最大値であってもよい。動きベクトルの水平方向成分の最大値ＭＶＨ＿ＭＡＸは、変更例４と同様に、帯状領域Ｘａ及び帯状領域Ｘｂを構成するブロックの動きベクトルから抽出された水平方向成分の最大値であってもよい。
【０１５８】
変更例３及び変更例４では、ベクトル非適応領域の高さＨａ及び高さＨｂは、動きベクトルの垂直方向成分の平均値ＭＶＶ＿ＡＶＥに基づいて設定される。しかしながら、実施形態はこれに限定されるものではない。具体的には、ベクトル非適応領域の高さＨａ及び高さＨｂは、動きベクトルの垂直方向成分の最大値ＭＶＶ＿ＭＡＸに基づいて設定される。
【０１５９】
なお、動きベクトルの垂直方向成分の平均値ＭＶＶ＿ＡＶＥは、変更例３と同様に、基準フレームを構成する全ブロックの動きベクトルから抽出された垂直方向成分の最大値であってもよい。動きベクトルの垂直方向成分の平均値ＭＶＶ＿ＡＶＥは、変更例４と同様に、帯状領域Ｙａ及び帯状領域Ｙｂを構成するブロックの動きベクトルから抽出された垂直方向成分の最大値であってもよい。
【符号の説明】
【０１６０】
１・・・映像表示装置、１０・・・入力信号受付部、２０・・・基準フレーム取得部、３０・・・参照フレーム取得部、４０・・・動きベクトル検出部、５０・・・補間フレーム生成部、６０・・・出力部、１００・・・信号処理装置、２００・・・表示部
【技術分野】
【０００１】
本発明は、基準フレームと参照フレームとに基づいて、動きベクトルを検出する信号処理装置及び映像表示装置に関する。
【背景技術】
【０００２】
基準フレーム及び参照フレームに基づいて、基準フレームと参照フレームとの間に挿入される補間フレームを生成する技術が知られている。補間フレームの生成では、基準フレーム及び参照フレームに基づいて、基準フレームの動きベクトルが検出される。
【０００３】
基準フレームの動きベクトルを検出する技術としては、ブロックマッチング技術が知られている。ブロックマッチング技術では、基準フレームは、複数のブロックによって構成されており、動きベクトルは、複数のブロック毎に検出される。以下において、複数のブロックのうち、動きベクトルを検出すべきブロックを対象ブロック（注目ブロック）と称する。
【０００４】
具体的には、ブロックマッチング技術では、第１に、基準フレーム内における対象ブロックの位置に基づいて、参照フレーム内における探索範囲が設定される。第２に、探索範囲内において、対象ブロックと同形状の探索ブロックを順にシフトして、対象ブロックと探索ブロックとの一致度を算出する。第３に、対象ブロックと一致度が最も高い探索ブロック、すなわち、一致ブロックが特定される。第４に、基準フレーム内における対象ブロックの位置と参照フレーム内における一致ブロックの位置とのずれ量によって、対象ブロックの動きベクトルが検出される。
【０００５】
また、動き補償方法を部分的に切り替えることによって、フレームに含まれる局所的な画像の性質に応じて、フレーム間補間を行う技術が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−２００７７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、基準フレームの端部に位置する画像は、参照フレーム内に設定される探索範囲に存在しないケースが考えられる。このようなケースでは、対象ブロックに含まれる画像とは異なる画像が探索範囲内で特定されて、対象ブロックの動きベクトルの検出精度が低下する。動きベクトルの検出精度が低下すると、補間フレームの画像が歪んでしまう。
【０００８】
そこで、本発明は、上述した課題を解決するためになされたものであり、補間フレームの画像の歪みを抑制することを可能とする信号処理装置及び映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の特徴に係る信号処理装置は、基準フレーム及び参照フレームとに基づいて、動きベクトルを検出する。信号処理装置は、前記基準フレームと前記参照フレームとの間に挿入される補間フレームを生成する補間フレーム生成部（補間フレーム生成部５０）を備える。前記補間フレームは、前記動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有する。前記ベクトル非適応領域は、前記ベクトル適応領域の外側に設けられている。
【００１０】
第１の特徴において、前記補間フレーム生成部は、前記参照フレーム内において前記動きベクトルの検出で参照される探索範囲の大きさに基づいて、前記ベクトル非適応領域を設定する。
【００１１】
第１の特徴において、前記補間フレーム生成部は、前記動きベクトルに基づいて、前記ベクトル非適応領域の幅及び高さを設定する。
【００１２】
第１の特徴において、前記補間フレーム生成部は、前記基準フレームに設けられた帯状領域に対応する前記動きベクトルに基づいて、前記ベクトル非適応領域の幅及び高さを設定する。前記基準フレームに設けられた帯状領域は、前記参照フレーム内において前記動きベクトルの検出で参照される探索範囲の大きさに応じて設定される。
【００１３】
第１の特徴において、前記補間フレーム生成部は、映像入力信号に基づいて特定される黒表示領域に応じて、前記動きベクトルに基づいて補間されない不感領域を設定する。
【００１４】
第２の特徴に係る映像表示装置は、複数のオリジナルフレーム間に補間フレームを挿入する。映像表示装置は、前記複数のオリジナルフレームのいずれかである基準フレームと、前記複数のオリジナルフレームのいずれかである参照フレームとに基づいて、動きベクトルを検出する信号処理装置と、前記複数のオリジナルフレーム及び前記補間フレームを表示する表示部とを備える。前記信号処理装置は、前記補間フレームを生成する補間フレーム生成部を有する。前記補間フレームは、前記動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有する。前記ベクトル非適応領域は、前記ベクトル適応領域の外側に設けられていることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、補間フレームの画像の歪みを抑制することを可能とする信号処理装置及び映像表示装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態に係る映像表示装置１を示すブロック図である。
【図２】第１実施形態に係る動きベクトル検出部４０を示すブロック図である。
【図３】第１実施形態に係る補間フレームの生成を説明する図である。
【図４】第１実施形態に係る対象ブロックを示す図である。
【図５】第１実施形態に係る探索ブロックのシフトを説明する図である。
【図６】第１実施形態に係る補間フレームを示す図である。
【図７】第１実施形態に係る補間フレームの生成を説明する図である。
【図８】変更例１に係る補間フレームの生成を説明する図である。
【図９】変更例２に係る補間フレームの生成を説明する図である。
【図１０】変更例３に係るベクトル非適応領域の設定方法を説明する図である。
【図１１】変更例３に係るベクトル非適応領域の設定方法を説明する図である。
【図１２】変更例４に係るベクトル非適応領域の設定方法を説明する図である。
【図１３】変更例４に係るベクトル非適応領域の設定方法を説明する図である。
【図１４】変更例４に係るベクトル非適応領域の設定方法を説明する図である。
【図１５】変更例４に係るベクトル非適応領域の設定方法を説明する図である。
【図１６】変更例５に係る不感領域の設定方法を説明する図である。
【図１７】変更例５に係る不感領域の設定方法を説明する図である。
【図１８】変更例６に係る補間フレームの生成方法を説明する図である。
【図１９】変更例７に係る補間フレームの生成方法を説明する図である。
【図２０】変更例８に係る補間フレームの生成方法を説明する図である。
【図２１】変更例８に係る補間フレームの生成方法を説明する図である。
【図２２】変更例９に係る補間フレームの生成方法を説明する図である。
【図２３】変更例９に係る補間フレームの生成方法を説明する図である。
【図２４】変更例９に係る補間フレームの生成方法を説明する図である。
【図２５】変更例１０に係る補間フレームの生成方法を説明する図である。
【発明を実施するための形態】
【００１７】
以下において、本発明の実施形態に係る信号処理装置及び映像表示装置について、図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
【００１８】
ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００１９】
［実施形態の概要］
実施形態に係る信号処理装置は、基準フレーム及び参照フレームとに基づいて、動きベクトルを検出する。信号処理装置は、基準フレームと参照フレームとの間に挿入される補間フレームを生成する補間フレーム生成部を備える。補間フレームは、動きベクトルに基づいて補間されるベクトル適応領域と、動きベクトルに基づいて補間されないベクトル非適応領域とを有する。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。
【００２０】
実施形態では、補間フレームは、動きベクトルに基づいて補間されるベクトル適応領域と、動きベクトルに基づいて補間されないベクトル非適応領域とを有する。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。
【００２１】
このように、基準フレームに含まれる画像が参照フレームに存在しない可能性が高い領域（ベクトル非適応領域）は、動きベクトルに基づいて補間されないため、動きベクトルの検出精度の低下によって、補間フレームの端部に位置する画像が歪むことを抑制することができる。
【００２２】
［第１実施形態］
（映像表示装置の構成）
以下において、第１実施形態に係る映像表示装置の構成について、図面を参照しながら説明する。図１は、第１実施形態に係る映像表示装置１を示すブロック図である。映像表示装置１は、複数のオリジナルフレーム間に補間フレームを挿入する。なお、映像表示装置１は、投写型映像表示装置などのように、映像を表示する装置である。
【００２３】
図１に示すように、映像表示装置１は、信号処理装置１００と、表示部２００とを有する。
【００２４】
信号処理装置１００は、複数のオリジナルフレームのいずれかである基準フレームと、複数のオリジナルフレームのいずれかである参照フレームとに基づいて、動きベクトルを検出する。
【００２５】
具体的には、信号処理装置１００は、入力信号受付部１０と、基準フレーム取得部２０と、参照フレーム取得部３０と、動きベクトル検出部４０と、補間フレーム生成部５０と、出力部６０とを有する。
【００２６】
入力信号受付部１０は、オリジナルフレームを構成する複数の画素毎に映像入力信号を受け付ける。オリジナルフレームは、映像入力信号によって構成されるフレームである。映像入力信号は、例えば、赤入力信号、緑入力信号及び青入力信号を含む。入力信号受付部１０は、複数のオリジナルフレームのそれぞれを構成する映像入力信号を順に受け付ける。
【００２７】
基準フレーム取得部２０は、映像入力信号に基づいて基準フレームを取得する。基準フレームは、動きベクトルの検出対象のオリジナルフレームである。基準フレームは、複数のブロックによって構成される。基準フレームは、例えば、ｎ番目のオリジナルフレームである。
【００２８】
参照フレーム取得部３０は、映像入力信号に基づいて参照フレームを取得する。参照フレームは、動きベクトルの検出で参照されるオリジナルフレームである。参照フレームは、例えば、ｎ＋１番目のオリジナルフレームである。
【００２９】
なお、動きベクトルの検出方法に応じて、参照フレームを変更してもよいことは勿論である。動きベクトルが前方予測によって検出される場合には、基準フレームよりも時間的に前方のオリジナルフレームが参照フレームとして用いられる。動きベクトルが後方予測によって検出される場合には、基準フレームよりも時間的に後方のオリジナルフレームが参照フレームとして用いられる。動きベクトルが双方向予測によって検出される場合には、複数のオリジナルフレームが参照フレームとして用いられる。
【００３０】
動きベクトル検出部４０は、基準フレーム及び参照フレームに基づいて、基準フレームの動きベクトルを検出する。具体的には、動きベクトル検出部４０は、複数のブロックのいずれかである対象ブロックをセットした上で、対象ブロックの動きベクトルを検出する。動きベクトル検出部４０は、対象ブロックをブロック単位で順にシフトして、基準フレームを構成する全てのブロックについて、ブロック毎に動きベクトルを検出する。なお、動きベクトル検出部４０の詳細については後述する（図２を参照）。
【００３１】
補間フレーム生成部５０は、基準フレームと参照フレームとの間に挿入される補間フレームを生成する。
【００３２】
ここで、補間フレームは、後述するように、動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有する（図６を参照）。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。なお、ベクトル適応領域及びベクトル非適応領域は、補間フレーム生成部５０によって設定される。
【００３３】
第１に、補間フレーム生成部５０は、基準フレームを構成する画素、参照フレームを構成する画素及び動きベクトルに基づいて、補間フレームのベクトル適応領域を構成する画素を決定する。
【００３４】
第２に、補間フレーム生成部５０は、基準フレーム又は参照フレームを構成する画素の複製によって、補間フレームのベクトル非適応領域を構成する画素を決定する。
【００３５】
出力部６０は、映像入力信号に応じて、映像出力信号を出力する。具体的には、出力部６０は、オリジナルフレームに対応する映像出力信号に加えて、オリジナルフレーム間に挿入される補間フレームに対応する映像出力信号を出力する。なお、出力部６０は、γ補正機能などを有していてもよい。
【００３６】
表示部２００は、複数のオリジナルフレーム及び補間フレームを表示する。具体的には、表示部２００は、信号処理装置１００から出力される映像出力信号に基づいて、映像を表示する。例えば、表示部２００は、液晶パネルなどである。
【００３７】
（動きベクトル検出部の構成）
以下において、第１実施形態に係る動きベクトル検出部の構成について、図面を参照しながら説明する。図２は、第１実施形態に係る動きベクトル検出部４０を示すブロック図である。
【００３８】
図２に示すように、動きベクトル検出部４０は、特定部４１と、設定部４２と、探索領域シフト部４３と、比較部４４と、検出部４５とを有する。
【００３９】
特定部４１は、対象ブロックをセットする。また、特定部４１は、対象ブロックの動きベクトルが検出されると、基準フレームを構成するブロック毎に対象ブロックをシフトする。なお、特定部４１は、基準フレームを構成する全てのブロックが対象ブロックとしてセットされるまで、対象ブロックのシフトを繰り返す。
【００４０】
設定部４２は、参照フレーム内において探索範囲を設定する。具体的には、設定部４２は、基準フレーム内における対象ブロックの位置に基づいて、参照フレーム内において対象ブロックに相当する位置（座標）を特定する。続いて、設定部４２は、参照フレーム内において対象ブロックに相当する位置（座標）の周辺領域を探索範囲として設定する。探索範囲は、対象ブロックよりも広い範囲である。
【００４１】
探索領域シフト部４３は、参照フレーム内において、対象ブロックと比較する探索ブロックを順にシフトする。具体的には、探索領域シフト部４３は、探索範囲内において、探索ブロックを順にシフトする。探索領域シフト部４３は、１画素毎に探索ブロックをシフトすることが好ましい。探索ブロックは、対象ブロックと略同形状であることが好ましい。
【００４２】
比較部４４は、探索ブロックのシフト毎に、対象ブロックと探索ブロックとの一致度を算出する。比較部４４は、対象ブロックと一致度が最も高い探索ブロックを一致ブロックとして特定する。具体的には、比較部４４は、対象ブロックを探索ブロックに重ね合わせた上で、対象ブロックの画素と、対象ブロックの画素と同位置（座標）を有する探索ブロックの画素との差分の絶対値を取得する。続いて、比較部４４は、対象ブロックを構成する全画素について、差分の絶対値の総和（差分絶対値和）を算出する。比較部４４は、差分絶対値和が最小である探索ブロックを一致ブロックとして特定する。
【００４３】
検出部４５は、基準フレーム内における対象ブロックの位置（座標）と参照フレーム内における一致ブロックの位置（座標）とに基づいて、対象ブロックの動きベクトルを検出する。具体的には、検出部４５は、対象ブロックの位置（座標）と一致ブロックの位置（座標）とのずれ量に基づいて、対象ブロックの動きベクトルを検出する。
【００４４】
（補間フレームの生成）
以下において、第１実施形態に係る補間フレームの生成について、図面を参照しながら説明する。図３は、第１実施形態に係る補間フレームの生成を説明する図である。
【００４５】
図３に示すように、基準フレーム及び参照フレームに基づいて、基準フレームを構成する複数のブロック毎に動きベクトルが検出される。続いて、基準フレーム、参照フレーム及び動きベクトルに基づいて、補間フレームが生成される。
【００４６】
（対象ブロック）
以下において、第１実施形態に係る対象ブロックについて、図面を参照しながら説明する。図４は、第１実施形態に係る対象ブロックを示す図である。
【００４７】
図４に示すように、対象ブロックは、基準フレームを構成する複数のブロックのいずれかである。各ブロックの位置は、予め定められている。上述したように、対象ブロックは、基準フレーム内においてブロック単位で順にシフトされる。
【００４８】
（探索ブロックのシフト）
以下において、第１実施形態に係る探索ブロックのシフトについて、図面を参照しながら説明する。図５は、第１実施形態に係る探索ブロックのシフトを説明する図である。
【００４９】
図５に示すように、探索範囲は、参照フレーム内に設定される。探索ブロックは、探索範囲内を順にシフトされる。ここで、探索範囲は、１画素毎にシフトされることが好ましい。探索範囲のサイズは、水平方向において幅Ｗであり、垂直方向において高さＨである。なお、探索範囲における探索ブロックのシフト範囲は、左上の位置Ａの探索ブロック、右上の位置Ｂの探索ブロック、左下の位置Ｃの探索ブロック及び右下の位置Ｄの探索ブロックの中心を結ぶ範囲である。
【００５０】
（補間フレームの構成）
以下において、第１実施形態に係る補間フレームの構成について、図面を参照しながら説明する。図６は、第１実施形態に係る補間フレームの構成を示す図である。
【００５１】
図６に示すように、補間フレームは、動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有する。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。
【００５２】
ベクトル非適応領域は、ベクトル適応領域の左側において、幅Ｗａを有する帯状の領域と、ベクトル適応領域の右側において、幅Ｗｂを有する帯状の領域とを有する。また、ベクトル非適応領域は、ベクトル適応領域の上側において、高さＨａを有する帯状の領域と、ベクトル適応領域の下側において、高さＨｂを有する帯状の領域とを有する。
【００５３】
なお、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、探索範囲の幅Ｗによって定められることが好ましい。例えば、“Ｗａ＝Ｗｂ＝１／２Ｗ”の関係が満たされる。同様に、ベクトル非適応領域の高さＨａ及び高さＨｂは、探索範囲の高さＨによって定められることが好ましい。例えば、“Ｈａ＝Ｈｂ＝１／２Ｈ”の関係が満たされる。
【００５４】
（補間フレームの生成）
以下において、第１実施形態に係る補間フレームの生成について、図面を参照しながら説明する。図７は、第１実施形態に係る補間フレームの生成を示す図である。ここでは、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）から１２０ｆｐｓにフレームレートを変更するケースを例示する。このようなケースでは、１コマのオリジナルフレームに対して、１コマの補間フレームが生成される。
【００５５】
図７に示すように、補間フレームのベクトル非適応領域では、動きベクトルによって補間された画素ではなくて、オリジナルフレームを構成する画素の複製が用いられる。補間フレームのベクトル適応領域では、動きベクトルによって補間された画素が用いられる。
【００５６】
例えば、補間フレーム＃ｎでは、ベクトル非適応領域“Ａ”を構成する画素として、オリジナルフレームＡを構成する画素、すなわち、動きベクトルによって補間されていない画素が用いられる。ベクトル適応領域“ＡＢ”を構成する画素として、オリジナルフレームＡ及びオリジナルフレームＢによって補間された画素、動きベクトルによって補間された画素が用いられる。
【００５７】
（作用及び効果）
第１実施形態では、補間フレームは、動きベクトルに基づいて補間されるベクトル適応領域と、動きベクトルに基づいて補間されないベクトル非適応領域とを有する。ベクトル非適応領域は、ベクトル適応領域の外側に設けられている。
【００５８】
このように、基準フレームに含まれる画像が参照フレームに存在しない可能性が高い領域（ベクトル非適応領域）は、動きベクトルに基づいて補間されないため、動きベクトルの検出精度の低下によって、補間フレームの画像が歪むことを抑制することができる。
【００５９】
第１実施形態では、ベクトル非適応領域は、探索範囲のサイズに基づいて設定される。すなわち、探索範囲が参照フレームから外れることがない。従って、補間フレームの画像が歪む可能性をさらに低減することができる。
【００６０】
［変更例１］
以下において、第１実施形態の変更例１について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【００６１】
第１実施形態では、６０ｆｐｓから１２０ｆｐｓにフレームレートを変換するケースについて説明した。これに対して、変更例１では、２４ｆｐｓから１２０ｆｐｓにフレームレートを変換するケースについて説明する。
【００６２】
（補間フレームの生成）
以下において、変更例１に係る補間フレームの生成について、図面を参照しながら説明する。図８は、変更例１に係る補間フレームの生成を示す図である。ここでは、２４ｆｐｓから１２０ｆｐｓにフレームレートを変更するケースを例示する。このようなケースでは、１コマのオリジナルフレームに対して、４コマの補間フレームが生成される。
【００６３】
なお、２４ｆｐｓのオリジナルフレームは、図８に示すように、２−３プルダウン方式によって６０ｆｐｓに予め変換されていてもよい。
【００６４】
図８に示すように、補間フレームのベクトル非適応領域では、動きベクトルによって補間された画素ではなくて、オリジナルフレームを構成する画素の複製が用いられる。補間フレームのベクトル適応領域では、動きベクトルによって補間された画素が用いられる。
【００６５】
例えば、補間フレーム＃ｎでは、ベクトル非適応領域を構成する画素として、オリジナルフレームＡを構成する画素、すなわち、動きベクトルによって補間されていない画素が用いられる。一方で、ベクトル適応領域を構成する画素として、オリジナルフレームＡ及びオリジナルフレームＢによって補間された画素、すなわち、動きベクトルによって補間された画素が用いられる。
【００６６】
ここで、変更例１では、ベクトル非適応領域では、２−３プルダウン方式で変換されたオリジナルフレームの比率が保たれている。例えば、フレームレートの変更後において、ベクトル非適応領域に相当する領域では、４コマのオリジナルフレームＡ及び６コマのオリジナルフレームＢを構成する画素が設けられる。
【００６７】
なお、ベクトル適応領域では、完全フレーム補間方法が適用されていることに留意すべきである。ベクトル適応領域“ＡＢ１”〜ベクトル適応領域“ＡＢ４”の生成では、オリジナルフレーム“Ａ”及びオリジナルフレーム“Ｂ”が基準フレーム及び参照フレームとして用いられる。但し、ベクトル適応領域“ＡＢ１”〜ベクトル適応領域“ＡＢ４”では、動きベクトルの適用比率が異なっている。
【００６８】
（作用及び効果）
変更例１では、ベクトル非適応領域では、２−３プルダウン方式で変換されたオリジナルフレームの比率が保たれている。従って、ベクトル非適応領域を生成するために必要な負荷が軽減される。
【００６９】
［変更例２］
以下において、第１実施形態の変更例２について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【００７０】
第１実施形態では、６０ｆｐｓから１２０ｆｐｓにフレームレートを変換するケースについて説明した。これに対して、変更例２では、２４ｆｐｓから１２０ｆｐｓにフレームレートを変換するケースについて説明する。
【００７１】
（補間フレームの生成）
以下において、変更例２に係る補間フレームの生成について、図面を参照しながら説明する。図９は、変更例２に係る補間フレームの生成を示す図である。ここでは、２４ｆｐｓから１２０ｆｐｓにフレームレートを変更するケースを例示する。このようなケースでは、１コマのオリジナルフレームに対して、４コマの補間フレームが生成される。
【００７２】
なお、２４ｆｐｓのオリジナルフレームは、図９に示すように、２−３プルダウン方式によって６０ｆｐｓに予め変換されていてもよい。
【００７３】
図９に示すように、補間フレームのベクトル非適応領域では、動きベクトルによって補間された画素ではなくて、オリジナルフレームを構成する画素の複製が用いられる。補間フレームのベクトル適応領域では、動きベクトルによって補間された画素が用いられる。
【００７４】
例えば、補間フレーム＃ｎでは、ベクトル非適応領域を構成する画素として、オリジナルフレームＡを構成する画素、すなわち、動きベクトルによって補間されていない画素が用いられる。一方で、ベクトル適応領域を構成する画素として、オリジナルフレームＡ及びオリジナルフレームＢによって補間された画素、すなわち、動きベクトルによって補間された画素が用いられる。
【００７５】
ここで、変更例１では、ベクトル非適応領域では、２−３プルダウン方式で変換されたオリジナルフレームの比率が変更されている。具体的には、ベクトル非適応領域では、各オリジナルフレームの比率が同じである。例えば、フレームレートの変更後において、ベクトル非適応領域に相当する領域では、５コマのオリジナルフレームＡ及び５コマのオリジナルフレームＢを構成する画素が設けられる。
【００７６】
なお、ベクトル適応領域では、完全フレーム補間方法が適用されていることに留意すべきである。ベクトル適応領域“ＡＢ１”〜ベクトル適応領域“ＡＢ４”の生成では、オリジナルフレーム“Ａ”及びオリジナルフレーム“Ｂ”が基準フレーム及び参照フレームとして用いられる。但し、ベクトル適応領域“ＡＢ１”〜ベクトル適応領域“ＡＢ４”では、動きベクトルの適用比率が異なっている。
【００７７】
（作用及び効果）
変更例２では、ベクトル非適応領域では、各オリジナルフレームの比率が同じである。従って、視聴者に与える違和感が軽減される。
【００７８】
［変更例３］
以下において、第１実施形態の変更例３について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【００７９】
第１実施形態では、ベクトル非適応領域の幅及び高さは一定である。これに対して、変更例３では、ベクトル非適応領域の幅及び高さは可変である。
【００８０】
（ベクトル非適応領域の設定方法）
以下において、変更例３に係るベクトル非適応領域の設定方法について、図面を参照しながら説明する。図１０及び図１１は、変更例３に係るベクトル非適応領域の設定方法を示す図である。なお、変更例３では、ベクトル非適応領域は、上述した補間フレーム生成部５０によって設定される。
【００８１】
図１０に示すように、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、動きベクトルの水平方向成分の平均値ＭＶＨ＿ＡＶＥに基づいて設定される。平均値ＭＶＨ＿ＡＶＥは、基準フレームを構成する全ブロックの動きベクトルから抽出された水平方向成分の平均値である。ベクトル非適応領域の幅Ｗａ及び幅Ｗｂの範囲は、最小値ＭＩＮから最大値ＭＡＸの範囲である。最小値ＭＩＮは、例えば、“０”である。最大値ＭＡＸは、例えば、探索範囲の幅Ｗである。
【００８２】
図１０に示すように、平均値ＭＶＨ＿ＡＶＥが閾値Ｔｈ１以下である場合には、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、最小値ＭＩＮで一定である。平均値ＭＶＨ＿ＡＶＥが閾値Ｔｈ１を超える場合には、平均値ＭＶＨ＿ＡＶＥが大きいほど、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂが大きくなる。
【００８３】
図１１に示すように、ベクトル非適応領域の高さＨａ及び高さＨｂは、動きベクトルの垂直方向成分の平均値ＭＶＶ＿ＡＶＥに基づいて設定される。平均値ＭＶＶ＿ＡＶＥは、基準フレームを構成する全ブロックの動きベクトルから抽出された垂直方向成分の平均値である。ベクトル非適応領域の高さＨａ及び高さＨｂの範囲は、最小値ＭＩＮから最大値ＭＡＸの範囲である。最小値ＭＩＮは、例えば、“０”である。最大値ＭＡＸは、例えば、探索範囲の高さＨである。
【００８４】
図１１に示すように、平均値ＭＶＶ＿ＡＶＥが閾値Ｔｈ２以下である場合には、ベクトル非適応領域の高さＨａ及び高さＨｂは、最小値ＭＩＮで一定である。平均値ＭＶＶ＿ＡＶＥが閾値Ｔｈ２を超える場合には、平均値ＭＶＶ＿ＡＶＥが大きいほど、ベクトル非適応領域の高さＨａ及び高さＨｂが大きくなる。
【００８５】
（作用及び効果）
変更例３では、ベクトル非適応領域は、動きベクトルに基づいて設定される。ベクトル非適応領域の幅及び高さは、画像に応じて可変である。従って、動きベクトルの検出精度の低下を抑制しながら、動きベクトルを有効に利用することができる。
【００８６】
例えば、動きベクトルの水平方向成分の平均値が小さい場合に、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂを小さくすることによって、ベクトル適応領域を拡大することができる。同様に、動きベクトルの垂直方向成分の平均値が小さい場合に、ベクトル非適応領域の高さＨａ及び高さＨｂを小さくすることによって、ベクトル適応領域を拡大することができる。
【００８７】
［変更例４］
以下において、第１実施形態の変更例４について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【００８８】
第１実施形態では、ベクトル非適応領域の幅及び高さは一定である。これに対して、変更例４では、ベクトル非適応領域の幅及び高さは可変である。
【００８９】
なお、変更例３との相違点は、平均値ＭＶＨ＿ＡＶＥ及び平均値ＭＶＶ＿ＡＶＥの算出で用いる動きベクトルが異なる。変更例４では、平均値ＭＶＨ＿ＡＶＥ及び平均値ＭＶＶ＿ＡＶＥは、基準フレームに設けられた帯状領域に対応する動きベクトルに基づいて算出される。基準フレームに設けられた帯状領域は、探索範囲の大きさに応じて設定される。
【００９０】
（ベクトル非適応領域の設定方法）
以下において、変更例４に係るベクトル非適応領域の設定方法について、図面を参照しながら説明する。図１２〜図１５は、変更例４に係るベクトル非適応領域の設定方法を示す図である。なお、変更例４では、ベクトル非適応領域は、上述した補間フレーム生成部５０によって設定される。
【００９１】
図１２に示すように、基準フレームは、平均値ＭＶＨ＿ＡＶＥの算出で参照すべき帯状領域Ｘａ及び帯状領域Ｘｂを有する。帯状領域Ｘａ及び帯状領域Ｘｂは、垂直方向に延びており、探索範囲の幅Ｗに応じて設定される。例えば、帯状領域Ｘａは、基準フレームの左端からの距離が“１／２Ｗ〜Ｗ”の範囲である。帯状領域Ｘｂは、基準フレームの右端からの距離が“１／２Ｗ〜Ｗ”の範囲である。
【００９２】
図１３に示すように、基準フレームは、平均値ＭＶＶ＿ＡＶＥの算出で参照すべき帯状領域Ｙａ及び帯状領域Ｙｂを有する。帯状領域Ｙａ及び帯状領域Ｙｂは、水平方向に延びており、探索範囲の高さＨに応じて設定される。例えば、帯状領域Ｙａは、基準フレームの上端からの距離が“１／２Ｈ〜Ｈ”の範囲である。帯状領域Ｙｂは、基準フレームの下端からの距離が“１／２Ｈ〜Ｈ”の範囲である。
【００９３】
図１４に示すように、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、動きベクトルの水平方向成分の平均値ＭＶＨ＿ＡＶＥに基づいて設定される。ベクトル非適応領域の幅Ｗａの設定で用いる平均値ＭＶＨ＿ＡＶＥは、基準フレームの帯状領域Ｘａに対応する動きベクトルから抽出された水平方向成分の平均値である。ベクトル非適応領域の幅Ｗｂの設定で用いる平均値ＭＶＨ＿ＡＶＥは、基準フレームの帯状領域Ｘｂに対応する動きベクトルから抽出された水平方向成分の平均値である。
【００９４】
なお、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂの範囲は、最小値ＭＩＮから最大値ＭＡＸの範囲である。最小値ＭＩＮは、例えば、“０”である。最大値ＭＡＸは、例えば、探索範囲の幅Ｗである。
【００９５】
図１４に示すように、平均値ＭＶＨ＿ＡＶＥが閾値Ｔｈ３以下である場合には、平均値ＭＶＨ＿ＡＶＥが大きいほど、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂが大きくなる。平均値ＭＶＨ＿ＡＶＥが閾値Ｔｈ３を超える場合には、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、最大値ＭＡＸで一定である。
【００９６】
図１５に示すように、ベクトル非適応領域の高さＨａ及び高さＨｂは、動きベクトルの垂直方向成分の平均値ＭＶＶ＿ＡＶＥに基づいて設定される。ベクトル非適応領域の高さＨａの設定で用いる平均値ＭＶＶ＿ＡＶＥは、基準フレームの帯状領域Ｙａに対応する動きベクトルから抽出された垂直方向成分の平均値である。ベクトル非適応領域の高さＨｂの設定で用いる平均値ＭＶＶ＿ＡＶＥは、基準フレームの帯状領域Ｙｂに対応する動きベクトルから抽出された垂直方向成分の平均値である。
【００９７】
なお、ベクトル非適応領域の高さＨａ及び高さＨｂの範囲は、最小値ＭＩＮから最大値ＭＡＸの範囲である。最小値ＭＩＮは、例えば、“０”である。最大値ＭＡＸは、例えば、探索範囲の高さＨである。
【００９８】
図１５に示すように、平均値ＭＶＶ＿ＡＶＥが閾値Ｔｈ４以下である場合には、平均値ＭＶＶ＿ＡＶＥが大きいほど、ベクトル非適応領域の高さＨａ及び高さＨｂが大きくなる。平均値ＭＶＶ＿ＡＶＥが閾値Ｔｈ４を超える場合には、ベクトル非適応領域の高さＨａ及び高さＨｂは、最大値ＭＡＸで一定である。
【００９９】
（作用及び効果）
変更例４では、ベクトル非適応領域は、基準フレームに設けられた帯状領域に対応する動きベクトルに基づいて算出される。基準フレームに設けられた帯状領域は、探索範囲の大きさに応じて設定される。
【０１００】
このように、補間フレームの画像の歪みに影響を与える領域（帯状領域）に対応する動きベクトルに基づいて、ベクトル非適応領域が設定されるため、動きベクトルの検出精度の低下を抑制しながら、動きベクトルを有効に利用することができる。
【０１０１】
［変更例５］
以下において、第１実施形態の変更例５について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１０２】
変更例５では、補間フレームは、ベクトル適応領域及びベクトル非適応領域に加えて、不感領域を有する。不感領域は、動きベクトルに基づいて補間されない領域である。不感領域は、映像入力信号に基づいて特定される黒表示領域に応じて設定される。
【０１０３】
（不感領域の設定方法）
以下において、変更例５に係る不感領域の設定方法について、図面を参照しながら説明する。図１６及び図１７は、変更例５に係る不感領域の設定方法を示す図である。
【０１０４】
第１に、垂直方向に延びる帯状の黒表示領域が表示部２００の左右に設けられるケースについて、図１６を参照しながら説明する。例えば、このようなケースは、１６：９の画角を有する表示部２００上に４：３の画角を有する映像を表示するケースである。
【０１０５】
図１６に示すように、補間フレームの左端部及び右端部には、垂直方向に沿って延びる黒表示領域に対応する領域が不感領域として設けられる。具体的には、上述した補間フレーム生成部５０は、映像入力信号に基づいて黒表示領域を特定し、黒表示領域に対応する領域を不感領域として設定する。
【０１０６】
第２に、水平方向に延びる帯状の黒表示領域が表示部２００の上下に設けられるケースについて、図１７を参照しながら説明する。例えば、このようなケースは、映画などを表示部２００上に表示するケースである。
【０１０７】
図１７に示すように、補間フレームの上端部及び下端部には、水平方向に沿って延びる黒表示領域に対応する領域が不感領域として設けられる。具体的には、上述した補間フレーム生成部５０は、映像入力信号に基づいて黒表示領域を特定し、黒表示領域に対応する領域を不感領域として設定する。
【０１０８】
なお、不感領域では、黒表示が行われることは勿論である。また、不感領域では、フレーム間補間が省略されてもよい。
【０１０９】
（作用及び効果）
変更例５では、不感領域は、映像入力信号に基づいて特定される黒表示領域に応じて設定される。従って、不必要な補間処理を省略することができ、補間フレームの生成に必要な負荷を軽減することができる。
【０１１０】
［変更例６］
以下において、第１実施形態の変更例６について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１１１】
変更例６では、オリジナルフレーム間に２種類の補間フレームを挿入するケースについて、図１８を参照しながら説明する。
【０１１２】
図１８に示すように、変更例６では、オリジナルフレーム間に２種類の補間フレームが挿入される。２種類の補間フレームの生成では、各補間フレームに適用される動きベクトル適用率が異なっている。
【０１１３】
なお、動きベクトル適用率は、オリジナルフレーム間において、どの時点の画像が補間フレームとして生成されるかを示す割合である。動きベクトル適用率が低いほど、時間的に前のオリジナルフレームに近い画像が補間フレームとして生成される。一方で、動きベクトル適用率が高いほど、時間的に後のオリジナルフレームに近い画像が補間フレームとして生成される。
【０１１４】
ここでは、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間に、２コマの補間フレーム“ＡＢ１”及び１コマの補間フレーム“ＡＢ２”が挿入されるケースを例に挙げて説明する。
【０１１５】
ここで、オリジナルフレーム“Ａ”と２コマの補間フレーム“ＡＢ１”の中心との時間的な間隔はａで表される。オリジナルフレーム“Ａ”と１コマの補間フレーム“ＡＢ２”の中心との時間的な間隔はｂで表される。オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との時間的な間隔はｃで表される。
【０１１６】
また、補間フレーム“ＡＢ１”及び補間フレーム“ＡＢ２”の生成では、オリジナルフレーム“Ａ”が基準フレームとして用いられ、オリジナルフレーム“Ｂ”が参照フレームとして用いられるものとする。
【０１１７】
補間フレーム“ＡＢ１”の生成で用いられる動きベクトルは、基準フレームの動きベクトルのａ／ｃ倍（動きベクトル適用率）である。ここでは、補間フレーム“ＡＢ１”の生成で用いられる動きベクトルは、基準フレームの動きベクトルの４０％である。すなわち、オリジナルフレーム“Ａ”からオリジナルフレーム“Ｂ”への動き量を１００％とした場合に、動き量が４０％である時点の画像が補間フレーム“ＡＢ１”として生成される。
【０１１８】
補間フレーム“ＡＢ２”の生成で用いられる動きベクトルは、基準フレームの動きベクトルのｂ／ｃ倍（動きベクトル適用率）である。ここでは、補間フレーム“ＡＢ２”の生成で用いられる動きベクトルは、基準フレームの動きベクトルの７０％である。すなわち、オリジナルフレーム“Ａ”からオリジナルフレーム“Ｂ”への動き量を１００％とした場合に、動き量が７０％である時点の画像が補間フレーム“ＡＢ１”として生成される。
【０１１９】
（作用及び効果）
変更例６では、時間的に前の補間フレームのコマ数が時間的に後の補間フレームのコマ数よりも多い。従って、フレームに含まれる画像が加速するケースにおいて、補間フレームによって加速度を適切に再現することができる。
【０１２０】
変更例６では、同一の補間フレームが２コマ以上である場合に、２コマ以上の補間フレームの時間的な中心に応じて、動きベクトル適用率が用いられる。従って、視聴者に違和感を与えないように、補間フレームを生成することができる。
【０１２１】
［変更例７］
以下において、第１実施形態の変更例７について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１２２】
変更例７では、オリジナルフレーム間に２種類の補間フレームを挿入するケースについて、図１９を参照しながら説明する。２種類の補間フレームの生成では、各補間フレームに適用される動きベクトル適用率が異なっている。
【０１２３】
なお、動きベクトル適用率は、オリジナルフレーム間において、どの時点の画像が補間フレームとして生成されるかを示す割合である。動きベクトル適用率が低いほど、時間的に前のオリジナルフレームに近い画像が補間フレームとして生成される。一方で、動きベクトル適用率が高いほど、時間的に後のオリジナルフレームに近い画像が補間フレームとして生成される。
【０１２４】
図１９に示すように、変更例７では、オリジナルフレーム間に２種類の補間フレームが挿入される。ここでは、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間に、１コマの補間フレーム“ＡＢ１”及び２コマの補間フレーム“ＡＢ２”が挿入されるケースを例に挙げて説明する。
【０１２５】
ここで、オリジナルフレーム“Ａ”と１コマの補間フレーム“ＡＢ１”の中心との時間的な間隔はａで表される。オリジナルフレーム“Ａ”と２コマの補間フレーム“ＡＢ２”の中心との時間的な間隔はｂで表される。オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との時間的な間隔はｃで表される。
【０１２６】
また、補間フレーム“ＡＢ１”及び補間フレーム“ＡＢ２”の生成では、オリジナルフレーム“Ａ”が基準フレームとして用いられ、オリジナルフレーム“Ｂ”が参照フレームとして用いられるものとする。
【０１２７】
補間フレーム“ＡＢ１”の生成で用いられる動きベクトルは、基準フレームの動きベクトルのａ／ｃ倍（動きベクトル適用率）である。ここでは、補間フレーム“ＡＢ１”の生成で用いられる動きベクトルは、基準フレームの動きベクトルの３０％である。すなわち、オリジナルフレーム“Ａ”からオリジナルフレーム“Ｂ”への動き量を１００％とした場合に、動き量が３０％である時点の画像が補間フレーム“ＡＢ１”として生成される。
【０１２８】
補間フレーム“ＡＢ２”の生成で用いられる動きベクトルは、基準フレームの動きベクトルのｂ／ｃ倍（動きベクトル適用率）である。ここでは、補間フレーム“ＡＢ２”の生成で用いられる動きベクトルは、基準フレームの動きベクトルの６０％である。すなわち、オリジナルフレーム“Ａ”からオリジナルフレーム“Ｂ”への動き量を１００％とした場合に、動き量が６０％である時点の画像が補間フレーム“ＡＢ１”として生成される。
【０１２９】
（作用及び効果）
変更例７では、時間的に後の補間フレームのコマ数が時間的に前の補間フレームのコマ数よりも多い。従って、フレームに含まれる画像が減速するケースにおいて、補間フレームによって減速度を適切に再現することができる。
【０１３０】
変更例７では、同一の補間フレームが２コマ以上である場合に、２コマ以上の補間フレームの時間的な中心に応じて、動きベクトル適用率が用いられる。従って、視聴者に違和感を与えないように、補間フレームを生成することができる。
【０１３１】
［変更例８］
以下において、第１実施形態の変更例８について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１３２】
なお、変更例６及び変更例７との相違点は、補間フレームの生成で用いられる動きベクトル適用率の決定方法である。具体的には、変更例６及び変更例７では、時間的な間隔に応じて動きベクトル適用率が決定される。これに対して、時間的に後のオリジナルフレームの動きベクトルの平均値から時間的に前のオリジナルフレームの動きベクトルの平均値を除いた差分ＭＶｄｉｆｆに応じて動きベクトル適用率が決定される。
【０１３３】
すなわち、差分ＭＶｄｉｆｆが“０”である場合には、フレームに含まれる画像が定速で動いている。差分ＭＶｄｉｆｆが“０”よりも大きい場合には、フレームに含まれる画像が加速している。差分ＭＶｄｉｆｆが“０”よりも小さい場合には、フレームに含まれる画像が減速している。
【０１３４】
ここでは、変更例６のように、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間に、２コマの補間フレーム“ＡＢ１”及び１コマの補間フレーム“ＡＢ２”が挿入されるケースを例に挙げて説明する（図１８を参照）。
【０１３５】
図２０に示すように、２コマの補間フレーム“ＡＢ１”の生成では、動きベクトル適用率の範囲は、変更例６で示したａ／ｃ（例えば、４０％）を中心として、Ａ（例えば、２０％）〜Ｂ（例えば、６０％）である。差分ＭＶｄｉｆｆが“０”である場合に、動きベクトル適用率は、ａ／ｃである。差分ＭＶｄｉｆｆが“０”よりも小さいほど、動きベクトル適用率がａ／ｃよりも増大する。差分ＭＶｄｉｆｆが“０”よりも大きいほど、動きベクトル適用率がａ／ｃよりも減少する。
【０１３６】
図２１に示すように、１コマの補間フレーム“ＡＢ２”の生成では、動きベクトル適用率の範囲は、変更例６で示したｂ／ｃ（例えば、７０％）を中心として、Ｃ（例えば、５０％）〜Ｄ（例えば、９０％）である。差分ＭＶｄｉｆｆが“０”である場合に、動きベクトル適用率は、ｂ／ｃである。差分ＭＶｄｉｆｆが“０”よりも小さいほど、動きベクトル適用率がｂ／ｃよりも増大する。差分ＭＶｄｉｆｆが“０”よりも大きいほど、動きベクトル適用率がｂ／ｃよりも減少する。
【０１３７】
（作用及び効果）
変更例８では、差分ＭＶｄｉｆｆ、すなわち、フレームに含まれる画像の加速度（減速度）に応じて、補間フレームの動きベクトル適用率が変更される。従って、補間フレームによって、フレームに含まれる画像の加速度（減速度）を適切に再現することができる。
【０１３８】
［変更例９］
以下において、第１実施形態の変更例９について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１３９】
ここで、変更例９では、変更例８の動作に加えて、変更例６に示すパターン１及び変更例７に示すパターン２が差分ＭＶｄｉｆｆに応じて切り替えられる。差分ＭＶｄｉｆｆは、変更例８と同様に、時間的に後のオリジナルフレームの動きベクトルの平均値から時間的に前のオリジナルフレームの動きベクトルの平均値を除いた差分である。
【０１４０】
図２２に示すように、差分ＭＶｄｉｆｆが“０”よりも大きい場合には、変更例６に示すパターン１が適用される。すなわち、時間的に前の補間フレームが２コマである。一方で、差分ＭＶｄｉｆｆが“０”よりも小さい場合には、変更例７に示すパターン２が適用される。すなわち、時間的に後の補間フレームが２コマである。
【０１４１】
同様に、図２３に示すように、差分ＭＶｄｉｆｆが“０”よりも大きい場合には、変更例６に示すパターン１が適用される。すなわち、時間的に前の補間フレームが２コマである。一方で、差分ＭＶｄｉｆｆが“０”よりも小さい場合には、変更例７に示すパターン２が適用される。すなわち、時間的に後の補間フレームが２コマである。
【０１４２】
例えば、オリジナルフレーム“Ｂ”の動きベクトルがオリジナルフレーム“Ａ”の動きベクトルよりも小さく、オリジナルフレーム“Ｃ”の動きベクトルがオリジナルフレーム“Ｃ”の動きベクトルよりも大きいケースについて、図２４を参照しながら説明する。
【０１４３】
すなわち、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間では、フレームに含まれる画像が減速しており、オリジナルフレーム“Ｂ”とオリジナルフレーム“Ｃ”との間では、フレームに含まれる画像が加速している。
【０１４４】
ここで、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間には、１コマの補間フレーム“ＡＢ１”及び２コマの補間フレーム“ＡＢ２”が挿入される。すなわち、差分ＭＶｄｉｆｆが“０”よりも小さいため、変更例７に示すパターン２が適用される。
【０１４５】
ここで、オリジナルフレーム“Ｂ”とオリジナルフレーム“Ｃ”との間には、２コマの補間フレーム“ＢＣ１”及び１コマの補間フレーム“ＢＣ２”が挿入される。すなわち、差分ＭＶｄｉｆｆが“０”よりも大きいため、変更例６に示すパターン１が適用される。
【０１４６】
（作用及び効果）
変更例９では、差分ＭＶｄｉｆｆ、すなわち、フレームに含まれる画像の加速度（減速度）に応じて、変更例６に示すパターン１及び変更例７に示すパターン２を切り替える。従って、補間フレームによって、フレームに含まれる画像の加速度（減速度）を適切に再現することができる。
【０１４７】
［変更例１０］
以下において、第１実施形態の変更例９について、図面を参照しながら説明する。以下においては、第１実施形態との相違点について主として説明する。
【０１４８】
変更例１０では、オリジナルフレーム間に４種類の補間フレームを挿入するケースについて、図２５を参照しながら説明する。４種類の補間フレームの生成では、各補間フレームに適用される動きベクトル適用率が異なっている。
【０１４９】
なお、変更例１０は、完全フレーム補間方法が採用されていることを除けば、変更例６〜変更例８と同様である。
【０１５０】
図２５に示すように、変更例１０では、オリジナルフレーム間に４種類の補間フレームが挿入される。ここでは、オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との間に、１コマの補間フレーム“ＡＢ１”〜“ＡＢ４”が挿入されるケースを例に挙げて説明する。
【０１５１】
ここで、オリジナルフレーム“Ａ”と補間フレーム“ＡＢ１”の中心との時間的な間隔はａで表される。オリジナルフレーム“Ａ”と補間フレーム“ＡＢ２”の中心との時間的な間隔はｂで表される。オリジナルフレーム“Ａ”と補間フレーム“ＡＢ３”の中心との時間的な間隔はｃで表される。オリジナルフレーム“Ａ”と補間フレーム“ＡＢ４”の中心との時間的な間隔はｄで表される。オリジナルフレーム“Ａ”とオリジナルフレーム“Ｂ”との時間的な間隔はｅで表される。
【０１５２】
補間フレーム“ＡＢ１”の生成では、動きベクトル適用率としてａ／ｅが用いられる。補間フレーム“ＡＢ２”の生成では、動きベクトル適用率としてｂ／ｅが用いられる。補間フレーム“ＡＢ３”の生成では、動きベクトル適用率としてｃ／ｅが用いられる。補間フレーム“ＡＢ４”の生成では、動きベクトル適用率としてｄ／ｅが用いられる。
【０１５３】
なお、変更例８と同様に、補間フレーム“ＡＢ１”〜“ＡＢ４”の生成で用いられる動きベクトル適用率は可変であってもよい。
【０１５４】
（作用及び効果）
変更例１０では、完全フレーム補間方法が採用される場合であっても、視聴者に違和感を与えないように、補間フレームを生成することができる。
【０１５５】
［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【０１５６】
変更例３及び変更例４では、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、動きベクトルの水平方向成分の平均値ＭＶＨ＿ＡＶＥに基づいて設定される。しかしながら、実施形態はこれに限定されるものではない。具体的には、ベクトル非適応領域の幅Ｗａ及び幅Ｗｂは、動きベクトルの水平方向成分の最大値ＭＶＨ＿ＭＡＸに基づいて設定されてもよい。
【０１５７】
なお、動きベクトルの水平方向成分の最大値ＭＶＨ＿ＭＡＸは、変更例３と同様に、基準フレームを構成する全ブロックの動きベクトルから抽出された水平方向成分の最大値であってもよい。動きベクトルの水平方向成分の最大値ＭＶＨ＿ＭＡＸは、変更例４と同様に、帯状領域Ｘａ及び帯状領域Ｘｂを構成するブロックの動きベクトルから抽出された水平方向成分の最大値であってもよい。
【０１５８】
変更例３及び変更例４では、ベクトル非適応領域の高さＨａ及び高さＨｂは、動きベクトルの垂直方向成分の平均値ＭＶＶ＿ＡＶＥに基づいて設定される。しかしながら、実施形態はこれに限定されるものではない。具体的には、ベクトル非適応領域の高さＨａ及び高さＨｂは、動きベクトルの垂直方向成分の最大値ＭＶＶ＿ＭＡＸに基づいて設定される。
【０１５９】
なお、動きベクトルの垂直方向成分の平均値ＭＶＶ＿ＡＶＥは、変更例３と同様に、基準フレームを構成する全ブロックの動きベクトルから抽出された垂直方向成分の最大値であってもよい。動きベクトルの垂直方向成分の平均値ＭＶＶ＿ＡＶＥは、変更例４と同様に、帯状領域Ｙａ及び帯状領域Ｙｂを構成するブロックの動きベクトルから抽出された垂直方向成分の最大値であってもよい。
【符号の説明】
【０１６０】
１・・・映像表示装置、１０・・・入力信号受付部、２０・・・基準フレーム取得部、３０・・・参照フレーム取得部、４０・・・動きベクトル検出部、５０・・・補間フレーム生成部、６０・・・出力部、１００・・・信号処理装置、２００・・・表示部
【特許請求の範囲】
【請求項１】
基準フレーム及び参照フレームとに基づいて、動きベクトルを検出する信号処理装置であって、
前記基準フレームと前記参照フレームとの間に挿入される補間フレームを生成する補間フレーム生成部を備え、
前記補間フレームは、前記動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有しており、
前記ベクトル非適応領域は、前記ベクトル適応領域の外側に設けられていることを特徴とする信号処理装置。
【請求項２】
前記補間フレーム生成部は、前記参照フレーム内において前記動きベクトルの検出で参照される探索範囲の大きさに基づいて、前記ベクトル非適応領域を設定することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記補間フレーム生成部は、前記動きベクトルに基づいて、前記ベクトル非適応領域の幅及び高さを設定することを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記補間フレーム生成部は、前記基準フレームに設けられた帯状領域に対応する前記動きベクトルに基づいて、前記ベクトル非適応領域の幅及び高さを設定し、
前記基準フレームに設けられた帯状領域は、前記参照フレーム内において前記動きベクトルの検出で参照される探索範囲の大きさに応じて設定されることを特徴とする請求項１に記載の信号処理装置。
【請求項５】
前記補間フレーム生成部は、映像入力信号に基づいて特定される黒表示領域に応じて、前記動きベクトルに基づいて補間されない不感領域を設定することを特徴とする請求項１に記載の信号処理装置。
【請求項６】
複数のオリジナルフレーム間に補間フレームを挿入する映像表示装置であって、
前記複数のオリジナルフレームのいずれかである基準フレームと、前記複数のオリジナルフレームのいずれかである参照フレームとに基づいて、動きベクトルを検出する信号処理装置と、
前記複数のオリジナルフレーム及び前記補間フレームを表示する表示部とを備え、
前記信号処理装置は、前記補間フレームを生成する補間フレーム生成部を有し、
前記補間フレームは、前記動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有しており、
前記ベクトル非適応領域は、前記ベクトル適応領域の外側に設けられていることを特徴とする映像表示装置。
【請求項１】
基準フレーム及び参照フレームとに基づいて、動きベクトルを検出する信号処理装置であって、
前記基準フレームと前記参照フレームとの間に挿入される補間フレームを生成する補間フレーム生成部を備え、
前記補間フレームは、前記動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有しており、
前記ベクトル非適応領域は、前記ベクトル適応領域の外側に設けられていることを特徴とする信号処理装置。
【請求項２】
前記補間フレーム生成部は、前記参照フレーム内において前記動きベクトルの検出で参照される探索範囲の大きさに基づいて、前記ベクトル非適応領域を設定することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記補間フレーム生成部は、前記動きベクトルに基づいて、前記ベクトル非適応領域の幅及び高さを設定することを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記補間フレーム生成部は、前記基準フレームに設けられた帯状領域に対応する前記動きベクトルに基づいて、前記ベクトル非適応領域の幅及び高さを設定し、
前記基準フレームに設けられた帯状領域は、前記参照フレーム内において前記動きベクトルの検出で参照される探索範囲の大きさに応じて設定されることを特徴とする請求項１に記載の信号処理装置。
【請求項５】
前記補間フレーム生成部は、映像入力信号に基づいて特定される黒表示領域に応じて、前記動きベクトルに基づいて補間されない不感領域を設定することを特徴とする請求項１に記載の信号処理装置。
【請求項６】
複数のオリジナルフレーム間に補間フレームを挿入する映像表示装置であって、
前記複数のオリジナルフレームのいずれかである基準フレームと、前記複数のオリジナルフレームのいずれかである参照フレームとに基づいて、動きベクトルを検出する信号処理装置と、
前記複数のオリジナルフレーム及び前記補間フレームを表示する表示部とを備え、
前記信号処理装置は、前記補間フレームを生成する補間フレーム生成部を有し、
前記補間フレームは、前記動きベクトルに基づいて補間されるベクトル適応領域と、前記動きベクトルに基づいて補間されないベクトル非適応領域とを有しており、
前記ベクトル非適応領域は、前記ベクトル適応領域の外側に設けられていることを特徴とする映像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１０−１７７９７０（Ｐ２０１０−１７７９７０Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−１７３７５（Ｐ２００９−１７３７５）
【出願日】平成２１年１月２８日（２００９．１．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月２８日（２００９．１．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]