補間フレーム生成装置及びフレームレート変換装置
【課題】推定ベクトルを出力位置に応じて平行移動する際に、動きの境界を跨ぐ場合に誤補間による破綻が発生するのを防ぐことができる補間フレーム生成装置及びフレームレート変換装置を提供することである。
【解決手段】ベクトルゲイン調整部３は、入力される前後フレーム間における所定の時間位置に中間フレームを生成するための動きベクトルのゲインを調整する。第２のベクトル平行移動部４は、ゲイン調整された動きベクトルを入力し、その動きベクトルを先の中間フレームとは異なる補間予定の第２の中間フレームの補間しようとする画素上に平行移動する。第２の補間画素ペア選択部５は、平行移動された動きベクトルを用いて、入力される前後フレームの各データから画素ペアを選択する。補間フレーム生成部７は、破綻が生じる状況において、第２の補間画素ペア選択部５からの画素のペアを用いて補間処理を行い、補間フレームを生成する。
【解決手段】ベクトルゲイン調整部３は、入力される前後フレーム間における所定の時間位置に中間フレームを生成するための動きベクトルのゲインを調整する。第２のベクトル平行移動部４は、ゲイン調整された動きベクトルを入力し、その動きベクトルを先の中間フレームとは異なる補間予定の第２の中間フレームの補間しようとする画素上に平行移動する。第２の補間画素ペア選択部５は、平行移動された動きベクトルを用いて、入力される前後フレームの各データから画素ペアを選択する。補間フレーム生成部７は、破綻が生じる状況において、第２の補間画素ペア選択部５からの画素のペアを用いて補間処理を行い、補間フレームを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画フレーム間のベクトルを推定して補間フレームを生成する補間フレーム生成装置及びこれを用いたフレームレート変換装置に関するものである。
【背景技術】
【０００２】
近年、１秒間に例えば６０枚の映像を表示する表示装置において、１秒間に倍速の１２０枚の映像を表示できる表示装置が開発されている。これは、６０枚の原画フレームから、前後２枚の原画フレーム間で中間の映像フレーム(補間フレームという)を作成して１２０枚にして表示するものである。このような変換をフレームレート変換処理と呼ぶ。
【０００３】
フレームレート変換処理における動きベクトルの推定方法には、前後の原画フレーム間でオブジェクトの動くベクトルを推定して求める方法と、前後の原画フレーム間に設ける補間フレーム上の座標を基準として補間フレーム上の補間位置を対称点として点対称に前後の原画フレーム上をサーチしてオブジェクトの動き検出をして点対称位置の前後の原画フレーム上の対応する位置を結ぶベクトルを求める方法がある。
【０００４】
後者の方法で前後の原画フレームの中央位置を対称点として求めたベクトルを用いて原画フレーム間の時間軸上の任意の出力位置に補間フレームを生成するには、推定ベクトルを出力位置に応じて平行移動する方法が知られている（例えば、特許文献１参照）。
【０００５】
しかしながら、特許文献１の装置では、推定ベクトルを平行移動する際に、例えば動いている背景と静止している前景の境界(即ち動きの境界)を跨ぐように平行移動した場合に誤補間による破綻が発生する問題がある。つまり、推定ベクトルを平行移動させると、平行移動先で実際のベクトルの向きが変わってしまっていることがあり、このようなときに破綻が生じてしまう。
【特許文献１】特開２００７−８２０３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は上記の問題に鑑み、前後の原画フレーム間の指定位置を対称点として求めたベクトルを用いて原画フレーム間の時間方向の任意の出力位置に補間フレームを生成する際に、推定ベクトルを出力位置に応じて平行移動するとき、そのベクトルが動きの境界を跨ぐ場合に誤補間による破綻が発生するのを防ぐことができる補間フレーム生成装置及びフレームレート変換装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、入力される２枚の連続する前後フレーム間における所定の時間位置に中間フレームを生成するための動きベクトルを入力し、その動きベクトルを前記中間フレームとは時間位置の異なる補間予定の第２の中間フレームの補間しようとする画素上に平行移動する第１のベクトル平行移動部と、前記第１のベクトル平行移動部からの平行移動された動きベクトルを用いて、入力される前記前後フレームの各データから画素ペアを選択する第１の補間画素ペア選択部と、入力される前記動きベクトルのゲインを調整するベクトルゲイン調整部と、前記ベクトルゲイン調整部からのゲイン調整された動きベクトルを入力し、その動きベクトルを前記中間フレームとは時間位置の異なる補間予定の前記第２の中間フレームの補間しようとする画素上に平行移動する第２のベクトル平行移動部と、前記第２のベクトル平行移動部からの平行移動された動きベクトルを用いて、入力される前記前後フレームの各データから画素ペアを選択する第２の補間画素ペア選択部と、前記第１の補間画素ペア選択部からの画素ペア出力と前記第２の補間画素ペア選択部からの画素ペア出力のいずれか一方を選択する第３の補間画素ペア選択部と、前記第３の補間画素ペア選択部の出力として得られる画素のペアを用いて補間処理を行い、補間フレームを生成する補間フレーム生成部と、を具備することを特徴とする補間フレーム生成装置が提供される。
【発明の効果】
【０００８】
本発明によれば、推定ベクトルを出力位置に応じて平行移動する際に、動きの境界を跨ぐ場合に誤補間による破綻が発生するのを防ぐことが可能な補間フレーム生成装置及びフレームレート変換装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
発明の実施の形態について図面を参照して説明する。
図１乃至図３、及び図９乃至図１２を参照して、本発明の実施形態を説明する前に、図４乃至図８を参照して、本発明の関連技術を説明する。
図４は原画フレーム間で動きベクトルを推定する方法の例を示し、図５は補間フレームを基準に動きベクトルを推定する方法の例を示している。
【００１０】
フレームレート変換処理における動きベクトルの推定方法には、図４に示すように、前後の原画フレーム間のベクトルとして求める方法と、図５に示すように、補間フレーム上の座標を基準として補間位置を対称点とした前後の原画フレーム上の点対称位置を結ぶベクトルを求める方法がある。
【００１１】
フレームレート変換技術の一つとして、図５の方法を用いて、補間フレーム上の補間画素に対して点対称の位置にある前後フレーム上の画素のペアを求めて利用する手法がある。この画素ペア探索によって画素補間を行うフレームレート変換技術に対して有効である。
【００１２】
補間フレーム上の補間画素を時間的に通過する画素が、前後フレームのどの画素に対応するのかを、動きベクトル探索手法を用いて求める。この動きベクトルを探索する手法自体は特に限定されないが、補間画素に対して点対称の位置には必ず前後フレームの画素が存在することを利用すると効率がよい。補間画素に対して、複数の組の、前フレームの画素と後フレームの画素がそれぞれ点対称の位置にある。このような前後フレームの画素の組み合わせを複数検出し、組み合わせ画素間の差異が一番小さい組み合わせ画素同士を結ぶ直線を動きベクトルとして探索することが一例として挙げることができる。
【００１３】
ところで、図５に示す方法で前後の原画フレームの中央位置を対称点として求めたベクトルを用いて原画フレーム間の時間方向の任意の出力位置(出力タイミング)に補間フレームを生成するには、特許文献１に述べられているように推定ベクトルを出力位置に応じて平行移動する方法がある。
【００１４】
図６乃至図８は特許文献１に述べられたフレームレート変換装置において前後フレーム間の時間距離が１対１でない補間フレーム作成時の問題及びその補間フレーム作成時における平行移動の例を示している。Ｈはフレームの水平方向、Ｖはフレームの垂直方向、時間はフレーム時間方向を指している。
【００１５】
図６は前後フレーム３０１，３０３間の時間距離がα：β(但しα≠β)にある補間フレーム３０２上の補間画素３０５と点対称の位置にある前後フレーム３０１，３０３上の画素３０４，３０６との関係を立体的に(水平Ｈ，垂直Ｖ，時間)に表現した図である。図７は図６における水平Ｈと時間によって平面的に表現した図、図８は推定ベクトルを平行移動した例を示す図である。
【００１６】
フレームレート変換技術を前フレーム画像と後フレーム画像との時間距離が１対１(即ち中央位置)でない補間フレーム作成に適用した場合、補間フレーム上の補間画素と点対称の位置に前後フレーム上の画素が存在しないという状況(問題)が発生する。これを、図６を用いて説明する。
【００１７】
前フレーム３０１、後フレーム３０３に対して時間距離がα対β（α：β≠１：１）にある補間フレーム３０２上の補間画素３０５と点対称の位置にある前後フレーム上の画素は、図６及び図７に図示した画素３０４，３０６のように、元々前フレーム３０１及び後フレーム３０３内に存在しない画素となってしまう。このような場合、前後フレーム３０１，３０３内に元々存在する画素を補間処理して動きベクトル探索に必要な精細度まで解像度を高めた上で、画素ペアの探索を行う必要があるが、先行技術の特許文献１では、動きベクトル探索前に画素の補間処理を行う必要がなく、原画フレーム間の中央位置でのフレーム上の補間画素の推定ベクトルを求め、これを補間フレーム上に平行移動することによって簡易な処理で高画質なフレームレート変換を行っている。
【００１８】
特許文献１の先行技術の原理について図８を参照して説明する。
本先行技術では、まず、前後フレームに対する補間フレームの時間距離が１：１であるか否かに関わらず、常に時間距離が１対１にあるフレーム上の画素の動きベクトルを求めている。図８に示すように、前フレーム５０１と後フレーム５０３との間の時間距離がα（＝５）対β（＝１）になるような補間フレーム５０２の補間画素５０４の動きベクトルを求める際には、そのフレーム上の画素の動きベクトルとして、上記の前後フレームから時間距離が１対１にある補間フレーム上であって補間画素５０４と同一空間位置の画素５０５の動きベクトルを探索して動きベクトル５０６を求め、その動きベクトルと平行なベクトルであって補間画素５０４を通過する動きベクトル５０７を、補間画素５０４の動きベクトルとして設定する。
【００１９】
動きベクトルの平行移動、すなわちベクトル値の変換を行うと、補間に用いる前フレーム５０１上の画素と後フレーム上の画素５０３が、図８に図示した画素Ｐ及び画素Ｎのように画素と画素との間の画素の存在しない位置(即ち画素間の境界部分)に移動してしまうことがあるが、この場合には、周囲画素の画素値を用いて擬似的な画素である擬似画素５０８及び擬似画素５０９を作成する。そして、擬似画素５０８及び擬似画素５０９に基づいて補間フレーム５０２上の補間画素５０４を作成する。補間画素５０４の値は擬似画素５０８，５０９の各値の和をα，βの逆比を用いることによって算出することができる。補間フレーム５０２上の全ての画素について補間画素５０４と同様の作成手法で作成すればその補間画素の集まりが補間フレームとなる。そして補間フレームを前後フレーム間に追加することで映像信号のフレームレートを変換することができる。
【００２０】
なお、上述のとおり、本先行技術においては、動きベクトル探索自体及び画素補間自体に関し、その手法について特に限定されていない。また、図７及び図８では、動きベクトルの水平方向Ｈへの平行移動について説明しているが、動きベクトルの垂直方向Ｖへの平行移動によって補間画素５０４を作成することもできる。
以上述べた特許文献１による前後のフレーム間の時間軸上の任意の位置に補間フレームを作成することによってフレームレート変換処理を行うフレームレート変換技術は、下記のような分野に応用することができる。
【００２１】
テレビジョン受信装置では通常は１秒間に６０枚のインタレースで放送されているテレビジョン信号を６０Ｈｚで表示するが、６０枚の映像の中から中間の映像を作成して１２０枚にフレーム数を増やして表示する受信装置が増えている。このようにテレビジョンでは１２０Ｈｚで表示するものがあるが、例えば映画素材では本来２４Ｈｚで表示するものがある。このような映画素材を１２０Ｈｚの表示のテレビジョン受信装置で表示する場合には、２４Ｈｚでのコマとコマの間に４枚の補間フレームを作成して５倍のフレーム数にすると、１２０Ｈｚになる。こういう場合は、原画フレーム間に４枚のフレームを内挿することになる。本発明は、原画フレーム間に複数枚の補間フレームを生成して追加(内挿)し、複数倍のフレーム数にするフレームレート変換処理に応用することができる。
【００２２】
ところが、特許文献１の技術では、平行移動の際に、動きの境界をまたいだ場合に誤補間による破綻が発生することは既に述べた通りである。本発明はこの誤補間を軽減するものである。
そこで、本発明の実施形態のフレームレート変換処理では、推定ベクトルの平行移動前にベクトルのゲインを調整することにより、上述の破綻を軽減し、誤補間を軽減できるようにしたものである。
【００２３】
［第１の実施形態］
図１は本発明の第１の実施形態の補間フレーム生成装置を含むフレームレート変換装置のブロック図を示している。
図１に示す補間フレーム生成装置１０は、第１のベクトル平行移動部としての第１の平行移動部１と、第１の補間画素ペア選択部２と、ベクトルゲイン調整部としてのゲイン調整部３と、第２のベクトル平行移動部としての第２の平行移動部４と、第２の補間画素ペア選択部５と、第３の補間画素ペア選択部６と、補間フレーム生成部７と、を備えている。ゲイン調整部３と、第２の平行移動部４と、第２の補間画素ペア選択部５とは、上述の破綻を軽減するための手段である。
【００２４】
なお、前後フレーム間の時間距離を表すのに、前フレームの時間位置を０とし、後フレームの時間位置を１とすると、前後フレーム間の時間距離は１となる。これに伴い、前フレームをFrame0とし、後フレームをFrame1とし、前後フレーム間の中央位置に相当する中間フレームをFrame0.5と表すことにする。
【００２５】
第１の平行移動部１は、入力される２枚の連続する前後フレーム(Frame0, Frame1)間における所定の時間位置(前後フレーム間の時間距離における所定の位置の意)に中間フレーム(例えば中央位置に相当する中間フレームFrame0.5)を生成するための動きベクトルを入力し、その動きベクトルを所定の時間位置の中間フレーム(Frame0.5)とは時間位置の異なる補間予定の第２の中間フレームの補間しようとする画素上に平行移動する。なお、入力される動きベクトルは、動きベクトル探索手法を用いて求めることができる。
【００２６】
第１の補間画素ペア選択部２は、第１の平行移動部１からの平行移動された動きベクトルを用いて、入力される前後フレーム(Frame0, Frame1)の各データから画素ペアを選択する。
ゲイン調整部３は、入力される動きベクトルのゲインを調整する。ここでのゲイン調整は、前後フレーム間での画像の動き量が大きいことに基づく破綻を防ぐために動き量を小さくすること、即ち前後フレーム間の動きベクトル(図８参照)の傾きを上げる(起きる)方向に変えるためのもので、ゲインの値を０と１との間で下げるように調整を行うことになる。
【００２７】
第２の平行移動部４は、ゲイン調整部３からのゲイン調整された動きベクトルを入力し、その動きベクトルを中間フレーム(Frame0.5)とは時間位置の異なる実際に補間する予定の第２の中間フレームの補間しようとする画素上に平行移動する。
第２の補間画素ペア選択部５は、第２の平行移動部４からの平行移動された動きベクトルを用いて、入力される前後フレーム(Frame0, Frame1)の各データから画素ペアを選択する。
【００２８】
第３の補間画素ペア選択部６は、上述の破綻が生じる状況か否かに応じて、第１の補間画素ペア選択部２からの画素ペア出力か第２の補間画素ペア選択部５からの画素ペア出力かのいずれか一方の出力を選択する。
補間フレーム生成部７は、第３の補間画素ペア選択部６の出力として得られる画素のペアを用いて補間処理を行い、補間フレームを生成する。補間フレーム生成部７では、誤補間が軽減された補間フレームを得ることが可能となる。
【００２９】
上記の構成で、入力される動きベクトルは、入力される前後フレーム(Frame0, Frame1)間の所定の時間位置例えば中央位置にある補間フレーム(Frame0.5)を生成するためのベクトルである。
また、図１に示すフレームレート変換装置２０は、入力される２枚の前後フレーム(Frame0, Frame1)間の時間距離における予め定めた少なくとも１つの時間位置に補間フレームを生成する補間フレーム生成装置１０と、入力される前後フレーム(Frame0, Frame1)間の少なくとも１つの時間位置に、補間フレーム生成装置１０で生成された少なくとも１つの補間フレームを追加してフレームレートを変換した出力を得るフレームレート変換部１１と、を備えて構成されている。
【００３０】
以下に第１の実施形態の動作を説明する。
この実施形態には、入力ベクトルとして、前後の原画フレーム(Frame0, Frame1)の中央位置に補間フレーム(Frame0.5)を生成するための動きベクトルが入力する。
補間に使用する前後フレームの画素ペアは、動きベクトルに応じて選択されるが、原画フレーム間の任意の出力位置に補間フレームを生成するために、第１の平行移動部１において、動きベクトルの値に応じて平行移動した位置の画素ペアの座標を算出する。
【００３１】
補間位置を (x,y)として、入力ベクトルを(Vx, Vy)とする。このときベクトル(Vx, Vy)の定義は図５に示したものとする。このとき原画フレーム(Frame0, Frame1)の中央位置に補間フレーム(Frame0.5)を生成する場合には、
前フレームの
( x−Vx，y−Vy ) ……… (式1)
の位置の画素と、
後フレームの
( x + Vx，y + Vy ) ……… (式2)
の位置の画素が選択されるが、任意の出力位置に補間フレームを生成する場合には、第１の平行移動部１によって、(式1), (式2)の座標を平行移動した、
前フレームの
{ x−Vx + ( 0.5−α )×2×Vx, y−Vy + ( 0.5−α )×2×Vy } … (式3)
および後フレームの
{ x + Vx + ( 0.5−α )×2×Vx，y + Vy + ( 0.5−α )×2×Vy } … (式4)
の座標を算出する。
【００３２】
ここでのαは前フレーム位置を0として後フレーム位置を1.0とした場合の出力位置で、0〜1.0の値を持つものである。(図６乃至図８の特許文献１の場合ではαとβとで補間フレームの出力位置を表しているが、図１乃至図５、図９乃至図１１ではαのみで補間フレームの出力位置を表している。)
第１の補間画素ペア選択部２は、第１の平行移動部１において算出された座標の画素値を本実施形態(図１)に入力する前後フレーム(Frame0, Frame1)の原画データから選択する。
【００３３】
ゲイン調整部３は本実施形態(図１)に入力する動きベクトルの値に対してゲイン調整をする。ゲイン調整値としては、実使用上 0〜1の値を乗算することを想定している。
例えば 入力ベクトルが(Vx, Vy) = (20, -10) であって、0.5倍でゲイン調整を行うと、ゲイン調整部３の出力は、(10, -5)となる。
【００３４】
第２の平行移動部４は、ゲイン調整部３の出力ベクトルに対して、第１の平行移動部１と同様の処理を施して、補間のために選択する前後フレームの座標を算出する。
第２の補間画素ペア選択部５は、第２の平行移動部４で算出された座標の画素値を本実施形態(図１)に入力する前後フレームの原画データ(Frame0, Frame1)から選択する。
第３の補間画素ペア選択部６は、第１の補間画素ペア選択部２の画素ペア出力と第２の補間画素ペア選択部５の画素ペア出力のうちの一方の出力を選択する。上述の破綻が生じる可能性が大きいときは第２の補間画素ペア選択部５の画素ペア出力を選択する。
【００３５】
補間フレーム生成部７は、第３の補間画素ペア選択部６で選択された画素ペアを用いて補間画素を生成する。
生成の際には、出力位置αに応じて重み付けをしてもよい。例えば以下の式のように重み付けする方法がある。
Frame0データ×(1−α) + Frame1データ×α ……… (式5)
第１の実施形態によれば、推定ベクトルの平行移動前にベクトルのゲインを調整することにより、上述の破綻を軽減し、誤補間を軽減することができる。
【００３６】
［第２の実施形態］
図２は本発明の第２の実施形態の補間フレーム生成装置を含むフレームレート変換装置のブロック図を示している。
本第２の実施形態は、第１の実施形態に第４の補間画素ペア選択部８および補間画素ペア選択判定部９を加えたものである。
【００３７】
第４の補間画素ペア選択部８は、前後フレーム(Frame0, Frame1)間の例えば中央位置にある補間フレーム(Frame0.5)を生成するための動きベクトルを用いて、入力される前後フレーム (Frame0, Frame1)の各データから画素ペアを選択する。つまり、第４の補間画素ペア選択部８は、入力するベクトルによって前述の(式1)、(式2)で算出される座標の画素値を、入力する前後フレーム(Frame0, Frame1)の原画データから選択する。
【００３８】
補間画素ペア選択判定部９は、第１の補間画素ペア選択部２と第２の補間画素ペア選択部５と第４の補間画素ペア選択部８からの各画素ペア出力を用いて、第３の補間画素ペア選択部６において第１の補間画素ペア選択部２の出力と第２の補間画素ペア選択部５の出力との２つの入力のうちどちらを選択するかを判断する。
【００３９】
図３は図２の補間画素ペア選択判定部９の構成例のブロック図を示している。
補間画素ペア選択判定部９は、第１の補間画素ペア選択部２の画素ペア出力の２つの画素値の差分絶対値sub1を算出する減算器９１及び絶対値化部９２と、第２の補間画素ペア選択部５の画素ペア出力の２つの画素値の差分絶対値sub2を算出する減算器９３及び絶対値化部９４と、第４の補間画素ペア選択部８の画素ペア出力の２つの画素値の差分絶対値sub4を算出する減算器９５及び絶対値化部９６と、各差分絶対値sub1，sub2，sub4各々を各々の閾値tht1, tht2, tht4と比較し、それらの比較結果に基づいて第１の補間画素ペア選択部の画素ペア出力を選択するか第２の補間画素ペア選択部の画素ペア出力を選択するかを判定する判定部９７と、を備えている。
【００４０】
このように構成された補間画素ペア選択判定部９において、第４の補間画素ペア選択部８の出力として得られる前フレームデータと後フレームデータのペアの差分を算出しその絶対値をsub4とし、第１の補間画素ペア選択部２の出力として得られる前フレームデータと後フレームデータのペアの差分を算出しその絶対値をsub1とし、第２の補間画素ペア選択部５の出力として得られる前フレームデータと後フレームデータのペアの差分を算出しその絶対値をsub2とし、これらsub4，sub1，sub2に対して閾値tht4, tht1, tht2を指定して以下のように判定をする。
sub4 が tht4よりも小さくて、かつ、sub1がtht1よりも大きくて、かつ、sub2がtht2よりも小さい、即ち
sub4 < tht4 かつ sub1 > tht1 かつ sub2 < tht2 …… 条件Ａ
という条件Ａが成立する場合には第２の補間画素ペア選択部５の出力を選択し、条件Ａが成立しない場合には、第１の補間画素ペア選択部２の出力を選択する動作を行う。
【００４１】
次に、sub4, sub1, sub2それぞれに対して、条件Ａが意味するところは、
(1) 入力ベクトルは正しいものが入力している (sub4＜tht4)
(2) 出力位置に応じて平行移動すると、平行移動先のベクトルとして不適切である (sub1＞tht1)
(3) 平行移動前にベクトルのゲインを下げると、適切なベクトルとして使用できる (sub2＜tht2)
ベクトルのゲインを下げることにより、ベクトルの精度が下がり解像度劣化が起こりうるが、そのかわり感覚的に目に付く孤立的な破綻をさけることができる。
【００４２】
以下に、図９乃至図１２の説明図を参照して、平行移動した場合に生じる不具合と、ゲイン調整部３におけるゲイン調整値に関して具体的に説明する。
図９乃至図１１はゲイン調整なしで平行移動した場合の不具合を説明する図、図１２はゲイン調整後の平行移動及びゲイン調整値の求め方を説明する図である。
【００４３】
図９のように背景が右へ移動して前景が静止している条件を仮定する。
このとき図１０のように背景ベクトルの平行移動によって原画フレームFrame1の画素位置BがB’へ移動する際に前景の位置をまたぐ場合がある。
【００４４】
このとき補間後に図１１のような破綻が発生する場合がある。つまり、図１０のように平行移動中に画素位置Ｂが背景と前景の境界をまたぐ場合が生じると、図１１のように補間後に前景と背景で補間することによって起こる破綻が生じる。
【００４５】
しかし、図１２のようにゲイン調整した後に平行移動することによって、誤補間による大きな破綻を防ぐことができる。図１２で、符号ａは平行移動前の前後フレーム(Frame0, Frame1)間における中央位置の補間フレーム(Frame0.5)上の画素を前後フレーム(Frame0, Frame1)間の任意の位置例えば出力位置(Frame0.2)へ平行移動する場合に、まず、動きベクトルａの傾きをゲイン調整しベクトルａの傾きを起こすことによって(即ちゲインを下げることによって)、点線にて示すベクトルｂのようにし、その後にベクトルｂを平行移動してベクトルｂの補間フレーム(Frame0.5)上の画素ｂ1が補間予定の補間フレーム(Frame0.2)上の対応画素ｃ1に重なるように平行移動を行う。これによって平行移動後のベクトルｃの前後フレーム(Frame0, Frame1)上の画素(Ａ’，Ｂ’)の値を算出し、その算出された画素(Ａ’，Ｂ’)の２つの値と前後フレーム(Frame0, Frame1)間の出力位置(Frame0.2)の逆比との関係から画素ｃ1の値を求めることができる。
【００４６】
従って、平行移動前のゲイン調整によって図１２のように平行移動後のＢ’がＢを超えないようにすれば、前景と背景の間で補間することによって発生する大きな破綻はなくなる。そのかわりベクトルの精度が下がることによる解像度劣化は起こり得るが、大きな破綻の発生に比べれば小さな劣化で済む。
【００４７】
このときに必要な条件であるゲイン値をGとすると、図１２の状態が成立するためには(式1)〜(式4)から、
G ＜1 ／（ 1 ＋ abs(0.5−α)×2 ） ………(式6)
となる。absは絶対値をとることを意味する。
【００４８】
第２の実施形態によれば、前後フレーム間の動きベクトルが大きく、平行移動の際に破綻が発生する状況となっても、この状況を判断してゲイン調整を行うことによって破綻の発生を抑えることが可能となる。
以上述べたように、本発明を用いることによって、フレームレート変換の際の破綻を軽減することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１の実施形態の補間フレーム生成装置を含むフレームレート変換装置のブロック図。
【図２】本発明の第２の実施形態の補間フレーム生成装置を含むフレームレート変換装置のブロック図。
【図３】図２の補間画素ペア選択判定部の構成例を示す図。
【図４】原画フレーム間で動きベクトルを推定する方法の例を示す図。
【図５】補間フレームを基準に動きベクトルを推定する方法の例を示す図。
【図６】前後フレーム間の時間距離がα：β(但しα≠β)にある補間フレーム上の補間画素と点対称の位置にある前後フレーム上の画素との関係を立体的(水平Ｈ，垂直Ｖ，時間)に表現した図。
【図７】図６における水平Ｈと時間によって平面的に表現した図。
【図８】特許文献１の技術において、推定ベクトルを平行移動した例を示す図。
【図９】ゲイン調整なしで平行移動した場合の不具合を説明する図。
【図１０】ゲイン調整なしで平行移動した場合の不具合を説明する図。
【図１１】ゲイン調整なしで平行移動した場合の不具合を説明する図。
【図１２】ゲイン調整後の平行移動及びゲイン調整値の求め方を説明する図。
【符号の説明】
【００５０】
１…第１の平行移動部(第１のベクトル平行移動部)
２…第１の補間画素ペア選択部
３…ゲイン調整部(ベクトルゲイン調整部)
４…第２の平行移動部(第２のベクトル平行移動部)
５…第２の補間画素ペア選択部
６…第３の補間画素ペア選択部
７…補間フレーム生成部
８…第４の補間画素ペア選択部
９…補間画素ペア選択判定部
１０，１０Ａ…補間フレーム生成装置
２０，２０Ａ…フレームレート変換装置
【技術分野】
【０００１】
本発明は、動画フレーム間のベクトルを推定して補間フレームを生成する補間フレーム生成装置及びこれを用いたフレームレート変換装置に関するものである。
【背景技術】
【０００２】
近年、１秒間に例えば６０枚の映像を表示する表示装置において、１秒間に倍速の１２０枚の映像を表示できる表示装置が開発されている。これは、６０枚の原画フレームから、前後２枚の原画フレーム間で中間の映像フレーム(補間フレームという)を作成して１２０枚にして表示するものである。このような変換をフレームレート変換処理と呼ぶ。
【０００３】
フレームレート変換処理における動きベクトルの推定方法には、前後の原画フレーム間でオブジェクトの動くベクトルを推定して求める方法と、前後の原画フレーム間に設ける補間フレーム上の座標を基準として補間フレーム上の補間位置を対称点として点対称に前後の原画フレーム上をサーチしてオブジェクトの動き検出をして点対称位置の前後の原画フレーム上の対応する位置を結ぶベクトルを求める方法がある。
【０００４】
後者の方法で前後の原画フレームの中央位置を対称点として求めたベクトルを用いて原画フレーム間の時間軸上の任意の出力位置に補間フレームを生成するには、推定ベクトルを出力位置に応じて平行移動する方法が知られている（例えば、特許文献１参照）。
【０００５】
しかしながら、特許文献１の装置では、推定ベクトルを平行移動する際に、例えば動いている背景と静止している前景の境界(即ち動きの境界)を跨ぐように平行移動した場合に誤補間による破綻が発生する問題がある。つまり、推定ベクトルを平行移動させると、平行移動先で実際のベクトルの向きが変わってしまっていることがあり、このようなときに破綻が生じてしまう。
【特許文献１】特開２００７−８２０３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は上記の問題に鑑み、前後の原画フレーム間の指定位置を対称点として求めたベクトルを用いて原画フレーム間の時間方向の任意の出力位置に補間フレームを生成する際に、推定ベクトルを出力位置に応じて平行移動するとき、そのベクトルが動きの境界を跨ぐ場合に誤補間による破綻が発生するのを防ぐことができる補間フレーム生成装置及びフレームレート変換装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、入力される２枚の連続する前後フレーム間における所定の時間位置に中間フレームを生成するための動きベクトルを入力し、その動きベクトルを前記中間フレームとは時間位置の異なる補間予定の第２の中間フレームの補間しようとする画素上に平行移動する第１のベクトル平行移動部と、前記第１のベクトル平行移動部からの平行移動された動きベクトルを用いて、入力される前記前後フレームの各データから画素ペアを選択する第１の補間画素ペア選択部と、入力される前記動きベクトルのゲインを調整するベクトルゲイン調整部と、前記ベクトルゲイン調整部からのゲイン調整された動きベクトルを入力し、その動きベクトルを前記中間フレームとは時間位置の異なる補間予定の前記第２の中間フレームの補間しようとする画素上に平行移動する第２のベクトル平行移動部と、前記第２のベクトル平行移動部からの平行移動された動きベクトルを用いて、入力される前記前後フレームの各データから画素ペアを選択する第２の補間画素ペア選択部と、前記第１の補間画素ペア選択部からの画素ペア出力と前記第２の補間画素ペア選択部からの画素ペア出力のいずれか一方を選択する第３の補間画素ペア選択部と、前記第３の補間画素ペア選択部の出力として得られる画素のペアを用いて補間処理を行い、補間フレームを生成する補間フレーム生成部と、を具備することを特徴とする補間フレーム生成装置が提供される。
【発明の効果】
【０００８】
本発明によれば、推定ベクトルを出力位置に応じて平行移動する際に、動きの境界を跨ぐ場合に誤補間による破綻が発生するのを防ぐことが可能な補間フレーム生成装置及びフレームレート変換装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
発明の実施の形態について図面を参照して説明する。
図１乃至図３、及び図９乃至図１２を参照して、本発明の実施形態を説明する前に、図４乃至図８を参照して、本発明の関連技術を説明する。
図４は原画フレーム間で動きベクトルを推定する方法の例を示し、図５は補間フレームを基準に動きベクトルを推定する方法の例を示している。
【００１０】
フレームレート変換処理における動きベクトルの推定方法には、図４に示すように、前後の原画フレーム間のベクトルとして求める方法と、図５に示すように、補間フレーム上の座標を基準として補間位置を対称点とした前後の原画フレーム上の点対称位置を結ぶベクトルを求める方法がある。
【００１１】
フレームレート変換技術の一つとして、図５の方法を用いて、補間フレーム上の補間画素に対して点対称の位置にある前後フレーム上の画素のペアを求めて利用する手法がある。この画素ペア探索によって画素補間を行うフレームレート変換技術に対して有効である。
【００１２】
補間フレーム上の補間画素を時間的に通過する画素が、前後フレームのどの画素に対応するのかを、動きベクトル探索手法を用いて求める。この動きベクトルを探索する手法自体は特に限定されないが、補間画素に対して点対称の位置には必ず前後フレームの画素が存在することを利用すると効率がよい。補間画素に対して、複数の組の、前フレームの画素と後フレームの画素がそれぞれ点対称の位置にある。このような前後フレームの画素の組み合わせを複数検出し、組み合わせ画素間の差異が一番小さい組み合わせ画素同士を結ぶ直線を動きベクトルとして探索することが一例として挙げることができる。
【００１３】
ところで、図５に示す方法で前後の原画フレームの中央位置を対称点として求めたベクトルを用いて原画フレーム間の時間方向の任意の出力位置(出力タイミング)に補間フレームを生成するには、特許文献１に述べられているように推定ベクトルを出力位置に応じて平行移動する方法がある。
【００１４】
図６乃至図８は特許文献１に述べられたフレームレート変換装置において前後フレーム間の時間距離が１対１でない補間フレーム作成時の問題及びその補間フレーム作成時における平行移動の例を示している。Ｈはフレームの水平方向、Ｖはフレームの垂直方向、時間はフレーム時間方向を指している。
【００１５】
図６は前後フレーム３０１，３０３間の時間距離がα：β(但しα≠β)にある補間フレーム３０２上の補間画素３０５と点対称の位置にある前後フレーム３０１，３０３上の画素３０４，３０６との関係を立体的に(水平Ｈ，垂直Ｖ，時間)に表現した図である。図７は図６における水平Ｈと時間によって平面的に表現した図、図８は推定ベクトルを平行移動した例を示す図である。
【００１６】
フレームレート変換技術を前フレーム画像と後フレーム画像との時間距離が１対１(即ち中央位置)でない補間フレーム作成に適用した場合、補間フレーム上の補間画素と点対称の位置に前後フレーム上の画素が存在しないという状況(問題)が発生する。これを、図６を用いて説明する。
【００１７】
前フレーム３０１、後フレーム３０３に対して時間距離がα対β（α：β≠１：１）にある補間フレーム３０２上の補間画素３０５と点対称の位置にある前後フレーム上の画素は、図６及び図７に図示した画素３０４，３０６のように、元々前フレーム３０１及び後フレーム３０３内に存在しない画素となってしまう。このような場合、前後フレーム３０１，３０３内に元々存在する画素を補間処理して動きベクトル探索に必要な精細度まで解像度を高めた上で、画素ペアの探索を行う必要があるが、先行技術の特許文献１では、動きベクトル探索前に画素の補間処理を行う必要がなく、原画フレーム間の中央位置でのフレーム上の補間画素の推定ベクトルを求め、これを補間フレーム上に平行移動することによって簡易な処理で高画質なフレームレート変換を行っている。
【００１８】
特許文献１の先行技術の原理について図８を参照して説明する。
本先行技術では、まず、前後フレームに対する補間フレームの時間距離が１：１であるか否かに関わらず、常に時間距離が１対１にあるフレーム上の画素の動きベクトルを求めている。図８に示すように、前フレーム５０１と後フレーム５０３との間の時間距離がα（＝５）対β（＝１）になるような補間フレーム５０２の補間画素５０４の動きベクトルを求める際には、そのフレーム上の画素の動きベクトルとして、上記の前後フレームから時間距離が１対１にある補間フレーム上であって補間画素５０４と同一空間位置の画素５０５の動きベクトルを探索して動きベクトル５０６を求め、その動きベクトルと平行なベクトルであって補間画素５０４を通過する動きベクトル５０７を、補間画素５０４の動きベクトルとして設定する。
【００１９】
動きベクトルの平行移動、すなわちベクトル値の変換を行うと、補間に用いる前フレーム５０１上の画素と後フレーム上の画素５０３が、図８に図示した画素Ｐ及び画素Ｎのように画素と画素との間の画素の存在しない位置(即ち画素間の境界部分)に移動してしまうことがあるが、この場合には、周囲画素の画素値を用いて擬似的な画素である擬似画素５０８及び擬似画素５０９を作成する。そして、擬似画素５０８及び擬似画素５０９に基づいて補間フレーム５０２上の補間画素５０４を作成する。補間画素５０４の値は擬似画素５０８，５０９の各値の和をα，βの逆比を用いることによって算出することができる。補間フレーム５０２上の全ての画素について補間画素５０４と同様の作成手法で作成すればその補間画素の集まりが補間フレームとなる。そして補間フレームを前後フレーム間に追加することで映像信号のフレームレートを変換することができる。
【００２０】
なお、上述のとおり、本先行技術においては、動きベクトル探索自体及び画素補間自体に関し、その手法について特に限定されていない。また、図７及び図８では、動きベクトルの水平方向Ｈへの平行移動について説明しているが、動きベクトルの垂直方向Ｖへの平行移動によって補間画素５０４を作成することもできる。
以上述べた特許文献１による前後のフレーム間の時間軸上の任意の位置に補間フレームを作成することによってフレームレート変換処理を行うフレームレート変換技術は、下記のような分野に応用することができる。
【００２１】
テレビジョン受信装置では通常は１秒間に６０枚のインタレースで放送されているテレビジョン信号を６０Ｈｚで表示するが、６０枚の映像の中から中間の映像を作成して１２０枚にフレーム数を増やして表示する受信装置が増えている。このようにテレビジョンでは１２０Ｈｚで表示するものがあるが、例えば映画素材では本来２４Ｈｚで表示するものがある。このような映画素材を１２０Ｈｚの表示のテレビジョン受信装置で表示する場合には、２４Ｈｚでのコマとコマの間に４枚の補間フレームを作成して５倍のフレーム数にすると、１２０Ｈｚになる。こういう場合は、原画フレーム間に４枚のフレームを内挿することになる。本発明は、原画フレーム間に複数枚の補間フレームを生成して追加(内挿)し、複数倍のフレーム数にするフレームレート変換処理に応用することができる。
【００２２】
ところが、特許文献１の技術では、平行移動の際に、動きの境界をまたいだ場合に誤補間による破綻が発生することは既に述べた通りである。本発明はこの誤補間を軽減するものである。
そこで、本発明の実施形態のフレームレート変換処理では、推定ベクトルの平行移動前にベクトルのゲインを調整することにより、上述の破綻を軽減し、誤補間を軽減できるようにしたものである。
【００２３】
［第１の実施形態］
図１は本発明の第１の実施形態の補間フレーム生成装置を含むフレームレート変換装置のブロック図を示している。
図１に示す補間フレーム生成装置１０は、第１のベクトル平行移動部としての第１の平行移動部１と、第１の補間画素ペア選択部２と、ベクトルゲイン調整部としてのゲイン調整部３と、第２のベクトル平行移動部としての第２の平行移動部４と、第２の補間画素ペア選択部５と、第３の補間画素ペア選択部６と、補間フレーム生成部７と、を備えている。ゲイン調整部３と、第２の平行移動部４と、第２の補間画素ペア選択部５とは、上述の破綻を軽減するための手段である。
【００２４】
なお、前後フレーム間の時間距離を表すのに、前フレームの時間位置を０とし、後フレームの時間位置を１とすると、前後フレーム間の時間距離は１となる。これに伴い、前フレームをFrame0とし、後フレームをFrame1とし、前後フレーム間の中央位置に相当する中間フレームをFrame0.5と表すことにする。
【００２５】
第１の平行移動部１は、入力される２枚の連続する前後フレーム(Frame0, Frame1)間における所定の時間位置(前後フレーム間の時間距離における所定の位置の意)に中間フレーム(例えば中央位置に相当する中間フレームFrame0.5)を生成するための動きベクトルを入力し、その動きベクトルを所定の時間位置の中間フレーム(Frame0.5)とは時間位置の異なる補間予定の第２の中間フレームの補間しようとする画素上に平行移動する。なお、入力される動きベクトルは、動きベクトル探索手法を用いて求めることができる。
【００２６】
第１の補間画素ペア選択部２は、第１の平行移動部１からの平行移動された動きベクトルを用いて、入力される前後フレーム(Frame0, Frame1)の各データから画素ペアを選択する。
ゲイン調整部３は、入力される動きベクトルのゲインを調整する。ここでのゲイン調整は、前後フレーム間での画像の動き量が大きいことに基づく破綻を防ぐために動き量を小さくすること、即ち前後フレーム間の動きベクトル(図８参照)の傾きを上げる(起きる)方向に変えるためのもので、ゲインの値を０と１との間で下げるように調整を行うことになる。
【００２７】
第２の平行移動部４は、ゲイン調整部３からのゲイン調整された動きベクトルを入力し、その動きベクトルを中間フレーム(Frame0.5)とは時間位置の異なる実際に補間する予定の第２の中間フレームの補間しようとする画素上に平行移動する。
第２の補間画素ペア選択部５は、第２の平行移動部４からの平行移動された動きベクトルを用いて、入力される前後フレーム(Frame0, Frame1)の各データから画素ペアを選択する。
【００２８】
第３の補間画素ペア選択部６は、上述の破綻が生じる状況か否かに応じて、第１の補間画素ペア選択部２からの画素ペア出力か第２の補間画素ペア選択部５からの画素ペア出力かのいずれか一方の出力を選択する。
補間フレーム生成部７は、第３の補間画素ペア選択部６の出力として得られる画素のペアを用いて補間処理を行い、補間フレームを生成する。補間フレーム生成部７では、誤補間が軽減された補間フレームを得ることが可能となる。
【００２９】
上記の構成で、入力される動きベクトルは、入力される前後フレーム(Frame0, Frame1)間の所定の時間位置例えば中央位置にある補間フレーム(Frame0.5)を生成するためのベクトルである。
また、図１に示すフレームレート変換装置２０は、入力される２枚の前後フレーム(Frame0, Frame1)間の時間距離における予め定めた少なくとも１つの時間位置に補間フレームを生成する補間フレーム生成装置１０と、入力される前後フレーム(Frame0, Frame1)間の少なくとも１つの時間位置に、補間フレーム生成装置１０で生成された少なくとも１つの補間フレームを追加してフレームレートを変換した出力を得るフレームレート変換部１１と、を備えて構成されている。
【００３０】
以下に第１の実施形態の動作を説明する。
この実施形態には、入力ベクトルとして、前後の原画フレーム(Frame0, Frame1)の中央位置に補間フレーム(Frame0.5)を生成するための動きベクトルが入力する。
補間に使用する前後フレームの画素ペアは、動きベクトルに応じて選択されるが、原画フレーム間の任意の出力位置に補間フレームを生成するために、第１の平行移動部１において、動きベクトルの値に応じて平行移動した位置の画素ペアの座標を算出する。
【００３１】
補間位置を (x,y)として、入力ベクトルを(Vx, Vy)とする。このときベクトル(Vx, Vy)の定義は図５に示したものとする。このとき原画フレーム(Frame0, Frame1)の中央位置に補間フレーム(Frame0.5)を生成する場合には、
前フレームの
( x−Vx，y−Vy ) ……… (式1)
の位置の画素と、
後フレームの
( x + Vx，y + Vy ) ……… (式2)
の位置の画素が選択されるが、任意の出力位置に補間フレームを生成する場合には、第１の平行移動部１によって、(式1), (式2)の座標を平行移動した、
前フレームの
{ x−Vx + ( 0.5−α )×2×Vx, y−Vy + ( 0.5−α )×2×Vy } … (式3)
および後フレームの
{ x + Vx + ( 0.5−α )×2×Vx，y + Vy + ( 0.5−α )×2×Vy } … (式4)
の座標を算出する。
【００３２】
ここでのαは前フレーム位置を0として後フレーム位置を1.0とした場合の出力位置で、0〜1.0の値を持つものである。(図６乃至図８の特許文献１の場合ではαとβとで補間フレームの出力位置を表しているが、図１乃至図５、図９乃至図１１ではαのみで補間フレームの出力位置を表している。)
第１の補間画素ペア選択部２は、第１の平行移動部１において算出された座標の画素値を本実施形態(図１)に入力する前後フレーム(Frame0, Frame1)の原画データから選択する。
【００３３】
ゲイン調整部３は本実施形態(図１)に入力する動きベクトルの値に対してゲイン調整をする。ゲイン調整値としては、実使用上 0〜1の値を乗算することを想定している。
例えば 入力ベクトルが(Vx, Vy) = (20, -10) であって、0.5倍でゲイン調整を行うと、ゲイン調整部３の出力は、(10, -5)となる。
【００３４】
第２の平行移動部４は、ゲイン調整部３の出力ベクトルに対して、第１の平行移動部１と同様の処理を施して、補間のために選択する前後フレームの座標を算出する。
第２の補間画素ペア選択部５は、第２の平行移動部４で算出された座標の画素値を本実施形態(図１)に入力する前後フレームの原画データ(Frame0, Frame1)から選択する。
第３の補間画素ペア選択部６は、第１の補間画素ペア選択部２の画素ペア出力と第２の補間画素ペア選択部５の画素ペア出力のうちの一方の出力を選択する。上述の破綻が生じる可能性が大きいときは第２の補間画素ペア選択部５の画素ペア出力を選択する。
【００３５】
補間フレーム生成部７は、第３の補間画素ペア選択部６で選択された画素ペアを用いて補間画素を生成する。
生成の際には、出力位置αに応じて重み付けをしてもよい。例えば以下の式のように重み付けする方法がある。
Frame0データ×(1−α) + Frame1データ×α ……… (式5)
第１の実施形態によれば、推定ベクトルの平行移動前にベクトルのゲインを調整することにより、上述の破綻を軽減し、誤補間を軽減することができる。
【００３６】
［第２の実施形態］
図２は本発明の第２の実施形態の補間フレーム生成装置を含むフレームレート変換装置のブロック図を示している。
本第２の実施形態は、第１の実施形態に第４の補間画素ペア選択部８および補間画素ペア選択判定部９を加えたものである。
【００３７】
第４の補間画素ペア選択部８は、前後フレーム(Frame0, Frame1)間の例えば中央位置にある補間フレーム(Frame0.5)を生成するための動きベクトルを用いて、入力される前後フレーム (Frame0, Frame1)の各データから画素ペアを選択する。つまり、第４の補間画素ペア選択部８は、入力するベクトルによって前述の(式1)、(式2)で算出される座標の画素値を、入力する前後フレーム(Frame0, Frame1)の原画データから選択する。
【００３８】
補間画素ペア選択判定部９は、第１の補間画素ペア選択部２と第２の補間画素ペア選択部５と第４の補間画素ペア選択部８からの各画素ペア出力を用いて、第３の補間画素ペア選択部６において第１の補間画素ペア選択部２の出力と第２の補間画素ペア選択部５の出力との２つの入力のうちどちらを選択するかを判断する。
【００３９】
図３は図２の補間画素ペア選択判定部９の構成例のブロック図を示している。
補間画素ペア選択判定部９は、第１の補間画素ペア選択部２の画素ペア出力の２つの画素値の差分絶対値sub1を算出する減算器９１及び絶対値化部９２と、第２の補間画素ペア選択部５の画素ペア出力の２つの画素値の差分絶対値sub2を算出する減算器９３及び絶対値化部９４と、第４の補間画素ペア選択部８の画素ペア出力の２つの画素値の差分絶対値sub4を算出する減算器９５及び絶対値化部９６と、各差分絶対値sub1，sub2，sub4各々を各々の閾値tht1, tht2, tht4と比較し、それらの比較結果に基づいて第１の補間画素ペア選択部の画素ペア出力を選択するか第２の補間画素ペア選択部の画素ペア出力を選択するかを判定する判定部９７と、を備えている。
【００４０】
このように構成された補間画素ペア選択判定部９において、第４の補間画素ペア選択部８の出力として得られる前フレームデータと後フレームデータのペアの差分を算出しその絶対値をsub4とし、第１の補間画素ペア選択部２の出力として得られる前フレームデータと後フレームデータのペアの差分を算出しその絶対値をsub1とし、第２の補間画素ペア選択部５の出力として得られる前フレームデータと後フレームデータのペアの差分を算出しその絶対値をsub2とし、これらsub4，sub1，sub2に対して閾値tht4, tht1, tht2を指定して以下のように判定をする。
sub4 が tht4よりも小さくて、かつ、sub1がtht1よりも大きくて、かつ、sub2がtht2よりも小さい、即ち
sub4 < tht4 かつ sub1 > tht1 かつ sub2 < tht2 …… 条件Ａ
という条件Ａが成立する場合には第２の補間画素ペア選択部５の出力を選択し、条件Ａが成立しない場合には、第１の補間画素ペア選択部２の出力を選択する動作を行う。
【００４１】
次に、sub4, sub1, sub2それぞれに対して、条件Ａが意味するところは、
(1) 入力ベクトルは正しいものが入力している (sub4＜tht4)
(2) 出力位置に応じて平行移動すると、平行移動先のベクトルとして不適切である (sub1＞tht1)
(3) 平行移動前にベクトルのゲインを下げると、適切なベクトルとして使用できる (sub2＜tht2)
ベクトルのゲインを下げることにより、ベクトルの精度が下がり解像度劣化が起こりうるが、そのかわり感覚的に目に付く孤立的な破綻をさけることができる。
【００４２】
以下に、図９乃至図１２の説明図を参照して、平行移動した場合に生じる不具合と、ゲイン調整部３におけるゲイン調整値に関して具体的に説明する。
図９乃至図１１はゲイン調整なしで平行移動した場合の不具合を説明する図、図１２はゲイン調整後の平行移動及びゲイン調整値の求め方を説明する図である。
【００４３】
図９のように背景が右へ移動して前景が静止している条件を仮定する。
このとき図１０のように背景ベクトルの平行移動によって原画フレームFrame1の画素位置BがB’へ移動する際に前景の位置をまたぐ場合がある。
【００４４】
このとき補間後に図１１のような破綻が発生する場合がある。つまり、図１０のように平行移動中に画素位置Ｂが背景と前景の境界をまたぐ場合が生じると、図１１のように補間後に前景と背景で補間することによって起こる破綻が生じる。
【００４５】
しかし、図１２のようにゲイン調整した後に平行移動することによって、誤補間による大きな破綻を防ぐことができる。図１２で、符号ａは平行移動前の前後フレーム(Frame0, Frame1)間における中央位置の補間フレーム(Frame0.5)上の画素を前後フレーム(Frame0, Frame1)間の任意の位置例えば出力位置(Frame0.2)へ平行移動する場合に、まず、動きベクトルａの傾きをゲイン調整しベクトルａの傾きを起こすことによって(即ちゲインを下げることによって)、点線にて示すベクトルｂのようにし、その後にベクトルｂを平行移動してベクトルｂの補間フレーム(Frame0.5)上の画素ｂ1が補間予定の補間フレーム(Frame0.2)上の対応画素ｃ1に重なるように平行移動を行う。これによって平行移動後のベクトルｃの前後フレーム(Frame0, Frame1)上の画素(Ａ’，Ｂ’)の値を算出し、その算出された画素(Ａ’，Ｂ’)の２つの値と前後フレーム(Frame0, Frame1)間の出力位置(Frame0.2)の逆比との関係から画素ｃ1の値を求めることができる。
【００４６】
従って、平行移動前のゲイン調整によって図１２のように平行移動後のＢ’がＢを超えないようにすれば、前景と背景の間で補間することによって発生する大きな破綻はなくなる。そのかわりベクトルの精度が下がることによる解像度劣化は起こり得るが、大きな破綻の発生に比べれば小さな劣化で済む。
【００４７】
このときに必要な条件であるゲイン値をGとすると、図１２の状態が成立するためには(式1)〜(式4)から、
G ＜1 ／（ 1 ＋ abs(0.5−α)×2 ） ………(式6)
となる。absは絶対値をとることを意味する。
【００４８】
第２の実施形態によれば、前後フレーム間の動きベクトルが大きく、平行移動の際に破綻が発生する状況となっても、この状況を判断してゲイン調整を行うことによって破綻の発生を抑えることが可能となる。
以上述べたように、本発明を用いることによって、フレームレート変換の際の破綻を軽減することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１の実施形態の補間フレーム生成装置を含むフレームレート変換装置のブロック図。
【図２】本発明の第２の実施形態の補間フレーム生成装置を含むフレームレート変換装置のブロック図。
【図３】図２の補間画素ペア選択判定部の構成例を示す図。
【図４】原画フレーム間で動きベクトルを推定する方法の例を示す図。
【図５】補間フレームを基準に動きベクトルを推定する方法の例を示す図。
【図６】前後フレーム間の時間距離がα：β(但しα≠β)にある補間フレーム上の補間画素と点対称の位置にある前後フレーム上の画素との関係を立体的(水平Ｈ，垂直Ｖ，時間)に表現した図。
【図７】図６における水平Ｈと時間によって平面的に表現した図。
【図８】特許文献１の技術において、推定ベクトルを平行移動した例を示す図。
【図９】ゲイン調整なしで平行移動した場合の不具合を説明する図。
【図１０】ゲイン調整なしで平行移動した場合の不具合を説明する図。
【図１１】ゲイン調整なしで平行移動した場合の不具合を説明する図。
【図１２】ゲイン調整後の平行移動及びゲイン調整値の求め方を説明する図。
【符号の説明】
【００５０】
１…第１の平行移動部(第１のベクトル平行移動部)
２…第１の補間画素ペア選択部
３…ゲイン調整部(ベクトルゲイン調整部)
４…第２の平行移動部(第２のベクトル平行移動部)
５…第２の補間画素ペア選択部
６…第３の補間画素ペア選択部
７…補間フレーム生成部
８…第４の補間画素ペア選択部
９…補間画素ペア選択判定部
１０，１０Ａ…補間フレーム生成装置
２０，２０Ａ…フレームレート変換装置
【特許請求の範囲】
【請求項１】
入力される２枚の連続する前後フレーム間における所定の時間位置に中間フレームを生成するための動きベクトルを入力し、その動きベクトルを前記中間フレームとは時間位置の異なる補間予定の第２の中間フレームの補間しようとする画素上に平行移動する第１のベクトル平行移動部と、
前記第１のベクトル平行移動部からの平行移動された動きベクトルを用いて、入力される前記前後フレームの各データから画素ペアを選択する第１の補間画素ペア選択部と、
入力される前記動きベクトルのゲインを調整するベクトルゲイン調整部と、
前記ベクトルゲイン調整部からのゲイン調整された動きベクトルを入力し、その動きベクトルを前記中間フレームとは時間位置の異なる補間予定の前記第２の中間フレームの補間しようとする画素上に平行移動する第２のベクトル平行移動部と、
前記第２のベクトル平行移動部からの平行移動された動きベクトルを用いて、入力される前記前後フレームの各データから画素ペアを選択する第２の補間画素ペア選択部と、
前記第１の補間画素ペア選択部からの画素ペア出力と前記第２の補間画素ペア選択部からの画素ペア出力のいずれか一方を選択する第３の補間画素ペア選択部と、
前記第３の補間画素ペア選択部の出力として得られる画素のペアを用いて補間処理を行い、補間フレームを生成する補間フレーム生成部と、
を具備することを特徴とする補間フレーム生成装置。
【請求項２】
入力される前記動きベクトルを用いて、入力される前記前後フレームの各データから画素ペアを選択する第４の補間画素ペア選択部と、
前記第１の補間画素ペア選択部と前記第２の補間画素ペア選択部と前記第４の補間画素ペア選択部からの各画素ペア出力を用いて、前記第３の補間画素ペア選択部において２つの入力のいずれかを選択するかを判定する補間画素ペア選択判定部と、
をさらに具備することを特徴とする請求項１の補間フレーム生成装置。
【請求項３】
前記補間画素ペア選択判定部は、
前記第１の補間画素ペア選択部の画素ペア出力の２つの画素値の差分絶対値をsub1とし、
前記第２の補間画素ペア選択部の画素ペア出力の２つの画素値の差分絶対値をsub2とし、
前記第４の補間画素ペア選択部の画素ペア出力の２つの画素値の差分絶対値をsub4とし、
これらsub1，sub2，sub4に対して定める閾値をそれぞれtht1, tht2, tht4とした場合に、
sub1 > tht1 かつ sub2 < tht2 かつ sub4 < tht4
の関係が成立する場合には前記第２の補間画素ペア選択部の画素ペア出力を選択し、
そうでない場合は前記第１の補間画素ペア選択部の画素ペア出力を選択することを特徴とする請求項２の補間フレーム生成装置。
【請求項４】
入力される前記動きベクトルは、入力される前記前後フレーム間の中央位置にある補間フレームを生成するためのベクトルであることを特徴とする請求項１乃至３のいずれか１つに記載の補間フレーム生成装置。
【請求項５】
請求項１乃至４のいずれか１つに記載の補間フレーム生成装置と、
入力される前記前後フレーム間の少なくとも１つの時間位置に前記補間フレーム生成装置で生成された少なくとも１つの補間フレームを追加してフレームレートを変換した出力を得るフレームレート変換部と、
を具備したことを特徴とするフレームレート変換装置。
【請求項１】
入力される２枚の連続する前後フレーム間における所定の時間位置に中間フレームを生成するための動きベクトルを入力し、その動きベクトルを前記中間フレームとは時間位置の異なる補間予定の第２の中間フレームの補間しようとする画素上に平行移動する第１のベクトル平行移動部と、
前記第１のベクトル平行移動部からの平行移動された動きベクトルを用いて、入力される前記前後フレームの各データから画素ペアを選択する第１の補間画素ペア選択部と、
入力される前記動きベクトルのゲインを調整するベクトルゲイン調整部と、
前記ベクトルゲイン調整部からのゲイン調整された動きベクトルを入力し、その動きベクトルを前記中間フレームとは時間位置の異なる補間予定の前記第２の中間フレームの補間しようとする画素上に平行移動する第２のベクトル平行移動部と、
前記第２のベクトル平行移動部からの平行移動された動きベクトルを用いて、入力される前記前後フレームの各データから画素ペアを選択する第２の補間画素ペア選択部と、
前記第１の補間画素ペア選択部からの画素ペア出力と前記第２の補間画素ペア選択部からの画素ペア出力のいずれか一方を選択する第３の補間画素ペア選択部と、
前記第３の補間画素ペア選択部の出力として得られる画素のペアを用いて補間処理を行い、補間フレームを生成する補間フレーム生成部と、
を具備することを特徴とする補間フレーム生成装置。
【請求項２】
入力される前記動きベクトルを用いて、入力される前記前後フレームの各データから画素ペアを選択する第４の補間画素ペア選択部と、
前記第１の補間画素ペア選択部と前記第２の補間画素ペア選択部と前記第４の補間画素ペア選択部からの各画素ペア出力を用いて、前記第３の補間画素ペア選択部において２つの入力のいずれかを選択するかを判定する補間画素ペア選択判定部と、
をさらに具備することを特徴とする請求項１の補間フレーム生成装置。
【請求項３】
前記補間画素ペア選択判定部は、
前記第１の補間画素ペア選択部の画素ペア出力の２つの画素値の差分絶対値をsub1とし、
前記第２の補間画素ペア選択部の画素ペア出力の２つの画素値の差分絶対値をsub2とし、
前記第４の補間画素ペア選択部の画素ペア出力の２つの画素値の差分絶対値をsub4とし、
これらsub1，sub2，sub4に対して定める閾値をそれぞれtht1, tht2, tht4とした場合に、
sub1 > tht1 かつ sub2 < tht2 かつ sub4 < tht4
の関係が成立する場合には前記第２の補間画素ペア選択部の画素ペア出力を選択し、
そうでない場合は前記第１の補間画素ペア選択部の画素ペア出力を選択することを特徴とする請求項２の補間フレーム生成装置。
【請求項４】
入力される前記動きベクトルは、入力される前記前後フレーム間の中央位置にある補間フレームを生成するためのベクトルであることを特徴とする請求項１乃至３のいずれか１つに記載の補間フレーム生成装置。
【請求項５】
請求項１乃至４のいずれか１つに記載の補間フレーム生成装置と、
入力される前記前後フレーム間の少なくとも１つの時間位置に前記補間フレーム生成装置で生成された少なくとも１つの補間フレームを追加してフレームレートを変換した出力を得るフレームレート変換部と、
を具備したことを特徴とするフレームレート変換装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−４１２１２（Ｐ２０１０−４１２１２Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−１９９８３３（Ｐ２００８−１９９８３３）
【出願日】平成２０年８月１日（２００８．８．１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３９００１０３０８）東芝デジタルメディアエンジニアリング株式会社 (192)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月１日（２００８．８．１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３９００１０３０８）東芝デジタルメディアエンジニアリング株式会社 (192)
【Ｆターム（参考）】
[ Back to top ]