補間フレーム作成方法および補間フレーム作成装置
【課題】より高品位な補間フレーム画像を作成する補間フレーム作成方法および補間フレーム作成装置を提供する。
【解決手段】前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の画像の動きベクトルを検出する動きベクトル検出部１２と、検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する補間画像作成部１３と、を備え、動きベクトル検出部１２は、補間フレーム内の補間ブロックについて、対応する画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出し、算出されたＳＡＤの極小点を検出して動きベクトル候補を検出する極小点判定手段と、極小点判定手段により、複数の動きベクトル候補が検出された場合に、複数の動きベクトル候補についてのＳＡＤ分布から、斜め線画像か否かを判断する斜め線検出部１２Ａと、を備える補間フレーム作成装置１０。
【解決手段】前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の画像の動きベクトルを検出する動きベクトル検出部１２と、検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する補間画像作成部１３と、を備え、動きベクトル検出部１２は、補間フレーム内の補間ブロックについて、対応する画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出し、算出されたＳＡＤの極小点を検出して動きベクトル候補を検出する極小点判定手段と、極小点判定手段により、複数の動きベクトル候補が検出された場合に、複数の動きベクトル候補についてのＳＡＤ分布から、斜め線画像か否かを判断する斜め線検出部１２Ａと、を備える補間フレーム作成装置１０。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は補間フレーム作成方法および補間フレーム作成装置に関する。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００３】
ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体画像がボケて見えるか、物体画像の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００４】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（例えば特許文献１参照）。この方法では、注目画素を中心とした設定範囲内の画素のそれぞれの動きベクトルを検出し、設定範囲内において最も数の多い同一の検出値を求めて、表示画素の表示位置を補正することによって、ノイズ等による画質の劣化を防いでいる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２５４４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動きベクトルを検出する方法として、例えば、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体画像の動いた方向及び距離）を検出する方法がある。上記のように検出された各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
【０００７】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームとで、前フレーム中画像ブロックと、それに最も類似する画像ブロックとの位置の差が、動きベクトルとして検出される。
【０００８】
ＳＡＤを用いたブロックマッチングに基づいて物体画像の動きを推定する時、入力フレーム内に斜め線が存在する場合、その斜め線が存在する画像ブロックについて、正確な動きベクトルを推定することが困難であった。
【０００９】
本発明は、上記事情を鑑みて成されたものであって、斜め線画像である画像ブロックにおいて唯一の動きベクトルを選出し、より高品位な補間フレーム画像を作成する補間フレーム作成方法および補間フレーム作成装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１態様による補間フレーム作成方法は、入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成方法であって、前記入力フレーム画像間での画像の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程と、を備え、前記動きベクトルを検出する工程は、補間フレーム内の補間ブロックについて、対応する画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出し、算出された前記ＳＡＤの極小点を検出して動きベクトル候補を検出する極小点判定工程と、前記極小値判定工程により、複数の動きベクトル候補が検出された場合に、前記複数の動きベクトル候補についてのＳＡＤ分布から、斜め線画像か否かを判断する斜め線検出工程と、を備える補間フレーム作成方法である。
【００１１】
本発明の第２態様による補間フレーム作成装置は、入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成装置であって、前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の画像の動きベクトルを検出する動きベクトル検出部と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する補間画像作成部と、を備え、前記動きベクトル検出部は、補間フレーム内の補間ブロックについて、対応する画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出し、算出された前記ＳＡＤの極小点を検出して動きベクトル候補を検出する極小点判定手段と、前記極小点判定手段により、複数の動きベクトル候補が検出された場合に、前記複数の動きベクトル候補についてのＳＡＤ分布から、斜め線画像か否かを判断する斜め線検出部と、を備える補間フレーム作成装置である。
【発明の効果】
【００１２】
本発明によれば、斜め線画像である画像ブロックにおいて唯一の動きベクトルを選出し、より高品位な補間フレーム画像を作成する補間フレーム作成方法および補間フレーム作成装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る補間フレーム作成装置の一構成例を説明するための図である。
【図２】本発明の一実施形態に係る補間フレーム作成方法および補間フレーム作成装置におけるブロックマッチング処理の一例を説明するための図である。
【図３】全領域隣接点比較により極小点判定を行い、動きベクトルの候補を抽出する処理の一例を説明するための図である。
【図４】極小点判定を行う際の全領域隣接点比較の一例について説明するための図。
【図５Ａ】極小点判定とＳＡＤ値判定とにより動きベクトル候補を抽出する処理の一例を説明するための図である。
【図５Ｂ】極小点判定とＳＡＤ値判定とにより動きベクトル候補を抽出する処理の他の例を説明するための図。
【図６】動画像中に本来唯一の動きをもつ斜め線が存在する場合に、極小点判定とＳＡＤ値判定とによる動きベクトルの候補を抽出する処理の一例を説明するための図である。
【図７】斜め線画像である画像ブロックの動きベクトル候補を抽出する処理の一例を説明するための図である。
【図８】斜め線検出を適用して動きベクトルを抽出する全体処理の一例を説明するためのフローチャートである。
【図９】斜め線検出処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態にかかる補間フレーム作成方法および補間フレーム作成装置について図面を参照して説明する。図１に示すように、本実施形態に係る補間フレーム作成装置１０は、フレームメモリ部１１、動きベクトル検出部１２、補間画像作成部１３を備える。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１５】
補間画像作成部１３は、動きベクトル検出部１２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示されず）にて実行されるソフトウエアとして構成できる。
【００１６】
図２は、ブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２とは、補間フレーム作成装置１０に連続して入力されるフレームである。図２に示す方法では、動きベクトル検出部１２は、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対象の位置にある画像ブロックどうしを、同一位置にある画素毎に比較してＳＡＤを算出する。
【００１７】
すなわち、動きベクトル検出部１２は、算出されたＳＡＤに基づいて、最も類似している画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。画像ブロックどうしが類似しているか否かは、注目画像ブロック内と各画像ブロック内で、互いに同一位置にある画素の画素値間の差分絶対値を、当該画像ブロック内の全画素について求め、その総和ＳＡＤ(Sum of Absolute Difference)に基づいて判断される。例えば、このＳＡＤが最小となる画像ブロックが、注目画像ブロックに最も類似している画像ブロックと判断される。そして、注目画像ブロックから最も類似している画像ブロックまでのベクトルが、注目画像ブロックの動きベクトルとして決定される。
【００１８】
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。
【００１９】
本実施形態では、動きベクトル検出部１２は、所定の補間画像ブロック４１、例えば、補間画像ブロック４１について算出されたＳＡＤの極小点（ＳＡＤの値が極小値となるもの）を検出している。
【００２０】
すなわち、動きベクトル検出部１２は、算出されたＳＡＤを動きベクトルのｘ成分（第１成分）とｙ成分（第２成分）とを軸とする二次元に分布させたＳＡＤ分布から、ＳＡＤが極小点（ブロック）となる動きベクトルを検出している。図３では、動きベクトルのｘ成分（水平成分）のシフト量を横軸とし、動きベクトルのｙ成分（垂直成分）を縦軸として、ＳＡＤ分布を示している。
【００２１】
動きベクトル検出部１２は、例えば、図３および図４に示すように、ＳＡＤ分布からＳＡＤの極小点を検出する。すなわち、図３および図４に示すように、動きベクトル検出部１２は、動きベクトルの全てに対して隣接５点（対象となる点（ブロック）を除けば４点）比較により極小点判定を行うというものである。この比較は、たとえば、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。
【００２２】
まず、極小点判定の対象とする動きベクトルを選択する。次に、動きベクトル検出部１２は選択した動きベクトル候補のＳＡＤと、その上下左右の４つ画素ブロックの動きベクトルのＳＡＤとを比較する。
【００２３】
次に、動きベクトル検出部１２は、選択した動きベクトルのＳＡＤ値が上下左右のＳＡＤ値よりも小さければ、ＳＡＤ分布曲線のグラフ（画像ブロックのシフト量と、ＳＡＤ値との関係を表すグラフ。図示せず。）における下に凸の点であると判定し、これを動きベクトル候補として抽出する。以上の処理は、動きベクトルの全てに対して実施される。
【００２４】
図３では３つの極小値が選択されたことが示されている。図４に示すように、対象とする動きベクトルを中央の座標（ａ、ｂ）の点とし、そのＳＡＤをＳＡＤ＝Ａとする。その周囲の４点（４つの画像ブロック）のＳＡＤ値をそれぞれＢ、Ｃ、Ｄ、Ｅとすると、Ａ＜ＢかつＡ＜ＣかつＡ＜ＤかつＡ＜Ｅであれば、ベクトル（ａ、ｂ）が動きベクトル候補として抽出される。
【００２５】
このような処理により、複数の動きベクトルから極小点ではない候補が排除され、ＳＡＤが極小点となる動きベクトル候補のみが残ることになる。図５Ａ（ａ）乃至（ｃ）に示すように、上記のようにして検出されたＳＡＤの極小点のうちの最小値から所定の閾値ＴＨ内に他の極小点が存在しない場合には、唯一の動きベクトル候補が、当該画像ブロックの動きベクトルとして採用される。
【００２６】
このように、動きベクトルの全てに対し、隣接５点の比較により極小点判定を行う手法を適用することで、ＳＡＤ分布曲線中、下に凸となる動きベクトルのみが動きベクトル候補として抽出されるため、より動きベクトル検出の精度を高めることができる。
【００２７】
一方、例えば図５Ｂ（ａ）乃至（ｃ）に示すように、上記のように検出されたＳＡＤの極小点のうちの最小値から所定の閾値ＴＨ内に、他の極小点が存在する場合がある。この場合、極小点判定により唯一の動きベクトルの候補を抽出することができない。
【００２８】
また、例えば前フレーム２０と後フレーム２２に斜め線が含まれる場合、図６（ａ）に示すようにＳＡＤが分布する。図６（ａ）のようにＳＡＤが分布する場合に、上記のようにＳＡＤが極小点となる動きベクトル候補のみを検出すると、図６（ｂ）に示すように７つのＳＡＤが検出される。図６（ｂ）に示す場合では、検出された７つのＳＡＤのうちの最小値から所定の閾値ＴＨ内に、最小値のＳＡＤを除く他の６つのＳＡＤが全て含まれている。
【００２９】
すなわち、動画像において斜め線が並行移動するとき、図６（ａ）に示すように、斜め方向にＳＡＤの小さな動きベクトルが分布することとなるため、図３および図４に示すような５点による極小点判定方法ではいずれも極小点として判定されてしまう。そのため、図６(ｃ）に示すように、複数の動きベクトル候補が残ってしまい、動きを一意に特定できないことがある。
【００３０】
上記のように、極小点判定を行ったとしても、動画像に斜め線が含まれていて例えそれが唯一の動きを持ったものであったとしても、複数の動きベクトル候補を抽出してしまうことがある。
【００３１】
そこで、本実施形態に係る補間フレーム作成装置１０では、動きベクトル検出部１２は、上記のように、ＳＡＤ分布から極小点を検出しても、唯一の動きベクトルの候補を抽出することができない場合に、画像が斜め１本線であるか否かを検出する斜め線検出部１２Ａを備えている。
【００３２】
本実施形態に係る補間フレーム作成方法および補間フレーム作成装置では、動画像中に斜め1本線があることを検出し、斜め1本線が存在すると判定した場合に、極小点判定で絞り込めなかった複数の動きベクトルを除外することで本来存在する唯一の動きベクトル候補だけを抽出できるようにする。
【００３３】
なお、以下の説明において、例えば図６（ｃ）に示すように極小点判定後のＳＡＤ分布が得られた場合、x成分（第１成分）が最小かつy成分（第２成分）が最小の動きベクトル候補を(left, top)、x成分（第１成分）が最大値かつy成分（第２成分）が最大値の動きベクトル候補を(right, bottom)、x成分（第１成分）が最大かつy成分（第２成分）が最小の動きベクトル候補を(right, top)、x成分（第１成分）が最小かつy成分（第２成分）が最大の動きベクトル候補を(left, bottom)と呼ぶことにする。
【００３４】
本実施形態に係る補間フレーム作成装置は、動きベクトル検出部１２が斜め線検出部１２Ａを備えている。斜め線検出部１２Ａは、極小点判定後の複数の動きベクトル候補の中に、(left, top)の動きベクトル候補と(right, bottom)の動きベクトル候補との両者、あるいは、(right, top)の動きベクトル候補と(left, bottom)の動きベクトル候補との両者が存在するか否かを検出する手段（図示せず）を備えている。このとき、存在する２者の動きベクトル候補で定義される矩形領域内に、他の全ての動きベクトル候補が含まれるか否かを判断する。
【００３５】
例えば、図７（ａ）に示す場合、(left, top)の動きベクトル候補のＳＡＤ分布上の位置を（ｘ１、ｙ１）とし、(right, bottom)の動きベクトル候補のＳＡＤ分布上の位置を（ｘ２、ｙ２）とすると、この２者で定義される矩形領域とは、（ｘ１、ｙ１）、（ｘ１ｙ２）、（ｘ２、ｙ２）および（ｘ２、ｙ１）の座標を頂点（４角に位置するブロック）とする矩形領域である。
【００３６】
動画像中に画面の左上から右下方向にのびる斜め線が存在する場合には、(left, top)の動きベクトル候補と(right, bottom)の動きベクトル候補との両者が存在し、かつ、この2者で定義される矩形領域内に全ての動きベクトル候補が含まれることとなる。
【００３７】
同様に、例えば、動画像に画面の右上から左下方向にのびる斜め線が存在する場合、(right, top)の動きベクトル候補と(left, bottom)の動きベクトル候補との両者が存在し、かつ、この2者で定義される矩形領域内に全ての動きベクトル候補が含まれることとなる。
【００３８】
また、斜め線検出部１２Ａは、極小点判定後の全動きベクトル候補のｘ成分（第１成分）およびｙ成分（第２成分）が、他のいずれかの動きベクトル候補のｘ成分（第１成分）およびｙ成分（第２成分）と一致するか否かを判断するする判断手段（図示せず）をさらに備えている。
【００３９】
例えば、図７（ａ）に示すように、動画像中に画面の左上から右下方向にのびる斜め線が存在する場合、極小点判定後の全動きベクトル候補のx成分（第１成分）およびy成分（第２成分）が、(left, top)の動きベクトル候補と(right, bottom)の動きベクトル候補とで定義される矩形領域内の他のいずれの動きベクトル候補のx成分、y成分とも一致しないことになる。
【００４０】
したがって、(left, top)と(right, bottom)の両者が存在する、または(right, top)と(left, bottom)の両者が存在すること、かつ、各動きベクトルのx成分、y成分が他のいずれの動きベクトルのx成分、y成分とも一致しないこと、の条件を満たす場合に斜め1本線が存在すると判定することができる。
【００４１】
本実施形態では、上記条件により斜め1本線であると判定した場合、斜め線検出部１２Ａは、図７（ｂ）に示すように、ＳＡＤが最小である動きベクトル候補のみを残して他の動きベクトル候補を除外することで、唯一の動きベクトル候補を抽出する。
【００４２】
以下に、本実施形態に係る補間フレーム作成方法について説明する。図８は斜め1本線検出を適用して動きベクトルを抽出する全体処理を示すフローチャートである。図８に示すように、まず、入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体画像の動きベクトルを検出する。次に、ブロックマッチング処理により得られたＳＡＤ分布に対し、極小点判定を行う（ステップＳＴＡ１）。この段階で、動きベクトル候補が１つであるか否かを判断し（ステップＳＴＡ２）、動きベクトル候補が１であれば、その動きベクトル候補を動きベクトルとして採用する（ステップＳＴＡ３）。
【００４３】
動きベクトル候補が複数ある場合には、各動きベクトルに対し、最小のＳＡＤ値を算出し、最小ＳＡＤ値からある閾値内にある動きＳＡＤ値の動きベクトルのみを残し、残りのＳＡＤ値を持つ動きベクトルを候補から除外する（ステップＳＴＡ４）。この時点で候補数が１つに絞られれば（ステップＳＴＡ５）、残った唯一の動きベクトル候補を動きベクトルとして採用する（ステップＳＴＡ３）。
【００４４】
次に、候補として残った各動きベクトルに対し、斜め1本線検出を行う（ステップＳＴＡ６）。斜め１本線検出処理については図９を参照して後述する。
【００４５】
斜め１本線検出処理で、画像ブロックに斜め1本線が含まれる判定された場合（ステップＳＴＡ７）、現時点で残っている複数の動きベクトル候補の中で、ＳＡＤ値が最小である動きベクトル候補を唯一動きベクトルとして採用する（ステップＳＴＡ８）。斜め１本線処理で、斜め1本線でないと判定された場合（ステップＳＴＡ７）、画像ブロックの大きさを変更して動きベクトル候補を検出する等、複数候補が存在する場合の所定の処理を行い動きベクトル検出を行う（ステップＳＴＡ９）。
【００４６】
図９は、斜め1本線検出処理を示すフローチャートである。図９に示すように、まず、図８に示すステップＳＴＡ４で得られた動きベクトル(の群であるＳＡＤ分布)に対し、(left, top)と(right, bottom)の両者が存在するか、もしくは(right, top)と(left, bottom)の両者が存在するかを検出する（ステップＳＴＢ１）。
【００４７】
(left, top)と(right, bottom)との両者、および、(right, top)と(left, bottom)との両者のいずれもが検出されなかった場合（ステップＳＴＢ２）、画像ブロックは斜め１本線ではないと判断される（ステップＳＴＢ３）。
【００４８】
例えば、図５Ｂに示す場合では、極小点判定後の動きベクトル候補について、最小のＳＡＤから所定の閾値の範囲に３つのＳＡＤに対応する動きベクトル候補がある。この３つのＳＡＤの中で、(left, top)となるＳＡＤは存在するが(right, bottom)となるＳＡＤが存在しないため、この場合には斜め１本線ではないと判断される。従って、この場合には、図８に示すステップＳＴＡ９において、複数の動きベクトル候補がある場合の所定の処理がなされる。
【００４９】
一方、図６に示す場合では、極小点判定後の動きベクトル候補について、最小のＳＡＤ値から所定の閾値の範囲にあるＳＡＤの中に、(left, top)となるＳＡＤと(right, bottom)となるＳＡＤとの両者が存在している。
【００５０】
(left, top)と(right, bottom)との両者、および、(right, top)と(left, bottom)との両者のいずれかが検出された場合には、全動きベクトル候補に対しそれぞれのベクトル候補のx成分と他の動きベクトル候補のｘ成分、それぞれのベクトル候補のy成分と他の動きベクトルy成分、のいずれかが一致するものがあるいか否かを確認し（ステップＳＴＢ４）、一致するものがあった場合は画像ブロックは斜め1本線ではないと判定する（ステップＳＴＢ３）。
【００５１】
全動きベクトルのx成分、y成分が他のいずれの動きベクトルのx成分、y成分とも一致しない場合には（ステップＳＴＢ４）、画像ブロックは斜め1本線であると判定される（ステップＳＴＢ６）。例えば図６に示す場合では、最小のＳＡＤ値から所定の閾値の範囲にある複数のＳＡＤのいずれのｘ成分が一致せず、いずれのｙ成分も一致していないため、斜め１本線であると判定される。したがって、この場合には、図８に示すステップＳＴＡ８において、ＳＡＤが最も小さい動きベクトル候補を唯一の動きベクトル候補として採用することとなる。
【００５２】
すなわち、検出されたＳＡＤ分布の極小点検出を行うのみでは、動画像に斜め1本線が含まれた場合に、例えそれが唯一の動きをもっていたとしても、それらを正しく検出できず複数の動きベクトル候補を選出されることがあった。
【００５３】
これに対し、本実施形態に係る補間フレーム作成方法および補間フレーム作成装置によれば、斜め1本線検出を行い斜め1本線であると判定した場合に最も確からしい唯一の動きベクトルだけを動きベクトル候補として選出することができ、その結果より高品位な補間フレーム画像生成が可能となる。
【００５４】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記の実施形態では、画像ブロックが斜め１本線画像であると判断された場合に、複数の動きベクトル候補からＳＡＤが最も小さいものを唯一の動きベクトル候補としているが、斜め１本線が線が延びる方向に移動している場合には、他のいずれの動きベクトル候補を唯一の動きベクトル候補としても、上述の実施形態と同様の効果が得られる。
【００５５】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００５６】
１０…補間フレーム作成装置、１２…動きベクトル検出部、１２Ａ…斜め線検出部、１３…補間画像作成部。
【技術分野】
【０００１】
本発明は補間フレーム作成方法および補間フレーム作成装置に関する。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００３】
ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体画像がボケて見えるか、物体画像の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００４】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（例えば特許文献１参照）。この方法では、注目画素を中心とした設定範囲内の画素のそれぞれの動きベクトルを検出し、設定範囲内において最も数の多い同一の検出値を求めて、表示画素の表示位置を補正することによって、ノイズ等による画質の劣化を防いでいる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２５４４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動きベクトルを検出する方法として、例えば、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体画像の動いた方向及び距離）を検出する方法がある。上記のように検出された各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
【０００７】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームとで、前フレーム中画像ブロックと、それに最も類似する画像ブロックとの位置の差が、動きベクトルとして検出される。
【０００８】
ＳＡＤを用いたブロックマッチングに基づいて物体画像の動きを推定する時、入力フレーム内に斜め線が存在する場合、その斜め線が存在する画像ブロックについて、正確な動きベクトルを推定することが困難であった。
【０００９】
本発明は、上記事情を鑑みて成されたものであって、斜め線画像である画像ブロックにおいて唯一の動きベクトルを選出し、より高品位な補間フレーム画像を作成する補間フレーム作成方法および補間フレーム作成装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１態様による補間フレーム作成方法は、入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成方法であって、前記入力フレーム画像間での画像の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程と、を備え、前記動きベクトルを検出する工程は、補間フレーム内の補間ブロックについて、対応する画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出し、算出された前記ＳＡＤの極小点を検出して動きベクトル候補を検出する極小点判定工程と、前記極小値判定工程により、複数の動きベクトル候補が検出された場合に、前記複数の動きベクトル候補についてのＳＡＤ分布から、斜め線画像か否かを判断する斜め線検出工程と、を備える補間フレーム作成方法である。
【００１１】
本発明の第２態様による補間フレーム作成装置は、入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成装置であって、前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の画像の動きベクトルを検出する動きベクトル検出部と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する補間画像作成部と、を備え、前記動きベクトル検出部は、補間フレーム内の補間ブロックについて、対応する画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出し、算出された前記ＳＡＤの極小点を検出して動きベクトル候補を検出する極小点判定手段と、前記極小点判定手段により、複数の動きベクトル候補が検出された場合に、前記複数の動きベクトル候補についてのＳＡＤ分布から、斜め線画像か否かを判断する斜め線検出部と、を備える補間フレーム作成装置である。
【発明の効果】
【００１２】
本発明によれば、斜め線画像である画像ブロックにおいて唯一の動きベクトルを選出し、より高品位な補間フレーム画像を作成する補間フレーム作成方法および補間フレーム作成装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る補間フレーム作成装置の一構成例を説明するための図である。
【図２】本発明の一実施形態に係る補間フレーム作成方法および補間フレーム作成装置におけるブロックマッチング処理の一例を説明するための図である。
【図３】全領域隣接点比較により極小点判定を行い、動きベクトルの候補を抽出する処理の一例を説明するための図である。
【図４】極小点判定を行う際の全領域隣接点比較の一例について説明するための図。
【図５Ａ】極小点判定とＳＡＤ値判定とにより動きベクトル候補を抽出する処理の一例を説明するための図である。
【図５Ｂ】極小点判定とＳＡＤ値判定とにより動きベクトル候補を抽出する処理の他の例を説明するための図。
【図６】動画像中に本来唯一の動きをもつ斜め線が存在する場合に、極小点判定とＳＡＤ値判定とによる動きベクトルの候補を抽出する処理の一例を説明するための図である。
【図７】斜め線画像である画像ブロックの動きベクトル候補を抽出する処理の一例を説明するための図である。
【図８】斜め線検出を適用して動きベクトルを抽出する全体処理の一例を説明するためのフローチャートである。
【図９】斜め線検出処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態にかかる補間フレーム作成方法および補間フレーム作成装置について図面を参照して説明する。図１に示すように、本実施形態に係る補間フレーム作成装置１０は、フレームメモリ部１１、動きベクトル検出部１２、補間画像作成部１３を備える。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１５】
補間画像作成部１３は、動きベクトル検出部１２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示されず）にて実行されるソフトウエアとして構成できる。
【００１６】
図２は、ブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２とは、補間フレーム作成装置１０に連続して入力されるフレームである。図２に示す方法では、動きベクトル検出部１２は、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対象の位置にある画像ブロックどうしを、同一位置にある画素毎に比較してＳＡＤを算出する。
【００１７】
すなわち、動きベクトル検出部１２は、算出されたＳＡＤに基づいて、最も類似している画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。画像ブロックどうしが類似しているか否かは、注目画像ブロック内と各画像ブロック内で、互いに同一位置にある画素の画素値間の差分絶対値を、当該画像ブロック内の全画素について求め、その総和ＳＡＤ(Sum of Absolute Difference)に基づいて判断される。例えば、このＳＡＤが最小となる画像ブロックが、注目画像ブロックに最も類似している画像ブロックと判断される。そして、注目画像ブロックから最も類似している画像ブロックまでのベクトルが、注目画像ブロックの動きベクトルとして決定される。
【００１８】
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。
【００１９】
本実施形態では、動きベクトル検出部１２は、所定の補間画像ブロック４１、例えば、補間画像ブロック４１について算出されたＳＡＤの極小点（ＳＡＤの値が極小値となるもの）を検出している。
【００２０】
すなわち、動きベクトル検出部１２は、算出されたＳＡＤを動きベクトルのｘ成分（第１成分）とｙ成分（第２成分）とを軸とする二次元に分布させたＳＡＤ分布から、ＳＡＤが極小点（ブロック）となる動きベクトルを検出している。図３では、動きベクトルのｘ成分（水平成分）のシフト量を横軸とし、動きベクトルのｙ成分（垂直成分）を縦軸として、ＳＡＤ分布を示している。
【００２１】
動きベクトル検出部１２は、例えば、図３および図４に示すように、ＳＡＤ分布からＳＡＤの極小点を検出する。すなわち、図３および図４に示すように、動きベクトル検出部１２は、動きベクトルの全てに対して隣接５点（対象となる点（ブロック）を除けば４点）比較により極小点判定を行うというものである。この比較は、たとえば、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。
【００２２】
まず、極小点判定の対象とする動きベクトルを選択する。次に、動きベクトル検出部１２は選択した動きベクトル候補のＳＡＤと、その上下左右の４つ画素ブロックの動きベクトルのＳＡＤとを比較する。
【００２３】
次に、動きベクトル検出部１２は、選択した動きベクトルのＳＡＤ値が上下左右のＳＡＤ値よりも小さければ、ＳＡＤ分布曲線のグラフ（画像ブロックのシフト量と、ＳＡＤ値との関係を表すグラフ。図示せず。）における下に凸の点であると判定し、これを動きベクトル候補として抽出する。以上の処理は、動きベクトルの全てに対して実施される。
【００２４】
図３では３つの極小値が選択されたことが示されている。図４に示すように、対象とする動きベクトルを中央の座標（ａ、ｂ）の点とし、そのＳＡＤをＳＡＤ＝Ａとする。その周囲の４点（４つの画像ブロック）のＳＡＤ値をそれぞれＢ、Ｃ、Ｄ、Ｅとすると、Ａ＜ＢかつＡ＜ＣかつＡ＜ＤかつＡ＜Ｅであれば、ベクトル（ａ、ｂ）が動きベクトル候補として抽出される。
【００２５】
このような処理により、複数の動きベクトルから極小点ではない候補が排除され、ＳＡＤが極小点となる動きベクトル候補のみが残ることになる。図５Ａ（ａ）乃至（ｃ）に示すように、上記のようにして検出されたＳＡＤの極小点のうちの最小値から所定の閾値ＴＨ内に他の極小点が存在しない場合には、唯一の動きベクトル候補が、当該画像ブロックの動きベクトルとして採用される。
【００２６】
このように、動きベクトルの全てに対し、隣接５点の比較により極小点判定を行う手法を適用することで、ＳＡＤ分布曲線中、下に凸となる動きベクトルのみが動きベクトル候補として抽出されるため、より動きベクトル検出の精度を高めることができる。
【００２７】
一方、例えば図５Ｂ（ａ）乃至（ｃ）に示すように、上記のように検出されたＳＡＤの極小点のうちの最小値から所定の閾値ＴＨ内に、他の極小点が存在する場合がある。この場合、極小点判定により唯一の動きベクトルの候補を抽出することができない。
【００２８】
また、例えば前フレーム２０と後フレーム２２に斜め線が含まれる場合、図６（ａ）に示すようにＳＡＤが分布する。図６（ａ）のようにＳＡＤが分布する場合に、上記のようにＳＡＤが極小点となる動きベクトル候補のみを検出すると、図６（ｂ）に示すように７つのＳＡＤが検出される。図６（ｂ）に示す場合では、検出された７つのＳＡＤのうちの最小値から所定の閾値ＴＨ内に、最小値のＳＡＤを除く他の６つのＳＡＤが全て含まれている。
【００２９】
すなわち、動画像において斜め線が並行移動するとき、図６（ａ）に示すように、斜め方向にＳＡＤの小さな動きベクトルが分布することとなるため、図３および図４に示すような５点による極小点判定方法ではいずれも極小点として判定されてしまう。そのため、図６(ｃ）に示すように、複数の動きベクトル候補が残ってしまい、動きを一意に特定できないことがある。
【００３０】
上記のように、極小点判定を行ったとしても、動画像に斜め線が含まれていて例えそれが唯一の動きを持ったものであったとしても、複数の動きベクトル候補を抽出してしまうことがある。
【００３１】
そこで、本実施形態に係る補間フレーム作成装置１０では、動きベクトル検出部１２は、上記のように、ＳＡＤ分布から極小点を検出しても、唯一の動きベクトルの候補を抽出することができない場合に、画像が斜め１本線であるか否かを検出する斜め線検出部１２Ａを備えている。
【００３２】
本実施形態に係る補間フレーム作成方法および補間フレーム作成装置では、動画像中に斜め1本線があることを検出し、斜め1本線が存在すると判定した場合に、極小点判定で絞り込めなかった複数の動きベクトルを除外することで本来存在する唯一の動きベクトル候補だけを抽出できるようにする。
【００３３】
なお、以下の説明において、例えば図６（ｃ）に示すように極小点判定後のＳＡＤ分布が得られた場合、x成分（第１成分）が最小かつy成分（第２成分）が最小の動きベクトル候補を(left, top)、x成分（第１成分）が最大値かつy成分（第２成分）が最大値の動きベクトル候補を(right, bottom)、x成分（第１成分）が最大かつy成分（第２成分）が最小の動きベクトル候補を(right, top)、x成分（第１成分）が最小かつy成分（第２成分）が最大の動きベクトル候補を(left, bottom)と呼ぶことにする。
【００３４】
本実施形態に係る補間フレーム作成装置は、動きベクトル検出部１２が斜め線検出部１２Ａを備えている。斜め線検出部１２Ａは、極小点判定後の複数の動きベクトル候補の中に、(left, top)の動きベクトル候補と(right, bottom)の動きベクトル候補との両者、あるいは、(right, top)の動きベクトル候補と(left, bottom)の動きベクトル候補との両者が存在するか否かを検出する手段（図示せず）を備えている。このとき、存在する２者の動きベクトル候補で定義される矩形領域内に、他の全ての動きベクトル候補が含まれるか否かを判断する。
【００３５】
例えば、図７（ａ）に示す場合、(left, top)の動きベクトル候補のＳＡＤ分布上の位置を（ｘ１、ｙ１）とし、(right, bottom)の動きベクトル候補のＳＡＤ分布上の位置を（ｘ２、ｙ２）とすると、この２者で定義される矩形領域とは、（ｘ１、ｙ１）、（ｘ１ｙ２）、（ｘ２、ｙ２）および（ｘ２、ｙ１）の座標を頂点（４角に位置するブロック）とする矩形領域である。
【００３６】
動画像中に画面の左上から右下方向にのびる斜め線が存在する場合には、(left, top)の動きベクトル候補と(right, bottom)の動きベクトル候補との両者が存在し、かつ、この2者で定義される矩形領域内に全ての動きベクトル候補が含まれることとなる。
【００３７】
同様に、例えば、動画像に画面の右上から左下方向にのびる斜め線が存在する場合、(right, top)の動きベクトル候補と(left, bottom)の動きベクトル候補との両者が存在し、かつ、この2者で定義される矩形領域内に全ての動きベクトル候補が含まれることとなる。
【００３８】
また、斜め線検出部１２Ａは、極小点判定後の全動きベクトル候補のｘ成分（第１成分）およびｙ成分（第２成分）が、他のいずれかの動きベクトル候補のｘ成分（第１成分）およびｙ成分（第２成分）と一致するか否かを判断するする判断手段（図示せず）をさらに備えている。
【００３９】
例えば、図７（ａ）に示すように、動画像中に画面の左上から右下方向にのびる斜め線が存在する場合、極小点判定後の全動きベクトル候補のx成分（第１成分）およびy成分（第２成分）が、(left, top)の動きベクトル候補と(right, bottom)の動きベクトル候補とで定義される矩形領域内の他のいずれの動きベクトル候補のx成分、y成分とも一致しないことになる。
【００４０】
したがって、(left, top)と(right, bottom)の両者が存在する、または(right, top)と(left, bottom)の両者が存在すること、かつ、各動きベクトルのx成分、y成分が他のいずれの動きベクトルのx成分、y成分とも一致しないこと、の条件を満たす場合に斜め1本線が存在すると判定することができる。
【００４１】
本実施形態では、上記条件により斜め1本線であると判定した場合、斜め線検出部１２Ａは、図７（ｂ）に示すように、ＳＡＤが最小である動きベクトル候補のみを残して他の動きベクトル候補を除外することで、唯一の動きベクトル候補を抽出する。
【００４２】
以下に、本実施形態に係る補間フレーム作成方法について説明する。図８は斜め1本線検出を適用して動きベクトルを抽出する全体処理を示すフローチャートである。図８に示すように、まず、入力フレーム画像間のブロックマッチング処理により、フレーム画像内の物体画像の動きベクトルを検出する。次に、ブロックマッチング処理により得られたＳＡＤ分布に対し、極小点判定を行う（ステップＳＴＡ１）。この段階で、動きベクトル候補が１つであるか否かを判断し（ステップＳＴＡ２）、動きベクトル候補が１であれば、その動きベクトル候補を動きベクトルとして採用する（ステップＳＴＡ３）。
【００４３】
動きベクトル候補が複数ある場合には、各動きベクトルに対し、最小のＳＡＤ値を算出し、最小ＳＡＤ値からある閾値内にある動きＳＡＤ値の動きベクトルのみを残し、残りのＳＡＤ値を持つ動きベクトルを候補から除外する（ステップＳＴＡ４）。この時点で候補数が１つに絞られれば（ステップＳＴＡ５）、残った唯一の動きベクトル候補を動きベクトルとして採用する（ステップＳＴＡ３）。
【００４４】
次に、候補として残った各動きベクトルに対し、斜め1本線検出を行う（ステップＳＴＡ６）。斜め１本線検出処理については図９を参照して後述する。
【００４５】
斜め１本線検出処理で、画像ブロックに斜め1本線が含まれる判定された場合（ステップＳＴＡ７）、現時点で残っている複数の動きベクトル候補の中で、ＳＡＤ値が最小である動きベクトル候補を唯一動きベクトルとして採用する（ステップＳＴＡ８）。斜め１本線処理で、斜め1本線でないと判定された場合（ステップＳＴＡ７）、画像ブロックの大きさを変更して動きベクトル候補を検出する等、複数候補が存在する場合の所定の処理を行い動きベクトル検出を行う（ステップＳＴＡ９）。
【００４６】
図９は、斜め1本線検出処理を示すフローチャートである。図９に示すように、まず、図８に示すステップＳＴＡ４で得られた動きベクトル(の群であるＳＡＤ分布)に対し、(left, top)と(right, bottom)の両者が存在するか、もしくは(right, top)と(left, bottom)の両者が存在するかを検出する（ステップＳＴＢ１）。
【００４７】
(left, top)と(right, bottom)との両者、および、(right, top)と(left, bottom)との両者のいずれもが検出されなかった場合（ステップＳＴＢ２）、画像ブロックは斜め１本線ではないと判断される（ステップＳＴＢ３）。
【００４８】
例えば、図５Ｂに示す場合では、極小点判定後の動きベクトル候補について、最小のＳＡＤから所定の閾値の範囲に３つのＳＡＤに対応する動きベクトル候補がある。この３つのＳＡＤの中で、(left, top)となるＳＡＤは存在するが(right, bottom)となるＳＡＤが存在しないため、この場合には斜め１本線ではないと判断される。従って、この場合には、図８に示すステップＳＴＡ９において、複数の動きベクトル候補がある場合の所定の処理がなされる。
【００４９】
一方、図６に示す場合では、極小点判定後の動きベクトル候補について、最小のＳＡＤ値から所定の閾値の範囲にあるＳＡＤの中に、(left, top)となるＳＡＤと(right, bottom)となるＳＡＤとの両者が存在している。
【００５０】
(left, top)と(right, bottom)との両者、および、(right, top)と(left, bottom)との両者のいずれかが検出された場合には、全動きベクトル候補に対しそれぞれのベクトル候補のx成分と他の動きベクトル候補のｘ成分、それぞれのベクトル候補のy成分と他の動きベクトルy成分、のいずれかが一致するものがあるいか否かを確認し（ステップＳＴＢ４）、一致するものがあった場合は画像ブロックは斜め1本線ではないと判定する（ステップＳＴＢ３）。
【００５１】
全動きベクトルのx成分、y成分が他のいずれの動きベクトルのx成分、y成分とも一致しない場合には（ステップＳＴＢ４）、画像ブロックは斜め1本線であると判定される（ステップＳＴＢ６）。例えば図６に示す場合では、最小のＳＡＤ値から所定の閾値の範囲にある複数のＳＡＤのいずれのｘ成分が一致せず、いずれのｙ成分も一致していないため、斜め１本線であると判定される。したがって、この場合には、図８に示すステップＳＴＡ８において、ＳＡＤが最も小さい動きベクトル候補を唯一の動きベクトル候補として採用することとなる。
【００５２】
すなわち、検出されたＳＡＤ分布の極小点検出を行うのみでは、動画像に斜め1本線が含まれた場合に、例えそれが唯一の動きをもっていたとしても、それらを正しく検出できず複数の動きベクトル候補を選出されることがあった。
【００５３】
これに対し、本実施形態に係る補間フレーム作成方法および補間フレーム作成装置によれば、斜め1本線検出を行い斜め1本線であると判定した場合に最も確からしい唯一の動きベクトルだけを動きベクトル候補として選出することができ、その結果より高品位な補間フレーム画像生成が可能となる。
【００５４】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記の実施形態では、画像ブロックが斜め１本線画像であると判断された場合に、複数の動きベクトル候補からＳＡＤが最も小さいものを唯一の動きベクトル候補としているが、斜め１本線が線が延びる方向に移動している場合には、他のいずれの動きベクトル候補を唯一の動きベクトル候補としても、上述の実施形態と同様の効果が得られる。
【００５５】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００５６】
１０…補間フレーム作成装置、１２…動きベクトル検出部、１２Ａ…斜め線検出部、１３…補間画像作成部。
【特許請求の範囲】
【請求項１】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成方法であって、
前記入力フレーム画像間での画像の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程と、を備え、
前記動きベクトルを検出する工程は、補間フレーム内の補間ブロックについて、対応する画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出し、算出された前記ＳＡＤの極小点を検出して動きベクトル候補を検出する極小点判定工程と、
前記極小値判定工程により、複数の動きベクトル候補が検出された場合に、前記複数の動きベクトル候補についてのＳＡＤ分布から、斜め線画像か否かを判断する斜め線検出工程と、を備える補間フレーム作成方法。
【請求項２】
前記斜め線検出工程は、前記複数の動きベクトル候補の中に、第１成分が最小かつ第２成分が最小の動きベクトル候補と、第１成分が最大かつ第２成分が最大の動きベクトル候補との両者、あるいは、第１成分が最大かつ第２成分が最小の動きベクトル候補と、第１成分が最小かつ第２成分が最大の動きベクトル候補との両者が存在するかを検出する第１検出工程と、
前記第１検出工程で、第１成分が最小かつ第２成分が最小の動きベクトル候補と、第１成分が最大かつ第２成分が最大の動きベクトル候補との両者、あるいは、第１成分が最大かつ第２成分が最小の動きベクトル候補と、第１成分が最小かつ第２成分が最大の動きベクトル候補との両者が存在すると検出された場合、全動きベクトル候補について、第１成分が他のいずれの動きベクトルの第１成分と一致せず、かつ、第２成分が他のいずれの動きベクトルの第２成分とも一致しないことを確認する第２検出工程と、を備える請求項１記載の補間フレーム作成方法。
【請求項３】
前記斜め線検出工程において斜め線画像であると判断された場合に、前記複数の動きベクトル候補のうちでＳＡＤの最も小さい動きベクトル候補を、唯一の動きベクトル候補とする請求項１または請求項２記載の補間フレーム作成方法。
【請求項４】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成装置であって、
前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の画像の動きベクトルを検出する動きベクトル検出部と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する補間画像作成部と、を備え、
前記動きベクトル検出部は、補間フレーム内の補間ブロックについて、対応する画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出し、算出された前記ＳＡＤの極小点を検出して動きベクトル候補を検出する極小点判定手段と、
前記極小点判定手段により、複数の動きベクトル候補が検出された場合に、前記複数の動きベクトル候補についてのＳＡＤ分布から、斜め線画像か否かを判断する斜め線検出部と、を備える補間フレーム作成装置。
【請求項５】
前記斜め検出部は、前記複数の動きベクトル候補の中に、第１成分が最小かつ第２成分が最小の動きベクトル候補と、第１成分が最大かつ第２成分が最大の動きベクトル候補との両者、あるいは、第１成分が最大かつ第２成分が最小の動きベクトル候補と、第１成分が最小かつ第２成分が最大の動きベクトル候補との両者が存在するかを検出する検出手段と、
前記検出手段で、第１成分が最小かつ第２成分が最小の動きベクトル候補と、第１成分が最大かつ第２成分が最大の動きベクトル候補との両者、あるいは、第１成分が最大かつ第２成分が最小の動きベクトル候補と、第１成分が最小かつ第２成分が最大の動きベクトル候補との両者が存在すると検出された場合に、全動きベクトル候補について、第１成分が他のいずれかの動きベクトルの第１成分と一致するか否か、および第２成分が多のいずれかの動きベクトルの第２成分と一致するか否かを判断するする判断手段と、を備える請求項４記載の補間フレーム作成装置。
【請求項６】
前記動きベクトル検出部は、前記斜め線検出部によって斜め線画像が検出された場合に、前記複数の動きベクトル候補の中でＳＡＤの最も小さい動きベクトル候補を、唯一の動きベクトル候補とする請求項４または請求項５記載の補間フレーム作成装置。
【請求項１】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成方法であって、
前記入力フレーム画像間での画像の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する工程と、を備え、
前記動きベクトルを検出する工程は、補間フレーム内の補間ブロックについて、対応する画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出し、算出された前記ＳＡＤの極小点を検出して動きベクトル候補を検出する極小点判定工程と、
前記極小値判定工程により、複数の動きベクトル候補が検出された場合に、前記複数の動きベクトル候補についてのＳＡＤ分布から、斜め線画像か否かを判断する斜め線検出工程と、を備える補間フレーム作成方法。
【請求項２】
前記斜め線検出工程は、前記複数の動きベクトル候補の中に、第１成分が最小かつ第２成分が最小の動きベクトル候補と、第１成分が最大かつ第２成分が最大の動きベクトル候補との両者、あるいは、第１成分が最大かつ第２成分が最小の動きベクトル候補と、第１成分が最小かつ第２成分が最大の動きベクトル候補との両者が存在するかを検出する第１検出工程と、
前記第１検出工程で、第１成分が最小かつ第２成分が最小の動きベクトル候補と、第１成分が最大かつ第２成分が最大の動きベクトル候補との両者、あるいは、第１成分が最大かつ第２成分が最小の動きベクトル候補と、第１成分が最小かつ第２成分が最大の動きベクトル候補との両者が存在すると検出された場合、全動きベクトル候補について、第１成分が他のいずれの動きベクトルの第１成分と一致せず、かつ、第２成分が他のいずれの動きベクトルの第２成分とも一致しないことを確認する第２検出工程と、を備える請求項１記載の補間フレーム作成方法。
【請求項３】
前記斜め線検出工程において斜め線画像であると判断された場合に、前記複数の動きベクトル候補のうちでＳＡＤの最も小さい動きベクトル候補を、唯一の動きベクトル候補とする請求項１または請求項２記載の補間フレーム作成方法。
【請求項４】
入力されるフレーム画像を用いて、入力フレーム画像間に位置する新たな補間フレームを作成する補間フレーム作成装置であって、
前記入力フレーム画像間のブロックマッチング処理により、フレーム画像内の画像の動きベクトルを検出する動きベクトル検出部と、前記検出した動きベクトルを用いて補間フレームを作成して前記入力フレーム画像間に挿入する補間画像作成部と、を備え、
前記動きベクトル検出部は、補間フレーム内の補間ブロックについて、対応する画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出し、算出された前記ＳＡＤの極小点を検出して動きベクトル候補を検出する極小点判定手段と、
前記極小点判定手段により、複数の動きベクトル候補が検出された場合に、前記複数の動きベクトル候補についてのＳＡＤ分布から、斜め線画像か否かを判断する斜め線検出部と、を備える補間フレーム作成装置。
【請求項５】
前記斜め検出部は、前記複数の動きベクトル候補の中に、第１成分が最小かつ第２成分が最小の動きベクトル候補と、第１成分が最大かつ第２成分が最大の動きベクトル候補との両者、あるいは、第１成分が最大かつ第２成分が最小の動きベクトル候補と、第１成分が最小かつ第２成分が最大の動きベクトル候補との両者が存在するかを検出する検出手段と、
前記検出手段で、第１成分が最小かつ第２成分が最小の動きベクトル候補と、第１成分が最大かつ第２成分が最大の動きベクトル候補との両者、あるいは、第１成分が最大かつ第２成分が最小の動きベクトル候補と、第１成分が最小かつ第２成分が最大の動きベクトル候補との両者が存在すると検出された場合に、全動きベクトル候補について、第１成分が他のいずれかの動きベクトルの第１成分と一致するか否か、および第２成分が多のいずれかの動きベクトルの第２成分と一致するか否かを判断するする判断手段と、を備える請求項４記載の補間フレーム作成装置。
【請求項６】
前記動きベクトル検出部は、前記斜め線検出部によって斜め線画像が検出された場合に、前記複数の動きベクトル候補の中でＳＡＤの最も小さい動きベクトル候補を、唯一の動きベクトル候補とする請求項４または請求項５記載の補間フレーム作成装置。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１７８２０８（Ｐ２０１０−１７８２０８Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−２０６９１（Ｐ２００９−２０６９１）
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]