補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置
【課題】この発明は補間フレームを作成用の動きベクトルを一層適切に選択又は作成でき動きベクトル検出が不定な領域についても良好な画像を提供する。
【解決手段】この発明は、動きベクトル検出部の判定部１２ａ，１２ｂにより大小のブロックを用いたフレーム間のブロックマッチング処理を行い動きベクトル候補を検出する。動きベクトル候補が1つのみ検出された場合には該動きベクトル候補を取り出す。しかし動きベクトル候補が複数検出された場合には、判定部１２ｃにより対応する補間ブロックに対しては補間フレームより前のフレームの画像の再描画を指示する指示情報を取り出す。補間画像作成部１３にて、動きベクトル候補が特定された場合は対応する補間ブロックの動きベクトル対応画像を成生する。また前記再描画の指示情報に基づいて対応する補間ブロックに再描画を行なうとともに、前記指示情報の割合が設定されたエリア内で予め設定した値より多い場合には、前記動きベクトル対応画像の領域に対しても、結果的に前記再描画を行う。
【解決手段】この発明は、動きベクトル検出部の判定部１２ａ，１２ｂにより大小のブロックを用いたフレーム間のブロックマッチング処理を行い動きベクトル候補を検出する。動きベクトル候補が1つのみ検出された場合には該動きベクトル候補を取り出す。しかし動きベクトル候補が複数検出された場合には、判定部１２ｃにより対応する補間ブロックに対しては補間フレームより前のフレームの画像の再描画を指示する指示情報を取り出す。補間画像作成部１３にて、動きベクトル候補が特定された場合は対応する補間ブロックの動きベクトル対応画像を成生する。また前記再描画の指示情報に基づいて対応する補間ブロックに再描画を行なうとともに、前記指示情報の割合が設定されたエリア内で予め設定した値より多い場合には、前記動きベクトル対応画像の領域に対しても、結果的に前記再描画を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置に関し、動画像を構成するフレーム画像の間に補間フレームを作成し、挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００３】
ＬＣＤに表示されたこのような映像が視聴される場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００４】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチング処理が実行され、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルが利用され、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームが２枚の入力フレーム間に挿入されることで、フレーム数が増加された動画像を表示することができる。
【０００５】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックが選択され、次に、両ブロック間の互いに対応する画素間の差分が計算される。この差分結果を累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中の画像ブロックが、前フレーム中の画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
【０００６】
ＳＡＤを用いたブロックマッチングに基づいて動画の動きを推定する時、入力フレーム内に周期的パターンをもつ絵柄が存在する場合、該周期的パターン内の画像ブロックでは、正確な動きベクトルを推定できない。
【０００７】
動きベクトルを得るための技術としてブロックサイズを可変する技術がある（特許文献１）。この文献の技術では、画像圧縮を行うために、小ブロックを利用して動きベクトルを検出して画像動き補償を行なう。動き補償を行なった画像と次のフレームの画像が比較されたとき、予測誤差が得られる。この予測誤差と閾値とが比較され、もし閾値がより予測誤差が大きいときは、小ブロックを結合した大きいブロックを利用して動きベクトルを検出する。検出した動きベクトルに基づいて画像動き補償を行う。そして、動き補償を行なった画像と次のフレームの画像が比較され予測誤差が得られる。この予測誤差が閾値より小さければ、現在のブロックサイズを用いた動きベクトル検出が行なわれる。
【０００８】
しかし上記の特許文献の技術は、前フレームと後フレームの２枚の現存するフレーム間の画像が比較され、動きベクトルが検出され、前のフレームの画像を動きベクトルに従って予測画像として後のフレームの画像に近づける処理である。この処理は、圧縮情報量を少なくするための手法である。
【０００９】
これに対して新たな補間フレームを作成し、この補間フレームが２枚の入力フレーム間に挿入する場合、単純に特許文献１の技術を適用できない。補間フレームは画像の動きを滑らかに表示する役割を持たなければならない。
【特許文献１】特開昭６４−７３９８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
この発明は上記の事情に鑑み成されたもので、補間フレームを作成するために必要な動きベクトルを一層適切に選択又は作成することができ、動きベクトル検出が不定な領域についても良好な画像を提供できるようにした補間フレーム作成方法及び補間フレーム作成装置及び放送受信装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、複数の入力フレームの画像を用いて、前記複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置であって、前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックのための動きベクトル候補を検出する動きベクトル検出部と、前記検出した動きベクトルを用いて前記補間フレーム内の各補間ブロックの画像を作成する補間画像作成部を含み、前記動きベクトル検出部は、サイズの異なる複数のブロックのうち小ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果とし取り出す第１の判定部と、前記小ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として取り出す第２の判定部と、前記大ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、この大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前のフレームの画像の再描画を指示する指示情報を判定結果として取り出す第３の判定部とを含み、前記補間画像作成部は、前記第１、第２の判定部が取り出した動きベクトル候補に基づいて、前記補間ブロックの画像を成生する第１の補間ブロック画像成生部と、前記第３の判定部で再描画を指示する指示情報に基づいて対応する補間ブロックに再描画を行なうとともに、前記指示情報の割合が設定されたエリア内で予め設定した値より多い場合には、前記第１の補間ブロック画像成生部で生成した補間ブロックの領域に対しても、結果的に前記再描画を行う第２の補間ブロック画像成生部を含むことを特徴とする。
【発明の効果】
【００１２】
上記の手段によると、補間フレームを作成するために必要な動きベクトルを一層適切に選択又は作成し、補間フレーム内でのベクトル検出結果の分布適正化を行うことができる。よって、領域毎に秩序をもって適正化された高品位な動き画像を得ることが可能となる。そして動きベクトル検出が不定な領域についても良好な画像を提供できる。
【発明を実施するための最良の形態】
【００１３】
以下図面を参照して、この発明の実施の形態を説明する。図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。
【００１４】
補間フレーム作成装置１０は、フレームメモリ部１１、動きベクトル検出部１２、補間画像作成部１３を含む。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１５】
補間画像作成部１３は、動きベクトル検出部１２の検出結果及び判定結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示されず）にて実行されるソフトウエアとして構成できる。
【００１６】
動きベクトル検出部１２内には、後述するように第１、第２、第３の判定部１２ａ，１２ｂ，１２ｃが設けられ、動きベクトルの抽出するブロックを種々選択し、多面的に適切な動きベクトルを得られる。判定部の数はさらに増加されてもよい。補間画像作成部１３は、第１の補間ブロック画像成生部１３ａ，第２の補間ブロック画像成生部１３ｂを含む。第１の補間ブロック画像成生部１３ａは、後述するブロックマッチング処理により採用する動きベクトルが特定された場合の補間ブロック画像を成生している。また第２の補間ブロック画像成生部１３ｂは、採用する動きベクトルが特定されなかった場合に、設定されたエリア内の動きベクトル分布を判断し、動きベクトル分布の内容に応じて前記１の補間ブロック画像成生部１３ａで成生された間ブロック画像を修正することができる（詳細については後述する）。
【００１７】
図２はブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２は、連続して入力されるフレームである。
【００１８】
補間フレーム２１の画像の挿入位置２１Ａを設定する。挿入位置２１Ａを中心にした点対象として、補間フレーム２１を挟む前後２枚のフレーム２０，２２上でそれぞれ、所定形状の比較用ブロックが平行方向に順次に選定される。また前後２枚のフレーム２０，２２上でそれぞれ、所定形状の比較用ブロックが垂直方向に順次に選定される。このようにブロックの選定箇所は探索範囲内で平行に変遷移動される。
【００１９】
対応する２つのブロックが選定されたとき、２つのブロック内の対応画素間の画素値の差分の絶対値がブロック内の画素全てについて計算され、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が求められ、このＳＡＤ値が最小となる方向が前フレームのブロックに対する画像動きベクトルとされる。
【００２０】
即ち、例えば図３のように水平方向の各領域１−９のＳＡＤの極小値が求められる。実際には図２で示したように探索範囲内の各ブロックの極小値が求められるのであるが、ここでは説明をわかり易くするために水平方向の各領域１−９を代表して示している。今、ＳＡＤの変化曲線ＳＡＤ−１が得られたとする。ここで各領域の極小値のうち、予め設定している閾値内に存在するのは、領域３の極小値Ｐ１である。したがってこの場合は、この値Ｐ１が選択され、この値Ｐ１を得た領域の方向へ画像が動いているものとされる。つまりこの値Ｐ１が動きベクトルとして利用される。
【００２１】
しかし、図３の例では都合よく１つの値Ｐ１が動きベクトルとして現われたが、映像のパターンあるいは絵柄によっては、図４に示すＳＡＤの変化曲線ＳＡＤ−２のように、複数の極小値Ｐ０，Ｐ１、Ｐ２が現われることがある。このような場合にいずれの極小値を適切な動きベクトルとして採用すべきかは不定である。
【００２２】
ブロックマッチングによる動きベクトル検出を精度良く行うために最適なブロックサイズは、映像の解像度や映像内に含まれる対象画像の動き方によって変わってくる。マッチングを行うためには対象画像の形状を識別できる画素値の変化がブロック内に含まれていることが必要であるが、ブロックサイズを大きくしすぎると、そのブロック内に複数の動きをした対象画像が含まれる可能性が大きくなるという問題が発生する。そこで、ブロックサイズはある程度の大きさに制限せざるを得ない。
【００２３】
しかしながら、例えばこのブロックサイズの水平サイズよりも幅の広い、水平方向の周期パターンが対象画像に含まれている場合には、対象画像の動きと周期的な画像の繰り返しとが区別できず、正しい動きの検出が出来なくなる。
【００２４】
図５（Ａ）、図５（Ｂ）、図５（Ｃ）には、周期的な画像の繰り返しパターン５０を有するフレーム上で、小ブロック５１を用いて動きベクトルを検出する様子を示している。このような場合、図５（Ａ）、図５（Ｂ）、図５（Ｃ）の小ブロック５１の位置では、同じＳＡＤ値が得られ、複数の動きベクトルが検出されることになる。
【００２５】
これに対して、図６（Ａ）、図６（Ｂ）、図６（Ｃ）にはブロックサイズを大きくして大ブロック５２を利用して動きベクトル検出を行なった場合を示している。この場合は、図６（Ａ）、図６（Ｂ）、図６（Ｃ）の大ブロック５２のそれぞれの位置で異なるＳＡＤ値が得られ、例えば１つの動きベクトルが得られる。動きベクトルが得られない場合もある。
【００２６】
上記のようにＳＡＤの変化曲線は、周期パターンの含まれていない一般的な自然画像では、あるベクトルの方向においてただ一つの極小点(=最小点)を持つことが多いが、周期パターンが映像に含まれる場合には、ＳＡＤの値が探索範囲内で複数のベクトル方向で極小点を持つという特徴がある。尚、この動きベクトル（大きさと方向を含む）は、図２では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。
【００２７】
図７には、同じ絵柄に対して、小ブロックによる動きベクトル検出、大ブロックによる動きベクトル検出を実施したときに得られる変化曲線ＳＡＤ−２、ＳＡＤ−３を示している。このような場合、選択される動きベクトルは、図８に示すフローチャートの如く設定される。
【００２８】
即ち図８において、小ブロックを用いた動きベクトル検出において、
｜最小値−極小値ｉ｜＜閾値（ＴＨ） ・・・（１）、ｉは探索範囲内のブロックの番号
を満たすｉが２個以上存在するかが判断される（ステップＳＡ１）。存在しない場合にはＳＡＤの最小値で決まったベクトルを選択する（ステップＳＡ２）。
【００２９】
ステップＳＡ１において、（１）式を満たすｉが複数存在した場合には、大ブロックで求めたベクトルを参照する（ステップＳＡ３）。そして、（１）式を満たす複数の極小値方向のベクトルの中で、大ブロックで求めたベクトルと最も距離が近いベクトルが選択される（ステップＳＡ４）。
【００３０】
上記したブロックマッチングにより動きベクトルの検出を行う補間フレーム作成方法は、大きさの異なるブロックを少なくとも２つ以上用いる手法である。通常時には該２つ以上のブロックのうち、小ブロックで検出した動きベクトルを採用する。しかし小ブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった場合、小ブロックよりも大きい大ブロックを用いて検出されたベクトルを参照する。そして小ブロックにおいて検出された確からしい動きベクトルの中から、前記大ブロックで検出された動きベクトルに近い動きベクトルを採用する。これにより、ブロック内に含まれる細かい画像の動きベクトルの検出精度を落とすことなく、周期的なパターンを含んだ映像の動きベクトルの検出精度を向上させることができる。
【００３１】
さらに大ブロックの動き検出を行う際のブロックサイズとして、どれほどの大きさにすれば周期的繰り返しパターンに惑わされずに大ブロックの動きベクトルが正しく検出できるかを検討した。周期的繰り返しパターン幅全てを包含するブロックサイズを適切に設定すれば良い事が分かった。
【００３２】
すなわち、図５、図６に示したように小ブロック５１では各々矩形領域内に同一の画像しか含まないため図５（Ａ）−５（Ｃ）の状態を区別ができない。しかし図６（Ａ）−図６（Ｃ）に示すように、周期的繰り返しパターン幅全てを包含するサイズの大ブロック５２では各々の矩形領域内に含まれる画像は異なるため一意に正しい動きベクトルを検出することが可能である。
【００３３】
この考え方に基づいて、大ブロックの動き検出時ブロックサイズとして、周期的繰り返しパターンに惑わされないほど十分な大きさを有し、かつ、必要以上に大きすぎてブロック内に複数の動きを持つ物体が入り込むことの無い大きさである、というブロックサイズ最適化する手法を実現することができる。
【００３４】
なお、周期的繰り返しパターン幅の算出に関しては、（ａ）小ブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった事象(つまりベクトルを一意に検出できず迷っている状態)の、連続発生回数を測定する。（ｂ）入力画像のライン上での単位パターン繰り返し回数を測定する。等の手法が挙げられる。
【００３５】
絵柄の動きによっては、大ブロックを駆使してもなお正しいベクトルを検出できない場合がある。このような場合、ベクトル検出を素直にあきらめて入力画像を再描画するという選択肢もある。
【００３６】
図９は、小ブロック、可変長大ブロック、固定長大ブロックを利用して動きベクトル候補を見つけるときの動作を示すフローチャートである。この処理は、下記の結果Ａ−Ｄをもたらすものである。尚、可変長大ブロックは、小ブロックが水平或いは垂直方向へ倍数分可変される領域をもつブロックである。固定長大ブロックは、小ブロックが水平或いは垂直方向へ倍数分拡大され、固定された領域のブロックである。
【００３７】
結果Ａ：小ブロック自身のベクトル検出結果が信用に足るので、小ブロックでのベクトル検出結果から最小ＳＡＤの動きベクトルを選択する（ステップＳＢ１−ＳＢ２−ＳＢ３の経路）。
【００３８】
結果Ｂ：ついで、可変長大ブロックでのベクトル検出結果が信用に足るので、可変長大ブロックでのベクトル検出結果から最小ＳＡＤのベクトルを選択し、その値に近い小ブロックでのベクトル検出極小点を選択する（ステップＳＢ１−ＳＢ２−ＳＢ４−ＳＢ５−ＳＢ６の経路）。
【００３９】
結果Ｃ：ついで、固定長大ブロックでのベクトル検出結果が信用に足るので、大ブロック(固定長)でのベクトル検出結果から最小ＳＡＤのベクトルを選択し、その値に近い小ブロックでのベクトル検出極小点を選択する（ステップＳＢ１−ＳＢ２−ＳＢ４−ＳＢ５−ＳＢ７−ＳＢ８−ＳＢ９の経路）。
【００４０】
結果Ｄ：ついで、前記結果ＡからＣまでのステップでは信用に足るベクトルが検出できなかったので、正しいベクトル検出は困難であるとあきらめて、補間画像作成部へ入力画像再描画指示を行うステップＳＢ１−ＳＢ２−ＳＢ４−ＳＢ５−ＳＢ７−ＳＢ８−ＳＢ１０の経路）。
【００４１】
上記結果Ａ，Ｂ，Ｃに基づき作成される画像は動きベクトル対応画像である。結果Ｄに基づき作成される画像は再描画指示に基づく画像である。しかし、結果Ｄの割合が探索エリア内で閾値（例えば、５０％、或いは７５％）を超えている場合には、後述するように動きベクトル対応画像が再描画用の画像とともにブレンドされることがある。
【００４２】
以上のステップを順次経ることで、入力画像の絵柄に応じて部分部分で適応的に、結果ＡからＤまでを柔軟に切り替えたベクトル検出処理が可能となり、結果として高品位な補間画像を生成するための動きベクトルを検出することができるようになった。
【００４３】
図１０（Ａ）〜（Ｄ）は、図９に示した処理により、探索範囲内で小ブロック、可変長大ブロック、固定長大ブロックの動きベクトル候補が決まっていく様子を示している。小ブロックは縦５個横９個の例で示している。図１０（Ａ）は先の小ブロック単位でのブロックマッチング処理が得られるときの様子である。１補間画面内に均等に小ブロックが存在している。図１０（Ｂ）は先の可変長大ブロック単位でのブロックマッチング処理が得られるときの様子である。先の小ブロックでのベクトル検出結果が信用に足らなかったため、１補間画面内に部分的に大ブロック(可変長)が構成されている。
【００４４】
図１０（Ｃ）は先の固定長大ブロック単位でのブロックマッチング処理が得られるときの様子を示している。先の小ブロックでのベクトル検出結果および大ブロック(可変長)でのベクトル検出結果が信用に足らなかったため、１補間画面内に部分的に大ブロック(固定長)が構成されている。そして図１０（Ｄ）は、最終的に選択された結果Ａ−Ｄの分布を示している。絵柄に応じて、１補間画面内で部分部分で適応的に、結果AからDまでを柔軟に切り替えたベクトル検出が行えることを示す一例である。このように、結果Ｄ(正しいベクトル検出は困難であるとあきらめて、補間画像作成部へ入力画像再描画指示を生成する)を適用する部分が新たに生じている。
【００４５】
ここで本発明では、上述した多段階処理要素＝結果Ａ乃至Ｄを無秩序に切り替えるだけではなく、補間フレーム内での結果の分布を適正化する装置及び方法を提供する。すなわち、本発明は以下の処理を行う。
【００４６】
１．直前の補間フレーム生成時の結果Ａ乃至Ｄの出現頻度に基づき、今生成しようとしている補間フレーム内の結果Ａ乃至Ｄの分布を適正化する。
【００４７】
２．結果Ａ乃至Ｄの分布適正化は、補間フレーム内で結果Ｄの出現頻度が多い場合に全ての結果を結果Ｄに揃える処理として実現する。
【００４８】
３．結果Ａ乃至Ｄの分布適正化は、時間方向の急激なベクトル変化を緩和すべく、複数の補間フレームに渡り段階的なαブレンド処理を行う。
【００４９】
４．結果Ａ乃至Ｄの分布適正化は、補間フレームをいくつかの領域に分割して、その個別領域毎に行う。
【００５０】
上記の処理を行うことで、小ブロック単位で無秩序に結果Ａ乃至Ｄが散乱する結果となっていたところを、本発明では、ある程度の大きさの領域毎に結果を揃える効果が発揮される。この結果として領域毎に秩序をもって適正化された高品位な動きベクトル検出結果を出力することが可能となる。以下順を追って詳細を説明する。
【００５１】
まず、本発明の基本理念は、直前の補間フレーム生成時の結果Ａ〜Ｄの出現頻度において結果Ｄの出現割合が所定の閾値より多かった場合には、今生成しようとしている補間フレーム内の結果の全てを、結果的には結果Ｄに揃えたいということである。
【００５２】
この理由は、結果Ａ乃至Ｃはなんとか頑張って動きベクトルを検出した結果であり、一方結果Ｄはあきらめてしまった結果であるため、この異質な結果Ａ乃至Ｄが補間フレーム内で無秩序に入り乱れている状態を改善するものである。結果Ｄが集中している補間フレームを特定し結果を揃えることで、補間フレーム毎に秩序をもって適正化された高品位な結果を出力することが可能となると考えるからである。
【００５３】
具体的な処理例としては、図１１（Ａ），図１１（Ｂ）に示す通り、1画面内のベクトル分布に結果Ｄ(2度振り；再描画指示)出現比率が多い場合に、1画面内全てを結果Ｄに揃える処理となる。同図においては、図９のフローチャートで判断した４段階の結果Ａ乃至Ｄをそのまま出力した補間フレーム(状態Ｓ１とする：図１１（Ａ）)があり、その状態Ｓ１において結果Ｄの出現頻度が閾値(たとえば５０％等)を超えているような場合、次の補間フレーム生成時に１画面内を全て結果Ｄに揃えた補間フレーム(状態Ｓ２とする：図１１（Ｂ）)へ処理が切り替わることを示す。
【００５４】
ここで状態Ｓ１から状態Ｓ２への変化において、1フレーム時間で急激に行われると好ましくない場合があるため、両状態の間を滑らかにつなぐ状態Ｓ３を定義している。
【００５５】
図１２（Ａ），図１２（Ｂ）、図１２（Ｃ）に示す通り、状態Ｓ３においては複数の補間フレームに渡り段階的に変化するα値を用いたαブレンド処理を行うことになる。このαブレンド処理は次の計算式で定義される。
【００５６】
最終出画要素＝多段階処理要素*(１−α）＋総2度振り要素*α
多段階処理要素は、結果Ａ，Ｂ，Ｃに基づく描画要素（画像データ）であり、総２度振り要素は、結果Ｄのときの再描画要素（画像データ）に相当する。
【００５７】
図１２（Ａ）に示すような分布が数フレーム連続する場合、最初の補間フレームでは、図１２（Ａ）に示すように、結果Ａ、Ｂ、Ｃに対応する補間ブロックの画像を成生する場合、
最終出画要素＝多段階処理要素*０．７５＋総２度振り要素*０．２５
の計算で画像が成生される。
【００５８】
次の補間フレームでは、、図１２（Ｂ）に示すように、結果Ａ、Ｂ、Ｃに対応する補間ブロックの画像を成生する場合、
最終出画要素＝多段階処理要素*０．５＋総２度振り要素*０．５
の計算で画像が成生される。
【００５９】
更に次の次の補間フレームでは、、図１２（Ｃ）に示すように、結果Ａ、Ｂ、Ｃに対応する補間ブロックの画像を成生する場合、
最終出画要素＝多段階処理要素*０．２５＋総２度振り要素*０．７５
の計算で画像が成生される。
【００６０】
上記のように、最初のフレームで、α＝０．２５（２５％）で、多段階処理要素が７５％、総2度振り要素が２５％の比率でブレンドされている。次の補間フレームでは、α＝０．５０（５０％）で、多段階処理要素が５０％、総２度振り要素が５０％の比率でブレンドされている。更に次のフレームでα＝０．７５（７５％）で、多段階処理要素が２５％、総２度振り要素が７５％比率でブレンドされている。
【００６１】
上記の例は、αが暫時増えていく様子を説明したが、αが減少していく場合もある。これは、今まで結果Ｄであったブロックが結果Ａ，或いはＢ，或いはＣと判定された場合である。
【００６２】
図１３には補間フレーム１．５、２．５、３，５・・・・５．５までが係数αが順次増えていく状態Ｓ３の特性を示し、補間フレーム５．５、６．５、７．５、８．５までが状態Ｓ２の特性を示し、補間フレーム８．５，９．５・・・・１２．５までが係数αが順次減少していく状態Ｓ３の特性を示している。状態Ｓ１は、４段階の結果Ａ乃至Ｄをそのまま出力した補間フレーム、状態Ｓ２は、１画面内を全て結果Ｄに揃えた補間フレーム、および、状態Ｓ３は、状態Ｓ１と状態Ｓ２の間をαブレンドで滑らかにつなぐ補間フレーム生成モードである。
【００６３】
図１４は、さらに上記の状態ＳＡ１，ＳＡ２，ＳＡ３の変遷経路を示している。状態Ｓ３には、状態Ｓ１又は状態Ｓ２から変遷することができる。
【００６４】
図１５には、状態Ｓ１にあるときの処理フロー、図１６には、状態Ｓ２にあるときの処理フローを示している。図１５の状態Ｓ１にあるときは、直前の補間フレーム成生時の結果Ａ−Ｄの出現頻度において、結果Ｄの出現割合が所定に閾値より多かったか否かを判定し（ステップＳＥ１）、多かった場合は状態Ｓ３に移行する（ステップＳＥ３）が、少なかった場合状態Ｓ１にととどまる。図１６の状態Ｓ２にあるときは、直前の補間フレーム成生時の結果Ａ−Ｄの出現頻度において、結果Ｄの出現割合が所定の閾値より少なかったかどうかを判定する。結果Ｄの出現割合が所定の閾値より少なかった場合、状態Ｓ３へ遷移する。逆に結果Ｄの出現割合が所定の閾値より多かった場合、状態Ｓ２へとどまる。
【００６５】
図１６には、状態Ｓ３における動作を示すフローチャートである。状態Ｓ３へ至った経路が状態Ｓ１から遷移してきたかどうかを判定する（ステップＳＧ１）。ＮＯ（いいえ）であれば、状態Ｓ２から遷移してきたことであり、ＹＥＳ（はい）であれば状態Ｓ１から遷移してきたことである。
【００６６】
ＮＯの場合、ステップＳＧ２において直前の補間フレーム成生時の結果Ａ−Ｄの出現頻度において結果Ｄの出現割合が所定の閾値ＴＨ１より多かったかどうかを判定している。結果Ｄの出現頻度が少なかった場合（ＮＯの場合）、図１３に示したフレーム番号８．５から９．５、１０．５とαが減少するする特性となる。ここで、ステップＳＧ４において、α値をさらに減少させると、０．０に到達するか否かの判定を行なう。０．０に到達するようであれば、α値を０として（ステップＳＧ７）、状態Ｓ１へ遷移する（ステップＳＧ８）。ステップＳＧ４において、α値をさらに減少させても、０．０に到達しない場合は、α値を減少させ（ステップＳＧ５）、状態Ｓ３にとどまる（ステップＳＧ６）。
【００６７】
先のステップＳＧ１において、ＹＥＳ（はい）であれば状態Ｓ１から遷移してきたことであり、ステップＳＧ３に移行する。ステップＳＧ３において直前の補間フレーム成生時の結果Ａ−Ｄの出現頻度において結果Ｄの出現割合が所定の閾値ＴＨ２より少なかったかどうかを判定している。結果Ｄの出現頻度が多かった場合（ＮＯの場合）、図１３に示したフレーム番号１．５から３．５、４．５とαが増大する特性となる。
【００６８】
ここで、ステップＳＧ１０において、α値をさらに増大させると、１．０に到達するか否かの判定を行なう。１．０に到達するようであれば、α値を１として（ステップＳＧ１２）、状態Ｓ２へ遷移する（ステップＳＧ１３）。ステップＳＧ１０において、α値をさらに増大させても、１．０に到達しない場合は、α値を増加させ（ステップＳＧ１１）、状態Ｓ３にとどまる（ステップＳＧ６）。
【００６９】
ステップＳＧ３からステップＳＧ４に移行することは、図１３の状態Ｓ３でαが増加傾向にある途中で、αが減少傾向に向かうことを意味する。逆にステップＳＧ２からステップＳＧ１０に移行することは、図１３の状態Ｓ３でαが減少傾向にある途中で、αが増加傾向に向かうことを意味する。
【００７０】
状態Ｓ１から状態Ｓ３へ遷移するための条件判断閾値ＴＨ１、状態Ｓ２から状態Ｓ３へ遷移するための条件判断閾値ＴＨ２、および、同条件判断閾値ＴＨ１/ＴＨ２は、ヒステリシス特性を持たせるために異なっていても良い。
【００７１】
この発明は上記の実施形態に限定されるものではない。上記の実施形態は、判定結果Ａ−Ｄの分布を調査する範囲として探索範囲全体を選んだ。しかしながら、探索範囲あるいは１画面を複数の領域に分割して本発明を適用してもよい。
【００７２】
上述した説明では今生成しようとしている補間フレーム内の結果Ａ乃至Ｄの分布を適正化する概念として示したが、適正化する単位は補間フレーム１枚全面に限定する必要はなく、たとえば図１８（Ａ），図１８（Ｂ）に示すとおり補間フレームを水平方向の３領域に分割し、それぞれの領域内で個別に本発明を適用し結果Ａ−Ｄの分布を適正化してもよい。
【００７３】
図１８（Ａ）、図１８（Ｂ）は探索範囲（又は１画面）を水平方向に３つに分割した例である。領域１８Ａ，１８Ｂ，１８Ｃを見ると、領域１８Ａ，１８Ｃにおいては結果Ｄの出現率が大きい。そこで、図１８（Ｂ）に示すように、領域１８Ｂはそのままにし、領域１８Ａ，１８Ｃは結果Ｄ以外の部分を結果Ｄに置き換えている。
【００７４】
なお分割形状は水平方向３領域にのみ限定するものではなくたとえば水平方向３領域かつ垂直方向３領域の計９領域に分割することも可能であり、また、複数の分割形状パターンを用意しておき結果Ａ〜Ｃと結果Ｄとの分離特性がより良くなる形状を適応的に切り替えつつ処理を進めることも可能である。
【００７５】
上記したようにこの発明によれば補間フレーム内でのベクトル検出結果の分布適正化を行い、領域毎に秩序をもって適正化された高品位な動きベクトル検出結果を出力することが可能となる。
【００７６】
上記説明では、画像の水平方向への周期パターンに対する動きベクトル検出精度向上策として説明があったが、画像の垂直方向への周期パターンに対する動きベクトル検出精度向上策としても同様に効果がある。
【００７７】
上記説明では、固定長大ブロックの大きさを１例にして、簡素化して説明を行ったが、最終的に動きベクトルを求めたい小さいブロックに到達するまでに、複数段階のより大きいブロックすなわち複数サイズのより大きい固定長ブロックが存在しても良い。
【００７８】
上記説明では、複数考えられるベクトル検出手法に対して、小さいブロック自身でベクトルを決定→可変長大ブロックを利用してベクトルを決定→固定長大ブロックを利用してベクトルを決定→あきらめて入力フレーム画像を再描画、という順序で優先度を付けて切り替える説明を行ったが、優先度の判断に関しては本順序のみに限定される必要は無い。
【００７９】
上記説明では、結果Dとは入力フレーム画像を再描画と表現したが、具体的な動作としては次のいずれかの動作が可能である。（Ａ）入力フレームの前フレーム側画像を再描画、（Ｂ）入力フレームの後フレーム側画像を再描画、（Ｃ）入力フレームの前フレーム側画像と後フレーム側画像との平均値を再描画する。
【００８０】
上記説明では、状態遷移の判断条件として直前の補間フレーム1枚分生成時の情報を使用したが、状態遷移の判断条件として直前の補間フレーム1枚分生成時の情報に限定するものではない。たとえば、状態遷移の安定性を重視するならば、直前の補間フレーム複数枚分生成時の情報を総合して判断することも好適である。
【００８１】
上記説明では、αブレンド係数変化グラフの例として単純な線形形状を示したが、αブレンド係数変化グラフはその他の形状も取りえる。また、異なる形状の係数変化パターンを複数用意し、たとえば結果Ｄの出現比率に応じて適応的に切り替えながら処理を進めることも可能である。
【００８２】
上記説明では、状態遷移の判断条件として直前の補間フレーム生成時の結果Ｄの出現割合を使用したが、状態遷移の判断条件として直前の補間フレーム生成時の結果Ｄの出現割合にのみ限定するものではない。たとえば、結果Ｃと結果Ｄの両者の出現割合を合計した値により判断することも可能である。
【００８３】
また絵柄に応じて、小さいブロック自身でベクトルを決定→大きいブロック(可変長)を利用してベクトルを決定→大きいブロック(固定長)を利用してベクトルを決定→あきらめて入力フレーム画像を再描画、という柔軟なベクトル検出手法切り替えを行いつつ、補間フレーム内でのベクトル検出結果の分布適正化を行い、領域毎に秩序をもって適正化された高品位な動きベクトル検出結果を出力することが可能となる。
【００８４】
本発明の一実施形態に係る補間フレーム生成装置を適用した放送受信装置の一実施形態であるデジタルテレビジョン装置一例を図１９に示す。図１９において、放送受信装置１００は、図１１に示すように一例としてテレビジョン装置であり、制御部１３０は全体の動作を司るべくデータバスを介して各部に接続されている。放送受信装置１００は、再生側を構成するＭＰＥＧデコーダ部１１６と、装置本体の動作を制御する制御部１３０とを主たる構成要素としている。放送受信装置１００は、入力側のセレクタ部１１４と出力側のセレクタ部１２０とを有しており、入力側のセレクタ部１１４には、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２と、ＢＳ／地上波アナログチューナ部１１３が接続される。また、ＬＡＮ等やメール機能をもった通信部１１１がデータバスに接続されて設けられている。
【００８５】
放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２からの復調信号を一時格納するバッファ部１１５と、格納された復調信号であるパケットを種類別に分離する分離部１１７と、分離部１１７から供給された映像音声用のパケットにＭＰＥＧデコード処理を施し映像音声信号を出力するＭＰＥＧデコーダ部１１６と、操作情報等を重畳するための映像信号を生成し映像信号に重畳するＯＳＤ（On Screen Display）重畳部１３４を有している。放送受信装置１００は、更に、ＭＰＥＧデコーダ部１１６からの音声信号に増幅処理等を施す音声処理部１１８と、ＭＰＥＧデコーダ部１１６から映像信号を受けて、所望の映像処理を施す映像処理部１１９と、上述した本発明の一実施形態に係る補間フレーム生成部１０と、ＯＳＤ重畳部１３４と、音声信号及び映像信号の出力先を選択するセレクタ部１２０と、音声処理部１１８からの音声信号に応じて音声を出力するスピーカ部１２１と、セレクタ部１２０に接続されて与えられた映像信号に応じた映像を液晶表示画面等に表示する表示部１２２と、外部装置との通信を行うインタフェース部１２３を有する。
【００８６】
放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２及びＢＳ／地上波アナログチューナ部１１３からの映像情報等を適宜記録する記憶部１３５と、放送信号等から電子番組情報を取得して画面表示等を行なう電子番組情報処理部１３６を有しており、これらは、データバスを介して制御部１３０に接続されている。放送受信装置１００は、更に、データバスを介して制御部１３０に接続されユーザの操作やリモコンＲの操作を受ける操作部１３２及び操作信号を表示する表示部１３３を有している。ここで、リモコンＲは、放送受信装置１００の本体に設けられる操作部１３２とほぼ同等の操作を可能とするものであり、チューナの操作等、各種設定が可能である。
【００８７】
このような構成をもった放送受信装置１００は、放送信号が受信アンテナからＢＳ／ＣＳ／地上波デジタルチューナ部１１２等に入力され、ここで選局が行われる。選局され復調されたパケット形式の復調信号は、分離部１１７により、種類別のパケットに分離され、音声映像用パケットがＭＰＥＧデコーダ部１１６等でデコード処理されて映像音声信号となって、音声処理部１１８及び映像処理部１１９に供給される。
【００８８】
映像処理部１１９は、与えられた映像信号について、例えば、ＩＰ変換部１４１によりインターレース信号をプログレッシブに変換等の画像処理を行う。更に、上述した補間フレーム生成部１０により上述したように、検出困難な動きベクトルの影響を排して安定した補間画像を提供することができるものであり、処理された信号がセレクタ部１２０に供給される。
【００８９】
セレクタ部１２０は、制御部１３０の制御信号に応じて例えば表示部１２２に映像信号を供給し、これにより映像信号に応じた映像が表示部１２２に表示される。また、音声処理部１１８からの音声信号に応じた音声がスピーカ部１２１から出力される。
【００９０】
また、ＯＳＤ重畳部１３４で生成された各種の操作情報や字幕情報等が放送信号に応じた映像信号に重畳され、映像処理部１１９を経てこれに応じた映像が表示部１２２に表示される。
【００９１】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態に係る補間フレーム生成装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係る補間フレーム生成装置のブロックマッチング処理の一例を示す説明図である。
【図３】ブロックマッチング処理時に得られる動きベクトル候補の変遷例を示す説明図である。
【図４】ブロックマッチング処理時に得られる動きベクトル候補の他の変遷例を示す説明図である。
【図５】ブロックマッチング処理を行うときの小ブロックの例を示す説明図である。
【図６】ブロックマッチング処理を行うときの大ブロックの例を示す説明図である。
【図７】ブロックマッチング処理時に得られる動きベクトル候補の他の変遷例を示す説明図である。
【図８】小ブロックと大ブロックを利用して動きベクトル候補を求める際の動作を説明するためのフローチャートである。
【図９】小ブロックと可変領域大ブロック及び固定領域大ブロックを利用して動きベクトル候補を求める際の動作、及び再描画指示を出す際の動作を説明するためのフローチャートである。
【図１０】図９に示したフローチャートで示した小ブロック、可変領域大ブロック、及び固定領域大ブロックと、各ブロックにおける動きベクトル判定結果の説明図である。
【図１１】各ブロックにおける動きベクトル判定結果の分布例と、その分布を強制的に制御した例を示す説明図である。
【図１２】各ブロックにおける動きベクトルの判定結果の分布例と、判定結果Ａ−Ｃに基づく画像データと再描画用の画像データとをαブレンドにより可変するときの説明図である。
【図１３】各ブロックにおける動きベクトルの判定結果Ａ−Ｃに基づく画像データと再描画用の画像データとをαブレンドにより可変するときに移行する状態Ｓ１、Ｓ２，Ｓ３の説明図である。
【図１４】図１３の各状態Ｓ１、Ｓ２，Ｓ３の移行経路を示す説明図である。
【図１５】図１４の状態１における補間フレーム成生装置の動作例を示すフローチャートである。
【図１６】図１４の状態２における補間フレーム成生装置の動作例を示すフローチャートである。
【図１７】図１４の状態３における補間フレーム成生装置の動作例を示すフローチャートである。
【図１８】この発明の変形例を説明するために示した各ブロックの動きベクトルの分布例を示す図である。
【図１９】この発明の補間フレーム成生装置が受信装置に適用された様子を示すブロック図である。
【符号の説明】
【００９３】
１０・・・補間フレーム作成装置、１１・・・フレームメモリ部、１２・・・動きベクトル検出部、１２ａ，１２ｂ，１２ｃ・・・第１、第２、第３の判定部、１３・・・補間画像作成部、１３ａ，１３ｂ・・・第１、第２の補間ブロック画像成生部、１００・・・放送受信装置、１１２・・・ＢＳ／ＣＳ／地上波デジタルチューナ部、１１３・・・ＢＳ／地上波アナログチューナ部、１１４・・・セレクタ部、１１５・・・バッファ部、１１６・・・ＭＰＥＧデコーダ部、１１７・・・分離部、１１８・・・音声処理部、１１９・・・映像処理部、１２２・・・表示部。
【技術分野】
【０００１】
この発明は、補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置に関し、動画像を構成するフレーム画像の間に補間フレームを作成し、挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００３】
ＬＣＤに表示されたこのような映像が視聴される場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００４】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチング処理が実行され、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルが利用され、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームが２枚の入力フレーム間に挿入されることで、フレーム数が増加された動画像を表示することができる。
【０００５】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックが選択され、次に、両ブロック間の互いに対応する画素間の差分が計算される。この差分結果を累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中の画像ブロックが、前フレーム中の画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
【０００６】
ＳＡＤを用いたブロックマッチングに基づいて動画の動きを推定する時、入力フレーム内に周期的パターンをもつ絵柄が存在する場合、該周期的パターン内の画像ブロックでは、正確な動きベクトルを推定できない。
【０００７】
動きベクトルを得るための技術としてブロックサイズを可変する技術がある（特許文献１）。この文献の技術では、画像圧縮を行うために、小ブロックを利用して動きベクトルを検出して画像動き補償を行なう。動き補償を行なった画像と次のフレームの画像が比較されたとき、予測誤差が得られる。この予測誤差と閾値とが比較され、もし閾値がより予測誤差が大きいときは、小ブロックを結合した大きいブロックを利用して動きベクトルを検出する。検出した動きベクトルに基づいて画像動き補償を行う。そして、動き補償を行なった画像と次のフレームの画像が比較され予測誤差が得られる。この予測誤差が閾値より小さければ、現在のブロックサイズを用いた動きベクトル検出が行なわれる。
【０００８】
しかし上記の特許文献の技術は、前フレームと後フレームの２枚の現存するフレーム間の画像が比較され、動きベクトルが検出され、前のフレームの画像を動きベクトルに従って予測画像として後のフレームの画像に近づける処理である。この処理は、圧縮情報量を少なくするための手法である。
【０００９】
これに対して新たな補間フレームを作成し、この補間フレームが２枚の入力フレーム間に挿入する場合、単純に特許文献１の技術を適用できない。補間フレームは画像の動きを滑らかに表示する役割を持たなければならない。
【特許文献１】特開昭６４−７３９８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
この発明は上記の事情に鑑み成されたもので、補間フレームを作成するために必要な動きベクトルを一層適切に選択又は作成することができ、動きベクトル検出が不定な領域についても良好な画像を提供できるようにした補間フレーム作成方法及び補間フレーム作成装置及び放送受信装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、複数の入力フレームの画像を用いて、前記複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置であって、前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックのための動きベクトル候補を検出する動きベクトル検出部と、前記検出した動きベクトルを用いて前記補間フレーム内の各補間ブロックの画像を作成する補間画像作成部を含み、前記動きベクトル検出部は、サイズの異なる複数のブロックのうち小ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果とし取り出す第１の判定部と、前記小ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として取り出す第２の判定部と、前記大ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、この大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前のフレームの画像の再描画を指示する指示情報を判定結果として取り出す第３の判定部とを含み、前記補間画像作成部は、前記第１、第２の判定部が取り出した動きベクトル候補に基づいて、前記補間ブロックの画像を成生する第１の補間ブロック画像成生部と、前記第３の判定部で再描画を指示する指示情報に基づいて対応する補間ブロックに再描画を行なうとともに、前記指示情報の割合が設定されたエリア内で予め設定した値より多い場合には、前記第１の補間ブロック画像成生部で生成した補間ブロックの領域に対しても、結果的に前記再描画を行う第２の補間ブロック画像成生部を含むことを特徴とする。
【発明の効果】
【００１２】
上記の手段によると、補間フレームを作成するために必要な動きベクトルを一層適切に選択又は作成し、補間フレーム内でのベクトル検出結果の分布適正化を行うことができる。よって、領域毎に秩序をもって適正化された高品位な動き画像を得ることが可能となる。そして動きベクトル検出が不定な領域についても良好な画像を提供できる。
【発明を実施するための最良の形態】
【００１３】
以下図面を参照して、この発明の実施の形態を説明する。図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。
【００１４】
補間フレーム作成装置１０は、フレームメモリ部１１、動きベクトル検出部１２、補間画像作成部１３を含む。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１５】
補間画像作成部１３は、動きベクトル検出部１２の検出結果及び判定結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示されず）にて実行されるソフトウエアとして構成できる。
【００１６】
動きベクトル検出部１２内には、後述するように第１、第２、第３の判定部１２ａ，１２ｂ，１２ｃが設けられ、動きベクトルの抽出するブロックを種々選択し、多面的に適切な動きベクトルを得られる。判定部の数はさらに増加されてもよい。補間画像作成部１３は、第１の補間ブロック画像成生部１３ａ，第２の補間ブロック画像成生部１３ｂを含む。第１の補間ブロック画像成生部１３ａは、後述するブロックマッチング処理により採用する動きベクトルが特定された場合の補間ブロック画像を成生している。また第２の補間ブロック画像成生部１３ｂは、採用する動きベクトルが特定されなかった場合に、設定されたエリア内の動きベクトル分布を判断し、動きベクトル分布の内容に応じて前記１の補間ブロック画像成生部１３ａで成生された間ブロック画像を修正することができる（詳細については後述する）。
【００１７】
図２はブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２は、連続して入力されるフレームである。
【００１８】
補間フレーム２１の画像の挿入位置２１Ａを設定する。挿入位置２１Ａを中心にした点対象として、補間フレーム２１を挟む前後２枚のフレーム２０，２２上でそれぞれ、所定形状の比較用ブロックが平行方向に順次に選定される。また前後２枚のフレーム２０，２２上でそれぞれ、所定形状の比較用ブロックが垂直方向に順次に選定される。このようにブロックの選定箇所は探索範囲内で平行に変遷移動される。
【００１９】
対応する２つのブロックが選定されたとき、２つのブロック内の対応画素間の画素値の差分の絶対値がブロック内の画素全てについて計算され、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が求められ、このＳＡＤ値が最小となる方向が前フレームのブロックに対する画像動きベクトルとされる。
【００２０】
即ち、例えば図３のように水平方向の各領域１−９のＳＡＤの極小値が求められる。実際には図２で示したように探索範囲内の各ブロックの極小値が求められるのであるが、ここでは説明をわかり易くするために水平方向の各領域１−９を代表して示している。今、ＳＡＤの変化曲線ＳＡＤ−１が得られたとする。ここで各領域の極小値のうち、予め設定している閾値内に存在するのは、領域３の極小値Ｐ１である。したがってこの場合は、この値Ｐ１が選択され、この値Ｐ１を得た領域の方向へ画像が動いているものとされる。つまりこの値Ｐ１が動きベクトルとして利用される。
【００２１】
しかし、図３の例では都合よく１つの値Ｐ１が動きベクトルとして現われたが、映像のパターンあるいは絵柄によっては、図４に示すＳＡＤの変化曲線ＳＡＤ−２のように、複数の極小値Ｐ０，Ｐ１、Ｐ２が現われることがある。このような場合にいずれの極小値を適切な動きベクトルとして採用すべきかは不定である。
【００２２】
ブロックマッチングによる動きベクトル検出を精度良く行うために最適なブロックサイズは、映像の解像度や映像内に含まれる対象画像の動き方によって変わってくる。マッチングを行うためには対象画像の形状を識別できる画素値の変化がブロック内に含まれていることが必要であるが、ブロックサイズを大きくしすぎると、そのブロック内に複数の動きをした対象画像が含まれる可能性が大きくなるという問題が発生する。そこで、ブロックサイズはある程度の大きさに制限せざるを得ない。
【００２３】
しかしながら、例えばこのブロックサイズの水平サイズよりも幅の広い、水平方向の周期パターンが対象画像に含まれている場合には、対象画像の動きと周期的な画像の繰り返しとが区別できず、正しい動きの検出が出来なくなる。
【００２４】
図５（Ａ）、図５（Ｂ）、図５（Ｃ）には、周期的な画像の繰り返しパターン５０を有するフレーム上で、小ブロック５１を用いて動きベクトルを検出する様子を示している。このような場合、図５（Ａ）、図５（Ｂ）、図５（Ｃ）の小ブロック５１の位置では、同じＳＡＤ値が得られ、複数の動きベクトルが検出されることになる。
【００２５】
これに対して、図６（Ａ）、図６（Ｂ）、図６（Ｃ）にはブロックサイズを大きくして大ブロック５２を利用して動きベクトル検出を行なった場合を示している。この場合は、図６（Ａ）、図６（Ｂ）、図６（Ｃ）の大ブロック５２のそれぞれの位置で異なるＳＡＤ値が得られ、例えば１つの動きベクトルが得られる。動きベクトルが得られない場合もある。
【００２６】
上記のようにＳＡＤの変化曲線は、周期パターンの含まれていない一般的な自然画像では、あるベクトルの方向においてただ一つの極小点(=最小点)を持つことが多いが、周期パターンが映像に含まれる場合には、ＳＡＤの値が探索範囲内で複数のベクトル方向で極小点を持つという特徴がある。尚、この動きベクトル（大きさと方向を含む）は、図２では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。
【００２７】
図７には、同じ絵柄に対して、小ブロックによる動きベクトル検出、大ブロックによる動きベクトル検出を実施したときに得られる変化曲線ＳＡＤ−２、ＳＡＤ−３を示している。このような場合、選択される動きベクトルは、図８に示すフローチャートの如く設定される。
【００２８】
即ち図８において、小ブロックを用いた動きベクトル検出において、
｜最小値−極小値ｉ｜＜閾値（ＴＨ） ・・・（１）、ｉは探索範囲内のブロックの番号
を満たすｉが２個以上存在するかが判断される（ステップＳＡ１）。存在しない場合にはＳＡＤの最小値で決まったベクトルを選択する（ステップＳＡ２）。
【００２９】
ステップＳＡ１において、（１）式を満たすｉが複数存在した場合には、大ブロックで求めたベクトルを参照する（ステップＳＡ３）。そして、（１）式を満たす複数の極小値方向のベクトルの中で、大ブロックで求めたベクトルと最も距離が近いベクトルが選択される（ステップＳＡ４）。
【００３０】
上記したブロックマッチングにより動きベクトルの検出を行う補間フレーム作成方法は、大きさの異なるブロックを少なくとも２つ以上用いる手法である。通常時には該２つ以上のブロックのうち、小ブロックで検出した動きベクトルを採用する。しかし小ブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった場合、小ブロックよりも大きい大ブロックを用いて検出されたベクトルを参照する。そして小ブロックにおいて検出された確からしい動きベクトルの中から、前記大ブロックで検出された動きベクトルに近い動きベクトルを採用する。これにより、ブロック内に含まれる細かい画像の動きベクトルの検出精度を落とすことなく、周期的なパターンを含んだ映像の動きベクトルの検出精度を向上させることができる。
【００３１】
さらに大ブロックの動き検出を行う際のブロックサイズとして、どれほどの大きさにすれば周期的繰り返しパターンに惑わされずに大ブロックの動きベクトルが正しく検出できるかを検討した。周期的繰り返しパターン幅全てを包含するブロックサイズを適切に設定すれば良い事が分かった。
【００３２】
すなわち、図５、図６に示したように小ブロック５１では各々矩形領域内に同一の画像しか含まないため図５（Ａ）−５（Ｃ）の状態を区別ができない。しかし図６（Ａ）−図６（Ｃ）に示すように、周期的繰り返しパターン幅全てを包含するサイズの大ブロック５２では各々の矩形領域内に含まれる画像は異なるため一意に正しい動きベクトルを検出することが可能である。
【００３３】
この考え方に基づいて、大ブロックの動き検出時ブロックサイズとして、周期的繰り返しパターンに惑わされないほど十分な大きさを有し、かつ、必要以上に大きすぎてブロック内に複数の動きを持つ物体が入り込むことの無い大きさである、というブロックサイズ最適化する手法を実現することができる。
【００３４】
なお、周期的繰り返しパターン幅の算出に関しては、（ａ）小ブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった事象(つまりベクトルを一意に検出できず迷っている状態)の、連続発生回数を測定する。（ｂ）入力画像のライン上での単位パターン繰り返し回数を測定する。等の手法が挙げられる。
【００３５】
絵柄の動きによっては、大ブロックを駆使してもなお正しいベクトルを検出できない場合がある。このような場合、ベクトル検出を素直にあきらめて入力画像を再描画するという選択肢もある。
【００３６】
図９は、小ブロック、可変長大ブロック、固定長大ブロックを利用して動きベクトル候補を見つけるときの動作を示すフローチャートである。この処理は、下記の結果Ａ−Ｄをもたらすものである。尚、可変長大ブロックは、小ブロックが水平或いは垂直方向へ倍数分可変される領域をもつブロックである。固定長大ブロックは、小ブロックが水平或いは垂直方向へ倍数分拡大され、固定された領域のブロックである。
【００３７】
結果Ａ：小ブロック自身のベクトル検出結果が信用に足るので、小ブロックでのベクトル検出結果から最小ＳＡＤの動きベクトルを選択する（ステップＳＢ１−ＳＢ２−ＳＢ３の経路）。
【００３８】
結果Ｂ：ついで、可変長大ブロックでのベクトル検出結果が信用に足るので、可変長大ブロックでのベクトル検出結果から最小ＳＡＤのベクトルを選択し、その値に近い小ブロックでのベクトル検出極小点を選択する（ステップＳＢ１−ＳＢ２−ＳＢ４−ＳＢ５−ＳＢ６の経路）。
【００３９】
結果Ｃ：ついで、固定長大ブロックでのベクトル検出結果が信用に足るので、大ブロック(固定長)でのベクトル検出結果から最小ＳＡＤのベクトルを選択し、その値に近い小ブロックでのベクトル検出極小点を選択する（ステップＳＢ１−ＳＢ２−ＳＢ４−ＳＢ５−ＳＢ７−ＳＢ８−ＳＢ９の経路）。
【００４０】
結果Ｄ：ついで、前記結果ＡからＣまでのステップでは信用に足るベクトルが検出できなかったので、正しいベクトル検出は困難であるとあきらめて、補間画像作成部へ入力画像再描画指示を行うステップＳＢ１−ＳＢ２−ＳＢ４−ＳＢ５−ＳＢ７−ＳＢ８−ＳＢ１０の経路）。
【００４１】
上記結果Ａ，Ｂ，Ｃに基づき作成される画像は動きベクトル対応画像である。結果Ｄに基づき作成される画像は再描画指示に基づく画像である。しかし、結果Ｄの割合が探索エリア内で閾値（例えば、５０％、或いは７５％）を超えている場合には、後述するように動きベクトル対応画像が再描画用の画像とともにブレンドされることがある。
【００４２】
以上のステップを順次経ることで、入力画像の絵柄に応じて部分部分で適応的に、結果ＡからＤまでを柔軟に切り替えたベクトル検出処理が可能となり、結果として高品位な補間画像を生成するための動きベクトルを検出することができるようになった。
【００４３】
図１０（Ａ）〜（Ｄ）は、図９に示した処理により、探索範囲内で小ブロック、可変長大ブロック、固定長大ブロックの動きベクトル候補が決まっていく様子を示している。小ブロックは縦５個横９個の例で示している。図１０（Ａ）は先の小ブロック単位でのブロックマッチング処理が得られるときの様子である。１補間画面内に均等に小ブロックが存在している。図１０（Ｂ）は先の可変長大ブロック単位でのブロックマッチング処理が得られるときの様子である。先の小ブロックでのベクトル検出結果が信用に足らなかったため、１補間画面内に部分的に大ブロック(可変長)が構成されている。
【００４４】
図１０（Ｃ）は先の固定長大ブロック単位でのブロックマッチング処理が得られるときの様子を示している。先の小ブロックでのベクトル検出結果および大ブロック(可変長)でのベクトル検出結果が信用に足らなかったため、１補間画面内に部分的に大ブロック(固定長)が構成されている。そして図１０（Ｄ）は、最終的に選択された結果Ａ−Ｄの分布を示している。絵柄に応じて、１補間画面内で部分部分で適応的に、結果AからDまでを柔軟に切り替えたベクトル検出が行えることを示す一例である。このように、結果Ｄ(正しいベクトル検出は困難であるとあきらめて、補間画像作成部へ入力画像再描画指示を生成する)を適用する部分が新たに生じている。
【００４５】
ここで本発明では、上述した多段階処理要素＝結果Ａ乃至Ｄを無秩序に切り替えるだけではなく、補間フレーム内での結果の分布を適正化する装置及び方法を提供する。すなわち、本発明は以下の処理を行う。
【００４６】
１．直前の補間フレーム生成時の結果Ａ乃至Ｄの出現頻度に基づき、今生成しようとしている補間フレーム内の結果Ａ乃至Ｄの分布を適正化する。
【００４７】
２．結果Ａ乃至Ｄの分布適正化は、補間フレーム内で結果Ｄの出現頻度が多い場合に全ての結果を結果Ｄに揃える処理として実現する。
【００４８】
３．結果Ａ乃至Ｄの分布適正化は、時間方向の急激なベクトル変化を緩和すべく、複数の補間フレームに渡り段階的なαブレンド処理を行う。
【００４９】
４．結果Ａ乃至Ｄの分布適正化は、補間フレームをいくつかの領域に分割して、その個別領域毎に行う。
【００５０】
上記の処理を行うことで、小ブロック単位で無秩序に結果Ａ乃至Ｄが散乱する結果となっていたところを、本発明では、ある程度の大きさの領域毎に結果を揃える効果が発揮される。この結果として領域毎に秩序をもって適正化された高品位な動きベクトル検出結果を出力することが可能となる。以下順を追って詳細を説明する。
【００５１】
まず、本発明の基本理念は、直前の補間フレーム生成時の結果Ａ〜Ｄの出現頻度において結果Ｄの出現割合が所定の閾値より多かった場合には、今生成しようとしている補間フレーム内の結果の全てを、結果的には結果Ｄに揃えたいということである。
【００５２】
この理由は、結果Ａ乃至Ｃはなんとか頑張って動きベクトルを検出した結果であり、一方結果Ｄはあきらめてしまった結果であるため、この異質な結果Ａ乃至Ｄが補間フレーム内で無秩序に入り乱れている状態を改善するものである。結果Ｄが集中している補間フレームを特定し結果を揃えることで、補間フレーム毎に秩序をもって適正化された高品位な結果を出力することが可能となると考えるからである。
【００５３】
具体的な処理例としては、図１１（Ａ），図１１（Ｂ）に示す通り、1画面内のベクトル分布に結果Ｄ(2度振り；再描画指示)出現比率が多い場合に、1画面内全てを結果Ｄに揃える処理となる。同図においては、図９のフローチャートで判断した４段階の結果Ａ乃至Ｄをそのまま出力した補間フレーム(状態Ｓ１とする：図１１（Ａ）)があり、その状態Ｓ１において結果Ｄの出現頻度が閾値(たとえば５０％等)を超えているような場合、次の補間フレーム生成時に１画面内を全て結果Ｄに揃えた補間フレーム(状態Ｓ２とする：図１１（Ｂ）)へ処理が切り替わることを示す。
【００５４】
ここで状態Ｓ１から状態Ｓ２への変化において、1フレーム時間で急激に行われると好ましくない場合があるため、両状態の間を滑らかにつなぐ状態Ｓ３を定義している。
【００５５】
図１２（Ａ），図１２（Ｂ）、図１２（Ｃ）に示す通り、状態Ｓ３においては複数の補間フレームに渡り段階的に変化するα値を用いたαブレンド処理を行うことになる。このαブレンド処理は次の計算式で定義される。
【００５６】
最終出画要素＝多段階処理要素*(１−α）＋総2度振り要素*α
多段階処理要素は、結果Ａ，Ｂ，Ｃに基づく描画要素（画像データ）であり、総２度振り要素は、結果Ｄのときの再描画要素（画像データ）に相当する。
【００５７】
図１２（Ａ）に示すような分布が数フレーム連続する場合、最初の補間フレームでは、図１２（Ａ）に示すように、結果Ａ、Ｂ、Ｃに対応する補間ブロックの画像を成生する場合、
最終出画要素＝多段階処理要素*０．７５＋総２度振り要素*０．２５
の計算で画像が成生される。
【００５８】
次の補間フレームでは、、図１２（Ｂ）に示すように、結果Ａ、Ｂ、Ｃに対応する補間ブロックの画像を成生する場合、
最終出画要素＝多段階処理要素*０．５＋総２度振り要素*０．５
の計算で画像が成生される。
【００５９】
更に次の次の補間フレームでは、、図１２（Ｃ）に示すように、結果Ａ、Ｂ、Ｃに対応する補間ブロックの画像を成生する場合、
最終出画要素＝多段階処理要素*０．２５＋総２度振り要素*０．７５
の計算で画像が成生される。
【００６０】
上記のように、最初のフレームで、α＝０．２５（２５％）で、多段階処理要素が７５％、総2度振り要素が２５％の比率でブレンドされている。次の補間フレームでは、α＝０．５０（５０％）で、多段階処理要素が５０％、総２度振り要素が５０％の比率でブレンドされている。更に次のフレームでα＝０．７５（７５％）で、多段階処理要素が２５％、総２度振り要素が７５％比率でブレンドされている。
【００６１】
上記の例は、αが暫時増えていく様子を説明したが、αが減少していく場合もある。これは、今まで結果Ｄであったブロックが結果Ａ，或いはＢ，或いはＣと判定された場合である。
【００６２】
図１３には補間フレーム１．５、２．５、３，５・・・・５．５までが係数αが順次増えていく状態Ｓ３の特性を示し、補間フレーム５．５、６．５、７．５、８．５までが状態Ｓ２の特性を示し、補間フレーム８．５，９．５・・・・１２．５までが係数αが順次減少していく状態Ｓ３の特性を示している。状態Ｓ１は、４段階の結果Ａ乃至Ｄをそのまま出力した補間フレーム、状態Ｓ２は、１画面内を全て結果Ｄに揃えた補間フレーム、および、状態Ｓ３は、状態Ｓ１と状態Ｓ２の間をαブレンドで滑らかにつなぐ補間フレーム生成モードである。
【００６３】
図１４は、さらに上記の状態ＳＡ１，ＳＡ２，ＳＡ３の変遷経路を示している。状態Ｓ３には、状態Ｓ１又は状態Ｓ２から変遷することができる。
【００６４】
図１５には、状態Ｓ１にあるときの処理フロー、図１６には、状態Ｓ２にあるときの処理フローを示している。図１５の状態Ｓ１にあるときは、直前の補間フレーム成生時の結果Ａ−Ｄの出現頻度において、結果Ｄの出現割合が所定に閾値より多かったか否かを判定し（ステップＳＥ１）、多かった場合は状態Ｓ３に移行する（ステップＳＥ３）が、少なかった場合状態Ｓ１にととどまる。図１６の状態Ｓ２にあるときは、直前の補間フレーム成生時の結果Ａ−Ｄの出現頻度において、結果Ｄの出現割合が所定の閾値より少なかったかどうかを判定する。結果Ｄの出現割合が所定の閾値より少なかった場合、状態Ｓ３へ遷移する。逆に結果Ｄの出現割合が所定の閾値より多かった場合、状態Ｓ２へとどまる。
【００６５】
図１６には、状態Ｓ３における動作を示すフローチャートである。状態Ｓ３へ至った経路が状態Ｓ１から遷移してきたかどうかを判定する（ステップＳＧ１）。ＮＯ（いいえ）であれば、状態Ｓ２から遷移してきたことであり、ＹＥＳ（はい）であれば状態Ｓ１から遷移してきたことである。
【００６６】
ＮＯの場合、ステップＳＧ２において直前の補間フレーム成生時の結果Ａ−Ｄの出現頻度において結果Ｄの出現割合が所定の閾値ＴＨ１より多かったかどうかを判定している。結果Ｄの出現頻度が少なかった場合（ＮＯの場合）、図１３に示したフレーム番号８．５から９．５、１０．５とαが減少するする特性となる。ここで、ステップＳＧ４において、α値をさらに減少させると、０．０に到達するか否かの判定を行なう。０．０に到達するようであれば、α値を０として（ステップＳＧ７）、状態Ｓ１へ遷移する（ステップＳＧ８）。ステップＳＧ４において、α値をさらに減少させても、０．０に到達しない場合は、α値を減少させ（ステップＳＧ５）、状態Ｓ３にとどまる（ステップＳＧ６）。
【００６７】
先のステップＳＧ１において、ＹＥＳ（はい）であれば状態Ｓ１から遷移してきたことであり、ステップＳＧ３に移行する。ステップＳＧ３において直前の補間フレーム成生時の結果Ａ−Ｄの出現頻度において結果Ｄの出現割合が所定の閾値ＴＨ２より少なかったかどうかを判定している。結果Ｄの出現頻度が多かった場合（ＮＯの場合）、図１３に示したフレーム番号１．５から３．５、４．５とαが増大する特性となる。
【００６８】
ここで、ステップＳＧ１０において、α値をさらに増大させると、１．０に到達するか否かの判定を行なう。１．０に到達するようであれば、α値を１として（ステップＳＧ１２）、状態Ｓ２へ遷移する（ステップＳＧ１３）。ステップＳＧ１０において、α値をさらに増大させても、１．０に到達しない場合は、α値を増加させ（ステップＳＧ１１）、状態Ｓ３にとどまる（ステップＳＧ６）。
【００６９】
ステップＳＧ３からステップＳＧ４に移行することは、図１３の状態Ｓ３でαが増加傾向にある途中で、αが減少傾向に向かうことを意味する。逆にステップＳＧ２からステップＳＧ１０に移行することは、図１３の状態Ｓ３でαが減少傾向にある途中で、αが増加傾向に向かうことを意味する。
【００７０】
状態Ｓ１から状態Ｓ３へ遷移するための条件判断閾値ＴＨ１、状態Ｓ２から状態Ｓ３へ遷移するための条件判断閾値ＴＨ２、および、同条件判断閾値ＴＨ１/ＴＨ２は、ヒステリシス特性を持たせるために異なっていても良い。
【００７１】
この発明は上記の実施形態に限定されるものではない。上記の実施形態は、判定結果Ａ−Ｄの分布を調査する範囲として探索範囲全体を選んだ。しかしながら、探索範囲あるいは１画面を複数の領域に分割して本発明を適用してもよい。
【００７２】
上述した説明では今生成しようとしている補間フレーム内の結果Ａ乃至Ｄの分布を適正化する概念として示したが、適正化する単位は補間フレーム１枚全面に限定する必要はなく、たとえば図１８（Ａ），図１８（Ｂ）に示すとおり補間フレームを水平方向の３領域に分割し、それぞれの領域内で個別に本発明を適用し結果Ａ−Ｄの分布を適正化してもよい。
【００７３】
図１８（Ａ）、図１８（Ｂ）は探索範囲（又は１画面）を水平方向に３つに分割した例である。領域１８Ａ，１８Ｂ，１８Ｃを見ると、領域１８Ａ，１８Ｃにおいては結果Ｄの出現率が大きい。そこで、図１８（Ｂ）に示すように、領域１８Ｂはそのままにし、領域１８Ａ，１８Ｃは結果Ｄ以外の部分を結果Ｄに置き換えている。
【００７４】
なお分割形状は水平方向３領域にのみ限定するものではなくたとえば水平方向３領域かつ垂直方向３領域の計９領域に分割することも可能であり、また、複数の分割形状パターンを用意しておき結果Ａ〜Ｃと結果Ｄとの分離特性がより良くなる形状を適応的に切り替えつつ処理を進めることも可能である。
【００７５】
上記したようにこの発明によれば補間フレーム内でのベクトル検出結果の分布適正化を行い、領域毎に秩序をもって適正化された高品位な動きベクトル検出結果を出力することが可能となる。
【００７６】
上記説明では、画像の水平方向への周期パターンに対する動きベクトル検出精度向上策として説明があったが、画像の垂直方向への周期パターンに対する動きベクトル検出精度向上策としても同様に効果がある。
【００７７】
上記説明では、固定長大ブロックの大きさを１例にして、簡素化して説明を行ったが、最終的に動きベクトルを求めたい小さいブロックに到達するまでに、複数段階のより大きいブロックすなわち複数サイズのより大きい固定長ブロックが存在しても良い。
【００７８】
上記説明では、複数考えられるベクトル検出手法に対して、小さいブロック自身でベクトルを決定→可変長大ブロックを利用してベクトルを決定→固定長大ブロックを利用してベクトルを決定→あきらめて入力フレーム画像を再描画、という順序で優先度を付けて切り替える説明を行ったが、優先度の判断に関しては本順序のみに限定される必要は無い。
【００７９】
上記説明では、結果Dとは入力フレーム画像を再描画と表現したが、具体的な動作としては次のいずれかの動作が可能である。（Ａ）入力フレームの前フレーム側画像を再描画、（Ｂ）入力フレームの後フレーム側画像を再描画、（Ｃ）入力フレームの前フレーム側画像と後フレーム側画像との平均値を再描画する。
【００８０】
上記説明では、状態遷移の判断条件として直前の補間フレーム1枚分生成時の情報を使用したが、状態遷移の判断条件として直前の補間フレーム1枚分生成時の情報に限定するものではない。たとえば、状態遷移の安定性を重視するならば、直前の補間フレーム複数枚分生成時の情報を総合して判断することも好適である。
【００８１】
上記説明では、αブレンド係数変化グラフの例として単純な線形形状を示したが、αブレンド係数変化グラフはその他の形状も取りえる。また、異なる形状の係数変化パターンを複数用意し、たとえば結果Ｄの出現比率に応じて適応的に切り替えながら処理を進めることも可能である。
【００８２】
上記説明では、状態遷移の判断条件として直前の補間フレーム生成時の結果Ｄの出現割合を使用したが、状態遷移の判断条件として直前の補間フレーム生成時の結果Ｄの出現割合にのみ限定するものではない。たとえば、結果Ｃと結果Ｄの両者の出現割合を合計した値により判断することも可能である。
【００８３】
また絵柄に応じて、小さいブロック自身でベクトルを決定→大きいブロック(可変長)を利用してベクトルを決定→大きいブロック(固定長)を利用してベクトルを決定→あきらめて入力フレーム画像を再描画、という柔軟なベクトル検出手法切り替えを行いつつ、補間フレーム内でのベクトル検出結果の分布適正化を行い、領域毎に秩序をもって適正化された高品位な動きベクトル検出結果を出力することが可能となる。
【００８４】
本発明の一実施形態に係る補間フレーム生成装置を適用した放送受信装置の一実施形態であるデジタルテレビジョン装置一例を図１９に示す。図１９において、放送受信装置１００は、図１１に示すように一例としてテレビジョン装置であり、制御部１３０は全体の動作を司るべくデータバスを介して各部に接続されている。放送受信装置１００は、再生側を構成するＭＰＥＧデコーダ部１１６と、装置本体の動作を制御する制御部１３０とを主たる構成要素としている。放送受信装置１００は、入力側のセレクタ部１１４と出力側のセレクタ部１２０とを有しており、入力側のセレクタ部１１４には、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２と、ＢＳ／地上波アナログチューナ部１１３が接続される。また、ＬＡＮ等やメール機能をもった通信部１１１がデータバスに接続されて設けられている。
【００８５】
放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２からの復調信号を一時格納するバッファ部１１５と、格納された復調信号であるパケットを種類別に分離する分離部１１７と、分離部１１７から供給された映像音声用のパケットにＭＰＥＧデコード処理を施し映像音声信号を出力するＭＰＥＧデコーダ部１１６と、操作情報等を重畳するための映像信号を生成し映像信号に重畳するＯＳＤ（On Screen Display）重畳部１３４を有している。放送受信装置１００は、更に、ＭＰＥＧデコーダ部１１６からの音声信号に増幅処理等を施す音声処理部１１８と、ＭＰＥＧデコーダ部１１６から映像信号を受けて、所望の映像処理を施す映像処理部１１９と、上述した本発明の一実施形態に係る補間フレーム生成部１０と、ＯＳＤ重畳部１３４と、音声信号及び映像信号の出力先を選択するセレクタ部１２０と、音声処理部１１８からの音声信号に応じて音声を出力するスピーカ部１２１と、セレクタ部１２０に接続されて与えられた映像信号に応じた映像を液晶表示画面等に表示する表示部１２２と、外部装置との通信を行うインタフェース部１２３を有する。
【００８６】
放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２及びＢＳ／地上波アナログチューナ部１１３からの映像情報等を適宜記録する記憶部１３５と、放送信号等から電子番組情報を取得して画面表示等を行なう電子番組情報処理部１３６を有しており、これらは、データバスを介して制御部１３０に接続されている。放送受信装置１００は、更に、データバスを介して制御部１３０に接続されユーザの操作やリモコンＲの操作を受ける操作部１３２及び操作信号を表示する表示部１３３を有している。ここで、リモコンＲは、放送受信装置１００の本体に設けられる操作部１３２とほぼ同等の操作を可能とするものであり、チューナの操作等、各種設定が可能である。
【００８７】
このような構成をもった放送受信装置１００は、放送信号が受信アンテナからＢＳ／ＣＳ／地上波デジタルチューナ部１１２等に入力され、ここで選局が行われる。選局され復調されたパケット形式の復調信号は、分離部１１７により、種類別のパケットに分離され、音声映像用パケットがＭＰＥＧデコーダ部１１６等でデコード処理されて映像音声信号となって、音声処理部１１８及び映像処理部１１９に供給される。
【００８８】
映像処理部１１９は、与えられた映像信号について、例えば、ＩＰ変換部１４１によりインターレース信号をプログレッシブに変換等の画像処理を行う。更に、上述した補間フレーム生成部１０により上述したように、検出困難な動きベクトルの影響を排して安定した補間画像を提供することができるものであり、処理された信号がセレクタ部１２０に供給される。
【００８９】
セレクタ部１２０は、制御部１３０の制御信号に応じて例えば表示部１２２に映像信号を供給し、これにより映像信号に応じた映像が表示部１２２に表示される。また、音声処理部１１８からの音声信号に応じた音声がスピーカ部１２１から出力される。
【００９０】
また、ＯＳＤ重畳部１３４で生成された各種の操作情報や字幕情報等が放送信号に応じた映像信号に重畳され、映像処理部１１９を経てこれに応じた映像が表示部１２２に表示される。
【００９１】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態に係る補間フレーム生成装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係る補間フレーム生成装置のブロックマッチング処理の一例を示す説明図である。
【図３】ブロックマッチング処理時に得られる動きベクトル候補の変遷例を示す説明図である。
【図４】ブロックマッチング処理時に得られる動きベクトル候補の他の変遷例を示す説明図である。
【図５】ブロックマッチング処理を行うときの小ブロックの例を示す説明図である。
【図６】ブロックマッチング処理を行うときの大ブロックの例を示す説明図である。
【図７】ブロックマッチング処理時に得られる動きベクトル候補の他の変遷例を示す説明図である。
【図８】小ブロックと大ブロックを利用して動きベクトル候補を求める際の動作を説明するためのフローチャートである。
【図９】小ブロックと可変領域大ブロック及び固定領域大ブロックを利用して動きベクトル候補を求める際の動作、及び再描画指示を出す際の動作を説明するためのフローチャートである。
【図１０】図９に示したフローチャートで示した小ブロック、可変領域大ブロック、及び固定領域大ブロックと、各ブロックにおける動きベクトル判定結果の説明図である。
【図１１】各ブロックにおける動きベクトル判定結果の分布例と、その分布を強制的に制御した例を示す説明図である。
【図１２】各ブロックにおける動きベクトルの判定結果の分布例と、判定結果Ａ−Ｃに基づく画像データと再描画用の画像データとをαブレンドにより可変するときの説明図である。
【図１３】各ブロックにおける動きベクトルの判定結果Ａ−Ｃに基づく画像データと再描画用の画像データとをαブレンドにより可変するときに移行する状態Ｓ１、Ｓ２，Ｓ３の説明図である。
【図１４】図１３の各状態Ｓ１、Ｓ２，Ｓ３の移行経路を示す説明図である。
【図１５】図１４の状態１における補間フレーム成生装置の動作例を示すフローチャートである。
【図１６】図１４の状態２における補間フレーム成生装置の動作例を示すフローチャートである。
【図１７】図１４の状態３における補間フレーム成生装置の動作例を示すフローチャートである。
【図１８】この発明の変形例を説明するために示した各ブロックの動きベクトルの分布例を示す図である。
【図１９】この発明の補間フレーム成生装置が受信装置に適用された様子を示すブロック図である。
【符号の説明】
【００９３】
１０・・・補間フレーム作成装置、１１・・・フレームメモリ部、１２・・・動きベクトル検出部、１２ａ，１２ｂ，１２ｃ・・・第１、第２、第３の判定部、１３・・・補間画像作成部、１３ａ，１３ｂ・・・第１、第２の補間ブロック画像成生部、１００・・・放送受信装置、１１２・・・ＢＳ／ＣＳ／地上波デジタルチューナ部、１１３・・・ＢＳ／地上波アナログチューナ部、１１４・・・セレクタ部、１１５・・・バッファ部、１１６・・・ＭＰＥＧデコーダ部、１１７・・・分離部、１１８・・・音声処理部、１１９・・・映像処理部、１２２・・・表示部。
【特許請求の範囲】
【請求項１】
複数の入力フレームの画像を用いて、前記複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置であって、
前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックのための動きベクトル候補を検出する動きベクトル検出部と、
前記検出した動きベクトルを用いて前記補間フレーム内の各補間ブロックの画像を作成する補間画像作成部を含み、
前記動きベクトル検出部は、
サイズの異なる複数のブロックのうち小ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果とし取り出す第１の判定部と、
前記小ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として取り出す第２の判定部と、
前記大ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、この大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前のフレームの画像の再描画を指示する指示情報を判定結果として取り出す第３の判定部とを含み、
前記補間画像作成部は、
前記第１、第２の判定部が取り出した動きベクトル候補に基づいて、前記補間ブロックの画像を成生する第１の補間ブロック画像成生部と、
前記第３の判定部で再描画を指示する指示情報に基づいて対応する補間ブロックに再描画を行なうとともに、前記指示情報の割合が設定されたエリア内で予め設定した値より多い場合には、前記第１の補間ブロック画像成生部で生成した補間ブロックの領域に対しても、結果的に前記再描画を行う第２の補間ブロック画像成生部とを含む
ことを特徴とする補間フレーム作成装置。
【請求項２】
前記第３の判定部は、第４と第５の判定部を含み、
前記第４の判定部が用いる大ブロックは、前記小ブロックを複数集合した可変長大ブロックであり、前記第５の判定部が用いる大ブロックは、前記探索エリア内を区分した固定長大ブロックであり、
前記第４の判定部は、可変長大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として選択し、
前記第５の判定部は、前記可変長ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合に、前記固定長大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として選択し、前記動きベクトル候補が複数検出された場合には、この固定長大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前のフレームの画像の再描画を指示することを特徴とする請求項１記載の補間フレーム作成装置。
【請求項３】
前記第２の補間ブロック画像成生部は、
前記第１の補間ブロック画像成生部で生成した補間ブロックの領域に対して前記再描画を行う場合、前記第１補間ブロック画像成生部で作成した補間ブロックの画像と再描画用の画像との混合画像を成生することを特徴とする請求項１記載の補間フレーム作成装置。
【請求項４】
前記第２の補間ブロック画像成生部は、
前記補間ブロックの画像と再描画用の画像との混合画像に対して、混合割合をフレーム毎に可変することを特徴とする請求項３記載の補間フレーム作成装置。
【請求項５】
前記第２の補間ブロック画像成生部は、
前記補間ブロックの画像の位置に対して、前記再描画を行う場合、前記補間ブロックの画像と前記再描画用の画像との混合割合をフレーム毎に可変し、前記指示情報の割合が増加する方向では再描画の画像割合を増加させ、前記指示情報の割合が減少する方向では前記補間ブロックの画像の割合を増加させることを特徴とする請求項３記載の補間フレーム作成装置。
【請求項６】
前記探索エリア内が複数の領域に区分されており、
前記第２の補間ブロック画像成生部は、区分された複数の領域のうち、再描画を指示する判定結果の割合が予め設定した値より多い領域の補間ブロックに対して結果的に前記再描画を行うことを特徴とする請求項１記載の補間フレーム作成装置。
【請求項７】
複数の入力フレームの画像を用いて、前記複数の入力フレームの間に位置する新たな補間フレームの画像を作成するために、前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックの動きベクトル候補を検出する動きベクトル検出部と、前記検出した動きベクトルを用いて前記補間フレームの画像を作成する補間画像作成部を用いる補間フレーム作成方法において、
前記動きベクトル検出部及び前記補間画像作成部では、
サイズの異なる複数のブロックのうち小ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を採用動きベクトルとし取り出し、
前記小ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を採用動きベクトルとして取り出し、
前記大ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、この大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前のフレームの画像の再描画を指示する指示情報を判定結果として取り出し、
前記採用動きベクトルに基づいて前記補間ブロックの動きベクトル対応画像を成生し、
前記再描画を指示する指示情報に基づいて対応する補間ブロックに再描画を行なうとともに、前記指示情報の割合が設定されたエリア内で予め設定した値より多い場合には、前記動きベクトル対応画像の位置に対しても、結果的に前記再描画を行うことを特徴とする補間フレーム作成方法。
【請求項８】
前記動きベクトル対応画像の位置に対して、前記再描画を行う場合、前記動きベクトル対応画像と前記再描画用の画像との混合割合がフレーム毎に可変されることを特徴とする請求項７記載の補間フレーム作成方法。
【請求項９】
前記動きベクトル対応画像の位置に対して、前記再描画を行う場合、前記動きベクトル対応画像と前記再描画用の画像との混合割合がフレーム毎に可変され、前記指示情報の割合が増加する方向では再描画の画像割合が増加し、前記指示情報の割合が減少する方向では前記動きベクトル対応画像の割合が増加することを特徴とする請求項７記載の補間フレーム作成方法。
【請求項１０】
放送信号を選局するチューナ部と、前記チューナ部からの放送信号をデコードして映像信号を出力するデコーダ部と、前記デコーダ部から出力される複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置と、前記補間フレーム作成装置からの前記補間フレームの画像が挿入された連続フレーム画像に基づいて、映像を画面表示する表示部と、を有し、
前記補間フレーム作成装置は、
前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックの動きベクトル候補を検出するフレーム内の画像の動きベクトルを検出する動きベクトル検出部と、前記検出した動きベクトルを用いて前記補間フレームの画像を作成する補間画像作成部を含み、
前記動きベクトル検出部は、
サイズの異なる複数のブロックのうち小ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果とし取り出す第１の判定部と、
前記小さいブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として取り出す第２の判定部と、
前記大ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、この大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前のフレームの画像の再描画を指示する指示情報を判定結果として取り出す第３の判定部とを含み、
前記補間画像作成部は、
前記第１、第２の判定部が取り出した動きベクトル候補に基づいて、前記補間ブロックの画像を成生する第１の補間ブロック画像成生部と、
前記第３の判定部で再描画を指示する指示情報に基づいて対応する補間ブロックに再描画を行なうとともに、前記指示情報の割合が設定されたエリア内で予め設定した値より多い場合には、前記第１の補間ブロック画像成生部で生成した補間ブロックの領域に対しても、結果的に前記再描画を行う第２の補間ブロック画像成生部とを含むことを特徴とする放送受信装置。
【請求項１】
複数の入力フレームの画像を用いて、前記複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置であって、
前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックのための動きベクトル候補を検出する動きベクトル検出部と、
前記検出した動きベクトルを用いて前記補間フレーム内の各補間ブロックの画像を作成する補間画像作成部を含み、
前記動きベクトル検出部は、
サイズの異なる複数のブロックのうち小ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果とし取り出す第１の判定部と、
前記小ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として取り出す第２の判定部と、
前記大ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、この大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前のフレームの画像の再描画を指示する指示情報を判定結果として取り出す第３の判定部とを含み、
前記補間画像作成部は、
前記第１、第２の判定部が取り出した動きベクトル候補に基づいて、前記補間ブロックの画像を成生する第１の補間ブロック画像成生部と、
前記第３の判定部で再描画を指示する指示情報に基づいて対応する補間ブロックに再描画を行なうとともに、前記指示情報の割合が設定されたエリア内で予め設定した値より多い場合には、前記第１の補間ブロック画像成生部で生成した補間ブロックの領域に対しても、結果的に前記再描画を行う第２の補間ブロック画像成生部とを含む
ことを特徴とする補間フレーム作成装置。
【請求項２】
前記第３の判定部は、第４と第５の判定部を含み、
前記第４の判定部が用いる大ブロックは、前記小ブロックを複数集合した可変長大ブロックであり、前記第５の判定部が用いる大ブロックは、前記探索エリア内を区分した固定長大ブロックであり、
前記第４の判定部は、可変長大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として選択し、
前記第５の判定部は、前記可変長ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合に、前記固定長大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として選択し、前記動きベクトル候補が複数検出された場合には、この固定長大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前のフレームの画像の再描画を指示することを特徴とする請求項１記載の補間フレーム作成装置。
【請求項３】
前記第２の補間ブロック画像成生部は、
前記第１の補間ブロック画像成生部で生成した補間ブロックの領域に対して前記再描画を行う場合、前記第１補間ブロック画像成生部で作成した補間ブロックの画像と再描画用の画像との混合画像を成生することを特徴とする請求項１記載の補間フレーム作成装置。
【請求項４】
前記第２の補間ブロック画像成生部は、
前記補間ブロックの画像と再描画用の画像との混合画像に対して、混合割合をフレーム毎に可変することを特徴とする請求項３記載の補間フレーム作成装置。
【請求項５】
前記第２の補間ブロック画像成生部は、
前記補間ブロックの画像の位置に対して、前記再描画を行う場合、前記補間ブロックの画像と前記再描画用の画像との混合割合をフレーム毎に可変し、前記指示情報の割合が増加する方向では再描画の画像割合を増加させ、前記指示情報の割合が減少する方向では前記補間ブロックの画像の割合を増加させることを特徴とする請求項３記載の補間フレーム作成装置。
【請求項６】
前記探索エリア内が複数の領域に区分されており、
前記第２の補間ブロック画像成生部は、区分された複数の領域のうち、再描画を指示する判定結果の割合が予め設定した値より多い領域の補間ブロックに対して結果的に前記再描画を行うことを特徴とする請求項１記載の補間フレーム作成装置。
【請求項７】
複数の入力フレームの画像を用いて、前記複数の入力フレームの間に位置する新たな補間フレームの画像を作成するために、前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックの動きベクトル候補を検出する動きベクトル検出部と、前記検出した動きベクトルを用いて前記補間フレームの画像を作成する補間画像作成部を用いる補間フレーム作成方法において、
前記動きベクトル検出部及び前記補間画像作成部では、
サイズの異なる複数のブロックのうち小ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を採用動きベクトルとし取り出し、
前記小ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を採用動きベクトルとして取り出し、
前記大ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、この大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前のフレームの画像の再描画を指示する指示情報を判定結果として取り出し、
前記採用動きベクトルに基づいて前記補間ブロックの動きベクトル対応画像を成生し、
前記再描画を指示する指示情報に基づいて対応する補間ブロックに再描画を行なうとともに、前記指示情報の割合が設定されたエリア内で予め設定した値より多い場合には、前記動きベクトル対応画像の位置に対しても、結果的に前記再描画を行うことを特徴とする補間フレーム作成方法。
【請求項８】
前記動きベクトル対応画像の位置に対して、前記再描画を行う場合、前記動きベクトル対応画像と前記再描画用の画像との混合割合がフレーム毎に可変されることを特徴とする請求項７記載の補間フレーム作成方法。
【請求項９】
前記動きベクトル対応画像の位置に対して、前記再描画を行う場合、前記動きベクトル対応画像と前記再描画用の画像との混合割合がフレーム毎に可変され、前記指示情報の割合が増加する方向では再描画の画像割合が増加し、前記指示情報の割合が減少する方向では前記動きベクトル対応画像の割合が増加することを特徴とする請求項７記載の補間フレーム作成方法。
【請求項１０】
放送信号を選局するチューナ部と、前記チューナ部からの放送信号をデコードして映像信号を出力するデコーダ部と、前記デコーダ部から出力される複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置と、前記補間フレーム作成装置からの前記補間フレームの画像が挿入された連続フレーム画像に基づいて、映像を画面表示する表示部と、を有し、
前記補間フレーム作成装置は、
前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックの動きベクトル候補を検出するフレーム内の画像の動きベクトルを検出する動きベクトル検出部と、前記検出した動きベクトルを用いて前記補間フレームの画像を作成する補間画像作成部を含み、
前記動きベクトル検出部は、
サイズの異なる複数のブロックのうち小ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果とし取り出す第１の判定部と、
前記小さいブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、大ブロックを用いて動きベクトル候補を検出し、動きベクトル候補が1つのみ検出された場合には、該動きベクトル候補を判定結果として取り出す第２の判定部と、
前記大ブロックを用いたブロックマッチング処理において、前記動きベクトル候補が複数検出された場合には、この大ブロックに対応した前記補間ブロックに対しては前記補間フレームより前のフレームの画像の再描画を指示する指示情報を判定結果として取り出す第３の判定部とを含み、
前記補間画像作成部は、
前記第１、第２の判定部が取り出した動きベクトル候補に基づいて、前記補間ブロックの画像を成生する第１の補間ブロック画像成生部と、
前記第３の判定部で再描画を指示する指示情報に基づいて対応する補間ブロックに再描画を行なうとともに、前記指示情報の割合が設定されたエリア内で予め設定した値より多い場合には、前記第１の補間ブロック画像成生部で生成した補間ブロックの領域に対しても、結果的に前記再描画を行う第２の補間ブロック画像成生部とを含むことを特徴とする放送受信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−２９０８０３（Ｐ２００９−２９０８０３Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００８−１４３８８５（Ｐ２００８−１４３８８５）
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２０年５月３０日（２００８．５．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]