補間フレーム作成方法および補間フレーム作成装置
【課題】 画面の端部の画像の破綻へ適切に対処できる補間フレーム作成技術を提供すること。
【解決手段】 入力される2枚以上のフレーム画像を用いて、前記入力フレーム画像の間に位置する新たなフレーム画像を作成する補間フレーム作成方法であって、前記入力フレーム画像間のブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間画像を作成する工程とを有し、前記補間画像を作成する工程は、検出した動きベクトル方向の対応画素位置が原フレームの一方側において画面外に存在する場合には、前記画面外に位置する画素を持たない側のフレームの画素のみを用いて補間画像を作成することを特徴とする補間フレーム作成方法。
【解決手段】 入力される2枚以上のフレーム画像を用いて、前記入力フレーム画像の間に位置する新たなフレーム画像を作成する補間フレーム作成方法であって、前記入力フレーム画像間のブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間画像を作成する工程とを有し、前記補間画像を作成する工程は、検出した動きベクトル方向の対応画素位置が原フレームの一方側において画面外に存在する場合には、前記画面外に位置する画素を持たない側のフレームの画素のみを用いて補間画像を作成することを特徴とする補間フレーム作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像を構成するフレーム画像の間に補間フレームを作成および挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。
【背景技術】
【０００２】
前後の2枚ないしそれ以上の入力フレーム画像間のブロックマッチングを行うことにより動きベクトルを求め、これを用いて入力フレーム画像間に内挿する新たな補間フレーム画像を作成し、フレーム数変換を行うことによりホールド表示型ディスプレイの動画ボケの改善を行う方法が多数提案されている。
【０００３】
例えば液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００４】
ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００５】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（特許文献１）。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
【０００６】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
【０００７】
ところでブロックマッチングにより推定した動きベクトルを用いて補間フレームを生成する場合には破綻が生じることがあり、特許文献２にある対策は、補間画素位置の動きベクトルを特定しベクトルの垂直成分に基づき隣接する画素を選択し補正を行う画素補間処理装置なるものである。つまり、画素が書き込まれないアンカバー領域が生じる場合があり、動きベクトルの条件により選択画素が異なる補正をその領域に行うパッチ的な対処法について記載されている。しかしながら、画面の端部という潜在的大域的な画像の破綻への対策も求められていながら、適切に対処できる技術は開示されていない。
【特許文献１】特開２００５−６２７５号公報
【特許文献２】特開２００３−２９９０３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
画面の端部の画像の破綻へ適切に対処できる補間フレーム作成技術を提供する。
【課題を解決するための手段】
【０００９】
上記目的を達成するためのこの発明の一態様によれば、入力される2枚以上のフレーム画像を用いて、前記入力フレーム画像の間に位置する新たなフレーム画像を作成する補間フレーム作成方法であって、前記入力フレーム画像間のブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間画像を作成する工程とを有し、前記補間画像を作成する工程は、検出した動きベクトル方向の対応画素位置が原フレームの一方側において画面外に存在する場合には、前記画面外に位置する画素を持たない側のフレームの画素のみを用いて補間画像を作成することを特徴とする補間フレーム作成方法が提供される。
【発明の効果】
【００１０】
この発明によれば、画面の端部の画像の破綻へ適切に対処できる補間フレーム作成技術を提供することができる。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。図１の補間フレーム作成装置１０は、フレームメモリ部１０、動きベクトル検出部１２、補間画像作成部１３、および判定部１４を備える。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。すなわち動きベクトル検出部１２は、２つの入力フレーム画像における画像ブロックの互いに対応する画素値どうしの差分絶対値を算出し、この差分絶対値の累積加算値（ＳＡＤ）の極小値に対応する動きベクトルを動きベクトル候補として選択する。なお入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１２】
補間画像作成部１３は、動きベクトル検出部１２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば120フレーム／秒である。
判定部１４は、動きベクトル検出部１２により検出された動きベクトルの参照画素が有効画面内か有効画面外かを判定する。すなわち判定部１４は、動きベクトル検出部１２により検出された動きベクトルの参照画素の位置を判定部１４内部の図示せぬカウンターで把握し、その結果に基づいて参照画素が有効画面内か有効画面外かを判定する。
【００１３】
すなわち判定部１４は検出された動きベクトルの参照画素の位置が有効画面内か有効画面外かを画素ごとに判定する。そして、検出された動きベクトルを用いて補間フレームを生成するか、または、後述のように動きベクトルの一部を用いて補間フレームを生成するかを画素ごと判定する。そしてその結果を補間画像作成部１３に渡す。補間画像作成部１３は判定部１４の判定結果に基づいて補間画像を作成する。
【００１４】
補間画像作成部１３は、動きベクトル検出部１２により検出された動きベクトルを用いて補間フレームを作成する。その際、判定部１４により用いるべき動きベクトルと判定された動きベクトルの基の画素を有効画素として、補間フレームを作成する。または、補間画像作成部１３は、判定部１４により用いるべき動きベクトルと判定された動きベクトルに基づいて作成した画像と、他の用いるべき動きベクトルと判定された動きベクトルに基づいて作成した画像とを合成（ブレンド）して補間フレームを作成する。例えば画素値の平均をとるといった方法による。
【００１５】
動きベクトル検出部１２、補間画像作成部１３、および、判定部１４は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示せず）にて実行されるソフトウエアとして構成できる。
【００１６】
図２はブロックマッチング処理の一例を説明するための図である。即ちブロックマッチングを用いた動きベクトルの検出方法としては、補間フレーム画像の挿入位置を中心して、それを挟む前後2枚のフレーム上で所定形状のブロックを点対象に平行移動させ対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算しこれを累積した値(SAD:Sum of Absolute Difference)を求め、このSAD値が最小となる方向を該ブロックの動きベクトルとする方法等が知られている。
【００１７】
図２に示すように、点対称の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。すなわち図２の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対称の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。
【００１８】
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。尚、この動きベクトル（大きさと方向を含む）は、図２では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。
【００１９】
図２に示す方法では、補間フレーム画像の挿入位置を中心としそれを挟む前後２枚のフレーム上で規定の形状のブロックを点対称に平行移動させる。そして、対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算し、これを累積した値（ＳＡＤ）を求め、このＳＡＤ値が最小となる方向を該ブロックの動きベクトルとする。
【００２０】
次に、画像ブロックのサイズ及び動きベクトルの探索範囲について説明する。
図３はマクロブロックのサイズ及びその探索範囲の具体例を示す。これらブロック及び探索範囲は、図２に示したブロックマッチング処理に適用することができる。ここでは、説明を簡単にするため、主に水平方向のブロックマッチング処理について述べる。
【００２１】
図３において、ＭＢはマクロブロック、ＭＳＲはマクロブロックＭＢの探索範囲である。マクロブロックＭＢのサイズは、図３の内側実線に示すように例えば６４画素×４画素である。このマクロブロックＭＢを前フレーム２０上では水平方向に−１６画素〜＋１６画素、垂直方向に−２画素〜＋２画素シフトする。同時にこのマクロブロックＭＢを後フレーム２２上で水平方向に＋１６画素〜−１６画素、垂直方向に＋２画素〜−２画素シフトする。
【００２２】
つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここではマクロブロックＭＢに一致するサイズのブロック）を点対象の中心として、前フレーム２０上でマクロブロックＭＢを例えば＋１２画素シフトした場合は、後フレーム２２上でマクロブロックＭＢを−１２画素シフトする。両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従ってマクロブロックＭＢを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＭＳＲは、ここでは共に９６画素×８画素である。
【００２３】
ブロックマッチングによる動きベクトル検出を精度良く行うための最適なブロックサイズは、入力されるフレームの解像度やフレーム内に含まれる物体の動き方によって変わってくる。
【００２４】
以下、動きベクトル検出部１２によるブロックマッチング処理動作を説明する。
図４はブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。このブロックマッチング処理は動きベクトル検出部１２により行われる。説明を簡単にするため、水平方向物体移動のブロックマッチング処理のみについて述べる。
【００２５】
この場合、物体を含む前フレーム内の注目画像ブロック４３を、後フレーム２２における探索範囲内の中心画像ブロック４４の位置から、１画素単位でシフトすると、図４のように１０画素分シフトしたところでＳＡＤは極小（ここでは最小）となる。この極小点ＰＳ０のシフト量Ｓ０及びその方向に基づいて、動きベクトルが検出される。従って、ここでは注目画像ブロック４１の動きベクトルは、水平方向１０画素と検出される。この結果、例えば注目画像ブロック４３を補間フレーム内で、対応する同一位置から、水平方向に５画素シフトした画像ブロックが、補間フレーム内画像ブロックとして作成される。尚、シフト量Ｓ０及びその方向は、画像ブロック４１の探索範囲内位置を示す。
【００２６】
以下、動きベクトルによる画面端の処理動作を説明する。
簡単のため、図５のように画面に水平に全画面スクロールしている映像が入力されている場合を例とする。通常の補間画素生成処理では、前後フレームの画素とも図５に示すように破線に示す画面に入っていれば、動きベクトル方向の前後フレームの画素をそれぞれ用いて、両者の平均値を取ることにより補間画素が生成される。Ｖ１とＶ２の基の画素の平均値、またＶ３とＶ４の基の画素の平均値を用いる。
【００２７】
図６は、図５のように画面に水平に全画面スクロールしている映像が入力されている場合の例であるが、示すように画面端部においては動きベクトル方向に対応する画素が片側の原フレーム画像の画面外に位置する場合である。
【００２８】
この場合には、その画面外に対応画素を持たない側のフレームの画素のみから補間画像を生成する。即ちＶ２の基の画素の値、またＶ３の基の画素の値を用いる。これにより、画面端でも破綻の少ない補間画像の生成が可能となる。
【００２９】
（補間フレーム作成装置の動作内容）
次に、補間フレーム作成装置１０の動作内容について説明する。補間フレーム作成装置１０は、図７に示すフローチャートに沿って補間フレーム作成処理を行い、補間フレームを作成する。
【００３０】
補間フレーム作成装置１０は、補間フレーム作成処理を開始すると、処理をステップ１に進めて、動きベクトル検出を行い、続いて処理をステップ２に進めて補間フレーム作成を実行する。
【００３１】
動きベクトル検出では、動きベクトル検出部１２が２つの画像フレームのブロックマッチングを行い動きベクトルを検出する。
図８は図７処理をステップ２に従い実施される補間フレーム作成装置１０の処理手順を示すフローチャートである。図８において、動きベクトル検出部１２から判定部１４は、判定対象Ｐ［Ｘ，Ｙ］の検出された動きベクトルが例えば（２Ｘａ，２Ｙａ）と入力されたとする（図８のステップＳ２１）。そうすると、判定部１４は動きベクトルの基にある補間画像Ｐ［Ｘ，Ｙ］の動きベクトルの範囲（正しい画像が得られるか否か）を［Ｘ−Ｘａ，Ｙ−Ｙａ］と［Ｘ＋Ｘａ，Ｙ＋Ｙａ］とを用いて判定する（ステップＳ２２）。
【００３２】
［Ｘ−Ｘａ，Ｙ−Ｙａ］と［Ｘ＋Ｘａ，Ｙ＋Ｙａ］とも正しい画像範囲にあれば判定部１４は検出された動きベクトルの基にある画素をいずれも正しいと判定し、この動きベクトルを用いて補間フレームを作成する（ステップＳ２３）。また２つの座標の片方が正しい画像範囲になければ、判定部１４はその旨を補間画像作成部１３に通知する。これを受けて補間画像作成部１３は正しい画像の動きベクトルの基にある画素から補間フレームを作成する（ステップＳ２４）。
【００３３】
例えば図３の探索範囲の場合、例えばＸ座標が０でＸａが１６であると、後フレームの水平方向の端１６画素は前フレームの画素とは平均が取られずに補間フレーム作成に使用されることになる。反対側の端でも例えばＸａが１６であると、前フレームの水平方向の端１６画素は後フレームの画素とは平均が取られずに補間フレーム作成に使用されることになる。
【００３４】
なお動きベクトルの検出においては、画面端の画素データが画面外に続いている、あるいは、画面外の画素値を灰色輝度等の特定の固定値として処理する方法を用いることによってある程度正しく検出を行うことが出来る。しかし、補間画素の生成時に同様の手法を取ると本来存在しないデータを用いて画素生成が行われるため、生成された画像に破綻が生じる。
【００３５】
動きベクトルの検出においては、画面外に位置する画素には累積加算処理を行なわない方法も取りうる。この場合は、ＳＡＤが小さくなり有利となってしまうので、累積加算が行われた画素割合分の逆数をＳＡＤに掛けて正規化する等の調整が好適である。
【００３６】
通常、上記のようにして求めた動きベクトル方向の前後フレーム上の対応する画素から補間画像を生成するが、スクロールしている映像等の画面端では、検出したベクトル方向に対して前後フレームのうち片側のみにしか有効な画素が存在しない場合がある。このため、前後2フレームの対応画素の平均値を取って補間画素とする方法では、画面端で補間画像が正しく生成できない問題があった。
【００３７】
本実施例は、上記問題を解決するためになされたもので、補間画像を生成する際、画面端部においては動きベクトル方向に対応する画素が片側の原フレーム画像の画面外に位置する場合には、その画面外に対応画素を持たない側のフレームの画素のみから補間画像を生成する。効果として、画面端での破綻の少ない補間画像の生成が可能となる。
【００３８】
なお、この発明は上記実施例に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【図面の簡単な説明】
【００３９】
【図１】本発明による補間フレーム作成装置の一実施形態を示すブロック構成図。
【図２】ブロックマッチング処理の一例を説明するための図。
【図３】ブロックのサイズ及びその探索範囲の具体例を示す図。
【図４】ブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係を示すグラフ。
【図５】画面内の特定領域において補間画像作成に用いる動きベクトルを表現する図１。
【図６】画面内の特定領域において補間画像作成に用いる動きベクトルを表現する図２。
【図７】補間フレーム作成装置１０における処理の動作手順を示すフローチャート。
【図８】補間フレーム作成装置１０における補間フレーム作成処理の動作手順を示すフローチャート。
【符号の説明】
【００４０】
１０…補間フレーム作成装置、１１…フレームメモリ、１２…動きベクトル検出部、１３…補間画像作成部、１４…判定部
【技術分野】
【０００１】
本発明は動画像を構成するフレーム画像の間に補間フレームを作成および挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。
【背景技術】
【０００２】
前後の2枚ないしそれ以上の入力フレーム画像間のブロックマッチングを行うことにより動きベクトルを求め、これを用いて入力フレーム画像間に内挿する新たな補間フレーム画像を作成し、フレーム数変換を行うことによりホールド表示型ディスプレイの動画ボケの改善を行う方法が多数提案されている。
【０００３】
例えば液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００４】
ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００５】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（特許文献１）。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
【０００６】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
【０００７】
ところでブロックマッチングにより推定した動きベクトルを用いて補間フレームを生成する場合には破綻が生じることがあり、特許文献２にある対策は、補間画素位置の動きベクトルを特定しベクトルの垂直成分に基づき隣接する画素を選択し補正を行う画素補間処理装置なるものである。つまり、画素が書き込まれないアンカバー領域が生じる場合があり、動きベクトルの条件により選択画素が異なる補正をその領域に行うパッチ的な対処法について記載されている。しかしながら、画面の端部という潜在的大域的な画像の破綻への対策も求められていながら、適切に対処できる技術は開示されていない。
【特許文献１】特開２００５−６２７５号公報
【特許文献２】特開２００３−２９９０３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
画面の端部の画像の破綻へ適切に対処できる補間フレーム作成技術を提供する。
【課題を解決するための手段】
【０００９】
上記目的を達成するためのこの発明の一態様によれば、入力される2枚以上のフレーム画像を用いて、前記入力フレーム画像の間に位置する新たなフレーム画像を作成する補間フレーム作成方法であって、前記入力フレーム画像間のブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する工程と、前記検出した動きベクトルを用いて補間画像を作成する工程とを有し、前記補間画像を作成する工程は、検出した動きベクトル方向の対応画素位置が原フレームの一方側において画面外に存在する場合には、前記画面外に位置する画素を持たない側のフレームの画素のみを用いて補間画像を作成することを特徴とする補間フレーム作成方法が提供される。
【発明の効果】
【００１０】
この発明によれば、画面の端部の画像の破綻へ適切に対処できる補間フレーム作成技術を提供することができる。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。図１の補間フレーム作成装置１０は、フレームメモリ部１０、動きベクトル検出部１２、補間画像作成部１３、および判定部１４を備える。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。すなわち動きベクトル検出部１２は、２つの入力フレーム画像における画像ブロックの互いに対応する画素値どうしの差分絶対値を算出し、この差分絶対値の累積加算値（ＳＡＤ）の極小値に対応する動きベクトルを動きベクトル候補として選択する。なお入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１２】
補間画像作成部１３は、動きベクトル検出部１２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば120フレーム／秒である。
判定部１４は、動きベクトル検出部１２により検出された動きベクトルの参照画素が有効画面内か有効画面外かを判定する。すなわち判定部１４は、動きベクトル検出部１２により検出された動きベクトルの参照画素の位置を判定部１４内部の図示せぬカウンターで把握し、その結果に基づいて参照画素が有効画面内か有効画面外かを判定する。
【００１３】
すなわち判定部１４は検出された動きベクトルの参照画素の位置が有効画面内か有効画面外かを画素ごとに判定する。そして、検出された動きベクトルを用いて補間フレームを生成するか、または、後述のように動きベクトルの一部を用いて補間フレームを生成するかを画素ごと判定する。そしてその結果を補間画像作成部１３に渡す。補間画像作成部１３は判定部１４の判定結果に基づいて補間画像を作成する。
【００１４】
補間画像作成部１３は、動きベクトル検出部１２により検出された動きベクトルを用いて補間フレームを作成する。その際、判定部１４により用いるべき動きベクトルと判定された動きベクトルの基の画素を有効画素として、補間フレームを作成する。または、補間画像作成部１３は、判定部１４により用いるべき動きベクトルと判定された動きベクトルに基づいて作成した画像と、他の用いるべき動きベクトルと判定された動きベクトルに基づいて作成した画像とを合成（ブレンド）して補間フレームを作成する。例えば画素値の平均をとるといった方法による。
【００１５】
動きベクトル検出部１２、補間画像作成部１３、および、判定部１４は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示せず）にて実行されるソフトウエアとして構成できる。
【００１６】
図２はブロックマッチング処理の一例を説明するための図である。即ちブロックマッチングを用いた動きベクトルの検出方法としては、補間フレーム画像の挿入位置を中心して、それを挟む前後2枚のフレーム上で所定形状のブロックを点対象に平行移動させ対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算しこれを累積した値(SAD:Sum of Absolute Difference)を求め、このSAD値が最小となる方向を該ブロックの動きベクトルとする方法等が知られている。
【００１７】
図２に示すように、点対称の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。すなわち図２の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対称の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。
【００１８】
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。尚、この動きベクトル（大きさと方向を含む）は、図２では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。
【００１９】
図２に示す方法では、補間フレーム画像の挿入位置を中心としそれを挟む前後２枚のフレーム上で規定の形状のブロックを点対称に平行移動させる。そして、対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算し、これを累積した値（ＳＡＤ）を求め、このＳＡＤ値が最小となる方向を該ブロックの動きベクトルとする。
【００２０】
次に、画像ブロックのサイズ及び動きベクトルの探索範囲について説明する。
図３はマクロブロックのサイズ及びその探索範囲の具体例を示す。これらブロック及び探索範囲は、図２に示したブロックマッチング処理に適用することができる。ここでは、説明を簡単にするため、主に水平方向のブロックマッチング処理について述べる。
【００２１】
図３において、ＭＢはマクロブロック、ＭＳＲはマクロブロックＭＢの探索範囲である。マクロブロックＭＢのサイズは、図３の内側実線に示すように例えば６４画素×４画素である。このマクロブロックＭＢを前フレーム２０上では水平方向に−１６画素〜＋１６画素、垂直方向に−２画素〜＋２画素シフトする。同時にこのマクロブロックＭＢを後フレーム２２上で水平方向に＋１６画素〜−１６画素、垂直方向に＋２画素〜−２画素シフトする。
【００２２】
つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここではマクロブロックＭＢに一致するサイズのブロック）を点対象の中心として、前フレーム２０上でマクロブロックＭＢを例えば＋１２画素シフトした場合は、後フレーム２２上でマクロブロックＭＢを−１２画素シフトする。両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従ってマクロブロックＭＢを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＭＳＲは、ここでは共に９６画素×８画素である。
【００２３】
ブロックマッチングによる動きベクトル検出を精度良く行うための最適なブロックサイズは、入力されるフレームの解像度やフレーム内に含まれる物体の動き方によって変わってくる。
【００２４】
以下、動きベクトル検出部１２によるブロックマッチング処理動作を説明する。
図４はブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。このブロックマッチング処理は動きベクトル検出部１２により行われる。説明を簡単にするため、水平方向物体移動のブロックマッチング処理のみについて述べる。
【００２５】
この場合、物体を含む前フレーム内の注目画像ブロック４３を、後フレーム２２における探索範囲内の中心画像ブロック４４の位置から、１画素単位でシフトすると、図４のように１０画素分シフトしたところでＳＡＤは極小（ここでは最小）となる。この極小点ＰＳ０のシフト量Ｓ０及びその方向に基づいて、動きベクトルが検出される。従って、ここでは注目画像ブロック４１の動きベクトルは、水平方向１０画素と検出される。この結果、例えば注目画像ブロック４３を補間フレーム内で、対応する同一位置から、水平方向に５画素シフトした画像ブロックが、補間フレーム内画像ブロックとして作成される。尚、シフト量Ｓ０及びその方向は、画像ブロック４１の探索範囲内位置を示す。
【００２６】
以下、動きベクトルによる画面端の処理動作を説明する。
簡単のため、図５のように画面に水平に全画面スクロールしている映像が入力されている場合を例とする。通常の補間画素生成処理では、前後フレームの画素とも図５に示すように破線に示す画面に入っていれば、動きベクトル方向の前後フレームの画素をそれぞれ用いて、両者の平均値を取ることにより補間画素が生成される。Ｖ１とＶ２の基の画素の平均値、またＶ３とＶ４の基の画素の平均値を用いる。
【００２７】
図６は、図５のように画面に水平に全画面スクロールしている映像が入力されている場合の例であるが、示すように画面端部においては動きベクトル方向に対応する画素が片側の原フレーム画像の画面外に位置する場合である。
【００２８】
この場合には、その画面外に対応画素を持たない側のフレームの画素のみから補間画像を生成する。即ちＶ２の基の画素の値、またＶ３の基の画素の値を用いる。これにより、画面端でも破綻の少ない補間画像の生成が可能となる。
【００２９】
（補間フレーム作成装置の動作内容）
次に、補間フレーム作成装置１０の動作内容について説明する。補間フレーム作成装置１０は、図７に示すフローチャートに沿って補間フレーム作成処理を行い、補間フレームを作成する。
【００３０】
補間フレーム作成装置１０は、補間フレーム作成処理を開始すると、処理をステップ１に進めて、動きベクトル検出を行い、続いて処理をステップ２に進めて補間フレーム作成を実行する。
【００３１】
動きベクトル検出では、動きベクトル検出部１２が２つの画像フレームのブロックマッチングを行い動きベクトルを検出する。
図８は図７処理をステップ２に従い実施される補間フレーム作成装置１０の処理手順を示すフローチャートである。図８において、動きベクトル検出部１２から判定部１４は、判定対象Ｐ［Ｘ，Ｙ］の検出された動きベクトルが例えば（２Ｘａ，２Ｙａ）と入力されたとする（図８のステップＳ２１）。そうすると、判定部１４は動きベクトルの基にある補間画像Ｐ［Ｘ，Ｙ］の動きベクトルの範囲（正しい画像が得られるか否か）を［Ｘ−Ｘａ，Ｙ−Ｙａ］と［Ｘ＋Ｘａ，Ｙ＋Ｙａ］とを用いて判定する（ステップＳ２２）。
【００３２】
［Ｘ−Ｘａ，Ｙ−Ｙａ］と［Ｘ＋Ｘａ，Ｙ＋Ｙａ］とも正しい画像範囲にあれば判定部１４は検出された動きベクトルの基にある画素をいずれも正しいと判定し、この動きベクトルを用いて補間フレームを作成する（ステップＳ２３）。また２つの座標の片方が正しい画像範囲になければ、判定部１４はその旨を補間画像作成部１３に通知する。これを受けて補間画像作成部１３は正しい画像の動きベクトルの基にある画素から補間フレームを作成する（ステップＳ２４）。
【００３３】
例えば図３の探索範囲の場合、例えばＸ座標が０でＸａが１６であると、後フレームの水平方向の端１６画素は前フレームの画素とは平均が取られずに補間フレーム作成に使用されることになる。反対側の端でも例えばＸａが１６であると、前フレームの水平方向の端１６画素は後フレームの画素とは平均が取られずに補間フレーム作成に使用されることになる。
【００３４】
なお動きベクトルの検出においては、画面端の画素データが画面外に続いている、あるいは、画面外の画素値を灰色輝度等の特定の固定値として処理する方法を用いることによってある程度正しく検出を行うことが出来る。しかし、補間画素の生成時に同様の手法を取ると本来存在しないデータを用いて画素生成が行われるため、生成された画像に破綻が生じる。
【００３５】
動きベクトルの検出においては、画面外に位置する画素には累積加算処理を行なわない方法も取りうる。この場合は、ＳＡＤが小さくなり有利となってしまうので、累積加算が行われた画素割合分の逆数をＳＡＤに掛けて正規化する等の調整が好適である。
【００３６】
通常、上記のようにして求めた動きベクトル方向の前後フレーム上の対応する画素から補間画像を生成するが、スクロールしている映像等の画面端では、検出したベクトル方向に対して前後フレームのうち片側のみにしか有効な画素が存在しない場合がある。このため、前後2フレームの対応画素の平均値を取って補間画素とする方法では、画面端で補間画像が正しく生成できない問題があった。
【００３７】
本実施例は、上記問題を解決するためになされたもので、補間画像を生成する際、画面端部においては動きベクトル方向に対応する画素が片側の原フレーム画像の画面外に位置する場合には、その画面外に対応画素を持たない側のフレームの画素のみから補間画像を生成する。効果として、画面端での破綻の少ない補間画像の生成が可能となる。
【００３８】
なお、この発明は上記実施例に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【図面の簡単な説明】
【００３９】
【図１】本発明による補間フレーム作成装置の一実施形態を示すブロック構成図。
【図２】ブロックマッチング処理の一例を説明するための図。
【図３】ブロックのサイズ及びその探索範囲の具体例を示す図。
【図４】ブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係を示すグラフ。
【図５】画面内の特定領域において補間画像作成に用いる動きベクトルを表現する図１。
【図６】画面内の特定領域において補間画像作成に用いる動きベクトルを表現する図２。
【図７】補間フレーム作成装置１０における処理の動作手順を示すフローチャート。
【図８】補間フレーム作成装置１０における補間フレーム作成処理の動作手順を示すフローチャート。
【符号の説明】
【００４０】
１０…補間フレーム作成装置、１１…フレームメモリ、１２…動きベクトル検出部、１３…補間画像作成部、１４…判定部
【特許請求の範囲】
【請求項１】
入力される2枚以上のフレーム画像を用いて、前記入力フレーム画像の間に位置する新たなフレーム画像を作成する補間フレーム作成方法であって、
前記入力フレーム画像間のブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する工程と、
前記検出した動きベクトルを用いて補間画像を作成する工程とを有し、
前記補間画像を作成する工程は、検出した動きベクトル方向の対応画素位置が原フレームの一方側において画面外に存在する場合には、前記画面外に位置する画素を持たない側のフレームの画素のみを用いて補間画像を作成することを特徴とする補間フレーム作成方法。
【請求項２】
前記動きベクトルを検出する工程は、前記画面外に位置する画素は画面端に位置する画素が延伸するとみなすことを特徴とする請求項１に記載の補間フレーム作成方法。
【請求項３】
前記動きベクトルを検出する工程は、前記画面外に位置する画素は特定の固定値を持つとみなすことを特徴とする請求項１に記載の補間フレーム作成方法。
【請求項４】
前記動きベクトルを検出する工程は、前記画面外に位置する画素以外に画素差分の累積加算処理を行うことを特徴とする請求項１に記載の補間フレーム作成方法。
【請求項５】
入力される2枚以上のフレーム画像を用いて、前記入力フレーム画像の間に位置する新たなフレーム画像を作成する補間フレーム作成装置であって、
前記入力フレーム画像間のブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する検出手段と、
前記検出した動きベクトルを用いて補間画像を作成する作成手段とを備え、
前記補間画像を作成する作成手段は、検出した動きベクトル方向の対応画素位置が原フレームの一方側において画面外に存在する場合には、前記画面外に位置する画素を持たない側のフレームの画素のみを用いて補間画像を作成することを特徴とする補間フレーム作成装置。
【請求項６】
前記動きベクトルを検出する検出手段は、前記画面外に位置する画素は画面端に位置する画素が延伸するとみなすことを特徴とする請求項５に記載の補間フレーム作成装置。
【請求項７】
前記動きベクトルを検出する検出手段は、前記画面外に位置する画素は特定の固定値を持つとみなすことを特徴とする請求項５に記載の補間フレーム作成装置。
【請求項８】
前記動きベクトルを検出する検出手段は、前記画面外に位置する画素以外に画素差分の累積加算処理を行うことを特徴とする請求項５に記載の補間フレーム作成装置。
【請求項１】
入力される2枚以上のフレーム画像を用いて、前記入力フレーム画像の間に位置する新たなフレーム画像を作成する補間フレーム作成方法であって、
前記入力フレーム画像間のブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する工程と、
前記検出した動きベクトルを用いて補間画像を作成する工程とを有し、
前記補間画像を作成する工程は、検出した動きベクトル方向の対応画素位置が原フレームの一方側において画面外に存在する場合には、前記画面外に位置する画素を持たない側のフレームの画素のみを用いて補間画像を作成することを特徴とする補間フレーム作成方法。
【請求項２】
前記動きベクトルを検出する工程は、前記画面外に位置する画素は画面端に位置する画素が延伸するとみなすことを特徴とする請求項１に記載の補間フレーム作成方法。
【請求項３】
前記動きベクトルを検出する工程は、前記画面外に位置する画素は特定の固定値を持つとみなすことを特徴とする請求項１に記載の補間フレーム作成方法。
【請求項４】
前記動きベクトルを検出する工程は、前記画面外に位置する画素以外に画素差分の累積加算処理を行うことを特徴とする請求項１に記載の補間フレーム作成方法。
【請求項５】
入力される2枚以上のフレーム画像を用いて、前記入力フレーム画像の間に位置する新たなフレーム画像を作成する補間フレーム作成装置であって、
前記入力フレーム画像間のブロックマッチング処理によりフレーム画像内の物体の動きベクトルを検出する検出手段と、
前記検出した動きベクトルを用いて補間画像を作成する作成手段とを備え、
前記補間画像を作成する作成手段は、検出した動きベクトル方向の対応画素位置が原フレームの一方側において画面外に存在する場合には、前記画面外に位置する画素を持たない側のフレームの画素のみを用いて補間画像を作成することを特徴とする補間フレーム作成装置。
【請求項６】
前記動きベクトルを検出する検出手段は、前記画面外に位置する画素は画面端に位置する画素が延伸するとみなすことを特徴とする請求項５に記載の補間フレーム作成装置。
【請求項７】
前記動きベクトルを検出する検出手段は、前記画面外に位置する画素は特定の固定値を持つとみなすことを特徴とする請求項５に記載の補間フレーム作成装置。
【請求項８】
前記動きベクトルを検出する検出手段は、前記画面外に位置する画素以外に画素差分の累積加算処理を行うことを特徴とする請求項５に記載の補間フレーム作成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−２４５１３５（Ｐ２００８−２４５１３５Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００７−８５７７７（Ｐ２００７−８５７７７）
【出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]