フレーム補間回路、フレーム補間方法、表示装置
【課題】画面隅等に示される放送局のロゴマーク等の静止画も安定して表示するフレーム補間処理装置及びフレーム補間処理方法を提供する。
【解決手段】入力画像信号（Ｉ１）から第１のフレーム画像（Ｆ１）と第２のフレーム画像（Ｆ２）を検出し両者を比較して、フレーム中に複数の動きベクトルを検出する検出部（２１，２２）と、フレーム中の所定領域（ＡＬＵ１〜ＡＬＵ３）内の検出した動きベクトルの値を、所定値以内の値に制限する制限部（１３）と、検出部からの複数の動きベクトル及び制限部からの値を制限された動きベクトルと、第1のフレーム画像及び第２のフレーム画像に基づいて、補間フレーム（Ｆ３）を生成して出力する補間フレーム生成部（１４）をもつフレーム補間回路。
【解決手段】入力画像信号（Ｉ１）から第１のフレーム画像（Ｆ１）と第２のフレーム画像（Ｆ２）を検出し両者を比較して、フレーム中に複数の動きベクトルを検出する検出部（２１，２２）と、フレーム中の所定領域（ＡＬＵ１〜ＡＬＵ３）内の検出した動きベクトルの値を、所定値以内の値に制限する制限部（１３）と、検出部からの複数の動きベクトル及び制限部からの値を制限された動きベクトルと、第1のフレーム画像及び第２のフレーム画像に基づいて、補間フレーム（Ｆ３）を生成して出力する補間フレーム生成部（１４）をもつフレーム補間回路。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動きベクトルを検出し利用するフレーム補間回路及びフレーム補間方法とこれを用いた表示装置に関する。
【背景技術】
【０００２】
最近、デジタル映像技術の発達に伴って、映像の高画質化、高品質化への要請が高まっている。これに応じて、映像の各フレーム画像に対する補間画像を生成し付加することで、映像の動きをより滑らかに自然に表現するフレーム補間処理が知られている。
【０００３】
このようなフレーム補間処理では、画像のブロック動きベクトルを検出し、この動きベクトルの動き程度に応じて動き補償を行い、補間画像を生成している。
【０００４】
特許文献１には、ブロック内に動部分と静止部分が混在している場合に、動部分のみを用いたマッチング法により動き補償を行い、静止部分は動き補償に際して用いない技術が開示されている。
【特許文献１】特開平０２−４４８８３号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の従来技術では、テレビ放送の画面中にブレンド処理されて通常の映像上に乗せられている放送局のロゴマーク等の静止画は、背景の映像との輝度成分や色成分の差が小さい。従って、ブロックマッチングを行う際のブロックサイズと比較して小さい静止オブジェクトを含むブロックにおいて、背景の映像の動いている場合、背景の動きにひきずられて動いていると判断され、補間画像に破綻が生じる場合があるという問題がある。
【０００６】
本発明は、画面隅等に示される放送局のロゴマーク等の静止画も安定して表示するフレーム補間処理装置、フレーム補間処理方法、表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
課題を解決するための一実施形態は、
入力画像信号（Ｉ１）から第１のフレーム画像（Ｆ１）と第２のフレーム画像（Ｆ２）を検出し両者を比較して、前記フレーム中に複数の動きベクトルを検出する検出部（２１，２２）と、
前記フレーム中の所定領域（ＡＬＵ１〜ＡＬＵ３）内の前記検出した動きベクトルの値を、所定値以内の値に制限する制限部（１３）と、
前記検出部からの前記複数の動きベクトル及び前記制限部からの前記値を制限された動きベクトルと、前記第1のフレーム画像及び前記第２のフレーム画像に基づいて、補間フレーム（Ｆ３）を生成して出力する補間フレーム生成部（１４）と、
を具備することを特徴とするフレーム補間回路である。
【発明の効果】
【０００８】
画面隅等に示される放送局のロゴマーク等の静止画も安定して表示するフレーム補間処理装置及びフレーム補間処理方法を提供する。
【発明を実施するための最良の形態】
【０００９】
以下、この発明の実施の形態について図面を参照して詳細に説明する。
【００１０】
図１は、本発明の一実施形態に係るフレーム補間回路の構成の一例を示すブロック図である。図２は、本発明の一実施形態に係るフレーム補間回路が扱う前フレームと後フレームの一例を示す説明図である。図３は、本発明の一実施形態に係るフレーム補間回路が扱う誤補間によるゴーストを含む動きベクトルを伴うフレームの一例を示す説明図である。
【００１１】
図４は、本発明の一実施形態に係るフレーム補間回路による左上隅がクリップされた動きベクトルを伴うフレームの一例を示す説明図である。図５は、本発明の一実施形態に係るフレーム補間回路による四隅がクリップされた動きベクトルを伴うフレームの一例を示す説明図である。図６は、本発明の一実施形態に係るフレーム補間回路による右辺領域及び左辺領域がクリップされた動きベクトルを伴うフレームの一例を示す説明図である。図７は、本発明の一実施形態に係るフレーム補間回路を含む表示装置の構成の一例を示すブロック図である。
【００１２】
＜本発明の一実施形態であるフレーム補間回路＞
（構成と基本動作）
初めに、本発明の一実施形態であるフレーム補間回路の一例を図１を用いて説明する。フレーム補間回路１は、図１において、例えば、ＲＧＢ規格又はＹＣＢＣｒ規格等である一例として６０フレーム／秒の入力画像信号Ｉ１を受け一例として１２０フレーム／秒の出力画像信号Ｉ２を出力するフレームメモリ１１と、フレームメモリ１１に格納された過去フレーム（Ｆ１）と現在フレーム（Ｆ２）との画素値を比較しシンメトリックサーチやブロックマッチング等を用いて動きベクトルを生成する動きベクトル検出部１２とを有する。更に、フレーム補間回路１は、後述するベクトル値制限処理を行なう画面内領域判定・ベクトル値制限回路１３と、動きベクトル検出部１２からの過去フレーム（Ｆ１）と現在フレーム（Ｆ２）と動きベクトル検出部１２が生成した動きベクトルとに基づいて補間フレーム（Ｆ３）を生成する補間フレーム生成部１４を有している。
【００１３】
このようなフレーム補間回路１の基本動作を以下に詳細に説明する。
動きベクトル検出部１２の働きによって、図２に示すように、入力画像信号（Ｉ１）から過去フレーム画像（Ｆ１）と現在フレーム画像（Ｆ２）とに基づいて動きベクトルを検出する。画面内領域判定・ベクトル値制限回路１３は、この動きベクトルについて、後述する所定領域のベクトルの値だけを所定値以内とすべく制限する。
【００１４】
そして、補間フレーム生成部１４は、画面内領域判定・ベクトル値制限回路１３から部分的にベクトル値が制限された複数の動きベクトルを受け、入力画像信号（Ｉ１）からの過去フレーム画像（Ｆ１）と現在フレーム画像（Ｆ２）とに基づいて、補間画像（Ｆ３）を生成してフレームメモリ部１１に出力する。そして、フレームメモリ部１１では、過去フレーム画像（Ｆ１）、補間画像（Ｆ３）、現在フレーム画像（Ｆ２）の順に後段に出力する。
【００１５】
次に、画面上に現れるロゴマーク等の不具合とこれを解決するベクトル値制限回路の動作について、図面を用いて詳細に説明する。
【００１６】
（ベクトル値制限回路１３の動作）
・ロゴマーク等の表示不具合
上述した動きベクトル検出部１２において、ブロックマッチングを用いた動きベクトルの検出方法としては、補間フレーム画像の挿入位置を中心して、それを挟む前後２枚のフレーム上で所定形状のブロックを点対象に平行移動させ対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算しこれを累積した値（ＳＡＤ:Sum of Absolute Difference）を求め、このＳＡＤ値が最小となる方向を該ブロックの動きベクトルとする方法等が用いられる。
【００１７】
このようなブロック全体としての類似性を調べて動きベクトルを推定するブロックマッチング手法においては、ブレンド処理されて通常の映像上に乗せられている図３に示すような放送局のロゴマーク『ＡＢＣ』等は、背景の映像との輝度成分や色成分の差が小さい。従って、ブロックマッチングを行う際のブロックサイズと比較して小さい静止オブジェクトを含むブロックでは、背景の映像が動いている場合、背景の動きにひきずられて動いていると判断され、図３に示すようにゴーストが生じるなど、補間画像に表示不具合が生じる場合がある。
【００１８】
・クリップ処理（制限処理）の具体例
このようなロゴマーク等の静止画の表示不具合の対策として、特定領域について、ベクトル値をクリップ（一定値以内に適宜制限して固定）し、映像に動きないものとして処理する方法が好適である。
【００１９】
すなわち、放送局のロゴマーク等は、映像の邪魔にならないように画面の四隅に乗せられていることがほとんどである。ここで、通常の映像においては視聴者の注目する映像は画面中央に存在しており、視聴者が画面の周縁部分を注視することは稀である。補間フレーム作成の主目的は動画ボケの改善にあるが、上述の点を考慮すると、視聴者の体感する動画ボケの改善効果は画面中央では大きいが、画面周縁部では小さいと考えられる。しかしまた一方で、動画のボケ感に対しては画面周縁部における感度は高くないが、誤補間された映像に対しては画面周縁部においてもある程度の感度を有しており、映像の破綻として認知される。
【００２０】
本発明の一実施形態である制限処理は、以上の点を考慮してなされたものであり、動きベクトル検出を行う補間フレーム作成方法において、１画面内の特定領域では検出したベクトル値を所定値にクリップ（所定値以内の値となるように必要に応じて制限）したベクトルを用いて補間フレームを作成する。これにより、動画ボケの改善効果を維持しながら、放送局のロゴマーク等が誤補間されることによる映像の破綻を低減する。
【００２１】
以下、具体的な数値を示して説明する。
前後フレーム間上での動き量として水平方向に２０画素、垂直方向に８画素までの動きを、ブロックマッチングによって検出するとする。また、ここで、入力された映像全体が水平右方向に１６画素／フレーム、垂直上方向に６画素／フレームで動いており、画面の左上隅に静止した半透明状の放送局ロゴマークが前記映像上に乗っているとする。以下では、検出する動きベクトルは前フレームから補間フレームないし、補間フレームから後フレームへの遷移時間内での物体の移動量として表現するものとする。
【００２２】
このような映像が入力された場合、ブロックマッチング処理によって、ロゴマークの乗っていない領域では、ほぼ水平方向に８画素、垂直方向に３画素の動きベクトルが検出される。ロゴマークの乗っている領域では、背景の映像の輝度・色成分と、ロゴマークの輝度成分・色成分とに依存して結果は変化するが、ロゴマークの乗っていない領域と同様に、水平方向に８画素、垂直方向に３画素の動きベクトルが検出された場合を例としてこの実施形態を説明する。
【００２３】
クリップ処理（所定値以内の値となるように必要に応じて制限）がなされない補間フレーム作成方法では、ブロックマッチングによって検出された動きベクトルをそのまま使用して、補間フレームの作成を行う。従って、上述したように、図３に示すような本来のロゴの斜め上、斜め下等にゴースト状に誤補間されたものが生じる場合があり、このようなゴースト状のノイズが補間フレーム上に生成されると、映像の破綻として目立つ。
【００２４】
これを解決するべく、ベクトル値のクリップ処理（所定値以内の値となるように必要に応じて制限）では、図４に示すように画面の左上の角領域ＡＬＵ１、ＡＬＵ２、ＡＬＵ３で、ブロックマッチングによって検出した動きベクトルをクリップしたものを用いて補間クレームを生成する。
【００２５】
これにより、ロゴの周辺に発生するゴースト状のノイズは低減されることになる。一方で、背景の実際に動いている映像に対しては、動きの補正にずれが発生することになるので、クリップ処理（制限処理）を行うことによって通常処理に比べるとボケ感が生じるが、前述のようにこのボケ感の増大による影響は総合的に判断すると小さいと言える。
【００２６】
ここで、動きベクトルのクリップ量を急激に変化させると、その境界部において不自然に見えるため、図４に示すように、徐々にクリップ量を変化させる領域ＡＬＵ１、ＡＬＵ２、ＡＬＵ３を設けることにより、そのような不具合の発生を抑止することができる。
【００２７】
この実施形態の場合、具体的には例えば、画面左上の一番隅の領域ＡＬＵ１では検出した動きベクトルを水平方向に２画素、垂直方向に１画素でクリップ、その１つ周辺の領域ＡＬＵ２では水平方向に４画素、垂直方向に２画素でクリップ、さらにその１つ周辺の領域ＡＬＵ３では水平方向に６画素、垂直方向には３画素でクリップを行い、それ以外の領域では動きベクトル検出部で検出した動きベクトルをそのまま用いるようにする。
【００２８】
このようにすることで、動画ボケの改善効果を維持しながら、放送局のロゴマーク等が誤補間されることによる映像の破綻を低減することができる。
【００２９】
なお、動きベクトルのクリップ値の変化のさせ方は、本例に限定されるものではなく、０.５画素精度等の画素精度以下の動きも含めて、さらに細かなステップで変化をさせることも可能である。
【００３０】
このようなベクトル値のクリップ処理（削除処理）により、放送局のロゴマーク等を含んでいる映像に対して、動きベクトルの誤検出による破綻を低減することが可能となる。
【００３１】
（他の実施形態）
上述したベクトル値制限回路１３のクリップ処理（削除処理）の他の実施形態として、図５に示すようにフレームの四隅を特定領域とした場合、図６に示すようにフレームの左辺又は右辺を特定領域とした場合が好適である。
【００３２】
すなわち、図５に示すようにフレームの四隅、具体的には、左上隅の特定領域ＡＬＵ１、ＡＬＵ２、ＡＬＵ３、左下隅の特定領域ＡＬＤ１、ＡＬＤ２、ＡＬＤ３、右上隅の特定領域ＡＲＵ１、ＡＲＵ２、ＡＲＵ３、右下隅の特定領域ＡＲＤ１、ＡＲＤ２、ＡＲＤ３をクリップ値を段階的に大きくしてそれぞれ設けている。これにより、ロゴマークがどの片隅に表示されても保護が可能となる。
【００３３】
又、図６に示すようにフレームの左辺と右辺、具体的には、左辺の特定領域ＡＬ１、ＡＬ２、ＡＬ３、右辺の特定領域ＡＲ１、ＡＲ２、ＡＲ３をクリップ値を段階的に大きくしてそれぞれ設けている。これにより、ロゴマークが左辺、右辺のどちらに表示されても保護が可能となる。
【００３４】
＜本発明の一実施形態であるフレーム補間回路を用いたパネル表示装置＞
次に、上述したフレーム補間回路を用いたパネル表示装置の一例を図１０を用いて詳細に説明する。
【００３５】
フレーム補間回路１を用いたパネル表示装置３０は、一例として、放送信号を映像信号として出力するチューナ部３１と、映像信号のスケーリング処理を行なうスケーラ３２と、映像信号のＩＰ変換を行なうＩＰ変換部３３と、カラーマネジメント、エンハンサ、補正回路等を含む処理部３４と、上述したフレーム補間回路１と、このフレーム補間回路１の出力を受ける液晶表示部やＦＰＤ（Flat Panel Display）等のパネル部１５を有している。
【００３６】
このような構成をもつパネル表示装置３０は、上述したようにフレーム補間回路１により、四隅等の特定の領域につきベクトル値のクリップ処理（制限処理）を行なうことで、ロゴマーク等の静止画像を破綻することなく表示することができ、映像の破綻のない補間フレームを用いて滑らかで自然な映像を表示することが可能となる。
【００３７】
以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態に係るフレーム補間回路の構成の一例を示すブロック図。
【図２】本発明の一実施形態に係るフレーム補間回路が扱う前フレームと後フレームの一例を示す説明図。
【図３】本発明の一実施形態に係るフレーム補間回路が扱う誤補間によるゴーストを含む動きベクトルを伴うフレームの一例を示す説明図。
【図４】本発明の一実施形態に係るフレーム補間回路による左上隅がクリップされた動きベクトルを伴うフレームの一例を示す説明図。
【図５】本発明の一実施形態に係るフレーム補間回路による四隅がクリップされた動きベクトルを伴うフレームの一例を示す説明図。
【図６】本発明の一実施形態に係るフレーム補間回路による左辺領域及び右辺領域がクリップされた動きベクトルを伴うフレームの一例を示す説明図。
【図７】本発明の一実施形態に係るフレーム補間回路を含む表示装置の構成の一例を示すブロック図。
【符号の説明】
【００３９】
１…フレーム補間回路、１１…フレームメモリ、１２…動きベクトル検出部、１３…画面内領域判定・ベクトルクリップ回路（ベクトル値制限部）、１４…補間画像作成部。
【技術分野】
【０００１】
この発明は、動きベクトルを検出し利用するフレーム補間回路及びフレーム補間方法とこれを用いた表示装置に関する。
【背景技術】
【０００２】
最近、デジタル映像技術の発達に伴って、映像の高画質化、高品質化への要請が高まっている。これに応じて、映像の各フレーム画像に対する補間画像を生成し付加することで、映像の動きをより滑らかに自然に表現するフレーム補間処理が知られている。
【０００３】
このようなフレーム補間処理では、画像のブロック動きベクトルを検出し、この動きベクトルの動き程度に応じて動き補償を行い、補間画像を生成している。
【０００４】
特許文献１には、ブロック内に動部分と静止部分が混在している場合に、動部分のみを用いたマッチング法により動き補償を行い、静止部分は動き補償に際して用いない技術が開示されている。
【特許文献１】特開平０２−４４８８３号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の従来技術では、テレビ放送の画面中にブレンド処理されて通常の映像上に乗せられている放送局のロゴマーク等の静止画は、背景の映像との輝度成分や色成分の差が小さい。従って、ブロックマッチングを行う際のブロックサイズと比較して小さい静止オブジェクトを含むブロックにおいて、背景の映像の動いている場合、背景の動きにひきずられて動いていると判断され、補間画像に破綻が生じる場合があるという問題がある。
【０００６】
本発明は、画面隅等に示される放送局のロゴマーク等の静止画も安定して表示するフレーム補間処理装置、フレーム補間処理方法、表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
課題を解決するための一実施形態は、
入力画像信号（Ｉ１）から第１のフレーム画像（Ｆ１）と第２のフレーム画像（Ｆ２）を検出し両者を比較して、前記フレーム中に複数の動きベクトルを検出する検出部（２１，２２）と、
前記フレーム中の所定領域（ＡＬＵ１〜ＡＬＵ３）内の前記検出した動きベクトルの値を、所定値以内の値に制限する制限部（１３）と、
前記検出部からの前記複数の動きベクトル及び前記制限部からの前記値を制限された動きベクトルと、前記第1のフレーム画像及び前記第２のフレーム画像に基づいて、補間フレーム（Ｆ３）を生成して出力する補間フレーム生成部（１４）と、
を具備することを特徴とするフレーム補間回路である。
【発明の効果】
【０００８】
画面隅等に示される放送局のロゴマーク等の静止画も安定して表示するフレーム補間処理装置及びフレーム補間処理方法を提供する。
【発明を実施するための最良の形態】
【０００９】
以下、この発明の実施の形態について図面を参照して詳細に説明する。
【００１０】
図１は、本発明の一実施形態に係るフレーム補間回路の構成の一例を示すブロック図である。図２は、本発明の一実施形態に係るフレーム補間回路が扱う前フレームと後フレームの一例を示す説明図である。図３は、本発明の一実施形態に係るフレーム補間回路が扱う誤補間によるゴーストを含む動きベクトルを伴うフレームの一例を示す説明図である。
【００１１】
図４は、本発明の一実施形態に係るフレーム補間回路による左上隅がクリップされた動きベクトルを伴うフレームの一例を示す説明図である。図５は、本発明の一実施形態に係るフレーム補間回路による四隅がクリップされた動きベクトルを伴うフレームの一例を示す説明図である。図６は、本発明の一実施形態に係るフレーム補間回路による右辺領域及び左辺領域がクリップされた動きベクトルを伴うフレームの一例を示す説明図である。図７は、本発明の一実施形態に係るフレーム補間回路を含む表示装置の構成の一例を示すブロック図である。
【００１２】
＜本発明の一実施形態であるフレーム補間回路＞
（構成と基本動作）
初めに、本発明の一実施形態であるフレーム補間回路の一例を図１を用いて説明する。フレーム補間回路１は、図１において、例えば、ＲＧＢ規格又はＹＣＢＣｒ規格等である一例として６０フレーム／秒の入力画像信号Ｉ１を受け一例として１２０フレーム／秒の出力画像信号Ｉ２を出力するフレームメモリ１１と、フレームメモリ１１に格納された過去フレーム（Ｆ１）と現在フレーム（Ｆ２）との画素値を比較しシンメトリックサーチやブロックマッチング等を用いて動きベクトルを生成する動きベクトル検出部１２とを有する。更に、フレーム補間回路１は、後述するベクトル値制限処理を行なう画面内領域判定・ベクトル値制限回路１３と、動きベクトル検出部１２からの過去フレーム（Ｆ１）と現在フレーム（Ｆ２）と動きベクトル検出部１２が生成した動きベクトルとに基づいて補間フレーム（Ｆ３）を生成する補間フレーム生成部１４を有している。
【００１３】
このようなフレーム補間回路１の基本動作を以下に詳細に説明する。
動きベクトル検出部１２の働きによって、図２に示すように、入力画像信号（Ｉ１）から過去フレーム画像（Ｆ１）と現在フレーム画像（Ｆ２）とに基づいて動きベクトルを検出する。画面内領域判定・ベクトル値制限回路１３は、この動きベクトルについて、後述する所定領域のベクトルの値だけを所定値以内とすべく制限する。
【００１４】
そして、補間フレーム生成部１４は、画面内領域判定・ベクトル値制限回路１３から部分的にベクトル値が制限された複数の動きベクトルを受け、入力画像信号（Ｉ１）からの過去フレーム画像（Ｆ１）と現在フレーム画像（Ｆ２）とに基づいて、補間画像（Ｆ３）を生成してフレームメモリ部１１に出力する。そして、フレームメモリ部１１では、過去フレーム画像（Ｆ１）、補間画像（Ｆ３）、現在フレーム画像（Ｆ２）の順に後段に出力する。
【００１５】
次に、画面上に現れるロゴマーク等の不具合とこれを解決するベクトル値制限回路の動作について、図面を用いて詳細に説明する。
【００１６】
（ベクトル値制限回路１３の動作）
・ロゴマーク等の表示不具合
上述した動きベクトル検出部１２において、ブロックマッチングを用いた動きベクトルの検出方法としては、補間フレーム画像の挿入位置を中心して、それを挟む前後２枚のフレーム上で所定形状のブロックを点対象に平行移動させ対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算しこれを累積した値（ＳＡＤ:Sum of Absolute Difference）を求め、このＳＡＤ値が最小となる方向を該ブロックの動きベクトルとする方法等が用いられる。
【００１７】
このようなブロック全体としての類似性を調べて動きベクトルを推定するブロックマッチング手法においては、ブレンド処理されて通常の映像上に乗せられている図３に示すような放送局のロゴマーク『ＡＢＣ』等は、背景の映像との輝度成分や色成分の差が小さい。従って、ブロックマッチングを行う際のブロックサイズと比較して小さい静止オブジェクトを含むブロックでは、背景の映像が動いている場合、背景の動きにひきずられて動いていると判断され、図３に示すようにゴーストが生じるなど、補間画像に表示不具合が生じる場合がある。
【００１８】
・クリップ処理（制限処理）の具体例
このようなロゴマーク等の静止画の表示不具合の対策として、特定領域について、ベクトル値をクリップ（一定値以内に適宜制限して固定）し、映像に動きないものとして処理する方法が好適である。
【００１９】
すなわち、放送局のロゴマーク等は、映像の邪魔にならないように画面の四隅に乗せられていることがほとんどである。ここで、通常の映像においては視聴者の注目する映像は画面中央に存在しており、視聴者が画面の周縁部分を注視することは稀である。補間フレーム作成の主目的は動画ボケの改善にあるが、上述の点を考慮すると、視聴者の体感する動画ボケの改善効果は画面中央では大きいが、画面周縁部では小さいと考えられる。しかしまた一方で、動画のボケ感に対しては画面周縁部における感度は高くないが、誤補間された映像に対しては画面周縁部においてもある程度の感度を有しており、映像の破綻として認知される。
【００２０】
本発明の一実施形態である制限処理は、以上の点を考慮してなされたものであり、動きベクトル検出を行う補間フレーム作成方法において、１画面内の特定領域では検出したベクトル値を所定値にクリップ（所定値以内の値となるように必要に応じて制限）したベクトルを用いて補間フレームを作成する。これにより、動画ボケの改善効果を維持しながら、放送局のロゴマーク等が誤補間されることによる映像の破綻を低減する。
【００２１】
以下、具体的な数値を示して説明する。
前後フレーム間上での動き量として水平方向に２０画素、垂直方向に８画素までの動きを、ブロックマッチングによって検出するとする。また、ここで、入力された映像全体が水平右方向に１６画素／フレーム、垂直上方向に６画素／フレームで動いており、画面の左上隅に静止した半透明状の放送局ロゴマークが前記映像上に乗っているとする。以下では、検出する動きベクトルは前フレームから補間フレームないし、補間フレームから後フレームへの遷移時間内での物体の移動量として表現するものとする。
【００２２】
このような映像が入力された場合、ブロックマッチング処理によって、ロゴマークの乗っていない領域では、ほぼ水平方向に８画素、垂直方向に３画素の動きベクトルが検出される。ロゴマークの乗っている領域では、背景の映像の輝度・色成分と、ロゴマークの輝度成分・色成分とに依存して結果は変化するが、ロゴマークの乗っていない領域と同様に、水平方向に８画素、垂直方向に３画素の動きベクトルが検出された場合を例としてこの実施形態を説明する。
【００２３】
クリップ処理（所定値以内の値となるように必要に応じて制限）がなされない補間フレーム作成方法では、ブロックマッチングによって検出された動きベクトルをそのまま使用して、補間フレームの作成を行う。従って、上述したように、図３に示すような本来のロゴの斜め上、斜め下等にゴースト状に誤補間されたものが生じる場合があり、このようなゴースト状のノイズが補間フレーム上に生成されると、映像の破綻として目立つ。
【００２４】
これを解決するべく、ベクトル値のクリップ処理（所定値以内の値となるように必要に応じて制限）では、図４に示すように画面の左上の角領域ＡＬＵ１、ＡＬＵ２、ＡＬＵ３で、ブロックマッチングによって検出した動きベクトルをクリップしたものを用いて補間クレームを生成する。
【００２５】
これにより、ロゴの周辺に発生するゴースト状のノイズは低減されることになる。一方で、背景の実際に動いている映像に対しては、動きの補正にずれが発生することになるので、クリップ処理（制限処理）を行うことによって通常処理に比べるとボケ感が生じるが、前述のようにこのボケ感の増大による影響は総合的に判断すると小さいと言える。
【００２６】
ここで、動きベクトルのクリップ量を急激に変化させると、その境界部において不自然に見えるため、図４に示すように、徐々にクリップ量を変化させる領域ＡＬＵ１、ＡＬＵ２、ＡＬＵ３を設けることにより、そのような不具合の発生を抑止することができる。
【００２７】
この実施形態の場合、具体的には例えば、画面左上の一番隅の領域ＡＬＵ１では検出した動きベクトルを水平方向に２画素、垂直方向に１画素でクリップ、その１つ周辺の領域ＡＬＵ２では水平方向に４画素、垂直方向に２画素でクリップ、さらにその１つ周辺の領域ＡＬＵ３では水平方向に６画素、垂直方向には３画素でクリップを行い、それ以外の領域では動きベクトル検出部で検出した動きベクトルをそのまま用いるようにする。
【００２８】
このようにすることで、動画ボケの改善効果を維持しながら、放送局のロゴマーク等が誤補間されることによる映像の破綻を低減することができる。
【００２９】
なお、動きベクトルのクリップ値の変化のさせ方は、本例に限定されるものではなく、０.５画素精度等の画素精度以下の動きも含めて、さらに細かなステップで変化をさせることも可能である。
【００３０】
このようなベクトル値のクリップ処理（削除処理）により、放送局のロゴマーク等を含んでいる映像に対して、動きベクトルの誤検出による破綻を低減することが可能となる。
【００３１】
（他の実施形態）
上述したベクトル値制限回路１３のクリップ処理（削除処理）の他の実施形態として、図５に示すようにフレームの四隅を特定領域とした場合、図６に示すようにフレームの左辺又は右辺を特定領域とした場合が好適である。
【００３２】
すなわち、図５に示すようにフレームの四隅、具体的には、左上隅の特定領域ＡＬＵ１、ＡＬＵ２、ＡＬＵ３、左下隅の特定領域ＡＬＤ１、ＡＬＤ２、ＡＬＤ３、右上隅の特定領域ＡＲＵ１、ＡＲＵ２、ＡＲＵ３、右下隅の特定領域ＡＲＤ１、ＡＲＤ２、ＡＲＤ３をクリップ値を段階的に大きくしてそれぞれ設けている。これにより、ロゴマークがどの片隅に表示されても保護が可能となる。
【００３３】
又、図６に示すようにフレームの左辺と右辺、具体的には、左辺の特定領域ＡＬ１、ＡＬ２、ＡＬ３、右辺の特定領域ＡＲ１、ＡＲ２、ＡＲ３をクリップ値を段階的に大きくしてそれぞれ設けている。これにより、ロゴマークが左辺、右辺のどちらに表示されても保護が可能となる。
【００３４】
＜本発明の一実施形態であるフレーム補間回路を用いたパネル表示装置＞
次に、上述したフレーム補間回路を用いたパネル表示装置の一例を図１０を用いて詳細に説明する。
【００３５】
フレーム補間回路１を用いたパネル表示装置３０は、一例として、放送信号を映像信号として出力するチューナ部３１と、映像信号のスケーリング処理を行なうスケーラ３２と、映像信号のＩＰ変換を行なうＩＰ変換部３３と、カラーマネジメント、エンハンサ、補正回路等を含む処理部３４と、上述したフレーム補間回路１と、このフレーム補間回路１の出力を受ける液晶表示部やＦＰＤ（Flat Panel Display）等のパネル部１５を有している。
【００３６】
このような構成をもつパネル表示装置３０は、上述したようにフレーム補間回路１により、四隅等の特定の領域につきベクトル値のクリップ処理（制限処理）を行なうことで、ロゴマーク等の静止画像を破綻することなく表示することができ、映像の破綻のない補間フレームを用いて滑らかで自然な映像を表示することが可能となる。
【００３７】
以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態に係るフレーム補間回路の構成の一例を示すブロック図。
【図２】本発明の一実施形態に係るフレーム補間回路が扱う前フレームと後フレームの一例を示す説明図。
【図３】本発明の一実施形態に係るフレーム補間回路が扱う誤補間によるゴーストを含む動きベクトルを伴うフレームの一例を示す説明図。
【図４】本発明の一実施形態に係るフレーム補間回路による左上隅がクリップされた動きベクトルを伴うフレームの一例を示す説明図。
【図５】本発明の一実施形態に係るフレーム補間回路による四隅がクリップされた動きベクトルを伴うフレームの一例を示す説明図。
【図６】本発明の一実施形態に係るフレーム補間回路による左辺領域及び右辺領域がクリップされた動きベクトルを伴うフレームの一例を示す説明図。
【図７】本発明の一実施形態に係るフレーム補間回路を含む表示装置の構成の一例を示すブロック図。
【符号の説明】
【００３９】
１…フレーム補間回路、１１…フレームメモリ、１２…動きベクトル検出部、１３…画面内領域判定・ベクトルクリップ回路（ベクトル値制限部）、１４…補間画像作成部。
【特許請求の範囲】
【請求項１】
入力画像信号から第１のフレーム画像と第２のフレーム画像を検出し両者を比較して、前記フレーム中に複数の動きベクトルを検出する検出部と、
前記フレーム中の所定領域内の前記検出した動きベクトルの値を、所定値以内の値に制限する制限部と、
前記検出部からの前記複数の動きベクトル及び前記制限部からの前記値を制限された動きベクトルと、前記第1のフレーム画像及び前記第２のフレーム画像に基づいて、補間フレームを生成して出力する補間フレーム生成部と、
を具備することを特徴とするフレーム補間回路。
【請求項２】
前記制限部は、前記所定値が段階的に変化する複数の前記所定領域を有することを特徴とする請求項１記載のフレーム補間回路。
【請求項３】
前記制限部は、前記所定領域を前記フレームの四隅にそれぞれ設けたことを特徴とする請求項１記載のフレーム補間回路。
【請求項４】
前記制限部は、前記所定領域を前記フレームの左辺及び右辺にそれぞれ設けたことを特徴とする請求項１記載のフレーム補間回路。
【請求項５】
入力画像信号から第１のフレーム画像と第２のフレーム画像を検出し両者を比較して、前記フレーム中に複数の動きベクトルを検出し、
前記フレーム中の所定領域内の前記検出した動きベクトルの値を、所定値以内の値に制限し、
前記複数の動きベクトル及び前記値を制限された動きベクトルと、前記第1のフレーム画像及び前記第２のフレーム画像に基づいて、補間フレームを生成して出力することを特徴とするフレーム補間方法。
【請求項６】
前記所定値が段階的に変化する複数の前記所定領域を更に有することを特徴とする請求項５記載のフレーム補間方法。
【請求項７】
前記所定領域を前記フレームの四隅にそれぞれ設けたことを特徴とする請求項５記載のフレーム補間方法。
【請求項８】
前記所定領域を前記フレームの左辺及び右辺にそれぞれ設けたことを特徴とする請求項５記載のフレーム補間方法。
【請求項９】
入力画像信号から第１のフレーム画像と第２のフレーム画像を検出し両者を比較して、前記フレーム中に複数の動きベクトルを検出する検出部と、
前記フレーム中の所定領域内の前記検出した動きベクトルの値を、所定値以内の値に制限する制限部と、
前記検出部からの前記複数の動きベクトル及び前記制限部からの前記値を制限された動きベクトルと、前記第1のフレーム画像及び前記第２のフレーム画像に基づいて、補間フレームを生成して出力する補間フレーム生成部と、
前記第1及び第２のフレーム画像及び前記補間画像を画面に表示するパネル部を具備することを特徴とする表示装置。
【請求項１０】
前記制限部は、前記所定値が段階的に変化する複数の前記所定領域を有することを特徴とする請求項９記載の表示装置。
【請求項１】
入力画像信号から第１のフレーム画像と第２のフレーム画像を検出し両者を比較して、前記フレーム中に複数の動きベクトルを検出する検出部と、
前記フレーム中の所定領域内の前記検出した動きベクトルの値を、所定値以内の値に制限する制限部と、
前記検出部からの前記複数の動きベクトル及び前記制限部からの前記値を制限された動きベクトルと、前記第1のフレーム画像及び前記第２のフレーム画像に基づいて、補間フレームを生成して出力する補間フレーム生成部と、
を具備することを特徴とするフレーム補間回路。
【請求項２】
前記制限部は、前記所定値が段階的に変化する複数の前記所定領域を有することを特徴とする請求項１記載のフレーム補間回路。
【請求項３】
前記制限部は、前記所定領域を前記フレームの四隅にそれぞれ設けたことを特徴とする請求項１記載のフレーム補間回路。
【請求項４】
前記制限部は、前記所定領域を前記フレームの左辺及び右辺にそれぞれ設けたことを特徴とする請求項１記載のフレーム補間回路。
【請求項５】
入力画像信号から第１のフレーム画像と第２のフレーム画像を検出し両者を比較して、前記フレーム中に複数の動きベクトルを検出し、
前記フレーム中の所定領域内の前記検出した動きベクトルの値を、所定値以内の値に制限し、
前記複数の動きベクトル及び前記値を制限された動きベクトルと、前記第1のフレーム画像及び前記第２のフレーム画像に基づいて、補間フレームを生成して出力することを特徴とするフレーム補間方法。
【請求項６】
前記所定値が段階的に変化する複数の前記所定領域を更に有することを特徴とする請求項５記載のフレーム補間方法。
【請求項７】
前記所定領域を前記フレームの四隅にそれぞれ設けたことを特徴とする請求項５記載のフレーム補間方法。
【請求項８】
前記所定領域を前記フレームの左辺及び右辺にそれぞれ設けたことを特徴とする請求項５記載のフレーム補間方法。
【請求項９】
入力画像信号から第１のフレーム画像と第２のフレーム画像を検出し両者を比較して、前記フレーム中に複数の動きベクトルを検出する検出部と、
前記フレーム中の所定領域内の前記検出した動きベクトルの値を、所定値以内の値に制限する制限部と、
前記検出部からの前記複数の動きベクトル及び前記制限部からの前記値を制限された動きベクトルと、前記第1のフレーム画像及び前記第２のフレーム画像に基づいて、補間フレームを生成して出力する補間フレーム生成部と、
前記第1及び第２のフレーム画像及び前記補間画像を画面に表示するパネル部を具備することを特徴とする表示装置。
【請求項１０】
前記制限部は、前記所定値が段階的に変化する複数の前記所定領域を有することを特徴とする請求項９記載の表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−６７１９４（Ｐ２００８−６７１９４Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００６−２４４４６１（Ｐ２００６−２４４４６１）
【出願日】平成１８年９月８日（２００６．９．８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１８年９月８日（２００６．９．８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]