動きベクトル導出装置および方法
【課題】あるブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを精度良く導出する。
【解決手段】動きベクトル導出部１４は、時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する。候補ベクトル生成部２０は、動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する。基準ベクトル生成部２２は、対象ブロックの周囲に位置する複数のブロックにおいて決定済みの動きベクトルを使用して、対象ブロックの動きベクトルを決定するための基準となる基準ベクトルを生成する。内積計算部２４は、複数の候補ベクトルのそれぞれと基準ベクトルとの内積を計算する。動きベクトル選択部２６は、内積計算部２４によって計算された内積が最大となるベクトル候補を対象ブロックの動きベクトルとして選択する。
【解決手段】動きベクトル導出部１４は、時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する。候補ベクトル生成部２０は、動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する。基準ベクトル生成部２２は、対象ブロックの周囲に位置する複数のブロックにおいて決定済みの動きベクトルを使用して、対象ブロックの動きベクトルを決定するための基準となる基準ベクトルを生成する。内積計算部２４は、複数の候補ベクトルのそれぞれと基準ベクトルとの内積を計算する。動きベクトル選択部２６は、内積計算部２４によって計算された内積が最大となるベクトル候補を対象ブロックの動きベクトルとして選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像内の連続するフレーム間で動きベクトルを求める技術に関する。
【背景技術】
【０００２】
液晶パネルを使用した薄型表示装置が大画面化すると、残像によるぼやけやぶれなどが目立つようになるという問題が生じる。これに対処するには、薄型表示装置で再生される動画像のフレームレートを高めることが有効である。一般的なフレームレート変換技術では、ある時点のフレームと時間的に一つ前または後のフレームとの間で、所定の大きさのブロック単位で動きベクトルを導出し、導出した動きベクトルを利用した動き補償によって両フレームの中間フレームを作成する。フレームレート変換後に滑らかな動画像を実現するためには、動きベクトルを正確に求めることが重要である。
【０００３】
一般的に、動きベクトルの導出は、両フレーム内のブロック間でブロックマッチングを実行して、輝度値の絶対値誤差または二乗誤差が最小となるブロックのペアを探索し、このペア同士を結ぶベクトルを動きベクトルとして採用するという手順で行われる。しかしながら、実用上は、複数のブロックのペアにおける輝度値の絶対値誤差または二乗誤差が同程度の大きさになることが多い。このような場合に、単に誤差が最小であるという理由で動きベクトルを決定してしまうと、フレーム間の連続性の観点からは不適切な動きベクトルを選択してしまうことがある。
【０００４】
ブロックマッチングのみに基づき動きベクトルを決定するのではなく、隣接ブロック間での動きベクトルの相関性を利用してより正確な動きベクトルを選択する技術も知られている。例えば、特許文献１には、入力される映像信号の現在フレームの基準ブロックの位置が、動作量が少ない映像領域と隣接した事物の境界領域であるか否かに基づき、基準ブロックの動作ベクトルをメディアンフィルタリングする動作ベクトル検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１６６１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では、基準ブロックの複数の動作ベクトル間で大きさが中位のものを選択して他のものは考慮されないので、正しい動きベクトルが棄却されてしまうおそれがある。
【０００７】
本発明はこうした状況に鑑みてなされたものであり、その目的は、時間的に連続する二つのフレーム間でのブロックマッチングの結果、あるブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを簡便かつ精度良く導出する技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一態様は、時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する動きベクトル検出装置である。この装置は、動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する候補ベクトル生成部と、対象ブロックの周囲に位置する複数のブロックにおいて決定済みの動きベクトルを使用して、対象ブロックの動きベクトルを決定するための基準となる基準ベクトルを生成する基準ベクトル生成部と、前記複数の候補ベクトルのそれぞれと前記基準ベクトルとの内積を計算する内積計算部と、前記内積計算部によって計算された内積が最大となる候補ベクトルを前記対象ブロックの動きベクトルとして選択する動きベクトル選択部と、を備える。
【０００９】
この態様によると、時間的に連続する二つのフレーム間でのブロックマッチングの結果、ある対象ブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを簡便かつ精度良く導出することが可能になる。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、時間的に連続する二つのフレーム間でのブロックマッチングの結果、あるブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを簡便かつ精度良く導出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るフレームレート変換装置の概略構成を示すブロック図である。
【図２】被補間フレームを作成する方法を説明する図である。
【図３】動きベクトル導出部の詳細な構成を示すブロック図である。
【図４】基準ベクトルの生成方法を説明する図である。
【図５】候補ベクトルの選択を説明する図である。
【図６】本実施形態における動きベクトル導出のフローチャートである。
【発明を実施するための形態】
【００１３】
図１は、本発明の一実施形態に係るフレームレート変換装置１０の概略構成を示すブロック図である。この構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１４】
フレームレート変換装置１０は、入力される動画像のフレームレートを変換して出力する装置である。本実施形態では、入力動画像のフレームレートを二倍に変換して出力する倍速変換について説明する。
【００１５】
フレーム選択部１２は、動画像から時間的に連続する二つのフレームを取り出す。この二つのフレームのうち時間的に後のものを「現フレーム」、時間的に前のものを「遅延フレーム」と呼ぶ。フレーム選択部１２は、所定のタイミングで一フレームずつずらしながら二つのフレームを連続的に動画像から取り出し、動きベクトル導出部１４に順次出力する。
【００１６】
動きベクトル導出部１４は、入力された現フレームと遅延フレームをそれぞれ所定の大きさのブロック（例えば、１６×１６画素のマクロブロック）に分割する。続いて、動きベクトル導出部１４は、現フレームと遅延フレームとの間で周知のブロックマッチングを実行し、ブロック毎に一つの動きベクトルを導出する。導出された各ブロックの動きベクトルは被補間フレーム作成部１６に供給される。
【００１７】
被補間フレーム作成部１６は、動きベクトル導出部１４により供給された動きベクトルを使用して周知の動き補償を行い、現フレームと遅延フレームの中間の被補間フレームを作成する。
【００１８】
図２は、被補間フレームを作成する方法を説明する図である。図中、Ｆ１が現フレーム、Ｆ２が遅延フレームであり、二つのフレームＦ１とＦ２の中間時点の被補間フレーム３を作成することを考える。フレームレート変換装置１０から出力される動画像では、フレームＦ２、Ｆ３、Ｆ１の順に再生される。
【００１９】
動きベクトル導出部１４は、被補間フレームＦ３を所定のサイズのブロックに分割する。被補間フレーム内のあるブロック（ブロックＢ３）の左上隅の座標（ｘ、ｙ）を通過する直線を考え、この直線が現フレームＦ１および遅延フレームＦ２上でそれぞれ左上隅を通過するブロックＢ１およびブロックＢ２の間でブロックマッチングを実行する。このブロックマッチングを現フレームＦ１および遅延フレームＦ２の全体にわたり実行し、ブロック間の類似性を評価するために各ブロックに対して輝度差の絶対値の総和を計算する。図２の例において、現フレームＦ１上で左上隅の座標が（ｘ＋ｉ，ｙ＋ｊ）であるブロックＢ１と、遅延フレームＦ２上で左上隅の座標が（ｘ−ｉ，ｙ−ｊ）であるブロックＢ２とでブロックマッチングを実行した場合、両者を結ぶ動きベクトルは（ｉ，ｊ）で表される。
【００２０】
動きベクトル（ｉ，ｊ）が最適と判定された場合、被補間フレーム作成部１６は、遅延フレームＦ２におけるブロックＢ２（または現フレームＦ１におけるブロックＢ１）のテクスチャを、被補間フレームＦ３におけるブロックＢ３に入れ込む。このような処理を被補間フレームＦ３内の全ブロックについて繰り返すことで、被補間フレームＦ３を作成することができる。
【００２１】
なお、ブロックマッチングおよび被補間フレームの作成は当業者にとって周知であるため、これ以上の詳細な説明は省略する。
【００２２】
図３は、動きベクトル導出部１４の詳細な構成を示すブロック図である。動きベクトル導出部１４は、候補ベクトル生成部２０、基準ベクトル生成部２２、内積計算部２４および動きベクトル選択部２６を含む。
【００２３】
候補ベクトル生成部２０は、現フレームと遅延フレームとを受け取り、被補間フレーム内のブロック毎に図２で説明したブロックマッチングを実行する。そして、マッチングを実行した現フレームのブロックと遅延フレームのブロックの組合せ毎に、輝度差の絶対値の総和（または輝度差の二乗和）を計算し、総和が小さくなる順に所定の数（例えば三つ）のブロックの組合せを選び出し、それぞれの動きベクトルを求める。これらの所定の数の動きベクトルを「候補ベクトル」と呼ぶ。候補ベクトルは内積計算部２４に供給される。
【００２４】
候補ベクトル生成部２０は、ブロックの組合せ毎に計算された絶対値の総和の間に顕著な差が存在しない（例えば５０程度）場合にのみ、複数の候補ベクトルを選択するようにしてもよい。あるブロックの組合せにおける輝度差の総和の最小値が、二番目に小さい値の１／１００である場合のように、最小値が際だって小さいときには、候補ベクトルを生成せずに、輝度差の総和が最小であるブロックの組合せから動きベクトルを直接求めれば十分である。以下では、複数の候補ベクトルを生成する場合について説明する。
【００２５】
基準ベクトル生成部２２は、被補間フレーム内で動きベクトルの計算対象となっているブロック（「対象ブロック」と呼ぶ）の周囲に存在する別のブロックにおいて既に導出されている動きベクトルを所定の数（例えば四つ）だけ取得する。
【００２６】
基準ベクトル生成部２２は、取得した動きベクトルの平均、すなわち各動きベクトルの水平成分と垂直成分の平均値を自身の水平成分および垂直成分とする基準ベクトルを計算する。この基準ベクトルは、対象ブロックの動きベクトルと、その周囲に位置するブロックの動きベクトルとは向きが近いはずであるという前提に基づいている。単純に平均を取る代わりに、対象ブロックからの距離に応じた重み付け平均を計算してもよい。基準ベクトルは内積計算部２４に供給される。
【００２７】
内積計算部２４は、候補ベクトル生成部２０から供給された複数の候補ベクトルのそれぞれと、基準ベクトル生成部２２から供給された基準ベクトルとの内積を計算する。基準ベクトルと向きの近い候補ベクトルであるほど、内積は大きくなる。
【００２８】
動きベクトル選択部２６は、内積計算部２４によって計算された内積が最大となった候補ベクトルを、対象ブロックの動きベクトルとして選択する。選択された動きベクトルは被補間フレーム作成部１６に供給される。
【００２９】
以下、図４および図５を参照して、動きベクトル導出部１４の作用を説明する。
【００３０】
図４は、基準ベクトルの生成方法を説明する図である。図中にハッチングされたブロックが動きベクトルの計算対象である対象ブロックであるとする。また、図中の左から右に向かう矢印は、動きベクトルの計算が被補間フレームの左上から右下に向けてラスタスキャン方式で行われている場合のスキャン方向を表している。
【００３１】
上述したように、基準ベクトル生成部２２は、対象ブロックの周囲に存在するブロックにおいて既に導出されている動きベクトルを所定の数（例えば四つ）だけ取得する。周囲のブロックは、例えば対象ブロックの左上、上、右上および左に位置する四つのブロック（図４に太線枠で示す）である。これらのブロックにおける動きベクトルＶ１〜Ｖ４が図４中に矢印で示されている。これら四つのベクトルＶ１〜Ｖ４の平均値である基準ベクトルＶｎが図５の左端に示されている。
【００３２】
基準ベクトル生成部２２は、より広範囲のブロック（例えば、図４に点線枠で示す範囲）における動きベクトルをさらに用いてもよい。この場合、全てのブロックにおける動きベクトルの単純平均を計算する代わりに、対象ブロックからの距離に応じた重み付け平均を計算してもよい。例えば太線枠の範囲の動きベクトルには１、点線枠の範囲の動きベクトルには０．５の重みを与えた上で平均を取り、基準ベクトルとしてもよい。
【００３３】
図５は候補ベクトルの選択を説明する図である。Ｖａ、Ｖｂ、Ｖｃで示す三つの候補ベクトルが候補ベクトル生成部２０により生成されたとする。内積計算部２４は、基準ベクトルＶｎと、候補ベクトルＶａ、Ｖｂ、Ｖｃのそれぞれとの内積を計算する。内積が最大値となるのは、基準ベクトルと同じ右上向きの候補ベクトルＶａであり、これが動きベクトルとして選択される。このように、非常に簡便な計算で、周囲のブロックにおける動きベクトルと類似する動きベクトル（すなわち、画像の相関性の観点から画質劣化を最小とする動きベクトル）を対象ブロックについて選択することができる。
【００３４】
図６は、本実施形態における動きベクトル導出のフローチャートである。まず、候補ベクトル生成部２０が、現フレームと遅延フレーム内のブロック間のブロックマッチングを行って、複数の候補ベクトルを生成する（Ｓ１０）。基準ベクトル生成部２２は、動きベクトルの計算対象となるブロックの周囲に位置する複数のブロックにおいて決定済みの動きベクトルを使用して、基準ベクトルを生成する（Ｓ１２）。内積計算部２４は、複数の候補ベクトルのそれぞれと基準ベクトルとの内積を計算する（Ｓ１４）。動きベクトル選択部２６は、内積が最大となった候補ベクトルを対象ブロックの動きベクトルとして選択する（Ｓ１６）。
【００３５】
以上説明したように、本実施形態によれば、時間的に連続する二つのフレーム間でのブロックマッチングの結果、ある対象ブロックについて動きベクトルの候補が複数存在する場合に、それらの候補の中で対象ブロックの周囲のブロックで求められた動きベクトルと類似する動きベクトルを簡単に選択することが可能になる。これにより正確な動きベクトルを選択できる可能性が高くなる。したがって、明らかに不適切な動きベクトルが選択される可能性が低くなり、その結果フレームレート変換後に滑らかな動画像を得ることができる。
【００３６】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３７】
基準ベクトル生成部２２において、複数のベクトルの平均を基準ベクトルとして計算する代わりに、複数のベクトルのうち大きさが中位のもの（メディアン）を基準ベクトルとして選択するようにしてもよい。平均を基準ベクトルとする場合に比べ、メディアンであれば突出したベクトルを排除することができる。
【００３８】
実施の形態では、現フレームと遅延フレームとの中間時点の被補間フレームを生成する場合について説明したが、同様の手法により、現フレームと遅延フレームを二等分、三等分（またはそれ以上）する複数の被補間フレームを作成できることは当業者であれば明らかである。
【００３９】
実施の形態では、フレームレート変化において被補間フレームを作成する場合の動きベクトルの導出に本発明を適用することを説明したが、本発明の方法を動画像符号化時の動きベクトルの導出にも適用することができる。本発明の方法を用いて導出された動きベクトルを動画像符号化に用いることで、符号量は通常の手法よりも増大する可能性はあるものの、画質を向上させることができる。
【符号の説明】
【００４０】
１０ フレームレート変換装置、 １２ フレーム選択部、 １４ 動きベクトル導出部、 １６ 被補間フレーム作成部、 ２０ 候補ベクトル生成部、 ２２ 基準ベクトル生成部、 ２４ 内積計算部、 ２６ 動きベクトル選択部。
【技術分野】
【０００１】
本発明は、動画像内の連続するフレーム間で動きベクトルを求める技術に関する。
【背景技術】
【０００２】
液晶パネルを使用した薄型表示装置が大画面化すると、残像によるぼやけやぶれなどが目立つようになるという問題が生じる。これに対処するには、薄型表示装置で再生される動画像のフレームレートを高めることが有効である。一般的なフレームレート変換技術では、ある時点のフレームと時間的に一つ前または後のフレームとの間で、所定の大きさのブロック単位で動きベクトルを導出し、導出した動きベクトルを利用した動き補償によって両フレームの中間フレームを作成する。フレームレート変換後に滑らかな動画像を実現するためには、動きベクトルを正確に求めることが重要である。
【０００３】
一般的に、動きベクトルの導出は、両フレーム内のブロック間でブロックマッチングを実行して、輝度値の絶対値誤差または二乗誤差が最小となるブロックのペアを探索し、このペア同士を結ぶベクトルを動きベクトルとして採用するという手順で行われる。しかしながら、実用上は、複数のブロックのペアにおける輝度値の絶対値誤差または二乗誤差が同程度の大きさになることが多い。このような場合に、単に誤差が最小であるという理由で動きベクトルを決定してしまうと、フレーム間の連続性の観点からは不適切な動きベクトルを選択してしまうことがある。
【０００４】
ブロックマッチングのみに基づき動きベクトルを決定するのではなく、隣接ブロック間での動きベクトルの相関性を利用してより正確な動きベクトルを選択する技術も知られている。例えば、特許文献１には、入力される映像信号の現在フレームの基準ブロックの位置が、動作量が少ない映像領域と隣接した事物の境界領域であるか否かに基づき、基準ブロックの動作ベクトルをメディアンフィルタリングする動作ベクトル検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１６６１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では、基準ブロックの複数の動作ベクトル間で大きさが中位のものを選択して他のものは考慮されないので、正しい動きベクトルが棄却されてしまうおそれがある。
【０００７】
本発明はこうした状況に鑑みてなされたものであり、その目的は、時間的に連続する二つのフレーム間でのブロックマッチングの結果、あるブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを簡便かつ精度良く導出する技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一態様は、時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する動きベクトル検出装置である。この装置は、動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する候補ベクトル生成部と、対象ブロックの周囲に位置する複数のブロックにおいて決定済みの動きベクトルを使用して、対象ブロックの動きベクトルを決定するための基準となる基準ベクトルを生成する基準ベクトル生成部と、前記複数の候補ベクトルのそれぞれと前記基準ベクトルとの内積を計算する内積計算部と、前記内積計算部によって計算された内積が最大となる候補ベクトルを前記対象ブロックの動きベクトルとして選択する動きベクトル選択部と、を備える。
【０００９】
この態様によると、時間的に連続する二つのフレーム間でのブロックマッチングの結果、ある対象ブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを簡便かつ精度良く導出することが可能になる。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、時間的に連続する二つのフレーム間でのブロックマッチングの結果、あるブロックについて動きベクトルの候補が複数存在する場合においても、その複数の動きベクトルの中から画質劣化を最小とする動きベクトルを簡便かつ精度良く導出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るフレームレート変換装置の概略構成を示すブロック図である。
【図２】被補間フレームを作成する方法を説明する図である。
【図３】動きベクトル導出部の詳細な構成を示すブロック図である。
【図４】基準ベクトルの生成方法を説明する図である。
【図５】候補ベクトルの選択を説明する図である。
【図６】本実施形態における動きベクトル導出のフローチャートである。
【発明を実施するための形態】
【００１３】
図１は、本発明の一実施形態に係るフレームレート変換装置１０の概略構成を示すブロック図である。この構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１４】
フレームレート変換装置１０は、入力される動画像のフレームレートを変換して出力する装置である。本実施形態では、入力動画像のフレームレートを二倍に変換して出力する倍速変換について説明する。
【００１５】
フレーム選択部１２は、動画像から時間的に連続する二つのフレームを取り出す。この二つのフレームのうち時間的に後のものを「現フレーム」、時間的に前のものを「遅延フレーム」と呼ぶ。フレーム選択部１２は、所定のタイミングで一フレームずつずらしながら二つのフレームを連続的に動画像から取り出し、動きベクトル導出部１４に順次出力する。
【００１６】
動きベクトル導出部１４は、入力された現フレームと遅延フレームをそれぞれ所定の大きさのブロック（例えば、１６×１６画素のマクロブロック）に分割する。続いて、動きベクトル導出部１４は、現フレームと遅延フレームとの間で周知のブロックマッチングを実行し、ブロック毎に一つの動きベクトルを導出する。導出された各ブロックの動きベクトルは被補間フレーム作成部１６に供給される。
【００１７】
被補間フレーム作成部１６は、動きベクトル導出部１４により供給された動きベクトルを使用して周知の動き補償を行い、現フレームと遅延フレームの中間の被補間フレームを作成する。
【００１８】
図２は、被補間フレームを作成する方法を説明する図である。図中、Ｆ１が現フレーム、Ｆ２が遅延フレームであり、二つのフレームＦ１とＦ２の中間時点の被補間フレーム３を作成することを考える。フレームレート変換装置１０から出力される動画像では、フレームＦ２、Ｆ３、Ｆ１の順に再生される。
【００１９】
動きベクトル導出部１４は、被補間フレームＦ３を所定のサイズのブロックに分割する。被補間フレーム内のあるブロック（ブロックＢ３）の左上隅の座標（ｘ、ｙ）を通過する直線を考え、この直線が現フレームＦ１および遅延フレームＦ２上でそれぞれ左上隅を通過するブロックＢ１およびブロックＢ２の間でブロックマッチングを実行する。このブロックマッチングを現フレームＦ１および遅延フレームＦ２の全体にわたり実行し、ブロック間の類似性を評価するために各ブロックに対して輝度差の絶対値の総和を計算する。図２の例において、現フレームＦ１上で左上隅の座標が（ｘ＋ｉ，ｙ＋ｊ）であるブロックＢ１と、遅延フレームＦ２上で左上隅の座標が（ｘ−ｉ，ｙ−ｊ）であるブロックＢ２とでブロックマッチングを実行した場合、両者を結ぶ動きベクトルは（ｉ，ｊ）で表される。
【００２０】
動きベクトル（ｉ，ｊ）が最適と判定された場合、被補間フレーム作成部１６は、遅延フレームＦ２におけるブロックＢ２（または現フレームＦ１におけるブロックＢ１）のテクスチャを、被補間フレームＦ３におけるブロックＢ３に入れ込む。このような処理を被補間フレームＦ３内の全ブロックについて繰り返すことで、被補間フレームＦ３を作成することができる。
【００２１】
なお、ブロックマッチングおよび被補間フレームの作成は当業者にとって周知であるため、これ以上の詳細な説明は省略する。
【００２２】
図３は、動きベクトル導出部１４の詳細な構成を示すブロック図である。動きベクトル導出部１４は、候補ベクトル生成部２０、基準ベクトル生成部２２、内積計算部２４および動きベクトル選択部２６を含む。
【００２３】
候補ベクトル生成部２０は、現フレームと遅延フレームとを受け取り、被補間フレーム内のブロック毎に図２で説明したブロックマッチングを実行する。そして、マッチングを実行した現フレームのブロックと遅延フレームのブロックの組合せ毎に、輝度差の絶対値の総和（または輝度差の二乗和）を計算し、総和が小さくなる順に所定の数（例えば三つ）のブロックの組合せを選び出し、それぞれの動きベクトルを求める。これらの所定の数の動きベクトルを「候補ベクトル」と呼ぶ。候補ベクトルは内積計算部２４に供給される。
【００２４】
候補ベクトル生成部２０は、ブロックの組合せ毎に計算された絶対値の総和の間に顕著な差が存在しない（例えば５０程度）場合にのみ、複数の候補ベクトルを選択するようにしてもよい。あるブロックの組合せにおける輝度差の総和の最小値が、二番目に小さい値の１／１００である場合のように、最小値が際だって小さいときには、候補ベクトルを生成せずに、輝度差の総和が最小であるブロックの組合せから動きベクトルを直接求めれば十分である。以下では、複数の候補ベクトルを生成する場合について説明する。
【００２５】
基準ベクトル生成部２２は、被補間フレーム内で動きベクトルの計算対象となっているブロック（「対象ブロック」と呼ぶ）の周囲に存在する別のブロックにおいて既に導出されている動きベクトルを所定の数（例えば四つ）だけ取得する。
【００２６】
基準ベクトル生成部２２は、取得した動きベクトルの平均、すなわち各動きベクトルの水平成分と垂直成分の平均値を自身の水平成分および垂直成分とする基準ベクトルを計算する。この基準ベクトルは、対象ブロックの動きベクトルと、その周囲に位置するブロックの動きベクトルとは向きが近いはずであるという前提に基づいている。単純に平均を取る代わりに、対象ブロックからの距離に応じた重み付け平均を計算してもよい。基準ベクトルは内積計算部２４に供給される。
【００２７】
内積計算部２４は、候補ベクトル生成部２０から供給された複数の候補ベクトルのそれぞれと、基準ベクトル生成部２２から供給された基準ベクトルとの内積を計算する。基準ベクトルと向きの近い候補ベクトルであるほど、内積は大きくなる。
【００２８】
動きベクトル選択部２６は、内積計算部２４によって計算された内積が最大となった候補ベクトルを、対象ブロックの動きベクトルとして選択する。選択された動きベクトルは被補間フレーム作成部１６に供給される。
【００２９】
以下、図４および図５を参照して、動きベクトル導出部１４の作用を説明する。
【００３０】
図４は、基準ベクトルの生成方法を説明する図である。図中にハッチングされたブロックが動きベクトルの計算対象である対象ブロックであるとする。また、図中の左から右に向かう矢印は、動きベクトルの計算が被補間フレームの左上から右下に向けてラスタスキャン方式で行われている場合のスキャン方向を表している。
【００３１】
上述したように、基準ベクトル生成部２２は、対象ブロックの周囲に存在するブロックにおいて既に導出されている動きベクトルを所定の数（例えば四つ）だけ取得する。周囲のブロックは、例えば対象ブロックの左上、上、右上および左に位置する四つのブロック（図４に太線枠で示す）である。これらのブロックにおける動きベクトルＶ１〜Ｖ４が図４中に矢印で示されている。これら四つのベクトルＶ１〜Ｖ４の平均値である基準ベクトルＶｎが図５の左端に示されている。
【００３２】
基準ベクトル生成部２２は、より広範囲のブロック（例えば、図４に点線枠で示す範囲）における動きベクトルをさらに用いてもよい。この場合、全てのブロックにおける動きベクトルの単純平均を計算する代わりに、対象ブロックからの距離に応じた重み付け平均を計算してもよい。例えば太線枠の範囲の動きベクトルには１、点線枠の範囲の動きベクトルには０．５の重みを与えた上で平均を取り、基準ベクトルとしてもよい。
【００３３】
図５は候補ベクトルの選択を説明する図である。Ｖａ、Ｖｂ、Ｖｃで示す三つの候補ベクトルが候補ベクトル生成部２０により生成されたとする。内積計算部２４は、基準ベクトルＶｎと、候補ベクトルＶａ、Ｖｂ、Ｖｃのそれぞれとの内積を計算する。内積が最大値となるのは、基準ベクトルと同じ右上向きの候補ベクトルＶａであり、これが動きベクトルとして選択される。このように、非常に簡便な計算で、周囲のブロックにおける動きベクトルと類似する動きベクトル（すなわち、画像の相関性の観点から画質劣化を最小とする動きベクトル）を対象ブロックについて選択することができる。
【００３４】
図６は、本実施形態における動きベクトル導出のフローチャートである。まず、候補ベクトル生成部２０が、現フレームと遅延フレーム内のブロック間のブロックマッチングを行って、複数の候補ベクトルを生成する（Ｓ１０）。基準ベクトル生成部２２は、動きベクトルの計算対象となるブロックの周囲に位置する複数のブロックにおいて決定済みの動きベクトルを使用して、基準ベクトルを生成する（Ｓ１２）。内積計算部２４は、複数の候補ベクトルのそれぞれと基準ベクトルとの内積を計算する（Ｓ１４）。動きベクトル選択部２６は、内積が最大となった候補ベクトルを対象ブロックの動きベクトルとして選択する（Ｓ１６）。
【００３５】
以上説明したように、本実施形態によれば、時間的に連続する二つのフレーム間でのブロックマッチングの結果、ある対象ブロックについて動きベクトルの候補が複数存在する場合に、それらの候補の中で対象ブロックの周囲のブロックで求められた動きベクトルと類似する動きベクトルを簡単に選択することが可能になる。これにより正確な動きベクトルを選択できる可能性が高くなる。したがって、明らかに不適切な動きベクトルが選択される可能性が低くなり、その結果フレームレート変換後に滑らかな動画像を得ることができる。
【００３６】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３７】
基準ベクトル生成部２２において、複数のベクトルの平均を基準ベクトルとして計算する代わりに、複数のベクトルのうち大きさが中位のもの（メディアン）を基準ベクトルとして選択するようにしてもよい。平均を基準ベクトルとする場合に比べ、メディアンであれば突出したベクトルを排除することができる。
【００３８】
実施の形態では、現フレームと遅延フレームとの中間時点の被補間フレームを生成する場合について説明したが、同様の手法により、現フレームと遅延フレームを二等分、三等分（またはそれ以上）する複数の被補間フレームを作成できることは当業者であれば明らかである。
【００３９】
実施の形態では、フレームレート変化において被補間フレームを作成する場合の動きベクトルの導出に本発明を適用することを説明したが、本発明の方法を動画像符号化時の動きベクトルの導出にも適用することができる。本発明の方法を用いて導出された動きベクトルを動画像符号化に用いることで、符号量は通常の手法よりも増大する可能性はあるものの、画質を向上させることができる。
【符号の説明】
【００４０】
１０ フレームレート変換装置、 １２ フレーム選択部、 １４ 動きベクトル導出部、 １６ 被補間フレーム作成部、 ２０ 候補ベクトル生成部、 ２２ 基準ベクトル生成部、 ２４ 内積計算部、 ２６ 動きベクトル選択部。
【特許請求の範囲】
【請求項１】
時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する装置であって、
動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する候補ベクトル生成部と、
対象ブロックの周囲に位置する複数のブロックにおいて決定済みの動きベクトルを使用して、対象ブロックの動きベクトルを決定するための基準となる基準ベクトルを生成する基準ベクトル生成部と、
前記複数の候補ベクトルのそれぞれと前記基準ベクトルとの内積を計算する内積計算部と、
前記内積計算部によって計算された内積が最大となる候補ベクトルを前記対象ブロックの動きベクトルとして選択する動きベクトル選択部と、
を備えることを特徴とする動きベクトル導出装置。
【請求項２】
前記基準ベクトル生成部は、前記複数のブロックにおいて決定済みの動きベクトルの平均を前記基準ベクトルとして生成することを特徴とする請求項１に記載の動きベクトル導出装置。
【請求項３】
前記基準ベクトル生成部は、前記複数のブロックにおいて決定済みの動きベクトルのうち大きさが中間であるものを前記基準ベクトルとすることを特徴とする請求項１に記載の動きベクトル導出装置。
【請求項４】
時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する方法であって、
動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成し、
対象ブロックの周囲に位置する複数のブロックにおいて決定済みの動きベクトルを使用して、対象ブロックの動きベクトルを決定するための基準となる基準ベクトルを生成し。
前記複数の候補ベクトルのそれぞれと前記基準ベクトルとの内積を計算し、
計算された内積が最大となる候補ベクトルを前記対象ブロックの動きベクトルとして選択する
ことを特徴とする動きベクトル導出方法。
【請求項１】
時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する装置であって、
動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成する候補ベクトル生成部と、
対象ブロックの周囲に位置する複数のブロックにおいて決定済みの動きベクトルを使用して、対象ブロックの動きベクトルを決定するための基準となる基準ベクトルを生成する基準ベクトル生成部と、
前記複数の候補ベクトルのそれぞれと前記基準ベクトルとの内積を計算する内積計算部と、
前記内積計算部によって計算された内積が最大となる候補ベクトルを前記対象ブロックの動きベクトルとして選択する動きベクトル選択部と、
を備えることを特徴とする動きベクトル導出装置。
【請求項２】
前記基準ベクトル生成部は、前記複数のブロックにおいて決定済みの動きベクトルの平均を前記基準ベクトルとして生成することを特徴とする請求項１に記載の動きベクトル導出装置。
【請求項３】
前記基準ベクトル生成部は、前記複数のブロックにおいて決定済みの動きベクトルのうち大きさが中間であるものを前記基準ベクトルとすることを特徴とする請求項１に記載の動きベクトル導出装置。
【請求項４】
時間的に連続する二つの画像フレーム内の対応するブロック間の動きベクトルを導出する方法であって、
動きベクトルの計算対象である対象ブロックの動きベクトルの候補である複数の候補ベクトルを生成し、
対象ブロックの周囲に位置する複数のブロックにおいて決定済みの動きベクトルを使用して、対象ブロックの動きベクトルを決定するための基準となる基準ベクトルを生成し。
前記複数の候補ベクトルのそれぞれと前記基準ベクトルとの内積を計算し、
計算された内積が最大となる候補ベクトルを前記対象ブロックの動きベクトルとして選択する
ことを特徴とする動きベクトル導出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−３０８３８（Ｐ２０１３−３０８３８Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６３５３７（Ｐ２０１１−１６３５３７）
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]