動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置
【課題】動く方向や動く速度といった動き特性が異なる繰り返し画像についての正確な動きベクトルを検出できるようにする。
【解決手段】補間フレーム作成装置は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段により検出された動きベクトルに基づいて、各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを有する。動きベクトル検出手段はブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する。
【解決手段】補間フレーム作成装置は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段により検出された動きベクトルに基づいて、各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを有する。動きベクトル検出手段はブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置に関する。
【背景技術】
【０００２】
現在、テレビ、パーソナルコンピュータ、携帯電話機など、画像表示手段を備えた多様な装置が実用化されている。このような画像表示手段を備えた装置では、入力画像信号を構成する画像フレームから各画像フレームを補間する補間フレームを作成し、作成された補間フレームを内挿して表示させる技術が適用されている。
【０００３】
この補間フレームは、液晶表示装置において、同じフレームが表示されることによる画質の低下を防止するためや、ＰＡＬ（Phase Alternation by Line color television）で生じるとされるフリッカ（画面のちらつき）を防止するため、さらには、低フレームレートで伝送された入力画像信号を用いて画像をスムーズに表示するため、といった目的で作成されている。
【０００４】
このような補間フレームが作成される場合、２つの画像フレームを所定のブロックに分割し、各画像フレームのブロック間の相関を求めるブロックマッチングが行われ、ブロックマッチングによって求められた相関に基づいて、最も相関の高いブロック同士の変位を示す動きベクトルが検出される。
【０００５】
このような動きベクトルの検出に関しては、従来から様々な提案がなされていた。例えば、特許文献１には、隣接する第１、第２のブロックについて、第１のブロックで検出された動きベクトルに基づいて第２のブロックの探索領域を設定し、その設定した探索領域でブロックマッチングを行って第２のブロックについての動きベクトルを検出する動きベクトルの検出方法が開示されている。
【特許文献１】特開２０００−１３４６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、ブロックマッチングを行って動きベクトルが検出される場合、マクロブロックの中に例えば縞馬の縞模様や格子模様のように、酷似した画像が複数含まれ、酷似した画像が繰り返し表示される画像（繰り返し画像という）が含まれていることがある。
【０００７】
マクロブロック中に繰り返し画像が含まれているときは繰り返し画像が含まれている複数のマクロブロックを用いて繰り返し画像全体を網羅できるひとつのまとまったマクロブロックを形成し、そのまとまったマクロブロックごとにブロックマッチングを行って、動きベクトルを検出している。
【０００８】
しかし、従来の技術では、まとまったマクロブロックを形成する場合に、繰り返し画像が含まれているか否かだけが考慮され、繰り返し画像中の動き画像（例えば縞馬の縞模様）の動く方向や動く速度といった繰り返し画像の動き特性は考慮されていなかった。
【０００９】
そのため、例えば右方向に動く動き画像の繰り返し画像を含むマクロブロックと、左方向に動く動き画像の繰り返し画像を含むマクロブロックについてもまとまったマクロブロックとされてしまい、ブロックマッチングで正確な動きベクトルを検出することができなかった。
【００１０】
そこで、本発明は上記課題を解決するためになされたもので、動く方向や動く速度といった動き特性が異なる繰り返し画像についての正確な動きベクトルを検出できるようにした動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出装置であって、ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する動きベクトル検出装置を特徴とする。
【００１２】
また、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出方法であって、ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成し、その接合マクロブロックを用いて動きベクトルを検出する動きベクトル検出方法を提供する。
【００１３】
さらに、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、その動きベクトル検出手段により検出された動きベクトルに基づいて、各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを備えた補間フレーム作成装置であって、動きベクトル検出手段は、ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する補間フレーム作成装置を提供する。
【発明の効果】
【００１４】
以上詳述したように、本発明によれば、動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置において、動く方向や動く速度といった動き特性が異なる繰り返し画像についての正確な動きベクトルを検出することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
【００１６】
（補間フレーム作成装置の構成）
図１は、本発明の実施の形態に係る補間フレーム作成装置１０の構成を示すブロック図である。この補間フレーム作成装置１０は、テレビ、パーソナルコンピュータ、携帯電話機といった画像表示機能を有する装置に備えられている。
【００１７】
この補間フレーム作成装置１０は、入力される入力画像信号Ｓ０（６０Ｆ／ｓ）を構成する複数の画像フレームから、その複数の画像フレームを補間する補間フレームを作成し、作成された補間フレームが内挿された出力画像信号Ｓ１（１２０Ｆ／ｓ）を表示パネル５１に出力するようになっている。
【００１８】
補間フレーム作成装置１０は、フレームメモリ２０と、動きベクトル検出部３０と、補間画像作成部４０と、制御部５０とを有している。
【００１９】
フレームメモリ２０は、入力画像信号Ｓ０を画像フレーム毎に記憶する。動きベクトル検出部３０は、フレームメモリ２０を介さずに入力される画像フレームと、フレームメモリ２０に記憶された画像フレームについてのブロックマッチングを行って動きベクトルＶ０を検出し、検出された動きベクトルＶ０を補間画像作成部４０に出力する。なお、動きベクトル検出部３０の構成および動作内容については、後に詳述する。
【００２０】
補間画像作成部４０は、フレームメモリ２０を介さずに入力される画像フレームおよびフレームメモリ２０に記憶されている画像フレームと、検出された動きベクトルＶ０とに基づいて補間フレームＳＦを作成し、作成された補間フレームＳＦをフレームメモリ２０に記憶させる。この補間画像作成部４０の動作についても、後に詳述する。制御部５０は後述するブロックタイミング信号ＢＴを動きベクトル検出部３０に出力するなどして補間フレームの作成を制御する。
【００２１】
次に、動きベクトル検出部３０の構成について、図２を参照して説明する。図２は、動きベクトル検出部３０の一例としての構成を示すブロック図である。
【００２２】
動きベクトル検出部３０は、図２に示すように、ブロック相関演算部３２と、ベクトル選択部３３とを有している。
【００２３】
ブロック相関演算部３２は、入力画像信号Ｓ０と、フレームメモリ２０から入力される１フレーム遅延信号Ｓ１０とを入力する。そして、ブロック相関演算部３２は、制御部５０から供給されるブロックタイミング信号ＢＴの示すタイミングにしたがい、入力画像信号Ｓ０と、１フレーム遅延信号Ｓ１０とを構成する２つの画像フレームを対象としてブロックマッチングを行い、各ブロック間の相関を示す相関信号ＳＴを出力する。相関信号ＳＴは、ベクトル選択部３３に出力される。
【００２４】
このブロック相関演算部３２は、後述するマクロブロック接合を行って接合マクロブロックを形成するマクロブロック接合手段を有している。
【００２５】
ベクトル選択部３３は、入力される相関信号ＳＴに基づいて、相関が最も高いブロック間の変位を示すベクトル値を検出し、その検出したベクトル値に基づいて、動きベクトルＶ０を出力する。
【００２６】
ここで、ブロック相関演算部３２およびベクトル選択部３３では、相関信号ＳＴとして、候補となる動き方向の各ブロック間のＳＡＤ(Sum of Absolute Difference：画素差分絶対値の総和)を用いている。また、ベクトル選択部３３は、このＳＡＤの値が最小となるブロックが、相関が最も高いブロックと判断している。
（補間フレーム作成装置の動作内容）
【００２７】
次に、補間フレーム作成装置１０の動作内容について説明する。補間フレーム作成装置１０は、図４に示すフローチャートに沿って補間フレーム作成処理を行い、補間フレームを作成する。
【００２８】
補間フレーム作成装置１０は、補間フレーム作成処理を開始すると、動きベクトル検出を行い（Ｓ１）、続くＳ２で補間フレーム作成を実行する。補間フレームが作成されると、制御部５０が画像信号出力手段としての動作を行い、出力画像信号を表示パネル５１に出力する。
【００２９】
動きベクトル検出では、動きベクトル検出部３０が２つの画像フレームのブロックマッチングを行い動きベクトルを検出する。
【００３０】
この場合、ブロック相関演算部３２において、図３に示すように、入力画像信号Ｓ０を構成する画像フレーム（前フレーム）１００と、１フレーム遅延信号Ｓ１０を構成する画像フレーム（後フレーム）２００を対象として、ブロックマッチングが行われる。
【００３１】
このブロックマッチングでは、ブロックタイミング信号ＢＴの示すタイミングにしたがい、時間的に前に位置する前フレーム１００、時間的に後に位置する後フレーム２００のそれぞれが複数のマクロブロックに分割される。
【００３２】
本実施の形態では、前フレーム１００は図３に示すように、マクロブロック１００ａ，１００ｂ、１００ｃを含む複数のマクロブロックに分割され、後フレーム２００はマクロブロック２００ａ，２００ｂ、２００ｃを含む複数の画像ブロックに分割される。
【００３３】
その後、前フレーム１００と、後フレーム２００とについて、それぞれの探索範囲１０４，２０４において各画像ブロックの相関（例えば、マクロブロック１００ａとマクロブロック２００ａの相関）が検出され、相関信号ＳＴが出力される。
【００３４】
そして、補間フレーム作成装置１０では、ブロック相関演算部３２が上記のようにブロックマッチングを行う場合において、ブロックマッチングの対象とされるマクロブロック中に繰り返し画像が含まれていることがある。
【００３５】
繰り返し画像は、例えば縞馬の縞模様や格子模様のように、酷似した画像が複数含まれる画像であり、表示パネル５１に表示したときに酷似した画像が繰り返し表示される画像である。
【００３６】
このような繰り返し画像を含むマクロブロック同士の相関を求める場合、マクロブロック中に繰り返し画像の全体ではなく、繰り返し成分（酷似したひとつひとつの画像をいい、例えば、縞馬の縞模様を一部）しか含まれないことがある。
【００３７】
そうすると、例えば、前フレーム１００のマクロブロック１００ａと、後フレーム２００のマクロブロック２００ａとの相関を求めるときに、それぞれの繰り返し画像のどことどこを対比しているのがわからなくなる。
【００３８】
そのため、繰り返し画像が動いたのかどうかがわからなくなってしまい、正確な動きベクトルを検出することができなくなってしまう。
【００３９】
したがって、繰り返し画像を含むマクロブロック同士の相関を求めるときは、繰り返し画像の全体を含むマクロブロックを用いてブロックマッチングが行われる。この場合、例えば、図１１に示すように、縦長矩形状の複数の棒状画像７１と、両端の湾曲した複数の棒状画像７２とが含まれる画像があった場合には、棒状画像７１と、棒状画像７２の全体を網羅できるようになるまで（Ｚ０の範囲で）隣接するマクロブロックをまとめてひとつのマクロブロックを形成してブロックマッチングが行われる。
【００４０】
そして、マクロブロック中に繰り返し画像が含まれているか否かは、各マクロブロックにおいて、それぞれのＳＡＤ分布に複数の極小点が存在する否かで判定され、複数の極小点が存在する場合は、繰り返し画像と判定してひとつのマクロブロックが形成される。
【００４１】
そうすると、図１１に示すように、棒状画像７１の動き方向が右方向Ｌｄ、棒状画像７２の動き方向が左方向Ｒｄとして、それぞれの繰り返し画像の動き特性が異なる場合でも、双方の繰り返し画像をひとつにまとめてマクロブロックが形成されることとなる。
【００４２】
しかしながら、このようにしてマクロブロックが形成されると、ひとつのマクロブロック中に右方向Ｌｄに動く成分（棒状画像７１）と、左方向Ｒｄに動く成分（棒状画像７２）という動き特性の異なる繰り返し画像が混合してしまうため、正確に動きベクトルを求めることは出来なくなってしまう。
【００４３】
そこで、本実施の形態に係る補間フレーム作成装置１０では、次のようにして接合マクロブロックを形成している。
【００４４】
ここで、図５は画像フレーム中における動き特性の異なる繰り返し画像を含む部分を接合マクロブロックとともに模式的に示した図である。
【００４５】
本実施の形態に係るブロック相関演算部３２は、繰り返し画像を含む複数のマクロブロックＭ１、Ｍ２、Ｍ３、Ｍ４について、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合するブロック接合を行って接合マクロブロックＭ１０、Ｍ２０を形成する。ここで、マクロブロックＭ１、Ｍ２は棒状画像７１を含む画像であり、マクロブロックＭ３、Ｍ４は棒状画像７２を含む画像である。
【００４６】
そして、ブロック相関演算部３２は、繰り返し成分が現れる期間において、動き特性検出手段としての動作を行い、各繰り返し成分の動く方向や動く速度といった動き特性を後述するＳＡＤ分布から検出し、その検出結果に基づき、ＳＡＤ分布が近似しているグループを同じ動き特性を持った繰り返し画像と判断して接合マクロブロックＭ１０、Ｍ２０を形成している。
【００４７】
図５の場合であれば、棒状画像７１の動き特性は右方向Ｌｄ、棒状画像７２の動き特性は左方向Ｒｄなので、ブロック相関演算部３２は、マクロブロックをまとめる範囲を範囲Ｚ１、Ｚ２に分け、それぞれの範囲でマクロブロックＭ１とＭ２、Ｍ３とＭ４を接合して接合マクロブロックＭ１０、Ｍ２０を形成する。
【００４８】
こうすることによって形成される接合マクロブロックＭ１０、Ｍ２０は、動き特性の同じ繰り返し画像だけが含まれ、動き特性の異なる繰り返し画像は含まれなくなる。そのため、動きベクトル検出部３０において動きベクトルが見つかる確度が向上し、正確な動きベクトルを検出できるようになる。
【００４９】
また、図６は画像フレーム中における動き特性の異なる図５とは別の繰り返し画像を含む部分を模式的に示した図である。この図６は背景に縦格子が存在し、その手前を繰り返し画像をもつ物体（例えば縞馬）が横切っているようなシーンを想定している。
【００５０】
上述のとおり、ブロック相関演算部３２は繰り返し画像の動き特性ごとに分けてマクロブロックを接合して接合マクロブロックを形成するため、マクロブロックをまとめる範囲を範囲Ｚ１、Ｚ２、Ｚ３で分けてブロック接合を行う。そして、範囲Ｚ１、Ｚ２、Ｚ３で、それぞれマクロブロックＭ１とＭ２、Ｍ３とＭ４、Ｍ５とＭ６を接合して接合マクロブロックＭ１０，Ｍ２０，Ｍ３０を形成している。
【００５１】
ところで、ブロック相関演算部３２は、繰り返し成分が現れる期間において、各繰り返し成分の動く方向や動く速度といった動き特性を後述するＳＡＤ分布から検出している。この点について、図７から図１０を参照して説明する。
【００５２】
図７、図８は異なるマクロブロックのＳＡＤ分布を示す図で、図７はマクロブロックＭ１、図８はマクロブロックＭ２のＳＡＤ分布を示している。また、図９、図１０は図７、図８とは動き特性の異なる繰り返し画像を含むマクロブロックのＳＡＤ分布を示す図で、図９はマクロブロックＭ５、図１０はマクロブロックＭ３のＳＡＤ分布を示している。
【００５３】
ブロック相関演算部３２は、各マクロブロックに含まれる繰り返し画像の動き特性を次のようにして検出している。
【００５４】
ブロック相関演算部３２は、まず、分割手段としての動作を行い、図示のとおり、各ＳＡＤ分布を等間隔ｕの複数の区間に分割する。そして、ブロック相関演算部３２は、各区間におけるＳＡＤの極小値が存在する区間を割り出す。そして、ＳＡＤの極小値が同じ区間に存在したときはＳＡＤ分布が近似し、繰り返し画像の動き成分が一致すると判断し、ＳＡＤの極小値が同じ区間に存在しなければ繰り返し画像の動き成分が一致しないと判断する。
【００５５】
例えば、図７と図８に示すＳＡＤ分布はそれぞれの極小値の大きさ自体は異なるものの、同じ区間ｒ０−ｒ１、ｒ２−ｒ３、ｒ４−ｒ５、ｒ７−ｒ８に極小値が存在している。そのため、ブロック相関演算部３２は、図７、図８のＳＡＤ分布を示すマクロブロックはそれぞれのＳＡＤ分布が近似し、繰り返し画像の動き成分が同じであると判断して、これらのマクロブロックを接合する。
【００５６】
これに対し、図９に示すＳＡＤ分布の場合、極小値は図７のＳＡＤ分布と一致するものの、極小値が存在する区間が異なる。すなわち、図９に示すＳＡＤ分布では、区間ｒ１−ｒ２、ｒ３−ｒ４、ｒ５−ｒ６、ｒ８−ｒ９に極小値が存在している。そのため、ブロック相関演算部３２は、図９のＳＡＤ分布を示すマクロブロックは図７のマクロブロックとはＳＡＤ分布が異なり、繰り返し画像の動き特性が異なると判断して、図７とは別にしてマクロブロックを接合する。
【００５７】
図１０については、極小値および極小値が存在する区間のいずれもが異なっているため、この場合も、図７のマクロブロックとはＳＡＤ分布が異なり、繰り返し画像の動き特性が異なると判断して、図７とは別にしてマクロブロックを接合する。
【００５８】
以上のように、ブロック相関演算部３２は、マクロブロックについてＳＡＤ分布から繰り返し画像の動き特性を検出しているが、これは、繰り返し画像を構成する繰り返し成分の規則性がＳＡＤ分布に現れることに起因している。
【００５９】
複数のマクロブロックのＳＡＤ分布を比較した場合、マクロブロックＭ１、マクロブロックＭ２のように同じような繰り返し画像を含むマクロブロックのＳＡＤ分布は処理の際におけるノイズ等の影響で極小値の大きさ自体は異なることがあるものの、繰り返し成分の大きさや、出現する間隔が極小値の出現に反映されるため、極小値の出現する間隔、回数といった極小値の出現特性は一致している。
【００６０】
そのため、ブロック相関演算部３２は、上述のようにＳＡＤ分布を等しい複数の区間に分割して、各区間の中から、極小値の存在する区間を割り出し、その区間が一致するかどうかを判定して、その判定結果に基づいて、接合マクロブロックを形成している。
【００６１】
この場合、ブロック相関演算部３２が上述のようなＳＡＤ分布における極小値分布の同一性を判定するにあたっては、全一致のみならず、８０％一致、６０％一致といった冗長度を持たせるようにしてもよい。
【００６２】
以上のようにして接合マクロブロックを形成し、接合マクロブロックを用いて動きベクトルを検出することによって、別の方向に動く連続した繰り返し画像についても確度の高い動きベクトル探索が可能となる。
【００６３】
そして、以上のようにしてブロック相関演算部３２から相関信号ＳＴが出力されると、ベクトル選択部３３がその相関信号ＳＴに基づいて、各ブロック間における最も相関の高いブロック間の変位を示すベクトル値を検出して動きベクトルＶ０を出力する。
【００６４】
続いて、補間画像作成部４０が動きベクトル検出部３０から出力される動きベクトルＶ０に基づいて、フレームメモリ２０を介さずに入力される前フレーム（参照フレーム）１００と、フレームメモリ２０に記憶されている後フレーム（基準フレーム、検出対象フレーム）２００との間に補間される補間フレーム１５０を次のようにして作成する。
【００６５】
補間画像作成部４０は、前フレーム１００の各画素ブロックと、後フレーム２００の各画素ブロックとの時間的距離を割り出し、その割り出した時間的距離のうちの後フレーム２００から補間フレーム１５０までの時間的距離の割合で動きベクトルＶ０を縮小する。
【００６６】
そして、補間画像作成部４０は、その縮小された動きベクトルＶ０に基づいて、後フレーム２００の対応する画素ブロックを変位させて補間フレーム１５０を構成するブロックを生成する。補間画像作成部４０は、この手順を前フレーム１００の各画素ブロックと、後フレーム２００の各画素ブロックについて繰り返し、補間フレーム１５０を作成する。
【００６７】
以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施の形態に係る補間フレーム作成装置の構成を示すブロック図である。
【図２】動きベクトル検出部の内部構成の一例を示すブロック図である。
【図３】本発明の実施の形態に係る動きベクトル検出手順が適用される２つの画像フレームおよび補間フレームを示す斜視図である。
【図４】補間フレーム作成装置における補間フレーム作成処理の動作手順を示すフローチャートである。
【図５】画像フレーム中における動き特性の異なる繰り返し画像を含む部分を接合マクロブロックとともに模式的に示した図である。
【図６】画像フレーム中における動き特性の異なる図５とは別の繰り返し画像を含む部分を模式的に示した図である。
【図７】繰り返し画像を含むマクロブロックのＳＡＤ分布を模式的に示した図である。
【図８】図７と動き特性の同じ繰り返し画像を含む別のマクロブロックのＳＡＤ分布を模式的に示した図である。
【図９】図７と動き特性の異なる繰り返し画像を含むマクロブロックのＳＡＤ分布を模式的に示した図である。
【図１０】図７と動き特性の異なる繰り返し画像を含む別のマクロブロックのＳＡＤ分布を模式的に示した図である。
【図１１】画像フレーム中における動き特性の異なる繰り返し画像を含む部分を従来のマクロブロックが接合される範囲とともに模式的に示した図である。
【符号の説明】
【００６９】
１０…補間フレーム作成装置、２０…フレームメモリ、３０…動きベクトル検出部、４０…補間画像作成部、３２…ブロック相関演算部、３３…ベクトル選択部、７１，７２，７３…棒状画像、１００…前フレーム、１５０…補間フレーム、２００…後フレーム、Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍ１０、Ｍ２０、Ｍ３０…マクロブロック
【技術分野】
【０００１】
本発明は、動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置に関する。
【背景技術】
【０００２】
現在、テレビ、パーソナルコンピュータ、携帯電話機など、画像表示手段を備えた多様な装置が実用化されている。このような画像表示手段を備えた装置では、入力画像信号を構成する画像フレームから各画像フレームを補間する補間フレームを作成し、作成された補間フレームを内挿して表示させる技術が適用されている。
【０００３】
この補間フレームは、液晶表示装置において、同じフレームが表示されることによる画質の低下を防止するためや、ＰＡＬ（Phase Alternation by Line color television）で生じるとされるフリッカ（画面のちらつき）を防止するため、さらには、低フレームレートで伝送された入力画像信号を用いて画像をスムーズに表示するため、といった目的で作成されている。
【０００４】
このような補間フレームが作成される場合、２つの画像フレームを所定のブロックに分割し、各画像フレームのブロック間の相関を求めるブロックマッチングが行われ、ブロックマッチングによって求められた相関に基づいて、最も相関の高いブロック同士の変位を示す動きベクトルが検出される。
【０００５】
このような動きベクトルの検出に関しては、従来から様々な提案がなされていた。例えば、特許文献１には、隣接する第１、第２のブロックについて、第１のブロックで検出された動きベクトルに基づいて第２のブロックの探索領域を設定し、その設定した探索領域でブロックマッチングを行って第２のブロックについての動きベクトルを検出する動きベクトルの検出方法が開示されている。
【特許文献１】特開２０００−１３４６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、ブロックマッチングを行って動きベクトルが検出される場合、マクロブロックの中に例えば縞馬の縞模様や格子模様のように、酷似した画像が複数含まれ、酷似した画像が繰り返し表示される画像（繰り返し画像という）が含まれていることがある。
【０００７】
マクロブロック中に繰り返し画像が含まれているときは繰り返し画像が含まれている複数のマクロブロックを用いて繰り返し画像全体を網羅できるひとつのまとまったマクロブロックを形成し、そのまとまったマクロブロックごとにブロックマッチングを行って、動きベクトルを検出している。
【０００８】
しかし、従来の技術では、まとまったマクロブロックを形成する場合に、繰り返し画像が含まれているか否かだけが考慮され、繰り返し画像中の動き画像（例えば縞馬の縞模様）の動く方向や動く速度といった繰り返し画像の動き特性は考慮されていなかった。
【０００９】
そのため、例えば右方向に動く動き画像の繰り返し画像を含むマクロブロックと、左方向に動く動き画像の繰り返し画像を含むマクロブロックについてもまとまったマクロブロックとされてしまい、ブロックマッチングで正確な動きベクトルを検出することができなかった。
【００１０】
そこで、本発明は上記課題を解決するためになされたもので、動く方向や動く速度といった動き特性が異なる繰り返し画像についての正確な動きベクトルを検出できるようにした動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出装置であって、ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する動きベクトル検出装置を特徴とする。
【００１２】
また、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出方法であって、ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成し、その接合マクロブロックを用いて動きベクトルを検出する動きベクトル検出方法を提供する。
【００１３】
さらに、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、その動きベクトル検出手段により検出された動きベクトルに基づいて、各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを備えた補間フレーム作成装置であって、動きベクトル検出手段は、ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する補間フレーム作成装置を提供する。
【発明の効果】
【００１４】
以上詳述したように、本発明によれば、動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置において、動く方向や動く速度といった動き特性が異なる繰り返し画像についての正確な動きベクトルを検出することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
【００１６】
（補間フレーム作成装置の構成）
図１は、本発明の実施の形態に係る補間フレーム作成装置１０の構成を示すブロック図である。この補間フレーム作成装置１０は、テレビ、パーソナルコンピュータ、携帯電話機といった画像表示機能を有する装置に備えられている。
【００１７】
この補間フレーム作成装置１０は、入力される入力画像信号Ｓ０（６０Ｆ／ｓ）を構成する複数の画像フレームから、その複数の画像フレームを補間する補間フレームを作成し、作成された補間フレームが内挿された出力画像信号Ｓ１（１２０Ｆ／ｓ）を表示パネル５１に出力するようになっている。
【００１８】
補間フレーム作成装置１０は、フレームメモリ２０と、動きベクトル検出部３０と、補間画像作成部４０と、制御部５０とを有している。
【００１９】
フレームメモリ２０は、入力画像信号Ｓ０を画像フレーム毎に記憶する。動きベクトル検出部３０は、フレームメモリ２０を介さずに入力される画像フレームと、フレームメモリ２０に記憶された画像フレームについてのブロックマッチングを行って動きベクトルＶ０を検出し、検出された動きベクトルＶ０を補間画像作成部４０に出力する。なお、動きベクトル検出部３０の構成および動作内容については、後に詳述する。
【００２０】
補間画像作成部４０は、フレームメモリ２０を介さずに入力される画像フレームおよびフレームメモリ２０に記憶されている画像フレームと、検出された動きベクトルＶ０とに基づいて補間フレームＳＦを作成し、作成された補間フレームＳＦをフレームメモリ２０に記憶させる。この補間画像作成部４０の動作についても、後に詳述する。制御部５０は後述するブロックタイミング信号ＢＴを動きベクトル検出部３０に出力するなどして補間フレームの作成を制御する。
【００２１】
次に、動きベクトル検出部３０の構成について、図２を参照して説明する。図２は、動きベクトル検出部３０の一例としての構成を示すブロック図である。
【００２２】
動きベクトル検出部３０は、図２に示すように、ブロック相関演算部３２と、ベクトル選択部３３とを有している。
【００２３】
ブロック相関演算部３２は、入力画像信号Ｓ０と、フレームメモリ２０から入力される１フレーム遅延信号Ｓ１０とを入力する。そして、ブロック相関演算部３２は、制御部５０から供給されるブロックタイミング信号ＢＴの示すタイミングにしたがい、入力画像信号Ｓ０と、１フレーム遅延信号Ｓ１０とを構成する２つの画像フレームを対象としてブロックマッチングを行い、各ブロック間の相関を示す相関信号ＳＴを出力する。相関信号ＳＴは、ベクトル選択部３３に出力される。
【００２４】
このブロック相関演算部３２は、後述するマクロブロック接合を行って接合マクロブロックを形成するマクロブロック接合手段を有している。
【００２５】
ベクトル選択部３３は、入力される相関信号ＳＴに基づいて、相関が最も高いブロック間の変位を示すベクトル値を検出し、その検出したベクトル値に基づいて、動きベクトルＶ０を出力する。
【００２６】
ここで、ブロック相関演算部３２およびベクトル選択部３３では、相関信号ＳＴとして、候補となる動き方向の各ブロック間のＳＡＤ(Sum of Absolute Difference：画素差分絶対値の総和)を用いている。また、ベクトル選択部３３は、このＳＡＤの値が最小となるブロックが、相関が最も高いブロックと判断している。
（補間フレーム作成装置の動作内容）
【００２７】
次に、補間フレーム作成装置１０の動作内容について説明する。補間フレーム作成装置１０は、図４に示すフローチャートに沿って補間フレーム作成処理を行い、補間フレームを作成する。
【００２８】
補間フレーム作成装置１０は、補間フレーム作成処理を開始すると、動きベクトル検出を行い（Ｓ１）、続くＳ２で補間フレーム作成を実行する。補間フレームが作成されると、制御部５０が画像信号出力手段としての動作を行い、出力画像信号を表示パネル５１に出力する。
【００２９】
動きベクトル検出では、動きベクトル検出部３０が２つの画像フレームのブロックマッチングを行い動きベクトルを検出する。
【００３０】
この場合、ブロック相関演算部３２において、図３に示すように、入力画像信号Ｓ０を構成する画像フレーム（前フレーム）１００と、１フレーム遅延信号Ｓ１０を構成する画像フレーム（後フレーム）２００を対象として、ブロックマッチングが行われる。
【００３１】
このブロックマッチングでは、ブロックタイミング信号ＢＴの示すタイミングにしたがい、時間的に前に位置する前フレーム１００、時間的に後に位置する後フレーム２００のそれぞれが複数のマクロブロックに分割される。
【００３２】
本実施の形態では、前フレーム１００は図３に示すように、マクロブロック１００ａ，１００ｂ、１００ｃを含む複数のマクロブロックに分割され、後フレーム２００はマクロブロック２００ａ，２００ｂ、２００ｃを含む複数の画像ブロックに分割される。
【００３３】
その後、前フレーム１００と、後フレーム２００とについて、それぞれの探索範囲１０４，２０４において各画像ブロックの相関（例えば、マクロブロック１００ａとマクロブロック２００ａの相関）が検出され、相関信号ＳＴが出力される。
【００３４】
そして、補間フレーム作成装置１０では、ブロック相関演算部３２が上記のようにブロックマッチングを行う場合において、ブロックマッチングの対象とされるマクロブロック中に繰り返し画像が含まれていることがある。
【００３５】
繰り返し画像は、例えば縞馬の縞模様や格子模様のように、酷似した画像が複数含まれる画像であり、表示パネル５１に表示したときに酷似した画像が繰り返し表示される画像である。
【００３６】
このような繰り返し画像を含むマクロブロック同士の相関を求める場合、マクロブロック中に繰り返し画像の全体ではなく、繰り返し成分（酷似したひとつひとつの画像をいい、例えば、縞馬の縞模様を一部）しか含まれないことがある。
【００３７】
そうすると、例えば、前フレーム１００のマクロブロック１００ａと、後フレーム２００のマクロブロック２００ａとの相関を求めるときに、それぞれの繰り返し画像のどことどこを対比しているのがわからなくなる。
【００３８】
そのため、繰り返し画像が動いたのかどうかがわからなくなってしまい、正確な動きベクトルを検出することができなくなってしまう。
【００３９】
したがって、繰り返し画像を含むマクロブロック同士の相関を求めるときは、繰り返し画像の全体を含むマクロブロックを用いてブロックマッチングが行われる。この場合、例えば、図１１に示すように、縦長矩形状の複数の棒状画像７１と、両端の湾曲した複数の棒状画像７２とが含まれる画像があった場合には、棒状画像７１と、棒状画像７２の全体を網羅できるようになるまで（Ｚ０の範囲で）隣接するマクロブロックをまとめてひとつのマクロブロックを形成してブロックマッチングが行われる。
【００４０】
そして、マクロブロック中に繰り返し画像が含まれているか否かは、各マクロブロックにおいて、それぞれのＳＡＤ分布に複数の極小点が存在する否かで判定され、複数の極小点が存在する場合は、繰り返し画像と判定してひとつのマクロブロックが形成される。
【００４１】
そうすると、図１１に示すように、棒状画像７１の動き方向が右方向Ｌｄ、棒状画像７２の動き方向が左方向Ｒｄとして、それぞれの繰り返し画像の動き特性が異なる場合でも、双方の繰り返し画像をひとつにまとめてマクロブロックが形成されることとなる。
【００４２】
しかしながら、このようにしてマクロブロックが形成されると、ひとつのマクロブロック中に右方向Ｌｄに動く成分（棒状画像７１）と、左方向Ｒｄに動く成分（棒状画像７２）という動き特性の異なる繰り返し画像が混合してしまうため、正確に動きベクトルを求めることは出来なくなってしまう。
【００４３】
そこで、本実施の形態に係る補間フレーム作成装置１０では、次のようにして接合マクロブロックを形成している。
【００４４】
ここで、図５は画像フレーム中における動き特性の異なる繰り返し画像を含む部分を接合マクロブロックとともに模式的に示した図である。
【００４５】
本実施の形態に係るブロック相関演算部３２は、繰り返し画像を含む複数のマクロブロックＭ１、Ｍ２、Ｍ３、Ｍ４について、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合するブロック接合を行って接合マクロブロックＭ１０、Ｍ２０を形成する。ここで、マクロブロックＭ１、Ｍ２は棒状画像７１を含む画像であり、マクロブロックＭ３、Ｍ４は棒状画像７２を含む画像である。
【００４６】
そして、ブロック相関演算部３２は、繰り返し成分が現れる期間において、動き特性検出手段としての動作を行い、各繰り返し成分の動く方向や動く速度といった動き特性を後述するＳＡＤ分布から検出し、その検出結果に基づき、ＳＡＤ分布が近似しているグループを同じ動き特性を持った繰り返し画像と判断して接合マクロブロックＭ１０、Ｍ２０を形成している。
【００４７】
図５の場合であれば、棒状画像７１の動き特性は右方向Ｌｄ、棒状画像７２の動き特性は左方向Ｒｄなので、ブロック相関演算部３２は、マクロブロックをまとめる範囲を範囲Ｚ１、Ｚ２に分け、それぞれの範囲でマクロブロックＭ１とＭ２、Ｍ３とＭ４を接合して接合マクロブロックＭ１０、Ｍ２０を形成する。
【００４８】
こうすることによって形成される接合マクロブロックＭ１０、Ｍ２０は、動き特性の同じ繰り返し画像だけが含まれ、動き特性の異なる繰り返し画像は含まれなくなる。そのため、動きベクトル検出部３０において動きベクトルが見つかる確度が向上し、正確な動きベクトルを検出できるようになる。
【００４９】
また、図６は画像フレーム中における動き特性の異なる図５とは別の繰り返し画像を含む部分を模式的に示した図である。この図６は背景に縦格子が存在し、その手前を繰り返し画像をもつ物体（例えば縞馬）が横切っているようなシーンを想定している。
【００５０】
上述のとおり、ブロック相関演算部３２は繰り返し画像の動き特性ごとに分けてマクロブロックを接合して接合マクロブロックを形成するため、マクロブロックをまとめる範囲を範囲Ｚ１、Ｚ２、Ｚ３で分けてブロック接合を行う。そして、範囲Ｚ１、Ｚ２、Ｚ３で、それぞれマクロブロックＭ１とＭ２、Ｍ３とＭ４、Ｍ５とＭ６を接合して接合マクロブロックＭ１０，Ｍ２０，Ｍ３０を形成している。
【００５１】
ところで、ブロック相関演算部３２は、繰り返し成分が現れる期間において、各繰り返し成分の動く方向や動く速度といった動き特性を後述するＳＡＤ分布から検出している。この点について、図７から図１０を参照して説明する。
【００５２】
図７、図８は異なるマクロブロックのＳＡＤ分布を示す図で、図７はマクロブロックＭ１、図８はマクロブロックＭ２のＳＡＤ分布を示している。また、図９、図１０は図７、図８とは動き特性の異なる繰り返し画像を含むマクロブロックのＳＡＤ分布を示す図で、図９はマクロブロックＭ５、図１０はマクロブロックＭ３のＳＡＤ分布を示している。
【００５３】
ブロック相関演算部３２は、各マクロブロックに含まれる繰り返し画像の動き特性を次のようにして検出している。
【００５４】
ブロック相関演算部３２は、まず、分割手段としての動作を行い、図示のとおり、各ＳＡＤ分布を等間隔ｕの複数の区間に分割する。そして、ブロック相関演算部３２は、各区間におけるＳＡＤの極小値が存在する区間を割り出す。そして、ＳＡＤの極小値が同じ区間に存在したときはＳＡＤ分布が近似し、繰り返し画像の動き成分が一致すると判断し、ＳＡＤの極小値が同じ区間に存在しなければ繰り返し画像の動き成分が一致しないと判断する。
【００５５】
例えば、図７と図８に示すＳＡＤ分布はそれぞれの極小値の大きさ自体は異なるものの、同じ区間ｒ０−ｒ１、ｒ２−ｒ３、ｒ４−ｒ５、ｒ７−ｒ８に極小値が存在している。そのため、ブロック相関演算部３２は、図７、図８のＳＡＤ分布を示すマクロブロックはそれぞれのＳＡＤ分布が近似し、繰り返し画像の動き成分が同じであると判断して、これらのマクロブロックを接合する。
【００５６】
これに対し、図９に示すＳＡＤ分布の場合、極小値は図７のＳＡＤ分布と一致するものの、極小値が存在する区間が異なる。すなわち、図９に示すＳＡＤ分布では、区間ｒ１−ｒ２、ｒ３−ｒ４、ｒ５−ｒ６、ｒ８−ｒ９に極小値が存在している。そのため、ブロック相関演算部３２は、図９のＳＡＤ分布を示すマクロブロックは図７のマクロブロックとはＳＡＤ分布が異なり、繰り返し画像の動き特性が異なると判断して、図７とは別にしてマクロブロックを接合する。
【００５７】
図１０については、極小値および極小値が存在する区間のいずれもが異なっているため、この場合も、図７のマクロブロックとはＳＡＤ分布が異なり、繰り返し画像の動き特性が異なると判断して、図７とは別にしてマクロブロックを接合する。
【００５８】
以上のように、ブロック相関演算部３２は、マクロブロックについてＳＡＤ分布から繰り返し画像の動き特性を検出しているが、これは、繰り返し画像を構成する繰り返し成分の規則性がＳＡＤ分布に現れることに起因している。
【００５９】
複数のマクロブロックのＳＡＤ分布を比較した場合、マクロブロックＭ１、マクロブロックＭ２のように同じような繰り返し画像を含むマクロブロックのＳＡＤ分布は処理の際におけるノイズ等の影響で極小値の大きさ自体は異なることがあるものの、繰り返し成分の大きさや、出現する間隔が極小値の出現に反映されるため、極小値の出現する間隔、回数といった極小値の出現特性は一致している。
【００６０】
そのため、ブロック相関演算部３２は、上述のようにＳＡＤ分布を等しい複数の区間に分割して、各区間の中から、極小値の存在する区間を割り出し、その区間が一致するかどうかを判定して、その判定結果に基づいて、接合マクロブロックを形成している。
【００６１】
この場合、ブロック相関演算部３２が上述のようなＳＡＤ分布における極小値分布の同一性を判定するにあたっては、全一致のみならず、８０％一致、６０％一致といった冗長度を持たせるようにしてもよい。
【００６２】
以上のようにして接合マクロブロックを形成し、接合マクロブロックを用いて動きベクトルを検出することによって、別の方向に動く連続した繰り返し画像についても確度の高い動きベクトル探索が可能となる。
【００６３】
そして、以上のようにしてブロック相関演算部３２から相関信号ＳＴが出力されると、ベクトル選択部３３がその相関信号ＳＴに基づいて、各ブロック間における最も相関の高いブロック間の変位を示すベクトル値を検出して動きベクトルＶ０を出力する。
【００６４】
続いて、補間画像作成部４０が動きベクトル検出部３０から出力される動きベクトルＶ０に基づいて、フレームメモリ２０を介さずに入力される前フレーム（参照フレーム）１００と、フレームメモリ２０に記憶されている後フレーム（基準フレーム、検出対象フレーム）２００との間に補間される補間フレーム１５０を次のようにして作成する。
【００６５】
補間画像作成部４０は、前フレーム１００の各画素ブロックと、後フレーム２００の各画素ブロックとの時間的距離を割り出し、その割り出した時間的距離のうちの後フレーム２００から補間フレーム１５０までの時間的距離の割合で動きベクトルＶ０を縮小する。
【００６６】
そして、補間画像作成部４０は、その縮小された動きベクトルＶ０に基づいて、後フレーム２００の対応する画素ブロックを変位させて補間フレーム１５０を構成するブロックを生成する。補間画像作成部４０は、この手順を前フレーム１００の各画素ブロックと、後フレーム２００の各画素ブロックについて繰り返し、補間フレーム１５０を作成する。
【００６７】
以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施の形態に係る補間フレーム作成装置の構成を示すブロック図である。
【図２】動きベクトル検出部の内部構成の一例を示すブロック図である。
【図３】本発明の実施の形態に係る動きベクトル検出手順が適用される２つの画像フレームおよび補間フレームを示す斜視図である。
【図４】補間フレーム作成装置における補間フレーム作成処理の動作手順を示すフローチャートである。
【図５】画像フレーム中における動き特性の異なる繰り返し画像を含む部分を接合マクロブロックとともに模式的に示した図である。
【図６】画像フレーム中における動き特性の異なる図５とは別の繰り返し画像を含む部分を模式的に示した図である。
【図７】繰り返し画像を含むマクロブロックのＳＡＤ分布を模式的に示した図である。
【図８】図７と動き特性の同じ繰り返し画像を含む別のマクロブロックのＳＡＤ分布を模式的に示した図である。
【図９】図７と動き特性の異なる繰り返し画像を含むマクロブロックのＳＡＤ分布を模式的に示した図である。
【図１０】図７と動き特性の異なる繰り返し画像を含む別のマクロブロックのＳＡＤ分布を模式的に示した図である。
【図１１】画像フレーム中における動き特性の異なる繰り返し画像を含む部分を従来のマクロブロックが接合される範囲とともに模式的に示した図である。
【符号の説明】
【００６９】
１０…補間フレーム作成装置、２０…フレームメモリ、３０…動きベクトル検出部、４０…補間画像作成部、３２…ブロック相関演算部、３３…ベクトル選択部、７１，７２，７３…棒状画像、１００…前フレーム、１５０…補間フレーム、２００…後フレーム、Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍ１０、Ｍ２０、Ｍ３０…マクロブロック
【特許請求の範囲】
【請求項１】
複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出装置であって、
前記ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる前記繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する動きベクトル検出装置。
【請求項２】
更に前記各マクロブロックに含まれる前記繰り返し画像の動き特性を検出する動き特性検出手段を有し、
前記マクロブロック接合手段は、前記動き特性検出手段の検出結果に基づいて、前記接合マクロブロックを形成する請求項１記載の動きベクトル検出装置。
【請求項３】
前記動き特性検出手段は、前記繰り返し画像のＳＡＤ分布から前記動き特性を検出する請求項２記載の動きベクトル検出装置。
【請求項４】
更に前記各マクロブロックに含まれる前記繰り返し画像のＳＡＤ分布から前記動き特性を検出する動き特性検出手段と、
該動き特性検出手段が検出した前記ＳＡＤ分布を等間隔の複数の区間に分割する分割手段とを有し、
前記マクロブロック接合手段は、前記分割手段によって分割された各区間のうちの前記ＳＡＤ分布における極小点が存在する極小点区間が異なるときに前記接合マクロブロックを形成する請求項１記載の動きベクトル検出装置。
【請求項５】
複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出方法であって、
前記ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる前記繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成し、該接合マクロブロックを用いて前記動きベクトルを検出する動きベクトル検出方法。
【請求項６】
複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、該動きベクトル検出手段により検出された前記動きベクトルに基づいて、前記各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを備えた補間フレーム作成装置であって、
前記動きベクトル検出手段は、前記ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる前記繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する補間フレーム作成装置。
【請求項７】
前記各画像フレームのうち、前記動きベクトル検出手段による前記動きベクトルの検出対象とされる前記画像フレームを検出対象フレーム、前記動きベクトルを検出する際に参照される前記画像フレームを参照フレームとしたときに、前記補間フレーム作成手段は、前記動きベクトル検出手段により検出された前記動きベクトルに基づいて、前記検出対象フレームを変位させて前記補間フレームを作成することを特徴とする請求項６記載の補間フレーム作成装置。
【請求項８】
更に前記検出対象フレームが記憶されるフレームメモリを有し、
前記動きベクトル検出手段は、前記フレームメモリに記憶されている前記検出対象フレームおよび前記参照フレームを複数のマクロブロックに分割し、該分割された前記各マクロブロックについて前記ブロックマッチングを行い、前記動きベクトルを検出することを特徴とする請求項６または７記載の補間フレーム作成装置。
【請求項９】
更に前記補間フレームを含む出力画像信号を表示パネルに出力する画像信号出力手段を有する請求項６〜８のいずれか一項記載の補間フレーム作成装置。
【請求項１】
複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出装置であって、
前記ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる前記繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する動きベクトル検出装置。
【請求項２】
更に前記各マクロブロックに含まれる前記繰り返し画像の動き特性を検出する動き特性検出手段を有し、
前記マクロブロック接合手段は、前記動き特性検出手段の検出結果に基づいて、前記接合マクロブロックを形成する請求項１記載の動きベクトル検出装置。
【請求項３】
前記動き特性検出手段は、前記繰り返し画像のＳＡＤ分布から前記動き特性を検出する請求項２記載の動きベクトル検出装置。
【請求項４】
更に前記各マクロブロックに含まれる前記繰り返し画像のＳＡＤ分布から前記動き特性を検出する動き特性検出手段と、
該動き特性検出手段が検出した前記ＳＡＤ分布を等間隔の複数の区間に分割する分割手段とを有し、
前記マクロブロック接合手段は、前記分割手段によって分割された各区間のうちの前記ＳＡＤ分布における極小点が存在する極小点区間が異なるときに前記接合マクロブロックを形成する請求項１記載の動きベクトル検出装置。
【請求項５】
複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出方法であって、
前記ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる前記繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成し、該接合マクロブロックを用いて前記動きベクトルを検出する動きベクトル検出方法。
【請求項６】
複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、該動きベクトル検出手段により検出された前記動きベクトルに基づいて、前記各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを備えた補間フレーム作成装置であって、
前記動きベクトル検出手段は、前記ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる前記繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する補間フレーム作成装置。
【請求項７】
前記各画像フレームのうち、前記動きベクトル検出手段による前記動きベクトルの検出対象とされる前記画像フレームを検出対象フレーム、前記動きベクトルを検出する際に参照される前記画像フレームを参照フレームとしたときに、前記補間フレーム作成手段は、前記動きベクトル検出手段により検出された前記動きベクトルに基づいて、前記検出対象フレームを変位させて前記補間フレームを作成することを特徴とする請求項６記載の補間フレーム作成装置。
【請求項８】
更に前記検出対象フレームが記憶されるフレームメモリを有し、
前記動きベクトル検出手段は、前記フレームメモリに記憶されている前記検出対象フレームおよび前記参照フレームを複数のマクロブロックに分割し、該分割された前記各マクロブロックについて前記ブロックマッチングを行い、前記動きベクトルを検出することを特徴とする請求項６または７記載の補間フレーム作成装置。
【請求項９】
更に前記補間フレームを含む出力画像信号を表示パネルに出力する画像信号出力手段を有する請求項６〜８のいずれか一項記載の補間フレーム作成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−３０１１０１（Ｐ２００８−３０１１０１Ａ）
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願番号】特願２００７−１４３９９０（Ｐ２００７−１４３９９０）
【出願日】平成１９年５月３０日（２００７．５．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願日】平成１９年５月３０日（２００７．５．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]