動き探索方法
【課題】探索性能を低下させることなく、動きベクトルを求めるための演算量を削減して処理の負荷を低減することが可能な動き探索方法を得る。
【解決手段】本発明に係る動き探索方法は、複数のフィールドによって一のフレームが構成されるインタレース画像を対象とした動き探索方法であって、（Ａ）被探索ブロックＢＢから抽出したフィールド分割ブロックＯＢ，ＥＢに関して、探索ブロックＳＢ２，ＳＢ３を用いて探索を行うことにより、複数の動きベクトルＭＶ０〜ＭＶ３を求めるステップと、（Ｂ）上記複数の動きベクトルＭＶ０〜ＭＶ３が近似する場合、当該動きベクトルＭＶ０〜ＭＶ３によって規定される探索中心点Ｒ３の周辺領域のみを対象として、フレーム分割ブロックＵＦＢ，ＬＦＢ及びフィールド分割ブロックＯＢ，ＥＢに関して、探索ブロックＳＢ１〜ＳＢ９を用いて探索を行うステップとを備える。
【解決手段】本発明に係る動き探索方法は、複数のフィールドによって一のフレームが構成されるインタレース画像を対象とした動き探索方法であって、（Ａ）被探索ブロックＢＢから抽出したフィールド分割ブロックＯＢ，ＥＢに関して、探索ブロックＳＢ２，ＳＢ３を用いて探索を行うことにより、複数の動きベクトルＭＶ０〜ＭＶ３を求めるステップと、（Ｂ）上記複数の動きベクトルＭＶ０〜ＭＶ３が近似する場合、当該動きベクトルＭＶ０〜ＭＶ３によって規定される探索中心点Ｒ３の周辺領域のみを対象として、フレーム分割ブロックＵＦＢ，ＬＦＢ及びフィールド分割ブロックＯＢ，ＥＢに関して、探索ブロックＳＢ１〜ＳＢ９を用いて探索を行うステップとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理によって動き補償を行うための動き探索方法に関する。
【背景技術】
【０００２】
インタレース画像においては、奇数フィールドと偶数フィールドとによって一のフレームが構成される。かかるインタレース画像を対象とした動き探索方法の一つである総当たり法では、まず、動き探索の対象であるブロック（以下「被探索ブロック」と称す）をフレーム分割することによってフレーム分割ブロックを作成し、また、被探索ブロックをフィールド分割することによって、奇数フィールド分割ブロック及び偶数フィールド分割ブロックを作成する。次に、フレーム分割ブロックに関して、全てのモードの探索ブロックを用いて全画像領域の探索を行うことによって、複数の動きベクトルを求める。同様に、奇数フィールド分割ブロック及び偶数フィールド分割ブロックの各々に関して、奇数フィールドに関する参照画像の全領域及び偶数フィールドに関する参照画像の全領域の各々において探索を行うことによって、複数の動きベクトルを求める。そして、このようにして得られた全ての動きベクトルの中で最も適合度の高い動きベクトルを、被探索ブロックの動きベクトルとして選択する。
【０００３】
なお、画像処理による動き探索に関連する技術は、例えば下記特許文献１〜６に開示されている。
【０００４】
【特許文献１】特開２００６−３１５９７号公報
【特許文献２】特開２００６−１４１３２号公報
【特許文献３】米国特許出願公開第２００６／１２６７３９号明細書
【特許文献４】米国特許出願公開第２００６／１０４３５９号明細書
【特許文献５】米国特許出願公開第２００４／１０５４９５号明細書
【特許文献６】米国特許出願公開第２００５／２６５４５４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、総当たり法による動き探索では、適合度の高い動きベクトルを求めることができて、優れた探索性能を発揮できるものの、フレーム分割ブロック、奇数フィールド分割ブロック、及び偶数フィールド分割ブロックの各々に関して、それぞれフレームに関する参照画像、奇数フィールドに関する参照画像、及び偶数フィールドに関する参照画像の全画像領域の探索が行われるため、演算量が膨大となって処理の負荷が非常に大きいという問題がある。
【０００６】
本発明はかかる問題を解決するために成されたものであり、探索性能を低下させることなく、動きベクトルを求めるための演算量を削減して処理の負荷を低減することが可能な動き探索方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
第１の発明に係る動き探索方法は、複数のフィールドによって一のフレームが構成されるインタレース画像を対象とした動き探索方法であって、（Ａ）動き探索の対象である所定ブロックから抽出した複数のフィールド分割ブロックに関して、特定モードの探索ブロックを用いて探索を行うことにより、複数の動きベクトルを求めるステップと、（Ｂ）前記複数の動きベクトルが近似する場合に実行され、当該動きベクトルによって規定される点の周辺領域のみを対象として、前記所定ブロックから抽出した少なくとも一つのフレーム分割ブロックに関して、複数のモードの探索ブロックを用いて探索を行うとともに、前記複数のフィールド分割ブロックに関して、複数のモードの探索ブロックを用いて探索を行うステップとを備えるものである。
【０００８】
第２の発明に係る動き探索方法は、第１の発明に係る動き探索方法において特に、前記ステップ（Ｂ）においては、前記フレーム分割ブロックに関して、当該フレーム分割ブロックの大きさに相当するモードの探索ブロックを用いて探索を行うことにより、当該フレーム分割ブロックに関して、当該探索ブロックに包含される他のモードの探索ブロックを用いた探索と、前記複数のフィールド分割ブロックに関して、当該フレーム分割ブロックに包含されるモードの探索ブロックを用いた探索とが併せて実行されることを特徴とするものである。
【０００９】
第３の発明に係る動き探索方法は、第２の発明に係る動き探索方法において特に、前記複数の動きベクトルの全てが近似する場合、前記ステップ（Ｂ）においては、前記フレーム分割ブロックに関して、当該フレーム分割ブロックの大きさに相当するモードの探索ブロックを用いて探索を行うことにより、全てのフレーム分割ブロック及び全てのフィールド分割ブロックに関する、全てのモードの探索ブロックを用いた探索が併せて実行されることを特徴とするものである。
【００１０】
第４の発明に係る動き探索方法は、第１〜第３のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ａ）における探索の結果に基づいて、前記ステップ（Ｂ）における探索の探索範囲の大きさが変更されることを特徴とするものである。
【００１１】
第５の発明に係る動き探索方法は、第１〜第４のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ｂ）における探索のために参照可能な参照画像には、奇数フィールドに関する参照画像と偶数フィールドに関する参照画像とが含まれ、前記ステップ（Ａ）における探索の結果に基づいて、前記奇数フィールドに関する参照画像及び前記偶数フィールドに関する参照画像のうちの一方が、前記ステップ（Ｂ）における探索のために参照される参照画像として選択されることを特徴とするものである。
【００１２】
第６の発明に係る動き探索方法は、第１〜第５のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ｂ）における探索においては、参照画面外の領域を含めて参照画像を設定することが可能であり、前記参照画像がフレームに関する画像である場合、前記参照画面外の領域には、前記参照画像内の奇数行及び偶数行の各画素値が行交互に補完されることを特徴とするものである。
【００１３】
第７の発明に係る動き探索方法は、第１〜第５のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ｂ）における探索においては、参照画面外の領域を含めて参照画像を設定することが可能であり、前記参照画像が偶数フィールドに関する画像である場合、前記参照画面外の領域には、前記参照画像が奇数フィールドに関する画像である場合の端部行の各画素値が補完されることを特徴とするものである。
【００１４】
第８の発明に係る動き探索方法は、第１〜第７のいずれか一つの発明に係る動き探索方法において特に、（Ｃ）前記複数の動きベクトルが近似しない場合に実行され、複数のモードの各々毎に探索の初期点を求めた後に、当該初期点の周辺領域を対象として探索を行うステップをさらに備えることを特徴とするものである。
【００１５】
第９の発明に係る動き探索方法は、第８の発明に係る動き探索方法において特に、前記ステップ（Ｃ）における探索の初期点の候補には、前記所定ブロックに隣接する複数のブロックに関して求められた複数の動きベクトルによって規定される複数の点が含まれることを特徴とするものである。
【００１６】
第１０の発明に係る動き探索方法は、第８又は第９の発明に係る動き探索方法において特に、前記ステップ（Ｃ）における探索の初期点の候補には、前記ステップ（Ａ）で求められた複数の動きベクトルによって規定される複数の点が含まれることを特徴とするものである。
【００１７】
第１１の発明に係る動き探索方法は、第８〜第１０のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ｃ）における探索のために参照可能な参照画像には、奇数フィールドに関する参照画像と偶数フィールドに関する参照画像とが含まれ、前記ステップ（Ａ）における探索の結果に基づいて、前記奇数フィールドに関する参照画像及び前記偶数フィールドに関する参照画像のうちの一方が、前記ステップ（Ｃ）における探索のために参照される参照画像として選択されることを特徴とするものである。
【００１８】
第１２の発明に係る動き探索方法は、第８〜第１１のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ｃ）においては、あるモードの探索ブロックを用いて探索を行うことにより、当該探索ブロックに包含される他のモードの探索ブロックを用いた探索が併せて実行されることを特徴とするものである。
【００１９】
第１３の発明に係る動き探索方法は、第１〜第１２のいずれか一つの発明に係る動き探索方法において特に、前記所定ブロックは、行方向に１６画素、列方向に少なくとも１６画素を有するブロックであり、前記特定モードの探索ブロックは、行方向に１６画素、列方向に８画素を有する探索ブロックであることを特徴とするものである。
【００２０】
第１４の発明に係る動き探索方法は、第１３の発明に係る動き探索方法において特に、前記ステップ（Ａ）においては、前記特定モードの探索ブロックの行方向の画素数が１／２に間引かれて探索が行われることを特徴とするものである。
【発明の効果】
【００２１】
第１〜第１４の各発明に係る動き探索方法によれば、ステップ（Ａ）で特定モードの探索ブロックを用いた探索を行い、ステップ（Ｂ）では、ステップ（Ａ）で求めた動きベクトルの周辺領域のみを対象として、フレーム分割ブロック及びフィールド分割ブロックの各々に関して、全モードの探索ブロックを用いた探索を行う。従って、全モードの探索ブロックを用いて全画像領域の探索を行う必要がないため、総当たり法と比較すると、演算量を削減して処理の負荷を低減することが可能となる。
【００２２】
特に第２の発明に係る動き探索方法によれば、ブロックの包含関係を有効に活用することにより、各モードの探索ブロック毎に個別に探索を行う場合と比較すると、演算量を削減して処理の負荷を低減することが可能となる。
【００２３】
特に第３の発明に係る動き探索方法によれば、複数の動きベクトルの全てが近似する場合には、全フレーム分割ブロック及び全フィールド分割ブロックに関する全モードの探索ブロックを用いた探索を併せて実行できるため、演算量を削減する効果が最も高まる。
【００２４】
特に第４の発明に係る動き探索方法によれば、ステップ（Ａ）における探索で求められた複数の動きベクトルの分散が大きい場合には、ステップ（Ｂ）における探索の探索範囲の大きさを大きく設定し、一方、ステップ（Ａ）における探索で求められた複数の動きベクトルの分散が小さい場合には、ステップ（Ｂ）における探索の探索範囲の大きさを小さく設定することができる。これにより、動き探索の精度の向上と演算量の削減とをともに実現することができる。
【００２５】
特に第５の発明に係る動き探索方法によれば、奇数フィールドに関する参照画像及び偶数フィールドに関する参照画像の一方を選択することにより、双方を用いる場合と比較して、演算量を削減することができる。
【００２６】
特に第６の発明に係る動き探索方法によれば、参照画像がフレームに関する画像である場合に、参照画面外の領域には、参照画像内の奇数行及び偶数行の各画素値が行交互に補完される。これによって、参照画面外の画像領域においても、フレームに関する参照画像を適切に作成することが可能となる。
【００２７】
特に第９の発明に係る動き探索方法によれば、ＩＭＥの結果を用いて探索の初期点の候補を決定できるため、ＩＭＥとＦＭＥとがパイプラインの別段で処理されるハードウェアが用いられる場合であっても、パイプラインストールの発生を回避することができる。
【００２８】
特に第１０の発明に係る動き探索方法によれば、ステップ（Ａ）における探索の結果を、ステップ（Ｃ）の探索において有効活用することができる。
【００２９】
特に第１１の発明に係る動き探索方法によれば、奇数フィールドに関する参照画像及び偶数フィールドに関する参照画像の一方を選択することにより、双方を用いる場合と比較して、演算量を削減することができる。
【００３０】
特に第１２の発明に係る動き探索方法によれば、ブロックの包含関係を有効に活用することにより、各モードの探索ブロック毎に個別に探索を行う場合と比較すると、演算量を削減して処理の負荷を低減することが可能となる。
【００３１】
特に第１４の発明に係る動き探索方法によれば、探索ブロックは、行方向に１６画素、列方向に８画素を有し、しかも、行方向の画素数が１／２に間引かれている。フィールド分割ブロックに関してこのような探索ブロックを用いて探索を行うことは、実質的に、行方向及び列方向に各１６画素を有し、行方向及び列方向の各画素数が１／２に間引かれた探索ブロックを用いて、フレーム分割ブロックに関して探索を行うことに等しい。従って、フレーム及びフィールドの包含関係を利用することにより、（１）行方向及び列方向に各１６画素を有し、行方向及び列方向の各画素数が１／２に間引かれた探索ブロックを用いた、フレーム分割ブロックに関する探索、（２）行方向に１６画素、列方向に８画素を有し、行方向の画素数が１／２に間引かれた探索ブロックを用いた、フレーム分割ブロックに関する探索、（３）行方向に８画素、列方向に１６画素を有し、列方向の画素数が１／２に間引かれた探索ブロックを用いた、フレーム分割ブロックに関する探索、（４）行方向及び列方向に各１６画素を有し、行方向及び列方向の各画素数が１／２に間引かれた探索ブロックを用いた、フィールド分割ブロックに関する探索、（５）行方向に１６画素、列方向に８画素を有し、行方向の画素数が１／２に間引かれた探索ブロックを用いた、フィールド分割ブロックに関する探索、及び（６）行方向に８画素、列方向に１６画素を有し、列方向の画素数が１／２に間引かれた探索ブロックを用いた、フィールド分割ブロックに関する探索を、併せて実行することが可能となる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００３３】
図１は、ＭＰＥＧ−２におけるインタレース画像を対象とした動き探索方法を示す図である。動き探索の対象である被探索ブロックＢＢは、行方向（横方向）に１６画素、列方向（縦方向）に１６画素のブロックサイズを有している。また、被探索ブロックＢＢはラインＬ１〜Ｌ１６から成り、各ラインは、横１６画素×縦１画素のサイズを有している。フレーム分割ブロックＦＢは、被探索ブロックＢＢと同一の構成を有している。奇数フィールド分割ブロックＯＢは、被探索ブロックＢＢから奇数ラインＬ１，Ｌ３，・・・，Ｌ１５を抽出したものであり、横１６画素×縦８画素のブロックサイズを有している。偶数フィールド分割ブロックＥＢは、被探索ブロックＢＢから偶数ラインＬ２，Ｌ４，・・・，Ｌ１６を抽出したものであり、横１６画素×縦８画素のブロックサイズを有している。フレーム分割ブロックＦＢ、奇数フィールド分割ブロックＯＢ、及び偶数フィールド分割ブロックＥＢの各々に関して、動きベクトルがそれぞれ求められ、求められた全ての動きベクトルの中で最も適合度の高い動きベクトルが、被探索ブロックＢＢの動きベクトルとして選択される。
【００３４】
図２は、Ｈ．２６４におけるインタレース画像を対象とした動き探索方法を示す図である。動き探索の対象である被探索ブロックＢＢは、横１６画素×縦３２画素のブロックサイズを有している。また、被探索ブロックＢＢはラインＬ１〜Ｌ３２から成り、各ラインは、横１６画素×縦１画素のサイズを有している。上部フレーム分割ブロックＵＦＢは、被探索ブロックＢＢの上半分（ラインＬ１〜Ｌ１６）と同一の構成を成し、横１６画素×縦１６画素のブロックサイズを有している。下部フレーム分割ブロックＬＦＢは、被探索ブロックＢＢの下半分（ラインＬ１７〜Ｌ３２）と同一の構成を成し、横１６画素×縦１６画素のブロックサイズを有している。奇数フィールド分割ブロックＯＢは、被探索ブロックＢＢから奇数ラインＬ１，Ｌ３，・・・，Ｌ３１を抽出したものであり、横１６画素×１６画素のブロックサイズを有している。偶数フィールド分割ブロックＥＢは、被探索ブロックＢＢから偶数ラインＬ２，Ｌ４，・・・，Ｌ３２を抽出したものであり、横１６画素×縦１６画素のブロックサイズを有している。上部フレーム分割ブロックＵＦＢ、下部フレーム分割ブロックＬＦＢ、奇数フィールド分割ブロックＯＢ、及び偶数フィールド分割ブロックＥＢの各々に関して、動きベクトルがそれぞれ求められ、求められた全ての動きベクトルの中で最も適合度の高い動きベクトルが、被探索ブロックＢＢの動きベクトルとして選択される。
【００３５】
また、Ｈ．２６４では、図３に示すように、横１６画素×縦１６画素のマクロブロック内に、ブロックサイズが異なる７種類の探索ブロック（横１６画素×縦１６画素、横１６画素×縦８画素、横８画素×縦１６画素、横８画素×縦８画素、横８画素×縦４画素、横４画素×縦８画素、横４画素×縦４画素）を設定することが可能である。従って、Ｈ．２６４では、図２に示した分割ブロックＵＦＢ，ＬＦＢ，ＯＢ，ＥＢの各々に関して、図３に示した各探索ブロックを用いた探索を行うことにより、各分割ブロックＵＦＢ，ＬＦＢ，ＯＢ，ＥＢ毎に複数の動きベクトルを求めることが可能である。但し、上述した総当たり法によってこれを行ったのでは、演算量が膨大となるため、本実施の形態に係る動き探索方法では以下に述べるアルゴリズムを採用する。
【００３６】
図４は、本実施の形態に係る動き探索方法で使用する探索ブロックを示す図である。モード１では、横１６画素×縦１６画素の探索ブロックＳＢ１が使用される。モード２では、いずれも横１６画素×縦８画素の、探索ブロックＳＢ２（上半分）及び探索ブロックＳＢ３（下半分）が使用される。モード３では、いずれも横８画素×縦１６画素の、探索ブロックＳＢ４（左半分）及び探索ブロックＳＢ５（右半分）が使用される。モード４では、いずれも横８画素×縦８画素の、探索ブロックＳＢ６（左上）、探索ブロックＳＢ７（右上）、探索ブロックＳＢ８（左下）、及び探索ブロックＳＢ９（右下）が使用される。
【００３７】
まず、図５に示すように、奇数フィールド分割ブロックＯＢ及び偶数フィールド分割ブロックＥＢの各々に関して、モード２の探索ブロックＳＢ２，ＳＢ３を用いて探索を行う。探索の手法としては、ブロックマッチング法等の任意の手法を用いることが可能である。これにより、奇数フィールド分割ブロックＯＢの上半分の領域に関する動きベクトルＭＶ０、奇数フィールド分割ブロックＯＢの下半分の領域に関する動きベクトルＭＶ１、偶数フィールド分割ブロックＥＢの上半分の領域に関する動きベクトルＭＶ２、及び偶数フィールド分割ブロックＥＢの下半分の領域に関する動きベクトルＭＶ３がそれぞれ求まる。
【００３８】
ここでの探索（以下「粗探索」とも称する）は、水平画素間引きモードで実行することも可能である。ここで「水平画素間引き」とは、画像の奇数列及び偶数列の一方を間引くという意味である。横１６画素×縦８画素の探索ブロックＳＢ２，ＳＢ３を水平画素間引きすることによって、横８画素×縦８画素の、縦横にバランスの良い探索ブロックが得られる。粗探索を水平画素間引きモードで実行することにより、演算量を削減することが可能となる。
【００３９】
しかも、横１６画素×縦８画素のフィールド画像に関する水平画素間引きモードは、実質的に、横１６画素×縦１６画素のフレーム画像に関する水平・垂直画素間引きモードに等しい。従って、フレーム及びフィールドの包含関係を利用することにより、（１）横１６画素×縦１６画素のフレーム画像に関する水平・垂直画素間引きモード（フレーム１６×１６モード）、（２）横１６画素×縦８画素のフレーム画像に関する水平画素間引きモード（フレーム１６×８モード）、（３）横８画素×縦１６画素のフレーム画像に関する垂直画素間引きモード（フレーム８×１６モード）、（４）横１６画素×縦１６画素のフィールド画像に関する水平・垂直画素間引きモード（フィールド１６×１６モード）、（５）横１６画素×縦８画素のフィールド画像に関する水平画素間引きモード（フィールド１６×８モード）、及び、（６）横８画素×縦１６画素のフィールド画像に関する垂直画素間引きモード（フィールド８×１６モード）の、合計６つの探索モードを、併せて実行することが可能となる。また、横８画素×縦８画素のフレーム画像又はフィールド画像に関する探索も併せて実行することができる。なお、「水平・垂直画素間引き」とは、画像の奇数列及び偶数列の一方並びに奇数行及び偶数行の一方を間引くという意味であり、「垂直画素間引き」とは、画像の奇数行及び偶数行の一方を間引くという意味である。
【００４０】
＜ＭＶ０〜ＭＶ３の分散の判定＞
次に、上記の粗探索で求めた動きベクトルＭＶ０〜ＭＶ３を相互に比較し、分散の度合いを判定する。ここで、図６に示すように、インタレース画像に関しては、現画像ＴＢ及び参照画像ＳＷの各々について、奇数フィールド（ｔｏｐ ｆｉｅｌｄ）及び偶数フィールド（ｂｏｔｔｏｍ ｆｉｅｌｄ）が存在する。従って、奇数フィールド及び偶数フィールドのどちらを参照するかによって、動きベクトルＭＶ０は、動きベクトルＭＶ０ｔと動きベクトルＭＶ０ｂとに分けられる。同様に、動きベクトルＭＶ１，ＭＶ２，ＭＶ３は、それぞれ動きベクトルＭＶ１ｔ，ＭＶ２ｔ，ＭＶ３ｔと動きベクトルＭＶ１ｂ，ＭＶ２ｂ，ＭＶ３ｂとに分けられる。つまり、インタレース画像においては、粗探索を実行することによって、１フレームあたり８本の動きベクトルＭＶ０ｔ〜ＭＶ３ｔ，ＭＶ０ｂ〜ＭＶ３ｂが求められる。
【００４１】
動きベクトルの分散の判定には、時間条件及び空間条件を用いることが可能である。時間条件のみを用いても良いし、空間条件のみを用いても良いし、時間条件及び空間条件の双方を用いても良い。
【００４２】
時間条件に関しては、動きベクトルＭＶ０ｔと動きベクトルＭＶ０ｂとが互いに近似するか、及び、動きベクトルＭＶ１ｔと動きベクトルＭＶ１ｂとが互いに近似するか、が判定される。以下、本明細書において「動きベクトルが互いに近似する」とは、例えば横９画素×縦９画素の範囲内に、比較対象の動きベクトルが含まれることを意味する。
【００４３】
空間条件に関しては、動きベクトルＭＶ０ｔと動きベクトルＭＶ１ｔとが互いに近似するか、動きベクトルＭＶ０ｂと動きベクトルＭＶ１ｂとが互いに近似するか、動きベクトルＭＶ２ｔと動きベクトルＭＶ３ｔとが互いに近似するか、及び、動きベクトルＭＶ２ｂと動きベクトルＭＶ３ｂとが互いに近似するか、が判定される。
【００４４】
また、図６に示したように、インタレース画像においては、１つの現画像ＴＢに対して参照すべき参照画像ＳＷは２つ存在する。ここで、後述の密探索で使用する参照画像を、上記の粗探索の結果に基づいて、奇数フィールドに関する参照画像ＳＷ及び偶数フィールドに関する参照画像ＳＷのうちの一方に限定しても良い。例えば、粗探索において、奇数フィールドの参照画像ＳＷを参照した場合の差分絶対値和（ＳＡＤ）と、偶数フィールドの参照画像ＳＷを参照した場合のＳＡＤとをそれぞれ求める。そして、ＳＡＤの値が小さくなる方のフィールドの参照画像ＳＷを、後述の密探索において使用する。参照画像ＳＷを奇数フィールド及び偶数フィールドの一方に限定することにより、演算量を削減することができる。
【００４５】
以下、粗探索後に実行される密探索について説明する。
【００４６】
＜ＭＶ０〜ＭＶ３が近似しない場合＞
上記の時間条件及び空間条件を用いた判定の結果、粗探索で求めた複数の動きベクトルが互いに近似しないと判定された場合は、小ブロックを用いた密探索が行われる。以下、具体的に説明する。
【００４７】
まず、密探索を開始する初期点を求める。初期点は、上記の６つの探索モード（フレーム１６×１６モード、フレーム１６×８モード、フレーム８×１６モード、フィールド１６×１６モード、フィールド１６×８モード、フィールド８×１６モード）の各々について求められる。
【００４８】
初期点の候補としては、（１）動き探索の対象である被探索ブロックと同一座標の点（ゼロベクトル）、（２）被探索ブロックの左隣のブロックに関して求められたＩＭＥ最適動きベクトル（ＩＭＥ：Integer Motion Estimation。整数精度動き予測）によって規定される点、（３）被探索ブロックの上隣のブロックに関して求められたＩＭＥ最適動きベクトルによって規定される点、及び、（４）被探索ブロックの右上隣のブロックに関して求められたＩＭＥ最適動きベクトルによって規定される点の、合計４点が設定される。ＩＭＥの結果を用いて探索の初期点の候補を決定できるため、ＩＭＥとＦＭＥ（Fractional Motion Estimation。小数精度動き予測）とがパイプラインの別段で処理されるハードウェアが用いられる場合であっても、パイプラインストールの発生を回避することができる。
【００４９】
また、初期点の候補として、粗探索によって求められた準最適動きベクトルによって規定される複数の点を追加しても良い。粗探索によって、図６に示した８つの動きベクトルが求められる。そして、上記のように密探索で参照される参照画像ＳＷを奇数フィールド及び偶数フィールドの一方に限定した場合には、４つの動きベクトルが求められる。これら４つの動きベクトルのうち、被探索ブロックと空間的に重複するブロックに関する２つの動きベクトルによって規定される２点と、その２つの動きベクトルの平均ベクトルによって規定される１点とを、密探索のための初期点として設定する。例えば、被探索ブロックが奇数フィールド分割ブロックである場合は、ＭＶ０、ＭＶ１、及びその平均ベクトルによって規定される合計３点が、初期点として設定される。また、被探索ブロックが偶数フィールド分割ブロックである場合は、ＭＶ２、ＭＶ３、及びその平均ベクトルによって規定される合計３点が、初期点として設定される。また、被探索ブロックが上部フレーム分割ブロックである場合は、ＭＶ０、ＭＶ２、及びその平均ベクトルによって規定される合計３点が、初期点として設定される。また、被探索ブロックが下部フレーム分割ブロックである場合は、ＭＶ１、ＭＶ３、及びその平均ベクトルによって規定される合計３点が、初期点として設定される。これにより、粗探索の結果を密探索において有効に活用することができる。
【００５０】
上記した合計７点の初期点の各々に関してブロックマッチングを行い、適合度が最も高い点（例えばＳＡＤが最も小さい点）が、密探索の初期点として設定される。
【００５１】
６つの探索モードの各々について初期点が設定されると、次に、各初期点の周辺領域を対象として、対応する探索モードでの詳細な探索を実行する。ここで、「周辺領域」とは、例えば、初期点を中心とする横９画素×縦９画素の領域を意味する。また、フレーム・フィールドの包含関係を用いてＳＡＤを再利用することで、横８画素×縦８画素のブロックに関するＳＡＤを併せて求めることもできる。また、後述と同様に、あるモードの探索ブロックを用いて探索を行うことにより、ＳＡＤを再利用することで、当該探索ブロックに包含される他のモードの探索ブロックを用いた探索を併せて実行することができ、これにより、演算量を削減して処理の負荷を低減することが可能となる。
【００５２】
＜ＭＶ０とＭＶ２とが近似する場合＞
図７に示すように、動きベクトルＭＶ０，ＭＶ２が互いに近似する場合、動きベクトルＭＶ０，ＭＶ２から求めた代表値（例えば平均値）として、探索中心点Ｒ１を設定する。ここで、「動きベクトルＭＶ０，ＭＶ２が互いに近似する」とは、例えば、横９画素×縦９画素の範囲内（図７の太線参照）に動きベクトルＭＶ０，ＭＶ２が含まれることを意味する。そして、動きベクトルＭＶ０，ＭＶ２が互いに近似する場合は、全画像領域ではなく探索中心点Ｒ１の周辺領域のみを対象として、詳細な探索を実行する。ここで、「周辺領域」とは、探索中心点Ｒ１を中心とする例えば横９画素×縦９画素の領域（図７の太線参照）を意味する。あるいは、図６に示した８本の動きベクトルのいずれかのｘ成分及びｙ成分がしきい値（例えば４）を超えている場合は、探索中心点Ｒ１を中心とする例えば横１７画素×縦１７画素の領域を、探索範囲として設定しても良い。このように、粗探索で求められた複数の動きベクトルの分散が小さい場合には、密探索の探索範囲の大きさを小さく設定し、一方、粗探索で求められた複数の動きベクトルの分散が大きい場合には、密探索の探索範囲の大きさを大きく設定することができる。これにより、動き探索の精度の向上と演算量の削減とをともに実現することができる。また、上記の「詳細な探索」とは、上部フレーム分割ブロックＵＦＢに関する、探索ブロックＳＢ１及びそれに包含される探索ブロックＳＢ２〜ＳＢ９を用いた探索と、上部フレーム分割ブロックＵＦＢに包含される部分の奇数フィールド分割ブロックＯＢ及び偶数フィールド分割ブロックＥＢに関する、探索ブロックＳＢ１及びそれに包含される探索ブロックＳＢ２〜ＳＢ９を用いた探索とを意味する。
【００５３】
詳細な探索を実行するに際しては、ブロックの包含関係を利用することにより、重複する演算を省略して処理の効率化を図ることができる。図８を参照して、上部フレーム分割ブロックＵＦＢに関して探索ブロックＳＢ１を用いた探索を行うことにより、上部フレーム分割ブロックＵＦＢに関する探索ブロックＳＢ２〜ＳＢ９を用いた探索、奇数フィールド分割ブロックＯＢに関する探索ブロックＳＢ２，ＳＢ６，ＳＢ７を用いた探索、及び、偶数フィールド分割ブロックＥＢに関する探索ブロックＳＢ２，ＳＢ６，ＳＢ７を用いた探索を、併せて実行することができる。
【００５４】
図８に示した包含関係に記述されていない他の探索ブロックについては、全探索法等の任意の探索手法によって個別に探索を行い、動きベクトルをそれぞれ求める。
【００５５】
また、探索性能をより高めるべく、探索中心点Ｒ１の周辺領域を対象として上記の詳細な探索を行った後、任意の手法による動き探索を追加的に実行しても良い。
【００５６】
＜ＭＶ１とＭＶ３とが近似する場合＞
図９に示すように、動きベクトルＭＶ１，ＭＶ３が互いに近似する場合、動きベクトルＭＶ１，ＭＶ３から求めた代表値（例えば平均値）として、探索中心点Ｒ２を設定する。ここで、「動きベクトルＭＶ１，ＭＶ３が互いに近似する」とは、例えば、横９画素×縦９画素の範囲内（図９の太線参照）に動きベクトルＭＶ１，ＭＶ３が含まれることを意味する。そして、全画像領域ではなく探索中心点Ｒ２の周辺領域のみを対象として、詳細な探索を実行する。ここで、「周辺領域」とは、例えば、探索中心点Ｒ２を中心とする横９画素×縦９画素の領域（図９の太線参照）を意味する。あるいは、上記と同様に、探索中心点Ｒ２を中心とする例えば横１７画素×縦１７画素の領域を、探索範囲として設定しても良い。また、「詳細な探索」とは、下部フレーム分割ブロックＬＦＢに関する、探索ブロックＳＢ１及びそれに包含される探索ブロックＳＢ２〜ＳＢ９を用いた探索と、下部フレーム分割ブロックＬＦＢに包含される部分の奇数フィールド分割ブロックＯＢ及び偶数フィールド分割ブロックＥＢに関する、探索ブロックＳＢ１及びそれに包含される探索ブロックＳＢ２〜ＳＢ９を用いた探索とを意味する。
【００５７】
上記と同様に、詳細な探索を実行するに際しては、ブロックの包含関係を利用することにより、重複する演算を省略して処理の効率化を図ることができる。図１０を参照して、下部フレーム分割ブロックＬＦＢに関して探索ブロックＳＢ１を用いた探索を行うことにより、下部フレーム分割ブロックＬＦＢに関する探索ブロックＳＢ２〜ＳＢ９を用いた探索、奇数フィールド分割ブロックＯＢに関する探索ブロックＳＢ３，ＳＢ８，ＳＢ９を用いた探索、及び、偶数フィールド分割ブロックＥＢに関する探索ブロックＳＢ３，ＳＢ８，ＳＢ９を用いた探索を、併せて実行することができる。
【００５８】
図１０に示した包含関係に記述されていない他の探索ブロックについては、全探索法等の任意の探索手法によって個別に探索を行い、動きベクトルをそれぞれ求める。
【００５９】
なお、上記と同様に、探索性能をより高めるべく、探索中心点Ｒ２の周辺領域を対象として上記の詳細な探索を行った後、任意の手法による動き探索を追加的に実行しても良い。
【００６０】
＜ＭＶ０〜ＭＶ３が近似する場合＞
図１１に示すように、動きベクトルＭＶ０〜ＭＶ３が互いに近似する場合、動きベクトルＭＶ０〜ＭＶ３から求めた代表値（例えば平均値）として、探索中心点Ｒ３を設定する。ここで、「動きベクトルＭＶ０〜ＭＶ３が互いに近似する」とは、例えば、横９画素×縦９画素の範囲内（図１１の太線参照）に動きベクトルＭＶ０〜ＭＶ３が含まれることを意味する。そして、全画像領域ではなく探索中心点Ｒ３の周辺領域のみを対象として、詳細な探索を実行する。ここで、「周辺領域」とは、例えば、探索中心点Ｒ３を中心とする横９画素×縦９画素の領域（図１１の太線参照）を意味する。あるいは、上記と同様に、探索中心点Ｒ３を中心とする例えば横１７画素×縦１７画素の領域を、探索範囲として設定しても良い。また、「詳細な探索」とは、図２に示した全ての分割ブロックＵＦＢ，ＬＦＢ，ＯＢ，ＥＢに関する、図４に示した全ての探索ブロックＳＢ１〜ＳＢ９を用いた探索を意味する。
【００６１】
上記と同様に、詳細な探索を実行するに際しては、ブロックの包含関係を利用することにより、重複する演算を省略して処理の効率化を図ることができる。図１２を参照して、上部フレーム分割ブロックＵＦＢ及び下部フレーム分割ブロックＬＦＢに関して、探索ブロックＳＢ１を用いた探索を行うことにより、全ての分割ブロックに関する全ての探索ブロックを用いた探索を併せて実行することができる。つまり、上部フレーム分割ブロックＵＦＢに関する探索ブロックＳＢ２〜ＳＢ９を用いた探索、下部フレーム分割ブロックＬＦＢに関する探索ブロックＳＢ２〜ＳＢ９を用いた探索、奇数フィールド分割ブロックＯＢに関する探索ブロックＳＢ１〜ＳＢ９を用いた探索、及び、偶数フィールド分割ブロックＥＢに関する探索ブロックＳＢ１〜ＳＢ９を用いた探索を、併せて実行することができる。
【００６２】
なお、上記と同様に、探索性能をより高めるべく、探索中心点Ｒ３の周辺領域を対象として上記の詳細な探索を行った後、任意の手法による動き探索を追加的に実行しても良い。
【００６３】
＜参照画像の補完＞
本発明の密探索においては、参照画面外の領域を含めて参照画像を設定することが可能である。図１３は参照画像がトップフィールド画像である場合、図１４は参照画像がボトムフィールド画像である場合、図１５は参照画像がフレーム画像である場合、図１６は参照画像がフレーム画像である場合、図１７は参照画像がボトムフィールド画像である場合の例を示している。図１３〜１７において、領域ＡＲ１は参照画面外の領域であり、領域ＡＲ２は参照画面内の領域である。
【００６４】
参照画面外の領域に参照画像を設定する場合には、領域ＡＲ１内の各画素に画素値を補完する必要がある。図１３に示すように、参照画像がトップフィールド画像である場合は、領域ＡＲ２の端部の画素の画素値（Ａ０，Ｂ０，Ｃ０，Ｄ０，Ｅ０，Ｆ０）を用いて補完を行う。図１４に示すように、参照画像がボトムフィールド画像である場合は、領域ＡＲ２の端部の画素の画素値（Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１）を用いて補完を行う。
【００６５】
参照画像がフレーム画像である場合、通常は図１５に示すように領域ＡＲ２の端部の画素の画素値（Ａ０，Ｂ０，Ｃ０，Ｄ０，Ｅ０，Ｆ０）を用いて補完が行われるが、本発明では図１６に示すように、領域ＡＲ１には、領域ＡＲ２の最外の奇数行Ｖ１及び最外の偶数行Ｖ２の各画素値が、一行毎に交互に補完される。具体的には、図１６に示すように、行Ｗ１，Ｗ３の各画素は行Ｖ２の各画素の画素値（Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１）によって補完され、行Ｗ２，Ｗ４の各画素値は行Ｖ１の各画素の画素値（Ａ０，Ｂ０，Ｃ０，Ｄ０，Ｅ０，Ｆ０）によって補完される。つまり、領域ＡＲ１の奇数行は領域ＡＲ２の奇数行によって補完され、領域ＡＲ１の偶数行は領域ＡＲ２の偶数行によって補完される。図１６に示した補完方法を、図１３，１４に示した補完方法と組み合わせることで、ＭＢＡＦＦ（Macroblock-Adaptive Frame-Field Coding）の全モード（フレーム／トップフィールド／ボトムフィールド）を、ＳＡＤを再利用しつつ同時に探索することができる。これにより、参照画面外の領域ＡＲ１においてもフレームの参照画像を適切に作成することができ、ＳＡＤの再利用を行うことができる。
【００６６】
また、ＭＢＡＦＦ全モードを同時に探索する別の手法として、図１７に示すように、参照画像がボトムフィールド画像である場合の領域ＡＲ１を、参照画像がトップフィールドである場合の領域ＡＲ２の端部画素値（Ａ０，Ｂ０，Ｃ０，Ｄ０，Ｅ０，Ｆ０）を用いて補完する手法がある。図１７に示した補完方法を、図１３，１５に示した補完方法と組み合わせることで、ＭＢＡＦＦの全モードを、ＳＡＤを再利用しつつ同時に探索することができる。
【００６７】
＜まとめ＞
このように本実施の形態に係る動き探索方法によれば、まず、奇数フィールド分割ブロックＯＢ及び偶数フィールド分割ブロックＥＢに関して、特定のモード２の探索ブロックＳＢ２，ＳＢ３を用いた探索を行って動きベクトルＭＶ０〜ＭＶ３を求め、その後、上記で求めた動きベクトルＭＶ０〜ＭＶ３の周辺領域のみを対象として詳細な探索を行う。従って、動きベクトルＭＶ０，ＭＶ２が近似する場合、動きベクトルＭＶ１，ＭＶ３が近似する場合、又は動きベクトルＭＶ０〜ＭＶ３が近似する場合には、全モードの探索ブロックＳＢ１〜ＳＢ９を用いて全画像領域の探索を行う必要がないため、従来の総当たり法と比較すると、演算量を削減して処理の負荷を低減することが可能となる。
【００６８】
図１８は、本発明の効果を検証するためのシミュレーションの実行結果を示す図である。比較のため、全探索法による結果（ＦＳ）と、Ｈ．２６４ ｊｏｉｎｔ ｍｏｄｅｌのアルゴリズムによる結果（ＵＭＨＳ）と、本発明による結果とを並記している。図１４に示すように、本発明による方法では、ＵＭＨＳと比較しても、わずかな画質劣化で演算負荷を大幅に削減できたことが実証された。
【００６９】
なお、以上ではＨ．２６４を例に取り本発明の内容を説明したが、本発明は、ＭＰＥＧ−２等にも適用可能であり、同様の効果を得ることができる。
【図面の簡単な説明】
【００７０】
【図１】ＭＰＥＧ−２におけるインタレース画像を対象とした動き探索方法を示す図である。
【図２】Ｈ．２６４におけるインタレース画像を対象とした動き探索方法を示す図である。
【図３】Ｈ．２６４における探索ブロックを示す図である。
【図４】本発明の実施の形態に係る動き探索方法で使用する探索ブロックを示す図である。
【図５】本発明の実施の形態に係る動き探索方法を説明するための図である。
【図６】インタレース画像における動きベクトルを示す図である。
【図７】画像の一部を抜き出して示す図である。
【図８】ブロックの包含関係を示す図である。
【図９】画像の一部を抜き出して示す図である。
【図１０】ブロックの包含関係を示す図である。
【図１１】画像の一部を抜き出して示す図である。
【図１２】ブロックの包含関係を示す図である。
【図１３】参照画面外の領域での画素値の補完を示す図である。
【図１４】参照画面外の領域での画素値の補完を示す図である。
【図１５】参照画面外の領域での画素値の補完を示す図である。
【図１６】参照画面外の領域での画素値の補完を示す図である。
【図１７】参照画面外の領域での画素値の補完を示す図である。
【図１８】シミュレーション結果を示す図である。
【符号の説明】
【００７１】
ＢＢ 被探索ブロック
ＵＦＢ 上部フレーム分割ブロック
ＬＦＢ 下部フレーム分割ブロック
ＯＢ 奇数フィールド分割ブロック
ＥＢ 偶数フィールド分割ブロック
ＳＢ１〜ＳＢ９ 探索ブロック
ＭＶ０〜ＭＶ３ 動きベクトル
Ｒ１〜Ｒ３ 探索中心点
【技術分野】
【０００１】
本発明は、画像処理によって動き補償を行うための動き探索方法に関する。
【背景技術】
【０００２】
インタレース画像においては、奇数フィールドと偶数フィールドとによって一のフレームが構成される。かかるインタレース画像を対象とした動き探索方法の一つである総当たり法では、まず、動き探索の対象であるブロック（以下「被探索ブロック」と称す）をフレーム分割することによってフレーム分割ブロックを作成し、また、被探索ブロックをフィールド分割することによって、奇数フィールド分割ブロック及び偶数フィールド分割ブロックを作成する。次に、フレーム分割ブロックに関して、全てのモードの探索ブロックを用いて全画像領域の探索を行うことによって、複数の動きベクトルを求める。同様に、奇数フィールド分割ブロック及び偶数フィールド分割ブロックの各々に関して、奇数フィールドに関する参照画像の全領域及び偶数フィールドに関する参照画像の全領域の各々において探索を行うことによって、複数の動きベクトルを求める。そして、このようにして得られた全ての動きベクトルの中で最も適合度の高い動きベクトルを、被探索ブロックの動きベクトルとして選択する。
【０００３】
なお、画像処理による動き探索に関連する技術は、例えば下記特許文献１〜６に開示されている。
【０００４】
【特許文献１】特開２００６−３１５９７号公報
【特許文献２】特開２００６−１４１３２号公報
【特許文献３】米国特許出願公開第２００６／１２６７３９号明細書
【特許文献４】米国特許出願公開第２００６／１０４３５９号明細書
【特許文献５】米国特許出願公開第２００４／１０５４９５号明細書
【特許文献６】米国特許出願公開第２００５／２６５４５４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、総当たり法による動き探索では、適合度の高い動きベクトルを求めることができて、優れた探索性能を発揮できるものの、フレーム分割ブロック、奇数フィールド分割ブロック、及び偶数フィールド分割ブロックの各々に関して、それぞれフレームに関する参照画像、奇数フィールドに関する参照画像、及び偶数フィールドに関する参照画像の全画像領域の探索が行われるため、演算量が膨大となって処理の負荷が非常に大きいという問題がある。
【０００６】
本発明はかかる問題を解決するために成されたものであり、探索性能を低下させることなく、動きベクトルを求めるための演算量を削減して処理の負荷を低減することが可能な動き探索方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
第１の発明に係る動き探索方法は、複数のフィールドによって一のフレームが構成されるインタレース画像を対象とした動き探索方法であって、（Ａ）動き探索の対象である所定ブロックから抽出した複数のフィールド分割ブロックに関して、特定モードの探索ブロックを用いて探索を行うことにより、複数の動きベクトルを求めるステップと、（Ｂ）前記複数の動きベクトルが近似する場合に実行され、当該動きベクトルによって規定される点の周辺領域のみを対象として、前記所定ブロックから抽出した少なくとも一つのフレーム分割ブロックに関して、複数のモードの探索ブロックを用いて探索を行うとともに、前記複数のフィールド分割ブロックに関して、複数のモードの探索ブロックを用いて探索を行うステップとを備えるものである。
【０００８】
第２の発明に係る動き探索方法は、第１の発明に係る動き探索方法において特に、前記ステップ（Ｂ）においては、前記フレーム分割ブロックに関して、当該フレーム分割ブロックの大きさに相当するモードの探索ブロックを用いて探索を行うことにより、当該フレーム分割ブロックに関して、当該探索ブロックに包含される他のモードの探索ブロックを用いた探索と、前記複数のフィールド分割ブロックに関して、当該フレーム分割ブロックに包含されるモードの探索ブロックを用いた探索とが併せて実行されることを特徴とするものである。
【０００９】
第３の発明に係る動き探索方法は、第２の発明に係る動き探索方法において特に、前記複数の動きベクトルの全てが近似する場合、前記ステップ（Ｂ）においては、前記フレーム分割ブロックに関して、当該フレーム分割ブロックの大きさに相当するモードの探索ブロックを用いて探索を行うことにより、全てのフレーム分割ブロック及び全てのフィールド分割ブロックに関する、全てのモードの探索ブロックを用いた探索が併せて実行されることを特徴とするものである。
【００１０】
第４の発明に係る動き探索方法は、第１〜第３のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ａ）における探索の結果に基づいて、前記ステップ（Ｂ）における探索の探索範囲の大きさが変更されることを特徴とするものである。
【００１１】
第５の発明に係る動き探索方法は、第１〜第４のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ｂ）における探索のために参照可能な参照画像には、奇数フィールドに関する参照画像と偶数フィールドに関する参照画像とが含まれ、前記ステップ（Ａ）における探索の結果に基づいて、前記奇数フィールドに関する参照画像及び前記偶数フィールドに関する参照画像のうちの一方が、前記ステップ（Ｂ）における探索のために参照される参照画像として選択されることを特徴とするものである。
【００１２】
第６の発明に係る動き探索方法は、第１〜第５のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ｂ）における探索においては、参照画面外の領域を含めて参照画像を設定することが可能であり、前記参照画像がフレームに関する画像である場合、前記参照画面外の領域には、前記参照画像内の奇数行及び偶数行の各画素値が行交互に補完されることを特徴とするものである。
【００１３】
第７の発明に係る動き探索方法は、第１〜第５のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ｂ）における探索においては、参照画面外の領域を含めて参照画像を設定することが可能であり、前記参照画像が偶数フィールドに関する画像である場合、前記参照画面外の領域には、前記参照画像が奇数フィールドに関する画像である場合の端部行の各画素値が補完されることを特徴とするものである。
【００１４】
第８の発明に係る動き探索方法は、第１〜第７のいずれか一つの発明に係る動き探索方法において特に、（Ｃ）前記複数の動きベクトルが近似しない場合に実行され、複数のモードの各々毎に探索の初期点を求めた後に、当該初期点の周辺領域を対象として探索を行うステップをさらに備えることを特徴とするものである。
【００１５】
第９の発明に係る動き探索方法は、第８の発明に係る動き探索方法において特に、前記ステップ（Ｃ）における探索の初期点の候補には、前記所定ブロックに隣接する複数のブロックに関して求められた複数の動きベクトルによって規定される複数の点が含まれることを特徴とするものである。
【００１６】
第１０の発明に係る動き探索方法は、第８又は第９の発明に係る動き探索方法において特に、前記ステップ（Ｃ）における探索の初期点の候補には、前記ステップ（Ａ）で求められた複数の動きベクトルによって規定される複数の点が含まれることを特徴とするものである。
【００１７】
第１１の発明に係る動き探索方法は、第８〜第１０のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ｃ）における探索のために参照可能な参照画像には、奇数フィールドに関する参照画像と偶数フィールドに関する参照画像とが含まれ、前記ステップ（Ａ）における探索の結果に基づいて、前記奇数フィールドに関する参照画像及び前記偶数フィールドに関する参照画像のうちの一方が、前記ステップ（Ｃ）における探索のために参照される参照画像として選択されることを特徴とするものである。
【００１８】
第１２の発明に係る動き探索方法は、第８〜第１１のいずれか一つの発明に係る動き探索方法において特に、前記ステップ（Ｃ）においては、あるモードの探索ブロックを用いて探索を行うことにより、当該探索ブロックに包含される他のモードの探索ブロックを用いた探索が併せて実行されることを特徴とするものである。
【００１９】
第１３の発明に係る動き探索方法は、第１〜第１２のいずれか一つの発明に係る動き探索方法において特に、前記所定ブロックは、行方向に１６画素、列方向に少なくとも１６画素を有するブロックであり、前記特定モードの探索ブロックは、行方向に１６画素、列方向に８画素を有する探索ブロックであることを特徴とするものである。
【００２０】
第１４の発明に係る動き探索方法は、第１３の発明に係る動き探索方法において特に、前記ステップ（Ａ）においては、前記特定モードの探索ブロックの行方向の画素数が１／２に間引かれて探索が行われることを特徴とするものである。
【発明の効果】
【００２１】
第１〜第１４の各発明に係る動き探索方法によれば、ステップ（Ａ）で特定モードの探索ブロックを用いた探索を行い、ステップ（Ｂ）では、ステップ（Ａ）で求めた動きベクトルの周辺領域のみを対象として、フレーム分割ブロック及びフィールド分割ブロックの各々に関して、全モードの探索ブロックを用いた探索を行う。従って、全モードの探索ブロックを用いて全画像領域の探索を行う必要がないため、総当たり法と比較すると、演算量を削減して処理の負荷を低減することが可能となる。
【００２２】
特に第２の発明に係る動き探索方法によれば、ブロックの包含関係を有効に活用することにより、各モードの探索ブロック毎に個別に探索を行う場合と比較すると、演算量を削減して処理の負荷を低減することが可能となる。
【００２３】
特に第３の発明に係る動き探索方法によれば、複数の動きベクトルの全てが近似する場合には、全フレーム分割ブロック及び全フィールド分割ブロックに関する全モードの探索ブロックを用いた探索を併せて実行できるため、演算量を削減する効果が最も高まる。
【００２４】
特に第４の発明に係る動き探索方法によれば、ステップ（Ａ）における探索で求められた複数の動きベクトルの分散が大きい場合には、ステップ（Ｂ）における探索の探索範囲の大きさを大きく設定し、一方、ステップ（Ａ）における探索で求められた複数の動きベクトルの分散が小さい場合には、ステップ（Ｂ）における探索の探索範囲の大きさを小さく設定することができる。これにより、動き探索の精度の向上と演算量の削減とをともに実現することができる。
【００２５】
特に第５の発明に係る動き探索方法によれば、奇数フィールドに関する参照画像及び偶数フィールドに関する参照画像の一方を選択することにより、双方を用いる場合と比較して、演算量を削減することができる。
【００２６】
特に第６の発明に係る動き探索方法によれば、参照画像がフレームに関する画像である場合に、参照画面外の領域には、参照画像内の奇数行及び偶数行の各画素値が行交互に補完される。これによって、参照画面外の画像領域においても、フレームに関する参照画像を適切に作成することが可能となる。
【００２７】
特に第９の発明に係る動き探索方法によれば、ＩＭＥの結果を用いて探索の初期点の候補を決定できるため、ＩＭＥとＦＭＥとがパイプラインの別段で処理されるハードウェアが用いられる場合であっても、パイプラインストールの発生を回避することができる。
【００２８】
特に第１０の発明に係る動き探索方法によれば、ステップ（Ａ）における探索の結果を、ステップ（Ｃ）の探索において有効活用することができる。
【００２９】
特に第１１の発明に係る動き探索方法によれば、奇数フィールドに関する参照画像及び偶数フィールドに関する参照画像の一方を選択することにより、双方を用いる場合と比較して、演算量を削減することができる。
【００３０】
特に第１２の発明に係る動き探索方法によれば、ブロックの包含関係を有効に活用することにより、各モードの探索ブロック毎に個別に探索を行う場合と比較すると、演算量を削減して処理の負荷を低減することが可能となる。
【００３１】
特に第１４の発明に係る動き探索方法によれば、探索ブロックは、行方向に１６画素、列方向に８画素を有し、しかも、行方向の画素数が１／２に間引かれている。フィールド分割ブロックに関してこのような探索ブロックを用いて探索を行うことは、実質的に、行方向及び列方向に各１６画素を有し、行方向及び列方向の各画素数が１／２に間引かれた探索ブロックを用いて、フレーム分割ブロックに関して探索を行うことに等しい。従って、フレーム及びフィールドの包含関係を利用することにより、（１）行方向及び列方向に各１６画素を有し、行方向及び列方向の各画素数が１／２に間引かれた探索ブロックを用いた、フレーム分割ブロックに関する探索、（２）行方向に１６画素、列方向に８画素を有し、行方向の画素数が１／２に間引かれた探索ブロックを用いた、フレーム分割ブロックに関する探索、（３）行方向に８画素、列方向に１６画素を有し、列方向の画素数が１／２に間引かれた探索ブロックを用いた、フレーム分割ブロックに関する探索、（４）行方向及び列方向に各１６画素を有し、行方向及び列方向の各画素数が１／２に間引かれた探索ブロックを用いた、フィールド分割ブロックに関する探索、（５）行方向に１６画素、列方向に８画素を有し、行方向の画素数が１／２に間引かれた探索ブロックを用いた、フィールド分割ブロックに関する探索、及び（６）行方向に８画素、列方向に１６画素を有し、列方向の画素数が１／２に間引かれた探索ブロックを用いた、フィールド分割ブロックに関する探索を、併せて実行することが可能となる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００３３】
図１は、ＭＰＥＧ−２におけるインタレース画像を対象とした動き探索方法を示す図である。動き探索の対象である被探索ブロックＢＢは、行方向（横方向）に１６画素、列方向（縦方向）に１６画素のブロックサイズを有している。また、被探索ブロックＢＢはラインＬ１〜Ｌ１６から成り、各ラインは、横１６画素×縦１画素のサイズを有している。フレーム分割ブロックＦＢは、被探索ブロックＢＢと同一の構成を有している。奇数フィールド分割ブロックＯＢは、被探索ブロックＢＢから奇数ラインＬ１，Ｌ３，・・・，Ｌ１５を抽出したものであり、横１６画素×縦８画素のブロックサイズを有している。偶数フィールド分割ブロックＥＢは、被探索ブロックＢＢから偶数ラインＬ２，Ｌ４，・・・，Ｌ１６を抽出したものであり、横１６画素×縦８画素のブロックサイズを有している。フレーム分割ブロックＦＢ、奇数フィールド分割ブロックＯＢ、及び偶数フィールド分割ブロックＥＢの各々に関して、動きベクトルがそれぞれ求められ、求められた全ての動きベクトルの中で最も適合度の高い動きベクトルが、被探索ブロックＢＢの動きベクトルとして選択される。
【００３４】
図２は、Ｈ．２６４におけるインタレース画像を対象とした動き探索方法を示す図である。動き探索の対象である被探索ブロックＢＢは、横１６画素×縦３２画素のブロックサイズを有している。また、被探索ブロックＢＢはラインＬ１〜Ｌ３２から成り、各ラインは、横１６画素×縦１画素のサイズを有している。上部フレーム分割ブロックＵＦＢは、被探索ブロックＢＢの上半分（ラインＬ１〜Ｌ１６）と同一の構成を成し、横１６画素×縦１６画素のブロックサイズを有している。下部フレーム分割ブロックＬＦＢは、被探索ブロックＢＢの下半分（ラインＬ１７〜Ｌ３２）と同一の構成を成し、横１６画素×縦１６画素のブロックサイズを有している。奇数フィールド分割ブロックＯＢは、被探索ブロックＢＢから奇数ラインＬ１，Ｌ３，・・・，Ｌ３１を抽出したものであり、横１６画素×１６画素のブロックサイズを有している。偶数フィールド分割ブロックＥＢは、被探索ブロックＢＢから偶数ラインＬ２，Ｌ４，・・・，Ｌ３２を抽出したものであり、横１６画素×縦１６画素のブロックサイズを有している。上部フレーム分割ブロックＵＦＢ、下部フレーム分割ブロックＬＦＢ、奇数フィールド分割ブロックＯＢ、及び偶数フィールド分割ブロックＥＢの各々に関して、動きベクトルがそれぞれ求められ、求められた全ての動きベクトルの中で最も適合度の高い動きベクトルが、被探索ブロックＢＢの動きベクトルとして選択される。
【００３５】
また、Ｈ．２６４では、図３に示すように、横１６画素×縦１６画素のマクロブロック内に、ブロックサイズが異なる７種類の探索ブロック（横１６画素×縦１６画素、横１６画素×縦８画素、横８画素×縦１６画素、横８画素×縦８画素、横８画素×縦４画素、横４画素×縦８画素、横４画素×縦４画素）を設定することが可能である。従って、Ｈ．２６４では、図２に示した分割ブロックＵＦＢ，ＬＦＢ，ＯＢ，ＥＢの各々に関して、図３に示した各探索ブロックを用いた探索を行うことにより、各分割ブロックＵＦＢ，ＬＦＢ，ＯＢ，ＥＢ毎に複数の動きベクトルを求めることが可能である。但し、上述した総当たり法によってこれを行ったのでは、演算量が膨大となるため、本実施の形態に係る動き探索方法では以下に述べるアルゴリズムを採用する。
【００３６】
図４は、本実施の形態に係る動き探索方法で使用する探索ブロックを示す図である。モード１では、横１６画素×縦１６画素の探索ブロックＳＢ１が使用される。モード２では、いずれも横１６画素×縦８画素の、探索ブロックＳＢ２（上半分）及び探索ブロックＳＢ３（下半分）が使用される。モード３では、いずれも横８画素×縦１６画素の、探索ブロックＳＢ４（左半分）及び探索ブロックＳＢ５（右半分）が使用される。モード４では、いずれも横８画素×縦８画素の、探索ブロックＳＢ６（左上）、探索ブロックＳＢ７（右上）、探索ブロックＳＢ８（左下）、及び探索ブロックＳＢ９（右下）が使用される。
【００３７】
まず、図５に示すように、奇数フィールド分割ブロックＯＢ及び偶数フィールド分割ブロックＥＢの各々に関して、モード２の探索ブロックＳＢ２，ＳＢ３を用いて探索を行う。探索の手法としては、ブロックマッチング法等の任意の手法を用いることが可能である。これにより、奇数フィールド分割ブロックＯＢの上半分の領域に関する動きベクトルＭＶ０、奇数フィールド分割ブロックＯＢの下半分の領域に関する動きベクトルＭＶ１、偶数フィールド分割ブロックＥＢの上半分の領域に関する動きベクトルＭＶ２、及び偶数フィールド分割ブロックＥＢの下半分の領域に関する動きベクトルＭＶ３がそれぞれ求まる。
【００３８】
ここでの探索（以下「粗探索」とも称する）は、水平画素間引きモードで実行することも可能である。ここで「水平画素間引き」とは、画像の奇数列及び偶数列の一方を間引くという意味である。横１６画素×縦８画素の探索ブロックＳＢ２，ＳＢ３を水平画素間引きすることによって、横８画素×縦８画素の、縦横にバランスの良い探索ブロックが得られる。粗探索を水平画素間引きモードで実行することにより、演算量を削減することが可能となる。
【００３９】
しかも、横１６画素×縦８画素のフィールド画像に関する水平画素間引きモードは、実質的に、横１６画素×縦１６画素のフレーム画像に関する水平・垂直画素間引きモードに等しい。従って、フレーム及びフィールドの包含関係を利用することにより、（１）横１６画素×縦１６画素のフレーム画像に関する水平・垂直画素間引きモード（フレーム１６×１６モード）、（２）横１６画素×縦８画素のフレーム画像に関する水平画素間引きモード（フレーム１６×８モード）、（３）横８画素×縦１６画素のフレーム画像に関する垂直画素間引きモード（フレーム８×１６モード）、（４）横１６画素×縦１６画素のフィールド画像に関する水平・垂直画素間引きモード（フィールド１６×１６モード）、（５）横１６画素×縦８画素のフィールド画像に関する水平画素間引きモード（フィールド１６×８モード）、及び、（６）横８画素×縦１６画素のフィールド画像に関する垂直画素間引きモード（フィールド８×１６モード）の、合計６つの探索モードを、併せて実行することが可能となる。また、横８画素×縦８画素のフレーム画像又はフィールド画像に関する探索も併せて実行することができる。なお、「水平・垂直画素間引き」とは、画像の奇数列及び偶数列の一方並びに奇数行及び偶数行の一方を間引くという意味であり、「垂直画素間引き」とは、画像の奇数行及び偶数行の一方を間引くという意味である。
【００４０】
＜ＭＶ０〜ＭＶ３の分散の判定＞
次に、上記の粗探索で求めた動きベクトルＭＶ０〜ＭＶ３を相互に比較し、分散の度合いを判定する。ここで、図６に示すように、インタレース画像に関しては、現画像ＴＢ及び参照画像ＳＷの各々について、奇数フィールド（ｔｏｐ ｆｉｅｌｄ）及び偶数フィールド（ｂｏｔｔｏｍ ｆｉｅｌｄ）が存在する。従って、奇数フィールド及び偶数フィールドのどちらを参照するかによって、動きベクトルＭＶ０は、動きベクトルＭＶ０ｔと動きベクトルＭＶ０ｂとに分けられる。同様に、動きベクトルＭＶ１，ＭＶ２，ＭＶ３は、それぞれ動きベクトルＭＶ１ｔ，ＭＶ２ｔ，ＭＶ３ｔと動きベクトルＭＶ１ｂ，ＭＶ２ｂ，ＭＶ３ｂとに分けられる。つまり、インタレース画像においては、粗探索を実行することによって、１フレームあたり８本の動きベクトルＭＶ０ｔ〜ＭＶ３ｔ，ＭＶ０ｂ〜ＭＶ３ｂが求められる。
【００４１】
動きベクトルの分散の判定には、時間条件及び空間条件を用いることが可能である。時間条件のみを用いても良いし、空間条件のみを用いても良いし、時間条件及び空間条件の双方を用いても良い。
【００４２】
時間条件に関しては、動きベクトルＭＶ０ｔと動きベクトルＭＶ０ｂとが互いに近似するか、及び、動きベクトルＭＶ１ｔと動きベクトルＭＶ１ｂとが互いに近似するか、が判定される。以下、本明細書において「動きベクトルが互いに近似する」とは、例えば横９画素×縦９画素の範囲内に、比較対象の動きベクトルが含まれることを意味する。
【００４３】
空間条件に関しては、動きベクトルＭＶ０ｔと動きベクトルＭＶ１ｔとが互いに近似するか、動きベクトルＭＶ０ｂと動きベクトルＭＶ１ｂとが互いに近似するか、動きベクトルＭＶ２ｔと動きベクトルＭＶ３ｔとが互いに近似するか、及び、動きベクトルＭＶ２ｂと動きベクトルＭＶ３ｂとが互いに近似するか、が判定される。
【００４４】
また、図６に示したように、インタレース画像においては、１つの現画像ＴＢに対して参照すべき参照画像ＳＷは２つ存在する。ここで、後述の密探索で使用する参照画像を、上記の粗探索の結果に基づいて、奇数フィールドに関する参照画像ＳＷ及び偶数フィールドに関する参照画像ＳＷのうちの一方に限定しても良い。例えば、粗探索において、奇数フィールドの参照画像ＳＷを参照した場合の差分絶対値和（ＳＡＤ）と、偶数フィールドの参照画像ＳＷを参照した場合のＳＡＤとをそれぞれ求める。そして、ＳＡＤの値が小さくなる方のフィールドの参照画像ＳＷを、後述の密探索において使用する。参照画像ＳＷを奇数フィールド及び偶数フィールドの一方に限定することにより、演算量を削減することができる。
【００４５】
以下、粗探索後に実行される密探索について説明する。
【００４６】
＜ＭＶ０〜ＭＶ３が近似しない場合＞
上記の時間条件及び空間条件を用いた判定の結果、粗探索で求めた複数の動きベクトルが互いに近似しないと判定された場合は、小ブロックを用いた密探索が行われる。以下、具体的に説明する。
【００４７】
まず、密探索を開始する初期点を求める。初期点は、上記の６つの探索モード（フレーム１６×１６モード、フレーム１６×８モード、フレーム８×１６モード、フィールド１６×１６モード、フィールド１６×８モード、フィールド８×１６モード）の各々について求められる。
【００４８】
初期点の候補としては、（１）動き探索の対象である被探索ブロックと同一座標の点（ゼロベクトル）、（２）被探索ブロックの左隣のブロックに関して求められたＩＭＥ最適動きベクトル（ＩＭＥ：Integer Motion Estimation。整数精度動き予測）によって規定される点、（３）被探索ブロックの上隣のブロックに関して求められたＩＭＥ最適動きベクトルによって規定される点、及び、（４）被探索ブロックの右上隣のブロックに関して求められたＩＭＥ最適動きベクトルによって規定される点の、合計４点が設定される。ＩＭＥの結果を用いて探索の初期点の候補を決定できるため、ＩＭＥとＦＭＥ（Fractional Motion Estimation。小数精度動き予測）とがパイプラインの別段で処理されるハードウェアが用いられる場合であっても、パイプラインストールの発生を回避することができる。
【００４９】
また、初期点の候補として、粗探索によって求められた準最適動きベクトルによって規定される複数の点を追加しても良い。粗探索によって、図６に示した８つの動きベクトルが求められる。そして、上記のように密探索で参照される参照画像ＳＷを奇数フィールド及び偶数フィールドの一方に限定した場合には、４つの動きベクトルが求められる。これら４つの動きベクトルのうち、被探索ブロックと空間的に重複するブロックに関する２つの動きベクトルによって規定される２点と、その２つの動きベクトルの平均ベクトルによって規定される１点とを、密探索のための初期点として設定する。例えば、被探索ブロックが奇数フィールド分割ブロックである場合は、ＭＶ０、ＭＶ１、及びその平均ベクトルによって規定される合計３点が、初期点として設定される。また、被探索ブロックが偶数フィールド分割ブロックである場合は、ＭＶ２、ＭＶ３、及びその平均ベクトルによって規定される合計３点が、初期点として設定される。また、被探索ブロックが上部フレーム分割ブロックである場合は、ＭＶ０、ＭＶ２、及びその平均ベクトルによって規定される合計３点が、初期点として設定される。また、被探索ブロックが下部フレーム分割ブロックである場合は、ＭＶ１、ＭＶ３、及びその平均ベクトルによって規定される合計３点が、初期点として設定される。これにより、粗探索の結果を密探索において有効に活用することができる。
【００５０】
上記した合計７点の初期点の各々に関してブロックマッチングを行い、適合度が最も高い点（例えばＳＡＤが最も小さい点）が、密探索の初期点として設定される。
【００５１】
６つの探索モードの各々について初期点が設定されると、次に、各初期点の周辺領域を対象として、対応する探索モードでの詳細な探索を実行する。ここで、「周辺領域」とは、例えば、初期点を中心とする横９画素×縦９画素の領域を意味する。また、フレーム・フィールドの包含関係を用いてＳＡＤを再利用することで、横８画素×縦８画素のブロックに関するＳＡＤを併せて求めることもできる。また、後述と同様に、あるモードの探索ブロックを用いて探索を行うことにより、ＳＡＤを再利用することで、当該探索ブロックに包含される他のモードの探索ブロックを用いた探索を併せて実行することができ、これにより、演算量を削減して処理の負荷を低減することが可能となる。
【００５２】
＜ＭＶ０とＭＶ２とが近似する場合＞
図７に示すように、動きベクトルＭＶ０，ＭＶ２が互いに近似する場合、動きベクトルＭＶ０，ＭＶ２から求めた代表値（例えば平均値）として、探索中心点Ｒ１を設定する。ここで、「動きベクトルＭＶ０，ＭＶ２が互いに近似する」とは、例えば、横９画素×縦９画素の範囲内（図７の太線参照）に動きベクトルＭＶ０，ＭＶ２が含まれることを意味する。そして、動きベクトルＭＶ０，ＭＶ２が互いに近似する場合は、全画像領域ではなく探索中心点Ｒ１の周辺領域のみを対象として、詳細な探索を実行する。ここで、「周辺領域」とは、探索中心点Ｒ１を中心とする例えば横９画素×縦９画素の領域（図７の太線参照）を意味する。あるいは、図６に示した８本の動きベクトルのいずれかのｘ成分及びｙ成分がしきい値（例えば４）を超えている場合は、探索中心点Ｒ１を中心とする例えば横１７画素×縦１７画素の領域を、探索範囲として設定しても良い。このように、粗探索で求められた複数の動きベクトルの分散が小さい場合には、密探索の探索範囲の大きさを小さく設定し、一方、粗探索で求められた複数の動きベクトルの分散が大きい場合には、密探索の探索範囲の大きさを大きく設定することができる。これにより、動き探索の精度の向上と演算量の削減とをともに実現することができる。また、上記の「詳細な探索」とは、上部フレーム分割ブロックＵＦＢに関する、探索ブロックＳＢ１及びそれに包含される探索ブロックＳＢ２〜ＳＢ９を用いた探索と、上部フレーム分割ブロックＵＦＢに包含される部分の奇数フィールド分割ブロックＯＢ及び偶数フィールド分割ブロックＥＢに関する、探索ブロックＳＢ１及びそれに包含される探索ブロックＳＢ２〜ＳＢ９を用いた探索とを意味する。
【００５３】
詳細な探索を実行するに際しては、ブロックの包含関係を利用することにより、重複する演算を省略して処理の効率化を図ることができる。図８を参照して、上部フレーム分割ブロックＵＦＢに関して探索ブロックＳＢ１を用いた探索を行うことにより、上部フレーム分割ブロックＵＦＢに関する探索ブロックＳＢ２〜ＳＢ９を用いた探索、奇数フィールド分割ブロックＯＢに関する探索ブロックＳＢ２，ＳＢ６，ＳＢ７を用いた探索、及び、偶数フィールド分割ブロックＥＢに関する探索ブロックＳＢ２，ＳＢ６，ＳＢ７を用いた探索を、併せて実行することができる。
【００５４】
図８に示した包含関係に記述されていない他の探索ブロックについては、全探索法等の任意の探索手法によって個別に探索を行い、動きベクトルをそれぞれ求める。
【００５５】
また、探索性能をより高めるべく、探索中心点Ｒ１の周辺領域を対象として上記の詳細な探索を行った後、任意の手法による動き探索を追加的に実行しても良い。
【００５６】
＜ＭＶ１とＭＶ３とが近似する場合＞
図９に示すように、動きベクトルＭＶ１，ＭＶ３が互いに近似する場合、動きベクトルＭＶ１，ＭＶ３から求めた代表値（例えば平均値）として、探索中心点Ｒ２を設定する。ここで、「動きベクトルＭＶ１，ＭＶ３が互いに近似する」とは、例えば、横９画素×縦９画素の範囲内（図９の太線参照）に動きベクトルＭＶ１，ＭＶ３が含まれることを意味する。そして、全画像領域ではなく探索中心点Ｒ２の周辺領域のみを対象として、詳細な探索を実行する。ここで、「周辺領域」とは、例えば、探索中心点Ｒ２を中心とする横９画素×縦９画素の領域（図９の太線参照）を意味する。あるいは、上記と同様に、探索中心点Ｒ２を中心とする例えば横１７画素×縦１７画素の領域を、探索範囲として設定しても良い。また、「詳細な探索」とは、下部フレーム分割ブロックＬＦＢに関する、探索ブロックＳＢ１及びそれに包含される探索ブロックＳＢ２〜ＳＢ９を用いた探索と、下部フレーム分割ブロックＬＦＢに包含される部分の奇数フィールド分割ブロックＯＢ及び偶数フィールド分割ブロックＥＢに関する、探索ブロックＳＢ１及びそれに包含される探索ブロックＳＢ２〜ＳＢ９を用いた探索とを意味する。
【００５７】
上記と同様に、詳細な探索を実行するに際しては、ブロックの包含関係を利用することにより、重複する演算を省略して処理の効率化を図ることができる。図１０を参照して、下部フレーム分割ブロックＬＦＢに関して探索ブロックＳＢ１を用いた探索を行うことにより、下部フレーム分割ブロックＬＦＢに関する探索ブロックＳＢ２〜ＳＢ９を用いた探索、奇数フィールド分割ブロックＯＢに関する探索ブロックＳＢ３，ＳＢ８，ＳＢ９を用いた探索、及び、偶数フィールド分割ブロックＥＢに関する探索ブロックＳＢ３，ＳＢ８，ＳＢ９を用いた探索を、併せて実行することができる。
【００５８】
図１０に示した包含関係に記述されていない他の探索ブロックについては、全探索法等の任意の探索手法によって個別に探索を行い、動きベクトルをそれぞれ求める。
【００５９】
なお、上記と同様に、探索性能をより高めるべく、探索中心点Ｒ２の周辺領域を対象として上記の詳細な探索を行った後、任意の手法による動き探索を追加的に実行しても良い。
【００６０】
＜ＭＶ０〜ＭＶ３が近似する場合＞
図１１に示すように、動きベクトルＭＶ０〜ＭＶ３が互いに近似する場合、動きベクトルＭＶ０〜ＭＶ３から求めた代表値（例えば平均値）として、探索中心点Ｒ３を設定する。ここで、「動きベクトルＭＶ０〜ＭＶ３が互いに近似する」とは、例えば、横９画素×縦９画素の範囲内（図１１の太線参照）に動きベクトルＭＶ０〜ＭＶ３が含まれることを意味する。そして、全画像領域ではなく探索中心点Ｒ３の周辺領域のみを対象として、詳細な探索を実行する。ここで、「周辺領域」とは、例えば、探索中心点Ｒ３を中心とする横９画素×縦９画素の領域（図１１の太線参照）を意味する。あるいは、上記と同様に、探索中心点Ｒ３を中心とする例えば横１７画素×縦１７画素の領域を、探索範囲として設定しても良い。また、「詳細な探索」とは、図２に示した全ての分割ブロックＵＦＢ，ＬＦＢ，ＯＢ，ＥＢに関する、図４に示した全ての探索ブロックＳＢ１〜ＳＢ９を用いた探索を意味する。
【００６１】
上記と同様に、詳細な探索を実行するに際しては、ブロックの包含関係を利用することにより、重複する演算を省略して処理の効率化を図ることができる。図１２を参照して、上部フレーム分割ブロックＵＦＢ及び下部フレーム分割ブロックＬＦＢに関して、探索ブロックＳＢ１を用いた探索を行うことにより、全ての分割ブロックに関する全ての探索ブロックを用いた探索を併せて実行することができる。つまり、上部フレーム分割ブロックＵＦＢに関する探索ブロックＳＢ２〜ＳＢ９を用いた探索、下部フレーム分割ブロックＬＦＢに関する探索ブロックＳＢ２〜ＳＢ９を用いた探索、奇数フィールド分割ブロックＯＢに関する探索ブロックＳＢ１〜ＳＢ９を用いた探索、及び、偶数フィールド分割ブロックＥＢに関する探索ブロックＳＢ１〜ＳＢ９を用いた探索を、併せて実行することができる。
【００６２】
なお、上記と同様に、探索性能をより高めるべく、探索中心点Ｒ３の周辺領域を対象として上記の詳細な探索を行った後、任意の手法による動き探索を追加的に実行しても良い。
【００６３】
＜参照画像の補完＞
本発明の密探索においては、参照画面外の領域を含めて参照画像を設定することが可能である。図１３は参照画像がトップフィールド画像である場合、図１４は参照画像がボトムフィールド画像である場合、図１５は参照画像がフレーム画像である場合、図１６は参照画像がフレーム画像である場合、図１７は参照画像がボトムフィールド画像である場合の例を示している。図１３〜１７において、領域ＡＲ１は参照画面外の領域であり、領域ＡＲ２は参照画面内の領域である。
【００６４】
参照画面外の領域に参照画像を設定する場合には、領域ＡＲ１内の各画素に画素値を補完する必要がある。図１３に示すように、参照画像がトップフィールド画像である場合は、領域ＡＲ２の端部の画素の画素値（Ａ０，Ｂ０，Ｃ０，Ｄ０，Ｅ０，Ｆ０）を用いて補完を行う。図１４に示すように、参照画像がボトムフィールド画像である場合は、領域ＡＲ２の端部の画素の画素値（Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１）を用いて補完を行う。
【００６５】
参照画像がフレーム画像である場合、通常は図１５に示すように領域ＡＲ２の端部の画素の画素値（Ａ０，Ｂ０，Ｃ０，Ｄ０，Ｅ０，Ｆ０）を用いて補完が行われるが、本発明では図１６に示すように、領域ＡＲ１には、領域ＡＲ２の最外の奇数行Ｖ１及び最外の偶数行Ｖ２の各画素値が、一行毎に交互に補完される。具体的には、図１６に示すように、行Ｗ１，Ｗ３の各画素は行Ｖ２の各画素の画素値（Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１）によって補完され、行Ｗ２，Ｗ４の各画素値は行Ｖ１の各画素の画素値（Ａ０，Ｂ０，Ｃ０，Ｄ０，Ｅ０，Ｆ０）によって補完される。つまり、領域ＡＲ１の奇数行は領域ＡＲ２の奇数行によって補完され、領域ＡＲ１の偶数行は領域ＡＲ２の偶数行によって補完される。図１６に示した補完方法を、図１３，１４に示した補完方法と組み合わせることで、ＭＢＡＦＦ（Macroblock-Adaptive Frame-Field Coding）の全モード（フレーム／トップフィールド／ボトムフィールド）を、ＳＡＤを再利用しつつ同時に探索することができる。これにより、参照画面外の領域ＡＲ１においてもフレームの参照画像を適切に作成することができ、ＳＡＤの再利用を行うことができる。
【００６６】
また、ＭＢＡＦＦ全モードを同時に探索する別の手法として、図１７に示すように、参照画像がボトムフィールド画像である場合の領域ＡＲ１を、参照画像がトップフィールドである場合の領域ＡＲ２の端部画素値（Ａ０，Ｂ０，Ｃ０，Ｄ０，Ｅ０，Ｆ０）を用いて補完する手法がある。図１７に示した補完方法を、図１３，１５に示した補完方法と組み合わせることで、ＭＢＡＦＦの全モードを、ＳＡＤを再利用しつつ同時に探索することができる。
【００６７】
＜まとめ＞
このように本実施の形態に係る動き探索方法によれば、まず、奇数フィールド分割ブロックＯＢ及び偶数フィールド分割ブロックＥＢに関して、特定のモード２の探索ブロックＳＢ２，ＳＢ３を用いた探索を行って動きベクトルＭＶ０〜ＭＶ３を求め、その後、上記で求めた動きベクトルＭＶ０〜ＭＶ３の周辺領域のみを対象として詳細な探索を行う。従って、動きベクトルＭＶ０，ＭＶ２が近似する場合、動きベクトルＭＶ１，ＭＶ３が近似する場合、又は動きベクトルＭＶ０〜ＭＶ３が近似する場合には、全モードの探索ブロックＳＢ１〜ＳＢ９を用いて全画像領域の探索を行う必要がないため、従来の総当たり法と比較すると、演算量を削減して処理の負荷を低減することが可能となる。
【００６８】
図１８は、本発明の効果を検証するためのシミュレーションの実行結果を示す図である。比較のため、全探索法による結果（ＦＳ）と、Ｈ．２６４ ｊｏｉｎｔ ｍｏｄｅｌのアルゴリズムによる結果（ＵＭＨＳ）と、本発明による結果とを並記している。図１４に示すように、本発明による方法では、ＵＭＨＳと比較しても、わずかな画質劣化で演算負荷を大幅に削減できたことが実証された。
【００６９】
なお、以上ではＨ．２６４を例に取り本発明の内容を説明したが、本発明は、ＭＰＥＧ−２等にも適用可能であり、同様の効果を得ることができる。
【図面の簡単な説明】
【００７０】
【図１】ＭＰＥＧ−２におけるインタレース画像を対象とした動き探索方法を示す図である。
【図２】Ｈ．２６４におけるインタレース画像を対象とした動き探索方法を示す図である。
【図３】Ｈ．２６４における探索ブロックを示す図である。
【図４】本発明の実施の形態に係る動き探索方法で使用する探索ブロックを示す図である。
【図５】本発明の実施の形態に係る動き探索方法を説明するための図である。
【図６】インタレース画像における動きベクトルを示す図である。
【図７】画像の一部を抜き出して示す図である。
【図８】ブロックの包含関係を示す図である。
【図９】画像の一部を抜き出して示す図である。
【図１０】ブロックの包含関係を示す図である。
【図１１】画像の一部を抜き出して示す図である。
【図１２】ブロックの包含関係を示す図である。
【図１３】参照画面外の領域での画素値の補完を示す図である。
【図１４】参照画面外の領域での画素値の補完を示す図である。
【図１５】参照画面外の領域での画素値の補完を示す図である。
【図１６】参照画面外の領域での画素値の補完を示す図である。
【図１７】参照画面外の領域での画素値の補完を示す図である。
【図１８】シミュレーション結果を示す図である。
【符号の説明】
【００７１】
ＢＢ 被探索ブロック
ＵＦＢ 上部フレーム分割ブロック
ＬＦＢ 下部フレーム分割ブロック
ＯＢ 奇数フィールド分割ブロック
ＥＢ 偶数フィールド分割ブロック
ＳＢ１〜ＳＢ９ 探索ブロック
ＭＶ０〜ＭＶ３ 動きベクトル
Ｒ１〜Ｒ３ 探索中心点
【特許請求の範囲】
【請求項１】
複数のフィールドによって一のフレームが構成されるインタレース画像を対象とした動き探索方法であって、
（Ａ）動き探索の対象である所定ブロックから抽出した複数のフィールド分割ブロックに関して、特定モードの探索ブロックを用いて探索を行うことにより、複数の動きベクトルを求めるステップと、
（Ｂ）前記複数の動きベクトルが近似する場合に実行され、当該動きベクトルによって規定される点の周辺領域のみを対象として、前記所定ブロックから抽出した少なくとも一つのフレーム分割ブロックに関して、複数のモードの探索ブロックを用いて探索を行うとともに、前記複数のフィールド分割ブロックに関して、複数のモードの探索ブロックを用いて探索を行うステップと
を備える、動き探索方法。
【請求項２】
前記ステップ（Ｂ）においては、前記フレーム分割ブロックに関して、当該フレーム分割ブロックの大きさに相当するモードの探索ブロックを用いて探索を行うことにより、当該フレーム分割ブロックに関して、当該探索ブロックに包含される他のモードの探索ブロックを用いた探索と、前記複数のフィールド分割ブロックに関して、当該フレーム分割ブロックに包含されるモードの探索ブロックを用いた探索とが併せて実行される、請求項１に記載の動き探索方法。
【請求項３】
前記複数の動きベクトルの全てが近似する場合、前記ステップ（Ｂ）においては、前記フレーム分割ブロックに関して、当該フレーム分割ブロックの大きさに相当するモードの探索ブロックを用いて探索を行うことにより、全てのフレーム分割ブロック及び全てのフィールド分割ブロックに関する、全てのモードの探索ブロックを用いた探索が併せて実行される、請求項２に記載の動き探索方法。
【請求項４】
前記ステップ（Ａ）における探索の結果に基づいて、前記ステップ（Ｂ）における探索の探索範囲の大きさが変更される、請求項１〜３のいずれか一つに記載の動き探索方法。
【請求項５】
前記ステップ（Ｂ）における探索のために参照可能な参照画像には、奇数フィールドに関する参照画像と偶数フィールドに関する参照画像とが含まれ、
前記ステップ（Ａ）における探索の結果に基づいて、前記奇数フィールドに関する参照画像及び前記偶数フィールドに関する参照画像のうちの一方が、前記ステップ（Ｂ）における探索のために参照される参照画像として選択される、請求項１〜４のいずれか一つに記載の動き探索方法。
【請求項６】
前記ステップ（Ｂ）における探索においては、参照画面外の領域を含めて参照画像を設定することが可能であり、
前記参照画像がフレームに関する画像である場合、前記参照画面外の領域には、前記参照画像内の奇数行及び偶数行の各画素値が行交互に補完される、請求項１〜５のいずれか一つに記載の動き探索方法。
【請求項７】
前記ステップ（Ｂ）における探索においては、参照画面外の領域を含めて参照画像を設定することが可能であり、
前記参照画像が偶数フィールドに関する画像である場合、前記参照画面外の領域には、前記参照画像が奇数フィールドに関する画像である場合の端部行の各画素値が補完される、請求項１〜５のいずれか一つに記載の動き探索方法。
【請求項８】
（Ｃ）前記複数の動きベクトルが近似しない場合に実行され、複数のモードの各々毎に探索の初期点を求めた後に、当該初期点の周辺領域を対象として探索を行うステップ
をさらに備える、請求項１〜７のいずれか一つに記載の動き探索方法。
【請求項９】
前記ステップ（Ｃ）における探索の初期点の候補には、前記所定ブロックに隣接する複数のブロックに関して求められた複数の動きベクトルによって規定される複数の点が含まれる、請求項８に記載の動き探索方法。
【請求項１０】
前記ステップ（Ｃ）における探索の初期点の候補には、前記ステップ（Ａ）で求められた複数の動きベクトルによって規定される複数の点が含まれる、請求項８又は９に記載の動き探索方法。
【請求項１１】
前記ステップ（Ｃ）における探索のために参照可能な参照画像には、奇数フィールドに関する参照画像と偶数フィールドに関する参照画像とが含まれ、
前記ステップ（Ａ）における探索の結果に基づいて、前記奇数フィールドに関する参照画像及び前記偶数フィールドに関する参照画像のうちの一方が、前記ステップ（Ｃ）における探索のために参照される参照画像として選択される、請求項８〜１０のいずれか一つに記載の動き探索方法。
【請求項１２】
前記ステップ（Ｃ）においては、あるモードの探索ブロックを用いて探索を行うことにより、当該探索ブロックに包含される他のモードの探索ブロックを用いた探索が併せて実行される、請求項８〜１１のいずれか一つに記載の動き探索方法。
【請求項１３】
前記所定ブロックは、行方向に１６画素、列方向に少なくとも１６画素を有するブロックであり、
前記特定モードの探索ブロックは、行方向に１６画素、列方向に８画素を有する探索ブロックである、請求項１〜１２のいずれか一つに記載の動き探索方法。
【請求項１４】
前記ステップ（Ａ）においては、前記特定モードの探索ブロックの行方向の画素数が１／２に間引かれて探索が行われる、請求項１３に記載の動き探索方法。
【請求項１】
複数のフィールドによって一のフレームが構成されるインタレース画像を対象とした動き探索方法であって、
（Ａ）動き探索の対象である所定ブロックから抽出した複数のフィールド分割ブロックに関して、特定モードの探索ブロックを用いて探索を行うことにより、複数の動きベクトルを求めるステップと、
（Ｂ）前記複数の動きベクトルが近似する場合に実行され、当該動きベクトルによって規定される点の周辺領域のみを対象として、前記所定ブロックから抽出した少なくとも一つのフレーム分割ブロックに関して、複数のモードの探索ブロックを用いて探索を行うとともに、前記複数のフィールド分割ブロックに関して、複数のモードの探索ブロックを用いて探索を行うステップと
を備える、動き探索方法。
【請求項２】
前記ステップ（Ｂ）においては、前記フレーム分割ブロックに関して、当該フレーム分割ブロックの大きさに相当するモードの探索ブロックを用いて探索を行うことにより、当該フレーム分割ブロックに関して、当該探索ブロックに包含される他のモードの探索ブロックを用いた探索と、前記複数のフィールド分割ブロックに関して、当該フレーム分割ブロックに包含されるモードの探索ブロックを用いた探索とが併せて実行される、請求項１に記載の動き探索方法。
【請求項３】
前記複数の動きベクトルの全てが近似する場合、前記ステップ（Ｂ）においては、前記フレーム分割ブロックに関して、当該フレーム分割ブロックの大きさに相当するモードの探索ブロックを用いて探索を行うことにより、全てのフレーム分割ブロック及び全てのフィールド分割ブロックに関する、全てのモードの探索ブロックを用いた探索が併せて実行される、請求項２に記載の動き探索方法。
【請求項４】
前記ステップ（Ａ）における探索の結果に基づいて、前記ステップ（Ｂ）における探索の探索範囲の大きさが変更される、請求項１〜３のいずれか一つに記載の動き探索方法。
【請求項５】
前記ステップ（Ｂ）における探索のために参照可能な参照画像には、奇数フィールドに関する参照画像と偶数フィールドに関する参照画像とが含まれ、
前記ステップ（Ａ）における探索の結果に基づいて、前記奇数フィールドに関する参照画像及び前記偶数フィールドに関する参照画像のうちの一方が、前記ステップ（Ｂ）における探索のために参照される参照画像として選択される、請求項１〜４のいずれか一つに記載の動き探索方法。
【請求項６】
前記ステップ（Ｂ）における探索においては、参照画面外の領域を含めて参照画像を設定することが可能であり、
前記参照画像がフレームに関する画像である場合、前記参照画面外の領域には、前記参照画像内の奇数行及び偶数行の各画素値が行交互に補完される、請求項１〜５のいずれか一つに記載の動き探索方法。
【請求項７】
前記ステップ（Ｂ）における探索においては、参照画面外の領域を含めて参照画像を設定することが可能であり、
前記参照画像が偶数フィールドに関する画像である場合、前記参照画面外の領域には、前記参照画像が奇数フィールドに関する画像である場合の端部行の各画素値が補完される、請求項１〜５のいずれか一つに記載の動き探索方法。
【請求項８】
（Ｃ）前記複数の動きベクトルが近似しない場合に実行され、複数のモードの各々毎に探索の初期点を求めた後に、当該初期点の周辺領域を対象として探索を行うステップ
をさらに備える、請求項１〜７のいずれか一つに記載の動き探索方法。
【請求項９】
前記ステップ（Ｃ）における探索の初期点の候補には、前記所定ブロックに隣接する複数のブロックに関して求められた複数の動きベクトルによって規定される複数の点が含まれる、請求項８に記載の動き探索方法。
【請求項１０】
前記ステップ（Ｃ）における探索の初期点の候補には、前記ステップ（Ａ）で求められた複数の動きベクトルによって規定される複数の点が含まれる、請求項８又は９に記載の動き探索方法。
【請求項１１】
前記ステップ（Ｃ）における探索のために参照可能な参照画像には、奇数フィールドに関する参照画像と偶数フィールドに関する参照画像とが含まれ、
前記ステップ（Ａ）における探索の結果に基づいて、前記奇数フィールドに関する参照画像及び前記偶数フィールドに関する参照画像のうちの一方が、前記ステップ（Ｃ）における探索のために参照される参照画像として選択される、請求項８〜１０のいずれか一つに記載の動き探索方法。
【請求項１２】
前記ステップ（Ｃ）においては、あるモードの探索ブロックを用いて探索を行うことにより、当該探索ブロックに包含される他のモードの探索ブロックを用いた探索が併せて実行される、請求項８〜１１のいずれか一つに記載の動き探索方法。
【請求項１３】
前記所定ブロックは、行方向に１６画素、列方向に少なくとも１６画素を有するブロックであり、
前記特定モードの探索ブロックは、行方向に１６画素、列方向に８画素を有する探索ブロックである、請求項１〜１２のいずれか一つに記載の動き探索方法。
【請求項１４】
前記ステップ（Ａ）においては、前記特定モードの探索ブロックの行方向の画素数が１／２に間引かれて探索が行われる、請求項１３に記載の動き探索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−２７１４９３（Ｐ２００８−２７１４９３Ａ）
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願番号】特願２００７−２９８１３４（Ｐ２００７−２９８１３４）
【出願日】平成１９年１１月１６日（２００７．１１．１６）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【出願人】（５０４１５０４５０）国立大学法人神戸大学 (421)
【Ｆターム（参考）】
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願日】平成１９年１１月１６日（２００７．１１．１６）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【出願人】（５０４１５０４５０）国立大学法人神戸大学 (421)
【Ｆターム（参考）】
[ Back to top ]