動きベクトル検出方法、及び動きベクトル検出プログラム
【課題】動画圧縮処理等に用いるため、ブロックマッチング法を用いて時間的に近接するフレーム間で動きベクトルを検出するに際して、探索のための計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる動きベクトル検出方法、及び動きベクトル検出プログラムを提供する。
【解決手段】光学特性としての画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。
【解決手段】光学特性としての画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画圧縮処理等に用いるため、ブロックマッチング法を用いて時間的に近接するフレーム間で動きベクトルを検出する動きベクトル検出方法、及び動きベクトル検出プログラムに関する。
【背景技術】
【０００２】
動画圧縮処理において、時間的に近接するフレーム間で動きベクトルを検出し、検出した動きベクトルを用いて動き補償予測符号化を行う技術が知られている。
【０００３】
動きベクトル検出には、いろいろな方法が提案されているが、圧縮処理の対象画像とその対象画像に時間的に近接する参照画像との間で適当な大きさのブロックでの比較を行う方法（ブロックマッチング法）が広く知られている。
【０００４】
これは、対象画像をブロックに分割し、対象画像内の注目ブロックと参照画像内の設定された探索範囲内の複数の参照ブロックとの間で比較処理を行って、対象ブロックに最も類似している参照ブロックを探索して求め、それらの位置関係を動きベクトルとして検出するものである。
【０００５】
対象ブロックに最も類似している参照ブロックとしては、例えば一般に、対象ブロックとのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｒｅｎｃｅ：差分絶対値和）が最小となるような参照ブロックが選ばれる。
【０００６】
一般に、このようなブロックマッチングの処理は多大な計算量を要する処理となるうえ、検出する動きベクトルは画素精度よりさらに高精度が求められる。
【０００７】
ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、あるいはＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４といった動画圧縮処理の国際標準方式においては、動きベクトルは１／２画素もしくは１／４画素単位の精度が要求される。
【０００８】
特にＭＰＥＧ−４の一部のプロファイルやＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４においては、精度の高い１／２画素精度の画素補間を行うために６タップのＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを用いることになっている。
【０００９】
従って一般に、ブロックマッチング処理は整数画素精度での探索と小数画素精度（１／２画素もしくは１／４画素単位）での探索との二段階で行われる。
【００１０】
このように動きベクトルの検出は、非常に計算量の多い処理として知られており、そのため、動きベクトル検出における計算量の削減が重要な技術課題として研究されてきた。
【００１１】
例えば、特許文献１には、整数画素精度サーチでの探索結果のＳＡＤ（差分絶対値和）と周囲のブロックのＳＡＤの平均とを比較し、小数画素精度サーチを行うかどうかを判断し、不要な小数画素精度の探索実行を削減する技術が開示されている。
【００１２】
また、特許文献２では、特徴検出部によって得られたブロック内の特徴画素だけを使ったブロックマッチング処理により、計算量を削減する技術が提案されている。
【００１３】
一方、光学特性を利用する例として、特許文献３には、人間の視覚特性を利用して画像中心部と周辺部の圧縮率を変える技術が記載されている。
【００１４】
また特許文献４には、撮像装置の光学特性に応じて、動きベクトル検出精度を変える技術が記載されている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２０００−２７８６９６号公報
【特許文献２】特開２００７−１３４７５５号公報
【特許文献３】特開平６−３３４９８５号公報
【特許文献４】特開２００８−１９３４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
上に述べてきたように、動きベクトル検出処理は計算量が非常に多く、その処理を削減する方法が提案されてきた。
【００１７】
しかしながら、例えば特許文献１から４に記載の従来の方法では光学系の特性を考慮せず、十分な精度の得られないＭＴＦ（Ｍｏｄｕｌｅｒ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）値の低い（解像度の低い）領域でもＭＴＦ値の高い（解像度の高い）領域と同様の検出精度で動きベクトルの探索を行っている。
【００１８】
特許文献１で開示される方法では、小数画素精度サーチ部分の計算量は少なくなるが、毎フレームで判断を行わなければならない。
【００１９】
特許文献２で開示される方法では、ブロックマッチングの計算量は少なくなるが、毎フレームで特徴点の検出を行わねばならない。
【００２０】
特許文献３で開示される方法では、フレーム符号化後の情報サイズは削減されるが、計算量はほとんど変わらない。
【００２１】
特許文献４で開示される方法では、中心部と周辺部で検出精度を変える方法により、周辺部で解像度が低下する光学系において演算量の削減を行うことができるが、解像度が方向によって異なる場合、解像度が高い方向の精度も低下する課題があった。
【００２２】
本発明は、上記の技術的課題に鑑みてなされたものである。
【００２３】
本発明の目的は、動画圧縮処理等に用いるため、ブロックマッチング法を用いて時間的に近接するフレーム間で動きベクトルを検出するに際して、入力画像に依存しない光学特性を利用することで探索のための計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる動きベクトル検出方法、及び動きベクトル検出プログラムを提供することである。
【課題を解決するための手段】
【００２４】
上記の課題を解決するために、本発明は以下の特徴を有するものである。
【００２５】
１．入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を備え、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルを検出する動きベクトル検出方法であって、
入力画像における解像度情報の１つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を備える
ことを特徴とする動きベクトル検出方法。
【００２６】
２．前記領域分割工程において、
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする前記１に記載の動きベクトル検出方法。
【００２７】
３．前記撮像装置の光学特性は、ＭＴＦ、ＯＴＦ、ＰＳＦの何れかである
ことを特徴とする前記２に記載の動きベクトル検出方法。
【００２８】
４．前記領域分割工程において、
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする前記１に記載の動きベクトル検出方法。
【００２９】
５．前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする前記１から４の何れか１項に記載の動きベクトル検出方法。
【００３０】
６．前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする前記１から４の何れか１項に記載の動きベクトル検出方法。
【００３１】
７．前記探索法設定工程において、
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする前記１から６の何れか１項に記載の動きベクトル検出方法。
【００３２】
８．コンピュータに、
入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を実行させ、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルの検出を実行させる動きベクトル検出プログラムであって、
該コンピュータに、
入力画像における解像度情報の１つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を実行させる
ことを特徴とする動きベクトル検出プログラム。
【００３３】
９．前記領域分割工程において、
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする前記８に記載の動きベクトル検出プログラム。
【００３４】
１０．前記撮像装置の光学特性は、ＭＴＦ、ＯＴＦ、ＰＳＦの何れかである
ことを特徴とする前記９に記載の動きベクトル検出プログラム。
【００３５】
１１．前記領域分割工程において、
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする前記８に記載の動きベクトル検出プログラム。
【００３６】
１２．前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする前記８から１１の何れか１項に記載の動きベクトル検出プログラム。
【００３７】
１３．前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする前記８から１１の何れか１項に記載の動きベクトル検出プログラム。
【００３８】
１４．前記探索法設定工程において、
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする前記８から１３の何れか１項に記載の動きベクトル検出プログラム。
【発明の効果】
【００３９】
本発明に係る動きベクトル検出方法、及び動きベクトル検出プログラムによれば、ブロックマッチング法を用いて動きベクトルを検出するに際して、光学特性としての画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。
【００４０】
このように、入力画像に依存しない光学特性を利用することで、動きベクトル検出精度を十分に得ることができない画像領域において計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる。
【図面の簡単な説明】
【００４１】
【図１】本実施形態に係る動きベクトルの検出方法の処理手順例を示すフローチャートである。
【図２】フルサーチブロックマッチング方法の処理例を説明するための図である。
【図３】フルサーチブロックマッチング方法の処理手順例を示すフローチャートである。
【図４】ダイヤモンドサーチを説明するための概念図である。
【図５】ダイヤモンドサーチの処理手順例を示すフローチャートである。
【図６】６−ＴａｐＦＩＲフィルタを使用する１／２画素精度の補間の説明図である。
【図７】１／４画素精度の補間で用いる単純な線形補間の説明図である。
【図８】ＭＴＦと像高の関係の代表的な例を示すグラフである。
【図９】ＭＴＦの方向成分間の関係を示すための図である。
【図１０】注目ブロックに対する垂直方向及び水平方向のＭＴＦを想定するための図である。
【図１１】垂直方向及び水平方向のＭＴＦの算出を説明するための図である。
【図１２】（ａ）水平・垂直方向のＭＴＦに応じた領域分割の分割例と（ｂ）その分割の基準例を示す図である。
【図１３】ダイヤモンドサーチの設定変更例（Ｔ２＞ＭＴＦｈの場合）を示すフローチャートである。
【発明を実施するための形態】
【００４２】
本発明に係る動きベクトル検出方法の一実施形態を、以下に図を用いて説明する。
【００４３】
（動きベクトルの検出処理例）
図１は、本実施形態に係る動きベクトルの検出方法の処理手順例を示すフローチャートである。図１を用いて、本実施形態に係る動きベクトルの検出方法の処理手順例を説明する。
【００４４】
なお、以下に述べる動きベクトルの検出方法の処理手順は、それらを実行するようにプログラムされた動きベクトル検出プログラムをコンピュータ等の情報処理装置に適用することにより実行される。
【００４５】
図１において、ステップＳ１は、領域分割工程であり、入力画像に依存しない撮像時の光学特性、すなわち解像度情報の１つ以上の方向成分に応じて、入力画像を複数種類の領域に分割する。
【００４６】
ステップＳ２は、探索法設定工程であり、ステップＳ１で分割されたそれぞれの領域の種類に応じて、用いる探索法を設定する。
【００４７】
例えば探索法とは、ステップＳ５の探索工程で用いるブロックマッチング法であり、圧縮処理の対象画像とその対象画像に時間的に近接する参照画像との間で適当な大きさのブロックでの比較を行うものである。
【００４８】
その探索法を解像度情報に応じて設定することで、低解像度領域では探索のための計算量を削減することを意図している。
【００４９】
ステップＳ１の領域分割工程とステップＳ２の探索法設定工程を、次に実行する探索工程に先んじて実行しておき、探索工程では計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができるようにしている。
【００５０】
ステップＳ１の領域分割工程とステップＳ２の探索法設定工程については、具体例を後述して、説明する。
【００５１】
ステップＳ３は探索工程でのブロックマッチング処理実行に備えて、対象画像に処理対象としての注目ブロックを設定する。
【００５２】
ステップＳ４は、設定した注目ブロックに対して、参照画像にサーチエリアを設定する。
【００５３】
これらの意味合いについては、後述する探索工程の説明で述べる。
【００５４】
ステップＳ５は探索工程であり、設定した注目ブロックに対応する参照ブロックをサーチエリア内から探索する。探索には後述するブロックマッチング法が一般的に使用される。
【００５５】
ブロックマッチング法は、整数画素精度での探索と小数画素精度での探索の二段階で行われる。ここで上記分割されたそれぞれの領域に設定された探索法により、それぞれの探索法が実行される。
【００５６】
ステップＳ５の探索工程については、後で詳細を述べる。
【００５７】
ステップＳ６は、ステップＳ５の探索の結果により、設定した注目ブロックに対応する参照ブロックを決定する。
【００５８】
ステップＳ７は、設定した注目ブロックと対応する参照ブロックの位置関係として、動きベクトルを検出する。
【００５９】
ステップＳ８は、処理対象の画像に対して、すべての注目ブロックを設定し、動きベクトルの検出を終えたかどうかを判定する。
【００６０】
ステップＳ８で判定がＹｅｓの場合は、動きベクトルの検出処理は終了する。
【００６１】
ステップＳ８で判定がＮｏの場合は、ステップＳ３へ戻り、次の注目ブロックを設定し、ステップＳ８までを繰り返す。
【００６２】
ステップＳ３からステップＳ８の反復は、ステップＳ８で判定がＹｅｓとなり、動きベクトルの検出処理が終了するまで継続する。
【００６３】
本実施形態に係る動きベクトル検出方法とそれを実行するための動きベクトル検出プログラムでは、このようにして探索工程の前に、領域分割工程と探索法設定工程を実行することにより、探索のための計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出するよう図っている。
【００６４】
以下にまず、従来技術としての探索工程について詳細を述べ、その後で光学特性としてのＭＴＦとその方向成分の算出について述べ、その解像度と方向成分に基づいた領域分割工程と探索法設定工程の処理例を説明する。
【００６５】
（探索工程）
上述したステップＳ５の探索工程について詳細を説明する。
【００６６】
探索工程では、ブロックマッチング法による探索が行われる。
【００６７】
ブロックマッチング法とは、既述したように圧縮処理の対象画像とその対象画像に時間的に近接する参照画像との間で適当な大きさのブロックでの比較を行う方法であり、以下のように動きベクトルを検出する。
【００６８】
すなわち、対象画像をブロックに分割し、対象画像内の注目ブロックと参照画像内の設定された探索範囲内の複数の参照ブロックとの間で比較処理を行って、注目ブロックに最も類似している参照ブロックを探索して求める。
【００６９】
対象ブロックに最も類似している参照ブロックとしては、対象ブロックとのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｒｅｎｃｅ：差分絶対値和）が最小となるような参照ブロックが選ばれる。
【００７０】
ブロックマッチングは、動きベクトルの検出精度（例えば１／２画素もしくは１／４画素単位）に応じて、整数画素精度サーチ部と小数画素精度サーチ部の二段階に分けて行われる。
【００７１】
整数画素精度サーチ部では、あらかじめ決められた参照ブロックの探索範囲を整数画素単位で探索し、ＳＡＤ最小等の基準で対応ブロックを決定する。
【００７２】
小数画素精度サーチ部では、整数画素精度サーチ部で得られた対応点の周囲で１／２画素、１／４画素などの精度で画素補間を行い、補間画像を用いて小数画素精度で探索し、同様に最適な参照ブロックを決定する。
【００７３】
（整数画素精度での探索）
＜フルサーチブロックマッチング＞
整数画素精度サーチ部で行われるブロックマッチングの基本は、フルサーチブロックマッチングである。フルサーチブロックマッチングについて説明する。
【００７４】
図２は、フルサーチブロックマッチングでのフレーム間の注目ブロックと参照ブロックの関係を示す図である。図２を用いて、フルサーチブロックマッチング方法の処理例を説明する。
【００７５】
図２において、（ａ）は参照画像２を示し、（ｂ）は対象画像１を示す。３は対象画像中に設定された注目ブロック４に対応して参照画像２中に設定されたサーチエリアＳａである。
【００７６】
４は対象画像の注目ブロックＢｌｋｃｕｒ、５は参照画像の参照ブロックＢｌｋｒｅｆ、Ｖ１は参照画像のブロックＢｌｋｒｅｆと対象画像のブロックＢｌｋｃｕｒの間の動きベクトル情報である。
【００７７】
２つのブロック４及び５の類似度合いは、例えば、それぞれのブロックにおける各画素値のＳＡＤ（差分絶対値和）から判断される。
【００７８】
注目ブロックＢｌｋｃｕｒに対する動きベクトルＶ１は、次のようにして求められる。
【００７９】
対象画像の注目ブロックＢｌｋｃｕｒに対応して設けた参照画像のサーチエリアＳａ内において、読み出し位置（参照ブロック）を１画素分ずつずらしてデータを読み出していく。
【００８０】
読み出した参照画像上のブロックＢｌｋｒｅｆのデータと注目ブロックＢｌｋｃｕｒのデータのＳＡＤを算出していく。
【００８１】
サーチエリアＳａ中において各参照ブロックを演算した結果得られたＳＡＤ値の内、最も小さい値を得た対応ブロックを決定する。
【００８２】
決定した対応ブロックから得た動きベクトル情報を、注目ブロックＢｌｋｃｕｒに対する参照画像及び対象画像の間の動きベクトルとする。
【００８３】
なおここで、ブロック間の類似度合いを求めるためにＳＡＤを使用しているが、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅ：差分自乗和）など、他の計算方法を用いてもよい。
【００８４】
図３には、上記処理手順を実行するための詳細なフローチャート例を示す。
【００８５】
この方法では、サーチエリア３内を隈なく探索するので演算量が膨大になる。そのため、高速にマッチング点が得られるよう、後述のダイヤモンドサーチなどの手法が考案されている。
【００８６】
＜ダイヤモンドサーチ＞
フルサーチブロックマッチングを高速化する方法としてダイヤモンドサーチがある。
【００８７】
図４にダイヤモンドサーチを説明するための概念図を示す。
【００８８】
（ａ）は、探索開始時の参照画像２上の開始位置（注目画素）と隣接画素を示し、（ｂ）は、その結果に基づく次の探索の注目画素と隣接画素を示す。
【００８９】
以下、ダイヤモンドサーチの処理手順を述べる。
【００９０】
まず、図４（ａ）に示すように、参照画像２上の開始位置（注目画素Ｏ）及び上下左右の４方向に隣接する画素ＡＢＣＤにおいてＳＡＤを計算する。
【００９１】
注目画素のＳＡＤが最小であれば、注目画素が動きベクトルの終点となる。注目画素以外が最小の値をとる場合は、最小の値をとる隣接画素を次の注目画素とする。
【００９２】
例えば、隣接画素Ｃが最小の値をとる場合の次の探索を図４（ｂ）に示す。
【００９３】
図４（ｂ）に示すように、次の探索も同様に注目画素Ｏと４方向の隣接画素ＡＢＣＤのＳＡＤを比較し、次の注目画素を決定する。
【００９４】
以下同様に、注目画素が最小のＳＡＤとなるまで探索を続ける。
【００９５】
図５には、上記処理手順を実行するための詳細なフローチャート例を示す。
【００９６】
この手法は、開始点の選択や探索の打ち切り条件などが重要である。
【００９７】
次の文献では、ダイヤモンドサーチを改良した手法が開示されている。
【００９８】
S.Zhu and K.Ma,“A New Diamond Search Algorithm for Fast Block Matching Motion Estimation”,International Conference on Information, Communications and Signal Processing ICICS '97 Singapore, 9-12 September 1997。
【００９９】
（小数画素精度での探索）
＜小数画素精度の補間方法＞
標準方式Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣで使用されている小数画素精度補間について述べる。詳細は次の文献に述べられている。
【０１００】
ITU-T Recommendation “H264:Advanced video coding for generic audiovisual services”。
【０１０１】
図６（ａ）に示すように、一方向に隣接する６画素を用いて、１／２画素精度の補間を行う。
【０１０２】
計算方法は、図６（ｂ）に示すように６−ＴａｐＦＩＲフィルタを使用する。求めたい画素位置を挟む、水平方向または垂直方向の左右（または上下）の３画素ずつ計６点の画素値を使って求める。
【０１０３】
求める１／２画素での画素値は、式（１）として求められる。
【０１０４】
Ｐ１／２＝（１／３２）（Ｐ１−５Ｐ２＋２０Ｐ３＋２０Ｐ４−５Ｐ５＋Ｐ６）（１）
また、１／４画素精度の補間では、前記１／２画素精度補間で得られた画素値を使用しさらに１／２ピッチで補間する。図７（ａ）に示すように、一方向に隣接する２画素を用いて、さらに１／２画素精度の補間を行う。
【０１０５】
補間は、図７（ｂ）に示すように、上述した６−ＴａｐＦＩＲフィルタを使用する１／２画素精度の補間とは異なり、単純な線形補間で行う（式（２））。
【０１０６】
Ｐ１／２＝（１／２）（Ｐ１＋Ｐ２） （２）
整数画素精度での探索で得られた参照画像のマッチング点の周囲で、ブロックサイズ＋２画素分の領域について補間画像を求め、その領域内でブロックマッチングを行い、ＳＡＤが最小となる点をマッチングポイントとして動きベクトルを求める。
【０１０７】
（画像解像度に影響する特性）
上述してきたように、探索工程における注目ブロックと類似した参照ブロックの探索は、多大な計算量を有する。
【０１０８】
その理由の１つは、画像の解像度に応じた精度で探索する必要から、入力画像の高解像度部分に合わせた精度で探索を行うことにある。
【０１０９】
すなわち、十分な精度の得られないＭＴＦ（Ｍｏｄｕｌｅｒ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）値の低い（解像度の低い）領域でもＭＴＦ値の高い（解像度の高い）領域と同様の検出精度で動きベクトルの探索を行っている。
【０１１０】
しかしながら、撮像した画像は、撮像装置の光学特性によって解像度が画像の領域によって異なる。また同じ部分でも方向により解像度成分が異なる。
【０１１１】
本実施形態では、入力画像に依存しない光学特性を利用して、画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。
【０１１２】
これにより、動きベクトル探索の精度を十分に得ることができない低解像度の画像領域において計算量を削減し、視覚的画像劣化が少ない画像符号化を実現できる探索処理を図っている。
【０１１３】
探索は画像の水平方向、垂直方向で行うため、水平方向、垂直方向の光学特性（例えばＭＴＦｈ、ＭＴＦｖ）を求め、それに応じて領域分割し、それぞれの領域の光学特性（方向成分）に応じた探索法を設定する。
【０１１４】
以下に、まず光学特性による解像度（方向成分）の低下について述べる。ＭＴＦを例に採っているが、光学特性（解像度情報）としては、ＯＴＦ、ＰＳＦなど、他の特性を用いてもよい。
【０１１５】
＜ＭＴＦ＞
カメラなどの撮像装置における光学系の性能を表す指標の１つにＭＴＦ（Ｍｏｄｕｌｅｒ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）がある。
【０１１６】
ＭＴＦは、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したものである。空間周波数は、１［ｍｍ］当たりに含まれるパターン（正弦波など）数を示す。
【０１１７】
ＭＴＦは一般的に、周波数を固定（６０本／ｍｍ、１００本／ｍｍなど）して、横軸に画像中心からの距離（像高）をとったグラフにおいて、画像中心から放射状の方向（Ｓａｇｉｔｔａｌ）と同心円方向（Ｔａｎｇｅｎｔｉａｌ）の２方向についてプロットしたものとして表現される。
【０１１８】
図８は、ＭＴＦと像高の関係の代表的な例を示すグラフである。
【０１１９】
一般に、ＭＴＦは像高が高くなるに従って低下する傾向があり、また、放射状の方向（Ｓａｇｉｔｔａｌ）と同心円方向（Ｔａｎｇｅｎｔｉａｌ）で異なる値をとることがある。その差異は、広角な光学系においては、顕著に現れる。
【０１２０】
また、ＭＴＦを計測する方法として、特許文献（特開２００１−３２４４１３号公報）のような方法が開示されている。
【０１２１】
＜画像処理＞
一方、撮像された画像を動きベクトル検出処理の前に画像処理する場合がある。そのような場合には、画像処理の結果としての解像度情報を用いてもよい。
【０１２２】
例えば、特許文献（特開２００９−２８４４２１号公報）では、広角な車載カメラで撮影した画像を歪み補正及び視点変換した画像を表示している。
【０１２３】
このような画像では、元の撮像系で撮影された画像に対して画像処理による拡大・縮小処理が行われており、特に拡大処理が行われている部分では解像度が低下している。
【０１２４】
生成される画像解像度は、同じ画像処理を適用している間は、画面のそれぞれの領域で一定である。
【０１２５】
（ＭＴＦの方向成分の算出）
ここでは、画像の解像度特性として撮像系のＭＴＦを用いる場合を説明する。ＭＴＦの方向成分に応じて領域分割するために、まず水平・垂直方向のＭＴＦ成分を算出する。
【０１２６】
＜光学系の設計データからの算出＞
画像上の各座標における垂直及び水平方向のＭＴＦは、光学系の設計データを用いてシミュレーションによって求めることができる。
【０１２７】
画像上の任意の点におけるスポットダイヤグラム（点光源から瞳面上のＮ個の格子点を通る光線が画像上に作る点群。光線追跡によって求められる）のＮ個の点の座標をｘｋ、ｙｋとする。Ｓａｇｉｔｔａｌ方向と画像の水平面のなす角をαとし、その方向の周波数をｌ本／ｍｍとすると、Ｓａｇｉｔｔａｌ方向の周波数ｓとＴａｎｇｅｎｔｉａｌ方向の周波数ｔは、図９からそれぞれ式（３）及び式（４）のようになる。
【０１２８】
ｓ＝ｌｃｏｓα （３）
ｔ＝ｌｓｉｎα （４）
ＭＴＦの水平及び垂直方向の値、ＭＴＦｈ（ｉ，ｊ）及びＭＴＦｖ（ｉ，ｊ）は、それぞれ式（５）及び式（６）のように表すことができ、スポットダイヤグラムから計算できる。
【０１２９】
【数１】
【０１３０】
＜像高に対するＭＴＦ値からの算出＞
光学系の設計データが入手できずに、図８のようなＳａｇｉｔｔａｌ方向及びＴａｎｇｅｎｔｉａｌ方向のＭＴＦ値のみが得られるときの、ＭＴＦの水平及び垂直方向成分の値の求め方について述べる。
【０１３１】
図１０のように画像中心（光軸と画像面の交点）を通る水平な直線と画像中心と注目ブロックの点Ｐ（ｉ，ｊ）を結んだ直線とのなす角がθのとき、Ｐ（ｉ，ｊ）における垂直方向及び水平方向のＭＴＦを考える。
【０１３２】
像高ｌにおける、Ｓａｇｉｔｔａｌ方向及びＴａｎｇｅｎｔｉａｌ方向のＭＴＦをＳ（ｌ）、Ｔ（ｌ）とする。
【０１３３】
図１１に示すようにＰ（ｉ，ｊ）におけるＭＴＦの水平及び垂直方向の値、ＭＴＦｈ（ｉ，ｊ）及びＭＴＦｖ（ｉ，ｊ）は、式（７）及び式（８）として求められる。
【０１３４】
ＭＴＦｈ（ｉ，ｊ）＝｜Ｓ（ｌ）ｃｏｓθ｜＋｜Ｔ（ｌ）ｓｉｎθ｜ （７）
ＭＴＦｖ（ｉ，ｊ）＝｜Ｓ（ｌ）ｓｉｎθ｜＋｜Ｔ（ｌ）ｃｏｓθ｜ （８）
このように画像上のすべての点について、水平・垂直方向のＭＴＦを計算によって求めることができる。
【０１３５】
（領域分割工程）
既述したように、図１の領域分割工程（ステップＳ１）で水平・垂直方向の解像度に応じて画像の領域を分割する。
【０１３６】
図１２には、（ａ）水平・垂直方向のＭＴＦに応じた領域分割の分割例と（ｂ）その分割の基準例を示す。
【０１３７】
図１２（ｂ）の分割基準では、画像内の各座標における水平・垂直方向のＭＴＦ値と閾値Ｔ１及び閾値Ｔ２との大小関係により、３×３＝９種類の領域（１１〜１３，２１〜２３，３１〜３３）に分けている。
【０１３８】
閾値Ｔ１、Ｔ２は、撮像素子の画素ピッチ、画像の符号化後の要求解像度など、及びＭＴＦデータの周波数により決定する。
【０１３９】
分割された領域の例を、図１２（ａ）に示している。光学特性に応じて画像の中央部ほど高解像度であり、周辺部へ行くほど解像度低下しているが、解像度の方向成分が微妙に異なっている。
【０１４０】
これらの分割された各領域毎に、それらの解像度成分に応じた探索法を設定するのが、図１の探索法設定工程（ステップＳ２）である。
【０１４１】
（探索法設定工程）
図１２に示した、分割基準と、それに基づく領域分割例に従って、領域に対する探索法を変えて設定した例を説明する。
【０１４２】
分割された領域は９種類であり、以降、領域１１とか領域３３とか、呼称する。
【０１４３】
９種類の領域に対して、ブロックマッチング法で探索するが、既述したように、整数画素精度サーチ部による探索、小数画素精度サーチ部による探索のそれぞれにおいて、解像度の成分に応じた計算量の削減のための探索法の設定を行う。
【０１４４】
設定例を以下にリストアップする。
【０１４５】
＜探索法設定例＞
（１）領域１１（ＭＴＦｈ＞Ｔ１かつＭＴＦｖ＞Ｔ１）の探索法設定
通常のフルスペック探索を行う。例えば、フルサーチブロックマッチングやダイヤモンドサーチを行った後に小数画素精度（１／２画素または１／４画素など）の補間による探索を行う。
【０１４６】
（２）領域１２、１３、２２、２３、３２、３３（Ｔ１＞ＭＴＦｈ）の探索法設定
整数画素精度での探索処理後、小数画素精度での探索において水平方向の補間・探索を行わない。
【０１４７】
（３）領域２１、２２、２３、３１、３２、３３（Ｔ１＞ＭＴＦｖ）の探索法設定
整数画素精度での探索処理後、小数画素精度での探索において垂直方向の補間・探索を行わない。
【０１４８】
（４）領域１３、２３、３３（Ｔ２＞ＭＴＦｈ）の探索法設定
１．整数画素精度での探索方法において、水平方向探索のステップを大きくする。例えば、図３に示すフローにおいて、ｉを加算するステップ数を２（通常は１）に変更する。
２．整数画素精度での探索方法において、水平方向探索の優先度を低くする。例えば、図１３のフローチャートに示すように、ダイヤモンドサーチにおいて垂直方向のＳＡＤを先に計算し、垂直方向の隣接画素におけるＳＡＤが注目画素のＳＡＤより小さい場合は、水平方向の隣接画素のＳＡＤを計算せずにその画素を選択する。それ以外の場合は水平方向の隣接画素のＳＡＤも計算し、最も小さいＳＡＤの方向を選択して次の探索を行う。
【０１４９】
（５）領域３１、３２、３３（Ｔ２＞ＭＴＦｖ）の探索法設定
１．整数画素精度での探索方法において、垂直方向探索のステップを大きくする。例えば、図３に示すフローにおいて、ｊを加算するステップ数を２（通常は１）に変更する。
２．整数画素精度での探索方法において、垂直方向探索の優先度を低くする。例えば、ダイヤモンドサーチにおいて水平方向のＳＡＤを先に計算し、水平方向の隣接画素におけるＳＡＤが注目画素のＳＡＤより小さい場合は、垂直方向の隣接画素のＳＡＤを計算せずにその画素を選択する。それ以外の場合は垂直方向の隣接画素のＳＡＤも計算し、最も小さいＳＡＤの方向を選択して次の探索を行う。
【０１５０】
上記（１）から（５）の探索法設定を適切に組み合わせて用いることにより、入力画像に依存しない光学特性を利用して、すなわち分割したそれぞれの領域でその画像解像度方向成分に応じた探索法を設定することで、動きベクトル検出精度を十分に得ることができない画像領域において探索のための計算量を削減しながら、結果として視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる。
【０１５１】
＜解像度やその方向性が異なる領域間の探索について＞
注目ブロック４に対応する参照ブロック５のブロックマッチングによる探索は、注目ブロック４を設定している対象画像１を圧縮符号化するための動きベクトルＶ１を検出するためであり、注目ブロック４の該当する入力画像領域の光学特性を適用して探索法を設定すればよい。
【０１５２】
しかしながら、整数画素精度での探索において、解像度の方向性が異なる領域、例えば図１２（ａ）において、対象画像１の処理（注目）ブロック４が右上の領域３２にあり、参照画像２のブロック５が右下の領域３２にある場合など、では解像度方向性の違いから、ブロックマッチングおけるＳＡＤの値が大きくなり、正しい動きベクトルが求められない場合がある。
【０１５３】
このように、解像度やその方向性が大きく異なるような領域に対しては、対象画像１の注目ブロック４の所属する領域のＭＴＦ周波数特性からＦＩＲフィルタを構成し、参照画像２の対象領域に適用することによって、動きベクトルの誤検出を減少させることができる。
【０１５４】
＜その他＞
なお、上述の実施形態は、光学特性として撮像系のＭＴＦを用いて説明した。
【０１５５】
動きベクトル検出の前に画像処理が行われるような場合には、その画像処理に起因する拡大等による画像内の領域ごとの水平・垂直方向の解像度を使用してもよい。
【０１５６】
また、解像度の算出方向を水平・垂直方向で説明したが、水平・垂直方向に限定する必要はなく、探索にかかわる方向の解像度を利用すればよい。
【０１５７】
上述のように、本実施形態に係る動きベクトル検出方法、及び動きベクトル検出プログラムによれば、ブロックマッチング法を用いて動きベクトルを検出するに際して、光学特性としての画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。
【０１５８】
このように、入力画像に依存しない光学特性を利用することで、動きベクトル検出精度を十分に得ることができない画像領域において計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる。
【０１５９】
なお、上述の実施形態は、すべての点で例示であって制限的なものではない。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１６０】
１ 対象画像
２ 参照画像
３ サーチエリア
４ 注目ブロック
５ 参照ブロック
【技術分野】
【０００１】
本発明は、動画圧縮処理等に用いるため、ブロックマッチング法を用いて時間的に近接するフレーム間で動きベクトルを検出する動きベクトル検出方法、及び動きベクトル検出プログラムに関する。
【背景技術】
【０００２】
動画圧縮処理において、時間的に近接するフレーム間で動きベクトルを検出し、検出した動きベクトルを用いて動き補償予測符号化を行う技術が知られている。
【０００３】
動きベクトル検出には、いろいろな方法が提案されているが、圧縮処理の対象画像とその対象画像に時間的に近接する参照画像との間で適当な大きさのブロックでの比較を行う方法（ブロックマッチング法）が広く知られている。
【０００４】
これは、対象画像をブロックに分割し、対象画像内の注目ブロックと参照画像内の設定された探索範囲内の複数の参照ブロックとの間で比較処理を行って、対象ブロックに最も類似している参照ブロックを探索して求め、それらの位置関係を動きベクトルとして検出するものである。
【０００５】
対象ブロックに最も類似している参照ブロックとしては、例えば一般に、対象ブロックとのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｒｅｎｃｅ：差分絶対値和）が最小となるような参照ブロックが選ばれる。
【０００６】
一般に、このようなブロックマッチングの処理は多大な計算量を要する処理となるうえ、検出する動きベクトルは画素精度よりさらに高精度が求められる。
【０００７】
ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、あるいはＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４といった動画圧縮処理の国際標準方式においては、動きベクトルは１／２画素もしくは１／４画素単位の精度が要求される。
【０００８】
特にＭＰＥＧ−４の一部のプロファイルやＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４においては、精度の高い１／２画素精度の画素補間を行うために６タップのＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを用いることになっている。
【０００９】
従って一般に、ブロックマッチング処理は整数画素精度での探索と小数画素精度（１／２画素もしくは１／４画素単位）での探索との二段階で行われる。
【００１０】
このように動きベクトルの検出は、非常に計算量の多い処理として知られており、そのため、動きベクトル検出における計算量の削減が重要な技術課題として研究されてきた。
【００１１】
例えば、特許文献１には、整数画素精度サーチでの探索結果のＳＡＤ（差分絶対値和）と周囲のブロックのＳＡＤの平均とを比較し、小数画素精度サーチを行うかどうかを判断し、不要な小数画素精度の探索実行を削減する技術が開示されている。
【００１２】
また、特許文献２では、特徴検出部によって得られたブロック内の特徴画素だけを使ったブロックマッチング処理により、計算量を削減する技術が提案されている。
【００１３】
一方、光学特性を利用する例として、特許文献３には、人間の視覚特性を利用して画像中心部と周辺部の圧縮率を変える技術が記載されている。
【００１４】
また特許文献４には、撮像装置の光学特性に応じて、動きベクトル検出精度を変える技術が記載されている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２０００−２７８６９６号公報
【特許文献２】特開２００７−１３４７５５号公報
【特許文献３】特開平６−３３４９８５号公報
【特許文献４】特開２００８−１９３４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
上に述べてきたように、動きベクトル検出処理は計算量が非常に多く、その処理を削減する方法が提案されてきた。
【００１７】
しかしながら、例えば特許文献１から４に記載の従来の方法では光学系の特性を考慮せず、十分な精度の得られないＭＴＦ（Ｍｏｄｕｌｅｒ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）値の低い（解像度の低い）領域でもＭＴＦ値の高い（解像度の高い）領域と同様の検出精度で動きベクトルの探索を行っている。
【００１８】
特許文献１で開示される方法では、小数画素精度サーチ部分の計算量は少なくなるが、毎フレームで判断を行わなければならない。
【００１９】
特許文献２で開示される方法では、ブロックマッチングの計算量は少なくなるが、毎フレームで特徴点の検出を行わねばならない。
【００２０】
特許文献３で開示される方法では、フレーム符号化後の情報サイズは削減されるが、計算量はほとんど変わらない。
【００２１】
特許文献４で開示される方法では、中心部と周辺部で検出精度を変える方法により、周辺部で解像度が低下する光学系において演算量の削減を行うことができるが、解像度が方向によって異なる場合、解像度が高い方向の精度も低下する課題があった。
【００２２】
本発明は、上記の技術的課題に鑑みてなされたものである。
【００２３】
本発明の目的は、動画圧縮処理等に用いるため、ブロックマッチング法を用いて時間的に近接するフレーム間で動きベクトルを検出するに際して、入力画像に依存しない光学特性を利用することで探索のための計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる動きベクトル検出方法、及び動きベクトル検出プログラムを提供することである。
【課題を解決するための手段】
【００２４】
上記の課題を解決するために、本発明は以下の特徴を有するものである。
【００２５】
１．入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を備え、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルを検出する動きベクトル検出方法であって、
入力画像における解像度情報の１つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を備える
ことを特徴とする動きベクトル検出方法。
【００２６】
２．前記領域分割工程において、
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする前記１に記載の動きベクトル検出方法。
【００２７】
３．前記撮像装置の光学特性は、ＭＴＦ、ＯＴＦ、ＰＳＦの何れかである
ことを特徴とする前記２に記載の動きベクトル検出方法。
【００２８】
４．前記領域分割工程において、
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする前記１に記載の動きベクトル検出方法。
【００２９】
５．前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする前記１から４の何れか１項に記載の動きベクトル検出方法。
【００３０】
６．前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする前記１から４の何れか１項に記載の動きベクトル検出方法。
【００３１】
７．前記探索法設定工程において、
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする前記１から６の何れか１項に記載の動きベクトル検出方法。
【００３２】
８．コンピュータに、
入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を実行させ、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルの検出を実行させる動きベクトル検出プログラムであって、
該コンピュータに、
入力画像における解像度情報の１つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を実行させる
ことを特徴とする動きベクトル検出プログラム。
【００３３】
９．前記領域分割工程において、
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする前記８に記載の動きベクトル検出プログラム。
【００３４】
１０．前記撮像装置の光学特性は、ＭＴＦ、ＯＴＦ、ＰＳＦの何れかである
ことを特徴とする前記９に記載の動きベクトル検出プログラム。
【００３５】
１１．前記領域分割工程において、
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする前記８に記載の動きベクトル検出プログラム。
【００３６】
１２．前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする前記８から１１の何れか１項に記載の動きベクトル検出プログラム。
【００３７】
１３．前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする前記８から１１の何れか１項に記載の動きベクトル検出プログラム。
【００３８】
１４．前記探索法設定工程において、
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする前記８から１３の何れか１項に記載の動きベクトル検出プログラム。
【発明の効果】
【００３９】
本発明に係る動きベクトル検出方法、及び動きベクトル検出プログラムによれば、ブロックマッチング法を用いて動きベクトルを検出するに際して、光学特性としての画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。
【００４０】
このように、入力画像に依存しない光学特性を利用することで、動きベクトル検出精度を十分に得ることができない画像領域において計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる。
【図面の簡単な説明】
【００４１】
【図１】本実施形態に係る動きベクトルの検出方法の処理手順例を示すフローチャートである。
【図２】フルサーチブロックマッチング方法の処理例を説明するための図である。
【図３】フルサーチブロックマッチング方法の処理手順例を示すフローチャートである。
【図４】ダイヤモンドサーチを説明するための概念図である。
【図５】ダイヤモンドサーチの処理手順例を示すフローチャートである。
【図６】６−ＴａｐＦＩＲフィルタを使用する１／２画素精度の補間の説明図である。
【図７】１／４画素精度の補間で用いる単純な線形補間の説明図である。
【図８】ＭＴＦと像高の関係の代表的な例を示すグラフである。
【図９】ＭＴＦの方向成分間の関係を示すための図である。
【図１０】注目ブロックに対する垂直方向及び水平方向のＭＴＦを想定するための図である。
【図１１】垂直方向及び水平方向のＭＴＦの算出を説明するための図である。
【図１２】（ａ）水平・垂直方向のＭＴＦに応じた領域分割の分割例と（ｂ）その分割の基準例を示す図である。
【図１３】ダイヤモンドサーチの設定変更例（Ｔ２＞ＭＴＦｈの場合）を示すフローチャートである。
【発明を実施するための形態】
【００４２】
本発明に係る動きベクトル検出方法の一実施形態を、以下に図を用いて説明する。
【００４３】
（動きベクトルの検出処理例）
図１は、本実施形態に係る動きベクトルの検出方法の処理手順例を示すフローチャートである。図１を用いて、本実施形態に係る動きベクトルの検出方法の処理手順例を説明する。
【００４４】
なお、以下に述べる動きベクトルの検出方法の処理手順は、それらを実行するようにプログラムされた動きベクトル検出プログラムをコンピュータ等の情報処理装置に適用することにより実行される。
【００４５】
図１において、ステップＳ１は、領域分割工程であり、入力画像に依存しない撮像時の光学特性、すなわち解像度情報の１つ以上の方向成分に応じて、入力画像を複数種類の領域に分割する。
【００４６】
ステップＳ２は、探索法設定工程であり、ステップＳ１で分割されたそれぞれの領域の種類に応じて、用いる探索法を設定する。
【００４７】
例えば探索法とは、ステップＳ５の探索工程で用いるブロックマッチング法であり、圧縮処理の対象画像とその対象画像に時間的に近接する参照画像との間で適当な大きさのブロックでの比較を行うものである。
【００４８】
その探索法を解像度情報に応じて設定することで、低解像度領域では探索のための計算量を削減することを意図している。
【００４９】
ステップＳ１の領域分割工程とステップＳ２の探索法設定工程を、次に実行する探索工程に先んじて実行しておき、探索工程では計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができるようにしている。
【００５０】
ステップＳ１の領域分割工程とステップＳ２の探索法設定工程については、具体例を後述して、説明する。
【００５１】
ステップＳ３は探索工程でのブロックマッチング処理実行に備えて、対象画像に処理対象としての注目ブロックを設定する。
【００５２】
ステップＳ４は、設定した注目ブロックに対して、参照画像にサーチエリアを設定する。
【００５３】
これらの意味合いについては、後述する探索工程の説明で述べる。
【００５４】
ステップＳ５は探索工程であり、設定した注目ブロックに対応する参照ブロックをサーチエリア内から探索する。探索には後述するブロックマッチング法が一般的に使用される。
【００５５】
ブロックマッチング法は、整数画素精度での探索と小数画素精度での探索の二段階で行われる。ここで上記分割されたそれぞれの領域に設定された探索法により、それぞれの探索法が実行される。
【００５６】
ステップＳ５の探索工程については、後で詳細を述べる。
【００５７】
ステップＳ６は、ステップＳ５の探索の結果により、設定した注目ブロックに対応する参照ブロックを決定する。
【００５８】
ステップＳ７は、設定した注目ブロックと対応する参照ブロックの位置関係として、動きベクトルを検出する。
【００５９】
ステップＳ８は、処理対象の画像に対して、すべての注目ブロックを設定し、動きベクトルの検出を終えたかどうかを判定する。
【００６０】
ステップＳ８で判定がＹｅｓの場合は、動きベクトルの検出処理は終了する。
【００６１】
ステップＳ８で判定がＮｏの場合は、ステップＳ３へ戻り、次の注目ブロックを設定し、ステップＳ８までを繰り返す。
【００６２】
ステップＳ３からステップＳ８の反復は、ステップＳ８で判定がＹｅｓとなり、動きベクトルの検出処理が終了するまで継続する。
【００６３】
本実施形態に係る動きベクトル検出方法とそれを実行するための動きベクトル検出プログラムでは、このようにして探索工程の前に、領域分割工程と探索法設定工程を実行することにより、探索のための計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出するよう図っている。
【００６４】
以下にまず、従来技術としての探索工程について詳細を述べ、その後で光学特性としてのＭＴＦとその方向成分の算出について述べ、その解像度と方向成分に基づいた領域分割工程と探索法設定工程の処理例を説明する。
【００６５】
（探索工程）
上述したステップＳ５の探索工程について詳細を説明する。
【００６６】
探索工程では、ブロックマッチング法による探索が行われる。
【００６７】
ブロックマッチング法とは、既述したように圧縮処理の対象画像とその対象画像に時間的に近接する参照画像との間で適当な大きさのブロックでの比較を行う方法であり、以下のように動きベクトルを検出する。
【００６８】
すなわち、対象画像をブロックに分割し、対象画像内の注目ブロックと参照画像内の設定された探索範囲内の複数の参照ブロックとの間で比較処理を行って、注目ブロックに最も類似している参照ブロックを探索して求める。
【００６９】
対象ブロックに最も類似している参照ブロックとしては、対象ブロックとのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｒｅｎｃｅ：差分絶対値和）が最小となるような参照ブロックが選ばれる。
【００７０】
ブロックマッチングは、動きベクトルの検出精度（例えば１／２画素もしくは１／４画素単位）に応じて、整数画素精度サーチ部と小数画素精度サーチ部の二段階に分けて行われる。
【００７１】
整数画素精度サーチ部では、あらかじめ決められた参照ブロックの探索範囲を整数画素単位で探索し、ＳＡＤ最小等の基準で対応ブロックを決定する。
【００７２】
小数画素精度サーチ部では、整数画素精度サーチ部で得られた対応点の周囲で１／２画素、１／４画素などの精度で画素補間を行い、補間画像を用いて小数画素精度で探索し、同様に最適な参照ブロックを決定する。
【００７３】
（整数画素精度での探索）
＜フルサーチブロックマッチング＞
整数画素精度サーチ部で行われるブロックマッチングの基本は、フルサーチブロックマッチングである。フルサーチブロックマッチングについて説明する。
【００７４】
図２は、フルサーチブロックマッチングでのフレーム間の注目ブロックと参照ブロックの関係を示す図である。図２を用いて、フルサーチブロックマッチング方法の処理例を説明する。
【００７５】
図２において、（ａ）は参照画像２を示し、（ｂ）は対象画像１を示す。３は対象画像中に設定された注目ブロック４に対応して参照画像２中に設定されたサーチエリアＳａである。
【００７６】
４は対象画像の注目ブロックＢｌｋｃｕｒ、５は参照画像の参照ブロックＢｌｋｒｅｆ、Ｖ１は参照画像のブロックＢｌｋｒｅｆと対象画像のブロックＢｌｋｃｕｒの間の動きベクトル情報である。
【００７７】
２つのブロック４及び５の類似度合いは、例えば、それぞれのブロックにおける各画素値のＳＡＤ（差分絶対値和）から判断される。
【００７８】
注目ブロックＢｌｋｃｕｒに対する動きベクトルＶ１は、次のようにして求められる。
【００７９】
対象画像の注目ブロックＢｌｋｃｕｒに対応して設けた参照画像のサーチエリアＳａ内において、読み出し位置（参照ブロック）を１画素分ずつずらしてデータを読み出していく。
【００８０】
読み出した参照画像上のブロックＢｌｋｒｅｆのデータと注目ブロックＢｌｋｃｕｒのデータのＳＡＤを算出していく。
【００８１】
サーチエリアＳａ中において各参照ブロックを演算した結果得られたＳＡＤ値の内、最も小さい値を得た対応ブロックを決定する。
【００８２】
決定した対応ブロックから得た動きベクトル情報を、注目ブロックＢｌｋｃｕｒに対する参照画像及び対象画像の間の動きベクトルとする。
【００８３】
なおここで、ブロック間の類似度合いを求めるためにＳＡＤを使用しているが、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅ：差分自乗和）など、他の計算方法を用いてもよい。
【００８４】
図３には、上記処理手順を実行するための詳細なフローチャート例を示す。
【００８５】
この方法では、サーチエリア３内を隈なく探索するので演算量が膨大になる。そのため、高速にマッチング点が得られるよう、後述のダイヤモンドサーチなどの手法が考案されている。
【００８６】
＜ダイヤモンドサーチ＞
フルサーチブロックマッチングを高速化する方法としてダイヤモンドサーチがある。
【００８７】
図４にダイヤモンドサーチを説明するための概念図を示す。
【００８８】
（ａ）は、探索開始時の参照画像２上の開始位置（注目画素）と隣接画素を示し、（ｂ）は、その結果に基づく次の探索の注目画素と隣接画素を示す。
【００８９】
以下、ダイヤモンドサーチの処理手順を述べる。
【００９０】
まず、図４（ａ）に示すように、参照画像２上の開始位置（注目画素Ｏ）及び上下左右の４方向に隣接する画素ＡＢＣＤにおいてＳＡＤを計算する。
【００９１】
注目画素のＳＡＤが最小であれば、注目画素が動きベクトルの終点となる。注目画素以外が最小の値をとる場合は、最小の値をとる隣接画素を次の注目画素とする。
【００９２】
例えば、隣接画素Ｃが最小の値をとる場合の次の探索を図４（ｂ）に示す。
【００９３】
図４（ｂ）に示すように、次の探索も同様に注目画素Ｏと４方向の隣接画素ＡＢＣＤのＳＡＤを比較し、次の注目画素を決定する。
【００９４】
以下同様に、注目画素が最小のＳＡＤとなるまで探索を続ける。
【００９５】
図５には、上記処理手順を実行するための詳細なフローチャート例を示す。
【００９６】
この手法は、開始点の選択や探索の打ち切り条件などが重要である。
【００９７】
次の文献では、ダイヤモンドサーチを改良した手法が開示されている。
【００９８】
S.Zhu and K.Ma,“A New Diamond Search Algorithm for Fast Block Matching Motion Estimation”,International Conference on Information, Communications and Signal Processing ICICS '97 Singapore, 9-12 September 1997。
【００９９】
（小数画素精度での探索）
＜小数画素精度の補間方法＞
標準方式Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣで使用されている小数画素精度補間について述べる。詳細は次の文献に述べられている。
【０１００】
ITU-T Recommendation “H264:Advanced video coding for generic audiovisual services”。
【０１０１】
図６（ａ）に示すように、一方向に隣接する６画素を用いて、１／２画素精度の補間を行う。
【０１０２】
計算方法は、図６（ｂ）に示すように６−ＴａｐＦＩＲフィルタを使用する。求めたい画素位置を挟む、水平方向または垂直方向の左右（または上下）の３画素ずつ計６点の画素値を使って求める。
【０１０３】
求める１／２画素での画素値は、式（１）として求められる。
【０１０４】
Ｐ１／２＝（１／３２）（Ｐ１−５Ｐ２＋２０Ｐ３＋２０Ｐ４−５Ｐ５＋Ｐ６）（１）
また、１／４画素精度の補間では、前記１／２画素精度補間で得られた画素値を使用しさらに１／２ピッチで補間する。図７（ａ）に示すように、一方向に隣接する２画素を用いて、さらに１／２画素精度の補間を行う。
【０１０５】
補間は、図７（ｂ）に示すように、上述した６−ＴａｐＦＩＲフィルタを使用する１／２画素精度の補間とは異なり、単純な線形補間で行う（式（２））。
【０１０６】
Ｐ１／２＝（１／２）（Ｐ１＋Ｐ２） （２）
整数画素精度での探索で得られた参照画像のマッチング点の周囲で、ブロックサイズ＋２画素分の領域について補間画像を求め、その領域内でブロックマッチングを行い、ＳＡＤが最小となる点をマッチングポイントとして動きベクトルを求める。
【０１０７】
（画像解像度に影響する特性）
上述してきたように、探索工程における注目ブロックと類似した参照ブロックの探索は、多大な計算量を有する。
【０１０８】
その理由の１つは、画像の解像度に応じた精度で探索する必要から、入力画像の高解像度部分に合わせた精度で探索を行うことにある。
【０１０９】
すなわち、十分な精度の得られないＭＴＦ（Ｍｏｄｕｌｅｒ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）値の低い（解像度の低い）領域でもＭＴＦ値の高い（解像度の高い）領域と同様の検出精度で動きベクトルの探索を行っている。
【０１１０】
しかしながら、撮像した画像は、撮像装置の光学特性によって解像度が画像の領域によって異なる。また同じ部分でも方向により解像度成分が異なる。
【０１１１】
本実施形態では、入力画像に依存しない光学特性を利用して、画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。
【０１１２】
これにより、動きベクトル探索の精度を十分に得ることができない低解像度の画像領域において計算量を削減し、視覚的画像劣化が少ない画像符号化を実現できる探索処理を図っている。
【０１１３】
探索は画像の水平方向、垂直方向で行うため、水平方向、垂直方向の光学特性（例えばＭＴＦｈ、ＭＴＦｖ）を求め、それに応じて領域分割し、それぞれの領域の光学特性（方向成分）に応じた探索法を設定する。
【０１１４】
以下に、まず光学特性による解像度（方向成分）の低下について述べる。ＭＴＦを例に採っているが、光学特性（解像度情報）としては、ＯＴＦ、ＰＳＦなど、他の特性を用いてもよい。
【０１１５】
＜ＭＴＦ＞
カメラなどの撮像装置における光学系の性能を表す指標の１つにＭＴＦ（Ｍｏｄｕｌｅｒ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）がある。
【０１１６】
ＭＴＦは、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したものである。空間周波数は、１［ｍｍ］当たりに含まれるパターン（正弦波など）数を示す。
【０１１７】
ＭＴＦは一般的に、周波数を固定（６０本／ｍｍ、１００本／ｍｍなど）して、横軸に画像中心からの距離（像高）をとったグラフにおいて、画像中心から放射状の方向（Ｓａｇｉｔｔａｌ）と同心円方向（Ｔａｎｇｅｎｔｉａｌ）の２方向についてプロットしたものとして表現される。
【０１１８】
図８は、ＭＴＦと像高の関係の代表的な例を示すグラフである。
【０１１９】
一般に、ＭＴＦは像高が高くなるに従って低下する傾向があり、また、放射状の方向（Ｓａｇｉｔｔａｌ）と同心円方向（Ｔａｎｇｅｎｔｉａｌ）で異なる値をとることがある。その差異は、広角な光学系においては、顕著に現れる。
【０１２０】
また、ＭＴＦを計測する方法として、特許文献（特開２００１−３２４４１３号公報）のような方法が開示されている。
【０１２１】
＜画像処理＞
一方、撮像された画像を動きベクトル検出処理の前に画像処理する場合がある。そのような場合には、画像処理の結果としての解像度情報を用いてもよい。
【０１２２】
例えば、特許文献（特開２００９−２８４４２１号公報）では、広角な車載カメラで撮影した画像を歪み補正及び視点変換した画像を表示している。
【０１２３】
このような画像では、元の撮像系で撮影された画像に対して画像処理による拡大・縮小処理が行われており、特に拡大処理が行われている部分では解像度が低下している。
【０１２４】
生成される画像解像度は、同じ画像処理を適用している間は、画面のそれぞれの領域で一定である。
【０１２５】
（ＭＴＦの方向成分の算出）
ここでは、画像の解像度特性として撮像系のＭＴＦを用いる場合を説明する。ＭＴＦの方向成分に応じて領域分割するために、まず水平・垂直方向のＭＴＦ成分を算出する。
【０１２６】
＜光学系の設計データからの算出＞
画像上の各座標における垂直及び水平方向のＭＴＦは、光学系の設計データを用いてシミュレーションによって求めることができる。
【０１２７】
画像上の任意の点におけるスポットダイヤグラム（点光源から瞳面上のＮ個の格子点を通る光線が画像上に作る点群。光線追跡によって求められる）のＮ個の点の座標をｘｋ、ｙｋとする。Ｓａｇｉｔｔａｌ方向と画像の水平面のなす角をαとし、その方向の周波数をｌ本／ｍｍとすると、Ｓａｇｉｔｔａｌ方向の周波数ｓとＴａｎｇｅｎｔｉａｌ方向の周波数ｔは、図９からそれぞれ式（３）及び式（４）のようになる。
【０１２８】
ｓ＝ｌｃｏｓα （３）
ｔ＝ｌｓｉｎα （４）
ＭＴＦの水平及び垂直方向の値、ＭＴＦｈ（ｉ，ｊ）及びＭＴＦｖ（ｉ，ｊ）は、それぞれ式（５）及び式（６）のように表すことができ、スポットダイヤグラムから計算できる。
【０１２９】
【数１】
【０１３０】
＜像高に対するＭＴＦ値からの算出＞
光学系の設計データが入手できずに、図８のようなＳａｇｉｔｔａｌ方向及びＴａｎｇｅｎｔｉａｌ方向のＭＴＦ値のみが得られるときの、ＭＴＦの水平及び垂直方向成分の値の求め方について述べる。
【０１３１】
図１０のように画像中心（光軸と画像面の交点）を通る水平な直線と画像中心と注目ブロックの点Ｐ（ｉ，ｊ）を結んだ直線とのなす角がθのとき、Ｐ（ｉ，ｊ）における垂直方向及び水平方向のＭＴＦを考える。
【０１３２】
像高ｌにおける、Ｓａｇｉｔｔａｌ方向及びＴａｎｇｅｎｔｉａｌ方向のＭＴＦをＳ（ｌ）、Ｔ（ｌ）とする。
【０１３３】
図１１に示すようにＰ（ｉ，ｊ）におけるＭＴＦの水平及び垂直方向の値、ＭＴＦｈ（ｉ，ｊ）及びＭＴＦｖ（ｉ，ｊ）は、式（７）及び式（８）として求められる。
【０１３４】
ＭＴＦｈ（ｉ，ｊ）＝｜Ｓ（ｌ）ｃｏｓθ｜＋｜Ｔ（ｌ）ｓｉｎθ｜ （７）
ＭＴＦｖ（ｉ，ｊ）＝｜Ｓ（ｌ）ｓｉｎθ｜＋｜Ｔ（ｌ）ｃｏｓθ｜ （８）
このように画像上のすべての点について、水平・垂直方向のＭＴＦを計算によって求めることができる。
【０１３５】
（領域分割工程）
既述したように、図１の領域分割工程（ステップＳ１）で水平・垂直方向の解像度に応じて画像の領域を分割する。
【０１３６】
図１２には、（ａ）水平・垂直方向のＭＴＦに応じた領域分割の分割例と（ｂ）その分割の基準例を示す。
【０１３７】
図１２（ｂ）の分割基準では、画像内の各座標における水平・垂直方向のＭＴＦ値と閾値Ｔ１及び閾値Ｔ２との大小関係により、３×３＝９種類の領域（１１〜１３，２１〜２３，３１〜３３）に分けている。
【０１３８】
閾値Ｔ１、Ｔ２は、撮像素子の画素ピッチ、画像の符号化後の要求解像度など、及びＭＴＦデータの周波数により決定する。
【０１３９】
分割された領域の例を、図１２（ａ）に示している。光学特性に応じて画像の中央部ほど高解像度であり、周辺部へ行くほど解像度低下しているが、解像度の方向成分が微妙に異なっている。
【０１４０】
これらの分割された各領域毎に、それらの解像度成分に応じた探索法を設定するのが、図１の探索法設定工程（ステップＳ２）である。
【０１４１】
（探索法設定工程）
図１２に示した、分割基準と、それに基づく領域分割例に従って、領域に対する探索法を変えて設定した例を説明する。
【０１４２】
分割された領域は９種類であり、以降、領域１１とか領域３３とか、呼称する。
【０１４３】
９種類の領域に対して、ブロックマッチング法で探索するが、既述したように、整数画素精度サーチ部による探索、小数画素精度サーチ部による探索のそれぞれにおいて、解像度の成分に応じた計算量の削減のための探索法の設定を行う。
【０１４４】
設定例を以下にリストアップする。
【０１４５】
＜探索法設定例＞
（１）領域１１（ＭＴＦｈ＞Ｔ１かつＭＴＦｖ＞Ｔ１）の探索法設定
通常のフルスペック探索を行う。例えば、フルサーチブロックマッチングやダイヤモンドサーチを行った後に小数画素精度（１／２画素または１／４画素など）の補間による探索を行う。
【０１４６】
（２）領域１２、１３、２２、２３、３２、３３（Ｔ１＞ＭＴＦｈ）の探索法設定
整数画素精度での探索処理後、小数画素精度での探索において水平方向の補間・探索を行わない。
【０１４７】
（３）領域２１、２２、２３、３１、３２、３３（Ｔ１＞ＭＴＦｖ）の探索法設定
整数画素精度での探索処理後、小数画素精度での探索において垂直方向の補間・探索を行わない。
【０１４８】
（４）領域１３、２３、３３（Ｔ２＞ＭＴＦｈ）の探索法設定
１．整数画素精度での探索方法において、水平方向探索のステップを大きくする。例えば、図３に示すフローにおいて、ｉを加算するステップ数を２（通常は１）に変更する。
２．整数画素精度での探索方法において、水平方向探索の優先度を低くする。例えば、図１３のフローチャートに示すように、ダイヤモンドサーチにおいて垂直方向のＳＡＤを先に計算し、垂直方向の隣接画素におけるＳＡＤが注目画素のＳＡＤより小さい場合は、水平方向の隣接画素のＳＡＤを計算せずにその画素を選択する。それ以外の場合は水平方向の隣接画素のＳＡＤも計算し、最も小さいＳＡＤの方向を選択して次の探索を行う。
【０１４９】
（５）領域３１、３２、３３（Ｔ２＞ＭＴＦｖ）の探索法設定
１．整数画素精度での探索方法において、垂直方向探索のステップを大きくする。例えば、図３に示すフローにおいて、ｊを加算するステップ数を２（通常は１）に変更する。
２．整数画素精度での探索方法において、垂直方向探索の優先度を低くする。例えば、ダイヤモンドサーチにおいて水平方向のＳＡＤを先に計算し、水平方向の隣接画素におけるＳＡＤが注目画素のＳＡＤより小さい場合は、垂直方向の隣接画素のＳＡＤを計算せずにその画素を選択する。それ以外の場合は垂直方向の隣接画素のＳＡＤも計算し、最も小さいＳＡＤの方向を選択して次の探索を行う。
【０１５０】
上記（１）から（５）の探索法設定を適切に組み合わせて用いることにより、入力画像に依存しない光学特性を利用して、すなわち分割したそれぞれの領域でその画像解像度方向成分に応じた探索法を設定することで、動きベクトル検出精度を十分に得ることができない画像領域において探索のための計算量を削減しながら、結果として視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる。
【０１５１】
＜解像度やその方向性が異なる領域間の探索について＞
注目ブロック４に対応する参照ブロック５のブロックマッチングによる探索は、注目ブロック４を設定している対象画像１を圧縮符号化するための動きベクトルＶ１を検出するためであり、注目ブロック４の該当する入力画像領域の光学特性を適用して探索法を設定すればよい。
【０１５２】
しかしながら、整数画素精度での探索において、解像度の方向性が異なる領域、例えば図１２（ａ）において、対象画像１の処理（注目）ブロック４が右上の領域３２にあり、参照画像２のブロック５が右下の領域３２にある場合など、では解像度方向性の違いから、ブロックマッチングおけるＳＡＤの値が大きくなり、正しい動きベクトルが求められない場合がある。
【０１５３】
このように、解像度やその方向性が大きく異なるような領域に対しては、対象画像１の注目ブロック４の所属する領域のＭＴＦ周波数特性からＦＩＲフィルタを構成し、参照画像２の対象領域に適用することによって、動きベクトルの誤検出を減少させることができる。
【０１５４】
＜その他＞
なお、上述の実施形態は、光学特性として撮像系のＭＴＦを用いて説明した。
【０１５５】
動きベクトル検出の前に画像処理が行われるような場合には、その画像処理に起因する拡大等による画像内の領域ごとの水平・垂直方向の解像度を使用してもよい。
【０１５６】
また、解像度の算出方向を水平・垂直方向で説明したが、水平・垂直方向に限定する必要はなく、探索にかかわる方向の解像度を利用すればよい。
【０１５７】
上述のように、本実施形態に係る動きベクトル検出方法、及び動きベクトル検出プログラムによれば、ブロックマッチング法を用いて動きベクトルを検出するに際して、光学特性としての画像解像度の方向成分に応じて画像を領域分割し、それぞれの領域でその光学特性の画像解像度方向成分に応じた探索法を設定する。
【０１５８】
このように、入力画像に依存しない光学特性を利用することで、動きベクトル検出精度を十分に得ることができない画像領域において計算量を削減しながら、視覚的画像劣化が少ない画像符号化のための動きベクトルを検出することができる。
【０１５９】
なお、上述の実施形態は、すべての点で例示であって制限的なものではない。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１６０】
１ 対象画像
２ 参照画像
３ サーチエリア
４ 注目ブロック
５ 参照ブロック
【特許請求の範囲】
【請求項１】
入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を備え、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルを検出する動きベクトル検出方法であって、
入力画像における解像度情報の１つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を備える
ことを特徴とする動きベクトル検出方法。
【請求項２】
前記領域分割工程において、
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする請求項１に記載の動きベクトル検出方法。
【請求項３】
前記撮像装置の光学特性は、ＭＴＦ、ＯＴＦ、ＰＳＦの何れかである
ことを特徴とする請求項２に記載の動きベクトル検出方法。
【請求項４】
前記領域分割工程において、
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする請求項１に記載の動きベクトル検出方法。
【請求項５】
前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする請求項１から４の何れか１項に記載の動きベクトル検出方法。
【請求項６】
前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする請求項１から４の何れか１項に記載の動きベクトル検出方法。
【請求項７】
前記探索法設定工程において、
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする請求項１から６の何れか１項に記載の動きベクトル検出方法。
【請求項８】
コンピュータに、
入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を実行させ、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルの検出を実行させる動きベクトル検出プログラムであって、
該コンピュータに、
入力画像における解像度情報の１つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を実行させる
ことを特徴とする動きベクトル検出プログラム。
【請求項９】
前記領域分割工程において、
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする請求項８に記載の動きベクトル検出プログラム。
【請求項１０】
前記撮像装置の光学特性は、ＭＴＦ、ＯＴＦ、ＰＳＦの何れかである
ことを特徴とする請求項９に記載の動きベクトル検出プログラム。
【請求項１１】
前記領域分割工程において、
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする請求項８に記載の動きベクトル検出プログラム。
【請求項１２】
前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする請求項８から１１の何れか１項に記載の動きベクトル検出プログラム。
【請求項１３】
前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする請求項８から１１の何れか１項に記載の動きベクトル検出プログラム。
【請求項１４】
前記探索法設定工程において、
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする請求項８から１３の何れか１項に記載の動きベクトル検出プログラム。
【請求項１】
入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を備え、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルを検出する動きベクトル検出方法であって、
入力画像における解像度情報の１つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を備える
ことを特徴とする動きベクトル検出方法。
【請求項２】
前記領域分割工程において、
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする請求項１に記載の動きベクトル検出方法。
【請求項３】
前記撮像装置の光学特性は、ＭＴＦ、ＯＴＦ、ＰＳＦの何れかである
ことを特徴とする請求項２に記載の動きベクトル検出方法。
【請求項４】
前記領域分割工程において、
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする請求項１に記載の動きベクトル検出方法。
【請求項５】
前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする請求項１から４の何れか１項に記載の動きベクトル検出方法。
【請求項６】
前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする請求項１から４の何れか１項に記載の動きベクトル検出方法。
【請求項７】
前記探索法設定工程において、
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする請求項１から６の何れか１項に記載の動きベクトル検出方法。
【請求項８】
コンピュータに、
入力画像において、対象画像の注目ブロックに対して参照画像内の対応するブロックを探索する探索工程を実行させ、注目ブロックと対応するブロックの入力画像内での位置関係から動きベクトルの検出を実行させる動きベクトル検出プログラムであって、
該コンピュータに、
入力画像における解像度情報の１つ以上の方向成分の値に応じて画像を複数種類の領域に分割する領域分割工程と、
前記領域分割工程で分割された領域の前記解像度情報の方向成分の値に応じて、前記探索工程において用いる探索法をそれぞれ設定する探索法設定工程と、を実行させる
ことを特徴とする動きベクトル検出プログラム。
【請求項９】
前記領域分割工程において、
入力画像を撮像した撮像装置の光学特性を、領域分割のための前記解像度情報として用いる
ことを特徴とする請求項８に記載の動きベクトル検出プログラム。
【請求項１０】
前記撮像装置の光学特性は、ＭＴＦ、ＯＴＦ、ＰＳＦの何れかである
ことを特徴とする請求項９に記載の動きベクトル検出プログラム。
【請求項１１】
前記領域分割工程において、
入力画像の前処理における画像処理内容により決定される前記解像度情報を用いる
ことを特徴とする請求項８に記載の動きベクトル検出プログラム。
【請求項１２】
前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の移動ステップ数を変更する
ことを特徴とする請求項８から１１の何れか１項に記載の動きベクトル検出プログラム。
【請求項１３】
前記探索法設定工程において、
ブロックマッチングによる探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の優先移動方向を変更する
ことを特徴とする請求項８から１１の何れか１項に記載の動きベクトル検出プログラム。
【請求項１４】
前記探索法設定工程において、
小数画素精度補間による探索を設定し、分割された領域の前記解像度情報の方向成分の値に応じて探索時の補間方法を変更する
ことを特徴とする請求項８から１３の何れか１項に記載の動きベクトル検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１９７７２７（Ｐ２０１１−１９７７２７Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６０５７５（Ｐ２０１０−６０５７５）
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]