動き検出方法

【目的】従来の方法と全く異なる動き検出方法を提供する。
【構成】ｎフレームの画素信号をｎ−１フレームおよびｎ＋１フレームの画素信号を使用した線形１次結合式で表現する。次に、ｎ−１フレームおよびｎ＋１フレームの画素信号に対応する線形１次結合式の係数を算出する。次に、ｎ−１フレームの画素信号に対応する係数およびｎ＋１フレームの画素信号に対応する係数より、夫々最大の係数を検出すると共に、その検出された係数に対応する画素位置を特定し、その画素位置に基づいてｎ−１フレームからｎフレームおよびｎフレームからｎ＋１フレームへの画像の動き量および動き方向を示す動きベクトルＭＶを求める。画素位置と動きベクトルとの対応は予めとられている。

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、画像の動き量および動き方向を検出する動き検出方法に関する。
【０００２】
【従来の技術】従来、画像の動き量および動き方向を検出する動き検出方法として、ブロックマッチング法、勾配法等が周知である。ここで、ブロックマッチング法は、例えばフレーム間で所定ブロック内の対応する画素信号の差を求め、ブロック内での差の積算値が最小となるように一方のブロックを移動することで動きベクトルを求めるものである。また、勾配法は、画像のある位置における勾配とフレーム間差から移動量を求めるものである。
【０００３】
【発明が解決しようとする課題】従来、上述したように動き検出方法として種々の方法が提案されているが、この発明では従来の方法と全く異なる動き検出方法を提供するものである。
【０００４】
【課題を解決するための手段】この発明は、あるフレームの画素信号を前および後の双方のフレームまたはいずれかのフレームの画素信号を使用した線形１次結合式で表現し、前および後の双方のフレームあるいはいずれかのフレームの画素信号に対応する線形１次結合式の係数を算出し、算出された係数より画像の動き量および動き方向を求めるものである。例えば、算出された係数のうち最大の係数を検出し、その係数に対応する画素位置を特定することで画像の動き量および動き方向が求められる。
【０００５】
【作用】この発明においては、算出された係数より画像の動き量および動き方向を求めるものである。係数が大きいということは、その係数に対応する前および後のフレームの画素信号は現フレームの画素信号と関連性が高いことを意味している。そのため、例えば最大の係数に対応する画素位置を特定することで、画像の動き量および動き方向を求めることが可能となる。
【０００６】
【実施例】以下、この発明に係る動き検出方法の一実施例について説明する。
【０００７】まず、図１の例のように、ｎ−１フレーム、ｎフレーム、ｎ＋１フレームの３フレームを考える。そして、ｎフレームの画素信号を１８タップの線形１次結合モデルで表わすものとする。すなわち、ｎフレームの画素信号ｙを、ｎ−１フレームおよびｎ＋１フレームの画素信号ｘｉ（ｉ＝１〜１８）にそれぞれ係数ｗｉ（ｉ＝１〜１８）を掛けた線形１次結合式で表現する。
【０００８】
【数１】

【０００９】次に、上述したような線形１次結合式の係数ｗｉを求める。この場合、画素位置を空間方向に１画素ずつずらし、画素信号ｘｉと、画素信号ｙをそれぞれ代入し、数２に示すように行列式ＸＷ＝Ｙを形成する。ここで、Ｗは係数行列を示している。
【００１０】
【数２】

【００１１】例えば、画像を大きなブロックに分割して、各ブロックで１個の係数組を求めるとすれば、数２の行列式より１ブロックの画素数ｍだけの連立方程式が得られる。これはタップ数ｎよりもはるかに多い数となる。このｍ個の連立方程式を解くことで係数ｗｉを求める。
【００１２】本例では、連立方程式を最小二乗法で解いていく。つまり、数３の式に示すように、数２の行列式に残差行列Ｅが加えられた形とし、二乗誤差が最小となるように係数行列Ｗを決定する。
【００１３】
【数３】

【００１４】数３の式から各係数ｗｉの最確値を見いだすには、数４の式を最小にする条件、すなわち数５で表わされるｎ個の条件をいれて、これを満足するｗ1，ｗ2，ｗ3，・・・，ｗnを見いだせばよい。
【００１５】
【数４】

【００１６】
【数５】

【００１７】数３の式より数６の式が得られ、数５の式の条件をｉ＝１，２，・・・，ｎについて立てれば、数７の式が得られる。
【００１８】
【数６】

【００１９】
【数７】

【００２０】ここで、数３および数７の式から、数８の正規方程式が得られる。
【００２１】
【数８】

【００２２】この数８の正規方程式は未知数がｎ個だけある連立方程式であるから、これより最確値たる各係数ｗｉを求めることができる。正確には、数８の正規方程式でｗｉにかかる数９のマトリックスが正則であれば解くことができる。
【００２３】
【数９】

【００２４】実際には、例えばガウス−ジョーダン（Ｇａｕｓｓ−Ｊｏｒｄａｎ）の消去法（掃き出し法）を用いて連立法定式を解くことになる。
【００２５】このようにして、１ブロックにつき１組の係数ｗｉ（ｉ＝１〜ｎ）を求めることができる。
【００２６】次に、算出されたｎ−１フレームの画素信号に対応する係数およびｎ＋１フレームの画素信号に対応する係数より、それぞれ最大の係数を検出すると共に、その検出された係数に対応する画素位置を特定し、画像の動き量および動き方向を動きベクトルとして求める。ここで、係数が大きいということは、その係数に対応するｎ−１フレームおよびｎ＋１フレームの画素信号ｘｉとｎフレームの画素信号ｙの関連性が高いということを意味している。
【００２７】例えば、図１に示すような１８タップの線形１次結合モデルであって、ｎ−１フレームの画素信号ｘ1〜ｘ9に対応する係数ｗ1〜ｗ9およびｎ＋１フレームの画素信号ｘ10〜ｘ18に対応する係数ｗ10〜ｗ18が、図２R>２に示すように算出された場合を考える。この場合、係数ｗ1〜ｗ9のうち最も大きな係数としてｗ4が検出され、また係数ｗ10〜ｗ18のうち最も大きな係数としてｗ14，ｗ15（ｗ14，ｗ15はほぼ同じ）が検出され、対応する画素位置が特定される。
【００２８】動きベクトルと画素位置とは、例えば図３に示すように対応がとられている。そのため、係数ｗ4に対応する画素位置に関連して（＋１，０）の動きベクトルを選択し、これをｎ−１フレームからｎフレームへの画像の動き量および動き方向を示す動きベクトルとする。また、係数ｗ14，ｗ15に対応する画素位置に関連して（０，０），（＋１，０）の動きベクトルを選択し、これらの平均である（＋０．５，０）をｎフレームからｎ＋１フレームへの画像の動き量および動き方向を示す動きベクトルとする。なお、動きベクトル（ａ，ｂ）において、ａは水平方向成分、ｂは垂直方向成分を示している。
【００２９】図４は、以上述べた動き検出方法を使用する動き検出回路の構成を示している。
【００３０】図において、ビデオデータＳＶは正規方程式形成回路１に供給され、ｎフレームの画素信号ｙが、ｎ−１フレームおよびｎ＋１フレームの画素信号ｘｉにそれぞれ係数ｗｉが掛けられた線形１次結合式で表現され、最終的に数８の正規方程式が形成される。
【００３１】正規方程式形成回路１より出力される正規方程式のデータは係数演算回路２に供給され、掃き出し法等によって係数ｗｉが演算される。この演算回路２で算出された係数ｗｉのデータは最大値検出回路３に供給される。最大値検出回路３では、ｎ−１フレームの画素信号に対応する係数およびｎ＋１フレームの画素信号に対応する係数より、それぞれ最大の係数が検出される。
【００３２】検出回路３で検出された係数のデータは画素位置特定回路４に供給される。この特定回路４では、検出された係数に対応する画素位置が特定される。特定回路４より出力される画素位置のデータは動きベクトル演算回路５に供給され、ｎ−１フレームからｎフレームおよびｎフレームからｎ＋１フレームへの画像の動き量および動き方向を示す動きベクトルＭＶが求められる。この場合、画素位置と動きベクトルとの対応が予めとられている。
【００３３】なお、上述実施例においては、ｎ−１、ｎ、ｎ＋１の３フレームで１８タップの線形１次結合モデルを使用したものであるが、基本的には空間的なタップの広がりによって求め得る動き量の大きさが決定される。ただし、タップ数を増やすと計算時間が大変長くかかるという不都合がある。そこで、大きな動きを表現できるモデルとして、サブサンプル構造を使用して空間的なタップの広がりを大きくすることが考えられる。
【００３４】例えば、図５に示すような１／２の間引きパターン（８２タップ）が考えられる。これにより、タップ数が同じでも、空間的なタップの広がりを大きくすることができる。この場合、数１０に示すように、ｎフレームの画素信号ｙを、ｎ−１フレームおよびｎ＋１フレームの画素信号ｘｉ（ｉ＝１〜８２）にそれぞれ係数ｗｉ（ｉ＝１〜８２）を掛けた線形１次結合式で表現できる。
【００３５】
【数１０】

【００３６】なお、１／２の間引きの他に、同様に１／４、１／８等にも間引きできることは勿論である。図６は、間引き処理を行なう場合の動き検出回路の構成を示しており、正規方程式形成回路２の前段に間引き回路６が挿入される。図６において、図４と対応する部分には同一符号を付して示している。
【００３７】また、上述実施例においては、ｎフレームの画素信号を、その前後のｎ−１フレームおよびｎ＋１フレームの双方の画素信号を使用して線形１次結合式で表現し、ｎ−１フレームからｎフレームおよびｎフレームからｎ＋１フレームへの動きを検出するものであるが、ｎフレームの画素信号を、ｎ−１フレームまたはｎ＋１フレームの画素信号を使用して線形１次結合式で表現することで、ｎ−１フレームからｎフレームまたはｎフレームからｎ＋１フレームへの動きを検出するようにしてもよい。
【００３８】また、上述実施例においては、算出された係数のうち最大の係数を検出し、その係数に対応する画素位置を特定することで画像の動き量および動き方向を求めるものであるが、大きい方から複数個の係数を検出し、それらの係数に対応する画素位置を特定することで画像の動き量および動き方向を求めるようにしてもよい。
【００３９】
【発明の効果】この発明によれば、あるフレームの画素信号を前および後の双方のフレームまたはいずれかのフレームの画素信号を使用した線形１次結合式で表現し、前および後の双方のフレームあるいはいずれかのフレームの画素信号に対応する線形１次結合式の係数を算出し、算出された係数より画像の動き量および動き方向を求めるものであり、画像の動き量および動き方向を良好に求めることができる。
【００４０】また、前後のフレームの画素信号として間引き処理後の画素信号を使用することで、タップ数の増加を少なくして空間的なタップの広がりを大きくできる。これにより、計算時間を抑制しながら大きな動きの検出も可能となる利益がある。
【図面の簡単な説明】
【図１】この発明に係る動き検出方法を説明するための線形１次結合モデルの一例を示す図である。
【図２】算出された係数例を示す図である。
【図３】動きベクトルと画素位置との対応例を示す図である。
【図４】動き検出回路の一例を示すブロック図である。
【図５】この発明に係る動き検出方法を説明するための線形１次結合モデルの他の例を示す図である。
【図６】動き検出回路の他の例を示すブロック図である。
【符号の説明】
１正規方程式形成回路
２係数演算回路
３最大値検出回路
４画素位置特定回路
５動きベクトル演算回路
６間引き回路

【特許請求の範囲】
【請求項１】あるフレームの画素信号を前および後の双方のフレームまたはいずれかのフレームの画素信号を使用した線形１次結合式で表現し、上記前および後の双方のフレームまたはいずれかのフレームの画素信号に対応する上記線形１次結合式の係数を算出し、上記算出された係数より画像の動き量および動き方向を求めることを特徴とする動き検出方法。
【請求項２】上記算出された上記前のフレームの画素信号に対応する係数および上記後のフレームの画素信号に対応する係数よりそれぞれ最大の係数を検出し、その検出された係数に対応する画素位置を特定することで画像の動き量および動き方向を求めることを特徴とする請求項１記載の動き検出方法。
【請求項３】上記算出された上記前のフレームの画素信号に対応する係数および上記後のフレームの画素信号に対応する係数よりそれぞれ大きい方から複数個の係数を検出し、それらの検出された係数に対応する画素位置を特定することで画像の動き量および動き方向を求めることを特徴とする請求項１記載の動き検出方法。
【請求項４】上記前後のフレームの画素信号は間引き処理後の画素信号であることを特徴とする請求項１記載の動き検出方法。

【図１】