動きベクトル算出装置
【課題】映像信号の動きベクトル算出のための演算量を著しく低減するとともに、固定小数点処理をし易くする。
【解決手段】動画像の画像ブロック毎の動きベクトルを算出するために、３次元で定義された一〜三番目の固有値λ１〜λ３のうち、固有値λ１，λ２は近似する静止画の固有値λ'１，λ'２を代用することで、２次固定方程式で求め、精度を必要とする固有値λ３は、通常の分散式で求めている。このように、３次固定方程式を用いることなく動きベクトルを求めることで、演算量を少なくして時間内の処理と動きベクトルの算出精度を向上させることが可能となる。
【解決手段】動画像の画像ブロック毎の動きベクトルを算出するために、３次元で定義された一〜三番目の固有値λ１〜λ３のうち、固有値λ１，λ２は近似する静止画の固有値λ'１，λ'２を代用することで、２次固定方程式で求め、精度を必要とする固有値λ３は、通常の分散式で求めている。このように、３次固定方程式を用いることなく動きベクトルを求めることで、演算量を少なくして時間内の処理と動きベクトルの算出精度を向上させることが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の実施形態は、動画像の画像ブロック毎の動きベクトルを算出する動きベクトル算出装置に関する。
【背景技術】
【０００２】
従来、画像ブロック内の画像内容の性質に応じて画像ブロックサイズの増減を行い、時空間輝度勾配（差分）ベクトル分布に対応した適正な画像ブロックサイズを用いた動き量の推定を行うことで、より正確な動き量の推定を行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−５１７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術で動きベクトル算出処理を行う場合は、３×３の輝度勾配共分散行列の固有値を算出し、この固有値から固有ベクトルを算出していることから、高い信頼度の動きベクトルの評価が可能である。
【０００５】
しかし、３×３行列の固有値を求めることは、３次方程式の解を求めることである。この場合、数値演算処理として初期値を設定し、反復演算によって所要精度まで繰り返すニュートン法や２分法等が用いられる。固有値は３個存在するので、この数値演算も３回必要である。画像はブロックに分割処理され、ブロック毎にこの演算を行い、動画像信号なので毎フレーム処理が行われ、全体システムとして膨大な演算量が必要となる。加えて、３次式において飽和せずしかも微小値が丸めで切り捨てられないためには浮動小数点処理あるいは膨大な桁数の固定小数点処理が必要となる。このような演算を実行するために必要な例えば１／３０秒以内とするには演算時間が間に合わない、という問題があった。
【０００６】
この実施形態では、動画像の画像ブロック毎の動きベクトルを算出する演算量を低減した動きベクトル算出装置を提供する。
【課題を解決するための手段】
【０００７】
実施形態によれば、画素数Ｎをもつある画像ブロック内にあって、該画像ブロック内の各画素の輝度勾配ベクトルをｇｉ＝(Ｉｘ,Ｉｙ,Ｉｔ)ｔ［ただし、Ｉｘはｘ（水平）方向の輝度勾配ベクトル、Ｉｙはｙ（垂直）方向の輝度勾配ベクトル、Ｉｔはｔ（時間）方向の輝度勾配ベクトル］、前記画像ブロック内の移動ベクトルをｗ＝(ｕ,ｖ,１)ｔとし、εｉ＝ｇｉｔ・ｗとしたとき、評価関数Ｅ＝Σεｉ２の極値を与えるｕ,ｖとして、動きベクトルｍ＝(ｕ,ｖ)を算出する動きベクトル算出装置において、前記動きベクトルｍを３次元へ拡張した移動ベクトル方向の分散を、Ｄ＝(１/|ｗ|２)[(１/Ｎ)Σεｉ２−{(１/Ｎ)Σεｉ}２]とする。
【０００８】
また、画素数Ｎをもつある画像ブロック内にあって、該画像ブロック内の各画素の輝度勾配ベクトルをｇｉ＝(Ｉx,Ｉy,Ｉt)ｔ［ただし、Ｉｘはｘ（水平）方向の輝度勾配ベクトル、Ｉｙはｙ（垂直）方向の輝度勾配ベクトル、Ｉｔはｔ（時間）方向の輝度勾配ベクトル］、前記画像ブロック内の移動ベクトルをｗ＝(ｕ,ｖ,１)ｔとし、εｉ＝ｇｉｔ・ｗとしたとき、評価関数Ｅ＝Σεｉ２の極値を与えるｕ,ｖとして、動きベクトルｍ＝(ｕ,ｖ)を算出する動きベクトル算出装置において、前記動きベクトルｍを３次元へ拡張した移動ベクトル方向の分散を、Ｄ＝(１/|ｗ|２)(１/Ｎ)Σεｉ２とする。
【０００９】
さらに、映像信号から抽出された画像ブロックの全ての画素から水平、垂直、時間の輝度勾配ベクトルの共分散行列（３×３）を算出する輝度勾配共分散行列算出部と、前記輝度勾配ベクトルの共分散行列（３×３）の要素から動きベクトルを算出する動きベクトル算出部と、前記輝度勾配ベクトルの共分散行列（３×３））の三番目に大きい固有値λ３を算出する第１の算出部と、前記輝度勾配ベクトルの共分散行列（３×３）の時間方向の勾配ベクトルを０としたときの輝度勾配ベクトルの共分散行列（２×２）の一番目に大きい固有値λ'１、次に二番目に大きい固有値λ'２を算出する第２の算出部と、を備える。
【図面の簡単な説明】
【００１０】
【図１】動きベクトル算出装置に関する第１の実施形態について説明するための概念的な回路構成図である。
【図２】ある画像ブロック内の各輝度勾配ベクトルと同画像ブロックの移動ベクトルのなす角度θについて説明するための説明図である。
【図３】輝度勾配ベクトルの分布の概念について説明するための説明図である。
【図４】動きベクトル算出装置に関する第２の実施形態について説明するための概略的なシステム構成図である。
【図５】３×３固有値と２×２固有値について説明するための説明図である。
【図６】図５の固有ベクトルξ１'，ξ２'を平面上で説明するための説明図である。
【発明を実施するための形態】
【００１１】
以下、実施形態について、図面を参照しながら詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００１２】
（第１の実施形態）
図１は、動きベクトル算出装置に関する第１の実施形態について説明するための概念的な回路構成図である。
【００１３】
図１に示す動きベクトル算出装置は、動画像の映像信号が入力される入力端子１１、映像信号の画像ブロックの位置・サイズ情報を抽出するブロック抽出部１２、Ｍ×Ｎ画像ブロックの全ての画素から水平ｘ、垂直ｙ、時間ｔの輝度勾配ベクトルの共分散行列３×３が算出される輝度勾配共分散行列算出部１３、輝度勾配ベクトルの３×３共分散行列から動きベクトルを算出する動きベクトル算出部１４、輝度勾配ベクトルの３×３共分散行列の三番目に大きい固有値λ３を算出するλ３算出部１５、輝度勾配ベクトルの３×３共分散行列の一番目に大きい固有値λ１，次に二番目に大きい固有値λ２の擬似的な値をもつ、２×２共分散行列の一番目に大きい固有値λ'１，次に二番目に大きい固有値λ'２を算出するλ'１，λ'２算出部１６から構成される。
【００１４】
図１において、入力端１１に入力された映像信号は、ブロック抽出部１２に供給され、ここで指定された指定された位置（ｘ，ｙ）およびサイズＭ×Ｎの画像ブロックが抽出される。画像ブロック位置（水平ｘ，垂直ｙ）は、ブロック位置情報に基づき指定される。画像ブロックのサイズＭ，Ｎは、予め指定された縦方向及び横方向の画素数である。ブロック抽出部１２は供給された動画像の異なる時間ｔ，ｔ＋ｔ1 ，ｔ＋ｔ2 ，…の画像の画像ブロックを抽出する。抽出された画像ブロックは、次段の輝度勾配共分散行列算出部１３に供給される。
【００１５】
輝度勾配共分散行列算出部１３に映像信号が入力され、映像信号の３方向（水平ｘ、垂直ｙ、時間ｔ）の輝度勾配ベクトルが算出され、このｘ，ｙ，ｔの各方向の差分値をＩｘ，Ｉｙ，Ｉｔと表記する。
【００１６】
Ｉｘ：ｘ方向の輝度勾配ベクトル（ｘ方向差分値）
Ｉｙ：ｙ方向の輝度勾配ベクトル（ｙ方向差分値）
Ｉｔ：ｔ方向の輝度勾配ベクトル（ｔ方向差分値）
また、輝度勾配共分散行列算出部１３は、以下に示す処理を行い、３×３輝度勾配共分散行列Ａを算出する。ある画像ブロック内の各画素の輝度勾配ベクトルを次式で表す。
【００１７】
輝度勾配ベクトルｇｉ＝（Ｉｘ,Ｉｙ,Ｉｔ）ｔ ・・・ （1）
ある画像ブロックの全てのＮ画素についての和を、Σで表し、輝度勾配ベクトルｇｉ＝（Ｉｘ，Ｉｙ，Ｉｔ）tから輝度勾配共分散行列Ａが定義される。
【数１】
【００１８】
輝度勾配共分散行列算出部１３において算出された輝度共分散行列Ａの成分は、動きベクトル算出部１４に入力される。動きベクトル算出部１４では、輝度共分散行列Ａの成分から動きベクトルｍ＝(ｕ，ｖ)ｔを算出する。
【００１９】
次に、動きベクトルｍの算出動作を説明する。公知のように、微小時間において映像（輝度）信号は変化しないという条件から、次式に示す勾配法による動きベクトルの拘束式が得られる。
【００２０】
Ｉx ｕ+Ｉy ｖ+Ｉt＝０ ・・・ （4）
ただし、ｕは動きベクトルｍのｘ成分、ｖは動きベクトルｍのｙ成分とする。同時に、動きベクトル（ｕ，ｖ）を３次元へ拡張したベクトルである移動ベクトルをｗ＝(ｕ,ｖ,１)ｔと定義する。基本拘束式（４）は輝度勾配ベクトルｇｉ＝(Ｉx,Ｉy,Ｉt)ｔと移動ベクトルをｗ＝(ｕ,ｖ,１)tを用いて次式で表される。
【００２１】
ｇｉｔ・ｗ＝(Ｉx,Ｉy,Ｉt)(ｕ,ｖ,１)ｔ＝０ ・・ （5）
ここで、輝度勾配ベクトルｇi=(Ｉx,Ｉy,Ｉt)tの分布の概念を図３に示す。
【００２２】
次に、評価関数Ｅを定義する。
【００２３】
Ｅ＝Σ(ｇｉｔ・ｗ)２
＝Σ｛(Ｉx i,Ｉy i ,Ｉt i)(ｕ,ｖ,１)ｔ｝２ ・・・ （6)
＝Σ（Ｉx u+Ｉy v+Ｉt）２ ・・・ (７)
＝Σix２ｕ２+Σiy２ｖ２+Σit２+ΣIx Iy ｕｖ+ΣIxIt ｕ+ΣIyIt ｖ ・・・(7)
式（７）明らかなように、各係数は式（３）の輝度勾配ベクトルの共分散行列成分として表される。
【００２４】
a11＝Σix２,a22=Σiy２,a33=Σit２,a12=ΣIxIy,a13=ΣIxIt,a23=ΣIyIt
評価関数Ｅの極値を与えるｕｖを求める。
【００２５】
∂E/∂u＝Σix２ u＋ΣixIy v＋ΣIxIt＝０ ・・・ （8）
∂E/∂v＝Σiy２ v＋ΣixIy u＋ΣIyIt＝０ ・・・ （9)
行列表記すれば、
【数２】
式（８），（９）あるいは（１０）の係数は、輝度勾配共分散行列Ａの成分として表記することができ、
【数３】
輝度共分散行列Ａの成分を係数とした２元１次方程式に帰着するので、単純な四則演算で解ｕ，ｖを求められる。動きベクトルｍ＝(ｕ，ｖ)ｔ、移動ベクトルｗ＝(ｕ，ｖ，１)ｔが決定される。この（ｕ，ｖ）を式（７）へ代入して評価関数Ｅの極値が得られる。
【００２６】
次に、λ３算出部１５は、動きベクトル算出部１４から動きベクトルｍ＝(ｕ,ｖ)と輝度勾配共分散行列算出部１３から輝度共分散行列Ａの成分を受けて、輝度勾配共分散行列Ａの三番目の固有値λ３を算出する。
【００２７】
図２に示すように、ある画像ブロック内の各輝度勾配ベクトルｇｉ＝(Ｉxｉ,Ｉyｉ,Ｉt ｉ)ｔと、この画像ブロックの移動ベクトルｗ＝(ｕ,ｖ,１)ｔとのなす角をθとする。
【００２８】
ｇｉ=(Ｉxｉ,Ｉyｉ,Ｉtｉ)ｔの(ｕ,ｖ,１)方向への投影成分の大きさをηｉとすれば、次式で表される。
【００２９】
Ηi＝|gi|cosθ
＝|gi|(giｔ・w)/{|w||gi|}
＝（giｔ・w）/|w|
＝(Ix i,Iy i,It i)・(u,v,1)ｔ/|(u,v,1)|
＝(Ix i u＋Iy i v＋It i)/√(u２＋v２＋1) ・・・ （12)
ηiの平均をη、分散をＤとする。
η＝(1/N)Σηi
＝(1/N)Σ(ｇiｔ・w)/|w|=(1/N)/|w|Σ(ｇiｔ・w)
＝(1/N)Σ(Ixｉ u＋Iyｉ v＋Itｉ)/√(u２＋v２＋1)|
＝(1/N){1/√(u２＋v２＋1)|}Σ(Ixｉ u＋Iyｉ v＋Itｉ) ・・・ （13)
Ｄ＝(1/N)Σ(ηi−η)２
＝(1/N)/|w|Σ{(giｔ・w)−(1/N)Σ(giｔ・w)}２
＝(1/N)Σ[(Ixｉ u+Iyｉ v+Itｉ)/√(u２+v２+1)−(1/N)Σ(Ixｉ u+Iyｉ v+Itｉ)/√(u２+v２+1)]２
＝[1/(u２+v２+1)][(1/N)Σ(Ixｉu+Iyｉv+Itｉ)２−{(1/N)Σ(Ixｉu+Iyｉ v+Itｉ)}２]
＝(1/|w|２)[(1/N)Σ( giｔ・w)２−{(1/N)Σgiｔ・wi}２]
＝[1/(ｕ２+ｖ２+1)][(1/N)Ｅ−{(1/N)Σｇiｔ・w}２]
＝[1/(ｕ２+ｖ２+1)][(1/N)Ｅ−{(1/N)Σ(Ixｉ u+Iyｉ v+Itｉ)}２]
＝(1/N)(1/|w|２){E−(1/N)(Σｇiｔ・w)２}
拘束式（５）の左辺をεiとすると、εi＝ｇiｔ・ｗであるから、
Ｄ＝(1/|w|２)[(1/N)Σ(εi)２−{(1/N)Σεi}２] ・・・ （14）
→｛(ε２乗の平均)−(ε平均の２乗)｝÷(移動ベクトルの大きさ)
Ｎは画像ブロック内の輝度勾配ベクトルの総数を表す(ｉ=１,２,・・，Ｎ)。式(１４)の平均に関する項＝{(１/Ｎ){Σεi}}２≒０とみなして、次式で近似してもよい。
【００３０】
Ｄ＝(1/|w|２)[(1/N)Σ(εi)２
＝(1/N)E/(u２+v２+1) ・・・ （15）
３×３輝度勾配共分散行列Ａの三番目の固有値λ３に対応する固有ベクトルはξ３であるが、移動ベクトルｗとほぼ同じ向きを持っている。従って、固有ベクトルξ３上の分散を意味する固有値λ３は、移動ベクトルｗ上に定義される分散とほぼ等しい。
【００３１】
λ３≒Ｄ ・・・ （16）
上記処理は、高々２次の処理であるので、演算が容易で、また、適当な桁数の固定小数点処理の実施が容易である。
【００３２】
λ'１，λ'２算出部１６は、輝度勾配共分散行列Ａを受けて、３×３共分散行列Ａの固有値の固有値λ１，λ２の擬似的な値をもつλ'１，λ'２を、２×２共分散行列から算出する。式（５）において、ｔ方向輝度勾配ベクトルＩt＝０とすると、
【数４】
を解くことで、λ'１，λ'２を求めることができる。λ'１，λ'２は、厳密には３次元で定義された固有値λ１，λ２とは若干異なるが、輝度勾配ベクトルのエッジ成分の分布を表しており、動きベクトルの信頼性評価には実用的に使用できる。実施例１ではλ１≒λ'１，λ２≒λ'２として出力する。
【００３３】
この実施形態では、動きベクトルを算出するために、３次元で定義された固有値λ１〜λ３のうち、固有値λ１，λ２は近似する静止画の固有値λ'１，λ'２を代用し、２次固定方程式で求め、精度を必要とする固有値λ３は、通常の分散式で求めている。このように、２次固定方程式による計算を行うことで演算量を少なくして時間内処理を可能とするとともに、固有値λ１，λ２に近似のλ'１，λ'２を代用していることから精度の高い動きベクトルの算出の実現することができる。
【００３４】
（第２の実施形態）
図４は、動きベクトル算出装置に関する第２の実施形態について説明するための概略的なシステム構成図である。
【００３５】
この実施形態は、第1の実施例のλ'１、λ'２算出部１６で算出された固有値λ’１，λ’２を補正するための補正部１７を追加したものである。補正部１７は、λ'１，λ'２算出部１６から２×２固有値λ’1，λ'２を受け、動きベクトル（ｕ,ｖ）を受け、３×３固有値λ１，λ２を算出する。そして後述するように、下記補正を行う。
【００３６】
λ１＝√(１+|ｍ|２cos２φ)λ'１ ・・・ （19）
λ２＝√{１+|ｍ|２(1−cos２φ)}λ'２ ・・・ （20）
ただし、２×２固有値をλ'１，λ'２とし、λ'１に対応する固有ベクトルをξ’1とする。また、
cos２φ＝(ｍｔ・ξ'１)２/(|ｍ|２|ξ'１|２) ・・・ （21）
ｍ＝(ｕ,ｖ)ｔ , |ｍ|２＝ｕ２+ｖ２
図５の３×３固有値と２×２固有値の説明図を用いて、補正の詳細について説明する。輝度勾配共分散行列Ａの３次元固有ベクトルξ１，ξ２，ξ３を考える。
【００３７】
画像に動きがない場合、Ｉt＝０であるから、固有ベクトルξ１，ξ２の平面はＩx，Ｉy平面と一致し、固有ベクトルξ３軸とＩt軸は一致する。動きのある状態において、図５に示すようにξ３軸とＩt軸に傾きθが発生し、同時に固有ベクトルξ１，ξ２平面とＩx，Ｉy軸平面とに傾きθが発生する。この回転軸をβ軸，βと直行する軸をα軸とする。
【００３８】
図６に固有ベクトルξ１'，ξ２'の平面を示す。動きがあるとＩt≠０となり、β軸を回転軸としてξ座標系はθ回転をする。このとき移動ベクトルは(ｕ，ｖ，１)になる。固有ベクトルξ１，ξ２を平面Ｉx，Ｉyに投影した座標をξ１'，ξ２'とする。動きベクトルｍと固有ベクトルξ1'とのなす角度をφとすると、
cosφ＝ｍｔ・ξ１'/(|ｍ||ξ1'|) ・・・ （22）
動きがある場合においても角度φを一定として、固有ベクトルξ１上の分散である固有値λ１をα方向λ1α、β方向λ1βに分解する。
【００３９】
λ１α＝λ１cosφ ・・・ （23)
λ１β＝λ１sinφ ・・・ （24）
このλ１α，λ１βをＩx,Ｉyとし、平面に投影したものをλ'１α，λ'１βとすると、
λ１αcosθ＝λ'１α ・・・ （25)
λ１β＝λ'１β ・・・ （26）
ただし、Ｉx，Ｉy平面においてλ’とすると
λ'１α＝λ'１cosφ ・・・ （27)
λ'１β＝λ'１sinφ ・・・ （28）
角度θを動きベクトルｍで表すと
cosθ＝1/√(1+|ｍ|２) ・・・ （29）
から、
1/cosθ＝√(１+|ｍ|２) ・・・ （30）
式（２５），（２６）は次のように変形され
λ１α＝√(1+|ｍ|２)λ'１α ・・・ （31)
λ１β＝λ'１β ・・・ （32）
従って、
λ1２＝λ１α２＋λ１β２ ・・・ （33）
＝(１+|ｍ|２)λ'１α２＋λ'１α２
＝(１+|ｍ|２)λ'１２cos２φ+λ'１２sin２φ
λ1２＝(１+|ｍ|２cos２φ)λ'１２
λ1 ＝√(１+|ｍ|２cos２φ)λ'１ ・・・ （34）
同様にλ２について求めると、
λ2２＝λ２α２＋λ２β２
＝(１+|ｍ|２sin２φ)λ’２２
＝{１+|ｍ|２(１−cos２φ)}λ'２２
λ2 ＝√{１+|ｍ|２(１−cos２φ)}λ'２ ・・・ （35）
ただし、cos２φ＝（ｍｔ・ξ'１）２/(|ｍ|２|ξ'1|２) ・・・ （36）
ｍ＝(ｕ,ｖ)ｔ , |ｍ|２＝ｕ２+ｖ２
となり、固有値λ'１，λ'２および固有ベクトルξ'1は、Ｉt＝０とみなした２×２の輝度勾配ベクトルの共分散行列の固有値および固有ベクトルξ'１として求めることができる。
【数５】
【００４０】
式(３６)の２×２の輝度勾配ベクトルの共分散行列から、固有値λ'１，λ'２および固有ベクトルξ'１を求める。固有値算出は２次方程式の解を求めることであり、固有ベクトルは２元１次方程式を解くことに帰着する。加えて、別途動きベクトルｍ＝(ｕ,ｖ)ｔを求める。式(３４)−(３６)を用いて、λ'１，λ’２，ξ'１，ｕ，ｖから固有値λ１、λ２を求めることができる。
【００４１】
この説明ではφを定義するにあたり、固有ベクトルξ１'を用いて説明したが、固有ベクトルξ２'を用いても同様に扱えることは明らかである。このときφをπ/２−φで置き換えてやればよい。
【００４２】
この実施形態では、３次固定方程式を用いないで計算を行うことで、演算量を少なくして時間内の処理と動きベクトルの算出精度を向上させる効果に加え、静止画として見なして２次方程式で求めた固有値λ'１，λ'２に対し、動きベクトルから動いた角度を推定し、固有値λ'１，λ'２に補正をかけたことにより、動きベクトルの算出精度をより向上させることが可能となる。
【００４３】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４４】
１２ ブロック抽出部
１３ 輝度勾配共分散行列算出部
１４ 動きベクトル算出部
１５ λ３算出部
１６ λ'１、λ'２算出部
１７ 補正部
【技術分野】
【０００１】
この発明の実施形態は、動画像の画像ブロック毎の動きベクトルを算出する動きベクトル算出装置に関する。
【背景技術】
【０００２】
従来、画像ブロック内の画像内容の性質に応じて画像ブロックサイズの増減を行い、時空間輝度勾配（差分）ベクトル分布に対応した適正な画像ブロックサイズを用いた動き量の推定を行うことで、より正確な動き量の推定を行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−５１７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術で動きベクトル算出処理を行う場合は、３×３の輝度勾配共分散行列の固有値を算出し、この固有値から固有ベクトルを算出していることから、高い信頼度の動きベクトルの評価が可能である。
【０００５】
しかし、３×３行列の固有値を求めることは、３次方程式の解を求めることである。この場合、数値演算処理として初期値を設定し、反復演算によって所要精度まで繰り返すニュートン法や２分法等が用いられる。固有値は３個存在するので、この数値演算も３回必要である。画像はブロックに分割処理され、ブロック毎にこの演算を行い、動画像信号なので毎フレーム処理が行われ、全体システムとして膨大な演算量が必要となる。加えて、３次式において飽和せずしかも微小値が丸めで切り捨てられないためには浮動小数点処理あるいは膨大な桁数の固定小数点処理が必要となる。このような演算を実行するために必要な例えば１／３０秒以内とするには演算時間が間に合わない、という問題があった。
【０００６】
この実施形態では、動画像の画像ブロック毎の動きベクトルを算出する演算量を低減した動きベクトル算出装置を提供する。
【課題を解決するための手段】
【０００７】
実施形態によれば、画素数Ｎをもつある画像ブロック内にあって、該画像ブロック内の各画素の輝度勾配ベクトルをｇｉ＝(Ｉｘ,Ｉｙ,Ｉｔ)ｔ［ただし、Ｉｘはｘ（水平）方向の輝度勾配ベクトル、Ｉｙはｙ（垂直）方向の輝度勾配ベクトル、Ｉｔはｔ（時間）方向の輝度勾配ベクトル］、前記画像ブロック内の移動ベクトルをｗ＝(ｕ,ｖ,１)ｔとし、εｉ＝ｇｉｔ・ｗとしたとき、評価関数Ｅ＝Σεｉ２の極値を与えるｕ,ｖとして、動きベクトルｍ＝(ｕ,ｖ)を算出する動きベクトル算出装置において、前記動きベクトルｍを３次元へ拡張した移動ベクトル方向の分散を、Ｄ＝(１/|ｗ|２)[(１/Ｎ)Σεｉ２−{(１/Ｎ)Σεｉ}２]とする。
【０００８】
また、画素数Ｎをもつある画像ブロック内にあって、該画像ブロック内の各画素の輝度勾配ベクトルをｇｉ＝(Ｉx,Ｉy,Ｉt)ｔ［ただし、Ｉｘはｘ（水平）方向の輝度勾配ベクトル、Ｉｙはｙ（垂直）方向の輝度勾配ベクトル、Ｉｔはｔ（時間）方向の輝度勾配ベクトル］、前記画像ブロック内の移動ベクトルをｗ＝(ｕ,ｖ,１)ｔとし、εｉ＝ｇｉｔ・ｗとしたとき、評価関数Ｅ＝Σεｉ２の極値を与えるｕ,ｖとして、動きベクトルｍ＝(ｕ,ｖ)を算出する動きベクトル算出装置において、前記動きベクトルｍを３次元へ拡張した移動ベクトル方向の分散を、Ｄ＝(１/|ｗ|２)(１/Ｎ)Σεｉ２とする。
【０００９】
さらに、映像信号から抽出された画像ブロックの全ての画素から水平、垂直、時間の輝度勾配ベクトルの共分散行列（３×３）を算出する輝度勾配共分散行列算出部と、前記輝度勾配ベクトルの共分散行列（３×３）の要素から動きベクトルを算出する動きベクトル算出部と、前記輝度勾配ベクトルの共分散行列（３×３））の三番目に大きい固有値λ３を算出する第１の算出部と、前記輝度勾配ベクトルの共分散行列（３×３）の時間方向の勾配ベクトルを０としたときの輝度勾配ベクトルの共分散行列（２×２）の一番目に大きい固有値λ'１、次に二番目に大きい固有値λ'２を算出する第２の算出部と、を備える。
【図面の簡単な説明】
【００１０】
【図１】動きベクトル算出装置に関する第１の実施形態について説明するための概念的な回路構成図である。
【図２】ある画像ブロック内の各輝度勾配ベクトルと同画像ブロックの移動ベクトルのなす角度θについて説明するための説明図である。
【図３】輝度勾配ベクトルの分布の概念について説明するための説明図である。
【図４】動きベクトル算出装置に関する第２の実施形態について説明するための概略的なシステム構成図である。
【図５】３×３固有値と２×２固有値について説明するための説明図である。
【図６】図５の固有ベクトルξ１'，ξ２'を平面上で説明するための説明図である。
【発明を実施するための形態】
【００１１】
以下、実施形態について、図面を参照しながら詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００１２】
（第１の実施形態）
図１は、動きベクトル算出装置に関する第１の実施形態について説明するための概念的な回路構成図である。
【００１３】
図１に示す動きベクトル算出装置は、動画像の映像信号が入力される入力端子１１、映像信号の画像ブロックの位置・サイズ情報を抽出するブロック抽出部１２、Ｍ×Ｎ画像ブロックの全ての画素から水平ｘ、垂直ｙ、時間ｔの輝度勾配ベクトルの共分散行列３×３が算出される輝度勾配共分散行列算出部１３、輝度勾配ベクトルの３×３共分散行列から動きベクトルを算出する動きベクトル算出部１４、輝度勾配ベクトルの３×３共分散行列の三番目に大きい固有値λ３を算出するλ３算出部１５、輝度勾配ベクトルの３×３共分散行列の一番目に大きい固有値λ１，次に二番目に大きい固有値λ２の擬似的な値をもつ、２×２共分散行列の一番目に大きい固有値λ'１，次に二番目に大きい固有値λ'２を算出するλ'１，λ'２算出部１６から構成される。
【００１４】
図１において、入力端１１に入力された映像信号は、ブロック抽出部１２に供給され、ここで指定された指定された位置（ｘ，ｙ）およびサイズＭ×Ｎの画像ブロックが抽出される。画像ブロック位置（水平ｘ，垂直ｙ）は、ブロック位置情報に基づき指定される。画像ブロックのサイズＭ，Ｎは、予め指定された縦方向及び横方向の画素数である。ブロック抽出部１２は供給された動画像の異なる時間ｔ，ｔ＋ｔ1 ，ｔ＋ｔ2 ，…の画像の画像ブロックを抽出する。抽出された画像ブロックは、次段の輝度勾配共分散行列算出部１３に供給される。
【００１５】
輝度勾配共分散行列算出部１３に映像信号が入力され、映像信号の３方向（水平ｘ、垂直ｙ、時間ｔ）の輝度勾配ベクトルが算出され、このｘ，ｙ，ｔの各方向の差分値をＩｘ，Ｉｙ，Ｉｔと表記する。
【００１６】
Ｉｘ：ｘ方向の輝度勾配ベクトル（ｘ方向差分値）
Ｉｙ：ｙ方向の輝度勾配ベクトル（ｙ方向差分値）
Ｉｔ：ｔ方向の輝度勾配ベクトル（ｔ方向差分値）
また、輝度勾配共分散行列算出部１３は、以下に示す処理を行い、３×３輝度勾配共分散行列Ａを算出する。ある画像ブロック内の各画素の輝度勾配ベクトルを次式で表す。
【００１７】
輝度勾配ベクトルｇｉ＝（Ｉｘ,Ｉｙ,Ｉｔ）ｔ ・・・ （1）
ある画像ブロックの全てのＮ画素についての和を、Σで表し、輝度勾配ベクトルｇｉ＝（Ｉｘ，Ｉｙ，Ｉｔ）tから輝度勾配共分散行列Ａが定義される。
【数１】
【００１８】
輝度勾配共分散行列算出部１３において算出された輝度共分散行列Ａの成分は、動きベクトル算出部１４に入力される。動きベクトル算出部１４では、輝度共分散行列Ａの成分から動きベクトルｍ＝(ｕ，ｖ)ｔを算出する。
【００１９】
次に、動きベクトルｍの算出動作を説明する。公知のように、微小時間において映像（輝度）信号は変化しないという条件から、次式に示す勾配法による動きベクトルの拘束式が得られる。
【００２０】
Ｉx ｕ+Ｉy ｖ+Ｉt＝０ ・・・ （4）
ただし、ｕは動きベクトルｍのｘ成分、ｖは動きベクトルｍのｙ成分とする。同時に、動きベクトル（ｕ，ｖ）を３次元へ拡張したベクトルである移動ベクトルをｗ＝(ｕ,ｖ,１)ｔと定義する。基本拘束式（４）は輝度勾配ベクトルｇｉ＝(Ｉx,Ｉy,Ｉt)ｔと移動ベクトルをｗ＝(ｕ,ｖ,１)tを用いて次式で表される。
【００２１】
ｇｉｔ・ｗ＝(Ｉx,Ｉy,Ｉt)(ｕ,ｖ,１)ｔ＝０ ・・ （5）
ここで、輝度勾配ベクトルｇi=(Ｉx,Ｉy,Ｉt)tの分布の概念を図３に示す。
【００２２】
次に、評価関数Ｅを定義する。
【００２３】
Ｅ＝Σ(ｇｉｔ・ｗ)２
＝Σ｛(Ｉx i,Ｉy i ,Ｉt i)(ｕ,ｖ,１)ｔ｝２ ・・・ （6)
＝Σ（Ｉx u+Ｉy v+Ｉt）２ ・・・ (７)
＝Σix２ｕ２+Σiy２ｖ２+Σit２+ΣIx Iy ｕｖ+ΣIxIt ｕ+ΣIyIt ｖ ・・・(7)
式（７）明らかなように、各係数は式（３）の輝度勾配ベクトルの共分散行列成分として表される。
【００２４】
a11＝Σix２,a22=Σiy２,a33=Σit２,a12=ΣIxIy,a13=ΣIxIt,a23=ΣIyIt
評価関数Ｅの極値を与えるｕｖを求める。
【００２５】
∂E/∂u＝Σix２ u＋ΣixIy v＋ΣIxIt＝０ ・・・ （8）
∂E/∂v＝Σiy２ v＋ΣixIy u＋ΣIyIt＝０ ・・・ （9)
行列表記すれば、
【数２】
式（８），（９）あるいは（１０）の係数は、輝度勾配共分散行列Ａの成分として表記することができ、
【数３】
輝度共分散行列Ａの成分を係数とした２元１次方程式に帰着するので、単純な四則演算で解ｕ，ｖを求められる。動きベクトルｍ＝(ｕ，ｖ)ｔ、移動ベクトルｗ＝(ｕ，ｖ，１)ｔが決定される。この（ｕ，ｖ）を式（７）へ代入して評価関数Ｅの極値が得られる。
【００２６】
次に、λ３算出部１５は、動きベクトル算出部１４から動きベクトルｍ＝(ｕ,ｖ)と輝度勾配共分散行列算出部１３から輝度共分散行列Ａの成分を受けて、輝度勾配共分散行列Ａの三番目の固有値λ３を算出する。
【００２７】
図２に示すように、ある画像ブロック内の各輝度勾配ベクトルｇｉ＝(Ｉxｉ,Ｉyｉ,Ｉt ｉ)ｔと、この画像ブロックの移動ベクトルｗ＝(ｕ,ｖ,１)ｔとのなす角をθとする。
【００２８】
ｇｉ=(Ｉxｉ,Ｉyｉ,Ｉtｉ)ｔの(ｕ,ｖ,１)方向への投影成分の大きさをηｉとすれば、次式で表される。
【００２９】
Ηi＝|gi|cosθ
＝|gi|(giｔ・w)/{|w||gi|}
＝（giｔ・w）/|w|
＝(Ix i,Iy i,It i)・(u,v,1)ｔ/|(u,v,1)|
＝(Ix i u＋Iy i v＋It i)/√(u２＋v２＋1) ・・・ （12)
ηiの平均をη、分散をＤとする。
η＝(1/N)Σηi
＝(1/N)Σ(ｇiｔ・w)/|w|=(1/N)/|w|Σ(ｇiｔ・w)
＝(1/N)Σ(Ixｉ u＋Iyｉ v＋Itｉ)/√(u２＋v２＋1)|
＝(1/N){1/√(u２＋v２＋1)|}Σ(Ixｉ u＋Iyｉ v＋Itｉ) ・・・ （13)
Ｄ＝(1/N)Σ(ηi−η)２
＝(1/N)/|w|Σ{(giｔ・w)−(1/N)Σ(giｔ・w)}２
＝(1/N)Σ[(Ixｉ u+Iyｉ v+Itｉ)/√(u２+v２+1)−(1/N)Σ(Ixｉ u+Iyｉ v+Itｉ)/√(u２+v２+1)]２
＝[1/(u２+v２+1)][(1/N)Σ(Ixｉu+Iyｉv+Itｉ)２−{(1/N)Σ(Ixｉu+Iyｉ v+Itｉ)}２]
＝(1/|w|２)[(1/N)Σ( giｔ・w)２−{(1/N)Σgiｔ・wi}２]
＝[1/(ｕ２+ｖ２+1)][(1/N)Ｅ−{(1/N)Σｇiｔ・w}２]
＝[1/(ｕ２+ｖ２+1)][(1/N)Ｅ−{(1/N)Σ(Ixｉ u+Iyｉ v+Itｉ)}２]
＝(1/N)(1/|w|２){E−(1/N)(Σｇiｔ・w)２}
拘束式（５）の左辺をεiとすると、εi＝ｇiｔ・ｗであるから、
Ｄ＝(1/|w|２)[(1/N)Σ(εi)２−{(1/N)Σεi}２] ・・・ （14）
→｛(ε２乗の平均)−(ε平均の２乗)｝÷(移動ベクトルの大きさ)
Ｎは画像ブロック内の輝度勾配ベクトルの総数を表す(ｉ=１,２,・・，Ｎ)。式(１４)の平均に関する項＝{(１/Ｎ){Σεi}}２≒０とみなして、次式で近似してもよい。
【００３０】
Ｄ＝(1/|w|２)[(1/N)Σ(εi)２
＝(1/N)E/(u２+v２+1) ・・・ （15）
３×３輝度勾配共分散行列Ａの三番目の固有値λ３に対応する固有ベクトルはξ３であるが、移動ベクトルｗとほぼ同じ向きを持っている。従って、固有ベクトルξ３上の分散を意味する固有値λ３は、移動ベクトルｗ上に定義される分散とほぼ等しい。
【００３１】
λ３≒Ｄ ・・・ （16）
上記処理は、高々２次の処理であるので、演算が容易で、また、適当な桁数の固定小数点処理の実施が容易である。
【００３２】
λ'１，λ'２算出部１６は、輝度勾配共分散行列Ａを受けて、３×３共分散行列Ａの固有値の固有値λ１，λ２の擬似的な値をもつλ'１，λ'２を、２×２共分散行列から算出する。式（５）において、ｔ方向輝度勾配ベクトルＩt＝０とすると、
【数４】
を解くことで、λ'１，λ'２を求めることができる。λ'１，λ'２は、厳密には３次元で定義された固有値λ１，λ２とは若干異なるが、輝度勾配ベクトルのエッジ成分の分布を表しており、動きベクトルの信頼性評価には実用的に使用できる。実施例１ではλ１≒λ'１，λ２≒λ'２として出力する。
【００３３】
この実施形態では、動きベクトルを算出するために、３次元で定義された固有値λ１〜λ３のうち、固有値λ１，λ２は近似する静止画の固有値λ'１，λ'２を代用し、２次固定方程式で求め、精度を必要とする固有値λ３は、通常の分散式で求めている。このように、２次固定方程式による計算を行うことで演算量を少なくして時間内処理を可能とするとともに、固有値λ１，λ２に近似のλ'１，λ'２を代用していることから精度の高い動きベクトルの算出の実現することができる。
【００３４】
（第２の実施形態）
図４は、動きベクトル算出装置に関する第２の実施形態について説明するための概略的なシステム構成図である。
【００３５】
この実施形態は、第1の実施例のλ'１、λ'２算出部１６で算出された固有値λ’１，λ’２を補正するための補正部１７を追加したものである。補正部１７は、λ'１，λ'２算出部１６から２×２固有値λ’1，λ'２を受け、動きベクトル（ｕ,ｖ）を受け、３×３固有値λ１，λ２を算出する。そして後述するように、下記補正を行う。
【００３６】
λ１＝√(１+|ｍ|２cos２φ)λ'１ ・・・ （19）
λ２＝√{１+|ｍ|２(1−cos２φ)}λ'２ ・・・ （20）
ただし、２×２固有値をλ'１，λ'２とし、λ'１に対応する固有ベクトルをξ’1とする。また、
cos２φ＝(ｍｔ・ξ'１)２/(|ｍ|２|ξ'１|２) ・・・ （21）
ｍ＝(ｕ,ｖ)ｔ , |ｍ|２＝ｕ２+ｖ２
図５の３×３固有値と２×２固有値の説明図を用いて、補正の詳細について説明する。輝度勾配共分散行列Ａの３次元固有ベクトルξ１，ξ２，ξ３を考える。
【００３７】
画像に動きがない場合、Ｉt＝０であるから、固有ベクトルξ１，ξ２の平面はＩx，Ｉy平面と一致し、固有ベクトルξ３軸とＩt軸は一致する。動きのある状態において、図５に示すようにξ３軸とＩt軸に傾きθが発生し、同時に固有ベクトルξ１，ξ２平面とＩx，Ｉy軸平面とに傾きθが発生する。この回転軸をβ軸，βと直行する軸をα軸とする。
【００３８】
図６に固有ベクトルξ１'，ξ２'の平面を示す。動きがあるとＩt≠０となり、β軸を回転軸としてξ座標系はθ回転をする。このとき移動ベクトルは(ｕ，ｖ，１)になる。固有ベクトルξ１，ξ２を平面Ｉx，Ｉyに投影した座標をξ１'，ξ２'とする。動きベクトルｍと固有ベクトルξ1'とのなす角度をφとすると、
cosφ＝ｍｔ・ξ１'/(|ｍ||ξ1'|) ・・・ （22）
動きがある場合においても角度φを一定として、固有ベクトルξ１上の分散である固有値λ１をα方向λ1α、β方向λ1βに分解する。
【００３９】
λ１α＝λ１cosφ ・・・ （23)
λ１β＝λ１sinφ ・・・ （24）
このλ１α，λ１βをＩx,Ｉyとし、平面に投影したものをλ'１α，λ'１βとすると、
λ１αcosθ＝λ'１α ・・・ （25)
λ１β＝λ'１β ・・・ （26）
ただし、Ｉx，Ｉy平面においてλ’とすると
λ'１α＝λ'１cosφ ・・・ （27)
λ'１β＝λ'１sinφ ・・・ （28）
角度θを動きベクトルｍで表すと
cosθ＝1/√(1+|ｍ|２) ・・・ （29）
から、
1/cosθ＝√(１+|ｍ|２) ・・・ （30）
式（２５），（２６）は次のように変形され
λ１α＝√(1+|ｍ|２)λ'１α ・・・ （31)
λ１β＝λ'１β ・・・ （32）
従って、
λ1２＝λ１α２＋λ１β２ ・・・ （33）
＝(１+|ｍ|２)λ'１α２＋λ'１α２
＝(１+|ｍ|２)λ'１２cos２φ+λ'１２sin２φ
λ1２＝(１+|ｍ|２cos２φ)λ'１２
λ1 ＝√(１+|ｍ|２cos２φ)λ'１ ・・・ （34）
同様にλ２について求めると、
λ2２＝λ２α２＋λ２β２
＝(１+|ｍ|２sin２φ)λ’２２
＝{１+|ｍ|２(１−cos２φ)}λ'２２
λ2 ＝√{１+|ｍ|２(１−cos２φ)}λ'２ ・・・ （35）
ただし、cos２φ＝（ｍｔ・ξ'１）２/(|ｍ|２|ξ'1|２) ・・・ （36）
ｍ＝(ｕ,ｖ)ｔ , |ｍ|２＝ｕ２+ｖ２
となり、固有値λ'１，λ'２および固有ベクトルξ'1は、Ｉt＝０とみなした２×２の輝度勾配ベクトルの共分散行列の固有値および固有ベクトルξ'１として求めることができる。
【数５】
【００４０】
式(３６)の２×２の輝度勾配ベクトルの共分散行列から、固有値λ'１，λ'２および固有ベクトルξ'１を求める。固有値算出は２次方程式の解を求めることであり、固有ベクトルは２元１次方程式を解くことに帰着する。加えて、別途動きベクトルｍ＝(ｕ,ｖ)ｔを求める。式(３４)−(３６)を用いて、λ'１，λ’２，ξ'１，ｕ，ｖから固有値λ１、λ２を求めることができる。
【００４１】
この説明ではφを定義するにあたり、固有ベクトルξ１'を用いて説明したが、固有ベクトルξ２'を用いても同様に扱えることは明らかである。このときφをπ/２−φで置き換えてやればよい。
【００４２】
この実施形態では、３次固定方程式を用いないで計算を行うことで、演算量を少なくして時間内の処理と動きベクトルの算出精度を向上させる効果に加え、静止画として見なして２次方程式で求めた固有値λ'１，λ'２に対し、動きベクトルから動いた角度を推定し、固有値λ'１，λ'２に補正をかけたことにより、動きベクトルの算出精度をより向上させることが可能となる。
【００４３】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４４】
１２ ブロック抽出部
１３ 輝度勾配共分散行列算出部
１４ 動きベクトル算出部
１５ λ３算出部
１６ λ'１、λ'２算出部
１７ 補正部
【特許請求の範囲】
【請求項１】
画素数Ｎをもつある画像ブロック内にあって、該画像ブロック内の各画素の輝度勾配ベクトルをｇｉ＝(Ｉｘ,Ｉｙ,Ｉｔ)ｔ［ただし、Ｉｘはｘ（水平）方向の輝度勾配ベクトル、Ｉｙはｙ（垂直）方向の輝度勾配ベクトル、Ｉｔはｔ（時間）方向の輝度勾配ベクトル］、前記画像ブロック内の移動ベクトルをｗ＝(ｕ,ｖ,１)ｔとし、εｉ＝ｇｉｔ・ｗとしたとき、評価関数Ｅ＝Σεｉ２の極値を与えるｕ,ｖとして、動きベクトルｍ＝(ｕ,ｖ)を算出する動きベクトル算出装置において、
前記動きベクトルｍを３次元へ拡張した移動ベクトル方向の分散を、Ｄ＝(１/|ｗ|２)[(１/Ｎ)Σεｉ２−{(１/Ｎ)Σεｉ}２]とする、動きベクトル算出装置。
【請求項２】
前記輝度勾配ベクトルの共分散行列の三番目に大きい固有値λ３を、前記移動ベクトル方向の分散Ｄと等しくした、請求項１記載の動きベクトル算出装置。
【請求項３】
画素数Ｎをもつある画像ブロック内にあって、該画像ブロック内の各画素の輝度勾配ベクトルをｇｉ＝(Ｉx,Ｉy,Ｉt)ｔ［ただし、Ｉｘはｘ（水平）方向の輝度勾配ベクトル、Ｉｙはｙ（垂直）方向の輝度勾配ベクトル、Ｉｔはｔ（時間）方向の輝度勾配ベクトル］、前記画像ブロック内の移動ベクトルをｗ＝(ｕ,ｖ,１)ｔとし、εｉ＝ｇｉｔ・ｗとしたとき、評価関数Ｅ＝Σεｉ２の極値を与えるｕ,ｖとして、動きベクトルｍ＝(ｕ,ｖ)を算出する動きベクトル算出装置において、
前記動きベクトルｍを３次元へ拡張した移動ベクトル方向の分散を、Ｄ＝(１/|ｗ|２)(１/Ｎ)Σεｉ２とする、動きベクトル算出装置。
【請求項４】
前記輝度勾配ベクトルの共分散行列を３×３とし、該共分散行列の三番目に大きい固有値λ３を、前記移動ベクトル方向の分散Ｄと等しくした、請求項３記載の動きベクトル算出装置。
【請求項５】
前記輝度勾配ベクトルの共分散行列を３×３とし、該共分散行列のＩｔを０としたときに、２×２輝度勾配ベクトルの共分散行列の一番目に大きい固有値λ１、次に二番目に大きい固有値λ２に近似する固有値λ１'，λ２'を算出し、前記３×３輝度勾配ベクトルの共分散行列の固有値λ１，λ２と固有値λ１'，λ２'を近似させた、請求項１または３記載の動きベクトル算出装置。
【請求項６】
前記輝度勾配ベクトルの共分散行列を３×３とし、該共分散行列のＩtを０としたときに、２×２輝度勾配ベクトルの共分散行列の一番目に大きい固有値λ１と次に二番目に大きい固有値λ２に近似する固有値λ１'，λ２'および固有値λ１'に対応する固有ベクトルξ１’を算出し、cos２φ＝（ｍ・ξ'１）２/(｜ｍ｜２｜ξ'１｜２［ただし、φは動きベクトルｍと固有ベクトルξ1'とのなす角］とし、λ１=√(１＋｜ｍ｜２cos２φ)λ'１、λ２=√{１＋｜ｍ｜２(１−cos２φ)}λ'２と補正し、前記３×３輝度勾配ベクトルの共分散行列を固有値λ１，λ２とした、請求項１または３記載の動きベクトル算出装置。
【請求項７】
映像信号から抽出された画像ブロックの全ての画素から水平、垂直、時間の輝度勾配ベクトルの共分散行列（３×３）を算出する輝度勾配共分散行列算出部と、
前記輝度勾配ベクトルの共分散行列（３×３）の要素から動きベクトルを算出する動きベクトル算出部と、
前記輝度勾配ベクトルの共分散行列（３×３））の三番目に大きい固有値λ３を算出する第１の算出部と、
前記輝度勾配ベクトルの共分散行列（３×３）の時間方向の勾配ベクトルを０としたときの輝度勾配ベクトルの共分散行列（２×２）の一番目に大きい固有値λ'１、次に二番目に大きい固有値λ'２を算出する第２の算出部と、を備える動きベクトル算出装置。
【請求項１】
画素数Ｎをもつある画像ブロック内にあって、該画像ブロック内の各画素の輝度勾配ベクトルをｇｉ＝(Ｉｘ,Ｉｙ,Ｉｔ)ｔ［ただし、Ｉｘはｘ（水平）方向の輝度勾配ベクトル、Ｉｙはｙ（垂直）方向の輝度勾配ベクトル、Ｉｔはｔ（時間）方向の輝度勾配ベクトル］、前記画像ブロック内の移動ベクトルをｗ＝(ｕ,ｖ,１)ｔとし、εｉ＝ｇｉｔ・ｗとしたとき、評価関数Ｅ＝Σεｉ２の極値を与えるｕ,ｖとして、動きベクトルｍ＝(ｕ,ｖ)を算出する動きベクトル算出装置において、
前記動きベクトルｍを３次元へ拡張した移動ベクトル方向の分散を、Ｄ＝(１/|ｗ|２)[(１/Ｎ)Σεｉ２−{(１/Ｎ)Σεｉ}２]とする、動きベクトル算出装置。
【請求項２】
前記輝度勾配ベクトルの共分散行列の三番目に大きい固有値λ３を、前記移動ベクトル方向の分散Ｄと等しくした、請求項１記載の動きベクトル算出装置。
【請求項３】
画素数Ｎをもつある画像ブロック内にあって、該画像ブロック内の各画素の輝度勾配ベクトルをｇｉ＝(Ｉx,Ｉy,Ｉt)ｔ［ただし、Ｉｘはｘ（水平）方向の輝度勾配ベクトル、Ｉｙはｙ（垂直）方向の輝度勾配ベクトル、Ｉｔはｔ（時間）方向の輝度勾配ベクトル］、前記画像ブロック内の移動ベクトルをｗ＝(ｕ,ｖ,１)ｔとし、εｉ＝ｇｉｔ・ｗとしたとき、評価関数Ｅ＝Σεｉ２の極値を与えるｕ,ｖとして、動きベクトルｍ＝(ｕ,ｖ)を算出する動きベクトル算出装置において、
前記動きベクトルｍを３次元へ拡張した移動ベクトル方向の分散を、Ｄ＝(１/|ｗ|２)(１/Ｎ)Σεｉ２とする、動きベクトル算出装置。
【請求項４】
前記輝度勾配ベクトルの共分散行列を３×３とし、該共分散行列の三番目に大きい固有値λ３を、前記移動ベクトル方向の分散Ｄと等しくした、請求項３記載の動きベクトル算出装置。
【請求項５】
前記輝度勾配ベクトルの共分散行列を３×３とし、該共分散行列のＩｔを０としたときに、２×２輝度勾配ベクトルの共分散行列の一番目に大きい固有値λ１、次に二番目に大きい固有値λ２に近似する固有値λ１'，λ２'を算出し、前記３×３輝度勾配ベクトルの共分散行列の固有値λ１，λ２と固有値λ１'，λ２'を近似させた、請求項１または３記載の動きベクトル算出装置。
【請求項６】
前記輝度勾配ベクトルの共分散行列を３×３とし、該共分散行列のＩtを０としたときに、２×２輝度勾配ベクトルの共分散行列の一番目に大きい固有値λ１と次に二番目に大きい固有値λ２に近似する固有値λ１'，λ２'および固有値λ１'に対応する固有ベクトルξ１’を算出し、cos２φ＝（ｍ・ξ'１）２/(｜ｍ｜２｜ξ'１｜２［ただし、φは動きベクトルｍと固有ベクトルξ1'とのなす角］とし、λ１=√(１＋｜ｍ｜２cos２φ)λ'１、λ２=√{１＋｜ｍ｜２(１−cos２φ)}λ'２と補正し、前記３×３輝度勾配ベクトルの共分散行列を固有値λ１，λ２とした、請求項１または３記載の動きベクトル算出装置。
【請求項７】
映像信号から抽出された画像ブロックの全ての画素から水平、垂直、時間の輝度勾配ベクトルの共分散行列（３×３）を算出する輝度勾配共分散行列算出部と、
前記輝度勾配ベクトルの共分散行列（３×３）の要素から動きベクトルを算出する動きベクトル算出部と、
前記輝度勾配ベクトルの共分散行列（３×３））の三番目に大きい固有値λ３を算出する第１の算出部と、
前記輝度勾配ベクトルの共分散行列（３×３）の時間方向の勾配ベクトルを０としたときの輝度勾配ベクトルの共分散行列（２×２）の一番目に大きい固有値λ'１、次に二番目に大きい固有値λ'２を算出する第２の算出部と、を備える動きベクトル算出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−９２９８０（Ｐ２０１３−９２９８０Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３６０３６（Ｐ２０１１−２３６０３６）
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]