Log−Polar変換を用いた画像マッチング方法、システムおよびプログラム
【課題】Log−Polar変換した画像マッチングにおいて、具体的な処理の実現方法を提供することを課題とする。
【解決手段】入力画像Xからはブロック画像Xkが抽出され、Log−Polar変換されてブロック画像LXkが生成される。テンプレート画像TはLog−Polar変換されてテンプレート画像LTが生成され、テンプレート画像LTを水平方向および垂直方向に展開したパターン画像PLTが生成される。このブロック画像LXkとパターン画像PLTの間で相関処理が行われる。パターン画像PLT上においてブロック画像LXkがマッチングした位置座標から対象物体の回転角度や拡大率が特定される。
【解決手段】入力画像Xからはブロック画像Xkが抽出され、Log−Polar変換されてブロック画像LXkが生成される。テンプレート画像TはLog−Polar変換されてテンプレート画像LTが生成され、テンプレート画像LTを水平方向および垂直方向に展開したパターン画像PLTが生成される。このブロック画像LXkとパターン画像PLTの間で相関処理が行われる。パターン画像PLT上においてブロック画像LXkがマッチングした位置座標から対象物体の回転角度や拡大率が特定される。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、Log−Polar変換を利用した画像のマッチング方法に関する。
【0002】
【従来の技術】
コンピュータを用いてテンプレート画像と入力画像のマッチング処理を行うことにより、入力画像中における対象物体の検出が可能である。ここで、対象物体の画像に回転が加わらず、かつ、拡大縮小も行われていないような場合には、入力画像からブロック画像を切り出し、テンプレート画像と切り出したブロック画像の相関をとればよい。このような方法をとっても、CPU負荷はそれ程大きくない。
【0003】
ところが、対象物体の画像に回転が加わる場合や、拡大縮小している場合には、切り出したブロック画像を様々な角度に回転させた上で、テンプレート画像とマッチング処理を行う必要がある。さらに、それぞれの角度において様々な拡大縮小を行ったブロック画像とテンプレート画像をマッチングさせる必要がある。このため、CPU処理負荷が非常に大きくなるとともに、処理時間が長くなるという問題がある。
【0004】
そこで、Log−Polar変換を利用したマッチング方法が提案されている。Log−Polar変換の特徴として、画像の回転や拡大縮小を、画像の平行移動して扱うことが可能となる。つまり、テンプレート画像とブロック画像をそれぞれLog−Polar変換し、Log−Polar変換後のテンプレート画像とブロック画像のマッチングを行うことで、回転や拡大縮小処理を行うことなく、対象物体の検出が可能となるのである。このため、CPU負担も小さく処理速度の向上を図ることが可能である。このようなLog−Polar変換を利用したマッチング方法は、たとえば、非特許文献1において開示されている。
【0005】
Log−Polar変換について説明する。Log−Polar変換は、Cartesian座標(デカルト座標)上の点(x,y)を、極座標(r=(x2+y2)1/2,θ=tan−1(y/x))に変換し、さらに、ρ=logrのように大きさに関して対数変換するものである。従って、Cartesian座標上の点(x,y)における画像情報をI(x,y)とし、Log−Polar変換をLとすれば、Log−Polar変換後の画像情報I*(ρ,θ)は、数1式のように表すことができる。
【0006】
【数1】
【0007】
この明細書において、Log−Polar変換された座標をLog−Polar座標と呼び、Log−Polar座標におけるρ軸を距離軸、θ軸を位相軸と呼ぶことにする。
【0008】
図13および図14は、Log−Polar変換の性質を示すための図である。以下の説明において、現画像とはLog−Polar変換前の画像であり、Log−Polar画像とはLog−Polar変換後の画像を示すこととする。
【0009】
図13は、5段階に拡大縮小率を変化させた文字Aについての現画像を、Log−Polar変換した場合を例にしている。図からも分かるように、Log−Polar変換後の画像は、その形状が変化することなく、ρ軸方向に平行移動していることが分かる。
【0010】
一方、図14は、7つの角度で回転させた文字Aについての現画像を、Log−Polar変換した場合を例としている。図からも分かるように、Log−Polar変換後の画像は、その形状が変化することなく、θ軸方向に平行移動していることが分かる。さらに、θ軸方向で画像の端部からはみ出した画像は、反対側端部に付加されている。つまり、文字Aが現画像において回転した場合、Log−Polar画像はθ軸方向に循環する性質を示している。
【0011】
【非特許文献1】
栗田多喜夫、外2名、「Log−Polar画像の高次局所自己相関特徴を用いた大きさに不変な顔画像の認識」、電子情報通信学会論文誌, D−II, Vol J80−D−II, No.8, pp.2209−2217, 1997。
【0012】
【発明が解決しようとする課題】
上述したように、Log−Polar変換後の画像同士をマッチングすることで、CPU負荷の低減と処理速度の高速化を図ることが可能である。しかし、従来Log−Polar変換後の画像同士をマッチングさせる処理について、具体的な方策を示したものはなかった。
【0013】
そこで、本発明は前記問題点に鑑み、Log−Polar変換を利用したマッチング処理の具体的な方策を提供することを目的とする。
【0014】
【課題を解決するための手段】
上記課題を解決するため、請求項1記載の発明は、テンプレート画像と入力画像のマッチングを行う方法であって、前記テンプレート画像をLog−Polar変換し、第1画像を得る工程と、前記第1画像の繰り返しパターン画像を生成する工程と、前記入力画像をLog−Polar変換し、第2画像を得る工程と、前記繰り返しパターン画像と前記第2画像との間の相関値を計算する相関工程と、を備えることを特徴とする。
【0015】
請求項2記載の発明は、請求項1に記載のLog−Polar変換を用いた画像マッチング方法において、前記繰り返しパターン画像は、前記第1画像のLog−Polar座標における位相軸方向および距離軸方向の長さが2倍となるように、前記第1画像の位相軸方向および距離軸方向の両端に対称に繰り返した画像であることを特徴とする。
【0016】
請求項3記載の発明は、請求項1に記載のLog−Polar変換を用いた画像マッチング方法において、Log−Polar座標における位相軸方向が垂直方向と定義され、Log−Polar座標における距離軸方向が水平方向と定義されており、前記第1画像を前記垂直方向の中央で分割した上下の第1分割画像と第2分割画像とした場合、第1展開画像は、前記第1分割画像を前記第2分割画像の下部に連結し、前記第2分割画像を前記第1分割画像の上部に連結した画像であり、前記第1展開画像を前記水平方向の中央で分割した左右の第3分割画像と第4分割画像とした場合、前記繰り返しパターン画像は、前記第3分割画像を前記第4分割画像の右側部に連結し、前記第4分割画像を前記第3分割画像の左側部に連結した画像であることを特徴とする。
【0017】
請求項4記載の発明は、請求項1ないし請求項3のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、さらに、前記相関工程において最も高い相関値が検出された前記第2画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の回転角度を検出する工程、を備えることを特徴とする。
【0018】
請求項5記載の発明は、請求項1ないし請求項3のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、さらに、前記相関工程において最も高い相関値が検出された前記第2画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の拡大縮小率を検出する工程、を備えることを特徴とする。
【0019】
請求項6記載の発明は、請求項1ないし請求項5のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、前記入力画像は、連続したフレームからなる動画像中の1のフレームであり、前記テンプレート画像は、前記1のフレームより時間方向で前の他のフレームから抽出された画像であることを特徴とする。
【0020】
請求項7記載の発明は、請求項1ないし請求項5のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、前記入力画像は、連続したフレームからなる動画像中の1のフレームであり、前記テンプレート画像は、前記1のフレームより時間方向で前の他のフレームから抽出された複数の画像であることを特徴とする。
【0021】
請求項8記載の発明は、請求項1ないし請求項7のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、前記テンプレート画像には、顔の画像が含まれており、前記画像マッチング方法は、前記入力画像の中から前記顔の画像を検出することを特徴とする。
【0022】
請求項9記載の発明は、テンプレート画像と入力画像のマッチングを行う方法であって、前記テンプレート画像をLog−Polar変換し、第1画像を得る工程と、前記第1画像の繰り返しパターン画像を生成する工程と、前記入力画像からブロック画像を抽出する工程と、前記ブロック画像をLog−Polar変換し、第2画像を得る工程と、前記繰り返しパターン画像と前記第2画像との間の相関値を計算する相関工程と、を備えることを特徴とする。
【0023】
請求項10記載の発明は、テンプレート画像と入力画像のマッチングを行うシステムであって、前記テンプレート画像および前記入力画像を格納する記憶手段と、前記テンプレート画像および前記入力画像をLog−Polar変換する手段と、Log−Polar変換された前記テンプレート画像の繰り返しパターン画像を生成する手段と、前記繰り返しパターン画像とLog−Polar変換された前記入力画像との間の相関値を計算する手段と、を備えることを特徴とする。
【0024】
請求項11記載の発明は、テンプレート画像と入力画像のマッチングを行うプログラムであって、コンピュータに、前記テンプレート画像をLog−Polar変換し、第1画像を得る工程、前記第1画像の繰り返しパターン画像を生成する工程、前記入力画像をLog−Polar変換し、第2画像を得る工程、前記繰り返しパターン画像と前記第2画像との間で相関を取る工程、を実行させることを特徴とする。
【0025】
【発明の実施の形態】
{実施の形態1}
以下、図面を参照しつつ本発明の実施の形態について説明する。図1は、本発明のLog−Polar変換を用いたマッチング方法を実行する画像処理装置10の機能ブロック図である。
【0026】
画像処理装置10は、記憶部11、ブロック画像抽出部12、Log−Polar変換部13、相関部14、パターン画像生成部15、角度倍率特定部16、マッチング結果抽出部17を備える。
【0027】
なお、図示省略しているが、画像処理装置10は、CPUおよびCPUで実行させるプログラムを備えている。上記機能部12〜17は、RAM等のハードウェア資源を利用しながらCPU上でプログラムが実行されることによって実現される機能部である。ただし、各機能部12〜17の一部や全部がハードウェアで構成されていてもよい。また、記憶部11はたとえばDRAM等のメモリである。
【0028】
次に、各機能部の処理の内容を図2、図3を参照しながら説明する。記憶部11には、入力画像Xおよびテンプレート画像Tが格納されている(図2の(a)と(d))。テンプレート画像Tは、検出しようとする対象物体の画像を含んでいる。そして、この後の処理において、入力画像X中に対称物体の画像が含まれているか否かを検出する。
【0029】
ブロック画像抽出部12は、入力画像Xからブロック画像を抽出する機能部である(図2の(b))。ここで、入力画像Xからは、その中心座標位置を所定間隔でずらしながら、N個のブロック画像が抽出されるものとする。そして、ブロック画像抽出部12は、ブロック画像Xk(k=1,2,…,N)を、Log−Polar変換部13に受け渡す。また、テンプレート画像TもLog−Polar変換部13に受け渡される。
【0030】
そして、Log−Polar変換部13において、ブロック画像Xkおよびテンプレート画像TがLog−Polar変換され、それぞれLog−Polar変換後のブロック画像LXkおよびLog−Polar変換後のテンプレート画像LTが出力される(図2の(c)と(e))。
【0031】
パターン画像生成部15は、テンプレート画像LTをLog−Polar画像におけるθ軸方向およびρ軸方向に繰り返し展開したパターン画像PLTを生成する(図2の(f))。θ軸とは、上述したように、Log−Polar変換座標(極座標)における位相軸を示しており、ρ軸とは、Log−Polar変換座標(極座標)における距離軸を示している。ここでは、θ軸方向を画像における垂直方向、ρ軸方向を画像における水平方向とする。
【0032】
ここで、テンプレート画像LTを垂直方向および水平方向の中央で分割し、図3に示すような、4つの領域R1,R2,R3,R4を考える。そして、領域R1,R2の上部に領域R3,R4を連結し、領域R3,R4の下部に領域R1,R2を連結することによって、垂直4ブロック、水平2ブロックの展開画像を考えると、この展開画像は、垂直方向にR3,R2,R3,R1が連結された左側領域RLと、垂直方向にR4,R2,R4,R2が連結された右側領域RRと考えることができる。そして、パターン画像PLTは、この左側領域RLの左側部に右側領域RRを連結し、右側領域RRの右側部に左側領域RLを連結した画像である。したがって、パターン画像PLTは、テンプレート画像LTの垂直方向および水平方向の大きさが2倍となるように、テンプレート画像LTの垂直方向および水平方向の両端に対称に繰り返し画像を展開したものである。
【0033】
図4は、文字Aについてのパターン画像PLTを示している。図4(a)は、文字Aについての現画像、図4(b)は、文字AについてのLog−Polar画像、図4(c)は、文字Aについてのパターン画像PLTを示している。
【0034】
図5は、顔写真についてのパターン画像PLTを示している。図5(a)は、顔写真についての現画像、図5(b)は、顔写真についてのLog−Polar画像、図5(c)は、顔写真についてのパターン画像PLTを示している。
【0035】
相関部14は、パターン画像PLTの画像領域内でLog−Polar変換後のブロック画像LXkを移動させつつ、ブロック画像LXkとパターン画像PLTの間で相関値を計算する機能部である。相関値の計算方法は特に限定されるものではなく、両画像の差分値を算出する方法や、両画像の画素値を乗算する方法など公知の相関値計算方法を用いればよい。相関部14は、ブロック画像抽出部12から抽出されたN個のブロック画像Xkに対して、それぞれ相関値を算出した後、相関値のピークを求める。たとえば、差分値が最小となったブロック画像Xkを求めることにより、対象物体の画像の存在するブロックを検知することができるのである。
【0036】
角度・倍率特定部16は、対象物体の画像の存在したブロック画像Xkにおいて、対象物体の画像がテンプレート画像Tに対して、どれだけ傾いているか、どれだけ拡大あるいは縮小されているかを算出する。前述したように、Log−Polar画像においては、Log−Polar変換前の画像の回転および拡大縮小が平行移動としてとらえることができる。したがって、パターン画像PLTとマッチングしたブロック画像Xkの、パターン画像PLT上における座標位置から、画像の回転角度および拡大縮小率を求めることができるのである。
【0037】
マッチング結果出力部17は、相関部14および角度・倍率特定部16からの出力に基づいてマッチング処理の結果を出力する。出力内容は、テンプレート画像Tがどのブロック画像Xkに存在していたかが示される。さらには、どのような回転角度と拡大縮小率でブロック画像Xkに存在していたのかが示される。
【0038】
図6は、以上説明した画像マッチング処理のフローチャートである。まず、画像処理装置10は、入力画像Xを取得する(ステップS1)。入力画像Xは、たとえば、カメラ等の撮像装置から入力される。他にも、ネットワーク経由や各種媒体から取得する形態でもよい。また、テンプレート画像Tも、カメラ等の撮像装置から取得する形態でもよいし、ネットワーク経由で取得する形態でもよい。さらに、テンプレート画像Tは、画像処理などにより、対象画像を切り出す処理が行われることもある。
【0039】
次に、Log−Polar変換部13において、テンプレート画像TのLog−Polar変換処理が行われる(ステップS2)。さらに、パターン画像生成部15において、パターン画像PLTが生成される(ステップS3)。
【0040】
次に、ブロック画像抽出部12は、カウンタkに1をセットし(ステップS4)、入力画像Xからブロック画像Xkを取得する(ステップS5)。k=1がセットされている初回時には、ブロック画像X1を取得する。
【0041】
次に、Log−Polar変換部13において、ブロック画像XkのLog−Polar変換処理が行われる(ステップS6)。k=1がセットされている初回時には、ブロック画像X1のLog−Polar変換処理が行われ、ブロック画像LX1が生成される。
【0042】
次に、相関部14において、ブロック画像LXkとパターン画像PLTとの間で相関値が計算される(ステップS7)。k=1がセットされている初回時には、ブロック画像LX1とパターン画像PLTとの間での相関値が計算される。この相関値の計算は、ブロック画像LXkをパターン画像PLTの領域内で平行移動させながら実行される。したがって、1つのブロック画像LXkに対して複数の相関値が計算される。
【0043】
相関部14において相関値の計算処理が終了すると、ブロック画像抽出部12は、カウンタkに1を加算し(ステップS8)、カウンタkがNを超えたか否か判定する(ステップS9)。Nは、前述したように、抽出するブロック画像の全数である。カウンタkがNを超えていない場合には、カウンタk+1について、ステップS6〜S8を実行する。前回が初回時であった場合には、k=2となるので、ブロック画像LX2に対してステップS6〜S8が実行され、相関値が算出される。
【0044】
以上の処理を繰り返し、ブロック画像LXNに対しての相関値の計算が終了すると、相関部14は、相関値のピークを求める(ステップS10)。前述したように、各ブロック画像LXkに対して複数の相関値が計算されるが、各ブロック画像LXkで計算される相関値の数をMとすれば、相関部14は、N×M個の相関値の中からピークを求める。これにより、相関ピークが検出されたブロック画像を特定できるとともに、当該ブロック画像がパターン画像PLT中のどの座標位置でマッチングがとれたかを判定することができる。
【0045】
次に、角度・倍率特定部16は、相関部14で特定された情報(つまり、いずれのブロック画像でピークが検出されたかという情報と、パターン画像PLT中のどの座標位置でマッチングがとれたかという情報)に基づいて、対象物体の画像の回転角度および拡大縮小倍率を特定する(ステップS11)。これにより、テンプレート画像Tに存在する対象物体の画像が、どのブロック画像Xkにどのような回転角度と拡大縮小率で存在するかを特定することが可能である。そして、この特定情報がマッチング結果出力部17により出力される(ステップS12)。出力結果は、たとえば、モニタ出力される。出力内容は、たとえば、入力画像X中のマッチング位置がハイライトされるなどの方法で行われる。
【0046】
このように、本実施の形態によれば、画像のマッチング処理をLog−Polar変換後の画像に対して行うことにより、画像の回転処理や拡大縮小処理が不要となり、CPU負荷を低減させることが可能である。また、処理速度の向上を図ることができる。
【0047】
そして、Log−Polar変換されたテンプレート画像LTを繰り返したパターン画像PLTを用いてマッチング処理を行うので、対象物体の画像に回転が加わっている場合や、拡大縮小されている場合においても、パターン画像PLT内においてブロック画像LXkを平行移動させながらマッチングさせることが可能である。
【0048】
図7ないし図10を参照しながら本実施の形態におけるマッチング処理の利点について説明する。図7ないし図9における領域30は、画像のある特徴部に注目した領域である。
【0049】
たとえば、図7に示すように、ブロック画像LXkがテンプレート画像LTの中に収まる状態で、領域30がマッチングする場合、パターン画像PLTを用いる必要はない。
【0050】
ところが、対象物体の画像に拡大縮小が加わると、領域30がブロック画像LXkの中で、ρ軸方向(ここでは水平方向)に移動することとなる。そして、領域30がブロック画像LXkの右側部分に移動している場合には、図8に示すように、ブロック画像LXkは、テンプレート画像LTから左側にはみ出した範囲でマッチングすることとなる。また、領域30がブロック画像LXkの左側部分に移動している場合には、図9に示すように、ブロック画像LXkは、テンプレート画像LTから右側にはみ出した範囲でマッチングすることとなる。このような場合にも、本実施の形態におけるマッチング処理方法は、テンプレート画像LTを水平方向に展開したパターン画像PLTを用いているので、マッチング処理を行うことができるのである。
【0051】
また、図10では、対象物体の画像に回転が加わり、Log−Polar画像の循環性質から、領域30が上部の領域31と下部の領域32に分断された様子を示している。このような場合にも、ブロック画像LXkは、テンプレート画像LTから下側にはみ出した範囲でマッチングすることとなる。
【0052】
同様に、図11では、対象物体の画像に回転が加わり、Log−Polar画像の循環性質から、領域30が上部の領域33と下部の領域34に分断された様子を示している。このような場合にも、ブロック画像LXkは、テンプレート画像LTから上側にはみ出した範囲でマッチングすることとなる。
【0053】
そして、このような場合にも、本実施の形態におけるマッチング処理方法は、テンプレート画像LTを垂直方向に展開したパターン画像PLTを用いているので、マッチング処理を行うことができるのである。
【0054】
さらには、パターン画像PLTにおいては、テンプレート画像LTの上部の画像がテンプレート画像の下部に連結され、テンプレート画像LTの下部の画像がテンプレート画像の上部に連結されているので、ブロック画像Xkにおいて対象物体の画像が回転している場合であっても、対象物体の画像の全体をマッチングさせることが可能であり、精度の高いマッチング処理が可能となるのである。
【0055】
なお、本実施の形態において、入力画像Xからブロック画像Xkを抽出し、ブロック画像Xkに対してマッチング処理を行うこととしているので、様々なサイズの入力画像Xに対してマッチング処理が可能である。ただし、入力画像Xのサイズがテンプレート画像Tより小さい場合など、1対1でのマッチングを行う場合においては、ブロック画像の抽出処理は不要である。
【0056】
また、本実施の形態においては、テンプレート画像LTの垂直方向および水平方向のサイズを2倍とすることによって、パターン画像PLTを生成することとしているが、パターン画像PLTのサイズは特に限定されるものではない。ただし、θ軸方向のサイズについては、全ての回転角度に対応するために、2倍以上のサイズがあることが望ましい。
【0057】
また、テンプレート画像Tとして図5に示したような顔画像を用いることにより、人物認識システムなどに応用可能である。
【0058】
{実施の形態2}
次に、本発明の実施の形態2について説明する。実施の形態2に係る画像処理装置20は、動画像に対してマッチング処理を行う。
【0059】
図12は、画像処理装置20の機能ブロック図である。画像処理装置20の構成のうち、ブロック画像抽出部12、Log−Polar変換部13、相関部14、パターン画像生成部15、角度・倍率特定部16、マッチング結果出力部17の機能は、実施の形態1における各機能部と略同様である。以下、実施の形態1と異なる構成および処理内容を中心に説明する。
【0060】
画像処理装置20は、カメラ等の撮像装置から動画像として連続するフレーム画像を入力する。あるいは、ネットワーク経由でフレーム画像を入力するような形態でもよい。
【0061】
入力した動画像は、フレーム画像1,2,…,m,…,m+n,…として記憶部11に格納される。テンプレート画像抽出部21は、ある時点のフレーム画像からテンプレート画像Tを抽出する。ここでは、フレーム画像mからテンプレート画像Tを抽出するものとする。
【0062】
また、ブロック画像抽出部12は、テンプレート画像Tを抽出したフレーム画像mから所定時間経過後のフレーム画像を取得し、このフレーム画像からブロック画像Xkを抽出する。ここでは、フレーム画像m+nを取得し、フレーム画像m+nからブロック画像Xkを抽出するものとする。
【0063】
この後の処理は実施の形態1と同様である。つまり、ブロック画像Xkとテンプレート画像TをLog−Polar変換し、テンプレート画像LTを展開してパターン画像PLTを生成し、ブロック画像LXkとパターン画像PLT間で相関処理を行うのである。
【0064】
このような処理を行うことにより、画像処理装置20は、ある時間におけるフレーム画像と、その後所定時間経過したフレーム画像間のマッチング処理を行うことが可能である。そして、ある時間に存在した対象画像が、所定時間経過後に、どのような位置に移動したか、どのような角度で回転したか、どのような倍率で拡大縮小されたかといった情報を得ることが可能である。これにより、たとえば、MPEGなどの画像を符号化する処理において、動きベクトル(Motion Vector)を検出する処理に応用させることが可能である。従って、ブロック毎のより正確な動きベクトルの導出が可能となり、また、動き補償や動き予測の性能を向上させることが可能である。
【0065】
また、フレーム画像mから複数のテンプレート画像を抽出し、各テンプレート画像とフレーム画像m+nとの間でマッチング処理を行うようにしてもよい。これにより、たとえば、フレーム画像mに2つの人物画像があった場合に、フレーム画像m+nにおいて、それぞれの人物画像がどの位置にどのような回転角度で移動したかといった検出を行うことが可能である。これにより、複数の動きベクトルの検出も可能となる。
【0066】
【発明の効果】
以上説明したように、請求項1、10、11記載の発明では、Log−Polar変換されたテンプレート画像をさらに展開した繰り返しパターン画像を用いて相関処理を行うので、対象物体の画像に回転や拡大縮小が加わっている場合にも、マッチング可能である。
【0067】
請求項2、3記載の発明では、対象物体の画像の全ての回転角度に対して精度の高いマッチングが可能である。
【0068】
請求項4記載の発明では、マッチングした際の位置関係から対象物体の画像の回転角度を検出するので、対象物体の回転状態を含めた検出が可能である。
【0069】
請求項5記載の発明では、マッチングした際の位置関係から対象物体の画像の拡大縮小率を検出するので、対象物体の拡大縮小状態を含めた検出が可能である。
【0070】
請求項6または請求項7に記載の発明では、動画像について、異なるフレーム間のマッチング処理が可能であり、ブロック毎のより正確な動きベクトルの導出が可能となり、また、動き補償や動き予測の性能を向上させることが可能である。
【0071】
請求項8記載の発明では、顔の検出を行うので、人物認識に応用可能である。
【0072】
請求項9記載の発明では、入力画像からブロック画像を抽出した上でLog−Polar変換を利用したマッチングを行うので、様々な大きさの入力画像に対してマッチング処理可能である。
【図面の簡単な説明】
【図1】実施の形態1にかかる画像処理装置の機能ブロック図である。
【図2】マッチング処理のデータの流れを示す図である。
【図3】パターン画像を示す図である。
【図4】文字Aのテンプレート画像に対するLog−Polar画像およびパターン画像を示す図である。
【図5】顔写真のテンプレート画像に対するLog−Polar画像およびパターン画像を示す図である。
【図6】マッチング処理のフローチャートである。
【図7】マッチングの状態を示す図である。
【図8】対象物体の拡大率が変化している場合のマッチングの状態を示す図である。
【図9】対象物体の拡大率が変化している場合のマッチングの状態を示す図である。
【図10】対象物体が回転している場合のマッチングの状態を示す図である。
【図11】対象物体が回転している場合のマッチングの状態を示す図である。
【図12】実施の形態2にかかる画像処理装置の機能ブロック図である。
【図13】現画像の拡大率の変化とLog−Polar画像との関係を示す図である。
【図14】現画像の回転角度の変化とLog−Polar画像との関係を示す図である。
【符号の説明】
LT log−polar変換後のテンプレート画像
LXk log−polar変換後のブロック画像
PLT パターン画像
T テンプレート画像
X 入力画像
Xk ブロック画像
【0001】
【発明の属する技術分野】
本発明は、Log−Polar変換を利用した画像のマッチング方法に関する。
【0002】
【従来の技術】
コンピュータを用いてテンプレート画像と入力画像のマッチング処理を行うことにより、入力画像中における対象物体の検出が可能である。ここで、対象物体の画像に回転が加わらず、かつ、拡大縮小も行われていないような場合には、入力画像からブロック画像を切り出し、テンプレート画像と切り出したブロック画像の相関をとればよい。このような方法をとっても、CPU負荷はそれ程大きくない。
【0003】
ところが、対象物体の画像に回転が加わる場合や、拡大縮小している場合には、切り出したブロック画像を様々な角度に回転させた上で、テンプレート画像とマッチング処理を行う必要がある。さらに、それぞれの角度において様々な拡大縮小を行ったブロック画像とテンプレート画像をマッチングさせる必要がある。このため、CPU処理負荷が非常に大きくなるとともに、処理時間が長くなるという問題がある。
【0004】
そこで、Log−Polar変換を利用したマッチング方法が提案されている。Log−Polar変換の特徴として、画像の回転や拡大縮小を、画像の平行移動して扱うことが可能となる。つまり、テンプレート画像とブロック画像をそれぞれLog−Polar変換し、Log−Polar変換後のテンプレート画像とブロック画像のマッチングを行うことで、回転や拡大縮小処理を行うことなく、対象物体の検出が可能となるのである。このため、CPU負担も小さく処理速度の向上を図ることが可能である。このようなLog−Polar変換を利用したマッチング方法は、たとえば、非特許文献1において開示されている。
【0005】
Log−Polar変換について説明する。Log−Polar変換は、Cartesian座標(デカルト座標)上の点(x,y)を、極座標(r=(x2+y2)1/2,θ=tan−1(y/x))に変換し、さらに、ρ=logrのように大きさに関して対数変換するものである。従って、Cartesian座標上の点(x,y)における画像情報をI(x,y)とし、Log−Polar変換をLとすれば、Log−Polar変換後の画像情報I*(ρ,θ)は、数1式のように表すことができる。
【0006】
【数1】
【0007】
この明細書において、Log−Polar変換された座標をLog−Polar座標と呼び、Log−Polar座標におけるρ軸を距離軸、θ軸を位相軸と呼ぶことにする。
【0008】
図13および図14は、Log−Polar変換の性質を示すための図である。以下の説明において、現画像とはLog−Polar変換前の画像であり、Log−Polar画像とはLog−Polar変換後の画像を示すこととする。
【0009】
図13は、5段階に拡大縮小率を変化させた文字Aについての現画像を、Log−Polar変換した場合を例にしている。図からも分かるように、Log−Polar変換後の画像は、その形状が変化することなく、ρ軸方向に平行移動していることが分かる。
【0010】
一方、図14は、7つの角度で回転させた文字Aについての現画像を、Log−Polar変換した場合を例としている。図からも分かるように、Log−Polar変換後の画像は、その形状が変化することなく、θ軸方向に平行移動していることが分かる。さらに、θ軸方向で画像の端部からはみ出した画像は、反対側端部に付加されている。つまり、文字Aが現画像において回転した場合、Log−Polar画像はθ軸方向に循環する性質を示している。
【0011】
【非特許文献1】
栗田多喜夫、外2名、「Log−Polar画像の高次局所自己相関特徴を用いた大きさに不変な顔画像の認識」、電子情報通信学会論文誌, D−II, Vol J80−D−II, No.8, pp.2209−2217, 1997。
【0012】
【発明が解決しようとする課題】
上述したように、Log−Polar変換後の画像同士をマッチングすることで、CPU負荷の低減と処理速度の高速化を図ることが可能である。しかし、従来Log−Polar変換後の画像同士をマッチングさせる処理について、具体的な方策を示したものはなかった。
【0013】
そこで、本発明は前記問題点に鑑み、Log−Polar変換を利用したマッチング処理の具体的な方策を提供することを目的とする。
【0014】
【課題を解決するための手段】
上記課題を解決するため、請求項1記載の発明は、テンプレート画像と入力画像のマッチングを行う方法であって、前記テンプレート画像をLog−Polar変換し、第1画像を得る工程と、前記第1画像の繰り返しパターン画像を生成する工程と、前記入力画像をLog−Polar変換し、第2画像を得る工程と、前記繰り返しパターン画像と前記第2画像との間の相関値を計算する相関工程と、を備えることを特徴とする。
【0015】
請求項2記載の発明は、請求項1に記載のLog−Polar変換を用いた画像マッチング方法において、前記繰り返しパターン画像は、前記第1画像のLog−Polar座標における位相軸方向および距離軸方向の長さが2倍となるように、前記第1画像の位相軸方向および距離軸方向の両端に対称に繰り返した画像であることを特徴とする。
【0016】
請求項3記載の発明は、請求項1に記載のLog−Polar変換を用いた画像マッチング方法において、Log−Polar座標における位相軸方向が垂直方向と定義され、Log−Polar座標における距離軸方向が水平方向と定義されており、前記第1画像を前記垂直方向の中央で分割した上下の第1分割画像と第2分割画像とした場合、第1展開画像は、前記第1分割画像を前記第2分割画像の下部に連結し、前記第2分割画像を前記第1分割画像の上部に連結した画像であり、前記第1展開画像を前記水平方向の中央で分割した左右の第3分割画像と第4分割画像とした場合、前記繰り返しパターン画像は、前記第3分割画像を前記第4分割画像の右側部に連結し、前記第4分割画像を前記第3分割画像の左側部に連結した画像であることを特徴とする。
【0017】
請求項4記載の発明は、請求項1ないし請求項3のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、さらに、前記相関工程において最も高い相関値が検出された前記第2画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の回転角度を検出する工程、を備えることを特徴とする。
【0018】
請求項5記載の発明は、請求項1ないし請求項3のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、さらに、前記相関工程において最も高い相関値が検出された前記第2画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の拡大縮小率を検出する工程、を備えることを特徴とする。
【0019】
請求項6記載の発明は、請求項1ないし請求項5のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、前記入力画像は、連続したフレームからなる動画像中の1のフレームであり、前記テンプレート画像は、前記1のフレームより時間方向で前の他のフレームから抽出された画像であることを特徴とする。
【0020】
請求項7記載の発明は、請求項1ないし請求項5のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、前記入力画像は、連続したフレームからなる動画像中の1のフレームであり、前記テンプレート画像は、前記1のフレームより時間方向で前の他のフレームから抽出された複数の画像であることを特徴とする。
【0021】
請求項8記載の発明は、請求項1ないし請求項7のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、前記テンプレート画像には、顔の画像が含まれており、前記画像マッチング方法は、前記入力画像の中から前記顔の画像を検出することを特徴とする。
【0022】
請求項9記載の発明は、テンプレート画像と入力画像のマッチングを行う方法であって、前記テンプレート画像をLog−Polar変換し、第1画像を得る工程と、前記第1画像の繰り返しパターン画像を生成する工程と、前記入力画像からブロック画像を抽出する工程と、前記ブロック画像をLog−Polar変換し、第2画像を得る工程と、前記繰り返しパターン画像と前記第2画像との間の相関値を計算する相関工程と、を備えることを特徴とする。
【0023】
請求項10記載の発明は、テンプレート画像と入力画像のマッチングを行うシステムであって、前記テンプレート画像および前記入力画像を格納する記憶手段と、前記テンプレート画像および前記入力画像をLog−Polar変換する手段と、Log−Polar変換された前記テンプレート画像の繰り返しパターン画像を生成する手段と、前記繰り返しパターン画像とLog−Polar変換された前記入力画像との間の相関値を計算する手段と、を備えることを特徴とする。
【0024】
請求項11記載の発明は、テンプレート画像と入力画像のマッチングを行うプログラムであって、コンピュータに、前記テンプレート画像をLog−Polar変換し、第1画像を得る工程、前記第1画像の繰り返しパターン画像を生成する工程、前記入力画像をLog−Polar変換し、第2画像を得る工程、前記繰り返しパターン画像と前記第2画像との間で相関を取る工程、を実行させることを特徴とする。
【0025】
【発明の実施の形態】
{実施の形態1}
以下、図面を参照しつつ本発明の実施の形態について説明する。図1は、本発明のLog−Polar変換を用いたマッチング方法を実行する画像処理装置10の機能ブロック図である。
【0026】
画像処理装置10は、記憶部11、ブロック画像抽出部12、Log−Polar変換部13、相関部14、パターン画像生成部15、角度倍率特定部16、マッチング結果抽出部17を備える。
【0027】
なお、図示省略しているが、画像処理装置10は、CPUおよびCPUで実行させるプログラムを備えている。上記機能部12〜17は、RAM等のハードウェア資源を利用しながらCPU上でプログラムが実行されることによって実現される機能部である。ただし、各機能部12〜17の一部や全部がハードウェアで構成されていてもよい。また、記憶部11はたとえばDRAM等のメモリである。
【0028】
次に、各機能部の処理の内容を図2、図3を参照しながら説明する。記憶部11には、入力画像Xおよびテンプレート画像Tが格納されている(図2の(a)と(d))。テンプレート画像Tは、検出しようとする対象物体の画像を含んでいる。そして、この後の処理において、入力画像X中に対称物体の画像が含まれているか否かを検出する。
【0029】
ブロック画像抽出部12は、入力画像Xからブロック画像を抽出する機能部である(図2の(b))。ここで、入力画像Xからは、その中心座標位置を所定間隔でずらしながら、N個のブロック画像が抽出されるものとする。そして、ブロック画像抽出部12は、ブロック画像Xk(k=1,2,…,N)を、Log−Polar変換部13に受け渡す。また、テンプレート画像TもLog−Polar変換部13に受け渡される。
【0030】
そして、Log−Polar変換部13において、ブロック画像Xkおよびテンプレート画像TがLog−Polar変換され、それぞれLog−Polar変換後のブロック画像LXkおよびLog−Polar変換後のテンプレート画像LTが出力される(図2の(c)と(e))。
【0031】
パターン画像生成部15は、テンプレート画像LTをLog−Polar画像におけるθ軸方向およびρ軸方向に繰り返し展開したパターン画像PLTを生成する(図2の(f))。θ軸とは、上述したように、Log−Polar変換座標(極座標)における位相軸を示しており、ρ軸とは、Log−Polar変換座標(極座標)における距離軸を示している。ここでは、θ軸方向を画像における垂直方向、ρ軸方向を画像における水平方向とする。
【0032】
ここで、テンプレート画像LTを垂直方向および水平方向の中央で分割し、図3に示すような、4つの領域R1,R2,R3,R4を考える。そして、領域R1,R2の上部に領域R3,R4を連結し、領域R3,R4の下部に領域R1,R2を連結することによって、垂直4ブロック、水平2ブロックの展開画像を考えると、この展開画像は、垂直方向にR3,R2,R3,R1が連結された左側領域RLと、垂直方向にR4,R2,R4,R2が連結された右側領域RRと考えることができる。そして、パターン画像PLTは、この左側領域RLの左側部に右側領域RRを連結し、右側領域RRの右側部に左側領域RLを連結した画像である。したがって、パターン画像PLTは、テンプレート画像LTの垂直方向および水平方向の大きさが2倍となるように、テンプレート画像LTの垂直方向および水平方向の両端に対称に繰り返し画像を展開したものである。
【0033】
図4は、文字Aについてのパターン画像PLTを示している。図4(a)は、文字Aについての現画像、図4(b)は、文字AについてのLog−Polar画像、図4(c)は、文字Aについてのパターン画像PLTを示している。
【0034】
図5は、顔写真についてのパターン画像PLTを示している。図5(a)は、顔写真についての現画像、図5(b)は、顔写真についてのLog−Polar画像、図5(c)は、顔写真についてのパターン画像PLTを示している。
【0035】
相関部14は、パターン画像PLTの画像領域内でLog−Polar変換後のブロック画像LXkを移動させつつ、ブロック画像LXkとパターン画像PLTの間で相関値を計算する機能部である。相関値の計算方法は特に限定されるものではなく、両画像の差分値を算出する方法や、両画像の画素値を乗算する方法など公知の相関値計算方法を用いればよい。相関部14は、ブロック画像抽出部12から抽出されたN個のブロック画像Xkに対して、それぞれ相関値を算出した後、相関値のピークを求める。たとえば、差分値が最小となったブロック画像Xkを求めることにより、対象物体の画像の存在するブロックを検知することができるのである。
【0036】
角度・倍率特定部16は、対象物体の画像の存在したブロック画像Xkにおいて、対象物体の画像がテンプレート画像Tに対して、どれだけ傾いているか、どれだけ拡大あるいは縮小されているかを算出する。前述したように、Log−Polar画像においては、Log−Polar変換前の画像の回転および拡大縮小が平行移動としてとらえることができる。したがって、パターン画像PLTとマッチングしたブロック画像Xkの、パターン画像PLT上における座標位置から、画像の回転角度および拡大縮小率を求めることができるのである。
【0037】
マッチング結果出力部17は、相関部14および角度・倍率特定部16からの出力に基づいてマッチング処理の結果を出力する。出力内容は、テンプレート画像Tがどのブロック画像Xkに存在していたかが示される。さらには、どのような回転角度と拡大縮小率でブロック画像Xkに存在していたのかが示される。
【0038】
図6は、以上説明した画像マッチング処理のフローチャートである。まず、画像処理装置10は、入力画像Xを取得する(ステップS1)。入力画像Xは、たとえば、カメラ等の撮像装置から入力される。他にも、ネットワーク経由や各種媒体から取得する形態でもよい。また、テンプレート画像Tも、カメラ等の撮像装置から取得する形態でもよいし、ネットワーク経由で取得する形態でもよい。さらに、テンプレート画像Tは、画像処理などにより、対象画像を切り出す処理が行われることもある。
【0039】
次に、Log−Polar変換部13において、テンプレート画像TのLog−Polar変換処理が行われる(ステップS2)。さらに、パターン画像生成部15において、パターン画像PLTが生成される(ステップS3)。
【0040】
次に、ブロック画像抽出部12は、カウンタkに1をセットし(ステップS4)、入力画像Xからブロック画像Xkを取得する(ステップS5)。k=1がセットされている初回時には、ブロック画像X1を取得する。
【0041】
次に、Log−Polar変換部13において、ブロック画像XkのLog−Polar変換処理が行われる(ステップS6)。k=1がセットされている初回時には、ブロック画像X1のLog−Polar変換処理が行われ、ブロック画像LX1が生成される。
【0042】
次に、相関部14において、ブロック画像LXkとパターン画像PLTとの間で相関値が計算される(ステップS7)。k=1がセットされている初回時には、ブロック画像LX1とパターン画像PLTとの間での相関値が計算される。この相関値の計算は、ブロック画像LXkをパターン画像PLTの領域内で平行移動させながら実行される。したがって、1つのブロック画像LXkに対して複数の相関値が計算される。
【0043】
相関部14において相関値の計算処理が終了すると、ブロック画像抽出部12は、カウンタkに1を加算し(ステップS8)、カウンタkがNを超えたか否か判定する(ステップS9)。Nは、前述したように、抽出するブロック画像の全数である。カウンタkがNを超えていない場合には、カウンタk+1について、ステップS6〜S8を実行する。前回が初回時であった場合には、k=2となるので、ブロック画像LX2に対してステップS6〜S8が実行され、相関値が算出される。
【0044】
以上の処理を繰り返し、ブロック画像LXNに対しての相関値の計算が終了すると、相関部14は、相関値のピークを求める(ステップS10)。前述したように、各ブロック画像LXkに対して複数の相関値が計算されるが、各ブロック画像LXkで計算される相関値の数をMとすれば、相関部14は、N×M個の相関値の中からピークを求める。これにより、相関ピークが検出されたブロック画像を特定できるとともに、当該ブロック画像がパターン画像PLT中のどの座標位置でマッチングがとれたかを判定することができる。
【0045】
次に、角度・倍率特定部16は、相関部14で特定された情報(つまり、いずれのブロック画像でピークが検出されたかという情報と、パターン画像PLT中のどの座標位置でマッチングがとれたかという情報)に基づいて、対象物体の画像の回転角度および拡大縮小倍率を特定する(ステップS11)。これにより、テンプレート画像Tに存在する対象物体の画像が、どのブロック画像Xkにどのような回転角度と拡大縮小率で存在するかを特定することが可能である。そして、この特定情報がマッチング結果出力部17により出力される(ステップS12)。出力結果は、たとえば、モニタ出力される。出力内容は、たとえば、入力画像X中のマッチング位置がハイライトされるなどの方法で行われる。
【0046】
このように、本実施の形態によれば、画像のマッチング処理をLog−Polar変換後の画像に対して行うことにより、画像の回転処理や拡大縮小処理が不要となり、CPU負荷を低減させることが可能である。また、処理速度の向上を図ることができる。
【0047】
そして、Log−Polar変換されたテンプレート画像LTを繰り返したパターン画像PLTを用いてマッチング処理を行うので、対象物体の画像に回転が加わっている場合や、拡大縮小されている場合においても、パターン画像PLT内においてブロック画像LXkを平行移動させながらマッチングさせることが可能である。
【0048】
図7ないし図10を参照しながら本実施の形態におけるマッチング処理の利点について説明する。図7ないし図9における領域30は、画像のある特徴部に注目した領域である。
【0049】
たとえば、図7に示すように、ブロック画像LXkがテンプレート画像LTの中に収まる状態で、領域30がマッチングする場合、パターン画像PLTを用いる必要はない。
【0050】
ところが、対象物体の画像に拡大縮小が加わると、領域30がブロック画像LXkの中で、ρ軸方向(ここでは水平方向)に移動することとなる。そして、領域30がブロック画像LXkの右側部分に移動している場合には、図8に示すように、ブロック画像LXkは、テンプレート画像LTから左側にはみ出した範囲でマッチングすることとなる。また、領域30がブロック画像LXkの左側部分に移動している場合には、図9に示すように、ブロック画像LXkは、テンプレート画像LTから右側にはみ出した範囲でマッチングすることとなる。このような場合にも、本実施の形態におけるマッチング処理方法は、テンプレート画像LTを水平方向に展開したパターン画像PLTを用いているので、マッチング処理を行うことができるのである。
【0051】
また、図10では、対象物体の画像に回転が加わり、Log−Polar画像の循環性質から、領域30が上部の領域31と下部の領域32に分断された様子を示している。このような場合にも、ブロック画像LXkは、テンプレート画像LTから下側にはみ出した範囲でマッチングすることとなる。
【0052】
同様に、図11では、対象物体の画像に回転が加わり、Log−Polar画像の循環性質から、領域30が上部の領域33と下部の領域34に分断された様子を示している。このような場合にも、ブロック画像LXkは、テンプレート画像LTから上側にはみ出した範囲でマッチングすることとなる。
【0053】
そして、このような場合にも、本実施の形態におけるマッチング処理方法は、テンプレート画像LTを垂直方向に展開したパターン画像PLTを用いているので、マッチング処理を行うことができるのである。
【0054】
さらには、パターン画像PLTにおいては、テンプレート画像LTの上部の画像がテンプレート画像の下部に連結され、テンプレート画像LTの下部の画像がテンプレート画像の上部に連結されているので、ブロック画像Xkにおいて対象物体の画像が回転している場合であっても、対象物体の画像の全体をマッチングさせることが可能であり、精度の高いマッチング処理が可能となるのである。
【0055】
なお、本実施の形態において、入力画像Xからブロック画像Xkを抽出し、ブロック画像Xkに対してマッチング処理を行うこととしているので、様々なサイズの入力画像Xに対してマッチング処理が可能である。ただし、入力画像Xのサイズがテンプレート画像Tより小さい場合など、1対1でのマッチングを行う場合においては、ブロック画像の抽出処理は不要である。
【0056】
また、本実施の形態においては、テンプレート画像LTの垂直方向および水平方向のサイズを2倍とすることによって、パターン画像PLTを生成することとしているが、パターン画像PLTのサイズは特に限定されるものではない。ただし、θ軸方向のサイズについては、全ての回転角度に対応するために、2倍以上のサイズがあることが望ましい。
【0057】
また、テンプレート画像Tとして図5に示したような顔画像を用いることにより、人物認識システムなどに応用可能である。
【0058】
{実施の形態2}
次に、本発明の実施の形態2について説明する。実施の形態2に係る画像処理装置20は、動画像に対してマッチング処理を行う。
【0059】
図12は、画像処理装置20の機能ブロック図である。画像処理装置20の構成のうち、ブロック画像抽出部12、Log−Polar変換部13、相関部14、パターン画像生成部15、角度・倍率特定部16、マッチング結果出力部17の機能は、実施の形態1における各機能部と略同様である。以下、実施の形態1と異なる構成および処理内容を中心に説明する。
【0060】
画像処理装置20は、カメラ等の撮像装置から動画像として連続するフレーム画像を入力する。あるいは、ネットワーク経由でフレーム画像を入力するような形態でもよい。
【0061】
入力した動画像は、フレーム画像1,2,…,m,…,m+n,…として記憶部11に格納される。テンプレート画像抽出部21は、ある時点のフレーム画像からテンプレート画像Tを抽出する。ここでは、フレーム画像mからテンプレート画像Tを抽出するものとする。
【0062】
また、ブロック画像抽出部12は、テンプレート画像Tを抽出したフレーム画像mから所定時間経過後のフレーム画像を取得し、このフレーム画像からブロック画像Xkを抽出する。ここでは、フレーム画像m+nを取得し、フレーム画像m+nからブロック画像Xkを抽出するものとする。
【0063】
この後の処理は実施の形態1と同様である。つまり、ブロック画像Xkとテンプレート画像TをLog−Polar変換し、テンプレート画像LTを展開してパターン画像PLTを生成し、ブロック画像LXkとパターン画像PLT間で相関処理を行うのである。
【0064】
このような処理を行うことにより、画像処理装置20は、ある時間におけるフレーム画像と、その後所定時間経過したフレーム画像間のマッチング処理を行うことが可能である。そして、ある時間に存在した対象画像が、所定時間経過後に、どのような位置に移動したか、どのような角度で回転したか、どのような倍率で拡大縮小されたかといった情報を得ることが可能である。これにより、たとえば、MPEGなどの画像を符号化する処理において、動きベクトル(Motion Vector)を検出する処理に応用させることが可能である。従って、ブロック毎のより正確な動きベクトルの導出が可能となり、また、動き補償や動き予測の性能を向上させることが可能である。
【0065】
また、フレーム画像mから複数のテンプレート画像を抽出し、各テンプレート画像とフレーム画像m+nとの間でマッチング処理を行うようにしてもよい。これにより、たとえば、フレーム画像mに2つの人物画像があった場合に、フレーム画像m+nにおいて、それぞれの人物画像がどの位置にどのような回転角度で移動したかといった検出を行うことが可能である。これにより、複数の動きベクトルの検出も可能となる。
【0066】
【発明の効果】
以上説明したように、請求項1、10、11記載の発明では、Log−Polar変換されたテンプレート画像をさらに展開した繰り返しパターン画像を用いて相関処理を行うので、対象物体の画像に回転や拡大縮小が加わっている場合にも、マッチング可能である。
【0067】
請求項2、3記載の発明では、対象物体の画像の全ての回転角度に対して精度の高いマッチングが可能である。
【0068】
請求項4記載の発明では、マッチングした際の位置関係から対象物体の画像の回転角度を検出するので、対象物体の回転状態を含めた検出が可能である。
【0069】
請求項5記載の発明では、マッチングした際の位置関係から対象物体の画像の拡大縮小率を検出するので、対象物体の拡大縮小状態を含めた検出が可能である。
【0070】
請求項6または請求項7に記載の発明では、動画像について、異なるフレーム間のマッチング処理が可能であり、ブロック毎のより正確な動きベクトルの導出が可能となり、また、動き補償や動き予測の性能を向上させることが可能である。
【0071】
請求項8記載の発明では、顔の検出を行うので、人物認識に応用可能である。
【0072】
請求項9記載の発明では、入力画像からブロック画像を抽出した上でLog−Polar変換を利用したマッチングを行うので、様々な大きさの入力画像に対してマッチング処理可能である。
【図面の簡単な説明】
【図1】実施の形態1にかかる画像処理装置の機能ブロック図である。
【図2】マッチング処理のデータの流れを示す図である。
【図3】パターン画像を示す図である。
【図4】文字Aのテンプレート画像に対するLog−Polar画像およびパターン画像を示す図である。
【図5】顔写真のテンプレート画像に対するLog−Polar画像およびパターン画像を示す図である。
【図6】マッチング処理のフローチャートである。
【図7】マッチングの状態を示す図である。
【図8】対象物体の拡大率が変化している場合のマッチングの状態を示す図である。
【図9】対象物体の拡大率が変化している場合のマッチングの状態を示す図である。
【図10】対象物体が回転している場合のマッチングの状態を示す図である。
【図11】対象物体が回転している場合のマッチングの状態を示す図である。
【図12】実施の形態2にかかる画像処理装置の機能ブロック図である。
【図13】現画像の拡大率の変化とLog−Polar画像との関係を示す図である。
【図14】現画像の回転角度の変化とLog−Polar画像との関係を示す図である。
【符号の説明】
LT log−polar変換後のテンプレート画像
LXk log−polar変換後のブロック画像
PLT パターン画像
T テンプレート画像
X 入力画像
Xk ブロック画像
【特許請求の範囲】
【請求項1】
テンプレート画像と入力画像のマッチングを行う方法であって、
前記テンプレート画像をLog−Polar変換し、第1画像を得る工程と、
前記第1画像の繰り返しパターン画像を生成する工程と、
前記入力画像をLog−Polar変換し、第2画像を得る工程と、
前記繰り返しパターン画像と前記第2画像との間の相関値を計算する相関工程と、
を備えることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項2】
請求項1に記載のLog−Polar変換を用いた画像マッチング方法において、
前記繰り返しパターン画像は、前記第1画像のLog−Polar座標における位相軸方向および距離軸方向の長さが2倍となるように、前記第1画像の位相軸方向および距離軸方向の両端に対称に繰り返した画像であることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項3】
請求項1に記載のLog−Polar変換を用いた画像マッチング方法において、Log−Polar座標における位相軸方向が垂直方向と定義され、Log−Polar座標における距離軸方向が水平方向と定義されており、
前記第1画像を前記垂直方向の中央で分割した上下の第1分割画像と第2分割画像とした場合、第1展開画像は、前記第1分割画像を前記第2分割画像の下部に連結し、前記第2分割画像を前記第1分割画像の上部に連結した画像であり、
前記第1展開画像を前記水平方向の中央で分割した左右の第3分割画像と第4分割画像とした場合、前記繰り返しパターン画像は、前記第3分割画像を前記第4分割画像の右側部に連結し、前記第4分割画像を前記第3分割画像の左側部に連結した画像であることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項4】
請求項1ないし請求項3のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、さらに、
前記相関工程において最も高い相関値が検出された前記第2画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の回転角度を検出する工程、
を備えることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項5】
請求項1ないし請求項3のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、さらに、
前記相関工程において最も高い相関値が検出された前記第2画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の拡大縮小率を検出する工程、
を備えることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項6】
請求項1ないし請求項5のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、
前記入力画像は、連続したフレームからなる動画像中の1のフレームであり、前記テンプレート画像は、前記1のフレームより時間方向で前の他のフレームから抽出された画像であることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項7】
請求項1ないし請求項5のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、
前記入力画像は、連続したフレームからなる動画像中の1のフレームであり、前記テンプレート画像は、前記1のフレームより時間方向で前の他のフレームから抽出された複数の画像であることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項8】
請求項1ないし請求項7のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、
前記テンプレート画像には、顔の画像が含まれており、前記画像マッチング方法は、前記入力画像の中から前記顔の画像を検出することを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項9】
テンプレート画像と入力画像のマッチングを行う方法であって、
前記テンプレート画像をLog−Polar変換し、第1画像を得る工程と、
前記第1画像の繰り返しパターン画像を生成する工程と、
前記入力画像からブロック画像を抽出する工程と、
前記ブロック画像をLog−Polar変換し、第2画像を得る工程と、
前記繰り返しパターン画像と前記第2画像との間の相関値を計算する相関工程と、
を備えることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項10】
テンプレート画像と入力画像のマッチングを行うシステムであって、
前記テンプレート画像および前記入力画像を格納する記憶手段と、
前記テンプレート画像および前記入力画像をLog−Polar変換する手段と、
Log−Polar変換された前記テンプレート画像の繰り返しパターン画像を生成する手段と、
前記繰り返しパターン画像とLog−Polar変換された前記入力画像との間の相関値を計算する手段と、
を備えることを特徴とするLog−Polar変換を用いた画像マッチングシステム。
【請求項11】
テンプレート画像と入力画像のマッチングを行うプログラムであって、コンピュータに、
前記テンプレート画像をLog−Polar変換し、第1画像を得る工程、
前記第1画像の繰り返しパターン画像を生成する工程、
前記入力画像をLog−Polar変換し、第2画像を得る工程、
前記繰り返しパターン画像と前記第2画像との間で相関を取る工程、
を実行させることを特徴とするLog−Polar変換を用いた画像マッチングプログラム。
【請求項1】
テンプレート画像と入力画像のマッチングを行う方法であって、
前記テンプレート画像をLog−Polar変換し、第1画像を得る工程と、
前記第1画像の繰り返しパターン画像を生成する工程と、
前記入力画像をLog−Polar変換し、第2画像を得る工程と、
前記繰り返しパターン画像と前記第2画像との間の相関値を計算する相関工程と、
を備えることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項2】
請求項1に記載のLog−Polar変換を用いた画像マッチング方法において、
前記繰り返しパターン画像は、前記第1画像のLog−Polar座標における位相軸方向および距離軸方向の長さが2倍となるように、前記第1画像の位相軸方向および距離軸方向の両端に対称に繰り返した画像であることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項3】
請求項1に記載のLog−Polar変換を用いた画像マッチング方法において、Log−Polar座標における位相軸方向が垂直方向と定義され、Log−Polar座標における距離軸方向が水平方向と定義されており、
前記第1画像を前記垂直方向の中央で分割した上下の第1分割画像と第2分割画像とした場合、第1展開画像は、前記第1分割画像を前記第2分割画像の下部に連結し、前記第2分割画像を前記第1分割画像の上部に連結した画像であり、
前記第1展開画像を前記水平方向の中央で分割した左右の第3分割画像と第4分割画像とした場合、前記繰り返しパターン画像は、前記第3分割画像を前記第4分割画像の右側部に連結し、前記第4分割画像を前記第3分割画像の左側部に連結した画像であることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項4】
請求項1ないし請求項3のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、さらに、
前記相関工程において最も高い相関値が検出された前記第2画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の回転角度を検出する工程、
を備えることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項5】
請求項1ないし請求項3のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、さらに、
前記相関工程において最も高い相関値が検出された前記第2画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の拡大縮小率を検出する工程、
を備えることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項6】
請求項1ないし請求項5のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、
前記入力画像は、連続したフレームからなる動画像中の1のフレームであり、前記テンプレート画像は、前記1のフレームより時間方向で前の他のフレームから抽出された画像であることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項7】
請求項1ないし請求項5のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、
前記入力画像は、連続したフレームからなる動画像中の1のフレームであり、前記テンプレート画像は、前記1のフレームより時間方向で前の他のフレームから抽出された複数の画像であることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項8】
請求項1ないし請求項7のいずれかに記載のLog−Polar変換を用いた画像マッチング方法において、
前記テンプレート画像には、顔の画像が含まれており、前記画像マッチング方法は、前記入力画像の中から前記顔の画像を検出することを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項9】
テンプレート画像と入力画像のマッチングを行う方法であって、
前記テンプレート画像をLog−Polar変換し、第1画像を得る工程と、
前記第1画像の繰り返しパターン画像を生成する工程と、
前記入力画像からブロック画像を抽出する工程と、
前記ブロック画像をLog−Polar変換し、第2画像を得る工程と、
前記繰り返しパターン画像と前記第2画像との間の相関値を計算する相関工程と、
を備えることを特徴とするLog−Polar変換を用いた画像マッチング方法。
【請求項10】
テンプレート画像と入力画像のマッチングを行うシステムであって、
前記テンプレート画像および前記入力画像を格納する記憶手段と、
前記テンプレート画像および前記入力画像をLog−Polar変換する手段と、
Log−Polar変換された前記テンプレート画像の繰り返しパターン画像を生成する手段と、
前記繰り返しパターン画像とLog−Polar変換された前記入力画像との間の相関値を計算する手段と、
を備えることを特徴とするLog−Polar変換を用いた画像マッチングシステム。
【請求項11】
テンプレート画像と入力画像のマッチングを行うプログラムであって、コンピュータに、
前記テンプレート画像をLog−Polar変換し、第1画像を得る工程、
前記第1画像の繰り返しパターン画像を生成する工程、
前記入力画像をLog−Polar変換し、第2画像を得る工程、
前記繰り返しパターン画像と前記第2画像との間で相関を取る工程、
を実行させることを特徴とするLog−Polar変換を用いた画像マッチングプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2004−310243(P2004−310243A)
【公開日】平成16年11月4日(2004.11.4)
【国際特許分類】
【出願番号】特願2003−99909(P2003−99909)
【出願日】平成15年4月3日(2003.4.3)
【出願人】(591128453)株式会社メガチップス (322)
【Fターム(参考)】
【公開日】平成16年11月4日(2004.11.4)
【国際特許分類】
【出願日】平成15年4月3日(2003.4.3)
【出願人】(591128453)株式会社メガチップス (322)
【Fターム(参考)】
[ Back to top ]