画像特徴抽出装置、画像処理装置、及びプログラム
【課題】特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができるようにする。
【解決手段】特徴量算出部22によって、撮像画像の各画素について、輝度の勾配を算出する。画素特徴量抽出部26によって、各注目画素について、局所周辺領域内の各画素の特徴量との相関を表わす勾配相関行列を各々算出し、各注目画素について、局所周辺領域を分割した小領域毎に、勾配相関行列の合計値を算出して、注目画素の画素特徴ベクトルを抽出する。画像特徴量抽出部28によって、撮像画像を分割した複数の分割領域の各々について、該分割領域内の各画素の画素特徴ベクトルの合計を算出して、分割領域毎の画素特徴ベクトルの合計を、画像特徴ベクトルとして抽出する。
【解決手段】特徴量算出部22によって、撮像画像の各画素について、輝度の勾配を算出する。画素特徴量抽出部26によって、各注目画素について、局所周辺領域内の各画素の特徴量との相関を表わす勾配相関行列を各々算出し、各注目画素について、局所周辺領域を分割した小領域毎に、勾配相関行列の合計値を算出して、注目画素の画素特徴ベクトルを抽出する。画像特徴量抽出部28によって、撮像画像を分割した複数の分割領域の各々について、該分割領域内の各画素の画素特徴ベクトルの合計を算出して、分割領域毎の画素特徴ベクトルの合計を、画像特徴ベクトルとして抽出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像特徴抽出装置、画像処理装置、及びプログラムに係り、特に、処理対象画像から特徴量を抽出する画像特徴抽出装置、画像処理装置、及びプログラムに関する。
【背景技術】
【0002】
従来より、画像の各画素のエッジベクトルを用いて局所領域の自己相関を計算することで、対象物の認識に有効な輝度の変化方向と位置の相関情報を表す特徴を抽出する画像特徴抽出装置が知られている(特許文献1)。
【0003】
また、画像の各画素のエッジ方向を用いて周辺領域の画素との間で画素間の位置関係とエッジ方向の共起性を求めることで、歩行者の認識に有効な特徴を抽出する方法が知られている(非特許文献1)。この方法では、多数の画素間の位置関係ごとにエッジ方向の共起ヒストグラムを生成している。
【0004】
また、画像の各画素の周辺領域を区分し、区分された領域ごとに輝度勾配の平均を求めて各区分領域の特徴を記述し、それらの共変動性を計算することで、対象物の識別のための特徴を抽出する方法が知られている(特許文献2)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−217627号公報
【特許文献2】特開平9−171553号公報
【非特許文献】
【0006】
【非特許文献1】T.Watanabe,S.Ito,K.Yokoi“Co−occurrence Histograms of Oriented Gradients for Pedestrian Detection”,PSIVT 2009,2009年,LNCS 5414,pp.37−47
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記の特許文献1に記載の技術では、局所領域に限定した自己相関を考え、局所領域内の画素の組み合わせに対して自己相関を計算しているため、対象物の識別性能を高くすることが難しい、という問題がある。
【0008】
また、上記の非特許文献1に記載の技術では、多数の画素間の位置関係ごとにエッジ方向の共起ヒストグラムを生成するため、微少な位置ずれや回転に対する頑健性が低くなり、識別性能が悪くなってしまうと共に、特徴次元数が大きく増大して、識別時の計算量が増大してしまう、という問題がある。
【0009】
また、上記の特許文献2に記載の技術では、区分された領域ごとに輝度勾配の加重平均を求めて特徴としているため、対象物の識別性能を高くすることが難しい、という問題がある。
【0010】
本発明は、上記の問題点を解決するためになされたもので、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる画像特徴抽出装置、画像処理装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の目的を達成するために本発明に係る画像特徴抽出装置は、処理対象の画像の各画素について、特徴量を算出する特徴量算出手段と、各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段と、各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段と、を含んで構成されている。
【0012】
本発明に係るプログラムは、コンピュータを、処理対象の画像の各画素について、特徴量を算出する特徴量算出手段、各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段、及び各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段として機能させるためのプログラムである。
【0013】
本発明によれば、特徴量算出手段によって、処理対象の画像の各画素について、特徴量を算出する。相関算出手段によって、各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する。
【0014】
そして、画素特徴量抽出手段によって、各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する。
【0015】
このように、画素周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を算出し、画素周辺の所定領域を分割した、複数の小領域の各々に対する相関特徴量の合計又は平均を、画素特徴量として抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。
【0016】
本発明に係る相関算出手段は、該画素と、該画素の周辺の所定領域内の画素との間における、量子化した前記特徴量の組み合わせの各々の共起性を表わす行列を、相関特徴量として算出し、画素特徴量抽出手段は、複数の小領域の各々に対して、量子化した特徴量の組み合わせの各々の共起性のヒストグラムを表わす行列を、該画素の画素特徴量として抽出することができる。
【0017】
本発明に係る特徴量算出手段は、処理対象の画像の各画素について、輝度の勾配を前記特徴量として算出することができる。
【0018】
本発明に係る画像特徴抽出装置は、処理対象の画像を分割した複数の分割領域の各々について、該分割領域内の各画素の画素特徴量の合計又は平均を算出して、複数の分割領域の各々に対する画素特徴量の合計又は平均を、画像特徴量として抽出する画像特徴量抽出手段を更に含むことができる。
【0019】
上記の小領域を、該画素からの距離及び該画素に対する方向に応じて所定領域を分割し、かつ、該画素からの距離が長いほど、該画素に対する方向に応じた分割数が多くなるように所定領域を分割したものとすることができる。これによって、回転だけでなく、微小な位置ずれに対しても頑健な特徴量を抽出することができる。
【0020】
上記の小領域を、該画素に対する方向に応じて所定領域を分割したものとすることができる。
【0021】
本発明に係る画像処理装置は、上記の画像特徴抽出装置と、前記画像特徴抽出装置によって抽出された各画素の前記画素特徴量又は前記画像特徴量に基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する画像処理手段と、を含んで構成されている。
【0022】
本発明に係る画像処理装置によれば、上記の画像特徴抽出装置によって、処理対象の画像の各画素の画素特徴量又は画像特徴量を抽出する。そして、画像処理手段によって、画像特徴抽出装置によって抽出された各画素の画素特徴量又は画像特徴量に基づいて、処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は処理対象の画像から処理対象物を表わす領域を検出する。
【0023】
このように、画像特徴抽出装置によって、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができ、対象物の識別または検出を精度よく行なうことができる。
【発明の効果】
【0024】
以上説明したように、本発明の画像特徴抽出装置、画像処理装置、及びプログラムによれば、画素周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を算出し、画素周辺の所定領域を分割した、複数の小領域の各々に対する相関特徴量の合計又は平均を、画素特徴量として抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる、という効果が得られる。
【図面の簡単な説明】
【0025】
【図1】本発明の第1の実施の形態に係る対象物識別装置の構成を示す概略図である。
【図2】量子化された勾配方向を示す図である。
【図3】注目画素に対する局所周辺領域を示すイメージ図である。
【図4】注目画素に対する局所周辺領域を小領域に分割する様子を示すイメージ図である。
【図5】局所周辺領域内の画素のうちの相関を計算する画素を示す図である。
【図6】局所周辺領域内の画素のうちの相関を計算する画素を示す図である。
【図7】小領域の各々における、注目画素との相関を計算する画素を示す図である。
【図8】撮像画像を分割領域に分割する様子を示すイメージ図である。
【図9】本発明の第1の実施の形態に係る対象物識別装置のコンピュータにおける識別処理ルーチンの内容を示すフローチャートである。
【図10】本発明の第2の実施の形態において、注目画素に対する局所周辺領域を小領域に分割する様子を示すイメージ図である。
【発明を実施するための形態】
【0026】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に本発明を適用した場合を例に説明する。
【0027】
図1に示すように、第1の実施の形態に係る対象物識別装置10は、車両(図示省略)に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置12と、撮像装置12から得られる撮像画像が歩行者を撮像した画像であるか否かを識別するコンピュータ14と、コンピュータ14の識別結果を表示する表示装置16とを備えている。
【0028】
撮像装置12は、車両の前方を撮像し、画像の画像信号を生成する撮像部(図示省略)と、撮像部で生成された画像信号をA/D変換するA/D変換部(図示省略)と、A/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)とを備えている。
【0029】
コンピュータ14は、CPUと、RAMと、後述する識別処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。コンピュータ14は、撮像装置12から撮像された画像を取得する画像取得部20と、画像取得部20により取得した撮像画像の各画素について、特徴量として輝度の勾配を算出する特徴量算出部22と、各画素について、局所周辺領域を設定すると共に、各画素に対する局所周辺領域を小領域に各々分割する領域分割部24と、各画素について、局所周辺領域の小領域毎に算出した勾配相関行列を画素特徴ベクトルとして抽出する画素特徴量抽出部26と、撮像画像を分割した分割領域毎に、小領域毎の画素特徴ベクトルを足し合わせて、画像特徴ベクトルを抽出する画像特徴量抽出部28と、歩行者を撮像した学習画像に基づいて予め生成された学習モデルとしてのSVM(サポートベクターマシン)モデルを記憶した学習モデル記憶部30と、抽出された画像特徴ベクトルと、学習モデルとに基づいて、SVM識別器により、識別対象画像が歩行者を撮像した画像であるか否かを識別する識別部32とを備えている。
【0030】
特徴量算出部22は、画像取得部20により取得した撮像画像の各画素について、輝度の勾配を算出する。輝度の勾配は、大きさと方向とで表わされ、本発明の特徴量の一例である。画像座標(x,y)での勾配の大きさm(x,y)と方向θ(x,y)は、以下の(1)式、(2)式に示すように計算される。
【0031】
【数1】
【0032】
なお、Ix(x,y)は水平方向の微分であり、Iy(x,y)は垂直方向の微分を表す。
【0033】
また、勾配の方向は、あらかじめ設定した方向数で量子化されている。たとえば、図2に示すように、均等な角度に分けた量子化方向により勾配方向を量子化したベクトルで方向が表わされる。このとき、勾配方向の量子化方向の近さに応じて要素の値を設定する方法を用いる。上記図2の場合、勾配方向は量子化方向のうち方向2と方向3の間にあり、その角度の比はt:1−tなので、その角度に応じた線形補間として、勾配方向を、ベクトル[0,1−t,t,0,0,0,0,0]で表す。また、勾配方向に最も近い量子化方向に対応する要素のみを1として他の要素を0としたベクトルで表す方法を用いてもよい。上記図2の例では、勾配方向は量子化方向のうち方向2に最も近いので、勾配方向は、ベクトル[0,1,0,0,0,0,0,0]と表される。
【0034】
領域分割部24は、各画素について、図3(A)、(B)に示すように、注目画素に対する局所周辺領域を設定する。局所周辺領域として、注目画素を中心とした矩形領域または円形領域などを用いる。局所周辺領域の大きさ、形状は他のものでもよい。なお、以下では、局所周辺領域として円形領域を用いた場合を例に説明する。
【0035】
また、領域分割部24は、局所周辺領域を複数の小領域に分割する。例えば、図4に示すように、注目画素に対する方向に応じて、放射状に分割する。
【0036】
画素特徴量抽出部26は、まず、各画素において、注目画素に対する局所周辺領域内の画素と注目画素との勾配の相関を算出する。本実施の形態では、各注目画素において、注目画素に対する局所周辺領域内の画素と勾配の相関をとるとき、図5(A)、(B)で示すような、注目画素より下の行の画素か、あるいは同じ行の右側にある画素とのみ、勾配の相関を計算する。これは、たとえば注日画素より1つ左の画素との相関は、1つ左の画素を注目画素としたときの1つ右の画素との相関と同じになり重複するため、そのような重複を除くためである。
【0037】
2つの画素の勾配の相関は以下のようにして計算する。2画素の勾配の大きさがma,mb、2画素の勾配の方向を量子化したベクトルがOa=[Oa1,Oa2,…,Oan]T、Ob=[Ob1,Ob2,…,Obn]T (nは量子化方向数)とすると、2画素の勾配の相関(勾配相関行列)は、以下の(3)式に従って計算される。
【0038】
【数2】
【0039】
ただし、Cabは、2画素の勾配の相関を表わすn×n行列(勾配相関行列)であり、量子化した勾配方向の組み合わせの各々の共起性を表わす行列である。勾配相関行列は、本発明の相関特徴量の一例である。また、w(ma,mb)は2つの画素の勾配の大きさから計算される相関の重みであり、以下の(4)式又は(5)式で表される
【0040】
【数3】
【0041】
図6に示すような局所周辺領域の場合、注目画素と相関を計算する画素は18画素あるので、画素(x,y)において、18通りの位置関係の画素との相関C1(x,y),C2(x,y),…,C18(x,y)を計算する。例えば、C1(x,y)は、画素(x,y)と、上記図6に示す位置関係1(ひとつ右)の画素(x+1,y)との相関を表わすn×n行列である。
【0042】
以上のようにして、すべての注目画素において、すべての位置関係の画素との勾配相関行列を計算する。
【0043】
次に、画素特徴量抽出部26は、各注目画素で計算した局所周辺領域内の画素との勾配相関行列を、局所周辺領域を分割した小領域ごとに足し合わせて、注目画素の特徴量として、小領域毎の勾配相関のヒストグラムを示す行列(勾配相関行列の合計)を表わす画素特徴ベクトルを生成する。小領域がR1,…,Rmであるとき、以下の(6)式に従って、小領域Rkの勾配相関行列の合計を計算する。
【0044】
【数4】
【0045】
上記(6)式のように、小領域Rkの勾配相関行列の合計CRk(x、y)は、量子化した勾配方向の組み合わせの各々の共起性のヒストグラムを表わす行列である。
【0046】
図7に示すように、局所周辺領域が小領域に分割されている場合、勾配の相関の計算処理により各画素において勾配相関行列C1(x,y),C2(x,y),…,C18(x,y)が得られているので、小領域R1,R2,R3毎に、小領域R1,R2,R3それぞれに含まれる局所周辺領域内の画素に対する勾配相関行列を足し合わせる。例えば、小領域R1について足し合わせた、勾配相関行列の合計を、以下の(7)式に従って計算する。
【0047】
【数5】
【0048】
上記(7)式のように計算された小領域毎の勾配相関行列の合計が、注目画素の画素特徴ベクトルとして抽出される。
【0049】
このように、小領域ごとに勾配相関行列を足し合わせて、画素特徴ベクトルを生成するため、小領域内でのずれは、画素特徴ベクトルに影響しない。また、放射状に分割して小領域を設定することにより、微少な回転が起こっても、画素のずれは小領域内にとどまるため画素特徴ベクトルは変化せず、微少な回転ずれに頑健な特徴となる。
【0050】
なお、局所周辺領域の画素はどれか1つの領域にのみ含まれるとせず、その位置に応じて線形補間による重み付けをして足し合わせてもよい。たとえば、図7の画素14であれば、小領域R1とR2の両方の勾配相関行列の合計の計算において、線形補間による重み付けをして加算されるようにしてもよい。
【0051】
画像特徴量抽出部28は、図8に示すように、撮像画像全体を複数の領域に分割し、分割領域内に含まれる画素の画素特徴ベクトル(小領域毎の勾配相関行列の合計)を足し合わせる。このとき、計算された画素特徴ベクトルの合計(勾配相関行列の合計の合計)を示す行列の各値を正規化してもよい。例えば、すべての要素の値の2乗和が1になるように正規化する。あるいは、すべての要素の値の絶対値和が1になるように正規化する。
【0052】
画像特徴量抽出部28は、最終的に、撮像画像の分割領域ごとに、小領域の数だけの勾配相関行列の合計(画素特徴ベクトルと同等の行列)が得られるので、すべての分割領域の各々について、すべての小領域の勾配相関行列の値を並べたものを、入力された撮像画像の画像特徴ベクトルとして抽出する。
【0053】
勾配の方向の量子化数がn、局所周辺領域を分割した小領域数がm、画像全体がbx×by個の領域に分割されたとすると、最終的な画像特徴ベクトルの次元数は(n×n×m×bx×by)となる。
【0054】
学習モデル記憶部30では、以下のような学習処理によって予め求められた学習モデルを記憶している。
【0055】
まず、歩行者を撮像した複数の歩行者画像と、歩行者以外を撮像した複数の非歩行者画像とを予め用意し、複数の歩行者画像と複数の非歩行者画像との各々について、上述したように画像特徴ベクトルを抽出する。
【0056】
そして、各画像について求められた画像特徴ベクトルを訓練データとし、各画像が歩行者画像及び非歩行者画像の何れであるかに応じて付与される教師ラベルを用いて、学習処理を行い、SVMモデルを学習モデルとして求め、学習モデル記憶部30に記憶する。
【0057】
識別部32は、学習モデル記憶部30に記憶された学習モデルと、画像特徴量抽出部28により算出された画像特徴ベクトルとに基づいて、従来既知のSVM識別器を用いて、識別対象画像が歩行者を撮像した画像であるか否かを識別し、識別結果を、表示装置16に表示させる。
【0058】
次に、本実施の形態に係る対象物識別装置10の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像と、歩行者以外を撮像することにより得られた非歩行者画像とに基づいて、学習処理を行い、得られたSVMモデルを、学習モデル記憶部30に記憶する。
【0059】
そして、対象物識別装置10を搭載した車両の走行中に、撮像装置12によって車両の前方の所定領域が撮像されると、コンピュータ14において、図9に示す識別処理ルーチンが実行される。
【0060】
まず、ステップ100において、撮像装置12から撮像画像を取得し、ステップ102において、上記ステップ100で取得した撮像画像の各画素について、特徴量として、輝度の勾配を算出する。そして、ステップ104において、各画素について、注目画素の周辺に局所周辺領域を設定すると共に、局所周辺領域を、複数の小領域に分割する。
【0061】
次のステップ106では、各画素について、注目画素と、注目画素に対する局所周辺領域内の各画素との勾配相関行列を算出する。そして、ステップ108において、各画素について、上記ステップ104で分割した、注目画素に対する局所周辺領域の小領域毎に、勾配相関行列を加算して、小領域毎に求められた勾配相関行列の合計を、画素特徴ベクトルとして算出する。
【0062】
次のステップ110では、上記ステップ100で取得した撮像画像を、複数の分割領域に分割すると共に、分割領域毎に、当該分割領域内の各画素の画素特徴ベクトル(小領域毎の勾配相関行列の合計)を加算して、分割領域毎に求められた画素特徴ベクトルの合計(小領域毎の勾配相関行列の合計)を、画像特徴ベクトルとして算出する。
【0063】
そして、ステップ112において、上記ステップ110で得られた画像特徴ベクトルに基づいて、予め求められた学習モデル及びSVM識別器を用いて、上記ステップ100で取得した撮像画像が、歩行者を表わす歩行者画像であるか否かを識別する。そして、ステップ114において、上記ステップ112における識別結果を表示装置16に表示して、識別処理ルーチンを終了する。
【0064】
以上説明したように、第1の実施の形態に係る対象物識別装置によれば、注目画素周辺の局所周辺領域内の各画素の特徴量との相関を表わす勾配相関行列を算出し、局所周辺領域を分割した小領域毎に求められる勾配相関行列の合計を、画素特徴ベクトルとして抽出し、撮像画像を分割した分割領域毎に求められる画素特徴ベクトルの合計を、画像特徴ベクトルとして抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。
【0065】
また、小領域内の各画素について勾配相関行列を足し合わせて、勾配相関のヒストグラムを表わす行列を算出しても、重要な勾配の情報は保持されるため、勾配相関行列の合計を用いた画像特徴量に基づいて、高精度な識別が可能である。
【0066】
従来より、物体の識別性能を向上させる画像特徴量として、2つの画素間のエッジ方向の共起ヒストグラムを利用する方法があるが、このような従来の手法では、様々な2画素の位置関係ごとに共起ヒストグラムを生成するため、特徴量の次元数が増大し、処理量の増大につながることや、微少な位置ずれや回転に対する不変性が弱くなる、という問題がある。また、局所領域に限定した2画素の位置関係だけの共起ヒストグラムでは識別性能を十分に向上させることができない。一方、本実施の形態では、様々な画素間の位置関係を、複数の小領域に応じた複数のグループに分け、グループごとに、共起ヒストグラムに相当する勾配相関行列の合計を算出して、特徴量とすることで、特徴量の次元数を増大させることなく、識別性能を向上させることができる。また、画像から人などの複雑な形状の物体を、処理量を増大させることなく高精度に識別することができる。
【0067】
また、局所領域に限定して共起ヒストグラムを生成する従来技術に比べて、局所領域の大きさを広げて共起ヒストグラムを生成するため、画像から、より詳細な形状の特徴を抽出することができる。
【0068】
また、局所周辺領域内の多数の画素間の位置関係を用いるが、局所周辺領域を小領域に分割し、小領域ごとにまとめて、共起ヒストグラムに相当する勾配相関行列の合計を算出するため、微少な位置ずれや回転に対して頑健になると共に、次元数の増大も防ぐことができる。
【0069】
また、区分された小領域の各画素と注目画素のペアを用いて、共起ヒストグラムに相当する勾配相関行列の合計を算出し、画素特徴ベクトルを生成しているため、領域内に複数の勾配方向が存在していてもそれを特徴として記述することができる。
【0070】
次に、第2の実施の形態について説明する。なお、第2の実施の形態に係る対象物識別装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
【0071】
第2の実施の形態では、注目画像からの距離及び注目画素に対する方向に応じて、局所周辺領域を分割している点が、第1の実施の形態と異なっている。
【0072】
第2の実施の形態では、領域分割部24によって、図10に示すように、注目画像からの距離及び注目画素に対する方向に応じて、注目画素に対する局所周辺領域を、分割する。例えば、注目画素からの距離が長いほど、注目画素に対する方向に応じた分割数が多くなるように局所周辺領域を分割する。
【0073】
上記図10に示すように、注目画素に対する方向だけでなく、注日画素からの距離によっても分割を行い、距離が近い範囲では方向による分割数を小さく、距離が遠い範囲では方向による分割数を大きく設定することにより、回転に対する頑健性を保持したまま、位置関係に対する情報量を増やすことができる。
【0074】
なお、第2の実施の形態に係る対象物識別装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
【0075】
次に、第3の実施の形態について説明する。なお、第3の実施の形態に係る対象物識別装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
【0076】
第3の実施の形態では、画素毎の画素特徴ベクトルを、画像特徴量として用いて、識別処理を行っている点が、第1の実施の形態と異なっている。
【0077】
第3の実施の形態に係る対象物識別装置のコンピュータ14は、画像取得部20と、特徴量算出部22と、領域分割部24と、画素特徴量抽出部26と、学習モデル記憶部30と、識別部32とを備えている。
【0078】
学習モデル記憶部30は、以下のような学習処理によって予め求められた学習モデルを記憶している。
【0079】
まず、歩行者を撮像した複数の歩行者画像と、歩行者以外を撮像した複数の非歩行者画像とを予め用意し、複数の歩行者画像と複数の非歩行者画像との各々について、画素毎の画素特徴ベクトルを抽出する。
【0080】
そして、各画像について求められた画素毎の画素特徴ベクトルを訓練データとし、各画像が歩行者画像及び非歩行者画像の何れであるかに応じて付与される教師ラベルを用いて、学習処理を行い、SVMモデルを学習モデルとして求め、学習モデル記憶部30に記憶する。
【0081】
識別部32は、学習モデル記憶部30に記憶された学習モデルと、画素特徴量抽出部26により算出された画素毎の画素特徴ベクトルとに基づいて、従来既知のSVM識別器を用いて、識別対象画像が歩行者を撮像した画像であるか否かを識別し、識別結果を、表示装置16に表示させる。
【0082】
なお、第3の実施の形態に係る対象物識別装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
【0083】
このように、注目画素周辺の局所周辺領域内の各画素の特徴量との相関を表わす勾配相関行列を算出し、局所周辺領域を分割した小領域毎に求められる勾配相関行列の合計を、画素特徴ベクトルとして抽出し、各画素の画素特徴ベクトルを、画像の特徴量とすることにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。
【0084】
次に、第4の実施の形態について説明する。なお、第4の実施の形態に係る対象物識別装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
【0085】
第4の実施の形態では、撮像画素の各画素から、輝度情報を抽出して、注目画素の輝度情報と、局所周辺領域の各画素の輝度情報とから、小領域毎の輝度の相関値を表わす画素特徴ベクトルを生成している点が、第1の実施の形態と異なっている。
【0086】
第4の実施の形態に係る対象物識別装置では、特徴量算出部22は、画像取得部20により取得した撮像画像の各画素について、輝度情報を算出する。輝度情報は、輝度値を示す。
【0087】
画素特徴量抽出部26は、まず、各画素において、注目画素の局所周辺領域内の画素と注目画素との輝度情報の相関値(例えば、輝度値の乗算値)を算出する。
【0088】
上記図6に示すような局所周辺領域の場合、注目画素と相関を計算する画素は18画素あるので、画素(x,y)において、18通りの位置関係の画素との相関値を計算する。
【0089】
以上のようにして、すべての注目画素において、すべての位置関係の画素との相関値を計算する。
【0090】
次に、画素特徴量抽出部26は、各画素で計算した局所周辺領域内の画素との相関値を、局所周辺領域を分割した小領域ごとに足し合わせて、画素の特徴量として、小領域毎の相関値の合計値を示す画素特徴ベクトルを生成する。
【0091】
画像特徴量抽出部28は、撮像画像全体を複数の領域に分割し、分割領域内に含まれる画素の画素特徴ベクトル(小領域毎の相関値の合計値)を足し合わせて、画像の特徴量として、小領域毎の相関値の合計値(相関値の合計値の合計値)を示す画像特徴ベクトルを生成する。画像特徴量抽出部28は、最終的に、撮像画像の分割領域ごとに、小領域の数だけの相関値の合計値を示すベクトル(画素特徴ベクトルと同等のベクトル)が得られるので、すべての分割領域の各々について、すべての小領域の相関値の合計値を並べたものを、入力された撮像画像の画像特徴ベクトルとして抽出する。
【0092】
なお、第4の実施の形態に係る対象物識別装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
【0093】
このように、注目画素周辺の局所周辺領域内の各画素の特徴量との相関を表わす相関値を算出し、局所周辺領域を分割した小領域毎に求められる相関値の合計を、画素特徴ベクトルとして抽出し、撮像画像を分割した分割領域毎に求められる画素特徴ベクトルの合計を、画像特徴ベクトルとして抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。
【0094】
なお、上記の第1の実施の形態〜第4の実施の形態では、局所周辺領域の小領域毎に、勾配相関行列を合計して、画素特徴ベクトルを生成する場合を例に説明したが、これに限定されるものではなく、局所周辺領域の小領域毎に、勾配相関行列を平均して、画素特徴ベクトルを生成してもよい。
【0095】
また、分割領域毎に、画素特徴ベクトルを足し合わせて、画像特徴ベクトルを生成する場合を例に説明したが、これに限定されるものではなく、分割領域毎に、画素特徴ベクトルを平均して、画像特徴ベクトルを生成してもよい。
【0096】
また、SVM識別器を用いて、画像の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法(例えば、最近傍識別、線形判別など)を用いて、画像の識別処理を行うようにしてもよい。
【0097】
また、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に、本発明を適用した場合を例に説明したが、これに限定されるものではなく、撮像画像から、検出対象物としての歩行者を表わす領域を検出する対象物検出装置に、本発明を適用してもよい。例えば、撮像画像内の対象領域(例えば、探索範囲により切り出された領域)について生成された画像特徴ベクトルと、歩行者を表わす領域について予め求められた画像特徴ベクトルとを比較することにより、撮像画像から、歩行者を表わす領域を検出するようにしてもよい。
【0098】
また、撮像装置から撮像画像を取得し、識別対象の画像とした場合を例に説明したが、これに限定されるものではなく、ハードディスク装置から画像データを読み込み、読み込んだ画像データを、識別対象の画像としてもよい。
【0099】
また、分割した小領域や分割領域について、隣接する領域間で重なりがないように分割した場合を例に説明したが、これに限定されるものではなく、隣接する領域間で重なりがある分割方式によって、小領域や分割領域に分割するようにしてもよい。また、均等でない分割方式によって、分割領域に分割するようにしてもよい。
【0100】
また、撮像画像から抽出される特徴量が、輝度の勾配又は輝度情報である場合を例に説明したが、これに限定されるものではなく、他の種類の特徴量を、各画素について抽出するようにしてもよい。
【0101】
また、識別対象物が人物である場合を例に説明したが、これに限定されるものではなく、人物以外の物体を識別対象物としてもよい。
【0102】
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをCDROM等の記憶媒体に格納して提供することも可能である。
【符号の説明】
【0103】
10 対象物識別装置
12 撮像装置
14 コンピュータ
16 表示装置
22 特徴量算出部
24 領域分割部
26 画素特徴量抽出部
28 画像特徴量抽出部
32 識別部
【技術分野】
【0001】
本発明は、画像特徴抽出装置、画像処理装置、及びプログラムに係り、特に、処理対象画像から特徴量を抽出する画像特徴抽出装置、画像処理装置、及びプログラムに関する。
【背景技術】
【0002】
従来より、画像の各画素のエッジベクトルを用いて局所領域の自己相関を計算することで、対象物の認識に有効な輝度の変化方向と位置の相関情報を表す特徴を抽出する画像特徴抽出装置が知られている(特許文献1)。
【0003】
また、画像の各画素のエッジ方向を用いて周辺領域の画素との間で画素間の位置関係とエッジ方向の共起性を求めることで、歩行者の認識に有効な特徴を抽出する方法が知られている(非特許文献1)。この方法では、多数の画素間の位置関係ごとにエッジ方向の共起ヒストグラムを生成している。
【0004】
また、画像の各画素の周辺領域を区分し、区分された領域ごとに輝度勾配の平均を求めて各区分領域の特徴を記述し、それらの共変動性を計算することで、対象物の識別のための特徴を抽出する方法が知られている(特許文献2)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−217627号公報
【特許文献2】特開平9−171553号公報
【非特許文献】
【0006】
【非特許文献1】T.Watanabe,S.Ito,K.Yokoi“Co−occurrence Histograms of Oriented Gradients for Pedestrian Detection”,PSIVT 2009,2009年,LNCS 5414,pp.37−47
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記の特許文献1に記載の技術では、局所領域に限定した自己相関を考え、局所領域内の画素の組み合わせに対して自己相関を計算しているため、対象物の識別性能を高くすることが難しい、という問題がある。
【0008】
また、上記の非特許文献1に記載の技術では、多数の画素間の位置関係ごとにエッジ方向の共起ヒストグラムを生成するため、微少な位置ずれや回転に対する頑健性が低くなり、識別性能が悪くなってしまうと共に、特徴次元数が大きく増大して、識別時の計算量が増大してしまう、という問題がある。
【0009】
また、上記の特許文献2に記載の技術では、区分された領域ごとに輝度勾配の加重平均を求めて特徴としているため、対象物の識別性能を高くすることが難しい、という問題がある。
【0010】
本発明は、上記の問題点を解決するためになされたもので、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる画像特徴抽出装置、画像処理装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の目的を達成するために本発明に係る画像特徴抽出装置は、処理対象の画像の各画素について、特徴量を算出する特徴量算出手段と、各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段と、各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段と、を含んで構成されている。
【0012】
本発明に係るプログラムは、コンピュータを、処理対象の画像の各画素について、特徴量を算出する特徴量算出手段、各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段、及び各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段として機能させるためのプログラムである。
【0013】
本発明によれば、特徴量算出手段によって、処理対象の画像の各画素について、特徴量を算出する。相関算出手段によって、各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する。
【0014】
そして、画素特徴量抽出手段によって、各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する。
【0015】
このように、画素周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を算出し、画素周辺の所定領域を分割した、複数の小領域の各々に対する相関特徴量の合計又は平均を、画素特徴量として抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。
【0016】
本発明に係る相関算出手段は、該画素と、該画素の周辺の所定領域内の画素との間における、量子化した前記特徴量の組み合わせの各々の共起性を表わす行列を、相関特徴量として算出し、画素特徴量抽出手段は、複数の小領域の各々に対して、量子化した特徴量の組み合わせの各々の共起性のヒストグラムを表わす行列を、該画素の画素特徴量として抽出することができる。
【0017】
本発明に係る特徴量算出手段は、処理対象の画像の各画素について、輝度の勾配を前記特徴量として算出することができる。
【0018】
本発明に係る画像特徴抽出装置は、処理対象の画像を分割した複数の分割領域の各々について、該分割領域内の各画素の画素特徴量の合計又は平均を算出して、複数の分割領域の各々に対する画素特徴量の合計又は平均を、画像特徴量として抽出する画像特徴量抽出手段を更に含むことができる。
【0019】
上記の小領域を、該画素からの距離及び該画素に対する方向に応じて所定領域を分割し、かつ、該画素からの距離が長いほど、該画素に対する方向に応じた分割数が多くなるように所定領域を分割したものとすることができる。これによって、回転だけでなく、微小な位置ずれに対しても頑健な特徴量を抽出することができる。
【0020】
上記の小領域を、該画素に対する方向に応じて所定領域を分割したものとすることができる。
【0021】
本発明に係る画像処理装置は、上記の画像特徴抽出装置と、前記画像特徴抽出装置によって抽出された各画素の前記画素特徴量又は前記画像特徴量に基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する画像処理手段と、を含んで構成されている。
【0022】
本発明に係る画像処理装置によれば、上記の画像特徴抽出装置によって、処理対象の画像の各画素の画素特徴量又は画像特徴量を抽出する。そして、画像処理手段によって、画像特徴抽出装置によって抽出された各画素の画素特徴量又は画像特徴量に基づいて、処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は処理対象の画像から処理対象物を表わす領域を検出する。
【0023】
このように、画像特徴抽出装置によって、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができ、対象物の識別または検出を精度よく行なうことができる。
【発明の効果】
【0024】
以上説明したように、本発明の画像特徴抽出装置、画像処理装置、及びプログラムによれば、画素周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を算出し、画素周辺の所定領域を分割した、複数の小領域の各々に対する相関特徴量の合計又は平均を、画素特徴量として抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる、という効果が得られる。
【図面の簡単な説明】
【0025】
【図1】本発明の第1の実施の形態に係る対象物識別装置の構成を示す概略図である。
【図2】量子化された勾配方向を示す図である。
【図3】注目画素に対する局所周辺領域を示すイメージ図である。
【図4】注目画素に対する局所周辺領域を小領域に分割する様子を示すイメージ図である。
【図5】局所周辺領域内の画素のうちの相関を計算する画素を示す図である。
【図6】局所周辺領域内の画素のうちの相関を計算する画素を示す図である。
【図7】小領域の各々における、注目画素との相関を計算する画素を示す図である。
【図8】撮像画像を分割領域に分割する様子を示すイメージ図である。
【図9】本発明の第1の実施の形態に係る対象物識別装置のコンピュータにおける識別処理ルーチンの内容を示すフローチャートである。
【図10】本発明の第2の実施の形態において、注目画素に対する局所周辺領域を小領域に分割する様子を示すイメージ図である。
【発明を実施するための形態】
【0026】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に本発明を適用した場合を例に説明する。
【0027】
図1に示すように、第1の実施の形態に係る対象物識別装置10は、車両(図示省略)に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置12と、撮像装置12から得られる撮像画像が歩行者を撮像した画像であるか否かを識別するコンピュータ14と、コンピュータ14の識別結果を表示する表示装置16とを備えている。
【0028】
撮像装置12は、車両の前方を撮像し、画像の画像信号を生成する撮像部(図示省略)と、撮像部で生成された画像信号をA/D変換するA/D変換部(図示省略)と、A/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)とを備えている。
【0029】
コンピュータ14は、CPUと、RAMと、後述する識別処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。コンピュータ14は、撮像装置12から撮像された画像を取得する画像取得部20と、画像取得部20により取得した撮像画像の各画素について、特徴量として輝度の勾配を算出する特徴量算出部22と、各画素について、局所周辺領域を設定すると共に、各画素に対する局所周辺領域を小領域に各々分割する領域分割部24と、各画素について、局所周辺領域の小領域毎に算出した勾配相関行列を画素特徴ベクトルとして抽出する画素特徴量抽出部26と、撮像画像を分割した分割領域毎に、小領域毎の画素特徴ベクトルを足し合わせて、画像特徴ベクトルを抽出する画像特徴量抽出部28と、歩行者を撮像した学習画像に基づいて予め生成された学習モデルとしてのSVM(サポートベクターマシン)モデルを記憶した学習モデル記憶部30と、抽出された画像特徴ベクトルと、学習モデルとに基づいて、SVM識別器により、識別対象画像が歩行者を撮像した画像であるか否かを識別する識別部32とを備えている。
【0030】
特徴量算出部22は、画像取得部20により取得した撮像画像の各画素について、輝度の勾配を算出する。輝度の勾配は、大きさと方向とで表わされ、本発明の特徴量の一例である。画像座標(x,y)での勾配の大きさm(x,y)と方向θ(x,y)は、以下の(1)式、(2)式に示すように計算される。
【0031】
【数1】
【0032】
なお、Ix(x,y)は水平方向の微分であり、Iy(x,y)は垂直方向の微分を表す。
【0033】
また、勾配の方向は、あらかじめ設定した方向数で量子化されている。たとえば、図2に示すように、均等な角度に分けた量子化方向により勾配方向を量子化したベクトルで方向が表わされる。このとき、勾配方向の量子化方向の近さに応じて要素の値を設定する方法を用いる。上記図2の場合、勾配方向は量子化方向のうち方向2と方向3の間にあり、その角度の比はt:1−tなので、その角度に応じた線形補間として、勾配方向を、ベクトル[0,1−t,t,0,0,0,0,0]で表す。また、勾配方向に最も近い量子化方向に対応する要素のみを1として他の要素を0としたベクトルで表す方法を用いてもよい。上記図2の例では、勾配方向は量子化方向のうち方向2に最も近いので、勾配方向は、ベクトル[0,1,0,0,0,0,0,0]と表される。
【0034】
領域分割部24は、各画素について、図3(A)、(B)に示すように、注目画素に対する局所周辺領域を設定する。局所周辺領域として、注目画素を中心とした矩形領域または円形領域などを用いる。局所周辺領域の大きさ、形状は他のものでもよい。なお、以下では、局所周辺領域として円形領域を用いた場合を例に説明する。
【0035】
また、領域分割部24は、局所周辺領域を複数の小領域に分割する。例えば、図4に示すように、注目画素に対する方向に応じて、放射状に分割する。
【0036】
画素特徴量抽出部26は、まず、各画素において、注目画素に対する局所周辺領域内の画素と注目画素との勾配の相関を算出する。本実施の形態では、各注目画素において、注目画素に対する局所周辺領域内の画素と勾配の相関をとるとき、図5(A)、(B)で示すような、注目画素より下の行の画素か、あるいは同じ行の右側にある画素とのみ、勾配の相関を計算する。これは、たとえば注日画素より1つ左の画素との相関は、1つ左の画素を注目画素としたときの1つ右の画素との相関と同じになり重複するため、そのような重複を除くためである。
【0037】
2つの画素の勾配の相関は以下のようにして計算する。2画素の勾配の大きさがma,mb、2画素の勾配の方向を量子化したベクトルがOa=[Oa1,Oa2,…,Oan]T、Ob=[Ob1,Ob2,…,Obn]T (nは量子化方向数)とすると、2画素の勾配の相関(勾配相関行列)は、以下の(3)式に従って計算される。
【0038】
【数2】
【0039】
ただし、Cabは、2画素の勾配の相関を表わすn×n行列(勾配相関行列)であり、量子化した勾配方向の組み合わせの各々の共起性を表わす行列である。勾配相関行列は、本発明の相関特徴量の一例である。また、w(ma,mb)は2つの画素の勾配の大きさから計算される相関の重みであり、以下の(4)式又は(5)式で表される
【0040】
【数3】
【0041】
図6に示すような局所周辺領域の場合、注目画素と相関を計算する画素は18画素あるので、画素(x,y)において、18通りの位置関係の画素との相関C1(x,y),C2(x,y),…,C18(x,y)を計算する。例えば、C1(x,y)は、画素(x,y)と、上記図6に示す位置関係1(ひとつ右)の画素(x+1,y)との相関を表わすn×n行列である。
【0042】
以上のようにして、すべての注目画素において、すべての位置関係の画素との勾配相関行列を計算する。
【0043】
次に、画素特徴量抽出部26は、各注目画素で計算した局所周辺領域内の画素との勾配相関行列を、局所周辺領域を分割した小領域ごとに足し合わせて、注目画素の特徴量として、小領域毎の勾配相関のヒストグラムを示す行列(勾配相関行列の合計)を表わす画素特徴ベクトルを生成する。小領域がR1,…,Rmであるとき、以下の(6)式に従って、小領域Rkの勾配相関行列の合計を計算する。
【0044】
【数4】
【0045】
上記(6)式のように、小領域Rkの勾配相関行列の合計CRk(x、y)は、量子化した勾配方向の組み合わせの各々の共起性のヒストグラムを表わす行列である。
【0046】
図7に示すように、局所周辺領域が小領域に分割されている場合、勾配の相関の計算処理により各画素において勾配相関行列C1(x,y),C2(x,y),…,C18(x,y)が得られているので、小領域R1,R2,R3毎に、小領域R1,R2,R3それぞれに含まれる局所周辺領域内の画素に対する勾配相関行列を足し合わせる。例えば、小領域R1について足し合わせた、勾配相関行列の合計を、以下の(7)式に従って計算する。
【0047】
【数5】
【0048】
上記(7)式のように計算された小領域毎の勾配相関行列の合計が、注目画素の画素特徴ベクトルとして抽出される。
【0049】
このように、小領域ごとに勾配相関行列を足し合わせて、画素特徴ベクトルを生成するため、小領域内でのずれは、画素特徴ベクトルに影響しない。また、放射状に分割して小領域を設定することにより、微少な回転が起こっても、画素のずれは小領域内にとどまるため画素特徴ベクトルは変化せず、微少な回転ずれに頑健な特徴となる。
【0050】
なお、局所周辺領域の画素はどれか1つの領域にのみ含まれるとせず、その位置に応じて線形補間による重み付けをして足し合わせてもよい。たとえば、図7の画素14であれば、小領域R1とR2の両方の勾配相関行列の合計の計算において、線形補間による重み付けをして加算されるようにしてもよい。
【0051】
画像特徴量抽出部28は、図8に示すように、撮像画像全体を複数の領域に分割し、分割領域内に含まれる画素の画素特徴ベクトル(小領域毎の勾配相関行列の合計)を足し合わせる。このとき、計算された画素特徴ベクトルの合計(勾配相関行列の合計の合計)を示す行列の各値を正規化してもよい。例えば、すべての要素の値の2乗和が1になるように正規化する。あるいは、すべての要素の値の絶対値和が1になるように正規化する。
【0052】
画像特徴量抽出部28は、最終的に、撮像画像の分割領域ごとに、小領域の数だけの勾配相関行列の合計(画素特徴ベクトルと同等の行列)が得られるので、すべての分割領域の各々について、すべての小領域の勾配相関行列の値を並べたものを、入力された撮像画像の画像特徴ベクトルとして抽出する。
【0053】
勾配の方向の量子化数がn、局所周辺領域を分割した小領域数がm、画像全体がbx×by個の領域に分割されたとすると、最終的な画像特徴ベクトルの次元数は(n×n×m×bx×by)となる。
【0054】
学習モデル記憶部30では、以下のような学習処理によって予め求められた学習モデルを記憶している。
【0055】
まず、歩行者を撮像した複数の歩行者画像と、歩行者以外を撮像した複数の非歩行者画像とを予め用意し、複数の歩行者画像と複数の非歩行者画像との各々について、上述したように画像特徴ベクトルを抽出する。
【0056】
そして、各画像について求められた画像特徴ベクトルを訓練データとし、各画像が歩行者画像及び非歩行者画像の何れであるかに応じて付与される教師ラベルを用いて、学習処理を行い、SVMモデルを学習モデルとして求め、学習モデル記憶部30に記憶する。
【0057】
識別部32は、学習モデル記憶部30に記憶された学習モデルと、画像特徴量抽出部28により算出された画像特徴ベクトルとに基づいて、従来既知のSVM識別器を用いて、識別対象画像が歩行者を撮像した画像であるか否かを識別し、識別結果を、表示装置16に表示させる。
【0058】
次に、本実施の形態に係る対象物識別装置10の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像と、歩行者以外を撮像することにより得られた非歩行者画像とに基づいて、学習処理を行い、得られたSVMモデルを、学習モデル記憶部30に記憶する。
【0059】
そして、対象物識別装置10を搭載した車両の走行中に、撮像装置12によって車両の前方の所定領域が撮像されると、コンピュータ14において、図9に示す識別処理ルーチンが実行される。
【0060】
まず、ステップ100において、撮像装置12から撮像画像を取得し、ステップ102において、上記ステップ100で取得した撮像画像の各画素について、特徴量として、輝度の勾配を算出する。そして、ステップ104において、各画素について、注目画素の周辺に局所周辺領域を設定すると共に、局所周辺領域を、複数の小領域に分割する。
【0061】
次のステップ106では、各画素について、注目画素と、注目画素に対する局所周辺領域内の各画素との勾配相関行列を算出する。そして、ステップ108において、各画素について、上記ステップ104で分割した、注目画素に対する局所周辺領域の小領域毎に、勾配相関行列を加算して、小領域毎に求められた勾配相関行列の合計を、画素特徴ベクトルとして算出する。
【0062】
次のステップ110では、上記ステップ100で取得した撮像画像を、複数の分割領域に分割すると共に、分割領域毎に、当該分割領域内の各画素の画素特徴ベクトル(小領域毎の勾配相関行列の合計)を加算して、分割領域毎に求められた画素特徴ベクトルの合計(小領域毎の勾配相関行列の合計)を、画像特徴ベクトルとして算出する。
【0063】
そして、ステップ112において、上記ステップ110で得られた画像特徴ベクトルに基づいて、予め求められた学習モデル及びSVM識別器を用いて、上記ステップ100で取得した撮像画像が、歩行者を表わす歩行者画像であるか否かを識別する。そして、ステップ114において、上記ステップ112における識別結果を表示装置16に表示して、識別処理ルーチンを終了する。
【0064】
以上説明したように、第1の実施の形態に係る対象物識別装置によれば、注目画素周辺の局所周辺領域内の各画素の特徴量との相関を表わす勾配相関行列を算出し、局所周辺領域を分割した小領域毎に求められる勾配相関行列の合計を、画素特徴ベクトルとして抽出し、撮像画像を分割した分割領域毎に求められる画素特徴ベクトルの合計を、画像特徴ベクトルとして抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。
【0065】
また、小領域内の各画素について勾配相関行列を足し合わせて、勾配相関のヒストグラムを表わす行列を算出しても、重要な勾配の情報は保持されるため、勾配相関行列の合計を用いた画像特徴量に基づいて、高精度な識別が可能である。
【0066】
従来より、物体の識別性能を向上させる画像特徴量として、2つの画素間のエッジ方向の共起ヒストグラムを利用する方法があるが、このような従来の手法では、様々な2画素の位置関係ごとに共起ヒストグラムを生成するため、特徴量の次元数が増大し、処理量の増大につながることや、微少な位置ずれや回転に対する不変性が弱くなる、という問題がある。また、局所領域に限定した2画素の位置関係だけの共起ヒストグラムでは識別性能を十分に向上させることができない。一方、本実施の形態では、様々な画素間の位置関係を、複数の小領域に応じた複数のグループに分け、グループごとに、共起ヒストグラムに相当する勾配相関行列の合計を算出して、特徴量とすることで、特徴量の次元数を増大させることなく、識別性能を向上させることができる。また、画像から人などの複雑な形状の物体を、処理量を増大させることなく高精度に識別することができる。
【0067】
また、局所領域に限定して共起ヒストグラムを生成する従来技術に比べて、局所領域の大きさを広げて共起ヒストグラムを生成するため、画像から、より詳細な形状の特徴を抽出することができる。
【0068】
また、局所周辺領域内の多数の画素間の位置関係を用いるが、局所周辺領域を小領域に分割し、小領域ごとにまとめて、共起ヒストグラムに相当する勾配相関行列の合計を算出するため、微少な位置ずれや回転に対して頑健になると共に、次元数の増大も防ぐことができる。
【0069】
また、区分された小領域の各画素と注目画素のペアを用いて、共起ヒストグラムに相当する勾配相関行列の合計を算出し、画素特徴ベクトルを生成しているため、領域内に複数の勾配方向が存在していてもそれを特徴として記述することができる。
【0070】
次に、第2の実施の形態について説明する。なお、第2の実施の形態に係る対象物識別装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
【0071】
第2の実施の形態では、注目画像からの距離及び注目画素に対する方向に応じて、局所周辺領域を分割している点が、第1の実施の形態と異なっている。
【0072】
第2の実施の形態では、領域分割部24によって、図10に示すように、注目画像からの距離及び注目画素に対する方向に応じて、注目画素に対する局所周辺領域を、分割する。例えば、注目画素からの距離が長いほど、注目画素に対する方向に応じた分割数が多くなるように局所周辺領域を分割する。
【0073】
上記図10に示すように、注目画素に対する方向だけでなく、注日画素からの距離によっても分割を行い、距離が近い範囲では方向による分割数を小さく、距離が遠い範囲では方向による分割数を大きく設定することにより、回転に対する頑健性を保持したまま、位置関係に対する情報量を増やすことができる。
【0074】
なお、第2の実施の形態に係る対象物識別装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
【0075】
次に、第3の実施の形態について説明する。なお、第3の実施の形態に係る対象物識別装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
【0076】
第3の実施の形態では、画素毎の画素特徴ベクトルを、画像特徴量として用いて、識別処理を行っている点が、第1の実施の形態と異なっている。
【0077】
第3の実施の形態に係る対象物識別装置のコンピュータ14は、画像取得部20と、特徴量算出部22と、領域分割部24と、画素特徴量抽出部26と、学習モデル記憶部30と、識別部32とを備えている。
【0078】
学習モデル記憶部30は、以下のような学習処理によって予め求められた学習モデルを記憶している。
【0079】
まず、歩行者を撮像した複数の歩行者画像と、歩行者以外を撮像した複数の非歩行者画像とを予め用意し、複数の歩行者画像と複数の非歩行者画像との各々について、画素毎の画素特徴ベクトルを抽出する。
【0080】
そして、各画像について求められた画素毎の画素特徴ベクトルを訓練データとし、各画像が歩行者画像及び非歩行者画像の何れであるかに応じて付与される教師ラベルを用いて、学習処理を行い、SVMモデルを学習モデルとして求め、学習モデル記憶部30に記憶する。
【0081】
識別部32は、学習モデル記憶部30に記憶された学習モデルと、画素特徴量抽出部26により算出された画素毎の画素特徴ベクトルとに基づいて、従来既知のSVM識別器を用いて、識別対象画像が歩行者を撮像した画像であるか否かを識別し、識別結果を、表示装置16に表示させる。
【0082】
なお、第3の実施の形態に係る対象物識別装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
【0083】
このように、注目画素周辺の局所周辺領域内の各画素の特徴量との相関を表わす勾配相関行列を算出し、局所周辺領域を分割した小領域毎に求められる勾配相関行列の合計を、画素特徴ベクトルとして抽出し、各画素の画素特徴ベクトルを、画像の特徴量とすることにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。
【0084】
次に、第4の実施の形態について説明する。なお、第4の実施の形態に係る対象物識別装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
【0085】
第4の実施の形態では、撮像画素の各画素から、輝度情報を抽出して、注目画素の輝度情報と、局所周辺領域の各画素の輝度情報とから、小領域毎の輝度の相関値を表わす画素特徴ベクトルを生成している点が、第1の実施の形態と異なっている。
【0086】
第4の実施の形態に係る対象物識別装置では、特徴量算出部22は、画像取得部20により取得した撮像画像の各画素について、輝度情報を算出する。輝度情報は、輝度値を示す。
【0087】
画素特徴量抽出部26は、まず、各画素において、注目画素の局所周辺領域内の画素と注目画素との輝度情報の相関値(例えば、輝度値の乗算値)を算出する。
【0088】
上記図6に示すような局所周辺領域の場合、注目画素と相関を計算する画素は18画素あるので、画素(x,y)において、18通りの位置関係の画素との相関値を計算する。
【0089】
以上のようにして、すべての注目画素において、すべての位置関係の画素との相関値を計算する。
【0090】
次に、画素特徴量抽出部26は、各画素で計算した局所周辺領域内の画素との相関値を、局所周辺領域を分割した小領域ごとに足し合わせて、画素の特徴量として、小領域毎の相関値の合計値を示す画素特徴ベクトルを生成する。
【0091】
画像特徴量抽出部28は、撮像画像全体を複数の領域に分割し、分割領域内に含まれる画素の画素特徴ベクトル(小領域毎の相関値の合計値)を足し合わせて、画像の特徴量として、小領域毎の相関値の合計値(相関値の合計値の合計値)を示す画像特徴ベクトルを生成する。画像特徴量抽出部28は、最終的に、撮像画像の分割領域ごとに、小領域の数だけの相関値の合計値を示すベクトル(画素特徴ベクトルと同等のベクトル)が得られるので、すべての分割領域の各々について、すべての小領域の相関値の合計値を並べたものを、入力された撮像画像の画像特徴ベクトルとして抽出する。
【0092】
なお、第4の実施の形態に係る対象物識別装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
【0093】
このように、注目画素周辺の局所周辺領域内の各画素の特徴量との相関を表わす相関値を算出し、局所周辺領域を分割した小領域毎に求められる相関値の合計を、画素特徴ベクトルとして抽出し、撮像画像を分割した分割領域毎に求められる画素特徴ベクトルの合計を、画像特徴ベクトルとして抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。
【0094】
なお、上記の第1の実施の形態〜第4の実施の形態では、局所周辺領域の小領域毎に、勾配相関行列を合計して、画素特徴ベクトルを生成する場合を例に説明したが、これに限定されるものではなく、局所周辺領域の小領域毎に、勾配相関行列を平均して、画素特徴ベクトルを生成してもよい。
【0095】
また、分割領域毎に、画素特徴ベクトルを足し合わせて、画像特徴ベクトルを生成する場合を例に説明したが、これに限定されるものではなく、分割領域毎に、画素特徴ベクトルを平均して、画像特徴ベクトルを生成してもよい。
【0096】
また、SVM識別器を用いて、画像の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法(例えば、最近傍識別、線形判別など)を用いて、画像の識別処理を行うようにしてもよい。
【0097】
また、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に、本発明を適用した場合を例に説明したが、これに限定されるものではなく、撮像画像から、検出対象物としての歩行者を表わす領域を検出する対象物検出装置に、本発明を適用してもよい。例えば、撮像画像内の対象領域(例えば、探索範囲により切り出された領域)について生成された画像特徴ベクトルと、歩行者を表わす領域について予め求められた画像特徴ベクトルとを比較することにより、撮像画像から、歩行者を表わす領域を検出するようにしてもよい。
【0098】
また、撮像装置から撮像画像を取得し、識別対象の画像とした場合を例に説明したが、これに限定されるものではなく、ハードディスク装置から画像データを読み込み、読み込んだ画像データを、識別対象の画像としてもよい。
【0099】
また、分割した小領域や分割領域について、隣接する領域間で重なりがないように分割した場合を例に説明したが、これに限定されるものではなく、隣接する領域間で重なりがある分割方式によって、小領域や分割領域に分割するようにしてもよい。また、均等でない分割方式によって、分割領域に分割するようにしてもよい。
【0100】
また、撮像画像から抽出される特徴量が、輝度の勾配又は輝度情報である場合を例に説明したが、これに限定されるものではなく、他の種類の特徴量を、各画素について抽出するようにしてもよい。
【0101】
また、識別対象物が人物である場合を例に説明したが、これに限定されるものではなく、人物以外の物体を識別対象物としてもよい。
【0102】
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをCDROM等の記憶媒体に格納して提供することも可能である。
【符号の説明】
【0103】
10 対象物識別装置
12 撮像装置
14 コンピュータ
16 表示装置
22 特徴量算出部
24 領域分割部
26 画素特徴量抽出部
28 画像特徴量抽出部
32 識別部
【特許請求の範囲】
【請求項1】
処理対象の画像の各画素について、特徴量を算出する特徴量算出手段と、
各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段と、
各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段と、
を含む画像特徴抽出装置。
【請求項2】
前記相関算出手段は、該画素と、該画素の周辺の前記所定領域内の画素との間における、量子化した前記特徴量の組み合わせの各々の共起性を表わす行列を、前記相関特徴量として算出し、
前記画素特徴量抽出手段は、前記複数の小領域の各々に対して、量子化した前記特徴量の組み合わせの各々の共起性のヒストグラムを表わす行列を、該画素の画素特徴量として抽出する請求項1記載の画像特徴抽出装置。
【請求項3】
前記特徴量算出手段は、前記処理対象の画像の各画素について、輝度の勾配を前記特徴量として算出する請求項1又は2記載の画像特徴抽出装置。
【請求項4】
前記処理対象の画像を分割した複数の分割領域の各々について、該分割領域内の各画素の前記画素特徴量の合計又は平均を算出して、前記複数の分割領域の各々に対する前記画素特徴量の合計又は平均を、前記画像特徴量として抽出する画像特徴量抽出手段を更に含む請求項1〜請求項3の何れか1項記載の画像特徴抽出装置。
【請求項5】
前記小領域を、該画素からの距離及び該画素に対する方向に応じて前記所定領域を分割し、かつ、該画素からの距離が長いほど、該画素に対する方向に応じた分割数が多くなるように前記所定領域を分割したものとした請求項1〜請求項4の何れか1項記載の画像特徴抽出装置。
【請求項6】
前記小領域を、該画素に対する方向に応じて前記所定領域を分割したものとした請求項1〜請求項4の何れか1項記載の画像特徴抽出装置。
【請求項7】
請求項1〜請求項6の何れか1項記載の画像特徴抽出装置と、
前記画像特徴抽出装置によって抽出された各画素の前記画素特徴量又は前記画像特徴量に基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する画像処理手段と、
を含む画像処理装置。
【請求項8】
コンピュータを、
処理対象の画像の各画素について、特徴量を算出する特徴量算出手段、
各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段、及び
各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段
として機能させるためのプログラム。
【請求項1】
処理対象の画像の各画素について、特徴量を算出する特徴量算出手段と、
各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段と、
各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段と、
を含む画像特徴抽出装置。
【請求項2】
前記相関算出手段は、該画素と、該画素の周辺の前記所定領域内の画素との間における、量子化した前記特徴量の組み合わせの各々の共起性を表わす行列を、前記相関特徴量として算出し、
前記画素特徴量抽出手段は、前記複数の小領域の各々に対して、量子化した前記特徴量の組み合わせの各々の共起性のヒストグラムを表わす行列を、該画素の画素特徴量として抽出する請求項1記載の画像特徴抽出装置。
【請求項3】
前記特徴量算出手段は、前記処理対象の画像の各画素について、輝度の勾配を前記特徴量として算出する請求項1又は2記載の画像特徴抽出装置。
【請求項4】
前記処理対象の画像を分割した複数の分割領域の各々について、該分割領域内の各画素の前記画素特徴量の合計又は平均を算出して、前記複数の分割領域の各々に対する前記画素特徴量の合計又は平均を、前記画像特徴量として抽出する画像特徴量抽出手段を更に含む請求項1〜請求項3の何れか1項記載の画像特徴抽出装置。
【請求項5】
前記小領域を、該画素からの距離及び該画素に対する方向に応じて前記所定領域を分割し、かつ、該画素からの距離が長いほど、該画素に対する方向に応じた分割数が多くなるように前記所定領域を分割したものとした請求項1〜請求項4の何れか1項記載の画像特徴抽出装置。
【請求項6】
前記小領域を、該画素に対する方向に応じて前記所定領域を分割したものとした請求項1〜請求項4の何れか1項記載の画像特徴抽出装置。
【請求項7】
請求項1〜請求項6の何れか1項記載の画像特徴抽出装置と、
前記画像特徴抽出装置によって抽出された各画素の前記画素特徴量又は前記画像特徴量に基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する画像処理手段と、
を含む画像処理装置。
【請求項8】
コンピュータを、
処理対象の画像の各画素について、特徴量を算出する特徴量算出手段、
各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段、及び
各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段
として機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2011−118832(P2011−118832A)
【公開日】平成23年6月16日(2011.6.16)
【国際特許分類】
【出願番号】特願2009−277830(P2009−277830)
【出願日】平成21年12月7日(2009.12.7)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】
【公開日】平成23年6月16日(2011.6.16)
【国際特許分類】
【出願日】平成21年12月7日(2009.12.7)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】
[ Back to top ]