特徴量抽出装置及び特徴量抽出方法
【課題】人物や車、バイクといった一般物体を高精度に検出することができるとともに、特徴量抽出による処理量やメモリ使用量を少なく抑えることができる特徴量抽出装置及び特徴量抽出方法を提供する。
【解決手段】入力画像２０から複数の変換画像２１，２２，２３，…を生成し、各々の変換画像２１，２２，２３，…から、その特性に応じて、より適した特徴量生成パターン３０１，３０２，３０３，…、３１１，３１２，３１３，…、３２１，３２２，…を抽出し、さらに各々の変換画像２１，２２，２３，…を複数個に分割した各々の局所領域２１１，２１２，２１３，…，２１６、２２１，２２２，２２３，…，２２６、２３１，２３２，２３３，…，２３６内において、その特徴量生成パターン数の変換画像識別記号頻度分布５０，５１，５２，…を算出し、それらを集約した識別記号頻度分布６０を最終的な特徴量とする。
【解決手段】入力画像２０から複数の変換画像２１，２２，２３，…を生成し、各々の変換画像２１，２２，２３，…から、その特性に応じて、より適した特徴量生成パターン３０１，３０２，３０３，…、３１１，３１２，３１３，…、３２１，３２２，…を抽出し、さらに各々の変換画像２１，２２，２３，…を複数個に分割した各々の局所領域２１１，２１２，２１３，…，２１６、２２１，２２２，２２３，…，２２６、２３１，２３２，２３３，…，２３６内において、その特徴量生成パターン数の変換画像識別記号頻度分布５０，５１，５２，…を算出し、それらを集約した識別記号頻度分布６０を最終的な特徴量とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から人物や車、バイクといった一般物体を検出するための特徴量を抽出する特徴量抽出装置及び特徴量抽出方法に関する。
【背景技術】
【０００２】
入力画像に対して画像変換を行い、得られた変換画像から特徴量の抽出を行い、ＳＶＭ（Support Vector Machine）やＢｏｏｓｔｉｎｇ等の統計的学習方法を用いて物体を検出する装置が案出されている。特徴量として、例えば特許文献１、非特許文献１及び２に記載されているものなどがある。非特許文献１に記載されている特徴量は、ＬＢＰ（Local Binary Patterns）特徴量と呼ばれており、非特許文献２に記載されている特徴量は、非特許文献１に記載されたＬＢＰ特徴量を改良したものであり、Ｅｘｔｅｎｄｅｄ Ｓｅｔ ｏｆ Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓと呼ばれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３５０６４５号公報
【非特許文献】
【０００４】
【非特許文献１】The Local Binary Pattern Approach to Texture Analysis-Extensions and Applications
【非特許文献２】Extended Set of Local Binary Patterns for Rapid Object Detection
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した非特許文献１，２及び特許文献１のそれぞれで開示された特徴量においては、以下に述べるような課題があった。
（１）非特許文献１に記載されている特徴量は、複数対の画素値同士の大小比較を行う局所的な特徴量であり、ノイズに弱く、大局的な情報が不足している。例えば、大小比較を行う複数対の画素値同士の中で、ノイズにより大小関係が異なる対がひとつでもあった場合、得られる特徴量は全く異なるものとなってしまう。
（２）特許文献１に記載されている特徴量は、複数の領域内の画素平均値同士の大小比較を行う大局的な特徴量であり、非特許文献１に記載されている特徴量の大局的情報不足を補う反面、大局的過ぎる傾向もある。
（３）非特許文献１、及び特許文献１それぞれに記載された特徴量に共通する課題として、これらの特徴量は、人物の顔の検出などにはある程度の検出精度が得られるものの、一般的に顔検出よりも検出難易度が高いとされている人物や車、バイクなどの一般物体の検出に対しては、十分な検出精度が得られないことが挙げられる。例えば、人物の顔の場合は、顔の特徴である目や鼻、口などの顔のパーツ位置が顔の中のどのあたりにあるのか、人物に依存せずある程度決まっており、人物個体差によるパーツ位置の変動がほとんどない。このため、非特許文献１、及び特許文献１などの特徴量を用いて、顔のパーツ位置毎にその特徴を表現することで、安定した顔検出精度を得ることができる。一方、人物や車、バイクなどの一般物体は、物体の形状や姿勢などによって、その見え方は大きく異なることになり、人物の顔と比較し、個々の変動が大きいといえる。非特許文献１、及び特許文献１のような特徴量では、このような個々の変動を吸収することができず、検出精度が劣化してしまう。
（４）非特許文献２に記載されている特徴量は、複数対の画素値同士の大小比較を行うパターンの数を増加させ、さらに画素値同士の大小比較結果を、入力画像中の局所領域毎に頻度分布化することで、それぞれ検出精度の向上と、物体の形状や姿勢といった変動の吸収を図っている。しかしながら、単純に複数対の画素値同士の大小比較を行うパターンの数を増加させると、処理量やメモリ使用量の増加につながる。
【０００６】
本発明は、係る事情に鑑みてなされたものであり、人物や車、バイクといった一般物体を高精度に検出することができるとともに、特徴量抽出による処理量やメモリ使用量を少なく抑えることができる特徴量抽出装置及び特徴量抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の特徴量抽出装置は、画像を入力する画像入力部と、前記入力した画像を前記入力した画像の特徴量を抽出するための少なくとも１つの変換画像に変換する変換画像生成部と、少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の値の比較を行う複数のユニット位置の比較対で構成される特徴量生成パターンを記憶する特徴量生成パターン保持部と、前記変換画像に対して前記特徴量生成パターンを参照することにより、前記比較対に対応するユニット同士の値の比較を行い、前記変換画像の特徴量を抽出する特徴量抽出部と、を備えたことを特徴とする。
【０００８】
上記構成によれば、複数の変換画像の各々の特性に応じて、より適した特徴量生成パターンを用いるので、人物、車、バイク等の一般物体を高精度で検出できる特徴量を得ることができる。
【０００９】
上記構成において、前記ユニットの値は、前記ユニットの画素の輝度値から得られることを特徴とする。
【００１０】
上記構成によれば、ユニットの値を、該ユニットの画素の輝度値、あるいは、該ユニットが含む複数の画素の輝度値の平均値から得ることにより、ノイズとなる成分を平滑化することができる。
【００１１】
上記構成において、前記特徴量生成パターンを構成する前記複数の比較対は、比較対毎に所定の識別記号によって区別され、前記特徴量抽出部は、前記変換画像に対する前記特徴量生成パターンの参照位置を変えながら、前記参照を複数回行い、前記所定の識別記号の頻度分布により前記変換画像の特徴量を抽出することを特徴とする。
【００１２】
上記構成によれば、人物、車、バイク等の一般物体を高精度で検出できる特徴量を得ることができる。
【００１３】
上記構成において、前記変換画像を複数の局所領域に分割し、前記局所領域毎に求めた前記頻度分布から前記変換画像の特徴量を求めることを特徴とする。
【００１４】
上記構成によれば、変換画像を複数の局所領域に分割し、局所領域毎に求めた前記頻度分布を作成することにより、人物、車、バイク等の一般物体の形状や姿勢といった変動の吸収を図ることができるため、人物、車、バイク等の一般物体を高精度で検出できる特徴量を得ることができる。
【００１５】
上記構成において、前記複数の変換画像をそれぞれ複数の局所領域に分割し、前記局所領域毎に求めた前記頻度分布を前記変換画像毎に集めた集約特徴量を求め、前記複数の変換画像毎の前記集約特徴量から入力画像の特徴量を求めることを特徴とする。
【００１６】
上記構成によれば、人物、車、バイク等の一般物体を高精度で検出できる特徴量を得ることができる。
【００１７】
本発明の画像判定装置は、画像を判別するための判別対象の有する特徴量を保持する特徴量保持手段と、前記特徴量抽出装置と、を備え、前記入力画像に前記判別対象が含まれているか否かを判定することを特徴とする。
【００１８】
上記構成によれば、人物、車、バイク等の一般物体を高精度で検出することができる。
【００１９】
本発明の特徴量抽出方法は、画像を入力する画像入力ステップと、前記入力した画像を前記入力した画像の特徴量を抽出するための少なくとも１つの変換画像に変換する変換画像生成ステップと、少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の値の比較を行うユニット位置の複数の前記比較対で構成される特徴量生成パターンを記憶する特徴量生成パターン保持ステップと、前記変換画像に対して前記特徴量生成パターンを参照することにより、前記比較対に対応するユニット同士の値の比較を行い、前記変換画像の特徴量を抽出する特徴量抽出ステップと、を備えたことを特徴とする。
【００２０】
上記方法によれば、複数の変換画像の各々の特性に応じて、より適した特徴量生成パターンを用いるので、人物、車、バイク等の一般物体を高精度で検出できる特徴量を得ることができる。
【００２１】
本発明の画像判定方法は、画像を判別するための判別対象の有する特徴量を保持する特徴量保持ステップと、前記特徴量生成方法を用いて、前記入力画像に前記判別対象が含まれているか否かを判定することを特徴とする。
【００２２】
上記方法によれば、人物、車、バイク等の一般物体を高精度で検出することができる。
【発明の効果】
【００２３】
本発明によれば、人物や車、バイクといった一般物体を高精度に検出することができるとともに、該検出処理における処理量やメモリ使用量を少なく抑えることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施の形態に係る特徴量抽出装置の概略構成を示すブロック図
【図２】図１の特徴量抽出装置の処理過程の概要を模式的に示した図
【図３】図１の特徴量抽出装置において、変換画像を局所領域に分解する処理を模式的に示した図
【図４】図１の特徴量抽出装置において、局所領域中の各々の画素への識別記号ラベリングの一例を示す図
【図５】図１の特徴量抽出装置において、識別記号ラベリング値の計算方法を示す図
【図６】図１の特徴量抽出装置において、１つの局所領域から、複数の異なる特徴量生成パターン毎に識別記号の頻度分布を得た場合の一例を模式的に示した図
【図７】図１の特徴量抽出装置において、入力画像を方向別グラディエント画像に変換した結果を模式的に示した図
【図８】図１の特徴量抽出装置において、入力画像を平均フィルタ画像に変換した結果を模式的に示した図
【図９】図１の特徴量抽出装置の応用例である変換画像間特徴量を説明するための図
【図１０】図１の特徴量抽出装置を用いた画像判定装置の概略構成を示すブロック図
【発明を実施するための形態】
【００２５】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２６】
図１は、本発明の一実施の形態に係る特徴量抽出装置の概略構成を示すブロック図である。同図において、本実施の形態に係る特徴量抽出装置１は、画像入力部２、変換画像生成部３、特徴量生成パターン保持部４、特徴量抽出部５及び特徴量出力部６を備えている。画像入力部２は、画像を入力する。画像入力部２には、人物を撮影して得られた画像、車やバイクなどの一般物体を撮影して得られた画像が与えられる。変換画像生成部３は、画像入力部２が入力した画像から複数の変換画像を生成する。すなわち、変換画像生成部３は、画像入力部２が入力した画像を、該画像の特徴量を抽出するための少なくとも１つの変換画像に変換する。生成する変換画像としては、「グレースケール画像」、「ガウシアンフィルタ画像」、「方向別グラディエント画像」などである。
【００２７】
特徴量生成パターン保持部４は、変換画像の特性に応じた特徴量生成パターンを保持する。詳細は後述するが、特徴量生成パターン保持部４は、少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の値の比較を行う複数のユニット位置の比較対で構成される特徴量生成パターンを記憶する。例えば、グレースケール画像では、通常のＬＢＰのように、ある基準画素と、その基準画素を中心とした周囲の近傍画素との輝度値の大小関係を記述するような特徴量生成パターンを記憶し、ガウシアンフィルタ画像では、変換画像を生成する過程の中で、既にノイズとなる高周波成分は取り除かれている場合が多いことから、局所的な特徴を捉える特徴量生成パターンを記憶すると良い。また、方向別グラディエント画像では、各方向別のエッジを見る特徴量生成パターンのみを記憶する。
【００２８】
特徴量抽出部５は、各変換画像に対して、指定された特徴量生成パターン毎に識別記号を抽出し、局所領域内でその識別記号数を頻度分布化する。識別記号を抽出する際には、特徴量生成パターン保持部４から、変換画像に対して特徴量生成パターンを参照することにより、比較対に対応するユニット同士の値の比較を行い、その比較結果から、変換画像の識別記号を抽出する。特徴量出力部６は、各変換画像から得られた識別記号の頻度分布を集約し、入力された画像の特徴量として出力する。
【００２９】
図２は、本実施の形態に係る特徴量抽出装置１の処理過程の概要を模式的に示した図である。同図において、入力画像２０がグレースケール画像２１、ガウシアンフィルタ画像２２、方向別グラディエント画像２３等の画像に変換される。すなわち、入力画像２０からグレースケール画像２１、ガウシアンフィルタ画像２２、方向別グラディエント画像２３等の画像が生成される。これらの変換画像が生成された後、変換画像毎に、異なる特徴量生成パターン３０１，３０２，３０３，…、３１１，３１２，３１３，…、３２１，３２２，…が参照される。次いで、（１）：変換画像毎に、該変換画像に対して局所領域２１１，２１２，２１３，…，２１６、２２１，２２２，２２３，…，２２６、２３１，２３２，２３３，…，２３６が設定される（すなわち、分割される）。次いで、（２）：変換画像毎に、各局所領域において、ある１つの特徴量生成パターンを用いて、識別記号数が、局所領域内識別記号頻度分布４０１，４０２，…，４０６、４１１，４１２，…，４１６、４２１，４２２，…，４２６として表される。（３）：（１）〜（２）の処理が特徴量生成パターンを変えながら、特徴量生成パターンの数だけ繰り返し実行される。
【００３０】
例えば、グレースケール画像２１では、グレースケール画像２１に対して局所領域２１１，２１２，２１３，…，２１６が設定された後、各局所領域２１１，２１２，２１３，…，２１６において、ある１つの特徴量生成パターン３０１を用いて識別記号が各々の画素に対してラベリングされていき、その識別記号数が局所領域内識別記号頻度分布４０１，４０２，…，４０６、４１１，４１２，…，４１６、４２１，４２２，…，４２６として表され、その頻度分布が集約され、変換画像識別記号頻度分布５０で表される。同様の処理が、残りの特徴量生成パターン３０２，３０３，…についても行われる。
【００３１】
ガウシアンフィルタ画像２２、方向別グラディエント画像２３等の他の変換画像に対しても同様の処理が行われ、それらの変換画像における特徴量が変換画像識別記号頻度分布５１，５２，…で表される。そして、全ての変換画像における変換画像識別記号頻度分布５１，５２，…が集約されて、最終的な識別記号頻度分布６０（特徴量）が求められる。この集約した特徴量を用いて人物、車、バイク等の物体の判定が行われる。
【００３２】
次に、上記した各処理を詳細に説明する。
図３は、変換画像を局所領域に分解する処理を模式的に示した図である。図３の（ａ）は、変換画像の一例であるグレースケール画像２１を示す図である。図３の（ｂ）は、グレースケール画像２１内を局所領域に分解した状態を示す図である。また、図３の（ｃ）は、サイズを５×５画素とした局所領域２６を示す図である。なお、変換画像のサイズ、その中に含まれる局所領域数、局所領域サイズ、局所領域の配置方法はこの例に限るものではない。また、局所領域は、図３の（ｂ）に示すような規則正しい配置としなくても良いし、異なるサイズの局所領域同士をランダムな位置配置にしても良いし、そのような局所領域同士を重ね合わせても良い。以下、特徴量抽出の説明用として、５×５画素の局所領域に着目することとする。
【００３３】
図４は、局所領域内の画素への識別記号ラベリングの一例を示す図である。図４では、３×３の特徴量生成パターンを例に挙げている。図４の（ａ）に示すような特徴量生成パターン３６１の場合、３対の輝度値比較を行うと、取り得るパターン数は“２”の３乗（３対あるので）で、“８”である。すなわち、“０〜７”の値（識別記号）で表現することができる。５×５画素の局所領域２６内の各画素において、３×３の特徴量生成パターン３６１の参照位置（この例では、３×３の特徴量生成パターン３６１の中心位置のこと）を参照し、水平方向の３対の輝度値（例えば、画素３６１の輝度値と画素３６３の輝度値が一対目、画素３６４の輝度値と画素３６６の輝度値が二対目、画素３６７の輝度値と画素３６９の輝度値が三対目）の比較をそれぞれ行い、その結果から算出した識別記号“０〜７”の値を、特徴量生成パターンの参照位置に対応する局所領域内の画素にラベリングしていく。
【００３４】
図４の（ａ）から分かるように、特徴量生成パターンは、少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の比較を行う複数のユニット位置の比較対で構成されるものである。
【００３５】
図４の（ｂ）に示すように、局所領域２６に対し、点線で囲んだ位置において特徴量生成パターン３６１を参照した場合、特徴量生成パターンの中心の値が“５”となる場合を例とする。この“５”の値は、特徴量生成パターン３６１の画素３６１の輝度値と画素３６３の輝度値と、画素３６４の輝度値と画素３６６の輝度値と、画素３６７の輝度値と画素３６９の輝度値の大小関係を比較することで、算出される。図５は、図４の場合の識別記号ラベリング値の計算方法を示す図である。同図に示すように、注目点の輝度値Ｉ（ｒｅｆ）と、その近傍にある輝度値Ｉ（ｎ）の大小を比較し、“１”、“０”でバイナリ化する。特徴量生成パターン３６１の画素３６１の輝度値“２２”と画素３６３の輝度値“８”の比較において、注目点の輝度値Ｉ（ｒｅｆ）“２２”がその近傍の輝度値Ｉ（ｎ）“８”以上の値であるので、“１”となる。次に、特徴量生成パターン３６１の画素３６４の輝度値“２０”と画素３６６の輝度値“３１”の比較において、注目点の輝度値Ｉ（ｒｅｆ）“２０”がその近傍の輝度値Ｉ（ｎ）“３１”未満の値であるので、“０”となる。次に、特徴量生成パターン３６１の画素３６７の輝度値“１７”と画素３６９の輝度値“１５”の比較において、注目点の輝度値Ｉ（ｒｅｆ）“１７”がその近傍の輝度値Ｉ（ｎ）“１５”以上の値であるので、“１”となる。したがって、バイナリパターンは、“１０１”で、この１０１は、１＋４＝５となり、識別記号ラベリング値は“５”となる。
【００３６】
このようにして、局所領域２６内で、特徴量生成パターン３６１を参照位置を変えながら参照させていくことで、特徴量生成パターン３６１における各々の識別記号ラベリング値の頻度が得られる。これらを頻度分布化すると、図４の（ｃ）に示すようになる。図４に示す例では、識別記号ラベリング値“０”の頻度は“３”、識別記号ラベリング値“１”の頻度は“２”、識別記号ラベリング値“２”の頻度は“７”、識別記号ラベリング値“３”の頻度は“１”、識別記号ラベリング値“４”の頻度は“３”、識別記号ラベリング値“５”の頻度は“４”、識別記号ラベリング値“６”の頻度は“３”、識別記号ラベリング値“７”の頻度は“２”となる。
【００３７】
特徴量生成パターン３６１以外の残りの特徴量生成パターン３６２，３６３，３６４，…についても同様に行う。
なお、特徴量生成パターンの作成方法は、上述した例に限るものではない。また、３×３、４×４、５×５、…等、サイズに制限はない。また、画素レベルの輝度値比較ではなく、２×２画素領域内の平均輝度値と近傍の輝度値を比較する、あるいは、２×２画素領域内の平均輝度値と、近傍の２×２画素領域内の平均輝度値を比較する等、様々なバリエーションが考えられ、例えば、人物や車、バイク等の細部の特徴を捉えるためには３×３，４×４等の比較的局所的な特徴量生成パターンを用いれば良いし、大まかな形状を捉えるためには、５×５、７×７等の比較的大局的な特徴量生成パターンを用いれば良い。
【００３８】
特徴量生成パターンに対し、４対の輝度値比較を行う場合、取り得るパターン数は２の４乗の“１６”（０〜１５の値）となり、３対の輝度値比較を行う場合と比較して２倍となる。
【００３９】
１つの局所領域から、特徴量生成パターン毎に頻度分布が得られる。図６は、１つの局所領域から特徴量生成パターン毎に頻度分布を得た場合の一例を模式的に示した図である。図６の（イ）は、水平方向の３対の輝度値の比較により得られる識別記号ラベリング値の頻度分布、図６の（ロ）は、垂直方向の３対の画素値の比較により得られる識別記号ラベリング値の頻度分布、図６の（ハ）は、垂直、水平及び斜め方向の４対の画素値の比較により得られる識別記号ラベリング値の頻度分布を示している。また、１つの局所領域から得られる頻度分布を１つの頻度分布に集約し、この集約された頻度分布を“局所領域頻度分布”と呼ぶ。さらに、全ての局所領域頻度分布を１つの頻度分布に集約し、この頻度分布の度数値を最終的な“特徴量”とする。なお、これらの頻度分布の集約時には、単純に頻度分布同士を連結させるのではなく、Ｂｏｏｓｔｉｎｇ等の統計的学習方法を用いることで、人物や車、バイクといった一般物体の検出精度に重要な意味合いを持つ局所領域を事前に記憶させておき、その局所領域に対応する頻度分布に対して重み付け等の処理を加えるようにしてもよい。
【００４０】
以上説明した特徴量抽出処理を変換画像毎に行うが、変換画像毎に扱う特徴量生成パターンは異なる。例として、方向別グラディエント画像、平均フィルタ画像を挙げる。
（方向別グラディエント画像）
図７は、入力画像を方向別グラディエント画像に変換した結果を模式的に示した図である。同図に示すように、入力画像２０（図７（ａ））を方向別グラディエント画像に変換すると、各変換画像２７−１，２７−２，２７−３において得られる情報は意図的に限られてくる。すなわち、各変換画像２７−１，２７−２，２７−３から有意な情報を抽出することが可能と事前に分かっている特徴量生成パターンのみを使用することで（あるいは、有意な情報が得られないような無駄な特徴量生成パターンを使用しないことで）、特徴量抽出処理による処理量の増加や、頻度分布保持のためのメモリ容量の増加、さらに、使用特徴量数の増加による判定用辞書部サイズの増加や、無駄な情報を使用して識別処理を行うことによる識別精度の劣化などを防ぐことができる。
【００４１】
図７の（ｂ）に示すように、垂直方向のエッジ成分２７ａに対しては、水平方向に比較する特徴量生成パターン３６１を使用し、図７の（ｃ）に示すように、水平方向のエッジ成分２７ｂに対しては、垂直方向に比較する特徴量生成パターン３６２を使用し、図７の（ｄ）に示すように、斜め方向のエッジ成分２７ｃに対しては、斜め方向に比較する特徴量生成パターン３６３を使用する。このように有意な情報が得られると事前に分かっている特徴量生成パターンのみを使用する。
【００４２】
（平均フィルタ画像）
図８は、入力画像を平均フィルタ画像に変換した結果を模式的に示した図である。同図に示すように、入力画像２０（図８（ａ））を、フィルタのパラメータを変更しながら平均フィルタ画像に変換すると、図８の（ｂ），（ｃ）に示すように、高周波成分の除去レベルを制御した画像２８−１，２８−２を得ることができる。入力画像２０に高周波成分が多く残っている場合、図８の（ｂ）に示す画像２８−１のように、ノイズが多く含まれている可能性が高いので、例えばノイズによって有意ではない情報を抽出してしまう可能性のある画素レベルの輝度値大小比較を行う特徴量生成パターンを使用せずに、ノイズに対してロバスト性があるような２×２画素領域内の平均輝度値を比較するようなパターン３７を用いることで、ノイズ対策を施した有意な特徴量抽出を行うことができる。一方、図８の（ｃ）に示すように、高周波成分が多く取り除かれたような画像２８−２では、既にノイズ除去は終わっているので、２×２画素領域内の平均輝度値（“・”で示す）を比較するようなパターンを使用する必要はなく、３×３画素で画素レベルの比較を行う特徴量生成パターン３６３のみ用いる。
【００４３】
このように、本実施の形態に係る特徴量抽出装置１によれば、１つの入力画像２０から複数の変換画像２１，２２，２３，…を生成し、各々の変換画像２１，２２，２３，…から、その特性に応じて、より適した特徴量生成パターン３０１，３０２，３０３，…、３１１，３１２，３１３，…、３２１，３２２，…を抽出し、さらに各々の変換画像２１，２２，２３，…を複数個に分割した各々の局所領域２１１，２１２，２１３，…，２１８、２２１，２２２，２２３，…，２２８、２３１，２３２，２３３，…，２３８内において、その特徴量生成パターン数の変換画像識別記号頻度分布５０，５１，５２，…を算出し、それらを集約した識別記号頻度分布６０を最終的な特徴量とするので、この特徴量を画像判定装置などの物体を検出する装置に用いることで、人物、車、バイクなどの一般物体を高精度で検出することが可能となる。
【００４４】
また、各変換画像２７−１，２７−２，２７−３から有意な情報を抽出することが可能な特徴量生成パターンのみを使用することで、特徴量抽出処理による処理量の増加や、頻度分布保持のためのメモリ容量の増加、さらには、使用特徴量数の増加による判定用辞書部サイズの増加や、無駄な情報を使用して識別処理を行うことによる識別精度の劣化などを防ぐことができる。
【００４５】
なお、本実施の形態に係る特徴量抽出装置１の変換画像生成部３のバリエーションについて以下に述べる。
・変換画像生成部３のバリエーション
カラー画像（ＲＧＢチャネル各々、ＹＣｂＣｒチャネル各々）、グレースケール画像、方向別グラディエント画像、Ｎ×Ｍ平均フィルタ画像（Ｎ、Ｍは実数）、オプティカルフロー画像、Ｎフレーム間差分・平均画像（Ｎは実数）、距離画像、周波数画像、ＤＯＧ（Difference of Gaussian）画像等、一般的に考えられる画像変換手法を用いることができる。
【００４６】
・変換画像間特徴量
従来のように単一の変換画像内でバイナリパターン特徴量を抽出するのではなく、１つ以上の複数間の変換画像に跨がるようなバイナリパターン特徴量を抽出する。例えば、図９の（ａ）に示すように、グレースケール画像２１内の２点の輝度値を比較するのではなく、図９の（ｂ）に示すように、グレースケール画像２１内の１点の輝度値とガウシアンフィルタ画像２２内の１点の輝度値を比較する。
・車、バイクなどの検出に適用
人物だけでなく、車やバイクなど、一般物体の検出も勿論可能である。人物や車、バイク等の検出対象によって、使用する変換画像や特徴量生成パターンを変えても良い。
【００４７】
また、本実施の形態に係る特徴量抽出装置１のハード構成としては、通常のコンピュータを用いることもできる。すなわち、特徴量抽出装置１は、ＣＰＵ、ＲＡＭ等の揮発性メモリ、及びＲＯＭ等の不揮発性メモリ、及びハードディスク又はＳＳＤ（Solid State Drive）等の大容量記憶装置等を備えたコンピュータによって構成できる。
【００４８】
また、本実施の形態に係る特徴量抽出装置１における処理を記述したプログラムを、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して配布したり、インターネット等の電気通信回線を利用して配布したりすることも可能である。
【００４９】
また、本実施の形態に係る特徴量抽出装置１を用いて画像判定装置を実現することができる。図１０は、特徴量抽出装置１を用いた画像判定装置７０の概略構成を示すブロック図である。同図において、画像判定装置７０は、特徴量抽出装置１と、判定用辞書部（特徴量保持手段）７１と、判定部７２とを備える。判定用辞書部７１は、画像を判別するための判別対象の有する特徴量を保持する。判定部７２は、入力された画像に判別対象が含まれているか否かを判定する。画像判定装置７０は、特徴量抽出装置１を備えることから、人物、車、バイク等の一般物体を高精度で検出することができる。
【産業上の利用可能性】
【００５０】
本発明は、人物のみならず、車やバイクなどの一般物体を高精度に検出することができるとともに、特徴量抽出による処理量やメモリ使用量を少なく抑えることができるといった効果を有し、画像情報から物体を検出する物体検出装置への適用が可能である。
【符号の説明】
【００５１】
１ 特徴量抽出装置
２ 画像入力部
３ 変換画像生成部
４ 特徴量生成パターン保持部
５ 特徴量抽出部
６ 特徴量出力部
２０ 入力画像
２１ グレースケール画像
２２ ガウシアンフィルタ画像
２３ 方向別グラディエント画像
２１１，２１２，２１３，…，２１６、２２１，２２２，２２３，…，２２６、２３１，２３２，２３３，…，２３６ 局所領域
２６ 局所領域
２７−１，２７−２，２７−３ 変換画像
２７ａ 垂直方向のエッジ成分
２７ｂ 水平方向のエッジ成分
２７ｃ 斜め方向のエッジ成分
２８−１，２８−２ 画像
３０１，３０２，３０３，…、３１１，３１２，３１３，…、３２１，３２２，… 特徴量生成パターン
３６１，３６２，３６３，３６ｎ 特徴量生成パターン
４０１，４０２，…，４０８、４１１，４１２，…，４１８、４２１，４２２，…，４２８ 局所領域内識別記号頻度分布
５０，５１，５２ 変換画像識別記号頻度分布
６０ 識別記号頻度分布
７０ 画像判定装置
７１ 判定用辞書部
７２ 判定部
３６１，３６３，３６４，３６６，３６７，３６９ 画素
【技術分野】
【０００１】
本発明は、入力画像から人物や車、バイクといった一般物体を検出するための特徴量を抽出する特徴量抽出装置及び特徴量抽出方法に関する。
【背景技術】
【０００２】
入力画像に対して画像変換を行い、得られた変換画像から特徴量の抽出を行い、ＳＶＭ（Support Vector Machine）やＢｏｏｓｔｉｎｇ等の統計的学習方法を用いて物体を検出する装置が案出されている。特徴量として、例えば特許文献１、非特許文献１及び２に記載されているものなどがある。非特許文献１に記載されている特徴量は、ＬＢＰ（Local Binary Patterns）特徴量と呼ばれており、非特許文献２に記載されている特徴量は、非特許文献１に記載されたＬＢＰ特徴量を改良したものであり、Ｅｘｔｅｎｄｅｄ Ｓｅｔ ｏｆ Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓと呼ばれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３５０６４５号公報
【非特許文献】
【０００４】
【非特許文献１】The Local Binary Pattern Approach to Texture Analysis-Extensions and Applications
【非特許文献２】Extended Set of Local Binary Patterns for Rapid Object Detection
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した非特許文献１，２及び特許文献１のそれぞれで開示された特徴量においては、以下に述べるような課題があった。
（１）非特許文献１に記載されている特徴量は、複数対の画素値同士の大小比較を行う局所的な特徴量であり、ノイズに弱く、大局的な情報が不足している。例えば、大小比較を行う複数対の画素値同士の中で、ノイズにより大小関係が異なる対がひとつでもあった場合、得られる特徴量は全く異なるものとなってしまう。
（２）特許文献１に記載されている特徴量は、複数の領域内の画素平均値同士の大小比較を行う大局的な特徴量であり、非特許文献１に記載されている特徴量の大局的情報不足を補う反面、大局的過ぎる傾向もある。
（３）非特許文献１、及び特許文献１それぞれに記載された特徴量に共通する課題として、これらの特徴量は、人物の顔の検出などにはある程度の検出精度が得られるものの、一般的に顔検出よりも検出難易度が高いとされている人物や車、バイクなどの一般物体の検出に対しては、十分な検出精度が得られないことが挙げられる。例えば、人物の顔の場合は、顔の特徴である目や鼻、口などの顔のパーツ位置が顔の中のどのあたりにあるのか、人物に依存せずある程度決まっており、人物個体差によるパーツ位置の変動がほとんどない。このため、非特許文献１、及び特許文献１などの特徴量を用いて、顔のパーツ位置毎にその特徴を表現することで、安定した顔検出精度を得ることができる。一方、人物や車、バイクなどの一般物体は、物体の形状や姿勢などによって、その見え方は大きく異なることになり、人物の顔と比較し、個々の変動が大きいといえる。非特許文献１、及び特許文献１のような特徴量では、このような個々の変動を吸収することができず、検出精度が劣化してしまう。
（４）非特許文献２に記載されている特徴量は、複数対の画素値同士の大小比較を行うパターンの数を増加させ、さらに画素値同士の大小比較結果を、入力画像中の局所領域毎に頻度分布化することで、それぞれ検出精度の向上と、物体の形状や姿勢といった変動の吸収を図っている。しかしながら、単純に複数対の画素値同士の大小比較を行うパターンの数を増加させると、処理量やメモリ使用量の増加につながる。
【０００６】
本発明は、係る事情に鑑みてなされたものであり、人物や車、バイクといった一般物体を高精度に検出することができるとともに、特徴量抽出による処理量やメモリ使用量を少なく抑えることができる特徴量抽出装置及び特徴量抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の特徴量抽出装置は、画像を入力する画像入力部と、前記入力した画像を前記入力した画像の特徴量を抽出するための少なくとも１つの変換画像に変換する変換画像生成部と、少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の値の比較を行う複数のユニット位置の比較対で構成される特徴量生成パターンを記憶する特徴量生成パターン保持部と、前記変換画像に対して前記特徴量生成パターンを参照することにより、前記比較対に対応するユニット同士の値の比較を行い、前記変換画像の特徴量を抽出する特徴量抽出部と、を備えたことを特徴とする。
【０００８】
上記構成によれば、複数の変換画像の各々の特性に応じて、より適した特徴量生成パターンを用いるので、人物、車、バイク等の一般物体を高精度で検出できる特徴量を得ることができる。
【０００９】
上記構成において、前記ユニットの値は、前記ユニットの画素の輝度値から得られることを特徴とする。
【００１０】
上記構成によれば、ユニットの値を、該ユニットの画素の輝度値、あるいは、該ユニットが含む複数の画素の輝度値の平均値から得ることにより、ノイズとなる成分を平滑化することができる。
【００１１】
上記構成において、前記特徴量生成パターンを構成する前記複数の比較対は、比較対毎に所定の識別記号によって区別され、前記特徴量抽出部は、前記変換画像に対する前記特徴量生成パターンの参照位置を変えながら、前記参照を複数回行い、前記所定の識別記号の頻度分布により前記変換画像の特徴量を抽出することを特徴とする。
【００１２】
上記構成によれば、人物、車、バイク等の一般物体を高精度で検出できる特徴量を得ることができる。
【００１３】
上記構成において、前記変換画像を複数の局所領域に分割し、前記局所領域毎に求めた前記頻度分布から前記変換画像の特徴量を求めることを特徴とする。
【００１４】
上記構成によれば、変換画像を複数の局所領域に分割し、局所領域毎に求めた前記頻度分布を作成することにより、人物、車、バイク等の一般物体の形状や姿勢といった変動の吸収を図ることができるため、人物、車、バイク等の一般物体を高精度で検出できる特徴量を得ることができる。
【００１５】
上記構成において、前記複数の変換画像をそれぞれ複数の局所領域に分割し、前記局所領域毎に求めた前記頻度分布を前記変換画像毎に集めた集約特徴量を求め、前記複数の変換画像毎の前記集約特徴量から入力画像の特徴量を求めることを特徴とする。
【００１６】
上記構成によれば、人物、車、バイク等の一般物体を高精度で検出できる特徴量を得ることができる。
【００１７】
本発明の画像判定装置は、画像を判別するための判別対象の有する特徴量を保持する特徴量保持手段と、前記特徴量抽出装置と、を備え、前記入力画像に前記判別対象が含まれているか否かを判定することを特徴とする。
【００１８】
上記構成によれば、人物、車、バイク等の一般物体を高精度で検出することができる。
【００１９】
本発明の特徴量抽出方法は、画像を入力する画像入力ステップと、前記入力した画像を前記入力した画像の特徴量を抽出するための少なくとも１つの変換画像に変換する変換画像生成ステップと、少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の値の比較を行うユニット位置の複数の前記比較対で構成される特徴量生成パターンを記憶する特徴量生成パターン保持ステップと、前記変換画像に対して前記特徴量生成パターンを参照することにより、前記比較対に対応するユニット同士の値の比較を行い、前記変換画像の特徴量を抽出する特徴量抽出ステップと、を備えたことを特徴とする。
【００２０】
上記方法によれば、複数の変換画像の各々の特性に応じて、より適した特徴量生成パターンを用いるので、人物、車、バイク等の一般物体を高精度で検出できる特徴量を得ることができる。
【００２１】
本発明の画像判定方法は、画像を判別するための判別対象の有する特徴量を保持する特徴量保持ステップと、前記特徴量生成方法を用いて、前記入力画像に前記判別対象が含まれているか否かを判定することを特徴とする。
【００２２】
上記方法によれば、人物、車、バイク等の一般物体を高精度で検出することができる。
【発明の効果】
【００２３】
本発明によれば、人物や車、バイクといった一般物体を高精度に検出することができるとともに、該検出処理における処理量やメモリ使用量を少なく抑えることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施の形態に係る特徴量抽出装置の概略構成を示すブロック図
【図２】図１の特徴量抽出装置の処理過程の概要を模式的に示した図
【図３】図１の特徴量抽出装置において、変換画像を局所領域に分解する処理を模式的に示した図
【図４】図１の特徴量抽出装置において、局所領域中の各々の画素への識別記号ラベリングの一例を示す図
【図５】図１の特徴量抽出装置において、識別記号ラベリング値の計算方法を示す図
【図６】図１の特徴量抽出装置において、１つの局所領域から、複数の異なる特徴量生成パターン毎に識別記号の頻度分布を得た場合の一例を模式的に示した図
【図７】図１の特徴量抽出装置において、入力画像を方向別グラディエント画像に変換した結果を模式的に示した図
【図８】図１の特徴量抽出装置において、入力画像を平均フィルタ画像に変換した結果を模式的に示した図
【図９】図１の特徴量抽出装置の応用例である変換画像間特徴量を説明するための図
【図１０】図１の特徴量抽出装置を用いた画像判定装置の概略構成を示すブロック図
【発明を実施するための形態】
【００２５】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２６】
図１は、本発明の一実施の形態に係る特徴量抽出装置の概略構成を示すブロック図である。同図において、本実施の形態に係る特徴量抽出装置１は、画像入力部２、変換画像生成部３、特徴量生成パターン保持部４、特徴量抽出部５及び特徴量出力部６を備えている。画像入力部２は、画像を入力する。画像入力部２には、人物を撮影して得られた画像、車やバイクなどの一般物体を撮影して得られた画像が与えられる。変換画像生成部３は、画像入力部２が入力した画像から複数の変換画像を生成する。すなわち、変換画像生成部３は、画像入力部２が入力した画像を、該画像の特徴量を抽出するための少なくとも１つの変換画像に変換する。生成する変換画像としては、「グレースケール画像」、「ガウシアンフィルタ画像」、「方向別グラディエント画像」などである。
【００２７】
特徴量生成パターン保持部４は、変換画像の特性に応じた特徴量生成パターンを保持する。詳細は後述するが、特徴量生成パターン保持部４は、少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の値の比較を行う複数のユニット位置の比較対で構成される特徴量生成パターンを記憶する。例えば、グレースケール画像では、通常のＬＢＰのように、ある基準画素と、その基準画素を中心とした周囲の近傍画素との輝度値の大小関係を記述するような特徴量生成パターンを記憶し、ガウシアンフィルタ画像では、変換画像を生成する過程の中で、既にノイズとなる高周波成分は取り除かれている場合が多いことから、局所的な特徴を捉える特徴量生成パターンを記憶すると良い。また、方向別グラディエント画像では、各方向別のエッジを見る特徴量生成パターンのみを記憶する。
【００２８】
特徴量抽出部５は、各変換画像に対して、指定された特徴量生成パターン毎に識別記号を抽出し、局所領域内でその識別記号数を頻度分布化する。識別記号を抽出する際には、特徴量生成パターン保持部４から、変換画像に対して特徴量生成パターンを参照することにより、比較対に対応するユニット同士の値の比較を行い、その比較結果から、変換画像の識別記号を抽出する。特徴量出力部６は、各変換画像から得られた識別記号の頻度分布を集約し、入力された画像の特徴量として出力する。
【００２９】
図２は、本実施の形態に係る特徴量抽出装置１の処理過程の概要を模式的に示した図である。同図において、入力画像２０がグレースケール画像２１、ガウシアンフィルタ画像２２、方向別グラディエント画像２３等の画像に変換される。すなわち、入力画像２０からグレースケール画像２１、ガウシアンフィルタ画像２２、方向別グラディエント画像２３等の画像が生成される。これらの変換画像が生成された後、変換画像毎に、異なる特徴量生成パターン３０１，３０２，３０３，…、３１１，３１２，３１３，…、３２１，３２２，…が参照される。次いで、（１）：変換画像毎に、該変換画像に対して局所領域２１１，２１２，２１３，…，２１６、２２１，２２２，２２３，…，２２６、２３１，２３２，２３３，…，２３６が設定される（すなわち、分割される）。次いで、（２）：変換画像毎に、各局所領域において、ある１つの特徴量生成パターンを用いて、識別記号数が、局所領域内識別記号頻度分布４０１，４０２，…，４０６、４１１，４１２，…，４１６、４２１，４２２，…，４２６として表される。（３）：（１）〜（２）の処理が特徴量生成パターンを変えながら、特徴量生成パターンの数だけ繰り返し実行される。
【００３０】
例えば、グレースケール画像２１では、グレースケール画像２１に対して局所領域２１１，２１２，２１３，…，２１６が設定された後、各局所領域２１１，２１２，２１３，…，２１６において、ある１つの特徴量生成パターン３０１を用いて識別記号が各々の画素に対してラベリングされていき、その識別記号数が局所領域内識別記号頻度分布４０１，４０２，…，４０６、４１１，４１２，…，４１６、４２１，４２２，…，４２６として表され、その頻度分布が集約され、変換画像識別記号頻度分布５０で表される。同様の処理が、残りの特徴量生成パターン３０２，３０３，…についても行われる。
【００３１】
ガウシアンフィルタ画像２２、方向別グラディエント画像２３等の他の変換画像に対しても同様の処理が行われ、それらの変換画像における特徴量が変換画像識別記号頻度分布５１，５２，…で表される。そして、全ての変換画像における変換画像識別記号頻度分布５１，５２，…が集約されて、最終的な識別記号頻度分布６０（特徴量）が求められる。この集約した特徴量を用いて人物、車、バイク等の物体の判定が行われる。
【００３２】
次に、上記した各処理を詳細に説明する。
図３は、変換画像を局所領域に分解する処理を模式的に示した図である。図３の（ａ）は、変換画像の一例であるグレースケール画像２１を示す図である。図３の（ｂ）は、グレースケール画像２１内を局所領域に分解した状態を示す図である。また、図３の（ｃ）は、サイズを５×５画素とした局所領域２６を示す図である。なお、変換画像のサイズ、その中に含まれる局所領域数、局所領域サイズ、局所領域の配置方法はこの例に限るものではない。また、局所領域は、図３の（ｂ）に示すような規則正しい配置としなくても良いし、異なるサイズの局所領域同士をランダムな位置配置にしても良いし、そのような局所領域同士を重ね合わせても良い。以下、特徴量抽出の説明用として、５×５画素の局所領域に着目することとする。
【００３３】
図４は、局所領域内の画素への識別記号ラベリングの一例を示す図である。図４では、３×３の特徴量生成パターンを例に挙げている。図４の（ａ）に示すような特徴量生成パターン３６１の場合、３対の輝度値比較を行うと、取り得るパターン数は“２”の３乗（３対あるので）で、“８”である。すなわち、“０〜７”の値（識別記号）で表現することができる。５×５画素の局所領域２６内の各画素において、３×３の特徴量生成パターン３６１の参照位置（この例では、３×３の特徴量生成パターン３６１の中心位置のこと）を参照し、水平方向の３対の輝度値（例えば、画素３６１の輝度値と画素３６３の輝度値が一対目、画素３６４の輝度値と画素３６６の輝度値が二対目、画素３６７の輝度値と画素３６９の輝度値が三対目）の比較をそれぞれ行い、その結果から算出した識別記号“０〜７”の値を、特徴量生成パターンの参照位置に対応する局所領域内の画素にラベリングしていく。
【００３４】
図４の（ａ）から分かるように、特徴量生成パターンは、少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の比較を行う複数のユニット位置の比較対で構成されるものである。
【００３５】
図４の（ｂ）に示すように、局所領域２６に対し、点線で囲んだ位置において特徴量生成パターン３６１を参照した場合、特徴量生成パターンの中心の値が“５”となる場合を例とする。この“５”の値は、特徴量生成パターン３６１の画素３６１の輝度値と画素３６３の輝度値と、画素３６４の輝度値と画素３６６の輝度値と、画素３６７の輝度値と画素３６９の輝度値の大小関係を比較することで、算出される。図５は、図４の場合の識別記号ラベリング値の計算方法を示す図である。同図に示すように、注目点の輝度値Ｉ（ｒｅｆ）と、その近傍にある輝度値Ｉ（ｎ）の大小を比較し、“１”、“０”でバイナリ化する。特徴量生成パターン３６１の画素３６１の輝度値“２２”と画素３６３の輝度値“８”の比較において、注目点の輝度値Ｉ（ｒｅｆ）“２２”がその近傍の輝度値Ｉ（ｎ）“８”以上の値であるので、“１”となる。次に、特徴量生成パターン３６１の画素３６４の輝度値“２０”と画素３６６の輝度値“３１”の比較において、注目点の輝度値Ｉ（ｒｅｆ）“２０”がその近傍の輝度値Ｉ（ｎ）“３１”未満の値であるので、“０”となる。次に、特徴量生成パターン３６１の画素３６７の輝度値“１７”と画素３６９の輝度値“１５”の比較において、注目点の輝度値Ｉ（ｒｅｆ）“１７”がその近傍の輝度値Ｉ（ｎ）“１５”以上の値であるので、“１”となる。したがって、バイナリパターンは、“１０１”で、この１０１は、１＋４＝５となり、識別記号ラベリング値は“５”となる。
【００３６】
このようにして、局所領域２６内で、特徴量生成パターン３６１を参照位置を変えながら参照させていくことで、特徴量生成パターン３６１における各々の識別記号ラベリング値の頻度が得られる。これらを頻度分布化すると、図４の（ｃ）に示すようになる。図４に示す例では、識別記号ラベリング値“０”の頻度は“３”、識別記号ラベリング値“１”の頻度は“２”、識別記号ラベリング値“２”の頻度は“７”、識別記号ラベリング値“３”の頻度は“１”、識別記号ラベリング値“４”の頻度は“３”、識別記号ラベリング値“５”の頻度は“４”、識別記号ラベリング値“６”の頻度は“３”、識別記号ラベリング値“７”の頻度は“２”となる。
【００３７】
特徴量生成パターン３６１以外の残りの特徴量生成パターン３６２，３６３，３６４，…についても同様に行う。
なお、特徴量生成パターンの作成方法は、上述した例に限るものではない。また、３×３、４×４、５×５、…等、サイズに制限はない。また、画素レベルの輝度値比較ではなく、２×２画素領域内の平均輝度値と近傍の輝度値を比較する、あるいは、２×２画素領域内の平均輝度値と、近傍の２×２画素領域内の平均輝度値を比較する等、様々なバリエーションが考えられ、例えば、人物や車、バイク等の細部の特徴を捉えるためには３×３，４×４等の比較的局所的な特徴量生成パターンを用いれば良いし、大まかな形状を捉えるためには、５×５、７×７等の比較的大局的な特徴量生成パターンを用いれば良い。
【００３８】
特徴量生成パターンに対し、４対の輝度値比較を行う場合、取り得るパターン数は２の４乗の“１６”（０〜１５の値）となり、３対の輝度値比較を行う場合と比較して２倍となる。
【００３９】
１つの局所領域から、特徴量生成パターン毎に頻度分布が得られる。図６は、１つの局所領域から特徴量生成パターン毎に頻度分布を得た場合の一例を模式的に示した図である。図６の（イ）は、水平方向の３対の輝度値の比較により得られる識別記号ラベリング値の頻度分布、図６の（ロ）は、垂直方向の３対の画素値の比較により得られる識別記号ラベリング値の頻度分布、図６の（ハ）は、垂直、水平及び斜め方向の４対の画素値の比較により得られる識別記号ラベリング値の頻度分布を示している。また、１つの局所領域から得られる頻度分布を１つの頻度分布に集約し、この集約された頻度分布を“局所領域頻度分布”と呼ぶ。さらに、全ての局所領域頻度分布を１つの頻度分布に集約し、この頻度分布の度数値を最終的な“特徴量”とする。なお、これらの頻度分布の集約時には、単純に頻度分布同士を連結させるのではなく、Ｂｏｏｓｔｉｎｇ等の統計的学習方法を用いることで、人物や車、バイクといった一般物体の検出精度に重要な意味合いを持つ局所領域を事前に記憶させておき、その局所領域に対応する頻度分布に対して重み付け等の処理を加えるようにしてもよい。
【００４０】
以上説明した特徴量抽出処理を変換画像毎に行うが、変換画像毎に扱う特徴量生成パターンは異なる。例として、方向別グラディエント画像、平均フィルタ画像を挙げる。
（方向別グラディエント画像）
図７は、入力画像を方向別グラディエント画像に変換した結果を模式的に示した図である。同図に示すように、入力画像２０（図７（ａ））を方向別グラディエント画像に変換すると、各変換画像２７−１，２７−２，２７−３において得られる情報は意図的に限られてくる。すなわち、各変換画像２７−１，２７−２，２７−３から有意な情報を抽出することが可能と事前に分かっている特徴量生成パターンのみを使用することで（あるいは、有意な情報が得られないような無駄な特徴量生成パターンを使用しないことで）、特徴量抽出処理による処理量の増加や、頻度分布保持のためのメモリ容量の増加、さらに、使用特徴量数の増加による判定用辞書部サイズの増加や、無駄な情報を使用して識別処理を行うことによる識別精度の劣化などを防ぐことができる。
【００４１】
図７の（ｂ）に示すように、垂直方向のエッジ成分２７ａに対しては、水平方向に比較する特徴量生成パターン３６１を使用し、図７の（ｃ）に示すように、水平方向のエッジ成分２７ｂに対しては、垂直方向に比較する特徴量生成パターン３６２を使用し、図７の（ｄ）に示すように、斜め方向のエッジ成分２７ｃに対しては、斜め方向に比較する特徴量生成パターン３６３を使用する。このように有意な情報が得られると事前に分かっている特徴量生成パターンのみを使用する。
【００４２】
（平均フィルタ画像）
図８は、入力画像を平均フィルタ画像に変換した結果を模式的に示した図である。同図に示すように、入力画像２０（図８（ａ））を、フィルタのパラメータを変更しながら平均フィルタ画像に変換すると、図８の（ｂ），（ｃ）に示すように、高周波成分の除去レベルを制御した画像２８−１，２８−２を得ることができる。入力画像２０に高周波成分が多く残っている場合、図８の（ｂ）に示す画像２８−１のように、ノイズが多く含まれている可能性が高いので、例えばノイズによって有意ではない情報を抽出してしまう可能性のある画素レベルの輝度値大小比較を行う特徴量生成パターンを使用せずに、ノイズに対してロバスト性があるような２×２画素領域内の平均輝度値を比較するようなパターン３７を用いることで、ノイズ対策を施した有意な特徴量抽出を行うことができる。一方、図８の（ｃ）に示すように、高周波成分が多く取り除かれたような画像２８−２では、既にノイズ除去は終わっているので、２×２画素領域内の平均輝度値（“・”で示す）を比較するようなパターンを使用する必要はなく、３×３画素で画素レベルの比較を行う特徴量生成パターン３６３のみ用いる。
【００４３】
このように、本実施の形態に係る特徴量抽出装置１によれば、１つの入力画像２０から複数の変換画像２１，２２，２３，…を生成し、各々の変換画像２１，２２，２３，…から、その特性に応じて、より適した特徴量生成パターン３０１，３０２，３０３，…、３１１，３１２，３１３，…、３２１，３２２，…を抽出し、さらに各々の変換画像２１，２２，２３，…を複数個に分割した各々の局所領域２１１，２１２，２１３，…，２１８、２２１，２２２，２２３，…，２２８、２３１，２３２，２３３，…，２３８内において、その特徴量生成パターン数の変換画像識別記号頻度分布５０，５１，５２，…を算出し、それらを集約した識別記号頻度分布６０を最終的な特徴量とするので、この特徴量を画像判定装置などの物体を検出する装置に用いることで、人物、車、バイクなどの一般物体を高精度で検出することが可能となる。
【００４４】
また、各変換画像２７−１，２７−２，２７−３から有意な情報を抽出することが可能な特徴量生成パターンのみを使用することで、特徴量抽出処理による処理量の増加や、頻度分布保持のためのメモリ容量の増加、さらには、使用特徴量数の増加による判定用辞書部サイズの増加や、無駄な情報を使用して識別処理を行うことによる識別精度の劣化などを防ぐことができる。
【００４５】
なお、本実施の形態に係る特徴量抽出装置１の変換画像生成部３のバリエーションについて以下に述べる。
・変換画像生成部３のバリエーション
カラー画像（ＲＧＢチャネル各々、ＹＣｂＣｒチャネル各々）、グレースケール画像、方向別グラディエント画像、Ｎ×Ｍ平均フィルタ画像（Ｎ、Ｍは実数）、オプティカルフロー画像、Ｎフレーム間差分・平均画像（Ｎは実数）、距離画像、周波数画像、ＤＯＧ（Difference of Gaussian）画像等、一般的に考えられる画像変換手法を用いることができる。
【００４６】
・変換画像間特徴量
従来のように単一の変換画像内でバイナリパターン特徴量を抽出するのではなく、１つ以上の複数間の変換画像に跨がるようなバイナリパターン特徴量を抽出する。例えば、図９の（ａ）に示すように、グレースケール画像２１内の２点の輝度値を比較するのではなく、図９の（ｂ）に示すように、グレースケール画像２１内の１点の輝度値とガウシアンフィルタ画像２２内の１点の輝度値を比較する。
・車、バイクなどの検出に適用
人物だけでなく、車やバイクなど、一般物体の検出も勿論可能である。人物や車、バイク等の検出対象によって、使用する変換画像や特徴量生成パターンを変えても良い。
【００４７】
また、本実施の形態に係る特徴量抽出装置１のハード構成としては、通常のコンピュータを用いることもできる。すなわち、特徴量抽出装置１は、ＣＰＵ、ＲＡＭ等の揮発性メモリ、及びＲＯＭ等の不揮発性メモリ、及びハードディスク又はＳＳＤ（Solid State Drive）等の大容量記憶装置等を備えたコンピュータによって構成できる。
【００４８】
また、本実施の形態に係る特徴量抽出装置１における処理を記述したプログラムを、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して配布したり、インターネット等の電気通信回線を利用して配布したりすることも可能である。
【００４９】
また、本実施の形態に係る特徴量抽出装置１を用いて画像判定装置を実現することができる。図１０は、特徴量抽出装置１を用いた画像判定装置７０の概略構成を示すブロック図である。同図において、画像判定装置７０は、特徴量抽出装置１と、判定用辞書部（特徴量保持手段）７１と、判定部７２とを備える。判定用辞書部７１は、画像を判別するための判別対象の有する特徴量を保持する。判定部７２は、入力された画像に判別対象が含まれているか否かを判定する。画像判定装置７０は、特徴量抽出装置１を備えることから、人物、車、バイク等の一般物体を高精度で検出することができる。
【産業上の利用可能性】
【００５０】
本発明は、人物のみならず、車やバイクなどの一般物体を高精度に検出することができるとともに、特徴量抽出による処理量やメモリ使用量を少なく抑えることができるといった効果を有し、画像情報から物体を検出する物体検出装置への適用が可能である。
【符号の説明】
【００５１】
１ 特徴量抽出装置
２ 画像入力部
３ 変換画像生成部
４ 特徴量生成パターン保持部
５ 特徴量抽出部
６ 特徴量出力部
２０ 入力画像
２１ グレースケール画像
２２ ガウシアンフィルタ画像
２３ 方向別グラディエント画像
２１１，２１２，２１３，…，２１６、２２１，２２２，２２３，…，２２６、２３１，２３２，２３３，…，２３６ 局所領域
２６ 局所領域
２７−１，２７−２，２７−３ 変換画像
２７ａ 垂直方向のエッジ成分
２７ｂ 水平方向のエッジ成分
２７ｃ 斜め方向のエッジ成分
２８−１，２８−２ 画像
３０１，３０２，３０３，…、３１１，３１２，３１３，…、３２１，３２２，… 特徴量生成パターン
３６１，３６２，３６３，３６ｎ 特徴量生成パターン
４０１，４０２，…，４０８、４１１，４１２，…，４１８、４２１，４２２，…，４２８ 局所領域内識別記号頻度分布
５０，５１，５２ 変換画像識別記号頻度分布
６０ 識別記号頻度分布
７０ 画像判定装置
７１ 判定用辞書部
７２ 判定部
３６１，３６３，３６４，３６６，３６７，３６９ 画素
【特許請求の範囲】
【請求項１】
画像を入力する画像入力部と、
前記入力した画像を前記入力した画像の特徴量を抽出するための少なくとも１つの変換画像に変換する変換画像生成部と、
少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の値の比較を行う複数のユニット位置の比較対で構成される特徴量生成パターンを記憶する特徴量生成パターン保持部と、
前記変換画像に対して前記特徴量生成パターンを参照することにより、前記比較対に対応するユニット同士の値の比較を行い、前記変換画像の特徴量を抽出する特徴量抽出部と、
を備えたことを特徴とする特徴量抽出装置。
【請求項２】
前記ユニットの値は、前記ユニットの画素の輝度値から得られることを特徴とする請求項１に記載の特徴量抽出装置。
【請求項３】
前記特徴量生成パターンを構成する前記複数の比較対は、比較対毎に所定の識別記号によって区別され、
前記特徴量抽出部は、前記変換画像に対する前記特徴量生成パターンの参照位置を変えながら、前記参照を複数回行い、前記所定の識別記号の頻度分布により前記変換画像の特徴量を抽出することを特徴とする請求項１又は請求項２に記載の特徴量抽出装置。
【請求項４】
前記変換画像を複数の局所領域に分割し、前記局所領域毎に求めた前記頻度分布から前記変換画像の特徴量を求めることを特徴とする請求項３に記載の特徴量抽出装置。
【請求項５】
前記複数の変換画像をそれぞれ複数の局所領域に分割し、前記局所領域毎に求めた前記頻度分布を前記変換画像毎に集めた集約特徴量を求め、前記複数の変換画像毎の前記集約特徴量から入力画像の特徴量を求めることを特徴とする請求項３に記載の特徴量抽出装置。
【請求項６】
画像を判別するための判別対象の有する特徴量を保持する特徴量保持手段と、
請求項１乃至請求項５のいずれか一項に記載の特徴量抽出装置と、を備え、
前記入力画像に前記判別対象が含まれているか否かを判定することを特徴とする画像判定装置。
【請求項７】
画像を入力する画像入力ステップと、
前記入力した画像を前記入力した画像の特徴量を抽出するための少なくとも１つの変換画像に変換する変換画像生成ステップと、
少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の値の比較を行うユニット位置の複数の前記比較対で構成される特徴量生成パターンを記憶する特徴量生成パターン保持ステップと、
前記変換画像に対して前記特徴量生成パターンを参照することにより、前記比較対に対応するユニット同士の値の比較を行い、前記変換画像の特徴量を抽出する特徴量抽出ステップと、
を備えたことを特徴とする特徴量抽出方法。
【請求項８】
画像を判別するための判別対象の有する特徴量を保持する特徴量保持ステップと、
請求項７に記載の特徴量抽出方法を用いて、前記入力画像に前記判別対象が含まれているか否かを判定することを特徴とする画像判定方法。
【請求項１】
画像を入力する画像入力部と、
前記入力した画像を前記入力した画像の特徴量を抽出するための少なくとも１つの変換画像に変換する変換画像生成部と、
少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の値の比較を行う複数のユニット位置の比較対で構成される特徴量生成パターンを記憶する特徴量生成パターン保持部と、
前記変換画像に対して前記特徴量生成パターンを参照することにより、前記比較対に対応するユニット同士の値の比較を行い、前記変換画像の特徴量を抽出する特徴量抽出部と、
を備えたことを特徴とする特徴量抽出装置。
【請求項２】
前記ユニットの値は、前記ユニットの画素の輝度値から得られることを特徴とする請求項１に記載の特徴量抽出装置。
【請求項３】
前記特徴量生成パターンを構成する前記複数の比較対は、比較対毎に所定の識別記号によって区別され、
前記特徴量抽出部は、前記変換画像に対する前記特徴量生成パターンの参照位置を変えながら、前記参照を複数回行い、前記所定の識別記号の頻度分布により前記変換画像の特徴量を抽出することを特徴とする請求項１又は請求項２に記載の特徴量抽出装置。
【請求項４】
前記変換画像を複数の局所領域に分割し、前記局所領域毎に求めた前記頻度分布から前記変換画像の特徴量を求めることを特徴とする請求項３に記載の特徴量抽出装置。
【請求項５】
前記複数の変換画像をそれぞれ複数の局所領域に分割し、前記局所領域毎に求めた前記頻度分布を前記変換画像毎に集めた集約特徴量を求め、前記複数の変換画像毎の前記集約特徴量から入力画像の特徴量を求めることを特徴とする請求項３に記載の特徴量抽出装置。
【請求項６】
画像を判別するための判別対象の有する特徴量を保持する特徴量保持手段と、
請求項１乃至請求項５のいずれか一項に記載の特徴量抽出装置と、を備え、
前記入力画像に前記判別対象が含まれているか否かを判定することを特徴とする画像判定装置。
【請求項７】
画像を入力する画像入力ステップと、
前記入力した画像を前記入力した画像の特徴量を抽出するための少なくとも１つの変換画像に変換する変換画像生成ステップと、
少なくとも１つの画素から構成されるユニットを配列したユニット配列内の、該ユニット同士の値の比較を行うユニット位置の複数の前記比較対で構成される特徴量生成パターンを記憶する特徴量生成パターン保持ステップと、
前記変換画像に対して前記特徴量生成パターンを参照することにより、前記比較対に対応するユニット同士の値の比較を行い、前記変換画像の特徴量を抽出する特徴量抽出ステップと、
を備えたことを特徴とする特徴量抽出方法。
【請求項８】
画像を判別するための判別対象の有する特徴量を保持する特徴量保持ステップと、
請求項７に記載の特徴量抽出方法を用いて、前記入力画像に前記判別対象が含まれているか否かを判定することを特徴とする画像判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−３０１０４（Ｐ２０１３−３０１０４Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６７２３２（Ｐ２０１１−１６７２３２）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]