特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置
【課題】ローカルバイナリパターンを用いつつ、少ない処理負荷で、画質のばらつきに対してロバストな物体検出が可能な画像特徴を抽出することができる特徴抽出装置を提供すること。
【解決手段】特徴抽出部４３０は、画像から、複数の解像度の解像度画像を生成する解像度画像生成部４３３と、生成された解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成するバイナリパターン生成部を含む解像度ヒストグラム生成部４３４と、複数の解像度画像から生成されたローカルバイナリパターンの分布を示すヒストグラムを生成するヒストグラム生成部４３６とを有する。
【解決手段】特徴抽出部４３０は、画像から、複数の解像度の解像度画像を生成する解像度画像生成部４３３と、生成された解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成するバイナリパターン生成部を含む解像度ヒストグラム生成部４３４と、複数の解像度画像から生成されたローカルバイナリパターンの分布を示すヒストグラムを生成するヒストグラム生成部４３６とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから画像特徴を抽出する特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、特徴抽出装置を用いた画像処理装置に関する。
【背景技術】
【０００２】
従来、画像データから画像特徴を抽出して、画像に含まれる物体を検出または識別すること（以下「物体検出」という）が、広く行われている。物体検出の技術の１つとして、ローカルバイナリパターン（ＬＢＰ：Local Binary Pattern）を用いる技術が、例えば特許文献１および非特許文献１に記載されている。
【０００３】
ローカルバイナリパターンは、画素毎に、周囲近傍の各画素との画素値の差分を二値化して並べたバイナリパターンである。ローカルバイナリパターンによれば、画像に含まれる濃淡パターンを抽出することができる。
【０００４】
特許文献１および非特許文献１に記載の技術（以下「第１の従来技術」という）は、識別の対象となる画像（以下「対象画像」という）のある領域に対し、全画素または部分画素に対して、ローカルバイナリパターンを算出する。そして、第１の従来技術は、ローカルバイナリパターンの値のヒストグラムを、画像特徴として生成する。また、第１の従来技術は、予め、所定の物体を含む画像と含まない画像（以下「学習画像」と総称する）から同様に生成したヒストグラムに基づいて、識別器を生成して記憶しておく。そして、第１の従来技術は、識別器を用いて対象画像のヒストグラムを評価し、対象画像に所定の物体が含まれているか否かを判断する。
【０００５】
ローカルバイナリパターンのヒストグラムは、輝度勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）等の画像特徴に比べて、テクスチャの違いや濃淡パターンをより高精度に表現でき、かつ、より少ない処理負荷で算出可能である。したがって、第１の従来技術のようなローカルバイナリパターンを用いた物体検出は、様々な分野への適用が期待されている。
【０００６】
ところが、第１の従来技術には、単一の解像度から画像特徴を抽出し、照度が低い、あるいは、ノイズが多い画像（例えば夜間の画像）に対しては、画像特徴の正確な抽出が困難になるという課題がある。これは、いわゆるソルトアンドペッパーノイズ（salt and pepper）が生じたり、コントラストが低いことによって局所輝度特徴が小さくなることに起因する。画像特徴の抽出精度が低くなると、ひいては、ヒストグラムから生成される識別器の精度や、ヒストグラムを用いて行われる物体検出の精度も、低くなる。
【０００７】
そこで、複数の解像度の画像を用いる技術が、例えば特許文献２に記載されている。
【０００８】
特許文献２に記載の技術（以下「第２の従来技術」という）は、検出の対象となる画像から、複数の解像度の画像を生成し、解像度の異なる画像毎にローカルバイナリパターンのヒストグラムを生成し、最も高いスコアを採用する。通常、より低い解像度の画像のヒストグラムのほうがノイズの影響がより抑えられ、より高い解像度の画像のヒストグラムのほうが画像に含まれる物体の画像特徴をより良く反映する。したがって、第２の従来技術では、ノイズが多い画像では低解像度画像のヒストグラムを採用し、コントラストが明瞭な画像では高解像度画像のヒストグラムを採用することになり、画質のばらつきに対してロバストな物体検出を行うことができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−２１１１７９号公報
【特許文献２】特開２００９−２１１４９０号公報
【非特許文献】
【００１０】
【非特許文献１】Timo Ahonen, Abdenour Hadid, and Matti Pietikainen, "Face Description with Local Binary Patterns: Application to Face Recognition," IEEE, Pattern Analysis and Machine Intelligence vol. 28 no. 12, pp. 2037-2041, December 2006
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、第２の従来技術は、複数の解像度の画像間において、画質のばらつきが大きい場合には、必要以上に処理負荷が高くなるという課題がある。なぜなら、第２の従来技術では、様々な画質に対応して多数の解像度の画像を生成しなければならないからである。
【００１２】
本発明の目的は、ローカルバイナリパターンを用いつつ、少ない処理負荷で、画質のばらつきに対してロバストな物体検出が可能な画像特徴を抽出することができる特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置を提供することである。
【課題を解決するための手段】
【００１３】
本発明の特徴抽出装置は、画像から、複数の解像度の解像度画像を生成する解像度画像生成部と、生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成するバイナリパターン生成部と、前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成するヒストグラム生成部とを有する。
【００１４】
本発明の画像処理装置は、所定の物体を識別するための識別器を用いて、上記の特徴抽出装置により生成された前記ヒストグラムから、前記画像に前記所定の物体が含まれるか否か判断する識別部を有する。
【００１５】
本発明の特徴抽出方法は、画像から、複数の解像度の解像度画像を生成するステップと、生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成するステップと、前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成するステップとを有する。
【００１６】
本発明の特徴抽出プログラムは、コンピュータに、画像から、複数の解像度の解像度画像を生成する処理と、生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成する処理と、前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成する処理とを実行させる。
【発明の効果】
【００１７】
本発明によれば、ローカルバイナリパターンを用いつつ、少ない処理負荷で、画質のばらつきに対してロバストな物体検出が可能なヒストグラムを、画像の画像特徴として抽出することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施の形態に係る特徴抽出装置を含む物体検出システムの構成を示すシステム構成図
【図２】本実施の形態における特徴抽出部の詳細な構成を示すブロック図
【図３】本実施の形態における解像度ヒストグラム生成部の詳細な構成を示すブロック図
【図４】本実施の形態に係る物体検出装置の動作を示すフローチャート
【図５】本実施の形態における画像スキャンの様子の一例を示す模式図
【図６】本実施の形態において用いられる複数の解像度の一例を示す図
【図７】本実施の形態における近傍領域のシフトの様子の一例を示す模式図
【図８】本実施の形態における解像度ヒストグラムの生成処理の一例の概要を示す模式図
【図９】本実施の形態における複数の解像度ヒストグラムの一例を示す図
【図１０】本実施の形態における複数の解像度ヒストグラム合成したヒストグラムの一例を示す図
【図１１】本実施の形態におけるヒストグラムの正規化の様子の一例を示す図
【図１２】本実施の形態における正規化されたヒストグラムの一例を示す図
【図１３】本実施の形態における解像度の違いによるノイズの影響の違いを説明するための図
【図１４】本実施の形態におけるノイズレベルの低い高解像度画像から得られる解像度ヒストグラムの一例を示す図
【図１５】本実施の形態におけるノイズレベルの高い高解像度画像から得られる解像度ヒストグラムの一例を示す図
【図１６】本実施の形態におけるノイズレベルが低い対象画像における解像度と物体検出精度との関係を示すグラフ
【図１７】本実施の形態におけるノイズレベルが高い対象画像における解像度と物体検出精度との関係を示すグラフ
【発明を実施するための形態】
【００１９】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００２０】
図１は、本発明の一実施の形態に係る特徴抽出装置を含む物体検出システムの構成を示すシステム構成図である。図１では、各装置の構成についても併せて図示する。
【００２１】
図１において、物体検出システム１００は、識別器学習装置２００、識別器記憶装置３００、および物体検出装置４００を有する。識別器学習装置２００および物体検出装置４００は、例えば、インターネット等の通信ネットワークを介して、識別器記憶装置３００にそれぞれ接続可能となっている。
【００２２】
本実施の形態において、識別器学習装置２００に用いる機械学習方法の一つの例として、Ｂｏｏｓｔｉｎｇ法を採用する。識別器学習装置２００は、予め、正規化された学習画像から、検出の対象となる物体（以下「検出対象物体」という）を検出するための識別器を学習し、学習結果である識別器を識別器記憶装置３００に記憶させる。識別器学習装置２００は、学習用データ記憶部２１０と、本発明に係る特徴抽出装置を含む特徴抽出部２２０と、学習部２４０とを有する。
【００２３】
学習用データ記憶部２１０は、正規化された検出対象物体を含む複数の学習画像（ポジティブサンプル）と、検出対象物体を含まない複数の学習画像（ネガティブサンプル）とを予め格納する。
【００２４】
特徴抽出部２２０は、学習画像から、ノイズの度合いに合わせて、複数種類の解像度の画像（以下「解像度画像」という）を生成し、生成された複数の解像度画像毎に、ローカルバイナリパターンの分布を示すヒストグラムを、生成する。すなわち、特徴抽出部２２０は、異なる解像度についてのヒストグラム（以下「解像度ヒストグラム」という）を合成したヒストグラムを、画像特徴として生成する。
【００２５】
また、特徴抽出部２２０は、各解像度画像から解像度ヒストグラムを生成する際に、まず、特徴抽出領域を取得する。特徴抽出領域とは、画像特徴の抽出の対象となる画像領域である。例えば、検出対象が特定の人物の顔である場合には、特徴抽出領域は、人の顔部品、例えば、眼、または鼻等の画像領域を含む、ランダムに配置された多数の画像領域とすることができる。また、検出対象が人の全身である場合には、特徴抽出領域は、例えば、頭部、腕、足等の画像領域を含む、ランダムに配置された多数の画像領域とすることができる。
【００２６】
そして、特徴抽出部２２０は、特徴抽出領域毎に、その画像特徴を抽出し、学習部２４０へ出力する。より具体的には、特徴抽出部２２０は、まず、特徴抽出領域の全部または一部の画素毎に、ローカルバイナリパターンを生成する。ローカルバイナリパターンとは、注目画素に対し、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示す情報である。そして、生成されたローカルバイナリパターンの分布を示すヒストグラム（以下、単に「ヒストグラム」という）を、その特徴抽出領域の画像特徴として生成する。なお、一つの解像度画像に、複数の特徴抽出領域から対応数のヒストグラムを求めて、前記ヒストグラム群を結合し、前記解像度画像の画像特徴とする。なお、以下の説明においては、デジタル値はビット値、すなわち「１」と「０」とによって情報を示す値であるとして説明する。但し、本実施の形態にかかる発明は、「１」と「０」とによって情報を示すだけでなく多値化にも対応し、かかる場合には、ビット値をデジタル値とすればよい。
【００２７】
学習部２４０は、ポジティブサンプルから得られたヒストグラム群と、ネガティブサンプルから得られたヒストグラム群とに基づいて、検出対象物体が含まれる画像と含まれない画像とを区分するための１つまたは複数の識別器を生成する。すなわち、学習部２４０は、識別器として、特徴抽出領域情報と、特徴抽出領域情報に対応する識別情報とを生成する。特徴抽出領域情報とは、特徴抽出領域の範囲を示す情報であり、例えば、特徴抽出領域の位置およびサイズを含む。識別情報とは、対象画像の特徴抽出領域のヒストグラムを評価し、対象画像に所定の物体が含まれているか否かを判定するための情報である。そして、学習部２４０は、識別器記憶装置３００に対して、生成した識別情報を特徴抽出領域情報と共に送信し、特徴抽出領域情報と組み付けて記憶させる。
【００２８】
物体検出装置４００は、識別器記憶装置３００に記憶された識別器を取得して、対象画像に対する物体検出を行う。物体検出装置４００は、カメラ４１０と、画像入力部４２０と、本発明に係る特徴抽出装置を含む特徴抽出部４３０と、識別部４５０とを有する。
【００２９】
カメラ４１０は、対象画像の撮影を行い、対象画像を画像入力部４２０へ出力する。
【００３０】
画像入力部４２０は、対象画像を、予め定められたサイズのウィンドウでスキャンし、スキャンした個々の画像領域（以下「窓領域」という）を、特徴抽出部４３０へ出力する。
【００３１】
特徴抽出部４３０は、窓領域毎に、その窓領域のうち、識別器記憶装置に記憶された特徴抽出領域情報が示す範囲を、特徴抽出領域として取得する。
【００３２】
そして、特徴抽出部４３０は、特徴抽出領域毎に、その画像特徴を抽出し、識別部４５０へ出力する。より具体的には、特徴抽出部４３０は、特徴抽出領域の画素毎にローカルバイナリパターンを生成し、ローカルバイナリパターンのヒストグラムを、その特徴抽出領域の画像特徴として生成する。
【００３３】
但し、特徴抽出部４３０は、窓領域から、複数の解像度について解像度画像を生成し、複数の解像度画像から生成されたローカルバイナリパターンの分布を示すヒストグラムを、生成する。すなわち、特徴抽出部４３０も、特徴抽出部２２０と同様に、複数の解像度ヒストグラムを合成したヒストグラムを生成する。
【００３４】
なお、特徴抽出部４３０が窓領域に対して行う処理と、上述の特徴抽出部２２０が学習画像に対して行う処理は類似している。すなわち、特徴抽出部２２０は、例えば、候補領域として予め用意した多くの領域の全てを、特徴抽出領域として取得する。これに対し、特徴抽出部４３０は、識別器記憶装置３００から、既に学習部２４０によって選択された特徴抽出領域情報が示す領域のみを、特徴抽出領域として取得する。よって、以下、適宜、一方の構成および動作の説明をもって他方の構成および説明の説明を省略する。
【００３５】
図２は、特徴抽出部４３０の詳細な構成を示すブロック図である。
【００３６】
図２において、特徴抽出部４３０は、ノイズレベル測定部４３１、解像度選択部４３２、解像度画像生成部４３３、解像度ヒストグラム生成部４３４、重み生成部４３５、およびヒストグラム生成部４３６を有する。
【００３７】
ノイズレベル測定部４３１は、窓領域の画質に関する情報に基づいて、窓領域のノイズのレベル（以下「ノイズレベル」という）を判断し、解像度選択部４３２および重み生成部４３５へ出力する。へ出力する。窓領域のノイズレベルは、通常、対象画像のノイズレベルに対応している。
【００３８】
画質に関する情報は、例えば、注目画素と近傍画素との全ての差分が正の値であるときのローカルバイナリパターンに対応するビンの値、注目画素と近傍画素との全ての差分が負の値であるときのローカルバイナリパターンに対応するビンの値、輝度ヒストグラム、カメラ４１０の露出、カメラ４１０のシャッタースピード、窓画像の動き情報、およびカメラ４１０の動き情報の少なくとも１つを含む。本実施の形態では、ノイズレベル測定部４３１は、上述のビンの値、つまり、白い点や黒い点として画素単位で発生するノイズ（ソルトアンドペッパーノイズ）に対応するビンの値に基づいて、窓領域のノイズレベルを算出する。その詳細については、後述する。なお、このようなノイズは、例えば、夜間等の画像の暗さや、カメラ４１０に付着した雨滴等によって発生する。
【００３９】
解像度選択部４３２は、入力されたノイズレベルに基づいて、ノイズレベルがより高いほどより低い解像度が更に含まれるように、１つまたは複数の解像度を選択し、選択結果を、解像度画像生成部４３３および重み生成部４３５へ出力する。
【００４０】
解像度画像生成部４３３は、入力された選択結果に従って、窓領域から、選択された各解像度の画像を生成する。そして、解像度画像生成部４３３は、生成した各解像度の画像（以下「解像度画像」という）を、解像度ヒストグラム生成部４３４へ出力する。
【００４１】
解像度ヒストグラム生成部４３４は、入力された解像度画像毎に、ヒストグラムを生成し、ヒストグラム生成部４３６へ出力する。
【００４２】
図３は、解像度ヒストグラム生成部４３４の詳細な構成を示すブロック図である。
【００４３】
図３において、解像度ヒストグラム生成部４３４は、特徴抽出領域取得部４４０、画素近傍取得部４４１、近傍差分計算部４４２、バイナリパターン生成部４４３、および解像度ヒストグラム算出部４４５を有する。
【００４４】
特徴抽出領域取得部４４０は、各解像度画像から特徴抽出領域を取得し、画素近傍取得部４４１へ出力する。
【００４５】
画素近傍取得部４４１は、入力された各特徴抽出領域に対し、注目画素をシフトさせていく。画素近傍取得部４４１は、注目画素毎に、注目画素を中心とする３×３の領域（以下「近傍領域」という）の９個の画素値を取得する。そして、画素近傍取得部４４１は、近傍領域毎に、取得した９個の画素値を、近傍差分計算部４４２へ出力する。本実施の形態では、画素値は、輝度値であるものとする。なお、画素値としては、例えば、画像にエッジ強調などの前処理を施した輝度値の一次微分や二次微分により得られる値、あるいは、赤、青、緑の輝度を一つのベクトル値として表現したカラー値等、他の各種の値を採用しても良い。
【００４６】
近傍差分計算部４４２は、近傍領域毎に、注目画素と周囲の各近傍画素との輝度値の差分を算出し、８個の算出結果（以下「近傍差分」という）を得る。そして、近傍差分計算部４４２は、各近傍領域の近傍差分を、バイナリパターン生成部４４３へ出力する。
【００４７】
バイナリパターン生成部４４３は、近傍領域毎に、各近傍差分が所定の閾値以上であるか否かを示すビット値を所定の順序で並べた符号を生成する。そして、バイナリパターン生成部４４３は、生成した符号を、ローカルバイナリパターンとして解像度ヒストグラム算出部４４５へ出力する。
【００４８】
解像度ヒストグラム算出部４４５は、特徴抽出領域毎に、ローカルバイナリパターンのヒストグラムを算出し、図２のヒストグラム生成部４３６へ出力する。すなわち、解像度ヒストグラム算出部４４５は、解像度画像毎に複数の特徴抽出領域から算出したヒストグラムの群を合成したヒストグラム（以下「解像度ヒストグラム」という）を出力する。
【００４９】
なお、上述のノイズレベル測定部４３１が用いるノイズレベル測定手法は、多数考えられる。例えば、ノイズレベル測定部４３１は、まず、解像度ヒストグラム生成部４３４のヒストグラム生成方法を用い、窓画像のローカルバイナリパターンのヒストグラムを作成する。そして、ノイズレベル測定部４３１は、生成された窓画像のローカルバイナリパターンのヒストグラムの「００００００００」ビンと「１１１１１１１１」ビンの値とに基づいて、ノイズレベルを判定する。これら２つのビンは、白い点や黒い点として画素単位で発生するノイズ（ソルトアンドペッパーノイズ）に対応する。そして、ノイズレベル測定部４３１は、これら２つのビンの度数が相対的に高いとき、対象画像のノイズレベルが高いと判定するものとする。
【００５０】
図２の重み生成部４３５は、入力された解像度の選択結果およびノイズレベルに基づいて、ノイズレベルがより高いほど低い解像度に対してより大きな重み付けがされるように、解像度毎に重みを決定する。そして、重み生成部４３５は、決定結果を、ヒストグラム生成部４３６へ出力する。
【００５１】
ヒストグラム生成部４３６は、決定された重みを、対応する解像度ヒストグラムに適用して、対象画像の画像特徴を示すヒストグラムを生成する。より具体的には、ヒストグラム生成部４３６は、解像度ヒストグラムの全てのビンに対して対応する重みを乗じて得られる値を、選択された全ての解像度についてビン毎に加算して、ヒストグラムを生成する。そして、ヒストグラム生成部４３６は、生成したヒストグラムを、図１の識別部４５０へ出力する。
【００５２】
識別部４５０は、識別器記憶装置３００が記憶する識別情報を取得する。識別部４５０は、取得した識別情報を用いて、画像入力部４２０がスキャンした窓領域から生成されたヒストグラムから、対象画像に検出対象物体が含まれるか否か判断する。そして、識別部４５０は、判断結果を、例えば画像表示装置や音声出力装置（図示せず）を介して、ユーザに通知する。
【００５３】
なお、識別器学習装置２００および物体検出装置４００は、例えば、それぞれ、ＣＰＵ（central processing unit）およびＲＡＭ（random access memory）等の記憶媒体等を含むコンピュータの構成を取ることができる。この場合、識別器学習装置２００および物体検出装置４００は、記憶する制御プログラムをＣＰＵが実行することによってそれぞれ動作する。また、物体検出装置４００は、その計算のみを行う専用チップにしても良い。また、識別器記憶装置３００は、例えば、半導体メモリやハードディスク等の記憶媒体である。
【００５４】
上述のように、本実施の形態に係る物体検出システム１００は、入力画像のノイズレベルに応じて、適切な数の解像度画像と、その解像度画像の特徴とを求める。これにより、物体検出システム１００は、画像に含まれる物体の画像特徴を良く反映しつつ、ノイズの影響を低減することが可能と共に、特徴抽出の処理コストを抑えることができる。したがって、例えば、上述の第２の従来技術では１０種類の解像度画像を用意しなければ達成することができないような検出精度を、物体検出システム１００では３種類の解像度画像で達成するといったことが可能となる。
【００５５】
次に、物体検出装置４００の動作について説明する。なお、識別器学習装置２００における特徴抽出部２２０の動作は、物体検出装置４００における特徴抽出部４３０の動作と類似しているため、その説明を省略する。
【００５６】
図４は、物体検出装置４００の動作を示すフローチャートである。
【００５７】
まず、ステップＳ１１００において、画像入力部４２０は、対象画像を、予め定められたサイズのウィンドウでスキャンする。
【００５８】
図５は、画像スキャンの様子の一例を示す模式図である。
【００５９】
図５に示すように、画像入力部４２０は、対象画像５１０の全体を、予め定められたサイズのウィンドウ５１１でスキャンし、様々な位置から窓領域５１２を取得する。ウィンドウ５１１の位置によっては、図５に示すように、その窓領域５１２に検出対象物体５１３が含まれることになる。ウィンドウ５１１のサイズは、例えば、６４画素×１２８画素である。
【００６０】
そして、ステップＳ１１１０において、ノイズレベル測定部４３１は、各窓領域５１２に対して、ノイズレベルを算出する。
【００６１】
具体的には、ノイズレベル測定部４３１は、窓領域５１２に対して、後記ステップＳ１３００からステップＳ１８００までの処理により、窓領域５１２のローカルバイナリパターンのヒストグラムを算出する。そして、ノイズレベル測定部４３１は、いわゆるソルトアンドペッパーノイズに対応するビン「００００００００」およびビン「１１１１１１１１」の度数が相対的に高いとき、対象画像のノイズレベルが高いと判定する。ビン「１１１１１１１１」は、注目画素と近傍画素との差分が全て正の値であるときのローカルバイナリパターンに対応するビン、つまり、１０進数で「２５５」に対応するビンである。また、ビン「００００００００」は、注目画素と近傍画素との差分が全て負の値であるときのローカルバイナリパターンに対応するビン、つまり、１０進数で「０」に対応するビンである。
【００６２】
そして、ステップＳ１１２０において、解像度選択部４３２は、Ｓ１１１０で取得されたノイズレベルに基づいて、解像度画像の数および各解像度画像の解像度を選択する。本実施の形態では、解像度選択部４３２は、予め定められた３段階の解像度の中から、ノイズレベルに応じて、解像度を選択するものとする。ノイズレベルを算出するためのヒストグラムの生成処理は、後述のステップＳ１３００〜Ｓ１８００の処理と同様である。
【００６３】
図６は、予め定められた３段階の解像度の一例を示す図である。
【００６４】
図６に示すように、解像度選択部４３２は、例えば、窓領域のサイズと同じ６４画素×１２８画素に相当する第１の解像度５１６を、選択肢として用意している。また、解像度選択部４３２は、更に、窓領域の２５／６４の画素数に相当する４０×８０の第２の解像度５１７と、窓領域の１／４の画素数に相当する３２×６４の第３の解像度５１８とを、選択肢として用意している。なお、同じ物体であっても、画像の解像度が異なると、画像におけるサイズも異なる。例えば、第１の解像度５１６の画像においてサイズ１６×１６の物体は、第２の解像度５１７の画像のおいてはサイズ１０×１０となり、第３の解像度５１８の画像においてはサイズ８×８となる。
【００６５】
そして、ステップＳ１１３０において、重み生成部４３５は、選択された解像度毎に、ノイズレベルに基づいて、重みを決定する。
【００６６】
ここでは、例えば、重み生成部４３５は、上記ヒストグラムのビン「０」の度数が予め決めた閾値Ｔ１よりも小さく、かつ、ビン「２５５」の度数が予め決めた閾値Ｔ２よりも小さい場合に、ノイズのレベルが低いと判断する。そして、重み生成部４３５は、この場合、第１の解像度のみを選択し、その重みを「１」に決定する。また、重み生成部４３５は、上記ヒストグラムのビン「０」の度数が予め決めた閾値Ｔ３より大きく、かつ、ビン「２５５」の度数が予め決めた閾値Ｔ４よりも大きい場合に、ノイズのレベルが非常に高いと判断する。そして、重み生成部４３５は、この場合、第１〜第３の解像度を全て選択し、第１の解像度の重みを「０.８」に、第２の解像度の重みを「０.５」に、第３の解像度の重みを「０.５」に、それぞれ決定する。また、重み生成部４３５は、各解像度の重みを決定する際、ノイズレベルがより高いほど、第１の解像度に加えて、より高い解像度を更に選択し、かつ、より大きい重みを解像度の低い画像に与える。
【００６７】
そして、ステップＳ１１４０において、解像度画像生成部４３３は、選択された解像度毎に、解像度画像を生成する。具体的には、解像度画像生成部４３３は、第１の解像度の解像度画像については、窓領域をそのまま採用し、第２および第３の解像度の解像度画像については、窓領域に対する縮小処理を行う。
【００６８】
そして、ステップＳ１１５０において、特徴抽出部４３０は、生成された１つまたは複数の解像度画像の解像度を１つ選択し、解像度ヒストグラム生成部４３４に渡す。例えば、まず、第１の解像度（６４×１２８）を選択する。
【００６９】
そして、解像度ヒストグラム生成部４３４は、後述のステップＳ１２００〜Ｓ１８２０の処理で選択された解像度画像のＬＢＰヒストグラムを抽出する。
【００７０】
解像度ヒストグラム生成部４３４において、ステップＳ１２００で、特徴抽出領域取得部４４０は、識別器学習装置２００の学習で得られ、識別器記憶装置３００に記憶した特徴抽出領域情報（位置、サイズ等）を１つ取得する。特徴抽出領域取得部４４０は、例えば、図５に示すように、人の頭部を含む矩形状の領域を、特徴抽出領域５２０として取得する。
【００７１】
そして、ステップＳ１３００において、解像度ヒストグラム生成部４３４の画素近傍取得部４４１は、特徴抽出領域の画素を、注目画素として１つ選択し、注目画素を中心とする近傍領域を決定する。画素近傍取得部４４１は、後述のステップＳ１８００の判断処理によってステップＳ１３００へ戻る度に、未選択の画素を選択し、その結果、近傍領域をシフトさせていく。
【００７２】
図７は、近傍領域のシフトの様子の一例を示す模式図である。
【００７３】
図７に示したように、画素近傍取得部４４１は、特徴抽出領域５２０の全体において、注目画素５２１として選択する画素位置をシフトさせていく。この結果、注目画素５２１とこれを囲む８個の近傍画素５２２から成る３×３の近傍領域５２３が、特徴抽出領域５２０の全体について、順次、決定されていく。
【００７４】
そして、図４のステップＳ１４００において、解像度ヒストグラム生成部４３４の近傍差分計算部４４２は、注目画素の輝度値と８個の近傍画素の輝度値のそれぞれとの差分（近傍差分）を算出する。
【００７５】
そして、ステップＳ１５００において、解像度ヒストグラム生成部４３４のバイナリパターン生成部４４３は、近傍差分を２値化してローカルバイナリパターンを生成する。ローカルバイナリパターンＬＢＰＰ，Ｒは、例えば、注目画素の輝度値をｇｃ、近傍画素の数（本実施の形態では８）をＰ、近傍画素の順序をｐ、ｐ番目の近傍画素の輝度値をｇｐ、近傍領域の半径に相当する画素数（本実施の形態では１）をＲと置くと、以下の式（１）で表される。なお、ｐ番目の近傍画素の座標は、［Ｒｃｏｓ（２πｐ／Ｐ），Ｒｓｉｎ（２πｐ／Ｐ）］と表される。
【数１】
【００７６】
そして、ステップＳ１７００において、解像度ヒストグラム算出部４４５は、ヒストグラムを構成するビンのうちローカルバイナリパターンＬＢＰＰ，Ｒの該当するビンに、所定の値（例えば１）を加算する。
【００７７】
図８は、ある近傍領域のローカルバイナリパターンが解像度ヒストグラムに反映されるまでの処理の一例の概要を示す模式図である。
【００７８】
図８に示すように、ある近傍領域５３１について、注目画素の輝度値ｇｃを「１２８」とし、その近傍画素の輝度値ｇｐを［２４４，１７８，４８，２７，２５３，２０８，２３８，２８］とする数値群５３２が取得されたものとする。なお、輝度値ｇｐは、近傍画素の左上から時計回りに取得されるものとする。この場合、近傍差分（ｇｐ−ｇｃ）の数値群５３３は、［１１６，５０，−８０，−１０１，１２５，８０，１１０，−１００］となる。
【００７９】
ここで、２値化の閾値を「０」とすると、近傍差分を２値化して得られる数値群５３４は、［１，１，０，０，１，１，１，０］となる。そして、ローカルバイナリパターン５３５は、「１１００１１１０」（１０進数では「２０６」）となる。
【００８０】
したがって、解像度ヒストグラム算出部４４５は、値「１」を、現在処理中の特徴抽出領域のヒストグラムのビン「２０６」に加算して、解像度ヒストグラム５３７を生成する。
【００８１】
このような、該当ビンへの値の加算を繰り返すことにより、最終的に、特徴抽出領域画像の特徴を表すヒストグラムが生成される。第ｍの解像度の解像度ヒストグラムＨｍ（ｋ）は、例えば、Ｉ×Ｊのサイズの特徴抽出領域から得られるローカルバイナリパターンの数の最大値をＫと置くと、以下の式（２）で表される。
【数２】
【００８２】
そして、ステップＳ１８００において、画素近傍取得部４４１は、特徴抽出領域に、処理すべきであるにもかかわらずまだ未処理となっている画素が存在するか否かを判断する。画素近傍取得部４４１は、未処理の画素が存在する場合（Ｓ１８００：ＹＥＳ）、ステップＳ１３００へ戻って未処理の画素を選択して処理を繰り返す。また、画素近傍取得部４４１は、特徴抽出領域における処理すべき画素の全てについて処理を完了した場合（Ｓ１８００：ＮＯ）、ステップＳ１８２０へ進む。
【００８３】
ステップＳ１８２０において、特徴抽出領域取得部４４０は、現在選択中の解像度について、予め識別器学習装置２００で機械学習で選択されて、識別器記憶装置に保存されていた特徴抽出領域のすべてが処理されたかどうかを判断する。特徴抽出領域取得部４４０は、未処理の特徴抽出領域が存在する場合（Ｓ１８２０：ＹＥＳ）、ステップＳ１２００へ戻って未処理の特徴抽出領域を選択して処理を繰り返す。また、徴抽出領域取得部４４０は、特徴抽出領域の全てについて処理を完了した場合（Ｓ１８２０：ＮＯ）、ステップＳ１８３０へ進む。
【００８４】
そして、ステップＳ１８３０において、特徴抽出部４３０は、生成された全ての解像度画像の解像度について、解像度ヒストグラムを生成する処理を完了したか否かを判断する。特徴抽出部４３０は、未処理の解像度が存在する場合（Ｓ１８３０：ＹＥＳ）、ステップＳ１１５０へ戻って未処理の解像度を選択して処理を繰り返す。また、特徴取得部４３０は、全ての解像度について処理を完了した場合（Ｓ１８３０：ＮＯ）、ステップＳ１９２０へ進む。
【００８５】
図９は、各解像度ヒストグラムの一例を示す図である。図９（Ａ）〜図９（Ｃ）は、順に、第１〜第３の解像度の解像度ヒストグラムの一例を示す。
【００８６】
図９（Ａ）〜図９（Ｃ）に示すように、第１〜第３の解像度の解像度ヒストグラム５３７１〜５３７３は、画像からより多く算出されたローカルバイナリパターンのビンにおいてピークを有する。ローカルバイナリパターンの分布を表すヒストグラムの形は、画像に含まれる物体、および解像度に応じて、異なる。
【００８７】
そして、図４のステップＳ１９２０において、ヒストグラム生成部４３６は、解像度ヒストグラム生成部４３４により生成された各解像度ヒストグラムに対して、対応する重みを乗じて得られる値を、選択された全ての解像度について加算する。これにより、ヒストグラム生成部４３６、画像入力部４２０で得られた窓領域５１２毎のヒストグラムを生成する。ヒストグラム生成部４３６が生成するヒストグラムＨ（ｋ）は、第ｍの解像度の重みをｗｍと置き、選択された解像度の数をＭと置き、ヒストグラムの総ビン数はＮと置くと、例えば、以下の式（３）で表される。
【数３】
【００８８】
図１０は、複数の解像度ヒストグラムを合成したヒストグラムの一例を示す図である。ここでは、第１〜第３の解像度に対して、第１の重みｗ１＝０.８、第２の重みｗ２＝０.５、第３の重みｗ３＝０.５が決定された場合の例を示す。
【００８９】
図１０に示すように、ヒストグラム５３８は、第１〜第３の解像度ヒストグラム５３７１〜５３７３の各値に、対応する第１〜第３の重みｗ１〜ｗ３を乗じて得られる第１〜第３の値５３９１〜５３９３を加算した値から構成される。この場合、第１の重みｗ１＝０.８が相対的に大きいので、ヒストグラム５３８は、第１の解像度の解像度ヒストグラム５３７１の影響を強く受けた画像特徴となる。
【００９０】
そして、ステップＳ１９３０において、ヒストグラム生成部４３６は、ヒストグラムを正規化する。具体的には、ヒストグラム生成部４３６は、例えば、ヒストグラム全てのビンの度数の総和で、ヒストグラムを正規化する。度数の総和ＳｕｍＨｉは、ビンの数をＮ、ｉ番目のビンの度数をＨｉ（ｉ＝１，２，・・・，Ｎ）と置くと、以下の式（４）により表される。
【数４】
【００９１】
そして、正規化されたヒストグラムのｉ番目のビンの度数Ｈｉ'は、以下の式（５）により表される。
【数５】
【００９２】
図１１は、ヒストグラムの正規化の様子の一例を示す図である。
【００９３】
図１１（Ａ）に示すように、正規化前のヒストグラムの各ビンの度数Ｈ１、Ｈ２、・・・、Ｈ８が、順に、「５，６，４，７，１０，５，８，３」であったとする。この場合、度数の総和ＳｕｍＨｉは、以下の式（６）のように算出される。
【数６】
【００９４】
そして、正規化されたヒストグラムの各ビンの度数Ｈ１'、Ｈ２'、・・・、Ｈ８'は、以下の式（７）のように算出される。
【数７】
【００９５】
図１２は、正規化されたヒストグラムの一例を示す図である。
【００９６】
図１２に示すように、ヒストグラム５４０は、画像からより多く抽出されるローカルバイナリパターンのビンにおいてピーク（例えば、部分５４１で示す）を有する。ローカルバイナリパターンの分布を表すヒストグラム５４０の形は、画像に含まれる物体に応じて異なる。したがって、物体検出システム１００は、ヒストグラム５４０のピークがどこに現れ、そのピークの大きさがどの程度であるかを、検出対象物体を識別するための画像特徴として用いる。ピークと他の部分の度数との差が大きいヒストグラム５４０ほど、画像特徴をより強く表しており、そのような画像特徴を用いた場合には、高い精度で物体検出を行うことができる。
【００９７】
そして、図４のステップＳ２１００において、識別部４５０は、識別器記憶装置３００から識別器を取得する。そして、識別部４５０は、正規化後の各特徴抽出領域のヒストグラムに基づいて、その特徴抽出領域に検出対象物体が含まれているか否かを判定するための尤度を示すスコアを算出する。
【００９８】
そして、ステップＳ２２００において、識別部４５０は、ステップＳ２１００で算出された各特徴抽出領域に対応するスコアを加算して、窓領域５１２毎に、その窓領域５１２に検出対象が含まれていることの尤度を示すスコアを算出する。
【００９９】
そして、ステップＳ２５００において、識別部４５０は、ステップＳ２２００で算出したスコアに基づいて、スキャンされた窓領域５１２に検出対象物体が含まれているか否かを判定する。すなわち、識別部４５０は、スコアが所定の閾値以上となっている場合には、その窓領域５１２に検出対象物体が含まれていると判定する。なお、識別部４５０は、スコアに対して所定の関数を適用した結果に基づいて、この判定を行っても良い。
【０１００】
そして、ステップＳ２６００において、識別部４５０は、物体検出の判定結果を出力する。なお、識別部４５０は、検出対象物体が含まれているとする判定結果の場合、対応する窓領域の位置を出力することもできる。
【０１０１】
なお、識別部４５０は、指定された物体が対象画像に含まれるか否かを判定しても良いし、対象画像にどのような物体が含まれるかを判定しても良い。前者の場合には、識別部４５０は、例えば、指定された物体に対応する識別器のみを用いて、その物体が含まれるか否かのみを示す情報を出力すれば良い。また、後者の場合には、識別部４５０は、複数の識別器を順次適用して判定を繰り返し、物体が検出されたとき、どの物体が検出されたかを示す情報を出力すれば良い。
【０１０２】
そして、ステップＳ２７００において、画像入力部４２０は、操作等により処理の終了を指示されたか否かを判断する。画像入力部４２０は、処理の終了を指示されていない場合（Ｓ２７００：ＮＯ）、ステップＳ１１００へ戻り、次のスキャンまたは次の対象画像に対する処理に移る。また、画像入力部４２０は、処理の終了を指示された場合（Ｓ２７００：ＹＥＳ）、一連の処理を終了する。
【０１０３】
このような動作により、物体検出装置４００は、複数の解像度画像から、解像度に応じた重み付けを行って、ローカルバイナリパターンのヒストグラムを生成することができる。なお、説明は省略したが、識別器学習装置２００も、同様に、複数の解像度画像からローカルバイナリパターンのヒストグラムを生成し、これを画像特徴として用いて、物体検出のための識別器を生成する。
【０１０４】
ここで、低い解像度の画像から得られるヒストグラムにおいてノイズの影響が抑えられることについて説明する。
【０１０５】
図１３は、解像度の違いによるノイズの影響の違いを説明するための図である。
【０１０６】
図１３に示すように、高解像度画像５５０ｈを低解像度化した低解像度画像５５０ｌでは、高解像度画像５５０ｈに多く含まれる白い点や黒い点のノイズが軽減された状態となる。
【０１０７】
ここで、高解像度画像５５０ｈのうち、エッジ部分ではない領域の、ソルトノイズによって、周囲よりも白いある点の画素位置５５１に着目する。この画素位置５５１の近傍領域において、例えば、注目画素の輝度値ｇｃが「９８」、近傍画素の輝度値ｇｐが［７０,７３，７６，７５，７６，７０，７１，７０］であったとする。この場合、ローカルバイナリパターン５５２ｈは、「００００００００」（１０進数では「０」）となる。また、高解像度画像５５０ｈのうち、エッジ部分ではない領域の、ペッパーノイズによって、周囲よりも黒いある点の画素位置５５３に着目する。この画素位置５５３の近傍領域において、例えば、注目画素の輝度値ｇｃが「１３０」、近傍画素の輝度値ｇｐが［１５０，１５１，１５６，１４８，１５３，１４０，１５０，１５０］であったとする。この場合、ローカルバイナリパターン５５４ｈは、「１１１１１１１１」（１０進数では「２５５」）となる。
【０１０８】
一方、低解像度画像５５０ｌのうち、上述の白い点と同じ画素位置５５１では、例えば、注目画素の輝度値ｇｃが「７６」となり、ローカルバイナリパターン５５２ｌは、「００１０１０００」（１０進数では「４０」）となる。また、低解像度画像５５０ｌのうち、上述の黒い点と同じ画素位置５５３では、例えば、注目画素の輝度値ｇｃが「１５０」となり、ローカルバイナリパターン５５４ｌは、「１１１０１０１１」（１０進数では「２３５」）となる。
【０１０９】
このように、白い点や黒い点のノイズが少ない低解像度画像５５０ｌから得られるヒストグラムのほうが、「０」および「２５５」のビンの値が少なくなり、ノイズの影響が抑えられた状態となる。
【０１１０】
また、通常の画像では、画素単位で白い点や黒い点が発生することは少ない。したがって、上述のように、対象画像の「０」および「２５５」のビンの値が高いか否かによって、対象画像のノイズレベルを判定することができる。
【０１１１】
図１４は、ノイズレベルの低い高解像度画像から得られる解像度ヒストグラムの一例を示す図である。また、図１５は、ノイズレベルの高い高解像度画像から得られる解像度ヒストグラムの一例を示す図である。
【０１１２】
図１４に示すヒストグラム５６０１と図１５に示すヒストグラム５６０２とにおいて、部分５６１、５６２の比較から分かるように、ノイズレベルが高いと、１０進数「０」または「２５５」のビンの値が高くなる。したがって、レベルノイズが高い対象画像から高解像度のままでヒストグラムを生成すると、判定精度が低下してしまう。一方で、対象画像の低解像度画像のみからヒストグラムを生成すると、元の画像情報の欠落が多くなり、やはり判定精度が低下してしまう。
【０１１３】
そこで、上述の通り、物体検出システム１００は、ノイズレベルに基づき、複数の解像度の中から適切な１つまたは複数の解像度を選択し、１つまたは複数の解像度画像からヒストグラムを生成する。
【０１１４】
次に、ヒストグラム生成に用いられる解像度の選択結果と物体検出精度との関係について説明する。
【０１１５】
図１６は、実験結果に基づく、ノイズレベルが低い対象画像における解像度と物体検出精度との関係を示すグラフである。また、図１７は、実験結果に基づく、ノイズレベルが高い対象画像における解像度と物体検出精度との関係を示すグラフである。
【０１１６】
図１６および図１７において、横軸はＦＰＰＷ（false positive rate per window）を示し、縦軸はＨｉｔ Ｒａｔｅを示す。また、黒い四角印（■）は第１の解像度のみの選択を示し、罰印（×）は第２の解像度のみの選択を示し、白い菱形印（◇）は第３の解像度のみの選択を示す。横棒印（―）は第１の解像度および第２の解像度の選択を示し、黒い菱形印（◆）は第１の解像度および第３の解像度の選択を示し、黒い三角印（▲）は第２の解像度および第３の解像度の選択を示す。白い三角印（△）は第１の解像度、第２の解像度、および第３の解像度の選択を示す。
【０１１７】
ノイズレベルが低い対象画像においては、図１６に示すように、第１の解像度のみが選択された場合、つまり、高解像度の解像度画像のみからヒストグラムを生成した場合に、最も高い精度が得られた。これは、上述の通り、より高い解像度の画像のほうが画像に含まれる物体の画像特徴をより良く反映するからである。
【０１１８】
一方、ノイズレベルが高い対象画像においては、図１７に示すように、第１〜第３の解像度が選択された場合、つまり、高解像度から低解像度までの３つの解像度画像からヒストグラムを生成した場合に、最も高い精度が得られた。これは、上述の通り、ノイズの影響を抑えつつ、画像特徴を良く抽出することができるからである。
【０１１９】
したがって、特徴抽出部４３０の解像度選択部４３２は、例えば、ノイズレベルが予め定めた閾値以上であるときは、第１〜第３の解像度を選択する。そして、解像度選択部４３２は、ノイズレベルが予め定めた閾値未満であるときは、第１の解像度のみを選択する。これにより、物体検出システム１００は、ノイズレベルがより高いほどより低い解像度が更に含まれるように解像度を選択し、検出精度を向上させることができる。
【０１２０】
図１６から分かるように、ノイズレベルが低い対象画像においても、第１〜第３の解像度が選択された場合の精度は、比較的高い。したがって、常に第１〜第３の解像度の画像からヒストグラムを生成するようにしても良い。この場合、ノイズレベル測定部４３１、解像度選択部４３２、および重み生成部４３５は、不要とすることができる。
【０１２１】
また、物体検出装置４００は、常に第１〜第３の解像度の画像からヒストグラムを生成し、ノイズレベルが低いとき、重み生成部４３５で第２および第３の解像度の重みを「０」としても良い。この場合、解像度選択部４３２は、不要とすることができる。
【０１２２】
以上のように、本実施の形態に係る物体検出システム１００は、複数の解像度画像からヒストグラムを生成するので、画像に含まれる物体の画像特徴を良く反映しつつノイズの影響が少ないヒストグラムを生成することができる。すなわち、物体検出システム１００は、様々な画質の対象画像に対して、生成する解像度画像の数を変動させ、総合的に処理コストを抑えて、高精度の物体検出を行うことができる。したがって、物体検出システム１００は、ローカルバイナリパターンを用いつつ、少ない処理負荷で、画質のばらつきに対してロバストな物体検出が可能な画像特徴を抽出することができる。
【０１２３】
なお、解像度ヒストグラム算出部は、各解像度画像からローカルバイナリパターンが生成される毎に、対応するビンの値に、これに対応する重みを加算することにより、特徴抽出領域毎のヒストグラムを生成しても良い。この場合、重み生成部の結果は解像度ヒストグラム算出部へ出力され、ヒストグラム生成部４３６は、不要とすることができる。
【０１２４】
また、本実施の形態では、着目する画質はノイズレベルとしたが、画像の照度、ボケの度合い等としても良い。画像の照度の場合には、ノイズレベル測定部４３１は、例えば、輝度ヒストグラム、カメラ４１０の露出、およびカメラ４１０のシャッタースピード等から、照度を判断すれば良い。そして、解像度選択部４３２は、例えば、照度がより低いほどより低い解像度が更に含まれるように、解像度を選択すれば良い。また、ボケの場合には、ノイズレベル測定部４３１は、例えば、シャッタースピード、窓画像の動き情報、およびカメラ４１０の動き情報等から、ボケのレベルを判断すれば良い。そして、解像度選択部４３２は、例えば、ボケのレベルがより高いほどより低い解像度が更に含まれるように、解像度を選択すれば良い。
【０１２５】
なお、以上説明した実施の形態では、図１０に示すように、複数の解像度ヒストグラムを合成してヒストグラムを生成したが、解像度ヒストグラムをＬＢＰ・ヒストグラム・ビン軸方向（横軸方向）に結合することで、ヒストグラムを生成してもよい。
【０１２６】
なお、以上説明した実施の形態では、識別器学習装置２００、識別器記憶装置３００、および物体検出装置４００が別々に構成されている例について説明したが、これらの２つまたは全ては、１つの装置として一体的に構成されていても良い。特に、識別器学習装置２００と物体検出装置４００とが一体的に構成される場合には、特徴抽出部２２０、４３０は、共通の機能部として構成することができる。また、以上の実施の形態では、識別器学習装置２００において、Ｂｏｏｓｔｉｎｇを機械学習手法として採用したが、他の機械学習手法、例えば、ＳＶＭ（Support Vector Machine）、決定木（Decision Tree）等を用いてもよい。
【産業上の利用可能性】
【０１２７】
本発明に係る特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置は、ローカルバイナリパターンを用いつつ、少ない処理負荷で、画質のばらつきに対してロバストな物体検出が可能な画像特徴を抽出することができる特徴抽出装置、特徴抽出方法、および特徴抽出プログラム、並びに、このような特徴抽出装置を用いた画像処理装置として有用である。
【符号の説明】
【０１２８】
１００ 物体検出システム
２００ 識別器学習装置
２１０ 学習用データ記憶部
２２０、４３０ 特徴抽出部
２４０ 学習部
３００ 識別器記憶装置
４００ 物体検出装置
４１０ カメラ
４２０ 画像入力部
４３１ ノイズレベル測定部
４３２ 解像度選択部
４３３ 解像度画像生成部
４３４ 解像度ヒストグラム生成部
４３５ 重み生成部
４３６ ヒストグラム生成部
４４０ 特徴抽出領域取得部
４４１ 画素近傍取得部
４４２ 近傍差分計算部
４４３ バイナリパターン生成部
４４５ 解像度ヒストグラム算出部
４５０ 識別部
【技術分野】
【０００１】
本発明は、画像データから画像特徴を抽出する特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、特徴抽出装置を用いた画像処理装置に関する。
【背景技術】
【０００２】
従来、画像データから画像特徴を抽出して、画像に含まれる物体を検出または識別すること（以下「物体検出」という）が、広く行われている。物体検出の技術の１つとして、ローカルバイナリパターン（ＬＢＰ：Local Binary Pattern）を用いる技術が、例えば特許文献１および非特許文献１に記載されている。
【０００３】
ローカルバイナリパターンは、画素毎に、周囲近傍の各画素との画素値の差分を二値化して並べたバイナリパターンである。ローカルバイナリパターンによれば、画像に含まれる濃淡パターンを抽出することができる。
【０００４】
特許文献１および非特許文献１に記載の技術（以下「第１の従来技術」という）は、識別の対象となる画像（以下「対象画像」という）のある領域に対し、全画素または部分画素に対して、ローカルバイナリパターンを算出する。そして、第１の従来技術は、ローカルバイナリパターンの値のヒストグラムを、画像特徴として生成する。また、第１の従来技術は、予め、所定の物体を含む画像と含まない画像（以下「学習画像」と総称する）から同様に生成したヒストグラムに基づいて、識別器を生成して記憶しておく。そして、第１の従来技術は、識別器を用いて対象画像のヒストグラムを評価し、対象画像に所定の物体が含まれているか否かを判断する。
【０００５】
ローカルバイナリパターンのヒストグラムは、輝度勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）等の画像特徴に比べて、テクスチャの違いや濃淡パターンをより高精度に表現でき、かつ、より少ない処理負荷で算出可能である。したがって、第１の従来技術のようなローカルバイナリパターンを用いた物体検出は、様々な分野への適用が期待されている。
【０００６】
ところが、第１の従来技術には、単一の解像度から画像特徴を抽出し、照度が低い、あるいは、ノイズが多い画像（例えば夜間の画像）に対しては、画像特徴の正確な抽出が困難になるという課題がある。これは、いわゆるソルトアンドペッパーノイズ（salt and pepper）が生じたり、コントラストが低いことによって局所輝度特徴が小さくなることに起因する。画像特徴の抽出精度が低くなると、ひいては、ヒストグラムから生成される識別器の精度や、ヒストグラムを用いて行われる物体検出の精度も、低くなる。
【０００７】
そこで、複数の解像度の画像を用いる技術が、例えば特許文献２に記載されている。
【０００８】
特許文献２に記載の技術（以下「第２の従来技術」という）は、検出の対象となる画像から、複数の解像度の画像を生成し、解像度の異なる画像毎にローカルバイナリパターンのヒストグラムを生成し、最も高いスコアを採用する。通常、より低い解像度の画像のヒストグラムのほうがノイズの影響がより抑えられ、より高い解像度の画像のヒストグラムのほうが画像に含まれる物体の画像特徴をより良く反映する。したがって、第２の従来技術では、ノイズが多い画像では低解像度画像のヒストグラムを採用し、コントラストが明瞭な画像では高解像度画像のヒストグラムを採用することになり、画質のばらつきに対してロバストな物体検出を行うことができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−２１１１７９号公報
【特許文献２】特開２００９−２１１４９０号公報
【非特許文献】
【００１０】
【非特許文献１】Timo Ahonen, Abdenour Hadid, and Matti Pietikainen, "Face Description with Local Binary Patterns: Application to Face Recognition," IEEE, Pattern Analysis and Machine Intelligence vol. 28 no. 12, pp. 2037-2041, December 2006
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、第２の従来技術は、複数の解像度の画像間において、画質のばらつきが大きい場合には、必要以上に処理負荷が高くなるという課題がある。なぜなら、第２の従来技術では、様々な画質に対応して多数の解像度の画像を生成しなければならないからである。
【００１２】
本発明の目的は、ローカルバイナリパターンを用いつつ、少ない処理負荷で、画質のばらつきに対してロバストな物体検出が可能な画像特徴を抽出することができる特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置を提供することである。
【課題を解決するための手段】
【００１３】
本発明の特徴抽出装置は、画像から、複数の解像度の解像度画像を生成する解像度画像生成部と、生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成するバイナリパターン生成部と、前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成するヒストグラム生成部とを有する。
【００１４】
本発明の画像処理装置は、所定の物体を識別するための識別器を用いて、上記の特徴抽出装置により生成された前記ヒストグラムから、前記画像に前記所定の物体が含まれるか否か判断する識別部を有する。
【００１５】
本発明の特徴抽出方法は、画像から、複数の解像度の解像度画像を生成するステップと、生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成するステップと、前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成するステップとを有する。
【００１６】
本発明の特徴抽出プログラムは、コンピュータに、画像から、複数の解像度の解像度画像を生成する処理と、生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成する処理と、前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成する処理とを実行させる。
【発明の効果】
【００１７】
本発明によれば、ローカルバイナリパターンを用いつつ、少ない処理負荷で、画質のばらつきに対してロバストな物体検出が可能なヒストグラムを、画像の画像特徴として抽出することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施の形態に係る特徴抽出装置を含む物体検出システムの構成を示すシステム構成図
【図２】本実施の形態における特徴抽出部の詳細な構成を示すブロック図
【図３】本実施の形態における解像度ヒストグラム生成部の詳細な構成を示すブロック図
【図４】本実施の形態に係る物体検出装置の動作を示すフローチャート
【図５】本実施の形態における画像スキャンの様子の一例を示す模式図
【図６】本実施の形態において用いられる複数の解像度の一例を示す図
【図７】本実施の形態における近傍領域のシフトの様子の一例を示す模式図
【図８】本実施の形態における解像度ヒストグラムの生成処理の一例の概要を示す模式図
【図９】本実施の形態における複数の解像度ヒストグラムの一例を示す図
【図１０】本実施の形態における複数の解像度ヒストグラム合成したヒストグラムの一例を示す図
【図１１】本実施の形態におけるヒストグラムの正規化の様子の一例を示す図
【図１２】本実施の形態における正規化されたヒストグラムの一例を示す図
【図１３】本実施の形態における解像度の違いによるノイズの影響の違いを説明するための図
【図１４】本実施の形態におけるノイズレベルの低い高解像度画像から得られる解像度ヒストグラムの一例を示す図
【図１５】本実施の形態におけるノイズレベルの高い高解像度画像から得られる解像度ヒストグラムの一例を示す図
【図１６】本実施の形態におけるノイズレベルが低い対象画像における解像度と物体検出精度との関係を示すグラフ
【図１７】本実施の形態におけるノイズレベルが高い対象画像における解像度と物体検出精度との関係を示すグラフ
【発明を実施するための形態】
【００１９】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００２０】
図１は、本発明の一実施の形態に係る特徴抽出装置を含む物体検出システムの構成を示すシステム構成図である。図１では、各装置の構成についても併せて図示する。
【００２１】
図１において、物体検出システム１００は、識別器学習装置２００、識別器記憶装置３００、および物体検出装置４００を有する。識別器学習装置２００および物体検出装置４００は、例えば、インターネット等の通信ネットワークを介して、識別器記憶装置３００にそれぞれ接続可能となっている。
【００２２】
本実施の形態において、識別器学習装置２００に用いる機械学習方法の一つの例として、Ｂｏｏｓｔｉｎｇ法を採用する。識別器学習装置２００は、予め、正規化された学習画像から、検出の対象となる物体（以下「検出対象物体」という）を検出するための識別器を学習し、学習結果である識別器を識別器記憶装置３００に記憶させる。識別器学習装置２００は、学習用データ記憶部２１０と、本発明に係る特徴抽出装置を含む特徴抽出部２２０と、学習部２４０とを有する。
【００２３】
学習用データ記憶部２１０は、正規化された検出対象物体を含む複数の学習画像（ポジティブサンプル）と、検出対象物体を含まない複数の学習画像（ネガティブサンプル）とを予め格納する。
【００２４】
特徴抽出部２２０は、学習画像から、ノイズの度合いに合わせて、複数種類の解像度の画像（以下「解像度画像」という）を生成し、生成された複数の解像度画像毎に、ローカルバイナリパターンの分布を示すヒストグラムを、生成する。すなわち、特徴抽出部２２０は、異なる解像度についてのヒストグラム（以下「解像度ヒストグラム」という）を合成したヒストグラムを、画像特徴として生成する。
【００２５】
また、特徴抽出部２２０は、各解像度画像から解像度ヒストグラムを生成する際に、まず、特徴抽出領域を取得する。特徴抽出領域とは、画像特徴の抽出の対象となる画像領域である。例えば、検出対象が特定の人物の顔である場合には、特徴抽出領域は、人の顔部品、例えば、眼、または鼻等の画像領域を含む、ランダムに配置された多数の画像領域とすることができる。また、検出対象が人の全身である場合には、特徴抽出領域は、例えば、頭部、腕、足等の画像領域を含む、ランダムに配置された多数の画像領域とすることができる。
【００２６】
そして、特徴抽出部２２０は、特徴抽出領域毎に、その画像特徴を抽出し、学習部２４０へ出力する。より具体的には、特徴抽出部２２０は、まず、特徴抽出領域の全部または一部の画素毎に、ローカルバイナリパターンを生成する。ローカルバイナリパターンとは、注目画素に対し、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示す情報である。そして、生成されたローカルバイナリパターンの分布を示すヒストグラム（以下、単に「ヒストグラム」という）を、その特徴抽出領域の画像特徴として生成する。なお、一つの解像度画像に、複数の特徴抽出領域から対応数のヒストグラムを求めて、前記ヒストグラム群を結合し、前記解像度画像の画像特徴とする。なお、以下の説明においては、デジタル値はビット値、すなわち「１」と「０」とによって情報を示す値であるとして説明する。但し、本実施の形態にかかる発明は、「１」と「０」とによって情報を示すだけでなく多値化にも対応し、かかる場合には、ビット値をデジタル値とすればよい。
【００２７】
学習部２４０は、ポジティブサンプルから得られたヒストグラム群と、ネガティブサンプルから得られたヒストグラム群とに基づいて、検出対象物体が含まれる画像と含まれない画像とを区分するための１つまたは複数の識別器を生成する。すなわち、学習部２４０は、識別器として、特徴抽出領域情報と、特徴抽出領域情報に対応する識別情報とを生成する。特徴抽出領域情報とは、特徴抽出領域の範囲を示す情報であり、例えば、特徴抽出領域の位置およびサイズを含む。識別情報とは、対象画像の特徴抽出領域のヒストグラムを評価し、対象画像に所定の物体が含まれているか否かを判定するための情報である。そして、学習部２４０は、識別器記憶装置３００に対して、生成した識別情報を特徴抽出領域情報と共に送信し、特徴抽出領域情報と組み付けて記憶させる。
【００２８】
物体検出装置４００は、識別器記憶装置３００に記憶された識別器を取得して、対象画像に対する物体検出を行う。物体検出装置４００は、カメラ４１０と、画像入力部４２０と、本発明に係る特徴抽出装置を含む特徴抽出部４３０と、識別部４５０とを有する。
【００２９】
カメラ４１０は、対象画像の撮影を行い、対象画像を画像入力部４２０へ出力する。
【００３０】
画像入力部４２０は、対象画像を、予め定められたサイズのウィンドウでスキャンし、スキャンした個々の画像領域（以下「窓領域」という）を、特徴抽出部４３０へ出力する。
【００３１】
特徴抽出部４３０は、窓領域毎に、その窓領域のうち、識別器記憶装置に記憶された特徴抽出領域情報が示す範囲を、特徴抽出領域として取得する。
【００３２】
そして、特徴抽出部４３０は、特徴抽出領域毎に、その画像特徴を抽出し、識別部４５０へ出力する。より具体的には、特徴抽出部４３０は、特徴抽出領域の画素毎にローカルバイナリパターンを生成し、ローカルバイナリパターンのヒストグラムを、その特徴抽出領域の画像特徴として生成する。
【００３３】
但し、特徴抽出部４３０は、窓領域から、複数の解像度について解像度画像を生成し、複数の解像度画像から生成されたローカルバイナリパターンの分布を示すヒストグラムを、生成する。すなわち、特徴抽出部４３０も、特徴抽出部２２０と同様に、複数の解像度ヒストグラムを合成したヒストグラムを生成する。
【００３４】
なお、特徴抽出部４３０が窓領域に対して行う処理と、上述の特徴抽出部２２０が学習画像に対して行う処理は類似している。すなわち、特徴抽出部２２０は、例えば、候補領域として予め用意した多くの領域の全てを、特徴抽出領域として取得する。これに対し、特徴抽出部４３０は、識別器記憶装置３００から、既に学習部２４０によって選択された特徴抽出領域情報が示す領域のみを、特徴抽出領域として取得する。よって、以下、適宜、一方の構成および動作の説明をもって他方の構成および説明の説明を省略する。
【００３５】
図２は、特徴抽出部４３０の詳細な構成を示すブロック図である。
【００３６】
図２において、特徴抽出部４３０は、ノイズレベル測定部４３１、解像度選択部４３２、解像度画像生成部４３３、解像度ヒストグラム生成部４３４、重み生成部４３５、およびヒストグラム生成部４３６を有する。
【００３７】
ノイズレベル測定部４３１は、窓領域の画質に関する情報に基づいて、窓領域のノイズのレベル（以下「ノイズレベル」という）を判断し、解像度選択部４３２および重み生成部４３５へ出力する。へ出力する。窓領域のノイズレベルは、通常、対象画像のノイズレベルに対応している。
【００３８】
画質に関する情報は、例えば、注目画素と近傍画素との全ての差分が正の値であるときのローカルバイナリパターンに対応するビンの値、注目画素と近傍画素との全ての差分が負の値であるときのローカルバイナリパターンに対応するビンの値、輝度ヒストグラム、カメラ４１０の露出、カメラ４１０のシャッタースピード、窓画像の動き情報、およびカメラ４１０の動き情報の少なくとも１つを含む。本実施の形態では、ノイズレベル測定部４３１は、上述のビンの値、つまり、白い点や黒い点として画素単位で発生するノイズ（ソルトアンドペッパーノイズ）に対応するビンの値に基づいて、窓領域のノイズレベルを算出する。その詳細については、後述する。なお、このようなノイズは、例えば、夜間等の画像の暗さや、カメラ４１０に付着した雨滴等によって発生する。
【００３９】
解像度選択部４３２は、入力されたノイズレベルに基づいて、ノイズレベルがより高いほどより低い解像度が更に含まれるように、１つまたは複数の解像度を選択し、選択結果を、解像度画像生成部４３３および重み生成部４３５へ出力する。
【００４０】
解像度画像生成部４３３は、入力された選択結果に従って、窓領域から、選択された各解像度の画像を生成する。そして、解像度画像生成部４３３は、生成した各解像度の画像（以下「解像度画像」という）を、解像度ヒストグラム生成部４３４へ出力する。
【００４１】
解像度ヒストグラム生成部４３４は、入力された解像度画像毎に、ヒストグラムを生成し、ヒストグラム生成部４３６へ出力する。
【００４２】
図３は、解像度ヒストグラム生成部４３４の詳細な構成を示すブロック図である。
【００４３】
図３において、解像度ヒストグラム生成部４３４は、特徴抽出領域取得部４４０、画素近傍取得部４４１、近傍差分計算部４４２、バイナリパターン生成部４４３、および解像度ヒストグラム算出部４４５を有する。
【００４４】
特徴抽出領域取得部４４０は、各解像度画像から特徴抽出領域を取得し、画素近傍取得部４４１へ出力する。
【００４５】
画素近傍取得部４４１は、入力された各特徴抽出領域に対し、注目画素をシフトさせていく。画素近傍取得部４４１は、注目画素毎に、注目画素を中心とする３×３の領域（以下「近傍領域」という）の９個の画素値を取得する。そして、画素近傍取得部４４１は、近傍領域毎に、取得した９個の画素値を、近傍差分計算部４４２へ出力する。本実施の形態では、画素値は、輝度値であるものとする。なお、画素値としては、例えば、画像にエッジ強調などの前処理を施した輝度値の一次微分や二次微分により得られる値、あるいは、赤、青、緑の輝度を一つのベクトル値として表現したカラー値等、他の各種の値を採用しても良い。
【００４６】
近傍差分計算部４４２は、近傍領域毎に、注目画素と周囲の各近傍画素との輝度値の差分を算出し、８個の算出結果（以下「近傍差分」という）を得る。そして、近傍差分計算部４４２は、各近傍領域の近傍差分を、バイナリパターン生成部４４３へ出力する。
【００４７】
バイナリパターン生成部４４３は、近傍領域毎に、各近傍差分が所定の閾値以上であるか否かを示すビット値を所定の順序で並べた符号を生成する。そして、バイナリパターン生成部４４３は、生成した符号を、ローカルバイナリパターンとして解像度ヒストグラム算出部４４５へ出力する。
【００４８】
解像度ヒストグラム算出部４４５は、特徴抽出領域毎に、ローカルバイナリパターンのヒストグラムを算出し、図２のヒストグラム生成部４３６へ出力する。すなわち、解像度ヒストグラム算出部４４５は、解像度画像毎に複数の特徴抽出領域から算出したヒストグラムの群を合成したヒストグラム（以下「解像度ヒストグラム」という）を出力する。
【００４９】
なお、上述のノイズレベル測定部４３１が用いるノイズレベル測定手法は、多数考えられる。例えば、ノイズレベル測定部４３１は、まず、解像度ヒストグラム生成部４３４のヒストグラム生成方法を用い、窓画像のローカルバイナリパターンのヒストグラムを作成する。そして、ノイズレベル測定部４３１は、生成された窓画像のローカルバイナリパターンのヒストグラムの「００００００００」ビンと「１１１１１１１１」ビンの値とに基づいて、ノイズレベルを判定する。これら２つのビンは、白い点や黒い点として画素単位で発生するノイズ（ソルトアンドペッパーノイズ）に対応する。そして、ノイズレベル測定部４３１は、これら２つのビンの度数が相対的に高いとき、対象画像のノイズレベルが高いと判定するものとする。
【００５０】
図２の重み生成部４３５は、入力された解像度の選択結果およびノイズレベルに基づいて、ノイズレベルがより高いほど低い解像度に対してより大きな重み付けがされるように、解像度毎に重みを決定する。そして、重み生成部４３５は、決定結果を、ヒストグラム生成部４３６へ出力する。
【００５１】
ヒストグラム生成部４３６は、決定された重みを、対応する解像度ヒストグラムに適用して、対象画像の画像特徴を示すヒストグラムを生成する。より具体的には、ヒストグラム生成部４３６は、解像度ヒストグラムの全てのビンに対して対応する重みを乗じて得られる値を、選択された全ての解像度についてビン毎に加算して、ヒストグラムを生成する。そして、ヒストグラム生成部４３６は、生成したヒストグラムを、図１の識別部４５０へ出力する。
【００５２】
識別部４５０は、識別器記憶装置３００が記憶する識別情報を取得する。識別部４５０は、取得した識別情報を用いて、画像入力部４２０がスキャンした窓領域から生成されたヒストグラムから、対象画像に検出対象物体が含まれるか否か判断する。そして、識別部４５０は、判断結果を、例えば画像表示装置や音声出力装置（図示せず）を介して、ユーザに通知する。
【００５３】
なお、識別器学習装置２００および物体検出装置４００は、例えば、それぞれ、ＣＰＵ（central processing unit）およびＲＡＭ（random access memory）等の記憶媒体等を含むコンピュータの構成を取ることができる。この場合、識別器学習装置２００および物体検出装置４００は、記憶する制御プログラムをＣＰＵが実行することによってそれぞれ動作する。また、物体検出装置４００は、その計算のみを行う専用チップにしても良い。また、識別器記憶装置３００は、例えば、半導体メモリやハードディスク等の記憶媒体である。
【００５４】
上述のように、本実施の形態に係る物体検出システム１００は、入力画像のノイズレベルに応じて、適切な数の解像度画像と、その解像度画像の特徴とを求める。これにより、物体検出システム１００は、画像に含まれる物体の画像特徴を良く反映しつつ、ノイズの影響を低減することが可能と共に、特徴抽出の処理コストを抑えることができる。したがって、例えば、上述の第２の従来技術では１０種類の解像度画像を用意しなければ達成することができないような検出精度を、物体検出システム１００では３種類の解像度画像で達成するといったことが可能となる。
【００５５】
次に、物体検出装置４００の動作について説明する。なお、識別器学習装置２００における特徴抽出部２２０の動作は、物体検出装置４００における特徴抽出部４３０の動作と類似しているため、その説明を省略する。
【００５６】
図４は、物体検出装置４００の動作を示すフローチャートである。
【００５７】
まず、ステップＳ１１００において、画像入力部４２０は、対象画像を、予め定められたサイズのウィンドウでスキャンする。
【００５８】
図５は、画像スキャンの様子の一例を示す模式図である。
【００５９】
図５に示すように、画像入力部４２０は、対象画像５１０の全体を、予め定められたサイズのウィンドウ５１１でスキャンし、様々な位置から窓領域５１２を取得する。ウィンドウ５１１の位置によっては、図５に示すように、その窓領域５１２に検出対象物体５１３が含まれることになる。ウィンドウ５１１のサイズは、例えば、６４画素×１２８画素である。
【００６０】
そして、ステップＳ１１１０において、ノイズレベル測定部４３１は、各窓領域５１２に対して、ノイズレベルを算出する。
【００６１】
具体的には、ノイズレベル測定部４３１は、窓領域５１２に対して、後記ステップＳ１３００からステップＳ１８００までの処理により、窓領域５１２のローカルバイナリパターンのヒストグラムを算出する。そして、ノイズレベル測定部４３１は、いわゆるソルトアンドペッパーノイズに対応するビン「００００００００」およびビン「１１１１１１１１」の度数が相対的に高いとき、対象画像のノイズレベルが高いと判定する。ビン「１１１１１１１１」は、注目画素と近傍画素との差分が全て正の値であるときのローカルバイナリパターンに対応するビン、つまり、１０進数で「２５５」に対応するビンである。また、ビン「００００００００」は、注目画素と近傍画素との差分が全て負の値であるときのローカルバイナリパターンに対応するビン、つまり、１０進数で「０」に対応するビンである。
【００６２】
そして、ステップＳ１１２０において、解像度選択部４３２は、Ｓ１１１０で取得されたノイズレベルに基づいて、解像度画像の数および各解像度画像の解像度を選択する。本実施の形態では、解像度選択部４３２は、予め定められた３段階の解像度の中から、ノイズレベルに応じて、解像度を選択するものとする。ノイズレベルを算出するためのヒストグラムの生成処理は、後述のステップＳ１３００〜Ｓ１８００の処理と同様である。
【００６３】
図６は、予め定められた３段階の解像度の一例を示す図である。
【００６４】
図６に示すように、解像度選択部４３２は、例えば、窓領域のサイズと同じ６４画素×１２８画素に相当する第１の解像度５１６を、選択肢として用意している。また、解像度選択部４３２は、更に、窓領域の２５／６４の画素数に相当する４０×８０の第２の解像度５１７と、窓領域の１／４の画素数に相当する３２×６４の第３の解像度５１８とを、選択肢として用意している。なお、同じ物体であっても、画像の解像度が異なると、画像におけるサイズも異なる。例えば、第１の解像度５１６の画像においてサイズ１６×１６の物体は、第２の解像度５１７の画像のおいてはサイズ１０×１０となり、第３の解像度５１８の画像においてはサイズ８×８となる。
【００６５】
そして、ステップＳ１１３０において、重み生成部４３５は、選択された解像度毎に、ノイズレベルに基づいて、重みを決定する。
【００６６】
ここでは、例えば、重み生成部４３５は、上記ヒストグラムのビン「０」の度数が予め決めた閾値Ｔ１よりも小さく、かつ、ビン「２５５」の度数が予め決めた閾値Ｔ２よりも小さい場合に、ノイズのレベルが低いと判断する。そして、重み生成部４３５は、この場合、第１の解像度のみを選択し、その重みを「１」に決定する。また、重み生成部４３５は、上記ヒストグラムのビン「０」の度数が予め決めた閾値Ｔ３より大きく、かつ、ビン「２５５」の度数が予め決めた閾値Ｔ４よりも大きい場合に、ノイズのレベルが非常に高いと判断する。そして、重み生成部４３５は、この場合、第１〜第３の解像度を全て選択し、第１の解像度の重みを「０.８」に、第２の解像度の重みを「０.５」に、第３の解像度の重みを「０.５」に、それぞれ決定する。また、重み生成部４３５は、各解像度の重みを決定する際、ノイズレベルがより高いほど、第１の解像度に加えて、より高い解像度を更に選択し、かつ、より大きい重みを解像度の低い画像に与える。
【００６７】
そして、ステップＳ１１４０において、解像度画像生成部４３３は、選択された解像度毎に、解像度画像を生成する。具体的には、解像度画像生成部４３３は、第１の解像度の解像度画像については、窓領域をそのまま採用し、第２および第３の解像度の解像度画像については、窓領域に対する縮小処理を行う。
【００６８】
そして、ステップＳ１１５０において、特徴抽出部４３０は、生成された１つまたは複数の解像度画像の解像度を１つ選択し、解像度ヒストグラム生成部４３４に渡す。例えば、まず、第１の解像度（６４×１２８）を選択する。
【００６９】
そして、解像度ヒストグラム生成部４３４は、後述のステップＳ１２００〜Ｓ１８２０の処理で選択された解像度画像のＬＢＰヒストグラムを抽出する。
【００７０】
解像度ヒストグラム生成部４３４において、ステップＳ１２００で、特徴抽出領域取得部４４０は、識別器学習装置２００の学習で得られ、識別器記憶装置３００に記憶した特徴抽出領域情報（位置、サイズ等）を１つ取得する。特徴抽出領域取得部４４０は、例えば、図５に示すように、人の頭部を含む矩形状の領域を、特徴抽出領域５２０として取得する。
【００７１】
そして、ステップＳ１３００において、解像度ヒストグラム生成部４３４の画素近傍取得部４４１は、特徴抽出領域の画素を、注目画素として１つ選択し、注目画素を中心とする近傍領域を決定する。画素近傍取得部４４１は、後述のステップＳ１８００の判断処理によってステップＳ１３００へ戻る度に、未選択の画素を選択し、その結果、近傍領域をシフトさせていく。
【００７２】
図７は、近傍領域のシフトの様子の一例を示す模式図である。
【００７３】
図７に示したように、画素近傍取得部４４１は、特徴抽出領域５２０の全体において、注目画素５２１として選択する画素位置をシフトさせていく。この結果、注目画素５２１とこれを囲む８個の近傍画素５２２から成る３×３の近傍領域５２３が、特徴抽出領域５２０の全体について、順次、決定されていく。
【００７４】
そして、図４のステップＳ１４００において、解像度ヒストグラム生成部４３４の近傍差分計算部４４２は、注目画素の輝度値と８個の近傍画素の輝度値のそれぞれとの差分（近傍差分）を算出する。
【００７５】
そして、ステップＳ１５００において、解像度ヒストグラム生成部４３４のバイナリパターン生成部４４３は、近傍差分を２値化してローカルバイナリパターンを生成する。ローカルバイナリパターンＬＢＰＰ，Ｒは、例えば、注目画素の輝度値をｇｃ、近傍画素の数（本実施の形態では８）をＰ、近傍画素の順序をｐ、ｐ番目の近傍画素の輝度値をｇｐ、近傍領域の半径に相当する画素数（本実施の形態では１）をＲと置くと、以下の式（１）で表される。なお、ｐ番目の近傍画素の座標は、［Ｒｃｏｓ（２πｐ／Ｐ），Ｒｓｉｎ（２πｐ／Ｐ）］と表される。
【数１】
【００７６】
そして、ステップＳ１７００において、解像度ヒストグラム算出部４４５は、ヒストグラムを構成するビンのうちローカルバイナリパターンＬＢＰＰ，Ｒの該当するビンに、所定の値（例えば１）を加算する。
【００７７】
図８は、ある近傍領域のローカルバイナリパターンが解像度ヒストグラムに反映されるまでの処理の一例の概要を示す模式図である。
【００７８】
図８に示すように、ある近傍領域５３１について、注目画素の輝度値ｇｃを「１２８」とし、その近傍画素の輝度値ｇｐを［２４４，１７８，４８，２７，２５３，２０８，２３８，２８］とする数値群５３２が取得されたものとする。なお、輝度値ｇｐは、近傍画素の左上から時計回りに取得されるものとする。この場合、近傍差分（ｇｐ−ｇｃ）の数値群５３３は、［１１６，５０，−８０，−１０１，１２５，８０，１１０，−１００］となる。
【００７９】
ここで、２値化の閾値を「０」とすると、近傍差分を２値化して得られる数値群５３４は、［１，１，０，０，１，１，１，０］となる。そして、ローカルバイナリパターン５３５は、「１１００１１１０」（１０進数では「２０６」）となる。
【００８０】
したがって、解像度ヒストグラム算出部４４５は、値「１」を、現在処理中の特徴抽出領域のヒストグラムのビン「２０６」に加算して、解像度ヒストグラム５３７を生成する。
【００８１】
このような、該当ビンへの値の加算を繰り返すことにより、最終的に、特徴抽出領域画像の特徴を表すヒストグラムが生成される。第ｍの解像度の解像度ヒストグラムＨｍ（ｋ）は、例えば、Ｉ×Ｊのサイズの特徴抽出領域から得られるローカルバイナリパターンの数の最大値をＫと置くと、以下の式（２）で表される。
【数２】
【００８２】
そして、ステップＳ１８００において、画素近傍取得部４４１は、特徴抽出領域に、処理すべきであるにもかかわらずまだ未処理となっている画素が存在するか否かを判断する。画素近傍取得部４４１は、未処理の画素が存在する場合（Ｓ１８００：ＹＥＳ）、ステップＳ１３００へ戻って未処理の画素を選択して処理を繰り返す。また、画素近傍取得部４４１は、特徴抽出領域における処理すべき画素の全てについて処理を完了した場合（Ｓ１８００：ＮＯ）、ステップＳ１８２０へ進む。
【００８３】
ステップＳ１８２０において、特徴抽出領域取得部４４０は、現在選択中の解像度について、予め識別器学習装置２００で機械学習で選択されて、識別器記憶装置に保存されていた特徴抽出領域のすべてが処理されたかどうかを判断する。特徴抽出領域取得部４４０は、未処理の特徴抽出領域が存在する場合（Ｓ１８２０：ＹＥＳ）、ステップＳ１２００へ戻って未処理の特徴抽出領域を選択して処理を繰り返す。また、徴抽出領域取得部４４０は、特徴抽出領域の全てについて処理を完了した場合（Ｓ１８２０：ＮＯ）、ステップＳ１８３０へ進む。
【００８４】
そして、ステップＳ１８３０において、特徴抽出部４３０は、生成された全ての解像度画像の解像度について、解像度ヒストグラムを生成する処理を完了したか否かを判断する。特徴抽出部４３０は、未処理の解像度が存在する場合（Ｓ１８３０：ＹＥＳ）、ステップＳ１１５０へ戻って未処理の解像度を選択して処理を繰り返す。また、特徴取得部４３０は、全ての解像度について処理を完了した場合（Ｓ１８３０：ＮＯ）、ステップＳ１９２０へ進む。
【００８５】
図９は、各解像度ヒストグラムの一例を示す図である。図９（Ａ）〜図９（Ｃ）は、順に、第１〜第３の解像度の解像度ヒストグラムの一例を示す。
【００８６】
図９（Ａ）〜図９（Ｃ）に示すように、第１〜第３の解像度の解像度ヒストグラム５３７１〜５３７３は、画像からより多く算出されたローカルバイナリパターンのビンにおいてピークを有する。ローカルバイナリパターンの分布を表すヒストグラムの形は、画像に含まれる物体、および解像度に応じて、異なる。
【００８７】
そして、図４のステップＳ１９２０において、ヒストグラム生成部４３６は、解像度ヒストグラム生成部４３４により生成された各解像度ヒストグラムに対して、対応する重みを乗じて得られる値を、選択された全ての解像度について加算する。これにより、ヒストグラム生成部４３６、画像入力部４２０で得られた窓領域５１２毎のヒストグラムを生成する。ヒストグラム生成部４３６が生成するヒストグラムＨ（ｋ）は、第ｍの解像度の重みをｗｍと置き、選択された解像度の数をＭと置き、ヒストグラムの総ビン数はＮと置くと、例えば、以下の式（３）で表される。
【数３】
【００８８】
図１０は、複数の解像度ヒストグラムを合成したヒストグラムの一例を示す図である。ここでは、第１〜第３の解像度に対して、第１の重みｗ１＝０.８、第２の重みｗ２＝０.５、第３の重みｗ３＝０.５が決定された場合の例を示す。
【００８９】
図１０に示すように、ヒストグラム５３８は、第１〜第３の解像度ヒストグラム５３７１〜５３７３の各値に、対応する第１〜第３の重みｗ１〜ｗ３を乗じて得られる第１〜第３の値５３９１〜５３９３を加算した値から構成される。この場合、第１の重みｗ１＝０.８が相対的に大きいので、ヒストグラム５３８は、第１の解像度の解像度ヒストグラム５３７１の影響を強く受けた画像特徴となる。
【００９０】
そして、ステップＳ１９３０において、ヒストグラム生成部４３６は、ヒストグラムを正規化する。具体的には、ヒストグラム生成部４３６は、例えば、ヒストグラム全てのビンの度数の総和で、ヒストグラムを正規化する。度数の総和ＳｕｍＨｉは、ビンの数をＮ、ｉ番目のビンの度数をＨｉ（ｉ＝１，２，・・・，Ｎ）と置くと、以下の式（４）により表される。
【数４】
【００９１】
そして、正規化されたヒストグラムのｉ番目のビンの度数Ｈｉ'は、以下の式（５）により表される。
【数５】
【００９２】
図１１は、ヒストグラムの正規化の様子の一例を示す図である。
【００９３】
図１１（Ａ）に示すように、正規化前のヒストグラムの各ビンの度数Ｈ１、Ｈ２、・・・、Ｈ８が、順に、「５，６，４，７，１０，５，８，３」であったとする。この場合、度数の総和ＳｕｍＨｉは、以下の式（６）のように算出される。
【数６】
【００９４】
そして、正規化されたヒストグラムの各ビンの度数Ｈ１'、Ｈ２'、・・・、Ｈ８'は、以下の式（７）のように算出される。
【数７】
【００９５】
図１２は、正規化されたヒストグラムの一例を示す図である。
【００９６】
図１２に示すように、ヒストグラム５４０は、画像からより多く抽出されるローカルバイナリパターンのビンにおいてピーク（例えば、部分５４１で示す）を有する。ローカルバイナリパターンの分布を表すヒストグラム５４０の形は、画像に含まれる物体に応じて異なる。したがって、物体検出システム１００は、ヒストグラム５４０のピークがどこに現れ、そのピークの大きさがどの程度であるかを、検出対象物体を識別するための画像特徴として用いる。ピークと他の部分の度数との差が大きいヒストグラム５４０ほど、画像特徴をより強く表しており、そのような画像特徴を用いた場合には、高い精度で物体検出を行うことができる。
【００９７】
そして、図４のステップＳ２１００において、識別部４５０は、識別器記憶装置３００から識別器を取得する。そして、識別部４５０は、正規化後の各特徴抽出領域のヒストグラムに基づいて、その特徴抽出領域に検出対象物体が含まれているか否かを判定するための尤度を示すスコアを算出する。
【００９８】
そして、ステップＳ２２００において、識別部４５０は、ステップＳ２１００で算出された各特徴抽出領域に対応するスコアを加算して、窓領域５１２毎に、その窓領域５１２に検出対象が含まれていることの尤度を示すスコアを算出する。
【００９９】
そして、ステップＳ２５００において、識別部４５０は、ステップＳ２２００で算出したスコアに基づいて、スキャンされた窓領域５１２に検出対象物体が含まれているか否かを判定する。すなわち、識別部４５０は、スコアが所定の閾値以上となっている場合には、その窓領域５１２に検出対象物体が含まれていると判定する。なお、識別部４５０は、スコアに対して所定の関数を適用した結果に基づいて、この判定を行っても良い。
【０１００】
そして、ステップＳ２６００において、識別部４５０は、物体検出の判定結果を出力する。なお、識別部４５０は、検出対象物体が含まれているとする判定結果の場合、対応する窓領域の位置を出力することもできる。
【０１０１】
なお、識別部４５０は、指定された物体が対象画像に含まれるか否かを判定しても良いし、対象画像にどのような物体が含まれるかを判定しても良い。前者の場合には、識別部４５０は、例えば、指定された物体に対応する識別器のみを用いて、その物体が含まれるか否かのみを示す情報を出力すれば良い。また、後者の場合には、識別部４５０は、複数の識別器を順次適用して判定を繰り返し、物体が検出されたとき、どの物体が検出されたかを示す情報を出力すれば良い。
【０１０２】
そして、ステップＳ２７００において、画像入力部４２０は、操作等により処理の終了を指示されたか否かを判断する。画像入力部４２０は、処理の終了を指示されていない場合（Ｓ２７００：ＮＯ）、ステップＳ１１００へ戻り、次のスキャンまたは次の対象画像に対する処理に移る。また、画像入力部４２０は、処理の終了を指示された場合（Ｓ２７００：ＹＥＳ）、一連の処理を終了する。
【０１０３】
このような動作により、物体検出装置４００は、複数の解像度画像から、解像度に応じた重み付けを行って、ローカルバイナリパターンのヒストグラムを生成することができる。なお、説明は省略したが、識別器学習装置２００も、同様に、複数の解像度画像からローカルバイナリパターンのヒストグラムを生成し、これを画像特徴として用いて、物体検出のための識別器を生成する。
【０１０４】
ここで、低い解像度の画像から得られるヒストグラムにおいてノイズの影響が抑えられることについて説明する。
【０１０５】
図１３は、解像度の違いによるノイズの影響の違いを説明するための図である。
【０１０６】
図１３に示すように、高解像度画像５５０ｈを低解像度化した低解像度画像５５０ｌでは、高解像度画像５５０ｈに多く含まれる白い点や黒い点のノイズが軽減された状態となる。
【０１０７】
ここで、高解像度画像５５０ｈのうち、エッジ部分ではない領域の、ソルトノイズによって、周囲よりも白いある点の画素位置５５１に着目する。この画素位置５５１の近傍領域において、例えば、注目画素の輝度値ｇｃが「９８」、近傍画素の輝度値ｇｐが［７０,７３，７６，７５，７６，７０，７１，７０］であったとする。この場合、ローカルバイナリパターン５５２ｈは、「００００００００」（１０進数では「０」）となる。また、高解像度画像５５０ｈのうち、エッジ部分ではない領域の、ペッパーノイズによって、周囲よりも黒いある点の画素位置５５３に着目する。この画素位置５５３の近傍領域において、例えば、注目画素の輝度値ｇｃが「１３０」、近傍画素の輝度値ｇｐが［１５０，１５１，１５６，１４８，１５３，１４０，１５０，１５０］であったとする。この場合、ローカルバイナリパターン５５４ｈは、「１１１１１１１１」（１０進数では「２５５」）となる。
【０１０８】
一方、低解像度画像５５０ｌのうち、上述の白い点と同じ画素位置５５１では、例えば、注目画素の輝度値ｇｃが「７６」となり、ローカルバイナリパターン５５２ｌは、「００１０１０００」（１０進数では「４０」）となる。また、低解像度画像５５０ｌのうち、上述の黒い点と同じ画素位置５５３では、例えば、注目画素の輝度値ｇｃが「１５０」となり、ローカルバイナリパターン５５４ｌは、「１１１０１０１１」（１０進数では「２３５」）となる。
【０１０９】
このように、白い点や黒い点のノイズが少ない低解像度画像５５０ｌから得られるヒストグラムのほうが、「０」および「２５５」のビンの値が少なくなり、ノイズの影響が抑えられた状態となる。
【０１１０】
また、通常の画像では、画素単位で白い点や黒い点が発生することは少ない。したがって、上述のように、対象画像の「０」および「２５５」のビンの値が高いか否かによって、対象画像のノイズレベルを判定することができる。
【０１１１】
図１４は、ノイズレベルの低い高解像度画像から得られる解像度ヒストグラムの一例を示す図である。また、図１５は、ノイズレベルの高い高解像度画像から得られる解像度ヒストグラムの一例を示す図である。
【０１１２】
図１４に示すヒストグラム５６０１と図１５に示すヒストグラム５６０２とにおいて、部分５６１、５６２の比較から分かるように、ノイズレベルが高いと、１０進数「０」または「２５５」のビンの値が高くなる。したがって、レベルノイズが高い対象画像から高解像度のままでヒストグラムを生成すると、判定精度が低下してしまう。一方で、対象画像の低解像度画像のみからヒストグラムを生成すると、元の画像情報の欠落が多くなり、やはり判定精度が低下してしまう。
【０１１３】
そこで、上述の通り、物体検出システム１００は、ノイズレベルに基づき、複数の解像度の中から適切な１つまたは複数の解像度を選択し、１つまたは複数の解像度画像からヒストグラムを生成する。
【０１１４】
次に、ヒストグラム生成に用いられる解像度の選択結果と物体検出精度との関係について説明する。
【０１１５】
図１６は、実験結果に基づく、ノイズレベルが低い対象画像における解像度と物体検出精度との関係を示すグラフである。また、図１７は、実験結果に基づく、ノイズレベルが高い対象画像における解像度と物体検出精度との関係を示すグラフである。
【０１１６】
図１６および図１７において、横軸はＦＰＰＷ（false positive rate per window）を示し、縦軸はＨｉｔ Ｒａｔｅを示す。また、黒い四角印（■）は第１の解像度のみの選択を示し、罰印（×）は第２の解像度のみの選択を示し、白い菱形印（◇）は第３の解像度のみの選択を示す。横棒印（―）は第１の解像度および第２の解像度の選択を示し、黒い菱形印（◆）は第１の解像度および第３の解像度の選択を示し、黒い三角印（▲）は第２の解像度および第３の解像度の選択を示す。白い三角印（△）は第１の解像度、第２の解像度、および第３の解像度の選択を示す。
【０１１７】
ノイズレベルが低い対象画像においては、図１６に示すように、第１の解像度のみが選択された場合、つまり、高解像度の解像度画像のみからヒストグラムを生成した場合に、最も高い精度が得られた。これは、上述の通り、より高い解像度の画像のほうが画像に含まれる物体の画像特徴をより良く反映するからである。
【０１１８】
一方、ノイズレベルが高い対象画像においては、図１７に示すように、第１〜第３の解像度が選択された場合、つまり、高解像度から低解像度までの３つの解像度画像からヒストグラムを生成した場合に、最も高い精度が得られた。これは、上述の通り、ノイズの影響を抑えつつ、画像特徴を良く抽出することができるからである。
【０１１９】
したがって、特徴抽出部４３０の解像度選択部４３２は、例えば、ノイズレベルが予め定めた閾値以上であるときは、第１〜第３の解像度を選択する。そして、解像度選択部４３２は、ノイズレベルが予め定めた閾値未満であるときは、第１の解像度のみを選択する。これにより、物体検出システム１００は、ノイズレベルがより高いほどより低い解像度が更に含まれるように解像度を選択し、検出精度を向上させることができる。
【０１２０】
図１６から分かるように、ノイズレベルが低い対象画像においても、第１〜第３の解像度が選択された場合の精度は、比較的高い。したがって、常に第１〜第３の解像度の画像からヒストグラムを生成するようにしても良い。この場合、ノイズレベル測定部４３１、解像度選択部４３２、および重み生成部４３５は、不要とすることができる。
【０１２１】
また、物体検出装置４００は、常に第１〜第３の解像度の画像からヒストグラムを生成し、ノイズレベルが低いとき、重み生成部４３５で第２および第３の解像度の重みを「０」としても良い。この場合、解像度選択部４３２は、不要とすることができる。
【０１２２】
以上のように、本実施の形態に係る物体検出システム１００は、複数の解像度画像からヒストグラムを生成するので、画像に含まれる物体の画像特徴を良く反映しつつノイズの影響が少ないヒストグラムを生成することができる。すなわち、物体検出システム１００は、様々な画質の対象画像に対して、生成する解像度画像の数を変動させ、総合的に処理コストを抑えて、高精度の物体検出を行うことができる。したがって、物体検出システム１００は、ローカルバイナリパターンを用いつつ、少ない処理負荷で、画質のばらつきに対してロバストな物体検出が可能な画像特徴を抽出することができる。
【０１２３】
なお、解像度ヒストグラム算出部は、各解像度画像からローカルバイナリパターンが生成される毎に、対応するビンの値に、これに対応する重みを加算することにより、特徴抽出領域毎のヒストグラムを生成しても良い。この場合、重み生成部の結果は解像度ヒストグラム算出部へ出力され、ヒストグラム生成部４３６は、不要とすることができる。
【０１２４】
また、本実施の形態では、着目する画質はノイズレベルとしたが、画像の照度、ボケの度合い等としても良い。画像の照度の場合には、ノイズレベル測定部４３１は、例えば、輝度ヒストグラム、カメラ４１０の露出、およびカメラ４１０のシャッタースピード等から、照度を判断すれば良い。そして、解像度選択部４３２は、例えば、照度がより低いほどより低い解像度が更に含まれるように、解像度を選択すれば良い。また、ボケの場合には、ノイズレベル測定部４３１は、例えば、シャッタースピード、窓画像の動き情報、およびカメラ４１０の動き情報等から、ボケのレベルを判断すれば良い。そして、解像度選択部４３２は、例えば、ボケのレベルがより高いほどより低い解像度が更に含まれるように、解像度を選択すれば良い。
【０１２５】
なお、以上説明した実施の形態では、図１０に示すように、複数の解像度ヒストグラムを合成してヒストグラムを生成したが、解像度ヒストグラムをＬＢＰ・ヒストグラム・ビン軸方向（横軸方向）に結合することで、ヒストグラムを生成してもよい。
【０１２６】
なお、以上説明した実施の形態では、識別器学習装置２００、識別器記憶装置３００、および物体検出装置４００が別々に構成されている例について説明したが、これらの２つまたは全ては、１つの装置として一体的に構成されていても良い。特に、識別器学習装置２００と物体検出装置４００とが一体的に構成される場合には、特徴抽出部２２０、４３０は、共通の機能部として構成することができる。また、以上の実施の形態では、識別器学習装置２００において、Ｂｏｏｓｔｉｎｇを機械学習手法として採用したが、他の機械学習手法、例えば、ＳＶＭ（Support Vector Machine）、決定木（Decision Tree）等を用いてもよい。
【産業上の利用可能性】
【０１２７】
本発明に係る特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置は、ローカルバイナリパターンを用いつつ、少ない処理負荷で、画質のばらつきに対してロバストな物体検出が可能な画像特徴を抽出することができる特徴抽出装置、特徴抽出方法、および特徴抽出プログラム、並びに、このような特徴抽出装置を用いた画像処理装置として有用である。
【符号の説明】
【０１２８】
１００ 物体検出システム
２００ 識別器学習装置
２１０ 学習用データ記憶部
２２０、４３０ 特徴抽出部
２４０ 学習部
３００ 識別器記憶装置
４００ 物体検出装置
４１０ カメラ
４２０ 画像入力部
４３１ ノイズレベル測定部
４３２ 解像度選択部
４３３ 解像度画像生成部
４３４ 解像度ヒストグラム生成部
４３５ 重み生成部
４３６ ヒストグラム生成部
４４０ 特徴抽出領域取得部
４４１ 画素近傍取得部
４４２ 近傍差分計算部
４４３ バイナリパターン生成部
４４５ 解像度ヒストグラム算出部
４５０ 識別部
【特許請求の範囲】
【請求項１】
画像から、複数の解像度の解像度画像を生成する解像度画像生成部と、
生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成するバイナリパターン生成部と、
前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成するヒストグラム生成部と、を有する、
特徴抽出装置。
【請求項２】
前記ローカルバイナリパターンは、前記画素に対して所定の相対位置にある複数の前記近傍画素との前記差分が前記所定の閾値以上であるか否かを示すデジタル値を所定の順序で並べた符号である、
請求項１記載の特徴抽出装置。
【請求項３】
前記画像の画質に関する情報に基づいて、前記画像のノイズのレベルを判断するノイズレベル測定部と、
前記ノイズレベルがより高いほどより低い解像度が更に含まれるように、１つまたは複数の解像度を選択する解像度選択部、を更に有し、
前記バイナリパターン生成部は、
選択された前記解像度毎に、前記解像度画像を生成し、
前記ヒストグラム生成部は、
生成された前記ローカルバイナリパターンの分布を示す前記ヒストグラムを生成する、
請求項２記載の特徴抽出装置。
【請求項４】
前記画像の画質に関する情報に基づいて、前記画像のノイズのレベルを判断するノイズレベル測定部と、
前記ノイズレベルがより高いほど低い解像度に対してより大きな重み付けがされるように、前記解像度毎に重みを決定する重み生成部、を更に有し、
前記ヒストグラム生成部は、
決定された前記重みを対応する前記ローカルバイナリパターンに適用して、前記ヒストグラムを生成する、
請求項２記載の特徴抽出装置。
【請求項５】
前記画質に関する情報は、前記近傍画素の全ての前記差分が正の値であるときの前記ローカルバイナリパターンに対応するビンの値、前記近傍画素の全ての前記差分が負の値であるときの前記ローカルバイナリパターンに対応するビンの値、前記画像の輝度ヒストグラム、前記画像を撮影したカメラの露出、前記カメラのシャッタースピード、前記画像の動き情報、および前記カメラの動き情報の少なくとも１つを含む、
請求項３または請求項４に記載の特徴抽出装置。
【請求項６】
前記ヒストグラム生成部は、
解像度画像毎に前記ローカルバイナリパターンの分布を示す解像度ヒストグラムを生成し、生成した解像度ヒストグラムに対応する前記重みを乗じて得られる値を加算し、もしくは、生成した解像度ヒストグラムを結合して、前記ヒストグラムを生成する、
請求項１記載の特徴抽出装置。
【請求項７】
前記ヒストグラム生成部は、
前記ローカルバイナリパターンが生成される毎に、当該ローカルバイナリパターンに対応するビンの値に当該ローカルバイナリパターンに対応する前記重みを加算して、前記ヒストグラムを生成する、
請求項１記載の特徴抽出装置。
【請求項８】
前記ヒストグラム生成部は、
前記ヒストグラムに対して正規化処理を行う、
請求項１に記載の特徴抽出装置。
【請求項９】
所定の物体を識別するための識別器を用いて、請求項１から請求項８のいずれかに記載の特徴抽出装置により生成された前記ヒストグラムから、前記画像に前記所定の物体が含まれるか否か判断する識別部を有する、
画像処理装置。
【請求項１０】
画像から、複数の解像度の解像度画像を生成するステップと、
生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成するステップと、
前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成するステップと、を有する、
特徴抽出方法。
【請求項１１】
コンピュータに、
画像から、複数の解像度の解像度画像を生成する処理と、
生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成する処理と、
前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成する処理と、を実行させる、
特徴抽出プログラム。
【請求項１】
画像から、複数の解像度の解像度画像を生成する解像度画像生成部と、
生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成するバイナリパターン生成部と、
前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成するヒストグラム生成部と、を有する、
特徴抽出装置。
【請求項２】
前記ローカルバイナリパターンは、前記画素に対して所定の相対位置にある複数の前記近傍画素との前記差分が前記所定の閾値以上であるか否かを示すデジタル値を所定の順序で並べた符号である、
請求項１記載の特徴抽出装置。
【請求項３】
前記画像の画質に関する情報に基づいて、前記画像のノイズのレベルを判断するノイズレベル測定部と、
前記ノイズレベルがより高いほどより低い解像度が更に含まれるように、１つまたは複数の解像度を選択する解像度選択部、を更に有し、
前記バイナリパターン生成部は、
選択された前記解像度毎に、前記解像度画像を生成し、
前記ヒストグラム生成部は、
生成された前記ローカルバイナリパターンの分布を示す前記ヒストグラムを生成する、
請求項２記載の特徴抽出装置。
【請求項４】
前記画像の画質に関する情報に基づいて、前記画像のノイズのレベルを判断するノイズレベル測定部と、
前記ノイズレベルがより高いほど低い解像度に対してより大きな重み付けがされるように、前記解像度毎に重みを決定する重み生成部、を更に有し、
前記ヒストグラム生成部は、
決定された前記重みを対応する前記ローカルバイナリパターンに適用して、前記ヒストグラムを生成する、
請求項２記載の特徴抽出装置。
【請求項５】
前記画質に関する情報は、前記近傍画素の全ての前記差分が正の値であるときの前記ローカルバイナリパターンに対応するビンの値、前記近傍画素の全ての前記差分が負の値であるときの前記ローカルバイナリパターンに対応するビンの値、前記画像の輝度ヒストグラム、前記画像を撮影したカメラの露出、前記カメラのシャッタースピード、前記画像の動き情報、および前記カメラの動き情報の少なくとも１つを含む、
請求項３または請求項４に記載の特徴抽出装置。
【請求項６】
前記ヒストグラム生成部は、
解像度画像毎に前記ローカルバイナリパターンの分布を示す解像度ヒストグラムを生成し、生成した解像度ヒストグラムに対応する前記重みを乗じて得られる値を加算し、もしくは、生成した解像度ヒストグラムを結合して、前記ヒストグラムを生成する、
請求項１記載の特徴抽出装置。
【請求項７】
前記ヒストグラム生成部は、
前記ローカルバイナリパターンが生成される毎に、当該ローカルバイナリパターンに対応するビンの値に当該ローカルバイナリパターンに対応する前記重みを加算して、前記ヒストグラムを生成する、
請求項１記載の特徴抽出装置。
【請求項８】
前記ヒストグラム生成部は、
前記ヒストグラムに対して正規化処理を行う、
請求項１に記載の特徴抽出装置。
【請求項９】
所定の物体を識別するための識別器を用いて、請求項１から請求項８のいずれかに記載の特徴抽出装置により生成された前記ヒストグラムから、前記画像に前記所定の物体が含まれるか否か判断する識別部を有する、
画像処理装置。
【請求項１０】
画像から、複数の解像度の解像度画像を生成するステップと、
生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成するステップと、
前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成するステップと、を有する、
特徴抽出方法。
【請求項１１】
コンピュータに、
画像から、複数の解像度の解像度画像を生成する処理と、
生成された前記解像度画像の全部または一部の画素毎に、周囲の近傍画素との画素値の差分が所定の閾値以上であるか否かをデジタル値により示すローカルバイナリパターンを生成する処理と、
前記複数の解像度画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成する処理と、を実行させる、
特徴抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１３】
【公開番号】特開２０１２−１５０７３０（Ｐ２０１２−１５０７３０Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−１０２３９（Ｐ２０１１−１０２３９）
【出願日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]