特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置
【課題】物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素からローカルバイナリパターンを生成することができる特徴抽出装置を提供すること。
【解決手段】特徴抽出装置１０は、注目画素に対して複数のサブ領域を設定するサブ領域設定部４３３と、注目画素ごとに、各サブ領域との画素値の比較を示すローカルバイナリパターンを生成するバイナリパターン生成部４３４とを有し、サブ領域設定部４３３は、少なくとも、注目画素から離隔した画素を含む複数の画素から構成される領域を、サブ領域として設定し、バイナリパターン生成部４３４は、サブ領域ごとに代表値を算出し、注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かを示すローカルバイナリパターンを生成する。
【解決手段】特徴抽出装置１０は、注目画素に対して複数のサブ領域を設定するサブ領域設定部４３３と、注目画素ごとに、各サブ領域との画素値の比較を示すローカルバイナリパターンを生成するバイナリパターン生成部４３４とを有し、サブ領域設定部４３３は、少なくとも、注目画素から離隔した画素を含む複数の画素から構成される領域を、サブ領域として設定し、バイナリパターン生成部４３４は、サブ領域ごとに代表値を算出し、注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かを示すローカルバイナリパターンを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから画像特徴を抽出する特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、特徴抽出装置を用いた画像処理装置に関する。
【背景技術】
【０００２】
従来、画像データから画像特徴を抽出して、画像に含まれる物体を検出または識別すること（以下「物体検出」という）が、広く行われている。物体検出の手法の１つとして、ローカルバイナリパターン（ＬＢＰ）を用いる技術が、例えば非特許文献１に記載されている。
【０００３】
ローカルバイナリパターンは、注目画素ごとに、その注目画素の周囲近傍の各画素との画素値の差分を二値化して並べたバイナリパターンである。ローカルバイナリパターンによれば、画像に含まれる濃淡パターンを抽出することができる。
【０００４】
非特許文献１および非特許文献２に記載の技術（以下「第１の従来技術」という）は、識別の対象となる画像（以下「対象画像」という）のある領域に含まれる、全部または部分画素に対して、ローカルバイナリパターンを算出する。そして、第１の従来技術は、ローカルバイナリパターンの値のヒストグラムを、画像特徴として生成する。また、第１の従来技術は、予め、所定の物体を含む画像と含まない画像（以下「学習画像」と総称する）から同様に生成したヒストグラムに基づいて、識別器を生成して記憶しておく。そして、第１の従来技術は、識別器を用いて対象画像のヒストグラムを評価し、対象画像に所定の物体が含まれているか否かを判断する。
【０００５】
ローカルバイナリパターンのヒストグラムは、輝度勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）等の画像特徴に比べて、テクスチャの違いや濃淡パターンをより高精度に表現でき、かつ、より少ない処理負荷で算出可能である。したがって、第１の従来技術のようなローカルバイナリパターンを用いた物体検出は、様々な分野への適用が期待されている。
【０００６】
ローカルバイナリパターンの演算対象となる領域は、通常、注目画素を中心とした３画素×３画素の領域である。ところが、画像の種類や検出対象となる物体の種類によっては、この演算対象となる領域を、より広く設定し、より多くの画素からローカルバイナリパターンを生成することにより、より広い範囲の特徴の共起性を用いたいという要求がある。
【０００７】
そこで、例えば特許文献１には、より広い５画素×５画素の領域や、当該領域の外周部のみを演算対象とする技術（以下「第２の従来技術」という）が記載されている。かかる技術によれば、ローカルバイナリパターンの演算対象となる領域を、より広く設定することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−２１１１７９号公報
【非特許文献】
【０００９】
【非特許文献１】Timo Ojala, Matti Pietikainenand Topi Maenpaa "Multiresolution Gray-Scale and Rotation Invariant Texture Classification With Local Binary Patterns" IEEE, Pattern Analysis and Machine Intelligence vol. 24 no. 7, pp. 971-978, July 2002
【非特許文献２】Xiaoyu Wang, Tony X. Han and Shuicheng Yan, "An HOG-LBP Human Detector with Partial Occlusion Handling," IEEE International Conference on Computer Vision (ICCV 2009), Kyoto, 2009
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、第２の従来技術は、演算対象となる領域を広くすればするほど、ローカルバイナリパターンのビット数が増大する。例えば、当該ビット数は、上述の３画素×３画素の領域を演算対象とする場合は８ビットであるのに対し、上述の５画素×５画素の領域を演算対象とする場合、その外周部のみを用いても、倍の１６ビットとなる。ローカルバイナリパターンのビット数が増えると、ヒストグラムの次元数が増え、識別器の生成や識別器を用いた物体検出の際の処理負荷が増大する。
【００１１】
一方で、演算対象となる画素を間引けば、ローカルバイナリパターンのビット数を抑えることができるが、その分、物体検出の精度は低くなる。
【００１２】
すなわち、第２の従来技術は、より広い領域をローカルバイナリパターンの演算対象とすると、検出精度の低下あるいは処理負荷の増大を招くという課題を有する。
【００１３】
本発明の目的は、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素からローカルバイナリパターンを生成することができる、特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明の特徴抽出装置は、画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定するサブ領域設定部と、前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成するバイナリパターン生成部と、を有し、前記サブ領域設定部は、少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、前記バイナリパターン生成部は、前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出し、前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成する。
【００１５】
本発明の画像処理装置は、画像から生成されたローカルバイナリパターンの分布を示すヒストグラムを生成するヒストグラム生成部を更に有する上記特徴抽出装置と、所定の物体を識別するための識別器を用いて、前記特徴抽出装置により生成された前記ヒストグラムから、前記画像に前記所定の物体が含まれるか否か判断する識別部とを有する。
【００１６】
本発明の特徴抽出方法は、画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定するステップと、前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成するステップと、を有し、前記サブ領域を設定するステップは、少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、前記ローカルバイナリパターンを生成するステップは、前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出するステップと、前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成するステップとを有する。
【００１７】
本発明の特徴抽出プログラムは、コンピュータに、画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定する処理と、前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成する処理と、を実行させ、前記サブ領域を設定する処理は、少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、前記ローカルバイナリパターンを生成する処理は、前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出する処理と、前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成する処理とを含む。
【発明の効果】
【００１８】
本発明によれば、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素を用いてローカルバイナリパターンを生成することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態１に係る特徴抽出装置の構成の一例を示すブロック図
【図２】本発明の実施の形態２に係る特徴抽出装置を含む物体検出システムの構成の一例を示すブロック図
【図３】本発明の実施の形態２に係る特徴抽出部の詳細な構成を示すブロック図
【図４】本発明の実施の形態２に係る物体検出装置の動作の一例を示すフローチャート
【図５】本発明の実施の形態２における画像スキャンの様子の一例を示す模式図
【図６】本発明の実施の形態２における近傍領域のシフトの様子の一例を示す模式図
【図７】本発明の実施の形態２におけるカメラの空間周波数特性の一例を示すグラフ
【図８】本発明の実施の形態２におけるサブ領域配置の第１の例を示す模式図
【図９】本発明の実施の形態２におけるローカルバイナリパターンがヒストグラムに反映されるまでの処理の一例の概要を示す模式図
【図１０】本発明の実施の形態２におけるヒストグラムの正規化の様子の一例を示す図
【図１１】本発明の実施の形態２におけるサブ領域配置の第２の例を示す図
【図１２】本発明の実施の形態２におけるサブ領域配置の第３の例を示す図
【図１３】本発明の実施の形態２におけるサブ領域配置の第４の例を示す図
【図１４】本発明の実施の形態２におけるサブ領域配置の第５の例を示す図
【図１５】本発明の実施の形態２におけるサブ領域配置の第４の例および第５の例の性能評価の実験結果を示す図
【図１６】本発明の実施の形態２におけるサブ領域配置の第６の例を示す図
【図１７】本発明の実施の形態２におけるサブ領域配置の第７の例を示す図
【図１８】本発明の実施の形態２におけるサブ領域配置の第６の例および第７の例の性能評価の実験結果を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。
【００２２】
図１は、本実施の形態に係る特徴抽出装置の構成の一例を示すブロック図である。
【００２３】
図１において、特徴抽出装置１０は、サブ領域設定部４３３およびバイナリパターン生成部４３４を有する。
【００２４】
サブ領域設定部４３３は、画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定する。この際、サブ領域設定部４３３は、少なくとも、注目画素から離隔した画素を含む複数の画素から構成される領域を、サブ領域として設定する。
【００２５】
バイナリパターン生成部４３４は、注目画素ごとに、設定された複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成する。この際、バイナリパターン生成部４３４は、サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出する。そして、バイナリパターン生成部４３４は、注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、ローカルバイナリパターンとして生成する。
【００２６】
なお、特徴抽出装置１０は、例えば、ＣＰＵ（central processing unit）およびＲＡＭ（random access memory）等の記憶媒体等を含むコンピュータの構成を取ることができる。この場合、特徴抽出装置１０は、記憶する制御プログラムをＣＰＵが実行することによって動作する。
【００２７】
このような特徴抽出装置１０は、注目画素から離隔した画素をローカルバイナリパターンの演算対象に含めつつ、複数の画素の画素値の代表値からローカルバイナリパターンを生成することができる。これにより、特徴抽出装置１０は、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素を用いてローカルバイナリパターンを生成することができる。
【００２８】
（実施の形態２）
本発明の実施の形態２は、本発明を物体検出システムに適用した場合の、具体的態様の一例である。
【００２９】
まず、本実施の形態に係る特徴抽出装置を含む物体検出システムの構成について説明する。
【００３０】
図２は、本実施の形態に係る特徴抽出装置を含む物体検出システムの構成の一例を示すブロック図である。
【００３１】
図２において、物体検出システム１００は、識別器学習装置２００、識別器記憶装置３００、および物体検出装置４００を有する。識別器学習装置２００および物体検出装置４００は、例えば、インターネット等の通信ネットワークを介して、識別器記憶装置３００にそれぞれ接続可能となっている。
【００３２】
本実施の形態においては、識別器学習装置２００が用いる機械学習方法の一つの例として、Ｂｏｏｓｔｉｎｇ法を採用する。識別器学習装置２００は、予め、学習用に正規化された画像から、検出の対象となる物体（以下「検出対象物体」という）を検出するための識別器を学習し、学習結果である識別器を識別器記憶装置３００に記憶させる。
【００３３】
識別器学習装置２００は、学習用データ記憶部２１０と、本発明に係る特徴抽出装置を含む特徴抽出部２２０と、学習部２４０とを有する。
【００３４】
学習用データ記憶部２１０は、検出対象物体を含む複数の学習画像（ポジティブサンプル）と、検出対象物体を含まない複数の学習画像（ネガティブサンプル）と、特徴抽出領域情報の候補と、を予め格納する。
【００３５】
特徴抽出部２２０は、学習用データ記憶部２１０に格納された学習画像ごとに、特徴抽出領域を取得し、取得した特徴抽出領域から画像特徴を抽出する。
【００３６】
特徴抽出領域とは、画像特徴の抽出の対象となる画像領域である。例えば、検出対象が人物の顔である場合には、特徴抽出領域は、人の顔部品、例えば、眼、または鼻等を含むランダムに配置された多数の画像領域とすることができる。また、検出対象が人の全身である場合には、特徴抽出領域は、例えば、頭部、腕、足等を含包むランダムに配置された多数の画像領域とすることができる。
【００３７】
特徴抽出部２２０は、特徴抽出領域ごとに、その画像特徴を抽出し、学習部２４０へ出力する。より具体的には、特徴抽出部２２０は、まず、特徴抽出領域の全部または一部の画素ごとに、その画素を注目画素として、ローカルバイナリパターンを生成する。そして、特徴抽出部２２０は、生成されたローカルバイナリパターンの分布を示すヒストグラム（以下、単に「ヒストグラム」という）を、その特徴抽出領域の画像特徴として生成する。
【００３８】
ローカルバイナリパターンとは、注目画素と複数のサブ領域のそれぞれとの画素値の比較を、ビット値により示す情報である。サブ領域の設定手法、および、注目画素と各サブ領域との画素値の比較手法については、後述する。
【００３９】
学習部２４０は、ポジティブサンプルから得られたヒストグラム群と、ネガティブサンプルから得られたヒストグラム群とに基づいて、検出対象物体が含まれる画像と含まれない画像とを区分するための１つまたは複数の識別器を生成する。すなわち、学習部２４０は、識別器として、特徴抽出領域情報と、特徴抽出領域情報に対応する識別情報とを生成する。そして、学習部２４０は、識別器記憶装置３００に対して、生成した識別情報を特徴抽出領域情報と共に送信し、特徴抽出領域情報と組み付けて記憶させる。
【００４０】
特徴抽出領域情報とは、特徴抽出領域の範囲を示す情報であり、例えば、特徴抽出領域の位置およびサイズを含む。識別情報とは、対象画像の特徴抽出領域のヒストグラムを評価し、対象画像に所定の物体が含まれているか否かを判定するための情報である。
【００４１】
物体検出装置４００は、識別器記憶装置３００に記憶された識別器を取得して、対象画像に対する物体検出を行う。
【００４２】
物体検出装置４００は、カメラ４１０と、画像入力部４２０と、本発明に係る特徴抽出装置を含む特徴抽出部４３０と、識別部４５０とを有する。
【００４３】
カメラ４１０は、対象画像の撮影を行い、対象画像を画像入力部４２０へ出力する。
【００４４】
画像入力部４２０は、対象画像を、予め定められたサイズのウィンドウでスキャンし、スキャンした個々の画像領域（以下「窓領域」という）を、特徴抽出部４３０へ出力する。
【００４５】
特徴抽出部４３０は、窓領域ごとに、その窓領域のうち、識別器記憶装置に記憶された特徴抽出領域情報が示す範囲を、特徴抽出領域として取得する。
【００４６】
そして、特徴抽出部４３０は、特徴抽出領域ごとに、その画像特徴を抽出し、識別部４５０へ出力する。より具体的には、特徴抽出部４３０は、特徴抽出領域の画素ごとにローカルバイナリパターンを生成し、ローカルバイナリパターンのヒストグラムを、その特徴抽出領域の画像特徴として生成する。
【００４７】
なお、特徴抽出部４３０が窓領域に対して行う処理と、上述の識別器学習装置２００にある特徴抽出部２２０が学習画像に対して行う処理は類似している。すなわち、識別器学習装置２００にある特徴抽出部２２０は、例えば、候補領域として予め用意した多くの領域の全てを、特徴抽出領域として取得する。これに対し、特徴抽出部４３０は、識別器記憶装置３００から、既に学習部２４０によって選択された特徴抽出領域情報が示す領域のみを、特徴抽出領域として取得する。よって、以下、適宜、一方の構成および動作の説明をもって他方の構成および説明の説明を省略する。
【００４８】
図３は、特徴抽出部４３０の詳細な構成を示すブロック図である。
【００４９】
図３において、特徴抽出部４３０は、特徴抽出領域取得部４３１、領域スキャン部４３２、サブ領域設定部４３３、バイナリパターン生成部４３４、およびヒストグラム生成部４４０を有する。
【００５０】
特徴抽出領域取得部４３１は、画像入力部４２０から入力した窓領域ごとに、その窓領域のうち、識別器記憶装置３００に記憶された特徴抽出領域情報が示す範囲を、特徴抽出領域として取得する。そして、取得した特徴抽出領域を、領域スキャン部４３２へ出力する。
【００５１】
領域スキャン部４３２は、特徴抽出領域取得部４３１から入力した特徴抽出領域を、予め決めた間隔でスキャンし、スキャンした画素を、注目画素として、サブ領域設定部４３３へ出力する。
【００５２】
サブ領域設定部４３３は、領域スキャン部４３２から入力した特徴抽出領域の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定する。
【００５３】
サブ領域設定部４３３は、近傍領域取得部４３５およびサブ領域設定部４３６を有する。
【００５４】
近傍領域取得部４３５は、領域スキャン部４３２から入力された注目画素に対し、注目画素を中心とする近傍領域を設定して各画素の画素値を取得する。この際、近傍領域取得部４３５は、注目画素から離隔した画素を含む複数の画素から構成される領域を、近傍領域に設定する。そして、近傍領域取得部４３５は、注目画素ごとに、設定した近傍領域と、取得した複数の画素値とを、サブ領域設定部４３６へ出力する。
【００５５】
サブ領域設定部４３６は、近傍領域取得部４３５から入力された近傍領域から、複数のサブ領域を設定する。そして、サブ領域設定部４３６は、注目画素ごとに、注目画素の画素値（以下「注目画素値」という）と、各サブ領域の各画素の画素値とを、バイナリパターン生成部４３４へ出力する。この際、サブ領域設定部４３６は、注目画素から離隔した画素を含む複数の画素から構成されるサブ領域を、少なくとも１つ設定する。なお、この際、サブ領域設定部４３６は、カメラ４１０の空間周波数特性に基づいて、サブ領域を設定する。カメラ４１０の空間周波数特性に基づくサブ領域設定の手法については、後述する。
【００５６】
バイナリパターン生成部４３４は、注目画素ごとに、設定された複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成する。
【００５７】
バイナリパターン生成部４３４は、領域代表値計算部４３７、サブ領域差分計算部４３８、およびバイナリパターン計算部４３９を有する。
【００５８】
領域代表値計算部４３７は、サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値（以下「領域代表値」という）を算出する。そして、領域代表値計算部４３７は、サブ領域ごとに、注目画素値と、算出した領域代表値とを、サブ領域差分計算部４３８へ出力する。
【００５９】
本実施の形態においては、領域代表値計算部４３７は、１つの画素から成るサブ領域については、その画素の画素値を領域代表値とし、複数の画素から成るサブ領域については、その複数画素の画素値の平均を、領域代表値とする。
【００６０】
サブ領域差分計算部４３８は、注目画素ごとに、注目画素値に対する、領域代表値計算部４３７から入力された各領域代表値の差分を、計算する。そして、サブ領域差分計算部４３８は、注目画素ごとに、算出した各隣接サブ領域の差分を、バイナリパターン計算部４３９へ出力する。
【００６１】
バイナリパターン計算部４３９は、注目画素ごとに、サブ領域差分計算部４３８から入力された各サブ領域の差分が、所定の閾値以上であるか否かを判断する。そして、注目画素ごとに、各サブ領域の差分が所定の閾値以上であるか否かを示すローカルバイナリパターンを生成し、ヒストグラム生成部４４０へ出力する。
【００６２】
ヒストグラム生成部４４０は、特徴抽出領域ごとに、バイナリパターン計算部４３９から入力されたローカルバイナリパターンに基づいて、特徴抽出領域のローカルバイナリパターンの分布を示すヒストグラムを生成する。そして、ヒストグラム生成部４４０は、特徴抽出領域ごとに、生成したヒストグラムを、図２の識別部４５０へ出力する。
【００６３】
図２の識別部４５０は、識別器記憶装置３００が記憶する識別情報を取得する。識別部４５０は、取得した識別情報を用いて、特徴抽出部４３０から入力されたヒストグラムから、対象画像に検出対象物体の部品が含まれるか否かのスコアを算出する。そして、識別部４５０は、識別器記憶装置３００が記憶するすべての特徴抽出領域のスコアから総スコアを算出し、前記総スコアで対象画像に検出対象物体が含まれるか否か判断する。そして、識別部４５０は、判断結果を、例えば画像表示装置や音声出力装置（図示せず）を介して、ユーザに通知する。
【００６４】
なお、識別器学習装置２００および物体検出装置４００は、例えば、それぞれ、ＣＰＵおよびＲＡＭ等の記憶媒体等を含むコンピュータの構成を取ることができる。この場合、識別器学習装置２００および物体検出装置４００は、記憶する制御プログラムをＣＰＵが実行することによってそれぞれ動作する。また、物体検出装置４００は、その計算のみを行う専用チップにしてもよい。また、識別器記憶装置３００は、例えば、半導体メモリやハードディスク等の記憶媒体を含むネットワークサーバである。
【００６５】
学習画像の特徴あるいは対象画像の特徴を精度よく抽出するためには、より広い領域、つまり、より多くの画素を、ローカルバイナリパターンの演算対象とすることが望ましい。ところが、上述の通り、近傍領域の画素数を単に増大させた場合、処理負荷が高くなると共に、ノイズが含まれる可能性が高くなり、検出精度が低下するおそれがある。
【００６６】
このため、物体検出システム１００は、複数の画素から構成されるサブ領域を設定し、サブ領域の画素値に統計処理を行って領域代表値を算出する。そして、物体検出システム１００は、領域代表値を、特徴抽出に用いる。これにより、物体検出システム１００は、ローカルバイナリパターンのビット数を低減するだけでなく、バイナリパターンにおける画素単位でのノイズをも低減することができる。このようなバイナリパターンのヒストグラムを用いて物体検出を行った場合、演算コストが削減され、ノイズに対してロバストな物体検出が可能となる。
【００６７】
したがって、物体検出システム１００は、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素からローカルバイナリパターンを生成することができる。すなわち、物体検出システム１００は、画像に対する物体検出に際して、低照度などの環境で撮影されたノイズの多い画像に対して、高速かつロバストな物体検出が可能な画像特徴を、用いることができる。
【００６８】
以上で、物体検出システム１００の構成についての説明を終える。
【００６９】
次に、本発明に係る特徴抽出装置を含む物体検出装置４００の動作について説明する。なお、識別器学習装置２００における特徴抽出部２２０の動作は、物体検出装置４００における特徴抽出部４３０の動作と共通しているため、その説明を省略する。
【００７０】
図４は、物体検出装置４００の動作の一例を示すフローチャートである。
【００７１】
まず、ステップＳ１１００において、画像入力部４２０は、対象画像を、予め定められたサイズのウィンドウでスキャンする。
【００７２】
図５は、画像スキャンの様子の一例を示す模式図である。
【００７３】
図５に示すように、画像入力部４２０は、対象画像５１０の全体を、予め定められたサイズのウィンドウ５１１でスキャンし、様々な位置から窓領域５１２を取得する。ウィンドウ５１１のサイズは、例えば、６４画素×１２８画素である。
【００７４】
そして、図４のステップＳ１２００において、図３の特徴抽出部４３０の特徴抽出領域取得部４３１は、識別器学習装置２００の学習で得られ、識別器記憶装置に記憶された特徴抽出領域の情報（位置、サイズ等）を、１つ取得する。特徴抽出領域取得部４３１は、例えば、図５に示すように、人の頭部を含む矩形状の領域を、特徴抽出領域５２０として取得する。
【００７５】
そして、ステップＳ１３００において、特徴抽出部４３０の領域スキャン部４３２は、特徴抽出領域５２０の画素の１つを、注目画素として選択する。
【００７６】
そして、ステップＳ１４００において、近傍領域取得部４３５は、ステップＳ１３００でスキャンしている注目画素を中心とする近傍領域を設定する。領域スキャン部４３２は、後述のステップＳ１９００の判断処理によってステップＳ１３００へ戻る度に、未選択の画素を選択し、その結果、近傍領域をシフトさせていく。
【００７７】
図６は、近傍領域のシフトの様子の一例を示す模式図である。
【００７８】
図６に示すように、領域スキャン部４３２は、特徴抽出領域５２０の全体において、注目画素５２１をシフトさせることにより、注目画素５２１を中心とする近傍領域５２２をシフトさせていく。
【００７９】
本実施の形態においては、図６に示すように、近傍領域取得部４３５は、注目画素５２１ごとに、注目画素５２１を中心とする１１画素×１１画素の領域を、近傍領域５２２として設定する。すなわち、近傍領域取得部４３５は、１２１個の画素を、近傍領域として設定する。
【００８０】
そして、図４のステップＳ１５００において、特徴抽出部４３０のサブ領域設定部４３６は、注目画素の近傍領域から、サブ領域を設定する。この際、サブ領域設定部４３６は、カメラ４１０の空間周波数特性に基づいて、サブ領域を設定する。
【００８１】
図７は、カメラ４１０の空間周波数特性の一例を示すグラフである。図７において、横軸は、空間周波数を示し、縦軸は、カメラ４１０からの出力される信号（コントラストの再現率）を示す。
【００８２】
図７に示すように、カメラ４１０の出力５２３は、高い空間周波数においてフィルタリングされている。すなわち、カメラ４１０のレンズは、ローパスフィルターに似たＭＴＦ（Modulation Transfer Function）特性を有する。この特性により、カメラ４１０が撮影した画像の画素値は、隣接する画素間において滑らかに変化し、カメラ４１０で再現可能な空間周波数の最大値に相当する画素数よりも短い長さにおいて、大きな輝度値の変化はなくなる。
【００８３】
そこで、サブ領域設定部４３６は、サブ領域のサイズが、その長さ方向における全ての画素値が均等に近いとみなすことができる大きさ（以下「等画素値長」という）となるように、サブ領域を設定する。ここで、サブ領域のサイズとは、サブ領域の幅、長さ、注目画素との間隔、および他のサブ領域との間隔の少なくとも１つである。これにより、サブ領域設定部４３６は、領域代表値に近傍領域の特徴が精度良く反映されるような、サブ領域を設定することができる。例えば、２つの画素の間隔（画素数）が、空間周波数の最大値の逆数に相当する画素数以下である場合、その２つの画素は同様の輝度として扱うことができる。すなわち、複数の画素同士の間隔が、空間周波数の最大値の逆数に相当する画素数以下である場合、その複数の画素によってサブ領域が構成される。
【００８４】
カメラの種類によってＭＴＦ特性は異なる。また、通常のカメラにおいては、解像感を高めるために、撮像素子に対する空間周波数を高く設定する。この際、細かい縞を撮影した場合にも折り返しノイズによる擬似的な縞模様が発生しないように、撮像素子の画素の間隔の逆数以上にまで、空間周波数を設定することはない。つまり、カメラ４１０によって撮像された画像において隣接する２から３画素間隔の画素同士の画素値は、カメラの種類に関わらず同程度である。このため、サブ領域のサイズは、２画素または３画素に設定することが望ましい。なぜなら、隣接する２画素ないし３画素の間では、画素値の差が小さいため、それらを１つの情報として扱った場合に、情報量の損失は少なく、特徴抽出の演算量および特徴次元数を抑制することが可能となるからである。なお、カメラ４１０のＭＴＦ特性が、低域の狭い帯域のローパスフィルター特性である場合（つまり、急激に減衰する場合）、サブ領域のサイズは、４画素分以上としてもよい。
【００８５】
図８は、サブ領域配置の一例を示す模式図である。
【００８６】
図８に示すように、本実施の形態においては、サブ領域設定部４３６は、近傍領域５２２のうち、注目画素５２１に隣接する８個の画素（番号１１〜１８で示す）のそれぞれを、サブ領域５２４に設定する。また、サブ領域設定部４３６は、注目画素５２１と２画素分離隔した２４個の画素群を３個ずつに分割した８個の領域（番号２１〜２８で示す）のそれぞれを、サブ領域５２４に設定する。更に、サブ領域設定部４３６は、注目画素５２１との４画素分離隔した４０個の画素群のうち、注目画素５２１に対して等角度間隔であって３個ずつの画素から成る８個の領域（番号３１〜３８で示す）のそれぞれを、サブ領域５２４に設定する。すなわち、サブ領域設定部４３６は、注目画素からの画素距離が異なる８個×３組の領域を、サブ領域５２４に設定する。
【００８７】
そして、図４のステップＳ１６００において、領域代表値計算部４３７は、サブ領域群ごとに、サブ領域の画素値の平均を、領域代表値として求める。そして、サブ領域差分計算部４３８は、各領域代表値と注目画素との差分を計算する。
【００８８】
本実施の形態においては、注目画素からの距離が異なる８個×３組の領域がサブ領域として設定されている。このため、領域代表値計算部４３７は、注目画素ごとに、８個の差分値のセットを、３組生成する。
【００８９】
そして、ステップＳ１７００において、バイナリパターン計算部４３５は、所定の閾値との比較により、差分値を２値化して、ローカルバイナリパターンを生成する。
【００９０】
本実施の形態においては、バイナリパターン計算部４３５は、「０」を上記所定の閾値とする。そして、バイナリパターン計算部４３５は、差分が所定の閾値以上であるサブ領域に対しては、値「１」を算出し、差分が所定の閾値未満であるサブ領域に対しては、値「０」を算出する。
【００９１】
すなわち、ローカルバイナリパターンＬＢＰＰ，Ｒは、例えば、以下の式（１）で表される。ここで、ｇｃは、注目画素の画素値であり、Ｐは、サブ領域の数（本実施の形態においては８）である。また、ｐは、サブ領域の順序であり、ｇｐは、ｐ番目のサブ領域の画素平均値（つまり代表値）であり、Ｒは、サブ領域と注目画素の距離に相当する画素数（本実施の形態においては１、３、３）である。
【数１】
【００９２】
本実施の形態においては、注目画素からの距離が異なる８個×３組の領域がサブ領域として設定されているため、バイナリパターン計算部４３５は、注目画素ごとに、８ビットバイナリパターンを３個ずつ生成する。
【００９３】
そして、ステップＳ１８００において、ヒストグラム生成部４４０は、ヒストグラムを構成するビンのうちローカルバイナリパターンＬＢＰＰ，Ｒのビンに、１を加算する。
【００９４】
そして、ステップＳ１９００において、領域スキャン部４３２は、特徴抽出領域に未処理の画素が存在するか否かを判断する。領域スキャン部４３２は、未処理の画素が存在する場合（Ｓ１９００：ＹＥＳ）、ステップＳ１３００へ戻って未処理の画素を選択して処理を繰り返す。また、領域スキャン部４３２は、特徴抽出領域の全てについて処理を完了した場合（Ｓ１９００：ＮＯ）、ステップＳ２０００へ進む。
【００９５】
本実施の形態においては、ヒストグラム生成部４４０は、最終的に、特徴抽出領域ごとに、３個ずつのヒストグラムを生成する。
【００９６】
図９は、あるローカルバイナリパターンがヒストグラムに反映されるまでの処理の一例の概要を示す模式図である。
【００９７】
図９は、ある近傍領域のローカルバイナリパターンがヒストグラムに反映されるまでの処理の一例の概要を示す模式図である。
【００９８】
図９に示すように、近傍領域５２２のＲ＝１の部分領域６０１について、注目画素の画素値ｇｃが「１２８」であったとする。そして、そのサブ領域（Ｒ＝１の場合、一つの画素となる）画素値ｇｐを［２４４，１７８，４８，２７，２５３，２０８，２３８，２８］とする数値群６０２が、取得されたものとする。なお、画素値ｇｐは、近傍画素の左上から時計回りに取得されるものとする。この場合、近傍差分（ｇｐ−ｇｃ）の数値群６０３は、［１１６，５０，−８０，−１０１，１２５，８０，１１０，−１００］となる。ここで、２値化の閾値を「０」とすると、近傍差分を２値化して得られる数値群６０４は、［１，１，０，０，１，１，１，０］となる。そして、ローカルバイナリパターン６０５は、「１１００１１１０」（１０進数では「２０６」）となる。
【００９９】
ヒストグラム生成部４４０は、１を、ビン「２０６」に加算して、ヒストグラム６０６を生成する。
【０１００】
このような、該当ビンへ加算を繰り返すことにより、最終的に、特徴抽出領域画像の特徴を表すヒストグラムが生成される。ヒストグラムＨ（ｋ）は、例えば、Ｉ×Ｊのサイズの特徴抽出領域から得られるローカルバイナリパターンの数の最大値をＫと置くと、以下の式（２）で表される。
【数２】
【０１０１】
なお、バイナリパターン計算部４３５は、３個のローカルバイナリパターンを所定の順序で並べることにより、注目画素ごとに、１個の２４ビットバイナリパターンを生成してもよい。この場合、ヒストグラム生成部４４０は、最終的に、特徴抽出領域ごとに、１個のヒストグラムを生成する。
【０１０２】
そして、図４のステップＳ２０００において、ヒストグラム生成部４４０は、ヒストグラムを、特徴抽出領域の大きさに依存しない特徴量に正規化する。具体的には、ヒストグラム生成部４４０は、例えば、ヒストグラム全てのビンの度数の総和で、ヒストグラムを正規化する。度数の総和ＳｕｍＨｉは、ビンの数をＮ、ｉ番目のビンの度数をＨｉ（ｉ＝１，２，・・・，Ｎ）と置くと、以下の式（３）により表される。
【数３】
【０１０３】
そして、正規化されたヒストグラムのｉ番目のビンの度数Ｈｉ'は、以下の式（４）により表される。
【数４】
【０１０４】
図１０は、ヒストグラムの正規化の様子の一例を示す図である。
【０１０５】
図１０（Ａ）に示すように、正規化前のヒストグラムの各ビンの度数Ｈ１、Ｈ２、・・・、Ｈ８が、順に、「５，６，４，７，１０，５，８，３」であったとする。この場合、度数の総和ＳｕｍＨｉは、以下の式（５）のように算出される。
【数５】
【０１０６】
そして、正規化されたヒストグラムの各ビンの度数Ｈ１'、Ｈ２'、・・・、Ｈ８'は、以下の式（６）のように算出される。
【数６】
【０１０７】
そして、図４のステップＳ２１００において、識別部４５０は、識別器記憶装置３００から識別器を取得し、正規化後のヒストグラムに基づいて、現在の特徴抽出領域に検出対象物体が含まれているか否かを判定するための尤度を示すスコアを算出する。
【０１０８】
そして、ステップＳ２２００において、物体検出装置４００は、算出したスコアを累積加算する。
【０１０９】
そして、ステップＳ２３００において、特徴抽出部４３０は、未処理の特徴抽出領域があるか否かを判断する。すなわち、特徴抽出部４３０は、識別器記憶装置３００に記憶された特徴抽出領域情報に対応する全ての特徴抽出領域について、スコアを算出したか否かを判断する。特徴抽出部４３０は、未処理の特徴抽出領域がある場合には（Ｓ２３００：ＹＥＳ）、ステップＳ１２００へ戻り、未処理の特徴抽出領域に対する処理に移る。また、特徴抽出部４３０は、全ての特徴抽出領域について処理を完了した場合には（Ｓ２３００：ＮＯ）、ステップＳ２４００へ進む。
【０１１０】
そして、ステップＳ２４００において、識別部４５０は、スキャンされたウィンドウごとに、累積加算されたスコアの値に基づいて、検出対象物体が含まれているか否かを判定する。すなわち、識別部４５０は、スコアが所定の閾値以上となっている場合には、そのウィンドウに検出対象物体が含まれていると判定する。なお、識別部４５０は、スコアに対して所定の関数を適用した結果に基づいて、この判定を行ってもよい。
【０１１１】
そして、ステップＳ２５００において、識別部４５０は、物体検出の判定結果を出力する。
【０１１２】
なお、識別部４５０は、指定された物体が対象画像に含まれるか否かを判定してもよいし、対象画像にどのような物体が含まれるかを判定してもよい。前者の場合には、識別部４５０は、例えば、指定された物体に対応する識別器のみを用いて、その物体が含まれるか否かのみを示す情報を出力すればよい。また、後者の場合には、識別部４５０は、複数の識別器を順次適用して判定を繰り返し、物体が検出されたとき、どの物体が検出されたかを示す情報を出力すればよい。
【０１１３】
そして、ステップＳ２６００において、画像入力部４２０は、操作等により処理の終了を指示されたか否かを判断する。画像入力部４２０は、処理の終了を指示されていない場合（Ｓ２６００：ＮＯ）、ステップＳ１１００へ戻り、次のスキャンまたは次の対象画像に対する処理に移る。また、画像入力部４２０は、処理の終了を指示された場合（Ｓ２６００：ＹＥＳ）、一連の処理を終了する。
【０１１４】
このような動作により、物体検出装置４００は、複数の画素から成るものを含むサブ領域を複数設定し、注目画素とサブ領域の平均値との差分を用いて、ローカルバイナリパターンのヒストグラムを生成することができる。これにより、物体検出装置４００は、低い演算量で、次元数が低く、ノイズにロバストな、ローカルバイナリパターンのヒストグラムを生成することができる。そして、物体検出装置４００は、このヒストグラムを画像特徴として用いて、物体検出を行うことができる。
【０１１５】
以上で、物体検出装置４００の動作についての説明を終える。
【０１１６】
なお、サブ領域の配置は、図８に示す例に限定されない。識別器学習装置２００および物体検出装置４００は、カメラ４１０の空間周波数特性その他に応じて、各種のパターンで、サブ領域配置を設定することができる。
【０１１７】
以下、各種のサブ領域配置について説明する。
【０１１８】
図１１および図１２は、注目画素と１画素分離隔した画素群をサブ領域に設定する場合の、サブ領域配置の例を示す図である。
【０１１９】
図１１および図１２に示すように、識別器学習装置２００および物体検出装置４００は、注目画素５２１を中心とする５画素×５画素を、近傍領域５２２に設定してもよい。
【０１２０】
そして、図１１に示すように、識別器学習装置２００および物体検出装置４００は、注目画素５２１との１画素分離隔した１６個の画素群を、オーバーラップさせずに８分割し、それぞれ２個の画素から成る８個のサブ領域５２４を設定してもよい。
【０１２１】
または、図１２に示すように、識別器学習装置２００および物体検出装置４００は、上記１６個の画素群を、１画素ずつオーバーラップさせて分割し、それぞれ３個の画素から成る８個のサブ領域５２４を設定してもよい。
【０１２２】
なお、識別器学習装置２００および物体検出装置４００は、上述の等画素値長が確保される場合は、図１１のように、サブ領域５２４を、オーバーラップさせずに設定することが望ましい。なぜなら、オーバーラッピングしていないサブ領域は、異なる特徴情報を含む可能性が高く、しかも、演算用の画素数が少ないため、演算コストが低いからである。また、図１２のように、サブ領域５２４をオーバーラップさせた場合は、オーバーラッピングしている隣のサブ領域が同じ特徴情報を含み、画素数が多くなるため、演算コストも高くなる。
【０１２３】
図１３および図１４は、隣接画素群、および、注目画素と２画素分離隔した画素群をサブ領域に設定する場合の、サブ領域配置の例を示す図である。
【０１２４】
図１３および図１４に示すように、識別器学習装置２００および物体検出装置４００は、注目画素５２１を中心とする７画素×７画素を、近傍領域５２２に設定し、８個の隣接画素を、サブ領域５２４に設定してもよい。
【０１２５】
そして、図１３に示すように、識別器学習装置２００および物体検出装置４００は、更に、注目画素５２１と２画素分離隔した２４個の画素群を８分割した領域を、サブ領域５２４に設定してもよい。
【０１２６】
または、図１４に示すように、識別器学習装置２００および物体検出装置４００は、注目画素５２１と、１画素分離隔した１６個の画素群、および、２画素分離隔した２４個の画素群とから成る４０個の画素群を取得してもよい。そして、識別器学習装置２００および物体検出装置４００は、この画素群を８分割した領域を、サブ領域５２４に設定してもよい。
【０１２７】
図１４の場合、サブ領域５２４のサイズが大きく、ローカルバイナリパターンの演算に用いられる用いる画素数が多くなる。画素数が多くなると、演算コストが高くなるものの、検出精度が高くなると考えられる。
【０１２８】
ところが、上述の通り、隣接する画素間における画素値は近似しているため、カメラ３１０の空間周波数特性を考慮した場合、図１３の場合の検出精度を、図１４の場合の検出精度と同等にすることが可能である。
【０１２９】
図１５は、カメラ３１０の空間周波数特性を考慮した場合における、図１３に示すサブ領域配置および図１４に示すサブ領域配置の、物体検出における性能評価の実験結果を示す図である。図１５において、横軸は、検出対象でないデータセットに対する誤検出率であるＦＰＰＷ（False Positive Per Window）を示し、縦軸は、検出対象データセットに対する検出率であるＨｉｔ Ｒａｔｅを示す。
【０１３０】
図１５に示すように、図１３に示すサブ領域配置の場合の性能曲線６１１は、図１４に示すサブ領域配置の場合の性能曲線６１２と、ほとんど一致している。
【０１３１】
このように、カメラ４１０の空間周波数特性を考慮してサブ領域配置を配置する場合、演算コストを抑えつつ、高い検出精度を得られることが確認された。
【０１３２】
また、以上の説明では、注目画素からの距離が異なるサブ領域を配置する場合に、注目画素からみて同じ方向に配置される例について説明したが、サブ領域の配置はこれに限定されない。
【０１３３】
図１６は、注目画素に対して放射方向に隣り合うサブ領域の中心位置を、隣接画素以外で一致させた場合の、サブ領域配置の一例である。これは、カメラ４１０の空間周波数特性を考慮しない場合のサブ領域配置の一例である。
【０１３４】
かかる場合、図１６に示すように、近傍領域５２２において、例えば、注目画素５２１から１画素分離隔したサブ領域５２４−１の中心と、注目画素５２１から２画素分離隔したサブ領域５２４−２の中心とは、１画素分の距離を有する。
【０１３５】
図１７は、注目画素に対して放射方向に隣り合うサブ領域の中心位置を、隣接画素以外で異なるようにした場合の、サブ領域配置の一例である。これは、カメラ４１０の空間周波数特性を考慮した場合のサブ領域配置の一例である。
【０１３６】
かかる場合、図１７に示すように、近傍領域５２２において、例えば、注目画素５２１から１画素分離隔したサブ領域５２４−１の中心と、注目画素５２１から２画素分離隔したサブ領域５２４−２の中心とは、１画素分を超えた距離を有する。
【０１３７】
カメラ４１０の空間周波数特性から、情報量の損失を抑えて、特徴抽出の演算量および特徴次元数を抑制するためには、放射方向に隣り合うサブ領域５２４の中心位置は、図１７に示すように、１画素を超えて離れていることが望ましい。
【０１３８】
図１８は、図１６に示すサブ領域配置と、図１７に示すサブ領域配置との、物体検出における性能評価の実験結果を示す図である。
【０１３９】
図１８に示すように、図１６に示すサブ領域配置の場合の性能曲線６２１に比べて、図１７に示すサブ領域配置の場合の性能曲線６２２のほうが、上に位置する。すなわち、図１７に示すサブ領域配置の場合の性能の方が、図１６に示すサブ領域配置の場合の性能よりも良好であることが確認された。
【０１４０】
なお、別途行った実験により、サブ領域配置として採用する範囲は、注目画素から４画素分離隔した画素までが相当であることが分かった。注目画素からサブ領域までの距離が長すぎると、サブ領域が対象画素から離れ過ぎ、サブ領域に認識対象の部品ではない画像が含まれる可能性が高くなるためである。
【０１４１】
以上より、サブ領域は、２〜３画素分の長さとし、円周方向には他のサブ領域とオーバーラップせず、放射方向にはサブ領域の中心位置同士が１画素を超えて離れており、注目画素から４画素分離隔した画素までの範囲内に位置することが望ましい。一方で、サブ領域は、放射方向において、１画素分離隔して配置されていても検出性能に影響を及ぼさない。したがって、物体検出システム１００は、サブ領域を、例えば、図８に示す配置に設定することが望ましい。
【０１４２】
以上で、各種のサブ領域配置についての説明を終える。
【０１４３】
以上説明したように、本実施の形態に係る物体検出システム１００は、注目画素から離隔した画素をローカルバイナリパターンの演算対象に含めつつ、複数の画素の画素値の代表値からローカルバイナリパターンを生成することができる。これにより、物体検出システム１００は、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素からローカルバイナリパターンを生成することができる。
【０１４４】
なお、ローカルバイナリパターンの生成に用いられる画素の数が多くなると、夜間画像のようにノイズの多い画像の場合、正しくないローカルバイナリパターンが生成される可能性が高くなる。画像特徴の抽出精度が低くなると、ひいては、ヒストグラムから生成される識別器の精度や、ヒストグラムを用いて行われる物体検出の精度も、低くなる。
【０１４５】
この点、物体検出システム１００は、複数の画素の画素値の代表値（平均値）を用いるため、画素単位でのノイズの物体検出精度への影響を低減することができる。すなわち、物体検出システム１００は、低照度などの環境で撮影されたノイズの多い画像に対してもロバストな物体検出が可能なヒストグラムを、画像の画像特徴として抽出することができる。
【０１４６】
また、物体検出システム１００は、近傍領域のうち、カメラ４１０の空間周波数特性を考慮して、画素値変化が少ない画素領域をグループ化して、サブ領域として定義することができる。これにより、物体検出システム１００は、検出精度を保ちながら、物体検出における識別器の処理負荷を少なくすることができる。
【０１４７】
なお、以上説明した実施の形態では、識別器学習装置２００、識別器記憶装置３００、および物体検出装置４００が別々に構成されている例について説明したが、これらの２つまたは全ては、１つの装置として一体的に構成されていてもよい。特に、識別器学習装置２００と物体検出装置４００とが一体的に構成される場合には、特徴抽出部２２０、４３は、それぞれ、共通の機能部として構成することができる。また、本実施の形態においては、機械学習手法としてＢｏｏｓｔｉｎｇを用いたが、ＳＶＭ（Support Vector Machine）や決定木（Decision Tree）等、他の機械学習手法を用いてもよい。
【産業上の利用可能性】
【０１４８】
本発明に係る特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置は、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素からローカルバイナリパターンを生成することができる、特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置として有用である。
【符号の説明】
【０１４９】
１０ 特徴抽出装置
１００ 物体検出システム
２００ 識別器学習装置
２１０ 学習用データ記憶部
２２０ 特徴抽出部
２４０ 学習部
３００ 識別器記憶装置
４００ 物体検出装置
４１０ カメラ
４２０ 画像入力部
４３０ 特徴抽出部
４３１ 特徴抽出領域取得部
４３２ 領域スキャン部
４３３ サブ領域設定部
４３４ バイナリパターン生成部
４３５ 近傍領域取得部
４３６ サブ領域設定部
４３７ 領域代表値計算部
４３８ サブ領域差分計算部
４３９ バイナリパターン計算部
４４０ ヒストグラム生成部
４５０ 識別部
【技術分野】
【０００１】
本発明は、画像データから画像特徴を抽出する特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、特徴抽出装置を用いた画像処理装置に関する。
【背景技術】
【０００２】
従来、画像データから画像特徴を抽出して、画像に含まれる物体を検出または識別すること（以下「物体検出」という）が、広く行われている。物体検出の手法の１つとして、ローカルバイナリパターン（ＬＢＰ）を用いる技術が、例えば非特許文献１に記載されている。
【０００３】
ローカルバイナリパターンは、注目画素ごとに、その注目画素の周囲近傍の各画素との画素値の差分を二値化して並べたバイナリパターンである。ローカルバイナリパターンによれば、画像に含まれる濃淡パターンを抽出することができる。
【０００４】
非特許文献１および非特許文献２に記載の技術（以下「第１の従来技術」という）は、識別の対象となる画像（以下「対象画像」という）のある領域に含まれる、全部または部分画素に対して、ローカルバイナリパターンを算出する。そして、第１の従来技術は、ローカルバイナリパターンの値のヒストグラムを、画像特徴として生成する。また、第１の従来技術は、予め、所定の物体を含む画像と含まない画像（以下「学習画像」と総称する）から同様に生成したヒストグラムに基づいて、識別器を生成して記憶しておく。そして、第１の従来技術は、識別器を用いて対象画像のヒストグラムを評価し、対象画像に所定の物体が含まれているか否かを判断する。
【０００５】
ローカルバイナリパターンのヒストグラムは、輝度勾配方向ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）等の画像特徴に比べて、テクスチャの違いや濃淡パターンをより高精度に表現でき、かつ、より少ない処理負荷で算出可能である。したがって、第１の従来技術のようなローカルバイナリパターンを用いた物体検出は、様々な分野への適用が期待されている。
【０００６】
ローカルバイナリパターンの演算対象となる領域は、通常、注目画素を中心とした３画素×３画素の領域である。ところが、画像の種類や検出対象となる物体の種類によっては、この演算対象となる領域を、より広く設定し、より多くの画素からローカルバイナリパターンを生成することにより、より広い範囲の特徴の共起性を用いたいという要求がある。
【０００７】
そこで、例えば特許文献１には、より広い５画素×５画素の領域や、当該領域の外周部のみを演算対象とする技術（以下「第２の従来技術」という）が記載されている。かかる技術によれば、ローカルバイナリパターンの演算対象となる領域を、より広く設定することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−２１１１７９号公報
【非特許文献】
【０００９】
【非特許文献１】Timo Ojala, Matti Pietikainenand Topi Maenpaa "Multiresolution Gray-Scale and Rotation Invariant Texture Classification With Local Binary Patterns" IEEE, Pattern Analysis and Machine Intelligence vol. 24 no. 7, pp. 971-978, July 2002
【非特許文献２】Xiaoyu Wang, Tony X. Han and Shuicheng Yan, "An HOG-LBP Human Detector with Partial Occlusion Handling," IEEE International Conference on Computer Vision (ICCV 2009), Kyoto, 2009
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、第２の従来技術は、演算対象となる領域を広くすればするほど、ローカルバイナリパターンのビット数が増大する。例えば、当該ビット数は、上述の３画素×３画素の領域を演算対象とする場合は８ビットであるのに対し、上述の５画素×５画素の領域を演算対象とする場合、その外周部のみを用いても、倍の１６ビットとなる。ローカルバイナリパターンのビット数が増えると、ヒストグラムの次元数が増え、識別器の生成や識別器を用いた物体検出の際の処理負荷が増大する。
【００１１】
一方で、演算対象となる画素を間引けば、ローカルバイナリパターンのビット数を抑えることができるが、その分、物体検出の精度は低くなる。
【００１２】
すなわち、第２の従来技術は、より広い領域をローカルバイナリパターンの演算対象とすると、検出精度の低下あるいは処理負荷の増大を招くという課題を有する。
【００１３】
本発明の目的は、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素からローカルバイナリパターンを生成することができる、特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明の特徴抽出装置は、画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定するサブ領域設定部と、前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成するバイナリパターン生成部と、を有し、前記サブ領域設定部は、少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、前記バイナリパターン生成部は、前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出し、前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成する。
【００１５】
本発明の画像処理装置は、画像から生成されたローカルバイナリパターンの分布を示すヒストグラムを生成するヒストグラム生成部を更に有する上記特徴抽出装置と、所定の物体を識別するための識別器を用いて、前記特徴抽出装置により生成された前記ヒストグラムから、前記画像に前記所定の物体が含まれるか否か判断する識別部とを有する。
【００１６】
本発明の特徴抽出方法は、画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定するステップと、前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成するステップと、を有し、前記サブ領域を設定するステップは、少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、前記ローカルバイナリパターンを生成するステップは、前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出するステップと、前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成するステップとを有する。
【００１７】
本発明の特徴抽出プログラムは、コンピュータに、画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定する処理と、前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成する処理と、を実行させ、前記サブ領域を設定する処理は、少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、前記ローカルバイナリパターンを生成する処理は、前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出する処理と、前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成する処理とを含む。
【発明の効果】
【００１８】
本発明によれば、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素を用いてローカルバイナリパターンを生成することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態１に係る特徴抽出装置の構成の一例を示すブロック図
【図２】本発明の実施の形態２に係る特徴抽出装置を含む物体検出システムの構成の一例を示すブロック図
【図３】本発明の実施の形態２に係る特徴抽出部の詳細な構成を示すブロック図
【図４】本発明の実施の形態２に係る物体検出装置の動作の一例を示すフローチャート
【図５】本発明の実施の形態２における画像スキャンの様子の一例を示す模式図
【図６】本発明の実施の形態２における近傍領域のシフトの様子の一例を示す模式図
【図７】本発明の実施の形態２におけるカメラの空間周波数特性の一例を示すグラフ
【図８】本発明の実施の形態２におけるサブ領域配置の第１の例を示す模式図
【図９】本発明の実施の形態２におけるローカルバイナリパターンがヒストグラムに反映されるまでの処理の一例の概要を示す模式図
【図１０】本発明の実施の形態２におけるヒストグラムの正規化の様子の一例を示す図
【図１１】本発明の実施の形態２におけるサブ領域配置の第２の例を示す図
【図１２】本発明の実施の形態２におけるサブ領域配置の第３の例を示す図
【図１３】本発明の実施の形態２におけるサブ領域配置の第４の例を示す図
【図１４】本発明の実施の形態２におけるサブ領域配置の第５の例を示す図
【図１５】本発明の実施の形態２におけるサブ領域配置の第４の例および第５の例の性能評価の実験結果を示す図
【図１６】本発明の実施の形態２におけるサブ領域配置の第６の例を示す図
【図１７】本発明の実施の形態２におけるサブ領域配置の第７の例を示す図
【図１８】本発明の実施の形態２におけるサブ領域配置の第６の例および第７の例の性能評価の実験結果を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。
【００２２】
図１は、本実施の形態に係る特徴抽出装置の構成の一例を示すブロック図である。
【００２３】
図１において、特徴抽出装置１０は、サブ領域設定部４３３およびバイナリパターン生成部４３４を有する。
【００２４】
サブ領域設定部４３３は、画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定する。この際、サブ領域設定部４３３は、少なくとも、注目画素から離隔した画素を含む複数の画素から構成される領域を、サブ領域として設定する。
【００２５】
バイナリパターン生成部４３４は、注目画素ごとに、設定された複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成する。この際、バイナリパターン生成部４３４は、サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出する。そして、バイナリパターン生成部４３４は、注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、ローカルバイナリパターンとして生成する。
【００２６】
なお、特徴抽出装置１０は、例えば、ＣＰＵ（central processing unit）およびＲＡＭ（random access memory）等の記憶媒体等を含むコンピュータの構成を取ることができる。この場合、特徴抽出装置１０は、記憶する制御プログラムをＣＰＵが実行することによって動作する。
【００２７】
このような特徴抽出装置１０は、注目画素から離隔した画素をローカルバイナリパターンの演算対象に含めつつ、複数の画素の画素値の代表値からローカルバイナリパターンを生成することができる。これにより、特徴抽出装置１０は、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素を用いてローカルバイナリパターンを生成することができる。
【００２８】
（実施の形態２）
本発明の実施の形態２は、本発明を物体検出システムに適用した場合の、具体的態様の一例である。
【００２９】
まず、本実施の形態に係る特徴抽出装置を含む物体検出システムの構成について説明する。
【００３０】
図２は、本実施の形態に係る特徴抽出装置を含む物体検出システムの構成の一例を示すブロック図である。
【００３１】
図２において、物体検出システム１００は、識別器学習装置２００、識別器記憶装置３００、および物体検出装置４００を有する。識別器学習装置２００および物体検出装置４００は、例えば、インターネット等の通信ネットワークを介して、識別器記憶装置３００にそれぞれ接続可能となっている。
【００３２】
本実施の形態においては、識別器学習装置２００が用いる機械学習方法の一つの例として、Ｂｏｏｓｔｉｎｇ法を採用する。識別器学習装置２００は、予め、学習用に正規化された画像から、検出の対象となる物体（以下「検出対象物体」という）を検出するための識別器を学習し、学習結果である識別器を識別器記憶装置３００に記憶させる。
【００３３】
識別器学習装置２００は、学習用データ記憶部２１０と、本発明に係る特徴抽出装置を含む特徴抽出部２２０と、学習部２４０とを有する。
【００３４】
学習用データ記憶部２１０は、検出対象物体を含む複数の学習画像（ポジティブサンプル）と、検出対象物体を含まない複数の学習画像（ネガティブサンプル）と、特徴抽出領域情報の候補と、を予め格納する。
【００３５】
特徴抽出部２２０は、学習用データ記憶部２１０に格納された学習画像ごとに、特徴抽出領域を取得し、取得した特徴抽出領域から画像特徴を抽出する。
【００３６】
特徴抽出領域とは、画像特徴の抽出の対象となる画像領域である。例えば、検出対象が人物の顔である場合には、特徴抽出領域は、人の顔部品、例えば、眼、または鼻等を含むランダムに配置された多数の画像領域とすることができる。また、検出対象が人の全身である場合には、特徴抽出領域は、例えば、頭部、腕、足等を含包むランダムに配置された多数の画像領域とすることができる。
【００３７】
特徴抽出部２２０は、特徴抽出領域ごとに、その画像特徴を抽出し、学習部２４０へ出力する。より具体的には、特徴抽出部２２０は、まず、特徴抽出領域の全部または一部の画素ごとに、その画素を注目画素として、ローカルバイナリパターンを生成する。そして、特徴抽出部２２０は、生成されたローカルバイナリパターンの分布を示すヒストグラム（以下、単に「ヒストグラム」という）を、その特徴抽出領域の画像特徴として生成する。
【００３８】
ローカルバイナリパターンとは、注目画素と複数のサブ領域のそれぞれとの画素値の比較を、ビット値により示す情報である。サブ領域の設定手法、および、注目画素と各サブ領域との画素値の比較手法については、後述する。
【００３９】
学習部２４０は、ポジティブサンプルから得られたヒストグラム群と、ネガティブサンプルから得られたヒストグラム群とに基づいて、検出対象物体が含まれる画像と含まれない画像とを区分するための１つまたは複数の識別器を生成する。すなわち、学習部２４０は、識別器として、特徴抽出領域情報と、特徴抽出領域情報に対応する識別情報とを生成する。そして、学習部２４０は、識別器記憶装置３００に対して、生成した識別情報を特徴抽出領域情報と共に送信し、特徴抽出領域情報と組み付けて記憶させる。
【００４０】
特徴抽出領域情報とは、特徴抽出領域の範囲を示す情報であり、例えば、特徴抽出領域の位置およびサイズを含む。識別情報とは、対象画像の特徴抽出領域のヒストグラムを評価し、対象画像に所定の物体が含まれているか否かを判定するための情報である。
【００４１】
物体検出装置４００は、識別器記憶装置３００に記憶された識別器を取得して、対象画像に対する物体検出を行う。
【００４２】
物体検出装置４００は、カメラ４１０と、画像入力部４２０と、本発明に係る特徴抽出装置を含む特徴抽出部４３０と、識別部４５０とを有する。
【００４３】
カメラ４１０は、対象画像の撮影を行い、対象画像を画像入力部４２０へ出力する。
【００４４】
画像入力部４２０は、対象画像を、予め定められたサイズのウィンドウでスキャンし、スキャンした個々の画像領域（以下「窓領域」という）を、特徴抽出部４３０へ出力する。
【００４５】
特徴抽出部４３０は、窓領域ごとに、その窓領域のうち、識別器記憶装置に記憶された特徴抽出領域情報が示す範囲を、特徴抽出領域として取得する。
【００４６】
そして、特徴抽出部４３０は、特徴抽出領域ごとに、その画像特徴を抽出し、識別部４５０へ出力する。より具体的には、特徴抽出部４３０は、特徴抽出領域の画素ごとにローカルバイナリパターンを生成し、ローカルバイナリパターンのヒストグラムを、その特徴抽出領域の画像特徴として生成する。
【００４７】
なお、特徴抽出部４３０が窓領域に対して行う処理と、上述の識別器学習装置２００にある特徴抽出部２２０が学習画像に対して行う処理は類似している。すなわち、識別器学習装置２００にある特徴抽出部２２０は、例えば、候補領域として予め用意した多くの領域の全てを、特徴抽出領域として取得する。これに対し、特徴抽出部４３０は、識別器記憶装置３００から、既に学習部２４０によって選択された特徴抽出領域情報が示す領域のみを、特徴抽出領域として取得する。よって、以下、適宜、一方の構成および動作の説明をもって他方の構成および説明の説明を省略する。
【００４８】
図３は、特徴抽出部４３０の詳細な構成を示すブロック図である。
【００４９】
図３において、特徴抽出部４３０は、特徴抽出領域取得部４３１、領域スキャン部４３２、サブ領域設定部４３３、バイナリパターン生成部４３４、およびヒストグラム生成部４４０を有する。
【００５０】
特徴抽出領域取得部４３１は、画像入力部４２０から入力した窓領域ごとに、その窓領域のうち、識別器記憶装置３００に記憶された特徴抽出領域情報が示す範囲を、特徴抽出領域として取得する。そして、取得した特徴抽出領域を、領域スキャン部４３２へ出力する。
【００５１】
領域スキャン部４３２は、特徴抽出領域取得部４３１から入力した特徴抽出領域を、予め決めた間隔でスキャンし、スキャンした画素を、注目画素として、サブ領域設定部４３３へ出力する。
【００５２】
サブ領域設定部４３３は、領域スキャン部４３２から入力した特徴抽出領域の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定する。
【００５３】
サブ領域設定部４３３は、近傍領域取得部４３５およびサブ領域設定部４３６を有する。
【００５４】
近傍領域取得部４３５は、領域スキャン部４３２から入力された注目画素に対し、注目画素を中心とする近傍領域を設定して各画素の画素値を取得する。この際、近傍領域取得部４３５は、注目画素から離隔した画素を含む複数の画素から構成される領域を、近傍領域に設定する。そして、近傍領域取得部４３５は、注目画素ごとに、設定した近傍領域と、取得した複数の画素値とを、サブ領域設定部４３６へ出力する。
【００５５】
サブ領域設定部４３６は、近傍領域取得部４３５から入力された近傍領域から、複数のサブ領域を設定する。そして、サブ領域設定部４３６は、注目画素ごとに、注目画素の画素値（以下「注目画素値」という）と、各サブ領域の各画素の画素値とを、バイナリパターン生成部４３４へ出力する。この際、サブ領域設定部４３６は、注目画素から離隔した画素を含む複数の画素から構成されるサブ領域を、少なくとも１つ設定する。なお、この際、サブ領域設定部４３６は、カメラ４１０の空間周波数特性に基づいて、サブ領域を設定する。カメラ４１０の空間周波数特性に基づくサブ領域設定の手法については、後述する。
【００５６】
バイナリパターン生成部４３４は、注目画素ごとに、設定された複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成する。
【００５７】
バイナリパターン生成部４３４は、領域代表値計算部４３７、サブ領域差分計算部４３８、およびバイナリパターン計算部４３９を有する。
【００５８】
領域代表値計算部４３７は、サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値（以下「領域代表値」という）を算出する。そして、領域代表値計算部４３７は、サブ領域ごとに、注目画素値と、算出した領域代表値とを、サブ領域差分計算部４３８へ出力する。
【００５９】
本実施の形態においては、領域代表値計算部４３７は、１つの画素から成るサブ領域については、その画素の画素値を領域代表値とし、複数の画素から成るサブ領域については、その複数画素の画素値の平均を、領域代表値とする。
【００６０】
サブ領域差分計算部４３８は、注目画素ごとに、注目画素値に対する、領域代表値計算部４３７から入力された各領域代表値の差分を、計算する。そして、サブ領域差分計算部４３８は、注目画素ごとに、算出した各隣接サブ領域の差分を、バイナリパターン計算部４３９へ出力する。
【００６１】
バイナリパターン計算部４３９は、注目画素ごとに、サブ領域差分計算部４３８から入力された各サブ領域の差分が、所定の閾値以上であるか否かを判断する。そして、注目画素ごとに、各サブ領域の差分が所定の閾値以上であるか否かを示すローカルバイナリパターンを生成し、ヒストグラム生成部４４０へ出力する。
【００６２】
ヒストグラム生成部４４０は、特徴抽出領域ごとに、バイナリパターン計算部４３９から入力されたローカルバイナリパターンに基づいて、特徴抽出領域のローカルバイナリパターンの分布を示すヒストグラムを生成する。そして、ヒストグラム生成部４４０は、特徴抽出領域ごとに、生成したヒストグラムを、図２の識別部４５０へ出力する。
【００６３】
図２の識別部４５０は、識別器記憶装置３００が記憶する識別情報を取得する。識別部４５０は、取得した識別情報を用いて、特徴抽出部４３０から入力されたヒストグラムから、対象画像に検出対象物体の部品が含まれるか否かのスコアを算出する。そして、識別部４５０は、識別器記憶装置３００が記憶するすべての特徴抽出領域のスコアから総スコアを算出し、前記総スコアで対象画像に検出対象物体が含まれるか否か判断する。そして、識別部４５０は、判断結果を、例えば画像表示装置や音声出力装置（図示せず）を介して、ユーザに通知する。
【００６４】
なお、識別器学習装置２００および物体検出装置４００は、例えば、それぞれ、ＣＰＵおよびＲＡＭ等の記憶媒体等を含むコンピュータの構成を取ることができる。この場合、識別器学習装置２００および物体検出装置４００は、記憶する制御プログラムをＣＰＵが実行することによってそれぞれ動作する。また、物体検出装置４００は、その計算のみを行う専用チップにしてもよい。また、識別器記憶装置３００は、例えば、半導体メモリやハードディスク等の記憶媒体を含むネットワークサーバである。
【００６５】
学習画像の特徴あるいは対象画像の特徴を精度よく抽出するためには、より広い領域、つまり、より多くの画素を、ローカルバイナリパターンの演算対象とすることが望ましい。ところが、上述の通り、近傍領域の画素数を単に増大させた場合、処理負荷が高くなると共に、ノイズが含まれる可能性が高くなり、検出精度が低下するおそれがある。
【００６６】
このため、物体検出システム１００は、複数の画素から構成されるサブ領域を設定し、サブ領域の画素値に統計処理を行って領域代表値を算出する。そして、物体検出システム１００は、領域代表値を、特徴抽出に用いる。これにより、物体検出システム１００は、ローカルバイナリパターンのビット数を低減するだけでなく、バイナリパターンにおける画素単位でのノイズをも低減することができる。このようなバイナリパターンのヒストグラムを用いて物体検出を行った場合、演算コストが削減され、ノイズに対してロバストな物体検出が可能となる。
【００６７】
したがって、物体検出システム１００は、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素からローカルバイナリパターンを生成することができる。すなわち、物体検出システム１００は、画像に対する物体検出に際して、低照度などの環境で撮影されたノイズの多い画像に対して、高速かつロバストな物体検出が可能な画像特徴を、用いることができる。
【００６８】
以上で、物体検出システム１００の構成についての説明を終える。
【００６９】
次に、本発明に係る特徴抽出装置を含む物体検出装置４００の動作について説明する。なお、識別器学習装置２００における特徴抽出部２２０の動作は、物体検出装置４００における特徴抽出部４３０の動作と共通しているため、その説明を省略する。
【００７０】
図４は、物体検出装置４００の動作の一例を示すフローチャートである。
【００７１】
まず、ステップＳ１１００において、画像入力部４２０は、対象画像を、予め定められたサイズのウィンドウでスキャンする。
【００７２】
図５は、画像スキャンの様子の一例を示す模式図である。
【００７３】
図５に示すように、画像入力部４２０は、対象画像５１０の全体を、予め定められたサイズのウィンドウ５１１でスキャンし、様々な位置から窓領域５１２を取得する。ウィンドウ５１１のサイズは、例えば、６４画素×１２８画素である。
【００７４】
そして、図４のステップＳ１２００において、図３の特徴抽出部４３０の特徴抽出領域取得部４３１は、識別器学習装置２００の学習で得られ、識別器記憶装置に記憶された特徴抽出領域の情報（位置、サイズ等）を、１つ取得する。特徴抽出領域取得部４３１は、例えば、図５に示すように、人の頭部を含む矩形状の領域を、特徴抽出領域５２０として取得する。
【００７５】
そして、ステップＳ１３００において、特徴抽出部４３０の領域スキャン部４３２は、特徴抽出領域５２０の画素の１つを、注目画素として選択する。
【００７６】
そして、ステップＳ１４００において、近傍領域取得部４３５は、ステップＳ１３００でスキャンしている注目画素を中心とする近傍領域を設定する。領域スキャン部４３２は、後述のステップＳ１９００の判断処理によってステップＳ１３００へ戻る度に、未選択の画素を選択し、その結果、近傍領域をシフトさせていく。
【００７７】
図６は、近傍領域のシフトの様子の一例を示す模式図である。
【００７８】
図６に示すように、領域スキャン部４３２は、特徴抽出領域５２０の全体において、注目画素５２１をシフトさせることにより、注目画素５２１を中心とする近傍領域５２２をシフトさせていく。
【００７９】
本実施の形態においては、図６に示すように、近傍領域取得部４３５は、注目画素５２１ごとに、注目画素５２１を中心とする１１画素×１１画素の領域を、近傍領域５２２として設定する。すなわち、近傍領域取得部４３５は、１２１個の画素を、近傍領域として設定する。
【００８０】
そして、図４のステップＳ１５００において、特徴抽出部４３０のサブ領域設定部４３６は、注目画素の近傍領域から、サブ領域を設定する。この際、サブ領域設定部４３６は、カメラ４１０の空間周波数特性に基づいて、サブ領域を設定する。
【００８１】
図７は、カメラ４１０の空間周波数特性の一例を示すグラフである。図７において、横軸は、空間周波数を示し、縦軸は、カメラ４１０からの出力される信号（コントラストの再現率）を示す。
【００８２】
図７に示すように、カメラ４１０の出力５２３は、高い空間周波数においてフィルタリングされている。すなわち、カメラ４１０のレンズは、ローパスフィルターに似たＭＴＦ（Modulation Transfer Function）特性を有する。この特性により、カメラ４１０が撮影した画像の画素値は、隣接する画素間において滑らかに変化し、カメラ４１０で再現可能な空間周波数の最大値に相当する画素数よりも短い長さにおいて、大きな輝度値の変化はなくなる。
【００８３】
そこで、サブ領域設定部４３６は、サブ領域のサイズが、その長さ方向における全ての画素値が均等に近いとみなすことができる大きさ（以下「等画素値長」という）となるように、サブ領域を設定する。ここで、サブ領域のサイズとは、サブ領域の幅、長さ、注目画素との間隔、および他のサブ領域との間隔の少なくとも１つである。これにより、サブ領域設定部４３６は、領域代表値に近傍領域の特徴が精度良く反映されるような、サブ領域を設定することができる。例えば、２つの画素の間隔（画素数）が、空間周波数の最大値の逆数に相当する画素数以下である場合、その２つの画素は同様の輝度として扱うことができる。すなわち、複数の画素同士の間隔が、空間周波数の最大値の逆数に相当する画素数以下である場合、その複数の画素によってサブ領域が構成される。
【００８４】
カメラの種類によってＭＴＦ特性は異なる。また、通常のカメラにおいては、解像感を高めるために、撮像素子に対する空間周波数を高く設定する。この際、細かい縞を撮影した場合にも折り返しノイズによる擬似的な縞模様が発生しないように、撮像素子の画素の間隔の逆数以上にまで、空間周波数を設定することはない。つまり、カメラ４１０によって撮像された画像において隣接する２から３画素間隔の画素同士の画素値は、カメラの種類に関わらず同程度である。このため、サブ領域のサイズは、２画素または３画素に設定することが望ましい。なぜなら、隣接する２画素ないし３画素の間では、画素値の差が小さいため、それらを１つの情報として扱った場合に、情報量の損失は少なく、特徴抽出の演算量および特徴次元数を抑制することが可能となるからである。なお、カメラ４１０のＭＴＦ特性が、低域の狭い帯域のローパスフィルター特性である場合（つまり、急激に減衰する場合）、サブ領域のサイズは、４画素分以上としてもよい。
【００８５】
図８は、サブ領域配置の一例を示す模式図である。
【００８６】
図８に示すように、本実施の形態においては、サブ領域設定部４３６は、近傍領域５２２のうち、注目画素５２１に隣接する８個の画素（番号１１〜１８で示す）のそれぞれを、サブ領域５２４に設定する。また、サブ領域設定部４３６は、注目画素５２１と２画素分離隔した２４個の画素群を３個ずつに分割した８個の領域（番号２１〜２８で示す）のそれぞれを、サブ領域５２４に設定する。更に、サブ領域設定部４３６は、注目画素５２１との４画素分離隔した４０個の画素群のうち、注目画素５２１に対して等角度間隔であって３個ずつの画素から成る８個の領域（番号３１〜３８で示す）のそれぞれを、サブ領域５２４に設定する。すなわち、サブ領域設定部４３６は、注目画素からの画素距離が異なる８個×３組の領域を、サブ領域５２４に設定する。
【００８７】
そして、図４のステップＳ１６００において、領域代表値計算部４３７は、サブ領域群ごとに、サブ領域の画素値の平均を、領域代表値として求める。そして、サブ領域差分計算部４３８は、各領域代表値と注目画素との差分を計算する。
【００８８】
本実施の形態においては、注目画素からの距離が異なる８個×３組の領域がサブ領域として設定されている。このため、領域代表値計算部４３７は、注目画素ごとに、８個の差分値のセットを、３組生成する。
【００８９】
そして、ステップＳ１７００において、バイナリパターン計算部４３５は、所定の閾値との比較により、差分値を２値化して、ローカルバイナリパターンを生成する。
【００９０】
本実施の形態においては、バイナリパターン計算部４３５は、「０」を上記所定の閾値とする。そして、バイナリパターン計算部４３５は、差分が所定の閾値以上であるサブ領域に対しては、値「１」を算出し、差分が所定の閾値未満であるサブ領域に対しては、値「０」を算出する。
【００９１】
すなわち、ローカルバイナリパターンＬＢＰＰ，Ｒは、例えば、以下の式（１）で表される。ここで、ｇｃは、注目画素の画素値であり、Ｐは、サブ領域の数（本実施の形態においては８）である。また、ｐは、サブ領域の順序であり、ｇｐは、ｐ番目のサブ領域の画素平均値（つまり代表値）であり、Ｒは、サブ領域と注目画素の距離に相当する画素数（本実施の形態においては１、３、３）である。
【数１】
【００９２】
本実施の形態においては、注目画素からの距離が異なる８個×３組の領域がサブ領域として設定されているため、バイナリパターン計算部４３５は、注目画素ごとに、８ビットバイナリパターンを３個ずつ生成する。
【００９３】
そして、ステップＳ１８００において、ヒストグラム生成部４４０は、ヒストグラムを構成するビンのうちローカルバイナリパターンＬＢＰＰ，Ｒのビンに、１を加算する。
【００９４】
そして、ステップＳ１９００において、領域スキャン部４３２は、特徴抽出領域に未処理の画素が存在するか否かを判断する。領域スキャン部４３２は、未処理の画素が存在する場合（Ｓ１９００：ＹＥＳ）、ステップＳ１３００へ戻って未処理の画素を選択して処理を繰り返す。また、領域スキャン部４３２は、特徴抽出領域の全てについて処理を完了した場合（Ｓ１９００：ＮＯ）、ステップＳ２０００へ進む。
【００９５】
本実施の形態においては、ヒストグラム生成部４４０は、最終的に、特徴抽出領域ごとに、３個ずつのヒストグラムを生成する。
【００９６】
図９は、あるローカルバイナリパターンがヒストグラムに反映されるまでの処理の一例の概要を示す模式図である。
【００９７】
図９は、ある近傍領域のローカルバイナリパターンがヒストグラムに反映されるまでの処理の一例の概要を示す模式図である。
【００９８】
図９に示すように、近傍領域５２２のＲ＝１の部分領域６０１について、注目画素の画素値ｇｃが「１２８」であったとする。そして、そのサブ領域（Ｒ＝１の場合、一つの画素となる）画素値ｇｐを［２４４，１７８，４８，２７，２５３，２０８，２３８，２８］とする数値群６０２が、取得されたものとする。なお、画素値ｇｐは、近傍画素の左上から時計回りに取得されるものとする。この場合、近傍差分（ｇｐ−ｇｃ）の数値群６０３は、［１１６，５０，−８０，−１０１，１２５，８０，１１０，−１００］となる。ここで、２値化の閾値を「０」とすると、近傍差分を２値化して得られる数値群６０４は、［１，１，０，０，１，１，１，０］となる。そして、ローカルバイナリパターン６０５は、「１１００１１１０」（１０進数では「２０６」）となる。
【００９９】
ヒストグラム生成部４４０は、１を、ビン「２０６」に加算して、ヒストグラム６０６を生成する。
【０１００】
このような、該当ビンへ加算を繰り返すことにより、最終的に、特徴抽出領域画像の特徴を表すヒストグラムが生成される。ヒストグラムＨ（ｋ）は、例えば、Ｉ×Ｊのサイズの特徴抽出領域から得られるローカルバイナリパターンの数の最大値をＫと置くと、以下の式（２）で表される。
【数２】
【０１０１】
なお、バイナリパターン計算部４３５は、３個のローカルバイナリパターンを所定の順序で並べることにより、注目画素ごとに、１個の２４ビットバイナリパターンを生成してもよい。この場合、ヒストグラム生成部４４０は、最終的に、特徴抽出領域ごとに、１個のヒストグラムを生成する。
【０１０２】
そして、図４のステップＳ２０００において、ヒストグラム生成部４４０は、ヒストグラムを、特徴抽出領域の大きさに依存しない特徴量に正規化する。具体的には、ヒストグラム生成部４４０は、例えば、ヒストグラム全てのビンの度数の総和で、ヒストグラムを正規化する。度数の総和ＳｕｍＨｉは、ビンの数をＮ、ｉ番目のビンの度数をＨｉ（ｉ＝１，２，・・・，Ｎ）と置くと、以下の式（３）により表される。
【数３】
【０１０３】
そして、正規化されたヒストグラムのｉ番目のビンの度数Ｈｉ'は、以下の式（４）により表される。
【数４】
【０１０４】
図１０は、ヒストグラムの正規化の様子の一例を示す図である。
【０１０５】
図１０（Ａ）に示すように、正規化前のヒストグラムの各ビンの度数Ｈ１、Ｈ２、・・・、Ｈ８が、順に、「５，６，４，７，１０，５，８，３」であったとする。この場合、度数の総和ＳｕｍＨｉは、以下の式（５）のように算出される。
【数５】
【０１０６】
そして、正規化されたヒストグラムの各ビンの度数Ｈ１'、Ｈ２'、・・・、Ｈ８'は、以下の式（６）のように算出される。
【数６】
【０１０７】
そして、図４のステップＳ２１００において、識別部４５０は、識別器記憶装置３００から識別器を取得し、正規化後のヒストグラムに基づいて、現在の特徴抽出領域に検出対象物体が含まれているか否かを判定するための尤度を示すスコアを算出する。
【０１０８】
そして、ステップＳ２２００において、物体検出装置４００は、算出したスコアを累積加算する。
【０１０９】
そして、ステップＳ２３００において、特徴抽出部４３０は、未処理の特徴抽出領域があるか否かを判断する。すなわち、特徴抽出部４３０は、識別器記憶装置３００に記憶された特徴抽出領域情報に対応する全ての特徴抽出領域について、スコアを算出したか否かを判断する。特徴抽出部４３０は、未処理の特徴抽出領域がある場合には（Ｓ２３００：ＹＥＳ）、ステップＳ１２００へ戻り、未処理の特徴抽出領域に対する処理に移る。また、特徴抽出部４３０は、全ての特徴抽出領域について処理を完了した場合には（Ｓ２３００：ＮＯ）、ステップＳ２４００へ進む。
【０１１０】
そして、ステップＳ２４００において、識別部４５０は、スキャンされたウィンドウごとに、累積加算されたスコアの値に基づいて、検出対象物体が含まれているか否かを判定する。すなわち、識別部４５０は、スコアが所定の閾値以上となっている場合には、そのウィンドウに検出対象物体が含まれていると判定する。なお、識別部４５０は、スコアに対して所定の関数を適用した結果に基づいて、この判定を行ってもよい。
【０１１１】
そして、ステップＳ２５００において、識別部４５０は、物体検出の判定結果を出力する。
【０１１２】
なお、識別部４５０は、指定された物体が対象画像に含まれるか否かを判定してもよいし、対象画像にどのような物体が含まれるかを判定してもよい。前者の場合には、識別部４５０は、例えば、指定された物体に対応する識別器のみを用いて、その物体が含まれるか否かのみを示す情報を出力すればよい。また、後者の場合には、識別部４５０は、複数の識別器を順次適用して判定を繰り返し、物体が検出されたとき、どの物体が検出されたかを示す情報を出力すればよい。
【０１１３】
そして、ステップＳ２６００において、画像入力部４２０は、操作等により処理の終了を指示されたか否かを判断する。画像入力部４２０は、処理の終了を指示されていない場合（Ｓ２６００：ＮＯ）、ステップＳ１１００へ戻り、次のスキャンまたは次の対象画像に対する処理に移る。また、画像入力部４２０は、処理の終了を指示された場合（Ｓ２６００：ＹＥＳ）、一連の処理を終了する。
【０１１４】
このような動作により、物体検出装置４００は、複数の画素から成るものを含むサブ領域を複数設定し、注目画素とサブ領域の平均値との差分を用いて、ローカルバイナリパターンのヒストグラムを生成することができる。これにより、物体検出装置４００は、低い演算量で、次元数が低く、ノイズにロバストな、ローカルバイナリパターンのヒストグラムを生成することができる。そして、物体検出装置４００は、このヒストグラムを画像特徴として用いて、物体検出を行うことができる。
【０１１５】
以上で、物体検出装置４００の動作についての説明を終える。
【０１１６】
なお、サブ領域の配置は、図８に示す例に限定されない。識別器学習装置２００および物体検出装置４００は、カメラ４１０の空間周波数特性その他に応じて、各種のパターンで、サブ領域配置を設定することができる。
【０１１７】
以下、各種のサブ領域配置について説明する。
【０１１８】
図１１および図１２は、注目画素と１画素分離隔した画素群をサブ領域に設定する場合の、サブ領域配置の例を示す図である。
【０１１９】
図１１および図１２に示すように、識別器学習装置２００および物体検出装置４００は、注目画素５２１を中心とする５画素×５画素を、近傍領域５２２に設定してもよい。
【０１２０】
そして、図１１に示すように、識別器学習装置２００および物体検出装置４００は、注目画素５２１との１画素分離隔した１６個の画素群を、オーバーラップさせずに８分割し、それぞれ２個の画素から成る８個のサブ領域５２４を設定してもよい。
【０１２１】
または、図１２に示すように、識別器学習装置２００および物体検出装置４００は、上記１６個の画素群を、１画素ずつオーバーラップさせて分割し、それぞれ３個の画素から成る８個のサブ領域５２４を設定してもよい。
【０１２２】
なお、識別器学習装置２００および物体検出装置４００は、上述の等画素値長が確保される場合は、図１１のように、サブ領域５２４を、オーバーラップさせずに設定することが望ましい。なぜなら、オーバーラッピングしていないサブ領域は、異なる特徴情報を含む可能性が高く、しかも、演算用の画素数が少ないため、演算コストが低いからである。また、図１２のように、サブ領域５２４をオーバーラップさせた場合は、オーバーラッピングしている隣のサブ領域が同じ特徴情報を含み、画素数が多くなるため、演算コストも高くなる。
【０１２３】
図１３および図１４は、隣接画素群、および、注目画素と２画素分離隔した画素群をサブ領域に設定する場合の、サブ領域配置の例を示す図である。
【０１２４】
図１３および図１４に示すように、識別器学習装置２００および物体検出装置４００は、注目画素５２１を中心とする７画素×７画素を、近傍領域５２２に設定し、８個の隣接画素を、サブ領域５２４に設定してもよい。
【０１２５】
そして、図１３に示すように、識別器学習装置２００および物体検出装置４００は、更に、注目画素５２１と２画素分離隔した２４個の画素群を８分割した領域を、サブ領域５２４に設定してもよい。
【０１２６】
または、図１４に示すように、識別器学習装置２００および物体検出装置４００は、注目画素５２１と、１画素分離隔した１６個の画素群、および、２画素分離隔した２４個の画素群とから成る４０個の画素群を取得してもよい。そして、識別器学習装置２００および物体検出装置４００は、この画素群を８分割した領域を、サブ領域５２４に設定してもよい。
【０１２７】
図１４の場合、サブ領域５２４のサイズが大きく、ローカルバイナリパターンの演算に用いられる用いる画素数が多くなる。画素数が多くなると、演算コストが高くなるものの、検出精度が高くなると考えられる。
【０１２８】
ところが、上述の通り、隣接する画素間における画素値は近似しているため、カメラ３１０の空間周波数特性を考慮した場合、図１３の場合の検出精度を、図１４の場合の検出精度と同等にすることが可能である。
【０１２９】
図１５は、カメラ３１０の空間周波数特性を考慮した場合における、図１３に示すサブ領域配置および図１４に示すサブ領域配置の、物体検出における性能評価の実験結果を示す図である。図１５において、横軸は、検出対象でないデータセットに対する誤検出率であるＦＰＰＷ（False Positive Per Window）を示し、縦軸は、検出対象データセットに対する検出率であるＨｉｔ Ｒａｔｅを示す。
【０１３０】
図１５に示すように、図１３に示すサブ領域配置の場合の性能曲線６１１は、図１４に示すサブ領域配置の場合の性能曲線６１２と、ほとんど一致している。
【０１３１】
このように、カメラ４１０の空間周波数特性を考慮してサブ領域配置を配置する場合、演算コストを抑えつつ、高い検出精度を得られることが確認された。
【０１３２】
また、以上の説明では、注目画素からの距離が異なるサブ領域を配置する場合に、注目画素からみて同じ方向に配置される例について説明したが、サブ領域の配置はこれに限定されない。
【０１３３】
図１６は、注目画素に対して放射方向に隣り合うサブ領域の中心位置を、隣接画素以外で一致させた場合の、サブ領域配置の一例である。これは、カメラ４１０の空間周波数特性を考慮しない場合のサブ領域配置の一例である。
【０１３４】
かかる場合、図１６に示すように、近傍領域５２２において、例えば、注目画素５２１から１画素分離隔したサブ領域５２４−１の中心と、注目画素５２１から２画素分離隔したサブ領域５２４−２の中心とは、１画素分の距離を有する。
【０１３５】
図１７は、注目画素に対して放射方向に隣り合うサブ領域の中心位置を、隣接画素以外で異なるようにした場合の、サブ領域配置の一例である。これは、カメラ４１０の空間周波数特性を考慮した場合のサブ領域配置の一例である。
【０１３６】
かかる場合、図１７に示すように、近傍領域５２２において、例えば、注目画素５２１から１画素分離隔したサブ領域５２４−１の中心と、注目画素５２１から２画素分離隔したサブ領域５２４−２の中心とは、１画素分を超えた距離を有する。
【０１３７】
カメラ４１０の空間周波数特性から、情報量の損失を抑えて、特徴抽出の演算量および特徴次元数を抑制するためには、放射方向に隣り合うサブ領域５２４の中心位置は、図１７に示すように、１画素を超えて離れていることが望ましい。
【０１３８】
図１８は、図１６に示すサブ領域配置と、図１７に示すサブ領域配置との、物体検出における性能評価の実験結果を示す図である。
【０１３９】
図１８に示すように、図１６に示すサブ領域配置の場合の性能曲線６２１に比べて、図１７に示すサブ領域配置の場合の性能曲線６２２のほうが、上に位置する。すなわち、図１７に示すサブ領域配置の場合の性能の方が、図１６に示すサブ領域配置の場合の性能よりも良好であることが確認された。
【０１４０】
なお、別途行った実験により、サブ領域配置として採用する範囲は、注目画素から４画素分離隔した画素までが相当であることが分かった。注目画素からサブ領域までの距離が長すぎると、サブ領域が対象画素から離れ過ぎ、サブ領域に認識対象の部品ではない画像が含まれる可能性が高くなるためである。
【０１４１】
以上より、サブ領域は、２〜３画素分の長さとし、円周方向には他のサブ領域とオーバーラップせず、放射方向にはサブ領域の中心位置同士が１画素を超えて離れており、注目画素から４画素分離隔した画素までの範囲内に位置することが望ましい。一方で、サブ領域は、放射方向において、１画素分離隔して配置されていても検出性能に影響を及ぼさない。したがって、物体検出システム１００は、サブ領域を、例えば、図８に示す配置に設定することが望ましい。
【０１４２】
以上で、各種のサブ領域配置についての説明を終える。
【０１４３】
以上説明したように、本実施の形態に係る物体検出システム１００は、注目画素から離隔した画素をローカルバイナリパターンの演算対象に含めつつ、複数の画素の画素値の代表値からローカルバイナリパターンを生成することができる。これにより、物体検出システム１００は、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素からローカルバイナリパターンを生成することができる。
【０１４４】
なお、ローカルバイナリパターンの生成に用いられる画素の数が多くなると、夜間画像のようにノイズの多い画像の場合、正しくないローカルバイナリパターンが生成される可能性が高くなる。画像特徴の抽出精度が低くなると、ひいては、ヒストグラムから生成される識別器の精度や、ヒストグラムを用いて行われる物体検出の精度も、低くなる。
【０１４５】
この点、物体検出システム１００は、複数の画素の画素値の代表値（平均値）を用いるため、画素単位でのノイズの物体検出精度への影響を低減することができる。すなわち、物体検出システム１００は、低照度などの環境で撮影されたノイズの多い画像に対してもロバストな物体検出が可能なヒストグラムを、画像の画像特徴として抽出することができる。
【０１４６】
また、物体検出システム１００は、近傍領域のうち、カメラ４１０の空間周波数特性を考慮して、画素値変化が少ない画素領域をグループ化して、サブ領域として定義することができる。これにより、物体検出システム１００は、検出精度を保ちながら、物体検出における識別器の処理負荷を少なくすることができる。
【０１４７】
なお、以上説明した実施の形態では、識別器学習装置２００、識別器記憶装置３００、および物体検出装置４００が別々に構成されている例について説明したが、これらの２つまたは全ては、１つの装置として一体的に構成されていてもよい。特に、識別器学習装置２００と物体検出装置４００とが一体的に構成される場合には、特徴抽出部２２０、４３は、それぞれ、共通の機能部として構成することができる。また、本実施の形態においては、機械学習手法としてＢｏｏｓｔｉｎｇを用いたが、ＳＶＭ（Support Vector Machine）や決定木（Decision Tree）等、他の機械学習手法を用いてもよい。
【産業上の利用可能性】
【０１４８】
本発明に係る特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置は、物体検出精度の低下を抑え、かつ、処理負荷の増大を抑えた状態で、より多くの画素からローカルバイナリパターンを生成することができる、特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置として有用である。
【符号の説明】
【０１４９】
１０ 特徴抽出装置
１００ 物体検出システム
２００ 識別器学習装置
２１０ 学習用データ記憶部
２２０ 特徴抽出部
２４０ 学習部
３００ 識別器記憶装置
４００ 物体検出装置
４１０ カメラ
４２０ 画像入力部
４３０ 特徴抽出部
４３１ 特徴抽出領域取得部
４３２ 領域スキャン部
４３３ サブ領域設定部
４３４ バイナリパターン生成部
４３５ 近傍領域取得部
４３６ サブ領域設定部
４３７ 領域代表値計算部
４３８ サブ領域差分計算部
４３９ バイナリパターン計算部
４４０ ヒストグラム生成部
４５０ 識別部
【特許請求の範囲】
【請求項１】
画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定するサブ領域設定部と、
前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成するバイナリパターン生成部と、
を有し、
前記サブ領域設定部は、
少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、
前記バイナリパターン生成部は、
前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出し、前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成する、
特徴抽出装置。
【請求項２】
前記画像は、カメラによる撮影画像であり、
前記サブ領域設定部は、
前記カメラの空間周波数特性に基づいて、前記サブ領域を設定する、
請求項１記載の特徴抽出装置。
【請求項３】
前記サブ領域設定部は、
前記サブ領域の幅、長さ、前記注目画素との間隔、および他の前記サブ領域との間隔の少なくとも１つが、前記カメラの空間周波数特性からみて、その長さ方向における全ての画素値が均等に近いとみなすことができる大きさとなるように、前記サブ領域を設定する、
請求項２記載の特徴抽出装置。
【請求項４】
前記サブ領域設定部は、
前記注目画素から等距離上に、前記複数のサブ領域を設定する、
請求項１記載の特徴抽出装置。
【請求項５】
前記サブ領域設定部は、
前記複数のサブ領域を、互いにオーバーラップしないように設定する、
請求項１記載の特徴抽出装置。
【請求項６】
前記サブ領域設定部は、
前記複数のサブ領域を、互いに離隔するように設定する、
請求項１記載の特徴抽出装置。
【請求項７】
前記サブ領域設定部は、
前記複数のサブ領域を、前記注目画素に対して等角度間隔となるように設定する、
請求項１記載の特徴抽出装置。
【請求項８】
前記サブ領域設定部は、
少なくとも、前記注目画素に隣接する複数の画素のそれぞれと、前記注目画素からそれぞれ２画素分以上離隔した複数の画素から構成される領域とを、前記サブ領域として設定する、
請求項１記載の特徴抽出装置。
【請求項９】
前記画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成するヒストグラム生成部、を更に有する請求項１に記載の特徴抽出装置と、
所定の物体を識別するための識別器を用いて、前記特徴抽出装置により生成された前記ヒストグラムから、前記画像に前記所定の物体が含まれるか否か判断する識別部と、を有する、
画像処理装置。
【請求項１０】
画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定するステップと、
前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成するステップと、
を有し、
前記サブ領域を設定するステップは、
少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、
前記ローカルバイナリパターンを生成するステップは、
前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出するステップと、
前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成するステップと、を有する、
特徴抽出方法。
【請求項１１】
コンピュータに、
画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定する処理と、
前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成する処理と、
を実行させ、
前記サブ領域を設定する処理は、
少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、
前記ローカルバイナリパターンを生成する処理は、
前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出する処理と、
前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成する処理と、を含む、
特徴抽出プログラム。
【請求項１】
画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定するサブ領域設定部と、
前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成するバイナリパターン生成部と、
を有し、
前記サブ領域設定部は、
少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、
前記バイナリパターン生成部は、
前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出し、前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成する、
特徴抽出装置。
【請求項２】
前記画像は、カメラによる撮影画像であり、
前記サブ領域設定部は、
前記カメラの空間周波数特性に基づいて、前記サブ領域を設定する、
請求項１記載の特徴抽出装置。
【請求項３】
前記サブ領域設定部は、
前記サブ領域の幅、長さ、前記注目画素との間隔、および他の前記サブ領域との間隔の少なくとも１つが、前記カメラの空間周波数特性からみて、その長さ方向における全ての画素値が均等に近いとみなすことができる大きさとなるように、前記サブ領域を設定する、
請求項２記載の特徴抽出装置。
【請求項４】
前記サブ領域設定部は、
前記注目画素から等距離上に、前記複数のサブ領域を設定する、
請求項１記載の特徴抽出装置。
【請求項５】
前記サブ領域設定部は、
前記複数のサブ領域を、互いにオーバーラップしないように設定する、
請求項１記載の特徴抽出装置。
【請求項６】
前記サブ領域設定部は、
前記複数のサブ領域を、互いに離隔するように設定する、
請求項１記載の特徴抽出装置。
【請求項７】
前記サブ領域設定部は、
前記複数のサブ領域を、前記注目画素に対して等角度間隔となるように設定する、
請求項１記載の特徴抽出装置。
【請求項８】
前記サブ領域設定部は、
少なくとも、前記注目画素に隣接する複数の画素のそれぞれと、前記注目画素からそれぞれ２画素分以上離隔した複数の画素から構成される領域とを、前記サブ領域として設定する、
請求項１記載の特徴抽出装置。
【請求項９】
前記画像から生成された前記ローカルバイナリパターンの分布を示すヒストグラムを生成するヒストグラム生成部、を更に有する請求項１に記載の特徴抽出装置と、
所定の物体を識別するための識別器を用いて、前記特徴抽出装置により生成された前記ヒストグラムから、前記画像に前記所定の物体が含まれるか否か判断する識別部と、を有する、
画像処理装置。
【請求項１０】
画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定するステップと、
前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成するステップと、
を有し、
前記サブ領域を設定するステップは、
少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、
前記ローカルバイナリパターンを生成するステップは、
前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出するステップと、
前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成するステップと、を有する、
特徴抽出方法。
【請求項１１】
コンピュータに、
画像の全部または一部の画素ごとに、当該画素を注目画素とし、当該注目画素に対して複数のサブ領域を設定する処理と、
前記注目画素ごとに、設定された前記複数のサブ領域のそれぞれとの画素値の比較をビット値により示すローカルバイナリパターンを生成する処理と、
を実行させ、
前記サブ領域を設定する処理は、
少なくとも、前記注目画素から離隔した画素を含む複数の画素から構成される領域を、前記サブ領域として設定し、
前記ローカルバイナリパターンを生成する処理は、
前記サブ領域ごとに、当該サブ領域を構成する１つまたは複数の画素の画素値群を代表する代表値を算出する処理と、
前記注目画素の画素値に対する当該代表値の差分が所定の閾値以上であるか否かをビット値により示すビットデータを、前記ローカルバイナリパターンとして生成する処理と、を含む、
特徴抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−４１３３０（Ｐ２０１３−４１３３０Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７６１３９（Ｐ２０１１−１７６１３９）
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]