カメラによって取得されたシーンのテスト画像内の人物を検出する方法及びシステム
カメラによって取得されたシーンの画像内の人物を検出する方法及びシステムが提示される。画像内のピクセルの勾配が求められ、ヒストグラムのビンにソートされる。各ヒストグラムビンの積分画像が記憶される。特徴が積分画像から抽出され、抽出される特報は、テスト画像内のサイズが可変であり且つランダムに選択されるピクセルブロックの実質的により大きなセットのサブセットに対応する。特徴がカスケード分類器に適用され、テスト画像が人物を含むか否かが判断される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピュータビジョンに関し、特に、カメラによって取得されたシーンの画像中の人物を検出することに関する。
【背景技術】
【０００２】
カメラによって取得されたシーンにおける一連の画像の中から人物の顔を検出することは比較的容易である。しかし、シーンにおける服装、関節、及び照明の条件による人物の外観の広い多様性により、人物の検出は依然として困難な問題である。
【０００３】
コンピュータビジョン法を使用して人物を検出する２種類の主な方法がある。D. M. Gavrila著「The visual analysis of human movement: A survey」（Journal of Computer Vision and Image Understanding (CVIU), vol. 73, no. 1, pp. 82 - 98, 1999）参照。一方の種類の方法は、部位ベースの解析を使用するのに対して、他方の種類は単一検出ウィンドウ解析を使用する。これらの方法に対して異なる特徴及び異なる分類器が知られている。
【０００４】
部位ベースの方法は、体の関節による人物外観の大きな多様性に対応することを目的とする。この方法では、各部位が別個に検出され、部位のいくつか又はすべてが幾何学的にもっともな構成である場合に人物が検出される。
【０００５】
ピクトリアルストラクチャ（pictorial structure）法は、オブジェクトを、バネによって接続されたその複数の部位により記述する。各部位は、次元及び向きの異なる微分ガウスフィルタを使用して表される（P. Felzenszwalb及びD. Huttenlocher著「Pictorial structures for object recognition」(International Journal of Computer Vision (IJCV), vol. 61, no. 1, pp. 55 - 79, 2005)）。
【０００６】
別の方法は、真っ直ぐな円筒体（straight cylinder）の投影として部位を表す（S. Ioffe及びD. Forsyth著「Probabilistic methods for finding people」(International Journal of Computer Vision (IJCV), vol. 43, no. 1, pp. 45 - 68, 2001)）。S. Ioffe及びD. Forsythは、部位を徐々に組み立てて完全に組み立てられた体にする方法を説明している。
【０００７】
別の方法は、局所的な向きの特徴の共起として部位を表す（K. Mikolajczyk、C. Schmid、及びA. Zisserman著「Human detection based on a probabilistic assembly of robust part detectors」（European Conference on Computer Vision (ECCV), 2004））。K. Mikolajczyk、C. Schmid、及びA. Zissermanは、特徴を検出し、それから部位を検出し、そして最終的に人物が部位の組み立てに基づいて検出される。
【０００８】
検出ウィンドウ手法は、面取り距離（chamfer distance）を使用してエッジ画像をデータセットと比較する方法を含む（D. M. Gavrila及びV. Philomin著「Real-time object detection for smart vehicles」(Conference on Computer Vision and Pattern Recognition (CVPR), 1999)）。別の方法は、移動している人物を検出するために空間−時間情報を処理する（P. Viola、M. Jones、及びD. Snow著「Detecting pedestrians using patterns of motion and appearance」(International Conference on Computer Vision (ICCV), 2003)）。
【０００９】
第３の方法は、多項式サポートベクトルマシン（ＳＶＭ）分類器と組み合わせられたハールベースの表現を使用する（C. Papageorgiou及びT. Poggiom著「A trainable system for object detection」(International Journal of Computer Vision (IJCV), vol. 38, no. 1, pp. 15 - 33, 2000)）。
【００１０】
Dalal ＆ Triggs法
別のウィンドウベースの方法は、勾配方向ヒストグラム（ＨｏＧ）の密な格子を使用する（N. Dalal及びB. Triggs著「Histograms of oriented gradients for human detection」(Conference on Computer Vision and Pattern Recognition (CVPR), 2005)、これを参照により本明細書に援用する）。
【００１１】
Dalal及びTriggsは、１６×１６ピクセルの固定サイズを有するブロックにわたるヒストグラムを計算して、検出ウィンドウを表す。この方法は線形ＳＶＭ分類器を使用して人物を検出する。また、この方法はオブジェクト表現に有用である（D. Lowe著「Distinctive image features from scale-invariant key points」(International Journal of Computer Vision (IJCV), vol. 60, no. 2, pp. 91 - 110, 2004)、K. Mikolajczyk、C. Schmid、及びA. Zisserman著「Human detection based on a probabilistic assembly of robust part detectors」(European Conference on Computer Vision (ECCV), 2004)、並びにJ. M. S. Belongie及びJ. Puzicha著「Shape matching object recognition using shape contexts」(IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol. 24, no. 24, pp. 509 - 522, 2002)）。
【００１２】
Dalal & Triggs法では、各検出ウィンドウは８×８ピクセルサイズのセルに分割され、ブロックが互いに重なるように、２×２セルの各群がスライドして１６×１６ブロックに組み込まれる。セルから画像特徴が抽出され、特徴は９ビン勾配ヒストグラム（ＨｏＧ）にソートされる。各ウィンドウは、セルのすべての特徴ベクトルの連結ベクトルで表される。したがって、各ブロックは、Ｌ２単位長に正規化される３６次元特徴ベクトルで表される。各６４×１２８検出ウィンドウは７×１５ブロックで表され、検出ウィンドウ１つ当たりの特徴は合計で３７８０個になる。特徴を使用して、線形ＳＶＭ分類器をトレーニングする。
【００１３】
Dalal & Triggs法は以下の構成要素に依存する。ＨｏＧは基本構築ブロックである。固定サイズの検出ウィンドウ全体にわたるＨｏＧの密な格子が、検出ウィンドウの特徴記述を提供する。第３に、各ブロック内でのＬ２正規化ステップにより、絶対値ではなく近傍セルに対する相対特徴が強調される。オブジェクト／非オブジェクト分類についてトレーニングされる従来のソフト線形ＳＶＭを使用する。ガウスカーネルＳＶＭは、実行時間がはなるかに長くなることを代価にして性能をわずかに増大させる。
【００１４】
不都合なことに、Dalal & Triggs法では、ブロックは比較的小さく、１６×１６ピクセルサイズに固定されている。このため、検出ウィンドウ内で局所的な特徴しか検出することができない。「大きな画（picture）」又は大局的な特徴を検出することができない。
【００１５】
また、Dalal & Triggs法は、非常に疎な走査法により１つの画像当たりたった約８００個の検出ウィンドウが評価される場合であっても、毎秒約１フレームの速度で３２０×２４０ピクセル画像しか処理することができない。このため、Dalal & Triggs法はリアルタイム用途には不適である。
【００１６】
勾配方向の積分ヒストグラム
矩形フィルタとして知られているものを使用して、積分画像をハール−ウェーブレット型の特徴の非常に高速な評価に使用することができる（P. Viola及びM. Jones著「Rapid object detection using a boosted cascade of simple features」(Conference on Computer Vision and Pattern Recognition (CVPR) 2001)、並びに２００３年６月１７日にJones他により出願された「Detecting Arbitrarily Oriented Objects in Images」と題する米国特許出願第１０／４６３，７２６号、両方とも参照により本明細書に援用する）。
【００１７】
積分画像は、可変矩形画像領域にわたるヒストグラムの算出に使用することもできる（F. Porikli著「Integral histogram: A fast way to extract histograms in Cartesian spaces」(Conference on Computer Vision and Pattern Recognition (CVPR), 2005)並びに２００５年２月７日にPorikliにより出願された「Method for Extracting and Searching Integral Histograms of Data Samples」と題する米国特許出願第１１／０５２，５９８号、両方とも参照により本明細書に援用する）。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明の一実施の形態による方法及びシステムは、カスケード分類器を積分画像から抽出される特徴と統合して、高速且つ正確な人物検出を達成する。特徴は可変サイズブロックのＨｏＧである。ＨｏＧ特徴は人物の目立った特徴を表す。ブロックのサブセットが大きな候補ブロックセットからランダムに選択される。アダブースト（AdaBoost）技法が、カスケード分類器のトレーニングに使用される。システムは、従来の方法と同様の精度を維持しながら、画像が走査される密度に応じて毎秒最高で３０フレームの速度で画像を処理することができる。
【課題を解決するための手段】
【００１９】
静止画像内の人物を検出する方法は、カスケード分類器を勾配方向特徴ヒストグラムと統合する。さらに、特徴は、従来の方法より約５０倍大きい、可変のサイズ、ロケーション、及びアスペクト比を有するブロックの非常に大きなセットから抽出される。顕著なことに、多数のブロックの場合であっても、この方法は従来の方法よりも約７０倍高速である。システムは、毎秒最高で３０フレームの速度で画像を処理することができ、本発明による方法をリアルタイム用途に適したものにする。
【発明を実施するための最良の形態】
【００２０】
図１は、トレーニング画像１のセットを使用して分類器１５をトレーニングする（１０）と共に、トレーニングされた分類器１５を使用して１つ又は複数のテスト画像１０１内の人物２１を検出する（２０）システム及び方法のブロック図である。特徴をトレーニング画像から抽出する方法及びテスト画像から抽出する方法は同じである。トレーニングは一度だけの前処理段階（one time preprocessing phase）で行われるため、トレーニングを後に説明する。
【００２１】
図２は、本発明の一実施の形態による、カメラ１０４で取得されたシーン１０３の１つ又は複数のテスト画像１０１内の人物２１を検出する方法１００を示す。
【００２２】
まず、各ピクセルの勾配を求める（１１０）。セル毎に、セル内のピクセルの勾配の方向の加重和を求める。但し、重みは勾配の大きさに基づく。勾配は勾配ヒストグラム（ＨｏＧ）１１１の９つのビンにソートされる。ＨｏＧの各ビンの積分画像１２１をメモリに記憶する（１２０）。これにより本発明のこの実施の形態の９つの積分画像が生成される。積分画像が使用されて、ＨｏＧに関して特徴１３１が効率的に抽出され（１３０）、特徴１３１は、入力画像内のサイズが可変であり且つランダムに選択される（１４０）矩形領域（ピクセルブロック）の実質的により大きなセットのサブセットに事実上対応する。次に、選択された特徴１４１がカスケード分類器１５に適用され、テスト画像１０１が人物を含むか否かが判断される（１５０）。
【００２３】
本発明の方法１００は、Dalal及びTriggsにより述べられた方法と大幅に異なる。Dalal及びTriggsは、各ブロックのＨｏＧを構築する際にガウスマスク及びトリリニア補間を使用する。本発明では、これらの技法を積分画像に適用することができない。Dalal及びTriggsは、Ｌ２正規化ステップを各ブロックに使用する。本発明では、それに代えて、Ｌ１正規化を使用する。積分画像のＬ１正規化は、Ｌ２正規化よりも高速に算出される。Dalal & Triggs法は、単一スケール、すなわち固定サイズ、つまり１６×１６ピクセルブロックの使用を提唱している。Dalal & Triggs法では、複数のスケールを使用しても、記述子サイズが大幅に増大することを代価として性能がほんのわずかしか増大されないと述べられている。Dalal & Triggs法では、ブロックが比較的小さいため、局所的な特徴しか検出することができない。また、Dalal & Triggs法は従来のソフトＳＶＭ分類器を使用する。本発明では、それぞれ弱分類器から成る、強分類器をカスケード連結したものを使用する。
【００２４】
可変サイズブロック
Dalal & Triggs法と直観的に異なり（counter intuitively）、本発明では、特徴１３１が、積分画像１２１を使用して多数の可変サイズブロックから抽出される（１３０）。具体的には、６４×１２８の検出ウィンドウの場合、１２×１２〜６４×１２８の範囲のサイズのすべてのブロックを考慮する。ブロック（矩形領域）の幅とブロックの高さとの比は、以下の比、すなわち１：１、１：２、及び２：１のいずれであってもよい。
【００２５】
さらに、本発明の検出ウィンドウをスライドさせるときに、ブロックサイズに応じて｛４，６，８｝ピクセルのいずれであってもよい小さなステップサイズを選択して、重複するブロックの密な格子を得る。合計で５０３１個の可変サイズブロックが６４×１２８検出ウィンドウ内で画定され、各ブロックは、ブロックの４つの２×２部分領域内の９つの方向ビンを連結することにより得られる３６次元ベクトル１３１の形態のヒストグラムに関連付けられる。
【００２６】
Dalal & Triggs法と異なり、本発明者らは、可変サイズブロックの非常に大きなセットが有利であるものと考える。第１に、特定のオブジェクトカテゴリの場合、有用なパターンが種々のスケールにわたって分散する傾向がある。Dalal & Triggsの従来の１０５個の固定サイズブロックは、非常に限られた局所情報のみを符号化する。対照的に、本発明は局所情報及び大局情報の両方を符号化する。第２に、本発明によるブロック５０３１個というはるかに大きなブロックセット内のブロックのいくつかは、人物の意味論的（semantic）人体部位、例えば、手足又は胴体に対応することができる。これは、画像内の人物をはるかに効率的に検出できるようにする。従来技術のような少数の固定サイズブロックは、このようなマッピングを確立する可能性が低い。本発明が使用するＨｏＧ特徴は、局所変化に対して頑健であり、可変サイズブロックが大局的な画を取り込むことができる。本方法の別の見方は、検出ウィンドウ法を使用して部位ベースの検出を行う暗黙的な方法としてである。
【００２７】
特徴のサンプリング
可能な非常に多くの数のブロック（５３０１）のぞれぞれの特徴を評価するには非常に時間がかかり得る。このため、B. Scholkopf及びA. Smola著「Learning with Kernels Support Vector Machines」(Regularization, Optimization and Beyond. MIT Press, Cambridge, MA, 2002）により述べられるサンプリング方法を利用し、この文献を参照により本明細書に援用する。
【００２８】
B. Scholkopf及びA. Smolaは、少数の試行でｍ個のランダム変数の最大値、すなわち本発明の場合では特徴ベクトル１３１を高い確率で見つけることができると述べている。より具体的には、すべての推定のうちの最良の０．０５の中で確率０．９５を有する推定を得るために、サイズｌｏｇ０．０５／ｌｏｇ０．９５≒５９のランダムサブサンプリングにより、すべてのランダム変数が考慮された場合とほぼ同等に良好な性能が保証される。実際の用途では、ランダムに２５０個の特徴１４１、すなわち利用可能な５０３１個の特徴の約５％を選択する（１４０）。次に、選択された特徴１４１が、カスケード分類器１５を使用して分類され（１５０）、テスト画像（複数可）１０１が人物を含むか否かが検出される（１５０）。
【００２９】
カスケード分類器のトレーニング
最も情報の多い部分、すなわち人物分類に使用されるブロックは、アダブーストプロセスを使用して選択される。アダブーストは、汎用性能で効率的な学習プロセス及び強力なバインド（bounds）を提供する（Freund他著「A decision-theoretic generalization of on-line learning and an application to boosting」(Computational Learning Theory, Eurocolt '95, pages 23 - 37, Springer-Verlag, 1995）及びSchapire他著「Boosting the margin: A new explanation for the effectiveness of voting methods」(Proceedings of the Fourteenth International Conference on Machine Learning, 1997）参照。両方とも参照により本明細書に援用する）。
【００３０】
本発明は、P. Viola他により述べられるカスケードを利用する。Viola他のように比較的小さな矩形フィルタを使用することに代えて、本発明は可変サイズブロックに関連して３６次元特徴ベクトル、すなわち、ＨｏＧを使用する。
【００３１】
Viola等の監視用途では、検出される人物が画像内で比較的小さく、通常、クリアな背景、例えば道路又は何もない壁等を有することにも留意されたい。検出性能はまた、利用可能な動き情報に大きく依存する。これとは対照的に、本発明では、動き情報、例えば、単一のテスト画像内の人物へのアクセスなしで、都市環境内の歩行者等の極めて複雑な背景及び劇的な照明変化を有するシーン内の人物を検出したい。
【００３２】
本発明の弱分類器は、線形ＳＶＭから求められる分離超平面である。カスケード分類器のトレーニングは１度だけの事前プロセスであるため、トレーニング段階の性能を問題として考えない。本発明のカスケード分類器がDalal & Triggs法の従来のソフト線形ＳＶＭと大きく異なることに留意されたい。
【００３３】
上述したように、トレーニング画像１のセットからトレーニング特徴を抽出することにより、分類器１５をトレーニングする（１０）。カスケードの各直列段毎に、弱分類器のセットから成る強分類器を構築し、その構想は、入力画像内の多数のオブジェクト（領域）が可能な限り素早く拒絶されるというものである。したがって、最初の分類段を「リジェクタ」と呼ぶことができる。
【００３４】
本方法では、弱分類器は線形ＳＶＭである。カスケードの各段において、所定の品質測定基準が満たされるまで弱分類器を追加し続ける。品質測定基準は、検出率及び誤検出率に関しての測定基準である。結果得られるカスケードは約１８段の強分類器及び約８００の弱分類器を有する。これらの数が、分類ステップの所望の精度及び速度に応じて可変であることに留意されたい。
【００３５】
トレーニングステップの擬似コードを付録Ａに提供する。トレーニングに、Dalal及びTriggsが使用したものと同じトレーニング「ＩＮＲＩＡ」画像データセットを使用する。ＭＩＴ歩行者データセット等の他のデータセットを使用してもよい（A. Mohan、C. Papageorgiou、及びT. Poggio著「Example-based object detection in images by components」(PAMI, vol. 23, no. 4, pp. 349 - 361, April 2001）並びにC. Papageorgiou及びT. Poggio著「A trainable system for object detection」(IJCV, vol. 38, no. 1 , pp. 15 - 33, 2000）。
【００３６】
驚くべきことに、本発明者らは、本発明により構築されるカスケードが最初の段において比較的大きなブロックを使用し、カスケードの後の段に使用されるブロックはより小さいことを発見した。
【００３７】
本発明を好ましい実施の形態の例として説明してきたが、他の種々の適合及び変更を本発明の精神及び範囲内で行うことが可能なことを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内にあるこのようなすべての変形及び変更を包含することである。
【００３８】
付録Ａ
カスケードのトレーニング
入力： Ｆｔａｒｇｅｔ：目標となる全体誤検出率
ｆｍａｘ： １つのカスケード段当たりで許容可能な最大誤検出率（fals e positive rate）
ｄｍｉｎ： １つのカスケード段当たりで許容可能な最小検出
Ｐｏｓ： 正のサンプルセット
Ｎｅｇ： 負のサンプルセット
初期化：ｉ＝０、Ｄｉ＝１．０、Ｆｉ＝１．０
ｌｏｏｐ Ｆｉ＞Ｆｔａｒｇｅｔ
ｉ＝ｉ＋１
ｆｉ＝１．０
ｌｏｏｐ ｆｉ＞ｆｍａｘ
Ｐｏｓ及びＮｅｇを使用して２５０個の線形ＳＶＭをトレー
ニングし、最良のＳＶＭを強分類器に追加し、アダブースト
様式で重みを更新し、現在の強分類器でＰｏｓ及びＮｅｇを
評価し、ｄｍｉｎが当てはまるまで閾値を低減し、この閾値
下でｆｉを計算する
ｌｏｏｐ ｅｎｄ
Ｆｉ＋１＝Ｆｉ×ｆｉ
Ｄｉ＋１＝Ｄｉ×ｄｍｉｎ
空集合Ｎｅｇ
ｉｆ Ｆｉ＞Ｆｔａｒｇｅｔ，ｔｈｅｎ負、すなわち人物でない画像で
現在のカスケード分類器を評価し、誤って分類されたサンプルをＮｅｇ
セットに追加する
ｌｏｏｐ ｅｎｄ
出力： 各段がＳＶＭのブースト分類器を有するｉ段カスケード
最終トレーニング精度：Ｆｉ及びＤｉ
【図面の簡単な説明】
【００３９】
【図１】分類器をトレーニングすると共に、トレーニングされた分類器を使用して画像内の人物を検出するシステム及び方法のブロック図である。
【図２】本発明の一実施の形態によるテスト画像内の人物を検出する方法の流れ図である。
【技術分野】
【０００１】
本発明は、包括的にはコンピュータビジョンに関し、特に、カメラによって取得されたシーンの画像中の人物を検出することに関する。
【背景技術】
【０００２】
カメラによって取得されたシーンにおける一連の画像の中から人物の顔を検出することは比較的容易である。しかし、シーンにおける服装、関節、及び照明の条件による人物の外観の広い多様性により、人物の検出は依然として困難な問題である。
【０００３】
コンピュータビジョン法を使用して人物を検出する２種類の主な方法がある。D. M. Gavrila著「The visual analysis of human movement: A survey」（Journal of Computer Vision and Image Understanding (CVIU), vol. 73, no. 1, pp. 82 - 98, 1999）参照。一方の種類の方法は、部位ベースの解析を使用するのに対して、他方の種類は単一検出ウィンドウ解析を使用する。これらの方法に対して異なる特徴及び異なる分類器が知られている。
【０００４】
部位ベースの方法は、体の関節による人物外観の大きな多様性に対応することを目的とする。この方法では、各部位が別個に検出され、部位のいくつか又はすべてが幾何学的にもっともな構成である場合に人物が検出される。
【０００５】
ピクトリアルストラクチャ（pictorial structure）法は、オブジェクトを、バネによって接続されたその複数の部位により記述する。各部位は、次元及び向きの異なる微分ガウスフィルタを使用して表される（P. Felzenszwalb及びD. Huttenlocher著「Pictorial structures for object recognition」(International Journal of Computer Vision (IJCV), vol. 61, no. 1, pp. 55 - 79, 2005)）。
【０００６】
別の方法は、真っ直ぐな円筒体（straight cylinder）の投影として部位を表す（S. Ioffe及びD. Forsyth著「Probabilistic methods for finding people」(International Journal of Computer Vision (IJCV), vol. 43, no. 1, pp. 45 - 68, 2001)）。S. Ioffe及びD. Forsythは、部位を徐々に組み立てて完全に組み立てられた体にする方法を説明している。
【０００７】
別の方法は、局所的な向きの特徴の共起として部位を表す（K. Mikolajczyk、C. Schmid、及びA. Zisserman著「Human detection based on a probabilistic assembly of robust part detectors」（European Conference on Computer Vision (ECCV), 2004））。K. Mikolajczyk、C. Schmid、及びA. Zissermanは、特徴を検出し、それから部位を検出し、そして最終的に人物が部位の組み立てに基づいて検出される。
【０００８】
検出ウィンドウ手法は、面取り距離（chamfer distance）を使用してエッジ画像をデータセットと比較する方法を含む（D. M. Gavrila及びV. Philomin著「Real-time object detection for smart vehicles」(Conference on Computer Vision and Pattern Recognition (CVPR), 1999)）。別の方法は、移動している人物を検出するために空間−時間情報を処理する（P. Viola、M. Jones、及びD. Snow著「Detecting pedestrians using patterns of motion and appearance」(International Conference on Computer Vision (ICCV), 2003)）。
【０００９】
第３の方法は、多項式サポートベクトルマシン（ＳＶＭ）分類器と組み合わせられたハールベースの表現を使用する（C. Papageorgiou及びT. Poggiom著「A trainable system for object detection」(International Journal of Computer Vision (IJCV), vol. 38, no. 1, pp. 15 - 33, 2000)）。
【００１０】
Dalal ＆ Triggs法
別のウィンドウベースの方法は、勾配方向ヒストグラム（ＨｏＧ）の密な格子を使用する（N. Dalal及びB. Triggs著「Histograms of oriented gradients for human detection」(Conference on Computer Vision and Pattern Recognition (CVPR), 2005)、これを参照により本明細書に援用する）。
【００１１】
Dalal及びTriggsは、１６×１６ピクセルの固定サイズを有するブロックにわたるヒストグラムを計算して、検出ウィンドウを表す。この方法は線形ＳＶＭ分類器を使用して人物を検出する。また、この方法はオブジェクト表現に有用である（D. Lowe著「Distinctive image features from scale-invariant key points」(International Journal of Computer Vision (IJCV), vol. 60, no. 2, pp. 91 - 110, 2004)、K. Mikolajczyk、C. Schmid、及びA. Zisserman著「Human detection based on a probabilistic assembly of robust part detectors」(European Conference on Computer Vision (ECCV), 2004)、並びにJ. M. S. Belongie及びJ. Puzicha著「Shape matching object recognition using shape contexts」(IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol. 24, no. 24, pp. 509 - 522, 2002)）。
【００１２】
Dalal & Triggs法では、各検出ウィンドウは８×８ピクセルサイズのセルに分割され、ブロックが互いに重なるように、２×２セルの各群がスライドして１６×１６ブロックに組み込まれる。セルから画像特徴が抽出され、特徴は９ビン勾配ヒストグラム（ＨｏＧ）にソートされる。各ウィンドウは、セルのすべての特徴ベクトルの連結ベクトルで表される。したがって、各ブロックは、Ｌ２単位長に正規化される３６次元特徴ベクトルで表される。各６４×１２８検出ウィンドウは７×１５ブロックで表され、検出ウィンドウ１つ当たりの特徴は合計で３７８０個になる。特徴を使用して、線形ＳＶＭ分類器をトレーニングする。
【００１３】
Dalal & Triggs法は以下の構成要素に依存する。ＨｏＧは基本構築ブロックである。固定サイズの検出ウィンドウ全体にわたるＨｏＧの密な格子が、検出ウィンドウの特徴記述を提供する。第３に、各ブロック内でのＬ２正規化ステップにより、絶対値ではなく近傍セルに対する相対特徴が強調される。オブジェクト／非オブジェクト分類についてトレーニングされる従来のソフト線形ＳＶＭを使用する。ガウスカーネルＳＶＭは、実行時間がはなるかに長くなることを代価にして性能をわずかに増大させる。
【００１４】
不都合なことに、Dalal & Triggs法では、ブロックは比較的小さく、１６×１６ピクセルサイズに固定されている。このため、検出ウィンドウ内で局所的な特徴しか検出することができない。「大きな画（picture）」又は大局的な特徴を検出することができない。
【００１５】
また、Dalal & Triggs法は、非常に疎な走査法により１つの画像当たりたった約８００個の検出ウィンドウが評価される場合であっても、毎秒約１フレームの速度で３２０×２４０ピクセル画像しか処理することができない。このため、Dalal & Triggs法はリアルタイム用途には不適である。
【００１６】
勾配方向の積分ヒストグラム
矩形フィルタとして知られているものを使用して、積分画像をハール−ウェーブレット型の特徴の非常に高速な評価に使用することができる（P. Viola及びM. Jones著「Rapid object detection using a boosted cascade of simple features」(Conference on Computer Vision and Pattern Recognition (CVPR) 2001)、並びに２００３年６月１７日にJones他により出願された「Detecting Arbitrarily Oriented Objects in Images」と題する米国特許出願第１０／４６３，７２６号、両方とも参照により本明細書に援用する）。
【００１７】
積分画像は、可変矩形画像領域にわたるヒストグラムの算出に使用することもできる（F. Porikli著「Integral histogram: A fast way to extract histograms in Cartesian spaces」(Conference on Computer Vision and Pattern Recognition (CVPR), 2005)並びに２００５年２月７日にPorikliにより出願された「Method for Extracting and Searching Integral Histograms of Data Samples」と題する米国特許出願第１１／０５２，５９８号、両方とも参照により本明細書に援用する）。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明の一実施の形態による方法及びシステムは、カスケード分類器を積分画像から抽出される特徴と統合して、高速且つ正確な人物検出を達成する。特徴は可変サイズブロックのＨｏＧである。ＨｏＧ特徴は人物の目立った特徴を表す。ブロックのサブセットが大きな候補ブロックセットからランダムに選択される。アダブースト（AdaBoost）技法が、カスケード分類器のトレーニングに使用される。システムは、従来の方法と同様の精度を維持しながら、画像が走査される密度に応じて毎秒最高で３０フレームの速度で画像を処理することができる。
【課題を解決するための手段】
【００１９】
静止画像内の人物を検出する方法は、カスケード分類器を勾配方向特徴ヒストグラムと統合する。さらに、特徴は、従来の方法より約５０倍大きい、可変のサイズ、ロケーション、及びアスペクト比を有するブロックの非常に大きなセットから抽出される。顕著なことに、多数のブロックの場合であっても、この方法は従来の方法よりも約７０倍高速である。システムは、毎秒最高で３０フレームの速度で画像を処理することができ、本発明による方法をリアルタイム用途に適したものにする。
【発明を実施するための最良の形態】
【００２０】
図１は、トレーニング画像１のセットを使用して分類器１５をトレーニングする（１０）と共に、トレーニングされた分類器１５を使用して１つ又は複数のテスト画像１０１内の人物２１を検出する（２０）システム及び方法のブロック図である。特徴をトレーニング画像から抽出する方法及びテスト画像から抽出する方法は同じである。トレーニングは一度だけの前処理段階（one time preprocessing phase）で行われるため、トレーニングを後に説明する。
【００２１】
図２は、本発明の一実施の形態による、カメラ１０４で取得されたシーン１０３の１つ又は複数のテスト画像１０１内の人物２１を検出する方法１００を示す。
【００２２】
まず、各ピクセルの勾配を求める（１１０）。セル毎に、セル内のピクセルの勾配の方向の加重和を求める。但し、重みは勾配の大きさに基づく。勾配は勾配ヒストグラム（ＨｏＧ）１１１の９つのビンにソートされる。ＨｏＧの各ビンの積分画像１２１をメモリに記憶する（１２０）。これにより本発明のこの実施の形態の９つの積分画像が生成される。積分画像が使用されて、ＨｏＧに関して特徴１３１が効率的に抽出され（１３０）、特徴１３１は、入力画像内のサイズが可変であり且つランダムに選択される（１４０）矩形領域（ピクセルブロック）の実質的により大きなセットのサブセットに事実上対応する。次に、選択された特徴１４１がカスケード分類器１５に適用され、テスト画像１０１が人物を含むか否かが判断される（１５０）。
【００２３】
本発明の方法１００は、Dalal及びTriggsにより述べられた方法と大幅に異なる。Dalal及びTriggsは、各ブロックのＨｏＧを構築する際にガウスマスク及びトリリニア補間を使用する。本発明では、これらの技法を積分画像に適用することができない。Dalal及びTriggsは、Ｌ２正規化ステップを各ブロックに使用する。本発明では、それに代えて、Ｌ１正規化を使用する。積分画像のＬ１正規化は、Ｌ２正規化よりも高速に算出される。Dalal & Triggs法は、単一スケール、すなわち固定サイズ、つまり１６×１６ピクセルブロックの使用を提唱している。Dalal & Triggs法では、複数のスケールを使用しても、記述子サイズが大幅に増大することを代価として性能がほんのわずかしか増大されないと述べられている。Dalal & Triggs法では、ブロックが比較的小さいため、局所的な特徴しか検出することができない。また、Dalal & Triggs法は従来のソフトＳＶＭ分類器を使用する。本発明では、それぞれ弱分類器から成る、強分類器をカスケード連結したものを使用する。
【００２４】
可変サイズブロック
Dalal & Triggs法と直観的に異なり（counter intuitively）、本発明では、特徴１３１が、積分画像１２１を使用して多数の可変サイズブロックから抽出される（１３０）。具体的には、６４×１２８の検出ウィンドウの場合、１２×１２〜６４×１２８の範囲のサイズのすべてのブロックを考慮する。ブロック（矩形領域）の幅とブロックの高さとの比は、以下の比、すなわち１：１、１：２、及び２：１のいずれであってもよい。
【００２５】
さらに、本発明の検出ウィンドウをスライドさせるときに、ブロックサイズに応じて｛４，６，８｝ピクセルのいずれであってもよい小さなステップサイズを選択して、重複するブロックの密な格子を得る。合計で５０３１個の可変サイズブロックが６４×１２８検出ウィンドウ内で画定され、各ブロックは、ブロックの４つの２×２部分領域内の９つの方向ビンを連結することにより得られる３６次元ベクトル１３１の形態のヒストグラムに関連付けられる。
【００２６】
Dalal & Triggs法と異なり、本発明者らは、可変サイズブロックの非常に大きなセットが有利であるものと考える。第１に、特定のオブジェクトカテゴリの場合、有用なパターンが種々のスケールにわたって分散する傾向がある。Dalal & Triggsの従来の１０５個の固定サイズブロックは、非常に限られた局所情報のみを符号化する。対照的に、本発明は局所情報及び大局情報の両方を符号化する。第２に、本発明によるブロック５０３１個というはるかに大きなブロックセット内のブロックのいくつかは、人物の意味論的（semantic）人体部位、例えば、手足又は胴体に対応することができる。これは、画像内の人物をはるかに効率的に検出できるようにする。従来技術のような少数の固定サイズブロックは、このようなマッピングを確立する可能性が低い。本発明が使用するＨｏＧ特徴は、局所変化に対して頑健であり、可変サイズブロックが大局的な画を取り込むことができる。本方法の別の見方は、検出ウィンドウ法を使用して部位ベースの検出を行う暗黙的な方法としてである。
【００２７】
特徴のサンプリング
可能な非常に多くの数のブロック（５３０１）のぞれぞれの特徴を評価するには非常に時間がかかり得る。このため、B. Scholkopf及びA. Smola著「Learning with Kernels Support Vector Machines」(Regularization, Optimization and Beyond. MIT Press, Cambridge, MA, 2002）により述べられるサンプリング方法を利用し、この文献を参照により本明細書に援用する。
【００２８】
B. Scholkopf及びA. Smolaは、少数の試行でｍ個のランダム変数の最大値、すなわち本発明の場合では特徴ベクトル１３１を高い確率で見つけることができると述べている。より具体的には、すべての推定のうちの最良の０．０５の中で確率０．９５を有する推定を得るために、サイズｌｏｇ０．０５／ｌｏｇ０．９５≒５９のランダムサブサンプリングにより、すべてのランダム変数が考慮された場合とほぼ同等に良好な性能が保証される。実際の用途では、ランダムに２５０個の特徴１４１、すなわち利用可能な５０３１個の特徴の約５％を選択する（１４０）。次に、選択された特徴１４１が、カスケード分類器１５を使用して分類され（１５０）、テスト画像（複数可）１０１が人物を含むか否かが検出される（１５０）。
【００２９】
カスケード分類器のトレーニング
最も情報の多い部分、すなわち人物分類に使用されるブロックは、アダブーストプロセスを使用して選択される。アダブーストは、汎用性能で効率的な学習プロセス及び強力なバインド（bounds）を提供する（Freund他著「A decision-theoretic generalization of on-line learning and an application to boosting」(Computational Learning Theory, Eurocolt '95, pages 23 - 37, Springer-Verlag, 1995）及びSchapire他著「Boosting the margin: A new explanation for the effectiveness of voting methods」(Proceedings of the Fourteenth International Conference on Machine Learning, 1997）参照。両方とも参照により本明細書に援用する）。
【００３０】
本発明は、P. Viola他により述べられるカスケードを利用する。Viola他のように比較的小さな矩形フィルタを使用することに代えて、本発明は可変サイズブロックに関連して３６次元特徴ベクトル、すなわち、ＨｏＧを使用する。
【００３１】
Viola等の監視用途では、検出される人物が画像内で比較的小さく、通常、クリアな背景、例えば道路又は何もない壁等を有することにも留意されたい。検出性能はまた、利用可能な動き情報に大きく依存する。これとは対照的に、本発明では、動き情報、例えば、単一のテスト画像内の人物へのアクセスなしで、都市環境内の歩行者等の極めて複雑な背景及び劇的な照明変化を有するシーン内の人物を検出したい。
【００３２】
本発明の弱分類器は、線形ＳＶＭから求められる分離超平面である。カスケード分類器のトレーニングは１度だけの事前プロセスであるため、トレーニング段階の性能を問題として考えない。本発明のカスケード分類器がDalal & Triggs法の従来のソフト線形ＳＶＭと大きく異なることに留意されたい。
【００３３】
上述したように、トレーニング画像１のセットからトレーニング特徴を抽出することにより、分類器１５をトレーニングする（１０）。カスケードの各直列段毎に、弱分類器のセットから成る強分類器を構築し、その構想は、入力画像内の多数のオブジェクト（領域）が可能な限り素早く拒絶されるというものである。したがって、最初の分類段を「リジェクタ」と呼ぶことができる。
【００３４】
本方法では、弱分類器は線形ＳＶＭである。カスケードの各段において、所定の品質測定基準が満たされるまで弱分類器を追加し続ける。品質測定基準は、検出率及び誤検出率に関しての測定基準である。結果得られるカスケードは約１８段の強分類器及び約８００の弱分類器を有する。これらの数が、分類ステップの所望の精度及び速度に応じて可変であることに留意されたい。
【００３５】
トレーニングステップの擬似コードを付録Ａに提供する。トレーニングに、Dalal及びTriggsが使用したものと同じトレーニング「ＩＮＲＩＡ」画像データセットを使用する。ＭＩＴ歩行者データセット等の他のデータセットを使用してもよい（A. Mohan、C. Papageorgiou、及びT. Poggio著「Example-based object detection in images by components」(PAMI, vol. 23, no. 4, pp. 349 - 361, April 2001）並びにC. Papageorgiou及びT. Poggio著「A trainable system for object detection」(IJCV, vol. 38, no. 1 , pp. 15 - 33, 2000）。
【００３６】
驚くべきことに、本発明者らは、本発明により構築されるカスケードが最初の段において比較的大きなブロックを使用し、カスケードの後の段に使用されるブロックはより小さいことを発見した。
【００３７】
本発明を好ましい実施の形態の例として説明してきたが、他の種々の適合及び変更を本発明の精神及び範囲内で行うことが可能なことを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内にあるこのようなすべての変形及び変更を包含することである。
【００３８】
付録Ａ
カスケードのトレーニング
入力： Ｆｔａｒｇｅｔ：目標となる全体誤検出率
ｆｍａｘ： １つのカスケード段当たりで許容可能な最大誤検出率（fals e positive rate）
ｄｍｉｎ： １つのカスケード段当たりで許容可能な最小検出
Ｐｏｓ： 正のサンプルセット
Ｎｅｇ： 負のサンプルセット
初期化：ｉ＝０、Ｄｉ＝１．０、Ｆｉ＝１．０
ｌｏｏｐ Ｆｉ＞Ｆｔａｒｇｅｔ
ｉ＝ｉ＋１
ｆｉ＝１．０
ｌｏｏｐ ｆｉ＞ｆｍａｘ
Ｐｏｓ及びＮｅｇを使用して２５０個の線形ＳＶＭをトレー
ニングし、最良のＳＶＭを強分類器に追加し、アダブースト
様式で重みを更新し、現在の強分類器でＰｏｓ及びＮｅｇを
評価し、ｄｍｉｎが当てはまるまで閾値を低減し、この閾値
下でｆｉを計算する
ｌｏｏｐ ｅｎｄ
Ｆｉ＋１＝Ｆｉ×ｆｉ
Ｄｉ＋１＝Ｄｉ×ｄｍｉｎ
空集合Ｎｅｇ
ｉｆ Ｆｉ＞Ｆｔａｒｇｅｔ，ｔｈｅｎ負、すなわち人物でない画像で
現在のカスケード分類器を評価し、誤って分類されたサンプルをＮｅｇ
セットに追加する
ｌｏｏｐ ｅｎｄ
出力： 各段がＳＶＭのブースト分類器を有するｉ段カスケード
最終トレーニング精度：Ｆｉ及びＤｉ
【図面の簡単な説明】
【００３９】
【図１】分類器をトレーニングすると共に、トレーニングされた分類器を使用して画像内の人物を検出するシステム及び方法のブロック図である。
【図２】本発明の一実施の形態によるテスト画像内の人物を検出する方法の流れ図である。
【特許請求の範囲】
【請求項１】
カメラによって取得されたシーンのテスト画像内の人物を検出する方法であって、
前記テスト画像内の各ピクセルの勾配を求めるステップと、
前記勾配をヒストグラムのビンにソートするステップと、
前記ヒストグラムのビンのそれぞれに対する積分画像を記憶するステップと、
前記積分画像から特徴を抽出するステップであって、該抽出される特徴は、前記テスト画像内のサイズが可変であり且つランダムに選択されるピクセルブロックの実質的により大きなセットのサブセットに対応する、ステップと、
前記特徴をカスケード分類器に適用することにより、前記テスト画像が人物を含むか否かを判断する、ステップと
を含む、方法。
【請求項２】
前記勾配は、該勾配の重み付き方向に関して表され、重みは、前記勾配の大きさによって決まる、請求項１に記載の方法。
【請求項３】
前記サイズが可変なブロックの幅と高さとの比は、１：１、１；２、及び２：１である、請求項１に記載の方法。
【請求項４】
前記ヒストグラムは９つのビンを有し、ビンのそれぞれは異なる積分画像に記憶される、請求項１に記載の方法。
【請求項５】
特徴のそれぞれは３６次元ベクトルの形態である、請求項１に記載の方法。
【請求項６】
前記カスケード分類器をトレーニングすることをさらに含み、
前記トレーニングすることは、
トレーニング画像のセットに対して前記求めること、前記ソートすること、前記記憶すること、及び前記抽出することを実行することにより、トレーニング特徴を得ること、
前記トレーニング特徴を使用することにより、前記カスケード分類器の直列段を構築すること
を含む、請求項１に記載の方法。
【請求項７】
段のぞれぞれは弱分類器のセットから成る強分類器である、請求項６に記載の方法。
【請求項８】
弱分類器のそれぞれは線形ＳＶＭから求められる分離超平面である、請求項７に記載の方法。
【請求項９】
前記トレーニング画像のセットは、正のサンプル及び負のサンプルを含む、請求項６に記載の方法。
【請求項１０】
前記弱分類器は、所定の品質測定基準が満たされるまで前記カスケード分類器に追加される、請求項７に記載の方法。
【請求項１１】
前記品質測定基準は検出率及び誤検出率に関するものである、請求項１０に記載の方法。
【請求項１２】
結果として得られる前記カスケード分類器は、約１８段の強分類器及び約８００の弱分類器を有する、請求項６に記載の方法。
【請求項１３】
人物が、リアルタイムで取得される前記シーンの一連の画像から検出される、請求項１に記載の方法。
【請求項１４】
カメラによって取得されたシーンのテスト画像内の人物を検出するシステムであって、
前記テスト画像内の各ピクセルの勾配を求める手段と、
前記勾配をヒストグラムのビンにソートする手段と、
前記ヒストグラムのビンのそれぞれの積分画像を記憶するように構成されるメモリと、
前記積分画像から特徴を抽出する手段であって、該抽出される特徴は、前記テスト画像内のサイズが可変であり且つランダムに選択されるピクセルブロックの実質的により大きなセットのサブセットに対応する、手段と、
前記テスト画像が人物を含むか否かを判断するように構成されるカスケード分類器と
を備える、システム。
【請求項１】
カメラによって取得されたシーンのテスト画像内の人物を検出する方法であって、
前記テスト画像内の各ピクセルの勾配を求めるステップと、
前記勾配をヒストグラムのビンにソートするステップと、
前記ヒストグラムのビンのそれぞれに対する積分画像を記憶するステップと、
前記積分画像から特徴を抽出するステップであって、該抽出される特徴は、前記テスト画像内のサイズが可変であり且つランダムに選択されるピクセルブロックの実質的により大きなセットのサブセットに対応する、ステップと、
前記特徴をカスケード分類器に適用することにより、前記テスト画像が人物を含むか否かを判断する、ステップと
を含む、方法。
【請求項２】
前記勾配は、該勾配の重み付き方向に関して表され、重みは、前記勾配の大きさによって決まる、請求項１に記載の方法。
【請求項３】
前記サイズが可変なブロックの幅と高さとの比は、１：１、１；２、及び２：１である、請求項１に記載の方法。
【請求項４】
前記ヒストグラムは９つのビンを有し、ビンのそれぞれは異なる積分画像に記憶される、請求項１に記載の方法。
【請求項５】
特徴のそれぞれは３６次元ベクトルの形態である、請求項１に記載の方法。
【請求項６】
前記カスケード分類器をトレーニングすることをさらに含み、
前記トレーニングすることは、
トレーニング画像のセットに対して前記求めること、前記ソートすること、前記記憶すること、及び前記抽出することを実行することにより、トレーニング特徴を得ること、
前記トレーニング特徴を使用することにより、前記カスケード分類器の直列段を構築すること
を含む、請求項１に記載の方法。
【請求項７】
段のぞれぞれは弱分類器のセットから成る強分類器である、請求項６に記載の方法。
【請求項８】
弱分類器のそれぞれは線形ＳＶＭから求められる分離超平面である、請求項７に記載の方法。
【請求項９】
前記トレーニング画像のセットは、正のサンプル及び負のサンプルを含む、請求項６に記載の方法。
【請求項１０】
前記弱分類器は、所定の品質測定基準が満たされるまで前記カスケード分類器に追加される、請求項７に記載の方法。
【請求項１１】
前記品質測定基準は検出率及び誤検出率に関するものである、請求項１０に記載の方法。
【請求項１２】
結果として得られる前記カスケード分類器は、約１８段の強分類器及び約８００の弱分類器を有する、請求項６に記載の方法。
【請求項１３】
人物が、リアルタイムで取得される前記シーンの一連の画像から検出される、請求項１に記載の方法。
【請求項１４】
カメラによって取得されたシーンのテスト画像内の人物を検出するシステムであって、
前記テスト画像内の各ピクセルの勾配を求める手段と、
前記勾配をヒストグラムのビンにソートする手段と、
前記ヒストグラムのビンのそれぞれの積分画像を記憶するように構成されるメモリと、
前記積分画像から特徴を抽出する手段であって、該抽出される特徴は、前記テスト画像内のサイズが可変であり且つランダムに選択されるピクセルブロックの実質的により大きなセットのサブセットに対応する、手段と、
前記テスト画像が人物を含むか否かを判断するように構成されるカスケード分類器と
を備える、システム。
【図１】
【図２】
【図２】
【公表番号】特表２００９−５１０５４２（Ｐ２００９−５１０５４２Ａ）
【公表日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願番号】特願２００８−５１６６６０（Ｐ２００８−５１６６６０）
【出願日】平成１９年３月２０日（２００７．３．２０）
【国際出願番号】ＰＣＴ／ＪＰ２００７／０５６５１３
【国際公開番号】ＷＯ２００７／１２２９６８
【国際公開日】平成１９年１１月１日（２００７．１１．１）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公表日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願日】平成１９年３月２０日（２００７．３．２０）
【国際出願番号】ＰＣＴ／ＪＰ２００７／０５６５１３
【国際公開番号】ＷＯ２００７／１２２９６８
【国際公開日】平成１９年１１月１日（２００７．１１．１）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]