オブジェクト判別装置、方法、及びプログラム
【課題】オブジェクト判別装置において、重複する差分計算を回避する。
【解決手段】判別器１３は、それぞれが、入力画像における少なくとも１組の２点間の差分を求め、求めた差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別器を含む。判別器１３では、複数の弱判別器がカスケード接続されている。差分画像生成手段１５は、弱判別器で差分を求めるべき画像の２点間の位置関係に応じたずれ量を設定し、入力画像と入力画像を設定したずれ量だけずらした画像との差分画像を生成する。複数の弱判別器のうちの少なくとも一部は、差分画像を参照して差分を取得し、スコアを求める。
【解決手段】判別器１３は、それぞれが、入力画像における少なくとも１組の２点間の差分を求め、求めた差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別器を含む。判別器１３では、複数の弱判別器がカスケード接続されている。差分画像生成手段１５は、弱判別器で差分を求めるべき画像の２点間の位置関係に応じたずれ量を設定し、入力画像と入力画像を設定したずれ量だけずらした画像との差分画像を生成する。複数の弱判別器のうちの少なくとも一部は、差分画像を参照して差分を取得し、スコアを求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト判別装置、方法、及びプログラムに関し、更に詳しくは、画像中に検出対象のオブジェクトが含まれているか否かを判別するオブジェクト判別装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
コンピュータなどの計算機を用いて、写真画像などのデジタル画像から顔等の所定の対象物（オブジェクト）を検出する方法が種々提案されている。画像から対象物を検出する方法としては、例えば比較的古くから利用されているテンプレートマッチングの手法が知られている。また、近年、ブースティング（boosting）と呼ばれる機械学習の手法を用いて判別器を構成し、その判別器を用いて画像から対象物を検出手法も注目されている。ブースティングを用いた判別器の学習、及び、その判別器を用いたオブジェクト検出は、例えば特許文献１や特許文献２に記載されている。
【０００３】
一般に、ブースティング学習により生成された判別器は、複数の、例えば数百から数千の弱判別器を有する。それら複数の弱判別器を直列に接続（カスケード接続）することで１つの判別器（強判別器）が構成される。一般に、弱判別器は、真の分類と若干の相関を有する分類器として定義される。各弱判別器は、特徴量計算を行い、その特徴量に基づくスコアを求める。強判別器は、カスケード接続された全ての弱判別器で求められたスコアの合計を所定のしきい値でしきい値処理し、合計スコアがしきい値以上のとき、処理対象画像に検出対象のオブジェクトが現れていると判断する。
【０００４】
弱判別器における特徴量計算は、２点（２つの領域）間の画素値の差分が基本である。各弱判別器は、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める。差分計算に関する基本特徴タイプは、例えば横方向に並ぶ２点間の差分、縦方向に並ぶ２点間の差分、斜め方向に並ぶ２点間の差分など、テンプレート内の２点間の相対的な位置関係で定義することができる。基本特徴タイプが２点間の位置関係を複数ペア（２ペア、３ペア、・・・）で持ち、弱判別器がその組み合わせに応じて特徴量を計算する場合もある。２ペアの場合は４点参照、３ペアの場合は６点参照となる。
【０００５】
オブジェクト検出装置は、例えば、６４０×４８０画素の検出対象の画像に対して、３２×３２画素のテンプレート（ウィンドウ）を１画素単位又は２数画素単位でラスタスキャンし、テンプレートの各位置で切り出される部分画像を強判別器に与える。強判別器は、初段側から順次に弱判別器による判別を行い、最終段に到達したときの各弱判別器のスコアの合計をしきい値処理する。強判別器は、スコア合計がしきい値以上のとき、テンプレートにより切り出される３２×３２画素の位置に、検出対象のオブジェクトが現れている旨を出力する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−４７９６５号公報
【特許文献２】特開２００７−１２８１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
通常、強判別器では、各弱判別器においてその段までのスコアをしきい値処理し、スコアがしきい値より低いとき、後段の弱判別器の処理を行わずに処理を終了するアーリーリジェクト判断（early reject判断）が行われる。アーリーリジェクト（早期終了）を行うことで、検出対象のオブジェクトが含まれないことが明らかな画像に対しては、直列接続された数千の弱判別器のうちの比較的早い段階で処理を終了することができ、最終段の弱判別器まで処理を行う場合に比して処理を高速化できる。特許文献１及び２にも記載されるように、一般に、学習により生成された弱判別器は、重み付き正答率が高い順に線形結合され、１つの強判別器が構成される。言い換えれば、学習により生成された複数の判別器を、判別に有効な順に直列接続することで、強判別器が構成される。
【０００８】
ところで、近年、検出対象オブジェクトのおおよその位置とサイズとを高速に推定する技術が開発されている。この技術を、強判別器の前処理として用い、前処理において抽出されたエリアの画像を強判別器の処理対象画像として用いることを考える。その場合、前処理において抽出されるエリアのほとんどが検出対象オブジェクトのエリアとなるものと考えられるため、弱判別器の初期の段階で早期終了となることは少なく、ほとんどのケースで、弱判別器の最終段近くまで処理が進行することになると考えられる。従って、早期終了を行っても処理高速化の効果は大きくない。むしろ、各弱識別器で早期終了の判断（条件分岐処理）を行うことで、パイプライン処理の乱れ（ハザード）が生じ、処理高速化の阻害要因となる。
【０００９】
早期終了の思想は、検出対象オブジェクトと背景の領域割合との大きな開きがベースとなっている。つまり、画像の大部分が背景領域で、検出対象オブジェクトが少ないという事前知識（仮定）をおいている。一般的な処理系においては、早期終了判断により処理を高速化できる。しかし、オブジェクトが存在する確率が高い部分を対象に強判別器の処理を行うような場合は、上記したように早期終了判断が高速化の阻害要因になることを、本発明者は見出した。
【００１０】
早期終了を行わないとすると、毎回、カスケード接続された例えば数千の弱判別器において差分計算を行う必要がある。テンプレートを、画像内で走査することを考えると、以前のテンプレートの位置においてある弱判別器において差分計算された画素（オブジェクトが存在すると推定された部分の周辺の画像における画素）の２点が、別のテンプレートの位置において別の弱判別器で重複して差分計算されることがある。例えば、ある弱判別器Ａが、テンプレート内の相対座標で（ｘ，ｙ）の位置と（ｘ＋１，ｙ）の位置との差分計算を行い、別の弱判別器Ｂが（ｘ＋３，ｙ＋３）の位置と（ｘ＋４，ｙ＋３）の位置との差分計算を行う場合を考える。テンプレートが、ｘ方向に＋３、ｙ方向に＋３だけ移動したとすると、移動後の相対座標位置（ｘ，ｙ）は、移動前のテンプレートの位置における相対座標位置（ｘ＋３，ｙ＋３）と重なる。移動前のテンプレートの位置において、弱判別器Ｂが、（ｘ＋３，ｙ＋３）の位置と（ｘ＋４，ｙ＋３）の位置との差分計算を既に行っているものの、テンプレートの移動後、弱判別器Ａは、同じ差分計算を繰り返し行わなければならない。このように、テンプレートを移動したときに、個別の弱判別器において同じ差分計算を繰り返し行う必要があり、同じ差分計算を繰り返し行わなければならない分だけ、処理時間が無駄に長くなっていた。
【００１１】
本発明は、上記に鑑み、重複する差分計算を避けることができ、その分だけ処理を高速化できるオブジェクト判別装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、それぞれが、入力画像における少なくとも１組の２点間の差分を求め、該求めた差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別器がカスケード接続された強判別器と、前記弱判別器で差分を求めるべき画像の２点間の位置関係に応じたずれ量を設定し、前記入力画像と前記入力画像を前記設定したずれ量だけずらした画像との差分画像を生成する差分画像生成手段とを備え、前記複数の弱判別器のうちの少なくとも一部が、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求めるものであることを特徴とするオブジェクト判別装置を提供する。
【００１３】
前記強判定器が、前記入力画像内でテンプレートを所定の走査順で走査し、該走査されたテンプレートの各位置について前記複数の弱判別器における処理を実行する構成とすることができる。
【００１４】
本発明においては、前記差分画像生成手段が、前記複数の弱判別器で差分を求めるべき複数の２点間の位置関係に応じたずれ量を順次に設定し、各ずれ量に対応した複数の差分画像を生成することとすることができる。
【００１５】
本発明においては、前記差分画像生成手段が、前記複数の弱判別器で差分を求めるべき全ての２点間の位置関係に応じたずれ量を順次に設定し、前記複数の弱判別器のそれぞれが、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得する構成を採用することができる。
【００１６】
前記強判別器は、前記カスケード接続された弱判別器の初段から最終段まで、早期終了を行うことなく各弱判別器における処理を実行してもよい。
【００１７】
前記複数の弱判別器のそれぞれが、差分計算に関する複数の基本特徴タイプの何れかで前記少なくとも１組の２点間の差分を求め、前記強判別器では、前記基本特徴タイプが同じ弱判別器が連続して並べられている構成を採用してもよい。
【００１８】
前記強判別器では、基本特徴タイプが同じ弱判別器が複数あるとき、該基本特徴タイプが同じ複数の弱判別器が、各弱判別器における差分計算の際の画像の参照位置に従った並び順で並べられている構成とすることができる。
【００１９】
上記に代えて、前記強判別器では、各弱判別器における差分計算の際の画像の参照位置に従った並び順で前記弱判別器が並べられている構成を採用してもよい。
【００２０】
本発明のオブジェクト判別装置では、処理対象の画像からオブジェクトの位置を推定して該推定したオブジェクトの位置の周辺の画像を切り出し、該切り出した画像をそれぞれ前記強判別器及び前記差分画像生成手段に前記入力画像として与えるオブジェクト候補点検出手段を更に備える構成を採用することができる。
【００２１】
前記オブジェクト候補点検出手段が、オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込む処理を繰り返し行い、前記フレーム画像からスケールが異なる複数枚の平滑化画像を生成する平滑化処理手段と、前記複数枚の平滑化画像のうち、スケールが互いに異なる２枚の平滑化画像間の差分画像を、スケールを変えつつ複数枚生成する差分画像生成手段と、前記複数枚の差分画像を合算し合算画像を生成する合算手段と、前記合算画像における画素値に基づいてオブジェクトの位置を推定する位置推定手段と、前記フレーム画像から前記推定された位置の周辺の領域の画像を切り出す部分画像生成手段とを含む構成としてもよい。
【００２２】
前記平滑化処理手段がスケールσ１からσａ×ｋ（ａ及びｋは２以上の整数）までのａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ａ×ｋ）を生成し、前記差分画像生成手段が、スケールσ１からσｋまでのｋ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）との差分に基づいて生成することとしてもよい。
【００２３】
上記に代えて、前記平滑化処理手段がスケールσ１からσｒ（ｒは３以上の整数）までのｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ｒ）を生成し、前記差分画像生成手段が、スケールσ１からσｋ−ｐ（ｐは１以上の整数）までのｋ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ−ｐ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）との差分に基づいて生成することとしてもよい。
【００２４】
本発明は、また、それぞれが、入力画像における少なくとも１組の２点間の差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行するステップと、前記入力画像と、該入力画像を前記弱判別で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけずらした画像との差分画像を生成するステップとを有し、前記複数の弱判別をカスケードに実行するステップの少なくとも一部において、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求めることを特徴とするオブジェクト判別方法を提供する。
【００２５】
更に本発明は、コンピュータに、それぞれが、入力画像における少なくとも１組の２点間の差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行する手順と、前記入力画像と、該入力画像を前記弱判別で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけずらした画像との差分画像を生成するステップを手順とを実行させ、コンピュータに、前記複数の弱判別をカスケードに実行する手順の少なくとも一部において、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求める手順を実行させるためのプログラムを提供する。
【発明の効果】
【００２６】
本発明のオブジェクト判別装置、方法、及びプログラムは、入力画像と、弱判別で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけ入力画像をずらした画像との差分画像を生成し、弱判別において、差分画像を参照して差分を取得する。各弱判別において個別に差分計算を行う場合、テンプレート移動の前後で入力画像の同じ位置の差分が重複して計算されることがある。本発明では、差分画像を参照することで差分が取得できるため、複数の弱判別において差分計算が重複して実行されるのを避けることができ、処理の高速化を図ることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施形態のオブジェクト判別装置を示すブロック図。
【図２】判別器の構成を示すブロック図。
【図３】オブジェクト判別装置の動作手順を示すフローチャート。
【図４】差分画像生成の手順を示すフローチャート。
【図５】オブジェクト候補点検出手段の構成例を示すブロック図。
【図６】オブジェクト候補点検出手段の動作手順を示すフローチャート。
【図７】（ａ）及び（ｂ）は、基本特徴タイプを例示する図。
【図８】本発明の第２実施形態のオブジェクト判別装置で用いられる判別器を示すブロック図。
【図９】判別器の構成に用いられる判別器構成装置を示すブロック図。
【図１０】（ａ）は学習後の判別器を示すブロック図、（ｂ）は再配置後の判別器を示すブロック図。
【図１１】（ａ）は、基本特徴タイプ１における弱判別器の並び順を示すブロック図、（ｂ）は、テンプレート内での各弱判別器の画像の参照位置を示す図。
【図１２】本発明の第３実施形態における判別器の構成に用いる判別器構成装置を示すブロック図。
【発明を実施するための形態】
【００２８】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態のオブジェクト判別装置を示す。オブジェクト判別装置１０は、画像入力手段１１、オブジェクト候補点検出手段１２、判別器１３、ルックアップテーブル１４、及び差分画像生成手段１５を備える。オブジェクト判別装置１０内の各部の機能は、例えばコンピュータ（プロセッサ）が所定のプログラムに従って処理を実行することで実現可能である。オブジェクト判別装置１０は、例えばカメラに組み込まれ、カメラで撮影すべき画像に検出対象のオブジェクトが存在するか否かの判別を行う。
【００２９】
画像入力手段１１は、処理対象の画像を入力する。画像入力手段１１は、例えば６４０×４８０画素の画像を処理対象画像として入力する。画像入力手段１１は、例えば動画像を構成する各画像（各フレームの画像）を所定のレートで順次に入力してもよい。オブジェクト候補点検出手段１２は、処理対象画像から、所定のアルゴリズムで検出対象オブジェクトのおおよその位置を推定する。また、オブジェクト候補点検出手段１２は、オブジェクトのサイズを推定する。オブジェクト候補点検出手段１２は、処理対象画像から、オブジェクトが存在すると推定される位置の周辺の画像を切り出し、切り出した画像を、推定したサイズに応じて拡大／縮小する。なお、画像入力手段１１は、入力された処理対象画像に対して、例えばノイズの除去やフレーム間の輝度変動の抑制などの所定の画像処理を施し、処理後の画像をオブジェクト候補点検出手段１２に入力するようにしてもよい。
【００３０】
判別器１３は、オブジェクト候補点検出手段１２から、オブジェクト候補点検出手段１２が切り出した、オブジェクトが存在すると推定される位置の周辺の画像を入力する。判別器１３は、それぞれが、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別器を含む。複数の弱判別器をカスケード接続することで、判別器（強判別器）１３が構成される。判別器１３は、各弱判別器により求められたスコアの合計をしきい値処理し、入力画像に検出対象のオブジェクトが存在しているか否かを判別する。
【００３１】
判別器１３は、入力画像のサイズがテンプレートのサイズよりも大きいときは、入力画像内でテンプレートをラスタスキャンして入力画像からテンプレートのサイズに相当する画像を切り出し、その切り出した画像を順次に弱判別器に与える。判別器１３は、走査されたテンプレートの各位置について、複数の弱判別器における処理を実行する。判別器１３は、カスケード接続された弱判別器の初段から最終段まで、早期終了を行うことなく各弱判別器における処理を実行する。
【００３２】
図２は、判別器１３の構成を示す。判別器１３は、カスケード接続された複数の弱判別器１６を含んでいる。各弱判別器１６は、入力画像における少なくとも１組の２点間の差分を求め、求めた差分に基づいて検出対象物の存在に関するスコアを求める。判別器１３は、テンプレートの大きさ、例えば３２×３２画素の大きさの画像中に検出対象のオブジェクトが存在する場合の画像と存在しない場合の画像とを用いて、機械学習を用いて生成される。各弱判別器１６は、差分計算に関する複数の基本特徴タイプの何れかで、少なくとも１組の２点間の差分を求める。各弱判別器１６が何れの基本特徴タイプで差分を求めるかは、学習のプロセスにおいて決まる。
【００３３】
弱判別器１６が求める差分は、２つの画素位置の画素値の差分でもよく、或いは２つの領域の画素値の差分でもよい。領域間の画素値の差分は、領域内の画素値の合計の差分でもよいし、領域内の画素値の平均値の差分でもよい。各弱判別器１６は、差分に基づいてスコアを求める。各弱判別器１６は、前段の弱判別器１６までのスコアの累計に自身が求めたスコアを加算し、次段の弱判別器１６に渡す。この処理を最終段の弱判別器１６まで行い、最終的に得られたスコアが、判別器１３における検出対象オブジェクトの存在に関するスコアとなる。
【００３４】
図１に戻り、差分画像生成手段１５は、判別器１３への入力画像と、その入力画像を、弱判別器１６（図２）で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけずらした画像との差分画像を生成する。差分画像生成手段１５は、いくつかの弱判別器１６で差分を求めるべき２点間の位置関係に応じた複数のずれ量を順次に設定し、各ずれ量に対応した複数の差分画像を生成する。カスケード接続された複数の弱判別器１６のうちの少なくとも一部は、差分画像を参照して差分を取得し、取得した差分に基づいてスコアを求める。
【００３５】
ルックアップテーブル１４は、弱判別器１６における差分計算で求まる特徴空間と、検出対象のオブジェクトの存在に関するスコアとの関係を保持する。ルックアップテーブル１４は、例えば判別器１３の学習の際に、基本特徴タイプごとに生成される。各弱判別器１６は、求めた差分に基づいて、自身の基本特徴タイプに対して用意されたルックアップテーブルを参照し、求めた差分からスコアを求める。例えば、弱判別器１６が３組の差分（６点参照）を求めるものである場合、弱判別器１６は、１組目の差分値をα、２組目の差分値をβ、３組目の差分値をγとして、（α，β，γ）を特徴空間として求める。弱判別器１６は、ルックアップテーブルの配列要素［α］［β］［γ］を参照し、その配列要素に格納されている値をスコアとして取得する。
【００３６】
図３は、オブジェクト判別装置１０の動作手順を示す。画像入力手段１１は、処理対象の画像を入力する（ステップＡ１）。オブジェクト候補点検出手段１２は、処理対象画像におけるオブジェクトが存在すると推定される位置の周辺の画像を部分画像として生成する（ステップＡ２）。オブジェクト候補点検出手段１２の具体的な構成例、及びその手順については後述する。オブジェクト候補点検出手段１２は、例えばテンプレートのサイズより大きなサイズの画像を、部分画像として生成する。
【００３７】
差分画像生成手段１５は、オブジェクト候補点検出手段１２が生成した部分画像に基づいて差分画像を生成する（ステップＡ３）。図４は、差分画像生成の手順を示す。差分画像生成手段１５は、オブジェクト候補点検出手段１２から、オブジェクト候補点検出手段１２が生成した部分画像、すなわちオブジェクトが存在すると推定される位置の周辺の画像を入力する（ステップＢ１）。
【００３８】
差分画像生成手段１５は、画像の相対的なずれ量を設定する（ステップＢ２）。差分画像生成手段１５は、ステップＢ２では、弱判別器１６で計算されるべき差分ピッチをずれ量として設定する。言い換えれば、弱判別器１６で差分を求めるべき画像の２点間の位置関係に応じたずれ量を設定する。差分画像生成手段１５は、ステップＢ１で入力した画像の各画素と、その入力画像をステップＢ２で設定したずれ量だけずらした画像の各画素との差分を求め、その差分値を画素値とする差分画像を生成する（ステップＢ３）。
【００３９】
差分画像生成手段１５は、判別器１３を構成する弱判別器１６で差分を求めるべき全ての２点間の位置関係に応じたずれ量をステップＢ２で設定したか否かを判断する（ステップＢ４）。差分画像生成手段１５は、全てのずれ量を設定したと判断すると、差分画像の生成を終了する。差分画像生成手段１５は、未設定のずれ量があると判断するとステップＢ２に戻り、未設定のずれ量のうちの１つを設定する。差分画像生成手段１５は、ステップＢ２からステップＢ４を繰り返し実行することで、弱判別器１６で差分を求めるべき複数の２点間の位置関係に応じたずれ量を順次に設定し、各ずれ量に対応した複数の差分画像を生成する。
【００４０】
図３に戻り、判別器１３は、テンプレートの初期位置を設定する（ステップＡ４）。判別器１３は、例えば入力画像であるオブジェクト候補点検出手段１２が生成した部分画像の原点（０，０）をテンプレートの初期位置として決定する。判別器１３は、入力画像からテンプレートのサイズの画像を切り出し（ステップＡ５）、切り出した画像をカスケード接続された弱判別器１６の初段に与え、弱判別器１６による処理を開始する。
【００４１】
弱判別器１６は、ステップＡ３で生成された差分画像から、少なくとも１組の２点間の差分を取得する（ステップＡ６）。弱判別器１６は、ステップＡ６では、ステップＡ３で生成された複数の差分画像のうち、差分を求めるべき画像の２点間の位置関係に対応したずれ量で生成された差分画像を参照して差分を取得する。弱判別器１６は、求めた差分に基づいてルックアップテーブル１４を参照し、スコアを求める（ステップＡ７）。弱判別器１６は、前段の弱判別器１６までのスコアにステップＡ７で求めたスコアを加算する（ステップＡ８）。
【００４２】
判別器１３は、カスケード接続された弱判別器１６の最終段まで処理を行ったか否かを判断する（ステップＡ９）。最終段に到達していないときは、処理を次の段に進め（ステップＡ１０）、ステップＡ６に戻り、次の段の弱判別器１６による処理を継続する。判別器１３では、各段の弱判別器１６がステップＡ６からステップＡ８を実行し、処理が次の段に進んでいく。判別器１３は、最終段の弱判別器１６まで処理を終えたと判断すると、最終段で得られたスコアの合計と、所定のしきい値とを比較する（ステップＡ１１）。判別器１３は、スコア合計がしきい値以上であれば、ステップＡ５で切り出された画像部分に検出対象のオブジェクトが現れていると判断し、オブジェクトの位置を出力して（ステップＡ１２）、処理を終了する。
【００４３】
判別器１３は、ステップＡ１１でスコア合計がしきい値よりも小さいと判断すると、現在のテンプレートの位置にオブジェクトが存在しないと判断し、テンプレートの位置を移動させる（ステップＡ１３）。テンプレート移動後、ステップＡ５に戻り、入力画像から移動後のテンプレートの位置で画像を切り出す。判別器１３は、切り出した画像をカスケード接続された弱判別器１６の初段に与え、ステップＡ６からステップＡ１０を実行することで、移動後のテンプレートの位置に検出対象のオブジェクトが存在するか否かの判別を実行する。判別器１３は、ステップＡ５からステップＡ１１、ステップＡ１３を、テンプレートが最終スキャン位置に到達するまで繰り返し実行し、オブジェクト候補点検出手段１２が生成した部分画像にオブジェクトが現れているか否かを判別する。
【００４４】
なお、図４に示す手順では、差分画像生成手段１５が、判別器１３を構成する弱判別器１６で差分を求めるべき全ての２点間の位置関係に応じたずれ量で差分画像を生成するものとして説明したが、これには限定されない。例えば２点間の位置関係に使用頻度に応じて、使用頻度が低いものについては差分画像を生成しなくてもよい。弱判別器１６は、自身が差分を求めるべき２点間の位置関係に対応した差分画像が存在しないときは、差分画像を参照するのに代えて、入力画像から差分値を計算すればよい。
【００４５】
続いて、オブジェクト候補点検出手段１２の具体的な構成例を説明する。図５は、オブジェクト候補点検出手段１２の構成例を示す。オブジェクト候補点検出手段１２は、前処理手段２１、平滑化処理手段２２、差分画像生成手段２３、合算手段２４、位置推定手段２５、サイズ推定手段２６、及び部分画像生成手段２７を有する。オブジェクト候補点検出手段１２は、画像内の特定パターン、例えば人物の頭部が存在すると推定される位置の周辺の画像を部分画像として切り出す。以下ではオブジェクト候補点検出手段１２が、オブジェクトが存在すると推定される位置を１つ推定し、その周辺の画像を部分画像として切り出すものとして説明を行う。
【００４６】
前処理手段２１は、解像度変換手段５１と動き領域抽出手段５２とを有する。解像度変換手段５１は、動画像を構成するフレーム画像を所定の解像度に低解像度化する。解像度変換手段５１は、例えば画像の解像度を縦横それぞれ１／８倍に変換する。
【００４７】
動き領域抽出手段５２は、動画像を構成するフレーム画像から動き領域を抽出し動き領域抽出画像を生成する。動き領域の抽出には、例えば背景画像やフレーム間画像の差分を算出するなど任意の手法を用いることができる。動き領域抽出手段５２は、抽出された動きの量に応じて、動きがある領域ほど白く（階調値が高く）、動きが少ない領域ほど黒く（階調値が低く）なるようなグレースケール画像を動き領域抽出画像として生成する。動き領域抽出手段５２は、例えば階調数２５６のグレースケール画像に対して所定の関数に従って階調を変換し、白から黒までの階調数を減少させるコントラスト低減処理を実施してもよい。動き領域抽出手段５２は、グレースケール画像に代えて、動き領域を白、背景領域を黒にするような２値化画像を動き領域抽出画像として生成してもよい。
【００４８】
平滑化処理手段２２には、前処理手段２１で前処理された画像Ｐ（ｘ，ｙ）、すなわち解像度が低解像度化され、動き領域が抽出された画像が入力される。平滑化処理手段２２は、平滑化フィルタを画像に畳み込む処理を繰り返し行うことにより、スケールが異なる複数枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成する。
【００４９】
平滑化処理手段２２は、まず画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込むことで平滑化画像Ｌ（ｘ，ｙ，σ１）を生成し、その平滑化画像Ｌ（ｘ，ｙ，σ１）に更に平滑化フィルタを畳み込むことでスケールσ２の平滑化画像＋（ｘ，ｙ，σ２）を生成する。平滑化処理手段２２は、以降同様に平滑化フィルタの畳み込みを繰り返し行い、任意のスケールσｑの平滑化画像Ｌ（ｘ，ｙ，σｑ）から次のスケールσｑ＋１の平滑化画像Ｌ（ｘ，ｙ，σｑ＋１）を生成する。
【００５０】
平滑化画像Ｌ（ｘ，ｙ，σｉ）におけるスケール番号ｉは、平滑化フィルタを畳み込んだ回数に相当する。平滑化処理手段２２は、例えばスケールが異なるａ×ｋ枚（ａ及びｋはそれぞれ２以上の整数）の平滑化画像Ｌ（ｘ，ｙ，σ１）〜Ｌ（ｘ，ｙ，σａ×ｋ）を生成する。平滑化処理手段２２は、例えばａ＝２、ｋ＝３０とすれば２×３０＝６０枚の平滑化画像Ｌ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ６０）を生成する。
【００５１】
平滑化フィルタには、例えばガウシアンフィルタを用いることができる。平滑化フィルタは、例えば検出対象であるオブジェクトの輪郭形状に合わせたフィルタ特性となる３×３オペレータから成る。例えば判別器１３（図１）で検出対象とするオブジェクトが人物の頭部であれば、平滑化フィルタとして、人物の頭部の輪郭形状に沿って下側のフィルタ係数が小さくなる特性（オメガ形状）を有するフィルタを用いる。このような平滑化フィルタを用いることで、人物の頭部の輪郭形状を有する領域を強調し、それ以外の領域は抑制された平滑化処理を実現できる。
【００５２】
なお、フィルタの形状はオメガ形状には限定されず、例えば特開２００３−２４８８２４号公報等に記載されたものなど、他の公知技術を適用することも可能である。例えば検出対象のオブジェクトの形状が円形、三角形、四角形などの場合には、それぞれのオブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化処理を施せばよい。
【００５３】
差分画像生成手段２３は、平滑化処理手段２２が生成した複数枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）を入力し、スケールが互いに異なる２つの平滑化画像間の差分画像Ｇ（ｘ，ｙ，σｊ）を、スケールを変えつつ複数枚生成する。ここで、差分画像Ｇ（ｘ，ｙ，σｊ）におけるスケール番号ｊの最大値は、平滑化画像Ｌにおけるスケールσｉの最大値（例えばａ×ｋ）よりは小さい。差分画像生成手段２３は、例えばスケール番号ｊに応じたスケールだけ離れた平滑化画像間の差分画像を生成する。具体的には、差分画像生成手段２３は、例えば下記式１を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成することができる。
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ×ａ）・・・（１）
差分画像は、差分値の絶対値であってもよい。
【００５４】
上記の式１の定義からわかるように、差分画像Ｇ（ｘ，ｙ，σｊ）は、スケールσｊの平滑化画像と、スケールσｊ×ａの平滑化画像との差分として定義される。例えばａ＝２、ｋ＝３０とすると、差分画像生成手段２３は、スケールσ１とσ２、スケールσ２とσ４、スケールσ３とσ６、・・・、スケールσ３０とσ６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ３０）を生成する。式１に従って差分画像Ｇ（ｘ，ｙ，σｊ）を生成する場合、ｊは１〜ｋの値を取る。すなわち、差分画像生成手段２３は、ｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）を生成する。
【００５５】
差分画像生成手段２３は、上記に代えて、一定のスケールだけ離れた平滑化画像間の差分を差分画像として生成してもよい。差分画像生成手段２３は、例えばスケールσｊの平滑化画像と、スケールσｊ＋ｐの平滑化画像（ｐは１以上の整数）との差分を差分画像（ｘ，ｙ，σｊ）として生成してもよい。具体的には、差分画像生成手段２３は、下記式２を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成してもよい。
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ＋ｐ）・・・（２）
この場合、平滑化画像の枚数をｒ（ｒ：３以上の整数）枚とすると、ｊは１〜ｒ−ｐの値を取る。すなわち差分画像生成手段２３は、ｒ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｒ−ｐ）を生成する。具体的には、ｒ＝６０で、ｐ＝３０の場合、差分画像生成手段２３は、スケールσ１とσ３１、スケールσ２とσ３２、スケールσ３とσ３３、・・・、スケールσ３０とσ６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ３０）を生成する。
【００５６】
合算手段２４は、差分画像生成手段２３が生成した複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）を合算し、合算画像ＡＰ（ｘ，ｙ）を生成する。位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）における画素値に基づいてオブジェクトの位置を推定する。位置推定手段２５は、例えば合算画像ＡＰ（ｘ，ｙ）において画素値（差分値を合計した値）が最も大きくなる位置を調べ、その位置をオブジェクトの位置として推定する。
【００５７】
サイズ推定手段２６は、複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）の画素値を比較し、最大の画素値を有する差分画像のスケールに基づいて、検出すべきオブジェクトのサイズを推定する。サイズ推定手段２６は、例えば最大の画素値（差分値）を有する差分画像の生成元となった２枚の平滑化画像のうちのスケールが小さい方の平滑化画像内のスケールに基づいてオブジェクトのサイズを推定する。すなわちサイズ推定手段２６は、式１又は式２に従って生成される複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）のうちで、最大の差分値を有するスケールσｊを求め、求めたスケールσｊに基づいてオブジェクトの位置を推定する。
【００５８】
上記のオブジェクトの位置及びサイズの推定について説明する。平滑化処理手段２２は、オブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成しており、この平滑化画像Ｌ（ｘ，ｙ，σｉ）は、特定の形状を持つ領域が強調され、他の領域が抑制された画像となる。例えば平滑化処理を数十回行ったときでも平滑化画像内にオブジェクトの輪郭成分が残るが、スケールσｉが大きくなるほど、オブジェクトの領域はボケていくと共に広がっていく。
【００５９】
平滑化画像Ｌ（ｘ，ｙ，σｉ）におけるオブジェクトの形状及びサイズは、入力画像内のオブジェクトの形状及びサイズとそれぞれ一致していると仮定する。この平滑化画像Ｌ（ｘ，ｙ，σｉ）でのオブジェクト形状及びサイズの顕著性を算出するために、あるスケールの平滑化画像に対して、そのスケールよりもスケールが大きい平滑化画像を背景として設定する。すなわちスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）対して、式１ではスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）を背景画像として設定し、式２ではスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）を背景として設定する。そして、式１又は式２に従って、スケールσｊの平滑化画像と背景画像として設定する平滑化画像との差分画像Ｇ（ｘ，ｙ，σｊ）が、スケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）におけるオブジェクトの顕著性として算出される。このように差分画像生成手段２３においてオブジェクトの顕著性を数値化し、位置推定手段２５及びサイズ推定手段２６において、差分画像生成手段２３において数値化されたオブジェクトの顕著性に基づいて、オブジェクトの位置及びサイズをそれぞれ推定する。
【００６０】
ここで、画像内においてオブジェクトが理想形状、すなわちフィルタ特性に最も合致した形状であって、かつ背景にノイズがない差分画像が、他の差分画像に比べて最大の信号を有する。言い換えれば、前処理済みの画像Ｐ（ｘ，ｙ）内のオブジェクトを構成する各画素の成分がオブジェクトの領域にほぼ等しくなるまで広がったとき、差分画像Ｇ（ｘ，ｙ，σｊ）内の差分値は最大となる。例えば画像Ｐ（ｘ，ｙ）内のオブジェクトが直径１０画素の円形画素から構成される場合、複数の差分画像のうちで、ｊ＝１０の差分画像Ｇ（ｘ，ｙ，σ１０）（式１ではＬ（ｘ，ｙ，σ１０）−Ｌ（ｘ，ｙ，σａ×１０）、式２ではＬ（ｘ，ｙ，σ１０）−Ｌ（ｘ，ｙ，σ１０＋ｐ））における差分値が、他の差分画像における差分値に比べて大きな値を有することになる。
【００６１】
一方で、実際に画像内に映し出されるオブジェクトは、カメラとオブジェクトの位置関係や個体差などに応じて映り方が異なり、オブジェクトの輪郭形状及びサイズは理想形状になるとは限らない。つまり、オブジェクトの輪郭形状及びサイズは変動する。そこで、位置推定手段２５は、複数の差分画像Ｇ（ｘ，ｙ，σｊ）を合算した合算画像ＡＰ（ｘ，ｙ）を用いてオブジェクトの位置を推定する。このようにすることで、オブジェクトの変動を吸収しながらオブジェクトの位置を推定できる。つまり、サイズが小さいオブジェクトからサイズが大きいオブジェクトに含まれる様々な輪郭形状の変動を持つオブジェクトに対して、平滑化画像を加算した合算画像ＡＰ（ｘ，ｙ）から最大値を検出することにより、変動を吸収しながら位置推定を行うことができる。
【００６２】
また、上述したように、式１、式２におけるスケール番号ｊは、画像Ｐ（ｘ，ｙ）内における検出対象のオブジェクトのサイズに対応するパラメータである。オブジェクトのサイズが小さい場合にはスケール番号ｊが小さい差分画像Ｇ（ｘ，ｙ，σｊ）から最大値が検出され、オブジェクトのサイズが大きい場合にはスケール番号ｊが大きい差分画像Ｇ（ｘ，ｙ，σｊ）から最大値が検出される。サイズ推定手段２６は、この性質を利用し、複数の差分画像の間で差分値同士を比較し、最大の差分値となる差分画像のスケール番号、すなわち平滑化処理の繰り返し回数からオブジェクトのサイズを推定する。
【００６３】
部分画像生成手段２７は、位置推定手段２５から推定されたオブジェクトの位置を入力し、サイズ推定手段２６から推定されたオブジェクトのサイズを入力する。部分画像生成手段２７は、入力画像（フレーム画像）からオブジェクトが存在すると推定される位置の周辺の画像を部分画像として切り出す。また部分画像生成手段２７は、切り出した部分画像を、推定されたサイズに応じた倍率で拡大／縮小する。推定されたサイズに応じた倍率で拡大／縮小することで、オブジェクトのサイズの変動を吸収することができる。
【００６４】
図６は、オブジェクト候補点検出手段１２の動作手順を示す。前処理手段２１は、画像入力手段１１（図１）からフレーム画像を受け取り、フレーム画像に対して前処理を行う（ステップＣ１）。すなわち、解像度変換手段５１がフレーム画像を所定の解像度にまで低解像度化し、動き領域抽出手段５２が低解像度化されたフレーム画像から動き領域を抽出する。前処理手段２１は、前処理後の画像、すなわち解像度が低解像度化され、動き領域が白で背景領域が黒となるようにグレースケール化された画像Ｐ（ｘ，ｙ）を平滑化処理手段２２に入力する。なお、前処理手段２１における解像度変換及び動き領域抽出の何れか一方、又は双方を省略しても構わない。双方を省略する場合、フレーム画像を平滑化処理手段２２に入力すればよい。
【００６５】
平滑化処理手段２２は、画像Ｐ（ｘ，ｙ）を入力し、画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込む処理を繰り返すことで、スケールが異なる複数の平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成する（ステップＣ２）。平滑化処理手段２２は、フレーム画像そのものに対して平滑化フィルタを畳み込んでもよい。差分画像生成手段２３は、スケールが異なる２つの平滑化画像間の差分を計算し、差分画像Ｇ（ｘ，ｙ，σｊ）を生成する（ステップＣ３）。差分画像生成手段２３は、例えば式１を用いて、ａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）からスケール番号１〜ｋのｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）を生成する。あるいは差分画像生成手段２３は、式２を用いて、ｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）からスケール番号１〜ｒ−ｐのｒ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｒ−ｐ）を生成する。
【００６６】
合算手段２４は、差分画像生成手段２３が生成した複数の差分画像を合算し、合算画像ＡＰ（ｘ，ｙ）を生成する（ステップＣ４）。合算手段２４は、例えば差分画像生成手段２３で生成されたｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）の各画素値を全て加算する。位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）に基づいて、オブジェクトが存在する位置を推定する（ステップＣ５）。位置推定手段２５は、例えば合算画像ＡＰ（ｘ，ｙ）を構成する各画素位置の画素値（差分の合算値）を比較し、合算画像において最大の画素値を有する画素位置をオブジェクトの位置として推定する。
【００６７】
なお、合算手段２４は、全ての差分画像を合算する必要はない。合算手段２４は、例えば全ｋ枚の差分画像のうちの任意数、及び任意のスケール番号の差分画像を合算してもよい。合算手段２４は、例えば吸収したいサイズ変動幅に応じて、加算処理に用いる差分画像の数（合算する差分画像のスケール）を変更してもよい。例えば、検出対象のオブジェクトの種類に応じて吸収したいサイズ変動幅を設定しておき、あるオブジェクトについては、スケール番号が小さい、具体的にはスケール番号１、２の差分画像Ｇ（ｘ，ｙ，σ１）、（ｘ，ｙ，σ２）を合算から除外して、スケール番号３〜ｋの差分画像Ｇ（ｘ，ｙ，σ３）〜（ｘ，ｙ，σｋ）を合算してもよい。また、合算手段２４が、スケール番号１から、ｋよりも小さい任意のスケール番号までの差分画像（ｘ，ｙ，σｊ）を合算してもよい。
【００６８】
サイズ推定手段２６は、複数の差分画像Ｇ（ｘ，ｙ，σｊ）に基づいて、オブジェクトのサイズを推定する（ステップＣ６）。サイズ推定手段２６は、例えばｋ枚の差分画像間で、位置推定手段２５で推定されたオブジェクトの位置の周辺の画素の画素値（差分値）を比較する。サイズ推定手段２６は、最大の画素値を与える差分画像のスケールを特定する。あるいはサイズ推定手段２６は、推定されたオブジェクトの位置の周辺だけではなく、差分画像の全画素の画素値を比較し、最大の画素値を与える差分画像のスケールを特定してもよい。平滑化処理を行うことで画像内の像がどの程度広がるか（ボケるか）は既知であるため、差分最大を与えるスケールが判明すれば、そのスケール番号に基づいてオブジェクトのサイズが推定できる。また、上述のように検出対象であるオブジェクトは変動するため、サイズ推定手段２６は、最も大きい差分値を有する差分画像から推定したサイズ±α（αは所定の値）をオブジェクトのサイズとして推定するようにしてもよい。
【００６９】
部分画像生成手段２７は、推定されたオブジェクトの位置及びサイズを利用して、フレーム画像におけるオブジェクトが存在すると推定される位置の周辺の画像を部分画像として生成する（ステップＳ７）。部分画像生成手段２７は、例えばフレーム画像からオブジェクトが存在すると推定される位置の周辺の画像を切り出し、切り出した画像を、推定されたオブジェクトのサイズに応じて拡大／縮小する。推定されたオブジェクトのサイズに応じて拡大／縮小を行うことで、部分画像におけるオブジェクトの大きさを、判別器１３で使用されるテンプレートにおけるオブジェクトの大きさに適合させることができる。部分画像生成手段２７は、生成した部分画像を判別器１３へ出力する。判別器１３は、部分画像生成手段２７により生成された部分画像に対して、検出対象のオブジェクトの存在に関する詳細な判別処理を実行する。
【００７０】
比較例としてＤＯＧ（Differential Of Gaussian）画像を用いたオブジェクトの位置推定を考えると、ＤＯＧ画像を用いた位置推定では隣接するスケールの平滑化画像間の差分を全て求める必要があり、生成する必要がある差分画像の枚数が多くなる。図５に示すオブジェクト候補点検出手段１２を用いる場合、あるスケールの平滑化画像と、そのスケールから所定スケールだけ離れたスケールの平滑化画像との差分を差分画像として生成すればよく、ＤＯＧ画像を用いた位置推定に比して、差分画像の生成枚数を少なくすることができる。このため、効率的に精度良くオブジェクトの位置を推定することができる。また、図５に示す構成のオブジェクト候補点検出手段１２では、多重解像度画像を生成しなくてもオブジェクトのサイズの推定することができ、効率的にオブジェクトのサイズを推定することができる。
【００７１】
特に、平滑化処理手段２２においてａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σａ×ｋ）を生成し、差分画像生成手段２３において、式１用いて、スケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσａ×ｊの平滑化画像Ｌ（ｘ，ｙ，σａ×ｊ）との差分を差分画像Ｇ（ｘ，ｙ，σｊ）として求める場合、オブジェクトのサイズの様々な変動に合わせて、オブジェクトの位置を精度よく推定することができる。また、オブジェクトのサイズの推定を精度よく行うことができる。
【００７２】
なお、上記の説明では、動き領域抽出手段５２が動き領域（オブジェクト）を白、背景領域を黒とするようなグレースケール化処理又は２値化処理を行うものとして説明したが、動き領域抽出手段５２の動作はこれには限定されない。例えば動き領域抽出手段５２は、動き領域を黒、背景領域を白とするようなグレースケール化処理又は２値化処理を行ってもよい。その場合には、位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）において、画素値が最小となる画素位置を、オブジェクトの位置として推定すればよい。また、サイズ推定手段２６は、複数の差分画像のうちで最小の画素値（差分値）を与える差分画像のスケールに基づいて、オブジェクトのサイズを推定すればよい。
【００７３】
また、上記の説明では、オブジェクト候補点検出手段１２が動画像からオブジェクトが存在すると推定される位置を１つだけ推定する例を説明したが、これには限定されない。オブジェクト候補点検出手段１２において、複数のオブジェクトの存在を推定し、オブジェクトが存在すると推定された複数の位置の周辺の画像をそれぞれ部分画像を切り出してもよい。例えばオブジェクト候補点検出手段１２において位置を推定すべきオブジェクトの数をＭとする。その場合、位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）の画素値を大きい順に並べ、上位Ｍ個の画素位置を各オブジェクトの位置として推定し、各位置の周辺の画像を部分画像として切り出せばよい。つまり、合算画像ＡＰ（ｘ，ｙ）において画素値が大きい順にＭ個の画素位置をオブジェクトの位置として推定すればよい。サイズ推定手段２６は、推定されたＭ個のオブジェクトの位置の周辺において、最大の画素値を与える差分画像のスケールに基づいて、各オブジェクトのサイズを推定すればよい。
【００７４】
次いで、本実施形態における効果を説明する。本実施形態では、判別器１３における処理に先立って、弱判別器１６で求めるべき差分の位置関係に対応した２点間の差分を差分画像として生成してく。各弱判別器１６は、個別に差分計算を行うのに代えて、あらかじめ生成しておいた差分画像を参照して差分画像から差分値を取得する。各弱判別器１６において個別に差分計算を行う場合、位置関係が同じ２点間の差分を計算する複数の弱判別器１６において、テンプレートの移動前後で、入力画像の同じ位置の差分が個別に重複して計算される。本実施形態では、弱判別器１６は差分画像を参照することで差分値を取得できるため、テンプレートを移動したときに、同じ位置関係の２点間の差分計算が重複して実行されるのを避けることができる。本実施形態では、重複した差分計算を避けることができるため、差分処理の計算回数を削減することができ、判別処理を高速化をすることができる。
【００７５】
以下、具体例を用いて説明する。図７（ａ）及ぶ（ｂ）は、弱判別器１６における差分計算に関する基本特徴タイプを示す。（ａ）及び（ｂ）に示す基本特徴タイプＡ、Ｂは、それぞれ３つの画素のペアの差分として定義される。（ａ）に示す基本特徴タイプＡと（ｂ）に示す基本特徴タイプＢとは、ペア間の画素の位置関係は両者で異なるものの、各ペアにおいて横方向に１画素分離れた画素間で差分計算を行うという点で共通している。学習の結果、判別器１３が、（ａ）に示す基本特徴タイプＡで差分計算を行う弱判別器１６と、（ｂ）に示す基本特徴タイプＢで差分計算を行う弱判別器１６とを、それぞれ２０個ずつ含むこととなったとする。
【００７６】
差分画像を用いない場合、テンプレートのサイズを３２画素×３２画素とすると、この３２×３２の領域内で、基本特徴タイプＡの弱判別器１６、及び基本特徴タイプＢの弱判別器１６においてそれぞれ２０か所の差分計算がされることになる。基本特徴タイプＡ及びＢはそれぞれ３つのペアについて差分計算を行うため、テンプレート内では、（２０＋２０）×３＝１２０回の差分計算が行われることになる。このテンプレートを縦方向及び横方向にそれぞれ３２画素の範囲で１画素ずつずらして走査すると、テンプレートの各位置で１２０回の差分計算が行われることから、トータルの差分の計算回数は１２０×３２×３２＝１２２８８０回となる。
【００７７】
一方、差分画像を用いる場合、テンプレートの走査範囲が上記と同じ範囲であるとすれば、差分処理が必要なエリアは６４画素×６４画素（テンプレートのサイズ３２画素＋走査幅３２画素＝６４画素）のエリアになり、差分画像の生成に際して、６４×６４＝４０９６回の差分計算が必要である。基本特徴タイプＡと基本特徴タイプＢとは、共に横方向に１画素離れた画素ペアの差分を計算するため、基本特徴タイプＡの弱判別器１６と基本特徴タイプＢの弱判別器１６とは、共通の差分画像を参照すればよい。差分画像を用いる場合、４０９６回の差分計算を行うことで、基本特徴タイプＡの弱判別器１６と基本特徴タイプＢの弱判別器１６とにおける処理が実現でき、各弱判別器において個別の差分計算を行う場合に比して、差分計算の回数を大幅に削減できる。また、差分画像の生成において、例えば着目画素の位置をラスタスキャンして差分計算を行うことで、各弱判別器１６において個別に差分計算を行う場合に比して画像の参照箇所を局所化することができ、これによりキャッシュヒットの向上を見込むことができる。キャッシュがヒットすることで、差分画像生成を効率よく行うことができる。
【００７８】
また、本実施形態では、オブジェクト候補点検出手段１２を用いており、オブジェクトが存在する可能性が高い画像部分を判別器１３に入力している。本実施形態では、オブジェクトが存在する確率が高い画像部分を判別器１３で処理するため、各弱判別器１６で早期終了の判断を行わずに、複数の弱判別器１６を最終段まで一括で実行することが好ましい。早期終了を行わない場合、各弱判別器１６で分岐判断が発生しないため、パイプラインの乱れが生じない。更に、早期終了を行わないことで、判別器１３における処理時間を一定の時間に保つことができる効果もある。
【００７９】
続いて、本発明の第２実施形態を説明する。第２実施形態におけるオブジェクト判別装置の構成は、図１に示す第１実施形態のオブジェクト判別装置１０の構成と同様である。本実施形態では、判別器１３において、基本特徴タイプが同じ複数の弱判別器１６（図２）が連続してカスケード接続される。その他の点は、第１実施形態と同様である。
【００８０】
図８は、第２実施形態のオブジェクト判別装置で用いられる判別器を示す。判別器１３ａでは、例えば図８に示すように、基本特徴タイプ１、基本特徴タイプ２、及び基本特徴タイプ３の弱判別器１６がそれぞれまとめられ、連続してカスケード接続されている。また、判別器１３ａでは、基本特徴タイプ１の弱判別器１６のグループに次に基本特徴タイプ２の弱判別器のグループが配置され、基本特徴タイプ２の弱判別器１６のグループの次に基本特徴タイプ３の弱判別器１６のグループが配置されている。
【００８１】
図９は、判別器１３ａの構成に用いられる判別器構成装置３０を示す。学習結果入力手段３１は、機械学習を用いて学習された複数の弱判別器１６を入力する。グループ化手段３２は、学習により得られた複数の弱判別器１６を、基本特徴タイプに応じて複数のグループにグループ化する。グループ化手段３２は、複数の弱判別器１６を、例えば基本特徴タイプごとにグループ化する。再配置手段３３は、同じグループに所属する弱判別器１６が連続して並ぶように複数の弱判別器をカスケード接続し、判別器１３ａを構成する。判別器構成装置３０の各部の機能は、例えばコンピュータが所定のプログラムに従って処理を実行することで実現できる。
【００８２】
図１０（ａ）は学習後の判別器を示し、（ｂ）は再配置後の判別器を示す。一般に、学習により得られた弱判別器は、重み付き正答率が高い順に、つまり判別に有効な順に並んでいる。図１０（ａ）は、複数の弱判別器が判別に有効な順にカスケード接続された状態を示している。再配置手段３３は、図１０（ｂ）に示すように、判別器１３ａにおいて、基本特徴タイプが同じ弱判別器が連続して配置されるように学習済みの弱判別器を並び替える。並び替えを行うことで、例えば学習後の判別器（図１０（ａ））において初段を構成していた弱判別器が、再配置後の判別器１３ａ（図１０（ｂ））の中段に配置され、学習後の判別器において中段を構成していた弱判別器が、再配置後の判別器１３ａの初段に配置され得る。
【００８３】
ここで、図１に示すルックアップテーブル１４には、基本特徴タイプごとに生成されたルックアップテーブルが格納されており、基本特徴タイプが同じ弱判別器１６は、同じルックアップテーブルを参照してスコアを求める。通常、判別器１３ａの処理を実現するプロセッサにはキャッシュメモリが備えられており、そのキャッシュメモリには、弱判別器１６が参照したルックアップテーブルの参照箇所に近い部分が格納されることになる。
【００８４】
弱判別器を、判別に有効な順にカスケード接続した一般的な判別器（強判別器）では、ある段の弱判別器の基本特徴タイプとその次の段の弱判別器の基本特徴タイプとが異なっていることが多い。その場合、ある段の弱判別器の処理において、その弱判別器が参照するルックアップテーブルの一部がキャッシュメモリに格納されたとしても、その次の段の弱判別器の処理においてキャッシュがヒットすることはあまり期待できない。これに対し、基本特徴タイプが同じ弱判別器が連続して並ぶ場合、同じ基本特徴タイプの弱判別器１６が連続して処理を行う間は同じルックアップテーブルが参照されることになり、キャッシュがヒットする確率の向上が見込める
【００８５】
本実施形態では、オブジェクト判別装置１０は、基本特徴タイプが同じ弱判別器１６が連続して並べられている判別器１３ａを用いて画像に検出対象のオブジェクトが存在するか否かの判別を行う。このようにすることで、同じ基本特徴タイプの弱判別器１６を連続して並べない場合に比して、ルックアップテーブルの参照において参照の局所化を図ることができ、キャッシュヒットの確率を上げることができる。本実施形態では、第１実施形態で得られる効果に加えて、キャッシュがヒットした分だけ、処理を高速化できる。特に、主に組み込み系で用いられるようなローパワーの処理系では、キャッシュヒットの有無が処理時間に与える影響は大きく、キャッシュをヒットさせることで処理時間を大幅に短縮することができる。
【００８６】
引き続き、本発明の第３実施形態を説明する。本実施形態におけるオブジェクト判別装置の構成は、図１に示す第１実施形態のオブジェクト判別装置１０の構成と同様である。本実施形態では、強判別器１３ａ（図８）において、基本特徴タイプが同じ複数の弱判別器１６が、各弱判別器１６における差分計算の際の画像の参照位置に従った並び順で並べられる。その他の点は、第２実施形態と同様である。
【００８７】
図１１（ａ）は、基本特徴タイプ１における弱判別器の並び順を示し、（ｂ）は、テンプレート内での各弱判別器の画像の参照位置を示している。基本特徴タイプ１は、横方向（ｘ方向）に並ぶ２つの画素の差分であるとする。図１１（ｂ）は、差分計算のタイプが基本特徴体タイプ１の複数の弱判別器１６のうちのいくつかにおける画像の参照位置を示している。基本特徴タイプ１の複数の弱判別器１６は、図１１（ａ）に示すように、各弱判別器１６における差分計算の際の画像の参照位置に従った順序でカスケード接続される。
【００８８】
例えば、基本特徴タイプ１の複数の弱判別器１６は、各弱判別器１６における差分計算の際の画像の参照位置がラスタスキャン走査順に従って現れるように並べられている。図８に示す判別器１３における基本特徴タイプ２の複数の弱判別器１６、及び、基本特徴タイプ３の複数の弱判別器１６も、基本特徴タイプ１と同様に、弱判別器１６が、差分計算の際の画像の参照位置がラスタスキャン走査順に従って現れるように並べられている。
【００８９】
図１２は、本実施形態における判別器の構成に用いる判別器構成装置３０ａを示している。学習結果入力手段３１は、機械学習を用いて学習された複数の弱判別器１６を入力する。グループ化手段３２は、学習により得られた複数の弱判別器１６を、基本特徴タイプに応じて複数のグループにグループ化する。グループ化手段３２は、複数の弱判別器１６を、例えば基本特徴タイプごとにグループ化する。ソート手段３４は、同じグループに所属する弱判別器１６を、差分計算の際の画像の参照位置に従ってソートする。再配置手段３３は、ソート手段３４でソートされた順初に従って、グループごとに複数の弱判別器をカスケード接続し、判別器を構成する。
【００９０】
ソート手段３４は、例えば、弱判別器１６が差分計算の際に参照する複数の参照位置のうちで最も原点（画像の左上）に近い参照位置を、その弱判別器１６が差分計算の際に参照する画像の参照位置としてソートを行う。具体的に、弱判別器１６が３組の差分（６点参照）を求めるものである場合、ソート手段３４は、６点のうちでもっとも原点に違い参照点の位置を、その弱判別器１６における差分計算の際の画像の参照位置としてソートを行うことができる。あるいは６点の参照点のうちの任意の１つを、差分計算の際の画像の参照位置としてソートを行ってもよい。また、弱判別器１６における複数の参照点の重心位置、例えば６点の参照点の重心位置を、差分計算の際の画像の参照位置としてソートを行ってもよい。
【００９１】
ここで、単に基本特徴タイプに応じてグループ分けを行っただけであれば、基本特徴タイプは同じでも、ある段の弱判別器における差分計算の際の画像の参照箇所とその次の段の弱判別器における差分計算の際の画像の参照箇所とが離れている場合が多いと考えられる。その場合、ある段の弱判別器の処理において、その弱判別器が差分を求める際に参照する位置付近の画像がキャッシュメモリに格納されたとしても、その次の段の弱判別器が差分を求める際に画像のキャッシュがヒットすることはない。
【００９２】
本実施形態では、複数の弱判別器１６を、差分計算の際の画像の参照位置に従った並び順でカスケード接続した判別器１３を用いる。弱判別器１６が画像の参照箇所に従った並び順で並べられている場合、後段の弱判別器１６が前段の弱判別器１６の参照箇所と近い部分を参照して差分を求め、画像のキャッシュがヒットする可能性がある。ルックアップテーブルの参照の局所化だけでなく、画像についても参照の局所化を図ることができ、差分を求める際の画像参照を効率的に行うことが可能である。
【００９３】
なお、第２実施形態では、基本特徴タイプごとにグループ化を行い、全ての基本特徴タイプについて、同じ基本特徴タイプの弱判別器１６が連続してカスケード接続されるものとして説明したが、これには限定されない。必ずしも、全ての基本特徴タイプについて、同じ基本特徴タイプの弱判別器１６が連続して並んでいる必要はない。例えば、基本特徴タイプの使用頻度に応じて、いくつかの基本特徴タイプはグループ化の対象から除外し、除外した基本特徴タイプの弱判別器１６については連続してカスケード接続しないという構成も可能である。
【００９４】
また、第３実施形態では、基本特徴タイプでグループ化した後に、弱判別器１６を差分計算の際の画像の参照位置に応じて並べる例について説明したが、これには限定されない。例えば、基本特徴タイプでグループ化せずに、弱判別器１６を差分計算の際の画像の参照位置に応じて並べてもよい。すなわち、各弱判別器１６における差分計算の際の画像の参照位置に従った並び順で複数の弱判別器１６をカスケード接続し、判別器１３を構成してもよい。その場合でも、画素値参照の際のキャッシュヒットの向上を見込むことができ、処理の高速化が可能である。
【００９５】
上記各実施形態では、判別器１３が早期終了を行わないこととして説明を行ったが、判別器１３において早期終了を行ってもよい。例えば、数千の弱判別器を、数百の弱判別器ごとにブロック化し、ブロックごとに早期終了の判断を行うようにしてもよい。その場合は、同一ブロック内で、基本特徴タイプが同じ弱判別器が連続して並ぶように、複数の弱判別器をカスケード接続すればよい。または、ブロックごとに、差分計算の際の画像の参照箇所に従った並び順で弱判別器を並べればよい。その場合、ブロック内の処理において参照の局所化を図ることができ、ブロック内で弱判別器が判別に有効な順に並んでいる場合に比して、処理時間を短縮できる。ブロックごとに基本特徴量タイプの母集団を変えて学習し、複数ブロックから構成させる強判別器を構成することも可能であり、その場合、ブロックごとに最後に１回だけ早期終了判断を行ってもよい。
【００９６】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明のオブジェクト判別装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【００９７】
１０：オブジェクト判別装置
１１：画像入力手段
１２：オブジェクト候補点検出手段
１３：判別器（強判別器）
１４：ルックアップテーブル
１５：差分画像生成手段
１６：弱判別器
２１：前処理手段
２２：平滑化処理手段
２３：差分画像生成手段
２４：合算手段
２５：位置推定手段
２６：サイズ推定手段
２７：部分画像生成手段
３０：判別器構成装置
３１：学習結果入力手段
３２：グループ化手段
３３：再配置手段
３４：ソート手段
５１：解像度変換手段
５２：動き領域抽出手段
【技術分野】
【０００１】
本発明は、オブジェクト判別装置、方法、及びプログラムに関し、更に詳しくは、画像中に検出対象のオブジェクトが含まれているか否かを判別するオブジェクト判別装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
コンピュータなどの計算機を用いて、写真画像などのデジタル画像から顔等の所定の対象物（オブジェクト）を検出する方法が種々提案されている。画像から対象物を検出する方法としては、例えば比較的古くから利用されているテンプレートマッチングの手法が知られている。また、近年、ブースティング（boosting）と呼ばれる機械学習の手法を用いて判別器を構成し、その判別器を用いて画像から対象物を検出手法も注目されている。ブースティングを用いた判別器の学習、及び、その判別器を用いたオブジェクト検出は、例えば特許文献１や特許文献２に記載されている。
【０００３】
一般に、ブースティング学習により生成された判別器は、複数の、例えば数百から数千の弱判別器を有する。それら複数の弱判別器を直列に接続（カスケード接続）することで１つの判別器（強判別器）が構成される。一般に、弱判別器は、真の分類と若干の相関を有する分類器として定義される。各弱判別器は、特徴量計算を行い、その特徴量に基づくスコアを求める。強判別器は、カスケード接続された全ての弱判別器で求められたスコアの合計を所定のしきい値でしきい値処理し、合計スコアがしきい値以上のとき、処理対象画像に検出対象のオブジェクトが現れていると判断する。
【０００４】
弱判別器における特徴量計算は、２点（２つの領域）間の画素値の差分が基本である。各弱判別器は、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める。差分計算に関する基本特徴タイプは、例えば横方向に並ぶ２点間の差分、縦方向に並ぶ２点間の差分、斜め方向に並ぶ２点間の差分など、テンプレート内の２点間の相対的な位置関係で定義することができる。基本特徴タイプが２点間の位置関係を複数ペア（２ペア、３ペア、・・・）で持ち、弱判別器がその組み合わせに応じて特徴量を計算する場合もある。２ペアの場合は４点参照、３ペアの場合は６点参照となる。
【０００５】
オブジェクト検出装置は、例えば、６４０×４８０画素の検出対象の画像に対して、３２×３２画素のテンプレート（ウィンドウ）を１画素単位又は２数画素単位でラスタスキャンし、テンプレートの各位置で切り出される部分画像を強判別器に与える。強判別器は、初段側から順次に弱判別器による判別を行い、最終段に到達したときの各弱判別器のスコアの合計をしきい値処理する。強判別器は、スコア合計がしきい値以上のとき、テンプレートにより切り出される３２×３２画素の位置に、検出対象のオブジェクトが現れている旨を出力する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−４７９６５号公報
【特許文献２】特開２００７−１２８１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
通常、強判別器では、各弱判別器においてその段までのスコアをしきい値処理し、スコアがしきい値より低いとき、後段の弱判別器の処理を行わずに処理を終了するアーリーリジェクト判断（early reject判断）が行われる。アーリーリジェクト（早期終了）を行うことで、検出対象のオブジェクトが含まれないことが明らかな画像に対しては、直列接続された数千の弱判別器のうちの比較的早い段階で処理を終了することができ、最終段の弱判別器まで処理を行う場合に比して処理を高速化できる。特許文献１及び２にも記載されるように、一般に、学習により生成された弱判別器は、重み付き正答率が高い順に線形結合され、１つの強判別器が構成される。言い換えれば、学習により生成された複数の判別器を、判別に有効な順に直列接続することで、強判別器が構成される。
【０００８】
ところで、近年、検出対象オブジェクトのおおよその位置とサイズとを高速に推定する技術が開発されている。この技術を、強判別器の前処理として用い、前処理において抽出されたエリアの画像を強判別器の処理対象画像として用いることを考える。その場合、前処理において抽出されるエリアのほとんどが検出対象オブジェクトのエリアとなるものと考えられるため、弱判別器の初期の段階で早期終了となることは少なく、ほとんどのケースで、弱判別器の最終段近くまで処理が進行することになると考えられる。従って、早期終了を行っても処理高速化の効果は大きくない。むしろ、各弱識別器で早期終了の判断（条件分岐処理）を行うことで、パイプライン処理の乱れ（ハザード）が生じ、処理高速化の阻害要因となる。
【０００９】
早期終了の思想は、検出対象オブジェクトと背景の領域割合との大きな開きがベースとなっている。つまり、画像の大部分が背景領域で、検出対象オブジェクトが少ないという事前知識（仮定）をおいている。一般的な処理系においては、早期終了判断により処理を高速化できる。しかし、オブジェクトが存在する確率が高い部分を対象に強判別器の処理を行うような場合は、上記したように早期終了判断が高速化の阻害要因になることを、本発明者は見出した。
【００１０】
早期終了を行わないとすると、毎回、カスケード接続された例えば数千の弱判別器において差分計算を行う必要がある。テンプレートを、画像内で走査することを考えると、以前のテンプレートの位置においてある弱判別器において差分計算された画素（オブジェクトが存在すると推定された部分の周辺の画像における画素）の２点が、別のテンプレートの位置において別の弱判別器で重複して差分計算されることがある。例えば、ある弱判別器Ａが、テンプレート内の相対座標で（ｘ，ｙ）の位置と（ｘ＋１，ｙ）の位置との差分計算を行い、別の弱判別器Ｂが（ｘ＋３，ｙ＋３）の位置と（ｘ＋４，ｙ＋３）の位置との差分計算を行う場合を考える。テンプレートが、ｘ方向に＋３、ｙ方向に＋３だけ移動したとすると、移動後の相対座標位置（ｘ，ｙ）は、移動前のテンプレートの位置における相対座標位置（ｘ＋３，ｙ＋３）と重なる。移動前のテンプレートの位置において、弱判別器Ｂが、（ｘ＋３，ｙ＋３）の位置と（ｘ＋４，ｙ＋３）の位置との差分計算を既に行っているものの、テンプレートの移動後、弱判別器Ａは、同じ差分計算を繰り返し行わなければならない。このように、テンプレートを移動したときに、個別の弱判別器において同じ差分計算を繰り返し行う必要があり、同じ差分計算を繰り返し行わなければならない分だけ、処理時間が無駄に長くなっていた。
【００１１】
本発明は、上記に鑑み、重複する差分計算を避けることができ、その分だけ処理を高速化できるオブジェクト判別装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、それぞれが、入力画像における少なくとも１組の２点間の差分を求め、該求めた差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別器がカスケード接続された強判別器と、前記弱判別器で差分を求めるべき画像の２点間の位置関係に応じたずれ量を設定し、前記入力画像と前記入力画像を前記設定したずれ量だけずらした画像との差分画像を生成する差分画像生成手段とを備え、前記複数の弱判別器のうちの少なくとも一部が、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求めるものであることを特徴とするオブジェクト判別装置を提供する。
【００１３】
前記強判定器が、前記入力画像内でテンプレートを所定の走査順で走査し、該走査されたテンプレートの各位置について前記複数の弱判別器における処理を実行する構成とすることができる。
【００１４】
本発明においては、前記差分画像生成手段が、前記複数の弱判別器で差分を求めるべき複数の２点間の位置関係に応じたずれ量を順次に設定し、各ずれ量に対応した複数の差分画像を生成することとすることができる。
【００１５】
本発明においては、前記差分画像生成手段が、前記複数の弱判別器で差分を求めるべき全ての２点間の位置関係に応じたずれ量を順次に設定し、前記複数の弱判別器のそれぞれが、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得する構成を採用することができる。
【００１６】
前記強判別器は、前記カスケード接続された弱判別器の初段から最終段まで、早期終了を行うことなく各弱判別器における処理を実行してもよい。
【００１７】
前記複数の弱判別器のそれぞれが、差分計算に関する複数の基本特徴タイプの何れかで前記少なくとも１組の２点間の差分を求め、前記強判別器では、前記基本特徴タイプが同じ弱判別器が連続して並べられている構成を採用してもよい。
【００１８】
前記強判別器では、基本特徴タイプが同じ弱判別器が複数あるとき、該基本特徴タイプが同じ複数の弱判別器が、各弱判別器における差分計算の際の画像の参照位置に従った並び順で並べられている構成とすることができる。
【００１９】
上記に代えて、前記強判別器では、各弱判別器における差分計算の際の画像の参照位置に従った並び順で前記弱判別器が並べられている構成を採用してもよい。
【００２０】
本発明のオブジェクト判別装置では、処理対象の画像からオブジェクトの位置を推定して該推定したオブジェクトの位置の周辺の画像を切り出し、該切り出した画像をそれぞれ前記強判別器及び前記差分画像生成手段に前記入力画像として与えるオブジェクト候補点検出手段を更に備える構成を採用することができる。
【００２１】
前記オブジェクト候補点検出手段が、オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込む処理を繰り返し行い、前記フレーム画像からスケールが異なる複数枚の平滑化画像を生成する平滑化処理手段と、前記複数枚の平滑化画像のうち、スケールが互いに異なる２枚の平滑化画像間の差分画像を、スケールを変えつつ複数枚生成する差分画像生成手段と、前記複数枚の差分画像を合算し合算画像を生成する合算手段と、前記合算画像における画素値に基づいてオブジェクトの位置を推定する位置推定手段と、前記フレーム画像から前記推定された位置の周辺の領域の画像を切り出す部分画像生成手段とを含む構成としてもよい。
【００２２】
前記平滑化処理手段がスケールσ１からσａ×ｋ（ａ及びｋは２以上の整数）までのａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ａ×ｋ）を生成し、前記差分画像生成手段が、スケールσ１からσｋまでのｋ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）との差分に基づいて生成することとしてもよい。
【００２３】
上記に代えて、前記平滑化処理手段がスケールσ１からσｒ（ｒは３以上の整数）までのｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ｒ）を生成し、前記差分画像生成手段が、スケールσ１からσｋ−ｐ（ｐは１以上の整数）までのｋ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ−ｐ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）との差分に基づいて生成することとしてもよい。
【００２４】
本発明は、また、それぞれが、入力画像における少なくとも１組の２点間の差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行するステップと、前記入力画像と、該入力画像を前記弱判別で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけずらした画像との差分画像を生成するステップとを有し、前記複数の弱判別をカスケードに実行するステップの少なくとも一部において、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求めることを特徴とするオブジェクト判別方法を提供する。
【００２５】
更に本発明は、コンピュータに、それぞれが、入力画像における少なくとも１組の２点間の差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行する手順と、前記入力画像と、該入力画像を前記弱判別で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけずらした画像との差分画像を生成するステップを手順とを実行させ、コンピュータに、前記複数の弱判別をカスケードに実行する手順の少なくとも一部において、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求める手順を実行させるためのプログラムを提供する。
【発明の効果】
【００２６】
本発明のオブジェクト判別装置、方法、及びプログラムは、入力画像と、弱判別で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけ入力画像をずらした画像との差分画像を生成し、弱判別において、差分画像を参照して差分を取得する。各弱判別において個別に差分計算を行う場合、テンプレート移動の前後で入力画像の同じ位置の差分が重複して計算されることがある。本発明では、差分画像を参照することで差分が取得できるため、複数の弱判別において差分計算が重複して実行されるのを避けることができ、処理の高速化を図ることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施形態のオブジェクト判別装置を示すブロック図。
【図２】判別器の構成を示すブロック図。
【図３】オブジェクト判別装置の動作手順を示すフローチャート。
【図４】差分画像生成の手順を示すフローチャート。
【図５】オブジェクト候補点検出手段の構成例を示すブロック図。
【図６】オブジェクト候補点検出手段の動作手順を示すフローチャート。
【図７】（ａ）及び（ｂ）は、基本特徴タイプを例示する図。
【図８】本発明の第２実施形態のオブジェクト判別装置で用いられる判別器を示すブロック図。
【図９】判別器の構成に用いられる判別器構成装置を示すブロック図。
【図１０】（ａ）は学習後の判別器を示すブロック図、（ｂ）は再配置後の判別器を示すブロック図。
【図１１】（ａ）は、基本特徴タイプ１における弱判別器の並び順を示すブロック図、（ｂ）は、テンプレート内での各弱判別器の画像の参照位置を示す図。
【図１２】本発明の第３実施形態における判別器の構成に用いる判別器構成装置を示すブロック図。
【発明を実施するための形態】
【００２８】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態のオブジェクト判別装置を示す。オブジェクト判別装置１０は、画像入力手段１１、オブジェクト候補点検出手段１２、判別器１３、ルックアップテーブル１４、及び差分画像生成手段１５を備える。オブジェクト判別装置１０内の各部の機能は、例えばコンピュータ（プロセッサ）が所定のプログラムに従って処理を実行することで実現可能である。オブジェクト判別装置１０は、例えばカメラに組み込まれ、カメラで撮影すべき画像に検出対象のオブジェクトが存在するか否かの判別を行う。
【００２９】
画像入力手段１１は、処理対象の画像を入力する。画像入力手段１１は、例えば６４０×４８０画素の画像を処理対象画像として入力する。画像入力手段１１は、例えば動画像を構成する各画像（各フレームの画像）を所定のレートで順次に入力してもよい。オブジェクト候補点検出手段１２は、処理対象画像から、所定のアルゴリズムで検出対象オブジェクトのおおよその位置を推定する。また、オブジェクト候補点検出手段１２は、オブジェクトのサイズを推定する。オブジェクト候補点検出手段１２は、処理対象画像から、オブジェクトが存在すると推定される位置の周辺の画像を切り出し、切り出した画像を、推定したサイズに応じて拡大／縮小する。なお、画像入力手段１１は、入力された処理対象画像に対して、例えばノイズの除去やフレーム間の輝度変動の抑制などの所定の画像処理を施し、処理後の画像をオブジェクト候補点検出手段１２に入力するようにしてもよい。
【００３０】
判別器１３は、オブジェクト候補点検出手段１２から、オブジェクト候補点検出手段１２が切り出した、オブジェクトが存在すると推定される位置の周辺の画像を入力する。判別器１３は、それぞれが、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別器を含む。複数の弱判別器をカスケード接続することで、判別器（強判別器）１３が構成される。判別器１３は、各弱判別器により求められたスコアの合計をしきい値処理し、入力画像に検出対象のオブジェクトが存在しているか否かを判別する。
【００３１】
判別器１３は、入力画像のサイズがテンプレートのサイズよりも大きいときは、入力画像内でテンプレートをラスタスキャンして入力画像からテンプレートのサイズに相当する画像を切り出し、その切り出した画像を順次に弱判別器に与える。判別器１３は、走査されたテンプレートの各位置について、複数の弱判別器における処理を実行する。判別器１３は、カスケード接続された弱判別器の初段から最終段まで、早期終了を行うことなく各弱判別器における処理を実行する。
【００３２】
図２は、判別器１３の構成を示す。判別器１３は、カスケード接続された複数の弱判別器１６を含んでいる。各弱判別器１６は、入力画像における少なくとも１組の２点間の差分を求め、求めた差分に基づいて検出対象物の存在に関するスコアを求める。判別器１３は、テンプレートの大きさ、例えば３２×３２画素の大きさの画像中に検出対象のオブジェクトが存在する場合の画像と存在しない場合の画像とを用いて、機械学習を用いて生成される。各弱判別器１６は、差分計算に関する複数の基本特徴タイプの何れかで、少なくとも１組の２点間の差分を求める。各弱判別器１６が何れの基本特徴タイプで差分を求めるかは、学習のプロセスにおいて決まる。
【００３３】
弱判別器１６が求める差分は、２つの画素位置の画素値の差分でもよく、或いは２つの領域の画素値の差分でもよい。領域間の画素値の差分は、領域内の画素値の合計の差分でもよいし、領域内の画素値の平均値の差分でもよい。各弱判別器１６は、差分に基づいてスコアを求める。各弱判別器１６は、前段の弱判別器１６までのスコアの累計に自身が求めたスコアを加算し、次段の弱判別器１６に渡す。この処理を最終段の弱判別器１６まで行い、最終的に得られたスコアが、判別器１３における検出対象オブジェクトの存在に関するスコアとなる。
【００３４】
図１に戻り、差分画像生成手段１５は、判別器１３への入力画像と、その入力画像を、弱判別器１６（図２）で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけずらした画像との差分画像を生成する。差分画像生成手段１５は、いくつかの弱判別器１６で差分を求めるべき２点間の位置関係に応じた複数のずれ量を順次に設定し、各ずれ量に対応した複数の差分画像を生成する。カスケード接続された複数の弱判別器１６のうちの少なくとも一部は、差分画像を参照して差分を取得し、取得した差分に基づいてスコアを求める。
【００３５】
ルックアップテーブル１４は、弱判別器１６における差分計算で求まる特徴空間と、検出対象のオブジェクトの存在に関するスコアとの関係を保持する。ルックアップテーブル１４は、例えば判別器１３の学習の際に、基本特徴タイプごとに生成される。各弱判別器１６は、求めた差分に基づいて、自身の基本特徴タイプに対して用意されたルックアップテーブルを参照し、求めた差分からスコアを求める。例えば、弱判別器１６が３組の差分（６点参照）を求めるものである場合、弱判別器１６は、１組目の差分値をα、２組目の差分値をβ、３組目の差分値をγとして、（α，β，γ）を特徴空間として求める。弱判別器１６は、ルックアップテーブルの配列要素［α］［β］［γ］を参照し、その配列要素に格納されている値をスコアとして取得する。
【００３６】
図３は、オブジェクト判別装置１０の動作手順を示す。画像入力手段１１は、処理対象の画像を入力する（ステップＡ１）。オブジェクト候補点検出手段１２は、処理対象画像におけるオブジェクトが存在すると推定される位置の周辺の画像を部分画像として生成する（ステップＡ２）。オブジェクト候補点検出手段１２の具体的な構成例、及びその手順については後述する。オブジェクト候補点検出手段１２は、例えばテンプレートのサイズより大きなサイズの画像を、部分画像として生成する。
【００３７】
差分画像生成手段１５は、オブジェクト候補点検出手段１２が生成した部分画像に基づいて差分画像を生成する（ステップＡ３）。図４は、差分画像生成の手順を示す。差分画像生成手段１５は、オブジェクト候補点検出手段１２から、オブジェクト候補点検出手段１２が生成した部分画像、すなわちオブジェクトが存在すると推定される位置の周辺の画像を入力する（ステップＢ１）。
【００３８】
差分画像生成手段１５は、画像の相対的なずれ量を設定する（ステップＢ２）。差分画像生成手段１５は、ステップＢ２では、弱判別器１６で計算されるべき差分ピッチをずれ量として設定する。言い換えれば、弱判別器１６で差分を求めるべき画像の２点間の位置関係に応じたずれ量を設定する。差分画像生成手段１５は、ステップＢ１で入力した画像の各画素と、その入力画像をステップＢ２で設定したずれ量だけずらした画像の各画素との差分を求め、その差分値を画素値とする差分画像を生成する（ステップＢ３）。
【００３９】
差分画像生成手段１５は、判別器１３を構成する弱判別器１６で差分を求めるべき全ての２点間の位置関係に応じたずれ量をステップＢ２で設定したか否かを判断する（ステップＢ４）。差分画像生成手段１５は、全てのずれ量を設定したと判断すると、差分画像の生成を終了する。差分画像生成手段１５は、未設定のずれ量があると判断するとステップＢ２に戻り、未設定のずれ量のうちの１つを設定する。差分画像生成手段１５は、ステップＢ２からステップＢ４を繰り返し実行することで、弱判別器１６で差分を求めるべき複数の２点間の位置関係に応じたずれ量を順次に設定し、各ずれ量に対応した複数の差分画像を生成する。
【００４０】
図３に戻り、判別器１３は、テンプレートの初期位置を設定する（ステップＡ４）。判別器１３は、例えば入力画像であるオブジェクト候補点検出手段１２が生成した部分画像の原点（０，０）をテンプレートの初期位置として決定する。判別器１３は、入力画像からテンプレートのサイズの画像を切り出し（ステップＡ５）、切り出した画像をカスケード接続された弱判別器１６の初段に与え、弱判別器１６による処理を開始する。
【００４１】
弱判別器１６は、ステップＡ３で生成された差分画像から、少なくとも１組の２点間の差分を取得する（ステップＡ６）。弱判別器１６は、ステップＡ６では、ステップＡ３で生成された複数の差分画像のうち、差分を求めるべき画像の２点間の位置関係に対応したずれ量で生成された差分画像を参照して差分を取得する。弱判別器１６は、求めた差分に基づいてルックアップテーブル１４を参照し、スコアを求める（ステップＡ７）。弱判別器１６は、前段の弱判別器１６までのスコアにステップＡ７で求めたスコアを加算する（ステップＡ８）。
【００４２】
判別器１３は、カスケード接続された弱判別器１６の最終段まで処理を行ったか否かを判断する（ステップＡ９）。最終段に到達していないときは、処理を次の段に進め（ステップＡ１０）、ステップＡ６に戻り、次の段の弱判別器１６による処理を継続する。判別器１３では、各段の弱判別器１６がステップＡ６からステップＡ８を実行し、処理が次の段に進んでいく。判別器１３は、最終段の弱判別器１６まで処理を終えたと判断すると、最終段で得られたスコアの合計と、所定のしきい値とを比較する（ステップＡ１１）。判別器１３は、スコア合計がしきい値以上であれば、ステップＡ５で切り出された画像部分に検出対象のオブジェクトが現れていると判断し、オブジェクトの位置を出力して（ステップＡ１２）、処理を終了する。
【００４３】
判別器１３は、ステップＡ１１でスコア合計がしきい値よりも小さいと判断すると、現在のテンプレートの位置にオブジェクトが存在しないと判断し、テンプレートの位置を移動させる（ステップＡ１３）。テンプレート移動後、ステップＡ５に戻り、入力画像から移動後のテンプレートの位置で画像を切り出す。判別器１３は、切り出した画像をカスケード接続された弱判別器１６の初段に与え、ステップＡ６からステップＡ１０を実行することで、移動後のテンプレートの位置に検出対象のオブジェクトが存在するか否かの判別を実行する。判別器１３は、ステップＡ５からステップＡ１１、ステップＡ１３を、テンプレートが最終スキャン位置に到達するまで繰り返し実行し、オブジェクト候補点検出手段１２が生成した部分画像にオブジェクトが現れているか否かを判別する。
【００４４】
なお、図４に示す手順では、差分画像生成手段１５が、判別器１３を構成する弱判別器１６で差分を求めるべき全ての２点間の位置関係に応じたずれ量で差分画像を生成するものとして説明したが、これには限定されない。例えば２点間の位置関係に使用頻度に応じて、使用頻度が低いものについては差分画像を生成しなくてもよい。弱判別器１６は、自身が差分を求めるべき２点間の位置関係に対応した差分画像が存在しないときは、差分画像を参照するのに代えて、入力画像から差分値を計算すればよい。
【００４５】
続いて、オブジェクト候補点検出手段１２の具体的な構成例を説明する。図５は、オブジェクト候補点検出手段１２の構成例を示す。オブジェクト候補点検出手段１２は、前処理手段２１、平滑化処理手段２２、差分画像生成手段２３、合算手段２４、位置推定手段２５、サイズ推定手段２６、及び部分画像生成手段２７を有する。オブジェクト候補点検出手段１２は、画像内の特定パターン、例えば人物の頭部が存在すると推定される位置の周辺の画像を部分画像として切り出す。以下ではオブジェクト候補点検出手段１２が、オブジェクトが存在すると推定される位置を１つ推定し、その周辺の画像を部分画像として切り出すものとして説明を行う。
【００４６】
前処理手段２１は、解像度変換手段５１と動き領域抽出手段５２とを有する。解像度変換手段５１は、動画像を構成するフレーム画像を所定の解像度に低解像度化する。解像度変換手段５１は、例えば画像の解像度を縦横それぞれ１／８倍に変換する。
【００４７】
動き領域抽出手段５２は、動画像を構成するフレーム画像から動き領域を抽出し動き領域抽出画像を生成する。動き領域の抽出には、例えば背景画像やフレーム間画像の差分を算出するなど任意の手法を用いることができる。動き領域抽出手段５２は、抽出された動きの量に応じて、動きがある領域ほど白く（階調値が高く）、動きが少ない領域ほど黒く（階調値が低く）なるようなグレースケール画像を動き領域抽出画像として生成する。動き領域抽出手段５２は、例えば階調数２５６のグレースケール画像に対して所定の関数に従って階調を変換し、白から黒までの階調数を減少させるコントラスト低減処理を実施してもよい。動き領域抽出手段５２は、グレースケール画像に代えて、動き領域を白、背景領域を黒にするような２値化画像を動き領域抽出画像として生成してもよい。
【００４８】
平滑化処理手段２２には、前処理手段２１で前処理された画像Ｐ（ｘ，ｙ）、すなわち解像度が低解像度化され、動き領域が抽出された画像が入力される。平滑化処理手段２２は、平滑化フィルタを画像に畳み込む処理を繰り返し行うことにより、スケールが異なる複数枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成する。
【００４９】
平滑化処理手段２２は、まず画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込むことで平滑化画像Ｌ（ｘ，ｙ，σ１）を生成し、その平滑化画像Ｌ（ｘ，ｙ，σ１）に更に平滑化フィルタを畳み込むことでスケールσ２の平滑化画像＋（ｘ，ｙ，σ２）を生成する。平滑化処理手段２２は、以降同様に平滑化フィルタの畳み込みを繰り返し行い、任意のスケールσｑの平滑化画像Ｌ（ｘ，ｙ，σｑ）から次のスケールσｑ＋１の平滑化画像Ｌ（ｘ，ｙ，σｑ＋１）を生成する。
【００５０】
平滑化画像Ｌ（ｘ，ｙ，σｉ）におけるスケール番号ｉは、平滑化フィルタを畳み込んだ回数に相当する。平滑化処理手段２２は、例えばスケールが異なるａ×ｋ枚（ａ及びｋはそれぞれ２以上の整数）の平滑化画像Ｌ（ｘ，ｙ，σ１）〜Ｌ（ｘ，ｙ，σａ×ｋ）を生成する。平滑化処理手段２２は、例えばａ＝２、ｋ＝３０とすれば２×３０＝６０枚の平滑化画像Ｌ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ６０）を生成する。
【００５１】
平滑化フィルタには、例えばガウシアンフィルタを用いることができる。平滑化フィルタは、例えば検出対象であるオブジェクトの輪郭形状に合わせたフィルタ特性となる３×３オペレータから成る。例えば判別器１３（図１）で検出対象とするオブジェクトが人物の頭部であれば、平滑化フィルタとして、人物の頭部の輪郭形状に沿って下側のフィルタ係数が小さくなる特性（オメガ形状）を有するフィルタを用いる。このような平滑化フィルタを用いることで、人物の頭部の輪郭形状を有する領域を強調し、それ以外の領域は抑制された平滑化処理を実現できる。
【００５２】
なお、フィルタの形状はオメガ形状には限定されず、例えば特開２００３−２４８８２４号公報等に記載されたものなど、他の公知技術を適用することも可能である。例えば検出対象のオブジェクトの形状が円形、三角形、四角形などの場合には、それぞれのオブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化処理を施せばよい。
【００５３】
差分画像生成手段２３は、平滑化処理手段２２が生成した複数枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）を入力し、スケールが互いに異なる２つの平滑化画像間の差分画像Ｇ（ｘ，ｙ，σｊ）を、スケールを変えつつ複数枚生成する。ここで、差分画像Ｇ（ｘ，ｙ，σｊ）におけるスケール番号ｊの最大値は、平滑化画像Ｌにおけるスケールσｉの最大値（例えばａ×ｋ）よりは小さい。差分画像生成手段２３は、例えばスケール番号ｊに応じたスケールだけ離れた平滑化画像間の差分画像を生成する。具体的には、差分画像生成手段２３は、例えば下記式１を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成することができる。
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ×ａ）・・・（１）
差分画像は、差分値の絶対値であってもよい。
【００５４】
上記の式１の定義からわかるように、差分画像Ｇ（ｘ，ｙ，σｊ）は、スケールσｊの平滑化画像と、スケールσｊ×ａの平滑化画像との差分として定義される。例えばａ＝２、ｋ＝３０とすると、差分画像生成手段２３は、スケールσ１とσ２、スケールσ２とσ４、スケールσ３とσ６、・・・、スケールσ３０とσ６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ３０）を生成する。式１に従って差分画像Ｇ（ｘ，ｙ，σｊ）を生成する場合、ｊは１〜ｋの値を取る。すなわち、差分画像生成手段２３は、ｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）を生成する。
【００５５】
差分画像生成手段２３は、上記に代えて、一定のスケールだけ離れた平滑化画像間の差分を差分画像として生成してもよい。差分画像生成手段２３は、例えばスケールσｊの平滑化画像と、スケールσｊ＋ｐの平滑化画像（ｐは１以上の整数）との差分を差分画像（ｘ，ｙ，σｊ）として生成してもよい。具体的には、差分画像生成手段２３は、下記式２を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成してもよい。
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ＋ｐ）・・・（２）
この場合、平滑化画像の枚数をｒ（ｒ：３以上の整数）枚とすると、ｊは１〜ｒ−ｐの値を取る。すなわち差分画像生成手段２３は、ｒ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｒ−ｐ）を生成する。具体的には、ｒ＝６０で、ｐ＝３０の場合、差分画像生成手段２３は、スケールσ１とσ３１、スケールσ２とσ３２、スケールσ３とσ３３、・・・、スケールσ３０とσ６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ３０）を生成する。
【００５６】
合算手段２４は、差分画像生成手段２３が生成した複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）を合算し、合算画像ＡＰ（ｘ，ｙ）を生成する。位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）における画素値に基づいてオブジェクトの位置を推定する。位置推定手段２５は、例えば合算画像ＡＰ（ｘ，ｙ）において画素値（差分値を合計した値）が最も大きくなる位置を調べ、その位置をオブジェクトの位置として推定する。
【００５７】
サイズ推定手段２６は、複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）の画素値を比較し、最大の画素値を有する差分画像のスケールに基づいて、検出すべきオブジェクトのサイズを推定する。サイズ推定手段２６は、例えば最大の画素値（差分値）を有する差分画像の生成元となった２枚の平滑化画像のうちのスケールが小さい方の平滑化画像内のスケールに基づいてオブジェクトのサイズを推定する。すなわちサイズ推定手段２６は、式１又は式２に従って生成される複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）のうちで、最大の差分値を有するスケールσｊを求め、求めたスケールσｊに基づいてオブジェクトの位置を推定する。
【００５８】
上記のオブジェクトの位置及びサイズの推定について説明する。平滑化処理手段２２は、オブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成しており、この平滑化画像Ｌ（ｘ，ｙ，σｉ）は、特定の形状を持つ領域が強調され、他の領域が抑制された画像となる。例えば平滑化処理を数十回行ったときでも平滑化画像内にオブジェクトの輪郭成分が残るが、スケールσｉが大きくなるほど、オブジェクトの領域はボケていくと共に広がっていく。
【００５９】
平滑化画像Ｌ（ｘ，ｙ，σｉ）におけるオブジェクトの形状及びサイズは、入力画像内のオブジェクトの形状及びサイズとそれぞれ一致していると仮定する。この平滑化画像Ｌ（ｘ，ｙ，σｉ）でのオブジェクト形状及びサイズの顕著性を算出するために、あるスケールの平滑化画像に対して、そのスケールよりもスケールが大きい平滑化画像を背景として設定する。すなわちスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）対して、式１ではスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）を背景画像として設定し、式２ではスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）を背景として設定する。そして、式１又は式２に従って、スケールσｊの平滑化画像と背景画像として設定する平滑化画像との差分画像Ｇ（ｘ，ｙ，σｊ）が、スケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）におけるオブジェクトの顕著性として算出される。このように差分画像生成手段２３においてオブジェクトの顕著性を数値化し、位置推定手段２５及びサイズ推定手段２６において、差分画像生成手段２３において数値化されたオブジェクトの顕著性に基づいて、オブジェクトの位置及びサイズをそれぞれ推定する。
【００６０】
ここで、画像内においてオブジェクトが理想形状、すなわちフィルタ特性に最も合致した形状であって、かつ背景にノイズがない差分画像が、他の差分画像に比べて最大の信号を有する。言い換えれば、前処理済みの画像Ｐ（ｘ，ｙ）内のオブジェクトを構成する各画素の成分がオブジェクトの領域にほぼ等しくなるまで広がったとき、差分画像Ｇ（ｘ，ｙ，σｊ）内の差分値は最大となる。例えば画像Ｐ（ｘ，ｙ）内のオブジェクトが直径１０画素の円形画素から構成される場合、複数の差分画像のうちで、ｊ＝１０の差分画像Ｇ（ｘ，ｙ，σ１０）（式１ではＬ（ｘ，ｙ，σ１０）−Ｌ（ｘ，ｙ，σａ×１０）、式２ではＬ（ｘ，ｙ，σ１０）−Ｌ（ｘ，ｙ，σ１０＋ｐ））における差分値が、他の差分画像における差分値に比べて大きな値を有することになる。
【００６１】
一方で、実際に画像内に映し出されるオブジェクトは、カメラとオブジェクトの位置関係や個体差などに応じて映り方が異なり、オブジェクトの輪郭形状及びサイズは理想形状になるとは限らない。つまり、オブジェクトの輪郭形状及びサイズは変動する。そこで、位置推定手段２５は、複数の差分画像Ｇ（ｘ，ｙ，σｊ）を合算した合算画像ＡＰ（ｘ，ｙ）を用いてオブジェクトの位置を推定する。このようにすることで、オブジェクトの変動を吸収しながらオブジェクトの位置を推定できる。つまり、サイズが小さいオブジェクトからサイズが大きいオブジェクトに含まれる様々な輪郭形状の変動を持つオブジェクトに対して、平滑化画像を加算した合算画像ＡＰ（ｘ，ｙ）から最大値を検出することにより、変動を吸収しながら位置推定を行うことができる。
【００６２】
また、上述したように、式１、式２におけるスケール番号ｊは、画像Ｐ（ｘ，ｙ）内における検出対象のオブジェクトのサイズに対応するパラメータである。オブジェクトのサイズが小さい場合にはスケール番号ｊが小さい差分画像Ｇ（ｘ，ｙ，σｊ）から最大値が検出され、オブジェクトのサイズが大きい場合にはスケール番号ｊが大きい差分画像Ｇ（ｘ，ｙ，σｊ）から最大値が検出される。サイズ推定手段２６は、この性質を利用し、複数の差分画像の間で差分値同士を比較し、最大の差分値となる差分画像のスケール番号、すなわち平滑化処理の繰り返し回数からオブジェクトのサイズを推定する。
【００６３】
部分画像生成手段２７は、位置推定手段２５から推定されたオブジェクトの位置を入力し、サイズ推定手段２６から推定されたオブジェクトのサイズを入力する。部分画像生成手段２７は、入力画像（フレーム画像）からオブジェクトが存在すると推定される位置の周辺の画像を部分画像として切り出す。また部分画像生成手段２７は、切り出した部分画像を、推定されたサイズに応じた倍率で拡大／縮小する。推定されたサイズに応じた倍率で拡大／縮小することで、オブジェクトのサイズの変動を吸収することができる。
【００６４】
図６は、オブジェクト候補点検出手段１２の動作手順を示す。前処理手段２１は、画像入力手段１１（図１）からフレーム画像を受け取り、フレーム画像に対して前処理を行う（ステップＣ１）。すなわち、解像度変換手段５１がフレーム画像を所定の解像度にまで低解像度化し、動き領域抽出手段５２が低解像度化されたフレーム画像から動き領域を抽出する。前処理手段２１は、前処理後の画像、すなわち解像度が低解像度化され、動き領域が白で背景領域が黒となるようにグレースケール化された画像Ｐ（ｘ，ｙ）を平滑化処理手段２２に入力する。なお、前処理手段２１における解像度変換及び動き領域抽出の何れか一方、又は双方を省略しても構わない。双方を省略する場合、フレーム画像を平滑化処理手段２２に入力すればよい。
【００６５】
平滑化処理手段２２は、画像Ｐ（ｘ，ｙ）を入力し、画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込む処理を繰り返すことで、スケールが異なる複数の平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成する（ステップＣ２）。平滑化処理手段２２は、フレーム画像そのものに対して平滑化フィルタを畳み込んでもよい。差分画像生成手段２３は、スケールが異なる２つの平滑化画像間の差分を計算し、差分画像Ｇ（ｘ，ｙ，σｊ）を生成する（ステップＣ３）。差分画像生成手段２３は、例えば式１を用いて、ａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）からスケール番号１〜ｋのｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）を生成する。あるいは差分画像生成手段２３は、式２を用いて、ｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）からスケール番号１〜ｒ−ｐのｒ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｒ−ｐ）を生成する。
【００６６】
合算手段２４は、差分画像生成手段２３が生成した複数の差分画像を合算し、合算画像ＡＰ（ｘ，ｙ）を生成する（ステップＣ４）。合算手段２４は、例えば差分画像生成手段２３で生成されたｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）の各画素値を全て加算する。位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）に基づいて、オブジェクトが存在する位置を推定する（ステップＣ５）。位置推定手段２５は、例えば合算画像ＡＰ（ｘ，ｙ）を構成する各画素位置の画素値（差分の合算値）を比較し、合算画像において最大の画素値を有する画素位置をオブジェクトの位置として推定する。
【００６７】
なお、合算手段２４は、全ての差分画像を合算する必要はない。合算手段２４は、例えば全ｋ枚の差分画像のうちの任意数、及び任意のスケール番号の差分画像を合算してもよい。合算手段２４は、例えば吸収したいサイズ変動幅に応じて、加算処理に用いる差分画像の数（合算する差分画像のスケール）を変更してもよい。例えば、検出対象のオブジェクトの種類に応じて吸収したいサイズ変動幅を設定しておき、あるオブジェクトについては、スケール番号が小さい、具体的にはスケール番号１、２の差分画像Ｇ（ｘ，ｙ，σ１）、（ｘ，ｙ，σ２）を合算から除外して、スケール番号３〜ｋの差分画像Ｇ（ｘ，ｙ，σ３）〜（ｘ，ｙ，σｋ）を合算してもよい。また、合算手段２４が、スケール番号１から、ｋよりも小さい任意のスケール番号までの差分画像（ｘ，ｙ，σｊ）を合算してもよい。
【００６８】
サイズ推定手段２６は、複数の差分画像Ｇ（ｘ，ｙ，σｊ）に基づいて、オブジェクトのサイズを推定する（ステップＣ６）。サイズ推定手段２６は、例えばｋ枚の差分画像間で、位置推定手段２５で推定されたオブジェクトの位置の周辺の画素の画素値（差分値）を比較する。サイズ推定手段２６は、最大の画素値を与える差分画像のスケールを特定する。あるいはサイズ推定手段２６は、推定されたオブジェクトの位置の周辺だけではなく、差分画像の全画素の画素値を比較し、最大の画素値を与える差分画像のスケールを特定してもよい。平滑化処理を行うことで画像内の像がどの程度広がるか（ボケるか）は既知であるため、差分最大を与えるスケールが判明すれば、そのスケール番号に基づいてオブジェクトのサイズが推定できる。また、上述のように検出対象であるオブジェクトは変動するため、サイズ推定手段２６は、最も大きい差分値を有する差分画像から推定したサイズ±α（αは所定の値）をオブジェクトのサイズとして推定するようにしてもよい。
【００６９】
部分画像生成手段２７は、推定されたオブジェクトの位置及びサイズを利用して、フレーム画像におけるオブジェクトが存在すると推定される位置の周辺の画像を部分画像として生成する（ステップＳ７）。部分画像生成手段２７は、例えばフレーム画像からオブジェクトが存在すると推定される位置の周辺の画像を切り出し、切り出した画像を、推定されたオブジェクトのサイズに応じて拡大／縮小する。推定されたオブジェクトのサイズに応じて拡大／縮小を行うことで、部分画像におけるオブジェクトの大きさを、判別器１３で使用されるテンプレートにおけるオブジェクトの大きさに適合させることができる。部分画像生成手段２７は、生成した部分画像を判別器１３へ出力する。判別器１３は、部分画像生成手段２７により生成された部分画像に対して、検出対象のオブジェクトの存在に関する詳細な判別処理を実行する。
【００７０】
比較例としてＤＯＧ（Differential Of Gaussian）画像を用いたオブジェクトの位置推定を考えると、ＤＯＧ画像を用いた位置推定では隣接するスケールの平滑化画像間の差分を全て求める必要があり、生成する必要がある差分画像の枚数が多くなる。図５に示すオブジェクト候補点検出手段１２を用いる場合、あるスケールの平滑化画像と、そのスケールから所定スケールだけ離れたスケールの平滑化画像との差分を差分画像として生成すればよく、ＤＯＧ画像を用いた位置推定に比して、差分画像の生成枚数を少なくすることができる。このため、効率的に精度良くオブジェクトの位置を推定することができる。また、図５に示す構成のオブジェクト候補点検出手段１２では、多重解像度画像を生成しなくてもオブジェクトのサイズの推定することができ、効率的にオブジェクトのサイズを推定することができる。
【００７１】
特に、平滑化処理手段２２においてａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σａ×ｋ）を生成し、差分画像生成手段２３において、式１用いて、スケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσａ×ｊの平滑化画像Ｌ（ｘ，ｙ，σａ×ｊ）との差分を差分画像Ｇ（ｘ，ｙ，σｊ）として求める場合、オブジェクトのサイズの様々な変動に合わせて、オブジェクトの位置を精度よく推定することができる。また、オブジェクトのサイズの推定を精度よく行うことができる。
【００７２】
なお、上記の説明では、動き領域抽出手段５２が動き領域（オブジェクト）を白、背景領域を黒とするようなグレースケール化処理又は２値化処理を行うものとして説明したが、動き領域抽出手段５２の動作はこれには限定されない。例えば動き領域抽出手段５２は、動き領域を黒、背景領域を白とするようなグレースケール化処理又は２値化処理を行ってもよい。その場合には、位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）において、画素値が最小となる画素位置を、オブジェクトの位置として推定すればよい。また、サイズ推定手段２６は、複数の差分画像のうちで最小の画素値（差分値）を与える差分画像のスケールに基づいて、オブジェクトのサイズを推定すればよい。
【００７３】
また、上記の説明では、オブジェクト候補点検出手段１２が動画像からオブジェクトが存在すると推定される位置を１つだけ推定する例を説明したが、これには限定されない。オブジェクト候補点検出手段１２において、複数のオブジェクトの存在を推定し、オブジェクトが存在すると推定された複数の位置の周辺の画像をそれぞれ部分画像を切り出してもよい。例えばオブジェクト候補点検出手段１２において位置を推定すべきオブジェクトの数をＭとする。その場合、位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）の画素値を大きい順に並べ、上位Ｍ個の画素位置を各オブジェクトの位置として推定し、各位置の周辺の画像を部分画像として切り出せばよい。つまり、合算画像ＡＰ（ｘ，ｙ）において画素値が大きい順にＭ個の画素位置をオブジェクトの位置として推定すればよい。サイズ推定手段２６は、推定されたＭ個のオブジェクトの位置の周辺において、最大の画素値を与える差分画像のスケールに基づいて、各オブジェクトのサイズを推定すればよい。
【００７４】
次いで、本実施形態における効果を説明する。本実施形態では、判別器１３における処理に先立って、弱判別器１６で求めるべき差分の位置関係に対応した２点間の差分を差分画像として生成してく。各弱判別器１６は、個別に差分計算を行うのに代えて、あらかじめ生成しておいた差分画像を参照して差分画像から差分値を取得する。各弱判別器１６において個別に差分計算を行う場合、位置関係が同じ２点間の差分を計算する複数の弱判別器１６において、テンプレートの移動前後で、入力画像の同じ位置の差分が個別に重複して計算される。本実施形態では、弱判別器１６は差分画像を参照することで差分値を取得できるため、テンプレートを移動したときに、同じ位置関係の２点間の差分計算が重複して実行されるのを避けることができる。本実施形態では、重複した差分計算を避けることができるため、差分処理の計算回数を削減することができ、判別処理を高速化をすることができる。
【００７５】
以下、具体例を用いて説明する。図７（ａ）及ぶ（ｂ）は、弱判別器１６における差分計算に関する基本特徴タイプを示す。（ａ）及び（ｂ）に示す基本特徴タイプＡ、Ｂは、それぞれ３つの画素のペアの差分として定義される。（ａ）に示す基本特徴タイプＡと（ｂ）に示す基本特徴タイプＢとは、ペア間の画素の位置関係は両者で異なるものの、各ペアにおいて横方向に１画素分離れた画素間で差分計算を行うという点で共通している。学習の結果、判別器１３が、（ａ）に示す基本特徴タイプＡで差分計算を行う弱判別器１６と、（ｂ）に示す基本特徴タイプＢで差分計算を行う弱判別器１６とを、それぞれ２０個ずつ含むこととなったとする。
【００７６】
差分画像を用いない場合、テンプレートのサイズを３２画素×３２画素とすると、この３２×３２の領域内で、基本特徴タイプＡの弱判別器１６、及び基本特徴タイプＢの弱判別器１６においてそれぞれ２０か所の差分計算がされることになる。基本特徴タイプＡ及びＢはそれぞれ３つのペアについて差分計算を行うため、テンプレート内では、（２０＋２０）×３＝１２０回の差分計算が行われることになる。このテンプレートを縦方向及び横方向にそれぞれ３２画素の範囲で１画素ずつずらして走査すると、テンプレートの各位置で１２０回の差分計算が行われることから、トータルの差分の計算回数は１２０×３２×３２＝１２２８８０回となる。
【００７７】
一方、差分画像を用いる場合、テンプレートの走査範囲が上記と同じ範囲であるとすれば、差分処理が必要なエリアは６４画素×６４画素（テンプレートのサイズ３２画素＋走査幅３２画素＝６４画素）のエリアになり、差分画像の生成に際して、６４×６４＝４０９６回の差分計算が必要である。基本特徴タイプＡと基本特徴タイプＢとは、共に横方向に１画素離れた画素ペアの差分を計算するため、基本特徴タイプＡの弱判別器１６と基本特徴タイプＢの弱判別器１６とは、共通の差分画像を参照すればよい。差分画像を用いる場合、４０９６回の差分計算を行うことで、基本特徴タイプＡの弱判別器１６と基本特徴タイプＢの弱判別器１６とにおける処理が実現でき、各弱判別器において個別の差分計算を行う場合に比して、差分計算の回数を大幅に削減できる。また、差分画像の生成において、例えば着目画素の位置をラスタスキャンして差分計算を行うことで、各弱判別器１６において個別に差分計算を行う場合に比して画像の参照箇所を局所化することができ、これによりキャッシュヒットの向上を見込むことができる。キャッシュがヒットすることで、差分画像生成を効率よく行うことができる。
【００７８】
また、本実施形態では、オブジェクト候補点検出手段１２を用いており、オブジェクトが存在する可能性が高い画像部分を判別器１３に入力している。本実施形態では、オブジェクトが存在する確率が高い画像部分を判別器１３で処理するため、各弱判別器１６で早期終了の判断を行わずに、複数の弱判別器１６を最終段まで一括で実行することが好ましい。早期終了を行わない場合、各弱判別器１６で分岐判断が発生しないため、パイプラインの乱れが生じない。更に、早期終了を行わないことで、判別器１３における処理時間を一定の時間に保つことができる効果もある。
【００７９】
続いて、本発明の第２実施形態を説明する。第２実施形態におけるオブジェクト判別装置の構成は、図１に示す第１実施形態のオブジェクト判別装置１０の構成と同様である。本実施形態では、判別器１３において、基本特徴タイプが同じ複数の弱判別器１６（図２）が連続してカスケード接続される。その他の点は、第１実施形態と同様である。
【００８０】
図８は、第２実施形態のオブジェクト判別装置で用いられる判別器を示す。判別器１３ａでは、例えば図８に示すように、基本特徴タイプ１、基本特徴タイプ２、及び基本特徴タイプ３の弱判別器１６がそれぞれまとめられ、連続してカスケード接続されている。また、判別器１３ａでは、基本特徴タイプ１の弱判別器１６のグループに次に基本特徴タイプ２の弱判別器のグループが配置され、基本特徴タイプ２の弱判別器１６のグループの次に基本特徴タイプ３の弱判別器１６のグループが配置されている。
【００８１】
図９は、判別器１３ａの構成に用いられる判別器構成装置３０を示す。学習結果入力手段３１は、機械学習を用いて学習された複数の弱判別器１６を入力する。グループ化手段３２は、学習により得られた複数の弱判別器１６を、基本特徴タイプに応じて複数のグループにグループ化する。グループ化手段３２は、複数の弱判別器１６を、例えば基本特徴タイプごとにグループ化する。再配置手段３３は、同じグループに所属する弱判別器１６が連続して並ぶように複数の弱判別器をカスケード接続し、判別器１３ａを構成する。判別器構成装置３０の各部の機能は、例えばコンピュータが所定のプログラムに従って処理を実行することで実現できる。
【００８２】
図１０（ａ）は学習後の判別器を示し、（ｂ）は再配置後の判別器を示す。一般に、学習により得られた弱判別器は、重み付き正答率が高い順に、つまり判別に有効な順に並んでいる。図１０（ａ）は、複数の弱判別器が判別に有効な順にカスケード接続された状態を示している。再配置手段３３は、図１０（ｂ）に示すように、判別器１３ａにおいて、基本特徴タイプが同じ弱判別器が連続して配置されるように学習済みの弱判別器を並び替える。並び替えを行うことで、例えば学習後の判別器（図１０（ａ））において初段を構成していた弱判別器が、再配置後の判別器１３ａ（図１０（ｂ））の中段に配置され、学習後の判別器において中段を構成していた弱判別器が、再配置後の判別器１３ａの初段に配置され得る。
【００８３】
ここで、図１に示すルックアップテーブル１４には、基本特徴タイプごとに生成されたルックアップテーブルが格納されており、基本特徴タイプが同じ弱判別器１６は、同じルックアップテーブルを参照してスコアを求める。通常、判別器１３ａの処理を実現するプロセッサにはキャッシュメモリが備えられており、そのキャッシュメモリには、弱判別器１６が参照したルックアップテーブルの参照箇所に近い部分が格納されることになる。
【００８４】
弱判別器を、判別に有効な順にカスケード接続した一般的な判別器（強判別器）では、ある段の弱判別器の基本特徴タイプとその次の段の弱判別器の基本特徴タイプとが異なっていることが多い。その場合、ある段の弱判別器の処理において、その弱判別器が参照するルックアップテーブルの一部がキャッシュメモリに格納されたとしても、その次の段の弱判別器の処理においてキャッシュがヒットすることはあまり期待できない。これに対し、基本特徴タイプが同じ弱判別器が連続して並ぶ場合、同じ基本特徴タイプの弱判別器１６が連続して処理を行う間は同じルックアップテーブルが参照されることになり、キャッシュがヒットする確率の向上が見込める
【００８５】
本実施形態では、オブジェクト判別装置１０は、基本特徴タイプが同じ弱判別器１６が連続して並べられている判別器１３ａを用いて画像に検出対象のオブジェクトが存在するか否かの判別を行う。このようにすることで、同じ基本特徴タイプの弱判別器１６を連続して並べない場合に比して、ルックアップテーブルの参照において参照の局所化を図ることができ、キャッシュヒットの確率を上げることができる。本実施形態では、第１実施形態で得られる効果に加えて、キャッシュがヒットした分だけ、処理を高速化できる。特に、主に組み込み系で用いられるようなローパワーの処理系では、キャッシュヒットの有無が処理時間に与える影響は大きく、キャッシュをヒットさせることで処理時間を大幅に短縮することができる。
【００８６】
引き続き、本発明の第３実施形態を説明する。本実施形態におけるオブジェクト判別装置の構成は、図１に示す第１実施形態のオブジェクト判別装置１０の構成と同様である。本実施形態では、強判別器１３ａ（図８）において、基本特徴タイプが同じ複数の弱判別器１６が、各弱判別器１６における差分計算の際の画像の参照位置に従った並び順で並べられる。その他の点は、第２実施形態と同様である。
【００８７】
図１１（ａ）は、基本特徴タイプ１における弱判別器の並び順を示し、（ｂ）は、テンプレート内での各弱判別器の画像の参照位置を示している。基本特徴タイプ１は、横方向（ｘ方向）に並ぶ２つの画素の差分であるとする。図１１（ｂ）は、差分計算のタイプが基本特徴体タイプ１の複数の弱判別器１６のうちのいくつかにおける画像の参照位置を示している。基本特徴タイプ１の複数の弱判別器１６は、図１１（ａ）に示すように、各弱判別器１６における差分計算の際の画像の参照位置に従った順序でカスケード接続される。
【００８８】
例えば、基本特徴タイプ１の複数の弱判別器１６は、各弱判別器１６における差分計算の際の画像の参照位置がラスタスキャン走査順に従って現れるように並べられている。図８に示す判別器１３における基本特徴タイプ２の複数の弱判別器１６、及び、基本特徴タイプ３の複数の弱判別器１６も、基本特徴タイプ１と同様に、弱判別器１６が、差分計算の際の画像の参照位置がラスタスキャン走査順に従って現れるように並べられている。
【００８９】
図１２は、本実施形態における判別器の構成に用いる判別器構成装置３０ａを示している。学習結果入力手段３１は、機械学習を用いて学習された複数の弱判別器１６を入力する。グループ化手段３２は、学習により得られた複数の弱判別器１６を、基本特徴タイプに応じて複数のグループにグループ化する。グループ化手段３２は、複数の弱判別器１６を、例えば基本特徴タイプごとにグループ化する。ソート手段３４は、同じグループに所属する弱判別器１６を、差分計算の際の画像の参照位置に従ってソートする。再配置手段３３は、ソート手段３４でソートされた順初に従って、グループごとに複数の弱判別器をカスケード接続し、判別器を構成する。
【００９０】
ソート手段３４は、例えば、弱判別器１６が差分計算の際に参照する複数の参照位置のうちで最も原点（画像の左上）に近い参照位置を、その弱判別器１６が差分計算の際に参照する画像の参照位置としてソートを行う。具体的に、弱判別器１６が３組の差分（６点参照）を求めるものである場合、ソート手段３４は、６点のうちでもっとも原点に違い参照点の位置を、その弱判別器１６における差分計算の際の画像の参照位置としてソートを行うことができる。あるいは６点の参照点のうちの任意の１つを、差分計算の際の画像の参照位置としてソートを行ってもよい。また、弱判別器１６における複数の参照点の重心位置、例えば６点の参照点の重心位置を、差分計算の際の画像の参照位置としてソートを行ってもよい。
【００９１】
ここで、単に基本特徴タイプに応じてグループ分けを行っただけであれば、基本特徴タイプは同じでも、ある段の弱判別器における差分計算の際の画像の参照箇所とその次の段の弱判別器における差分計算の際の画像の参照箇所とが離れている場合が多いと考えられる。その場合、ある段の弱判別器の処理において、その弱判別器が差分を求める際に参照する位置付近の画像がキャッシュメモリに格納されたとしても、その次の段の弱判別器が差分を求める際に画像のキャッシュがヒットすることはない。
【００９２】
本実施形態では、複数の弱判別器１６を、差分計算の際の画像の参照位置に従った並び順でカスケード接続した判別器１３を用いる。弱判別器１６が画像の参照箇所に従った並び順で並べられている場合、後段の弱判別器１６が前段の弱判別器１６の参照箇所と近い部分を参照して差分を求め、画像のキャッシュがヒットする可能性がある。ルックアップテーブルの参照の局所化だけでなく、画像についても参照の局所化を図ることができ、差分を求める際の画像参照を効率的に行うことが可能である。
【００９３】
なお、第２実施形態では、基本特徴タイプごとにグループ化を行い、全ての基本特徴タイプについて、同じ基本特徴タイプの弱判別器１６が連続してカスケード接続されるものとして説明したが、これには限定されない。必ずしも、全ての基本特徴タイプについて、同じ基本特徴タイプの弱判別器１６が連続して並んでいる必要はない。例えば、基本特徴タイプの使用頻度に応じて、いくつかの基本特徴タイプはグループ化の対象から除外し、除外した基本特徴タイプの弱判別器１６については連続してカスケード接続しないという構成も可能である。
【００９４】
また、第３実施形態では、基本特徴タイプでグループ化した後に、弱判別器１６を差分計算の際の画像の参照位置に応じて並べる例について説明したが、これには限定されない。例えば、基本特徴タイプでグループ化せずに、弱判別器１６を差分計算の際の画像の参照位置に応じて並べてもよい。すなわち、各弱判別器１６における差分計算の際の画像の参照位置に従った並び順で複数の弱判別器１６をカスケード接続し、判別器１３を構成してもよい。その場合でも、画素値参照の際のキャッシュヒットの向上を見込むことができ、処理の高速化が可能である。
【００９５】
上記各実施形態では、判別器１３が早期終了を行わないこととして説明を行ったが、判別器１３において早期終了を行ってもよい。例えば、数千の弱判別器を、数百の弱判別器ごとにブロック化し、ブロックごとに早期終了の判断を行うようにしてもよい。その場合は、同一ブロック内で、基本特徴タイプが同じ弱判別器が連続して並ぶように、複数の弱判別器をカスケード接続すればよい。または、ブロックごとに、差分計算の際の画像の参照箇所に従った並び順で弱判別器を並べればよい。その場合、ブロック内の処理において参照の局所化を図ることができ、ブロック内で弱判別器が判別に有効な順に並んでいる場合に比して、処理時間を短縮できる。ブロックごとに基本特徴量タイプの母集団を変えて学習し、複数ブロックから構成させる強判別器を構成することも可能であり、その場合、ブロックごとに最後に１回だけ早期終了判断を行ってもよい。
【００９６】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明のオブジェクト判別装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【００９７】
１０：オブジェクト判別装置
１１：画像入力手段
１２：オブジェクト候補点検出手段
１３：判別器（強判別器）
１４：ルックアップテーブル
１５：差分画像生成手段
１６：弱判別器
２１：前処理手段
２２：平滑化処理手段
２３：差分画像生成手段
２４：合算手段
２５：位置推定手段
２６：サイズ推定手段
２７：部分画像生成手段
３０：判別器構成装置
３１：学習結果入力手段
３２：グループ化手段
３３：再配置手段
３４：ソート手段
５１：解像度変換手段
５２：動き領域抽出手段
【特許請求の範囲】
【請求項１】
それぞれが、入力画像における少なくとも１組の２点間の差分を求め、該求めた差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別器がカスケード接続された強判別器と、
前記弱判別器で差分を求めるべき画像の２点間の位置関係に応じたずれ量を設定し、前記入力画像と前記入力画像を前記設定したずれ量だけずらした画像との差分画像を生成する差分画像生成手段とを備え、
前記複数の弱判別器のうちの少なくとも一部が、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求めるものであることを特徴とするオブジェクト判別装置。
【請求項２】
前記強判定器が、前記入力画像内でテンプレートを所定の走査順で走査し、該走査されたテンプレートの各位置について前記複数の弱判別器における処理を実行するものであることを特徴とする請求項１に記載のオブジェクト判別装置。
【請求項３】
前記差分画像生成手段が、前記複数の弱判別器で差分を求めるべき複数の２点間の位置関係に応じたずれ量を順次に設定し、各ずれ量に対応した複数の差分画像を生成するものであることを特徴とする請求項１又は２に記載のオブジェクト判別装置。
【請求項４】
前記差分画像生成手段が、前記複数の弱判別器で差分を求めるべき全ての２点間の位置関係に応じたずれ量を順次に設定するものであり、前記複数の弱判別器のそれぞれが、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得するものであることを特徴とする請求項３に記載のオブジェクト判別装置。
【請求項５】
前記強判別器が、前記カスケード接続された弱判別器の初段から最終段まで、早期終了を行うことなく各弱判別器における処理を実行するものであることを特徴とする請求項１から４何れかに記載のオブジェクト判別装置。
【請求項６】
前記複数の弱判別器のそれぞれが、差分計算に関する複数の基本特徴タイプの何れかで前記少なくとも１組の２点間の差分を求めるものであり、前記強判別器では、前記基本特徴タイプが同じ弱判別器が連続して並べられていることを特徴とする請求項１から５何れかに記載のオブジェクト判別装置。
【請求項７】
前記強判別器では、基本特徴タイプが同じ弱判別器が複数あるとき、該基本特徴タイプが同じ複数の弱判別器が、各弱判別器における差分計算の際の画像の参照位置に従った並び順で並べられていることを特徴とする請求項６に記載のオブジェクト判別装置。
【請求項８】
前記強判別器では、各弱判別器における差分計算の際の画像の参照位置に従った並び順で前記弱判別器が並べられていることを特徴とする請求項１から５何れかに記載のオブジェクト判別装置。
【請求項９】
処理対象の画像からオブジェクトの位置を推定して該推定したオブジェクトの位置の周辺の画像を切り出し、該切り出した画像をそれぞれ前記強判別器及び前記差分画像生成手段に前記入力画像として与えるオブジェクト候補点検出手段を更に備えることを特徴とする請求項１から８何れかに記載のオブジェクト判別装置。
【請求項１０】
前記オブジェクト候補点検出手段が、
オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込む処理を繰り返し行い、前記フレーム画像からスケールが異なる複数枚の平滑化画像を生成する平滑化処理手段と、
前記複数枚の平滑化画像のうち、スケールが互いに異なる２枚の平滑化画像間の差分画像を、スケールを変えつつ複数枚生成する差分画像生成手段と、
前記複数枚の差分画像を合算し合算画像を生成する合算手段と、
前記合算画像における画素値に基づいてオブジェクトの位置を推定する位置推定手段と、
前記フレーム画像から前記推定された位置の周辺の領域の画像を切り出す部分画像生成手段とを含むものであること特徴とする請求項９に記載のオブジェクト判別装置。
【請求項１１】
前記平滑化処理手段がスケールσ１からσａ×ｋ（ａ及びｋは２以上の整数）までのａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ａ×ｋ）を生成し、前記差分画像生成手段が、スケールσ１からσｋまでのｋ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）との差分に基づいて生成するものであることを特徴とする請求項１０に記載のオブジェクト判別装置。
【請求項１２】
前記平滑化処理手段がスケールσ１からσｒ（ｒは３以上の整数）までのｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ｒ）を生成し、前記差分画像生成手段が、スケールσ１からσｋ−ｐ（ｐは１以上の整数）までのｋ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ−ｐ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）との差分に基づいて生成するものであることを特徴とする請求項１０に記載のオブジェクト判別装置。
【請求項１３】
それぞれが、入力画像における少なくとも１組の２点間の差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行するステップと、
前記入力画像と、該入力画像を前記弱判別で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけずらした画像との差分画像を生成するステップとを有し、
前記複数の弱判別をカスケードに実行するステップの少なくとも一部において、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求めることを特徴とするオブジェクト判別方法。
【請求項１４】
コンピュータに、
それぞれが、入力画像における少なくとも１組の２点間の差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行する手順と、
前記入力画像と、該入力画像を前記弱判別で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけずらした画像との差分画像を生成するステップを手順とを実行させ、
コンピュータに、前記複数の弱判別をカスケードに実行する手順の少なくとも一部において、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求める手順を実行させるためのプログラム。
【請求項１】
それぞれが、入力画像における少なくとも１組の２点間の差分を求め、該求めた差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別器がカスケード接続された強判別器と、
前記弱判別器で差分を求めるべき画像の２点間の位置関係に応じたずれ量を設定し、前記入力画像と前記入力画像を前記設定したずれ量だけずらした画像との差分画像を生成する差分画像生成手段とを備え、
前記複数の弱判別器のうちの少なくとも一部が、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求めるものであることを特徴とするオブジェクト判別装置。
【請求項２】
前記強判定器が、前記入力画像内でテンプレートを所定の走査順で走査し、該走査されたテンプレートの各位置について前記複数の弱判別器における処理を実行するものであることを特徴とする請求項１に記載のオブジェクト判別装置。
【請求項３】
前記差分画像生成手段が、前記複数の弱判別器で差分を求めるべき複数の２点間の位置関係に応じたずれ量を順次に設定し、各ずれ量に対応した複数の差分画像を生成するものであることを特徴とする請求項１又は２に記載のオブジェクト判別装置。
【請求項４】
前記差分画像生成手段が、前記複数の弱判別器で差分を求めるべき全ての２点間の位置関係に応じたずれ量を順次に設定するものであり、前記複数の弱判別器のそれぞれが、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得するものであることを特徴とする請求項３に記載のオブジェクト判別装置。
【請求項５】
前記強判別器が、前記カスケード接続された弱判別器の初段から最終段まで、早期終了を行うことなく各弱判別器における処理を実行するものであることを特徴とする請求項１から４何れかに記載のオブジェクト判別装置。
【請求項６】
前記複数の弱判別器のそれぞれが、差分計算に関する複数の基本特徴タイプの何れかで前記少なくとも１組の２点間の差分を求めるものであり、前記強判別器では、前記基本特徴タイプが同じ弱判別器が連続して並べられていることを特徴とする請求項１から５何れかに記載のオブジェクト判別装置。
【請求項７】
前記強判別器では、基本特徴タイプが同じ弱判別器が複数あるとき、該基本特徴タイプが同じ複数の弱判別器が、各弱判別器における差分計算の際の画像の参照位置に従った並び順で並べられていることを特徴とする請求項６に記載のオブジェクト判別装置。
【請求項８】
前記強判別器では、各弱判別器における差分計算の際の画像の参照位置に従った並び順で前記弱判別器が並べられていることを特徴とする請求項１から５何れかに記載のオブジェクト判別装置。
【請求項９】
処理対象の画像からオブジェクトの位置を推定して該推定したオブジェクトの位置の周辺の画像を切り出し、該切り出した画像をそれぞれ前記強判別器及び前記差分画像生成手段に前記入力画像として与えるオブジェクト候補点検出手段を更に備えることを特徴とする請求項１から８何れかに記載のオブジェクト判別装置。
【請求項１０】
前記オブジェクト候補点検出手段が、
オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込む処理を繰り返し行い、前記フレーム画像からスケールが異なる複数枚の平滑化画像を生成する平滑化処理手段と、
前記複数枚の平滑化画像のうち、スケールが互いに異なる２枚の平滑化画像間の差分画像を、スケールを変えつつ複数枚生成する差分画像生成手段と、
前記複数枚の差分画像を合算し合算画像を生成する合算手段と、
前記合算画像における画素値に基づいてオブジェクトの位置を推定する位置推定手段と、
前記フレーム画像から前記推定された位置の周辺の領域の画像を切り出す部分画像生成手段とを含むものであること特徴とする請求項９に記載のオブジェクト判別装置。
【請求項１１】
前記平滑化処理手段がスケールσ１からσａ×ｋ（ａ及びｋは２以上の整数）までのａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ａ×ｋ）を生成し、前記差分画像生成手段が、スケールσ１からσｋまでのｋ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）との差分に基づいて生成するものであることを特徴とする請求項１０に記載のオブジェクト判別装置。
【請求項１２】
前記平滑化処理手段がスケールσ１からσｒ（ｒは３以上の整数）までのｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ｒ）を生成し、前記差分画像生成手段が、スケールσ１からσｋ−ｐ（ｐは１以上の整数）までのｋ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ−ｐ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）との差分に基づいて生成するものであることを特徴とする請求項１０に記載のオブジェクト判別装置。
【請求項１３】
それぞれが、入力画像における少なくとも１組の２点間の差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行するステップと、
前記入力画像と、該入力画像を前記弱判別で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけずらした画像との差分画像を生成するステップとを有し、
前記複数の弱判別をカスケードに実行するステップの少なくとも一部において、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求めることを特徴とするオブジェクト判別方法。
【請求項１４】
コンピュータに、
それぞれが、入力画像における少なくとも１組の２点間の差分に基づいて検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行する手順と、
前記入力画像と、該入力画像を前記弱判別で差分を求めるべき画像の２点間の位置関係に応じたずれ量だけずらした画像との差分画像を生成するステップを手順とを実行させ、
コンピュータに、前記複数の弱判別をカスケードに実行する手順の少なくとも一部において、前記差分画像を参照して前記少なくとも１組の２点間の差分を取得し、前記スコアを求める手順を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図７】
【公開番号】特開２０１２−１２８６２３（Ｐ２０１２−１２８６２３Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７８９１４（Ｐ２０１０−２７８９１４）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]