画像認識装置、画像認識方法及びプログラム
【課題】検出率を落とすことなく、被写体の周辺に発生する誤検出を低減できるようにする。
【解決手段】入力画像の尤度に基づいて前記入力画像が認識対象であることを判別する画像判別手段と、前記画像判別手段により判別された入力画像から、重複関係にある領域を抽出する抽出手段と、前記重複領域の重複状態を分類する分類手段と、前記尤度と前記重複状態とに基づいて前記重複領域が認識対象であることを判別する判別手段と、を備えた画像認識装置である。
【解決手段】入力画像の尤度に基づいて前記入力画像が認識対象であることを判別する画像判別手段と、前記画像判別手段により判別された入力画像から、重複関係にある領域を抽出する抽出手段と、前記重複領域の重複状態を分類する分類手段と、前記尤度と前記重複状態とに基づいて前記重複領域が認識対象であることを判別する判別手段と、を備えた画像認識装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像認識装置、画像認識方法及びプログラムに関し、特に、画像から人物や車などの特定の被写体又は被写体の一部を検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
画像から特定の被写体画像を検出する技術は、画像検索、物体検知、物体認識、物体追跡など様々な分野に応用される。このような技術の例として画像の中から特に顔領域を検出する手法が非特許文献１で提案されている。この手法では、まず入力画像から矩形の小領域（以下、検出ウインドウと呼ぶ）を抽出し、この検出ウインドウ内に顔が含まれているか否かを判定する。判定は、強判別器をカスケード型に接続して構成された判別器に対して検出ウインドウを通すことで行う。全ての強判別器で被写体であると判定された場合に、検出ウインドウ内に顔があると出力し、それ以外の場合には検出ウインドウ内に顔がないと出力する。
【０００３】
一方、顔よりも形状変動の大きい人の全身領域の検出に有効な手法として、矩形領域内の勾配を方向毎にヒストグラム化したＨＯＧ（Histgrams Of Oriented Gradients）を特徴量として用いる手法が非特許文献２で提案されている。なお、以下の説明では人の全身領域を人体領域と称する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１７６５０４号公報
【特許文献２】特開２００４−２５２９４０号公報
【非特許文献】
【０００５】
【非特許文献１】P. Viola and M. Jones, "Robust Real-time Object Detection". SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION, July 13 2001.
【非特許文献２】N.Dalal and B.Triggs : histgrams of Oriented Gradients for Human Detections（CVPR2005）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上述べてきた技術では、被写体の形状に類似するが実際には被写体ではない物体や背景を誤検出してしまうという課題がある。特に、人体検出では人体周辺の領域を誤検出しやすい。例えば、人体の一部である肩や足を誤検出してしまうことがある。これは、肩や足の形状が人体の形状（横を向いた人体の形状）に類似するためと考えられる。また、木や山など上方に丸みを帯びた形状をもつ背景の近くに人が重なった場合には、木や山まで含めた領域を人体領域として誤検出してしまうことがある。これは、木や山と人が合わさった形状が人体の形状に類似するためであると考えられる。
【０００７】
これら誤検出の周辺には人体領域が存在し、その人体領域については正しく検出が行われる。このため、正しく人体領域を検出した結果と、人体ではない領域を誤検出した結果が重複する場合が多い。そこで、これらの課題に対する先行技術として、特許文献１に示す方法では、重複する検出結果があった場合に、それぞれの尤度を比較して尤度の高い方を被写体として選択するという方法が提案されている。
【０００８】
しかしながら、この方法は、重複する検出結果が共に人体を正しく検出する場合にはうまくいかない。例えば、大人の前に子供がいる場合や、２人の人物が隣合わせに並んでおり、１人が他方に対して後ろに離れた距離のところにいる場合などである。これらの状況で特許文献１の手法を適用した場合、正しく検出している人体を誤検出として検出候補から削除してしまうという問題がある。
【０００９】
本発明は前述の問題点に鑑み、検出率を落とすことなく、被写体の周辺に発生する誤検出を低減できるようにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明の画像認識装置は、入力画像の尤度に基づいて前記入力画像が認識対象であることを判別する画像判別手段と、前記画像判別手段により判別された入力画像から、重複関係にある重複領域を抽出する抽出手段と、前記重複領域の重複状態を分類する分類手段と、前記尤度と前記重複状態とに基づいて前記重複領域が認識対象であることを判別する判別手段と、を備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、重複する検出領域に対し、その重複状態を分類し、分類した重複状態別に重複する領域の尤度を用いて前記重複領域が所望の認識対象であるか否かを判別するようにした。すなわち、夫々の重複状態に最適な判別を行えるようにした。これにより、検出率を落とすことなく、被写体の周辺に発生する誤検出を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態における画像認識装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態の処理手順の一例を示すフローチャートである。
【図３】本発明の実施形態における画像内を検出ウインドウが走査する様子を説明する図である。
【図４】本発明の実施形態における人体候補領域の検出結果を示す図である。
【図５】本発明の実施形態における重複領域の抽出を示す図である。
【図６】本発明の実施形態における２つの矩形の重複状態を示す図である。
【図７】本発明の実施形態における重複状態に対応する２領域の位置関係の範囲を示す図である。
【図８】図７の重複状態の画像例を示す図である。
【図９】重複状態の分類と尤度比、大領域、小領域の判別結果の対応表を示す図である。
【図１０】本発明の実施形態における検出結果を示す図である。
【図１１】本発明の実施形態における判別条件の決定処理手順の一例を示すフローチャートである。
【図１２】人体付近で生じる誤検出の例を示す図である。
【図１３】角度θに対する領域セット数を示す図である。
【図１４】比率Ｌに対する領域セット数を示す図である。
【図１５】高頻度領域セットにおける各パラメータの範囲を示す図である。
【図１６】高頻度位置関係を満たす領域セットの画像の例を示す図である。
【図１７】画像ＩＤと尤度比の対応を示す図である。
【図１８】第２の実施形態の処理手順の一例を示すフローチャートである。
【図１９】重複領域が３つの場合の例を示す図である。
【図２０】他の実施形態における重複領域と判別処理結果との対応表を示す図である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下に説明する実施形態では、画像から人体領域を検出する場合において、重複する候補領域に対し、その重複状態と夫々の候補領域の尤度に基づき人体領域であるか否かを判別する方法について説明する。以下、添付図面を参照して本発明の好適な実施形態を説明する。
【００１４】
本実施形態における画像認識装置のブロック構成図を図１に示す。
１０１は、検出対象となる画像を入力する画像入力部である。１０２は、入力画像から数段階の縮小画像を生成する縮小画像生成部である。１０３は、縮小画像に検出ウインドウを設定する検出ウインドウ設定部である。１０４は、検出ウインドウ内に人体領域があるか否かを判別する第１の画像判別部である。１０５は、判定結果を元の画像の座標系に変換する判定結果変換部である。１０６は、判定結果のうち重複する領域を抽出する重複領域抽出部である。１０７は、重複領域の重複状態の分類を行う重複状態分類部である。１０８は、重複領域が人体領域であるか判定する第２の画像判別部である。
【００１５】
本実施形態の処理の流れを図２のフローチャートで説明する。
まず、ステップＳ２０１において画像入力部１０１にて画像を入力する。そして、ステップＳ２０２では、縮小画像生成部１０２において入力画像を所定の倍率に縮小した画像データを生成する。これは、様々な大きさの人物を検出するために複数サイズの画像データに対して順次検出を行うようにするためである。
【００１６】
次に、ステップＳ２０３において、ステップＳ２０２で生成した縮小画像の中から１枚を設定する。そして、ステップＳ２０４では、検出ウインドウ設定部１０３において、縮小画像に所定の大きさの部分領域を設定する。以降、この部分領域を検出ウインドウと呼ぶ。以降の判定処理はこの検出ウインドウに対して行う。縮小画像の全域を検出対象とするため、検出ウインドウを図３の矢印３０１で示すように横方向・縦方向に対して数画素刻みで走査を行う。
【００１７】
次に、ステップＳ２０５では、第１の画像判別部１０４において、人体の認識モデルを用いて検出ウインドウ内に人体候補領域が含まれるか否かの画像判別処理を行う。この画像判別処理は、検出ウインドウの画像パターンに対し、人体の尤度を出力する認識モデルを適用して尤度を算出し、この尤度に基づき検出ウインドウの判別を行うものであればどのような方法でもよく、特に限定されるものではない。
【００１８】
例えば、特許文献２では、検出ウインドウ内の複数領域から認識対象に対する尤度を取得し、これら尤度と予め設定した閾値を比較することで検出ウインドウに認識対象が含まれるか否かを判別する方法が示されており、このような方法を用いれば良い。なお、ステップＳ２０５では、検出ウインドウが人体画像であると判別された場合には、縮小画像における検出ウインドウの位置座標と、判別処理において算出する尤度を出力する。
【００１９】
次に、ステップＳ２０６において、検出ウインドウが縮小画像内を全て走査したか否かを判定する。走査が終了した場合にはステップＳ２０７に進み、そうでない場合にはステップＳ２０４に戻り、ステップＳ２０４からステップＳ２０６までの処理を繰り返す。ステップＳ２０７においては、全ての縮小画像に対してステップＳ２０３からステップＳ２０６までの処理を行ったか否かを判定する。全ての縮小画像を処理した場合にはステップＳ２０８に進み、そうでない場合にはステップＳ２０３に戻り、ステップＳ２０７までの処理を繰り返す。ステップＳ２０７までの処理において縮小画像における人体候補領域が検出される。
【００２０】
次に、ステップＳ２０８において、判定結果変換部１０５にて、ステップＳ２０５で出力した縮小画像における人体候補領域の位置座標を元の画像における座標系に変換し出力する。また、以降の処理で使用するため、各人体候補領域に対応する尤度を座標とともに保存する。以上の処理により得られた人体候補領域の例を図４に示す。図４に示す例では、６個の人体候補領域４０１〜４０６が検出されている。
【００２１】
次に、ステップＳ２０９において、重複領域抽出部１０６にて、人体候補領域のうち領域同士が重なり合う領域の組み合わせ（以下、重複領域セットと呼ぶ）を、ステップＳ２０８にて算出した人体候補領域の座標に基づいて抽出する。抽出結果を図５に示す。図５に示す例では、２つの重複領域セット５０１、５０２が示されている。なお、本実施形態における重複とは、一部分でも重なれば重複としてもよいし、重なる領域が所定の面積以上の領域を重複するようにしてもよい。本実施形態では、図５に示すように、一方の領域が他方の領域を包含するような位置関係の領域セットを重複領域セットとして抽出している。
【００２２】
ステップＳ２１０では、重複状態分類部１０７において、ステップＳ２０９で抽出した重複する領域同士がどのように重なり合っているかを示す重複状態を求める。ここで、重複状態とは重複領域同士の位置関係であり、ステップＳ２１０では予め定義した位置関係のどれに当てはまるかを分類する。重複領域セットの位置関係は、以下の４パラメータで定義する。また、これらの関係を図６に示す。
・２領域の左上座標を結んだ直線ｍと画像水平方向のなす角度θ
・大領域の幅Ｗｂに対する直線ｍの長さＭの比率Ｌ
・小領域の幅に対する大領域の幅の比率Ｒｗ
・小領域の高さに対する大領域の高さの比率Ｒｈ
【００２３】
本実施形態では、図７に示す対応表を予め用意し、この対応表と上記４つのパラメータに基づいて、注目重複領域セットが重複状態７０１〜７０３のどれに分類されるかを決定する。図８に、図７で示す重複状態７０１〜７０３における重複領域セットの具体的な位置関係を示す。重複状態７０１は、人体の肩領域を誤検出する場合に頻繁にあらわれる位置関係である。重複状態７０２は、人体の足領域を誤検出する場合に頻繁にあらわれる位置関係である。重複状態７０３は、人体の頭部領域を誤検出する場合に頻繁にあらわれる位置関係である。
【００２４】
なお、図７で示す３つの状態以外の重複状態は、データ量が少ないなどの問題から統計的なデータの分析が十分にできていないため、２つの領域はともに人体であると判別する。本実施形態では、図５に示す重複領域セットについて重複状態の分類を行った結果、それぞれ重複状態７０１に分類されたとして以降の処理を説明する。
【００２５】
次に、ステップＳ２１１では、重複領域判定部１０８において、重複領域セットの大領域と小領域の尤度に基づいて、それぞれの領域が人体領域であるか否かを判別する。本実施形態では、図９に示す判別条件に従って大領域と小領域の判別結果を得る。この判別条件では、大領域と小領域の尤度比Ｒを算出し、この尤度比と閾値Ｒａ、Ｒｂを比較することによりそれぞれの領域の判別結果が決定される。
【００２６】
なお、この判別条件については、事前に収集した大量の画像を用いて、重複領域セットの尤度比を統計的に分析することで決定する。この決定方法の詳細については後述する。以上の判別処理により、図５の２つの重複領域セット５０１、５０２はそれぞれ、分類９０１、９０３に分類されるものとして以降の説明を行う。
【００２７】
ステップＳ２１１の判別処理により、図５の重複領域のうち、人体候補領域４０３は誤検出、人体候補領域４０４は人体領域、人体候補領域４０５、４０６はともに人体領域であると判定される。最終的な検出結果の例を図１０に示す。人体候補領域を検出した後（図４）の時点では人物１００３の肩付近に誤検出が発生しているが、ステップＳ２０９〜Ｓ２１１までの処理により誤検出を削除できる。また、この際、人体候補領域４０３、４０４と類似する領域関係にある人体候補領域４０５、４０６については、人物１００４、１００５を正しく検出することができる。
【００２８】
［判別条件の決定方法］
ステップＳ２１１で用いた判別条件の決定方法について、以下では、人体付近に発生する誤検出のうち、高頻度なものを抽出し、その統計的データに基づいて判別条件を決定する方法を説明する。なお、本実施形態における判別条件とは、重複領域から算出する尤度に対して設定する条件（閾値）であるものとする。以下、図１１に示すフローチャートに従って説明する。
【００２９】
ステップＳ１１０１において、人体付近で発生する誤検出を抽出する。ある画像セットに対し、人体検出器（尤度を出力するものであればどのような手法によるものでもよい。）を用いて人体検出を行う。検出結果のうち、人物を正しく検出していてかつ、その人物付近に誤検出が発生する画像だけを抽出する。図１２に抽出した画像の例を示す。画像１２０１は肩付近の領域を、画像１２０２は足付近の領域を、画像１２０３は頭部付近の領域を、それぞれ誤検出している。ここで示す例以外にも、人体付近の誤検出は様々なケースで発生する。これらの誤検出の中で、高頻度に発生する誤検出だけを次の処理ステップＳ１１０２で抽出する。
【００３０】
次に、ステップＳ１１０２において、ステップＳ１１０１で抽出した人体付近の誤検出について、頻繁に発生する誤検出だけを抽出し、その場合の人体全体の領域と誤検出領域の位置関係（以下、高頻度位置関係と呼ぶ）を取得する。まず、ステップＳ１１０１で抽出した領域セットについて、ステップＳ２１０で定義した４パラメータ（２領域のなす角度θ、大領域の幅に対する直線ｍの比率Ｌ、幅の比率Ｒｗ、高さの比率Ｒｈ）を算出する。次に、角度θだけに注目して領域セットのヒストグラムを生成する。ヒストグラムの例を図１３に示す。このヒストグラムでは、角度θ１、θ２、θ３の頻度が高い。本実施形態では、最も頻度の高い角度θ１（以下、高頻度角度と呼ぶ）について注目する。
【００３１】
次に、前記高頻度角度として決定した角度の範囲に該当する領域セットについて、比率Ｌに注目し、領域セットのヒストグラムを生成する。生成したヒストグラムの例を図１４に示す。このヒストグラムにおいて頻度の高い比率Ｌ１を高頻度比率として決定する。次に、同様の手順により高頻度比率Ｌ１付近の領域セットについて、比率Ｒｗの高頻度比率Ｒｗ１を、更に幅の比率がＲｗ１付近の領域セットについて比率Ｒｈの高頻度比率Ｒｈ１を決定する。以上のようにして求めた領域セットの高頻度位置関係θ１、Ｌ１、Ｒｗ１、Ｒｈ１を図１５に示す。
【００３２】
次に、ステップＳ１１０３において、ステップＳ１１０１で抽出した領域セットのなかで、上記４つのパラメータがステップＳ１１０２で取得した高頻度位置関係を満たすものを抽出する。そして、ステップＳ１１０４では、ステップＳ１１０３で抽出した領域セットについて、大領域と小領域とがそれぞれ人体を検出したのか、そうではなく誤検出なのか、という検出状況を分類する。この分類項目は、ステップＳ１１０３で取得した検出結果に基づいて行う。
【００３３】
例えば、２つの重複する検出結果が本実施例で示す高頻度位置関係を満たす場合、図１６の画像１６０１〜１６０３に示す３通りが代表的な例として確認できる。画像１６０１は、大領域は人体を検出しているが小領域が肩を誤検出している例、画像１６０２は、大領域、小領域ともに人体を正しく検出している例、画像１６０３は、大領域が木を誤検出し、小領域人体を検出している例である。これらの３分類をまとめると、以下のようになる。
分類ａ．大領域：人体を検出、小領域：誤検出
分類ｂ．大領域：誤検出、小領域：人体を検出
分類ｃ．大領域：人体を検出、小領域：人体を検出
【００３４】
なお、この画像分類方法は、評価画像に対して予め人物の正解座標を入力しておけば、自動的に分類を行うことが可能となる。
【００３５】
次に、ステップＳ１１０５において、ステップＳ１１０３で抽出した領域セットについて大領域の尤度と小領域の尤度とから、小領域に対する大領域の尤度比を算出する。そして、ステップＳ１１０６において、分類条件を決定する。分類条件は、ステップＳ１１０５において算出した尤度比をグラフにプロットして図１７に示すグラフを作成し、分類ａ、ｂ、ｃを分離する境界線を求めることで決定する。以下、分類ａと分類ｂの分離度をＣａｂ、分類ｂと分類ｃの分離度をＣｂｃ、分類ａと分類ｃの分離度をＣａｃ、と定義する。ここで分離度Ｃは、２つの集合があった場合に、境界により分離できない要素の数ｈ、２つの集合内の全要素数ｋとした場合に、以下の式（１）で表すことができる。
【００３６】
【数１】
【００３７】
ここで、ｈ＝０の場合、すなわち２つの集合を全て分離できる場合に分離度Ｃ＝１．０となり、分離度合いが低い程Ｃの値は低くなる。本実施形態では、式（１）で定義する分離度が、以下の式（２）、（３）を満たす値Ｔｈ１、Ｔｈ２を探索し、これを分類条件における閾値とする。
【００３８】
【数２】
【００３９】
【数３】
【００４０】
式（２）、（３）において、Ｎabは分類ａに含まれる画像数と分類ｂに含まれる画像数との合算値であり、同様にＮbcは分類ｂに含まれる画像数と分類ｃに含まれる画像数との合算値となる。ｙ（ａ，ｉ）はある画像ｉが分類ａに含まれる場合に１を返し、そうでない場合に０を返す。同様に、ｙ（ｂ，ｉ）、ｙ（ｃ，ｉ）はそれぞれ画像ｉが分類ｂに含まれる場合と分類ｃに含まれる場合に１を返し、そうでない場合に０を返す。また、Ｌ（ａ，ｉ）は、分類ａに含まれる画像ｉの尤度比であり、Ｌ（ｂ，ｉ）、Ｌ（ｃ，ｉ）も同様に分類ｂ、ｃに含まれる画像ｉの尤度比となる。
【００４１】
すなわち、式（２）における和の部分は、分類ａに含まれ、その尤度比がｋより小さい画像の総数であり、２つの和の部分は、尤度比に対する境界値をｋとした場合に、分類ａ、ｂそれぞれにおいて正しく分類できない画像総数を意味する。つまり、分数の値は尤度比に対する境界値をｋとした場合の分類ａ、ｂに対する分離度となる。最終的にはこれを定数ｃ（例えば０．９）と比較し、条件を満たすうち最大の値となるｋを閾値Ｔｈ１として決定する。式（２）を用いれば同様に閾値Ｔｈ２を決定することができる。
【００４２】
なお、ステップＳ１１０２において、頻繁に発生する誤検出だけを抽出する理由としては、全ての誤検出で本実施形態の手法を適用した場合、分類数が膨大となり処理が複雑になってしまうためである。また、頻度が低い誤検出については統計的データによる信憑性が得られず、精度を保証することができないという別の理由もある。
【００４３】
以上説明した実施形態では、特定の重複関係にある人体候補領域に対し、尤度比を用いて人体候補領域が誤検出であるか否かを判定することで、所望の認識対象である人体領域の検出率を落とさずに誤検出の数を減らすことが可能となる。
【００４４】
（第２の実施形態）
第１の実施形態では、ステップＳ２１１において、重複領域の尤度比に対して閾値を設定し、その大小関係から重複領域の判定を行った。本実施形態では、この代替方法として重複領域の重複状態を入力とし、重複領域の判定結果を出力する判別器（認識モデル）を用いて判定を行う。以下、第１の実施形態と異なる部分についてのみ説明する。
【００４５】
以下、この場合の説明を図１８のフローチャートを用いて説明する。なお、図１８では、前述の実施形態と同様の処理のステップは同一番号を付与して説明を省略する。
ステップＳ１８０１においては、図４に示す人体候補領域４０１〜４０６のうち、重複する領域セットを抽出する。そして、この領域から重複状態を表す情報として、ステップＳ２１０で定義した４パラメータ（２領域のなす角度θ、大領域の幅に対する直線ｍの比率Ｌ、幅の比率Ｒｗ、高さの比率Ｒｈ）を算出する。
【００４６】
次に、ステップＳ１８０２では、ステップＳ１８０１において算出した４パラメータ（θ、Ｌ、Ｒｗ、Ｒｈ）と領域セットの尤度を入力とし、領域セットに誤検出が含まれるか否かを出力する判別器を用いて誤検出有無の判定を行う。判別器は、例えばＳＶＭ（サポートベクターマシン）のような分類器により、予め用意した大量の画像データに基づき作成したものを用いればよい。
【００４７】
なお、分類器として２クラス分類器を使用する場合、以下の３つの２クラス分類器を生成し、これらを順番に適用すればよい。
・ステップＳ１１０４の分類ａであるか否かを判定する分類器
・ステップＳ１１０４の分類ｂであるか否かを判定する分類器
・ステップＳ１１０４の分類ｃであるか否かを判定する分類器
【００４８】
一方、分類器として多クラス分類器を使用する場合には、ステップＳ１１０４の分類ａ、ｂ、ｃに対応する３つのクラスに分類を行う分類器を作成すればよい。
【００４９】
（その他の実施形態）
以上の説明ではステップＳ２０９において重複する領域を２つの場合について説明したが、３つ以上の場合においても同様に本提案手法を用いることができる。以下で候補領域が３つの場合の方法を２つ説明する。図１９に３つの候補領域の例として領域１９０１〜１９０３を示す。
【００５０】
１つ目の方法としては、３つのペアを順番に処理し、一度でも誤検出であると判定された領域については、その領域を候補領域から削除し、以降は残っている候補領域のペアだけを処理する。まず、２つの領域同士のペアを作成する。図１９では、ＰAB、ＰBC、ＰACの３つのペアが作成される。なお、ＰABが領域１９０１と領域１９０２とのペア、ＰBCが領域１９０２と領域１９０３とのペア、ＰACが領域１９０１と領域１９０３とのペアを示す。
【００５１】
次に、３つのペアに対し、本実施形態で示した方法を用いて誤検出領域があるか否の判定処理を行う。そして、１度でも誤検出であると判定された場合、その領域は以降のペアに対する判別処理は実行しないようにする。例えば、ＰABの判別処理、ＰBCの判別処理、ＰCAの判別処理、の順番で判別処理を行う場合に、ＰABの判別処理において領域１９０１が誤検出であると判定された場合、この時点で領域１９０１は誤検出であると判断し、候補領域から削除する。これにより、３番目に行うはずであったＰCAの判別処理を省略する。
【００５２】
２つ目の方法としては、全てのペアについて誤検出判別処理を行い、その結果を投票することで最終的な判定を行う。まず重複するペアＰAB、ＰBC、ＰACそれぞれについて、本実施形態で示した方法を用いて重複ペアに対して誤検出判別処理を行う。次に、領域１９０１〜１９０３について、誤検出判別処理の結果を投票形式で集計し、この投票結果を最終的な判別結果とする。例えば、集計結果が図２０に示すような場合、領域１９０１は誤検出が２票、人体が０票なので誤検出であると判定し、同様に領域１９０２、１９０３は人体領域であると判定することができる。
【００５３】
なお、２つ目の方法では、誤検出判別処理の結果を、各領域が人体領域であるか誤検出であるかの２値を出力する場合について説明しているが、誤検出判別処理の結果を人体領域の尤度として出力するようにしてもよい。この場合、出力される尤度を集計し、さらに集計した尤度に対して閾値を設定することにより各領域が人体領域であるか、あるいは誤検出領域であるかを判別することができる。
【００５４】
以上より、重複関係にある人体候補領域について、尤度比と重複情報に基づき誤検出の有無を判別する判別器を使用することにより、人体候補領域にある誤検出を特定して候補領域から削除することが可能となる。また、重複関係がある領域が３つ以上の場合についても同様に誤検出領域を判別することができる。
【００５５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５６】
１０１ 画像入力部
１０２ 縮小画像生成部
１０３ 検出ウインドウ設定部
１０４ 第１の画像判別部
１０５ 判定結果変換部
１０６ 重複領域抽出部
１０７ 重複状態分類部
１０８ 第２の画像判別部
【技術分野】
【０００１】
本発明は画像認識装置、画像認識方法及びプログラムに関し、特に、画像から人物や車などの特定の被写体又は被写体の一部を検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
画像から特定の被写体画像を検出する技術は、画像検索、物体検知、物体認識、物体追跡など様々な分野に応用される。このような技術の例として画像の中から特に顔領域を検出する手法が非特許文献１で提案されている。この手法では、まず入力画像から矩形の小領域（以下、検出ウインドウと呼ぶ）を抽出し、この検出ウインドウ内に顔が含まれているか否かを判定する。判定は、強判別器をカスケード型に接続して構成された判別器に対して検出ウインドウを通すことで行う。全ての強判別器で被写体であると判定された場合に、検出ウインドウ内に顔があると出力し、それ以外の場合には検出ウインドウ内に顔がないと出力する。
【０００３】
一方、顔よりも形状変動の大きい人の全身領域の検出に有効な手法として、矩形領域内の勾配を方向毎にヒストグラム化したＨＯＧ（Histgrams Of Oriented Gradients）を特徴量として用いる手法が非特許文献２で提案されている。なお、以下の説明では人の全身領域を人体領域と称する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１７６５０４号公報
【特許文献２】特開２００４−２５２９４０号公報
【非特許文献】
【０００５】
【非特許文献１】P. Viola and M. Jones, "Robust Real-time Object Detection". SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION, July 13 2001.
【非特許文献２】N.Dalal and B.Triggs : histgrams of Oriented Gradients for Human Detections（CVPR2005）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上述べてきた技術では、被写体の形状に類似するが実際には被写体ではない物体や背景を誤検出してしまうという課題がある。特に、人体検出では人体周辺の領域を誤検出しやすい。例えば、人体の一部である肩や足を誤検出してしまうことがある。これは、肩や足の形状が人体の形状（横を向いた人体の形状）に類似するためと考えられる。また、木や山など上方に丸みを帯びた形状をもつ背景の近くに人が重なった場合には、木や山まで含めた領域を人体領域として誤検出してしまうことがある。これは、木や山と人が合わさった形状が人体の形状に類似するためであると考えられる。
【０００７】
これら誤検出の周辺には人体領域が存在し、その人体領域については正しく検出が行われる。このため、正しく人体領域を検出した結果と、人体ではない領域を誤検出した結果が重複する場合が多い。そこで、これらの課題に対する先行技術として、特許文献１に示す方法では、重複する検出結果があった場合に、それぞれの尤度を比較して尤度の高い方を被写体として選択するという方法が提案されている。
【０００８】
しかしながら、この方法は、重複する検出結果が共に人体を正しく検出する場合にはうまくいかない。例えば、大人の前に子供がいる場合や、２人の人物が隣合わせに並んでおり、１人が他方に対して後ろに離れた距離のところにいる場合などである。これらの状況で特許文献１の手法を適用した場合、正しく検出している人体を誤検出として検出候補から削除してしまうという問題がある。
【０００９】
本発明は前述の問題点に鑑み、検出率を落とすことなく、被写体の周辺に発生する誤検出を低減できるようにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明の画像認識装置は、入力画像の尤度に基づいて前記入力画像が認識対象であることを判別する画像判別手段と、前記画像判別手段により判別された入力画像から、重複関係にある重複領域を抽出する抽出手段と、前記重複領域の重複状態を分類する分類手段と、前記尤度と前記重複状態とに基づいて前記重複領域が認識対象であることを判別する判別手段と、を備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、重複する検出領域に対し、その重複状態を分類し、分類した重複状態別に重複する領域の尤度を用いて前記重複領域が所望の認識対象であるか否かを判別するようにした。すなわち、夫々の重複状態に最適な判別を行えるようにした。これにより、検出率を落とすことなく、被写体の周辺に発生する誤検出を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態における画像認識装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態の処理手順の一例を示すフローチャートである。
【図３】本発明の実施形態における画像内を検出ウインドウが走査する様子を説明する図である。
【図４】本発明の実施形態における人体候補領域の検出結果を示す図である。
【図５】本発明の実施形態における重複領域の抽出を示す図である。
【図６】本発明の実施形態における２つの矩形の重複状態を示す図である。
【図７】本発明の実施形態における重複状態に対応する２領域の位置関係の範囲を示す図である。
【図８】図７の重複状態の画像例を示す図である。
【図９】重複状態の分類と尤度比、大領域、小領域の判別結果の対応表を示す図である。
【図１０】本発明の実施形態における検出結果を示す図である。
【図１１】本発明の実施形態における判別条件の決定処理手順の一例を示すフローチャートである。
【図１２】人体付近で生じる誤検出の例を示す図である。
【図１３】角度θに対する領域セット数を示す図である。
【図１４】比率Ｌに対する領域セット数を示す図である。
【図１５】高頻度領域セットにおける各パラメータの範囲を示す図である。
【図１６】高頻度位置関係を満たす領域セットの画像の例を示す図である。
【図１７】画像ＩＤと尤度比の対応を示す図である。
【図１８】第２の実施形態の処理手順の一例を示すフローチャートである。
【図１９】重複領域が３つの場合の例を示す図である。
【図２０】他の実施形態における重複領域と判別処理結果との対応表を示す図である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下に説明する実施形態では、画像から人体領域を検出する場合において、重複する候補領域に対し、その重複状態と夫々の候補領域の尤度に基づき人体領域であるか否かを判別する方法について説明する。以下、添付図面を参照して本発明の好適な実施形態を説明する。
【００１４】
本実施形態における画像認識装置のブロック構成図を図１に示す。
１０１は、検出対象となる画像を入力する画像入力部である。１０２は、入力画像から数段階の縮小画像を生成する縮小画像生成部である。１０３は、縮小画像に検出ウインドウを設定する検出ウインドウ設定部である。１０４は、検出ウインドウ内に人体領域があるか否かを判別する第１の画像判別部である。１０５は、判定結果を元の画像の座標系に変換する判定結果変換部である。１０６は、判定結果のうち重複する領域を抽出する重複領域抽出部である。１０７は、重複領域の重複状態の分類を行う重複状態分類部である。１０８は、重複領域が人体領域であるか判定する第２の画像判別部である。
【００１５】
本実施形態の処理の流れを図２のフローチャートで説明する。
まず、ステップＳ２０１において画像入力部１０１にて画像を入力する。そして、ステップＳ２０２では、縮小画像生成部１０２において入力画像を所定の倍率に縮小した画像データを生成する。これは、様々な大きさの人物を検出するために複数サイズの画像データに対して順次検出を行うようにするためである。
【００１６】
次に、ステップＳ２０３において、ステップＳ２０２で生成した縮小画像の中から１枚を設定する。そして、ステップＳ２０４では、検出ウインドウ設定部１０３において、縮小画像に所定の大きさの部分領域を設定する。以降、この部分領域を検出ウインドウと呼ぶ。以降の判定処理はこの検出ウインドウに対して行う。縮小画像の全域を検出対象とするため、検出ウインドウを図３の矢印３０１で示すように横方向・縦方向に対して数画素刻みで走査を行う。
【００１７】
次に、ステップＳ２０５では、第１の画像判別部１０４において、人体の認識モデルを用いて検出ウインドウ内に人体候補領域が含まれるか否かの画像判別処理を行う。この画像判別処理は、検出ウインドウの画像パターンに対し、人体の尤度を出力する認識モデルを適用して尤度を算出し、この尤度に基づき検出ウインドウの判別を行うものであればどのような方法でもよく、特に限定されるものではない。
【００１８】
例えば、特許文献２では、検出ウインドウ内の複数領域から認識対象に対する尤度を取得し、これら尤度と予め設定した閾値を比較することで検出ウインドウに認識対象が含まれるか否かを判別する方法が示されており、このような方法を用いれば良い。なお、ステップＳ２０５では、検出ウインドウが人体画像であると判別された場合には、縮小画像における検出ウインドウの位置座標と、判別処理において算出する尤度を出力する。
【００１９】
次に、ステップＳ２０６において、検出ウインドウが縮小画像内を全て走査したか否かを判定する。走査が終了した場合にはステップＳ２０７に進み、そうでない場合にはステップＳ２０４に戻り、ステップＳ２０４からステップＳ２０６までの処理を繰り返す。ステップＳ２０７においては、全ての縮小画像に対してステップＳ２０３からステップＳ２０６までの処理を行ったか否かを判定する。全ての縮小画像を処理した場合にはステップＳ２０８に進み、そうでない場合にはステップＳ２０３に戻り、ステップＳ２０７までの処理を繰り返す。ステップＳ２０７までの処理において縮小画像における人体候補領域が検出される。
【００２０】
次に、ステップＳ２０８において、判定結果変換部１０５にて、ステップＳ２０５で出力した縮小画像における人体候補領域の位置座標を元の画像における座標系に変換し出力する。また、以降の処理で使用するため、各人体候補領域に対応する尤度を座標とともに保存する。以上の処理により得られた人体候補領域の例を図４に示す。図４に示す例では、６個の人体候補領域４０１〜４０６が検出されている。
【００２１】
次に、ステップＳ２０９において、重複領域抽出部１０６にて、人体候補領域のうち領域同士が重なり合う領域の組み合わせ（以下、重複領域セットと呼ぶ）を、ステップＳ２０８にて算出した人体候補領域の座標に基づいて抽出する。抽出結果を図５に示す。図５に示す例では、２つの重複領域セット５０１、５０２が示されている。なお、本実施形態における重複とは、一部分でも重なれば重複としてもよいし、重なる領域が所定の面積以上の領域を重複するようにしてもよい。本実施形態では、図５に示すように、一方の領域が他方の領域を包含するような位置関係の領域セットを重複領域セットとして抽出している。
【００２２】
ステップＳ２１０では、重複状態分類部１０７において、ステップＳ２０９で抽出した重複する領域同士がどのように重なり合っているかを示す重複状態を求める。ここで、重複状態とは重複領域同士の位置関係であり、ステップＳ２１０では予め定義した位置関係のどれに当てはまるかを分類する。重複領域セットの位置関係は、以下の４パラメータで定義する。また、これらの関係を図６に示す。
・２領域の左上座標を結んだ直線ｍと画像水平方向のなす角度θ
・大領域の幅Ｗｂに対する直線ｍの長さＭの比率Ｌ
・小領域の幅に対する大領域の幅の比率Ｒｗ
・小領域の高さに対する大領域の高さの比率Ｒｈ
【００２３】
本実施形態では、図７に示す対応表を予め用意し、この対応表と上記４つのパラメータに基づいて、注目重複領域セットが重複状態７０１〜７０３のどれに分類されるかを決定する。図８に、図７で示す重複状態７０１〜７０３における重複領域セットの具体的な位置関係を示す。重複状態７０１は、人体の肩領域を誤検出する場合に頻繁にあらわれる位置関係である。重複状態７０２は、人体の足領域を誤検出する場合に頻繁にあらわれる位置関係である。重複状態７０３は、人体の頭部領域を誤検出する場合に頻繁にあらわれる位置関係である。
【００２４】
なお、図７で示す３つの状態以外の重複状態は、データ量が少ないなどの問題から統計的なデータの分析が十分にできていないため、２つの領域はともに人体であると判別する。本実施形態では、図５に示す重複領域セットについて重複状態の分類を行った結果、それぞれ重複状態７０１に分類されたとして以降の処理を説明する。
【００２５】
次に、ステップＳ２１１では、重複領域判定部１０８において、重複領域セットの大領域と小領域の尤度に基づいて、それぞれの領域が人体領域であるか否かを判別する。本実施形態では、図９に示す判別条件に従って大領域と小領域の判別結果を得る。この判別条件では、大領域と小領域の尤度比Ｒを算出し、この尤度比と閾値Ｒａ、Ｒｂを比較することによりそれぞれの領域の判別結果が決定される。
【００２６】
なお、この判別条件については、事前に収集した大量の画像を用いて、重複領域セットの尤度比を統計的に分析することで決定する。この決定方法の詳細については後述する。以上の判別処理により、図５の２つの重複領域セット５０１、５０２はそれぞれ、分類９０１、９０３に分類されるものとして以降の説明を行う。
【００２７】
ステップＳ２１１の判別処理により、図５の重複領域のうち、人体候補領域４０３は誤検出、人体候補領域４０４は人体領域、人体候補領域４０５、４０６はともに人体領域であると判定される。最終的な検出結果の例を図１０に示す。人体候補領域を検出した後（図４）の時点では人物１００３の肩付近に誤検出が発生しているが、ステップＳ２０９〜Ｓ２１１までの処理により誤検出を削除できる。また、この際、人体候補領域４０３、４０４と類似する領域関係にある人体候補領域４０５、４０６については、人物１００４、１００５を正しく検出することができる。
【００２８】
［判別条件の決定方法］
ステップＳ２１１で用いた判別条件の決定方法について、以下では、人体付近に発生する誤検出のうち、高頻度なものを抽出し、その統計的データに基づいて判別条件を決定する方法を説明する。なお、本実施形態における判別条件とは、重複領域から算出する尤度に対して設定する条件（閾値）であるものとする。以下、図１１に示すフローチャートに従って説明する。
【００２９】
ステップＳ１１０１において、人体付近で発生する誤検出を抽出する。ある画像セットに対し、人体検出器（尤度を出力するものであればどのような手法によるものでもよい。）を用いて人体検出を行う。検出結果のうち、人物を正しく検出していてかつ、その人物付近に誤検出が発生する画像だけを抽出する。図１２に抽出した画像の例を示す。画像１２０１は肩付近の領域を、画像１２０２は足付近の領域を、画像１２０３は頭部付近の領域を、それぞれ誤検出している。ここで示す例以外にも、人体付近の誤検出は様々なケースで発生する。これらの誤検出の中で、高頻度に発生する誤検出だけを次の処理ステップＳ１１０２で抽出する。
【００３０】
次に、ステップＳ１１０２において、ステップＳ１１０１で抽出した人体付近の誤検出について、頻繁に発生する誤検出だけを抽出し、その場合の人体全体の領域と誤検出領域の位置関係（以下、高頻度位置関係と呼ぶ）を取得する。まず、ステップＳ１１０１で抽出した領域セットについて、ステップＳ２１０で定義した４パラメータ（２領域のなす角度θ、大領域の幅に対する直線ｍの比率Ｌ、幅の比率Ｒｗ、高さの比率Ｒｈ）を算出する。次に、角度θだけに注目して領域セットのヒストグラムを生成する。ヒストグラムの例を図１３に示す。このヒストグラムでは、角度θ１、θ２、θ３の頻度が高い。本実施形態では、最も頻度の高い角度θ１（以下、高頻度角度と呼ぶ）について注目する。
【００３１】
次に、前記高頻度角度として決定した角度の範囲に該当する領域セットについて、比率Ｌに注目し、領域セットのヒストグラムを生成する。生成したヒストグラムの例を図１４に示す。このヒストグラムにおいて頻度の高い比率Ｌ１を高頻度比率として決定する。次に、同様の手順により高頻度比率Ｌ１付近の領域セットについて、比率Ｒｗの高頻度比率Ｒｗ１を、更に幅の比率がＲｗ１付近の領域セットについて比率Ｒｈの高頻度比率Ｒｈ１を決定する。以上のようにして求めた領域セットの高頻度位置関係θ１、Ｌ１、Ｒｗ１、Ｒｈ１を図１５に示す。
【００３２】
次に、ステップＳ１１０３において、ステップＳ１１０１で抽出した領域セットのなかで、上記４つのパラメータがステップＳ１１０２で取得した高頻度位置関係を満たすものを抽出する。そして、ステップＳ１１０４では、ステップＳ１１０３で抽出した領域セットについて、大領域と小領域とがそれぞれ人体を検出したのか、そうではなく誤検出なのか、という検出状況を分類する。この分類項目は、ステップＳ１１０３で取得した検出結果に基づいて行う。
【００３３】
例えば、２つの重複する検出結果が本実施例で示す高頻度位置関係を満たす場合、図１６の画像１６０１〜１６０３に示す３通りが代表的な例として確認できる。画像１６０１は、大領域は人体を検出しているが小領域が肩を誤検出している例、画像１６０２は、大領域、小領域ともに人体を正しく検出している例、画像１６０３は、大領域が木を誤検出し、小領域人体を検出している例である。これらの３分類をまとめると、以下のようになる。
分類ａ．大領域：人体を検出、小領域：誤検出
分類ｂ．大領域：誤検出、小領域：人体を検出
分類ｃ．大領域：人体を検出、小領域：人体を検出
【００３４】
なお、この画像分類方法は、評価画像に対して予め人物の正解座標を入力しておけば、自動的に分類を行うことが可能となる。
【００３５】
次に、ステップＳ１１０５において、ステップＳ１１０３で抽出した領域セットについて大領域の尤度と小領域の尤度とから、小領域に対する大領域の尤度比を算出する。そして、ステップＳ１１０６において、分類条件を決定する。分類条件は、ステップＳ１１０５において算出した尤度比をグラフにプロットして図１７に示すグラフを作成し、分類ａ、ｂ、ｃを分離する境界線を求めることで決定する。以下、分類ａと分類ｂの分離度をＣａｂ、分類ｂと分類ｃの分離度をＣｂｃ、分類ａと分類ｃの分離度をＣａｃ、と定義する。ここで分離度Ｃは、２つの集合があった場合に、境界により分離できない要素の数ｈ、２つの集合内の全要素数ｋとした場合に、以下の式（１）で表すことができる。
【００３６】
【数１】
【００３７】
ここで、ｈ＝０の場合、すなわち２つの集合を全て分離できる場合に分離度Ｃ＝１．０となり、分離度合いが低い程Ｃの値は低くなる。本実施形態では、式（１）で定義する分離度が、以下の式（２）、（３）を満たす値Ｔｈ１、Ｔｈ２を探索し、これを分類条件における閾値とする。
【００３８】
【数２】
【００３９】
【数３】
【００４０】
式（２）、（３）において、Ｎabは分類ａに含まれる画像数と分類ｂに含まれる画像数との合算値であり、同様にＮbcは分類ｂに含まれる画像数と分類ｃに含まれる画像数との合算値となる。ｙ（ａ，ｉ）はある画像ｉが分類ａに含まれる場合に１を返し、そうでない場合に０を返す。同様に、ｙ（ｂ，ｉ）、ｙ（ｃ，ｉ）はそれぞれ画像ｉが分類ｂに含まれる場合と分類ｃに含まれる場合に１を返し、そうでない場合に０を返す。また、Ｌ（ａ，ｉ）は、分類ａに含まれる画像ｉの尤度比であり、Ｌ（ｂ，ｉ）、Ｌ（ｃ，ｉ）も同様に分類ｂ、ｃに含まれる画像ｉの尤度比となる。
【００４１】
すなわち、式（２）における和の部分は、分類ａに含まれ、その尤度比がｋより小さい画像の総数であり、２つの和の部分は、尤度比に対する境界値をｋとした場合に、分類ａ、ｂそれぞれにおいて正しく分類できない画像総数を意味する。つまり、分数の値は尤度比に対する境界値をｋとした場合の分類ａ、ｂに対する分離度となる。最終的にはこれを定数ｃ（例えば０．９）と比較し、条件を満たすうち最大の値となるｋを閾値Ｔｈ１として決定する。式（２）を用いれば同様に閾値Ｔｈ２を決定することができる。
【００４２】
なお、ステップＳ１１０２において、頻繁に発生する誤検出だけを抽出する理由としては、全ての誤検出で本実施形態の手法を適用した場合、分類数が膨大となり処理が複雑になってしまうためである。また、頻度が低い誤検出については統計的データによる信憑性が得られず、精度を保証することができないという別の理由もある。
【００４３】
以上説明した実施形態では、特定の重複関係にある人体候補領域に対し、尤度比を用いて人体候補領域が誤検出であるか否かを判定することで、所望の認識対象である人体領域の検出率を落とさずに誤検出の数を減らすことが可能となる。
【００４４】
（第２の実施形態）
第１の実施形態では、ステップＳ２１１において、重複領域の尤度比に対して閾値を設定し、その大小関係から重複領域の判定を行った。本実施形態では、この代替方法として重複領域の重複状態を入力とし、重複領域の判定結果を出力する判別器（認識モデル）を用いて判定を行う。以下、第１の実施形態と異なる部分についてのみ説明する。
【００４５】
以下、この場合の説明を図１８のフローチャートを用いて説明する。なお、図１８では、前述の実施形態と同様の処理のステップは同一番号を付与して説明を省略する。
ステップＳ１８０１においては、図４に示す人体候補領域４０１〜４０６のうち、重複する領域セットを抽出する。そして、この領域から重複状態を表す情報として、ステップＳ２１０で定義した４パラメータ（２領域のなす角度θ、大領域の幅に対する直線ｍの比率Ｌ、幅の比率Ｒｗ、高さの比率Ｒｈ）を算出する。
【００４６】
次に、ステップＳ１８０２では、ステップＳ１８０１において算出した４パラメータ（θ、Ｌ、Ｒｗ、Ｒｈ）と領域セットの尤度を入力とし、領域セットに誤検出が含まれるか否かを出力する判別器を用いて誤検出有無の判定を行う。判別器は、例えばＳＶＭ（サポートベクターマシン）のような分類器により、予め用意した大量の画像データに基づき作成したものを用いればよい。
【００４７】
なお、分類器として２クラス分類器を使用する場合、以下の３つの２クラス分類器を生成し、これらを順番に適用すればよい。
・ステップＳ１１０４の分類ａであるか否かを判定する分類器
・ステップＳ１１０４の分類ｂであるか否かを判定する分類器
・ステップＳ１１０４の分類ｃであるか否かを判定する分類器
【００４８】
一方、分類器として多クラス分類器を使用する場合には、ステップＳ１１０４の分類ａ、ｂ、ｃに対応する３つのクラスに分類を行う分類器を作成すればよい。
【００４９】
（その他の実施形態）
以上の説明ではステップＳ２０９において重複する領域を２つの場合について説明したが、３つ以上の場合においても同様に本提案手法を用いることができる。以下で候補領域が３つの場合の方法を２つ説明する。図１９に３つの候補領域の例として領域１９０１〜１９０３を示す。
【００５０】
１つ目の方法としては、３つのペアを順番に処理し、一度でも誤検出であると判定された領域については、その領域を候補領域から削除し、以降は残っている候補領域のペアだけを処理する。まず、２つの領域同士のペアを作成する。図１９では、ＰAB、ＰBC、ＰACの３つのペアが作成される。なお、ＰABが領域１９０１と領域１９０２とのペア、ＰBCが領域１９０２と領域１９０３とのペア、ＰACが領域１９０１と領域１９０３とのペアを示す。
【００５１】
次に、３つのペアに対し、本実施形態で示した方法を用いて誤検出領域があるか否の判定処理を行う。そして、１度でも誤検出であると判定された場合、その領域は以降のペアに対する判別処理は実行しないようにする。例えば、ＰABの判別処理、ＰBCの判別処理、ＰCAの判別処理、の順番で判別処理を行う場合に、ＰABの判別処理において領域１９０１が誤検出であると判定された場合、この時点で領域１９０１は誤検出であると判断し、候補領域から削除する。これにより、３番目に行うはずであったＰCAの判別処理を省略する。
【００５２】
２つ目の方法としては、全てのペアについて誤検出判別処理を行い、その結果を投票することで最終的な判定を行う。まず重複するペアＰAB、ＰBC、ＰACそれぞれについて、本実施形態で示した方法を用いて重複ペアに対して誤検出判別処理を行う。次に、領域１９０１〜１９０３について、誤検出判別処理の結果を投票形式で集計し、この投票結果を最終的な判別結果とする。例えば、集計結果が図２０に示すような場合、領域１９０１は誤検出が２票、人体が０票なので誤検出であると判定し、同様に領域１９０２、１９０３は人体領域であると判定することができる。
【００５３】
なお、２つ目の方法では、誤検出判別処理の結果を、各領域が人体領域であるか誤検出であるかの２値を出力する場合について説明しているが、誤検出判別処理の結果を人体領域の尤度として出力するようにしてもよい。この場合、出力される尤度を集計し、さらに集計した尤度に対して閾値を設定することにより各領域が人体領域であるか、あるいは誤検出領域であるかを判別することができる。
【００５４】
以上より、重複関係にある人体候補領域について、尤度比と重複情報に基づき誤検出の有無を判別する判別器を使用することにより、人体候補領域にある誤検出を特定して候補領域から削除することが可能となる。また、重複関係がある領域が３つ以上の場合についても同様に誤検出領域を判別することができる。
【００５５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５６】
１０１ 画像入力部
１０２ 縮小画像生成部
１０３ 検出ウインドウ設定部
１０４ 第１の画像判別部
１０５ 判定結果変換部
１０６ 重複領域抽出部
１０７ 重複状態分類部
１０８ 第２の画像判別部
【特許請求の範囲】
【請求項１】
入力画像の尤度に基づいて前記入力画像が認識対象であることを判別する画像判別手段と、
前記画像判別手段により判別された入力画像から、重複関係にある重複領域を抽出する抽出手段と、
前記重複領域の重複状態を分類する分類手段と、
前記尤度と前記重複状態とに基づいて前記重複領域が認識対象であることを判別する判別手段と、
を備えたことを特徴とする画像認識装置。
【請求項２】
前記判別手段は、重複状態に応じて決まる閾値と重複領域における尤度とを比較することにより、重複領域が認識対象であるか否かを出力すること、を特徴とする請求項１記載の画像認識装置。
【請求項３】
前記重複領域の重複状態とは、前記抽出手段により抽出された重複領域同士の位置関係であることを特徴とする請求項２記載の画像認識装置。
【請求項４】
前記位置関係とは、前記重複領域同士の方向、位置ずれ、及び大きさの比であらわされることを特徴とする請求項３記載の画像認識装置。
【請求項５】
入力画像の尤度に基づいて前記入力画像が認識対象であることを判別する画像判別工程と、
前記画像判別工程において判別された入力画像から、重複関係にある重複領域を抽出する抽出工程と、
前記重複領域の重複状態を分類する分類工程と、
前記尤度と前記重複状態とに基づいて前記重複領域が認識対象であることを判別する判別工程と、
を備えたことを特徴とする画像認識方法。
【請求項６】
請求項５記載の画像認識方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
入力画像の尤度に基づいて前記入力画像が認識対象であることを判別する画像判別手段と、
前記画像判別手段により判別された入力画像から、重複関係にある重複領域を抽出する抽出手段と、
前記重複領域の重複状態を分類する分類手段と、
前記尤度と前記重複状態とに基づいて前記重複領域が認識対象であることを判別する判別手段と、
を備えたことを特徴とする画像認識装置。
【請求項２】
前記判別手段は、重複状態に応じて決まる閾値と重複領域における尤度とを比較することにより、重複領域が認識対象であるか否かを出力すること、を特徴とする請求項１記載の画像認識装置。
【請求項３】
前記重複領域の重複状態とは、前記抽出手段により抽出された重複領域同士の位置関係であることを特徴とする請求項２記載の画像認識装置。
【請求項４】
前記位置関係とは、前記重複領域同士の方向、位置ずれ、及び大きさの比であらわされることを特徴とする請求項３記載の画像認識装置。
【請求項５】
入力画像の尤度に基づいて前記入力画像が認識対象であることを判別する画像判別工程と、
前記画像判別工程において判別された入力画像から、重複関係にある重複領域を抽出する抽出工程と、
前記重複領域の重複状態を分類する分類工程と、
前記尤度と前記重複状態とに基づいて前記重複領域が認識対象であることを判別する判別工程と、
を備えたことを特徴とする画像認識方法。
【請求項６】
請求項５記載の画像認識方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−６１８０２（Ｐ２０１３−６１８０２Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−１９９８８０（Ｐ２０１１−１９９８８０）
【出願日】平成２３年９月１３日（２０１１．９．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１３日（２０１１．９．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]