多角度の特定物体の判断装置及び多角度の特定物体の判断方法
【課題】本発明は、多角度の特定物体の判断装置を提供する。
【解決手段】該装置は、画像データを入力する入力装置と、各々が、同一検知角度に対応する複数の分類器の多段接続からなる複数の多段接続分類器グループと、を有し、それぞれの分類器は、それぞれの特徴に対応しており、各分類器は、画像データの各特徴における各検知角度の特定物体に属する信頼度を算出し、該信頼度に基づいて該画像データが特定物体に属しているか否かを判断する装置であって、多段接続分類器グループの分類器間に、自己適応姿勢予測装置を設けて、該自己適応姿勢予測装置の前にある同一検知角度に対応されている各分類器により算出された信頼度から、画像データが該検知角度の該自己適応姿勢予測装置の後にある各分類器に入るか否かを判断する。本発明は、さらに多角度の特定物体の判断方法を提供する。
【解決手段】該装置は、画像データを入力する入力装置と、各々が、同一検知角度に対応する複数の分類器の多段接続からなる複数の多段接続分類器グループと、を有し、それぞれの分類器は、それぞれの特徴に対応しており、各分類器は、画像データの各特徴における各検知角度の特定物体に属する信頼度を算出し、該信頼度に基づいて該画像データが特定物体に属しているか否かを判断する装置であって、多段接続分類器グループの分類器間に、自己適応姿勢予測装置を設けて、該自己適応姿勢予測装置の前にある同一検知角度に対応されている各分類器により算出された信頼度から、画像データが該検知角度の該自己適応姿勢予測装置の後にある各分類器に入るか否かを判断する。本発明は、さらに多角度の特定物体の判断方法を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多角度の特定物体の判断装置及び多角度の特定物体の判断方法に関し、特に、判断精度に影響を及ぼすことなく、特定物体の判断速度を向上可能な多角度の特定物体の判断装置及び多角度の特定物体の判断方法に関する。
【背景技術】
【０００２】
高速かつ正確な物体検知演算法は、画像処理と映像内容分析分野において幅広く用いられている基本的な動作であり、顔検知や感情状態の分析、テレビ会議制御や分析、通行人の保護システム等に用いられている。Ａｄａｂｏｏｓｔ顔検知演算法は、顔の正面認識に効果的に用いられるため、例えば、顔検知機能のあるデジタルカメラ等、多くの該分野に関わる製品が市販されている。しかしながら、デジタルカメラと携帯電話の迅速な発展に伴い、正面の物体認識のみでは、遥かに需要を満たすことができないため、多角度における高速かつ正確な物体検知課題に注目が集まってきている。
【０００３】
米国特許Ｎｏ．7,324,671、Ｂ2には、多角度顔検知の演算法及び装置が開示されている。該発明における、顔検知システムは、一連の複雑性逓増の強分類器を用いて、非顔データを階級分類器構造における早い段階（複雑性の低い階級）から除去している。その階級分類器構成は、ピラミッド構造を有し、粗から精に、簡単から複雑への配置を用いており、比較的に簡単な特徴（階級分類器構成における前階級に用いる特徴）を用いて、大量の非顔データを除去することができる。これにより、リアルタイムの多角度顔検知システムが実現される。該演算法の最大の問題は、ピラミッド構造が検知工程で同時に大量の余分な情報を含んでいることで、検知の速度と精度に影響を及ぼしていることである。
【０００４】
米国特許Ｎｏ．7,457,432 Ｂ２には、特定物体検知方法及び装置が開示されている。該発明においては、ＨＡＡＲ特徴が弱特徴として用いられている。Ｒｅａｌ-Ａｄａｂｏｏｓｔ演算法は、階級分類器構成における各階級の強分類器への訓練による検知精度の向上に用いられており、ＬＵＴ（ルックアップデーブル）データ構成は、特徴選択の速度向上に供されている。ここで、「強分類器」及び「弱特徴」とも、当該分野で熟知されている概念である。該発明の主な問題は、該方法が一定角度範囲内の特定物体の検知のみに用いられ、主に正面顔の認識であるため、応用が一定範囲に制限されていることである。
【０００５】
国際特許出願公開ＷＯＮｏ．2008/151470 Ａ１には、複雑な背景条件下、信頼度顔検知を行う演算法及び装置が開示されている。該発明においては、低演算複雑性と高余分性を有する微細構造特徴を採用することにより、顔の特徴を記述している。損失に敏感なＡdaboost演算法は、最も有効な人間の顔の弱特徴を選択して階級分類器構成における各階級の強分類器を形成し、顔データと非顔データを区分している。各階級の強分類器とも検知率確保の前提で、できる限りの非顔データの誤受信率を低減することができるため、最終的な分類器構成は、簡単な構成の場合のみ、複雑な背景からの高検知性能を得ることができる。ここで、「弱特徴」は、当該分野の熟知の概念である。該技術の主な問題点は、該方法が一定角度範囲内の特定物体の検知のみに用いられ、主に正面顔の認識であるため、応用が一定範囲に制限されていることである。
【０００６】
理論上は、複数の検知角度の分類器からなる階級分類器構成は、多角度検知が実現可能であるが、通常の多角度検知の階級分類器構成では、以下の２つの問題を解消することができない。（１）分類器数の増加により、分類器の判断時間の増加を招いてしまい、検知システム全体の検知速度が遅くなり、リアルタイム的な検知ができない。（２）ある特定角度の単一角度物体検知精度と同等の検知精度の実現することができず、検知精度の低下を招いてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、従来技術における前記問題点を鑑みてなされたもので、特定物体検知工程におけるウィンドウ画像に対して、特定物体画像への判断のキーポイントとなるか否かに着目して、該キーポイントをターゲットとした多角度の特定物体の判断装置及び多角度の特定物体の判断方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の１局面によると、多角度の特定物体の判断装置において、画像データを入力する入力装置と、複数の同一検知角度に対応する分類器が多段接続され、各分類器は、異なる特徴に対応し、画像データが対応特徴面で対応検知角度の特定物体である信頼度を算出する、多段接続の分類器グループを複数有し、該信頼度に基づいて該画像データが特定物体であるか否かを判断する、多角度の特定物体の判断装置において、多段接続の分類器グループの分類器間には、自身の前にある同一検知角度に対応する各分類器が算出した前記信頼度に基づいて、画像データが自身の後に位置する該検知角度の各分類器に入るか否かを判断する、自己適応姿勢予測装置が設けられている多角度の特定物体の判断装置を提供する。
【０００９】
本発明の他の局面によると、画像データを入力する入力ステップと、複数の同一検知角度に対応するサブ分類ステップから順次構成され、各サブ分類ステップは、異なる特徴に対応し、画像データが対応特徴面で対応検知角度の特定物体である信頼度を算出する、並列の分類ステップを複数有し、該信頼度に基づいて該画像データが特定物体であるか否かを判断する、多角度の特定物体の判断方法において、分類ステップのサブ分類ステップ間には、自身のステップ前にある同一検知角度に対応する各サブ分類ステップで算出した前記信頼度に基づいて、画像データに対して自身のステップ後の該検知角度の各サブ分類ステップを行うか否かを判断する、自己適応姿勢予測ステップが設けられている多角度の特定物体の判断方法を提供する。
【００１０】
本発明の前述の局面によると、姿勢予測を入れることで、構成の前階級で一部の入力データの姿に関係のない分類器を放棄することができ、判断速度を高速化でき、同時に、自己適応可能な姿勢予測工程により、入力データの姿に近い分類器を選択して以降の判断に用いるようにしたことで、判断精度の向上を実現することができる。このため、本発明の前述の局面により、検知精度を保証するとともに、特定物体の検知速度を向上することができる。
【発明の効果】
【００１１】
本発明によれば、複数の多段接続の分類器グループ形式の多階級分類器構成を用いることで、ウィンドウ画像に対して特定物体画像を判断する速度及び精度を向上し、高速な検知とともに検知精度の向上も図ることができる。
【図面の簡単な説明】
【００１２】
【図１】従来の多角度の特定物体の判断装置を示す略図である。
【図２】本発明の実施例における多角度の特定物体の判断装置略図である。
【図３Ａ】物体の正面画像との回転状況の例示的な説明であり、面内回転の場合を示した図である。
【図３Ｂ】物体の正面画像との回転状況の例示的な説明であり、面外回転の場合を示した図である。
【図４】全図からのウィンドウ抽出を示す略図である。
【図５】ウィンドウ画像のグループ化効果を示す略図である。
【図６】本発明の実施例における自己適応姿勢予測装置の概略構成ブロック図である。
【図７Ａ】自己適応姿勢予測装置の属性値による多段接続分類器グループの選択を例示した第１の図である。
【図７Ｂ】自己適応姿勢予測装置の属性値による多段接続分類器グループの選択を例示した第２の図である。
【図８】正面顔画像の入力の場合の、異なる階級の異なる検知角度の分類器により判断された非顔の数を例示した図である。
【図９】本発明の実施例における自己適応姿勢予測装置の場合の、それ以降の隣接する階級における分類器の使用時への影響の例を示した図である。
【図１０】本発明の実施例における自己適応姿勢予測装置を用いた場合と、用いない場合の、ある階級分類器による判断後の入力画像データ数の、次の階級に入るべき最多検知角度数に関する分布の比較例である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、本発明の好適な実施形態について詳細に説明する。該説明により、本発明の以上の目的及び他の目的、特徴、長所、技術及び産業上の重要性がより明らかになる。
【００１４】
図１は、従来の多角度の特定物体の判断装置を示す略図である。ここで、入力装置１００は、画像データの入力に用いられており、多段接続分類器グループ１１０、１２０、１３０は、それぞれ異なる検知角度に対応しており、多段接続分類器グループ１１０は、分類器１１１、１１２、… …１１ｎの多段接続で構成され、多段接続分類器グループ１２０は、分類器１２１、１２２、… …１２ｎの多段接続で構成され、多段接続分類器グループ１３０は、分類器１３１、１３２、… …１３ｎの多段接続で構成されており、ｎは自然数である。分類器番号の左から２桁目の数字は、該分類器の検知角度を代表しており、左から３桁目の数字は、該分類器の所属の多段接続分類機組における位置順を代表し、即ち、複数の多段接続分類器グループにおける左から３桁目の数字が同一の分類器は、同一の階級にあるものと見なされる。同一グループにおける異なる位置の分類器に用いられる特徴は異なっており、異なる組における同一の階級の分類器に用いられる特徴は同一である必要ははい。なお、図１においては、各多段接続分類器グループには、ｎ個の分類器が設けられているが、異なる検知角度に用いられる特徴は異なりうるため、各多段接続分類器グループにおける分類器数も異なっていてもよく、即ち、分類器は、図１に示されているマトリックス配列を必ずしも形成しなくてよい。或いは、言い換えれば、このようなマトリックスは、分類器で完全に埋め尽くされる必要はない。
【００１５】
なお、図１には、３つの検知角度に用いる３つの多段接続分類器グループが示されているが、検知角度を増加または低減させてもよいことは、当業者に自明である。例えば、２つの多段接続分類器グループを設けて２つの検知角度に用いてもよく、４つの多段接続分類器グループを設けて４つの検知角度に用いてもよく、さらに多くの多段接続分類器グループを設けてさらに多くの検知角度に用いてもよい。又は、最終的には、１つの多段接続分類器グループのみ設けて単一角度検知に多角度の特定物体の判断装置の１種の特殊形式として用いてもよい。
【００１６】
入力された画像データは、それぞれ各多段接続分類器グループに入り、先ず、各グループの第１階級の分類器により、画像データの対応特徴面における対応検知角度の特定物体に属する信頼度を算出し、該信頼度をもとに該画像データが顔のような特定物体に属するか否かを判断する。ある分類器が画像データを非顔と判断すると、即ち、判断結果がＦ又は偽（Ｆａｌｓｅ）であると、該画像データを非顔画像に分類し、該画像データの対応検知角度における判断を終了し、判断結果がＴ又は真（Ｔｒｕｅ）であると、該画像データを該角度の次の分類器に入れて判断を行う。このような処理は、多段接続の分類器グループの最後の分類器が終わるまで繰り返し行われる。例えば、第ｎ階級の分類器が画像データと顔と判断し、Ｔと判断すると、該画像データを顔データに分類する。
【００１７】
ここで、各分類器は、いずれの種類の強分類器であり、例えば、サポートベクトルマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、Ａｄａｂｏｏｔ等の演算法の公知の分類器を用いることができる。
【００１８】
各強分類器においては、様々な局部テクスチャ構造の弱特徴やその組み合わせから演算を行うことができ、前記弱特徴は、ＨＡＡＲ特徴、多尺度ＬＢＰ特徴等の当該分野で通常用いられている特徴である。
【００１９】
ある特定物体の分類器は、ある特定姿勢のある特定物体特性の訓練により得ることができる。ここで、所謂姿勢とは、当該分野では通常、図３に示すように、物体の正面画像との回転角度を指している。
【００２０】
図３Ａ、３Ｂは、物体の正面画像との回転状況の例示的な説明であり、図３Ａは、面内回転（rotation
in plane,RIP）の場合を示し、図中の最上方の正面画像を基準にし、画像平面に垂直な軸に対して回転する場合である。図３Ｂは、面外回転（rotation off plane, ROP）の場合を示し、図中の真ん中の正面画像を基準にし、Ｐｉｔｃｈ（上下）方向と、Ｙａｗ（左右揺れ）方向の回転の場合である。所謂正面画像は、当該分野の公知公認の概念であり、正面画像と微小な回転角度を有する画像も、実践においては、正面画像として処理されている。
【００２１】
図１に示されている関連する従来技術においても、後述の本発明の実施例においても、顔を処理すべき特定物体としているが、従来技術でも本発明でも、顔や、手や、通行人等の各種物体の処理を行うことができる。どのような物体で、どのような特徴で、どのような角度であっても、ジョブの処理前に事前に指定し、かつサンプルを用いて訓練を行えば、対応する分類器を得ることができ、多段接続の分類器グループを得ることができる。
【００２２】
図１に示された多角度の特定物体の判断装置は、例えば、静止画像や映像等の各種データ媒体への処理及びそのうちの特定物体の検出に用いることができ、ウィンドウ抽出装置を用いて、全体画像からウィンドウ画像を抽出し、ウィンドウ画像データを画像データとして多角度の特定物体の判断装置に出力して、判断処理を行うことができる。
【００２３】
図４は、全図からのウィンドウ画像の抽出を示した略図である。即ち、異なる尺度に応じて異なる歩幅のウィンドウで全画像を移動し、一連のウィンドウ画像を得ることができる。また、抽出により得られるウィンドウ画像であっても、ウィンドウ抽出を行っていない全画像であっても、多角度の特定物体の判断装置は、同様の方式で処理を行うことができる。
【００２４】
多角度の特定物体の判断装置からの出力結果は、入力された画像データが特定物体に属しているか、或いは該特定物体の画像であるかの判断であり、真（Ｔ）と判断された入力画像データは、物体検知の結果として出力することができるが、グループ化装置を用いて、元全画像における、本来は同一の特定物体の、複数の真（Ｔ）と判断されるウィンドウ画像を１つの画像にグループ化して、１つの特定物体は、１つのみの検出結果を有するようにしてもよい。
【００２５】
図５は、ウィンドウ画像のグループ化効果を示す略図である。グループ化される前の、複数の破線フレームで示されるウィンドウ画像は、グループ化により１つの実線フレームで示されるウィンドウ画像となっている。例えば、Ｋ平均値グループ化（Ｋ平均法）等の当該分野の公知の従来技術により、該グループ化処理を行ってもよい。多角度の特定物体の判断装置により、真（Ｔ）と判断されるウィンドウ画像データが全て該特定物体に属していれば、グループ化処理を行わなくても検知結果として出力可能なことは、言うまでもない。
【００２６】
図２は、本発明の実施例における多角度の特定物体の判断装置を示す略図である。本発明の実施例における多角度の特定物体の判断装置は、画像データの入力に用いられる入力装置２００と、複数の多段接続の分類器グループ２１０、２２０、２３０と、自己適応姿勢予測装置２５０とを備える。ここで、複数の多段接続の分類器グループ２１０、２２０、２３０は、多段接続の分類器グループを複数有して構成され、信頼度に基づいて該画像データが特定物体であるか否かを判断する。また、各分類器グループは、複数の同一検知角度に対応する分類器が多段接続され、各分類器は、異なる特徴に対応し、画像データが対応特徴面で対応検知角度の特定物体である信頼度値を算出する。また、自己適応姿勢予測装置２５０は、多段接続の分類器グループの分類器間に設けられた、自身の前にある同一検知角度に対応する各分類器が算出した信頼度値に基づいて、画像データが自身の後に位置する該検知角度の各分類器に入るか否かを判断する。
【００２７】
多段接続分類器グループ２１０、２２０、２３０は、それぞれ異なる検知角度に対応しており、多段接続分類器グループ２１０は、分類器２１１、２１２、… …２１ｎの多段接続で構成され、多段接続分類器グループ２２０は、分類器２２１、２２２、… …２２ｎの多段接続で構成され、多段接続分類器グループ２３０は、分類器２３１、２３２、… …２３ｎの多段接続で構成されており、ｎは自然数である。分類器番号の左から２桁目の数字は、該分類器の検知角度を代表しており、左から３桁目の数字は、該分類器の所属の多段接続分類機組における位置順を代表し、即ち、複数の多段接続分類器グループにおける左から３桁目の数字が同一の分類器は、同一の階級にあるものと見なされる。同一グループにおける異なる位置の分類器に用いられる特徴は異なっており、異なる組における同一の階級の分類器に用いられる特徴は同一である必要はない。
【００２８】
なお、図１に示された従来の多角度の特定物体の判断装置と同様に、図２に示された本発明の実施例の多角度の特定物体の判断装置における各多段接続分類器グループには、ｎ個の分類器が設けられているが、異なる検知角度に用いられる特徴は異なりうるため、各多段接続分類器グループにおける分類器数も異なっていてもよい。
【００２９】
なお、図２には、３つの検知角度に用いる３つの多段接続分類器グループが示されているが、検知角度を増加または低減させてもよいことは、当業者に自明である。例えば、２つの多段接続分類器グループを設けて２つの検知角度に用いてもよく、４つの多段接続分類器グループを設けて４つの検知角度に用いてもよく、さらに多くの多段接続分類器グループを設けてさらに多くの検知角度に用いてもよく、ひいては、１つの多段接続分類器グループのみ設けて単一角度検知に多角度の特定物体の判断装置の１種の特殊形式として用いてもよい。
【００３０】
図１に示された従来の多角度の特定物体の判断装置と同様に、本発明の実施例の多角度の特定物体の判断装置は、全画像の処理のみならず、ウィンドウ抽出装置により得られるウィンドウ画像の処理も可能であり、いずれの画像であっても、本発明の実施例の多角度の特定物体の判断装置は、同様の方式で処理を行うことができる。また、図１に示された従来の多角度の特定物体の判断装置と同様に、本発明の実施例による多角度の特定物体の判断装置からの出力結果は、入力された画像データが特定物体に属しているか、或いは該特定物体の画像であるかの判断結果である。真（Ｔ）と判断された入力画像データは、物体検知の結果として出力することができるが、グループ化装置を用いて、元全画像における、本来は同一の特定物体の、複数の真（Ｔ）と判断されるウィンドウ画像を１つの画像にグループ化して、１つの特定物体は、１つのみの検出結果を有するようにしてもよい。
【００３１】
図１及び図２に示された多角度の特定物体の判断装置の比較から、そして前述の記載から分かるように、本発明の実施例による多角度の特定物体の判断装置は、従来の多角度の特定物体の判断装置の同一の部材と同一の機能を有しており、各分類器は、強分類器を用いており、訓練により、顔や、手や、通行人等の各種特定物体の処理を行うことができる。どのような物体で、どのような特徴で、どのような角度であっても、ジョブの処理前に事前に指定し、かつサンプルを用いて訓練を行えば、対応の分類器を得ることができ、多段接続の分類器グループを得ることができる。本発明の実施例による多角度の特定物体の判断装置の、従来の多角度の特定物体の判断装置との相違点は、多段接続の分類器グループの分類器間に自己適応姿勢予測装置２５０が設けられていることである。一部の入力画像データの姿勢とは関係ない分類器を放棄することで、大量の検知時間を節約することができ、入力画像データの姿勢に近い分類器を保留して、以後の判断に用いることで判断精度を確保することができる。図２に示された例においては、多段接続の分類器グループ２１０における分類器２１２後の分類器は、例えば、分類器２１ｎは、自己適応姿勢予測装置により、その検知角度と入力画像データの姿勢の差が大きいために以降の判断で使用放棄と判断されるため、その他の角度の入力画像データの姿勢に近い、例えば、分類器グループ２２０と２３０における分類器は、引き続き画像処理に用いられている。もちろん、具体的な実施環境に応じて、入力画像に応じて、他の角度の分類器が放棄されてもよい。ここで、自己適応姿勢予測装置２５０は、入力画像データの物体姿勢に近い検知角度の分類器の選択に用いられており、直接に入力画像データが検知対象としての特定物体に属しているかの判断を行うものではない。自己適応姿勢予測装置前の分類器により、非特定物体画像と判断された入力画像は、引継ぎ処理が行われないため、自己適応姿勢予測装置２５０に入ることはない。このため、自己適応姿勢予測装置２５０に入るためには、自己適応姿勢予測装置２５０により処理される画像データを、特定物体画像であると仮定する必要がある。
【００３２】
各多段接続の分類器グループにおいては、演算した特徴の複雑性の増加順に分類器の配列を行っており、前の方の階級の分類器から算出される特徴は比較的に簡単で、演算複雑性も低いが、階級が後の方に行くほど、分類器から算出される特徴の複雑度が増し、演算複雑性も高くなる。しかし、多段接続の分類器グループにおいては、分類器の配列はいずれの順で行ってよく、ターゲットの特徴とは何ら関係もなくてもよく、或いは特徴の他の関係に基づいてもよい。自己適応姿勢予測装置は、多段接続の分類器グループ内のいずれの位置に設けてもよく第１階級と第２階級の間、または第２階級と第３階級の間に設けてもよい。他の階級間に設けられても、入力画像データの姿勢に関係ない分類器を放棄させることができ、検知時間の節約と判断精度の向上の役割を果たすことができる。
【００３３】
図６は、本発明の実施例における自己適応姿勢予測装置の概略構成ブロック図である。自己適応姿勢予測装置２５０は、前記自己適応姿勢予測装置前の同一検知角度に対応する各分類器が算出した信頼度値を正規化して信頼度正規化値を取得する正規化演算装置２５２と、前記正規化演算装置から得られる信頼度正規化値を融合して検知角度に対応する融合値を取得する融合演算装置２５４と、融合演算装置から得られる各検知角度の融合値から、画像データの各検知角度に関する属性値を算出する姿勢予測装置２５６と、各検知角度のそれぞれの属性を所定閾値と比較し、適応性値が所定閾値以上の検知角度の該自己適応姿勢予測装置の後に位置する、画像データを進入させるための各分類器を選択し、多段接続分類器グループ選択装置２５８と、を有する。
【００３４】
自己適応姿勢予測装置２５０は、多段接続分類器グループにおける同一階級の分類器の間に位置しているため、自己適応姿勢予測装置２５０及びその構成部分である正規化演算装置２５２と融合演算装置２５４と姿勢予測装置２５６と多段接続分類器グループ選択装置２５８とも同一階級前の判断結果への予測を行い、換言すると、自己適応姿勢予測装置２５０とその構成部分により行われる各動作は、ともに同一階級前の各グループにおける分類器に対して行われるものである。
【００３５】
正規化演算装置２５２の役目は、各多段接続分類器グループにおける、自己適応姿勢予測装置２５０前の各階級の強分類器の出力データを同一測定空間に正規化することである。実行中の第ｉの多段接続分類器グループが、正規化演算装置２５２前にｍ個（ｍは自然数）の階級があり、現在第ｉの多段接続分類器グループにおける第ｊ階級の分類器への処理が行われていると仮定する（ここで、ｉとｊとも正整数の索引量）と、該分類器の演算により得られた画像データは、対応の特徴方面において対応の検知角度の特定物体に属する信頼度値は、vali,jとなる。正規化演算装置２５２は、様々なデータ正規化方法を用いることができ、例えば、最大最小化算法Min-Max、または、Z-score、MAD、Double-Sigmoid、Tanh-estimator等がある。
【００３６】
例えば、最大最小化の正規化方法を用いる場合、下記式（１）により該第ｉグループの第ｊ階級の分類器の正規化値nvali,jを算出することができる。
【数１】
【００３７】
ここで、valmax, valminは、分類器の訓練工程で得られた値である。具体的には、valmaxは、該第ｉの多段接続分類器グループに対応する検知角度の該第ｊの分類器に用いられる特徴に関して行われた訓練から得られた信頼度値中の最大値を表し、即ち、該強分類器が入力された全てのサンプルデータから取得可能な最大値を表す。valminは、該分類器に関して行われた訓練から得られた信頼度値中の最小値を表し、即ち、該強分類器が入力された全てのサンプルデータから取得可能な最小値を表している。
【００３８】
訓練で非顔サンプル画像が用いられる場合は、非顔サンプルに対して求められる信頼度値の変化範囲が比較的に大きいため、データ測定時にデータノイズが入りやすくなり、正規化結果の正確性に影響を与えてしまう。分類器の非顔サンプルへの演算から得られた分類結果となる信頼度基準が負値で、顔サンプルへの演算から得られた分類結果となる信頼度基準が正値であることから、該問題を解決するためには、前記式（１）における、valminを直接０とさせ、正確データ分布からずれるデータノイズの正規化への影響を除去することができる。このような式（１）への改善を行い、以下の正規化式（２）が得られる。
【数２】
【００３９】
正規化演算装置２５２も、例えば、Z-scoreのような正規化方法を用いることができる。この場合、下記式（３）より、該第ｉグループの第ｊ階級の分類器の正規化値nvali,jが算出される。
【数３】
【００４０】
ここで、μとσは、それぞれ該第ｉの多段接続分類器グループに対応する検知角度の該第ｊの分類器に用いられる特徴に関して行われた訓練から得られた値の、算術平均値と平均平方差である。
【００４１】
融合演算装置２５４の目的は、データ融合を行うことであり、各多段接続分類器グループの自己適応姿勢予測装置２５０前の全ての階級の強分類器の演算結果を融合し、各多段接続分類器グループに関する融合値をそれぞれ得ることができる。融合演算装置２５４は、例えば、加算規則Ｓｕｍ、乗算規則Ｐｒｏｄｕｃｔ、または、ＭＡＸ等の様々なデータによる融合方法を用いることができる。
【００４２】
例えば、融合演算装置２５４は、加算規則を用いて前の階級の強分類器の出力データの加算融合を行い、多段接続分類器における前の各階級の履歴情報を十分利用可能なだけでなく、融合の信頼性をさらに向上することができる。この場合、下記式（４）を用いて、第ｉの多段接続分類器における正規化演算装置２５２前のｍ個階級の分類器の信頼度の正規化値 nvali,jにより、融合値snvaliを求めることができる。
【数４】
【００４３】
或いは、融合演算装置２５４は、加算規則以外にも、乗算規則を用いて前の階級の強分類器の出力データの加算融合を行うことができ、下記式（５）を用いて、第ｉの多段接続分類器における正規化演算装置２５２前のｍ個階級の分類器の信頼度の正規化値nvali,jにより、融合値snvaliを求めることができる。
【数５】
姿勢予測装置２５６は、自己適応的に、融合演算装置２５４からの融合結果に応じて、該特徴物体の最適姿勢、即ち、処理される画像データにおける特定物体の実際角度を予測し、画像データにおける特定物体の角度と対応検知角度の関係に応じて、画像データの対応検知角度に関する属性度を算出し、その自己適応性は、用いた演算式が自己適応的に前の各階級の分類器のデータ分布から姿勢予測が可能なことに表されている。
【００４４】
例えば、姿勢予測装置２５６は、下記自己適応式（６）により、融合演算装置２５４から求められた第ｉの多段接続分類器における前のｍ個分類器の信頼度の融合値snvaliと、自己適応姿勢予測装置２５０に含まれる全ての検知角度の多段接続分類器における前のｍ個分類器の信頼度の融合値の最大値snavlmaxに基づき、画像データの第ｉの多段接続分類器に対応する検知角度に関する属性度値ratioi求めることができる。
【数６】
【００４５】
ここで、absは、絶対値演算を表す。
【００４６】
代替的には、姿勢予測装置２５６は、下記自己適応式（７）により、融合演算装置２５４から求められた第ｉの多段接続分類器における前のｍ個分類器の信頼度の融合値と、自己適応姿勢予測装置２５０に含まれる全ての検知角度の多段接続分類器における前のｍ個分類器の信頼度の融合値の最大値snvalmaxに基づき、画像データの第ｉの多段接続分類器に対応する検知角度に関する属性度値ratioiを求めることができる。
【数７】
【００４７】
多段接続分類器グループ選択装置２５８は、複数の検知角度から最適な１つまたは複数の検知角度を選択して後の階級の物体識別判断に用いており、換言すると、画像データにおける特定物体の角度の、ある検知角度に関する属性度が低すぎると、以降の階級の判断に該検知角度の分類器を再度使用しない。
【００４８】
各検知角度の分類器への選択工程において、予め定義された閾値ｔｈｒを用いて姿勢予測装置２５６の各角度のために算出した属性度が多段接続分類器グループ選択装置２５８を通過可能か否かの判断が行われる。例えば、下記式（８）を用いて、第ｉの多段接続分類器グループを選択するか否かの判断が行われる。ratioiが所定閾値ｔｈｒ以上であると、選択結果ｒｅｓを１とし、自己適応姿勢予測装置２５０後に引き続き第ｉの多段接続分類器グループの分類器を用いることを表し、ratioiが所定閾値ｔｈｒ未満であると、選択結果ｒｅｓを０とし、自己適応姿勢予測装置２５０後に第ｉの多段接続分類器グループの分類器を用いないことを表している。
【数８】
もちろん、前記判断基準は、ratioiが所定閾値ｔｈｒを超えると、選択結果ｒｅｓを１とし、rarioiが所定閾値ｔｈｒ未満であると、選択結果ｒｅｓを０とするように変えてもよい。
【００４９】
ここで、閾値ｔｈｒ判断は、一定量のサンプルデータを用いて訓練により得られ、該閾値は、訓練サンプルデータの集合における大半のプラスサンプルが、前記演算により得られる前記属性値が該閾値を超えることを保証することで判断が行われるように、決められている。例えば、顔画像サンプルにおける９５％を保証すると、顔データと判断してもよく、顔画像サンプルにおける８０％、９０％等の高い比率を保証する顔データを顔データとして判断するように該閾値を決めてもよい。
【００５０】
図７Ａ、７Ｂは、自己適応姿勢予測装置の属性値による多段接続分類器グループの選択を例示した図である。図７Ａ、７Ｂにおいて、５つの検知角度に対応する５つの多段接続分類器グループを用いており、各多段接続分類器グループは図面における１つの柱に対応し、柱の高さは、対応多段接続分類器グループの前記演算から得られた属性値を表しており、破線フレームで囲まれた部分は、対応検知角度の選択を表している。図７Ａの実施例において、第４の多段接続分類器グループの属性値は、他の検知角度の属性値よりも明らかに高くなっており、第４の多段接続分類器グループの属性値だけが所定閾値を超えているため、該検知角度のみが選択され判断が行われている。図７Ｂの実施例において、第３と第４の多段接続分類器グループの属性値とも、所定閾値を超えているため、両方とも選択され判断が行われている。
【００５１】
図８は、正面顔画像の入力の場合の、異なる階級の異なる検知角度の分類器により判断された非顔の数を例示した図である。図８において、Ｉ、ＩＩ、ＩＩＩは、それぞれ第１階級、第２階級、第３階級を表しており、数字１、２、３、４、５は、それぞれ５つの検知角度を表しており、１が正面Ｆの検知角度で、２、３のそれぞれの検知角度が、ある２つの面外回転ＲＯＰの検知角度であり、４、５のそれぞれの検知角度が、ある２つの面内回転ＲＩＰの角度であり、柱の高さは、入力が正面顔画像の場合のそれを非顔と判断した分類器数を表している。ここで注目すべきことは、図８の実験においては、自己適応姿勢予測装置を用いていないことである。入力が正面顔画像の場合、各階級とも、検知角度が面内回転ＲＩＰの角度である分類器による判断が非顔となるケースが多く、検知角度が面外回転ＲＯＰの角度である分類器による判断が非顔となるケースが明らかに少なくなり、殆ど検知角度が正面の分類器を通過することができた。これから分かるように、異なる角度の分類器により検知可能な姿勢間には、一定の重畳領域がある。そして、これが、本発明の実施例による自己適応姿勢予測装置２５０を用いることにより、図７Ｂに示されるように、異なる角度の多段接続分類器グループを選択可能な理由である。
【００５２】
図９は、本発明の実施例における自己適応姿勢予測装置が用いられた場合の、それ以降の隣接する階級における分類器の使用時への影響の例を示した図である。図９において、数字１、２、３は、それぞれ３回の実験で１つの自己適応予測装置２５０の挿入位置がそれぞれ第１階級と第２階級の間、第２階級と第３階級の間、第３階級と第４階級の間であることを示している。図９に示されているのは、検知角度が正面の多段接続分類器グループの場合であり、入力も一定数の正面顔のサンプル画像であり、各挿入位置に対応する２つの柱は、自己適応姿勢予測装置後の隣接するそれぞれの階級（左から右へ、第２、３、４階級に対応）で分類判断を行う回数と、自己適応姿勢予測装置がない場合の、該階級で分類判断を行う回数の比較であり、各挿入位置に対応する２つの柱のうちの左側は、自己適応姿勢予測装置２５０の挿入前の状況で、右側が挿入後の状況を示している。図９から分かるように、自己適応姿勢予測装置の挿入前の階級で行う分類判断は、自己適応姿勢予測装置２５０の挿入後の該階級でも殆ど保留されて行われており、換言すると、自己適応姿勢予測装置２５０の挿入後の場合、本来使用すべき分類器が殆ど保留され、分類判断を行うため、自己適応姿勢予測装置２５０により誤って放棄されるケースが極めて少ないことが分かる。誤放棄の原因は、実際の場合の正面顔のサンプル画像は殆ど理想の正面と微小な角度をなしているため、自己適応姿勢予測装置２５０により他の角度に属していると判断されていることにあるが、このような画像は、実践においては、依然として他の検知角度の多段接続分類器グループの判断を経ることができる。換言すると、自己適応姿勢予測装置の加入により一定検知角度の多段接続分類器グループが放棄されても、装置の判断と検知精度には影響を及ぼしていない。
【００５３】
図１０は、本発明の実施例における自己適応姿勢予測装置２５０を用いた場合と、用いない場合の、ある階級分類器による判断後の入力画像データ数の、次の階級に入るべき最多検知角度数に関する分布の比較例である。図１０の実験においては、第２階級と第３階級の間に自己適応姿勢予測装置２５０を加入している。図１０の横軸は、第２階級の分類器により判断後の入力画像データが最大第３階級の幾つの検知角度の分類器に入るかを反映し、数字１、２、３、４、５はそれぞれ、入力画像データが最大第３階級の１、２、３、４、５つの検知角度の分類器に入ることを示している。各検知角度数に対応する２つの柱は、それぞれ自己適応姿勢予測装置２５０を用いない場合と自己適応姿勢予測装置２５０を用いる場合の、最大対応数の検知角度の分類器に入る入力画像データ数を表している。図１０から分かるように、自己適応姿勢予測装置２５０を用いない、図１のような従来の多角度の特定物体の判断装置においては、入力画像の殆どが、第３階級の３または４つにもなる検知角度の分類器に入る。これに対し、自己適応姿勢予測装置を用いる、図２のような本発明の実施例による多角度の特定物体の判断装置においては、入力画像の殆どが、第３階級の１または２つの検知角度の分類器のみに入り、特に大量の画像が１つの検知角度の分類器のみに入ることで、以降の階級の演算量を減らすことができ、判断検知速度を向上することができる。各多段接続分類器が、特徴演算複雑性が階級の深度に応じて大きくなるように設定される場合は、該性能はより顕著になる。
【００５４】
図１０の実験においては、５つの多段接続分類器グループを用いており、５００個の入力画像データを用いている。各入力画像データに対しては、５つの第１階級の分類器があるため、最初階級には、合計２５００個の分類器の演算量がある。３つの階級後に、自己適応姿勢予測装置２５０を加入していない場合、残りの全階級は、１７４９回の分類器の演算を行う必要があるが、自己適応姿勢予測装置２５０を加入した場合は、残りの全階級は、１０８２回の分類器の演算を行うことになる。換言すると、以降の階級の演算においては、４０％の時間を自己適応姿勢予測装置２５０の加入により省略することができ、検知の速度を高速化することができる。
【００５５】
更に、多角度の特定物体検出方法も提供される。多角度の特定物体検出方法は、画像データを入力する前記入力装置による入力ステップと、複数の多段接続分類器グループによる複数の並列の分類ステップと、自己適応姿勢予測装置による自己適応姿勢予測ステップが含まれている多角度の特定物体の判断方法として実施することができる。ここで、前記複数の多段接続分類器グループによる複数の並列の分類ステップは、複数の同一検知角度に対応するサブ分類ステップから順次構成され、各分類器による各サブ分類ステップは、異なる特徴に対応し、画像データが対応特徴面で対応検知角度の特定物体である信頼度値を算出する、並列の分類ステップを複数有し、信頼度に基づいて該画像データが特定物体であるか否かを判断する。また、前記自己適応姿勢予測装置による自己適応姿勢予測ステップでは、分類ステップのサブ分類ステップ間に、自身のステップ前にある同一検知角度に対応する各サブ分類ステップで算出した信頼度値に基づいて、画像データに対して自身のステップ後の該検知角度の各サブ分類ステップを行うか否かを判断する。
【００５６】
また、前記自己適応姿勢予測ステップが、前記自己適応姿勢予測ステップ前の同一検知角度に対応する各サブ分類ステップで算出した信頼度値を正規化して信頼度正規化値を取得する前記正規化演算装置による正規化演算ステップと、前記正規化演算ステップから得られる信頼度正規化値を融合して検知角度に対応する融合値を取得する前記融合演算装置による融合演算ステップと、融合演算ステップから得られる各検知角度の融合値から、画像データの各検知角度に関する属性値を算出する前記姿勢予測装置による姿勢予測ステップと、各検知角度のそれぞれの属性を所定閾値と比較し、適応性値が所定閾値以上の検知角度の該自己適応姿勢予測ステップ後の各サブ分類ステップを選択し、画像処理を行う前記分類ステップ選択装置による分類ステップ選択ステップと、を含んでいる。
【００５７】
ここで、分類ステップにおいて、特徴の複雑性の増加順に分類ステップにおけるサブ分類ステップの配列を行っている。また、各分類ステップにおける同一の配列順のサブ分類ステップを、同一階級のステップとし、前記自己適応姿勢予測ステップは、第１階級と第２階級の間、または第２階級と第３階級の間で行われている。
【００５８】
明細書における一連の操作は、ハードウェア、ソフトウェアや、ハードウェアとソフトウェアの組み合わせにより行うことができる。ソフトウェアにより一連の操作を行う場合は、その中のコンピュータプログラムを専用のハードウェアを内蔵したコンピュータの記憶装置にインストールし、コンピュータに該コンピュータプログラムを実行させることができる。あるいは、コンピュータプログラムを多様な種類の処理が実行可能な汎用コンピュータにインストールし、該コンピュータにコンピュータプログラムを実行させることができる。
【００５９】
例えば、コンピュータプログラムを予め記録媒体であるハードディスクやＲＯＭ等に記憶しておいてもよく、一時的に或いはいは永久的にフロッピディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ディスク、半導体メモリ等の移動可能な記録媒体に、コンピュータプログラムを記憶しておいてもよい。このような移動可能な記録媒体は、パッケージソフトウェアとして提供することができる。
【００６０】
以上のように、具体的な実施例により本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内で、当業者は、実施例に対して、様々な変更と代替を行うことが可能なことは、言うまでもない。言い換えれば、本発明は説明形式で開示されているが、限定的に解釈されてはならない。本発明の要旨は、添付された請求範囲により判断されるべきである。
【産業上の利用可能性】
【００６１】
本発明は、顔検知等の特定物体検知を行う撮像装置等の画像処理装置全般に利用することができる。
【符号の説明】
【００６２】
１００、２００ 入力装置
１１０、１２０、１３０、２１０、２２０、２３０ 多段接続分類器グループ
１１１〜１１ｎ、１２１〜１２ｎ、１３１〜１３ｎ、２１１〜２１ｎ、２２１〜２２ｎ、２３１〜２３ｎ 分類器
２５０ 自己適応姿勢予測装置
２５２ 正規化演算装置
２５４ 融合演算装置
２５６ 姿勢予測装置
２５８ 多段接続分類器グループ選択装置
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】米国特許第７，３２４，６７１号明細書
【特許文献２】米国特許第７，４５７，４３２号明細書
【特許文献３】国際特許公開２００８／１５１４７０号公報
【技術分野】
【０００１】
本発明は、多角度の特定物体の判断装置及び多角度の特定物体の判断方法に関し、特に、判断精度に影響を及ぼすことなく、特定物体の判断速度を向上可能な多角度の特定物体の判断装置及び多角度の特定物体の判断方法に関する。
【背景技術】
【０００２】
高速かつ正確な物体検知演算法は、画像処理と映像内容分析分野において幅広く用いられている基本的な動作であり、顔検知や感情状態の分析、テレビ会議制御や分析、通行人の保護システム等に用いられている。Ａｄａｂｏｏｓｔ顔検知演算法は、顔の正面認識に効果的に用いられるため、例えば、顔検知機能のあるデジタルカメラ等、多くの該分野に関わる製品が市販されている。しかしながら、デジタルカメラと携帯電話の迅速な発展に伴い、正面の物体認識のみでは、遥かに需要を満たすことができないため、多角度における高速かつ正確な物体検知課題に注目が集まってきている。
【０００３】
米国特許Ｎｏ．7,324,671、Ｂ2には、多角度顔検知の演算法及び装置が開示されている。該発明における、顔検知システムは、一連の複雑性逓増の強分類器を用いて、非顔データを階級分類器構造における早い段階（複雑性の低い階級）から除去している。その階級分類器構成は、ピラミッド構造を有し、粗から精に、簡単から複雑への配置を用いており、比較的に簡単な特徴（階級分類器構成における前階級に用いる特徴）を用いて、大量の非顔データを除去することができる。これにより、リアルタイムの多角度顔検知システムが実現される。該演算法の最大の問題は、ピラミッド構造が検知工程で同時に大量の余分な情報を含んでいることで、検知の速度と精度に影響を及ぼしていることである。
【０００４】
米国特許Ｎｏ．7,457,432 Ｂ２には、特定物体検知方法及び装置が開示されている。該発明においては、ＨＡＡＲ特徴が弱特徴として用いられている。Ｒｅａｌ-Ａｄａｂｏｏｓｔ演算法は、階級分類器構成における各階級の強分類器への訓練による検知精度の向上に用いられており、ＬＵＴ（ルックアップデーブル）データ構成は、特徴選択の速度向上に供されている。ここで、「強分類器」及び「弱特徴」とも、当該分野で熟知されている概念である。該発明の主な問題は、該方法が一定角度範囲内の特定物体の検知のみに用いられ、主に正面顔の認識であるため、応用が一定範囲に制限されていることである。
【０００５】
国際特許出願公開ＷＯＮｏ．2008/151470 Ａ１には、複雑な背景条件下、信頼度顔検知を行う演算法及び装置が開示されている。該発明においては、低演算複雑性と高余分性を有する微細構造特徴を採用することにより、顔の特徴を記述している。損失に敏感なＡdaboost演算法は、最も有効な人間の顔の弱特徴を選択して階級分類器構成における各階級の強分類器を形成し、顔データと非顔データを区分している。各階級の強分類器とも検知率確保の前提で、できる限りの非顔データの誤受信率を低減することができるため、最終的な分類器構成は、簡単な構成の場合のみ、複雑な背景からの高検知性能を得ることができる。ここで、「弱特徴」は、当該分野の熟知の概念である。該技術の主な問題点は、該方法が一定角度範囲内の特定物体の検知のみに用いられ、主に正面顔の認識であるため、応用が一定範囲に制限されていることである。
【０００６】
理論上は、複数の検知角度の分類器からなる階級分類器構成は、多角度検知が実現可能であるが、通常の多角度検知の階級分類器構成では、以下の２つの問題を解消することができない。（１）分類器数の増加により、分類器の判断時間の増加を招いてしまい、検知システム全体の検知速度が遅くなり、リアルタイム的な検知ができない。（２）ある特定角度の単一角度物体検知精度と同等の検知精度の実現することができず、検知精度の低下を招いてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、従来技術における前記問題点を鑑みてなされたもので、特定物体検知工程におけるウィンドウ画像に対して、特定物体画像への判断のキーポイントとなるか否かに着目して、該キーポイントをターゲットとした多角度の特定物体の判断装置及び多角度の特定物体の判断方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の１局面によると、多角度の特定物体の判断装置において、画像データを入力する入力装置と、複数の同一検知角度に対応する分類器が多段接続され、各分類器は、異なる特徴に対応し、画像データが対応特徴面で対応検知角度の特定物体である信頼度を算出する、多段接続の分類器グループを複数有し、該信頼度に基づいて該画像データが特定物体であるか否かを判断する、多角度の特定物体の判断装置において、多段接続の分類器グループの分類器間には、自身の前にある同一検知角度に対応する各分類器が算出した前記信頼度に基づいて、画像データが自身の後に位置する該検知角度の各分類器に入るか否かを判断する、自己適応姿勢予測装置が設けられている多角度の特定物体の判断装置を提供する。
【０００９】
本発明の他の局面によると、画像データを入力する入力ステップと、複数の同一検知角度に対応するサブ分類ステップから順次構成され、各サブ分類ステップは、異なる特徴に対応し、画像データが対応特徴面で対応検知角度の特定物体である信頼度を算出する、並列の分類ステップを複数有し、該信頼度に基づいて該画像データが特定物体であるか否かを判断する、多角度の特定物体の判断方法において、分類ステップのサブ分類ステップ間には、自身のステップ前にある同一検知角度に対応する各サブ分類ステップで算出した前記信頼度に基づいて、画像データに対して自身のステップ後の該検知角度の各サブ分類ステップを行うか否かを判断する、自己適応姿勢予測ステップが設けられている多角度の特定物体の判断方法を提供する。
【００１０】
本発明の前述の局面によると、姿勢予測を入れることで、構成の前階級で一部の入力データの姿に関係のない分類器を放棄することができ、判断速度を高速化でき、同時に、自己適応可能な姿勢予測工程により、入力データの姿に近い分類器を選択して以降の判断に用いるようにしたことで、判断精度の向上を実現することができる。このため、本発明の前述の局面により、検知精度を保証するとともに、特定物体の検知速度を向上することができる。
【発明の効果】
【００１１】
本発明によれば、複数の多段接続の分類器グループ形式の多階級分類器構成を用いることで、ウィンドウ画像に対して特定物体画像を判断する速度及び精度を向上し、高速な検知とともに検知精度の向上も図ることができる。
【図面の簡単な説明】
【００１２】
【図１】従来の多角度の特定物体の判断装置を示す略図である。
【図２】本発明の実施例における多角度の特定物体の判断装置略図である。
【図３Ａ】物体の正面画像との回転状況の例示的な説明であり、面内回転の場合を示した図である。
【図３Ｂ】物体の正面画像との回転状況の例示的な説明であり、面外回転の場合を示した図である。
【図４】全図からのウィンドウ抽出を示す略図である。
【図５】ウィンドウ画像のグループ化効果を示す略図である。
【図６】本発明の実施例における自己適応姿勢予測装置の概略構成ブロック図である。
【図７Ａ】自己適応姿勢予測装置の属性値による多段接続分類器グループの選択を例示した第１の図である。
【図７Ｂ】自己適応姿勢予測装置の属性値による多段接続分類器グループの選択を例示した第２の図である。
【図８】正面顔画像の入力の場合の、異なる階級の異なる検知角度の分類器により判断された非顔の数を例示した図である。
【図９】本発明の実施例における自己適応姿勢予測装置の場合の、それ以降の隣接する階級における分類器の使用時への影響の例を示した図である。
【図１０】本発明の実施例における自己適応姿勢予測装置を用いた場合と、用いない場合の、ある階級分類器による判断後の入力画像データ数の、次の階級に入るべき最多検知角度数に関する分布の比較例である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、本発明の好適な実施形態について詳細に説明する。該説明により、本発明の以上の目的及び他の目的、特徴、長所、技術及び産業上の重要性がより明らかになる。
【００１４】
図１は、従来の多角度の特定物体の判断装置を示す略図である。ここで、入力装置１００は、画像データの入力に用いられており、多段接続分類器グループ１１０、１２０、１３０は、それぞれ異なる検知角度に対応しており、多段接続分類器グループ１１０は、分類器１１１、１１２、… …１１ｎの多段接続で構成され、多段接続分類器グループ１２０は、分類器１２１、１２２、… …１２ｎの多段接続で構成され、多段接続分類器グループ１３０は、分類器１３１、１３２、… …１３ｎの多段接続で構成されており、ｎは自然数である。分類器番号の左から２桁目の数字は、該分類器の検知角度を代表しており、左から３桁目の数字は、該分類器の所属の多段接続分類機組における位置順を代表し、即ち、複数の多段接続分類器グループにおける左から３桁目の数字が同一の分類器は、同一の階級にあるものと見なされる。同一グループにおける異なる位置の分類器に用いられる特徴は異なっており、異なる組における同一の階級の分類器に用いられる特徴は同一である必要ははい。なお、図１においては、各多段接続分類器グループには、ｎ個の分類器が設けられているが、異なる検知角度に用いられる特徴は異なりうるため、各多段接続分類器グループにおける分類器数も異なっていてもよく、即ち、分類器は、図１に示されているマトリックス配列を必ずしも形成しなくてよい。或いは、言い換えれば、このようなマトリックスは、分類器で完全に埋め尽くされる必要はない。
【００１５】
なお、図１には、３つの検知角度に用いる３つの多段接続分類器グループが示されているが、検知角度を増加または低減させてもよいことは、当業者に自明である。例えば、２つの多段接続分類器グループを設けて２つの検知角度に用いてもよく、４つの多段接続分類器グループを設けて４つの検知角度に用いてもよく、さらに多くの多段接続分類器グループを設けてさらに多くの検知角度に用いてもよい。又は、最終的には、１つの多段接続分類器グループのみ設けて単一角度検知に多角度の特定物体の判断装置の１種の特殊形式として用いてもよい。
【００１６】
入力された画像データは、それぞれ各多段接続分類器グループに入り、先ず、各グループの第１階級の分類器により、画像データの対応特徴面における対応検知角度の特定物体に属する信頼度を算出し、該信頼度をもとに該画像データが顔のような特定物体に属するか否かを判断する。ある分類器が画像データを非顔と判断すると、即ち、判断結果がＦ又は偽（Ｆａｌｓｅ）であると、該画像データを非顔画像に分類し、該画像データの対応検知角度における判断を終了し、判断結果がＴ又は真（Ｔｒｕｅ）であると、該画像データを該角度の次の分類器に入れて判断を行う。このような処理は、多段接続の分類器グループの最後の分類器が終わるまで繰り返し行われる。例えば、第ｎ階級の分類器が画像データと顔と判断し、Ｔと判断すると、該画像データを顔データに分類する。
【００１７】
ここで、各分類器は、いずれの種類の強分類器であり、例えば、サポートベクトルマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、Ａｄａｂｏｏｔ等の演算法の公知の分類器を用いることができる。
【００１８】
各強分類器においては、様々な局部テクスチャ構造の弱特徴やその組み合わせから演算を行うことができ、前記弱特徴は、ＨＡＡＲ特徴、多尺度ＬＢＰ特徴等の当該分野で通常用いられている特徴である。
【００１９】
ある特定物体の分類器は、ある特定姿勢のある特定物体特性の訓練により得ることができる。ここで、所謂姿勢とは、当該分野では通常、図３に示すように、物体の正面画像との回転角度を指している。
【００２０】
図３Ａ、３Ｂは、物体の正面画像との回転状況の例示的な説明であり、図３Ａは、面内回転（rotation
in plane,RIP）の場合を示し、図中の最上方の正面画像を基準にし、画像平面に垂直な軸に対して回転する場合である。図３Ｂは、面外回転（rotation off plane, ROP）の場合を示し、図中の真ん中の正面画像を基準にし、Ｐｉｔｃｈ（上下）方向と、Ｙａｗ（左右揺れ）方向の回転の場合である。所謂正面画像は、当該分野の公知公認の概念であり、正面画像と微小な回転角度を有する画像も、実践においては、正面画像として処理されている。
【００２１】
図１に示されている関連する従来技術においても、後述の本発明の実施例においても、顔を処理すべき特定物体としているが、従来技術でも本発明でも、顔や、手や、通行人等の各種物体の処理を行うことができる。どのような物体で、どのような特徴で、どのような角度であっても、ジョブの処理前に事前に指定し、かつサンプルを用いて訓練を行えば、対応する分類器を得ることができ、多段接続の分類器グループを得ることができる。
【００２２】
図１に示された多角度の特定物体の判断装置は、例えば、静止画像や映像等の各種データ媒体への処理及びそのうちの特定物体の検出に用いることができ、ウィンドウ抽出装置を用いて、全体画像からウィンドウ画像を抽出し、ウィンドウ画像データを画像データとして多角度の特定物体の判断装置に出力して、判断処理を行うことができる。
【００２３】
図４は、全図からのウィンドウ画像の抽出を示した略図である。即ち、異なる尺度に応じて異なる歩幅のウィンドウで全画像を移動し、一連のウィンドウ画像を得ることができる。また、抽出により得られるウィンドウ画像であっても、ウィンドウ抽出を行っていない全画像であっても、多角度の特定物体の判断装置は、同様の方式で処理を行うことができる。
【００２４】
多角度の特定物体の判断装置からの出力結果は、入力された画像データが特定物体に属しているか、或いは該特定物体の画像であるかの判断であり、真（Ｔ）と判断された入力画像データは、物体検知の結果として出力することができるが、グループ化装置を用いて、元全画像における、本来は同一の特定物体の、複数の真（Ｔ）と判断されるウィンドウ画像を１つの画像にグループ化して、１つの特定物体は、１つのみの検出結果を有するようにしてもよい。
【００２５】
図５は、ウィンドウ画像のグループ化効果を示す略図である。グループ化される前の、複数の破線フレームで示されるウィンドウ画像は、グループ化により１つの実線フレームで示されるウィンドウ画像となっている。例えば、Ｋ平均値グループ化（Ｋ平均法）等の当該分野の公知の従来技術により、該グループ化処理を行ってもよい。多角度の特定物体の判断装置により、真（Ｔ）と判断されるウィンドウ画像データが全て該特定物体に属していれば、グループ化処理を行わなくても検知結果として出力可能なことは、言うまでもない。
【００２６】
図２は、本発明の実施例における多角度の特定物体の判断装置を示す略図である。本発明の実施例における多角度の特定物体の判断装置は、画像データの入力に用いられる入力装置２００と、複数の多段接続の分類器グループ２１０、２２０、２３０と、自己適応姿勢予測装置２５０とを備える。ここで、複数の多段接続の分類器グループ２１０、２２０、２３０は、多段接続の分類器グループを複数有して構成され、信頼度に基づいて該画像データが特定物体であるか否かを判断する。また、各分類器グループは、複数の同一検知角度に対応する分類器が多段接続され、各分類器は、異なる特徴に対応し、画像データが対応特徴面で対応検知角度の特定物体である信頼度値を算出する。また、自己適応姿勢予測装置２５０は、多段接続の分類器グループの分類器間に設けられた、自身の前にある同一検知角度に対応する各分類器が算出した信頼度値に基づいて、画像データが自身の後に位置する該検知角度の各分類器に入るか否かを判断する。
【００２７】
多段接続分類器グループ２１０、２２０、２３０は、それぞれ異なる検知角度に対応しており、多段接続分類器グループ２１０は、分類器２１１、２１２、… …２１ｎの多段接続で構成され、多段接続分類器グループ２２０は、分類器２２１、２２２、… …２２ｎの多段接続で構成され、多段接続分類器グループ２３０は、分類器２３１、２３２、… …２３ｎの多段接続で構成されており、ｎは自然数である。分類器番号の左から２桁目の数字は、該分類器の検知角度を代表しており、左から３桁目の数字は、該分類器の所属の多段接続分類機組における位置順を代表し、即ち、複数の多段接続分類器グループにおける左から３桁目の数字が同一の分類器は、同一の階級にあるものと見なされる。同一グループにおける異なる位置の分類器に用いられる特徴は異なっており、異なる組における同一の階級の分類器に用いられる特徴は同一である必要はない。
【００２８】
なお、図１に示された従来の多角度の特定物体の判断装置と同様に、図２に示された本発明の実施例の多角度の特定物体の判断装置における各多段接続分類器グループには、ｎ個の分類器が設けられているが、異なる検知角度に用いられる特徴は異なりうるため、各多段接続分類器グループにおける分類器数も異なっていてもよい。
【００２９】
なお、図２には、３つの検知角度に用いる３つの多段接続分類器グループが示されているが、検知角度を増加または低減させてもよいことは、当業者に自明である。例えば、２つの多段接続分類器グループを設けて２つの検知角度に用いてもよく、４つの多段接続分類器グループを設けて４つの検知角度に用いてもよく、さらに多くの多段接続分類器グループを設けてさらに多くの検知角度に用いてもよく、ひいては、１つの多段接続分類器グループのみ設けて単一角度検知に多角度の特定物体の判断装置の１種の特殊形式として用いてもよい。
【００３０】
図１に示された従来の多角度の特定物体の判断装置と同様に、本発明の実施例の多角度の特定物体の判断装置は、全画像の処理のみならず、ウィンドウ抽出装置により得られるウィンドウ画像の処理も可能であり、いずれの画像であっても、本発明の実施例の多角度の特定物体の判断装置は、同様の方式で処理を行うことができる。また、図１に示された従来の多角度の特定物体の判断装置と同様に、本発明の実施例による多角度の特定物体の判断装置からの出力結果は、入力された画像データが特定物体に属しているか、或いは該特定物体の画像であるかの判断結果である。真（Ｔ）と判断された入力画像データは、物体検知の結果として出力することができるが、グループ化装置を用いて、元全画像における、本来は同一の特定物体の、複数の真（Ｔ）と判断されるウィンドウ画像を１つの画像にグループ化して、１つの特定物体は、１つのみの検出結果を有するようにしてもよい。
【００３１】
図１及び図２に示された多角度の特定物体の判断装置の比較から、そして前述の記載から分かるように、本発明の実施例による多角度の特定物体の判断装置は、従来の多角度の特定物体の判断装置の同一の部材と同一の機能を有しており、各分類器は、強分類器を用いており、訓練により、顔や、手や、通行人等の各種特定物体の処理を行うことができる。どのような物体で、どのような特徴で、どのような角度であっても、ジョブの処理前に事前に指定し、かつサンプルを用いて訓練を行えば、対応の分類器を得ることができ、多段接続の分類器グループを得ることができる。本発明の実施例による多角度の特定物体の判断装置の、従来の多角度の特定物体の判断装置との相違点は、多段接続の分類器グループの分類器間に自己適応姿勢予測装置２５０が設けられていることである。一部の入力画像データの姿勢とは関係ない分類器を放棄することで、大量の検知時間を節約することができ、入力画像データの姿勢に近い分類器を保留して、以後の判断に用いることで判断精度を確保することができる。図２に示された例においては、多段接続の分類器グループ２１０における分類器２１２後の分類器は、例えば、分類器２１ｎは、自己適応姿勢予測装置により、その検知角度と入力画像データの姿勢の差が大きいために以降の判断で使用放棄と判断されるため、その他の角度の入力画像データの姿勢に近い、例えば、分類器グループ２２０と２３０における分類器は、引き続き画像処理に用いられている。もちろん、具体的な実施環境に応じて、入力画像に応じて、他の角度の分類器が放棄されてもよい。ここで、自己適応姿勢予測装置２５０は、入力画像データの物体姿勢に近い検知角度の分類器の選択に用いられており、直接に入力画像データが検知対象としての特定物体に属しているかの判断を行うものではない。自己適応姿勢予測装置前の分類器により、非特定物体画像と判断された入力画像は、引継ぎ処理が行われないため、自己適応姿勢予測装置２５０に入ることはない。このため、自己適応姿勢予測装置２５０に入るためには、自己適応姿勢予測装置２５０により処理される画像データを、特定物体画像であると仮定する必要がある。
【００３２】
各多段接続の分類器グループにおいては、演算した特徴の複雑性の増加順に分類器の配列を行っており、前の方の階級の分類器から算出される特徴は比較的に簡単で、演算複雑性も低いが、階級が後の方に行くほど、分類器から算出される特徴の複雑度が増し、演算複雑性も高くなる。しかし、多段接続の分類器グループにおいては、分類器の配列はいずれの順で行ってよく、ターゲットの特徴とは何ら関係もなくてもよく、或いは特徴の他の関係に基づいてもよい。自己適応姿勢予測装置は、多段接続の分類器グループ内のいずれの位置に設けてもよく第１階級と第２階級の間、または第２階級と第３階級の間に設けてもよい。他の階級間に設けられても、入力画像データの姿勢に関係ない分類器を放棄させることができ、検知時間の節約と判断精度の向上の役割を果たすことができる。
【００３３】
図６は、本発明の実施例における自己適応姿勢予測装置の概略構成ブロック図である。自己適応姿勢予測装置２５０は、前記自己適応姿勢予測装置前の同一検知角度に対応する各分類器が算出した信頼度値を正規化して信頼度正規化値を取得する正規化演算装置２５２と、前記正規化演算装置から得られる信頼度正規化値を融合して検知角度に対応する融合値を取得する融合演算装置２５４と、融合演算装置から得られる各検知角度の融合値から、画像データの各検知角度に関する属性値を算出する姿勢予測装置２５６と、各検知角度のそれぞれの属性を所定閾値と比較し、適応性値が所定閾値以上の検知角度の該自己適応姿勢予測装置の後に位置する、画像データを進入させるための各分類器を選択し、多段接続分類器グループ選択装置２５８と、を有する。
【００３４】
自己適応姿勢予測装置２５０は、多段接続分類器グループにおける同一階級の分類器の間に位置しているため、自己適応姿勢予測装置２５０及びその構成部分である正規化演算装置２５２と融合演算装置２５４と姿勢予測装置２５６と多段接続分類器グループ選択装置２５８とも同一階級前の判断結果への予測を行い、換言すると、自己適応姿勢予測装置２５０とその構成部分により行われる各動作は、ともに同一階級前の各グループにおける分類器に対して行われるものである。
【００３５】
正規化演算装置２５２の役目は、各多段接続分類器グループにおける、自己適応姿勢予測装置２５０前の各階級の強分類器の出力データを同一測定空間に正規化することである。実行中の第ｉの多段接続分類器グループが、正規化演算装置２５２前にｍ個（ｍは自然数）の階級があり、現在第ｉの多段接続分類器グループにおける第ｊ階級の分類器への処理が行われていると仮定する（ここで、ｉとｊとも正整数の索引量）と、該分類器の演算により得られた画像データは、対応の特徴方面において対応の検知角度の特定物体に属する信頼度値は、vali,jとなる。正規化演算装置２５２は、様々なデータ正規化方法を用いることができ、例えば、最大最小化算法Min-Max、または、Z-score、MAD、Double-Sigmoid、Tanh-estimator等がある。
【００３６】
例えば、最大最小化の正規化方法を用いる場合、下記式（１）により該第ｉグループの第ｊ階級の分類器の正規化値nvali,jを算出することができる。
【数１】
【００３７】
ここで、valmax, valminは、分類器の訓練工程で得られた値である。具体的には、valmaxは、該第ｉの多段接続分類器グループに対応する検知角度の該第ｊの分類器に用いられる特徴に関して行われた訓練から得られた信頼度値中の最大値を表し、即ち、該強分類器が入力された全てのサンプルデータから取得可能な最大値を表す。valminは、該分類器に関して行われた訓練から得られた信頼度値中の最小値を表し、即ち、該強分類器が入力された全てのサンプルデータから取得可能な最小値を表している。
【００３８】
訓練で非顔サンプル画像が用いられる場合は、非顔サンプルに対して求められる信頼度値の変化範囲が比較的に大きいため、データ測定時にデータノイズが入りやすくなり、正規化結果の正確性に影響を与えてしまう。分類器の非顔サンプルへの演算から得られた分類結果となる信頼度基準が負値で、顔サンプルへの演算から得られた分類結果となる信頼度基準が正値であることから、該問題を解決するためには、前記式（１）における、valminを直接０とさせ、正確データ分布からずれるデータノイズの正規化への影響を除去することができる。このような式（１）への改善を行い、以下の正規化式（２）が得られる。
【数２】
【００３９】
正規化演算装置２５２も、例えば、Z-scoreのような正規化方法を用いることができる。この場合、下記式（３）より、該第ｉグループの第ｊ階級の分類器の正規化値nvali,jが算出される。
【数３】
【００４０】
ここで、μとσは、それぞれ該第ｉの多段接続分類器グループに対応する検知角度の該第ｊの分類器に用いられる特徴に関して行われた訓練から得られた値の、算術平均値と平均平方差である。
【００４１】
融合演算装置２５４の目的は、データ融合を行うことであり、各多段接続分類器グループの自己適応姿勢予測装置２５０前の全ての階級の強分類器の演算結果を融合し、各多段接続分類器グループに関する融合値をそれぞれ得ることができる。融合演算装置２５４は、例えば、加算規則Ｓｕｍ、乗算規則Ｐｒｏｄｕｃｔ、または、ＭＡＸ等の様々なデータによる融合方法を用いることができる。
【００４２】
例えば、融合演算装置２５４は、加算規則を用いて前の階級の強分類器の出力データの加算融合を行い、多段接続分類器における前の各階級の履歴情報を十分利用可能なだけでなく、融合の信頼性をさらに向上することができる。この場合、下記式（４）を用いて、第ｉの多段接続分類器における正規化演算装置２５２前のｍ個階級の分類器の信頼度の正規化値 nvali,jにより、融合値snvaliを求めることができる。
【数４】
【００４３】
或いは、融合演算装置２５４は、加算規則以外にも、乗算規則を用いて前の階級の強分類器の出力データの加算融合を行うことができ、下記式（５）を用いて、第ｉの多段接続分類器における正規化演算装置２５２前のｍ個階級の分類器の信頼度の正規化値nvali,jにより、融合値snvaliを求めることができる。
【数５】
姿勢予測装置２５６は、自己適応的に、融合演算装置２５４からの融合結果に応じて、該特徴物体の最適姿勢、即ち、処理される画像データにおける特定物体の実際角度を予測し、画像データにおける特定物体の角度と対応検知角度の関係に応じて、画像データの対応検知角度に関する属性度を算出し、その自己適応性は、用いた演算式が自己適応的に前の各階級の分類器のデータ分布から姿勢予測が可能なことに表されている。
【００４４】
例えば、姿勢予測装置２５６は、下記自己適応式（６）により、融合演算装置２５４から求められた第ｉの多段接続分類器における前のｍ個分類器の信頼度の融合値snvaliと、自己適応姿勢予測装置２５０に含まれる全ての検知角度の多段接続分類器における前のｍ個分類器の信頼度の融合値の最大値snavlmaxに基づき、画像データの第ｉの多段接続分類器に対応する検知角度に関する属性度値ratioi求めることができる。
【数６】
【００４５】
ここで、absは、絶対値演算を表す。
【００４６】
代替的には、姿勢予測装置２５６は、下記自己適応式（７）により、融合演算装置２５４から求められた第ｉの多段接続分類器における前のｍ個分類器の信頼度の融合値と、自己適応姿勢予測装置２５０に含まれる全ての検知角度の多段接続分類器における前のｍ個分類器の信頼度の融合値の最大値snvalmaxに基づき、画像データの第ｉの多段接続分類器に対応する検知角度に関する属性度値ratioiを求めることができる。
【数７】
【００４７】
多段接続分類器グループ選択装置２５８は、複数の検知角度から最適な１つまたは複数の検知角度を選択して後の階級の物体識別判断に用いており、換言すると、画像データにおける特定物体の角度の、ある検知角度に関する属性度が低すぎると、以降の階級の判断に該検知角度の分類器を再度使用しない。
【００４８】
各検知角度の分類器への選択工程において、予め定義された閾値ｔｈｒを用いて姿勢予測装置２５６の各角度のために算出した属性度が多段接続分類器グループ選択装置２５８を通過可能か否かの判断が行われる。例えば、下記式（８）を用いて、第ｉの多段接続分類器グループを選択するか否かの判断が行われる。ratioiが所定閾値ｔｈｒ以上であると、選択結果ｒｅｓを１とし、自己適応姿勢予測装置２５０後に引き続き第ｉの多段接続分類器グループの分類器を用いることを表し、ratioiが所定閾値ｔｈｒ未満であると、選択結果ｒｅｓを０とし、自己適応姿勢予測装置２５０後に第ｉの多段接続分類器グループの分類器を用いないことを表している。
【数８】
もちろん、前記判断基準は、ratioiが所定閾値ｔｈｒを超えると、選択結果ｒｅｓを１とし、rarioiが所定閾値ｔｈｒ未満であると、選択結果ｒｅｓを０とするように変えてもよい。
【００４９】
ここで、閾値ｔｈｒ判断は、一定量のサンプルデータを用いて訓練により得られ、該閾値は、訓練サンプルデータの集合における大半のプラスサンプルが、前記演算により得られる前記属性値が該閾値を超えることを保証することで判断が行われるように、決められている。例えば、顔画像サンプルにおける９５％を保証すると、顔データと判断してもよく、顔画像サンプルにおける８０％、９０％等の高い比率を保証する顔データを顔データとして判断するように該閾値を決めてもよい。
【００５０】
図７Ａ、７Ｂは、自己適応姿勢予測装置の属性値による多段接続分類器グループの選択を例示した図である。図７Ａ、７Ｂにおいて、５つの検知角度に対応する５つの多段接続分類器グループを用いており、各多段接続分類器グループは図面における１つの柱に対応し、柱の高さは、対応多段接続分類器グループの前記演算から得られた属性値を表しており、破線フレームで囲まれた部分は、対応検知角度の選択を表している。図７Ａの実施例において、第４の多段接続分類器グループの属性値は、他の検知角度の属性値よりも明らかに高くなっており、第４の多段接続分類器グループの属性値だけが所定閾値を超えているため、該検知角度のみが選択され判断が行われている。図７Ｂの実施例において、第３と第４の多段接続分類器グループの属性値とも、所定閾値を超えているため、両方とも選択され判断が行われている。
【００５１】
図８は、正面顔画像の入力の場合の、異なる階級の異なる検知角度の分類器により判断された非顔の数を例示した図である。図８において、Ｉ、ＩＩ、ＩＩＩは、それぞれ第１階級、第２階級、第３階級を表しており、数字１、２、３、４、５は、それぞれ５つの検知角度を表しており、１が正面Ｆの検知角度で、２、３のそれぞれの検知角度が、ある２つの面外回転ＲＯＰの検知角度であり、４、５のそれぞれの検知角度が、ある２つの面内回転ＲＩＰの角度であり、柱の高さは、入力が正面顔画像の場合のそれを非顔と判断した分類器数を表している。ここで注目すべきことは、図８の実験においては、自己適応姿勢予測装置を用いていないことである。入力が正面顔画像の場合、各階級とも、検知角度が面内回転ＲＩＰの角度である分類器による判断が非顔となるケースが多く、検知角度が面外回転ＲＯＰの角度である分類器による判断が非顔となるケースが明らかに少なくなり、殆ど検知角度が正面の分類器を通過することができた。これから分かるように、異なる角度の分類器により検知可能な姿勢間には、一定の重畳領域がある。そして、これが、本発明の実施例による自己適応姿勢予測装置２５０を用いることにより、図７Ｂに示されるように、異なる角度の多段接続分類器グループを選択可能な理由である。
【００５２】
図９は、本発明の実施例における自己適応姿勢予測装置が用いられた場合の、それ以降の隣接する階級における分類器の使用時への影響の例を示した図である。図９において、数字１、２、３は、それぞれ３回の実験で１つの自己適応予測装置２５０の挿入位置がそれぞれ第１階級と第２階級の間、第２階級と第３階級の間、第３階級と第４階級の間であることを示している。図９に示されているのは、検知角度が正面の多段接続分類器グループの場合であり、入力も一定数の正面顔のサンプル画像であり、各挿入位置に対応する２つの柱は、自己適応姿勢予測装置後の隣接するそれぞれの階級（左から右へ、第２、３、４階級に対応）で分類判断を行う回数と、自己適応姿勢予測装置がない場合の、該階級で分類判断を行う回数の比較であり、各挿入位置に対応する２つの柱のうちの左側は、自己適応姿勢予測装置２５０の挿入前の状況で、右側が挿入後の状況を示している。図９から分かるように、自己適応姿勢予測装置の挿入前の階級で行う分類判断は、自己適応姿勢予測装置２５０の挿入後の該階級でも殆ど保留されて行われており、換言すると、自己適応姿勢予測装置２５０の挿入後の場合、本来使用すべき分類器が殆ど保留され、分類判断を行うため、自己適応姿勢予測装置２５０により誤って放棄されるケースが極めて少ないことが分かる。誤放棄の原因は、実際の場合の正面顔のサンプル画像は殆ど理想の正面と微小な角度をなしているため、自己適応姿勢予測装置２５０により他の角度に属していると判断されていることにあるが、このような画像は、実践においては、依然として他の検知角度の多段接続分類器グループの判断を経ることができる。換言すると、自己適応姿勢予測装置の加入により一定検知角度の多段接続分類器グループが放棄されても、装置の判断と検知精度には影響を及ぼしていない。
【００５３】
図１０は、本発明の実施例における自己適応姿勢予測装置２５０を用いた場合と、用いない場合の、ある階級分類器による判断後の入力画像データ数の、次の階級に入るべき最多検知角度数に関する分布の比較例である。図１０の実験においては、第２階級と第３階級の間に自己適応姿勢予測装置２５０を加入している。図１０の横軸は、第２階級の分類器により判断後の入力画像データが最大第３階級の幾つの検知角度の分類器に入るかを反映し、数字１、２、３、４、５はそれぞれ、入力画像データが最大第３階級の１、２、３、４、５つの検知角度の分類器に入ることを示している。各検知角度数に対応する２つの柱は、それぞれ自己適応姿勢予測装置２５０を用いない場合と自己適応姿勢予測装置２５０を用いる場合の、最大対応数の検知角度の分類器に入る入力画像データ数を表している。図１０から分かるように、自己適応姿勢予測装置２５０を用いない、図１のような従来の多角度の特定物体の判断装置においては、入力画像の殆どが、第３階級の３または４つにもなる検知角度の分類器に入る。これに対し、自己適応姿勢予測装置を用いる、図２のような本発明の実施例による多角度の特定物体の判断装置においては、入力画像の殆どが、第３階級の１または２つの検知角度の分類器のみに入り、特に大量の画像が１つの検知角度の分類器のみに入ることで、以降の階級の演算量を減らすことができ、判断検知速度を向上することができる。各多段接続分類器が、特徴演算複雑性が階級の深度に応じて大きくなるように設定される場合は、該性能はより顕著になる。
【００５４】
図１０の実験においては、５つの多段接続分類器グループを用いており、５００個の入力画像データを用いている。各入力画像データに対しては、５つの第１階級の分類器があるため、最初階級には、合計２５００個の分類器の演算量がある。３つの階級後に、自己適応姿勢予測装置２５０を加入していない場合、残りの全階級は、１７４９回の分類器の演算を行う必要があるが、自己適応姿勢予測装置２５０を加入した場合は、残りの全階級は、１０８２回の分類器の演算を行うことになる。換言すると、以降の階級の演算においては、４０％の時間を自己適応姿勢予測装置２５０の加入により省略することができ、検知の速度を高速化することができる。
【００５５】
更に、多角度の特定物体検出方法も提供される。多角度の特定物体検出方法は、画像データを入力する前記入力装置による入力ステップと、複数の多段接続分類器グループによる複数の並列の分類ステップと、自己適応姿勢予測装置による自己適応姿勢予測ステップが含まれている多角度の特定物体の判断方法として実施することができる。ここで、前記複数の多段接続分類器グループによる複数の並列の分類ステップは、複数の同一検知角度に対応するサブ分類ステップから順次構成され、各分類器による各サブ分類ステップは、異なる特徴に対応し、画像データが対応特徴面で対応検知角度の特定物体である信頼度値を算出する、並列の分類ステップを複数有し、信頼度に基づいて該画像データが特定物体であるか否かを判断する。また、前記自己適応姿勢予測装置による自己適応姿勢予測ステップでは、分類ステップのサブ分類ステップ間に、自身のステップ前にある同一検知角度に対応する各サブ分類ステップで算出した信頼度値に基づいて、画像データに対して自身のステップ後の該検知角度の各サブ分類ステップを行うか否かを判断する。
【００５６】
また、前記自己適応姿勢予測ステップが、前記自己適応姿勢予測ステップ前の同一検知角度に対応する各サブ分類ステップで算出した信頼度値を正規化して信頼度正規化値を取得する前記正規化演算装置による正規化演算ステップと、前記正規化演算ステップから得られる信頼度正規化値を融合して検知角度に対応する融合値を取得する前記融合演算装置による融合演算ステップと、融合演算ステップから得られる各検知角度の融合値から、画像データの各検知角度に関する属性値を算出する前記姿勢予測装置による姿勢予測ステップと、各検知角度のそれぞれの属性を所定閾値と比較し、適応性値が所定閾値以上の検知角度の該自己適応姿勢予測ステップ後の各サブ分類ステップを選択し、画像処理を行う前記分類ステップ選択装置による分類ステップ選択ステップと、を含んでいる。
【００５７】
ここで、分類ステップにおいて、特徴の複雑性の増加順に分類ステップにおけるサブ分類ステップの配列を行っている。また、各分類ステップにおける同一の配列順のサブ分類ステップを、同一階級のステップとし、前記自己適応姿勢予測ステップは、第１階級と第２階級の間、または第２階級と第３階級の間で行われている。
【００５８】
明細書における一連の操作は、ハードウェア、ソフトウェアや、ハードウェアとソフトウェアの組み合わせにより行うことができる。ソフトウェアにより一連の操作を行う場合は、その中のコンピュータプログラムを専用のハードウェアを内蔵したコンピュータの記憶装置にインストールし、コンピュータに該コンピュータプログラムを実行させることができる。あるいは、コンピュータプログラムを多様な種類の処理が実行可能な汎用コンピュータにインストールし、該コンピュータにコンピュータプログラムを実行させることができる。
【００５９】
例えば、コンピュータプログラムを予め記録媒体であるハードディスクやＲＯＭ等に記憶しておいてもよく、一時的に或いはいは永久的にフロッピディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ディスク、半導体メモリ等の移動可能な記録媒体に、コンピュータプログラムを記憶しておいてもよい。このような移動可能な記録媒体は、パッケージソフトウェアとして提供することができる。
【００６０】
以上のように、具体的な実施例により本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内で、当業者は、実施例に対して、様々な変更と代替を行うことが可能なことは、言うまでもない。言い換えれば、本発明は説明形式で開示されているが、限定的に解釈されてはならない。本発明の要旨は、添付された請求範囲により判断されるべきである。
【産業上の利用可能性】
【００６１】
本発明は、顔検知等の特定物体検知を行う撮像装置等の画像処理装置全般に利用することができる。
【符号の説明】
【００６２】
１００、２００ 入力装置
１１０、１２０、１３０、２１０、２２０、２３０ 多段接続分類器グループ
１１１〜１１ｎ、１２１〜１２ｎ、１３１〜１３ｎ、２１１〜２１ｎ、２２１〜２２ｎ、２３１〜２３ｎ 分類器
２５０ 自己適応姿勢予測装置
２５２ 正規化演算装置
２５４ 融合演算装置
２５６ 姿勢予測装置
２５８ 多段接続分類器グループ選択装置
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】米国特許第７，３２４，６７１号明細書
【特許文献２】米国特許第７，４５７，４３２号明細書
【特許文献３】国際特許公開２００８／１５１４７０号公報
【特許請求の範囲】
【請求項１】
画像データを入力する入力装置と、
複数の多段接続分類器グループと、を有し、各々の多段接続分類器は、複数の同一検知角度に対応する分類器が多段接続されて構成され、各分類器は、異なる特徴に対応し、画像データがそれぞれの特徴の面でそれぞれの検知角度の特定物体である信頼度を算出し、該信頼度に基づいて該画像データが特定物体であるか否かを判断する、多角度の特定物体の判断装置において、
多段接続分類器グループの分類器間には、自身の前にある同一検知角度に対応する各分類器が算出した前記信頼度から、画像データが該検知角度の自身の後に位置する各分類器に入るか否かを判断する、自己適応姿勢予測装置が設けられている多角度の特定物体の判断装置。
【請求項２】
請求項１に記載の多角度の特定物体の判断装置において、
前記自己適応姿勢予測装置が、
前記自己適応姿勢予測装置前の同一検知角度に対応する各分類器が算出した信頼度値を正規化して信頼度正規化値を取得する正規化演算装置と、
前記正規化演算装置から得られる信頼度正規化値を融合して検知角度に対応する融合値を取得する融合演算装置と、
融合演算装置から得られる各検知角度の融合値から、画像データの各検知角度に関する属性値を算出する姿勢予測装置と、
各検知角度のそれぞれの該属性値を所定閾値と比較し、適応性値が所定閾値以上の検知角度の該自己適応姿勢予測装置の後に位置する、画像データの入力のための各分類器を選択する多段接続分類器グループ選択装置と、を有する多角度の特定物体の判断装置。
【請求項３】
請求項１に記載の多角度の特定物体の判断装置において、
特徴の複雑性の増加順に多段接続分類器グループにおける各分類器の配列を行う多角度の特定物体の判断装置。
【請求項４】
請求項３に記載の多角度の特定物体の判断装置において、
各多段接続分類器グループにおける同一の配列位置の分類器を、同一階級のものとし、前記自己適応姿勢予測装置は、第１階級と第２階級の間、または第２階級と第３階級の間に位置する多角度の特定物体の判断装置。
【請求項５】
請求項１に記載の多角度の特定物体の判断装置において、
前記特定物体が、人の顔である、多角度の特定物体の判断装置。
【請求項６】
請求項１に記載の多角度の特定物体の判断装置において、
前記分類器が、強分類器である、多角度の特定物体の判断装置。
【請求項７】
画像データを入力する入力ステップと、
複数の並列の分類ステップと、を有し、各々の分類ステップが、複数の同一検知角度に対応するサブ分類ステップから順次構成され、各サブ分類ステップは、異なる特徴に対応し、各サブ分類ステップにおいて、画像データがそれぞれの特徴面でそれぞれの検知角度の特定物体である信頼度を算出し、該信頼度に基づいて該画像データが特定物体であるか否かを判断する、多角度の特定物体の判断方法において、
分類ステップのサブ分類ステップ間には、自身のステップ前にある同一検知角度に対応する各サブ分類ステップで算出した前記信頼度から、画像データに対して自身のステップ後の該検知角度の各サブ分類ステップを行うか否かを判断する、自己適応姿勢予測ステップが設けられている多角度の特定物体の判断方法。
【請求項８】
請求項７に記載の多角度の特定物体の判断方法において、
前記自己適応姿勢予測ステップが、
前記自己適応姿勢予測ステップ前の同一検知角度に対応する各サブ分類ステップで算出した信頼度値を正規化して信頼度正規化値を取得する正規化演算ステップと、
前記正規化演算ステップから得られる信頼度正規化値を融合して検知角度に対応する融合値を取得する融合演算ステップと、
融合演算ステップから得られる各検知角度の融合値から、画像データの各検知角度に関する属性値を算出する姿勢予測ステップと、
各検知角度のそれぞれの該属性値を所定閾値と比較し、適応性値が所定閾値以上の検知角度の該自己適応姿勢予測ステップ後の各サブ分類ステップを選択し、画像データの処理を行う分類ステップ選択ステップと、を有する多角度の特定物体の判断方法。
【請求項９】
請求項７に記載の多角度の特定物体の判断方法において、
特徴の複雑性の増加順に分類ステップにおける各サブ分類ステップの配列を行う多角度の特定物体の判断方法。
【請求項１０】
請求項９に記載の多角度の特定物体の判断方法において、
各分類ステップにおける同一の配列順のサブ分類ステップを、同一階級のステップとし、前記自己適応姿勢予測ステップは、第１階級と第２階級の間、または第２階級と第３階級の間で行われる多角度の特定物体の判断方法。
【請求項１】
画像データを入力する入力装置と、
複数の多段接続分類器グループと、を有し、各々の多段接続分類器は、複数の同一検知角度に対応する分類器が多段接続されて構成され、各分類器は、異なる特徴に対応し、画像データがそれぞれの特徴の面でそれぞれの検知角度の特定物体である信頼度を算出し、該信頼度に基づいて該画像データが特定物体であるか否かを判断する、多角度の特定物体の判断装置において、
多段接続分類器グループの分類器間には、自身の前にある同一検知角度に対応する各分類器が算出した前記信頼度から、画像データが該検知角度の自身の後に位置する各分類器に入るか否かを判断する、自己適応姿勢予測装置が設けられている多角度の特定物体の判断装置。
【請求項２】
請求項１に記載の多角度の特定物体の判断装置において、
前記自己適応姿勢予測装置が、
前記自己適応姿勢予測装置前の同一検知角度に対応する各分類器が算出した信頼度値を正規化して信頼度正規化値を取得する正規化演算装置と、
前記正規化演算装置から得られる信頼度正規化値を融合して検知角度に対応する融合値を取得する融合演算装置と、
融合演算装置から得られる各検知角度の融合値から、画像データの各検知角度に関する属性値を算出する姿勢予測装置と、
各検知角度のそれぞれの該属性値を所定閾値と比較し、適応性値が所定閾値以上の検知角度の該自己適応姿勢予測装置の後に位置する、画像データの入力のための各分類器を選択する多段接続分類器グループ選択装置と、を有する多角度の特定物体の判断装置。
【請求項３】
請求項１に記載の多角度の特定物体の判断装置において、
特徴の複雑性の増加順に多段接続分類器グループにおける各分類器の配列を行う多角度の特定物体の判断装置。
【請求項４】
請求項３に記載の多角度の特定物体の判断装置において、
各多段接続分類器グループにおける同一の配列位置の分類器を、同一階級のものとし、前記自己適応姿勢予測装置は、第１階級と第２階級の間、または第２階級と第３階級の間に位置する多角度の特定物体の判断装置。
【請求項５】
請求項１に記載の多角度の特定物体の判断装置において、
前記特定物体が、人の顔である、多角度の特定物体の判断装置。
【請求項６】
請求項１に記載の多角度の特定物体の判断装置において、
前記分類器が、強分類器である、多角度の特定物体の判断装置。
【請求項７】
画像データを入力する入力ステップと、
複数の並列の分類ステップと、を有し、各々の分類ステップが、複数の同一検知角度に対応するサブ分類ステップから順次構成され、各サブ分類ステップは、異なる特徴に対応し、各サブ分類ステップにおいて、画像データがそれぞれの特徴面でそれぞれの検知角度の特定物体である信頼度を算出し、該信頼度に基づいて該画像データが特定物体であるか否かを判断する、多角度の特定物体の判断方法において、
分類ステップのサブ分類ステップ間には、自身のステップ前にある同一検知角度に対応する各サブ分類ステップで算出した前記信頼度から、画像データに対して自身のステップ後の該検知角度の各サブ分類ステップを行うか否かを判断する、自己適応姿勢予測ステップが設けられている多角度の特定物体の判断方法。
【請求項８】
請求項７に記載の多角度の特定物体の判断方法において、
前記自己適応姿勢予測ステップが、
前記自己適応姿勢予測ステップ前の同一検知角度に対応する各サブ分類ステップで算出した信頼度値を正規化して信頼度正規化値を取得する正規化演算ステップと、
前記正規化演算ステップから得られる信頼度正規化値を融合して検知角度に対応する融合値を取得する融合演算ステップと、
融合演算ステップから得られる各検知角度の融合値から、画像データの各検知角度に関する属性値を算出する姿勢予測ステップと、
各検知角度のそれぞれの該属性値を所定閾値と比較し、適応性値が所定閾値以上の検知角度の該自己適応姿勢予測ステップ後の各サブ分類ステップを選択し、画像データの処理を行う分類ステップ選択ステップと、を有する多角度の特定物体の判断方法。
【請求項９】
請求項７に記載の多角度の特定物体の判断方法において、
特徴の複雑性の増加順に分類ステップにおける各サブ分類ステップの配列を行う多角度の特定物体の判断方法。
【請求項１０】
請求項９に記載の多角度の特定物体の判断方法において、
各分類ステップにおける同一の配列順のサブ分類ステップを、同一階級のステップとし、前記自己適応姿勢予測ステップは、第１階級と第２階級の間、または第２階級と第３階級の間で行われる多角度の特定物体の判断方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１６５１８８（Ｐ２０１１−１６５１８８Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１１−２４２９４（Ｐ２０１１−２４２９４）
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]