学習装置および方法、並びにプログラム
【課題】より高速に高精度な識別器を得ることができるようにする。
【解決手段】特徴量計算部は、学習画像の各特徴点から特徴量を抽出する。取得部は、既に学習により得られた識別器を転移識別器として取得する。識別器生成部は、転移識別器を構成する弱識別器に特徴量を代入し、それらの弱識別器の識別結果と学習画像の重みとに基づいて弱識別器の誤り率を算出するとともに、誤り率が最小となる弱識別器を選択する処理を複数回、繰り返し行う。また、識別器生成部は、選択した複数の弱識別器を線形結合することで、検出対象を検出するための識別器を生成する。本発明は、学習装置に適用することができる。
【解決手段】特徴量計算部は、学習画像の各特徴点から特徴量を抽出する。取得部は、既に学習により得られた識別器を転移識別器として取得する。識別器生成部は、転移識別器を構成する弱識別器に特徴量を代入し、それらの弱識別器の識別結果と学習画像の重みとに基づいて弱識別器の誤り率を算出するとともに、誤り率が最小となる弱識別器を選択する処理を複数回、繰り返し行う。また、識別器生成部は、選択した複数の弱識別器を線形結合することで、検出対象を検出するための識別器を生成する。本発明は、学習装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は学習装置および方法、並びにプログラムに関し、特に、より高速に高精度な識別器を得ることができるようにした学習装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、手形状検出器のような多クラス物体認識器の学習には、各手形状について大量の学習画像が必要となるが、大量の学習画像を用いると学習に時間がかかってしまう。そこで、すでに得られている知識を転移させることにより学習時間を削減する転移学習が提案されている（例えば、非特許文献１および非特許文献２参照）。
【０００３】
また、近年、転移学習を用いた物体認識システムも提案されてきている（例えば、非特許文献３乃至非特許文献５参照）。
【０００４】
これらの物体認識システムでは、物体が小さなパーツで表現され、そのパーツの見えの分布と位置の分布が学習され、さらに既知クラスの分布を転移することで未知なクラスの学習が行なわれる。また、物体認識システムではベイズ推定の枠組みが用いられており、１または複数という少数のサンプルからの学習にフォーカスされている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】L. Torrey and J. Shavlik. 「Transfer Learning」 In E. Soria, J. Martin, R. Magdalena, M. Martinez and A. Serrano, editors, Handbook of Research on Machine Learning Applications, IGI Global 2009
【非特許文献２】Sinno Jialin Pan and Qiang Yang.「A Survey on Transfer Learning」 IEEE Transactions on Knowledge and Data Engineering, VOL22,No.10,p1345-1359, Oct. 2010
【非特許文献３】L. Fei-Fei, R. Fergus and P. Perona. 「One-Shot learning of object categories」 IEEE Trans. Pattern Analysis and Machine Intelligence, Vol28, No.4, p594 - 611, 2006.
【非特許文献４】E. Bart, S. Ullman, 「Cross-generalization: learning novel classes from a single example by feature replacement」, in Proc. CVPR, 2005
【非特許文献５】「A Shape-Based Object Class Model for Knowledge Transfer」 M. Stark, M. Goesele and B. Schiele, Twelfth IEEE International Conference on Computer Vision (ICCV), 2009, Kyoto, Japan, (2009)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術では、実世界でのロバストな物体検出には多くの学習サンプルがないと、充分な性能を得ることができなかった。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、より高速に高精度な識別器を得ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の第１の側面の学習装置は、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部とを備える。
【０００９】
学習装置には、前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部とをさらに設け、前記識別器生成部には、前記誤り率に基づいて前記弱識別器を選択させることができる。
【００１０】
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられるようにすることができる。
【００１１】
前記識別器生成部により生成される前記識別器を、ツリー構造の識別器を構成する識別器とし、前記転移識別器を、前記ツリー構造の識別器のリーフを構成する識別器とすることができる。
【００１２】
本技術の第１の側面の学習方法またはプログラムは、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成するステップを含む。
【００１３】
本技術の第１の側面においては、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量が抽出され、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果が算出され、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器が用いられて、前記検出対象を検出するための識別器が生成される。
【００１４】
本技術の第２の側面の学習装置は、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成する弱識別器設定部と、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部とを備える。
【００１５】
学習装置には、前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部とをさらに設け、前記識別器生成部には、前記誤り率に基づいて前記弱識別器を選択させることができる。
【００１６】
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられるようにすることができる。
【００１７】
前記識別器生成部により生成される前記識別器を、ツリー構造の識別器を構成する識別器とし、前記転移識別器を、前記ツリー構造の識別器のリーフを構成する識別器とすることができる。
【００１８】
本技術の第２の側面の学習方法またはプログラムは、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成し、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成するステップを含む。
【００１９】
本技術の第２の側面においては、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量が抽出され、前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器が生成され、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果が算出され、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器が用いられて、前記検出対象を検出するための識別器が生成される。
【発明の効果】
【００２０】
本技術の第１の側面および第２の側面によれば、より高速に高精度な識別器を得ることができる。
【図面の簡単な説明】
【００２１】
【図１】本技術の概要を説明する図である。
【図２】パラメータの転移による学習について説明する図である。
【図３】特徴量の転移による学習について説明する図である。
【図４】手形状識別システムの一実施の形態の構成例を示す図である。
【図５】識別器生成部の構成例を示す図である。
【図６】転移学習処理を説明するフローチャートである。
【図７】パラメータの転移による学習の効果について説明する図である。
【図８】識別処理を説明するフローチャートである。
【図９】学習装置の他の構成例を示す図である。
【図１０】識別器生成部の構成例を示す図である。
【図１１】転移学習処理を説明するフローチャートである。
【図１２】識別器の設定について説明する図である。
【図１３】識別器の設定について説明する図である。
【図１４】特徴量の転移による学習の効果について説明する図である。
【図１５】ツリー構造の識別器について説明する図である。
【図１６】認識装置の構成例を示す図である。
【図１７】識別処理を説明するフローチャートである。
【図１８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２３】
〈本技術の概要〉
本技術はブースティングによる転移学習により、検出対象の物体を認識するのに用いられる識別器を生成するものである。検出対象の物体は人や顔など、どのような物体であってもよいが、以下では検出対象が人の手、特に所定形状の手である場合を例として説明する。
【００２４】
例えば、多形状の手検出は画像認識タスクのなかでも困難な問題である。これは、手の形状変化により、画像上でパターン（手の見え方）が大きく変化するため、それぞれの手形状クラスをモデル化することが困難になるからである。加えて画像認識一般の問題として、照明の変化や一部分の隠れ、視点の変化、背景の複雑性などにより、特に実世界でのロバストな認識は難しいとされている。また、多くの形状に対応するために、各手形状について多くの学習サンプルを用意しなければならない。
【００２５】
本技術による手形状検出の転移学習は、例えば図１に示すように、既に学習により得られている知識を利用して、他の手形状の新たな学習を行なうものであり、多形状の手検出などに利用可能である。
【００２６】
例えば、矢印Ａ１１に示すように、手形状としてじゃんけんで用いられるグー，チョキ，パーの各手形状の識別器が、既に大量の学習サンプルが用いられて学習されているとする。ここで、グーとは全ての指を閉じた手の状態であり、チョキとは人差し指と中指を開き残りの指を閉じた手の状態であり、パーとは全ての指を開いた手の状態である。
【００２７】
このようないくつかの手形状を検出するための識別器がある場合に、指差ししている手の形状、例えば人差し指のみを開いている手の形状を検出するための識別器を学習により得ようとするとき、既に得られている手形状の識別器が学習に用いられる。
【００２８】
すなわち、グー，チョキ，パーの各手形状の識別器と、矢印Ａ１２に示す指差しの手形状の学習用の画像とが用いられてブースティングによる転移学習が行なわれ、矢印Ａ１３に示す指差しの手形状を検出するための識別器が生成される。
【００２９】
ここで、既に得られている識別器での検出対象と、新たに生成される識別器での検出対象はともに同じ被写体（手）であり、それらの識別器で検出される手の形状や向きなど、被写体の態様のみが異なる。例えば、グーと指差しの手形状では、開いた人差し指の部分のみの形状が異なり、閉じられている指の部分など、他の多くの部分は類似した形状となっている。そこで、グーの手形状の識別器の学習で得られている知識を、指差しの手形状の識別器の学習に利用すれば、より迅速に高精度な識別器を得ることができる。
【００３０】
このようにして得られる識別器は、複数の弱識別器から構成される。例えば、弱識別器は、次式（１）に示すように画像の所定領域から抽出された特徴量を代入すると、その所定領域が検出対象らしいか否かの判別結果を出力する関数である。
【００３１】
ｆn（ｘ）＝ａn×ｇ（ｘ＞ｔｈｗn）＋ｂn ・・・（１）
【００３２】
なお、式（１）においてａnおよびｂnは定数である。また、ｇ（ｘ＞ｔｈｗn）は、特徴量ｘが閾値ｔｈｗnより大きい場合、所定領域が検出対象らしいことを示す数値「１」を出力し、特徴量ｘが閾値ｔｈｗn以下である場合、所定領域が検出対象らしくないことを示す数値「０」を出力する関数である。したがって、ｆn（ｘ）＝ａn＋ｂnである場合、所定領域は検出対象らしく、ｆn（ｘ）＝ｂnである場合、所定領域は検出対象らしくないとの判別がなされる。
【００３３】
このような弱識別器ｆn（ｘ）から構成される識別器Ｆ（ｘ）は、例えば次式（２）で表される。
【００３４】
Ｆ（ｘ）＝Σｆn（ｘ） ・・・（２）
【００３５】
すなわち、識別器Ｆ（ｘ）はＮ個の弱識別器ｆ1（ｘ）乃至ｆN（ｘ）の和となる。また、識別器Ｆ（ｘ）の出力値が所定の閾値ｔｈより大きい場合、画像中に検出対象があるとされ、識別器Ｆ（ｘ）の出力値が閾値ｔｈ以下である場合、画像中に検出対象がないとされる。
【００３６】
新たな識別器Ｆ（ｘ）を、既に得られた他の識別器を用いたブースティングによる転移学習で生成する場合、次の２つの手法が考えられる。
【００３７】
（手法１）他の識別器からパラメータを転移させて学習を行なう手法
（手法２）他の識別器から特徴量を転移させて学習を行なう手法
【００３８】
例えば、手法１のパラメータを転移させる学習では、図２に示すように既に学習により得られているグーを検出する識別器Ｆ１１を構成する弱識別器と、チョキを検出する識別器Ｆ１２を構成する弱識別器とから、指差しの手を検出する識別器Ｆ１３が生成される。
【００３９】
図２の例では、識別器Ｆ１１は４つの弱識別器ｆ１１乃至弱識別器ｆ１４から構成されており、識別器Ｆ１２は４つの弱識別器ｆ１５乃至弱識別器ｆ１８から構成されている。転移学習では、これらの８つの弱識別器ｆ１１乃至弱識別器ｆ１８のなかから、指差しの手形状を検出するのに適したいくつかの弱識別器が選択され、それらの選択された弱識別器が線形結合されて識別器Ｆ１３とされる。ここでは識別器Ｆ１３は、４つの弱識別器ｆ１１、弱識別器ｆ１３、弱識別器ｆ１７、および弱識別器ｆ１８から構成されている。
【００４０】
例えば識別器Ｆ１３を構成する弱識別器ｆ１１は、グーを検出する識別器Ｆ１１を構成する弱識別器のうち、グーの閉じられた小指の部分から抽出された特徴量を用いて、グーらしさを判別する弱識別器などとされる。また、例えば識別器Ｆ１３を構成する弱識別器ｆ１７は、チョキを検出する識別器Ｆ１２を構成する弱識別器のうち、チョキの開かれた人差し指の部分から抽出された特徴量を用いて、チョキらしさを判別する弱識別器などとされる。
【００４１】
このように、閉じられた小指の部分や開かれた人差し指の部分など、新たに生成しようとする識別器の検出対象と共通（類似）する部位について、検出対象らしさを判別する弱識別器を適切に組み合わせれば、より簡単に高精度な識別器を得ることができる。
【００４２】
なお、ブースティングによる学習とは、弱識別器と呼ばれる単体では弱い識別器を多数集めることで、１つの強い識別器を構成する学習方法であり、学習で得られた識別器は、高速な物体検出システムによく利用される。このようなブースティングとして、アダブーストなどが知られている。また、ブースティングによる学習は、例えば「Paul Viola & Michael Jones, “Robust real-time Object Detection”, International Journal of Computer Vision 2001」などに詳細に記載されている。
【００４３】
これに対して、上述した手法２の特徴量を転移させる学習では、図３に示すように既に学習により得られているグーを検出する識別器Ｆ２１を構成する弱識別器の特徴量と、チョキを検出する識別器Ｆ２２を構成する弱識別器の特徴量とが用いられて学習が行なわれる。
【００４４】
すなわち、識別器Ｆ２１は４つの弱識別器から構成されており、識別器Ｆ２１では画像から特徴量ｔ１１乃至特徴量ｔ１４が抽出されて、それらの特徴量が各弱識別器に代入される。また、識別器Ｆ２２は４つの弱識別器から構成されており、識別器Ｆ２２では画像から特徴量ｔ１５乃至特徴量ｔ１８が抽出されて、それらの特徴量が各弱識別器に代入される。
【００４５】
指差しの手形状を検出する識別器Ｆ２３の転移学習では、これらの８つの特徴量ｔ１１乃至特徴量ｔ１８のなかから、指差しの手形状を検出するのに適したいくつかの特徴量が選択され、選択された特徴量から弱識別器が生成される。つまり、指差しの手形状の検出に適した特徴量が用いられて、弱識別器を構成する式（１）の定数ａn，ｂnや閾値ｔｈｗn等のパラメータが学習し直される。
【００４６】
図３の例では、特徴量ｔ１１、特徴量ｔ１６、特徴量ｔ１３、および特徴量ｔ１８が選択され、それらの特徴量から弱識別器ｆ２１乃至弱識別器ｆ２４が生成されている。具体的には、例えば学習に用いられるサンプルとしての複数の学習画像における、特徴量ｔ１１の抽出位置と同じ位置から、特徴量ｔ１１の抽出と同じ方法で特徴量が抽出され、抽出された特徴量が用いられて弱識別器ｆ２１が生成される。つまり、より詳細には特徴量ｔ１１は、指差しの手形状を検出するのに適した特徴量の抽出位置と抽出方法を示している。選択された特徴量に基づいて弱識別器ｆ２１乃至弱識別器ｆ２４が得られると、これらの弱識別器が線形結合されて識別器Ｆ２３とされる。
【００４７】
図３に示す転移学習では、既に得られた他の識別器の弱識別器に代入される特徴量のうち、指差しの手形状を検出するのに適した抽出位置と抽出方法の特徴量が用いられて、新たな識別器が生成される。
【００４８】
次に、手法１のパラメータを転移させる学習、および手法２の特徴量を転移させる学習の順番で、具体的な実施の形態について説明する。
【００４９】
〈第１の実施の形態〉
［手形状識別システムの構成例］
図４は、手法１のパラメータを転移させる学習を行なう場合における、手形状識別システムの一実施の形態の構成例を示す図である。
【００５０】
この手形状識別システムは、学習装置１１、識別器記録部１２、および認識装置１３からなり、入力された画像から、検出対象（対象物体）としての特定の形状の手を検出するものである。
【００５１】
学習装置１１は、入力された学習画像に基づいて、認識装置１３において画像上の検出対象の有無を識別する処理を行うときに用いられる、識別用特徴量および識別器を生成し、識別器記録部１２に記録させる。認識装置１３は、識別器記録部１２に記録されている識別用特徴および識別器を用いて、入力された入力画像に検出対象が存在するか否かを識別し、その識別結果を出力する。
【００５２】
学習装置１１は、特徴点抽出部２１、特徴量計算部２２、取得部２３、および識別器生成部２４から構成される。
【００５３】
特徴点抽出部２１は、入力された学習画像から、識別器を生成するときに用いられる特徴点を抽出し、抽出した特徴点と学習画像とを特徴量計算部２２に供給する。特徴量計算部２２は、特徴点抽出部２１からの学習画像に基づいて、各特徴点の特徴量を計算し、求められた特徴量と学習画像とを識別器生成部２４に供給する。
【００５４】
取得部２３は、外部の装置等から、検出対象となる物体がこれから生成しようとする識別器の検出対象と同じであるが、検出対象となる物体の態様が異なるいくつかの識別器（以下、転移識別器と称する）を取得し、識別器生成部２４に供給する。
【００５５】
識別器生成部２４は、特徴量計算部２２から供給された学習画像および特徴量と、取得部２３から供給された転移識別器とに基づいて、例えばアダブーストによる転移学習処理を行い、検出対象を認識する識別器を生成する。また、識別器生成部２４は、生成した識別器を用いて検出対象の認識を行うときに用いられる特徴点の特徴量を、識別用特徴量として、識別器および識別用特徴量を識別器記録部１２に供給し、記録させる。
【００５６】
また、認識装置１３は、特徴点抽出部３１、特徴量計算部３２、識別計算部３３、および識別結果出力部３４から構成される。なお、認識装置１３の特徴点抽出部３１および特徴量計算部３２は、検出対象を認識しようとする入力画像に対して、学習装置１１の特徴点抽出部２１および特徴量計算部２２と同様の処理を行うものであるので、その説明は省略する。
【００５７】
識別計算部３３は、識別器記録部１２に記録されている識別用特徴量および識別器を読み出す。また、識別計算部３３は、特徴量計算部３２からの特徴量のうちの識別用特徴量に対応するものを、読み出した識別器に代入して演算を行ない、その演算結果を識別結果出力部３４に供給する。識別結果出力部３４は、識別計算部３３からの演算結果に基づいて、検出対象が入力画像から検出されたか否かの識別結果を出力する。
【００５８】
［識別器生成部の構成例］
また、図４の識別器生成部２４は、より詳細には図５に示すように構成される。
【００５９】
識別器生成部２４は、弱識別計算部６１、誤り率計算部６２、識別器更新部６３、および重み設定部６４から構成される。
【００６０】
弱識別計算部６１は、取得部２３からの転移識別器を構成する各弱識別器について、特徴量計算部２２から供給された、学習画像の特徴点から抽出された特徴量を弱識別器に代入し、弱識別器により検出対象が認識されたか否かの判定を行なう。
【００６１】
誤り率計算部６２は、弱識別計算部６１から供給された各弱識別器による演算結果、特徴量計算部２２からの学習画像に付加されているラベル、および重み設定部６４からの学習画像ごとの重みに基づいて、各弱識別器による検出対象の認識の誤り率を算出する。なお、学習画像には、その学習画像に検出対象が含まれているか否かを示すラベルが予め付加されているものとする。例えば、学習画像に検出対象が含まれている場合、その学習画像にはラベルとして「１」が付加され、学習画像に検出対象が含まれていない場合、その学習画像にはラベルとして「−１」が付加されている。
【００６２】
識別器更新部６３は、各転移識別器を構成する弱識別器のうち、誤り率計算部６２により算出された誤り率が最も低い弱識別器を選択し、選択したいくつかの弱識別器からなる識別器を生成して識別器と識別用特徴量を識別器記録部１２に供給する。また、識別器更新部６３は、選択した弱識別器の誤り率に基づいて信頼度を計算し、重み設定部６４に供給する。重み設定部６４は、識別器更新部６３からの信頼度に基づいて学習画像ごとの重みを更新し、誤り率計算部６２に供給する。
【００６３】
［転移学習処理の説明］
次に、図６のフローチャートを参照して、学習装置１１による転移学習処理について説明する。この転移学習処理は、学習装置１１に検出対象が含まれている学習画像、および検出対象が含まれていない学習画像が供給されて、識別器の生成が指示されると開始される。すなわち、学習装置１１には、ラベル「１」が付加された学習画像と、ラベル「−１」が付加された学習画像とが複数供給される。
【００６４】
ステップＳ１１において、取得部２３は複数の転移識別器を取得し、識別器生成部２４の弱識別計算部６１に供給する。例えば、これから指差しの形状の手を認識するための識別器が生成される場合、アダブーストなどの統計学習により生成された、グーの識別器やチョキの識別器が転移識別器として取得される。
【００６５】
ステップＳ１２において、特徴点抽出部２１は、供給された学習画像ごとに、学習画像上のいくつかの位置（画素）を特徴点として抽出し、抽出した特徴点と学習画像とを特徴量計算部２２に供給する。
【００６６】
ステップＳ１３において、特徴量計算部２２は、特徴点抽出部２１から供給された学習画像と特徴点に基づいて特徴量を計算する。
【００６７】
例えば、特徴量計算部２２は、学習画像上の特徴点に対してレクタングルフィルタなどのフィルタを用いたフィルタ処理を施して、そのフィルタ処理結果を特徴点における特徴量とする。特徴量計算部２２は、学習画像ごとに、学習画像上の各特徴点の特徴量を算出し、各特徴点の特徴量を弱識別計算部６１に供給するとともに、学習画像を誤り率計算部６２に供給する。
【００６８】
ステップＳ１４において、重み設定部６４は、学習画像ごとの重みを初期化する。例えば、Ｍ個の学習画像Ｐ1乃至学習画像ＰMが供給された場合、各学習画像の重みＷm（但し、１≦ｍ≦Ｍ）が１／Ｍとされる。また、識別器更新部６３は、保持している識別器Ｆ（ｘ）を０に初期化する。
【００６９】
ステップＳ１５において、弱識別計算部６１は、取得部２３から供給された転移識別器を構成する弱識別器に、特徴量計算部２２から供給された特徴点の特徴量を代入し、検出対象の認識（識別）を行う。
【００７０】
例えば、取得部２３から弱識別計算部６１にｋ個の転移識別器が供給され、それらの転移識別器を構成する弱識別器の数の合計がＮ個であったとする。すなわち、Ｎ個の弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）が弱識別計算部６１に供給されたとする。また、各学習画像Ｐm（但し、１≦ｍ≦Ｍ）から、弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）に対応するＮ個の特徴点ＦＰnの特徴量Ｆn（但し、１≦ｎ≦Ｎ）が抽出されたとする。つまり、弱識別器ｆn（ｘ）に対応する特徴点ＦＰnは、弱識別器ｆn（ｘ）に代入される特徴量が抽出される特徴点である。
【００７１】
このような場合、弱識別計算部６１は、各弱識別器ｆn（ｘ）（但し、１≦ｎ≦Ｎ）について、学習画像Ｐmごとに特徴点ＦＰnの特徴量Ｆnを式（１）における変数ｘとして、弱識別器ｆn（ｘ）を構成する関数ｇ（ｘ＞ｔｈｗn）に代入する。そして、その演算結果が弱識別器ｆn（ｘ）の学習画像Ｐmにおける特徴点ＦＰnについての識別結果とされる。
【００７２】
すなわち、関数ｇ（ｘ＞ｔｈｗn）の閾値ｔｈｗnよりも特徴量Ｆnが大きい場合、特徴点ＦＰnには検出対象が含まれている、つまり検出対象が認識されたとされて、その旨を示す数値「１」が識別結果とされる。逆に、特徴量Ｆnが閾値ｔｈｗn以下である場合、特徴点ＦＰnには検出対象が含まれていない、つまり検出対象が認識されなかったとされて、その旨を示す数値「０」が識別結果とされる。弱識別計算部６１は、このようにして得られた識別結果を誤り率計算部６２に供給する。
【００７３】
ステップＳ１６において、誤り率計算部６２は、弱識別計算部６１からの識別結果、特徴量計算部２２からの学習画像に付加されているラベル、および重み設定部６４からの学習画像ごとの重みに基づいて、各弱識別器による検出対象の認識の誤り率を算出する。すなわち、各弱識別器ｆn（ｘ）について誤り率Ｅn（但し、１≦ｎ≦Ｎ）が算出される。
【００７４】
具体的には、誤り率計算部６２は、弱識別器ｆn（ｘ）について、学習画像Ｐmごとに特徴点ＦＰnにおける識別結果と、学習画像Ｐmに付加されたラベルとを比較し、識別結果が誤認識であった学習画像Ｐmの重みＷmの総和を誤り率Ｅnとする。
【００７５】
例えば、学習画像Ｐmの特徴点ＦＰnでの識別結果が「１」であるが、学習画像Ｐmのラベルが「−１」である場合、つまり実際には学習画像Ｐmには検出対象が含まれていないが、弱識別器ｆn（ｘ）により学習画像Ｐmで検出対象が認識された場合、誤認識とされる。また、例えば学習画像Ｐmの特徴点ＦＰnでの識別結果が「０」であるが、学習画像Ｐmのラベルが「１」である場合、つまり学習画像Ｐmに検出対象が含まれているが、弱識別器ｆn（ｘ）により検出対象が認識されなかった場合、誤認識とされる。
【００７６】
このようにして得られた弱識別器ｆn（ｘ）の誤り率Ｅnは、弱識別器ｆn（ｘ）による検出対象の認識精度を示しており、誤り率Ｅnが小さい弱識別器ｆn（ｘ）ほど、より検出対象の検出に適した弱識別器であるということができる。
【００７７】
誤り率計算部６２は、各弱識別器ｆn（ｘ）の誤り率Ｅnを算出すると、それらの誤り率を識別器更新部６３に供給する。
【００７８】
ステップＳ１７において、識別器更新部６３は、誤り率計算部６２から供給された各弱識別器ｆn（ｘ）の誤り率Ｅnに基づいて、Ｎ個の弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）のうち、誤り率Ｅnが最小となる弱識別器ｆn（ｘ）を選択する。すなわち、検出対象とされる指差し形状の手を検出するのに最も適した弱識別器が選択される。識別器更新部６３は、選択した弱識別器ｆn（ｘ）を、誤り率計算部６２を介して弱識別計算部６１から取得する。
【００７９】
ステップＳ１８において、識別器更新部６３は、保持している識別器Ｆ（ｘ）に、ステップＳ１７で選択された弱識別器ｆn（ｘ）を加算することで、識別器を更新する。
【００８０】
すなわち、これまで保持されていた識別器がＦ’（ｘ）であるとすると、Ｆ’（ｘ）＋ｆn（ｘ）が新たな識別器Ｆ（ｘ）とされる。また、このとき選択された弱識別器ｆn（ｘ）に対応する特徴点ＦＰnの特徴量Ｆnが識別用特徴量とされる。
【００８１】
ステップＳ１９において、重み設定部６４は、学習画像Ｐmごとの重みＷmを更新し、更新された各学習画像の重みを誤り率計算部６２に供給する。
【００８２】
例えば、識別器更新部６３は、ステップＳ１７で選択された弱識別器ｆn（ｘ）の誤り率Ｅnに基づいて、次式（３）で示される信頼度Ｃnを計算し、その計算結果を重み設定部６４に供給する。
【００８３】
【数１】
【００８４】
そして、重み設定部６４は、識別器更新部６３からの信頼度Ｃnに基づいて次式（４）を計算することで、学習画像Ｐmの重みＷmを再計算するとともに、全ての重みＷmを正規化して更新し、誤り率計算部６２に供給する。
【００８５】
【数２】
【００８６】
なお、式（４）においてｙ≠ｆｎは、誤認識が発生した特徴点の条件を示しており、式（４）では、選択された弱識別器ｆn（ｘ）による認識において、誤認識が発生した特徴点ＦＰnを含む学習画像Ｐmの重みＷmが大きくなることが示されている。また、式（４）では、誤認識が発生しなかった学習画像Ｐmの重みＷmは、そのままの値とされる。
【００８７】
誤認識が生じた学習画像Ｐmは検出対象の認識が困難な画像であるので、そのような画像の重みが大きくなるように各学習画像の重みを更新すれば、転移学習においてより高精度に検出対象の認識が可能となる識別器を得ることができるようになる。
【００８８】
ステップＳ２０において、識別器更新部６３は、必要な数だけ弱識別器を選択したか否かを判定する。例えば、生成しようとする識別器がＪ個の弱識別器から構成されるようにすると定められている場合、識別器を構成する弱識別器がＪ個だけ選択されたとき、必要な数の弱識別器が選択されたと判定される。つまり、ステップＳ１５乃至ステップＳ１９の処理がＪ回行われたとき、必要な数の弱識別器が選択されたと判定される。
【００８９】
ステップＳ２０において、まだ必要な数だけ弱識別器が選択されていないと判定された場合、処理はステップＳ１５に戻り、上述した処理が繰り返される。
【００９０】
これに対して、ステップＳ２０において、必要な数だけ弱識別器が選択されたと判定された場合、処理はステップＳ２１に進む。
【００９１】
ステップＳ２１において、識別器更新部６３は、保持している識別器Ｆ（ｘ）と、その識別器を構成する各弱識別器の識別用特徴量とを識別器記録部１２に出力して記録させ、転移学習処理は終了する。例えば、ステップＳ１５乃至ステップＳ１９の処理がＪ回行われた場合、選択されたＪ個の弱識別器の和が識別器Ｆ（ｘ）とされる。
【００９２】
以上のようにして、学習装置１１は、学習画像と既に統計学習により得られている転移識別器とを用いて、ブースティングによる転移学習を行なう。
【００９３】
このように高精度な識別器が得られるブースティングによる学習に、既に得られている他の識別器の弱識別器を利用すれば、より高速に高精度な識別器を得ることができる。
【００９４】
例えば、図７の上側に示すように、通常のブースティングによる学習では、Ｌ個の学習画像（学習サンプル）のそれぞれについて、Ｈ個の特徴点から特徴量を抽出する場合、各特徴点についてＬ個の学習画像ごとの特徴量が並び替えられて弱識別器が設定される。そして、得られたＨ個の弱識別器のなかから、最も適切な１つの弱識別器が選択されて識別器に加算され、このようにして識別器を更新していくことで最終的な識別器が得られる。
【００９５】
これに対して、ブースティングによる転移学習では、図７の下側に示すように、Ｌ個の学習画像のそれぞれから、Ｈ個の特徴点の特徴量が抽出されて識別器が生成されると、その識別器を構成するＺ個（但し、Ｚ＜Ｈ）の弱識別器が転移される。そして、転移されたＺ個の弱識別器のなかから、最も適切な１つの弱識別器が選択されて識別器に加算され、このようにして識別器を更新していくことで最終的な識別器が得られる。
【００９６】
したがって、各学習画像上の全特徴点の数であるＨ個よりも少ないＺ個の特徴点について処理を行えばよく、また弱識別器を設定する必要もないので、通常のブースティングによる学習と比較して、Ｌ×（Ｈ／Ｚ）倍だけ高速に識別器を得ることができる。
【００９７】
［識別処理の説明］
以上において説明した転移学習処理が行われて、識別器記録部１２に識別器と識別用特徴量が記録されると、認識装置１３は、それらの識別器と識別用特徴量を用いて、供給された入力画像から検出対象を検出することができるようになる。
【００９８】
以下、図８のフローチャートを参照して、認識装置１３による識別処理について説明する。
【００９９】
ステップＳ４１において、特徴点抽出部３１は、供給された入力画像上のいくつかの位置（画素）を特徴点として抽出し、抽出した特徴点と入力画像とを特徴量計算部３２に供給する。
【０１００】
ステップＳ４２において、特徴量計算部３２は、特徴点抽出部３１から供給された入力画像と特徴点に基づいて特徴量を計算し、その計算結果を識別計算部３３に供給する。
【０１０１】
例えば、特徴量計算部３２は、入力画像上の特徴点に対してレクタングルフィルタなどのフィルタを用いたフィルタ処理を施して、そのフィルタ処理結果を特徴点における特徴量とする。
【０１０２】
なお、ステップＳ４１およびステップＳ４２では、図６のステップＳ１２およびステップＳ１３と同様の処理が行われる。
【０１０３】
ステップＳ４３において、識別計算部３３は、識別器記録部１２から識別器Ｆ（ｘ）および識別用特徴量を読み出して、読み出した識別器に特徴量を代入して計算する。すなわち、識別計算部３３は、特徴量計算部３２からの特徴量のうちの識別用特徴量に対応するものを、式（２）により示される識別器に代入して演算を行う。ここで、識別器を構成する弱識別器に代入される特徴量は、識別用特徴量とされた特徴量が求められた学習画像の特徴点と同じ位置にある、入力画像上の特徴点の特徴量である。
【０１０４】
識別計算部３３は、式（２）の演算により得られた出力値が閾値ｔｈより大きい場合、入力画像に検出対象があるとして数値「１」を識別結果とし、出力値が閾値ｔｈ以下である場合、入力画像に検出対象がないとして数値「−１」を識別結果とする。そして、識別計算部３３は、このようにして得られた識別結果を識別結果出力部３４に供給する。
【０１０５】
ステップＳ４４において、識別結果出力部３４は、識別計算部３３から供給された識別結果を出力し、識別処理は終了する。例えば、識別結果出力部３４は識別結果に基づいて、図示せぬ表示部に、入力画像から検出対象が検出された旨の表示、または入力画像から検出対象が検出されなかった旨の表示をさせる。
【０１０６】
以上のようにして、認識装置１３は識別器記録部１２に記録された識別器と識別用特徴量とを用いて、入力画像から検出対象を検出する。ブースティングによる転移学習で得られた識別器を用いて検出対象の検出を行なうことで、より高精度に検出対象を検出することができる。
【０１０７】
〈第２の実施の形態〉
［学習装置の構成例］
続いて上述した手法２の特徴量を転移させる学習を行なう場合における、学習装置の構成について説明する。
【０１０８】
図９は、特徴量を転移させて学習を行なう場合における学習装置の一実施の形態の構成例を示す図である。なお、図９において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１０９】
学習装置９１は、特徴点抽出部２１、特徴量計算部２２、取得部２３、および識別器生成部１０１から構成される。
【０１１０】
識別器生成部１０１は、特徴量計算部２２から供給された学習画像および特徴量と、取得部２３から供給された転移識別器を構成する各弱識別器の識別用特徴量とに基づいて、例えばアダブーストによる転移学習処理を行い、識別器を生成する。また、識別器生成部１０１は、生成した識別器と、その識別器を構成する弱識別器の識別用特徴量とを識別器記録部１２に供給し、記録させる。
【０１１１】
［識別器生成部の構成例］
また、図９の識別器生成部１０１は、より詳細には図１０に示すように構成される。なお、図１０において、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１２】
識別器生成部１０１は、弱識別器設定部１３１、弱識別計算部６１、誤り率計算部６２、識別器更新部６３、および重み設定部６４から構成される。
【０１１３】
弱識別器設定部１３１は、特徴量計算部２２から供給された学習画像の各特徴点の特徴量のうち、取得部２３からの転移識別器を構成する各弱識別器の識別用特徴量と同じ特徴点の特徴量を用いて、それらの特徴点ごとに弱識別器を設定する。また、弱識別器設定部１３１は、設定した弱識別器と、各学習画像の特徴点の特徴量とを弱識別計算部６１に供給する。
【０１１４】
［転移学習処理の説明］
次に、図１１のフローチャートを参照して、学習装置９１による転移学習処理について説明する。この転移学習処理では、学習装置９１には、ラベル「１」が付加された学習画像と、ラベル「−１」が付加された学習画像とが複数供給される。
【０１１５】
なお、ステップＳ５１乃至ステップＳ５４の処理は、図６のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。但し、ステップＳ５１では、取得部２３により取得された転移識別器は弱識別器設定部１３１に供給される。また、ステップＳ５３では、学習画像の各特徴点から抽出された特徴量が、特徴量計算部２２から弱識別器設定部１３１に供給され、学習画像のラベルが特徴量計算部２２から誤り率計算部６２に供給される。
【０１１６】
ステップＳ５５において、弱識別器設定部１３１は、特徴量計算部２２から供給された学習画像の各特徴点の特徴量と、取得部２３からの転移識別器を構成する各弱識別器の識別用特徴量とに基づいて、弱識別器を設定する。
【０１１７】
例えば、取得部２３から弱識別器設定部１３１にｋ個の転移識別器が供給され、それらの転移識別器を構成する弱識別器の数の合計がＮ個であったとする。すなわち、Ｎ個の弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）が供給されたとする。
【０１１８】
このような場合、図１２に示すように、各学習画像Ｐm（但し、１≦ｍ≦Ｍ）から抽出された特徴量のうち、弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）に対応するＮ個の特徴点ＦＰnの特徴量が用いられて、特徴点ごとに弱識別器が設定される。
【０１１９】
図１２では、図中、横方向に学習画像Ｐmから抽出された特徴量が並べられている。例えば、図中、一番上側に横方向に並んでいる（Ａ1，Ａ2，Ａ3，・・・，ＡN）は、学習画像Ｐ1の各特徴点の特徴量のうち、弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）の識別用特徴量に対応する特徴量のそれぞれを表している。つまり、学習画像Ｐ1の各特徴点の特徴量のうち、識別用特徴量とされた特徴量が求められた特徴点と同じ位置にある、学習画像Ｐ1上の特徴点の特徴量である。
【０１２０】
また、学習画像を表す文字「Ｐm」の図中、左側の数字「＋１」または「−１」は、その学習画像Ｐmに付加されたラベルを示している。つまり、数字「＋１」は、学習画像に検出対象が含まれている旨のラベルを示しており、数字「−１」は、学習画像に検出対象が含まれていない旨のラベルを示している。
【０１２１】
さらに、図１２では、縦方向に並んだＭ個の特徴量Ａn乃至特徴量Ｖnが１つのグループＧｒn（但し、１≦ｎ≦Ｎ）とされており、このグループＧｒnに属す特徴量は、各学習画像における同じ特徴点の特徴量とされている。
【０１２２】
弱識別器設定部１３１は、グループＧｒnごとに、そのグループに属すＭ個の特徴量を昇べきの順、または降べきの順に並び替える。
【０１２３】
そして、弱識別器設定部１３１は、学習画像のラベルに基づいて、グループごとに式（１）に示した弱識別器の関数ｇ（ｘ＞ｔｈｗn）、定数ａn、および定数ｂnを定めることで、弱識別器を設定する。
【０１２４】
具体的には、図１３に示すように、グループＧｒ1に属す特徴量Ａ1乃至特徴量Ｖ1が順番に並べられ、弱識別器設定部１３１が関数ｇ（ｘ＞ｔｈｗ1）を定める閾値ｔｈｗ1を、特徴量Ａ1と特徴量Ｃ1の間に設定したとする。
【０１２５】
ここで、特徴量が閾値ｔｈｗ1より小さい範囲、つまり図中、閾値ｔｈｗ1より左側の「−１」で示される範囲では、認識しようとする検出対象がないとされる。また、特徴量が閾値ｔｈｗ1より大きい範囲、つまり図中、閾値ｔｈｗ1より右側の「＋１」で示される範囲では、認識しようとする検出対象があるとされる。
【０１２６】
この例では、図中の点線で囲まれた特徴量Ａ1は、検出対象が含まれた学習画像の特徴量であるのでエラー（誤認識）であるとみなされる。同様に、点線で囲まれた特徴量Ｃ1と特徴量Ｖ1は、検出対象が含まれていない学習画像の特徴量であるのでエラー（誤認識）であるとみなされる。
【０１２７】
弱識別器設定部１３１は、例えば閾値ｔｈｗ1の値を変化させながら、各閾値ｔｈｗ1の値について上述した弱識別器ｆ1（ｘ）の誤り率Ｅ1を算出し、誤り率Ｅ1が最小となるように閾値ｔｈｗ1を定めることで、弱識別器を設定する。この場合、弱識別器設定部１３１は、重み設定部６４から各学習画像の重みを取得して、誤り率の算出を行なう。
【０１２８】
弱識別器設定部１３１は、各グループ、つまり転移識別器の各弱識別器の識別用特徴量に対応する学習画像の特徴点について、弱識別器を設定すると、設定した弱識別器と、学習画像の各特徴点の特徴量とを弱識別計算部６１に供給する。
【０１２９】
このようにして弱識別器が設定されると、その後、ステップＳ５６乃至ステップＳ６２の処理が行われて転移学習処理は終了するが、これらの処理は図６のステップＳ１５乃至ステップＳ２１の処理と同様であるので、その説明は省略する。
【０１３０】
但し、図６のステップＳ１５では、転移識別器を構成する弱識別器が用いられて処理が行われるのに対して、図１１のステップＳ５６では、ステップＳ５５の処理で設定された弱識別器が用いられて処理が行われる。
【０１３１】
以上のようにして、学習装置９１は、学習画像と既に統計学習により得られている転移識別器とを用いて、ブースティングによる転移学習を行なう。
【０１３２】
このように高精度な識別器が得られるブースティングによる学習に、既に得られている他の識別器の弱識別器の識別用特徴量を利用すれば、より高速に高精度な識別器を得ることができる。
【０１３３】
例えば、図１４に示すように、ブースティングによる転移学習では、Ｌ個の学習画像のそれぞれから、Ｈ個の特徴点の特徴量が抽出されて識別器が生成されると、その識別器を構成するＺ個（但し、Ｚ＜Ｈ）の弱識別器の識別用特徴量が転移される。
【０１３４】
また、転移されたＺ個の識別用特徴量に対応する学習画像の特徴点の特徴量が用いられて、特徴点ごとに弱識別器が設定される。そして、設定された弱識別器のなかから、最も適切な１つの弱識別器が選択されて識別器に加算され、このようにして識別器を更新していくことで、最終的な識別器が得られる。
【０１３５】
これに対して、通常のブースティングによる学習では、識別器の転移が行なわれないので、Ｈ個の特徴点ごとに弱識別器が設定されることになる。
【０１３６】
したがって、ブースティングによる転移学習では、各学習画像上の全特徴点の数であるＨ個よりも少ないＺ個の特徴点について処理を行えばよいので、通常のブースティングによる学習と比較して、Ｈ／Ｚ倍だけ高速に識別器を得ることができる。
【０１３７】
学習装置９１により生成された識別器と識別用特徴量も、識別器記録部１２に記録されると、それらの識別器と識別用特徴量は、認識装置１３による識別処理に用いられる。すなわち、図８を参照して説明した識別処理に用いられる。
【０１３８】
〈第３の実施の形態〉
［ツリー構造の識別器について］
なお、以上においては、特定形状の手を検出するための識別器の学習に、既に得られた他の形状の手検出用の識別器を利用する例について説明したが、転移学習をツリー構造（木構造）の識別器を用いた認識システムに適用することも可能である。
【０１３９】
例えば、図１５に示すように、１１個の識別器ＴＦ１１乃至識別器ＴＦ２１からなるツリー構造の識別器を用いて、入力画像上の手の形状を識別する場合を例として説明する。
【０１４０】
このツリー構造の識別器は、入力された入力画像から、グー形状の右手若しくは左手、パー形状の右手若しくは左手、またはチョキ形状の右手若しくは左手のうちの何れかの形状の手を検出する、多クラス物体認識用の識別器である。
【０１４１】
ツリー構造の識別器を構成する識別器ＴＦ１１は、入力画像から手を検出するための識別器であり、特にルートノードと呼ばれている。ここで、識別器ＴＦ１１による手検出では、グーやパーなど、手の形状によらず入力画像に手らしいものがあれば、手が検出された旨の識別結果が出力される。また、識別器ＴＦ１２は、入力画像からグー形状の手を検出するための識別器であり、識別器ＴＦ１３は、入力画像からパーまたはチョキの形状の手を検出するための識別器である。
【０１４２】
識別器ＴＦ１４および識別器ＴＦ１５は、それぞれ入力画像から右手グーおよび左手グーを検出するためのものであり、識別器ＴＦ１６および識別器ＴＦ１７は、それぞれ入力画像からパー形状の手およびチョキ形状の手を検出するための識別器である。
【０１４３】
さらに、識別器ＴＦ１８および識別器ＴＦ１９は、それぞれ入力画像から右手パーおよび左手パーを検出するためのものであり、識別器ＴＦ２０および識別器ＴＦ２１は、それぞれ入力画像から右手チョキおよび左手チョキを検出するためのものである。
【０１４４】
特に、ツリーの末端にある識別器ＴＦ１４、識別器ＴＦ１５、および識別器ＴＦ１８乃至識別器ＴＦ２１は、リーフと呼ばれている。また、ルートノードとリーフの間にある識別器ＴＦ１２、識別器ＴＦ１３、識別器ＴＦ１６、および識別器ＴＦ１７は、ノードと呼ばれている。
【０１４５】
このようなツリー構造の識別器が用いられて手形状の識別が行なわれる場合、まず識別器ＴＦ１１により入力画像に対して手検出が行なわれる。そして、入力画像から手が検出されると、次に識別器ＴＦ１２により入力画像からグーの検出が行なわれるとともに、識別器ＴＦ１３により入力画像からパーまたはチョキの検出が行なわれる。
【０１４６】
このとき、識別器ＴＦ１３の識別結果よりも、識別器ＴＦ１２の識別結果がより確からしい場合、つまり入力画像にグー形状の手があると推定される場合、入力画像に対して識別器ＴＦ１４および識別器ＴＦ１５による識別が行なわれる。
【０１４７】
その結果、識別器ＴＦ１５の識別結果よりも識別器ＴＦ１４の識別結果がより確からしい場合、入力画像から右手グーが検出されたとされ、識別器ＴＦ１４の識別結果よりも識別器ＴＦ１５の識別結果がより確からしい場合、入力画像から左手グーが検出されたとされる。
【０１４８】
また、識別器ＴＦ１２の識別結果よりも、識別器ＴＦ１３の識別結果がより確からしい場合、つまり入力画像にパーまたはチョキ形状の手があると推定される場合、入力画像に対して識別器ＴＦ１６および識別器ＴＦ１７による識別が行なわれる。
【０１４９】
その結果、識別器ＴＦ１７の識別結果よりも、識別器ＴＦ１６の識別結果がより確からしい場合、つまり入力画像にパー形状の手があると推定される場合、入力画像に対して識別器ＴＦ１８および識別器ＴＦ１９による識別が行なわれる。そして、それらの識別器の識別結果のうち、識別器ＴＦ１８の識別結果がより確からしい場合、入力画像から右手パーが検出されたとされ、識別器ＴＦ１９の識別結果がより確からしい場合、入力画像から左手パーが検出されたとされる。
【０１５０】
また、識別器ＴＦ１６の識別結果よりも、識別器ＴＦ１７の識別結果がより確からしい場合、つまり入力画像にチョキ形状の手があると推定される場合、入力画像に対して識別器ＴＦ２０および識別器ＴＦ２１による識別が行なわれる。そして、それらの識別器の識別結果のうち、識別器ＴＦ２０の識別結果がより確からしい場合、入力画像から右手チョキが検出されたとされ、識別器ＴＦ２１の識別結果がより確からしい場合、入力画像から左手チョキが検出されたとされる。
【０１５１】
このように、多クラスの物体認識が可能なツリー構造の識別器では、いくつかの識別器により入力画像に対して物体認識が行なわれ、その結果により右手パーや左手チョキなど、各クラスのうちの何れかのクラスの物体が検出される。
【０１５２】
また、例えばこのようなツリー構造の識別器を学習により得ようとする場合、リーフとなる識別器をアダブーストのようなブースティングによる学習により生成すれば、高精度な識別器を得ることができる。
【０１５３】
さらに、これらのリーフとなる識別器を転移識別器として、ブースティングによる転移学習により、各ノードやルートノードの識別器を生成すれば、より少ない学習サンプルで、より高速に高精度な識別器を得ることができる。
【０１５４】
特に、通常のブースティングによる学習でルートノードの識別器を生成しようとすると、パーやグーなど多くの形状の手の学習画像が大量に必要となるため、膨大な計算時間がかかってしまう。これに対して、リーフの識別器を転移させてルートノードの識別器を転移学習により生成すれば、大幅に学習効率を向上させることができる。
【０１５５】
例えば、ノードである識別器ＴＦ１２を得ようとする場合には、リーフである識別器ＴＦ１４、識別器ＴＦ１５、および識別器ＴＦ１８乃至識別器ＴＦ２１を転移識別器として、転移学習を行なえばよい。
【０１５６】
具体的には、例えば図４に示した学習装置１１が、識別器ＴＦ１４、識別器ＴＦ１５、および識別器ＴＦ１８乃至識別器ＴＦ２１を構成する弱識別器を転移させ、図６の転移学習処理を行なえば、識別器ＴＦ１２を得ることができる。
【０１５７】
また、例えば図９に示した学習装置９１が、識別器ＴＦ１４、識別器ＴＦ１５、および識別器ＴＦ１８乃至識別器ＴＦ２１を構成する弱識別器の識別用特徴量を転移させ、図１１の転移学習処理を行なうことで識別器ＴＦ１２を得ることも勿論可能である。
【０１５８】
［認識装置の構成例］
次に、図１５に示したツリー構造の識別器を用いて多クラスの手形状認識を行なう認識装置について説明する。そのような認識装置は、例えば図１６に示すように構成される。
【０１５９】
すなわち、認識装置１６１は、手識別部１７１、グー識別部１７２、チョキパー識別部１７３、比較部１７４、右グー識別部１７５、左グー識別部１７６、パー識別部１７７、チョキ識別部１７８、比較部１７９、右パー識別部１８０、左パー識別部１８１、右チョキ識別部１８２、左チョキ識別部１８３、および出力部１８４から構成される。
【０１６０】
認識装置１６１では、図１５の識別器ＴＦ１１乃至識別器ＴＦ２１のそれぞれが、手識別部１７１、グー識別部１７２、チョキパー識別部１７３、右グー識別部１７５、左グー識別部１７６、パー識別部１７７、チョキ識別部１７８、右パー識別部１８０、左パー識別部１８１、右チョキ識別部１８２、および左チョキ識別部１８３に記録されている。
【０１６１】
手識別部１７１は、識別器ＴＦ１１を用いて供給された入力画像から手を検出し、手が検出された場合、手が検出された旨の識別結果と入力画像をグー識別部１７２およびチョキパー識別部１７３に供給する。また、手識別部１７１は、入力画像から手が検出されなかった場合、手が検出されなかった旨の識別結果を出力部１８４に供給する。
【０１６２】
グー識別部１７２およびチョキパー識別部１７３は、記録している識別器ＴＦ１２および識別器ＴＦ１３に基づいて、手識別部１７１から供給された入力画像上のグー、およびパーまたはチョキを識別し、その識別結果と入力画像を比較部１７４に供給する。
【０１６３】
比較部１７４は、グー識別部１７２およびチョキパー識別部１７３から供給された識別結果を比較して、入力画像を右グー識別部１７５および左グー識別部１７６、またはパー識別部１７７およびチョキ識別部１７８に供給する。
【０１６４】
右グー識別部１７５および左グー識別部１７６は、記録している識別器ＴＦ１４および識別器ＴＦ１５に基づいて、比較部１７４から供給された入力画像上の右手グー、および左手グーを識別し、その識別結果を出力部１８４に供給する。
【０１６５】
パー識別部１７７およびチョキ識別部１７８は、記録している識別器ＴＦ１６および識別器ＴＦ１７に基づいて、比較部１７４から供給された入力画像上のパー、およびチョキを識別し、その識別結果と入力画像を比較部１７９に供給する。
【０１６６】
比較部１７９は、パー識別部１７７およびチョキ識別部１７８から供給された識別結果を比較して、入力画像を右パー識別部１８０および左パー識別部１８１、または右チョキ識別部１８２および左チョキ識別部１８３に供給する。
【０１６７】
右パー識別部１８０および左パー識別部１８１は、記録している識別器ＴＦ１８および識別器ＴＦ１９に基づいて、比較部１７９から供給された入力画像上の右手パー、および左手パーを識別し、その識別結果を出力部１８４に供給する。右チョキ識別部１８２および左チョキ識別部１８３は、記録している識別器ＴＦ２０および識別器ＴＦ２１に基づいて、比較部１７９から供給された入力画像上の右手チョキ、および左手チョキを識別し、その識別結果を出力部１８４に供給する。
【０１６８】
出力部１８４は、手識別部１７１、右グー識別部１７５、左グー識別部１７６、右パー識別部１８０、左パー識別部１８１、右チョキ識別部１８２、および左チョキ識別部１８３からの識別結果に基づいて、入力画像からの手の識別結果を出力する。
【０１６９】
［識別処理の説明］
図１６の認識装置１６１に入力画像が供給され、手形状の認識が指示されると、認識装置１６１は識別処理を行なって、入力画像から手を検出する。以下、図１７のフローチャートを参照して、認識装置１６１による識別処理について説明する。
【０１７０】
ステップＳ９１において、手識別部１７１は、識別器ＴＦ１１を用いて供給された入力画像から手を検出する。すなわち、手識別部１７１は、入力画像から特徴量を抽出して識別器ＴＦ１１に代入し、その演算結果が所定の閾値より大きい場合、入力画像から手が検出されたとする。
【０１７１】
ステップＳ９２において、手識別部１７１は、入力画像から手が検出されたか否かを判定する。ステップＳ９２において、手が検出されなかったと判定された場合、その旨の識別結果を出力部１８４に供給し、処理はステップＳ１０５に進む。
【０１７２】
これに対して、ステップＳ９２において、手が検出されたと判定された場合、手識別部１７１は、手が検出された旨の識別結果と入力画像をグー識別部１７２およびチョキパー識別部１７３に供給し、処理はステップＳ９３に進む。
【０１７３】
ステップＳ９３において、グー識別部１７２は、記録している識別器ＴＦ１２に基づいて、手識別部１７１から供給された入力画像からのグーの識別を行なう。すなわち、グー識別部１７２は、入力画像から特徴量を抽出して識別器ＴＦ１２に代入し、その演算結果として得られた出力値と入力画像を比較部１７４に供給する。
【０１７４】
このようにして得られた出力値は、入力画像のグーの手らしさを示しており、出力値が大きいほど、入力画像がグー形状の手らしい画像であるとされる。なお、他の識別器においても、識別器に特徴量を代入して得られる出力値は、その識別器により検出される物体、すなわちここでは、特定形状の手らしさを示している。
【０１７５】
ステップＳ９４において、チョキパー識別部１７３は、記録している識別器ＴＦ１３に基づいて、手識別部１７１から供給された入力画像からのパーまたはチョキの識別を行なう。すなわち、チョキパー識別部１７３は、入力画像から特徴量を抽出して識別器ＴＦ１３に代入し、その演算結果として得られた出力値と入力画像を比較部１７４に供給する。
【０１７６】
ステップＳ９５において、比較部１７４は、グー識別部１７２からの出力値とチョキパー識別部１７３からの出力値とを比較して、入力画像上のグーが識別されたか否かを判定する。例えば、グー識別部１７２からの出力値が、チョキパー識別部１７３からの出力値よりも大きい場合、入力画像には、チョキまたはパーよりもグーが含まれる可能性が高いので、グーが識別されたと判定される。
【０１７７】
ステップＳ９５において、グーが識別されたと判定された場合、比較部１７４は、入力画像を右グー識別部１７５および左グー識別部１７６に供給し、処理はステップＳ９６に進む。
【０１７８】
ステップＳ９６において、右グー識別部１７５は、記録している識別器ＴＦ１４に基づいて、比較部１７４から供給された入力画像からの右手グーの識別を行なう。すなわち、右グー識別部１７５は、入力画像から特徴量を抽出して識別器ＴＦ１４に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１７９】
ステップＳ９７において、左グー識別部１７６は、記録している識別器ＴＦ１５に基づいて、比較部１７４から供給された入力画像からの左手グーの識別を行なう。すなわち、左グー識別部１７６は、入力画像から特徴量を抽出して識別器ＴＦ１５に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１８０】
ステップＳ９７の処理が行なわれると、その後、処理はステップＳ１０５に進む。
【０１８１】
また、ステップＳ９５において、入力画像上のグーが識別されなかったと判定された場合、つまり入力画像上のパーまたはチョキが識別された場合、比較部１７４は、入力画像をパー識別部１７７およびチョキ識別部１７８に供給し、処理はステップＳ９８に進む。
【０１８２】
ステップＳ９８において、パー識別部１７７は、記録している識別器ＴＦ１６に基づいて、比較部１７４から供給された入力画像からのパーの識別を行なう。すなわち、パー識別部１７７は、入力画像から特徴量を抽出して識別器ＴＦ１６に代入し、その演算結果として得られた出力値と入力画像を比較部１７９に供給する。
【０１８３】
ステップＳ９９において、チョキ識別部１７８は、記録している識別器ＴＦ１７に基づいて、比較部１７４から供給された入力画像からのチョキの識別を行なう。すなわち、チョキ識別部１７８は、入力画像から特徴量を抽出して識別器ＴＦ１７に代入し、その演算結果として得られた出力値と入力画像を比較部１７９に供給する。
【０１８４】
ステップＳ１００において、比較部１７９は、パー識別部１７７からの出力値とチョキ識別部１７８からの出力値とを比較して、入力画像上のパーが識別されたか否かを判定する。例えば、パー識別部１７７からの出力値が、チョキ識別部１７８からの出力値よりも大きい場合、パーが識別されたと判定される。
【０１８５】
ステップＳ１００において、パーが識別されたと判定された場合、比較部１７９は、入力画像を右パー識別部１８０および左パー識別部１８１に供給し、処理はステップＳ１０１に進む。
【０１８６】
ステップＳ１０１において、右パー識別部１８０は、記録している識別器ＴＦ１８に基づいて、比較部１７９から供給された入力画像からの右手パーの識別を行なう。すなわち、右パー識別部１８０は、入力画像から特徴量を抽出して識別器ＴＦ１８に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１８７】
ステップＳ１０２において、左パー識別部１８１は、記録している識別器ＴＦ１９に基づいて、比較部１７９から供給された入力画像からの左手パーの識別を行なう。すなわち、左パー識別部１８１は、入力画像から特徴量を抽出して識別器ＴＦ１９に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１８８】
ステップＳ１０２の処理が行なわれると、その後、処理はステップＳ１０５に進む。
【０１８９】
さらに、ステップＳ１００において、パーが識別されなかった、すなわちチョキが識別されたと判定された場合、比較部１７９は、入力画像を右チョキ識別部１８２および左チョキ識別部１８３に供給し、処理はステップＳ１０３に進む。
【０１９０】
ステップＳ１０３において、右チョキ識別部１８２は、記録している識別器ＴＦ２０に基づいて、比較部１７９から供給された入力画像からの右手チョキの識別を行なう。すなわち、右チョキ識別部１８２は、入力画像から特徴量を抽出して識別器ＴＦ２０に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１９１】
ステップＳ１０４において、左チョキ識別部１８３は、記録している識別器ＴＦ２１に基づいて、比較部１７９から供給された入力画像からの左手チョキの識別を行なう。すなわち、左チョキ識別部１８３は、入力画像から特徴量を抽出して識別器ＴＦ２１に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１９２】
ステップＳ１０４の処理が行なわれると、その後、処理はステップＳ１０５に進む。
【０１９３】
ステップＳ９２において手が検出されなかったと判定されたか、ステップＳ９７で左手グーの識別が行なわれたか、ステップＳ１０２で左手パーの識別が行なわれたか、またはステップＳ１０４で左手チョキの識別が行なわれた場合、ステップＳ１０５の処理が行なわれる。
【０１９４】
すなわち、ステップＳ１０５において、出力部１８４は、手識別部１７１、右グー識別部１７５および左グー識別部１７６、右パー識別部１８０および左パー識別部１８１、または右チョキ識別部１８２および左チョキ識別部１８３からの識別結果に基づいて、入力画像からの最終的な手の識別結果を出力する。
【０１９５】
具体的には、出力部１８４は、ステップＳ９２で手が検出されなかったと判定された場合、すなわち手識別部１７１から手が検出されなかった旨の識別結果が供給された場合、その識別結果を最終的な識別結果として出力する。
【０１９６】
また、出力部１８４は、ステップＳ９６およびステップＳ９７の処理により、右グー識別部１７５および左グー識別部１７６から出力値が供給された場合、それらの出力値のうちの大きい方により示される識別結果を最終的な識別結果として出力する。例えば、右グー識別部１７５からの出力値がより大きい場合、右手のグーが識別された旨の識別結果が出力される。
【０１９７】
さらに、出力部１８４は、ステップＳ１０１およびステップＳ１０２の処理により、右パー識別部１８０および左パー識別部１８１から出力値が供給された場合、それらの出力値のうちの大きい方により示される識別結果を最終的な識別結果として出力する。また、出力部１８４は、ステップＳ１０３およびステップＳ１０４の処理により、右チョキ識別部１８２および左チョキ識別部１８３から出力値が供給された場合、それらの出力値のうちの大きい方により示される識別結果を最終的な識別結果として出力する。
【０１９８】
このようにして出力部１８４から最終的な識別結果が出力されると、識別処理は終了する。
【０１９９】
以上のようにして認識装置１６１は、ツリー構造の識別器を用いて入力画像上の被写体の識別を行い、その識別結果を出力する。ツリー構造の識別器として、ブースティングによる転移学習で得られた識別器を用いれば、高精度に被写体の識別を行なうことができる。
【０２００】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２０１】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２０２】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０２０３】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０２０４】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０２０５】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２０６】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０２０７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０９】
さらに、本技術は、以下の構成とすることも可能である。
【０２１０】
［１］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置。
［２］
前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、
前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部と
をさらに備え、
前記識別器生成部は、前記誤り率に基づいて前記弱識別器を選択する
［１］に記載の学習装置。
［３］
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられる
［１］または［２］に記載の学習装置。
［４］
前記識別器生成部により生成される前記識別器は、ツリー構造の識別器を構成する識別器であり、前記転移識別器は、前記ツリー構造の識別器のリーフを構成する識別器である
［１］乃至［３］の何れかに記載の学習装置。
［５］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置の学習方法であって、
前記特徴量抽出部が前記学習画像から前記特徴量を抽出し、
前記弱識別計算部が前記識別結果を算出し、
前記識別器生成部が前記識別器を生成する
ステップを含む学習方法。
［６］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
［７］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成する弱識別器設定部と、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置。
［８］
前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、
前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部と
をさらに備え、
前記識別器生成部は、前記誤り率に基づいて前記弱識別器を選択する
［７］に記載の学習装置。
［９］
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられる
［７］または［８］に記載の学習装置。
［１０］
前記識別器生成部により生成される前記識別器は、ツリー構造の識別器を構成する識別器であり、前記転移識別器は、前記ツリー構造の識別器のリーフを構成する識別器である
［７］乃至［９］の何れかに記載の学習装置。
［１１］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成する弱識別器設定部と、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置の学習方法であって、
前記特徴量抽出部が前記学習画像から前記特徴量を抽出し、
前記弱識別器設定部が前記弱識別器を生成し、
前記弱識別計算部が前記識別結果を算出し、
前記識別器生成部が前記識別器を生成する
ステップを含む学習方法。
［１２］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成し、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２１１】
１１ 学習装置， ２１ 特徴点抽出部， ２２ 特徴量計算部， ２３ 取得部， ２４ 識別器生成部， ６１ 弱識別計算部， ６２ 誤り率計算部， ６３ 識別器更新部， ６４ 重み設定部， ９１ 学習装置， １０１ 識別器生成部， １３１ 弱識別器設定部
【技術分野】
【０００１】
本技術は学習装置および方法、並びにプログラムに関し、特に、より高速に高精度な識別器を得ることができるようにした学習装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、手形状検出器のような多クラス物体認識器の学習には、各手形状について大量の学習画像が必要となるが、大量の学習画像を用いると学習に時間がかかってしまう。そこで、すでに得られている知識を転移させることにより学習時間を削減する転移学習が提案されている（例えば、非特許文献１および非特許文献２参照）。
【０００３】
また、近年、転移学習を用いた物体認識システムも提案されてきている（例えば、非特許文献３乃至非特許文献５参照）。
【０００４】
これらの物体認識システムでは、物体が小さなパーツで表現され、そのパーツの見えの分布と位置の分布が学習され、さらに既知クラスの分布を転移することで未知なクラスの学習が行なわれる。また、物体認識システムではベイズ推定の枠組みが用いられており、１または複数という少数のサンプルからの学習にフォーカスされている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】L. Torrey and J. Shavlik. 「Transfer Learning」 In E. Soria, J. Martin, R. Magdalena, M. Martinez and A. Serrano, editors, Handbook of Research on Machine Learning Applications, IGI Global 2009
【非特許文献２】Sinno Jialin Pan and Qiang Yang.「A Survey on Transfer Learning」 IEEE Transactions on Knowledge and Data Engineering, VOL22,No.10,p1345-1359, Oct. 2010
【非特許文献３】L. Fei-Fei, R. Fergus and P. Perona. 「One-Shot learning of object categories」 IEEE Trans. Pattern Analysis and Machine Intelligence, Vol28, No.4, p594 - 611, 2006.
【非特許文献４】E. Bart, S. Ullman, 「Cross-generalization: learning novel classes from a single example by feature replacement」, in Proc. CVPR, 2005
【非特許文献５】「A Shape-Based Object Class Model for Knowledge Transfer」 M. Stark, M. Goesele and B. Schiele, Twelfth IEEE International Conference on Computer Vision (ICCV), 2009, Kyoto, Japan, (2009)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術では、実世界でのロバストな物体検出には多くの学習サンプルがないと、充分な性能を得ることができなかった。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、より高速に高精度な識別器を得ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の第１の側面の学習装置は、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部とを備える。
【０００９】
学習装置には、前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部とをさらに設け、前記識別器生成部には、前記誤り率に基づいて前記弱識別器を選択させることができる。
【００１０】
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられるようにすることができる。
【００１１】
前記識別器生成部により生成される前記識別器を、ツリー構造の識別器を構成する識別器とし、前記転移識別器を、前記ツリー構造の識別器のリーフを構成する識別器とすることができる。
【００１２】
本技術の第１の側面の学習方法またはプログラムは、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成するステップを含む。
【００１３】
本技術の第１の側面においては、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量が抽出され、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果が算出され、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器が用いられて、前記検出対象を検出するための識別器が生成される。
【００１４】
本技術の第２の側面の学習装置は、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成する弱識別器設定部と、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部とを備える。
【００１５】
学習装置には、前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部とをさらに設け、前記識別器生成部には、前記誤り率に基づいて前記弱識別器を選択させることができる。
【００１６】
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられるようにすることができる。
【００１７】
前記識別器生成部により生成される前記識別器を、ツリー構造の識別器を構成する識別器とし、前記転移識別器を、前記ツリー構造の識別器のリーフを構成する識別器とすることができる。
【００１８】
本技術の第２の側面の学習方法またはプログラムは、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成し、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成するステップを含む。
【００１９】
本技術の第２の側面においては、検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量が抽出され、前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器が生成され、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果が算出され、前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器が用いられて、前記検出対象を検出するための識別器が生成される。
【発明の効果】
【００２０】
本技術の第１の側面および第２の側面によれば、より高速に高精度な識別器を得ることができる。
【図面の簡単な説明】
【００２１】
【図１】本技術の概要を説明する図である。
【図２】パラメータの転移による学習について説明する図である。
【図３】特徴量の転移による学習について説明する図である。
【図４】手形状識別システムの一実施の形態の構成例を示す図である。
【図５】識別器生成部の構成例を示す図である。
【図６】転移学習処理を説明するフローチャートである。
【図７】パラメータの転移による学習の効果について説明する図である。
【図８】識別処理を説明するフローチャートである。
【図９】学習装置の他の構成例を示す図である。
【図１０】識別器生成部の構成例を示す図である。
【図１１】転移学習処理を説明するフローチャートである。
【図１２】識別器の設定について説明する図である。
【図１３】識別器の設定について説明する図である。
【図１４】特徴量の転移による学習の効果について説明する図である。
【図１５】ツリー構造の識別器について説明する図である。
【図１６】認識装置の構成例を示す図である。
【図１７】識別処理を説明するフローチャートである。
【図１８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２３】
〈本技術の概要〉
本技術はブースティングによる転移学習により、検出対象の物体を認識するのに用いられる識別器を生成するものである。検出対象の物体は人や顔など、どのような物体であってもよいが、以下では検出対象が人の手、特に所定形状の手である場合を例として説明する。
【００２４】
例えば、多形状の手検出は画像認識タスクのなかでも困難な問題である。これは、手の形状変化により、画像上でパターン（手の見え方）が大きく変化するため、それぞれの手形状クラスをモデル化することが困難になるからである。加えて画像認識一般の問題として、照明の変化や一部分の隠れ、視点の変化、背景の複雑性などにより、特に実世界でのロバストな認識は難しいとされている。また、多くの形状に対応するために、各手形状について多くの学習サンプルを用意しなければならない。
【００２５】
本技術による手形状検出の転移学習は、例えば図１に示すように、既に学習により得られている知識を利用して、他の手形状の新たな学習を行なうものであり、多形状の手検出などに利用可能である。
【００２６】
例えば、矢印Ａ１１に示すように、手形状としてじゃんけんで用いられるグー，チョキ，パーの各手形状の識別器が、既に大量の学習サンプルが用いられて学習されているとする。ここで、グーとは全ての指を閉じた手の状態であり、チョキとは人差し指と中指を開き残りの指を閉じた手の状態であり、パーとは全ての指を開いた手の状態である。
【００２７】
このようないくつかの手形状を検出するための識別器がある場合に、指差ししている手の形状、例えば人差し指のみを開いている手の形状を検出するための識別器を学習により得ようとするとき、既に得られている手形状の識別器が学習に用いられる。
【００２８】
すなわち、グー，チョキ，パーの各手形状の識別器と、矢印Ａ１２に示す指差しの手形状の学習用の画像とが用いられてブースティングによる転移学習が行なわれ、矢印Ａ１３に示す指差しの手形状を検出するための識別器が生成される。
【００２９】
ここで、既に得られている識別器での検出対象と、新たに生成される識別器での検出対象はともに同じ被写体（手）であり、それらの識別器で検出される手の形状や向きなど、被写体の態様のみが異なる。例えば、グーと指差しの手形状では、開いた人差し指の部分のみの形状が異なり、閉じられている指の部分など、他の多くの部分は類似した形状となっている。そこで、グーの手形状の識別器の学習で得られている知識を、指差しの手形状の識別器の学習に利用すれば、より迅速に高精度な識別器を得ることができる。
【００３０】
このようにして得られる識別器は、複数の弱識別器から構成される。例えば、弱識別器は、次式（１）に示すように画像の所定領域から抽出された特徴量を代入すると、その所定領域が検出対象らしいか否かの判別結果を出力する関数である。
【００３１】
ｆn（ｘ）＝ａn×ｇ（ｘ＞ｔｈｗn）＋ｂn ・・・（１）
【００３２】
なお、式（１）においてａnおよびｂnは定数である。また、ｇ（ｘ＞ｔｈｗn）は、特徴量ｘが閾値ｔｈｗnより大きい場合、所定領域が検出対象らしいことを示す数値「１」を出力し、特徴量ｘが閾値ｔｈｗn以下である場合、所定領域が検出対象らしくないことを示す数値「０」を出力する関数である。したがって、ｆn（ｘ）＝ａn＋ｂnである場合、所定領域は検出対象らしく、ｆn（ｘ）＝ｂnである場合、所定領域は検出対象らしくないとの判別がなされる。
【００３３】
このような弱識別器ｆn（ｘ）から構成される識別器Ｆ（ｘ）は、例えば次式（２）で表される。
【００３４】
Ｆ（ｘ）＝Σｆn（ｘ） ・・・（２）
【００３５】
すなわち、識別器Ｆ（ｘ）はＮ個の弱識別器ｆ1（ｘ）乃至ｆN（ｘ）の和となる。また、識別器Ｆ（ｘ）の出力値が所定の閾値ｔｈより大きい場合、画像中に検出対象があるとされ、識別器Ｆ（ｘ）の出力値が閾値ｔｈ以下である場合、画像中に検出対象がないとされる。
【００３６】
新たな識別器Ｆ（ｘ）を、既に得られた他の識別器を用いたブースティングによる転移学習で生成する場合、次の２つの手法が考えられる。
【００３７】
（手法１）他の識別器からパラメータを転移させて学習を行なう手法
（手法２）他の識別器から特徴量を転移させて学習を行なう手法
【００３８】
例えば、手法１のパラメータを転移させる学習では、図２に示すように既に学習により得られているグーを検出する識別器Ｆ１１を構成する弱識別器と、チョキを検出する識別器Ｆ１２を構成する弱識別器とから、指差しの手を検出する識別器Ｆ１３が生成される。
【００３９】
図２の例では、識別器Ｆ１１は４つの弱識別器ｆ１１乃至弱識別器ｆ１４から構成されており、識別器Ｆ１２は４つの弱識別器ｆ１５乃至弱識別器ｆ１８から構成されている。転移学習では、これらの８つの弱識別器ｆ１１乃至弱識別器ｆ１８のなかから、指差しの手形状を検出するのに適したいくつかの弱識別器が選択され、それらの選択された弱識別器が線形結合されて識別器Ｆ１３とされる。ここでは識別器Ｆ１３は、４つの弱識別器ｆ１１、弱識別器ｆ１３、弱識別器ｆ１７、および弱識別器ｆ１８から構成されている。
【００４０】
例えば識別器Ｆ１３を構成する弱識別器ｆ１１は、グーを検出する識別器Ｆ１１を構成する弱識別器のうち、グーの閉じられた小指の部分から抽出された特徴量を用いて、グーらしさを判別する弱識別器などとされる。また、例えば識別器Ｆ１３を構成する弱識別器ｆ１７は、チョキを検出する識別器Ｆ１２を構成する弱識別器のうち、チョキの開かれた人差し指の部分から抽出された特徴量を用いて、チョキらしさを判別する弱識別器などとされる。
【００４１】
このように、閉じられた小指の部分や開かれた人差し指の部分など、新たに生成しようとする識別器の検出対象と共通（類似）する部位について、検出対象らしさを判別する弱識別器を適切に組み合わせれば、より簡単に高精度な識別器を得ることができる。
【００４２】
なお、ブースティングによる学習とは、弱識別器と呼ばれる単体では弱い識別器を多数集めることで、１つの強い識別器を構成する学習方法であり、学習で得られた識別器は、高速な物体検出システムによく利用される。このようなブースティングとして、アダブーストなどが知られている。また、ブースティングによる学習は、例えば「Paul Viola & Michael Jones, “Robust real-time Object Detection”, International Journal of Computer Vision 2001」などに詳細に記載されている。
【００４３】
これに対して、上述した手法２の特徴量を転移させる学習では、図３に示すように既に学習により得られているグーを検出する識別器Ｆ２１を構成する弱識別器の特徴量と、チョキを検出する識別器Ｆ２２を構成する弱識別器の特徴量とが用いられて学習が行なわれる。
【００４４】
すなわち、識別器Ｆ２１は４つの弱識別器から構成されており、識別器Ｆ２１では画像から特徴量ｔ１１乃至特徴量ｔ１４が抽出されて、それらの特徴量が各弱識別器に代入される。また、識別器Ｆ２２は４つの弱識別器から構成されており、識別器Ｆ２２では画像から特徴量ｔ１５乃至特徴量ｔ１８が抽出されて、それらの特徴量が各弱識別器に代入される。
【００４５】
指差しの手形状を検出する識別器Ｆ２３の転移学習では、これらの８つの特徴量ｔ１１乃至特徴量ｔ１８のなかから、指差しの手形状を検出するのに適したいくつかの特徴量が選択され、選択された特徴量から弱識別器が生成される。つまり、指差しの手形状の検出に適した特徴量が用いられて、弱識別器を構成する式（１）の定数ａn，ｂnや閾値ｔｈｗn等のパラメータが学習し直される。
【００４６】
図３の例では、特徴量ｔ１１、特徴量ｔ１６、特徴量ｔ１３、および特徴量ｔ１８が選択され、それらの特徴量から弱識別器ｆ２１乃至弱識別器ｆ２４が生成されている。具体的には、例えば学習に用いられるサンプルとしての複数の学習画像における、特徴量ｔ１１の抽出位置と同じ位置から、特徴量ｔ１１の抽出と同じ方法で特徴量が抽出され、抽出された特徴量が用いられて弱識別器ｆ２１が生成される。つまり、より詳細には特徴量ｔ１１は、指差しの手形状を検出するのに適した特徴量の抽出位置と抽出方法を示している。選択された特徴量に基づいて弱識別器ｆ２１乃至弱識別器ｆ２４が得られると、これらの弱識別器が線形結合されて識別器Ｆ２３とされる。
【００４７】
図３に示す転移学習では、既に得られた他の識別器の弱識別器に代入される特徴量のうち、指差しの手形状を検出するのに適した抽出位置と抽出方法の特徴量が用いられて、新たな識別器が生成される。
【００４８】
次に、手法１のパラメータを転移させる学習、および手法２の特徴量を転移させる学習の順番で、具体的な実施の形態について説明する。
【００４９】
〈第１の実施の形態〉
［手形状識別システムの構成例］
図４は、手法１のパラメータを転移させる学習を行なう場合における、手形状識別システムの一実施の形態の構成例を示す図である。
【００５０】
この手形状識別システムは、学習装置１１、識別器記録部１２、および認識装置１３からなり、入力された画像から、検出対象（対象物体）としての特定の形状の手を検出するものである。
【００５１】
学習装置１１は、入力された学習画像に基づいて、認識装置１３において画像上の検出対象の有無を識別する処理を行うときに用いられる、識別用特徴量および識別器を生成し、識別器記録部１２に記録させる。認識装置１３は、識別器記録部１２に記録されている識別用特徴および識別器を用いて、入力された入力画像に検出対象が存在するか否かを識別し、その識別結果を出力する。
【００５２】
学習装置１１は、特徴点抽出部２１、特徴量計算部２２、取得部２３、および識別器生成部２４から構成される。
【００５３】
特徴点抽出部２１は、入力された学習画像から、識別器を生成するときに用いられる特徴点を抽出し、抽出した特徴点と学習画像とを特徴量計算部２２に供給する。特徴量計算部２２は、特徴点抽出部２１からの学習画像に基づいて、各特徴点の特徴量を計算し、求められた特徴量と学習画像とを識別器生成部２４に供給する。
【００５４】
取得部２３は、外部の装置等から、検出対象となる物体がこれから生成しようとする識別器の検出対象と同じであるが、検出対象となる物体の態様が異なるいくつかの識別器（以下、転移識別器と称する）を取得し、識別器生成部２４に供給する。
【００５５】
識別器生成部２４は、特徴量計算部２２から供給された学習画像および特徴量と、取得部２３から供給された転移識別器とに基づいて、例えばアダブーストによる転移学習処理を行い、検出対象を認識する識別器を生成する。また、識別器生成部２４は、生成した識別器を用いて検出対象の認識を行うときに用いられる特徴点の特徴量を、識別用特徴量として、識別器および識別用特徴量を識別器記録部１２に供給し、記録させる。
【００５６】
また、認識装置１３は、特徴点抽出部３１、特徴量計算部３２、識別計算部３３、および識別結果出力部３４から構成される。なお、認識装置１３の特徴点抽出部３１および特徴量計算部３２は、検出対象を認識しようとする入力画像に対して、学習装置１１の特徴点抽出部２１および特徴量計算部２２と同様の処理を行うものであるので、その説明は省略する。
【００５７】
識別計算部３３は、識別器記録部１２に記録されている識別用特徴量および識別器を読み出す。また、識別計算部３３は、特徴量計算部３２からの特徴量のうちの識別用特徴量に対応するものを、読み出した識別器に代入して演算を行ない、その演算結果を識別結果出力部３４に供給する。識別結果出力部３４は、識別計算部３３からの演算結果に基づいて、検出対象が入力画像から検出されたか否かの識別結果を出力する。
【００５８】
［識別器生成部の構成例］
また、図４の識別器生成部２４は、より詳細には図５に示すように構成される。
【００５９】
識別器生成部２４は、弱識別計算部６１、誤り率計算部６２、識別器更新部６３、および重み設定部６４から構成される。
【００６０】
弱識別計算部６１は、取得部２３からの転移識別器を構成する各弱識別器について、特徴量計算部２２から供給された、学習画像の特徴点から抽出された特徴量を弱識別器に代入し、弱識別器により検出対象が認識されたか否かの判定を行なう。
【００６１】
誤り率計算部６２は、弱識別計算部６１から供給された各弱識別器による演算結果、特徴量計算部２２からの学習画像に付加されているラベル、および重み設定部６４からの学習画像ごとの重みに基づいて、各弱識別器による検出対象の認識の誤り率を算出する。なお、学習画像には、その学習画像に検出対象が含まれているか否かを示すラベルが予め付加されているものとする。例えば、学習画像に検出対象が含まれている場合、その学習画像にはラベルとして「１」が付加され、学習画像に検出対象が含まれていない場合、その学習画像にはラベルとして「−１」が付加されている。
【００６２】
識別器更新部６３は、各転移識別器を構成する弱識別器のうち、誤り率計算部６２により算出された誤り率が最も低い弱識別器を選択し、選択したいくつかの弱識別器からなる識別器を生成して識別器と識別用特徴量を識別器記録部１２に供給する。また、識別器更新部６３は、選択した弱識別器の誤り率に基づいて信頼度を計算し、重み設定部６４に供給する。重み設定部６４は、識別器更新部６３からの信頼度に基づいて学習画像ごとの重みを更新し、誤り率計算部６２に供給する。
【００６３】
［転移学習処理の説明］
次に、図６のフローチャートを参照して、学習装置１１による転移学習処理について説明する。この転移学習処理は、学習装置１１に検出対象が含まれている学習画像、および検出対象が含まれていない学習画像が供給されて、識別器の生成が指示されると開始される。すなわち、学習装置１１には、ラベル「１」が付加された学習画像と、ラベル「−１」が付加された学習画像とが複数供給される。
【００６４】
ステップＳ１１において、取得部２３は複数の転移識別器を取得し、識別器生成部２４の弱識別計算部６１に供給する。例えば、これから指差しの形状の手を認識するための識別器が生成される場合、アダブーストなどの統計学習により生成された、グーの識別器やチョキの識別器が転移識別器として取得される。
【００６５】
ステップＳ１２において、特徴点抽出部２１は、供給された学習画像ごとに、学習画像上のいくつかの位置（画素）を特徴点として抽出し、抽出した特徴点と学習画像とを特徴量計算部２２に供給する。
【００６６】
ステップＳ１３において、特徴量計算部２２は、特徴点抽出部２１から供給された学習画像と特徴点に基づいて特徴量を計算する。
【００６７】
例えば、特徴量計算部２２は、学習画像上の特徴点に対してレクタングルフィルタなどのフィルタを用いたフィルタ処理を施して、そのフィルタ処理結果を特徴点における特徴量とする。特徴量計算部２２は、学習画像ごとに、学習画像上の各特徴点の特徴量を算出し、各特徴点の特徴量を弱識別計算部６１に供給するとともに、学習画像を誤り率計算部６２に供給する。
【００６８】
ステップＳ１４において、重み設定部６４は、学習画像ごとの重みを初期化する。例えば、Ｍ個の学習画像Ｐ1乃至学習画像ＰMが供給された場合、各学習画像の重みＷm（但し、１≦ｍ≦Ｍ）が１／Ｍとされる。また、識別器更新部６３は、保持している識別器Ｆ（ｘ）を０に初期化する。
【００６９】
ステップＳ１５において、弱識別計算部６１は、取得部２３から供給された転移識別器を構成する弱識別器に、特徴量計算部２２から供給された特徴点の特徴量を代入し、検出対象の認識（識別）を行う。
【００７０】
例えば、取得部２３から弱識別計算部６１にｋ個の転移識別器が供給され、それらの転移識別器を構成する弱識別器の数の合計がＮ個であったとする。すなわち、Ｎ個の弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）が弱識別計算部６１に供給されたとする。また、各学習画像Ｐm（但し、１≦ｍ≦Ｍ）から、弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）に対応するＮ個の特徴点ＦＰnの特徴量Ｆn（但し、１≦ｎ≦Ｎ）が抽出されたとする。つまり、弱識別器ｆn（ｘ）に対応する特徴点ＦＰnは、弱識別器ｆn（ｘ）に代入される特徴量が抽出される特徴点である。
【００７１】
このような場合、弱識別計算部６１は、各弱識別器ｆn（ｘ）（但し、１≦ｎ≦Ｎ）について、学習画像Ｐmごとに特徴点ＦＰnの特徴量Ｆnを式（１）における変数ｘとして、弱識別器ｆn（ｘ）を構成する関数ｇ（ｘ＞ｔｈｗn）に代入する。そして、その演算結果が弱識別器ｆn（ｘ）の学習画像Ｐmにおける特徴点ＦＰnについての識別結果とされる。
【００７２】
すなわち、関数ｇ（ｘ＞ｔｈｗn）の閾値ｔｈｗnよりも特徴量Ｆnが大きい場合、特徴点ＦＰnには検出対象が含まれている、つまり検出対象が認識されたとされて、その旨を示す数値「１」が識別結果とされる。逆に、特徴量Ｆnが閾値ｔｈｗn以下である場合、特徴点ＦＰnには検出対象が含まれていない、つまり検出対象が認識されなかったとされて、その旨を示す数値「０」が識別結果とされる。弱識別計算部６１は、このようにして得られた識別結果を誤り率計算部６２に供給する。
【００７３】
ステップＳ１６において、誤り率計算部６２は、弱識別計算部６１からの識別結果、特徴量計算部２２からの学習画像に付加されているラベル、および重み設定部６４からの学習画像ごとの重みに基づいて、各弱識別器による検出対象の認識の誤り率を算出する。すなわち、各弱識別器ｆn（ｘ）について誤り率Ｅn（但し、１≦ｎ≦Ｎ）が算出される。
【００７４】
具体的には、誤り率計算部６２は、弱識別器ｆn（ｘ）について、学習画像Ｐmごとに特徴点ＦＰnにおける識別結果と、学習画像Ｐmに付加されたラベルとを比較し、識別結果が誤認識であった学習画像Ｐmの重みＷmの総和を誤り率Ｅnとする。
【００７５】
例えば、学習画像Ｐmの特徴点ＦＰnでの識別結果が「１」であるが、学習画像Ｐmのラベルが「−１」である場合、つまり実際には学習画像Ｐmには検出対象が含まれていないが、弱識別器ｆn（ｘ）により学習画像Ｐmで検出対象が認識された場合、誤認識とされる。また、例えば学習画像Ｐmの特徴点ＦＰnでの識別結果が「０」であるが、学習画像Ｐmのラベルが「１」である場合、つまり学習画像Ｐmに検出対象が含まれているが、弱識別器ｆn（ｘ）により検出対象が認識されなかった場合、誤認識とされる。
【００７６】
このようにして得られた弱識別器ｆn（ｘ）の誤り率Ｅnは、弱識別器ｆn（ｘ）による検出対象の認識精度を示しており、誤り率Ｅnが小さい弱識別器ｆn（ｘ）ほど、より検出対象の検出に適した弱識別器であるということができる。
【００７７】
誤り率計算部６２は、各弱識別器ｆn（ｘ）の誤り率Ｅnを算出すると、それらの誤り率を識別器更新部６３に供給する。
【００７８】
ステップＳ１７において、識別器更新部６３は、誤り率計算部６２から供給された各弱識別器ｆn（ｘ）の誤り率Ｅnに基づいて、Ｎ個の弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）のうち、誤り率Ｅnが最小となる弱識別器ｆn（ｘ）を選択する。すなわち、検出対象とされる指差し形状の手を検出するのに最も適した弱識別器が選択される。識別器更新部６３は、選択した弱識別器ｆn（ｘ）を、誤り率計算部６２を介して弱識別計算部６１から取得する。
【００７９】
ステップＳ１８において、識別器更新部６３は、保持している識別器Ｆ（ｘ）に、ステップＳ１７で選択された弱識別器ｆn（ｘ）を加算することで、識別器を更新する。
【００８０】
すなわち、これまで保持されていた識別器がＦ’（ｘ）であるとすると、Ｆ’（ｘ）＋ｆn（ｘ）が新たな識別器Ｆ（ｘ）とされる。また、このとき選択された弱識別器ｆn（ｘ）に対応する特徴点ＦＰnの特徴量Ｆnが識別用特徴量とされる。
【００８１】
ステップＳ１９において、重み設定部６４は、学習画像Ｐmごとの重みＷmを更新し、更新された各学習画像の重みを誤り率計算部６２に供給する。
【００８２】
例えば、識別器更新部６３は、ステップＳ１７で選択された弱識別器ｆn（ｘ）の誤り率Ｅnに基づいて、次式（３）で示される信頼度Ｃnを計算し、その計算結果を重み設定部６４に供給する。
【００８３】
【数１】
【００８４】
そして、重み設定部６４は、識別器更新部６３からの信頼度Ｃnに基づいて次式（４）を計算することで、学習画像Ｐmの重みＷmを再計算するとともに、全ての重みＷmを正規化して更新し、誤り率計算部６２に供給する。
【００８５】
【数２】
【００８６】
なお、式（４）においてｙ≠ｆｎは、誤認識が発生した特徴点の条件を示しており、式（４）では、選択された弱識別器ｆn（ｘ）による認識において、誤認識が発生した特徴点ＦＰnを含む学習画像Ｐmの重みＷmが大きくなることが示されている。また、式（４）では、誤認識が発生しなかった学習画像Ｐmの重みＷmは、そのままの値とされる。
【００８７】
誤認識が生じた学習画像Ｐmは検出対象の認識が困難な画像であるので、そのような画像の重みが大きくなるように各学習画像の重みを更新すれば、転移学習においてより高精度に検出対象の認識が可能となる識別器を得ることができるようになる。
【００８８】
ステップＳ２０において、識別器更新部６３は、必要な数だけ弱識別器を選択したか否かを判定する。例えば、生成しようとする識別器がＪ個の弱識別器から構成されるようにすると定められている場合、識別器を構成する弱識別器がＪ個だけ選択されたとき、必要な数の弱識別器が選択されたと判定される。つまり、ステップＳ１５乃至ステップＳ１９の処理がＪ回行われたとき、必要な数の弱識別器が選択されたと判定される。
【００８９】
ステップＳ２０において、まだ必要な数だけ弱識別器が選択されていないと判定された場合、処理はステップＳ１５に戻り、上述した処理が繰り返される。
【００９０】
これに対して、ステップＳ２０において、必要な数だけ弱識別器が選択されたと判定された場合、処理はステップＳ２１に進む。
【００９１】
ステップＳ２１において、識別器更新部６３は、保持している識別器Ｆ（ｘ）と、その識別器を構成する各弱識別器の識別用特徴量とを識別器記録部１２に出力して記録させ、転移学習処理は終了する。例えば、ステップＳ１５乃至ステップＳ１９の処理がＪ回行われた場合、選択されたＪ個の弱識別器の和が識別器Ｆ（ｘ）とされる。
【００９２】
以上のようにして、学習装置１１は、学習画像と既に統計学習により得られている転移識別器とを用いて、ブースティングによる転移学習を行なう。
【００９３】
このように高精度な識別器が得られるブースティングによる学習に、既に得られている他の識別器の弱識別器を利用すれば、より高速に高精度な識別器を得ることができる。
【００９４】
例えば、図７の上側に示すように、通常のブースティングによる学習では、Ｌ個の学習画像（学習サンプル）のそれぞれについて、Ｈ個の特徴点から特徴量を抽出する場合、各特徴点についてＬ個の学習画像ごとの特徴量が並び替えられて弱識別器が設定される。そして、得られたＨ個の弱識別器のなかから、最も適切な１つの弱識別器が選択されて識別器に加算され、このようにして識別器を更新していくことで最終的な識別器が得られる。
【００９５】
これに対して、ブースティングによる転移学習では、図７の下側に示すように、Ｌ個の学習画像のそれぞれから、Ｈ個の特徴点の特徴量が抽出されて識別器が生成されると、その識別器を構成するＺ個（但し、Ｚ＜Ｈ）の弱識別器が転移される。そして、転移されたＺ個の弱識別器のなかから、最も適切な１つの弱識別器が選択されて識別器に加算され、このようにして識別器を更新していくことで最終的な識別器が得られる。
【００９６】
したがって、各学習画像上の全特徴点の数であるＨ個よりも少ないＺ個の特徴点について処理を行えばよく、また弱識別器を設定する必要もないので、通常のブースティングによる学習と比較して、Ｌ×（Ｈ／Ｚ）倍だけ高速に識別器を得ることができる。
【００９７】
［識別処理の説明］
以上において説明した転移学習処理が行われて、識別器記録部１２に識別器と識別用特徴量が記録されると、認識装置１３は、それらの識別器と識別用特徴量を用いて、供給された入力画像から検出対象を検出することができるようになる。
【００９８】
以下、図８のフローチャートを参照して、認識装置１３による識別処理について説明する。
【００９９】
ステップＳ４１において、特徴点抽出部３１は、供給された入力画像上のいくつかの位置（画素）を特徴点として抽出し、抽出した特徴点と入力画像とを特徴量計算部３２に供給する。
【０１００】
ステップＳ４２において、特徴量計算部３２は、特徴点抽出部３１から供給された入力画像と特徴点に基づいて特徴量を計算し、その計算結果を識別計算部３３に供給する。
【０１０１】
例えば、特徴量計算部３２は、入力画像上の特徴点に対してレクタングルフィルタなどのフィルタを用いたフィルタ処理を施して、そのフィルタ処理結果を特徴点における特徴量とする。
【０１０２】
なお、ステップＳ４１およびステップＳ４２では、図６のステップＳ１２およびステップＳ１３と同様の処理が行われる。
【０１０３】
ステップＳ４３において、識別計算部３３は、識別器記録部１２から識別器Ｆ（ｘ）および識別用特徴量を読み出して、読み出した識別器に特徴量を代入して計算する。すなわち、識別計算部３３は、特徴量計算部３２からの特徴量のうちの識別用特徴量に対応するものを、式（２）により示される識別器に代入して演算を行う。ここで、識別器を構成する弱識別器に代入される特徴量は、識別用特徴量とされた特徴量が求められた学習画像の特徴点と同じ位置にある、入力画像上の特徴点の特徴量である。
【０１０４】
識別計算部３３は、式（２）の演算により得られた出力値が閾値ｔｈより大きい場合、入力画像に検出対象があるとして数値「１」を識別結果とし、出力値が閾値ｔｈ以下である場合、入力画像に検出対象がないとして数値「−１」を識別結果とする。そして、識別計算部３３は、このようにして得られた識別結果を識別結果出力部３４に供給する。
【０１０５】
ステップＳ４４において、識別結果出力部３４は、識別計算部３３から供給された識別結果を出力し、識別処理は終了する。例えば、識別結果出力部３４は識別結果に基づいて、図示せぬ表示部に、入力画像から検出対象が検出された旨の表示、または入力画像から検出対象が検出されなかった旨の表示をさせる。
【０１０６】
以上のようにして、認識装置１３は識別器記録部１２に記録された識別器と識別用特徴量とを用いて、入力画像から検出対象を検出する。ブースティングによる転移学習で得られた識別器を用いて検出対象の検出を行なうことで、より高精度に検出対象を検出することができる。
【０１０７】
〈第２の実施の形態〉
［学習装置の構成例］
続いて上述した手法２の特徴量を転移させる学習を行なう場合における、学習装置の構成について説明する。
【０１０８】
図９は、特徴量を転移させて学習を行なう場合における学習装置の一実施の形態の構成例を示す図である。なお、図９において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１０９】
学習装置９１は、特徴点抽出部２１、特徴量計算部２２、取得部２３、および識別器生成部１０１から構成される。
【０１１０】
識別器生成部１０１は、特徴量計算部２２から供給された学習画像および特徴量と、取得部２３から供給された転移識別器を構成する各弱識別器の識別用特徴量とに基づいて、例えばアダブーストによる転移学習処理を行い、識別器を生成する。また、識別器生成部１０１は、生成した識別器と、その識別器を構成する弱識別器の識別用特徴量とを識別器記録部１２に供給し、記録させる。
【０１１１】
［識別器生成部の構成例］
また、図９の識別器生成部１０１は、より詳細には図１０に示すように構成される。なお、図１０において、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１２】
識別器生成部１０１は、弱識別器設定部１３１、弱識別計算部６１、誤り率計算部６２、識別器更新部６３、および重み設定部６４から構成される。
【０１１３】
弱識別器設定部１３１は、特徴量計算部２２から供給された学習画像の各特徴点の特徴量のうち、取得部２３からの転移識別器を構成する各弱識別器の識別用特徴量と同じ特徴点の特徴量を用いて、それらの特徴点ごとに弱識別器を設定する。また、弱識別器設定部１３１は、設定した弱識別器と、各学習画像の特徴点の特徴量とを弱識別計算部６１に供給する。
【０１１４】
［転移学習処理の説明］
次に、図１１のフローチャートを参照して、学習装置９１による転移学習処理について説明する。この転移学習処理では、学習装置９１には、ラベル「１」が付加された学習画像と、ラベル「−１」が付加された学習画像とが複数供給される。
【０１１５】
なお、ステップＳ５１乃至ステップＳ５４の処理は、図６のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。但し、ステップＳ５１では、取得部２３により取得された転移識別器は弱識別器設定部１３１に供給される。また、ステップＳ５３では、学習画像の各特徴点から抽出された特徴量が、特徴量計算部２２から弱識別器設定部１３１に供給され、学習画像のラベルが特徴量計算部２２から誤り率計算部６２に供給される。
【０１１６】
ステップＳ５５において、弱識別器設定部１３１は、特徴量計算部２２から供給された学習画像の各特徴点の特徴量と、取得部２３からの転移識別器を構成する各弱識別器の識別用特徴量とに基づいて、弱識別器を設定する。
【０１１７】
例えば、取得部２３から弱識別器設定部１３１にｋ個の転移識別器が供給され、それらの転移識別器を構成する弱識別器の数の合計がＮ個であったとする。すなわち、Ｎ個の弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）が供給されたとする。
【０１１８】
このような場合、図１２に示すように、各学習画像Ｐm（但し、１≦ｍ≦Ｍ）から抽出された特徴量のうち、弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）に対応するＮ個の特徴点ＦＰnの特徴量が用いられて、特徴点ごとに弱識別器が設定される。
【０１１９】
図１２では、図中、横方向に学習画像Ｐmから抽出された特徴量が並べられている。例えば、図中、一番上側に横方向に並んでいる（Ａ1，Ａ2，Ａ3，・・・，ＡN）は、学習画像Ｐ1の各特徴点の特徴量のうち、弱識別器ｆ1（ｘ）乃至弱識別器ｆN（ｘ）の識別用特徴量に対応する特徴量のそれぞれを表している。つまり、学習画像Ｐ1の各特徴点の特徴量のうち、識別用特徴量とされた特徴量が求められた特徴点と同じ位置にある、学習画像Ｐ1上の特徴点の特徴量である。
【０１２０】
また、学習画像を表す文字「Ｐm」の図中、左側の数字「＋１」または「−１」は、その学習画像Ｐmに付加されたラベルを示している。つまり、数字「＋１」は、学習画像に検出対象が含まれている旨のラベルを示しており、数字「−１」は、学習画像に検出対象が含まれていない旨のラベルを示している。
【０１２１】
さらに、図１２では、縦方向に並んだＭ個の特徴量Ａn乃至特徴量Ｖnが１つのグループＧｒn（但し、１≦ｎ≦Ｎ）とされており、このグループＧｒnに属す特徴量は、各学習画像における同じ特徴点の特徴量とされている。
【０１２２】
弱識別器設定部１３１は、グループＧｒnごとに、そのグループに属すＭ個の特徴量を昇べきの順、または降べきの順に並び替える。
【０１２３】
そして、弱識別器設定部１３１は、学習画像のラベルに基づいて、グループごとに式（１）に示した弱識別器の関数ｇ（ｘ＞ｔｈｗn）、定数ａn、および定数ｂnを定めることで、弱識別器を設定する。
【０１２４】
具体的には、図１３に示すように、グループＧｒ1に属す特徴量Ａ1乃至特徴量Ｖ1が順番に並べられ、弱識別器設定部１３１が関数ｇ（ｘ＞ｔｈｗ1）を定める閾値ｔｈｗ1を、特徴量Ａ1と特徴量Ｃ1の間に設定したとする。
【０１２５】
ここで、特徴量が閾値ｔｈｗ1より小さい範囲、つまり図中、閾値ｔｈｗ1より左側の「−１」で示される範囲では、認識しようとする検出対象がないとされる。また、特徴量が閾値ｔｈｗ1より大きい範囲、つまり図中、閾値ｔｈｗ1より右側の「＋１」で示される範囲では、認識しようとする検出対象があるとされる。
【０１２６】
この例では、図中の点線で囲まれた特徴量Ａ1は、検出対象が含まれた学習画像の特徴量であるのでエラー（誤認識）であるとみなされる。同様に、点線で囲まれた特徴量Ｃ1と特徴量Ｖ1は、検出対象が含まれていない学習画像の特徴量であるのでエラー（誤認識）であるとみなされる。
【０１２７】
弱識別器設定部１３１は、例えば閾値ｔｈｗ1の値を変化させながら、各閾値ｔｈｗ1の値について上述した弱識別器ｆ1（ｘ）の誤り率Ｅ1を算出し、誤り率Ｅ1が最小となるように閾値ｔｈｗ1を定めることで、弱識別器を設定する。この場合、弱識別器設定部１３１は、重み設定部６４から各学習画像の重みを取得して、誤り率の算出を行なう。
【０１２８】
弱識別器設定部１３１は、各グループ、つまり転移識別器の各弱識別器の識別用特徴量に対応する学習画像の特徴点について、弱識別器を設定すると、設定した弱識別器と、学習画像の各特徴点の特徴量とを弱識別計算部６１に供給する。
【０１２９】
このようにして弱識別器が設定されると、その後、ステップＳ５６乃至ステップＳ６２の処理が行われて転移学習処理は終了するが、これらの処理は図６のステップＳ１５乃至ステップＳ２１の処理と同様であるので、その説明は省略する。
【０１３０】
但し、図６のステップＳ１５では、転移識別器を構成する弱識別器が用いられて処理が行われるのに対して、図１１のステップＳ５６では、ステップＳ５５の処理で設定された弱識別器が用いられて処理が行われる。
【０１３１】
以上のようにして、学習装置９１は、学習画像と既に統計学習により得られている転移識別器とを用いて、ブースティングによる転移学習を行なう。
【０１３２】
このように高精度な識別器が得られるブースティングによる学習に、既に得られている他の識別器の弱識別器の識別用特徴量を利用すれば、より高速に高精度な識別器を得ることができる。
【０１３３】
例えば、図１４に示すように、ブースティングによる転移学習では、Ｌ個の学習画像のそれぞれから、Ｈ個の特徴点の特徴量が抽出されて識別器が生成されると、その識別器を構成するＺ個（但し、Ｚ＜Ｈ）の弱識別器の識別用特徴量が転移される。
【０１３４】
また、転移されたＺ個の識別用特徴量に対応する学習画像の特徴点の特徴量が用いられて、特徴点ごとに弱識別器が設定される。そして、設定された弱識別器のなかから、最も適切な１つの弱識別器が選択されて識別器に加算され、このようにして識別器を更新していくことで、最終的な識別器が得られる。
【０１３５】
これに対して、通常のブースティングによる学習では、識別器の転移が行なわれないので、Ｈ個の特徴点ごとに弱識別器が設定されることになる。
【０１３６】
したがって、ブースティングによる転移学習では、各学習画像上の全特徴点の数であるＨ個よりも少ないＺ個の特徴点について処理を行えばよいので、通常のブースティングによる学習と比較して、Ｈ／Ｚ倍だけ高速に識別器を得ることができる。
【０１３７】
学習装置９１により生成された識別器と識別用特徴量も、識別器記録部１２に記録されると、それらの識別器と識別用特徴量は、認識装置１３による識別処理に用いられる。すなわち、図８を参照して説明した識別処理に用いられる。
【０１３８】
〈第３の実施の形態〉
［ツリー構造の識別器について］
なお、以上においては、特定形状の手を検出するための識別器の学習に、既に得られた他の形状の手検出用の識別器を利用する例について説明したが、転移学習をツリー構造（木構造）の識別器を用いた認識システムに適用することも可能である。
【０１３９】
例えば、図１５に示すように、１１個の識別器ＴＦ１１乃至識別器ＴＦ２１からなるツリー構造の識別器を用いて、入力画像上の手の形状を識別する場合を例として説明する。
【０１４０】
このツリー構造の識別器は、入力された入力画像から、グー形状の右手若しくは左手、パー形状の右手若しくは左手、またはチョキ形状の右手若しくは左手のうちの何れかの形状の手を検出する、多クラス物体認識用の識別器である。
【０１４１】
ツリー構造の識別器を構成する識別器ＴＦ１１は、入力画像から手を検出するための識別器であり、特にルートノードと呼ばれている。ここで、識別器ＴＦ１１による手検出では、グーやパーなど、手の形状によらず入力画像に手らしいものがあれば、手が検出された旨の識別結果が出力される。また、識別器ＴＦ１２は、入力画像からグー形状の手を検出するための識別器であり、識別器ＴＦ１３は、入力画像からパーまたはチョキの形状の手を検出するための識別器である。
【０１４２】
識別器ＴＦ１４および識別器ＴＦ１５は、それぞれ入力画像から右手グーおよび左手グーを検出するためのものであり、識別器ＴＦ１６および識別器ＴＦ１７は、それぞれ入力画像からパー形状の手およびチョキ形状の手を検出するための識別器である。
【０１４３】
さらに、識別器ＴＦ１８および識別器ＴＦ１９は、それぞれ入力画像から右手パーおよび左手パーを検出するためのものであり、識別器ＴＦ２０および識別器ＴＦ２１は、それぞれ入力画像から右手チョキおよび左手チョキを検出するためのものである。
【０１４４】
特に、ツリーの末端にある識別器ＴＦ１４、識別器ＴＦ１５、および識別器ＴＦ１８乃至識別器ＴＦ２１は、リーフと呼ばれている。また、ルートノードとリーフの間にある識別器ＴＦ１２、識別器ＴＦ１３、識別器ＴＦ１６、および識別器ＴＦ１７は、ノードと呼ばれている。
【０１４５】
このようなツリー構造の識別器が用いられて手形状の識別が行なわれる場合、まず識別器ＴＦ１１により入力画像に対して手検出が行なわれる。そして、入力画像から手が検出されると、次に識別器ＴＦ１２により入力画像からグーの検出が行なわれるとともに、識別器ＴＦ１３により入力画像からパーまたはチョキの検出が行なわれる。
【０１４６】
このとき、識別器ＴＦ１３の識別結果よりも、識別器ＴＦ１２の識別結果がより確からしい場合、つまり入力画像にグー形状の手があると推定される場合、入力画像に対して識別器ＴＦ１４および識別器ＴＦ１５による識別が行なわれる。
【０１４７】
その結果、識別器ＴＦ１５の識別結果よりも識別器ＴＦ１４の識別結果がより確からしい場合、入力画像から右手グーが検出されたとされ、識別器ＴＦ１４の識別結果よりも識別器ＴＦ１５の識別結果がより確からしい場合、入力画像から左手グーが検出されたとされる。
【０１４８】
また、識別器ＴＦ１２の識別結果よりも、識別器ＴＦ１３の識別結果がより確からしい場合、つまり入力画像にパーまたはチョキ形状の手があると推定される場合、入力画像に対して識別器ＴＦ１６および識別器ＴＦ１７による識別が行なわれる。
【０１４９】
その結果、識別器ＴＦ１７の識別結果よりも、識別器ＴＦ１６の識別結果がより確からしい場合、つまり入力画像にパー形状の手があると推定される場合、入力画像に対して識別器ＴＦ１８および識別器ＴＦ１９による識別が行なわれる。そして、それらの識別器の識別結果のうち、識別器ＴＦ１８の識別結果がより確からしい場合、入力画像から右手パーが検出されたとされ、識別器ＴＦ１９の識別結果がより確からしい場合、入力画像から左手パーが検出されたとされる。
【０１５０】
また、識別器ＴＦ１６の識別結果よりも、識別器ＴＦ１７の識別結果がより確からしい場合、つまり入力画像にチョキ形状の手があると推定される場合、入力画像に対して識別器ＴＦ２０および識別器ＴＦ２１による識別が行なわれる。そして、それらの識別器の識別結果のうち、識別器ＴＦ２０の識別結果がより確からしい場合、入力画像から右手チョキが検出されたとされ、識別器ＴＦ２１の識別結果がより確からしい場合、入力画像から左手チョキが検出されたとされる。
【０１５１】
このように、多クラスの物体認識が可能なツリー構造の識別器では、いくつかの識別器により入力画像に対して物体認識が行なわれ、その結果により右手パーや左手チョキなど、各クラスのうちの何れかのクラスの物体が検出される。
【０１５２】
また、例えばこのようなツリー構造の識別器を学習により得ようとする場合、リーフとなる識別器をアダブーストのようなブースティングによる学習により生成すれば、高精度な識別器を得ることができる。
【０１５３】
さらに、これらのリーフとなる識別器を転移識別器として、ブースティングによる転移学習により、各ノードやルートノードの識別器を生成すれば、より少ない学習サンプルで、より高速に高精度な識別器を得ることができる。
【０１５４】
特に、通常のブースティングによる学習でルートノードの識別器を生成しようとすると、パーやグーなど多くの形状の手の学習画像が大量に必要となるため、膨大な計算時間がかかってしまう。これに対して、リーフの識別器を転移させてルートノードの識別器を転移学習により生成すれば、大幅に学習効率を向上させることができる。
【０１５５】
例えば、ノードである識別器ＴＦ１２を得ようとする場合には、リーフである識別器ＴＦ１４、識別器ＴＦ１５、および識別器ＴＦ１８乃至識別器ＴＦ２１を転移識別器として、転移学習を行なえばよい。
【０１５６】
具体的には、例えば図４に示した学習装置１１が、識別器ＴＦ１４、識別器ＴＦ１５、および識別器ＴＦ１８乃至識別器ＴＦ２１を構成する弱識別器を転移させ、図６の転移学習処理を行なえば、識別器ＴＦ１２を得ることができる。
【０１５７】
また、例えば図９に示した学習装置９１が、識別器ＴＦ１４、識別器ＴＦ１５、および識別器ＴＦ１８乃至識別器ＴＦ２１を構成する弱識別器の識別用特徴量を転移させ、図１１の転移学習処理を行なうことで識別器ＴＦ１２を得ることも勿論可能である。
【０１５８】
［認識装置の構成例］
次に、図１５に示したツリー構造の識別器を用いて多クラスの手形状認識を行なう認識装置について説明する。そのような認識装置は、例えば図１６に示すように構成される。
【０１５９】
すなわち、認識装置１６１は、手識別部１７１、グー識別部１７２、チョキパー識別部１７３、比較部１７４、右グー識別部１７５、左グー識別部１７６、パー識別部１７７、チョキ識別部１７８、比較部１７９、右パー識別部１８０、左パー識別部１８１、右チョキ識別部１８２、左チョキ識別部１８３、および出力部１８４から構成される。
【０１６０】
認識装置１６１では、図１５の識別器ＴＦ１１乃至識別器ＴＦ２１のそれぞれが、手識別部１７１、グー識別部１７２、チョキパー識別部１７３、右グー識別部１７５、左グー識別部１７６、パー識別部１７７、チョキ識別部１７８、右パー識別部１８０、左パー識別部１８１、右チョキ識別部１８２、および左チョキ識別部１８３に記録されている。
【０１６１】
手識別部１７１は、識別器ＴＦ１１を用いて供給された入力画像から手を検出し、手が検出された場合、手が検出された旨の識別結果と入力画像をグー識別部１７２およびチョキパー識別部１７３に供給する。また、手識別部１７１は、入力画像から手が検出されなかった場合、手が検出されなかった旨の識別結果を出力部１８４に供給する。
【０１６２】
グー識別部１７２およびチョキパー識別部１７３は、記録している識別器ＴＦ１２および識別器ＴＦ１３に基づいて、手識別部１７１から供給された入力画像上のグー、およびパーまたはチョキを識別し、その識別結果と入力画像を比較部１７４に供給する。
【０１６３】
比較部１７４は、グー識別部１７２およびチョキパー識別部１７３から供給された識別結果を比較して、入力画像を右グー識別部１７５および左グー識別部１７６、またはパー識別部１７７およびチョキ識別部１７８に供給する。
【０１６４】
右グー識別部１７５および左グー識別部１７６は、記録している識別器ＴＦ１４および識別器ＴＦ１５に基づいて、比較部１７４から供給された入力画像上の右手グー、および左手グーを識別し、その識別結果を出力部１８４に供給する。
【０１６５】
パー識別部１７７およびチョキ識別部１７８は、記録している識別器ＴＦ１６および識別器ＴＦ１７に基づいて、比較部１７４から供給された入力画像上のパー、およびチョキを識別し、その識別結果と入力画像を比較部１７９に供給する。
【０１６６】
比較部１７９は、パー識別部１７７およびチョキ識別部１７８から供給された識別結果を比較して、入力画像を右パー識別部１８０および左パー識別部１８１、または右チョキ識別部１８２および左チョキ識別部１８３に供給する。
【０１６７】
右パー識別部１８０および左パー識別部１８１は、記録している識別器ＴＦ１８および識別器ＴＦ１９に基づいて、比較部１７９から供給された入力画像上の右手パー、および左手パーを識別し、その識別結果を出力部１８４に供給する。右チョキ識別部１８２および左チョキ識別部１８３は、記録している識別器ＴＦ２０および識別器ＴＦ２１に基づいて、比較部１７９から供給された入力画像上の右手チョキ、および左手チョキを識別し、その識別結果を出力部１８４に供給する。
【０１６８】
出力部１８４は、手識別部１７１、右グー識別部１７５、左グー識別部１７６、右パー識別部１８０、左パー識別部１８１、右チョキ識別部１８２、および左チョキ識別部１８３からの識別結果に基づいて、入力画像からの手の識別結果を出力する。
【０１６９】
［識別処理の説明］
図１６の認識装置１６１に入力画像が供給され、手形状の認識が指示されると、認識装置１６１は識別処理を行なって、入力画像から手を検出する。以下、図１７のフローチャートを参照して、認識装置１６１による識別処理について説明する。
【０１７０】
ステップＳ９１において、手識別部１７１は、識別器ＴＦ１１を用いて供給された入力画像から手を検出する。すなわち、手識別部１７１は、入力画像から特徴量を抽出して識別器ＴＦ１１に代入し、その演算結果が所定の閾値より大きい場合、入力画像から手が検出されたとする。
【０１７１】
ステップＳ９２において、手識別部１７１は、入力画像から手が検出されたか否かを判定する。ステップＳ９２において、手が検出されなかったと判定された場合、その旨の識別結果を出力部１８４に供給し、処理はステップＳ１０５に進む。
【０１７２】
これに対して、ステップＳ９２において、手が検出されたと判定された場合、手識別部１７１は、手が検出された旨の識別結果と入力画像をグー識別部１７２およびチョキパー識別部１７３に供給し、処理はステップＳ９３に進む。
【０１７３】
ステップＳ９３において、グー識別部１７２は、記録している識別器ＴＦ１２に基づいて、手識別部１７１から供給された入力画像からのグーの識別を行なう。すなわち、グー識別部１７２は、入力画像から特徴量を抽出して識別器ＴＦ１２に代入し、その演算結果として得られた出力値と入力画像を比較部１７４に供給する。
【０１７４】
このようにして得られた出力値は、入力画像のグーの手らしさを示しており、出力値が大きいほど、入力画像がグー形状の手らしい画像であるとされる。なお、他の識別器においても、識別器に特徴量を代入して得られる出力値は、その識別器により検出される物体、すなわちここでは、特定形状の手らしさを示している。
【０１７５】
ステップＳ９４において、チョキパー識別部１７３は、記録している識別器ＴＦ１３に基づいて、手識別部１７１から供給された入力画像からのパーまたはチョキの識別を行なう。すなわち、チョキパー識別部１７３は、入力画像から特徴量を抽出して識別器ＴＦ１３に代入し、その演算結果として得られた出力値と入力画像を比較部１７４に供給する。
【０１７６】
ステップＳ９５において、比較部１７４は、グー識別部１７２からの出力値とチョキパー識別部１７３からの出力値とを比較して、入力画像上のグーが識別されたか否かを判定する。例えば、グー識別部１７２からの出力値が、チョキパー識別部１７３からの出力値よりも大きい場合、入力画像には、チョキまたはパーよりもグーが含まれる可能性が高いので、グーが識別されたと判定される。
【０１７７】
ステップＳ９５において、グーが識別されたと判定された場合、比較部１７４は、入力画像を右グー識別部１７５および左グー識別部１７６に供給し、処理はステップＳ９６に進む。
【０１７８】
ステップＳ９６において、右グー識別部１７５は、記録している識別器ＴＦ１４に基づいて、比較部１７４から供給された入力画像からの右手グーの識別を行なう。すなわち、右グー識別部１７５は、入力画像から特徴量を抽出して識別器ＴＦ１４に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１７９】
ステップＳ９７において、左グー識別部１７６は、記録している識別器ＴＦ１５に基づいて、比較部１７４から供給された入力画像からの左手グーの識別を行なう。すなわち、左グー識別部１７６は、入力画像から特徴量を抽出して識別器ＴＦ１５に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１８０】
ステップＳ９７の処理が行なわれると、その後、処理はステップＳ１０５に進む。
【０１８１】
また、ステップＳ９５において、入力画像上のグーが識別されなかったと判定された場合、つまり入力画像上のパーまたはチョキが識別された場合、比較部１７４は、入力画像をパー識別部１７７およびチョキ識別部１７８に供給し、処理はステップＳ９８に進む。
【０１８２】
ステップＳ９８において、パー識別部１７７は、記録している識別器ＴＦ１６に基づいて、比較部１７４から供給された入力画像からのパーの識別を行なう。すなわち、パー識別部１７７は、入力画像から特徴量を抽出して識別器ＴＦ１６に代入し、その演算結果として得られた出力値と入力画像を比較部１７９に供給する。
【０１８３】
ステップＳ９９において、チョキ識別部１７８は、記録している識別器ＴＦ１７に基づいて、比較部１７４から供給された入力画像からのチョキの識別を行なう。すなわち、チョキ識別部１７８は、入力画像から特徴量を抽出して識別器ＴＦ１７に代入し、その演算結果として得られた出力値と入力画像を比較部１７９に供給する。
【０１８４】
ステップＳ１００において、比較部１７９は、パー識別部１７７からの出力値とチョキ識別部１７８からの出力値とを比較して、入力画像上のパーが識別されたか否かを判定する。例えば、パー識別部１７７からの出力値が、チョキ識別部１７８からの出力値よりも大きい場合、パーが識別されたと判定される。
【０１８５】
ステップＳ１００において、パーが識別されたと判定された場合、比較部１７９は、入力画像を右パー識別部１８０および左パー識別部１８１に供給し、処理はステップＳ１０１に進む。
【０１８６】
ステップＳ１０１において、右パー識別部１８０は、記録している識別器ＴＦ１８に基づいて、比較部１７９から供給された入力画像からの右手パーの識別を行なう。すなわち、右パー識別部１８０は、入力画像から特徴量を抽出して識別器ＴＦ１８に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１８７】
ステップＳ１０２において、左パー識別部１８１は、記録している識別器ＴＦ１９に基づいて、比較部１７９から供給された入力画像からの左手パーの識別を行なう。すなわち、左パー識別部１８１は、入力画像から特徴量を抽出して識別器ＴＦ１９に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１８８】
ステップＳ１０２の処理が行なわれると、その後、処理はステップＳ１０５に進む。
【０１８９】
さらに、ステップＳ１００において、パーが識別されなかった、すなわちチョキが識別されたと判定された場合、比較部１７９は、入力画像を右チョキ識別部１８２および左チョキ識別部１８３に供給し、処理はステップＳ１０３に進む。
【０１９０】
ステップＳ１０３において、右チョキ識別部１８２は、記録している識別器ＴＦ２０に基づいて、比較部１７９から供給された入力画像からの右手チョキの識別を行なう。すなわち、右チョキ識別部１８２は、入力画像から特徴量を抽出して識別器ＴＦ２０に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１９１】
ステップＳ１０４において、左チョキ識別部１８３は、記録している識別器ＴＦ２１に基づいて、比較部１７９から供給された入力画像からの左手チョキの識別を行なう。すなわち、左チョキ識別部１８３は、入力画像から特徴量を抽出して識別器ＴＦ２１に代入し、その演算結果として得られた出力値を出力部１８４に供給する。
【０１９２】
ステップＳ１０４の処理が行なわれると、その後、処理はステップＳ１０５に進む。
【０１９３】
ステップＳ９２において手が検出されなかったと判定されたか、ステップＳ９７で左手グーの識別が行なわれたか、ステップＳ１０２で左手パーの識別が行なわれたか、またはステップＳ１０４で左手チョキの識別が行なわれた場合、ステップＳ１０５の処理が行なわれる。
【０１９４】
すなわち、ステップＳ１０５において、出力部１８４は、手識別部１７１、右グー識別部１７５および左グー識別部１７６、右パー識別部１８０および左パー識別部１８１、または右チョキ識別部１８２および左チョキ識別部１８３からの識別結果に基づいて、入力画像からの最終的な手の識別結果を出力する。
【０１９５】
具体的には、出力部１８４は、ステップＳ９２で手が検出されなかったと判定された場合、すなわち手識別部１７１から手が検出されなかった旨の識別結果が供給された場合、その識別結果を最終的な識別結果として出力する。
【０１９６】
また、出力部１８４は、ステップＳ９６およびステップＳ９７の処理により、右グー識別部１７５および左グー識別部１７６から出力値が供給された場合、それらの出力値のうちの大きい方により示される識別結果を最終的な識別結果として出力する。例えば、右グー識別部１７５からの出力値がより大きい場合、右手のグーが識別された旨の識別結果が出力される。
【０１９７】
さらに、出力部１８４は、ステップＳ１０１およびステップＳ１０２の処理により、右パー識別部１８０および左パー識別部１８１から出力値が供給された場合、それらの出力値のうちの大きい方により示される識別結果を最終的な識別結果として出力する。また、出力部１８４は、ステップＳ１０３およびステップＳ１０４の処理により、右チョキ識別部１８２および左チョキ識別部１８３から出力値が供給された場合、それらの出力値のうちの大きい方により示される識別結果を最終的な識別結果として出力する。
【０１９８】
このようにして出力部１８４から最終的な識別結果が出力されると、識別処理は終了する。
【０１９９】
以上のようにして認識装置１６１は、ツリー構造の識別器を用いて入力画像上の被写体の識別を行い、その識別結果を出力する。ツリー構造の識別器として、ブースティングによる転移学習で得られた識別器を用いれば、高精度に被写体の識別を行なうことができる。
【０２００】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２０１】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２０２】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０２０３】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０２０４】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０２０５】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２０６】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０２０７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０９】
さらに、本技術は、以下の構成とすることも可能である。
【０２１０】
［１］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置。
［２］
前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、
前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部と
をさらに備え、
前記識別器生成部は、前記誤り率に基づいて前記弱識別器を選択する
［１］に記載の学習装置。
［３］
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられる
［１］または［２］に記載の学習装置。
［４］
前記識別器生成部により生成される前記識別器は、ツリー構造の識別器を構成する識別器であり、前記転移識別器は、前記ツリー構造の識別器のリーフを構成する識別器である
［１］乃至［３］の何れかに記載の学習装置。
［５］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置の学習方法であって、
前記特徴量抽出部が前記学習画像から前記特徴量を抽出し、
前記弱識別計算部が前記識別結果を算出し、
前記識別器生成部が前記識別器を生成する
ステップを含む学習方法。
［６］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
［７］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成する弱識別器設定部と、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置。
［８］
前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、
前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部と
をさらに備え、
前記識別器生成部は、前記誤り率に基づいて前記弱識別器を選択する
［７］に記載の学習装置。
［９］
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられる
［７］または［８］に記載の学習装置。
［１０］
前記識別器生成部により生成される前記識別器は、ツリー構造の識別器を構成する識別器であり、前記転移識別器は、前記ツリー構造の識別器のリーフを構成する識別器である
［７］乃至［９］の何れかに記載の学習装置。
［１１］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成する弱識別器設定部と、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置の学習方法であって、
前記特徴量抽出部が前記学習画像から前記特徴量を抽出し、
前記弱識別器設定部が前記弱識別器を生成し、
前記弱識別計算部が前記識別結果を算出し、
前記識別器生成部が前記識別器を生成する
ステップを含む学習方法。
［１２］
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成し、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２１１】
１１ 学習装置， ２１ 特徴点抽出部， ２２ 特徴量計算部， ２３ 取得部， ２４ 識別器生成部， ６１ 弱識別計算部， ６２ 誤り率計算部， ６３ 識別器更新部， ６４ 重み設定部， ９１ 学習装置， １０１ 識別器生成部， １３１ 弱識別器設定部
【特許請求の範囲】
【請求項１】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置。
【請求項２】
前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、
前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部と
をさらに備え、
前記識別器生成部は、前記誤り率に基づいて前記弱識別器を選択する
請求項１に記載の学習装置。
【請求項３】
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられる
請求項２に記載の学習装置。
【請求項４】
前記識別器生成部により生成される前記識別器は、ツリー構造の識別器を構成する識別器であり、前記転移識別器は、前記ツリー構造の識別器のリーフを構成する識別器である
請求項３に記載の学習装置。
【請求項５】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置の学習方法であって、
前記特徴量抽出部が前記学習画像から前記特徴量を抽出し、
前記弱識別計算部が前記識別結果を算出し、
前記識別器生成部が前記識別器を生成する
ステップを含む学習方法。
【請求項６】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項７】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成する弱識別器設定部と、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置。
【請求項８】
前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、
前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部と
をさらに備え、
前記識別器生成部は、前記誤り率に基づいて前記弱識別器を選択する
請求項７に記載の学習装置。
【請求項９】
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられる
請求項８に記載の学習装置。
【請求項１０】
前記識別器生成部により生成される前記識別器は、ツリー構造の識別器を構成する識別器であり、前記転移識別器は、前記ツリー構造の識別器のリーフを構成する識別器である
請求項９に記載の学習装置。
【請求項１１】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成する弱識別器設定部と、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置の学習方法であって、
前記特徴量抽出部が前記学習画像から前記特徴量を抽出し、
前記弱識別器設定部が前記弱識別器を生成し、
前記弱識別計算部が前記識別結果を算出し、
前記識別器生成部が前記識別器を生成する
ステップを含む学習方法。
【請求項１２】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成し、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置。
【請求項２】
前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、
前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部と
をさらに備え、
前記識別器生成部は、前記誤り率に基づいて前記弱識別器を選択する
請求項１に記載の学習装置。
【請求項３】
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられる
請求項２に記載の学習装置。
【請求項４】
前記識別器生成部により生成される前記識別器は、ツリー構造の識別器を構成する識別器であり、前記転移識別器は、前記ツリー構造の識別器のリーフを構成する識別器である
請求項３に記載の学習装置。
【請求項５】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置の学習方法であって、
前記特徴量抽出部が前記学習画像から前記特徴量を抽出し、
前記弱識別計算部が前記識別結果を算出し、
前記識別器生成部が前記識別器を生成する
ステップを含む学習方法。
【請求項６】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、
統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する複数の弱識別器のそれぞれについて、前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項７】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成する弱識別器設定部と、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置。
【請求項８】
前記識別結果に基づいて前記学習画像の重みを設定する重み設定部と、
前記弱識別器による各前記学習画像の前記識別結果および前記重みに基づいて、前記弱識別器の誤り率を計算する誤り率計算部と
をさらに備え、
前記識別器生成部は、前記誤り率に基づいて前記弱識別器を選択する
請求項７に記載の学習装置。
【請求項９】
前記識別器生成部により生成される前記識別器は、多クラス物体認識に用いられる
請求項８に記載の学習装置。
【請求項１０】
前記識別器生成部により生成される前記識別器は、ツリー構造の識別器を構成する識別器であり、前記転移識別器は、前記ツリー構造の識別器のリーフを構成する識別器である
請求項９に記載の学習装置。
【請求項１１】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出する特徴量抽出部と、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成する弱識別器設定部と、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出する弱識別計算部と、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する識別器生成部と
を備える学習装置の学習方法であって、
前記特徴量抽出部が前記学習画像から前記特徴量を抽出し、
前記弱識別器設定部が前記弱識別器を生成し、
前記弱識別計算部が前記識別結果を算出し、
前記識別器生成部が前記識別器を生成する
ステップを含む学習方法。
【請求項１２】
検出対象が含まれている学習画像と、前記検出対象が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像の特徴点から特徴量を抽出し、
前記学習画像から抽出された前記特徴量のうち、統計学習により得られた前記検出対象を検出するための識別器である転移識別器を構成する転移弱識別器に対応する前記特徴量と、前記学習画像とに基づいて弱識別器を生成し、
前記弱識別器に対応する前記特徴量を前記弱識別器に代入することで、前記学習画像ごとに前記弱識別器による前記検出対象の識別結果を算出し、
前記識別結果に基づいて複数の前記弱識別器から選択された前記弱識別器を用いて、前記検出対象を検出するための識別器を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−２４３１８０（Ｐ２０１２−２４３１８０Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４３７９（Ｐ２０１１−１１４３７９）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]