情報処理装置、情報処理方法、およびプログラム
【課題】入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成することによって、より高精度の情報抽出装置を自動的に構築する。
【解決手段】高精度情報抽出装置構築システム１０は、特徴量抽出式リストを生成する特徴量抽出式リスト生成部１１、各特徴量抽出式により教師データの特徴量を計算する特徴量計算部１２、教師データを供給する教師データ供給部１３、計算された教師データの特徴量と教師データとに基づいて情報抽出式を機械学習により生成するとともに各特徴抽出式の評価値を算出する評価値算出部１５、および、評価値算出部１５から出力されるＴ個の弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtを用いて高精度情報抽出装置を構築する合成部１６から構成される。本発明は、入力データから、入力データの特徴量を示す情報を高精度に抽出する情報抽出装置を構築する場合に適用できる。
【解決手段】高精度情報抽出装置構築システム１０は、特徴量抽出式リストを生成する特徴量抽出式リスト生成部１１、各特徴量抽出式により教師データの特徴量を計算する特徴量計算部１２、教師データを供給する教師データ供給部１３、計算された教師データの特徴量と教師データとに基づいて情報抽出式を機械学習により生成するとともに各特徴抽出式の評価値を算出する評価値算出部１５、および、評価値算出部１５から出力されるＴ個の弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtを用いて高精度情報抽出装置を構築する合成部１６から構成される。本発明は、入力データから、入力データの特徴量を示す情報を高精度に抽出する情報抽出装置を構築する場合に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、楽曲データなどの入力データから当該入力データの特徴を示す情報を高精度に抽出できる高精度情報抽出アルゴリズムを自動的に構築するようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、楽曲データや画像データなどを入力データとして、前記入力データの情報（入力データが楽曲データである場合、速さ、明るさ、にぎやかさ等）を出力することができるアルゴリズムを自動的に構築する発明が提案されている（例えば、特許文献１参照）。
【０００３】
また、入力データから当該入力データの特徴を示す情報を高精度に抽出できるアルゴリズムを構築する方法として、アンサンブル学習と称する手法が知られている。
【０００４】
アンサンブル学習は、複数の教師データを用いて精度の低い情報抽出装置（以下、弱情報抽出部(weak learner)と称する）を複数生成し、生成した複数の弱情報抽出部による出力を組み合わせることによって高精度の情報抽出装置を得る手法である。
【０００５】
アンサンブル手法の例としては、ブースティング(boosting)とバッギング(bagging)の２種類を挙げることができる。
【０００６】
ブースティングでは、各教師データに重み付けを行い、全ての教師データを用いて１つの弱情報抽出部を生成する。そして生成した弱情報抽出部によって正しく情報が抽出された教師データについては重みを下げ、間違って情報が抽出された教師データについては重みを上げることにより、教師データの重みを更新する。また、重みが更新された全ての教師データを用いてさらにもう１つの弱情報抽出部を生成する。以下同様の処理を繰り返すことにより、複数の弱情報抽出部を生成し、生成した複数の弱情報抽出部の出力をそれぞれの重み付けで組み合わせることによって高精度の情報抽出装置を得る。
【０００７】
バッギングでは、全ての教師データから所定数をランダムにサンプリングして教師データ群を生成し、教師データ群を用いて１つの弱情報抽出部を生成する。この処理を繰り返すことにより、複数の弱情報抽出部を生成し、生成した複数の弱情報抽出部の出力を組み合わせることによって高精度の情報抽出装置を得る。
【０００８】
【特許文献１】米国特許出願公報 ＵＳ２００４／０１８１４０１Ａ１
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したブースティングやバッギングなどアンサンブル手法では、より多くの弱情報抽出部を生成して、その出力を組み合わせることによって、より高精度の情報抽出装置を得ることができる。
【００１０】
しかしながら、入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成する方法は従来確立されておらず、弱情報抽出部を人手によって生成する必要があった。したがって、弱情報抽出部の数を増やして情報抽出装置の精度を所望のレベルまで到達させることが困難であった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成することによって、より高精度の情報抽出装置を自動的に構築できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面である情報処理装置は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出する評価値算出手段と、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する更新手段とを含むことを特徴とする。
【００１３】
本発明の第１の側面である情報処理装置は、複数の前記情報抽出部を、前記情報抽出部の前記信頼度に基づいて合成することにより、前記高精度情報抽出部を構築する合成手段をさらに含むことができる。
【００１４】
本発明の第１の側面である情報処理方法は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新するステップを含むことを特徴とする。
【００１５】
本発明の第１の側面であるプログラムは、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新するステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とする。
【００１６】
本発明の第１の側面においては、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストがランダムに生成され、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データが入力されて、前記実データに対応する複数の特徴量が計算される。また、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補が生成されるとともに、生成された前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値が算出される。さらに、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストが更新される。そして、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補が、前記アンサンブル学習における１つの前記情報抽出部に決定され、決定された前記情報抽出部によって間違って推定された教師データの重みを用いて、決定された前記情報抽出部の信頼度が算出され、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みが更新される。
【００１７】
本発明の第２の側面である情報処理装置は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択する選択手段と、複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する評価値算出手段とを含むことを特徴とする。
【００１８】
本発明の第２の側面である情報処理装置は、複数の前記情報抽出部を合成することにより、前記高精度情報抽出部を構築する合成手段をさらに含むことができる。
【００１９】
本発明の第２の側面である情報処理方法は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成するステップを含むことを特徴とする。
【００２０】
本発明の第２の側面であるプログラムは、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成するステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とする。
【００２１】
本発明の第２の側面においては、実データ、および前記実データの特徴を示す情報からなる教師データがランダムに選択され、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストがランダムに生成され、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データが入力されて、前記実データに対応する複数の特徴量が計算される。また、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度が算出される。さらに、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストが更新される。さらに、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部が生成される。
【発明の効果】
【００２２】
本発明の一側面によれば、入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成することができる。
【００２３】
また本発明の一側面によれば、入力データの種類に拘わらずより高精度の情報抽出装置を自動的に構築できる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２５】
本発明を適用した高精度情報抽出装置構築システムは、図１に示すような、入力データＸの特徴を示す情報を出力する複数の弱情報抽出部２−１乃至２−Ｔ、および、弱情報抽出部２−１乃至２−Ｔの出力を組み合わせることによって、入力データＸの特徴を示す情報を高精度で出力する合成部３から成る高精度情報装置１を自動的に構築するものである。
【００２６】
なお、入力データＸは、多次元のデータであればよく、その種類は任意である。例えば、時間の次元とチャンネルの次元を有する楽曲データ、Ｘ次元とＹ次元と画素の次元を有する画像データ、画像データに時間の次元を加えた動画像データなどを入力データＸとすることができる。
【００２７】
高精度情報装置１が出力する入力データＸに対する情報としては、例えば、入力データＸが楽曲データである場合、当該楽曲データの明暗（明るいか、明るくないかの２値情報）、または、明るさ（その値によって明るさの程度を示す数値情報。例えば、０から５までの値として、０は全く明るくない。５は非常に明るいとする）などを挙げることができる。勿論、上に挙げた例以外を入力データＸとその情報とすることができる。
【００２８】
図１の弱情報抽出部２−１は、図２に示すように、特徴量抽出式と情報推定式から構成されている。特徴量抽出式は、入力データＸに対して所定の演算を行い、演算結果として１次元の値を出力する。情報推定式は、特徴量抽出式の出力である１次元の値から、入力データＸの特徴を示す情報を推定する。ここで、情報推定式は、例えば、その出力（すなわち、弱情報抽出部２-１の出力）を、＋１または−１の２値情報とする場合には、特徴量抽出式の出力である１次元の値と比較するための閾値からなる判別式とすることができる。また例えば、その出力を、所定の範囲の数値とする場合には、特徴量抽出式の出力である１次元の値を入力とする線形結合式とすることができる。
【００２９】
図１の弱情報抽出部２−２乃至２−Ｔについても、弱情報抽出部２−１と同様である。
【００３０】
次に、本発明の第１の実施の形態である高精度情報抽出装置構築システム１０の構成例について、図３を参照して説明する。この高精度情報抽出装置構築システム１０は、複数の教師データを用いたアンサンブル学習のブースティングによって高精度情報抽出装置１を構築するものである。
【００３１】
この高精度情報抽出装置構築システム１０は、ｍ本の特徴量抽出式からなる特徴量抽出式リストを生成、更新する特徴量抽出式リスト生成部１１、生成された各特徴量抽出式に教師データの実データを代入して特徴量を計算する特徴量計算部１２、教師データを特徴量計算部１２と評価値算出部１５に供給する教師データ供給部１３、特徴量計算部１２によって計算された教師データに対応する特徴量と教師データとに基づいて情報抽出式を機械学習により生成するとともに特徴量抽出式リストを構成する各特徴抽出式の評価値を算出する評価値算出部１５、および、評価値算出部１５から出力されるＴ個の弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtを用いて高精度情報抽出装置１を構築する合成部１６から構成される。
【００３２】
特徴量抽出式リスト生成部１１は、第１世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式をランダムに生成し、生成した第１世代の特徴量抽出式リストを特徴量計算部１２に供給する。
【００３３】
ここで、特徴量抽出式リスト生成部１１によって生成される特徴量抽出式について、図４を参照して説明する。図４Ａ乃至図４Ｄは、それぞれ特徴量抽出式の例を示している。
【００３４】
特徴量抽出式には、左端に入力データの種類が記述され、入力データの種類の右側には、１種類以上のオペレータ（演算子）が演算される順序に従って記述される。各オペレータには、適宜、処理対称軸とパラメータが含まれる。
【００３５】
オペレータの種類としては、平均値（Mean）、高速フーリエ変換（FFT）、標準偏差(StDev)、出現率(Ratio)、ローパスフィルタ(LPF)、ハイパスフィルタ(HPF)、絶対値(ABS)、２乗(Sqr)、平方根(Sqrt)、正規化(Normalize)、微分(Differential)、積分(Integrate)、最大値(MaxIndex)、不偏分散(UVariance)、ダウンサンプリング(DownSampling)などを挙げることができる。なお、決定されたオペレータによっては処理対称軸が固定されていることがあるので、その場合、パラメータに固定されている処理対称軸を採用する。また、パラメータを必要とするオペレータが決定された場合、パラメータもランダムまたは予め設定されている値に決定する。
【００３６】
例えば、図４Ａに示された特徴量抽出式の場合、12TomesMが入力データであり、32#Differential，32#MaxIndex,16#LPF_1;O.861，16#UVarianceそれぞれがオペレータである。また、各オペレータ中の32#，16#などは処理対称軸を示している。
【００３７】
ここで、12TomesMはモノラルのPCM(pulse coded modulation sound source)波形データを時間軸に沿って音程解析したものであることを示しており、48#はチャンネル軸、32#は周波数軸と音程軸、16#は時間軸を示している。オペレータ中の0.861はローパスフィルタ処理におけるパラメータであり、例えば透過させる周波数の閾値を示している。
【００３８】
なお、第１世代の特徴量抽出式リストを構成する各特徴量抽出式の入力データの種類は入力データＸと同じもの、オペレータの数と種類はランダムに決定されるが、各特徴量抽出式を生成する際の制約として、図５に示すように、複数のオペレータに対応する演算が順次実行されるにつれて、演算結果の保有次元数が順次減少し、特徴量抽出式の最終的な演算結果がスカラになるか、あるいはその次元数が１となるようになされている。
【００３９】
図４Ａ乃至図４Ｄに示された例から明らかなように、特徴量抽出式によって計算される特徴量は、例えば、楽曲データに対するテンポ、画像データに対する画素のヒストグラムなどのように、既存の概念で有意義と判断される値になるわけではない。すなわち、特徴量抽出式によって計算される特徴量は、単に入力データを特徴量抽出式に代入したときの演算結果に過ぎないものでよい。
【００４０】
以下、特徴量抽出式リスト生成部１１によって生成される特徴量抽出式リストは、図６に示すように、ｍ本の特徴量抽出式ｆ１乃至ｆｍによって構成されているものとする。図６の例において、特徴量抽出式ｆ１乃至ｆｍの入力データであるWavMはモノラルのPCM波形データであり、保有次元は時間軸とチャンネル軸である。
【００４１】
図３に戻る。特徴量抽出式リスト生成部１１はまた、第２世代以降の特徴量抽出式リストを、前世代の特徴量抽出式リストを遺伝的アルゴリズム(GA:genetic algorism)に従って更新することによって生成し、生成した特徴量抽出式リストを特徴量計算部１２に供給する。
【００４２】
ここで、遺伝的アルゴリズムとは、現世代の遺伝子から、選択処理、交差処理、突然変異処理、およびランダム生成処理により、次世代の遺伝子を生成するアルゴリズムを指す。具体的には、特徴量抽出式リストを構成する複数の各特徴量抽出式を遺伝子とみなし、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式の評価値に応じて選択処理、交差処理、突然変異処理、およびランダム生成処理を行い、次世代の特徴量抽出式リストを生成する。
【００４３】
すなわち、例えば図７に示すように、選択処理では、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い特徴量抽出式ｆ２を選択して次世代の特徴量抽出式リストに含める。交差処理では、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い複数の特徴量抽出式ｆ２とｆ５を交差させて（組み合わせて）特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。
【００４４】
突然変異処理では、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い特徴量抽出式ｆ２を部分的に突然変異させて（変更して）特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。ランダム生成処理では、新たな特徴量抽出式をランダムに生成して次世代の特徴量抽出式リストに含める。
【００４５】
図３に戻る。特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成する各特徴量抽出式ｆ１乃至ｆｍに、教師データ供給部１３から供給される複数の教師データＴｉの実データＤｉを代入し、教師データＴｉに対する特徴量を計算し、計算した特徴量を評価値算出部１５に供給する。
【００４６】
ここで、教師データ供給部１３から供給される教師データＴｉについて説明する。図８は、教師データＴｉのデータ構造を示している。
【００４７】
総数Ｌ個の教師データＴｉ（ｉ＝１，２，・・・，Ｌ）は、入力データＸと同じ種類のデータである実データＤｉ、実データＤｉに対応する情報Ｉｉを有している。情報Ｉｉは、例えば、実データＤｉの明るさを示すものであり、（明るいか（＋１）、明るくないか（−１）の２値情報）であってもよいし、明るさ（その値によって明るさの程度を示す数値情報。例えば、０から５までの値として、０は全く明るくない。５は非常に明るいとする）であってもよい。以下、情報Ｉｉは、＋１または−１の２値情報であるとする。
【００４８】
さらに、教師データＴｉには重みＷｉが設定されている。初期状態において、各教師データＴｉの重みＷｉは均一であり、Ｌ個の教師データＴｉの重みＷｉの合計が１と成るように正規化されている。
【００４９】
教師データ供給部１３は、重み設定部１４を内蔵する。重み設定部１４は、各教師データＴｉの重みＷｉを、評価値算出部１５から供給される、構築された弱情報抽出部Ｆ（Ｘ）tによって各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）tに対応する信頼度Ｃtに基づいて更新する。
【００５０】
具体的には、弱情報抽出部Ｆ（Ｘ）tによって正しく判別された教師データＴｉについては現状の重みＷｉをEXP（−Ｃt）倍とし、弱情報抽出部Ｆ（Ｘ）tによって間違って判別された教師データＴｉについては、現状の重みＷｉをEXP（Ｃt）倍とする。さらに、Ｌ個の教師データＴｉの重みＷｉの合計が１と成るように正規化する。
【００５１】
図３に戻る。上述したように、教師データＴｉの数はＬ、特徴量抽出式リストを構成する特徴量抽出式の数はｍであるので、特徴量計算部１２では、図９に示すように、（Ｌ×ｍ）個の特徴量が算出されることになる。以下、特徴量抽出式ｆｊ（ｊ＝１，２，・・・，ｍ）に、教師データＴｉ（ｉ＝１，２，・・・，Ｌ）の実データＤｉを代入して計算された特徴量をｆｊ[Ｔｉ]と記述する。なお、図９には、特徴量ｆｊ[Ｔｉ]の具体的な値が記載されている。
【００５２】
評価値算出部１５は、Ｌ個の教師データＴｉとＬ個の特徴量ｆ１[Ｔｉ]とに基づき、特徴量抽出式ｆ１に対応する情報推定式を決定するとともに、特徴量抽出式ｆ１の評価値を算出する。なお、ここで情報推定式は、その出力を２値情報とするので、情報推定式として、特徴量ｆ１[Ｔｉ]と比較する閾値を有する判別式が決定される。
【００５３】
この判別式は、例えば、
特徴量ｆ１[Ｔｉ]＞閾値 → 情報＝−１
特徴量ｆ１[Ｔｉ]≦閾値 → 情報＝＋１
とする。
【００５４】
具体的には、図１０に示すように、横軸には特徴量ｆ１[Ｔｉ]の値、縦軸は重みＷｉをかけた教師データの分布を示すグラフに、Ｌ個の教師データＴｉを情報Ｉｉの値（＋１または−１）に応じて２つに分類してプロットする。そして、情報推定式（閾値による判別式）によって、情報Ｉｉが正しく判別された教師データＴｉの重みＷｉの合計が最大となるように閾値を決定する。すなわち、図１０に示された左側の山の分布（教師データＴｉの情報Ｉｉの値が＋１である分布）のうちの閾値よりも左側の面積と、図１０に示された右側の山の分布（教師データＴｉの情報Ｉｉの値が−１である分布）のうちの閾値よりも右側の面積との合計が最大となるように閾値を決定する。
【００５５】
そして、決定した情報推定式（閾値による判別式）によって、情報Ｉｉが正しく判別された教師データＴｉの重みＷｉの合計を、特徴量抽出式ｆ１の評価値とする。
【００５６】
同様に、評価値算出部１５は、特徴量抽出式ｆ２乃至ｆｍにそれぞれ対応する情報推定式を決定するとともに、特徴量抽出式ｆ２乃至ｆｍの評価値を算出する。
【００５７】
ここで算出された特徴量抽出式ｆ１乃至ｆｍの評価値は、特徴量抽出式リスト生成部１１に供給されて、次世代の特徴量抽出式リストの生成に利用される。
【００５８】
さらに、評価値算出部１５は、所定の終了条件が満たされた数世代後（最終世代とする）の特徴量抽出式リストを構成する特徴量抽出式ｆ１乃至ｆｍのうち、最も評価値の良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つの弱情報抽出部Ｆ（Ｘ）tを構築する。さらに、構築した弱情報抽出部Ｆ（Ｘ）tの信頼度Ｃtを算出する。
信頼度Ｃt＝１／２log（（１−Ｅ）／Ｅ）
【００５９】
ここで、Ｅは構築した弱情報抽出部Ｆ（Ｘ）tのエラー率であり、弱情報抽出部Ｆ（Ｘ）tによって、情報Ｉｉが間違って判別された教師データＴｉの重みＷｉの合計値（図１０の例では、左側の山の分布（教師データＴｉの情報Ｉｉの値が＋１である分布）のうちの閾値よりも右側の面積と、図１０に示された右側の山の分布（教師データＴｉの情報Ｉｉの値が−１である分布）のうちの閾値よりも左側の面積との合計）である。
【００６０】
ここで構築された弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtは合成部１６に供給される。また、構築された弱情報抽出部Ｆ（Ｘ）tによって各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）t対応する信頼度Ｃtが教師データ供給部１３の重み設定部１４に供給される。
【００６１】
合成部１６は、評価値算出部１５から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）tと、それぞれに対応する信頼度Ｃtを用いた次式に従い、高精度情報抽出装置１（図１）を構築する。
SignΣ（Ｃt・Ｆ（Ｘ）t）
【００６２】
すなわち、合成部１６では、複数の弱情報抽出部Ｆ（Ｘ）tの出力がそれの信頼度Ｃtによって重み付けられて加算される。そして、その総和の符号が正であるならば、入力データＸの情報Ｉが＋１、その総和の符号が負であるならば、入力データＸの情報Ｉが−１とされる、高精度情報抽出装置１が構築される。
【００６３】
次に、高精度情報抽出装置構築システム１０による動作について、図１１のフローチャートを参照して説明する。
【００６４】
ステップＳ１において、教師データ供給部１３は、内蔵する重み設定部１４により、予め用意されているＬ個の教師データＴｉの各重みＷｉを均等な値１／Ｌに初期化し、第１世代の教師データＴｉとして特徴量計算部１２および評価値算出部１５に供給する。
【００６５】
ステップＳ２において、第１世代の教師データＴｉに対応する弱情報抽出部Ｆ（Ｘ）1が生成される。ステップＳ２の処理について、図１２のフローチャートを参照して詳述する。
【００６６】
ステップＳ１１において、特徴量抽出式リスト生成部１１は、ｍ本の特徴量抽出式をランダムに生成し、生成したｍ本の特徴量抽出式からなる第１世代の特徴量抽出式リストを特徴量計算部１２に供給する。
【００６７】
ステップＳ１２において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍを順に１本ずつ注目する特徴量抽出式リストループを開始する。
【００６８】
ステップＳ１３において、特徴量計算部１２は、注目している特徴量抽出式ｆｊに、Ｌ個の教師データＴｉを代入してＬ個の特徴量ｆｊ[Ｔｉ]を計算し、評価値算出部１５に出力する。ステップＳ１４において、評価値算出部１５は、Ｌ個の教師データＴｉとＬ個の特徴量ｆｊ[Ｔｉ]とに基づき、特徴量抽出式ｆｊに対応する情報推定式を決定し、ステップＳ１５において、特徴量抽出式ｆｊの評価値を算出する。ステップＳ１２乃至Ｓ１５の処理により、注目している特徴量抽出式ｆｊに対応する情報推定式と評価値が得られたことになる。
【００６９】
ステップＳ１６において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っているか否かを判定する。そして、注目していない特徴量抽出式が残っていると判定された場合、処理はステップＳ１２に戻り、ステップＳ１２乃至Ｓ１６の処理が繰り返される。
【００７０】
そして、ステップＳ１６において、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っていないと判定された場合、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する情報推定式と評価値が得られたことになるので、処理はステップＳ１７に進められる。
【００７１】
ステップＳ１７において、評価値算出部１５は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値のうち、最も良い評価値の値が所定の数世代の間、向上していないことなどとすることができる。
【００７２】
ステップＳ１７において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ１８に進められる。
【００７３】
ステップＳ１８において、評価値算出部１５は、現世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値を特徴量抽出式リスト生成部１１に供給する。特徴量抽出式リスト生成部１１は、現世代の特徴量抽出式リストを遺伝的アルゴリズムに従って更新することにより、次世代の特徴量抽出式リストを生成して特徴量計算部１２に供給する。
【００７４】
具体的には、遺伝的アルゴリズムの選択処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の良いｍｓ本の特徴量抽出式を選択して次世代の特徴量抽出式リストに含める。また、遺伝的アルゴリズムの交差処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の良いものほど選択され易いように重み付けをして２本の特徴量抽出式を選択し、選択した２本の特徴量抽出式を交差させる（組み合わせる）ことにより、ｍｘ本の特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。
【００７５】
さらに、遺伝的アルゴリズムの突然変異処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の良いものほど選択され易いように重み付けをして１本の特徴量抽出式を選択し、選択した１本の特徴量抽出式を部分的に突然変異させる（変更する）ことにより、ｍｍ本の特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。さらにまた、遺伝的アルゴリズムのランダム生成処理として、新たにｍｒ（＝ｍ−ｍｓ−ｍｘ−ｍｍ）本の特徴量抽出式をランダムに生成して次世代の特徴量抽出式リストに含める。
【００７６】
以上のように、次世代の特徴量抽出式リストが生成されて特徴量計算部１２に供給された後、処理はステップＳ１２に戻り、ステップＳ１２乃至Ｓ１８の処理が繰り返される。そして、ステップＳ１７において、所定の終了条件を満たしていると判定された場合、処理はステップＳ１９に進められる。
【００７７】
ステップＳ１９において、評価値算出部１５は、現世代、すなわち、最終世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、評価値が最も良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つ目の弱情報抽出部Ｆ（Ｘ）1を構築し、構築した弱情報抽出部Ｆ（Ｘ）1の信頼度Ｃ1を算出する。さらに、評価値算出部１５は、構築した１つ目の弱情報抽出部Ｆ（Ｘ）1とそれに対応する信頼度Ｃ1を合成部１６に供給する。またさらに、評価値算出部１５は、構築した弱情報抽出部Ｆ（Ｘ）1によって第１世代の各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）1対応する信頼度Ｃ1を教師データ供給部１３の重み設定部１４に供給する。
【００７８】
以上のように、第１世代の教師データＴｉに対応する１つ目の弱情報抽出部Ｆ（Ｘ）1が構築され、その信頼度Ｃ1が算出された後、処理は図１１のステップＳ３に戻される。
【００７９】
ステップＳ３において、合成部１６は、現時点までに評価値算出部１５から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtを合成することにより、高精度情報抽出装置１を構築する。
【００８０】
ステップＳ４において、合成部１６は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、所定の数Ｔだけ弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtが評価値算出部１５から供給されていること、高精度情報抽出装置１が所望の精度に達していること、またはユーザから終了が指示されたことのうち、少なくとも１つが満たされていることなどとすることができる。
【００８１】
ステップＳ４において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ５に進められる。
【００８２】
ステップＳ５において、教師データ供給部１３の重み設定部１４は、各教師データＴｉの重みＷｉを、ステップＳ１９の処理で評価値算出部１５から供給された、現世代の教師データＴｉに対応する弱情報抽出部Ｆ（Ｘ）tによって各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）tに対応する信頼度Ｃtに基づいて更新する。
【００８３】
ステップＳ５の処理について、図１３のフローチャートを参照して詳述する。
【００８４】
ステップＳ４１において、重み設定部１４は、Ｌ個の教師データＴｉを順に１つずつ注目する教師データループを開始する。
【００８５】
ステップＳ４２において、重み設定部１４は、注目する教師データＴｉが、現世代の教師データＴｉに対応する弱情報抽出部Ｆ（Ｘ）tによって正しく判別されたか否かを判定する。
【００８６】
ステップＳ４２において、正しく判別されたと判定された場合、処理はステップＳ４３に進められる。ステップＳ４３において、重み設定部１４は、注目する教師データＴｉの現状の重みＷｉをEXP（−Ｃt）倍することにより更新する。この後、処理はステップＳ４５に進められる。
【００８７】
反対に、ステップＳ４２において、正しく判別されていない（間違って判別されている）と判定された場合、処理はステップＳ４４に進められる。ステップＳ４４において、重み設定部１４は、注目する教師データＴｉの現状の重みＷｉをEXP（Ｃt）倍することにより更新する。この後、処理はステップＳ４５に進められる。
【００８８】
ステップＳ４５において、重み設定部１４は、Ｌ個の教師データＴｉのうち、注目していないものが残っているか否かを判定し、注目していないものが残っていると判定した場合、ステップＳ４１に戻って、ステップＳ４１乃至４５の処理を繰り返す。
【００８９】
そして、ステップＳ４５において、Ｌ個の教師データＴｉのうち、注目していないものが残っていないと判定された場合、Ｌ個の教師データＴｉにそれぞれ対応する重みＷｉを全て更新したので、処理はステップＳ４６に進められる。
【００９０】
ステップＳ４６において、重み設定部１４は、Ｌ個の教師データＴｉにそれぞれ対応する更新した重みＷｉの合計が１となるように正規化する。
【００９１】
以上のようにして重みＷｉが更新されたＬ個の教師データＴｉが、次世代の教師データＴｉとして評価値算出部１５に供給される。なお、２世代以降の教師データＴｉは、実データＤｉおよび情報Ｉｉに変更はなく、重みＷｉだけが更新されているので、次世代の教師データＴｉとして、更新された重みＷｉだけを評価値算出部１５に供給するようにしてもよい。
【００９２】
この後、処理は図１１のステップＳ２に戻り、ステップＳ２乃至Ｓ５の処理が繰り返される。この繰り返しにより、教師データＴｉが更新された世代数と同じ数だけ、弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtが合成部１６に供給され、合成部１６により、徐々に制度が高められた高精度情報抽出装置１が構築されることになる。
【００９３】
そして、ステップＳ４において、所定の終了条件を満たしていると判定された場合、処理はステップＳ５に進められる。ステップＳ５において、合成部１６は、直前のステップＳ３の処理で構築した高精度情報抽出装置１を、最終的な高精度情報抽出装置１として出力する。
【００９４】
以上で、本発明の第１の実施の形態である高精度情報抽出装置構築システム１０の動作説明を終了する。
【００９５】
次に、本発明の第２の実施の形態である高精度情報抽出装置構築システム５０の構成例について、図１４を参照して説明する。この高精度情報抽出装置構築システム５０は、複数の教師データを用いたアンサンブル学習のバッギングによって高精度情報抽出装置１を構築するものである。
【００９６】
なお、この高精度情報抽出装置構築システム５０と、図３に示された本発明の第１の実施の形態である、アンサンブル学習のブースティングによって高精度情報抽出装置１を構築する高精度情報抽出装置構築システム１０との間で共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
【００９７】
この高精度情報抽出装置構築システム５０は、ｍ本の特徴量抽出式からなる特徴量抽出式リストを生成、更新する特徴量抽出式リスト生成部１１、生成された各特徴量抽出式に教師データの実データを代入して特徴量を計算する特徴量計算部１２、教師データを特徴量計算部１２と評価値算出部５３に供給する教師データ供給部５１、特徴量計算部１２によって計算された教師データに対応する特徴量と教師データとに基づいて情報抽出式を機械学習により生成するとともに特徴量抽出式リストを構成する各特徴抽出式の評価値を算出する評価値算出部５３、および、評価値算出部１５から出力されるＴ個の弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtを用いて高精度情報抽出装置１を構築する合成部５４から構成される。
【００９８】
特徴量抽出式リスト生成部１１は、第１世代の特徴量抽出式リストをランダムに生成する。また、特徴量抽出式リスト生成部１１は、第２世代以降の特徴量抽出式リストを、前世代の特徴量抽出式リストを遺伝的アルゴリズムにしたがって更新することにより生成する。生成された特徴量抽出式リストは特徴量計算部１２に供給される。
【００９９】
特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成する各特徴量抽出式ｆ１乃至ｆｍに、教師データ供給部５１から供給される、教師データＴｉ（ｉ＝１，２，・・・，Ｊ）の実データＤｉを代入し、教師データＴｉに対する特徴量を計算し、計算した特徴量を評価値算出部５３に供給する。
【０１００】
ここで、教師データ供給部５１から供給される教師データＴｉについて説明する。
【０１０１】
教師データ供給部５１は、内蔵するランダムサンプリング部５２により、総数Ｌ個の教師データＴｉの中からＪ個をランダムに選択して教師データ群を生成し、特徴量計算部１２および評価値算出部５３に供給する。なお、教師データＴｉは、入力データＸと同じ種類のデータである実データＤｉ、実データＤｉに対応する情報Ｉｉを有している。情報Ｉｉは、例えば、実データＤｉの明るさを示すものであり、（明るいか（＋１）、明るくないか（−１）の２値情報）であってもよいし、明るさ（その値によって明るさの程度を示す数値情報。例えば、０から５までの値として、０は全く明るくない。５は非常に明るいとする）であってもよい。以下、情報Ｉｉは、＋１または−１の２値情報であるとする。
【０１０２】
さらに、教師データＴｉには重みＷｉが設定されている。初期状態において、各教師データＴｉの重みＷｉは均一であり、Ｌ個の教師データＴｉの重みＷｉの合計が１と成るように正規化されている。
【０１０３】
上述したように、教師データＴｉの数はＪ、特徴量抽出式リストを構成する特徴量抽出式の数はｍであるので、特徴量計算部１２では、（Ｊ×ｍ）個の特徴量が算出されることになる。
【０１０４】
評価値算出部５３は、Ｊ個の教師データＴｉとＪ個の特徴量ｆ１[Ｔｉ]とに基づき、特徴量抽出式ｆ１の評価値を算出する。
【０１０５】
なお、情報推定式によって推定しようとする情報Ｉｉが２値情報である場合には、評価値として、Ｊ個の教師データＴｉとＪ個の特徴量ｆ１[Ｔｉ]とのFDR(fisher discriminant ratio)を算出する。
FDR＝（（Ｘの平均）−（Ｙの平均））2／（（Ｘの標準偏差）−（Ｙの標準偏差））
ただし、Ｘは教師データＴｉ、Ｙは特徴量ｆ１[Ｔｉ]を示すものとする。
【０１０６】
また、情報推定式によって推定しようとする情報Ｉｉが数値情報である場合には、評価値として、Ｊ個の教師データＴｉとＪ個の特徴量ｆ１[Ｔｉ]とのPearsonの相関係数ｒを算出する。
ｒ＝（ＸとＹの共分散）／（（Ｘの標準偏差）×（Ｙの標準偏差））
ただし、Ｘは教師データＴｉ、Ｙは特徴量ｆ１[Ｔｉ]を示すものとする。
【０１０７】
同様に、評価値算出部５３は、特徴量抽出式ｆ２乃至ｆｍの評価値も算出する。ここで算出された特徴量抽出式ｆ１乃至ｆｍの評価値は、特徴量抽出式リスト生成部１１に供給されて、次世代の特徴量抽出式リストの生成に利用される。
【０１０８】
さらに、評価値算出部５３は、所定の終了条件が満たされた数世代後（最終世代とする）の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、評価値が最も良い特徴量抽出式ｆｉの計算結果であるＪ個の特徴量ｆ１[Ｔｉ]とＪ個の教師データＴｉとを用いた機械学習により、評価値が最も良い特徴量抽出式ｆｉに対応する情報推定式を決定する。
【０１０９】
なお、情報推定式は、その出力が２値情報である場合には線形判別などの機械学習によって判別式が決定される。また、その出力が数値情報である場合には線形回帰などの機械学習によって線形結合式が決定される。
【０１１０】
またさらに、評価値算出部５３は、評価値が最も良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つの弱情報抽出部Ｆ（Ｘ）tを構築して合成部５４に供給する。
【０１１１】
合成部５４は、評価値算出部５３から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）tから次式に従って高精度情報抽出装置１（図１）を構築する。
（ΣＦ（Ｘ）t）／ｔ
【０１１２】
すなわち、合成部５４では、複数の弱情報抽出部Ｆ（Ｘ）tの出力の平均値を出力とする高精度情報抽出装置１が構築されることになる。
【０１１３】
次に、高精度情報抽出装置構築システム５０による動作について、図１５のフローチャートを参照して説明する。
【０１１４】
ステップＳ６１において、教師データ供給部５１のランダムサンプリング部５２は、予め用意されているＬ個の教師データＴｉの中から、ランダムにＪ個の教師データＴｉを選択して教師データ群を生成し、第１世代の教師データ群として特徴量計算部１２および評価値算出部５３に供給する。
【０１１５】
ステップＳ６２において、第１世代の教師データ群に対応する弱情報抽出部Ｆ（Ｘ）1が生成される。ステップＳ６２の処理について、図１６のフローチャートを参照して詳述する。
【０１１６】
ステップＳ７１において、特徴量抽出式リスト生成部１１は、ｍ本の特徴量抽出式をランダムに生成し、生成したｍ本の特徴量抽出式からなる第１世代の特徴量抽出式リストを特徴量計算部１２に供給する。
【０１１７】
ステップＳ７２において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍを順に１本ずつ注目する特徴量抽出式リストループを開始する。
【０１１８】
ステップＳ７３において、特徴量計算部１２は、注目している特徴量抽出式ｆｊに、現世代の教師データ群を構成するＪ個の教師データＴｉを代入してＪ個の特徴量ｆｊ[Ｔｉ]を計算し、評価値算出部５３に出力する。ステップＳ７４において、評価値算出部５３は、Ｊ個の教師データＴｉとＪ個の特徴量ｆｊ[Ｔｉ]とに基づき、特徴量抽出式ｆｊに対応する評価値を算出する。ステップＳ７３乃至Ｓ７４の処理により、注目している特徴量抽出式ｆｊの価値が得られたことになる。
【０１１９】
ステップＳ７６において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っているか否かを判定する。そして、注目していない特徴量抽出式が残っていると判定された場合、処理はステップＳ７２に戻り、ステップＳ７２乃至Ｓ７６の処理が繰り返される。
【０１２０】
そして、ステップＳ７６において、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っていないと判定された場合、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値が得られたことになるので、処理はステップＳ７６に進められる。
【０１２１】
ステップＳ７６において、評価値算出部５３は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値のうち、最も良い評価値の値が所定の数世代の間、向上していないことなどとすることができる。
【０１２２】
ステップＳ７６において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ７７に進められる。
【０１２３】
ステップＳ７７において、評価値算出部５３は、現世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値を特徴量抽出式リスト生成部１１に供給する。特徴量抽出式リスト生成部１１は、現世代の特徴量抽出式リストを遺伝的アルゴリズムに従って更新することにより、次世代の特徴量抽出式リストを生成して特徴量計算部１２に供給する。
【０１２４】
以上のように、生成された次世代の特徴量抽出式リストが特徴量計算部１２に供給された後、処理はステップＳ７２に戻り、ステップＳ７２乃至Ｓ７７の処理が繰り返される。そして、ステップＳ７６において、所定の終了条件を満たしていると判定された場合、処理はステップＳ７８に進められる。
【０１２５】
ステップＳ７８において、評価値算出部５３は、現世代、すなわち、最終世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、評価値が最も良い特徴量抽出式ｆｉの計算結果であるＪ個の特徴量ｆ１[Ｔｉ]とＪ個の教師データＴｉとを用いた機械学習により、評価値が最も良い特徴量抽出式ｆｉに対応する情報推定式を決定する。また、評価値算出部５３は、評価値が最も良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つ目の弱情報抽出部Ｆ（Ｘ）1を構築して合成部５４に供給する。
【０１２６】
以上のように、第１世代の教師データ群に対応する１つ目の弱情報抽出部Ｆ（Ｘ）1が構築され後、処理は図１５のステップＳ６３に戻される。
【０１２７】
ステップＳ６３において、合成部５４は、現時点までに評価値算出部５３から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）tを合成する（出力の平均を演算する）ことにより、高精度情報抽出装置１を構築する。
【０１２８】
ステップＳ６４において、合成部５４は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、所定の数Ｔだけ弱情報抽出部Ｆ（Ｘ）tが評価値算出部５３から供給されていること、高精度情報抽出装置１が所望の精度に達していること、またはユーザから終了が指示されたことのうち、少なくとも１つが満たされていることなどとすることができる。
【０１２９】
ステップＳ６４において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ６１に戻される。そして、ステップＳ６１乃至６４の処理が繰り返される。
【０１３０】
この繰り返し毎、順次、次世代以降の教師データ群が生成されて、それに対応する弱情報抽出部Ｆ（Ｘ）tが合成部５４に供給され、合成部５４により、徐々に制度が高められた高精度情報抽出装置１が構築されることになる。
【０１３１】
そして、ステップＳ６４において、所定の終了条件を満たしていると判定された場合、処理はステップＳ６５に進められる。ステップＳ６５において、合成部５４は、直前のステップＳ６３の処理で構築した高精度情報抽出装置１を、最終的な高精度情報抽出装置１として出力する。
【０１３２】
以上で、本発明の第２の実施の形態である高精度情報抽出装置構築システム５０の動作説明を終了する。
【０１３３】
以上説明したように、本発明を適用した高精度情報抽出装置構築システム１０および５０によれば、アンサンブル学習における弱情報抽出部を、遺伝的アルゴリズムを用いて生成することができる。
【０１３４】
また、本発明を適用した高精度情報抽出装置構築システム１０および５０によれば、任意の種類の入力データＸから高い精度で情報を抽出することができる高精度情報抽出装置を構築することができる。
【０１３５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３６】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３７】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１３８】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどの着脱可能な記録媒体１１１を駆動するドライブ１１０が接続されている。
【０１３９】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４１】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１４２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４４】
【図１】アンサンブル学習による高精度情報抽出装置を説明する図である。
【図２】図１の高精度情報抽出装置における弱情報抽出部の構成を説明する図である。
【図３】本発明の第１の実施の形態である高精度情報抽出装置構築システムの構成例を示すブロック図である。
【図４】特徴量抽出式の例を示す図である。
【図５】特徴量抽出式の構成を説明する図である。
【図６】特徴量抽出式リストの例を示す図である。
【図７】遺伝的アルゴリズムを説明するための図である。
【図８】教師データのデータ構造を示す図である。
【図９】図３の特徴量計算部によって計算される特徴量の例を示す図である。
【図１０】特徴量抽出式に対応する情報推定式（閾値）、および評価値の決定方法を説明するための図である。
【図１１】図３の高精度情報抽出装置構築システムによる動作を説明するフローチャートである。
【図１２】図１１のステップＳ２の処理を説明するフローチャートである。
【図１３】図１１のステップＳ５の処理を説明するフローチャートである。
【図１４】本発明の第２の実施の形態である高精度情報抽出装置構築システムの構成例を示すブロック図である。
【図１５】図１４の高精度情報抽出装置構築システムによる動作を説明するフローチャートである。
【図１６】図１５のステップＳ６２の処理を説明するフローチャートである。
【図１７】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１４５】
１０ 高精度情報抽出装置構築システム， １１ 特徴量抽出式リスト生成部， １２ 特徴量計算部， １３ 教師データ供給部， １４ 重み設定部， １５ 評価値算出部， １６ 合成部， ５０ 高精度情報抽出装置構築システム， ５１ 教師データ供給部， ５２ ランダムサンプリング部， ５３ 評価値算出部， ５４ 合成部， １０１ CPU， １１１ 記録媒体
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、楽曲データなどの入力データから当該入力データの特徴を示す情報を高精度に抽出できる高精度情報抽出アルゴリズムを自動的に構築するようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、楽曲データや画像データなどを入力データとして、前記入力データの情報（入力データが楽曲データである場合、速さ、明るさ、にぎやかさ等）を出力することができるアルゴリズムを自動的に構築する発明が提案されている（例えば、特許文献１参照）。
【０００３】
また、入力データから当該入力データの特徴を示す情報を高精度に抽出できるアルゴリズムを構築する方法として、アンサンブル学習と称する手法が知られている。
【０００４】
アンサンブル学習は、複数の教師データを用いて精度の低い情報抽出装置（以下、弱情報抽出部(weak learner)と称する）を複数生成し、生成した複数の弱情報抽出部による出力を組み合わせることによって高精度の情報抽出装置を得る手法である。
【０００５】
アンサンブル手法の例としては、ブースティング(boosting)とバッギング(bagging)の２種類を挙げることができる。
【０００６】
ブースティングでは、各教師データに重み付けを行い、全ての教師データを用いて１つの弱情報抽出部を生成する。そして生成した弱情報抽出部によって正しく情報が抽出された教師データについては重みを下げ、間違って情報が抽出された教師データについては重みを上げることにより、教師データの重みを更新する。また、重みが更新された全ての教師データを用いてさらにもう１つの弱情報抽出部を生成する。以下同様の処理を繰り返すことにより、複数の弱情報抽出部を生成し、生成した複数の弱情報抽出部の出力をそれぞれの重み付けで組み合わせることによって高精度の情報抽出装置を得る。
【０００７】
バッギングでは、全ての教師データから所定数をランダムにサンプリングして教師データ群を生成し、教師データ群を用いて１つの弱情報抽出部を生成する。この処理を繰り返すことにより、複数の弱情報抽出部を生成し、生成した複数の弱情報抽出部の出力を組み合わせることによって高精度の情報抽出装置を得る。
【０００８】
【特許文献１】米国特許出願公報 ＵＳ２００４／０１８１４０１Ａ１
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したブースティングやバッギングなどアンサンブル手法では、より多くの弱情報抽出部を生成して、その出力を組み合わせることによって、より高精度の情報抽出装置を得ることができる。
【００１０】
しかしながら、入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成する方法は従来確立されておらず、弱情報抽出部を人手によって生成する必要があった。したがって、弱情報抽出部の数を増やして情報抽出装置の精度を所望のレベルまで到達させることが困難であった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成することによって、より高精度の情報抽出装置を自動的に構築できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面である情報処理装置は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出する評価値算出手段と、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する更新手段とを含むことを特徴とする。
【００１３】
本発明の第１の側面である情報処理装置は、複数の前記情報抽出部を、前記情報抽出部の前記信頼度に基づいて合成することにより、前記高精度情報抽出部を構築する合成手段をさらに含むことができる。
【００１４】
本発明の第１の側面である情報処理方法は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新するステップを含むことを特徴とする。
【００１５】
本発明の第１の側面であるプログラムは、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新するステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とする。
【００１６】
本発明の第１の側面においては、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストがランダムに生成され、前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データが入力されて、前記実データに対応する複数の特徴量が計算される。また、計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補が生成されるとともに、生成された前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値が算出される。さらに、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストが更新される。そして、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補が、前記アンサンブル学習における１つの前記情報抽出部に決定され、決定された前記情報抽出部によって間違って推定された教師データの重みを用いて、決定された前記情報抽出部の信頼度が算出され、決定された前記情報抽出部の前記信頼度を用いて、教師データの重みが更新される。
【００１７】
本発明の第２の側面である情報処理装置は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択する選択手段と、複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する評価値算出手段とを含むことを特徴とする。
【００１８】
本発明の第２の側面である情報処理装置は、複数の前記情報抽出部を合成することにより、前記高精度情報抽出部を構築する合成手段をさらに含むことができる。
【００１９】
本発明の第２の側面である情報処理方法は、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成するステップを含むことを特徴とする。
【００２０】
本発明の第２の側面であるプログラムは、入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成するステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とする。
【００２１】
本発明の第２の側面においては、実データ、および前記実データの特徴を示す情報からなる教師データがランダムに選択され、複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストがランダムに生成され、前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データが入力されて、前記実データに対応する複数の特徴量が計算される。また、各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度が算出される。さらに、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストが更新される。さらに、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部が生成される。
【発明の効果】
【００２２】
本発明の一側面によれば、入力データの種類に拘わらずアンサンブル学習における弱情報抽出部を自動的に生成することができる。
【００２３】
また本発明の一側面によれば、入力データの種類に拘わらずより高精度の情報抽出装置を自動的に構築できる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２５】
本発明を適用した高精度情報抽出装置構築システムは、図１に示すような、入力データＸの特徴を示す情報を出力する複数の弱情報抽出部２−１乃至２−Ｔ、および、弱情報抽出部２−１乃至２−Ｔの出力を組み合わせることによって、入力データＸの特徴を示す情報を高精度で出力する合成部３から成る高精度情報装置１を自動的に構築するものである。
【００２６】
なお、入力データＸは、多次元のデータであればよく、その種類は任意である。例えば、時間の次元とチャンネルの次元を有する楽曲データ、Ｘ次元とＹ次元と画素の次元を有する画像データ、画像データに時間の次元を加えた動画像データなどを入力データＸとすることができる。
【００２７】
高精度情報装置１が出力する入力データＸに対する情報としては、例えば、入力データＸが楽曲データである場合、当該楽曲データの明暗（明るいか、明るくないかの２値情報）、または、明るさ（その値によって明るさの程度を示す数値情報。例えば、０から５までの値として、０は全く明るくない。５は非常に明るいとする）などを挙げることができる。勿論、上に挙げた例以外を入力データＸとその情報とすることができる。
【００２８】
図１の弱情報抽出部２−１は、図２に示すように、特徴量抽出式と情報推定式から構成されている。特徴量抽出式は、入力データＸに対して所定の演算を行い、演算結果として１次元の値を出力する。情報推定式は、特徴量抽出式の出力である１次元の値から、入力データＸの特徴を示す情報を推定する。ここで、情報推定式は、例えば、その出力（すなわち、弱情報抽出部２-１の出力）を、＋１または−１の２値情報とする場合には、特徴量抽出式の出力である１次元の値と比較するための閾値からなる判別式とすることができる。また例えば、その出力を、所定の範囲の数値とする場合には、特徴量抽出式の出力である１次元の値を入力とする線形結合式とすることができる。
【００２９】
図１の弱情報抽出部２−２乃至２−Ｔについても、弱情報抽出部２−１と同様である。
【００３０】
次に、本発明の第１の実施の形態である高精度情報抽出装置構築システム１０の構成例について、図３を参照して説明する。この高精度情報抽出装置構築システム１０は、複数の教師データを用いたアンサンブル学習のブースティングによって高精度情報抽出装置１を構築するものである。
【００３１】
この高精度情報抽出装置構築システム１０は、ｍ本の特徴量抽出式からなる特徴量抽出式リストを生成、更新する特徴量抽出式リスト生成部１１、生成された各特徴量抽出式に教師データの実データを代入して特徴量を計算する特徴量計算部１２、教師データを特徴量計算部１２と評価値算出部１５に供給する教師データ供給部１３、特徴量計算部１２によって計算された教師データに対応する特徴量と教師データとに基づいて情報抽出式を機械学習により生成するとともに特徴量抽出式リストを構成する各特徴抽出式の評価値を算出する評価値算出部１５、および、評価値算出部１５から出力されるＴ個の弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtを用いて高精度情報抽出装置１を構築する合成部１６から構成される。
【００３２】
特徴量抽出式リスト生成部１１は、第１世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式をランダムに生成し、生成した第１世代の特徴量抽出式リストを特徴量計算部１２に供給する。
【００３３】
ここで、特徴量抽出式リスト生成部１１によって生成される特徴量抽出式について、図４を参照して説明する。図４Ａ乃至図４Ｄは、それぞれ特徴量抽出式の例を示している。
【００３４】
特徴量抽出式には、左端に入力データの種類が記述され、入力データの種類の右側には、１種類以上のオペレータ（演算子）が演算される順序に従って記述される。各オペレータには、適宜、処理対称軸とパラメータが含まれる。
【００３５】
オペレータの種類としては、平均値（Mean）、高速フーリエ変換（FFT）、標準偏差(StDev)、出現率(Ratio)、ローパスフィルタ(LPF)、ハイパスフィルタ(HPF)、絶対値(ABS)、２乗(Sqr)、平方根(Sqrt)、正規化(Normalize)、微分(Differential)、積分(Integrate)、最大値(MaxIndex)、不偏分散(UVariance)、ダウンサンプリング(DownSampling)などを挙げることができる。なお、決定されたオペレータによっては処理対称軸が固定されていることがあるので、その場合、パラメータに固定されている処理対称軸を採用する。また、パラメータを必要とするオペレータが決定された場合、パラメータもランダムまたは予め設定されている値に決定する。
【００３６】
例えば、図４Ａに示された特徴量抽出式の場合、12TomesMが入力データであり、32#Differential，32#MaxIndex,16#LPF_1;O.861，16#UVarianceそれぞれがオペレータである。また、各オペレータ中の32#，16#などは処理対称軸を示している。
【００３７】
ここで、12TomesMはモノラルのPCM(pulse coded modulation sound source)波形データを時間軸に沿って音程解析したものであることを示しており、48#はチャンネル軸、32#は周波数軸と音程軸、16#は時間軸を示している。オペレータ中の0.861はローパスフィルタ処理におけるパラメータであり、例えば透過させる周波数の閾値を示している。
【００３８】
なお、第１世代の特徴量抽出式リストを構成する各特徴量抽出式の入力データの種類は入力データＸと同じもの、オペレータの数と種類はランダムに決定されるが、各特徴量抽出式を生成する際の制約として、図５に示すように、複数のオペレータに対応する演算が順次実行されるにつれて、演算結果の保有次元数が順次減少し、特徴量抽出式の最終的な演算結果がスカラになるか、あるいはその次元数が１となるようになされている。
【００３９】
図４Ａ乃至図４Ｄに示された例から明らかなように、特徴量抽出式によって計算される特徴量は、例えば、楽曲データに対するテンポ、画像データに対する画素のヒストグラムなどのように、既存の概念で有意義と判断される値になるわけではない。すなわち、特徴量抽出式によって計算される特徴量は、単に入力データを特徴量抽出式に代入したときの演算結果に過ぎないものでよい。
【００４０】
以下、特徴量抽出式リスト生成部１１によって生成される特徴量抽出式リストは、図６に示すように、ｍ本の特徴量抽出式ｆ１乃至ｆｍによって構成されているものとする。図６の例において、特徴量抽出式ｆ１乃至ｆｍの入力データであるWavMはモノラルのPCM波形データであり、保有次元は時間軸とチャンネル軸である。
【００４１】
図３に戻る。特徴量抽出式リスト生成部１１はまた、第２世代以降の特徴量抽出式リストを、前世代の特徴量抽出式リストを遺伝的アルゴリズム(GA:genetic algorism)に従って更新することによって生成し、生成した特徴量抽出式リストを特徴量計算部１２に供給する。
【００４２】
ここで、遺伝的アルゴリズムとは、現世代の遺伝子から、選択処理、交差処理、突然変異処理、およびランダム生成処理により、次世代の遺伝子を生成するアルゴリズムを指す。具体的には、特徴量抽出式リストを構成する複数の各特徴量抽出式を遺伝子とみなし、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式の評価値に応じて選択処理、交差処理、突然変異処理、およびランダム生成処理を行い、次世代の特徴量抽出式リストを生成する。
【００４３】
すなわち、例えば図７に示すように、選択処理では、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い特徴量抽出式ｆ２を選択して次世代の特徴量抽出式リストに含める。交差処理では、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い複数の特徴量抽出式ｆ２とｆ５を交差させて（組み合わせて）特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。
【００４４】
突然変異処理では、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の高い特徴量抽出式ｆ２を部分的に突然変異させて（変更して）特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。ランダム生成処理では、新たな特徴量抽出式をランダムに生成して次世代の特徴量抽出式リストに含める。
【００４５】
図３に戻る。特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成する各特徴量抽出式ｆ１乃至ｆｍに、教師データ供給部１３から供給される複数の教師データＴｉの実データＤｉを代入し、教師データＴｉに対する特徴量を計算し、計算した特徴量を評価値算出部１５に供給する。
【００４６】
ここで、教師データ供給部１３から供給される教師データＴｉについて説明する。図８は、教師データＴｉのデータ構造を示している。
【００４７】
総数Ｌ個の教師データＴｉ（ｉ＝１，２，・・・，Ｌ）は、入力データＸと同じ種類のデータである実データＤｉ、実データＤｉに対応する情報Ｉｉを有している。情報Ｉｉは、例えば、実データＤｉの明るさを示すものであり、（明るいか（＋１）、明るくないか（−１）の２値情報）であってもよいし、明るさ（その値によって明るさの程度を示す数値情報。例えば、０から５までの値として、０は全く明るくない。５は非常に明るいとする）であってもよい。以下、情報Ｉｉは、＋１または−１の２値情報であるとする。
【００４８】
さらに、教師データＴｉには重みＷｉが設定されている。初期状態において、各教師データＴｉの重みＷｉは均一であり、Ｌ個の教師データＴｉの重みＷｉの合計が１と成るように正規化されている。
【００４９】
教師データ供給部１３は、重み設定部１４を内蔵する。重み設定部１４は、各教師データＴｉの重みＷｉを、評価値算出部１５から供給される、構築された弱情報抽出部Ｆ（Ｘ）tによって各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）tに対応する信頼度Ｃtに基づいて更新する。
【００５０】
具体的には、弱情報抽出部Ｆ（Ｘ）tによって正しく判別された教師データＴｉについては現状の重みＷｉをEXP（−Ｃt）倍とし、弱情報抽出部Ｆ（Ｘ）tによって間違って判別された教師データＴｉについては、現状の重みＷｉをEXP（Ｃt）倍とする。さらに、Ｌ個の教師データＴｉの重みＷｉの合計が１と成るように正規化する。
【００５１】
図３に戻る。上述したように、教師データＴｉの数はＬ、特徴量抽出式リストを構成する特徴量抽出式の数はｍであるので、特徴量計算部１２では、図９に示すように、（Ｌ×ｍ）個の特徴量が算出されることになる。以下、特徴量抽出式ｆｊ（ｊ＝１，２，・・・，ｍ）に、教師データＴｉ（ｉ＝１，２，・・・，Ｌ）の実データＤｉを代入して計算された特徴量をｆｊ[Ｔｉ]と記述する。なお、図９には、特徴量ｆｊ[Ｔｉ]の具体的な値が記載されている。
【００５２】
評価値算出部１５は、Ｌ個の教師データＴｉとＬ個の特徴量ｆ１[Ｔｉ]とに基づき、特徴量抽出式ｆ１に対応する情報推定式を決定するとともに、特徴量抽出式ｆ１の評価値を算出する。なお、ここで情報推定式は、その出力を２値情報とするので、情報推定式として、特徴量ｆ１[Ｔｉ]と比較する閾値を有する判別式が決定される。
【００５３】
この判別式は、例えば、
特徴量ｆ１[Ｔｉ]＞閾値 → 情報＝−１
特徴量ｆ１[Ｔｉ]≦閾値 → 情報＝＋１
とする。
【００５４】
具体的には、図１０に示すように、横軸には特徴量ｆ１[Ｔｉ]の値、縦軸は重みＷｉをかけた教師データの分布を示すグラフに、Ｌ個の教師データＴｉを情報Ｉｉの値（＋１または−１）に応じて２つに分類してプロットする。そして、情報推定式（閾値による判別式）によって、情報Ｉｉが正しく判別された教師データＴｉの重みＷｉの合計が最大となるように閾値を決定する。すなわち、図１０に示された左側の山の分布（教師データＴｉの情報Ｉｉの値が＋１である分布）のうちの閾値よりも左側の面積と、図１０に示された右側の山の分布（教師データＴｉの情報Ｉｉの値が−１である分布）のうちの閾値よりも右側の面積との合計が最大となるように閾値を決定する。
【００５５】
そして、決定した情報推定式（閾値による判別式）によって、情報Ｉｉが正しく判別された教師データＴｉの重みＷｉの合計を、特徴量抽出式ｆ１の評価値とする。
【００５６】
同様に、評価値算出部１５は、特徴量抽出式ｆ２乃至ｆｍにそれぞれ対応する情報推定式を決定するとともに、特徴量抽出式ｆ２乃至ｆｍの評価値を算出する。
【００５７】
ここで算出された特徴量抽出式ｆ１乃至ｆｍの評価値は、特徴量抽出式リスト生成部１１に供給されて、次世代の特徴量抽出式リストの生成に利用される。
【００５８】
さらに、評価値算出部１５は、所定の終了条件が満たされた数世代後（最終世代とする）の特徴量抽出式リストを構成する特徴量抽出式ｆ１乃至ｆｍのうち、最も評価値の良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つの弱情報抽出部Ｆ（Ｘ）tを構築する。さらに、構築した弱情報抽出部Ｆ（Ｘ）tの信頼度Ｃtを算出する。
信頼度Ｃt＝１／２log（（１−Ｅ）／Ｅ）
【００５９】
ここで、Ｅは構築した弱情報抽出部Ｆ（Ｘ）tのエラー率であり、弱情報抽出部Ｆ（Ｘ）tによって、情報Ｉｉが間違って判別された教師データＴｉの重みＷｉの合計値（図１０の例では、左側の山の分布（教師データＴｉの情報Ｉｉの値が＋１である分布）のうちの閾値よりも右側の面積と、図１０に示された右側の山の分布（教師データＴｉの情報Ｉｉの値が−１である分布）のうちの閾値よりも左側の面積との合計）である。
【００６０】
ここで構築された弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtは合成部１６に供給される。また、構築された弱情報抽出部Ｆ（Ｘ）tによって各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）t対応する信頼度Ｃtが教師データ供給部１３の重み設定部１４に供給される。
【００６１】
合成部１６は、評価値算出部１５から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）tと、それぞれに対応する信頼度Ｃtを用いた次式に従い、高精度情報抽出装置１（図１）を構築する。
SignΣ（Ｃt・Ｆ（Ｘ）t）
【００６２】
すなわち、合成部１６では、複数の弱情報抽出部Ｆ（Ｘ）tの出力がそれの信頼度Ｃtによって重み付けられて加算される。そして、その総和の符号が正であるならば、入力データＸの情報Ｉが＋１、その総和の符号が負であるならば、入力データＸの情報Ｉが−１とされる、高精度情報抽出装置１が構築される。
【００６３】
次に、高精度情報抽出装置構築システム１０による動作について、図１１のフローチャートを参照して説明する。
【００６４】
ステップＳ１において、教師データ供給部１３は、内蔵する重み設定部１４により、予め用意されているＬ個の教師データＴｉの各重みＷｉを均等な値１／Ｌに初期化し、第１世代の教師データＴｉとして特徴量計算部１２および評価値算出部１５に供給する。
【００６５】
ステップＳ２において、第１世代の教師データＴｉに対応する弱情報抽出部Ｆ（Ｘ）1が生成される。ステップＳ２の処理について、図１２のフローチャートを参照して詳述する。
【００６６】
ステップＳ１１において、特徴量抽出式リスト生成部１１は、ｍ本の特徴量抽出式をランダムに生成し、生成したｍ本の特徴量抽出式からなる第１世代の特徴量抽出式リストを特徴量計算部１２に供給する。
【００６７】
ステップＳ１２において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍを順に１本ずつ注目する特徴量抽出式リストループを開始する。
【００６８】
ステップＳ１３において、特徴量計算部１２は、注目している特徴量抽出式ｆｊに、Ｌ個の教師データＴｉを代入してＬ個の特徴量ｆｊ[Ｔｉ]を計算し、評価値算出部１５に出力する。ステップＳ１４において、評価値算出部１５は、Ｌ個の教師データＴｉとＬ個の特徴量ｆｊ[Ｔｉ]とに基づき、特徴量抽出式ｆｊに対応する情報推定式を決定し、ステップＳ１５において、特徴量抽出式ｆｊの評価値を算出する。ステップＳ１２乃至Ｓ１５の処理により、注目している特徴量抽出式ｆｊに対応する情報推定式と評価値が得られたことになる。
【００６９】
ステップＳ１６において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っているか否かを判定する。そして、注目していない特徴量抽出式が残っていると判定された場合、処理はステップＳ１２に戻り、ステップＳ１２乃至Ｓ１６の処理が繰り返される。
【００７０】
そして、ステップＳ１６において、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っていないと判定された場合、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する情報推定式と評価値が得られたことになるので、処理はステップＳ１７に進められる。
【００７１】
ステップＳ１７において、評価値算出部１５は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値のうち、最も良い評価値の値が所定の数世代の間、向上していないことなどとすることができる。
【００７２】
ステップＳ１７において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ１８に進められる。
【００７３】
ステップＳ１８において、評価値算出部１５は、現世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値を特徴量抽出式リスト生成部１１に供給する。特徴量抽出式リスト生成部１１は、現世代の特徴量抽出式リストを遺伝的アルゴリズムに従って更新することにより、次世代の特徴量抽出式リストを生成して特徴量計算部１２に供給する。
【００７４】
具体的には、遺伝的アルゴリズムの選択処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の良いｍｓ本の特徴量抽出式を選択して次世代の特徴量抽出式リストに含める。また、遺伝的アルゴリズムの交差処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の良いものほど選択され易いように重み付けをして２本の特徴量抽出式を選択し、選択した２本の特徴量抽出式を交差させる（組み合わせる）ことにより、ｍｘ本の特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。
【００７５】
さらに、遺伝的アルゴリズムの突然変異処理として、現世代の特徴量抽出式リストを構成する複数の特徴量抽出式のうち、評価値の良いものほど選択され易いように重み付けをして１本の特徴量抽出式を選択し、選択した１本の特徴量抽出式を部分的に突然変異させる（変更する）ことにより、ｍｍ本の特徴量抽出式を生成し、次世代の特徴量抽出式リストに含める。さらにまた、遺伝的アルゴリズムのランダム生成処理として、新たにｍｒ（＝ｍ−ｍｓ−ｍｘ−ｍｍ）本の特徴量抽出式をランダムに生成して次世代の特徴量抽出式リストに含める。
【００７６】
以上のように、次世代の特徴量抽出式リストが生成されて特徴量計算部１２に供給された後、処理はステップＳ１２に戻り、ステップＳ１２乃至Ｓ１８の処理が繰り返される。そして、ステップＳ１７において、所定の終了条件を満たしていると判定された場合、処理はステップＳ１９に進められる。
【００７７】
ステップＳ１９において、評価値算出部１５は、現世代、すなわち、最終世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、評価値が最も良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つ目の弱情報抽出部Ｆ（Ｘ）1を構築し、構築した弱情報抽出部Ｆ（Ｘ）1の信頼度Ｃ1を算出する。さらに、評価値算出部１５は、構築した１つ目の弱情報抽出部Ｆ（Ｘ）1とそれに対応する信頼度Ｃ1を合成部１６に供給する。またさらに、評価値算出部１５は、構築した弱情報抽出部Ｆ（Ｘ）1によって第１世代の各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）1対応する信頼度Ｃ1を教師データ供給部１３の重み設定部１４に供給する。
【００７８】
以上のように、第１世代の教師データＴｉに対応する１つ目の弱情報抽出部Ｆ（Ｘ）1が構築され、その信頼度Ｃ1が算出された後、処理は図１１のステップＳ３に戻される。
【００７９】
ステップＳ３において、合成部１６は、現時点までに評価値算出部１５から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtを合成することにより、高精度情報抽出装置１を構築する。
【００８０】
ステップＳ４において、合成部１６は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、所定の数Ｔだけ弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtが評価値算出部１５から供給されていること、高精度情報抽出装置１が所望の精度に達していること、またはユーザから終了が指示されたことのうち、少なくとも１つが満たされていることなどとすることができる。
【００８１】
ステップＳ４において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ５に進められる。
【００８２】
ステップＳ５において、教師データ供給部１３の重み設定部１４は、各教師データＴｉの重みＷｉを、ステップＳ１９の処理で評価値算出部１５から供給された、現世代の教師データＴｉに対応する弱情報抽出部Ｆ（Ｘ）tによって各教師データＴｉが正しく判別されたか否かを示す情報と、弱情報抽出部Ｆ（Ｘ）tに対応する信頼度Ｃtに基づいて更新する。
【００８３】
ステップＳ５の処理について、図１３のフローチャートを参照して詳述する。
【００８４】
ステップＳ４１において、重み設定部１４は、Ｌ個の教師データＴｉを順に１つずつ注目する教師データループを開始する。
【００８５】
ステップＳ４２において、重み設定部１４は、注目する教師データＴｉが、現世代の教師データＴｉに対応する弱情報抽出部Ｆ（Ｘ）tによって正しく判別されたか否かを判定する。
【００８６】
ステップＳ４２において、正しく判別されたと判定された場合、処理はステップＳ４３に進められる。ステップＳ４３において、重み設定部１４は、注目する教師データＴｉの現状の重みＷｉをEXP（−Ｃt）倍することにより更新する。この後、処理はステップＳ４５に進められる。
【００８７】
反対に、ステップＳ４２において、正しく判別されていない（間違って判別されている）と判定された場合、処理はステップＳ４４に進められる。ステップＳ４４において、重み設定部１４は、注目する教師データＴｉの現状の重みＷｉをEXP（Ｃt）倍することにより更新する。この後、処理はステップＳ４５に進められる。
【００８８】
ステップＳ４５において、重み設定部１４は、Ｌ個の教師データＴｉのうち、注目していないものが残っているか否かを判定し、注目していないものが残っていると判定した場合、ステップＳ４１に戻って、ステップＳ４１乃至４５の処理を繰り返す。
【００８９】
そして、ステップＳ４５において、Ｌ個の教師データＴｉのうち、注目していないものが残っていないと判定された場合、Ｌ個の教師データＴｉにそれぞれ対応する重みＷｉを全て更新したので、処理はステップＳ４６に進められる。
【００９０】
ステップＳ４６において、重み設定部１４は、Ｌ個の教師データＴｉにそれぞれ対応する更新した重みＷｉの合計が１となるように正規化する。
【００９１】
以上のようにして重みＷｉが更新されたＬ個の教師データＴｉが、次世代の教師データＴｉとして評価値算出部１５に供給される。なお、２世代以降の教師データＴｉは、実データＤｉおよび情報Ｉｉに変更はなく、重みＷｉだけが更新されているので、次世代の教師データＴｉとして、更新された重みＷｉだけを評価値算出部１５に供給するようにしてもよい。
【００９２】
この後、処理は図１１のステップＳ２に戻り、ステップＳ２乃至Ｓ５の処理が繰り返される。この繰り返しにより、教師データＴｉが更新された世代数と同じ数だけ、弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtが合成部１６に供給され、合成部１６により、徐々に制度が高められた高精度情報抽出装置１が構築されることになる。
【００９３】
そして、ステップＳ４において、所定の終了条件を満たしていると判定された場合、処理はステップＳ５に進められる。ステップＳ５において、合成部１６は、直前のステップＳ３の処理で構築した高精度情報抽出装置１を、最終的な高精度情報抽出装置１として出力する。
【００９４】
以上で、本発明の第１の実施の形態である高精度情報抽出装置構築システム１０の動作説明を終了する。
【００９５】
次に、本発明の第２の実施の形態である高精度情報抽出装置構築システム５０の構成例について、図１４を参照して説明する。この高精度情報抽出装置構築システム５０は、複数の教師データを用いたアンサンブル学習のバッギングによって高精度情報抽出装置１を構築するものである。
【００９６】
なお、この高精度情報抽出装置構築システム５０と、図３に示された本発明の第１の実施の形態である、アンサンブル学習のブースティングによって高精度情報抽出装置１を構築する高精度情報抽出装置構築システム１０との間で共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
【００９７】
この高精度情報抽出装置構築システム５０は、ｍ本の特徴量抽出式からなる特徴量抽出式リストを生成、更新する特徴量抽出式リスト生成部１１、生成された各特徴量抽出式に教師データの実データを代入して特徴量を計算する特徴量計算部１２、教師データを特徴量計算部１２と評価値算出部５３に供給する教師データ供給部５１、特徴量計算部１２によって計算された教師データに対応する特徴量と教師データとに基づいて情報抽出式を機械学習により生成するとともに特徴量抽出式リストを構成する各特徴抽出式の評価値を算出する評価値算出部５３、および、評価値算出部１５から出力されるＴ個の弱情報抽出部Ｆ（Ｘ）tとそれに対応する信頼度Ｃtを用いて高精度情報抽出装置１を構築する合成部５４から構成される。
【００９８】
特徴量抽出式リスト生成部１１は、第１世代の特徴量抽出式リストをランダムに生成する。また、特徴量抽出式リスト生成部１１は、第２世代以降の特徴量抽出式リストを、前世代の特徴量抽出式リストを遺伝的アルゴリズムにしたがって更新することにより生成する。生成された特徴量抽出式リストは特徴量計算部１２に供給される。
【００９９】
特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成する各特徴量抽出式ｆ１乃至ｆｍに、教師データ供給部５１から供給される、教師データＴｉ（ｉ＝１，２，・・・，Ｊ）の実データＤｉを代入し、教師データＴｉに対する特徴量を計算し、計算した特徴量を評価値算出部５３に供給する。
【０１００】
ここで、教師データ供給部５１から供給される教師データＴｉについて説明する。
【０１０１】
教師データ供給部５１は、内蔵するランダムサンプリング部５２により、総数Ｌ個の教師データＴｉの中からＪ個をランダムに選択して教師データ群を生成し、特徴量計算部１２および評価値算出部５３に供給する。なお、教師データＴｉは、入力データＸと同じ種類のデータである実データＤｉ、実データＤｉに対応する情報Ｉｉを有している。情報Ｉｉは、例えば、実データＤｉの明るさを示すものであり、（明るいか（＋１）、明るくないか（−１）の２値情報）であってもよいし、明るさ（その値によって明るさの程度を示す数値情報。例えば、０から５までの値として、０は全く明るくない。５は非常に明るいとする）であってもよい。以下、情報Ｉｉは、＋１または−１の２値情報であるとする。
【０１０２】
さらに、教師データＴｉには重みＷｉが設定されている。初期状態において、各教師データＴｉの重みＷｉは均一であり、Ｌ個の教師データＴｉの重みＷｉの合計が１と成るように正規化されている。
【０１０３】
上述したように、教師データＴｉの数はＪ、特徴量抽出式リストを構成する特徴量抽出式の数はｍであるので、特徴量計算部１２では、（Ｊ×ｍ）個の特徴量が算出されることになる。
【０１０４】
評価値算出部５３は、Ｊ個の教師データＴｉとＪ個の特徴量ｆ１[Ｔｉ]とに基づき、特徴量抽出式ｆ１の評価値を算出する。
【０１０５】
なお、情報推定式によって推定しようとする情報Ｉｉが２値情報である場合には、評価値として、Ｊ個の教師データＴｉとＪ個の特徴量ｆ１[Ｔｉ]とのFDR(fisher discriminant ratio)を算出する。
FDR＝（（Ｘの平均）−（Ｙの平均））2／（（Ｘの標準偏差）−（Ｙの標準偏差））
ただし、Ｘは教師データＴｉ、Ｙは特徴量ｆ１[Ｔｉ]を示すものとする。
【０１０６】
また、情報推定式によって推定しようとする情報Ｉｉが数値情報である場合には、評価値として、Ｊ個の教師データＴｉとＪ個の特徴量ｆ１[Ｔｉ]とのPearsonの相関係数ｒを算出する。
ｒ＝（ＸとＹの共分散）／（（Ｘの標準偏差）×（Ｙの標準偏差））
ただし、Ｘは教師データＴｉ、Ｙは特徴量ｆ１[Ｔｉ]を示すものとする。
【０１０７】
同様に、評価値算出部５３は、特徴量抽出式ｆ２乃至ｆｍの評価値も算出する。ここで算出された特徴量抽出式ｆ１乃至ｆｍの評価値は、特徴量抽出式リスト生成部１１に供給されて、次世代の特徴量抽出式リストの生成に利用される。
【０１０８】
さらに、評価値算出部５３は、所定の終了条件が満たされた数世代後（最終世代とする）の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、評価値が最も良い特徴量抽出式ｆｉの計算結果であるＪ個の特徴量ｆ１[Ｔｉ]とＪ個の教師データＴｉとを用いた機械学習により、評価値が最も良い特徴量抽出式ｆｉに対応する情報推定式を決定する。
【０１０９】
なお、情報推定式は、その出力が２値情報である場合には線形判別などの機械学習によって判別式が決定される。また、その出力が数値情報である場合には線形回帰などの機械学習によって線形結合式が決定される。
【０１１０】
またさらに、評価値算出部５３は、評価値が最も良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つの弱情報抽出部Ｆ（Ｘ）tを構築して合成部５４に供給する。
【０１１１】
合成部５４は、評価値算出部５３から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）tから次式に従って高精度情報抽出装置１（図１）を構築する。
（ΣＦ（Ｘ）t）／ｔ
【０１１２】
すなわち、合成部５４では、複数の弱情報抽出部Ｆ（Ｘ）tの出力の平均値を出力とする高精度情報抽出装置１が構築されることになる。
【０１１３】
次に、高精度情報抽出装置構築システム５０による動作について、図１５のフローチャートを参照して説明する。
【０１１４】
ステップＳ６１において、教師データ供給部５１のランダムサンプリング部５２は、予め用意されているＬ個の教師データＴｉの中から、ランダムにＪ個の教師データＴｉを選択して教師データ群を生成し、第１世代の教師データ群として特徴量計算部１２および評価値算出部５３に供給する。
【０１１５】
ステップＳ６２において、第１世代の教師データ群に対応する弱情報抽出部Ｆ（Ｘ）1が生成される。ステップＳ６２の処理について、図１６のフローチャートを参照して詳述する。
【０１１６】
ステップＳ７１において、特徴量抽出式リスト生成部１１は、ｍ本の特徴量抽出式をランダムに生成し、生成したｍ本の特徴量抽出式からなる第１世代の特徴量抽出式リストを特徴量計算部１２に供給する。
【０１１７】
ステップＳ７２において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍを順に１本ずつ注目する特徴量抽出式リストループを開始する。
【０１１８】
ステップＳ７３において、特徴量計算部１２は、注目している特徴量抽出式ｆｊに、現世代の教師データ群を構成するＪ個の教師データＴｉを代入してＪ個の特徴量ｆｊ[Ｔｉ]を計算し、評価値算出部５３に出力する。ステップＳ７４において、評価値算出部５３は、Ｊ個の教師データＴｉとＪ個の特徴量ｆｊ[Ｔｉ]とに基づき、特徴量抽出式ｆｊに対応する評価値を算出する。ステップＳ７３乃至Ｓ７４の処理により、注目している特徴量抽出式ｆｊの価値が得られたことになる。
【０１１９】
ステップＳ７６において、特徴量計算部１２は、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っているか否かを判定する。そして、注目していない特徴量抽出式が残っていると判定された場合、処理はステップＳ７２に戻り、ステップＳ７２乃至Ｓ７６の処理が繰り返される。
【０１２０】
そして、ステップＳ７６において、特徴量抽出式リスト生成部１１から供給された特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、注目してないものが残っていないと判定された場合、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値が得られたことになるので、処理はステップＳ７６に進められる。
【０１２１】
ステップＳ７６において、評価値算出部５３は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、ｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値のうち、最も良い評価値の値が所定の数世代の間、向上していないことなどとすることができる。
【０１２２】
ステップＳ７６において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ７７に進められる。
【０１２３】
ステップＳ７７において、評価値算出部５３は、現世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍにそれぞれ対応する評価値を特徴量抽出式リスト生成部１１に供給する。特徴量抽出式リスト生成部１１は、現世代の特徴量抽出式リストを遺伝的アルゴリズムに従って更新することにより、次世代の特徴量抽出式リストを生成して特徴量計算部１２に供給する。
【０１２４】
以上のように、生成された次世代の特徴量抽出式リストが特徴量計算部１２に供給された後、処理はステップＳ７２に戻り、ステップＳ７２乃至Ｓ７７の処理が繰り返される。そして、ステップＳ７６において、所定の終了条件を満たしていると判定された場合、処理はステップＳ７８に進められる。
【０１２５】
ステップＳ７８において、評価値算出部５３は、現世代、すなわち、最終世代の特徴量抽出式リストを構成するｍ本の特徴量抽出式ｆ１乃至ｆｍのうち、評価値が最も良い特徴量抽出式ｆｉの計算結果であるＪ個の特徴量ｆ１[Ｔｉ]とＪ個の教師データＴｉとを用いた機械学習により、評価値が最も良い特徴量抽出式ｆｉに対応する情報推定式を決定する。また、評価値算出部５３は、評価値が最も良い特徴量抽出式ｆｉとそれに対応する情報推定式から１つ目の弱情報抽出部Ｆ（Ｘ）1を構築して合成部５４に供給する。
【０１２６】
以上のように、第１世代の教師データ群に対応する１つ目の弱情報抽出部Ｆ（Ｘ）1が構築され後、処理は図１５のステップＳ６３に戻される。
【０１２７】
ステップＳ６３において、合成部５４は、現時点までに評価値算出部５３から供給されている１個以上の弱情報抽出部Ｆ（Ｘ）tを合成する（出力の平均を演算する）ことにより、高精度情報抽出装置１を構築する。
【０１２８】
ステップＳ６４において、合成部５４は、所定の終了条件を満たしているか否かを判定する。ここで、所定の終了条件としては、例えば、所定の数Ｔだけ弱情報抽出部Ｆ（Ｘ）tが評価値算出部５３から供給されていること、高精度情報抽出装置１が所望の精度に達していること、またはユーザから終了が指示されたことのうち、少なくとも１つが満たされていることなどとすることができる。
【０１２９】
ステップＳ６４において、所定の終了条件を満たしていないと判定された場合、処理はステップＳ６１に戻される。そして、ステップＳ６１乃至６４の処理が繰り返される。
【０１３０】
この繰り返し毎、順次、次世代以降の教師データ群が生成されて、それに対応する弱情報抽出部Ｆ（Ｘ）tが合成部５４に供給され、合成部５４により、徐々に制度が高められた高精度情報抽出装置１が構築されることになる。
【０１３１】
そして、ステップＳ６４において、所定の終了条件を満たしていると判定された場合、処理はステップＳ６５に進められる。ステップＳ６５において、合成部５４は、直前のステップＳ６３の処理で構築した高精度情報抽出装置１を、最終的な高精度情報抽出装置１として出力する。
【０１３２】
以上で、本発明の第２の実施の形態である高精度情報抽出装置構築システム５０の動作説明を終了する。
【０１３３】
以上説明したように、本発明を適用した高精度情報抽出装置構築システム１０および５０によれば、アンサンブル学習における弱情報抽出部を、遺伝的アルゴリズムを用いて生成することができる。
【０１３４】
また、本発明を適用した高精度情報抽出装置構築システム１０および５０によれば、任意の種類の入力データＸから高い精度で情報を抽出することができる高精度情報抽出装置を構築することができる。
【０１３５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３６】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３７】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１３８】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどの着脱可能な記録媒体１１１を駆動するドライブ１１０が接続されている。
【０１３９】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４１】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１４２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４４】
【図１】アンサンブル学習による高精度情報抽出装置を説明する図である。
【図２】図１の高精度情報抽出装置における弱情報抽出部の構成を説明する図である。
【図３】本発明の第１の実施の形態である高精度情報抽出装置構築システムの構成例を示すブロック図である。
【図４】特徴量抽出式の例を示す図である。
【図５】特徴量抽出式の構成を説明する図である。
【図６】特徴量抽出式リストの例を示す図である。
【図７】遺伝的アルゴリズムを説明するための図である。
【図８】教師データのデータ構造を示す図である。
【図９】図３の特徴量計算部によって計算される特徴量の例を示す図である。
【図１０】特徴量抽出式に対応する情報推定式（閾値）、および評価値の決定方法を説明するための図である。
【図１１】図３の高精度情報抽出装置構築システムによる動作を説明するフローチャートである。
【図１２】図１１のステップＳ２の処理を説明するフローチャートである。
【図１３】図１１のステップＳ５の処理を説明するフローチャートである。
【図１４】本発明の第２の実施の形態である高精度情報抽出装置構築システムの構成例を示すブロック図である。
【図１５】図１４の高精度情報抽出装置構築システムによる動作を説明するフローチャートである。
【図１６】図１５のステップＳ６２の処理を説明するフローチャートである。
【図１７】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１４５】
１０ 高精度情報抽出装置構築システム， １１ 特徴量抽出式リスト生成部， １２ 特徴量計算部， １３ 教師データ供給部， １４ 重み設定部， １５ 評価値算出部， １６ 合成部， ５０ 高精度情報抽出装置構築システム， ５１ 教師データ供給部， ５２ ランダムサンプリング部， ５３ 評価値算出部， ５４ 合成部， １０１ CPU， １１１ 記録媒体
【特許請求の範囲】
【請求項１】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、
複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、
計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出する評価値算出手段と、
決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する更新手段と
を含むことを特徴とする情報処理装置。
【請求項２】
複数の前記情報抽出部を、前記情報抽出部の前記信頼度に基づいて合成することにより、前記高精度情報抽出部を構築する合成手段を
さらに含むことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、
決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、
決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する
ステップを含むことを特徴とする情報処理方法。
【請求項４】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、
決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、
決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する
ステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とするプログラム。
【請求項５】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、
実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択する選択手段と、
複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する評価値算出手段と
を含むことを特徴とする情報処理装置。
【請求項６】
複数の前記情報抽出部を合成することにより、前記高精度情報抽出部を構築する合成手段を
さらに含むことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、
実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する
ステップを含むことを特徴とする情報処理方法。
【請求項８】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、
実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する
ステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とするプログラム。
【請求項１】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、
複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、
計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出する評価値算出手段と、
決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する更新手段と
を含むことを特徴とする情報処理装置。
【請求項２】
複数の前記情報抽出部を、前記情報抽出部の前記信頼度に基づいて合成することにより、前記高精度情報抽出部を構築する合成手段を
さらに含むことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、
決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、
決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する
ステップを含むことを特徴とする情報処理方法。
【請求項４】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、実データ、前記実データの特徴を示す情報、および重みからなる教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記特徴量抽出式リストに含まれる各特徴量抽出式にそれぞれ対応する情報抽出部候補を生成するとともに、生成した前記情報抽出部候補によって正しく推定された教師データの重みを用いて各特徴量抽出式にそれぞれ対応する評価値を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式に対応する前記情報抽出部候補を、前記アンサンブル学習における１つの前記情報抽出部に決定して、
決定した前記情報抽出部によって間違って推定された教師データの重みを用いて、決定した前記情報抽出部の信頼度を算出し、
決定された前記情報抽出部の前記信頼度を用いて、教師データの重みを更新する
ステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とするプログラム。
【請求項５】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置において、
実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択する選択手段と、
複数の演算子から成る特徴量抽出式を複数含む特徴量抽出式リストを、前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新することにより生成する特徴量抽出式リスト生成手段と、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算する特徴量計算手段と、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する評価値算出手段と
を含むことを特徴とする情報処理装置。
【請求項６】
複数の前記情報抽出部を合成することにより、前記高精度情報抽出部を構築する合成手段を
さらに含むことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の情報処理方法において、
実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する
ステップを含むことを特徴とする情報処理方法。
【請求項８】
入力データの特徴を示す情報を抽出する複数の情報抽出部の出力を合成して、前記情報抽出部よりも高精度で前記入力データの特徴を示す情報を抽出する高精度情報抽出部を構築するアンサンブル学習における前記情報抽出部を生成する情報処理装置の制御用のプログラムであって、
実データ、および前記実データの特徴を示す情報からなる教師データをランダムに選択し、
複数の演算子から成る特徴量抽出式を複数含む第１世代の特徴量抽出式リストをランダムに生成し、
前記特徴量抽出式リストに含まれる各特徴量抽出式に、前記教師データの実データを入力して、前記実データに対応する複数の特徴量を計算し、
各特徴量抽出式にそれぞれ対応する評価値として、各特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量を用いて、前記教師データの前記実データに対応する前記情報を推定した場合の精度を算出し、
前世代の前記特徴量抽出式リストに含まれる複数の特徴量抽出式を遺伝子とみなし、前記特徴量抽出式の前記評価値に基づいた遺伝的アルゴリズムを用いて前世代の前記特徴量抽出式リストを更新し、
最終世代の前記特徴量抽出式リストに含まれる特徴量抽出式のうちで前記評価値が最も良い特徴量抽出式を用いて計算された前記教師データの前記実データに対応する前記複数の特徴量から、前記教師データの前記実データに対応する前記情報を推定する機械学習により、前記アンサンブル学習における１つの前記情報抽出部を生成する
ステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−１１０２１２（Ｐ２００９−１１０２１２Ａ）
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願番号】特願２００７−２８１０３５（Ｐ２００７−２８１０３５）
【出願日】平成１９年１０月２９日（２００７．１０．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願日】平成１９年１０月２９日（２００７．１０．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]