情報処理装置、情報処理方法、及び、プログラム

【課題】モデル化対象に対して適切な規模の学習モデルを得る。
【解決手段】対象モジュール決定部２２は、時系列パターン記憶モデルを、最小の構成要素であるモジュールとして有する学習モデルのうちの、尤度が最大のモジュールである最大尤度モジュール、又は、新規のモジュールを、時系列パターン記憶モデルのモデルパラメータを更新する対象の対象モジュールに決定し、更新部２３は、学習データを用いて、対象モジュールのモデルパラメータを更新する。この場合に、対象モジュール決定部２２は、学習データを用いて、最大尤度モジュールの学習を行った場合と、新規のモジュールの学習を行った場合とのそれぞれの場合の学習モデルの事後確率に基づいて、対象モジュールを決定する。本発明は、例えば、時系列のデータの学習等に適用できる。

Notice: Undefined index: DEJ in /mnt/www/gzt_disp.php on line 298

【特許請求の範囲】
【請求項１】
逐次供給される観測値の時系列を、学習に用いる学習データとし、時系列パターンを記憶する時系列パターン記憶モデルを、最小の構成要素であるモジュールとして有する学習モデルを構成する各モジュールについて、前記モジュールにおいて、前記学習データが観測される尤度を求める尤度算出手段と、
前記学習モデルのうちの、前記尤度が最大のモジュールである最大尤度モジュール、又は、新規のモジュールを、前記時系列パターン記憶モデルのモデルパラメータを更新する対象のモジュールである対象モジュールに決定する対象モジュール決定手段と、
前記学習データを用いて、前記対象モジュールのモデルパラメータを更新する学習を行う更新手段と
を備え、
前記対象モジュール決定手段は、前記学習データを用いて、前記最大尤度モジュールの学習を行った場合と、前記新規のモジュールの学習を行った場合とのそれぞれの場合の前記学習モデルの事後確率に基づいて、前記尤度最大モジュール、又は、前記新規のモジュールを、前記対象モジュールに決定する
情報処理装置。
【請求項２】
前記対象モジュール決定手段は、
前記学習モデルの各モジュールについて、前記モジュールの学習に用いられた学習データの少なくとも一部を、そのモジュールに対応付けてバッファリングし、
前記学習モデルの各モジュールに対応付けてバッファリングされている前記学習データから、所定の数の前記学習データを、前記学習モデルのエントロピーの算出に用いる算出用データとして抽出し、
前記学習モデルの各モジュールの、前記所定の数の算出用データそれぞれに対する尤度を算出し、
前記算出用データに対する各モジュールの尤度を、前記学習モデルを構成するすべての前記モジュールについての総和が1になる値である確率に確率化し、
前記尤度を確率化して得られる前記確率を発生確率とする前記算出用データのエントロピーを算出し、
前記モジュールの、前記算出用データに対する尤度に比例する重みを用いた、前記所定の数の算出用データのエントロピーの重み付け加算値を、前記モジュールのエントロピーとして算出し、
前記学習モデルを構成するすべてのモジュールのエントロピーの総和を、前記学習モデルのエントロピーとして算出し、
前記学習モデルのエントロピーに比例する値を、前記学習モデルの事前確率とするとともに、前記尤度最大モジュール、又は、前記新規のモジュールにおいて、前記学習データが観測される尤度を、前記学習モデルにおいて、前記学習データが観測される尤度として、前記学習モデルの事前確率、及び、前記学習モデルにおいて、前記学習データが観測される尤度を用い、ベイズ推定によって、前記学習モデルの事後確率を算出する
請求項１に記載の情報処理装置。
【請求項３】
前記対象モジュール決定手段は、
前記学習データを用いて、前記最大尤度モジュールの学習を行った場合に得られる前記学習モデルである、既存モジュール学習処理後の学習モデルの事後確率に対する、前記新規のモジュールの学習を行った場合に得られる前記学習モデルである、新規モジュール学習処理後の学習モデルの事後確率の改善量を算出し、
前記事後確率の改善量に基づいて、前記尤度最大モジュール、又は、前記新規のモジュールを、前記対象モジュールに決定する
請求項２に記載の情報処理装置。
【請求項４】
前記対象モジュール決定手段は、
前記学習モデルが、複数個のモジュールで構成される場合、
前記学習モデルの事後確率に基づいて、前記尤度最大モジュール、又は、前記新規のモジュールを、前記対象モジュールに決定し、
前記学習モデルが、１個のモジュールで構成される場合、
前記学習モデルの各モジュールの尤度のうちの、最大値である最大尤度と、閾値である閾値尤度とを比較し、
前記最大尤度が閾値尤度以上である場合に、前記最大尤度モジュールを、前記対象モジュールに決定し、
前記最大尤度が閾値尤度以上でない場合に、前記新規のモジュールを、前記対象モジュールに決定する
請求項３に記載の情報処理装置。
【請求項５】
前記対象モジュール決定手段は、
前記学習モデルが、１個のモジュールで構成される場合に、前記新規のモジュールが、前記対象モジュールに決定されるときの、前記事後確率の改善量が０であるとして、前記学習モデルのエントロピーに比例する値である、前記学習モデルの事前確率を、前記学習モデルのエントロピーから算出するための比例定数を算出し、
前記学習モデルが、複数個のモジュールで構成される場合、前記比例定数を用いて、前記事後確率の改善量を算出する
請求項４に記載の情報処理装置。
【請求項６】
前記学習モデルは、HMM(Hidden Markov Model)を、前記モジュールとして有する
請求項２に記載の情報処理装置。
【請求項７】
前記対象モジュール決定手段は、
前記学習モデルの各モジュールについて、前記モジュールの学習に用いられた学習データの少なくとも一部を、そのモジュールに対応付けてバッファリングし、
前記学習モデルの各モジュールに対応付けてバッファリングされている前記学習データから、所定の数の前記学習データを、前記学習モデルのエントロピーの算出に用いる算出用データとして抽出し、
前記学習モデルの各モジュールの、前記所定の数の算出用データそれぞれに対する尤度を算出し、
前記学習モデルの各モジュールの、前記所定の数の算出用データそれぞれに対する尤度を用いて、前記学習モデルのエントロピーを算出し、
前記学習モデルのエントロピーを用いて、前記学習モデルの事後確率を算出する
請求項１に記載の情報処理装置。
【請求項８】
情報処理装置が、
逐次供給される観測値の時系列を、学習に用いる学習データとし、時系列パターンを記憶する時系列パターン記憶モデルを、最小の構成要素であるモジュールとして有する学習モデルを構成する各モジュールについて、前記モジュールにおいて、前記学習データが観測される尤度を求める尤度算出ステップと、
前記学習モデルのうちの、前記尤度が最大のモジュールである最大尤度モジュール、又は、新規のモジュールを、前記時系列パターン記憶モデルのモデルパラメータを更新する対象のモジュールである対象モジュールに決定する対象モジュール決定ステップと、
前記学習データを用いて、前記対象モジュールのモデルパラメータを更新する学習を行う更新ステップと
を含み、
前記対象モジュール決定ステップでは、前記学習データを用いて、前記最大尤度モジュールの学習を行った場合と、前記新規のモジュールの学習を行った場合とのそれぞれの場合の前記学習モデルの事後確率に基づいて、前記尤度最大モジュール、又は、前記新規のモジュールを、前記対象モジュールに決定する
情報処理方法。
【請求項９】
逐次供給される観測値の時系列を、学習に用いる学習データとし、時系列パターンを記憶する時系列パターン記憶モデルを、最小の構成要素であるモジュールとして有する学習モデルを構成する各モジュールについて、前記モジュールにおいて、前記学習データが観測される尤度を求める尤度算出手段と、
前記学習モデルのうちの、前記尤度が最大のモジュールである最大尤度モジュール、又は、新規のモジュールを、前記時系列パターン記憶モデルのモデルパラメータを更新する対象のモジュールである対象モジュールに決定する対象モジュール決定手段と、
前記学習データを用いて、前記対象モジュールのモデルパラメータを更新する学習を行う更新手段と
して、コンピュータを機能させるためのプログラムであり、
前記対象モジュール決定手段は、前記学習データを用いて、前記最大尤度モジュールの学習を行った場合と、前記新規のモジュールの学習を行った場合とのそれぞれの場合の前記学習モデルの事後確率に基づいて、前記尤度最大モジュール、又は、前記新規のモジュールを、前記対象モジュールに決定する
プログラム。

【図１】