パターン認識装置、パターン認識方法、及びプログラム
【課題】状態数及び各状態の出力分布を自動的に決定して、時系列データの頑健なモデル化をすることができるパターン認識装置、パターン認識方法、及びプログラムを提供すること。
【解決手段】本発明に係るパターン認識装置１は、入力パターンの一部又は全部を入力ベクトルとしてニューラルネットワークに順次入力し、当該入力ベクトル、及び当該ニューラルネットワークに配置される多次元ベクトルで記述されるノードに基づいて、当該ノードを自動的に増加させる自己増殖型ニューラルネットワーク１２を用いて、入力パターンの特徴量に応じたテンプレートモデルを生成するテンプレートモデル生成部１０と、生成されたテンプレートモデルと入力パターンをマッチングして当該入力パターンを認識する認識部２０とを有するものである。
【解決手段】本発明に係るパターン認識装置１は、入力パターンの一部又は全部を入力ベクトルとしてニューラルネットワークに順次入力し、当該入力ベクトル、及び当該ニューラルネットワークに配置される多次元ベクトルで記述されるノードに基づいて、当該ノードを自動的に増加させる自己増殖型ニューラルネットワーク１２を用いて、入力パターンの特徴量に応じたテンプレートモデルを生成するテンプレートモデル生成部１０と、生成されたテンプレートモデルと入力パターンをマッチングして当該入力パターンを認識する認識部２０とを有するものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自己増殖型ニューラルネットワークを用いてパターン認識を行うパターン認識装置、パターン認識方法、及びプログラムに関する。
【背景技術】
【０００２】
時系列パターンの認識・モデル化は動画像処理、音声情報処理、ＤＮＡ解析などの様々な分野における重要な基盤技術である。一般的に時系列パターンは、特徴空間内での変動及び時間方向の伸縮を含む。時系列パターンを頑健に認識するためには、これらの特徴を吸収可能なモデル及び学習器を構築する必要がある。このため、予めグラフ構造を保持したモデルを持つことで時系列パターンの学習・認識を行う、モデルに基づく手法が頻繁に用いられている。
【０００３】
モデルに基づく手法としてＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）は、音声認識の分野における標準的な手法として大きな成功を収めている（非特許文献１参照）。ＨＭＭは音声認識以外にも、話者適応技術や音声合成技術などに用いられており、音声情報処理全般における標準的手法となっている。この音声情報処理における成功事例や、統計的理論の裏づけがあることから、ＨＭＭは動画像および動作の認識にも多く用いられてきた。音声認識や動画像認識における手法としては、離散ＨＭＭ（Ｄｉｓｃｒｅｔｅ ＨＭＭ）を用いるものや、連続分布ＨＭＭ（Ｃｏｎｔｉｎｕｏｕｓ ＨＭＭ）を用いるものがある（非特許文献２及び３参照）。また各状態における持続時間を正確にモデル化するために、各状態の持続長分布を明示的に持たせたＳｅｇｍｅｎｔ ｍｏｄｅｌも提案されている。
【０００４】
ＨＭＭなどに対し、動的計画法の一種であるＤＰマッチング法は、短時間の特徴パラメータ（各フレーム）同士の局所距離に基づいて、過度的な時系列パターン間の距離を算出することが可能である。ＤＰマッチングは音声認識、動作認識の他、時系列パターンの検索などに用いられている。
【０００５】
ＤＰマッチング及びＨＭＭに基づいた手法として、非特許文献４に開示された手法（以下、ストキャスティックＤＰ法という。）が提案されている。ストキャスティックＤＰ法では、ＤＰマッチングにおける局所距離の尺度については確率の尺度を用いており、パスコストの代わりにパス遷移確率を用いている。また、ストキャスティックＤＰ法はテンプレートパターンの１フレームを１状態に対応させており、状態数を多くしたＨＭＭの連続出力分布を持つｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルに相当する。
【非特許文献１】L. R. Rabiner, "A tutorial on hidden markov models and selected applications in speech recognition", Proc. IEEE, pp. 257-286(1989).
【非特許文献２】A. Wilson and A. Bobick, "Learning visual behavior for gesture analysis", Proc. IEEE International Symposium on Computer Vision, Vol. 5A Motion II(1995).
【非特許文献３】R. Hamdan, F. Heits and L. Thoraval, "Gesture localization and recognition using probabilistic visual learning", Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Vol. 98-103(1999).
【非特許文献４】中川聖一，"ストキャスティックＤＰ法および統計的手法による不特定話者の英語子音の認識"，信学論（Ｄ），vol.J70-D, no.1(1987).
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＨＭＭでは、パラメタ推定の容易性の理由で、音声データについて一音韻に対して３〜５状態のマルコフモデルが多く用いられる。しかしながら、このような少数の状態では、過度的な時系列パターンを正確にモデル化できない可能性がある。
また、ＤＰマッチング法では標準パターンそのものをモデルとするため、ＨＭＭに比べて特徴空間の分布を詳細にモデル化することが困難である。
一方、ストキャスティックＤＰ法は、ＤＰマッチングの利点及びＨＭＭの頑健性の両方を活かした手法であるものの、各状態の出力分布には単一の多次元正規分布が用いられている。一般に、各状態の出力分布は特徴量の次元数及び特性に応じて異なるため、このような単一の多次元正規分布を用いた場合には、出力分布を正確に近似することができないという問題がある。
【０００７】
このように、従来のパターン認識モデルでは、予め適切な状態数及び各状態の出力分布を決定する必要があり、また、各状態の出力分布を単一の多次元正規分布を用いては、出力分布を十分に近似することができないという問題がある。
【０００８】
本発明は係る課題を解決するためになされたものであり、状態数及び各状態の出力分布を自動的に決定し、時系列データの頑健なモデル化をすることができるパターン認識装置、パターン認識方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るパターン認識装置は、入力パターンの一部又は全部を入力ベクトルとしてニューラルネットワークに順次入力し、当該入力ベクトル、及び当該ニューラルネットワークに配置される多次元ベクトルで記述されるノードに基づいて、当該ノードを自動的に増加させる自己増殖型ニューラルネットワークを用いて、前記入力パターンの特徴量に応じたテンプレートモデルを生成するテンプレートモデル生成部と、生成された前記テンプレートモデルと前記入力パターンをマッチングして当該入力パターンを認識する認識部を有するものである。
【００１０】
これにより、テンプレートモデルにおける状態数及び各状態の出力分布を自動的に決定することができると共に、各状態の出力分布を詳細に近似することができるため、時系列データの頑健なモデル化を実現することができる。
【００１１】
また、前記認識部は、前記ノードに基づいて、前記テンプレートモデルにおける状態の出力分布を算出する尤度算出部を有し、算出された前記テンプレートモデルにおける状態の出力分布を用いて、前記テンプレートモデルと前記入力パターンとの一致度を算出するようにしてもよい。これにより、テンプレートモデルにおける各状態の出力分布を詳細に近似することができるため、時系列データをより精度良く認識することができる。
【００１２】
さらにまた、前記尤度算出部は、前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出部を有し、前記大域的尤度から前記テンプレートモデルにおける状態の出力分布を算出するようにしてもよい。これにより、入力パターンの特徴量を大域的尤度によって反映させることにより、テンプレートモデルにおける各状態の出力分布を詳細に近似することができるため、時系列データをより精度良く認識することができる。
【００１３】
また、前記尤度算出部は、辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出部を有し、前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出するようにしてもよい。これにより、入力パターンの特徴量を局所域的尤度によって反映させることにより、各状態の出力分布が単一の多次元正規分布では近似できない場合であっても、テンプレートモデルにおける各状態の出力分布を詳細に近似することができるため、時系列データをより精度良く認識することができる。
【００１４】
さらにまた、前記尤度算出部は、前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出部と、辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出部とを有し、前記大域的尤度及び／又は前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出するようにしてもよい。これにより、入力パターンの特徴量を大域的尤度及び局所域的尤度を用いて反映させることにより、各状態の出力分布が単一の多次元正規分布では近似できない場合であっても、テンプレートモデルにおける各状態の出力分布をより詳細に近似することができるため、時系列データをより精度良く認識することができる。
【００１５】
また、前記テンプレートモデル生成部は、前記入力パターン間のマッチングにより、当該入力パターンが属するクラスの標準パターンを選択する標準パターン選択部を有し、前記入力パターンの大きさを前記標準パターンの大きさに正規化して、前記標準パターンの各フレームに対応する各前記入力パターンの一部又は全部を、前記テンプレートモデルにおける各状態に対応させるようにしてもよい。これにより、事前にテンプレートモデルにおける状態数を決定せずに、標準パターンのフレーム数に応じてテンプレートモデルにおける状態数を決定することができる。
【００１６】
さらにまた、前記テンプレートモデル生成部は、前記テンプレートモデルにおける各状態に対応させた各前記入力パターンの一部又は全部からなる要素の集合について、前記入力パターンの入力パターン数及び当該入力パターンの特徴量の次元数に基づいて、当該要素集合を前記自己増殖型ニューラルネットワークに入力するようにしてもよい。これにより、１つの状態に対応する要素集合の要素数が少ない場合であっても、入力パターン数及び入力パターンの次元数に応じて要素数を決定することにより、分布を近似するのに必要な多さの要素数を確保して入力することができ、認識精度の低下を防止することができる。
【００１７】
また、前記テンプレートモデル生成部は、逐次的に入力パターンを追加して入力するときに、当該逐次的に追加される入力パターンの属するクラスに対応する前記テンプレートモデルについて、当該テンプレートモデルにおける状態の出力分布を前記逐次的に追加される入力パターンに応じて更新するようにしてもよい。これにより、追加的に入力される入力パターンを容易に追加学習することができるとともに、事前に多量のデータを必要とせず、逐次的に与えられる少量のデータに基づいて認識精度を向上させてゆくことができる。
【００１８】
さらにまた、ＤＰマッチング法を用いて前記マッチング処理を行うようにしてもよい。これにより、効率的にマッチング処理を行うことができる。
【００１９】
また、前記自己増殖型ニューラルネットワークは、入力される前記入力ベクトルに最も近い重みベクトルを持つノードと２番目に近い重みベクトルを持つノードの間に辺を接続したとき、注目するノードと他のノード間の距離に基づいて算出される当該注目するノードの類似度閾値、及び前記入力ベクトルと当該注目するノード間の距離に基づいて、前記入力ベクトルをノードとして挿入するクラス間ノード挿入部と、前記入力ベクトルに最も近いノードに対応する重みベクトル及び当該ノードと辺によって直接的に接続されるノードに対応する重みベクトルをそれぞれ前記入力ベクトルに更に近づけるように更新する重みベクトル更新部とを有するようにしてもよい。これにより、類似度閾値に基づいて、挿入されるノードの個数を自律的に管理することができるため、ノードの数を事前に決定することなく、逐次的に入力される新たな入力パターンを既存の知識を壊すことなく追加学習することができる。
【００２０】
さらにまた、前記クラス間ノード挿入部は、入力される前記入力ベクトルに最も近い重みベクトルを持つノードを第１勝者ノードとし、２番目に近い重みベクトルを持つノードを第２勝者ノードとし、当該第１勝者ノード及び当該第２勝者ノードの間に辺を接続したとき、注目するノードについて、当該注目するノードと辺によって直接的に接続されるノードが存在する場合には、当該直接的に接続されるノードのうち当該注目するノードからの距離が最大であるノード間の距離を前記類似度閾値とし、当該注目するノードと辺によって直接的に接続されるノードが存在しない場合には、当該注目するノードからの距離が最小であるノード間の距離を前記類似度閾値として算出する類似度閾値算出部と、前記入力ベクトルと前記第１勝者ノード間の距離が当該第１勝者ノードの類似度閾値より大きいか否か、及び、前記入力ベクトルと前記第２勝者ノード間の距離が当該第２勝者ノードの類似度閾値より大きいか否かを判定する類似度閾値判定部と、類似度閾値判定結果に基づいて、前記入力ベクトルをノードとして当該入力ベクトルと同じ位置に挿入するノード挿入部とを有するようにしてもよい。これにより、入力ベクトルに応じて変化する類似度閾値によれば、挿入されるノードの個数を自律的に管理することができるため、ノードの数を事前に決定することなく、逐次的に入力される新たな入力パターンを既存の知識を壊すことなく追加学習することができる。
【００２１】
また、前記自己増殖型ニューラルネットワークは、前記辺に対応付けられる辺の年齢に基づいて、当該辺を削除する辺削除部と、注目するノードについて、当該注目するノードに直接的に接続される辺の本数に基づいて、当該注目するノードを削除するノード削除部とを更に有するようにしてもよい。これにより、不要な入力パターンから生成されたノードを効果的かつ動的に削除することができる。
【００２２】
さらにまた、前記自己増殖型ニューラルネットワークは１層構造であるようにしてもよい。これにより、非特許文献：F. Shen and O. Hasegawa, "An Incremental Network for On-line Unsupervised Classification and Topology Learning, " Neural Networks, vol. 19, pp. 90-106, 2006.に開示された技術であるSelf-Organizing Incremental Neural Network（以下、ＳＯＩＮＮという。）と比べて、２層目の学習を開始するタイミングを指定せずに追加学習を実行することができる。
【００２３】
本発明に係るパターン認識方法は、入力パターンの一部又は全部を入力ベクトルとしてニューラルネットワークに順次入力し、当該入力ベクトル、及び当該ニューラルネットワークに配置される多次元ベクトルで記述されるノードに基づいて、当該ノードを自動的に増加させる自己増殖型ニューラルネットワークを用いて、前記入力パターンの特徴量に応じたテンプレートモデルを生成するテンプレートモデル生成ステップと、生成された前記テンプレートモデルと前記入力パターンをマッチングして当該入力パターンを認識する認識ステップを有するものである。
【００２４】
本発明に係るプログラムは、上述のような情報処理をコンピュータに実行させるものである。
【発明の効果】
【００２５】
本発明によれば、状態数及び各状態の出力分布を自動的に決定して、時系列データの頑健なモデル化をすることができるパターン認識装置、パターン認識方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。尚、各図面において、同一要素には同一の符号を付しており、説明の明確化のため、必要に応じて重複説明を省略する。
【００２７】
発明の実施の形態１．
本実施の形態１は、本発明を、時系列パターンを認識するパターン認識装置に適用したものである。パターン認識装置は、オンライン教師なし学習手法である自己増殖型ニューラルネットワークを用いて、時系列パターンの特徴量に応じたテンプレートモデルを生成し、生成されたテンプレートモデルと時系列パターンをマッチングしてその時系列パターンを認識する。
自己増殖型ニューラルネットワークとして後述するＳＯＩＮＮを利用することによって、テンプレートモデルにおける各状態の出力分布を自動的に決定した上で、詳細に近似することができる。ここで、パターン認識装置は、時系列パターンの一部又は全部をＳＯＩＮＮへと入力し、ＳＯＩＮＮにおいて形成される位相構造（ノード及び辺の集合）に基づいて尤度を算出して、状態の出力分布を近似する。尤度として大域的尤度及び局所的尤度を算出することによって、時系列パターンの特徴量に応じた状態の出力分布を詳細に表現できるため、時系列パターンの頑健なモデル化が可能となる。
【００２８】
図１は、本発明の実施の形態１に係るパターン認識装置１を示すブロック図である。パターン認識装置１は、テンプレートモデル生成部１０及び認識部２０を備え、学習用の訓練パターンが格納された訓練用パターンデータベース（ＤＢ）３１及び学習の結果生成されたテンプレートモデルが格納されたテンプレートモデル学習結果データベース（ＤＢ）３２と接続されている。
【００２９】
テンプレートモデル生成部１０は、標準パターン選択部１１及びＳＯＩＮＮ１２を備える。自己増殖型ニューラルネットワークとしてのＳＯＩＮＮ１２は、クラス間ノード挿入部１２１と、辺削除部１２２と、ノード削除部１２３と、重みベクトル更新部１２４とを備える。認識部２０は、尤度算出部２１を備える。尤度算出部２１は、大域的尤度算出部２１１及び局所的尤度算出部２１２を備える。
【００３０】
次に、各ブロックについて以下詳細に説明する。
テンプレートモデル生成部１０は、後述するＳＯＩＮＮ１２を用いて、入力パターンの特徴量に応じた各クラスのモデル（以下、テンプレートモデルという。）を生成する。より具体的には、まず、後述する標準パターン選択部１１により訓練データの中から中心となる標準パターンを選択し、この標準パターン及び他の訓練パターンとの間でＤＰマッチングを行うことによって、各訓練パターンを標準パターンの時系列長に正規化する。次に、標準パターンの各フレームに対応する入力パターンの一部又は全部からなるデータの集合をテンプレートモデルにおける１つの状態に対応させ、このデータ集合の分布をＳＯＩＮＮ１２によって近似する。この結果、テンプレートモデルは、標準パターンのフレーム数分だけ状態数を保持し、各状態の出力分布をＳＯＩＮＮ１２により近似することができる。以下、この手法をＳＯＩＮＮ−ＤＰ法という。
【００３１】
標準パターン選択部１１は、入力パターン間のマッチングにより、その入力パターンが属するクラスの標準パターンを選択する。ここで、マッチング処理にはＤＰマッチング法を使用する。ＤＰマッチング法を使用することによって効率的にマッチング処理を行うことができる。ＤＰマッチングを行うことによって、２つのパターンＸ及びＹ間の累積距離Ｄ（Ｘ，Ｙ）、及びパターン間の最適な対応付けｊ＝ｗｉ（ｉ＝１，２，・・・，Ｉ）を得ることができる。
【００３２】
以下、ＤＰマッチング法について簡単に説明する。
本実施の形態１においては、フレーム数Ｉの時系列パターンＸ＝｛ｘ１，ｘ２，・・・，ｘｉ，・・・，ｘＩ｝、及びフレーム数Ｊの時系列パターンＹ＝｛ｙ１，ｙ２，・・・，ｙｊ，・・・，ｙJ｝とのＤＰマッチングを考え、この２つの時系列パターンの累積距離Ｄ（Ｘ，Ｙ）を算出する。ここで、ｉ及びｊはそれぞれ時系列パターンＸ及びＹのフレーム番号を示す。また、Ｘの各フレームの特徴ベクトルｘｉを、Ｘのｉフレーム目の要素、もしくはｉ番目の要素という。本実施の形態１においては、時系列パターンＸ及び時系列パターンＹの累積距離Ｄ（Ｘ，Ｙ）を、以下に示す対称型漸化式を用いて算出する。
【数１】
【数２】
そして、上記数２に示した漸化式を用いて、以下の式に基づいて累積距離Ｄ（Ｘ，Ｙ）を算出する。
【数３】
【００３３】
このように、ＤＰマッチングによれば、累積距離に現時点の局所距離を累積する演算を漸化的に繰り返すことによって累積距離Ｄ（Ｘ，Ｙ）を算出することができる。また、ＤＰマッチングによって、Ｘの第ｉ番目（フレーム目）の要素ｘｉ及びＹの第ｊ番目の要素ｙｊとの最適な対応付けｊ＝ｗｉ（ｉ＝１，２，・・・，Ｉ）を得ることができる。
尚、ＤＰマッチングに用いられる漸化式としては、上記の対称型漸化式以外にも、以下の式に示す非対称型漸化式がある。
【数４】
【００３４】
ＳＯＩＮＮ１２は、入力ベクトル及びニューラルネットワークに配置されるノードに基づいて、ノードを自動的に増加させる自己増殖型ニューラルネットワークであり、本実施の形態１においては、下記に説明するＳＯＩＮＮの１層目を用いて学習を行う。１層構造とすることにより、ＳＯＩＮＮと比べて、２層目の学習を開始するタイミングを指定せずに追加学習を実行することができる。また、ＳＯＩＮＮに限定されず、後述するＥｎｈａｎｃｅｄ−ＳＯＩＮＮ（以下、Ｅ−ＳＯＩＮＮという。）などとしても１層構造とすることができ、２層目の学習を開始するタイミングを指定せずに追加学習を実行することができる。
【００３５】
以下、まず、従来技術であるＳＯＩＮＮについて簡単に説明し、次いで本実施の形態１にかかるＳＯＩＮＮ１２について説明する。ＳＯＩＮＮは、非特許文献：Fritzke.B, "A growing neural gas network learns topologies, " Advances in neural information processing systems(NIPS), pp 625-632, 1995.に開示された技術であるＧｒｏｗｉｎｇ Ｎｅｕｒａｌ Ｇａｓ（以下、ＧＮＧという。）を拡張した、いわゆる自己増殖型ニューラルネットワークと呼ばれる教師なし追加学習手法である。ノードを自己増殖しながら入力ベクトルを逐次的に学習することにより、入力データの分布を表現するネットワークを追加的に構築することができる。ＳＯＩＮＮは、次の４つの利点を有する。
（１）過去に学習したクラスタを壊さずに、新規に入力される未知クラスの入力ベクトルを追加的に学習して、新規のクラスタを構築することができる。
（２）入力データに対して独立なノイズを、効果的かつ動的に除去することができる。
（３）逐次的に与えられる教師無しデータについて、その位相構造を表現するネットワークを自律的に構築することができる。
（４）ノード数を事前に決定せずに、入力ベクトルを近似することができる。
【００３６】
図２は、従来技術であるＳＯＩＮＮによる学習処理を説明するためのフローチャートである。以下、図２を用いてＳＯＩＮＮの処理を簡単に説明する。ここで、ＳＯＩＮＮは２層ネットワーク構造を有し、１層目及び２層目において同様の学習処理を実施する。また、ＳＯＩＮＮは１層目の出力である学習結果を２層目への入力ベクトルとして利用する。
【００３７】
Ｓ１０１：ＳＯＩＮＮに対して入力ベクトルを与える。
Ｓ１０２：与えられた入力ベクトルに最も近いノード(以下、第１勝者ノードという。)、及び２番目に近いノード(以下、第２勝者ノードという。)を探索する。
Ｓ１０３：第１勝者ノード及び第２勝者ノードの類似度閾値に基づいて、入力ベクトルがこれら勝者ノードの少なくともいずれか一方と同一のクラスタに属すか否かを判定する。ここで、ノードの類似度閾値はボロノイ領域の考えに基づいて算出する。学習過程において、ノードの位置は入力ベクトルの分布を近似するため次第に変化し、それに伴いボロノイ領域も変化する。即ち、類似度閾値もノードの位置変化に応じて適応的に変化してゆく。
Ｓ１０４：Ｓ１０３における判定の結果、入力ベクトルが勝者ノードと異なるクラスタに属す場合は、入力ベクトルと同じ位置にノードを挿入し、Ｓ１０１へと進み次の入力ベクトルを処理する。尚、このときの挿入をクラス間挿入と呼ぶ。
【００３８】
Ｓ１０５：一方、入力ベクトルが勝者ノードと同一のクラスタに属す場合は、第１勝者ノード及び第２勝者ノード間に辺を生成し、ノード間を辺によって直接的に接続する。
Ｓ１０６：第１勝者ノード及び第１勝者ノードと辺によって直接的に接続しているノードの重みベクトルをそれぞれ更新する。
Ｓ１０７：Ｓ１０５において生成された辺は年齢を有しており、予め設定された閾値を超えた年齢を持つ辺を削除する。入力ベクトルを逐次的に与えてゆくオンライン学習においては、ノードの位置が常に徐々に変化してゆくため、初期の学習で構成した隣接関係が以後の学習によって成立しない可能性がある。このため、一定期間を経ても更新されないような辺について、辺の年齢が高くなるように構成することにより、学習に不要な辺を削除することができる。
【００３９】
Ｓ１０８：入力ベクトルの入力総数が、予め設定されたλの倍数であるか否かを判定する。判定の結果、入力ベクトルの入力総数がλの倍数でない場合には、Ｓ１０１へと戻り次の入力ベクトルを処理する。一方、入力ベクトルの総数がλの倍数となった場合には以下の処理を実行する。
【００４０】
Ｓ１０９：局所累積誤差が最大であるノードを探索し、そのノード付近に新たなノードを挿入する（このときの挿入をクラス内挿入と呼ぶ。）。そして、ノードの持つ平均誤差を示す誤差半径に基づいて、ノード挿入が成功であったか否かを判定する。ここで、ノード及び入力ベクトル間の距離差をノードの持つ誤差として、入力ベクトルの入力に応じてノードの誤差を累積することにより局所累積誤差を算出する。誤差半径はノードの持つ誤差及びノードが第１勝者となった回数に基づいて算出する。
【００４１】
Ｓ１１０：クラス内挿入によるノード挿入が成功であると判定した場合には、クラス内挿入により挿入されたノード及び局所累積誤差が最大のノードを辺によって直接的に接続する。一方、クラス内挿入によるノード挿入が失敗であると判定した場合には、クラス内挿入により挿入したノードを削除してＳ１１１へと進む。
Ｓ１１１：隣接ノード数及びノードが第１勝者となった回数に基づいて、ノイズノードを削除する。
ここで、隣接ノードとは、ノードと辺によって直接的に接続されるノードを示し、隣接ノードの個数が１以下であるノードを削除対象とする。また、第１勝者となった回数の累積回数を予め設定されたパラメタｃを使用して算出される閾値と比較し、第１勝者累積回数が閾値を下回るノードを削除対象とする。
【００４２】
Ｓ１１２：入力ベクトルの入力総数が予め設定されたＬＴの倍数であるか否かを判定する。判定の結果、入力ベクトルの入力総数がＬＴの倍数でない場合には、Ｓ１０１へと戻り次の入力ベクトルを処理する。一方、入力ベクトルの総数がＬＴの倍数となった場合には、以下の処理を実行する。
Ｓ１１３：１層目の学習を終了するか否かを判定する。判定の結果、２層目の学習へと進む場合には、Ｓ１０１へと進み１層目の学習結果であるノードを２層目への入力ベクトルとして入力する。ただし、追加学習を行う場合は、２層目に残っている以前の学習結果を消去した上で２層目の学習を開始する。
２層目への入力回数が予め設定された回数ＬＴの倍数となり、２層目の学習を終了する場合には、ノードを異なるクラスに分類し、クラス数及び各クラスの代表的なプロトタイプベクトルを出力し停止する。ここで、プロトタイプベクトルはノードの重みベクトルに相当する。
【００４３】
ここで、ＳＯＩＮＮの機能を検証するために人工データセットを用いて行った実験を示す。
図３は、ＳＯＩＮＮへと入力する２次元の人工データを示す画像である。図３に示した入力データセットは、２つのガウス分布、２つの同心円、及びサイン曲線の合計５つの信号発生源（クラス）からなる。また、実環境を想定して、５つの信号発生源から発生する信号に対して、１０％の一様ノイズを加えた。ＳＯＩＮＮに対して、図３に示した人工データセットをオンラインで追加的に入力し、教師無しのクラス分類を行わせた。
【００４４】
図４は、図３に示した２次元の人工データをＳＯＩＮＮへと追加的に入力した場合における出力結果を示す画像である。図４に示すように、ＳＯＩＮＮは、入力データに含まれるノイズを削除することが可能であると共に、入力データのクラス数及びそのトポロジ（位相構造）を正しく抽出することができる。
【００４５】
このように、ＳＯＩＮＮは、ノード数を自律的に管理することにより非定常的な入力を学習することができ、分布に複雑な形状を持つクラスに対しても適切なクラス数及び位相構造を抽出できるなど多くの利点を持つ。ＳＯＩＮＮの応用例として、例えばパターン認識においては、ひらがな文字のクラスを学習させた後に、カタカナ文字のクラスなどを追加的に学習させることができる。また、自己増殖型ニューラルネットワークとしてＳＯＩＮＮを使用することにより、ノードを自動的に増加させることができるため、入力ベクトル空間からランダムに入力ベクトルが与えられる定常的な環境に限られず、例えば一定期間毎に入力ベクトルの属するクラスが切替えられて、切替後のクラスからランダムに入力ベクトルが与えられる非定常的な環境にも対応することができる。
【００４６】
次いで、本実施の形態１に係るＳＯＩＮＮ１２について説明する。
ＳＯＩＮＮ１２は、クラス間ノード挿入部１２１と、辺削除部１２２と、ノード削除部１２３と、重みベクトル更新部１２４とを備える。
クラス間ノード挿入部１２１は、類似度閾値算出部、類似度閾値判定部、及びノード挿入部を備える。クラス間ノード挿入部１２１は、入力される入力ベクトルに最も近い重みベクトルを持つノードを第１勝者ノードとし、２番目に近い重みベクトルを持つノードを第２勝者ノードとし、第１勝者ノード及び第２勝者ノードの間に辺を接続したとき、以下に述べるようにしてノードを挿入する。
【００４７】
まず、類似度閾値算出部は、注目するノードについて、注目するノードと辺によって直接的に接続されるノードが存在する場合には、直接的に接続されるノードのうち注目するノードからの距離が最大であるノード間の距離を類似度閾値とし、注目するノードと辺によって直接的に接続されるノードが存在しない場合には、注目するノードからの距離が最小であるノード間の距離を類似度閾値として算出する。
【００４８】
次いで、類似度閾値判定部は、入力ベクトルと第１勝者ノード間の距離が第１勝者ノードの類似度閾値より大きいか否か、及び、入力ベクトルと第２勝者ノード間の距離が第２勝者ノードの類似度閾値より大きいか否かを判定する。
次いで、ノード挿入部は、類似度閾値判定結果に基づいて、入力ベクトルをノードとして入力ベクトルと同じ位置に挿入する。
【００４９】
このようにして、入力ベクトルに応じて変化する類似度閾値によれば、挿入されるノードの個数を自律的に管理することができるため、ノードの数を事前に決定することなく、逐次的に入力される新たな連想対を既存の知識を壊すことなく追加学習することができる。
【００５０】
重みベクトル更新部１２４は、入力ベクトルに最も近いノードに対応する重みベクトル、及びそのノードと辺によって直接的に接続されるノードに対応する重みベクトルをそれぞれ入力ベクトルに更に近づけるように更新する。
辺削除部１２２は、辺に対応付けられる辺の年齢に基づいて、辺を削除する。ノード削除部１２３は、注目するノードについて、注目するノードに直接的に接続される辺の本数に基づいて、注目するノードを削除する。これにより、誤って生成された辺を適切に削除することができる。辺が存在しないノードは、そのノードの持つ結合重みベクトルに近い入力の頻度が極めて低いことを示しており、ノードの保持している情報は学習すべきデータと無関係なノイズであるものとみなすことができるためである。
【００５１】
図５は、ＳＯＩＮＮ１２による学習処理を説明するためのフローチャートである。以下、図５を用いてＳＯＩＮＮ１２の処理を説明する。
Ｓ２０１：ＳＯＩＮＮ１２は、２つの入力ベクトルを取得し、ノード集合Ａをそれらに対応する２つのノードのみを含む集合として初期化し、その結果を一時記憶部に格納する。また、辺集合Ｃ⊂Ａ×Ａを空集合として初期化し、その結果を一時記憶部に格納する。
【００５２】
Ｓ２０２：ＳＯＩＮＮ１２は、新しい入力ベクトルξを入力し、その結果を一時記憶部に格納する。
Ｓ２０３：ＳＯＩＮＮ１２は、一時記憶部に格納された入力ベクトル及びノードについて、入力ベクトルξに最も近い重みベクトルを持つ第１勝者ノードａ1及び２番目に近い重みベクトルを持つ第２勝者ノードａ2を探索し、その結果を一時記憶部に格納する。
Ｓ２０４：クラス間ノード挿入部１２１は、一時記憶部に格納された入力ベクトル、ノード、ノードの類似度閾値について、入力ベクトルξと第１勝者ノードａ1間の距離が第１勝者ノードａ1の類似度閾値T1より大きいか否か、及び、入力ベクトルξと第２勝者ノードａ2間の距離が第２勝者ノードａ2の類似度閾値T2より大きいか否かを判定し、その結果を一時記憶部に格納する。ここで、一時記憶部に格納された第１勝者ノードａ1の類似度閾値T1及び第２勝者ノードａ2の類似度閾値T2は、ＳＯＩＮＮと同様にして算出され、その結果が一時記憶部に格納される。
【００５３】
Ｓ２０５：一時記憶部に格納されたＳ２０４における判定の結果、入力ベクトルξと第１勝者ノードａ1間の距離が第１勝者ノードａ1の類似度閾値T1より大きい、又は、入力ベクトルξと第２勝者ノードａ2間の距離が第２勝者ノードａ2の類似度閾値T2より大きい場合には、クラス間ノード挿入部１２１は、一時記憶部に格納された入力ベクトル及びノードについて、入力ベクトルξを新たなノードｉとして、入力ベクトルξと同じ位置に挿入し、その結果を一時記憶部に格納する。
Ｓ２０６：一方、一時記憶部に格納されたＳ２０４における判定の結果、入力ベクトルξと第１勝者ノードａ1間の距離が第１勝者ノードａ1の類似度閾値T1以下であり、かつ、入力ベクトルξと第２勝者ノードａ2間の距離が第２勝者ノードａ2の類似度閾値T2以下である場合には、ＳＯＩＮＮ１２は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を接続するか否かを判定し、その結果を一時記憶部に格納する。
【００５４】
Ｓ２０７：一時記憶部に格納されたＳ２０６における判定の結果、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を生成して接続する場合には、ＳＯＩＮＮ１２は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺を接続し、その結果を一時記憶部に格納する。そして、ＳＯＩＮＮ１２は、一時記憶部に格納された辺及び辺の年齢について、新しく生成された辺、及び、既にノード間に辺が生成されていた場合にはその辺について、辺の年齢を０に設定しその結果を一時記憶部に格納し、第１勝者ノードａ1と直接的に接続される辺の年齢をインクリメントし（１増やす）、その結果を一時記憶部に格納する。
一方、一時記憶部に格納されたＳ２０６における判定の結果、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を接続しない場合には、Ｓ２０８へと処理を進めるが、既にノード間に辺が生成されていた場合には、ＳＯＩＮＮ１２は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノードａ1及び第２勝者ノードａ2間の辺を削除し、その結果を一時記憶部に格納する。
次いで、ＳＯＩＮＮ１２は、一時記憶部に格納された第１勝者ノードａ1が第１勝者ノードとなった累積回数Ｍａ1をインクリメントし（１増やす）、その結果を一時記憶部に格納する。
【００５５】
Ｓ２０８：重みベクトル更新部１２４は、一時記憶部に格納されたノード及びノードの重みベクトルについて、第１勝者ノードａ1の重みベクトル及び第１勝者ノードａ1の隣接ノードの重みベクトルをそれぞれ入力ベクトルξに更に近づけるように更新し、その結果を一時記憶部に格納する。ここで、重みベクトルの更新量の算出には、一時記憶部に格納されるＭａ1をｔとして使用する。
Ｓ２０９：辺削除部１２２は、一時記憶部に格納された辺について、予め設定され一時記憶部に格納された閾値ａｇｅｔを超えた年齢を持つ辺を削除し、その結果を一時記憶部に格納する。尚、ａｇｅｔはノイズなどの影響により誤って生成される辺を削除するために使用する。ａｇｅｔに小さな値を設定することにより、辺が削除されやすくなりノイズによる影響を防ぐことができるものの、値を極端に小さくすると、頻繁に辺が削除されるようになり学習結果が不安定になる。一方、極端に大きな値をａｇｅｔに設定すると、ノイズの影響で生成された辺を適切に取り除くことができない。これらを考慮して、パラメタａｇｅｔは実験により予め算出し一時記憶部に格納される。
【００５６】
Ｓ２１０：ＳＯＩＮＮ１２は、一時記憶部に格納された与えられた入力ベクトルξの総数について、与えられた入力ベクトルξの総数が予め設定され一時記憶部に格納されたλの倍数であるか否かを判定し、その結果を一時記憶部に格納する。一時記憶部に格納された判定の結果、入力ベクトルの総数がλの倍数でない場合にはＳ２０２へと戻り、次の入力ベクトルξを処理する。一方、入力ベクトルξの総数がλの倍数となった場合には以下の処理を実行する。尚、λはノイズと見なされるノードを削除する周期である。λに小さな値を設定することにより、頻繁にノイズ処理を実施することができるものの、値を極端に小さくすると、実際にはノイズではないノードを誤って削除してしまう。一方、極端に大きな値をλに設定すると、ノイズの影響で生成されたノードを適切に取り除くことができない。これらを考慮して、パラメタλは実験により予め算出し一時記憶部に格納される。
Ｓ２１１：ノード削除部１２３は、一時記憶部に格納されたノードについて、ノイズノードと見なしたノードを削除し、その結果を一時記憶部に格納する。
【００５７】
Ｓ２１２：ＳＯＩＮＮ１２は、一時記憶部に格納された与えられた入力ベクトルξの総数について、与えられた入力ベクトルξの総数が予め設定されたＬＴの倍数であるか否かを判定し、その結果を一時記憶部に格納する。一時記憶部に格納された判定の結果、入力ベクトルの総数がＬＴの倍数でない場合にはＳ２０２へと戻り、次の入力パターンξを処理する。一方、入力ベクトルξの総数がＬＴの倍数となった場合には以下の処理を実行する。
Ｓ２１３：ＳＯＩＮＮ１２は、一時記憶部に格納されたノードをプロトタイプとして出力する。以上の処理を終了した後、ＳＯＩＮＮ１２による学習を停止する。
【００５８】
認識部２０は、各クラスの訓練パターンから構成されたテンプレートモデルと入力パターンをマッチングすることにより、入力パターンがどのクラスに属するかを認識する。クラスｃのテンプレートモデルＴＭｃと入力パターンＩＰとのＤＰマッチングには対称型漸化式を使用し、以下の漸化式を用いる。尚、尤度Ｃ（ｘｉ，Ｓｊ）はテンプレートモデルＴＭｃのｊ番目の状態Ｓｊに対する、入力パターンＩＰのｉ番目の要素ｘｉの尤度を示し、後述する尤度算出部２１により算出される。
【数５】
ここでは、上記数２と同様の対称型漸化式を用いた。これにより、実データの認識実験において、非対称型漸化式を用いた場合に比べて、認識精度を向上させることができる。
【００５９】
そして、認識部２０は、尤度Ｃ（ｘｉ，Ｓｊ）の和が最大になるようにＤＰマッチングを行う。即ち、上記数２においては、累積距離ｇ（ｉ，ｊ）を最小化するためｍｉｎが用いられたが、上記数５においては、Ｑ（ｉ，ｊ）を最大化するためｍａｘが用いられる。
ＤＰマッチングの結果、テンプレートモデルＴＭｃと入力パターンＩＰの累積一致度Ｅ（ＩＰ，ＴＭｃ）を以下の式に基づいて算出する。尚、ＩＩＰは入力パターンＩＰの時系列長、ＪｃはＴＭｃの時系列長を示す。
【数６】
従って、認識部２０は、入力パターンを以下の式に基づいて認識する。ここで以下の式は、入力パターンＩＰと累積一致度Ｅ（ＩＰ，ＴＭｃ）が最も大きなテンプレートモデルのクラス番号を出力する関数であり、この場合に、入力パターンＩＰの帰属クラスはｃ＊であるものと認識する。
【数７】
【００６０】
尤度算出部２１は、大域的尤度算出部２１１及び局所的尤度算出部２１２を有し、ノードに基づいて、テンプレートモデルにおける状態の出力分布を算出する。以下詳細に説明する。
尤度算出部２１は、ＳＯＩＮＮ１２に配置されたノード、及び辺によって接続されたノードからなるクラスタとに基づいて、尤度Ｃ（ｘｉ，Ｓｊ）を算出する。具体的には、以下の式に基づいて、大域的尤度ｌｏｇ（Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ））及び局所的尤度Ｐｃｌａｓｓ（ｘｉ｜Ｕｊｋ）を用いて、尤度Ｃ（ｘｉ，Ｓｊ）を算出する。図６は、ＳＯＩＮＮ１２によってクラスタリングされ、ＳＯＩＮＮ１２に存在する複数の内部クラス（ここでは、Ｃｌａｓｓ１乃至３）を示す図である。ＳＯＩＮＮ１２によって生成された１つのクラスタを内部クラスと定義する。内部クラスはノードの参照ベクトル（プロトタイプベクトル群）により表現される。
【数８】
ここで、ｗｋを以下の式に基づいて算出する。尚、Ｎａｌｌは状態ＳｊのＳＯＩＮＮ１２内に存在する全ノードの総数を示し、Ｋは状態ＳｊのＳＯＩＮＮ１２内の内部クラス数を示す。
【数９】
【００６１】
これにより、入力パターンの特徴量を大域的尤度及び局所域的尤度を用いて反映させることにより、各状態の出力分布が単一の多次元正規分布では近似できない場合であっても、テンプレートモデルにおける各状態の出力分布をより詳細に近似することができるため、時系列データをより精度良く認識することができる。また、入力パターンに応じて大域的尤度及び局所域的尤度を反映させることにより、各状態の出力分布に対してより柔軟に対応することができる。
【００６２】
大域的尤度算出部２１１は、ＳＯＩＮＮ１２に配置された全てのノードに基づいて大域的尤度を算出する。具体的には、大域的尤度の算出にはｊ番目の状態ＳｊのＳＯＩＮＮ１２内に存在する全ノードを用いる。大域的尤度は、状態のＳＯＩＮＮ１２内に存在する全ノードを多次元正規分布の確率密度関数で近似し、この密度関数からの生起確率Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ）によって算出する。生起確率Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ）を以下の式に基づいて算出する。ここで、μｉは状態ＳｊのＳＯＩＮＮ１２内に存在する全ノードの平均ベクトル、Σｊは共分散行列である。これらの２つのパラメタは最尤推定により算出する。生起確率Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ）の対数尤度ｌｏｇ（Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ））を、大域的尤度として定義する。
【数１０】
【００６３】
局所的尤度算出部２１２は、ＳＯＩＮＮ１２に存在する複数のクラスタについて、そのクラスタに属するノードに基づいて局所的尤度を算出する。局所的尤度は、ＳＯＩＮＮ１２によってクラスタリングされた、複数の内部クラスの情報を用いて算出する。例えば図６に示した各内部クラス（Ｃｌａｓｓ１乃至３）を、多変量正規分布に基づく核関数で近似する。ここで核関数を用いた理由は、各内部クラスが保有するノード数は少数の場合（最低で二個）が多く、このような少数データから多次元正規分布を推定することが困難なためである。ＳＯＩＮＮ１２におけるｋ番目の内部クラスをＵｊｋと定義し、Ｕｊｋから推定される局所的尤度Ｐｃｌａｓｓ（ｘｉ｜Ｕｊｋ）を以下の式に基づいて算出する。
【数１１】
ここで、ｘｊｋはＳＯＩＮＮ１２内の内部クラスＵｊｋに存在する全ノードの平均ベクトル、ｈｊｋは核関数の領域の大きさを示すパラメタであり、以下の式に基づいて算出する。尚、ａｔは内部クラスＵｊｋのノードｔの位置ベクトルを示し、Ｎｊｋは内部クラスＵｊｋに含まれるノードの総数を示す。
【数１２】
【００６４】
以上のようなパターン認識装置１は、専用コンピュータ、パーソナルコンピュータ（ＰＣ）などのコンピュータにより実現可能である。但し、コンピュータは、物理的に単一である必要はなく、分散処理を実行する場合には、複数であってもよい。
【００６５】
図７は、本実施の形態１に係るパターン認識装置１を実現するためのシステム構成の一例を示す図である。図７に示すように、コンピュータ４０は、ＣＰＵ４１（Central Processing Unit）、ＲＯＭ４２（Read Only Memory）及びＲＡＭ４３（Random Access Memory）を有し、これらがバス４４を介して相互に接続されている。尚、コンピュータを動作させるためのＯＳソフトなどは、説明を省略するが、このパターン認識装置１を構築するコンピュータも当然備えているものとする。
【００６６】
バス４４には又、入出力インターフェイス４５も接続されている。入出力インターフェイス４５には、例えば、キーボード、マウス、センサなどよりなる入力部４６、ＣＲＴ、ＬＣＤなどよりなるディスプレイ、並びにヘッドフォンやスピーカなどよりなる出力部４７、ハードディスクなどより構成される記憶部４８、モデム、ターミナルアダプタなどより構成される通信部４９などが接続されている。
【００６７】
ＣＰＵ４１は、ＲＯＭ４２に記憶されている各種プログラム、又は記憶部４８からＲＡＭ４３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば点プレーモデル生成処理や認識処理を実行する。ＲＡＭ４３には又、ＣＰＵ４１が各種の処理を実行する上において必要なデータなども適宜記憶される。通信部４９は、例えば図示しないインターネットを介しての通信処理を行ったり、ＣＰＵ４１から提供されたデータを送信したり、通信相手から受信したデータをＣＰＵ４１、ＲＡＭ４３、記憶部４８に出力したりする。記憶部４８はＣＰＵ４１との間でやり取りし、情報の保存・消去を行う。通信部４９は又、他の装置との間で、アナログ信号又はディジタル信号の通信処理を行う。入出力インターフェイス４５は又、必要に応じてドライブ５０が接続され、例えば、磁気ディスク５０１、光ディスク５０２、フレキシブルディスク５０３、又は半導体メモリ５０４などが適宜装着され、それらから読み出されたコンピュータプログラムが必要に応じて記憶部４８にインストールされる。
【００６８】
続いて、本実施の形態１に係るテンプレートモデル生成処理及び認識処理について説明する。図８は、パターン認識装置１によるテンプレートモデル生成処理の概要を示すフローチャートである。以下、図８を参照しながらパターン認識装置１によるテンプレートモデル生成処理について説明する。テンプレートモデル生成部１０は、クラスＣに属するテンプレートモデルを以下のようにして生成する。ここで、テンプレートモデル生成部１０は、クラスごとにテンプレートモデルを生成する。
【００６９】
Ｓ３０１：訓練用パターンＤＢ３１より、Ｎ個の訓練パターンが与えられ、標準パターン選択部１１は、訓練パターン群から１つの標準パターンを選択する。より具体的には、クラスＣに含まれるある訓練パターンＰｍと、クラスＣに含まれるＰｍを除いた他の訓練パターンとの間でＤＰマッチングを行う。この処理を、クラスＣ内の訓練パターンの全組合せ（総当り）によって行う。ＤＰマッチングの結果より得られるパターン間同士の累積距離の和を算出し、累積距離の和が最小となるパターンを標準パターンとして選択する。即ち、以下の式に基づいて標準パターンを選択する。ここで、ａｒｇは、各訓練パターン間の累積距離の和が最小となる訓練パターンの番号ｍ＊を出力する。
【数１３】
このようにして、クラスＣのｍ＊番目の訓練パターンを、テンプレートモデルの中心となる標準パターンＰ＊として選択する。尚、Ｐ＊のフレーム数Ｔ＊を、テンプレートモデルの時系列長とする。
【００７０】
Ｓ３０２：ＤＰマッチングにおいて対応付けられた訓練パターンのフレームデータを、テンプレートモデルにおける状態としてのＳＯＩＮＮ１２へと入力する。より具体的には、ＳＯＩＮＮ１２への入力は、ＤＰマッチングによる結果を用いて実現することができる。即ち、標準パターンＰ＊と、その他Ｎ−１個の訓練パターンとの間でＤＰマッチングを行った結果、その他の全訓練パターンの時系列長は標準パターンＰ＊の時系列長に正規化される。また、標準パターンＰ＊の各要素と、その他Ｎ−１個の訓練パターンの各要素との対応付けが得られる。このようなＤＰマッチングの結果に基づいて、以下に説明するようにして、対応関係にある要素（ベクトル）群を各ＳＯＩＮＮ１２空間（各状態）に入力する。
【００７１】
まず、標準パターンＰ＊の第ｊ番目の要素をｐ＊ｊ、訓練パターンＰｎ（ｎ∈Ｃ）の第ｉ番目（ｉフレーム目）の要素をｐｎｉとし、このｐ＊ｊとｐｎｉとの最適な対応付けｗｎを以下のように定義する。
【数１４】
上記数１４に従って、訓練パターンのｉ番目の要素をｊ番目の状態（ＳＯＩＮＮ１２空間）に分配する。このような分配操作を、標準パターンと、その他Ｎ−１個の訓練パターンとの間で行った後、Ｎ−１個の最適経路ｗｎを（ｎ＝１，・・・，Ｎ−１）を得ることができる。このＮ−１個の最適経路に従って、各状態に対して訓練パターンの各要素を分配する。
【００７２】
ここで、本実施の形態１では、ある時間の範囲（状態間）に分配された要素集合群を、１つのＳＯＩＮＮ１２へと入力する。具体的には、ｊ番目の状態に分配された要素集合群をＺ＊ｊとして以下の式に示すように定義し、ＺｊからＺｊ＋Ｌ−１までの要素集合を、ｊ番目の状態（ＳＯＩＮＮ１２）に入力する。
【数１５】
尚、Ｌはパラメタであり、このパラメタをＳｅｇｍｅｎｔ数として定義する。パラメタの設定方法については後述する。ここで、テンプレートモデルの状態数はＳｅｇｍｅｎｔ数Ｌ及び標準パターンの時系列長Ｔ＊を用いて、Ｔ＊−Ｌ−１として決定することができる。これにより、事前にテンプレートモデルにおける状態数を決定せずに、標準パターンのフレーム数に応じてテンプレートモデルにおける状態数を決定することができる。
【００７３】
図９は、訓練パターンをＳＯＩＮＮ１２へと入力するようすを示す図である。図９において、Ｃｒｉｔｅｒｉｏｎ Ｄａｔａは標準パターンを示し、Ｄａｔａ１乃至３は訓練パターンを示す。Ｄａｔａ及びＣｒｉｔｅｒｉｏｎ Ｄａｔａの各ブロックは、各時刻（フレーム）の要素ベクトルを示す。各ブロックにおいて同色の部分は、ＤＰマッチング後の最適経路における対応箇所を示している。例えば、Ｃｒｉｔｅｒｉｏｎ Ｄａｔａの１フレーム目の要素に対応した要素は、Ｄａｔａ１の１及び２番目の要素、Ｄａｔａ２の１番目の要素、及びＤａｔａ３の１番目の要素であり、これらの要素集合がＺ１となる。実線は対応する要素集合Ｚ１を結ぶ線である。破線はＺ２の要素集合、Ｚ３の要素集合をそれぞれ示す。Ｚ１からＺＬまでの要素集合群Ｚ＊１が、クラスＣのテンプレートモデルにおける状態１（ＳＯＩＮＮ１２）に対して入力される。
【００７４】
Ｓ３０３：ＳＯＩＮＮ１２は、フレームデータに基づいて学習を行う。各状態ｊにおいて、フレームデータとしての要素集合群Ｚ＊ｊをＳＯＩＮＮ１２空間に入力する。ここでＳＯＩＮＮ１２がオンライン学習可能な手法であるため、要素集合群Ｚ＊ｊを入力する際、要素集合群Ｚ＊ｊの各要素を１つずつランダムに入力する。ランダムに入力されるベクトルがＳＯＩＮＮ１２空間に入力されると、ＳＯＩＮＮ１２空間ではノード及び辺の生成、削除が繰り返され、最終的に複数の代表的ノード集合（クラスタ）が形成される。ＳＯＩＮＮ１２による学習結果が、テンプレートモデル学習結果ＤＢ３２に格納される。上述したように、尤度算出部２１は、このようにして形成された複数の代表的ノード集合から、状態の出力分布を推定する。
【００７５】
次に、認識処理について説明する。図１０は、パターン認識装置１による認識処理の概要を示すフローチャートである。以下、図１０を参照しながらパターン認識装置１による認識処理について説明する。
【００７６】
Ｓ４０１：時系列パターンであるテストパターンＸが入力される。
Ｓ４０２：認識部２０は、テンプレートモデル学習結果ＤＢ３２に格納されたＳＯＩＮＮ１２の学習結果より尤度Ｃ（ｘｉ，Ｓｊ）を算出して、各クラスのテンプレートモデルとテストパターンＸとをＤＰマッチングする。
Ｓ４０３：尤度Ｑ（ｉ，ｊ）が最大となったテンプレートモデルの帰属クラスを出力する。これにより、例えば、クラス３のテンプレートモデルに対する尤度が最大となった場合には、テストパターンＸはクラス３であるものと認識する。
【００７７】
続いて、本発明の実施の形態１に係るパターン認識装置１による効果について説明する。尚、以下においては、パターン認識装置１をモデル化した手法をＳＯＩＮＮ−ＤＰ法と呼ぶ。
ＳＯＩＮＮ−ＤＰ法の有効性を確認するため、実データを用いて検証実験を行った。実験においては、時系列データの汎用的学習機能を評価するため、音素データ及び動画像より得られる動作データの２種類のデータセットを使用した。また、従来手法であるＨＭＭ及びストキャスティックＤＰ法との比較実験を行った。以下、各手法による検証実験及び結果について説明する前に、まず従来手法であるＨＭＭ及びストキャスティックＤＰ法について簡単に説明し、次にＳＯＩＮＮ−ＤＰ法に関するパラメタ設定について説明する。
【００７８】
まず、従来手法であるＨｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ（ＨＭＭ）について簡単に説明する。ＨＭＭは、不確定な時系列のデータをモデル化するための有効な統計的手法であり、出力シンボルによって一意に状態遷移先が決定しないという意味において、非決定性確率有限オートマトンとして定義される。ここで、ＨＭＭのパラメタには、状態遷移確率、シンボル出力確率、及び初期状態確率の３つのパラメタがある。
ＨＭＭは、シンボル出力確率の算出方法によって、離散型ＨＭＭ及び連続分布型ＨＭＭに分類される。音声認識・動作認識においては連続分布型ＨＭＭが一般的に使用されるため、本実施の形態１においては、連続分布型ＨＭＭを比較手法として採用する。
また、ＨＭＭは、トポロジ（状態の接続関係）によって、あるひとつの状態から全ての状態に遷移可能な全遷移型（Ｅｒｇｏｄｉｃ）モデルや、状態遷移が一定方向に進むｌｅｆｔ ｔｏ ｒｉｇｈｔモデルなどに分類される。音声認識や動作認識の分野においては、ｌｅｆｔ ｔｏ ｒｉｇｈｔモデルが一般的に用いられるため、本実施の形態１においては、ｌｅｆｔ ｔｏ ｒｉｇｈｔモデルを比較手法として採用する。
ＨＭＭのパラメタ推定方法には、一般的に使用されるＢａｕｍ Ｗｅｌｃｈアルゴリズムを用いた。また、Ｂａｕｍ Ｗｅｌｃｈアルゴリズムによるパラメタ推定精度を向上させるため、パラメタの初期値設定についてＳｅｇｍｅｎｔａｌ ｋｍｅａｎｓ法を使用する。
【００７９】
次に、従来手法であるストキャスティックＤＰ法について簡単に説明する。
ストキャスティックＤＰ法において用いられる漸化式を次式に示す。漸化式は上記数４に示した非対称型の漸化式を基盤として構成されている。
【数１６】
【００８０】
上記数１６に示した漸化式における条件確率Ｐ（ａｉ｜ｊ）及び状態遷移確率ＰＤＰ１，２，３（ｊ）は非特許文献４に記載された手法により算出した。ここで、条件付確率Ｐ（ａｉ｜ｊ）は多次元正規分布である。Ｐ（ａｉ｜ｊ）の共分散行列に関しては、ある範囲において同一のものを使用した。例えば、１０個の状態により同じ共分散行列を使用する場合に、状態１から１０に対して分配された全てのデータから、最尤推定により１つの共分散行列を算出し、状態１から１０の各状態において同一のσを用いる。状態１１から２０、状態２１から３０においても同様の操作により算出し、それらの状態に対して同一のσを用いる。
【００８１】
続いて、ＳＯＩＮＮ−ＤＰ法に関するパラメタ設定について説明する。孤立単語を用いて予備実験を行い、ＳＯＩＮＮ−ＤＰ法のパラメタを設定した。実験には、男性話者３人が５０回ずつ５単語を発話したデータ（１単語につき１５０個、計７５０個）を用いた。単語は「こんばんは」、「こんにちは」、「またあした」、「おはよう」、「さようなら」の５単語である。音声特徴量には、２０次元ＭＦＣＣ、フレーム長２５ｍｓ、フレーム周期５ｍｓを用いた。一クラスにつき、訓練データを５０、テストデータを１００として、訓練データ及びテストデータを交換しながら計２０回のクロスバリデーション実験を行った。２０回のクロスバリデーション実験より、各実験におけるテストデータに対する認識率を求め、その平均値を認識結果とした。テストデータに対して平均認識率が最大となるパラメタを、後述する音素認識実験及び動作認識実験に用いた。
【００８２】
まず、ＳＯＩＮＮ−ＤＰ法におけるＳＯＩＮＮ１２のパラメタ設定について説明する。
ＳＯＩＮＮと同様にＳＯＩＮＮ１２においては、ノイズ除去を適切に行うため、λ及びａｇｅｄｅａｄという２つのパラメタを設定する必要がある。各クラスタはノードとノード間を接続する辺により表現され、このノード及び辺は、入力データに応じて生成・削除を繰り返す。このため、ノイズデータに対してノードを生成した場合には、分類結果が悪化するものの、パラメタλ及びａｇｅｄｅａｄを適切に設定することによってこれを回避することができる。
【００８３】
λは、ノイズとおぼしきノードを削除する周期を示す。λを小さな値に設定することにより、頻繁にノイズ処理を行うことができるものの、極端に小さくした場合には、実際にはノイズではないノードを誤って削除してしまう。一方、λを極端に大きくした場合には、ノイズの影響により生成されたノードを適切に取り除くことができない。そこで、パラメタ設定のための上記予備実験の結果から、ＳＯＩＮＮ１２への入力回数を３００００回に設定し、λ＝１００００と設定した。即ち、学習中に、ノイズとおぼしきノードの削除を３回行った。
【００８４】
ａｇｅｄｅａｄは、ノイズなどの影響により誤って生成された辺を削除するために用いる。ａｇｅｄｅａｄを小さな値に設定することにより、辺が削除されやすくなりノイズによる影響を低減させることができるものの、極端に小さくした場合には、頻繁に辺が削除され学習結果が不安定になる。一方、ａｇｅｄｅａｄを極端に大きくした場合には、ノイズの影響により生成された辺を適切に取り除くことができない。ＳＯＩＮＮ−ＤＰ法においては、１つの状態に分配される要素ベクトル数が少数であるため、ａｇｅｄｅａｄを小さくした場合には学習結果が不安定となった。従って、本実施の形態１においては、ａｇｅｄｅａｄを機能させないものとし、辺を削除しないものとした。即ち、ａｇｅｄｅａｄ＝３００００とし、学習中に辺の削除は行わないものとした。
【００８５】
以上より、上記予備実験の結果から、ＳＯＩＮＮ１２のパラメタ設定について、λ＝１００００、ａｇｅｄｅａｄ＝３００００と設定した。尚、ＳＯＩＮＮ１２には、パラメタλ及びａｇｅｄｅａｄ以外にも、パラメタｃ１、α１、α２、α３、β、γが存在するものの、これらのパラメタについてはＳＯＩＮＮと同じ値を使用した（ｃ１＝１、α１＝１／４、α２＝３／４、α３＝１／４、β＝２／３、γ＝３／４）。
【００８６】
次に、ＳＯＩＮＮ−ＤＰのパラメタ設定について説明する。
ここでは、上記数１５に示したセグメント数Ｌについて、その設定方法を説明する。セグメント数Ｌを大きくした場合には、各状態のＳＯＩＮＮ１２への入力データが多くなるため、ＳＯＩＮＮ１２の学習精度が向上するものと考えられる。しかし、セグメント数Ｌを極端に大きな値に設定した場合には、時系列的に離れたデータを１つの状態に入力することになり、時系列データを無視することになってしまう。このため、過度的な時系列データの特徴をモデル化することができず、テストデータに対する認識率の低下を招く。一方、セグメント数Ｌを極端に小さな値に設定した場合には、ＳＯＩＮＮ１２においてネットワーク（ノード及び辺の集合）が形成されない。ノード集合が生成されない場合、上記数１０に示した共分散行列Σを正確に算出することが困難となる。即ち、上記数１０に示した共分散行列Σを算出するため、十分な量のデータを１つの状態（ＳＯＩＮＮ１２）に対して入力する必要がある。尚、非特許文献４においては、特徴量の次元数ｐに対して、少なくともｐ×４〜５倍以上のデータ数が必要とされ、ｐ２個以上が好ましいものとされている。
【００８７】
ここで、訓練データＮ個をモデルの学習に用いた場合において、各状態に分配される要素ベクトル数が平均Ｎ個であるものと仮定する。かかる場合に、１つのＳＯＩＮＮ１２に対して入力されるデータ集合Ｚ＊ｉの要素数（データ数ＤＮ）を、以下の式によって定義する。
【数１７】
従って、上記数１７より、セグメント数Ｌは以下の式に示す範囲となる。
【数１８】
パラメタ設定のための上記予備実験を通して、上記数１８の範囲内における最適なセグメント数Ｌについて、Ｌ≧６ｐ／Ｎを満たす最小の値として決定した。
また、セグメント数ＬはストキャスティックＤＰ法における共分散行列を共有する範囲に対応するものと考えられるため、ストキャスティックＤＰ法を用いて同様の予備実験を行った。その結果、ストキャスティックＤＰ法において、共分散行列を共有する範囲について、最大の認識率を得ることができる範囲はセグメント数Ｌと等しいことを確認することができた。
従って、以下の本実験においては、ストキャスティックＤＰ法における共分散行列を共有する範囲はＬとした。尚、セグメント数ＬによるＳＯＩＮＮ−ＤＰ法における認識率への寄与については後述する。
【００８８】
続いて、ＳＯＩＮＮ−ＤＰ法の有効性を確認するため、音素データとして英語音素を対象に認識実験を行った。認識対象として、ｋｅｄ−ＴＩＭＩＴデータベース（University of Edinburgh, Center for Speech Technology Research, "CSTR US KED TIMIT"(2002), http://festvox.org/dbs/dbs_kdt.html.）中に含まれる英語文章から抽出した音素３９クラスを１００個ずつ、計３９００個を使用した。図１１は、認識対象実験における詳細を示す表である。尚、ＳＯＩＮＮ−ＤＰのパラメタについて、セグメント数Ｌは上記数１８より、訓練データが４０個の場合にはＬ＝６とし、訓練データが８０個の場合にはＬ＝３と決定した。
【００８９】
また、従来手法との比較においても、図１１に示したのと同じ条件において実験を行った。ＨＭＭの各状態の出力確率は、全共分散行列を持つ混合正規分布とした。ＨＭＭについては、最大の認識率を得ることができるパラメタ（状態数及び混合正規分布の混合数）について、それらのパラメタを変化させながら実験を行って最適なパラメタを探索した。そして、そのような最適なパラメタを用いた場合に認識率を算出して、ＨＭＭによる認識結果とした。
ストキャスティックＤＰ法については、上記数１６に示した非対称型漸化式を用いた場合に加えて、対称型漸化式を用いた場合の実験も行った。対称型漸化式を用いたＳＯＩＮＮ−ＤＰ法に対して、同様の対称型漸化式を用いたストキャスティックＤＰ法を比較するためのである。尚、対称型漸化式には上記数５に示したＣ（）を条件付確率Ｐ（ａｉ｜ｊ）に交換した式を用いた。また、共分散行列を共有する範囲は、ＳＯＩＮＮ−ＤＰにおけるセグメント数Ｌと同様に、訓練データが４０個の場合には６状態の間とし、訓練データが８０個の場合には３状態の間とした。
【００９０】
図１２は、１０回のクロスバリデーション実験の結果から得られた、テストデータに対する平均認識結果を示す表である。図１２において、１段目は訓練データが４０個の場合（ＴＤ４０）における平均認識率、２段目は訓練データ数が８０個（ＴＤ８０）の場合の平均認識率をそれぞれ示している。「ＳＯ−ＤＰ」はＳＯＩＮＮ−ＤＰ法、「ＳＴ−ＤＰ（１）」は非対称型漸化式を用いたストキャスティックＤＰ法、「ＳＴ−ＤＰ（２）」は対称型漸化式を用いたストキャスティックＤＰ法をそれぞれ示している。また、ＨＭＭの認識率の右側括弧内は、最大の認識率を得た時のパラメタ（Ｓ：状態数、Ｍ：混合数）を示している。図１２に示すように、ＳＯＩＮＮ−ＤＰ法の平均認識率は、ストキャスティックＤＰ法及びＨＭＭによる平均認識率よりも高く、良好であった。
【００９１】
また、ＨＭＭを用いた実験において、比較のため状態数を１から１３個まで変動させて実験を行った結果、状態数が３〜７の付近において認識率が最大であったため、実験に使用した音素データに対して最適な状態数は３〜７であるものと推定した。このため、状態数が３〜７において、各状態に割り当てられている出力確率を混合連続確率分布に変更し、混合数を変化させ図１１に示した条件において実験を行った。その結果、訓練データが４０個の場合には５状態２混合、訓練データが８０個の場合には５状態４混合において認識率が最大となった。
さらにまた、ストキャスティックＤＰ法について、非特許文献４に開示された非対称型漸化式を用いた場合よりも、対称型漸化式を用いた場合のほうが高い認識結果となった。これは、対称型漸化式を用いることにより、時系列の伸縮を吸収しやすくなるためだと考えられる。
以上より、音声認識実験の結果、ＳＯＩＮＮ−ＤＰ法では、ストキャスティックＤＰ法及びＨＭＭより得られる最大の認識率に比べて、より良好な認識率を得ることができた。即ち、ＳＯＩＮＮ−ＤＰ法は従来手法と比較して高い認識精度を有するものである。
【００９２】
続いて、ＳＯＩＮＮ−ＤＰ法の有効性を確認するため、動画像より得られる動作データを対象に認識実験を行った。動作データとして、単眼カメラより直接撮像した、人間による７種類の全身運動（動作）を用いた。図１３は、実験に用いた７種類の動作内容（動作Ｍ１乃至７）を示す画像である。動画のフレーム率は２９フレーム毎秒とし、各動作の時間長は最小で１１０フレーム、最大で４４０フレームである。入力パターンには個人差を含み、動作の各部分において伸縮性も含まれている。
【００９３】
また、実験においては、モーションキャプチャなどの器具を使用せずに、動画像より動作の特徴を直接取得した。ここで、本実施の形態１においては、位置不変特徴である局所自己相関特徴（大津展之，"パターン認識における特徴抽出に関する数理的研究"，ｖｏｌ．８１８，（１９８１））を学習に用いることにより、動的特徴を抽出した。実験に用いた動画像の処理手順を以下に示す。
Ｓ５０１：入力動画像を平滑化し、フレーム間における差分を取得する。
Ｓ５０２：差分画像のＲＧＢ値を輝度値に変換し、輝度値に対する閾値より、２値化する。
Ｓ５０３：差分画像間において、時間方向の自己相関特徴を抽出する。非特許文献（T. Kobayashi and N. Otsu, "Action and simultaneous multiple persons identification using cubic higher-order local auto-correlation", Proc. International Conference on Pattern Recognition, Vol. 19, pp. 741-744 (2004).）に開示される自己相関特徴について、ここでは、３×３サイズのマスクを用いて自己相関特徴を抽出し、各フレーム間の時系列方向のみ抽出した。尚、中央位置のマスク値には、「動き」の方向性特徴が現れないため、このマスク値については除外した。結果的に、各フレームにおいて計８次元の入力ベクトル（要素ベクトル）を得た。
【００９４】
図１４は、認識対象実験における詳細を示す表である。ＳＯＩＮＮ−ＤＰにおけるパラメタは、音素認識実験における場合と同様のパラメタを用いた。ただし、セグメント数Ｌについては、上記数１８より訓練データが１０個の場合に、入力次元が８であるためＬ＝５と算出した。
ＨＭＭの各状態の出力確率は、全共分散行列を持つ正規分布とした。尚、音素認識実験と同様に、状態数を変化させながら実験を行って最適なパラメタを探索し、そのパラメタを用いた上での認識率を認識結果とした。
また、ストキャスティックＤＰ法については、上記数１６に示した非対称型漸化式を用いた場合に加えて、対称型漸化式を用いた場合における実験も行った。尚、ストキャスティックＤＰ法について、共分散行列を共有する範囲は５状態の間とした。
【００９５】
図１５は、動作データに対する認識結果を示す表である。図１５において、「ＳＯ−ＤＰ」はＳＯＩＮＮ−ＤＰ法、「ＳＴ−ＤＰ（１）」は非対称型漸化式を用いたストキャスティックＤＰ法、「ＳＴ−ＤＰ（２）」は対称型漸化式を用いたストキャスティックＤＰ法をそれぞれ示している。また、ＨＭＭの認識率の右側括弧内は、最大の認識率を得た時のパラメタ（Ｓ：状態数）を示している。図１５に示すように、音素認識実験の場合と同様に、ＳＯＩＮＮ−ＤＰ法の識別率は、ストキャスティックＤＰ法及びＨＭＭによる認識率よりも高く、良好であった。
また、ＨＭＭを用いた実験において、比較のため状態数を１から１５個まで変動させて実験を行った結果、状態数が１１おいて認識率が最大であった。
さらにまた、ストキャスティックＤＰ法について、音素認識実験の場合と同様に、非特許文献４に開示された非対称型漸化式を用いた場合よりも、対称型漸化式を用いた場合のほうが高い認識結果となった。
このように、音素データに比較して状態数及びその出力分布を決定することが困難である動作データに対しても、ＳＯＩＮＮ−ＤＰ法は高い認識精度を有するものである。
【００９６】
以上より、音素認識実験の場合と同様に、動作認識実験についても、ＳＯＩＮＮ−ＤＰ法では、ストキャスティックＤＰ法及びＨＭＭより得られる最大の認識率に比べて、より良好な認識率を得ることができた。即ち、ＳＯＩＮＮ−ＤＰ法は時系列パターン全体の認識に使用することができ、従来手法と比較して高い認識精度を有するものである。
【００９７】
ここで、音素認識実験及び動作認識実験結果から、ＳＯＩＮＮ−ＤＰ法が、従来手法であるストキャスティックＤＰ法及びＨＭＭより優れている点についてさらに説明する。
まず、ＳＯＩＮＮ−ＤＰ法は、ＳＯＩＮＮ１２を用いて１つの状態を詳細に近似することによって頑健なテンプレートモデルを構築する。これにより、ＳＯＩＮＮ−ＤＰ法は、ストキャスティックＤＰ法と比較して優れた認識率を有しており、時系列データの頑健なモデル化を行うことができる。
そして、ＳＯＩＮＮ−ＤＰ法は、各状態の出力分布をＳＯＩＮＮ１２によって自動的に決定することができる。また、状態数を標準パターンの時系列数として決定することができるため、状態数を予め決定する必要がない。これにより、時系列データを学習する際に、ＨＭＭでは事前に状態数及び状態の出力分布（連続分布の場合には混合数）を決定する必要があるが、ＳＯＩＮＮ−ＤＰ法では不要である。即ち、実験においては、ＨＭＭの状態数及び混合数について、認識率が最も高くなる場合の値を採用し、これらの値に基づいて認識結果を得た。ＳＯＩＮＮ−ＤＰ法は、このようなＨＭＭによる認識結果よりも良好であった。従って、ＳＯＩＮＮ−ＤＰ法は、事前に状態数及び出力分布のパラメタを設定せずに、高い認識率を得ることができる。
【００９８】
ここで、セグメント数ＬによるＳＯＩＮＮ−ＤＰ法の認識率への寄与について説明する。ＳＯＩＮＮ−ＤＰ法のパラメタであるセグメント数Ｌは、ＳＯＩＮＮ−ＤＰ法の認識性能に影響を与える。このため、セグメント数の変化による認識精度への影響について検証する。
本実施の形態１においては、上記数１８に基づいてセグメント数Ｌを算出する。検証は、図１１に示した表と同様の条件下において音素認識実験を行った。１回の実験に用いる１クラスあたりの訓練データは４０個とした。また、セグメント数を１〜１０まで変化させ、それぞれのセグメント数を用いた場合において、計１０回のクロスバリデーション実験を行った。
図１６は、検証結果を示す図である。図１６に示すように、セグメント数をＬ＝１から増加させるにつれて徐々に認識率が上昇し、Ｌ＝５において最大認識率（５７．０４％）を得た。さらにセグメント数を増加させた場合には、認識率は下降した。
一方、予備実験の結果から算出したセグメント数は、訓練パターンが４０個の場合に、Ｌ＝６であり、図１６においては、Ｌ＝６の場合は、全体で３番目に認識率が高いものであった。従って、本実施の形態１において用いたセグメント数の推定方法は妥当なものであり、この推定方法によって適切なセグメント数を決定することができる。
【００９９】
ここで、ＳＯＩＮＮ−ＤＰ法の認識性能に対して、ＳＯＩＮＮ１２による寄与について説明する。
ＳＯＩＮＮ−ＤＰ法では、ＤＰマッチングによって各状態ｊに対して要素ベクトル群Ｚ＊ｊを分配する。分配されたＺ＊ｊはＳＯＩＮＮ１２によって分類され、その分類結果より大域的尤度Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ）及び局所的尤度Ｐｃｌａｓｓ（ｘｉ｜Ｕｊｋ）を算出し、これらの確率値に基づいて尤度Ｃ（ｘｉ，Ｓｊ）を算出する。そこで、ＳＯＩＮＮ−ＤＰ法に加えて、ＳＯＩＮＮ１２を用いない手法を２つ定義し、これらの手法を比較した。ＳＯＩＮＮ１２による学習結果を用いない手法と比較することにより、ＳＯＩＮＮ１２による認識精度への寄与を検証した。ＳＯＩＮＮ１２の学習結果を用いない比較手法として、以下の２つの手法を定義した。
【０１００】
手法１：要素ベクトル群Ｚ＊ｊをＳＯＩＮＮ１２に入力せず、Ｚ＊ｊより直接、最尤推定により多次元正規分布Ｐ（ｘ｜Ｓｊ）を算出した。尤度Ｃ（ｘｉ，Ｓｊ）＝ｌｏｇ（Ｐ（ｘ｜Ｓｊ））とし、この尤度Ｃ（ｘｉ，Ｓｊ）を用いた漸化式により入力データの認識を行った。
手法２：要素ベクトル群Ｚ＊ｊをＳＯＩＮＮ１２に入力し、ＳＯＩＮＮ１２の分類結果より、Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ）を算出した。ただし、ＳＯＩＮＮ１２のクラスタリング結果より得られるＰｃｌａｓｓ（ｘｉ｜Ｕｊｋ）については、入力パターンの認識には用いないものとした。即ち、尤度Ｃ（ｘｉ，Ｓｊ）を以下の式に基づいて算出し、α＝０とした。
【数１９】
尚、検証実験は図１１に示した表と同様の条件下において行い、１回の実験に用いる１クラスあたりの訓練データは８０個とし、セグメント数Ｌ＝３とした。αを０〜１．０まで０．０５ずつ変化させながら、それぞれのαを用いた場合について、計１０回のクロスバリデーション実験を行った。
【０１０１】
図１７は、[手法１]、[手法２]、ＳＯＩＮＮ−ＤＰ法により得られた検証実験の結果を示す表である。図１７に示すように、ＳＯＩＮＮ−ＤＰ法による認識結果は、[手法１]及び[手法２]による認識率を約４％上回っている。従って、ＳＯＩＮＮ１２を用いたことに加えて、さらに、ＳＯＩＮＮ１２の学習結果の内部クラスの情報を用いたＳＯＩＮＮ−ＤＰ法は、この情報を用いなかった[手法１]及び[手法２]に比べて高い認識率を有するものである。尚、テストデータに対する[手法１]及び[手法２]による認識率はほぼ同程度であった。即ち、ＳＯＩＮＮ−ＤＰは、ＳＯＩＮＮ１２の学習結果である内部クラスの情報を用いることにより、認識率をより向上させることができる。
【０１０２】
さらに、内部クラスの情報について、αの変化によるＳＯＩＮＮ−ＤＰの認識率への寄与について説明する。図１８は、αの変化に対する認識率の変化を示す図である。図１８においては、ｘ軸方向がαの値を示し、ｙ軸方向が各々のα値に対応する認識率を示す。図１８に示すように、認識率はα＝０．４５において最大となり、以降低下した。最終的に、認識率はα＝１．０において最低となった。α＝１．０の状態は、上記数１９において右辺の第二項（ｌｏｇ（ΣｊＰｃぁｓｓ（ｘ）））のみにより尤度を算出することに等しく、内部クラスの情報のみを用いて尤度を算出していることになる。この場合には、各内部クラスを核関数により近似しているため、次元間の相関を多次元正規分布のようにモデル化することができない。このため、各内部クラスによる情報のみを用いて尤度を算出した場合において、テストデータに対する認識率が低下したものと考えられる。
一方、図１７に示した結果より、各内部クラスによる情報に加えて、大域的情報（ＳＯＩＮＮの全ノード）を併せて用いることによって、ＳＯＩＮＮ−ＤＰ法は認識率を向上させることができた。
また、図１８に示すように、α＝０．４５において最大の認識率を得た。これは、αをデータにフィッティングさせることによって、さらにＳＯＩＮＮ−ＤＰ法による認識精度を向上させることが可能であることを示している。
【０１０３】
尚、本実施の形態１においては、パターン認識装置１がテンプレートモデル生成処理及び認識処理を行うものとして説明したが、本発明はこれに限定されるものではない。例えば、テンプレートモデル生成部１０を、自己増殖型ニューラルネットワークを用いてテンプレートモデルを生成するテンプレートモデル生成装置としても使用することができる。また、認識部２０を、自己増殖型ニューラルネットワークを用いて認識を行う認識装置としても使用することができる。
また、本実施の形態１において示したパターン認識はこれに限定されず、ＳＯＩＮＮ−ＤＰは実環境における他の時系列パターンの認識についても適用することができる。
さらにまた、実環境において動作する知能ロボットにＳＯＩＮＮ−ＤＰを適用することができる。ＳＯＩＮＮ−ＤＰを適用することにより、知能ロボットに例えば手話などの動作を認識させることができる。また、逐次的にテンプレートモデルを更新することによって、環境に適応して発達させてゆくことができる。即ち、例えば、人間が英語を徐々に聞き取ることができるようになっていくのと同様に、認知発達機能を実現することができる。
【０１０４】
尚、本実施の形態１においては、テンプレートモデル生成には予め十分な個数の訓練パターンが用意され、バッチ学習としてテンプレートモデルが生成される場合を説明したが本発明はこれに限定されない。即ち、テンプレートモデル生成部１０は、逐次的に入力パターンを追加して入力するときに、その逐次的に追加される入力パターンの属するクラスに対応するテンプレートモデルについて、そのテンプレートモデルにおける状態の出力分布を逐次的に追加される入力パターンに応じて更新するようにしてもよい。これにより、追加的に入力される入力パターンを容易に追加学習することができるとともに、事前に多量のデータを必要とせず、逐次的に与えられる少量のデータに基づいて認識精度を向上させてゆくことができる。即ち、テンプレートモデルを少量の訓練パターンを用いて生成した後、オンラインで与えられる教師付きデータを用いて、テンプレートモデルを更新することができる。
【０１０５】
図１９は、テンプレートモデルを更新する様子を説明するための図である。図１９に示すように、オンラインで追加的に与えられたＤａｔａ１乃至３について、上記同様にしてＳＯＩＮＮ−ＤＰ法によってマッチング処理が実施された後、教師付きデータより更新対象となるテンプレートモデル（Ｔａｒｇｅｔ Ｔｅｍｐｌａｔｅ）を特定することができる。そして、テンプレートモデルにおける各状態（ＳＯＩＮＮ−１Ｆｒａｍｅ乃至ＳＯＩＮＮ−３Ｆｒａｍｅ）が、更新前のデータ、及び追加されたデータによって更新される。図２０は、ＳＯＩＮＮ１２における更新の様子を説明するための図である。図２０に示すように、既にＳＯＩＮＮ１２に存在しているノードに加えて、追加的に入力されたノードからなるクラス（Ｃｌａｓｓ ｇｅｎｅｒａｔｅｄ ｂｙ ｕｐｄａｔｅ ｄａｔａ）が既存の知識を壊すことなく生成される。図２１は、オンライン教師付き学習による検証結果を示す表である。図２１に示すように、まずバッチ学習において所定の個数の（１０、２０、４０個）データを用いてテンプレートモデルを生成し、オンラインでデータを追加してテンプレートモデルを更新した場合において、認識率の向上結果を検証した。検証結果より、オンラインでデータを追加してゆくにつれて、認識率が向上していくことが分かる。即ち、オンライン教師付き学習による、時系列モデルの頑健な更新が可能である。
【０１０６】
その他の発明の実施の形態．
以上、本発明をその実施の形態により説明したが、本発明はその趣旨の範囲において種々の変形が可能である。例えばＳＯＩＮＮ１２に代えて、ＳＯＩＮＮに基づくＥｎｈａｎｃｅｄ−ＳＯＩＮＮ（以下Ｅ−ＳＯＩＮＮという。）を使用しても良い。
【０１０７】
Ｅ−ＳＯＩＮＮはＳＯＩＮＮに比べて、入力パターンの分布に高密度の重なりのあるクラスを分離することができる。そして、分布の重なり領域の検出処理においては、平滑化の手法を導入したことより、ＳＯＩＮＮに比べてより安定的に動作することができる。さらに、１層構造であっても効率的にノイズノードを削除することができる。さらにまた、ＳＯＩＮＮに比べて、より少ないパラメタで動作するため、処理をより容易に実行することができる。
【０１０８】
以下にＥ−ＳＯＩＮＮを簡単に説明する。図２２は、Ｅ−ＳＯＩＮＮによる学習処理の処理概要を示すフローチャートである。尚、上述したＳＯＩＮＮ１２と同様の処理については説明を省略する。まず、図２２に示すＳ６０１乃至Ｓ６０５については、図５に示したＳＯＩＮＮ１２と同様の処理を実施する。従って、以下では図２２に示すＳ６０６からの処理について説明する。
【０１０９】
Ｓ６０６：辺接続判定手段は、一時記憶部に格納されたノード、ノード密度、ノード間の辺について、第１勝者ノードａ1及び第２勝者ノードａ2のノード密度に基づいて、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を接続するか否かを判定し、その結果を一時記憶部に格納する。
Ｓ６０７：一時記憶部に格納されたＳ６０６における判定の結果、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を生成して接続する場合には、辺接続手段は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺を接続し、その結果を一時記憶部に格納する。そして、Ｅ−ＳＯＩＮＮは、一時記憶部に格納された辺及び辺の年齢について、新しく生成された辺、及び、既にノード間に辺が生成されていた場合にはその辺について、辺の年齢を０に設定しその結果を一時記憶部に格納し、第１勝者ノードａ1と直接的に接続される辺の年齢をインクリメントし（１増やす）、その結果を一時記憶部に格納する。
【０１１０】
一方、一時記憶部に格納されたＳ６０６における判定の結果、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を接続しない場合には、Ｓ６０８へと処理を進めるが、既にノード間に辺が生成されていた場合には、辺削除手段は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノードａ1及び第２勝者ノードａ2間の辺を削除し、その結果を一時記憶部に格納する。
次いで、一時記憶部に格納されたノード及びノード密度のポイント値について、第１勝者ノードａ1について、ノード密度算出手段は、一時記憶部に格納された第１勝者ノードａ1のノード密度のポイント値を算出しその結果を一時記憶部に格納し、算出され一時記憶部に格納されたノード密度のポイント値を以前までに算出され一時記憶部に格納されたポイント値に加算することで、ノード密度ポイントとして累積し、その結果を一時記憶部に格納する。
次いで、Ｅ−ＳＯＩＮＮは、一時記憶部に格納された第１勝者ノードａ1が第１勝者ノードとなった累積回数Ｍａ1をインクリメントし（１増やす）、その結果を一時記憶部に格納する。
【０１１１】
Ｓ６０８：重みベクトル更新手段は、一時記憶部に格納されたノード及びノードの重みベクトルについて、第１勝者ノードａ1の重みベクトル及び第１勝者ノードａ1の隣接ノードの重みベクトルをそれぞれ入力ベクトルξに更に近づけるように更新し、その結果を一時記憶部に格納する。尚、Ｅ−ＳＯＩＮＮにおいては、追加学習に対応するため、入力ベクトルの入力回数ｔに代えて、一時記憶部に格納される第１勝者ノードａ1が第１勝者ノードとなった累積回数Ｍａ1を用いる。
Ｓ６０９：Ｅ−ＳＯＩＮＮは、一時記憶部に格納された辺について、予め設定され一時記憶部に格納された閾値ａｇｅｔを超えた年齢を持つ辺を削除し、その結果を一時記憶部に格納する。
【０１１２】
Ｓ６１０：Ｅ−ＳＯＩＮＮは、一時記憶部に格納された与えられた入力ベクトルξの総数について、与えられた入力ベクトルξの総数が予め設定され一時記憶部に格納されたλの倍数であるか否かを判定し、その結果を一時記憶部に格納する。一時記憶部に格納された判定の結果、入力ベクトルの総数がλの倍数でない場合にはＳ６０２へと戻り、次の入力ベクトルξを処理する。一方、入力ベクトルξの総数がλの倍数となった場合には以下の処理を実行する。
【０１１３】
Ｓ６１１：分布重なり領域検出手段は、一時記憶部に格納されたサブクラスタ及び分布の重なり領域について、上述のＳ３０１乃至Ｓ３０５において示したようにしてサブクラスタの境界である分布の重なり領域を検出し、その結果を一時記憶部に格納する。
Ｓ６１２：ノード密度算出手段は、一時記憶部に格納されて累積されたノード密度ポイントを単位入力数あたりの割合として算出しその結果を一時記憶部に格納し、単位入力数あたりのノードのノード密度を算出し、その結果を一時記憶部に格納する。
Ｓ６１３：ノイズノード削除手段は、一時記憶部に格納されたノードについて、ノイズノードと見なしたノードを削除し、その結果を一時記憶部に格納する。尚、Ｓ６１３においてノイズノード削除手段が使用するパラメタｃ1及びｃ2はノードをノイズと見なすか否かの判定に使用する。通常、隣接ノード数が２であるノードはノイズではないことが多いため、ｃ1は０に近い値を使用する。また、隣接ノード数が１であるノードはノイズであることが多いため、ｃ2は１に近い値を使用するものとし、これらのパラメタは予め設定され一時記憶部に格納される。
【０１１４】
Ｓ６１４：Ｅ−ＳＯＩＮＮは、一時記憶部に格納された与えられた入力ベクトルξの総数について、与えられた入力ベクトルξの総数が予め設定され一時記憶部に格納されたＬＴの倍数であるか否かを判定し、その結果を一時記憶部に格納する。一時記憶部に格納された判定の結果、入力ベクトルの総数がＬＴの倍数でない場合にはＳ６０２へと戻り、次の入力ベクトルξを処理する。
一方、入力ベクトルξの総数がＬＴの倍数となった場合には、一時記憶部に格納されたノードをプロトタイプとして出力する。以上の処理を終了した後、学習を停止する。
【０１１５】
ノード密度算出手段は、一時記憶部に格納されたノード及びノード密度について、注目するノードについて、その隣接ノード間の平均距離に基づいて、注目するノードのノード密度を算出し、その結果を一時記憶部に格納する。具体的には、ノード密度ポイント算出部は、例えば一時記憶部に格納される以下の式に基づいてノードｉに与えられるノード密度のポイント値ｐｉを算出し、その結果を一時記憶部に格納する。尚、ノードｉに与えられるポイント値ｐｉは、ノードｉが第１勝者ノードとなった場合には一時記憶部に格納される以下の式に基づいて算出されるポイント値が与えられるが、ノードｉが第１勝者ノードでない場合にはノードｉにはポイントは与えられないものとする。
【数２０】
【０１１６】
ここで、ｅｉはノードｉからその隣接ノードまでの平均距離を示し、一時記憶部に格納される以下の式に基づいて算出し、その結果を一時記憶部に格納する。
【数２１】
尚、ｍは一時記憶部に格納されたノードｉの隣接ノードの個数を示し、Ｗｉは一時記憶部に格納されたノードｉの重みベクトルを示す。
【０１１７】
ここで、隣接ノードへの平均距離が大きくなる場合には、ノードを含むその領域にはノードが少ないものと考えられ、逆に平均距離が小さくなる場合には、その領域にはノードが多いものと考えられる。従って、ノードの多い領域で第１勝者ノードとなった場合には高いポイントが与えられ、ノードの少ない領域で第１勝者ノードとなった場合には低いポイントが与えられるようにノードの密度のポイント値の算出方法を上述のように構成する。これにより、ノードを含むある程度の範囲の領域におけるノードの密集具合を推定することができるため、ノードの分布が高密度の領域に位置するノードであっても、ノードが第１勝者回数となった回数をノードの密度とするＳＯＩＮＮに比べて、入力ベクトルの入力分布密度により近似した密度となるノード密度ポイントを算出することができる。
【０１１８】
単位ノード密度ポイント算出部は、例えば一時記憶部に格納される以下の式に基づいてノードｉの単位入力数あたりのノード密度ｄｅｎｓｉｔｙｉを算出し、その結果を一時記憶部に格納する。
【数２２】
【０１１９】
ここで、連続して与えられる入力ベクトルの入力回数を予め設定され一時記憶部に格納される一定の入力回数λごとの区間に分け、各区間においてノードｉに与えられたポイントについてその合計を累積ポイントｓｉと定める。尚、入力ベクトルの総入力回数を予め設定され一時記憶部に格納されるＬＴとする場合に、ＬＴ/λを区間の総数ｎとしその結果を一時記憶部に格納し、ｎのうち、ノードに与えられたポイントの合計が０以上であった区間の数をＮとして算出し、その結果を一時記憶部に格納する（Ｎとｎは必ずしも同じとならない点に注意する）。
【０１２０】
累積ポイントｓｉは、例えば一時記憶部に格納される以下の式に基づいて算出し、その結果を一時記憶部に格納する。
【数２３】
ここで、ｐｉ（ｊ，ｋ）はｊ番目の区間におけるｋ番目の入力によってノードｉに与えられたポイントを示し、上述のノード密度ポイント算出部により算出され、その結果を一時記憶部に格納する。このように、単位ノード密度ポイント算出部は、一時記憶部に格納されたノードｉの密度ｄｅｎｓｉｔｙｉを累積ポイントｓｉの平均として算出し、その結果を一時記憶部に格納する。
【０１２１】
尚、Ｅ−ＳＯＩＮＮにおいては追加学習に対応するため、ｎに代えてＮを用いる。これは、追加学習において、以前の学習で生成されたノードにはポイントが与えられないことが多く、ｎを用いて密度を算出すると、以前学習したノードの密度が次第に低くなってしまうという問題を回避するためである。即ち、ｎに代えてＮを用いてノード密度を算出することで、追加学習を長時間行った場合であっても、追加されるデータが以前学習したノードの近くに入力されない限りは、そのノードの密度を変化させずに保持することができる。これにより、追加学習を長時間実施する場合であっても、ノードのノード密度が相対的に小さくなってしまうことを防ぐことができ、ＳＯＩＮＮを含む従来の手法に比べて、入力ベクトルの入力分布密度により近似したノード密度を変化させずに保持して算出することができる。
【０１２２】
分布重なり領域検出手段は、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードの密度について、辺によって接続されるノードの集合であるクラスタを、ノード密度算出手段によって算出されるノード密度に基づいてクラスタの部分集合であるサブクラスタに分割し、その結果を一時記憶部に格納し、サブクラスタの境界である分布の重なり領域を検出し、その結果を一時記憶部に格納する。
【０１２３】
さらに、分布重なり領域検出手段は、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードの密度について、ノード密度算出手段により算出されたノード密度に基づいて、ノード密度が局所的に最大であるノードを探索するノード探索部と、探索したノードに対して、既に他のノードに付与済みのラベルとは異なるラベルを付与する第１のラベル付与部と、第１のラベル付与部によりラベルが付与されなかったノードのうち、そのノードと辺によって接続されるノードについて、第１のラベル付与部によりラベルが付与されたノードのラベルと同じラベルを付与する第２のラベル付与部と、それぞれ異なるラベルが付与されたノード間に辺によって直接的に接続がある場合に、その辺によって接続されるノードの集合であるクラスタをクラスタの部分集合であるサブクラスタに分割するクラスタ分割部と、注目するノード及びその隣接ノードがそれぞれ異なるサブクラスタに属する場合に、その注目するノード及びその隣接ノードを含む領域を、サブクラスタの境界である分布の重なり領域として検出する分布重なり領域検出部を有する。具体的には、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードの密度について、例えば以下のようにしてサブクラスタの境界である分布の重なり領域を検出し、その結果を一時記憶部に格納する。
【０１２４】
Ｓ７０１：ノード探索部は、一時記憶部に格納されたノード及びノードの密度について、ノード密度算出手段により算出されたノード密度に基づいて、ノード密度が局所的に最大であるノードを探索し、その結果を一時記憶部に格納する。
Ｓ７０２：第１のラベル付与部は、一時記憶部に格納されたノード、及びノードのラベルについて、Ｓ７０１において探索したノードに対して、既に他のノードに付与済みのラベルとは異なるラベルを付与し、その結果を一時記憶部に格納する。
Ｓ７０３：第２のラベル付与部は、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードのラベルについて、Ｓ７０２において第１のラベル付与部によりラベルが付与されなかったノードについて、第１のラベル付与部にラベルが付与されたノードと辺によって接続されるノードについて、第１のラベル付与部によりラベルが付与されたノードのラベルと同じラベルを付与し、その結果を一時記憶部に格納する。即ち、密度が局所的に最大の隣接ノードと同じラベルを付与する。
Ｓ７０４：クラスタ分割部は、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードのラベルについて、一時記憶部に格納された辺によって接続されるノードの集合であるクラスタを、同じラベルが付与されたノードからなるクラスタの部分集合であるサブクラスタに分割し、その結果を一時記憶部に格納する。
Ｓ７０５：分布重なり領域検出部は、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードのラベルについて、注目するノードとその隣接ノードが異なるサブクラスタにそれぞれ属する場合に、その注目するノード及びその隣接ノードを含む領域を、サブクラスタの境界である分布の重なり領域として検出し、その結果を一時記憶部に格納する。
【０１２５】
辺接続判定手段は、一時記憶部に格納されたノード、ノード密度、及び分布重なり領域について、第１勝者ノード及び第２勝者ノードが分布重なり領域に位置するノードである場合に、第１勝者ノード及び第２勝者ノードのノード密度に基づいて第１勝者ノード及び第２勝者ノード間に辺を接続するか否かを判定し、その結果を一時記憶部に格納する。さらに辺接続判定手段は、一時記憶部に格納されたノード、ノード密度、ノードのサブクラスタについて、ノードが属しているサブクラスタを判定する所属サブクラスタ判定部と、ノードが属するサブクラスタの頂点の密度及びノードの密度に基づいて、第１勝者ノード及び第２勝者ノード間に辺を接続するか否かを判定する辺接続判定部を有する。
【０１２６】
辺接続手段は、一時記憶部に格納された辺接続判定手段の判定結果に基づいて、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺を接続し、その結果を一時記憶部に格納する。
辺削除手段は、一時記憶部に格納された辺接続判定手段の判定結果に基づいて、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間の辺を削除し、その結果を一時記憶部に格納する。
具体的には、一時記憶部に格納されたノード、ノード密度、ノードのサブクラスタ、及びノード間の辺について、例えば以下のようにして辺接続判定手段は辺を接続するか否かを判定し、辺接続手段及び辺削除手段は辺の生成及び削除処理を実施し、その結果を一時記憶部に格納する。
【０１２７】
Ｓ８０１：所属サブクラスタ判定部は、一時記憶部に格納されたノード、ノードのサブクラスタについて、第１勝者ノード及び第２勝者ノードが属するサブクラスタをそれぞれ判定し、その結果を一時記憶部に格納する。
Ｓ８０２：一時記憶部に格納されたＳ８０１における判定の結果、第１勝者ノード及び第２勝者ノードがどのサブクラスタにも属していない場合、又は、第１勝者ノード及び第２勝者ノードが同じサブクラスタに属している場合には、辺接続手段は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺を生成することによりノード間を接続し、その結果を一時記憶部に格納する。
Ｓ８０３：一時記憶部に格納されたＳ８０１における判定の結果、第１勝者ノード及び第２勝者ノードが互いに異なるサブクラスタに属す場合には、辺接続判定部は、一時記憶部に格納されたノード、ノード密度、及びノード間の辺について、ノードが属するサブクラスタの頂点の密度及びノードの密度に基づいて、第１勝者ノード及び第２勝者ノード間に辺を接続するか否かを判定し、その結果を一時記憶部に格納する。
Ｓ８０４：一時記憶部に格納されたＳ８０３における辺接続判定部による判定の結果、辺を接続する必要がないと判定した場合には、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間を辺によって接続せず、既にノード間が辺によって接続されていた場合には、辺削除手段は、一時記憶部に格納されたノード及びノード間の辺について、一時記憶部に格納された第１勝者ノード及び第２勝者ノード間の辺を削除し、その結果を一時記憶部に格納する。
Ｓ８０５：一時記憶部に格納されたＳ８０３における辺接続判定部による判定の結果、辺を接続する必要があると判定した場合には、辺接続手段は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺を生成しノード間を接続する。
【０１２８】
ここで、辺接続判定部による判定処理について詳細に説明する。
まず、辺接続判定部は、一時記憶部に格納されたノード及びノード密度について、第１勝者ノードのノード密度ｄｅｎｓｉｔｙｗｉｎ及び第２勝者ノード密度ｄｅｎｓｉｔｙｓｅｃ−ｗｉｎのうち、最小のノード密度ｍを例えば一時記憶部に格納される以下の式に基いて算出し、その結果を一時記憶部に格納する。
【数２４】
【０１２９】
次に、一時記憶部に格納されたノード、ノードのノード密度、及びノードのサブクラスについて、第１勝者ノード及び第２勝者ノードがそれぞれ属するサブクラスタＡ及びサブクラスタＢについて、サブクラスタＡの頂点の密度Ａｍａｘ及びサブクラスタＢの頂点の密度Ｂｍａｘを算出し、その結果を一時記憶部に格納する。尚、サブクラスタに含まれるノードのうち、ノード密度が最大であるノード密度をサブクラスタの頂点の密度とする。
【０１３０】
そして、一時記憶部に格納されたノードが属するサブクラスタの頂点の密度Ａｍａｘ及びＢｍａｘ、及びノードの密度ｍについて、ｍがαＡＡｍａｘより小さく、かつ、ｍがαＢＢｍａｘより小さいか否かを判定し、その結果を一時記憶部に格納する。即ち、一時記憶部に格納される以下の不等式を満足するか否かを判定し、その結果を一時記憶部に格納する。
【数２５】
【０１３１】
判定の結果、ｍがαＡＡｍａｘより小さく、かつ、ｍがαＢＢｍａｘより小さい場合には、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間には辺は不要であると判定し、その結果を一時記憶部に格納する。
一方、判定の結果、ｍがαＡＡｍａｘ以上、または、ｍがαＢＢｍａｘ以上である場合には、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺は必要であると判定し、その結果を一時記憶部に格納する。
【０１３２】
このように、第１勝者ノード及び第２勝者ノードの最小ノード密度ｍを、第１勝者ノード及び第２勝者ノードをそれぞれ含むサブクラスタの平均的なノード密度と比較することで、第１勝者ノード及び第２勝者ノードを含む領域におけるノード密度の凹凸の大きさを判定することができる。即ち、サブクラスタＡ及びサブクラスタＢの間に存在する分布の谷間のノード密度ｍが、閾値αＡＡｍａｘ又はαＢＢｍａｘより大きな場合には、ノード密度の形状は小さな凹凸であると判定することができる。
【０１３３】
ここで、αＡ及びαＢは一時記憶部に格納される以下の式に基づいて算出し、その結果を一時記憶部に格納する。尚、αＢについてもαＡと同様にして算出することができるためここでは説明を省略する。
ｉ） Ａｍａｘ/ｍｅａｎＡ−１≦１の場合には、αＡ＝０．０とする。
ｉｉ） １＜Ａｍａｘ/ｍｅａｎＡ−１≦２の場合には、αＡ＝０．５とする。
ｉｉｉ） ２＜Ａｍａｘ/ｍｅａｎＡ−１の場合には、αＡ＝１．０とする。
【０１３４】
Ａｍａｘ/ｍｅａｎＡの値が１以下となるi）の場合には、ＡｍａｘとｍｅａｎＡの値は同程度であり、密度の凹凸はノイズの影響によるものと判断する。そして、αの値を０．０とすることで、サブクラスタが統合されるようにする。
また、Ａｍａｘ/ｍｅａｎＡの値が２を超えるiii）の場合には、ＡｍａｘはｍｅａｎＡに比べて十分大きく、明らかな密度の凹凸が存在するものと判断する。そして、αの値を１．０とすることで、サブクラスタが分離されるようにする。
そして、Ａｍａｘ/ｍｅａｎＡの値が上述した場合以外となる i i）の場合には、αの値を０．５とすることで、密度の凹凸の大きさに応じてサブクラスタが統合又は分離されるようにする。
【０１３５】
尚、ｍｅａｎＡはサブクラスタＡに属すノードｉのノード密度ｄｅｎｓｉｔｙｉの平均値を示し、ＮＡをサブクラスタＡに属するノードの数として、一時記憶部に格納される以下の式に基づいて算出し、その結果を一時記憶部に格納する。
【数２６】
【０１３６】
このように、サブクラスタへの分離を行う際に、サブクラスタに含まれるノード密度の凹凸の程度を判定し、ある基準を満たした２つのサブクラスタを１つに統合することで、分布の重なり領域の検出におけるサブクラスタの分けすぎによる不安定化を防止することができる。例えば、ノイズや学習サンプルが少ないことが原因で、密度の分布に多くの細かい凹凸が形成されることがある。このような場合に、第１勝者ノード及び第２勝者ノードがサブクラスタＡ及びＢの間にある分布の重なり領域に位置する場合に、ノード間の接続を行う際にある基準を満たした２つのサブクラスタを１つに統合することで、密度の分布に多くの細かい凹凸が含まれる場合であっても平滑化することができる。
【０１３７】
ノイズノード削除手段は、一時記憶部に格納されたノード、ノード密度、ノード間の辺、隣接ノードの個数について、注目するノードについて、ノード密度算出手段により算出されるノード密度及び注目するノードの隣接ノードの個数に基づいて、注目するノードを削除し、その結果を一時記憶部に格納する。さらにノイズノード削除手段は、一時記憶部に格納されたノード、ノード密度、ノード間の辺、隣接ノードの個数について、注目するノードのノード密度を所定の閾値と比較するノード密度比較部と、注目するノードの隣接ノードの個数を算出する隣接ノード数算出部と、注目するノードをノイズノードとみなして削除するノイズノード削除部を有する。具体的には、例えば以下のようにして一時記憶部に格納されたノード、ノード密度、ノード間の辺、隣接ノードの個数について、ノード密度及び注目するノードの隣接ノードの個数に基づいて、注目するノードを削除し、その結果を一時記憶部に格納する。
【０１３８】
ノイズノード削除手段は、一時記憶部に格納されたノード、ノード間の辺、隣接ノードの個数について、注目するノードｉについて、隣接ノード数算出部によりその隣接ノードの個数を算出し、その結果を一時記憶部に格納する。そして、一時記憶部に格納された隣接ノードの個数に応じて、以下の処理を実施する。
ｉ） 一時記憶部に格納された隣接ノード数が２の場合、ノード密度比較部はノードｉのノード密度ｄｅｎｓｉｔｙｉを例えば一時記憶部に格納される以下の式に基づいて算出する閾値と比較し、その結果を一時記憶部に格納する。
【数２７】
一時記憶部に格納された比較結果について、ノード密度ｄｅｎｓｉｔｙｉが閾値より小さい場合には、ノイズノード削除部は、一時記憶部に格納されたノードについて、ノードを削除し、その結果を一時記憶部に格納する。
【０１３９】
ｉｉ） 一時記憶部に格納された隣接ノード数が１の場合、ノード密度比較部はノードｉのノード密度ｄｅｎｓｉｔｙｉを例えば一時記憶部に格納される以下の式に基づいて算出する閾値と比較し、その結果を一時記憶部に格納する。
【数２８】
一時記憶部に格納された比較の結果について、ノード密度ｄｅｎｓｉｔｙｉが閾値より小さい場合には、ノイズノード削除部は、一時記憶部に格納されたノードについて、ノードを削除し、その結果を一時記憶部に格納する。
【０１４０】
ｉｉｉ） 一時記憶部に格納された隣接ノード数について、隣接ノードを持たない場合、ノイズノード削除部は、一時記憶部に格納されたノードについて、ノードを削除し、その結果を一時記憶部に格納する。
ここで、予め設定され一時記憶部に格納される所定のパラメタｃ1及びｃ2を調整することで、ノイズノード削除手段によるノイズノードの削除の振る舞いを調整することができる。
【０１４１】
本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは当然である。この場合、記録媒体から読み出されたプログラムコード自体が上述の実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１４２】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基き、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も当然含まれる。
【０１４３】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基き、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も当然含まれる。本発明を上記記録媒体に適用する場合、その記録媒体には、上述したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１４４】
【図１】本発明を実施するための機能ブロックを示す図である。
【図２】従来手法であるＳＯＩＮＮによる学習処理の処理概要を示すフローチャートである。
【図３】従来手法であるＳＯＩＮＮに対して入力した人工データセットを示す図である。
【図４】人工データセットに対するＳＯＩＮＮの出力結果を示す図である。
【図５】本実施形態に係るＳＯＩＮＮ１２による学習処理の処理概要を示すフローチャートである。
【図６】本実施形態に係るＳＯＩＮＮ１２に存在する複数の内部クラスを示す図である。
【図７】本実施形態に係るパターン認識装置のシステム構成を示す図である。
【図８】パターン認識装置によるテンプレートモデル生成処理の処理概要を示すフローチャートである。
【図９】訓練パターンをＳＯＩＮＮ１２へと入力するようすを示す図である。
【図１０】パターン認識装置による認識処理の処理概要を示すフローチャートである。
【図１１】音素認識実験における実験条件を示す表である。
【図１２】音素認識実験における実験結果を示す表である。
【図１３】動作実験における動作内容を示す画像である。
【図１４】動作認識実験における実験条件を示す表である。
【図１５】動作認識実験における実験結果を示す表である。
【図１６】セグメント数に対する認識率の変化を示す図である。
【図１７】ＳＯＩＮＮ１２を用いない手法との比較結果を示す表である。
【図１８】大域的尤度及び局所的尤度の反映具合による認識率の変化を示す図である。
【図１９】テンプレートモデルを更新する様子を説明するための図である。
【図２０】ＳＯＩＮＮ１２における更新の様子を説明するための図である。
【図２１】オンライン教師付き学習による検証結果を示す表である。
【図２２】従来手法であるＥ―ＳＯＩＮＮによる学習処理の処理概要を示すフローチャートである。
【符号の説明】
【０１４５】
１ パターン認識装置
１０ テンプレートモデル生成部
１１ 標準パターン選択部
１２ ＳＯＩＮＮ
１２１ クラス間ノード挿入部
１２２ 辺削除部
１２３ ノード削除部
１２４ 重みベクトル更新部
２０ 認識部
２１ 尤度算出部
２１１ 大域的尤度算出部
２１２ 局所的尤度算出部
３１ 訓練用パターンＤＢ
３２ テンプレートモデル学習結果ＤＢ
４０ コンピュータ
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
４４ バス
４５ 入出力インターフェイス
４６ 入力部
４７ 出力部
４８ 記憶部
４９ 通信部
５０ ドライブ
５０１ 磁気ディスク
５０２ 光ディスク
５０３ フレキシブルディスク
５０４ 半導体メモリ
【技術分野】
【０００１】
本発明は、自己増殖型ニューラルネットワークを用いてパターン認識を行うパターン認識装置、パターン認識方法、及びプログラムに関する。
【背景技術】
【０００２】
時系列パターンの認識・モデル化は動画像処理、音声情報処理、ＤＮＡ解析などの様々な分野における重要な基盤技術である。一般的に時系列パターンは、特徴空間内での変動及び時間方向の伸縮を含む。時系列パターンを頑健に認識するためには、これらの特徴を吸収可能なモデル及び学習器を構築する必要がある。このため、予めグラフ構造を保持したモデルを持つことで時系列パターンの学習・認識を行う、モデルに基づく手法が頻繁に用いられている。
【０００３】
モデルに基づく手法としてＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）は、音声認識の分野における標準的な手法として大きな成功を収めている（非特許文献１参照）。ＨＭＭは音声認識以外にも、話者適応技術や音声合成技術などに用いられており、音声情報処理全般における標準的手法となっている。この音声情報処理における成功事例や、統計的理論の裏づけがあることから、ＨＭＭは動画像および動作の認識にも多く用いられてきた。音声認識や動画像認識における手法としては、離散ＨＭＭ（Ｄｉｓｃｒｅｔｅ ＨＭＭ）を用いるものや、連続分布ＨＭＭ（Ｃｏｎｔｉｎｕｏｕｓ ＨＭＭ）を用いるものがある（非特許文献２及び３参照）。また各状態における持続時間を正確にモデル化するために、各状態の持続長分布を明示的に持たせたＳｅｇｍｅｎｔ ｍｏｄｅｌも提案されている。
【０００４】
ＨＭＭなどに対し、動的計画法の一種であるＤＰマッチング法は、短時間の特徴パラメータ（各フレーム）同士の局所距離に基づいて、過度的な時系列パターン間の距離を算出することが可能である。ＤＰマッチングは音声認識、動作認識の他、時系列パターンの検索などに用いられている。
【０００５】
ＤＰマッチング及びＨＭＭに基づいた手法として、非特許文献４に開示された手法（以下、ストキャスティックＤＰ法という。）が提案されている。ストキャスティックＤＰ法では、ＤＰマッチングにおける局所距離の尺度については確率の尺度を用いており、パスコストの代わりにパス遷移確率を用いている。また、ストキャスティックＤＰ法はテンプレートパターンの１フレームを１状態に対応させており、状態数を多くしたＨＭＭの連続出力分布を持つｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルに相当する。
【非特許文献１】L. R. Rabiner, "A tutorial on hidden markov models and selected applications in speech recognition", Proc. IEEE, pp. 257-286(1989).
【非特許文献２】A. Wilson and A. Bobick, "Learning visual behavior for gesture analysis", Proc. IEEE International Symposium on Computer Vision, Vol. 5A Motion II(1995).
【非特許文献３】R. Hamdan, F. Heits and L. Thoraval, "Gesture localization and recognition using probabilistic visual learning", Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Vol. 98-103(1999).
【非特許文献４】中川聖一，"ストキャスティックＤＰ法および統計的手法による不特定話者の英語子音の認識"，信学論（Ｄ），vol.J70-D, no.1(1987).
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＨＭＭでは、パラメタ推定の容易性の理由で、音声データについて一音韻に対して３〜５状態のマルコフモデルが多く用いられる。しかしながら、このような少数の状態では、過度的な時系列パターンを正確にモデル化できない可能性がある。
また、ＤＰマッチング法では標準パターンそのものをモデルとするため、ＨＭＭに比べて特徴空間の分布を詳細にモデル化することが困難である。
一方、ストキャスティックＤＰ法は、ＤＰマッチングの利点及びＨＭＭの頑健性の両方を活かした手法であるものの、各状態の出力分布には単一の多次元正規分布が用いられている。一般に、各状態の出力分布は特徴量の次元数及び特性に応じて異なるため、このような単一の多次元正規分布を用いた場合には、出力分布を正確に近似することができないという問題がある。
【０００７】
このように、従来のパターン認識モデルでは、予め適切な状態数及び各状態の出力分布を決定する必要があり、また、各状態の出力分布を単一の多次元正規分布を用いては、出力分布を十分に近似することができないという問題がある。
【０００８】
本発明は係る課題を解決するためになされたものであり、状態数及び各状態の出力分布を自動的に決定し、時系列データの頑健なモデル化をすることができるパターン認識装置、パターン認識方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るパターン認識装置は、入力パターンの一部又は全部を入力ベクトルとしてニューラルネットワークに順次入力し、当該入力ベクトル、及び当該ニューラルネットワークに配置される多次元ベクトルで記述されるノードに基づいて、当該ノードを自動的に増加させる自己増殖型ニューラルネットワークを用いて、前記入力パターンの特徴量に応じたテンプレートモデルを生成するテンプレートモデル生成部と、生成された前記テンプレートモデルと前記入力パターンをマッチングして当該入力パターンを認識する認識部を有するものである。
【００１０】
これにより、テンプレートモデルにおける状態数及び各状態の出力分布を自動的に決定することができると共に、各状態の出力分布を詳細に近似することができるため、時系列データの頑健なモデル化を実現することができる。
【００１１】
また、前記認識部は、前記ノードに基づいて、前記テンプレートモデルにおける状態の出力分布を算出する尤度算出部を有し、算出された前記テンプレートモデルにおける状態の出力分布を用いて、前記テンプレートモデルと前記入力パターンとの一致度を算出するようにしてもよい。これにより、テンプレートモデルにおける各状態の出力分布を詳細に近似することができるため、時系列データをより精度良く認識することができる。
【００１２】
さらにまた、前記尤度算出部は、前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出部を有し、前記大域的尤度から前記テンプレートモデルにおける状態の出力分布を算出するようにしてもよい。これにより、入力パターンの特徴量を大域的尤度によって反映させることにより、テンプレートモデルにおける各状態の出力分布を詳細に近似することができるため、時系列データをより精度良く認識することができる。
【００１３】
また、前記尤度算出部は、辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出部を有し、前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出するようにしてもよい。これにより、入力パターンの特徴量を局所域的尤度によって反映させることにより、各状態の出力分布が単一の多次元正規分布では近似できない場合であっても、テンプレートモデルにおける各状態の出力分布を詳細に近似することができるため、時系列データをより精度良く認識することができる。
【００１４】
さらにまた、前記尤度算出部は、前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出部と、辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出部とを有し、前記大域的尤度及び／又は前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出するようにしてもよい。これにより、入力パターンの特徴量を大域的尤度及び局所域的尤度を用いて反映させることにより、各状態の出力分布が単一の多次元正規分布では近似できない場合であっても、テンプレートモデルにおける各状態の出力分布をより詳細に近似することができるため、時系列データをより精度良く認識することができる。
【００１５】
また、前記テンプレートモデル生成部は、前記入力パターン間のマッチングにより、当該入力パターンが属するクラスの標準パターンを選択する標準パターン選択部を有し、前記入力パターンの大きさを前記標準パターンの大きさに正規化して、前記標準パターンの各フレームに対応する各前記入力パターンの一部又は全部を、前記テンプレートモデルにおける各状態に対応させるようにしてもよい。これにより、事前にテンプレートモデルにおける状態数を決定せずに、標準パターンのフレーム数に応じてテンプレートモデルにおける状態数を決定することができる。
【００１６】
さらにまた、前記テンプレートモデル生成部は、前記テンプレートモデルにおける各状態に対応させた各前記入力パターンの一部又は全部からなる要素の集合について、前記入力パターンの入力パターン数及び当該入力パターンの特徴量の次元数に基づいて、当該要素集合を前記自己増殖型ニューラルネットワークに入力するようにしてもよい。これにより、１つの状態に対応する要素集合の要素数が少ない場合であっても、入力パターン数及び入力パターンの次元数に応じて要素数を決定することにより、分布を近似するのに必要な多さの要素数を確保して入力することができ、認識精度の低下を防止することができる。
【００１７】
また、前記テンプレートモデル生成部は、逐次的に入力パターンを追加して入力するときに、当該逐次的に追加される入力パターンの属するクラスに対応する前記テンプレートモデルについて、当該テンプレートモデルにおける状態の出力分布を前記逐次的に追加される入力パターンに応じて更新するようにしてもよい。これにより、追加的に入力される入力パターンを容易に追加学習することができるとともに、事前に多量のデータを必要とせず、逐次的に与えられる少量のデータに基づいて認識精度を向上させてゆくことができる。
【００１８】
さらにまた、ＤＰマッチング法を用いて前記マッチング処理を行うようにしてもよい。これにより、効率的にマッチング処理を行うことができる。
【００１９】
また、前記自己増殖型ニューラルネットワークは、入力される前記入力ベクトルに最も近い重みベクトルを持つノードと２番目に近い重みベクトルを持つノードの間に辺を接続したとき、注目するノードと他のノード間の距離に基づいて算出される当該注目するノードの類似度閾値、及び前記入力ベクトルと当該注目するノード間の距離に基づいて、前記入力ベクトルをノードとして挿入するクラス間ノード挿入部と、前記入力ベクトルに最も近いノードに対応する重みベクトル及び当該ノードと辺によって直接的に接続されるノードに対応する重みベクトルをそれぞれ前記入力ベクトルに更に近づけるように更新する重みベクトル更新部とを有するようにしてもよい。これにより、類似度閾値に基づいて、挿入されるノードの個数を自律的に管理することができるため、ノードの数を事前に決定することなく、逐次的に入力される新たな入力パターンを既存の知識を壊すことなく追加学習することができる。
【００２０】
さらにまた、前記クラス間ノード挿入部は、入力される前記入力ベクトルに最も近い重みベクトルを持つノードを第１勝者ノードとし、２番目に近い重みベクトルを持つノードを第２勝者ノードとし、当該第１勝者ノード及び当該第２勝者ノードの間に辺を接続したとき、注目するノードについて、当該注目するノードと辺によって直接的に接続されるノードが存在する場合には、当該直接的に接続されるノードのうち当該注目するノードからの距離が最大であるノード間の距離を前記類似度閾値とし、当該注目するノードと辺によって直接的に接続されるノードが存在しない場合には、当該注目するノードからの距離が最小であるノード間の距離を前記類似度閾値として算出する類似度閾値算出部と、前記入力ベクトルと前記第１勝者ノード間の距離が当該第１勝者ノードの類似度閾値より大きいか否か、及び、前記入力ベクトルと前記第２勝者ノード間の距離が当該第２勝者ノードの類似度閾値より大きいか否かを判定する類似度閾値判定部と、類似度閾値判定結果に基づいて、前記入力ベクトルをノードとして当該入力ベクトルと同じ位置に挿入するノード挿入部とを有するようにしてもよい。これにより、入力ベクトルに応じて変化する類似度閾値によれば、挿入されるノードの個数を自律的に管理することができるため、ノードの数を事前に決定することなく、逐次的に入力される新たな入力パターンを既存の知識を壊すことなく追加学習することができる。
【００２１】
また、前記自己増殖型ニューラルネットワークは、前記辺に対応付けられる辺の年齢に基づいて、当該辺を削除する辺削除部と、注目するノードについて、当該注目するノードに直接的に接続される辺の本数に基づいて、当該注目するノードを削除するノード削除部とを更に有するようにしてもよい。これにより、不要な入力パターンから生成されたノードを効果的かつ動的に削除することができる。
【００２２】
さらにまた、前記自己増殖型ニューラルネットワークは１層構造であるようにしてもよい。これにより、非特許文献：F. Shen and O. Hasegawa, "An Incremental Network for On-line Unsupervised Classification and Topology Learning, " Neural Networks, vol. 19, pp. 90-106, 2006.に開示された技術であるSelf-Organizing Incremental Neural Network（以下、ＳＯＩＮＮという。）と比べて、２層目の学習を開始するタイミングを指定せずに追加学習を実行することができる。
【００２３】
本発明に係るパターン認識方法は、入力パターンの一部又は全部を入力ベクトルとしてニューラルネットワークに順次入力し、当該入力ベクトル、及び当該ニューラルネットワークに配置される多次元ベクトルで記述されるノードに基づいて、当該ノードを自動的に増加させる自己増殖型ニューラルネットワークを用いて、前記入力パターンの特徴量に応じたテンプレートモデルを生成するテンプレートモデル生成ステップと、生成された前記テンプレートモデルと前記入力パターンをマッチングして当該入力パターンを認識する認識ステップを有するものである。
【００２４】
本発明に係るプログラムは、上述のような情報処理をコンピュータに実行させるものである。
【発明の効果】
【００２５】
本発明によれば、状態数及び各状態の出力分布を自動的に決定して、時系列データの頑健なモデル化をすることができるパターン認識装置、パターン認識方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。尚、各図面において、同一要素には同一の符号を付しており、説明の明確化のため、必要に応じて重複説明を省略する。
【００２７】
発明の実施の形態１．
本実施の形態１は、本発明を、時系列パターンを認識するパターン認識装置に適用したものである。パターン認識装置は、オンライン教師なし学習手法である自己増殖型ニューラルネットワークを用いて、時系列パターンの特徴量に応じたテンプレートモデルを生成し、生成されたテンプレートモデルと時系列パターンをマッチングしてその時系列パターンを認識する。
自己増殖型ニューラルネットワークとして後述するＳＯＩＮＮを利用することによって、テンプレートモデルにおける各状態の出力分布を自動的に決定した上で、詳細に近似することができる。ここで、パターン認識装置は、時系列パターンの一部又は全部をＳＯＩＮＮへと入力し、ＳＯＩＮＮにおいて形成される位相構造（ノード及び辺の集合）に基づいて尤度を算出して、状態の出力分布を近似する。尤度として大域的尤度及び局所的尤度を算出することによって、時系列パターンの特徴量に応じた状態の出力分布を詳細に表現できるため、時系列パターンの頑健なモデル化が可能となる。
【００２８】
図１は、本発明の実施の形態１に係るパターン認識装置１を示すブロック図である。パターン認識装置１は、テンプレートモデル生成部１０及び認識部２０を備え、学習用の訓練パターンが格納された訓練用パターンデータベース（ＤＢ）３１及び学習の結果生成されたテンプレートモデルが格納されたテンプレートモデル学習結果データベース（ＤＢ）３２と接続されている。
【００２９】
テンプレートモデル生成部１０は、標準パターン選択部１１及びＳＯＩＮＮ１２を備える。自己増殖型ニューラルネットワークとしてのＳＯＩＮＮ１２は、クラス間ノード挿入部１２１と、辺削除部１２２と、ノード削除部１２３と、重みベクトル更新部１２４とを備える。認識部２０は、尤度算出部２１を備える。尤度算出部２１は、大域的尤度算出部２１１及び局所的尤度算出部２１２を備える。
【００３０】
次に、各ブロックについて以下詳細に説明する。
テンプレートモデル生成部１０は、後述するＳＯＩＮＮ１２を用いて、入力パターンの特徴量に応じた各クラスのモデル（以下、テンプレートモデルという。）を生成する。より具体的には、まず、後述する標準パターン選択部１１により訓練データの中から中心となる標準パターンを選択し、この標準パターン及び他の訓練パターンとの間でＤＰマッチングを行うことによって、各訓練パターンを標準パターンの時系列長に正規化する。次に、標準パターンの各フレームに対応する入力パターンの一部又は全部からなるデータの集合をテンプレートモデルにおける１つの状態に対応させ、このデータ集合の分布をＳＯＩＮＮ１２によって近似する。この結果、テンプレートモデルは、標準パターンのフレーム数分だけ状態数を保持し、各状態の出力分布をＳＯＩＮＮ１２により近似することができる。以下、この手法をＳＯＩＮＮ−ＤＰ法という。
【００３１】
標準パターン選択部１１は、入力パターン間のマッチングにより、その入力パターンが属するクラスの標準パターンを選択する。ここで、マッチング処理にはＤＰマッチング法を使用する。ＤＰマッチング法を使用することによって効率的にマッチング処理を行うことができる。ＤＰマッチングを行うことによって、２つのパターンＸ及びＹ間の累積距離Ｄ（Ｘ，Ｙ）、及びパターン間の最適な対応付けｊ＝ｗｉ（ｉ＝１，２，・・・，Ｉ）を得ることができる。
【００３２】
以下、ＤＰマッチング法について簡単に説明する。
本実施の形態１においては、フレーム数Ｉの時系列パターンＸ＝｛ｘ１，ｘ２，・・・，ｘｉ，・・・，ｘＩ｝、及びフレーム数Ｊの時系列パターンＹ＝｛ｙ１，ｙ２，・・・，ｙｊ，・・・，ｙJ｝とのＤＰマッチングを考え、この２つの時系列パターンの累積距離Ｄ（Ｘ，Ｙ）を算出する。ここで、ｉ及びｊはそれぞれ時系列パターンＸ及びＹのフレーム番号を示す。また、Ｘの各フレームの特徴ベクトルｘｉを、Ｘのｉフレーム目の要素、もしくはｉ番目の要素という。本実施の形態１においては、時系列パターンＸ及び時系列パターンＹの累積距離Ｄ（Ｘ，Ｙ）を、以下に示す対称型漸化式を用いて算出する。
【数１】
【数２】
そして、上記数２に示した漸化式を用いて、以下の式に基づいて累積距離Ｄ（Ｘ，Ｙ）を算出する。
【数３】
【００３３】
このように、ＤＰマッチングによれば、累積距離に現時点の局所距離を累積する演算を漸化的に繰り返すことによって累積距離Ｄ（Ｘ，Ｙ）を算出することができる。また、ＤＰマッチングによって、Ｘの第ｉ番目（フレーム目）の要素ｘｉ及びＹの第ｊ番目の要素ｙｊとの最適な対応付けｊ＝ｗｉ（ｉ＝１，２，・・・，Ｉ）を得ることができる。
尚、ＤＰマッチングに用いられる漸化式としては、上記の対称型漸化式以外にも、以下の式に示す非対称型漸化式がある。
【数４】
【００３４】
ＳＯＩＮＮ１２は、入力ベクトル及びニューラルネットワークに配置されるノードに基づいて、ノードを自動的に増加させる自己増殖型ニューラルネットワークであり、本実施の形態１においては、下記に説明するＳＯＩＮＮの１層目を用いて学習を行う。１層構造とすることにより、ＳＯＩＮＮと比べて、２層目の学習を開始するタイミングを指定せずに追加学習を実行することができる。また、ＳＯＩＮＮに限定されず、後述するＥｎｈａｎｃｅｄ−ＳＯＩＮＮ（以下、Ｅ−ＳＯＩＮＮという。）などとしても１層構造とすることができ、２層目の学習を開始するタイミングを指定せずに追加学習を実行することができる。
【００３５】
以下、まず、従来技術であるＳＯＩＮＮについて簡単に説明し、次いで本実施の形態１にかかるＳＯＩＮＮ１２について説明する。ＳＯＩＮＮは、非特許文献：Fritzke.B, "A growing neural gas network learns topologies, " Advances in neural information processing systems(NIPS), pp 625-632, 1995.に開示された技術であるＧｒｏｗｉｎｇ Ｎｅｕｒａｌ Ｇａｓ（以下、ＧＮＧという。）を拡張した、いわゆる自己増殖型ニューラルネットワークと呼ばれる教師なし追加学習手法である。ノードを自己増殖しながら入力ベクトルを逐次的に学習することにより、入力データの分布を表現するネットワークを追加的に構築することができる。ＳＯＩＮＮは、次の４つの利点を有する。
（１）過去に学習したクラスタを壊さずに、新規に入力される未知クラスの入力ベクトルを追加的に学習して、新規のクラスタを構築することができる。
（２）入力データに対して独立なノイズを、効果的かつ動的に除去することができる。
（３）逐次的に与えられる教師無しデータについて、その位相構造を表現するネットワークを自律的に構築することができる。
（４）ノード数を事前に決定せずに、入力ベクトルを近似することができる。
【００３６】
図２は、従来技術であるＳＯＩＮＮによる学習処理を説明するためのフローチャートである。以下、図２を用いてＳＯＩＮＮの処理を簡単に説明する。ここで、ＳＯＩＮＮは２層ネットワーク構造を有し、１層目及び２層目において同様の学習処理を実施する。また、ＳＯＩＮＮは１層目の出力である学習結果を２層目への入力ベクトルとして利用する。
【００３７】
Ｓ１０１：ＳＯＩＮＮに対して入力ベクトルを与える。
Ｓ１０２：与えられた入力ベクトルに最も近いノード(以下、第１勝者ノードという。)、及び２番目に近いノード(以下、第２勝者ノードという。)を探索する。
Ｓ１０３：第１勝者ノード及び第２勝者ノードの類似度閾値に基づいて、入力ベクトルがこれら勝者ノードの少なくともいずれか一方と同一のクラスタに属すか否かを判定する。ここで、ノードの類似度閾値はボロノイ領域の考えに基づいて算出する。学習過程において、ノードの位置は入力ベクトルの分布を近似するため次第に変化し、それに伴いボロノイ領域も変化する。即ち、類似度閾値もノードの位置変化に応じて適応的に変化してゆく。
Ｓ１０４：Ｓ１０３における判定の結果、入力ベクトルが勝者ノードと異なるクラスタに属す場合は、入力ベクトルと同じ位置にノードを挿入し、Ｓ１０１へと進み次の入力ベクトルを処理する。尚、このときの挿入をクラス間挿入と呼ぶ。
【００３８】
Ｓ１０５：一方、入力ベクトルが勝者ノードと同一のクラスタに属す場合は、第１勝者ノード及び第２勝者ノード間に辺を生成し、ノード間を辺によって直接的に接続する。
Ｓ１０６：第１勝者ノード及び第１勝者ノードと辺によって直接的に接続しているノードの重みベクトルをそれぞれ更新する。
Ｓ１０７：Ｓ１０５において生成された辺は年齢を有しており、予め設定された閾値を超えた年齢を持つ辺を削除する。入力ベクトルを逐次的に与えてゆくオンライン学習においては、ノードの位置が常に徐々に変化してゆくため、初期の学習で構成した隣接関係が以後の学習によって成立しない可能性がある。このため、一定期間を経ても更新されないような辺について、辺の年齢が高くなるように構成することにより、学習に不要な辺を削除することができる。
【００３９】
Ｓ１０８：入力ベクトルの入力総数が、予め設定されたλの倍数であるか否かを判定する。判定の結果、入力ベクトルの入力総数がλの倍数でない場合には、Ｓ１０１へと戻り次の入力ベクトルを処理する。一方、入力ベクトルの総数がλの倍数となった場合には以下の処理を実行する。
【００４０】
Ｓ１０９：局所累積誤差が最大であるノードを探索し、そのノード付近に新たなノードを挿入する（このときの挿入をクラス内挿入と呼ぶ。）。そして、ノードの持つ平均誤差を示す誤差半径に基づいて、ノード挿入が成功であったか否かを判定する。ここで、ノード及び入力ベクトル間の距離差をノードの持つ誤差として、入力ベクトルの入力に応じてノードの誤差を累積することにより局所累積誤差を算出する。誤差半径はノードの持つ誤差及びノードが第１勝者となった回数に基づいて算出する。
【００４１】
Ｓ１１０：クラス内挿入によるノード挿入が成功であると判定した場合には、クラス内挿入により挿入されたノード及び局所累積誤差が最大のノードを辺によって直接的に接続する。一方、クラス内挿入によるノード挿入が失敗であると判定した場合には、クラス内挿入により挿入したノードを削除してＳ１１１へと進む。
Ｓ１１１：隣接ノード数及びノードが第１勝者となった回数に基づいて、ノイズノードを削除する。
ここで、隣接ノードとは、ノードと辺によって直接的に接続されるノードを示し、隣接ノードの個数が１以下であるノードを削除対象とする。また、第１勝者となった回数の累積回数を予め設定されたパラメタｃを使用して算出される閾値と比較し、第１勝者累積回数が閾値を下回るノードを削除対象とする。
【００４２】
Ｓ１１２：入力ベクトルの入力総数が予め設定されたＬＴの倍数であるか否かを判定する。判定の結果、入力ベクトルの入力総数がＬＴの倍数でない場合には、Ｓ１０１へと戻り次の入力ベクトルを処理する。一方、入力ベクトルの総数がＬＴの倍数となった場合には、以下の処理を実行する。
Ｓ１１３：１層目の学習を終了するか否かを判定する。判定の結果、２層目の学習へと進む場合には、Ｓ１０１へと進み１層目の学習結果であるノードを２層目への入力ベクトルとして入力する。ただし、追加学習を行う場合は、２層目に残っている以前の学習結果を消去した上で２層目の学習を開始する。
２層目への入力回数が予め設定された回数ＬＴの倍数となり、２層目の学習を終了する場合には、ノードを異なるクラスに分類し、クラス数及び各クラスの代表的なプロトタイプベクトルを出力し停止する。ここで、プロトタイプベクトルはノードの重みベクトルに相当する。
【００４３】
ここで、ＳＯＩＮＮの機能を検証するために人工データセットを用いて行った実験を示す。
図３は、ＳＯＩＮＮへと入力する２次元の人工データを示す画像である。図３に示した入力データセットは、２つのガウス分布、２つの同心円、及びサイン曲線の合計５つの信号発生源（クラス）からなる。また、実環境を想定して、５つの信号発生源から発生する信号に対して、１０％の一様ノイズを加えた。ＳＯＩＮＮに対して、図３に示した人工データセットをオンラインで追加的に入力し、教師無しのクラス分類を行わせた。
【００４４】
図４は、図３に示した２次元の人工データをＳＯＩＮＮへと追加的に入力した場合における出力結果を示す画像である。図４に示すように、ＳＯＩＮＮは、入力データに含まれるノイズを削除することが可能であると共に、入力データのクラス数及びそのトポロジ（位相構造）を正しく抽出することができる。
【００４５】
このように、ＳＯＩＮＮは、ノード数を自律的に管理することにより非定常的な入力を学習することができ、分布に複雑な形状を持つクラスに対しても適切なクラス数及び位相構造を抽出できるなど多くの利点を持つ。ＳＯＩＮＮの応用例として、例えばパターン認識においては、ひらがな文字のクラスを学習させた後に、カタカナ文字のクラスなどを追加的に学習させることができる。また、自己増殖型ニューラルネットワークとしてＳＯＩＮＮを使用することにより、ノードを自動的に増加させることができるため、入力ベクトル空間からランダムに入力ベクトルが与えられる定常的な環境に限られず、例えば一定期間毎に入力ベクトルの属するクラスが切替えられて、切替後のクラスからランダムに入力ベクトルが与えられる非定常的な環境にも対応することができる。
【００４６】
次いで、本実施の形態１に係るＳＯＩＮＮ１２について説明する。
ＳＯＩＮＮ１２は、クラス間ノード挿入部１２１と、辺削除部１２２と、ノード削除部１２３と、重みベクトル更新部１２４とを備える。
クラス間ノード挿入部１２１は、類似度閾値算出部、類似度閾値判定部、及びノード挿入部を備える。クラス間ノード挿入部１２１は、入力される入力ベクトルに最も近い重みベクトルを持つノードを第１勝者ノードとし、２番目に近い重みベクトルを持つノードを第２勝者ノードとし、第１勝者ノード及び第２勝者ノードの間に辺を接続したとき、以下に述べるようにしてノードを挿入する。
【００４７】
まず、類似度閾値算出部は、注目するノードについて、注目するノードと辺によって直接的に接続されるノードが存在する場合には、直接的に接続されるノードのうち注目するノードからの距離が最大であるノード間の距離を類似度閾値とし、注目するノードと辺によって直接的に接続されるノードが存在しない場合には、注目するノードからの距離が最小であるノード間の距離を類似度閾値として算出する。
【００４８】
次いで、類似度閾値判定部は、入力ベクトルと第１勝者ノード間の距離が第１勝者ノードの類似度閾値より大きいか否か、及び、入力ベクトルと第２勝者ノード間の距離が第２勝者ノードの類似度閾値より大きいか否かを判定する。
次いで、ノード挿入部は、類似度閾値判定結果に基づいて、入力ベクトルをノードとして入力ベクトルと同じ位置に挿入する。
【００４９】
このようにして、入力ベクトルに応じて変化する類似度閾値によれば、挿入されるノードの個数を自律的に管理することができるため、ノードの数を事前に決定することなく、逐次的に入力される新たな連想対を既存の知識を壊すことなく追加学習することができる。
【００５０】
重みベクトル更新部１２４は、入力ベクトルに最も近いノードに対応する重みベクトル、及びそのノードと辺によって直接的に接続されるノードに対応する重みベクトルをそれぞれ入力ベクトルに更に近づけるように更新する。
辺削除部１２２は、辺に対応付けられる辺の年齢に基づいて、辺を削除する。ノード削除部１２３は、注目するノードについて、注目するノードに直接的に接続される辺の本数に基づいて、注目するノードを削除する。これにより、誤って生成された辺を適切に削除することができる。辺が存在しないノードは、そのノードの持つ結合重みベクトルに近い入力の頻度が極めて低いことを示しており、ノードの保持している情報は学習すべきデータと無関係なノイズであるものとみなすことができるためである。
【００５１】
図５は、ＳＯＩＮＮ１２による学習処理を説明するためのフローチャートである。以下、図５を用いてＳＯＩＮＮ１２の処理を説明する。
Ｓ２０１：ＳＯＩＮＮ１２は、２つの入力ベクトルを取得し、ノード集合Ａをそれらに対応する２つのノードのみを含む集合として初期化し、その結果を一時記憶部に格納する。また、辺集合Ｃ⊂Ａ×Ａを空集合として初期化し、その結果を一時記憶部に格納する。
【００５２】
Ｓ２０２：ＳＯＩＮＮ１２は、新しい入力ベクトルξを入力し、その結果を一時記憶部に格納する。
Ｓ２０３：ＳＯＩＮＮ１２は、一時記憶部に格納された入力ベクトル及びノードについて、入力ベクトルξに最も近い重みベクトルを持つ第１勝者ノードａ1及び２番目に近い重みベクトルを持つ第２勝者ノードａ2を探索し、その結果を一時記憶部に格納する。
Ｓ２０４：クラス間ノード挿入部１２１は、一時記憶部に格納された入力ベクトル、ノード、ノードの類似度閾値について、入力ベクトルξと第１勝者ノードａ1間の距離が第１勝者ノードａ1の類似度閾値T1より大きいか否か、及び、入力ベクトルξと第２勝者ノードａ2間の距離が第２勝者ノードａ2の類似度閾値T2より大きいか否かを判定し、その結果を一時記憶部に格納する。ここで、一時記憶部に格納された第１勝者ノードａ1の類似度閾値T1及び第２勝者ノードａ2の類似度閾値T2は、ＳＯＩＮＮと同様にして算出され、その結果が一時記憶部に格納される。
【００５３】
Ｓ２０５：一時記憶部に格納されたＳ２０４における判定の結果、入力ベクトルξと第１勝者ノードａ1間の距離が第１勝者ノードａ1の類似度閾値T1より大きい、又は、入力ベクトルξと第２勝者ノードａ2間の距離が第２勝者ノードａ2の類似度閾値T2より大きい場合には、クラス間ノード挿入部１２１は、一時記憶部に格納された入力ベクトル及びノードについて、入力ベクトルξを新たなノードｉとして、入力ベクトルξと同じ位置に挿入し、その結果を一時記憶部に格納する。
Ｓ２０６：一方、一時記憶部に格納されたＳ２０４における判定の結果、入力ベクトルξと第１勝者ノードａ1間の距離が第１勝者ノードａ1の類似度閾値T1以下であり、かつ、入力ベクトルξと第２勝者ノードａ2間の距離が第２勝者ノードａ2の類似度閾値T2以下である場合には、ＳＯＩＮＮ１２は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を接続するか否かを判定し、その結果を一時記憶部に格納する。
【００５４】
Ｓ２０７：一時記憶部に格納されたＳ２０６における判定の結果、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を生成して接続する場合には、ＳＯＩＮＮ１２は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺を接続し、その結果を一時記憶部に格納する。そして、ＳＯＩＮＮ１２は、一時記憶部に格納された辺及び辺の年齢について、新しく生成された辺、及び、既にノード間に辺が生成されていた場合にはその辺について、辺の年齢を０に設定しその結果を一時記憶部に格納し、第１勝者ノードａ1と直接的に接続される辺の年齢をインクリメントし（１増やす）、その結果を一時記憶部に格納する。
一方、一時記憶部に格納されたＳ２０６における判定の結果、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を接続しない場合には、Ｓ２０８へと処理を進めるが、既にノード間に辺が生成されていた場合には、ＳＯＩＮＮ１２は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノードａ1及び第２勝者ノードａ2間の辺を削除し、その結果を一時記憶部に格納する。
次いで、ＳＯＩＮＮ１２は、一時記憶部に格納された第１勝者ノードａ1が第１勝者ノードとなった累積回数Ｍａ1をインクリメントし（１増やす）、その結果を一時記憶部に格納する。
【００５５】
Ｓ２０８：重みベクトル更新部１２４は、一時記憶部に格納されたノード及びノードの重みベクトルについて、第１勝者ノードａ1の重みベクトル及び第１勝者ノードａ1の隣接ノードの重みベクトルをそれぞれ入力ベクトルξに更に近づけるように更新し、その結果を一時記憶部に格納する。ここで、重みベクトルの更新量の算出には、一時記憶部に格納されるＭａ1をｔとして使用する。
Ｓ２０９：辺削除部１２２は、一時記憶部に格納された辺について、予め設定され一時記憶部に格納された閾値ａｇｅｔを超えた年齢を持つ辺を削除し、その結果を一時記憶部に格納する。尚、ａｇｅｔはノイズなどの影響により誤って生成される辺を削除するために使用する。ａｇｅｔに小さな値を設定することにより、辺が削除されやすくなりノイズによる影響を防ぐことができるものの、値を極端に小さくすると、頻繁に辺が削除されるようになり学習結果が不安定になる。一方、極端に大きな値をａｇｅｔに設定すると、ノイズの影響で生成された辺を適切に取り除くことができない。これらを考慮して、パラメタａｇｅｔは実験により予め算出し一時記憶部に格納される。
【００５６】
Ｓ２１０：ＳＯＩＮＮ１２は、一時記憶部に格納された与えられた入力ベクトルξの総数について、与えられた入力ベクトルξの総数が予め設定され一時記憶部に格納されたλの倍数であるか否かを判定し、その結果を一時記憶部に格納する。一時記憶部に格納された判定の結果、入力ベクトルの総数がλの倍数でない場合にはＳ２０２へと戻り、次の入力ベクトルξを処理する。一方、入力ベクトルξの総数がλの倍数となった場合には以下の処理を実行する。尚、λはノイズと見なされるノードを削除する周期である。λに小さな値を設定することにより、頻繁にノイズ処理を実施することができるものの、値を極端に小さくすると、実際にはノイズではないノードを誤って削除してしまう。一方、極端に大きな値をλに設定すると、ノイズの影響で生成されたノードを適切に取り除くことができない。これらを考慮して、パラメタλは実験により予め算出し一時記憶部に格納される。
Ｓ２１１：ノード削除部１２３は、一時記憶部に格納されたノードについて、ノイズノードと見なしたノードを削除し、その結果を一時記憶部に格納する。
【００５７】
Ｓ２１２：ＳＯＩＮＮ１２は、一時記憶部に格納された与えられた入力ベクトルξの総数について、与えられた入力ベクトルξの総数が予め設定されたＬＴの倍数であるか否かを判定し、その結果を一時記憶部に格納する。一時記憶部に格納された判定の結果、入力ベクトルの総数がＬＴの倍数でない場合にはＳ２０２へと戻り、次の入力パターンξを処理する。一方、入力ベクトルξの総数がＬＴの倍数となった場合には以下の処理を実行する。
Ｓ２１３：ＳＯＩＮＮ１２は、一時記憶部に格納されたノードをプロトタイプとして出力する。以上の処理を終了した後、ＳＯＩＮＮ１２による学習を停止する。
【００５８】
認識部２０は、各クラスの訓練パターンから構成されたテンプレートモデルと入力パターンをマッチングすることにより、入力パターンがどのクラスに属するかを認識する。クラスｃのテンプレートモデルＴＭｃと入力パターンＩＰとのＤＰマッチングには対称型漸化式を使用し、以下の漸化式を用いる。尚、尤度Ｃ（ｘｉ，Ｓｊ）はテンプレートモデルＴＭｃのｊ番目の状態Ｓｊに対する、入力パターンＩＰのｉ番目の要素ｘｉの尤度を示し、後述する尤度算出部２１により算出される。
【数５】
ここでは、上記数２と同様の対称型漸化式を用いた。これにより、実データの認識実験において、非対称型漸化式を用いた場合に比べて、認識精度を向上させることができる。
【００５９】
そして、認識部２０は、尤度Ｃ（ｘｉ，Ｓｊ）の和が最大になるようにＤＰマッチングを行う。即ち、上記数２においては、累積距離ｇ（ｉ，ｊ）を最小化するためｍｉｎが用いられたが、上記数５においては、Ｑ（ｉ，ｊ）を最大化するためｍａｘが用いられる。
ＤＰマッチングの結果、テンプレートモデルＴＭｃと入力パターンＩＰの累積一致度Ｅ（ＩＰ，ＴＭｃ）を以下の式に基づいて算出する。尚、ＩＩＰは入力パターンＩＰの時系列長、ＪｃはＴＭｃの時系列長を示す。
【数６】
従って、認識部２０は、入力パターンを以下の式に基づいて認識する。ここで以下の式は、入力パターンＩＰと累積一致度Ｅ（ＩＰ，ＴＭｃ）が最も大きなテンプレートモデルのクラス番号を出力する関数であり、この場合に、入力パターンＩＰの帰属クラスはｃ＊であるものと認識する。
【数７】
【００６０】
尤度算出部２１は、大域的尤度算出部２１１及び局所的尤度算出部２１２を有し、ノードに基づいて、テンプレートモデルにおける状態の出力分布を算出する。以下詳細に説明する。
尤度算出部２１は、ＳＯＩＮＮ１２に配置されたノード、及び辺によって接続されたノードからなるクラスタとに基づいて、尤度Ｃ（ｘｉ，Ｓｊ）を算出する。具体的には、以下の式に基づいて、大域的尤度ｌｏｇ（Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ））及び局所的尤度Ｐｃｌａｓｓ（ｘｉ｜Ｕｊｋ）を用いて、尤度Ｃ（ｘｉ，Ｓｊ）を算出する。図６は、ＳＯＩＮＮ１２によってクラスタリングされ、ＳＯＩＮＮ１２に存在する複数の内部クラス（ここでは、Ｃｌａｓｓ１乃至３）を示す図である。ＳＯＩＮＮ１２によって生成された１つのクラスタを内部クラスと定義する。内部クラスはノードの参照ベクトル（プロトタイプベクトル群）により表現される。
【数８】
ここで、ｗｋを以下の式に基づいて算出する。尚、Ｎａｌｌは状態ＳｊのＳＯＩＮＮ１２内に存在する全ノードの総数を示し、Ｋは状態ＳｊのＳＯＩＮＮ１２内の内部クラス数を示す。
【数９】
【００６１】
これにより、入力パターンの特徴量を大域的尤度及び局所域的尤度を用いて反映させることにより、各状態の出力分布が単一の多次元正規分布では近似できない場合であっても、テンプレートモデルにおける各状態の出力分布をより詳細に近似することができるため、時系列データをより精度良く認識することができる。また、入力パターンに応じて大域的尤度及び局所域的尤度を反映させることにより、各状態の出力分布に対してより柔軟に対応することができる。
【００６２】
大域的尤度算出部２１１は、ＳＯＩＮＮ１２に配置された全てのノードに基づいて大域的尤度を算出する。具体的には、大域的尤度の算出にはｊ番目の状態ＳｊのＳＯＩＮＮ１２内に存在する全ノードを用いる。大域的尤度は、状態のＳＯＩＮＮ１２内に存在する全ノードを多次元正規分布の確率密度関数で近似し、この密度関数からの生起確率Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ）によって算出する。生起確率Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ）を以下の式に基づいて算出する。ここで、μｉは状態ＳｊのＳＯＩＮＮ１２内に存在する全ノードの平均ベクトル、Σｊは共分散行列である。これらの２つのパラメタは最尤推定により算出する。生起確率Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ）の対数尤度ｌｏｇ（Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ））を、大域的尤度として定義する。
【数１０】
【００６３】
局所的尤度算出部２１２は、ＳＯＩＮＮ１２に存在する複数のクラスタについて、そのクラスタに属するノードに基づいて局所的尤度を算出する。局所的尤度は、ＳＯＩＮＮ１２によってクラスタリングされた、複数の内部クラスの情報を用いて算出する。例えば図６に示した各内部クラス（Ｃｌａｓｓ１乃至３）を、多変量正規分布に基づく核関数で近似する。ここで核関数を用いた理由は、各内部クラスが保有するノード数は少数の場合（最低で二個）が多く、このような少数データから多次元正規分布を推定することが困難なためである。ＳＯＩＮＮ１２におけるｋ番目の内部クラスをＵｊｋと定義し、Ｕｊｋから推定される局所的尤度Ｐｃｌａｓｓ（ｘｉ｜Ｕｊｋ）を以下の式に基づいて算出する。
【数１１】
ここで、ｘｊｋはＳＯＩＮＮ１２内の内部クラスＵｊｋに存在する全ノードの平均ベクトル、ｈｊｋは核関数の領域の大きさを示すパラメタであり、以下の式に基づいて算出する。尚、ａｔは内部クラスＵｊｋのノードｔの位置ベクトルを示し、Ｎｊｋは内部クラスＵｊｋに含まれるノードの総数を示す。
【数１２】
【００６４】
以上のようなパターン認識装置１は、専用コンピュータ、パーソナルコンピュータ（ＰＣ）などのコンピュータにより実現可能である。但し、コンピュータは、物理的に単一である必要はなく、分散処理を実行する場合には、複数であってもよい。
【００６５】
図７は、本実施の形態１に係るパターン認識装置１を実現するためのシステム構成の一例を示す図である。図７に示すように、コンピュータ４０は、ＣＰＵ４１（Central Processing Unit）、ＲＯＭ４２（Read Only Memory）及びＲＡＭ４３（Random Access Memory）を有し、これらがバス４４を介して相互に接続されている。尚、コンピュータを動作させるためのＯＳソフトなどは、説明を省略するが、このパターン認識装置１を構築するコンピュータも当然備えているものとする。
【００６６】
バス４４には又、入出力インターフェイス４５も接続されている。入出力インターフェイス４５には、例えば、キーボード、マウス、センサなどよりなる入力部４６、ＣＲＴ、ＬＣＤなどよりなるディスプレイ、並びにヘッドフォンやスピーカなどよりなる出力部４７、ハードディスクなどより構成される記憶部４８、モデム、ターミナルアダプタなどより構成される通信部４９などが接続されている。
【００６７】
ＣＰＵ４１は、ＲＯＭ４２に記憶されている各種プログラム、又は記憶部４８からＲＡＭ４３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば点プレーモデル生成処理や認識処理を実行する。ＲＡＭ４３には又、ＣＰＵ４１が各種の処理を実行する上において必要なデータなども適宜記憶される。通信部４９は、例えば図示しないインターネットを介しての通信処理を行ったり、ＣＰＵ４１から提供されたデータを送信したり、通信相手から受信したデータをＣＰＵ４１、ＲＡＭ４３、記憶部４８に出力したりする。記憶部４８はＣＰＵ４１との間でやり取りし、情報の保存・消去を行う。通信部４９は又、他の装置との間で、アナログ信号又はディジタル信号の通信処理を行う。入出力インターフェイス４５は又、必要に応じてドライブ５０が接続され、例えば、磁気ディスク５０１、光ディスク５０２、フレキシブルディスク５０３、又は半導体メモリ５０４などが適宜装着され、それらから読み出されたコンピュータプログラムが必要に応じて記憶部４８にインストールされる。
【００６８】
続いて、本実施の形態１に係るテンプレートモデル生成処理及び認識処理について説明する。図８は、パターン認識装置１によるテンプレートモデル生成処理の概要を示すフローチャートである。以下、図８を参照しながらパターン認識装置１によるテンプレートモデル生成処理について説明する。テンプレートモデル生成部１０は、クラスＣに属するテンプレートモデルを以下のようにして生成する。ここで、テンプレートモデル生成部１０は、クラスごとにテンプレートモデルを生成する。
【００６９】
Ｓ３０１：訓練用パターンＤＢ３１より、Ｎ個の訓練パターンが与えられ、標準パターン選択部１１は、訓練パターン群から１つの標準パターンを選択する。より具体的には、クラスＣに含まれるある訓練パターンＰｍと、クラスＣに含まれるＰｍを除いた他の訓練パターンとの間でＤＰマッチングを行う。この処理を、クラスＣ内の訓練パターンの全組合せ（総当り）によって行う。ＤＰマッチングの結果より得られるパターン間同士の累積距離の和を算出し、累積距離の和が最小となるパターンを標準パターンとして選択する。即ち、以下の式に基づいて標準パターンを選択する。ここで、ａｒｇは、各訓練パターン間の累積距離の和が最小となる訓練パターンの番号ｍ＊を出力する。
【数１３】
このようにして、クラスＣのｍ＊番目の訓練パターンを、テンプレートモデルの中心となる標準パターンＰ＊として選択する。尚、Ｐ＊のフレーム数Ｔ＊を、テンプレートモデルの時系列長とする。
【００７０】
Ｓ３０２：ＤＰマッチングにおいて対応付けられた訓練パターンのフレームデータを、テンプレートモデルにおける状態としてのＳＯＩＮＮ１２へと入力する。より具体的には、ＳＯＩＮＮ１２への入力は、ＤＰマッチングによる結果を用いて実現することができる。即ち、標準パターンＰ＊と、その他Ｎ−１個の訓練パターンとの間でＤＰマッチングを行った結果、その他の全訓練パターンの時系列長は標準パターンＰ＊の時系列長に正規化される。また、標準パターンＰ＊の各要素と、その他Ｎ−１個の訓練パターンの各要素との対応付けが得られる。このようなＤＰマッチングの結果に基づいて、以下に説明するようにして、対応関係にある要素（ベクトル）群を各ＳＯＩＮＮ１２空間（各状態）に入力する。
【００７１】
まず、標準パターンＰ＊の第ｊ番目の要素をｐ＊ｊ、訓練パターンＰｎ（ｎ∈Ｃ）の第ｉ番目（ｉフレーム目）の要素をｐｎｉとし、このｐ＊ｊとｐｎｉとの最適な対応付けｗｎを以下のように定義する。
【数１４】
上記数１４に従って、訓練パターンのｉ番目の要素をｊ番目の状態（ＳＯＩＮＮ１２空間）に分配する。このような分配操作を、標準パターンと、その他Ｎ−１個の訓練パターンとの間で行った後、Ｎ−１個の最適経路ｗｎを（ｎ＝１，・・・，Ｎ−１）を得ることができる。このＮ−１個の最適経路に従って、各状態に対して訓練パターンの各要素を分配する。
【００７２】
ここで、本実施の形態１では、ある時間の範囲（状態間）に分配された要素集合群を、１つのＳＯＩＮＮ１２へと入力する。具体的には、ｊ番目の状態に分配された要素集合群をＺ＊ｊとして以下の式に示すように定義し、ＺｊからＺｊ＋Ｌ−１までの要素集合を、ｊ番目の状態（ＳＯＩＮＮ１２）に入力する。
【数１５】
尚、Ｌはパラメタであり、このパラメタをＳｅｇｍｅｎｔ数として定義する。パラメタの設定方法については後述する。ここで、テンプレートモデルの状態数はＳｅｇｍｅｎｔ数Ｌ及び標準パターンの時系列長Ｔ＊を用いて、Ｔ＊−Ｌ−１として決定することができる。これにより、事前にテンプレートモデルにおける状態数を決定せずに、標準パターンのフレーム数に応じてテンプレートモデルにおける状態数を決定することができる。
【００７３】
図９は、訓練パターンをＳＯＩＮＮ１２へと入力するようすを示す図である。図９において、Ｃｒｉｔｅｒｉｏｎ Ｄａｔａは標準パターンを示し、Ｄａｔａ１乃至３は訓練パターンを示す。Ｄａｔａ及びＣｒｉｔｅｒｉｏｎ Ｄａｔａの各ブロックは、各時刻（フレーム）の要素ベクトルを示す。各ブロックにおいて同色の部分は、ＤＰマッチング後の最適経路における対応箇所を示している。例えば、Ｃｒｉｔｅｒｉｏｎ Ｄａｔａの１フレーム目の要素に対応した要素は、Ｄａｔａ１の１及び２番目の要素、Ｄａｔａ２の１番目の要素、及びＤａｔａ３の１番目の要素であり、これらの要素集合がＺ１となる。実線は対応する要素集合Ｚ１を結ぶ線である。破線はＺ２の要素集合、Ｚ３の要素集合をそれぞれ示す。Ｚ１からＺＬまでの要素集合群Ｚ＊１が、クラスＣのテンプレートモデルにおける状態１（ＳＯＩＮＮ１２）に対して入力される。
【００７４】
Ｓ３０３：ＳＯＩＮＮ１２は、フレームデータに基づいて学習を行う。各状態ｊにおいて、フレームデータとしての要素集合群Ｚ＊ｊをＳＯＩＮＮ１２空間に入力する。ここでＳＯＩＮＮ１２がオンライン学習可能な手法であるため、要素集合群Ｚ＊ｊを入力する際、要素集合群Ｚ＊ｊの各要素を１つずつランダムに入力する。ランダムに入力されるベクトルがＳＯＩＮＮ１２空間に入力されると、ＳＯＩＮＮ１２空間ではノード及び辺の生成、削除が繰り返され、最終的に複数の代表的ノード集合（クラスタ）が形成される。ＳＯＩＮＮ１２による学習結果が、テンプレートモデル学習結果ＤＢ３２に格納される。上述したように、尤度算出部２１は、このようにして形成された複数の代表的ノード集合から、状態の出力分布を推定する。
【００７５】
次に、認識処理について説明する。図１０は、パターン認識装置１による認識処理の概要を示すフローチャートである。以下、図１０を参照しながらパターン認識装置１による認識処理について説明する。
【００７６】
Ｓ４０１：時系列パターンであるテストパターンＸが入力される。
Ｓ４０２：認識部２０は、テンプレートモデル学習結果ＤＢ３２に格納されたＳＯＩＮＮ１２の学習結果より尤度Ｃ（ｘｉ，Ｓｊ）を算出して、各クラスのテンプレートモデルとテストパターンＸとをＤＰマッチングする。
Ｓ４０３：尤度Ｑ（ｉ，ｊ）が最大となったテンプレートモデルの帰属クラスを出力する。これにより、例えば、クラス３のテンプレートモデルに対する尤度が最大となった場合には、テストパターンＸはクラス３であるものと認識する。
【００７７】
続いて、本発明の実施の形態１に係るパターン認識装置１による効果について説明する。尚、以下においては、パターン認識装置１をモデル化した手法をＳＯＩＮＮ−ＤＰ法と呼ぶ。
ＳＯＩＮＮ−ＤＰ法の有効性を確認するため、実データを用いて検証実験を行った。実験においては、時系列データの汎用的学習機能を評価するため、音素データ及び動画像より得られる動作データの２種類のデータセットを使用した。また、従来手法であるＨＭＭ及びストキャスティックＤＰ法との比較実験を行った。以下、各手法による検証実験及び結果について説明する前に、まず従来手法であるＨＭＭ及びストキャスティックＤＰ法について簡単に説明し、次にＳＯＩＮＮ−ＤＰ法に関するパラメタ設定について説明する。
【００７８】
まず、従来手法であるＨｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ（ＨＭＭ）について簡単に説明する。ＨＭＭは、不確定な時系列のデータをモデル化するための有効な統計的手法であり、出力シンボルによって一意に状態遷移先が決定しないという意味において、非決定性確率有限オートマトンとして定義される。ここで、ＨＭＭのパラメタには、状態遷移確率、シンボル出力確率、及び初期状態確率の３つのパラメタがある。
ＨＭＭは、シンボル出力確率の算出方法によって、離散型ＨＭＭ及び連続分布型ＨＭＭに分類される。音声認識・動作認識においては連続分布型ＨＭＭが一般的に使用されるため、本実施の形態１においては、連続分布型ＨＭＭを比較手法として採用する。
また、ＨＭＭは、トポロジ（状態の接続関係）によって、あるひとつの状態から全ての状態に遷移可能な全遷移型（Ｅｒｇｏｄｉｃ）モデルや、状態遷移が一定方向に進むｌｅｆｔ ｔｏ ｒｉｇｈｔモデルなどに分類される。音声認識や動作認識の分野においては、ｌｅｆｔ ｔｏ ｒｉｇｈｔモデルが一般的に用いられるため、本実施の形態１においては、ｌｅｆｔ ｔｏ ｒｉｇｈｔモデルを比較手法として採用する。
ＨＭＭのパラメタ推定方法には、一般的に使用されるＢａｕｍ Ｗｅｌｃｈアルゴリズムを用いた。また、Ｂａｕｍ Ｗｅｌｃｈアルゴリズムによるパラメタ推定精度を向上させるため、パラメタの初期値設定についてＳｅｇｍｅｎｔａｌ ｋｍｅａｎｓ法を使用する。
【００７９】
次に、従来手法であるストキャスティックＤＰ法について簡単に説明する。
ストキャスティックＤＰ法において用いられる漸化式を次式に示す。漸化式は上記数４に示した非対称型の漸化式を基盤として構成されている。
【数１６】
【００８０】
上記数１６に示した漸化式における条件確率Ｐ（ａｉ｜ｊ）及び状態遷移確率ＰＤＰ１，２，３（ｊ）は非特許文献４に記載された手法により算出した。ここで、条件付確率Ｐ（ａｉ｜ｊ）は多次元正規分布である。Ｐ（ａｉ｜ｊ）の共分散行列に関しては、ある範囲において同一のものを使用した。例えば、１０個の状態により同じ共分散行列を使用する場合に、状態１から１０に対して分配された全てのデータから、最尤推定により１つの共分散行列を算出し、状態１から１０の各状態において同一のσを用いる。状態１１から２０、状態２１から３０においても同様の操作により算出し、それらの状態に対して同一のσを用いる。
【００８１】
続いて、ＳＯＩＮＮ−ＤＰ法に関するパラメタ設定について説明する。孤立単語を用いて予備実験を行い、ＳＯＩＮＮ−ＤＰ法のパラメタを設定した。実験には、男性話者３人が５０回ずつ５単語を発話したデータ（１単語につき１５０個、計７５０個）を用いた。単語は「こんばんは」、「こんにちは」、「またあした」、「おはよう」、「さようなら」の５単語である。音声特徴量には、２０次元ＭＦＣＣ、フレーム長２５ｍｓ、フレーム周期５ｍｓを用いた。一クラスにつき、訓練データを５０、テストデータを１００として、訓練データ及びテストデータを交換しながら計２０回のクロスバリデーション実験を行った。２０回のクロスバリデーション実験より、各実験におけるテストデータに対する認識率を求め、その平均値を認識結果とした。テストデータに対して平均認識率が最大となるパラメタを、後述する音素認識実験及び動作認識実験に用いた。
【００８２】
まず、ＳＯＩＮＮ−ＤＰ法におけるＳＯＩＮＮ１２のパラメタ設定について説明する。
ＳＯＩＮＮと同様にＳＯＩＮＮ１２においては、ノイズ除去を適切に行うため、λ及びａｇｅｄｅａｄという２つのパラメタを設定する必要がある。各クラスタはノードとノード間を接続する辺により表現され、このノード及び辺は、入力データに応じて生成・削除を繰り返す。このため、ノイズデータに対してノードを生成した場合には、分類結果が悪化するものの、パラメタλ及びａｇｅｄｅａｄを適切に設定することによってこれを回避することができる。
【００８３】
λは、ノイズとおぼしきノードを削除する周期を示す。λを小さな値に設定することにより、頻繁にノイズ処理を行うことができるものの、極端に小さくした場合には、実際にはノイズではないノードを誤って削除してしまう。一方、λを極端に大きくした場合には、ノイズの影響により生成されたノードを適切に取り除くことができない。そこで、パラメタ設定のための上記予備実験の結果から、ＳＯＩＮＮ１２への入力回数を３００００回に設定し、λ＝１００００と設定した。即ち、学習中に、ノイズとおぼしきノードの削除を３回行った。
【００８４】
ａｇｅｄｅａｄは、ノイズなどの影響により誤って生成された辺を削除するために用いる。ａｇｅｄｅａｄを小さな値に設定することにより、辺が削除されやすくなりノイズによる影響を低減させることができるものの、極端に小さくした場合には、頻繁に辺が削除され学習結果が不安定になる。一方、ａｇｅｄｅａｄを極端に大きくした場合には、ノイズの影響により生成された辺を適切に取り除くことができない。ＳＯＩＮＮ−ＤＰ法においては、１つの状態に分配される要素ベクトル数が少数であるため、ａｇｅｄｅａｄを小さくした場合には学習結果が不安定となった。従って、本実施の形態１においては、ａｇｅｄｅａｄを機能させないものとし、辺を削除しないものとした。即ち、ａｇｅｄｅａｄ＝３００００とし、学習中に辺の削除は行わないものとした。
【００８５】
以上より、上記予備実験の結果から、ＳＯＩＮＮ１２のパラメタ設定について、λ＝１００００、ａｇｅｄｅａｄ＝３００００と設定した。尚、ＳＯＩＮＮ１２には、パラメタλ及びａｇｅｄｅａｄ以外にも、パラメタｃ１、α１、α２、α３、β、γが存在するものの、これらのパラメタについてはＳＯＩＮＮと同じ値を使用した（ｃ１＝１、α１＝１／４、α２＝３／４、α３＝１／４、β＝２／３、γ＝３／４）。
【００８６】
次に、ＳＯＩＮＮ−ＤＰのパラメタ設定について説明する。
ここでは、上記数１５に示したセグメント数Ｌについて、その設定方法を説明する。セグメント数Ｌを大きくした場合には、各状態のＳＯＩＮＮ１２への入力データが多くなるため、ＳＯＩＮＮ１２の学習精度が向上するものと考えられる。しかし、セグメント数Ｌを極端に大きな値に設定した場合には、時系列的に離れたデータを１つの状態に入力することになり、時系列データを無視することになってしまう。このため、過度的な時系列データの特徴をモデル化することができず、テストデータに対する認識率の低下を招く。一方、セグメント数Ｌを極端に小さな値に設定した場合には、ＳＯＩＮＮ１２においてネットワーク（ノード及び辺の集合）が形成されない。ノード集合が生成されない場合、上記数１０に示した共分散行列Σを正確に算出することが困難となる。即ち、上記数１０に示した共分散行列Σを算出するため、十分な量のデータを１つの状態（ＳＯＩＮＮ１２）に対して入力する必要がある。尚、非特許文献４においては、特徴量の次元数ｐに対して、少なくともｐ×４〜５倍以上のデータ数が必要とされ、ｐ２個以上が好ましいものとされている。
【００８７】
ここで、訓練データＮ個をモデルの学習に用いた場合において、各状態に分配される要素ベクトル数が平均Ｎ個であるものと仮定する。かかる場合に、１つのＳＯＩＮＮ１２に対して入力されるデータ集合Ｚ＊ｉの要素数（データ数ＤＮ）を、以下の式によって定義する。
【数１７】
従って、上記数１７より、セグメント数Ｌは以下の式に示す範囲となる。
【数１８】
パラメタ設定のための上記予備実験を通して、上記数１８の範囲内における最適なセグメント数Ｌについて、Ｌ≧６ｐ／Ｎを満たす最小の値として決定した。
また、セグメント数ＬはストキャスティックＤＰ法における共分散行列を共有する範囲に対応するものと考えられるため、ストキャスティックＤＰ法を用いて同様の予備実験を行った。その結果、ストキャスティックＤＰ法において、共分散行列を共有する範囲について、最大の認識率を得ることができる範囲はセグメント数Ｌと等しいことを確認することができた。
従って、以下の本実験においては、ストキャスティックＤＰ法における共分散行列を共有する範囲はＬとした。尚、セグメント数ＬによるＳＯＩＮＮ−ＤＰ法における認識率への寄与については後述する。
【００８８】
続いて、ＳＯＩＮＮ−ＤＰ法の有効性を確認するため、音素データとして英語音素を対象に認識実験を行った。認識対象として、ｋｅｄ−ＴＩＭＩＴデータベース（University of Edinburgh, Center for Speech Technology Research, "CSTR US KED TIMIT"(2002), http://festvox.org/dbs/dbs_kdt.html.）中に含まれる英語文章から抽出した音素３９クラスを１００個ずつ、計３９００個を使用した。図１１は、認識対象実験における詳細を示す表である。尚、ＳＯＩＮＮ−ＤＰのパラメタについて、セグメント数Ｌは上記数１８より、訓練データが４０個の場合にはＬ＝６とし、訓練データが８０個の場合にはＬ＝３と決定した。
【００８９】
また、従来手法との比較においても、図１１に示したのと同じ条件において実験を行った。ＨＭＭの各状態の出力確率は、全共分散行列を持つ混合正規分布とした。ＨＭＭについては、最大の認識率を得ることができるパラメタ（状態数及び混合正規分布の混合数）について、それらのパラメタを変化させながら実験を行って最適なパラメタを探索した。そして、そのような最適なパラメタを用いた場合に認識率を算出して、ＨＭＭによる認識結果とした。
ストキャスティックＤＰ法については、上記数１６に示した非対称型漸化式を用いた場合に加えて、対称型漸化式を用いた場合の実験も行った。対称型漸化式を用いたＳＯＩＮＮ−ＤＰ法に対して、同様の対称型漸化式を用いたストキャスティックＤＰ法を比較するためのである。尚、対称型漸化式には上記数５に示したＣ（）を条件付確率Ｐ（ａｉ｜ｊ）に交換した式を用いた。また、共分散行列を共有する範囲は、ＳＯＩＮＮ−ＤＰにおけるセグメント数Ｌと同様に、訓練データが４０個の場合には６状態の間とし、訓練データが８０個の場合には３状態の間とした。
【００９０】
図１２は、１０回のクロスバリデーション実験の結果から得られた、テストデータに対する平均認識結果を示す表である。図１２において、１段目は訓練データが４０個の場合（ＴＤ４０）における平均認識率、２段目は訓練データ数が８０個（ＴＤ８０）の場合の平均認識率をそれぞれ示している。「ＳＯ−ＤＰ」はＳＯＩＮＮ−ＤＰ法、「ＳＴ−ＤＰ（１）」は非対称型漸化式を用いたストキャスティックＤＰ法、「ＳＴ−ＤＰ（２）」は対称型漸化式を用いたストキャスティックＤＰ法をそれぞれ示している。また、ＨＭＭの認識率の右側括弧内は、最大の認識率を得た時のパラメタ（Ｓ：状態数、Ｍ：混合数）を示している。図１２に示すように、ＳＯＩＮＮ−ＤＰ法の平均認識率は、ストキャスティックＤＰ法及びＨＭＭによる平均認識率よりも高く、良好であった。
【００９１】
また、ＨＭＭを用いた実験において、比較のため状態数を１から１３個まで変動させて実験を行った結果、状態数が３〜７の付近において認識率が最大であったため、実験に使用した音素データに対して最適な状態数は３〜７であるものと推定した。このため、状態数が３〜７において、各状態に割り当てられている出力確率を混合連続確率分布に変更し、混合数を変化させ図１１に示した条件において実験を行った。その結果、訓練データが４０個の場合には５状態２混合、訓練データが８０個の場合には５状態４混合において認識率が最大となった。
さらにまた、ストキャスティックＤＰ法について、非特許文献４に開示された非対称型漸化式を用いた場合よりも、対称型漸化式を用いた場合のほうが高い認識結果となった。これは、対称型漸化式を用いることにより、時系列の伸縮を吸収しやすくなるためだと考えられる。
以上より、音声認識実験の結果、ＳＯＩＮＮ−ＤＰ法では、ストキャスティックＤＰ法及びＨＭＭより得られる最大の認識率に比べて、より良好な認識率を得ることができた。即ち、ＳＯＩＮＮ−ＤＰ法は従来手法と比較して高い認識精度を有するものである。
【００９２】
続いて、ＳＯＩＮＮ−ＤＰ法の有効性を確認するため、動画像より得られる動作データを対象に認識実験を行った。動作データとして、単眼カメラより直接撮像した、人間による７種類の全身運動（動作）を用いた。図１３は、実験に用いた７種類の動作内容（動作Ｍ１乃至７）を示す画像である。動画のフレーム率は２９フレーム毎秒とし、各動作の時間長は最小で１１０フレーム、最大で４４０フレームである。入力パターンには個人差を含み、動作の各部分において伸縮性も含まれている。
【００９３】
また、実験においては、モーションキャプチャなどの器具を使用せずに、動画像より動作の特徴を直接取得した。ここで、本実施の形態１においては、位置不変特徴である局所自己相関特徴（大津展之，"パターン認識における特徴抽出に関する数理的研究"，ｖｏｌ．８１８，（１９８１））を学習に用いることにより、動的特徴を抽出した。実験に用いた動画像の処理手順を以下に示す。
Ｓ５０１：入力動画像を平滑化し、フレーム間における差分を取得する。
Ｓ５０２：差分画像のＲＧＢ値を輝度値に変換し、輝度値に対する閾値より、２値化する。
Ｓ５０３：差分画像間において、時間方向の自己相関特徴を抽出する。非特許文献（T. Kobayashi and N. Otsu, "Action and simultaneous multiple persons identification using cubic higher-order local auto-correlation", Proc. International Conference on Pattern Recognition, Vol. 19, pp. 741-744 (2004).）に開示される自己相関特徴について、ここでは、３×３サイズのマスクを用いて自己相関特徴を抽出し、各フレーム間の時系列方向のみ抽出した。尚、中央位置のマスク値には、「動き」の方向性特徴が現れないため、このマスク値については除外した。結果的に、各フレームにおいて計８次元の入力ベクトル（要素ベクトル）を得た。
【００９４】
図１４は、認識対象実験における詳細を示す表である。ＳＯＩＮＮ−ＤＰにおけるパラメタは、音素認識実験における場合と同様のパラメタを用いた。ただし、セグメント数Ｌについては、上記数１８より訓練データが１０個の場合に、入力次元が８であるためＬ＝５と算出した。
ＨＭＭの各状態の出力確率は、全共分散行列を持つ正規分布とした。尚、音素認識実験と同様に、状態数を変化させながら実験を行って最適なパラメタを探索し、そのパラメタを用いた上での認識率を認識結果とした。
また、ストキャスティックＤＰ法については、上記数１６に示した非対称型漸化式を用いた場合に加えて、対称型漸化式を用いた場合における実験も行った。尚、ストキャスティックＤＰ法について、共分散行列を共有する範囲は５状態の間とした。
【００９５】
図１５は、動作データに対する認識結果を示す表である。図１５において、「ＳＯ−ＤＰ」はＳＯＩＮＮ−ＤＰ法、「ＳＴ−ＤＰ（１）」は非対称型漸化式を用いたストキャスティックＤＰ法、「ＳＴ−ＤＰ（２）」は対称型漸化式を用いたストキャスティックＤＰ法をそれぞれ示している。また、ＨＭＭの認識率の右側括弧内は、最大の認識率を得た時のパラメタ（Ｓ：状態数）を示している。図１５に示すように、音素認識実験の場合と同様に、ＳＯＩＮＮ−ＤＰ法の識別率は、ストキャスティックＤＰ法及びＨＭＭによる認識率よりも高く、良好であった。
また、ＨＭＭを用いた実験において、比較のため状態数を１から１５個まで変動させて実験を行った結果、状態数が１１おいて認識率が最大であった。
さらにまた、ストキャスティックＤＰ法について、音素認識実験の場合と同様に、非特許文献４に開示された非対称型漸化式を用いた場合よりも、対称型漸化式を用いた場合のほうが高い認識結果となった。
このように、音素データに比較して状態数及びその出力分布を決定することが困難である動作データに対しても、ＳＯＩＮＮ−ＤＰ法は高い認識精度を有するものである。
【００９６】
以上より、音素認識実験の場合と同様に、動作認識実験についても、ＳＯＩＮＮ−ＤＰ法では、ストキャスティックＤＰ法及びＨＭＭより得られる最大の認識率に比べて、より良好な認識率を得ることができた。即ち、ＳＯＩＮＮ−ＤＰ法は時系列パターン全体の認識に使用することができ、従来手法と比較して高い認識精度を有するものである。
【００９７】
ここで、音素認識実験及び動作認識実験結果から、ＳＯＩＮＮ−ＤＰ法が、従来手法であるストキャスティックＤＰ法及びＨＭＭより優れている点についてさらに説明する。
まず、ＳＯＩＮＮ−ＤＰ法は、ＳＯＩＮＮ１２を用いて１つの状態を詳細に近似することによって頑健なテンプレートモデルを構築する。これにより、ＳＯＩＮＮ−ＤＰ法は、ストキャスティックＤＰ法と比較して優れた認識率を有しており、時系列データの頑健なモデル化を行うことができる。
そして、ＳＯＩＮＮ−ＤＰ法は、各状態の出力分布をＳＯＩＮＮ１２によって自動的に決定することができる。また、状態数を標準パターンの時系列数として決定することができるため、状態数を予め決定する必要がない。これにより、時系列データを学習する際に、ＨＭＭでは事前に状態数及び状態の出力分布（連続分布の場合には混合数）を決定する必要があるが、ＳＯＩＮＮ−ＤＰ法では不要である。即ち、実験においては、ＨＭＭの状態数及び混合数について、認識率が最も高くなる場合の値を採用し、これらの値に基づいて認識結果を得た。ＳＯＩＮＮ−ＤＰ法は、このようなＨＭＭによる認識結果よりも良好であった。従って、ＳＯＩＮＮ−ＤＰ法は、事前に状態数及び出力分布のパラメタを設定せずに、高い認識率を得ることができる。
【００９８】
ここで、セグメント数ＬによるＳＯＩＮＮ−ＤＰ法の認識率への寄与について説明する。ＳＯＩＮＮ−ＤＰ法のパラメタであるセグメント数Ｌは、ＳＯＩＮＮ−ＤＰ法の認識性能に影響を与える。このため、セグメント数の変化による認識精度への影響について検証する。
本実施の形態１においては、上記数１８に基づいてセグメント数Ｌを算出する。検証は、図１１に示した表と同様の条件下において音素認識実験を行った。１回の実験に用いる１クラスあたりの訓練データは４０個とした。また、セグメント数を１〜１０まで変化させ、それぞれのセグメント数を用いた場合において、計１０回のクロスバリデーション実験を行った。
図１６は、検証結果を示す図である。図１６に示すように、セグメント数をＬ＝１から増加させるにつれて徐々に認識率が上昇し、Ｌ＝５において最大認識率（５７．０４％）を得た。さらにセグメント数を増加させた場合には、認識率は下降した。
一方、予備実験の結果から算出したセグメント数は、訓練パターンが４０個の場合に、Ｌ＝６であり、図１６においては、Ｌ＝６の場合は、全体で３番目に認識率が高いものであった。従って、本実施の形態１において用いたセグメント数の推定方法は妥当なものであり、この推定方法によって適切なセグメント数を決定することができる。
【００９９】
ここで、ＳＯＩＮＮ−ＤＰ法の認識性能に対して、ＳＯＩＮＮ１２による寄与について説明する。
ＳＯＩＮＮ−ＤＰ法では、ＤＰマッチングによって各状態ｊに対して要素ベクトル群Ｚ＊ｊを分配する。分配されたＺ＊ｊはＳＯＩＮＮ１２によって分類され、その分類結果より大域的尤度Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ）及び局所的尤度Ｐｃｌａｓｓ（ｘｉ｜Ｕｊｋ）を算出し、これらの確率値に基づいて尤度Ｃ（ｘｉ，Ｓｊ）を算出する。そこで、ＳＯＩＮＮ−ＤＰ法に加えて、ＳＯＩＮＮ１２を用いない手法を２つ定義し、これらの手法を比較した。ＳＯＩＮＮ１２による学習結果を用いない手法と比較することにより、ＳＯＩＮＮ１２による認識精度への寄与を検証した。ＳＯＩＮＮ１２の学習結果を用いない比較手法として、以下の２つの手法を定義した。
【０１００】
手法１：要素ベクトル群Ｚ＊ｊをＳＯＩＮＮ１２に入力せず、Ｚ＊ｊより直接、最尤推定により多次元正規分布Ｐ（ｘ｜Ｓｊ）を算出した。尤度Ｃ（ｘｉ，Ｓｊ）＝ｌｏｇ（Ｐ（ｘ｜Ｓｊ））とし、この尤度Ｃ（ｘｉ，Ｓｊ）を用いた漸化式により入力データの認識を行った。
手法２：要素ベクトル群Ｚ＊ｊをＳＯＩＮＮ１２に入力し、ＳＯＩＮＮ１２の分類結果より、Ｐｗｈｏｌｅ（ｘｉ｜Ｓｊ）を算出した。ただし、ＳＯＩＮＮ１２のクラスタリング結果より得られるＰｃｌａｓｓ（ｘｉ｜Ｕｊｋ）については、入力パターンの認識には用いないものとした。即ち、尤度Ｃ（ｘｉ，Ｓｊ）を以下の式に基づいて算出し、α＝０とした。
【数１９】
尚、検証実験は図１１に示した表と同様の条件下において行い、１回の実験に用いる１クラスあたりの訓練データは８０個とし、セグメント数Ｌ＝３とした。αを０〜１．０まで０．０５ずつ変化させながら、それぞれのαを用いた場合について、計１０回のクロスバリデーション実験を行った。
【０１０１】
図１７は、[手法１]、[手法２]、ＳＯＩＮＮ−ＤＰ法により得られた検証実験の結果を示す表である。図１７に示すように、ＳＯＩＮＮ−ＤＰ法による認識結果は、[手法１]及び[手法２]による認識率を約４％上回っている。従って、ＳＯＩＮＮ１２を用いたことに加えて、さらに、ＳＯＩＮＮ１２の学習結果の内部クラスの情報を用いたＳＯＩＮＮ−ＤＰ法は、この情報を用いなかった[手法１]及び[手法２]に比べて高い認識率を有するものである。尚、テストデータに対する[手法１]及び[手法２]による認識率はほぼ同程度であった。即ち、ＳＯＩＮＮ−ＤＰは、ＳＯＩＮＮ１２の学習結果である内部クラスの情報を用いることにより、認識率をより向上させることができる。
【０１０２】
さらに、内部クラスの情報について、αの変化によるＳＯＩＮＮ−ＤＰの認識率への寄与について説明する。図１８は、αの変化に対する認識率の変化を示す図である。図１８においては、ｘ軸方向がαの値を示し、ｙ軸方向が各々のα値に対応する認識率を示す。図１８に示すように、認識率はα＝０．４５において最大となり、以降低下した。最終的に、認識率はα＝１．０において最低となった。α＝１．０の状態は、上記数１９において右辺の第二項（ｌｏｇ（ΣｊＰｃぁｓｓ（ｘ）））のみにより尤度を算出することに等しく、内部クラスの情報のみを用いて尤度を算出していることになる。この場合には、各内部クラスを核関数により近似しているため、次元間の相関を多次元正規分布のようにモデル化することができない。このため、各内部クラスによる情報のみを用いて尤度を算出した場合において、テストデータに対する認識率が低下したものと考えられる。
一方、図１７に示した結果より、各内部クラスによる情報に加えて、大域的情報（ＳＯＩＮＮの全ノード）を併せて用いることによって、ＳＯＩＮＮ−ＤＰ法は認識率を向上させることができた。
また、図１８に示すように、α＝０．４５において最大の認識率を得た。これは、αをデータにフィッティングさせることによって、さらにＳＯＩＮＮ−ＤＰ法による認識精度を向上させることが可能であることを示している。
【０１０３】
尚、本実施の形態１においては、パターン認識装置１がテンプレートモデル生成処理及び認識処理を行うものとして説明したが、本発明はこれに限定されるものではない。例えば、テンプレートモデル生成部１０を、自己増殖型ニューラルネットワークを用いてテンプレートモデルを生成するテンプレートモデル生成装置としても使用することができる。また、認識部２０を、自己増殖型ニューラルネットワークを用いて認識を行う認識装置としても使用することができる。
また、本実施の形態１において示したパターン認識はこれに限定されず、ＳＯＩＮＮ−ＤＰは実環境における他の時系列パターンの認識についても適用することができる。
さらにまた、実環境において動作する知能ロボットにＳＯＩＮＮ−ＤＰを適用することができる。ＳＯＩＮＮ−ＤＰを適用することにより、知能ロボットに例えば手話などの動作を認識させることができる。また、逐次的にテンプレートモデルを更新することによって、環境に適応して発達させてゆくことができる。即ち、例えば、人間が英語を徐々に聞き取ることができるようになっていくのと同様に、認知発達機能を実現することができる。
【０１０４】
尚、本実施の形態１においては、テンプレートモデル生成には予め十分な個数の訓練パターンが用意され、バッチ学習としてテンプレートモデルが生成される場合を説明したが本発明はこれに限定されない。即ち、テンプレートモデル生成部１０は、逐次的に入力パターンを追加して入力するときに、その逐次的に追加される入力パターンの属するクラスに対応するテンプレートモデルについて、そのテンプレートモデルにおける状態の出力分布を逐次的に追加される入力パターンに応じて更新するようにしてもよい。これにより、追加的に入力される入力パターンを容易に追加学習することができるとともに、事前に多量のデータを必要とせず、逐次的に与えられる少量のデータに基づいて認識精度を向上させてゆくことができる。即ち、テンプレートモデルを少量の訓練パターンを用いて生成した後、オンラインで与えられる教師付きデータを用いて、テンプレートモデルを更新することができる。
【０１０５】
図１９は、テンプレートモデルを更新する様子を説明するための図である。図１９に示すように、オンラインで追加的に与えられたＤａｔａ１乃至３について、上記同様にしてＳＯＩＮＮ−ＤＰ法によってマッチング処理が実施された後、教師付きデータより更新対象となるテンプレートモデル（Ｔａｒｇｅｔ Ｔｅｍｐｌａｔｅ）を特定することができる。そして、テンプレートモデルにおける各状態（ＳＯＩＮＮ−１Ｆｒａｍｅ乃至ＳＯＩＮＮ−３Ｆｒａｍｅ）が、更新前のデータ、及び追加されたデータによって更新される。図２０は、ＳＯＩＮＮ１２における更新の様子を説明するための図である。図２０に示すように、既にＳＯＩＮＮ１２に存在しているノードに加えて、追加的に入力されたノードからなるクラス（Ｃｌａｓｓ ｇｅｎｅｒａｔｅｄ ｂｙ ｕｐｄａｔｅ ｄａｔａ）が既存の知識を壊すことなく生成される。図２１は、オンライン教師付き学習による検証結果を示す表である。図２１に示すように、まずバッチ学習において所定の個数の（１０、２０、４０個）データを用いてテンプレートモデルを生成し、オンラインでデータを追加してテンプレートモデルを更新した場合において、認識率の向上結果を検証した。検証結果より、オンラインでデータを追加してゆくにつれて、認識率が向上していくことが分かる。即ち、オンライン教師付き学習による、時系列モデルの頑健な更新が可能である。
【０１０６】
その他の発明の実施の形態．
以上、本発明をその実施の形態により説明したが、本発明はその趣旨の範囲において種々の変形が可能である。例えばＳＯＩＮＮ１２に代えて、ＳＯＩＮＮに基づくＥｎｈａｎｃｅｄ−ＳＯＩＮＮ（以下Ｅ−ＳＯＩＮＮという。）を使用しても良い。
【０１０７】
Ｅ−ＳＯＩＮＮはＳＯＩＮＮに比べて、入力パターンの分布に高密度の重なりのあるクラスを分離することができる。そして、分布の重なり領域の検出処理においては、平滑化の手法を導入したことより、ＳＯＩＮＮに比べてより安定的に動作することができる。さらに、１層構造であっても効率的にノイズノードを削除することができる。さらにまた、ＳＯＩＮＮに比べて、より少ないパラメタで動作するため、処理をより容易に実行することができる。
【０１０８】
以下にＥ−ＳＯＩＮＮを簡単に説明する。図２２は、Ｅ−ＳＯＩＮＮによる学習処理の処理概要を示すフローチャートである。尚、上述したＳＯＩＮＮ１２と同様の処理については説明を省略する。まず、図２２に示すＳ６０１乃至Ｓ６０５については、図５に示したＳＯＩＮＮ１２と同様の処理を実施する。従って、以下では図２２に示すＳ６０６からの処理について説明する。
【０１０９】
Ｓ６０６：辺接続判定手段は、一時記憶部に格納されたノード、ノード密度、ノード間の辺について、第１勝者ノードａ1及び第２勝者ノードａ2のノード密度に基づいて、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を接続するか否かを判定し、その結果を一時記憶部に格納する。
Ｓ６０７：一時記憶部に格納されたＳ６０６における判定の結果、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を生成して接続する場合には、辺接続手段は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺を接続し、その結果を一時記憶部に格納する。そして、Ｅ−ＳＯＩＮＮは、一時記憶部に格納された辺及び辺の年齢について、新しく生成された辺、及び、既にノード間に辺が生成されていた場合にはその辺について、辺の年齢を０に設定しその結果を一時記憶部に格納し、第１勝者ノードａ1と直接的に接続される辺の年齢をインクリメントし（１増やす）、その結果を一時記憶部に格納する。
【０１１０】
一方、一時記憶部に格納されたＳ６０６における判定の結果、第１勝者ノードａ1及び第２勝者ノードａ2間に辺を接続しない場合には、Ｓ６０８へと処理を進めるが、既にノード間に辺が生成されていた場合には、辺削除手段は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノードａ1及び第２勝者ノードａ2間の辺を削除し、その結果を一時記憶部に格納する。
次いで、一時記憶部に格納されたノード及びノード密度のポイント値について、第１勝者ノードａ1について、ノード密度算出手段は、一時記憶部に格納された第１勝者ノードａ1のノード密度のポイント値を算出しその結果を一時記憶部に格納し、算出され一時記憶部に格納されたノード密度のポイント値を以前までに算出され一時記憶部に格納されたポイント値に加算することで、ノード密度ポイントとして累積し、その結果を一時記憶部に格納する。
次いで、Ｅ−ＳＯＩＮＮは、一時記憶部に格納された第１勝者ノードａ1が第１勝者ノードとなった累積回数Ｍａ1をインクリメントし（１増やす）、その結果を一時記憶部に格納する。
【０１１１】
Ｓ６０８：重みベクトル更新手段は、一時記憶部に格納されたノード及びノードの重みベクトルについて、第１勝者ノードａ1の重みベクトル及び第１勝者ノードａ1の隣接ノードの重みベクトルをそれぞれ入力ベクトルξに更に近づけるように更新し、その結果を一時記憶部に格納する。尚、Ｅ−ＳＯＩＮＮにおいては、追加学習に対応するため、入力ベクトルの入力回数ｔに代えて、一時記憶部に格納される第１勝者ノードａ1が第１勝者ノードとなった累積回数Ｍａ1を用いる。
Ｓ６０９：Ｅ−ＳＯＩＮＮは、一時記憶部に格納された辺について、予め設定され一時記憶部に格納された閾値ａｇｅｔを超えた年齢を持つ辺を削除し、その結果を一時記憶部に格納する。
【０１１２】
Ｓ６１０：Ｅ−ＳＯＩＮＮは、一時記憶部に格納された与えられた入力ベクトルξの総数について、与えられた入力ベクトルξの総数が予め設定され一時記憶部に格納されたλの倍数であるか否かを判定し、その結果を一時記憶部に格納する。一時記憶部に格納された判定の結果、入力ベクトルの総数がλの倍数でない場合にはＳ６０２へと戻り、次の入力ベクトルξを処理する。一方、入力ベクトルξの総数がλの倍数となった場合には以下の処理を実行する。
【０１１３】
Ｓ６１１：分布重なり領域検出手段は、一時記憶部に格納されたサブクラスタ及び分布の重なり領域について、上述のＳ３０１乃至Ｓ３０５において示したようにしてサブクラスタの境界である分布の重なり領域を検出し、その結果を一時記憶部に格納する。
Ｓ６１２：ノード密度算出手段は、一時記憶部に格納されて累積されたノード密度ポイントを単位入力数あたりの割合として算出しその結果を一時記憶部に格納し、単位入力数あたりのノードのノード密度を算出し、その結果を一時記憶部に格納する。
Ｓ６１３：ノイズノード削除手段は、一時記憶部に格納されたノードについて、ノイズノードと見なしたノードを削除し、その結果を一時記憶部に格納する。尚、Ｓ６１３においてノイズノード削除手段が使用するパラメタｃ1及びｃ2はノードをノイズと見なすか否かの判定に使用する。通常、隣接ノード数が２であるノードはノイズではないことが多いため、ｃ1は０に近い値を使用する。また、隣接ノード数が１であるノードはノイズであることが多いため、ｃ2は１に近い値を使用するものとし、これらのパラメタは予め設定され一時記憶部に格納される。
【０１１４】
Ｓ６１４：Ｅ−ＳＯＩＮＮは、一時記憶部に格納された与えられた入力ベクトルξの総数について、与えられた入力ベクトルξの総数が予め設定され一時記憶部に格納されたＬＴの倍数であるか否かを判定し、その結果を一時記憶部に格納する。一時記憶部に格納された判定の結果、入力ベクトルの総数がＬＴの倍数でない場合にはＳ６０２へと戻り、次の入力ベクトルξを処理する。
一方、入力ベクトルξの総数がＬＴの倍数となった場合には、一時記憶部に格納されたノードをプロトタイプとして出力する。以上の処理を終了した後、学習を停止する。
【０１１５】
ノード密度算出手段は、一時記憶部に格納されたノード及びノード密度について、注目するノードについて、その隣接ノード間の平均距離に基づいて、注目するノードのノード密度を算出し、その結果を一時記憶部に格納する。具体的には、ノード密度ポイント算出部は、例えば一時記憶部に格納される以下の式に基づいてノードｉに与えられるノード密度のポイント値ｐｉを算出し、その結果を一時記憶部に格納する。尚、ノードｉに与えられるポイント値ｐｉは、ノードｉが第１勝者ノードとなった場合には一時記憶部に格納される以下の式に基づいて算出されるポイント値が与えられるが、ノードｉが第１勝者ノードでない場合にはノードｉにはポイントは与えられないものとする。
【数２０】
【０１１６】
ここで、ｅｉはノードｉからその隣接ノードまでの平均距離を示し、一時記憶部に格納される以下の式に基づいて算出し、その結果を一時記憶部に格納する。
【数２１】
尚、ｍは一時記憶部に格納されたノードｉの隣接ノードの個数を示し、Ｗｉは一時記憶部に格納されたノードｉの重みベクトルを示す。
【０１１７】
ここで、隣接ノードへの平均距離が大きくなる場合には、ノードを含むその領域にはノードが少ないものと考えられ、逆に平均距離が小さくなる場合には、その領域にはノードが多いものと考えられる。従って、ノードの多い領域で第１勝者ノードとなった場合には高いポイントが与えられ、ノードの少ない領域で第１勝者ノードとなった場合には低いポイントが与えられるようにノードの密度のポイント値の算出方法を上述のように構成する。これにより、ノードを含むある程度の範囲の領域におけるノードの密集具合を推定することができるため、ノードの分布が高密度の領域に位置するノードであっても、ノードが第１勝者回数となった回数をノードの密度とするＳＯＩＮＮに比べて、入力ベクトルの入力分布密度により近似した密度となるノード密度ポイントを算出することができる。
【０１１８】
単位ノード密度ポイント算出部は、例えば一時記憶部に格納される以下の式に基づいてノードｉの単位入力数あたりのノード密度ｄｅｎｓｉｔｙｉを算出し、その結果を一時記憶部に格納する。
【数２２】
【０１１９】
ここで、連続して与えられる入力ベクトルの入力回数を予め設定され一時記憶部に格納される一定の入力回数λごとの区間に分け、各区間においてノードｉに与えられたポイントについてその合計を累積ポイントｓｉと定める。尚、入力ベクトルの総入力回数を予め設定され一時記憶部に格納されるＬＴとする場合に、ＬＴ/λを区間の総数ｎとしその結果を一時記憶部に格納し、ｎのうち、ノードに与えられたポイントの合計が０以上であった区間の数をＮとして算出し、その結果を一時記憶部に格納する（Ｎとｎは必ずしも同じとならない点に注意する）。
【０１２０】
累積ポイントｓｉは、例えば一時記憶部に格納される以下の式に基づいて算出し、その結果を一時記憶部に格納する。
【数２３】
ここで、ｐｉ（ｊ，ｋ）はｊ番目の区間におけるｋ番目の入力によってノードｉに与えられたポイントを示し、上述のノード密度ポイント算出部により算出され、その結果を一時記憶部に格納する。このように、単位ノード密度ポイント算出部は、一時記憶部に格納されたノードｉの密度ｄｅｎｓｉｔｙｉを累積ポイントｓｉの平均として算出し、その結果を一時記憶部に格納する。
【０１２１】
尚、Ｅ−ＳＯＩＮＮにおいては追加学習に対応するため、ｎに代えてＮを用いる。これは、追加学習において、以前の学習で生成されたノードにはポイントが与えられないことが多く、ｎを用いて密度を算出すると、以前学習したノードの密度が次第に低くなってしまうという問題を回避するためである。即ち、ｎに代えてＮを用いてノード密度を算出することで、追加学習を長時間行った場合であっても、追加されるデータが以前学習したノードの近くに入力されない限りは、そのノードの密度を変化させずに保持することができる。これにより、追加学習を長時間実施する場合であっても、ノードのノード密度が相対的に小さくなってしまうことを防ぐことができ、ＳＯＩＮＮを含む従来の手法に比べて、入力ベクトルの入力分布密度により近似したノード密度を変化させずに保持して算出することができる。
【０１２２】
分布重なり領域検出手段は、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードの密度について、辺によって接続されるノードの集合であるクラスタを、ノード密度算出手段によって算出されるノード密度に基づいてクラスタの部分集合であるサブクラスタに分割し、その結果を一時記憶部に格納し、サブクラスタの境界である分布の重なり領域を検出し、その結果を一時記憶部に格納する。
【０１２３】
さらに、分布重なり領域検出手段は、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードの密度について、ノード密度算出手段により算出されたノード密度に基づいて、ノード密度が局所的に最大であるノードを探索するノード探索部と、探索したノードに対して、既に他のノードに付与済みのラベルとは異なるラベルを付与する第１のラベル付与部と、第１のラベル付与部によりラベルが付与されなかったノードのうち、そのノードと辺によって接続されるノードについて、第１のラベル付与部によりラベルが付与されたノードのラベルと同じラベルを付与する第２のラベル付与部と、それぞれ異なるラベルが付与されたノード間に辺によって直接的に接続がある場合に、その辺によって接続されるノードの集合であるクラスタをクラスタの部分集合であるサブクラスタに分割するクラスタ分割部と、注目するノード及びその隣接ノードがそれぞれ異なるサブクラスタに属する場合に、その注目するノード及びその隣接ノードを含む領域を、サブクラスタの境界である分布の重なり領域として検出する分布重なり領域検出部を有する。具体的には、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードの密度について、例えば以下のようにしてサブクラスタの境界である分布の重なり領域を検出し、その結果を一時記憶部に格納する。
【０１２４】
Ｓ７０１：ノード探索部は、一時記憶部に格納されたノード及びノードの密度について、ノード密度算出手段により算出されたノード密度に基づいて、ノード密度が局所的に最大であるノードを探索し、その結果を一時記憶部に格納する。
Ｓ７０２：第１のラベル付与部は、一時記憶部に格納されたノード、及びノードのラベルについて、Ｓ７０１において探索したノードに対して、既に他のノードに付与済みのラベルとは異なるラベルを付与し、その結果を一時記憶部に格納する。
Ｓ７０３：第２のラベル付与部は、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードのラベルについて、Ｓ７０２において第１のラベル付与部によりラベルが付与されなかったノードについて、第１のラベル付与部にラベルが付与されたノードと辺によって接続されるノードについて、第１のラベル付与部によりラベルが付与されたノードのラベルと同じラベルを付与し、その結果を一時記憶部に格納する。即ち、密度が局所的に最大の隣接ノードと同じラベルを付与する。
Ｓ７０４：クラスタ分割部は、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードのラベルについて、一時記憶部に格納された辺によって接続されるノードの集合であるクラスタを、同じラベルが付与されたノードからなるクラスタの部分集合であるサブクラスタに分割し、その結果を一時記憶部に格納する。
Ｓ７０５：分布重なり領域検出部は、一時記憶部に格納されたノード、ノード間を接続する辺、及びノードのラベルについて、注目するノードとその隣接ノードが異なるサブクラスタにそれぞれ属する場合に、その注目するノード及びその隣接ノードを含む領域を、サブクラスタの境界である分布の重なり領域として検出し、その結果を一時記憶部に格納する。
【０１２５】
辺接続判定手段は、一時記憶部に格納されたノード、ノード密度、及び分布重なり領域について、第１勝者ノード及び第２勝者ノードが分布重なり領域に位置するノードである場合に、第１勝者ノード及び第２勝者ノードのノード密度に基づいて第１勝者ノード及び第２勝者ノード間に辺を接続するか否かを判定し、その結果を一時記憶部に格納する。さらに辺接続判定手段は、一時記憶部に格納されたノード、ノード密度、ノードのサブクラスタについて、ノードが属しているサブクラスタを判定する所属サブクラスタ判定部と、ノードが属するサブクラスタの頂点の密度及びノードの密度に基づいて、第１勝者ノード及び第２勝者ノード間に辺を接続するか否かを判定する辺接続判定部を有する。
【０１２６】
辺接続手段は、一時記憶部に格納された辺接続判定手段の判定結果に基づいて、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺を接続し、その結果を一時記憶部に格納する。
辺削除手段は、一時記憶部に格納された辺接続判定手段の判定結果に基づいて、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間の辺を削除し、その結果を一時記憶部に格納する。
具体的には、一時記憶部に格納されたノード、ノード密度、ノードのサブクラスタ、及びノード間の辺について、例えば以下のようにして辺接続判定手段は辺を接続するか否かを判定し、辺接続手段及び辺削除手段は辺の生成及び削除処理を実施し、その結果を一時記憶部に格納する。
【０１２７】
Ｓ８０１：所属サブクラスタ判定部は、一時記憶部に格納されたノード、ノードのサブクラスタについて、第１勝者ノード及び第２勝者ノードが属するサブクラスタをそれぞれ判定し、その結果を一時記憶部に格納する。
Ｓ８０２：一時記憶部に格納されたＳ８０１における判定の結果、第１勝者ノード及び第２勝者ノードがどのサブクラスタにも属していない場合、又は、第１勝者ノード及び第２勝者ノードが同じサブクラスタに属している場合には、辺接続手段は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺を生成することによりノード間を接続し、その結果を一時記憶部に格納する。
Ｓ８０３：一時記憶部に格納されたＳ８０１における判定の結果、第１勝者ノード及び第２勝者ノードが互いに異なるサブクラスタに属す場合には、辺接続判定部は、一時記憶部に格納されたノード、ノード密度、及びノード間の辺について、ノードが属するサブクラスタの頂点の密度及びノードの密度に基づいて、第１勝者ノード及び第２勝者ノード間に辺を接続するか否かを判定し、その結果を一時記憶部に格納する。
Ｓ８０４：一時記憶部に格納されたＳ８０３における辺接続判定部による判定の結果、辺を接続する必要がないと判定した場合には、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間を辺によって接続せず、既にノード間が辺によって接続されていた場合には、辺削除手段は、一時記憶部に格納されたノード及びノード間の辺について、一時記憶部に格納された第１勝者ノード及び第２勝者ノード間の辺を削除し、その結果を一時記憶部に格納する。
Ｓ８０５：一時記憶部に格納されたＳ８０３における辺接続判定部による判定の結果、辺を接続する必要があると判定した場合には、辺接続手段は、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺を生成しノード間を接続する。
【０１２８】
ここで、辺接続判定部による判定処理について詳細に説明する。
まず、辺接続判定部は、一時記憶部に格納されたノード及びノード密度について、第１勝者ノードのノード密度ｄｅｎｓｉｔｙｗｉｎ及び第２勝者ノード密度ｄｅｎｓｉｔｙｓｅｃ−ｗｉｎのうち、最小のノード密度ｍを例えば一時記憶部に格納される以下の式に基いて算出し、その結果を一時記憶部に格納する。
【数２４】
【０１２９】
次に、一時記憶部に格納されたノード、ノードのノード密度、及びノードのサブクラスについて、第１勝者ノード及び第２勝者ノードがそれぞれ属するサブクラスタＡ及びサブクラスタＢについて、サブクラスタＡの頂点の密度Ａｍａｘ及びサブクラスタＢの頂点の密度Ｂｍａｘを算出し、その結果を一時記憶部に格納する。尚、サブクラスタに含まれるノードのうち、ノード密度が最大であるノード密度をサブクラスタの頂点の密度とする。
【０１３０】
そして、一時記憶部に格納されたノードが属するサブクラスタの頂点の密度Ａｍａｘ及びＢｍａｘ、及びノードの密度ｍについて、ｍがαＡＡｍａｘより小さく、かつ、ｍがαＢＢｍａｘより小さいか否かを判定し、その結果を一時記憶部に格納する。即ち、一時記憶部に格納される以下の不等式を満足するか否かを判定し、その結果を一時記憶部に格納する。
【数２５】
【０１３１】
判定の結果、ｍがαＡＡｍａｘより小さく、かつ、ｍがαＢＢｍａｘより小さい場合には、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間には辺は不要であると判定し、その結果を一時記憶部に格納する。
一方、判定の結果、ｍがαＡＡｍａｘ以上、または、ｍがαＢＢｍａｘ以上である場合には、一時記憶部に格納されたノード及びノード間の辺について、第１勝者ノード及び第２勝者ノード間に辺は必要であると判定し、その結果を一時記憶部に格納する。
【０１３２】
このように、第１勝者ノード及び第２勝者ノードの最小ノード密度ｍを、第１勝者ノード及び第２勝者ノードをそれぞれ含むサブクラスタの平均的なノード密度と比較することで、第１勝者ノード及び第２勝者ノードを含む領域におけるノード密度の凹凸の大きさを判定することができる。即ち、サブクラスタＡ及びサブクラスタＢの間に存在する分布の谷間のノード密度ｍが、閾値αＡＡｍａｘ又はαＢＢｍａｘより大きな場合には、ノード密度の形状は小さな凹凸であると判定することができる。
【０１３３】
ここで、αＡ及びαＢは一時記憶部に格納される以下の式に基づいて算出し、その結果を一時記憶部に格納する。尚、αＢについてもαＡと同様にして算出することができるためここでは説明を省略する。
ｉ） Ａｍａｘ/ｍｅａｎＡ−１≦１の場合には、αＡ＝０．０とする。
ｉｉ） １＜Ａｍａｘ/ｍｅａｎＡ−１≦２の場合には、αＡ＝０．５とする。
ｉｉｉ） ２＜Ａｍａｘ/ｍｅａｎＡ−１の場合には、αＡ＝１．０とする。
【０１３４】
Ａｍａｘ/ｍｅａｎＡの値が１以下となるi）の場合には、ＡｍａｘとｍｅａｎＡの値は同程度であり、密度の凹凸はノイズの影響によるものと判断する。そして、αの値を０．０とすることで、サブクラスタが統合されるようにする。
また、Ａｍａｘ/ｍｅａｎＡの値が２を超えるiii）の場合には、ＡｍａｘはｍｅａｎＡに比べて十分大きく、明らかな密度の凹凸が存在するものと判断する。そして、αの値を１．０とすることで、サブクラスタが分離されるようにする。
そして、Ａｍａｘ/ｍｅａｎＡの値が上述した場合以外となる i i）の場合には、αの値を０．５とすることで、密度の凹凸の大きさに応じてサブクラスタが統合又は分離されるようにする。
【０１３５】
尚、ｍｅａｎＡはサブクラスタＡに属すノードｉのノード密度ｄｅｎｓｉｔｙｉの平均値を示し、ＮＡをサブクラスタＡに属するノードの数として、一時記憶部に格納される以下の式に基づいて算出し、その結果を一時記憶部に格納する。
【数２６】
【０１３６】
このように、サブクラスタへの分離を行う際に、サブクラスタに含まれるノード密度の凹凸の程度を判定し、ある基準を満たした２つのサブクラスタを１つに統合することで、分布の重なり領域の検出におけるサブクラスタの分けすぎによる不安定化を防止することができる。例えば、ノイズや学習サンプルが少ないことが原因で、密度の分布に多くの細かい凹凸が形成されることがある。このような場合に、第１勝者ノード及び第２勝者ノードがサブクラスタＡ及びＢの間にある分布の重なり領域に位置する場合に、ノード間の接続を行う際にある基準を満たした２つのサブクラスタを１つに統合することで、密度の分布に多くの細かい凹凸が含まれる場合であっても平滑化することができる。
【０１３７】
ノイズノード削除手段は、一時記憶部に格納されたノード、ノード密度、ノード間の辺、隣接ノードの個数について、注目するノードについて、ノード密度算出手段により算出されるノード密度及び注目するノードの隣接ノードの個数に基づいて、注目するノードを削除し、その結果を一時記憶部に格納する。さらにノイズノード削除手段は、一時記憶部に格納されたノード、ノード密度、ノード間の辺、隣接ノードの個数について、注目するノードのノード密度を所定の閾値と比較するノード密度比較部と、注目するノードの隣接ノードの個数を算出する隣接ノード数算出部と、注目するノードをノイズノードとみなして削除するノイズノード削除部を有する。具体的には、例えば以下のようにして一時記憶部に格納されたノード、ノード密度、ノード間の辺、隣接ノードの個数について、ノード密度及び注目するノードの隣接ノードの個数に基づいて、注目するノードを削除し、その結果を一時記憶部に格納する。
【０１３８】
ノイズノード削除手段は、一時記憶部に格納されたノード、ノード間の辺、隣接ノードの個数について、注目するノードｉについて、隣接ノード数算出部によりその隣接ノードの個数を算出し、その結果を一時記憶部に格納する。そして、一時記憶部に格納された隣接ノードの個数に応じて、以下の処理を実施する。
ｉ） 一時記憶部に格納された隣接ノード数が２の場合、ノード密度比較部はノードｉのノード密度ｄｅｎｓｉｔｙｉを例えば一時記憶部に格納される以下の式に基づいて算出する閾値と比較し、その結果を一時記憶部に格納する。
【数２７】
一時記憶部に格納された比較結果について、ノード密度ｄｅｎｓｉｔｙｉが閾値より小さい場合には、ノイズノード削除部は、一時記憶部に格納されたノードについて、ノードを削除し、その結果を一時記憶部に格納する。
【０１３９】
ｉｉ） 一時記憶部に格納された隣接ノード数が１の場合、ノード密度比較部はノードｉのノード密度ｄｅｎｓｉｔｙｉを例えば一時記憶部に格納される以下の式に基づいて算出する閾値と比較し、その結果を一時記憶部に格納する。
【数２８】
一時記憶部に格納された比較の結果について、ノード密度ｄｅｎｓｉｔｙｉが閾値より小さい場合には、ノイズノード削除部は、一時記憶部に格納されたノードについて、ノードを削除し、その結果を一時記憶部に格納する。
【０１４０】
ｉｉｉ） 一時記憶部に格納された隣接ノード数について、隣接ノードを持たない場合、ノイズノード削除部は、一時記憶部に格納されたノードについて、ノードを削除し、その結果を一時記憶部に格納する。
ここで、予め設定され一時記憶部に格納される所定のパラメタｃ1及びｃ2を調整することで、ノイズノード削除手段によるノイズノードの削除の振る舞いを調整することができる。
【０１４１】
本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは当然である。この場合、記録媒体から読み出されたプログラムコード自体が上述の実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１４２】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基き、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も当然含まれる。
【０１４３】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基き、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も当然含まれる。本発明を上記記録媒体に適用する場合、その記録媒体には、上述したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１４４】
【図１】本発明を実施するための機能ブロックを示す図である。
【図２】従来手法であるＳＯＩＮＮによる学習処理の処理概要を示すフローチャートである。
【図３】従来手法であるＳＯＩＮＮに対して入力した人工データセットを示す図である。
【図４】人工データセットに対するＳＯＩＮＮの出力結果を示す図である。
【図５】本実施形態に係るＳＯＩＮＮ１２による学習処理の処理概要を示すフローチャートである。
【図６】本実施形態に係るＳＯＩＮＮ１２に存在する複数の内部クラスを示す図である。
【図７】本実施形態に係るパターン認識装置のシステム構成を示す図である。
【図８】パターン認識装置によるテンプレートモデル生成処理の処理概要を示すフローチャートである。
【図９】訓練パターンをＳＯＩＮＮ１２へと入力するようすを示す図である。
【図１０】パターン認識装置による認識処理の処理概要を示すフローチャートである。
【図１１】音素認識実験における実験条件を示す表である。
【図１２】音素認識実験における実験結果を示す表である。
【図１３】動作実験における動作内容を示す画像である。
【図１４】動作認識実験における実験条件を示す表である。
【図１５】動作認識実験における実験結果を示す表である。
【図１６】セグメント数に対する認識率の変化を示す図である。
【図１７】ＳＯＩＮＮ１２を用いない手法との比較結果を示す表である。
【図１８】大域的尤度及び局所的尤度の反映具合による認識率の変化を示す図である。
【図１９】テンプレートモデルを更新する様子を説明するための図である。
【図２０】ＳＯＩＮＮ１２における更新の様子を説明するための図である。
【図２１】オンライン教師付き学習による検証結果を示す表である。
【図２２】従来手法であるＥ―ＳＯＩＮＮによる学習処理の処理概要を示すフローチャートである。
【符号の説明】
【０１４５】
１ パターン認識装置
１０ テンプレートモデル生成部
１１ 標準パターン選択部
１２ ＳＯＩＮＮ
１２１ クラス間ノード挿入部
１２２ 辺削除部
１２３ ノード削除部
１２４ 重みベクトル更新部
２０ 認識部
２１ 尤度算出部
２１１ 大域的尤度算出部
２１２ 局所的尤度算出部
３１ 訓練用パターンＤＢ
３２ テンプレートモデル学習結果ＤＢ
４０ コンピュータ
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
４４ バス
４５ 入出力インターフェイス
４６ 入力部
４７ 出力部
４８ 記憶部
４９ 通信部
５０ ドライブ
５０１ 磁気ディスク
５０２ 光ディスク
５０３ フレキシブルディスク
５０４ 半導体メモリ
【特許請求の範囲】
【請求項１】
入力パターンの一部又は全部を入力ベクトルとしてニューラルネットワークに順次入力し、当該入力ベクトル、及び当該ニューラルネットワークに配置される多次元ベクトルで記述されるノードに基づいて、当該ノードを自動的に増加させる自己増殖型ニューラルネットワークを用いて、
前記入力パターンの特徴量に応じたテンプレートモデルを生成するテンプレートモデル生成部と、
生成された前記テンプレートモデルと前記入力パターンをマッチングして当該入力パターンを認識する認識部とを有する
ことを特徴とするパターン認識装置。
【請求項２】
前記認識部は、
前記ノードに基づいて、前記テンプレートモデルにおける状態の出力分布を算出する尤度算出部を有し、
算出された前記テンプレートモデルにおける状態の出力分布を用いて、前記テンプレートモデルと前記入力パターンとの一致度を算出する
ことを特徴とする請求項１記載のパターン認識装置。
【請求項３】
前記尤度算出部は、
前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出部を有し、
前記大域的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項２記載のパターン認識装置。
【請求項４】
前記尤度算出部は、
辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出部を有し、
前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項２記載のパターン認識装置。
【請求項５】
前記尤度算出部は、
前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出部と、
辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出部とを有し、
前記大域的尤度及び／又は前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項２記載のパターン認識装置。
【請求項６】
前記テンプレートモデル生成部は、
前記入力パターン間のマッチングにより、当該入力パターンが属するクラスの標準パターンを選択する標準パターン選択部を有し、
前記入力パターンの大きさを前記標準パターンの大きさに正規化して、前記標準パターンの各フレームに対応する各前記入力パターンの一部又は全部を、前記テンプレートモデルにおける各状態に対応させる
ことを特徴とする請求項１記載のパターン認識装置。
【請求項７】
前記テンプレートモデル生成部は、
前記テンプレートモデルにおける各状態に対応させた各前記入力パターンの一部又は全部からなる要素の集合について、前記入力パターンの入力パターン数及び当該入力パターンの特徴量の次元数に基づいて、当該要素集合を前記自己増殖型ニューラルネットワークに入力する
ことを特徴とする請求項６記載のパターン認識装置。
【請求項８】
前記テンプレートモデル生成部は、
逐次的に入力パターンを追加して入力するときに、当該逐次的に追加される入力パターンの属するクラスに対応する前記テンプレートモデルについて、当該テンプレートモデルにおける状態の出力分布を前記逐次的に追加される入力パターンに応じて更新する
ことを特徴とする請求項１記載のパターン認識装置。
【請求項９】
ＤＰマッチング法を用いて前記マッチング処理を行う
ことを特徴とする請求項１乃至６記載のパターン認識装置。
【請求項１０】
前記自己増殖型ニューラルネットワークは、
入力される前記入力ベクトルに最も近い重みベクトルを持つノードと２番目に近い重みベクトルを持つノードの間に辺を接続したとき、
注目するノードと他のノード間の距離に基づいて算出される当該注目するノードの類似度閾値、及び前記入力ベクトルと当該注目するノード間の距離に基づいて、前記入力ベクトルをノードとして挿入するクラス間ノード挿入部と、
前記入力ベクトルに最も近いノードに対応する重みベクトル及び当該ノードと辺によって直接的に接続されるノードに対応する重みベクトルをそれぞれ前記入力ベクトルに更に近づけるように更新する重みベクトル更新部とを有する
ことを特徴とする請求項１記載のパターン認識装置。
【請求項１１】
前記クラス間ノード挿入部は、
入力される前記入力ベクトルに最も近い重みベクトルを持つノードを第１勝者ノードとし、２番目に近い重みベクトルを持つノードを第２勝者ノードとし、当該第１勝者ノード及び当該第２勝者ノードの間に辺を接続したとき、
注目するノードについて、当該注目するノードと辺によって直接的に接続されるノードが存在する場合には、当該直接的に接続されるノードのうち当該注目するノードからの距離が最大であるノード間の距離を前記類似度閾値とし、当該注目するノードと辺によって直接的に接続されるノードが存在しない場合には、当該注目するノードからの距離が最小であるノード間の距離を前記類似度閾値として算出する類似度閾値算出部と、
前記入力ベクトルと前記第１勝者ノード間の距離が当該第１勝者ノードの類似度閾値より大きいか否か、及び、前記入力ベクトルと前記第２勝者ノード間の距離が当該第２勝者ノードの類似度閾値より大きいか否かを判定する類似度閾値判定部と、
類似度閾値判定結果に基づいて、前記入力ベクトルをノードとして当該入力ベクトルと同じ位置に挿入するノード挿入部とを有する
ことを特徴とする請求項１０記載のパターン認識装置。
【請求項１２】
前記自己増殖型ニューラルネットワークは、
前記辺に対応付けられる辺の年齢に基づいて、当該辺を削除する辺削除部と、
注目するノードについて、当該注目するノードに直接的に接続される辺の本数に基づいて、当該注目するノードを削除するノード削除部とを更に有する
ことを特徴とする請求項１０記載のパターン認識装置。
【請求項１３】
前記自己増殖型ニューラルネットワークは１層構造である
ことを特徴とする請求項１記載のパターン認識装置。
【請求項１４】
入力パターンの一部又は全部を入力ベクトルとしてニューラルネットワークに順次入力し、当該入力ベクトル、及び当該ニューラルネットワークに配置される多次元ベクトルで記述されるノードに基づいて、当該ノードを自動的に増加させる自己増殖型ニューラルネットワークを用いて、
前記入力パターンの特徴量に応じたテンプレートモデルを生成するテンプレートモデル生成ステップと、
生成された前記テンプレートモデルと前記入力パターンをマッチングして当該入力パターンを認識する認識ステップとを有する
ことを特徴とするパターン認識方法。
【請求項１５】
前記認識ステップは、
前記ノードに基づいて、前記テンプレートモデルにおける状態の出力分布を算出する尤度算出ステップを有し、
算出された前記テンプレートモデルにおける状態の出力分布を用いて、前記テンプレートモデルと前記入力パターンとの一致度を算出する
ことを特徴とする請求項１４記載のパターン認識方法。
【請求項１６】
前記尤度算出ステップは、
前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出ステップを有し、
前記大域的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項１５記載のパターン認識方法。
【請求項１７】
前記尤度算出ステップは、
辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出ステップを有し、
前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項１５記載のパターン認識方法。
【請求項１８】
前記尤度算出ステップは、
前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出ステップと、
辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出ステップとを有し、
前記大域的尤度及び／又は前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項１５記載のパターン認識方法。
【請求項１９】
前記テンプレートモデル生成ステップは、
前記入力パターン間のマッチングにより、当該入力パターンが属するクラスの標準パターンを選択する標準パターン選択ステップを有し、
前記入力パターンの大きさを前記標準パターンの大きさに正規化して、前記標準パターンの各フレームに対応する各前記入力パターンの一部又は全部を、前記テンプレートモデルにおける各状態に対応させる
ことを特徴とする請求項１４記載のパターン認識方法。
【請求項２０】
前記テンプレートモデル生成ステップでは、
前記テンプレートモデルにおける各状態に対応させた各前記入力パターンの一部又は全部からなる要素の集合について、前記入力パターンの入力パターン数及び当該入力パターンの特徴量の次元数に基づいて、当該要素集合を前記自己増殖型ニューラルネットワークに入力する
ことを特徴とする請求項１９記載のパターン認識方法。
【請求項２１】
前記テンプレートモデル生成ステップでは、
逐次的に入力パターンを追加して入力するときに、当該逐次的に追加される入力パターンの属するクラスに対応する前記テンプレートモデルについて、当該テンプレートモデルにおける状態の出力分布を前記逐次的に追加される入力パターンに応じて更新する
ことを特徴とする請求項１４記載のパターン認識方法。
【請求項２２】
ＤＰマッチング法を用いて前記マッチング処理を行う
ことを特徴とする請求項１４乃至１９記載のパターン認識方法。
【請求項２３】
前記自己増殖型ニューラルネットワークは、
入力される前記入力ベクトルに最も近い重みベクトルを持つノードと２番目に近い重みベクトルを持つノードの間に辺を接続したとき、
注目するノードと他のノード間の距離に基づいて算出される当該注目するノードの類似度閾値、及び前記入力ベクトルと当該注目するノード間の距離に基づいて、前記入力ベクトルをノードとして挿入するクラス間ノード挿入ステップと、
前記入力ベクトルに最も近いノードに対応する重みベクトル及び当該ノードと辺によって直接的に接続されるノードに対応する重みベクトルをそれぞれ前記入力ベクトルに更に近づけるように更新する重みベクトル更新ステップとを有する
ことを特徴とする請求項１４記載のパターン認識方法。
【請求項２４】
前記クラス間ノード挿入ステップは、
入力される前記入力ベクトルに最も近い重みベクトルを持つノードを第１勝者ノードとし、２番目に近い重みベクトルを持つノードを第２勝者ノードとし、当該第１勝者ノード及び当該第２勝者ノードの間に辺を接続したとき、
注目するノードについて、当該注目するノードと辺によって直接的に接続されるノードが存在する場合には、当該直接的に接続されるノードのうち当該注目するノードからの距離が最大であるノード間の距離を前記類似度閾値とし、当該注目するノードと辺によって直接的に接続されるノードが存在しない場合には、当該注目するノードからの距離が最小であるノード間の距離を前記類似度閾値として算出する類似度閾値算出ステップと、
前記入力ベクトルと前記第１勝者ノード間の距離が当該第１勝者ノードの類似度閾値より大きいか否か、及び、前記入力ベクトルと前記第２勝者ノード間の距離が当該第２勝者ノードの類似度閾値より大きいか否かを判定する類似度閾値判定ステップと、
類似度閾値判定結果に基づいて、前記入力ベクトルをノードとして当該入力ベクトルと同じ位置に挿入するノード挿入ステップとを有する
ことを特徴とする請求項２３記載のパターン認識方法。
【請求項２５】
前記自己増殖型ニューラルネットワークは、
前記辺に対応付けられる辺の年齢に基づいて、当該辺を削除する辺削除ステップと、
注目するノードについて、当該注目するノードに直接的に接続される辺の本数に基づいて、当該注目するノードを削除するノード削除ステップとを更に有する
ことを特徴とする請求項２３記載のパターン認識方法。
【請求項２６】
前記自己増殖型ニューラルネットワークは１層構造である
ことを特徴とする請求項１４記載のパターン認識方法。
【請求項２７】
請求項１４乃至２６いずれか１項記載のパターン認識処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
入力パターンの一部又は全部を入力ベクトルとしてニューラルネットワークに順次入力し、当該入力ベクトル、及び当該ニューラルネットワークに配置される多次元ベクトルで記述されるノードに基づいて、当該ノードを自動的に増加させる自己増殖型ニューラルネットワークを用いて、
前記入力パターンの特徴量に応じたテンプレートモデルを生成するテンプレートモデル生成部と、
生成された前記テンプレートモデルと前記入力パターンをマッチングして当該入力パターンを認識する認識部とを有する
ことを特徴とするパターン認識装置。
【請求項２】
前記認識部は、
前記ノードに基づいて、前記テンプレートモデルにおける状態の出力分布を算出する尤度算出部を有し、
算出された前記テンプレートモデルにおける状態の出力分布を用いて、前記テンプレートモデルと前記入力パターンとの一致度を算出する
ことを特徴とする請求項１記載のパターン認識装置。
【請求項３】
前記尤度算出部は、
前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出部を有し、
前記大域的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項２記載のパターン認識装置。
【請求項４】
前記尤度算出部は、
辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出部を有し、
前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項２記載のパターン認識装置。
【請求項５】
前記尤度算出部は、
前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出部と、
辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出部とを有し、
前記大域的尤度及び／又は前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項２記載のパターン認識装置。
【請求項６】
前記テンプレートモデル生成部は、
前記入力パターン間のマッチングにより、当該入力パターンが属するクラスの標準パターンを選択する標準パターン選択部を有し、
前記入力パターンの大きさを前記標準パターンの大きさに正規化して、前記標準パターンの各フレームに対応する各前記入力パターンの一部又は全部を、前記テンプレートモデルにおける各状態に対応させる
ことを特徴とする請求項１記載のパターン認識装置。
【請求項７】
前記テンプレートモデル生成部は、
前記テンプレートモデルにおける各状態に対応させた各前記入力パターンの一部又は全部からなる要素の集合について、前記入力パターンの入力パターン数及び当該入力パターンの特徴量の次元数に基づいて、当該要素集合を前記自己増殖型ニューラルネットワークに入力する
ことを特徴とする請求項６記載のパターン認識装置。
【請求項８】
前記テンプレートモデル生成部は、
逐次的に入力パターンを追加して入力するときに、当該逐次的に追加される入力パターンの属するクラスに対応する前記テンプレートモデルについて、当該テンプレートモデルにおける状態の出力分布を前記逐次的に追加される入力パターンに応じて更新する
ことを特徴とする請求項１記載のパターン認識装置。
【請求項９】
ＤＰマッチング法を用いて前記マッチング処理を行う
ことを特徴とする請求項１乃至６記載のパターン認識装置。
【請求項１０】
前記自己増殖型ニューラルネットワークは、
入力される前記入力ベクトルに最も近い重みベクトルを持つノードと２番目に近い重みベクトルを持つノードの間に辺を接続したとき、
注目するノードと他のノード間の距離に基づいて算出される当該注目するノードの類似度閾値、及び前記入力ベクトルと当該注目するノード間の距離に基づいて、前記入力ベクトルをノードとして挿入するクラス間ノード挿入部と、
前記入力ベクトルに最も近いノードに対応する重みベクトル及び当該ノードと辺によって直接的に接続されるノードに対応する重みベクトルをそれぞれ前記入力ベクトルに更に近づけるように更新する重みベクトル更新部とを有する
ことを特徴とする請求項１記載のパターン認識装置。
【請求項１１】
前記クラス間ノード挿入部は、
入力される前記入力ベクトルに最も近い重みベクトルを持つノードを第１勝者ノードとし、２番目に近い重みベクトルを持つノードを第２勝者ノードとし、当該第１勝者ノード及び当該第２勝者ノードの間に辺を接続したとき、
注目するノードについて、当該注目するノードと辺によって直接的に接続されるノードが存在する場合には、当該直接的に接続されるノードのうち当該注目するノードからの距離が最大であるノード間の距離を前記類似度閾値とし、当該注目するノードと辺によって直接的に接続されるノードが存在しない場合には、当該注目するノードからの距離が最小であるノード間の距離を前記類似度閾値として算出する類似度閾値算出部と、
前記入力ベクトルと前記第１勝者ノード間の距離が当該第１勝者ノードの類似度閾値より大きいか否か、及び、前記入力ベクトルと前記第２勝者ノード間の距離が当該第２勝者ノードの類似度閾値より大きいか否かを判定する類似度閾値判定部と、
類似度閾値判定結果に基づいて、前記入力ベクトルをノードとして当該入力ベクトルと同じ位置に挿入するノード挿入部とを有する
ことを特徴とする請求項１０記載のパターン認識装置。
【請求項１２】
前記自己増殖型ニューラルネットワークは、
前記辺に対応付けられる辺の年齢に基づいて、当該辺を削除する辺削除部と、
注目するノードについて、当該注目するノードに直接的に接続される辺の本数に基づいて、当該注目するノードを削除するノード削除部とを更に有する
ことを特徴とする請求項１０記載のパターン認識装置。
【請求項１３】
前記自己増殖型ニューラルネットワークは１層構造である
ことを特徴とする請求項１記載のパターン認識装置。
【請求項１４】
入力パターンの一部又は全部を入力ベクトルとしてニューラルネットワークに順次入力し、当該入力ベクトル、及び当該ニューラルネットワークに配置される多次元ベクトルで記述されるノードに基づいて、当該ノードを自動的に増加させる自己増殖型ニューラルネットワークを用いて、
前記入力パターンの特徴量に応じたテンプレートモデルを生成するテンプレートモデル生成ステップと、
生成された前記テンプレートモデルと前記入力パターンをマッチングして当該入力パターンを認識する認識ステップとを有する
ことを特徴とするパターン認識方法。
【請求項１５】
前記認識ステップは、
前記ノードに基づいて、前記テンプレートモデルにおける状態の出力分布を算出する尤度算出ステップを有し、
算出された前記テンプレートモデルにおける状態の出力分布を用いて、前記テンプレートモデルと前記入力パターンとの一致度を算出する
ことを特徴とする請求項１４記載のパターン認識方法。
【請求項１６】
前記尤度算出ステップは、
前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出ステップを有し、
前記大域的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項１５記載のパターン認識方法。
【請求項１７】
前記尤度算出ステップは、
辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出ステップを有し、
前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項１５記載のパターン認識方法。
【請求項１８】
前記尤度算出ステップは、
前記自己増殖型ニューラルネットワークに配置される全てのノードに基づいて、大域的尤度を算出する大域的尤度算出ステップと、
辺によって接続されたノードからなるクラスタについて、当該クラスタに属するノードに基づいて、局所的尤度を算出する局所的尤度算出ステップとを有し、
前記大域的尤度及び／又は前記局所的尤度から前記テンプレートモデルにおける状態の出力分布を算出する
ことを特徴とする請求項１５記載のパターン認識方法。
【請求項１９】
前記テンプレートモデル生成ステップは、
前記入力パターン間のマッチングにより、当該入力パターンが属するクラスの標準パターンを選択する標準パターン選択ステップを有し、
前記入力パターンの大きさを前記標準パターンの大きさに正規化して、前記標準パターンの各フレームに対応する各前記入力パターンの一部又は全部を、前記テンプレートモデルにおける各状態に対応させる
ことを特徴とする請求項１４記載のパターン認識方法。
【請求項２０】
前記テンプレートモデル生成ステップでは、
前記テンプレートモデルにおける各状態に対応させた各前記入力パターンの一部又は全部からなる要素の集合について、前記入力パターンの入力パターン数及び当該入力パターンの特徴量の次元数に基づいて、当該要素集合を前記自己増殖型ニューラルネットワークに入力する
ことを特徴とする請求項１９記載のパターン認識方法。
【請求項２１】
前記テンプレートモデル生成ステップでは、
逐次的に入力パターンを追加して入力するときに、当該逐次的に追加される入力パターンの属するクラスに対応する前記テンプレートモデルについて、当該テンプレートモデルにおける状態の出力分布を前記逐次的に追加される入力パターンに応じて更新する
ことを特徴とする請求項１４記載のパターン認識方法。
【請求項２２】
ＤＰマッチング法を用いて前記マッチング処理を行う
ことを特徴とする請求項１４乃至１９記載のパターン認識方法。
【請求項２３】
前記自己増殖型ニューラルネットワークは、
入力される前記入力ベクトルに最も近い重みベクトルを持つノードと２番目に近い重みベクトルを持つノードの間に辺を接続したとき、
注目するノードと他のノード間の距離に基づいて算出される当該注目するノードの類似度閾値、及び前記入力ベクトルと当該注目するノード間の距離に基づいて、前記入力ベクトルをノードとして挿入するクラス間ノード挿入ステップと、
前記入力ベクトルに最も近いノードに対応する重みベクトル及び当該ノードと辺によって直接的に接続されるノードに対応する重みベクトルをそれぞれ前記入力ベクトルに更に近づけるように更新する重みベクトル更新ステップとを有する
ことを特徴とする請求項１４記載のパターン認識方法。
【請求項２４】
前記クラス間ノード挿入ステップは、
入力される前記入力ベクトルに最も近い重みベクトルを持つノードを第１勝者ノードとし、２番目に近い重みベクトルを持つノードを第２勝者ノードとし、当該第１勝者ノード及び当該第２勝者ノードの間に辺を接続したとき、
注目するノードについて、当該注目するノードと辺によって直接的に接続されるノードが存在する場合には、当該直接的に接続されるノードのうち当該注目するノードからの距離が最大であるノード間の距離を前記類似度閾値とし、当該注目するノードと辺によって直接的に接続されるノードが存在しない場合には、当該注目するノードからの距離が最小であるノード間の距離を前記類似度閾値として算出する類似度閾値算出ステップと、
前記入力ベクトルと前記第１勝者ノード間の距離が当該第１勝者ノードの類似度閾値より大きいか否か、及び、前記入力ベクトルと前記第２勝者ノード間の距離が当該第２勝者ノードの類似度閾値より大きいか否かを判定する類似度閾値判定ステップと、
類似度閾値判定結果に基づいて、前記入力ベクトルをノードとして当該入力ベクトルと同じ位置に挿入するノード挿入ステップとを有する
ことを特徴とする請求項２３記載のパターン認識方法。
【請求項２５】
前記自己増殖型ニューラルネットワークは、
前記辺に対応付けられる辺の年齢に基づいて、当該辺を削除する辺削除ステップと、
注目するノードについて、当該注目するノードに直接的に接続される辺の本数に基づいて、当該注目するノードを削除するノード削除ステップとを更に有する
ことを特徴とする請求項２３記載のパターン認識方法。
【請求項２６】
前記自己増殖型ニューラルネットワークは１層構造である
ことを特徴とする請求項１４記載のパターン認識方法。
【請求項２７】
請求項１４乃至２６いずれか１項記載のパターン認識処理をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１７】
【図２０】
【図２１】
【図２２】
【図３】
【図４】
【図１３】
【図１６】
【図１８】
【図１９】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１７】
【図２０】
【図２１】
【図２２】
【図３】
【図４】
【図１３】
【図１６】
【図１８】
【図１９】
【公開番号】特開２００８−２９９６４０（Ｐ２００８−２９９６４０Ａ）
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願番号】特願２００７−１４５６０１（Ｐ２００７−１４５６０１）
【出願日】平成１９年５月３１日（２００７．５．３１）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願日】平成１９年５月３１日（２００７．５．３１）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]