並列演算装置および並列演算方法
【課題】複数の演算ユニット間の配線を簡易にすることを可能とする並列演算装置を提供する。
【解決手段】並列演算装置が、予め定められた識別番号である固有ユニット番号によりそれぞれが識別される複数のユニットと、複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バスを介して入力されたことに応じて、該入力された入力値と複数のユニットの中から選択したいずれか１つのユニットを選択する識別番号である選択ユニット番号とを含む制御データを、複数のユニットのそれぞれにユニット入力バスを介して出力する分配制御部と、を有する。ユニットは、入力された制御データに含まれる入力値に基づいてユニット毎に予め定められた演算方法により演算し、データ入力部に入力された制御データに含まれる選択ユニット番号と固有ユニット番号とが一致する場合には、演算結果を出力値として分配制御部にユニット出力バスを介して出力する。
【解決手段】並列演算装置が、予め定められた識別番号である固有ユニット番号によりそれぞれが識別される複数のユニットと、複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バスを介して入力されたことに応じて、該入力された入力値と複数のユニットの中から選択したいずれか１つのユニットを選択する識別番号である選択ユニット番号とを含む制御データを、複数のユニットのそれぞれにユニット入力バスを介して出力する分配制御部と、を有する。ユニットは、入力された制御データに含まれる入力値に基づいてユニット毎に予め定められた演算方法により演算し、データ入力部に入力された制御データに含まれる選択ユニット番号と固有ユニット番号とが一致する場合には、演算結果を出力値として分配制御部にユニット出力バスを介して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の演算ユニットを有する並列演算装置に関し、特に、複数の演算ユニット間の接続を簡易にすることを可能とする並列演算装置に関する。
【背景技術】
【０００２】
並列演算の１つとして、ニューラルネットワークが知られている。このニューラルネットワークは、脳機能に見られるいくつかの特性を表現することを目指した数学モデルである。このニューラルネットワークによる処理は、入力されたデータの情報量を削減することが可能であるため、画像や統計など多次元量のデータでかつ線形分離不可能な問題に対して、比較的小さい計算量で良好な解を得られることが多い。そのためニューラルネットワークは、パターン認識やデータマイニングをはじめ、さまざまな分野において応用されている。
【０００３】
ここで、大規模なニューラルネットワークを実現しようとすると、その計算量が膨大となるため、現実的な時間での処理が難しくなる。これを解決する方法として、（１）単体プロセッサ自体のコンピューティングパワーを上げる方法、（２）プロセッサを複数用いる並列コンピューティングの手法を用いる方法、（３）機能をＬＳＩ等によりハードウェアにより実装する方法、等が考えられる。上記（１）と（２）との方法は、プロセッサの能力を上げることで膨大な計算量に対処しようとするものであり、プログラムを変更することで様々なニューラルネットワークのアルゴリズムに対応することができる。
【０００４】
ここで（１）の方法においては、従来、単体プロセッサのクロック周波数を高速化することで単体プロセッサ自体のコンピューティングパワーを上げてきていた。しかし、近年、クロック周波数の高速化は発熱量を増加させ、また、微細加工寸法が物理的限界に達しつつあることからムーアの法則が破綻しつつあり、単体プロセッサ自体のコンピューティングパワーを上げることが難しくなってきている。そのため、（１）の方法から（２）の方法へと、プロセッサのコンピューティングパワーを上げる方法の開発がシフトしてきており、コンピューティングパワーを上げるという高性能化と、発熱を抑えることの両立をより進めるために、より大きなキャッシュと複数の計算コアを持つことに焦点が当てられている。また、このプロセッサの開発は、低いクロック周波数で動作し、低電力化で動作するようにも、進められている。
【０００５】
しかし、（２）の方法においては、膨大なプロセッサを効率的に動作させる方法、つまり並列度を上げることと、複数のプロセッサ間の膨大なデータ通信を可能とするネットワークの構成が難しいことが本質的な問題としてある。そのため、（２）の方法である、プロセッサを複数用いる並列コンピューティングの手法を用いる方法により、大規模なニューラルネットワークの並列演算効率を上げることは、難しい。
【０００６】
一方、（３）の方法であるハードウェア化に関しては、ハードウェアで実現可能なニューラルネットワークのアルゴリズムに制限があるが、特定な用途に対しては（１）または（２）の方法に比べ、低周波数での場合でも、桁違いな演算速度の性能を発揮することが可能である。このような、並列演算をハードウェア化する技術として、特許文献１および特許文献２が知られている。
【特許文献１】特開平６−１９５４５４号公報
【特許文献２】特開平２００６−３９７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、（３）の方法であるハードウェア化に関しての特許文献１および特許文献２の従来技術においては、配線の問題があり、配線のために回路規模が膨大となり、または、回路間の配線が出来ないという問題がある。例えば、多層型のニューラルネットワークにおいては、出力層のあるノードからの出力を、入力層の全てのノードの入力に入力することが必要となり、各層のノード数が増大すると、その配線量が急激に増大してしまう。
【０００８】
また、例えば、実際の脳のニューラルネットワークの場合、ニューロンは３次元空間に配置され配線されているのに対し、ＬＳＩのようなハードウェアによる構成では構成要素の配置は２次元が基本であるため、配線の問題を本質的には解決できない。積層構造などで構成要素を３次元化しようとしても配線の問題は残るので、応用は限られた配線（近傍のみとの結合）で事足りるような用途に限定される。
【０００９】
また、このような複数の演算ユニット間の配線の問題は、ニューラルネットワークに限られるものではなく、演算ユニットの出力を、一度に複数の演算ユニットに入力することが計算上必要な場合に、問題となる。階層型ニューラルネットワークや自己組織化マップのような一般のニューラルネットワーク以外にも、例えば、重力多体問題、電荷を持った多体粒子のシミュレーション、信号のフィルタリング、などがある。
【００１０】
本発明は、このような事情に鑑みてなされたもので、その目的の一つは、複数の演算ユニット間の配線を簡易にすることを可能とする並列演算装置および並列演算方法を提供することにある。
【課題を解決するための手段】
【００１１】
この発明は上述した課題を解決するためになされたもので、並列演算装置が、予め定められた識別番号である固有ユニット番号によりそれぞれが識別される複数のユニットと、前記複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バスを介して入力されたことに応じて、該入力された入力値と前記複数のユニットの中から選択したいずれか１つのユニットを選択する識別番号である選択ユニット番号とを含む制御データを、前記複数のユニットのそれぞれにユニット入力バスを介して出力する分配制御部と、を有し、前記ユニットが、前記ユニット入力バスを介して前記分配制御部からの制御データを入力するデータ入力部と、前記データ入力部に入力された制御データに含まれる選択ユニット番号と、前記固有ユニット番号とが一致するか否かを判定するユニット番号一致判定部と、前記データ入力部に入力された制御データに含まれる入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算するユニット演算部と、前記ユニット番号一致判定部が判定した結果が一致である場合には、前記ユニット演算部が演算した結果である演算結果を前記出力値として、前記分配制御部に前記ユニット出力バスを介して出力するデータ出力部と、を有することを特徴とする並列演算装置である。
【００１２】
この発明によれば、並列演算装置の複数の演算ユニット間の接続を簡易にすることが出来るという効果を奏する。また、複数のユニットが並列に演算をするため、高速に演算することが出来るという効果を奏する。
【００１３】
また、この発明は、前記分配制御部は、前記制御データに、前記ユニット演算部の演算方法を選択するための制御コードを含めており、前記ユニットが、前記データ入力部に入力された制御データから前記制御コードを抽出する制御コード抽出部を有し、前記ユニット演算部が、前記制御コード抽出部が抽出した制御データと前記ユニット番号一致判定部が判定した結果とに基づいて前記演算を実行する、または、前記演算を実行させるユニット制御部を有する、ことを特徴とする並列演算装置である。
【００１４】
この発明によれば、制御コードを用いて、分配制御部が全てのユニットを制御することが出来るという効果を奏する。また、分配制御部が全てのユニットを制御することにより、各ユニットの構成、および、分配制御部と各ユニットとの接続などの並列演算装置全体の構成が、より簡易となる効果を奏する。
【００１５】
また、この発明は、前記分配制御部が、前記ユニット出力バスを介して前記複数のユニットの中のいずれか１つのユニットが出力する出力値を入力するユニット出力値入力部と、前記ユニット出力値入力部に入力された出力値に基づいて、予め定められた処理手順により前記制御データを生成する制御データ生成部と、前記制御データ生成部が生成した制御データを前記複数のユニットのそれぞれに前記ユニット入力バスを介して出力する制御データ出力部と、を有することを特徴とする並列演算装置である。
【００１６】
この発明によれば、分配制御部がユニット出力値入力部に入力された出力値に基づいて、予め定められた処理手順により制御データを生成することが可能となり、例えば、階層型ニューラルネットワークや自己組織化マップなどの目的とする演算方法に応じて、制御データを生成することが可能となる効果を奏する。
【００１７】
また、この発明は、前記ユニットが、前記演算結果が記憶されるユニット出力記憶部を有し、前記ユニット演算部が、前記演算結果を前記ユニット出力記憶部に記憶させ、前記データ出力部が、前記ユニット番号一致判定部が判定した結果が一致である場合には、前記演算結果を前記ユニット出力記憶部から読み出し、該読み出した演算結果を前記出力値として前記分配制御部に前記ユニット出力バスを介して出力する、ことを特徴とする並列演算装置である。
【００１８】
この発明によれば、各ユニットが演算結果をユニット出力記憶部に記憶しておき、例えば、階層型ニューラルネットワークや自己組織化マップなどの全体の演算処理において、適切なタイミングで出力することができるという効果を奏する。
【００１９】
また、この発明は、前記ユニットが、前記固有ユニット番号が予め記憶されている固有ユニット番号記憶部と、前記データ入力部に入力された制御データから前記選択ユニット番号を抽出する選択ユニット番号抽出部と、前記データ入力部に入力された制御データから前記入力値を抽出する入力値抽出部と、を有し、前記ユニット番号一致判定部は、前記選択ユニット番号抽出部が抽出した選択ユニット番号と、前記固有ユニット番号記憶部から読み出した固有ユニット番号とが一致するか否かを判定し、前記ユニット演算部は、前記入力値抽出部が抽出した入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算する、ことを特徴とする並列演算装置である。
【００２０】
また、この発明は、前記並列演算装置が階層型ニューラルネットワークを演算する並列演算装置である場合には、前記ユニット演算部が、前記階層型ニューラルネットワークの階層のうち、出力する層を識別する層情報が記憶されている層情報記憶部と、前記ユニットの出力関数と前記層情報とが関連付けて予め記憶されている関数記憶部と、前記層情報で識別される出力層のユニットからの出力値に乗ずる予め定められた結合荷重と、前記層情報とが関連付けて記憶されている重み記憶部と、前記出力ユニットからの入力値と結合荷重とを乗じた積和計算一次値情報が記憶される積和計算一次値記憶部と、前記ユニット制御部の選択に応じて、前記層情報記憶部から読み出した層情報に該当する結合荷重を前記重み記憶部から読み出し、該読み出した結合荷重と、前記データ入力部に入力された入力値とを乗算し、該乗算した値を前記積和計算一次値記憶部に記憶されている積和計算一次値情報に加算して記憶させる積和計算一次値算出部と、前記ユニット制御部の選択に応じて、前記積和計算一次値記憶部から積和計算一次値情報を読み出し、前記層情報記憶部から読み出した層情報に該当する出力関数を前記関数記憶部から読み出し、該読み出した出力関数に前記読み出した積和計算一次値情報を代入することにより出力値を算出し、該算出した出力値を前記ユニット出力記憶部に記憶させるユニット出力算出部と、を有することを特徴とする並列演算装置である。
【００２１】
この発明によれば、並列演算装置を階層型ニューラルネットワークに適応可能となる効果を奏する。
【００２２】
また、この発明は、前記ユニット演算部が、前記出力層に属しているユニットのうち、いずれのユニットが出力ユニットとして出力しているかを示す配信ユニット識別情報が記憶されている前段ユニット番号記憶部、を有し、前記重み記憶部には、前記層情報と前記配信ユニット識別情報とで識別される前記出力層のユニットからの出力値に乗ずる予め定められた結合荷重と、前記層情報と前記配信ユニット識別情報とが、関連付けて記憶されており、前記積和計算一次値算出部が、前記前段ユニット番号記憶部から読み出した配信ユニット識別情報と前記層情報記憶部から読み出した層情報とに該当する結合荷重を前記重み記憶部から読み出し、該読み出した結合荷重と、前記データ入力部に入力された入力値とを乗算し、該乗算した値を前記積和計算一次値記憶部に記憶されている積和計算一次値情報に加算して記憶させる、ことを特徴とする並列演算装置である。
【００２３】
この発明によれば、複数の層からなっており層間が複数のノードにより結合している階層型ニューラルネットワークの演算が可能となる効果を奏する。
【００２４】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが、積和計算一次値を初期化することを示す場合には、前記ユニット制御部が、前記積和計算一次値記憶部に記憶されている積和計算一次値情報を０に初期化する、ことを特徴とする並列演算装置である。
【００２５】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが、積和計算一次値を算出し加算格納することを示し、該制御データが出力値と該出力値を出力しているユニットのユニット識別情報である配信ユニット識別情報とを含む場合には、前記ユニット制御部が、前記配信ユニット識別情報を前記前段ユニット番号記憶部に記憶し、前記出力値に基づいて前記積和計算一次値算出部の処理を実行させる、ことを特徴とする並列演算装置である。
【００２６】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードがユニット出力演算を実行することを示す場合には、前記ユニット制御部が、前記ユニット出力算出部の処理を実行させる、ことを特徴とする並列演算装置である。
【００２７】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードがアクティブなユニットとして出力値を出力することを示し、該制御データが選択ユニット番号を含む場合には、前記ユニット制御部が、前記ユニット番号一致判定部が判定した結果が一致である場合には、前記演算結果を前記ユニット出力記憶部から読み出し、該読み出した演算結果を前記出力値として前記分配制御部に前記データ出力部と前記ユニット出力バスとを介して出力する、ことを特徴とする並列演算装置である。
【００２８】
また、この発明は、前記データ入力部に入力された制御データが配信層情報を含む場合には、前記ユニット制御部が、前記データ入力部に入力された制御データに含められた配信層情報を前記層情報記憶部に記憶する、ことを特徴とする並列演算装置である。
【００２９】
また、この発明は、前記分配制御部が、前記積和計算一次値を初期化することを示す制御コード、前記出力値と前記配信ユニット識別情報とを含み、前記積和計算一次値を算出し加算格納することを示す制御コード、前記ユニット出力演算を実行することを示す制御コード、前記アクティブなユニットとして出力値を出力することを示す制御コード、または、前記配信層情報を含む制御データを含む制御データを、前記階層型ニューラルネットワークの階層数と該階層のノード数とに合わせて予め定められた順序で出力する、ことを特徴とする並列演算装置である。
【００３０】
また、この発明は、前記並列演算装置が自己組織化マップを演算する並列演算装置である場合には、前記固有ユニット番号にかわってユニット固有のネットワーク座標であるユニットネットワーク座標により前記複数のユニットのそれぞれが識別されており、前記ユニット演算部が、前記ユニットネットワーク座標が予め記憶されているユニットネットワーク座標記憶部と、前記ユニットの結合重みベクトルが記憶されている重み記憶部と、前記ユニットのノルムであるユニットノルムを記憶するユニットノルム記憶部と、ノルムを算出することを示す制御コードと入力ベクトルとを含む制御データを前記ユニット制御部から前記データ入力部に入力した場合には、前記データ入力部に入力された入力データベクトルと、前記重み記憶部から読み出した結合重みベクトルとのノルムを算出し、該算出したノルムを前記ユニットノルムとして前記ユニットノルム記憶部に記憶させるノルム算出部と、を有し、ノルムを出力することを示す制御コードと入力ネットワーク座標とを含む制御データを前記ユニット制御部から前記データ入力部に入力した場合には、前記ユニット制御部が、該入力された入力ネットワーク座標と前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致する場合には、前記ユニットノルム記憶部から読み出したユニットノルムを前記データ出力部を介して出力する、ことを特徴とする並列演算装置である。
【００３１】
この発明によれば、並列演算装置が自己組織化マップを演算することが可能となる効果を奏する。
【００３２】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが重みを設定することを示し、入力ネットワーク座標と入力結合重みベクトルとを含んでいる場合には、前記ユニット制御部が、入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、前記ユニット番号一致判定部が、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、重み記憶部に記憶されている結合重みベクトルを、受信した制御データに含まれる入力結合重みベクトルに更新する、ことを特徴とする並列演算装置である。
【００３３】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが学習速度と近傍距離とを設定することを示し、入力学習速度と入力近傍距離とを含んでいる場合には、前記ユニット制御部が、学習速度記憶部に記憶されている学習速度を受信した制御データに含まれる入力学習速度に更新するとともに、距離記憶部に記憶されている基準距離を受信した制御データに含まれる入力近傍距離に更新する、ことを特徴とする並列演算装置である。
【００３４】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが実数ベクトルの次元数を設定すること示し、入力次元数Ｎを含んでいる場合には、前記ユニット制御部が、実数ベクトル次元数記憶部に記憶されている次元数を受信した制御データに含まれる入力次元数に更新する、ことを特徴とする並列演算装置である。
【００３５】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードがノルムを算出することを示し、入力ベクトルを含んでいる場合には、前記ユニット制御部が、入力データ記憶部に記憶されている入力データベクトルを入力ベクトルに更新し、前記ノルム算出部が、該更新した入力ベクトルと重み記憶部から読み出した結合重みベクトルとのノルムを算出し、該算出したノルムをユニットノルムとしてユニットノルム記憶部に記憶させる、ことを特徴とする並列演算装置である。
【００３６】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードがノルムを出力することを示し、入力ネットワーク座標を含んでいる場合には前記ユニット制御部が、入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、前記ユニット番号一致判定部が、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、前記ユニットノルム記憶部から読み出したユニットノルムを前記データ出力部と前記ユニット出力バスとを介して前記分配制御部に出力する、ことを特徴とする並列演算装置である。
【００３７】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが学習することを示し、入力ネットワーク座標を含んでいる場合には、前記ユニット制御部が、前記入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標を、前記制御データに含まれていた入力ネットワーク座標に更新し、前記演算部が、前記データ入力部に入力された制御データに含まれる制御コードが学習することを示す場合には、前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標と前記入力ネットワーク座標記憶部から読み出した入力ネットワーク座標との間の距離を算出し、該算出した距離が、前記距離記憶部から読み出した距離以下であるか否かを判定することにより、ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標が、入力ネットワーク座標記憶部から読み出した入力ネットワーク座標の近傍にあるか否かを判定する近傍判定部と、前記近傍判定部の判定した結果が近傍である場合には、前記入力データ記憶部から読み出した入力データベクトルと前記重み記憶部から読み出した結合重みベクトルとの差を算出し、該算出した差に前記学習速度記憶部から読み出した学習速度係数を乗じた値を、重み記憶部に記憶されている結合重みベクトルに加算し、重み記憶部に記憶されている結合重みベクトルを更新する重み更新部と、を有することを特徴とする並列演算装置である。
【００３８】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが学習結果を出力することを示し、入力ネットワーク座標を含んでいる場合には、前記ユニット制御部が、前記入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、前記ユニット番号一致判定部が、該更新した入力ネットワーク座標と前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、前記重み記憶部から読み出した結合重みベクトルを、データ出力部と前記ユニット出力バスとを介して前記分配制御部に出力する、ことを特徴とする並列演算装置である。
【００３９】
また、この発明は、前記分配制御部が、前記重みを設定することを示す制御コード、前記学習速度と近傍距離とを設定することを示す制御コード、実数ベクトルの次元数を設定すること示す制御コード、ノルムを算出することを示す制御コード、ノルムを出力することを示す制御コード、学習することを示す制御コード、または、学習結果を出力することを示す制御コードを含む制御データを、前記複数のユニットの数および学習回数に合わせて予め定められた順序で出力する、ことを特徴とする並列演算装置である。
【００４０】
また、この発明は、前記複数のユニットと前記分配制御部とを接続する前記ユニット出力バスとユニット出力バスとが、互いに接続可能な第１の接続部と第２の接続部とにより分離し、前記複数のユニットと前記第１の接続部とを含む第１の装置とし、前記分配制御部と前記第２の接続部とを含む第２の装置とする、ことを特徴とする並列演算装置である。
【００４１】
また、この発明は、予め定められた識別番号である固有ユニット番号によりそれぞれが識別される複数のユニットと、前記複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バスを介して入力されたことに応じて、該入力された入力値と前記複数のユニットの中から選択したいずれか１つのユニットを選択する識別番号である選択ユニット番号とを含む制御データを、前記複数のユニットのそれぞれにユニット入力バスを介して出力する分配制御部と、を有する並列演算装置で用いられる並列演算であって、前記ユニットが、前記ユニット入力バスを介して前記分配制御部からの制御データを入力し、前記データ入力部に入力された制御データに含まれる選択ユニット番号と、前記固有ユニット番号とが一致するか否かを判定し、前記入力された制御データに含まれる入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算し、前記判定した結果が一致である場合には、前記演算した結果である演算結果を前記出力値として、前記分配制御部に前記ユニット出力バスを介して出力する、ことを特徴とする並列演算方法である。
【発明を実施するための最良の形態】
【００４２】
＜第１の基本構成＞
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による並列演算装置の構成（第１の基本構成）を示す概略ブロック図である。ここでは、ユニットＵ１からＵ１０の、ユニットの個数が１０である場合について説明する。なお、このユニットの詳細については、後述する。
【００４３】
複数のユニットＵ１からＵ１０は、予め定められた順序であるデイジーチェーン順序で、デイジーチェーン制御バス１を介してデイジーチェーンされている。ここでは、このデイジーチェーン順序は、ユニットＵ１、ユニットＵ２、ユニットＵ３、・・・ユニットＵ１０の順と、予め定められているものとして説明する。また、デイジーチェーン制御バス１は、デイジーチェーン順序で隣接するユニット同士を接続している。例えば、デイジーチェーン制御バス１は、ユニットＵ１とユニットＵ２、ユニットＵ２とユニットＵ３、・・・ユニットＵ１０とユニットＵ１、を接続している。また、このデイジーチェーン制御バス１は、ユニットＵ１からＵ１０をデイジーチェーン順序で循環的に接続している。そのため、ユニットＵ１０とユニットＵ１とも、デイジーチェーン制御バス１を介して接続されている。
【００４４】
ユニットＵ１からＵ１０のそれぞれのユニットは、トークンをデイジーチェーン順序で、デイジーチェーン制御バス１を介してユニット間で送受信している。このトークンは、デイジーチェーンされたユニットＵ１からＵ１０の、いずれかの１つのユニットが有しており、このトークンを有しているユニットが、出力ユニットとなることを示す信号である。ユニットは、トークンを有しているユニットのみが出力ユニットとなり、また、全てのユニットが入力ユニットとなる。
【００４５】
この各ユニットは、ユニット出力バス２を介して入力される増幅器４からの入力値に基づいて、ユニット毎に予め定められた演算方法により演算する。また、各ユニットは、トークンがデイジーチェーン順序で前のユニットからデイジーチェーン制御バス１を介して入力されたことに応じて、トークンをデイジーチェーン順序で次のユニットにデイジーチェーン制御バス１を介して出力すると共に、演算した結果を出力値として増幅器４にユニット出力バス２を介して出力する。
【００４６】
増幅器（中継器）４は、複数のユニットＵ１からＵ１０の内のいずれか１つが出力する出力値がユニット出力バス２を介して入力され、入力された出力値を複数のユニットＵ１からＵ１０のそれぞれに、ユニット入力バス３を介して入力値として出力する。また、増幅器４は、入力された出力値の信号を、電気的に増幅して、入力値として出力する。
【００４７】
また、ユニット出力バス２の一端が、並列演算装置の出力端子Ｐ１に接続されている。また、増幅器４の入力端子に、並列演算装置の入力端子Ｐ２に接続されている。また、ユニットＵ１は、トリガ入力線５を介して、トリガ入力端子Ｐ３と、接続されている。また、出力端子Ｐ１、入力端子Ｐ２、トリガ入力端子Ｐ３は、並列演算装置の外部にある制御装置に接続されている。制御装置は、出力端子Ｐ１、入力端子Ｐ２、トリガ入力端子Ｐ３を介して、並列演算装置にデータを入力し、並列演算装置から演算結果を取得し、また、並列演算装置を制御する。
【００４８】
次に、図２を用いて、各ユニットの構成について説明する。なお、ユニットＵ１からＵ１０は同一の構成を有するため、ここでは、ユニットＵ２の構成のみについて説明する。ユニットＵ２は、トークン入力部１２と、トークン出力部１３と、データ入力部１１と、データ出力部１４と、ユニット演算部１５と、ユニット出力記憶部１６と、を有する。
【００４９】
トークン入力部１２は、デイジーチェーン制御バス１を介してデイジーチェーンされている順序が１つ前のユニットからのトークンを入力する。例えば、ユニットＵ２のトークン入力部１２は、デイジーチェーン制御バス１を介してデイジーチェーンされている順序が１つ前のユニットであるユニットＵ１からのトークンを入力する。なお、ユニットＵ１のトークン入力部１２は、ユニットＵ１０からのトークンがトークンデイジーチェーン制御バス１を介して入力されるだけでなく、制御装置からのトークンがトリガ入力端子Ｐ３とトリガ入力線５とを介して入力される。
【００５０】
トークン出力部１３は、トークン入力部にトークンが入力されたことに応じて、トークンをデイジーチェーンされている順序が１つ後のユニットへデイジーチェーン制御バス１を介して出力する。例えば、ユニットＵ２のトークン出力部１３は、デイジーチェーン制御バス１を介してデイジーチェーンされている順序が１つ後のユニットであるユニットＵ３へトークンを出力する。
【００５１】
データ入力部１１は、ユニット出力バス２を介して増幅器４からの入力値を入力する。ユニット出力記憶部１６は、ユニット演算部１５が演算した結果である演算結果が記憶される。ユニット演算部１５は、データ入力部１１に入力された入力値に基づいて、ユニット毎に予め定められた演算方法により演算する。また、ユニット演算部１５は、演算した結果である演算結果を、ユニット出力記憶部１６に記憶させる。
【００５２】
データ出力部１４は、トークン入力部１２にトークンが入力されたことに応じて、ユニット演算部１５が演算した結果である演算結果を出力値として、増幅器４にユニット出力バス２を介して出力する。また、データ出力部１４は、トークン入力部１２にトークンが入力されたことに応じて、ユニット出力記憶部１６から演算結果を読み出し、読み出した演算結果を出力値として、増幅器４にユニット出力バス２を介して出力する。
【００５３】
なお、後述するように、並列演算装置が、トリガであるトークンをユニットＵ１にトリガ入力端子Ｐ３を介して入力し、ユニットＵ１から順にトークンがユニット間で順次渡されていくことにより、並列演算装置の各ユニットでの処理が実行される。この並列演算装置の動作については、次に説明する並列演算装置を階層型ニューラルネットワークに適応した場合を例にして説明する。
【００５４】
＜第１の実施形態＞
＜階層型ニューラルネットワークに適応した場合のユニットの構成＞
次に、並列演算装置を、階層型ニューラルネットワークに適応した場合の構成について説明する。階層型ニューラルネットワークにおいても並列演算装置全体の構成は、図１の並列演算装置の構成と同一であり、ユニットの構成のみが異なる。従って、図３を用いて、階層型ニューラルネットワークに適応した場合のユニットの構成を説明する。
【００５５】
ユニットは、データ入力部１０１と、トークン入力部１０２と、トークン出力部１０３と、データ出力部１０４とを有する。また、ユニットは、重み記憶部１３０と、層情報記憶部１３３と、ユニット数記憶部１３４と、積和計算一次値記憶部１３１と、関数記憶部１３２と、ユニット出力記憶部１３５と、データ出力フラグ記憶部１３６と、ユニット識別情報記憶部１３７とを有する。また、ユニットは、カウンタ１１４と、積和計算一次値算出部１１１と、層情報算出部１１３と、ユニット出力算出部１１２とを有する。
【００５６】
ここで、図３のデータ入力部１０１、トークン入力部１０２、トークン出力部１０３、データ出力部１０４は、図２のデータ入力部１１、トークン入力部１２、トークン出力部１３、データ出力部１４に、それぞれ対応する。また、図３のユニット出力記憶部１３５が、図２のユニット出力記憶部１６に対応する。これらの図２と図３とにおいて対応する構成について、共通の機能については、その説明を省略する。
【００５７】
また、図３の重み記憶部１３０と、層情報記憶部１３３と、ユニット数記憶部１３４と、積和計算一次値記憶部１３１と、関数記憶部１３２と、データ出力フラグ記憶部１３６と、ユニット識別情報記憶部１３７と、カウンタ１１４と、積和計算一次値算出部１１１と、層情報算出部１１３と、ユニット出力算出部１１２とが、図２のユニット演算部１５に対応する。
【００５８】
層情報記憶部１３３には、階層型ニューラルネットワークの階層のうち、アクティブな層（出力層）を識別する層情報が記憶されている。ユニット識別情報記憶部１３７には、アクティブな層に属しているユニットのうち、いずれのユニットが出力しているかを示すユニット識別情報が記憶されている。関数記憶部１３２には、ユニットの出力関数と層情報とが関連付けて予め記憶されている。この出力関数とは、例えば、シグモイド関数、ステップ関数、区分線形関数などの、予め定められた関数である。
【００５９】
重み記憶部１３０には、層情報で識別されるアクティブな層のユニットからの出力値に乗ずる予め定められた結合荷重と、層情報とが関連付けて記憶されている。また、重み記憶部１３０には、層情報とユニット識別情報とで識別される層のユニットからの出力値に乗ずる予め定められた結合荷重と、層情報とユニット識別情報とが、関連付けて記憶されている。
【００６０】
ユニット数記憶部１３４には、層情報と層情報で識別される階層に属する階層型ニューラルネットワークのユニット数とが関連付けて予め記憶されている。積和計算一次値記憶部１３１には、前段ユニットに相当するユニットからの入力値と結合荷重とを乗じた積和計算一次値情報が記憶される。データ出力フラグ記憶部１３６には、データ出力部１０４が出力値を出力済みであるか否かを示すデータ出力フラグが記憶されている。カウンタ１１４は、データ入力部１０１に入力値が入力される毎に、ユニット識別情報記憶部１３７に記憶されているユニット識別情報の値をインクリメントする。
【００６１】
ユニット数比較部１１５は、層情報記憶部１３３から層情報を読み出し、読み出した層情報に該当するユニット数をユニット数記憶部１３４から読み出し、ユニット識別情報記憶部１３７からユニット識別情報を読み出し、読み出したユニット識別情報の値と読み出したユニット数とを比較し、比較した結果が一致した場合に、読み出したユニット識別情報の値と読み出したユニット数とが一致したことを示す比較一致信号を出力する。また、ユニット数比較部１１５は、読み出したユニット識別情報の値と読み出したユニット数とを比較し、比較した結果が一致した場合に、ユニット識別情報記憶部１３７に記憶されているユニット識別情報の値をリセットする。
【００６２】
積和計算一次値算出部１１１は、層情報記憶部１３３から読み出した層情報に該当する結合荷重を重み記憶部１３０から読み出し、読み出した結合荷重と、データ入力部１０１に入力された入力値とを乗算し、乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる。
【００６３】
また、積和計算一次値算出部１１１は、ユニット識別情報記憶部１３７から読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出し、読み出した結合荷重と、データ入力部１０１に入力された入力値とを乗算し、乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる。
【００６４】
ユニット出力算出部１１２は、積和計算一次値記憶部１３１から積和計算一次値情報を読み出し、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出し、読み出した出力関数に読み出した積和計算一次値情報を代入することにより出力値を算出し、算出した出力値をユニット出力記憶部１３５に記憶させる。
【００６５】
また、ユニット出力算出部１１２は、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、積和計算一次値記憶部１３１から積和計算一次値情報を読み出し、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出し、読み出した出力関数に読み出した積和計算一次値情報を代入することにより出力値を算出し、算出した出力値をユニット出力記憶部１３５に記憶させる。
また、ユニット出力算出部１１２は、積和計算一次値記憶部１３１から積和計算一次値情報を読み出した後、積和計算一次値記憶部１３１に記憶されている積和計算一次値情報の値を０にリセットする。
【００６６】
層情報算出部１１３は、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、層情報記憶部１３３に記憶されている層情報の値をインクリメントする。データ出力部１０４は、トークン入力部１０２にトークンが入力されたことに応じて、データ出力フラグ記憶部１３６のデータ出力フラグを出力済みに設定する。
【００６７】
トークン出力部１０３は、データ入力部１０１に入力値が入力されたことに応じて、データ出力フラグ記憶部１３６からデータ出力フラグを読み出し、該読み出したデータ出力フラグが出力済みに設定されている場合には、トークンを出力する（トークン出力手順）。また、トークン出力部１０３は、トークンを出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを未出力に設定する。
【００６８】
なお、トークン出力部１０３は、データ入力部１０１に入力値が入力されたことに応じて、データ出力フラグ記憶部１３６からデータ出力フラグを読み出し、読み出したデータ出力フラグが出力済みに設定されている場合には、トークンを出力するという上記トークン出力手順の代わりに、積和計算一次値算出部１１１にデータ入力部１０１からの入力値が入力されたことに応じて、データ出力フラグ記憶部１３６からデータ出力フラグを読み出し、該読み出したデータ出力フラグが出力済みに設定されている場合には、トークンを出力してもよい。
【００６９】
＜階層型ニューラルネットワークに適応した場合のユニットの動作＞
次に、図４と図５とを用いて、図３の階層型ニューラルネットワークに適応した場合のユニットの動作について説明する。まず、図４を用いて、ユニットに入力値が入力された場合の動作について説明する。
【００７０】
まず、データ入力部１０１に、増幅器４からユニット入力バス３を介して入力値が入力される（ステップＳ１００）。次に、ステップＳ１００で、データ入力部１０１に入力値が入力されたことに応じて、カウンタ１１４がユニット識別情報記憶部１３７に記憶されているユニット識別情報の値を、１つインクリメントする（ステップＳ１０１）。
【００７１】
また、ステップＳ１００で、データ入力部１０１に入力値が入力されたことに応じて、積和計算一次値算出部１１１が、ユニット識別情報記憶部１３７から読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出し、読み出した結合荷重と、データ入力部１０１に入力された入力値とを乗算し、乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる。
【００７２】
次に、ユニット数比較部１１５が、層情報記憶部１３３から層情報を読み出し、読み出した層情報に該当するユニット数をユニット数記憶部１３４から読み出し、ユニット識別情報記憶部１３７からユニット識別情報を読み出し、読み出したユニット識別情報の値と読み出したユニット数とを比較し、比較した結果が一致した場合に、読み出したユニット識別情報の値と読み出したユニット数とが一致したことを示す比較一致信号を出力する（ステップＳ１０３）。また、このユニット数比較部１１５が、読み出したユニット識別情報の値と読み出したユニット数とを比較し、比較した結果が一致した場合に、ユニット識別情報記憶部１３７に記憶されているユニット識別情報の値をリセットする。
【００７３】
次に、ステップＳ１０３にて比較した結果が一致した場合には、層情報算出部１１３が、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、層情報記憶部１３３に記憶されている層情報の値をインクリメントする（ステップＳ１０４）。
【００７４】
次に、ステップＳ１０３にて比較した結果が一致した場合には、ユニット出力算出部１１２は、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、積和計算一次値記憶部１３１から積和計算一次値情報を読み出し、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出し、読み出した出力関数に読み出した積和計算一次値情報を代入することにより出力値を算出し、算出した出力値をユニット出力記憶部１３５に記憶させる（ステップＳ１０５）。次に、このユニット出力算出部１１２は、積和計算一次値記憶部１３１から積和計算一次値情報を読み出した後、積和計算一次値記憶部１３１に記憶されている積和計算一次値情報の値を０にリセットする。
【００７５】
次に、または、ステップＳ１０３にて比較した結果が不一致であった場合には、トークン出力部１０３が、ステップＳ１００にてデータ入力部１０１に入力値が入力されたことに応じて、データ出力フラグ記憶部１３６からデータ出力フラグを読み出し、該読み出したデータ出力フラグが出力済みであるか否かを検出し（ステップＳ１０６）、データ出力フラグが出力済みに設定されている場合には、トークンを出力する（ステップＳ１０７）。
【００７６】
また、トークン出力部１０３は、ステップＳ１０７にてトークンを出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを未出力に設定し（ステップＳ１０８）、処理を終了する。一方、ステップＳ１０６にてデータ出力フラグが未出力に設定されている場合には、トークン出力部１０３は、処理を終了する。
【００７７】
次に、図５を用いて、ユニットにトークンが入力された場合の動作について説明する。まず、トークン入力部１０２に、デイジーチェーン制御バス１を介してデイジーチェーンされている順序が１つ前のユニットからのトークンが入力される（ステップＳ２００）。
【００７８】
次に、データ出力部１０４は、トークン入力部１０２にトークンが入力されたことに応じて、ユニット出力記憶部１３５から出力値（演算結果）を読み出し、読み出した出力値（演算結果）を出力値として、増幅器４にユニット出力バス２を介して出力する（ステップＳ２０１）。次に、データ出力部１０４は、トークン入力部１０２にトークンが入力されたことに応じて、データ出力フラグ記憶部１３６のデータ出力フラグを出力済みに設定して（ステップＳ２０２）、処理を終了する。
【００７９】
＜階層型ニューラルネットワークの全体の構成＞
次に、本実施形態による階層型ニューラルネットワークの全体の構成について、説明する。
ここでは、図６に示すように、階層型ニューラルネットワークとして、入力層Ｌ１、隠れ層Ｌ２、出力層Ｌ３の３層がある場合について説明する。各層は、層情報により識別されており、また、階層の層情報は、階層の順に層情報が１つずつ大きくなるようにして、識別されている。例えば、入力層Ｌ１の層情報が１、隠れ層Ｌ２の層情報が２、出力層Ｌ３の層情報が３として識別されている。
【００８０】
また、入力層Ｌ１には、Ｐ１０１、Ｐ１０２、Ｐ１０３の３個のノードがあり、隠れ層Ｌ２には、Ｐ２０１、Ｐ２０２、Ｐ２０３、Ｐ２０４、Ｐ２０５、Ｐ２０６、Ｐ２０７、Ｐ２０８、Ｐ２０９、Ｐ２１０の１０個のノードがあり、出力層Ｌ３には、Ｐ３０１、Ｐ３０２、Ｐ３０３の３個のノードがある場合について説明する。入力層Ｌ１の各ノードの出力は、隠れ層Ｌ２の各ノードの入力に入力され、また、隠れ層Ｌ２の各ノードの出力は、出力層Ｌ３の各ノードの入力に入力されている。
【００８１】
各層において、各ノードはユニット識別情報により識別されており、各ノードのユニット識別情報は、予め定められたノードの配置順に、ユニット識別情報が１つずつ大きくなるようにして設定されている。例えば、Ｐ１０１はユニット識別情報が１であり、Ｐ１０２はユニット識別情報が２であり、Ｐ１０３はユニット識別情報が３である。
【００８２】
本実施の形態においては、それぞれのユニットが、隠れ層Ｌ２、出力層Ｌ３のノードとして機能する。なお、この例においては、ユニットＵ１からユニットＵ３は、隠れ層Ｌ２、出力層Ｌ３のノードとして機能し、ユニットＵ４からユニットＵ１０は、隠れ層Ｌ２のノードとして機能する。ここで、制御装置が入力層Ｌ１として出力値を、増幅器４とユニット出力バス２とを介して、隠れ層Ｌ２としての各ユニットに、順次出力する。そのために、ここでは、各ユニットは、隠れ層Ｌ２と出力層Ｌ３として機能する。
例えば、ユニットＵ１は、隠れ層Ｌ２のノードＰ２０１と出力層Ｌ３のノードＰ３０１として機能する。また、ユニットＵ３は、隠れ層Ｌ２のノードＰ２０３と出力層Ｌ３のノードＰ３０３として機能する。また、ユニットＵ４は、隠れ層Ｌ２のノードＰ２０４として機能する。
【００８３】
ここで、あるユニットに値が入力された際、入力層Ｌ１、隠れ層Ｌ２、出力層Ｌ３のいずれの層からの入力であるかは、各ユニットにおいて、ユニットが有する層情報記憶部１３３に記憶してある層情報により判定される。
【００８４】
＜階層型ニューラルネットワークの全体の動作＞
次に、本実施形態による階層型ニューラルネットワークの、一例としての、全体の動作について説明する。ここでは、各ユニットが、出力層Ｌ３のノードとして機能し、トークンを入力されたいずれか１つのユニットが隠れ層Ｌ２のアクティブなノードとして機能する場合について説明する。この場合、各ユニットが出力層Ｌ３のノードとして機能し、アクティブな層が隠れ層Ｌ２であるため、各ユニットの層情報記憶部１３３には層情報の値として２が記憶されている。
【００８５】
まず、ノードＰ２０１であるユニットＵ１が、トークンが制御装置から入力されることにより、ユニット出力記憶部１３５から出力値を読み出し、出力値を出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを出力済みとして設定する（手順Ａ１００）。次に、ノードＰ２０１からの出力値が、ユニット出力バス２と増幅器４とユニット入力バス３とを介して、ユニットＵ１からＵ１０の各ユニットのデータ入力部１０１に入力される。
【００８６】
次に、ユニットＵ１からＵ１０の各ユニットは、ユニットＵ１からの入力値に基づいて、積和計算一次値算出部１１１が、ユニット識別情報記憶部１３７から読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出し、読み出した結合荷重と、データ入力部１０１に入力された入力値とを乗算し、乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる（手順Ａ１０１）。
ここで、各ユニットの積和計算一次値算出部１１１が、ユニット識別情報記憶部１３７から読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出すことにより、各ユニットは、層情報に基づいて出力層Ｌ３のノードとして機能し、また、層情報に基づいて、アクティブなユニットの属する層が隠れ層Ｌ２であると識別し、更に、ユニット識別情報に基づいてアクティブとなる隠れ層Ｌ２での各ノードを識別し、この隠れ層Ｌ２のアクティブとなるノードに対応する結合荷重を、このアクティブとなった隠れ層Ｌ２のノードからの出力値に乗ずることが可能となる。
【００８７】
ここで、ユニットＵ１のデータ出力フラグ記憶部１３６のデータ出力フラグは、出力済みとして設定されてあるため、ユニットＵ１のトークン出力部１０３は、データ入力部１０１に入力値が入力されたことに応じて、トークンを出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを未出力として設定する（手順Ａ１０２）。
【００８８】
次に、ユニットＵ１から出力されたトークンは、デイジーチェーン制御バス１を介して、デイジーチェーンされている順序が１つ後のユニットであるユニットＵ２のトークン入力部１２に入力される（手順Ａ１０３）。
【００８９】
ユニットＵ２はトークン入力部１２にトークンが入力されたことに応じて、上記に説明した手順Ａ１００でノードＰ１０１であるユニットＵ１が、トークンが入力された場合と同様に、ユニット出力記憶部１３５から出力値を読み出し、出力値を出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを出力済みとして設定する（手順Ａ１０４）。
【００９０】
以降、同様に、手順Ａ１０１から手順Ａ１０３を繰り返し、隠れ層Ｌ２のノードＰ２１０であるユニットＵ１０が、出力値を出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを出力済みとして設定する。
【００９１】
次に、出力層Ｌ３のノードＰ３０１からＰ３０３に該当するユニットＵ１からＵ３の各ユニットは、手順Ａ１０１と同様に、ユニットＵ１０からの入力値に基づいて、各ユニットの積和計算一次値算出部１１１が、ユニット識別情報記憶部１３７から読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出し、読み出した結合荷重と、データ入力部１０１に入力された入力値とを乗算し、乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる（手順Ａ１０５）。
【００９２】
ここで、ユニットＵ１０からの入力値が、各ユニットのデータ入力部１０１に入力されたことに応じて、各ユニットのカウンタ１１４は、ユニット識別情報記憶部１３７に記憶されているユニット識別情報の値をインクリメントし、ユニット識別情報の値は３となる（手順Ａ１０６）。
なお、各ユニットのユニット数記憶部１３４には、層情報と層情報で識別される階層に属する階層型ニューラルネットワークのユニット数とが関連付けて予め記憶されている。例えば、図６の階層型ニューラルネットワークの場合には、入力層Ｌ１の層情報である値１と、階層型ニューラルネットワークのユニット数、つまり、入力層Ｌ１のノード数である３とが、関連付けて予め記憶されている。また、例えば、図６の階層型ニューラルネットワークの場合には、隠れ層Ｌ２の層情報である値２と、階層型ニューラルネットワークのユニット数、つまり、隠れ層Ｌ２のノード数である１０とが、関連付けて予め記憶されている。
【００９３】
次に、各ユニットのユニット数比較部１１５は、層情報記憶部１３３から層情報を読み出し、読み出した層情報に該当するユニット数をユニット数記憶部１３４から読み出し、ユニット識別情報記憶部１３７からユニット識別情報を読み出し、読み出したユニット識別情報の値と読み出したユニット数とを比較し、比較した結果が一致するために、読み出したユニット識別情報の値と読み出したユニット数とが一致したことを示す比較一致信号を出力すると共に、ユニット識別情報記憶部１３７に記憶されているユニット識別情報の値をリセットする（手順Ａ１０７）。
【００９４】
次に、各ユニットのユニット出力算出部１１２は、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、積和計算一次値記憶部１３１から積和計算一次値情報を読み出し、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出し、読み出した出力関数に読み出した積和計算一次値情報を代入することにより出力値を算出し、算出した出力値をユニット出力記憶部１３５に記憶させる（手順Ａ１０８）。
【００９５】
ここで、各ユニットのユニット出力算出部１１２は、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出すため、出力層Ｌ３に該当するユニット毎の出力関数により、ユニットの出力値を算出することが可能となる。また、各ユニットのユニット出力記憶部１３５に出力層Ｌ３のノードとして算出した出力値が記憶されるため、各ユニットはトークンが入力された場合に、各ユニットは出力層Ｌ３のアクティブなノードとして、出力値を出力することが可能となる。
【００９６】
また、各ユニットの層情報算出部１１３が、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、層情報記憶部１３３に記憶されている層情報の値をインクリメントして、層情報の値を３とする。そのために、各ユニットは、以降、トークンが入力されたいずれか１つのユニットが、出力層Ｌ３のアクティブなノードとして出力値を出力する。
【００９７】
なお、上記において、出力層Ｌ３でユニットＵ３からユニットＵ４にトークンが出力され、次に、トークンを入力されたユニットＵ４が出力層Ｌ３のノードとして出力値を出力するが、この例における階層型ニューラルネットワークにおいて、出力層Ｌ３のノードとしてユニットＵ４に相当するノードは無いため、ユニットＵ４は、出力層Ｌ３のノードとして出力値を出力しないことが望ましい。または、ユニットＵ４は、出力層Ｌ３のノードとしては、出力値の値を０として出力してもよい。または、各ユニットにおいて、出力層Ｌ３としてのユニットＵ４からの出力値に乗じる結合荷重を０として、重み記憶部１３０に予め記憶しておいてもよい。
【００９８】
このようにユニットＵ４の出力値、または、ユニットＵ４からの出力値を受けた各ユニットの結合荷重を、予め階層型ニューラルネットワークの各層のノードの個数に合わせて設定しておくことにより、ユニットに対して、ある層でそのユニットに対応するノードが無い場合においても、本実施形態の並列演算装置は階層型ニューラルネットワークとして問題なく動作することが可能である。
【００９９】
以上説明したように、本実施形態を階層型ニューラルネットワークに適応した場合には、一度に発火すうニューロンの個数を１つに限定したことにより、つまり、出力層において出力値を出力するノードを、トークンが入力された１つのユニットに限定することにより、ユニット間の配線が増大することを減じる効果を奏する。
また、１つの出力層のノードであるユニットからの出力値が、ユニット入力バス３を介して、１度に全ての入力層となるノードであるユニットに分配して入力されるため、分配に要する時間を減じる効果を奏する。また、複数のユニットが、並列にユニット内演算を演算するため、全体としての演算が高速になるという効果を奏する。
【０１００】
例えば、階層型ニューラルネットワークを演算した場合、従来型のプロセッサを用いた場合には、その計算時間は概算として、計算時間＝（シナプス数×１回の演算に要するステップ数÷クロック周波数）として算出されるのに対して、本実形態による並列演算装置を用いた場合には、計算時間＝（ニューロン数×１ニューロンの発火周期）により算出される。ここで、シナプス数は、ニューロン数の２乗に比例するため、本実形態による並列演算装置を用いた階層型ニューラルネットワークの計算時間は、従来型のプロセッサを用いた場合に比較して、計算時間を大幅に減ずることが可能となる。
【０１０１】
また、各ユニットが、階層型ニューラルネットワークの層を変更し、かつ、入力側の層のノードと出力側の層のノードとして機能するため、少ないユニット数で多層のノードの演算を実行することが可能となる効果を奏する。
【０１０２】
なお、上記に説明した第１の実施形態においては、制御装置が入力層Ｌ１として出力値を順次出力し、そのために、各ユニットは隠れ層Ｌ２と出力層Ｌ３のノードとして機能するとして説明したが、各ユニットは、入力層Ｌ１のノードとして機能するようにしてもよい。例えば、制御装置が入力層Ｌ１のノードに対応する出力値を順次出力し、ユニットが入力層Ｌ１のノードとして、制御装置からの出力値をユニット出力記憶部１３５に順次記憶する。次に、トークンが入力されたユニットが、入力層Ｌ１のアクティブなユニットとして出力値を出力する。このようにして、各ユニットは、入力層Ｌ１と、隠れ層Ｌ２と、出力層Ｌ３とのユニットとして機能することも可能である。
【０１０３】
なお、上記の第１の実施形態においては、階層型ニューラルネットワークとして、入力層Ｌ１、隠れ層Ｌ２、出力層Ｌ３の３層がある場合について説明したが、本実施形態は、階層型ニューラルネットワークの階層は３層に限られるものではなく、任意の階層に適応可能である。
【０１０４】
＜第２の実施形態＞
＜自己組織化マップに適応した場合のユニットの構成＞
次に、本実施形態の並列演算装置を、自己組織化マップに適応した場合について説明する。自己組織化マップは、次のような処理を実行することにより、多変量からなるデータの統計的性質を学習し、 類似したデータが近接するように配列し、また、データの視覚化することを可能とするものである。
【０１０５】
各ユニットは、ユニットの結合重みベクトルを有している。まず、各ユニットに入力データベクトルが入力され、各ユニットは入力された入力データベクトルと結合重みベクトルの差であるノルムを算出する（手順Ａ２００）。次に、最もノルムの小さい出力ユニットを勝者ユニットとして選択する（手順Ａ２０１）。次に、選択した勝者ユニットとその近傍のユニットが、より入力データベクトルに近づくように結合重みベクトルの値を予め定められた関数により変更して、学習を行う（手順Ａ２０３）。この、手順Ａ２００から手順Ａ２０３を繰り返す。
【０１０６】
本実施形態の並列演算装置を自己組織化マップに適応する場合、各ユニットに入力されるデータは、上記の手順Ａ２００と、手順Ａ２０１と、手順Ａ２０２とで異なるため、実施形態においては、ユニットに入力するデータに、上記の手順Ａ２００と、手順Ａ２０１と、手順Ａ２０２とを識別する識別情報を組とすることにより、識別する。
【０１０７】
図９（ａ）に示すように、ユニット入力バス３からの入力値は、ノルム部とデータ部とを有する。また、図９（ｂ）に示すように、ノルム部の値が−２である場合、入力値のノルム部は「データ部の値が入力ベクトルである」ことを示す識別子であり、そのデータ部は入力ベクトルである。また、図９（ｃ）に示すように、ノルム部の値が−１である場合、ノルム部は「近傍判定識別情報」であり、そのデータ部は、ネットワーク座標である。また、図９（ｄ）に示すように、ノルム部の値が零または正の値である場合、ノルム部の値はノルムであり、また、データ部は、ネットワーク座標である。これらの詳細については、後述する。
【０１０８】
次に、図７と図８とを用いて、自己組織化マップに適応した場合の並列演算装置のユニットの構成について説明する。ここで、複数のユニットのそれぞれは、ネットワーク座標により識別される座標で予め識別されている。なお、各ユニットは、第１の実施形態と同様に、同一の構成を有しているので、ここでは１つのユニットの構成のみについて説明する。
【０１０９】
この図７または図８のユニットの構成において、データ入力部２０１はデータ入力部１１に対応し、データ出力部２０４はデータ出力部１４に対応し、トークン入力部２０２はトークン入力部１２に対応と、トークン出力部２０３はトークン出力部１３に対応する。また、ユニットノルム記憶部２３６と、入力ノルム記憶部２３７と、ユニットネットワーク座標記憶部２３４と、入力ネットワーク座標記憶部２３３とは、ユニット出力記憶部１６に対応する。また、他の構成は、ユニット演算部１５に対応する。
【０１１０】
ユニットネットワーク座標記憶部２３４には、ユニットのネットワーク座標であるユニットネットワーク座標が予め記憶されている。入力ネットワーク座標記憶部２３３には、入力されたネットワーク座標である入力ネットワーク座標が記憶される。重み記憶部２３１には、ユニットの結合重みベクトルが予め記憶されている。入力データ記憶部２３０には、入力された入力データベクトルが記憶される。ユニットノルム記憶部２３６には、ユニットのノルムが記憶される。入力ノルム記憶部２３７には、入力されたノルムが記憶される。
【０１１１】
学習速度記憶部２３５には、学習速度を決める係数である学習速度係数が予め記憶されている。また、学習速度記憶部２３５には、学習した回数を示す学習ステップ数と、前記学習速度係数とが予め関連付けて記憶されている。距離記憶部２３２には、ネットワーク座標の間の距離が近傍であるか否かを判定する基準である基準距離が予め記憶されている。また、距離記憶部２３２には、学習ステップ数と基準距離とが予め関連付けて記憶されている。
【０１１２】
データ入力判定部２２２は、データ入力部２０１に入力された入力値が入力データベクトルであるか否かを判定し、入力データベクトルである場合には、データ抽出部２１０に入力値である入力データベクトルを出力し、入力データベクトルでない場合には、ネットワーク座標抽出部２１１とノルム抽出部２１２とに入力値を出力する。
このデータ入力判定部２２２は、入力値のノルムの値が、入力値が入力データベクトルであることを示す値である−２であるか否かを判定することにより、データ入力部２０１に入力された入力値が入力データベクトルであるか否かを判定する。
【０１１３】
データ抽出部２１０は、データ入力部２０１に入力された入力値が入力データベクトルである場合には、入力された入力データベクトルを入力データ記憶部２３０に記憶させる。また、データ抽出部２１０は、入力された入力データベクトルを、ノルム算出部２１４に出力する。また、データ抽出部２１０は、入力データベクトルが入力される毎に、カウンタ２１３がカウントアップ信号を出力する。
【０１１４】
カウンタ２１３は、ユニットに入力データベクトルが入力される毎に、ユニットに入力データベクトルが入力された回数であるステップ数をカウントアップする。また、カウンタ２１３は、データ抽出部２１０からカウントアップ信号を入力される毎に、ステップ数をカウントアップする。
【０１１５】
ノルム算出部２１４は、データ入力部２０１に入力された入力値が入力データベクトルである場合には、入力された入力データベクトルと、重み記憶部２３１から読み出した結合重みベクトルとのノルムを算出し、算出したノルムをユニットノルムとしてユニットノルム記憶部２３６に記憶させる。
【０１１６】
入力ノルム部２５０は、データ入力部２０１に入力された入力値が、ネットワーク座標とノルムとの組みである場合には、入力されたネットワーク座標を入力ネットワーク座標として入力ネットワーク座標記憶部２３３に記憶させると共に、入力されたノルムを入力ノルムとして入力ノルム記憶部２３７に記憶させる。この入力ノルム部２５０は、ネットワーク座標抽出部２１１と、ノルム抽出部２１２と、入力ノルム判定部２１８とから構成されている。
【０１１７】
ネットワーク座標抽出部２１１は、入力された入力値から、ネットワーク座標を抽出し、抽出したネットワーク座標を入力ネットワーク座標として入力ネットワーク座標記憶部２３３に記憶させる。ノルム抽出部２１２は、入力された入力値から、ノルムを抽出し、抽出したノルムを入力ノルム判定部２１８に出力する。
【０１１８】
入力ノルム判定部２１８は、ノルム抽出部２１２から入力されたノルムの値により、入力されたノルムが、ノルムであるのか、または、ネットワーク座標と近傍判定を実行することを示す識別情報である近傍判定識別情報であるのかを判定し、ノルムである場合には、入力されたノルムを入力ノルムとして入力ノルム記憶部２３７に記憶させる。逆に、入力されたノルムが近傍判定識別情報である場合には、入力ノルム判定部２１８は、近傍判定部２１５に、近傍判定識別情報を出力する。
例えば、この入力ノルム判定部２１８は、ノルム抽出部２１２から入力されたノルムの値が−１である場合には、入力されたノルムが近傍判定識別情報であるとして判定し、ノルム抽出部２１２から入力されたノルムの値が−１でない場合には、ノルムとして判定する。
【０１１９】
ノルム比較部２１７は、トークン入力部２０２を介してトークンが入力されたことに応じて、ユニットノルム記憶部２３６から読み出したユニットノルムと、入力ノルム記憶部２３７から読み出した入力ノルムとを比較する。
【０１２０】
選択出力部２５１は、ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルムより小さい場合には、ユニットノルム記憶部２３６から読み出したユニットノルムとユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標とを組みとして、データ出力部２０４を介して出力し、読み出したユニットノルムが入力ノルム以上である場合には、入力ノルム記憶部２３７から読み出した入力ノルムと入力ネットワーク座標記憶部２３３から読み出した入力ネットワーク座標とを組みとして、データ出力部２０４を介して出力する。この選択出力部２５１は、ネットワーク座標選択部２１９と、ノルム選択部２２０と、データ合成出力部２２１とから構成されている。
【０１２１】
ノルム選択部２２０は、ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルムより小さい場合には、ユニットノルム記憶部２３６からユニットノルムを読み出し、読み出したユニットノルムをデータ合成出力部２２１に出力する。また、ネットワーク座標選択部２１９は、ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルム以上である場合には入力ノルム記憶部２３７から入力ノルムを読み出し、読み出した入力ノルムをデータ合成出力部２２１に出力する。
【０１２２】
ネットワーク座標選択部２１９は、ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルムより小さい場合には、ユニットネットワーク座標記憶部２３４からユニットネットワーク座標を読み出し、読み出したユニットネットワーク座標をデータ合成出力部２２１に出力する。また、ネットワーク座標選択部２１９は、ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルム以上である場合には、入力ネットワーク座標記憶部２３３から入力ネットワーク座標を読み出し、読み出した入力ネットワーク座標をデータ合成出力部２２１に出力する。
【０１２３】
データ合成出力部２２１は、ノルム選択部２２０から入力されたユニットノルムまたは入力ノルムであるノルムと、ネットワーク座標選択部２１９から入力されたユニットネットワーク座標または入力ネットワーク座標であるネットワーク座標とを組みとして合成し、組として合成したノルムとネットワーク座標とを、データ出力部２０４を介して出力する。
【０１２４】
近傍判定部２１５は、データ入力部２０１に入力された入力値が、ネットワーク座標と近傍判定を実行することを示す識別情報である近傍判定識別情報との組みである場合には、ユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標が、入力されたネットワーク座標である入力ネットワーク座標の近傍にあるか否かを判定する。
【０１２５】
また、近傍判定部２１５は、近傍判定識別情報が入力ノルム部２５０または入力ノルム判定部２１８から入力されたことに応じて、ユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標が、入力されたネットワーク座標である入力ネットワーク座標の近傍にあるか否かを判定する。
【０１２６】
また、近傍判定部２１５は、データ入力部２０１に入力された入力値が、ネットワーク座標と近傍判定を実行することを示す識別情報である近傍判定識別情報との組みである場合には、距離記憶部２３２から基準距離を読み出し、ユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標と入力されたネットワーク座標である入力ネットワーク座標との間の距離が、読み出した基準距離以下であるか否かを判定することにより、ユニットネットワーク座標が入力ネットワーク座標の近傍にあるか否かを判定する。
【０１２７】
また、近傍判定部２１５は、カウンタ２１３から読み出したステップ数に一致する学習ステップ数に関連付けられている基準距離を距離記憶部２３２から読み出し、該読み出した基準距離に基づいて前記ユニットネットワーク座標が前記入力ネットワーク座標の近傍にあるか否かを判定する。
【０１２８】
重み更新部２１６は、近傍判定部２１５の判定した結果が近傍である場合には、重み記憶部２３１に記憶されている結合重みベクトルの値を更新する。また、重み更新部２１６は、入力データ記憶部２３０から読み出した入力データベクトルと重み記憶部２３１から読み出した結合重みベクトルとの差を算出し、算出した差に、学習速度記憶部２３５から読み出した学習速度係数を乗じた値を、重み記憶部２３１に記憶されている結合重みベクトルに加算することにより、重み記憶部２３１に記憶されている結合重みベクトルの値を更新する。
【０１２９】
また、重み更新部２１６は、カウンタ２１３から読み出したステップ数と一致する学習ステップ数に関連付けられている学習速度係数を学習速度記憶部２３５から読み出し、読み出した学習速度係数に基づいて重み記憶部２３１に記憶されている結合重みベクトルの値を更新する。
【０１３０】
トークン出力フラグ記憶部２３８には、トークン出力部２０３がトークンを出力済みであるか否かを示すトークン出力フラグが記憶されている。トークン出力フラグ判定部２２３は、トークン入力部２０２にトークンが入力されたことに応じて、トークン出力フラグ記憶部２３８からトークン出力フラグを読み出し、読み出したトークン出力フラグがトークンを未出力である場合に、入力されたトークンをノルム比較部２１７に出力すると共に、入力されたトークンを、トークン出力部２０３を介して出力する。
【０１３１】
トークン出力部２０３は、トークン入力部２０２にトークンが入力されたことに応じて、トークンを出力する。また、トークン出力部２０３は、データ合成出力部２２１または選択出力部２５１が、ユニットノルム記憶部２３６から読み出したユニットノルムとユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標とを組みとしてデータ出力部２０４を介して出力したことに応じて、または、入力ノルム記憶部２３７から読み出した入力ノルムと入力ネットワーク座標記憶部２３３から読み出した入力ネットワーク座標とを組みとしてデータ出力部２０４を介して出力したことに応じて、トークンを出力する。また、トークン出力部２０３は、トークンを出力した後に、トークン出力フラグ記憶部２３８に記憶されているトークン出力フラグを出力済みに更新する。
【０１３２】
＜自己組織化マップに適応した場合のユニットの動作＞
次に、図１０と図１１とを用いて、自己組織化マップに適応した場合の並列演算装置のユニットの動作について説明する。最初に、図１０を用いて、ユニットのデータ入力部に入力値が入力された場合の動作について説明する。
【０１３３】
まず、データ入力部２０１に入力値であるデータが入力される（ステップＳ４００）。次に、データ入力判定部２２２は、入力値のノルムの値が、入力値が入力データベクトルであることを示す値である−２であるか否かを判定することにより、データ入力部２０１に入力された入力値が入力データベクトルであるか否かを判定する（ステップＳ４０１）。
【０１３４】
次に、ステップＳ４０１の判定結果が、ノルムの値が−２であり、入力データベクトルである場合には、データ抽出部２１０が、入力された入力データベクトルを入力データ記憶部２３０に記憶させる（ステップＳ４０２）と共に、カウントアップ信号をカウンタ２１３に出力する。次に、カウンタ２１３は、データ抽出部２１０からカウントアップ信号を入力されたことに応じて、ステップ数をカウントアップする（ステップＳ４０３）。
【０１３５】
次に、ノルム算出部２１４は、データ抽出部２１０を介して入力された入力データベクトルと、重み記憶部２３１から読み出した結合重みベクトルとのノルムを算出し、算出したノルムをユニットノルムとしてユニットノルム記憶部２３６に記憶させ（ステップＳ４０４）、処理を終了する。
【０１３６】
一方、ステップＳ４０１の判定結果が、ノルムの値が−２ではなく、入力データベクトルではない場合には、ネットワーク座標抽出部２１１が、入力された入力値から、ネットワーク座標を抽出し、抽出したネットワーク座標を入力ネットワーク座標として入力ネットワーク座標記憶部２３３に記憶させる（ステップＳ４０５）と共に、ノルム抽出部２１２は、入力された入力値から、ノルムを抽出し、抽出したノルムを入力ノルム判定部２１８に出力する。
【０１３７】
次に、入力ノルム判定部２１８は、ノルム抽出部２１２から入力されたノルムの値が−１であるか否かを判定し（ステップＳ４０６）、判定結果が、ノルム抽出部２１２から入力されたノルムの値が−１でない場合には、ノルムとして判定し、入力されたノルムを入力ノルムとして入力ノルム記憶部２３７に記憶させ（ステップＳ４０７）、処理を終了する。
【０１３８】
一方、ステップＳ４０６の判定結果が、ノルム抽出部２１２から入力されたノルムの値が−１である場合には、入力ノルム判定部２１８は、入力されたノルムが近傍判定識別情報であるとして判定し、近傍判定部２１５に、近傍判定識別情報を出力する。次に、近傍判定部２１５は、近傍判定識別情報が入力ノルム判定部２１８から入力されたことに応じて、ユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標が、入力されたネットワーク座標である入力ネットワーク座標の近傍にあるか否かを判定する（ステップＳ４０８）。
【０１３９】
ステップＳ４０８の判定結果が、近傍である場合には、重み更新部２１６が、重み記憶部２３１に記憶されている結合重みベクトルの値を更新して（ステップＳ４０９）、処理を終了する。一方、ステップＳ４０８の判定結果が、近傍でない場合には、処理を終了する。
【０１４０】
次に、図１１を用いて、ユニットのトークン入力部にトークンが入力された場合の動作について説明する。まず、トークン入力部２０２に、トークンが入力される（ステップＳ５００）。次に、トークン出力フラグ判定部２２３が、トークン入力部２０２にトークンが入力されたことに応じて、トークン出力フラグ記憶部２３８からトークン出力フラグを読み出し、読み出したトークン出力フラグがトークンを未出力であるか否かを判定し（ステップＳ５０１）、読み出したトークン出力フラグがトークンを未出力である場合には、入力されたトークンをノルム比較部２１７に出力すると共に、入力されたトークンを、トークン出力部２０３を介して出力する。
【０１４１】
次に、ノルム比較部２１７は、トークン入力部２０２を介してトークンが入力されたことに応じて、ユニットノルム記憶部２３６から読み出したユニットノルムと、入力ノルム記憶部２３７から読み出した入力ノルムとを比較する（ステップＳ５０２）。
【０１４２】
ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルムより小さい場合には、ノルム選択部２２０が、ユニットノルム記憶部２３６からユニットノルムを読み出し、読み出したユニットノルムをデータ合成出力部２２１に出力する（ステップＳ５０３）と共に、ネットワーク座標選択部２１９が、ユニットネットワーク座標記憶部２３４からユニットネットワーク座標を読み出し、読み出したユニットネットワーク座標をデータ合成出力部２２１に出力する（ステップＳ５０４）。
【０１４３】
次に、データ合成出力部２２１が、ノルム選択部２２０から入力されたユニットノルムと、ネットワーク座標選択部２１９から入力されたユニットネットワーク座標とを組みとして合成し、組として合成したユニットノルムとユニットネットワーク座標とを、データ出力部２０４を介して出力する（ステップＳ５０５）。
【０１４４】
一方、ステップＳ５０２でノルム比較部２１７が比較した結果が、読み出したユニットノルムが入力ノルム以上である場合には、ノルム選択部２２０が、入力ノルム記憶部２３７から入力ノルムを読み出し、読み出した入力ノルムをデータ合成出力部２２１に出力する（ステップＳ５０８）と共に、ネットワーク座標選択部２１９が、入力ネットワーク座標記憶部２３３から入力ネットワーク座標を読み出し、読み出した入力ネットワーク座標をデータ合成出力部２２１に出力する（ステップＳ５０９）。
【０１４５】
次に、データ合成出力部２２１は、ノルム選択部２２０から入力された入力ノルムと、ネットワーク座標選択部２１９から入力された入力ネットワーク座標とを組みとして合成し、組として合成した入力ノルムと入力ネットワーク座標とを、データ出力部２０４を介して出力する（ステップＳ５１０）。
【０１４６】
次に、トークン出力部２０３が、ステップＳ５０５にて、データ合成出力部２２１が、ユニットノルム記憶部２３６から読み出したユニットノルムとユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標とを組みとしてデータ出力部２０４を介して出力したことに応じて、または、ステップＳ５１０にて、入力ノルム記憶部２３７から読み出した入力ノルムと入力ネットワーク座標記憶部２３３から読み出した入力ネットワーク座標とを組みとしてデータ出力部２０４を介して出力したことに応じて、トークンを出力する（ステップＳ５０６）。
【０１４７】
次に、トークン出力部２０３は、トークンを出力した後に、トークン出力フラグ記憶部２３８に記憶されているトークン出力フラグを出力済みに更新し（ステップＳ５０７）、処理を終了する。
【０１４８】
＜自己組織化マップに適応した場合の並列演算装置全体の動作＞
次に、自己組織化マップに適応した場合の並列演算装置全体の動作について説明する。まず、制御装置は、入力ベクトルと、値を−２としたノルムとを組みとした入力値を、全てのユニットに、ユニット入力バス３を介して、入力する（手順Ａ３００）。
【０１４９】
次に、入力ベクトルを入力された各ユニットのノルム算出部２１４は、入力された入力ベクトルと、ユニットが有する結合重みベクトルとのノルムを算出し、算出したノルムを、ユニットノルム記憶部２３６に記憶させる（手順Ａ３０１）。
【０１５０】
次に、制御装置は、ユニットＵ１に、トークンを入力する（手順Ａ３０２）。次に、ユニットＵ１のノルム比較部２１７は、ユニットＵ１のトークン入力部２０２を介してトークンが入力されたことに応じて、ユニットノルム記憶部２３６から読み出したユニットノルムと、入力ノルム記憶部２３７から読み出した入力ノルムとを比較する（手順Ａ３０３）。
【０１５１】
ここで、ユニットＵ１の入力ノルム記憶部２３７には、ユニットＵ１が手順Ａ３０１で算出したノルムに比較して、十分に大きな値のノルムが予め記憶されているものとして説明する。
【０１５２】
ここでは、ユニットノルム記憶部２３６から読み出したユニットノルムの方が、入力ノルム記憶部２３７から読み出した入力ノルムより小さいため、ユニットＵ１の選択出力部２５１は、ユニットノルム記憶部２３６から読み出したユニットノルムとユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標とを組みとして、データ出力部２０４を介して出力する（手順Ａ３０４）。
【０１５３】
次に、ユニットＵ１のデータ出力部２０４が出力したノルムとネットワーク座標とが組として、ユニット出力バス２と増幅器４とユニット入力バス３とを介して、各ユニットのデータ入力部２０１に入力される（手順Ａ３０５）。
【０１５４】
次に、各ユニットの入力ノルム部２５０は、データ入力部２０１に入力された入力値のノルムの値が−１でないため、入力されたネットワーク座標を入力ネットワーク座標として入力ネットワーク座標記憶部２３３に記憶させると共に、入力されたノルムを入力ノルムとして入力ノルム記憶部２３７に記憶させる（手順Ａ３０６）。ここで、入力ネットワーク座標記憶部２３３に記憶されるネットワーク座標と、入力ノルム記憶部２３７に記憶されるノルムは、ユニットＵ１の、ネットワーク座標とノルムである。
【０１５５】
次に、ユニットＵ１のトークン出力部２０３は、ユニットＵ１のデータ合成出力部２２１または選択出力部２５１が、ユニットノルム記憶部２３６から読み出したユニットノルムとユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標とを組みとしてデータ出力部２０４を介して出力したことに応じて、トークンを、デイジーチェーン制御バス１を介してユニットＵ２に出力する（手順Ａ３０７）。
【０１５６】
次に、手順Ａ３０３のユニットＵ１と同様に、ユニットＵ２のノルム比較部２１７は、ユニットＵ２のトークン入力部２０２を介してユニットＵ１からのトークンが入力されたことに応じて、ユニットノルム記憶部２３６から読み出したユニットノルムと、入力ノルム記憶部２３７から読み出した入力ノルムとを比較する（手順Ａ３０８）。
【０１５７】
ここで、入力ノルム記憶部２３７に記憶される入力ノルムは、ユニットＵ１のノルムであり、また、ユニットノルム記憶部２３６から読み出したユニットノルムは、ユニットＵ２のノルムであるため、このユニットＵ２のノルム比較部２１７は、ユニットＵ２のノルムと、ユニットＵ１のノルムとを比較することになる。以降、ユニットＵ２のノルム比較部２１７の比較結果に基づいて、手順Ａ３０４から手順Ａ３０６の処理が、同様に実行される（手順Ａ３０９）。
【０１５８】
従って、トークンがユニットＵ２に入力されることにより、ユニットＵ１とユニットＵ２とのノルムが比較され、ノルムが小さい方のユニットが勝者ユニットとして選択され、勝者ユニットのノルムとユニットネットワーク座標とが、全てのユニットの入力ノルム記憶部２３７と入力ネットワーク座標記憶部２３３とに記憶される（手順Ａ３１０）。
【０１５９】
次に、手順Ａ３０７と同様に、ユニットＵ２からユニットＵ３にトークンが送信されることにより、次に、ユニットＵ３が、手順Ａ３０３から手順Ａ３０７とを実行することにより、ユニットＵ１とユニットＵ２との勝者ユニットのノルムと、ユニットＵ３のノルムとが比較され、ユニットＵ１からユニットＵ３までのユニットの中からの勝者ユニットが選択される（手順Ａ３１１）。
【０１６０】
以降、トークンがデイジーチェーン順序でユニットに渡されていく毎に、トークンが入力されたユニットの中での勝者ユニットが選択される（手順Ａ３１２）。その後、デイジーチェーン順序で最後のユニットであるユニットＵ１０にトークンが入力されると、ユニットＵ１０のデータ出力部２０４が、ユニットＵ１からユニットＵ１０の中の勝者ユニットのノルムとネットワーク座標とを出力する（手順Ａ３１３）。
【０１６１】
制御装置は、ユニットＵ１０のデータ出力部２０４が出力するノルムとネットワーク座標とを、勝者ユニットのノルムとネットワーク座標として受信する（手順Ａ３１４）。これにより、制御装置は、入力ベクトルに対しての、勝者ユニットのノルムとネットワーク座標とを、受信することが出来る。
【０１６２】
次に、制御装置は、ユニットＵ１０のデータ出力部２０４から受信したネットワーク座標と、値を−１としたノルムとを組みとした入力値を、全てのユニットに、ユニット入力バス３を介して、入力する（手順Ａ３１５）。
【０１６３】
次に、ネットワーク座標と値を−１としたノルムとを組みとした入力値を入力された各ユニットは、各ユニットのネットワーク座標抽出部２１１が、入力された入力値から、ネットワーク座標を抽出し、抽出したネットワーク座標を入力ネットワーク座標として入力ネットワーク座標記憶部２３３に記憶させる（手順Ａ３１６）と共に、各ユニットの入力ノルム判定部２１８が、ノルム抽出部２１２から入力されたノルムの値が−１であるため、入力されたノルムが近傍判定識別情報であるとして判定し、近傍判定部２１５に、近傍判定識別情報を出力する（手順Ａ３１７）。
【０１６４】
次に、各ユニットの近傍判定部２１５が、近傍判定識別情報が入力ノルム部２５０または入力ノルム判定部２１８から入力されたことに応じて、ユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標が、入力ネットワーク座標記憶部２３３から読み出した入力ネットワーク座標の近傍にあるか否かを判定する（手順Ａ３１８）。
【０１６５】
次に、各ユニットの重み更新部２１６は、そのユニットの近傍判定部２１５の判定した結果が近傍である場合には、そのユニットの重み記憶部２３１に記憶されている結合重みベクトルの値を更新する（手順Ａ３１９）。これにより、勝者ユニットのネットワーク座標の近傍であるユニットの結合重みベクトルが、更新され、学習が実行される。
【０１６６】
以上に説明した自己組織化マップに適応した場合の並列演算装置においては、ユニット入力バス３に全てのユニットが接続されているため、制御装置が入力ベクトルをユニット入力バス３に１度出力するだけで、全てのユニットに入力ベクトルを入力することができる。また、各ユニットが、入力された入力ベクトルに対して、並列にノルムを算出することができるため、ユニット全体で、短時間でノルムを算出することができる。
【０１６７】
また、ユニット入力バス３に全てのユニットが接続されているため、制御装置が勝者ユニットのネットワーク座標をユニット入力バス３に１度出力するだけで、全てのユニットに勝者ユニットのネットワーク座標を入力することができる。また、各ユニットが、入力された勝者ユニットのネットワーク座標の近傍にあるか否かを並列に判定し、学習するため、ユニット全体で、短時間で学習することができる。
【０１６８】
また、デイジーチェーン制御バス１を介してトークンをユニット間で渡していくことにより、デイジーチェーン順序で順に勝者ユニットを決定することができる。つまり、勝者ユニットの決定が、デイジーチェーン制御バス１という、簡易な配線で可能となる。
【０１６９】
＜冗長性を持たせた並列演算装置＞
次に、図１２を用いて、デイジーチェーン制御バス１に冗長性をもたせた場合の並列演算装置の構成を説明する。
各ユニットは、予め定められた順序であるデイジーチェーン順序において、１つ飛ばしの順序である第１の冗長順序で、複数のユニットのうちの半数のユニットが、第１の冗長デイジーチェーン制御バス６によりデイジーチェーンされている。例えば、ユニットＵ１とユニットＵ３とユニットＵ５とユニットＵ７とユニットＵ９とが、第１の冗長デイジーチェーン制御バス６により、デイジーチェーンされている。
【０１７０】
また、予め定められた順序であるデイジーチェーン順序において、１つ飛ばしの順序で、上記の第１の冗長デイジーチェーン制御バス６によりデイジーチェーンされていない複数のうちの残りの半数のユニットが、第２の冗長デイジーチェーン制御バス７によりデイジーチェーンされている。例えば、ユニットＵ２とユニットＵ４とユニットＵ６とユニットＵ８とユニットＵ１０とが、第２の冗長デイジーチェーン制御バス７により、デイジーチェーンされている。
【０１７１】
次に、図１３を用いて、第１の冗長デイジーチェーン制御バス６によりデイジーチェーンされているユニットの構成について説明する。つまり、例えば、ユニットＵ１とユニットＵ３とユニットＵ５とユニットＵ７とユニットＵ９の構成について説明する。なお、冗長性について変更される構成のみについて説明するため、図２のユニットの構成において、変更される構成のみについて説明する。
【０１７２】
図１３において、図１３（ａ）と（ｃ）とには、変更される前の図２で示されたユニットの構成が示してある。並列演算装置が冗長性を有するようにすることにより、図１３（ａ）のユニットの構成が、図１３（ｂ）の構成に変更される。また、図１３（ｃ）のユニットの構成が、図１３（ｄ）のユニットの構成に変更される。
【０１７３】
図１３（ｂ）に示すようにユニットは、トークン出力部Ａ１３＿１と、トークン出力部Ｂ１３＿２と、トークン出力部選択部１７と、トークン選択情報記憶部１８とを有する。ここで、トークン出力部Ａ１３＿１は、図２のトークン出力部１３に対応する。
【０１７４】
トークン出力部Ｂ１３＿２（冗長トークン出力部）は、トークン入力部１２にトークンが入力されたことに応じて、トークンを冗長順序で１つ後のユニットへ第１の冗長デイジーチェーン制御バス６を介して出力する。トークン選択情報記憶部１８には、トークン出力部Ａ１３＿１とトークン出力部Ｂ１３＿２とのうち、いずれを選択するかを示すトークン出力選択情報が記憶されている。
【０１７５】
トークン出力部選択部１７は、トークン入力部１２にトークンが入力されたことに応じて、トークン選択情報記憶部１８から読み出したトークン出力選択情報に基づいて、トークン出力部Ａ１３＿１とトークン出力部Ｂ１３＿２とのうちいずれか一方を選択し、選択したトークン出力部Ａ１３＿１またはトークン出力部Ｂ１３＿２を介してトークンを出力する。
【０１７６】
また、図１３（ｄ）に示すように、ユニットは、トークン入力部Ａ１２＿１と、トークン入力部Ｂ１２＿２（冗長トークン入力部）とを有する。ここで、トークン入力部Ａ１２＿１は、図２のトークン入力部１２に対応する。
【０１７７】
トークン入力部Ｂ１２＿２は、第１の冗長デイジーチェーン制御バス６を介してデイジーチェーンされている冗長順序が１つ前のユニットからのトークンを入力する。
また、トークン出力部１３は、トークン入力部Ａ１２＿１またはトークン入力部Ｂ１２＿２にトークンが入力されたことに応じて、トークンを出力する。
【０１７８】
また、第１の冗長デイジーチェーン制御バス６によりデイジーチェーンされているユニットと同様に、第２の冗長デイジーチェーン制御バス７によりデイジーチェーンされているユニットも、第２の冗長デイジーチェーン制御バス７を第１の冗長デイジーチェーン制御バス６として、トークン入力部Ｂ１２＿２（冗長トークン出力部）とトークン選択情報記憶部１８とトークン出力部選択部１７とトークン入力部Ｂ１２＿２（冗長トークン入力部）を有している。
【０１７９】
なお、ここでは、トークン選択情報記憶部１８には、トークン出力部Ａ１３＿１とトークン出力部Ｂ１３＿２とのうち、いずれを選択するかを示すトークン出力選択情報が記憶されているもとして説明したが、このトークン出力選択情報は、例えば、デイジーチェーン順序で次のユニットに欠陥があるか否かを示す情報であってもよい。
【０１８０】
トークン出力選択情報が、デイジーチェーン順序で次のユニットに欠陥があるか否かを示す情報である場合、トークン出力部選択部１７は、トークン選択情報記憶部１８から読み出したトークン出力選択情報に基づいて、デイジーチェーン順序で次のユニットに欠陥がない場合には、トークン出力部Ａ１３＿１を選択してトークンを出力し、逆に欠陥がある場合には、トークン出力部Ｂ１３＿２を選択してトークンを出力する。
【０１８１】
＜欠陥チェックの方法＞
次に、欠陥チェックの方法について説明する。ここでは、並列演算装置が、階層型ニューラルネットワークの場合について説明する。まず、ニューラルネットワークの並列演算装置が、結合係数がすべて同じで、中間層無しの入力層と出力層との２層である階層型ニューラルネットワークとして演算を実行し、制御装置が、演算結果の出力値を得る。制御装置は、出力値を判定し、正常な場合は処理を修了する。制御装置は、出力値を判定し、異常があることを検出した場合には、異常ユニットの前段ユニットのトークン選択情報記憶部１８に対し、欠陥情報を書き込む。
【０１８２】
次に、制御装置の、正常な場合と異常な場合の、判定方法とその処理について、詳細に説明する。まず、制御装置は、全てのユニットから、すべて同じ出力を得る場合に、正常として判定する。次に、制御装置は、ユニットからの出力が途中で止まる、または、ユニットからの出力値が予想された値と異なる部分がある場合に、異常として判定する。この場合、制御装置は、異常として検出したユニットである異常ユニットの、デイジーチェーン順序で１つ前となる前段ユニットのトークン選択情報記憶部１８に、欠陥情報を書き込み、もう一度欠陥チェックを実行し、判定結果が正常となるまで欠陥チェックを実行する。このとき、欠陥が原因で電気的に切り離す必要が生じる場合に備え、ユニットの入出力部にハイインピーダンススイッチを設け、回路を電気的に切り離す機構を備えても良い。
【０１８３】
以上のように、並列演算装置が、第１の冗長デイジーチェーン制御バス６と、第２の冗長デイジーチェーン制御バス７とにより冗長性を有するようにすることにより、デイジーチェーン制御バス１またはいずれかのユニットに欠陥が生じた場合においても、並列演算装置は問題なく動作することが可能となる。
【０１８４】
なお、ここでは、冗長配線が、デイジーチェーン順序において１つ飛ばしの第１の冗長デイジーチェーン制御バス６と第２の冗長デイジーチェーン制御バス７との場合について説明したが、更に、デイジーチェーン順序において２つ飛ばしの冗長デイジーチェーン制御バスなどを追加することも可能である。
【０１８５】
＜第２の基本構成＞
次に、この発明の一実施形態による並列演算装置の第２の基本構成を、図１４の概略ブロック図を用いて説明する。図１４の概略ブロック図において、図１の第１の基本構成と同一の構成には同一の符号を付けて、その説明を省略する。ここでは、ユニットＡＵ１からＡＵ１０の、ユニットの個数が１０である場合について説明する。このユニットの詳細については、後述する。
【０１８６】
並列演算装置は、第２の基本構成においては、予め定められた識別番号である固有ユニット番号で識別される複数のユニット（ＡＵ１〜ＡＵ１０）と、この複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バス２を介して入力されたことに応じて、該入力された入力値と複数のユニットの中から選択したいずれか１つのユニットを識別する識別番号である選択ユニット番号とを含む制御データを、複数のユニットのそれぞれにユニット入力バス３を介して出力する分配制御部８と、を有する。なお、この制御データには、入力値と、選択ユニット番号と、ユニットの演算方法または制御方法を選択するための制御コードとを含む。
【０１８７】
次に、図１５を用いて、各ユニットの構成について説明する。なお、ユニットＡＵ１からＡＵ１０は同一の構成を有するため、ここでは、ユニットＡＵ１の構成のみについて説明する。ユニットＡＵ１は、データ入力部１１Ａと、データ出力部１４Ａと、ユニット演算部１５Ａと、ユニット出力記憶部１６Ａと、制御コード抽出部１７Ａと、入力値抽出部１８Ａと、ユニット番号抽出部１９Ａと、ユニット番号一致判定部２０Ａと、固有ユニット番号記憶部２１Ａと、を有する。
【０１８８】
固有ユニット番号記憶部２１Ａには、それぞれのユニットを識別するための識別番号である固有ユニット番号が予め記憶されている。ユニット出力記憶部１６Ａには、ユニット演算部１５Ａが演算した結果である演算結果が記憶される。データ入力部１１Ａは、ユニット入力バス３を介して分配制御部８からの制御データを入力する。入力値抽出部１８Ａは、データ入力部１１Ａに入力された制御データから入力値を抽出する。選択ユニット番号抽出部１９Ａは、データ入力部１１Ａに入力された制御データから選択ユニット番号を抽出する。制御コード抽出部１７Ａは、データ入力部１１Ａに入力された制御データから制御コードを抽出する。
【０１８９】
ユニット番号一致判定部２０Ａは、データ入力部１１Ａに入力された制御データに含まれる出力ユニット番号と、固有ユニット番号とが一致するか否かを判定する。このユニット番号一致判定部２０Ａは、選択ユニット番号抽出部１９Ａが抽出した選択ユニット番号と、固有ユニット番号記憶部２１Ａから読み出した固有ユニット番号とが一致するか否かを判定する。
【０１９０】
ユニット演算部１５Ａは、データ入力部１１Ａに入力された制御データに含まれる入力値に基づいて、ユニット毎に予め定められた演算方法により演算する。このユニット演算部１５Ａは、入力値抽出部１８Ａが抽出した入力値に基づいて、ユニット毎に予め定められた演算方法により演算する。また、このユニット演算部１５Ａは、予め定められた演算方法から、制御コード抽出部１７Ａが抽出した制御コードに基づいて、演算方法を選択し、該選択した演算方法により演算する。また、ユニット演算部１５Ａは、演算した結果である演算結果をユニット出力記憶部１６Ａに記憶させる。
【０１９１】
データ出力部１４Ａは、ユニット番号一致判定部２０Ａが判定した結果が一致である場合には、ユニット演算部１５Ａが演算した結果である演算結果を出力値として、分配制御部８にユニット出力バス２を介して出力する。また、データ出力部１４Ａは、ユニット番号一致判定部２０Ａが判定した結果が一致である場合には、演算結果をユニット出力記憶部１６Ａから読み出し、該読み出した演算結果を出力値として分配制御部８にユニット出力バス２を介して出力する。
【０１９２】
次に、図１６を用いて、分配制御部８の構成を説明する。分配制御部８は、ユニット出力値入力部３１と、制御データ生成部３２と、制御データ出力部３３と、処理手順記憶部３４と、を有する。ユニット出力値入力部３１は、ユニット出力バス２を介して複数のユニットの中のいずれか１つのユニットが出力する出力値を入力する。制御データ生成部３２は、ユニット出力値入力部３１に入力された出力値に基づいて、予め定められた処理手順により制御データを生成する。制御データ出力部３３は、制御データ生成部３２が生成した制御データを複数のユニットのそれぞれにユニット入力バス３を介して出力する。なお、この制御データ出力部３３は、出力する制御データを、電気的に増幅する増幅器を、その内部に有していてもよい。
【０１９３】
また、処理手順記憶部３４には、演算を実行する処理手順が予め記憶されている。制御データ生成部３２は、処理手順を処理手順記憶部３４から順に読み出すことにより、また、必要であれば読み出した処理手順にユニット出力値入力部３１に入力された出力値を挿入することにより、予め定められた処理手順により制御データを生成する。
【０１９４】
ここで、分配制御部８の制御データ生成部３２は、ユニット出力値入力部３１に出力値が入力されたことに応じて、または、制御データ出力部３３が制御データを出力してから予め定められた一定時間の経過後に、制御データを生成する。そのため、分配制御部８、より詳しくは、分配制御部８の制御データ出力部３３は、ユニット出力値入力部３１に出力値が入力されたことに応じて、または、制御データ出力部３３が制御データを出力してから予め定められた一定時間の経過後に、制御データを出力する。
【０１９５】
また、分配制御部８は、入力端子Ｐ２を介して外部から初期値などのデータである入力値を入力され、入力された入力値を各ユニットにユニット入力バス３を介して設定することにより、各ユニットを用いた並列演算を実行する。また、分配制御部８は、各ユニットが演算した演算結果を、各ユニットからユニット出力バス２を介して入力され、該入力された演算結果を外部に出力端子Ｐ１を介して出力する。なお、ここでいう外部とは、並列演算装置の外部にある制御装置やコンピュータである。
【０１９６】
図１４から図１６を用いて説明した並列演算装置の第２の基本構成においては、分配制御部８が制御データにより各ユニットを制御するために、図１に示す並列演算装置の第１の基本構成と比較して、各ユニットでの処理が簡易となり、また、各ユニット間をデイジーチェーン順序で接続していたデイジーチェーン制御バス１が不要となる効果を奏する。
【０１９７】
＜第３の実施形態＞
＜階層型ニューラルネットワークに適応した場合のユニットの構成＞
次に、第２の基本構成による並列演算装置を、階層型ニューラルネットワークに適応した場合の構成について説明する。階層型ニューラルネットワークにおいても並列演算装置全体の構成は、図１４の並列演算装置の構成と同一であり、ユニットの構成のみが異なる。従って、図１７を用いて、階層型ニューラルネットワークに適応した場合のユニットの構成のみについて説明する。
【０１９８】
ユニットは、データ入力部１０１Ａと、データ出力部１０４Ａと、重み記憶部１３０と、積和計算一次値記憶部１３１と、層情報記憶部１３３と、関数記憶部１３２と、ユニット出力記憶部１３５Ａと、前段ユニット出力記憶部１３８Ｂと、前段ユニット番号記憶部１３９Ｂと、選択ユニット番号記憶部１４１Ｂと、固有ユニット番号記憶部１４０Ｂと、を有する。また、ユニットは、積和計算一次値算出部１１１Ａと、ユニット出力算出部１１２Ａと、比較部１１５Ｂと、ユニット制御部１１６Ｂと、ファンクション番号抽出部１５０Ｂと、ファンクション番号記憶部１５１Ｂと、オペランド抽出部１５２Ｂと、汎用バッファー記憶部１５３Ｂと、を有する。
【０１９９】
ここで、図１７のデータ入力部１０１Ａ、データ出力部１０４Ａ、ユニット出力記憶部１３５Ａは、図１５のデータ入力部１１Ａ、データ出力部１４Ａ、ユニット出力記憶部１６Ａに、それぞれ対応する。また、図１７の固有ユニット番号記憶部１４０Ｂ、比較部１１５Ａが、図１５の固有ユニット番号記憶部２１Ａ、ユニット番号一致判定部２０Ａに、それぞれ対応する。これらの図１７と図１５とにおいて対応する構成について、共通の機能については、その説明を省略する。
【０２００】
また、図１７のファンクション番号抽出部１５０Ｂとファンクション番号記憶部１５１Ｂとが図１５の制御コード抽出部１７Ａに対応する。また、図１７のオペランド抽出部１５２Ｂと汎用バッファー記憶部１５３Ｂとが、図１５の入力値抽出部１８Ａまたは選択ユニット番号抽出部１９Ａに対応する。
【０２０１】
また、図１７の重み記憶部１３０と、層情報記憶部１３３と、積和計算一次値記憶部１３１と、関数記憶部１３２と、積和計算一次値算出部１１１Ａと、ユニット出力算出部１１２Ａと、前段ユニット番号記憶部１３９Ｂとが、図１５のユニット演算部１５Ａに対応する。
【０２０２】
また、図１７の構成において、図３の第１の基本構成における階層型ニューラルネットワークに適応した場合の並列演算装置のユニットの構成と同様の構成には、同一の符号、または、同一の符号に符号Ａを付した符号を付け、その説明を省略する。
【０２０３】
＜第３の実施形態におけるユニットの各構成の説明＞
ファンクション番号記憶部１５１Ｂには、制御データに含まれる制御コード（ファンクション番号）が記憶される。汎用バッファー記憶部１５３Ｂには、制御データに含まれる制御コードＡ（ファンクション番号）以外の情報、例えば、後述する選択ユニット番号Ｂ、出力値Ｃ、配信層情報Ｄ、または、配信ユニット識別情報Ｅが記憶される。以降において、制御データに含まれる制御コードＡ（ファンクション番号）以外の情報、例えば、後述する選択ユニット番号Ｂ、出力値Ｃ、配信層情報Ｄ、または、配信ユニット識別情報Ｅを汎用データとして説明する。この制御データの詳細については、図１８を用いて後述する。
【０２０４】
ファンクション番号抽出部１５０Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードを抽出し、抽出した制御コードをファンクション番号記憶部１５１Ｂに記憶させる。オペランド抽出部１５２Ｂは、データ入力部１０１Ａに入力された制御データに含まれる汎用データを抽出し、抽出した汎用データを汎用バッファー記憶部１５３Ｂに記憶させる。
【０２０５】
ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データと比較部１１５Ｂが判定した結果とに基づいて、処理を実行する、または、予め定められた処理部の中から選択的に処理を実行させる。このデータ入力部１０１Ａに入力された制御データとは、ファンクション番号記憶部１５１Ｂから読み出した制御コードと、汎用バッファー記憶部１５３Ｂから読み出した汎用データとである。
【０２０６】
この前記ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードが、積和計算一次値を初期化することを示す場合には、積和計算一次値記憶部１３１に記憶されている積和計算一次値情報の値を０に初期化する。
【０２０７】
またユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードが、積和計算一次値を算出し加算格納することを示し、該制御データが出力値と該出力値を出力しているユニットのユニット識別情報である配信ユニット識別情報とを含む場合には、配信ユニット識別情報を前段ユニット出力記憶部１３８Ｂに記憶し、出力値に基づいて積和計算一次値算出部１１１Ａを用いて処理を選択的に実行する。
【０２０８】
また、ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードがユニット出力演算を実行することを示す場合には、ユニット出力算出部１１２Ａを用いて処理を選択的に実行する。
【０２０９】
また、ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードがアクティブなユニットとして出力値を出力することを示し、該制御データが選択ユニット番号を含む場合であり、かつ、比較部１１５Ｂ（ユニット番号一致判定部）が判定した結果が一致である場合には、データ出力部１０４Ａの処理を用いて処理を選択的に実行し、演算結果をユニット出力記憶部１３５Ａから読み出し、該読み出した演算結果を出力値として分配制御部８にデータ出力部１０４Ａとユニット出力バス２とを介して出力する。
【０２１０】
なお、ユニット出力記憶部１３５Ａに層情報と演算結果とが関連付けて記憶されている場合においては、ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードがアクティブなユニットとして出力値を出力することを示し、該制御データが選択ユニット番号を含む場合であり、かつ、比較部１１５Ｂが判定した結果が一致である場合には、データ出力部１０４Ａの処理を選択的に実行し、層情報記憶部１３３から読み出した層情報に該当する演算結果をユニット出力記憶部１３５Ａから読み出し、該読み出した演算結果を出力値として分配制御部８にデータ出力部１０４Ａとユニット出力バス２とを介して出力する。
【０２１１】
また、ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データが配信層情報を含む場合には、データ入力部１０１Ａに入力された制御データに含められた配信層情報を層情報記憶部１３３に記憶する。
詳細には、ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データが配信層情報を含む場合には、データ入力部１０１Ａに入力された制御データから配信層情報を抽出し、抽出した配信層情報を層情報記憶部１３３に記憶する。また、このユニット制御部１１６Ｂは、汎用バッファー記憶部１５３Ｂから配信層情報を読み出すことにより、データ入力部１０１Ａに入力された制御データから配信層情報を抽出する。
【０２１２】
またユニット制御部１１６Ｂは、出力値を出力しているユニットのユニット識別情報である配信ユニット識別情報を、データ入力部１０１Ａに入力された制御データが含む場合には、データ入力部１０１Ａに入力された制御データに含められた配信ユニット識別情報を前段ユニット出力記憶部１３８Ｂに記憶する。
詳細には、ユニット制御部１１６Ｂは、出力値を出力しているユニットのユニット識別情報である配信ユニット識別情報を、データ入力部１０１Ａに入力された制御データが含む場合には、データ入力部１０１Ａに入力された制御データから配信ユニット識別情報を抽出し、抽出した配信ユニット識別情報をユニット番号記憶部１３９Ｂに記憶する。また、このユニット制御部１１６Ｂは、汎用バッファー記憶部１５３Ｂから配信ユニット識別情報を読み出すことにより、データ入力部１０１Ａに入力された制御データから配信ユニット識別情報を抽出する。
【０２１３】
積和計算一次値算出部１１１Ａは、ユニット制御部１１６Ｂの選択に応じて、層情報記憶部１３３から読み出した層情報に該当する結合荷重を重み記憶部１３０から読み出し、該読み出した結合荷重と、データ入力部１０１Ａに入力された入力値とを乗算し、該乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる。
【０２１４】
また、積和計算一次値算出部１１１Ａは、ユニット制御部１１６Ｂの選択に応じて、前段ユニット出力記憶部１３８Ｂから読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出し、該読み出した結合荷重と、データ入力部１０１Ａに入力された入力値とを乗算し、該乗算した値を前記積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる。
【０２１５】
ユニット出力算出部１１２Ａは、ユニット制御部１１６Ｂの選択に応じて、積和計算一次値記憶部１３１から積和計算一次値情報を読み出し、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出し、該読み出した出力関数に読み出した積和計算一次値情報を代入することにより出力値を算出し、該算出した出力値をユニット出力記憶部１３５Ａに記憶させる。また、ユニット出力算出部１１２Ａは、この算出した出力値をユニット出力記憶部１３５Ａに記憶させるときに、層情報記憶部１３３から読み出した層情報と関連付けて、この算出した出力値を前記ユニット出力記憶部１３５Ａに記憶させる。
【０２１６】
＜第３の実施形態における制御データのプロトコル＞
次に、図１８を用いて、一例としての制御データのプロトコルについて説明する。この制御データは、制御コードＡと、選択ユニット番号Ｂと、出力値Ｃとを含み、更に、配信層情報Ｄと、配信ユニット識別情報Ｅと、を含む。この配信層情報Ｄとは、出力値Ｃを出力しているユニットの層情報であり、また、配信ユニット識別情報Ｅとは、出力値Ｃを出力しているユニットのユニット識別情報である。この制御コードのプロトコルは、制御コードの値により、次に示すように予め定められている。
【０２１７】
＜選択処理０＞
制御データに含まれる制御コードＡの値が“０”であり、“積和計算一次値を初期化する”ことを示す制御コードである場合には、この制御データは、他の情報（汎用データ）を含んでいない。この制御コードＡの値が“０”である制御データを受信した全てのユニットは、積和計算一次値算出部１１１Ａに記憶されている積和計算一次値の値を０に初期化する。
【０２１８】
＜選択処理１＞
また、制御データに含まれる制御コードＡの値が“１”であり、“積和計算一次値を算出し加算格納する”ことを示す制御コードである場合には、この制御データは、出力値Ｃと、配信層情報Ｄと、配信ユニット識別情報Ｅと、を含む。この制御コードＡの値が１である制御データを受信した全てのユニットは、層情報ｌを配信層情報Ｄとし、ユニット識別情報ｉを配信ユニット識別情報Ｅとし、入力値の値を出力値Ｃとして、積和計算一次値を算出する。
【０２１９】
＜選択処理２＞
また、制御データに含まれる制御コードＡの値が“２”であり、“ユニット出力演算を実行する”ことを示す制御コードである場合には、この制御データは、配信層情報Ｄを含む。この制御コードＡの値が“２”である制御データを受信した全てのユニットは、層情報ｌを配信層情報Ｄとして、ユニット出力演算を実行し、実行した演算結果を出力値として層情報ｌと関連付けてユニット出力記憶部１３５Ａに格納する。
【０２２０】
＜選択処理３＞
また、制御データに含まれる制御コードＡの値が“３”であり、“アクティブなユニットとして出力値を出力する”ことを示す制御コードである場合には、制御データは、選択ユニット番号Ｂと配信層情報Ｄとを含む。この制御コードＡの値が“３”である制御データを受信した全てのユニットは、受信した制御データに含まれる選択ユニット番号Ｂが、自身のユニットが有する固有ユニット番号Ｉと一致するか否かを判定し、判定した結果が一致する場合には、層情報ｌを配信層情報Ｄの値とし、この層情報ｌに該当するユニット出力記憶部１３５Ａから読み出した出力値を出力する。
【０２２１】
この図１８の制御データのプロトコルに基づいて、分配制御部９は、積和計算一次値を初期化することを示す制御コード、出力値と配信ユニット識別情報とを含み、積和計算一次値を算出し加算格納することを示す制御コード、ユニット出力演算を実行することを示す制御コード、アクティブなユニットとして出力値を出力することを示す制御コード、または、前記配信層情報を含む制御データを、階層型ニューラルネットワークの階層数と該階層のノード数とに合わせて予め定められた順序で出力する。
【０２２２】
＜第３の実施形態におけるユニットの動作＞
次に、図１９を用いて、図１８で説明した制御データのプロトコルを受信した場合の、ユニットの動作、特に、ユニットのユニット制御部１１６の動作について説明する。
まず、ユニットは、データ入力部１０１Ａに制御データが入力されたことに応じて、処理を開始する（ステップＳ１９０１）。次に、ファンクション番号抽出部１５０Ｂが、データ入力部１０１Ａに入力された制御データから、制御コードを抽出し、抽出した制御コードをファンクション番号記憶部１５１Ｂに記憶させる。
【０２２３】
また、オペランド抽出部１５２Ｂが、データ入力部１０１Ａに入力された制御データから、オペランドである制御コード以外の情報、例えば、選択ユニット番号Ｂと、出力値Ｃと、配信層情報Ｄと、配信ユニット識別情報Ｅとを抽出し、抽出したオペランドを汎用バッファー記憶部１５３Ｂに記憶させる。
【０２２４】
次に、ユニット制御部１１６Ｂが、ファンクション番号抽出部１５０Ｂが制御コードを抽出したことに応じて、ファンクション番号記憶部１５１Ｂから読み出した制御コードの値に基づいて、以降に説明するステップＳ１９０２からステップＳ１９０８により、ユニットにおける処理を選択的に実行する。
【０２２５】
まず、ユニット制御部１１６Ｂは、読み出した制御コードＡの値が“０”であるか否かを判定する（ステップＳ１９０２）。ステップＳ１９０２の判定結果が、読み出した制御コードＡの値が“０”である場合には、ユニット制御部１１６Ｂは、上記に説明した選択処理０を実行し（ステップＳ１９０３）、処理を終了する。
【０２２６】
一方、ステップＳ１９０２の判定結果が、読み出した制御コードＡの値が“０”でない場合には、ユニット制御部１１６Ｂは、読み出した制御コードＡの値が“１”であるか否かを判定する（ステップＳ１９０４）。ステップＳ１９０４の判定結果が、読み出した制御コードＡの値が“１”である場合には、ユニット制御部１１６Ｂは、上記に説明した選択処理１を実行し（ステップＳ１９０５）、処理を終了する。
【０２２７】
一方、ステップＳ１９０４の判定結果が、読み出した制御コードＡの値が“１”でない場合には、ユニット制御部１１６Ｂは、読み出した制御コードＡの値が“２”であるか否かを判定する（ステップＳ１９０５）。ステップＳ１９０５の判定結果が、読み出した制御コードＡの値が“２”である場合には、ユニット制御部１１６Ｂは、上記に説明した選択処理２を実行し（ステップＳ１９０６）、処理を終了する。
【０２２８】
一方、ステップＳ１９０５の判定結果が、読み出した制御コードＡの値が“２”でない場合には、つまり、読み出した制御コードＡの値が“３”である場合には、比較部１１５Ｂが、選択ユニット番号記憶部１４１Ｂから読み出した選択ユニット番号と固有ユニット番号記憶部１４０Ｂから読み出した固有ユニット番号とが一致するか否かを判定する（ステップＳ１９０７）。ステップＳ１９０７の判定結果が、選択ユニット番号と固有ユニット番号とが一致する場合には、ユニット制御部１１６Ｂは、上記に説明した選択処理３を実行し（ステップＳ１９０８）、処理を終了する。一方、ステップＳ１９０７の判定結果が、選択ユニット番号と固有ユニット番号とが一致しない場合には、処理を終了する。
【０２２９】
＜第３の実施形態における分配制御部８の動作＞
次に、図２０と図２１とを用いて、第２の基本構成による並列演算装置を階層型ニューラルネットワークに適応した場合の分配制御部８の動作について説明する。なお、分配制御部８が出力した制御データに含まれる制御コードの値に応じた各ユニットの動作については、図１７から図１９を用いて既に説明したので、ここでは、分配制御部８の動作のみについて説明する。なお、ここでも図６の階層型ニューラルネットワークに、第２の基本構成による並列演算装置を適応した場合について説明する。
【０２３０】
まず、図２０（ａ）を用いて、階層型ニューラルネットワークに適応した場合における、分配制御部８の動作概要について説明する。まず、各ユニットの初期設定（初期化）をする（ステップＳ２００１）。次に、外部から入力端子Ｐ２を介して入力層Ｌ１のノード用の入力データ（パターン入力）である入力の指示を受けて、受けた入力を、中間層（隠れ層）Ｌ２のノードとしての各ユニットに、分配制御部８が入力層Ｌ１として、分配することにより、各ユニットを用いて中間層Ｌ２の積和計算を並列に実行する（ステップＳ２００２）。このステップＳ２００２では、分配制御部８が入力層Ｌ１のノードとして、中間層Ｌ２のノードとなる各ユニットに出力値を出力している。
【０２３１】
次に、階層型ニューラルネットワークの全ての中間層（層情報カウンタ変数ｌ＝２、・・・Ｌ＋１）について、中間層積和計算（ステップＳ２００４）の処理を繰り返す（ステップＬ２００２からステップＬ２００５の層ループ処理）。ここで、Ｌは、中間層の総数（中間層総数）の値であり、図６の３階層である階層型ニューラルネットワークにおいては、この中間層総数Ｌの値は１である。このステップＳ２００４の中間層積和計算は、後に図２１（ａ）を用いて詳述する。
【０２３２】
このステップＬ２００２からステップＬ２００５の層ループ処理により、階層型ニューラルネットワークの中間層のノードとしての処理が階層型ニューラルネットワークの層において、入力層Ｌ１から出力層Ｌ３の方向に順に実行され、最終的には、各ユニットには出力層Ｌ３としての演算結果の値が記憶される。なお、このステップＬ２００２からステップＬ２００５のループにおいては、いずれか１つのユニットは、出力をする層としてのアクティブなユニットとして機能し、全てのユニットは入力を受ける層のノードとして機能する。
【０２３３】
次に、出力層Ｌ３のノードとしてのユニットに出力値を、ユニット識別情報で識別されるユニットの順に出力させる（ステップＳ２００６）ことにより、階層型ニューラルネットワークの出力層Ｌ３に属するノードとなる全てのユニットからの演算結果を順に受信する。また、この順に受信した演算結果を、入力されたパターン入力に対しての階層型ニューラルネットワーク演算装置の演算結果として、出力端子Ｐ１を介して外部に順に出力する。
【０２３４】
以上のステップＳ２００１からステップＳ２００６の処理により、この並列演算装置は、外部から入力された入力データ（パターン入力）である入力に応じて、階層型ニューラルネットワークの演算を複数のユニットを用いて並列に実行し、この実行した演算結果を、外部に出力することができる。
【０２３５】
次に、図２０（ｂ）、図２０（ｃ）、図２１（ａ）、および、図２１（ｂ）を用いて、図２０（ａ）の各処理について詳細に説明する。なお、ここでは、図２０（ｂ）、図２０（ｃ）、図２１（ａ）、および、図２１（ｂ）の処理を、図２０（ａ）の各処理についての関数またはサブルーチンとして説明する。
【０２３６】
最初に、図２０（ｂ）を用いて、図２０（ａ）のステップＳ２００１の処理を詳細に説明する。まず、制御コードＡの値を“０”とした制御データを出力し（ステップＳ２００１１）、次に、処理を戻す。
【０２３７】
次に、図２０（ｃ）を用いて、図２０（ａ）のステップＳ２００２の処理を詳細に説明する。まず、カウンタ変数ｉの値を０から、１、２、・・・Ｎ（１）まで順次増加させながら、次のステップＳ２００２２とステップＳ２００２３との処理を繰り返す（ステップＬ２００２１とステップＬ２００２４の入力ループ）。このＮ（１）は、層識別情報の値が１である層のノード数の値、つまり、入力層Ｌ１のノード数の値である。例えば、図６の階層型ニューラルネットワークにおいては、この入力層Ｌ１のノード数の値は３である。
【０２３８】
このステップＳ２００２２では、パターン入力ｘｉ（ｌ）を外部から入力する。次に、このステップＳ２００２３では、制御コードＡの値を“１”とし、出力値Ｃの値をステップＳ２００２２で外部から入力されたパターン入力ｘｉ（１）とし、配信層情報Ｄの値をカウンタ変数ｉとし、配信ユニット識別情報Ｅの値を１とした制御データを、各ユニットに出力する。
次に、制御コードＡの値を“２”とし、配信層情報Ｄの値を１とした制御データを、各ユニットに出力し（ステップＳ２００２５）、処理を戻す。
【０２３９】
次に、図２１（ａ）を用いて、図２０（ａ）のステップＳ２００４の処理を詳細に説明する。まず、カウンタ変数ｉの値を０から、１、２、・・・Ｎ（ｌ）まで順次増加させながら、次のステップＳ２００４２からステップＳ２００４４の処理を繰り返す（ステップＬ２００４１とステップＬ２００４５の入力ループ）。このＮ（ｌ）は、層識別情報の値が層情報カウンタ変数ｌである層のノード数の値である。
【０２４０】
このステップＳ２００４２では、制御コードＡの値を“３”とし、選択ユニット番号Ｂをカウンタ変数ｉとし、配信層情報Ｄを層情報カウンタ変数ｌとした制御データを、各ユニットに出力する。また、このステップＳ２００４３では、ステップＳ２００４２で出力した選択ユニット番号Ｂであるカウンタ変数ｉと固有ユニット番号とが一致したユニットから出力された出力値ｘｉ（ｌ）を入力する。また、このステップＳ２００４４では、制御コードＡの値を“２”とし、出力値ＣをステップＳ２００４３でユニットから入力された出力値ｘｉ（ｌ）とし、配信層情報Ｄをカウンタ変数ｉとし、配信ユニット識別情報Ｅを層情報カウンタ変数ｌとした制御データを、各ユニットに出力する。
次に、制御コードＡの値を“２”とし、配信層情報Ｄを層情報カウンタ変数ｌとした制御データを、各ユニットに出力し（ステップＳ２００４６）、処理を戻す。
【０２４１】
次に、図２１（ｂ）を用いて、図２０（ａ）のステップＳ２００６の処理を詳細に説明する。まず、カウンタ変数ｉの値を０から、１、２、・・・Ｎ（Ｌ＋２）まで順次増加させながら、次のステップＳ２００６２からステップＳ２００６４の処理を繰り返し（ステップＬ２００６１とステップＬ２００６５の出力ループ）、処理を戻す。このＮ（Ｌ＋２）は、層識別情報の値が（中間層総数Ｌ＋２）である層のノード数の値であり、つまり、出力層Ｌ３のノードの数である。例えば、図６の階層型ニューラルネットワークにおいては、この出力層Ｌ３のノード数の値は３である。
【０２４２】
このステップＳ２００６２では、制御コードＡの値を“３”とし、選択ユニット番号Ｂをカウンタ変数ｉとし、配信層情報Ｄを（中間層総数Ｌ＋２）とした制御データを、各ユニットに出力する。また、このステップＳ２００６３では、ステップＳ２００６２で出力した選択ユニット番号Ｂであるカウンタ変数ｉと固有ユニット番号とが一致したユニットから出力された出力値ｘｉ（Ｌ＋２）を入力する。また、このステップＳ２００６４では、ステップＳ２００６３でユニットから入力された出力値ｘｉ（Ｌ＋２）を、出力端子Ｐ１を介して外部に出力する。
【０２４３】
以上の処理により、この第３の実施形態による階層型ニューラルネットワークに適応した場合の並列演算装置は、第１の実施形態による階層型ニューラルネットワークに適応した場合の並列演算装置と同様に、階層型ニューラルネットワークを実行することができ、また、第１の実施形態による階層型ニューラルネットワークと同様の効果を奏することが可能である。
【０２４４】
＜第４の実施形態＞
＜自己組織化マップに適応した場合のユニットの構成＞
次に、第２の基本構成による並列演算装置を、自己組織化マップに適応した場合の構成について説明する。自己組織化マップにおいても並列演算装置全体の構成は、図１４の並列演算装置の構成と同一であり、ユニットの構成のみが異なる。従って、図２２を用いて、自己組織化マップに適応した場合のユニットの構成のみについて説明する。
【０２４５】
ここで、第１の基本構成における自己組織化マップの並列演算装置においては、最小のノルムを有するユニットの決定は、各ユニットがノルムを算出し、次に、ユニット間でノルムの大小を順に比較していた。これに対して、この第２の基本構成における自己組織化マップの並列演算装置においては、各ユニットがノルムを算出した後に、分配制御部８の制御に基づいて、各ユニットが算出したノルムを順に分配制御部８にユニット出力バス２を介して出力する。次に、分配制御部８が、入力されたノルムの中から最小となるノルムを選択することにより、最小のノルムを有するユニットを決定する。
【０２４６】
また、第１の基本構成における自己組織化マップの並列演算装置においては、各ユニットが、学習回数に関連付けて学習速度と近傍距離とを予め内部の記憶部（学習速度記憶部と近傍距離記憶部）に記憶していた。これに対して第２の基本構成における自己組織化マップの並列演算装置においては、分配制御部８が、内部に有する学習速度記憶部と近傍距離記憶部とに、学習回数に関連付けて学習速度と近傍距離とを記憶する。また、各ユニットは、１つの値の学習速度と近傍距離とを内部の記憶部（学習速度記憶部と近傍距離記憶部）に記憶する。また、分配制御部８が、学習回数に応じて、学習速度記憶部と近傍距離記憶部とを各ユニットに制御データに含めて配信し、各ユニットが、内部の記憶部（学習速度記憶部と近傍距離記憶部）の学習速度記憶部と近傍距離記憶部とを、分配制御部８から受信した制御データに含まれている学習速度記憶部と近傍距離記憶部とに更新する。
【０２４７】
以上のように、分配制御部８が、学習回数に応じて、学習速度記憶部と近傍距離記憶部とを各ユニットに制御データに含めて配信するようにすることにより、全てのユニットが学習回数に関連付けて学習速度と近傍距離とを予め内部の記憶部しておく必要がなくなるという効果を奏する。また、例えば、学習速度と近傍距離との変化の度合いを学習回数に応じて早くするまたは遅くするなどの、学習回数に関連付いた学習速度と近傍距離との変化の仕方を変更する場合には、学習回数と関連付けて学習速度記憶部と近傍距離記憶部とを記憶している分配制御部８内部の記憶部の情報のみを変更するのみでよく、変更が簡易となる効果を奏する。
【０２４８】
また、自己組織化マップに適応した場合のユニットは、第２の実施形態と同様に、ネットワーク座標により識別される座標で予め識別されている。そこで、第４の実施形態においては、固有ユニット番号をネットワーク座標として説明する。なお、各ユニットは、第２の実施形態または第３の実施形態と同様に、同一の構成を有しているので、ここでは図２２を用いて１つのユニットの構成のみについて説明する。
【０２４９】
ユニットは、データ入力部２０１Ａと、データ出力部２０４Ａと、距離記憶部２３２Ａと、重み記憶部２３１Ａと、ノルム算出部２１４Ａと、近傍判定部２１５Ａと、重み更新部２１６Ａと、ユニットネットワーク座標記憶部２３４Ａと、入力ネットワーク座標記憶部２３３Ａと、学習速度記憶部２３５Ａと、ユニットノルム記憶部２３６Ａと、入力データ記憶部２３０Ａと、実数ベクトル次元数記憶部２４２Ｂと、比較部２１５Ｂと、ユニット制御部２１６Ｂと、ファンクション番号抽出部２５０Ｂと、ファンクション番号記憶部２５１Ｂと、オペランド抽出部２５２Ｂと、汎用バッファー記憶部２５３Ｂと、を有する。
【０２５０】
ここで、図２２のデータ入力部２０１Ａ、データ出力部２０４Ａ、ユニットノルム記憶部２３６Ａと重み記憶部２３１Ａは、図１５のデータ入力部１１Ａ、データ出力部１４Ａ、ユニット出力記憶部１６Ａに、それぞれ対応する。また、図２２のユニットネットワーク座標記憶部２３４Ａ、比較部２１５Ｂが、図１５の固有ユニット番号記憶部２１Ａ、ユニット番号一致判定部２０Ａに、それぞれ対応する。これらの図２２と図１５とにおいて対応する構成について、共通の機能については、その説明を省略する。
【０２５１】
また、図２２のファンクション番号抽出部２５０Ｂとファンクション番号記憶部２５１Ｂとが図１５の制御コード抽出部１７Ａに対応する。また、図２２のオペランド抽出部２５２Ｂと汎用バッファー記憶部２５３Ｂとが、図１５の入力値抽出部１８Ａまたは選択ユニット番号抽出部１９Ａに対応する。
【０２５２】
また、図２２の構成において、図７と図８との第１の基本構成における自己組織化マップに適応した場合の並列演算装置のユニットの構成と同様の構成には、同一の符号、または、同一の符号に符号Ａを付した符号を付け、その説明を省略する。
【０２５３】
＜第４の実施形態におけるユニットの各構成の説明＞
ファンクション番号記憶部２５１Ｂには、制御データに含まれる制御コード（ファンクション番号）が記憶される。汎用バッファー記憶部２５３Ｂには、制御データに含まれる制御コードＡ（ファンクション番号）以外の情報、例えば、後述する入力ネットワーク座標Ｂ、入力学習速度Ｃ、入力近傍距離Ｄ、入力重みＷ、入力次元数Ｎ、または、入力値Ｘが記憶される。
【０２５４】
以降において、制御データに含まれる制御コードＡ（ファンクション番号）以外の情報、例えば、後述する入力ネットワーク座標Ｂ、入力学習速度Ｃ、入力近傍距離Ｄ、入力重みＷ、入力次元数Ｎ、または、入力値Ｘを汎用データとして説明する。この制御データの詳細については、図２３を用いて後述する。
【０２５５】
ファンクション番号抽出部２５０Ｂは、データ入力部２０１Ａに入力された制御データに含まれる制御コードを抽出し、抽出した制御コードをファンクション番号記憶部２５１Ｂに記憶させる。オペランド抽出部２５２Ｂは、データ入力部２０１Ａに入力された制御データに含まれる汎用データを抽出し、抽出した汎用データを汎用バッファー記憶部２５３Ｂに記憶させる。
【０２５６】
ユニット制御部２１６Ｂは、データ入力部２０１Ａに入力された制御データと比較部２１５Ｂが判定した結果とに基づいて、処理を実行する、または、予め定められた処理部の中から選択的に処理を実行させる。このデータ入力部２０１Ａに入力された制御データとは、ファンクション番号記憶部２５１Ｂから読み出した制御コードと、汎用バッファー記憶部２５３Ｂから読み出した汎用データとである。
【０２５７】
また、図２２の距離記憶部２３２Ａと、ノルム算出部２１４Ａと、近傍判定部２１５Ａと、重み更新部２１６Ａと、入力ネットワーク座標記憶部２３３Ａと、学習速度記憶部２３５Ａと、入力データ記憶部２３０Ａと、実数ベクトル次元数記憶部２４２Ｂと、ユニット制御部２１６Ｂとが、図１５のユニット演算部１５Ａに対応する。なお、図２２の重み記憶部２３１Ａは、図１５のユニット演算部１５Ａとユニット出力記憶部１６Ａとに対応する。
【０２５８】
また、ユニット制御部２１６Ｂの詳細と他の構成とについては、次に図２３を用いて、一例としての制御データのプロトコルの説明とともに説明する。
【０２５９】
＜第４の実施形態における制御データのプロトコル＞
次に、図２３を用いて、一例としての制御データのプロトコルについて説明する。この制御データは、制御コードＡと、入力ネットワーク座標Ｂと、入力学習速度Ｃと、入力近傍距離Ｄと、入力結合重みベクトルＷ（Ｗ１、Ｗ２、・・・）と、入力次元数Ｎと、入力ベクトルＸ（Ｘ１、Ｘ２、・・・）と、を含む。この制御コードのプロトコルは、制御コードの値により、次に示すように予め定められている。
【０２６０】
＜選択処理４＞
制御データに含まれる制御コードＡの値が“４”であり、“重みを設定する”ことを示す場合には、この制御データは、入力ネットワーク座標Ｂと入力結合重みベクトルＷ（Ｗ１、Ｗ２、・・・）とを含んでいる。この制御コードＡの値が“４”であり、“重みを設定する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、入力ネットワーク座標記憶部２３３Ａに記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標Ｂに更新するとともに、比較部２１５Ｂが、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標とが一致するか否かを判定する。次に、比較部２１５Ｂの判定結果が一致する場合には、ユニット制御部２１６Ｂが、重み記憶部２３１Ａに記憶されている結合重みベクトルを、受信した制御データに含まれる入力結合重みベクトルＷ（Ｗ１、Ｗ２、・・・）に更新する。
【０２６１】
＜選択処理５＞
制御データに含まれる制御コードＡの値が“５”であり、“学習速度と近傍距離とを設定する”ことを示す場合には、この制御データは、入力学習速度Ｃと、入力近傍距離Ｄと、を含んでいる。この制御コードＡの値が“５”であり、“学習速度と近傍距離とを設定する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、学習速度記憶部２３５Ａに記憶されている学習速度を受信した制御データに含まれる入力学習速度Ｃに更新するとともに、距離記憶部２３２Ａに記憶されている基準距離を受信した制御データに含まれる入力近傍距離Ｄに更新する。
【０２６２】
＜選択処理６＞
制御データに含まれる制御コードＡの値が“６”であり、“実数ベクトルの次元数を設定する”こと示す場合には、この制御データは、入力次元数Ｎを含んでいる。この制御コードＡの値が“６”であり、“実数ベクトルの次元数を設定する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、実数ベクトル次元数記憶部２４２Ｂに記憶されている次元数を受信した制御データに含まれる入力次元数Ｎに更新する。
【０２６３】
＜選択処理７＞
制御データに含まれる制御コードＡの値が“７”であり、“ノルムを算出する”ことを示す場合には、この制御データは、入力ベクトルＸ（Ｘ１、Ｘ２、・・・）を含んでいる。この制御コードＡの値が“７”であり、“ノルムを算出する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、入力データ記憶部２３０Ａに記憶されている入力データベクトルを入力ベクトルＸ（Ｘ１、Ｘ２、・・・）に更新する。次に、ノルム算出部２１４Ａが、該更新した入力ベクトルＸ（Ｘ１、Ｘ２、・・・）と、重み記憶部２３１Ａから読み出した結合重みベクトルとのノルムを算出し、該算出したノルムをユニットノルムとしてユニットノルム記憶部２３６Ａに記憶させる。
【０２６４】
＜選択処理８＞
制御データに含まれる制御コードＡの値が“８”であり、“ノルムを出力する”ことを示す場合には、この制御データは、入力ネットワーク座標Ｂを含んでいる。この制御コードＡの値が“８”であり、“ノルムを出力する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、入力ネットワーク座標記憶部２３３Ａに記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標Ｂに更新するとともに、比較部２１５Ｂが、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標とが一致するか否かを判定する。次に、比較部２１５Ｂの判定結果が一致する場合には、ユニット制御部２１６Ｂが、ユニットノルム記憶部２３６Ａから読み出したユニットノルムを、データ出力部２０４Ａとユニット出力バス２とを介して分配制御部８に出力する。
【０２６５】
＜選択処理９＞
制御データに含まれる制御コードＡの値が“９”であり、“学習する”ことを示す場合には、この制御データは、入力ネットワーク座標Ｂを含んでいる。この制御コードＡの値が“９”であり、“学習する”ことを示す制御データを受信した全てのユニットは、ユニット制御部２１６Ｂが、入力ネットワーク座標記憶部２３３Ａに記憶されている入力ネットワーク座標を、制御データに含まれていた入力ネットワーク座標Ｂに更新する。次に、ユニットの近傍判定部２１５Ａが、ユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標と入力ネットワーク座標記憶部２３３Ａから読み出した入力ネットワーク座標との間の距離を算出し、該算出した距離が、距離記憶部２３２Ａから読み出した距離以下であるか否かを判定することにより、ユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標が、入力ネットワーク座標記憶部２３３Ａから読み出した入力ネットワーク座標の近傍にあるか否かを判定する。次に、近傍判定部２１５Ａの判定した結果が近傍である場合には、重み更新部２１６Ａが、入力データ記憶部２３０Ａから読み出した入力データベクトルと重み記憶部２３１Ａから読み出した結合重みベクトルとの差を算出し、該算出した差に学習速度記憶部２３５Ａから読み出した学習速度係数を乗じた値を、重み記憶部２３１Ａに記憶されている結合重みベクトルに加算し、重み記憶部２３１Ａに記憶されている結合重みベクトルを更新することにより、学習する。
【０２６６】
＜選択処理１０＞
制御データに含まれる制御コードＡの値が“１０”であり、“学習結果を出力する”ことを示す場合には、この制御データは、入力ネットワーク座標Ｂを含んでいる。この制御コードＡの値が“１０”であり、“学習結果を出力する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、入力ネットワーク座標記憶部２３３Ａに記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標Ｂに更新するとともに、比較部２１５Ｂが、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標とが一致するか否かを判定する。次に、比較部２１５Ｂの判定結果が一致する場合には、ユニット制御部２１６Ｂが、重み記憶部２３１Ａから読み出した結合重みベクトルを、データ出力部２０４Ａとユニット出力バス２とを介して分配制御部８に出力する。
【０２６７】
＜第４の実施形態におけるユニットの動作＞
次に、図２４を用いて、図２３で説明した制御データのプロトコルを受信した場合の、ユニットの動作、特に、ユニットのユニット制御部２１６Ｂの動作について説明する。なお、説明の簡略のために、以降においては制御コードＡの値を用いて説明する。この制御コードＡの値の意味は、上記に図２３の説明と同様である。
【０２６８】
まず、ユニットは、データ入力部２０１Ａに制御データが入力されたことに応じて、処理を開始する（ステップＳ２４０１）。次に、ファンクション番号抽出部２５０Ｂが、データ入力部２０１Ａに入力された制御データから、制御コードを抽出し、抽出した制御コードをファンクション番号記憶部２５１Ｂに記憶させる。
【０２６９】
また、オペランド抽出部２５２Ｂが、データ入力部２０１Ａに入力された制御データから、オペランドである制御コード以外の情報を汎用バッファー記憶部２５３Ｂに記憶させる。
【０２７０】
次に、ユニット制御部２１６Ｂが、ファンクション番号抽出部２５０Ｂが制御コードを抽出したことに応じて、ファンクション番号記憶部２５１Ｂから読み出した制御コードの値に基づいて、以降に説明するステップＳ２４０２からステップＳ２４１２により、ユニットにおける処理を選択的に実行する（ステップＳ２４０２）。
【０２７１】
ステップＳ２４０２で、読み出した制御コードの値が“４”である場合には、比較部２１５Ｂが、ユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標と入力ネットワーク座標記憶部２３３Ａから読み出した入力ネットワーク座標とが一致するか否かを判定する（ステップＳ２４０３）。ステップＳ２４０３の判定結果が、選択ユニット番号と固有ユニット番号とが一致する場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理４を実行し（ステップＳ２４０４）、処理を終了する。一方、ステップ２４０３の判定結果が、選択ユニット番号と固有ユニット番号とが一致しない場合には、処理を終了する。
【０２７２】
一方、ステップＳ２４０２で、読み出した制御コードの値が“５”である場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理５を実行し（ステップＳ２４０５）、処理を終了する。一方、ステップＳ２４０２で、読み出した制御コードの値が“６”である場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理６を実行し（ステップＳ２４０６）、処理を終了する。一方、ステップＳ２４０３で、読み出した制御コードの値が“７”である場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理７を実行し（ステップＳ２４０７）、処理を終了する。
【０２７３】
一方、ステップＳ２４０２で、読み出した制御コードの値が“８”である場合には、比較部２１５Ｂが、ユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標と入力ネットワーク座標記憶部２３３Ａから読み出した入力ネットワーク座標とが一致するか否かを判定する（ステップＳ２４０８）。ステップＳ２４０８の判定結果が、選択ユニット番号と固有ユニット番号とが一致する場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理８を実行し（ステップＳ２４０９）、処理を終了する。一方、ステップ２４０８の判定結果が、選択ユニット番号と固有ユニット番号とが一致しない場合には、処理を終了する。
【０２７４】
一方、ステップＳ２４０２で、読み出した制御コードの値が“９”である場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理９を実行し（ステップＳ２４１０）、処理を終了する。
【０２７５】
一方、ステップＳ２４０２で、読み出した制御コードの値が“１０”である場合には、比較部２１５Ｂが、ユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標と入力ネットワーク座標記憶部２３３Ａから読み出した入力ネットワーク座標とが一致するか否かを判定する（ステップＳ２４１１）。ステップＳ２４１１の判定結果が、選択ユニット番号と固有ユニット番号とが一致する場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理１０を実行し（ステップＳ２４１２）、処理を終了する。一方、ステップ２４１１の判定結果が、選択ユニット番号と固有ユニット番号とが一致しない場合には、処理を終了する。
【０２７６】
上記に図２４を用いて説明したように、各ユニットは、ユニットのユニット制御部２１６Ｂにより、入力された入力データに含まれる制御コードの値に基づいて、選択的に予め定められた処理を実行する。
【０２７７】
＜第４の実施形態における分配制御部８の動作＞
次に、図２５と図２６とを用いて、第２の基本構成による並列演算装置を自己組織化マップに適応した場合の、並列演算装置の動作について説明する。なお、並列演算装置は分配制御部８と複数のユニットを有するが、分配制御部８が出力した制御データに含まれる制御コードの値に応じた各ユニットの動作については、図２２から図２４を用いて既に説明したので、ここでは、分配制御部８の動作のみについて説明する。
【０２７８】
まず、図２５（ａ）を用いて、自己組織化マップに適応した場合における並列演算装置の分配制御部８の動作について説明する。まず、各ユニットの初期設定をする（ステップＳ２５０１）。この初期設定については、後に図２５（ｂ）を用いて詳述する。
【０２７９】
次に、学習回数変数ｔ＝０、１、２、・・・・Ｔについて、競合学習（ステップＳ２５０３）を繰り返す（ステップＬ２５０２からステップＬ２５０４の学習ループ処理）。ここで、このＴは、競合学習の学習回数である。また、このステップＳ２５０２の競合学習については、後に図２６（a）を用いて詳述する。
【０２８０】
次に、学習した結果を出力する（ステップＳ２５０５）。この出力については、後に図２６（ｃ）を用いて詳述する。
【０２８１】
次に、図２５（ｂ）と、図２６（ａ）から図２６（ｃ）とを用いて、図２５（ａ）の各処理について詳細に説明する。なお、ここでは、図２５（ｂ）と、図２６（ａ）から図２６（ｃ）との処理を、図２０（ａ）の各処理についての関数またはサブルーチンとして説明する。
【０２８２】
最初に、図２５（ｂ）を用いて、図２５（ａ）のステップＳ２５０１の初期設定の処理について説明する。まず、パターン入力ｎを外部から入力する（ステップＳ２５０１０１）。次に、制御コードＡの値を“６”、出力値Ｄの値を入力されたパターン入力ｎとした制御データを、各ユニットに出力する（ステップＳ２５０１０２）。
【０２８３】
次に、ユニットループ変数ｊ＝１、２、・・・Ｎで示されるユニットの順に、次のステップＬ２５０１０４からステップＬ２５０１０６の次元ループとＳ２５０１０７との処理を繰り返す（ステップＬ２５０１０３からステップＬ２５０１０８のユニットループ）。ここで、Ｎは、ユニットの総数の値である。
【０２８４】
このステップＬ２５０１０４からステップＬ２５０１０６の次元ループでは、入力ベクトル次元数ｉ＝１、２、・・・ｎで示される入力ベクトルの次元数の順に、次のステップＳ２５０１０５の処理を繰り返す。このステップＳ２５０１０５では、外部から入力パターンｗｊｉを入力する。ここで、ｎは、入力ベクトルの次元数である。
【０２８５】
また、このステップＳ２５０１０７の処理では、制御コードＡの値を“４”、入力ネットワーク座標Ｂの値をユニットループ変数ｊ、出力値Ｃ（Ｃ１、Ｃ２、・・・Ｃｎ）を入力パターンｗｊｉ（ｗｊ１、ｗｊ２、・・・ｗｊｎ）とした制御データを、各ユニットに出力する。
【０２８６】
上記のステップＬ２５０１０３からステップＬ２５０１０８の処理により、各ユニットに対して、それぞれのユニット内の重み記憶部２３１Ａの結合重みベクトルを初期設定する。
【０２８７】
次に、学習回数変数ｔ＝０、１、２、・・・Ｔについて、ステップＳ２５０１１０の処理を繰り返す（ステップＬ２５０１０９からステップＬ２５０１１１の入力ループ）。このステップＳ２５０１１０では、外部から学習速度η（ｔ）と近傍距離ｄ（ｔ）とを入力し、学習回数変数ｔと関連付けて入力した学習速度η（ｔ）を内部の学習速度記憶部に記憶するとともに、学習回数変数ｔと関連付けて入力した近傍距離ｄ（ｔ）を内部の近傍距離記憶部に記憶する。
次に、後に図２６（ｂ）を用いて説明する最小ノルム判定に用いるダミー変数であるノルム最小値ｄｍｉｎの値を−１に設定し（ステップＳ２５０１１２）、処理を戻す。
【０２８８】
次に、図２６（ａ）を用いて、図２５（ａ）のステップＳ２５０３の競合学習の処理について説明する。まず、制御コードＡの値を“５”、入力学習速度Ｃを内部の学習速度記憶部から読み出した学習速度η（ｔ）、入力近傍距離Ｄを内部の近傍距離記憶部から読み出した近傍距離ｄ（ｔ）とした制御データを各ユニットに出力する（ステップＳ２５０３０１）。
【０２８９】
次に、次元ループ変数ｉ＝１、２、・・・ｎについて、次のステップＳ２５０３０３の処理を繰り返す（ステップＬ２５０３０２からステップＬ２５０３０４の次元ループ）。このステップＳ２５０３０３では、外部からパターン入力ｘｉを入力する。
【０２９０】
次に、制御コードＡの値を“７”、入力ベクトルＣ（Ｃ１、Ｃ２、・・・Ｃｎ）をステップＬ２５０３０２からステップＬ２５０３０４で外部から入力したパターン入力ｘ（ｘ１、ｘ２、・・・ｘｎ）とした制御データを各ユニットに出力する（ステップＳ２５０３０５）。
【０２９１】
次に、ユニットループ数変ｊ＝１、２、・・・Ｎについて、次のステップＳ２５０３０７とステップＳ２５０３０８とステップＳ２５０３０９との処理を繰り返す（ステップＬ２５０３０６からステップＬ２５０３１０のユニットループ）。このステップＳ２５０３０７では、制御コードＡの値を“８”、入力ネットワーク座標Ｂの値をユニットループ変数ｊ、とした制御データを各ユニットに出力する。また、このステップＳ２５０３０８では、ステップＳ２５０３０７で制御コードＡの値を“８”、入力ネットワーク座標Ｂの値をユニットループ数変ｊ、とした制御データに対して、ユニットネットワーク座標が入力ネットワーク座標Ｂであるユニットループ数変ｊに一致するユニットからのノルムの出力を、ノルムｄｎとして入力する。
【０２９２】
また、このステップＳ２５０３０９では、ステップＳ２５０３０８で入力したノルムｄｎに基づいて、最小ノルム判定の処理を実行する。このステップＳ２５０３０９における最小ノルム判定の処理については、後に、図２６（ｂ）を用いて詳細に説明する。
【０２９３】
上記のステップＬ２５０３０６からステップＬ２５０３１０の処理により、各ユニットで算出されたノルムを全てのユニットから順に入力し、ステップＳ２５０３０９の処理にて入力したノルムを順に比較することにより、全てのユニットからのノルムの出力の中から最小となるノルムと、該最小となるノルムを出力したユニットを識別する識別情報であるユニットネットワーク座標をノルム最小ユニットネットワーク座標ｊｍｉｎとして選択する。
【０２９４】
次に、制御コードＡの値を“９”、入力ネットワーク座標Ｂの値をノルム最小ユニットネットワーク座標ｊｍｉｎ、とした制御データを各ユニットに出力する。これにより、各ユニットは、入力されたノルム最小ユニットネットワーク座標ｊｍｉｎに基づいて、近傍となるユニットが学習をする。
【０２９５】
次に、図２６（ｂ）を用いて、図２６（ａ）のステップＳ２５０３０９の最小ノルム判定の処理について説明する。
まず、ステップＳ２５０３０８で入力したノルムｄｎがノルム最小値ｄｍｉｎより小さいか否か、または、ノルム最小値ｄｍｉｎの値が−1であるか否かを判定する（ステップＳ２５０３０９１）。ステップＳ２５０３０９１で判定した結果が、入力したノルムｄｎがノルム最小値ｄｍｉｎより小さい場合、または、ノルム最小値ｄｍｉｎの値が−1である場合には、ノルム最小値ｄｍｉｎを入力したノルムｄｎとするともに、ノルム最小ユニットネットワーク座標ｊｍｉｎをユニットループ変数ｊとし（ステップＳ２５０３０９２）、処理を戻す。
【０２９６】
一方、ステップＳ２５０３０９１で判定した結果が、入力したノルムｄｎがノルム最小値ｄｍｉｎより小さくない場合であって、かつ、ノルム最小値ｄｍｉｎの値が−1でない場合には、処理を戻す。
【０２９７】
次に、図２６（ｃ）を用いて、図２５（ａ）のステップＳ２５０５の出力の処理について説明する。まず、ユニットループ変数ｊ＝０、１、２、・・・Ｎについて、次のステップＳ２５０５０２の処理とステップＬ２５０５０３からステップＬ２５０５０６の次元ループの処理とを繰り返す（ステップＬ２５０５０１からステップＬ２５０５０７のユニットループ）。
【０２９８】
このステップＳ２５０５０２では、制御コードＡの値を“１０”、入力ネットワーク座標Ｂの値をユニットループ変数ｊ、とした制御データを各ユニットに出力する。
【０２９９】
また、このステップＬ２５０５０３からステップＬ２５０５０６の次元ループの処理では、次元ループ変数ｉ＝１、２、・・・ｎについて、次のステップＳ２５０５０４とステップＳ２５０５０５との処理を繰り返す。このステップＳ２５０５０４では、ステップＳ２５０５０２で出力した制御データに応じたユニットからの出力である結合重みベクトルを、結合重みベクトルｗｊｉとして入力する。次に、このステップＳ２５０５０５では、ステップＳ２５０５０４でユニットから入力した結合重みベクトルｗｊｉを外部に出力する。
【０３００】
以上の、ステップＬ２５０５０１からステップＬ２５０５０７の処理により、まず、各ユニットから順に結合重みベクトルを出力させ（ステップＳ２５０５０２）、次に、ステップＳ２５０５０２に応じて各ユニットが順に出力した結合重みベクトルを順に入力する（ステップＳ２５０５０４）。次に、ステップＳ２５０５０４で各ユニットから順に入力した結合重みベクトルを、順に外部に自己組織化マップの演算結果として出力する（ステップＳ２５０５０５）。
【０３０１】
以上の図２２から図２６を用いて説明した第２の基本構成による自己組織化マップに適応した場合の並列演算装置は、第１の基本構成による自己組織化マップに適応した場合の並列演算装置と同様に、自己組織化マップの演算を実行し、実行した結果を外部に出力することが可能である。
【０３０２】
また、第２の基本構成による自己組織化マップに適応した場合の並列演算装置は、第１の基本構成による自己組織化マップに適応した場合の並列演算装置と比較して、その構成が簡易であるという効果がある。また、入力ベクトルの次元数や学習速度や近傍距離の変更など、自己組織化マップにおける様々な変数の値の設計変更が容易であるという効果がある。
【０３０３】
＜分離構成＞
次に、図２７を用いて、図１４の第２の基本構成による並列演算装置において、各ユニットと分配制御装置８とを、分離構成とした場合の並列演算装置の構成について説明する。
【０３０４】
この図２７の並列演算装置は、図１４の並列演算装置に対して、互いに接続可能な接続部９Ａと接続部９Ｂとを有する。この接続部９Ａと接続部９Ｂとを介して、ユニットＡＵ１からユニットＡＵ１０の全てのユニットと分配制御装置８とは、ユニット出力バス２とユニット入力バス３とにより接続される。例えば、この接続部９Ａと接続部９Ｂとは、互いに嵌合する部材であることが望ましい。
【０３０５】
また、図２７に示すように、互いに接続可能な接続部９Ａと接続部９Ｂとにより、ユニットＡＵ１からユニットＡＵ１０の全てのユニットと接続部９Ｂとを１つの装置（装置Ｂ）とし、分配制御装置８と接続部９Ａとを１つの装置（装置Ａ）とする。
【０３０６】
この場合、例えば、この接続部９Ａと接続部９Ｂとは、ＵＳＢ（Universal Serial Bus）（登録商標）コネクタのメスとオスとし、また、装置ＢをＵＳＢ機器とし、装置Ａをパーソナルコンピュータとしてもよい。以上のように、ユニットと分配制御装置８とを別の装置として構成し、分配制御装置８をパーソナルコンピュータとすることにより、並列演算装置全体の構成がより簡易となり、安価に製造可能となる。
【０３０７】
また、分配制御装置８をパーソナルコンピュータとすることにより、予め定められた制御の手順などを、コンピュータプログラミングすることにより、より簡易に制御の手順が作成可能となる。また、分配制御装置８であるパーソナルコンピュータは、入力手段としてのキーボードや、表示手段または出力手段としてのモニタも有しているため、よりユーザが簡易に並列演算装置を用いることが可能となる。
【０３０８】
なお、接続部９Ａと接続部９ＢとはＵＳＢコネクタに限られるものではなく、他の規格のコネクタでもよいし、または、通信ネットワークのコネクタであってもよい。通信ネットワークのコネクタの場合には、ユニットＡＵ１からユニットＡＵ１０と配制御装置８との間の接続は、接続部９Ａと接続部９Ｂとを介した通信プロトコルを用いた通信接続であってもよいし、接続部９Ａと接続部９Ｂとが、通信プロトコルを制御するようにしてもよい。
【０３０９】
また、装置Ｂを拡張基盤装置として構成し、この拡張基盤装置を、パーソナルコンピュータである分配制御装置８の拡張スロットに接続するようにしてもよい。例えば、拡張基盤装置として構成された装置Ｂが、例えば、ＰＣＩ（Peripheral Component Interconnect）規格またはＰＣＩ−Ｅｘｐｒｅｓｓ規格のバスに準じたボードであってもよい。また、この場合には、装置Ａであるパーソナルコンピュータは、接続部９Ａとして、例えば、ＰＣＩ規格またはＰＣＩ−Ｅｘｐｒｅｓｓ規格に準じた拡張スロットを有するようにしてもよい。
【０３１０】
なお、上記実施形態の各図で示した構成である記憶部のそれぞれは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＲ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
なお、図２の図１５のユニット算出部、または、図１６の分配制御部８は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【０３１１】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【０３１２】
【図１】この発明の一実施形態による並列演算装置の構成を示すブロック図である。
【図２】この発明の一実施形態による並列演算装置のユニットの構成を示すブロック図である。
【図３】階層型ニューラルネットワークにおける図２のユニットの構成を示すブロック図である。
【図４】図３のユニットの動作を示す第１のフローチャート図である。
【図５】図３のユニットの動作を示す第２のフローチャート図である。
【図６】ニューラルネットワークを説明する説明図である。
【図７】自己組織化マップにおける図２のユニットの構成を示す第１のブロック図である。
【図８】自己組織化マップにおける図２のユニットの構成を示す第２のブロック図である。
【図９】自己組織化マップにおけるデータ構造を示す説明図である。
【図１０】図７および図８のユニットの動作を示す第１のフローチャート図である。
【図１１】図７および図８のユニットの動作を示す第２のフローチャート図である。
【図１２】冗長回路を有した並列演算装置の構成を示すブロック図である。
【図１３】図１２のユニットの構成を示すブロック図である。
【図１４】第２の基本構成による並列演算装置の構成を示すブロック図である。
【図１５】図１４のユニットの構成を示すブロック図である。
【図１６】図１４の分配制御部８の構成を示すブロック図である。
【図１７】階層型ニューラルネットワークにおける図１４のユニットの構成を示すブロック図である。
【図１８】図１４の階層型ニューラルネットワークにおけるプロトコル表である。
【図１９】図１４の各ユニットの動作を説明するフローチャートである。
【図２０】図１４の分配制御部８の動作を説明するフローチャートその１である。
【図２１】図１４の分配制御部８の動作を説明するフローチャートその２である。
【図２２】自己組織化マップにおける図１４のユニットの構成を示すブロック図である。
【図２３】図２２の自己組織化マップにおけるプロトコル表である。
【図２４】図２２の各ユニットの動作を説明するフローチャートである。
【図２５】図２２の分配制御部８の動作を説明するフローチャートその１である。
【図２６】図２２の分配制御部８の動作を説明するフローチャートその２である。
【図２７】図１４の並列演算装置を分離構成とした場合の並列演算装置の構成を示すブロック図である。
【符号の説明】
【０３１３】
１ デイジーチェーン制御バス
２ ユニット出力バス
３ ユニット入力バス
４ 増幅器
５ トリガ入力線
６ 第１の冗長デイジーチェーン制御バス
７ 第２の冗長デイジーチェーン制御バス
１１、１０１、２０１、１１Ａ、１０１Ａ、２０１Ａ データ入力部
１２、Ａ１２、Ｂ１２、１０２、２０２ トークン入力部
１３、Ａ１３、Ｂ１３、１０３、２０３ トークン出力部
１４、１０４、２０４、１４Ａ、１０４Ａ、２０４Ａ データ出力部
１６、１６Ａ ユニット出力記憶部
１７ トークン出力部選択部
１８ トークン選択情報記憶部
３３ 制御データ出力部
１０１Ａ、２０１Ａ データ入力部
１０４Ａ、２０４Ａ データ出力部
１５０Ｂ、２５０Ｂ ファンクション番号抽出部
１５１Ｂ、２５１Ｂ ファンクション番号記憶部
１５２Ｂ、２５２Ｂ オペランド抽出部
１５３Ｂ、２５３Ｂ 汎用バッファー記憶部
１１１、１１１Ａ 積和計算一次値算出部
１１２、１１２Ａ ユニット出力算出部
１１３ 層情報算出部
１１４ カウンタ
１３０、２３１、２３１Ａ 重み記憶部
１３１ 積和計算一次値記憶部
１３２ 関数記憶部
１３３ 層情報記憶部
１３４ ユニット数記憶部
１３５、１３５Ａ ユニット出力記憶部
１３６ データ出力フラグ記憶部
１３７ ユニット識別情報記憶部
１３８Ｂ 前段ユニット出力記憶部
２１０ データ抽出部
２１１ ネットワーク座標抽出部
２１２ ノルム抽出部
２１３ カウンタ
２１４、２１４Ａ ノルム算出部
２１５、２１５Ａ 近傍判定部
２１６、２１６Ａ 重み更新部
２１７ ノルム比較部
２１８ 入力ノルム判定部
２１９ ネットワーク座標選択部
２２０ ノルム選択部
２２１ データ合成出力部
２２２ データ入力判定部
２２３ トークン出力フラグ判定部
２３０、２３０Ａ 入力データ記憶部
２３２、２３２Ａ 距離記憶部
２３３、２３３Ａ 入力ネットワーク座標記憶部
２３４、２３４Ａ ユニットネットワーク座標記憶部
２３５、２３５Ａ 学習速度記憶部
２３６、２３６Ａ ユニットノルム記憶部
２３７ 入力ノルム記憶部
２３８ トークン出力フラグ記憶部
２５０ 入力ノルム部
２５１ 選択出力部
Ｌ１ 入力層
Ｌ２ 隠れ層
Ｌ３ 出力層
Ｐ１ 出力端子
Ｐ２ 入力端子
Ｐ３ トリガ入力端子
Ｕ１、Ｕ２、Ｕ３、Ｕ４、Ｕ５、Ｕ６、Ｕ７、Ｕ８、Ｕ９、Ｕ１０、ＡＵ１、ＡＵ２、ＡＵ３、ＡＵ４、ＡＵ５、ＡＵ６、ＡＵ７、ＡＵ８、ＡＵ９、ＡＵ１０ ユニット
【技術分野】
【０００１】
本発明は、複数の演算ユニットを有する並列演算装置に関し、特に、複数の演算ユニット間の接続を簡易にすることを可能とする並列演算装置に関する。
【背景技術】
【０００２】
並列演算の１つとして、ニューラルネットワークが知られている。このニューラルネットワークは、脳機能に見られるいくつかの特性を表現することを目指した数学モデルである。このニューラルネットワークによる処理は、入力されたデータの情報量を削減することが可能であるため、画像や統計など多次元量のデータでかつ線形分離不可能な問題に対して、比較的小さい計算量で良好な解を得られることが多い。そのためニューラルネットワークは、パターン認識やデータマイニングをはじめ、さまざまな分野において応用されている。
【０００３】
ここで、大規模なニューラルネットワークを実現しようとすると、その計算量が膨大となるため、現実的な時間での処理が難しくなる。これを解決する方法として、（１）単体プロセッサ自体のコンピューティングパワーを上げる方法、（２）プロセッサを複数用いる並列コンピューティングの手法を用いる方法、（３）機能をＬＳＩ等によりハードウェアにより実装する方法、等が考えられる。上記（１）と（２）との方法は、プロセッサの能力を上げることで膨大な計算量に対処しようとするものであり、プログラムを変更することで様々なニューラルネットワークのアルゴリズムに対応することができる。
【０００４】
ここで（１）の方法においては、従来、単体プロセッサのクロック周波数を高速化することで単体プロセッサ自体のコンピューティングパワーを上げてきていた。しかし、近年、クロック周波数の高速化は発熱量を増加させ、また、微細加工寸法が物理的限界に達しつつあることからムーアの法則が破綻しつつあり、単体プロセッサ自体のコンピューティングパワーを上げることが難しくなってきている。そのため、（１）の方法から（２）の方法へと、プロセッサのコンピューティングパワーを上げる方法の開発がシフトしてきており、コンピューティングパワーを上げるという高性能化と、発熱を抑えることの両立をより進めるために、より大きなキャッシュと複数の計算コアを持つことに焦点が当てられている。また、このプロセッサの開発は、低いクロック周波数で動作し、低電力化で動作するようにも、進められている。
【０００５】
しかし、（２）の方法においては、膨大なプロセッサを効率的に動作させる方法、つまり並列度を上げることと、複数のプロセッサ間の膨大なデータ通信を可能とするネットワークの構成が難しいことが本質的な問題としてある。そのため、（２）の方法である、プロセッサを複数用いる並列コンピューティングの手法を用いる方法により、大規模なニューラルネットワークの並列演算効率を上げることは、難しい。
【０００６】
一方、（３）の方法であるハードウェア化に関しては、ハードウェアで実現可能なニューラルネットワークのアルゴリズムに制限があるが、特定な用途に対しては（１）または（２）の方法に比べ、低周波数での場合でも、桁違いな演算速度の性能を発揮することが可能である。このような、並列演算をハードウェア化する技術として、特許文献１および特許文献２が知られている。
【特許文献１】特開平６−１９５４５４号公報
【特許文献２】特開平２００６−３９７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、（３）の方法であるハードウェア化に関しての特許文献１および特許文献２の従来技術においては、配線の問題があり、配線のために回路規模が膨大となり、または、回路間の配線が出来ないという問題がある。例えば、多層型のニューラルネットワークにおいては、出力層のあるノードからの出力を、入力層の全てのノードの入力に入力することが必要となり、各層のノード数が増大すると、その配線量が急激に増大してしまう。
【０００８】
また、例えば、実際の脳のニューラルネットワークの場合、ニューロンは３次元空間に配置され配線されているのに対し、ＬＳＩのようなハードウェアによる構成では構成要素の配置は２次元が基本であるため、配線の問題を本質的には解決できない。積層構造などで構成要素を３次元化しようとしても配線の問題は残るので、応用は限られた配線（近傍のみとの結合）で事足りるような用途に限定される。
【０００９】
また、このような複数の演算ユニット間の配線の問題は、ニューラルネットワークに限られるものではなく、演算ユニットの出力を、一度に複数の演算ユニットに入力することが計算上必要な場合に、問題となる。階層型ニューラルネットワークや自己組織化マップのような一般のニューラルネットワーク以外にも、例えば、重力多体問題、電荷を持った多体粒子のシミュレーション、信号のフィルタリング、などがある。
【００１０】
本発明は、このような事情に鑑みてなされたもので、その目的の一つは、複数の演算ユニット間の配線を簡易にすることを可能とする並列演算装置および並列演算方法を提供することにある。
【課題を解決するための手段】
【００１１】
この発明は上述した課題を解決するためになされたもので、並列演算装置が、予め定められた識別番号である固有ユニット番号によりそれぞれが識別される複数のユニットと、前記複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バスを介して入力されたことに応じて、該入力された入力値と前記複数のユニットの中から選択したいずれか１つのユニットを選択する識別番号である選択ユニット番号とを含む制御データを、前記複数のユニットのそれぞれにユニット入力バスを介して出力する分配制御部と、を有し、前記ユニットが、前記ユニット入力バスを介して前記分配制御部からの制御データを入力するデータ入力部と、前記データ入力部に入力された制御データに含まれる選択ユニット番号と、前記固有ユニット番号とが一致するか否かを判定するユニット番号一致判定部と、前記データ入力部に入力された制御データに含まれる入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算するユニット演算部と、前記ユニット番号一致判定部が判定した結果が一致である場合には、前記ユニット演算部が演算した結果である演算結果を前記出力値として、前記分配制御部に前記ユニット出力バスを介して出力するデータ出力部と、を有することを特徴とする並列演算装置である。
【００１２】
この発明によれば、並列演算装置の複数の演算ユニット間の接続を簡易にすることが出来るという効果を奏する。また、複数のユニットが並列に演算をするため、高速に演算することが出来るという効果を奏する。
【００１３】
また、この発明は、前記分配制御部は、前記制御データに、前記ユニット演算部の演算方法を選択するための制御コードを含めており、前記ユニットが、前記データ入力部に入力された制御データから前記制御コードを抽出する制御コード抽出部を有し、前記ユニット演算部が、前記制御コード抽出部が抽出した制御データと前記ユニット番号一致判定部が判定した結果とに基づいて前記演算を実行する、または、前記演算を実行させるユニット制御部を有する、ことを特徴とする並列演算装置である。
【００１４】
この発明によれば、制御コードを用いて、分配制御部が全てのユニットを制御することが出来るという効果を奏する。また、分配制御部が全てのユニットを制御することにより、各ユニットの構成、および、分配制御部と各ユニットとの接続などの並列演算装置全体の構成が、より簡易となる効果を奏する。
【００１５】
また、この発明は、前記分配制御部が、前記ユニット出力バスを介して前記複数のユニットの中のいずれか１つのユニットが出力する出力値を入力するユニット出力値入力部と、前記ユニット出力値入力部に入力された出力値に基づいて、予め定められた処理手順により前記制御データを生成する制御データ生成部と、前記制御データ生成部が生成した制御データを前記複数のユニットのそれぞれに前記ユニット入力バスを介して出力する制御データ出力部と、を有することを特徴とする並列演算装置である。
【００１６】
この発明によれば、分配制御部がユニット出力値入力部に入力された出力値に基づいて、予め定められた処理手順により制御データを生成することが可能となり、例えば、階層型ニューラルネットワークや自己組織化マップなどの目的とする演算方法に応じて、制御データを生成することが可能となる効果を奏する。
【００１７】
また、この発明は、前記ユニットが、前記演算結果が記憶されるユニット出力記憶部を有し、前記ユニット演算部が、前記演算結果を前記ユニット出力記憶部に記憶させ、前記データ出力部が、前記ユニット番号一致判定部が判定した結果が一致である場合には、前記演算結果を前記ユニット出力記憶部から読み出し、該読み出した演算結果を前記出力値として前記分配制御部に前記ユニット出力バスを介して出力する、ことを特徴とする並列演算装置である。
【００１８】
この発明によれば、各ユニットが演算結果をユニット出力記憶部に記憶しておき、例えば、階層型ニューラルネットワークや自己組織化マップなどの全体の演算処理において、適切なタイミングで出力することができるという効果を奏する。
【００１９】
また、この発明は、前記ユニットが、前記固有ユニット番号が予め記憶されている固有ユニット番号記憶部と、前記データ入力部に入力された制御データから前記選択ユニット番号を抽出する選択ユニット番号抽出部と、前記データ入力部に入力された制御データから前記入力値を抽出する入力値抽出部と、を有し、前記ユニット番号一致判定部は、前記選択ユニット番号抽出部が抽出した選択ユニット番号と、前記固有ユニット番号記憶部から読み出した固有ユニット番号とが一致するか否かを判定し、前記ユニット演算部は、前記入力値抽出部が抽出した入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算する、ことを特徴とする並列演算装置である。
【００２０】
また、この発明は、前記並列演算装置が階層型ニューラルネットワークを演算する並列演算装置である場合には、前記ユニット演算部が、前記階層型ニューラルネットワークの階層のうち、出力する層を識別する層情報が記憶されている層情報記憶部と、前記ユニットの出力関数と前記層情報とが関連付けて予め記憶されている関数記憶部と、前記層情報で識別される出力層のユニットからの出力値に乗ずる予め定められた結合荷重と、前記層情報とが関連付けて記憶されている重み記憶部と、前記出力ユニットからの入力値と結合荷重とを乗じた積和計算一次値情報が記憶される積和計算一次値記憶部と、前記ユニット制御部の選択に応じて、前記層情報記憶部から読み出した層情報に該当する結合荷重を前記重み記憶部から読み出し、該読み出した結合荷重と、前記データ入力部に入力された入力値とを乗算し、該乗算した値を前記積和計算一次値記憶部に記憶されている積和計算一次値情報に加算して記憶させる積和計算一次値算出部と、前記ユニット制御部の選択に応じて、前記積和計算一次値記憶部から積和計算一次値情報を読み出し、前記層情報記憶部から読み出した層情報に該当する出力関数を前記関数記憶部から読み出し、該読み出した出力関数に前記読み出した積和計算一次値情報を代入することにより出力値を算出し、該算出した出力値を前記ユニット出力記憶部に記憶させるユニット出力算出部と、を有することを特徴とする並列演算装置である。
【００２１】
この発明によれば、並列演算装置を階層型ニューラルネットワークに適応可能となる効果を奏する。
【００２２】
また、この発明は、前記ユニット演算部が、前記出力層に属しているユニットのうち、いずれのユニットが出力ユニットとして出力しているかを示す配信ユニット識別情報が記憶されている前段ユニット番号記憶部、を有し、前記重み記憶部には、前記層情報と前記配信ユニット識別情報とで識別される前記出力層のユニットからの出力値に乗ずる予め定められた結合荷重と、前記層情報と前記配信ユニット識別情報とが、関連付けて記憶されており、前記積和計算一次値算出部が、前記前段ユニット番号記憶部から読み出した配信ユニット識別情報と前記層情報記憶部から読み出した層情報とに該当する結合荷重を前記重み記憶部から読み出し、該読み出した結合荷重と、前記データ入力部に入力された入力値とを乗算し、該乗算した値を前記積和計算一次値記憶部に記憶されている積和計算一次値情報に加算して記憶させる、ことを特徴とする並列演算装置である。
【００２３】
この発明によれば、複数の層からなっており層間が複数のノードにより結合している階層型ニューラルネットワークの演算が可能となる効果を奏する。
【００２４】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが、積和計算一次値を初期化することを示す場合には、前記ユニット制御部が、前記積和計算一次値記憶部に記憶されている積和計算一次値情報を０に初期化する、ことを特徴とする並列演算装置である。
【００２５】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが、積和計算一次値を算出し加算格納することを示し、該制御データが出力値と該出力値を出力しているユニットのユニット識別情報である配信ユニット識別情報とを含む場合には、前記ユニット制御部が、前記配信ユニット識別情報を前記前段ユニット番号記憶部に記憶し、前記出力値に基づいて前記積和計算一次値算出部の処理を実行させる、ことを特徴とする並列演算装置である。
【００２６】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードがユニット出力演算を実行することを示す場合には、前記ユニット制御部が、前記ユニット出力算出部の処理を実行させる、ことを特徴とする並列演算装置である。
【００２７】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードがアクティブなユニットとして出力値を出力することを示し、該制御データが選択ユニット番号を含む場合には、前記ユニット制御部が、前記ユニット番号一致判定部が判定した結果が一致である場合には、前記演算結果を前記ユニット出力記憶部から読み出し、該読み出した演算結果を前記出力値として前記分配制御部に前記データ出力部と前記ユニット出力バスとを介して出力する、ことを特徴とする並列演算装置である。
【００２８】
また、この発明は、前記データ入力部に入力された制御データが配信層情報を含む場合には、前記ユニット制御部が、前記データ入力部に入力された制御データに含められた配信層情報を前記層情報記憶部に記憶する、ことを特徴とする並列演算装置である。
【００２９】
また、この発明は、前記分配制御部が、前記積和計算一次値を初期化することを示す制御コード、前記出力値と前記配信ユニット識別情報とを含み、前記積和計算一次値を算出し加算格納することを示す制御コード、前記ユニット出力演算を実行することを示す制御コード、前記アクティブなユニットとして出力値を出力することを示す制御コード、または、前記配信層情報を含む制御データを含む制御データを、前記階層型ニューラルネットワークの階層数と該階層のノード数とに合わせて予め定められた順序で出力する、ことを特徴とする並列演算装置である。
【００３０】
また、この発明は、前記並列演算装置が自己組織化マップを演算する並列演算装置である場合には、前記固有ユニット番号にかわってユニット固有のネットワーク座標であるユニットネットワーク座標により前記複数のユニットのそれぞれが識別されており、前記ユニット演算部が、前記ユニットネットワーク座標が予め記憶されているユニットネットワーク座標記憶部と、前記ユニットの結合重みベクトルが記憶されている重み記憶部と、前記ユニットのノルムであるユニットノルムを記憶するユニットノルム記憶部と、ノルムを算出することを示す制御コードと入力ベクトルとを含む制御データを前記ユニット制御部から前記データ入力部に入力した場合には、前記データ入力部に入力された入力データベクトルと、前記重み記憶部から読み出した結合重みベクトルとのノルムを算出し、該算出したノルムを前記ユニットノルムとして前記ユニットノルム記憶部に記憶させるノルム算出部と、を有し、ノルムを出力することを示す制御コードと入力ネットワーク座標とを含む制御データを前記ユニット制御部から前記データ入力部に入力した場合には、前記ユニット制御部が、該入力された入力ネットワーク座標と前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致する場合には、前記ユニットノルム記憶部から読み出したユニットノルムを前記データ出力部を介して出力する、ことを特徴とする並列演算装置である。
【００３１】
この発明によれば、並列演算装置が自己組織化マップを演算することが可能となる効果を奏する。
【００３２】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが重みを設定することを示し、入力ネットワーク座標と入力結合重みベクトルとを含んでいる場合には、前記ユニット制御部が、入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、前記ユニット番号一致判定部が、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、重み記憶部に記憶されている結合重みベクトルを、受信した制御データに含まれる入力結合重みベクトルに更新する、ことを特徴とする並列演算装置である。
【００３３】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが学習速度と近傍距離とを設定することを示し、入力学習速度と入力近傍距離とを含んでいる場合には、前記ユニット制御部が、学習速度記憶部に記憶されている学習速度を受信した制御データに含まれる入力学習速度に更新するとともに、距離記憶部に記憶されている基準距離を受信した制御データに含まれる入力近傍距離に更新する、ことを特徴とする並列演算装置である。
【００３４】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが実数ベクトルの次元数を設定すること示し、入力次元数Ｎを含んでいる場合には、前記ユニット制御部が、実数ベクトル次元数記憶部に記憶されている次元数を受信した制御データに含まれる入力次元数に更新する、ことを特徴とする並列演算装置である。
【００３５】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードがノルムを算出することを示し、入力ベクトルを含んでいる場合には、前記ユニット制御部が、入力データ記憶部に記憶されている入力データベクトルを入力ベクトルに更新し、前記ノルム算出部が、該更新した入力ベクトルと重み記憶部から読み出した結合重みベクトルとのノルムを算出し、該算出したノルムをユニットノルムとしてユニットノルム記憶部に記憶させる、ことを特徴とする並列演算装置である。
【００３６】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードがノルムを出力することを示し、入力ネットワーク座標を含んでいる場合には前記ユニット制御部が、入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、前記ユニット番号一致判定部が、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、前記ユニットノルム記憶部から読み出したユニットノルムを前記データ出力部と前記ユニット出力バスとを介して前記分配制御部に出力する、ことを特徴とする並列演算装置である。
【００３７】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが学習することを示し、入力ネットワーク座標を含んでいる場合には、前記ユニット制御部が、前記入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標を、前記制御データに含まれていた入力ネットワーク座標に更新し、前記演算部が、前記データ入力部に入力された制御データに含まれる制御コードが学習することを示す場合には、前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標と前記入力ネットワーク座標記憶部から読み出した入力ネットワーク座標との間の距離を算出し、該算出した距離が、前記距離記憶部から読み出した距離以下であるか否かを判定することにより、ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標が、入力ネットワーク座標記憶部から読み出した入力ネットワーク座標の近傍にあるか否かを判定する近傍判定部と、前記近傍判定部の判定した結果が近傍である場合には、前記入力データ記憶部から読み出した入力データベクトルと前記重み記憶部から読み出した結合重みベクトルとの差を算出し、該算出した差に前記学習速度記憶部から読み出した学習速度係数を乗じた値を、重み記憶部に記憶されている結合重みベクトルに加算し、重み記憶部に記憶されている結合重みベクトルを更新する重み更新部と、を有することを特徴とする並列演算装置である。
【００３８】
また、この発明は、前記データ入力部に入力された制御データに含まれる制御コードが学習結果を出力することを示し、入力ネットワーク座標を含んでいる場合には、前記ユニット制御部が、前記入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、前記ユニット番号一致判定部が、該更新した入力ネットワーク座標と前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、前記重み記憶部から読み出した結合重みベクトルを、データ出力部と前記ユニット出力バスとを介して前記分配制御部に出力する、ことを特徴とする並列演算装置である。
【００３９】
また、この発明は、前記分配制御部が、前記重みを設定することを示す制御コード、前記学習速度と近傍距離とを設定することを示す制御コード、実数ベクトルの次元数を設定すること示す制御コード、ノルムを算出することを示す制御コード、ノルムを出力することを示す制御コード、学習することを示す制御コード、または、学習結果を出力することを示す制御コードを含む制御データを、前記複数のユニットの数および学習回数に合わせて予め定められた順序で出力する、ことを特徴とする並列演算装置である。
【００４０】
また、この発明は、前記複数のユニットと前記分配制御部とを接続する前記ユニット出力バスとユニット出力バスとが、互いに接続可能な第１の接続部と第２の接続部とにより分離し、前記複数のユニットと前記第１の接続部とを含む第１の装置とし、前記分配制御部と前記第２の接続部とを含む第２の装置とする、ことを特徴とする並列演算装置である。
【００４１】
また、この発明は、予め定められた識別番号である固有ユニット番号によりそれぞれが識別される複数のユニットと、前記複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バスを介して入力されたことに応じて、該入力された入力値と前記複数のユニットの中から選択したいずれか１つのユニットを選択する識別番号である選択ユニット番号とを含む制御データを、前記複数のユニットのそれぞれにユニット入力バスを介して出力する分配制御部と、を有する並列演算装置で用いられる並列演算であって、前記ユニットが、前記ユニット入力バスを介して前記分配制御部からの制御データを入力し、前記データ入力部に入力された制御データに含まれる選択ユニット番号と、前記固有ユニット番号とが一致するか否かを判定し、前記入力された制御データに含まれる入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算し、前記判定した結果が一致である場合には、前記演算した結果である演算結果を前記出力値として、前記分配制御部に前記ユニット出力バスを介して出力する、ことを特徴とする並列演算方法である。
【発明を実施するための最良の形態】
【００４２】
＜第１の基本構成＞
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による並列演算装置の構成（第１の基本構成）を示す概略ブロック図である。ここでは、ユニットＵ１からＵ１０の、ユニットの個数が１０である場合について説明する。なお、このユニットの詳細については、後述する。
【００４３】
複数のユニットＵ１からＵ１０は、予め定められた順序であるデイジーチェーン順序で、デイジーチェーン制御バス１を介してデイジーチェーンされている。ここでは、このデイジーチェーン順序は、ユニットＵ１、ユニットＵ２、ユニットＵ３、・・・ユニットＵ１０の順と、予め定められているものとして説明する。また、デイジーチェーン制御バス１は、デイジーチェーン順序で隣接するユニット同士を接続している。例えば、デイジーチェーン制御バス１は、ユニットＵ１とユニットＵ２、ユニットＵ２とユニットＵ３、・・・ユニットＵ１０とユニットＵ１、を接続している。また、このデイジーチェーン制御バス１は、ユニットＵ１からＵ１０をデイジーチェーン順序で循環的に接続している。そのため、ユニットＵ１０とユニットＵ１とも、デイジーチェーン制御バス１を介して接続されている。
【００４４】
ユニットＵ１からＵ１０のそれぞれのユニットは、トークンをデイジーチェーン順序で、デイジーチェーン制御バス１を介してユニット間で送受信している。このトークンは、デイジーチェーンされたユニットＵ１からＵ１０の、いずれかの１つのユニットが有しており、このトークンを有しているユニットが、出力ユニットとなることを示す信号である。ユニットは、トークンを有しているユニットのみが出力ユニットとなり、また、全てのユニットが入力ユニットとなる。
【００４５】
この各ユニットは、ユニット出力バス２を介して入力される増幅器４からの入力値に基づいて、ユニット毎に予め定められた演算方法により演算する。また、各ユニットは、トークンがデイジーチェーン順序で前のユニットからデイジーチェーン制御バス１を介して入力されたことに応じて、トークンをデイジーチェーン順序で次のユニットにデイジーチェーン制御バス１を介して出力すると共に、演算した結果を出力値として増幅器４にユニット出力バス２を介して出力する。
【００４６】
増幅器（中継器）４は、複数のユニットＵ１からＵ１０の内のいずれか１つが出力する出力値がユニット出力バス２を介して入力され、入力された出力値を複数のユニットＵ１からＵ１０のそれぞれに、ユニット入力バス３を介して入力値として出力する。また、増幅器４は、入力された出力値の信号を、電気的に増幅して、入力値として出力する。
【００４７】
また、ユニット出力バス２の一端が、並列演算装置の出力端子Ｐ１に接続されている。また、増幅器４の入力端子に、並列演算装置の入力端子Ｐ２に接続されている。また、ユニットＵ１は、トリガ入力線５を介して、トリガ入力端子Ｐ３と、接続されている。また、出力端子Ｐ１、入力端子Ｐ２、トリガ入力端子Ｐ３は、並列演算装置の外部にある制御装置に接続されている。制御装置は、出力端子Ｐ１、入力端子Ｐ２、トリガ入力端子Ｐ３を介して、並列演算装置にデータを入力し、並列演算装置から演算結果を取得し、また、並列演算装置を制御する。
【００４８】
次に、図２を用いて、各ユニットの構成について説明する。なお、ユニットＵ１からＵ１０は同一の構成を有するため、ここでは、ユニットＵ２の構成のみについて説明する。ユニットＵ２は、トークン入力部１２と、トークン出力部１３と、データ入力部１１と、データ出力部１４と、ユニット演算部１５と、ユニット出力記憶部１６と、を有する。
【００４９】
トークン入力部１２は、デイジーチェーン制御バス１を介してデイジーチェーンされている順序が１つ前のユニットからのトークンを入力する。例えば、ユニットＵ２のトークン入力部１２は、デイジーチェーン制御バス１を介してデイジーチェーンされている順序が１つ前のユニットであるユニットＵ１からのトークンを入力する。なお、ユニットＵ１のトークン入力部１２は、ユニットＵ１０からのトークンがトークンデイジーチェーン制御バス１を介して入力されるだけでなく、制御装置からのトークンがトリガ入力端子Ｐ３とトリガ入力線５とを介して入力される。
【００５０】
トークン出力部１３は、トークン入力部にトークンが入力されたことに応じて、トークンをデイジーチェーンされている順序が１つ後のユニットへデイジーチェーン制御バス１を介して出力する。例えば、ユニットＵ２のトークン出力部１３は、デイジーチェーン制御バス１を介してデイジーチェーンされている順序が１つ後のユニットであるユニットＵ３へトークンを出力する。
【００５１】
データ入力部１１は、ユニット出力バス２を介して増幅器４からの入力値を入力する。ユニット出力記憶部１６は、ユニット演算部１５が演算した結果である演算結果が記憶される。ユニット演算部１５は、データ入力部１１に入力された入力値に基づいて、ユニット毎に予め定められた演算方法により演算する。また、ユニット演算部１５は、演算した結果である演算結果を、ユニット出力記憶部１６に記憶させる。
【００５２】
データ出力部１４は、トークン入力部１２にトークンが入力されたことに応じて、ユニット演算部１５が演算した結果である演算結果を出力値として、増幅器４にユニット出力バス２を介して出力する。また、データ出力部１４は、トークン入力部１２にトークンが入力されたことに応じて、ユニット出力記憶部１６から演算結果を読み出し、読み出した演算結果を出力値として、増幅器４にユニット出力バス２を介して出力する。
【００５３】
なお、後述するように、並列演算装置が、トリガであるトークンをユニットＵ１にトリガ入力端子Ｐ３を介して入力し、ユニットＵ１から順にトークンがユニット間で順次渡されていくことにより、並列演算装置の各ユニットでの処理が実行される。この並列演算装置の動作については、次に説明する並列演算装置を階層型ニューラルネットワークに適応した場合を例にして説明する。
【００５４】
＜第１の実施形態＞
＜階層型ニューラルネットワークに適応した場合のユニットの構成＞
次に、並列演算装置を、階層型ニューラルネットワークに適応した場合の構成について説明する。階層型ニューラルネットワークにおいても並列演算装置全体の構成は、図１の並列演算装置の構成と同一であり、ユニットの構成のみが異なる。従って、図３を用いて、階層型ニューラルネットワークに適応した場合のユニットの構成を説明する。
【００５５】
ユニットは、データ入力部１０１と、トークン入力部１０２と、トークン出力部１０３と、データ出力部１０４とを有する。また、ユニットは、重み記憶部１３０と、層情報記憶部１３３と、ユニット数記憶部１３４と、積和計算一次値記憶部１３１と、関数記憶部１３２と、ユニット出力記憶部１３５と、データ出力フラグ記憶部１３６と、ユニット識別情報記憶部１３７とを有する。また、ユニットは、カウンタ１１４と、積和計算一次値算出部１１１と、層情報算出部１１３と、ユニット出力算出部１１２とを有する。
【００５６】
ここで、図３のデータ入力部１０１、トークン入力部１０２、トークン出力部１０３、データ出力部１０４は、図２のデータ入力部１１、トークン入力部１２、トークン出力部１３、データ出力部１４に、それぞれ対応する。また、図３のユニット出力記憶部１３５が、図２のユニット出力記憶部１６に対応する。これらの図２と図３とにおいて対応する構成について、共通の機能については、その説明を省略する。
【００５７】
また、図３の重み記憶部１３０と、層情報記憶部１３３と、ユニット数記憶部１３４と、積和計算一次値記憶部１３１と、関数記憶部１３２と、データ出力フラグ記憶部１３６と、ユニット識別情報記憶部１３７と、カウンタ１１４と、積和計算一次値算出部１１１と、層情報算出部１１３と、ユニット出力算出部１１２とが、図２のユニット演算部１５に対応する。
【００５８】
層情報記憶部１３３には、階層型ニューラルネットワークの階層のうち、アクティブな層（出力層）を識別する層情報が記憶されている。ユニット識別情報記憶部１３７には、アクティブな層に属しているユニットのうち、いずれのユニットが出力しているかを示すユニット識別情報が記憶されている。関数記憶部１３２には、ユニットの出力関数と層情報とが関連付けて予め記憶されている。この出力関数とは、例えば、シグモイド関数、ステップ関数、区分線形関数などの、予め定められた関数である。
【００５９】
重み記憶部１３０には、層情報で識別されるアクティブな層のユニットからの出力値に乗ずる予め定められた結合荷重と、層情報とが関連付けて記憶されている。また、重み記憶部１３０には、層情報とユニット識別情報とで識別される層のユニットからの出力値に乗ずる予め定められた結合荷重と、層情報とユニット識別情報とが、関連付けて記憶されている。
【００６０】
ユニット数記憶部１３４には、層情報と層情報で識別される階層に属する階層型ニューラルネットワークのユニット数とが関連付けて予め記憶されている。積和計算一次値記憶部１３１には、前段ユニットに相当するユニットからの入力値と結合荷重とを乗じた積和計算一次値情報が記憶される。データ出力フラグ記憶部１３６には、データ出力部１０４が出力値を出力済みであるか否かを示すデータ出力フラグが記憶されている。カウンタ１１４は、データ入力部１０１に入力値が入力される毎に、ユニット識別情報記憶部１３７に記憶されているユニット識別情報の値をインクリメントする。
【００６１】
ユニット数比較部１１５は、層情報記憶部１３３から層情報を読み出し、読み出した層情報に該当するユニット数をユニット数記憶部１３４から読み出し、ユニット識別情報記憶部１３７からユニット識別情報を読み出し、読み出したユニット識別情報の値と読み出したユニット数とを比較し、比較した結果が一致した場合に、読み出したユニット識別情報の値と読み出したユニット数とが一致したことを示す比較一致信号を出力する。また、ユニット数比較部１１５は、読み出したユニット識別情報の値と読み出したユニット数とを比較し、比較した結果が一致した場合に、ユニット識別情報記憶部１３７に記憶されているユニット識別情報の値をリセットする。
【００６２】
積和計算一次値算出部１１１は、層情報記憶部１３３から読み出した層情報に該当する結合荷重を重み記憶部１３０から読み出し、読み出した結合荷重と、データ入力部１０１に入力された入力値とを乗算し、乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる。
【００６３】
また、積和計算一次値算出部１１１は、ユニット識別情報記憶部１３７から読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出し、読み出した結合荷重と、データ入力部１０１に入力された入力値とを乗算し、乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる。
【００６４】
ユニット出力算出部１１２は、積和計算一次値記憶部１３１から積和計算一次値情報を読み出し、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出し、読み出した出力関数に読み出した積和計算一次値情報を代入することにより出力値を算出し、算出した出力値をユニット出力記憶部１３５に記憶させる。
【００６５】
また、ユニット出力算出部１１２は、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、積和計算一次値記憶部１３１から積和計算一次値情報を読み出し、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出し、読み出した出力関数に読み出した積和計算一次値情報を代入することにより出力値を算出し、算出した出力値をユニット出力記憶部１３５に記憶させる。
また、ユニット出力算出部１１２は、積和計算一次値記憶部１３１から積和計算一次値情報を読み出した後、積和計算一次値記憶部１３１に記憶されている積和計算一次値情報の値を０にリセットする。
【００６６】
層情報算出部１１３は、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、層情報記憶部１３３に記憶されている層情報の値をインクリメントする。データ出力部１０４は、トークン入力部１０２にトークンが入力されたことに応じて、データ出力フラグ記憶部１３６のデータ出力フラグを出力済みに設定する。
【００６７】
トークン出力部１０３は、データ入力部１０１に入力値が入力されたことに応じて、データ出力フラグ記憶部１３６からデータ出力フラグを読み出し、該読み出したデータ出力フラグが出力済みに設定されている場合には、トークンを出力する（トークン出力手順）。また、トークン出力部１０３は、トークンを出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを未出力に設定する。
【００６８】
なお、トークン出力部１０３は、データ入力部１０１に入力値が入力されたことに応じて、データ出力フラグ記憶部１３６からデータ出力フラグを読み出し、読み出したデータ出力フラグが出力済みに設定されている場合には、トークンを出力するという上記トークン出力手順の代わりに、積和計算一次値算出部１１１にデータ入力部１０１からの入力値が入力されたことに応じて、データ出力フラグ記憶部１３６からデータ出力フラグを読み出し、該読み出したデータ出力フラグが出力済みに設定されている場合には、トークンを出力してもよい。
【００６９】
＜階層型ニューラルネットワークに適応した場合のユニットの動作＞
次に、図４と図５とを用いて、図３の階層型ニューラルネットワークに適応した場合のユニットの動作について説明する。まず、図４を用いて、ユニットに入力値が入力された場合の動作について説明する。
【００７０】
まず、データ入力部１０１に、増幅器４からユニット入力バス３を介して入力値が入力される（ステップＳ１００）。次に、ステップＳ１００で、データ入力部１０１に入力値が入力されたことに応じて、カウンタ１１４がユニット識別情報記憶部１３７に記憶されているユニット識別情報の値を、１つインクリメントする（ステップＳ１０１）。
【００７１】
また、ステップＳ１００で、データ入力部１０１に入力値が入力されたことに応じて、積和計算一次値算出部１１１が、ユニット識別情報記憶部１３７から読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出し、読み出した結合荷重と、データ入力部１０１に入力された入力値とを乗算し、乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる。
【００７２】
次に、ユニット数比較部１１５が、層情報記憶部１３３から層情報を読み出し、読み出した層情報に該当するユニット数をユニット数記憶部１３４から読み出し、ユニット識別情報記憶部１３７からユニット識別情報を読み出し、読み出したユニット識別情報の値と読み出したユニット数とを比較し、比較した結果が一致した場合に、読み出したユニット識別情報の値と読み出したユニット数とが一致したことを示す比較一致信号を出力する（ステップＳ１０３）。また、このユニット数比較部１１５が、読み出したユニット識別情報の値と読み出したユニット数とを比較し、比較した結果が一致した場合に、ユニット識別情報記憶部１３７に記憶されているユニット識別情報の値をリセットする。
【００７３】
次に、ステップＳ１０３にて比較した結果が一致した場合には、層情報算出部１１３が、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、層情報記憶部１３３に記憶されている層情報の値をインクリメントする（ステップＳ１０４）。
【００７４】
次に、ステップＳ１０３にて比較した結果が一致した場合には、ユニット出力算出部１１２は、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、積和計算一次値記憶部１３１から積和計算一次値情報を読み出し、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出し、読み出した出力関数に読み出した積和計算一次値情報を代入することにより出力値を算出し、算出した出力値をユニット出力記憶部１３５に記憶させる（ステップＳ１０５）。次に、このユニット出力算出部１１２は、積和計算一次値記憶部１３１から積和計算一次値情報を読み出した後、積和計算一次値記憶部１３１に記憶されている積和計算一次値情報の値を０にリセットする。
【００７５】
次に、または、ステップＳ１０３にて比較した結果が不一致であった場合には、トークン出力部１０３が、ステップＳ１００にてデータ入力部１０１に入力値が入力されたことに応じて、データ出力フラグ記憶部１３６からデータ出力フラグを読み出し、該読み出したデータ出力フラグが出力済みであるか否かを検出し（ステップＳ１０６）、データ出力フラグが出力済みに設定されている場合には、トークンを出力する（ステップＳ１０７）。
【００７６】
また、トークン出力部１０３は、ステップＳ１０７にてトークンを出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを未出力に設定し（ステップＳ１０８）、処理を終了する。一方、ステップＳ１０６にてデータ出力フラグが未出力に設定されている場合には、トークン出力部１０３は、処理を終了する。
【００７７】
次に、図５を用いて、ユニットにトークンが入力された場合の動作について説明する。まず、トークン入力部１０２に、デイジーチェーン制御バス１を介してデイジーチェーンされている順序が１つ前のユニットからのトークンが入力される（ステップＳ２００）。
【００７８】
次に、データ出力部１０４は、トークン入力部１０２にトークンが入力されたことに応じて、ユニット出力記憶部１３５から出力値（演算結果）を読み出し、読み出した出力値（演算結果）を出力値として、増幅器４にユニット出力バス２を介して出力する（ステップＳ２０１）。次に、データ出力部１０４は、トークン入力部１０２にトークンが入力されたことに応じて、データ出力フラグ記憶部１３６のデータ出力フラグを出力済みに設定して（ステップＳ２０２）、処理を終了する。
【００７９】
＜階層型ニューラルネットワークの全体の構成＞
次に、本実施形態による階層型ニューラルネットワークの全体の構成について、説明する。
ここでは、図６に示すように、階層型ニューラルネットワークとして、入力層Ｌ１、隠れ層Ｌ２、出力層Ｌ３の３層がある場合について説明する。各層は、層情報により識別されており、また、階層の層情報は、階層の順に層情報が１つずつ大きくなるようにして、識別されている。例えば、入力層Ｌ１の層情報が１、隠れ層Ｌ２の層情報が２、出力層Ｌ３の層情報が３として識別されている。
【００８０】
また、入力層Ｌ１には、Ｐ１０１、Ｐ１０２、Ｐ１０３の３個のノードがあり、隠れ層Ｌ２には、Ｐ２０１、Ｐ２０２、Ｐ２０３、Ｐ２０４、Ｐ２０５、Ｐ２０６、Ｐ２０７、Ｐ２０８、Ｐ２０９、Ｐ２１０の１０個のノードがあり、出力層Ｌ３には、Ｐ３０１、Ｐ３０２、Ｐ３０３の３個のノードがある場合について説明する。入力層Ｌ１の各ノードの出力は、隠れ層Ｌ２の各ノードの入力に入力され、また、隠れ層Ｌ２の各ノードの出力は、出力層Ｌ３の各ノードの入力に入力されている。
【００８１】
各層において、各ノードはユニット識別情報により識別されており、各ノードのユニット識別情報は、予め定められたノードの配置順に、ユニット識別情報が１つずつ大きくなるようにして設定されている。例えば、Ｐ１０１はユニット識別情報が１であり、Ｐ１０２はユニット識別情報が２であり、Ｐ１０３はユニット識別情報が３である。
【００８２】
本実施の形態においては、それぞれのユニットが、隠れ層Ｌ２、出力層Ｌ３のノードとして機能する。なお、この例においては、ユニットＵ１からユニットＵ３は、隠れ層Ｌ２、出力層Ｌ３のノードとして機能し、ユニットＵ４からユニットＵ１０は、隠れ層Ｌ２のノードとして機能する。ここで、制御装置が入力層Ｌ１として出力値を、増幅器４とユニット出力バス２とを介して、隠れ層Ｌ２としての各ユニットに、順次出力する。そのために、ここでは、各ユニットは、隠れ層Ｌ２と出力層Ｌ３として機能する。
例えば、ユニットＵ１は、隠れ層Ｌ２のノードＰ２０１と出力層Ｌ３のノードＰ３０１として機能する。また、ユニットＵ３は、隠れ層Ｌ２のノードＰ２０３と出力層Ｌ３のノードＰ３０３として機能する。また、ユニットＵ４は、隠れ層Ｌ２のノードＰ２０４として機能する。
【００８３】
ここで、あるユニットに値が入力された際、入力層Ｌ１、隠れ層Ｌ２、出力層Ｌ３のいずれの層からの入力であるかは、各ユニットにおいて、ユニットが有する層情報記憶部１３３に記憶してある層情報により判定される。
【００８４】
＜階層型ニューラルネットワークの全体の動作＞
次に、本実施形態による階層型ニューラルネットワークの、一例としての、全体の動作について説明する。ここでは、各ユニットが、出力層Ｌ３のノードとして機能し、トークンを入力されたいずれか１つのユニットが隠れ層Ｌ２のアクティブなノードとして機能する場合について説明する。この場合、各ユニットが出力層Ｌ３のノードとして機能し、アクティブな層が隠れ層Ｌ２であるため、各ユニットの層情報記憶部１３３には層情報の値として２が記憶されている。
【００８５】
まず、ノードＰ２０１であるユニットＵ１が、トークンが制御装置から入力されることにより、ユニット出力記憶部１３５から出力値を読み出し、出力値を出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを出力済みとして設定する（手順Ａ１００）。次に、ノードＰ２０１からの出力値が、ユニット出力バス２と増幅器４とユニット入力バス３とを介して、ユニットＵ１からＵ１０の各ユニットのデータ入力部１０１に入力される。
【００８６】
次に、ユニットＵ１からＵ１０の各ユニットは、ユニットＵ１からの入力値に基づいて、積和計算一次値算出部１１１が、ユニット識別情報記憶部１３７から読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出し、読み出した結合荷重と、データ入力部１０１に入力された入力値とを乗算し、乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる（手順Ａ１０１）。
ここで、各ユニットの積和計算一次値算出部１１１が、ユニット識別情報記憶部１３７から読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出すことにより、各ユニットは、層情報に基づいて出力層Ｌ３のノードとして機能し、また、層情報に基づいて、アクティブなユニットの属する層が隠れ層Ｌ２であると識別し、更に、ユニット識別情報に基づいてアクティブとなる隠れ層Ｌ２での各ノードを識別し、この隠れ層Ｌ２のアクティブとなるノードに対応する結合荷重を、このアクティブとなった隠れ層Ｌ２のノードからの出力値に乗ずることが可能となる。
【００８７】
ここで、ユニットＵ１のデータ出力フラグ記憶部１３６のデータ出力フラグは、出力済みとして設定されてあるため、ユニットＵ１のトークン出力部１０３は、データ入力部１０１に入力値が入力されたことに応じて、トークンを出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを未出力として設定する（手順Ａ１０２）。
【００８８】
次に、ユニットＵ１から出力されたトークンは、デイジーチェーン制御バス１を介して、デイジーチェーンされている順序が１つ後のユニットであるユニットＵ２のトークン入力部１２に入力される（手順Ａ１０３）。
【００８９】
ユニットＵ２はトークン入力部１２にトークンが入力されたことに応じて、上記に説明した手順Ａ１００でノードＰ１０１であるユニットＵ１が、トークンが入力された場合と同様に、ユニット出力記憶部１３５から出力値を読み出し、出力値を出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを出力済みとして設定する（手順Ａ１０４）。
【００９０】
以降、同様に、手順Ａ１０１から手順Ａ１０３を繰り返し、隠れ層Ｌ２のノードＰ２１０であるユニットＵ１０が、出力値を出力すると共に、データ出力フラグ記憶部１３６のデータ出力フラグを出力済みとして設定する。
【００９１】
次に、出力層Ｌ３のノードＰ３０１からＰ３０３に該当するユニットＵ１からＵ３の各ユニットは、手順Ａ１０１と同様に、ユニットＵ１０からの入力値に基づいて、各ユニットの積和計算一次値算出部１１１が、ユニット識別情報記憶部１３７から読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出し、読み出した結合荷重と、データ入力部１０１に入力された入力値とを乗算し、乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる（手順Ａ１０５）。
【００９２】
ここで、ユニットＵ１０からの入力値が、各ユニットのデータ入力部１０１に入力されたことに応じて、各ユニットのカウンタ１１４は、ユニット識別情報記憶部１３７に記憶されているユニット識別情報の値をインクリメントし、ユニット識別情報の値は３となる（手順Ａ１０６）。
なお、各ユニットのユニット数記憶部１３４には、層情報と層情報で識別される階層に属する階層型ニューラルネットワークのユニット数とが関連付けて予め記憶されている。例えば、図６の階層型ニューラルネットワークの場合には、入力層Ｌ１の層情報である値１と、階層型ニューラルネットワークのユニット数、つまり、入力層Ｌ１のノード数である３とが、関連付けて予め記憶されている。また、例えば、図６の階層型ニューラルネットワークの場合には、隠れ層Ｌ２の層情報である値２と、階層型ニューラルネットワークのユニット数、つまり、隠れ層Ｌ２のノード数である１０とが、関連付けて予め記憶されている。
【００９３】
次に、各ユニットのユニット数比較部１１５は、層情報記憶部１３３から層情報を読み出し、読み出した層情報に該当するユニット数をユニット数記憶部１３４から読み出し、ユニット識別情報記憶部１３７からユニット識別情報を読み出し、読み出したユニット識別情報の値と読み出したユニット数とを比較し、比較した結果が一致するために、読み出したユニット識別情報の値と読み出したユニット数とが一致したことを示す比較一致信号を出力すると共に、ユニット識別情報記憶部１３７に記憶されているユニット識別情報の値をリセットする（手順Ａ１０７）。
【００９４】
次に、各ユニットのユニット出力算出部１１２は、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、積和計算一次値記憶部１３１から積和計算一次値情報を読み出し、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出し、読み出した出力関数に読み出した積和計算一次値情報を代入することにより出力値を算出し、算出した出力値をユニット出力記憶部１３５に記憶させる（手順Ａ１０８）。
【００９５】
ここで、各ユニットのユニット出力算出部１１２は、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出すため、出力層Ｌ３に該当するユニット毎の出力関数により、ユニットの出力値を算出することが可能となる。また、各ユニットのユニット出力記憶部１３５に出力層Ｌ３のノードとして算出した出力値が記憶されるため、各ユニットはトークンが入力された場合に、各ユニットは出力層Ｌ３のアクティブなノードとして、出力値を出力することが可能となる。
【００９６】
また、各ユニットの層情報算出部１１３が、ユニット数比較部１１５から比較一致信号を入力されたことに応じて、層情報記憶部１３３に記憶されている層情報の値をインクリメントして、層情報の値を３とする。そのために、各ユニットは、以降、トークンが入力されたいずれか１つのユニットが、出力層Ｌ３のアクティブなノードとして出力値を出力する。
【００９７】
なお、上記において、出力層Ｌ３でユニットＵ３からユニットＵ４にトークンが出力され、次に、トークンを入力されたユニットＵ４が出力層Ｌ３のノードとして出力値を出力するが、この例における階層型ニューラルネットワークにおいて、出力層Ｌ３のノードとしてユニットＵ４に相当するノードは無いため、ユニットＵ４は、出力層Ｌ３のノードとして出力値を出力しないことが望ましい。または、ユニットＵ４は、出力層Ｌ３のノードとしては、出力値の値を０として出力してもよい。または、各ユニットにおいて、出力層Ｌ３としてのユニットＵ４からの出力値に乗じる結合荷重を０として、重み記憶部１３０に予め記憶しておいてもよい。
【００９８】
このようにユニットＵ４の出力値、または、ユニットＵ４からの出力値を受けた各ユニットの結合荷重を、予め階層型ニューラルネットワークの各層のノードの個数に合わせて設定しておくことにより、ユニットに対して、ある層でそのユニットに対応するノードが無い場合においても、本実施形態の並列演算装置は階層型ニューラルネットワークとして問題なく動作することが可能である。
【００９９】
以上説明したように、本実施形態を階層型ニューラルネットワークに適応した場合には、一度に発火すうニューロンの個数を１つに限定したことにより、つまり、出力層において出力値を出力するノードを、トークンが入力された１つのユニットに限定することにより、ユニット間の配線が増大することを減じる効果を奏する。
また、１つの出力層のノードであるユニットからの出力値が、ユニット入力バス３を介して、１度に全ての入力層となるノードであるユニットに分配して入力されるため、分配に要する時間を減じる効果を奏する。また、複数のユニットが、並列にユニット内演算を演算するため、全体としての演算が高速になるという効果を奏する。
【０１００】
例えば、階層型ニューラルネットワークを演算した場合、従来型のプロセッサを用いた場合には、その計算時間は概算として、計算時間＝（シナプス数×１回の演算に要するステップ数÷クロック周波数）として算出されるのに対して、本実形態による並列演算装置を用いた場合には、計算時間＝（ニューロン数×１ニューロンの発火周期）により算出される。ここで、シナプス数は、ニューロン数の２乗に比例するため、本実形態による並列演算装置を用いた階層型ニューラルネットワークの計算時間は、従来型のプロセッサを用いた場合に比較して、計算時間を大幅に減ずることが可能となる。
【０１０１】
また、各ユニットが、階層型ニューラルネットワークの層を変更し、かつ、入力側の層のノードと出力側の層のノードとして機能するため、少ないユニット数で多層のノードの演算を実行することが可能となる効果を奏する。
【０１０２】
なお、上記に説明した第１の実施形態においては、制御装置が入力層Ｌ１として出力値を順次出力し、そのために、各ユニットは隠れ層Ｌ２と出力層Ｌ３のノードとして機能するとして説明したが、各ユニットは、入力層Ｌ１のノードとして機能するようにしてもよい。例えば、制御装置が入力層Ｌ１のノードに対応する出力値を順次出力し、ユニットが入力層Ｌ１のノードとして、制御装置からの出力値をユニット出力記憶部１３５に順次記憶する。次に、トークンが入力されたユニットが、入力層Ｌ１のアクティブなユニットとして出力値を出力する。このようにして、各ユニットは、入力層Ｌ１と、隠れ層Ｌ２と、出力層Ｌ３とのユニットとして機能することも可能である。
【０１０３】
なお、上記の第１の実施形態においては、階層型ニューラルネットワークとして、入力層Ｌ１、隠れ層Ｌ２、出力層Ｌ３の３層がある場合について説明したが、本実施形態は、階層型ニューラルネットワークの階層は３層に限られるものではなく、任意の階層に適応可能である。
【０１０４】
＜第２の実施形態＞
＜自己組織化マップに適応した場合のユニットの構成＞
次に、本実施形態の並列演算装置を、自己組織化マップに適応した場合について説明する。自己組織化マップは、次のような処理を実行することにより、多変量からなるデータの統計的性質を学習し、 類似したデータが近接するように配列し、また、データの視覚化することを可能とするものである。
【０１０５】
各ユニットは、ユニットの結合重みベクトルを有している。まず、各ユニットに入力データベクトルが入力され、各ユニットは入力された入力データベクトルと結合重みベクトルの差であるノルムを算出する（手順Ａ２００）。次に、最もノルムの小さい出力ユニットを勝者ユニットとして選択する（手順Ａ２０１）。次に、選択した勝者ユニットとその近傍のユニットが、より入力データベクトルに近づくように結合重みベクトルの値を予め定められた関数により変更して、学習を行う（手順Ａ２０３）。この、手順Ａ２００から手順Ａ２０３を繰り返す。
【０１０６】
本実施形態の並列演算装置を自己組織化マップに適応する場合、各ユニットに入力されるデータは、上記の手順Ａ２００と、手順Ａ２０１と、手順Ａ２０２とで異なるため、実施形態においては、ユニットに入力するデータに、上記の手順Ａ２００と、手順Ａ２０１と、手順Ａ２０２とを識別する識別情報を組とすることにより、識別する。
【０１０７】
図９（ａ）に示すように、ユニット入力バス３からの入力値は、ノルム部とデータ部とを有する。また、図９（ｂ）に示すように、ノルム部の値が−２である場合、入力値のノルム部は「データ部の値が入力ベクトルである」ことを示す識別子であり、そのデータ部は入力ベクトルである。また、図９（ｃ）に示すように、ノルム部の値が−１である場合、ノルム部は「近傍判定識別情報」であり、そのデータ部は、ネットワーク座標である。また、図９（ｄ）に示すように、ノルム部の値が零または正の値である場合、ノルム部の値はノルムであり、また、データ部は、ネットワーク座標である。これらの詳細については、後述する。
【０１０８】
次に、図７と図８とを用いて、自己組織化マップに適応した場合の並列演算装置のユニットの構成について説明する。ここで、複数のユニットのそれぞれは、ネットワーク座標により識別される座標で予め識別されている。なお、各ユニットは、第１の実施形態と同様に、同一の構成を有しているので、ここでは１つのユニットの構成のみについて説明する。
【０１０９】
この図７または図８のユニットの構成において、データ入力部２０１はデータ入力部１１に対応し、データ出力部２０４はデータ出力部１４に対応し、トークン入力部２０２はトークン入力部１２に対応と、トークン出力部２０３はトークン出力部１３に対応する。また、ユニットノルム記憶部２３６と、入力ノルム記憶部２３７と、ユニットネットワーク座標記憶部２３４と、入力ネットワーク座標記憶部２３３とは、ユニット出力記憶部１６に対応する。また、他の構成は、ユニット演算部１５に対応する。
【０１１０】
ユニットネットワーク座標記憶部２３４には、ユニットのネットワーク座標であるユニットネットワーク座標が予め記憶されている。入力ネットワーク座標記憶部２３３には、入力されたネットワーク座標である入力ネットワーク座標が記憶される。重み記憶部２３１には、ユニットの結合重みベクトルが予め記憶されている。入力データ記憶部２３０には、入力された入力データベクトルが記憶される。ユニットノルム記憶部２３６には、ユニットのノルムが記憶される。入力ノルム記憶部２３７には、入力されたノルムが記憶される。
【０１１１】
学習速度記憶部２３５には、学習速度を決める係数である学習速度係数が予め記憶されている。また、学習速度記憶部２３５には、学習した回数を示す学習ステップ数と、前記学習速度係数とが予め関連付けて記憶されている。距離記憶部２３２には、ネットワーク座標の間の距離が近傍であるか否かを判定する基準である基準距離が予め記憶されている。また、距離記憶部２３２には、学習ステップ数と基準距離とが予め関連付けて記憶されている。
【０１１２】
データ入力判定部２２２は、データ入力部２０１に入力された入力値が入力データベクトルであるか否かを判定し、入力データベクトルである場合には、データ抽出部２１０に入力値である入力データベクトルを出力し、入力データベクトルでない場合には、ネットワーク座標抽出部２１１とノルム抽出部２１２とに入力値を出力する。
このデータ入力判定部２２２は、入力値のノルムの値が、入力値が入力データベクトルであることを示す値である−２であるか否かを判定することにより、データ入力部２０１に入力された入力値が入力データベクトルであるか否かを判定する。
【０１１３】
データ抽出部２１０は、データ入力部２０１に入力された入力値が入力データベクトルである場合には、入力された入力データベクトルを入力データ記憶部２３０に記憶させる。また、データ抽出部２１０は、入力された入力データベクトルを、ノルム算出部２１４に出力する。また、データ抽出部２１０は、入力データベクトルが入力される毎に、カウンタ２１３がカウントアップ信号を出力する。
【０１１４】
カウンタ２１３は、ユニットに入力データベクトルが入力される毎に、ユニットに入力データベクトルが入力された回数であるステップ数をカウントアップする。また、カウンタ２１３は、データ抽出部２１０からカウントアップ信号を入力される毎に、ステップ数をカウントアップする。
【０１１５】
ノルム算出部２１４は、データ入力部２０１に入力された入力値が入力データベクトルである場合には、入力された入力データベクトルと、重み記憶部２３１から読み出した結合重みベクトルとのノルムを算出し、算出したノルムをユニットノルムとしてユニットノルム記憶部２３６に記憶させる。
【０１１６】
入力ノルム部２５０は、データ入力部２０１に入力された入力値が、ネットワーク座標とノルムとの組みである場合には、入力されたネットワーク座標を入力ネットワーク座標として入力ネットワーク座標記憶部２３３に記憶させると共に、入力されたノルムを入力ノルムとして入力ノルム記憶部２３７に記憶させる。この入力ノルム部２５０は、ネットワーク座標抽出部２１１と、ノルム抽出部２１２と、入力ノルム判定部２１８とから構成されている。
【０１１７】
ネットワーク座標抽出部２１１は、入力された入力値から、ネットワーク座標を抽出し、抽出したネットワーク座標を入力ネットワーク座標として入力ネットワーク座標記憶部２３３に記憶させる。ノルム抽出部２１２は、入力された入力値から、ノルムを抽出し、抽出したノルムを入力ノルム判定部２１８に出力する。
【０１１８】
入力ノルム判定部２１８は、ノルム抽出部２１２から入力されたノルムの値により、入力されたノルムが、ノルムであるのか、または、ネットワーク座標と近傍判定を実行することを示す識別情報である近傍判定識別情報であるのかを判定し、ノルムである場合には、入力されたノルムを入力ノルムとして入力ノルム記憶部２３７に記憶させる。逆に、入力されたノルムが近傍判定識別情報である場合には、入力ノルム判定部２１８は、近傍判定部２１５に、近傍判定識別情報を出力する。
例えば、この入力ノルム判定部２１８は、ノルム抽出部２１２から入力されたノルムの値が−１である場合には、入力されたノルムが近傍判定識別情報であるとして判定し、ノルム抽出部２１２から入力されたノルムの値が−１でない場合には、ノルムとして判定する。
【０１１９】
ノルム比較部２１７は、トークン入力部２０２を介してトークンが入力されたことに応じて、ユニットノルム記憶部２３６から読み出したユニットノルムと、入力ノルム記憶部２３７から読み出した入力ノルムとを比較する。
【０１２０】
選択出力部２５１は、ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルムより小さい場合には、ユニットノルム記憶部２３６から読み出したユニットノルムとユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標とを組みとして、データ出力部２０４を介して出力し、読み出したユニットノルムが入力ノルム以上である場合には、入力ノルム記憶部２３７から読み出した入力ノルムと入力ネットワーク座標記憶部２３３から読み出した入力ネットワーク座標とを組みとして、データ出力部２０４を介して出力する。この選択出力部２５１は、ネットワーク座標選択部２１９と、ノルム選択部２２０と、データ合成出力部２２１とから構成されている。
【０１２１】
ノルム選択部２２０は、ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルムより小さい場合には、ユニットノルム記憶部２３６からユニットノルムを読み出し、読み出したユニットノルムをデータ合成出力部２２１に出力する。また、ネットワーク座標選択部２１９は、ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルム以上である場合には入力ノルム記憶部２３７から入力ノルムを読み出し、読み出した入力ノルムをデータ合成出力部２２１に出力する。
【０１２２】
ネットワーク座標選択部２１９は、ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルムより小さい場合には、ユニットネットワーク座標記憶部２３４からユニットネットワーク座標を読み出し、読み出したユニットネットワーク座標をデータ合成出力部２２１に出力する。また、ネットワーク座標選択部２１９は、ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルム以上である場合には、入力ネットワーク座標記憶部２３３から入力ネットワーク座標を読み出し、読み出した入力ネットワーク座標をデータ合成出力部２２１に出力する。
【０１２３】
データ合成出力部２２１は、ノルム選択部２２０から入力されたユニットノルムまたは入力ノルムであるノルムと、ネットワーク座標選択部２１９から入力されたユニットネットワーク座標または入力ネットワーク座標であるネットワーク座標とを組みとして合成し、組として合成したノルムとネットワーク座標とを、データ出力部２０４を介して出力する。
【０１２４】
近傍判定部２１５は、データ入力部２０１に入力された入力値が、ネットワーク座標と近傍判定を実行することを示す識別情報である近傍判定識別情報との組みである場合には、ユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標が、入力されたネットワーク座標である入力ネットワーク座標の近傍にあるか否かを判定する。
【０１２５】
また、近傍判定部２１５は、近傍判定識別情報が入力ノルム部２５０または入力ノルム判定部２１８から入力されたことに応じて、ユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標が、入力されたネットワーク座標である入力ネットワーク座標の近傍にあるか否かを判定する。
【０１２６】
また、近傍判定部２１５は、データ入力部２０１に入力された入力値が、ネットワーク座標と近傍判定を実行することを示す識別情報である近傍判定識別情報との組みである場合には、距離記憶部２３２から基準距離を読み出し、ユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標と入力されたネットワーク座標である入力ネットワーク座標との間の距離が、読み出した基準距離以下であるか否かを判定することにより、ユニットネットワーク座標が入力ネットワーク座標の近傍にあるか否かを判定する。
【０１２７】
また、近傍判定部２１５は、カウンタ２１３から読み出したステップ数に一致する学習ステップ数に関連付けられている基準距離を距離記憶部２３２から読み出し、該読み出した基準距離に基づいて前記ユニットネットワーク座標が前記入力ネットワーク座標の近傍にあるか否かを判定する。
【０１２８】
重み更新部２１６は、近傍判定部２１５の判定した結果が近傍である場合には、重み記憶部２３１に記憶されている結合重みベクトルの値を更新する。また、重み更新部２１６は、入力データ記憶部２３０から読み出した入力データベクトルと重み記憶部２３１から読み出した結合重みベクトルとの差を算出し、算出した差に、学習速度記憶部２３５から読み出した学習速度係数を乗じた値を、重み記憶部２３１に記憶されている結合重みベクトルに加算することにより、重み記憶部２３１に記憶されている結合重みベクトルの値を更新する。
【０１２９】
また、重み更新部２１６は、カウンタ２１３から読み出したステップ数と一致する学習ステップ数に関連付けられている学習速度係数を学習速度記憶部２３５から読み出し、読み出した学習速度係数に基づいて重み記憶部２３１に記憶されている結合重みベクトルの値を更新する。
【０１３０】
トークン出力フラグ記憶部２３８には、トークン出力部２０３がトークンを出力済みであるか否かを示すトークン出力フラグが記憶されている。トークン出力フラグ判定部２２３は、トークン入力部２０２にトークンが入力されたことに応じて、トークン出力フラグ記憶部２３８からトークン出力フラグを読み出し、読み出したトークン出力フラグがトークンを未出力である場合に、入力されたトークンをノルム比較部２１７に出力すると共に、入力されたトークンを、トークン出力部２０３を介して出力する。
【０１３１】
トークン出力部２０３は、トークン入力部２０２にトークンが入力されたことに応じて、トークンを出力する。また、トークン出力部２０３は、データ合成出力部２２１または選択出力部２５１が、ユニットノルム記憶部２３６から読み出したユニットノルムとユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標とを組みとしてデータ出力部２０４を介して出力したことに応じて、または、入力ノルム記憶部２３７から読み出した入力ノルムと入力ネットワーク座標記憶部２３３から読み出した入力ネットワーク座標とを組みとしてデータ出力部２０４を介して出力したことに応じて、トークンを出力する。また、トークン出力部２０３は、トークンを出力した後に、トークン出力フラグ記憶部２３８に記憶されているトークン出力フラグを出力済みに更新する。
【０１３２】
＜自己組織化マップに適応した場合のユニットの動作＞
次に、図１０と図１１とを用いて、自己組織化マップに適応した場合の並列演算装置のユニットの動作について説明する。最初に、図１０を用いて、ユニットのデータ入力部に入力値が入力された場合の動作について説明する。
【０１３３】
まず、データ入力部２０１に入力値であるデータが入力される（ステップＳ４００）。次に、データ入力判定部２２２は、入力値のノルムの値が、入力値が入力データベクトルであることを示す値である−２であるか否かを判定することにより、データ入力部２０１に入力された入力値が入力データベクトルであるか否かを判定する（ステップＳ４０１）。
【０１３４】
次に、ステップＳ４０１の判定結果が、ノルムの値が−２であり、入力データベクトルである場合には、データ抽出部２１０が、入力された入力データベクトルを入力データ記憶部２３０に記憶させる（ステップＳ４０２）と共に、カウントアップ信号をカウンタ２１３に出力する。次に、カウンタ２１３は、データ抽出部２１０からカウントアップ信号を入力されたことに応じて、ステップ数をカウントアップする（ステップＳ４０３）。
【０１３５】
次に、ノルム算出部２１４は、データ抽出部２１０を介して入力された入力データベクトルと、重み記憶部２３１から読み出した結合重みベクトルとのノルムを算出し、算出したノルムをユニットノルムとしてユニットノルム記憶部２３６に記憶させ（ステップＳ４０４）、処理を終了する。
【０１３６】
一方、ステップＳ４０１の判定結果が、ノルムの値が−２ではなく、入力データベクトルではない場合には、ネットワーク座標抽出部２１１が、入力された入力値から、ネットワーク座標を抽出し、抽出したネットワーク座標を入力ネットワーク座標として入力ネットワーク座標記憶部２３３に記憶させる（ステップＳ４０５）と共に、ノルム抽出部２１２は、入力された入力値から、ノルムを抽出し、抽出したノルムを入力ノルム判定部２１８に出力する。
【０１３７】
次に、入力ノルム判定部２１８は、ノルム抽出部２１２から入力されたノルムの値が−１であるか否かを判定し（ステップＳ４０６）、判定結果が、ノルム抽出部２１２から入力されたノルムの値が−１でない場合には、ノルムとして判定し、入力されたノルムを入力ノルムとして入力ノルム記憶部２３７に記憶させ（ステップＳ４０７）、処理を終了する。
【０１３８】
一方、ステップＳ４０６の判定結果が、ノルム抽出部２１２から入力されたノルムの値が−１である場合には、入力ノルム判定部２１８は、入力されたノルムが近傍判定識別情報であるとして判定し、近傍判定部２１５に、近傍判定識別情報を出力する。次に、近傍判定部２１５は、近傍判定識別情報が入力ノルム判定部２１８から入力されたことに応じて、ユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標が、入力されたネットワーク座標である入力ネットワーク座標の近傍にあるか否かを判定する（ステップＳ４０８）。
【０１３９】
ステップＳ４０８の判定結果が、近傍である場合には、重み更新部２１６が、重み記憶部２３１に記憶されている結合重みベクトルの値を更新して（ステップＳ４０９）、処理を終了する。一方、ステップＳ４０８の判定結果が、近傍でない場合には、処理を終了する。
【０１４０】
次に、図１１を用いて、ユニットのトークン入力部にトークンが入力された場合の動作について説明する。まず、トークン入力部２０２に、トークンが入力される（ステップＳ５００）。次に、トークン出力フラグ判定部２２３が、トークン入力部２０２にトークンが入力されたことに応じて、トークン出力フラグ記憶部２３８からトークン出力フラグを読み出し、読み出したトークン出力フラグがトークンを未出力であるか否かを判定し（ステップＳ５０１）、読み出したトークン出力フラグがトークンを未出力である場合には、入力されたトークンをノルム比較部２１７に出力すると共に、入力されたトークンを、トークン出力部２０３を介して出力する。
【０１４１】
次に、ノルム比較部２１７は、トークン入力部２０２を介してトークンが入力されたことに応じて、ユニットノルム記憶部２３６から読み出したユニットノルムと、入力ノルム記憶部２３７から読み出した入力ノルムとを比較する（ステップＳ５０２）。
【０１４２】
ノルム比較部２１７の比較した結果が、読み出したユニットノルムが入力ノルムより小さい場合には、ノルム選択部２２０が、ユニットノルム記憶部２３６からユニットノルムを読み出し、読み出したユニットノルムをデータ合成出力部２２１に出力する（ステップＳ５０３）と共に、ネットワーク座標選択部２１９が、ユニットネットワーク座標記憶部２３４からユニットネットワーク座標を読み出し、読み出したユニットネットワーク座標をデータ合成出力部２２１に出力する（ステップＳ５０４）。
【０１４３】
次に、データ合成出力部２２１が、ノルム選択部２２０から入力されたユニットノルムと、ネットワーク座標選択部２１９から入力されたユニットネットワーク座標とを組みとして合成し、組として合成したユニットノルムとユニットネットワーク座標とを、データ出力部２０４を介して出力する（ステップＳ５０５）。
【０１４４】
一方、ステップＳ５０２でノルム比較部２１７が比較した結果が、読み出したユニットノルムが入力ノルム以上である場合には、ノルム選択部２２０が、入力ノルム記憶部２３７から入力ノルムを読み出し、読み出した入力ノルムをデータ合成出力部２２１に出力する（ステップＳ５０８）と共に、ネットワーク座標選択部２１９が、入力ネットワーク座標記憶部２３３から入力ネットワーク座標を読み出し、読み出した入力ネットワーク座標をデータ合成出力部２２１に出力する（ステップＳ５０９）。
【０１４５】
次に、データ合成出力部２２１は、ノルム選択部２２０から入力された入力ノルムと、ネットワーク座標選択部２１９から入力された入力ネットワーク座標とを組みとして合成し、組として合成した入力ノルムと入力ネットワーク座標とを、データ出力部２０４を介して出力する（ステップＳ５１０）。
【０１４６】
次に、トークン出力部２０３が、ステップＳ５０５にて、データ合成出力部２２１が、ユニットノルム記憶部２３６から読み出したユニットノルムとユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標とを組みとしてデータ出力部２０４を介して出力したことに応じて、または、ステップＳ５１０にて、入力ノルム記憶部２３７から読み出した入力ノルムと入力ネットワーク座標記憶部２３３から読み出した入力ネットワーク座標とを組みとしてデータ出力部２０４を介して出力したことに応じて、トークンを出力する（ステップＳ５０６）。
【０１４７】
次に、トークン出力部２０３は、トークンを出力した後に、トークン出力フラグ記憶部２３８に記憶されているトークン出力フラグを出力済みに更新し（ステップＳ５０７）、処理を終了する。
【０１４８】
＜自己組織化マップに適応した場合の並列演算装置全体の動作＞
次に、自己組織化マップに適応した場合の並列演算装置全体の動作について説明する。まず、制御装置は、入力ベクトルと、値を−２としたノルムとを組みとした入力値を、全てのユニットに、ユニット入力バス３を介して、入力する（手順Ａ３００）。
【０１４９】
次に、入力ベクトルを入力された各ユニットのノルム算出部２１４は、入力された入力ベクトルと、ユニットが有する結合重みベクトルとのノルムを算出し、算出したノルムを、ユニットノルム記憶部２３６に記憶させる（手順Ａ３０１）。
【０１５０】
次に、制御装置は、ユニットＵ１に、トークンを入力する（手順Ａ３０２）。次に、ユニットＵ１のノルム比較部２１７は、ユニットＵ１のトークン入力部２０２を介してトークンが入力されたことに応じて、ユニットノルム記憶部２３６から読み出したユニットノルムと、入力ノルム記憶部２３７から読み出した入力ノルムとを比較する（手順Ａ３０３）。
【０１５１】
ここで、ユニットＵ１の入力ノルム記憶部２３７には、ユニットＵ１が手順Ａ３０１で算出したノルムに比較して、十分に大きな値のノルムが予め記憶されているものとして説明する。
【０１５２】
ここでは、ユニットノルム記憶部２３６から読み出したユニットノルムの方が、入力ノルム記憶部２３７から読み出した入力ノルムより小さいため、ユニットＵ１の選択出力部２５１は、ユニットノルム記憶部２３６から読み出したユニットノルムとユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標とを組みとして、データ出力部２０４を介して出力する（手順Ａ３０４）。
【０１５３】
次に、ユニットＵ１のデータ出力部２０４が出力したノルムとネットワーク座標とが組として、ユニット出力バス２と増幅器４とユニット入力バス３とを介して、各ユニットのデータ入力部２０１に入力される（手順Ａ３０５）。
【０１５４】
次に、各ユニットの入力ノルム部２５０は、データ入力部２０１に入力された入力値のノルムの値が−１でないため、入力されたネットワーク座標を入力ネットワーク座標として入力ネットワーク座標記憶部２３３に記憶させると共に、入力されたノルムを入力ノルムとして入力ノルム記憶部２３７に記憶させる（手順Ａ３０６）。ここで、入力ネットワーク座標記憶部２３３に記憶されるネットワーク座標と、入力ノルム記憶部２３７に記憶されるノルムは、ユニットＵ１の、ネットワーク座標とノルムである。
【０１５５】
次に、ユニットＵ１のトークン出力部２０３は、ユニットＵ１のデータ合成出力部２２１または選択出力部２５１が、ユニットノルム記憶部２３６から読み出したユニットノルムとユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標とを組みとしてデータ出力部２０４を介して出力したことに応じて、トークンを、デイジーチェーン制御バス１を介してユニットＵ２に出力する（手順Ａ３０７）。
【０１５６】
次に、手順Ａ３０３のユニットＵ１と同様に、ユニットＵ２のノルム比較部２１７は、ユニットＵ２のトークン入力部２０２を介してユニットＵ１からのトークンが入力されたことに応じて、ユニットノルム記憶部２３６から読み出したユニットノルムと、入力ノルム記憶部２３７から読み出した入力ノルムとを比較する（手順Ａ３０８）。
【０１５７】
ここで、入力ノルム記憶部２３７に記憶される入力ノルムは、ユニットＵ１のノルムであり、また、ユニットノルム記憶部２３６から読み出したユニットノルムは、ユニットＵ２のノルムであるため、このユニットＵ２のノルム比較部２１７は、ユニットＵ２のノルムと、ユニットＵ１のノルムとを比較することになる。以降、ユニットＵ２のノルム比較部２１７の比較結果に基づいて、手順Ａ３０４から手順Ａ３０６の処理が、同様に実行される（手順Ａ３０９）。
【０１５８】
従って、トークンがユニットＵ２に入力されることにより、ユニットＵ１とユニットＵ２とのノルムが比較され、ノルムが小さい方のユニットが勝者ユニットとして選択され、勝者ユニットのノルムとユニットネットワーク座標とが、全てのユニットの入力ノルム記憶部２３７と入力ネットワーク座標記憶部２３３とに記憶される（手順Ａ３１０）。
【０１５９】
次に、手順Ａ３０７と同様に、ユニットＵ２からユニットＵ３にトークンが送信されることにより、次に、ユニットＵ３が、手順Ａ３０３から手順Ａ３０７とを実行することにより、ユニットＵ１とユニットＵ２との勝者ユニットのノルムと、ユニットＵ３のノルムとが比較され、ユニットＵ１からユニットＵ３までのユニットの中からの勝者ユニットが選択される（手順Ａ３１１）。
【０１６０】
以降、トークンがデイジーチェーン順序でユニットに渡されていく毎に、トークンが入力されたユニットの中での勝者ユニットが選択される（手順Ａ３１２）。その後、デイジーチェーン順序で最後のユニットであるユニットＵ１０にトークンが入力されると、ユニットＵ１０のデータ出力部２０４が、ユニットＵ１からユニットＵ１０の中の勝者ユニットのノルムとネットワーク座標とを出力する（手順Ａ３１３）。
【０１６１】
制御装置は、ユニットＵ１０のデータ出力部２０４が出力するノルムとネットワーク座標とを、勝者ユニットのノルムとネットワーク座標として受信する（手順Ａ３１４）。これにより、制御装置は、入力ベクトルに対しての、勝者ユニットのノルムとネットワーク座標とを、受信することが出来る。
【０１６２】
次に、制御装置は、ユニットＵ１０のデータ出力部２０４から受信したネットワーク座標と、値を−１としたノルムとを組みとした入力値を、全てのユニットに、ユニット入力バス３を介して、入力する（手順Ａ３１５）。
【０１６３】
次に、ネットワーク座標と値を−１としたノルムとを組みとした入力値を入力された各ユニットは、各ユニットのネットワーク座標抽出部２１１が、入力された入力値から、ネットワーク座標を抽出し、抽出したネットワーク座標を入力ネットワーク座標として入力ネットワーク座標記憶部２３３に記憶させる（手順Ａ３１６）と共に、各ユニットの入力ノルム判定部２１８が、ノルム抽出部２１２から入力されたノルムの値が−１であるため、入力されたノルムが近傍判定識別情報であるとして判定し、近傍判定部２１５に、近傍判定識別情報を出力する（手順Ａ３１７）。
【０１６４】
次に、各ユニットの近傍判定部２１５が、近傍判定識別情報が入力ノルム部２５０または入力ノルム判定部２１８から入力されたことに応じて、ユニットネットワーク座標記憶部２３４から読み出したユニットネットワーク座標が、入力ネットワーク座標記憶部２３３から読み出した入力ネットワーク座標の近傍にあるか否かを判定する（手順Ａ３１８）。
【０１６５】
次に、各ユニットの重み更新部２１６は、そのユニットの近傍判定部２１５の判定した結果が近傍である場合には、そのユニットの重み記憶部２３１に記憶されている結合重みベクトルの値を更新する（手順Ａ３１９）。これにより、勝者ユニットのネットワーク座標の近傍であるユニットの結合重みベクトルが、更新され、学習が実行される。
【０１６６】
以上に説明した自己組織化マップに適応した場合の並列演算装置においては、ユニット入力バス３に全てのユニットが接続されているため、制御装置が入力ベクトルをユニット入力バス３に１度出力するだけで、全てのユニットに入力ベクトルを入力することができる。また、各ユニットが、入力された入力ベクトルに対して、並列にノルムを算出することができるため、ユニット全体で、短時間でノルムを算出することができる。
【０１６７】
また、ユニット入力バス３に全てのユニットが接続されているため、制御装置が勝者ユニットのネットワーク座標をユニット入力バス３に１度出力するだけで、全てのユニットに勝者ユニットのネットワーク座標を入力することができる。また、各ユニットが、入力された勝者ユニットのネットワーク座標の近傍にあるか否かを並列に判定し、学習するため、ユニット全体で、短時間で学習することができる。
【０１６８】
また、デイジーチェーン制御バス１を介してトークンをユニット間で渡していくことにより、デイジーチェーン順序で順に勝者ユニットを決定することができる。つまり、勝者ユニットの決定が、デイジーチェーン制御バス１という、簡易な配線で可能となる。
【０１６９】
＜冗長性を持たせた並列演算装置＞
次に、図１２を用いて、デイジーチェーン制御バス１に冗長性をもたせた場合の並列演算装置の構成を説明する。
各ユニットは、予め定められた順序であるデイジーチェーン順序において、１つ飛ばしの順序である第１の冗長順序で、複数のユニットのうちの半数のユニットが、第１の冗長デイジーチェーン制御バス６によりデイジーチェーンされている。例えば、ユニットＵ１とユニットＵ３とユニットＵ５とユニットＵ７とユニットＵ９とが、第１の冗長デイジーチェーン制御バス６により、デイジーチェーンされている。
【０１７０】
また、予め定められた順序であるデイジーチェーン順序において、１つ飛ばしの順序で、上記の第１の冗長デイジーチェーン制御バス６によりデイジーチェーンされていない複数のうちの残りの半数のユニットが、第２の冗長デイジーチェーン制御バス７によりデイジーチェーンされている。例えば、ユニットＵ２とユニットＵ４とユニットＵ６とユニットＵ８とユニットＵ１０とが、第２の冗長デイジーチェーン制御バス７により、デイジーチェーンされている。
【０１７１】
次に、図１３を用いて、第１の冗長デイジーチェーン制御バス６によりデイジーチェーンされているユニットの構成について説明する。つまり、例えば、ユニットＵ１とユニットＵ３とユニットＵ５とユニットＵ７とユニットＵ９の構成について説明する。なお、冗長性について変更される構成のみについて説明するため、図２のユニットの構成において、変更される構成のみについて説明する。
【０１７２】
図１３において、図１３（ａ）と（ｃ）とには、変更される前の図２で示されたユニットの構成が示してある。並列演算装置が冗長性を有するようにすることにより、図１３（ａ）のユニットの構成が、図１３（ｂ）の構成に変更される。また、図１３（ｃ）のユニットの構成が、図１３（ｄ）のユニットの構成に変更される。
【０１７３】
図１３（ｂ）に示すようにユニットは、トークン出力部Ａ１３＿１と、トークン出力部Ｂ１３＿２と、トークン出力部選択部１７と、トークン選択情報記憶部１８とを有する。ここで、トークン出力部Ａ１３＿１は、図２のトークン出力部１３に対応する。
【０１７４】
トークン出力部Ｂ１３＿２（冗長トークン出力部）は、トークン入力部１２にトークンが入力されたことに応じて、トークンを冗長順序で１つ後のユニットへ第１の冗長デイジーチェーン制御バス６を介して出力する。トークン選択情報記憶部１８には、トークン出力部Ａ１３＿１とトークン出力部Ｂ１３＿２とのうち、いずれを選択するかを示すトークン出力選択情報が記憶されている。
【０１７５】
トークン出力部選択部１７は、トークン入力部１２にトークンが入力されたことに応じて、トークン選択情報記憶部１８から読み出したトークン出力選択情報に基づいて、トークン出力部Ａ１３＿１とトークン出力部Ｂ１３＿２とのうちいずれか一方を選択し、選択したトークン出力部Ａ１３＿１またはトークン出力部Ｂ１３＿２を介してトークンを出力する。
【０１７６】
また、図１３（ｄ）に示すように、ユニットは、トークン入力部Ａ１２＿１と、トークン入力部Ｂ１２＿２（冗長トークン入力部）とを有する。ここで、トークン入力部Ａ１２＿１は、図２のトークン入力部１２に対応する。
【０１７７】
トークン入力部Ｂ１２＿２は、第１の冗長デイジーチェーン制御バス６を介してデイジーチェーンされている冗長順序が１つ前のユニットからのトークンを入力する。
また、トークン出力部１３は、トークン入力部Ａ１２＿１またはトークン入力部Ｂ１２＿２にトークンが入力されたことに応じて、トークンを出力する。
【０１７８】
また、第１の冗長デイジーチェーン制御バス６によりデイジーチェーンされているユニットと同様に、第２の冗長デイジーチェーン制御バス７によりデイジーチェーンされているユニットも、第２の冗長デイジーチェーン制御バス７を第１の冗長デイジーチェーン制御バス６として、トークン入力部Ｂ１２＿２（冗長トークン出力部）とトークン選択情報記憶部１８とトークン出力部選択部１７とトークン入力部Ｂ１２＿２（冗長トークン入力部）を有している。
【０１７９】
なお、ここでは、トークン選択情報記憶部１８には、トークン出力部Ａ１３＿１とトークン出力部Ｂ１３＿２とのうち、いずれを選択するかを示すトークン出力選択情報が記憶されているもとして説明したが、このトークン出力選択情報は、例えば、デイジーチェーン順序で次のユニットに欠陥があるか否かを示す情報であってもよい。
【０１８０】
トークン出力選択情報が、デイジーチェーン順序で次のユニットに欠陥があるか否かを示す情報である場合、トークン出力部選択部１７は、トークン選択情報記憶部１８から読み出したトークン出力選択情報に基づいて、デイジーチェーン順序で次のユニットに欠陥がない場合には、トークン出力部Ａ１３＿１を選択してトークンを出力し、逆に欠陥がある場合には、トークン出力部Ｂ１３＿２を選択してトークンを出力する。
【０１８１】
＜欠陥チェックの方法＞
次に、欠陥チェックの方法について説明する。ここでは、並列演算装置が、階層型ニューラルネットワークの場合について説明する。まず、ニューラルネットワークの並列演算装置が、結合係数がすべて同じで、中間層無しの入力層と出力層との２層である階層型ニューラルネットワークとして演算を実行し、制御装置が、演算結果の出力値を得る。制御装置は、出力値を判定し、正常な場合は処理を修了する。制御装置は、出力値を判定し、異常があることを検出した場合には、異常ユニットの前段ユニットのトークン選択情報記憶部１８に対し、欠陥情報を書き込む。
【０１８２】
次に、制御装置の、正常な場合と異常な場合の、判定方法とその処理について、詳細に説明する。まず、制御装置は、全てのユニットから、すべて同じ出力を得る場合に、正常として判定する。次に、制御装置は、ユニットからの出力が途中で止まる、または、ユニットからの出力値が予想された値と異なる部分がある場合に、異常として判定する。この場合、制御装置は、異常として検出したユニットである異常ユニットの、デイジーチェーン順序で１つ前となる前段ユニットのトークン選択情報記憶部１８に、欠陥情報を書き込み、もう一度欠陥チェックを実行し、判定結果が正常となるまで欠陥チェックを実行する。このとき、欠陥が原因で電気的に切り離す必要が生じる場合に備え、ユニットの入出力部にハイインピーダンススイッチを設け、回路を電気的に切り離す機構を備えても良い。
【０１８３】
以上のように、並列演算装置が、第１の冗長デイジーチェーン制御バス６と、第２の冗長デイジーチェーン制御バス７とにより冗長性を有するようにすることにより、デイジーチェーン制御バス１またはいずれかのユニットに欠陥が生じた場合においても、並列演算装置は問題なく動作することが可能となる。
【０１８４】
なお、ここでは、冗長配線が、デイジーチェーン順序において１つ飛ばしの第１の冗長デイジーチェーン制御バス６と第２の冗長デイジーチェーン制御バス７との場合について説明したが、更に、デイジーチェーン順序において２つ飛ばしの冗長デイジーチェーン制御バスなどを追加することも可能である。
【０１８５】
＜第２の基本構成＞
次に、この発明の一実施形態による並列演算装置の第２の基本構成を、図１４の概略ブロック図を用いて説明する。図１４の概略ブロック図において、図１の第１の基本構成と同一の構成には同一の符号を付けて、その説明を省略する。ここでは、ユニットＡＵ１からＡＵ１０の、ユニットの個数が１０である場合について説明する。このユニットの詳細については、後述する。
【０１８６】
並列演算装置は、第２の基本構成においては、予め定められた識別番号である固有ユニット番号で識別される複数のユニット（ＡＵ１〜ＡＵ１０）と、この複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バス２を介して入力されたことに応じて、該入力された入力値と複数のユニットの中から選択したいずれか１つのユニットを識別する識別番号である選択ユニット番号とを含む制御データを、複数のユニットのそれぞれにユニット入力バス３を介して出力する分配制御部８と、を有する。なお、この制御データには、入力値と、選択ユニット番号と、ユニットの演算方法または制御方法を選択するための制御コードとを含む。
【０１８７】
次に、図１５を用いて、各ユニットの構成について説明する。なお、ユニットＡＵ１からＡＵ１０は同一の構成を有するため、ここでは、ユニットＡＵ１の構成のみについて説明する。ユニットＡＵ１は、データ入力部１１Ａと、データ出力部１４Ａと、ユニット演算部１５Ａと、ユニット出力記憶部１６Ａと、制御コード抽出部１７Ａと、入力値抽出部１８Ａと、ユニット番号抽出部１９Ａと、ユニット番号一致判定部２０Ａと、固有ユニット番号記憶部２１Ａと、を有する。
【０１８８】
固有ユニット番号記憶部２１Ａには、それぞれのユニットを識別するための識別番号である固有ユニット番号が予め記憶されている。ユニット出力記憶部１６Ａには、ユニット演算部１５Ａが演算した結果である演算結果が記憶される。データ入力部１１Ａは、ユニット入力バス３を介して分配制御部８からの制御データを入力する。入力値抽出部１８Ａは、データ入力部１１Ａに入力された制御データから入力値を抽出する。選択ユニット番号抽出部１９Ａは、データ入力部１１Ａに入力された制御データから選択ユニット番号を抽出する。制御コード抽出部１７Ａは、データ入力部１１Ａに入力された制御データから制御コードを抽出する。
【０１８９】
ユニット番号一致判定部２０Ａは、データ入力部１１Ａに入力された制御データに含まれる出力ユニット番号と、固有ユニット番号とが一致するか否かを判定する。このユニット番号一致判定部２０Ａは、選択ユニット番号抽出部１９Ａが抽出した選択ユニット番号と、固有ユニット番号記憶部２１Ａから読み出した固有ユニット番号とが一致するか否かを判定する。
【０１９０】
ユニット演算部１５Ａは、データ入力部１１Ａに入力された制御データに含まれる入力値に基づいて、ユニット毎に予め定められた演算方法により演算する。このユニット演算部１５Ａは、入力値抽出部１８Ａが抽出した入力値に基づいて、ユニット毎に予め定められた演算方法により演算する。また、このユニット演算部１５Ａは、予め定められた演算方法から、制御コード抽出部１７Ａが抽出した制御コードに基づいて、演算方法を選択し、該選択した演算方法により演算する。また、ユニット演算部１５Ａは、演算した結果である演算結果をユニット出力記憶部１６Ａに記憶させる。
【０１９１】
データ出力部１４Ａは、ユニット番号一致判定部２０Ａが判定した結果が一致である場合には、ユニット演算部１５Ａが演算した結果である演算結果を出力値として、分配制御部８にユニット出力バス２を介して出力する。また、データ出力部１４Ａは、ユニット番号一致判定部２０Ａが判定した結果が一致である場合には、演算結果をユニット出力記憶部１６Ａから読み出し、該読み出した演算結果を出力値として分配制御部８にユニット出力バス２を介して出力する。
【０１９２】
次に、図１６を用いて、分配制御部８の構成を説明する。分配制御部８は、ユニット出力値入力部３１と、制御データ生成部３２と、制御データ出力部３３と、処理手順記憶部３４と、を有する。ユニット出力値入力部３１は、ユニット出力バス２を介して複数のユニットの中のいずれか１つのユニットが出力する出力値を入力する。制御データ生成部３２は、ユニット出力値入力部３１に入力された出力値に基づいて、予め定められた処理手順により制御データを生成する。制御データ出力部３３は、制御データ生成部３２が生成した制御データを複数のユニットのそれぞれにユニット入力バス３を介して出力する。なお、この制御データ出力部３３は、出力する制御データを、電気的に増幅する増幅器を、その内部に有していてもよい。
【０１９３】
また、処理手順記憶部３４には、演算を実行する処理手順が予め記憶されている。制御データ生成部３２は、処理手順を処理手順記憶部３４から順に読み出すことにより、また、必要であれば読み出した処理手順にユニット出力値入力部３１に入力された出力値を挿入することにより、予め定められた処理手順により制御データを生成する。
【０１９４】
ここで、分配制御部８の制御データ生成部３２は、ユニット出力値入力部３１に出力値が入力されたことに応じて、または、制御データ出力部３３が制御データを出力してから予め定められた一定時間の経過後に、制御データを生成する。そのため、分配制御部８、より詳しくは、分配制御部８の制御データ出力部３３は、ユニット出力値入力部３１に出力値が入力されたことに応じて、または、制御データ出力部３３が制御データを出力してから予め定められた一定時間の経過後に、制御データを出力する。
【０１９５】
また、分配制御部８は、入力端子Ｐ２を介して外部から初期値などのデータである入力値を入力され、入力された入力値を各ユニットにユニット入力バス３を介して設定することにより、各ユニットを用いた並列演算を実行する。また、分配制御部８は、各ユニットが演算した演算結果を、各ユニットからユニット出力バス２を介して入力され、該入力された演算結果を外部に出力端子Ｐ１を介して出力する。なお、ここでいう外部とは、並列演算装置の外部にある制御装置やコンピュータである。
【０１９６】
図１４から図１６を用いて説明した並列演算装置の第２の基本構成においては、分配制御部８が制御データにより各ユニットを制御するために、図１に示す並列演算装置の第１の基本構成と比較して、各ユニットでの処理が簡易となり、また、各ユニット間をデイジーチェーン順序で接続していたデイジーチェーン制御バス１が不要となる効果を奏する。
【０１９７】
＜第３の実施形態＞
＜階層型ニューラルネットワークに適応した場合のユニットの構成＞
次に、第２の基本構成による並列演算装置を、階層型ニューラルネットワークに適応した場合の構成について説明する。階層型ニューラルネットワークにおいても並列演算装置全体の構成は、図１４の並列演算装置の構成と同一であり、ユニットの構成のみが異なる。従って、図１７を用いて、階層型ニューラルネットワークに適応した場合のユニットの構成のみについて説明する。
【０１９８】
ユニットは、データ入力部１０１Ａと、データ出力部１０４Ａと、重み記憶部１３０と、積和計算一次値記憶部１３１と、層情報記憶部１３３と、関数記憶部１３２と、ユニット出力記憶部１３５Ａと、前段ユニット出力記憶部１３８Ｂと、前段ユニット番号記憶部１３９Ｂと、選択ユニット番号記憶部１４１Ｂと、固有ユニット番号記憶部１４０Ｂと、を有する。また、ユニットは、積和計算一次値算出部１１１Ａと、ユニット出力算出部１１２Ａと、比較部１１５Ｂと、ユニット制御部１１６Ｂと、ファンクション番号抽出部１５０Ｂと、ファンクション番号記憶部１５１Ｂと、オペランド抽出部１５２Ｂと、汎用バッファー記憶部１５３Ｂと、を有する。
【０１９９】
ここで、図１７のデータ入力部１０１Ａ、データ出力部１０４Ａ、ユニット出力記憶部１３５Ａは、図１５のデータ入力部１１Ａ、データ出力部１４Ａ、ユニット出力記憶部１６Ａに、それぞれ対応する。また、図１７の固有ユニット番号記憶部１４０Ｂ、比較部１１５Ａが、図１５の固有ユニット番号記憶部２１Ａ、ユニット番号一致判定部２０Ａに、それぞれ対応する。これらの図１７と図１５とにおいて対応する構成について、共通の機能については、その説明を省略する。
【０２００】
また、図１７のファンクション番号抽出部１５０Ｂとファンクション番号記憶部１５１Ｂとが図１５の制御コード抽出部１７Ａに対応する。また、図１７のオペランド抽出部１５２Ｂと汎用バッファー記憶部１５３Ｂとが、図１５の入力値抽出部１８Ａまたは選択ユニット番号抽出部１９Ａに対応する。
【０２０１】
また、図１７の重み記憶部１３０と、層情報記憶部１３３と、積和計算一次値記憶部１３１と、関数記憶部１３２と、積和計算一次値算出部１１１Ａと、ユニット出力算出部１１２Ａと、前段ユニット番号記憶部１３９Ｂとが、図１５のユニット演算部１５Ａに対応する。
【０２０２】
また、図１７の構成において、図３の第１の基本構成における階層型ニューラルネットワークに適応した場合の並列演算装置のユニットの構成と同様の構成には、同一の符号、または、同一の符号に符号Ａを付した符号を付け、その説明を省略する。
【０２０３】
＜第３の実施形態におけるユニットの各構成の説明＞
ファンクション番号記憶部１５１Ｂには、制御データに含まれる制御コード（ファンクション番号）が記憶される。汎用バッファー記憶部１５３Ｂには、制御データに含まれる制御コードＡ（ファンクション番号）以外の情報、例えば、後述する選択ユニット番号Ｂ、出力値Ｃ、配信層情報Ｄ、または、配信ユニット識別情報Ｅが記憶される。以降において、制御データに含まれる制御コードＡ（ファンクション番号）以外の情報、例えば、後述する選択ユニット番号Ｂ、出力値Ｃ、配信層情報Ｄ、または、配信ユニット識別情報Ｅを汎用データとして説明する。この制御データの詳細については、図１８を用いて後述する。
【０２０４】
ファンクション番号抽出部１５０Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードを抽出し、抽出した制御コードをファンクション番号記憶部１５１Ｂに記憶させる。オペランド抽出部１５２Ｂは、データ入力部１０１Ａに入力された制御データに含まれる汎用データを抽出し、抽出した汎用データを汎用バッファー記憶部１５３Ｂに記憶させる。
【０２０５】
ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データと比較部１１５Ｂが判定した結果とに基づいて、処理を実行する、または、予め定められた処理部の中から選択的に処理を実行させる。このデータ入力部１０１Ａに入力された制御データとは、ファンクション番号記憶部１５１Ｂから読み出した制御コードと、汎用バッファー記憶部１５３Ｂから読み出した汎用データとである。
【０２０６】
この前記ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードが、積和計算一次値を初期化することを示す場合には、積和計算一次値記憶部１３１に記憶されている積和計算一次値情報の値を０に初期化する。
【０２０７】
またユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードが、積和計算一次値を算出し加算格納することを示し、該制御データが出力値と該出力値を出力しているユニットのユニット識別情報である配信ユニット識別情報とを含む場合には、配信ユニット識別情報を前段ユニット出力記憶部１３８Ｂに記憶し、出力値に基づいて積和計算一次値算出部１１１Ａを用いて処理を選択的に実行する。
【０２０８】
また、ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードがユニット出力演算を実行することを示す場合には、ユニット出力算出部１１２Ａを用いて処理を選択的に実行する。
【０２０９】
また、ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードがアクティブなユニットとして出力値を出力することを示し、該制御データが選択ユニット番号を含む場合であり、かつ、比較部１１５Ｂ（ユニット番号一致判定部）が判定した結果が一致である場合には、データ出力部１０４Ａの処理を用いて処理を選択的に実行し、演算結果をユニット出力記憶部１３５Ａから読み出し、該読み出した演算結果を出力値として分配制御部８にデータ出力部１０４Ａとユニット出力バス２とを介して出力する。
【０２１０】
なお、ユニット出力記憶部１３５Ａに層情報と演算結果とが関連付けて記憶されている場合においては、ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データに含まれる制御コードがアクティブなユニットとして出力値を出力することを示し、該制御データが選択ユニット番号を含む場合であり、かつ、比較部１１５Ｂが判定した結果が一致である場合には、データ出力部１０４Ａの処理を選択的に実行し、層情報記憶部１３３から読み出した層情報に該当する演算結果をユニット出力記憶部１３５Ａから読み出し、該読み出した演算結果を出力値として分配制御部８にデータ出力部１０４Ａとユニット出力バス２とを介して出力する。
【０２１１】
また、ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データが配信層情報を含む場合には、データ入力部１０１Ａに入力された制御データに含められた配信層情報を層情報記憶部１３３に記憶する。
詳細には、ユニット制御部１１６Ｂは、データ入力部１０１Ａに入力された制御データが配信層情報を含む場合には、データ入力部１０１Ａに入力された制御データから配信層情報を抽出し、抽出した配信層情報を層情報記憶部１３３に記憶する。また、このユニット制御部１１６Ｂは、汎用バッファー記憶部１５３Ｂから配信層情報を読み出すことにより、データ入力部１０１Ａに入力された制御データから配信層情報を抽出する。
【０２１２】
またユニット制御部１１６Ｂは、出力値を出力しているユニットのユニット識別情報である配信ユニット識別情報を、データ入力部１０１Ａに入力された制御データが含む場合には、データ入力部１０１Ａに入力された制御データに含められた配信ユニット識別情報を前段ユニット出力記憶部１３８Ｂに記憶する。
詳細には、ユニット制御部１１６Ｂは、出力値を出力しているユニットのユニット識別情報である配信ユニット識別情報を、データ入力部１０１Ａに入力された制御データが含む場合には、データ入力部１０１Ａに入力された制御データから配信ユニット識別情報を抽出し、抽出した配信ユニット識別情報をユニット番号記憶部１３９Ｂに記憶する。また、このユニット制御部１１６Ｂは、汎用バッファー記憶部１５３Ｂから配信ユニット識別情報を読み出すことにより、データ入力部１０１Ａに入力された制御データから配信ユニット識別情報を抽出する。
【０２１３】
積和計算一次値算出部１１１Ａは、ユニット制御部１１６Ｂの選択に応じて、層情報記憶部１３３から読み出した層情報に該当する結合荷重を重み記憶部１３０から読み出し、該読み出した結合荷重と、データ入力部１０１Ａに入力された入力値とを乗算し、該乗算した値を積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる。
【０２１４】
また、積和計算一次値算出部１１１Ａは、ユニット制御部１１６Ｂの選択に応じて、前段ユニット出力記憶部１３８Ｂから読み出したユニット識別情報と層情報記憶部１３３から読み出した層情報とに該当する結合荷重を重み記憶部１３０から読み出し、該読み出した結合荷重と、データ入力部１０１Ａに入力された入力値とを乗算し、該乗算した値を前記積和計算一次値記憶部１３１に記憶されている積和計算一次値情報に加算して記憶させる。
【０２１５】
ユニット出力算出部１１２Ａは、ユニット制御部１１６Ｂの選択に応じて、積和計算一次値記憶部１３１から積和計算一次値情報を読み出し、層情報記憶部１３３から読み出した層情報に該当する出力関数を関数記憶部１３２から読み出し、該読み出した出力関数に読み出した積和計算一次値情報を代入することにより出力値を算出し、該算出した出力値をユニット出力記憶部１３５Ａに記憶させる。また、ユニット出力算出部１１２Ａは、この算出した出力値をユニット出力記憶部１３５Ａに記憶させるときに、層情報記憶部１３３から読み出した層情報と関連付けて、この算出した出力値を前記ユニット出力記憶部１３５Ａに記憶させる。
【０２１６】
＜第３の実施形態における制御データのプロトコル＞
次に、図１８を用いて、一例としての制御データのプロトコルについて説明する。この制御データは、制御コードＡと、選択ユニット番号Ｂと、出力値Ｃとを含み、更に、配信層情報Ｄと、配信ユニット識別情報Ｅと、を含む。この配信層情報Ｄとは、出力値Ｃを出力しているユニットの層情報であり、また、配信ユニット識別情報Ｅとは、出力値Ｃを出力しているユニットのユニット識別情報である。この制御コードのプロトコルは、制御コードの値により、次に示すように予め定められている。
【０２１７】
＜選択処理０＞
制御データに含まれる制御コードＡの値が“０”であり、“積和計算一次値を初期化する”ことを示す制御コードである場合には、この制御データは、他の情報（汎用データ）を含んでいない。この制御コードＡの値が“０”である制御データを受信した全てのユニットは、積和計算一次値算出部１１１Ａに記憶されている積和計算一次値の値を０に初期化する。
【０２１８】
＜選択処理１＞
また、制御データに含まれる制御コードＡの値が“１”であり、“積和計算一次値を算出し加算格納する”ことを示す制御コードである場合には、この制御データは、出力値Ｃと、配信層情報Ｄと、配信ユニット識別情報Ｅと、を含む。この制御コードＡの値が１である制御データを受信した全てのユニットは、層情報ｌを配信層情報Ｄとし、ユニット識別情報ｉを配信ユニット識別情報Ｅとし、入力値の値を出力値Ｃとして、積和計算一次値を算出する。
【０２１９】
＜選択処理２＞
また、制御データに含まれる制御コードＡの値が“２”であり、“ユニット出力演算を実行する”ことを示す制御コードである場合には、この制御データは、配信層情報Ｄを含む。この制御コードＡの値が“２”である制御データを受信した全てのユニットは、層情報ｌを配信層情報Ｄとして、ユニット出力演算を実行し、実行した演算結果を出力値として層情報ｌと関連付けてユニット出力記憶部１３５Ａに格納する。
【０２２０】
＜選択処理３＞
また、制御データに含まれる制御コードＡの値が“３”であり、“アクティブなユニットとして出力値を出力する”ことを示す制御コードである場合には、制御データは、選択ユニット番号Ｂと配信層情報Ｄとを含む。この制御コードＡの値が“３”である制御データを受信した全てのユニットは、受信した制御データに含まれる選択ユニット番号Ｂが、自身のユニットが有する固有ユニット番号Ｉと一致するか否かを判定し、判定した結果が一致する場合には、層情報ｌを配信層情報Ｄの値とし、この層情報ｌに該当するユニット出力記憶部１３５Ａから読み出した出力値を出力する。
【０２２１】
この図１８の制御データのプロトコルに基づいて、分配制御部９は、積和計算一次値を初期化することを示す制御コード、出力値と配信ユニット識別情報とを含み、積和計算一次値を算出し加算格納することを示す制御コード、ユニット出力演算を実行することを示す制御コード、アクティブなユニットとして出力値を出力することを示す制御コード、または、前記配信層情報を含む制御データを、階層型ニューラルネットワークの階層数と該階層のノード数とに合わせて予め定められた順序で出力する。
【０２２２】
＜第３の実施形態におけるユニットの動作＞
次に、図１９を用いて、図１８で説明した制御データのプロトコルを受信した場合の、ユニットの動作、特に、ユニットのユニット制御部１１６の動作について説明する。
まず、ユニットは、データ入力部１０１Ａに制御データが入力されたことに応じて、処理を開始する（ステップＳ１９０１）。次に、ファンクション番号抽出部１５０Ｂが、データ入力部１０１Ａに入力された制御データから、制御コードを抽出し、抽出した制御コードをファンクション番号記憶部１５１Ｂに記憶させる。
【０２２３】
また、オペランド抽出部１５２Ｂが、データ入力部１０１Ａに入力された制御データから、オペランドである制御コード以外の情報、例えば、選択ユニット番号Ｂと、出力値Ｃと、配信層情報Ｄと、配信ユニット識別情報Ｅとを抽出し、抽出したオペランドを汎用バッファー記憶部１５３Ｂに記憶させる。
【０２２４】
次に、ユニット制御部１１６Ｂが、ファンクション番号抽出部１５０Ｂが制御コードを抽出したことに応じて、ファンクション番号記憶部１５１Ｂから読み出した制御コードの値に基づいて、以降に説明するステップＳ１９０２からステップＳ１９０８により、ユニットにおける処理を選択的に実行する。
【０２２５】
まず、ユニット制御部１１６Ｂは、読み出した制御コードＡの値が“０”であるか否かを判定する（ステップＳ１９０２）。ステップＳ１９０２の判定結果が、読み出した制御コードＡの値が“０”である場合には、ユニット制御部１１６Ｂは、上記に説明した選択処理０を実行し（ステップＳ１９０３）、処理を終了する。
【０２２６】
一方、ステップＳ１９０２の判定結果が、読み出した制御コードＡの値が“０”でない場合には、ユニット制御部１１６Ｂは、読み出した制御コードＡの値が“１”であるか否かを判定する（ステップＳ１９０４）。ステップＳ１９０４の判定結果が、読み出した制御コードＡの値が“１”である場合には、ユニット制御部１１６Ｂは、上記に説明した選択処理１を実行し（ステップＳ１９０５）、処理を終了する。
【０２２７】
一方、ステップＳ１９０４の判定結果が、読み出した制御コードＡの値が“１”でない場合には、ユニット制御部１１６Ｂは、読み出した制御コードＡの値が“２”であるか否かを判定する（ステップＳ１９０５）。ステップＳ１９０５の判定結果が、読み出した制御コードＡの値が“２”である場合には、ユニット制御部１１６Ｂは、上記に説明した選択処理２を実行し（ステップＳ１９０６）、処理を終了する。
【０２２８】
一方、ステップＳ１９０５の判定結果が、読み出した制御コードＡの値が“２”でない場合には、つまり、読み出した制御コードＡの値が“３”である場合には、比較部１１５Ｂが、選択ユニット番号記憶部１４１Ｂから読み出した選択ユニット番号と固有ユニット番号記憶部１４０Ｂから読み出した固有ユニット番号とが一致するか否かを判定する（ステップＳ１９０７）。ステップＳ１９０７の判定結果が、選択ユニット番号と固有ユニット番号とが一致する場合には、ユニット制御部１１６Ｂは、上記に説明した選択処理３を実行し（ステップＳ１９０８）、処理を終了する。一方、ステップＳ１９０７の判定結果が、選択ユニット番号と固有ユニット番号とが一致しない場合には、処理を終了する。
【０２２９】
＜第３の実施形態における分配制御部８の動作＞
次に、図２０と図２１とを用いて、第２の基本構成による並列演算装置を階層型ニューラルネットワークに適応した場合の分配制御部８の動作について説明する。なお、分配制御部８が出力した制御データに含まれる制御コードの値に応じた各ユニットの動作については、図１７から図１９を用いて既に説明したので、ここでは、分配制御部８の動作のみについて説明する。なお、ここでも図６の階層型ニューラルネットワークに、第２の基本構成による並列演算装置を適応した場合について説明する。
【０２３０】
まず、図２０（ａ）を用いて、階層型ニューラルネットワークに適応した場合における、分配制御部８の動作概要について説明する。まず、各ユニットの初期設定（初期化）をする（ステップＳ２００１）。次に、外部から入力端子Ｐ２を介して入力層Ｌ１のノード用の入力データ（パターン入力）である入力の指示を受けて、受けた入力を、中間層（隠れ層）Ｌ２のノードとしての各ユニットに、分配制御部８が入力層Ｌ１として、分配することにより、各ユニットを用いて中間層Ｌ２の積和計算を並列に実行する（ステップＳ２００２）。このステップＳ２００２では、分配制御部８が入力層Ｌ１のノードとして、中間層Ｌ２のノードとなる各ユニットに出力値を出力している。
【０２３１】
次に、階層型ニューラルネットワークの全ての中間層（層情報カウンタ変数ｌ＝２、・・・Ｌ＋１）について、中間層積和計算（ステップＳ２００４）の処理を繰り返す（ステップＬ２００２からステップＬ２００５の層ループ処理）。ここで、Ｌは、中間層の総数（中間層総数）の値であり、図６の３階層である階層型ニューラルネットワークにおいては、この中間層総数Ｌの値は１である。このステップＳ２００４の中間層積和計算は、後に図２１（ａ）を用いて詳述する。
【０２３２】
このステップＬ２００２からステップＬ２００５の層ループ処理により、階層型ニューラルネットワークの中間層のノードとしての処理が階層型ニューラルネットワークの層において、入力層Ｌ１から出力層Ｌ３の方向に順に実行され、最終的には、各ユニットには出力層Ｌ３としての演算結果の値が記憶される。なお、このステップＬ２００２からステップＬ２００５のループにおいては、いずれか１つのユニットは、出力をする層としてのアクティブなユニットとして機能し、全てのユニットは入力を受ける層のノードとして機能する。
【０２３３】
次に、出力層Ｌ３のノードとしてのユニットに出力値を、ユニット識別情報で識別されるユニットの順に出力させる（ステップＳ２００６）ことにより、階層型ニューラルネットワークの出力層Ｌ３に属するノードとなる全てのユニットからの演算結果を順に受信する。また、この順に受信した演算結果を、入力されたパターン入力に対しての階層型ニューラルネットワーク演算装置の演算結果として、出力端子Ｐ１を介して外部に順に出力する。
【０２３４】
以上のステップＳ２００１からステップＳ２００６の処理により、この並列演算装置は、外部から入力された入力データ（パターン入力）である入力に応じて、階層型ニューラルネットワークの演算を複数のユニットを用いて並列に実行し、この実行した演算結果を、外部に出力することができる。
【０２３５】
次に、図２０（ｂ）、図２０（ｃ）、図２１（ａ）、および、図２１（ｂ）を用いて、図２０（ａ）の各処理について詳細に説明する。なお、ここでは、図２０（ｂ）、図２０（ｃ）、図２１（ａ）、および、図２１（ｂ）の処理を、図２０（ａ）の各処理についての関数またはサブルーチンとして説明する。
【０２３６】
最初に、図２０（ｂ）を用いて、図２０（ａ）のステップＳ２００１の処理を詳細に説明する。まず、制御コードＡの値を“０”とした制御データを出力し（ステップＳ２００１１）、次に、処理を戻す。
【０２３７】
次に、図２０（ｃ）を用いて、図２０（ａ）のステップＳ２００２の処理を詳細に説明する。まず、カウンタ変数ｉの値を０から、１、２、・・・Ｎ（１）まで順次増加させながら、次のステップＳ２００２２とステップＳ２００２３との処理を繰り返す（ステップＬ２００２１とステップＬ２００２４の入力ループ）。このＮ（１）は、層識別情報の値が１である層のノード数の値、つまり、入力層Ｌ１のノード数の値である。例えば、図６の階層型ニューラルネットワークにおいては、この入力層Ｌ１のノード数の値は３である。
【０２３８】
このステップＳ２００２２では、パターン入力ｘｉ（ｌ）を外部から入力する。次に、このステップＳ２００２３では、制御コードＡの値を“１”とし、出力値Ｃの値をステップＳ２００２２で外部から入力されたパターン入力ｘｉ（１）とし、配信層情報Ｄの値をカウンタ変数ｉとし、配信ユニット識別情報Ｅの値を１とした制御データを、各ユニットに出力する。
次に、制御コードＡの値を“２”とし、配信層情報Ｄの値を１とした制御データを、各ユニットに出力し（ステップＳ２００２５）、処理を戻す。
【０２３９】
次に、図２１（ａ）を用いて、図２０（ａ）のステップＳ２００４の処理を詳細に説明する。まず、カウンタ変数ｉの値を０から、１、２、・・・Ｎ（ｌ）まで順次増加させながら、次のステップＳ２００４２からステップＳ２００４４の処理を繰り返す（ステップＬ２００４１とステップＬ２００４５の入力ループ）。このＮ（ｌ）は、層識別情報の値が層情報カウンタ変数ｌである層のノード数の値である。
【０２４０】
このステップＳ２００４２では、制御コードＡの値を“３”とし、選択ユニット番号Ｂをカウンタ変数ｉとし、配信層情報Ｄを層情報カウンタ変数ｌとした制御データを、各ユニットに出力する。また、このステップＳ２００４３では、ステップＳ２００４２で出力した選択ユニット番号Ｂであるカウンタ変数ｉと固有ユニット番号とが一致したユニットから出力された出力値ｘｉ（ｌ）を入力する。また、このステップＳ２００４４では、制御コードＡの値を“２”とし、出力値ＣをステップＳ２００４３でユニットから入力された出力値ｘｉ（ｌ）とし、配信層情報Ｄをカウンタ変数ｉとし、配信ユニット識別情報Ｅを層情報カウンタ変数ｌとした制御データを、各ユニットに出力する。
次に、制御コードＡの値を“２”とし、配信層情報Ｄを層情報カウンタ変数ｌとした制御データを、各ユニットに出力し（ステップＳ２００４６）、処理を戻す。
【０２４１】
次に、図２１（ｂ）を用いて、図２０（ａ）のステップＳ２００６の処理を詳細に説明する。まず、カウンタ変数ｉの値を０から、１、２、・・・Ｎ（Ｌ＋２）まで順次増加させながら、次のステップＳ２００６２からステップＳ２００６４の処理を繰り返し（ステップＬ２００６１とステップＬ２００６５の出力ループ）、処理を戻す。このＮ（Ｌ＋２）は、層識別情報の値が（中間層総数Ｌ＋２）である層のノード数の値であり、つまり、出力層Ｌ３のノードの数である。例えば、図６の階層型ニューラルネットワークにおいては、この出力層Ｌ３のノード数の値は３である。
【０２４２】
このステップＳ２００６２では、制御コードＡの値を“３”とし、選択ユニット番号Ｂをカウンタ変数ｉとし、配信層情報Ｄを（中間層総数Ｌ＋２）とした制御データを、各ユニットに出力する。また、このステップＳ２００６３では、ステップＳ２００６２で出力した選択ユニット番号Ｂであるカウンタ変数ｉと固有ユニット番号とが一致したユニットから出力された出力値ｘｉ（Ｌ＋２）を入力する。また、このステップＳ２００６４では、ステップＳ２００６３でユニットから入力された出力値ｘｉ（Ｌ＋２）を、出力端子Ｐ１を介して外部に出力する。
【０２４３】
以上の処理により、この第３の実施形態による階層型ニューラルネットワークに適応した場合の並列演算装置は、第１の実施形態による階層型ニューラルネットワークに適応した場合の並列演算装置と同様に、階層型ニューラルネットワークを実行することができ、また、第１の実施形態による階層型ニューラルネットワークと同様の効果を奏することが可能である。
【０２４４】
＜第４の実施形態＞
＜自己組織化マップに適応した場合のユニットの構成＞
次に、第２の基本構成による並列演算装置を、自己組織化マップに適応した場合の構成について説明する。自己組織化マップにおいても並列演算装置全体の構成は、図１４の並列演算装置の構成と同一であり、ユニットの構成のみが異なる。従って、図２２を用いて、自己組織化マップに適応した場合のユニットの構成のみについて説明する。
【０２４５】
ここで、第１の基本構成における自己組織化マップの並列演算装置においては、最小のノルムを有するユニットの決定は、各ユニットがノルムを算出し、次に、ユニット間でノルムの大小を順に比較していた。これに対して、この第２の基本構成における自己組織化マップの並列演算装置においては、各ユニットがノルムを算出した後に、分配制御部８の制御に基づいて、各ユニットが算出したノルムを順に分配制御部８にユニット出力バス２を介して出力する。次に、分配制御部８が、入力されたノルムの中から最小となるノルムを選択することにより、最小のノルムを有するユニットを決定する。
【０２４６】
また、第１の基本構成における自己組織化マップの並列演算装置においては、各ユニットが、学習回数に関連付けて学習速度と近傍距離とを予め内部の記憶部（学習速度記憶部と近傍距離記憶部）に記憶していた。これに対して第２の基本構成における自己組織化マップの並列演算装置においては、分配制御部８が、内部に有する学習速度記憶部と近傍距離記憶部とに、学習回数に関連付けて学習速度と近傍距離とを記憶する。また、各ユニットは、１つの値の学習速度と近傍距離とを内部の記憶部（学習速度記憶部と近傍距離記憶部）に記憶する。また、分配制御部８が、学習回数に応じて、学習速度記憶部と近傍距離記憶部とを各ユニットに制御データに含めて配信し、各ユニットが、内部の記憶部（学習速度記憶部と近傍距離記憶部）の学習速度記憶部と近傍距離記憶部とを、分配制御部８から受信した制御データに含まれている学習速度記憶部と近傍距離記憶部とに更新する。
【０２４７】
以上のように、分配制御部８が、学習回数に応じて、学習速度記憶部と近傍距離記憶部とを各ユニットに制御データに含めて配信するようにすることにより、全てのユニットが学習回数に関連付けて学習速度と近傍距離とを予め内部の記憶部しておく必要がなくなるという効果を奏する。また、例えば、学習速度と近傍距離との変化の度合いを学習回数に応じて早くするまたは遅くするなどの、学習回数に関連付いた学習速度と近傍距離との変化の仕方を変更する場合には、学習回数と関連付けて学習速度記憶部と近傍距離記憶部とを記憶している分配制御部８内部の記憶部の情報のみを変更するのみでよく、変更が簡易となる効果を奏する。
【０２４８】
また、自己組織化マップに適応した場合のユニットは、第２の実施形態と同様に、ネットワーク座標により識別される座標で予め識別されている。そこで、第４の実施形態においては、固有ユニット番号をネットワーク座標として説明する。なお、各ユニットは、第２の実施形態または第３の実施形態と同様に、同一の構成を有しているので、ここでは図２２を用いて１つのユニットの構成のみについて説明する。
【０２４９】
ユニットは、データ入力部２０１Ａと、データ出力部２０４Ａと、距離記憶部２３２Ａと、重み記憶部２３１Ａと、ノルム算出部２１４Ａと、近傍判定部２１５Ａと、重み更新部２１６Ａと、ユニットネットワーク座標記憶部２３４Ａと、入力ネットワーク座標記憶部２３３Ａと、学習速度記憶部２３５Ａと、ユニットノルム記憶部２３６Ａと、入力データ記憶部２３０Ａと、実数ベクトル次元数記憶部２４２Ｂと、比較部２１５Ｂと、ユニット制御部２１６Ｂと、ファンクション番号抽出部２５０Ｂと、ファンクション番号記憶部２５１Ｂと、オペランド抽出部２５２Ｂと、汎用バッファー記憶部２５３Ｂと、を有する。
【０２５０】
ここで、図２２のデータ入力部２０１Ａ、データ出力部２０４Ａ、ユニットノルム記憶部２３６Ａと重み記憶部２３１Ａは、図１５のデータ入力部１１Ａ、データ出力部１４Ａ、ユニット出力記憶部１６Ａに、それぞれ対応する。また、図２２のユニットネットワーク座標記憶部２３４Ａ、比較部２１５Ｂが、図１５の固有ユニット番号記憶部２１Ａ、ユニット番号一致判定部２０Ａに、それぞれ対応する。これらの図２２と図１５とにおいて対応する構成について、共通の機能については、その説明を省略する。
【０２５１】
また、図２２のファンクション番号抽出部２５０Ｂとファンクション番号記憶部２５１Ｂとが図１５の制御コード抽出部１７Ａに対応する。また、図２２のオペランド抽出部２５２Ｂと汎用バッファー記憶部２５３Ｂとが、図１５の入力値抽出部１８Ａまたは選択ユニット番号抽出部１９Ａに対応する。
【０２５２】
また、図２２の構成において、図７と図８との第１の基本構成における自己組織化マップに適応した場合の並列演算装置のユニットの構成と同様の構成には、同一の符号、または、同一の符号に符号Ａを付した符号を付け、その説明を省略する。
【０２５３】
＜第４の実施形態におけるユニットの各構成の説明＞
ファンクション番号記憶部２５１Ｂには、制御データに含まれる制御コード（ファンクション番号）が記憶される。汎用バッファー記憶部２５３Ｂには、制御データに含まれる制御コードＡ（ファンクション番号）以外の情報、例えば、後述する入力ネットワーク座標Ｂ、入力学習速度Ｃ、入力近傍距離Ｄ、入力重みＷ、入力次元数Ｎ、または、入力値Ｘが記憶される。
【０２５４】
以降において、制御データに含まれる制御コードＡ（ファンクション番号）以外の情報、例えば、後述する入力ネットワーク座標Ｂ、入力学習速度Ｃ、入力近傍距離Ｄ、入力重みＷ、入力次元数Ｎ、または、入力値Ｘを汎用データとして説明する。この制御データの詳細については、図２３を用いて後述する。
【０２５５】
ファンクション番号抽出部２５０Ｂは、データ入力部２０１Ａに入力された制御データに含まれる制御コードを抽出し、抽出した制御コードをファンクション番号記憶部２５１Ｂに記憶させる。オペランド抽出部２５２Ｂは、データ入力部２０１Ａに入力された制御データに含まれる汎用データを抽出し、抽出した汎用データを汎用バッファー記憶部２５３Ｂに記憶させる。
【０２５６】
ユニット制御部２１６Ｂは、データ入力部２０１Ａに入力された制御データと比較部２１５Ｂが判定した結果とに基づいて、処理を実行する、または、予め定められた処理部の中から選択的に処理を実行させる。このデータ入力部２０１Ａに入力された制御データとは、ファンクション番号記憶部２５１Ｂから読み出した制御コードと、汎用バッファー記憶部２５３Ｂから読み出した汎用データとである。
【０２５７】
また、図２２の距離記憶部２３２Ａと、ノルム算出部２１４Ａと、近傍判定部２１５Ａと、重み更新部２１６Ａと、入力ネットワーク座標記憶部２３３Ａと、学習速度記憶部２３５Ａと、入力データ記憶部２３０Ａと、実数ベクトル次元数記憶部２４２Ｂと、ユニット制御部２１６Ｂとが、図１５のユニット演算部１５Ａに対応する。なお、図２２の重み記憶部２３１Ａは、図１５のユニット演算部１５Ａとユニット出力記憶部１６Ａとに対応する。
【０２５８】
また、ユニット制御部２１６Ｂの詳細と他の構成とについては、次に図２３を用いて、一例としての制御データのプロトコルの説明とともに説明する。
【０２５９】
＜第４の実施形態における制御データのプロトコル＞
次に、図２３を用いて、一例としての制御データのプロトコルについて説明する。この制御データは、制御コードＡと、入力ネットワーク座標Ｂと、入力学習速度Ｃと、入力近傍距離Ｄと、入力結合重みベクトルＷ（Ｗ１、Ｗ２、・・・）と、入力次元数Ｎと、入力ベクトルＸ（Ｘ１、Ｘ２、・・・）と、を含む。この制御コードのプロトコルは、制御コードの値により、次に示すように予め定められている。
【０２６０】
＜選択処理４＞
制御データに含まれる制御コードＡの値が“４”であり、“重みを設定する”ことを示す場合には、この制御データは、入力ネットワーク座標Ｂと入力結合重みベクトルＷ（Ｗ１、Ｗ２、・・・）とを含んでいる。この制御コードＡの値が“４”であり、“重みを設定する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、入力ネットワーク座標記憶部２３３Ａに記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標Ｂに更新するとともに、比較部２１５Ｂが、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標とが一致するか否かを判定する。次に、比較部２１５Ｂの判定結果が一致する場合には、ユニット制御部２１６Ｂが、重み記憶部２３１Ａに記憶されている結合重みベクトルを、受信した制御データに含まれる入力結合重みベクトルＷ（Ｗ１、Ｗ２、・・・）に更新する。
【０２６１】
＜選択処理５＞
制御データに含まれる制御コードＡの値が“５”であり、“学習速度と近傍距離とを設定する”ことを示す場合には、この制御データは、入力学習速度Ｃと、入力近傍距離Ｄと、を含んでいる。この制御コードＡの値が“５”であり、“学習速度と近傍距離とを設定する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、学習速度記憶部２３５Ａに記憶されている学習速度を受信した制御データに含まれる入力学習速度Ｃに更新するとともに、距離記憶部２３２Ａに記憶されている基準距離を受信した制御データに含まれる入力近傍距離Ｄに更新する。
【０２６２】
＜選択処理６＞
制御データに含まれる制御コードＡの値が“６”であり、“実数ベクトルの次元数を設定する”こと示す場合には、この制御データは、入力次元数Ｎを含んでいる。この制御コードＡの値が“６”であり、“実数ベクトルの次元数を設定する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、実数ベクトル次元数記憶部２４２Ｂに記憶されている次元数を受信した制御データに含まれる入力次元数Ｎに更新する。
【０２６３】
＜選択処理７＞
制御データに含まれる制御コードＡの値が“７”であり、“ノルムを算出する”ことを示す場合には、この制御データは、入力ベクトルＸ（Ｘ１、Ｘ２、・・・）を含んでいる。この制御コードＡの値が“７”であり、“ノルムを算出する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、入力データ記憶部２３０Ａに記憶されている入力データベクトルを入力ベクトルＸ（Ｘ１、Ｘ２、・・・）に更新する。次に、ノルム算出部２１４Ａが、該更新した入力ベクトルＸ（Ｘ１、Ｘ２、・・・）と、重み記憶部２３１Ａから読み出した結合重みベクトルとのノルムを算出し、該算出したノルムをユニットノルムとしてユニットノルム記憶部２３６Ａに記憶させる。
【０２６４】
＜選択処理８＞
制御データに含まれる制御コードＡの値が“８”であり、“ノルムを出力する”ことを示す場合には、この制御データは、入力ネットワーク座標Ｂを含んでいる。この制御コードＡの値が“８”であり、“ノルムを出力する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、入力ネットワーク座標記憶部２３３Ａに記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標Ｂに更新するとともに、比較部２１５Ｂが、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標とが一致するか否かを判定する。次に、比較部２１５Ｂの判定結果が一致する場合には、ユニット制御部２１６Ｂが、ユニットノルム記憶部２３６Ａから読み出したユニットノルムを、データ出力部２０４Ａとユニット出力バス２とを介して分配制御部８に出力する。
【０２６５】
＜選択処理９＞
制御データに含まれる制御コードＡの値が“９”であり、“学習する”ことを示す場合には、この制御データは、入力ネットワーク座標Ｂを含んでいる。この制御コードＡの値が“９”であり、“学習する”ことを示す制御データを受信した全てのユニットは、ユニット制御部２１６Ｂが、入力ネットワーク座標記憶部２３３Ａに記憶されている入力ネットワーク座標を、制御データに含まれていた入力ネットワーク座標Ｂに更新する。次に、ユニットの近傍判定部２１５Ａが、ユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標と入力ネットワーク座標記憶部２３３Ａから読み出した入力ネットワーク座標との間の距離を算出し、該算出した距離が、距離記憶部２３２Ａから読み出した距離以下であるか否かを判定することにより、ユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標が、入力ネットワーク座標記憶部２３３Ａから読み出した入力ネットワーク座標の近傍にあるか否かを判定する。次に、近傍判定部２１５Ａの判定した結果が近傍である場合には、重み更新部２１６Ａが、入力データ記憶部２３０Ａから読み出した入力データベクトルと重み記憶部２３１Ａから読み出した結合重みベクトルとの差を算出し、該算出した差に学習速度記憶部２３５Ａから読み出した学習速度係数を乗じた値を、重み記憶部２３１Ａに記憶されている結合重みベクトルに加算し、重み記憶部２３１Ａに記憶されている結合重みベクトルを更新することにより、学習する。
【０２６６】
＜選択処理１０＞
制御データに含まれる制御コードＡの値が“１０”であり、“学習結果を出力する”ことを示す場合には、この制御データは、入力ネットワーク座標Ｂを含んでいる。この制御コードＡの値が“１０”であり、“学習結果を出力する”ことを示す制御データを受信した全てのユニットは、ユニットのユニット制御部２１６Ｂが、入力ネットワーク座標記憶部２３３Ａに記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標Ｂに更新するとともに、比較部２１５Ｂが、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標とが一致するか否かを判定する。次に、比較部２１５Ｂの判定結果が一致する場合には、ユニット制御部２１６Ｂが、重み記憶部２３１Ａから読み出した結合重みベクトルを、データ出力部２０４Ａとユニット出力バス２とを介して分配制御部８に出力する。
【０２６７】
＜第４の実施形態におけるユニットの動作＞
次に、図２４を用いて、図２３で説明した制御データのプロトコルを受信した場合の、ユニットの動作、特に、ユニットのユニット制御部２１６Ｂの動作について説明する。なお、説明の簡略のために、以降においては制御コードＡの値を用いて説明する。この制御コードＡの値の意味は、上記に図２３の説明と同様である。
【０２６８】
まず、ユニットは、データ入力部２０１Ａに制御データが入力されたことに応じて、処理を開始する（ステップＳ２４０１）。次に、ファンクション番号抽出部２５０Ｂが、データ入力部２０１Ａに入力された制御データから、制御コードを抽出し、抽出した制御コードをファンクション番号記憶部２５１Ｂに記憶させる。
【０２６９】
また、オペランド抽出部２５２Ｂが、データ入力部２０１Ａに入力された制御データから、オペランドである制御コード以外の情報を汎用バッファー記憶部２５３Ｂに記憶させる。
【０２７０】
次に、ユニット制御部２１６Ｂが、ファンクション番号抽出部２５０Ｂが制御コードを抽出したことに応じて、ファンクション番号記憶部２５１Ｂから読み出した制御コードの値に基づいて、以降に説明するステップＳ２４０２からステップＳ２４１２により、ユニットにおける処理を選択的に実行する（ステップＳ２４０２）。
【０２７１】
ステップＳ２４０２で、読み出した制御コードの値が“４”である場合には、比較部２１５Ｂが、ユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標と入力ネットワーク座標記憶部２３３Ａから読み出した入力ネットワーク座標とが一致するか否かを判定する（ステップＳ２４０３）。ステップＳ２４０３の判定結果が、選択ユニット番号と固有ユニット番号とが一致する場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理４を実行し（ステップＳ２４０４）、処理を終了する。一方、ステップ２４０３の判定結果が、選択ユニット番号と固有ユニット番号とが一致しない場合には、処理を終了する。
【０２７２】
一方、ステップＳ２４０２で、読み出した制御コードの値が“５”である場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理５を実行し（ステップＳ２４０５）、処理を終了する。一方、ステップＳ２４０２で、読み出した制御コードの値が“６”である場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理６を実行し（ステップＳ２４０６）、処理を終了する。一方、ステップＳ２４０３で、読み出した制御コードの値が“７”である場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理７を実行し（ステップＳ２４０７）、処理を終了する。
【０２７３】
一方、ステップＳ２４０２で、読み出した制御コードの値が“８”である場合には、比較部２１５Ｂが、ユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標と入力ネットワーク座標記憶部２３３Ａから読み出した入力ネットワーク座標とが一致するか否かを判定する（ステップＳ２４０８）。ステップＳ２４０８の判定結果が、選択ユニット番号と固有ユニット番号とが一致する場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理８を実行し（ステップＳ２４０９）、処理を終了する。一方、ステップ２４０８の判定結果が、選択ユニット番号と固有ユニット番号とが一致しない場合には、処理を終了する。
【０２７４】
一方、ステップＳ２４０２で、読み出した制御コードの値が“９”である場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理９を実行し（ステップＳ２４１０）、処理を終了する。
【０２７５】
一方、ステップＳ２４０２で、読み出した制御コードの値が“１０”である場合には、比較部２１５Ｂが、ユニットネットワーク座標記憶部２３４Ａから読み出したユニットネットワーク座標と入力ネットワーク座標記憶部２３３Ａから読み出した入力ネットワーク座標とが一致するか否かを判定する（ステップＳ２４１１）。ステップＳ２４１１の判定結果が、選択ユニット番号と固有ユニット番号とが一致する場合には、ユニット制御部２１６Ｂは、上記に説明した選択処理１０を実行し（ステップＳ２４１２）、処理を終了する。一方、ステップ２４１１の判定結果が、選択ユニット番号と固有ユニット番号とが一致しない場合には、処理を終了する。
【０２７６】
上記に図２４を用いて説明したように、各ユニットは、ユニットのユニット制御部２１６Ｂにより、入力された入力データに含まれる制御コードの値に基づいて、選択的に予め定められた処理を実行する。
【０２７７】
＜第４の実施形態における分配制御部８の動作＞
次に、図２５と図２６とを用いて、第２の基本構成による並列演算装置を自己組織化マップに適応した場合の、並列演算装置の動作について説明する。なお、並列演算装置は分配制御部８と複数のユニットを有するが、分配制御部８が出力した制御データに含まれる制御コードの値に応じた各ユニットの動作については、図２２から図２４を用いて既に説明したので、ここでは、分配制御部８の動作のみについて説明する。
【０２７８】
まず、図２５（ａ）を用いて、自己組織化マップに適応した場合における並列演算装置の分配制御部８の動作について説明する。まず、各ユニットの初期設定をする（ステップＳ２５０１）。この初期設定については、後に図２５（ｂ）を用いて詳述する。
【０２７９】
次に、学習回数変数ｔ＝０、１、２、・・・・Ｔについて、競合学習（ステップＳ２５０３）を繰り返す（ステップＬ２５０２からステップＬ２５０４の学習ループ処理）。ここで、このＴは、競合学習の学習回数である。また、このステップＳ２５０２の競合学習については、後に図２６（a）を用いて詳述する。
【０２８０】
次に、学習した結果を出力する（ステップＳ２５０５）。この出力については、後に図２６（ｃ）を用いて詳述する。
【０２８１】
次に、図２５（ｂ）と、図２６（ａ）から図２６（ｃ）とを用いて、図２５（ａ）の各処理について詳細に説明する。なお、ここでは、図２５（ｂ）と、図２６（ａ）から図２６（ｃ）との処理を、図２０（ａ）の各処理についての関数またはサブルーチンとして説明する。
【０２８２】
最初に、図２５（ｂ）を用いて、図２５（ａ）のステップＳ２５０１の初期設定の処理について説明する。まず、パターン入力ｎを外部から入力する（ステップＳ２５０１０１）。次に、制御コードＡの値を“６”、出力値Ｄの値を入力されたパターン入力ｎとした制御データを、各ユニットに出力する（ステップＳ２５０１０２）。
【０２８３】
次に、ユニットループ変数ｊ＝１、２、・・・Ｎで示されるユニットの順に、次のステップＬ２５０１０４からステップＬ２５０１０６の次元ループとＳ２５０１０７との処理を繰り返す（ステップＬ２５０１０３からステップＬ２５０１０８のユニットループ）。ここで、Ｎは、ユニットの総数の値である。
【０２８４】
このステップＬ２５０１０４からステップＬ２５０１０６の次元ループでは、入力ベクトル次元数ｉ＝１、２、・・・ｎで示される入力ベクトルの次元数の順に、次のステップＳ２５０１０５の処理を繰り返す。このステップＳ２５０１０５では、外部から入力パターンｗｊｉを入力する。ここで、ｎは、入力ベクトルの次元数である。
【０２８５】
また、このステップＳ２５０１０７の処理では、制御コードＡの値を“４”、入力ネットワーク座標Ｂの値をユニットループ変数ｊ、出力値Ｃ（Ｃ１、Ｃ２、・・・Ｃｎ）を入力パターンｗｊｉ（ｗｊ１、ｗｊ２、・・・ｗｊｎ）とした制御データを、各ユニットに出力する。
【０２８６】
上記のステップＬ２５０１０３からステップＬ２５０１０８の処理により、各ユニットに対して、それぞれのユニット内の重み記憶部２３１Ａの結合重みベクトルを初期設定する。
【０２８７】
次に、学習回数変数ｔ＝０、１、２、・・・Ｔについて、ステップＳ２５０１１０の処理を繰り返す（ステップＬ２５０１０９からステップＬ２５０１１１の入力ループ）。このステップＳ２５０１１０では、外部から学習速度η（ｔ）と近傍距離ｄ（ｔ）とを入力し、学習回数変数ｔと関連付けて入力した学習速度η（ｔ）を内部の学習速度記憶部に記憶するとともに、学習回数変数ｔと関連付けて入力した近傍距離ｄ（ｔ）を内部の近傍距離記憶部に記憶する。
次に、後に図２６（ｂ）を用いて説明する最小ノルム判定に用いるダミー変数であるノルム最小値ｄｍｉｎの値を−１に設定し（ステップＳ２５０１１２）、処理を戻す。
【０２８８】
次に、図２６（ａ）を用いて、図２５（ａ）のステップＳ２５０３の競合学習の処理について説明する。まず、制御コードＡの値を“５”、入力学習速度Ｃを内部の学習速度記憶部から読み出した学習速度η（ｔ）、入力近傍距離Ｄを内部の近傍距離記憶部から読み出した近傍距離ｄ（ｔ）とした制御データを各ユニットに出力する（ステップＳ２５０３０１）。
【０２８９】
次に、次元ループ変数ｉ＝１、２、・・・ｎについて、次のステップＳ２５０３０３の処理を繰り返す（ステップＬ２５０３０２からステップＬ２５０３０４の次元ループ）。このステップＳ２５０３０３では、外部からパターン入力ｘｉを入力する。
【０２９０】
次に、制御コードＡの値を“７”、入力ベクトルＣ（Ｃ１、Ｃ２、・・・Ｃｎ）をステップＬ２５０３０２からステップＬ２５０３０４で外部から入力したパターン入力ｘ（ｘ１、ｘ２、・・・ｘｎ）とした制御データを各ユニットに出力する（ステップＳ２５０３０５）。
【０２９１】
次に、ユニットループ数変ｊ＝１、２、・・・Ｎについて、次のステップＳ２５０３０７とステップＳ２５０３０８とステップＳ２５０３０９との処理を繰り返す（ステップＬ２５０３０６からステップＬ２５０３１０のユニットループ）。このステップＳ２５０３０７では、制御コードＡの値を“８”、入力ネットワーク座標Ｂの値をユニットループ変数ｊ、とした制御データを各ユニットに出力する。また、このステップＳ２５０３０８では、ステップＳ２５０３０７で制御コードＡの値を“８”、入力ネットワーク座標Ｂの値をユニットループ数変ｊ、とした制御データに対して、ユニットネットワーク座標が入力ネットワーク座標Ｂであるユニットループ数変ｊに一致するユニットからのノルムの出力を、ノルムｄｎとして入力する。
【０２９２】
また、このステップＳ２５０３０９では、ステップＳ２５０３０８で入力したノルムｄｎに基づいて、最小ノルム判定の処理を実行する。このステップＳ２５０３０９における最小ノルム判定の処理については、後に、図２６（ｂ）を用いて詳細に説明する。
【０２９３】
上記のステップＬ２５０３０６からステップＬ２５０３１０の処理により、各ユニットで算出されたノルムを全てのユニットから順に入力し、ステップＳ２５０３０９の処理にて入力したノルムを順に比較することにより、全てのユニットからのノルムの出力の中から最小となるノルムと、該最小となるノルムを出力したユニットを識別する識別情報であるユニットネットワーク座標をノルム最小ユニットネットワーク座標ｊｍｉｎとして選択する。
【０２９４】
次に、制御コードＡの値を“９”、入力ネットワーク座標Ｂの値をノルム最小ユニットネットワーク座標ｊｍｉｎ、とした制御データを各ユニットに出力する。これにより、各ユニットは、入力されたノルム最小ユニットネットワーク座標ｊｍｉｎに基づいて、近傍となるユニットが学習をする。
【０２９５】
次に、図２６（ｂ）を用いて、図２６（ａ）のステップＳ２５０３０９の最小ノルム判定の処理について説明する。
まず、ステップＳ２５０３０８で入力したノルムｄｎがノルム最小値ｄｍｉｎより小さいか否か、または、ノルム最小値ｄｍｉｎの値が−1であるか否かを判定する（ステップＳ２５０３０９１）。ステップＳ２５０３０９１で判定した結果が、入力したノルムｄｎがノルム最小値ｄｍｉｎより小さい場合、または、ノルム最小値ｄｍｉｎの値が−1である場合には、ノルム最小値ｄｍｉｎを入力したノルムｄｎとするともに、ノルム最小ユニットネットワーク座標ｊｍｉｎをユニットループ変数ｊとし（ステップＳ２５０３０９２）、処理を戻す。
【０２９６】
一方、ステップＳ２５０３０９１で判定した結果が、入力したノルムｄｎがノルム最小値ｄｍｉｎより小さくない場合であって、かつ、ノルム最小値ｄｍｉｎの値が−1でない場合には、処理を戻す。
【０２９７】
次に、図２６（ｃ）を用いて、図２５（ａ）のステップＳ２５０５の出力の処理について説明する。まず、ユニットループ変数ｊ＝０、１、２、・・・Ｎについて、次のステップＳ２５０５０２の処理とステップＬ２５０５０３からステップＬ２５０５０６の次元ループの処理とを繰り返す（ステップＬ２５０５０１からステップＬ２５０５０７のユニットループ）。
【０２９８】
このステップＳ２５０５０２では、制御コードＡの値を“１０”、入力ネットワーク座標Ｂの値をユニットループ変数ｊ、とした制御データを各ユニットに出力する。
【０２９９】
また、このステップＬ２５０５０３からステップＬ２５０５０６の次元ループの処理では、次元ループ変数ｉ＝１、２、・・・ｎについて、次のステップＳ２５０５０４とステップＳ２５０５０５との処理を繰り返す。このステップＳ２５０５０４では、ステップＳ２５０５０２で出力した制御データに応じたユニットからの出力である結合重みベクトルを、結合重みベクトルｗｊｉとして入力する。次に、このステップＳ２５０５０５では、ステップＳ２５０５０４でユニットから入力した結合重みベクトルｗｊｉを外部に出力する。
【０３００】
以上の、ステップＬ２５０５０１からステップＬ２５０５０７の処理により、まず、各ユニットから順に結合重みベクトルを出力させ（ステップＳ２５０５０２）、次に、ステップＳ２５０５０２に応じて各ユニットが順に出力した結合重みベクトルを順に入力する（ステップＳ２５０５０４）。次に、ステップＳ２５０５０４で各ユニットから順に入力した結合重みベクトルを、順に外部に自己組織化マップの演算結果として出力する（ステップＳ２５０５０５）。
【０３０１】
以上の図２２から図２６を用いて説明した第２の基本構成による自己組織化マップに適応した場合の並列演算装置は、第１の基本構成による自己組織化マップに適応した場合の並列演算装置と同様に、自己組織化マップの演算を実行し、実行した結果を外部に出力することが可能である。
【０３０２】
また、第２の基本構成による自己組織化マップに適応した場合の並列演算装置は、第１の基本構成による自己組織化マップに適応した場合の並列演算装置と比較して、その構成が簡易であるという効果がある。また、入力ベクトルの次元数や学習速度や近傍距離の変更など、自己組織化マップにおける様々な変数の値の設計変更が容易であるという効果がある。
【０３０３】
＜分離構成＞
次に、図２７を用いて、図１４の第２の基本構成による並列演算装置において、各ユニットと分配制御装置８とを、分離構成とした場合の並列演算装置の構成について説明する。
【０３０４】
この図２７の並列演算装置は、図１４の並列演算装置に対して、互いに接続可能な接続部９Ａと接続部９Ｂとを有する。この接続部９Ａと接続部９Ｂとを介して、ユニットＡＵ１からユニットＡＵ１０の全てのユニットと分配制御装置８とは、ユニット出力バス２とユニット入力バス３とにより接続される。例えば、この接続部９Ａと接続部９Ｂとは、互いに嵌合する部材であることが望ましい。
【０３０５】
また、図２７に示すように、互いに接続可能な接続部９Ａと接続部９Ｂとにより、ユニットＡＵ１からユニットＡＵ１０の全てのユニットと接続部９Ｂとを１つの装置（装置Ｂ）とし、分配制御装置８と接続部９Ａとを１つの装置（装置Ａ）とする。
【０３０６】
この場合、例えば、この接続部９Ａと接続部９Ｂとは、ＵＳＢ（Universal Serial Bus）（登録商標）コネクタのメスとオスとし、また、装置ＢをＵＳＢ機器とし、装置Ａをパーソナルコンピュータとしてもよい。以上のように、ユニットと分配制御装置８とを別の装置として構成し、分配制御装置８をパーソナルコンピュータとすることにより、並列演算装置全体の構成がより簡易となり、安価に製造可能となる。
【０３０７】
また、分配制御装置８をパーソナルコンピュータとすることにより、予め定められた制御の手順などを、コンピュータプログラミングすることにより、より簡易に制御の手順が作成可能となる。また、分配制御装置８であるパーソナルコンピュータは、入力手段としてのキーボードや、表示手段または出力手段としてのモニタも有しているため、よりユーザが簡易に並列演算装置を用いることが可能となる。
【０３０８】
なお、接続部９Ａと接続部９ＢとはＵＳＢコネクタに限られるものではなく、他の規格のコネクタでもよいし、または、通信ネットワークのコネクタであってもよい。通信ネットワークのコネクタの場合には、ユニットＡＵ１からユニットＡＵ１０と配制御装置８との間の接続は、接続部９Ａと接続部９Ｂとを介した通信プロトコルを用いた通信接続であってもよいし、接続部９Ａと接続部９Ｂとが、通信プロトコルを制御するようにしてもよい。
【０３０９】
また、装置Ｂを拡張基盤装置として構成し、この拡張基盤装置を、パーソナルコンピュータである分配制御装置８の拡張スロットに接続するようにしてもよい。例えば、拡張基盤装置として構成された装置Ｂが、例えば、ＰＣＩ（Peripheral Component Interconnect）規格またはＰＣＩ−Ｅｘｐｒｅｓｓ規格のバスに準じたボードであってもよい。また、この場合には、装置Ａであるパーソナルコンピュータは、接続部９Ａとして、例えば、ＰＣＩ規格またはＰＣＩ−Ｅｘｐｒｅｓｓ規格に準じた拡張スロットを有するようにしてもよい。
【０３１０】
なお、上記実施形態の各図で示した構成である記憶部のそれぞれは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＲ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
なお、図２の図１５のユニット算出部、または、図１６の分配制御部８は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【０３１１】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【０３１２】
【図１】この発明の一実施形態による並列演算装置の構成を示すブロック図である。
【図２】この発明の一実施形態による並列演算装置のユニットの構成を示すブロック図である。
【図３】階層型ニューラルネットワークにおける図２のユニットの構成を示すブロック図である。
【図４】図３のユニットの動作を示す第１のフローチャート図である。
【図５】図３のユニットの動作を示す第２のフローチャート図である。
【図６】ニューラルネットワークを説明する説明図である。
【図７】自己組織化マップにおける図２のユニットの構成を示す第１のブロック図である。
【図８】自己組織化マップにおける図２のユニットの構成を示す第２のブロック図である。
【図９】自己組織化マップにおけるデータ構造を示す説明図である。
【図１０】図７および図８のユニットの動作を示す第１のフローチャート図である。
【図１１】図７および図８のユニットの動作を示す第２のフローチャート図である。
【図１２】冗長回路を有した並列演算装置の構成を示すブロック図である。
【図１３】図１２のユニットの構成を示すブロック図である。
【図１４】第２の基本構成による並列演算装置の構成を示すブロック図である。
【図１５】図１４のユニットの構成を示すブロック図である。
【図１６】図１４の分配制御部８の構成を示すブロック図である。
【図１７】階層型ニューラルネットワークにおける図１４のユニットの構成を示すブロック図である。
【図１８】図１４の階層型ニューラルネットワークにおけるプロトコル表である。
【図１９】図１４の各ユニットの動作を説明するフローチャートである。
【図２０】図１４の分配制御部８の動作を説明するフローチャートその１である。
【図２１】図１４の分配制御部８の動作を説明するフローチャートその２である。
【図２２】自己組織化マップにおける図１４のユニットの構成を示すブロック図である。
【図２３】図２２の自己組織化マップにおけるプロトコル表である。
【図２４】図２２の各ユニットの動作を説明するフローチャートである。
【図２５】図２２の分配制御部８の動作を説明するフローチャートその１である。
【図２６】図２２の分配制御部８の動作を説明するフローチャートその２である。
【図２７】図１４の並列演算装置を分離構成とした場合の並列演算装置の構成を示すブロック図である。
【符号の説明】
【０３１３】
１ デイジーチェーン制御バス
２ ユニット出力バス
３ ユニット入力バス
４ 増幅器
５ トリガ入力線
６ 第１の冗長デイジーチェーン制御バス
７ 第２の冗長デイジーチェーン制御バス
１１、１０１、２０１、１１Ａ、１０１Ａ、２０１Ａ データ入力部
１２、Ａ１２、Ｂ１２、１０２、２０２ トークン入力部
１３、Ａ１３、Ｂ１３、１０３、２０３ トークン出力部
１４、１０４、２０４、１４Ａ、１０４Ａ、２０４Ａ データ出力部
１６、１６Ａ ユニット出力記憶部
１７ トークン出力部選択部
１８ トークン選択情報記憶部
３３ 制御データ出力部
１０１Ａ、２０１Ａ データ入力部
１０４Ａ、２０４Ａ データ出力部
１５０Ｂ、２５０Ｂ ファンクション番号抽出部
１５１Ｂ、２５１Ｂ ファンクション番号記憶部
１５２Ｂ、２５２Ｂ オペランド抽出部
１５３Ｂ、２５３Ｂ 汎用バッファー記憶部
１１１、１１１Ａ 積和計算一次値算出部
１１２、１１２Ａ ユニット出力算出部
１１３ 層情報算出部
１１４ カウンタ
１３０、２３１、２３１Ａ 重み記憶部
１３１ 積和計算一次値記憶部
１３２ 関数記憶部
１３３ 層情報記憶部
１３４ ユニット数記憶部
１３５、１３５Ａ ユニット出力記憶部
１３６ データ出力フラグ記憶部
１３７ ユニット識別情報記憶部
１３８Ｂ 前段ユニット出力記憶部
２１０ データ抽出部
２１１ ネットワーク座標抽出部
２１２ ノルム抽出部
２１３ カウンタ
２１４、２１４Ａ ノルム算出部
２１５、２１５Ａ 近傍判定部
２１６、２１６Ａ 重み更新部
２１７ ノルム比較部
２１８ 入力ノルム判定部
２１９ ネットワーク座標選択部
２２０ ノルム選択部
２２１ データ合成出力部
２２２ データ入力判定部
２２３ トークン出力フラグ判定部
２３０、２３０Ａ 入力データ記憶部
２３２、２３２Ａ 距離記憶部
２３３、２３３Ａ 入力ネットワーク座標記憶部
２３４、２３４Ａ ユニットネットワーク座標記憶部
２３５、２３５Ａ 学習速度記憶部
２３６、２３６Ａ ユニットノルム記憶部
２３７ 入力ノルム記憶部
２３８ トークン出力フラグ記憶部
２５０ 入力ノルム部
２５１ 選択出力部
Ｌ１ 入力層
Ｌ２ 隠れ層
Ｌ３ 出力層
Ｐ１ 出力端子
Ｐ２ 入力端子
Ｐ３ トリガ入力端子
Ｕ１、Ｕ２、Ｕ３、Ｕ４、Ｕ５、Ｕ６、Ｕ７、Ｕ８、Ｕ９、Ｕ１０、ＡＵ１、ＡＵ２、ＡＵ３、ＡＵ４、ＡＵ５、ＡＵ６、ＡＵ７、ＡＵ８、ＡＵ９、ＡＵ１０ ユニット
【特許請求の範囲】
【請求項１】
並列演算装置が、
予め定められた識別番号である固有ユニット番号によりそれぞれが識別される複数のユニットと、
前記複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バスを介して入力されたことに応じて、該入力された入力値と前記複数のユニットの中から選択したいずれか１つのユニットを選択する識別番号である選択ユニット番号とを含む制御データを、前記複数のユニットのそれぞれにユニット入力バスを介して出力する分配制御部と、
を有し、
前記ユニットが、
前記ユニット入力バスを介して前記分配制御部からの制御データを入力するデータ入力部と、
前記データ入力部に入力された制御データに含まれる選択ユニット番号と、前記固有ユニット番号とが一致するか否かを判定するユニット番号一致判定部と、
前記データ入力部に入力された制御データに含まれる入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算するユニット演算部と、
前記ユニット番号一致判定部が判定した結果が一致である場合には、前記ユニット演算部が演算した結果である演算結果を前記出力値として、前記分配制御部に前記ユニット出力バスを介して出力するデータ出力部と、
を有することを特徴とする並列演算装置。
【請求項２】
前記分配制御部は、
前記制御データに、前記ユニット演算部の演算方法を選択するための制御コードを含めており、
前記ユニットが、
前記データ入力部に入力された制御データから前記制御コードを抽出する制御コード抽出部を有し、
前記ユニット演算部が、
前記制御コード抽出部が抽出した制御データと前記ユニット番号一致判定部が判定した結果とに基づいて前記演算を実行する、または、前記演算を実行させるユニット制御部を有する、
ことを特徴とする請求項１に記載の並列演算装置。
【請求項３】
前記分配制御部が、
前記ユニット出力バスを介して前記複数のユニットの中のいずれか１つのユニットが出力する出力値を入力するユニット出力値入力部と、
前記ユニット出力値入力部に入力された出力値に基づいて、予め定められた処理手順により前記制御データを生成する制御データ生成部と、
前記制御データ生成部が生成した制御データを前記複数のユニットのそれぞれに前記ユニット入力バスを介して出力する制御データ出力部と、
を有することを特徴とする請求項１または請求項２に記載の並列演算装置。
【請求項４】
前記ユニットが、
前記演算結果が記憶されるユニット出力記憶部を有し、
前記ユニット演算部が、
前記演算結果を前記ユニット出力記憶部に記憶させ、
前記データ出力部が、
前記ユニット番号一致判定部が判定した結果が一致である場合には、前記演算結果を前記ユニット出力記憶部から読み出し、該読み出した演算結果を前記出力値として前記分配制御部に前記ユニット出力バスを介して出力する、
ことを特徴とする請求項１から請求項３に記載の並列演算装置。
【請求項５】
前記ユニットが、
前記固有ユニット番号が予め記憶されている固有ユニット番号記憶部と、
前記データ入力部に入力された制御データから前記選択ユニット番号を抽出する選択ユニット番号抽出部と、
前記データ入力部に入力された制御データから前記入力値を抽出する入力値抽出部と、
を有し、
前記ユニット番号一致判定部は、
前記選択ユニット番号抽出部が抽出した選択ユニット番号と、前記固有ユニット番号記憶部から読み出した固有ユニット番号とが一致するか否かを判定し、
前記ユニット演算部は、
前記入力値抽出部が抽出した入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算する、
ことを特徴とする請求項１から請求項４に記載の並列演算装置。
【請求項６】
前記並列演算装置が階層型ニューラルネットワークを演算する並列演算装置である場合には、
前記ユニット演算部が、
前記階層型ニューラルネットワークの階層のうち、出力する層を識別する層情報が記憶されている層情報記憶部と、
前記ユニットの出力関数と前記層情報とが関連付けて予め記憶されている関数記憶部と、
前記層情報で識別される出力層のユニットからの出力値に乗ずる予め定められた結合荷重と、前記層情報とが関連付けて記憶されている重み記憶部と、
前記出力ユニットからの入力値と結合荷重とを乗じた積和計算一次値情報が記憶される積和計算一次値記憶部と、
前記ユニット制御部の選択に応じて、前記層情報記憶部から読み出した層情報に該当する結合荷重を前記重み記憶部から読み出し、該読み出した結合荷重と、前記データ入力部に入力された入力値とを乗算し、該乗算した値を前記積和計算一次値記憶部に記憶されている積和計算一次値情報に加算して記憶させる積和計算一次値算出部と、
前記ユニット制御部の選択に応じて、前記積和計算一次値記憶部から積和計算一次値情報を読み出し、前記層情報記憶部から読み出した層情報に該当する出力関数を前記関数記憶部から読み出し、該読み出した出力関数に前記読み出した積和計算一次値情報を代入することにより出力値を算出し、該算出した出力値を前記ユニット出力記憶部に記憶させるユニット出力算出部と、
を有することを特徴とする請求項４または請求項５に記載の並列演算装置。
【請求項７】
前記ユニット演算部が、前記出力層に属しているユニットのうち、いずれのユニットが出力ユニットとして出力しているかを示す配信ユニット識別情報が記憶されている前段ユニット番号記憶部、を有し、
前記重み記憶部には、前記層情報と前記配信ユニット識別情報とで識別される前記出力層のユニットからの出力値に乗ずる予め定められた結合荷重と、前記層情報と前記配信ユニット識別情報とが、関連付けて記憶されており、
前記積和計算一次値算出部が、前記前段ユニット番号記憶部から読み出した配信ユニット識別情報と前記層情報記憶部から読み出した層情報とに該当する結合荷重を前記重み記憶部から読み出し、該読み出した結合荷重と、前記データ入力部に入力された入力値とを乗算し、該乗算した値を前記積和計算一次値記憶部に記憶されている積和計算一次値情報に加算して記憶させる、
ことを特徴とする請求項６に記載の並列演算装置。
【請求項８】
前記データ入力部に入力された制御データに含まれる制御コードが、積和計算一次値を初期化することを示す場合には、
前記ユニット制御部が、
前記積和計算一次値記憶部に記憶されている積和計算一次値情報を０に初期化する、
ことを特徴とする請求項６または請求項７に記載の並列演算装置。
【請求項９】
前記データ入力部に入力された制御データに含まれる制御コードが、積和計算一次値を算出し加算格納することを示し、該制御データが出力値と該出力値を出力しているユニットのユニット識別情報である配信ユニット識別情報とを含む場合には、
前記ユニット制御部が、
前記配信ユニット識別情報を前記前段ユニット番号記憶部に記憶し、
前記出力値に基づいて前記積和計算一次値算出部の処理を実行させる、
ことを特徴とする請求項６から請求項８に記載の並列演算装置。
【請求項１０】
前記データ入力部に入力された制御データに含まれる制御コードがユニット出力演算を実行することを示す場合には、
前記ユニット制御部が、
前記ユニット出力算出部の処理を実行させる、
ことを特徴とする請求項６から請求項９に記載の並列演算装置。
【請求項１１】
前記データ入力部に入力された制御データに含まれる制御コードがアクティブなユニットとして出力値を出力することを示し、該制御データが選択ユニット番号を含む場合には、
前記ユニット制御部が、
前記ユニット番号一致判定部が判定した結果が一致である場合には、前記演算結果を前記ユニット出力記憶部から読み出し、該読み出した演算結果を前記出力値として前記分配制御部に前記データ出力部と前記ユニット出力バスとを介して出力する、
ことを特徴とする請求項６から請求項１０に記載の並列演算装置。
【請求項１２】
前記データ入力部に入力された制御データが配信層情報を含む場合には、
前記ユニット制御部が、
前記データ入力部に入力された制御データに含められた配信層情報を前記層情報記憶部に記憶する、
ことを特徴とする請求項６から請求項１１に記載の並列演算装置。
【請求項１３】
前記分配制御部が、
前記積和計算一次値を初期化することを示す制御コード、前記出力値と前記配信ユニット識別情報とを含み、前記積和計算一次値を算出し加算格納することを示す制御コード、前記ユニット出力演算を実行することを示す制御コード、前記アクティブなユニットとして出力値を出力することを示す制御コード、または、前記配信層情報を含む制御データを含む制御データを、前記階層型ニューラルネットワークの階層数と該階層のノード数とに合わせて予め定められた順序で出力する、
ことを特徴とする請求項６から請求項１２に記載の並列演算装置。
【請求項１４】
前記並列演算装置が自己組織化マップを演算する並列演算装置である場合には、前記固有ユニット番号にかわってユニットのネットワーク座標であるユニットネットワーク座標により前記複数のユニットのそれぞれが識別されており、
前記ユニット演算部が、
前記ユニットネットワーク座標が予め記憶されているユニットネットワーク座標記憶部と、
前記ユニットの結合重みベクトルが記憶されている重み記憶部と、
前記ユニットのノルムであるユニットノルムを記憶するユニットノルム記憶部と、
ノルムを算出することを示す制御コードと入力ベクトルとを含む制御データを前記ユニット制御部から前記データ入力部に入力した場合には、前記データ入力部に入力された入力データベクトルと、前記重み記憶部から読み出した結合重みベクトルとのノルムを算出し、該算出したノルムを前記ユニットノルムとして前記ユニットノルム記憶部に記憶させるノルム算出部と、
を有し、
ノルムを出力することを示す制御コードと入力ネットワーク座標とを含む制御データを前記ユニット制御部から前記データ入力部に入力した場合には、
前記ユニット制御部が、
該入力された入力ネットワーク座標と前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致する場合には、前記ユニットノルム記憶部から読み出したユニットノルムを前記データ出力部を介して出力する、
ことを特徴とする請求項４または請求項５に記載の並列演算装置。
【請求項１５】
前記データ入力部に入力された制御データに含まれる制御コードが重みを設定することを示し、入力ネットワーク座標と入力結合重みベクトルとを含んでいる場合には、
前記ユニット制御部が、入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、
前記ユニット番号一致判定部が、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、
前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、重み記憶部に記憶されている結合重みベクトルを、受信した制御データに含まれる入力結合重みベクトルに更新する、
ことを特徴とする請求項１４に記載の並列演算装置。
【請求項１６】
前記データ入力部に入力された制御データに含まれる制御コードが学習速度と近傍距離とを設定することを示し、入力学習速度と入力近傍距離とを含んでいる場合には、
前記ユニット制御部が、学習速度記憶部に記憶されている学習速度を受信した制御データに含まれる入力学習速度に更新するとともに、距離記憶部に記憶されている基準距離を受信した制御データに含まれる入力近傍距離に更新する、
ことを特徴とする請求項１４または請求項１５に記載の並列演算装置。
【請求項１７】
前記データ入力部に入力された制御データに含まれる制御コードが実数ベクトルの次元数を設定すること示し、入力次元数Ｎを含んでいる場合には、
前記ユニット制御部が、実数ベクトル次元数記憶部に記憶されている次元数を受信した制御データに含まれる入力次元数に更新する、
ことを特徴とする請求項１４から請求項１６に記載の並列演算装置。
【請求項１８】
前記データ入力部に入力された制御データに含まれる制御コードがノルムを算出することを示し、入力ベクトルを含んでいる場合には、
前記ユニット制御部が、入力データ記憶部に記憶されている入力データベクトルを入力ベクトルに更新し、
前記ノルム算出部が、該更新した入力ベクトルと重み記憶部から読み出した結合重みベクトルとのノルムを算出し、該算出したノルムをユニットノルムとしてユニットノルム記憶部に記憶させる、
ことを特徴とする請求項１４から請求項１７に記載の並列演算装置。
【請求項１９】
前記データ入力部に入力された制御データに含まれる制御コードがノルムを出力することを示し、入力ネットワーク座標を含んでいる場合には
前記ユニット制御部が、入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、
前記ユニット番号一致判定部が、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、
前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、前記ユニットノルム記憶部から読み出したユニットノルムを前記データ出力部と前記ユニット出力バスとを介して前記分配制御部に出力する、
ことを特徴とする請求項１４から請求項１８に記載の並列演算装置。
【請求項２０】
前記データ入力部に入力された制御データに含まれる制御コードが学習することを示し、入力ネットワーク座標を含んでいる場合には、
前記ユニット制御部が、前記入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標を、前記制御データに含まれていた入力ネットワーク座標に更新し、
前記演算部が、
前記データ入力部に入力された制御データに含まれる制御コードが学習することを示す場合には、前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標と前記入力ネットワーク座標記憶部から読み出した入力ネットワーク座標との間の距離を算出し、該算出した距離が、前記距離記憶部から読み出した距離以下であるか否かを判定することにより、ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標が、入力ネットワーク座標記憶部から読み出した入力ネットワーク座標の近傍にあるか否かを判定する近傍判定部と、
前記近傍判定部の判定した結果が近傍である場合には、前記入力データ記憶部から読み出した入力データベクトルと前記重み記憶部から読み出した結合重みベクトルとの差を算出し、該算出した差に前記学習速度記憶部から読み出した学習速度係数を乗じた値を、重み記憶部に記憶されている結合重みベクトルに加算し、重み記憶部に記憶されている結合重みベクトルを更新する重み更新部と、
を有することを特徴とする請求項１４から請求項１９に記載の並列演算装置。
【請求項２１】
前記データ入力部に入力された制御データに含まれる制御コードが学習結果を出力することを示し、入力ネットワーク座標を含んでいる場合には、
前記ユニット制御部が、前記入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、
前記ユニット番号一致判定部が、該更新した入力ネットワーク座標と前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、
前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、前記重み記憶部から読み出した結合重みベクトルを、データ出力部と前記ユニット出力バスとを介して前記分配制御部に出力する、
ことを特徴とする請求項１４から請求項２０に記載の並列演算装置。
【請求項２２】
前記分配制御部が、
前記重みを設定することを示す制御コード、前記学習速度と近傍距離とを設定することを示す制御コード、実数ベクトルの次元数を設定すること示す制御コード、ノルムを算出することを示す制御コード、ノルムを出力することを示す制御コード、学習することを示す制御コード、または、学習結果を出力することを示す制御コードを含む制御データを、前記複数のユニットの数および学習回数に合わせて予め定められた順序で出力する、
ことを特徴とする請求項６から請求項１２に記載の並列演算装置。
【請求項２３】
前記複数のユニットと前記分配制御部とを接続する前記ユニット出力バスとユニット出力バスとが、互いに接続可能な第１の接続部と第２の接続部とにより分離し、
前記複数のユニットと前記第１の接続部とを含む第１の装置とし、
前記分配制御部と前記第２の接続部とを含む第２の装置とする、
ことを特徴とする請求項１から請求項２２に記載の並列演算装置。
【請求項２４】
予め定められた識別番号である固有ユニット番号によりそれぞれが識別される複数のユニットと、
前記複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バスを介して入力されたことに応じて、該入力された入力値と前記複数のユニットの中から選択したいずれか１つのユニットを選択する識別番号である選択ユニット番号とを含む制御データを、前記複数のユニットのそれぞれにユニット入力バスを介して出力する分配制御部と、
を有する並列演算装置で用いられる並列演算であって、
前記ユニットが、
前記ユニット入力バスを介して前記分配制御部からの制御データを入力し、
前記データ入力部に入力された制御データに含まれる選択ユニット番号と、前記固有ユニット番号とが一致するか否かを判定し、
前記入力された制御データに含まれる入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算し、
前記判定した結果が一致である場合には、前記演算した結果である演算結果を前記出力値として、前記分配制御部に前記ユニット出力バスを介して出力する、
ことを特徴とする並列演算方法。
【請求項１】
並列演算装置が、
予め定められた識別番号である固有ユニット番号によりそれぞれが識別される複数のユニットと、
前記複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バスを介して入力されたことに応じて、該入力された入力値と前記複数のユニットの中から選択したいずれか１つのユニットを選択する識別番号である選択ユニット番号とを含む制御データを、前記複数のユニットのそれぞれにユニット入力バスを介して出力する分配制御部と、
を有し、
前記ユニットが、
前記ユニット入力バスを介して前記分配制御部からの制御データを入力するデータ入力部と、
前記データ入力部に入力された制御データに含まれる選択ユニット番号と、前記固有ユニット番号とが一致するか否かを判定するユニット番号一致判定部と、
前記データ入力部に入力された制御データに含まれる入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算するユニット演算部と、
前記ユニット番号一致判定部が判定した結果が一致である場合には、前記ユニット演算部が演算した結果である演算結果を前記出力値として、前記分配制御部に前記ユニット出力バスを介して出力するデータ出力部と、
を有することを特徴とする並列演算装置。
【請求項２】
前記分配制御部は、
前記制御データに、前記ユニット演算部の演算方法を選択するための制御コードを含めており、
前記ユニットが、
前記データ入力部に入力された制御データから前記制御コードを抽出する制御コード抽出部を有し、
前記ユニット演算部が、
前記制御コード抽出部が抽出した制御データと前記ユニット番号一致判定部が判定した結果とに基づいて前記演算を実行する、または、前記演算を実行させるユニット制御部を有する、
ことを特徴とする請求項１に記載の並列演算装置。
【請求項３】
前記分配制御部が、
前記ユニット出力バスを介して前記複数のユニットの中のいずれか１つのユニットが出力する出力値を入力するユニット出力値入力部と、
前記ユニット出力値入力部に入力された出力値に基づいて、予め定められた処理手順により前記制御データを生成する制御データ生成部と、
前記制御データ生成部が生成した制御データを前記複数のユニットのそれぞれに前記ユニット入力バスを介して出力する制御データ出力部と、
を有することを特徴とする請求項１または請求項２に記載の並列演算装置。
【請求項４】
前記ユニットが、
前記演算結果が記憶されるユニット出力記憶部を有し、
前記ユニット演算部が、
前記演算結果を前記ユニット出力記憶部に記憶させ、
前記データ出力部が、
前記ユニット番号一致判定部が判定した結果が一致である場合には、前記演算結果を前記ユニット出力記憶部から読み出し、該読み出した演算結果を前記出力値として前記分配制御部に前記ユニット出力バスを介して出力する、
ことを特徴とする請求項１から請求項３に記載の並列演算装置。
【請求項５】
前記ユニットが、
前記固有ユニット番号が予め記憶されている固有ユニット番号記憶部と、
前記データ入力部に入力された制御データから前記選択ユニット番号を抽出する選択ユニット番号抽出部と、
前記データ入力部に入力された制御データから前記入力値を抽出する入力値抽出部と、
を有し、
前記ユニット番号一致判定部は、
前記選択ユニット番号抽出部が抽出した選択ユニット番号と、前記固有ユニット番号記憶部から読み出した固有ユニット番号とが一致するか否かを判定し、
前記ユニット演算部は、
前記入力値抽出部が抽出した入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算する、
ことを特徴とする請求項１から請求項４に記載の並列演算装置。
【請求項６】
前記並列演算装置が階層型ニューラルネットワークを演算する並列演算装置である場合には、
前記ユニット演算部が、
前記階層型ニューラルネットワークの階層のうち、出力する層を識別する層情報が記憶されている層情報記憶部と、
前記ユニットの出力関数と前記層情報とが関連付けて予め記憶されている関数記憶部と、
前記層情報で識別される出力層のユニットからの出力値に乗ずる予め定められた結合荷重と、前記層情報とが関連付けて記憶されている重み記憶部と、
前記出力ユニットからの入力値と結合荷重とを乗じた積和計算一次値情報が記憶される積和計算一次値記憶部と、
前記ユニット制御部の選択に応じて、前記層情報記憶部から読み出した層情報に該当する結合荷重を前記重み記憶部から読み出し、該読み出した結合荷重と、前記データ入力部に入力された入力値とを乗算し、該乗算した値を前記積和計算一次値記憶部に記憶されている積和計算一次値情報に加算して記憶させる積和計算一次値算出部と、
前記ユニット制御部の選択に応じて、前記積和計算一次値記憶部から積和計算一次値情報を読み出し、前記層情報記憶部から読み出した層情報に該当する出力関数を前記関数記憶部から読み出し、該読み出した出力関数に前記読み出した積和計算一次値情報を代入することにより出力値を算出し、該算出した出力値を前記ユニット出力記憶部に記憶させるユニット出力算出部と、
を有することを特徴とする請求項４または請求項５に記載の並列演算装置。
【請求項７】
前記ユニット演算部が、前記出力層に属しているユニットのうち、いずれのユニットが出力ユニットとして出力しているかを示す配信ユニット識別情報が記憶されている前段ユニット番号記憶部、を有し、
前記重み記憶部には、前記層情報と前記配信ユニット識別情報とで識別される前記出力層のユニットからの出力値に乗ずる予め定められた結合荷重と、前記層情報と前記配信ユニット識別情報とが、関連付けて記憶されており、
前記積和計算一次値算出部が、前記前段ユニット番号記憶部から読み出した配信ユニット識別情報と前記層情報記憶部から読み出した層情報とに該当する結合荷重を前記重み記憶部から読み出し、該読み出した結合荷重と、前記データ入力部に入力された入力値とを乗算し、該乗算した値を前記積和計算一次値記憶部に記憶されている積和計算一次値情報に加算して記憶させる、
ことを特徴とする請求項６に記載の並列演算装置。
【請求項８】
前記データ入力部に入力された制御データに含まれる制御コードが、積和計算一次値を初期化することを示す場合には、
前記ユニット制御部が、
前記積和計算一次値記憶部に記憶されている積和計算一次値情報を０に初期化する、
ことを特徴とする請求項６または請求項７に記載の並列演算装置。
【請求項９】
前記データ入力部に入力された制御データに含まれる制御コードが、積和計算一次値を算出し加算格納することを示し、該制御データが出力値と該出力値を出力しているユニットのユニット識別情報である配信ユニット識別情報とを含む場合には、
前記ユニット制御部が、
前記配信ユニット識別情報を前記前段ユニット番号記憶部に記憶し、
前記出力値に基づいて前記積和計算一次値算出部の処理を実行させる、
ことを特徴とする請求項６から請求項８に記載の並列演算装置。
【請求項１０】
前記データ入力部に入力された制御データに含まれる制御コードがユニット出力演算を実行することを示す場合には、
前記ユニット制御部が、
前記ユニット出力算出部の処理を実行させる、
ことを特徴とする請求項６から請求項９に記載の並列演算装置。
【請求項１１】
前記データ入力部に入力された制御データに含まれる制御コードがアクティブなユニットとして出力値を出力することを示し、該制御データが選択ユニット番号を含む場合には、
前記ユニット制御部が、
前記ユニット番号一致判定部が判定した結果が一致である場合には、前記演算結果を前記ユニット出力記憶部から読み出し、該読み出した演算結果を前記出力値として前記分配制御部に前記データ出力部と前記ユニット出力バスとを介して出力する、
ことを特徴とする請求項６から請求項１０に記載の並列演算装置。
【請求項１２】
前記データ入力部に入力された制御データが配信層情報を含む場合には、
前記ユニット制御部が、
前記データ入力部に入力された制御データに含められた配信層情報を前記層情報記憶部に記憶する、
ことを特徴とする請求項６から請求項１１に記載の並列演算装置。
【請求項１３】
前記分配制御部が、
前記積和計算一次値を初期化することを示す制御コード、前記出力値と前記配信ユニット識別情報とを含み、前記積和計算一次値を算出し加算格納することを示す制御コード、前記ユニット出力演算を実行することを示す制御コード、前記アクティブなユニットとして出力値を出力することを示す制御コード、または、前記配信層情報を含む制御データを含む制御データを、前記階層型ニューラルネットワークの階層数と該階層のノード数とに合わせて予め定められた順序で出力する、
ことを特徴とする請求項６から請求項１２に記載の並列演算装置。
【請求項１４】
前記並列演算装置が自己組織化マップを演算する並列演算装置である場合には、前記固有ユニット番号にかわってユニットのネットワーク座標であるユニットネットワーク座標により前記複数のユニットのそれぞれが識別されており、
前記ユニット演算部が、
前記ユニットネットワーク座標が予め記憶されているユニットネットワーク座標記憶部と、
前記ユニットの結合重みベクトルが記憶されている重み記憶部と、
前記ユニットのノルムであるユニットノルムを記憶するユニットノルム記憶部と、
ノルムを算出することを示す制御コードと入力ベクトルとを含む制御データを前記ユニット制御部から前記データ入力部に入力した場合には、前記データ入力部に入力された入力データベクトルと、前記重み記憶部から読み出した結合重みベクトルとのノルムを算出し、該算出したノルムを前記ユニットノルムとして前記ユニットノルム記憶部に記憶させるノルム算出部と、
を有し、
ノルムを出力することを示す制御コードと入力ネットワーク座標とを含む制御データを前記ユニット制御部から前記データ入力部に入力した場合には、
前記ユニット制御部が、
該入力された入力ネットワーク座標と前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致する場合には、前記ユニットノルム記憶部から読み出したユニットノルムを前記データ出力部を介して出力する、
ことを特徴とする請求項４または請求項５に記載の並列演算装置。
【請求項１５】
前記データ入力部に入力された制御データに含まれる制御コードが重みを設定することを示し、入力ネットワーク座標と入力結合重みベクトルとを含んでいる場合には、
前記ユニット制御部が、入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、
前記ユニット番号一致判定部が、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、
前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、重み記憶部に記憶されている結合重みベクトルを、受信した制御データに含まれる入力結合重みベクトルに更新する、
ことを特徴とする請求項１４に記載の並列演算装置。
【請求項１６】
前記データ入力部に入力された制御データに含まれる制御コードが学習速度と近傍距離とを設定することを示し、入力学習速度と入力近傍距離とを含んでいる場合には、
前記ユニット制御部が、学習速度記憶部に記憶されている学習速度を受信した制御データに含まれる入力学習速度に更新するとともに、距離記憶部に記憶されている基準距離を受信した制御データに含まれる入力近傍距離に更新する、
ことを特徴とする請求項１４または請求項１５に記載の並列演算装置。
【請求項１７】
前記データ入力部に入力された制御データに含まれる制御コードが実数ベクトルの次元数を設定すること示し、入力次元数Ｎを含んでいる場合には、
前記ユニット制御部が、実数ベクトル次元数記憶部に記憶されている次元数を受信した制御データに含まれる入力次元数に更新する、
ことを特徴とする請求項１４から請求項１６に記載の並列演算装置。
【請求項１８】
前記データ入力部に入力された制御データに含まれる制御コードがノルムを算出することを示し、入力ベクトルを含んでいる場合には、
前記ユニット制御部が、入力データ記憶部に記憶されている入力データベクトルを入力ベクトルに更新し、
前記ノルム算出部が、該更新した入力ベクトルと重み記憶部から読み出した結合重みベクトルとのノルムを算出し、該算出したノルムをユニットノルムとしてユニットノルム記憶部に記憶させる、
ことを特徴とする請求項１４から請求項１７に記載の並列演算装置。
【請求項１９】
前記データ入力部に入力された制御データに含まれる制御コードがノルムを出力することを示し、入力ネットワーク座標を含んでいる場合には
前記ユニット制御部が、入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、
前記ユニット番号一致判定部が、該更新した入力ネットワーク座標とユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、
前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、前記ユニットノルム記憶部から読み出したユニットノルムを前記データ出力部と前記ユニット出力バスとを介して前記分配制御部に出力する、
ことを特徴とする請求項１４から請求項１８に記載の並列演算装置。
【請求項２０】
前記データ入力部に入力された制御データに含まれる制御コードが学習することを示し、入力ネットワーク座標を含んでいる場合には、
前記ユニット制御部が、前記入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標を、前記制御データに含まれていた入力ネットワーク座標に更新し、
前記演算部が、
前記データ入力部に入力された制御データに含まれる制御コードが学習することを示す場合には、前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標と前記入力ネットワーク座標記憶部から読み出した入力ネットワーク座標との間の距離を算出し、該算出した距離が、前記距離記憶部から読み出した距離以下であるか否かを判定することにより、ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標が、入力ネットワーク座標記憶部から読み出した入力ネットワーク座標の近傍にあるか否かを判定する近傍判定部と、
前記近傍判定部の判定した結果が近傍である場合には、前記入力データ記憶部から読み出した入力データベクトルと前記重み記憶部から読み出した結合重みベクトルとの差を算出し、該算出した差に前記学習速度記憶部から読み出した学習速度係数を乗じた値を、重み記憶部に記憶されている結合重みベクトルに加算し、重み記憶部に記憶されている結合重みベクトルを更新する重み更新部と、
を有することを特徴とする請求項１４から請求項１９に記載の並列演算装置。
【請求項２１】
前記データ入力部に入力された制御データに含まれる制御コードが学習結果を出力することを示し、入力ネットワーク座標を含んでいる場合には、
前記ユニット制御部が、前記入力ネットワーク座標記憶部に記憶されている入力ネットワーク座標の値を、受信した制御データに含まれる入力ネットワーク座標に更新し、
前記ユニット番号一致判定部が、該更新した入力ネットワーク座標と前記ユニットネットワーク座標記憶部から読み出したユニットネットワーク座標とが一致するか否かを判定し、
前記ユニット番号一致判定部の判定結果が一致する場合には、前記ユニット制御部が、前記重み記憶部から読み出した結合重みベクトルを、データ出力部と前記ユニット出力バスとを介して前記分配制御部に出力する、
ことを特徴とする請求項１４から請求項２０に記載の並列演算装置。
【請求項２２】
前記分配制御部が、
前記重みを設定することを示す制御コード、前記学習速度と近傍距離とを設定することを示す制御コード、実数ベクトルの次元数を設定すること示す制御コード、ノルムを算出することを示す制御コード、ノルムを出力することを示す制御コード、学習することを示す制御コード、または、学習結果を出力することを示す制御コードを含む制御データを、前記複数のユニットの数および学習回数に合わせて予め定められた順序で出力する、
ことを特徴とする請求項６から請求項１２に記載の並列演算装置。
【請求項２３】
前記複数のユニットと前記分配制御部とを接続する前記ユニット出力バスとユニット出力バスとが、互いに接続可能な第１の接続部と第２の接続部とにより分離し、
前記複数のユニットと前記第１の接続部とを含む第１の装置とし、
前記分配制御部と前記第２の接続部とを含む第２の装置とする、
ことを特徴とする請求項１から請求項２２に記載の並列演算装置。
【請求項２４】
予め定められた識別番号である固有ユニット番号によりそれぞれが識別される複数のユニットと、
前記複数のユニットの中のいずれか１つのユニットが出力する出力値がユニット出力バスを介して入力されたことに応じて、該入力された入力値と前記複数のユニットの中から選択したいずれか１つのユニットを選択する識別番号である選択ユニット番号とを含む制御データを、前記複数のユニットのそれぞれにユニット入力バスを介して出力する分配制御部と、
を有する並列演算装置で用いられる並列演算であって、
前記ユニットが、
前記ユニット入力バスを介して前記分配制御部からの制御データを入力し、
前記データ入力部に入力された制御データに含まれる選択ユニット番号と、前記固有ユニット番号とが一致するか否かを判定し、
前記入力された制御データに含まれる入力値に基づいて、前記ユニット毎に予め定められた演算方法により演算し、
前記判定した結果が一致である場合には、前記演算した結果である演算結果を前記出力値として、前記分配制御部に前記ユニット出力バスを介して出力する、
ことを特徴とする並列演算方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２００９−４２８９８（Ｐ２００９−４２８９８Ａ）
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００７−２０５４２７（Ｐ２００７−２０５４２７）
【出願日】平成１９年８月７日（２００７．８．７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１９年８月７日（２００７．８．７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
[ Back to top ]