Ｎ者択一型ニューラルネットワークの符号化及び復号化装置
【目的】 単一転送線によって転送可能とし、遠隔操作に適した低コストの符号化及び復号化システムを構築できるようにすること。
【構成】 Ｎ者択一状態を表わす切換器３の信号入力を受信して前記Ｎ状態について各々独自の増幅率ｖj を割当てて前記切換器３の状態を符号化するためのＮ値の信号を出力する符号化手段２１と、この符号化手段２１から単一転送線２６によるＮ値の出力を受信して前記Ｎ状態に対応する出力端末に最大出力を発生させるための復号化手段２２とにより構成し、Ｎ-１-Ｎ符号化及び復号化システムを構築し得るようにした。
【構成】 Ｎ者択一状態を表わす切換器３の信号入力を受信して前記Ｎ状態について各々独自の増幅率ｖj を割当てて前記切換器３の状態を符号化するためのＮ値の信号を出力する符号化手段２１と、この符号化手段２１から単一転送線２６によるＮ値の出力を受信して前記Ｎ状態に対応する出力端末に最大出力を発生させるための復号化手段２２とにより構成し、Ｎ-１-Ｎ符号化及び復号化システムを構築し得るようにした。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、神経細胞を模倣した人工ニューロン及びニューラルネットワークの分野に関連し、より詳細には、遠隔操作可能なＮ者択一手段又は信号装置の実現のための人工ニューロン技術使用によるＮ者択一型ニューラルネットワークの符号化及び復号化装置に関する。
【０００２】
【従来の技術】人工ニューロン技術は通信及び制御を含む多くの用途で実現可能な代替設計として勃興している。実用的商用部品が徐々に利用可能になりつつあり、これらの部品を用いた信号及び制御の問題の解決が必要とされるようになってきている。
【０００３】遠隔信号法及び／又はその切換えは、広範囲な用途における基本的な使用方法である。本発明は、遠隔位置へ転送用選択スイッチ位置を符号化するためのマッカラフ・ピッツ（ＭＰ）型ニューロンの基本的な形状を使用する全く新しいシステムで、同一の選択スイッチ位置が受信側で仮定し得るように受信メッセージが復号される。受信装置の復号化手段は既知の又は標準的なニューラルネットワーク部材からなる別の人工ニューラルネットワークである。
【０００４】マサチューセッツ工科大学のニューラル・コンピューテーション誌２巻３９９−４０１頁のレオニッド・クルーグリャク（Ｌeonid Ｋruglyak ）による「Ｎビットエンコーダにおける問題を２つだけの隠れたユニットを用いて解決するには（Ｈow to Ｓolve the Ｎ Ｂit Ｅncoder Ｐroblem with Ｊust Ｔwo ＨiddenＵnits）」と題する論文によれば、標準フィードフォワード構造の３層ネットワークがＮ入力Ｎ出力符号化の問題をたった２つの隠れたユニットで解決し得ることが示されている。この構造は、場合によってはＮ-２-Ｎ符号化及び復号化装置ネットワークとも称される。ルーメルハート及びマックレランド編、マサチューセッツ州ケンブリッジのマサチューセッツ工科大学出版局刊「並列分散処理：認識の微細構造における発展（Ｐarallel Ｄistributed Ｐrocessing：Ｅxplorations in the Ｍicrostructures of Ｃognition）」 第１巻８章３１８頁に報告されているように、他の既知の従来技術では、この問題を解決するために隠れたＬog2Ｎ 個のユニットを使用するＮ-log2Ｎ-Ｎネットワークが必要となる。
【０００５】図５はクルーグリャクにより実現された符号化装置１及び復号化装置２よりなる構造を示す。符号化装置１は摺動腕３及び接点４を有するＮ位置スライドスイッチからなる。摺動腕３は定電圧供給源５へ接続されており、電圧はいつでも全体でＮ個の接点の内の１つの接点４だけに印加できるように構成されている。各々の接点４はシナプス重み付け素子６によりニューロン処理素子（ＰＥ）７，８へ接続されている。ＰＥ７，８からの出力線９上の信号は摺動腕３の符号化スイッチ位置（１からＮまで）を表わす。
【０００６】図６は典型的なＭＰニューロン及び図５に示した符号化装置１との関連性を示す。入力（１〜Ｎ）は各々がシナプス重み付け素子６（ｗ1 ，ｗ2 ，…，ｗN ）によりＰＥ７，８へ結合された入力ノード（接点４）に印加される。加算素子１０がこれらの重み付け入力を適切な閾値オフセットθで加算する。加算素子１０の出力は（圧縮）非線形回路１１へ印加される。非線形回路１１は通常、Ｓ字形の転送特性を有する。この方法で、ＰＥ７，８は出力線９上への転送のために摺動腕３の状態を符号化する。
【０００７】図５のニューロンの復号化装置２は入力線の対（出力線９）の各々の線に１つずつの２つのシナプス結合１２を有するＮ個のＰＥ１３（ＰＥ１〜Ｎ）からなる。ＰＥ１３の出力はＮ端末出力アレイを構成する。符号化装置１及び復号化装置２の適切なシナプス重み付けの選択で、復号化装置２の出力端末１４は各種電圧レベルにおいて全てが活動状態となり得る。しかし、ＰＥ１３の出力電圧が選択したｊ番目の入力端末（接点４）に対応すると、他の（Ｎ−１）個の出力端末１４に対して最大となる。
【０００８】復号化装置２の出力は、どのＮ者択一入力が活動状態にあるかを決定するために要求される必要な情報の全てを含むが、全ての出力端末１４が符号化装置１で選択されたｊ番目の入力端末（接点４）との「近さ」を表わすアナログ電圧を有するという意味において完全に復号されていない。最大出力電圧を有するｊ番目の出力端末１４を選択するためには、さらなる処理が必要とされる。この目的で使用可能な「勝者が全てを獲得する（ＷＴＡ）」ネットワークは入力としてＮ出力端末１４を許容し、最大電圧値を有する入力端末に対応するこれのＮ者択一出力端末を活動状態とさせる。
【０００９】ＷＴＡネットワークについて多くの可能な実現方法が当業者には周知である。例えば、ＭＡＸＮＥＴニューラルネットワークはヨー・ハン・パオ（Ｙoh-ＨanＰao）の「適合パターン認識とニューラルネットワーク（Ａdaptive ＰatternRecognition and Ｎeural Ｎetworks）」、アジソン・ウェズリー出版社、１９８９年、７．２章１７３頁で記述されている。ＭＡＸＮＥＴは１組のノードの内で最大の出力を有する候補ノードを１つ強調し選択するために横方向の抑制を使用する。これは「ノイズにより乱された２進入力パターンのフィードフォワードハミングネット最尤分類器」と記載されている。この用途における入力パターンはアナログ電圧であるが、このネットワークは、その特性として、各々の入力を候補（オン状態）として取扱い、最大値を持つ入力を最も尤もらしいオン状態の候補として選択することによって、最大値を持つ入力を選択する。
【００１０】
【発明が解決しようとする課題】よって、従来技術では、図５に示したようなＮ状態符号化及び復号化装置で転送線素子が少なくとも２つの線からなることが必要とされることを示している。一般に、特にコストなし又は比較的低いコストで減少が達成可能な場合に、必要な転送チャネル数を減少することは有利となる。
【００１１】このようなことから、本発明では、一度に１つの状態だけがオンになる２進のオン状態のＮ者択一入力ｊを符号化するための人工ネットワークを提供することを目的とする。即ち、ｊ番目のオン状態は、ニューロン出力の非線形非飽和領域で動作するＮ入力ＭＰ型ニューロンの適切な出力レベルで表現される。単一の線が符号化した増幅度レベル信号をＮ個の単一入力ニューラルネットワークからなる復号化手段へ転送する。復号化手段のＮ出力は符号化手段の活動入力端末に対応する出力端末以外でオフ状態をなすようにすればよい。本発明の別の目的は、転送コストを最小限とすることである。即ち、単一の転送線を符号化メッセージ送出用に使用することにより、複数の入力の内の１つのオン状態を遠隔的に送出する必要のある信号システムにおいて、大幅なコスト節約が得られるものとなるからである。本発明のさらなる目的は、これの実現にニューラルネットワーク技術を使用することであって、これにより別のニューラル部材とのインタフェースを容易になすことである。
【００１２】
【課題を解決するための手段】請求項１記載の発明では、Ｎ者択一状態を表わす切換器信号入力を受信して前記Ｎ状態について各々独自の増幅率を割当てて前記切換器状態を符号化するためのＮ値の信号を出力する符号化手段と、この符号化手段から単一転送線によるＮ値の出力を受信して前記Ｎ状態に対応する出力端末に最大出力を発生させるための復号化手段とにより構成した。
【００１３】この際、請求項２記載の発明では、符号化手段がＮ入力の人工ニューロンを有し、復号化手段が前記符号化手段の出力に対して各々の入力が接続されたＮ個の単一入力人工ニューロンを有するものとし、請求項３記載の発明では、符号化手段のＮ入力の人工ニューロンが指数関数的に増減する均一な増加量のシナプス重み付けを有し、復号化手段のＮ個の単一入力人工ニューロンの組が直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が指数関数的に増減する均一な増加量のオフセット値を有するものとし、請求項４記載の発明では、符号化手段のＮ入力の人工ニューロンが直線的に増減する均一な増加量のシナプス重み付けを有し、復号化手段のＮ個の単一入力人工ニューロンの組が直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が２次関数的に増減する均一な増加量のオフセット値を有するものとし、請求項５記載の発明では、符号化手段のＮ入力の人工ニューロンが直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個の単一入力ニューロンの組が対数的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が直線的に増減する均一な増加量のオフセット値を有するものとした。
【００１４】請求項６記載の発明では、符号化手段におけるシナプス重み付け｛ｖj ｝の組と、復号化手段におけるシナプス重み付け｛ｗk ｝の組と、前記復号化手段におけるオフセット重み付け｛θk ｝の組が、前記復号化手段の出力ｚk において、ｋ及びｊを均一な増加量の指数としてｚk ＝ｖjｗk＋θk に対応するＮ個の値の関数を生成し、ｋ＝ｊに対応する出力端末で最大出力を生成するようにした。
【００１５】請求項７記載の発明では、復号化手段からの最大出力値を選択して符号化を表わす状態に対応するＮ個の出力端末の内の１つを活動化させるための最大出力選択手段を有するものとし、請求項８記載の発明では、最大出力選択手段が、フィードフォワードハミングネットワークの最尤分類器をなすものとした。
【００１６】
【作用】符号化手段において、Ｎ入力中のｊ番目のオン状態は、ニューロン出力の非線形非飽和領域で動作するＮ入力ＭＰ型ニューロンの適切なＮ値の出力レベルで表現される。単一転送線が符号化したＮ値の増幅度レベル信号をＮ個の単一入力人工ニューロンからなる復号化手段へ転送する。復号化手段のＮ出力は符号化手段の活動入力端末に対応する出力端末以外でオフ状態をなすようにすることで、確実に復号される。ここに、単一転送線を用いて符号化された信号を出力させるので、転送コストが最小限となる。よって、複数の入力の内の１つのオン状態を遠隔的に送出する必要のある信号システムにおいては、大幅なコスト節約が得られる。
【００１７】
【実施例】本発明の一実施例を図１ないし図４に基づいて説明する。図５及び図６で示した部分と同一部分は同一符号を用いて示す。まず、図５に示した従来技術では、シナプス重み付け素子６を有するＰＥ７，８がしばしば称されるような「隠れた」２つのニューロンを有するＮ-２-Ｎ符号化及び復号化装置が最小限の構成であることを明確に示している（クルーグリャク、前掲書）。本発明は、Ｎ-１-Ｎ符号化及び復号化装置の構成をもたらすもので、ここにおいてＮ入力ノードは選択した入力ノードを表わす出力信号レベルを出力が供給する単一のＭＰ型人工ニューロンに接続されている。この単一の出力信号は復号化装置により使用されて、選択した入力ノードに対応するＮ者択一出力線を活動状態になす。
【００１８】図１は好適実施例を表わしており、符号化装置（符号化手段）２１と復号化装置（復号化手段）２２の２つの基本的部材からなる。また、任意のＷＴＡネットワークが最大値を有する復号化装置２２のＮ者択一出力端末を１つだけ選択するために復号化装置２２のＮ出力へ接続されていることを示している。
【００１９】符号化装置２１はＮ入力ノード２３を有し、全ての単一のノードは摺動腕（切換器）３と接触できる。定電圧供給源５からの電圧が摺動腕３を経由して、ｊ番目のノードとする選択したノード２３に印加される。定電圧供給源５の電圧ｅoは、拡大係数又は重みｖj を特性とするｊ番目のシナプス重み付け素子２４に印加される。Ｎ入力シナプス重み付け素子２４の各々は加算回路２５の入力へ印加される。重みｖ1 〜ｖN 及び加算回路２５を含む符号化装置２１の下位構造は、非線形回路１１の非飽和な（ことによると線形の）領域で動作する図６に示した形式のＭＰ型ニューロンを構成する。よって、入力ノード２３以外で符号化装置２１は単一のＭＰ型ニューロンよりなる。
【００２０】符号化装置２１の出力ｙは復号化装置２２の入力へ結合するための転送手段（単一転送線）２６へ印加され、これは次のように表現し得る。
ｙ＝ｅo ・ｖj ………………………………（１）
簡単のために、ｅo ＝１と仮定すれば、ｙ＝ｖj ………………………………（２）
となる。よって、各々の｛ｖj ｝が独自であれば、値はｊ番目に選択した入力ノードを表わすことになる。
【００２１】復号化装置２２は転送手段２６からの符号化装置出力ｖj を受信して、各々がシナプス重み付け素子２７及びＰＥ（ニューロン処理素子）２８を有するＮ個の単一入力ＭＰ型ニューロンを用いＮ個の別個の出力値（ｚ1 〜ｚN ）を生成する。組｛ｗk ｝の各々の重み付け素子はｋ＝１，２，…，Ｎについて独立している。各々の重みｗk を有するシナプス重み付け素子２７の出力は、対応するオフセット値θk を有する加算素子からなるＰＥ２８へ印加される。よって、各々のシナプス重み付け素子２７及びＰＥ２８の加算回路は、出力非線形非飽和領域で動作する（図６のＯＮＬ１１）単一入力ＭＰ型ニューロンと等価である。復号化装置２２のｋ番目の出力ｚk は、ｚk ＝ｙ・ｗk ＋θk ＝ｖj ｗk ＋θk ……（３）
ように表記し得る。
【００２２】ｚk をＷＴＡネットワーク（最大出力選択手段）２９を駆動するための適切な関数となすためには、ｋ＝ｊにおいて最大値を有する必要がある、即ち、メッセージｖj が復号化装置２２に受信された際にｊ番目の出力端末が他の（Ｎ−１）個の出力値の全てより大きな値ｚj を有する。即ち、 ｚj ＞ｚk≠j ……………………………………（４）
の必要がある。これはｋに対するｚk の第１の導函数ｚk′ がｋ＝ｊで０に等しい。即ち、
【数１】
故に、ｖjｗk=j′＝ −θk=j′ ………………（５）
となる必要がある。また、第２の導函数ｗk″ は最小値ではなく最大値をなすために負となる必要がある。即ち、ｖjｗk=j″＋θk ＜ −θk=j″ ………………（６）
である。これら２つの条件は復号化装置２２の適切な出力端末で最大値となるに充分である。しかし、使用するＷＴＡネットワーク２９の形式によって、さらなる制限を加える必要がある場合も考えられる。例えば、ＭＡＸＮＥＴネットワークは最大値ｚj もまた正である必要がある、即ち、ｚj ＞０、換言すると、ｖjｗk=j ＞ −θk=j ………………（７）
である。
【００２３】これらの３つの方程式（５)(６)(７）で指定された条件は、広い範囲の関数で満たすことができる。例えば、図１に示した符号化及び復号化装置の回路構成で、符号化装置２１のシナプス重み付け素子２４が指数関数的に変化する均一な増加量で、復号化装置２２のシナプス重み付け素子２７は直線的に変化する均一な増加量で、オフセット値は次に示すように指数関数的に変化する均一な増加量ｋである場合を考慮すると、
【数２】
となる。
【００２４】第１の条件は、第１の導函数がｋ＝ｊのときに０と等しい。即ち、
【数３】
である必要があるからα＝ln２
【００２５】また、第２の導函数はｋ＝ｊの時に負である。即ち、
【数４】
であることから、第２の条件も満たされている。
【００２６】図２はパラメータをα＝ln２≒０．７として、ｊ＝１，２，３，４のときのｋに対するｚk を示すグラフである。最大値はｋ＝ｊの時に出現することが理解される。
【００２７】下側の曲線（ｚk ，ｊ＝１）では常に負になることから、第３の条件を適用することが望ましく、
【数５】
即ち、
【数６】
を要求する。これはθ1 ＝−２の時に満足されない。これは２−ln２≒０．６より大きな量、例えば＋１でθk の値を増加させたほうがよいことを意味し、ｚkについての新しい方程式は（８）式から、
【数７】
で、ｚk=j-1 となる。
【００２８】定数項を式（８）に追加することで導函数の値は変化しておらず、３つの条件全てが同時に満足されることに注意されたい。総合的な結果は、図２に示す転送特性が上向きに１ポイント変位して、全ての出力値が０以上となることである。
【００２９】重み付けとオフセットのもう１つの考え得る選択は、直線的で均一な増加のシナプス重み付けと２次関数的に増減するオフセット値を有することがあり、これは次のようなｖj ＝ｊ ｊ＝１，２，３，…，Ｎｗk ＝αｋθk ＝−αｋ2／２ ｋ＝１，２，…，Ｎものである。よって、復号化装置２２のｋ番目の出力タップ上の信号は、次のように、 ｚk ＝αk（ｊ−ｋ／２） ……………………（14）
として表わされる
【００３０】これは方程式（５)(６)(７）の３つの条件を満足し、パラメータとしてｊをとって図３に表わしてある。この場合、α＝１であるが、ニューロンの出力非線形非飽和動作を確保する何らかの適当な正の値を仮定してもよい。方程式（13）に対する方程式（14）の関数のさらなる有利な点は、更新すべき出力変数域ｙk の制限範囲である。方程式（14）は方程式（13）におけるような指数関数表現ではなく２次方程式である。
【００３１】次のようにｖj が指数ｊの増加に対して線形でｗk は指数ｋに対して対数的に増減し、θk は指数ｋに対して線形である場合、さらに別の例が得られる。
ｖj ＝ｊ ｊ＝１，２，…，Ｎｗk ＝lnｋθk ＝（ｋ−α） ｋ＝１，２，…，Ｎｚk ＝ｊlnｋ−（ｋ−α）
………………………………（15）
ここで、αは任意の定数である。図４に示すように、α＝２で方程式（15）が３つの条件全てを満足する。
【００３２】ニューラルネットワーク及びニューラルコンピューティングの当業者には、方程式（５)(６)(７）の条件を満足する他の方程式も、上述の基本的数学の知識を用いて発見可能といえる。
【００３３】
【発明の効果】本発明は、上述したように構成したので、符号化手段において、切換器のＮ状態中の１つのオン状態は、ニューロン出力の非線形非飽和領域で動作するＮ入力ＭＰ型ニューロンの適切なＮ値の出力レベルで表現され、単一転送線が符号化したＮ値の増幅度レベル信号をＮ個の単一入力人工ニューロンからなる復号化手段へ転送され、復号化手段のＮ出力は符号化手段の能動入力端末に対応する出力端末以外でオフ状態となるので、単一転送線によって確実に復号可能なＮ-１-Ｎ符号化及び復号化システムを構築でき、単一転送線を用いて符号化された信号を出力させるので、転送コストも最小限となり、よって、複数の入力の内の１つのオン状態を遠隔的に送出する必要のある信号システムにおいては、大幅なコスト節約を図ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示すブロック図である。
【図２】指数関数的に重み付けした符号化シナプス、直線的に重み付けした復号化シナプス、及び指数関数的に重み付けした復号オフセットにおける出力特性を示すグラフである。
【図３】直線的に重み付けした符号化シナプス、直線的に重み付けした復号化シナプス、及び２次関数的に重み付けした復号オフセットにおける出力特性を示すグラフである。
【図４】直線的に重み付けした符号化シナプス、対数的に重み付けした復号化シナプス、及び直線的に重み付けした復号オフセットにおける出力特性を示すグラフである。
【図５】従来のＮ-２-Ｎ符号化及び復号化装置ニューラルネットワークを示すブロック図である。
【図６】従来のＭＰ型Ｎ入力の人工ニューロン構成を示すブロックである。
【符号の説明】
３ 切換器
２１ 符号化手段
２２ 復号化手段
２４ 人工ニューロン
２６ 単一転送線
２８ 単一入力人工ニューロン
２９ 最大出力選択手段
【０００１】
【産業上の利用分野】本発明は、神経細胞を模倣した人工ニューロン及びニューラルネットワークの分野に関連し、より詳細には、遠隔操作可能なＮ者択一手段又は信号装置の実現のための人工ニューロン技術使用によるＮ者択一型ニューラルネットワークの符号化及び復号化装置に関する。
【０００２】
【従来の技術】人工ニューロン技術は通信及び制御を含む多くの用途で実現可能な代替設計として勃興している。実用的商用部品が徐々に利用可能になりつつあり、これらの部品を用いた信号及び制御の問題の解決が必要とされるようになってきている。
【０００３】遠隔信号法及び／又はその切換えは、広範囲な用途における基本的な使用方法である。本発明は、遠隔位置へ転送用選択スイッチ位置を符号化するためのマッカラフ・ピッツ（ＭＰ）型ニューロンの基本的な形状を使用する全く新しいシステムで、同一の選択スイッチ位置が受信側で仮定し得るように受信メッセージが復号される。受信装置の復号化手段は既知の又は標準的なニューラルネットワーク部材からなる別の人工ニューラルネットワークである。
【０００４】マサチューセッツ工科大学のニューラル・コンピューテーション誌２巻３９９−４０１頁のレオニッド・クルーグリャク（Ｌeonid Ｋruglyak ）による「Ｎビットエンコーダにおける問題を２つだけの隠れたユニットを用いて解決するには（Ｈow to Ｓolve the Ｎ Ｂit Ｅncoder Ｐroblem with Ｊust Ｔwo ＨiddenＵnits）」と題する論文によれば、標準フィードフォワード構造の３層ネットワークがＮ入力Ｎ出力符号化の問題をたった２つの隠れたユニットで解決し得ることが示されている。この構造は、場合によってはＮ-２-Ｎ符号化及び復号化装置ネットワークとも称される。ルーメルハート及びマックレランド編、マサチューセッツ州ケンブリッジのマサチューセッツ工科大学出版局刊「並列分散処理：認識の微細構造における発展（Ｐarallel Ｄistributed Ｐrocessing：Ｅxplorations in the Ｍicrostructures of Ｃognition）」 第１巻８章３１８頁に報告されているように、他の既知の従来技術では、この問題を解決するために隠れたＬog2Ｎ 個のユニットを使用するＮ-log2Ｎ-Ｎネットワークが必要となる。
【０００５】図５はクルーグリャクにより実現された符号化装置１及び復号化装置２よりなる構造を示す。符号化装置１は摺動腕３及び接点４を有するＮ位置スライドスイッチからなる。摺動腕３は定電圧供給源５へ接続されており、電圧はいつでも全体でＮ個の接点の内の１つの接点４だけに印加できるように構成されている。各々の接点４はシナプス重み付け素子６によりニューロン処理素子（ＰＥ）７，８へ接続されている。ＰＥ７，８からの出力線９上の信号は摺動腕３の符号化スイッチ位置（１からＮまで）を表わす。
【０００６】図６は典型的なＭＰニューロン及び図５に示した符号化装置１との関連性を示す。入力（１〜Ｎ）は各々がシナプス重み付け素子６（ｗ1 ，ｗ2 ，…，ｗN ）によりＰＥ７，８へ結合された入力ノード（接点４）に印加される。加算素子１０がこれらの重み付け入力を適切な閾値オフセットθで加算する。加算素子１０の出力は（圧縮）非線形回路１１へ印加される。非線形回路１１は通常、Ｓ字形の転送特性を有する。この方法で、ＰＥ７，８は出力線９上への転送のために摺動腕３の状態を符号化する。
【０００７】図５のニューロンの復号化装置２は入力線の対（出力線９）の各々の線に１つずつの２つのシナプス結合１２を有するＮ個のＰＥ１３（ＰＥ１〜Ｎ）からなる。ＰＥ１３の出力はＮ端末出力アレイを構成する。符号化装置１及び復号化装置２の適切なシナプス重み付けの選択で、復号化装置２の出力端末１４は各種電圧レベルにおいて全てが活動状態となり得る。しかし、ＰＥ１３の出力電圧が選択したｊ番目の入力端末（接点４）に対応すると、他の（Ｎ−１）個の出力端末１４に対して最大となる。
【０００８】復号化装置２の出力は、どのＮ者択一入力が活動状態にあるかを決定するために要求される必要な情報の全てを含むが、全ての出力端末１４が符号化装置１で選択されたｊ番目の入力端末（接点４）との「近さ」を表わすアナログ電圧を有するという意味において完全に復号されていない。最大出力電圧を有するｊ番目の出力端末１４を選択するためには、さらなる処理が必要とされる。この目的で使用可能な「勝者が全てを獲得する（ＷＴＡ）」ネットワークは入力としてＮ出力端末１４を許容し、最大電圧値を有する入力端末に対応するこれのＮ者択一出力端末を活動状態とさせる。
【０００９】ＷＴＡネットワークについて多くの可能な実現方法が当業者には周知である。例えば、ＭＡＸＮＥＴニューラルネットワークはヨー・ハン・パオ（Ｙoh-ＨanＰao）の「適合パターン認識とニューラルネットワーク（Ａdaptive ＰatternRecognition and Ｎeural Ｎetworks）」、アジソン・ウェズリー出版社、１９８９年、７．２章１７３頁で記述されている。ＭＡＸＮＥＴは１組のノードの内で最大の出力を有する候補ノードを１つ強調し選択するために横方向の抑制を使用する。これは「ノイズにより乱された２進入力パターンのフィードフォワードハミングネット最尤分類器」と記載されている。この用途における入力パターンはアナログ電圧であるが、このネットワークは、その特性として、各々の入力を候補（オン状態）として取扱い、最大値を持つ入力を最も尤もらしいオン状態の候補として選択することによって、最大値を持つ入力を選択する。
【００１０】
【発明が解決しようとする課題】よって、従来技術では、図５に示したようなＮ状態符号化及び復号化装置で転送線素子が少なくとも２つの線からなることが必要とされることを示している。一般に、特にコストなし又は比較的低いコストで減少が達成可能な場合に、必要な転送チャネル数を減少することは有利となる。
【００１１】このようなことから、本発明では、一度に１つの状態だけがオンになる２進のオン状態のＮ者択一入力ｊを符号化するための人工ネットワークを提供することを目的とする。即ち、ｊ番目のオン状態は、ニューロン出力の非線形非飽和領域で動作するＮ入力ＭＰ型ニューロンの適切な出力レベルで表現される。単一の線が符号化した増幅度レベル信号をＮ個の単一入力ニューラルネットワークからなる復号化手段へ転送する。復号化手段のＮ出力は符号化手段の活動入力端末に対応する出力端末以外でオフ状態をなすようにすればよい。本発明の別の目的は、転送コストを最小限とすることである。即ち、単一の転送線を符号化メッセージ送出用に使用することにより、複数の入力の内の１つのオン状態を遠隔的に送出する必要のある信号システムにおいて、大幅なコスト節約が得られるものとなるからである。本発明のさらなる目的は、これの実現にニューラルネットワーク技術を使用することであって、これにより別のニューラル部材とのインタフェースを容易になすことである。
【００１２】
【課題を解決するための手段】請求項１記載の発明では、Ｎ者択一状態を表わす切換器信号入力を受信して前記Ｎ状態について各々独自の増幅率を割当てて前記切換器状態を符号化するためのＮ値の信号を出力する符号化手段と、この符号化手段から単一転送線によるＮ値の出力を受信して前記Ｎ状態に対応する出力端末に最大出力を発生させるための復号化手段とにより構成した。
【００１３】この際、請求項２記載の発明では、符号化手段がＮ入力の人工ニューロンを有し、復号化手段が前記符号化手段の出力に対して各々の入力が接続されたＮ個の単一入力人工ニューロンを有するものとし、請求項３記載の発明では、符号化手段のＮ入力の人工ニューロンが指数関数的に増減する均一な増加量のシナプス重み付けを有し、復号化手段のＮ個の単一入力人工ニューロンの組が直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が指数関数的に増減する均一な増加量のオフセット値を有するものとし、請求項４記載の発明では、符号化手段のＮ入力の人工ニューロンが直線的に増減する均一な増加量のシナプス重み付けを有し、復号化手段のＮ個の単一入力人工ニューロンの組が直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が２次関数的に増減する均一な増加量のオフセット値を有するものとし、請求項５記載の発明では、符号化手段のＮ入力の人工ニューロンが直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個の単一入力ニューロンの組が対数的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が直線的に増減する均一な増加量のオフセット値を有するものとした。
【００１４】請求項６記載の発明では、符号化手段におけるシナプス重み付け｛ｖj ｝の組と、復号化手段におけるシナプス重み付け｛ｗk ｝の組と、前記復号化手段におけるオフセット重み付け｛θk ｝の組が、前記復号化手段の出力ｚk において、ｋ及びｊを均一な増加量の指数としてｚk ＝ｖjｗk＋θk に対応するＮ個の値の関数を生成し、ｋ＝ｊに対応する出力端末で最大出力を生成するようにした。
【００１５】請求項７記載の発明では、復号化手段からの最大出力値を選択して符号化を表わす状態に対応するＮ個の出力端末の内の１つを活動化させるための最大出力選択手段を有するものとし、請求項８記載の発明では、最大出力選択手段が、フィードフォワードハミングネットワークの最尤分類器をなすものとした。
【００１６】
【作用】符号化手段において、Ｎ入力中のｊ番目のオン状態は、ニューロン出力の非線形非飽和領域で動作するＮ入力ＭＰ型ニューロンの適切なＮ値の出力レベルで表現される。単一転送線が符号化したＮ値の増幅度レベル信号をＮ個の単一入力人工ニューロンからなる復号化手段へ転送する。復号化手段のＮ出力は符号化手段の活動入力端末に対応する出力端末以外でオフ状態をなすようにすることで、確実に復号される。ここに、単一転送線を用いて符号化された信号を出力させるので、転送コストが最小限となる。よって、複数の入力の内の１つのオン状態を遠隔的に送出する必要のある信号システムにおいては、大幅なコスト節約が得られる。
【００１７】
【実施例】本発明の一実施例を図１ないし図４に基づいて説明する。図５及び図６で示した部分と同一部分は同一符号を用いて示す。まず、図５に示した従来技術では、シナプス重み付け素子６を有するＰＥ７，８がしばしば称されるような「隠れた」２つのニューロンを有するＮ-２-Ｎ符号化及び復号化装置が最小限の構成であることを明確に示している（クルーグリャク、前掲書）。本発明は、Ｎ-１-Ｎ符号化及び復号化装置の構成をもたらすもので、ここにおいてＮ入力ノードは選択した入力ノードを表わす出力信号レベルを出力が供給する単一のＭＰ型人工ニューロンに接続されている。この単一の出力信号は復号化装置により使用されて、選択した入力ノードに対応するＮ者択一出力線を活動状態になす。
【００１８】図１は好適実施例を表わしており、符号化装置（符号化手段）２１と復号化装置（復号化手段）２２の２つの基本的部材からなる。また、任意のＷＴＡネットワークが最大値を有する復号化装置２２のＮ者択一出力端末を１つだけ選択するために復号化装置２２のＮ出力へ接続されていることを示している。
【００１９】符号化装置２１はＮ入力ノード２３を有し、全ての単一のノードは摺動腕（切換器）３と接触できる。定電圧供給源５からの電圧が摺動腕３を経由して、ｊ番目のノードとする選択したノード２３に印加される。定電圧供給源５の電圧ｅoは、拡大係数又は重みｖj を特性とするｊ番目のシナプス重み付け素子２４に印加される。Ｎ入力シナプス重み付け素子２４の各々は加算回路２５の入力へ印加される。重みｖ1 〜ｖN 及び加算回路２５を含む符号化装置２１の下位構造は、非線形回路１１の非飽和な（ことによると線形の）領域で動作する図６に示した形式のＭＰ型ニューロンを構成する。よって、入力ノード２３以外で符号化装置２１は単一のＭＰ型ニューロンよりなる。
【００２０】符号化装置２１の出力ｙは復号化装置２２の入力へ結合するための転送手段（単一転送線）２６へ印加され、これは次のように表現し得る。
ｙ＝ｅo ・ｖj ………………………………（１）
簡単のために、ｅo ＝１と仮定すれば、ｙ＝ｖj ………………………………（２）
となる。よって、各々の｛ｖj ｝が独自であれば、値はｊ番目に選択した入力ノードを表わすことになる。
【００２１】復号化装置２２は転送手段２６からの符号化装置出力ｖj を受信して、各々がシナプス重み付け素子２７及びＰＥ（ニューロン処理素子）２８を有するＮ個の単一入力ＭＰ型ニューロンを用いＮ個の別個の出力値（ｚ1 〜ｚN ）を生成する。組｛ｗk ｝の各々の重み付け素子はｋ＝１，２，…，Ｎについて独立している。各々の重みｗk を有するシナプス重み付け素子２７の出力は、対応するオフセット値θk を有する加算素子からなるＰＥ２８へ印加される。よって、各々のシナプス重み付け素子２７及びＰＥ２８の加算回路は、出力非線形非飽和領域で動作する（図６のＯＮＬ１１）単一入力ＭＰ型ニューロンと等価である。復号化装置２２のｋ番目の出力ｚk は、ｚk ＝ｙ・ｗk ＋θk ＝ｖj ｗk ＋θk ……（３）
ように表記し得る。
【００２２】ｚk をＷＴＡネットワーク（最大出力選択手段）２９を駆動するための適切な関数となすためには、ｋ＝ｊにおいて最大値を有する必要がある、即ち、メッセージｖj が復号化装置２２に受信された際にｊ番目の出力端末が他の（Ｎ−１）個の出力値の全てより大きな値ｚj を有する。即ち、 ｚj ＞ｚk≠j ……………………………………（４）
の必要がある。これはｋに対するｚk の第１の導函数ｚk′ がｋ＝ｊで０に等しい。即ち、
【数１】
故に、ｖjｗk=j′＝ −θk=j′ ………………（５）
となる必要がある。また、第２の導函数ｗk″ は最小値ではなく最大値をなすために負となる必要がある。即ち、ｖjｗk=j″＋θk ＜ −θk=j″ ………………（６）
である。これら２つの条件は復号化装置２２の適切な出力端末で最大値となるに充分である。しかし、使用するＷＴＡネットワーク２９の形式によって、さらなる制限を加える必要がある場合も考えられる。例えば、ＭＡＸＮＥＴネットワークは最大値ｚj もまた正である必要がある、即ち、ｚj ＞０、換言すると、ｖjｗk=j ＞ −θk=j ………………（７）
である。
【００２３】これらの３つの方程式（５)(６)(７）で指定された条件は、広い範囲の関数で満たすことができる。例えば、図１に示した符号化及び復号化装置の回路構成で、符号化装置２１のシナプス重み付け素子２４が指数関数的に変化する均一な増加量で、復号化装置２２のシナプス重み付け素子２７は直線的に変化する均一な増加量で、オフセット値は次に示すように指数関数的に変化する均一な増加量ｋである場合を考慮すると、
【数２】
となる。
【００２４】第１の条件は、第１の導函数がｋ＝ｊのときに０と等しい。即ち、
【数３】
である必要があるからα＝ln２
【００２５】また、第２の導函数はｋ＝ｊの時に負である。即ち、
【数４】
であることから、第２の条件も満たされている。
【００２６】図２はパラメータをα＝ln２≒０．７として、ｊ＝１，２，３，４のときのｋに対するｚk を示すグラフである。最大値はｋ＝ｊの時に出現することが理解される。
【００２７】下側の曲線（ｚk ，ｊ＝１）では常に負になることから、第３の条件を適用することが望ましく、
【数５】
即ち、
【数６】
を要求する。これはθ1 ＝−２の時に満足されない。これは２−ln２≒０．６より大きな量、例えば＋１でθk の値を増加させたほうがよいことを意味し、ｚkについての新しい方程式は（８）式から、
【数７】
で、ｚk=j-1 となる。
【００２８】定数項を式（８）に追加することで導函数の値は変化しておらず、３つの条件全てが同時に満足されることに注意されたい。総合的な結果は、図２に示す転送特性が上向きに１ポイント変位して、全ての出力値が０以上となることである。
【００２９】重み付けとオフセットのもう１つの考え得る選択は、直線的で均一な増加のシナプス重み付けと２次関数的に増減するオフセット値を有することがあり、これは次のようなｖj ＝ｊ ｊ＝１，２，３，…，Ｎｗk ＝αｋθk ＝−αｋ2／２ ｋ＝１，２，…，Ｎものである。よって、復号化装置２２のｋ番目の出力タップ上の信号は、次のように、 ｚk ＝αk（ｊ−ｋ／２） ……………………（14）
として表わされる
【００３０】これは方程式（５)(６)(７）の３つの条件を満足し、パラメータとしてｊをとって図３に表わしてある。この場合、α＝１であるが、ニューロンの出力非線形非飽和動作を確保する何らかの適当な正の値を仮定してもよい。方程式（13）に対する方程式（14）の関数のさらなる有利な点は、更新すべき出力変数域ｙk の制限範囲である。方程式（14）は方程式（13）におけるような指数関数表現ではなく２次方程式である。
【００３１】次のようにｖj が指数ｊの増加に対して線形でｗk は指数ｋに対して対数的に増減し、θk は指数ｋに対して線形である場合、さらに別の例が得られる。
ｖj ＝ｊ ｊ＝１，２，…，Ｎｗk ＝lnｋθk ＝（ｋ−α） ｋ＝１，２，…，Ｎｚk ＝ｊlnｋ−（ｋ−α）
………………………………（15）
ここで、αは任意の定数である。図４に示すように、α＝２で方程式（15）が３つの条件全てを満足する。
【００３２】ニューラルネットワーク及びニューラルコンピューティングの当業者には、方程式（５)(６)(７）の条件を満足する他の方程式も、上述の基本的数学の知識を用いて発見可能といえる。
【００３３】
【発明の効果】本発明は、上述したように構成したので、符号化手段において、切換器のＮ状態中の１つのオン状態は、ニューロン出力の非線形非飽和領域で動作するＮ入力ＭＰ型ニューロンの適切なＮ値の出力レベルで表現され、単一転送線が符号化したＮ値の増幅度レベル信号をＮ個の単一入力人工ニューロンからなる復号化手段へ転送され、復号化手段のＮ出力は符号化手段の能動入力端末に対応する出力端末以外でオフ状態となるので、単一転送線によって確実に復号可能なＮ-１-Ｎ符号化及び復号化システムを構築でき、単一転送線を用いて符号化された信号を出力させるので、転送コストも最小限となり、よって、複数の入力の内の１つのオン状態を遠隔的に送出する必要のある信号システムにおいては、大幅なコスト節約を図ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示すブロック図である。
【図２】指数関数的に重み付けした符号化シナプス、直線的に重み付けした復号化シナプス、及び指数関数的に重み付けした復号オフセットにおける出力特性を示すグラフである。
【図３】直線的に重み付けした符号化シナプス、直線的に重み付けした復号化シナプス、及び２次関数的に重み付けした復号オフセットにおける出力特性を示すグラフである。
【図４】直線的に重み付けした符号化シナプス、対数的に重み付けした復号化シナプス、及び直線的に重み付けした復号オフセットにおける出力特性を示すグラフである。
【図５】従来のＮ-２-Ｎ符号化及び復号化装置ニューラルネットワークを示すブロック図である。
【図６】従来のＭＰ型Ｎ入力の人工ニューロン構成を示すブロックである。
【符号の説明】
３ 切換器
２１ 符号化手段
２２ 復号化手段
２４ 人工ニューロン
２６ 単一転送線
２８ 単一入力人工ニューロン
２９ 最大出力選択手段
【特許請求の範囲】
【請求項１】 Ｎ者択一状態を表わす切換器信号入力を受信して前記Ｎ状態について各々独自の増幅率を割当てて前記切換器状態を符号化するためのＮ値の信号を出力する符号化手段と、この符号化手段から単一転送線によるＮ値の出力を受信して前記Ｎ状態に対応する出力端末に最大出力を発生させるための復号化手段とよりなることを特徴とするＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項２】 符号化手段がＮ入力の人工ニューロンを有し、復号化手段が前記符号化手段の出力に対して各々の入力が接続されたＮ個の単一入力人工ニューロンを有することを特徴とする請求項１記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項３】 符号化手段のＮ入力の人工ニューロンが指数関数的に増減する均一な増加量のシナプス重み付けを有し、復号化手段のＮ個の単一入力人工ニューロンの組が直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が指数関数的に増減する均一な増加量のオフセット値を有することを特徴とする請求項２記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項４】 符号化手段のＮ入力の人工ニューロンが直線的に増減する均一な増加量のシナプス重み付けを有し、復号化手段のＮ個の単一入力人工ニューロンの組が直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が２次関数的に増減する均一な増加量のオフセット値を有することを特徴とする請求項２記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項５】 符号化手段のＮ入力の人工ニューロンが直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個の単一入力人工ニューロンの組が対数的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が直線的に増減する均一な増加量のオフセット値を有することを特徴とする請求項２記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項６】 符号化手段におけるシナプス重み付け｛ｖj ｝の組と、復号化手段におけるシナプス重み付け｛ｗk ｝の組と、前記復号化手段におけるオフセット重み付け｛θk ｝の組が、前記復号化手段の出力ｚk において、ｋ及びｊを均一な増加量の指数としてｚk ＝ｖjｗk＋θkに対応するＮ個の値の関数を生成し、ｋ＝ｊに対応する出力端末で最大出力を生成するようにしたことを特徴とする請求項２記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項７】 復号化手段からの最大出力値を選択して符号化を表わす状態に対応するＮ個の出力端末の内の１つを能動化させるための最大出力選択手段を有することを特徴とする請求項３，４又は５記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項８】 最大出力選択手段が、フィードフォワードハミングネットワークの最尤分類器をなすものとしたことを特徴とする請求項７記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項１】 Ｎ者択一状態を表わす切換器信号入力を受信して前記Ｎ状態について各々独自の増幅率を割当てて前記切換器状態を符号化するためのＮ値の信号を出力する符号化手段と、この符号化手段から単一転送線によるＮ値の出力を受信して前記Ｎ状態に対応する出力端末に最大出力を発生させるための復号化手段とよりなることを特徴とするＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項２】 符号化手段がＮ入力の人工ニューロンを有し、復号化手段が前記符号化手段の出力に対して各々の入力が接続されたＮ個の単一入力人工ニューロンを有することを特徴とする請求項１記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項３】 符号化手段のＮ入力の人工ニューロンが指数関数的に増減する均一な増加量のシナプス重み付けを有し、復号化手段のＮ個の単一入力人工ニューロンの組が直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が指数関数的に増減する均一な増加量のオフセット値を有することを特徴とする請求項２記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項４】 符号化手段のＮ入力の人工ニューロンが直線的に増減する均一な増加量のシナプス重み付けを有し、復号化手段のＮ個の単一入力人工ニューロンの組が直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が２次関数的に増減する均一な増加量のオフセット値を有することを特徴とする請求項２記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項５】 符号化手段のＮ入力の人工ニューロンが直線的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個の単一入力人工ニューロンの組が対数的に増減する均一な増加量のシナプス重み付けを有し、前記復号化手段のＮ個のオフセットの組が直線的に増減する均一な増加量のオフセット値を有することを特徴とする請求項２記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項６】 符号化手段におけるシナプス重み付け｛ｖj ｝の組と、復号化手段におけるシナプス重み付け｛ｗk ｝の組と、前記復号化手段におけるオフセット重み付け｛θk ｝の組が、前記復号化手段の出力ｚk において、ｋ及びｊを均一な増加量の指数としてｚk ＝ｖjｗk＋θkに対応するＮ個の値の関数を生成し、ｋ＝ｊに対応する出力端末で最大出力を生成するようにしたことを特徴とする請求項２記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項７】 復号化手段からの最大出力値を選択して符号化を表わす状態に対応するＮ個の出力端末の内の１つを能動化させるための最大出力選択手段を有することを特徴とする請求項３，４又は５記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【請求項８】 最大出力選択手段が、フィードフォワードハミングネットワークの最尤分類器をなすものとしたことを特徴とする請求項７記載のＮ者択一型ニューラルネットワークの符号化及び復号化装置。
【図１】
【図２】
【図３】
【図５】
【図６】
【図４】
【図２】
【図３】
【図５】
【図６】
【図４】
【公開番号】特開平５−２４２０６９
【公開日】平成５年（１９９３）９月２１日
【国際特許分類】
【出願番号】特願平４−３３９９６４
【出願日】平成４年（１９９２）１２月２１日
【出願人】（０００００６７４７）株式会社リコー (37,907)
【公開日】平成５年（１９９３）９月２１日
【国際特許分類】
【出願日】平成４年（１９９２）１２月２１日
【出願人】（０００００６７４７）株式会社リコー (37,907)
[ Back to top ]