説明

垂直・水平プロセッサ

【課題】 現実的なニューラル・モデル(一組の要領またはルール)と、この提案されたニューラル・モデルを考慮に入れて、脳の動作原理に基づいて動作できるデバイス(プロセッサ)とを原則として作り上げる。
【解決手段】 本発明は、周囲電極の中央にあり、かつ多値準位システムまたはニューロンが収められている面上で、あらゆる方向から水平に複数の入力信号が与えられ、また、その面上の様々な地点にて出力信号が垂直に取り出される一対のテンプレートを含む垂直水平プロセッサ(「標準垂直水平プロセッサ」とも呼ぶ)を提供する。本発明はまた、上記の垂直水平プロセッサを含むクラスタ、上記の垂直水平プロセッサを含む修正仮想ソース・ニューラル・ネットワーク・モデル、および、上記垂直水平プロセッサを学習させるプロセッサ学習法も提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラル・ネットワークの動作原理に従う新規な垂直・水平プロセッサ(あるいは、単に「垂直プロセッサ」とも呼ぶ)、この垂直・水平プロセッサを含む修正仮想ソース・ニューラル・ネットワーク・モデル、およびこの垂直・水平プロセッサの単一垂直・水平プロセッサを学習させるプロセッサ学習法に関する。
【背景技術】
【0002】
任意のシーケンシャル(逐次型)プロセッサにおいては、そのプロセッサがテラフロップ型のものであっても、それぞれのビットは、1つずつ情報処理される。しかし、脳のプロセスにおいては、たとえ、それがゆっくりであっても、何千ものビットが、一度に情報処理される。ソフトウェアによって神経系統をまねるために、いくつかのモデルが作られており、また、神経活動の性質をまねる多くの実験構成が提案されている。一例では、イオン・チャネルを作り出すこと(例えば、特許文献1参照)と、応答に、しきい電位を取り入れて、ニューラル・モデリング・デバイスを作ることである。ニューロンは、コンデンサと浮遊ゲート形トランジスタを用いて設計され(例えば、特許文献2参照)、同等なニューラル・ネットワーク・モデルを用いて解析されてきた。結合性を強めるか、あるいは弱めるための複数の信号入出力を持つ物理的ニューラル・ネットワークも実現されている(例えば、特許文献3参照)。ニューロンを設計することとは別に、ランダム・ネットワークを解析するために、多くのモデルが作られている。しかしながら、このようなモデルはどれも、固体デバイスで神経系統の基本機能を現実にまねられるような構成が提案できていない。
【0003】
これらのモデルに従う神経系統は、情報処理の間にかなりの熱を発生させる電子部品を使用しており、したがって、ナノスケールの大きさに最小化することはできない。分子エレクトロニクスの導入は、DNAオリゴマーを用いて多層パーセプトロンの概念(例えば、特許文献4参照)を生み出すか、あるいは、スイッチング分子(例えば、特許文献5参照)を通じて情報処理面上にランダム経路を生成することにより、ナノスケールの計算の基本的問題を扱う。これらのランダム・ニューラル・ネットワークの大部分は、主としてわれわれの脳の動作原理(例えば、特許文献7参照)を応用する決定関数(例えば、特許文献6参照)を構築することにより、動作できるようになる。機械のインテリジェント制御(例えば、特許文献8参照)に対して、いくつかの提案があるが、ニューロンからニューロンへの信号伝達の基本的問題は、最終的に、任意のシステム・ユニットの障害で破壊されている逐次結合(逐次接続部)を発達させることである。どうにかしてファジー論理により逐次性を克服しようとするが、ただし、最終出力信号への個別制御を妥協しようとするプロジェクトがいくつかある。そのような例の1つは、プロジェクト・ナノセルである(例えば、非特許文献5参照)。
【0004】
分子を物理探針へ集積する問題は、ナノセル(例えば、非特許文献2〜4参照)を作り出す際に、ランダムな向きのスイッチの全体的な応答を、論理ゲート、例えばNANDゲートの振舞いとして、学習させることで、解決されている。他のモデルとのナノセルの主要な変更は、配座変化に左右される単一分子のワイヤリングを避けることであった。それゆえ、このような変更は、集積回路中では信頼できないこともある。そこで、クリティカルな寸法の課題が、ファジーシステムのインテリジェント論理化により解き明かされた。ナノセルと同様に、いくつかのニューラル・モデリング・デバイスを通じてファジーシステムを論理化する日まで多くのモデルが作られており、また、ANN論理を情報処理する機器も設計されている。ナノセルは、プロセッサで分子エレクトロニクスを取り扱う代替方法を提案したという点でのみ、異なっている。
【0005】
ナノセルが実現されているとはいえ、これは、寸法要件とは別に、いくつかの制限がある。特定の領域が、全体の論理パターンの変化をもたらすのをやめると、同一面上で、2つの異なる端部に信号入出力が取られる。この信号入出力は、ノイズの影響を受けやすい。入力信号配列の変化が、最終信号出力を有意に変化させる場合にのみ、このような(入力配列の)変化を考慮する。また、異なる配列では、同一の信号出力で終えることが可能であるかもしれない。信号出力の数と信号入力の数は、一定の演算エリア内で互いに補完している。信号入力の数が増えれば、信号出力の数が減ることになる。スイッチは、絶対的な予測不能なやり方で、ランダムに働き、また、個々のスマート・システムあるいはスイッチまたはニューロンの役割は、考慮されないし、また、必要でもない。ナノセルにおいては、我々は、信号出力電流の最終変化にのみ関心がある。異なる信号入力が、電流を異なる経路に流してもかまわなく、それにより、最終的に同一の信号出力が得られる。そこで、物理的に、この互いに作用し合う面は、異なる組の入力電圧に対して、異なる組の電流出力を供給するブラックボックスである。この面は、非線形電子部品がランダムに接続されている電極アレイとしてモデル化されることもある。スイッチおよび経路は、非線形性の発生装置である。
今日では、ナノセルの応用例が、異なるモードおよびシステム(例えば、非特許文献6参照)で実現されるか、あるいは提案されているので、我々は、同様なシステムをすべて、ナノセル・システムと呼んでいる。
【0006】
【特許文献1】U.S.5,378,342
【特許文献2】U.S.5,343,555
【特許文献3】U.S.6,889,216 B2
【特許文献4】U.S.6,741,956 B1
【特許文献5】U.S.6,820,244 B2
【特許文献6】U.S.6,886,008 B2
【特許文献7】U.S.4,954,963
【特許文献8】U.S.6.882,992 B1
【0007】
【非特許文献1】J.Hopfield, Neural networks and physical systems with emergent collective computational abilities(創発的集団的計算能力を持つニューラル・ネットワークと物理システム), 79Proc, Nati. Acad. Of Sci. USA 2554(1982)。
【非特許文献2】http://www.caam.rice.edu/caam/trs/2002/TR02-04.pdfにて入手できるSummer M. Husband, Programming in Nanocell a random array of molecules(ナノセルでのプログラミング、ランダムな分子配列), Rice University PhD thesis April 2002。
【非特許文献3】Christopher P. Husband, Summer M.Husband, Jonathan S.Daniels, and James M. Tour, Logic and Memory With Nanocell Circuits(ナノセル回路を持つ論理とメモリ), IEEE TRANSACTIONS ON ELECTRON DEVICES, VOL.50, No.9, SEPTEMBER 2003 pp-1865。
【非特許文献4】James M. Tour, William L. Van Zandt, Christopher P. Husband, Summer M. Husband, Lauren S, Wilson, Paul D. Franzon, and David P. Nackashi, Nanocell Logic Gates for Molecular Computing(分子コンピューティング用のナノセル論理ゲート), IEEE TRANSACTIONS ON NANOTECHNOLOGY, VOL.1, NO.2, JUNE 2002 pp-100。
【非特許文献5】http://www.eng.yale.edu/reedlab/protected/proposals/nanocell-full-proposal.pdfにて入手できるナノセル・プロジェクト提案。
【非特許文献6】N. J. Wu, H. Lee, Y. Amemiya, H. Yasunaga, Methods for determining weight co-efficients for Quantum Boltzman Machine neuron devices(量子ボルツマン・マシン型ニューロン・デバイス用の重み係数を決定する方法), Jpn JAP, 38, 439(1999)。
【非特許文献7】http://www.nanohub.org/com.docman/task,down/bid,84/にて入手できるSupriyo Datta, Magnus Paulsson, Ferdows Zahid, Electrical Conduction through Molecules(分子を介する導電)。
【発明の開示】
【発明が解決しようとする課題】
【0008】
本発明の目的は、現実的なニューラル・モデル(一組の要領またはルール)と、この提案されたニューラル・モデルを考慮に入れて、脳の動作原理に基づいて動作できるデバイス(プロセッサ)を原則として作り上げることである。このような原理に基づくデバイスは、データ処理が更に速く、信頼性が更に高いので、広範な産業用途を持つこともあり、また、多値準位の情報処理に基づいているので汎用性があり、システム要件とともに自由に修正できる。まったく異なる種類の情報を処理し、同時に決定を下すことが、今まで、知られていなかった。単一ユニットにおいて、一度に1ビットよりも多くの情報を処理できるモデルもデバイスも、原則として、あるいは現実的に存在しなかったし(スーパーコンピュータは、このようなユニットを、いくつかパラレルに持っている)、また、どんなモデルも、脳のような基本的要素の死やノイズのもとに意思決定を存続させることもない。我々の最終目的は、ただ1つの情報処理システムにおいて、これらすべての特徴を提供することである。
【課題を解決するための手段】
【0009】
〔発明の概要〕
本発明者らは、脳内でのニューロンの集合計算の原理に基づいて、3Dマルチビットの垂直水平プロセッサを考え出して、本発明を完成した。すなわち、本発明は、以下の垂直水平プロセッサと、この垂直水平プロセッサを持つクラスタと、修正仮想ソース・ニューラル・ネットワーク・モデルと、上記垂直水平プロセッサまたは上記クラスタを用いるプロセッサ学習法とに関する。
第1に、本発明は、周囲電極の中央にありかつ多値準位システムまたはニューロンが収められている表面上にて、あらゆる方向から水平に複数の入力信号が与えられ、そして、前記表面上の様々な地点にて出力信号が垂直に取られている一対のテンプレートを含む垂直・水平プロセッサ(これを、「標準垂直水平プロセッサ」とも呼ぶ)を提供する。
本明細書では、信号入力と信号出力が互いに垂直であるので、我々は、このプロセッサを、「垂直水平プロセッサ」、あるいは単に「垂直プロセッサ」と呼ぶ(図1、図6を参照のこと)。多値準位システムが位置するテンプレートの面は、情報処理面と呼ぶ。また、多値準位導電率、すなわち、特定のバイアスにて2つ以上の導電率を示すシステムは、多値準位システムまたはニューロンと呼ぶ。
【0010】
第2に、本発明は、上記(標準)垂直水平プロセッサ、ニューラル・ノード・コントローラ、および、
次のA,BおよびCのやり方で接続された接続部切替器センサを備えるクラスタ(図18を参照のこと)を提供する。
A.前記垂直水平プロセッサの信号入力部の一部または全部を、垂直プロセッサのアレイに接続し、また、残りの信号入力部を、システム全体の自由信号入力部であるセンサの信号出力部に接続する、
B.その信号出力部の一部を、前記信号出力切替器のいくつかに接続し、また、残りの信号出力部を、他のバーティカル・プロセッサに接続する、
C.すべての自由信号出力部を、切替器に接続し、システム全体のどの信号入力部にも接続せず、最終クラスタ信号出力として垂直に取る。
本明細書では、「クラスタ」は、少数のプロセッサ、ニューラル・ノード・コントローラ、接続部、切替器、入力信号コンバータ・アレイを備えるシステムを意味する。
【0011】
第3に、本発明は、上記の垂直水平プロセッサのどれか1つを備え、また、修正が以下のA、B、Cをすべて含むような修正仮想ソース・ニューラル・ネットワーク・モデル(図11を参照のこと)を提供する。
A.旧概念の2値ニューロン(0または1の値を持つ)または連続体ニューロン(0〜1の任意の値)を、多値準位システムまたはニューロン(0と1の間の選択値)に代える。
B.それぞれのニューロンへの実効信号入力として仮想ソースを導入することが、他のニューロンからは生じない。
C.信号出力が垂直に取られるので、修正は、個々の信号出力にアクセスすることである。それゆえ、モデルは、3D(三次元)モデルとなる。
この仮想ソース・ニューラル・ネットワーク・モデルは、上記の垂直水平プロセッサに合うように、1982年のHopfield原理(図11)から作られたものである。なお、本明細書では、「モデル」は、リアルタイム動作用の学習ソフトウェアを作る間、従うべき一組の基本的な原理、要領、またはルールを意味する。
【0012】
第4に、本発明は、上記垂直水平プロセッサの単一垂直水平プロセッサを学習させるプロセッサ学習法(図12を参照のこと)を提供する。そこでは、信号入力と信号出力は、上記の発明された人工ニューラル・ネットワーク・モデルにより相互に関連づけられて、以下の学習法ステップ(1)〜(3)の主要初期設定の後で、仮想ニューロンまたは多値準位システムのルールまたは重み係数を見出す。
(1)第1に、局所バイアスと大域的バイアスに対する印加範囲を見出す(図13を参照のこと)。
(2)第2に、それらの動作レベルまたは機能振舞いを、多値準位論理状態ごとに見出す(図13を参照のこと)。
(3)最後に、予測不能な信号入力が与えられると、その問題のもっとも確からしいソリューションを与えることができるように、エネルギー最小化による論理関数を作り出す(または、見出す)(図14を参照のこと)。
【発明の効果】
【0013】
(従来のプロセッサとの比較)
ナノセルの学習法を述べている米国特許第6,820,244B2号において、大規模用では、この互いに作用し合う面上での垂直観察は実用にはならないと暗に示されている。
しかし、我々は、この垂直電極アレイ・システムを、ニューラル・ネットワーク全体の一構成部分として見なせる場合に、多くの点で、欠点を更にスマートなシステムに変えることができる。垂直になることが、基本設計を変えるだけでなく、その基本動作原理を、ナノセルのようなプロセッサの既定概念からまったく変えている。次に、水平面上では、我々は、あらゆる方向からやってくる様々な信号入力だけを持っており、すべての信号出力は、垂直に取られる。それぞれの垂直電極は、ニューラル・ネットワークの信号出力であって、ナノセル・プロセッサのようなシーケンシャル・プロセッサの場合のように、表面経路を介する信号処理を必要としないから、データをパラレルに情報処理する。ほんのわずかな多値準位ユニットでも、互いにほぼ独立した信号出力点に対しては切り換える必要があるので、性能も極めて高速であると予想される。
【0014】
我々のシステムでは、いかにして信号出力を得るか、また、その信号出力が、どれくらい予想とは異なっているか、更に、この信号出力がどんな具合に異なっているか、今や見て理解できるので、この互いに作用し合う面は、もはやブラックボックスではない。互いに作用し合う面上のあらゆる地点での電界、電位、電位勾配は、既知のものであり、これらは、予測されるかもしれない多値準位状態を我々が精力的に知るときに、この多値準位状態にスマート・システムをセットする。垂直信号出力は、ナノセルとは異なるが、脳と同様に、電流の上り傾斜と下り傾斜のある面である。また、この面上のスマート・システムの一部が切り換わらず、それにより、上り傾斜と下り傾斜の位置が変わらない場合には、そのソリューションにはまったく影響がないであろう。何らかの信号入力が、ソリューションにおいて何らかの効果を及ぼすかどうかというプロセッサのようなナノセルの単純な問題は、もはや生じない。ナノセルは、多くの点で、われわれの脳のような極めて並列情報処理のニューラル・プロセッサをまねている。ANNは、このデバイスが従うルールを見出して、異なる入力信号配列にて、異なる面を発展させるために使用される。「ナノセル」が入力信号と出力信号を学習させて、論理ゲートとして振舞う場合には、我々の垂直プロセッサが、センサ・アレイを通じての自然界と、適正な動作のために複数のモータが多値準位の制御を必要とするような器官との間のインターフェースであり得るから、論理ゲートを必要としない。
【0015】
これらすべての有利な変更を、以下に要約する。
1.本発明のモデル・デバイスは単純であるが、ニューラル・ネットワークのHopfieldモデルよりも新しい特徴が追加されて、われわれの脳の神経系統の情報処理の利点を弱めることなく、実験的に実現することができる。一例として、このモデル・デバイスは、論理ゲートを必要としない。
2.本発明のモデルは、使用される材料、その基本動作パラメータを破壊せずに原則として複雑な集積回路に用いられる演算エリアの寸法制約に対して柔軟性がある。
3.本発明は、2ビット以上の情報を一度に処理し、それゆえ、極限のパラレル・ビット処理を用いて演算することもある唯一のシステムである。これは、まったく並列なプロセッサである。1cmの情報処理面は、1スイッチ/100nmの面積があれば、同時に1テラビット(1012ビット)を情報処理できるが、しかるに、世界中のどんなプロセッサも、一度に1ビットしか情報処理できない。このことは、それぞれのスイッチが1GHzで動作すれば、各スイッチは、データを、なんと1012×10=1021ビット/秒で情報処理できることを意味している。
4.本発明は、意思決定が、各人の寄与ではなくて、有意な座標での応答によって決まるので、われわれの脳のように、極端なノイズのもとでさえ、決定が存続するような唯一の提案されたモデルである。
5.ランダムな相互接続により、我々のプロセッサを接続することにより作られたファジー集積回路が、我々が導入した垂直投影概念に従う論理も生み出すことができるので、本発明は、人間の脳に匹敵できるハードウェアを真剣に作る方向に我々を仕向けることができる。
6.本発明のモデルは、この原理を弱めることなく、集合計算(例えば、見て、考えて、働く)を実験的に実現することもある。これは、意思決定ユニットのあらゆる有意な誘因を考慮に入れることのできる唯一のニューラル・モデルである。
7.本発明のモデルは、使用される材料、異なる機能を同時に情報処理すること、情報処理面の寸法、あるいは、使用される電極の数、および、結合性の制約がないことで、柔軟性がある。
8.本発明のモデルは、この検出パラメータの3Dパターンを生成できる極限センサ・デバイスを作ることができる。
9.本発明のモデルは、我々が、これを、水平・垂直モードと垂直・水平モードの両方のやり方で使用できるので、数学的関数の演算に向けて柔軟性がある。
10.本発明のモデルは、その情報処理ユニット(ニューロン)の一部が、その情報処理面上で実行できなくても、その決定を存続させる唯一の既存モデルである。
【発明の更に詳しい説明】
【0016】
次に、本発明を詳しく説明する。
【0017】
上述の通り、第1の発明は、周囲電極の中央にあり、かつ多値準位システムまたはニューロンが収められている面上で、あらゆる方向から水平に複数の入力信号が与えられ、また、その面上の様々な地点にて出力信号が垂直に取られる一対のテンプレートを含む垂直水平プロセッサ(「標準垂直水平プロセッサ」)である。
【0018】
本明細書では、これらの多値準位システムの上記テンプレートの平面形状は、好ましくは、正方形または長方形である(図1〜図3を参照のこと)。このような形状では、前記複数の入力信号は、周囲のp+q+p+q個の電極の中央にありかつ多値準位システムまたはニューロンが収められている正方形または長方形の表面上にて、あらゆる方向から水平に、p×q個だけ与えられ、そして、前記表面上の様々な地点にて、m×n個の出力信号を垂直に取ることができる。ここで、m、n、p、qの値は、0から無限大までの様々な数であるが、ただし、mとnの双方、あるいはpとqの双方は、同時にはゼロになり得ない。
【0019】
これらの多値準位システムの上記テンプレートの平面形状はまた、三角形、円形、または多角形であることもある(図16を参照のこと)。このような形状では、前記複数の入力信号は、周囲電極の中央にありかつ多値準位システムまたはニューロンが収められている三角形、円形、または多角形の表面上にて、あらゆる方向から水平に与えられ、そして、前記表面上の様々な地点にて、出力信号を垂直に取り出すことができる。
上記テンプレートの平面形状が三角形であるときには、この三角形を取り巻くa+b+c個(3辺からのもの)の入力電極が、この面上にセットされる。上記テンプレートの平面形状が円形であるときには、この円を取り巻くn個(周界に沿って、信号入力aの数)の入力電極が、この面上にセットされる。上記テンプレートの平面形状が、n辺の多角形であるときには、この多角形を取り巻くa+b+c+…+n個(n辺からのもの)の入力電極が、この面上にセットされる。また、この情報処理面と周囲電極との高さの差は、情報処理面ごとに様々である。
【0020】
上記の垂直水平プロセッサでは、好ましくは、そのテンプレート表面は導電性がある。また、好ましい垂直電極は、多値準位システムまたはニューロンへ流れるSTMベースのトンネル電流を測定するものである(図6を参照のこと)。ここでは、この導電面は、好ましくは接地されており、また、p×qの配列のそれぞれの電極は、通電していて、独立した測定回路の一部となっている。
【0021】
他の好ましい垂直電極は、多値準位システムまたはニューロンと接触してAFMベースの原子間力を測定する。ここでは、この導電面は、好ましくは接地されており、また、p×qの電極アレイのそれぞれのバーティカル導電探針は通電していて、独立した測定回路の一部となっている。
【0022】
本発明の垂直水平プロセッサの情報処理面は、好ましくは、酸化還元作用センタまたは配座依存センタを有する材料で、次の性質A,B,Cのうちの少なくとも2つの性質をもつ材料を含む(情報処理表面上の)薄膜を持っている。
A.一対の電極間に取り入れられた材料が、或る一定範囲または用途において(図5Bを参照のこと)、どの特定のバイアスでも、安定した多値準位導電率を示す性質(図5Cを参照のこと)、
B.異なるバイアス状態を加えることにより、それぞれの状態がもたらされることもある性質(図5Bを参照のこと)、
C.矩形電圧パルスへの過渡電流応答が、ガウス応答、ステップ応答またはランプ応答、あるいは、階段状応答の発展させた形式である性質。
なお、本明細書では、「情報処理面」は、このテンプレートのうち、多値準位システムがある面を意味している。また、「以下のA、B、Cの性質のうちの少なくとも2つ」は、(AとB)、(BとC)、(CとA)、または、(AとBとC)の場合を意味している。
上述の「酸化還元作用センタまたは配座依存センタを有する材料で、かつ上のA、B、Cの性質のうちの少なくとも2つが含まれている材料」として、我々は、例えば、任意の分子システム、すなわち、ナノワイヤ(細線)、またはナノパーティクル、または量子ドット、またはそれらの有機または無機の混成物、または液晶材料、またはポリマー、酵素、脂質、DNA状の様々な生体分子システム、およびそれらの生体分子システムの混成物、あるいは、有機材料の任意の組合せ、および/または、任意の無機合成物または自然に存在する無機材料を持つものから成っているシステムを挙げることができる。
【0023】
本発明の垂直水平プロセッサでは、上記多値準位システムまたはニューロンは、好ましくは、以下のA、B、C、またはDの手段を含む。
A.特定の信号を検出するためのセンサ、および、現実の音、熱、光、その他の任意の形式のエネルギーのような信号を検出するためのセンサで、情報処理表面上に当たると、その信号を電子信号の一次元配列に変換できるように特定的に設計されたセンサ。
B.特定機能を持つ他の任意の機能材料の小型情報処理ユニットであって、情報処理表面全体を、異なる機能を持つように異なる領域へ変換転送するもの;
C.可能なあらゆる導電状態の間で可逆に切り換えて、前記状態を、平衡状態が表面全体に及ぶ時間よりも長く、覚えておくことができる多値準位システムまたはニューロンであって、何回でも更新できるもの(RAM);
D.前記可能な多値準位状態の1つに一度、切り換えると、恒久的に同一状態にとどまる多値準位システムまたはニューロン(ROM)。
【0024】
本発明の垂直水平プロセッサでは、垂直電極は、好ましくは、原子一個の先端を持つ探針の様にナノスケール幅の高さとマイクロスケール長さを持つ構造物であり、また、或る電極システム中のいくつかの探針は、好ましくは、AまたはBを含む。
A.或るソリューション・ポイントが単一の原子先端であると考えられるような原子一個の先端を持つ探針(図16を参照のこと)。
B.ソリューション・ポイントがあらゆる原子先端に対する集合出力信号の平均応答と考えられるような単一電極ユニット中に定義された数だけの原子先端(図16を参照のこと)。上述の垂直電極として、我々は、例えば、メタル・ナノワイヤ、半導体ナノワイヤ、カーボン・ナノチューブ、および、他の任意の金属製または半導体のナノロッド、ナノチューブ、またはそれらの束状のものを挙げることができる。
【0025】
本発明の垂直水平プロセッサでは、信号入力部は、好ましくは、ニューラル・ノード・コントローラに接続され(図6を参照のこと)、そこでは、すべての入力信号は、この垂直水平プロセッサに先行する異なるユニットにパラレルに分けられて、かつ、次のA,B,C,DまたはEを含むそれぞれのユニット間で切り換える(図7を参照のこと)。
A.シーケンス順序と中間アース接続を変えることもあるユニット、
B.配列された同一信号入力を、異なる順序の配列に変えるユニット、
C.配列された信号入力を、異なる形態のプロセッサにパラレルに通して、結合出力を生成するユニット、
D.前記信号入力の一部を、パルス式アレイ・ソースに代えるユニット、
E.入力信号をチャネルに通し、そこで、前記入力信号に乗算または除算を行って、情報処理表面全体の入力インピーダンスと一致するようにするユニット。
ここで、上記ニューラル・ノード・コントローラは、この配列された同一入力信号を、垂直プロセッサに送る前に、この入力を、異なるやり方で修正できるハードウェア・ソフトウェアのパッケージである。
【0026】
本発明の垂直水平プロセッサでは、p×q個の信号入力用のアース接続の数は、同一の組の配列された入力信号を情報処理するために、好ましくは1個からpq−1個まで様々である(図6の領域Aにおいて)。アースのそれぞれの組合せは、好ましくは、特定の動作ノードを作り出し、また、それぞれのノードは、好ましくは、それら自体のニューラル・ネットワークを持ち、トレーニングして、ルールを作った後で、特別な種類の情報処理を必要とする様々な状況において、これらのノードが使用されるようにしている。
【0027】
我々は、この発明された垂直水平プロセッサを逆に使用することもできる(逆プロセッサ)。このニューラル・モデルを逆にするときは、すなわち、電圧を垂直方向に印加して、出力信号を水平方向に取る。
すなわち、本発明はまた、周囲電極の中央にありかつ多値準位システムまたはニューロンが収められている水平表面上にて、上から垂直に複数の入力信号が与えられ、そして、それらの電極を通じて出力信号が水平に取り出されている一対のテンプレートを含む垂直水平プロセッサも提供する。
【0028】
上記(逆に使用される)垂直水平プロセッサでは、垂直の複数入力電極は、好ましくは、この情報処理面上の広い領域にわたって局所バイアスを発生させる平形または球形の前端縁を持ち、また、垂直電極の前端縁領域は、好ましくは、次のA,BおよびCを構成している。
A.情報処理面の或る一定割合以上をカバーする、個々のすべての垂直電極の和である合計領域であって、そこから、動作の種別ごとに、信号入力動作ノードが作り出される合計領域、
B.最終ソリーション表面上の個々の信号入力の制御を様々に調整するための、束状電極または個々の垂直電極の関係領域、
C.情報処理表面上の等高線の電位分布を調整するために矯正した前端縁の形態。
【0029】
上述のように、第2の発明は、上記標準垂直水平プロセッサ、ニューラル・ノード・コントローラ、および、次のA,BおよびCのやり方で接続された接続部切替器センサを備えるクラスタ(図18を参照のこと)である。
A.前記垂直水平プロセッサの信号入力部の一部または全部を、バーティカル・プロセッサのアレイに接続し、また、残りの信号入力部を、システム全体の自由信号入力部であるセンサの信号出力部に接続する。
B.その信号出力部の一部を、前記信号出力切替器のいくつかに接続し、また、残りの信号出力部を、他のバーティカル・プロセッサに接続する。
C.すべての自由信号出力部を、切替器に接続し、システム全体のどの信号入力部にも接続せず、最終クラスタ信号出力として垂直に取る。
【0030】
上述のように、第3の発明は、上記の垂直水平プロセッサのどれか1つを備えている修正仮想ソース・ニューラル・ネットワーク・モデル(図11を参照のこと)であって、その修正は、以下のA,BおよびCを含んでいるモデルである。
A.旧概念の2値ニューロン(0または1の値を持つ)または連続体ニューロン(0〜1の任意の値)を、多値準位システムまたはニューロン(0と1の間の選択値)に代える。
B.それぞれのニューロンへの実効信号入力として仮想ソースを導入することが、他のニューロンからは生じない。
C.信号出力が垂直に取られるので、修正は、個々の信号出力にアクセスすることである。それゆえ、モデルは、3D(三次元)モデルとなる。
この発明された仮想ソース・ニューラル・ネットワーク・モデルは、上記の垂直水平プロセッサに合うように、1982年のHopfield原理(図11を参照のこと)から作られたものである。なお、本明細書では、「モデル」とは、リアルタイム動作用のトレーニング・ソフトウェアを作る間、従うべき一組の基本的な原理、要領、またはルールを意味する。
【0031】
上述のモデルにおいて、その形態は、仮想ソースからの実効信号入力により生成された重み、すなわち大域的加重値と、バーティカル・プローブで生成された重み、すなわち局所加重値との積のベクトル和を含むエネルギー項を最小化することで、作ることができ(図14を参照のこと)、そして、これら2つのプラスの寄与に、多値準位状態のしきい値により生成された加重値を用いて、否定の演算を行うことができる。
【0032】
上記モデルの1つの好ましい実施形態は、A、B、および/またはCを含む。
A.垂直水平プロセッサのモデルの一部または全部の信号出力を、元に戻して、それ自体の信号入力部に直接または間接に接続することによるフィードフォワード・ネットワーク(図12を参照のこと)。
B.多値準位ニューロンの1つまたは複数の隠れ層(図11を参照のこと)を持ちかつ、更に少ないか、または等しい数の信号出力を、様々なレベルにて発生させて、最終信号出力に達するようにするモデル。
C.4進法または8進法のシステム、あるいは他の論理システムのように、2種類以上の論理ニューロンをいっしょに含む混合多値準位論理ニューロンから構成される中間層(図11を参照のこと)。
【0033】
上述のように、第4の発明は、上記の発明された垂直水平プロセッサの単一垂直水平プロセッサを学習させるプロセッサ学習法(図12を参照のこと)である。ここでは、信号入力と信号出力は、上記の発明された人工ニューラル・ネットワーク・モデルにより相互に関連づけられて、以下の学習ステップ(1)〜(3)の主要初期設定の後で、仮想ニューロンまたはマルチレベル・システムのルールまたは重み係数を見出す。
(1)第1に、局所バイアスと大域的バイアスに対する印加範囲を見出す(図13を参照のこと)。
(2)第2に、それらの動作レベルまたは機能振舞いを、多値準位論理状態ごとに見出す(図13を参照のこと)。
(3)最後に、予測不能な信号入力が与えられると、その問題のもっとも確からしいソリューションを与えることができるように、エネルギー最小化による論理関数を作り出す(または、見出す)(図14を参照のこと)。
【0034】
上記のプロセッサ学習法では、上記のステップ(3)において論理関数を作り出して、数学的演算(図17を参照のこと)を行うプロセッサは、好ましくは、下記CまたはDを含む関数基準を扱うAまたはBを含む。
A.この発明された(標準)垂直水平プロセッサの垂直信号入力・水平信号出力のために、3D行列を、線形化配列に逆転させる逆行列プロセスの概念を介すること。
B.水平信号入力と垂直信号出力のために、3D行列への線形化配列の変換を介すること。これは、逆垂直水平プロセッサのプロセッサに対して基本的な動作方法である。
C.演算子としてプローブ・バイアスを使用して、数学的関数を情報処理すること。
D.p×q個の信号入力に対するアース接続の数は、同一の組の配列された入力信号を情報処理するために、1個からpq−1個まで様々である。アースのそれぞれの組合せは、特定の動作ノードを作り出し、また、それぞれのノードは、それら自体のニューラル・ネットワークを持ち、学習させて、ルールを作った後で、特別な種類の情報処理を必要とする様々な状況において、これらのノードが使用されるようにする。この場合、上記の発明された標準垂直水平プロセッサまたは逆垂直水平プロセッサの幾何学的な情報処理面の変形を使用して、特定の関数基準を生成すること。
上記の数学的演算として、我々は、例えば、行列変換、演算子、テンソル情報処理、積分、および他の機能性のような数学的演算を挙げる。
【0035】
上記クラスタ(図18〜図19を参照のこと)用の上記プロセッサ学習法では、学習は、好ましくは、基本考慮事項A、B、Cを含む上記モデルに従って行われる。
A.このプロセッサの信号入力は、2D入力信号配列と見なされるクラスタの自由信号入力であり、また、このプロセッサの信号出力は、3D配列と見なされるクラスタの最終信号出力であり、更に、クラスタのすべての基本プロセッサ構成要素を、多値準位ニューロンの1つまたは複数の層に代える。
B.まず最初に、このクラスタの個々の構成要素を学習させて、次に、最終信号出力におけるその重要性が、最終信号出力パターンにおいて、もっとも類似する部分との関数関係を見出すことにより、決定される。
C.センサから、あるいは他の任意のプロセッサから直接に、クラスタに2つの異なる種類の信号入力があるので、したがって、この最終パターンへの2つの異なる種類の信号入力の重要性が、関数関係を見出すことにより、決定される。
【0036】
上記の逆プロセッサ用の上記プロセッサ学習法では、好ましくは、次のステップA、ステップB、ステップCを含む学習法が、行われる。
A.垂直電極からの電界投影により生成された情報処理面上の等高線に、ニューロンのクロスチェック再現性の追加基準を用いて、局所バイアスと大域的バイアス用の印加範囲を見出すステップ、
B.隣接する垂直電極が互いに作用し合って生成された電界分布等高線とともに、それぞれの多値準位状態への遷移用の機能振舞いを見出すステップ、
C.水平電極から水平電極への最小エネルギー経路を考慮に入れて、エネルギー最小化による論理関数を作るステップ。
【0037】
われわれのダイナミックな脳では、結合性が連続的に変化し、それにより、脳は、未知の状況において実行されるいくつかの基本ルールを作ることができる。ルールを作ることは、ただ、3Dプロセッサ・ネットワークを恒久的に変化させることに過ぎない。しかしながら、われわれがたとえどんな個体デバイスを作り出そうとも、われわれは、このシステムの形態を変更することはできない。それゆえ、これと同等な個体システムは、3つの基本的な基準を持つべきである。第1に、このシステムは、極限のパラレル情報処理を持つシステムとなり、すなわち、その情報処理経路上の任意要素の死、またはノイズは、最終的な意思決定に著しい影響を及ぼしてはならない。第2に、このシステムは、重畳信号の集合出力を提供するために、3Dパターンのソリューションを生成できなければならない。最後に、組込みプロセッサの動作原理は、自由に修正できるか、あるいは、異なる機能を持つプロセッサに自由に転換できるか、RAMおよびROMベースのプロセッサ、特異な動作のセンサなどとして自由に構成できるものでなければならない。動作原理は、単一情報処理ユニットで情報処理されるあらゆる種類の汎用データをサポートしなければならない(すなわち、機能的に異なるソースからやって来るあらゆる種類の信号が、そのデータの収集の間に重ね合わされる)だけでなく、この動作原理は、それ自体のデータ情報処理の一部として、これらのデータの効力を弱めてはならない。
【発明を実施するための形態】
【0038】
図1は、本発明の垂直プロセッサの略図を示している。水平部分と垂直部分は、電子的にも、物理的にも独立していて、これらの部分が、結合された状態で示されている。図2は、水平面(部分)の構造設計段階とその外部接続部を示し、また、図3は、垂直面(部分)の構造設計段階と、図1に示される外部接続部を示している。
我々のモデル・プロセッサの動作原理は、上述の基本要件をすべて満たすこともある。本発明のモデルおよび方法を説明する前に、わかりやすくするために、この原理を実現できるモデル・デバイスを述べる。このプロセッサは、2つのテンプレート、すなわち、一方は情報処理面ユニット101と、他方は前記ユニットと向き合った垂直電極アレイ・ユニット102を持っている。それぞれの垂直電極103と水平電極104からのケーブルは、情報処理面105または収集面106からの信号入力または信号出力のために、結束して出る。情報処理面は、ニューロン107を持っており、また、垂直電極は、これらのニューロンからトンネル距離だけ離れた所にある。情報処理面と電極との間には、トンネリングをまったく確証しない間隔108が確保されており、更に、そのアースも、信号出力部109に接続されている。我々は、水平面上に電界分布を作り出す必要がある。それゆえ、外部の電極厚さd(201)は、水平導電面d(202)の厚さよりも厚くなければならない。金属電極面と基板とを組み合わせたものは、使用されるニューロンの種類、更に、この構造物を製造するのに用いられる技術にも左右される。一例として、我々は、化学蒸着法によりSi基板203にSiOを被着させ(204)、更に、電子ビーム・リソグラフィー(205)により外部Au電極Eを蒸着した低抵抗のSi(111)基板を挙げることができる。引き続いて、ドライ・エッチング(206、207)により、SiOをリフトオフし、最後に、Au処理面Pを被着させる(208)。この構造物は、それぞれの電極が、情報処理面またはアースとともに、更に外側の回路209に接続されている更に大きい構造物の一部である。電極アレイp×qまたはm×nの大きさは、システム要件210によって決定される。Au面は、Hの一段熱処理により、原子的に平坦にされている。そこで、これを実現するために、2段階のリソグラフィーが必要となる。垂直電極アレイは、本発明では必要でないが、ただし、産業応用には有用であることもある。垂直電極アレイでは、我々は、化学気相成長法(302)を用いてSi平面301にSiOを被着させた低抵抗のSi(111)平面を例として挙げることができ、図3Bに示されるようなAuのパターンを、この平面上に、電子ビーム・リソグラフィー303を用いて形成する。また、この面全体を樹脂で覆い(304)、また、或る部分にドライ・エッチングを行って(305)、その選択された領域内でのみ、絶縁分離されたナノロッドまたはナノワイヤのアレイを成長させられるようにしている(306)。図3Aに描かれるプロセス全体は、SiOを被着させることなく、高抵抗のSi基板上に行われることもある。ナノワイヤまたはナノロッドの成長を開始させるために、305と306の間で、成型触媒金属を回転塗布させる必要があるかもしれない。異なる金属および半導体材料用のナノワイヤの垂直成長は、出版物において、成長する化学槽被着、化学蒸着などによる標準的方法が確立されている。すべての電極接続部は、それらの接続部を外側の外部電子回路に導かせる大構造物の一部である。
【0039】
上記サンプルを、任意のSTM/AFM機構(図4)において水平情報処理ユニット401に代えて、そこから、m×nのケーブルをシステム402から取り出して、それを、PC(パーソナルコンピュータ)を基本情報処理装置としてGPIB/RS制御システムを持つ電圧源に接続することができる。専用ソフトウェアは、パルス、あるいは、印加信号入力の大きさまたは時間を制御することができる。垂直信号出力部は、一般に、本発明のモデルの適用性に関する限り、元のSTM(走査トンネル顕微鏡)/AFM(原子間力顕微鏡)本体404に接続されたSTMまたはAFM探針403である。我々は、専用の2つの圧電素子駆動機構を基盤装置としたシステムを、この結合システム405用に背中合わせに設計することがある。産業用途では、我々が提案している設計に類似する束状構造垂直電極は、メインSTM/AFM本体408中の探針406、407に代替することもある。束状構造垂直電極のケースは、その理論上のモデリングが非常に限定されているので、我々の発明の極めて代表的なケースと見なされることもある。この垂直信号出力では、p×qのケーブルを、システム406から取り出し、また、それぞれの信号出力部は、水平面を共通のアースとした独立の電流測定ユニットを持っている。接近中409、410、411の間、この信号出力の1つまたは複数は、探針のプラス電圧に接続され、また、アースは、探針のアースである。トンネル電流を受け取るとすぐに、これらの電極の一部は、そのトンネル距離まで近づいているものと見なされる。基板またはトンネル電極の位置を移動させることにより、垂直、水平部分を、的確な位置にする。図4Cにおいて、的確な位置にするために、簡単な要領を提案している。4つのスイッチS1、S2、S3、S4のどれか1つをオンに切り換えて、点A’、点B’、点C’、点D’を基準にして、STMシステム内で走査を行う。我々は、相応の情報処理面、すなわち最大の共通領域に達するまで、共通領域412、413、414を大きくしようとする。すべての電極を、垂直に同じ高さに準備することは不可能であるから、我々は、これらの電極をいくつ接続するか、あるいは、どのシステムが最大信号出力を得ているのか保証できない。ほとんど、電極の応答は非線形でもある。しかし、このシステムは、ビットが同時に情報処理されることを示すことができ、しかも、最大の共通領域となった後で、水平・垂直ユニットをトンネル距離416に固定するために固定具415を使用できるような商業用ユニット用の概念を創出するのに役立つ。こうして、我々は、水平信号入力・垂直信号出力用の概念デバイスを構築し、逆(垂直信号入力・水平信号出力用)も同様である。
【0040】
我々は、本発明を実現できるようなボックス用の概念を構築してきたので、多値の導電準位を持つことができるニューロン用の概念構築を必要とする。「ニューロン」という語は、水平面上で一群として振舞い、かつ多値の導電率を示す、任意の材料から構成される等価システムを意味している。多値の導電率という語は、等価一群システムが、異なる導電率の状態に切り換えられることが可能で、また、特定のプローブ・バイアスにおいて、測定された導電率が、切換え後には違えることができることを意味している。電子を獲得するか、または電子を放つことにより、あるいは、配座変化により、このシステムは、配置空間(qij)の異なるエネルギー(Uij)最小値にとどまることもある(図5A)。それぞれのエネルギー最小値は、システムの導電率501、502、更には多値準位503、504に対応する。異なる状態の導電率の差は、大きくなければならない。我々は、水平面上で、多値の導電率のシステムをもたらすことのできる有機材料または無機材料を用いる薄膜を準備する必要がある。このような基本的な基準に従って、多くのシステムを選択できる。我々は、電子を受け入れるか、または電子を放つごとに、分子システムが、異なる導電状態に導かれるように、サイクリック・ボルタメトリーにおいて複数の電子可逆酸化還元を示す分子を選択することも可能であろう。我々は、酸化する/還元する配位子または分子を用いて固定されたナノワイヤを選択することも可能であり、したがって、酸化度または還元度を変えて、多値システムが実現されることも可能であろう。DNA、ポリマーまたは長鎖分子、(π)共役部が(分子の)長手方向に、切り換わる分子またはナノパーティクルに固定されている生体分子、あるいは、酸化剤/還元剤のような分子システムは、複数の酸化準位または還元準位を持つことができる例の一部であるか、あるいは、導電率が異なる配座状態は、多値準位システムと見なされることもある。このような薄膜は、自己集合により成長され、また、配座変化は、我々の好みのもっとも望ましいシステムに到達するまで、様々なパラメータにより制御される。多値準位システムは、準位ごとに必要となる或る一定のエネルギーを持っており、それは、電界により印加される。一連の電圧を印加して(505)、異なる導電状態506を起こし、かつ、その間に数回(507)、同じプローブ・バイアスで調べると、プローブ508のシーケンスごとに、異なる導電率を見出すはずである。このような書き込まれた状態は、適切なパルス509を印加すれば、消去できるであろうし、また、状態510の減衰が明らかになろう。このシステムが不可逆性のものであれば、このシステムはROMとして使用され、また、1つのニューロンを、一度だけ使用できよう。上に説明されるように製造されたどんなシステムも、解析されるような「書き込み・読出し・消去・読出し」の性質を示し、これは、多値準位のニューロンと見なされる。
【0041】
テストシステム全体用の演算回路網は、2つの結合回路、すなわち、水平回路と垂直回路を持っている(図6)。水平情報処理面601は、mnケーブル602を介してニューラル・ノード・コントローラ603に接続され、また、ニューラル・ノード・コントローラ603の信号出力部は、独立した電圧源604またはセンサ・アレイに接続されることもある。異なる機能のセンサアレイF1、F2、F3、F4(605)は、ニューラル・ノード・コントローラに接続されることもある。この信号出力は、STM探針を用いて、すべてのニューロン606の応答を走査することで読み取られ(図6C)、更に、独立した電流計607のアレイを用いて、その信号出力を測定するか(図6D)、あるいは、それらの電流計を接続切替器608に接続することさえできる(図6B)。ここで、センサ/ソース701、702と、水平情報処理面703、704用の修正ノード信号入力との間のインターフェースであるニューラル・ノード・コントローラ(NNC)(図7)について説明が必要となる。NNCは2つの面がある。一般に、情報処理面705の特定の地点における実効電流源{I}による電界分布の変化は、アース接続部の数と向きが決まっているために、また、情報処理面の幾何形状が円形、あるいは三角形または多角形のいずれか、すなわち定められた幾何形状であるために、いくつかのルールに従うことになる。第2に、有機材料または無機材料の特定の合成物である仮想ニューロンでは、その応答関数は、超分子の不可解な特徴を表わすように変化する。ニューラル・ノード・コントローラの目的は、信号源{S}を得て、アース接続、外部バイアス、パルス・シーケンス、パターン制御を変えて、ハードウェアにより異なるルートを作り出して、信号が通過するときに、その信号が、新たに定められた電圧変化ルートを全く同じに再現することである。信号源{S}のランダム変化だけが、定められたルールに従って、固有の電界分布を生み出すこともできる。それゆえ、ニューロンの応答関数、すなわち、ニューロンの元の信号入力と信号出力との関係は、更に明確に定められよう。我々は、一組の{S}の信号源から、水平情報処理面に、一組の{I}の信号を生成できる異なる電気回路を生成する。あらゆる組は、この表面上のランダム電界分布用の源であり、これは、ニューラル・ノードと呼ばれる。ノードN1、N2、N3、…、Nn(706)の間で切り換えることができる。それぞれのノードは、関数F1、F2、…、Fn(707)に対応する。これらの関数はすべて、一般化されて、最終基準関数F(708)をなすこともある。我々は、力線801と等電位面802を含む長方形の面上に電界を分布させた。図8のC欄に、また、ときには図8のA欄とB欄に、Gで示されているアース接続は、電界分布の基本的で、もっとも顕著な特徴を決定することを示している。電界分布が作り出されるとすぐに、情報処理面のニューロンは、この電界に応答して、平衡配座に達しようとする。許容される量子井戸901、902の寸法は、それぞれの量子井戸において許容されることになる導電ニューロン配座(σ)のエネルギー準位を決定する。言い替えれば、3D(3次元)箱903の寸法は、どの導電性の球を904に嵌めるか決定する。STM/AFMの探針は、箱にニューロンの球を一杯に詰めるごとに、トンネル電流を流して、異なる高さ906、907、908を生み出す。これらすべてのナノスケールの多値応答の柱は、マイクロスケールの(凹凸を持つ)表面909を出現させる。この表面上のあらゆるピークは、入力信号の問題の解と見なせる。そこで、現実のセンサから、光、音、熱のような信号が、電子信号列1001に変換され、また、これらすべての信号列が、水平面1002に送られる。この信号は、電界分布を発生させ、多値準位を持つニューロンが相互に作用し、平衡状態に達し(1003)、ニューロンが入っている3D量子井戸のランダム分布1004が、強制的にニューロンに、許容された状態に到達させる。垂直電極のアレイ1005は、低い電圧を印加して、3D量子井戸1006を破壊することなく、ニューラルの状態を読み取る。その結果得られる信号出力の3D信号列は、多値で(1008)、接続されたモータ1007を制御できる。ニューラル・ネットワークの現実的なモデルは、電子パルスの入力信号列1002と出力3D信号列1006との論理関係1009を作り出す。この論理関係は、未知の状況において、結果を予測するために使用される。
【0042】
我々は、その発明のモデルを、次のように作り出す。このプロセッサ上のそれぞれの多値準位システムを、仮想ソース1104、1105、1106の特定構成にて導電率を持つことができるニューロン1101、1102、1103と見なして、そのニューロンを異なる状態に切り換える。どの瞬時においても、ニューラル・ネットワーク面の状態は、二次元のm×n成分の行列V=[V11,V21,V31,…,Vmn]である。この場合、その面上には、mnの多値準位システムがある。成分の値は、0からn−1にわたる。そこで、我々は、ニューロンXの信号出力活動が、0〜n−1;X(t)=(0)V(n−1)に等しい時間依存多項パラメータであるという点を、Hopfieldの確率的な離散モデルや、決定論的な連続モデルを修正する。ここで、V(n−1)は、n個の入力信号と1個の出力信号の論理関数1107である。標準のニューラル・ネットワークモデルとは違って、ここでは、我々は、前シナプス性のニューロンを持たず、その代わり、電位分布と電界分布の行列χijの要素を持ち、すなわち、周囲電極アレイの電気信号で発生するそれぞれのニューロン信号入力に対する仮想ソースの影響1108を持っている。しかし、我々は、アースと、この探針との間の実効電位、および、個々の要素とこの探針との間の相互作用によって決まる出力信号をニューロンが与えるように、シナプス結合重みWijを持っている。多値準位の論理を考慮に入れるときには、状態が実現するたびに、n個のしきい値を持つ。それぞれのニューロンしきい値が、印加された電圧範囲内にランダムに分布することを考慮に入れて、所与のシステムに対して、一組のしきい電圧{θ}を考察できる。ニューロンの出力信号1109は、入力信号としての電界行列要素、多値準位しきい値、この行列中の遷移確率、個々に測定された応答関数によって決まる関数である。我々の発明は、(a)仮想ソースを導く前シナプス性のニューロンを除去し、(b)多値準位論理を導入し、(c)個々の出力信号を考慮に入れることで、20年前のニューラル・ネットワークの概念を修正している。
【0043】
ここで、垂直電極またはナノワイヤの束によって測定された出力トンネル電流パルスのそれぞれの要素を、基本的にガウス形関数f(x)、例えば、次式で与えられた負微分抵抗システム用のものであると書き表すことができる。
【数1】


この出力関数は、このシステムに印加される入力電圧パルスの種類によって決まるステップ関数またはランプ関数、あるいはシグモイド関数などであることもある。関数の変数xは、周囲電極信号列からのシナプス信号入力、ナノワイヤ・トンネル電流測定回路からのプローブ・バイアス、および、多値準位切換え用のしきい値の加重平均によって決まる。
【数2】


式中、ijは、電流が測定される情報処理面上のニューロンの座標であり、また、kは、それぞれ少なくともrの間隔を置く合計e個の電極のうち入力電極の順番である。Vは、プローブ電圧であり、また、θは、k番目の状態のしきい値である。ここでは、多値準位システムのクラスタリングや幾何学面の欠陥による過度の電子状態修正を無視するが、ただし、シナプスの重みでは、システム間の相互作用を考慮に入れている。
この情報処理面上のあらゆる多値準位システムまたはニューロンは、この状態のエネルギーが、所与の重みに対して最小となるもっとも確からしい状態θを持っている。このシステムのエネルギーは、次式で与えられる。
【数3】


このエネルギー変化は、多値準位ニューロンであるので、探索バイアスとしきい値により制御される。ここで、sは、電極(すなわち、仮想ニューロン)用の実効電位である。このエネルギー論理の式に基づいて、主たる状態が決定される。θを用いて、重み変化を見出す。もっとも確からしい状態の組は、このシステムにおいて、どのようにして、ニューロンが、多値準位論理を生成できるのか決定するために使用される。例えば、8レベルの論理値を持つ場合には、θは、0から7まで様々である。また、このシステムでは、3+5=0、5+5=2である。そこで、外部電極から、電圧アレイを印加した後で、この情報処理面上に、0から7までの様々な数がランダムに分布する。
【0044】
θを選択した後で、それぞれに対して出力信号誤差を計算し、また、もっとも確からしい重みが、バックプロパゲーション・アルゴリズム、すなわち、誤差が最小となるまで、結果の重みのフィードバックにより続けられる計算により、選択される。我々は、この情報処理面と出力信号層1110との間に隠れニューロン・レベルを考案できる。ここでは、ただ1つの隠れ層だけの場合について説明する。pqとして信号入力ノード1111、1113、stとして隠れノード1110、1114、最後に、ijとして信号出力ノードを持つ場合である。隠れモードにおいて、この隠れ層は、我々のモデル1114であっても、あるいは、Hopfieldのニューロン1110であっても良い。mnの数の入力電極があるので、この情報処理面全体が、mn個のセルに分けられる。しかし、mn個のセルはそれぞれ、いくつかの多値準位システムを持つことができる。例えば、その数はabである。Vpqは、これらの入力セルのそれぞれに対する信号入力であり、pqは、11(p=1、q=1)からabまで様々である。これらのセルの出力信号は、
【数4】


により与えられる。そこで、ニューロンの隠れ層がcdある場合には、stは、11(s=1、t=1)からcdまで様々である。ここで、我々は、STM/AFMへの1つの出力信号Iij、あるいは、STM/AFMの探針に代替可能な束状構造電極をまねた、ナノワイヤまたはナノロッドまたはナノチューブへの数個(例えば、uv個)の出力信号を持っている。それゆえ、
【数5】


となり、したがって、最後に、このモデル化されたニューラル・システム用の出力信号は、次式となる。
【数6】

【0045】
先に述べたように、しきい電圧θと探索電圧Vの概念をこの関数に取り入れることができる。ここで、上記原理のプログラミングへの導入について説明する。まず最初に、θと、更にはそれぞれの状態に対応する重み組合せとを決定する必要がある。このような状態が、巡回的なやり方でどのように得られるのか、換言すれば、我々は、どんなランダム電圧アレイ信号入力に対しても、8値論理システムとして、0から7までの出力信号がつねに得られるような、アナログ・デジタル変換器としてこのシステムを使用したい。我々は、単に或る信号入力バイアスを変更するだけで、特定領域での論理応答をどのように変更するかを規定するいくつかのルールを作る必要があるので、この巡回動作は確実でないかもしれない。この手法により、日常使っているコンピュータ・プロセッサとの整合性が構築できる。
【0046】
まず最初に、特定の探索バイアスVに対して、出力応答が左右される電位の総和をとる範囲
【数7】


を決定しなければならない。式中、ViLは、それ以下では、面上でニューロンがまったく応答できない最低電位総和となり(1201)、ViHは、それを超えると、ノイズが、有意な変化にまさる最高総和になる(1202)。同様に、我々は、探索電位Vの範囲を決定しなければならず、その範囲のもっとも低い所で、ニューロンを探知するのに必要な最小電圧が決定され(1203)、また、最大電圧は、それを超えると、電極電位変化が無意味となる大きさである(1204)。第2に、ニューロンは、あらゆる論理状態に対して感受性が高いわけではなく、その論理状態の範囲や、最終的に、ニューロンごとの状態を達成するのに必要な電位の総和に対して感受性が高いわけではない。我々の場合には、多値準位システムを持つので、しきい値およびシナプスの重みに対して、エネルギー最小値または電位の総和を調べる必要がある。我々は、図13A、図13Bに示される特定のニューロンでは、ノードが変化する特定状態に対して、電位総和または重みがどのように変わるのかを決定した。ノード効果の平均を図13Cにプロットして、特定の状態を特定のニューロンに及ぼすために必要なもっとも有望な配列組合せを決定した。このような配列から、上記ニューロンを誘発する確率がもっとも高い配列を、図13Dから選択して、それらの配列を、可能なあらゆる組合せに施して、図13Eに示される多値準位論理のルールを作る。
【0047】
本発明者らは、多くのやり方で実現できる学習プロセス用の段階的手順を要約してきた。本発明の場合は、図14に示される通り、ニューラル・ネットワーク上に隠れニューロンがない、極めて特殊な場合を述べてきた。我々のエネルギー変数は、3組のパラメータであり、目標は、与えられた任意の入力信号シーケンスに対して、能動的で、もっとも有望な状態を見出すことである。そこで、我々は、エネルギー値を最小にするか(1401)、あるいは、先のステップ1402から、多値準位の変分関数Gijを決定する(1403)ことになる。備わっている性質によって、学習により切り替え器を接続することになり、そのために、未知の任意の組の入力信号にいつ遭遇することになっても、我々のモデル・デバイスが、出力信号用の主式1404のしきい値を決定する逆関数を別のものに置き換える。我々のモデル・プローブの場合のように、水平電極としきい電圧はすべて様々であり、それゆえ、第2の最小化プロセス用の初期設定値として、シナプスの重みとプローブ効果用の第1の組のパラメータとして、逆伝播アルゴリズムを数回繰り返すことにより全体の誤差を最小化する場合もある。
【0048】
分子規模の分解能を持ちながら、出力信号データの垂直取得を同時に行うことは不可能であるので、これだけの数のケーブルを、このように小さい面域から取り出すことはできない。実際はSTMを用いて信号出力にアクセスして、我々の発明モデルを実験的に確かめる。STMには探針が1つしかないので、走査終了後に一組の出力信号を一度に全部生成して、多値準位システムのメモリを利用することにより、同時に信号出力されたとものと看做すことになる。
このモデルを確かめるために、我々は、個々の入力電極アレイに、パルスではなく定常電圧を印加している。それゆえ、STM/AFN探針電流は基本的にはランプ関数またはシグモイド関数であり、シグモイド関数f(x)は
f(x)=1/(1+exp(−ax))によって与えられ、式中、aは、シグモイド関数の勾配パラメータである。我々は、その多値準位ニューロンとバーティカル・ネットワーク概念をSTMを用いて調べることにより、そのまま、隠れニューロンの理論上の概念を実験的に調べることになる。それゆえ、STMは、この面上をすべて走査できるために、その面上のあらゆる多値準位システム全てが、外部の取巻き外部電極アレイから電位および電界が印加された時点で、探索されてしまう。その結果、信号出力数は、信号入力数よりも少ない。データを取得する空間分解能が高ければ高いほど、このデバイスの効率はよく、それゆえ、多値準位システムの数と、信号出力の数との差が小さくなる。
【0049】
それぞれの重みを選択した後に発生する誤差は、その信号入力部にフィードバックされ、入力信号が補正される。この誤差は、基本的には、MSE、すなわち平均二乗誤差である。上記の数学的要領に基づいて、更に多くの隠れ層を設ける場合には、適宜に、誤差関数が変更される。この情報処理面上では、動作の間、発生した誤差は、普通は、水平方向に転送され、それゆえ、垂直方向の影響は最小である。また、このシステムが逐次情報処理ではないから、誤差関数の空間分布は、あらゆる領域にわたってニューラルの応答を遮断するために、得られたパターンを覆い隠す必要がある。図15Aでは、入力信号に対して得られた電気力線をプロットし、その面上のもっとも有意なソリューション・ポイントS、S、S、…、Snが結線されている。ここで、個々のベクトルを修正しても、これらのベクトルは、その結合パターン・ソリューションを変更できない、その理由は、どの誤差も、その情報処理面全体にわたって、調和的作用ができないことである。このような単純論理では、我々のプロセッサは、我々の脳のように、極度のノイズのもとでも耐えることができる。更に、隠れニューロン1502の概念を導入することにより、誤差媒介の決定変更を制圧できる。更に、ニューラル意思決定クラスタを縮小すれば、誤差媒介の決定変更頻度を減らすことができる(1503)。
【0050】
最後に、我々は、リアルタイムのパラメータの一部と、本発明のモデル・デバイスにおける上記パラメータの重要性を説明したいと思う、これらは、ソリューションの分析中は、ANNを用いて完全に回避している。一組の電気バイアスが情報処理面に印加されると、この情報処理面上のあらゆる点に、電位が発生する。一般に、情報処理面上には多値準位システムはない、あるいは、情報処理面は導電率が一定であると考えられ、その場合、これらの電極の外側の全領域内の電位φ(x,y)は、ラプラスの式、すなわち、Vφ(x,y)=0の解である。
簡単にするために、半径aの16個の電極で取り巻かれた半径bの円形の情報処理面を考察する。重ね合わせの原理により、この面上の任意地点での総電位は、それぞれの電極により発生された電位の和であり、次式となる。
【数8】


式中、z=x+iy、および、
【数9】

【0051】
この展開式では、第1項は、n番目の電極の内部にある単極(モノポール)により生じた電位を表わし、また、kは、n番目の電極上の一様でない電荷分布の双極子モーメント、4極子モーメント、8極子モーメントに相当する。境界条件により、aとbの点から、Cの値を求めることができる。
ここで、情報処理面上に、多値準位システムを置く。様々な電気信号を印加している間、この情報処理面上に、電荷分布があることがわかる。しかし、STMを用いて、出力電流を測定するときに、この電位面上の一様でない電荷の動的量子効果を考慮しても、ラプラスの等式の変更の必要がない場合がある。Feynmanの経路積分法の離散系のものに基づく量子経路積分分子ダイナミックス(QUPID)を使用して、Nのパーティクル・クラスタと相互作用する電子は次式となる。
【数10】


式中、Pは、調和電位とクラスタ電位の重ね合わせを考慮した寄与数である。このトンネル電流を測定すると、実効サンプル・バイアスは、次式のように、面電極により発生した電位と、古典イオンにより発生した実効電位との和となる。
φsample=φ+<Veff>、この障壁の高さは、サンプルと探針・バイアスとのほぼ平均である。φbarrier=1/2(φsample+φtip)。そこで、電流は、
【数11】


の場合に、次式により表わすことができる。
【数12】


式中、Eはエネルギーであり、ρは、局所状態密度である。ここで、探針バイアスにより発生した電界は、局所作用であり、また、取巻き電極で発生する電界は、大域的作用であって、これらの作用は、互いに相互作用し合う。我々は、提案されたモデルの実現において、(外部電極によって発生した)電界により外的に誘起された導電率の変化がもっとも有意であるように、双方の値を選択する。常態では、この探針における電界のオーダは、〜108V/m(例えば、1V/2nm)であり、また、(外部電極によって発生する)電界は約〜10V/mのオーダで、熱的なホッピングによってのみの導電率を変化させることができ、また、導電率は、次式のように、電界とともに増す。
【数13】


それゆえ、外部電界は、前述の値よりも大きくなるべきで(すなわち、約〜10V/m)、有意に探針バイアスに寄与するが、ただし、完全に探針バイアスに勝ることのないようにしなければならない。従って、トンネル電流は、ノイズにすぎない。それゆえ、例えば、16個の電極を1000nmの間隔で配置するシステムの場合に、この情報処理面上の或る地点に、あらゆる電極に+5Vを印加すれば、〜8×10V/mが得られる。そこで、薄膜の厚さ、使用される多値準位システムの電気的特性、探針バイアス、分子面配座、および情報処理面の幾何的形状に基づいて、デバイスの動作電圧範囲を最適化する必要がある。
【0052】
Bardeenの手法では、
【数14】


式中、f(E)は、フェルミ関数であり、Vは、この場合も、印加電圧であり、Mμvは、状態間のトンネル行列要素であって、波動ベクトルkによって決まり、更に、kはφbarrierによって決まり、また、Eは、状態に対応するエネルギーである。
非平衡グリーン関数定式化(NEGF)では、概念上、原子面1506と、STM/AFM探針または垂直電極1507との間に掛かっている導体1505に仮想媒体1504が接続されている。ハミルトン作用素H用の電位の項は、U(r)=φsample+φで与えられる。ハミルトン作用素Hは、グリーン関数
【数15】





であることを判定するために使用される。この電流は、次式により与えられる。
【数16】

【0053】
様々なパラメータを考慮に入れているにもかかわらず、信号出力及び異なる状態への遷移を直接に予測することは不可能である。原子平坦面の欠陥、異なる平面の存在、多様な分子間相互作用、異なる状態での多値準位システムの遷移確率の揺動、のようないくつかのパラメータを、有効な現実的予測のための計算プロセスに取り入れることはできない。それゆえ、上に説明したように、ANNベースの概念で、前記全てのパラメータを避けることができる。更に、情報処理面を、三角形1601、長方形1602、n辺の多角形1603、円形1604として変更することもある。その場合、この面の論理応答変化が、ますます複雑となり、ANNなしでは作業はほとんど不可能と思われる。
ここで、このプロセッサの汎用性について、幾つかの注釈を加えたい。第1は可逆使用である。ニューラル・モデルを逆にするときには、すなわち、電圧を垂直に印加し、また、信号出力を水平に取るときには、この提案されたニューラル・ネットワーク・モデルに従って、結果を得るが、ただし、STM/AFM探針がランダムに局所経路調整をもたらす場合には、学習方法を変更する必要がある。上述した、このシステムの物理的説明では、この場合には有効ではない。この場合には、信号の水平情報処理が主要な物理現象であり、前記理論では不十分な扱いになっているためである。そこで、ANNは、建設的な結果を与えるが、ただし、汎用性を取り入れることができないことになる。第2に、STM/AFM探針1605を用いて、この情報処理面上をすべて走査して(1606)、結果を見出す。そこで、このような場合、ソリューション・ポイントとして最大値が得られる。我々は、垂直電極アレイを使用するときには、設計の制約を考慮に入れて、1つの探針1608では、単一点の情報処理面1609を持ち、4つの探針1610では、4点の局所的なクラスタ効果のある情報処理面1611を持ち、8つの探針1612では、8点の局所的なクラスタ効果のある情報処理面1613を持つ。探針数nの変化とともに、このデバイスの効率Eをプロットする場合には、当初、平均応答を考慮に入れると、効率が向上するが、ただし、nが更に増加する場合には、プローブ間の相互作用が、このデバイスの効率を低下させることになる(1614)。
本発明のモデルは、それ自体、図17Aに示されるように、行列線形化の完全な一例である。信号入力/信号出力形態を変更すれば、逆動作さえも達成できる。我々は、図13Eに示されるように、局所的なソリューション・パターンを修正する方法を決定しさえすれば、図17Bに示されるように、個々の数学的関数に対して、ルールを作り出すことができる。そこで、数学的な演算を予測する一組の重み係数を生成する。このプロセッサは、量子力学演算、例えば演算子関数を実行することに対応している。プローブ・バイアスを演算子として学習させ、図17Cに示されるように、量子力学代数演算のためのルールを作り出す。
【0054】
バーティカル・プロセッサの概念を作り出すときに、システム全体の総括的出力信号行列用に、いくつかのプロセッサを組み合わせたものが、図18に示されるように、実現される可能性のある応用の中でも当面の応用例になる。任意の種類のプロセッサ信号入力部が他の任意の種類のプロセッサに接続されるが、ただし、任意の信号出力部が任意の信号入力部に有意に接続されることもあり、等価電圧をそれぞれの信号入力部1801に供給するために、マニュアル・コンバータを持つ必要がある。ROMプロセッサ1901は、RAMプロセッサ1902にランダムに接続され、更に、この結合性の垂直投影は、これらの要素の一部がROMのために固定されるような行列を与える。図19に示される面ABCD−面EFGHの内側のプロセッサの3D行列は、ABCD面上に信号出力接続の投影を持っている。それゆえ、この面から垂直に出て来る信号出力は、前述の通り、基本的に「垂直信号出力」である。我々は、異なる大きさまたは機能を持つプロセッサの更に大きいランダム統合において、出力信号行列クラスタ1904の相関行列源1903を用いて、同一概念を適用できる。それゆえ、最終プロセッサは、前述の理論として、ランダムな3D(3次元)入力源から垂直にアクセスされたものとして前記原理に従う。基本的な変更は2つしかない。第1のものは、仮想ソースに対するシナプス信号入力用の加重値関数が、ここでは、その信号入力に対するプロセッサ出力信号行列に対する加重値係数であり、それにより、別の行列のシードとなる出力信号行列要素が得られることである。我々はまた、投影定理を適用して、ランダム・クラスタから実効出力信号を見出すこともできる。よって、水平信号入力・垂直信号出力と、垂直信号入力・水平信号出力の概念は、ファジー・ニューラル・ネットワーク・システムを、脳のような未来のプロセッサへと発展させる際の普遍的な概念である。
【実施例】
【0055】
例1と例2
1×0としての水平基本p×qを、上述のプロセッサのもっとも基本としている。これは、大域的制御が、互いに向い合せにある外側の2つの電極によってなされる一方で、情報処理面が電極間にあって、STMにより、データが垂直に取られることを意味している。また、我々は、デュアル・モードの調整がなされているかどうかの動作確認に成功した。つぎに、電極を1つ増やして、1×1としてp×qを作った。第3の電極をrと呼ぶ。このシステムは、以下のように作られた。上述のテンプレートを、電子ビーム・リソグラフィーと、Si(111)基板上の金の電子ビーム蒸着との組合せにより製造することから始まる。この場合、水平電極対(p、q、rの高さは〜100nm)と、それらの電極の間にある情報処理面(情報処理面の高さは、50nm)は、〜80nmだけ隔てられている。このギャップが、理論上、臨界値を超える状態でシミュレーションしたので、電気バイアスを増しても一定の限度内は、情報処理面への電荷注入がもたらされないこともある。電極と情報処理面との間に、〜50nmの高低差を設けるために、ナノスケールの2段リソグラフィーにより、最終パターンの製造成功率は約30%減少した。情報処理面の面積は、100nm2〜200nm2の間で様々である。広い面積の原子平坦面(r.m.s<1.5nm)と、対称形のSTM探針(電気化学エッチングと、それに続く構造の吟味)は、量子現象の大域的調整に不可欠であった。上述のSi(111)基板上に金のテンプレートを製作した後で、この基板を石英室内で、流量60mL/分の100%水素ガス流中で熱処理する。この後で、15℃/分の率で上昇させて、400℃(新たに碧開された雲母上の金では600℃)の温度で熱処理し、30分間保持した後に、熱源の電源を遮断して冷却させる。基板は、その水平面を水素ガスの流れの方向に向けて、9°〜22°という最善の操作領域内で最適化された15°の角度に保たれる。極めて重要なことは、広い面積で表面構造が再構成された原子平坦の金Au(111)基板を作り出すことである。更に、欠陥を最小限に抑えるために、このテンプレートを、DMF溶液に浸し、その場合、溶液を、水平面に対して3度/秒の割合で、60分の間、連続して傾斜させ、また、2時間の間、傾斜させないでおく。このサイクルは、3回繰り返され、その後で、上述のように、水素ガス流中の熱処理が行われる。この記述された方法は、どの方法よりも欠陥の少ない広い面積の原子平坦面(r.m.s. 〜8nmで〜500nm2)を作り出すことができる。最終テンプレートの存続率は、約10%であった。
新たに熱処理されたテンプレートは、RB(Rose Bengal)のマイクロモル・エタノール溶液に、5時間の間、浸されて、厚さr.m.s. 〜1.5nmの1.2単分子層カバー範囲の自己組織化膜を生み出した。特定場所での量子ホールが、この表面被覆膜上の様々な区域で認められた。専用電極システムの設計および製造の最適化は、STMを用いて、この電極システムに摂動を局所的に(垂直に)加え、同時に、その環境を安定させて、大域的電界を(水平に)加えることを実現するのに有効であった。二つの動作を均衡させることで、量子井戸(2nm2)に発生する物理的事象を調整した。その場合、キサンテン染料の配座状態間の遷移確率は、局所バイアスと大域的バイアスの両方によって決まった。量子井戸中の単一のキサンテン染料RBは、様々な配座への遷移で、ガウス確率分布を示した。ガウス分布のQバンドのバンド幅は、水平バイアスにより、最大25%に調整された。これにより、局所バイアスを大域的でも制御することが可能であることが明らかになった(これは、このプロセッサの基本要件である)。また、我々が得る調整可能なデータは、調整に論理を見出すために、ソフトウェアでシミュレートされる処理情報である。したがって、これは、上述の通り、もっとも基本的なプロセッサとして機能する。
【図面の簡単な説明】
【0056】
【図1】本発明の垂直・水平プロセッサの斜視図。水平部分と垂直部分は、電子的にも、物理的にも独立していて、これらの部分が、結合された状態で示されている。
【図2】水平面設計段階と、図1に示される垂直・水平プロセッサの、水平面設計段階の外部接続部。 Aは、水平面のテンプレートを製造する主要ステップの略図(工程図)を示す。Bは、p×qの寸法で構築される最終構造物(斜視図)を示す。Cは、水平面との外部電子回路のインターフェース用に、フォトリソグラフィまたは金属マスクの直接接触により作り出された外部配線図を示す。
【図3】図1に示される垂直・水平プロセッサの外部接続部を持つ垂直面設計段階。 Aは、STM/AFM探針の取替えのために、また、産業用途のために、垂直面のテンプレートを製造する主要ステップの略図(工程図)を示す。Bは、最終垂直電極アレイ・テンプレート(平面図)を示す。Cは、フォトリソグラフィまたは金属マスクの直接接触により作り出された外部配線図を示す。
【図4】本発明で提案したモデルをチェックする特性を表わすユニットの接続と機構。Aは、STM/AFMユニットの略図(斜視図)であって、この場合、サンプルを、水平情報処理面に接続されたm×nのケーブル網に代えている。Bは、本発明の単独システムの略図(斜視図)である。Cは、本発明におけるホリゾンタル・プロセッサとバーティカル・プロセッサとの間の正確な結合の略図である。
【図5】このプロセッサに使用されるスマート・システムの選択。Aは、本発明のスマート・システムまたはニューロン用の図式的なエネルギー図である。 Bは、本発明の多値準位RAM、すなわち、「書込み・読出し・消去・読出し」の多値準位のプロセスを実行するスマート・システムのテストの略図である。
【0057】
【図6】本発明を現実に適用するために提案されたハードウェア制御ユニットの略図。Aは、ニューラル・ノード・コントローラを介して、固有の電界分布を生み出すための電子回路である。Bは、PC4により制御されることもあるモータにそれぞれ接続された垂直電極である。Cは、STM/AFMを介してソリューションを読み取る回路である。Dは、独立した電流計を通じて、垂直電極の読みとりが直接に行われる場合があることを示す。Eは、機能センサを介しての固有の水平電界分布発生を示し、これは、ニューラル・ノード・コントローラの前、または後に接続されることもある。
【図7】本発明のニューラル・ノード・コントローラ。Aは、ニューラル・ノードを生成する様々なやり方である。Bは、様々なモードによるニューラル・ノード・コントローラの使用法である。
【図8】本発明の特別の場合に、16の電極を持つ水平情報処理面上の電界分布の理論上のシミュレーション結果。Aは、一組の高電圧範囲に対して、異なるアース接続用のシミュレーションである。Bは、一組の低電圧範囲に対して、異なるアース接続用のシミュレーションである。
【図9】本発明のモデル・プロセッサの動作機構の略図。
【図10】本発明のプロセッサの現実の動作と、本発明の同時ANN学習法の図。
【0058】
【図11】モデルの概念図。上側の3つの電極は、矢印で方向づけられるように、本発明のモデルに導く仮想ソース概念の略図を示す。我々のモデルは、参照文献[非特許文献1参照]に記述されるように、従来技術のHopfieldの1982年ニューラル・モデルとは本質的に異なっている。下側は、本発明の隠れ層を含むニューロン等価物の略図である。
【図12】本発明の現実のプロセッサ用の適用範囲または適用分野を見出す手順(フローシート)。
【図13】本発明の現実のプロセッサの非常に局所的な領域で、ニューロンの特定状態を調整するルールの決定。Aは、このプロセッサの性能レベルを分類するための略図(フローシート)である。Bは、ニューロンの応答、基本的な振舞いの分類をするための多値準位(グラフ)である。Cは、電位応答、特定の入力信号セットに対する基本的な振舞いの分類図である。Dは、特定の状態に対する最小応答アレイの決定手順(フローシート)である。Eは、これらのルールの決定手順(フローシート)である。
【図14】本発明のプロセッサの学習法プロセス(フローシート)。
【図15】ノイズのもとでのプロセッサ信号出力の存続と、このプロセッサの信号出力を調整する現実のパラメータ。Aは、本発明において、このプロセッサのノイズを情報処理する図である。Bは、本発明のプロセッサの性能を制御する現実のパラメータの略図である。Cは、非特許文献7のNEGF公式化の略図である。
【0059】
【図16】本発明におけるプロセッサの情報処理面と探針の効果の汎用性を示す略図。この略図はまた、STM/AFMのケースが最適であるときに、異なるケースに対して、ソリューション面のカバー範囲も示す。
【図17】本発明の垂直・水平プロセッサを用いる数学的演算を示す図。
【図18】本発明の多数の同様な種類のプロセッサへの本発明の垂直・水平プロセッサの制約と結合の汎用性を示す図。
【図19】本発明のプロセッサを用いて、巨大プロセッサ・ネットワークの概念を構築する際における、本発明の垂直アクセス概念の普遍性を示す図。
【記号の説明】
【0060】
101: 1つの情報処理面ユニット
102: 垂直電極アレイ・ユニット
103: 垂直電極
104: 水平電極
107: ニューロン
402: 情報処理面とソースを接続するインターフェース
405: 信号出力面とモータを接続するインターフェース
501: ニューロンの或る導電状態用のエネルギー最小値。
508: 多値準位応答
802: 情報処理面上の電界分布
904: n番目の状態ニューロンが、許容される井戸を占有する。
1607: STM/AFMでスキャンされた全ソリューション面。
1613: 選択ソリューション面
1901: ROMプロセッサ
1902: RAMプロセッサ
その他: 本文を参照のこと。

【特許請求の範囲】
【請求項1】
周囲電極の中央にありかつ多値準位システムまたはニューロンが収められている表面上にて、あらゆる方向から水平に複数の入力信号が与えられ、そして、前記表面上の様々な地点にて出力信号が垂直に取り出される一対のテンプレートを含む垂直・水平プロセッサ。
【請求項2】
請求項1の垂直・水平プロセッサであって、
前記複数の入力信号は、周囲のp+q+p+q個の電極の中央にありかつ多値準位システムまたはニューロンが収められている正方形または長方形の表面上にて、あらゆる方向から水平に、p×q個だけ与えられ、そして、前記表面上の様々な地点にて、m×n個の出力信号が垂直に取り出される垂直・水平プロセッサ。
ここで、前記m、n、p、qの値は、0から無限大までの様々な数であるが、mとnの双方、あるいはpとqの双方は、同時にはゼロになり得ない。
【請求項3】
請求項1の垂直・水平プロセッサであって、
前記複数の入力信号は、周囲電極の中央にありかつ多値準位システムまたはニューロンが収められている三角形、円形、または多角形の表面上にて、あらゆる方向から水平に与えられ、そして、前記表面上の様々な地点にて、出力信号が垂直に取り出される垂直・水平プロセッサ。
【請求項4】
請求項1ないし3のいずれか1つの垂直・水平プロセッサであって、
前記テンプレートの表面は導電性があり、そして、垂直電極は、多値準位システムまたはニューロンへ流れるSTMベースのトンネル電流を測定するものである垂直・水平プロセッサ。
【請求項5】
請求項1ないし3のいずれか1つの垂直・水平プロセッサであって、
前記テンプレートの表面は導電性があり、そして、垂直電極は、多値準位システムまたはニューロンと接触してAFMベースの原子間力を測定するものである垂直・水平プロセッサ。
【請求項6】
請求項1ないし5のいずれか1つの垂直・水平プロセッサであって、
それは、酸化還元作用センタまたは配座依存センタを有する材料で、次の性質A,B,Cのうちの少なくとも2つの性質をもつ材料を含む、情報処理表面上としての薄膜を持っている垂直・水平プロセッサ。
A.一対の電極間に取り入れられた材料が、或る一定範囲または用途において、どの特定のバイアスでも、安定した多値準位導電率を示す性質、
B.異なるバイアス状態を加えることにより、それぞれの状態がもたらされることもある性質、
C.矩形電圧パルスへの過渡電流応答が、ガウス応答、ステップ応答またはランプ応答、あるいは、階段状応答の発展させた形式である性質。
【請求項7】
請求項1ないし6のいずれか1つの垂直・水平プロセッサであって、
前記多値準位システムまたはニューロンは、次のA,B,CまたはDを備えている垂直・水平プロセッサ。
A.特定の信号を検出するためのセンサ、および、現実の音、熱、光、その他の任意の形式のエネルギーのような信号を検出するためのセンサで、情報処理表面上に当たると、その信号を電子信号の一次元配列に変換できるように特定的に設計されたセンサ;
B.特定機能を持つ他の任意の機能材料の小型情報処理ユニットであって、情報処理表面全体を、異なる機能を持つように異なる領域へ変換転送するもの;
C.可能なあらゆる導電状態の間で可逆に切り換えて、前記状態を、平衡状態が表面全体に及ぶ時間よりも長く、覚えておくことができる多値準位システムまたはニューロンであって、何回でも更新できるもの(RAM);
D.前記可能な多値準位状態の1つに一度切り換えると、恒久的に同一状態にとどまる多値準位システムまたはニューロン(ROM)。
【請求項8】
請求項1ないし7のいずれか1つの垂直・水平プロセッサであって、
前記垂直電極は、原子一個の先端を持つ探針の様にナノスケール幅の高さとマイクロスケール長さを持つ構造物であり、そこでは、或る電極システム中のいくつかの探針は、次のAまたはBを備えている垂直・水平プロセッサ。
A.或るソリューション・ポイントが単一の原子先端であると考えられるような原子一個の先端を持つ探針、
B.ソリューション・ポイントがあらゆる原子先端に対する集合出力の平均応答と考えられるような単一電極ユニット中に定義された数だけの原子先端。
【請求項9】
請求項1ないし8のいずれか1つの垂直・水平プロセッサであって、
前記信号入力部が、ニューラル・ノード・コントローラに接続され、そこでは、すべての入力信号が、垂直・水平プロセッサに先行する異なるユニットにパラレルに分けられて、かつ、次のA,B,C,DまたはEを含むそれぞれのユニット間で切り換える垂直・水平プロセッサ。
A.シーケンス順序と中間アース接続を変えることもあるユニット、
B.配列された同一入力信号を異なる順序の配列に変えるユニット、
C.配列された入力信号を、異なる形態のプロセッサにパラレルに通して、結合出力信号を生成するユニット、
D.前記入力信号の一部を、パルス式アレイ・ソースに代えるユニット、
E.入力信号をチャネルに通し、そこで、前記入力信号に乗算または除算を行って、情報処理表面全体の入力インピーダンスと一致するようにするユニット。
【請求項10】
請求項1ないし9のいずれか1つの垂直・水平プロセッサであって、
前記p×q個の入力用のアース接続の数は、同一の組の配列された入力を情報処理するために、1個からpq−1個まで様々であり、また、アースのそれぞれの組合せは、特定の動作ノードを作り出し、また、それぞれのノードは、それら自体のニューラル・ネットワークを持ち、学習させて、情報処理ルールが発達した後に、特殊な情報処理を必要とする様々な状況において、これらのノードが利用できるようにしている垂直・水平プロセッサ。
【請求項11】
周囲電極の中央にありかつ多値準位システムまたはニューロンが収められている水平表面上にて、上から垂直に複数の入力信号が与えられ、そして、それらの電極を通じて出力信号が水平に取り出される一対のテンプレートを含む垂直・水平プロセッサ。
【請求項12】
請求項11の垂直・水平プロセッサであって、
前記垂直の複数入力電極は、前記情報処理表面上の広い領域にわたって局所バイアスを発生させる平形または球形の前端縁を持ち、また、垂直電極の前端縁領域は、次のA,BおよびCを含む垂直・水平プロセッサ。
A.情報処理表面の或る一定割合以上をカバーする、個々のすべての垂直電極の和である合計領域であって、そこから、動作の種別ごとに、信号入力動作ノードが作り出される合計領域、
B.最終ソリューション表面上の個々の信号入力の制御を様々に調整するための、束状電極または個々の垂直電極の関係領域、
C.情報処理表面上の等高線の電位分布を調整するために矯正した前端縁の形態。
【請求項13】
請求項1ないし8のいずれか1つの垂直・水平プロセッサ、
ニューラル・ノード・コントローラ、および、
次のA,BおよびCのやり方で接続された接続部切替器センサを備えるクラスタ。
A.前記垂直・水平プロセッサの信号入力部の一部または全部を、バーティカル・プロセッサのアレイに接続し、また、残りの信号入力部を、システム全体の自由信号入力部であるセンサの出力部に接続するやり方、
B.その出力部の一部を、前記出力切替器のいくつかに接続し、また、残りの出力部を、他のバーティカル・プロセッサに接続するやり方、
C.すべての自由出力部を、切替器に接続し、システム全体のどの信号入力部にも接続せず、最終クラスタ出力として垂直に取るやり方。
【請求項14】
請求項1ないし13のいずれか1つの垂直・水平プロセッサを含む修正仮想ソース・ニューラル・ネットワーク・モデルであって、
その修正が、次のA,BおよびCを含んでいる修正仮想ソース・ニューラル・ネットワーク・モデル。
A.旧概念の2値ニューロン(0または1の値を持つ)または連続体ニューロン(0〜1の任意の値)を、多値準位システムまたはニューロン(0と1の間の選択値)に代えること。
B.それぞれのニューロンへの実効信号入力として仮想ソースを導入することが、他のニューロンからは生じないこと。
C.出力情報が垂直に取られるので、修正が個々の出力情報にアクセスすることであり、それゆえ、モデルが、3D(三次元)モデルとなること。
【請求項15】
請求項14の修正仮想ソース・ニューラル・ネットワーク・モデルであって、
その形態は、仮想ソースからの実効信号入力により生成された重み、すなわち大域的加重値と、バーティカル・プローブで生成された重み、すなわち局所加重値との積のベクトル和を含むエネルギー項を最小化することで作られ、そして、これら2つのプラスの寄与に、多値準位状態のしきい値により生成された加重値を用いて、否定の演算が行われる修正仮想ソース・ニューラル・ネットワーク・モデル。
【請求項16】
請求項14または15の修正仮想ソース・ニューラル・ネットワーク・モデルであって、次のA、Bおよび/またはCを含む修正仮想ソース・ニューラル・ネットワーク・モデル。
A.前記垂直・水平プロセッサのモデルの一部または全部の出力情報を、元に戻して、それ自体の信号入力部に直接または間接に接続することによるフィードフォワード・ネットワーク、
B.多値準位ニューロンの1つまたは複数の隠れ層を持ち、かつ、さらに少ないか、または等しい数の出力情報を、様々なレベルにて発生させて、最終出力情報に達するようにするモデル、
C.4進法または8進法のシステム、あるいは他の論理システムのように、2種類以上の論理ニューロンをいっしょに含む混合多値準位論理ニューロンから構成される中間層。
【請求項17】
請求項1ないし13のいずれか1つの単一垂直・水平プロセッサを学習法させるプロセッサ学習法であって、そこでは、入力信号と出力信号が、請求項14ないし16の人工ニューラル・ネットワーク・モデルにより相互に関連づけられ、次の(1)−(3)のトレーニング・ステップによる主要初期設定の後で、仮想ニューロンまたは多値準位システムのルールまたは重み係数を見出すプロセッサ学習法。
(1)第1に、局所バイアスと大域的バイアスに対する印加範囲を見出すステップ、
(2)第2に、それらの動作レベルまたは機能振舞いを、多値準位論理状態ごとに見出すステップ、
(3)最後に、予測不能な入力信号が与えられると、その問題のもっとも確からしいソリューションを与えることができるように、エネルギー最小化による論理関数を作り出すステップ。
【請求項18】
請求項17のプロセッサ学習法であって、
前記ステップ(3)において論理関数を作り出して、数学的演算を行う処置は、下記CまたはDを含む関数基準を扱う下記AまたはBを含むものであるプロセッサ学習法。
A.請求項1ないし10のいずれか1つの垂直信号入力・水平信号出力のために、3D行列を、線形化配列に逆転させる逆行列プロセスの概念を介すること、
B.水平信号入力と垂直信号出力のために、3D行列への線形化配列の変換を介すること、
C.演算子としてプローブ・バイアスを使用して、数学的関数を情報処理すること、
D.請求項1ないし3、請求項11、請求項12のいずれか1つの幾何学的な情報処理表面の変化をともなう請求項10のアース接続の変化を使用して、特定の関数基準を生成すること、
【請求項19】
請求項13のクラスタに用いる請求項17のプロセッサ学習法であって、
前記学習法は、次のA,BおよびCの基本考慮事項を含む請求項14〜16のモデルに従って行われるプロセッサ学習法。
A.前記プロセッサの信号入力が、2D配列と見なされる前記クラスタの自由入力であり、また、前記プロセッサの出力信号が、3D配列と見なされる前記クラスタの最終信号出力であり、さらに、クラスタのすべての基本プロセッサ構成要素を、多値準位ニューロンの1つまたは複数の層に代える基本考慮事項、
B.まず最初に、前記クラスタの個々の構成要素を学習させて、次に、最終出力におけるその重要性が、最終出力パターンにおいて、もっとも類似する部分との関数関係を見出すことにより、決定される基本考慮事項、
C.センサから、あるいは他の任意のプロセッサから直接に、クラスタに2つの異なる種類の信号入力があるので、したがって、前記最終パターンへの2つの異なる種類の信号入力の重要性が、関数関係を見出すことにより、決定される基本考慮事項。
【請求項20】
請求項11または12のプロセッサに用いる請求項17のプロセッサ学習法であって、次のA,BおよびCのステップを含んでいるプロセッサ学習法。
A.垂直電極からの電界投影により生成された情報処理表面上の等高線に、ニューロンのクロスチェック再現性の追加基準を用いて、局所バイアスと大域的バイアス用の印加範囲を見出すステップ、
B.隣接する垂直電極が互いに作用し合って生成された電界分布等高線とともに、それぞれの多値準位状態への遷移用の機能振舞いを見出すステップ、
C.水平電極から水平電極への最小エネルギー経路を考慮に入れて、エネルギー最小化による論理関数を作るステップ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2007−226762(P2007−226762A)
【公開日】平成19年9月6日(2007.9.6)
【国際特許分類】
【出願番号】特願2006−228846(P2006−228846)
【出願日】平成18年8月25日(2006.8.25)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成16年度文部科学省 戦略的研究拠点育成 若手国際イノベーション特区委託研究 産業生産法第30条の適用を受ける特許出願
【出願人】(301023238)独立行政法人物質・材料研究機構 (1,333)