ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路
本発明の実施の形態は、集積回路基板上に形成されるアナログ計算セルのアレイを含むハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路を含む。各計算セル内のアナログ電子回路は、計算セルから実質的に垂直に延在する、第１のタイプの１つ又は複数のピン及び第２のタイプの１つ又は複数のピンに接続される。計算セルは１つ又は複数のナノワイヤ相互接続層によってさらに相互接続され、各ナノワイヤ相互接続層は、メムリスティブ副層の両側に２つのナノワイヤ副層を含み、１つの相互接続層の各ナノワイヤ副層内の各ナノワイヤは、単一の計算セルピン、及びその相互接続層の他のナノワイヤ副層内の複数のナノワイヤに接続される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は材料科学及び電子回路実装に関し、より詳細には、生物学的神経回路を模倣するニューロモルフィック回路を含む、多種多様の異なる複合電子回路、処理システム及び計算デバイスを実現するためのハイブリッドマイクロスケール−ナノスケール集積回路アーキテクチャに関する。
【０００２】
［関連出願の相互参照］
本出願は２００７年１２月５日に出願された仮特許出願第６０／９９２，６６３号の利益を主張する。
【背景技術】
【０００３】
コンピュータプロセッサ、メモリ及び他の計算機械のためのマイクロスケール回路を実現する現在の手法は、過去半世紀の間に、回路密度及び計算能力を、驚異的な勢いで、指数関数的に高めることになった。
しかしながら、長年にわたってコンピュータの発展を特徴付けており、「ムーアの法則」と呼ばれる、処理能力及び機構密度が２年毎に急増、すなわち倍増するという法則は、横ばいになり始めており、現在、機構サイズをさらに小さくすることは、信号線のサイズが細くなるのに応じて電気抵抗が増加すること、機構サイズが小さくなるのに応じて機構の静電容量が増加することに起因して、プロセッサが生成する熱量が増加して熱を除去するのが難しくなること、機構サイズが小さくなるほど製造するのが難しくなることに起因して、プロセッサ及びメモリ構成要素の欠陥率及び故障率が高くなること、並びに機構サイズをさらに小さくするための製造設備及び方法を設計することが難しくなることを含む、物理的な制限及び実用上の制約に直面している。
集積回路内の機構サイズをさらに小さくすることが益々難しくなることはわかっているので、集積回路を基にする電子デバイスの計算能力を高めるための種々の代替の手法が利用され始めている。
一例として、プロセッサ製造供給元は、種々のタスクを並列に実行する複数のコアにわたって計算を分散させることによって計算能力を高めるマルチコアプロセッサを製造している。
他の取り組みは、ナノスケールレベルにおいて回路を製造すること、種々の分子エレクトロニクス技法を用いること、及び電子通信媒体を通じてデータ信号を伝送する際に生じる誤りを改善するために誤り訂正符号を用いるのと同じように、情報科学に基づく理論的な手法を適用することによって欠陥及び信頼性の問題に対処することを含む。
さらなる取り組みは、「ニューロモルフィック（neuromorphic）回路」と呼ばれるナノスケール回路を開発することを対象とし、ニューロモルフィック回路は、驚くほど効率的で、低電力の並列計算機構を生命体に提供する生物学的な神経回路を模倣する。
しかしながら、多くの現在の手法は、シナプスに対するニューロモルフィック等価回路を実現するために、相補形金属酸化膜半導体（「ＣＭＯＳ］）技術において実装される従来の論理回路を用いており、ニューロンに対するニューロモルフィック等価回路を形成することができる密度が、半導体チップ表面積の１平方センチメートル当たり実質的に数千ニューロンに厳しく制限される。
したがって、ニューロモルフィック回路の研究者及び開発者は、十分に高密度のニューロモルフィック回路を製造するために、新たな技法及び新たなアーキテクチャが必要とされることを認識している。
【発明の概要】
【０００４】
本発明の実施の形態は、集積回路基板上に形成されるアナログ計算セルのアレイを含むハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路を含む。
各計算セル内のアナログ電子回路は、計算セルから実質的に垂直に延在する、第１のタイプの１つ又は複数のピン及び第２のタイプの１つ又は複数のピンに接続される。
計算セルは１つ又は複数のナノワイヤ相互接続層によってさらに相互接続され、各ナノワイヤ相互接続層は、メムリスティブ副層（memristive sublayer）の両側に２つのナノワイヤ副層を含み、１つの相互接続層の各ナノワイヤ副層内の各ナノワイヤは、単一の計算セルピン、及びその相互接続層の他のナノワイヤ副層内の複数のナノワイヤに接続される。
本発明のマイクロスケール−ナノスケールハイブリッドニューロモルフィック回路アーキテクチャを用いて、ニューロモルフィック層状皮質（laminar cortical）回路を含む、極めて多くの数の異なる複合電子回路、計算システム及び計算デバイスを実現することができる。
【図面の簡単な説明】
【０００５】
【図１】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の基本計算セルを示す図である。
【図２】本発明の種々の実施形態においてシナプス動作をモデル化する、２つのナノワイヤ間のメムリスティブ接合部を示す図である。
【図３Ａ】本発明の種々の実施形態においてシナプスをモデル化するために用いられるメムリスティブ接合部の基本的な電子的特性を示す図である。
【図３Ｂ】本発明の種々の実施形態においてシナプスをモデル化するために用いられるメムリスティブ接合部の基本的な電子的特性を示す図である。
【図４】本発明のハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の種々の実施形態において基本計算ユニットとしての役割を果たすニューラルセルを示す図である。
【図５Ａ】本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す図である。
【図５Ｂ】本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す図である。
【図５Ｃ】本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す図である。
【図５Ｄ】本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す図である。
【図５Ｅ】本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す図である。
【図６】本発明の種々の実施形態によるニューラルセルの一般的な内部回路を示す図である。
【図７】本発明の実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で用いられる習慣化（habituative）伝送ゲート計算セルを示す図である。
【図８】本発明の一実施形態による、習慣化伝送ゲート計算セルによる入力信号の変更を示す図である。
【図９】本発明の実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で用いられる、入力計算セル及び出力計算セルを含む、２つのさらなるタイプの計算セルの例を示す図である。
【図１０】本発明の一実施形態を表すマイクロスケール−ナノスケールハイブリッドニューロモルフィック回路の入力計算セルのための入力信号及び出力信号を示す図である。
【図１１Ａ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の計算セルの相互接続を示す図である。
【図１１Ｂ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の計算セルの相互接続を示す図である。
【図１２Ａ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１２Ｂ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１２Ｃ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１２Ｄ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１２Ｅ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１２Ｆ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１３】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路のナノワイヤ相互接続層のナノワイヤを通じて伝送される双方向信号を示す図である。
【図１４】シナプス前ニューロン及びシナプス後ニューロンが相互接続されるメムリスティブナノワイヤ接合部内のコンダクタンス変化を示す図である。
【図１５】本発明の一実施形態による、デジタル論理フリップフロップの動作に類似のアナログ動作を示す６計算セル双極子の一実施態様を示す図である。
【図１６】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路において用いることができる第２のタイプの多計算セルモジュールを示す図である。
【図１７】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の計算セルの階層的な相互接続を示す図である。
【図１８】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内に実現することができる第２のタイプの論理構造を示す図である。
【図１９】本発明に従って形成することができ、且つ層状皮質層ニューロモルフィック回路を実現するために、複数の隣接する層状皮質層モジュールと共に用いることができる層状皮質回路モジュールを示す図である。
【発明を実施するための形態】
【０００６】
本発明の実施形態は、実質的に無限の数の異なる電子回路、計算システム及び計算デバイスを実装するための、超高密度で低消費電力のアナログニューロモルフィック回路を提供するハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路を対象とする。
用語「マイクロスケール」は、数マイクロメートルから１０ナノメートル〜１００ナノメートルまでの最小寸法を有する、フォトリソグラフィ、ドーピング、エッチング及び線形化を含む、集積回路を製造するための種々の技法によって、シリコンに基づく集積回路層又は他の半導体物質に基づく集積回路層内に実装される、マイクロスケール及びサブマイクロスケールの構成要素及び機構を指している。
用語「ナノスケール」は、ナノワイヤ、並びにネット及びクロスバーを含む種々のナノワイヤ構造を製造するための種々の方法を用いて実装される、数十ナノメートルから１０ナノメートル未満までの範囲に及ぶ最小寸法を有する、より小さな機構及び構成要素を指している。
【０００７】
生物学的回路をエミュレートするように形成される生物学的な神経回路及びニューロモルフィック電子回路は、シナプスを通じて他のニューラルセルユニットとそれぞれ相互接続される、ニューラルセル及びニューロン計算ユニットに基づく。
ニューロンの活動レベルは一般的に短期メモリを実現し、長期にわたる刺激及び他の習慣化反応の結果としての神経興奮の低下が一般的に中期メモリを実現し、シナプス重みが長期メモリを実現する。
一般的に、生物学的神経回路では、所与のニューロンは、１０，０００まで、又はそれよりも多くのシナプスを通じて、他のニューロンに相互接続される場合がある。
上記のように、集積回路内のマイクロスケール及びサブマイクロスケール電子構成要素からニューロモルフィック回路を構築する試みは、サブマイクロスケール論理回路においてシナプス機能をシミュレートすることに集積回路のかなりの部分を費やすことに起因して、現段階では一般的に、ニューロン密度がかなり低くなっている。
ニューロンよりもはるかに多くのシナプスが必要とされるので、多くのニューロモルフィック集積回路設計では、ニューロモルフィック集積回路の表面の大部分が、はるかに少ない数のニューロン間にある多数のシナプス接続を実装することに充てられる。
【０００８】
本発明の実施形態は、ナノワイヤ間のメムリスティブ接合部としてシナプスを実装することによって、高ニューロン密度ニューロモルフィック集積回路を提供する。
シナプス、及びシナプスによって相互接続されるナノワイヤ信号線は生物学的神経回路の樹状突起及び軸索を模倣し、半導体集積回路層の上方にあるナノワイヤ相互接続層内に形成され、それにより、以下の説明において「ニューラルセル」と呼ばれるニューロン計算セル、及び多計算セルモジュールを実装するために半導体集積回路表面を保つ。
したがって、本発明に従って設計及び製造されるハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路は、論理回路ではなく、メムリスティックナノワイヤ接合部を利用して、シナプスを実装し、ニューラルセル間のシナプス、及びシナプスに基づく相互接続は、半導体集積回路層の上方にあるナノワイヤ相互接続層内に実装され、３次元ハイブリッドマイクロスケール−ナノスケールニューロモルフィック回路アーキテクチャにおいて非常に高いニューラルセル密度を提供する。
【０００９】
図１は、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の基本計算セルを示す。
その基本計算セルは、半導体集積回路層１０２の通常のエリアを含み、そこから４つの導電ピン１０４〜１０７が垂直に延在する。
図１のナノワイヤ１０８のような水平ナノワイヤが、パッド状構造物１１０のようなパッド状構造物を通じて導電ピンと相互接続し、且つハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の計算セルの２次元アレイにおいて計算セル１０２に近接する複数の計算セルにわたって直線的に延在する。
後にさらに検討されるように、計算セル１０２の半導体集積回路層は、ニューロン又は他の基本計算デバイスのモデルを実現する種々の相互接続及びアナログ構成要素を含み、そのうちのいくつかが後に詳細に説明される。
４つの垂直ピン１０４〜１０７は、計算セルの半導体集積回路層部分１０２内のアナログ構成要素及び回路を、ナノワイヤ１０８のようなナノワイヤの層に相互接続するための役割を果たす。
それらのナノワイヤはさらに、ナノワイヤ、及びシナプスをモデル化するメムリスティブ接合部を通じて、その計算セルを近隣の計算セルに相互接続する場合がある。
【００１０】
図２は、本発明の種々の実施形態においてシナプス動作をモデル化する２つのナノワイヤ間のメムリスティブ接合部を示す。
図２において、第１の計算セル２０２は、近隣の計算セル２０４に隣接して配置されるように示される。
第１のナノワイヤ２０６が、近隣の隣接計算セル２０４の垂直ピン２０８に接続される。
第２のナノワイヤ２１０が、図２の前景に示される、計算セル２０２の垂直ピン２１２に電気的に接続される。
第１のナノワイヤ２０６及び第２のナノワイヤ２１０は、図２において小さな破線の円２１４によって区切られる領域内で互いに重なり合い、その重なり合う領域は差込図２１６において拡大される。
メムリスティック材料から成る小さな層２１８が第１のナノワイヤ２０６と第２のナノワイヤ２１０との間に存在し、第１のナノワイヤを第２のナノワイヤと電気的に相互接続する。
２つのナノワイヤ間のメムリスティック接合部は、差込図２１８内に示されるように、２つの信号線２２２及び２２４を相互接続するメムリスタ記号２２０によって記号によって表すことができる。
後にさらに検討されるように、相互接続層内の各ナノワイヤは、メムリスティック接合部を通じて、数多くの異なるナノワイヤと相互接続する場合がある。
【００１１】
図３Ａ及び図３Ｂは、本発明の種々の実施形態においてシナプスをモデル化するために用いられるメムリスティブ接合部の基本的な電子的特性を示す。
図３Ａ及び図３Ｂはいずれも、メムリスティブ接合部のための電流／電圧プロットを示す。
電圧が横軸３０２に対してプロットされ、電流が縦軸３０４に対してプロットされる。
図３Ａには、電圧掃引が示される。
電圧掃引を含む連続的な電圧変化が、図３Ａの電流／電圧プロット３１６に一致し、且つその下にある第２の電圧軸３１４に対してプロットされる電圧経路３１２によって表される。
図３Ａに示されるように、電圧掃引は、０電圧３０６から電圧Ｖ＋ｍａｘ３０８まで電圧を徐々に増加させ、その後、負の電圧Ｖ−ｍａｘ３１０まで連続して減少させ、その後、その電圧を増加させて０（図３Ａの３０６）まで戻すことによって実行される。
その電流／電圧プロットは、メムリスティブ材料の導電率が電圧掃引中に如何に変化するかを示す。
【００１２】
最初に、メムリスティブ材料は低導電率状態にあるので、電圧が０（図３Ａの３０６）からＶ＋ｍａｘ３０８の直前まで増加するときに、プロット３１８の第１の部分において、電流の大きさは相対的に低いままである。
Ｖ＋ｍａｘ付近において、メムリスティブ材料の抵抗が急激に降下する、すなわち、導電率が非線形に増加するのに応じて、電流が急速に上昇し始める（３２０）。その後、電圧が、Ｖ＋ｍａｘからＶ−ｍａｘ３１０まで減少するとき、プロット３２２及び３２４の部分において、対応する電圧値に対してメムリスティブ材料によって通される電流の大きさが相対的に大きいことから明らかであるように、メムリスティブ材料の導電率は高いままである。
負の電圧Ｖ−ｍａｘ付近において、メムリスティブ材料のコンダクタンスが突然、急激に減少し始める（３２６）。
メムリスティブ材料は、Ｖ−ｍａｘにおいて低コンダクタンス状態になり、電圧が再び０（図３Ａの３２８）に向かって増加するときに保持される。
図３Ｂに示されるように、第２の電圧掃引３３０は、破線３３２によって示されるように、第１の電圧掃引中に生成されるコンダクタンスに対して、メムリスティブ材料のコンダクタンスを増加させる。
さらなる電圧掃引が、先行する電圧掃引中に生成されるコンダクタンスに対して、メムリスティブ材料のコンダクタンスをさらに増加させる場合がある。
したがって、メムリスティブ材料は、連続的に増減する印加電圧下でコンダクタンスの非線形性を示し、さらに、先行するコンダクタンス状態の記憶も示す。
言い換えると、本発明の実施形態において用いられる種々のタイプのメムリスティブ材料の場合に、メムリスティブ材料の物理状態ｗは、メムリスティブ材料の現在の物理状態及び印加される電圧の両方の関数として、時間と共に変化する
ｄｗ／ｄｔ＝ｆ（ｗ，Ｖ）
本発明の実施形態においてメムリスティブ接合部によって通される電流ｉは、印加される電圧、及び材料のコンダクタンスの関数である。ただし、コンダクタンスｇは、メムリスティブ材料の現在の状態、及び印加される電圧の両方の関数である。
ｉ＝ｇ（ｗ，ｖ）Ｖ
図３Ａ及び図３Ｂに示されるように、メムリスティブ接合部のコンダクタンスは、現在印加されている電圧と、且つ先行する時間間隔にわたって印加される電圧の履歴とに依存する。
【００１３】
シナプスは一般的に、シナプス前ニューロンｉによって生成され、シナプスを通ってシナプス後ニューロンｊに送られる信号の増幅又は減衰を引き起こす。
或る特定のモデルでは、シナプスの利得、すなわち重みは０．０〜１．０の範囲に及び、利得０．０は信号の完全減衰を表し、利得１．０は信号の無減衰を表す。
これらのモデルにおいて、ニューロンは複数の活動度を有し、ニューロンｉの活動度ｘｉがしきい値よりも高いとき、ニューロンは出力信号を出す。
ニューロン動作のための数学モデルは後の節において与えられる。
シナプス前ニューロンｉをシナプス後ニューロンｊに相互接続する或るシナプスの場合の利得の変化率ｚｉｊのための１つの数学モデルが以下のように表される。
（ｄｚｉｊ／ｄｔ）＝εｆ（（ｘｊ）（−ωｚｉｊ＋ｇ（ｘｉ）））
ただし、
ｚｉｊはシナプス前ニューロンｉをシナプス後ニューロンｊと相互接続するシナプスｉｊの重み、すなわちシナプスｉｊによって生成される利得であり、
εは学習速度であり、
ωは忘却速度であり、
ｆ（ｘｊ）はニューロンｉの活動度の非線形関数であり、
ｇ（ｘｉ）はニューロンｊの活動度の非線形関数であり、
ｔは時間である。
本発明の数多くの実施形態において、ｆ（）及びｇ（）は一般的にＳ字状（sigmoidal）である。
１つの例示的なＳ字状、すなわち「Ｓ」字関数はｔａｎｈ（）である。
シナプス前ニューロン及びシナプス後ニューロンがいずれも高い活動度を有するとき、利得ｚｉｊは急速に増加する。
項−ωｚｉｊは、その項−ωｚｉｊの大きさがシナプス後ニューロンの活動度の非線形関数ｇ（ｘｉ）の現在値よりも大きいときに、シナプスの利得が時間と共に減少するのを確実にする。
シナプスの重みは、フィードバック項−ωｚｉｊに起因して、際限なく増減することはできず、それはシナプスの重みが１．０に近づくにつれて、シナプスの重みを減少させるための役割を果たし、シナプスの重みが０．０に近づくにつれて次第に少なくなるフィードバックを生成する。
シナプス動作のための数学モデルは、ニューロン活動度のための数学モデルに依存し、それらのモデルは互いへの相互フィードバックを与える。
シナプス利得のための数学モデルを、メムリスティブ接合部の導電率変化を記述する上記の式、詳細にはコンダクタンス関数ｇ（ｗ，ｖ）と比較することから明らかであるように、メムリスティブ接合部のコンダクタンスは、利得関数を物理的に具体化したものを与えることができ、その時間導関数は上記の数学モデルとして表される。なぜなら、シナプスモデルのニューロン活動度の非線形関数ｆ（ｘｉ）及びｇ（ｘｉ）は、ニューロン間の物理的な電圧に関連し、所与の時点における利得ｚｉｊは、メムリスティブ接合部に印加される電圧の履歴に関連するためである。
したがって、メムリスティブナノワイヤ接合部のコンダクタンスのための関数式は、メムリスティブナノワイヤ接合部によって接続されるシナプス前及びシナプス後ニューロンの現在の活動度、及びメムリスティブナノワイヤ接合部の直近の印加電圧履歴に依存する。
したがって、本発明の種々の実施形態において、ナノワイヤを相互接続するメムリスティブナノワイヤ接合部は、上記の数学モデルによって表されるようなシナプス動作をモデル化するのに適している電流信号を通すための物理的特性を提供する。
【００１４】
図４は、本発明のハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の種々の実施形態において基本計算ユニットとしての役割を果たすニューラルセルを示す。
ニューラルセルは、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の１つのタイプの計算セルである。
上記のように、ニューラルセル４０２は、４つの垂直導電ピン４０４〜４０７を備える。
それらのピンは、そのコンパス方位によって呼ばれ、図４において計算セルの右側にコンパス図４１０が示される。
ＮＷピン４０４及びＳＥピン４０５は、ニューラルセルからの出力信号をＮＷピン４０４及びＳＥピン４０５と相互接続されるナノワイヤに伝導する。
ＳＷピン４０６及びＮＥピン４０７はいずれも、それらのピンに接続されるナノワイヤからそれらのピンに入力される信号を、ニューラルセル４０２に伝導する。
ＳＷピン４０６は抑制信号をニューラルセルに伝導し、一方、ＮＥピン４０７は興奮入力信号をニューラルセルに伝導する。
興奮入力信号はニューラルセルの活動度を上げる傾向があり、一方、抑制信号はニューラルセルの活動度を下げる傾向がある。
【００１５】
図４に示される基本ニューラルセル４０２は一般的に、ニューロンのための数多くの異なる数学モデルのうちの１つを実現する。
一般的に、受信される興奮信号の周波数及び数が抑制信号の周波数及び数よりも著しく大きいとき、ニューロンの活動度は一般的に活動度しきい値よりも高くなる。ただし、活動度しきい値は、ニューロンが出力ピン４０４及び４０５を通じて出力信号を出す点である。
【００１６】
入力興奮信号及び入力抑制信号は、シナプスのようなメムリスティブナノワイヤ接合部を通じて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の他のニューラルセルから受信され、ニューラルセル４０２によって出力される出力信号は、シナプスのようなメムリスティブナノワイヤ接合部を通じて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の他の計算セルに送られる。
ニューラルセル及びニューロモルフィック回路は一般的に、種々のフィードバック機構を含み、ニューロモルフィック回路内の個々のニューラルセルの活動度を制御し、抑制する非線形動作を示す。
シナプスを通じて高密度に相互接続される比較的少数のニューラルセルのみを含む、適度なサイズのニューロモルフィック回路であっても、かなり複雑な機能性を示すことができ、それは多くの場合に、閉じた形の数式を用いてモデル化することはできず、従来のブール論理に基づくデジタル論理回路において実装するのは難しいであろう。
図４において、入力４１２及び出力４１２は、４つの垂直ピンを通じて信号を受信すること、及び信号を送信することに加えて、ニューラルセルが全て、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の半導体集積回路レベル内に実装されるさらなるマイクロスケール又はサブマイクロスケール信号線を通じて、隣接する計算セルと相互接続できることを示す。
【００１７】
図５Ａ〜図５Ｅは、本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す。
図５Ａに示されるように、興奮入力５０２のような、ＮＥ入力ピン（図４の４０７）への全ての興奮入力が、加算演算５０４によって合算される。
同様に、抑制入力信号５０６のような全ての抑制入力信号が、同様の加算関数５０８によって合算される。
図４の入力４１２のような、半導体集積回路層からのさらなる入力が、加算演算に含まれる場合があるか、又はニューラルセル処理の後のステージを実施する機能構成要素に入力される場合がある。
加算構成要素５０４及び５０８は、単に、入力ナノワイヤ信号線が接続される入力ピンとすることができるか、又は増幅構成要素及び他の電子構成要素を含む場合がある。
その後、興奮信号の和及び抑制入力信号の和は、信号生成機能構成要素５１０に入力され、信号生成機能構成要素は、図５Ａにおいて信号／時間プロット５１２によって表されるアナログ電圧信号を生成する。
【００１８】
図５Ｂに示されるように、例示的なニューラルセルは、漏れ積分器機能構成要素を含み、漏れ積分器機能構成要素は、現在時刻を含む、先行する或る時間間隔にわたって信号生成機能又は演算（図５Ａにおいて示される）によって生成される信号を絶えず積分する。
図５Ｂに示されるように、漏れ積分は、アナログ信号５２２にわたって時間窓関数５２０を重ね合わせ、時間窓関数５２０より下にあるアナログ信号の部分を積分することと見なすことができる。
図５Ｂにおいて、且つ後続の図面において、アナログ信号は、例示を簡単にするために、一様に正の値を有するように示されるが、実際には、アナログ信号は、正、０又は負のいずれかとすることができる。
【００１９】
図５Ｃに示されるように、漏れ積分機能構成要素は、しきい値機能構成要素５３０に積分された信号５２８を出力する。
しきい値機能構成要素によって判断されるように、積分された信号がしきい値よりも大きい値を有するとき、ニューラルセルは、図５Ｃにおいてスパイク列５３２によって示される出力信号を出力する。
そうでない場合には、ニューラルセルは、図５Ｃにおいて定数ゼロ関数５３４のプロットによって示されるように、信号を出力しない。
しきい値機能構成要素は、出力信号生成構成要素を起動するか、代替的には、出力信号生成構成要素を含むと見なすことができる。
【００２０】
代替的には、ニューラルセルの演算は、図５Ｄに示されるように、畳み込み関数５４６を生成するためのアナログ信号５４２及び時間窓関数ψ５４４に関する畳み込み演算５４０と見なすことができる。
その後、しきい値５４８が畳み込み関数５４６に重ね合わせられるか、又は畳み込み関数が、しきい値距離だけ下方に平行移動されて、対応する活動度関数５５０が生成される。
したがって、図５Ｄのニューラルセル活動度プロット５５０によって示されるように、時間間隔５５２及び５５４のような、入力信号の漏れ積分がしきい値より高い値を生成する時間間隔中に、ニューラルセルは活動的である。
【００２１】
図５Ｅは、本発明の種々の実施形態による、ニューラルセルの内部演算を要約する。
興奮信号５６０が合算され（５６２）、信号処理関数５６４に入力される。
同様に、抑制信号５６６が加算関数５６８によって合算され、信号処理関数５６４に入力される。
信号生成演算は、ニューロン動作のための種々の数学モデルのうちのいずれかに従って合成された合算入力に基づいてアナログ信号を生成しうる。
たとえば、信号生成関数は、合算された興奮入力信号及び合算された抑制入力信号の両方に非線形関数を適用し、その後、非線形関数を適用した結果を一次（線形）結合することができる。
信号生成関数５６４は、漏れ積分器関数５７０にアナログ信号を出力し、漏れ積分器関数は、或る先行する時間間隔にわたって積分された信号をしきい値関数５７２に出力し、しきい値関数は、ニューラルセルが出力信号を出力するのに十分に活動的であるか否かを判断する。
【００２２】
後に検討されるように、漏れ積分は神経回路の特殊な事例であり、例示するのが比較的容易であるので、神経回路例として図５Ａ〜図５Ｅの例において示される。
後に検討される、ホジキン−ハクスレーニューロンモデル、及びシャントモデル（shunting model）を実現する回路を含む、さらなる、より機能的に強化され且つより自由度のあるニューロン回路が用いられる場合もある。
これらのより機能的に強化され且つより自由度のあるニューロン回路では、しきい値構成要素が不要な場合があることが強調されるべきである。
或る特定のニューロモルフィック回路において、ニューロン間の信号としてスパイク列が生成されるときに、しきい値回路は有用であるが、他のモデルでは、しきい値処理構成要素を用いることなく、信号スパイクが生成される場合があるか、又は代替的には、信号は、スパイク列を含むのではなく、より連続的にすることができる。
【００２３】
図６は、本発明の種々の実施形態による、ニューラルセルの一般的な内部回路を示す。
ニューラルセル６０２は、出力ピン６０４及び６０６を介して、メムリスタ記号６０８のようなメムリスタ記号によって表される、シナプスのようなメムリスティブナノワイヤ接合部を通じて、ニューロモルフィック回路の近隣の計算セルに信号を出力する。
ニューラルセルは、第１の入力ピン６１０を通じて抑制信号を受信し、第２の入力ピン６１２を通じて興奮信号を受信する。
図６における出力信号、抑制入力信号及び興奮入力信号へのピンの割当ては、図４を参照しながら検討された割当てと同一であるが、代替の実施形態では異なる割当てが行なわれる場合があり、所与のハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路が、計算セルのために種々の異なるピン割当てを用いる場合がある。
図６に示されるニューラルセルでは、演算増幅器に基づく簡単な加算回路６１４及び６１６を用いて、興奮入力信号及び抑制入力信号を加算し、合算興奮信号入力信号６２０及び合算抑制信号入力信号６２２が生成され、それらの信号はニューラルセルの内部回路６２４に入力され、その内部回路は、図５Ａ〜図５Ｅを参照しながら上記で検討された信号生成、積分及びしきい値処理機能を実施する。
漏れ積分、信号合成及びしきい値処理のために用いられる回路の厳密な特性は、ニューラルセルによって受信される入力信号の特性、及びニューラルセルによって実施される厳密な数学モデルに依拠する。
たとえば、漏れ積分のために、演算増幅器及びキャパシタに基づく積分回路が用いられる場合があり、信号合成のために、種々のタイプの演算増幅器に基づく加算回路を用いて、２つの合算入力信号６２０及び６２２を一次結合することができる。
【００２４】
ニューラルセルのために、種々の異なるタイプの数学モデルがある。
任意の所与のニューロモルフィック回路において、所望の高レベルの機能を適切にエミュレートするか、又は実施するために、ニューロンの異なる数学モデルを実現するいくつかの異なるタイプのニューラルセルが用いられる場合がある。
ニューラルセルのための１つの数学モデルは、以下のように表すことができる。
【００２５】
【数１】
【００２６】
ただし、
ｉはモデル化されたニューロンであり、
ｘｉは、ニューロンｉの活動度であり、
ｔは時間であり、
ｆｊ（ｘｊ）はニューロンｊの活動度の非線形関数であり、
ｚｊｉはニューロンｊとｉとの間のシナプスの重みであり、
ｇｊはニューロンｊの活動度の非線形関数であり、
ｎは興奮入力を通じてノードｉに結合されるニューロンの数であり、
ｍは抑制入力を通じてノードｉに結合されるニューロンの数であり、
Ａ及びＢは定数である。
【００２７】
このモデルでは、特定のニューラルセルｉの活動度は、第１の受動減衰項−Ａｘｉ、フィードバック項によって変更される興奮入力の和を表す第２の項
【００２８】
【数２】
【００２９】
及びフィードバック項によって変更される抑制入力の和を表す第３の項
【００３０】
【数３】
【００３１】
の一次結合である。
このモデルでは、ニューロンｉの活動度ｘｉは、０．０〜１．０の範囲に及ぶ。
ニューロン活動度が高く、１．０に近づくとき、その式内のフィードバック項が、活動度がさらに高くなるのを制限するための役割を果たし、活動度を強制的に下げる。
一方、ニューロンｉの活動度ｘｉが低く、０．０に近いとき、フィードバック項の有意性は低下し、ニューラルセルは、興奮入力に対して高い感度で、且つ抑制入力に対して低い感度で応答し、それにより、ニューラルセルの活動度を高める。
上記で検討されたように、ニューラルセルの活動度がしきい値よりも高くなるとき、そのニューラルセルは、シナプスのようなメムリスティブナノワイヤ接合部を通じて、近隣の計算セルに出力信号を出し、同じく、半導体集積回路層信号線を通じて隣接計算セルに信号を出力する場合がある。
上記で検討されたように、ニューラルセル演算のための数多くの異なる取り得る数学モデルが実現可能であり、単一のニューロモルフィック回路内で多数の異なるモデルが用いられる場合があり、その場合、階層的なニューロモルフィック回路内の異なる論理レベルにあるニューラルセルが、ニューラルセル動作の異なる数学モデルを実施する。
【００３２】
図７は、本発明の実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で用いられる習慣化伝送ゲート計算セルを示す。
図７に示されるような、習慣化伝送ゲートセル（「ＨＴＧ］）は、シナプスのようなメムリスティブナノワイヤ接合部を通じて、ニューラルセルを他のニューラルセルに接続するために用いられる垂直ピンを利用しない。
代わりに、ＨＴＧ７０２は、半導体集積回路信号線を通じて、ニューロモルフィック回路内の隣接計算セルから入力７０４を受信し、隣接計算セルへの出力７０６を生成する。
ＨＴＧは、抑制入力及び興奮入力に応答してニューラルセルによって生成される信号よりも、入力信号に対して相対的に長い持続時間の効果をもたらす。
図８は、本発明の一実施形態による、習慣化伝送ゲート計算セルによる入力信号の変更を示す。
図８において、入力信号は、信号強度対時間の第１のプロット８０２内にプロットされ、対応する出力信号は、信号強度対時間の第２のプロット８０４内にプロットされる。
図８の２つのプロットは、時間軸８０６及び８０８に対してそれぞれ揃えられる。
入力信号８１０が正の電圧ピーク８１２を含むとき、出力信号８１４も、入力信号内の正の電圧ピーク８１２に対応する正の電圧ピーク８１６を含む。
しかしながら、出力信号において、電圧は一般的に著しく低い電圧においてピークに達し、その後、正の電圧ピークに続く時間にわたって、負の電圧８１８まで降下する。
ＨＴＧは、シナプス後ニューロンが最初に興奮入力に対して反応しやすいが、興奮入力が持続するとシナプス後ニューロンの感度が急速に低下するという生物学的な神経回路原理をモデル化する。
【００３３】
ＨＴＧのための１つの取り得る数字モデルが以下に与えられる。
ｄｚｉ／ｄｔ＝Ａ（１−ｚｉ）−Ｂｆ［Ｔ（ｙｉ）］ｚｉ
【００３４】
ただし、
ｚｉは習慣化伝送ゲートによって入力信号に適用される利得であり、
ｔは時間であり、
ｙｉは習慣化伝送ゲートへの入力であり、
Ｔは整流関数であり、
ｆ［Ｔ（ｙｉ）］は整流された入力の非線形関数であり、
Ａ及びＢは定数である。
【００３５】
この式において、ｚｉは入力信号に対してＨＴＧセルの出力信号に適用される利得である。
このモデルにおいて、利得は０．０〜１．０の範囲に及ぶ。
第１の項Ａ（１−ｚｉ）は、ＨＴＧの利得の相対的に長期にわたる回復を与え、一方、第２の項−Ｂｆ［Ｔ（ｙｉ）］ｚｉは、ＨＴＧに正の信号が入力されるときの、急激な出力信号減衰と、それに続く長い持続時間にわたる負の信号とを与える。
本発明の一実施形態を表す任意の特定のニューロモルフィック集積回路において、任意の所与のＨＴＧのために用いられる特定の数学モデルは、定数Ａ及びＢの値に関して異なる場合があるか、又はＨＴＧのための数式全体に関して異なる場合がある。
しかしながら、一般的には、ＨＴＧセルを用いて、ニューラルセルによって出力されるか、又は受信される長期にわたる興奮信号又は抑制信号の影響を減少させる。
【００３６】
図９は、本発明の実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で用いられる、入力計算セル及び出力計算セルを含む、２つのさらなるタイプの計算セルの例を示す。
入力計算セル９０２は、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の外部にある信号送信エンティティから入力信号９０４を受信し、入力信号を処理した後に、出力信号ピン９１０及び９１２を介して、処理された信号９０６及び９０８を出力する。
出力計算セル９１４は、入力信号ピン９２０及び９２２を通じてハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の外部計算セルから興奮信号９１６及び抑制信号９１８を受信し、入力信号を処理して、ニューロモルフィック集積回路の外部にある信号受信エンティティに出力される、処理された信号９２４を生成する。
出力計算セルは、半導体集積回路層信号線を通じて、さらに入力を受信することができ、入力計算セルは、半導体集積回路層信号線に、さらに信号を出力することができる。
さらに、入力計算セル及び出力計算セルを用いて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の２つの異なる内部アナログ信号を互いに変換することができる。
【００３７】
図１０は、本発明の一実施形態を表す、マイクロスケール−ナノスケールハイブリッドニューロモルフィック回路の入力計算セルのための入力信号及び出力信号を示す。
多くの場合に、入力信号１００２は、パケット形式のデジタル信号であり得、その信号において、２進数のシーケンスを含む固定長又は可変長パケットが、外部エンティティから入力計算セルに送信される。
入力計算セルは、図１０において信号対時間プロット１００４において示される、アナログ電圧又は電流信号を生成するために、デジタル／アナログ信号変換を実行する。
同様に、出力計算セル（図９の９１４）はアナログ信号を受信し、パケット形式のデジタル信号１００２を出力するために、アナログ／デジタル信号変換を実行する。
数多くの異なる取り得るタイプのデジタル信号が存在し、ニューロモルフィック回路の種々の異なる実施態様が、異なるタイプのアナログ信号を利用できる。
それゆえ、入力計算セル及び出力計算セルの内部回路は、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路によって受信されるデジタル信号、及びそこから送出されるデジタル信号のタイプの両方、並びに集積ニューロモルフィック集積回路内で用いられる種々のタイプのアナログ信号に大きく依存する。
【００３８】
図１１Ａ及び図１１Ｂは、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の計算セルの相互接続を示す。
図１１Ａは、４ピン計算セルの３×３アレイを示す。
上記のように、計算セル１１０２のような各計算セルは、２つの出力ピン１１０４及び１１０６と、抑制入力ピン１１０８と、興奮入力ピン１１１０とを含む。
図１１Ｂは、図１１Ａに示されるような計算セルの３×３アレイを示す。該アレイ上に、平行ナノワイヤから成る２つの副層と、１つのメムリスティブ材料副層とを含む相互接続層が実装されている。
図１１Ｂにおいて、計算セル１１０２の入力ピン１１１０のような各入力ピンは、パッド１１１２とのインターフェースを成し、パッド１１１２は、左側にある実質的に水平なナノワイヤ１１１４を、右側にある実質的に水平なナノワイヤ１１１６に接合し、且つ左側のナノワイヤ１１１４及び右側のナノワイヤ１１１６の両方を入力ピン１１１２に接合する。
したがって、計算セルのアレイ内の入力ピンに接続される全てのナノワイヤが、平行なナノワイヤから成る第１の副層を形成する。
図１１Ｂに示されるように、それらのナノワイヤは、計算セルの３×３アレイの上側１１１８及び下側１１２０の水平縁部の方向に対してわずかに回転している。
この回転によって、ナノワイヤは、左方向及び右方向の両方において水平に延在できるようになり、且つパッド及び垂直ピンを介してナノワイヤが接続される計算セルの内部又は外部にある任意の付加的な垂直ピンに重なることなく、多くの近隣の計算セルに伸びることができるようになる。
計算セル１１０２内の出力ピン１１０４のような出力ピンはそれぞれ、実質的に垂直なナノワイヤに同じように接続される。
したがって、計算セルの３×３アレイ内の出力ピンに接続されるナノワイヤは、実質的に平行なナノワイヤから成る第２の副層を形成し、第２の副層のナノワイヤは第１の副層のナノワイヤと実質的に直交する。
【００３９】
図１１Ｂにおいて、ナノワイヤ間のメムリスティブナノワイヤ接合部は、２つのナノワイヤ間の交差点にある、塗潰された円板１１２４のような、塗潰された小さな円板として示される。
メムリスティブナノワイヤ接合部１１２４は、シナプス前ニューラルセル１１２６及びシナプス後ニューラルセル１１２８を相互接続するシナプスをモデル化する。
メムリスティブナノワイヤ接合部１１２４は、シナプス前計算セル１１２６の出力ピン１１３０を、シナプス後ニューラルセル１１２８の抑制入力ピン１１３２と相互接続する。
本発明によれば、複数のナノワイヤ相互接続層ｏが、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の半導体集積回路層の上方に実装される場合がある。
複数の相互接続層によって、ニューラルセルを、複数の階層的な論理レベルにおいて、シナプスのようなメムリスティブナノワイヤ接合部を通じて互いに相互接続できるようになる。
本発明の多相互接続層ニューロモルフィック集積回路アーキテクチャは、極めて多くの数の異なる取り得る計算セル相互接続構造を提供し、それゆえ、非常の多くの数の異なる取り得るニューロモルフィック回路を実現するための極めて自由度が高く、且つ強力な相互接続アーキテクチャを提供する。
【００４０】
本発明の或る特定のハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の実施形態では、ナノワイヤ接合部は、オン状態及びオフ状態になるように、製造中に構成される場合があるか、又は製造後にプログラムされる場合があり、オンになるように構成されるナノワイヤ接合部のみが電流を通し、シナプスのような動作を示すのに対して、オフになるように構成されるナノワイヤ接合部は開いたスイッチとしての役割を果たす。
本発明の他のハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の実施形態では、ナノワイヤ接合部は全てオン状態になるように構成され、各ナノワイヤ接合部のコンダクタンスは、その中を通る電圧信号によって排他的に決定される。
【００４１】
図１２Ａ〜図１２Ｆは、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す。
図１２Ａ〜図１２Ｆは、単一の計算セルに関するニューロモルフィック集積回路の製造を示す。
しかしながら、上記のように、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路は非常に多くの数の計算セルを含み、それらの計算セルは合わせて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の表面をタイル張りにする。
或る特定の実施形態では、半導体基板の１平方センチメートル当たり、数千万から数億個の個別の計算セルを製造することができる。
図１２Ａ〜図１２Ｆにおいて示される製造方法は一般的に、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の全ての計算セルに同時に適用される。
【００４２】
図１２Ａに示されるように、各計算セル１２０２が、フォトリソグラフィ、ドーピング、エッチング及び平坦化技法を含む、集積回路製造の種々の方法のうちのいずれかを用いて形成される。
計算セルの表面１２０４は、上記の４つの垂直導電ピンのための４つの導電ベース１２０６〜１２０９を含む。
製造方法、及び特定の応用例によって実施される必要がある計算セル動作のための数学モデルに応じて、計算セルは種々の形状及びサイズのうちの任意のものを有しうる。
セルのための一般的な形状は、正方形、長方形、六角形及び正三角形を含み、それらは全て、半導体基板の表面を完全にタイル張りするために、２次元アレイ内に敷き詰められうる。
下層を成す集積回路を製造した後の第１のステップでは、図１２Ｂにおいて示されるように、ナノワイヤの第１の副層１２１０が、集積回路の表面上にインプリントされるか、又は他の方法によって形成され、各ナノワイヤは、パッド１２１２のようなパッド状構造物を通じて単一の垂直ピンに接触し、且つそのパッドから両側に延在して単一のナノワイヤを形成する。
図１２Ｂに示されるように、第１のナノワイヤ副層のナノワイヤは互いに平行であり、下層を成す計算セルの両方の入力ピン、又は両方の出力ピンに接続し、所与の副層の単一のナノワイヤは多くても１つのピンにしか接続されない。
第１の副層のナノワイヤに接続されない垂直ピンは、下層を成す垂直ピン導電ベース（図１２Ａの１２０７及び１２０９）に重なるビア（via）として、第１の副層１２１４及び１２１６内に延在する。
【００４３】
次に、図１２Ｃに示されるように、メムリスティブ材料の薄い層１２２０が、第１のナノワイヤ副層１２１０の上側表面上に被着される。
このメムリスティブ材料は、第１の副層１２１０のナノワイヤと、後続のステップにおいて付加される第２の副層のナノワイヤとの間のメムリスティブナノワイヤ接合部を形成する。
導電ピンは埋込ビア１２２２〜１２２５によってメムリスティブ材料層を貫通して延長されることに留意されたい。
次に、図１２Ｄにおいて示されるように、第２のナノワイヤ副層１２３０がメムリスティブ層１２２０の上方に付加される。
第２のナノワイヤ副層のナノワイヤは平行であり、各ナノワイヤは単一の垂直ピンに接続される。
第１のナノワイヤ副層が出力ピンに接続されるとき、第２のナノワイヤ副層は入力ピンに接続され、逆もまた同様である。
第２の副層のナノワイヤは、第１の副層のナノワイヤと実質的に直交することに留意されたい。
次に、図１２Ｅに示されるように、第２のナノワイヤ副層１２３０の上方に絶縁層１２４０が付加され、ここでもまた、垂直ピンは埋込ビア１２４２〜１２４５によって延長される。
【００４４】
図１２Ｆに示されるように、第１の絶縁層１２４０の上側に、付加的なナノワイヤ相互接続層１２５０を形成することができる。
本発明の実施形態を表すマイクロスケール−ナノスケールハイブリッドニューロモルフィック集積回路は、基本的に任意の数の相互接続層を含む場合があり、最も上にある絶縁層１２５２は一般的に下層を成す相互接続層を完全に絶縁し、それゆえ、垂直ピンを最後の絶縁層の表面まで延長する埋込ビアを含まない。
再び、図１２Ａ〜図１２Ｆは、単一の計算セルの観点から製造工程を示すが、有用なデバイスの場合、図１２Ａ〜図１２Ｆに示される一連のステップにおいて、一度に、基板表面の１平方センチメートル当たり、何百万、数千万、又は数億の計算セルが製造される。
【００４５】
図１３は、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路のナノワイヤ相互接続層のナノワイヤを通じて伝送される双方向信号を示す。
図１３において、第１のニューラルセル１３０２は、第１のナノワイヤ１３０６、第２のナノワイヤ１３０８、及び第１のナノワイヤ１３０６と第２のナノワイヤ１３０８とを相互接続するメムリスティブナノワイヤ接合部１３１０を介して、第２のニューラルセル１３０４と相互接続される。
第１のナノワイヤは、第１の、すなわちシナプス前ニューラルセル１３０２の出力ピン１３１２に接続され、第２のナノワイヤ１３１０は、第２の、すなわちシナプス後ニューラルセル１３０４の入力ピン１３１４に接続される。
上記のように、シナプス前ニューラルセルが活動度しきい値よりも高い活動度を有するとき、シナプス前ニューラルセルは、図１３において矢印１３１６によって表される順方向信号を出力する。
同様に、シナプス後セルが第２の活動度しきい値レベルよりも高い活動度を有するとき、そのシナプス後セルは、シナプス前ニューラルセル１３０２に向かって、入力ピンを通じて、図１３において矢印１３１８によって表される逆方向信号を出力する。
ニューラルセルが順方向信号及び逆方向信号のいずれを出す場合でも、本発明の或る特定の実施形態では、上記のように、シナプス動作をモデル化するナノワイヤ接合部のメムリスティブ材料において状態変化がもたらされる。
【００４６】
図１４は、メムリスティブナノワイヤ接合部のコンダクタンス変化を示しており、その接合部を通じて、シナプス前ニューロン及びシナプス後ニューロンが相互接続される。
図１４において、種々の信号プロットが、全ての場合に時間軸１４０２のような横軸の時間軸に対してプロットされる時間に対して垂直方向において揃えられる。
図１４の種々のプロットは、第１の信号線１４０６を第２の信号線１４０８と接続するメムリスティブナノワイヤ接合部１４０４の信号及び状態変化を示す。
第１のプロット１４１０は、第１の信号線に接続されるシナプス前ノード（図１３の１３０２）から生じる、第１の信号線１４０６を通って送信される順方向信号をプロットする。
第２のプロット１４１２は、第２の信号線に接続されるシナプス後ノード（図１３の１３０４）から生じる、第２の信号線を通って送信される逆方向信号をプロットする。
第３のプロット１４１４は、各時点におけるメムリスタ１４０４の両端での電圧降下を示しており、最後のプロット１４１６は、各時点におけるメムリスタのコンダクタンスを示す。
破線の垂直線１４１８のような破線の垂直線は、種々のプロット１４１０、１４１２、１４１４及び１４１６の各プロットの或る特定の時点を示す。
【００４７】
順方向信号が正の電圧ピーク１４２２又は負の電圧ピーク１４２４を示し、一方、逆方向信号が平坦であるとき、メムリスタの両端においてそれぞれ、相対的に小さな負の電圧降下１４２６及び相対的に小さな正の電圧降下１４２８が生じる。
これらの小さな電圧降下は、メムリスタのコンダクタンスにおいて、対応する小さな減少１４３０及び小さな増加１４３２を生成する。
順方向信号及び逆方向信号の両方において、同じ符号で、等しい大きさの電圧ピーク、１４３４及び１４３６及び１４３８及び１４４０が生じるとき、メムリスティブナノワイヤ接合部の両端で電圧降下１４４２及び１４４４は生じないので、メムリスタのコンダクタンスは変化しない。
しかしながら、同じ時点において、順方向信号において正のピーク１４５０が、逆方向信号において負のピーク１４５２が生じるとき、メムリスタの両端において相対的に大きな負の電圧降下１４５４が生じ、コンダクタンスにおいて対応する大きな降下１４５６を引き起こす。
同様に、逆方向信号の正のピーク１４６２に対応する時点における順方向信号の負の電圧ピーク１４６０は、メムリスタの両端において相対的に大きな正の電圧降下１４６４を引き起こし、メムリスティブ材料において対応する大きなコンダクタンス増加１４６６を引き起こす。
したがって、或る特定のタイプの順方向及び逆方向信号を生成することによって、ニューラルセルは、接続しているメムリスティブナノワイヤ接合部が、上記で数学的に記述されたシナプス動作をモデル化する導電性変化を示すことができるようにする。
順方向信号及び逆方向信号のために適した波形を用いるとき、シナプス動作のためのヘブ（Hebbian）学習モデルに従って、シナプス前ニューラルセルによって高い活動度が引き起こされる順方向信号が送信された直後にシナプス後ニューロンが高い活動度を有する時点で、メムリスティブ材料が大きな導電率変化を示すように促すことができる。
さらに、メムリスティブナノワイヤ接合部の導電率は、活動度レベルの過去のパターン、及びそれらの接合部が相互接続するシナプス前ニューラルセル及びシナプス後ニューラルセルからの信号出力を反映する。
【００４８】
本発明の実施形態によるハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内に、複数の隣接計算セルを含む、種々の異なる機能モジュールを形成することができる。
図１５は、本発明の一実施形態による、６計算セル双極子の実施態様を示し、それは、デジタル論理フリップフロップに類似のアナログ動作を示す。
双極子モジュール１５０２は、その全体が、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の集積回路層内に形成される。
ニューラルセル１５０４及び１５０６は、双極子の入力ノードを表し、ニューラルセル１５０８及び１５１０は双極子の出力ノードを表す。
その双極子において、一方の出力ノードは、他方の出力ノードが低い活動度を有するときに高い活動度を有する傾向があり、逆もまた同様であり、出力ノードの活動状態は、入力ノードへの入力が一定であるか、又は入力がないときに一定のままである傾向がある。
したがって、その双極子はアナログフリップフロップとして動作し、基本的に、出力ノードの２つの取り得る活動レベル状態のうちの一方をラッチする。
入力ノード１５０４は、信号線１５１２を介して出力ノード１５０８に興奮信号を送信し、信号線１５１４を介して出力ノード１５１０に抑制信号を送信する。
入力ノード１５０６は、類似であるが、逆の信号伝送パターンに従う。
出力ノードは、ＨＴＧノード１５２４及び１５２６を通じて、入力ノード１５０４及び１５０６に正のフィードバック信号１５１８及び１５２０を出力する。
したがって、入力ノード１５０４が高い活動度を有するとき、出力ノード１４０８は高い活動度を有する傾向があり、入力ノード１５０４の高い活動度を強化する。
入力ノード１５０６が高い活動度を有するとき、出力ノード１５１０は高い活動度を有する傾向があり、入力ノード１５０６の高い活動度を強化する。
それゆえ、左側の列の計算ノード１５０４及び１５０８は、右側の列の計算セル１５０６及び１５１０と高い活動状態を競い合う。
【００４９】
図１６は、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で用いられる場合がある第２のタイプの多計算セルモジュールを示す。
図１６に示されるモジュールは９計算セル包囲構造であり、８つの周辺計算セル１６０２〜１６０９が、活動的であるとき、中央計算セル１６１０に抑制水平信号を送信する。
本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内に、種々の異なる数の計算セルを含む、種々の異なるタイプの包囲構造を形成することができる。
或る特定の事例では、複数の計算セルから成る、小さい方の隣接する環状構造が中央セルに興奮信号を送信することができ、一方、周辺計算セルから成る、大きい方の包囲する環状構造が中央計算セルに抑制信号を送信することができ、逆もまた同様である。
さらなるタイプの包囲構造では、中央セルから周辺セルに、フィードバック信号を送信することができ、逆もまた同様である。
或る特定の事例では、複数の中央セルが、複数の包囲セルから成る１つ又は複数の環状構造によって包囲される場合があり、各環状構造が異なるタイプ又はレベルの順方向信号フィードバックを与える。
種々のタイプのパターン認識回路及びオリエンテーションマップを実現するために、複数の包囲構造がよく用いられる。
【００５０】
図１７は、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の計算セルの階層的な相互接続を示す。
図１７は、計算セルの２４×２８アレイ１７０２を示す。
各セルは、アレイの下に与えられる論理レベル鍵１７０４に従って、或る論理レベルを割り当てられる。
たとえば、陰影付き計算セル１７０６のような陰影付きの計算セルは、第１の論理レベルを形成する。
計算セルのそのような階層的論理配列は、１つのナノワイヤ相互接続層を用いて、各レベルのニューラルセルを相互接続することによって実現されうる。
たとえば、第１のレベルの計算セルは、第１のナノワイヤ相互接続層内のナノワイヤ及びメムリスティブナノワイヤ接合部によって水平に相互接続される場合がある。
第２の論理レベルのセルは、第２のナノワイヤ相互接続層によって同じように相互接続される場合がある。
さらに、順方向及びフィードバック相互接続が複数の相互接続レベルを横断する場合があり、それにより、論理レベル間での信号の交換を提供することができる。
階層的に並べられた計算セル層は、種々のタイプのパターン認識ニューロモルフィック回路、及び複数の入力から推測結果を導く推測エンジンにおいて有用である。
【００５１】
図１８は、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で実現されうる第２のタイプの論理構造を示す。
図１８において示される、層状皮層は、計算セル１８０２のような複数の低レベルセンサ入力計算セルを含む場合があり、それぞれ双極子モジュール１８０４のような双極子モジュールに接続され、そのモジュールは層状皮層の単純セルをモデル化する。
双極子モジュールはさらに、互いに、且つ複合セル１８０６のような複合セルと相互接続され、複合セルは、さらに高いレベルの計算セル又は出力セルに信号を出力する。
層状皮層は、パーセプトロン、及び数多くの他のタイプのニューロモルフィック回路において用途を見いだす。
図１９は、本発明に従って形成することができ、層状皮層ニューロモルフィック回路を実現するために、隣接する複数の層状皮層モジュールと共に用いられうる層状皮層回路モジュールを示す。
層状皮層モジュール１９０２は、６つの計算セル１９０４〜１９０９から実装される、６計算セル双極子を含む。
入力計算セル１９１０はセンサ入力を表し、一対の計算セル１９１２及び１９１４は層状皮層の複合セルを表す。
さらに大きなモジュールは、計算セル１９０４〜１９０９を含む双極子に複数のセンサ入力を与えるために、付加的なセンサ入力セルを含む場合がある。
セル間の相互接続は、半導体集積回路層において排他的に形成される場合があるか、又は１つ若しくは複数のナノワイヤ相互接続層をさらに利用する場合がある。
【００５２】
本発明を特定の実施形態に関して説明してきたが、本発明はこれらの実施形態に制限されることは意図していない。
本発明の精神の範囲内にある変更が、当業者には明らかになるであろう。
たとえば、計算セルは、ニューロン、入力セル、出力セル及びＨＴＧセルに加えて、種々のセルタイプを実現する場合がある。
数多くのタイプのニューロモルフィック回路に対して４ピン計算セル（unit）が十分な接続性を与えるように見えるが、種々の代替の実施形態では、さらに多くの数、又は少ない数の入力及び出力ピンが用いられうる。
上記のように、本発明の実施形態によるハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の集積回路レベル内に、付加的な信号線及び他の信号伝送関連構成要素を形成してもよい。
半導体集積回路層信号線を用いて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の多計算セルモジュール及び他の論理ユニットの計算セル間の付加的な接続性を与えることができる。
多数の集積回路製造技法のうちの任意のものを用いて、種々の異なるタイプの半導体基板の任意のものにおいて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の半導体集積回路層を形成することができる。
ニューロモルフィック集積回路を、異なる寸法及び面積を用いて形成することができ、計算セルのアレイ内の欠陥のある計算セルに対応するために、欠陥検出機能、欠陥改良機能及び欠陥許容機能を含む、付加的な機能を組み込むこともできる。
ニューロモルフィック集積回路は、内部で電流信号及び電圧信号の両方を利用することができ、パケット形式のデジタル信号を含む、種々のタイプの外部信号を受信し、送出することができる。
本発明の多くの実施形態において、内部ニューロモルフィック集積回路信号は、アナログ電流信号及びアナログ電圧信号の両方を含む。
ニューロモルフィック集積回路内で、生物学的軸索スパイクに類似している、種々のタイプの順方向及び逆方向のアナログ信号パターンを利用することができるが、ニューロモルフィック集積回路は、単純な電圧レベル信号及び／又は電流レベル信号に基づいて動作してもよい。
ニューロモルフィック集積回路は、入力計算セル及び出力計算セルにタイミング信号を与えるクロック信号伝搬機能を含む、付加的な機能を含む場合がある。
ニューロモルフィック集積回路は、それぞれ関連する複数のナノワイヤ相互接続層と相互接続される、複数の集積回路層をさらに含む場合がある。
【００５３】
これまでの説明は、本発明を完全に理解してもらうために、その説明の目的上、特定の用語を使用した。
しかしながら、本発明を実施するために、具体的な細部が不要であることは当業者には明らかであろう。
本発明の具体的な実施形態のこれまでの説明は、例示し、説明するために提示される。
それらの説明は、本発明を余す所なく述べることも、開示されるのと全く同じ形に限定することも意図していない。
上記の教示に鑑みて、数多くの変更及び変形が可能である。
それらの実施形態は、本発明の原理及びその実用的な応用例を最もわかりやすく説明し、それにより、意図される特定の用途に合わせて種々の変更を加えながら、当業者が本発明及び種々の実施形態を最大限に利用できるようにするために、図示及び説明される。
本発明の範囲は添付の特許請求の範囲及びその均等物によって規定されることが意図されている。
【符号の説明】
【００５４】
１０２ 半導体集積回路層
１０４〜１０７ 導電ピン
１０８ ナノワイヤ
１１０ パッド状構造物
２０２ 第１の計算セル
２０４ 近隣の計算セル
２０６ 第１のナノワイヤ
２１０ 第２のナノワイヤ
２０８，２１２ 垂直ピン
２２２，２２４ 信号線
２２０ メムリスタ記号
【技術分野】
【０００１】
本発明は材料科学及び電子回路実装に関し、より詳細には、生物学的神経回路を模倣するニューロモルフィック回路を含む、多種多様の異なる複合電子回路、処理システム及び計算デバイスを実現するためのハイブリッドマイクロスケール−ナノスケール集積回路アーキテクチャに関する。
【０００２】
［関連出願の相互参照］
本出願は２００７年１２月５日に出願された仮特許出願第６０／９９２，６６３号の利益を主張する。
【背景技術】
【０００３】
コンピュータプロセッサ、メモリ及び他の計算機械のためのマイクロスケール回路を実現する現在の手法は、過去半世紀の間に、回路密度及び計算能力を、驚異的な勢いで、指数関数的に高めることになった。
しかしながら、長年にわたってコンピュータの発展を特徴付けており、「ムーアの法則」と呼ばれる、処理能力及び機構密度が２年毎に急増、すなわち倍増するという法則は、横ばいになり始めており、現在、機構サイズをさらに小さくすることは、信号線のサイズが細くなるのに応じて電気抵抗が増加すること、機構サイズが小さくなるのに応じて機構の静電容量が増加することに起因して、プロセッサが生成する熱量が増加して熱を除去するのが難しくなること、機構サイズが小さくなるほど製造するのが難しくなることに起因して、プロセッサ及びメモリ構成要素の欠陥率及び故障率が高くなること、並びに機構サイズをさらに小さくするための製造設備及び方法を設計することが難しくなることを含む、物理的な制限及び実用上の制約に直面している。
集積回路内の機構サイズをさらに小さくすることが益々難しくなることはわかっているので、集積回路を基にする電子デバイスの計算能力を高めるための種々の代替の手法が利用され始めている。
一例として、プロセッサ製造供給元は、種々のタスクを並列に実行する複数のコアにわたって計算を分散させることによって計算能力を高めるマルチコアプロセッサを製造している。
他の取り組みは、ナノスケールレベルにおいて回路を製造すること、種々の分子エレクトロニクス技法を用いること、及び電子通信媒体を通じてデータ信号を伝送する際に生じる誤りを改善するために誤り訂正符号を用いるのと同じように、情報科学に基づく理論的な手法を適用することによって欠陥及び信頼性の問題に対処することを含む。
さらなる取り組みは、「ニューロモルフィック（neuromorphic）回路」と呼ばれるナノスケール回路を開発することを対象とし、ニューロモルフィック回路は、驚くほど効率的で、低電力の並列計算機構を生命体に提供する生物学的な神経回路を模倣する。
しかしながら、多くの現在の手法は、シナプスに対するニューロモルフィック等価回路を実現するために、相補形金属酸化膜半導体（「ＣＭＯＳ］）技術において実装される従来の論理回路を用いており、ニューロンに対するニューロモルフィック等価回路を形成することができる密度が、半導体チップ表面積の１平方センチメートル当たり実質的に数千ニューロンに厳しく制限される。
したがって、ニューロモルフィック回路の研究者及び開発者は、十分に高密度のニューロモルフィック回路を製造するために、新たな技法及び新たなアーキテクチャが必要とされることを認識している。
【発明の概要】
【０００４】
本発明の実施の形態は、集積回路基板上に形成されるアナログ計算セルのアレイを含むハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路を含む。
各計算セル内のアナログ電子回路は、計算セルから実質的に垂直に延在する、第１のタイプの１つ又は複数のピン及び第２のタイプの１つ又は複数のピンに接続される。
計算セルは１つ又は複数のナノワイヤ相互接続層によってさらに相互接続され、各ナノワイヤ相互接続層は、メムリスティブ副層（memristive sublayer）の両側に２つのナノワイヤ副層を含み、１つの相互接続層の各ナノワイヤ副層内の各ナノワイヤは、単一の計算セルピン、及びその相互接続層の他のナノワイヤ副層内の複数のナノワイヤに接続される。
本発明のマイクロスケール−ナノスケールハイブリッドニューロモルフィック回路アーキテクチャを用いて、ニューロモルフィック層状皮質（laminar cortical）回路を含む、極めて多くの数の異なる複合電子回路、計算システム及び計算デバイスを実現することができる。
【図面の簡単な説明】
【０００５】
【図１】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の基本計算セルを示す図である。
【図２】本発明の種々の実施形態においてシナプス動作をモデル化する、２つのナノワイヤ間のメムリスティブ接合部を示す図である。
【図３Ａ】本発明の種々の実施形態においてシナプスをモデル化するために用いられるメムリスティブ接合部の基本的な電子的特性を示す図である。
【図３Ｂ】本発明の種々の実施形態においてシナプスをモデル化するために用いられるメムリスティブ接合部の基本的な電子的特性を示す図である。
【図４】本発明のハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の種々の実施形態において基本計算ユニットとしての役割を果たすニューラルセルを示す図である。
【図５Ａ】本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す図である。
【図５Ｂ】本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す図である。
【図５Ｃ】本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す図である。
【図５Ｄ】本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す図である。
【図５Ｅ】本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す図である。
【図６】本発明の種々の実施形態によるニューラルセルの一般的な内部回路を示す図である。
【図７】本発明の実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で用いられる習慣化（habituative）伝送ゲート計算セルを示す図である。
【図８】本発明の一実施形態による、習慣化伝送ゲート計算セルによる入力信号の変更を示す図である。
【図９】本発明の実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で用いられる、入力計算セル及び出力計算セルを含む、２つのさらなるタイプの計算セルの例を示す図である。
【図１０】本発明の一実施形態を表すマイクロスケール−ナノスケールハイブリッドニューロモルフィック回路の入力計算セルのための入力信号及び出力信号を示す図である。
【図１１Ａ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の計算セルの相互接続を示す図である。
【図１１Ｂ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の計算セルの相互接続を示す図である。
【図１２Ａ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１２Ｂ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１２Ｃ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１２Ｄ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１２Ｅ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１２Ｆ】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す図である。
【図１３】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路のナノワイヤ相互接続層のナノワイヤを通じて伝送される双方向信号を示す図である。
【図１４】シナプス前ニューロン及びシナプス後ニューロンが相互接続されるメムリスティブナノワイヤ接合部内のコンダクタンス変化を示す図である。
【図１５】本発明の一実施形態による、デジタル論理フリップフロップの動作に類似のアナログ動作を示す６計算セル双極子の一実施態様を示す図である。
【図１６】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路において用いることができる第２のタイプの多計算セルモジュールを示す図である。
【図１７】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の計算セルの階層的な相互接続を示す図である。
【図１８】本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内に実現することができる第２のタイプの論理構造を示す図である。
【図１９】本発明に従って形成することができ、且つ層状皮質層ニューロモルフィック回路を実現するために、複数の隣接する層状皮質層モジュールと共に用いることができる層状皮質回路モジュールを示す図である。
【発明を実施するための形態】
【０００６】
本発明の実施形態は、実質的に無限の数の異なる電子回路、計算システム及び計算デバイスを実装するための、超高密度で低消費電力のアナログニューロモルフィック回路を提供するハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路を対象とする。
用語「マイクロスケール」は、数マイクロメートルから１０ナノメートル〜１００ナノメートルまでの最小寸法を有する、フォトリソグラフィ、ドーピング、エッチング及び線形化を含む、集積回路を製造するための種々の技法によって、シリコンに基づく集積回路層又は他の半導体物質に基づく集積回路層内に実装される、マイクロスケール及びサブマイクロスケールの構成要素及び機構を指している。
用語「ナノスケール」は、ナノワイヤ、並びにネット及びクロスバーを含む種々のナノワイヤ構造を製造するための種々の方法を用いて実装される、数十ナノメートルから１０ナノメートル未満までの範囲に及ぶ最小寸法を有する、より小さな機構及び構成要素を指している。
【０００７】
生物学的回路をエミュレートするように形成される生物学的な神経回路及びニューロモルフィック電子回路は、シナプスを通じて他のニューラルセルユニットとそれぞれ相互接続される、ニューラルセル及びニューロン計算ユニットに基づく。
ニューロンの活動レベルは一般的に短期メモリを実現し、長期にわたる刺激及び他の習慣化反応の結果としての神経興奮の低下が一般的に中期メモリを実現し、シナプス重みが長期メモリを実現する。
一般的に、生物学的神経回路では、所与のニューロンは、１０，０００まで、又はそれよりも多くのシナプスを通じて、他のニューロンに相互接続される場合がある。
上記のように、集積回路内のマイクロスケール及びサブマイクロスケール電子構成要素からニューロモルフィック回路を構築する試みは、サブマイクロスケール論理回路においてシナプス機能をシミュレートすることに集積回路のかなりの部分を費やすことに起因して、現段階では一般的に、ニューロン密度がかなり低くなっている。
ニューロンよりもはるかに多くのシナプスが必要とされるので、多くのニューロモルフィック集積回路設計では、ニューロモルフィック集積回路の表面の大部分が、はるかに少ない数のニューロン間にある多数のシナプス接続を実装することに充てられる。
【０００８】
本発明の実施形態は、ナノワイヤ間のメムリスティブ接合部としてシナプスを実装することによって、高ニューロン密度ニューロモルフィック集積回路を提供する。
シナプス、及びシナプスによって相互接続されるナノワイヤ信号線は生物学的神経回路の樹状突起及び軸索を模倣し、半導体集積回路層の上方にあるナノワイヤ相互接続層内に形成され、それにより、以下の説明において「ニューラルセル」と呼ばれるニューロン計算セル、及び多計算セルモジュールを実装するために半導体集積回路表面を保つ。
したがって、本発明に従って設計及び製造されるハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路は、論理回路ではなく、メムリスティックナノワイヤ接合部を利用して、シナプスを実装し、ニューラルセル間のシナプス、及びシナプスに基づく相互接続は、半導体集積回路層の上方にあるナノワイヤ相互接続層内に実装され、３次元ハイブリッドマイクロスケール−ナノスケールニューロモルフィック回路アーキテクチャにおいて非常に高いニューラルセル密度を提供する。
【０００９】
図１は、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の基本計算セルを示す。
その基本計算セルは、半導体集積回路層１０２の通常のエリアを含み、そこから４つの導電ピン１０４〜１０７が垂直に延在する。
図１のナノワイヤ１０８のような水平ナノワイヤが、パッド状構造物１１０のようなパッド状構造物を通じて導電ピンと相互接続し、且つハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の計算セルの２次元アレイにおいて計算セル１０２に近接する複数の計算セルにわたって直線的に延在する。
後にさらに検討されるように、計算セル１０２の半導体集積回路層は、ニューロン又は他の基本計算デバイスのモデルを実現する種々の相互接続及びアナログ構成要素を含み、そのうちのいくつかが後に詳細に説明される。
４つの垂直ピン１０４〜１０７は、計算セルの半導体集積回路層部分１０２内のアナログ構成要素及び回路を、ナノワイヤ１０８のようなナノワイヤの層に相互接続するための役割を果たす。
それらのナノワイヤはさらに、ナノワイヤ、及びシナプスをモデル化するメムリスティブ接合部を通じて、その計算セルを近隣の計算セルに相互接続する場合がある。
【００１０】
図２は、本発明の種々の実施形態においてシナプス動作をモデル化する２つのナノワイヤ間のメムリスティブ接合部を示す。
図２において、第１の計算セル２０２は、近隣の計算セル２０４に隣接して配置されるように示される。
第１のナノワイヤ２０６が、近隣の隣接計算セル２０４の垂直ピン２０８に接続される。
第２のナノワイヤ２１０が、図２の前景に示される、計算セル２０２の垂直ピン２１２に電気的に接続される。
第１のナノワイヤ２０６及び第２のナノワイヤ２１０は、図２において小さな破線の円２１４によって区切られる領域内で互いに重なり合い、その重なり合う領域は差込図２１６において拡大される。
メムリスティック材料から成る小さな層２１８が第１のナノワイヤ２０６と第２のナノワイヤ２１０との間に存在し、第１のナノワイヤを第２のナノワイヤと電気的に相互接続する。
２つのナノワイヤ間のメムリスティック接合部は、差込図２１８内に示されるように、２つの信号線２２２及び２２４を相互接続するメムリスタ記号２２０によって記号によって表すことができる。
後にさらに検討されるように、相互接続層内の各ナノワイヤは、メムリスティック接合部を通じて、数多くの異なるナノワイヤと相互接続する場合がある。
【００１１】
図３Ａ及び図３Ｂは、本発明の種々の実施形態においてシナプスをモデル化するために用いられるメムリスティブ接合部の基本的な電子的特性を示す。
図３Ａ及び図３Ｂはいずれも、メムリスティブ接合部のための電流／電圧プロットを示す。
電圧が横軸３０２に対してプロットされ、電流が縦軸３０４に対してプロットされる。
図３Ａには、電圧掃引が示される。
電圧掃引を含む連続的な電圧変化が、図３Ａの電流／電圧プロット３１６に一致し、且つその下にある第２の電圧軸３１４に対してプロットされる電圧経路３１２によって表される。
図３Ａに示されるように、電圧掃引は、０電圧３０６から電圧Ｖ＋ｍａｘ３０８まで電圧を徐々に増加させ、その後、負の電圧Ｖ−ｍａｘ３１０まで連続して減少させ、その後、その電圧を増加させて０（図３Ａの３０６）まで戻すことによって実行される。
その電流／電圧プロットは、メムリスティブ材料の導電率が電圧掃引中に如何に変化するかを示す。
【００１２】
最初に、メムリスティブ材料は低導電率状態にあるので、電圧が０（図３Ａの３０６）からＶ＋ｍａｘ３０８の直前まで増加するときに、プロット３１８の第１の部分において、電流の大きさは相対的に低いままである。
Ｖ＋ｍａｘ付近において、メムリスティブ材料の抵抗が急激に降下する、すなわち、導電率が非線形に増加するのに応じて、電流が急速に上昇し始める（３２０）。その後、電圧が、Ｖ＋ｍａｘからＶ−ｍａｘ３１０まで減少するとき、プロット３２２及び３２４の部分において、対応する電圧値に対してメムリスティブ材料によって通される電流の大きさが相対的に大きいことから明らかであるように、メムリスティブ材料の導電率は高いままである。
負の電圧Ｖ−ｍａｘ付近において、メムリスティブ材料のコンダクタンスが突然、急激に減少し始める（３２６）。
メムリスティブ材料は、Ｖ−ｍａｘにおいて低コンダクタンス状態になり、電圧が再び０（図３Ａの３２８）に向かって増加するときに保持される。
図３Ｂに示されるように、第２の電圧掃引３３０は、破線３３２によって示されるように、第１の電圧掃引中に生成されるコンダクタンスに対して、メムリスティブ材料のコンダクタンスを増加させる。
さらなる電圧掃引が、先行する電圧掃引中に生成されるコンダクタンスに対して、メムリスティブ材料のコンダクタンスをさらに増加させる場合がある。
したがって、メムリスティブ材料は、連続的に増減する印加電圧下でコンダクタンスの非線形性を示し、さらに、先行するコンダクタンス状態の記憶も示す。
言い換えると、本発明の実施形態において用いられる種々のタイプのメムリスティブ材料の場合に、メムリスティブ材料の物理状態ｗは、メムリスティブ材料の現在の物理状態及び印加される電圧の両方の関数として、時間と共に変化する
ｄｗ／ｄｔ＝ｆ（ｗ，Ｖ）
本発明の実施形態においてメムリスティブ接合部によって通される電流ｉは、印加される電圧、及び材料のコンダクタンスの関数である。ただし、コンダクタンスｇは、メムリスティブ材料の現在の状態、及び印加される電圧の両方の関数である。
ｉ＝ｇ（ｗ，ｖ）Ｖ
図３Ａ及び図３Ｂに示されるように、メムリスティブ接合部のコンダクタンスは、現在印加されている電圧と、且つ先行する時間間隔にわたって印加される電圧の履歴とに依存する。
【００１３】
シナプスは一般的に、シナプス前ニューロンｉによって生成され、シナプスを通ってシナプス後ニューロンｊに送られる信号の増幅又は減衰を引き起こす。
或る特定のモデルでは、シナプスの利得、すなわち重みは０．０〜１．０の範囲に及び、利得０．０は信号の完全減衰を表し、利得１．０は信号の無減衰を表す。
これらのモデルにおいて、ニューロンは複数の活動度を有し、ニューロンｉの活動度ｘｉがしきい値よりも高いとき、ニューロンは出力信号を出す。
ニューロン動作のための数学モデルは後の節において与えられる。
シナプス前ニューロンｉをシナプス後ニューロンｊに相互接続する或るシナプスの場合の利得の変化率ｚｉｊのための１つの数学モデルが以下のように表される。
（ｄｚｉｊ／ｄｔ）＝εｆ（（ｘｊ）（−ωｚｉｊ＋ｇ（ｘｉ）））
ただし、
ｚｉｊはシナプス前ニューロンｉをシナプス後ニューロンｊと相互接続するシナプスｉｊの重み、すなわちシナプスｉｊによって生成される利得であり、
εは学習速度であり、
ωは忘却速度であり、
ｆ（ｘｊ）はニューロンｉの活動度の非線形関数であり、
ｇ（ｘｉ）はニューロンｊの活動度の非線形関数であり、
ｔは時間である。
本発明の数多くの実施形態において、ｆ（）及びｇ（）は一般的にＳ字状（sigmoidal）である。
１つの例示的なＳ字状、すなわち「Ｓ」字関数はｔａｎｈ（）である。
シナプス前ニューロン及びシナプス後ニューロンがいずれも高い活動度を有するとき、利得ｚｉｊは急速に増加する。
項−ωｚｉｊは、その項−ωｚｉｊの大きさがシナプス後ニューロンの活動度の非線形関数ｇ（ｘｉ）の現在値よりも大きいときに、シナプスの利得が時間と共に減少するのを確実にする。
シナプスの重みは、フィードバック項−ωｚｉｊに起因して、際限なく増減することはできず、それはシナプスの重みが１．０に近づくにつれて、シナプスの重みを減少させるための役割を果たし、シナプスの重みが０．０に近づくにつれて次第に少なくなるフィードバックを生成する。
シナプス動作のための数学モデルは、ニューロン活動度のための数学モデルに依存し、それらのモデルは互いへの相互フィードバックを与える。
シナプス利得のための数学モデルを、メムリスティブ接合部の導電率変化を記述する上記の式、詳細にはコンダクタンス関数ｇ（ｗ，ｖ）と比較することから明らかであるように、メムリスティブ接合部のコンダクタンスは、利得関数を物理的に具体化したものを与えることができ、その時間導関数は上記の数学モデルとして表される。なぜなら、シナプスモデルのニューロン活動度の非線形関数ｆ（ｘｉ）及びｇ（ｘｉ）は、ニューロン間の物理的な電圧に関連し、所与の時点における利得ｚｉｊは、メムリスティブ接合部に印加される電圧の履歴に関連するためである。
したがって、メムリスティブナノワイヤ接合部のコンダクタンスのための関数式は、メムリスティブナノワイヤ接合部によって接続されるシナプス前及びシナプス後ニューロンの現在の活動度、及びメムリスティブナノワイヤ接合部の直近の印加電圧履歴に依存する。
したがって、本発明の種々の実施形態において、ナノワイヤを相互接続するメムリスティブナノワイヤ接合部は、上記の数学モデルによって表されるようなシナプス動作をモデル化するのに適している電流信号を通すための物理的特性を提供する。
【００１４】
図４は、本発明のハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の種々の実施形態において基本計算ユニットとしての役割を果たすニューラルセルを示す。
ニューラルセルは、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の１つのタイプの計算セルである。
上記のように、ニューラルセル４０２は、４つの垂直導電ピン４０４〜４０７を備える。
それらのピンは、そのコンパス方位によって呼ばれ、図４において計算セルの右側にコンパス図４１０が示される。
ＮＷピン４０４及びＳＥピン４０５は、ニューラルセルからの出力信号をＮＷピン４０４及びＳＥピン４０５と相互接続されるナノワイヤに伝導する。
ＳＷピン４０６及びＮＥピン４０７はいずれも、それらのピンに接続されるナノワイヤからそれらのピンに入力される信号を、ニューラルセル４０２に伝導する。
ＳＷピン４０６は抑制信号をニューラルセルに伝導し、一方、ＮＥピン４０７は興奮入力信号をニューラルセルに伝導する。
興奮入力信号はニューラルセルの活動度を上げる傾向があり、一方、抑制信号はニューラルセルの活動度を下げる傾向がある。
【００１５】
図４に示される基本ニューラルセル４０２は一般的に、ニューロンのための数多くの異なる数学モデルのうちの１つを実現する。
一般的に、受信される興奮信号の周波数及び数が抑制信号の周波数及び数よりも著しく大きいとき、ニューロンの活動度は一般的に活動度しきい値よりも高くなる。ただし、活動度しきい値は、ニューロンが出力ピン４０４及び４０５を通じて出力信号を出す点である。
【００１６】
入力興奮信号及び入力抑制信号は、シナプスのようなメムリスティブナノワイヤ接合部を通じて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の他のニューラルセルから受信され、ニューラルセル４０２によって出力される出力信号は、シナプスのようなメムリスティブナノワイヤ接合部を通じて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の他の計算セルに送られる。
ニューラルセル及びニューロモルフィック回路は一般的に、種々のフィードバック機構を含み、ニューロモルフィック回路内の個々のニューラルセルの活動度を制御し、抑制する非線形動作を示す。
シナプスを通じて高密度に相互接続される比較的少数のニューラルセルのみを含む、適度なサイズのニューロモルフィック回路であっても、かなり複雑な機能性を示すことができ、それは多くの場合に、閉じた形の数式を用いてモデル化することはできず、従来のブール論理に基づくデジタル論理回路において実装するのは難しいであろう。
図４において、入力４１２及び出力４１２は、４つの垂直ピンを通じて信号を受信すること、及び信号を送信することに加えて、ニューラルセルが全て、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の半導体集積回路レベル内に実装されるさらなるマイクロスケール又はサブマイクロスケール信号線を通じて、隣接する計算セルと相互接続できることを示す。
【００１７】
図５Ａ〜図５Ｅは、本発明の一実施形態を表す１つの容易に例示されるニューラルセルの内部演算を示す。
図５Ａに示されるように、興奮入力５０２のような、ＮＥ入力ピン（図４の４０７）への全ての興奮入力が、加算演算５０４によって合算される。
同様に、抑制入力信号５０６のような全ての抑制入力信号が、同様の加算関数５０８によって合算される。
図４の入力４１２のような、半導体集積回路層からのさらなる入力が、加算演算に含まれる場合があるか、又はニューラルセル処理の後のステージを実施する機能構成要素に入力される場合がある。
加算構成要素５０４及び５０８は、単に、入力ナノワイヤ信号線が接続される入力ピンとすることができるか、又は増幅構成要素及び他の電子構成要素を含む場合がある。
その後、興奮信号の和及び抑制入力信号の和は、信号生成機能構成要素５１０に入力され、信号生成機能構成要素は、図５Ａにおいて信号／時間プロット５１２によって表されるアナログ電圧信号を生成する。
【００１８】
図５Ｂに示されるように、例示的なニューラルセルは、漏れ積分器機能構成要素を含み、漏れ積分器機能構成要素は、現在時刻を含む、先行する或る時間間隔にわたって信号生成機能又は演算（図５Ａにおいて示される）によって生成される信号を絶えず積分する。
図５Ｂに示されるように、漏れ積分は、アナログ信号５２２にわたって時間窓関数５２０を重ね合わせ、時間窓関数５２０より下にあるアナログ信号の部分を積分することと見なすことができる。
図５Ｂにおいて、且つ後続の図面において、アナログ信号は、例示を簡単にするために、一様に正の値を有するように示されるが、実際には、アナログ信号は、正、０又は負のいずれかとすることができる。
【００１９】
図５Ｃに示されるように、漏れ積分機能構成要素は、しきい値機能構成要素５３０に積分された信号５２８を出力する。
しきい値機能構成要素によって判断されるように、積分された信号がしきい値よりも大きい値を有するとき、ニューラルセルは、図５Ｃにおいてスパイク列５３２によって示される出力信号を出力する。
そうでない場合には、ニューラルセルは、図５Ｃにおいて定数ゼロ関数５３４のプロットによって示されるように、信号を出力しない。
しきい値機能構成要素は、出力信号生成構成要素を起動するか、代替的には、出力信号生成構成要素を含むと見なすことができる。
【００２０】
代替的には、ニューラルセルの演算は、図５Ｄに示されるように、畳み込み関数５４６を生成するためのアナログ信号５４２及び時間窓関数ψ５４４に関する畳み込み演算５４０と見なすことができる。
その後、しきい値５４８が畳み込み関数５４６に重ね合わせられるか、又は畳み込み関数が、しきい値距離だけ下方に平行移動されて、対応する活動度関数５５０が生成される。
したがって、図５Ｄのニューラルセル活動度プロット５５０によって示されるように、時間間隔５５２及び５５４のような、入力信号の漏れ積分がしきい値より高い値を生成する時間間隔中に、ニューラルセルは活動的である。
【００２１】
図５Ｅは、本発明の種々の実施形態による、ニューラルセルの内部演算を要約する。
興奮信号５６０が合算され（５６２）、信号処理関数５６４に入力される。
同様に、抑制信号５６６が加算関数５６８によって合算され、信号処理関数５６４に入力される。
信号生成演算は、ニューロン動作のための種々の数学モデルのうちのいずれかに従って合成された合算入力に基づいてアナログ信号を生成しうる。
たとえば、信号生成関数は、合算された興奮入力信号及び合算された抑制入力信号の両方に非線形関数を適用し、その後、非線形関数を適用した結果を一次（線形）結合することができる。
信号生成関数５６４は、漏れ積分器関数５７０にアナログ信号を出力し、漏れ積分器関数は、或る先行する時間間隔にわたって積分された信号をしきい値関数５７２に出力し、しきい値関数は、ニューラルセルが出力信号を出力するのに十分に活動的であるか否かを判断する。
【００２２】
後に検討されるように、漏れ積分は神経回路の特殊な事例であり、例示するのが比較的容易であるので、神経回路例として図５Ａ〜図５Ｅの例において示される。
後に検討される、ホジキン−ハクスレーニューロンモデル、及びシャントモデル（shunting model）を実現する回路を含む、さらなる、より機能的に強化され且つより自由度のあるニューロン回路が用いられる場合もある。
これらのより機能的に強化され且つより自由度のあるニューロン回路では、しきい値構成要素が不要な場合があることが強調されるべきである。
或る特定のニューロモルフィック回路において、ニューロン間の信号としてスパイク列が生成されるときに、しきい値回路は有用であるが、他のモデルでは、しきい値処理構成要素を用いることなく、信号スパイクが生成される場合があるか、又は代替的には、信号は、スパイク列を含むのではなく、より連続的にすることができる。
【００２３】
図６は、本発明の種々の実施形態による、ニューラルセルの一般的な内部回路を示す。
ニューラルセル６０２は、出力ピン６０４及び６０６を介して、メムリスタ記号６０８のようなメムリスタ記号によって表される、シナプスのようなメムリスティブナノワイヤ接合部を通じて、ニューロモルフィック回路の近隣の計算セルに信号を出力する。
ニューラルセルは、第１の入力ピン６１０を通じて抑制信号を受信し、第２の入力ピン６１２を通じて興奮信号を受信する。
図６における出力信号、抑制入力信号及び興奮入力信号へのピンの割当ては、図４を参照しながら検討された割当てと同一であるが、代替の実施形態では異なる割当てが行なわれる場合があり、所与のハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路が、計算セルのために種々の異なるピン割当てを用いる場合がある。
図６に示されるニューラルセルでは、演算増幅器に基づく簡単な加算回路６１４及び６１６を用いて、興奮入力信号及び抑制入力信号を加算し、合算興奮信号入力信号６２０及び合算抑制信号入力信号６２２が生成され、それらの信号はニューラルセルの内部回路６２４に入力され、その内部回路は、図５Ａ〜図５Ｅを参照しながら上記で検討された信号生成、積分及びしきい値処理機能を実施する。
漏れ積分、信号合成及びしきい値処理のために用いられる回路の厳密な特性は、ニューラルセルによって受信される入力信号の特性、及びニューラルセルによって実施される厳密な数学モデルに依拠する。
たとえば、漏れ積分のために、演算増幅器及びキャパシタに基づく積分回路が用いられる場合があり、信号合成のために、種々のタイプの演算増幅器に基づく加算回路を用いて、２つの合算入力信号６２０及び６２２を一次結合することができる。
【００２４】
ニューラルセルのために、種々の異なるタイプの数学モデルがある。
任意の所与のニューロモルフィック回路において、所望の高レベルの機能を適切にエミュレートするか、又は実施するために、ニューロンの異なる数学モデルを実現するいくつかの異なるタイプのニューラルセルが用いられる場合がある。
ニューラルセルのための１つの数学モデルは、以下のように表すことができる。
【００２５】
【数１】
【００２６】
ただし、
ｉはモデル化されたニューロンであり、
ｘｉは、ニューロンｉの活動度であり、
ｔは時間であり、
ｆｊ（ｘｊ）はニューロンｊの活動度の非線形関数であり、
ｚｊｉはニューロンｊとｉとの間のシナプスの重みであり、
ｇｊはニューロンｊの活動度の非線形関数であり、
ｎは興奮入力を通じてノードｉに結合されるニューロンの数であり、
ｍは抑制入力を通じてノードｉに結合されるニューロンの数であり、
Ａ及びＢは定数である。
【００２７】
このモデルでは、特定のニューラルセルｉの活動度は、第１の受動減衰項−Ａｘｉ、フィードバック項によって変更される興奮入力の和を表す第２の項
【００２８】
【数２】
【００２９】
及びフィードバック項によって変更される抑制入力の和を表す第３の項
【００３０】
【数３】
【００３１】
の一次結合である。
このモデルでは、ニューロンｉの活動度ｘｉは、０．０〜１．０の範囲に及ぶ。
ニューロン活動度が高く、１．０に近づくとき、その式内のフィードバック項が、活動度がさらに高くなるのを制限するための役割を果たし、活動度を強制的に下げる。
一方、ニューロンｉの活動度ｘｉが低く、０．０に近いとき、フィードバック項の有意性は低下し、ニューラルセルは、興奮入力に対して高い感度で、且つ抑制入力に対して低い感度で応答し、それにより、ニューラルセルの活動度を高める。
上記で検討されたように、ニューラルセルの活動度がしきい値よりも高くなるとき、そのニューラルセルは、シナプスのようなメムリスティブナノワイヤ接合部を通じて、近隣の計算セルに出力信号を出し、同じく、半導体集積回路層信号線を通じて隣接計算セルに信号を出力する場合がある。
上記で検討されたように、ニューラルセル演算のための数多くの異なる取り得る数学モデルが実現可能であり、単一のニューロモルフィック回路内で多数の異なるモデルが用いられる場合があり、その場合、階層的なニューロモルフィック回路内の異なる論理レベルにあるニューラルセルが、ニューラルセル動作の異なる数学モデルを実施する。
【００３２】
図７は、本発明の実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で用いられる習慣化伝送ゲート計算セルを示す。
図７に示されるような、習慣化伝送ゲートセル（「ＨＴＧ］）は、シナプスのようなメムリスティブナノワイヤ接合部を通じて、ニューラルセルを他のニューラルセルに接続するために用いられる垂直ピンを利用しない。
代わりに、ＨＴＧ７０２は、半導体集積回路信号線を通じて、ニューロモルフィック回路内の隣接計算セルから入力７０４を受信し、隣接計算セルへの出力７０６を生成する。
ＨＴＧは、抑制入力及び興奮入力に応答してニューラルセルによって生成される信号よりも、入力信号に対して相対的に長い持続時間の効果をもたらす。
図８は、本発明の一実施形態による、習慣化伝送ゲート計算セルによる入力信号の変更を示す。
図８において、入力信号は、信号強度対時間の第１のプロット８０２内にプロットされ、対応する出力信号は、信号強度対時間の第２のプロット８０４内にプロットされる。
図８の２つのプロットは、時間軸８０６及び８０８に対してそれぞれ揃えられる。
入力信号８１０が正の電圧ピーク８１２を含むとき、出力信号８１４も、入力信号内の正の電圧ピーク８１２に対応する正の電圧ピーク８１６を含む。
しかしながら、出力信号において、電圧は一般的に著しく低い電圧においてピークに達し、その後、正の電圧ピークに続く時間にわたって、負の電圧８１８まで降下する。
ＨＴＧは、シナプス後ニューロンが最初に興奮入力に対して反応しやすいが、興奮入力が持続するとシナプス後ニューロンの感度が急速に低下するという生物学的な神経回路原理をモデル化する。
【００３３】
ＨＴＧのための１つの取り得る数字モデルが以下に与えられる。
ｄｚｉ／ｄｔ＝Ａ（１−ｚｉ）−Ｂｆ［Ｔ（ｙｉ）］ｚｉ
【００３４】
ただし、
ｚｉは習慣化伝送ゲートによって入力信号に適用される利得であり、
ｔは時間であり、
ｙｉは習慣化伝送ゲートへの入力であり、
Ｔは整流関数であり、
ｆ［Ｔ（ｙｉ）］は整流された入力の非線形関数であり、
Ａ及びＢは定数である。
【００３５】
この式において、ｚｉは入力信号に対してＨＴＧセルの出力信号に適用される利得である。
このモデルにおいて、利得は０．０〜１．０の範囲に及ぶ。
第１の項Ａ（１−ｚｉ）は、ＨＴＧの利得の相対的に長期にわたる回復を与え、一方、第２の項−Ｂｆ［Ｔ（ｙｉ）］ｚｉは、ＨＴＧに正の信号が入力されるときの、急激な出力信号減衰と、それに続く長い持続時間にわたる負の信号とを与える。
本発明の一実施形態を表す任意の特定のニューロモルフィック集積回路において、任意の所与のＨＴＧのために用いられる特定の数学モデルは、定数Ａ及びＢの値に関して異なる場合があるか、又はＨＴＧのための数式全体に関して異なる場合がある。
しかしながら、一般的には、ＨＴＧセルを用いて、ニューラルセルによって出力されるか、又は受信される長期にわたる興奮信号又は抑制信号の影響を減少させる。
【００３６】
図９は、本発明の実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で用いられる、入力計算セル及び出力計算セルを含む、２つのさらなるタイプの計算セルの例を示す。
入力計算セル９０２は、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の外部にある信号送信エンティティから入力信号９０４を受信し、入力信号を処理した後に、出力信号ピン９１０及び９１２を介して、処理された信号９０６及び９０８を出力する。
出力計算セル９１４は、入力信号ピン９２０及び９２２を通じてハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の外部計算セルから興奮信号９１６及び抑制信号９１８を受信し、入力信号を処理して、ニューロモルフィック集積回路の外部にある信号受信エンティティに出力される、処理された信号９２４を生成する。
出力計算セルは、半導体集積回路層信号線を通じて、さらに入力を受信することができ、入力計算セルは、半導体集積回路層信号線に、さらに信号を出力することができる。
さらに、入力計算セル及び出力計算セルを用いて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の２つの異なる内部アナログ信号を互いに変換することができる。
【００３７】
図１０は、本発明の一実施形態を表す、マイクロスケール−ナノスケールハイブリッドニューロモルフィック回路の入力計算セルのための入力信号及び出力信号を示す。
多くの場合に、入力信号１００２は、パケット形式のデジタル信号であり得、その信号において、２進数のシーケンスを含む固定長又は可変長パケットが、外部エンティティから入力計算セルに送信される。
入力計算セルは、図１０において信号対時間プロット１００４において示される、アナログ電圧又は電流信号を生成するために、デジタル／アナログ信号変換を実行する。
同様に、出力計算セル（図９の９１４）はアナログ信号を受信し、パケット形式のデジタル信号１００２を出力するために、アナログ／デジタル信号変換を実行する。
数多くの異なる取り得るタイプのデジタル信号が存在し、ニューロモルフィック回路の種々の異なる実施態様が、異なるタイプのアナログ信号を利用できる。
それゆえ、入力計算セル及び出力計算セルの内部回路は、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路によって受信されるデジタル信号、及びそこから送出されるデジタル信号のタイプの両方、並びに集積ニューロモルフィック集積回路内で用いられる種々のタイプのアナログ信号に大きく依存する。
【００３８】
図１１Ａ及び図１１Ｂは、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の計算セルの相互接続を示す。
図１１Ａは、４ピン計算セルの３×３アレイを示す。
上記のように、計算セル１１０２のような各計算セルは、２つの出力ピン１１０４及び１１０６と、抑制入力ピン１１０８と、興奮入力ピン１１１０とを含む。
図１１Ｂは、図１１Ａに示されるような計算セルの３×３アレイを示す。該アレイ上に、平行ナノワイヤから成る２つの副層と、１つのメムリスティブ材料副層とを含む相互接続層が実装されている。
図１１Ｂにおいて、計算セル１１０２の入力ピン１１１０のような各入力ピンは、パッド１１１２とのインターフェースを成し、パッド１１１２は、左側にある実質的に水平なナノワイヤ１１１４を、右側にある実質的に水平なナノワイヤ１１１６に接合し、且つ左側のナノワイヤ１１１４及び右側のナノワイヤ１１１６の両方を入力ピン１１１２に接合する。
したがって、計算セルのアレイ内の入力ピンに接続される全てのナノワイヤが、平行なナノワイヤから成る第１の副層を形成する。
図１１Ｂに示されるように、それらのナノワイヤは、計算セルの３×３アレイの上側１１１８及び下側１１２０の水平縁部の方向に対してわずかに回転している。
この回転によって、ナノワイヤは、左方向及び右方向の両方において水平に延在できるようになり、且つパッド及び垂直ピンを介してナノワイヤが接続される計算セルの内部又は外部にある任意の付加的な垂直ピンに重なることなく、多くの近隣の計算セルに伸びることができるようになる。
計算セル１１０２内の出力ピン１１０４のような出力ピンはそれぞれ、実質的に垂直なナノワイヤに同じように接続される。
したがって、計算セルの３×３アレイ内の出力ピンに接続されるナノワイヤは、実質的に平行なナノワイヤから成る第２の副層を形成し、第２の副層のナノワイヤは第１の副層のナノワイヤと実質的に直交する。
【００３９】
図１１Ｂにおいて、ナノワイヤ間のメムリスティブナノワイヤ接合部は、２つのナノワイヤ間の交差点にある、塗潰された円板１１２４のような、塗潰された小さな円板として示される。
メムリスティブナノワイヤ接合部１１２４は、シナプス前ニューラルセル１１２６及びシナプス後ニューラルセル１１２８を相互接続するシナプスをモデル化する。
メムリスティブナノワイヤ接合部１１２４は、シナプス前計算セル１１２６の出力ピン１１３０を、シナプス後ニューラルセル１１２８の抑制入力ピン１１３２と相互接続する。
本発明によれば、複数のナノワイヤ相互接続層ｏが、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の半導体集積回路層の上方に実装される場合がある。
複数の相互接続層によって、ニューラルセルを、複数の階層的な論理レベルにおいて、シナプスのようなメムリスティブナノワイヤ接合部を通じて互いに相互接続できるようになる。
本発明の多相互接続層ニューロモルフィック集積回路アーキテクチャは、極めて多くの数の異なる取り得る計算セル相互接続構造を提供し、それゆえ、非常の多くの数の異なる取り得るニューロモルフィック回路を実現するための極めて自由度が高く、且つ強力な相互接続アーキテクチャを提供する。
【００４０】
本発明の或る特定のハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の実施形態では、ナノワイヤ接合部は、オン状態及びオフ状態になるように、製造中に構成される場合があるか、又は製造後にプログラムされる場合があり、オンになるように構成されるナノワイヤ接合部のみが電流を通し、シナプスのような動作を示すのに対して、オフになるように構成されるナノワイヤ接合部は開いたスイッチとしての役割を果たす。
本発明の他のハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の実施形態では、ナノワイヤ接合部は全てオン状態になるように構成され、各ナノワイヤ接合部のコンダクタンスは、その中を通る電圧信号によって排他的に決定される。
【００４１】
図１２Ａ〜図１２Ｆは、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の製造を示す。
図１２Ａ〜図１２Ｆは、単一の計算セルに関するニューロモルフィック集積回路の製造を示す。
しかしながら、上記のように、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路は非常に多くの数の計算セルを含み、それらの計算セルは合わせて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の表面をタイル張りにする。
或る特定の実施形態では、半導体基板の１平方センチメートル当たり、数千万から数億個の個別の計算セルを製造することができる。
図１２Ａ〜図１２Ｆにおいて示される製造方法は一般的に、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の全ての計算セルに同時に適用される。
【００４２】
図１２Ａに示されるように、各計算セル１２０２が、フォトリソグラフィ、ドーピング、エッチング及び平坦化技法を含む、集積回路製造の種々の方法のうちのいずれかを用いて形成される。
計算セルの表面１２０４は、上記の４つの垂直導電ピンのための４つの導電ベース１２０６〜１２０９を含む。
製造方法、及び特定の応用例によって実施される必要がある計算セル動作のための数学モデルに応じて、計算セルは種々の形状及びサイズのうちの任意のものを有しうる。
セルのための一般的な形状は、正方形、長方形、六角形及び正三角形を含み、それらは全て、半導体基板の表面を完全にタイル張りするために、２次元アレイ内に敷き詰められうる。
下層を成す集積回路を製造した後の第１のステップでは、図１２Ｂにおいて示されるように、ナノワイヤの第１の副層１２１０が、集積回路の表面上にインプリントされるか、又は他の方法によって形成され、各ナノワイヤは、パッド１２１２のようなパッド状構造物を通じて単一の垂直ピンに接触し、且つそのパッドから両側に延在して単一のナノワイヤを形成する。
図１２Ｂに示されるように、第１のナノワイヤ副層のナノワイヤは互いに平行であり、下層を成す計算セルの両方の入力ピン、又は両方の出力ピンに接続し、所与の副層の単一のナノワイヤは多くても１つのピンにしか接続されない。
第１の副層のナノワイヤに接続されない垂直ピンは、下層を成す垂直ピン導電ベース（図１２Ａの１２０７及び１２０９）に重なるビア（via）として、第１の副層１２１４及び１２１６内に延在する。
【００４３】
次に、図１２Ｃに示されるように、メムリスティブ材料の薄い層１２２０が、第１のナノワイヤ副層１２１０の上側表面上に被着される。
このメムリスティブ材料は、第１の副層１２１０のナノワイヤと、後続のステップにおいて付加される第２の副層のナノワイヤとの間のメムリスティブナノワイヤ接合部を形成する。
導電ピンは埋込ビア１２２２〜１２２５によってメムリスティブ材料層を貫通して延長されることに留意されたい。
次に、図１２Ｄにおいて示されるように、第２のナノワイヤ副層１２３０がメムリスティブ層１２２０の上方に付加される。
第２のナノワイヤ副層のナノワイヤは平行であり、各ナノワイヤは単一の垂直ピンに接続される。
第１のナノワイヤ副層が出力ピンに接続されるとき、第２のナノワイヤ副層は入力ピンに接続され、逆もまた同様である。
第２の副層のナノワイヤは、第１の副層のナノワイヤと実質的に直交することに留意されたい。
次に、図１２Ｅに示されるように、第２のナノワイヤ副層１２３０の上方に絶縁層１２４０が付加され、ここでもまた、垂直ピンは埋込ビア１２４２〜１２４５によって延長される。
【００４４】
図１２Ｆに示されるように、第１の絶縁層１２４０の上側に、付加的なナノワイヤ相互接続層１２５０を形成することができる。
本発明の実施形態を表すマイクロスケール−ナノスケールハイブリッドニューロモルフィック集積回路は、基本的に任意の数の相互接続層を含む場合があり、最も上にある絶縁層１２５２は一般的に下層を成す相互接続層を完全に絶縁し、それゆえ、垂直ピンを最後の絶縁層の表面まで延長する埋込ビアを含まない。
再び、図１２Ａ〜図１２Ｆは、単一の計算セルの観点から製造工程を示すが、有用なデバイスの場合、図１２Ａ〜図１２Ｆに示される一連のステップにおいて、一度に、基板表面の１平方センチメートル当たり、何百万、数千万、又は数億の計算セルが製造される。
【００４５】
図１３は、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路のナノワイヤ相互接続層のナノワイヤを通じて伝送される双方向信号を示す。
図１３において、第１のニューラルセル１３０２は、第１のナノワイヤ１３０６、第２のナノワイヤ１３０８、及び第１のナノワイヤ１３０６と第２のナノワイヤ１３０８とを相互接続するメムリスティブナノワイヤ接合部１３１０を介して、第２のニューラルセル１３０４と相互接続される。
第１のナノワイヤは、第１の、すなわちシナプス前ニューラルセル１３０２の出力ピン１３１２に接続され、第２のナノワイヤ１３１０は、第２の、すなわちシナプス後ニューラルセル１３０４の入力ピン１３１４に接続される。
上記のように、シナプス前ニューラルセルが活動度しきい値よりも高い活動度を有するとき、シナプス前ニューラルセルは、図１３において矢印１３１６によって表される順方向信号を出力する。
同様に、シナプス後セルが第２の活動度しきい値レベルよりも高い活動度を有するとき、そのシナプス後セルは、シナプス前ニューラルセル１３０２に向かって、入力ピンを通じて、図１３において矢印１３１８によって表される逆方向信号を出力する。
ニューラルセルが順方向信号及び逆方向信号のいずれを出す場合でも、本発明の或る特定の実施形態では、上記のように、シナプス動作をモデル化するナノワイヤ接合部のメムリスティブ材料において状態変化がもたらされる。
【００４６】
図１４は、メムリスティブナノワイヤ接合部のコンダクタンス変化を示しており、その接合部を通じて、シナプス前ニューロン及びシナプス後ニューロンが相互接続される。
図１４において、種々の信号プロットが、全ての場合に時間軸１４０２のような横軸の時間軸に対してプロットされる時間に対して垂直方向において揃えられる。
図１４の種々のプロットは、第１の信号線１４０６を第２の信号線１４０８と接続するメムリスティブナノワイヤ接合部１４０４の信号及び状態変化を示す。
第１のプロット１４１０は、第１の信号線に接続されるシナプス前ノード（図１３の１３０２）から生じる、第１の信号線１４０６を通って送信される順方向信号をプロットする。
第２のプロット１４１２は、第２の信号線に接続されるシナプス後ノード（図１３の１３０４）から生じる、第２の信号線を通って送信される逆方向信号をプロットする。
第３のプロット１４１４は、各時点におけるメムリスタ１４０４の両端での電圧降下を示しており、最後のプロット１４１６は、各時点におけるメムリスタのコンダクタンスを示す。
破線の垂直線１４１８のような破線の垂直線は、種々のプロット１４１０、１４１２、１４１４及び１４１６の各プロットの或る特定の時点を示す。
【００４７】
順方向信号が正の電圧ピーク１４２２又は負の電圧ピーク１４２４を示し、一方、逆方向信号が平坦であるとき、メムリスタの両端においてそれぞれ、相対的に小さな負の電圧降下１４２６及び相対的に小さな正の電圧降下１４２８が生じる。
これらの小さな電圧降下は、メムリスタのコンダクタンスにおいて、対応する小さな減少１４３０及び小さな増加１４３２を生成する。
順方向信号及び逆方向信号の両方において、同じ符号で、等しい大きさの電圧ピーク、１４３４及び１４３６及び１４３８及び１４４０が生じるとき、メムリスティブナノワイヤ接合部の両端で電圧降下１４４２及び１４４４は生じないので、メムリスタのコンダクタンスは変化しない。
しかしながら、同じ時点において、順方向信号において正のピーク１４５０が、逆方向信号において負のピーク１４５２が生じるとき、メムリスタの両端において相対的に大きな負の電圧降下１４５４が生じ、コンダクタンスにおいて対応する大きな降下１４５６を引き起こす。
同様に、逆方向信号の正のピーク１４６２に対応する時点における順方向信号の負の電圧ピーク１４６０は、メムリスタの両端において相対的に大きな正の電圧降下１４６４を引き起こし、メムリスティブ材料において対応する大きなコンダクタンス増加１４６６を引き起こす。
したがって、或る特定のタイプの順方向及び逆方向信号を生成することによって、ニューラルセルは、接続しているメムリスティブナノワイヤ接合部が、上記で数学的に記述されたシナプス動作をモデル化する導電性変化を示すことができるようにする。
順方向信号及び逆方向信号のために適した波形を用いるとき、シナプス動作のためのヘブ（Hebbian）学習モデルに従って、シナプス前ニューラルセルによって高い活動度が引き起こされる順方向信号が送信された直後にシナプス後ニューロンが高い活動度を有する時点で、メムリスティブ材料が大きな導電率変化を示すように促すことができる。
さらに、メムリスティブナノワイヤ接合部の導電率は、活動度レベルの過去のパターン、及びそれらの接合部が相互接続するシナプス前ニューラルセル及びシナプス後ニューラルセルからの信号出力を反映する。
【００４８】
本発明の実施形態によるハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内に、複数の隣接計算セルを含む、種々の異なる機能モジュールを形成することができる。
図１５は、本発明の一実施形態による、６計算セル双極子の実施態様を示し、それは、デジタル論理フリップフロップに類似のアナログ動作を示す。
双極子モジュール１５０２は、その全体が、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の集積回路層内に形成される。
ニューラルセル１５０４及び１５０６は、双極子の入力ノードを表し、ニューラルセル１５０８及び１５１０は双極子の出力ノードを表す。
その双極子において、一方の出力ノードは、他方の出力ノードが低い活動度を有するときに高い活動度を有する傾向があり、逆もまた同様であり、出力ノードの活動状態は、入力ノードへの入力が一定であるか、又は入力がないときに一定のままである傾向がある。
したがって、その双極子はアナログフリップフロップとして動作し、基本的に、出力ノードの２つの取り得る活動レベル状態のうちの一方をラッチする。
入力ノード１５０４は、信号線１５１２を介して出力ノード１５０８に興奮信号を送信し、信号線１５１４を介して出力ノード１５１０に抑制信号を送信する。
入力ノード１５０６は、類似であるが、逆の信号伝送パターンに従う。
出力ノードは、ＨＴＧノード１５２４及び１５２６を通じて、入力ノード１５０４及び１５０６に正のフィードバック信号１５１８及び１５２０を出力する。
したがって、入力ノード１５０４が高い活動度を有するとき、出力ノード１４０８は高い活動度を有する傾向があり、入力ノード１５０４の高い活動度を強化する。
入力ノード１５０６が高い活動度を有するとき、出力ノード１５１０は高い活動度を有する傾向があり、入力ノード１５０６の高い活動度を強化する。
それゆえ、左側の列の計算ノード１５０４及び１５０８は、右側の列の計算セル１５０６及び１５１０と高い活動状態を競い合う。
【００４９】
図１６は、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で用いられる場合がある第２のタイプの多計算セルモジュールを示す。
図１６に示されるモジュールは９計算セル包囲構造であり、８つの周辺計算セル１６０２〜１６０９が、活動的であるとき、中央計算セル１６１０に抑制水平信号を送信する。
本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内に、種々の異なる数の計算セルを含む、種々の異なるタイプの包囲構造を形成することができる。
或る特定の事例では、複数の計算セルから成る、小さい方の隣接する環状構造が中央セルに興奮信号を送信することができ、一方、周辺計算セルから成る、大きい方の包囲する環状構造が中央計算セルに抑制信号を送信することができ、逆もまた同様である。
さらなるタイプの包囲構造では、中央セルから周辺セルに、フィードバック信号を送信することができ、逆もまた同様である。
或る特定の事例では、複数の中央セルが、複数の包囲セルから成る１つ又は複数の環状構造によって包囲される場合があり、各環状構造が異なるタイプ又はレベルの順方向信号フィードバックを与える。
種々のタイプのパターン認識回路及びオリエンテーションマップを実現するために、複数の包囲構造がよく用いられる。
【００５０】
図１７は、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の計算セルの階層的な相互接続を示す。
図１７は、計算セルの２４×２８アレイ１７０２を示す。
各セルは、アレイの下に与えられる論理レベル鍵１７０４に従って、或る論理レベルを割り当てられる。
たとえば、陰影付き計算セル１７０６のような陰影付きの計算セルは、第１の論理レベルを形成する。
計算セルのそのような階層的論理配列は、１つのナノワイヤ相互接続層を用いて、各レベルのニューラルセルを相互接続することによって実現されうる。
たとえば、第１のレベルの計算セルは、第１のナノワイヤ相互接続層内のナノワイヤ及びメムリスティブナノワイヤ接合部によって水平に相互接続される場合がある。
第２の論理レベルのセルは、第２のナノワイヤ相互接続層によって同じように相互接続される場合がある。
さらに、順方向及びフィードバック相互接続が複数の相互接続レベルを横断する場合があり、それにより、論理レベル間での信号の交換を提供することができる。
階層的に並べられた計算セル層は、種々のタイプのパターン認識ニューロモルフィック回路、及び複数の入力から推測結果を導く推測エンジンにおいて有用である。
【００５１】
図１８は、本発明の一実施形態を表すハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内で実現されうる第２のタイプの論理構造を示す。
図１８において示される、層状皮層は、計算セル１８０２のような複数の低レベルセンサ入力計算セルを含む場合があり、それぞれ双極子モジュール１８０４のような双極子モジュールに接続され、そのモジュールは層状皮層の単純セルをモデル化する。
双極子モジュールはさらに、互いに、且つ複合セル１８０６のような複合セルと相互接続され、複合セルは、さらに高いレベルの計算セル又は出力セルに信号を出力する。
層状皮層は、パーセプトロン、及び数多くの他のタイプのニューロモルフィック回路において用途を見いだす。
図１９は、本発明に従って形成することができ、層状皮層ニューロモルフィック回路を実現するために、隣接する複数の層状皮層モジュールと共に用いられうる層状皮層回路モジュールを示す。
層状皮層モジュール１９０２は、６つの計算セル１９０４〜１９０９から実装される、６計算セル双極子を含む。
入力計算セル１９１０はセンサ入力を表し、一対の計算セル１９１２及び１９１４は層状皮層の複合セルを表す。
さらに大きなモジュールは、計算セル１９０４〜１９０９を含む双極子に複数のセンサ入力を与えるために、付加的なセンサ入力セルを含む場合がある。
セル間の相互接続は、半導体集積回路層において排他的に形成される場合があるか、又は１つ若しくは複数のナノワイヤ相互接続層をさらに利用する場合がある。
【００５２】
本発明を特定の実施形態に関して説明してきたが、本発明はこれらの実施形態に制限されることは意図していない。
本発明の精神の範囲内にある変更が、当業者には明らかになるであろう。
たとえば、計算セルは、ニューロン、入力セル、出力セル及びＨＴＧセルに加えて、種々のセルタイプを実現する場合がある。
数多くのタイプのニューロモルフィック回路に対して４ピン計算セル（unit）が十分な接続性を与えるように見えるが、種々の代替の実施形態では、さらに多くの数、又は少ない数の入力及び出力ピンが用いられうる。
上記のように、本発明の実施形態によるハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の集積回路レベル内に、付加的な信号線及び他の信号伝送関連構成要素を形成してもよい。
半導体集積回路層信号線を用いて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路内の多計算セルモジュール及び他の論理ユニットの計算セル間の付加的な接続性を与えることができる。
多数の集積回路製造技法のうちの任意のものを用いて、種々の異なるタイプの半導体基板の任意のものにおいて、ハイブリッドマイクロスケール−ナノスケールニューロモルフィック集積回路の半導体集積回路層を形成することができる。
ニューロモルフィック集積回路を、異なる寸法及び面積を用いて形成することができ、計算セルのアレイ内の欠陥のある計算セルに対応するために、欠陥検出機能、欠陥改良機能及び欠陥許容機能を含む、付加的な機能を組み込むこともできる。
ニューロモルフィック集積回路は、内部で電流信号及び電圧信号の両方を利用することができ、パケット形式のデジタル信号を含む、種々のタイプの外部信号を受信し、送出することができる。
本発明の多くの実施形態において、内部ニューロモルフィック集積回路信号は、アナログ電流信号及びアナログ電圧信号の両方を含む。
ニューロモルフィック集積回路内で、生物学的軸索スパイクに類似している、種々のタイプの順方向及び逆方向のアナログ信号パターンを利用することができるが、ニューロモルフィック集積回路は、単純な電圧レベル信号及び／又は電流レベル信号に基づいて動作してもよい。
ニューロモルフィック集積回路は、入力計算セル及び出力計算セルにタイミング信号を与えるクロック信号伝搬機能を含む、付加的な機能を含む場合がある。
ニューロモルフィック集積回路は、それぞれ関連する複数のナノワイヤ相互接続層と相互接続される、複数の集積回路層をさらに含む場合がある。
【００５３】
これまでの説明は、本発明を完全に理解してもらうために、その説明の目的上、特定の用語を使用した。
しかしながら、本発明を実施するために、具体的な細部が不要であることは当業者には明らかであろう。
本発明の具体的な実施形態のこれまでの説明は、例示し、説明するために提示される。
それらの説明は、本発明を余す所なく述べることも、開示されるのと全く同じ形に限定することも意図していない。
上記の教示に鑑みて、数多くの変更及び変形が可能である。
それらの実施形態は、本発明の原理及びその実用的な応用例を最もわかりやすく説明し、それにより、意図される特定の用途に合わせて種々の変更を加えながら、当業者が本発明及び種々の実施形態を最大限に利用できるようにするために、図示及び説明される。
本発明の範囲は添付の特許請求の範囲及びその均等物によって規定されることが意図されている。
【符号の説明】
【００５４】
１０２ 半導体集積回路層
１０４〜１０７ 導電ピン
１０８ ナノワイヤ
１１０ パッド状構造物
２０２ 第１の計算セル
２０４ 近隣の計算セル
２０６ 第１のナノワイヤ
２１０ 第２のナノワイヤ
２０８，２１２ 垂直ピン
２２２，２２４ 信号線
２２０ メムリスタ記号
【特許請求の範囲】
【請求項１】
ニューロモルフィック集積回路であって、
集積回路基板上に形成されるアナログ計算セルのアレイであって、該計算セル内のアナログ電子回路は、該計算セルから実質的に垂直に延在する、第１のタイプの１つ又は複数のピン及び第２のタイプの１つ又は複数のピンに接続される、アナログ計算セルのアレイと、
前記アナログ計算セルのアレイの上方にある１つ又は複数のナノワイヤ相互接続層であって、各ナノワイヤ相互接続層は、
実質的に平行なナノワイヤから成る第１の副層であって、該第１の副層の各ナノワイヤは前記第１のタイプの単一の計算セルピンに接続される、第１の副層と、
メムリスティブ副層と、
実質的に平行なナノワイヤから成る第２の副層であって、該第２の副層の各ナノワイヤは前記第２のタイプの単一の計算セルピンに接続され、該第２の副層の該ナノワイヤは前記第１の副層の前記ナノワイヤの方向に対して平行でない方向に向けられる、第２の副層と
を備える、ナノワイヤ相互接続層と
を備えるニューロモルフィック集積回路。
【請求項２】
前記第２の副層の前記ナノワイヤは、前記第１の副層の前記ナノワイヤと重なり、メムリスティブナノワイヤ接合部を形成し、各接合部は、前記メムリスティブ副層を通じて、第２副層ナノワイヤを第１副層ナノワイヤと相互接続し、該接合部はシナプスをモデル化する
請求項１に記載のニューロモルフィック集積回路。
【請求項３】
前記メムリスティブナノワイヤ接合部は、以下のように表すことができるモデルを実現し、
ｄｚｉｊ／ｄｔ＝εｆ（（ｘｊ）（−ωｚｉｊ＋ｇ（ｘｉ）））
ただし、
ｚｉｊはシナプス前ニューロンｉをシナプス後ニューロンｊに相互接続するシナプスｉｊの重み、すなわちシナプスｉｊによって生成される利得であり、
εは学習速度であり、
ωは忘却速度であり、
ｆ（ｘｊ）はニューロンｉの活動度の非線形関数であり、
ｇ（ｘｉ）はニューロンｊの活動度の非線形関数であり、
ｔは時間である
請求項２に記載のニューロモルフィック集積回路。
【請求項４】
前記計算セルは、
ニューロン計算セルと、
入力計算セルと、
出力計算セルと
を含む
請求項２に記載のニューロモルフィック集積回路。
【請求項５】
各ニューロン計算セルは、
前記ニューロン計算セルに入力される興奮信号の和を出力する第１の加算機能構成要素と、
前記ニューロン計算セルに入力される抑制信号の和を出力する第２の加算機能構成要素と、
前記第１の加算機能構成要素及び前記第２の加算機能構成要素からの出力を合成してアナログ信号を出力する信号生成機能構成要素と、
前記信号生成機能構成要素の出力を先行する時間間隔にわたって積分して、積分信号を出力する漏れ積分器機能構成要素と、
前記積分信号がしきい値を超えるときに、前記ニューロン計算セルからの出力信号放出を開始するしきい値処理機能構成要素と
を備える
請求項４に記載のニューロモルフィック集積回路。
【請求項６】
前記ニューロン計算セルは、以下のように表すことができるモデルを実現し、
【数１】
ただし、
ｉはモデル化されたニューロンであり、
ｘｉは、ニューロンｉの活動度であり、
ｔは時間であり、
ｆｊ（ｘｊ）はニューロンｊの活動度の非線形関数であり、
ｚｊｉはニューロンｊとｉとの間のシナプスの重みであり、
ｇｊはニューロンｊの活動度の非線形関数であり、
ｎは興奮入力を通じてノードｉに結合されるニューロンの数であり、
ｍは抑制入力を通じてノードｉに結合されるニューロンの数であり、
Ａ及びＢは定数である
請求項４に記載のニューロモルフィック集積回路。
【請求項７】
各入力計算セルは、
外部信号を受信し、該受信した信号を、前記ニューロモルフィック集積回路の１つ又は複数の計算セルに出力されるアナログ信号に変換する符号化回路
を備える
請求項４に記載のニューロモルフィック集積回路。
【請求項８】
前記外部信号はパケット形式のデジタル信号であり、前記符号化回路は該信号をアナログ電圧信号又はアナログ電流信号のうちの一方に変換する
請求項７に記載のニューロモルフィック集積回路。
【請求項９】
各出力計算セルは、
前記ニューロモルフィック集積回路の１つ又は複数の計算セルによって、前記出力計算セルに入力されたアナログ信号から生成されるアナログ信号を、前記ニューロモルフィック集積回路の外部にあるエンティティに出力される外部信号に変換する復号回路
を備える
請求項４に記載のニューロモルフィック集積回路。
【請求項１０】
前記外部信号はパケット形式のデジタル信号である
請求項９に記載のニューロモルフィック集積回路。
【請求項１１】
前記計算セルは、
習慣化伝送ゲートセル
をさらに含む
請求項２に記載のニューロモルフィック集積回路。
【請求項１２】
各習慣化伝送ゲートセルは、前記ニューロモルフィック集積回路の前記集積回路層内の信号線を用いて２つの計算セルを相互接続し、乗算利得を入力信号に適用して出力信号を生成する
請求項１１に記載のニューロモルフィック集積回路。
【請求項１３】
各習慣化伝送ゲートセルは、以下のように表すことができるモデルを実現し、
ｄｚｉ／ｄｔ＝Ａ（１−ｚｉ）−Ｂｆ［Ｔ（ｙｉ）］ｚｉ
ただし、
ｚｉは前記習慣化伝送ゲートによって入力信号に適用される利得であり、
ｔは時間であり、
ｙｉは前記習慣化伝送ゲートへの入力であり、
Ｔは整流関数であり、
ｆ［Ｔ（ｙｉ）］は整流された入力の非線形関数であり、
Ａ及びＢは定数である
請求項１１に記載のニューロモルフィック集積回路。
【請求項１４】
２つ以上の前記計算セルを組み合わせて、
双極子と、
包囲構造と、
層状皮層回路サブユニットと
を備えるモジュールを形成する
請求項１１に記載のニューロモルフィック集積回路。
【請求項１５】
前記計算セルは階層的な層に編成され、各該階層的な層のセルは、該階層的な層に対応するナノワイヤ相互接続層を通じて互いに信号を遣り取りする（intercommunicating）
請求項１１に記載のニューロモルフィック集積回路。
【請求項１】
ニューロモルフィック集積回路であって、
集積回路基板上に形成されるアナログ計算セルのアレイであって、該計算セル内のアナログ電子回路は、該計算セルから実質的に垂直に延在する、第１のタイプの１つ又は複数のピン及び第２のタイプの１つ又は複数のピンに接続される、アナログ計算セルのアレイと、
前記アナログ計算セルのアレイの上方にある１つ又は複数のナノワイヤ相互接続層であって、各ナノワイヤ相互接続層は、
実質的に平行なナノワイヤから成る第１の副層であって、該第１の副層の各ナノワイヤは前記第１のタイプの単一の計算セルピンに接続される、第１の副層と、
メムリスティブ副層と、
実質的に平行なナノワイヤから成る第２の副層であって、該第２の副層の各ナノワイヤは前記第２のタイプの単一の計算セルピンに接続され、該第２の副層の該ナノワイヤは前記第１の副層の前記ナノワイヤの方向に対して平行でない方向に向けられる、第２の副層と
を備える、ナノワイヤ相互接続層と
を備えるニューロモルフィック集積回路。
【請求項２】
前記第２の副層の前記ナノワイヤは、前記第１の副層の前記ナノワイヤと重なり、メムリスティブナノワイヤ接合部を形成し、各接合部は、前記メムリスティブ副層を通じて、第２副層ナノワイヤを第１副層ナノワイヤと相互接続し、該接合部はシナプスをモデル化する
請求項１に記載のニューロモルフィック集積回路。
【請求項３】
前記メムリスティブナノワイヤ接合部は、以下のように表すことができるモデルを実現し、
ｄｚｉｊ／ｄｔ＝εｆ（（ｘｊ）（−ωｚｉｊ＋ｇ（ｘｉ）））
ただし、
ｚｉｊはシナプス前ニューロンｉをシナプス後ニューロンｊに相互接続するシナプスｉｊの重み、すなわちシナプスｉｊによって生成される利得であり、
εは学習速度であり、
ωは忘却速度であり、
ｆ（ｘｊ）はニューロンｉの活動度の非線形関数であり、
ｇ（ｘｉ）はニューロンｊの活動度の非線形関数であり、
ｔは時間である
請求項２に記載のニューロモルフィック集積回路。
【請求項４】
前記計算セルは、
ニューロン計算セルと、
入力計算セルと、
出力計算セルと
を含む
請求項２に記載のニューロモルフィック集積回路。
【請求項５】
各ニューロン計算セルは、
前記ニューロン計算セルに入力される興奮信号の和を出力する第１の加算機能構成要素と、
前記ニューロン計算セルに入力される抑制信号の和を出力する第２の加算機能構成要素と、
前記第１の加算機能構成要素及び前記第２の加算機能構成要素からの出力を合成してアナログ信号を出力する信号生成機能構成要素と、
前記信号生成機能構成要素の出力を先行する時間間隔にわたって積分して、積分信号を出力する漏れ積分器機能構成要素と、
前記積分信号がしきい値を超えるときに、前記ニューロン計算セルからの出力信号放出を開始するしきい値処理機能構成要素と
を備える
請求項４に記載のニューロモルフィック集積回路。
【請求項６】
前記ニューロン計算セルは、以下のように表すことができるモデルを実現し、
【数１】
ただし、
ｉはモデル化されたニューロンであり、
ｘｉは、ニューロンｉの活動度であり、
ｔは時間であり、
ｆｊ（ｘｊ）はニューロンｊの活動度の非線形関数であり、
ｚｊｉはニューロンｊとｉとの間のシナプスの重みであり、
ｇｊはニューロンｊの活動度の非線形関数であり、
ｎは興奮入力を通じてノードｉに結合されるニューロンの数であり、
ｍは抑制入力を通じてノードｉに結合されるニューロンの数であり、
Ａ及びＢは定数である
請求項４に記載のニューロモルフィック集積回路。
【請求項７】
各入力計算セルは、
外部信号を受信し、該受信した信号を、前記ニューロモルフィック集積回路の１つ又は複数の計算セルに出力されるアナログ信号に変換する符号化回路
を備える
請求項４に記載のニューロモルフィック集積回路。
【請求項８】
前記外部信号はパケット形式のデジタル信号であり、前記符号化回路は該信号をアナログ電圧信号又はアナログ電流信号のうちの一方に変換する
請求項７に記載のニューロモルフィック集積回路。
【請求項９】
各出力計算セルは、
前記ニューロモルフィック集積回路の１つ又は複数の計算セルによって、前記出力計算セルに入力されたアナログ信号から生成されるアナログ信号を、前記ニューロモルフィック集積回路の外部にあるエンティティに出力される外部信号に変換する復号回路
を備える
請求項４に記載のニューロモルフィック集積回路。
【請求項１０】
前記外部信号はパケット形式のデジタル信号である
請求項９に記載のニューロモルフィック集積回路。
【請求項１１】
前記計算セルは、
習慣化伝送ゲートセル
をさらに含む
請求項２に記載のニューロモルフィック集積回路。
【請求項１２】
各習慣化伝送ゲートセルは、前記ニューロモルフィック集積回路の前記集積回路層内の信号線を用いて２つの計算セルを相互接続し、乗算利得を入力信号に適用して出力信号を生成する
請求項１１に記載のニューロモルフィック集積回路。
【請求項１３】
各習慣化伝送ゲートセルは、以下のように表すことができるモデルを実現し、
ｄｚｉ／ｄｔ＝Ａ（１−ｚｉ）−Ｂｆ［Ｔ（ｙｉ）］ｚｉ
ただし、
ｚｉは前記習慣化伝送ゲートによって入力信号に適用される利得であり、
ｔは時間であり、
ｙｉは前記習慣化伝送ゲートへの入力であり、
Ｔは整流関数であり、
ｆ［Ｔ（ｙｉ）］は整流された入力の非線形関数であり、
Ａ及びＢは定数である
請求項１１に記載のニューロモルフィック集積回路。
【請求項１４】
２つ以上の前記計算セルを組み合わせて、
双極子と、
包囲構造と、
層状皮層回路サブユニットと
を備えるモジュールを形成する
請求項１１に記載のニューロモルフィック集積回路。
【請求項１５】
前記計算セルは階層的な層に編成され、各該階層的な層のセルは、該階層的な層に対応するナノワイヤ相互接続層を通じて互いに信号を遣り取りする（intercommunicating）
請求項１１に記載のニューロモルフィック集積回路。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１２Ｄ】
【図１２Ｅ】
【図１２Ｆ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１２Ｄ】
【図１２Ｅ】
【図１２Ｆ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公表番号】特表２０１１−５０７２３２（Ｐ２０１１−５０７２３２Ａ）
【公表日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２０１０−５３６９０３（Ｐ２０１０−５３６９０３）
【出願日】平成２０年５月２２日（２００８．５．２２）
【国際出願番号】ＰＣＴ／ＵＳ２００８／００６５９２
【国際公開番号】ＷＯ２００９／０７５６９４
【国際公開日】平成２１年６月１８日（２００９．６．１８）
【出願人】（５０３００３８５４）ヒューレット−パッカード デベロップメント カンパニー エル．ピー． (1,145)
【Ｆターム（参考）】
【公表日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２０年５月２２日（２００８．５．２２）
【国際出願番号】ＰＣＴ／ＵＳ２００８／００６５９２
【国際公開番号】ＷＯ２００９／０７５６９４
【国際公開日】平成２１年６月１８日（２００９．６．１８）
【出願人】（５０３００３８５４）ヒューレット−パッカード デベロップメント カンパニー エル．ピー． (1,145)
【Ｆターム（参考）】
[ Back to top ]