ニューラルネットワークのトレーニング方法
【課題】本発明は人工ニューラルネットワーク（ＮＮ）をトレーニングする方法（３０）を提供する。
【解決手段】前記方法（３０）は：トレーニングするＮＮの出力を選択し、ＮＮのニューロンの出力を前記選択した出力のためのＮＮの入力層に接続することによりＮＮを初期化するステップ；ＮＮに学習させるデータセットを用意するステップ；並びに、前記用意したデータセットの入力ベクトルをＮＮの第１の中間層に、又はＮＮに中間層がなければＮＮの出力層に適用することにより前記用意したデータセットをＮＮに適用して学習させるステップ；及び、ＮＮの各層における前記選択した出力のための少なくとも１のニューロンが、入力ベクトルに対する付随出力の生成を学習しうるか否かを決定するステップを含んでなる。ＮＮの１層におけるどのニューロンも入力ベクトルに対する前記付随出力の生成を学習できなければ、その層における全ての他のニューロンが学習できなかった付随出力を学習するために、その層に新規ニューロンが追加される。新規ニューロンは、トレーニングされる出力と関連する次の層において全てのニューロンと接続する出力を有する。出力ニューロンが入力ベクトルを学習できなければ、別のニューロンが同一層に追加され、現状の出力ニューロン及び全ての入力はこれに接続される。このニューロンは、古い出力が学習できなかった入力を学習する。追加ニューロンは次の層に追加される。このニューロンへの入力はＮＮの古い出力及び次の層への新規追加ニューロンである。
【解決手段】前記方法（３０）は：トレーニングするＮＮの出力を選択し、ＮＮのニューロンの出力を前記選択した出力のためのＮＮの入力層に接続することによりＮＮを初期化するステップ；ＮＮに学習させるデータセットを用意するステップ；並びに、前記用意したデータセットの入力ベクトルをＮＮの第１の中間層に、又はＮＮに中間層がなければＮＮの出力層に適用することにより前記用意したデータセットをＮＮに適用して学習させるステップ；及び、ＮＮの各層における前記選択した出力のための少なくとも１のニューロンが、入力ベクトルに対する付随出力の生成を学習しうるか否かを決定するステップを含んでなる。ＮＮの１層におけるどのニューロンも入力ベクトルに対する前記付随出力の生成を学習できなければ、その層における全ての他のニューロンが学習できなかった付随出力を学習するために、その層に新規ニューロンが追加される。新規ニューロンは、トレーニングされる出力と関連する次の層において全てのニューロンと接続する出力を有する。出力ニューロンが入力ベクトルを学習できなければ、別のニューロンが同一層に追加され、現状の出力ニューロン及び全ての入力はこれに接続される。このニューロンは、古い出力が学習できなかった入力を学習する。追加ニューロンは次の層に追加される。このニューロンへの入力はＮＮの古い出力及び次の層への新規追加ニューロンである。
Notice: Undefined index: DEJ in /mnt/www/gzt_disp.php on line 298
【特許請求の範囲】
【請求項１】
人工ニューラルネットワークをトレーニングするための方法であって、前記方法は、
（ｉ）トレーニングするニューラルネットワークの出力を選択し、前記ニューラルネットワークのニューロンの出力を前記選択した出力のためのニューラルネットワークの入力層に接続することにより前記ニューラルネットワークを初期化するステップ；
（ｉｉ）前記ニューラルネットワークに学習させるデータセットを用意するステップ；並びに、
（ｉｉｉ）前記用意したデータセットの入力ベクトルを前記ニューラルネットワークの第１の中間層に、又は前記ニューラルネットワークに中間層がなければ前記ニューラルネットワークの出力層に適用することにより前記用意したデータセットを前記ニューラルネットワークに適用して学習させるステップ、及び、前記ニューラルネットワークの各層における前記選択された出力のための少なくとも１のニューロンが、入力ベクトルに対する付随出力の生成を学習しうるか否かを決定するステップを含んでなり、ここに：
前記ニューラルネットワークの各層における前記選択された出力が前記入力ベクトルに対する前記付随出力の生成を学習できれば、及び学習するために前記用意したデータセットよりも多くの入力ベクトルが存在するならば、次の入力ベクトルに対してステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉ）から（ｉｉｉ）を繰り返し；
前記ニューラルネットワークの前記選択された出力に対する中間層のニューロンが前記入力ベクトルに対する付随出力の生成を学習できなければ、前記選択された出力に対してその層の全ての他のニューロンが学習できなかった前記付随出力を学習するためにその層に新規ニューロンが追加され、学習すべき前記データセットの入力ベクトルがまだあるならばステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉ）から（ｉｉｉ）を繰り返し；
前記ニューラルネットワークの前記選択された出力に対する出力ニューロンが前記入力ベクトルに対する付随出力の生成を学習できなければ、その出力ニューロンは前記ニューラルネットワークの中間層のニューロンとなり、出力ニューロンが学習できなかった前記付随出力を学習するために新規ニューロンがこの中間層に追加され、前記選択された出力に対して前記ニューラルネットワークに新規ニューロンが追加され、学習すべきデータセットの入力ベクトルがまだあるならばステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉ）から（ｉｉｉ）を繰り返す、
方法。
【請求項２】
人工ニューラルネットワークをトレーニングする方法であって、
（ｉ）前記ニューラルネットワークが学習するデータセットを準備するステップ；
（ｉｉ）トレーニングするニューラルネットワークの出力を選択することによりニューラルネットワークを初期化し、選択した出力に対して前記ニューラルネットワークの出力ニューロンを前記ニューラルネットワークの入力層の入力ニューロンに接続するステップ；
（ｉｉｉ）前記準備したデータセットの入力ベクトルを前記ニューラルネットワークの第１の中間層に、又は前記ニューラルネットワークに中間層がなければ前記ニューラルネットワークの出力層に適用することにより前記準備したデータセットが学習されるよう前記ニューラルネットワークに適用するステップ、並びに、前記ニューラルネットワークの各層内に選択された出力に対する少なくとも１のニューロンが前記入力ベクトルに付随する出力の生成を学習しうるか否かを決定するステップを含んでなり、ここに：
前記ニューラルネットワークの各層内において選択された出力に対する少なくとも１のニューロンが前記入力ベクトルに付随する出力の生成を学習しうるならば、及び前記準備された学習データセットの入力ベクトルがまだあるならば、次の入力ベクトルに対してステップ（ｉｉｉ）を繰り返し、さもなければトレーニングする出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉｉ）及び（ｉｉｉ）を繰り返し；
前記ニューラルネットワークの選択された出力に対する中間層内に前記入力ベクトルに付随する出力の生成を学習しうるニューロンがなければ、前記選択された出力に対するその層のいずれのニューロンによっても学習され得ない前記付随する出力を学習するためにその層に新しいニューロンが追加され、並びに、学習するデータセットがまだあるならば次の入力ベクトルに対してステップ（ｉｉｉ）を繰り返し、さもなければトレーニングする出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉｉ）及び（ｉｉｉ）を繰り返し；
前記ニューラルネットワークの選択された出力に対する出力ニューロンが前記入力ベクトルに付随する出力の生成を学習できなければ、その出力ニューロンは前記ニューラルネットワークの中間層のニューロンとなり、前記出力ニューロンによっって学習されなかった前記付随する出力を学習するためにこの中間層に新しいニューロンが追加され、前記選択された出力に対して前記ニューラルネットワークに新しい出力ニューロンが追加され、並びに、学習すべきデータセットの入力ベクトルがまだあるならばステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングする出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉｉ）及び（ｉｉｉ）を繰り返す、
方法。
【請求項３】
前記ニューラルネットワークの前記ニューロンは、線形閾値ゲート（ＬＴＧｓ）である、請求項１又は２に記載の方法。
【請求項４】
前記ステップ（ｉｉｉ）において、ＬＴＧが入力ベクトルに対して関連付けられる出力の生成を学べるか否かを決定することは、重みとＬＴＧの閾値との関係が、ＬＴＧが以前に学んだものを解とするか否かを決定することである、請求項３に記載の方法。
【請求項５】
前記関係は制約条件であり、入力ベクトル及びＬＴＧの重みベクトルは、ニューラルネットワークの選択された出力に基づくＬＴＧの閾値との関係を形成する、請求項４に記載の方法。
【請求項６】
制約条件の学習は、ＬＴＧの制約条件セットに制約条件を追加しうることである、請求項５に記載の方法。
【請求項７】
ＬＴＧの制約条件セットに制約条件を追加しうるためには、全ての制約条件に解決が存在しなければならない、請求項６に記載の方法。
【請求項８】
前記ニューラルネットワークを初期化するステップは、さらに、出力ＬＴＧの制約条件セットが空となるように出力ＬＴＧの制約条件セットをクリアするステップを含む、請求項３に記載の方法。
【請求項９】
請求項１から８のいずれかに記載の方法であって、前記ニューラルネットワークにより学習されるデータセットを準備する前記ステップは、前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に、前記データセットを所定のデータフォーマットに変換するステップ；前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に、前記データセット内に何らかの不一致が存在するか否かを決定するステップ；並びに、前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に、ゼロ入力ベクトルが前記データセット内に使用可能であるか否かを決定し、ゼロ入力ベクトルが前記データセット内に使用可能であればゼロ入力ベクトルが最初にトレーニングされるために前記ニューラルネットワークに提示されるよう前記データセットを順序づけるステップ、の任意の順番で実施されうる各ステップをを含んでなる、方法
【請求項１０】
前記所定のデータフォーマットはバイナリ又は浮動小数点データフォーマットである、請求項９に記載の方法。
【請求項１１】
ニューラルネットワークにデータセットが提示される以前にデータセットに何らかの不一致があるか否かを決定する前記ステップは、異なる出力を生じる２以上の同一の入力ベクトルがあるか否かを決定することを含む、請求項９又は１０に記載の方法。
【請求項１２】
異なる出力を生じる２以上の同一の入力ベクトルがあるか否かが決定されるならば、ただ１つの入力ベクトルが用いられる、請求項１１に記載の方法。
【請求項１３】
前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に並び替えられる前記ステップは、前記データセットの入力ベクトルを、１を出力するもの及び０を出力するものの２つのセットに並び替えるステップ、及び、前記２つのセットの一方を最初にトレーニングするために選択するステップ、自己組織化マップ（ＳＯＭ）により前記データを並び替えるステップ、及び／又は任意の他の適切な方法を用いて前記データを並び替えるステップ、を含んでなる、請求項９から１２のいずれかに記載の方法。
【請求項１４】
ソートしたデータから、データがトレーニングのためにニューラルネットワークに提示される前に、各入力層に対して単一のリストが生成される、請求項１３に記載の方法。
【請求項１５】
請求項５に記載の方法であって、ステップ（ｉｉｉ）に係る層内のいかなる他のＬＴＧによっても学習され得ない制約条件を学習するために新規なＬＴＧが当該層に追加されるならば、前記新規なＬＴＧは前記ニューラルネットワークの選択された出力に寄与する次層内の全てのＬＴＧに接続され、前記新規なＬＴＧからの入力を受け取る前記次層内のＬＴＧの制約条件セットは前記新規なＬＴＧからの入力を受け付けのために更新され；前記新規なＬＴＧを有する層が前記ニューラルネットワークの第１層でないならば、前記新規なＬＴＧは前記ニューラルネットワークの選択された出力に寄与する先行層内の全てのＬＴＧからの入力に接続されてこれを受信し；前記新規なＬＴＧの制約条件セットはその層内の以前の最後のＬＴＧの改変された制約条件セットのコピー及びその層内のいかなる他のＬＴＧによっても学習され得なかった制約条件を含むように更新される、方法。
【請求項１６】
請求項５又は請求項１５に記載の方法であって、ステップ（ｉｉｉ）に係る前記ニューラルネットワークに新規な出力ＬＴＧが追加されるならば、前記新規な出力ＬＴＧは前記中間層内のＬＴＧからの入力に接続されてこれを受信し；前記中間層が前記ニューラルネットワークの第１層ではないならば、前記中間層内の前記新規な出力ＬＴＧは前記ニューラルネットワークの選択された出力に寄与する先行層内の全てのＬＴＧに接続されてこれを受信し；前記中間層に追加された前記新規なＬＴＧの制約条件セットはその層内の以前の最後のＬＴＧの改変された制約条件セットのコピー及びその層内のいかなる他のＬＴＧによっても学習され得なかった制約条件を含むように更新され；前記新規な出力ＬＴＧは以前の出力ＬＴＧによって学習され得なかったものに従って所定の論理関係内にその入力を結合する、方法。
【請求項１７】
ステップ（ｉｉｉ）に従って新たな出力ＬＴＧがニューラルネットワークに追加されるときに、この新たな出力ＬＴＧへの入力間に生じる論理関係は、論理ＯＲ、論理ＡＮＤ又は任意の他の適切な論理関係である、請求項１６に記載の方法。
【請求項１８】
以前の出力ＬＴＧによって学び得なかった入力ベクトルが出力１を生成するならば論理ＯＲが用いられ、以前の出力ＬＴＧによって学び得なかった入力ベクトルが出力０を生成するならば論理ＡＮＤが用いられる、請求項１７に記載の方法。
【請求項１９】
トレーニング中にニューラルネットワークの層内に新規なニューロンを追加するための方法であって、前記新規なニューロンは、選択された出力に対するその層内の他のニューロンが学習されるデータセットの入力ベクトルに付随する関係を学習しえないときに前記ニューラルネットワークに追加され、前記方法は、
その層内のニューラルネットワークの選択された出力に寄与する以前の最後のニューロンからの改変された全てのデータのコピー及びその層内のいかなる他のニューロンによっても学習され得なかった関係で前記新規なニューロンを更新するステップと；
前記新規なニューロンからの入力を受け取るよう前記出力ニューロンを更新するステップと、を含んでなる、
方法。
【請求項２０】
ニューラルネットワークのニューロンはＬＴＧである、請求項１９に記載の方法。
【請求項２１】
前記関係は、重みとＬＴＧの閾値との関係である、請求項２０に記載の方法。
【請求項２２】
前記関係は制約条件であり、データセットの入力ベクトル及びＬＴＧの重みベクトルはニューラルネットワークの出力に基づくＬＴＧの閾値との関係を形成する、請求項２０又は２１に記載の方法。
【請求項２３】
バイナリフォーマットデータセット以外のデータセットをニューラルネットワークにより学習されるバイナリフォーマットデータセットに変換するための方法であって、
（ｉ）前記データセットの各属性をバイナリで提示するためのビット数を別個に決定するステップ、
（ｉｉ）計算式：範囲＝（最大−最小）＋１を用いて前記データセットの属性の範囲を計算し、ステップ（ｉ）で決定したビット数を用いて前記データセットの属性の範囲をコード化するステップを含む、
方法。
【請求項２４】
請求項１又は２のニューラルネットワークのトレーニング法に従ってトレーニングされるデータを準備するための、請求項２３に記載の方法の使用。
【請求項２５】
前記データセットの入力ベクトルを２の群にソートするステップ、１を出力するものを０を出力するものと分離するステップ、並びに、ニューラルネットワークにより最初に学ばれる、前記２の群の１を選択するステップを含んでなる、ニューラルネットワークによりトレーニングされるデータセットを並び替える方法。
【請求項２６】
請求項１又は２のニューラルネットワークのトレーニング法に従ってトレーニングされるデータを並び替えるための、請求項２５に記載の方法の使用。
【請求項２７】
入力ベクトルがニューロンによって既知であるか未知であるかを決定する方法であって、前記入力ベクトルから制約条件及びその補空間を構築するステップ；前記制約条件及び補空間を交互に前記ニューロンの制約条件セットに追加するステップ；いずれかの場合に解があるか否かを決定するために前記制約条件セットを試験するステップであって、前記制約条件又はその補空間に解がなければ前記入力ベクトルは前記ニューロンに既知であることが決定され、前記制約条件及びその補空間が交互に前記制約条件セットに追加されるときに解があるばらば、前記入力ベクトルは前記ニューロンによって既知ではないことが決定されるステップ、を含んでなる、方法。
【請求項２８】
前記制約条件セットは、ＬＴＧニューロンから構築されるニューラルネットワークのニューロンの制約条件セットである、請求項２７に記載の方法。
【請求項２９】
請求項１又は２のニューラルネットワークのトレーニング法に従ってトレーニングされるニューラルネットワークの未知入力ベクトルの出力を決定するための、請求項２７に記載の方法。
【請求項３０】
前記データセットに依存して未知入力ベクトルのデフォルト出力は１又は０にセットされる、請求項３のニューラルネットワークのトレーニング方法に従ってトレーニングされるニューラルネットワークのＬＴＧの未知入力ベクトルを決定するための、請求項２７に記載の方法の使用。
【請求項３１】
制約条件セットの最小活性化体積（ＭＡＶ）を決定するための方法であって、
（ｉ）前記制約条件セット内に残る制約条件を変化させずに前記制約条件セットからそれぞれの制約条件を一度に１つ除去するステップ；
（ｉｉ）前記除去した制約条件セットの補空間を前記制約条件セットに追加するステップ；
（ｉｉｉ）解があるか否かを調べるために新規な制約条件セットをテストするステップを含んでなり、ここに：
解があるならば、ＭＡＶを定義する制約条件セットに最初の制約条件が追加され、前記制約条件セットに追加された前記補空間は除去され、最初の制約条件が前記制約条件セットに戻され、前記制約条件セット内にまだ制約条件があるならば、ステップ（ｉ）から（ｉｉｉ）を繰り返し、さもなければ前記ＭＡＶは前記ＭＡＶを定義する制約条件セットの範囲内に保持される制約条件のセットとし；
解がないならば、前記制約条件セットに追加された前記制約条件の補空間は除去され、最初の制約条件が前記制約条件セットに戻され、前記制約条件セットにテストする制約条件がまだあるならば、ステップ（ｉ）から（ｉｉｉ）を繰り返し、さもなければ前記ＭＡＶは前記ＭＡＶを定義する前記制約条件セットの範囲内に保持される制約条件のセットとする、
方法。
【請求項３２】
前記制約条件セットは、ＬＴＧニューロンから構築されるニューラルネットワークのニューロンの制約条件セットである、請求項３１に記載の方法。
【請求項３３】
請求項１又は２のニューラルネットワークのトレーニング法に従ってトレーニングされるニューラルネットワークにおいて、各ＬＴＧに対するＭＡＶを決定するための、請求項３２に記載の方法の使用。
【請求項３４】
添付図を参照して実質的に記載される、人工ニューラルネットワークをトレーニングするための方法。
【請求項３５】
添付図を参照して実質的に記載される、トレーニング期間にニューラルネットワークの層にニューロンを追加する方法。
【請求項３６】
添付図を参照して実質的に記載される、バイナリフォーマットデータセット以外のデータセットを、ニューラルネットワークにより学ばれるバイナリフォーマットデータセットに変換する方法。
【請求項３７】
添付図を参照して実質的に記載される、ニューラルネットワークによりトレーニングされるデータセットをソートする方法。
【請求項３８】
添付図を参照して実質的に記載される、制約条件セットが既知又は道であるかを決定する方法。
【請求項３９】
添付図を参照して実質的に記載される、制約条件セットの最小活性化体積（ＭＡＶ）を決定する方法。
【請求項１】
人工ニューラルネットワークをトレーニングするための方法であって、前記方法は、
（ｉ）トレーニングするニューラルネットワークの出力を選択し、前記ニューラルネットワークのニューロンの出力を前記選択した出力のためのニューラルネットワークの入力層に接続することにより前記ニューラルネットワークを初期化するステップ；
（ｉｉ）前記ニューラルネットワークに学習させるデータセットを用意するステップ；並びに、
（ｉｉｉ）前記用意したデータセットの入力ベクトルを前記ニューラルネットワークの第１の中間層に、又は前記ニューラルネットワークに中間層がなければ前記ニューラルネットワークの出力層に適用することにより前記用意したデータセットを前記ニューラルネットワークに適用して学習させるステップ、及び、前記ニューラルネットワークの各層における前記選択された出力のための少なくとも１のニューロンが、入力ベクトルに対する付随出力の生成を学習しうるか否かを決定するステップを含んでなり、ここに：
前記ニューラルネットワークの各層における前記選択された出力が前記入力ベクトルに対する前記付随出力の生成を学習できれば、及び学習するために前記用意したデータセットよりも多くの入力ベクトルが存在するならば、次の入力ベクトルに対してステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉ）から（ｉｉｉ）を繰り返し；
前記ニューラルネットワークの前記選択された出力に対する中間層のニューロンが前記入力ベクトルに対する付随出力の生成を学習できなければ、前記選択された出力に対してその層の全ての他のニューロンが学習できなかった前記付随出力を学習するためにその層に新規ニューロンが追加され、学習すべき前記データセットの入力ベクトルがまだあるならばステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉ）から（ｉｉｉ）を繰り返し；
前記ニューラルネットワークの前記選択された出力に対する出力ニューロンが前記入力ベクトルに対する付随出力の生成を学習できなければ、その出力ニューロンは前記ニューラルネットワークの中間層のニューロンとなり、出力ニューロンが学習できなかった前記付随出力を学習するために新規ニューロンがこの中間層に追加され、前記選択された出力に対して前記ニューラルネットワークに新規ニューロンが追加され、学習すべきデータセットの入力ベクトルがまだあるならばステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉ）から（ｉｉｉ）を繰り返す、
方法。
【請求項２】
人工ニューラルネットワークをトレーニングする方法であって、
（ｉ）前記ニューラルネットワークが学習するデータセットを準備するステップ；
（ｉｉ）トレーニングするニューラルネットワークの出力を選択することによりニューラルネットワークを初期化し、選択した出力に対して前記ニューラルネットワークの出力ニューロンを前記ニューラルネットワークの入力層の入力ニューロンに接続するステップ；
（ｉｉｉ）前記準備したデータセットの入力ベクトルを前記ニューラルネットワークの第１の中間層に、又は前記ニューラルネットワークに中間層がなければ前記ニューラルネットワークの出力層に適用することにより前記準備したデータセットが学習されるよう前記ニューラルネットワークに適用するステップ、並びに、前記ニューラルネットワークの各層内に選択された出力に対する少なくとも１のニューロンが前記入力ベクトルに付随する出力の生成を学習しうるか否かを決定するステップを含んでなり、ここに：
前記ニューラルネットワークの各層内において選択された出力に対する少なくとも１のニューロンが前記入力ベクトルに付随する出力の生成を学習しうるならば、及び前記準備された学習データセットの入力ベクトルがまだあるならば、次の入力ベクトルに対してステップ（ｉｉｉ）を繰り返し、さもなければトレーニングする出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉｉ）及び（ｉｉｉ）を繰り返し；
前記ニューラルネットワークの選択された出力に対する中間層内に前記入力ベクトルに付随する出力の生成を学習しうるニューロンがなければ、前記選択された出力に対するその層のいずれのニューロンによっても学習され得ない前記付随する出力を学習するためにその層に新しいニューロンが追加され、並びに、学習するデータセットがまだあるならば次の入力ベクトルに対してステップ（ｉｉｉ）を繰り返し、さもなければトレーニングする出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉｉ）及び（ｉｉｉ）を繰り返し；
前記ニューラルネットワークの選択された出力に対する出力ニューロンが前記入力ベクトルに付随する出力の生成を学習できなければ、その出力ニューロンは前記ニューラルネットワークの中間層のニューロンとなり、前記出力ニューロンによっって学習されなかった前記付随する出力を学習するためにこの中間層に新しいニューロンが追加され、前記選択された出力に対して前記ニューラルネットワークに新しい出力ニューロンが追加され、並びに、学習すべきデータセットの入力ベクトルがまだあるならばステップ（ｉｉｉ）を繰り返し、さもなければ、トレーニングする出力がまだあるならば前記ニューラルネットワークの次の出力に対してステップ（ｉｉ）及び（ｉｉｉ）を繰り返す、
方法。
【請求項３】
前記ニューラルネットワークの前記ニューロンは、線形閾値ゲート（ＬＴＧｓ）である、請求項１又は２に記載の方法。
【請求項４】
前記ステップ（ｉｉｉ）において、ＬＴＧが入力ベクトルに対して関連付けられる出力の生成を学べるか否かを決定することは、重みとＬＴＧの閾値との関係が、ＬＴＧが以前に学んだものを解とするか否かを決定することである、請求項３に記載の方法。
【請求項５】
前記関係は制約条件であり、入力ベクトル及びＬＴＧの重みベクトルは、ニューラルネットワークの選択された出力に基づくＬＴＧの閾値との関係を形成する、請求項４に記載の方法。
【請求項６】
制約条件の学習は、ＬＴＧの制約条件セットに制約条件を追加しうることである、請求項５に記載の方法。
【請求項７】
ＬＴＧの制約条件セットに制約条件を追加しうるためには、全ての制約条件に解決が存在しなければならない、請求項６に記載の方法。
【請求項８】
前記ニューラルネットワークを初期化するステップは、さらに、出力ＬＴＧの制約条件セットが空となるように出力ＬＴＧの制約条件セットをクリアするステップを含む、請求項３に記載の方法。
【請求項９】
請求項１から８のいずれかに記載の方法であって、前記ニューラルネットワークにより学習されるデータセットを準備する前記ステップは、前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に、前記データセットを所定のデータフォーマットに変換するステップ；前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に、前記データセット内に何らかの不一致が存在するか否かを決定するステップ；並びに、前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に、ゼロ入力ベクトルが前記データセット内に使用可能であるか否かを決定し、ゼロ入力ベクトルが前記データセット内に使用可能であればゼロ入力ベクトルが最初にトレーニングされるために前記ニューラルネットワークに提示されるよう前記データセットを順序づけるステップ、の任意の順番で実施されうる各ステップをを含んでなる、方法
【請求項１０】
前記所定のデータフォーマットはバイナリ又は浮動小数点データフォーマットである、請求項９に記載の方法。
【請求項１１】
ニューラルネットワークにデータセットが提示される以前にデータセットに何らかの不一致があるか否かを決定する前記ステップは、異なる出力を生じる２以上の同一の入力ベクトルがあるか否かを決定することを含む、請求項９又は１０に記載の方法。
【請求項１２】
異なる出力を生じる２以上の同一の入力ベクトルがあるか否かが決定されるならば、ただ１つの入力ベクトルが用いられる、請求項１１に記載の方法。
【請求項１３】
前記データセットがトレーニングのために前記ニューラルネットワークに提示される前に並び替えられる前記ステップは、前記データセットの入力ベクトルを、１を出力するもの及び０を出力するものの２つのセットに並び替えるステップ、及び、前記２つのセットの一方を最初にトレーニングするために選択するステップ、自己組織化マップ（ＳＯＭ）により前記データを並び替えるステップ、及び／又は任意の他の適切な方法を用いて前記データを並び替えるステップ、を含んでなる、請求項９から１２のいずれかに記載の方法。
【請求項１４】
ソートしたデータから、データがトレーニングのためにニューラルネットワークに提示される前に、各入力層に対して単一のリストが生成される、請求項１３に記載の方法。
【請求項１５】
請求項５に記載の方法であって、ステップ（ｉｉｉ）に係る層内のいかなる他のＬＴＧによっても学習され得ない制約条件を学習するために新規なＬＴＧが当該層に追加されるならば、前記新規なＬＴＧは前記ニューラルネットワークの選択された出力に寄与する次層内の全てのＬＴＧに接続され、前記新規なＬＴＧからの入力を受け取る前記次層内のＬＴＧの制約条件セットは前記新規なＬＴＧからの入力を受け付けのために更新され；前記新規なＬＴＧを有する層が前記ニューラルネットワークの第１層でないならば、前記新規なＬＴＧは前記ニューラルネットワークの選択された出力に寄与する先行層内の全てのＬＴＧからの入力に接続されてこれを受信し；前記新規なＬＴＧの制約条件セットはその層内の以前の最後のＬＴＧの改変された制約条件セットのコピー及びその層内のいかなる他のＬＴＧによっても学習され得なかった制約条件を含むように更新される、方法。
【請求項１６】
請求項５又は請求項１５に記載の方法であって、ステップ（ｉｉｉ）に係る前記ニューラルネットワークに新規な出力ＬＴＧが追加されるならば、前記新規な出力ＬＴＧは前記中間層内のＬＴＧからの入力に接続されてこれを受信し；前記中間層が前記ニューラルネットワークの第１層ではないならば、前記中間層内の前記新規な出力ＬＴＧは前記ニューラルネットワークの選択された出力に寄与する先行層内の全てのＬＴＧに接続されてこれを受信し；前記中間層に追加された前記新規なＬＴＧの制約条件セットはその層内の以前の最後のＬＴＧの改変された制約条件セットのコピー及びその層内のいかなる他のＬＴＧによっても学習され得なかった制約条件を含むように更新され；前記新規な出力ＬＴＧは以前の出力ＬＴＧによって学習され得なかったものに従って所定の論理関係内にその入力を結合する、方法。
【請求項１７】
ステップ（ｉｉｉ）に従って新たな出力ＬＴＧがニューラルネットワークに追加されるときに、この新たな出力ＬＴＧへの入力間に生じる論理関係は、論理ＯＲ、論理ＡＮＤ又は任意の他の適切な論理関係である、請求項１６に記載の方法。
【請求項１８】
以前の出力ＬＴＧによって学び得なかった入力ベクトルが出力１を生成するならば論理ＯＲが用いられ、以前の出力ＬＴＧによって学び得なかった入力ベクトルが出力０を生成するならば論理ＡＮＤが用いられる、請求項１７に記載の方法。
【請求項１９】
トレーニング中にニューラルネットワークの層内に新規なニューロンを追加するための方法であって、前記新規なニューロンは、選択された出力に対するその層内の他のニューロンが学習されるデータセットの入力ベクトルに付随する関係を学習しえないときに前記ニューラルネットワークに追加され、前記方法は、
その層内のニューラルネットワークの選択された出力に寄与する以前の最後のニューロンからの改変された全てのデータのコピー及びその層内のいかなる他のニューロンによっても学習され得なかった関係で前記新規なニューロンを更新するステップと；
前記新規なニューロンからの入力を受け取るよう前記出力ニューロンを更新するステップと、を含んでなる、
方法。
【請求項２０】
ニューラルネットワークのニューロンはＬＴＧである、請求項１９に記載の方法。
【請求項２１】
前記関係は、重みとＬＴＧの閾値との関係である、請求項２０に記載の方法。
【請求項２２】
前記関係は制約条件であり、データセットの入力ベクトル及びＬＴＧの重みベクトルはニューラルネットワークの出力に基づくＬＴＧの閾値との関係を形成する、請求項２０又は２１に記載の方法。
【請求項２３】
バイナリフォーマットデータセット以外のデータセットをニューラルネットワークにより学習されるバイナリフォーマットデータセットに変換するための方法であって、
（ｉ）前記データセットの各属性をバイナリで提示するためのビット数を別個に決定するステップ、
（ｉｉ）計算式：範囲＝（最大−最小）＋１を用いて前記データセットの属性の範囲を計算し、ステップ（ｉ）で決定したビット数を用いて前記データセットの属性の範囲をコード化するステップを含む、
方法。
【請求項２４】
請求項１又は２のニューラルネットワークのトレーニング法に従ってトレーニングされるデータを準備するための、請求項２３に記載の方法の使用。
【請求項２５】
前記データセットの入力ベクトルを２の群にソートするステップ、１を出力するものを０を出力するものと分離するステップ、並びに、ニューラルネットワークにより最初に学ばれる、前記２の群の１を選択するステップを含んでなる、ニューラルネットワークによりトレーニングされるデータセットを並び替える方法。
【請求項２６】
請求項１又は２のニューラルネットワークのトレーニング法に従ってトレーニングされるデータを並び替えるための、請求項２５に記載の方法の使用。
【請求項２７】
入力ベクトルがニューロンによって既知であるか未知であるかを決定する方法であって、前記入力ベクトルから制約条件及びその補空間を構築するステップ；前記制約条件及び補空間を交互に前記ニューロンの制約条件セットに追加するステップ；いずれかの場合に解があるか否かを決定するために前記制約条件セットを試験するステップであって、前記制約条件又はその補空間に解がなければ前記入力ベクトルは前記ニューロンに既知であることが決定され、前記制約条件及びその補空間が交互に前記制約条件セットに追加されるときに解があるばらば、前記入力ベクトルは前記ニューロンによって既知ではないことが決定されるステップ、を含んでなる、方法。
【請求項２８】
前記制約条件セットは、ＬＴＧニューロンから構築されるニューラルネットワークのニューロンの制約条件セットである、請求項２７に記載の方法。
【請求項２９】
請求項１又は２のニューラルネットワークのトレーニング法に従ってトレーニングされるニューラルネットワークの未知入力ベクトルの出力を決定するための、請求項２７に記載の方法。
【請求項３０】
前記データセットに依存して未知入力ベクトルのデフォルト出力は１又は０にセットされる、請求項３のニューラルネットワークのトレーニング方法に従ってトレーニングされるニューラルネットワークのＬＴＧの未知入力ベクトルを決定するための、請求項２７に記載の方法の使用。
【請求項３１】
制約条件セットの最小活性化体積（ＭＡＶ）を決定するための方法であって、
（ｉ）前記制約条件セット内に残る制約条件を変化させずに前記制約条件セットからそれぞれの制約条件を一度に１つ除去するステップ；
（ｉｉ）前記除去した制約条件セットの補空間を前記制約条件セットに追加するステップ；
（ｉｉｉ）解があるか否かを調べるために新規な制約条件セットをテストするステップを含んでなり、ここに：
解があるならば、ＭＡＶを定義する制約条件セットに最初の制約条件が追加され、前記制約条件セットに追加された前記補空間は除去され、最初の制約条件が前記制約条件セットに戻され、前記制約条件セット内にまだ制約条件があるならば、ステップ（ｉ）から（ｉｉｉ）を繰り返し、さもなければ前記ＭＡＶは前記ＭＡＶを定義する制約条件セットの範囲内に保持される制約条件のセットとし；
解がないならば、前記制約条件セットに追加された前記制約条件の補空間は除去され、最初の制約条件が前記制約条件セットに戻され、前記制約条件セットにテストする制約条件がまだあるならば、ステップ（ｉ）から（ｉｉｉ）を繰り返し、さもなければ前記ＭＡＶは前記ＭＡＶを定義する前記制約条件セットの範囲内に保持される制約条件のセットとする、
方法。
【請求項３２】
前記制約条件セットは、ＬＴＧニューロンから構築されるニューラルネットワークのニューロンの制約条件セットである、請求項３１に記載の方法。
【請求項３３】
請求項１又は２のニューラルネットワークのトレーニング法に従ってトレーニングされるニューラルネットワークにおいて、各ＬＴＧに対するＭＡＶを決定するための、請求項３２に記載の方法の使用。
【請求項３４】
添付図を参照して実質的に記載される、人工ニューラルネットワークをトレーニングするための方法。
【請求項３５】
添付図を参照して実質的に記載される、トレーニング期間にニューラルネットワークの層にニューロンを追加する方法。
【請求項３６】
添付図を参照して実質的に記載される、バイナリフォーマットデータセット以外のデータセットを、ニューラルネットワークにより学ばれるバイナリフォーマットデータセットに変換する方法。
【請求項３７】
添付図を参照して実質的に記載される、ニューラルネットワークによりトレーニングされるデータセットをソートする方法。
【請求項３８】
添付図を参照して実質的に記載される、制約条件セットが既知又は道であるかを決定する方法。
【請求項３９】
添付図を参照して実質的に記載される、制約条件セットの最小活性化体積（ＭＡＶ）を決定する方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０ａ】
【図１０ｂ】
【図１１】
【図１２】
【図１３】
【図１４ａ】
【図１４ｂ】
【図１４ｃ】
【図１４ｄ】
【図１４ｅ】
【図１４ｆ】
【図１４ｇ】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０ａ】
【図２０ｂ】
【図２０ｃ】
【図２０ｄ】
【図２０ｅ】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０ａ】
【図１０ｂ】
【図１１】
【図１２】
【図１３】
【図１４ａ】
【図１４ｂ】
【図１４ｃ】
【図１４ｄ】
【図１４ｅ】
【図１４ｆ】
【図１４ｇ】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０ａ】
【図２０ｂ】
【図２０ｃ】
【図２０ｄ】
【図２０ｅ】
【図２１】
【公表番号】特表２００９−５１６２４６（Ｐ２００９−５１６２４６Ａ）
【公表日】平成２１年４月１６日（２００９．４．１６）
【国際特許分類】
【出願番号】特願２００８−５３９１９４（Ｐ２００８−５３９１９４）
【出願日】平成１８年１１月１５日（２００６．１１．１５）
【国際出願番号】ＰＣＴ／ＡＵ２００６／００１７０８
【国際公開番号】ＷＯ２００７／０５６８０３
【国際公開日】平成１９年５月２４日（２００７．５．２４）
【出願人】（５０８１４３６３８）
【公表日】平成２１年４月１６日（２００９．４．１６）
【国際特許分類】
【出願日】平成１８年１１月１５日（２００６．１１．１５）
【国際出願番号】ＰＣＴ／ＡＵ２００６／００１７０８
【国際公開番号】ＷＯ２００７／０５６８０３
【国際公開日】平成１９年５月２４日（２００７．５．２４）
【出願人】（５０８１４３６３８）
[ Back to top ]