ニューラルネットワーク関連アプリケーションを使用して医療診断テストおよび生化学診断テストを選択する方法
【課題】障害又は状態の診断を支援する重要な変数を識別する。
【解決手段】変数選択のためのコンピュータシステムは、（ａ）ｎ個の候補変数にてなる第一セットと、最初は空である重要な選択された変数にてなる第二セットとを与える手段と、（ｂ）候補変数を一度に一つずつ取り、重要な選択された変数の現在のセットに結合された変数に基づいて意思決定支援システムをトレーニングすることによって各変数を評価する手段と、（ｃ）候補変数のうち、意思決定支援システムの最高の性能を与える変数である最良の変数を選択し、最良の候補変数が重要な選択された変数の性能と比較して性能を改善する場合、それを重要な選択された変数にてなるセットに追加してそれを候補セットから除去し、最良の候補変数が性能を改善しなくなるまで上記手段（ｂ）を用いた評価を継続する手段を備える。
【解決手段】変数選択のためのコンピュータシステムは、（ａ）ｎ個の候補変数にてなる第一セットと、最初は空である重要な選択された変数にてなる第二セットとを与える手段と、（ｂ）候補変数を一度に一つずつ取り、重要な選択された変数の現在のセットに結合された変数に基づいて意思決定支援システムをトレーニングすることによって各変数を評価する手段と、（ｃ）候補変数のうち、意思決定支援システムの最高の性能を与える変数である最良の変数を選択し、最良の候補変数が重要な選択された変数の性能と比較して性能を改善する場合、それを重要な選択された変数にてなるセットに追加してそれを候補セットから除去し、最良の候補変数が性能を改善しなくなるまで上記手段（ｂ）を用いた評価を継続する手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の主題は、医療診断補助装置の開発のための、予測技術、特に非線形予測技術の使用に関する。特に、医療診断ツールおよび診断の方法の開発のために患者病歴情報からの入力を有するニューラルネットワークおよび他のエキスパートシステムに対して有効なトレーニング技法が提供される。
【背景技術】
【０００２】
本出願は、１９９６年２月９日出願、Jerome Lapointe および Duane DeSieno の米国特許出願第０８／５９９２７５号「METHOD FOR DEVEL0PING MEDICAL AND BI0CHEMICAL DIAGN0STICTESTS USING NEURAL NETW0RKS」の一部継続出願であり、かつ１９９６年２月９日出願、Jerome Lapointeおよび Duane DeSienoの米国仮特許出願第６０／０１１４４９号「METHOD ANDAPPARATUS FOR AIDING IN THE DIAGNOSIS OF ENDOMETRIOSIS USINGA PLURALITY OF PARAMETERS SUITED F0R ANALYSIS THROUGH ANEURAL NETWORK」の３５Ｕ．Ｓ．Ｃ§１１９（ｅ）による優先権を主張するものである。上記の出願および仮出願それぞれの主題は、全体として参照により本発明の一部となる。
【０００３】
マイクロフィッシュ付録．
本明細書に記載のプログラム用のコンピュータプログラムソースコードを含む二つのコンピュータ付録は、本願の出願と同時に提出されている。このコンピュータ付録は、３７Ｃ．Ｆ．Ｒ．１．９６（ｂ）に従ってマイクロフィッシュ付録に変換できる。以下「マイクロフィッシュ付録」と呼ぶコンピュータ付録は、それぞれ全体として参照により本発明の一部となる。したがって、本特許文献の開示の一部は、著作権保護を受ける資料を含む。著作権所有者は、本特許文献または特許開示のいずれかが特許商標庁特許ファイルまたはレコードに記載されたときに、それによるファクシミリ複製に異議はないが、それ以外の場合すべての著作権はどんなものでも留保する。
【０００４】
データ収集、意思決定支援システムおよびニューラルネットワーク．
いくつかのコンピュータ意思決定支援システムは、情報を分類し、かつ入力データ中のパターンを識別する能力を有し、大量の変数を有するデータセットおよび変数間の複雑な相互作用を評価する場合に特に有用である。集合的に「データ収集」または「データベース中の知識発見」（本明細書では意思決定支援システム）と呼ばれるこれらのコンピュータ意思決定システムは、プロセッサ、内部デバイスおよび周辺デバイス、メモリデバイスおよび入出力インタフェースを有する同じ基本ハードウェア構成要素、例えば、パーソナルコンピュータ（ＰＣ）を使用する。システム間の区別は、ソフトウェア中で起こり、より基本的には、ソフトウェアがそれに基づいているパラダイム中で起こる。意思決定支援機能を提供するパラダイムは、回帰方法、決定ツリー、判別分析、パターン認識、ベイズの決定理論、およびファジー諭理を含む。より広く使用されている意思決定支援コンピュータシステムの一つは人工ニューラルネットワークである。
【０００５】
人工ニューラルネットワークまたは「ニューラルネット」は、ニューロンと呼ばれる個々の処理要素が層中に配列され、連続的な層中の要素間の多数の相互接続を備える並列情報処理ツールである。処理要素の働きは、処理要素の出力が一般に非線形の伝達関数によって決定される生物学神経細胞に近似するようにモデル化される。ニューラルネットワークの代表的なモデルでは、入力を受け取る要素用の入力層、出力を発生する一つまたは複数の要素を含む出力層、およびそれらの間の要素の一つまたは複数の隠れた層中に処理要素が配列される。隠れた層は、非線形問題をそれによって解決できる手段を与える。処理要素中、要素への入力信号は、各入力に関連する重み係数に従って算術的に重み付けされる。得られた重み付けされた合計は、Ｓ字形関数など、選択された非線形伝達関数によって変換されて、各処理要素ごとに、その値が０から１まで変動する出力をもたらす。学習プロセスは「トレーニング」と呼ばれ、特定の処理要素が、他の処理要素の出力と結合したときにニューラルネットワークの出力とトレーニングデータ中に提示された所望の出力との間に生じた誤差を最小限に抑える結果を発生する出力を与えるように、処理要素の重みに対する一連のインタラクティブ調整を必要とする試行錯誤プロセスである。要素の重みの調整は誤差信号によってトリガされる。トレーニングデータは、各例がニューラルネットワークに提示されるべき一組の入力値および関連する一組の所望の出力値を含むいくつかのトレーニング例として説明される。
【０００６】
一般的なトレーニング方法は、誤差信号をネットワーク中を逆方向に伝搬させる逆方向伝搬または「バックプロップ」である。誤差信号は、所与の要素の重みをどのくらい変化させるべきかおよび誤差勾配を決定するために使用される。その目的は、平均二乗誤差の大域的最小値に収束することである。収束に向かう経路、すなわち下り勾配はステップの形でとられる。各ステップは、処理要素の入力重みの調整である。各ステップのサイズは学習率によって決定される。下り勾配の傾斜は、収束が達成されたという誤った印象を与え、不正確な結果をもたらす極小値の働きをする谷を有する平坦な領域および急な領域を含む。
【０００７】
バックプロップのいくつかの変形は、前の重み変化値の一部が現在の値に追加される運動量項を組み込む。これは、運動量をアルゴリズムの軌道の下り勾配中に追加する。これは、アルゴリズムの軌道が極小値中に「捕獲」されるのを防ぐ。運動量項を含む一つの逆方向伝搬方法は、運動量率が適応性のある「クイックプロップ」である。クイックプロップ変形は、Fahlman（「Fast Learning Variations on Back-Propagation: An Empirical Study」、Proceedings on the 1988 Connectionist Models Summer School、ピッツバーグ、1988年、D．Touretzky他編、pp.38-51、Morgan Kaufmann、カリフォルニア州 San Mateo、Lebriere との共著、「The Cascade-Correlation Learning Architecture」、Advances in Neural Information Processing Systems 2（デンバー、1989年）、D.Touretzky 編、pp.524-32、Morgan Kaufmann、カリフォルニア州 San Mateo参照）によって記載されている。クイックプロップアリゴリズムは、CarnegieMellon University の School of Computer Scienceによって維持される Artificial Intelligence Repository から、公的に入手でき、インターネットを介してダウンロードできる。クイックプロップでは、動的運動量率を勾配の傾斜に基づいて計算する。傾斜が直前の重み調整の後の傾斜よりも小さいが、それと同じ符号を有する場合、重み変化は加速する。加速率は、傾斜値間の連続的な差の大きさによって決定される。現在の傾斜が前の傾斜と反対の方向である場合、重み変化は減速する。クイックプロップ方法は、収束速度を改善し、できる限り急な下り勾配を与え、極小値への収束を防ぐのを助ける。
【０００８】
ニューラルネットワークが十分なトレーニングデータに基づいてトレーニングされるとき、ニューラルネットワークは、トレーニングデータの一部でなかった新しい入力データの組用の正確な解決策に対して一般化することができる連想メモリの働きをする。ニューラルネットワークは、完全なデータがない場合または雑音がある場合でも動作できることが示されている。また、新しいデータまたはテストデータに対するネットワークの性能はトレーニングデータに対する性能よりも低くなる傾向にあることが観測されている。テストデータに対する性能の差は、ネットワークがトレーニングデータから一般化することができた範囲を示す。しかしながら、ニューラルネットワークは、再トレーニングでき、したがって新しいデータから学習でき、ネットワークの全体的な性能を改善できる。
【０００９】
したがって、ニューラルネットは、医療診断など、予測を必要とする領域を含めて、多数の様々な問題に好適となる特性を有する。
【００１０】
ニューラルネットおよび診断．
患者を診断および／または治療する場合、医師は、患者の状態、症状、および適用できる医療診断テストの結果を使用して、患者の疾病状態または状態を識別する。医師は、症状およびテスト結果と特定の診断との関連を慎重に決定し、特定の診断を行う際に経験および直感に基づく判断を使用しなければならない。医療診断では、医療病歴、物理的試験、生化学テストを含むいくつかの情報源から情報を統合する必要がある。試験およびテストおよび質問に対する答えの結果に基づいて、医師は、その人のトレーニング、経験、知識、専門知識を使用して、診断を定形化する。最終的な診断には、検証または定式化するために後続の外科手順が必要である。したがって、診断のプロセスは、意思決定支援、直感、経験の組合せを必要とする。医師の診断の有効性は、その人の経験および能力に依存する。
【００１１】
医療診断の予測的および直感的性質のために、ニューラルネットワークおよびこのプロセスを助ける他のエキスパートシステムを開発する試みがなされている。医療診断へのニューラルネットワークの適用が報告されている。例えば、ニューラルネットワークは、心臓血管障害の診断を助けるために使用されている（例えば、Baxt（1991年）「Use of an Artificial Neural Network for the Diagnosis of Myocardial Infarction」、Annalsof Internal Medicine 115:843;Baxt（1992年）「Improving the Accuracy of an Artificial Neural Network Using Multiple Differently Trained Networks」、Neural Computation 4:772;Baxt(1992年)「Analysis of the clinical variables that drivedecision in an artificial neural network trained to identify the presence of myocardial infarction」、Annals of Emergency Medicine 21:1439; Baxt(1994年)「Complexity, chaos and human physiology: the justification for non-linear neural computational analysis」、Cancer Letters 77:85参照）。他の医療診断用途としては、癌診断（例えば、Maclin 他（1991年）「Using Neural Networks to Diagnose Cancer」 Journal of Medical Systems 15:11-9; Rogers 他（1994年）「Artificial Neural Networks for Early Detection and Diagnosis of Cancer」Cancer Letters 77:79-83; Wilding 他（1994 年）「Application of Backpropogation Neural Networks to Diagnosis of Breast and Ovarian Cancer Cancer Letters77:145-53）, neuromuscular disorders（Pattichis 他（1995年を参照）「Neural Network Models in EMG Diagnosis」、IEEE Transactions on Biomedical Engineering 42:5:486-495参照）および慢性疲労症候群（Solms 他（1996年）「A Neural Network Diagnostic Tool for the Chronic Fatigue Syndrome」、 International Conference on Neural Networks， Paper No．108を参照）にニューラルネットワークを使用することである。しかしながら、これらの方法は、広い範囲の状態に対して実際的な診断テストの開発に関連する重大な問題を処理できず、また入力変数の選択を処理しない。
【００１２】
ＭＹＣＩＮ（Davis他、「Production Systems as a Representation for a Knowledge-based Consultation Program」、 Artificial Intelligence、1977年、8:1:15-45）およびその子孫 TEIRESIAS、EMYCIN、PUFF、 CENTAUR、VM、GUIDON、SACON、ONCOCIN およびROGET を含む知識ベースのエキスパートシステムを含めて、医療診断に応用できるニューラルネットワーク以外のコンピュータ意思決定支援方法が報告されている。ＭＹＣＩＮは、いくつかの伝染病を診断し、かつ抗菌療法を規定する対話式プログラムである。そのような知識ベースのシステムは、実際の知識および規則またはその知識を使用するための他の方法を含む。すべての情報および規則は、ニューラルネットワークの場合と同様に、入力データに基づいて所望の結果に到達するためにそれ自体の手順を開発するシステム以外のシステムのメモリ中に事前にプログラムされる。他のコンピュータ診断方法は、トレーニングパターンおよびアプリオリ情報からの確率密度関数に基づいてパターンを分類する信念または因果的確率的ネットワークとも呼ばれるベイズのネットワークである。乳癌と診断する乳房Ｘ線写真の解釈に使用されるベイズの意思決定システムが報告されている（Roberts 他「Mammo Net: A Bayesian Network diagnosing Breast Cancer」、Midwest artificial Intelligence and Cognitive Science Society Conference，イリノイ州 Carbonda1e,1995年４月）and Hypertension（Blinowska 他（1993年）「Diagnostica - A Bayesian Decision-Aid System - Applied to Hypertension Diagnosis」、IEEE Transactions on Biomedical Engineering 40:230-35）。ベイズの意思決定システムは、線形関係の信頼性および処理できる入力データ点の数に関して若干制限され、変数間の非線形関係を必要とする意思決定支援にはあまり適さない。ニューラルネットワークの処理要素を使用してベイズの方法を実施すれば、これらの制限の一部を克服できる（例えば Penny 他（1996年）、「Neural Networks in Clinica1 Medicine」、Medical Decision-support、1996年、16:4:386-98参照）。これらの方法は、医師をまねることによって、重要な変数がシステム中に入力される障害を診断するために使用されている。しかしながら、これらのシステムを使用して、既存の診断手順を改善することが重要であろう。
【００１３】
子宮内膜症．
子宮内膜症は、子宮状組織が子宮外で成長することである。これは、約１５〜３０パーセントの生殖年齢女性に影響を及ぼす。子宮内膜症の原因は未知であるが、後退月経、子宮から腹膜腔中への子宮内膜組織および細胞（月経堆積物）の退潮に起因しうる。後退月経はたいていの女性またはすべての女性に起こると考えられるが、なぜある女性が子宮内膜症になり、他の女性は子宮内膜症にならないのかははっきりしない。
【００１４】
子宮内膜症を有するすべての女性が症状を示すか、またはその疾病を煩うとは限らない。子宮内膜症の程度または重さは症状に相関しない。重い疾病を有する女性は完全に無症候性であり、最小の疾病を有する他の女性は耐え難い痛みを受ける。不妊症、骨盤痛、月経困難症、子宮内膜症の過去の発生など、子宮内膜症に関連している症状は、しばしば子宮内膜症を有しない女性に起こる。他の場合には、これらの症状は現れ、女性は子宮内膜症を有する。これらの症状と子宮内膜症との間の関係は存在すると思われるが、これらのおよび他のファクタとの相互作用は複雑である。臨床医は、しばしば上記の指示の組合せに基づいて子宮内膜症を有する優れた候補者であると考えられる患者に対して診断腹腔鏡検査を実施する。しかしながら、子宮内膜症は、これらの女性のかなりの部分に存在しない。したがって、子宮内膜症は、医師が情報の複雑な組を使用して、診断を定形化するために経験に頼らなければならない疾病状態の一例を表す。診断の有効性は、医師の経験および能力に関係する。
【００１５】
したがって、症状だけから女性が子宮内膜症を有するかどうかを決定することは不可能であった。医学界内で、子宮内膜症の診断は、手術中に子宮内膜障害を直接視覚化することによってしか確認されない。多数の医師は、しばしば更なる制限を加え、子宮内膜バイオプシー組織に関する組織学を使用して、推測される障害を子宮内膜状（腺およびストロマ）として検証するよう要求している。したがって、子宮内膜症用の非侵襲性診断テストはかなり有用であろう。
【００１６】
【特許文献１】特開平５−２７７１１９号公報。
【特許文献２】特開平５−１７６９３２号公報。
【特許文献３】特開平６−１１９２９１号公報。
【特許文献４】特開平７−８４９８１号公報。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
したがって、本発明の目的は、子宮内膜症用の非侵襲性診断補助装置を提供することである。また、本発明の目的は、子宮内膜症および他の障害および状態の診断を助ける意思決定支援システム中で使用すべき重要な変数を選択する方法を提供することである。また、本発明の目的は、新しい変数を識別すること、疾病用の新しい生化学テストおよびマーカを識別すること、既存の診断方法を改善する新しい診断テストを設計することである。
【課題を解決するための手段】
【００１８】
疾病、障害、および他の医療状態の診断およびそれを助ける意思決定支援システムを使用する方法が提供される。本発明において提供される方法は、患者病歴データおよび重要な変数の識別を使用して診断テストを開発する方法、重要な選択される変数を識別する方法、診断テストを設計する方法、診断テストの有用性を評価する方法、診断テストの臨床的効用を拡大する方法、様々な可能な治療の結果を予測することによって治療方針を選択する方法を含む。また、子宮内膜症など診断することが難しい疾病、特定の期間中の出産の可能性など妊娠関連事象の予測、女性の健康に関連する他のそのような障害を含めて、障害の診断を助ける疾病パラメータまたは変数が提供される。本明細書では女性の障害を例に挙げるが、本発明の方法は任意の障害または状態に適用できることを理解されたい。
【００１９】
また、ニューラルネットワークトレーニングを使用して、テストの感度および特異性を改善するためにテストの開発を案内し、疾病状態または医療状態の全体的な診断またはその潜在能力を改善する診断テストを選択する手段が提供される。最後に、所与の診断テストの有効性を評価する方法が説明される。
【００２０】
したがって、本発明では、障害または状態の診断を助ける変数または変数の組を識別する方法が提供される。重要な変数を識別し、選択する方法および診断用の生成システムでは、患者のデータまたは情報、一般に患者の病歴または臨床データを収集し、このデータに基づく変数を識別する。例えば、データは、各患者が経験した妊娠の回数に関する各患者ごとの情報を含む。したがって、抽出された変数は妊娠の回数である。変数を意思決定支援システムによって分析し、ニューラルネットワークによって例証して、重要なまたは関連する変数を識別する。
【００２１】
ニューラルネットワークや他の適応性のある処理システム（「データ収集ツール」と総称）など、コンピュータベースの意思決定支援システムを使用して、医療診断テストを開発する方法が提供される。ニューラルネットワークまたは他のそのようなシステムは、患者のデータおよび症状が既知であるか、または推測されるテスト患者のグループから収集された観測値に基づいてトレーニングされる。関連する変数のサブセットまたは複数のサブセットは、ニューラルネットワークやニューラルネットワークのコンセンサスなど、意思決定支援システムまたは複数の意思決定支援システムを使用して識別される。別の組の意思決定支援システムは、識別されたサブセットに基づいてトレーニングされ、その症状用のニューラルネットベースのテストなど、コンセンサス意思決定支援システムベースのテストを発生する。コンセンサスニューラルネットワークなど、コンセンサスシステムを使用すれば、ニューラルネットワークベースのシステムなど、意思決定支援システムの極小値の負の影響を最小限に抑えられ、それによりシステムの確度が改善される。
【００２２】
また、性能を向上または改善するために、使用する患者の数を増やせば患者データを増大させることができる。また、生化学テストデータおよび他のデータを追加の例の一部として、またはデータを変数選択プロセスの前に追加の変数として使用して含めることができる。
【００２３】
得られたシステムは、診断の補助装置として使用される。さらに、システムを使用するとき、患者データを記憶し、次いでそれを使用して、システムをさらにトレーニングし、特定の遺伝的集団に適合するシステムを開発することができる。追加のデータのシステム中へのこの入力は、自動的に実施されるか、または手動で実施される。そうすることによって、システムは、連続的に学習し、それらが使用される特定の環境に適合する。得られたシステムは、診断の他に、疾病または障害の重さの評価、選択された治療プロトコルの結果の予測を含む多数の用途を有する。このシステムはまた、生化学テストデータや他のそのようなデータなど、診断手順中の他のデータの値を評価するため、および特定の疾病を診断するために有用な新しいテストを識別するために使用される。
【００２４】
したがってまた、既存の生化学テストを改善する方法、関連する生化学テストを識別する方法、障害および状態の診断を助ける新しい生化学テストを開発する方法が提供される。これらの方法では、意思決定支援システムベースのテストの性能に対する特定のテストまたは潜在的な新しいテストの影響を評価する。テストからの情報の追加が性能を改善する場合、そのようなテストは診断に関連する。
【００２５】
本発明において特に重要であり、かつ本発明の方法が容易に適用できる障害および状態は、子宮内膜症、不妊症、特定の期間中の出産の可能性など妊娠関連事象の予測、子癇前症を含めて、婦人科学状態および生殖能力に影響を及ぼす他の状態である。ただし、これらに限定されない。しかしながら、本発明の方法は任意の障害または状態に適用できることを理解されたい。
【００２６】
これらの方法は、ニューラルネットワークに関して例を挙げて説明するが、エキスパートシステム、ファジー諭理、決定ツリー、および一般的に非線形である他の統計的意思決定支援システムなど、他のデータ収集ツールも使用できることを理解されたい。本発明において提供される変数は意思決定支援システムとともに使用するようになされているが、変数を識別した後、重要な変数の知識を備えた人、一般に医師は、それらを使用して、意思決定支援システムがない場合、またはあまり複雑でない線形分析システムを使用して診断を助けることができる。
【００２７】
本明細書に示すように、診断を助ける際に今まで重要であることが知られていなかった変数またはその組合せが識別される。さらに、生化学テストデータを補足することなく、患者病歴データを使用して、本発明において提供されるニューラルネットなど、意思決定支援システムとともに使用したときに障害または状態を診断するか、または障害または状態の診断を助けることができる。さらに、生化学データを使用した診断または生化学データを使用しない診断の確度は、侵襲性外科診断手順が不要になるほど十分である。
【００２８】
また、本発明では、診断テストの臨床的効用を識別し、拡大する方法が提供される。特定のテストの結果、今まで注目する障害または状態に関して臨床的効用があると考えられていなかった特定のテストの結果は、変数と結合され、ニューラルネットなど、意思決定支援システムとともに使用される。システムの性能、障害を正確に診断する能力がテストの結果の追加によって改善された場合、テストは、臨床的効用または新しい効用を有することになる。
【００２９】
同様に、得られたシステムを使用すれば、薬品または療法の新しい効用を識別することができ、また特定の薬品および療法の用途を識別することができる。例えば、このシステムを使用すれば、特定の薬品または療法が有効である患者の副次集団を選択することができる。したがって、薬品または療法用の指示を拡大する方法、および新しい薬品および療法を識別する方法が提供される。
【００３０】
特定の実施形態では、ニューラルネットワークを使用して、特定の観測値およびテスト結果を評価し、生化学診断テストまたは他の診断テストの開発を案内し、テスト用の意思決定支援機能を提供する。
【００３１】
また、意思決定支援システム中で使用される重要な変数（パラメータ）またはその組を識別する方法が提供される。この方法は、本明細書では医療診断に関して例を挙げて説明するが、重要なパラメータまたは変数を複数の中から選択する、財務分析など、任意の分野において広く応用できる。
【００３２】
特に、変数の有効な組合せを選択する方法が提供される。この方法は、（１）一組の「ｎ」個の候補変数および最初は空である一組の「選択された重要な変数」を与えるステップ、（２）カイ二乗および感度分析に基づいてすべての候補変数を順位付けするステップ、（３）最も高い「ｍ」個の順位付けされた変数（ｍは１からｎまで）を一度に取り、重要な変数の現在の組に結合された変数に基づいてニューラルネットのコンセンサスをトレーニングすることによって各変数を評価するステップ、（４）ｍ個の変数のうち最もよい変数（最もよい変数とは最も高い性能を与える変数である）を選択し、それが選択された重要な変数の性能と比較して性能を改善する場合、それを「選択された重要な変数」の組に追加し、それを候補組から除去し、ステップ（３）で処理を継続し、それ以外の場合、ステップ（５）に進むステップ、（５）候補組のすべての変数を評価した場合、プロセスを終了し、それ以外の場合、次の最も高い「ｍ」個の順位付けされた変数を一度に取り、重要な選択された変数の現在の組に結合された変数に基づいてニューラルネットのコンセンサスをトレーニングすることによって各変数を評価し、ステップ（４）を実施するステップを含む。重要な選択された変数の最終組は、複数、一般に三つから五つよりも多い変数を含む。
【００３３】
特定の実施形態では、感度分析は、（ｋ）観測データセット中の各変数ごとに平均観測値を決定するステップ、（ｌ）トレーニング例を選択し、意思決定支援システム中で例を実行して、通常の出力として指定され、記憶される出力値を発生するステップ、（ｍ）選択されたトレーニング例中の第一の変数を選択し、観測値を第一の変数の平均観測値と交換し、意思決定支援システム中で修正された例を順方向モードで実行し、出力を修正された出力として記録するステップ、（ｎ）通常の出力と修正された出力との差を二乗し、それを各変数ごとに合計として累積するステップ（この合計は各変数ごとに選択された変数合計に指定される）、（ｏ）例中の各変数ごとにステップ（ｍ）およびステップ（ｎ）を繰り返すステップ、（ｐ）データセット中の各例ごとにステップ（ｌ）からステップ（ｎ）を繰り返すステップ（選択された変数の各合計は、意思決定支援システム出力の決定に対する各変数の相対的寄与を表す）を含む。この合計は、意思決定支援システム出力の決定に対するその相対的寄与に従って各変数を順位付けするために使用される。
【００３４】
本明細書で示すように、ニューラルネットワークなどコンピュータベースの意思決定支援システムは、最初に重要であると考えられていなかったいくつかの入力ファクタが結果に影響を及ぼしうることを明らかにする。関連する入力ファクタを明らかにするニューラルネットワークのこの能力により、診断テストの設計を案内するのにニューラルネットワークを使用することができる。したがって、診断テストを設計する方法、および診断テストの効用を評価する方法も提供される。各場合において、テストまたは可能なテストからのデータは、意思決定支援システムの入力に加えられる。データが入力中に含まれるときに結果が改善された場合、診断テストは臨床的効用を有する。
【００３５】
今まで特定の障害の診断において重要であることが知られていなかったテストが識別され、または新しいテストが開発できる。ニューラルネットワークは、スプリアスデータ点の影響を減じ、かつ代用されうる他のデータ点があればそれを識別することによって診断テストに耐性を加えることができる。
【００３６】
ネットワークを一組の変数に対してトレーニングし、次いで診断テストデータまたは生化学テストデータからの臨床データおよび／または追加の患者情報を入力データに追加する。ない場合と比較して結果を改善する変数を選択する。したがって、今まで特定の障害を診断する際に重要であることが知られていなかった特定のテストが関連性を有することが分かる。例えば、血清抗体のウェスタンブロット上の特定のスポットの有無を疾病状態に相関させることができる。特定のスポット（すなわち抗原）の同一性に基づいて、新しい診断テストが開発できる。
【００３７】
疾病の診断を助けるために予測技術を適用する方法、より具体的には疾病子宮内膜症の診断を助けるために様々な情報源からの入力とともにニューラルネットワーク技法を使用する方法の一例が提供される。コンピュータシステム中のネットワークのコンセンサスに従って動作するニューラルネットワークのトレーニングされた組を使用して、その一部が一般に疾病状態に関連しない、例えば調査によって得られる特定の臨床的関連を評価する。これは、例示的な疾病状態子宮内膜症の場合に証明され、子宮内膜症の診断を助けるために使用されるファクタが提供される。ニューラルネットワークトレーニングは、本明細書で臨床データと呼ぶ、その疾病状態が外科的に検証されていないかなりの数の臨床患者の医師によって供給される答えと質問との相関に基づいている。
【００３８】
４０個以上の臨床データファクタの集合から抽出される特定のトレーニングされたニューラルネットワーク中の１２個から約１６個の複数のファクタ、具体的には一組の１４個のファクタが子宮内膜症の一次兆候として識別される。次のパラメータの組、すなわち年齢、パリティ（出産回数）、妊娠（妊娠回数）、流産回数、喫煙（箱／日）、過去の子宮内膜症歴、月経困難症、骨盤痛、異常ｐａｐ／形成異常症、骨盤手術歴、薬物治療歴、妊娠高血圧症、生殖器いぼ、糖尿病が重要であると識別された。他の同様のパラメータの組も識別された。これらの変数のサブセットも子宮内膜症を診断する際に使用できる。
【００３９】
次の三つの変数の組合せのうちの一つ（または複数）を含む、選択されたパラメータの組の任意のサブセット、特に１４個の変数の組が子宮内膜症の診断用の意思決定支援システムとともに使用できる。
ａ）出産回数、子宮内膜症歴、骨盤手術歴
ｂ）糖尿病、妊娠高血圧症、喫煙
ｃ）妊娠高血圧症、異常ｐａｐしみ／形成異常症、子宮内膜症歴
ｄ）年齢、喫煙、子宮内膜症歴
ｅ）喫煙、子宮内膜症歴、月経困難症
ｆ）年齢、糖尿病、子宮内膜症歴
ｇ）妊娠高血圧症、出産回数、子宮内膜症歴
ｈ）喫煙、出産回数、子宮内膜症歴
ｉ）妊娠高血圧症、子宮内膜症歴、骨盤手術歴
ｊ）妊娠回数、子宮内膜症歴、骨盤手術歴
ｋ）出産回数、異常ＰＡＰしみ／形成異常症、子宮内膜症歴
ｌ）出産回数、異常ＰＡＰしみ／形成異常症、月経困難症
ｍ）子宮内膜症歴、骨盤手術歴、月経困難症
ｎ）妊娠回数、子宮内膜症歴、月経困難症。
【００４０】
子宮内膜症の診断に変数を使用する診断ソフトウェアおよび例示的なニューラルネットワークも提供される。このソフトウェアは、臨床的に有用な子宮内膜症インデックスを生成する。
【００４１】
他の実施形態では、子宮内膜症のテストに使用される診断ニューラルネットワークシステムの性能は、ネットワークのトレーニングに使用されるファクタ（本明細書では生化学テストデータと呼ぶ。これは分析からのテスト、脈拍や血圧など、生命徴候などのデータを含む）の一部として関連する生化学テストからの生化学テスト結果に基づく変数を含めることによって向上する。それによって得られる例示的なネットワークは、生化学テストの結果および１４個の臨床パラメータを含めて、１５個の入力ファクタを使用する増大ニューラルネットワークである。８個の増大ニューラルネットワークの重みの組は、８個の臨床データニューラルネットワークの重みの組と異なる。例示の生化学テストは、ＥＬＩＳＡ診断テストフォーマットなど、免疫診断テストフォーマットを使用する。
【００４２】
本明細書で例示した子宮内膜症に適用した方法は、例えば、不妊症、特定の期間中の出産の可能性など妊娠関連事象の予測、子癇前症など、婦人科学障害および女性関連障害を含めたがそれだけには限られない、他の障害用のファクタを識別するために同様に適用し、使用できる。したがって、ニューラルネットワークは、疾病状態を予測し、それらを生化学データに結合する際に重要なファクタの識別に基づいて疾病状態を予測するようにトレーニングできる。
【００４３】
得られた診断システムは、状態または障害の存在だけでなく、障害の重さを診断するために、また治療方針を選択する際の補助装置として適しており、使用できる。
【発明を実施するための最良の形態】
【００４４】
定義．
別段の定義がない限り、本明細書で使用するすべての技術用語および科学用語は、一般に本発明がそれに属する技術分野の当業者が理解できるのと同じ意味を有する。本明細書で参照するすべての特許および文献は、参照により本発明の一部となる。
【００４５】
本明細書で使用する「データ収集システム」または「データシステム中の知識発見」とも呼ばれる意思決定支援システムは、入力データを分類するためにデータに基づいてトレーニングされ、次いでトレーニングデータに基づいて後で意思決定を行うために新しい入力データとともに使用できる任意のシステム、一般にコンピュータベースのシステムである。これらのシステムは、エキスパートシステム、ファジー論理、非線形回帰分析、多変量分析、意思決定ツリー分類装置、ベイズの信念ネットワーク、および本明細書で例示するニューラルネットワークを含む。ただし、これらに限定されない。
【００４６】
本明細書で使用する適応機械学習プロセスは、データを使用して、予測解決策を生成する任意のシステムである。そのようなプロセスは、エキスパートシステム、ニューラルネットワーク、およびファジー論理によって実施されるプロセスである。
【００４７】
本明細書で使用するエキスパートシステムは、そのタスクの知識またはその知識を使用するための論理的な規則または手順に基づくコンピュータベースの問題解決および意思決定支援システムである。専門分野の専門家の経験からの知識ならびに論理がコンピュータ中に入力される。
【００４８】
本明細書で使用するニューラルネットワーク、またはニューラルネットは、密に相互接続された適応処理要素から構成される並列計算モデルである。ニューラルネットワークでは、処理要素は、入力層、出力層、および少なくとも一つの隠れた層中に構成される。適切なニューラルネットワークは、当業者に知られている（例えば、米国特許第５２５１６２６号、第５４７３５３７号および第５３３１５５０号、Baxt(1991年)「Use of an Artificial Neural Network for the Diagnosis of Myocardial Infarction」、Annals of Internal Medicine 115:843;Baxt（1992年）「Improving the Accuracy of an Artificial Neural Network Using Multiple Differently Trained Networks」、Neural Computation 4:772;Baxt(1992年)「Analysis of the clinical variables that drive decision in an artificial neural network trained to identify the presence of myocardialinfarction」、Annals of Emergency Medicine 21:1439; Baxt（1994 年 ）「Complexity, chaos and human physiology: the justification for non-linear neural computation analysis」、 Cancer Letters 77:85参照）。
【００４９】
本明細書で使用するパーセプトロンまたは人工ニューロンとも呼ばれる処理要素は、複数の入力からの入力データを伝達関数に従って単一の二進出力中にマップする計算ユニットである。各処理要素は、その入力で受信された信号を掛けられて、重み付けされた入力値を発生する各入力に対応する入力重みを有する。処理要素は、各入力の重み付けされた入力値を合計して、重み付けされた合計を発生し、次いでこれが伝達関数によって定義されたしきい値と比較される。
【００５０】
本明細書で使用するしきい値関数または活性化関数とも呼ばれる伝達関数は、二つの別個のカテゴリを定義する曲線を生成する数学的関数である。伝達関数は、線形であるが、ニューラルネットワーク中で使用されるとき、より一般的には、二次関数、多項式関数、またはＳ字形関数を含めて非線形である。
【００５１】
本明細書で使用する逆方向伝搬は、ターゲット出力と実際の出力との間の誤差を訂正するためのニューラルネットワーク用のトレーニング方法である。誤差信号はニューラルネットワークの処理層中にフィードバックされて、処理要素の重みの変化により実際の出力がターゲット出力により近づく。
【００５２】
本明細書で使用するクイックプロップは、Fahlmanが提案し、開発し、報告した逆方向伝搬方法である（「Fast Learning Variations on Back-Propagation: An Empirical Study」、Proceedings on the 1988 Connectionist Models Summer School, Pittsburgh，1988，D．Touretzky 他編，pp．38-51，Morgan Kaufmann，カリフォルニア州 San Mateo; Lebriereとの共著、「The Cascade-Correlation Learning Architecture」、Advances in Neural Information Processing Systems 2, (Denver, 1989),D．Touretzky 編，pp．524-32．Morgan Kaufmann，カリフォルニア州 San Mateo）。
【００５３】
本明細書で使用する診断は、疾病、障害または他の医療状態の存在、不在、重さまたは治療方法を評価する予測プロセスである。本明細書では、診断はまた、治療から得られた結果を決定する予測プロセスを含む。
【００５４】
本明細書で使用する生化学テストデータは、免疫学的検定法、生物学的検定法、クロマトグラフィ、モニタおよびイメージャからのデータ、測定値を含む（ただしこれらに限定されない）任意の分析方法の結果であり、また、脈拍、体温、血圧、例えば、ＥＫＧ、ＥＣＧ、ＥＥＧ、バイオリズムモニタの結果、および他のそのような情報など、生命徴候および身体機能に関するデータを含む。分析は、例えば、分析物、血清マーカ、抗体、およびサンプル中の患者から得られる他のそのような材料を評価できる。
【００５５】
本明細書で使用する患者病歴データは、質問表などによって、患者から得られたデータであるが、一般に本明細書で使用する生化学テストデータを含まない。ただし、そのようなデータが病歴データである限りは、所望の解決策は、障害の診断を生成できる数または結果を生成する。
【００５６】
本明細書で使用するトレーニング例は、単一の診断用の観測データ、一般に一人の患者に関する観測データを含む。
【００５７】
本明細書で使用する患者病歴データから識別されたパラメータは、本明細書では観測ファクタまたは値または変数と呼ぶ。例えば、患者データは、個々の患者の喫煙習慣に関する情報を含む。それに関連する変数は喫煙である。
【００５８】
本明細書で使用する分割手段は、８０％など、データの一部を選択し、それをニューラルネットをトレーニングするために使用し、残りの部分をテストデータとして使用することを意味する。したがって、ネットワークは、データの一部以外に基づいてトレーニングされる。このプロセスは、その場合繰り返され、第二のネットワークをトレーニングできる。このプロセスは、すべての区分がテストデータおよびトレーニングデータとして使用されるまで繰り返される。
【００５９】
本明細書で使用する使用できるデータを複数のサブセット中に分割することによるトレーニングの方法は、一般にトレーニングの「ホールドアウト方法」と呼ばれる。ホールドアウト方法は、ネットワークトレーニングに使用できるデータが制限されるときに特に有用である。
【００６０】
本明細書で使用するトレーニングは、入力データを使用して、意思決定支援システムを生成するプロセスである。特に、ニューラルネットに関して、トレーニングは、特定の処理要素が、他の処理要素の出力と結合されたときに、ニューラルネットの出力とトレーニングデータ中に提示された所望の出力との間の生じた誤差を最小限に抑える結果を発生する出力を与える処理要素の重みに対する一連のインタラクティブ調整を行う試行錯誤プロセスである。
【００６１】
本明細書で使用する変数選択プロセスは、予測結果をもたらす変数の組合せを任意の使用できる組から選択する系統的方法である。選択は、追加の変数の追加が結果を改善しないようにサブセットの予測性能を最大にすることによって実施される。本明細書において提供される好ましい方法では、可能なすべての組合せを考慮せずに変数が選択できる。
【００６２】
本明細書で使用する候補変数は、意思決定支援システムとともに使用できる財務記録など診断実施形態または他の記録用のテスト患者のグループから収集された観測値から選択された項目である。候補変数は、患者データなどのデータを収集し、観測値を一組の変数として分類することによって得られる。
【００６３】
本明細書で使用する重要な選択された変数は、手元のタスクのネットワーク性能を高める変数である。使用できるすべての変数を含めることは、最適なニューラルネットワークをもたらさない。いくつかの変数がネットワークトレーニング中に含まれるとき、ネットワーク性能は低下する。関連するパラメータのみを使用してトレーニングされるネットワークは、ネットワーク性能の向上をもたらす。これらの変数はまた、本明細書において関連する変数のサブセットとも呼ばれる。
【００６４】
本明細書で使用する順位付けは、変数を選択の順序でリストするプロセスである。順位付けは、任意でよく、または整理されることが好ましい。整理は、例えば、診断などタスクに対して変数を重要度順に順位付けする統計分析によるか、意思決定支援システムベースの分析によって実施される。順位付けはまた、例えば、専門家か、規則ベースのシステムか、またはこれらの方法の任意の組合せによって実施できる。
【００６５】
本明細書で使用するニューラルネットワークのコンセンサスは、各出力の重みが任意に決定されるか、または等しい値に設定される複数のニューラルネットワークからの出力の線形組合せである。
【００６６】
本明細書で使用するグリーディアルゴリズムは、所与のデータセットからの点を含めるか、除くかどうかを決定することによってデータセットを最適化する方法である。このセットは、要素がない状態から始まり、部分解決策があるとすれば、目的を最も改善する他の値が選択される近視最適化によって残りの要素の実現可能なセットから要素を連続的に選択する。
【００６７】
本明細書で使用するジェネティックアルゴリズムは、トレーニングサイクル中に実行され、かつ所望のターゲットに到達する際にそれらの性能に従って順位付けされるランダムに生成されるニューラルネットワークの初期分布から始まる方法である。十分に実行しないネットワークはその分布から除去され、より適切なネットワークは、親ネットワークの所望の特性を保持する子孫へのクロスオーバプロセス用に保持され、選択される。
【００６８】
本明細書で使用するシステムの性能は、結果が特定の結果をより正確に子測または決定したときに改善される、またはより高くなると言われる。また、システムの性能は、一般により多くのトレーニング例を使用したときによりよくなることを理解されたい。したがって、本発明のシステムは、それらが使用されるときに時間ととも向上し、より多くの患者データが蓄積され、次いでトレーニングデータとしてシステムに追加される。
【００６９】
本明細書で使用する感度＝ＴＰ／（ＴＰ＋ＦＮ）、特異性はＴＮ／（ＴＮ＋ＦＰ）である。ただし、ＴＰ＝真の正、ＴＮ＝真の負、ＦＰ＝偽の正、ＦＮ＝偽の負である。臨床感度は、テストが疾病を有する患者をどのくらいよく検出するかを測定する。臨床特異性は、テストが疾病を有しない患者をどのくらいよく正確に識別するかを測定する。
【００７０】
本明細書で使用する正予測値（ＰＰＶ）はＴＰ／（ＴＰ＋ＦＰ）である。負予測値（ＮＰＶ）はＴＮ／（ＴＮ＋ＦＮ）である。正予測値は、正テストを有する患者が実際に疾病を有する可能性である。負予測値は、負テスト結果を有する患者が疾病を有しない可能性である。
【００７１】
本明細書で使用するファジー論理は、正確に記述できないシステムを処理する手法である。メンバシップ関数（データセット中のメンバシップ）はファジー諭理システム中では二進ではない。代わりにメンバシップ関数は分数値をとる。したがって、要素は、セットのメンバシップの係数が異なる場合にもかかわらず、矛盾する二つのセット中に同時に含まれうる。したがって、このタイプの手法は、ｙｅｓまたは答えがない質問に答えるために有用である。したがって、このタイプの論理は、答えがしばしば一つの程度である患者病歴質問票からの返答を分類するのに適している。
【００７２】
１．一般的考察および一般的方法．
患者病歴および／または生化学情報など観測値を分析するニューラルネットワークをトレーニングするためにいくつかの技法が使用できることが決定されている。使用できるデータおよび分析すべき問題の特性に応じて、様々なニューラルネットワークトレーニング技法が使用できる。例えば、大量のトレーニング入力が使用できる場合、冗長トレーニング情報をなくす方法が採用される。
【００７３】
本明細書に示すように、ニューラルネットワークはまた、最初に重要であると考えられていなかったいくつかの入力ファクタが結果に影響を及ぼすことを明らかにし、かつ多分重要なファクタが結果決定因ではないことを明らかにする。関連する入力ファクタおよび関連しない入カファクタを明らかにするニューラルネットワークの能力は、診断テストの設計を案内する際にニューラルネットワークを使用することを可能にする。本明細書に示すように、ニューラルネットワーク、および他のそのようなデータ収集ツールは、診断における貴重な進歩であり、診断テストの感度および特異性を高める機会を与える。本明細書に示すように、極小値の現象のために不十分な確度の答えの可能性を回避するよう注意しなければならない。本発明の方法は、この問題を回避するか、または少なくともそれを最小限に抑える手段を提供する。
【００７４】
開発診断手順、特に患者情報にのみまたは一部に基づく診断テストを開発する場合、いくつかの問題が解決される。例えば、一般に、トレーニングデータが使用できる限られた数の患者が存在するので限られた量のデータが存在する。これを解決するために、以下で説明するように、患者情報は、ネットワークをトレーニングするときに分割される。また、一般に、使用できるデータに関連して使用するために使用できる多数の入力観測ファクタが存在し、したがって観測値を順位付けし、選択する方法が開発された。
【００７５】
また、一般に、使用できる患者データ中に多数の二進（真／偽）入力ファクタが存在するが、これらのファクタは、一般に性質がまばら（使用できる患者データ中の二進入力ファクタの一部の場合においてのみ正または負である値）である。また、診断中の正のファクタと負のファクタとの間に高度のオーバラップが存在する。
【００７６】
上記その他の特性は、診断テストを開発するために使用される手順および方法の選択に影響を及ぼす。これらの問題は、本発明において処理され、解決される。
【００７７】
２．患者病歴診断テストの開発．
診断テスト．
患者病歴データのみに基づく診断の方法が提供される。本明細書で証明するように、患者病歴情報のみに依存するが、診断を助ける意思決定支援システムを提供することができる。したがって、得られたシステムは、生化学テストデータの予測能力を改善すること、新しい疾病マーカを識別すること、生化学テストを開発すること、今まで特定の障害を予測すると考えられていなかったテストを識別するために使用できる。
【００７８】
これらの方法はまた、選択された治療方法の結果を予測することによって適切な治療方法を選択し、療法後の状態を予測するために使用できる。トレーニング用の入力変数は、例えば、選択された治療および結果を含めて、診断および他の使用できるデータを示す電子的患者記録から得られる。得られた意思決定支援システムは、その場合、例えば、異なる治療に応答し、かつ特定の治療の結果を予測する異なるクラスに女性を分類するために使用できるすべてのデータとともに使用される。これにより、治療またはプロトコルの選択が成功する確率を最も高くすることができる。
【００７９】
同様に、これらのシステムは、薬品または療法の新しい効用を識別するために使用でき、また特定の薬品および療法の用途を識別するために使用できる。例えば、これらのシステムは、特定の薬品または療法が有効である患者の副次集団を選択するために使用できる。したがって、薬品または療法の支持を拡大する方法および新しい薬品および療法を識別する方法が提供される。
【００８０】
患者データの収集、変数の生成、および概要．
本発明の方法を例示するために、図１に、患者病歴ベースの診断テスト方法を開発する流れ図を示す。このプロセスは、患者病歴データの収集から始まる（ステップＡ）。患者病歴データまたは観測値は、患者質問票、臨床結果、場合によっては診断テスト結果、患者医療記録から得られ、コンピュータ読取り可能な形でコンピュータ上で動作するシステムに供給される。デジタルコンピュータでは、患者病歴データは、（真／偽など）二進値と定量（連続的な）値の二つの形態の一組の変数に分類される。二進値変数は、「たばこを吸いますか」という質問に対する答えを含むこともある。定量値変数は、「一日に何箱たばこを吸いますか」という質問に対する答えであることもある。メンバシップ関数など他の値も入力手段として有用である。
【００８１】
患者病歴データはまた、診断すべき医療状態の存在、不在、または重さを示すと考えられるターゲットまたは所望の結果変数を含む。この所望の結果情報は、ニューラルネットワークトレーニング用に有用である。トレーニングデータ中に含めるべきデータの選択は、診断すべき医療状態の存在、重さまたは不在の知識または仮定を使用して行われる。本明細書に示すように、診断はまた、進行の評価および／または療法治療の有効性を含む。
【００８２】
定義でき、したがって生成できる変数の数は扱いにくい。二進変数は、一般に、正（または負の）応答の数がしばしば応答の全体的な数の一部であるのでまばらである。したがって、代表的なトレーニングデータ環境中で使用できる多数の変数および少数の患者が存在する場合、診断にとって重要な変数のサブセットを使用できる変数から分離するステップがとられる（ステップＢ）。使用できる変数の中からの変数のサブセットの特定の選択は、ニューラルネットワークの診断性能に影響を及ぼす。
【００８３】
本明細書で概説した方法は、一般に医師などトレーニングされた専門家によって選択された変数のサブセットと比較して感度および信頼性が同等であるか、または優れている変数のサブセットをつくり出すことが分かっている。いくつかの例では、変数は、順位または関連性の順に優先権が与えられるか、または配置される。
【００８４】
その後、診断手順で使用すべき最後のニューラルネットワークをトレーニングする（ステップＣ）。好ましい実施形態では、ネットワークのコンセンサス（すなわち複数のネットワーク）をトレーニングする。得られたネットワークは、完成した患者病歴診断テスト（ステップＤ）用の意思決定支援機能を形成する。
【００８５】
重要な変数を分離する方法．
重要な変数を分離する方法が本発明において提供される。この方法によれば、変数の可能なすべての組合せを比較することによって有効な変数の組を選択することができる。重要な変数は、意思決定支援システム用の入力として使用される。
【００８６】
重要な変数または関連する変数の分離−変数の順位付け．
図３に、診断テスト中の重要な変数または関連する変数を分離する方法の流れ図を示す（ステップＥ）。そのような方法は、一般に、潜在的に関連する情報が与えられているデジタルコンピュータシステムを使用して実施される。この手順では、独立した二つの方法を使用して変数を重要度の順に順位付けし、次いで順位の最上部から使用できる変数のサブセットを選択する。上記のように、当業者は、カイ二乗または感度分析の代わりに他の順位付け方法を使用することができる。また、ｘをＮ（候補変数の総数）まで設定した場合、順位付けは任意である。
【００８７】
このシステムは、以下で説明するように、使用できるデータに基づいて複数のニューラルネットワークをトレーニングし（ステップＩ）、次いですべてのトレーニングされたネットワーク上で感度分析を生成して、各入力変数が診断を実施するためにネットワーク中でどの程度まで使用されたかを決定する（ステップＪ）。各入力変数のコンセンサス感度分析は、各トレーニングされたネットワークごとに個々の感度分析結果を平均化することによって決定される。感度に基づいて、患者病歴情報から得られた各変数ごとの順位を決定する（ステップＫ）。
【００８８】
変数の順位付け．
好ましい実施形態では、変数は、カイ二乗分析など統計分析および／または感度分析など意思決定支援システムベースの分析を使用して順位付けされる。例示の実施形態では、感度分析およびカイ二乗分析を使用して、変数を順位付けする。限定しないが、回帰分析、判別分析、および当業者に知られている他の方法を含めて、他の統計方法および／または意思決定支援システムベースの方法も使用できる。順位付けされた変数は、ネットワークをトレーニングするために使用でき、また本発明において与えられる変数選択の方法中で使用できることが好ましい。
【００８９】
この方法では、各入力を変更し、出力の対応する変化を測定する感度分析を使用する（また Modai 他（1993 年 ）「Clinical Decisions for Psychiatric Inpatients and Their Evaluation by Trained Neural Networks」、Methods of Information in Medicine 32:396-99; Wilding 他（1994 年 ）「Application of Backpropogation Neural Networks to Diagnosis of Breast and Ovarian Cancer」、Cancer Letters 77:145-53; Ruck 他（1990年）「Feature Selection in Feed-Forward Neural Networks」Neural Network Co puting 20:40-48; Utans 他（1993 年 ）「Selecting Neural Network Architectures Via the Prediction Risk: Application to Corporate Bond Rating Prediction」、Proceedings of the First International Conference on Artificial Intelligence Applications on Wall Street. Washington, D.C.，IEEE Computer Society Press．pp．35-41;Penny他（1996 年 ）「Neural Networks in Clinical Medicine」、Medical Decision-support 4:386-398参照）。そのような方法は、今まで本明細書で説明するように、重要な変数を選択するために使用されていなかった。例えば、感度分析を使用して、重要な変数を選択するためにではなく、変数間の関係を決定する統計手法を開発することが報告されている（Baxt 他 （1995年 ）「Bootstrapping Confidence Intervals for Clinical Input Variable Effects in a Network Trained to Identify the Presence of Myocardial Infarction」、Neural Computation7:624-38参照）。そのような感度分析は、本明細書で説明するように診断の補助手段として重要な変数の選択の一部として使用できる。
【００９０】
図３のステップＫに感度分析の概要を示す。各ネットワークまたは複数のトレーニングされたニューラルネットワーク（ネットワークＮ1からＮn）は、各トレーニング例Ｓx（出力が知られているか、または推測される入力データグループ。少なくとも二つのトレーニング例が存在しなければならない）ごとに順方向モードで実行される。ただし、「ｘ」はトレーニング例の数である。各トレーニング例Ｓxの各ネットワークＮ1〜Ｎnの出力は、記録される、すなわちメモリ中に記憶される。すべてのトレーニング例中の各入力変数の平均値を含む新しいトレーニング例が定義される。一度に一つ、各元の各トレーニング例Ｓx値の各入力変数がその対応する平均値Ｖ1(avg)からＶy(avg)と交換される。ただし、「ｙ」は変数の数である。
【００９１】
修正されたトレーニング例Ｓx’は、複数のネットワーク中で再び実行され、各変数の各ネットワークごとに修正された出力を発生する。元のトレーニング例Ｓxからの出力と各入力変数の修正された出力との間の差は、各入力変数に対応する個々の合計を得るために二乗され、合計される（累計される）。説明するために、例えば、それぞれ１５個の変数Ｖ1〜Ｖ15を有する別々の１０個のニューラルネットワークＮ1〜Ｎ10および異なる５個のトレーニング例Ｓ1〜Ｓ5の場合、５個のトレーニング例の各トレーニング例は、１０個のネットワークを介して実行され、合計５０個の出力を発生する。各トレーニング例から変数Ｖ1をとり、平均値Ｖ1(avg)を計算する。この平均化された値Ｖ1(avg)は、５個のトレーニング例の各トレーニング例中に代用され、修正されたトレーニング例Ｓ1’〜Ｓ5’を生成し、それらは、再び１０個のネットワーク中で実行される。５０個の修正された出力値がネットワークＮ1〜Ｎ10および５個のトレーニング例によって生成される。修正は、平均値変数Ｖ1(avg)を使用した結果である。５０個の元の出力値および修正された出力値それぞれの間の差を計算する、すなわちネットワークＮ6中のトレーニングＳ4からの元の出力ＯＵＴ（Ｓ4Ｎ6）を、ネットワークＮ6中のトレーニング例Ｓ4からの修正された出力ＯＵＴ（Ｓ4’Ｎ6）から引く。この差値を二乗する［ＯＵＴ（Ｓ4’Ｎ6）−ＯＵＴ（Ｓ4Ｎ6）］2 V1。この値を、変数Ｖ1がその平均値Ｖ1(avg)と代用された反復に対してネットワークとトレーニング例のすべての組合せについて二乗された差値と合計する。すなわち次式が得られる。
【００９２】
【数１】
【００９３】
次に、このプロセスを変数＃２について繰り返し、ネットワークとトレーニング例の各組合せごとに元の出力と修正された出力との間の差を求め、二乗し、次いで差を合計する。このプロセスを、１５個のすべての変数が終了するまで各変数ごとに繰り返す。
【００９４】
次いで、すべての変数が単一の生じた出力に等しく寄与した場合に正規化された値が１．０になるように生じた各合計を正規化する。前の例の後、各変数ごとに合計二乗差を合計して、すべての変数について全合計二乗差を得る。各変数の値を全合計二乗差で割り、各変数からの寄与を正規化する。この情報から、各変数の正規化された値を重要度の順に順位付けすることができる。より高い相対的な数は、対応する変数が出力により大きい影響を及ぼすことを示す。入力変数の感度分析を使用して、どの変数がネットワーク出力を発生するに最大の役目を果たしたかを示す。
【００９５】
本発明では、コンセンサスネットワークを使用して、感度分析を実施することは変数選択プロセスを改善することが分かっている。例えば、二つの変数が高度に相関する場合、データに基づいてトレーニングされた単一のニューラルネットワークがその二つの変数の一方のみを使用して、診断をつくり出すこともある。変数が高度に相関する場合、両方の変数を含めることによって得られるものはほとんどなく、どちらの変数を含めるべきかの選択は、トレーニング中のネットワークの初期開始条件に依存する。単一のネットワークを使用する感度分析は、一方のみ、または他方のみが重要であることを示すこともある。それぞれ異なる初期条件を使用してトレーニングされる複数のネットワークのコンセンサスから得られる感度分析は、高度に相関した両方の変数が重要であることを明らかにすることがある。感度分析を一組のニューラルネットワークにわたって平均化することによって、初期条件の影響を最小限に抑えるコンセンサスが形成される。
【００９６】
カイ二乗分割表．
まばらな二進データを処理する場合、所与の変数に対する正の応答は、診断中の条件に高度に相関することもあるが、トレーニングデータ中で発生することはごくまれであるので、ニューラルネットワーク感度分析によって示される変数の重要度が非常に低くなることもある。これらの発生を捕らえるために、カイ二乗分割表が二次順位付けプロセスとして使用される。テーブルの各セルが二つの変数の組合せに対して観測された周波数である二進変数に対する２×２分割表カイ二乗テストを実施する（図３、ステップＦ）。（経験的に決定されることもある）最適なしきい値を使用して、連続的な変数に対して２×２分割表カイ二乗テストを実施する（ステップＧ）。カイ二乗分析に基づいた二進変数および連続的な変数を順位付けする（ステップＨ）。
【００９７】
二進変数に対して動作する標準のカイ二乗２×２分割表（ステップＦ）を使用して、特定の二進入力変数と（トレーニングデータを既知の単一出力結果と比較することによって決定された）所望の出力との間の関係の重要度を決定する。小さいカイ二乗値を有する変数は、一般に所望の出力に関連しない。
【００９８】
連続的な値を有する変数の場合、連続的な変数をしきい値と比較することによって２×２分割表を構成できる（ステップＧ）。しきい値は、経験的に修正され、できる限り大きいカイ二乗値をもたらす。
【００９９】
次いで、連続的な変数のカイ二乗値と二進変数のカイ二乗値とを共通の順位付けのために結合できる（ステップＨ）。次いで、カイ二乗順位付けされた変数を感度分析順位付けされた変数と結合する第二のレベルの順位付けを実施できる（ステップＬ）。順位付けのこの結合により、出力に大きく関連し、かつまばらな変数（すなわち、ごく一部の場合正または負である値）を重要な変数の組の中に含めることができる。さもなければ、そのような非線形システム中の重要な情報が容易に見落とされる可能性がある。
【０１００】
順位付けされた変数の中からの重要な変数の選択．
上記のように、重要な変数は、識別された変数の中から選択される。選択は、第二のレベルの順位付けプロセスが呼び出されたときに変数を順位付けした後で実施されることが好ましい。意思決定支援システム中で使用される重要な変数（パラメータ）またはその組を識別する方法も提供される。この方法は、本明細書では医療診断を例に挙げて説明するが、重要なパラメータまたは変数を複数の中から選択する統計ベースの予測を行う財務分析や他の試みなど任意の分野において広く応用できる。
【０１０１】
特に、変数の有効な組合せを選択する方法が提供される。一組の「ｎ」個の候補変数および最初空である一組の「選択された重要な変数」を与えるステップ（１）、および上述のように、カイ二乗および感度分析に基づいてすべての候補変数を順位付けするステップ（２）の後、この方法は、一度に最大「ｍ」個（ｍは１からｎまで）の順位付けされた変数をとり、重要な変数の現在の組と結合された変数に基づいてニューラルネットのコンセンサスをトレーニングすることによって各変数を評価するステップ（３）、ｍ個の変数のうち最もよい変数を選択し（最もよい変数とは性能を最も改善する変数である）、それが性能を改善する場合、それを「選択された重要な変数」セットに追加し、それを候補セットから除去し、ステップ（３）での処理を継続し、それ以外の場合、ステップ（５）に進むことによって継続するステップ（４）、候補セット上のすべての変数が評価されていれば、プロセスが終了し、それ以外の場合、一度に次に最も大きい「ｍ」個の順位付けされた変数をとり、重要な選択された変数の現在の組と結合された変数に基づいてニューラルネットのコンセンサスをトレーニングし、ステップ（４）を実施することによって各変数を評価するステップ（５）を含む。
【０１０２】
特に、第二のレベルの順位付けプロセス（ステップＬ）は、感度分析（ステップＫ）からの最も高い順位付けされた変数を重要な変数の組に追加すること（ステップＨ）によって開始する。あるいは、第二のレベルの順位付けプロセスは、空の組から開始し、次いで順位付けの二つの組の各組から上部のいくつか（ｘ個）の変数をテストすることによって開始する。この第二のレベルの順位付けプロセスでは、使用できるデータからの変数の現在選択されている区分またはサブセットに対してネットワークトレーニング手順（ステップＩ）を使用して、一組のニユーラルネットワークをトレーニングする。順位付けプロセスは、「重要な」変数の現在の組（一般に最初空である）ならびに順位付け中または順位付けのためにテスト中の現在の変数を使用し、またグリーディアルゴリズムを使用して、前に識別された重要な変数に基づいて入力組を近視的に最適化することによって入力変数の組を最適化して、出力を最も改善する残りの変数を識別するするネットワークトレーニング手順である。
【０１０３】
このトレーニングプロセスを図４に示す。ニューラルネットワークによって使用される入力の数は、所望の出力、すなわちトレーニングデータの既知のターゲット出力に大きく貢献しないことが分かる入力を排除することによって制御される。米国カリフォルニア州 La Jolla Logical Designs Consulting 社の WindowsTM用の ThinksProTMニューラルネットワーク（またはTrainDosTMＤＯＳバージョン）や、当業者が開発できるそのような他のプログラムなど、業務用コンピュータプログラムは、入力を変更し、ネットワークをトレーニングするために使用できる。
【０１０４】
米国オレゴン州ビーバートンの California Scientific Software 社、Nevada Adaptive Solutionsから販売されているBrainmakertm、米国ペンシルバニア州ピッツバーグのNeuralWare 社から販売されている Neural Network Utility/2tm、および米国メリーランド州のフレデリックの Ward Systems Group 社から販売されている NeuroShelltmおよびNeuroWindowstmを含めて、いくつかの他の市販のニューラルネットワークコンピュータプログラムを使用して、上記の動作のいずれかを実施できる。変数選択およびネットワーク最適化の機能を提供する他のタイプのデータ収集ツール、すなわち意思決定支援システムも設計でき、また他の市販のシステムも使用できる。例えば、米国ワシントン州レドモンドの BioComp Systems 社から販売されている Neuro Genetic OptimizerTM、およびシンガポール共和国の New Wave Intelligent Business Systems（ＮＩＢ５）社から販売されている Neuro Forecaster/GENETICAは、自然選択に基づいてモデル化された遺伝アルゴリズムを使用して、ネットワーク分布中の十分に実行しないノードをなくし、かつ最適化されたネットワークを「成長」させるために最もよく実行する速度を子孫ノードに送り、かつ結果に大きく貢献しない入力変数をなくす。遺伝アルゴリズムに基づくネットワークは、変異を使用して、極小値中での捕獲を回避し、またクロスオーバプロセスを使用して、新しい構造を分布中に導入する。
【０１０５】
データ中の知識発見（ＫＤＤ）は、変数中に存在する重要な関係を識別するために設計された他のデータ収集ツール、意思決定支援システムであり、多数の可能な関係が存在する場合に有用である。米国マサチューセッツ州べッドフォードのThinking Machines 社から販売されている Darwintm、米国カリフォルニア州マウンテンビューの Silicon Graphics 社から販売されている Minesettm、米国カリフォルニア州サンフランシスコの Ultragem Data Mining 社のEikoplextmを含めて、いくつかのＫＤＤシステムが販売されている。（Eikoplextmは心臓病の存在の確率を決定する分類規則を与えるために使用されている）。他のシステムも当業者によって開発されうる。
【０１０６】
順位付け手順を継続して、例えば、ｘを２に設定した場合、二つの順位付け組の各組からの上部の二つの変数をプロセスによってテストし（図３、ステップＬ、Ｓ）、テスト結果が改善を示すかどうかを確かめるために結果を検査する（ステップＴ）。改善が存在する場合、単一の最も性能のよい変数を「重要な」変数の組に追加し、次いでその変数を他のテスト（ステップＳ）のために二つの順位から除去する（図３、ステップＵ）。改善が存在しない場合、改善が見つかるまで、または二つの組からのすべての変数がテストされるまで各組からの次のｘ個の変数についてプロセスを繰り返す。このプロセスは、ソースセットが空である、すなわちすべての関連する変数または重要な変数が最後のネットワーク中に含まれるまで、またはテストすべき組の中の残りのすべての変数が重要な変数の現在のリストの性能以下であることが分かるまで繰り返される。この除去プロセスは、重要な変数の組を決定するためにテストしなければならない使用できる変数のサブセットの数を大いに減らす。最悪の場合でも、１０個の使用できる変数では、プロセスは、ｘ＝２の場合３４個のサブセットのみ、ｘ＝１の場合１０２４個の可能な組合せの１９個のサブセットのみをテストする。したがって、１００個の使用できる変数が存在する場合、３９４個のサブセットのみがｘ＝２の場合テストされる。したがって、最もよいテスト性能を有するネットワークからの変数を使用のために識別する（図３、ステップＶ）。
【０１０７】
次いで、診断を実施するようにネットワークの最後の組をトレーニングする（図４、ステップＭ、Ｎ、Ｑ、Ｒ）。一般に、いくつかの最後のニューラルネットワークが診断を実施するようにトレーニングされる。ニューラルネットワークのこの組は、エンドユーザに供給できる製品の基礎となりうる。異なる初期条件（初期重み）が所与のネットワークに対して異なる出力を発生しうるので、コンセンサスを求めることが有用である。（異なる初期重みは、誤差が極小値中に捕獲されるのを回避するために使用される）。コンセンサスは、トレーニングされたネットワークの各ネットワークの出力を平均化することによって形成され、これは次いで診断テストの単一出力になる。
【０１０８】
ネットワークのコンセンサスをトレーニングする．
図４に、ニューラルネットワークのコンセンサスをトレーニングする手順を示す。まず、現在のトレーニングサイクルが最後のトレーニングステップであるかどうかを決定する（ステップＭ）。ｙｅｓの場合、すべての使用できるデータをトレーニングデータセット中に入れる（すなわちＰ＝１）（ステップＮ）。ｎｏの場合、使用できるデータをＰ個の等しいサイズの区分に分割し、データを各区分ごとにランダムに選択する（ステップＯ）。例示の実施形態では、例えば、５個の区分、例えば、Ｐ1〜Ｐ5を使用できるトレーニングデータのフルセットから生成する。次いで、二つの構成に取りかかる（ステップＰ）。まず、一つまたは複数の区分をテストファイルにコピーし、残りの区分をトレーニングファイルにコピーする。５個の区分の例示の実施形態を継続し、全データセットの２０％を表す区分のーつ、例えば、Ｐ1をテストフアイルにコピーする。残りの４個のファイルＰ2〜Ｐ4をトレーニングデータとして識別する。トレーニング区分を使用して、Ｎ個のニューラルネットワークのグループをトレーニングする。各ネツトワークは異なる開始重みを有する（ステップＱ）。したがって、例示の実施形態では、２０個の異なる乱数種を使用してランダムに選択された開始重みを有する２０個のネットワーク（Ｎ＝２０）が存在する。２０個のネットワークの各ネットワークごとにトレーニングを完了した後、２０個のすべてのネットワークの出力値を平均化して、トレーニングされたネットワークのテストデータの平均性能を与える。次いで、トレーニングされたネットワークを介してテストファイル（区分Ｐ1）中のデータを実行して、トレーニングされたネットワークの性能の推定値を与える。この性能は、一般に予測の二乗平均誤差または誤分類率として決定される。各ネットワークの個々の性能推定値を平均化することによって最終性能推定値を生成し、完成したコンセンサスネットワークをつくり出す（ステップＲ）。使用できるデータを複数のサブセットに分割することによるトレーニングのこの方法は、一般にトレーニングの「ホールドアウト方法」と呼ばれる。ホールドアウト方法は、ネットワークトレーニングに使用できるデータが制限されるときに特に有用である。
【０１０９】
テストセット性能は、テストセット性能を最大にするネットワークパラメータを識別する様々な実験を実施することによって経験的に最大化できる。実験のこの組中で修正できるパラメータは、１）隠れた処理要素の数、２）入力に加えられる雑音の量、３）誤差許容度の量、４）学習アルゴリズムの選択、５）重み減衰の量、６）変数の数を含む。可能なすべての組合せの完全な探索は、一般に、必要とされる処理時間の量のために実際的でない。したがって、テストネットワークは、ＴｈｉｎｋｓＰｒｏTMやユーザが開発したプログラムなど、コンピュータプログラムを介して経験的に選択されるトレーニングパラメータを使用してトレーニングされるか、または注目する分野で働いている他者によって生成された既存のテスト結果の結果からトレーニングされる。「最もよい」構成が決定された後、ネットワークの最終組を完成したデータセットに基づいてトレーニングできる。
【０１１０】
３．生化学診断テストの開発．
変数を分離する同様の技法を使用して、生化学診断テストを構築または検証することができ、また生化学診断テストデータを患者病歴診断テストと組み合わせて、医療診断の信頼性を高めることができる。
【０１１１】
選択された生化学テストは、患者および／または患者の症状に関連して有用な診断情報がそこから得られる任意のテストを含む。このテストは、機器ベースであるか、または非機器ベースであり、また生物学試料、患者兆候、患者状態、および／またはこれらのファクタの変化の分析を含む。いくつかの分析方法のいずれも使用でき、免疫学的検定法、生物学的検定法、クロマトグラフィ、モニタおよびイメージャを含む。ただし、これらに限定されない。この分析は、分析物、血清マーカ、抗体、およびサンプル中の患者から得られるものなどを評価できる。さらに、患者に関する情報がテストに関連して供給できる。そのような情報は、年齢、体重、血圧、遺伝的履歴、および他のそのようなパラメータまたは変数を含む。ただし、これらに限定されない。
【０１１２】
この実施形態において開発された例示の生化学テストは、Ｅｎｚｙｍｅ Ｌｉｎｋｅｄ Ｉｍｍｕｎｏｓｏｒｂｅｎｔ ＡｓｓａｙまたはＥＬＩＳＡテストなど、標準化されたテストフォーマットを使用するが、本明細書で与えられる情報は、他の生化学テストまたは診断テストの開発に適用でき、ＥＬＩＳＡテストの開発に限定されない（例えばＥＬＩＳＡテストの説明については、Atassi他編、「Molecular Immunology: A Textbook」、Marcel Dekker Inc.，New York and Basel 1984参照）。ＥＬＩＳＡテストの開発にとって重要な情報は、抗体プロファイルを特徴付け、かつ抗体の特性を抽出するために蛋白質に対する抗体の反応度を決定するテストフォーマットであるウェスタンブロットテスト中に得られる。
【０１１３】
ウェスタンブロットは、例えば、混合物中の特定の抗原をポリアクリルアミドゲル上で分離させ、ニトロセルロース上ににじませ、ラベル付けされた抗体をプローブとして検出することによって、これらの抗原を識別するために使用される技法である。（例えばウェスタンブロットについては、Stitesおよび Terr編、「Basic and Clinical Immunology」、Seventh Edition、Appleton and Large 1991を参照）。しかしながら、ウェスタンブロットテストを診断ツールとして使用することは時々望ましくない。代わりに、診断に関連する情報を含む分子量の範囲を事前に識別し、次いでこの情報を同等のＥＬＩＳＡテスト中に「コード化」できる。
【０１１４】
この例では、有効な生化学診断テストの開発は、疾病症状が既知であるか、または推測される患者のウェスタンブロットデータの使用可能度に依存する。図５を参照すると、ウェスタンブロットデータをソースとして使用し（ステップＷ）、ウェスタンブロットデータを処理する場合の第一のステップは、ニューラルネットワークによって使用されるウェスタンブロットデータを事前処理することである（ステップＸ）。画像は、コンピュータを使用して、スプライン補間および画像正規化を実施することによってデジタル化され、固定の寸法のトレーニング記録に変換される。多数のウェスタンブロットテストからのデータを使用するために画像中の情報のみに基づいて画像を所与のゲル上で整合する必要がある。ニューラルネットワークの各入力は、特定の分子量または分子量の範囲を正確に表す必要がある。通常、生成される各ゲルは、較正用に標準画像を含む。含まれる蛋白質は、既知の分子量のものであり、したがって標準画像はまた、同じウェスタンブロット中に含まれる画像の整合に使用できる。例えば、標準曲線を使用して、同じウェスタンブロット上の他の画像の分子量範囲を推定し、それによりニトロセルロースストリップを整合することができる。
【０１１５】
画像を整合する方法は立方スプライン補間である。これは、標準によって表されたデータ点で滑らかな遷移を保証する方法である。外挿による起こりうる性能問題を回避するために、外挿が線形になるように終端条件を設定する。コンピュータの整合ステップは、ウェスタンブロットの出力上の所与のバンドに対して分子量の推定値の変動を最小限に抑える。
【０１１６】
次いで、最も暗いバンドが１．０の倍率変更された密度を有し、かつ最も明るいバンドが０．０に倍率変更されるように密度を倍率変更することによって画像の密度を正規化するために得られた走査画像を処理する。次いで、この画像を処理して、以下で説明するように最初にトレーニングされなければならないニューラルネットワークへの入力になる数の固定の長さのベクトルにする。
【０１１７】
トレーニング例は、ウェスタンブロットデータの処理から生成された結果をトレーニングする上述のプロセスと同じプロセスで作成される（ステップＹ）。開始重みに対する依存度、相互依存変数中の冗長度、ネットワークを過剰トレーニングすることから生じる減感の認識された問題を最小限に抑えるために、前に論じた分割方法によるデータに基づいて一組のニューラルネットワーク（コンセンサス）をトレーニングすることが有用である。
【０１１８】
処理されたウェスタンブロットデータに対するトレーニング実行の感度分析から、大いに寄与する分子量（ＭＷ）の領域を決定し、識別できる（ステップＡＡ）。分離ステップの一部として、入力と所望の出力との間の相関の符号が同じである限り、隣接する領域中の入力を「ビン」中に結合することが好ましい。このプロセスは、ウェスタンブロットによってつくり出された代表的な１００プラス入力、および他の入力を、約２０個未満の入力のはるかにより操作可能な数まで減らす。
【０１１９】
特定の実施形態では、分子量の複数の範囲は、診断中の条件を示す所望の出力に相関することが分かる。相関は、正または負である。減少した入力表示は、ウェスタンブロットトレーニング中に発見されたピークの各ピークを中心としたガウス領域を使用して生成される。標準偏差は、ガウスの値が領域の縁部で０．５以下であるように決定される。
【０１２０】
特定の実施形態では、ニューラルネットワーク入力を生成する基本操作は、計算のために分子量のログを使用して、ガウス画像とウェスタンブロット画像との間で畳み込みを実施することである。
【０１２１】
データは、上述のように、ホールドアウト方法を使用してテストできる。例えば、５個の区分を使用し、各区分中、データの８０％をトレーニング用に使用し、データの２０％をテスト用に使用することもある。データは、各区分が各ゲルからの例を有する可能性があるようにシャッフルされる。
【０１２２】
診断にとって重要な分子量領域を識別した後（ステップＡＡ）、分子量の選択された一つまたは複数の領域の一つまたは複数のテストを構築する（ステップＡＢ）。ＥＬＩＳＡ生化学テストは一例である。診断にとって重要であると識別された分子量の選択された一つまたは複数の領域は、その場合、物理的に識別され、ＥＬＩＳＡ生化学テストの構成要素として使用される。同じ相関符号の領域は単一のＥＬＩＳＡテスト中に結合されても結合されなくてもよいが、異なる相関符号の領域は、単一のテスト中に結合されてはならない。そのような生化学テストの値は、その場合、生化学テスト結果を既知のまたは推測される医療状態と比較することによって決定される。
【０１２３】
この例では、生化学診断テストの開発は、図２に示されるプロセス中で患者データと生化学データを結合することによって向上する。これらの条件下では、患者病歴診断テストは生化学診断テストの基礎である。本明細書で説明するように、重要な変数として識別された変数は、診断にとって重要な分子量領域を識別するために使用すべき一組のニューラルネットワークをトレーニングするためにウェスタンブロットデータから得られたデータと結合される。
【０１２４】
図２を参照すると、ウェスタンブロットデータをソースとして使用し（ステップＷ）、上述のようにニューラルネットワークが使用するために事前処理する（ステップＸ）。患者病歴データからの重要な変数およびウェスタンブロットデータの処理から生成された結果を結合し、結合されたデータを使用してトレーニングする（ステップＹ）上述のプロセスと同様のプロセス中でトレーニング例を作成する。並行して、ネットワークを上述のように患者病歴データに基づいてトレーニングする（ステップＺ）。
【０１２５】
開始重み、相互依存変数間の冗長度、およびネットワークを過剰トレーニングすることによって生じる減感に対する依存度の認識された問題を最小限に抑えるために、分割方法によってデータに基づいて一組のニューラルネットワーク（コンセンサスセット）をトレーニングすることが好ましいことが分かった。
【０１２６】
患者病歴データのみに基づくトレーニング実行の感度分析から、上述のように、大きく寄与する分子量の領域を決定し、識別できる（ステップＡＡ）。分離プロセス中の他のステップとして、その後、ウェスタンブロットデータ用の重要なビンを分離するために結合された患者病歴およびビン情報を入力として使用して、一組のネットワークをトレーニングする。「重要なビン」は、患者病歴情報の寄与を考慮する診断に関連する分子量の重要な領域を表す。これらのビンは、診断の所望の出力と正または負に相関する。
【０１２７】
診断にとって重要な分子量領域を識別した後（ステップＡＡ）、選択された領域または複数の領域用の一つまたは複数のテストを作成し、上述のように確認する（ステップＡＢ）。次いで、設計されたＥＬＩＳＡテストを生成し、使用して、データベース中の各患者ごとにＥＬＩＳＡデータを生成する（ステップＡＣ）。ＥＬＩＳＡデータおよび重要な患者病歴データを入力として使用して、上述の分割手法を使用して一組のネットワークをトレーニングする（ステップＡＥ）。分割手法を使用すれば、生化学テストの下限の推定値が得られる。一組のネットワーク、すなわち供給できる製品として使用すべきネットワークの最終トレーニング（ステップＡＥ）は、トレーニングデータの一部としてすべての使用できるデータを使用して行われる。必要な場合、新しいデータを使用して、診断テストの性能を確認できる（ステップＡＦ）。すべてのトレーニングデータの性能は、生化学テストの性能推定値の上限になる。ネットワークのコンセンサスは、意図された診断テスト出力（ＡＧ）を表す。このニューラルネットワークの最後の組は、その場合診断に使用できる。
【０１２８】
４．ニューラルネットワーク性能の改善．
ニューラルネットワークを例に挙げて説明した意思決定支援システム、および本発明において提供される方法の重要な特徴は、性能を改善する能力である。上記で概説したトレーニング方法は、より多くの情報が使用できるようになるにつれて繰り返される。動作中、すべての入力変数および出力変数は、記録され、将来のトレーニングセッション中にトレーニングデータを増大させる。このようにして、診断ニューラルネットワークは、個々の母集団および母集団特性のゆるやかな変化に適合できる。
【０１２９】
トレーニングニューラルネットワークが、ユーザが所要の情報を入力し、かつニューラルネットワークスコアをユーザに出力することを可能にする装置中に含まれる場合、使用中の性能を改善するプロセスが自動化される。各エントリおよび対応する出力は、メモリ中に保持される。ネットワークを再トレーニングするステップは装置中にコード化できるので、ネットワークは、母集団に固有のデータを使用してどんなときでも再トレーニングできる。
【０１３０】
５．診断テスト治療方法の有効性を評価する方法．
一般に、診断テストの有効性または有用性は、診断テスト結果が分かっているかまたは推測される患者医療状態と比較することによって決定される。診断テストは、診断テスト結果と患者医療状態との間に良好な相関がある場合に有効であると考えられる。診断テスト結果と患者医療状態との間の相関がよければよいほど、診断テストの有効性に置かれる評価は高くなる。そのような相関がない場合、診断テストは、あまり有効でないと考えられる。本発明において提供されるシステムは、そのテストに対応する変数が重要な選択された変数であるかどうかを決定することによって生化学テストの有効性を評価する手段を提供する。システムの性能を改善するデータをもたらすテストが識別される。
【０１３１】
診断テスト結果と患者医療状態との間の相関と無関係に、診断テストの有効性をそれにより決定できる方法（図６）について以下で説明する。同様の方法を使用して、特定の治療の有効性を評価できる。
【０１３２】
一実施形態では、この方法は、患者データのみに基づいてトレーニングされた患者病歴診断ニューラルネットワークの性能を、患者病歴データとＥＬＩＳＡデータなど生化学テストデータとの結合に基づいてトレーニングされた結合ニューラルネットワークの性能と比較する。患者病歴データを使用して、すべて上述のように、診断用の重要な変数を分離し（ステップＡＨ）、最後のニューラルネットワークをトレーニングする（ステップＡＪ）。並行して、その患者データが分かっているすべての患者またはサブセットについて生化学テスト結果を与え（ステップＡＫ）、すべて上述のように、まず診断用の重要な変数を分離し（ステップＡＬ）、その後最後のニューラルネットワークをトレーニングすること（ステップＡＭ）によって診断ニューラルネットワークを結合した患者データおよび生化学データに基づいてトレーニングする。
【０１３３】
次いで、ステップＡＮで、ステップＡＪから得られた患者病歴診断ニューラルネットワークの性能を、ステップＡＭから得られた結合した診断ニューラルネットワークの性能と比較する。診断ニューラルネットワークの性能はいくつの手段ででも測定できる。一例では、各診断ニューラルネットワーク出力と患者の分かっているまたは推測される医療状態との間の相関を比較する。その場合、性能をこの相関の関数として測定できる。性能を測定する多数の他の方法がある。この例では、ステップＡＪから得られたものに勝るステップＡＭから得られた結合した診断ニューラルネットワークの性能の向上を生化学テストの有効性の尺度として使用する。
【０１３４】
そのテスト結果と分かっているまたは推測される医療状態との間の十分な相関を欠いているこの例の生化学テスト、および一般の診断テストは、通常、効用が限られると考えられる。そのようなテストは、上述の方法によっていくつかの用途を有することが示され、したがってさもなければ有益でないと考えられるかもしれないそのテストの有効性が高くなる。本明細書で説明した方法には、診断テストの有用性を評価する手段を提供すること、かつまた診断テストの有効性を高める手段を提供することの二つの目的に適う。
【０１３５】
６．診断用の変数の識別および診断テストの開発へのこれらの方法の応用．
本発明において提供される方法およびネットワークは、例えば、重要な変数を識別し、既存の生化学テストを改善し、新しいテストを開発し、療法経過を評価し、新しい疾病マーカを識別する手段を提供する。これらの利点を例示するために、提供される方法は、特定の期間中の陣痛および出産の可能性など、子宮内膜症および妊娠関連事象に適用されている。
【０１３６】
子宮内膜症．
本明細書に記載の方法は、子宮内膜症の診断用の非侵襲性方法を開発する手段を提供している。さらに、本発明の方法は、子宮内膜症を示すデータを与える生化学テストを開発し、また新しい生化学テストを識別し、開発する手段を提供する。
【０１３７】
意思決定支援システムの変数選択および使用の方法は、子宮内膜症に適用されている。意思決定支援システム、この例では、ニューラルネットワークのコンセンサスは、子宮内膜症の診断用に開発されている。「例」で詳述するこの開発の過程で、患者病歴データ、すなわち質問表フォーマットによって患者から得られるデータのみを利用する子宮内膜症の診断を助けることができるニューラルネットワークを開発できることが分かった。生化学テストデータを使用して、特定のネットワークの性能を高めることができることが分かったが、診断ツールとしてのその価値にとっては重要でなかった。変数選択プロトコルおよびニューラルネットは、子宮内膜症を診断する手段を提供する意思決定支援システム中に入力できる変数の組を選択する手段を提供する。識別された変数の一部は、従来子宮内膜症に関連していた変数を含むが、他の変数はそうではない。さらに、上記のように、子宮内膜症に関連する骨盤痛や月経困難症などの変数は、診断が可能なようにそれに線形的に相関しない。
【０１３８】
例示的な意思決定支援システムについて例中で説明する。例えば、本明細書でｐａｔ０７で示される一つのニューラルネットについて例１４で説明する。ｐａｔ０７ネットワーク出力と子宮内膜症を有する確率との比較は正の相関をもたらす（表１参照）。ｐａｔ０７ネットワークは、女性のｐａｔ０７スコアに基づいて子宮内膜症を有する女性の可能性を予測できる。例えば、女性が０．６のｐａｔ０７スコアを有する場合、彼女は子宮内膜症を有する９０％の確率を有する。ｐａｔ０７スコアが０．４の場合、彼女は子宮内膜症を有する確率が１０％である。データベースに適用したときのｐａｔ０７出力のダイナミックレンジは、約０．３から約０．７であった。理論上、出力値は、０から１まで変動しうるが、０．３以下の値または０．７以上の値は観測されなかった。ｐａｔ０７ネットワークを使用して、８００人以上の女性を評価し、その性能は次のように要約できる。
【０１３９】
【表１】
【０１４０】
ｐａｔ０７ネットワークスコアは、子宮内膜症を有する可能性と解釈され、女性が子宮内膜症を有すると診断されるかどうかではない。可能性は、各スコアグループ中で発見される子宮内膜症の相対発生率に基づく。例えば、０．６またはそれ以上のｐａｔ０７ネットワークスコアを有する女性のグループでは、これらの女性の９０％が子宮内膜症を有し、これらの女性の１０％が子宮内膜症を有しない。この可能性は、不妊症科にいる女性の人口に関連する。ｐａｔ０７ネットワークを含むソフトウェアプログラムが開発されている。
【０１４１】
ａｄｅｚａｃｒｆ．ｅｘｅと呼ばれる一つのプログラムは、ユーザが女性のｐａｔ０７ネットワークスコアを得ることを可能にする単一のスクリーンウィンドウインタフェースを提供する。ユーザは、１４個のすべての変数の値を入力し、すべてのキーストロークの後でｐａｔ０７ネットワークスコアを計算する。ａｄｚｃｒｆ２．ｅｘｅと呼ばれる他のプログラムは、ａｄｅｚａｃｒｆ．ｅｘｅとほとんど厳密に同じであるが、一つの追加の入力、すなわちＥＬＩＳＡテストの値を入力できる。このプログラムおよびネットワークは、診断テストの臨床的効用を拡大する方法の具体的な例である。ＥＬＩＳＡテスト結果は子宮内膜症に相関しなかった。それだけではＥＬＩＳＡテストは臨床的効用を有しない。他の入力パラメータとして、ＥＬＩＳＡテストは、ネットワーク分析用の入力としてＥＬＩＳＡ結果を組み込むことがＥＬＩＳＡテストの臨床効用を拡大するように、ネットワーク性能を改善した。ａｄｚｃｒｆ２．ｅｘｅと呼ばれる（本明細書の付録ＩＩに記載されている）他のプログラムは、ユーザが女性のｐａｔ０７ネットワークスコアを得ることを可能にする多重スクリーンウィンドウインタフェースを提供する。多重データエントリスクリーンは、すべての患者病歴データを入力し、ｐａｔ０７用の入力として必要とされるパラメータだけは入力しないようにユーザを案内する。ユーザがすべてのデータを入力し、正確なものと認めた後で、ｐａｔ０７スコアを計算する。このプログラムはまた、＊．ｆｄｂファイル中に入力されたデータを保管し、データをインポートし、インポートされたデータ上のｐａｔ０７スコアを計算し、データをエクスポートすることができる。ユーザは、前に入力したデータを編集することができる。上記の三つのプログラムはすべて、子宮内膜症用の診断ソフトウェアの具体的な例として役立つ。
【０１４２】
図１１に、診断ソフトウェア中で使用される例示的なインタフェーススクリーンを示す。ＭｉｃｒｏＳｏｆｔ ＷｉｎｄｏｗｓTMタイプのディスプレイとして提供されるディスプレイ１１００は、子宮内膜症の診断用に決定された重要な変数の各変数ごとに数値を入力するためのテンプレートを提供する。テストを実施するためのデータの入力は、従来のキーボードのみを使用するか、またはコンピュータマウス、トラックボールまたはジョイスティックと組み合わせて実施される。本明細書では、マウスとキーボードの組合せを使用する。各テキストボックス１１０１〜１１０６は、重要な変数、すなわち年齢（ボックス１１０１）、妊娠回数（ボックス１１０２）、出産回数（ボックス１１０３）、流産回数（ボックス１１０４）、一日当たり吸うたばこの箱数（ボックス１１０５）、ＥＬＩＳＡテスト結果（ボックス１１０６）を表す数値を入力するためのものである。対象患者の年齢を入力するために、ユーザは、スクリーン上のポインタがボックス１１０１中に入るようにマウスを動かし、次いでその位置でクリックする。キーボードを使用して、患者の年齢を表す数を入力する。選択されたボックスでポイントし、クリックすることによって残りのボックスにアクセスする。
【０１４３】
ボックス１１０７〜１１１５は、データが二進、すなわち「ｙｅｓ」か「ｎｏ」である重要な選択された変数である。ボックスおよび変数は次のように相関する。
【０１４４】
［表１］
――――――――――――――――――――――――――――――
ボックス 変数
１１０７ 子宮内膜症の過去病歴
１１０８ 月経困難症
１１０９ 妊娠中の高血圧症
１１１０ 骨盤痛
１１１１ 異常ＰＡＰ／形成異常症
１１１２ 骨盤手術歴
１１１３ 薬物治療歴
１１１４ 生殖器いぼ
１１１５ 糖尿病
――――――――――――――――――――――――――――――
【０１４５】
これらの変数の任意の変数に対する「ｙｅｓ」は、対応するボックスをポイントし、マウスボタンをクリックして、ボックス中の「Ｘ」を示すことによって表示できる。
【０１４６】
ネットワークは、すべてのキーストロークの後でデータを自動的に処理し、したがってテンプレート１１００中へのすべての入力の後でテキストボックス１１１８〜１１２０中に表示される出力値中に変化が現れる。「Ｅｎｄｏ」とラベル付けされたテキストボックス１１１８は、子宮内膜症の存在に対してコンセンサスネットワーク出力を与える。「Ｎｏ Ｅｎｄｏ」とラベル付けされたテキストボックス１１１９は、子宮内膜症の不在に対してコンセンサスネットワーク出力を与える。テキストボックス１１２０は、患者が子宮内膜症を有するかどうかを示す相対的スコアを与える。テキストボックス１１２０中のスコアは、医師が結果を解釈することをより容易にするボックス１１１８および１１１９から得られた人工的な数であることに留意されたい。上記のように、２５までの正の範囲中のこのボックス中の値は、子宮内膜症を有することを示し、−２５までの負の範囲の値は、子宮内膜症を有しないことを示す。選択された変換は、医師がｐａｔ０７出力をより容易に解釈することを可能にする。
【０１４７】
例で説明したように、ｐａｔ０７は、子宮内膜症を予測する唯一のネットワークではない。ｐａｔ０８からｐａｔ２３ａで示される他のネットワークが開発されている。これらも子宮内膜症を予測する。これらのすべてのネットワークは、まったく同様に動作し、容易にｐａｔ０７の代わりに使用できる。したがって、ｐａｔ０７を開発するために使用した方法に従って、他の同様に機能するニューラルネットが開発でき、開発されている。ｐａｔ０８およびｐａｔ０９は、ｐａｔ０７に最も類似している。これらのネットワークは、上記で概説したプロトコルに従って開発され、ｐａｔ０７の開発用に使用されるものと同じ組から重要な変数を選択することができた。
【０１４８】
変数の初期重み付けは、変数選択手順の結果に対しては影響を及ぼすが、最後の診断結果中ではそうではないことが分かった。ｐａｔ０８およびｐａｔ０９は、ｐａｔ０７と同じ患者データのデータベースを使用して、疾病関連パラメータを導出した。ｐａｔ１０からｐａｔ２３ａは、元々いくつかのパラメータ、すなわち子宮内膜症歴、骨盤手術歴、月経困難症歴、骨盤痛の重要度を明らかにするために設計されたトレーニング実行であった。これらを開発するために、変数選択プロセスから変数を差し引くことによってその変数の重要度を評価した。変数選択プロセスおよび最後のコンセンサスネットワークをトレーニングすることで、ネットワーク性能は著しく低下しないことが分かった。
【０１４９】
したがって、特定の変数または変数の組は子宮内膜症を予測する場合に重要であると考えられていたが、そのような変数がない場合にトレーニングされるネットワークは、子宮内膜症を予測する著しく低下した能力を有しない。これらの結果は、（１）変数選択およびコンセンサスネットワークトレーニング用の方法の有効性、および（２）一般にネットワークの適合性を証明する。一つのデータタイプがない場合、ネットワークは、その情報を引き出すべき他の変数を見つけた。一つの変数がない場合、ネットワークは、異なる変数をその所定の位置で選択し、性能を維持した。
【０１５０】
子宮内膜症を有する疑いがある患者は、一般に疾病を診断するために診断手術を受けなければならない。患者病歴情報および任意選択でウェスタンブロットデータなど生化学テストデータを使用して、この障害を確実に診断する能力は、手術の非常に望ましい代替手段を与える。本発明の方法および識別された変数はそれを行う手段を与える。
【０１５１】
子宮内膜症の疾病の診断に関連するデータが収集されている。このデータは、患者病歴データ、ウェスタンブロットデータ、ＥＬＩＳＡデータを含む。「例」に示される本発明の方法の適用は、患者病歴データのみが子宮内膜症を予測できることを証明した。
【０１５２】
変数選択プロトコルの性能を評価し、１４個の変数ネットワーク（ｐａｔ０７）が１４個の変数の可能なすべての組合せと比較して（性能に関して）順位付けされることを確認するために、ネットワークを変数の可能なすべての組合せ（１６，３８４の組合せ）に基づいてトレーニングした。また、変数選択プロトコルを１４個の変数の組に適用した。１４個の変数の中から、５個の変数を選択した。これらは、妊娠高血圧症、出産回数、異常ＰＡＰ／形成異常症、子宮内膜症歴、および骨盤手術歴である。この組合せを１６，３８４の可能な組合せから６８番目に最もよく実行する組合せとして順位付けし（９９．６百分位数）、それにより変数選択プロトコルの有効性を証明した。また、１４個のすべての変数を含む組合せを１６，３８４の可能な組合せから７１８番目に順位付けした（９５．６百分位数）。
【０１５３】
これらの結果はまた、１４個の変数のサブセットが有用であることを示す。特に、３個の変数の次の組合せの一つ（または複数）のパラメータの選択された組の任意のサブセット、特に１４個の変数の組が子宮内膜症の診断用に意思決定支援システムとともに使用できる。
【０１５４】
［表２］
――――――――――――――――――――――――――――――――――――
ａ）出産回数、子宮内膜症歴、骨盤手術歴
ｂ）糖尿病、妊娠高血圧症、喫煙
ｃ）妊娠高血圧症、異常ｐａｐしみ／形成異常症、子宮内膜症歴
ｄ）年齢、喫煙、子宮内膜症歴
ｅ）喫煙、子宮内膜症歴、月経困難症
ｆ）年齢、糖尿病、子宮内膜症歴
ｇ）妊娠高血圧症、出産回数、子宮内膜症歴
ｈ）喫煙、出産回数、子宮内膜症歴
ｉ）妊娠高血圧症、子宮内膜症歴、骨盤手術歴
ｊ）妊娠回数、子宮内膜症歴、骨盤手術歴
ｋ）出産回数、異常ＰＡＰしみ／形成異常症、子宮内膜症歴
ｌ）出産回数、異常ＰＡＰしみ／形成異常症、月経困難症
ｍ）子宮内膜症歴、骨盤手術歴、月経困難症
ｎ）妊娠回数、子宮内膜症歴、月経困難症。
――――――――――――――――――――――――――――――――――――
【０１５５】
例で示すように、列挙した１４個の変数と同じ働きをする重要な選択された変数の他の組が得られる。他のより小さいそのサブセットも識別できる。
【０１５６】
特定の期間中の出産の可能性など、妊娠関連事象の予測．
本発明の方法は、任意の障害または状態に適用でき、特に診断テストが適切に相関し得るか、または生化学テストまたは好都合な生化学テストが使用できない状態に適している。例えば、本発明の方法は、特定の期間中の出産の可能性など、妊娠関連事象の予測に適用されている。
【０１５７】
間近に迫った出産の決定は、例えば、３４週までに生まれた幼児の新生児残存者を増やすために重要である。妊娠の週２０後に妊娠患者からの膣腔または子宮頸管からの分泌サンプル中の胎児のフィブロネクチンの存在は、３４週前の陣痛および出産の危険に関連する。妊娠の週２０後に妊娠患者からの膣腔または子宮頸管からの分泌サンプル中の胎児のフィブロネクチンをスクリーニングする方法および装置が販売されている（米国特許第５５１６７０２号、第５４６８６１９号、第５２８１５２２号、および第５０９６８３０号参照。また、米国特許第５２３６８４６号、第５２２３４４０号、および第５１８５２７０号参照）。
【０１５８】
これらの分泌物中の胎児のフィブロネクチンの存在と、３４週前の陣痛および出産との相関は完全ではない。著しい偽正率および偽負率が存在する。したがって、３４週前の陣痛および出産の可能性を評価する方法の必要に対処し、使用できるテストの予想可能度を改善するために、本発明の方法は、いくつかの妊娠関連事象の可能性を評価する意思決定支援システムの開発に適用されている。特に、懐胎の３４週前（または後）の出産を予測するニューラルネットが開発された。本明細書で説明した開発されたニューラルネットワークおよび他の意思決定支援システムは、偽正の数を少なくすることによって胎児のフィブロネクチン（ｆＦＮ）の性能を改善できる。例１３に示される結果は、本発明の方法を使用すれば、予測性能が改善されるので既存のテストの診断効用が改善できることを証明する。
【０１５９】
上述のように、これらの方法を使用して、前に疾病、状態または障害に関連すると考えられていなかったテストを識別し、新しいテストを設計し、新しい疾病マーカを識別することができる。
【０１６０】
次の例は、説明のためにのみ記載し、本発明の範囲を限定するものではない。
【実施例１】
【０１６１】
＜例１＞
患者病歴データの関連変数についての評価．
この例は、候補変数の選択を説明する。
【０１６２】
要件．
患者病歴を評価して、どの変数が診断に関連するかを決定する。この例は、診断で使用する各変数についての感度分析を実施することによって実施される。この分析の実施には二つの方法を使用することができる。第一の方法は、全ての情報についてネットワークをトレーニングし、各入力がネットワーク出力に及ぼす影響をネットワークの重みから決定する方法である。第二の方法は、変数を含んでトレーニングしたネットワーク、および変数を排除してトレーニングした第二のネットワークの、二つのネットワークの性能を比較する方法である。このトレーニングは、関連すると考えられる変数のそれぞれについて実施することになる。性能に寄与しないものは排除されることになる。こうした操作は、ネットワークへの入力のディメンションを低下させるために実施する。限られた量のデータでトレーニングする場合には、入力のディメンションが低いことにより、ネットワークの一般化能力が高まることになる。
【０１６３】
データの分析．
この例で使用するデータは、５１０件の患者病歴を含んでいた。各記録は１２０個のテキストおよび数字フィールドを含む。これらのフィールドのうち４５個は、手術前に知られており、常に情報を含むものとして識別された。これらのフィールドは、ネットワークの分析およびトレーニングに利用できる基本的な変数として使用した。この例で使用した変数の概要は以下の通りである。
【０１６４】
【表２】
【０１６５】
使用した方法．
変数の重要性を決定する、最も一般的に使用される方法は、全ての変数を含むデータについてニューラルネットワークをトレーニングする方法である。トレーニングしたネットワークを基礎として使用して、ネットワークおよびトレーニングデータについて感度分析を実施する。各トレーニング例では、ネットワークは順方向モードに実行される（トレーニングなし）。ネットワーク出力を記録した。各入力変数について、ネットワークは、変数をそのトレーニング例にわたるその変数の平均値で置換して、再実行される。出力値の差を二乗して累積する。各トレーニング例についてこのプロセスを繰り返す。次いでその結果生じた合計を正規化し、正規化した値の合計が変数の数と等しくなるようにする。このように、全ての変数が等しく出力に寄与する場合には、それらの正規化値は１．０になるはずである。次いで正規化値を重要性の順に順位付けすることができる。
【０１６６】
上記の手法にはいくつかの問題がある。第一に、これは発見されたニューラルネットワークの解決策に依存する。異なるネットワークの開始重みを使用すれば、異なる順位付けが発見される可能性がある。第二に、二つの変数の相関性が高い場合には、そのいずれを使用しても十分な情報を含むことになる。ネットワークトレーニング実行に依存して、ただ一つの変数しか重要であると識別することはできない。第三の問題は、トレーニングしすぎたネットワークが、変数の真の重要性を曲解する可能性があることである。
【０１６７】
上記の問題の影響を最小限に抑えるために、いくつかのネットワークをデータについてトレーニングした。できる限り最良のテストセットの性能を生み出すようにトレーニングプロセスを洗練し、ネットワークが入力と所望の出力との間の基礎関係を学習しているようにした。このプロセスの終了までに、ネットワークの良好なセットが利用可能になり、また最後にトレーニングしたネットワークについてのトレーニング構成も確立されることになる。トレーニングした各ネットワークについて感度分析を実施し、正規化値を平均した。この例では、トレーニング実行は、ホールドアウト方法を使用して利用可能なデータの五つの区分についてトレーニングした１５個のネットワークを含んでいた。
【０１６８】
変数の順位付けが確立された後で、テスト実行を行い、変数の排除がテストセットの性能に及ぼす影響を決定した。寄与の小さい変数を排除すると、テストセットの性能が低下する。トレーニングデータが限られていることによって過剰トレーニングが問題になる場合には、変数を排除することによってテストセットの性能を実際に改善することができる。処理時間を節約するために、順位付けに基づくテストでは変数のグループを排除することもできる。
【０１６９】
結果．
順位付けまたは変数は以下の通りとなり、これらはｐａｔ０５の実行でトレーニングされたネットワークについて報告される。
【０１７０】
［表３］
――――――――――――――――――――――――――――――
０１．３５．薬物治療歴
０２．３３．Ｅｎｄｏの過去の病歴
０３．１１．出産回数
０４．３７．骨盤痛
０５．４０．月経困難症
０６．３４．骨盤手術歴
０７．１． 年齢（ｐｒｅｐｒｏｃ）
０８．１３．不妊症歴
０９．８． 箱／日
１０．３６．現在の外因性ホルモン
１１．４２．不妊症
１２．１８．誘発ホルモン
１３．１５．無排卵
１４．１４．排卵
１５．４３．付属器の塊／肥厚症
１６．４５．その他の症状
１７．３０．異常ＰＡＰ／形成異常症
１８．２６．子宮外妊娠
１９．１９．ヘルペス
２０．３９．月経異常
２１．１２．流産回数
２２．４１．性交疼痛症
２３．２４．子宮／卵管異常
２４．３１．婦人癌
２５．３２．その他の病歴
２６．１０．妊娠回数
２７．２８．卵巣嚢胞
２８．２５．フィブロイド
２９．２２．膣感染
３０．１６．未知
３１．２７．機能性子宮出血
３２．３８．異常な痛み
３３．５． 妊娠過形成
３４．９． 薬物使用
３５．２０．生殖器いぼ
３６．３． 妊娠ＤＭ
３７．４． 高血圧症
３８．２１．その他のＳＴＤ
３９．２３．ＰＩＤ
４０．４４．未決定
４１．２． 糖尿病
４２．１７．乏排卵
４３．６． 自己免疫疾患
４４．２９．多嚢胞性卵巣症候群
４５．７． 移植
――――――――――――――――――――――――――――――
【０１７１】
変数のサブセットをテストし、１４個の変数の最後のセットを使用してｐａｔ０７のネットワークをトレーニングした（例１３および１４参照）。上記の上位１４個にはないいくつかの変数も使用した。これによりテストセットの性能が改善された。
ｐａｔ０７のネットワークについての順位付けは以下の通りである。
【０１７２】
［表４］
――――――――――――――――――――――――――――――
０１．１０．Ｅｎｄｏの過去の病歴
０２．６． 出産回数
０３．１４．月経困難症
０４．１． 年齢（ｐｒｅｐｒｏｃ）
０５．１３．骨盤痛
０６．１１．骨盤手術歴
０７．４． 箱／日
０８．１２．薬物治療歴
０９．５． 妊娠回数
１０．７． 流産回数
１１．９． 異常ＰＡＰ／形成異常症
１２．３． 妊娠過形成
１３．８． 生殖器いぼ
１４．２． 糖尿病
――――――――――――――――――――――――――――――
【０１７３】
結論．
この例で識別された変数のセットは、テストおよび情報に基づいて妥当であると考えられる。
【０１７４】
＜例２＞
患者病歴データについてのネットワークのトレーニング．
この例は、上記の１４個の変数を使用して、様々なパラメータを設定および最適化する方法を明らかにする。
【０１７５】
要件．
上記の例が完了すると、減少した患者病歴についてネットワークのセットをトレーニングし、それらの性能を記録する。実験を実行し、ネットワークのトレーニングに最良の構成およびパラメータを決定した。性能の分析を実施して偽の正および偽の負の数を決定し、所与の患者のサブセットを信頼性高く診断することができるかどうかを調べた。データが限られているので、推定した性能は、残りのデータについてのテストおよびトレーニングのためにデータベースの小さな部分（２５％）を除外することによって決定した。ネットワークの一つで全てのデータをテストデータとして使用するまで、この方法を繰り返した。次いでテストデータについての組み合わせた結果が性能の推定となる。最後のネットワークは、利用可能な全てのデータをトレーニングデータとして使用してトレーニングした。
【０１７６】
使用した方法．
少ないトレーニング例を扱う場合には、ネットワーク構成およびパラメータ設定の決定に便利なテスト情報を提供するためには、ホールドアウト方法が有効である。処理時間を大幅に増加させることなくトレーニングに利用できるデータを最大限にするために、提案された２５％ではなく、２０％のホールドアウトを使用した。これにより四つではなく五つのデータ区分が生じ、データの８０％が各区分のトレーニング用となった。
【０１７７】
ランダム開始重みの影響を最小限に抑えるために、複数のネットワークを全トレーニング実行でトレーニングした。こうした実行では、三つのネットワークを、データの五つの区分のそれぞれで、それぞれ異なるランダム開始からトレーニングした。ネットワークの出力を平均して、単一のネットワークから得られるより低い分散を有するコンセンサス結果を形成する。
【０１７８】
いくつかの実験を実施し、テストセットの性能を最大限にするネットワークのパラメータを発見した。このプロセスで修正したパラメータは以下の通りである。
【０１７９】
［表５］
――――――――――――――――――――――――――――――
１．隠れた処理要素の数
２．入力に追加された雑音の量
３．誤差許容度の量
４．使用する学習アルゴリズム
５．使用する重み減衰の量
６．使用する入力変数の数
――――――――――――――――――――――――――――――
【０１８０】
４５個の変数の可能な全ての組合せを完全に探索することは、テストに必要とされるＣＰＵ時間の量により容易ではない。テストネットワークは、この領域で重要であると当業者に知られているパラメータに基づいて、また以前のテストの結果に基づいて選択したパラメータでトレーニングした。その他の変数のセットも適当である。また、本明細書の別の部分に示すように、選択した１４個の変数全ての組合せをテストした。最良の構成が決定された後で、５１０人の患者の完全なデータセットについて、最後のセットのネットワークをトレーニングした。最後のセットのネットワークでは、八つのネットワークのコンセンサスを作成し、最終的な統計値を生成した。
【０１８１】
結果．
最終的ホールドアウトトレーニングの実行は、１４個の変数を有するｐａｔ０６であった。テストデータについての性能は６８．２３％であった。全トレーニング実行は、ｐａｔ０６と同じネットワーク構成を有するｐａｔ０７であった。トレーニングデータについての性能は７２．９％であった。最後のトレーニング実行についての統計値を、ネットワーク出力値のカットオフの使用に基づいて生成した。ネットワーク出力がカットオフ以下である場合には、この例は考慮されていない。以下の表はｐａｔ０７中の八つのネットワークのコンセンサスについての結果の概要である。ａｄｚｃｒｆと呼ばれるテストプログラムを生成して、この最後のトレーニングを明らかにした。
【０１８２】
【表３】
【０１８３】
ＰＰＶ＝正の予測値、ＮＰＶ＝負の予測値
【０１８４】
＜例３＞
ウェスタンブロットデータの事前処理および入力．
【０１８５】
要件．
最初に論理設計に送られた、患者についてのウェスタンブロットからの抗原データは、ピーク分子量およびそれらが関連する強度のみについての情報を提供した。このデータ、およびこのデータが取られた元の画像の分析は、より多くの情報をニューラルネットワークに提供することができるようにデジタル化された元の画像を使用することができることを示す。二つの実験について元の画像を検査すると、画像データを事前処理は、画像中の特定の分子量の位置の可変性を低下させる。この事前処理では、標準画像に適した多項式を使用して、修正した画像を生成することになる。画像の事前処理は、画像の背景レベルおよびコントラストを正規化するステップも含むことになる。
【０１８６】
事前処理が完了した後で、画像データをそのままで使用する、またはピーク分子量を抽出することができる。得られた画像から、ニューラルネットワークへの入力が生成されることになる。通常の画像は約１０００ピクセルの長さであるので、入力数を減少させる方法が調査されることになる。画像が、全てまたは減少したディメンション（解像度）の画像を使用して直接ネットワーク入力にコード化されるので、ニューラルネットワークは、監視学習でトレーニングされ、疾病の決定に関係する分子量の範囲の決定を補助することになる。この例は、ネットワークへの入力中で画像を全体として使用することを焦点とする。
【０１８７】
使用した方法．
相関技術を使用して、ウェスタンブロットの画像についての同様の特徴を突き合わせて、相関プロットを生成した。これらのプロットから、サンプルを正確に整合するには、二つのサンプルの相関プロットについての突合せの変動が大きすぎると結論付けられた。ネットワークの各入力は分子量値を正確に表現する必要があるので、標準画像からの情報のみを画像の整合に使用することに決定した。
【０１８８】
標準画像について二次適合を実施し、相対移動性情報を分子量に翻訳する手段を生成する。相対移動性の曲線を分子量の対数に対してプロットし、ＲＳＱＲ値を検査した後で、二次適合はこの翻訳を実施するのに十分に正確ではなかったと結論付けられた。二次適合を使用して標準分子について計算した分子量は、ゲルごとに様々である。
【０１８９】
相対移動性の分子量への翻訳を改善するためにいくつかの方法を試みた。三次スプライン補間法を選択した。この方法は、データ点でのなめらかな移行を保証し、迅速に計算される。唯一重要なのは、標準がカバーする区間の外側にある相対移動性の値について、この方法がどのように実施されるかということである。終了条件が適当に設定されていれば、補外法の問題は回避されるものと考えられる。これが選択した方法である。
【０１９０】
スプライン補間法を使用して、画像を一定寸法のトレーニング記録に変換した。この時点で、画像強度の正規化を考慮しなければならない。二つの選択肢が考えられる。第一は、正規化を実施しないことである。第二は、画像にわたる最大値が１．０にセットされ、最小値が０．０にセットされるように画像を処理することである。各選択肢についてネットワークをトレーニングし、その結果を比較した。入力に雑音が追加されなければ、事前処理した画像ネットワークは９７％のトレーニング例性能を有し、事前処理しなかった場合の性能は７９％であった。雑音が追加された場合には、二つの選択肢は同様の結果を与えた。さらなるトレーニング実行のために事前処理した画像を使用することを選択した。この選択により、ウェスタンブロット法を使用して達成することができる許容度の範囲内で、所与のネットワーク入力が特定の分子量と一貫して関連付けられることが保証された。
【０１９１】
上記の選択を使用して、一連の八つのニューラルネットワークをトレーニングし、Ｅｎｄｏ存在変数の予測に基づく様々な分子量の重要性についての情報を提供した。相関の方向の分析を可能にするために、単一の隠れた処理要素のみをトレーニングに使用した。各ネットワークについて感度分析を実施し、得られたコンセンサスをＥｘｃｅｌを使用してプロットした。
【０１９２】
次いでネットワークの重みを平均し、各重みについてのコンセンサス値を生成した。隠れた要素から出力への相互接続の重みは正にも負にもなるので、これらの重みは全ての出力接続が同じ符号を有するように変形した。次いで重みを平均し、その結果をＥｘｃｅｌを使用してプロットした。
【０１９３】
結果．
ネットワーク入力への画像整合およびＭａｘ／Ｍｉｎ画像事前処理のために三次スプライン補間法を使用して、ウェスタンブロットデータの分析を実施した。ウェスタンブロット法による、画像の整合の確度において一定量の変動性が期待できる場合には、この手法は、多項式適合が最初に使用した、より良好な結果を与えるものと考えられる。
【０１９４】
最終的コンセンサスネットワークについての感度分析および重みのプロットは、疾病の予測および診断を補助することができるウェスタンブロットの領域があることを示した。ネットワークの重みに見られる、正および負の相関の領域の幅もまた、示された結果が有意であることを示す。ピークが非常に狭い場合には、ピークは、過剰トレーニングと同様のトレーニングプロセスの人為結果であり、学習される基礎プロセスを形成しないものと結論付けなければならない。重要であると考えられる領域は以下の通りである。
【０１９５】
［表６］
――――――――――――――――――――――――――――――
正の相関
31503.98 - 34452.12
62548.87 - 65735.97
84279.36 - 89458.49
負の相関
19165.9 - 20142.47
50263.36 - 53352.14
67725.77 - 78614.77
――――――――――――――――――――――――――――――
【０１９６】
正および負のピークはいくつか存在するが、これらが、二つのＥＬＩＳＡテストに含まれる可能性が最も高いと考えられる。一方のテストは正の領域を焦点とし、もう一方は負の領域を焦点とする。次いで得られた二つの値を、ニューラルネットワークへの入力として患者病歴データと組み合わせることができる。
【０１９７】
結論．
ニューラルネットワークは、ウェスタンブロットに基づいて疾病の存在と相関する領域を発見することができた。
【０１９８】
＜例４＞
ウェスタンブロットデータについての一定入力寸法の調査．
【０１９９】
要件．
事前処理した画像から抽出したピーク分子量を使用して、患者についてのウェスタンブロットデータの変化する寸法を、ニューラルネットワークについての一定の寸法に換算する方法を調査した。この手法は、ネットワーク入力が全画像手法より大幅に少なくなるので望ましい。基本的な問題は、相互に関係する可能性のある分子量の変数がテストで生じることである。例およびこの例の結果を比較すると、分子量のパターンが存在すること、またはそれらの分子量が関連がないかどうかが示される。分子量データにはいくらか変動性があるので、ニューラルネットワークについて分類を実施しても、このデータを処理する手法はファジーメンバシップ関数と同様である。
【０２００】
追加要件．
ウェスタンブロットデータから一部分が識別される。これらの部分の積は再生可能であるので、この情報の使用の有効性は、ウェスタンブロット画像データを処理して、これらの部分の分子量に対応するｂｉｎｓにすることにより決定される。
【０２０１】
使用した方法．
例４の結果から、分子量のいくつかの範囲が疾病と相関があるものと決定される。例５に見られる各ピークに集中するガウス領域を使用することにより、減少した入力表現が生成された。ガウスの値が領域の縁部で０．５以下になるようにガウスの標準偏差を決定した。ニューラルネットワーク入力を生成するために実施した基本操作は、ガウスとウェスタンブロット画像との間のたたみ込みである。計算は全て、分子量の対数を使用して実施した。
【０２０２】
別々のソフトウェアプログラムが生成された。このプログラムは、正規化した画像についての分子量および強度に対するたたみ込みを実施した。ネットワーク入力の計算のパラメータは、ｂｉｎｐｒｏｃプログラム中の表に含まれる。ｂｉｎｐｒｏｃでは、平均および標準偏差はこの表に記憶される。表の値が変更されるときに、プログラムは再コンパイルされる。プログラムは、Ｅｘｃｅｌを使用して匹敵するウェスタンブロット画像にガウスをプロットすることができる出力ファイルを生成するテストモードを有する。領域のプロットはドキュメンテーションに含まれる。
【０２０３】
３６個の小部分を処理する際には、小部分の位置をｂｉｎｐｒｏｃの表の値に翻訳するようにｂｉｎｐｒｏｃ．ｃを再度修正した。この修正したプログラムをｆｐｒｏｃ．ｄと呼ぶ。その目的は、分子量値を標準に基づいて正規化するのに必要なスプライン補間を実施することである。ｂｉｎｐｒｏｃからｂｉｎｐｒｏｃ２．ｃを生成し、平均偏差表および標準偏差表を、供給されたファイル中の小部分の終点に対応するｍｉｎ．表およびｍａｘ．表で置き換えた。
【０２０４】
上記プログラムから生成された任意のデータファイルをテストするために、データの８０％をトレーニング用に、残りの２０％をテスト用に使用して、ホールドアウト方法を使用した。ウェスタンブロットデータからトレーニングデータが生成された後で、乱数列および患者のＩＤ列をＥｘｃｅｌのスプレッドシートに追加した。次いで乱数列上でデータをソートした。これにより実際にデータがシャッフルされる。このようにして、各区分が各ゲルからの例を有する可能性が高い。これらの割合で、五つの別々のトレーニングおよびテストファイルが、組み合わせたテストセットの結果からネットワークの性能を推定することができるように生成される。
【０２０５】
ＴｈｉｎｋｓＰｒｏTMを使用して、入力を排除することにより、ネットワークが使用する入力の数を変化させることができる。排除された入力は、トレーニング中にネットワークに提示されない。ガイドとして感度分析を使用して、重要でない入力を除去する。入力スペースのディメンションを減少させることは、トレーニング例の数が少ないときにはさらに重要になる。この方法は、患者病歴トレーニング実行中の変数を除去する際に使用したものと同じである。現在では、このプロセスは手動で行う。
【０２０６】
結果．
例５では、全てのデータについてトレーニングされたネットワークを使用して、分類プロセスに重要な分子量の範囲を決定した。この例では、ホールドアウト方法を使用して、テストセットの性能を推定することができるようにネットワークをトレーニングした。第一のテストセットは、例５で識別された領域に基づいている。第二のテストセットは、四つのｉｓｈｇｅｌファイル中で識別された小部分を使用して作成された。
【０２０７】
例５で見られた上位六つの領域に基づく最初のコンセンサス実行の性能は低い（５０％）。生成された入力データの分析により、入力データの生成に使用された領域は、画像データから重要な情報を捕捉するには狭すぎることが示された。領域の幅を広げ、上位六つではなく、例５からの上位１０個の領域を含めた。幅を広げた１０個の領域についてのテストはわずかに良好な性能を示した。感度分析を使用して、１０個の領域のうち三つを除去し、完全なテストを実行した。幅を広げた１０個の領域のうち六つについての性能は、５４．５％に向上した。
【０２０８】
ネットワークへの入力数がさらに減少するにつれて、テストセットの性能（ホールドアウト方法で推定）は高まり続ける。６６３９２．６５から７８６１４．７４の範囲の分子量を有するただ一つの領域しか使用しない場合に最高の性能が達成された。ホールドアウト方法を使用した、テストデータについての性能の推定値は５８．５％であった。
【０２０９】
このプロセスを、識別された小部分に基づく３６個の領域を開始として使用して再度適用した。３６個の小部分には大量の重複が存在した。上位七つの小部分を、感度分析を使用して３６個から決定した。小部分のサブセットを使用して、５８％という同様の性能が達成された。
【０２１０】
結論．
テストでは非常に高い結果は生じなかった。このことの主な理由は、この例で利用できるトレーニングデータの量が限られていたことである可能性が高い。以前の例から得られた結果は、トレーニングサンプル中の患者数が減少するにつれて妥当性データについての性能も低下したことを示した。この関係を以下の表に示す。
【０２１１】
【表４】
【０２１２】
患者数が減少しても、Ｅｌｉｓａ変数を含む場合にはＥｌｉｓａ／患者病歴データについてより良好な結果が達成された。このことはＥＬＩＳＡ変数の価値を示す。
【０２１３】
いくつかの領域を、疾病の分類に重要であると決定できることは明らかである。大幅に異なる領域のセットが同様の結果を生じ、ウェスタンブロットデータ中に、疾病の存在を示すパターンが存在する可能性があることを示す。患者のデータベースが少ない場合には、これらのパターンを分離することはより困難になる。
【０２１４】
ウェスタンブロットデータ用のデータベースのサイズの増加により、このデータについてトレーニングしたネットワークの性能が改善されることになることは明らかである。ウェスタンブロットデータを患者病歴データと組み合わせると、ネットワークの入力寸法が増加することになる。入力寸法が増加すると、通常は一般化を保証するためにより多くのトレーニング例が必要となる。
【０２１５】
＜例５＞
ウェスタンブロットデータを使用するトレーニングネットワーク．
この例の目的は、ウェスタンブロットデータのみを使用して診断についての性能推定を決定するようにネットワークのセットをトレーニングすることである。実験を実行し、ネットワークのトレーニングのための最良の構成およびパラメータを決定した。上記の例２に記載した方法を、この性能推定に使用する。最後のネットワークは、利用可能な全てのデータをトレーニングデータとして使用してトレーニングした。このトレーニングしたネットワークの出力（抗原指標）は、組み合わされたデータフェーズ中で生成されたネットワークへの入力として使用した。
【０２１６】
使用した方法．
いくつかの方法を使用して、利用可能なトレーニングデータについての最もよく実施される入力のセットを発見した。以前の例から、感度分析を使用すると、各入力変数の重要性の識別において良好な結果が生じることが分かった。その数のネットワークは、感度分析によって手動で決定された変数の組合せについてトレーニングした。
【０２１７】
自動化手順を準備する際に、変数の２×２分割表カイ二乗分析を使用して、変数の重要性の代替の順位付けを提供した。入力は連続的であるので、各入力についてしきい値を使用して、分割表に必要な情報を生成した。カイ二乗値は、しきい値の設定に依存して変化する。変数の順位付けに使用するしきい値は、カイ二乗統計値を最大にするように選択した。
【０２１８】
自動化手順の開発中に行われるトレーニング実行は、これらの順位付けから選択される。トレーニング実行が行われた時点で、自動化手順は定形化されていない。全体の処理時間を節約するために、トレーニングデータのただ一つの区分しか使用しない。次いでトレーニングおよびテストデータの第一区分中で良好に実施された変数の組合せを、残りの区分について試した。
【０２１９】
本文献で提案する最良の入力のセットを発見する一つの方法は、遺伝アルゴリズムを使用して、最もよく実施される入力のセットを決定するものである。ジェネティックアルゴリズムは、通常は、良好な解答に収束するには数千回も反復する必要がある。ウェスタンブロットデータの処理では、これは、トレーニング例のサイズが小さい場合でも大量のコンピュータ時間に相当することになる。１０個の変数について、全ての組合せを枚挙するには１０２４回のトレーニング実行が必要となる。ジェネティックアルゴリズムの代替の方法を試みた。この代替の方法では、選択した入力のセットに基づいてテストセットのＲＭＳ誤差を予測するように、ニューラルネットワークをトレーニングした。この実験で使用したトレーニング例は、ウェスタンブロットデータの第一区分についてのトレーニング実行の結果である。次いで全ての組合せで予測ネットワークをテストし、予測された最小の組合せを決定する。次いで入力の組合せを使用して、ウェスタンブロットデータについてネットワークをトレーニングする。この方法およびジェネティックアルゴリズム手法の主な欠点は、非常に有効であることが分かっている感度分析情報が、このプロセスにおいて無視されることである。
【０２２０】
結果．
ウェスタンブロットデータ中の１０個の変数（ｂｉｎｓ）についての基本的順位付けは、２００個の例の全データベースについてトレーニングした八つのネットワークのコンセンサスに基づく。その結果は以下の通りである。
【０２２１】
［表７］
――――――――――――――――――――――――――――――
7 : 1.182073
9 : 1.055611
3 : 1.053245
8 : 1.039028
6 : 1.027239
10 : 1.023135
4 : 0.978769
5 : 0.952821
2 : 0.899936
1 : 0.788143
――――――――――――――――――――――――――――――
【０２２２】
カイ二乗分析に基づく１０個の変数の順位付けは以下の通りである。
【０２２３】
［表８］
――――――――――――――――――――――――――――――
3 : 4.380517
9 : 3.751625
7 : 3.372731
2 : 3.058437
6 : 3.022164
5 : 2.787982
10 : 1.614931
4 : 1.225725
1 : 0.975502
8 : 0.711958
――――――――――――――――――――――――――――――
【０２２４】
ウェスタンブロットデータの分析中に、トレーニングデータの一つまたは複数の第一区分についていくつかのネットワークをトレーニングした。テストの結果は以下のように順位付けられ、変数がトレーニング実行に含まれることを示す。
【０２２５】
変数
【０２２６】
【表５】
【０２２７】
（）は予測ネットワークトレーニングプロセスによって生成された組合せを示す
【０２２８】
上記のテスト実行を参照すると、順位付け中のより重要な変数が下位のテストセット誤差に寄与すること、および含まれる変数が多くなると、テストセットの結果が低くなることは明らかである。このことは、高性能ニューラルネットワークの開発における、変数の最良のサブセットを選択することの重要性を示す。
【０２２９】
いくつかの組合せの変数を使用して、トレーニングデータの全ての区分についてネットワークをトレーニングした。これらの実行の結果を以下に示す。
【０２３０】
［表９］
――――――――――――――――――――――――――――――
変数 時間セットの性能
3 57.5％
3， 9 53.5％
3， 7，9 53.0％
4， 6，9， 10 57.0％
――――――――――――――――――――――――――――――
【０２３１】
変数の両方の順位付けは３、７、および９が重要であると示すので、十分なトレーニングデータが存在する場合には、この組合せが５７．５％を超える可能性が高い。この組合せについてのトレーニング例の性能は６３．９％であり、これは発生した過剰トレーニングのレベルを示す。上記に示した第一区分ネットワークのいくつかは、テスト性能を予測するようにトレーニングしたニューラルネットワークによって選択された変数の組合せを有する。これらのネットワークは最後の列の番号によって示される。この番号は、テストが実行されるシーケンスを示す。番号のない組合せは、順位付けから手動で選択した。このプロセスを継続すれば、予測ネットワークは最終的に最良の組合せを発見するはずである。テストセットの性能に影響を及ぼす可能性のあるファクタは数多く存在するので、テストセットの結果には多くの「雑音」が存在する可能性が高い。この方法をより良好に働かせるために、予測されたテストセットの誤差についてトレーニング値を生成するためにコンセンサス手法が必要になることがある。この問題はコンセンサス手法を使用する際にも見られる。
【０２３２】
結論．
変数の感度および分割表順位付けを使用するプロセスは、ニューラルネットワークの性能を最大限にするように変数のセットを選ぶための有効かつ効率的な技術である。両方の順位付けの下での上位三つの変数は同じであり、これはこれらの方法が良好に実施されることを示す。この方法は、ウェスタンブロットデータを処理することは明らかであるが、任意形態のデータについてよく作用し、これを患者病歴データにも適用可能な汎用ニューラルネットワーク技術にする。
【０２３３】
上記の結果は、データが多ければ性能レベルが向上することを示す。感度分析は、変数の相対値の変動がほとんどないことを示す。ほとんどの変数は解答に寄与する。完全ウェスタンブロット画像についてトレーニングしたニューラルネットワークの重みの分析に基づいてｂｉｎｓが選択されるので、このことが期待される。しかし、全てまたはほとんどの変数を使用することにより、ニューラルネットワークは急速に過剰トレーニング状態となる。これは、トレーニング例にデータを追加することによって回避することができる。
【０２３４】
ニューラルネットワークに案内されて変数を選択するテストは、順位付け手法より有効性が低いことが分かった。順位付け手法が最も有効であることは明らかであるが、ニューラルネットワーク案内手法でも最終的には最良の変数のセットを発見することができる。これは遺伝アルゴリズムより直接的な手法であるので、同様のデータについて、ジェネティックアルゴリズムより良好に実施される可能性が高い。この方法の主な欠点は、探索の補助に感度分析情報を使用しないことである。
【０２３５】
＜例６＞
患者病歴およびＥＬＩＳＡデータを組み合わせる．
【０２３６】
要件．
上記の例で開発した処理を使用して、患者病歴データおよびＥＬＩＳＡデータの組合せについてネットワークのセットをトレーニングする。抗原の全セットの使用に基づいてＥＬＩＳＡテストから生成される指標を使用して、この情報を患者病歴データと組み合わせることによって達成される性能の改善を決定することになる。
【０２３７】
追加要件．
上記要件に加えて、複数のＥＬＩＳＡからのデータ、ＥＬＩＳＡ１００およびＥＬＩＳＡ２００データとＥＬＩＳＡ２データとの間の比較、ならびに変数の相互関係の分析を実施し、元のＥＬＩＳＡテストが関係する変数を決定する助けとした。
【０２３８】
使用した方法．
ＥＬＩＳＡテストの結果を含めることによって達成される診断テストの性能の改善を決定するために、例２で説明したホールドアウト方法を使用していくつかのトレーニングを行った。
【０２３９】
各区分中でデータの８０％がトレーニングに使用され、残りの２０％がテストに使用されるように、データの区分を作成した。
【０２４０】
ランダム開始重みの影響を最小限に抑えるために、いくつかのネットワークは全トレーニング実行でトレーニングする。こうした実行では、三つのネットワークは、それぞれ異なるランダム開始からの、データの五つの区分のそれぞれでトレーニングした。ネットワークの出力を平均し、単一のネットワークから得られるより低い変動を有するコンセンサス結果を形成した。全ての形態のＥＬＩＳＡデータを利用することができる患者数は３２５であるので、元の１４個の変数での新しいトレーニング実行を行い、ＥＬＩＳＡデータが疾病の診断に与える影響を比較する正確な平均を提供した。ＥＬＩＳＡ２データの分析は、そのテストのための広範囲の値を示した。ＥＬＩＳＡ２のＥＬＩＳＡ１００データに対する関係を示すプロットは、ＥＬＩＳＡ２データの対数の方が未処理値より良好である可能性があることを示す。
【０２４１】
比較トレーニング実行は以下のように構成される。
【０２４２】
実行１：ＥＬＩＳＡ１００、ＥＬＩＳＡ２００、対数（ＥＬＩＳＡ２）および元の１４個の変数
実行２：（ＥＬＩＳＡ２）および元の１４個の変数
実行３：元の１４個の変数
【０２４３】
これらの比較実行を行った後で、ネットワークの最後のセットを３２５人の患者の完全なデータセットについてトレーニングした。ネットワークの最後のセットでは、八つのネットワークのコンセンサスを作成し、最終的な統計値を生成した。最後の実行の統計値は、トレーニングデータについてのみ報告され、真の性能の上限を表す。最後のホールドアウト実行の結果は、性能についての可能な下限を表す。
【０２４４】
トレーニングデータから、診断に利用できないものも含めた６５個の変数のそれぞれは、３２５個のトレーニング例の中のトレーニング例に組み込まれる。ＴｒａｉｎＤｏｓトレーニングプログラムは、ネットワークの生成を自動化し、変数間の関係を提供するように修正した。６５個のネットワークのそれぞれでは、一つの変数が残りの６４個によって予測される。予測を行う際の各変数の重要性を示すために、各ネットワークについて感度分析を実施した。
【０２４５】
結果．
三つの比較実行についてのコンセンサス結果は以下の通りである。
【０２４６】
［表１０］
――――――――――――――――――――――――――――――――――――
実行１：全てのＥＬＩＳＡ変数（ＣＲＦＥ：１） 66.46％
実行２：ＥＬＩＳＡ２の対数（ＣＲＦＥＬ２） 66.77％
実行３：ＥＬＩＳＡ変数なし（ＣＲＦＥＬ０） 62.76％
――――――――――――――――――――――――――――――――――――
【０２４７】
実行１および実行２を比較すると、ＥＬＩＳＡ１００およびＥＬＩＳＡ２００のデータをＥＬＩＳＡ２データに追加したことの影響がないことが分かる。したがって、ＥＬＩＳＡ１００およびＥＬＩＳＡ２００の変数は除去することができる。
【０２４８】
実行２および実行３を比較すると、ＥＬＩＳＡテストに基づく入力によって、疾病の診断が改善されたことが分かる。
【０２４９】
実行３をｐａｔ０６と比較すると、テストの性能が５.４７％低下することが
分かる。これは単にトレーニングに利用できる患者数の減少によるものである。このことは、５００を超えるトレーニングデータの増加は、テストデータについてのニューラルネットワークの性能に対して相当な影響を有する可能性が高いことも意味する。
【０２５０】
これらの結果に基づいて、最後のネットワークをトレーニングした。八つのネットワークは３２５人の患者についてトレーニングした。このトレーニングデータについての性能は７２．３１％であった。これはｐａｔ０７実行と同様の結果であるが、ＥＬＩＳＡ２データによる改善が利用可能なトレーニングデータの量が減少したことによって相殺されていることは明らかである。
【０２５１】
感度分析の結果は、１５個の変数の中で７番目に順位付けされたＥＬＩＳＡ２の変数を使用したことを示す。
【０２５２】
八つのトレーニングしたネットワークの対数ファイルから、隠れた処理要素出力のプロットを作成した。所望の出力をプロット上に示すことができるように平均を求めた。八つのネットワークを比較することにより、それぞれが異なる方法でタスクを実施することが明らかとなる。データ点のいくつかのクラスタ化が、いくつかのプロットに見られる。これは一貫して起こるわけではないので、結諭を導き出すことはできない。
【０２５３】
ネットワーク出力値のカットオフの使用に基づいて、最後のトレーニング実行について統計値を生成した。ネットワーク出力がカットオフ以下である場合には、この例は考慮していない。
【０２５４】
以下の表はＣＲＦＬＥ２中の八つのネットワークのコンセンサスについての結果の概要である。
【０２５５】
【表６】
【０２５６】
一般に、これらの結果はｐａｔ０７についての結果より良好である。
【０２５７】
この最後のトレーニングのデモとして、ａｄｚｃｒｆ２．ｅｘｅ（付録ＩＩ参照）と呼ばれるテストプログラムを生成した。このプログラムにより、ＥＬＩＳＡフィールド中の値入力に基づくｐａｔ０７およびＣＲＦＥＬ２の実行が可能になる。このフィールド中の値が０であると、ｐａｔ０７が使用される。
【０２５８】
変数の関係の分析を実施した。この関係の分析に基づいて、Ｅｎｄｏ存在を寄与ファクタとして示す変数を、予測Ｅｎｄｏ中で使用する変数と比較した。二つのネットワーク（ＰＡＴＶＡＲＳＡおよびＰＡＴＶＡＲＳ３）のトレーニングの結果は、Ｅｎｄｏの場合には、相関を使用した場合のように関係が対称的ではないことを示す。結果を要約するために、ＣＲＦＶＡＲＳＡ．ＸＬＳを感度分析の結果から構築した。これらの結果は、関係の非線形特性を示す。変数の重要性は、トレーニング実行中のその他の変数の影響を受ける。このことは、この分析の利便性を高めるために重要でない変数を自動的に除去する手段が必要になることもあることを意味する。
【０２５９】
変数の関係（ＣＲＦＶＡＲ００からＣＲＦＶＡＲ６４）の分析は、ほとんどの場合に、ＥＬＩＳＡ２テストの対数の方が未処理のＥＬＩＳＡ２値より高い有効性を有することを示す。特に、予測するＥｎｄｏ存在およびＡＦＳ Ｓｔａｇｅの両方について上位に順位付けされた対数値ではそのようになる。
【０２６０】
結論．
【０２６１】
ＥＬＩＳＡ２テストは、ニューラルネットワークの予測能力を追加する。ＥＬＩＳＡ２テストにより、元のＥＬＩＳＡテストは不要となる。この結果に基づいて、ウェスタンブロットデータの処理の結果は、ニューラルネットワークの診断テストの能力をさらに改善することになる可能性が高い。
【０２６２】
トレーニングデータの増加の影響は、実行３とｐａｔ０６の比較において明らかに見られる。この性能の差は、トレーニングデータの増加によってニューラルネットワークの性能が大幅に向上したことを意味する。この比較から、データを二倍にすれば性能は１０から１５％向上することになることは明らかである。データを８倍から１０倍にすれば、性能は７５から８０％向上する可能性がある。
【０２６３】
＜例７＞
患者病歴Ｓｔａｇｅ／ＡＦＳ Ｓｃｏｒｅトレーニング．
【０２６４】
要件．
上記の例で開発した方法を使用して、疾病のｓｔａｇｅまたはＡＦＳ Ｓｃｏｒｅのいずれかについての関連のある変数を識別する。使用するターゲット出力変数の選択は、重要な患者病歴変数のフェーズ１リストを使用するトレーニング実行からのテストセットの性能の比較によって決定される。重要な変数のリストを選択した後で、５１０個の患者データベースについて八つのニューラルネットワークのコンセンサスをトレーニングすることになる。
【０２６５】
使用した方法．
Ｓｔａｇｅに望ましい出力およびＡＦＳ ｓｃｏｒｅに望ましい出力について、トレーニング例を構築した。Ｓｔａｇｅ情報の欠落した患者が７人、Ｓｃｏｒｅ情報が欠落した患者が２８人存在した。ｓｔａｇｅ変数については、データが欠落している場合には平均値２．０９を使用した。ｓｃｏｒｅについては、欠落データは、ｓｔａｇｅ変数の値に依存する値で置換した。ｓｔａｇｅ１では、ｓｃｏｒｅとして３を使用した。ｓｔａｇｅ２では、１０．５を使用した。ｓｔａｇｅ３では２８を使用し、ｓｔａｇｅ４では値５５を使用した。ｓｔａｇｅおよびｓｃｏｒｅは、所望の出力が０．０から１．０の範囲となるように再処理した。ｓｔａｇｅは線形に翻訳した。ｓｃｏｒｅについては二つの方法を使用した。第一の方法は１２．５で割ったｓｃｏｒｅの平方根である。第二の方法は、ｓｃｏｒｅ＋１の対数を１５０の対数で割った数である。
【０２６６】
ホールドアウト方法を使用して、ｓｔａｇｅ、ｓｃｏｒｅの平方根、およびｓｃｏｒｅの対数についてネットワークをトレーニングした。これらのネットワークは、４５個の変数を使用してトレーニングした。その結果を比較して、どの変数および処理を、この例の残りに使用するかを決定した。ｓｃｏｒｅの対数を選択した。
【０２６７】
この時点で、重要な変数のセットを分離する手順が開始された。八つのネットワークを全トレーニング例についてトレーニングし、コンセンサス感度分析を生成して変数の第一の順位付けを生み出した。次いでカイ二乗分割表を生成し、変数の第二の順位付けを生み出した。重要な変数を分離する手順は手動で開始するが、時間がかかりすぎることが分かった。この手順は、コンピュータプログラムとして実施し、約一週間コンピュータ上で実行した。
【０２６８】
変数選択の結果から、八つ１組のネットワークを全トレーニング例についてトレーニングした。コンセンサス結果を分析し、Ｅｎｄｏ存在の結果と比較した。
【０２６９】
結果．
４５個全ての変数の感度分析により以下の変数の順位付けが与えられた。
【０２７０】
【表７】
【０２７１】
【表８】
【０２７２】
【表９】
【０２７３】
カイ二乗分析から、以下の変数の順位付けが与えられた。
【０２７４】
【表１０】
【０２７５】
【表１１】
【０２７６】
変数選択手順中に選択した変数は以下の通りであり、これは最後の感度分析からの順位付けを示す。
【０２７７】
【表１２】
【０２７８】
ｓｃｏｒｅネットワークとＥｎｄｏ存在ネットワークとの比較は、所望のｓｃｏｒｅ出力にしきい値を与え、Ｅｎｄｏ存在の比較を生み出すことによって実施することができる。ｓｃｏｒｅおよびｐａｔ０７のネットワークについての結果を以下に示す。
【０２７９】
【表１３】
【０２８０】
結論．
この例で識別した変数のセットは妥当であると考えられる。
【０２８１】
自動化変数選択方法は適当に機能すると考えられる。変数の選択は、感度分析によって良好に予測される。
【０２８２】
疾病を予測する方法は二つあるので、Ｅｎｄｏ存在ネットワークおよびＳｃｏｒｅネットワークを組み合わせて、予測の信頼性を向上させることができる。
【０２８３】
＜例８＞
患者病歴Ａｄｈｅｓｉｏｎｓトレーニング．
【０２８４】
要件．
例７で概説した方法を使用して、Ａｄｈｅｓｉｏｎｓターゲット出力変数についての関連変数を識別する。このターゲット出力変数は、重要な患者病歴変数のフェーズ１リストを使用して実行されることになる。これにより、新しい出力を、フェーズ１中で使用されるＥｎｄｏ存在ターゲット変数と比較することも可能になる。重要な変数のリストを選択した後で、５１０個の患者データベースについて八つのニューラルネットワークのコンセンサスをトレーニングすることになる。
【０２８５】
使用した方法．
ａｄｈｅｓｉｏｎｓ変数についてのトレーニングデータは、例７の場合と同様に生成した。ａｄｈｅｓｉｏｎｓ変数は、Ｅｎｄｏ存在の場合に使用したのと同様の方法で二つの出力変数を生成した。この時点で、重要な変数のセットを分離する手順が開始された。八つ１組のネットワークを全トレーニング例についてトレーニングし、コンセンサス感度分析を生成して変数の第一の順位付けを生み出した。次いでカイ二乗分割表を生成し、変数の第二の順位付けを生み出した。重要な変数を分離する手順は手動で開始するが、時間がかかりすぎることが分かった。この手順は、コンピュータプログラムとして実施し、完了するまでに約一週間コンピュータ上で実行した。
【０２８６】
変数選択の結果から、八つ１組のネットワークを全トレーニング例についてトレーニングした。コンセンサス結果を分析し、Ｅｎｄｏ存在の結果と比較した。
【０２８７】
結果．
４５個全ての変数の感度分析により以下の変数の順位付けが与えられた。
【０２８８】
【表１４】
【０２８９】
【表１５】
【０２９０】
【表１６】
【０２９１】
カイ二乗分析により以下の変数の順位付けが与えられた。
【０２９２】
【表１７】
【０２９３】
【表１８】
【０２９４】
変数選択手順中に選択した変数は以下の通りであり、これは最後の感度分析からの順位付けを示す。
【０２９５】
【表１９】
【０２９６】
ＳｃｏｒｅネットワークとＥｎｄｏ存在ネットワークとの比較は、所望のｓｃｏｒｅ出力にしきい値を与え、Ｅｎｄｏ存在の比較を生み出すことによって実施することができる。ｓｃｏｒｅおよびｐａｔ０７のネットワークについての結果を以下に示す。
【０２９７】
【表２０】
【０２９８】
結論．
この例で識別した変数のセットは妥当であると考えられる。自動化変数選択方法は適当に機能すると考えられる。変数の選択は、感度分析によって良好に予測される。
【０２９９】
＜例９＞
この例は本明細書で提供するプロセスの再現性を示す。
【０３００】
使用した方法．
ＡｄｈｅｓｉｏｎｓおよびＳｃｏｒｅについての重要な変数の選択に使用したソフトウェアは、Ｅｎｄｏ存在の所望の出力を処理するように修正した。このソフトウェアは、各特定テストについて再コンパイルする必要なく、一般的な場合に実行することができるようにさらに修正した。
【０３０１】
Ａｄｈｅｓｉｏｎおよびｓｃｏｒｅについての実行と同様に、Ｅｎｄｏ存在変数について実行を行った。これは、変数選択プロセス中に四つのネットワークのコンセンサスを使用することを含む。トレーニングデータはトレーニングプロセス中に五つの区分に分割し、テストする変数の現在のセットをそれぞれ評価する、総数で２０個のネットワークを生成した。
【０３０２】
異なる乱数シードを有する実行の結果は、コンセンサス中のネットワーク数を増加させる必要があることを示した。
【０３０３】
１０個のネットワークのコンセンサスをプロセス中に使用して、二つの追加変数選択実行を行った。この場合には、総数で５０個のネットワークが変数の単一の組合せを評価するようにトレーニングされる。二つの別々の実行を、ランダム開始シードのみを変更して、同様に行った。
【０３０４】
こうした最後の二つの変数選択実行から、八つ１組のネットワークは、各変数セット（ｐａｔ０８、ｐａｔ０９）についてトレーニングされ、新しいデータ（元の５１０個の記録データベースには含まれない）についてそれらの性能を評価することを可能にする。これらのネットワークの性能についての統計値は、それらを元のｐａｔ０７のコンセンサスネットと比較することができるように生成される。
【０３０５】
結果．
異なる乱数シードを使用するそれぞれの場合で、変数選択プロセスは、重要な変数の様々なセットを発見した。コンセンサス中のネットワーク数が１０まで増加すると、異なる実行中で共通の変数が増加する。
【０３０６】
ｐａｔ０７について使用した元の１４個の変数の多くは、１０コンセンサスネットを使用する変数選択実行において重要であると確認された。選択した変数について行った最後の実行は、ｐａｔ０８およびｐａｔ０９と呼ばれる。
【０３０７】
ｐａｔ０８およびｐａｔ０９コンセンサスネットワーク中で使用した変数を、それらの感度分析の順位付けとともに以下に示す。
【０３０８】
【表２１】
【０３０９】
結論．
変数選択プロセスは良好に働き、ｐａｔ０７ネットと同様またはそれ以上に働く二つの代替のネットワークを生み出した。この結論の理由は、トレーニングデータのみについて生成した性能統計値が、ｐａｔ０８およびｐａｔ０９よりｐａｔ０７の方がわずかに良好に現れるためである。変数選択プロセスはテストセットの性能に基づいて慎重に変数を選ぶので、関連するネットワークが過剰トレーニングになっている可能性は低い。ネットワークが過剰トレーニング状態になる場合の典型的な特徴は、トレーニング例の性能が向上し、テストセットの性能が低下することである。したがってｐａｔ０７の性能の方が高いと、わずかに過剰トレーニングの結果となる可能性がある。
【０３１０】
変数選択プロセスは明らかに、同じトレーニングデータについての二つの代替の選択を生み出したが、二つの選択の性能は非常に類似していると考えられる。これは二つの実行についての最後の変数選択のテストセットの性能に基づいている。二つの変数の相対的な性能が近い場合には、ランダムファクタがそれらの相対的な順位付けに影響を及ぼす可能性があることが明らかになった。変数選択実行中のランダムファクタは、ランダム開始点と、トレーニング中に入力に付加された雑音の使用とを含む。ランダム雑音は、より良好な一般化（翻訳：テストセットの性能）を補助することが分かっている。コンセンサス中のネットワーク数が増加するにつれて、ランダム影響の度合いは低下する。
【０３１１】
高品質のネットワークを生み出す変数のセットの決定は、変数選択プロセスによって扱われるものと考えられる。うまく働く変数のより多くの組合せが枚挙されるにつれて、特定の変数または変数の組合せが、良好な性能には不可欠であることが明らかになる。
【０３１２】
＜例１０＞
子宮内膜症の過去の病歴および骨盤手術歴の排除の診断性能に対する評価．
この例の目的は、患者の子宮内膜症を有する危険性を評価する際の「子宮内膜症の過去の病歴」変数および「過去の骨盤手術歴」変数の重要性を決定し、その結論を予測する際の任意の所与の変数の重要性を測定する代替の手段（感度分析とは異なる）を提供することである。
【０３１３】
タスク：
１．「子宮内膜症の過去の病歴」を除いて変数選択プロセスを適用する。
２．変数選択プロセスについて様々なランダムシード変数を使用して、タスク（１）を繰り返す。
３．上記のタスク（１）および（２）で識別した「子宮内膜症関連変数」の両セットについて、コンセンサスネットワークトレーニングプロセスを完了する。
４．子宮内膜症データベースから「過去の骨盤手術歴」変数を除いて、上記タスク（１）、（２）、および（３）を繰り返す。
５．子宮内膜症データベースから「子宮内膜症の過去の病歴」変数および「過去の骨盤手術歴」変数の両方を除いて、上記タスク（１）、（２）、および（３）を繰り返す。
【０３１４】
使用した方法．
例９で開発した変数選択ソフトウェアを基本として使用して、例１０のそれぞれについての結果を生成した。このソフトウェアは、例１０の要件に基づいて考慮から排除されることになる変数をユーザが識別することができるように修正した。このソフトウェアは、除去した変数の影響をより容易に理解することができるように、テストする変数のセットのそれぞれについての分類性能を報告することができるようにも修正した。
【０３１５】
行った各変数選択実行について、変数選択プロセスのパラメータは以下のように設定した。
【０３１６】
［表１１］
――――――――――――――――――――――――――――――
区分数： 5
コンセンサスネットワーク： 10
トレーニング例サイズ： 510
パス数： 999
――――――――――――――――――――――――――――――
【０３１７】
変数選択プロセス中のデータベース変数の順序付けは、感度分析およびカイ二乗分析に基づいている。この順序付けは、ｐａｔ０８およびｐａｔ０９で使用したものと同様である。
【０３１８】
この例のためにトレーニングしたネットワークは、以下のように識別される（二つのネットは異なるランダムシードを有する）。
【０３１９】
［表１２］
――――――――――――――――――――――――――――――
Ｅｎｄｏの過去の病歴を除去：pat10、pat11
過去の骨盤手術歴を除去： pat12、pat13
両変数を除去： pat14、pat15
――――――――――――――――――――――――――――――
【０３２０】
変数およびランダムシードの各組合せについて変数選択プロセスが完了した後で、八つ１組のネットワークを、識別された選択した変数を使用してトレーニングした。これらのネットワークのそれぞれは、完全な５１０個の記録データベースについてトレーニングされる。これらのトレーニング実行から、出力のコンセンサスがＥｘｃｅｌのスプレッドシート中で生成され、各ネットワークの性能を評価することができる。
【０３２１】
結果．
ネットワークのコンセンサスの通常の性能を、５の区分でホールドアウト方法を使用して推定した。ｐａｔ０８およびｐａｔ０９の場合のように、全ての変数が利用可能である場合には、分類性能は６５．２３％と推定された。
【０３２２】
子宮内膜症の過去の病歴の変数が考慮から除去される場合（ｐａｔ１０およびｐａｔ１１）には、性能は６２．４７％と推定された。これは２．７６％の低下に相当する。
【０３２３】
過去の骨盤手術歴の変数が考慮から除去される場合（ｐａｔ１２およびｐａｔ１３）には、性能は６４．５２％と推定された。これは０．７２％のみの低下に相当する。
【０３２４】
両変数が考慮から除去される場合（ｐａｔ１４およびｐａｔ１５）には、性能は６２．４３％と推定された。これは２．８０％の低下に相当する。これは子宮内膜症の過去の病歴を除去した場合よりわずかに悪いだけであり、変数が独立である（相関がない）という想定に基づくその他の結果と矛盾しないと考えられる。
【０３２５】
結論．
利用可能であればニューラルネットワークで骨盤手術歴を使用するが、この変数を除去した影響は最小限であった。ニューラルネットワークは、その他の情報を使用することによってこの変数の除去を補償することができるものと考えられる。
【０３２６】
子宮内膜症の過去の病歴の除去は有意である。この変数は、いかなる感度分析でも常にリストの最上位にある。その除去は、全ての変数が利用可能であるときには平均を超えて約２．７６％の性能低下を引き起こした。平均性能が６５．２３％と推定され、５０％は偶然に達成することができるものとすると、これは１８．１２％の有効低下に相当する。
【０３２７】
両変数が除去された場合には、どのような有意な性能低下も現れず、これはこれら二つの変数の間に相互作用がないことを示す。変数を除去し、変数選択プロセスを実行するこのプロセスは、所与の変数の真の値を決定する良好な手法であると考えられる。診断に重要だが高度に相関する変数は二つ存在し、一方のみを除去しても、ネットワークがもう一方を使用することによってこれを補償するので、ほとんど影響がないことに留意されたい。それらの値が明らかになるのは、両方を除去したときのみである。
【０３２８】
＜例１１＞
骨盤痛および月経困難症の除去の診断性能に対する評価．
【０３２９】
要件．
目的：
１．患者の子宮内膜症を有する危険性を評価する際の「骨盤痛」変数および「月経困難症」変数の重要性を決定すること。
２．その結論を予測する際の任意の所与の変数の重要性を測定する別々の機構（感度分析とは異なる）を提供すること。
タスク：
１．本明細書に記載の変数選択プロセスを適用する。
２．変数選択プロセスについて様々なランダムシード変数を使用して、タスク（１）を繰り返す。
３．上記のタスク（１）および（２）で識別した「子宮内膜症関連変数」の両セットについて、コンセンサスネットワークトレーニングプロセスを完了する。
４．子宮内膜症データベースから「月経困難症」変数を除いて、上記タスク（１）、（２）、および（３）を繰り返す。
５．子宮内膜症データベースから「骨盤痛」変数および「月経困難症」変数の両方を除いて、上記タスク（１）、（２）、および（３）を繰り返す。
【０３３０】
使用した方法．
例９で開発した変数選択ソフトウェアを基本として使用して、これらのタスクのそれぞれについての結果を生成した。
【０３３１】
行った各変数選択実行について、変数選択プロセスのパラメータは以下のように設定した。
【０３３２】
［表１３］
――――――――――――――――――――――――――――――
区分数： 5
コンセンサスネットワーク： 10
トレーニング例サイズ： 510
パス数： 999
――――――――――――――――――――――――――――――
【０３３３】
変数選択プロセス中のデータベース変数の順序付けは、感度分析およびカイ二乗分析に基づいている。この順序付けは、ｐａｔ０８およびｐａｔ０９で使用したものと同様である。このタスクのためにトレーニングしたネットワークは、以下のように識別される（二つのネットは異なるランダムシードを有する）。
【０３３４】
［表１４］
――――――――――――――――――――――――――――――
骨盤痛を除去： pat16、pat17、pat17A
月経困難症を除去： pat18、pat19
両変数を除去： pat20、pat21
四つの変数（EXs.11および12） ：pat22、pat23、pat23A
――――――――――――――――――――――――――――――
【０３３５】
変数およびランダムシードの各組合せについて変数選択プロセスが完了した後で、八つ１組のネットワークを、識別された選択した変数を使用してトレーニングした。これらのネットワークのそれぞれは、完全な５１０個の記録データベースについてトレーニングされる。これらのトレーニング実行から、出力のコンセンサスがＥｘｃｅｌのスプレッドシート中で生成され、各ネットワークの性能を評価することができる。
【０３３６】
結果．
ネットワークのコンセンサスの通常の性能を、５の区分でホールドアウト方法を使用して推定した。ｐａｔ０８およびｐａｔ０９の場合のように、全ての変数が利用可能である場合には、分類性能は６５．２３％と推定された。
【０３３７】
骨盤痛の変数が考慮から除去される場合（ｐａｔ１６およびｐａｔ１７）には、性能は６１．０３％と推定された。これは４．２０％の低下に相当する。
【０３３８】
月経困難症の変数が考慮から除去される場合（ｐａｔ１８およびｐａｔ１９）には、性能は６３．４４％と推定された。これは１．７９％のみの低下に相当する。
【０３３９】
両変数が考慮から除去される場合（ｐａｔ２０およびｐａｔ２１）には、性能は６１．２２％と推定された。これは４．００％の低下に相当する。これは骨盤痛のみを除去した場合より良好である。これは骨盤痛についての性能低下が誇張されることを意味する。骨盤痛を含まずに最もよく実施されるネットワークは、６２．２９％の性能を有し、これは２．９４％の低下を与える。両方とも除去したときに性能が与えられる場合には、これはより妥当な推定となる。
【０３４０】
結論．
四つの変数をテストして、重要性の順序で変数を順位付けすると以下の通りとなる。
【０３４１】
［表１５］
――――――――――――――――――――――――――――――
骨盤痛 2.94から4.20％の低下
ｅｎｄｏの過去の病歴 2.76％の低下
月経困難症 1.79％の低下
過去の骨盤手術歴 0.72％の低下
――――――――――――――――――――――――――――――
【０３４２】
変数を除去し、変数選択プロセスを実行するこのプロセスは、所与の変数の値を決定する良好な手法である。診断に重要だが高度に相関する変数は二つ存在し、一方のみを除去しても、ネットワークがもう一方を使用することによってこれを補償するので、ほとんど影響がないことに留意されたい。それらの真の値が明らかになるのは、両方を除去したときのみである。
【０３４３】
＜例１２＞
軽度および重度の子宮内膜症を区別するようにニューラルネットワークをトレーニングする．
目的：
１．最小限／軽度の子宮内膜症と中程度／重度の子宮内膜症とを区別するネットワークのコンセンサスをトレーニングすること。
タスク：
１．ネットワークを以下のようにＡＦＳ ｓｃｏｒｅにトレーニングする。
正＝Ｅｎｄｏ Ｓｔａｇｅ ＩＩＩまたはＩＶ
負＝Ｅｎｄｏなし、Ｅｎｄｏ Ｓｔａｇｅ ＩまたはＩＩ
２．子宮内膜症データベースのニューラルネットワークを使用
する医療および生化学テストを開発する方法に記載の変数選択プロセスを適用する。
３．変数選択プロセスに対して様々なランダムシード変数を使用して、タスク（２）を繰り返す。
４．進行する前に上記（２）および（３）で選択した変数を比較する。選択した変数のセットが大幅に異なる場合には、様々なランダムシード重みを使用してタスク（２）を繰り返す。
５．上記（２）および（３）で選択した変数について最後のコンセンサスネットワークをトレーニングする。
６．Ｅｎｄｏが患者に存在した子宮内膜症データベースのサブセットのみを使用して、ステップ（２）から（５）を繰り返す。
【０３４４】
使用した方法．
例１０で開発し、例１１で修正した変数選択ソフトウェアを基本として使用して、この例のタスクのそれぞれについての結果を生成した。
【０３４５】
行った各変数選択実行について、変数選択プロセスのパラメータは以下のように設定した。
【０３４６】
［表１６］
――――――――――――――――――――――――――――――
区分数： 5
コンセンサスネットワーク： 20
トレーニング例サイズ： 510(ステップ(6)では290)
パス数： 999
――――――――――――――――――――――――――――――
【０３４７】
変数選択プロセス中のデータベース変数の順序付けは、例１で説明した新しいターゲット出力について特に実行される感度分析およびカイ二乗分析に基づいている。この例のためにトレーニングしたネットワークは、以下のように識別される（二つのネットは異なるランダムシードを有する）。
【０３４８】
［表１７］
――――――――――――――――――――――――――――――――――――
全データベースについてトレーニングしたネット：ＡＦＳ０１およびＡＦＳ０２
Ｅｎｄｏ存在サブセットについてトレーニングしたネット：ＡＦＳＥＰ１およびＡＦＳＥＰ２
――――――――――――――――――――――――――――――――――――
【０３４９】
変数およびランダムシードの各組合せについて変数選択プロセスが完了した後で、八つ１組のネットワークを、識別された選択した変数を使用してトレーニングした。これらのＡＦＳ０１およびＡＦＳ０２変数についてのネットワークのそれぞれは、完全な５１０個の記録データベースについてトレーニングされる。ＡＦＳＥＰ１およびＡＦＳＥＰ２変数についてのネットワークのそれぞれは、ｅｎｄｏ存在変数が正である２９１個の記録についてトレーニングされる。これらのトレーニング実行から、出力のコンセンサスがＥｘｃｅｌのスプレッドシート中で生成され、各ネットワークの性能を評価することができる。
【０３５０】
結果．
減少したサブセット実行中で発見された変数のカウントは、全トレーニング例についての実行の場合より少ない。ネットワークのコンセンサスの通常の性能は、５の区分のホールドアウト方法を使用して推定された。全トレーニング例を使用するＡＦＳ実行についての通常の分類性能は７７．２２５４９％であった。ｅｎｄｏ存在サブセットについての通常の分類性能は６３．００８６２１％であった。全ての例が負として分類される場合には、全トレーニング例についての性能は７８．８２％、サブセットについては６５．２９％になるはずである。正および負の分類のためのカットオフ値を変更することにより、これらの数字によって提示されるより良好な性能を達成することができる。
【０３５１】
結論．
全トレーニング例およびｅｎｄｏ存在例のサブセットについての変数選択実行の結果は、重要な変数の決定ではトレーニング例のサイズが重要であることを示す。トレーニング例のサイズが大きくなるにつれて、より多くの変数が重要と考えられることになることは明らかである。この結果は、トレーニングデータが多くなれば、変数選択プロセス、および診断テストの構築に使用するコンセンサスネットワークの全体的な性能が改善されることを示すものと解釈することもできる。
【０３５２】
＜例１３＞
変数選択、妊娠に関係する事象を予測するニューラルネットの開発、および胎児フィブロネクチンのテストの性能の改善．
データは、米国特許第５４６８６１９号に記載のアッセイの臨床試験に含まれる７００人を超える被験患者から収集した。変数選択は、胎児フィブロネクチン（ｆＦＮ）テストデータなしで実施した。ＥＧＡ１からＥＧＡ４で示される最後のネットワークは、以下の表に示す変数でトレーニングされる。
【０３５３】
ＥＧＡ１からＥＧＡ４は、変数選択に使用されるニューラルネットワークを表す。ＥＧＡ１では、変数選択プロトコルは、入力層に八つの入力、隠れた層に三つの処理要素、および出力層に一つの出力を有するネットワークアーキテクチャで実施される。ＥＧＡ２は、入力層の入力が九つであることを除けばＥＧＡ１と同様である。ＥＧＡ３は、入力層に七つの入力、隠れた層に三つの処理要素、および出力層に一つの出力を有する。ＥＧＡ４は、ＥＧＡ１の入力層の入力が八つであることを除けば、ＥＧＡ１と同様である。
【０３５４】
選択した変数は以下の通りである。
【０３５５】
【表２２】
【０３５６】
ＥＧＡ＝推定在胎齢。
【０３５７】
最終的なコンセンサスネットワークの性能．
【０３５８】
【表２３】
【０３５９】
ＥＧＡ＝推定在胎齢（３４週未満）；ＴＰ＝真の正；ＴＮ＝真の負；ＦＰ＝偽の正；ＦＮ＝偽の負；ＳＮ＝感度；ＳＰ＝特異性；ＰＰＶ＝正の予測値；ＮＰＶ＝負の予測値；ＯＲ＝オッズ比（正しい総数／正しい回答の総数）；ｆＦＮ＝ｆＦＮについてのＥＬＩＳＡアッセイからの結果
【０３６０】
この結果は、七つの患者変数およびｆＦＮ ＥＬＩＳＡアッセイを含み、３４週未満での分娩を予測するニューラルネットであるネットワークＥＧＡ４が、ｆＦＮ ＥＬＩＳＡアッセイよりはるかに少ない偽の正を有することを示す。さらに、偽の正の数は５０％低下した。ｆＦＮテストをニューラルネットに組み込むことで、ｆＦＮ ＥＬＩＳＡアッセイの性能が向上した。全てのニューラルネットは、単独のｆＦＮテストより良好に実施された。したがって、本明細書の方法は、妊娠に関係する事象を予測するために使用することができるニューラルネットおよびその他の意思決定支援システムを開発するために使用することができる。
【０３６１】
＜例１４＞
ｐａｔ０７変数の特定のサブセットについてコンセンサスニューラルネットワークをトレーニングする．
この例は、ｐａｔ０７変数のｐａｔ０７性能への寄与を測量し、最小数のｐａｔ０７変数を使用して子宮内膜症ネットワークを開発するように設計されたタスクの結果を示す。
【０３６２】
タスク：
１．以下のｐａｔ０７変数の組合せを使用して最後のコンセンサスネットワークをトレーニングする。
ａ．全１４個からＥｎｄｏ歴を引く（総数１３個の変数）
ｂ．全１４個から骨盤痛を引く（総数１３個の変数）
ｃ．全１４個から月経困難症を引く（総数１３個の変数）
ｄ．全１４個から骨盤手術を引く（総数１３個の変数）
２．ｐａｔ０７変数のその他の組合せを使用して最後のコンセンサスネットワークをトレーニングする。
ａ．Ｅｎｄｏ歴、骨盤痛、および月経困難症
ｂ．Ｅｎｄｏ歴、骨盤痛、月経困難症、および骨盤手術歴
３．上記結果から示されるｐａｔ０７変数のその他の組合せを使用して最後のコンセンサスネットワークをトレーニングする。
【０３６３】
使用した方法．
元の患者データベースを使用して、評価すべき変数の各組合せについてトレーニング例が生成された。これらのトレーニング例は、所与のコンセンサス実行に必要な変数のみを含む。ＴｒａｉｎＤｏｓTMをバッチモードで使用して、評価すべき変数の各組合せについて八つのニューラルネットワークのセットをトレーニングした。ネットワークは、ｐａｔ０７トレーニング実行と同様のパラメータを使用してトレーニングした。唯一の相違は、各ネットワークについての乱数シードの設定である。各ネットワークは、全５１０個の記録データベースについてトレーニングされた。これらのトレーニング実行から、出力のコンセンサスがＥｘｃｅｌのスプレッドシート中で生成され、各ネットワークの性能を評価することができる。
【０３６４】
結果．
これらの実行は最後のトレーニング実行であるので、変数を除去した影響は見られるが、ホールドアウト方法によって達成することができるほど明白な指示は与えない。
【０３６５】
結論．
所与の変数のセットの寄与を決定することを目的とする全トレーニング例についての変数選択実行の結果は、変数選択プロセスで使用した評価方法ほど良好な方法ではない。５の区分、および２０個のネットコンセンサスでの評価用の「ホールドアウト」方法は、変数を比較するための大幅に良好な統計値を与える。
【０３６６】
＜例１５＞
ニューラルネットワーク（ｐａｔ０７）を介した分析に適した複数のパラメータを使用する、子宮内膜症の診断を補助する方法および装置．
図７は、複数のニューラルネットワークのコンセンサスネットワーク（図１０）で使用される形態の臨床データについてトレーニングされた一タイプのニューラルネットワーク１０の一実施形態を示す概略図である。この構造は、デジタルコンピュータで処理される重み値およびデータとともにデジタル形式で記憶される。この第一タイプニューラルネットワーク１０は、三つの層、すなわち入力層１２、隠れた層１４、および出力層１６を含む。入力層１２は、平均および標準偏差値を生成して、入力層に入力される臨床ファクタに重み付けする正規化装置（図示せず）をそれぞれ備える１４個の入力プリプロセッサ１７〜３０を有する。平均および標準偏差値は、ネットワークトレーニングデータに固有である。入力層のプリプロセッサ１７〜３０はそれぞれ、経路５１〜６４、および６５〜７８を介して、隠れた層１４の第一および第二処理要素４８、５０に結合され、隠れた層の処理要素４８、５０がそれぞれ、各入力プリプロセッサ１７〜３０から値または信号を受けるようになっている。各経路は、トレーニングデータについてのトレーニングの結果に基づく固有の重みを備える。固有の重み８０〜９３および９５〜１０８は出力と非線形に関係し、各ネットワーク構造およびトレーニングデータの初期値について固有である。重みの最終値は、ネットワークトレ−ニングに割り当てられた初期化値に基づく。トレーニングの結果生じる重みの組合せは、重みで表現されるその記述が所望の解決策を生成する機能的装置、またはより詳細には子宮内膜症の診断の暫定的指標を含む。
【０３６７】
本明細書で提供する子宮内膜症テストでは、ニューラルネットワークをトレーニングするために使用される、出力がそれに基づくファクタは、疾病の過去の病歴、出産回数、月経困難症、年齢、骨盤痛、骨盤手術歴、一日あたりの喫煙量、薬物治療歴、妊娠回数、流産回数、異常ＰＡＰ／形成異常症、妊娠高血圧症、生殖器いぼ、糖尿病である。これら１４個のファクタは、４０を超える臨床ファクタの元のセットの中で、最も影響力のある（最大感度の）セットであると決定されている。（影響力のあるファクタのその他のセットも導かれている。上記の各例を参照）。
【０３６８】
隠れた層は、経路１６４および１７９を介して処理要素４８および５０に提供されるバイアス重み９４、１１９によってバイアスされる。出力層１６は、二つの出力処理要素１２０、１２２を含む。出力層１６は、隠れた層の処理要素４８、５０の両方から、経路１２３、１２４、および１２５、１２６を介して入力を受ける。出力層の処理要素１２０、１２２は、重み１１０、１１２、および１１４、１１６によって重み付けされる。出力層１６は、経路１２９および１３１を介して処理要素１２０および１２２に提供されるバイアス重み１２８、１３０によってバイアスされる。
【０３６９】
子宮内膜症の有無または重さの暫定的指標は、二つの処理要素１２０、１２２からの値ＡおよびＢの出力対である。これらの値は常に０から１の間の正である。一方の指標は、子宮内膜症が存在することを示す。もう一方の指標は、子宮内膜症が存在しないことを示す。出力対Ａ、Ｂは一般に有効な疾病の指標を与えるが、トレーニングしたニューラルネットワークのコンセンサスネットワークはより信頼性の高いインデックスを提供する。
【０３７０】
図１０を参照すると、最後の指標対Ｃ、Ｄは、複数、詳細には八つの、トレーニングされたニューラルネットワーク１０Ａから１０Ｈ（図１０）からの暫定的指標対のコンセンサスの分析に基づいている。各暫定的指標対Ａ、Ｂは、経路１３３〜１４０および１４１〜１４８を介して二つのコンセンサスプロセッサ１５０、１５２の一方に供給される。第一コンセンサスプロセッサ１５０は全ての正の指標を処理する。第二コンセンサスプロセッサ１５２は全ての負の指標を処理する。各コンセンサスプロセッサ１５０、１５２は平均化装置である、すなわち同様の暫定的指標対Ａ、Ｂの集合の、平均などの一次結合を単に形成する。その結果の信頼性指標対は所望の結果であり、入力は被験患者についての臨床ファクタのセットである。
【０３７１】
図９は、代表的なプロセッサ要素１２０を示す。同様のプロセッサ４８および５０は、さらに多くの入力要素を有し、プロセッサ要素１２２はほぼ同一である。代表的なプロセッサ要素１２０は、各入力経路（ここでは全体として要素ごとに１５、１６、または３の番号を付け、プロセッサ要素１２０の一部分として示す）上に複数の重み乗算器１１０、１１４、１２８を含む。重み乗算器からの重み付けされた値は、加算器１５６に結合される。加算器１５６の出力は、Ｓ字型伝達関数やアークタンジェント伝達関数などの活性化関数１５８に結合される。プロセッサ要素は、専用ハードウェアとして、またはソフトウェア機能中で実施することができる。
【０３７２】
感度分析を実施して、臨床ファクタの相対的な重要性を決定することができる。感度分析は、デジタルコンピュータ上で以下のように実施される。トレーニングしたニューラルネットワークを、各トレーニング例（真の出力が知られている、または推測される入力データ群）について順方向モード（トレーニングなし）で実行する。次いで各トレーニング例についてのネットワークの出力を記録する。その後、各入力変数を全トレーニング例にわたる入力変数の平均値で置き換えて、ネットワークを再実行する。次いで各出力の値の差を二乗して合計（累積）し、個別の合計を得る。
【０３７３】
この感度分析プロセスは、各トレーニング例について実施する。次いで全ての変数が単一の結果出力に等しく寄与する場合に正規化値が１．０となるように、各結果合計を従来のプロセスに従って正規化する。この情報から、正規化値を重要性の順序で順位付けすることができる。
【０３７４】
臨床データの分析では、このニューラルネットワークシステムについてのファクタの感度の順序は、疾病の過去の病歴、出産回数、月経困難症、年齢、骨盤痛、骨盤手術歴、一日あたりの喫煙量、薬物治療歴、妊娠回数、流産回数、異常ＰＡＰ／形成異常症、妊娠高血圧症、生殖器いぼ、糖尿病であると決定された。
【０３７５】
特定のニューラルネットワークシステムがトレーニングされ、有効な診断ツールであることが分かった。図７および図１０に示すニューラルネットワークシステムは以下のように記述される。
【０３７６】
［表１８］
――――――――――――――――――――――――――――――
０．バイアス
１．年齢
２．糖尿病
３．妊娠高血圧症
４．一日あたりの喫煙量
５．妊娠回数
６．出産回数
７．流産回数
８．生殖器いぼ
９．異常ＰＡＰ／形成異常症
１０．子宮内膜症の病歴
１１．骨盤手術歴
１２．薬物治療歴
１３．骨盤痛
１４．月経困難症
――――――――――――――――――――――――――――――
【０３７７】
以上のような、感度の順序ではなく識別の順序になっている重みは、八つの第一タイプのニューラルネットワーク１０それぞれについて以下のようになっている。
【０３７８】
第一ニューラルネットワークＡ
【０３７９】
【表２４】
【０３８０】
第一ニューラルネットワークＢ
【０３８１】
【表２５】
【０３８２】
第一ニューラルネットワークＣ
【０３８３】
【表２６】
【０３８４】
第一ニューラルネットワークＤ
【０３８５】
【表２７】
【０３８６】
第一ニューラルネットワークＥ
【０３８７】
【表２８】
【０３８８】
第一ニューラルネットワークＦ
【０３８９】
【表２９】
【０３９０】
第一ニューラルネットワークＧ
【０３９１】
【表３０】
【０３９２】
第一ニューラルネットワークＨ
【０３９３】
【表３１】
【０３９４】
第一タイプのニューラルネットワークについての正規化した観測値
【０３９５】
【表３２】
【０３９６】
さらに、本明細書で提供するように、ＥＬＩＳＡ形式テストによるテストなどの生化学テストの結果を使用して、トレーニングした増加されたニューラルネットワークシステムを生成し、感度および特異性の比較的高い信頼性レベルを生み出すことができる。こうした第二タイプのニューラルネットワークを図８に示す。入力層１２のノード３１と、一対の重み１０９および１１１が追加されていることを除けば、番号は図７と同様である。ただし、ネットワーク中の全ての重みは、追加の生化学結果でトレーニングすると変化する。正確な重みセットは、特定の生化学テストトレーニング例に依存する。
【０３９７】
本明細書で提供されるトレーニングシステムを使用することができる。代替のトレーニング技術を使用することもできる（例えば、Baxtによる「Use of an Artificial Neural Network for the Diagnosis of Myocardial Infarction」、Annals of Internal Medicine 115，p.843（1991 年 12 月 １ 日);「Improving the Accuracy of an Artificia1 Neural Network Using Multiple Differently Trained Networks」、Neural Computation 4,p.772(1992 年)を参照のこと）。
【０３９８】
テスト結果を評価する際には、高ｓｃｏｒｅは疾病が存在することに相関し、低ｓｃｏｒｅは疾病が存在しないことに相関し、極端なｓｃｏｒｅは信頼性を高めるが、中程度のｓｃｏｒｅは信頼性を低下させることに留意した。子宮内膜症が存在することは、０．６以上の出力によって示され、それが存在しないことは０．４以下によって示される。高い相対ｓｃｏｒｅが、疾病の高い相対重さと相関することにも留意した。本明細書の方法は、疾病状態の有無または重さを確立するためにそれ以上の手順、しばしば手術を必要とする患者数を最小限に抑える。
【０３９９】
当業者には修正形態が明らかであるので、本発明は添付の特許請求の範囲によってのみ制限されるものとする。
【図面の簡単な説明】
【０４００】
【図１】患者病歴ベースの診断テストプロセスを開発するための流れ図である。
【図２】生化学診断テストを開発するための流れ図である。
【図３】重要な変数を分離するプロセスの流れ図である。
【図４】変数の分割を含む一つまたは一組のニューラルネットワークをトレーニングするプロセスの流れ図である。
【図５】生化学診断テストを開発するための流れ図である。
【図６】生化学診断テストの有効性を決定するための流れ図である。
【図７】複数のニューラルネットワークのコンセンサスネットワーク用に使用されるフォームの臨床データに基づいてトレーニングされたニューラルネットワークの概略図である。
【図８】八個のニューラルネットワークのコンセンサス用に使用されるフォームのテスト結果データによって増大した臨床データに基づいてトレーニングされたニューラルネットワークの第二の実施形態の概略図である。
【図９】ニューラルネットワークの各ノードの処理要素の概略図である。
【図１０】ニューラルネットワークの第一または第二の実施形態を使用した八個のニューラルネットワークのコンセンサスネットワークの概略図である。
【図１１】診断子宮内膜症インデックス中のユーザインタフェースの例示的なインタフェーススクリーンの図である。
【技術分野】
【０００１】
本発明の主題は、医療診断補助装置の開発のための、予測技術、特に非線形予測技術の使用に関する。特に、医療診断ツールおよび診断の方法の開発のために患者病歴情報からの入力を有するニューラルネットワークおよび他のエキスパートシステムに対して有効なトレーニング技法が提供される。
【背景技術】
【０００２】
本出願は、１９９６年２月９日出願、Jerome Lapointe および Duane DeSieno の米国特許出願第０８／５９９２７５号「METHOD FOR DEVEL0PING MEDICAL AND BI0CHEMICAL DIAGN0STICTESTS USING NEURAL NETW0RKS」の一部継続出願であり、かつ１９９６年２月９日出願、Jerome Lapointeおよび Duane DeSienoの米国仮特許出願第６０／０１１４４９号「METHOD ANDAPPARATUS FOR AIDING IN THE DIAGNOSIS OF ENDOMETRIOSIS USINGA PLURALITY OF PARAMETERS SUITED F0R ANALYSIS THROUGH ANEURAL NETWORK」の３５Ｕ．Ｓ．Ｃ§１１９（ｅ）による優先権を主張するものである。上記の出願および仮出願それぞれの主題は、全体として参照により本発明の一部となる。
【０００３】
マイクロフィッシュ付録．
本明細書に記載のプログラム用のコンピュータプログラムソースコードを含む二つのコンピュータ付録は、本願の出願と同時に提出されている。このコンピュータ付録は、３７Ｃ．Ｆ．Ｒ．１．９６（ｂ）に従ってマイクロフィッシュ付録に変換できる。以下「マイクロフィッシュ付録」と呼ぶコンピュータ付録は、それぞれ全体として参照により本発明の一部となる。したがって、本特許文献の開示の一部は、著作権保護を受ける資料を含む。著作権所有者は、本特許文献または特許開示のいずれかが特許商標庁特許ファイルまたはレコードに記載されたときに、それによるファクシミリ複製に異議はないが、それ以外の場合すべての著作権はどんなものでも留保する。
【０００４】
データ収集、意思決定支援システムおよびニューラルネットワーク．
いくつかのコンピュータ意思決定支援システムは、情報を分類し、かつ入力データ中のパターンを識別する能力を有し、大量の変数を有するデータセットおよび変数間の複雑な相互作用を評価する場合に特に有用である。集合的に「データ収集」または「データベース中の知識発見」（本明細書では意思決定支援システム）と呼ばれるこれらのコンピュータ意思決定システムは、プロセッサ、内部デバイスおよび周辺デバイス、メモリデバイスおよび入出力インタフェースを有する同じ基本ハードウェア構成要素、例えば、パーソナルコンピュータ（ＰＣ）を使用する。システム間の区別は、ソフトウェア中で起こり、より基本的には、ソフトウェアがそれに基づいているパラダイム中で起こる。意思決定支援機能を提供するパラダイムは、回帰方法、決定ツリー、判別分析、パターン認識、ベイズの決定理論、およびファジー諭理を含む。より広く使用されている意思決定支援コンピュータシステムの一つは人工ニューラルネットワークである。
【０００５】
人工ニューラルネットワークまたは「ニューラルネット」は、ニューロンと呼ばれる個々の処理要素が層中に配列され、連続的な層中の要素間の多数の相互接続を備える並列情報処理ツールである。処理要素の働きは、処理要素の出力が一般に非線形の伝達関数によって決定される生物学神経細胞に近似するようにモデル化される。ニューラルネットワークの代表的なモデルでは、入力を受け取る要素用の入力層、出力を発生する一つまたは複数の要素を含む出力層、およびそれらの間の要素の一つまたは複数の隠れた層中に処理要素が配列される。隠れた層は、非線形問題をそれによって解決できる手段を与える。処理要素中、要素への入力信号は、各入力に関連する重み係数に従って算術的に重み付けされる。得られた重み付けされた合計は、Ｓ字形関数など、選択された非線形伝達関数によって変換されて、各処理要素ごとに、その値が０から１まで変動する出力をもたらす。学習プロセスは「トレーニング」と呼ばれ、特定の処理要素が、他の処理要素の出力と結合したときにニューラルネットワークの出力とトレーニングデータ中に提示された所望の出力との間に生じた誤差を最小限に抑える結果を発生する出力を与えるように、処理要素の重みに対する一連のインタラクティブ調整を必要とする試行錯誤プロセスである。要素の重みの調整は誤差信号によってトリガされる。トレーニングデータは、各例がニューラルネットワークに提示されるべき一組の入力値および関連する一組の所望の出力値を含むいくつかのトレーニング例として説明される。
【０００６】
一般的なトレーニング方法は、誤差信号をネットワーク中を逆方向に伝搬させる逆方向伝搬または「バックプロップ」である。誤差信号は、所与の要素の重みをどのくらい変化させるべきかおよび誤差勾配を決定するために使用される。その目的は、平均二乗誤差の大域的最小値に収束することである。収束に向かう経路、すなわち下り勾配はステップの形でとられる。各ステップは、処理要素の入力重みの調整である。各ステップのサイズは学習率によって決定される。下り勾配の傾斜は、収束が達成されたという誤った印象を与え、不正確な結果をもたらす極小値の働きをする谷を有する平坦な領域および急な領域を含む。
【０００７】
バックプロップのいくつかの変形は、前の重み変化値の一部が現在の値に追加される運動量項を組み込む。これは、運動量をアルゴリズムの軌道の下り勾配中に追加する。これは、アルゴリズムの軌道が極小値中に「捕獲」されるのを防ぐ。運動量項を含む一つの逆方向伝搬方法は、運動量率が適応性のある「クイックプロップ」である。クイックプロップ変形は、Fahlman（「Fast Learning Variations on Back-Propagation: An Empirical Study」、Proceedings on the 1988 Connectionist Models Summer School、ピッツバーグ、1988年、D．Touretzky他編、pp.38-51、Morgan Kaufmann、カリフォルニア州 San Mateo、Lebriere との共著、「The Cascade-Correlation Learning Architecture」、Advances in Neural Information Processing Systems 2（デンバー、1989年）、D.Touretzky 編、pp.524-32、Morgan Kaufmann、カリフォルニア州 San Mateo参照）によって記載されている。クイックプロップアリゴリズムは、CarnegieMellon University の School of Computer Scienceによって維持される Artificial Intelligence Repository から、公的に入手でき、インターネットを介してダウンロードできる。クイックプロップでは、動的運動量率を勾配の傾斜に基づいて計算する。傾斜が直前の重み調整の後の傾斜よりも小さいが、それと同じ符号を有する場合、重み変化は加速する。加速率は、傾斜値間の連続的な差の大きさによって決定される。現在の傾斜が前の傾斜と反対の方向である場合、重み変化は減速する。クイックプロップ方法は、収束速度を改善し、できる限り急な下り勾配を与え、極小値への収束を防ぐのを助ける。
【０００８】
ニューラルネットワークが十分なトレーニングデータに基づいてトレーニングされるとき、ニューラルネットワークは、トレーニングデータの一部でなかった新しい入力データの組用の正確な解決策に対して一般化することができる連想メモリの働きをする。ニューラルネットワークは、完全なデータがない場合または雑音がある場合でも動作できることが示されている。また、新しいデータまたはテストデータに対するネットワークの性能はトレーニングデータに対する性能よりも低くなる傾向にあることが観測されている。テストデータに対する性能の差は、ネットワークがトレーニングデータから一般化することができた範囲を示す。しかしながら、ニューラルネットワークは、再トレーニングでき、したがって新しいデータから学習でき、ネットワークの全体的な性能を改善できる。
【０００９】
したがって、ニューラルネットは、医療診断など、予測を必要とする領域を含めて、多数の様々な問題に好適となる特性を有する。
【００１０】
ニューラルネットおよび診断．
患者を診断および／または治療する場合、医師は、患者の状態、症状、および適用できる医療診断テストの結果を使用して、患者の疾病状態または状態を識別する。医師は、症状およびテスト結果と特定の診断との関連を慎重に決定し、特定の診断を行う際に経験および直感に基づく判断を使用しなければならない。医療診断では、医療病歴、物理的試験、生化学テストを含むいくつかの情報源から情報を統合する必要がある。試験およびテストおよび質問に対する答えの結果に基づいて、医師は、その人のトレーニング、経験、知識、専門知識を使用して、診断を定形化する。最終的な診断には、検証または定式化するために後続の外科手順が必要である。したがって、診断のプロセスは、意思決定支援、直感、経験の組合せを必要とする。医師の診断の有効性は、その人の経験および能力に依存する。
【００１１】
医療診断の予測的および直感的性質のために、ニューラルネットワークおよびこのプロセスを助ける他のエキスパートシステムを開発する試みがなされている。医療診断へのニューラルネットワークの適用が報告されている。例えば、ニューラルネットワークは、心臓血管障害の診断を助けるために使用されている（例えば、Baxt（1991年）「Use of an Artificial Neural Network for the Diagnosis of Myocardial Infarction」、Annalsof Internal Medicine 115:843;Baxt（1992年）「Improving the Accuracy of an Artificial Neural Network Using Multiple Differently Trained Networks」、Neural Computation 4:772;Baxt(1992年)「Analysis of the clinical variables that drivedecision in an artificial neural network trained to identify the presence of myocardial infarction」、Annals of Emergency Medicine 21:1439; Baxt(1994年)「Complexity, chaos and human physiology: the justification for non-linear neural computational analysis」、Cancer Letters 77:85参照）。他の医療診断用途としては、癌診断（例えば、Maclin 他（1991年）「Using Neural Networks to Diagnose Cancer」 Journal of Medical Systems 15:11-9; Rogers 他（1994年）「Artificial Neural Networks for Early Detection and Diagnosis of Cancer」Cancer Letters 77:79-83; Wilding 他（1994 年）「Application of Backpropogation Neural Networks to Diagnosis of Breast and Ovarian Cancer Cancer Letters77:145-53）, neuromuscular disorders（Pattichis 他（1995年を参照）「Neural Network Models in EMG Diagnosis」、IEEE Transactions on Biomedical Engineering 42:5:486-495参照）および慢性疲労症候群（Solms 他（1996年）「A Neural Network Diagnostic Tool for the Chronic Fatigue Syndrome」、 International Conference on Neural Networks， Paper No．108を参照）にニューラルネットワークを使用することである。しかしながら、これらの方法は、広い範囲の状態に対して実際的な診断テストの開発に関連する重大な問題を処理できず、また入力変数の選択を処理しない。
【００１２】
ＭＹＣＩＮ（Davis他、「Production Systems as a Representation for a Knowledge-based Consultation Program」、 Artificial Intelligence、1977年、8:1:15-45）およびその子孫 TEIRESIAS、EMYCIN、PUFF、 CENTAUR、VM、GUIDON、SACON、ONCOCIN およびROGET を含む知識ベースのエキスパートシステムを含めて、医療診断に応用できるニューラルネットワーク以外のコンピュータ意思決定支援方法が報告されている。ＭＹＣＩＮは、いくつかの伝染病を診断し、かつ抗菌療法を規定する対話式プログラムである。そのような知識ベースのシステムは、実際の知識および規則またはその知識を使用するための他の方法を含む。すべての情報および規則は、ニューラルネットワークの場合と同様に、入力データに基づいて所望の結果に到達するためにそれ自体の手順を開発するシステム以外のシステムのメモリ中に事前にプログラムされる。他のコンピュータ診断方法は、トレーニングパターンおよびアプリオリ情報からの確率密度関数に基づいてパターンを分類する信念または因果的確率的ネットワークとも呼ばれるベイズのネットワークである。乳癌と診断する乳房Ｘ線写真の解釈に使用されるベイズの意思決定システムが報告されている（Roberts 他「Mammo Net: A Bayesian Network diagnosing Breast Cancer」、Midwest artificial Intelligence and Cognitive Science Society Conference，イリノイ州 Carbonda1e,1995年４月）and Hypertension（Blinowska 他（1993年）「Diagnostica - A Bayesian Decision-Aid System - Applied to Hypertension Diagnosis」、IEEE Transactions on Biomedical Engineering 40:230-35）。ベイズの意思決定システムは、線形関係の信頼性および処理できる入力データ点の数に関して若干制限され、変数間の非線形関係を必要とする意思決定支援にはあまり適さない。ニューラルネットワークの処理要素を使用してベイズの方法を実施すれば、これらの制限の一部を克服できる（例えば Penny 他（1996年）、「Neural Networks in Clinica1 Medicine」、Medical Decision-support、1996年、16:4:386-98参照）。これらの方法は、医師をまねることによって、重要な変数がシステム中に入力される障害を診断するために使用されている。しかしながら、これらのシステムを使用して、既存の診断手順を改善することが重要であろう。
【００１３】
子宮内膜症．
子宮内膜症は、子宮状組織が子宮外で成長することである。これは、約１５〜３０パーセントの生殖年齢女性に影響を及ぼす。子宮内膜症の原因は未知であるが、後退月経、子宮から腹膜腔中への子宮内膜組織および細胞（月経堆積物）の退潮に起因しうる。後退月経はたいていの女性またはすべての女性に起こると考えられるが、なぜある女性が子宮内膜症になり、他の女性は子宮内膜症にならないのかははっきりしない。
【００１４】
子宮内膜症を有するすべての女性が症状を示すか、またはその疾病を煩うとは限らない。子宮内膜症の程度または重さは症状に相関しない。重い疾病を有する女性は完全に無症候性であり、最小の疾病を有する他の女性は耐え難い痛みを受ける。不妊症、骨盤痛、月経困難症、子宮内膜症の過去の発生など、子宮内膜症に関連している症状は、しばしば子宮内膜症を有しない女性に起こる。他の場合には、これらの症状は現れ、女性は子宮内膜症を有する。これらの症状と子宮内膜症との間の関係は存在すると思われるが、これらのおよび他のファクタとの相互作用は複雑である。臨床医は、しばしば上記の指示の組合せに基づいて子宮内膜症を有する優れた候補者であると考えられる患者に対して診断腹腔鏡検査を実施する。しかしながら、子宮内膜症は、これらの女性のかなりの部分に存在しない。したがって、子宮内膜症は、医師が情報の複雑な組を使用して、診断を定形化するために経験に頼らなければならない疾病状態の一例を表す。診断の有効性は、医師の経験および能力に関係する。
【００１５】
したがって、症状だけから女性が子宮内膜症を有するかどうかを決定することは不可能であった。医学界内で、子宮内膜症の診断は、手術中に子宮内膜障害を直接視覚化することによってしか確認されない。多数の医師は、しばしば更なる制限を加え、子宮内膜バイオプシー組織に関する組織学を使用して、推測される障害を子宮内膜状（腺およびストロマ）として検証するよう要求している。したがって、子宮内膜症用の非侵襲性診断テストはかなり有用であろう。
【００１６】
【特許文献１】特開平５−２７７１１９号公報。
【特許文献２】特開平５−１７６９３２号公報。
【特許文献３】特開平６−１１９２９１号公報。
【特許文献４】特開平７−８４９８１号公報。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
したがって、本発明の目的は、子宮内膜症用の非侵襲性診断補助装置を提供することである。また、本発明の目的は、子宮内膜症および他の障害および状態の診断を助ける意思決定支援システム中で使用すべき重要な変数を選択する方法を提供することである。また、本発明の目的は、新しい変数を識別すること、疾病用の新しい生化学テストおよびマーカを識別すること、既存の診断方法を改善する新しい診断テストを設計することである。
【課題を解決するための手段】
【００１８】
疾病、障害、および他の医療状態の診断およびそれを助ける意思決定支援システムを使用する方法が提供される。本発明において提供される方法は、患者病歴データおよび重要な変数の識別を使用して診断テストを開発する方法、重要な選択される変数を識別する方法、診断テストを設計する方法、診断テストの有用性を評価する方法、診断テストの臨床的効用を拡大する方法、様々な可能な治療の結果を予測することによって治療方針を選択する方法を含む。また、子宮内膜症など診断することが難しい疾病、特定の期間中の出産の可能性など妊娠関連事象の予測、女性の健康に関連する他のそのような障害を含めて、障害の診断を助ける疾病パラメータまたは変数が提供される。本明細書では女性の障害を例に挙げるが、本発明の方法は任意の障害または状態に適用できることを理解されたい。
【００１９】
また、ニューラルネットワークトレーニングを使用して、テストの感度および特異性を改善するためにテストの開発を案内し、疾病状態または医療状態の全体的な診断またはその潜在能力を改善する診断テストを選択する手段が提供される。最後に、所与の診断テストの有効性を評価する方法が説明される。
【００２０】
したがって、本発明では、障害または状態の診断を助ける変数または変数の組を識別する方法が提供される。重要な変数を識別し、選択する方法および診断用の生成システムでは、患者のデータまたは情報、一般に患者の病歴または臨床データを収集し、このデータに基づく変数を識別する。例えば、データは、各患者が経験した妊娠の回数に関する各患者ごとの情報を含む。したがって、抽出された変数は妊娠の回数である。変数を意思決定支援システムによって分析し、ニューラルネットワークによって例証して、重要なまたは関連する変数を識別する。
【００２１】
ニューラルネットワークや他の適応性のある処理システム（「データ収集ツール」と総称）など、コンピュータベースの意思決定支援システムを使用して、医療診断テストを開発する方法が提供される。ニューラルネットワークまたは他のそのようなシステムは、患者のデータおよび症状が既知であるか、または推測されるテスト患者のグループから収集された観測値に基づいてトレーニングされる。関連する変数のサブセットまたは複数のサブセットは、ニューラルネットワークやニューラルネットワークのコンセンサスなど、意思決定支援システムまたは複数の意思決定支援システムを使用して識別される。別の組の意思決定支援システムは、識別されたサブセットに基づいてトレーニングされ、その症状用のニューラルネットベースのテストなど、コンセンサス意思決定支援システムベースのテストを発生する。コンセンサスニューラルネットワークなど、コンセンサスシステムを使用すれば、ニューラルネットワークベースのシステムなど、意思決定支援システムの極小値の負の影響を最小限に抑えられ、それによりシステムの確度が改善される。
【００２２】
また、性能を向上または改善するために、使用する患者の数を増やせば患者データを増大させることができる。また、生化学テストデータおよび他のデータを追加の例の一部として、またはデータを変数選択プロセスの前に追加の変数として使用して含めることができる。
【００２３】
得られたシステムは、診断の補助装置として使用される。さらに、システムを使用するとき、患者データを記憶し、次いでそれを使用して、システムをさらにトレーニングし、特定の遺伝的集団に適合するシステムを開発することができる。追加のデータのシステム中へのこの入力は、自動的に実施されるか、または手動で実施される。そうすることによって、システムは、連続的に学習し、それらが使用される特定の環境に適合する。得られたシステムは、診断の他に、疾病または障害の重さの評価、選択された治療プロトコルの結果の予測を含む多数の用途を有する。このシステムはまた、生化学テストデータや他のそのようなデータなど、診断手順中の他のデータの値を評価するため、および特定の疾病を診断するために有用な新しいテストを識別するために使用される。
【００２４】
したがってまた、既存の生化学テストを改善する方法、関連する生化学テストを識別する方法、障害および状態の診断を助ける新しい生化学テストを開発する方法が提供される。これらの方法では、意思決定支援システムベースのテストの性能に対する特定のテストまたは潜在的な新しいテストの影響を評価する。テストからの情報の追加が性能を改善する場合、そのようなテストは診断に関連する。
【００２５】
本発明において特に重要であり、かつ本発明の方法が容易に適用できる障害および状態は、子宮内膜症、不妊症、特定の期間中の出産の可能性など妊娠関連事象の予測、子癇前症を含めて、婦人科学状態および生殖能力に影響を及ぼす他の状態である。ただし、これらに限定されない。しかしながら、本発明の方法は任意の障害または状態に適用できることを理解されたい。
【００２６】
これらの方法は、ニューラルネットワークに関して例を挙げて説明するが、エキスパートシステム、ファジー諭理、決定ツリー、および一般的に非線形である他の統計的意思決定支援システムなど、他のデータ収集ツールも使用できることを理解されたい。本発明において提供される変数は意思決定支援システムとともに使用するようになされているが、変数を識別した後、重要な変数の知識を備えた人、一般に医師は、それらを使用して、意思決定支援システムがない場合、またはあまり複雑でない線形分析システムを使用して診断を助けることができる。
【００２７】
本明細書に示すように、診断を助ける際に今まで重要であることが知られていなかった変数またはその組合せが識別される。さらに、生化学テストデータを補足することなく、患者病歴データを使用して、本発明において提供されるニューラルネットなど、意思決定支援システムとともに使用したときに障害または状態を診断するか、または障害または状態の診断を助けることができる。さらに、生化学データを使用した診断または生化学データを使用しない診断の確度は、侵襲性外科診断手順が不要になるほど十分である。
【００２８】
また、本発明では、診断テストの臨床的効用を識別し、拡大する方法が提供される。特定のテストの結果、今まで注目する障害または状態に関して臨床的効用があると考えられていなかった特定のテストの結果は、変数と結合され、ニューラルネットなど、意思決定支援システムとともに使用される。システムの性能、障害を正確に診断する能力がテストの結果の追加によって改善された場合、テストは、臨床的効用または新しい効用を有することになる。
【００２９】
同様に、得られたシステムを使用すれば、薬品または療法の新しい効用を識別することができ、また特定の薬品および療法の用途を識別することができる。例えば、このシステムを使用すれば、特定の薬品または療法が有効である患者の副次集団を選択することができる。したがって、薬品または療法用の指示を拡大する方法、および新しい薬品および療法を識別する方法が提供される。
【００３０】
特定の実施形態では、ニューラルネットワークを使用して、特定の観測値およびテスト結果を評価し、生化学診断テストまたは他の診断テストの開発を案内し、テスト用の意思決定支援機能を提供する。
【００３１】
また、意思決定支援システム中で使用される重要な変数（パラメータ）またはその組を識別する方法が提供される。この方法は、本明細書では医療診断に関して例を挙げて説明するが、重要なパラメータまたは変数を複数の中から選択する、財務分析など、任意の分野において広く応用できる。
【００３２】
特に、変数の有効な組合せを選択する方法が提供される。この方法は、（１）一組の「ｎ」個の候補変数および最初は空である一組の「選択された重要な変数」を与えるステップ、（２）カイ二乗および感度分析に基づいてすべての候補変数を順位付けするステップ、（３）最も高い「ｍ」個の順位付けされた変数（ｍは１からｎまで）を一度に取り、重要な変数の現在の組に結合された変数に基づいてニューラルネットのコンセンサスをトレーニングすることによって各変数を評価するステップ、（４）ｍ個の変数のうち最もよい変数（最もよい変数とは最も高い性能を与える変数である）を選択し、それが選択された重要な変数の性能と比較して性能を改善する場合、それを「選択された重要な変数」の組に追加し、それを候補組から除去し、ステップ（３）で処理を継続し、それ以外の場合、ステップ（５）に進むステップ、（５）候補組のすべての変数を評価した場合、プロセスを終了し、それ以外の場合、次の最も高い「ｍ」個の順位付けされた変数を一度に取り、重要な選択された変数の現在の組に結合された変数に基づいてニューラルネットのコンセンサスをトレーニングすることによって各変数を評価し、ステップ（４）を実施するステップを含む。重要な選択された変数の最終組は、複数、一般に三つから五つよりも多い変数を含む。
【００３３】
特定の実施形態では、感度分析は、（ｋ）観測データセット中の各変数ごとに平均観測値を決定するステップ、（ｌ）トレーニング例を選択し、意思決定支援システム中で例を実行して、通常の出力として指定され、記憶される出力値を発生するステップ、（ｍ）選択されたトレーニング例中の第一の変数を選択し、観測値を第一の変数の平均観測値と交換し、意思決定支援システム中で修正された例を順方向モードで実行し、出力を修正された出力として記録するステップ、（ｎ）通常の出力と修正された出力との差を二乗し、それを各変数ごとに合計として累積するステップ（この合計は各変数ごとに選択された変数合計に指定される）、（ｏ）例中の各変数ごとにステップ（ｍ）およびステップ（ｎ）を繰り返すステップ、（ｐ）データセット中の各例ごとにステップ（ｌ）からステップ（ｎ）を繰り返すステップ（選択された変数の各合計は、意思決定支援システム出力の決定に対する各変数の相対的寄与を表す）を含む。この合計は、意思決定支援システム出力の決定に対するその相対的寄与に従って各変数を順位付けするために使用される。
【００３４】
本明細書で示すように、ニューラルネットワークなどコンピュータベースの意思決定支援システムは、最初に重要であると考えられていなかったいくつかの入力ファクタが結果に影響を及ぼしうることを明らかにする。関連する入力ファクタを明らかにするニューラルネットワークのこの能力により、診断テストの設計を案内するのにニューラルネットワークを使用することができる。したがって、診断テストを設計する方法、および診断テストの効用を評価する方法も提供される。各場合において、テストまたは可能なテストからのデータは、意思決定支援システムの入力に加えられる。データが入力中に含まれるときに結果が改善された場合、診断テストは臨床的効用を有する。
【００３５】
今まで特定の障害の診断において重要であることが知られていなかったテストが識別され、または新しいテストが開発できる。ニューラルネットワークは、スプリアスデータ点の影響を減じ、かつ代用されうる他のデータ点があればそれを識別することによって診断テストに耐性を加えることができる。
【００３６】
ネットワークを一組の変数に対してトレーニングし、次いで診断テストデータまたは生化学テストデータからの臨床データおよび／または追加の患者情報を入力データに追加する。ない場合と比較して結果を改善する変数を選択する。したがって、今まで特定の障害を診断する際に重要であることが知られていなかった特定のテストが関連性を有することが分かる。例えば、血清抗体のウェスタンブロット上の特定のスポットの有無を疾病状態に相関させることができる。特定のスポット（すなわち抗原）の同一性に基づいて、新しい診断テストが開発できる。
【００３７】
疾病の診断を助けるために予測技術を適用する方法、より具体的には疾病子宮内膜症の診断を助けるために様々な情報源からの入力とともにニューラルネットワーク技法を使用する方法の一例が提供される。コンピュータシステム中のネットワークのコンセンサスに従って動作するニューラルネットワークのトレーニングされた組を使用して、その一部が一般に疾病状態に関連しない、例えば調査によって得られる特定の臨床的関連を評価する。これは、例示的な疾病状態子宮内膜症の場合に証明され、子宮内膜症の診断を助けるために使用されるファクタが提供される。ニューラルネットワークトレーニングは、本明細書で臨床データと呼ぶ、その疾病状態が外科的に検証されていないかなりの数の臨床患者の医師によって供給される答えと質問との相関に基づいている。
【００３８】
４０個以上の臨床データファクタの集合から抽出される特定のトレーニングされたニューラルネットワーク中の１２個から約１６個の複数のファクタ、具体的には一組の１４個のファクタが子宮内膜症の一次兆候として識別される。次のパラメータの組、すなわち年齢、パリティ（出産回数）、妊娠（妊娠回数）、流産回数、喫煙（箱／日）、過去の子宮内膜症歴、月経困難症、骨盤痛、異常ｐａｐ／形成異常症、骨盤手術歴、薬物治療歴、妊娠高血圧症、生殖器いぼ、糖尿病が重要であると識別された。他の同様のパラメータの組も識別された。これらの変数のサブセットも子宮内膜症を診断する際に使用できる。
【００３９】
次の三つの変数の組合せのうちの一つ（または複数）を含む、選択されたパラメータの組の任意のサブセット、特に１４個の変数の組が子宮内膜症の診断用の意思決定支援システムとともに使用できる。
ａ）出産回数、子宮内膜症歴、骨盤手術歴
ｂ）糖尿病、妊娠高血圧症、喫煙
ｃ）妊娠高血圧症、異常ｐａｐしみ／形成異常症、子宮内膜症歴
ｄ）年齢、喫煙、子宮内膜症歴
ｅ）喫煙、子宮内膜症歴、月経困難症
ｆ）年齢、糖尿病、子宮内膜症歴
ｇ）妊娠高血圧症、出産回数、子宮内膜症歴
ｈ）喫煙、出産回数、子宮内膜症歴
ｉ）妊娠高血圧症、子宮内膜症歴、骨盤手術歴
ｊ）妊娠回数、子宮内膜症歴、骨盤手術歴
ｋ）出産回数、異常ＰＡＰしみ／形成異常症、子宮内膜症歴
ｌ）出産回数、異常ＰＡＰしみ／形成異常症、月経困難症
ｍ）子宮内膜症歴、骨盤手術歴、月経困難症
ｎ）妊娠回数、子宮内膜症歴、月経困難症。
【００４０】
子宮内膜症の診断に変数を使用する診断ソフトウェアおよび例示的なニューラルネットワークも提供される。このソフトウェアは、臨床的に有用な子宮内膜症インデックスを生成する。
【００４１】
他の実施形態では、子宮内膜症のテストに使用される診断ニューラルネットワークシステムの性能は、ネットワークのトレーニングに使用されるファクタ（本明細書では生化学テストデータと呼ぶ。これは分析からのテスト、脈拍や血圧など、生命徴候などのデータを含む）の一部として関連する生化学テストからの生化学テスト結果に基づく変数を含めることによって向上する。それによって得られる例示的なネットワークは、生化学テストの結果および１４個の臨床パラメータを含めて、１５個の入力ファクタを使用する増大ニューラルネットワークである。８個の増大ニューラルネットワークの重みの組は、８個の臨床データニューラルネットワークの重みの組と異なる。例示の生化学テストは、ＥＬＩＳＡ診断テストフォーマットなど、免疫診断テストフォーマットを使用する。
【００４２】
本明細書で例示した子宮内膜症に適用した方法は、例えば、不妊症、特定の期間中の出産の可能性など妊娠関連事象の予測、子癇前症など、婦人科学障害および女性関連障害を含めたがそれだけには限られない、他の障害用のファクタを識別するために同様に適用し、使用できる。したがって、ニューラルネットワークは、疾病状態を予測し、それらを生化学データに結合する際に重要なファクタの識別に基づいて疾病状態を予測するようにトレーニングできる。
【００４３】
得られた診断システムは、状態または障害の存在だけでなく、障害の重さを診断するために、また治療方針を選択する際の補助装置として適しており、使用できる。
【発明を実施するための最良の形態】
【００４４】
定義．
別段の定義がない限り、本明細書で使用するすべての技術用語および科学用語は、一般に本発明がそれに属する技術分野の当業者が理解できるのと同じ意味を有する。本明細書で参照するすべての特許および文献は、参照により本発明の一部となる。
【００４５】
本明細書で使用する「データ収集システム」または「データシステム中の知識発見」とも呼ばれる意思決定支援システムは、入力データを分類するためにデータに基づいてトレーニングされ、次いでトレーニングデータに基づいて後で意思決定を行うために新しい入力データとともに使用できる任意のシステム、一般にコンピュータベースのシステムである。これらのシステムは、エキスパートシステム、ファジー論理、非線形回帰分析、多変量分析、意思決定ツリー分類装置、ベイズの信念ネットワーク、および本明細書で例示するニューラルネットワークを含む。ただし、これらに限定されない。
【００４６】
本明細書で使用する適応機械学習プロセスは、データを使用して、予測解決策を生成する任意のシステムである。そのようなプロセスは、エキスパートシステム、ニューラルネットワーク、およびファジー論理によって実施されるプロセスである。
【００４７】
本明細書で使用するエキスパートシステムは、そのタスクの知識またはその知識を使用するための論理的な規則または手順に基づくコンピュータベースの問題解決および意思決定支援システムである。専門分野の専門家の経験からの知識ならびに論理がコンピュータ中に入力される。
【００４８】
本明細書で使用するニューラルネットワーク、またはニューラルネットは、密に相互接続された適応処理要素から構成される並列計算モデルである。ニューラルネットワークでは、処理要素は、入力層、出力層、および少なくとも一つの隠れた層中に構成される。適切なニューラルネットワークは、当業者に知られている（例えば、米国特許第５２５１６２６号、第５４７３５３７号および第５３３１５５０号、Baxt(1991年)「Use of an Artificial Neural Network for the Diagnosis of Myocardial Infarction」、Annals of Internal Medicine 115:843;Baxt（1992年）「Improving the Accuracy of an Artificial Neural Network Using Multiple Differently Trained Networks」、Neural Computation 4:772;Baxt(1992年)「Analysis of the clinical variables that drive decision in an artificial neural network trained to identify the presence of myocardialinfarction」、Annals of Emergency Medicine 21:1439; Baxt（1994 年 ）「Complexity, chaos and human physiology: the justification for non-linear neural computation analysis」、 Cancer Letters 77:85参照）。
【００４９】
本明細書で使用するパーセプトロンまたは人工ニューロンとも呼ばれる処理要素は、複数の入力からの入力データを伝達関数に従って単一の二進出力中にマップする計算ユニットである。各処理要素は、その入力で受信された信号を掛けられて、重み付けされた入力値を発生する各入力に対応する入力重みを有する。処理要素は、各入力の重み付けされた入力値を合計して、重み付けされた合計を発生し、次いでこれが伝達関数によって定義されたしきい値と比較される。
【００５０】
本明細書で使用するしきい値関数または活性化関数とも呼ばれる伝達関数は、二つの別個のカテゴリを定義する曲線を生成する数学的関数である。伝達関数は、線形であるが、ニューラルネットワーク中で使用されるとき、より一般的には、二次関数、多項式関数、またはＳ字形関数を含めて非線形である。
【００５１】
本明細書で使用する逆方向伝搬は、ターゲット出力と実際の出力との間の誤差を訂正するためのニューラルネットワーク用のトレーニング方法である。誤差信号はニューラルネットワークの処理層中にフィードバックされて、処理要素の重みの変化により実際の出力がターゲット出力により近づく。
【００５２】
本明細書で使用するクイックプロップは、Fahlmanが提案し、開発し、報告した逆方向伝搬方法である（「Fast Learning Variations on Back-Propagation: An Empirical Study」、Proceedings on the 1988 Connectionist Models Summer School, Pittsburgh，1988，D．Touretzky 他編，pp．38-51，Morgan Kaufmann，カリフォルニア州 San Mateo; Lebriereとの共著、「The Cascade-Correlation Learning Architecture」、Advances in Neural Information Processing Systems 2, (Denver, 1989),D．Touretzky 編，pp．524-32．Morgan Kaufmann，カリフォルニア州 San Mateo）。
【００５３】
本明細書で使用する診断は、疾病、障害または他の医療状態の存在、不在、重さまたは治療方法を評価する予測プロセスである。本明細書では、診断はまた、治療から得られた結果を決定する予測プロセスを含む。
【００５４】
本明細書で使用する生化学テストデータは、免疫学的検定法、生物学的検定法、クロマトグラフィ、モニタおよびイメージャからのデータ、測定値を含む（ただしこれらに限定されない）任意の分析方法の結果であり、また、脈拍、体温、血圧、例えば、ＥＫＧ、ＥＣＧ、ＥＥＧ、バイオリズムモニタの結果、および他のそのような情報など、生命徴候および身体機能に関するデータを含む。分析は、例えば、分析物、血清マーカ、抗体、およびサンプル中の患者から得られる他のそのような材料を評価できる。
【００５５】
本明細書で使用する患者病歴データは、質問表などによって、患者から得られたデータであるが、一般に本明細書で使用する生化学テストデータを含まない。ただし、そのようなデータが病歴データである限りは、所望の解決策は、障害の診断を生成できる数または結果を生成する。
【００５６】
本明細書で使用するトレーニング例は、単一の診断用の観測データ、一般に一人の患者に関する観測データを含む。
【００５７】
本明細書で使用する患者病歴データから識別されたパラメータは、本明細書では観測ファクタまたは値または変数と呼ぶ。例えば、患者データは、個々の患者の喫煙習慣に関する情報を含む。それに関連する変数は喫煙である。
【００５８】
本明細書で使用する分割手段は、８０％など、データの一部を選択し、それをニューラルネットをトレーニングするために使用し、残りの部分をテストデータとして使用することを意味する。したがって、ネットワークは、データの一部以外に基づいてトレーニングされる。このプロセスは、その場合繰り返され、第二のネットワークをトレーニングできる。このプロセスは、すべての区分がテストデータおよびトレーニングデータとして使用されるまで繰り返される。
【００５９】
本明細書で使用する使用できるデータを複数のサブセット中に分割することによるトレーニングの方法は、一般にトレーニングの「ホールドアウト方法」と呼ばれる。ホールドアウト方法は、ネットワークトレーニングに使用できるデータが制限されるときに特に有用である。
【００６０】
本明細書で使用するトレーニングは、入力データを使用して、意思決定支援システムを生成するプロセスである。特に、ニューラルネットに関して、トレーニングは、特定の処理要素が、他の処理要素の出力と結合されたときに、ニューラルネットの出力とトレーニングデータ中に提示された所望の出力との間の生じた誤差を最小限に抑える結果を発生する出力を与える処理要素の重みに対する一連のインタラクティブ調整を行う試行錯誤プロセスである。
【００６１】
本明細書で使用する変数選択プロセスは、予測結果をもたらす変数の組合せを任意の使用できる組から選択する系統的方法である。選択は、追加の変数の追加が結果を改善しないようにサブセットの予測性能を最大にすることによって実施される。本明細書において提供される好ましい方法では、可能なすべての組合せを考慮せずに変数が選択できる。
【００６２】
本明細書で使用する候補変数は、意思決定支援システムとともに使用できる財務記録など診断実施形態または他の記録用のテスト患者のグループから収集された観測値から選択された項目である。候補変数は、患者データなどのデータを収集し、観測値を一組の変数として分類することによって得られる。
【００６３】
本明細書で使用する重要な選択された変数は、手元のタスクのネットワーク性能を高める変数である。使用できるすべての変数を含めることは、最適なニューラルネットワークをもたらさない。いくつかの変数がネットワークトレーニング中に含まれるとき、ネットワーク性能は低下する。関連するパラメータのみを使用してトレーニングされるネットワークは、ネットワーク性能の向上をもたらす。これらの変数はまた、本明細書において関連する変数のサブセットとも呼ばれる。
【００６４】
本明細書で使用する順位付けは、変数を選択の順序でリストするプロセスである。順位付けは、任意でよく、または整理されることが好ましい。整理は、例えば、診断などタスクに対して変数を重要度順に順位付けする統計分析によるか、意思決定支援システムベースの分析によって実施される。順位付けはまた、例えば、専門家か、規則ベースのシステムか、またはこれらの方法の任意の組合せによって実施できる。
【００６５】
本明細書で使用するニューラルネットワークのコンセンサスは、各出力の重みが任意に決定されるか、または等しい値に設定される複数のニューラルネットワークからの出力の線形組合せである。
【００６６】
本明細書で使用するグリーディアルゴリズムは、所与のデータセットからの点を含めるか、除くかどうかを決定することによってデータセットを最適化する方法である。このセットは、要素がない状態から始まり、部分解決策があるとすれば、目的を最も改善する他の値が選択される近視最適化によって残りの要素の実現可能なセットから要素を連続的に選択する。
【００６７】
本明細書で使用するジェネティックアルゴリズムは、トレーニングサイクル中に実行され、かつ所望のターゲットに到達する際にそれらの性能に従って順位付けされるランダムに生成されるニューラルネットワークの初期分布から始まる方法である。十分に実行しないネットワークはその分布から除去され、より適切なネットワークは、親ネットワークの所望の特性を保持する子孫へのクロスオーバプロセス用に保持され、選択される。
【００６８】
本明細書で使用するシステムの性能は、結果が特定の結果をより正確に子測または決定したときに改善される、またはより高くなると言われる。また、システムの性能は、一般により多くのトレーニング例を使用したときによりよくなることを理解されたい。したがって、本発明のシステムは、それらが使用されるときに時間ととも向上し、より多くの患者データが蓄積され、次いでトレーニングデータとしてシステムに追加される。
【００６９】
本明細書で使用する感度＝ＴＰ／（ＴＰ＋ＦＮ）、特異性はＴＮ／（ＴＮ＋ＦＰ）である。ただし、ＴＰ＝真の正、ＴＮ＝真の負、ＦＰ＝偽の正、ＦＮ＝偽の負である。臨床感度は、テストが疾病を有する患者をどのくらいよく検出するかを測定する。臨床特異性は、テストが疾病を有しない患者をどのくらいよく正確に識別するかを測定する。
【００７０】
本明細書で使用する正予測値（ＰＰＶ）はＴＰ／（ＴＰ＋ＦＰ）である。負予測値（ＮＰＶ）はＴＮ／（ＴＮ＋ＦＮ）である。正予測値は、正テストを有する患者が実際に疾病を有する可能性である。負予測値は、負テスト結果を有する患者が疾病を有しない可能性である。
【００７１】
本明細書で使用するファジー論理は、正確に記述できないシステムを処理する手法である。メンバシップ関数（データセット中のメンバシップ）はファジー諭理システム中では二進ではない。代わりにメンバシップ関数は分数値をとる。したがって、要素は、セットのメンバシップの係数が異なる場合にもかかわらず、矛盾する二つのセット中に同時に含まれうる。したがって、このタイプの手法は、ｙｅｓまたは答えがない質問に答えるために有用である。したがって、このタイプの論理は、答えがしばしば一つの程度である患者病歴質問票からの返答を分類するのに適している。
【００７２】
１．一般的考察および一般的方法．
患者病歴および／または生化学情報など観測値を分析するニューラルネットワークをトレーニングするためにいくつかの技法が使用できることが決定されている。使用できるデータおよび分析すべき問題の特性に応じて、様々なニューラルネットワークトレーニング技法が使用できる。例えば、大量のトレーニング入力が使用できる場合、冗長トレーニング情報をなくす方法が採用される。
【００７３】
本明細書に示すように、ニューラルネットワークはまた、最初に重要であると考えられていなかったいくつかの入力ファクタが結果に影響を及ぼすことを明らかにし、かつ多分重要なファクタが結果決定因ではないことを明らかにする。関連する入力ファクタおよび関連しない入カファクタを明らかにするニューラルネットワークの能力は、診断テストの設計を案内する際にニューラルネットワークを使用することを可能にする。本明細書に示すように、ニューラルネットワーク、および他のそのようなデータ収集ツールは、診断における貴重な進歩であり、診断テストの感度および特異性を高める機会を与える。本明細書に示すように、極小値の現象のために不十分な確度の答えの可能性を回避するよう注意しなければならない。本発明の方法は、この問題を回避するか、または少なくともそれを最小限に抑える手段を提供する。
【００７４】
開発診断手順、特に患者情報にのみまたは一部に基づく診断テストを開発する場合、いくつかの問題が解決される。例えば、一般に、トレーニングデータが使用できる限られた数の患者が存在するので限られた量のデータが存在する。これを解決するために、以下で説明するように、患者情報は、ネットワークをトレーニングするときに分割される。また、一般に、使用できるデータに関連して使用するために使用できる多数の入力観測ファクタが存在し、したがって観測値を順位付けし、選択する方法が開発された。
【００７５】
また、一般に、使用できる患者データ中に多数の二進（真／偽）入力ファクタが存在するが、これらのファクタは、一般に性質がまばら（使用できる患者データ中の二進入力ファクタの一部の場合においてのみ正または負である値）である。また、診断中の正のファクタと負のファクタとの間に高度のオーバラップが存在する。
【００７６】
上記その他の特性は、診断テストを開発するために使用される手順および方法の選択に影響を及ぼす。これらの問題は、本発明において処理され、解決される。
【００７７】
２．患者病歴診断テストの開発．
診断テスト．
患者病歴データのみに基づく診断の方法が提供される。本明細書で証明するように、患者病歴情報のみに依存するが、診断を助ける意思決定支援システムを提供することができる。したがって、得られたシステムは、生化学テストデータの予測能力を改善すること、新しい疾病マーカを識別すること、生化学テストを開発すること、今まで特定の障害を予測すると考えられていなかったテストを識別するために使用できる。
【００７８】
これらの方法はまた、選択された治療方法の結果を予測することによって適切な治療方法を選択し、療法後の状態を予測するために使用できる。トレーニング用の入力変数は、例えば、選択された治療および結果を含めて、診断および他の使用できるデータを示す電子的患者記録から得られる。得られた意思決定支援システムは、その場合、例えば、異なる治療に応答し、かつ特定の治療の結果を予測する異なるクラスに女性を分類するために使用できるすべてのデータとともに使用される。これにより、治療またはプロトコルの選択が成功する確率を最も高くすることができる。
【００７９】
同様に、これらのシステムは、薬品または療法の新しい効用を識別するために使用でき、また特定の薬品および療法の用途を識別するために使用できる。例えば、これらのシステムは、特定の薬品または療法が有効である患者の副次集団を選択するために使用できる。したがって、薬品または療法の支持を拡大する方法および新しい薬品および療法を識別する方法が提供される。
【００８０】
患者データの収集、変数の生成、および概要．
本発明の方法を例示するために、図１に、患者病歴ベースの診断テスト方法を開発する流れ図を示す。このプロセスは、患者病歴データの収集から始まる（ステップＡ）。患者病歴データまたは観測値は、患者質問票、臨床結果、場合によっては診断テスト結果、患者医療記録から得られ、コンピュータ読取り可能な形でコンピュータ上で動作するシステムに供給される。デジタルコンピュータでは、患者病歴データは、（真／偽など）二進値と定量（連続的な）値の二つの形態の一組の変数に分類される。二進値変数は、「たばこを吸いますか」という質問に対する答えを含むこともある。定量値変数は、「一日に何箱たばこを吸いますか」という質問に対する答えであることもある。メンバシップ関数など他の値も入力手段として有用である。
【００８１】
患者病歴データはまた、診断すべき医療状態の存在、不在、または重さを示すと考えられるターゲットまたは所望の結果変数を含む。この所望の結果情報は、ニューラルネットワークトレーニング用に有用である。トレーニングデータ中に含めるべきデータの選択は、診断すべき医療状態の存在、重さまたは不在の知識または仮定を使用して行われる。本明細書に示すように、診断はまた、進行の評価および／または療法治療の有効性を含む。
【００８２】
定義でき、したがって生成できる変数の数は扱いにくい。二進変数は、一般に、正（または負の）応答の数がしばしば応答の全体的な数の一部であるのでまばらである。したがって、代表的なトレーニングデータ環境中で使用できる多数の変数および少数の患者が存在する場合、診断にとって重要な変数のサブセットを使用できる変数から分離するステップがとられる（ステップＢ）。使用できる変数の中からの変数のサブセットの特定の選択は、ニューラルネットワークの診断性能に影響を及ぼす。
【００８３】
本明細書で概説した方法は、一般に医師などトレーニングされた専門家によって選択された変数のサブセットと比較して感度および信頼性が同等であるか、または優れている変数のサブセットをつくり出すことが分かっている。いくつかの例では、変数は、順位または関連性の順に優先権が与えられるか、または配置される。
【００８４】
その後、診断手順で使用すべき最後のニューラルネットワークをトレーニングする（ステップＣ）。好ましい実施形態では、ネットワークのコンセンサス（すなわち複数のネットワーク）をトレーニングする。得られたネットワークは、完成した患者病歴診断テスト（ステップＤ）用の意思決定支援機能を形成する。
【００８５】
重要な変数を分離する方法．
重要な変数を分離する方法が本発明において提供される。この方法によれば、変数の可能なすべての組合せを比較することによって有効な変数の組を選択することができる。重要な変数は、意思決定支援システム用の入力として使用される。
【００８６】
重要な変数または関連する変数の分離−変数の順位付け．
図３に、診断テスト中の重要な変数または関連する変数を分離する方法の流れ図を示す（ステップＥ）。そのような方法は、一般に、潜在的に関連する情報が与えられているデジタルコンピュータシステムを使用して実施される。この手順では、独立した二つの方法を使用して変数を重要度の順に順位付けし、次いで順位の最上部から使用できる変数のサブセットを選択する。上記のように、当業者は、カイ二乗または感度分析の代わりに他の順位付け方法を使用することができる。また、ｘをＮ（候補変数の総数）まで設定した場合、順位付けは任意である。
【００８７】
このシステムは、以下で説明するように、使用できるデータに基づいて複数のニューラルネットワークをトレーニングし（ステップＩ）、次いですべてのトレーニングされたネットワーク上で感度分析を生成して、各入力変数が診断を実施するためにネットワーク中でどの程度まで使用されたかを決定する（ステップＪ）。各入力変数のコンセンサス感度分析は、各トレーニングされたネットワークごとに個々の感度分析結果を平均化することによって決定される。感度に基づいて、患者病歴情報から得られた各変数ごとの順位を決定する（ステップＫ）。
【００８８】
変数の順位付け．
好ましい実施形態では、変数は、カイ二乗分析など統計分析および／または感度分析など意思決定支援システムベースの分析を使用して順位付けされる。例示の実施形態では、感度分析およびカイ二乗分析を使用して、変数を順位付けする。限定しないが、回帰分析、判別分析、および当業者に知られている他の方法を含めて、他の統計方法および／または意思決定支援システムベースの方法も使用できる。順位付けされた変数は、ネットワークをトレーニングするために使用でき、また本発明において与えられる変数選択の方法中で使用できることが好ましい。
【００８９】
この方法では、各入力を変更し、出力の対応する変化を測定する感度分析を使用する（また Modai 他（1993 年 ）「Clinical Decisions for Psychiatric Inpatients and Their Evaluation by Trained Neural Networks」、Methods of Information in Medicine 32:396-99; Wilding 他（1994 年 ）「Application of Backpropogation Neural Networks to Diagnosis of Breast and Ovarian Cancer」、Cancer Letters 77:145-53; Ruck 他（1990年）「Feature Selection in Feed-Forward Neural Networks」Neural Network Co puting 20:40-48; Utans 他（1993 年 ）「Selecting Neural Network Architectures Via the Prediction Risk: Application to Corporate Bond Rating Prediction」、Proceedings of the First International Conference on Artificial Intelligence Applications on Wall Street. Washington, D.C.，IEEE Computer Society Press．pp．35-41;Penny他（1996 年 ）「Neural Networks in Clinical Medicine」、Medical Decision-support 4:386-398参照）。そのような方法は、今まで本明細書で説明するように、重要な変数を選択するために使用されていなかった。例えば、感度分析を使用して、重要な変数を選択するためにではなく、変数間の関係を決定する統計手法を開発することが報告されている（Baxt 他 （1995年 ）「Bootstrapping Confidence Intervals for Clinical Input Variable Effects in a Network Trained to Identify the Presence of Myocardial Infarction」、Neural Computation7:624-38参照）。そのような感度分析は、本明細書で説明するように診断の補助手段として重要な変数の選択の一部として使用できる。
【００９０】
図３のステップＫに感度分析の概要を示す。各ネットワークまたは複数のトレーニングされたニューラルネットワーク（ネットワークＮ1からＮn）は、各トレーニング例Ｓx（出力が知られているか、または推測される入力データグループ。少なくとも二つのトレーニング例が存在しなければならない）ごとに順方向モードで実行される。ただし、「ｘ」はトレーニング例の数である。各トレーニング例Ｓxの各ネットワークＮ1〜Ｎnの出力は、記録される、すなわちメモリ中に記憶される。すべてのトレーニング例中の各入力変数の平均値を含む新しいトレーニング例が定義される。一度に一つ、各元の各トレーニング例Ｓx値の各入力変数がその対応する平均値Ｖ1(avg)からＶy(avg)と交換される。ただし、「ｙ」は変数の数である。
【００９１】
修正されたトレーニング例Ｓx’は、複数のネットワーク中で再び実行され、各変数の各ネットワークごとに修正された出力を発生する。元のトレーニング例Ｓxからの出力と各入力変数の修正された出力との間の差は、各入力変数に対応する個々の合計を得るために二乗され、合計される（累計される）。説明するために、例えば、それぞれ１５個の変数Ｖ1〜Ｖ15を有する別々の１０個のニューラルネットワークＮ1〜Ｎ10および異なる５個のトレーニング例Ｓ1〜Ｓ5の場合、５個のトレーニング例の各トレーニング例は、１０個のネットワークを介して実行され、合計５０個の出力を発生する。各トレーニング例から変数Ｖ1をとり、平均値Ｖ1(avg)を計算する。この平均化された値Ｖ1(avg)は、５個のトレーニング例の各トレーニング例中に代用され、修正されたトレーニング例Ｓ1’〜Ｓ5’を生成し、それらは、再び１０個のネットワーク中で実行される。５０個の修正された出力値がネットワークＮ1〜Ｎ10および５個のトレーニング例によって生成される。修正は、平均値変数Ｖ1(avg)を使用した結果である。５０個の元の出力値および修正された出力値それぞれの間の差を計算する、すなわちネットワークＮ6中のトレーニングＳ4からの元の出力ＯＵＴ（Ｓ4Ｎ6）を、ネットワークＮ6中のトレーニング例Ｓ4からの修正された出力ＯＵＴ（Ｓ4’Ｎ6）から引く。この差値を二乗する［ＯＵＴ（Ｓ4’Ｎ6）−ＯＵＴ（Ｓ4Ｎ6）］2 V1。この値を、変数Ｖ1がその平均値Ｖ1(avg)と代用された反復に対してネットワークとトレーニング例のすべての組合せについて二乗された差値と合計する。すなわち次式が得られる。
【００９２】
【数１】
【００９３】
次に、このプロセスを変数＃２について繰り返し、ネットワークとトレーニング例の各組合せごとに元の出力と修正された出力との間の差を求め、二乗し、次いで差を合計する。このプロセスを、１５個のすべての変数が終了するまで各変数ごとに繰り返す。
【００９４】
次いで、すべての変数が単一の生じた出力に等しく寄与した場合に正規化された値が１．０になるように生じた各合計を正規化する。前の例の後、各変数ごとに合計二乗差を合計して、すべての変数について全合計二乗差を得る。各変数の値を全合計二乗差で割り、各変数からの寄与を正規化する。この情報から、各変数の正規化された値を重要度の順に順位付けすることができる。より高い相対的な数は、対応する変数が出力により大きい影響を及ぼすことを示す。入力変数の感度分析を使用して、どの変数がネットワーク出力を発生するに最大の役目を果たしたかを示す。
【００９５】
本発明では、コンセンサスネットワークを使用して、感度分析を実施することは変数選択プロセスを改善することが分かっている。例えば、二つの変数が高度に相関する場合、データに基づいてトレーニングされた単一のニューラルネットワークがその二つの変数の一方のみを使用して、診断をつくり出すこともある。変数が高度に相関する場合、両方の変数を含めることによって得られるものはほとんどなく、どちらの変数を含めるべきかの選択は、トレーニング中のネットワークの初期開始条件に依存する。単一のネットワークを使用する感度分析は、一方のみ、または他方のみが重要であることを示すこともある。それぞれ異なる初期条件を使用してトレーニングされる複数のネットワークのコンセンサスから得られる感度分析は、高度に相関した両方の変数が重要であることを明らかにすることがある。感度分析を一組のニューラルネットワークにわたって平均化することによって、初期条件の影響を最小限に抑えるコンセンサスが形成される。
【００９６】
カイ二乗分割表．
まばらな二進データを処理する場合、所与の変数に対する正の応答は、診断中の条件に高度に相関することもあるが、トレーニングデータ中で発生することはごくまれであるので、ニューラルネットワーク感度分析によって示される変数の重要度が非常に低くなることもある。これらの発生を捕らえるために、カイ二乗分割表が二次順位付けプロセスとして使用される。テーブルの各セルが二つの変数の組合せに対して観測された周波数である二進変数に対する２×２分割表カイ二乗テストを実施する（図３、ステップＦ）。（経験的に決定されることもある）最適なしきい値を使用して、連続的な変数に対して２×２分割表カイ二乗テストを実施する（ステップＧ）。カイ二乗分析に基づいた二進変数および連続的な変数を順位付けする（ステップＨ）。
【００９７】
二進変数に対して動作する標準のカイ二乗２×２分割表（ステップＦ）を使用して、特定の二進入力変数と（トレーニングデータを既知の単一出力結果と比較することによって決定された）所望の出力との間の関係の重要度を決定する。小さいカイ二乗値を有する変数は、一般に所望の出力に関連しない。
【００９８】
連続的な値を有する変数の場合、連続的な変数をしきい値と比較することによって２×２分割表を構成できる（ステップＧ）。しきい値は、経験的に修正され、できる限り大きいカイ二乗値をもたらす。
【００９９】
次いで、連続的な変数のカイ二乗値と二進変数のカイ二乗値とを共通の順位付けのために結合できる（ステップＨ）。次いで、カイ二乗順位付けされた変数を感度分析順位付けされた変数と結合する第二のレベルの順位付けを実施できる（ステップＬ）。順位付けのこの結合により、出力に大きく関連し、かつまばらな変数（すなわち、ごく一部の場合正または負である値）を重要な変数の組の中に含めることができる。さもなければ、そのような非線形システム中の重要な情報が容易に見落とされる可能性がある。
【０１００】
順位付けされた変数の中からの重要な変数の選択．
上記のように、重要な変数は、識別された変数の中から選択される。選択は、第二のレベルの順位付けプロセスが呼び出されたときに変数を順位付けした後で実施されることが好ましい。意思決定支援システム中で使用される重要な変数（パラメータ）またはその組を識別する方法も提供される。この方法は、本明細書では医療診断を例に挙げて説明するが、重要なパラメータまたは変数を複数の中から選択する統計ベースの予測を行う財務分析や他の試みなど任意の分野において広く応用できる。
【０１０１】
特に、変数の有効な組合せを選択する方法が提供される。一組の「ｎ」個の候補変数および最初空である一組の「選択された重要な変数」を与えるステップ（１）、および上述のように、カイ二乗および感度分析に基づいてすべての候補変数を順位付けするステップ（２）の後、この方法は、一度に最大「ｍ」個（ｍは１からｎまで）の順位付けされた変数をとり、重要な変数の現在の組と結合された変数に基づいてニューラルネットのコンセンサスをトレーニングすることによって各変数を評価するステップ（３）、ｍ個の変数のうち最もよい変数を選択し（最もよい変数とは性能を最も改善する変数である）、それが性能を改善する場合、それを「選択された重要な変数」セットに追加し、それを候補セットから除去し、ステップ（３）での処理を継続し、それ以外の場合、ステップ（５）に進むことによって継続するステップ（４）、候補セット上のすべての変数が評価されていれば、プロセスが終了し、それ以外の場合、一度に次に最も大きい「ｍ」個の順位付けされた変数をとり、重要な選択された変数の現在の組と結合された変数に基づいてニューラルネットのコンセンサスをトレーニングし、ステップ（４）を実施することによって各変数を評価するステップ（５）を含む。
【０１０２】
特に、第二のレベルの順位付けプロセス（ステップＬ）は、感度分析（ステップＫ）からの最も高い順位付けされた変数を重要な変数の組に追加すること（ステップＨ）によって開始する。あるいは、第二のレベルの順位付けプロセスは、空の組から開始し、次いで順位付けの二つの組の各組から上部のいくつか（ｘ個）の変数をテストすることによって開始する。この第二のレベルの順位付けプロセスでは、使用できるデータからの変数の現在選択されている区分またはサブセットに対してネットワークトレーニング手順（ステップＩ）を使用して、一組のニユーラルネットワークをトレーニングする。順位付けプロセスは、「重要な」変数の現在の組（一般に最初空である）ならびに順位付け中または順位付けのためにテスト中の現在の変数を使用し、またグリーディアルゴリズムを使用して、前に識別された重要な変数に基づいて入力組を近視的に最適化することによって入力変数の組を最適化して、出力を最も改善する残りの変数を識別するするネットワークトレーニング手順である。
【０１０３】
このトレーニングプロセスを図４に示す。ニューラルネットワークによって使用される入力の数は、所望の出力、すなわちトレーニングデータの既知のターゲット出力に大きく貢献しないことが分かる入力を排除することによって制御される。米国カリフォルニア州 La Jolla Logical Designs Consulting 社の WindowsTM用の ThinksProTMニューラルネットワーク（またはTrainDosTMＤＯＳバージョン）や、当業者が開発できるそのような他のプログラムなど、業務用コンピュータプログラムは、入力を変更し、ネットワークをトレーニングするために使用できる。
【０１０４】
米国オレゴン州ビーバートンの California Scientific Software 社、Nevada Adaptive Solutionsから販売されているBrainmakertm、米国ペンシルバニア州ピッツバーグのNeuralWare 社から販売されている Neural Network Utility/2tm、および米国メリーランド州のフレデリックの Ward Systems Group 社から販売されている NeuroShelltmおよびNeuroWindowstmを含めて、いくつかの他の市販のニューラルネットワークコンピュータプログラムを使用して、上記の動作のいずれかを実施できる。変数選択およびネットワーク最適化の機能を提供する他のタイプのデータ収集ツール、すなわち意思決定支援システムも設計でき、また他の市販のシステムも使用できる。例えば、米国ワシントン州レドモンドの BioComp Systems 社から販売されている Neuro Genetic OptimizerTM、およびシンガポール共和国の New Wave Intelligent Business Systems（ＮＩＢ５）社から販売されている Neuro Forecaster/GENETICAは、自然選択に基づいてモデル化された遺伝アルゴリズムを使用して、ネットワーク分布中の十分に実行しないノードをなくし、かつ最適化されたネットワークを「成長」させるために最もよく実行する速度を子孫ノードに送り、かつ結果に大きく貢献しない入力変数をなくす。遺伝アルゴリズムに基づくネットワークは、変異を使用して、極小値中での捕獲を回避し、またクロスオーバプロセスを使用して、新しい構造を分布中に導入する。
【０１０５】
データ中の知識発見（ＫＤＤ）は、変数中に存在する重要な関係を識別するために設計された他のデータ収集ツール、意思決定支援システムであり、多数の可能な関係が存在する場合に有用である。米国マサチューセッツ州べッドフォードのThinking Machines 社から販売されている Darwintm、米国カリフォルニア州マウンテンビューの Silicon Graphics 社から販売されている Minesettm、米国カリフォルニア州サンフランシスコの Ultragem Data Mining 社のEikoplextmを含めて、いくつかのＫＤＤシステムが販売されている。（Eikoplextmは心臓病の存在の確率を決定する分類規則を与えるために使用されている）。他のシステムも当業者によって開発されうる。
【０１０６】
順位付け手順を継続して、例えば、ｘを２に設定した場合、二つの順位付け組の各組からの上部の二つの変数をプロセスによってテストし（図３、ステップＬ、Ｓ）、テスト結果が改善を示すかどうかを確かめるために結果を検査する（ステップＴ）。改善が存在する場合、単一の最も性能のよい変数を「重要な」変数の組に追加し、次いでその変数を他のテスト（ステップＳ）のために二つの順位から除去する（図３、ステップＵ）。改善が存在しない場合、改善が見つかるまで、または二つの組からのすべての変数がテストされるまで各組からの次のｘ個の変数についてプロセスを繰り返す。このプロセスは、ソースセットが空である、すなわちすべての関連する変数または重要な変数が最後のネットワーク中に含まれるまで、またはテストすべき組の中の残りのすべての変数が重要な変数の現在のリストの性能以下であることが分かるまで繰り返される。この除去プロセスは、重要な変数の組を決定するためにテストしなければならない使用できる変数のサブセットの数を大いに減らす。最悪の場合でも、１０個の使用できる変数では、プロセスは、ｘ＝２の場合３４個のサブセットのみ、ｘ＝１の場合１０２４個の可能な組合せの１９個のサブセットのみをテストする。したがって、１００個の使用できる変数が存在する場合、３９４個のサブセットのみがｘ＝２の場合テストされる。したがって、最もよいテスト性能を有するネットワークからの変数を使用のために識別する（図３、ステップＶ）。
【０１０７】
次いで、診断を実施するようにネットワークの最後の組をトレーニングする（図４、ステップＭ、Ｎ、Ｑ、Ｒ）。一般に、いくつかの最後のニューラルネットワークが診断を実施するようにトレーニングされる。ニューラルネットワークのこの組は、エンドユーザに供給できる製品の基礎となりうる。異なる初期条件（初期重み）が所与のネットワークに対して異なる出力を発生しうるので、コンセンサスを求めることが有用である。（異なる初期重みは、誤差が極小値中に捕獲されるのを回避するために使用される）。コンセンサスは、トレーニングされたネットワークの各ネットワークの出力を平均化することによって形成され、これは次いで診断テストの単一出力になる。
【０１０８】
ネットワークのコンセンサスをトレーニングする．
図４に、ニューラルネットワークのコンセンサスをトレーニングする手順を示す。まず、現在のトレーニングサイクルが最後のトレーニングステップであるかどうかを決定する（ステップＭ）。ｙｅｓの場合、すべての使用できるデータをトレーニングデータセット中に入れる（すなわちＰ＝１）（ステップＮ）。ｎｏの場合、使用できるデータをＰ個の等しいサイズの区分に分割し、データを各区分ごとにランダムに選択する（ステップＯ）。例示の実施形態では、例えば、５個の区分、例えば、Ｐ1〜Ｐ5を使用できるトレーニングデータのフルセットから生成する。次いで、二つの構成に取りかかる（ステップＰ）。まず、一つまたは複数の区分をテストファイルにコピーし、残りの区分をトレーニングファイルにコピーする。５個の区分の例示の実施形態を継続し、全データセットの２０％を表す区分のーつ、例えば、Ｐ1をテストフアイルにコピーする。残りの４個のファイルＰ2〜Ｐ4をトレーニングデータとして識別する。トレーニング区分を使用して、Ｎ個のニューラルネットワークのグループをトレーニングする。各ネツトワークは異なる開始重みを有する（ステップＱ）。したがって、例示の実施形態では、２０個の異なる乱数種を使用してランダムに選択された開始重みを有する２０個のネットワーク（Ｎ＝２０）が存在する。２０個のネットワークの各ネットワークごとにトレーニングを完了した後、２０個のすべてのネットワークの出力値を平均化して、トレーニングされたネットワークのテストデータの平均性能を与える。次いで、トレーニングされたネットワークを介してテストファイル（区分Ｐ1）中のデータを実行して、トレーニングされたネットワークの性能の推定値を与える。この性能は、一般に予測の二乗平均誤差または誤分類率として決定される。各ネットワークの個々の性能推定値を平均化することによって最終性能推定値を生成し、完成したコンセンサスネットワークをつくり出す（ステップＲ）。使用できるデータを複数のサブセットに分割することによるトレーニングのこの方法は、一般にトレーニングの「ホールドアウト方法」と呼ばれる。ホールドアウト方法は、ネットワークトレーニングに使用できるデータが制限されるときに特に有用である。
【０１０９】
テストセット性能は、テストセット性能を最大にするネットワークパラメータを識別する様々な実験を実施することによって経験的に最大化できる。実験のこの組中で修正できるパラメータは、１）隠れた処理要素の数、２）入力に加えられる雑音の量、３）誤差許容度の量、４）学習アルゴリズムの選択、５）重み減衰の量、６）変数の数を含む。可能なすべての組合せの完全な探索は、一般に、必要とされる処理時間の量のために実際的でない。したがって、テストネットワークは、ＴｈｉｎｋｓＰｒｏTMやユーザが開発したプログラムなど、コンピュータプログラムを介して経験的に選択されるトレーニングパラメータを使用してトレーニングされるか、または注目する分野で働いている他者によって生成された既存のテスト結果の結果からトレーニングされる。「最もよい」構成が決定された後、ネットワークの最終組を完成したデータセットに基づいてトレーニングできる。
【０１１０】
３．生化学診断テストの開発．
変数を分離する同様の技法を使用して、生化学診断テストを構築または検証することができ、また生化学診断テストデータを患者病歴診断テストと組み合わせて、医療診断の信頼性を高めることができる。
【０１１１】
選択された生化学テストは、患者および／または患者の症状に関連して有用な診断情報がそこから得られる任意のテストを含む。このテストは、機器ベースであるか、または非機器ベースであり、また生物学試料、患者兆候、患者状態、および／またはこれらのファクタの変化の分析を含む。いくつかの分析方法のいずれも使用でき、免疫学的検定法、生物学的検定法、クロマトグラフィ、モニタおよびイメージャを含む。ただし、これらに限定されない。この分析は、分析物、血清マーカ、抗体、およびサンプル中の患者から得られるものなどを評価できる。さらに、患者に関する情報がテストに関連して供給できる。そのような情報は、年齢、体重、血圧、遺伝的履歴、および他のそのようなパラメータまたは変数を含む。ただし、これらに限定されない。
【０１１２】
この実施形態において開発された例示の生化学テストは、Ｅｎｚｙｍｅ Ｌｉｎｋｅｄ Ｉｍｍｕｎｏｓｏｒｂｅｎｔ ＡｓｓａｙまたはＥＬＩＳＡテストなど、標準化されたテストフォーマットを使用するが、本明細書で与えられる情報は、他の生化学テストまたは診断テストの開発に適用でき、ＥＬＩＳＡテストの開発に限定されない（例えばＥＬＩＳＡテストの説明については、Atassi他編、「Molecular Immunology: A Textbook」、Marcel Dekker Inc.，New York and Basel 1984参照）。ＥＬＩＳＡテストの開発にとって重要な情報は、抗体プロファイルを特徴付け、かつ抗体の特性を抽出するために蛋白質に対する抗体の反応度を決定するテストフォーマットであるウェスタンブロットテスト中に得られる。
【０１１３】
ウェスタンブロットは、例えば、混合物中の特定の抗原をポリアクリルアミドゲル上で分離させ、ニトロセルロース上ににじませ、ラベル付けされた抗体をプローブとして検出することによって、これらの抗原を識別するために使用される技法である。（例えばウェスタンブロットについては、Stitesおよび Terr編、「Basic and Clinical Immunology」、Seventh Edition、Appleton and Large 1991を参照）。しかしながら、ウェスタンブロットテストを診断ツールとして使用することは時々望ましくない。代わりに、診断に関連する情報を含む分子量の範囲を事前に識別し、次いでこの情報を同等のＥＬＩＳＡテスト中に「コード化」できる。
【０１１４】
この例では、有効な生化学診断テストの開発は、疾病症状が既知であるか、または推測される患者のウェスタンブロットデータの使用可能度に依存する。図５を参照すると、ウェスタンブロットデータをソースとして使用し（ステップＷ）、ウェスタンブロットデータを処理する場合の第一のステップは、ニューラルネットワークによって使用されるウェスタンブロットデータを事前処理することである（ステップＸ）。画像は、コンピュータを使用して、スプライン補間および画像正規化を実施することによってデジタル化され、固定の寸法のトレーニング記録に変換される。多数のウェスタンブロットテストからのデータを使用するために画像中の情報のみに基づいて画像を所与のゲル上で整合する必要がある。ニューラルネットワークの各入力は、特定の分子量または分子量の範囲を正確に表す必要がある。通常、生成される各ゲルは、較正用に標準画像を含む。含まれる蛋白質は、既知の分子量のものであり、したがって標準画像はまた、同じウェスタンブロット中に含まれる画像の整合に使用できる。例えば、標準曲線を使用して、同じウェスタンブロット上の他の画像の分子量範囲を推定し、それによりニトロセルロースストリップを整合することができる。
【０１１５】
画像を整合する方法は立方スプライン補間である。これは、標準によって表されたデータ点で滑らかな遷移を保証する方法である。外挿による起こりうる性能問題を回避するために、外挿が線形になるように終端条件を設定する。コンピュータの整合ステップは、ウェスタンブロットの出力上の所与のバンドに対して分子量の推定値の変動を最小限に抑える。
【０１１６】
次いで、最も暗いバンドが１．０の倍率変更された密度を有し、かつ最も明るいバンドが０．０に倍率変更されるように密度を倍率変更することによって画像の密度を正規化するために得られた走査画像を処理する。次いで、この画像を処理して、以下で説明するように最初にトレーニングされなければならないニューラルネットワークへの入力になる数の固定の長さのベクトルにする。
【０１１７】
トレーニング例は、ウェスタンブロットデータの処理から生成された結果をトレーニングする上述のプロセスと同じプロセスで作成される（ステップＹ）。開始重みに対する依存度、相互依存変数中の冗長度、ネットワークを過剰トレーニングすることから生じる減感の認識された問題を最小限に抑えるために、前に論じた分割方法によるデータに基づいて一組のニューラルネットワーク（コンセンサス）をトレーニングすることが有用である。
【０１１８】
処理されたウェスタンブロットデータに対するトレーニング実行の感度分析から、大いに寄与する分子量（ＭＷ）の領域を決定し、識別できる（ステップＡＡ）。分離ステップの一部として、入力と所望の出力との間の相関の符号が同じである限り、隣接する領域中の入力を「ビン」中に結合することが好ましい。このプロセスは、ウェスタンブロットによってつくり出された代表的な１００プラス入力、および他の入力を、約２０個未満の入力のはるかにより操作可能な数まで減らす。
【０１１９】
特定の実施形態では、分子量の複数の範囲は、診断中の条件を示す所望の出力に相関することが分かる。相関は、正または負である。減少した入力表示は、ウェスタンブロットトレーニング中に発見されたピークの各ピークを中心としたガウス領域を使用して生成される。標準偏差は、ガウスの値が領域の縁部で０．５以下であるように決定される。
【０１２０】
特定の実施形態では、ニューラルネットワーク入力を生成する基本操作は、計算のために分子量のログを使用して、ガウス画像とウェスタンブロット画像との間で畳み込みを実施することである。
【０１２１】
データは、上述のように、ホールドアウト方法を使用してテストできる。例えば、５個の区分を使用し、各区分中、データの８０％をトレーニング用に使用し、データの２０％をテスト用に使用することもある。データは、各区分が各ゲルからの例を有する可能性があるようにシャッフルされる。
【０１２２】
診断にとって重要な分子量領域を識別した後（ステップＡＡ）、分子量の選択された一つまたは複数の領域の一つまたは複数のテストを構築する（ステップＡＢ）。ＥＬＩＳＡ生化学テストは一例である。診断にとって重要であると識別された分子量の選択された一つまたは複数の領域は、その場合、物理的に識別され、ＥＬＩＳＡ生化学テストの構成要素として使用される。同じ相関符号の領域は単一のＥＬＩＳＡテスト中に結合されても結合されなくてもよいが、異なる相関符号の領域は、単一のテスト中に結合されてはならない。そのような生化学テストの値は、その場合、生化学テスト結果を既知のまたは推測される医療状態と比較することによって決定される。
【０１２３】
この例では、生化学診断テストの開発は、図２に示されるプロセス中で患者データと生化学データを結合することによって向上する。これらの条件下では、患者病歴診断テストは生化学診断テストの基礎である。本明細書で説明するように、重要な変数として識別された変数は、診断にとって重要な分子量領域を識別するために使用すべき一組のニューラルネットワークをトレーニングするためにウェスタンブロットデータから得られたデータと結合される。
【０１２４】
図２を参照すると、ウェスタンブロットデータをソースとして使用し（ステップＷ）、上述のようにニューラルネットワークが使用するために事前処理する（ステップＸ）。患者病歴データからの重要な変数およびウェスタンブロットデータの処理から生成された結果を結合し、結合されたデータを使用してトレーニングする（ステップＹ）上述のプロセスと同様のプロセス中でトレーニング例を作成する。並行して、ネットワークを上述のように患者病歴データに基づいてトレーニングする（ステップＺ）。
【０１２５】
開始重み、相互依存変数間の冗長度、およびネットワークを過剰トレーニングすることによって生じる減感に対する依存度の認識された問題を最小限に抑えるために、分割方法によってデータに基づいて一組のニューラルネットワーク（コンセンサスセット）をトレーニングすることが好ましいことが分かった。
【０１２６】
患者病歴データのみに基づくトレーニング実行の感度分析から、上述のように、大きく寄与する分子量の領域を決定し、識別できる（ステップＡＡ）。分離プロセス中の他のステップとして、その後、ウェスタンブロットデータ用の重要なビンを分離するために結合された患者病歴およびビン情報を入力として使用して、一組のネットワークをトレーニングする。「重要なビン」は、患者病歴情報の寄与を考慮する診断に関連する分子量の重要な領域を表す。これらのビンは、診断の所望の出力と正または負に相関する。
【０１２７】
診断にとって重要な分子量領域を識別した後（ステップＡＡ）、選択された領域または複数の領域用の一つまたは複数のテストを作成し、上述のように確認する（ステップＡＢ）。次いで、設計されたＥＬＩＳＡテストを生成し、使用して、データベース中の各患者ごとにＥＬＩＳＡデータを生成する（ステップＡＣ）。ＥＬＩＳＡデータおよび重要な患者病歴データを入力として使用して、上述の分割手法を使用して一組のネットワークをトレーニングする（ステップＡＥ）。分割手法を使用すれば、生化学テストの下限の推定値が得られる。一組のネットワーク、すなわち供給できる製品として使用すべきネットワークの最終トレーニング（ステップＡＥ）は、トレーニングデータの一部としてすべての使用できるデータを使用して行われる。必要な場合、新しいデータを使用して、診断テストの性能を確認できる（ステップＡＦ）。すべてのトレーニングデータの性能は、生化学テストの性能推定値の上限になる。ネットワークのコンセンサスは、意図された診断テスト出力（ＡＧ）を表す。このニューラルネットワークの最後の組は、その場合診断に使用できる。
【０１２８】
４．ニューラルネットワーク性能の改善．
ニューラルネットワークを例に挙げて説明した意思決定支援システム、および本発明において提供される方法の重要な特徴は、性能を改善する能力である。上記で概説したトレーニング方法は、より多くの情報が使用できるようになるにつれて繰り返される。動作中、すべての入力変数および出力変数は、記録され、将来のトレーニングセッション中にトレーニングデータを増大させる。このようにして、診断ニューラルネットワークは、個々の母集団および母集団特性のゆるやかな変化に適合できる。
【０１２９】
トレーニングニューラルネットワークが、ユーザが所要の情報を入力し、かつニューラルネットワークスコアをユーザに出力することを可能にする装置中に含まれる場合、使用中の性能を改善するプロセスが自動化される。各エントリおよび対応する出力は、メモリ中に保持される。ネットワークを再トレーニングするステップは装置中にコード化できるので、ネットワークは、母集団に固有のデータを使用してどんなときでも再トレーニングできる。
【０１３０】
５．診断テスト治療方法の有効性を評価する方法．
一般に、診断テストの有効性または有用性は、診断テスト結果が分かっているかまたは推測される患者医療状態と比較することによって決定される。診断テストは、診断テスト結果と患者医療状態との間に良好な相関がある場合に有効であると考えられる。診断テスト結果と患者医療状態との間の相関がよければよいほど、診断テストの有効性に置かれる評価は高くなる。そのような相関がない場合、診断テストは、あまり有効でないと考えられる。本発明において提供されるシステムは、そのテストに対応する変数が重要な選択された変数であるかどうかを決定することによって生化学テストの有効性を評価する手段を提供する。システムの性能を改善するデータをもたらすテストが識別される。
【０１３１】
診断テスト結果と患者医療状態との間の相関と無関係に、診断テストの有効性をそれにより決定できる方法（図６）について以下で説明する。同様の方法を使用して、特定の治療の有効性を評価できる。
【０１３２】
一実施形態では、この方法は、患者データのみに基づいてトレーニングされた患者病歴診断ニューラルネットワークの性能を、患者病歴データとＥＬＩＳＡデータなど生化学テストデータとの結合に基づいてトレーニングされた結合ニューラルネットワークの性能と比較する。患者病歴データを使用して、すべて上述のように、診断用の重要な変数を分離し（ステップＡＨ）、最後のニューラルネットワークをトレーニングする（ステップＡＪ）。並行して、その患者データが分かっているすべての患者またはサブセットについて生化学テスト結果を与え（ステップＡＫ）、すべて上述のように、まず診断用の重要な変数を分離し（ステップＡＬ）、その後最後のニューラルネットワークをトレーニングすること（ステップＡＭ）によって診断ニューラルネットワークを結合した患者データおよび生化学データに基づいてトレーニングする。
【０１３３】
次いで、ステップＡＮで、ステップＡＪから得られた患者病歴診断ニューラルネットワークの性能を、ステップＡＭから得られた結合した診断ニューラルネットワークの性能と比較する。診断ニューラルネットワークの性能はいくつの手段ででも測定できる。一例では、各診断ニューラルネットワーク出力と患者の分かっているまたは推測される医療状態との間の相関を比較する。その場合、性能をこの相関の関数として測定できる。性能を測定する多数の他の方法がある。この例では、ステップＡＪから得られたものに勝るステップＡＭから得られた結合した診断ニューラルネットワークの性能の向上を生化学テストの有効性の尺度として使用する。
【０１３４】
そのテスト結果と分かっているまたは推測される医療状態との間の十分な相関を欠いているこの例の生化学テスト、および一般の診断テストは、通常、効用が限られると考えられる。そのようなテストは、上述の方法によっていくつかの用途を有することが示され、したがってさもなければ有益でないと考えられるかもしれないそのテストの有効性が高くなる。本明細書で説明した方法には、診断テストの有用性を評価する手段を提供すること、かつまた診断テストの有効性を高める手段を提供することの二つの目的に適う。
【０１３５】
６．診断用の変数の識別および診断テストの開発へのこれらの方法の応用．
本発明において提供される方法およびネットワークは、例えば、重要な変数を識別し、既存の生化学テストを改善し、新しいテストを開発し、療法経過を評価し、新しい疾病マーカを識別する手段を提供する。これらの利点を例示するために、提供される方法は、特定の期間中の陣痛および出産の可能性など、子宮内膜症および妊娠関連事象に適用されている。
【０１３６】
子宮内膜症．
本明細書に記載の方法は、子宮内膜症の診断用の非侵襲性方法を開発する手段を提供している。さらに、本発明の方法は、子宮内膜症を示すデータを与える生化学テストを開発し、また新しい生化学テストを識別し、開発する手段を提供する。
【０１３７】
意思決定支援システムの変数選択および使用の方法は、子宮内膜症に適用されている。意思決定支援システム、この例では、ニューラルネットワークのコンセンサスは、子宮内膜症の診断用に開発されている。「例」で詳述するこの開発の過程で、患者病歴データ、すなわち質問表フォーマットによって患者から得られるデータのみを利用する子宮内膜症の診断を助けることができるニューラルネットワークを開発できることが分かった。生化学テストデータを使用して、特定のネットワークの性能を高めることができることが分かったが、診断ツールとしてのその価値にとっては重要でなかった。変数選択プロトコルおよびニューラルネットは、子宮内膜症を診断する手段を提供する意思決定支援システム中に入力できる変数の組を選択する手段を提供する。識別された変数の一部は、従来子宮内膜症に関連していた変数を含むが、他の変数はそうではない。さらに、上記のように、子宮内膜症に関連する骨盤痛や月経困難症などの変数は、診断が可能なようにそれに線形的に相関しない。
【０１３８】
例示的な意思決定支援システムについて例中で説明する。例えば、本明細書でｐａｔ０７で示される一つのニューラルネットについて例１４で説明する。ｐａｔ０７ネットワーク出力と子宮内膜症を有する確率との比較は正の相関をもたらす（表１参照）。ｐａｔ０７ネットワークは、女性のｐａｔ０７スコアに基づいて子宮内膜症を有する女性の可能性を予測できる。例えば、女性が０．６のｐａｔ０７スコアを有する場合、彼女は子宮内膜症を有する９０％の確率を有する。ｐａｔ０７スコアが０．４の場合、彼女は子宮内膜症を有する確率が１０％である。データベースに適用したときのｐａｔ０７出力のダイナミックレンジは、約０．３から約０．７であった。理論上、出力値は、０から１まで変動しうるが、０．３以下の値または０．７以上の値は観測されなかった。ｐａｔ０７ネットワークを使用して、８００人以上の女性を評価し、その性能は次のように要約できる。
【０１３９】
【表１】
【０１４０】
ｐａｔ０７ネットワークスコアは、子宮内膜症を有する可能性と解釈され、女性が子宮内膜症を有すると診断されるかどうかではない。可能性は、各スコアグループ中で発見される子宮内膜症の相対発生率に基づく。例えば、０．６またはそれ以上のｐａｔ０７ネットワークスコアを有する女性のグループでは、これらの女性の９０％が子宮内膜症を有し、これらの女性の１０％が子宮内膜症を有しない。この可能性は、不妊症科にいる女性の人口に関連する。ｐａｔ０７ネットワークを含むソフトウェアプログラムが開発されている。
【０１４１】
ａｄｅｚａｃｒｆ．ｅｘｅと呼ばれる一つのプログラムは、ユーザが女性のｐａｔ０７ネットワークスコアを得ることを可能にする単一のスクリーンウィンドウインタフェースを提供する。ユーザは、１４個のすべての変数の値を入力し、すべてのキーストロークの後でｐａｔ０７ネットワークスコアを計算する。ａｄｚｃｒｆ２．ｅｘｅと呼ばれる他のプログラムは、ａｄｅｚａｃｒｆ．ｅｘｅとほとんど厳密に同じであるが、一つの追加の入力、すなわちＥＬＩＳＡテストの値を入力できる。このプログラムおよびネットワークは、診断テストの臨床的効用を拡大する方法の具体的な例である。ＥＬＩＳＡテスト結果は子宮内膜症に相関しなかった。それだけではＥＬＩＳＡテストは臨床的効用を有しない。他の入力パラメータとして、ＥＬＩＳＡテストは、ネットワーク分析用の入力としてＥＬＩＳＡ結果を組み込むことがＥＬＩＳＡテストの臨床効用を拡大するように、ネットワーク性能を改善した。ａｄｚｃｒｆ２．ｅｘｅと呼ばれる（本明細書の付録ＩＩに記載されている）他のプログラムは、ユーザが女性のｐａｔ０７ネットワークスコアを得ることを可能にする多重スクリーンウィンドウインタフェースを提供する。多重データエントリスクリーンは、すべての患者病歴データを入力し、ｐａｔ０７用の入力として必要とされるパラメータだけは入力しないようにユーザを案内する。ユーザがすべてのデータを入力し、正確なものと認めた後で、ｐａｔ０７スコアを計算する。このプログラムはまた、＊．ｆｄｂファイル中に入力されたデータを保管し、データをインポートし、インポートされたデータ上のｐａｔ０７スコアを計算し、データをエクスポートすることができる。ユーザは、前に入力したデータを編集することができる。上記の三つのプログラムはすべて、子宮内膜症用の診断ソフトウェアの具体的な例として役立つ。
【０１４２】
図１１に、診断ソフトウェア中で使用される例示的なインタフェーススクリーンを示す。ＭｉｃｒｏＳｏｆｔ ＷｉｎｄｏｗｓTMタイプのディスプレイとして提供されるディスプレイ１１００は、子宮内膜症の診断用に決定された重要な変数の各変数ごとに数値を入力するためのテンプレートを提供する。テストを実施するためのデータの入力は、従来のキーボードのみを使用するか、またはコンピュータマウス、トラックボールまたはジョイスティックと組み合わせて実施される。本明細書では、マウスとキーボードの組合せを使用する。各テキストボックス１１０１〜１１０６は、重要な変数、すなわち年齢（ボックス１１０１）、妊娠回数（ボックス１１０２）、出産回数（ボックス１１０３）、流産回数（ボックス１１０４）、一日当たり吸うたばこの箱数（ボックス１１０５）、ＥＬＩＳＡテスト結果（ボックス１１０６）を表す数値を入力するためのものである。対象患者の年齢を入力するために、ユーザは、スクリーン上のポインタがボックス１１０１中に入るようにマウスを動かし、次いでその位置でクリックする。キーボードを使用して、患者の年齢を表す数を入力する。選択されたボックスでポイントし、クリックすることによって残りのボックスにアクセスする。
【０１４３】
ボックス１１０７〜１１１５は、データが二進、すなわち「ｙｅｓ」か「ｎｏ」である重要な選択された変数である。ボックスおよび変数は次のように相関する。
【０１４４】
［表１］
――――――――――――――――――――――――――――――
ボックス 変数
１１０７ 子宮内膜症の過去病歴
１１０８ 月経困難症
１１０９ 妊娠中の高血圧症
１１１０ 骨盤痛
１１１１ 異常ＰＡＰ／形成異常症
１１１２ 骨盤手術歴
１１１３ 薬物治療歴
１１１４ 生殖器いぼ
１１１５ 糖尿病
――――――――――――――――――――――――――――――
【０１４５】
これらの変数の任意の変数に対する「ｙｅｓ」は、対応するボックスをポイントし、マウスボタンをクリックして、ボックス中の「Ｘ」を示すことによって表示できる。
【０１４６】
ネットワークは、すべてのキーストロークの後でデータを自動的に処理し、したがってテンプレート１１００中へのすべての入力の後でテキストボックス１１１８〜１１２０中に表示される出力値中に変化が現れる。「Ｅｎｄｏ」とラベル付けされたテキストボックス１１１８は、子宮内膜症の存在に対してコンセンサスネットワーク出力を与える。「Ｎｏ Ｅｎｄｏ」とラベル付けされたテキストボックス１１１９は、子宮内膜症の不在に対してコンセンサスネットワーク出力を与える。テキストボックス１１２０は、患者が子宮内膜症を有するかどうかを示す相対的スコアを与える。テキストボックス１１２０中のスコアは、医師が結果を解釈することをより容易にするボックス１１１８および１１１９から得られた人工的な数であることに留意されたい。上記のように、２５までの正の範囲中のこのボックス中の値は、子宮内膜症を有することを示し、−２５までの負の範囲の値は、子宮内膜症を有しないことを示す。選択された変換は、医師がｐａｔ０７出力をより容易に解釈することを可能にする。
【０１４７】
例で説明したように、ｐａｔ０７は、子宮内膜症を予測する唯一のネットワークではない。ｐａｔ０８からｐａｔ２３ａで示される他のネットワークが開発されている。これらも子宮内膜症を予測する。これらのすべてのネットワークは、まったく同様に動作し、容易にｐａｔ０７の代わりに使用できる。したがって、ｐａｔ０７を開発するために使用した方法に従って、他の同様に機能するニューラルネットが開発でき、開発されている。ｐａｔ０８およびｐａｔ０９は、ｐａｔ０７に最も類似している。これらのネットワークは、上記で概説したプロトコルに従って開発され、ｐａｔ０７の開発用に使用されるものと同じ組から重要な変数を選択することができた。
【０１４８】
変数の初期重み付けは、変数選択手順の結果に対しては影響を及ぼすが、最後の診断結果中ではそうではないことが分かった。ｐａｔ０８およびｐａｔ０９は、ｐａｔ０７と同じ患者データのデータベースを使用して、疾病関連パラメータを導出した。ｐａｔ１０からｐａｔ２３ａは、元々いくつかのパラメータ、すなわち子宮内膜症歴、骨盤手術歴、月経困難症歴、骨盤痛の重要度を明らかにするために設計されたトレーニング実行であった。これらを開発するために、変数選択プロセスから変数を差し引くことによってその変数の重要度を評価した。変数選択プロセスおよび最後のコンセンサスネットワークをトレーニングすることで、ネットワーク性能は著しく低下しないことが分かった。
【０１４９】
したがって、特定の変数または変数の組は子宮内膜症を予測する場合に重要であると考えられていたが、そのような変数がない場合にトレーニングされるネットワークは、子宮内膜症を予測する著しく低下した能力を有しない。これらの結果は、（１）変数選択およびコンセンサスネットワークトレーニング用の方法の有効性、および（２）一般にネットワークの適合性を証明する。一つのデータタイプがない場合、ネットワークは、その情報を引き出すべき他の変数を見つけた。一つの変数がない場合、ネットワークは、異なる変数をその所定の位置で選択し、性能を維持した。
【０１５０】
子宮内膜症を有する疑いがある患者は、一般に疾病を診断するために診断手術を受けなければならない。患者病歴情報および任意選択でウェスタンブロットデータなど生化学テストデータを使用して、この障害を確実に診断する能力は、手術の非常に望ましい代替手段を与える。本発明の方法および識別された変数はそれを行う手段を与える。
【０１５１】
子宮内膜症の疾病の診断に関連するデータが収集されている。このデータは、患者病歴データ、ウェスタンブロットデータ、ＥＬＩＳＡデータを含む。「例」に示される本発明の方法の適用は、患者病歴データのみが子宮内膜症を予測できることを証明した。
【０１５２】
変数選択プロトコルの性能を評価し、１４個の変数ネットワーク（ｐａｔ０７）が１４個の変数の可能なすべての組合せと比較して（性能に関して）順位付けされることを確認するために、ネットワークを変数の可能なすべての組合せ（１６，３８４の組合せ）に基づいてトレーニングした。また、変数選択プロトコルを１４個の変数の組に適用した。１４個の変数の中から、５個の変数を選択した。これらは、妊娠高血圧症、出産回数、異常ＰＡＰ／形成異常症、子宮内膜症歴、および骨盤手術歴である。この組合せを１６，３８４の可能な組合せから６８番目に最もよく実行する組合せとして順位付けし（９９．６百分位数）、それにより変数選択プロトコルの有効性を証明した。また、１４個のすべての変数を含む組合せを１６，３８４の可能な組合せから７１８番目に順位付けした（９５．６百分位数）。
【０１５３】
これらの結果はまた、１４個の変数のサブセットが有用であることを示す。特に、３個の変数の次の組合せの一つ（または複数）のパラメータの選択された組の任意のサブセット、特に１４個の変数の組が子宮内膜症の診断用に意思決定支援システムとともに使用できる。
【０１５４】
［表２］
――――――――――――――――――――――――――――――――――――
ａ）出産回数、子宮内膜症歴、骨盤手術歴
ｂ）糖尿病、妊娠高血圧症、喫煙
ｃ）妊娠高血圧症、異常ｐａｐしみ／形成異常症、子宮内膜症歴
ｄ）年齢、喫煙、子宮内膜症歴
ｅ）喫煙、子宮内膜症歴、月経困難症
ｆ）年齢、糖尿病、子宮内膜症歴
ｇ）妊娠高血圧症、出産回数、子宮内膜症歴
ｈ）喫煙、出産回数、子宮内膜症歴
ｉ）妊娠高血圧症、子宮内膜症歴、骨盤手術歴
ｊ）妊娠回数、子宮内膜症歴、骨盤手術歴
ｋ）出産回数、異常ＰＡＰしみ／形成異常症、子宮内膜症歴
ｌ）出産回数、異常ＰＡＰしみ／形成異常症、月経困難症
ｍ）子宮内膜症歴、骨盤手術歴、月経困難症
ｎ）妊娠回数、子宮内膜症歴、月経困難症。
――――――――――――――――――――――――――――――――――――
【０１５５】
例で示すように、列挙した１４個の変数と同じ働きをする重要な選択された変数の他の組が得られる。他のより小さいそのサブセットも識別できる。
【０１５６】
特定の期間中の出産の可能性など、妊娠関連事象の予測．
本発明の方法は、任意の障害または状態に適用でき、特に診断テストが適切に相関し得るか、または生化学テストまたは好都合な生化学テストが使用できない状態に適している。例えば、本発明の方法は、特定の期間中の出産の可能性など、妊娠関連事象の予測に適用されている。
【０１５７】
間近に迫った出産の決定は、例えば、３４週までに生まれた幼児の新生児残存者を増やすために重要である。妊娠の週２０後に妊娠患者からの膣腔または子宮頸管からの分泌サンプル中の胎児のフィブロネクチンの存在は、３４週前の陣痛および出産の危険に関連する。妊娠の週２０後に妊娠患者からの膣腔または子宮頸管からの分泌サンプル中の胎児のフィブロネクチンをスクリーニングする方法および装置が販売されている（米国特許第５５１６７０２号、第５４６８６１９号、第５２８１５２２号、および第５０９６８３０号参照。また、米国特許第５２３６８４６号、第５２２３４４０号、および第５１８５２７０号参照）。
【０１５８】
これらの分泌物中の胎児のフィブロネクチンの存在と、３４週前の陣痛および出産との相関は完全ではない。著しい偽正率および偽負率が存在する。したがって、３４週前の陣痛および出産の可能性を評価する方法の必要に対処し、使用できるテストの予想可能度を改善するために、本発明の方法は、いくつかの妊娠関連事象の可能性を評価する意思決定支援システムの開発に適用されている。特に、懐胎の３４週前（または後）の出産を予測するニューラルネットが開発された。本明細書で説明した開発されたニューラルネットワークおよび他の意思決定支援システムは、偽正の数を少なくすることによって胎児のフィブロネクチン（ｆＦＮ）の性能を改善できる。例１３に示される結果は、本発明の方法を使用すれば、予測性能が改善されるので既存のテストの診断効用が改善できることを証明する。
【０１５９】
上述のように、これらの方法を使用して、前に疾病、状態または障害に関連すると考えられていなかったテストを識別し、新しいテストを設計し、新しい疾病マーカを識別することができる。
【０１６０】
次の例は、説明のためにのみ記載し、本発明の範囲を限定するものではない。
【実施例１】
【０１６１】
＜例１＞
患者病歴データの関連変数についての評価．
この例は、候補変数の選択を説明する。
【０１６２】
要件．
患者病歴を評価して、どの変数が診断に関連するかを決定する。この例は、診断で使用する各変数についての感度分析を実施することによって実施される。この分析の実施には二つの方法を使用することができる。第一の方法は、全ての情報についてネットワークをトレーニングし、各入力がネットワーク出力に及ぼす影響をネットワークの重みから決定する方法である。第二の方法は、変数を含んでトレーニングしたネットワーク、および変数を排除してトレーニングした第二のネットワークの、二つのネットワークの性能を比較する方法である。このトレーニングは、関連すると考えられる変数のそれぞれについて実施することになる。性能に寄与しないものは排除されることになる。こうした操作は、ネットワークへの入力のディメンションを低下させるために実施する。限られた量のデータでトレーニングする場合には、入力のディメンションが低いことにより、ネットワークの一般化能力が高まることになる。
【０１６３】
データの分析．
この例で使用するデータは、５１０件の患者病歴を含んでいた。各記録は１２０個のテキストおよび数字フィールドを含む。これらのフィールドのうち４５個は、手術前に知られており、常に情報を含むものとして識別された。これらのフィールドは、ネットワークの分析およびトレーニングに利用できる基本的な変数として使用した。この例で使用した変数の概要は以下の通りである。
【０１６４】
【表２】
【０１６５】
使用した方法．
変数の重要性を決定する、最も一般的に使用される方法は、全ての変数を含むデータについてニューラルネットワークをトレーニングする方法である。トレーニングしたネットワークを基礎として使用して、ネットワークおよびトレーニングデータについて感度分析を実施する。各トレーニング例では、ネットワークは順方向モードに実行される（トレーニングなし）。ネットワーク出力を記録した。各入力変数について、ネットワークは、変数をそのトレーニング例にわたるその変数の平均値で置換して、再実行される。出力値の差を二乗して累積する。各トレーニング例についてこのプロセスを繰り返す。次いでその結果生じた合計を正規化し、正規化した値の合計が変数の数と等しくなるようにする。このように、全ての変数が等しく出力に寄与する場合には、それらの正規化値は１．０になるはずである。次いで正規化値を重要性の順に順位付けすることができる。
【０１６６】
上記の手法にはいくつかの問題がある。第一に、これは発見されたニューラルネットワークの解決策に依存する。異なるネットワークの開始重みを使用すれば、異なる順位付けが発見される可能性がある。第二に、二つの変数の相関性が高い場合には、そのいずれを使用しても十分な情報を含むことになる。ネットワークトレーニング実行に依存して、ただ一つの変数しか重要であると識別することはできない。第三の問題は、トレーニングしすぎたネットワークが、変数の真の重要性を曲解する可能性があることである。
【０１６７】
上記の問題の影響を最小限に抑えるために、いくつかのネットワークをデータについてトレーニングした。できる限り最良のテストセットの性能を生み出すようにトレーニングプロセスを洗練し、ネットワークが入力と所望の出力との間の基礎関係を学習しているようにした。このプロセスの終了までに、ネットワークの良好なセットが利用可能になり、また最後にトレーニングしたネットワークについてのトレーニング構成も確立されることになる。トレーニングした各ネットワークについて感度分析を実施し、正規化値を平均した。この例では、トレーニング実行は、ホールドアウト方法を使用して利用可能なデータの五つの区分についてトレーニングした１５個のネットワークを含んでいた。
【０１６８】
変数の順位付けが確立された後で、テスト実行を行い、変数の排除がテストセットの性能に及ぼす影響を決定した。寄与の小さい変数を排除すると、テストセットの性能が低下する。トレーニングデータが限られていることによって過剰トレーニングが問題になる場合には、変数を排除することによってテストセットの性能を実際に改善することができる。処理時間を節約するために、順位付けに基づくテストでは変数のグループを排除することもできる。
【０１６９】
結果．
順位付けまたは変数は以下の通りとなり、これらはｐａｔ０５の実行でトレーニングされたネットワークについて報告される。
【０１７０】
［表３］
――――――――――――――――――――――――――――――
０１．３５．薬物治療歴
０２．３３．Ｅｎｄｏの過去の病歴
０３．１１．出産回数
０４．３７．骨盤痛
０５．４０．月経困難症
０６．３４．骨盤手術歴
０７．１． 年齢（ｐｒｅｐｒｏｃ）
０８．１３．不妊症歴
０９．８． 箱／日
１０．３６．現在の外因性ホルモン
１１．４２．不妊症
１２．１８．誘発ホルモン
１３．１５．無排卵
１４．１４．排卵
１５．４３．付属器の塊／肥厚症
１６．４５．その他の症状
１７．３０．異常ＰＡＰ／形成異常症
１８．２６．子宮外妊娠
１９．１９．ヘルペス
２０．３９．月経異常
２１．１２．流産回数
２２．４１．性交疼痛症
２３．２４．子宮／卵管異常
２４．３１．婦人癌
２５．３２．その他の病歴
２６．１０．妊娠回数
２７．２８．卵巣嚢胞
２８．２５．フィブロイド
２９．２２．膣感染
３０．１６．未知
３１．２７．機能性子宮出血
３２．３８．異常な痛み
３３．５． 妊娠過形成
３４．９． 薬物使用
３５．２０．生殖器いぼ
３６．３． 妊娠ＤＭ
３７．４． 高血圧症
３８．２１．その他のＳＴＤ
３９．２３．ＰＩＤ
４０．４４．未決定
４１．２． 糖尿病
４２．１７．乏排卵
４３．６． 自己免疫疾患
４４．２９．多嚢胞性卵巣症候群
４５．７． 移植
――――――――――――――――――――――――――――――
【０１７１】
変数のサブセットをテストし、１４個の変数の最後のセットを使用してｐａｔ０７のネットワークをトレーニングした（例１３および１４参照）。上記の上位１４個にはないいくつかの変数も使用した。これによりテストセットの性能が改善された。
ｐａｔ０７のネットワークについての順位付けは以下の通りである。
【０１７２】
［表４］
――――――――――――――――――――――――――――――
０１．１０．Ｅｎｄｏの過去の病歴
０２．６． 出産回数
０３．１４．月経困難症
０４．１． 年齢（ｐｒｅｐｒｏｃ）
０５．１３．骨盤痛
０６．１１．骨盤手術歴
０７．４． 箱／日
０８．１２．薬物治療歴
０９．５． 妊娠回数
１０．７． 流産回数
１１．９． 異常ＰＡＰ／形成異常症
１２．３． 妊娠過形成
１３．８． 生殖器いぼ
１４．２． 糖尿病
――――――――――――――――――――――――――――――
【０１７３】
結論．
この例で識別された変数のセットは、テストおよび情報に基づいて妥当であると考えられる。
【０１７４】
＜例２＞
患者病歴データについてのネットワークのトレーニング．
この例は、上記の１４個の変数を使用して、様々なパラメータを設定および最適化する方法を明らかにする。
【０１７５】
要件．
上記の例が完了すると、減少した患者病歴についてネットワークのセットをトレーニングし、それらの性能を記録する。実験を実行し、ネットワークのトレーニングに最良の構成およびパラメータを決定した。性能の分析を実施して偽の正および偽の負の数を決定し、所与の患者のサブセットを信頼性高く診断することができるかどうかを調べた。データが限られているので、推定した性能は、残りのデータについてのテストおよびトレーニングのためにデータベースの小さな部分（２５％）を除外することによって決定した。ネットワークの一つで全てのデータをテストデータとして使用するまで、この方法を繰り返した。次いでテストデータについての組み合わせた結果が性能の推定となる。最後のネットワークは、利用可能な全てのデータをトレーニングデータとして使用してトレーニングした。
【０１７６】
使用した方法．
少ないトレーニング例を扱う場合には、ネットワーク構成およびパラメータ設定の決定に便利なテスト情報を提供するためには、ホールドアウト方法が有効である。処理時間を大幅に増加させることなくトレーニングに利用できるデータを最大限にするために、提案された２５％ではなく、２０％のホールドアウトを使用した。これにより四つではなく五つのデータ区分が生じ、データの８０％が各区分のトレーニング用となった。
【０１７７】
ランダム開始重みの影響を最小限に抑えるために、複数のネットワークを全トレーニング実行でトレーニングした。こうした実行では、三つのネットワークを、データの五つの区分のそれぞれで、それぞれ異なるランダム開始からトレーニングした。ネットワークの出力を平均して、単一のネットワークから得られるより低い分散を有するコンセンサス結果を形成する。
【０１７８】
いくつかの実験を実施し、テストセットの性能を最大限にするネットワークのパラメータを発見した。このプロセスで修正したパラメータは以下の通りである。
【０１７９】
［表５］
――――――――――――――――――――――――――――――
１．隠れた処理要素の数
２．入力に追加された雑音の量
３．誤差許容度の量
４．使用する学習アルゴリズム
５．使用する重み減衰の量
６．使用する入力変数の数
――――――――――――――――――――――――――――――
【０１８０】
４５個の変数の可能な全ての組合せを完全に探索することは、テストに必要とされるＣＰＵ時間の量により容易ではない。テストネットワークは、この領域で重要であると当業者に知られているパラメータに基づいて、また以前のテストの結果に基づいて選択したパラメータでトレーニングした。その他の変数のセットも適当である。また、本明細書の別の部分に示すように、選択した１４個の変数全ての組合せをテストした。最良の構成が決定された後で、５１０人の患者の完全なデータセットについて、最後のセットのネットワークをトレーニングした。最後のセットのネットワークでは、八つのネットワークのコンセンサスを作成し、最終的な統計値を生成した。
【０１８１】
結果．
最終的ホールドアウトトレーニングの実行は、１４個の変数を有するｐａｔ０６であった。テストデータについての性能は６８．２３％であった。全トレーニング実行は、ｐａｔ０６と同じネットワーク構成を有するｐａｔ０７であった。トレーニングデータについての性能は７２．９％であった。最後のトレーニング実行についての統計値を、ネットワーク出力値のカットオフの使用に基づいて生成した。ネットワーク出力がカットオフ以下である場合には、この例は考慮されていない。以下の表はｐａｔ０７中の八つのネットワークのコンセンサスについての結果の概要である。ａｄｚｃｒｆと呼ばれるテストプログラムを生成して、この最後のトレーニングを明らかにした。
【０１８２】
【表３】
【０１８３】
ＰＰＶ＝正の予測値、ＮＰＶ＝負の予測値
【０１８４】
＜例３＞
ウェスタンブロットデータの事前処理および入力．
【０１８５】
要件．
最初に論理設計に送られた、患者についてのウェスタンブロットからの抗原データは、ピーク分子量およびそれらが関連する強度のみについての情報を提供した。このデータ、およびこのデータが取られた元の画像の分析は、より多くの情報をニューラルネットワークに提供することができるようにデジタル化された元の画像を使用することができることを示す。二つの実験について元の画像を検査すると、画像データを事前処理は、画像中の特定の分子量の位置の可変性を低下させる。この事前処理では、標準画像に適した多項式を使用して、修正した画像を生成することになる。画像の事前処理は、画像の背景レベルおよびコントラストを正規化するステップも含むことになる。
【０１８６】
事前処理が完了した後で、画像データをそのままで使用する、またはピーク分子量を抽出することができる。得られた画像から、ニューラルネットワークへの入力が生成されることになる。通常の画像は約１０００ピクセルの長さであるので、入力数を減少させる方法が調査されることになる。画像が、全てまたは減少したディメンション（解像度）の画像を使用して直接ネットワーク入力にコード化されるので、ニューラルネットワークは、監視学習でトレーニングされ、疾病の決定に関係する分子量の範囲の決定を補助することになる。この例は、ネットワークへの入力中で画像を全体として使用することを焦点とする。
【０１８７】
使用した方法．
相関技術を使用して、ウェスタンブロットの画像についての同様の特徴を突き合わせて、相関プロットを生成した。これらのプロットから、サンプルを正確に整合するには、二つのサンプルの相関プロットについての突合せの変動が大きすぎると結論付けられた。ネットワークの各入力は分子量値を正確に表現する必要があるので、標準画像からの情報のみを画像の整合に使用することに決定した。
【０１８８】
標準画像について二次適合を実施し、相対移動性情報を分子量に翻訳する手段を生成する。相対移動性の曲線を分子量の対数に対してプロットし、ＲＳＱＲ値を検査した後で、二次適合はこの翻訳を実施するのに十分に正確ではなかったと結論付けられた。二次適合を使用して標準分子について計算した分子量は、ゲルごとに様々である。
【０１８９】
相対移動性の分子量への翻訳を改善するためにいくつかの方法を試みた。三次スプライン補間法を選択した。この方法は、データ点でのなめらかな移行を保証し、迅速に計算される。唯一重要なのは、標準がカバーする区間の外側にある相対移動性の値について、この方法がどのように実施されるかということである。終了条件が適当に設定されていれば、補外法の問題は回避されるものと考えられる。これが選択した方法である。
【０１９０】
スプライン補間法を使用して、画像を一定寸法のトレーニング記録に変換した。この時点で、画像強度の正規化を考慮しなければならない。二つの選択肢が考えられる。第一は、正規化を実施しないことである。第二は、画像にわたる最大値が１．０にセットされ、最小値が０．０にセットされるように画像を処理することである。各選択肢についてネットワークをトレーニングし、その結果を比較した。入力に雑音が追加されなければ、事前処理した画像ネットワークは９７％のトレーニング例性能を有し、事前処理しなかった場合の性能は７９％であった。雑音が追加された場合には、二つの選択肢は同様の結果を与えた。さらなるトレーニング実行のために事前処理した画像を使用することを選択した。この選択により、ウェスタンブロット法を使用して達成することができる許容度の範囲内で、所与のネットワーク入力が特定の分子量と一貫して関連付けられることが保証された。
【０１９１】
上記の選択を使用して、一連の八つのニューラルネットワークをトレーニングし、Ｅｎｄｏ存在変数の予測に基づく様々な分子量の重要性についての情報を提供した。相関の方向の分析を可能にするために、単一の隠れた処理要素のみをトレーニングに使用した。各ネットワークについて感度分析を実施し、得られたコンセンサスをＥｘｃｅｌを使用してプロットした。
【０１９２】
次いでネットワークの重みを平均し、各重みについてのコンセンサス値を生成した。隠れた要素から出力への相互接続の重みは正にも負にもなるので、これらの重みは全ての出力接続が同じ符号を有するように変形した。次いで重みを平均し、その結果をＥｘｃｅｌを使用してプロットした。
【０１９３】
結果．
ネットワーク入力への画像整合およびＭａｘ／Ｍｉｎ画像事前処理のために三次スプライン補間法を使用して、ウェスタンブロットデータの分析を実施した。ウェスタンブロット法による、画像の整合の確度において一定量の変動性が期待できる場合には、この手法は、多項式適合が最初に使用した、より良好な結果を与えるものと考えられる。
【０１９４】
最終的コンセンサスネットワークについての感度分析および重みのプロットは、疾病の予測および診断を補助することができるウェスタンブロットの領域があることを示した。ネットワークの重みに見られる、正および負の相関の領域の幅もまた、示された結果が有意であることを示す。ピークが非常に狭い場合には、ピークは、過剰トレーニングと同様のトレーニングプロセスの人為結果であり、学習される基礎プロセスを形成しないものと結論付けなければならない。重要であると考えられる領域は以下の通りである。
【０１９５】
［表６］
――――――――――――――――――――――――――――――
正の相関
31503.98 - 34452.12
62548.87 - 65735.97
84279.36 - 89458.49
負の相関
19165.9 - 20142.47
50263.36 - 53352.14
67725.77 - 78614.77
――――――――――――――――――――――――――――――
【０１９６】
正および負のピークはいくつか存在するが、これらが、二つのＥＬＩＳＡテストに含まれる可能性が最も高いと考えられる。一方のテストは正の領域を焦点とし、もう一方は負の領域を焦点とする。次いで得られた二つの値を、ニューラルネットワークへの入力として患者病歴データと組み合わせることができる。
【０１９７】
結論．
ニューラルネットワークは、ウェスタンブロットに基づいて疾病の存在と相関する領域を発見することができた。
【０１９８】
＜例４＞
ウェスタンブロットデータについての一定入力寸法の調査．
【０１９９】
要件．
事前処理した画像から抽出したピーク分子量を使用して、患者についてのウェスタンブロットデータの変化する寸法を、ニューラルネットワークについての一定の寸法に換算する方法を調査した。この手法は、ネットワーク入力が全画像手法より大幅に少なくなるので望ましい。基本的な問題は、相互に関係する可能性のある分子量の変数がテストで生じることである。例およびこの例の結果を比較すると、分子量のパターンが存在すること、またはそれらの分子量が関連がないかどうかが示される。分子量データにはいくらか変動性があるので、ニューラルネットワークについて分類を実施しても、このデータを処理する手法はファジーメンバシップ関数と同様である。
【０２００】
追加要件．
ウェスタンブロットデータから一部分が識別される。これらの部分の積は再生可能であるので、この情報の使用の有効性は、ウェスタンブロット画像データを処理して、これらの部分の分子量に対応するｂｉｎｓにすることにより決定される。
【０２０１】
使用した方法．
例４の結果から、分子量のいくつかの範囲が疾病と相関があるものと決定される。例５に見られる各ピークに集中するガウス領域を使用することにより、減少した入力表現が生成された。ガウスの値が領域の縁部で０．５以下になるようにガウスの標準偏差を決定した。ニューラルネットワーク入力を生成するために実施した基本操作は、ガウスとウェスタンブロット画像との間のたたみ込みである。計算は全て、分子量の対数を使用して実施した。
【０２０２】
別々のソフトウェアプログラムが生成された。このプログラムは、正規化した画像についての分子量および強度に対するたたみ込みを実施した。ネットワーク入力の計算のパラメータは、ｂｉｎｐｒｏｃプログラム中の表に含まれる。ｂｉｎｐｒｏｃでは、平均および標準偏差はこの表に記憶される。表の値が変更されるときに、プログラムは再コンパイルされる。プログラムは、Ｅｘｃｅｌを使用して匹敵するウェスタンブロット画像にガウスをプロットすることができる出力ファイルを生成するテストモードを有する。領域のプロットはドキュメンテーションに含まれる。
【０２０３】
３６個の小部分を処理する際には、小部分の位置をｂｉｎｐｒｏｃの表の値に翻訳するようにｂｉｎｐｒｏｃ．ｃを再度修正した。この修正したプログラムをｆｐｒｏｃ．ｄと呼ぶ。その目的は、分子量値を標準に基づいて正規化するのに必要なスプライン補間を実施することである。ｂｉｎｐｒｏｃからｂｉｎｐｒｏｃ２．ｃを生成し、平均偏差表および標準偏差表を、供給されたファイル中の小部分の終点に対応するｍｉｎ．表およびｍａｘ．表で置き換えた。
【０２０４】
上記プログラムから生成された任意のデータファイルをテストするために、データの８０％をトレーニング用に、残りの２０％をテスト用に使用して、ホールドアウト方法を使用した。ウェスタンブロットデータからトレーニングデータが生成された後で、乱数列および患者のＩＤ列をＥｘｃｅｌのスプレッドシートに追加した。次いで乱数列上でデータをソートした。これにより実際にデータがシャッフルされる。このようにして、各区分が各ゲルからの例を有する可能性が高い。これらの割合で、五つの別々のトレーニングおよびテストファイルが、組み合わせたテストセットの結果からネットワークの性能を推定することができるように生成される。
【０２０５】
ＴｈｉｎｋｓＰｒｏTMを使用して、入力を排除することにより、ネットワークが使用する入力の数を変化させることができる。排除された入力は、トレーニング中にネットワークに提示されない。ガイドとして感度分析を使用して、重要でない入力を除去する。入力スペースのディメンションを減少させることは、トレーニング例の数が少ないときにはさらに重要になる。この方法は、患者病歴トレーニング実行中の変数を除去する際に使用したものと同じである。現在では、このプロセスは手動で行う。
【０２０６】
結果．
例５では、全てのデータについてトレーニングされたネットワークを使用して、分類プロセスに重要な分子量の範囲を決定した。この例では、ホールドアウト方法を使用して、テストセットの性能を推定することができるようにネットワークをトレーニングした。第一のテストセットは、例５で識別された領域に基づいている。第二のテストセットは、四つのｉｓｈｇｅｌファイル中で識別された小部分を使用して作成された。
【０２０７】
例５で見られた上位六つの領域に基づく最初のコンセンサス実行の性能は低い（５０％）。生成された入力データの分析により、入力データの生成に使用された領域は、画像データから重要な情報を捕捉するには狭すぎることが示された。領域の幅を広げ、上位六つではなく、例５からの上位１０個の領域を含めた。幅を広げた１０個の領域についてのテストはわずかに良好な性能を示した。感度分析を使用して、１０個の領域のうち三つを除去し、完全なテストを実行した。幅を広げた１０個の領域のうち六つについての性能は、５４．５％に向上した。
【０２０８】
ネットワークへの入力数がさらに減少するにつれて、テストセットの性能（ホールドアウト方法で推定）は高まり続ける。６６３９２．６５から７８６１４．７４の範囲の分子量を有するただ一つの領域しか使用しない場合に最高の性能が達成された。ホールドアウト方法を使用した、テストデータについての性能の推定値は５８．５％であった。
【０２０９】
このプロセスを、識別された小部分に基づく３６個の領域を開始として使用して再度適用した。３６個の小部分には大量の重複が存在した。上位七つの小部分を、感度分析を使用して３６個から決定した。小部分のサブセットを使用して、５８％という同様の性能が達成された。
【０２１０】
結論．
テストでは非常に高い結果は生じなかった。このことの主な理由は、この例で利用できるトレーニングデータの量が限られていたことである可能性が高い。以前の例から得られた結果は、トレーニングサンプル中の患者数が減少するにつれて妥当性データについての性能も低下したことを示した。この関係を以下の表に示す。
【０２１１】
【表４】
【０２１２】
患者数が減少しても、Ｅｌｉｓａ変数を含む場合にはＥｌｉｓａ／患者病歴データについてより良好な結果が達成された。このことはＥＬＩＳＡ変数の価値を示す。
【０２１３】
いくつかの領域を、疾病の分類に重要であると決定できることは明らかである。大幅に異なる領域のセットが同様の結果を生じ、ウェスタンブロットデータ中に、疾病の存在を示すパターンが存在する可能性があることを示す。患者のデータベースが少ない場合には、これらのパターンを分離することはより困難になる。
【０２１４】
ウェスタンブロットデータ用のデータベースのサイズの増加により、このデータについてトレーニングしたネットワークの性能が改善されることになることは明らかである。ウェスタンブロットデータを患者病歴データと組み合わせると、ネットワークの入力寸法が増加することになる。入力寸法が増加すると、通常は一般化を保証するためにより多くのトレーニング例が必要となる。
【０２１５】
＜例５＞
ウェスタンブロットデータを使用するトレーニングネットワーク．
この例の目的は、ウェスタンブロットデータのみを使用して診断についての性能推定を決定するようにネットワークのセットをトレーニングすることである。実験を実行し、ネットワークのトレーニングのための最良の構成およびパラメータを決定した。上記の例２に記載した方法を、この性能推定に使用する。最後のネットワークは、利用可能な全てのデータをトレーニングデータとして使用してトレーニングした。このトレーニングしたネットワークの出力（抗原指標）は、組み合わされたデータフェーズ中で生成されたネットワークへの入力として使用した。
【０２１６】
使用した方法．
いくつかの方法を使用して、利用可能なトレーニングデータについての最もよく実施される入力のセットを発見した。以前の例から、感度分析を使用すると、各入力変数の重要性の識別において良好な結果が生じることが分かった。その数のネットワークは、感度分析によって手動で決定された変数の組合せについてトレーニングした。
【０２１７】
自動化手順を準備する際に、変数の２×２分割表カイ二乗分析を使用して、変数の重要性の代替の順位付けを提供した。入力は連続的であるので、各入力についてしきい値を使用して、分割表に必要な情報を生成した。カイ二乗値は、しきい値の設定に依存して変化する。変数の順位付けに使用するしきい値は、カイ二乗統計値を最大にするように選択した。
【０２１８】
自動化手順の開発中に行われるトレーニング実行は、これらの順位付けから選択される。トレーニング実行が行われた時点で、自動化手順は定形化されていない。全体の処理時間を節約するために、トレーニングデータのただ一つの区分しか使用しない。次いでトレーニングおよびテストデータの第一区分中で良好に実施された変数の組合せを、残りの区分について試した。
【０２１９】
本文献で提案する最良の入力のセットを発見する一つの方法は、遺伝アルゴリズムを使用して、最もよく実施される入力のセットを決定するものである。ジェネティックアルゴリズムは、通常は、良好な解答に収束するには数千回も反復する必要がある。ウェスタンブロットデータの処理では、これは、トレーニング例のサイズが小さい場合でも大量のコンピュータ時間に相当することになる。１０個の変数について、全ての組合せを枚挙するには１０２４回のトレーニング実行が必要となる。ジェネティックアルゴリズムの代替の方法を試みた。この代替の方法では、選択した入力のセットに基づいてテストセットのＲＭＳ誤差を予測するように、ニューラルネットワークをトレーニングした。この実験で使用したトレーニング例は、ウェスタンブロットデータの第一区分についてのトレーニング実行の結果である。次いで全ての組合せで予測ネットワークをテストし、予測された最小の組合せを決定する。次いで入力の組合せを使用して、ウェスタンブロットデータについてネットワークをトレーニングする。この方法およびジェネティックアルゴリズム手法の主な欠点は、非常に有効であることが分かっている感度分析情報が、このプロセスにおいて無視されることである。
【０２２０】
結果．
ウェスタンブロットデータ中の１０個の変数（ｂｉｎｓ）についての基本的順位付けは、２００個の例の全データベースについてトレーニングした八つのネットワークのコンセンサスに基づく。その結果は以下の通りである。
【０２２１】
［表７］
――――――――――――――――――――――――――――――
7 : 1.182073
9 : 1.055611
3 : 1.053245
8 : 1.039028
6 : 1.027239
10 : 1.023135
4 : 0.978769
5 : 0.952821
2 : 0.899936
1 : 0.788143
――――――――――――――――――――――――――――――
【０２２２】
カイ二乗分析に基づく１０個の変数の順位付けは以下の通りである。
【０２２３】
［表８］
――――――――――――――――――――――――――――――
3 : 4.380517
9 : 3.751625
7 : 3.372731
2 : 3.058437
6 : 3.022164
5 : 2.787982
10 : 1.614931
4 : 1.225725
1 : 0.975502
8 : 0.711958
――――――――――――――――――――――――――――――
【０２２４】
ウェスタンブロットデータの分析中に、トレーニングデータの一つまたは複数の第一区分についていくつかのネットワークをトレーニングした。テストの結果は以下のように順位付けられ、変数がトレーニング実行に含まれることを示す。
【０２２５】
変数
【０２２６】
【表５】
【０２２７】
（）は予測ネットワークトレーニングプロセスによって生成された組合せを示す
【０２２８】
上記のテスト実行を参照すると、順位付け中のより重要な変数が下位のテストセット誤差に寄与すること、および含まれる変数が多くなると、テストセットの結果が低くなることは明らかである。このことは、高性能ニューラルネットワークの開発における、変数の最良のサブセットを選択することの重要性を示す。
【０２２９】
いくつかの組合せの変数を使用して、トレーニングデータの全ての区分についてネットワークをトレーニングした。これらの実行の結果を以下に示す。
【０２３０】
［表９］
――――――――――――――――――――――――――――――
変数 時間セットの性能
3 57.5％
3， 9 53.5％
3， 7，9 53.0％
4， 6，9， 10 57.0％
――――――――――――――――――――――――――――――
【０２３１】
変数の両方の順位付けは３、７、および９が重要であると示すので、十分なトレーニングデータが存在する場合には、この組合せが５７．５％を超える可能性が高い。この組合せについてのトレーニング例の性能は６３．９％であり、これは発生した過剰トレーニングのレベルを示す。上記に示した第一区分ネットワークのいくつかは、テスト性能を予測するようにトレーニングしたニューラルネットワークによって選択された変数の組合せを有する。これらのネットワークは最後の列の番号によって示される。この番号は、テストが実行されるシーケンスを示す。番号のない組合せは、順位付けから手動で選択した。このプロセスを継続すれば、予測ネットワークは最終的に最良の組合せを発見するはずである。テストセットの性能に影響を及ぼす可能性のあるファクタは数多く存在するので、テストセットの結果には多くの「雑音」が存在する可能性が高い。この方法をより良好に働かせるために、予測されたテストセットの誤差についてトレーニング値を生成するためにコンセンサス手法が必要になることがある。この問題はコンセンサス手法を使用する際にも見られる。
【０２３２】
結論．
変数の感度および分割表順位付けを使用するプロセスは、ニューラルネットワークの性能を最大限にするように変数のセットを選ぶための有効かつ効率的な技術である。両方の順位付けの下での上位三つの変数は同じであり、これはこれらの方法が良好に実施されることを示す。この方法は、ウェスタンブロットデータを処理することは明らかであるが、任意形態のデータについてよく作用し、これを患者病歴データにも適用可能な汎用ニューラルネットワーク技術にする。
【０２３３】
上記の結果は、データが多ければ性能レベルが向上することを示す。感度分析は、変数の相対値の変動がほとんどないことを示す。ほとんどの変数は解答に寄与する。完全ウェスタンブロット画像についてトレーニングしたニューラルネットワークの重みの分析に基づいてｂｉｎｓが選択されるので、このことが期待される。しかし、全てまたはほとんどの変数を使用することにより、ニューラルネットワークは急速に過剰トレーニング状態となる。これは、トレーニング例にデータを追加することによって回避することができる。
【０２３４】
ニューラルネットワークに案内されて変数を選択するテストは、順位付け手法より有効性が低いことが分かった。順位付け手法が最も有効であることは明らかであるが、ニューラルネットワーク案内手法でも最終的には最良の変数のセットを発見することができる。これは遺伝アルゴリズムより直接的な手法であるので、同様のデータについて、ジェネティックアルゴリズムより良好に実施される可能性が高い。この方法の主な欠点は、探索の補助に感度分析情報を使用しないことである。
【０２３５】
＜例６＞
患者病歴およびＥＬＩＳＡデータを組み合わせる．
【０２３６】
要件．
上記の例で開発した処理を使用して、患者病歴データおよびＥＬＩＳＡデータの組合せについてネットワークのセットをトレーニングする。抗原の全セットの使用に基づいてＥＬＩＳＡテストから生成される指標を使用して、この情報を患者病歴データと組み合わせることによって達成される性能の改善を決定することになる。
【０２３７】
追加要件．
上記要件に加えて、複数のＥＬＩＳＡからのデータ、ＥＬＩＳＡ１００およびＥＬＩＳＡ２００データとＥＬＩＳＡ２データとの間の比較、ならびに変数の相互関係の分析を実施し、元のＥＬＩＳＡテストが関係する変数を決定する助けとした。
【０２３８】
使用した方法．
ＥＬＩＳＡテストの結果を含めることによって達成される診断テストの性能の改善を決定するために、例２で説明したホールドアウト方法を使用していくつかのトレーニングを行った。
【０２３９】
各区分中でデータの８０％がトレーニングに使用され、残りの２０％がテストに使用されるように、データの区分を作成した。
【０２４０】
ランダム開始重みの影響を最小限に抑えるために、いくつかのネットワークは全トレーニング実行でトレーニングする。こうした実行では、三つのネットワークは、それぞれ異なるランダム開始からの、データの五つの区分のそれぞれでトレーニングした。ネットワークの出力を平均し、単一のネットワークから得られるより低い変動を有するコンセンサス結果を形成した。全ての形態のＥＬＩＳＡデータを利用することができる患者数は３２５であるので、元の１４個の変数での新しいトレーニング実行を行い、ＥＬＩＳＡデータが疾病の診断に与える影響を比較する正確な平均を提供した。ＥＬＩＳＡ２データの分析は、そのテストのための広範囲の値を示した。ＥＬＩＳＡ２のＥＬＩＳＡ１００データに対する関係を示すプロットは、ＥＬＩＳＡ２データの対数の方が未処理値より良好である可能性があることを示す。
【０２４１】
比較トレーニング実行は以下のように構成される。
【０２４２】
実行１：ＥＬＩＳＡ１００、ＥＬＩＳＡ２００、対数（ＥＬＩＳＡ２）および元の１４個の変数
実行２：（ＥＬＩＳＡ２）および元の１４個の変数
実行３：元の１４個の変数
【０２４３】
これらの比較実行を行った後で、ネットワークの最後のセットを３２５人の患者の完全なデータセットについてトレーニングした。ネットワークの最後のセットでは、八つのネットワークのコンセンサスを作成し、最終的な統計値を生成した。最後の実行の統計値は、トレーニングデータについてのみ報告され、真の性能の上限を表す。最後のホールドアウト実行の結果は、性能についての可能な下限を表す。
【０２４４】
トレーニングデータから、診断に利用できないものも含めた６５個の変数のそれぞれは、３２５個のトレーニング例の中のトレーニング例に組み込まれる。ＴｒａｉｎＤｏｓトレーニングプログラムは、ネットワークの生成を自動化し、変数間の関係を提供するように修正した。６５個のネットワークのそれぞれでは、一つの変数が残りの６４個によって予測される。予測を行う際の各変数の重要性を示すために、各ネットワークについて感度分析を実施した。
【０２４５】
結果．
三つの比較実行についてのコンセンサス結果は以下の通りである。
【０２４６】
［表１０］
――――――――――――――――――――――――――――――――――――
実行１：全てのＥＬＩＳＡ変数（ＣＲＦＥ：１） 66.46％
実行２：ＥＬＩＳＡ２の対数（ＣＲＦＥＬ２） 66.77％
実行３：ＥＬＩＳＡ変数なし（ＣＲＦＥＬ０） 62.76％
――――――――――――――――――――――――――――――――――――
【０２４７】
実行１および実行２を比較すると、ＥＬＩＳＡ１００およびＥＬＩＳＡ２００のデータをＥＬＩＳＡ２データに追加したことの影響がないことが分かる。したがって、ＥＬＩＳＡ１００およびＥＬＩＳＡ２００の変数は除去することができる。
【０２４８】
実行２および実行３を比較すると、ＥＬＩＳＡテストに基づく入力によって、疾病の診断が改善されたことが分かる。
【０２４９】
実行３をｐａｔ０６と比較すると、テストの性能が５.４７％低下することが
分かる。これは単にトレーニングに利用できる患者数の減少によるものである。このことは、５００を超えるトレーニングデータの増加は、テストデータについてのニューラルネットワークの性能に対して相当な影響を有する可能性が高いことも意味する。
【０２５０】
これらの結果に基づいて、最後のネットワークをトレーニングした。八つのネットワークは３２５人の患者についてトレーニングした。このトレーニングデータについての性能は７２．３１％であった。これはｐａｔ０７実行と同様の結果であるが、ＥＬＩＳＡ２データによる改善が利用可能なトレーニングデータの量が減少したことによって相殺されていることは明らかである。
【０２５１】
感度分析の結果は、１５個の変数の中で７番目に順位付けされたＥＬＩＳＡ２の変数を使用したことを示す。
【０２５２】
八つのトレーニングしたネットワークの対数ファイルから、隠れた処理要素出力のプロットを作成した。所望の出力をプロット上に示すことができるように平均を求めた。八つのネットワークを比較することにより、それぞれが異なる方法でタスクを実施することが明らかとなる。データ点のいくつかのクラスタ化が、いくつかのプロットに見られる。これは一貫して起こるわけではないので、結諭を導き出すことはできない。
【０２５３】
ネットワーク出力値のカットオフの使用に基づいて、最後のトレーニング実行について統計値を生成した。ネットワーク出力がカットオフ以下である場合には、この例は考慮していない。
【０２５４】
以下の表はＣＲＦＬＥ２中の八つのネットワークのコンセンサスについての結果の概要である。
【０２５５】
【表６】
【０２５６】
一般に、これらの結果はｐａｔ０７についての結果より良好である。
【０２５７】
この最後のトレーニングのデモとして、ａｄｚｃｒｆ２．ｅｘｅ（付録ＩＩ参照）と呼ばれるテストプログラムを生成した。このプログラムにより、ＥＬＩＳＡフィールド中の値入力に基づくｐａｔ０７およびＣＲＦＥＬ２の実行が可能になる。このフィールド中の値が０であると、ｐａｔ０７が使用される。
【０２５８】
変数の関係の分析を実施した。この関係の分析に基づいて、Ｅｎｄｏ存在を寄与ファクタとして示す変数を、予測Ｅｎｄｏ中で使用する変数と比較した。二つのネットワーク（ＰＡＴＶＡＲＳＡおよびＰＡＴＶＡＲＳ３）のトレーニングの結果は、Ｅｎｄｏの場合には、相関を使用した場合のように関係が対称的ではないことを示す。結果を要約するために、ＣＲＦＶＡＲＳＡ．ＸＬＳを感度分析の結果から構築した。これらの結果は、関係の非線形特性を示す。変数の重要性は、トレーニング実行中のその他の変数の影響を受ける。このことは、この分析の利便性を高めるために重要でない変数を自動的に除去する手段が必要になることもあることを意味する。
【０２５９】
変数の関係（ＣＲＦＶＡＲ００からＣＲＦＶＡＲ６４）の分析は、ほとんどの場合に、ＥＬＩＳＡ２テストの対数の方が未処理のＥＬＩＳＡ２値より高い有効性を有することを示す。特に、予測するＥｎｄｏ存在およびＡＦＳ Ｓｔａｇｅの両方について上位に順位付けされた対数値ではそのようになる。
【０２６０】
結論．
【０２６１】
ＥＬＩＳＡ２テストは、ニューラルネットワークの予測能力を追加する。ＥＬＩＳＡ２テストにより、元のＥＬＩＳＡテストは不要となる。この結果に基づいて、ウェスタンブロットデータの処理の結果は、ニューラルネットワークの診断テストの能力をさらに改善することになる可能性が高い。
【０２６２】
トレーニングデータの増加の影響は、実行３とｐａｔ０６の比較において明らかに見られる。この性能の差は、トレーニングデータの増加によってニューラルネットワークの性能が大幅に向上したことを意味する。この比較から、データを二倍にすれば性能は１０から１５％向上することになることは明らかである。データを８倍から１０倍にすれば、性能は７５から８０％向上する可能性がある。
【０２６３】
＜例７＞
患者病歴Ｓｔａｇｅ／ＡＦＳ Ｓｃｏｒｅトレーニング．
【０２６４】
要件．
上記の例で開発した方法を使用して、疾病のｓｔａｇｅまたはＡＦＳ Ｓｃｏｒｅのいずれかについての関連のある変数を識別する。使用するターゲット出力変数の選択は、重要な患者病歴変数のフェーズ１リストを使用するトレーニング実行からのテストセットの性能の比較によって決定される。重要な変数のリストを選択した後で、５１０個の患者データベースについて八つのニューラルネットワークのコンセンサスをトレーニングすることになる。
【０２６５】
使用した方法．
Ｓｔａｇｅに望ましい出力およびＡＦＳ ｓｃｏｒｅに望ましい出力について、トレーニング例を構築した。Ｓｔａｇｅ情報の欠落した患者が７人、Ｓｃｏｒｅ情報が欠落した患者が２８人存在した。ｓｔａｇｅ変数については、データが欠落している場合には平均値２．０９を使用した。ｓｃｏｒｅについては、欠落データは、ｓｔａｇｅ変数の値に依存する値で置換した。ｓｔａｇｅ１では、ｓｃｏｒｅとして３を使用した。ｓｔａｇｅ２では、１０．５を使用した。ｓｔａｇｅ３では２８を使用し、ｓｔａｇｅ４では値５５を使用した。ｓｔａｇｅおよびｓｃｏｒｅは、所望の出力が０．０から１．０の範囲となるように再処理した。ｓｔａｇｅは線形に翻訳した。ｓｃｏｒｅについては二つの方法を使用した。第一の方法は１２．５で割ったｓｃｏｒｅの平方根である。第二の方法は、ｓｃｏｒｅ＋１の対数を１５０の対数で割った数である。
【０２６６】
ホールドアウト方法を使用して、ｓｔａｇｅ、ｓｃｏｒｅの平方根、およびｓｃｏｒｅの対数についてネットワークをトレーニングした。これらのネットワークは、４５個の変数を使用してトレーニングした。その結果を比較して、どの変数および処理を、この例の残りに使用するかを決定した。ｓｃｏｒｅの対数を選択した。
【０２６７】
この時点で、重要な変数のセットを分離する手順が開始された。八つのネットワークを全トレーニング例についてトレーニングし、コンセンサス感度分析を生成して変数の第一の順位付けを生み出した。次いでカイ二乗分割表を生成し、変数の第二の順位付けを生み出した。重要な変数を分離する手順は手動で開始するが、時間がかかりすぎることが分かった。この手順は、コンピュータプログラムとして実施し、約一週間コンピュータ上で実行した。
【０２６８】
変数選択の結果から、八つ１組のネットワークを全トレーニング例についてトレーニングした。コンセンサス結果を分析し、Ｅｎｄｏ存在の結果と比較した。
【０２６９】
結果．
４５個全ての変数の感度分析により以下の変数の順位付けが与えられた。
【０２７０】
【表７】
【０２７１】
【表８】
【０２７２】
【表９】
【０２７３】
カイ二乗分析から、以下の変数の順位付けが与えられた。
【０２７４】
【表１０】
【０２７５】
【表１１】
【０２７６】
変数選択手順中に選択した変数は以下の通りであり、これは最後の感度分析からの順位付けを示す。
【０２７７】
【表１２】
【０２７８】
ｓｃｏｒｅネットワークとＥｎｄｏ存在ネットワークとの比較は、所望のｓｃｏｒｅ出力にしきい値を与え、Ｅｎｄｏ存在の比較を生み出すことによって実施することができる。ｓｃｏｒｅおよびｐａｔ０７のネットワークについての結果を以下に示す。
【０２７９】
【表１３】
【０２８０】
結論．
この例で識別した変数のセットは妥当であると考えられる。
【０２８１】
自動化変数選択方法は適当に機能すると考えられる。変数の選択は、感度分析によって良好に予測される。
【０２８２】
疾病を予測する方法は二つあるので、Ｅｎｄｏ存在ネットワークおよびＳｃｏｒｅネットワークを組み合わせて、予測の信頼性を向上させることができる。
【０２８３】
＜例８＞
患者病歴Ａｄｈｅｓｉｏｎｓトレーニング．
【０２８４】
要件．
例７で概説した方法を使用して、Ａｄｈｅｓｉｏｎｓターゲット出力変数についての関連変数を識別する。このターゲット出力変数は、重要な患者病歴変数のフェーズ１リストを使用して実行されることになる。これにより、新しい出力を、フェーズ１中で使用されるＥｎｄｏ存在ターゲット変数と比較することも可能になる。重要な変数のリストを選択した後で、５１０個の患者データベースについて八つのニューラルネットワークのコンセンサスをトレーニングすることになる。
【０２８５】
使用した方法．
ａｄｈｅｓｉｏｎｓ変数についてのトレーニングデータは、例７の場合と同様に生成した。ａｄｈｅｓｉｏｎｓ変数は、Ｅｎｄｏ存在の場合に使用したのと同様の方法で二つの出力変数を生成した。この時点で、重要な変数のセットを分離する手順が開始された。八つ１組のネットワークを全トレーニング例についてトレーニングし、コンセンサス感度分析を生成して変数の第一の順位付けを生み出した。次いでカイ二乗分割表を生成し、変数の第二の順位付けを生み出した。重要な変数を分離する手順は手動で開始するが、時間がかかりすぎることが分かった。この手順は、コンピュータプログラムとして実施し、完了するまでに約一週間コンピュータ上で実行した。
【０２８６】
変数選択の結果から、八つ１組のネットワークを全トレーニング例についてトレーニングした。コンセンサス結果を分析し、Ｅｎｄｏ存在の結果と比較した。
【０２８７】
結果．
４５個全ての変数の感度分析により以下の変数の順位付けが与えられた。
【０２８８】
【表１４】
【０２８９】
【表１５】
【０２９０】
【表１６】
【０２９１】
カイ二乗分析により以下の変数の順位付けが与えられた。
【０２９２】
【表１７】
【０２９３】
【表１８】
【０２９４】
変数選択手順中に選択した変数は以下の通りであり、これは最後の感度分析からの順位付けを示す。
【０２９５】
【表１９】
【０２９６】
ＳｃｏｒｅネットワークとＥｎｄｏ存在ネットワークとの比較は、所望のｓｃｏｒｅ出力にしきい値を与え、Ｅｎｄｏ存在の比較を生み出すことによって実施することができる。ｓｃｏｒｅおよびｐａｔ０７のネットワークについての結果を以下に示す。
【０２９７】
【表２０】
【０２９８】
結論．
この例で識別した変数のセットは妥当であると考えられる。自動化変数選択方法は適当に機能すると考えられる。変数の選択は、感度分析によって良好に予測される。
【０２９９】
＜例９＞
この例は本明細書で提供するプロセスの再現性を示す。
【０３００】
使用した方法．
ＡｄｈｅｓｉｏｎｓおよびＳｃｏｒｅについての重要な変数の選択に使用したソフトウェアは、Ｅｎｄｏ存在の所望の出力を処理するように修正した。このソフトウェアは、各特定テストについて再コンパイルする必要なく、一般的な場合に実行することができるようにさらに修正した。
【０３０１】
Ａｄｈｅｓｉｏｎおよびｓｃｏｒｅについての実行と同様に、Ｅｎｄｏ存在変数について実行を行った。これは、変数選択プロセス中に四つのネットワークのコンセンサスを使用することを含む。トレーニングデータはトレーニングプロセス中に五つの区分に分割し、テストする変数の現在のセットをそれぞれ評価する、総数で２０個のネットワークを生成した。
【０３０２】
異なる乱数シードを有する実行の結果は、コンセンサス中のネットワーク数を増加させる必要があることを示した。
【０３０３】
１０個のネットワークのコンセンサスをプロセス中に使用して、二つの追加変数選択実行を行った。この場合には、総数で５０個のネットワークが変数の単一の組合せを評価するようにトレーニングされる。二つの別々の実行を、ランダム開始シードのみを変更して、同様に行った。
【０３０４】
こうした最後の二つの変数選択実行から、八つ１組のネットワークは、各変数セット（ｐａｔ０８、ｐａｔ０９）についてトレーニングされ、新しいデータ（元の５１０個の記録データベースには含まれない）についてそれらの性能を評価することを可能にする。これらのネットワークの性能についての統計値は、それらを元のｐａｔ０７のコンセンサスネットと比較することができるように生成される。
【０３０５】
結果．
異なる乱数シードを使用するそれぞれの場合で、変数選択プロセスは、重要な変数の様々なセットを発見した。コンセンサス中のネットワーク数が１０まで増加すると、異なる実行中で共通の変数が増加する。
【０３０６】
ｐａｔ０７について使用した元の１４個の変数の多くは、１０コンセンサスネットを使用する変数選択実行において重要であると確認された。選択した変数について行った最後の実行は、ｐａｔ０８およびｐａｔ０９と呼ばれる。
【０３０７】
ｐａｔ０８およびｐａｔ０９コンセンサスネットワーク中で使用した変数を、それらの感度分析の順位付けとともに以下に示す。
【０３０８】
【表２１】
【０３０９】
結論．
変数選択プロセスは良好に働き、ｐａｔ０７ネットと同様またはそれ以上に働く二つの代替のネットワークを生み出した。この結論の理由は、トレーニングデータのみについて生成した性能統計値が、ｐａｔ０８およびｐａｔ０９よりｐａｔ０７の方がわずかに良好に現れるためである。変数選択プロセスはテストセットの性能に基づいて慎重に変数を選ぶので、関連するネットワークが過剰トレーニングになっている可能性は低い。ネットワークが過剰トレーニング状態になる場合の典型的な特徴は、トレーニング例の性能が向上し、テストセットの性能が低下することである。したがってｐａｔ０７の性能の方が高いと、わずかに過剰トレーニングの結果となる可能性がある。
【０３１０】
変数選択プロセスは明らかに、同じトレーニングデータについての二つの代替の選択を生み出したが、二つの選択の性能は非常に類似していると考えられる。これは二つの実行についての最後の変数選択のテストセットの性能に基づいている。二つの変数の相対的な性能が近い場合には、ランダムファクタがそれらの相対的な順位付けに影響を及ぼす可能性があることが明らかになった。変数選択実行中のランダムファクタは、ランダム開始点と、トレーニング中に入力に付加された雑音の使用とを含む。ランダム雑音は、より良好な一般化（翻訳：テストセットの性能）を補助することが分かっている。コンセンサス中のネットワーク数が増加するにつれて、ランダム影響の度合いは低下する。
【０３１１】
高品質のネットワークを生み出す変数のセットの決定は、変数選択プロセスによって扱われるものと考えられる。うまく働く変数のより多くの組合せが枚挙されるにつれて、特定の変数または変数の組合せが、良好な性能には不可欠であることが明らかになる。
【０３１２】
＜例１０＞
子宮内膜症の過去の病歴および骨盤手術歴の排除の診断性能に対する評価．
この例の目的は、患者の子宮内膜症を有する危険性を評価する際の「子宮内膜症の過去の病歴」変数および「過去の骨盤手術歴」変数の重要性を決定し、その結論を予測する際の任意の所与の変数の重要性を測定する代替の手段（感度分析とは異なる）を提供することである。
【０３１３】
タスク：
１．「子宮内膜症の過去の病歴」を除いて変数選択プロセスを適用する。
２．変数選択プロセスについて様々なランダムシード変数を使用して、タスク（１）を繰り返す。
３．上記のタスク（１）および（２）で識別した「子宮内膜症関連変数」の両セットについて、コンセンサスネットワークトレーニングプロセスを完了する。
４．子宮内膜症データベースから「過去の骨盤手術歴」変数を除いて、上記タスク（１）、（２）、および（３）を繰り返す。
５．子宮内膜症データベースから「子宮内膜症の過去の病歴」変数および「過去の骨盤手術歴」変数の両方を除いて、上記タスク（１）、（２）、および（３）を繰り返す。
【０３１４】
使用した方法．
例９で開発した変数選択ソフトウェアを基本として使用して、例１０のそれぞれについての結果を生成した。このソフトウェアは、例１０の要件に基づいて考慮から排除されることになる変数をユーザが識別することができるように修正した。このソフトウェアは、除去した変数の影響をより容易に理解することができるように、テストする変数のセットのそれぞれについての分類性能を報告することができるようにも修正した。
【０３１５】
行った各変数選択実行について、変数選択プロセスのパラメータは以下のように設定した。
【０３１６】
［表１１］
――――――――――――――――――――――――――――――
区分数： 5
コンセンサスネットワーク： 10
トレーニング例サイズ： 510
パス数： 999
――――――――――――――――――――――――――――――
【０３１７】
変数選択プロセス中のデータベース変数の順序付けは、感度分析およびカイ二乗分析に基づいている。この順序付けは、ｐａｔ０８およびｐａｔ０９で使用したものと同様である。
【０３１８】
この例のためにトレーニングしたネットワークは、以下のように識別される（二つのネットは異なるランダムシードを有する）。
【０３１９】
［表１２］
――――――――――――――――――――――――――――――
Ｅｎｄｏの過去の病歴を除去：pat10、pat11
過去の骨盤手術歴を除去： pat12、pat13
両変数を除去： pat14、pat15
――――――――――――――――――――――――――――――
【０３２０】
変数およびランダムシードの各組合せについて変数選択プロセスが完了した後で、八つ１組のネットワークを、識別された選択した変数を使用してトレーニングした。これらのネットワークのそれぞれは、完全な５１０個の記録データベースについてトレーニングされる。これらのトレーニング実行から、出力のコンセンサスがＥｘｃｅｌのスプレッドシート中で生成され、各ネットワークの性能を評価することができる。
【０３２１】
結果．
ネットワークのコンセンサスの通常の性能を、５の区分でホールドアウト方法を使用して推定した。ｐａｔ０８およびｐａｔ０９の場合のように、全ての変数が利用可能である場合には、分類性能は６５．２３％と推定された。
【０３２２】
子宮内膜症の過去の病歴の変数が考慮から除去される場合（ｐａｔ１０およびｐａｔ１１）には、性能は６２．４７％と推定された。これは２．７６％の低下に相当する。
【０３２３】
過去の骨盤手術歴の変数が考慮から除去される場合（ｐａｔ１２およびｐａｔ１３）には、性能は６４．５２％と推定された。これは０．７２％のみの低下に相当する。
【０３２４】
両変数が考慮から除去される場合（ｐａｔ１４およびｐａｔ１５）には、性能は６２．４３％と推定された。これは２．８０％の低下に相当する。これは子宮内膜症の過去の病歴を除去した場合よりわずかに悪いだけであり、変数が独立である（相関がない）という想定に基づくその他の結果と矛盾しないと考えられる。
【０３２５】
結論．
利用可能であればニューラルネットワークで骨盤手術歴を使用するが、この変数を除去した影響は最小限であった。ニューラルネットワークは、その他の情報を使用することによってこの変数の除去を補償することができるものと考えられる。
【０３２６】
子宮内膜症の過去の病歴の除去は有意である。この変数は、いかなる感度分析でも常にリストの最上位にある。その除去は、全ての変数が利用可能であるときには平均を超えて約２．７６％の性能低下を引き起こした。平均性能が６５．２３％と推定され、５０％は偶然に達成することができるものとすると、これは１８．１２％の有効低下に相当する。
【０３２７】
両変数が除去された場合には、どのような有意な性能低下も現れず、これはこれら二つの変数の間に相互作用がないことを示す。変数を除去し、変数選択プロセスを実行するこのプロセスは、所与の変数の真の値を決定する良好な手法であると考えられる。診断に重要だが高度に相関する変数は二つ存在し、一方のみを除去しても、ネットワークがもう一方を使用することによってこれを補償するので、ほとんど影響がないことに留意されたい。それらの値が明らかになるのは、両方を除去したときのみである。
【０３２８】
＜例１１＞
骨盤痛および月経困難症の除去の診断性能に対する評価．
【０３２９】
要件．
目的：
１．患者の子宮内膜症を有する危険性を評価する際の「骨盤痛」変数および「月経困難症」変数の重要性を決定すること。
２．その結論を予測する際の任意の所与の変数の重要性を測定する別々の機構（感度分析とは異なる）を提供すること。
タスク：
１．本明細書に記載の変数選択プロセスを適用する。
２．変数選択プロセスについて様々なランダムシード変数を使用して、タスク（１）を繰り返す。
３．上記のタスク（１）および（２）で識別した「子宮内膜症関連変数」の両セットについて、コンセンサスネットワークトレーニングプロセスを完了する。
４．子宮内膜症データベースから「月経困難症」変数を除いて、上記タスク（１）、（２）、および（３）を繰り返す。
５．子宮内膜症データベースから「骨盤痛」変数および「月経困難症」変数の両方を除いて、上記タスク（１）、（２）、および（３）を繰り返す。
【０３３０】
使用した方法．
例９で開発した変数選択ソフトウェアを基本として使用して、これらのタスクのそれぞれについての結果を生成した。
【０３３１】
行った各変数選択実行について、変数選択プロセスのパラメータは以下のように設定した。
【０３３２】
［表１３］
――――――――――――――――――――――――――――――
区分数： 5
コンセンサスネットワーク： 10
トレーニング例サイズ： 510
パス数： 999
――――――――――――――――――――――――――――――
【０３３３】
変数選択プロセス中のデータベース変数の順序付けは、感度分析およびカイ二乗分析に基づいている。この順序付けは、ｐａｔ０８およびｐａｔ０９で使用したものと同様である。このタスクのためにトレーニングしたネットワークは、以下のように識別される（二つのネットは異なるランダムシードを有する）。
【０３３４】
［表１４］
――――――――――――――――――――――――――――――
骨盤痛を除去： pat16、pat17、pat17A
月経困難症を除去： pat18、pat19
両変数を除去： pat20、pat21
四つの変数（EXs.11および12） ：pat22、pat23、pat23A
――――――――――――――――――――――――――――――
【０３３５】
変数およびランダムシードの各組合せについて変数選択プロセスが完了した後で、八つ１組のネットワークを、識別された選択した変数を使用してトレーニングした。これらのネットワークのそれぞれは、完全な５１０個の記録データベースについてトレーニングされる。これらのトレーニング実行から、出力のコンセンサスがＥｘｃｅｌのスプレッドシート中で生成され、各ネットワークの性能を評価することができる。
【０３３６】
結果．
ネットワークのコンセンサスの通常の性能を、５の区分でホールドアウト方法を使用して推定した。ｐａｔ０８およびｐａｔ０９の場合のように、全ての変数が利用可能である場合には、分類性能は６５．２３％と推定された。
【０３３７】
骨盤痛の変数が考慮から除去される場合（ｐａｔ１６およびｐａｔ１７）には、性能は６１．０３％と推定された。これは４．２０％の低下に相当する。
【０３３８】
月経困難症の変数が考慮から除去される場合（ｐａｔ１８およびｐａｔ１９）には、性能は６３．４４％と推定された。これは１．７９％のみの低下に相当する。
【０３３９】
両変数が考慮から除去される場合（ｐａｔ２０およびｐａｔ２１）には、性能は６１．２２％と推定された。これは４．００％の低下に相当する。これは骨盤痛のみを除去した場合より良好である。これは骨盤痛についての性能低下が誇張されることを意味する。骨盤痛を含まずに最もよく実施されるネットワークは、６２．２９％の性能を有し、これは２．９４％の低下を与える。両方とも除去したときに性能が与えられる場合には、これはより妥当な推定となる。
【０３４０】
結論．
四つの変数をテストして、重要性の順序で変数を順位付けすると以下の通りとなる。
【０３４１】
［表１５］
――――――――――――――――――――――――――――――
骨盤痛 2.94から4.20％の低下
ｅｎｄｏの過去の病歴 2.76％の低下
月経困難症 1.79％の低下
過去の骨盤手術歴 0.72％の低下
――――――――――――――――――――――――――――――
【０３４２】
変数を除去し、変数選択プロセスを実行するこのプロセスは、所与の変数の値を決定する良好な手法である。診断に重要だが高度に相関する変数は二つ存在し、一方のみを除去しても、ネットワークがもう一方を使用することによってこれを補償するので、ほとんど影響がないことに留意されたい。それらの真の値が明らかになるのは、両方を除去したときのみである。
【０３４３】
＜例１２＞
軽度および重度の子宮内膜症を区別するようにニューラルネットワークをトレーニングする．
目的：
１．最小限／軽度の子宮内膜症と中程度／重度の子宮内膜症とを区別するネットワークのコンセンサスをトレーニングすること。
タスク：
１．ネットワークを以下のようにＡＦＳ ｓｃｏｒｅにトレーニングする。
正＝Ｅｎｄｏ Ｓｔａｇｅ ＩＩＩまたはＩＶ
負＝Ｅｎｄｏなし、Ｅｎｄｏ Ｓｔａｇｅ ＩまたはＩＩ
２．子宮内膜症データベースのニューラルネットワークを使用
する医療および生化学テストを開発する方法に記載の変数選択プロセスを適用する。
３．変数選択プロセスに対して様々なランダムシード変数を使用して、タスク（２）を繰り返す。
４．進行する前に上記（２）および（３）で選択した変数を比較する。選択した変数のセットが大幅に異なる場合には、様々なランダムシード重みを使用してタスク（２）を繰り返す。
５．上記（２）および（３）で選択した変数について最後のコンセンサスネットワークをトレーニングする。
６．Ｅｎｄｏが患者に存在した子宮内膜症データベースのサブセットのみを使用して、ステップ（２）から（５）を繰り返す。
【０３４４】
使用した方法．
例１０で開発し、例１１で修正した変数選択ソフトウェアを基本として使用して、この例のタスクのそれぞれについての結果を生成した。
【０３４５】
行った各変数選択実行について、変数選択プロセスのパラメータは以下のように設定した。
【０３４６】
［表１６］
――――――――――――――――――――――――――――――
区分数： 5
コンセンサスネットワーク： 20
トレーニング例サイズ： 510(ステップ(6)では290)
パス数： 999
――――――――――――――――――――――――――――――
【０３４７】
変数選択プロセス中のデータベース変数の順序付けは、例１で説明した新しいターゲット出力について特に実行される感度分析およびカイ二乗分析に基づいている。この例のためにトレーニングしたネットワークは、以下のように識別される（二つのネットは異なるランダムシードを有する）。
【０３４８】
［表１７］
――――――――――――――――――――――――――――――――――――
全データベースについてトレーニングしたネット：ＡＦＳ０１およびＡＦＳ０２
Ｅｎｄｏ存在サブセットについてトレーニングしたネット：ＡＦＳＥＰ１およびＡＦＳＥＰ２
――――――――――――――――――――――――――――――――――――
【０３４９】
変数およびランダムシードの各組合せについて変数選択プロセスが完了した後で、八つ１組のネットワークを、識別された選択した変数を使用してトレーニングした。これらのＡＦＳ０１およびＡＦＳ０２変数についてのネットワークのそれぞれは、完全な５１０個の記録データベースについてトレーニングされる。ＡＦＳＥＰ１およびＡＦＳＥＰ２変数についてのネットワークのそれぞれは、ｅｎｄｏ存在変数が正である２９１個の記録についてトレーニングされる。これらのトレーニング実行から、出力のコンセンサスがＥｘｃｅｌのスプレッドシート中で生成され、各ネットワークの性能を評価することができる。
【０３５０】
結果．
減少したサブセット実行中で発見された変数のカウントは、全トレーニング例についての実行の場合より少ない。ネットワークのコンセンサスの通常の性能は、５の区分のホールドアウト方法を使用して推定された。全トレーニング例を使用するＡＦＳ実行についての通常の分類性能は７７．２２５４９％であった。ｅｎｄｏ存在サブセットについての通常の分類性能は６３．００８６２１％であった。全ての例が負として分類される場合には、全トレーニング例についての性能は７８．８２％、サブセットについては６５．２９％になるはずである。正および負の分類のためのカットオフ値を変更することにより、これらの数字によって提示されるより良好な性能を達成することができる。
【０３５１】
結論．
全トレーニング例およびｅｎｄｏ存在例のサブセットについての変数選択実行の結果は、重要な変数の決定ではトレーニング例のサイズが重要であることを示す。トレーニング例のサイズが大きくなるにつれて、より多くの変数が重要と考えられることになることは明らかである。この結果は、トレーニングデータが多くなれば、変数選択プロセス、および診断テストの構築に使用するコンセンサスネットワークの全体的な性能が改善されることを示すものと解釈することもできる。
【０３５２】
＜例１３＞
変数選択、妊娠に関係する事象を予測するニューラルネットの開発、および胎児フィブロネクチンのテストの性能の改善．
データは、米国特許第５４６８６１９号に記載のアッセイの臨床試験に含まれる７００人を超える被験患者から収集した。変数選択は、胎児フィブロネクチン（ｆＦＮ）テストデータなしで実施した。ＥＧＡ１からＥＧＡ４で示される最後のネットワークは、以下の表に示す変数でトレーニングされる。
【０３５３】
ＥＧＡ１からＥＧＡ４は、変数選択に使用されるニューラルネットワークを表す。ＥＧＡ１では、変数選択プロトコルは、入力層に八つの入力、隠れた層に三つの処理要素、および出力層に一つの出力を有するネットワークアーキテクチャで実施される。ＥＧＡ２は、入力層の入力が九つであることを除けばＥＧＡ１と同様である。ＥＧＡ３は、入力層に七つの入力、隠れた層に三つの処理要素、および出力層に一つの出力を有する。ＥＧＡ４は、ＥＧＡ１の入力層の入力が八つであることを除けば、ＥＧＡ１と同様である。
【０３５４】
選択した変数は以下の通りである。
【０３５５】
【表２２】
【０３５６】
ＥＧＡ＝推定在胎齢。
【０３５７】
最終的なコンセンサスネットワークの性能．
【０３５８】
【表２３】
【０３５９】
ＥＧＡ＝推定在胎齢（３４週未満）；ＴＰ＝真の正；ＴＮ＝真の負；ＦＰ＝偽の正；ＦＮ＝偽の負；ＳＮ＝感度；ＳＰ＝特異性；ＰＰＶ＝正の予測値；ＮＰＶ＝負の予測値；ＯＲ＝オッズ比（正しい総数／正しい回答の総数）；ｆＦＮ＝ｆＦＮについてのＥＬＩＳＡアッセイからの結果
【０３６０】
この結果は、七つの患者変数およびｆＦＮ ＥＬＩＳＡアッセイを含み、３４週未満での分娩を予測するニューラルネットであるネットワークＥＧＡ４が、ｆＦＮ ＥＬＩＳＡアッセイよりはるかに少ない偽の正を有することを示す。さらに、偽の正の数は５０％低下した。ｆＦＮテストをニューラルネットに組み込むことで、ｆＦＮ ＥＬＩＳＡアッセイの性能が向上した。全てのニューラルネットは、単独のｆＦＮテストより良好に実施された。したがって、本明細書の方法は、妊娠に関係する事象を予測するために使用することができるニューラルネットおよびその他の意思決定支援システムを開発するために使用することができる。
【０３６１】
＜例１４＞
ｐａｔ０７変数の特定のサブセットについてコンセンサスニューラルネットワークをトレーニングする．
この例は、ｐａｔ０７変数のｐａｔ０７性能への寄与を測量し、最小数のｐａｔ０７変数を使用して子宮内膜症ネットワークを開発するように設計されたタスクの結果を示す。
【０３６２】
タスク：
１．以下のｐａｔ０７変数の組合せを使用して最後のコンセンサスネットワークをトレーニングする。
ａ．全１４個からＥｎｄｏ歴を引く（総数１３個の変数）
ｂ．全１４個から骨盤痛を引く（総数１３個の変数）
ｃ．全１４個から月経困難症を引く（総数１３個の変数）
ｄ．全１４個から骨盤手術を引く（総数１３個の変数）
２．ｐａｔ０７変数のその他の組合せを使用して最後のコンセンサスネットワークをトレーニングする。
ａ．Ｅｎｄｏ歴、骨盤痛、および月経困難症
ｂ．Ｅｎｄｏ歴、骨盤痛、月経困難症、および骨盤手術歴
３．上記結果から示されるｐａｔ０７変数のその他の組合せを使用して最後のコンセンサスネットワークをトレーニングする。
【０３６３】
使用した方法．
元の患者データベースを使用して、評価すべき変数の各組合せについてトレーニング例が生成された。これらのトレーニング例は、所与のコンセンサス実行に必要な変数のみを含む。ＴｒａｉｎＤｏｓTMをバッチモードで使用して、評価すべき変数の各組合せについて八つのニューラルネットワークのセットをトレーニングした。ネットワークは、ｐａｔ０７トレーニング実行と同様のパラメータを使用してトレーニングした。唯一の相違は、各ネットワークについての乱数シードの設定である。各ネットワークは、全５１０個の記録データベースについてトレーニングされた。これらのトレーニング実行から、出力のコンセンサスがＥｘｃｅｌのスプレッドシート中で生成され、各ネットワークの性能を評価することができる。
【０３６４】
結果．
これらの実行は最後のトレーニング実行であるので、変数を除去した影響は見られるが、ホールドアウト方法によって達成することができるほど明白な指示は与えない。
【０３６５】
結論．
所与の変数のセットの寄与を決定することを目的とする全トレーニング例についての変数選択実行の結果は、変数選択プロセスで使用した評価方法ほど良好な方法ではない。５の区分、および２０個のネットコンセンサスでの評価用の「ホールドアウト」方法は、変数を比較するための大幅に良好な統計値を与える。
【０３６６】
＜例１５＞
ニューラルネットワーク（ｐａｔ０７）を介した分析に適した複数のパラメータを使用する、子宮内膜症の診断を補助する方法および装置．
図７は、複数のニューラルネットワークのコンセンサスネットワーク（図１０）で使用される形態の臨床データについてトレーニングされた一タイプのニューラルネットワーク１０の一実施形態を示す概略図である。この構造は、デジタルコンピュータで処理される重み値およびデータとともにデジタル形式で記憶される。この第一タイプニューラルネットワーク１０は、三つの層、すなわち入力層１２、隠れた層１４、および出力層１６を含む。入力層１２は、平均および標準偏差値を生成して、入力層に入力される臨床ファクタに重み付けする正規化装置（図示せず）をそれぞれ備える１４個の入力プリプロセッサ１７〜３０を有する。平均および標準偏差値は、ネットワークトレーニングデータに固有である。入力層のプリプロセッサ１７〜３０はそれぞれ、経路５１〜６４、および６５〜７８を介して、隠れた層１４の第一および第二処理要素４８、５０に結合され、隠れた層の処理要素４８、５０がそれぞれ、各入力プリプロセッサ１７〜３０から値または信号を受けるようになっている。各経路は、トレーニングデータについてのトレーニングの結果に基づく固有の重みを備える。固有の重み８０〜９３および９５〜１０８は出力と非線形に関係し、各ネットワーク構造およびトレーニングデータの初期値について固有である。重みの最終値は、ネットワークトレ−ニングに割り当てられた初期化値に基づく。トレーニングの結果生じる重みの組合せは、重みで表現されるその記述が所望の解決策を生成する機能的装置、またはより詳細には子宮内膜症の診断の暫定的指標を含む。
【０３６７】
本明細書で提供する子宮内膜症テストでは、ニューラルネットワークをトレーニングするために使用される、出力がそれに基づくファクタは、疾病の過去の病歴、出産回数、月経困難症、年齢、骨盤痛、骨盤手術歴、一日あたりの喫煙量、薬物治療歴、妊娠回数、流産回数、異常ＰＡＰ／形成異常症、妊娠高血圧症、生殖器いぼ、糖尿病である。これら１４個のファクタは、４０を超える臨床ファクタの元のセットの中で、最も影響力のある（最大感度の）セットであると決定されている。（影響力のあるファクタのその他のセットも導かれている。上記の各例を参照）。
【０３６８】
隠れた層は、経路１６４および１７９を介して処理要素４８および５０に提供されるバイアス重み９４、１１９によってバイアスされる。出力層１６は、二つの出力処理要素１２０、１２２を含む。出力層１６は、隠れた層の処理要素４８、５０の両方から、経路１２３、１２４、および１２５、１２６を介して入力を受ける。出力層の処理要素１２０、１２２は、重み１１０、１１２、および１１４、１１６によって重み付けされる。出力層１６は、経路１２９および１３１を介して処理要素１２０および１２２に提供されるバイアス重み１２８、１３０によってバイアスされる。
【０３６９】
子宮内膜症の有無または重さの暫定的指標は、二つの処理要素１２０、１２２からの値ＡおよびＢの出力対である。これらの値は常に０から１の間の正である。一方の指標は、子宮内膜症が存在することを示す。もう一方の指標は、子宮内膜症が存在しないことを示す。出力対Ａ、Ｂは一般に有効な疾病の指標を与えるが、トレーニングしたニューラルネットワークのコンセンサスネットワークはより信頼性の高いインデックスを提供する。
【０３７０】
図１０を参照すると、最後の指標対Ｃ、Ｄは、複数、詳細には八つの、トレーニングされたニューラルネットワーク１０Ａから１０Ｈ（図１０）からの暫定的指標対のコンセンサスの分析に基づいている。各暫定的指標対Ａ、Ｂは、経路１３３〜１４０および１４１〜１４８を介して二つのコンセンサスプロセッサ１５０、１５２の一方に供給される。第一コンセンサスプロセッサ１５０は全ての正の指標を処理する。第二コンセンサスプロセッサ１５２は全ての負の指標を処理する。各コンセンサスプロセッサ１５０、１５２は平均化装置である、すなわち同様の暫定的指標対Ａ、Ｂの集合の、平均などの一次結合を単に形成する。その結果の信頼性指標対は所望の結果であり、入力は被験患者についての臨床ファクタのセットである。
【０３７１】
図９は、代表的なプロセッサ要素１２０を示す。同様のプロセッサ４８および５０は、さらに多くの入力要素を有し、プロセッサ要素１２２はほぼ同一である。代表的なプロセッサ要素１２０は、各入力経路（ここでは全体として要素ごとに１５、１６、または３の番号を付け、プロセッサ要素１２０の一部分として示す）上に複数の重み乗算器１１０、１１４、１２８を含む。重み乗算器からの重み付けされた値は、加算器１５６に結合される。加算器１５６の出力は、Ｓ字型伝達関数やアークタンジェント伝達関数などの活性化関数１５８に結合される。プロセッサ要素は、専用ハードウェアとして、またはソフトウェア機能中で実施することができる。
【０３７２】
感度分析を実施して、臨床ファクタの相対的な重要性を決定することができる。感度分析は、デジタルコンピュータ上で以下のように実施される。トレーニングしたニューラルネットワークを、各トレーニング例（真の出力が知られている、または推測される入力データ群）について順方向モード（トレーニングなし）で実行する。次いで各トレーニング例についてのネットワークの出力を記録する。その後、各入力変数を全トレーニング例にわたる入力変数の平均値で置き換えて、ネットワークを再実行する。次いで各出力の値の差を二乗して合計（累積）し、個別の合計を得る。
【０３７３】
この感度分析プロセスは、各トレーニング例について実施する。次いで全ての変数が単一の結果出力に等しく寄与する場合に正規化値が１．０となるように、各結果合計を従来のプロセスに従って正規化する。この情報から、正規化値を重要性の順序で順位付けすることができる。
【０３７４】
臨床データの分析では、このニューラルネットワークシステムについてのファクタの感度の順序は、疾病の過去の病歴、出産回数、月経困難症、年齢、骨盤痛、骨盤手術歴、一日あたりの喫煙量、薬物治療歴、妊娠回数、流産回数、異常ＰＡＰ／形成異常症、妊娠高血圧症、生殖器いぼ、糖尿病であると決定された。
【０３７５】
特定のニューラルネットワークシステムがトレーニングされ、有効な診断ツールであることが分かった。図７および図１０に示すニューラルネットワークシステムは以下のように記述される。
【０３７６】
［表１８］
――――――――――――――――――――――――――――――
０．バイアス
１．年齢
２．糖尿病
３．妊娠高血圧症
４．一日あたりの喫煙量
５．妊娠回数
６．出産回数
７．流産回数
８．生殖器いぼ
９．異常ＰＡＰ／形成異常症
１０．子宮内膜症の病歴
１１．骨盤手術歴
１２．薬物治療歴
１３．骨盤痛
１４．月経困難症
――――――――――――――――――――――――――――――
【０３７７】
以上のような、感度の順序ではなく識別の順序になっている重みは、八つの第一タイプのニューラルネットワーク１０それぞれについて以下のようになっている。
【０３７８】
第一ニューラルネットワークＡ
【０３７９】
【表２４】
【０３８０】
第一ニューラルネットワークＢ
【０３８１】
【表２５】
【０３８２】
第一ニューラルネットワークＣ
【０３８３】
【表２６】
【０３８４】
第一ニューラルネットワークＤ
【０３８５】
【表２７】
【０３８６】
第一ニューラルネットワークＥ
【０３８７】
【表２８】
【０３８８】
第一ニューラルネットワークＦ
【０３８９】
【表２９】
【０３９０】
第一ニューラルネットワークＧ
【０３９１】
【表３０】
【０３９２】
第一ニューラルネットワークＨ
【０３９３】
【表３１】
【０３９４】
第一タイプのニューラルネットワークについての正規化した観測値
【０３９５】
【表３２】
【０３９６】
さらに、本明細書で提供するように、ＥＬＩＳＡ形式テストによるテストなどの生化学テストの結果を使用して、トレーニングした増加されたニューラルネットワークシステムを生成し、感度および特異性の比較的高い信頼性レベルを生み出すことができる。こうした第二タイプのニューラルネットワークを図８に示す。入力層１２のノード３１と、一対の重み１０９および１１１が追加されていることを除けば、番号は図７と同様である。ただし、ネットワーク中の全ての重みは、追加の生化学結果でトレーニングすると変化する。正確な重みセットは、特定の生化学テストトレーニング例に依存する。
【０３９７】
本明細書で提供されるトレーニングシステムを使用することができる。代替のトレーニング技術を使用することもできる（例えば、Baxtによる「Use of an Artificial Neural Network for the Diagnosis of Myocardial Infarction」、Annals of Internal Medicine 115，p.843（1991 年 12 月 １ 日);「Improving the Accuracy of an Artificia1 Neural Network Using Multiple Differently Trained Networks」、Neural Computation 4,p.772(1992 年)を参照のこと）。
【０３９８】
テスト結果を評価する際には、高ｓｃｏｒｅは疾病が存在することに相関し、低ｓｃｏｒｅは疾病が存在しないことに相関し、極端なｓｃｏｒｅは信頼性を高めるが、中程度のｓｃｏｒｅは信頼性を低下させることに留意した。子宮内膜症が存在することは、０．６以上の出力によって示され、それが存在しないことは０．４以下によって示される。高い相対ｓｃｏｒｅが、疾病の高い相対重さと相関することにも留意した。本明細書の方法は、疾病状態の有無または重さを確立するためにそれ以上の手順、しばしば手術を必要とする患者数を最小限に抑える。
【０３９９】
当業者には修正形態が明らかであるので、本発明は添付の特許請求の範囲によってのみ制限されるものとする。
【図面の簡単な説明】
【０４００】
【図１】患者病歴ベースの診断テストプロセスを開発するための流れ図である。
【図２】生化学診断テストを開発するための流れ図である。
【図３】重要な変数を分離するプロセスの流れ図である。
【図４】変数の分割を含む一つまたは一組のニューラルネットワークをトレーニングするプロセスの流れ図である。
【図５】生化学診断テストを開発するための流れ図である。
【図６】生化学診断テストの有効性を決定するための流れ図である。
【図７】複数のニューラルネットワークのコンセンサスネットワーク用に使用されるフォームの臨床データに基づいてトレーニングされたニューラルネットワークの概略図である。
【図８】八個のニューラルネットワークのコンセンサス用に使用されるフォームのテスト結果データによって増大した臨床データに基づいてトレーニングされたニューラルネットワークの第二の実施形態の概略図である。
【図９】ニューラルネットワークの各ノードの処理要素の概略図である。
【図１０】ニューラルネットワークの第一または第二の実施形態を使用した八個のニューラルネットワークのコンセンサスネットワークの概略図である。
【図１１】診断子宮内膜症インデックス中のユーザインタフェースの例示的なインタフェーススクリーンの図である。
【特許請求の範囲】
【請求項１】
（ａ）ｎ個の候補変数にてなる第一セットと、最初は空である重要な選択された変数にてなる第二セットとを与える手段と、
（ｂ）候補変数を一度に一つずつ取り、重要な選択された変数の現在のセットに結合された変数に基づいて意思決定支援システムをトレーニングすることによって各変数を評価する手段と、
（ｃ）候補変数のうち、意思決定支援システムの最高の性能を与える変数である最良の変数を選択し、最良の候補変数が重要な選択された変数の性能と比較して性能を改善する場合、それを重要な選択された変数にてなるセットに追加してそれを候補セットから除去し、最良の候補変数が性能を改善しなくなるまで上記手段（ｂ）を用いた評価を継続する手段を備えた、変数選択のためのコンピュータシステム。
【請求項２】
上記手段（ａ）は、患者から得られかつ病歴データおよび／または生化学データを含む候補変数を使用する請求項１記載のコンピュータシステム。
【請求項３】
診断を支援するテストを生成するコンピュータシステムであって、
請求項１記載のコンピュータシステムに従って、重要な選択された変数にてなるセットを選択する手段と、
診断用のテストを生成するために重要な選択された変数の選択された最終的なセットを使用して、意思決定支援システムをトレーニングする手段とを備えたコンピュータシステム。
【請求項４】
上記診断を支援するテストを生成するコンピュータシステムは、医学的状態または障害が存在する可能性を評価し、特定の状態が進行中であるかまたは将来生じる可能性を評価し、もしくは、所定の治療単位に係る治療を選択するかまたは治療の有効性を決定する、請求項３記載のコンピュータシステム。
【請求項５】
上記状態は、妊娠に関連した状態または子宮内膜症である請求項４記載のコンピュータシステム。
【請求項６】
上記診断を支援するテストを生成するコンピュータシステムは、医学的状態の有無または重さを評価するか、もしくは所定の治療単位に係る治療からもたらされる可能性のある結果を決定する請求項３記載のコンピュータシステム。
【請求項７】
診断用生化学テストの有効性を改善するコンピュータシステムであって、
請求項１記載のコンピュータシステムに従って、重要な選択された変数にてなるセットを選択する手段と、
重要な選択された変数および生化学テストデータの選択された最終的セットを使用して意思決定支援システムをトレーニングして、生化学テストのみよりも有効なテストを生成する手段とを備えたコンピュータシステム。
【請求項８】
障害または状態の診断を支援する生化学テストを識別するコンピュータシステムであって、
（ａ）請求項１記載のコンピュータシステムに従って、重要な選択された変数にてなるセットを選択する手段と、
（ｂ）生化学テストデータにてなるセットを識別し、生化学テストデータにてなるセットの各要素に結合された重要な選択された変数の選択された最終的なセットを使用して意思決定支援システムをトレーニングし、得られたシステムの性能を評価する手段と、
（ｃ）生化学テストデータにてなるセットの各要素に関してすべての要素がトレーニングに使用されるまでトレーニングおよび評価を繰り返す手段と、
（ｄ）最良の性能で動作するシステムをもたらす生化学データにてなるセットの要素を選択する手段とを備えたコンピュータシステム。
【請求項９】
（ａ）ｎ個の候補変数にてなる第一セットと、最初は空である重要な選択された変数にてなる第二セットとを与える手段と
（ｂ）すべての候補変数を任意に、または順序立って順位付けする手段と、
（ｃ）ｍが１からｎまでとするとき最も大きいｍ個の順位付けされた変数を一度に一つずつとり、重要な選択された変数の現在のセットと結合された変数に基づいて意思決定支援システムをトレーニングすることによって各変数を評価する手段と、
（ｄ）ｍ個の変数のうち、意思決定支援システムの最高の性能を与える変数である最良の変数を選択し、最良の変数が重要な選択された変数の性能と比較して性能を改善する場合、それを重要な選択された変数にてなるセットに追加してそれを候補セットから除去し、手段（ｃ）によって評価すること継続し、変数が重要な選択された変数の性能と比較して性能を改善しない場合、手段（ｅ）を用いることにより評価する手段と、
（ｅ）候補セットのすべての変数が評価されているかどうかを決定する手段とを備えた、変数選択のためのコンピュータシステム。
【請求項１０】
候補変数は生化学テストデータを含む請求項３または９記載のコンピュータシステム。
【請求項１１】
上記順位付けする手段は、感度分析に基づくか、または他の意思決定支援システムベースの分析を含む分析に基づく請求項９記載のコンピュータシステム。
【請求項１２】
上記順位付けする手段は、統計分析を含むプロセスに基づく請求項９記載のコンピュータシステム。
【請求項１３】
上記順位付けする手段は、カイ二乗、回帰分析または判別分析を含むプロセスに基づく請求項９記載のコンピュータシステム。
【請求項１４】
上記順位付けする手段は、エキスパート、ルールベースのシステム、感度分析またはその組合せによる評価を使用するプロセスによって決定される請求項９記載のコンピュータシステム。
【請求項１５】
上記感度分析は、
（ｉ）観測データセット中の各変数ごとに平均観測値を決定する手段と、
（ｉｉ）トレーニング例を選択し、意思決定支援システムを介して例を実行して、通常の出力として指定されかつ記憶される出力値を発生する手段と、
（ｉｉｉ）選択されたトレーニング例中の第一の変数を選択し、観測値を第一の変数の平均観測値と置換し、修正された例を意思決定支援システム中で順方向モードで実行し、出力を修正された出力として記録する手段と、
（ｉｖ）通常の出力と修正された出力との差を二乗し、それを合計として累積する手段とを備え、各変数ごとの合計は各変数ごとに選択された変数合計に指定される請求項１１または１４に記載のコンピュータシステム。
【請求項１６】
意思決定支援システムはニューラルネットワークのコンセンサスを含む請求項１または９に記載のコンピュータシステム。
【請求項１７】
ｎ個の候補変数にてなるセットおよび重要な選択された変数にてなるセットはそれぞれコンピュータ中に記憶される請求項１または９に記載のコンピュータシステム。
【請求項１８】
重要な選択された変数にてなる完成したセットに基づく最終的な意思決定支援システムをトレーニングして、状態のための意思決定支援システムベースのテストを生成する手段をさらに備えた請求項３記載のコンピュータシステム。
【請求項１９】
状態は、婦人科に関連した状態である請求項３記載のコンピュータシステム。
【請求項２０】
状態は、不妊症、妊娠に関連した事象、および子癇前症の中から選択される請求項１９記載のコンピュータシステム。
【請求項２１】
医学的状態、疾病または障害を診断することを支援する意思決定支援システムベースのテストを開発するコンピュータシステムであって、
（ａ）その人の医学的状態が既知であるテスト患者のグループからの観測結果を取得する手段と、
（ｂ）手段（ａ）によって取得された観測結果を、観測値を有する一組の候補変数に分類し、観測値を観測データセットとしてコンピュータ中に記憶する手段と、
（ｃ）請求項１または９に記載のコンピュータシステムを用いて、候補変数にてなるセットから重要な選択された変数にてなるサブセットを選択する手段と、
（ｄ）重要な選択された変数にてなるサブセットに対応する観測データを使用して、第二意思決定支援システムベースのシステムが状態、疾病または障害のための意思決定支援ベースの診断テストを構成するように第二意思決定支援システムをトレーニングする手段とを備えたコンピュータシステム。
【請求項２２】
テスト患者のグループからの観測結果を収集した後であって、かつ第二意思決定支援ベースのシステムをトレーニングする前に、
その人の状態が既知であるかまたは推測されるテスト患者の少なくとも一部に対する生化学テストから収集されたテスト結果を取得し、それらを候補変数にてなるセットに分類し、次いでこれらを候補変数の第一セットに追加する手段をさらに備えた請求項２１記載のコンピュータシステム。
【請求項２３】
重要な選択された変数の最終的なサブセットで終わる一つ又は複数の生化学テストデータ変数を識別する手段をさらに備え、それにより、識別された一つ又は複数の生化学テストデータ変数は、疾病、障害または状態を表す指標として役立つ請求項２２記載のコンピュータシステム。
【請求項２４】
テストは、疾病、障害または他の医学的状態の有無または重さまたは治療単位を評価する請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項２５】
テストは、選択された治療からもたらされる結果を決定することを支援する請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項２６】
意思決定支援システムはニューラルネットワークを備え、かつ最終的なセットはニューラルネットワークのコンセンサスを構成する請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項２７】
重要な選択された変数にてなる第一サブセットは、意思決定支援ベースのシステムまたはそのコンセンサス上で実施される感度分析を使用して識別される請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項２８】
第一意思決定支援システムは少なくとも一つのニューラルネットワークを備えた請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項２９】
第二意思決定支援システムは少なくとも一つのニューラルネットワークを備えた請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項３０】
一つまたは複数の識別した生化学テストデータ変数についての診断用生化学テストを開発する手段をさらに備えた請求項２３記載のコンピュータシステム。
【請求項３１】
患者からの追加の観測結果を収集してそれらを候補変数にてなるセットに分類する手段をさらに備え、上記候補変数は次いで候補変数にてなる第一セットに追加される請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項３２】
新しい生化学テストを開発する、または新しい疾病マーカを識別するコンピュータシステムであって、
請求項２３記載のコンピュータシステムと、
重要な選択された変数である生化学データ変数を識別する手段と、
そこから変数が得られる生化学データまたは疾病マーカを検出するテストを開発する手段とを備えたコンピュータシステム。
【請求項３３】
候補変数は生化学テストデータを含む請求項２１または２２記載のコンピュータシステム。
【請求項３４】
順位付けする手段は、感度分析またはその他の意思決定支援システムベースの分析を含む分析に基づいている請求項２１記載のコンピュータシステム。
【請求項３５】
順位付けする手段は、統計分析を含むプロセスに基づいている請求項２１記載のコンピュータシステム。
【請求項３６】
順位付けする手段は、カイ二乗、回帰分析、または判別分析を含むプロセスに基づいている請求項２１記載のコンピュータシステム。
【請求項３７】
順位付けする手段は、エキスパート、ルールベースのシステム、感度分析またはその組合せによる評価を使用するプロセスによって決定される請求項２１記載のコンピュータシステム。
【請求項３８】
感度分析は、
（ｉ）観測データセット中の各変数について平均観測値を決定する手段と、
（ｉｉ）トレーニング例を選択し、意思決定支援システムを介してこの例を実行して、通常の出力として指定されかつ記憶される出力値を生成する手段と、
（ｉｉｉ）選択したトレーニング例中の第一変数を選択し、観測値を第一変数の平均観測値で置換し、修正した例を意思決定支援システム中で順方向モードで実行し、その出力を修正された出力として記録する手段と、
（ｉｖ）通常の出力と修正した出力の差を二乗してこれを合計として累積する手段とを備え、各変数ごとの合計は各変数ごとに選択された変数合計に指定され、
（ｖ）例中の各変数について手段（ｉｉｉ）および（ｉｖ）を使用する手段と、
（ｖｉ）データセット中の各例について手段（ｉｉ）〜（ｖ）を使用する手段とを備え、選択された変数の各合計は、意思決定支援システム出力の決定に対する各変数の相対的寄与を表す請求項３４または３７記載のコンピュータシステム。
【請求項３９】
（ｖｉｉ）意思決定支援システム出力の決定に対する変数の相対的寄与に従ってそれらの変数を順位付けする手段をさらに備えた請求項３８記載のコンピュータシステム。
【請求項４０】
第二意思決定支援システムをトレーニングする手段は、以前に未使用の観測データにてなるセットを、トレーニング後に第二意思決定支援システムを介して実行して、医学的状態の指標についての性能推定値を提供する妥当性検査手段を備え、以前に未使用の観測データにてなるセットは、その医学的状態が知られている患者から収集される請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項４１】
第二意思決定支援システムをトレーニングする手段は、観測データセットを、少なくとも一つのテスト用データ区分および複数のトレーニング用データ区分を含む複数の区分に分割する手段を備え、第二意思決定支援システムは複数のトレーニング用データ区分を使用して実行され、テスト用データ区分は、トレーニング用データ区分が実行された後で第二意思決定支援システムについての最終的な性能推定値を提供するために使用される請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項４２】
第二意思決定支援システムは、固有の開始重みにてなるセットおよび性能レーティング値をそれぞれ有する複数のニューラルネットワークを備えた請求項４１記載のコンピュータシステム。
【請求項４３】
最終的な性能推定値は、複数のニューラルネットワークについての性能レーティング値を平均することによって生成される請求項４２記載のコンピュータシステム。
【請求項４４】
観測値は、患者病歴データの結果および／または生化学テスト結果から得られる請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項４５】
状態は、妊娠に関連した状態または子宮内膜症である請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項４６】
障害は子宮内膜症であり、
候補変数は、
（ｉ）過去の子宮内膜症歴、出産回数、月経困難症、年齢、骨盤痛、骨盤手術歴、一日あたりの喫煙量、薬物治療歴、妊娠回数、流産回数、異常ＰＡＰ／形成異常症、妊娠高血圧症、生殖器いぼ、および糖尿病、または
（ｉｉ）年齢、経産回数、妊娠回数、流産回数、一日あたりの喫煙量、過去の子宮内膜症歴、月経困難症、骨盤痛、異常ＰＡＰ、骨盤手術歴、薬物治療歴、妊娠高血圧症、生殖器いぼ、および糖尿病
から選択した少なくとも四つの変数を含む請求項３２記載のコンピュータシステム。
【請求項４７】
意思決定支援システムは、ニューラルネットワーク、またはニューラルネットワークのコンセンサスを備えた請求項４６記載のコンピュータシステム。
【請求項４８】
少なくとも五つの変数が選択される請求項４６記載のコンピュータシステム。
【請求項１】
（ａ）ｎ個の候補変数にてなる第一セットと、最初は空である重要な選択された変数にてなる第二セットとを与える手段と、
（ｂ）候補変数を一度に一つずつ取り、重要な選択された変数の現在のセットに結合された変数に基づいて意思決定支援システムをトレーニングすることによって各変数を評価する手段と、
（ｃ）候補変数のうち、意思決定支援システムの最高の性能を与える変数である最良の変数を選択し、最良の候補変数が重要な選択された変数の性能と比較して性能を改善する場合、それを重要な選択された変数にてなるセットに追加してそれを候補セットから除去し、最良の候補変数が性能を改善しなくなるまで上記手段（ｂ）を用いた評価を継続する手段を備えた、変数選択のためのコンピュータシステム。
【請求項２】
上記手段（ａ）は、患者から得られかつ病歴データおよび／または生化学データを含む候補変数を使用する請求項１記載のコンピュータシステム。
【請求項３】
診断を支援するテストを生成するコンピュータシステムであって、
請求項１記載のコンピュータシステムに従って、重要な選択された変数にてなるセットを選択する手段と、
診断用のテストを生成するために重要な選択された変数の選択された最終的なセットを使用して、意思決定支援システムをトレーニングする手段とを備えたコンピュータシステム。
【請求項４】
上記診断を支援するテストを生成するコンピュータシステムは、医学的状態または障害が存在する可能性を評価し、特定の状態が進行中であるかまたは将来生じる可能性を評価し、もしくは、所定の治療単位に係る治療を選択するかまたは治療の有効性を決定する、請求項３記載のコンピュータシステム。
【請求項５】
上記状態は、妊娠に関連した状態または子宮内膜症である請求項４記載のコンピュータシステム。
【請求項６】
上記診断を支援するテストを生成するコンピュータシステムは、医学的状態の有無または重さを評価するか、もしくは所定の治療単位に係る治療からもたらされる可能性のある結果を決定する請求項３記載のコンピュータシステム。
【請求項７】
診断用生化学テストの有効性を改善するコンピュータシステムであって、
請求項１記載のコンピュータシステムに従って、重要な選択された変数にてなるセットを選択する手段と、
重要な選択された変数および生化学テストデータの選択された最終的セットを使用して意思決定支援システムをトレーニングして、生化学テストのみよりも有効なテストを生成する手段とを備えたコンピュータシステム。
【請求項８】
障害または状態の診断を支援する生化学テストを識別するコンピュータシステムであって、
（ａ）請求項１記載のコンピュータシステムに従って、重要な選択された変数にてなるセットを選択する手段と、
（ｂ）生化学テストデータにてなるセットを識別し、生化学テストデータにてなるセットの各要素に結合された重要な選択された変数の選択された最終的なセットを使用して意思決定支援システムをトレーニングし、得られたシステムの性能を評価する手段と、
（ｃ）生化学テストデータにてなるセットの各要素に関してすべての要素がトレーニングに使用されるまでトレーニングおよび評価を繰り返す手段と、
（ｄ）最良の性能で動作するシステムをもたらす生化学データにてなるセットの要素を選択する手段とを備えたコンピュータシステム。
【請求項９】
（ａ）ｎ個の候補変数にてなる第一セットと、最初は空である重要な選択された変数にてなる第二セットとを与える手段と
（ｂ）すべての候補変数を任意に、または順序立って順位付けする手段と、
（ｃ）ｍが１からｎまでとするとき最も大きいｍ個の順位付けされた変数を一度に一つずつとり、重要な選択された変数の現在のセットと結合された変数に基づいて意思決定支援システムをトレーニングすることによって各変数を評価する手段と、
（ｄ）ｍ個の変数のうち、意思決定支援システムの最高の性能を与える変数である最良の変数を選択し、最良の変数が重要な選択された変数の性能と比較して性能を改善する場合、それを重要な選択された変数にてなるセットに追加してそれを候補セットから除去し、手段（ｃ）によって評価すること継続し、変数が重要な選択された変数の性能と比較して性能を改善しない場合、手段（ｅ）を用いることにより評価する手段と、
（ｅ）候補セットのすべての変数が評価されているかどうかを決定する手段とを備えた、変数選択のためのコンピュータシステム。
【請求項１０】
候補変数は生化学テストデータを含む請求項３または９記載のコンピュータシステム。
【請求項１１】
上記順位付けする手段は、感度分析に基づくか、または他の意思決定支援システムベースの分析を含む分析に基づく請求項９記載のコンピュータシステム。
【請求項１２】
上記順位付けする手段は、統計分析を含むプロセスに基づく請求項９記載のコンピュータシステム。
【請求項１３】
上記順位付けする手段は、カイ二乗、回帰分析または判別分析を含むプロセスに基づく請求項９記載のコンピュータシステム。
【請求項１４】
上記順位付けする手段は、エキスパート、ルールベースのシステム、感度分析またはその組合せによる評価を使用するプロセスによって決定される請求項９記載のコンピュータシステム。
【請求項１５】
上記感度分析は、
（ｉ）観測データセット中の各変数ごとに平均観測値を決定する手段と、
（ｉｉ）トレーニング例を選択し、意思決定支援システムを介して例を実行して、通常の出力として指定されかつ記憶される出力値を発生する手段と、
（ｉｉｉ）選択されたトレーニング例中の第一の変数を選択し、観測値を第一の変数の平均観測値と置換し、修正された例を意思決定支援システム中で順方向モードで実行し、出力を修正された出力として記録する手段と、
（ｉｖ）通常の出力と修正された出力との差を二乗し、それを合計として累積する手段とを備え、各変数ごとの合計は各変数ごとに選択された変数合計に指定される請求項１１または１４に記載のコンピュータシステム。
【請求項１６】
意思決定支援システムはニューラルネットワークのコンセンサスを含む請求項１または９に記載のコンピュータシステム。
【請求項１７】
ｎ個の候補変数にてなるセットおよび重要な選択された変数にてなるセットはそれぞれコンピュータ中に記憶される請求項１または９に記載のコンピュータシステム。
【請求項１８】
重要な選択された変数にてなる完成したセットに基づく最終的な意思決定支援システムをトレーニングして、状態のための意思決定支援システムベースのテストを生成する手段をさらに備えた請求項３記載のコンピュータシステム。
【請求項１９】
状態は、婦人科に関連した状態である請求項３記載のコンピュータシステム。
【請求項２０】
状態は、不妊症、妊娠に関連した事象、および子癇前症の中から選択される請求項１９記載のコンピュータシステム。
【請求項２１】
医学的状態、疾病または障害を診断することを支援する意思決定支援システムベースのテストを開発するコンピュータシステムであって、
（ａ）その人の医学的状態が既知であるテスト患者のグループからの観測結果を取得する手段と、
（ｂ）手段（ａ）によって取得された観測結果を、観測値を有する一組の候補変数に分類し、観測値を観測データセットとしてコンピュータ中に記憶する手段と、
（ｃ）請求項１または９に記載のコンピュータシステムを用いて、候補変数にてなるセットから重要な選択された変数にてなるサブセットを選択する手段と、
（ｄ）重要な選択された変数にてなるサブセットに対応する観測データを使用して、第二意思決定支援システムベースのシステムが状態、疾病または障害のための意思決定支援ベースの診断テストを構成するように第二意思決定支援システムをトレーニングする手段とを備えたコンピュータシステム。
【請求項２２】
テスト患者のグループからの観測結果を収集した後であって、かつ第二意思決定支援ベースのシステムをトレーニングする前に、
その人の状態が既知であるかまたは推測されるテスト患者の少なくとも一部に対する生化学テストから収集されたテスト結果を取得し、それらを候補変数にてなるセットに分類し、次いでこれらを候補変数の第一セットに追加する手段をさらに備えた請求項２１記載のコンピュータシステム。
【請求項２３】
重要な選択された変数の最終的なサブセットで終わる一つ又は複数の生化学テストデータ変数を識別する手段をさらに備え、それにより、識別された一つ又は複数の生化学テストデータ変数は、疾病、障害または状態を表す指標として役立つ請求項２２記載のコンピュータシステム。
【請求項２４】
テストは、疾病、障害または他の医学的状態の有無または重さまたは治療単位を評価する請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項２５】
テストは、選択された治療からもたらされる結果を決定することを支援する請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項２６】
意思決定支援システムはニューラルネットワークを備え、かつ最終的なセットはニューラルネットワークのコンセンサスを構成する請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項２７】
重要な選択された変数にてなる第一サブセットは、意思決定支援ベースのシステムまたはそのコンセンサス上で実施される感度分析を使用して識別される請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項２８】
第一意思決定支援システムは少なくとも一つのニューラルネットワークを備えた請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項２９】
第二意思決定支援システムは少なくとも一つのニューラルネットワークを備えた請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項３０】
一つまたは複数の識別した生化学テストデータ変数についての診断用生化学テストを開発する手段をさらに備えた請求項２３記載のコンピュータシステム。
【請求項３１】
患者からの追加の観測結果を収集してそれらを候補変数にてなるセットに分類する手段をさらに備え、上記候補変数は次いで候補変数にてなる第一セットに追加される請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項３２】
新しい生化学テストを開発する、または新しい疾病マーカを識別するコンピュータシステムであって、
請求項２３記載のコンピュータシステムと、
重要な選択された変数である生化学データ変数を識別する手段と、
そこから変数が得られる生化学データまたは疾病マーカを検出するテストを開発する手段とを備えたコンピュータシステム。
【請求項３３】
候補変数は生化学テストデータを含む請求項２１または２２記載のコンピュータシステム。
【請求項３４】
順位付けする手段は、感度分析またはその他の意思決定支援システムベースの分析を含む分析に基づいている請求項２１記載のコンピュータシステム。
【請求項３５】
順位付けする手段は、統計分析を含むプロセスに基づいている請求項２１記載のコンピュータシステム。
【請求項３６】
順位付けする手段は、カイ二乗、回帰分析、または判別分析を含むプロセスに基づいている請求項２１記載のコンピュータシステム。
【請求項３７】
順位付けする手段は、エキスパート、ルールベースのシステム、感度分析またはその組合せによる評価を使用するプロセスによって決定される請求項２１記載のコンピュータシステム。
【請求項３８】
感度分析は、
（ｉ）観測データセット中の各変数について平均観測値を決定する手段と、
（ｉｉ）トレーニング例を選択し、意思決定支援システムを介してこの例を実行して、通常の出力として指定されかつ記憶される出力値を生成する手段と、
（ｉｉｉ）選択したトレーニング例中の第一変数を選択し、観測値を第一変数の平均観測値で置換し、修正した例を意思決定支援システム中で順方向モードで実行し、その出力を修正された出力として記録する手段と、
（ｉｖ）通常の出力と修正した出力の差を二乗してこれを合計として累積する手段とを備え、各変数ごとの合計は各変数ごとに選択された変数合計に指定され、
（ｖ）例中の各変数について手段（ｉｉｉ）および（ｉｖ）を使用する手段と、
（ｖｉ）データセット中の各例について手段（ｉｉ）〜（ｖ）を使用する手段とを備え、選択された変数の各合計は、意思決定支援システム出力の決定に対する各変数の相対的寄与を表す請求項３４または３７記載のコンピュータシステム。
【請求項３９】
（ｖｉｉ）意思決定支援システム出力の決定に対する変数の相対的寄与に従ってそれらの変数を順位付けする手段をさらに備えた請求項３８記載のコンピュータシステム。
【請求項４０】
第二意思決定支援システムをトレーニングする手段は、以前に未使用の観測データにてなるセットを、トレーニング後に第二意思決定支援システムを介して実行して、医学的状態の指標についての性能推定値を提供する妥当性検査手段を備え、以前に未使用の観測データにてなるセットは、その医学的状態が知られている患者から収集される請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項４１】
第二意思決定支援システムをトレーニングする手段は、観測データセットを、少なくとも一つのテスト用データ区分および複数のトレーニング用データ区分を含む複数の区分に分割する手段を備え、第二意思決定支援システムは複数のトレーニング用データ区分を使用して実行され、テスト用データ区分は、トレーニング用データ区分が実行された後で第二意思決定支援システムについての最終的な性能推定値を提供するために使用される請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項４２】
第二意思決定支援システムは、固有の開始重みにてなるセットおよび性能レーティング値をそれぞれ有する複数のニューラルネットワークを備えた請求項４１記載のコンピュータシステム。
【請求項４３】
最終的な性能推定値は、複数のニューラルネットワークについての性能レーティング値を平均することによって生成される請求項４２記載のコンピュータシステム。
【請求項４４】
観測値は、患者病歴データの結果および／または生化学テスト結果から得られる請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項４５】
状態は、妊娠に関連した状態または子宮内膜症である請求項２１−２３のいずれかに記載のコンピュータシステム。
【請求項４６】
障害は子宮内膜症であり、
候補変数は、
（ｉ）過去の子宮内膜症歴、出産回数、月経困難症、年齢、骨盤痛、骨盤手術歴、一日あたりの喫煙量、薬物治療歴、妊娠回数、流産回数、異常ＰＡＰ／形成異常症、妊娠高血圧症、生殖器いぼ、および糖尿病、または
（ｉｉ）年齢、経産回数、妊娠回数、流産回数、一日あたりの喫煙量、過去の子宮内膜症歴、月経困難症、骨盤痛、異常ＰＡＰ、骨盤手術歴、薬物治療歴、妊娠高血圧症、生殖器いぼ、および糖尿病
から選択した少なくとも四つの変数を含む請求項３２記載のコンピュータシステム。
【請求項４７】
意思決定支援システムは、ニューラルネットワーク、またはニューラルネットワークのコンセンサスを備えた請求項４６記載のコンピュータシステム。
【請求項４８】
少なくとも五つの変数が選択される請求項４６記載のコンピュータシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−６５８３６（Ｐ２００８−６５８３６Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００７−２３５５３１（Ｐ２００７−２３５５３１）
【出願日】平成１９年９月１１日（２００７．９．１１）
【分割の表示】特願２００５−１３４３９６（Ｐ２００５−１３４３９６）の分割
【原出願日】平成９年２月７日（１９９７．２．７）
【出願人】（５００３６１２８３）アデザ・バイオメデイカル・コーポレイシヨン (4)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１９年９月１１日（２００７．９．１１）
【分割の表示】特願２００５−１３４３９６（Ｐ２００５−１３４３９６）の分割
【原出願日】平成９年２月７日（１９９７．２．７）
【出願人】（５００３６１２８３）アデザ・バイオメデイカル・コーポレイシヨン (4)
【Ｆターム（参考）】
[ Back to top ]