ハブ装置、プリフェッチ・モードを選択するための方法、メモリ・システム及びメモリ・サブシステム
【課題】メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するためのシステム及び方法を提供する。
【解決手段】
ハブ装置は、入力コマンド・ストリーム・インタフェース及び適応的プリフェッチ論理装置（ＡＰＬＵ）を含む。前記入力コマンド・ストリーム・インタフェースは、前記ハブ装置に接続された１つ以上のメモリ装置に向けられる、メモリ・コントローラからのコマンドを検出する。前記ＡＰＬＵは、前記メモリ装置に対するアクセス・パターンを決定するためにこれらのコマンドを独立的に分析するとともに、かかる分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択する。
【解決手段】
ハブ装置は、入力コマンド・ストリーム・インタフェース及び適応的プリフェッチ論理装置（ＡＰＬＵ）を含む。前記入力コマンド・ストリーム・インタフェースは、前記ハブ装置に接続された１つ以上のメモリ装置に向けられる、メモリ・コントローラからのコマンドを検出する。前記ＡＰＬＵは、前記メモリ装置に対するアクセス・パターンを決定するためにこれらのコマンドを独立的に分析するとともに、かかる分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ・メモリに係り、さらに詳細に説明すれば、動的メモリ・プリフェッチを提供することに係る。
【背景技術】
【０００２】
一般に、最近の高性能コンピュータ用の主メモリ・システムは、１つ以上の動的ランダム・アクセス・メモリ（ＤＲＡＭ）装置から成り、これらのＤＲＡＭ装置は、１つ以上のメモリ制御要素を介して１つ以上のプロセッサに接続される。コンピュータ・システムの総合性能は、プロセッサの性能／構造、メモリ・キャッシュ、入出力（Ｉ／Ｏ）サブシステム、メモリ制御機能の効率、主メモリ装置、メモリ相互接続インタフェースのタイプ及び構造を含む、コンピュータ構造の重要な各要素によって影響される。
【０００３】
当該分野において広範な研究開発努力が継続的に行われている１つの目標は、メモリ・システム／サブシステムの設計又は構造を改良することによって総合的なシステム性能及び密度を最大化するための、改良された革新的な解決策を提供することである。高可用性システムは、その総合的な信頼性に関係するさらなる挑戦を与える。というのは、顧客が新しいコンピュータ・システムに期待するのは、平均故障間隔（ＭＴＢＦ）の点で既存のシステムを著しく超えるということだけでなく、追加の機能、向上した性能、増加した記憶装置、より低い運用コスト等をも含んでいるからである。顧客の他の一般的な要件は、アップグレードの容易性や（スペース、電力及び冷却のような）システム環境の減少等を含み、これらの要件を充足するためには、メモリ・システム設計の挑戦がさらに過酷なものになる。
【０００４】
図１は、米国特許第５５１３１３５号に開示されている、初期の同期メモリ・モジュールを示す。図１に示されているメモリ・モジュールは、デュアル・インライン・メモリ・モジュール（ＤＩＭＭ）である。このモジュールは、高性能動作を促進するために、同期ＤＲＡＭ ８、バッファ装置１２、最適化されたピン配置、及び相互接続兼容量性減結合方法から成る。さらに、この特許は、位相ロック・ループ（ＰＬＬ）のような装置を使用して、モジュール上でクロックを再駆動することを記述する。
【０００５】
図２は、米国特許第６１７３３８２号に開示されている、コンピュータ・システム２１０を示す。コンピュータ・システム２１０内の同期メモリ・モジュール２２０は、バス２４０を介してメモリ・コントローラ１４に直接に（２地点間）接続され、また（特定用途向け集積回路、又は「ＡＳＩＣ」のような）論理回路２４は、メモリ・コントローラ１４から受信されるアドレス、データ及び制御情報をバッファし、登録し、又は当該情報に作用する。メモリ・モジュール２２０は、メモリ初期化プロセスの一部として又は通常の動作中に、集積回路間（Ｉ２Ｃ）制御バス３４のような独立バスを介して、複数の選択可能又はプログラム可能なモードで動作するようにプログラムすることができる。この特許によれば、メモリ・コントローラ１４に直接に接続された複数のメモリ・モジュールを必要とするアプリケーションで利用される場合、モジュールを前記バスから電気的に分離するための電界効果トランジスタ（ＦＥＴ）スイッチを使用することにより、結果的なスタブを最小化することができると説明されている。
【０００６】
さらに、前掲の米国特許第５５１３１３５号及び米国特許第６１７３３８２号は、定義された全ての機能（アドレス、コマンド、データ、プレゼンス・ディテクト等）を単一の装置へ統合する能力を説明する。これらの機能を統合することは、技術の改良によって可能になる当該分野における一般的な慣行であって、追加的なモジュール密度又は機能性を可能にする。
【０００７】
図３は、米国特許第６５１０１００号に開示されている、通常の分岐型スタブ・バス上に最大４つのレジスタードＤＩＭＭ ４０を含むメモリ・システム１０を示す。そのサブシステムは、メモリ・コントローラ２０、外部クロック・バッファ３０、レジスタードＤＩＭＭ ４０、アドレス・バス５０、制御バス６０、データ・バス７０、アドレス・バス５０及びデータ・バス７０上の終端子９５を含む。図３には、単一のメモリ・チャネルだけが示されているが、これらのモジュールから構成されるシステムは、メモリ・コントローラ２０からの複数の個別メモリ・チャネルを含むのが一般的である。その場合、これらのメモリ・チャネルの各々は、所望のシステム機能性又は性能を達成するために、（単一のチャネルに複数のモジュールが装着されているときは）単独で動作されるか、又は（複数のチャネルに複数のモジュールが装着されているときは）並列に動作される。
【０００８】
図４は、米国特許第６５８７９１２号に開示されている、同期メモリ・モジュール４１０及びシステム構造を示す。その内部に設けられたリピータ・ハブ３２０は、バス３２１及び３２２を介して、ローカルに再駆動したアドレス、コマンド及びデータをローカル・メモリ装置３０１及び３０２に供給する。ローカル・クロックの生成は、この特許の他の図面及び関連する本文で説明されているようにして行われ、そして適切なメモリ・インタフェース信号を再駆動してシステム内の次のモジュール又はコンポーネントに供給することは、バス３００を介して行われる。
【０００９】
図５は、１つ以上のプロセッサ要素及び統合メモリ・コントローラ５１０を含む、集積化プロセッサ・チップ５００から成る最近のシステムを示す。図５に示す構成では、複数の独立したカスケード相互接続メモリ・バス５０６は、並列バス及び関連する装置を横切って分配又は「ストライプ」されるデータ及びエラー検出／訂正情報に対する高帯域幅の単一の独立アクセス要求をサポートすることを目的として、一斉に動作するように論理的に互いに集合化される。メモリ・コントローラ５１０は、４つの狭く且つ高速の２地点間メモリ・バス５０６に接続され、当該バス５０６の各々は、メモリ・コントローラの幾つかの固有のインタフェース・チャネルのうちの１つをカスケード相互接続メモリ・サブシステム５０３（又はメモリ・モジュール）に接続する。メモリ・サブシステム５０３は、少なくともハブ装置５０４及び１つ以上のメモリ装置５０９を含む。また、幾つかのシステムは、メモリ・バス５０６のサブセットに複数のメモリ・サブシステム５０３が装着されているときの動作を可能にする。この場合、１つ以上のメモリ・バス５０８は、単一のアクセス要求をサポートするために一斉に動作することができる。
【００１０】
図６は、リンク・インタフェース６０４を含む、メモリ・ハブ装置５０４を示す。リンク・インタフェース６０４は、高速のメモリ・アクセス情報に再同期し、これを変換し、再駆動して関連するＤＲＡＭ装置５０９に供給するか、又はこの情報をメモリ・システムのプロトコルに基づく適用可能なものとしてメモリ・バス５０６を介して下流に供給するための手段を提供する。リンク・インタフェース６０４は、この情報を上流のメモリ・ハブ装置５０４から受信するか、又はメモリ・バス５０６を介してメモリ・コントローラ５１０から（直接的に又は上流のメモリ・ハブ装置５０４を介して）受信する。メモリ装置データ・インタフェース６１５は、メモリ装置５０９との技術固有のデータ・インタフェースを管理し、双方向性のメモリ装置データ・バス６０８を制御する。メモリ・ハブ制御６１３は、アクセス要求パケットに応答して、メモリ装置５０９の技術固有のアドレス及び制御バス６１４（ランク０ ５０１内のメモリ装置用）又はアドレス及び制御バス６１４’（ランク１ ６１６内のメモリ装置用）を駆動するとともに、読み取りデータ・セレクタ６０７及び書き込みデータ・セレクタ６１０に対し指示を与える。
【００１１】
図６のリンク・インタフェース６０４は、前記アクセス要求パケットを復号して、ローカルのハブ装置５０４に向けられたアドレス及びコマンド情報をメモリ・ハブ制御６１３へ向ける。リンク・インタフェース６０４からのメモリ書き込みデータは、一時的に書き込みデータ・キュー６１１内に格納するか、又は内部バス６１２及び書き込みデータ・セレクタ６１０を介して転送した後、内部バス６０９及びメモリ装置データ・インタフェース６１５を介して、メモリ装置データ・バス６０８に転送することにより、メモリ装置５０９に対し直接的に駆動することができる。メモリ装置５０９からのメモリ読み取りデータは、読み取りデータ・キュー６０６に格納するか、又は内部バス６０５及び読み取りデータ・セレクタ６０７を介してリンク・インタフェース６０４に直接的に転送することができる。このメモリ読み取りデータは、読み取り応答パケットとして、上流バス５０６上に送信される。
【００１２】
高性能メモリ・サブシステムの設計では、総合的なシステム性能を最大化するためにメモリ・バス上の最大の利用可能な帯域幅を利用することが望ましく、また所定の動作を最少量の時間内に完了することができるように、可能な場合は常に、読み取りコマンドの待ち時間を減少させることが望ましい。当該分野では、これらの目標を達成するために、多くの方法が利用されてきた。これらの方法は、非常に高性能のメモリ装置を使用すること、メモリ装置をメモリ・コントローラに接続するために非常に広いメモリ・バスを使用すること、可能な限りプロセッサ又はメモリ・コントローラに接近して配置された１レベル以上のメモリ・キャッシュを使用すること、システム設計及びソフトウェアの最適化に基づいてバンクの開閉を行うというページ・ポリシを使用すること、メモリ・コントローラによってメモリ・プリフェッチ・アルゴリズムを使用すること等を含んでいる。これらの方法の全ては、程度の差はあれ総合的なシステム性能を改良することができるが、その多くは、総合的なシステム・コスト、物理的なシステム・サイズ、システム電力／冷却等の点で、実装するのが非常に高価につくことが分かっている。
【００１３】
現在の主メモリ・システムの解決策は、メモリ・コントローラ内で「静的」な（例えば、不変の）プリフェッチ・アルゴリズム（すなわち、一旦システムが通常の動作モードで稼働すると、その後は変更されないというプリフェッチ・アルゴリズム）を利用することができる。さらに、このプリフェッチ機能は、メモリ・コントローラからの明示的なコマンドに応答するスレーブ装置として作用するメモリ・サブシステムについて、メモリ・コントローラの回路内で実装される。現在のアプローチの他の特徴は、メモリ・サブシステムからのメモリ・アクセスが本質的に「決定的」であって、各メモリ動作に関連する時間発展をメモリ・コントローラが正確に予測することができるという点にある。メモリ・コントローラは、如何なるデータ破壊も生じないように、しかも通常の動作中に全てのメモリ仕様が満足されるように、全てのメモリ動作をスケジュールする役割を有する。
【００１４】
【特許文献１】米国特許第５５１３１３５号
【特許文献２】米国特許第６１７３３８２号
【特許文献３】米国特許第６３８１６８５号
【特許文献４】米国特許第６５１０１００号
【特許文献５】米国特許第６５８７９１２号
【特許文献６】米国特許出願第１１／４１９５８６号
【発明の開示】
【発明が解決しようとする課題】
【００１５】
現在の静的アプローチの欠点は、他の方法によれば入力コマンド・ストリームに一層良好なサービスを提供することができるとしても、（例えば、メモリ・システムが通常の動作モードで稼働している場合は）かかる入力コマンド・ストリームのためにプリフェッチ・ポリシを動的に変更することができないという点にある。コンピュータのメモリ・システムでは、プリフェッチ機能を使用すると、或るタイプのコマンド・ストリームに一層良好なサービスを提供することができるのに対し、比較的多数のランダムなメモリ・アドレスに関係する他のストリームについては、プリフェッチ機能を使用しても効果が得られないであろう。ランダムなメモリ・アドレスの場合には、プリフェッチ機能を使用すると、プリフェッチ機能から生じうる追加のメモリ・アクセス及びバス・トラフィックのために、当該コマンド・ストリームの総合性能が実際に低下することがある。このため、メモリ・ハブ装置において受信される入力コマンド・ストリームの分析に基づいて、プリフェッチ機能を使用するか否かを動的に切り替えることができるにするのが望ましいであろう。
【課題を解決するための手段】
【００１６】
本発明の第１の側面に従ったハブ装置は、入力コマンド・ストリーム・インタフェース及び適応的プリフェッチ論理装置（ＡＰＬＵ）を備える。前記入力コマンド・ストリーム・インタフェースは、前記ハブ装置に接続された１つ以上のメモリ装置に向けられる、メモリ・コントローラからのコマンドを検出する。前記ＡＰＬＵは、前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化（enabling）及び不能化（disabling）のうち何れか一方を動的に選択する。
【００１７】
本発明の第２の側面に従ったプリフェッチ・モードを選択するための方法は、ハブ装置に接続された１つ以上のメモリ装置に向けられる、メモリ・コントローラからのコマンドを検出することを含んでいる。前記コマンドは、前記メモリ装置に対するアクセス・パターンを決定するために分析される。前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択することが行われる。
【００１８】
本発明の第３の側面に従ったメモリ・システムは、メモリ・コントローラ、１つ以上のメモリ装置及びメモリ・ハブ装置を備える。前記メモリ・ハブ装置は、前記メモリ・コントローラ及び前記メモリ装置と通信関係にある。前記メモリ・ハブ装置は、入力コマンド・ストリーム・インタフェース及び適応的プリフェッチ論理装置（ＡＰＬＵ）を含む。前記入力コマンド・ストリーム・インタフェースは、前記メモリ装置に向けられる、メモリ・コントローラからのコマンドを検出する。前記ＡＰＬＵは、前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択する。
【００１９】
本発明の第４の側面に従ったメモリ・サブシステムは、１つ以上のメモリ装置及びメモリ・ハブ装置を備える。前記メモリ・ハブ装置は、入力コマンド・ストリーム・インタフェース及び適応的プリフェッチ論理装置（ＡＰＬＵ）を含む。前記入力コマンド・ストリーム・インタフェースは、前記メモリ装置に向けられる前記メモリ・コントローラからのコマンドを検出する。前記ＡＰＬＵは、前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択する。
【発明を実施するための最良の形態】
【００２０】
代表的実施形態は、メモリ・サブシステム内のデータが必要とされる前に当該データを読み取るための予測的技術を使用するとともに、現在の入力コマンド・ストリームについてプリフェッチが有利であるか否かという評価に基づいて、プリフェッチ機能を動的に活性化（可能化）するか又は非活性化(不能化）することにより、メモリ・システムの待ち時間を減少させるために利用することができる。当該分野では、メモリ・プリフェッチはメモリ階層の種々のレベルで使用されているが、主メモリに関連して一般に使用されている静的な機能は、常に可能化されるか又は常に不能化されるようになっている。メモリ・プリフェッチを使用すると、メモリ・サブシステム５０３の電力消費が増加するばかりか、プリフェッチされたデータをメモリ・コントローラ５１０に送信するためにメモリ・バスを利用することが必要になる。従って、プリフェッチされたデータが有用であるという強い確信がある場合にのみ、プリフェッチ機能を可能化することが望ましい。さもなければ、総合的なシステム性能は低下することになろう。代表的実施形態では、プリフェッチ機能がメモリ・ハブ装置５０４上に設けられていて、メモリ・コントローラ５１０によってプリフェッチ要求を発行する必要がないので、総合的なメモリ電力を節減することができる。さらに、下流のメモリ・バス５０６上でより多くの帯域幅を他の目的のために利用可能にすることができる。他の実施形態では、下流のメモリ・バス５０６上の活動が減少することに起因して、下流のメモリ・バス５０６のピン数を設計段階中に若干減少させることができる。
【００２１】
図７は、代表的実施形態で利用することができる、メモリ・ハブ装置７０８を例示するブロック図である。図７のハブ装置７０８は、図６のハブ装置５０４と同じ機能を行う。但し、図７のハブ装置７０８は、入力コマンド・ストリーム・インタフェース７０６、適応的プリフェッチ論理装置（ＡＰＬＵ）７０２及び１つ以上のプリフェッチ・バッファ７０４を介して、動的プリフェッチ機能を実行するという追加の機能を有する。ハブ装置７０８は、ハブ装置７０８に接続された１つ以上のメモリ装置５０９に向けられる、メモリ・コントローラ５１０からのコマンドを検出するための入力コマンド・ストリーム・インタフェース７０６を含む。また、ハブ装置７０８は、メモリ装置５０９に対するアクセス・パターンを決定するためにこれらのコマンドを独立的に分析するとともに、この分析の結果に基づいて、メモリ装置５０９用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するためのＡＰＬＵ ７０２を含む。
【００２２】
ＡＰＬＵ ７０２（適応的プリフェッチ論理装置）という表記は、ローカルに（例えば、ハブ装置７０８で）開始されたメモリに対するプリフェッチの可能化／不能化を制御するために使用される、回路又はソフトウェアを表す。ＡＰＬＵ ７０２は、アクセス・パターンを探すために入力コマンド・ストリームを分析し、この分析の結果に基づいて、プリフェッチ機能を可能化／不能化する。ＡＰＬＵ ７０２の内の回路又はソフトウェアは、１つ以上のアルゴリズムに基づいて次のコマンドに関連するアドレスを予測し、以前の読み取りコマンド及び現在の読み取りコマンドのアドレスを記録するためのレジスタを含み、ＡＰＬＵ ７０２によって追跡中の（又はＡＰＬＵ ７０２に対応する）メモリ装置５０９（例えば、１つ以上のメモリ装置５０９上の全てのバンク、１つのメモリ装置５０９上の１つ以上のバンク）のためにプリフェッチを可能化すべきか否かを決定するためのプリフェッチ可能化カウンタを含む。「プリフェッチ可能化カウンタ」という表記は、ＡＰＬＵ ７０２が次のアドレスを正確に予測した回数を追跡するためにＡＰＬＵ ７０２によって維持されるカウンタを表す。代表的実施形態では、ＡＰＬＵ ７０２が次のアドレスを正確に予測する場合は、プリフェッチ可能化カウンタがインクリメントされ、ＡＰＬＵ ７０２が次のアドレスを正確に予測しない場合は、プリフェッチ可能化カウンタがデクリメントされる。従って、プリフェッチ可能化カウンタは、予測の正確性の基準である。ここで、「プリフェッチ不能化しきい値」という表記は、プログラム可能な値であって、プリフェッチ可能化カウンタがこの値に到達すると、プリフェッチ機能が不能化されるような値を表す。また、「プリフェッチ可能化しきい値」という表記は、プログラム可能な値であって、プリフェッチ可能化カウンタがこの値に到達すると、プリフェッチ機能が可能化されるような値を表す。
【００２３】
代表的実施形態では、メモリ・ハブ制御７１３は、（例えば、入力コマンド・ストリーム・インタフェース７０６を介して）入力コマンド・ストリームをモニタし、復号されたコマンド（例えば、メモリ・バス５０６を介して受信されたコマンド）をＡＰＬＵ ７０２内のコマンド・ストリーム・バッファ(又はレジスタ）に渡す。このコマンド・ストリーム・バッファは、現在のコマンド情報（少なくともアドレスの一部及びコマンド・タイプの１つ以上）を格納する。次に、ＡＰＬＵ ７０２内の論理は、他の最近のコマンド活動（例えば、コマンド・ストリーム・バッファ内に格納されている以前のコマンド）を考慮して、現在のコマンドを分析しアクセス・パターンを探すことにより、最適のプリフェッチ・モードを決定する。ＡＰＬＵ ７０２は、これを複数回にわたって複製することができるが、代表的実施形態は、メモリの全体について動作する単一のＡＰＬＵ ７０２を備えることから、メモリ・サブシステム（例えば、メモリ・バンク）の最小の選択可能部分について各々が動作する１つ以上のＡＰＬＵ ７０２を備えることまでを包含する。複数のＡＰＬＵ ７０２を備える代表的実施形態では、コマンドは、当該コマンドに関連するアドレスに基づいて、対応するＡＰＬＵ ７０２に向けられる。代表的実施形態では、選択されたプリフェッチ・モードは、メモリ・ハブ制御７１３に通知され、当該メモリ・ハブ制御７１３は、メモリ装置５０９にアクセスするときに、選択されたプリフェッチ・モードを適用する。
【００２４】
説明の便宜上、本明細書で説明する代表的実施形態は、１つのアルゴリズム及び１つのバンクのために実装されるＡＰＬＵ ７０２を備えるものとする。しかし、ＡＰＬＵ ７０２は、メモリ・サブシステム５０３の全てのバンクを独立的に制御するように複製することができる。本明細書で説明する例では、プリフェッチ機能は、デフォルトによって不能化される（すなわち、プリフェッチ・モードが不能化される）。当該分野で公知のプリフェッチ・アルゴリズムのうち制御対象のメモリのサイズに依存しないプリフェッチ・アルゴリズムは、ハブ装置７０８で受信される入力コマンド・ストリームに基づいて、最適のプリフェッチ・モードを決定するように実装することができる。プリフェッチ・モードを可能化すべきか否かを決定するために利用可能なバンク・アルゴリズムの１つの例は、以前のアクセスの行ストライド(行幅）に基づいて、「次のアドレス」を生成するというものである。ストライドを計算するには、以前の行アドレスを保存し、以前の行アドレスと現在の行アドレスの間の差を計算すればよい。以前のアドレスと現在の行アドレスの間の差を現在の行アドレスに加えることにより、次の行アドレスが生成される。これは次のように表すことができる。
次の行アドレス＝現在の行アドレス＋（現在の行アドレス−以前の行アドレス）
【００２５】
図８及び図９は、ＡＰＬＵ ７０２の動作に関する、このアルゴリズムの代表的な使用例を示す。図８及び図９のプロセスは、（例えば、ハブ装置７０８において）アクセス・パターンを決定するためにコマンドを独立的に分析するとともに、その分析の結果に基づいて、プリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択する、という代表的実施形態に相当する。図８及び図９は、図面を作成する便宜上、２葉に分割されているが、図８の右端に示すように図８及び図９を結合して一体として参照すべきものである。代表的実施形態では、プリフェッチ機能は、当該機能を可能化するための決定がハブ装置７０８で行われるという点でローカルである。図８及び図９は、ＡＰＬＵ ７０２によって実装することができる、プリフェッチ・モードを選択するための方法を示す。この方法は、ハブ装置７０８に接続された１つ以上のメモリ装置５０９に向けられる、メモリ・コントローラ５１０からのコマンドを（例えば、入力コマンド・ストリーム・インタフェース７０６を介して）検出することを含む。これらのコマンドは、メモリ装置５０９に対するアクセス・パターンを決定するために分析される。その後、ＡＰＬＵ ７０２は、前記分析の結果に基づいて、メモリ装置５０９用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択する。
【００２６】
図８のブロック８０２で、ハブ装置７０８は、例えば入力コマンド・ストリーム・インタフェース７０６を介して、そのサブシステム内のメモリ装置に関連するメモリ・バス上のコマンド・ストリームをモニタする。代表的実施形態では、入力コマンド・ストリーム・インタフェース７０６は、入力コマンド・ストリームを「スヌープ」し、解読されたコマンド及びアドレスをＡＰＬＵ ７０２に送信する。他の代表的実施形態では、入力コマンド・ストリーム・インタフェース７０６は、メモリ・ハブ制御７１３に送信される際にリンク・インタフェース６０４によって解読されるアドレス及びコマンド情報をモニタする。他の代表的実施形態では、入力コマンド・ストリーム・インタフェース７０６は、入力コマンド・ストリームを「スヌープ」している、メモリ・ハブ制御７１３内にあるモジュールからの出力を利用する。入力コマンド・ストリーム・インタフェース７０６は、メモリ制御７１３内又はＡＰＬＵ ７０２内に設けることができる。
【００２７】
ブロック８０４で決定されるように、コマンドが受信される場合、ブロック８０６で、ハブ装置７０８用の「マスタ・プリフェッチ可能化」スイッチがセットされているか否かを決定する。マスタ・プリフェッチ可能化スイッチがセットされていると、メモリ・サブシステムは、プリフェッチ・モード及び非プリフェッチ・モードの間で動的に切り替わることができる。また、そういうものとして、ハブ装置７０８上のプリフェッチ・バッファ７０４は、ハブ装置７０８の指示の下で、以前に読み取られたプリフェッチ・データを保持することができる。一方、ブロック８０６で決定されるように、マスタ・プリフェッチ可能化スイッチがセットされていなければ、プリフェッチ回路（例えば、ＡＰＬＵ ７０２及びプリフェッチ・バッファ７０４）に関連して如何なるアクションも取られない。代表的実施形態では、マスタ・プリフェッチ可能化スイッチがセットされていない場合、プリフェッチ回路は、メモリ・サブシステムの電力消費を最小化するように低電力状態に留まる。
【００２８】
代表的実施形態では、システム初期化中又はシステム動作中の任意の時点でセットすることができる、「マスタ・プリフェッチ可能化」スイッチを可能化する前に、プリフェッチ・バッファ７０４、ＡＰＬＵ ７０２及び他の関連するプリフェッチ回路は、その後の時点で受信される任意のコマンドが適正に実行され且つデータの完全性が維持されるように、リセットされる。ブロック８０６で決定されるように、マスタ・プリフェッチ可能化スイッチがセットされていると、ブロック８０８で、現在のコマンドが読み取りコマンドであるか否かを決定する。現在のコマンドが読み取りコマンドでなければ、ブロック８１０で、現在のコマンドが書き込みコマンドであるか否かを決定する。現在のコマンドが読み取りコマンド及び書き込みコマンドの何れでもなければ、プリフェッチ回路は、現在のコマンドによって影響されないので、ブロック８０２に戻って、他のコマンドについてコマンド・ストリームのモニタを継続する。
【００２９】
ブロック８１０で決定されるように、現在のコマンドが書き込みコマンドであれば、ブロック８１２で、この書き込みコマンドのアドレスがプリフェッチ・バッファ７０４内にある任意の読み取りデータのアドレスと一致するか否かを決定する。一致が存在すれば、ブロック８１４で、当該アドレスに対応するプリフェッチ・バッファ７０４の内容を新しいデータで上書きする。他の代表的実施形態では、この状態を反映するように１つ以上のタグ・ビットをセットするか、又はこの記憶位置に関連するアドレスをリセット（例えば、０）状態にセットすることにより、プリフェッチ・バッファ７０４の内容が無効化される。
【００３０】
ブロック８０８で決定されるように、現在のコマンドが読み取りコマンドであれば、ブロック８１６で、読み取りコマンドを、当該読み取り動作のアドレスに関連するＡＰＬＵ ７０２に送信する（この例では、ＡＰＬＵ回路は各バンクごとに実装される）。ブロック８１８で、ＡＰＬＵ ７０２は、ＡＰＬＵアルゴリズムに基づいて次のアドレス（本明細書では、将来のコマンドの予想アドレスとも称する）を計算する。そのアドレス及び現在のアドレスは、アクセス・パターンが存在するか否かを決定するために以後のメモリ・アクセスを分析する際にＡＰＬＵ ７０２が使用することができるように、レジスタ内に格納される。図９のブロック８２０で決定されるように、このＡＰＬＵ ７０２について動的プリフェッチが可能化されていると、ブロック８３０で、次のアドレスにおける読み取りを、可能な実行のために、低優先順位の読み取りとしてキューに追加する。代表的実施形態では、これらのプリフェッチ・コマンドは、入力チャネル・メモリ・バス５０６上で受信される主流のチップ・コマンドよりも低い優先順位を有し、このため、メモリ・ハブ制御７１３によって処理されるコマンド内には優先順位標識が存在する。
【００３１】
ブロック８２２では、現在のアドレスがＡＰＬＵ ７０２からの予測されたアドレスと一致するか否かを決定する。現在のアドレスが予測されたアドレスと一致しなければ、ブロック８２４で、ＡＰＬＵ ７０２用のプリフェッチ可能化カウンタをデクリメントする（但し、このデクリメント動作は、プリフェッチ可能化カウンタの値が０でないことを条件とし、その値が０であれば、プリフェッチ可能化カウンタの値は０に留まる）。ブロック８２６で決定されるように、プリフェッチ可能化カウンタの値がプリフェッチ不能化しきい値以下であれば、ブロック８２８で、このＡＰＬＵ ７０２用のプリフェッチを不能化する。その後、図８のブロック８０２に戻り、そこでＡＰＬＵ ７０２は、それにアドレスされる次の読み取りコマンドを待機する。
【００３２】
代表的実施形態では、現に検出されているアドレス・パターン（例えば、ストライド・アドレス・パターン）についてプリフェッチが発行中である状況で、当該現に検出されているアドレス・パターンと整合するアクセス・パターンに従わない１つ以上の読み取りアクセスを受信する場合、ＡＰＬＵ ７０２は、１つ以上の無関係な中間アクセスを受信するにも拘わらず、以後の時間にメモリ・アクセスの検出を継続することを阻止されないであろう。「ストライド割り込み」カウンタは、プリフェッチ可能化カウンタがプリフェッチ可能化しきい値を満たすか又はこれを超えることに起因して動的プリフェッチを可能化した後の、無関係な読み取り動作の数をカウントするために利用される。もし、プリフェッチ可能化カウンタがプリフェッチ可能化しきい値に到達する前に、以前に格納された「次の読み取りアドレス」と整合するコマンドが受信されるならば、以前に検出されたアクセス・パターンと整合するアドレスのプリフェッチングが継続するであろう。代表的実施形態では、ストライド割込みカウンタの深さは、以前のプリフェッチ・アクセス・パターンと整合するコマンドを受信する際に当該以前のプリフェッチ・アクセス・パターンを継続することができるように、「現在」及び「次のアドレス」レジスタの深さと整合する。他の代表的実施形態では、「予測されたアドレス・ミス限界カウンタ」は、動的プリフェッチが可能化されている状況で、予定数（例えば、２、４、８等）の無関係なアクセスが受信されると、直ちに動的プリフェッチ・モードを不能化するか又はプリフェッチ可能化カウンタをプリフェッチ可能化しきい値より下の値にリセットするために利用される。
【００３３】
図９のブロック８２２で、現在の読み取りコマンドからのアドレスが以前の読み取りコマンドから予測された（計算された）読み取りアドレスと一致することを決定すると、ブロック８３２で、プリフェッチ可能化カウンタをインクリメントする。ブロック８３４で、動的プリフェッチ・モードが可能化されていることを決定すると、ブロック８３６で、現在の読み取りコマンドをプリフェッチ・バッファ７０４内の対応するデータと突き合わせる。他の代表的実施形態では、プリフェッチ機能が現に可能化されていない場合に、プリフェッチ・バッファ７０４の内容をチェックする。というのは、以前のアクセスに関してプリフェッチが完了していることがあり、そのため、プリフェッチ・バッファ７０４が、以前のコマンドに起因する１つ以上のプリフェッチを保持していることがあるからである。ブロック８３８では、現在の読み取りコマンドを取り消す（この取り消しは、ＡＰＬＵ ７０２によって計算された「次のアドレス」を使用する、保留中のプリフェッチには影響しない）。もし、データがプリフェッチ・バッファ７０４内に存在しなければ、「現在の」読み取りコマンドを発行し、その後にＡＰＬＵ ７０２からの「次のアドレス」を使用してプリフェッチ・コマンドを（より低い優先順位で）発行する。次に、動的プリフェッチ・モードが可能化されているか否かに拘わらず、ブロック８４０に進み、そこで、プリフェッチ可能化カウンタの値をチェックして、この値がプリフェッチ可能化しきい値以上であるか否かを確認する。そうであれば、ブロック８４２で、動的プリフェッチ・モードを可能化する。その後、図８のブロック８０２に戻り、そこでＡＰＬＵ ７０２は、それにアドレスされる次の読み取りコマンドを待機する。
【００３４】
代表的実施形態では、プリフェッチ・バッファ７０４のサイズは、その以前のエントリを無効化するために使用される方法を決定するであろう。可変のバッファ・サイズを有する代表的実施形態は、動的プリフェッチ・モードを不能化するようなコマンドを受信するときに、プリフェッチ・バッファ７０４の内容を無効化する。他の代表的実施形態に含まれる固定サイズのプリフェッチ・バッファ７０４は、アドレス情報及び当該プリフェッチ・バッファ７０４の内容が有効であるか否かを示すタグに加えて、プリフェッチ・カウント（例えば、８）を保持する。一旦８つのバッファ位置が充満されると、９番目のプリフェッチは、ＦＩＦＯ記憶装置として実装することができる、プリフェッチ・バッファ７０４内の最も古いエントリを置換し、そしてこのプロセスは、より多くのプリフェッチが生じるときに同様にして継続するであろう。代表的実施形態では、前記タグが「無効」にセットされるのは、そのアドレスに対する書き込み動作を受け取り、しかもその書き込みデータがそのアドレス用のデータに上書きするために使用されない場合である。代表的実施形態では、前記タグの無効化は、テスト・モード中、データ・エラーを（例えば、当該データのローカルＥＣＣチェックを介して）検出する際のメモリ・リセット中、又は他のモード中に行われる。他の代表的実施形態では、一旦プリフェッチ・バッファ７０４の内容が現在の読み取りコマンドによって読み取られたときに、そのエントリを無効化することにより、バッファ・スペースを継続的に解放する。
【００３５】
以下の記述は、ストライドされたアドレスに対する一連の読み取りコマンドがハブ装置７０８によって受信される後に、ＡＰＬＵの分析アルゴリズムがどのようにしてストライドされたアドレスを検出及び予測し、すなわちアクセス・パターンを決定し、その結果、プリフェッチ・バッファ７０４の突き合わせが行われる、ということを説明するためのものである。
【００３６】
＜第１のコマンド＞：アドレス「ｎ」のための読み取りコマンドを受信する（説明の便宜上、このコマンドは、初期化後の最初の読み取りコマンドであるものとする）。動的プリフェッチは可能化されず、プリフェッチ可能化カウンタの値は０であり、そしてこのコマンドがアドレス「ｎ」のために実行される。デフォルトのストライド値に基づいて、「次のアドレス」が計算される。図８のブロック８１８に関連して説明したように、現在のアドレス及び予測されたアドレスがレジスタ内に格納される。
【００３７】
＜第２のコマンド＞：アドレス「ｎ＋ｍ」のための読み取りコマンドを受信する。ＡＰＬＵ論理は、「ｍ」のストライド・アドレスを計算し、「ｎ＋ｍ＋ｍ」（ｎ＋２ｍ）の次のアドレスを計算し、これを格納する。動的プリフェッチは可能化されず、現在の読み取りは以前の読み取りによって予測された「次のアドレス」と一致せず（アルゴリズムは「次のアドレス」を計算する実行可能な手段を有さない）、その結果、プリフェッチ可能化カウンタはインクリメントされない。この読み取りがアドレス「ｎ＋ｍ」のために実行される。
【００３８】
＜第３のコマンド＞：アドレス「ｎ＋２ｍ」のための読み取りコマンドを受信する。ＡＰＬＵ論理は、「ｍ」のストライド・アドレスを再び計算し、「ｎ＋３ｍ」の次のアドレスを計算する。この時点において、現在のアドレスが以前に計算された「次のアドレス」と一致するので、プリフェッチ可能化カウンタがインクリメントされる。もし、プリフェッチ可能化しきい値が１（プログラム可能な値）にセットされているならば、このしきい値が満足され、「ｎ＋３ｍ」のためのプリフェッチが低優先順位（例えば、受信された読み取りコマンドの実行後に、このコマンドが優先順位を有する）でスケジュールされるであろう。現在の読み取りが「ｎ＋２ｍ」のために実行され、その後に、「ｎ＋３ｍ」のためのプリフェッチが実行される。
【００３９】
＜第４のコマンド＞：アドレス「ｎ＋３ｍ」のための読み取りコマンドを受信する。ＡＰＬＵ論理は、「ｍ」のストライド・アドレスを再び計算し、「ｎ＋４ｍ」の次のアドレスを計算する。現在のアドレスが以前に計算された次のアドレスと一致するので、プリフェッチ可能化カウンタがインクリメントされる。もし、プリフェッチ可能化しきい値が満足されるならば、アドレス「ｎ＋４ｍ」のためのプリフェッチが（低優先順位で）スケジュールされる。その間、「３ｍ」の内容がプリフェッチ・バッファ７０４内で検出されるので（第３のコマンドによって開始されたプリフェッチが完了したため）、読み取りは現在のアドレス「ｎ＋３ｍ」のために取り消される。「ｎ＋４ｍ」のプリフェッチが発行される。
【００４０】
ストライド距離「ｎ」と整合する読み取り要求が受信される限り、次のアドレスのプリフェッチが生じ、そして次のアドレスを受信する前にプリフェッチが完了しているならば、現在の読み取り要求はプリフェッチ・バッファ７０４内で検出されるであろう。代表的実施形態では、もし、スケジュールされたプリフェッチが開始されているが、現在の読み取りコマンドによってその後に要求されたアドレスに対して完了していなければ、このプリフェッチ・コマンドに対する応答は、現在の読み取りコマンドによって使用されるであろう。もし、プリフェッチ・コマンドがメモリに対してまだ発行されていなければ、プリフェッチ・コマンドは取り消され、そして現在の読み取りコマンドが通常のように処理されるであろう。
【００４１】
他の代表的実施形態では、一旦ストライドされたコマンド・ストリームが検出されると、複数のプリフェッチを完了させることにより、より大きな効率が得られるであろう。このことが特に重要である状況は、プリフェッチ・コマンドの完了に先立って、次のストライド読み取りコマンドが受信される、というものである。この状況では、ＡＰＬＵ ７０２は、２つ以上の次の読み取りアドレスを計算するとともに、これらのストライドされた読み取りコマンドについて総合的なメモリ性能を最大化するように、これらの各々を順番にスケジュールするであろう。前述の例では、第３のコマンドを受信する際、第３のコマンドが共通のストライド長さ（ｍ）を有することが分かるので、ＡＰＬＵ ７０２は、複数のプリフェッチ（例えば、少なくとも「ｎ＋３ｍ」及び「ｎ＋４ｍ」のためのプリフェッチ）を発行するとともに、その時点で又はこのストライドが１回以上確認された時点で、プリフェッチ可能化カウンタをインクリメントすることができる。
【００４２】
ＡＰＬＵプリフェッチ・エンジンの粒度は、最大で各バンク各アルゴリズムごとに実装することができるが、各ランクごと、各メモリ装置ごと、又は各ハブごとに実装することもできる。ＡＰＬＵ回路の一部は、１つ以上のコマンド応答及び復号論理（例えば、図８及び図９に示されているもの）を含み且つ共有されたプリフェッチ・バッファを使用する、１つ以上のＡＰＬＵエンジンによって共有することができる。
【００４３】
プリフェッチが可能化される場合、プリフェッチされたデータは、プリフェッチ・バッファ７０４内に格納される。また、プリフェッチ・バッファ７０４は、当該プリフェッチされたデータのためにアクセスされたアドレスの少なくとも一部を含むであろう。アドレス・マッチは、現在の読み取りコマンドがプリフェッチ・バッファ７０４内の内容と一致するか否かを決定するための代表的な方法として使用される。代表的実施形態では、プリフェッチ・バッファ７０４のコヒーレンシを維持するために、プリフェッチ・バッファ７０４内に存在するアドレスを対象とする書き込みコマンドは、そのアドレスに関連するデータに上書きするであろう。
【００４４】
代表的実施形態は、通常のメモリ・サブシステム構造において予想される時点よりも早い時点で又は当該予想される時点よりも遅い時点でメモリ・データをメモリ・コントローラ５１０に戻すことができるように、メモリ・コントローラ５１０への全てのメモリ読み取り転送に関連する「タグ」ビットを使用することを含む。さらに、かかるタグ・ビットは、メモリ・コントローラ５１０によって要求されなかったが、（メモリ・コントローラ５１０の直接的又は間接的な制御下にあるか又はそのような制御下になくてもよい）ローカルのアルゴリズムに基づいてメモリ・サブシステム５０３によってプリフェッチされたメモリ・アクセスを識別するために使用することができる。かかるタグ・ビットは、メモリ・アクセスをメモリ・コントローラ５１０によるメモリ要求に一致させるために十分な情報を含む。代表的実施形態では、かかるタグ・ビットは、メモリ・アクセスに関連するアドレス全体を含むが、代替実施形態では、かかるアドレスのサブセットで十分である。タグ・ビットの使用例は、２００６年５月２２日に出願された米国特許出願第１１／４１９５８６号明細書に記載されている。
【００４５】
図８及び図９は、プリフェッチ機能を可能化／不能化すべき時点を決定するために（例えばハブ装置７０８で）行われる代表的な分析方法を示す。ハブ装置７０８にアクセス可能な情報に基づいて分析を行うことができる限り、ハブ装置７０８において他の分析法を実装することもできる。当該分野では、多くのプリフェッチ分析法が公知であり、そのうちの任意のものを本発明の範囲から逸脱することなく利用することができる。
【００４６】
他の代表的実施形態では、前述の諸機能は、メモリ・コントローラ５１０内で実装され、プリフェッチ・モードのセッティングは、メモリ・コントローラ５１０によって使用されるアルゴリズムに基づいて動的に行われ、そしてメモリ・コントローラ５１０は、メモリ・バス５０６又は第２の低速バス(例えば、メモリ・コントローラ５１０、集積化プロセッサ及びハブ装置５０４の間の通信を許容するＳＭＢｕｓ、Ｉ２Ｃバス又は他のバス）を介してハブ装置７０８に送信されるコマンドによって、ハブ装置７０８の動作モードを修正する。
【００４７】
代表的実施形態は、コンピュータ・システムを含み、そのプロセッサ及びＩ／Ｏ装置（例えば、要求元）は、メモリ・コントローラ及びメモリ装置を含むメモリ・システムに相互接続される。代表的実施形態では、メモリ・システムは、１セットのハブ装置（「ハブ・チップ」とも称する）にインタフェースされたプロセッサ又はメモリ・コントローラを含む。これらのハブ装置は、メモリ装置に接続及びインタフェースされる。代表的実施形態では、メモリ・システムは、データ及び命令を格納するための複数のメモリ装置から成る物理メモリ配列を含む。これらのメモリ装置は、メモリ・コントローラに対し直接的に接続するか、又はハブ装置を介してメモリ・コントローラに間接的に接続することができる。代表的実施形態では、ハブ・ベースのメモリ・システムは、メモリ・コントローラに接続された通信ハブ装置にメモリ装置を接続している。また、代表的実施形態では、このハブ装置は、２つ以上のハブ装置を含むメモリ・モジュール（例えば、単一の基板又は物理装置）上に設けられ、そして当該２つ以上のハブ装置は、メモリ・バスを介して互いに（及び可能であれば、他のメモリ・モジュール上に設けられた他のハブ装置に）カスケード相互接続される。
【００４８】
ハブ装置は、分岐接続又は２地点間バス構造（さらに、かかるバス構造は１つ以上の追加のハブ装置に対するカスケード接続を含むことができる）を通して、メモリ・コントローラに接続することができる。メモリ・アクセス要求は、メモリ・コントローラからバス構造（例えば、メモリ・バス）を介して選択されたハブに送信される。ハブ装置は、受信されたメモリ・アクセス要求に応答してこれを変換することにより、ハブ装置からの書き込みデータを格納するか又は読み取りデータをハブ装置に供給するようにメモリ装置を制御する。読み取りデータは１つ以上の通信パケットへ符号化され、メモリ・バスを通してメモリ・コントローラに送信される。
【００４９】
代替実施形態では、メモリ・コントローラは、これを１つ以上のプロセッサ・チップ及びサポート用論理と統合して、１つ以上のプロセッサ又はサポート用論理を搭載したマルチチップ・キャリア内に含まれる、個別のチップ（一般に「ノースブリッジ」チップと呼ばれるもの）内にパッケージ化するか、又はアプリケーション／環境と最も良く適合する種々の代替形式でパッケージ化することができる。これらの解決策のうち任意のものは、１つ以上のハブ・チップ又はメモリ装置に接続するために、１つ以上の狭い／高速リンクを使用してもよいし、そのようなリンクを使用しなくてもよい。
【００５０】
メモリ・モジュールは、ＤＩＭＭ、シングル・インライン・メモリ・モジュール（ＳＩＭＭ）又は他のメモリ・モジュール、或いはカード構造を含む、種々の技術によって実装することができる。一般に、ＤＩＭＭは、ランダム・アクセス・メモリ（ＲＡＭ）集積回路又はダイを小さな回路ボードの一方又は両方の表面に備え、信号又は電源ピンを当該回路ボードの両方の表面に備えたものを表す。一方、ＳＩＭＭは、ＲＡＭ集積回路又はダイを小さな回路ボード又は基板の一方又は両方の表面に備え、１つの長いエッジに沿って単一行のピンを備えたものを表す。図１に示すＤＩＭＭは、１６８本のピンを含むが、その後のＤＩＭＭは、１００本ないし３００本以上のピンを有するように構成されている。代表的実施形態では、メモリ・モジュールは、２つ以上のハブ装置を含むことができる。
【００５１】
代表的実施形態では、メモリ・バスは、メモリ・モジュール上のハブ装置に対する分岐接続を使用するか、又は２地点間接続を使用して構築される。下流バスと呼ばれるコントローラ・インタフェースの下流部分（又はメモリ・バス）は、メモリ・モジュール上のハブ装置に送信される、コマンド、アドレス、データ及び他の情報（動作、初期化又はステータス情報）を含むことができる。代表的実施形態では、下流のメモリ・バスは、メモリ・コントローラをハブ装置に接続するか、又は１つのハブ装置をメモリ・コントローラから離れた他のハブ装置に接続する。各ハブ装置は、バイパス回路を介して後続のハブ装置に情報を単に転送したり、情報が下流のハブ装置を目標としていると決定する場合は、情報を受け取り、解釈し、再駆動したり、情報の宛先を決定するために最初にその情報を解釈せずに、その情報のうちの一部又は全てを再駆動したり、或いはこれらのオプションのサブセット又はその組み合わせを実行することができる。代表的実施形態では、下流バスは、メモリ・システムを制御するために使用されるプロトコルを有する。
【００５２】
上流バスと呼ばれるメモリ・バスの上流部分は、要求された読み取りデータ、エラー、ステータス又は他の動作情報を戻す。この情報は、バイパス回路を介して後続のハブ装置へ転送したり、この情報が上流のハブ装置又はプロセッサ複合体内のメモリ・コントローラを目標としていると決定する場合は、この情報を受け取り、解釈し、再駆動したり、この情報の宛先を決定するために最初にこの情報を解釈せずに、この情報のうちの一部又は全てを再駆動したり、或いはこれらのオプションのサブセット又はその組み合わせを実行することができる。実施形態では、上流バスは、メモリ・システムからの応答を受信するために使用されるプロトコルを有する。
【００５３】
代替実施形態では、２地点間バスは、下流の通信（メモリ・コントローラからメモリ・モジュール上のハブ装置への通信）中にバス情報を１つ以上の可能なハブ装置に供給するとともに、上流の通信（メモリ・モジュール上のハブ装置からメモリ・コントローラへの通信）中にバス情報をしばしば１つ以上の上流ハブ装置を介して供給するための、スイッチ又はバイパス機構を含む。他の実施形態は、当該分野では公知のバスの終端用モジュール又はダミー基板（continuity module）を使用することを含み、かかるダミー基板をメモリ・コントローラとカスケード相互接続メモリ・システム内で最初に装着したハブ装置（すなわち、１つ以上のメモリ装置と通信関係にあるハブ装置）との間に配置することができる。このようにすると、メモリ・コントローラと最初に装着したハブ装置との間にある任意の中間ハブ装置位置は、たとえ１つ以上の中間ハブ装置位置がハブ装置を含んでいないとしても、メモリ・コントローラと最初に装着したハブ装置との間を通過する情報を受信することができる。このダミー基板は、任意のバス制限に従うことを条件として、最初の位置（メモリ・コントローラに最も近い位置）、最後の位置（終端点の直前にある位置）又はその中間位置を含む、任意のモジュール位置に設置することができる。マルチモジュール・カスケード相互接続バス構造においてダミー基板を有利に使用するには、メモリ・モジュール上の中間のハブ装置を除去し、当該中間のハブ装置を除去した後にもシステムが継続的に動作するように、当該中間のハブ装置をダミー基板と置き換えるようにするとよい。より一般的な実施形態では、このダミー基板は、その入力から対応する出力まで全ての必要な信号を転送するための相互接続ワイヤを含むか、又はリピータ装置を通して再駆動されてもよい。さらに、このダミー基板は、不揮発性記憶装置（例えば、ＥＥＰＲＯＭ）を含むことができるが、主メモリ装置を含まないであろう。
【００５４】
代表的実施形態では、メモリ・システムは、カスケード相互接続メモリ・バスによってメモリ・コントローラに接続された１つ以上のメモリ・モジュール上に１つ以上のハブ装置を含むが、２地点間バス、分岐接続メモリ・バス又は共用バスのような他のメモリ構造も実装することができる。使用される信号方法、目標動作周波数、スペース、電力、コスト等の制約に依存して、種々の代替バス構造を考慮することができる。２地点間バスは、分岐信号線、スイッチ装置又はスタブを有するバス構造と比較して信号の劣化が少ないという理由で、電気的な相互接続を備えたシステムにおいて最適の性能を提供することができる。しかし、複数の装置又はサブシステムとの通信を必要とするシステム内で使用すると、この方法は、追加のコンポーネントに伴うコスト及びシステム電力の増加に帰着するばかりか、中間のバッファリング又は再駆動を必要とするために潜在的メモリ密度を減少させることがある。
【００５５】
また、図面には示されていないが、メモリ・モジュール又はハブ装置は、「プレゼンス・ディテクト」バス、Ｉ２Ｃバス又はＳＭＢｕｓのような、別個のバスを含むことができる。このバスは、（一般に、起動後に）ハブ装置又はメモリ・サブシステムの属性を決定すること、障害又はステータス情報をシステムに報告すること、起動後又は通常の動作中にハブ装置又はメモリ・サブシステムを構成することを含む、１つ以上の目的のために使用される。また、このバスは、そのバス特性に依存して、ハブ装置又はメモリ・モジュールからメモリ・コントローラに対し動作の有効な完了を報告したり、メモリ・コントローラ要求の実行中に生じる障害を識別するための手段を提供することができる。
【００５６】
２地点間バス構造と同様の性能は、スイッチ装置を追加することによって得ることができる。これらの及び他の解決策は、２地点間バスの特性の多くを維持しつつも、より低い電力で増加したメモリ・パッケージ化密度を提供する。分岐接続バスは、より低い動作周波数に制限されるとはいえ、多くのアプリケーションについては有利なコスト／性能の代替的な解決策を提供する。光バスの解決策は、２地点間又は分岐接続アプリケーションの何れかにおいて、著しく増加した周波数及び帯域幅を許容するが、コストとスペースの点で不利である。
【００５７】
「バッファ」又は「バッファ装置」という用語は、（コンピュータ内で使用されるような）一時記憶装置、特に或るレートで情報を受け取り且つ他のレートでその情報を伝える一時記憶装置を表す。代表的実施形態では、バッファは、２つの信号（例えば、変更される電圧レベル又は電流能力）間の両立性を提供する電子装置である。「ハブ」という用語は、「バッファ」という用語と交換可能に使用されることがある。ハブは、他の幾つかの装置に接続される、複数のポートを含む装置である。ポートは、対応するＩ／Ｏ機能性にサービスを提供するインタフェースの一部である（例えば、ポートは、２地点間リンクのうちの１つ又はバスを介してデータ、アドレス及び制御情報を送信及び受信するために利用することができる）。ハブは、幾つかのシステム、サブシステム又はネットワークを互いに接続するための中心の装置とすることができる。受動ハブは、単にメッセージを転送するに過ぎないのに対し、能動ハブ（リピータ）は、データのストリームを増幅及びリフレッシュすることにより、距離とともに増大する減衰を補償する。「ハブ装置」という用語は、メモリ機能を行うための論理（ハードウェア又はソフトウェア）を含む、ハブ・チップを表す。
【００５８】
「バス」という用語は、コンピュータ内の２つ以上の機能装置を接続する複数セットの導体（例えば、ワイヤ及び集積回路内の印刷回路ボードの配線又は接続）のうちの１つを表す。データ・バス、アドレス・バス及び制御バスは、それらの名前に拘わらず、多くの場合に互いに他を必要としているので、全体として単一のバスを構成する。バスは、各々が２つ以上の接続点を有する複数の信号線を含むことがあり、これらの信号線は、２つ以上のトランシーバ、送信機又は受信機を電気的に接続する、主伝送パスを形成する。「バス」という用語とは対照的に、「チャネル」という用語は、メモリ・システム内のメモリ・コントローラに関連づけられるような「ポート」の機能を記述するためにしばしば使用され、１つ以上のバス又は複数セットのバスを含むことがある。「チャネル」という用語は、メモリ・コントローラ上のポートを表す。しかし、この用語は、一般にはＩ／Ｏ又は他の周辺装置と関連して使用され、例えば、プロセッサ又はメモリ・コントローラと１つ以上のメモリ・サブシステムのうちの１つとの間のインタフェースを表すために使用されることが多い。
【００５９】
「デイジー・チェーン」という用語は、バス・ワイヤリング構造であって、例えば、装置Ａが装置Ｂにワイヤされ、装置Ｂが装置Ｃにワイヤされ、以下同様にして各装置がワイヤされるようなバス・ワイヤリング構造を表す。一般に、最後の装置は、抵抗器又は終端子にワイヤされる。単純なバスとは対照的に、全ての装置が同一の信号を受信するか、又は各装置は１つ以上の信号を修正してそれらを次の装置に渡すことができる。「カスケード」又は「カスケードは相互接続」という用語は、一連のステージ(装置）又は相互接続されたネットワーキング装置(例えば、ハブ）の集合を表す。かかるハブは、論理的なリピータとして動作するとともに、既存のデータ・ストリーム中にデータをマージすることを可能にする。また、「２地点間バス」又は「リンク」という用語は、各々が１つ以上の終端子を含むことができる、複数の信号線又はそのうちの１つを表す。２地点間バス又はリンクでは、各信号線は、２つのトランシーバ接続点を有し、その各トランシーバ接続点は、送信回路、受信回路又はトランシーバ回路に接続される。「信号線」という用語は、少なくとも１つの論理的な信号を伝送するために使用される１つ以上の導電体又は光回線（optical carrier）を表す。一般に、かかる導電体又は光回線は、単一の回線若しくは２つ以上の回線として、又は対より線、並列若しくは同心円式のものとして構成される。
【００６０】
一般に、メモリ装置は、主としてメモリ（記憶）セルから構成される集積回路として定義され、ＤＲＡＭ（動的ランダム・アクセス・メモリ）、ＳＲＡＭ（静的ランダム・アクセス・メモリ）、ＦｅＲＡＭ（強誘電性ＲＡＭ）、ＭＲＡＭ（磁気ランダム・アクセス・メモリ）、フラッシュ・メモリ、情報を電気的、光学的、磁気的、生物学的又は他の形態で格納する他の形式のランダム・アクセス・メモリ等を含む。動的メモリ装置のタイプには、ＦＰＭ ＤＲＡＭ（高速ページ・モード動的ランダム・アクセス・メモリ）、ＥＤＯ（拡張データ・アウト）ＤＲＡＭ、ＢＥＤＯ（バーストＥＤＯ）ＤＲＡＭ、ＳＤＲ（単一データ・レート）同期ＤＲＡＭ、ＤＤＲ（ダブル・データ・レート）同期ＤＲＡＭ、又はＤＤＲ２、ＤＤＲ３、ＤＤＲ４のような今後期待される後継装置、及びグラフィックスＲＡＭ、ビデオＲＡＭ、ＬＰ ＲＡＭ（低消費電力ＤＲＡＭ）のような関連する技術のものがあり、これらは、しばしば関連するＤＲＡＭに見られる基本的な機能、特徴又はインタフェースに基づいている。
【００６１】
メモリ装置は、チップ（ダイ）又は種々のタイプ及び構成を有する単一若しくはマルチチップ・パッケージの形式で利用することができる。マルチチップ・パッケージでは、メモリ装置は、他のメモリ装置、論理チップ、アナログ装置及びプログラム可能な装置のような他のタイプの装置とパッケージ化され、また抵抗器、コンデンサ及び誘導子のような受動装置を含むことができる。これらのパッケージは、統合化ヒートシンク又は他の冷却手段を含み、これを、中間キャリア又は他の直近のキャリア又は熱除去システムに接続することができる。
【００６２】
モジュール・サポート装置（バッファ、ハブ、ハブ論理チップ、レジスタ、ＰＬＬ、ＤＬＬ、不揮発性メモリ等を含む）は、技術、電力、スペース、コスト及び他のトレードオフに基づいて、複数の個別チップ又はコンポーネントから構成することができ、複数の個別チップとして１つ以上の基板上で組み合わせることができ、単一のパッケージ上で組み合わせられることができ、さらには単一デバイス上に統合することもできる。さらに、抵抗器、コンデンサのような種々の受動装置の１つ以上は、技術、電力、スペース、コスト及び他のトレードオフに基づいて、サポート・チップ・パッケージ上に統合することができ、或いは基板、ボード又は未加工のカード自体へ統合することができる。これらのパッケージは、統合化ヒートシンク又は他の冷却手段を含み、これを、中間キャリア又は他の直近のキャリア又は熱除去システムに接続することができる。
【００６３】
メモリ装置、ハブ（バッファ）、レジスタ、クロック装置、受動装置、他のメモリ・サポート装置又はコンポーネントを、メモリ・サブシステム又はハブ装置に接続するためには、電気的、光学的又は代替手段を介して２つ以上の装置間の通信を可能にするための、ハンダ相互接続、導電接着剤、ソケット構造、接触圧及び他の方法を含む種々の方法を使用することができる。
【００６４】
１つ以上のメモリ・モジュール（又はメモリ・サブシステム）又はハブ装置を、メモリ・システム、プロセッサ複合体、コンピュータ・システム又は他のシステム環境に接続するためには、ハンダ相互接続、コネクタ、接触圧、導電接着剤、光相互接続並びに他の通信及び電力供給方法のうちの１つ以上を使用することができる。コネクタ・システムは、コネクタ（雄型／雌型）、導電性の接触又は雄型若しくは雌型コネクタと接合する１つのキャリア上のピン、光接続、接触圧（しばしば固定機構と協働する）又は種々の他の通信及び電力供給方法の１つ以上を含むことができる。相互接続は、メモリ・アセンブリの１つ以上の端に沿って又はメモリ・サブシステムの端から離れた位置に配置することができる。この配置位置を左右する要素には、アップグレード／修理のしやすさ、利用可能なスペース／ボリューム、熱伝導、コンポーネントのサイズ及び形状、及び他の物理的、電気的、光学的、視覚的／物理的アクセス等の、アプリケーション上の要件がある。
【００６５】
「メモリ・サブシステム」という用語は、１つ以上のメモリ装置、１つ以上のメモリ装置及び関連するインタフェース又はタイミング／制御回路、又はメモリ・バッファ、ハブ装置又はスイッチと関連する１つ以上のメモリ装置を表すが、これらに限定されない。また、「メモリ・サブシステム」という用語は、１つ以上のメモリ装置と、これに関連するインタフェース又はタイミング／制御回路又はメモリ・バッファ、ハブ装置又はスイッチとを、基板、カード、モジュール又は関係するアセンブリ上に組み立てたものを表すことができる。かかる基板、カード、モジュール又は関係するアセンブリは、メモリ・サブシステムを他の回路と電気的に接続するためのコネクタ又はこれと同様の手段を含むことができる。また、本明細書に開示したメモリ・モジュールは、１つ以上のメモリ装置及びハブ装置を含んでいるので、これをメモリ・サブシステムと称することができる。
【００６６】
メモリ・サブシステム又はハブ装置に対してローカルに設けることができる追加の補助機能は、書き込み又は読み取りバッファ、１レベル以上のメモリ・キャッシュ、データ暗号化／暗号化解除、圧縮／圧縮解除、プロトコル変換、コマンド優先順位付け論理、電圧又はレベル変換、エラー検出又は訂正回路、データ消し込み、ローカルの省電力回路又は報告、動作又はステータス・レジスタ、初期化回路、性能モニタリング又は制御、１つ以上のコプロセッサ、サーチ・エンジン及び以前に他のメモリ・サブシステムに設けられていた他の機能を含む。或る機能をメモリ・サブシステムに対してローカルに配置すると、当該サブシステム内の未使用の回路をしばしば利用することを通して、この特定の機能に関係する追加の性能を得ることができる。
【００６７】
メモリ・サブシステムのサポート装置は、メモリ装置が接続されるのと同じ基板又はアセンブリに接続するか、或いは別個のインターポーザ又は基板にマウントすることができる。かかるインターポーザ又は基板は、種々のプラスチック、シリコン、セラミック又は他の材料を使用して製造され、サポート装置をメモリ装置若しくはメモリ又はコンピュータ・システムの他のコンポーネントに機能的に相互接続するための、電気的、光学的又は他の通信パスを含む。
【００６８】
バス、チャネル、リンク等に沿った情報転送（例えば、パケット）は、多くの信号方法のうち１つ以上を使用して行うことができる。かかる信号方法は、シングル・エンド式、差動式、光学式又は他のアプローチのような方法を含み、電気的な信号方法は、単一又はマルチレベルのアプローチの何れかを使用する、電圧又は電流信号方法のような方法を含む。また、信号は、時間又は周波数、非ゼロ復帰、位相偏移キーイング、振幅変調等の方法を使用して変調することができる。集積回路自体の動作に必要な電源電圧が減少されるのと整合するように（しばしば独立的にではあるが）、電圧レベルは、１．５Ｖ、１．２Ｖ、１Ｖ及びより低い信号電圧に、今後も減少し続けると予想される。
【００６９】
メモリ・サブシステム及びメモリ・システム内では、グローバル・クロッキング、ソース同期クロッキング、符号化クロッキング又はこれらの方法及び他の方法の組み合わせを含む、１つ以上のクロッキング方法を利用することができる。クロック信号方法は、信号線自体のそれと同一とすることができ、又は計画されたクロック周波数及び種々のサブシステム内の計画されたクロックの数に対し適合するものであれば、前記クロッキング方法のうちの１つ又は他の代替方法を利用することができる。単一のクロックを、メモリを対象とする全ての通信並びにメモリ・サブシステム内の全てのクロック化機能と関連づけることができ、又は前述の１つ以上の方法を使用して複数のクロックを駆動することができる。複数クロックが使用される場合、メモリ・サブシステム内の機能は、メモリ・サブシステムを一意に駆動する１つのクロックに関連づけることができ、又はメモリ・サブシステムと授受されている情報と関係するクロックに由来する１つのクロック（例えば、符号化クロックに関連するクロック）に基づくことができる。代替的に、１つの一意的なクロックをメモリ・サブシステムに転送される情報のために使用し、別個のクロックを１つ（又はそれ以上）のメモリ・サブシステムから供給される情報のために使用することができる。これらのクロックは、通信又は機能的な周波数と同じ又はその整数倍の周波数で動作することができ、データ、コマンド又はアドレス情報に対しそのエッジ又は中心に整列するか又は他のタイミング位置に整列することができる。
【００７０】
一般に、メモリ・サブシステムに引き渡される情報は、アドレス、コマンド及びデータ、並びにステータス又はエラー条件を要求又は報告すること、メモリをリセットすること、メモリ又は論理の初期化を完了すること等に関連する他の情報から成るであろう。一般に、メモリ・サブシステムから引き渡される情報は、当該メモリ・サブシステムに引き渡される前記情報の全て又は任意のものを含むことができるが、アドレス及びコマンド情報を含まないであろう。この情報は、通常のメモリ装置インタフェース仕様（一般に並列）と整合する通信方法を使用して通信することができ、「パケット」構造に符号化することができる。かかるパケット構造は、将来のメモリ・インタフェースと整合するか、通信帯域幅を増加させ又は受信情報を受信装置によって必要とされるフォーマットに変換することにより、サブシステムがメモリ技術とは独立的に動作することを可能にするために開発されるものとすることができる。
【００７１】
メモリ・サブシステムの初期化は、利用可能なインタフェース・バス、所望の初期化速度、利用可能なスペース、コスト／複雑さの目的、サブシステム相互接続構造、この目的及び他の目的のために使用可能な代替プロセッサ（例えば、サービス・プロセッサ）の使用等に基づいて、１つ以上の方法を介して行うことができる。１つの実施形態では、高速バスを使用してメモリ・サブシステムの初期化を行うことができる。一般に、この場合には、先ず、信頼できる通信を確立するためのトレーニング・プロセスを完了し、次に、種々のコンポーネントに関連する属性又は「プレゼンス・ディテクト」データ又は当該サブシステムに関連する特性を照会し、最後に、適切な装置を当該システム内の意図された動作に関連する情報でプログラムすることが行われる。一般に、カスケード化システムでは、第１のメモリ・サブシステムとの通信が確立された後、一連の後続（下流）サブシステムのうちカスケード相互接続バスに沿った次の位置にあるサブシステムとの通信が順次に確立されるであろう。
【００７２】
第２の初期化方法は、初期化プロセス中に高速バスを１つの周波数で動作させ、その後の通常動作中に高速バスを他の（例えば、より高い）周波数で動作させるというものである。この実施形態では、より低い周波数の動作に関連するタイミング・マージンが増加することに起因して、各サブシステムの照会又はプログラミングを完了する前に、カスケード相互接続バス上の全てのメモリ・サブシステムとの通信を開始することが可能である。
【００７３】
第３の初期化方法は、カスケード相互接続バスを通常の周波数で動作させるも、アドレス、コマンド又はデータ転送に関連するサイクルの数を増加させることができる。１つの実施形態では、アドレス、コマンド又はデータ情報の全て又は一部を保持するパケットを、通常の動作中に１つのクロック・サイクルで転送するが、同じ量又はタイプの情報を、初期化中に２サイクル以上にわたって転送することができる。従って、この初期化プロセスは、「通常」のコマンドではなく、「遅い」コマンドの形式を使用する。このモードには、各サブシステムに含まれるＰＯＲ（パワーオン・リセット）論理を介して行われる各サブシステム及びメモリ・コントローラによる起動又は再起動の後の或る時点で、自動的に入ることができる。
【００７４】
第４の初期化方法は、別個のバスを利用することができる。このバスは、プレゼンス・ディテクト・バス（前掲の米国特許第５５１３１３５号を参照）、Ｉ２Ｃバス（ＪＥＤＥＣによって公開された１６８ピンのＤＩＭＭファミリに係る規格である、２１Ｃの改訂版７Ｒ８を参照）又は周知のＳＭＢＵＳ等を含む。このバスは、デイジー・チェーン／カスケード相互接続、分岐接続又は代替構造を介してメモリ・システム内の１つ以上のモジュールに接続することにより、メモリ・サブシステムを照会し、総合的なシステム環境内で動作するように各メモリ・サブシステムをプログラムし、当該システム環境内の所望の又は検出された性能、熱、構成又は他の変更に基づいて、通常のシステム動作中に他の時間における動作特性を調節することができる。
【００７５】
また、前述の初期化方法に関連して又はこれとは独立に、他の初期化方法を使用することができる。また、前記第４の初期化方法について説明したような別個のバスを使用すると、初期化のための独立の手段を提供することができるという利点に加えて、サブシステムの動作特性をオンザフライで変更することができ、さらに利用度、温度データ、障害情報等のサブシステムの動作情報を報告するか又はこれに応答することができる（前掲の米国特許第６３８１６８５号を参照）。
【００７６】
リソグラフィの改良、よりよいプロセス制御、より低い抵抗値を有する材料の使用、増加したフィールド・サイズ及び他の半導体技術の改良、増加した装置の回路密度（しばしば増加したダイのサイズと軌を一にする）により、集積装置上の機能を増加させたり、以前には別個の装置上に実装されていた機能を統合することが容易になってきた。この統合は、意図された機能の総合的性能を改良するだけでなく、記憶密度の増加、電力の減少、スペース要件の減少、コストの低下等を促進するように作用するであろう。この統合は、自然な進化のプロセスであって、システムに関連する基本的なビルディング・ブロックへの構造的変化の必要性に帰着するであろう。
【００７７】
メモリ・システム又はサブシステムの各要素に関連する通信パス、データ記憶装置の内容及び全ての機能動作の完全性は、１つ以上の障害検出又は訂正方法を使用することによって高度に保証することができる。種々の要素のうち任意又は全てのものは、ＣＲＣ（巡回冗長符号）、ＥＤＣ（誤り検出修正）、パリティ又はこの目的に適した他の符号化／復号方法のようなエラー検出又は訂正方法を含むことができる。信頼性をさらに拡張するためには、（情報の転送に関連する間欠的な障害を克服するための）動作の再試行を使用したり、障害のある通信パス又は線を置き換えるための１つ以上の代替又は置換方法を使用したり、補数化−再補数化技術を使用することができる。
【００７８】
２地点間リンク又は分岐接続構造などのバス上でバス終端を使用することは、増加した性能要求に対応するためによい多く行われるようになっている。これらの種々の終端方法には、抵抗器、コンデンサ、誘導子又はその任意の組み合わせのような終端装置を、信号線と電源電圧又はアース、終端電圧又は他の信号との間に接続するものがある。終端装置は、受動性又は能動性終端構造の一部とすることができ、１つ以上の信号線に沿った１つ以上の位置に存在するか、又は送信又は受信装置の一部として存在することができる。この終端子は、伝送路のインピーダンスと一致するように選択されるか、又はコスト、スペース、電力等の制約内で、使用可能な周波数、動作マージン及び関連する属性を最大化するような代替アプローチを介して選択することができる。
【００７９】
先端的な高性能システムは、システム・コスト及びメモリ密度に係る問題のうちの幾つかを扱うために新しいバス構造を適応させており、その１つは、メモリ・モジュール上に１つ以上のハブ装置を含むカスケード相互接続メモリ・サブシステムを使用することである。メモリ装置を意図したコマンド、データ及びアドレス情報に作用することができるハブ装置を含めることにより、総合的なシステム性能を最大化するための新しい解決策を考慮することができる。代表的実施形態の技術的な影響は、メモリ・システムの総合的な待ち時間を減少させることにより、システム性能を改良することを含んでいる。代表的実施形態では、特定の改良部分は、メモリ・コントローラによって発行されるプリフェッチ要求を除去することに起因して、総合的なメモリ・システムの電力を節減することに係る。さらに、バス活動が減少されることに起因して、下流メモリ・バス上でより多くの帯域幅が他の目的のために利用可能になるか、又は下流メモリ・バスのピン数を減少させることができる。
【００８０】
前述のように、本発明の実施形態は、コンピュータで実装されるプロセス及びこれらのプロセスを実行するための装置として具体化することができる。また、本発明の実施形態は、フレキシブル・ディスク、ＣＤ−ＲＯＭ、ハード・ドライブ等のコンピュータ可読記憶媒体に記録されたコンピュータ・プログラムとして、或いは電気的なケーブル、光ファイバ、電磁放射等の伝送媒体を介して伝送されるコンピュータ・プログラムとして、具体化することができる。その場合、かかるコンピュータ・プログラムがコンピュータにロードされ且つ実行される場合、このコンピュータは、本発明を実施するための装置になる。汎用のマイクロプロセッサ上で実装される場合、かかるコンピュータ・プログラムのセグメントは、特定の論理回路を作成するように当該マイクロプロセッサを構成する。
【００８１】
本発明は代表的実施形態を参照して説明されたが、本発明の範囲から逸脱することなく、種々の変更を行ったり、実施形態の特定の要素の代わりにその均等手段を使用することができる。また、本発明の本質的な範囲から逸脱することなく、特定の状況又は材料に適合するように本発明の概念に変更を施すことができる。従って、本発明は、本明細書において最良の実施形態として記載された特定の実施形態に限定されるものではなく、各請求項の範囲に属する全ての実施形態を包含するものである。
【図面の簡単な説明】
【００８２】
【図１】初期の同期メモリ・モジュールを例示する図である。
【図２】メモリ・コントローラに直接的に接続された完全バッファ（fully buffered）型の同期メモリ・モジュールを備えたコンピュータ・システムを例示する図である。
【図３】単一の分岐型スタブ・バスを備えたメモリ・システムを例示する図である。
【図４】リピータ機能を含む完全バッファ型の同期メモリ・モジュール及びシステム構造を例示する図である。
【図５】単一のデータ・アクセス要求をサポートするように一斉に動作する複数の独立したカスケード相互接続メモリ・インタフェース・バスを含む、メモリ・システムのブロック図である。
【図６】メモリ・サブシステム内のハブ装置を例示するブロック図である。
【図７】本発明に従った、適応的プリフェッチ論理装置（ＡＰＬＵ）を含むハブ装置のブロック図である。
【図８】本発明に従ったプロセスの一部分を示すフローチャートである。
【図９】本発明に従ったプロセスの残りの部分を示すフローチャートである。
【符号の説明】
【００８３】
５０６ メモリ・バス
５０９ メモリ装置
５１０ メモリ・コントローラ
６０４ リンク・インタフェース
６０６ 読み取りデータ・キュー
６０７ 読み取りデータ・セレクタ
６１０ 書き込みデータ・セレクタ
６１１ 書き込みデータ・キュー
６１５ メモリ装置データ・インタフェース
７０２ 適応的プリフェッチ論理装置（ＡＰＬＵ）
７０４ プリフェッチ・バッファ
７０６ 入力コマンド・ストリーム・インタフェース
７０８ メモリ・ハブ装置
７１３ メモリ・ハブ制御
【技術分野】
【０００１】
本発明は、コンピュータ・メモリに係り、さらに詳細に説明すれば、動的メモリ・プリフェッチを提供することに係る。
【背景技術】
【０００２】
一般に、最近の高性能コンピュータ用の主メモリ・システムは、１つ以上の動的ランダム・アクセス・メモリ（ＤＲＡＭ）装置から成り、これらのＤＲＡＭ装置は、１つ以上のメモリ制御要素を介して１つ以上のプロセッサに接続される。コンピュータ・システムの総合性能は、プロセッサの性能／構造、メモリ・キャッシュ、入出力（Ｉ／Ｏ）サブシステム、メモリ制御機能の効率、主メモリ装置、メモリ相互接続インタフェースのタイプ及び構造を含む、コンピュータ構造の重要な各要素によって影響される。
【０００３】
当該分野において広範な研究開発努力が継続的に行われている１つの目標は、メモリ・システム／サブシステムの設計又は構造を改良することによって総合的なシステム性能及び密度を最大化するための、改良された革新的な解決策を提供することである。高可用性システムは、その総合的な信頼性に関係するさらなる挑戦を与える。というのは、顧客が新しいコンピュータ・システムに期待するのは、平均故障間隔（ＭＴＢＦ）の点で既存のシステムを著しく超えるということだけでなく、追加の機能、向上した性能、増加した記憶装置、より低い運用コスト等をも含んでいるからである。顧客の他の一般的な要件は、アップグレードの容易性や（スペース、電力及び冷却のような）システム環境の減少等を含み、これらの要件を充足するためには、メモリ・システム設計の挑戦がさらに過酷なものになる。
【０００４】
図１は、米国特許第５５１３１３５号に開示されている、初期の同期メモリ・モジュールを示す。図１に示されているメモリ・モジュールは、デュアル・インライン・メモリ・モジュール（ＤＩＭＭ）である。このモジュールは、高性能動作を促進するために、同期ＤＲＡＭ ８、バッファ装置１２、最適化されたピン配置、及び相互接続兼容量性減結合方法から成る。さらに、この特許は、位相ロック・ループ（ＰＬＬ）のような装置を使用して、モジュール上でクロックを再駆動することを記述する。
【０００５】
図２は、米国特許第６１７３３８２号に開示されている、コンピュータ・システム２１０を示す。コンピュータ・システム２１０内の同期メモリ・モジュール２２０は、バス２４０を介してメモリ・コントローラ１４に直接に（２地点間）接続され、また（特定用途向け集積回路、又は「ＡＳＩＣ」のような）論理回路２４は、メモリ・コントローラ１４から受信されるアドレス、データ及び制御情報をバッファし、登録し、又は当該情報に作用する。メモリ・モジュール２２０は、メモリ初期化プロセスの一部として又は通常の動作中に、集積回路間（Ｉ２Ｃ）制御バス３４のような独立バスを介して、複数の選択可能又はプログラム可能なモードで動作するようにプログラムすることができる。この特許によれば、メモリ・コントローラ１４に直接に接続された複数のメモリ・モジュールを必要とするアプリケーションで利用される場合、モジュールを前記バスから電気的に分離するための電界効果トランジスタ（ＦＥＴ）スイッチを使用することにより、結果的なスタブを最小化することができると説明されている。
【０００６】
さらに、前掲の米国特許第５５１３１３５号及び米国特許第６１７３３８２号は、定義された全ての機能（アドレス、コマンド、データ、プレゼンス・ディテクト等）を単一の装置へ統合する能力を説明する。これらの機能を統合することは、技術の改良によって可能になる当該分野における一般的な慣行であって、追加的なモジュール密度又は機能性を可能にする。
【０００７】
図３は、米国特許第６５１０１００号に開示されている、通常の分岐型スタブ・バス上に最大４つのレジスタードＤＩＭＭ ４０を含むメモリ・システム１０を示す。そのサブシステムは、メモリ・コントローラ２０、外部クロック・バッファ３０、レジスタードＤＩＭＭ ４０、アドレス・バス５０、制御バス６０、データ・バス７０、アドレス・バス５０及びデータ・バス７０上の終端子９５を含む。図３には、単一のメモリ・チャネルだけが示されているが、これらのモジュールから構成されるシステムは、メモリ・コントローラ２０からの複数の個別メモリ・チャネルを含むのが一般的である。その場合、これらのメモリ・チャネルの各々は、所望のシステム機能性又は性能を達成するために、（単一のチャネルに複数のモジュールが装着されているときは）単独で動作されるか、又は（複数のチャネルに複数のモジュールが装着されているときは）並列に動作される。
【０００８】
図４は、米国特許第６５８７９１２号に開示されている、同期メモリ・モジュール４１０及びシステム構造を示す。その内部に設けられたリピータ・ハブ３２０は、バス３２１及び３２２を介して、ローカルに再駆動したアドレス、コマンド及びデータをローカル・メモリ装置３０１及び３０２に供給する。ローカル・クロックの生成は、この特許の他の図面及び関連する本文で説明されているようにして行われ、そして適切なメモリ・インタフェース信号を再駆動してシステム内の次のモジュール又はコンポーネントに供給することは、バス３００を介して行われる。
【０００９】
図５は、１つ以上のプロセッサ要素及び統合メモリ・コントローラ５１０を含む、集積化プロセッサ・チップ５００から成る最近のシステムを示す。図５に示す構成では、複数の独立したカスケード相互接続メモリ・バス５０６は、並列バス及び関連する装置を横切って分配又は「ストライプ」されるデータ及びエラー検出／訂正情報に対する高帯域幅の単一の独立アクセス要求をサポートすることを目的として、一斉に動作するように論理的に互いに集合化される。メモリ・コントローラ５１０は、４つの狭く且つ高速の２地点間メモリ・バス５０６に接続され、当該バス５０６の各々は、メモリ・コントローラの幾つかの固有のインタフェース・チャネルのうちの１つをカスケード相互接続メモリ・サブシステム５０３（又はメモリ・モジュール）に接続する。メモリ・サブシステム５０３は、少なくともハブ装置５０４及び１つ以上のメモリ装置５０９を含む。また、幾つかのシステムは、メモリ・バス５０６のサブセットに複数のメモリ・サブシステム５０３が装着されているときの動作を可能にする。この場合、１つ以上のメモリ・バス５０８は、単一のアクセス要求をサポートするために一斉に動作することができる。
【００１０】
図６は、リンク・インタフェース６０４を含む、メモリ・ハブ装置５０４を示す。リンク・インタフェース６０４は、高速のメモリ・アクセス情報に再同期し、これを変換し、再駆動して関連するＤＲＡＭ装置５０９に供給するか、又はこの情報をメモリ・システムのプロトコルに基づく適用可能なものとしてメモリ・バス５０６を介して下流に供給するための手段を提供する。リンク・インタフェース６０４は、この情報を上流のメモリ・ハブ装置５０４から受信するか、又はメモリ・バス５０６を介してメモリ・コントローラ５１０から（直接的に又は上流のメモリ・ハブ装置５０４を介して）受信する。メモリ装置データ・インタフェース６１５は、メモリ装置５０９との技術固有のデータ・インタフェースを管理し、双方向性のメモリ装置データ・バス６０８を制御する。メモリ・ハブ制御６１３は、アクセス要求パケットに応答して、メモリ装置５０９の技術固有のアドレス及び制御バス６１４（ランク０ ５０１内のメモリ装置用）又はアドレス及び制御バス６１４’（ランク１ ６１６内のメモリ装置用）を駆動するとともに、読み取りデータ・セレクタ６０７及び書き込みデータ・セレクタ６１０に対し指示を与える。
【００１１】
図６のリンク・インタフェース６０４は、前記アクセス要求パケットを復号して、ローカルのハブ装置５０４に向けられたアドレス及びコマンド情報をメモリ・ハブ制御６１３へ向ける。リンク・インタフェース６０４からのメモリ書き込みデータは、一時的に書き込みデータ・キュー６１１内に格納するか、又は内部バス６１２及び書き込みデータ・セレクタ６１０を介して転送した後、内部バス６０９及びメモリ装置データ・インタフェース６１５を介して、メモリ装置データ・バス６０８に転送することにより、メモリ装置５０９に対し直接的に駆動することができる。メモリ装置５０９からのメモリ読み取りデータは、読み取りデータ・キュー６０６に格納するか、又は内部バス６０５及び読み取りデータ・セレクタ６０７を介してリンク・インタフェース６０４に直接的に転送することができる。このメモリ読み取りデータは、読み取り応答パケットとして、上流バス５０６上に送信される。
【００１２】
高性能メモリ・サブシステムの設計では、総合的なシステム性能を最大化するためにメモリ・バス上の最大の利用可能な帯域幅を利用することが望ましく、また所定の動作を最少量の時間内に完了することができるように、可能な場合は常に、読み取りコマンドの待ち時間を減少させることが望ましい。当該分野では、これらの目標を達成するために、多くの方法が利用されてきた。これらの方法は、非常に高性能のメモリ装置を使用すること、メモリ装置をメモリ・コントローラに接続するために非常に広いメモリ・バスを使用すること、可能な限りプロセッサ又はメモリ・コントローラに接近して配置された１レベル以上のメモリ・キャッシュを使用すること、システム設計及びソフトウェアの最適化に基づいてバンクの開閉を行うというページ・ポリシを使用すること、メモリ・コントローラによってメモリ・プリフェッチ・アルゴリズムを使用すること等を含んでいる。これらの方法の全ては、程度の差はあれ総合的なシステム性能を改良することができるが、その多くは、総合的なシステム・コスト、物理的なシステム・サイズ、システム電力／冷却等の点で、実装するのが非常に高価につくことが分かっている。
【００１３】
現在の主メモリ・システムの解決策は、メモリ・コントローラ内で「静的」な（例えば、不変の）プリフェッチ・アルゴリズム（すなわち、一旦システムが通常の動作モードで稼働すると、その後は変更されないというプリフェッチ・アルゴリズム）を利用することができる。さらに、このプリフェッチ機能は、メモリ・コントローラからの明示的なコマンドに応答するスレーブ装置として作用するメモリ・サブシステムについて、メモリ・コントローラの回路内で実装される。現在のアプローチの他の特徴は、メモリ・サブシステムからのメモリ・アクセスが本質的に「決定的」であって、各メモリ動作に関連する時間発展をメモリ・コントローラが正確に予測することができるという点にある。メモリ・コントローラは、如何なるデータ破壊も生じないように、しかも通常の動作中に全てのメモリ仕様が満足されるように、全てのメモリ動作をスケジュールする役割を有する。
【００１４】
【特許文献１】米国特許第５５１３１３５号
【特許文献２】米国特許第６１７３３８２号
【特許文献３】米国特許第６３８１６８５号
【特許文献４】米国特許第６５１０１００号
【特許文献５】米国特許第６５８７９１２号
【特許文献６】米国特許出願第１１／４１９５８６号
【発明の開示】
【発明が解決しようとする課題】
【００１５】
現在の静的アプローチの欠点は、他の方法によれば入力コマンド・ストリームに一層良好なサービスを提供することができるとしても、（例えば、メモリ・システムが通常の動作モードで稼働している場合は）かかる入力コマンド・ストリームのためにプリフェッチ・ポリシを動的に変更することができないという点にある。コンピュータのメモリ・システムでは、プリフェッチ機能を使用すると、或るタイプのコマンド・ストリームに一層良好なサービスを提供することができるのに対し、比較的多数のランダムなメモリ・アドレスに関係する他のストリームについては、プリフェッチ機能を使用しても効果が得られないであろう。ランダムなメモリ・アドレスの場合には、プリフェッチ機能を使用すると、プリフェッチ機能から生じうる追加のメモリ・アクセス及びバス・トラフィックのために、当該コマンド・ストリームの総合性能が実際に低下することがある。このため、メモリ・ハブ装置において受信される入力コマンド・ストリームの分析に基づいて、プリフェッチ機能を使用するか否かを動的に切り替えることができるにするのが望ましいであろう。
【課題を解決するための手段】
【００１６】
本発明の第１の側面に従ったハブ装置は、入力コマンド・ストリーム・インタフェース及び適応的プリフェッチ論理装置（ＡＰＬＵ）を備える。前記入力コマンド・ストリーム・インタフェースは、前記ハブ装置に接続された１つ以上のメモリ装置に向けられる、メモリ・コントローラからのコマンドを検出する。前記ＡＰＬＵは、前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化（enabling）及び不能化（disabling）のうち何れか一方を動的に選択する。
【００１７】
本発明の第２の側面に従ったプリフェッチ・モードを選択するための方法は、ハブ装置に接続された１つ以上のメモリ装置に向けられる、メモリ・コントローラからのコマンドを検出することを含んでいる。前記コマンドは、前記メモリ装置に対するアクセス・パターンを決定するために分析される。前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択することが行われる。
【００１８】
本発明の第３の側面に従ったメモリ・システムは、メモリ・コントローラ、１つ以上のメモリ装置及びメモリ・ハブ装置を備える。前記メモリ・ハブ装置は、前記メモリ・コントローラ及び前記メモリ装置と通信関係にある。前記メモリ・ハブ装置は、入力コマンド・ストリーム・インタフェース及び適応的プリフェッチ論理装置（ＡＰＬＵ）を含む。前記入力コマンド・ストリーム・インタフェースは、前記メモリ装置に向けられる、メモリ・コントローラからのコマンドを検出する。前記ＡＰＬＵは、前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択する。
【００１９】
本発明の第４の側面に従ったメモリ・サブシステムは、１つ以上のメモリ装置及びメモリ・ハブ装置を備える。前記メモリ・ハブ装置は、入力コマンド・ストリーム・インタフェース及び適応的プリフェッチ論理装置（ＡＰＬＵ）を含む。前記入力コマンド・ストリーム・インタフェースは、前記メモリ装置に向けられる前記メモリ・コントローラからのコマンドを検出する。前記ＡＰＬＵは、前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択する。
【発明を実施するための最良の形態】
【００２０】
代表的実施形態は、メモリ・サブシステム内のデータが必要とされる前に当該データを読み取るための予測的技術を使用するとともに、現在の入力コマンド・ストリームについてプリフェッチが有利であるか否かという評価に基づいて、プリフェッチ機能を動的に活性化（可能化）するか又は非活性化(不能化）することにより、メモリ・システムの待ち時間を減少させるために利用することができる。当該分野では、メモリ・プリフェッチはメモリ階層の種々のレベルで使用されているが、主メモリに関連して一般に使用されている静的な機能は、常に可能化されるか又は常に不能化されるようになっている。メモリ・プリフェッチを使用すると、メモリ・サブシステム５０３の電力消費が増加するばかりか、プリフェッチされたデータをメモリ・コントローラ５１０に送信するためにメモリ・バスを利用することが必要になる。従って、プリフェッチされたデータが有用であるという強い確信がある場合にのみ、プリフェッチ機能を可能化することが望ましい。さもなければ、総合的なシステム性能は低下することになろう。代表的実施形態では、プリフェッチ機能がメモリ・ハブ装置５０４上に設けられていて、メモリ・コントローラ５１０によってプリフェッチ要求を発行する必要がないので、総合的なメモリ電力を節減することができる。さらに、下流のメモリ・バス５０６上でより多くの帯域幅を他の目的のために利用可能にすることができる。他の実施形態では、下流のメモリ・バス５０６上の活動が減少することに起因して、下流のメモリ・バス５０６のピン数を設計段階中に若干減少させることができる。
【００２１】
図７は、代表的実施形態で利用することができる、メモリ・ハブ装置７０８を例示するブロック図である。図７のハブ装置７０８は、図６のハブ装置５０４と同じ機能を行う。但し、図７のハブ装置７０８は、入力コマンド・ストリーム・インタフェース７０６、適応的プリフェッチ論理装置（ＡＰＬＵ）７０２及び１つ以上のプリフェッチ・バッファ７０４を介して、動的プリフェッチ機能を実行するという追加の機能を有する。ハブ装置７０８は、ハブ装置７０８に接続された１つ以上のメモリ装置５０９に向けられる、メモリ・コントローラ５１０からのコマンドを検出するための入力コマンド・ストリーム・インタフェース７０６を含む。また、ハブ装置７０８は、メモリ装置５０９に対するアクセス・パターンを決定するためにこれらのコマンドを独立的に分析するとともに、この分析の結果に基づいて、メモリ装置５０９用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するためのＡＰＬＵ ７０２を含む。
【００２２】
ＡＰＬＵ ７０２（適応的プリフェッチ論理装置）という表記は、ローカルに（例えば、ハブ装置７０８で）開始されたメモリに対するプリフェッチの可能化／不能化を制御するために使用される、回路又はソフトウェアを表す。ＡＰＬＵ ７０２は、アクセス・パターンを探すために入力コマンド・ストリームを分析し、この分析の結果に基づいて、プリフェッチ機能を可能化／不能化する。ＡＰＬＵ ７０２の内の回路又はソフトウェアは、１つ以上のアルゴリズムに基づいて次のコマンドに関連するアドレスを予測し、以前の読み取りコマンド及び現在の読み取りコマンドのアドレスを記録するためのレジスタを含み、ＡＰＬＵ ７０２によって追跡中の（又はＡＰＬＵ ７０２に対応する）メモリ装置５０９（例えば、１つ以上のメモリ装置５０９上の全てのバンク、１つのメモリ装置５０９上の１つ以上のバンク）のためにプリフェッチを可能化すべきか否かを決定するためのプリフェッチ可能化カウンタを含む。「プリフェッチ可能化カウンタ」という表記は、ＡＰＬＵ ７０２が次のアドレスを正確に予測した回数を追跡するためにＡＰＬＵ ７０２によって維持されるカウンタを表す。代表的実施形態では、ＡＰＬＵ ７０２が次のアドレスを正確に予測する場合は、プリフェッチ可能化カウンタがインクリメントされ、ＡＰＬＵ ７０２が次のアドレスを正確に予測しない場合は、プリフェッチ可能化カウンタがデクリメントされる。従って、プリフェッチ可能化カウンタは、予測の正確性の基準である。ここで、「プリフェッチ不能化しきい値」という表記は、プログラム可能な値であって、プリフェッチ可能化カウンタがこの値に到達すると、プリフェッチ機能が不能化されるような値を表す。また、「プリフェッチ可能化しきい値」という表記は、プログラム可能な値であって、プリフェッチ可能化カウンタがこの値に到達すると、プリフェッチ機能が可能化されるような値を表す。
【００２３】
代表的実施形態では、メモリ・ハブ制御７１３は、（例えば、入力コマンド・ストリーム・インタフェース７０６を介して）入力コマンド・ストリームをモニタし、復号されたコマンド（例えば、メモリ・バス５０６を介して受信されたコマンド）をＡＰＬＵ ７０２内のコマンド・ストリーム・バッファ(又はレジスタ）に渡す。このコマンド・ストリーム・バッファは、現在のコマンド情報（少なくともアドレスの一部及びコマンド・タイプの１つ以上）を格納する。次に、ＡＰＬＵ ７０２内の論理は、他の最近のコマンド活動（例えば、コマンド・ストリーム・バッファ内に格納されている以前のコマンド）を考慮して、現在のコマンドを分析しアクセス・パターンを探すことにより、最適のプリフェッチ・モードを決定する。ＡＰＬＵ ７０２は、これを複数回にわたって複製することができるが、代表的実施形態は、メモリの全体について動作する単一のＡＰＬＵ ７０２を備えることから、メモリ・サブシステム（例えば、メモリ・バンク）の最小の選択可能部分について各々が動作する１つ以上のＡＰＬＵ ７０２を備えることまでを包含する。複数のＡＰＬＵ ７０２を備える代表的実施形態では、コマンドは、当該コマンドに関連するアドレスに基づいて、対応するＡＰＬＵ ７０２に向けられる。代表的実施形態では、選択されたプリフェッチ・モードは、メモリ・ハブ制御７１３に通知され、当該メモリ・ハブ制御７１３は、メモリ装置５０９にアクセスするときに、選択されたプリフェッチ・モードを適用する。
【００２４】
説明の便宜上、本明細書で説明する代表的実施形態は、１つのアルゴリズム及び１つのバンクのために実装されるＡＰＬＵ ７０２を備えるものとする。しかし、ＡＰＬＵ ７０２は、メモリ・サブシステム５０３の全てのバンクを独立的に制御するように複製することができる。本明細書で説明する例では、プリフェッチ機能は、デフォルトによって不能化される（すなわち、プリフェッチ・モードが不能化される）。当該分野で公知のプリフェッチ・アルゴリズムのうち制御対象のメモリのサイズに依存しないプリフェッチ・アルゴリズムは、ハブ装置７０８で受信される入力コマンド・ストリームに基づいて、最適のプリフェッチ・モードを決定するように実装することができる。プリフェッチ・モードを可能化すべきか否かを決定するために利用可能なバンク・アルゴリズムの１つの例は、以前のアクセスの行ストライド(行幅）に基づいて、「次のアドレス」を生成するというものである。ストライドを計算するには、以前の行アドレスを保存し、以前の行アドレスと現在の行アドレスの間の差を計算すればよい。以前のアドレスと現在の行アドレスの間の差を現在の行アドレスに加えることにより、次の行アドレスが生成される。これは次のように表すことができる。
次の行アドレス＝現在の行アドレス＋（現在の行アドレス−以前の行アドレス）
【００２５】
図８及び図９は、ＡＰＬＵ ７０２の動作に関する、このアルゴリズムの代表的な使用例を示す。図８及び図９のプロセスは、（例えば、ハブ装置７０８において）アクセス・パターンを決定するためにコマンドを独立的に分析するとともに、その分析の結果に基づいて、プリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択する、という代表的実施形態に相当する。図８及び図９は、図面を作成する便宜上、２葉に分割されているが、図８の右端に示すように図８及び図９を結合して一体として参照すべきものである。代表的実施形態では、プリフェッチ機能は、当該機能を可能化するための決定がハブ装置７０８で行われるという点でローカルである。図８及び図９は、ＡＰＬＵ ７０２によって実装することができる、プリフェッチ・モードを選択するための方法を示す。この方法は、ハブ装置７０８に接続された１つ以上のメモリ装置５０９に向けられる、メモリ・コントローラ５１０からのコマンドを（例えば、入力コマンド・ストリーム・インタフェース７０６を介して）検出することを含む。これらのコマンドは、メモリ装置５０９に対するアクセス・パターンを決定するために分析される。その後、ＡＰＬＵ ７０２は、前記分析の結果に基づいて、メモリ装置５０９用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択する。
【００２６】
図８のブロック８０２で、ハブ装置７０８は、例えば入力コマンド・ストリーム・インタフェース７０６を介して、そのサブシステム内のメモリ装置に関連するメモリ・バス上のコマンド・ストリームをモニタする。代表的実施形態では、入力コマンド・ストリーム・インタフェース７０６は、入力コマンド・ストリームを「スヌープ」し、解読されたコマンド及びアドレスをＡＰＬＵ ７０２に送信する。他の代表的実施形態では、入力コマンド・ストリーム・インタフェース７０６は、メモリ・ハブ制御７１３に送信される際にリンク・インタフェース６０４によって解読されるアドレス及びコマンド情報をモニタする。他の代表的実施形態では、入力コマンド・ストリーム・インタフェース７０６は、入力コマンド・ストリームを「スヌープ」している、メモリ・ハブ制御７１３内にあるモジュールからの出力を利用する。入力コマンド・ストリーム・インタフェース７０６は、メモリ制御７１３内又はＡＰＬＵ ７０２内に設けることができる。
【００２７】
ブロック８０４で決定されるように、コマンドが受信される場合、ブロック８０６で、ハブ装置７０８用の「マスタ・プリフェッチ可能化」スイッチがセットされているか否かを決定する。マスタ・プリフェッチ可能化スイッチがセットされていると、メモリ・サブシステムは、プリフェッチ・モード及び非プリフェッチ・モードの間で動的に切り替わることができる。また、そういうものとして、ハブ装置７０８上のプリフェッチ・バッファ７０４は、ハブ装置７０８の指示の下で、以前に読み取られたプリフェッチ・データを保持することができる。一方、ブロック８０６で決定されるように、マスタ・プリフェッチ可能化スイッチがセットされていなければ、プリフェッチ回路（例えば、ＡＰＬＵ ７０２及びプリフェッチ・バッファ７０４）に関連して如何なるアクションも取られない。代表的実施形態では、マスタ・プリフェッチ可能化スイッチがセットされていない場合、プリフェッチ回路は、メモリ・サブシステムの電力消費を最小化するように低電力状態に留まる。
【００２８】
代表的実施形態では、システム初期化中又はシステム動作中の任意の時点でセットすることができる、「マスタ・プリフェッチ可能化」スイッチを可能化する前に、プリフェッチ・バッファ７０４、ＡＰＬＵ ７０２及び他の関連するプリフェッチ回路は、その後の時点で受信される任意のコマンドが適正に実行され且つデータの完全性が維持されるように、リセットされる。ブロック８０６で決定されるように、マスタ・プリフェッチ可能化スイッチがセットされていると、ブロック８０８で、現在のコマンドが読み取りコマンドであるか否かを決定する。現在のコマンドが読み取りコマンドでなければ、ブロック８１０で、現在のコマンドが書き込みコマンドであるか否かを決定する。現在のコマンドが読み取りコマンド及び書き込みコマンドの何れでもなければ、プリフェッチ回路は、現在のコマンドによって影響されないので、ブロック８０２に戻って、他のコマンドについてコマンド・ストリームのモニタを継続する。
【００２９】
ブロック８１０で決定されるように、現在のコマンドが書き込みコマンドであれば、ブロック８１２で、この書き込みコマンドのアドレスがプリフェッチ・バッファ７０４内にある任意の読み取りデータのアドレスと一致するか否かを決定する。一致が存在すれば、ブロック８１４で、当該アドレスに対応するプリフェッチ・バッファ７０４の内容を新しいデータで上書きする。他の代表的実施形態では、この状態を反映するように１つ以上のタグ・ビットをセットするか、又はこの記憶位置に関連するアドレスをリセット（例えば、０）状態にセットすることにより、プリフェッチ・バッファ７０４の内容が無効化される。
【００３０】
ブロック８０８で決定されるように、現在のコマンドが読み取りコマンドであれば、ブロック８１６で、読み取りコマンドを、当該読み取り動作のアドレスに関連するＡＰＬＵ ７０２に送信する（この例では、ＡＰＬＵ回路は各バンクごとに実装される）。ブロック８１８で、ＡＰＬＵ ７０２は、ＡＰＬＵアルゴリズムに基づいて次のアドレス（本明細書では、将来のコマンドの予想アドレスとも称する）を計算する。そのアドレス及び現在のアドレスは、アクセス・パターンが存在するか否かを決定するために以後のメモリ・アクセスを分析する際にＡＰＬＵ ７０２が使用することができるように、レジスタ内に格納される。図９のブロック８２０で決定されるように、このＡＰＬＵ ７０２について動的プリフェッチが可能化されていると、ブロック８３０で、次のアドレスにおける読み取りを、可能な実行のために、低優先順位の読み取りとしてキューに追加する。代表的実施形態では、これらのプリフェッチ・コマンドは、入力チャネル・メモリ・バス５０６上で受信される主流のチップ・コマンドよりも低い優先順位を有し、このため、メモリ・ハブ制御７１３によって処理されるコマンド内には優先順位標識が存在する。
【００３１】
ブロック８２２では、現在のアドレスがＡＰＬＵ ７０２からの予測されたアドレスと一致するか否かを決定する。現在のアドレスが予測されたアドレスと一致しなければ、ブロック８２４で、ＡＰＬＵ ７０２用のプリフェッチ可能化カウンタをデクリメントする（但し、このデクリメント動作は、プリフェッチ可能化カウンタの値が０でないことを条件とし、その値が０であれば、プリフェッチ可能化カウンタの値は０に留まる）。ブロック８２６で決定されるように、プリフェッチ可能化カウンタの値がプリフェッチ不能化しきい値以下であれば、ブロック８２８で、このＡＰＬＵ ７０２用のプリフェッチを不能化する。その後、図８のブロック８０２に戻り、そこでＡＰＬＵ ７０２は、それにアドレスされる次の読み取りコマンドを待機する。
【００３２】
代表的実施形態では、現に検出されているアドレス・パターン（例えば、ストライド・アドレス・パターン）についてプリフェッチが発行中である状況で、当該現に検出されているアドレス・パターンと整合するアクセス・パターンに従わない１つ以上の読み取りアクセスを受信する場合、ＡＰＬＵ ７０２は、１つ以上の無関係な中間アクセスを受信するにも拘わらず、以後の時間にメモリ・アクセスの検出を継続することを阻止されないであろう。「ストライド割り込み」カウンタは、プリフェッチ可能化カウンタがプリフェッチ可能化しきい値を満たすか又はこれを超えることに起因して動的プリフェッチを可能化した後の、無関係な読み取り動作の数をカウントするために利用される。もし、プリフェッチ可能化カウンタがプリフェッチ可能化しきい値に到達する前に、以前に格納された「次の読み取りアドレス」と整合するコマンドが受信されるならば、以前に検出されたアクセス・パターンと整合するアドレスのプリフェッチングが継続するであろう。代表的実施形態では、ストライド割込みカウンタの深さは、以前のプリフェッチ・アクセス・パターンと整合するコマンドを受信する際に当該以前のプリフェッチ・アクセス・パターンを継続することができるように、「現在」及び「次のアドレス」レジスタの深さと整合する。他の代表的実施形態では、「予測されたアドレス・ミス限界カウンタ」は、動的プリフェッチが可能化されている状況で、予定数（例えば、２、４、８等）の無関係なアクセスが受信されると、直ちに動的プリフェッチ・モードを不能化するか又はプリフェッチ可能化カウンタをプリフェッチ可能化しきい値より下の値にリセットするために利用される。
【００３３】
図９のブロック８２２で、現在の読み取りコマンドからのアドレスが以前の読み取りコマンドから予測された（計算された）読み取りアドレスと一致することを決定すると、ブロック８３２で、プリフェッチ可能化カウンタをインクリメントする。ブロック８３４で、動的プリフェッチ・モードが可能化されていることを決定すると、ブロック８３６で、現在の読み取りコマンドをプリフェッチ・バッファ７０４内の対応するデータと突き合わせる。他の代表的実施形態では、プリフェッチ機能が現に可能化されていない場合に、プリフェッチ・バッファ７０４の内容をチェックする。というのは、以前のアクセスに関してプリフェッチが完了していることがあり、そのため、プリフェッチ・バッファ７０４が、以前のコマンドに起因する１つ以上のプリフェッチを保持していることがあるからである。ブロック８３８では、現在の読み取りコマンドを取り消す（この取り消しは、ＡＰＬＵ ７０２によって計算された「次のアドレス」を使用する、保留中のプリフェッチには影響しない）。もし、データがプリフェッチ・バッファ７０４内に存在しなければ、「現在の」読み取りコマンドを発行し、その後にＡＰＬＵ ７０２からの「次のアドレス」を使用してプリフェッチ・コマンドを（より低い優先順位で）発行する。次に、動的プリフェッチ・モードが可能化されているか否かに拘わらず、ブロック８４０に進み、そこで、プリフェッチ可能化カウンタの値をチェックして、この値がプリフェッチ可能化しきい値以上であるか否かを確認する。そうであれば、ブロック８４２で、動的プリフェッチ・モードを可能化する。その後、図８のブロック８０２に戻り、そこでＡＰＬＵ ７０２は、それにアドレスされる次の読み取りコマンドを待機する。
【００３４】
代表的実施形態では、プリフェッチ・バッファ７０４のサイズは、その以前のエントリを無効化するために使用される方法を決定するであろう。可変のバッファ・サイズを有する代表的実施形態は、動的プリフェッチ・モードを不能化するようなコマンドを受信するときに、プリフェッチ・バッファ７０４の内容を無効化する。他の代表的実施形態に含まれる固定サイズのプリフェッチ・バッファ７０４は、アドレス情報及び当該プリフェッチ・バッファ７０４の内容が有効であるか否かを示すタグに加えて、プリフェッチ・カウント（例えば、８）を保持する。一旦８つのバッファ位置が充満されると、９番目のプリフェッチは、ＦＩＦＯ記憶装置として実装することができる、プリフェッチ・バッファ７０４内の最も古いエントリを置換し、そしてこのプロセスは、より多くのプリフェッチが生じるときに同様にして継続するであろう。代表的実施形態では、前記タグが「無効」にセットされるのは、そのアドレスに対する書き込み動作を受け取り、しかもその書き込みデータがそのアドレス用のデータに上書きするために使用されない場合である。代表的実施形態では、前記タグの無効化は、テスト・モード中、データ・エラーを（例えば、当該データのローカルＥＣＣチェックを介して）検出する際のメモリ・リセット中、又は他のモード中に行われる。他の代表的実施形態では、一旦プリフェッチ・バッファ７０４の内容が現在の読み取りコマンドによって読み取られたときに、そのエントリを無効化することにより、バッファ・スペースを継続的に解放する。
【００３５】
以下の記述は、ストライドされたアドレスに対する一連の読み取りコマンドがハブ装置７０８によって受信される後に、ＡＰＬＵの分析アルゴリズムがどのようにしてストライドされたアドレスを検出及び予測し、すなわちアクセス・パターンを決定し、その結果、プリフェッチ・バッファ７０４の突き合わせが行われる、ということを説明するためのものである。
【００３６】
＜第１のコマンド＞：アドレス「ｎ」のための読み取りコマンドを受信する（説明の便宜上、このコマンドは、初期化後の最初の読み取りコマンドであるものとする）。動的プリフェッチは可能化されず、プリフェッチ可能化カウンタの値は０であり、そしてこのコマンドがアドレス「ｎ」のために実行される。デフォルトのストライド値に基づいて、「次のアドレス」が計算される。図８のブロック８１８に関連して説明したように、現在のアドレス及び予測されたアドレスがレジスタ内に格納される。
【００３７】
＜第２のコマンド＞：アドレス「ｎ＋ｍ」のための読み取りコマンドを受信する。ＡＰＬＵ論理は、「ｍ」のストライド・アドレスを計算し、「ｎ＋ｍ＋ｍ」（ｎ＋２ｍ）の次のアドレスを計算し、これを格納する。動的プリフェッチは可能化されず、現在の読み取りは以前の読み取りによって予測された「次のアドレス」と一致せず（アルゴリズムは「次のアドレス」を計算する実行可能な手段を有さない）、その結果、プリフェッチ可能化カウンタはインクリメントされない。この読み取りがアドレス「ｎ＋ｍ」のために実行される。
【００３８】
＜第３のコマンド＞：アドレス「ｎ＋２ｍ」のための読み取りコマンドを受信する。ＡＰＬＵ論理は、「ｍ」のストライド・アドレスを再び計算し、「ｎ＋３ｍ」の次のアドレスを計算する。この時点において、現在のアドレスが以前に計算された「次のアドレス」と一致するので、プリフェッチ可能化カウンタがインクリメントされる。もし、プリフェッチ可能化しきい値が１（プログラム可能な値）にセットされているならば、このしきい値が満足され、「ｎ＋３ｍ」のためのプリフェッチが低優先順位（例えば、受信された読み取りコマンドの実行後に、このコマンドが優先順位を有する）でスケジュールされるであろう。現在の読み取りが「ｎ＋２ｍ」のために実行され、その後に、「ｎ＋３ｍ」のためのプリフェッチが実行される。
【００３９】
＜第４のコマンド＞：アドレス「ｎ＋３ｍ」のための読み取りコマンドを受信する。ＡＰＬＵ論理は、「ｍ」のストライド・アドレスを再び計算し、「ｎ＋４ｍ」の次のアドレスを計算する。現在のアドレスが以前に計算された次のアドレスと一致するので、プリフェッチ可能化カウンタがインクリメントされる。もし、プリフェッチ可能化しきい値が満足されるならば、アドレス「ｎ＋４ｍ」のためのプリフェッチが（低優先順位で）スケジュールされる。その間、「３ｍ」の内容がプリフェッチ・バッファ７０４内で検出されるので（第３のコマンドによって開始されたプリフェッチが完了したため）、読み取りは現在のアドレス「ｎ＋３ｍ」のために取り消される。「ｎ＋４ｍ」のプリフェッチが発行される。
【００４０】
ストライド距離「ｎ」と整合する読み取り要求が受信される限り、次のアドレスのプリフェッチが生じ、そして次のアドレスを受信する前にプリフェッチが完了しているならば、現在の読み取り要求はプリフェッチ・バッファ７０４内で検出されるであろう。代表的実施形態では、もし、スケジュールされたプリフェッチが開始されているが、現在の読み取りコマンドによってその後に要求されたアドレスに対して完了していなければ、このプリフェッチ・コマンドに対する応答は、現在の読み取りコマンドによって使用されるであろう。もし、プリフェッチ・コマンドがメモリに対してまだ発行されていなければ、プリフェッチ・コマンドは取り消され、そして現在の読み取りコマンドが通常のように処理されるであろう。
【００４１】
他の代表的実施形態では、一旦ストライドされたコマンド・ストリームが検出されると、複数のプリフェッチを完了させることにより、より大きな効率が得られるであろう。このことが特に重要である状況は、プリフェッチ・コマンドの完了に先立って、次のストライド読み取りコマンドが受信される、というものである。この状況では、ＡＰＬＵ ７０２は、２つ以上の次の読み取りアドレスを計算するとともに、これらのストライドされた読み取りコマンドについて総合的なメモリ性能を最大化するように、これらの各々を順番にスケジュールするであろう。前述の例では、第３のコマンドを受信する際、第３のコマンドが共通のストライド長さ（ｍ）を有することが分かるので、ＡＰＬＵ ７０２は、複数のプリフェッチ（例えば、少なくとも「ｎ＋３ｍ」及び「ｎ＋４ｍ」のためのプリフェッチ）を発行するとともに、その時点で又はこのストライドが１回以上確認された時点で、プリフェッチ可能化カウンタをインクリメントすることができる。
【００４２】
ＡＰＬＵプリフェッチ・エンジンの粒度は、最大で各バンク各アルゴリズムごとに実装することができるが、各ランクごと、各メモリ装置ごと、又は各ハブごとに実装することもできる。ＡＰＬＵ回路の一部は、１つ以上のコマンド応答及び復号論理（例えば、図８及び図９に示されているもの）を含み且つ共有されたプリフェッチ・バッファを使用する、１つ以上のＡＰＬＵエンジンによって共有することができる。
【００４３】
プリフェッチが可能化される場合、プリフェッチされたデータは、プリフェッチ・バッファ７０４内に格納される。また、プリフェッチ・バッファ７０４は、当該プリフェッチされたデータのためにアクセスされたアドレスの少なくとも一部を含むであろう。アドレス・マッチは、現在の読み取りコマンドがプリフェッチ・バッファ７０４内の内容と一致するか否かを決定するための代表的な方法として使用される。代表的実施形態では、プリフェッチ・バッファ７０４のコヒーレンシを維持するために、プリフェッチ・バッファ７０４内に存在するアドレスを対象とする書き込みコマンドは、そのアドレスに関連するデータに上書きするであろう。
【００４４】
代表的実施形態は、通常のメモリ・サブシステム構造において予想される時点よりも早い時点で又は当該予想される時点よりも遅い時点でメモリ・データをメモリ・コントローラ５１０に戻すことができるように、メモリ・コントローラ５１０への全てのメモリ読み取り転送に関連する「タグ」ビットを使用することを含む。さらに、かかるタグ・ビットは、メモリ・コントローラ５１０によって要求されなかったが、（メモリ・コントローラ５１０の直接的又は間接的な制御下にあるか又はそのような制御下になくてもよい）ローカルのアルゴリズムに基づいてメモリ・サブシステム５０３によってプリフェッチされたメモリ・アクセスを識別するために使用することができる。かかるタグ・ビットは、メモリ・アクセスをメモリ・コントローラ５１０によるメモリ要求に一致させるために十分な情報を含む。代表的実施形態では、かかるタグ・ビットは、メモリ・アクセスに関連するアドレス全体を含むが、代替実施形態では、かかるアドレスのサブセットで十分である。タグ・ビットの使用例は、２００６年５月２２日に出願された米国特許出願第１１／４１９５８６号明細書に記載されている。
【００４５】
図８及び図９は、プリフェッチ機能を可能化／不能化すべき時点を決定するために（例えばハブ装置７０８で）行われる代表的な分析方法を示す。ハブ装置７０８にアクセス可能な情報に基づいて分析を行うことができる限り、ハブ装置７０８において他の分析法を実装することもできる。当該分野では、多くのプリフェッチ分析法が公知であり、そのうちの任意のものを本発明の範囲から逸脱することなく利用することができる。
【００４６】
他の代表的実施形態では、前述の諸機能は、メモリ・コントローラ５１０内で実装され、プリフェッチ・モードのセッティングは、メモリ・コントローラ５１０によって使用されるアルゴリズムに基づいて動的に行われ、そしてメモリ・コントローラ５１０は、メモリ・バス５０６又は第２の低速バス(例えば、メモリ・コントローラ５１０、集積化プロセッサ及びハブ装置５０４の間の通信を許容するＳＭＢｕｓ、Ｉ２Ｃバス又は他のバス）を介してハブ装置７０８に送信されるコマンドによって、ハブ装置７０８の動作モードを修正する。
【００４７】
代表的実施形態は、コンピュータ・システムを含み、そのプロセッサ及びＩ／Ｏ装置（例えば、要求元）は、メモリ・コントローラ及びメモリ装置を含むメモリ・システムに相互接続される。代表的実施形態では、メモリ・システムは、１セットのハブ装置（「ハブ・チップ」とも称する）にインタフェースされたプロセッサ又はメモリ・コントローラを含む。これらのハブ装置は、メモリ装置に接続及びインタフェースされる。代表的実施形態では、メモリ・システムは、データ及び命令を格納するための複数のメモリ装置から成る物理メモリ配列を含む。これらのメモリ装置は、メモリ・コントローラに対し直接的に接続するか、又はハブ装置を介してメモリ・コントローラに間接的に接続することができる。代表的実施形態では、ハブ・ベースのメモリ・システムは、メモリ・コントローラに接続された通信ハブ装置にメモリ装置を接続している。また、代表的実施形態では、このハブ装置は、２つ以上のハブ装置を含むメモリ・モジュール（例えば、単一の基板又は物理装置）上に設けられ、そして当該２つ以上のハブ装置は、メモリ・バスを介して互いに（及び可能であれば、他のメモリ・モジュール上に設けられた他のハブ装置に）カスケード相互接続される。
【００４８】
ハブ装置は、分岐接続又は２地点間バス構造（さらに、かかるバス構造は１つ以上の追加のハブ装置に対するカスケード接続を含むことができる）を通して、メモリ・コントローラに接続することができる。メモリ・アクセス要求は、メモリ・コントローラからバス構造（例えば、メモリ・バス）を介して選択されたハブに送信される。ハブ装置は、受信されたメモリ・アクセス要求に応答してこれを変換することにより、ハブ装置からの書き込みデータを格納するか又は読み取りデータをハブ装置に供給するようにメモリ装置を制御する。読み取りデータは１つ以上の通信パケットへ符号化され、メモリ・バスを通してメモリ・コントローラに送信される。
【００４９】
代替実施形態では、メモリ・コントローラは、これを１つ以上のプロセッサ・チップ及びサポート用論理と統合して、１つ以上のプロセッサ又はサポート用論理を搭載したマルチチップ・キャリア内に含まれる、個別のチップ（一般に「ノースブリッジ」チップと呼ばれるもの）内にパッケージ化するか、又はアプリケーション／環境と最も良く適合する種々の代替形式でパッケージ化することができる。これらの解決策のうち任意のものは、１つ以上のハブ・チップ又はメモリ装置に接続するために、１つ以上の狭い／高速リンクを使用してもよいし、そのようなリンクを使用しなくてもよい。
【００５０】
メモリ・モジュールは、ＤＩＭＭ、シングル・インライン・メモリ・モジュール（ＳＩＭＭ）又は他のメモリ・モジュール、或いはカード構造を含む、種々の技術によって実装することができる。一般に、ＤＩＭＭは、ランダム・アクセス・メモリ（ＲＡＭ）集積回路又はダイを小さな回路ボードの一方又は両方の表面に備え、信号又は電源ピンを当該回路ボードの両方の表面に備えたものを表す。一方、ＳＩＭＭは、ＲＡＭ集積回路又はダイを小さな回路ボード又は基板の一方又は両方の表面に備え、１つの長いエッジに沿って単一行のピンを備えたものを表す。図１に示すＤＩＭＭは、１６８本のピンを含むが、その後のＤＩＭＭは、１００本ないし３００本以上のピンを有するように構成されている。代表的実施形態では、メモリ・モジュールは、２つ以上のハブ装置を含むことができる。
【００５１】
代表的実施形態では、メモリ・バスは、メモリ・モジュール上のハブ装置に対する分岐接続を使用するか、又は２地点間接続を使用して構築される。下流バスと呼ばれるコントローラ・インタフェースの下流部分（又はメモリ・バス）は、メモリ・モジュール上のハブ装置に送信される、コマンド、アドレス、データ及び他の情報（動作、初期化又はステータス情報）を含むことができる。代表的実施形態では、下流のメモリ・バスは、メモリ・コントローラをハブ装置に接続するか、又は１つのハブ装置をメモリ・コントローラから離れた他のハブ装置に接続する。各ハブ装置は、バイパス回路を介して後続のハブ装置に情報を単に転送したり、情報が下流のハブ装置を目標としていると決定する場合は、情報を受け取り、解釈し、再駆動したり、情報の宛先を決定するために最初にその情報を解釈せずに、その情報のうちの一部又は全てを再駆動したり、或いはこれらのオプションのサブセット又はその組み合わせを実行することができる。代表的実施形態では、下流バスは、メモリ・システムを制御するために使用されるプロトコルを有する。
【００５２】
上流バスと呼ばれるメモリ・バスの上流部分は、要求された読み取りデータ、エラー、ステータス又は他の動作情報を戻す。この情報は、バイパス回路を介して後続のハブ装置へ転送したり、この情報が上流のハブ装置又はプロセッサ複合体内のメモリ・コントローラを目標としていると決定する場合は、この情報を受け取り、解釈し、再駆動したり、この情報の宛先を決定するために最初にこの情報を解釈せずに、この情報のうちの一部又は全てを再駆動したり、或いはこれらのオプションのサブセット又はその組み合わせを実行することができる。実施形態では、上流バスは、メモリ・システムからの応答を受信するために使用されるプロトコルを有する。
【００５３】
代替実施形態では、２地点間バスは、下流の通信（メモリ・コントローラからメモリ・モジュール上のハブ装置への通信）中にバス情報を１つ以上の可能なハブ装置に供給するとともに、上流の通信（メモリ・モジュール上のハブ装置からメモリ・コントローラへの通信）中にバス情報をしばしば１つ以上の上流ハブ装置を介して供給するための、スイッチ又はバイパス機構を含む。他の実施形態は、当該分野では公知のバスの終端用モジュール又はダミー基板（continuity module）を使用することを含み、かかるダミー基板をメモリ・コントローラとカスケード相互接続メモリ・システム内で最初に装着したハブ装置（すなわち、１つ以上のメモリ装置と通信関係にあるハブ装置）との間に配置することができる。このようにすると、メモリ・コントローラと最初に装着したハブ装置との間にある任意の中間ハブ装置位置は、たとえ１つ以上の中間ハブ装置位置がハブ装置を含んでいないとしても、メモリ・コントローラと最初に装着したハブ装置との間を通過する情報を受信することができる。このダミー基板は、任意のバス制限に従うことを条件として、最初の位置（メモリ・コントローラに最も近い位置）、最後の位置（終端点の直前にある位置）又はその中間位置を含む、任意のモジュール位置に設置することができる。マルチモジュール・カスケード相互接続バス構造においてダミー基板を有利に使用するには、メモリ・モジュール上の中間のハブ装置を除去し、当該中間のハブ装置を除去した後にもシステムが継続的に動作するように、当該中間のハブ装置をダミー基板と置き換えるようにするとよい。より一般的な実施形態では、このダミー基板は、その入力から対応する出力まで全ての必要な信号を転送するための相互接続ワイヤを含むか、又はリピータ装置を通して再駆動されてもよい。さらに、このダミー基板は、不揮発性記憶装置（例えば、ＥＥＰＲＯＭ）を含むことができるが、主メモリ装置を含まないであろう。
【００５４】
代表的実施形態では、メモリ・システムは、カスケード相互接続メモリ・バスによってメモリ・コントローラに接続された１つ以上のメモリ・モジュール上に１つ以上のハブ装置を含むが、２地点間バス、分岐接続メモリ・バス又は共用バスのような他のメモリ構造も実装することができる。使用される信号方法、目標動作周波数、スペース、電力、コスト等の制約に依存して、種々の代替バス構造を考慮することができる。２地点間バスは、分岐信号線、スイッチ装置又はスタブを有するバス構造と比較して信号の劣化が少ないという理由で、電気的な相互接続を備えたシステムにおいて最適の性能を提供することができる。しかし、複数の装置又はサブシステムとの通信を必要とするシステム内で使用すると、この方法は、追加のコンポーネントに伴うコスト及びシステム電力の増加に帰着するばかりか、中間のバッファリング又は再駆動を必要とするために潜在的メモリ密度を減少させることがある。
【００５５】
また、図面には示されていないが、メモリ・モジュール又はハブ装置は、「プレゼンス・ディテクト」バス、Ｉ２Ｃバス又はＳＭＢｕｓのような、別個のバスを含むことができる。このバスは、（一般に、起動後に）ハブ装置又はメモリ・サブシステムの属性を決定すること、障害又はステータス情報をシステムに報告すること、起動後又は通常の動作中にハブ装置又はメモリ・サブシステムを構成することを含む、１つ以上の目的のために使用される。また、このバスは、そのバス特性に依存して、ハブ装置又はメモリ・モジュールからメモリ・コントローラに対し動作の有効な完了を報告したり、メモリ・コントローラ要求の実行中に生じる障害を識別するための手段を提供することができる。
【００５６】
２地点間バス構造と同様の性能は、スイッチ装置を追加することによって得ることができる。これらの及び他の解決策は、２地点間バスの特性の多くを維持しつつも、より低い電力で増加したメモリ・パッケージ化密度を提供する。分岐接続バスは、より低い動作周波数に制限されるとはいえ、多くのアプリケーションについては有利なコスト／性能の代替的な解決策を提供する。光バスの解決策は、２地点間又は分岐接続アプリケーションの何れかにおいて、著しく増加した周波数及び帯域幅を許容するが、コストとスペースの点で不利である。
【００５７】
「バッファ」又は「バッファ装置」という用語は、（コンピュータ内で使用されるような）一時記憶装置、特に或るレートで情報を受け取り且つ他のレートでその情報を伝える一時記憶装置を表す。代表的実施形態では、バッファは、２つの信号（例えば、変更される電圧レベル又は電流能力）間の両立性を提供する電子装置である。「ハブ」という用語は、「バッファ」という用語と交換可能に使用されることがある。ハブは、他の幾つかの装置に接続される、複数のポートを含む装置である。ポートは、対応するＩ／Ｏ機能性にサービスを提供するインタフェースの一部である（例えば、ポートは、２地点間リンクのうちの１つ又はバスを介してデータ、アドレス及び制御情報を送信及び受信するために利用することができる）。ハブは、幾つかのシステム、サブシステム又はネットワークを互いに接続するための中心の装置とすることができる。受動ハブは、単にメッセージを転送するに過ぎないのに対し、能動ハブ（リピータ）は、データのストリームを増幅及びリフレッシュすることにより、距離とともに増大する減衰を補償する。「ハブ装置」という用語は、メモリ機能を行うための論理（ハードウェア又はソフトウェア）を含む、ハブ・チップを表す。
【００５８】
「バス」という用語は、コンピュータ内の２つ以上の機能装置を接続する複数セットの導体（例えば、ワイヤ及び集積回路内の印刷回路ボードの配線又は接続）のうちの１つを表す。データ・バス、アドレス・バス及び制御バスは、それらの名前に拘わらず、多くの場合に互いに他を必要としているので、全体として単一のバスを構成する。バスは、各々が２つ以上の接続点を有する複数の信号線を含むことがあり、これらの信号線は、２つ以上のトランシーバ、送信機又は受信機を電気的に接続する、主伝送パスを形成する。「バス」という用語とは対照的に、「チャネル」という用語は、メモリ・システム内のメモリ・コントローラに関連づけられるような「ポート」の機能を記述するためにしばしば使用され、１つ以上のバス又は複数セットのバスを含むことがある。「チャネル」という用語は、メモリ・コントローラ上のポートを表す。しかし、この用語は、一般にはＩ／Ｏ又は他の周辺装置と関連して使用され、例えば、プロセッサ又はメモリ・コントローラと１つ以上のメモリ・サブシステムのうちの１つとの間のインタフェースを表すために使用されることが多い。
【００５９】
「デイジー・チェーン」という用語は、バス・ワイヤリング構造であって、例えば、装置Ａが装置Ｂにワイヤされ、装置Ｂが装置Ｃにワイヤされ、以下同様にして各装置がワイヤされるようなバス・ワイヤリング構造を表す。一般に、最後の装置は、抵抗器又は終端子にワイヤされる。単純なバスとは対照的に、全ての装置が同一の信号を受信するか、又は各装置は１つ以上の信号を修正してそれらを次の装置に渡すことができる。「カスケード」又は「カスケードは相互接続」という用語は、一連のステージ(装置）又は相互接続されたネットワーキング装置(例えば、ハブ）の集合を表す。かかるハブは、論理的なリピータとして動作するとともに、既存のデータ・ストリーム中にデータをマージすることを可能にする。また、「２地点間バス」又は「リンク」という用語は、各々が１つ以上の終端子を含むことができる、複数の信号線又はそのうちの１つを表す。２地点間バス又はリンクでは、各信号線は、２つのトランシーバ接続点を有し、その各トランシーバ接続点は、送信回路、受信回路又はトランシーバ回路に接続される。「信号線」という用語は、少なくとも１つの論理的な信号を伝送するために使用される１つ以上の導電体又は光回線（optical carrier）を表す。一般に、かかる導電体又は光回線は、単一の回線若しくは２つ以上の回線として、又は対より線、並列若しくは同心円式のものとして構成される。
【００６０】
一般に、メモリ装置は、主としてメモリ（記憶）セルから構成される集積回路として定義され、ＤＲＡＭ（動的ランダム・アクセス・メモリ）、ＳＲＡＭ（静的ランダム・アクセス・メモリ）、ＦｅＲＡＭ（強誘電性ＲＡＭ）、ＭＲＡＭ（磁気ランダム・アクセス・メモリ）、フラッシュ・メモリ、情報を電気的、光学的、磁気的、生物学的又は他の形態で格納する他の形式のランダム・アクセス・メモリ等を含む。動的メモリ装置のタイプには、ＦＰＭ ＤＲＡＭ（高速ページ・モード動的ランダム・アクセス・メモリ）、ＥＤＯ（拡張データ・アウト）ＤＲＡＭ、ＢＥＤＯ（バーストＥＤＯ）ＤＲＡＭ、ＳＤＲ（単一データ・レート）同期ＤＲＡＭ、ＤＤＲ（ダブル・データ・レート）同期ＤＲＡＭ、又はＤＤＲ２、ＤＤＲ３、ＤＤＲ４のような今後期待される後継装置、及びグラフィックスＲＡＭ、ビデオＲＡＭ、ＬＰ ＲＡＭ（低消費電力ＤＲＡＭ）のような関連する技術のものがあり、これらは、しばしば関連するＤＲＡＭに見られる基本的な機能、特徴又はインタフェースに基づいている。
【００６１】
メモリ装置は、チップ（ダイ）又は種々のタイプ及び構成を有する単一若しくはマルチチップ・パッケージの形式で利用することができる。マルチチップ・パッケージでは、メモリ装置は、他のメモリ装置、論理チップ、アナログ装置及びプログラム可能な装置のような他のタイプの装置とパッケージ化され、また抵抗器、コンデンサ及び誘導子のような受動装置を含むことができる。これらのパッケージは、統合化ヒートシンク又は他の冷却手段を含み、これを、中間キャリア又は他の直近のキャリア又は熱除去システムに接続することができる。
【００６２】
モジュール・サポート装置（バッファ、ハブ、ハブ論理チップ、レジスタ、ＰＬＬ、ＤＬＬ、不揮発性メモリ等を含む）は、技術、電力、スペース、コスト及び他のトレードオフに基づいて、複数の個別チップ又はコンポーネントから構成することができ、複数の個別チップとして１つ以上の基板上で組み合わせることができ、単一のパッケージ上で組み合わせられることができ、さらには単一デバイス上に統合することもできる。さらに、抵抗器、コンデンサのような種々の受動装置の１つ以上は、技術、電力、スペース、コスト及び他のトレードオフに基づいて、サポート・チップ・パッケージ上に統合することができ、或いは基板、ボード又は未加工のカード自体へ統合することができる。これらのパッケージは、統合化ヒートシンク又は他の冷却手段を含み、これを、中間キャリア又は他の直近のキャリア又は熱除去システムに接続することができる。
【００６３】
メモリ装置、ハブ（バッファ）、レジスタ、クロック装置、受動装置、他のメモリ・サポート装置又はコンポーネントを、メモリ・サブシステム又はハブ装置に接続するためには、電気的、光学的又は代替手段を介して２つ以上の装置間の通信を可能にするための、ハンダ相互接続、導電接着剤、ソケット構造、接触圧及び他の方法を含む種々の方法を使用することができる。
【００６４】
１つ以上のメモリ・モジュール（又はメモリ・サブシステム）又はハブ装置を、メモリ・システム、プロセッサ複合体、コンピュータ・システム又は他のシステム環境に接続するためには、ハンダ相互接続、コネクタ、接触圧、導電接着剤、光相互接続並びに他の通信及び電力供給方法のうちの１つ以上を使用することができる。コネクタ・システムは、コネクタ（雄型／雌型）、導電性の接触又は雄型若しくは雌型コネクタと接合する１つのキャリア上のピン、光接続、接触圧（しばしば固定機構と協働する）又は種々の他の通信及び電力供給方法の１つ以上を含むことができる。相互接続は、メモリ・アセンブリの１つ以上の端に沿って又はメモリ・サブシステムの端から離れた位置に配置することができる。この配置位置を左右する要素には、アップグレード／修理のしやすさ、利用可能なスペース／ボリューム、熱伝導、コンポーネントのサイズ及び形状、及び他の物理的、電気的、光学的、視覚的／物理的アクセス等の、アプリケーション上の要件がある。
【００６５】
「メモリ・サブシステム」という用語は、１つ以上のメモリ装置、１つ以上のメモリ装置及び関連するインタフェース又はタイミング／制御回路、又はメモリ・バッファ、ハブ装置又はスイッチと関連する１つ以上のメモリ装置を表すが、これらに限定されない。また、「メモリ・サブシステム」という用語は、１つ以上のメモリ装置と、これに関連するインタフェース又はタイミング／制御回路又はメモリ・バッファ、ハブ装置又はスイッチとを、基板、カード、モジュール又は関係するアセンブリ上に組み立てたものを表すことができる。かかる基板、カード、モジュール又は関係するアセンブリは、メモリ・サブシステムを他の回路と電気的に接続するためのコネクタ又はこれと同様の手段を含むことができる。また、本明細書に開示したメモリ・モジュールは、１つ以上のメモリ装置及びハブ装置を含んでいるので、これをメモリ・サブシステムと称することができる。
【００６６】
メモリ・サブシステム又はハブ装置に対してローカルに設けることができる追加の補助機能は、書き込み又は読み取りバッファ、１レベル以上のメモリ・キャッシュ、データ暗号化／暗号化解除、圧縮／圧縮解除、プロトコル変換、コマンド優先順位付け論理、電圧又はレベル変換、エラー検出又は訂正回路、データ消し込み、ローカルの省電力回路又は報告、動作又はステータス・レジスタ、初期化回路、性能モニタリング又は制御、１つ以上のコプロセッサ、サーチ・エンジン及び以前に他のメモリ・サブシステムに設けられていた他の機能を含む。或る機能をメモリ・サブシステムに対してローカルに配置すると、当該サブシステム内の未使用の回路をしばしば利用することを通して、この特定の機能に関係する追加の性能を得ることができる。
【００６７】
メモリ・サブシステムのサポート装置は、メモリ装置が接続されるのと同じ基板又はアセンブリに接続するか、或いは別個のインターポーザ又は基板にマウントすることができる。かかるインターポーザ又は基板は、種々のプラスチック、シリコン、セラミック又は他の材料を使用して製造され、サポート装置をメモリ装置若しくはメモリ又はコンピュータ・システムの他のコンポーネントに機能的に相互接続するための、電気的、光学的又は他の通信パスを含む。
【００６８】
バス、チャネル、リンク等に沿った情報転送（例えば、パケット）は、多くの信号方法のうち１つ以上を使用して行うことができる。かかる信号方法は、シングル・エンド式、差動式、光学式又は他のアプローチのような方法を含み、電気的な信号方法は、単一又はマルチレベルのアプローチの何れかを使用する、電圧又は電流信号方法のような方法を含む。また、信号は、時間又は周波数、非ゼロ復帰、位相偏移キーイング、振幅変調等の方法を使用して変調することができる。集積回路自体の動作に必要な電源電圧が減少されるのと整合するように（しばしば独立的にではあるが）、電圧レベルは、１．５Ｖ、１．２Ｖ、１Ｖ及びより低い信号電圧に、今後も減少し続けると予想される。
【００６９】
メモリ・サブシステム及びメモリ・システム内では、グローバル・クロッキング、ソース同期クロッキング、符号化クロッキング又はこれらの方法及び他の方法の組み合わせを含む、１つ以上のクロッキング方法を利用することができる。クロック信号方法は、信号線自体のそれと同一とすることができ、又は計画されたクロック周波数及び種々のサブシステム内の計画されたクロックの数に対し適合するものであれば、前記クロッキング方法のうちの１つ又は他の代替方法を利用することができる。単一のクロックを、メモリを対象とする全ての通信並びにメモリ・サブシステム内の全てのクロック化機能と関連づけることができ、又は前述の１つ以上の方法を使用して複数のクロックを駆動することができる。複数クロックが使用される場合、メモリ・サブシステム内の機能は、メモリ・サブシステムを一意に駆動する１つのクロックに関連づけることができ、又はメモリ・サブシステムと授受されている情報と関係するクロックに由来する１つのクロック（例えば、符号化クロックに関連するクロック）に基づくことができる。代替的に、１つの一意的なクロックをメモリ・サブシステムに転送される情報のために使用し、別個のクロックを１つ（又はそれ以上）のメモリ・サブシステムから供給される情報のために使用することができる。これらのクロックは、通信又は機能的な周波数と同じ又はその整数倍の周波数で動作することができ、データ、コマンド又はアドレス情報に対しそのエッジ又は中心に整列するか又は他のタイミング位置に整列することができる。
【００７０】
一般に、メモリ・サブシステムに引き渡される情報は、アドレス、コマンド及びデータ、並びにステータス又はエラー条件を要求又は報告すること、メモリをリセットすること、メモリ又は論理の初期化を完了すること等に関連する他の情報から成るであろう。一般に、メモリ・サブシステムから引き渡される情報は、当該メモリ・サブシステムに引き渡される前記情報の全て又は任意のものを含むことができるが、アドレス及びコマンド情報を含まないであろう。この情報は、通常のメモリ装置インタフェース仕様（一般に並列）と整合する通信方法を使用して通信することができ、「パケット」構造に符号化することができる。かかるパケット構造は、将来のメモリ・インタフェースと整合するか、通信帯域幅を増加させ又は受信情報を受信装置によって必要とされるフォーマットに変換することにより、サブシステムがメモリ技術とは独立的に動作することを可能にするために開発されるものとすることができる。
【００７１】
メモリ・サブシステムの初期化は、利用可能なインタフェース・バス、所望の初期化速度、利用可能なスペース、コスト／複雑さの目的、サブシステム相互接続構造、この目的及び他の目的のために使用可能な代替プロセッサ（例えば、サービス・プロセッサ）の使用等に基づいて、１つ以上の方法を介して行うことができる。１つの実施形態では、高速バスを使用してメモリ・サブシステムの初期化を行うことができる。一般に、この場合には、先ず、信頼できる通信を確立するためのトレーニング・プロセスを完了し、次に、種々のコンポーネントに関連する属性又は「プレゼンス・ディテクト」データ又は当該サブシステムに関連する特性を照会し、最後に、適切な装置を当該システム内の意図された動作に関連する情報でプログラムすることが行われる。一般に、カスケード化システムでは、第１のメモリ・サブシステムとの通信が確立された後、一連の後続（下流）サブシステムのうちカスケード相互接続バスに沿った次の位置にあるサブシステムとの通信が順次に確立されるであろう。
【００７２】
第２の初期化方法は、初期化プロセス中に高速バスを１つの周波数で動作させ、その後の通常動作中に高速バスを他の（例えば、より高い）周波数で動作させるというものである。この実施形態では、より低い周波数の動作に関連するタイミング・マージンが増加することに起因して、各サブシステムの照会又はプログラミングを完了する前に、カスケード相互接続バス上の全てのメモリ・サブシステムとの通信を開始することが可能である。
【００７３】
第３の初期化方法は、カスケード相互接続バスを通常の周波数で動作させるも、アドレス、コマンド又はデータ転送に関連するサイクルの数を増加させることができる。１つの実施形態では、アドレス、コマンド又はデータ情報の全て又は一部を保持するパケットを、通常の動作中に１つのクロック・サイクルで転送するが、同じ量又はタイプの情報を、初期化中に２サイクル以上にわたって転送することができる。従って、この初期化プロセスは、「通常」のコマンドではなく、「遅い」コマンドの形式を使用する。このモードには、各サブシステムに含まれるＰＯＲ（パワーオン・リセット）論理を介して行われる各サブシステム及びメモリ・コントローラによる起動又は再起動の後の或る時点で、自動的に入ることができる。
【００７４】
第４の初期化方法は、別個のバスを利用することができる。このバスは、プレゼンス・ディテクト・バス（前掲の米国特許第５５１３１３５号を参照）、Ｉ２Ｃバス（ＪＥＤＥＣによって公開された１６８ピンのＤＩＭＭファミリに係る規格である、２１Ｃの改訂版７Ｒ８を参照）又は周知のＳＭＢＵＳ等を含む。このバスは、デイジー・チェーン／カスケード相互接続、分岐接続又は代替構造を介してメモリ・システム内の１つ以上のモジュールに接続することにより、メモリ・サブシステムを照会し、総合的なシステム環境内で動作するように各メモリ・サブシステムをプログラムし、当該システム環境内の所望の又は検出された性能、熱、構成又は他の変更に基づいて、通常のシステム動作中に他の時間における動作特性を調節することができる。
【００７５】
また、前述の初期化方法に関連して又はこれとは独立に、他の初期化方法を使用することができる。また、前記第４の初期化方法について説明したような別個のバスを使用すると、初期化のための独立の手段を提供することができるという利点に加えて、サブシステムの動作特性をオンザフライで変更することができ、さらに利用度、温度データ、障害情報等のサブシステムの動作情報を報告するか又はこれに応答することができる（前掲の米国特許第６３８１６８５号を参照）。
【００７６】
リソグラフィの改良、よりよいプロセス制御、より低い抵抗値を有する材料の使用、増加したフィールド・サイズ及び他の半導体技術の改良、増加した装置の回路密度（しばしば増加したダイのサイズと軌を一にする）により、集積装置上の機能を増加させたり、以前には別個の装置上に実装されていた機能を統合することが容易になってきた。この統合は、意図された機能の総合的性能を改良するだけでなく、記憶密度の増加、電力の減少、スペース要件の減少、コストの低下等を促進するように作用するであろう。この統合は、自然な進化のプロセスであって、システムに関連する基本的なビルディング・ブロックへの構造的変化の必要性に帰着するであろう。
【００７７】
メモリ・システム又はサブシステムの各要素に関連する通信パス、データ記憶装置の内容及び全ての機能動作の完全性は、１つ以上の障害検出又は訂正方法を使用することによって高度に保証することができる。種々の要素のうち任意又は全てのものは、ＣＲＣ（巡回冗長符号）、ＥＤＣ（誤り検出修正）、パリティ又はこの目的に適した他の符号化／復号方法のようなエラー検出又は訂正方法を含むことができる。信頼性をさらに拡張するためには、（情報の転送に関連する間欠的な障害を克服するための）動作の再試行を使用したり、障害のある通信パス又は線を置き換えるための１つ以上の代替又は置換方法を使用したり、補数化−再補数化技術を使用することができる。
【００７８】
２地点間リンク又は分岐接続構造などのバス上でバス終端を使用することは、増加した性能要求に対応するためによい多く行われるようになっている。これらの種々の終端方法には、抵抗器、コンデンサ、誘導子又はその任意の組み合わせのような終端装置を、信号線と電源電圧又はアース、終端電圧又は他の信号との間に接続するものがある。終端装置は、受動性又は能動性終端構造の一部とすることができ、１つ以上の信号線に沿った１つ以上の位置に存在するか、又は送信又は受信装置の一部として存在することができる。この終端子は、伝送路のインピーダンスと一致するように選択されるか、又はコスト、スペース、電力等の制約内で、使用可能な周波数、動作マージン及び関連する属性を最大化するような代替アプローチを介して選択することができる。
【００７９】
先端的な高性能システムは、システム・コスト及びメモリ密度に係る問題のうちの幾つかを扱うために新しいバス構造を適応させており、その１つは、メモリ・モジュール上に１つ以上のハブ装置を含むカスケード相互接続メモリ・サブシステムを使用することである。メモリ装置を意図したコマンド、データ及びアドレス情報に作用することができるハブ装置を含めることにより、総合的なシステム性能を最大化するための新しい解決策を考慮することができる。代表的実施形態の技術的な影響は、メモリ・システムの総合的な待ち時間を減少させることにより、システム性能を改良することを含んでいる。代表的実施形態では、特定の改良部分は、メモリ・コントローラによって発行されるプリフェッチ要求を除去することに起因して、総合的なメモリ・システムの電力を節減することに係る。さらに、バス活動が減少されることに起因して、下流メモリ・バス上でより多くの帯域幅が他の目的のために利用可能になるか、又は下流メモリ・バスのピン数を減少させることができる。
【００８０】
前述のように、本発明の実施形態は、コンピュータで実装されるプロセス及びこれらのプロセスを実行するための装置として具体化することができる。また、本発明の実施形態は、フレキシブル・ディスク、ＣＤ−ＲＯＭ、ハード・ドライブ等のコンピュータ可読記憶媒体に記録されたコンピュータ・プログラムとして、或いは電気的なケーブル、光ファイバ、電磁放射等の伝送媒体を介して伝送されるコンピュータ・プログラムとして、具体化することができる。その場合、かかるコンピュータ・プログラムがコンピュータにロードされ且つ実行される場合、このコンピュータは、本発明を実施するための装置になる。汎用のマイクロプロセッサ上で実装される場合、かかるコンピュータ・プログラムのセグメントは、特定の論理回路を作成するように当該マイクロプロセッサを構成する。
【００８１】
本発明は代表的実施形態を参照して説明されたが、本発明の範囲から逸脱することなく、種々の変更を行ったり、実施形態の特定の要素の代わりにその均等手段を使用することができる。また、本発明の本質的な範囲から逸脱することなく、特定の状況又は材料に適合するように本発明の概念に変更を施すことができる。従って、本発明は、本明細書において最良の実施形態として記載された特定の実施形態に限定されるものではなく、各請求項の範囲に属する全ての実施形態を包含するものである。
【図面の簡単な説明】
【００８２】
【図１】初期の同期メモリ・モジュールを例示する図である。
【図２】メモリ・コントローラに直接的に接続された完全バッファ（fully buffered）型の同期メモリ・モジュールを備えたコンピュータ・システムを例示する図である。
【図３】単一の分岐型スタブ・バスを備えたメモリ・システムを例示する図である。
【図４】リピータ機能を含む完全バッファ型の同期メモリ・モジュール及びシステム構造を例示する図である。
【図５】単一のデータ・アクセス要求をサポートするように一斉に動作する複数の独立したカスケード相互接続メモリ・インタフェース・バスを含む、メモリ・システムのブロック図である。
【図６】メモリ・サブシステム内のハブ装置を例示するブロック図である。
【図７】本発明に従った、適応的プリフェッチ論理装置（ＡＰＬＵ）を含むハブ装置のブロック図である。
【図８】本発明に従ったプロセスの一部分を示すフローチャートである。
【図９】本発明に従ったプロセスの残りの部分を示すフローチャートである。
【符号の説明】
【００８３】
５０６ メモリ・バス
５０９ メモリ装置
５１０ メモリ・コントローラ
６０４ リンク・インタフェース
６０６ 読み取りデータ・キュー
６０７ 読み取りデータ・セレクタ
６１０ 書き込みデータ・セレクタ
６１１ 書き込みデータ・キュー
６１５ メモリ装置データ・インタフェース
７０２ 適応的プリフェッチ論理装置（ＡＰＬＵ）
７０４ プリフェッチ・バッファ
７０６ 入力コマンド・ストリーム・インタフェース
７０８ メモリ・ハブ装置
７１３ メモリ・ハブ制御
【特許請求の範囲】
【請求項１】
ハブ装置であって、
前記ハブ装置に接続された１つ以上のメモリ装置に向けられる、メモリ・コントローラからのコマンドを検出するための入力コマンド・ストリーム・インタフェースと、
前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するための適応的プリフェッチ論理装置（ＡＰＬＵ）とを備える、ハブ装置。
【請求項２】
前記アクセス・パターンは、読み取りアクセス・パターンである、請求項１に記載のハブ装置。
【請求項３】
前記分析は、前記アクセス・パターンに基づいて、前記メモリ・コントローラからの将来のコマンドの予想アドレスを予測することを含み、前記予測の正確性がプリフェッチ可能化しきい値以上である場合は、前記プリフェッチ機能が可能化され、前記予測の正確性がプリフェッチ不能化しきい値以下である場合は、前記プリフェッチ機能が不能化される、請求項１に記載のハブ装置。
【請求項４】
前記プリフェッチ機能は、前記メモリ・コントローラからの読み取りコマンドよりも低い優先順位を有する、プリフェッチ読み取りコマンドをディスパッチする、請求項１に記載のハブ装置。
【請求項５】
プリフェッチされたデータ及びアドレスを格納するために前記プリフェッチ機能によって利用されるプリフェッチ・バッファをさらに備える、請求項１に記載のハブ装置。
【請求項６】
書き込み動作中に、前記プリフェッチ・バッファ内でデータ・コヒーレンシが維持される、請求項５に記載のハブ装置。
【請求項７】
前記分析及び前記選択は、前記メモリ装置のうちの１つのメモリ装置内の１つのバンクに適用される、請求項１に記載のハブ装置。
【請求項８】
前記メモリ装置のうちの１つのメモリ装置に適用される前記分析及び前記選択は、前記メモリ装置のうちの他のメモリ装置に適用される前記分析及び前記選択とは独立している、請求項１に記載のハブ装置。
【請求項９】
前記メモリ装置のうちの１つのメモリ装置内の１つのバンクに適用される前記分析及び前記選択は、当該１つのメモリ装置内の他のバンクに適用される前記分析及び前記選択とは独立している、請求項１に記載のハブ装置。
【請求項１０】
前記分析及び前記選択は、前記メモリ装置の全てに適用される、請求項１に記載のハブ装置。
【請求項１１】
前記コマンドは、メモリ・コマンド・バッファ内にある保留中のコマンドを含む、請求項１に記載のハブ装置。
【請求項１２】
前記ＡＰＬＵは、将来のアクセス・パターンを変更するために前記メモリ・コマンド・バッファ内にある前記保留中のコマンドを再配列する、請求項１１に記載のハブ装置。
【請求項１３】
プリフェッチ・モードを選択するための方法であって、
ハブ装置に接続された１つ以上のメモリ装置に向けられる、メモリ・コントローラからのコマンドを検出するステップと、
前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを分析するステップと、
前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するステップとを含む、方法。
【請求項１４】
前記アクセス・パターンは、読み取りアクセス・パターンである、請求項１３に記載の方法。
【請求項１５】
前記分析するステップは、前記アクセス・パターンに基づいて、前記メモリ・コントローラからの将来のコマンドの予想アドレスを予測することを含み、前記予測の正確性がプリフェッチ可能化しきい値以上である場合は、前記プリフェッチ機能が可能化され、前記予測の正確性がプリフェッチ不能化しきい値以下である場合は、前記プリフェッチ機能が不能化される、請求項１３に記載の方法。
【請求項１６】
前記予測は、ストライドされたアドレスを検出及び予測するためのアルゴリズムを使用して行われる、請求項１５に記載の方法。
【請求項１７】
前記プリフェッチ機能は、前記メモリ・コントローラからの読み取りコマンドよりも低い優先順位を有する、プリフェッチ読み取りコマンドをディスパッチする、請求項１３に記載の方法。
【請求項１８】
前記プリフェッチ機能は、プリフェッチされたデータ及びアドレスをプリフェッチ・バッファ内に格納する、請求項１３に記載の方法。
【請求項１９】
書き込み動作中に、前記プリフェッチ・バッファ内でデータ・コヒーレンシが維持される、請求項１８に記載の方法。
【請求項２０】
前記分析するステップ及び前記選択するステップは、前記メモリ装置のうちの１つのメモリ装置内の１つのバンクに適用される、請求項１３に記載の方法。
【請求項２１】
前記メモリ装置のうちの１つのメモリ装置に適用される前記分析するステップ及び前記選択するステップは、前記メモリ装置のうちの他のメモリ装置に適用される前記分析するステップ及び前記選択するステップとは独立している、請求項１３に記載の方法。
【請求項２２】
前記メモリ装置のうちの１つのメモリ装置内の１つのバンクに適用される前記分析するステップ及び前記選択するステップは、当該１つのメモリ装置内の他のバンクに適用される前記分析するステップ及び前記選択するステップとは独立している、請求項１３に記載の方法。
【請求項２３】
前記分析するステップ及び前記選択するステップは、前記メモリ装置の全てに適用される、請求項１３に記載の方法。
【請求項２４】
前記コマンドは、メモリ・コマンド・バッファ内にある保留中のコマンドを含む、請求項１３に記載の方法。
【請求項２５】
前記保留中のコマンドは、将来のアクセス・パターンを変更するために再配列される、請求項２４に記載の方法。
【請求項２６】
メモリ・システムであって、
メモリ・コントローラと、
１つ以上のメモリ装置と、
前記メモリ・コントローラ及び前記メモリ装置と通信関係にあるメモリ・ハブ装置とを備え、
前記メモリ・ハブ装置が、
前記メモリ装置に向けられる、前記メモリ・コントローラからのコマンドを検出するための入力コマンド・ストリーム・インタフェースと、
前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するための適応的プリフェッチ論理装置（ＡＰＬＵ）とを有する、メモリ・システム。
【請求項２７】
メモリ・サブシステムであって、
１つ以上のメモリ装置と、
メモリ・ハブ装置とを備え、
前記メモリ・ハブ装置が、
前記メモリ装置に向けられる、メモリ・コントローラからのコマンドを検出するための入力コマンド・ストリーム・インタフェースと、
前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するための適応的プリフェッチ論理装置（ＡＰＬＵ）とを有する、メモリ・サブシステム。
【請求項１】
ハブ装置であって、
前記ハブ装置に接続された１つ以上のメモリ装置に向けられる、メモリ・コントローラからのコマンドを検出するための入力コマンド・ストリーム・インタフェースと、
前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するための適応的プリフェッチ論理装置（ＡＰＬＵ）とを備える、ハブ装置。
【請求項２】
前記アクセス・パターンは、読み取りアクセス・パターンである、請求項１に記載のハブ装置。
【請求項３】
前記分析は、前記アクセス・パターンに基づいて、前記メモリ・コントローラからの将来のコマンドの予想アドレスを予測することを含み、前記予測の正確性がプリフェッチ可能化しきい値以上である場合は、前記プリフェッチ機能が可能化され、前記予測の正確性がプリフェッチ不能化しきい値以下である場合は、前記プリフェッチ機能が不能化される、請求項１に記載のハブ装置。
【請求項４】
前記プリフェッチ機能は、前記メモリ・コントローラからの読み取りコマンドよりも低い優先順位を有する、プリフェッチ読み取りコマンドをディスパッチする、請求項１に記載のハブ装置。
【請求項５】
プリフェッチされたデータ及びアドレスを格納するために前記プリフェッチ機能によって利用されるプリフェッチ・バッファをさらに備える、請求項１に記載のハブ装置。
【請求項６】
書き込み動作中に、前記プリフェッチ・バッファ内でデータ・コヒーレンシが維持される、請求項５に記載のハブ装置。
【請求項７】
前記分析及び前記選択は、前記メモリ装置のうちの１つのメモリ装置内の１つのバンクに適用される、請求項１に記載のハブ装置。
【請求項８】
前記メモリ装置のうちの１つのメモリ装置に適用される前記分析及び前記選択は、前記メモリ装置のうちの他のメモリ装置に適用される前記分析及び前記選択とは独立している、請求項１に記載のハブ装置。
【請求項９】
前記メモリ装置のうちの１つのメモリ装置内の１つのバンクに適用される前記分析及び前記選択は、当該１つのメモリ装置内の他のバンクに適用される前記分析及び前記選択とは独立している、請求項１に記載のハブ装置。
【請求項１０】
前記分析及び前記選択は、前記メモリ装置の全てに適用される、請求項１に記載のハブ装置。
【請求項１１】
前記コマンドは、メモリ・コマンド・バッファ内にある保留中のコマンドを含む、請求項１に記載のハブ装置。
【請求項１２】
前記ＡＰＬＵは、将来のアクセス・パターンを変更するために前記メモリ・コマンド・バッファ内にある前記保留中のコマンドを再配列する、請求項１１に記載のハブ装置。
【請求項１３】
プリフェッチ・モードを選択するための方法であって、
ハブ装置に接続された１つ以上のメモリ装置に向けられる、メモリ・コントローラからのコマンドを検出するステップと、
前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを分析するステップと、
前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するステップとを含む、方法。
【請求項１４】
前記アクセス・パターンは、読み取りアクセス・パターンである、請求項１３に記載の方法。
【請求項１５】
前記分析するステップは、前記アクセス・パターンに基づいて、前記メモリ・コントローラからの将来のコマンドの予想アドレスを予測することを含み、前記予測の正確性がプリフェッチ可能化しきい値以上である場合は、前記プリフェッチ機能が可能化され、前記予測の正確性がプリフェッチ不能化しきい値以下である場合は、前記プリフェッチ機能が不能化される、請求項１３に記載の方法。
【請求項１６】
前記予測は、ストライドされたアドレスを検出及び予測するためのアルゴリズムを使用して行われる、請求項１５に記載の方法。
【請求項１７】
前記プリフェッチ機能は、前記メモリ・コントローラからの読み取りコマンドよりも低い優先順位を有する、プリフェッチ読み取りコマンドをディスパッチする、請求項１３に記載の方法。
【請求項１８】
前記プリフェッチ機能は、プリフェッチされたデータ及びアドレスをプリフェッチ・バッファ内に格納する、請求項１３に記載の方法。
【請求項１９】
書き込み動作中に、前記プリフェッチ・バッファ内でデータ・コヒーレンシが維持される、請求項１８に記載の方法。
【請求項２０】
前記分析するステップ及び前記選択するステップは、前記メモリ装置のうちの１つのメモリ装置内の１つのバンクに適用される、請求項１３に記載の方法。
【請求項２１】
前記メモリ装置のうちの１つのメモリ装置に適用される前記分析するステップ及び前記選択するステップは、前記メモリ装置のうちの他のメモリ装置に適用される前記分析するステップ及び前記選択するステップとは独立している、請求項１３に記載の方法。
【請求項２２】
前記メモリ装置のうちの１つのメモリ装置内の１つのバンクに適用される前記分析するステップ及び前記選択するステップは、当該１つのメモリ装置内の他のバンクに適用される前記分析するステップ及び前記選択するステップとは独立している、請求項１３に記載の方法。
【請求項２３】
前記分析するステップ及び前記選択するステップは、前記メモリ装置の全てに適用される、請求項１３に記載の方法。
【請求項２４】
前記コマンドは、メモリ・コマンド・バッファ内にある保留中のコマンドを含む、請求項１３に記載の方法。
【請求項２５】
前記保留中のコマンドは、将来のアクセス・パターンを変更するために再配列される、請求項２４に記載の方法。
【請求項２６】
メモリ・システムであって、
メモリ・コントローラと、
１つ以上のメモリ装置と、
前記メモリ・コントローラ及び前記メモリ装置と通信関係にあるメモリ・ハブ装置とを備え、
前記メモリ・ハブ装置が、
前記メモリ装置に向けられる、前記メモリ・コントローラからのコマンドを検出するための入力コマンド・ストリーム・インタフェースと、
前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するための適応的プリフェッチ論理装置（ＡＰＬＵ）とを有する、メモリ・システム。
【請求項２７】
メモリ・サブシステムであって、
１つ以上のメモリ装置と、
メモリ・ハブ装置とを備え、
前記メモリ・ハブ装置が、
前記メモリ装置に向けられる、メモリ・コントローラからのコマンドを検出するための入力コマンド・ストリーム・インタフェースと、
前記メモリ装置に対するアクセス・パターンを決定するために前記コマンドを独立的に分析するとともに、前記分析の結果に基づいて、前記メモリ装置用のプリフェッチ機能の可能化及び不能化のうち何れか一方を動的に選択するための適応的プリフェッチ論理装置（ＡＰＬＵ）とを有する、メモリ・サブシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１８６４５７（Ｐ２００８−１８６４５７Ａ）
【公開日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願番号】特願２００８−１４５９４（Ｐ２００８−１４５９４）
【出願日】平成２０年１月２５日（２００８．１．２５）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公開日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願日】平成２０年１月２５日（２００８．１．２５）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]