データストレージシステム
【課題】複数の記憶デバイスを制御する複数の制御モジュールを有するストレージシステムに関し、制御モジュールの数が増加しても、低レンテシイな応答を維持しつつ、実装構成を容易とする。
【解決手段】複数の記憶デバイス（２−０〜２−３５）を並列接続したエンクロージャを、バックエンドルータ（５−０〜５−７）で、各制御モジュール（４−０〜４−７）の第２のインターフェース（４２）に接続し、全ての制御モジュールが、全ての記憶デバイスにアクセスできる冗長性を維持する。且つ制御モジュールと第１のスイッチユニットとをバックパネル（７）で、インターフェースを構成する信号数が少ないシリアルバスで接続する。これにより、プリント基板での実装が可能となる。
【解決手段】複数の記憶デバイス（２−０〜２−３５）を並列接続したエンクロージャを、バックエンドルータ（５−０〜５−７）で、各制御モジュール（４−０〜４−７）の第２のインターフェース（４２）に接続し、全ての制御モジュールが、全ての記憶デバイスにアクセスできる冗長性を維持する。且つ制御モジュールと第１のスイッチユニットとをバックパネル（７）で、インターフェースを構成する信号数が少ないシリアルバスで接続する。これにより、プリント基板での実装が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータの外部記憶装置として用いられるデータストレージシステムの構成に関し、特に、ディスクデバイスを多数接続するデータストレージシステムを高性能且つ柔軟に構成できるようなユニットの組み合わせと接続を持つデータストレージシステムに関する。
【背景技術】
【０００２】
近年、様々なデータが電子化され、コンピュータ上で扱われるのに従い、データの処理を実行するホストコンピュータとは独立して、大量のデータを効率よく、高い信頼性で格納することのできるデータストレージ装置（外部記憶装置）の重要性が増加している。
【０００３】
このデータストレージ装置として、大量のディスクデバイス（例えば、磁気ディスクや光ディスク）と、これら大量のディスクデバイスを制御するディスクコントローラとから構成されるディスクアレイ装置が利用されている。このディスクアレイ装置は、同時に複数のホストコンピュータからのディスクアクセス要求を受け付けて、大量のディスクに対する制御を行なうことができる。
【０００４】
近年では、ディスクデバイスが数１０００台以上、記憶容量では、数百テラバイト以上のディスクデバイス群を１台で制御できるディスクアレイ装置も提供されている。
【０００５】
このようなディスクアレイ装置は、ディスクのキャッシュの役割を果たすメモリを内蔵する。これにより、ホストコンピュータからリード要求及びライト要求を受信した際の、データへのアクセス時間を短縮し、高性能化を実現できる。
【０００６】
一般に、ディスクアレイ装置は、複数の主要ユニット、即ち、ホストコンピュータとの接続部分であるチャネルアダプタ，ディスクドライブとの接続部分であるディスクアダプタ，キャッシュメモリ，キャッシュメモリの制御を担当するキャッシュ制御部，及び大量のディスクドライブから構成される。
【０００７】
図１１は、第１の従来技術の説明図である。図１１に示すディスクアレイ装置１０２は、キャッシュマネージャ（キャッシュメモリとキャッシュ制御部）１０が２つそなえられ、且つ各キャッシュマネージャ１０には、チャネルアダプタ１１及びディスクアダプタ１３が接続されている。
【０００８】
また、２つのキャッシュマネージャ１０，１０は、バス１０ｃによって、互いに通信可能に直接接続されている。この２つのキャッシュマネージャ１０，１０間、並びに、キャッシュマネージャ１０とチャネルアダプタ１１との間、及び、キャッシュマネージャ１０とディスクアダプタ１３との間は、低いレイテンシが要求されるためＰＣＩバスによって接続されている。
【０００９】
更に、チャネルアダプタ１１は、例えば、ファイバチャネルもしくはEthernet（登録商標）によって、ホストコンピュータ（図示略）に接続され、ディスクアダプタ１３は、例えば、ファイバチャネルのケーブルによってディスクエンクロージャ１２の各ディスクドライブに接続されている。
【００１０】
また、ディスクエンクロージャ１２は、２つのポート（例えば、ファイバチャネルポート）を有し、これら２つのポートが、異なるディスクアダプタ１３に接続されている。これにより、冗長性を持たせ、耐故障性を高めている。
【００１１】
図１２は、第２の従来例のディスクアレイ装置１００の構成図である。図１２に示すように、従来のディスクアレイ装置１００は、主要ユニットであるキャッシュメモリとキャッシュ制御部とをそなえるキャッシュマネージャ（図中ＣＭと表記）１０、ホストコンピュータ（図示略）とのインターフェースであるチャネルアダプタ（図中ＣＡと表記）１１、複数のディスクドライブを備えるディスクエンクロージャ１２、及び、このディスク装置１２とのインターフェースであるディスクアダプタ（図中ＤＡと表記）１３をそなえる。
【００１２】
更に、キャッシュマネージャ１０，チャネルアダプタ１１，及びディスクアダプタ１３間を互いに接続し、これら主要ユニット間のデータ転送と通信を行うためのルータ（Router；図中ＲＴと表記）１４がそなえられている。
【００１３】
このディスクアレイ装置１００では、キャッシュマネージャ１０が４つそなえられ、これらのキャッシュマネージャ１０に対応して４つのルータ１４がそなえられている。これらキャッシュマネージャ１０とルータ１４とは、１対１で相互に接続されており、これによって、複数のキャッシュマネージャ１０間の接続が冗長化されて、可用性が高められている（例えば、特許文献１参照）。
【００１４】
即ち、１つのルータ１４の故障した場合にも、別のルータ１４を経由することで複数のキャッシュマネージャ１０間の接続は確保されており、かかる場合にも、ディスクアレイ装置１００は通常の動作を継続することができる。
【００１５】
また、このディスクアレイ装置１００は、各ルータ１４に、２つのチャネルアダプタ１１と２つのディスクアダプタ１３とが接続され、ディスクアレイ装置１００は合計８つのチャネルアダプタ１１と合計８つのディスクアダプタ１３とをそなえている。
【００１６】
これらのチャネルアダプタ１１及びディスクアダプタ１３は、キャッシュマネージャ１０とルータ１４との相互接続により、全てのキャッシュマネージャ１０との間で通信が可能である。
【００１７】
又、チャネルアダプタ１１は、例えば、ファイバチャネルやEthernet（登録商標）によって、データを処理対象とするホストコンピュータ（図示略）に接続されており、ディスクアダプタ１３は、例えば、ファイバチャネルのケーブルによって、ディスクエンクロージャ１２（具体的にはディスクドライブ）に接続される。
【００１８】
そして、チャネルアダプタ１１とキャッシュマネージャ１０との間、及びディスクアダプタ１３とキャッシュマネージャ１０との間では、ホストコンピュータからのユーザデータだけではなく、ディスクアレイ装置１００の内部の動作の一貫性を保つための様々な情報のやり取り（例えば、複数のキャッシュメモリ間のデータのミラーリング処理）がなされる。
【００１９】
キャッシュマネージャ１０，チャネルアダプタ１１及びディスクアダプタ１３と、ルータ１４との間は、ディスクアレイ装置１００とホストコンピュータとの間や、ディスクドライブとの間よりも低いレイテンシ（速い応答速度）を実現できるインターフェースを介して接続される。例えば、ＰＣＩ（Peripheral Component Interconnect）バスのように、ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ１０，チャネルアダプタ１１，及びディスクアダプタ１３と、ルータ１４との間が接続される。
【００２０】
さらに、ディスクドライブを収容するディスクエンクロージャ１２は、２つのファイバチャネルのポートを有し、各ポートには異なるルータ１４配下に属するディスクアダプタ１３が接続される。これにより、ディスクアダプタ１３の故障時もしくはルータ１４の故障時にも、キャッシュマネージャ１０からの接続が切断されることを防止できる。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開２００１−２５６００３号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【００２２】
近年の電子化の推進により、より大容量で、高速なデータストレージシステムが要求されている。前述の第１の従来のディスクアレイ装置では、大容量、高速化のため、更に、キャッシュマネージャ１０や、チャネルアダプタ１１、ディスクアダプタ１３を増設する場合には、ディスクエンクロージャ１２のポート数を増加し、且つディスクアダプタ１３とディスクエンクロージャ１２の接続ケーブルの本数を増加させる必要がある。
【００２３】
ディスクエンクロージャ１２のポート数を増加することは、１つのディスクエンクロージャに接続されるディスクアダプタの数に応じたケーブル数が、増加し、実装空間が大きくなる。即ち、装置の大型化を招く。又、１つのディスクエンクロージャでは、２系統のパスがあれば、十分な冗長構成をとれるため、ポート数を増加することは、得策でない。しかも、接続されるディスクアダプタの数は、一定でなく、ユーザの要求に応じて、変化するため、多数のポートを増設すると、少ないディスクアダプタでは、無駄が生じ、少数のポートを増設すると、多数のディスクアダプタに対応できない。即ち、汎用性を失うことになる。
【００２４】
一方、第２の従来のディスクアレイ装置では、キャッシュマネージャ１０や、チャネルアダプタ１１、ディスクアダプタ１３を増設することは、可能であるが、全て、ルータ１４を介して通信するため、ルータ１４に通信データが集中するため、スループットのネックとなり、高いスループットは期待できない。
【００２５】
しかも、ディスクアレイ装置１００では、主要ユニットを多数設けた大規模なディスクアレイ装置を構成する場合には、キャッシュマネージャ１０とルータ１４との間の接続線数が急増するため、接続関係が複雑になってしまい、物理的にも実装が困難になる。
【００２６】
例えば、図１２の構成では、図１３に示すように、４つ（４枚）のキャッシュマネージャ１０と、４つ（４枚）のルータ１４とが、バックパネル１５を経由して接続される実装構造をとる。この場合、前述のように、図１２のように、信号本数は、４×４×（１パス当りの信号本数）となる。例えば、前述のように、１パスを、６４ビットのＰＣＩ（パラレルバス）で接続する場合には、制御線を含め、バックパネル１５上では、１００×１６＝１６００本の信号線となる。この信号線を配線するためには、バックパネル１５のプリント基板は、６層の信号層を必要とする。
【００２７】
さらに、大規模構成の場合には、例えば、８つ（４枚）のキャッシュマネージャ１０と、８つ（４枚）のルータ１４とが、バックパネル１５を経由して接続される構成では、信号本数は、１００×８×８＝約６４００本も必要する。このためのバックパネル１５のプリント基板は、４倍の２４層必要となり、実現が困難である。
【００２８】
仮に、６４ビットのＰＣＩバスに代え、信号線の少ない４レーンのＰＣＩ−Ｅｘｐｒｅｓｓで接続すると、信号線数は、１６×８×８＝１０２４本となる。しかし、ＰＣＩバスは、６６ＭＨｚであるのに対し、ＰＣＩ−Ｅｘｐｒｅｓｓは、２．５Ｇｂｐｓの高速バスであり、高速バスの信号品質を保つには、高価な基板材料を使用する必要がある。
【００２９】
更に、低速バスであれば、ビア（Ｖｉａ）を使用することで、配線層の入れ替えが可能であるが、高速バスでは、Ｖｉａは、信号品質の低下を招くことになり、避ける必要もある。このため、高速バスでは、全ての信号線が交差しないよう配置する必要があり、同じ本数の低速バスの約２倍の信号層が必要となる。例えば、基板は、１２層の信号層を必要とし、且つ高価な材料で構成する必要があり、これも実現が困難である。
【００３０】
しかも、第２の従来のディスクアレイ装置１００では、ルータ１４の一つが故障した場合には、当該ルータ１４の故障と同時に、当該ルータ１４配下に接続されたチャネルアダプタ１１及びディスクアダプタ１３も使えなくなってしまう。
【００３１】
従って、本発明の目的は、各ユニット間のデータ転送を高いスループットで行うとともに、小規模から大規模までの構成を、実装上の問題なく、容易に実現するためのデータストレージシステムを提供することにある。
【００３２】
又、本発明の他の目的は、あるユニットが故障した場合でも動作可能な冗長性を維持しつつ、小規模から大規模までの構成を、同一のユニットの組み合わせで、容易に実現する柔軟性を持つデータストレージシステムを提供することにある。
【００３３】
更に、本発明の更に他の目的は、高いスループットと冗長性を保証しつつ、小規模から大規模までの構成を、実装上の問題なく、容易に実現するためのデータストレージシステムを提供することにある。
【課題を解決するための手段】
【００３４】
この目的の達成のため、本発明のデータストレージシステムは、データを記憶する複数のディスク記憶デバイスを並列に接続して構成された複数のディスクエンクロージャと、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する複数の制御モジュールとを有し、前記制御モジュールの各々は、前記上位とのインターフェース制御を行う第１のインターフェース部と、前記ディスク記憶デバイスとのインターフェース制御を行う第２のインターフェース部と、前記アクセス指示に応じて、前記第２のインターフェース部より、前記ディスク記憶デバイスをアクセス制御する制御ユニットとを有し、各前記制御モジュールの前記第２のインターフェース部に接続され、前記各制御モジュールの前記第２のインターフェース部と前記複数のディスクエンクロージャとを選択的に切り替える複数の第１のスイッチユニットを搭載する複数の第１の基板と、少なくとも前記制御ユニットと、前記第２のインターフェース部とを設けた複数の第２の基板と、前記複数の第１の基板と、前記複数の第２の基板が取り付けられ、前記第２のインターフェース部と、前記複数の第１のスイッチユニットとを、バスで接続するバックパネルとを設けた。
【００３５】
更に、本発明では、好ましくは、前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第２のスイッチユニットを有する。
【００３６】
更に、本発明では、好ましくは、各制御モジュールの通信ユニットと第２のスイッチユニットとを、前記バックパネルで接続した。
【００３７】
更に、本発明では、好ましくは、前記第１のスイッチユニットと前記複数の記憶デバイスをケーブルで接続した。
【００３８】
更に、本発明では、好ましくは、前記記憶デバイスは、複数のアクセスポートを有し、前記複数のアクセスポートに、複数の異なる前記第１のスイッチユニットを接続した。
【００３９】
更に、本発明では、好ましくは、前記制御モジュールは、前記キャッシュ制御ユニットと前記第２のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続した。
【００４０】
更に、本発明では、好ましくは、前記高速シリアルバスが、PCI-Expressバスである。
【００４１】
更に、本発明では、好ましくは、前記シリアルバスが、ファイバチャネルである。
【００４２】
更に、本発明では、好ましくは、前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のインターフェース部とを、低レンテシイの高速シリアスバスで接続した。
【発明の効果】
【００４３】
本発明では、各制御モジュールの第２のインターフェースと複数の第１のスイッチユニットを接続したため、全ての制御モジュールは、全ての記憶デバイスにアクセスできる冗長性を維持でき、且つ制御モジュールの数が増大しても、制御モジュールと第１のスイッチユニットとをバックパネルで、インターフェースを構成する信号数が少ないシリアルバスで接続できるため、プリント基板での実装が可能となる。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施の形態のデータストレージシステムの構成図である。
【図２】図１の制御モジュールの構成図である。
【図３】図１及び図２のバックエンドルータとディスクエンクロージャの構成図である。
【図４】図１及び図３のディスクエンクロージャの構成図である。
【図５】図１及び図２の構成のリード処理の説明図である。
【図６】図１及び図２の構成のライト処理の説明図である。
【図７】本発明の一実施の形態の制御モジュールの実装構成を示す図である。
【図８】本発明の一実施の形態のデータストレージシステムの実装構成例を示す図である。
【図９】本発明の一実施の形態の大規模ストレージシステムのブロック図である。
【図１０】本発明の他の実施の形態の中規模ストレージシステムのブロック図である。
【図１１】第１の従来のストレージシステムの構成図である。
【図１２】第２の従来のストレージシステムの構成図である。
【図１３】図１２の第２の従来のストレージシステムの実装構成を示す図である。
【発明を実施するための形態】
【００４５】
以下、本発明の実施の形態を、データストレージシステム、リード／ライト処理、実装構造、他の実施の形態の順で説明する。
【００４６】
［データストレージシステム］
図１は、本発明の一実施の形態のデータストレージシステムの構成図、図２は、図１のコントロールモジュールの構成図、図３は、図１のバックエンドルータとディスクエンクロージャの構成図、図４は、図１及び図３のディスクエンクロージャの構成図である。
【００４７】
図１は、８台のコントロールモジュールを持つ大規模なストレージシステムを例に示す。図１に示すように、ストレージシステム１は、データを保持する複数のディスクエンクロージャ２−０〜２−２５と、図示しないホストコンピュータ（データ処理装置）と、複数のディスクエンクロージャ２−０〜２−２５との間に、配置された複数（ここでは８つ）の制御モジュール４−０〜４−７と、これら複数の制御モジュール４−０〜４−７と複数のディスクエンクロージャ２−０〜２−２５との間に設けられた複数（ここでは８つ）のBack-end Router（第１スイッチユニット；図中ＢＲＴと表記し、以下、ＢＲＴという）５−０〜５−７と、複数（ここでは２つ）のFront-end Router（第２スイッチユニット；図中ＦＲＴと表記、以下、ＦＲＴという）６−０，６−１とを有する。
【００４８】
制御モジュール４−０〜４−７のそれぞれは、キャッシュマネージャ４０と、チャネルアダプタ（第１インターフェース部；図中ＣＡと表記）４１ａ〜４１ｄと、ディスクアダプタ（第２インターフェース部；図中ＤＡと表記）４２ａ，４２ｂと、ＤＭＡ（Direct Memory Access）エンジン（通信部；図中ＤＭＡと表記）４３とを有する。
【００４９】
なお、図１では、図の簡略化のため、これらキャッシュマネージャの符号“４０”、チャネルアダプタの符号“４１ａ”，“４１ｂ”，“４１ｃ”，“４１ｄ”、ディスクアダプタの符号“４２ａ”，“４２ｂ”、ＤＭＡの符号“４３”を、制御モジュール４−０に対してのみ付しており、他の制御モジュール４−１〜４−７におけるこれら構成要素の符号は省略している。
【００５０】
図２により、コントロールモジュール４−０〜４−７を説明する。キャッシュマネージャ４０は、ホストコンピュータからの処理要求（リード要求もしくはライト要求）に基づいて、リード／ライト処理を行なうものであり、キャッシュメモリ４０ｂとキャッシュ制御部４０ａとを備える。
【００５１】
キャッシュメモリ４０ｂは、ディスクエンクロージャ２−０〜２−２５の複数のディスクに保持されたデータの一部を保持する、所謂、複数のディスクに対するキャッシュの役割を果たす。
【００５２】
キャッシュ制御部４０ａは、キャッシュメモリ４０ｂ，チャネルアダプタ４１、デバイスアダプタ４２、ＤＭＡ４３の制御を行なう。このため、１つ又は複数（図では、２つ）のＣＰＵ４００，４１０と、メモリコントローラ４２０とを有する。メモリコントローラ４２０は、各メモリのリード／ライトを制御し、且つパスの切り替えを行う。
【００５３】
メモリコントローラ４２０は、メモリバス４３４を介しキャッシュメモリ４０ｂと接続し、ＣＰＵバス４３０，４３２を介しＣＰＵ４００，４１０と接続し、更に、メモリコントローラ４２０は、後述する４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４０，４４２を介しディスクアダプタ４２ａ，４２ｂに接続する。同様に、メモリコントローラ４２０は、４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４３，４４４，４４５，４４６を介しチャネルアダプタ４１ａ，４１ｂ、４１ｃ，４１ｄに接続し、４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４７，４４８を介しＤＭＡ４３−ａ，４３−ｂに接続する。
【００５４】
後述するように、このＰＣＩ−Ｅｘｐｅｓｓ等の高速シリアルバスは、パケットで通信し、且つシリアルバスを複数レーン設けることにより、信号線本線を減らしても、遅延の少ない、速い応答速度で、所謂、低レンテンシで通信することができる。
【００５５】
チャネルアダプタ４１ａ〜４１ｄは、ホストコンピュータに対するインターフェースであり、チャネルアダプタ４１ａ〜４１ｄは、それぞれ異なるホストコンピュータと接続される。また、チャネルアダプタ４１ａ〜４１ｄは、それぞれ対応するホストコンピュータのインターフェース部に、バス、例えば、ファイバチャネル（Fiber Channel）やEthernet（登録商標）によって接続されることが好ましく、この場合、バスとしては、光ファイバや同軸ケーブルが用いられる。
【００５６】
さらに、これらチャネルアダプタ４１ａ〜４１ｄそれぞれは、各制御モジュール４−０〜４−７の一部として構成されているが、対応するホストコンピュータと制御モジュール４−０〜４−７とのインターフェース部として、複数のプロトコルをサポートする必要がある。対応するホストコンピュータによって実装すべきプロトコルが同一ではないため、各チャネルアダプタ４１ａ〜４１ｄを必要に応じて容易に交換できるように、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０とは、図７で後述するように、別のプリント基板に実装されている。
【００５７】
例えば、チャネルアダプタ４１ａ〜４１ｄがサポートすべきホストコンピュータとの間のプロトコルとしては、上述のように、ファイバチャネルや、Ethernet（登録商標）に対応するｉＳＣＳＩ（Internet Small Computer System Interface）等がある。
【００５８】
更に、各チャネルアダプタ４１ａ〜４１ｄは、前述のように、ＰＣＩ−Ｅｘｐｒｅｓｓバスのように，ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ４０と直接結合されている。これにより、各チャネルアダプタ４１ａ〜４１ｄとキャッシュマネージャ４０と間に要求される高いスループットを実現することができる。
【００５９】
ディスクアダプタ４２ａ，４２ｂは、ディスクエンクロージャ２−０〜２−２５のディスクドライブに対するインターフェースであり、ディスクエンクロージャ２−０〜２−２５に接続されたＢＲＴ５−０〜５−７に接続され，ここでは、４つのＦＣ(Ｆｉｂｅｒ Ｃｈａｎｎｅｌ)ポートを有する。
【００６０】
又、各ディスクアダプタ４２ａ、４２ｂは、前述のように、ＰＣＩ−Ｅｘｐｒｅｓｓバスのように，ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ４０と直接結合されている。これにより、各ディスクアダプタ４２ａ、４２ｂとキャッシュマネージャ４０と間に要求される高いスループットを実現することができる。
【００６１】
図１及び図３に示すように、ＢＲＴ５−０〜５−７は、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂと各ディスクエンクロージャ２−０〜２−２５とを選択的に切り替えて、通信可能に接続する多ポートスイッチである。
【００６２】
図３に示すように、各ディスクディスクエンクロージャ２−０〜２−７は、複数（ここでは２つ）のＢＲＴ５−０，５−１が接続される。図４に示すように、各ディスクエンクロージャ２−０は、各々２つのポートを有する複数台のディスクドライブ２００を搭載し、このディスクエンクロージャ２−０の構成は、４つの接続ポート２１０，２１２，２１４，２１６を有する単位ディスクエンクロージャ２０−０〜２３−０で構成される。これらを、直列接続して、容量の増大を実現する。
【００６３】
そして、ディスクエンクロージャ２０−０〜２３−０内では、２つのポート２１０，２１２からの一対のＦＣケーブルにより、各ディスクドライブ２００の各ポートが、２つのポート２１０，２１２に接続される。この２つのポート２１０，２１２は、図３で説明したように、異なるＢＲＴ５−０，５−１に接続される。
【００６４】
図１に示すように、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂそれぞれを、すべてのディスクエンクロージャ２−０〜２−２５に接続する。即ち、各制御モジュール４−０〜４−７のディスクアダプタ４２ａは、ディスクエンクロージャ２−０〜２−７に接続されたＢＲＴ５−０（図３参照）と、ディスクエンクロージャ２−８，２−９〜に接続されたＢＲＴ５−２と、ディスクエンクロージャ２−１６、２−１７〜に接続されたＢＲＴ５−４と、ディスクエンクロージャ２−２４，２−２５〜に接続されたＢＲＴ５−６とにそれぞれ接続される。
【００６５】
又、同様に、各制御モジュール４−０〜４−７のディスクアダプタ４２ｂは、ディスクエンクロージャ２−０〜２−７に接続されたＢＲＴ５−１（図３参照）と、ディスクエンクロージャ２−８，２−９〜に接続されたＢＲＴ５−３と、ディスクエンクロージャ２−１６、２−１７〜に接続されたＢＲＴ５−５と、ディスクエンクロージャ２−２４，２−２５〜に接続されたＢＲＴ５−７とに、それぞれ接続される。
【００６６】
このように、各ディスクエンクロージャ２−０〜２−３１は、複数（ここでは２つ）のＢＲＴが接続されるとともに、同一のディスクエンクロージャ２−０〜２−３１に接続された２つのＢＲＴのそれぞれに、同一の制御モジュール４−０〜４−７における異なるディスクアダプタ４２ａ，４２ｂが接続される。
【００６７】
このような構成により、各制御モジュール４−０〜４−７が、いずれのディスクアダプタ４２ａ，４２ｂを通じても、すべてのディスクエンクロージャ（ディスクドライブ）２−０〜２−３１にアクセスできる。
【００６８】
また、これらディスクアダプタ４２ａ，４２ｂのそれぞれは、制御モジュール４−０〜４−７の一部として構成されており、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０の基板上に実装され、各ディスクアダプタ４２ａ，４２ｂは、例えばPCI（Peripheral Component Interconnect）−Expressバスによってキャッシュマネージャ４０と直接結合されており、これにより、各ディスクアダプタ４２ａ，４２ｂとキャッシュマネージャ４０と間に要求される高いスループットを実現することができる。
【００６９】
さらに、図２に示すごとく、各ディスクアダプタ４２ａ，４２ｂは対応するＢＲＴ５−０〜５−７にバス、例えば、ファイバチャネル（Fiber Channel）やEthernet（登録商標）、によって接続される。この場合、バスは、後述するように、バックパネルのプリント基板に電気的配線で設けられる。
【００７０】
各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂとＢＲＴ５−０〜５−７との間は、前述のように、全てのディスクエンクロージャと接続するため、１対１のメッシュ接続になるため、制御モジュール４−０〜４−７の数（つまり、ディスクアダプタ４２ａ，４２ｂの数）が増大するほど、接続数が増加して接続関係が複雑になり、物理的な実装が困難になる。しかし、ディスクアダプタ４２ａ，４２ｂとＢＲＴ５−０〜５−７との間の接続に、インターフェースを構成する信号数が少ないファイバチャネルを採用することにより、プリント基板での実装が可能となる。
【００７１】
なお、各ディスクアダプタ４２ａ，４２ｂと対応するＢＲＴ５−０〜５−７とがファイバチャネル接続される場合、ＢＲＴ５−０〜５−７は，ファイバチャネルのスイッチとなる。また、各ＢＲＴ５−０〜５−７と対応するディスクエンクロージャ２−０〜２−３１との間も、例えば、ファイバチャネルによって接続され、この場合には、モジュールが異なるため、光ケーブル５００，５１０で接続される。
【００７２】
図１に示すように、ＤＭＡエンジン４３は、他の制御モジュール４−０〜４−７と相互に通信を行なうものであり、他の制御モジュール４−０〜４−７間との通信とデータ転送処理を担当する。各制御モジュール４−０〜４−７のＤＭＡエンジン４３それぞれは、制御モジュール４−０〜４−７の一部として構成されており、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０の基板上に実装される。そして、前述の高速シリアルバスによって、キャッシュマネージャ４０と直接結合されるとともに、ＦＲＴ６−０，６−１を介して他の制御モジュール４−０〜４−７のＤＭＡエンジン４３と互いに通信する。
【００７３】
ＦＲＴ６−０，６−１は、複数（特に３以上、ここでは８つ）の制御モジュール４−０〜４−７のＤＭＡエンジン４３に接続され、これら制御モジュール４−０〜４−７の相互間を選択的に切り替え，通信可能に接続するものである。
【００７４】
このような構成により、各制御モジュール４−０〜４−７のＤＭＡエンジン４３のそれぞれは、ＦＲＴ６−０，６−１を介して、自身に接続されたキャッシュマネージャ４０と他の制御モジュール４−０〜４−７のキャッシュマネージャ４０との間で、ホストコンピュータからのアクセス要求等に応じて生じる通信やデータ転送処理（例えば、ミラーリング処理）を実行する。
【００７５】
また、図２に示すように、各制御モジュール４−０〜４−７のＤＭＡエンジン４３が複数（ここでは２つ）のＤＭＡエンジン４３−ａ，４３−ｂで構成され、これら２つのＤＭＡエンジン４３−ａ，４３−ｂの各々が、各々２つのＦＲＴ６−０，６−１を使用する。
【００７６】
さらに、ＤＭＡエンジン４３−ａ，４３−ｂは、前述のように、例えば、PCI−Expressバスによって、キャッシュマネージャ４０に接続されており、低レイテシイを実現する。
【００７７】
また、各制御モジュール４−０〜４−７間（つまり、各制御モジュール４−０〜４−７のキャッシュマネージャ４０間）の通信やデータ転送処理では、データ転送量が多く、通信にかかる時間を短くすることが望ましく、高いスループットと同時に低いレイテンシ（速い応答速度）が要求される。このため、図１、図２に示すように、各制御モジュール４−０〜４−７のDMAエンジン４３とFRT６−０，６−１とは、高いスループットと低いレイテンシとの両方の要求を満たすべく設計された、高速シリアル伝送を利用したバス（PCI-ExpressやRapid-IO）によって、接続される。
【００７８】
これらPCI-ExpressやRapid-IOは、２．５Gbpsの高速シリアル伝送を利用したものであり、これらのバスインターフェースには、LVDS（Low Voltage Differential Signaling）という小振幅差動インターフェースが採用される。
【００７９】
[リード/ライト処理]
次に、図１乃至図４のデータストレージシステムのリード処理を説明する。図５は、図１乃至図２の構成のリード動作の説明図である。
【００８０】
先ず、キャッシュマネージャ４０は、ホストコンピュータのいずれかから対応するチャネルアダプタ４１ａ〜４１ｄを介してリード要求を受け取った場合、当該リード要求の対象データをキャッシュメモリ４０ｂが保持していれば、キャッシュメモリ４０ｂに保持された当該対象データを、チャネルアダプタ４１ａ〜４１ｄを介してホストコンピュータに送る。
【００８１】
一方、当該対象データがキャッシュメモリ４０ｂに保持されていなければ、キャッシュ制御部４０ａが、当該対象データを保持しているディスクドライブ２００から対象データを、キャッシュメモリ４０ｂ上に読み出してから、対象データを、リード要求を発行したホストコンピュータに送信する。
【００８２】
このディスクドライブとのリード処理を、図５で説明する。
【００８３】
（１）キャッシュマネージャ４０の制御部４０ａ（ＣＰＵ）は、キャッシュメモリ４０ｂのディスクリプタ領域に、ＦＣヘッダとディスクリプタを作成する。ディスクリプタは、データ転送回路（ＤＭＡ回路）に対して、データ（ＤＭＡ）転送を要求する命令であり、ＦＣヘッダのキャッシュメモリ上のアドレス、転送したいデータのキャッシュメモリ上でのアドレスとデータバイト数、データ転送のディスクの論理アドレスを含む。
【００８４】
（２）ディスクアダプタ４２のデータ転送回路を起動する。
【００８５】
（３）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからディスクリプタを読み出す。
【００８６】
（４）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからＦＣヘッダを読み出す。
【００８７】
（５）ディスクアダプタ４２の起動されたデータ転送回路は、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、ＦＣヘッダを、ファイバーチャネル５００（５１０）より、対象ディスクドライブ２００に転送する。ディスクドライブ２００は、要求された対象データを読み出し、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。
【００８８】
（６）ディスクドライブ２００は、要求された対象データを読み出し、送信を完了すると、完了通知を、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。
【００８９】
（７）ディスクアダプタ４２の起動されたデータ転送回路は、完了通知を受けると、ディスクアダプタ４２のメモリからリードデータを読み出し、キャッシュメモリ４０ｂに格納する。
【００９０】
（８）ディスクアダプタ４２の起動されたデータ転送回路は、リード転送が完了すると、キャッシュマネージャ４０に、割り込みによる完了通知を行う。
【００９１】
（９）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の割り込み要因を得て、リード転送を確認する。
【００９２】
（１０）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の終了ポインタを調べ、リード転送完了を確認する。
【００９３】
このように、十分な性能を得るためには、全ての接続が高いスループットを持つ必要があるが、キャッシュ制御部４０ａとディスクアダプタ４２との間には、信号のやり取りが多く（図では、７回）、特に、低いレイテンシのバスが必要となる。
【００９４】
この実施例では、PCI-Express(4レーン)と、Fibre Channel(４G)を、どちらも高いスループットの接続として採用しているが、PCI-Expressが低いレイテンシの接続なのに対して、Fibre Channelは比較的レイテンシの大きな(データ転送に時間のかかる) 接続である。
【００９５】
そこで、第２の従来技術では、ＣＭ１０とＤＡ１３、ＣＡ１１との間のＲＴ１４（図１２参照）には、レイテンシが高いFibre Channelを採用できないのに対して、本発明では、図１の構成のため、ＢＲＴ５−０〜５−７に，Fibre Channelを採用することができる。
【００９６】
低いレイテンシを実現するためには、バスの信号本数をある程度より減らすことができないが、本発明では、ディスクアダプタ４２とＢＲＴ５−０間の接続には、信号線本数の少ないFibre Channelを採用することができ、バックパネル上の信号本数が少なくなり、実装上で有効である。
【００９７】
次に、ライト動作を説明する。ホストコンピュータのいずれかから対応するチャネルアダプタ４１ａ〜４１ｄを介してライト要求を受け取った場合、当該ライト要求のコマンドとライトデータとを受信したチャネルアダプタ４１ａ〜４１ｄは、キャッシュマネージャ４０に対して、ライトデータを書き込むべきキャッシュメモリ４０ｂのアドレスを尋ねる。
【００９８】
そして、このチャネルアダプタ４１ａ〜４１ｄがキャッシュマネージャ４０からの応答を受け取ると、キャッシュマネージャ４０のキャッシュメモリ４０ｂにライトデータを書き込むとともに、当該キャッシュマネージャ４０とは異なる少なくとも１つのキャッシュマネージャ４０（つまり、異なる制御モジュール４−０〜４−７のキャッシュマネージャ４０）内のキャッシュメモリ４０ｂにもライトデータを書き込む。このため、ＤＭＡエンジン４３を起動し、ＦＲＴ６−０，６−１を介し、他の制御モジュール４−０〜４−７のキャッシュマネージャ４０内のキャッシュメモリ４０ｂにもライトデータを書き込む。
【００９９】
ここで、少なくとも異なる２つの制御モジュール４−０〜４−７のキャッシュメモリ４０ｂにライトデータを書き込むのは、データを２重化（ミラーリング）することで、予期しない制御モジュール４−０〜４−７もしくはキャッシュマネージャ４０のハード故障の場合にも、データの喪失を防ぐためである。
【０１００】
最後に、これら複数のキャッシュメモリ４０ｂへのライトデータの書き込みが正常に終了すると、チャネルアダプタ４１ａ〜４１ｄがホストコンピュータ３−０〜３−３１に対して完了通知を行ない、処理を終了する。
【０１０１】
更に、このライトデータを、対象とするディスクドライブに、書き戻す（ライトバックという）必要がある。キャッシュ制御部４０ａは、内部スケジュールに従い、キャッシュメモリ４０ｂのライトデータを、当該対象データを保持しているディスクドライブ２００にライトバックする。このディスクドライブとのライト処理を、図６で説明する。
【０１０２】
（１）キャッシュマネージャ４０の制御部４０ａ（ＣＰＵ）は、キャッシュメモリ４０ｂのディスクリプタ領域に、ＦＣヘッダとディスクリプタを作成する。ディスクリプタは、データ転送（ＤＭＡ）回路に対して、データ（ＤＭＡ）転送を要求する命令であり、ＦＣヘッダのキャッシュメモリ上のアドレス、転送したいデータのキャッシュメモリ上でのアドレスとデータバイト数、データ転送のディスクの論理アドレスを含む。
【０１０３】
（２）ディスクアダプタ４２のデータ転送回路を起動する。
【０１０４】
（３）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからディスクリプタを読み出す。
【０１０５】
（４）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからＦＣヘッダを読み出す。
【０１０６】
（５）ディスクアダプタ４２の起動されたデータ転送回路は、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、キャッシュメモリ４０ｂからデータを読み出す。
【０１０７】
（６）読み出し完了後、ディスクアダプタ４２のデータ転送回路は、ＦＣヘッダとデータを、ファイバーチャネル５００（５１０）より、対象ディスクドライブ２００に転送する。ディスクドライブ２００は、転送されたデータを内臓するディスクに書き込む。
【０１０８】
（７）ディスクドライブ２００は、データの書き込みを完了すると、完了通知を、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。
【０１０９】
（８）ディスクアダプタ４２の起動されたデータ転送回路は、完了通知を受けると、キャッシュマネージャ４０に、割り込みによる完了通知を行う。
【０１１０】
（９）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の割り込み要因を得て、ライト動作を確認する。
【０１１１】
（１０）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の終了ポインタを調べ、ライト動作完了を確認する。
【０１１２】
この図６でも、図５でも、矢印は、データなどのパケットの転送を示し、コの字型の矢印は、データのリードを表しており、一方のデータ要求に対してデータが送り返されているのを示す。このように、ＤＡ内の制御回路の起動と終了状態の確認が必要となるため、一回のデータ転送を行うのにＣＭ４０とＤＡ４２の間では、７回のやり取りが行われている。ＤＡ４２とディスク２００の間は２回である。
【０１１３】
これによって、キャッシュ制御部４０とディスクアダプタ４２との間の接続に、低いレイテンシが要求され、一方、ディスクアダプタ４２とディスクデバイス２００とは、信号本数の少ないインタフェースを利用できることが理解できる。
【０１１４】
［実装構造］
図７は、本発明による制御モジュールの実装構成例を示す図、図８は、図７の制御モジュールとディスクエンクロージャとを含む実装構成例を示す図、図９及び図１０は、かかる実装構成によるデータストレージシステムのブロック図である。
【０１１５】
図８に示すように、ストレージ装置の筐体の上側には、４台のディスクエンクロージャ２−０，２−１，２−８，２−９が搭載される。ストレージ装置の下側半分は、制御回路を搭載する。この下側半分は、図７のように、バックパネル７によって前後に分割されている。バックパネル７の前方、後方には、それぞれスロットが設けられる。図９の大規模構成のストレージシステムでは、前方側（Ｆｒｏｎｔ）には、８枚（８個）のＣＭ４−０〜４−７が、後方には、２枚（２個）のＦＲＴ６−０，６−１、８枚（８個）のＢＲＴ５−０〜５−７及び、電源制御などを担当するサービスプロセッサＳＶＣ(図１、図９では図示しない)が配置される。
【０１１６】
図７では、８枚のＣＭ４−０〜４−７と２枚のＦＲＴ６−０，６−１が、バックパネル７を経由して、４レーンのPCI-Expressで接続される。ＰＣＩ−Ｅｘｐｅｓｓは、４本（差動、両方向のため）の信号線であり、４レーン分で、１６本の信号線となるから、この信号本数は１６×１６＝２５６本となる。また、８枚のＣＭ４−０〜４−７と８枚のＢＲＴ５−０〜５−７がバックパネル７を経由して、Fibre Channelで接続される。Fibre Channelは、差動、両方向のため、１×２×２＝４の信号線であり、この信号本数は、８×８×４＝２５６本となる。
【０１１７】
このように、接続箇所毎にバスを使い分けることにより、図９のような大規模構成のストレージシステムでも、ＣＭ４−０〜４−７の８枚、ＦＲＴ６−０，６−１の２枚、ＢＲＴ５−０〜５−７の８枚の接続が、５１２本の信号線によって実現できる。この信号線数は、バックパネル基板７に十分に実装可能な信号数であり、また基板の信号層数も６層で十分であり、コスト的にも実現可能な範囲内にある。
【０１１８】
又、図８では、４台のディスクエンクロージャ２−０，２−１，２−８，２−９（図９参照）を搭載するが、他のディスクエンクロージャ２−３〜２−７、２−１０〜２−３１は、別の筐体に設けられる。
【０１１９】
更に、図１０のような中規模ストレージシステムでも、同様の構成で実現できる。即ち、４台のＣＭ４−０〜４−３、４台のＢＲＴ５−０〜５−３、２台のＦＲＴ６−０〜６−１、１６モジュールのディスクエンクロージャ２−０〜２−１５の構成でも、同一のアーキテクチャで実現できる。
【０１２０】
しかも、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂそれぞれは、ＢＲＴにより、すべてのディスクドライブ２００に接続され、各制御モジュール４−０〜４−７が、いずれのディスクアダプタ４２ａ，４２ｂを通じても、すべてのディスクドライブにアクセスできる。
【０１２１】
また、これらディスクアダプタ４２ａ，４２ｂそれぞれは、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０の基板上に実装され、各ディスクアダプタ４２ａ，４２ｂは、例えばPCI−Express等の低レンテシイバスによってキャッシュマネージャ４０と直接結合でき、高いスループットを実現することができる。
【０１２２】
更に、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂとBRT５−０〜５−７との間は、１対１のメッシュ接続になるため、システムがそなえる制御モジュール４−０〜４−７の数（つまり、ディスクアダプタ４２ａ，４２ｂの数）が増大しても、ディスクアダプタ４２ａ，４２ｂとBRT５−０〜５−７との間の接続に、インターフェースを構成する信号数が少ないファイバチャネルを採用することができ、実装の課題を解決することができる。
【０１２３】
また、各制御モジュール４−０〜４−７間（つまり、各制御モジュール４−０〜４−７のキャッシュマネージャ４０間）の通信やデータ転送処理では、データ転送量が多く、通信にかかる時間を短くすることが望ましく、高いスループットと同時に低いレイテンシ（速い応答速度）が要求されるため、図２に示すごとく、各制御モジュール４−０〜４−７のDMAエンジン４３とFRT６−０，６−１とは、高いスループットと低いレイテンシとの両方の要求を満たすべく設計された、高速シリアル伝送を利用したバスPCI-Expressによって接続されている。
【０１２４】
［他の実施の形態］
前述の実施の形態では、制御モジュール内の信号線を、PCI-Expressで説明したが, Rapid-IO等の他の高速シリアルバスを利用できる。制御モジュール内のチャネルアダプタやディスクアダプタの数は、必要に応じて、増減できる。
【０１２５】
又、ディスクドライブとしては、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブ等の記憶デバイスを適用できる。
【０１２６】
以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。
【０１２７】
（付記１）データを記憶する複数の記憶デバイスと、上位からのアクセス指示に応じて、前記記憶デバイスをアクセス制御する複数の制御モジュールとを有し、前記制御モジュールは、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、前記キャッシュメモリの制御を行うキャッシュ制御ユニットと、前記上位とのインターフェース制御を行う第１のインターフェース部と、前記複数の記憶デバイスとのインターフェース制御を行う第２のインターフェース部とを有し、更に、前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第２のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の第１のスイッチユニットを設け、前記複数の制御モジュールと前記複数の第１のスイッチユニットとをバックパネルで接続したことを特徴とするデータストレージシステム。
【０１２８】
（付記２）前記制御モジュールは、キャッシュ制御ユニットと前記第２のインターフェース部とを、低レンテシイの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記１のデータストレージシステム。
【０１２９】
（付記３）前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第２のスイッチユニットを有することを特徴とする付記１のデータストレージシステム。
【０１３０】
（付記４）各制御モジュールの通信ユニットと第２のスイッチユニットとを、前記バックパネルで接続したことを特徴とする付記３のデータストレージシステム。
【０１３１】
（付記５）前記第１のスイッチユニットと前記複数の記憶デバイスをケーブルで接続したことを特徴とする付記１のデータストレージシステム。
【０１３２】
（付記６）前記記憶デバイスは、複数のアクセスポートを有し、前記複数のアクセスポートに、複数の異なる前記第１のスイッチユニットを接続したことを特徴とする付記１のデータストレージシステム。
【０１３３】
（付記７）前記制御モジュールは、前記キャッシュ制御ユニットと前記第２のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記２のデータストレージシステム。
【０１３４】
（付記８）前記高速シリアルバスが、PCI-Expressバスであることを特徴とする付記２のデータストレージシステム。
【０１３５】
（付記９）前記シリアルバスが、ファイバチャネルであることを特徴とする付記２のデータストレージシステム。
【０１３６】
（付記１０）前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のインターフェース部とを、低レンテシイの高速シリアスバスで接続したことを特徴とする付記２のデータストレージシステム。
【０１３７】
（付記１１）上位からのアクセス指示に応じて、データを記憶する複数の記憶デバイスをアクセス制御するデータストレージ制御装置において、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、前記キャッシュメモリの制御を行うキャッシュ制御ユニットと、前記上位とのインターフェース制御を行う第１のインターフェース部と、前記複数の記憶デバイスとのインターフェース制御を行う第２のインターフェース部とを有する複数の制御モジュールと、前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第２のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の第１のスイッチユニットを有し、前記複数の制御モジュールと前記複数の第１のスイッチユニットとをバックパネルで接続したことを特徴とするデータストレージ制御装置。
【０１３８】
（付記１２）前記制御モジュールは、キャッシュ制御ユニットと前記第２のインターフェース部とを、低レンテシイの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記１１のデータストレージ制御装置。
【０１３９】
（付記１３）前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第２のスイッチユニットを有することを特徴とする付記１１のデータストレージ制御装置。
【０１４０】
（付記１４）各制御モジュールの通信ユニットと第２のスイッチユニットとを、前記バックパネルで接続したことを特徴とする付記１３のデータストレージ制御装置。
【０１４１】
（付記１５）前記第１のスイッチユニットと前記複数の記憶デバイスをケーブルで接続したことを特徴とする付記１のデータストレージ制御装置。
【０１４２】
（付記１６）複数の異なる前記第１のスイッチユニットは、複数のアクセスポートを有する前記記憶デバイスの各々に接続したことを特徴とする付記１１のデータストレージ制御装置。
【０１４３】
（付記１７）前記制御モジュールは、前記キャッシュ制御ユニットと前記第２のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記１２のデータストレージ制御装置。
【０１４４】
（付記１８）前記高速シリアルバスが、PCI-Expressバスであることを特徴とする付記１２のデータストレージ制御装置。
【０１４５】
（付記１９）前記シリアルバスが、ファイバチャネルであることを特徴とする付記１２のデータストレージ制御装置。
【０１４６】
（付記２０）前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のインターフェース部とを、低レンテシイの高速シリアスバスで接続したことを特徴とする付記１２のデータストレージ制御装置。
【産業上の利用可能性】
【０１４７】
各制御モジュールの第２のインターフェースと複数の第１のスイッチユニットを接続したため、全ての制御モジュールは、全ての記憶デバイスにアクセスできる冗長性を維持でき、且つ制御モジュールの数が増大しても、制御モジュールと第１のスイッチユニットとをバックパネルで、インターフェースを構成する信号数が少ないシリアルバスで接続できるため、制御モジュール内の低レンテシイな通信を維持しつつ、プリント基板での実装が可能となる。このため、大規模から小規模までのアーキテクチャを統一化するのに有効であり、装置のコストダウンに寄与できる。
【符号の説明】
【０１４８】
１ ストレージシステム
２−０〜２−３５ ディスクエンクロージャ
４−０〜４−７ 制御ユニット
５−０〜５−７ バックエンドルータ
６−０〜６−１ フロントエンドルータ
７ バックパネル
４０ 制御モジュール
４０a キャッシュ制御ユニット
４０ｂ キャッシュメモリ
４１ チャネルアダプタ
４２ デバイスアダプタ
４３ 通信ユニット（DMAエンジン）
【技術分野】
【０００１】
本発明は、コンピュータの外部記憶装置として用いられるデータストレージシステムの構成に関し、特に、ディスクデバイスを多数接続するデータストレージシステムを高性能且つ柔軟に構成できるようなユニットの組み合わせと接続を持つデータストレージシステムに関する。
【背景技術】
【０００２】
近年、様々なデータが電子化され、コンピュータ上で扱われるのに従い、データの処理を実行するホストコンピュータとは独立して、大量のデータを効率よく、高い信頼性で格納することのできるデータストレージ装置（外部記憶装置）の重要性が増加している。
【０００３】
このデータストレージ装置として、大量のディスクデバイス（例えば、磁気ディスクや光ディスク）と、これら大量のディスクデバイスを制御するディスクコントローラとから構成されるディスクアレイ装置が利用されている。このディスクアレイ装置は、同時に複数のホストコンピュータからのディスクアクセス要求を受け付けて、大量のディスクに対する制御を行なうことができる。
【０００４】
近年では、ディスクデバイスが数１０００台以上、記憶容量では、数百テラバイト以上のディスクデバイス群を１台で制御できるディスクアレイ装置も提供されている。
【０００５】
このようなディスクアレイ装置は、ディスクのキャッシュの役割を果たすメモリを内蔵する。これにより、ホストコンピュータからリード要求及びライト要求を受信した際の、データへのアクセス時間を短縮し、高性能化を実現できる。
【０００６】
一般に、ディスクアレイ装置は、複数の主要ユニット、即ち、ホストコンピュータとの接続部分であるチャネルアダプタ，ディスクドライブとの接続部分であるディスクアダプタ，キャッシュメモリ，キャッシュメモリの制御を担当するキャッシュ制御部，及び大量のディスクドライブから構成される。
【０００７】
図１１は、第１の従来技術の説明図である。図１１に示すディスクアレイ装置１０２は、キャッシュマネージャ（キャッシュメモリとキャッシュ制御部）１０が２つそなえられ、且つ各キャッシュマネージャ１０には、チャネルアダプタ１１及びディスクアダプタ１３が接続されている。
【０００８】
また、２つのキャッシュマネージャ１０，１０は、バス１０ｃによって、互いに通信可能に直接接続されている。この２つのキャッシュマネージャ１０，１０間、並びに、キャッシュマネージャ１０とチャネルアダプタ１１との間、及び、キャッシュマネージャ１０とディスクアダプタ１３との間は、低いレイテンシが要求されるためＰＣＩバスによって接続されている。
【０００９】
更に、チャネルアダプタ１１は、例えば、ファイバチャネルもしくはEthernet（登録商標）によって、ホストコンピュータ（図示略）に接続され、ディスクアダプタ１３は、例えば、ファイバチャネルのケーブルによってディスクエンクロージャ１２の各ディスクドライブに接続されている。
【００１０】
また、ディスクエンクロージャ１２は、２つのポート（例えば、ファイバチャネルポート）を有し、これら２つのポートが、異なるディスクアダプタ１３に接続されている。これにより、冗長性を持たせ、耐故障性を高めている。
【００１１】
図１２は、第２の従来例のディスクアレイ装置１００の構成図である。図１２に示すように、従来のディスクアレイ装置１００は、主要ユニットであるキャッシュメモリとキャッシュ制御部とをそなえるキャッシュマネージャ（図中ＣＭと表記）１０、ホストコンピュータ（図示略）とのインターフェースであるチャネルアダプタ（図中ＣＡと表記）１１、複数のディスクドライブを備えるディスクエンクロージャ１２、及び、このディスク装置１２とのインターフェースであるディスクアダプタ（図中ＤＡと表記）１３をそなえる。
【００１２】
更に、キャッシュマネージャ１０，チャネルアダプタ１１，及びディスクアダプタ１３間を互いに接続し、これら主要ユニット間のデータ転送と通信を行うためのルータ（Router；図中ＲＴと表記）１４がそなえられている。
【００１３】
このディスクアレイ装置１００では、キャッシュマネージャ１０が４つそなえられ、これらのキャッシュマネージャ１０に対応して４つのルータ１４がそなえられている。これらキャッシュマネージャ１０とルータ１４とは、１対１で相互に接続されており、これによって、複数のキャッシュマネージャ１０間の接続が冗長化されて、可用性が高められている（例えば、特許文献１参照）。
【００１４】
即ち、１つのルータ１４の故障した場合にも、別のルータ１４を経由することで複数のキャッシュマネージャ１０間の接続は確保されており、かかる場合にも、ディスクアレイ装置１００は通常の動作を継続することができる。
【００１５】
また、このディスクアレイ装置１００は、各ルータ１４に、２つのチャネルアダプタ１１と２つのディスクアダプタ１３とが接続され、ディスクアレイ装置１００は合計８つのチャネルアダプタ１１と合計８つのディスクアダプタ１３とをそなえている。
【００１６】
これらのチャネルアダプタ１１及びディスクアダプタ１３は、キャッシュマネージャ１０とルータ１４との相互接続により、全てのキャッシュマネージャ１０との間で通信が可能である。
【００１７】
又、チャネルアダプタ１１は、例えば、ファイバチャネルやEthernet（登録商標）によって、データを処理対象とするホストコンピュータ（図示略）に接続されており、ディスクアダプタ１３は、例えば、ファイバチャネルのケーブルによって、ディスクエンクロージャ１２（具体的にはディスクドライブ）に接続される。
【００１８】
そして、チャネルアダプタ１１とキャッシュマネージャ１０との間、及びディスクアダプタ１３とキャッシュマネージャ１０との間では、ホストコンピュータからのユーザデータだけではなく、ディスクアレイ装置１００の内部の動作の一貫性を保つための様々な情報のやり取り（例えば、複数のキャッシュメモリ間のデータのミラーリング処理）がなされる。
【００１９】
キャッシュマネージャ１０，チャネルアダプタ１１及びディスクアダプタ１３と、ルータ１４との間は、ディスクアレイ装置１００とホストコンピュータとの間や、ディスクドライブとの間よりも低いレイテンシ（速い応答速度）を実現できるインターフェースを介して接続される。例えば、ＰＣＩ（Peripheral Component Interconnect）バスのように、ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ１０，チャネルアダプタ１１，及びディスクアダプタ１３と、ルータ１４との間が接続される。
【００２０】
さらに、ディスクドライブを収容するディスクエンクロージャ１２は、２つのファイバチャネルのポートを有し、各ポートには異なるルータ１４配下に属するディスクアダプタ１３が接続される。これにより、ディスクアダプタ１３の故障時もしくはルータ１４の故障時にも、キャッシュマネージャ１０からの接続が切断されることを防止できる。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開２００１−２５６００３号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【００２２】
近年の電子化の推進により、より大容量で、高速なデータストレージシステムが要求されている。前述の第１の従来のディスクアレイ装置では、大容量、高速化のため、更に、キャッシュマネージャ１０や、チャネルアダプタ１１、ディスクアダプタ１３を増設する場合には、ディスクエンクロージャ１２のポート数を増加し、且つディスクアダプタ１３とディスクエンクロージャ１２の接続ケーブルの本数を増加させる必要がある。
【００２３】
ディスクエンクロージャ１２のポート数を増加することは、１つのディスクエンクロージャに接続されるディスクアダプタの数に応じたケーブル数が、増加し、実装空間が大きくなる。即ち、装置の大型化を招く。又、１つのディスクエンクロージャでは、２系統のパスがあれば、十分な冗長構成をとれるため、ポート数を増加することは、得策でない。しかも、接続されるディスクアダプタの数は、一定でなく、ユーザの要求に応じて、変化するため、多数のポートを増設すると、少ないディスクアダプタでは、無駄が生じ、少数のポートを増設すると、多数のディスクアダプタに対応できない。即ち、汎用性を失うことになる。
【００２４】
一方、第２の従来のディスクアレイ装置では、キャッシュマネージャ１０や、チャネルアダプタ１１、ディスクアダプタ１３を増設することは、可能であるが、全て、ルータ１４を介して通信するため、ルータ１４に通信データが集中するため、スループットのネックとなり、高いスループットは期待できない。
【００２５】
しかも、ディスクアレイ装置１００では、主要ユニットを多数設けた大規模なディスクアレイ装置を構成する場合には、キャッシュマネージャ１０とルータ１４との間の接続線数が急増するため、接続関係が複雑になってしまい、物理的にも実装が困難になる。
【００２６】
例えば、図１２の構成では、図１３に示すように、４つ（４枚）のキャッシュマネージャ１０と、４つ（４枚）のルータ１４とが、バックパネル１５を経由して接続される実装構造をとる。この場合、前述のように、図１２のように、信号本数は、４×４×（１パス当りの信号本数）となる。例えば、前述のように、１パスを、６４ビットのＰＣＩ（パラレルバス）で接続する場合には、制御線を含め、バックパネル１５上では、１００×１６＝１６００本の信号線となる。この信号線を配線するためには、バックパネル１５のプリント基板は、６層の信号層を必要とする。
【００２７】
さらに、大規模構成の場合には、例えば、８つ（４枚）のキャッシュマネージャ１０と、８つ（４枚）のルータ１４とが、バックパネル１５を経由して接続される構成では、信号本数は、１００×８×８＝約６４００本も必要する。このためのバックパネル１５のプリント基板は、４倍の２４層必要となり、実現が困難である。
【００２８】
仮に、６４ビットのＰＣＩバスに代え、信号線の少ない４レーンのＰＣＩ−Ｅｘｐｒｅｓｓで接続すると、信号線数は、１６×８×８＝１０２４本となる。しかし、ＰＣＩバスは、６６ＭＨｚであるのに対し、ＰＣＩ−Ｅｘｐｒｅｓｓは、２．５Ｇｂｐｓの高速バスであり、高速バスの信号品質を保つには、高価な基板材料を使用する必要がある。
【００２９】
更に、低速バスであれば、ビア（Ｖｉａ）を使用することで、配線層の入れ替えが可能であるが、高速バスでは、Ｖｉａは、信号品質の低下を招くことになり、避ける必要もある。このため、高速バスでは、全ての信号線が交差しないよう配置する必要があり、同じ本数の低速バスの約２倍の信号層が必要となる。例えば、基板は、１２層の信号層を必要とし、且つ高価な材料で構成する必要があり、これも実現が困難である。
【００３０】
しかも、第２の従来のディスクアレイ装置１００では、ルータ１４の一つが故障した場合には、当該ルータ１４の故障と同時に、当該ルータ１４配下に接続されたチャネルアダプタ１１及びディスクアダプタ１３も使えなくなってしまう。
【００３１】
従って、本発明の目的は、各ユニット間のデータ転送を高いスループットで行うとともに、小規模から大規模までの構成を、実装上の問題なく、容易に実現するためのデータストレージシステムを提供することにある。
【００３２】
又、本発明の他の目的は、あるユニットが故障した場合でも動作可能な冗長性を維持しつつ、小規模から大規模までの構成を、同一のユニットの組み合わせで、容易に実現する柔軟性を持つデータストレージシステムを提供することにある。
【００３３】
更に、本発明の更に他の目的は、高いスループットと冗長性を保証しつつ、小規模から大規模までの構成を、実装上の問題なく、容易に実現するためのデータストレージシステムを提供することにある。
【課題を解決するための手段】
【００３４】
この目的の達成のため、本発明のデータストレージシステムは、データを記憶する複数のディスク記憶デバイスを並列に接続して構成された複数のディスクエンクロージャと、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する複数の制御モジュールとを有し、前記制御モジュールの各々は、前記上位とのインターフェース制御を行う第１のインターフェース部と、前記ディスク記憶デバイスとのインターフェース制御を行う第２のインターフェース部と、前記アクセス指示に応じて、前記第２のインターフェース部より、前記ディスク記憶デバイスをアクセス制御する制御ユニットとを有し、各前記制御モジュールの前記第２のインターフェース部に接続され、前記各制御モジュールの前記第２のインターフェース部と前記複数のディスクエンクロージャとを選択的に切り替える複数の第１のスイッチユニットを搭載する複数の第１の基板と、少なくとも前記制御ユニットと、前記第２のインターフェース部とを設けた複数の第２の基板と、前記複数の第１の基板と、前記複数の第２の基板が取り付けられ、前記第２のインターフェース部と、前記複数の第１のスイッチユニットとを、バスで接続するバックパネルとを設けた。
【００３５】
更に、本発明では、好ましくは、前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第２のスイッチユニットを有する。
【００３６】
更に、本発明では、好ましくは、各制御モジュールの通信ユニットと第２のスイッチユニットとを、前記バックパネルで接続した。
【００３７】
更に、本発明では、好ましくは、前記第１のスイッチユニットと前記複数の記憶デバイスをケーブルで接続した。
【００３８】
更に、本発明では、好ましくは、前記記憶デバイスは、複数のアクセスポートを有し、前記複数のアクセスポートに、複数の異なる前記第１のスイッチユニットを接続した。
【００３９】
更に、本発明では、好ましくは、前記制御モジュールは、前記キャッシュ制御ユニットと前記第２のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続した。
【００４０】
更に、本発明では、好ましくは、前記高速シリアルバスが、PCI-Expressバスである。
【００４１】
更に、本発明では、好ましくは、前記シリアルバスが、ファイバチャネルである。
【００４２】
更に、本発明では、好ましくは、前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のインターフェース部とを、低レンテシイの高速シリアスバスで接続した。
【発明の効果】
【００４３】
本発明では、各制御モジュールの第２のインターフェースと複数の第１のスイッチユニットを接続したため、全ての制御モジュールは、全ての記憶デバイスにアクセスできる冗長性を維持でき、且つ制御モジュールの数が増大しても、制御モジュールと第１のスイッチユニットとをバックパネルで、インターフェースを構成する信号数が少ないシリアルバスで接続できるため、プリント基板での実装が可能となる。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施の形態のデータストレージシステムの構成図である。
【図２】図１の制御モジュールの構成図である。
【図３】図１及び図２のバックエンドルータとディスクエンクロージャの構成図である。
【図４】図１及び図３のディスクエンクロージャの構成図である。
【図５】図１及び図２の構成のリード処理の説明図である。
【図６】図１及び図２の構成のライト処理の説明図である。
【図７】本発明の一実施の形態の制御モジュールの実装構成を示す図である。
【図８】本発明の一実施の形態のデータストレージシステムの実装構成例を示す図である。
【図９】本発明の一実施の形態の大規模ストレージシステムのブロック図である。
【図１０】本発明の他の実施の形態の中規模ストレージシステムのブロック図である。
【図１１】第１の従来のストレージシステムの構成図である。
【図１２】第２の従来のストレージシステムの構成図である。
【図１３】図１２の第２の従来のストレージシステムの実装構成を示す図である。
【発明を実施するための形態】
【００４５】
以下、本発明の実施の形態を、データストレージシステム、リード／ライト処理、実装構造、他の実施の形態の順で説明する。
【００４６】
［データストレージシステム］
図１は、本発明の一実施の形態のデータストレージシステムの構成図、図２は、図１のコントロールモジュールの構成図、図３は、図１のバックエンドルータとディスクエンクロージャの構成図、図４は、図１及び図３のディスクエンクロージャの構成図である。
【００４７】
図１は、８台のコントロールモジュールを持つ大規模なストレージシステムを例に示す。図１に示すように、ストレージシステム１は、データを保持する複数のディスクエンクロージャ２−０〜２−２５と、図示しないホストコンピュータ（データ処理装置）と、複数のディスクエンクロージャ２−０〜２−２５との間に、配置された複数（ここでは８つ）の制御モジュール４−０〜４−７と、これら複数の制御モジュール４−０〜４−７と複数のディスクエンクロージャ２−０〜２−２５との間に設けられた複数（ここでは８つ）のBack-end Router（第１スイッチユニット；図中ＢＲＴと表記し、以下、ＢＲＴという）５−０〜５−７と、複数（ここでは２つ）のFront-end Router（第２スイッチユニット；図中ＦＲＴと表記、以下、ＦＲＴという）６−０，６−１とを有する。
【００４８】
制御モジュール４−０〜４−７のそれぞれは、キャッシュマネージャ４０と、チャネルアダプタ（第１インターフェース部；図中ＣＡと表記）４１ａ〜４１ｄと、ディスクアダプタ（第２インターフェース部；図中ＤＡと表記）４２ａ，４２ｂと、ＤＭＡ（Direct Memory Access）エンジン（通信部；図中ＤＭＡと表記）４３とを有する。
【００４９】
なお、図１では、図の簡略化のため、これらキャッシュマネージャの符号“４０”、チャネルアダプタの符号“４１ａ”，“４１ｂ”，“４１ｃ”，“４１ｄ”、ディスクアダプタの符号“４２ａ”，“４２ｂ”、ＤＭＡの符号“４３”を、制御モジュール４−０に対してのみ付しており、他の制御モジュール４−１〜４−７におけるこれら構成要素の符号は省略している。
【００５０】
図２により、コントロールモジュール４−０〜４−７を説明する。キャッシュマネージャ４０は、ホストコンピュータからの処理要求（リード要求もしくはライト要求）に基づいて、リード／ライト処理を行なうものであり、キャッシュメモリ４０ｂとキャッシュ制御部４０ａとを備える。
【００５１】
キャッシュメモリ４０ｂは、ディスクエンクロージャ２−０〜２−２５の複数のディスクに保持されたデータの一部を保持する、所謂、複数のディスクに対するキャッシュの役割を果たす。
【００５２】
キャッシュ制御部４０ａは、キャッシュメモリ４０ｂ，チャネルアダプタ４１、デバイスアダプタ４２、ＤＭＡ４３の制御を行なう。このため、１つ又は複数（図では、２つ）のＣＰＵ４００，４１０と、メモリコントローラ４２０とを有する。メモリコントローラ４２０は、各メモリのリード／ライトを制御し、且つパスの切り替えを行う。
【００５３】
メモリコントローラ４２０は、メモリバス４３４を介しキャッシュメモリ４０ｂと接続し、ＣＰＵバス４３０，４３２を介しＣＰＵ４００，４１０と接続し、更に、メモリコントローラ４２０は、後述する４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４０，４４２を介しディスクアダプタ４２ａ，４２ｂに接続する。同様に、メモリコントローラ４２０は、４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４３，４４４，４４５，４４６を介しチャネルアダプタ４１ａ，４１ｂ、４１ｃ，４１ｄに接続し、４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４７，４４８を介しＤＭＡ４３−ａ，４３−ｂに接続する。
【００５４】
後述するように、このＰＣＩ−Ｅｘｐｅｓｓ等の高速シリアルバスは、パケットで通信し、且つシリアルバスを複数レーン設けることにより、信号線本線を減らしても、遅延の少ない、速い応答速度で、所謂、低レンテンシで通信することができる。
【００５５】
チャネルアダプタ４１ａ〜４１ｄは、ホストコンピュータに対するインターフェースであり、チャネルアダプタ４１ａ〜４１ｄは、それぞれ異なるホストコンピュータと接続される。また、チャネルアダプタ４１ａ〜４１ｄは、それぞれ対応するホストコンピュータのインターフェース部に、バス、例えば、ファイバチャネル（Fiber Channel）やEthernet（登録商標）によって接続されることが好ましく、この場合、バスとしては、光ファイバや同軸ケーブルが用いられる。
【００５６】
さらに、これらチャネルアダプタ４１ａ〜４１ｄそれぞれは、各制御モジュール４−０〜４−７の一部として構成されているが、対応するホストコンピュータと制御モジュール４−０〜４−７とのインターフェース部として、複数のプロトコルをサポートする必要がある。対応するホストコンピュータによって実装すべきプロトコルが同一ではないため、各チャネルアダプタ４１ａ〜４１ｄを必要に応じて容易に交換できるように、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０とは、図７で後述するように、別のプリント基板に実装されている。
【００５７】
例えば、チャネルアダプタ４１ａ〜４１ｄがサポートすべきホストコンピュータとの間のプロトコルとしては、上述のように、ファイバチャネルや、Ethernet（登録商標）に対応するｉＳＣＳＩ（Internet Small Computer System Interface）等がある。
【００５８】
更に、各チャネルアダプタ４１ａ〜４１ｄは、前述のように、ＰＣＩ−Ｅｘｐｒｅｓｓバスのように，ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ４０と直接結合されている。これにより、各チャネルアダプタ４１ａ〜４１ｄとキャッシュマネージャ４０と間に要求される高いスループットを実現することができる。
【００５９】
ディスクアダプタ４２ａ，４２ｂは、ディスクエンクロージャ２−０〜２−２５のディスクドライブに対するインターフェースであり、ディスクエンクロージャ２−０〜２−２５に接続されたＢＲＴ５−０〜５−７に接続され，ここでは、４つのＦＣ(Ｆｉｂｅｒ Ｃｈａｎｎｅｌ)ポートを有する。
【００６０】
又、各ディスクアダプタ４２ａ、４２ｂは、前述のように、ＰＣＩ−Ｅｘｐｒｅｓｓバスのように，ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ４０と直接結合されている。これにより、各ディスクアダプタ４２ａ、４２ｂとキャッシュマネージャ４０と間に要求される高いスループットを実現することができる。
【００６１】
図１及び図３に示すように、ＢＲＴ５−０〜５−７は、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂと各ディスクエンクロージャ２−０〜２−２５とを選択的に切り替えて、通信可能に接続する多ポートスイッチである。
【００６２】
図３に示すように、各ディスクディスクエンクロージャ２−０〜２−７は、複数（ここでは２つ）のＢＲＴ５−０，５−１が接続される。図４に示すように、各ディスクエンクロージャ２−０は、各々２つのポートを有する複数台のディスクドライブ２００を搭載し、このディスクエンクロージャ２−０の構成は、４つの接続ポート２１０，２１２，２１４，２１６を有する単位ディスクエンクロージャ２０−０〜２３−０で構成される。これらを、直列接続して、容量の増大を実現する。
【００６３】
そして、ディスクエンクロージャ２０−０〜２３−０内では、２つのポート２１０，２１２からの一対のＦＣケーブルにより、各ディスクドライブ２００の各ポートが、２つのポート２１０，２１２に接続される。この２つのポート２１０，２１２は、図３で説明したように、異なるＢＲＴ５−０，５−１に接続される。
【００６４】
図１に示すように、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂそれぞれを、すべてのディスクエンクロージャ２−０〜２−２５に接続する。即ち、各制御モジュール４−０〜４−７のディスクアダプタ４２ａは、ディスクエンクロージャ２−０〜２−７に接続されたＢＲＴ５−０（図３参照）と、ディスクエンクロージャ２−８，２−９〜に接続されたＢＲＴ５−２と、ディスクエンクロージャ２−１６、２−１７〜に接続されたＢＲＴ５−４と、ディスクエンクロージャ２−２４，２−２５〜に接続されたＢＲＴ５−６とにそれぞれ接続される。
【００６５】
又、同様に、各制御モジュール４−０〜４−７のディスクアダプタ４２ｂは、ディスクエンクロージャ２−０〜２−７に接続されたＢＲＴ５−１（図３参照）と、ディスクエンクロージャ２−８，２−９〜に接続されたＢＲＴ５−３と、ディスクエンクロージャ２−１６、２−１７〜に接続されたＢＲＴ５−５と、ディスクエンクロージャ２−２４，２−２５〜に接続されたＢＲＴ５−７とに、それぞれ接続される。
【００６６】
このように、各ディスクエンクロージャ２−０〜２−３１は、複数（ここでは２つ）のＢＲＴが接続されるとともに、同一のディスクエンクロージャ２−０〜２−３１に接続された２つのＢＲＴのそれぞれに、同一の制御モジュール４−０〜４−７における異なるディスクアダプタ４２ａ，４２ｂが接続される。
【００６７】
このような構成により、各制御モジュール４−０〜４−７が、いずれのディスクアダプタ４２ａ，４２ｂを通じても、すべてのディスクエンクロージャ（ディスクドライブ）２−０〜２−３１にアクセスできる。
【００６８】
また、これらディスクアダプタ４２ａ，４２ｂのそれぞれは、制御モジュール４−０〜４−７の一部として構成されており、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０の基板上に実装され、各ディスクアダプタ４２ａ，４２ｂは、例えばPCI（Peripheral Component Interconnect）−Expressバスによってキャッシュマネージャ４０と直接結合されており、これにより、各ディスクアダプタ４２ａ，４２ｂとキャッシュマネージャ４０と間に要求される高いスループットを実現することができる。
【００６９】
さらに、図２に示すごとく、各ディスクアダプタ４２ａ，４２ｂは対応するＢＲＴ５−０〜５−７にバス、例えば、ファイバチャネル（Fiber Channel）やEthernet（登録商標）、によって接続される。この場合、バスは、後述するように、バックパネルのプリント基板に電気的配線で設けられる。
【００７０】
各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂとＢＲＴ５−０〜５−７との間は、前述のように、全てのディスクエンクロージャと接続するため、１対１のメッシュ接続になるため、制御モジュール４−０〜４−７の数（つまり、ディスクアダプタ４２ａ，４２ｂの数）が増大するほど、接続数が増加して接続関係が複雑になり、物理的な実装が困難になる。しかし、ディスクアダプタ４２ａ，４２ｂとＢＲＴ５−０〜５−７との間の接続に、インターフェースを構成する信号数が少ないファイバチャネルを採用することにより、プリント基板での実装が可能となる。
【００７１】
なお、各ディスクアダプタ４２ａ，４２ｂと対応するＢＲＴ５−０〜５−７とがファイバチャネル接続される場合、ＢＲＴ５−０〜５−７は，ファイバチャネルのスイッチとなる。また、各ＢＲＴ５−０〜５−７と対応するディスクエンクロージャ２−０〜２−３１との間も、例えば、ファイバチャネルによって接続され、この場合には、モジュールが異なるため、光ケーブル５００，５１０で接続される。
【００７２】
図１に示すように、ＤＭＡエンジン４３は、他の制御モジュール４−０〜４−７と相互に通信を行なうものであり、他の制御モジュール４−０〜４−７間との通信とデータ転送処理を担当する。各制御モジュール４−０〜４−７のＤＭＡエンジン４３それぞれは、制御モジュール４−０〜４−７の一部として構成されており、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０の基板上に実装される。そして、前述の高速シリアルバスによって、キャッシュマネージャ４０と直接結合されるとともに、ＦＲＴ６−０，６−１を介して他の制御モジュール４−０〜４−７のＤＭＡエンジン４３と互いに通信する。
【００７３】
ＦＲＴ６−０，６−１は、複数（特に３以上、ここでは８つ）の制御モジュール４−０〜４−７のＤＭＡエンジン４３に接続され、これら制御モジュール４−０〜４−７の相互間を選択的に切り替え，通信可能に接続するものである。
【００７４】
このような構成により、各制御モジュール４−０〜４−７のＤＭＡエンジン４３のそれぞれは、ＦＲＴ６−０，６−１を介して、自身に接続されたキャッシュマネージャ４０と他の制御モジュール４−０〜４−７のキャッシュマネージャ４０との間で、ホストコンピュータからのアクセス要求等に応じて生じる通信やデータ転送処理（例えば、ミラーリング処理）を実行する。
【００７５】
また、図２に示すように、各制御モジュール４−０〜４−７のＤＭＡエンジン４３が複数（ここでは２つ）のＤＭＡエンジン４３−ａ，４３−ｂで構成され、これら２つのＤＭＡエンジン４３−ａ，４３−ｂの各々が、各々２つのＦＲＴ６−０，６−１を使用する。
【００７６】
さらに、ＤＭＡエンジン４３−ａ，４３−ｂは、前述のように、例えば、PCI−Expressバスによって、キャッシュマネージャ４０に接続されており、低レイテシイを実現する。
【００７７】
また、各制御モジュール４−０〜４−７間（つまり、各制御モジュール４−０〜４−７のキャッシュマネージャ４０間）の通信やデータ転送処理では、データ転送量が多く、通信にかかる時間を短くすることが望ましく、高いスループットと同時に低いレイテンシ（速い応答速度）が要求される。このため、図１、図２に示すように、各制御モジュール４−０〜４−７のDMAエンジン４３とFRT６−０，６−１とは、高いスループットと低いレイテンシとの両方の要求を満たすべく設計された、高速シリアル伝送を利用したバス（PCI-ExpressやRapid-IO）によって、接続される。
【００７８】
これらPCI-ExpressやRapid-IOは、２．５Gbpsの高速シリアル伝送を利用したものであり、これらのバスインターフェースには、LVDS（Low Voltage Differential Signaling）という小振幅差動インターフェースが採用される。
【００７９】
[リード/ライト処理]
次に、図１乃至図４のデータストレージシステムのリード処理を説明する。図５は、図１乃至図２の構成のリード動作の説明図である。
【００８０】
先ず、キャッシュマネージャ４０は、ホストコンピュータのいずれかから対応するチャネルアダプタ４１ａ〜４１ｄを介してリード要求を受け取った場合、当該リード要求の対象データをキャッシュメモリ４０ｂが保持していれば、キャッシュメモリ４０ｂに保持された当該対象データを、チャネルアダプタ４１ａ〜４１ｄを介してホストコンピュータに送る。
【００８１】
一方、当該対象データがキャッシュメモリ４０ｂに保持されていなければ、キャッシュ制御部４０ａが、当該対象データを保持しているディスクドライブ２００から対象データを、キャッシュメモリ４０ｂ上に読み出してから、対象データを、リード要求を発行したホストコンピュータに送信する。
【００８２】
このディスクドライブとのリード処理を、図５で説明する。
【００８３】
（１）キャッシュマネージャ４０の制御部４０ａ（ＣＰＵ）は、キャッシュメモリ４０ｂのディスクリプタ領域に、ＦＣヘッダとディスクリプタを作成する。ディスクリプタは、データ転送回路（ＤＭＡ回路）に対して、データ（ＤＭＡ）転送を要求する命令であり、ＦＣヘッダのキャッシュメモリ上のアドレス、転送したいデータのキャッシュメモリ上でのアドレスとデータバイト数、データ転送のディスクの論理アドレスを含む。
【００８４】
（２）ディスクアダプタ４２のデータ転送回路を起動する。
【００８５】
（３）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからディスクリプタを読み出す。
【００８６】
（４）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからＦＣヘッダを読み出す。
【００８７】
（５）ディスクアダプタ４２の起動されたデータ転送回路は、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、ＦＣヘッダを、ファイバーチャネル５００（５１０）より、対象ディスクドライブ２００に転送する。ディスクドライブ２００は、要求された対象データを読み出し、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。
【００８８】
（６）ディスクドライブ２００は、要求された対象データを読み出し、送信を完了すると、完了通知を、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。
【００８９】
（７）ディスクアダプタ４２の起動されたデータ転送回路は、完了通知を受けると、ディスクアダプタ４２のメモリからリードデータを読み出し、キャッシュメモリ４０ｂに格納する。
【００９０】
（８）ディスクアダプタ４２の起動されたデータ転送回路は、リード転送が完了すると、キャッシュマネージャ４０に、割り込みによる完了通知を行う。
【００９１】
（９）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の割り込み要因を得て、リード転送を確認する。
【００９２】
（１０）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の終了ポインタを調べ、リード転送完了を確認する。
【００９３】
このように、十分な性能を得るためには、全ての接続が高いスループットを持つ必要があるが、キャッシュ制御部４０ａとディスクアダプタ４２との間には、信号のやり取りが多く（図では、７回）、特に、低いレイテンシのバスが必要となる。
【００９４】
この実施例では、PCI-Express(4レーン)と、Fibre Channel(４G)を、どちらも高いスループットの接続として採用しているが、PCI-Expressが低いレイテンシの接続なのに対して、Fibre Channelは比較的レイテンシの大きな(データ転送に時間のかかる) 接続である。
【００９５】
そこで、第２の従来技術では、ＣＭ１０とＤＡ１３、ＣＡ１１との間のＲＴ１４（図１２参照）には、レイテンシが高いFibre Channelを採用できないのに対して、本発明では、図１の構成のため、ＢＲＴ５−０〜５−７に，Fibre Channelを採用することができる。
【００９６】
低いレイテンシを実現するためには、バスの信号本数をある程度より減らすことができないが、本発明では、ディスクアダプタ４２とＢＲＴ５−０間の接続には、信号線本数の少ないFibre Channelを採用することができ、バックパネル上の信号本数が少なくなり、実装上で有効である。
【００９７】
次に、ライト動作を説明する。ホストコンピュータのいずれかから対応するチャネルアダプタ４１ａ〜４１ｄを介してライト要求を受け取った場合、当該ライト要求のコマンドとライトデータとを受信したチャネルアダプタ４１ａ〜４１ｄは、キャッシュマネージャ４０に対して、ライトデータを書き込むべきキャッシュメモリ４０ｂのアドレスを尋ねる。
【００９８】
そして、このチャネルアダプタ４１ａ〜４１ｄがキャッシュマネージャ４０からの応答を受け取ると、キャッシュマネージャ４０のキャッシュメモリ４０ｂにライトデータを書き込むとともに、当該キャッシュマネージャ４０とは異なる少なくとも１つのキャッシュマネージャ４０（つまり、異なる制御モジュール４−０〜４−７のキャッシュマネージャ４０）内のキャッシュメモリ４０ｂにもライトデータを書き込む。このため、ＤＭＡエンジン４３を起動し、ＦＲＴ６−０，６−１を介し、他の制御モジュール４−０〜４−７のキャッシュマネージャ４０内のキャッシュメモリ４０ｂにもライトデータを書き込む。
【００９９】
ここで、少なくとも異なる２つの制御モジュール４−０〜４−７のキャッシュメモリ４０ｂにライトデータを書き込むのは、データを２重化（ミラーリング）することで、予期しない制御モジュール４−０〜４−７もしくはキャッシュマネージャ４０のハード故障の場合にも、データの喪失を防ぐためである。
【０１００】
最後に、これら複数のキャッシュメモリ４０ｂへのライトデータの書き込みが正常に終了すると、チャネルアダプタ４１ａ〜４１ｄがホストコンピュータ３−０〜３−３１に対して完了通知を行ない、処理を終了する。
【０１０１】
更に、このライトデータを、対象とするディスクドライブに、書き戻す（ライトバックという）必要がある。キャッシュ制御部４０ａは、内部スケジュールに従い、キャッシュメモリ４０ｂのライトデータを、当該対象データを保持しているディスクドライブ２００にライトバックする。このディスクドライブとのライト処理を、図６で説明する。
【０１０２】
（１）キャッシュマネージャ４０の制御部４０ａ（ＣＰＵ）は、キャッシュメモリ４０ｂのディスクリプタ領域に、ＦＣヘッダとディスクリプタを作成する。ディスクリプタは、データ転送（ＤＭＡ）回路に対して、データ（ＤＭＡ）転送を要求する命令であり、ＦＣヘッダのキャッシュメモリ上のアドレス、転送したいデータのキャッシュメモリ上でのアドレスとデータバイト数、データ転送のディスクの論理アドレスを含む。
【０１０３】
（２）ディスクアダプタ４２のデータ転送回路を起動する。
【０１０４】
（３）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからディスクリプタを読み出す。
【０１０５】
（４）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからＦＣヘッダを読み出す。
【０１０６】
（５）ディスクアダプタ４２の起動されたデータ転送回路は、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、キャッシュメモリ４０ｂからデータを読み出す。
【０１０７】
（６）読み出し完了後、ディスクアダプタ４２のデータ転送回路は、ＦＣヘッダとデータを、ファイバーチャネル５００（５１０）より、対象ディスクドライブ２００に転送する。ディスクドライブ２００は、転送されたデータを内臓するディスクに書き込む。
【０１０８】
（７）ディスクドライブ２００は、データの書き込みを完了すると、完了通知を、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。
【０１０９】
（８）ディスクアダプタ４２の起動されたデータ転送回路は、完了通知を受けると、キャッシュマネージャ４０に、割り込みによる完了通知を行う。
【０１１０】
（９）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の割り込み要因を得て、ライト動作を確認する。
【０１１１】
（１０）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の終了ポインタを調べ、ライト動作完了を確認する。
【０１１２】
この図６でも、図５でも、矢印は、データなどのパケットの転送を示し、コの字型の矢印は、データのリードを表しており、一方のデータ要求に対してデータが送り返されているのを示す。このように、ＤＡ内の制御回路の起動と終了状態の確認が必要となるため、一回のデータ転送を行うのにＣＭ４０とＤＡ４２の間では、７回のやり取りが行われている。ＤＡ４２とディスク２００の間は２回である。
【０１１３】
これによって、キャッシュ制御部４０とディスクアダプタ４２との間の接続に、低いレイテンシが要求され、一方、ディスクアダプタ４２とディスクデバイス２００とは、信号本数の少ないインタフェースを利用できることが理解できる。
【０１１４】
［実装構造］
図７は、本発明による制御モジュールの実装構成例を示す図、図８は、図７の制御モジュールとディスクエンクロージャとを含む実装構成例を示す図、図９及び図１０は、かかる実装構成によるデータストレージシステムのブロック図である。
【０１１５】
図８に示すように、ストレージ装置の筐体の上側には、４台のディスクエンクロージャ２−０，２−１，２−８，２−９が搭載される。ストレージ装置の下側半分は、制御回路を搭載する。この下側半分は、図７のように、バックパネル７によって前後に分割されている。バックパネル７の前方、後方には、それぞれスロットが設けられる。図９の大規模構成のストレージシステムでは、前方側（Ｆｒｏｎｔ）には、８枚（８個）のＣＭ４−０〜４−７が、後方には、２枚（２個）のＦＲＴ６−０，６−１、８枚（８個）のＢＲＴ５−０〜５−７及び、電源制御などを担当するサービスプロセッサＳＶＣ(図１、図９では図示しない)が配置される。
【０１１６】
図７では、８枚のＣＭ４−０〜４−７と２枚のＦＲＴ６−０，６−１が、バックパネル７を経由して、４レーンのPCI-Expressで接続される。ＰＣＩ−Ｅｘｐｅｓｓは、４本（差動、両方向のため）の信号線であり、４レーン分で、１６本の信号線となるから、この信号本数は１６×１６＝２５６本となる。また、８枚のＣＭ４−０〜４−７と８枚のＢＲＴ５−０〜５−７がバックパネル７を経由して、Fibre Channelで接続される。Fibre Channelは、差動、両方向のため、１×２×２＝４の信号線であり、この信号本数は、８×８×４＝２５６本となる。
【０１１７】
このように、接続箇所毎にバスを使い分けることにより、図９のような大規模構成のストレージシステムでも、ＣＭ４−０〜４−７の８枚、ＦＲＴ６−０，６−１の２枚、ＢＲＴ５−０〜５−７の８枚の接続が、５１２本の信号線によって実現できる。この信号線数は、バックパネル基板７に十分に実装可能な信号数であり、また基板の信号層数も６層で十分であり、コスト的にも実現可能な範囲内にある。
【０１１８】
又、図８では、４台のディスクエンクロージャ２−０，２−１，２−８，２−９（図９参照）を搭載するが、他のディスクエンクロージャ２−３〜２−７、２−１０〜２−３１は、別の筐体に設けられる。
【０１１９】
更に、図１０のような中規模ストレージシステムでも、同様の構成で実現できる。即ち、４台のＣＭ４−０〜４−３、４台のＢＲＴ５−０〜５−３、２台のＦＲＴ６−０〜６−１、１６モジュールのディスクエンクロージャ２−０〜２−１５の構成でも、同一のアーキテクチャで実現できる。
【０１２０】
しかも、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂそれぞれは、ＢＲＴにより、すべてのディスクドライブ２００に接続され、各制御モジュール４−０〜４−７が、いずれのディスクアダプタ４２ａ，４２ｂを通じても、すべてのディスクドライブにアクセスできる。
【０１２１】
また、これらディスクアダプタ４２ａ，４２ｂそれぞれは、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０の基板上に実装され、各ディスクアダプタ４２ａ，４２ｂは、例えばPCI−Express等の低レンテシイバスによってキャッシュマネージャ４０と直接結合でき、高いスループットを実現することができる。
【０１２２】
更に、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂとBRT５−０〜５−７との間は、１対１のメッシュ接続になるため、システムがそなえる制御モジュール４−０〜４−７の数（つまり、ディスクアダプタ４２ａ，４２ｂの数）が増大しても、ディスクアダプタ４２ａ，４２ｂとBRT５−０〜５−７との間の接続に、インターフェースを構成する信号数が少ないファイバチャネルを採用することができ、実装の課題を解決することができる。
【０１２３】
また、各制御モジュール４−０〜４−７間（つまり、各制御モジュール４−０〜４−７のキャッシュマネージャ４０間）の通信やデータ転送処理では、データ転送量が多く、通信にかかる時間を短くすることが望ましく、高いスループットと同時に低いレイテンシ（速い応答速度）が要求されるため、図２に示すごとく、各制御モジュール４−０〜４−７のDMAエンジン４３とFRT６−０，６−１とは、高いスループットと低いレイテンシとの両方の要求を満たすべく設計された、高速シリアル伝送を利用したバスPCI-Expressによって接続されている。
【０１２４】
［他の実施の形態］
前述の実施の形態では、制御モジュール内の信号線を、PCI-Expressで説明したが, Rapid-IO等の他の高速シリアルバスを利用できる。制御モジュール内のチャネルアダプタやディスクアダプタの数は、必要に応じて、増減できる。
【０１２５】
又、ディスクドライブとしては、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブ等の記憶デバイスを適用できる。
【０１２６】
以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。
【０１２７】
（付記１）データを記憶する複数の記憶デバイスと、上位からのアクセス指示に応じて、前記記憶デバイスをアクセス制御する複数の制御モジュールとを有し、前記制御モジュールは、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、前記キャッシュメモリの制御を行うキャッシュ制御ユニットと、前記上位とのインターフェース制御を行う第１のインターフェース部と、前記複数の記憶デバイスとのインターフェース制御を行う第２のインターフェース部とを有し、更に、前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第２のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の第１のスイッチユニットを設け、前記複数の制御モジュールと前記複数の第１のスイッチユニットとをバックパネルで接続したことを特徴とするデータストレージシステム。
【０１２８】
（付記２）前記制御モジュールは、キャッシュ制御ユニットと前記第２のインターフェース部とを、低レンテシイの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記１のデータストレージシステム。
【０１２９】
（付記３）前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第２のスイッチユニットを有することを特徴とする付記１のデータストレージシステム。
【０１３０】
（付記４）各制御モジュールの通信ユニットと第２のスイッチユニットとを、前記バックパネルで接続したことを特徴とする付記３のデータストレージシステム。
【０１３１】
（付記５）前記第１のスイッチユニットと前記複数の記憶デバイスをケーブルで接続したことを特徴とする付記１のデータストレージシステム。
【０１３２】
（付記６）前記記憶デバイスは、複数のアクセスポートを有し、前記複数のアクセスポートに、複数の異なる前記第１のスイッチユニットを接続したことを特徴とする付記１のデータストレージシステム。
【０１３３】
（付記７）前記制御モジュールは、前記キャッシュ制御ユニットと前記第２のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記２のデータストレージシステム。
【０１３４】
（付記８）前記高速シリアルバスが、PCI-Expressバスであることを特徴とする付記２のデータストレージシステム。
【０１３５】
（付記９）前記シリアルバスが、ファイバチャネルであることを特徴とする付記２のデータストレージシステム。
【０１３６】
（付記１０）前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のインターフェース部とを、低レンテシイの高速シリアスバスで接続したことを特徴とする付記２のデータストレージシステム。
【０１３７】
（付記１１）上位からのアクセス指示に応じて、データを記憶する複数の記憶デバイスをアクセス制御するデータストレージ制御装置において、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、前記キャッシュメモリの制御を行うキャッシュ制御ユニットと、前記上位とのインターフェース制御を行う第１のインターフェース部と、前記複数の記憶デバイスとのインターフェース制御を行う第２のインターフェース部とを有する複数の制御モジュールと、前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第２のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の第１のスイッチユニットを有し、前記複数の制御モジュールと前記複数の第１のスイッチユニットとをバックパネルで接続したことを特徴とするデータストレージ制御装置。
【０１３８】
（付記１２）前記制御モジュールは、キャッシュ制御ユニットと前記第２のインターフェース部とを、低レンテシイの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記１１のデータストレージ制御装置。
【０１３９】
（付記１３）前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第２のスイッチユニットを有することを特徴とする付記１１のデータストレージ制御装置。
【０１４０】
（付記１４）各制御モジュールの通信ユニットと第２のスイッチユニットとを、前記バックパネルで接続したことを特徴とする付記１３のデータストレージ制御装置。
【０１４１】
（付記１５）前記第１のスイッチユニットと前記複数の記憶デバイスをケーブルで接続したことを特徴とする付記１のデータストレージ制御装置。
【０１４２】
（付記１６）複数の異なる前記第１のスイッチユニットは、複数のアクセスポートを有する前記記憶デバイスの各々に接続したことを特徴とする付記１１のデータストレージ制御装置。
【０１４３】
（付記１７）前記制御モジュールは、前記キャッシュ制御ユニットと前記第２のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記１２のデータストレージ制御装置。
【０１４４】
（付記１８）前記高速シリアルバスが、PCI-Expressバスであることを特徴とする付記１２のデータストレージ制御装置。
【０１４５】
（付記１９）前記シリアルバスが、ファイバチャネルであることを特徴とする付記１２のデータストレージ制御装置。
【０１４６】
（付記２０）前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のインターフェース部とを、低レンテシイの高速シリアスバスで接続したことを特徴とする付記１２のデータストレージ制御装置。
【産業上の利用可能性】
【０１４７】
各制御モジュールの第２のインターフェースと複数の第１のスイッチユニットを接続したため、全ての制御モジュールは、全ての記憶デバイスにアクセスできる冗長性を維持でき、且つ制御モジュールの数が増大しても、制御モジュールと第１のスイッチユニットとをバックパネルで、インターフェースを構成する信号数が少ないシリアルバスで接続できるため、制御モジュール内の低レンテシイな通信を維持しつつ、プリント基板での実装が可能となる。このため、大規模から小規模までのアーキテクチャを統一化するのに有効であり、装置のコストダウンに寄与できる。
【符号の説明】
【０１４８】
１ ストレージシステム
２−０〜２−３５ ディスクエンクロージャ
４−０〜４−７ 制御ユニット
５−０〜５−７ バックエンドルータ
６−０〜６−１ フロントエンドルータ
７ バックパネル
４０ 制御モジュール
４０a キャッシュ制御ユニット
４０ｂ キャッシュメモリ
４１ チャネルアダプタ
４２ デバイスアダプタ
４３ 通信ユニット（DMAエンジン）
【特許請求の範囲】
【請求項１】
データを記憶する複数のディスク記憶デバイスを並列に接続して構成された複数のディスクエンクロージャと、
上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する複数の制御モジュールとを有し、
前記制御モジュールの各々は、
前記上位とのインターフェース制御を行う第１のインターフェース部と、
前記ディスク記憶デバイスとのインターフェース制御を行う第２のインターフェース部と、
前記アクセス指示に応じて、前記第２のインターフェース部より、前記ディスク記憶デバイスをアクセス制御する制御ユニットとを有し、
各前記制御モジュールの前記第２のインターフェース部に接続され、前記各制御モジュールの前記第２のインターフェース部と前記複数のディスクエンクロージャとを選択的に切り替える複数の第１のスイッチユニットを搭載する複数の第１の基板と、
少なくとも前記制御ユニットと、前記第２のインターフェース部とを設けた複数の第２の基板と、
前記複数の第１の基板と、前記複数の第２の基板が取り付けられ、前記第２のインターフェース部と、前記複数の第１のスイッチユニットとを、バスで接続するバックパネルとを設けた
ことを特徴とするデータストレージシステム。
【請求項２】
前記ディスクエンクロージャを、複数個直列接続した
ことを特徴とする請求項１のデータストレージシステム。
【請求項１】
データを記憶する複数のディスク記憶デバイスを並列に接続して構成された複数のディスクエンクロージャと、
上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する複数の制御モジュールとを有し、
前記制御モジュールの各々は、
前記上位とのインターフェース制御を行う第１のインターフェース部と、
前記ディスク記憶デバイスとのインターフェース制御を行う第２のインターフェース部と、
前記アクセス指示に応じて、前記第２のインターフェース部より、前記ディスク記憶デバイスをアクセス制御する制御ユニットとを有し、
各前記制御モジュールの前記第２のインターフェース部に接続され、前記各制御モジュールの前記第２のインターフェース部と前記複数のディスクエンクロージャとを選択的に切り替える複数の第１のスイッチユニットを搭載する複数の第１の基板と、
少なくとも前記制御ユニットと、前記第２のインターフェース部とを設けた複数の第２の基板と、
前記複数の第１の基板と、前記複数の第２の基板が取り付けられ、前記第２のインターフェース部と、前記複数の第１のスイッチユニットとを、バスで接続するバックパネルとを設けた
ことを特徴とするデータストレージシステム。
【請求項２】
前記ディスクエンクロージャを、複数個直列接続した
ことを特徴とする請求項１のデータストレージシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−４９７１６（Ｐ２０１０−４９７１６Ａ）
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願番号】特願２００９−２７３３７６（Ｐ２００９−２７３３７６）
【出願日】平成２１年１２月１日（２００９．１２．１）
【分割の表示】特願２００５−２２１２１（Ｐ２００５−２２１２１）の分割
【原出願日】平成１７年１月２８日（２００５．１．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願日】平成２１年１２月１日（２００９．１２．１）
【分割の表示】特願２００５−２２１２１（Ｐ２００５−２２１２１）の分割
【原出願日】平成１７年１月２８日（２００５．１．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]