ファイルサーバの負荷分散装置、負荷分散装置用プログラム、及び負荷分散方法
【課題】 ファイルサーバ群により構成されるストレージシステムにおいて、ファイルサーバの容量に空きがない場合でもファイルサーバ間の負荷分散を可能とする。
【解決手段】 クライアント１００とストレージシステム２００との間に負荷分散装置３００を設け、負荷分散装置３００は、ファイルサーバ２０１ａ〜２０１ｃに新たなファイルサーバ２０１ｄの接続を検出したことをトリガに、当該ファイルサーバ２０１ｄを含めたファイルサーバ２０１ａ〜２０１ｄ間で負荷分散されるように第一のファイル再配置を行い、第一のファイル再配置が完了したところで、当該ファイルサーバ２０１ｄ内のファイルを空にして元のファイルサーバ２０１ａ〜２０１ｃ内で負荷分散されるように第二のファイル再配置を行う。
【解決手段】 クライアント１００とストレージシステム２００との間に負荷分散装置３００を設け、負荷分散装置３００は、ファイルサーバ２０１ａ〜２０１ｃに新たなファイルサーバ２０１ｄの接続を検出したことをトリガに、当該ファイルサーバ２０１ｄを含めたファイルサーバ２０１ａ〜２０１ｄ間で負荷分散されるように第一のファイル再配置を行い、第一のファイル再配置が完了したところで、当該ファイルサーバ２０１ｄ内のファイルを空にして元のファイルサーバ２０１ａ〜２０１ｃ内で負荷分散されるように第二のファイル再配置を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はファイルサーバの負荷分散装置、負荷分散装置用プログラム、及び負荷分散方法に関し、特に、ファイルサーバの着脱を伴う負荷分散システムにおけるファイルサーバの負荷分散装置、負荷分散装置用プログラム、及び負荷分散方法に関する。
【背景技術】
【０００２】
ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）のような、ネットワーク内のファイルサーバ群（クラスタ）全体を１つの仮想ファイルサーバとするストレージシステムでは、一部のファイルサーバにアクセス負荷が高いデータが偏在すると、ファイルサーバ群全体としてのアクセス性能が低下するという問題がある。
【０００３】
このような問題を解決するため、従来、ネットワーク内の各ファイルサーバのアクセス負荷の偏りを防ぎ、ファイルサーバ群全体としてのアクセス性能を向上する負荷分散技術が考案されている。
【０００４】
例えば、特許文献１には、ネットワーク上に複数の記憶装置を有するファイル蓄積管理システムにおいて、記憶装置上の各ファイルのアクセス要求の傾向をモニタし、ファイルの配置を動的に変化させることにより、アクセス負荷の偏りを防ぎ、ファイルアクセスを高速化するシステムが開示されている。
【０００５】
【特許文献１】特開平１０−３２０２６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の負荷分散技術においては、各ファイルサーバの容量に余裕がない場合は、ファイルサーバ間でのファイルの移動ができないため、アクセス負荷の分散が困難になるという問題があった。
（発明の目的）
本発明の目的は、上述の従来の課題である、ファイルサーバの容量に余裕がない場合に、アクセス負荷の分散ができなくなるという問題を解決したファイルサーバの負荷分散装置、負荷分散装置用プログラム、及び負荷分散方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の負荷分散装置は、ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視手段と、前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視手段と、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置手段と、を備えたことを特徴とする。
【０００８】
本発明の第２の負荷分散装置は、第１の負荷分散装置において、前記ファイル再配置手段が、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、ことを特徴とする。
【０００９】
本発明の第３の負荷分散装置は、第２の負荷分散装置において、前記ファイル再配置手段が、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、ことを特徴とする。
【００１０】
本発明の第１の負荷分散装置用プログラムは、コンピュータを、ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視手段と、前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視手段と、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置手段と、して機能させることを特徴とする。
【００１１】
本発明の第２の負荷分散装置用プログラムは、第１の負荷分散装置用プログラムにおいて、前記ファイル再配置手段が、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、ことを特徴とする。
【００１２】
本発明の第３の負荷分散装置用プログラムは、第２の負荷分散装置用プログラムにおいて、前記ファイル再配置手段が、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、ことを特徴とする。
【００１３】
本発明の第１の負荷分散方法は、負荷分散装置が、ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視ステップと、前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視ステップと、前記プラグ監視ステップにより前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置ステップと、を含むことを特徴とする。
【００１４】
本発明の第２の負荷分散方法は、第１の負荷分散方法において、前記ファイル再配置ステップが、前記プラグ監視ステップにより前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、ことを特徴とする。
【００１５】
本発明の第３の負荷分散方法は、第２の負荷分散方法において、前記ファイル再配置ステップが、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、ことを特徴とする。
【発明の効果】
【００１６】
本発明の効果は、ネットワークにより接続された複数のファイルサーバから成るファイルサーバ群により構成されるストレージシステムにおいて、各ファイルサーバの容量に余裕がない場合でも、各ファイルサーバの間で負荷分散を実行できることである。
【００１７】
その理由は、負荷分散装置が、新たなファイルサーバの接続を検出したことをトリガに、当該ファイルサーバを含めて負荷分散がされるように第一のファイル再配置を行い、第一のファイル再配置が完了したところで、当該ファイルサーバ内のファイルを空にして元のファイルサーバ群内で負荷分散されるように第二のファイル再配置を行うためである。
【発明を実施するための最良の形態】
【００１８】
次に、本発明の最良の実施の形態について図面を参照して詳細に説明する。
【００１９】
図１に本発明の実施の形態における負荷分散システムの構成を示す。図１を参照すると、本発明の実施の形態における負荷分散システムは、クライアント１００、ストレージシステム２００、負荷分散装置３００により構成される。クライアント１００と負荷分散装置３００、ストレージシステム２００と負荷分散装置３００は、それぞれネットワークを介して接続される。ここで、クライアント１００は、ストレージシステム２００の利用者側の装置である。ストレージシステム２００は、複数のファイルサーバ２０１をネットワークで接続し、全体として仮想ファイルサーバを提供するものである。ファイルサーバ２０１は、固定型の記憶媒体を持つ記憶装置２０２を実装したサーバで、クライアント１００の要求に従い、記憶装置２０２上のデータのリード／ライトといったアクセスを行う。
【００２０】
負荷分散装置３００は、クライアント１００がファイルサーバ２０１を利用する上でのアクセスポイントであり、ファイルのアクセス負荷監視とファイル再配置によるアクセス負荷分散を行う。負荷分散装置３００は、プログラム制御により動作する情報処理装置であり、モード指定実行部３０１、アクセス負荷監視部３０２、ファイルサーバ負荷計算部３０３、プラグ監視部３０４、イベント処理部３０５、ファイル再配置部３０６、ファイルアクセス制御部３０７、モード記憶部３５１、アクセス負荷記憶部３５２、ファイルサーバ負荷記憶部３５３、プラグ状態記憶部３５４、及びファイル所在記憶部３５５により構成される。
【００２１】
ここで、モード記憶部３５１は、ファイルサーバ２０１の接続、切断時のファイル再配置操作に関して、ユーザが指定したモードを記憶管理する。アクセス負荷記憶部３５２は、図９に示すように、ファイル毎のアクセス負荷を記憶管理する。アクセス負荷としては、単位時間あたりのアクセス回数（アクセス頻度）やデータ転送量を用いることができる。ファイルサーバ負荷記憶部３５３は、図１０に示すようにファイルサーバ２０１毎のアクセス負荷情報を記憶管理する。プラグ状態記憶部３５４は、図１１に示すように、ストレージシステム２００内で認識されているファイルサーバ２０１の接続状態を記憶管理する。ファイル所在記憶部３５５は、図１２に示すように、ファイル毎にその所在（どのファイルサーバ２０１にあるか）を記憶管理する。
【００２２】
モード指定実行部３０１は、ユーザよりファイルサーバ２０１の接続時のファイル再配置操作に関するモード（「追加モード」、「一時追加モード」）を受付け、モード記憶部３５１に格納する。また、ユーザより取り外しの準備動作の要求（「空作成モード」）を受付け、イベント処理部３０５に通知する。
【００２３】
アクセス負荷監視部３０２は、各ファイルを常時監視してファイル毎のアクセス負荷を取得し、アクセス負荷記憶部３５２の内容を更新する。
【００２４】
ファイルサーバ負荷計算部３０３は、アクセス負荷記憶部３５２の内容を参照してファイルサーバ２０１毎のアクセス負荷を計算し、ファイルサーバ負荷記憶部３５３の内容を更新する。
【００２５】
プラグ監視部３０４は、ストレージシステム２００へのファイルサーバ２０１の物理的な接続状態を常時監視し、ファイルサーバ２０１の接続あるいは切断の事象が新たに発生した場合、プラグ状態記憶部３５４の内容を更新する。また、ファイルサーバ２０１の接続の事象が発生した場合、即時にイベント処理部３０５に通知する。
【００２６】
イベント処理部３０５は、プラグ監視部３０４からファイルサーバ２０１の接続の事象の通知を受けた場合、あるいは、モード指定実行部３０１から準備動作の通知を受けた場合、モード記憶部３５１とプラグ状態記憶部３５４を参照し、ファイル再配置部３０６の実行内容を決定し、ファイル再配置部３０６にファイル再配置の実行を指示する。
【００２７】
ファイル再配置部３０６は、イベント処理部３０５からの指示に基づき、ファイルをファイルサーバ２０１間で移動・再配置する。また、再配置後のファイルの所在に応じて、ファイル所在記憶部３５５の内容を更新する。
【００２８】
ファイルアクセス制御部３０７は、クライアント１００からの要求によりデータアクセスを行う場合にファイル所在記憶部３５５を参照し、ストレージシステム２００内のどのファイルサーバ２０１にデータがあるかを判断し、データへのアクセスを行う。
【００２９】
次に、本発明の実施の形態の動作について図面を参照して説明する。
【００３０】
本発明の実施の形態においては、モード記憶部３５１に記憶されるモードとして、「追加モード」、「空作成モード」、及び「一時追加モード」の３つを使用するものとする。「追加モード」は、ストレージシステム２００にファイルサーバ２０１を追加して負荷分散を行うものであり、図２に示すように、空のファイルサーバ２０１をストレージシステム２００に追加すると、自動的に、追加されたファイルサーバ２０１も含めた全てのファイルサーバ２０１間でアクセス負荷の分散を行うようにファイルの再配置を行う。「空きサーバ作成モード」は、ストレージシステム２００からファイルサーバ２０１を切り離す準備として使用するものであり、図３に示すように、ユーザにより指定されたファイルサーバ２０１が空となるようにファイルの再配置を行う。「一時追加モード」は、ストレージシステム２００内のファイルサーバ２０１の容量に余裕がない時に、一時的に追加された空きのファイルサーバ２０１を利用してアクセス負荷の分散を行うものであり、図４に示すように、空のファイルサーバ２０１を追加すると、自動的に、追加されたファイルサーバ２０１も含めた全てのファイルサーバ２０１間でアクセス負荷の分散を行うようにファイルの再配置を行い、次に、追加されたファイルサーバ２０１が空となるように、再度、ファイルの再配置を行う。以下、各モードの動作を詳細に説明する。
【００３１】
「追加モード」
図５に「追加モード」の動作フローを示す。ここでは、ストレージシステム２００上のファイルサーバ２０１ａ〜２０１ｃに、空のファイルサーバ２０１ｄが追加される場合を例に説明する。
【００３２】
アクセス負荷監視部３０２は、ストレージシステム２００内の各ファイルサーバ２０１のファイルアクセスを監視し、アクセス負荷の情報と統計をアクセス負荷記憶部３５２にファイル毎に記録しているものとする。ただし、負荷分散のために実行されるファイル再配置に関するファイルアクセスは、アクセス負荷の統計に計上しない。
【００３３】
モード指定実行部３０１は、事前にクライアント１００から、ユーザによる「追加モード」の指定を受付ける（ステップＳ１０１）。モード指定実行部３０１は指定されたモードをモード記憶部３５１に保存する（ステップＳ１０２）。
【００３４】
ファイルサーバ２０１ｄがストレージシステム２００に追加されると、プラグ監視部３０４は、ファイルサーバ２０１ｄの接続を検出し、プラグ状態記憶部３５４にファイルサーバ２０１ｄを追加し（ステップＳ１０３）、イベント処理部３０５にファイルサーバ２０１ｄの接続を通知する（ステップＳ１０４）。
【００３５】
イベント処理部３０５は、モード記憶部３５１の内容から「追加モード」であることを確認する（ステップＳ１０５）。イベント処理部３０５は、プラグ状態記憶部３５４を参照し、ファイルサーバ２０１ｄが存在することを確認し、ファイルサーバ２０１ｄにアクセスし、ファイルサーバ２０１ｄが空であることを確認する（ステップＳ１０６）。イベント処理部３０５は、ファイルサーバ負荷計算部３０３に、各ファイルサーバ２０１の負荷計算を指示する（ステップＳ１０７）。
【００３６】
ファイルサーバ負荷計算部３０３は、アクセス負荷記憶部３５２及びファイル所在記憶部３５５を参照し、ファイル毎のアクセス負荷を取得し、ファイルサーバ２０１毎に集計してファイルサーバ負荷記憶部３５３に記録する（ステップＳ１０８）。
【００３７】
イベント処理部３０５は、ファイルサーバ２０１ｄを指定し、ファイルサーバ２０１の接続に伴うファイル再配置（ファイルサーバ２０１ａ〜２０１ｃからファイルサーバ２０１ｄへファイル再配置）を行うことをファイル再配置部３０６に指示する（ステップＳ１０９）。
【００３８】
ファイル再配置部３０６は、アクセス負荷記憶部３５２、ファイルサーバ負荷記憶部３５３の内容を基に、ファイルサーバ２０１ａ〜２０１ｃから追加されたファイルサーバ２０１ｄへ移動するファイルを決定する（ステップＳ１１０）。ファイルサーバ２０１ｄへ移動するファイルは、移動後のファイルサーバ２０１ａ〜２０１ｄのアクセス負荷が分散されるように選択される。ファイル再配置部３０６は、選択したファイルをファイルサーバ２０１ａ〜２０１ｃからファイルサーバ２０１ｄへ移動する（ステップＳ１１１）。ファイル再配置部３０６は、再配置後のファイルの所在に応じて、ファイル所在記憶部３５５を更新する（ステップＳ１１２）。
【００３９】
イベント処理部３０５は、移動が完了すると、移動完了をモード指定実行部３０１を通じてクライアント１００に通知する（ステップＳ１１４、１１５）。
【００４０】
クライアント１００からデータアクセスを行う要求があった場合、ファイルアクセス制御部３０７は、ファイル所在記憶部３５５を参照し、ストレージシステム２００内のどのファイルサーバ２０１にデータがあるかを判断し、データへのアクセスを行う。
【００４１】
「空作成モード」
図６に「空作成モード」の動作フローを示す。ここでは、ストレージシステム２００上のファイルサーバ２０１ａ〜２０１ｄから、ファイルサーバ２０１ｄを取り外す場合を例に説明する。
【００４２】
モード指定実行部３０１は、クライアント１００から、ユーザによる「空作成モード」の指定を取り外し対象のファイルサーバ２０１の情報（ファイルサーバ２０１ｄ）と共に受付ける（ステップＳ２０１）。モード指定実行部３０１は、指定されたモードをモード記憶部３５１に保存し、イベント処理部３０５に「空作成モード」が指定されたことを通知する（ステップＳ２０２）。
【００４３】
イベント処理部３０５は、プラグ状態記憶部３５４を参照し、指定されたファイルサーバ２０１ｄが存在することを確認し、ファイルサーバ２０１ｄにアクセスし、ファイルサーバ２０１ｄが空で無いことを確認する（ステップＳ２０３）。イベント処理部３０５は、ファイルサーバ負荷計算部３０３に、各ファイルサーバ２０１の負荷計算を指示する（ステップＳ２０４）。
【００４４】
ファイルサーバ負荷計算部３０３は、アクセス負荷記憶部３５２及びファイル所在記憶部３５５を参照し、ファイル毎のアクセス負荷を取得し、ファイルサーバ２０１毎に集計してファイルサーバ負荷記憶部３５３に記録する（ステップＳ２０５）。
【００４５】
イベント処理部３０５は、ファイルサーバ２０１ｄを指定し、ファイルサーバ２０１の切断に伴うファイル再配置（ファイルサーバ２０１ｄを空にし、ファイルサーバ２０１ａ〜２０１ｃでファイル再配置）を行うことをファイル再配置部３０６に指示する（ステップＳ２０６）。
【００４６】
ファイル再配置部３０６は、アクセス負荷記憶部３５２、ファイルサーバ負荷記憶部３５３の内容を基に、ファイルサーバ２０１ｄの全てのファイルについて、移動先のファイルサーバ２０１ａ〜２０１ｃを決定する（ステップＳ２０７）。ファイルサーバ２０１ｄ内のファイルの移動先は、移動後のファイルサーバ２０１ａ〜２０１ｃのアクセス負荷が分散されるように選択される。ここで、再配置すべきファイルが移動先ファイルサーバ２０１ａ〜２０１ｃの容量の限界を超える場合は、ファイル再配置部３０６は、移動先ファイルシステムの容量超過のため、移動不可能であることをイベント処理部３０５、モード指定実行部３０１を通じてクライアント１００に通知しても良い。ファイル再配置部３０６は、選択された移動先に従って、ファイルサーバ２０１ｄからファイルサーバ２０１ａ〜２０１ｃへファイルの移動を行う（ステップＳ２０８）。ファイル再配置部３０６は、再配置後のファイルの所在に応じて、ファイル所在記憶部３５５を更新する（ステップＳ２０９）。
【００４７】
イベント処理部３０５は、移動が完了した場合、移動完了をモード指定実行部３０１を通じてクライアント１００に通知する（ステップＳ２１１、２１２）。
【００４８】
ファイルサーバ２０１ｄがストレージシステム２００から取り外されると、プラグ監視部３０４は、ファイルサーバ２０１ｄの切断を検知し、プラグ状態記憶部３５４からファイルサーバ２０１ｄを削除する（ステップＳ２１３）。
【００４９】
「一時追加モード」
図７、図８に「一時追加モード」の動作フローを示す。ここでは、ストレージシステム２００上のファイルサーバ２０１ａ〜２０１ｃに、空のファイルサーバ２０１ｄを一時的に追加する場合を例に説明する。
【００５０】
モード指定実行部３０１は、事前にクライアント１００から、ユーザによる「一時追加モード」の指定を受付ける（ステップＳ３０１）。モード指定実行部３０１は指定されたモードをモード記憶部３５１に保存する（ステップＳ３０２）。
【００５１】
ファイルサーバ２０１ｄがストレージシステム２００に追加されると、プラグ監視部３０４は、ファイルサーバ２０１ｄの接続を検出し、プラグ状態記憶部３５４にファイルサーバ２０１ｄを追加し（ステップＳ３０３）、イベント処理部３０５にファイルサーバ２０１ｄの接続を通知する（ステップＳ３０４）。
【００５２】
イベント処理部３０５は、モード記憶部３５１の内容から「一時追加モード」であることを確認する（ステップＳ３０５）。イベント処理部３０５は、プラグ状態記憶部３５４を参照し、ファイルサーバ２０１ｄが存在することを確認し、ファイルサーバ２０１ｄにアクセスし、ファイルサーバ２０１ｄが空であることを確認する（ステップＳ３０６）。イベント処理部３０５は、ファイルサーバ負荷計算部３０３に、各ファイルサーバ２０１の負荷計算を指示する（ステップＳ３０７）。
【００５３】
ファイルサーバ負荷計算部３０３は、アクセス負荷記憶部３５２及びファイル所在記憶部３５５を参照し、ファイル毎のアクセス負荷を取得し、ファイルサーバ２０１毎に集計してファイルサーバ負荷記憶部３５３に記録する（ステップＳ３０８）。
【００５４】
イベント処理部３０５は、ファイルサーバ２０１ｄを指定し、ファイルサーバ２０１の接続に伴うファイル再配置（ファイルサーバ２０１ａ〜２０１ｃからファイルサーバ２０１ｄへファイル再配置）を行うことをファイル再配置部３０６に指示する（ステップＳ３０９）。
【００５５】
ファイル再配置部３０６は、アクセス負荷記憶部３５２、ファイルサーバ負荷記憶部３５３の内容を基に、ファイルサーバ２０１ａ〜２０１ｃから追加されたファイルサーバ２０１ｄへ移動するファイルを決定する（ステップＳ３１０）。ファイルサーバ２０１ｄへ移動するファイルは、移動後のファイルサーバ２０１ａ〜２０１ｄのアクセス負荷が分散されるように選択される。ファイル再配置部３０６は、選択したファイルをファイルサーバ２０１ａ〜２０１ｃからファイルサーバ２０１ｄへ移動する（ステップＳ３１１）。ファイル再配置部３０６は、再配置後のファイルの所在に応じて、ファイル所在記憶部３５５を更新する（ステップＳ３１２）。
【００５６】
イベント処理部３０５は、移動が完了すると、ファイルサーバ負荷計算部３０３に、各ファイルサーバ２０１の負荷計算を再度指示する（ステップＳ３１４）。
【００５７】
ファイルサーバ負荷計算部３０３は、アクセス負荷記憶部３５２及びファイル所在記憶部３５５を参照し、ファイル毎のアクセス負荷を取得し、ファイルサーバ２０１毎に集計してファイルサーバ負荷記憶部３５３に記録する（ステップＳ３１５）。
【００５８】
イベント処理部３０５は、イベント処理部３０５は、ファイルサーバ２０１ｄを指定し、ファイルサーバ２０１の切断に伴うファイル再配置（ファイルサーバ２０１ｄを空にし、ファイルサーバ２０１ａ〜２０１ｃでファイル再配置）を行うことをファイル再配置部３０６に指示する（ステップＳ３１６）。
【００５９】
ファイル再配置部３０６は、アクセス負荷記憶部３５２、ファイルサーバ負荷記憶部３５３の内容を基に、ファイルサーバ２０１ｄの全てのファイルについて、移動先のファイルサーバ２０１ａ〜２０１ｃを決定する（ステップＳ３１７）。ファイルサーバ２０１ｄ内のファイルの移動先は、移動後のファイルサーバ２０１ａ〜２０１ｃのアクセス負荷が分散されるように選択される。ファイル再配置部３０６は、選択された移動先に従って、ファイルサーバ２０１ｄからファイルサーバ２０１ａ〜２０１ｃへファイルの移動を行う（ステップＳ３１８）。ファイル再配置部３０６は、再配置後のファイルの所在に応じて、ファイル所在記憶部３５５を更新する（ステップＳ３１９）。
【００６０】
イベント処理部３０５は、移動が完了した場合、移動完了をモード指定実行部３０１を通じてクライアント１００に通知する（ステップＳ３２１、３２２）。
【００６１】
ファイルサーバ２０１ｄがストレージシステム２００から取り外されると、プラグ監視部３０４は、ファイルサーバ２０１ｄの切断を検知し、プラグ状態記憶部３５４からファイルサーバ２０１ｄを削除する（ステップＳ３２３）。
【００６２】
以上により、本発明の実施の形態の動作が完了する。
【００６３】
本発明の実施の形態によれば、ネットワークにより接続された複数のファイルサーバから成るファイルサーバ群により構成されるストレージシステムにおいて、各ファイルサーバの容量に余裕がない場合でも、各ファイルサーバの間で負荷分散を実行できる。
【００６４】
その理由は、負荷分散装置が、新たなファイルサーバの接続を検出したことをトリガに、当該ファイルサーバを含めて負荷分散がされるように第一のファイル再配置を行い、第一のファイル再配置が完了したところで、当該ファイルサーバ内のファイルを空にして元のファイルサーバ群内で負荷分散されるように第二のファイル再配置を行うためである。
【００６５】
また、本発明の実施の形態によれば、ネットワークにより接続された複数のファイルサーバから成るファイルサーバ群により構成されるストレージシステムにおいて、ファイルサーバの追加による負荷分散、またはファイルサーバの一時的な追加による負荷分散をユーザが容易に実行することができる。その理由は、ユーザがファイルサーバ接続検出時の動作を決める動作モードを負荷分散装置に対して設定し、負荷分散装置は、新たなファイルサーバの接続を検出したことをトリガに、当該動作モードに応じて、当該ファイルサーバを含めて負荷分散がされるような第一のファイル再配置を行うか、第一のファイル再配置に加えて、当該ファイルサーバ内のファイルを空にして元のファイルサーバ群内で負荷分散されるように第二のファイル再配置を行うように動作するためである。
【産業上の利用可能性】
【００６６】
本発明は、ファイルサーバ群あるいはデータベースサーバ群を仮想ファイルサーバとみなす、ネットワークを利用したクラスタ形態のファイルサーバシステムに利用できる。また、小規模のファイルサーバシステムから、音楽配信、ビデオオンデマンド用などに代表される大容量ファイルサーバシステムまで、ストレージシステムの規模を問わず広範囲に適用できる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態を示す構成図である。
【図２】本発明の実施の形態における「追加モード」の動作の概略を示す図である。
【図３】本発明の実施の形態における「空作成モード」の動作の概略を示す図である。
【図４】本発明の実施の形態における「一時追加モード」の動作の概略を示す図である。
【図５】本発明の実施の形態における「追加モード」の動作を示すフローチャートである。
【図６】本発明の実施の形態における「空作成モード」の動作を示すフローチャートである。
【図７】本発明の実施の形態における「一時追加モード」の動作を示すフローチャートである。
【図８】本発明の実施の形態における「一時追加モード」の動作（図７の続き）を示すフローチャートである。
【図９】本発明の実施の形態において、アクセス負荷記憶部が記憶管理する内容を示す図である。
【図１０】本発明の実施の形態において、ファイルサーバ負荷記憶部が記憶管理する内容を示す図である。
【図１１】本発明の実施の形態において、プラグ状態記憶部が記憶管理する内容を示す図である。
【図１２】本発明の実施の形態において、ファイル所在記憶部が記憶管理する内容を示す図である。
【符号の説明】
【００６８】
１００ クライアント
２００ ストレージシステム
２０１ ファイルサーバ
２０２ 記憶装置
３００ 負荷分散装置
３０１ モード指定実行部
３０２ アクセス負荷監視部
３０３ ファイルサーバ負荷計算部
３０４ プラグ監視部
３０５ イベント処理部
３０６ ファイル再配置部
３０７ ファイルアクセス制御部
３５１ モード記憶部
３５２ アクセス負荷記憶部
３５３ ファイルサーバ負荷記憶部
３５４ プラグ状態記憶部
３５５ ファイル所在記憶部
【技術分野】
【０００１】
本発明はファイルサーバの負荷分散装置、負荷分散装置用プログラム、及び負荷分散方法に関し、特に、ファイルサーバの着脱を伴う負荷分散システムにおけるファイルサーバの負荷分散装置、負荷分散装置用プログラム、及び負荷分散方法に関する。
【背景技術】
【０００２】
ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）のような、ネットワーク内のファイルサーバ群（クラスタ）全体を１つの仮想ファイルサーバとするストレージシステムでは、一部のファイルサーバにアクセス負荷が高いデータが偏在すると、ファイルサーバ群全体としてのアクセス性能が低下するという問題がある。
【０００３】
このような問題を解決するため、従来、ネットワーク内の各ファイルサーバのアクセス負荷の偏りを防ぎ、ファイルサーバ群全体としてのアクセス性能を向上する負荷分散技術が考案されている。
【０００４】
例えば、特許文献１には、ネットワーク上に複数の記憶装置を有するファイル蓄積管理システムにおいて、記憶装置上の各ファイルのアクセス要求の傾向をモニタし、ファイルの配置を動的に変化させることにより、アクセス負荷の偏りを防ぎ、ファイルアクセスを高速化するシステムが開示されている。
【０００５】
【特許文献１】特開平１０−３２０２６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の負荷分散技術においては、各ファイルサーバの容量に余裕がない場合は、ファイルサーバ間でのファイルの移動ができないため、アクセス負荷の分散が困難になるという問題があった。
（発明の目的）
本発明の目的は、上述の従来の課題である、ファイルサーバの容量に余裕がない場合に、アクセス負荷の分散ができなくなるという問題を解決したファイルサーバの負荷分散装置、負荷分散装置用プログラム、及び負荷分散方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の負荷分散装置は、ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視手段と、前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視手段と、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置手段と、を備えたことを特徴とする。
【０００８】
本発明の第２の負荷分散装置は、第１の負荷分散装置において、前記ファイル再配置手段が、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、ことを特徴とする。
【０００９】
本発明の第３の負荷分散装置は、第２の負荷分散装置において、前記ファイル再配置手段が、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、ことを特徴とする。
【００１０】
本発明の第１の負荷分散装置用プログラムは、コンピュータを、ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視手段と、前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視手段と、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置手段と、して機能させることを特徴とする。
【００１１】
本発明の第２の負荷分散装置用プログラムは、第１の負荷分散装置用プログラムにおいて、前記ファイル再配置手段が、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、ことを特徴とする。
【００１２】
本発明の第３の負荷分散装置用プログラムは、第２の負荷分散装置用プログラムにおいて、前記ファイル再配置手段が、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、ことを特徴とする。
【００１３】
本発明の第１の負荷分散方法は、負荷分散装置が、ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視ステップと、前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視ステップと、前記プラグ監視ステップにより前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置ステップと、を含むことを特徴とする。
【００１４】
本発明の第２の負荷分散方法は、第１の負荷分散方法において、前記ファイル再配置ステップが、前記プラグ監視ステップにより前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、ことを特徴とする。
【００１５】
本発明の第３の負荷分散方法は、第２の負荷分散方法において、前記ファイル再配置ステップが、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、ことを特徴とする。
【発明の効果】
【００１６】
本発明の効果は、ネットワークにより接続された複数のファイルサーバから成るファイルサーバ群により構成されるストレージシステムにおいて、各ファイルサーバの容量に余裕がない場合でも、各ファイルサーバの間で負荷分散を実行できることである。
【００１７】
その理由は、負荷分散装置が、新たなファイルサーバの接続を検出したことをトリガに、当該ファイルサーバを含めて負荷分散がされるように第一のファイル再配置を行い、第一のファイル再配置が完了したところで、当該ファイルサーバ内のファイルを空にして元のファイルサーバ群内で負荷分散されるように第二のファイル再配置を行うためである。
【発明を実施するための最良の形態】
【００１８】
次に、本発明の最良の実施の形態について図面を参照して詳細に説明する。
【００１９】
図１に本発明の実施の形態における負荷分散システムの構成を示す。図１を参照すると、本発明の実施の形態における負荷分散システムは、クライアント１００、ストレージシステム２００、負荷分散装置３００により構成される。クライアント１００と負荷分散装置３００、ストレージシステム２００と負荷分散装置３００は、それぞれネットワークを介して接続される。ここで、クライアント１００は、ストレージシステム２００の利用者側の装置である。ストレージシステム２００は、複数のファイルサーバ２０１をネットワークで接続し、全体として仮想ファイルサーバを提供するものである。ファイルサーバ２０１は、固定型の記憶媒体を持つ記憶装置２０２を実装したサーバで、クライアント１００の要求に従い、記憶装置２０２上のデータのリード／ライトといったアクセスを行う。
【００２０】
負荷分散装置３００は、クライアント１００がファイルサーバ２０１を利用する上でのアクセスポイントであり、ファイルのアクセス負荷監視とファイル再配置によるアクセス負荷分散を行う。負荷分散装置３００は、プログラム制御により動作する情報処理装置であり、モード指定実行部３０１、アクセス負荷監視部３０２、ファイルサーバ負荷計算部３０３、プラグ監視部３０４、イベント処理部３０５、ファイル再配置部３０６、ファイルアクセス制御部３０７、モード記憶部３５１、アクセス負荷記憶部３５２、ファイルサーバ負荷記憶部３５３、プラグ状態記憶部３５４、及びファイル所在記憶部３５５により構成される。
【００２１】
ここで、モード記憶部３５１は、ファイルサーバ２０１の接続、切断時のファイル再配置操作に関して、ユーザが指定したモードを記憶管理する。アクセス負荷記憶部３５２は、図９に示すように、ファイル毎のアクセス負荷を記憶管理する。アクセス負荷としては、単位時間あたりのアクセス回数（アクセス頻度）やデータ転送量を用いることができる。ファイルサーバ負荷記憶部３５３は、図１０に示すようにファイルサーバ２０１毎のアクセス負荷情報を記憶管理する。プラグ状態記憶部３５４は、図１１に示すように、ストレージシステム２００内で認識されているファイルサーバ２０１の接続状態を記憶管理する。ファイル所在記憶部３５５は、図１２に示すように、ファイル毎にその所在（どのファイルサーバ２０１にあるか）を記憶管理する。
【００２２】
モード指定実行部３０１は、ユーザよりファイルサーバ２０１の接続時のファイル再配置操作に関するモード（「追加モード」、「一時追加モード」）を受付け、モード記憶部３５１に格納する。また、ユーザより取り外しの準備動作の要求（「空作成モード」）を受付け、イベント処理部３０５に通知する。
【００２３】
アクセス負荷監視部３０２は、各ファイルを常時監視してファイル毎のアクセス負荷を取得し、アクセス負荷記憶部３５２の内容を更新する。
【００２４】
ファイルサーバ負荷計算部３０３は、アクセス負荷記憶部３５２の内容を参照してファイルサーバ２０１毎のアクセス負荷を計算し、ファイルサーバ負荷記憶部３５３の内容を更新する。
【００２５】
プラグ監視部３０４は、ストレージシステム２００へのファイルサーバ２０１の物理的な接続状態を常時監視し、ファイルサーバ２０１の接続あるいは切断の事象が新たに発生した場合、プラグ状態記憶部３５４の内容を更新する。また、ファイルサーバ２０１の接続の事象が発生した場合、即時にイベント処理部３０５に通知する。
【００２６】
イベント処理部３０５は、プラグ監視部３０４からファイルサーバ２０１の接続の事象の通知を受けた場合、あるいは、モード指定実行部３０１から準備動作の通知を受けた場合、モード記憶部３５１とプラグ状態記憶部３５４を参照し、ファイル再配置部３０６の実行内容を決定し、ファイル再配置部３０６にファイル再配置の実行を指示する。
【００２７】
ファイル再配置部３０６は、イベント処理部３０５からの指示に基づき、ファイルをファイルサーバ２０１間で移動・再配置する。また、再配置後のファイルの所在に応じて、ファイル所在記憶部３５５の内容を更新する。
【００２８】
ファイルアクセス制御部３０７は、クライアント１００からの要求によりデータアクセスを行う場合にファイル所在記憶部３５５を参照し、ストレージシステム２００内のどのファイルサーバ２０１にデータがあるかを判断し、データへのアクセスを行う。
【００２９】
次に、本発明の実施の形態の動作について図面を参照して説明する。
【００３０】
本発明の実施の形態においては、モード記憶部３５１に記憶されるモードとして、「追加モード」、「空作成モード」、及び「一時追加モード」の３つを使用するものとする。「追加モード」は、ストレージシステム２００にファイルサーバ２０１を追加して負荷分散を行うものであり、図２に示すように、空のファイルサーバ２０１をストレージシステム２００に追加すると、自動的に、追加されたファイルサーバ２０１も含めた全てのファイルサーバ２０１間でアクセス負荷の分散を行うようにファイルの再配置を行う。「空きサーバ作成モード」は、ストレージシステム２００からファイルサーバ２０１を切り離す準備として使用するものであり、図３に示すように、ユーザにより指定されたファイルサーバ２０１が空となるようにファイルの再配置を行う。「一時追加モード」は、ストレージシステム２００内のファイルサーバ２０１の容量に余裕がない時に、一時的に追加された空きのファイルサーバ２０１を利用してアクセス負荷の分散を行うものであり、図４に示すように、空のファイルサーバ２０１を追加すると、自動的に、追加されたファイルサーバ２０１も含めた全てのファイルサーバ２０１間でアクセス負荷の分散を行うようにファイルの再配置を行い、次に、追加されたファイルサーバ２０１が空となるように、再度、ファイルの再配置を行う。以下、各モードの動作を詳細に説明する。
【００３１】
「追加モード」
図５に「追加モード」の動作フローを示す。ここでは、ストレージシステム２００上のファイルサーバ２０１ａ〜２０１ｃに、空のファイルサーバ２０１ｄが追加される場合を例に説明する。
【００３２】
アクセス負荷監視部３０２は、ストレージシステム２００内の各ファイルサーバ２０１のファイルアクセスを監視し、アクセス負荷の情報と統計をアクセス負荷記憶部３５２にファイル毎に記録しているものとする。ただし、負荷分散のために実行されるファイル再配置に関するファイルアクセスは、アクセス負荷の統計に計上しない。
【００３３】
モード指定実行部３０１は、事前にクライアント１００から、ユーザによる「追加モード」の指定を受付ける（ステップＳ１０１）。モード指定実行部３０１は指定されたモードをモード記憶部３５１に保存する（ステップＳ１０２）。
【００３４】
ファイルサーバ２０１ｄがストレージシステム２００に追加されると、プラグ監視部３０４は、ファイルサーバ２０１ｄの接続を検出し、プラグ状態記憶部３５４にファイルサーバ２０１ｄを追加し（ステップＳ１０３）、イベント処理部３０５にファイルサーバ２０１ｄの接続を通知する（ステップＳ１０４）。
【００３５】
イベント処理部３０５は、モード記憶部３５１の内容から「追加モード」であることを確認する（ステップＳ１０５）。イベント処理部３０５は、プラグ状態記憶部３５４を参照し、ファイルサーバ２０１ｄが存在することを確認し、ファイルサーバ２０１ｄにアクセスし、ファイルサーバ２０１ｄが空であることを確認する（ステップＳ１０６）。イベント処理部３０５は、ファイルサーバ負荷計算部３０３に、各ファイルサーバ２０１の負荷計算を指示する（ステップＳ１０７）。
【００３６】
ファイルサーバ負荷計算部３０３は、アクセス負荷記憶部３５２及びファイル所在記憶部３５５を参照し、ファイル毎のアクセス負荷を取得し、ファイルサーバ２０１毎に集計してファイルサーバ負荷記憶部３５３に記録する（ステップＳ１０８）。
【００３７】
イベント処理部３０５は、ファイルサーバ２０１ｄを指定し、ファイルサーバ２０１の接続に伴うファイル再配置（ファイルサーバ２０１ａ〜２０１ｃからファイルサーバ２０１ｄへファイル再配置）を行うことをファイル再配置部３０６に指示する（ステップＳ１０９）。
【００３８】
ファイル再配置部３０６は、アクセス負荷記憶部３５２、ファイルサーバ負荷記憶部３５３の内容を基に、ファイルサーバ２０１ａ〜２０１ｃから追加されたファイルサーバ２０１ｄへ移動するファイルを決定する（ステップＳ１１０）。ファイルサーバ２０１ｄへ移動するファイルは、移動後のファイルサーバ２０１ａ〜２０１ｄのアクセス負荷が分散されるように選択される。ファイル再配置部３０６は、選択したファイルをファイルサーバ２０１ａ〜２０１ｃからファイルサーバ２０１ｄへ移動する（ステップＳ１１１）。ファイル再配置部３０６は、再配置後のファイルの所在に応じて、ファイル所在記憶部３５５を更新する（ステップＳ１１２）。
【００３９】
イベント処理部３０５は、移動が完了すると、移動完了をモード指定実行部３０１を通じてクライアント１００に通知する（ステップＳ１１４、１１５）。
【００４０】
クライアント１００からデータアクセスを行う要求があった場合、ファイルアクセス制御部３０７は、ファイル所在記憶部３５５を参照し、ストレージシステム２００内のどのファイルサーバ２０１にデータがあるかを判断し、データへのアクセスを行う。
【００４１】
「空作成モード」
図６に「空作成モード」の動作フローを示す。ここでは、ストレージシステム２００上のファイルサーバ２０１ａ〜２０１ｄから、ファイルサーバ２０１ｄを取り外す場合を例に説明する。
【００４２】
モード指定実行部３０１は、クライアント１００から、ユーザによる「空作成モード」の指定を取り外し対象のファイルサーバ２０１の情報（ファイルサーバ２０１ｄ）と共に受付ける（ステップＳ２０１）。モード指定実行部３０１は、指定されたモードをモード記憶部３５１に保存し、イベント処理部３０５に「空作成モード」が指定されたことを通知する（ステップＳ２０２）。
【００４３】
イベント処理部３０５は、プラグ状態記憶部３５４を参照し、指定されたファイルサーバ２０１ｄが存在することを確認し、ファイルサーバ２０１ｄにアクセスし、ファイルサーバ２０１ｄが空で無いことを確認する（ステップＳ２０３）。イベント処理部３０５は、ファイルサーバ負荷計算部３０３に、各ファイルサーバ２０１の負荷計算を指示する（ステップＳ２０４）。
【００４４】
ファイルサーバ負荷計算部３０３は、アクセス負荷記憶部３５２及びファイル所在記憶部３５５を参照し、ファイル毎のアクセス負荷を取得し、ファイルサーバ２０１毎に集計してファイルサーバ負荷記憶部３５３に記録する（ステップＳ２０５）。
【００４５】
イベント処理部３０５は、ファイルサーバ２０１ｄを指定し、ファイルサーバ２０１の切断に伴うファイル再配置（ファイルサーバ２０１ｄを空にし、ファイルサーバ２０１ａ〜２０１ｃでファイル再配置）を行うことをファイル再配置部３０６に指示する（ステップＳ２０６）。
【００４６】
ファイル再配置部３０６は、アクセス負荷記憶部３５２、ファイルサーバ負荷記憶部３５３の内容を基に、ファイルサーバ２０１ｄの全てのファイルについて、移動先のファイルサーバ２０１ａ〜２０１ｃを決定する（ステップＳ２０７）。ファイルサーバ２０１ｄ内のファイルの移動先は、移動後のファイルサーバ２０１ａ〜２０１ｃのアクセス負荷が分散されるように選択される。ここで、再配置すべきファイルが移動先ファイルサーバ２０１ａ〜２０１ｃの容量の限界を超える場合は、ファイル再配置部３０６は、移動先ファイルシステムの容量超過のため、移動不可能であることをイベント処理部３０５、モード指定実行部３０１を通じてクライアント１００に通知しても良い。ファイル再配置部３０６は、選択された移動先に従って、ファイルサーバ２０１ｄからファイルサーバ２０１ａ〜２０１ｃへファイルの移動を行う（ステップＳ２０８）。ファイル再配置部３０６は、再配置後のファイルの所在に応じて、ファイル所在記憶部３５５を更新する（ステップＳ２０９）。
【００４７】
イベント処理部３０５は、移動が完了した場合、移動完了をモード指定実行部３０１を通じてクライアント１００に通知する（ステップＳ２１１、２１２）。
【００４８】
ファイルサーバ２０１ｄがストレージシステム２００から取り外されると、プラグ監視部３０４は、ファイルサーバ２０１ｄの切断を検知し、プラグ状態記憶部３５４からファイルサーバ２０１ｄを削除する（ステップＳ２１３）。
【００４９】
「一時追加モード」
図７、図８に「一時追加モード」の動作フローを示す。ここでは、ストレージシステム２００上のファイルサーバ２０１ａ〜２０１ｃに、空のファイルサーバ２０１ｄを一時的に追加する場合を例に説明する。
【００５０】
モード指定実行部３０１は、事前にクライアント１００から、ユーザによる「一時追加モード」の指定を受付ける（ステップＳ３０１）。モード指定実行部３０１は指定されたモードをモード記憶部３５１に保存する（ステップＳ３０２）。
【００５１】
ファイルサーバ２０１ｄがストレージシステム２００に追加されると、プラグ監視部３０４は、ファイルサーバ２０１ｄの接続を検出し、プラグ状態記憶部３５４にファイルサーバ２０１ｄを追加し（ステップＳ３０３）、イベント処理部３０５にファイルサーバ２０１ｄの接続を通知する（ステップＳ３０４）。
【００５２】
イベント処理部３０５は、モード記憶部３５１の内容から「一時追加モード」であることを確認する（ステップＳ３０５）。イベント処理部３０５は、プラグ状態記憶部３５４を参照し、ファイルサーバ２０１ｄが存在することを確認し、ファイルサーバ２０１ｄにアクセスし、ファイルサーバ２０１ｄが空であることを確認する（ステップＳ３０６）。イベント処理部３０５は、ファイルサーバ負荷計算部３０３に、各ファイルサーバ２０１の負荷計算を指示する（ステップＳ３０７）。
【００５３】
ファイルサーバ負荷計算部３０３は、アクセス負荷記憶部３５２及びファイル所在記憶部３５５を参照し、ファイル毎のアクセス負荷を取得し、ファイルサーバ２０１毎に集計してファイルサーバ負荷記憶部３５３に記録する（ステップＳ３０８）。
【００５４】
イベント処理部３０５は、ファイルサーバ２０１ｄを指定し、ファイルサーバ２０１の接続に伴うファイル再配置（ファイルサーバ２０１ａ〜２０１ｃからファイルサーバ２０１ｄへファイル再配置）を行うことをファイル再配置部３０６に指示する（ステップＳ３０９）。
【００５５】
ファイル再配置部３０６は、アクセス負荷記憶部３５２、ファイルサーバ負荷記憶部３５３の内容を基に、ファイルサーバ２０１ａ〜２０１ｃから追加されたファイルサーバ２０１ｄへ移動するファイルを決定する（ステップＳ３１０）。ファイルサーバ２０１ｄへ移動するファイルは、移動後のファイルサーバ２０１ａ〜２０１ｄのアクセス負荷が分散されるように選択される。ファイル再配置部３０６は、選択したファイルをファイルサーバ２０１ａ〜２０１ｃからファイルサーバ２０１ｄへ移動する（ステップＳ３１１）。ファイル再配置部３０６は、再配置後のファイルの所在に応じて、ファイル所在記憶部３５５を更新する（ステップＳ３１２）。
【００５６】
イベント処理部３０５は、移動が完了すると、ファイルサーバ負荷計算部３０３に、各ファイルサーバ２０１の負荷計算を再度指示する（ステップＳ３１４）。
【００５７】
ファイルサーバ負荷計算部３０３は、アクセス負荷記憶部３５２及びファイル所在記憶部３５５を参照し、ファイル毎のアクセス負荷を取得し、ファイルサーバ２０１毎に集計してファイルサーバ負荷記憶部３５３に記録する（ステップＳ３１５）。
【００５８】
イベント処理部３０５は、イベント処理部３０５は、ファイルサーバ２０１ｄを指定し、ファイルサーバ２０１の切断に伴うファイル再配置（ファイルサーバ２０１ｄを空にし、ファイルサーバ２０１ａ〜２０１ｃでファイル再配置）を行うことをファイル再配置部３０６に指示する（ステップＳ３１６）。
【００５９】
ファイル再配置部３０６は、アクセス負荷記憶部３５２、ファイルサーバ負荷記憶部３５３の内容を基に、ファイルサーバ２０１ｄの全てのファイルについて、移動先のファイルサーバ２０１ａ〜２０１ｃを決定する（ステップＳ３１７）。ファイルサーバ２０１ｄ内のファイルの移動先は、移動後のファイルサーバ２０１ａ〜２０１ｃのアクセス負荷が分散されるように選択される。ファイル再配置部３０６は、選択された移動先に従って、ファイルサーバ２０１ｄからファイルサーバ２０１ａ〜２０１ｃへファイルの移動を行う（ステップＳ３１８）。ファイル再配置部３０６は、再配置後のファイルの所在に応じて、ファイル所在記憶部３５５を更新する（ステップＳ３１９）。
【００６０】
イベント処理部３０５は、移動が完了した場合、移動完了をモード指定実行部３０１を通じてクライアント１００に通知する（ステップＳ３２１、３２２）。
【００６１】
ファイルサーバ２０１ｄがストレージシステム２００から取り外されると、プラグ監視部３０４は、ファイルサーバ２０１ｄの切断を検知し、プラグ状態記憶部３５４からファイルサーバ２０１ｄを削除する（ステップＳ３２３）。
【００６２】
以上により、本発明の実施の形態の動作が完了する。
【００６３】
本発明の実施の形態によれば、ネットワークにより接続された複数のファイルサーバから成るファイルサーバ群により構成されるストレージシステムにおいて、各ファイルサーバの容量に余裕がない場合でも、各ファイルサーバの間で負荷分散を実行できる。
【００６４】
その理由は、負荷分散装置が、新たなファイルサーバの接続を検出したことをトリガに、当該ファイルサーバを含めて負荷分散がされるように第一のファイル再配置を行い、第一のファイル再配置が完了したところで、当該ファイルサーバ内のファイルを空にして元のファイルサーバ群内で負荷分散されるように第二のファイル再配置を行うためである。
【００６５】
また、本発明の実施の形態によれば、ネットワークにより接続された複数のファイルサーバから成るファイルサーバ群により構成されるストレージシステムにおいて、ファイルサーバの追加による負荷分散、またはファイルサーバの一時的な追加による負荷分散をユーザが容易に実行することができる。その理由は、ユーザがファイルサーバ接続検出時の動作を決める動作モードを負荷分散装置に対して設定し、負荷分散装置は、新たなファイルサーバの接続を検出したことをトリガに、当該動作モードに応じて、当該ファイルサーバを含めて負荷分散がされるような第一のファイル再配置を行うか、第一のファイル再配置に加えて、当該ファイルサーバ内のファイルを空にして元のファイルサーバ群内で負荷分散されるように第二のファイル再配置を行うように動作するためである。
【産業上の利用可能性】
【００６６】
本発明は、ファイルサーバ群あるいはデータベースサーバ群を仮想ファイルサーバとみなす、ネットワークを利用したクラスタ形態のファイルサーバシステムに利用できる。また、小規模のファイルサーバシステムから、音楽配信、ビデオオンデマンド用などに代表される大容量ファイルサーバシステムまで、ストレージシステムの規模を問わず広範囲に適用できる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態を示す構成図である。
【図２】本発明の実施の形態における「追加モード」の動作の概略を示す図である。
【図３】本発明の実施の形態における「空作成モード」の動作の概略を示す図である。
【図４】本発明の実施の形態における「一時追加モード」の動作の概略を示す図である。
【図５】本発明の実施の形態における「追加モード」の動作を示すフローチャートである。
【図６】本発明の実施の形態における「空作成モード」の動作を示すフローチャートである。
【図７】本発明の実施の形態における「一時追加モード」の動作を示すフローチャートである。
【図８】本発明の実施の形態における「一時追加モード」の動作（図７の続き）を示すフローチャートである。
【図９】本発明の実施の形態において、アクセス負荷記憶部が記憶管理する内容を示す図である。
【図１０】本発明の実施の形態において、ファイルサーバ負荷記憶部が記憶管理する内容を示す図である。
【図１１】本発明の実施の形態において、プラグ状態記憶部が記憶管理する内容を示す図である。
【図１２】本発明の実施の形態において、ファイル所在記憶部が記憶管理する内容を示す図である。
【符号の説明】
【００６８】
１００ クライアント
２００ ストレージシステム
２０１ ファイルサーバ
２０２ 記憶装置
３００ 負荷分散装置
３０１ モード指定実行部
３０２ アクセス負荷監視部
３０３ ファイルサーバ負荷計算部
３０４ プラグ監視部
３０５ イベント処理部
３０６ ファイル再配置部
３０７ ファイルアクセス制御部
３５１ モード記憶部
３５２ アクセス負荷記憶部
３５３ ファイルサーバ負荷記憶部
３５４ プラグ状態記憶部
３５５ ファイル所在記憶部
【特許請求の範囲】
【請求項１】
ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視手段と、
前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視手段と、
前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置手段と、
を備えたことを特徴とする負荷分散装置。
【請求項２】
前記ファイル再配置手段は、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、
ことを特徴とする請求項１記載の負荷分散装置。
【請求項３】
前記ファイル再配置手段は、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、
ことを特徴とする請求項２記載の負荷分散装置。
【請求項４】
コンピュータを、
ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視手段と、
前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視手段と、
前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置手段と、
して機能させることを特徴とする負荷分散装置用プログラム。
【請求項５】
前記ファイル再配置手段は、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、
ことを特徴とする請求項４記載の負荷分散装置用プログラム。
【請求項６】
前記ファイル再配置手段は、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、
ことを特徴とする請求項５記載の負荷分散装置用プログラム。
【請求項７】
負荷分散装置が、
ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視ステップと、
前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視ステップと、
前記プラグ監視ステップにより前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置ステップと、
を含むことを特徴とする負荷分散方法。
【請求項８】
前記ファイル再配置ステップは、前記プラグ監視ステップにより前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、
ことを特徴とする請求項７記載の負荷分散方法。
【請求項９】
前記ファイル再配置ステップは、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、
ことを特徴とする請求項８記載の負荷分散方法。
【請求項１】
ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視手段と、
前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視手段と、
前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置手段と、
を備えたことを特徴とする負荷分散装置。
【請求項２】
前記ファイル再配置手段は、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、
ことを特徴とする請求項１記載の負荷分散装置。
【請求項３】
前記ファイル再配置手段は、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、
ことを特徴とする請求項２記載の負荷分散装置。
【請求項４】
コンピュータを、
ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視手段と、
前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視手段と、
前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置手段と、
して機能させることを特徴とする負荷分散装置用プログラム。
【請求項５】
前記ファイル再配置手段は、前記プラグ監視手段により前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、
ことを特徴とする請求項４記載の負荷分散装置用プログラム。
【請求項６】
前記ファイル再配置手段は、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、
ことを特徴とする請求項５記載の負荷分散装置用プログラム。
【請求項７】
負荷分散装置が、
ストレージシステム内の複数のファイルサーバへのファイルアクセスを監視し、ファイル毎のアクセス負荷をアクセス負荷記憶手段に保存するアクセス負荷監視ステップと、
前記ストレージシステムへの追加ファイルサーバの接続を検出するプラグ監視ステップと、
前記プラグ監視ステップにより前記追加ファイルサーバの接続が検出された場合、前記アクセス負荷記憶手段の内容を基に、前記追加ファイルサーバを除いた複数のファイルサーバから、前記ストレージシステム内の全てのファイルサーバ間のアクセス負荷が分散されるようにファイルを選択して、前記追加ファイルサーバへ移動する第一のファイル再配置を行い、前記第一のファイル再配置終了後、前記追加ファイルサーバへ移動したファイルを、前記追加ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該複数のファイルサーバから移動先となるファイルサーバを選択して移動する第二のファイル再配置を行うファイル再配置ステップと、
を含むことを特徴とする負荷分散方法。
【請求項８】
前記ファイル再配置ステップは、前記プラグ監視ステップにより前記追加ファイルサーバの接続が検出された場合、モード記憶手段に保存されたファイル再配置操作に関するモードが追加モードの場合は、前記第一のファイル再配置のみを行い、前記モードが一時追加モードの場合は、前記第一のファイル再配置と前記第二のファイル再配置を行う、
ことを特徴とする請求項７記載の負荷分散方法。
【請求項９】
前記ファイル再配置ステップは、クライアントから削除対象ファイルサーバを指定した空作成モードを指示された場合、前記アクセス負荷記憶手段の内容を基に、前記削除対象ファイルサーバのファイルを、前記削除対象ファイルサーバを除いた複数のファイルサーバ間のアクセス負荷が分散されるように、当該削除対象のファイルサーバから移動先となるファイルサーバを選択して移動する、
ことを特徴とする請求項８記載の負荷分散方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−２３４２６４（Ｐ２００８−２３４２６４Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−７２２７１（Ｐ２００７−７２２７１）
【出願日】平成１９年３月２０日（２００７．３．２０）
【出願人】（０００２１３３０１）中部日本電気ソフトウェア株式会社 (56)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月２０日（２００７．３．２０）
【出願人】（０００２１３３０１）中部日本電気ソフトウェア株式会社 (56)
【Ｆターム（参考）】
[ Back to top ]