情報システム及びディザスタリカバリ方法
【課題】リモートサイトとの通信障害発生中にメインサイトが被災してもデータが消失することがなく、低コストで導入可能な情報システム及びディザスタリカバリ方法を提供する。
【解決手段】メインストレージ１１０と、そのデータが更新された際に、更新データがメインストレージ１１０から同期コピーされる複製ストレージ１３０とを備えた情報システムであって、メインストレージ１１０及び複製ストレージ１３０の双方に接続されたジャーナルストレージ１４０を有し、メインストレージ１１０と複製ストレージ１３０との間のネットワーク１５１に通信障害が発生した場合には、更新データをジャーナルストレージ１４０へ同期コピーし、ジャーナルストレージ１４０に格納した更新データを、複製ストレージ１３０へ準同期コピーし、ネットワーク１５１の通信障害の解消後に、メインストレージ１１０からの更新データの同期コピー先を複製ストレージ１３０に戻す。
【解決手段】メインストレージ１１０と、そのデータが更新された際に、更新データがメインストレージ１１０から同期コピーされる複製ストレージ１３０とを備えた情報システムであって、メインストレージ１１０及び複製ストレージ１３０の双方に接続されたジャーナルストレージ１４０を有し、メインストレージ１１０と複製ストレージ１３０との間のネットワーク１５１に通信障害が発生した場合には、更新データをジャーナルストレージ１４０へ同期コピーし、ジャーナルストレージ１４０に格納した更新データを、複製ストレージ１３０へ準同期コピーし、ネットワーク１５１の通信障害の解消後に、メインストレージ１１０からの更新データの同期コピー先を複製ストレージ１３０に戻す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同時に被災しないように離れて設けられた複数のストレージ装置を有する情報システム及びディザスタリカバリ方法に関する。
【背景技術】
【０００２】
昨今の企業や公共団体などは、市民生活上で重要な役割を担っており、それらが運用する情報システムの役割はますます重要になっている。このため、社会的な責任、危機管理、尊法などの観点からも、災害が発生するなどしてシステム障害に陥っても業務を継続できるか、又は容易に復旧できるようにするという情報システムのリカバリ対策、いわゆるディザスタリカバリ（disaster recovery）が重要となってきている。
【０００３】
ディザスタリカバリにおける災害とは、サイトに設置した装置に全体的に被害を与える現象全般を意味し、特定の現象を表すものではない。すなわち、建物単体での火災のような小規模なものから、風水害や地震などの大規模なものも含まれる。また、不正侵入やテロなどの人為的な原因のものも含まれる。なお、本明細書において「サイト」とは、コンピュータやストレージ装置などのハードウェアが設置される場所を意味する。また、サイトに設置した装置が災害によって全体的に破損することを「被災」と表記する。
【０００４】
ディザスタリカバリのために、大規模な災害が発生しても同時に影響を受けないことが想定できる程度メインサイトから離してリモートサイトを設け、メインサイト内のデータをリモートサイトに複製（バックアップ）しておき、メインサイトが被災しても、リモートサイトで業務を継続できるようにする手法がある。この手法に関連する技術としては、特許文献１に開示される「ホストシステム間のバックアップシステム」がある。
【０００５】
メインサイトの情報をリモートサイトに反映する方法として、ディスクストレージのレプリケーションが知られている。レプリケーションは、メインサイトのディスクの複製（replica）をリモートサイトに作成する方法である。
【０００６】
以下、メインサイトに設置されたストレージをメインストレージ、リモートサイトに設置されたストレージを複製ストレージと表記する。
【０００７】
特許文献１に開示される発明のようにメインサイトとリモートサイトとを通信回線で結んだ情報システムにおいては、図３７に示すように、レプリケーションの際には、メインサイトのデータをリモートサイトに送り、リモートサイト内の複製ストレージに反映する。
なお、メインサイトのストレージのデータを更新するのと同期して、複製ストレージにもデータを反映させる情報の伝達を「同期コピー」と表記する。また、メインストレージの更新と同期していないが、メインストレージと同じ順序で複製ストレージにデータを反映させる情報の伝達を「準同期コピー」と表記する。さらに、メインストレージから複製ストレージへ、非同期かつ更新順序を保証せずに行う情報の伝達を「非同期コピー」と表記する。
【０００８】
メインストレージから複製ストレージに同期コピーを行っている場合、情報の厳密一貫性（strict consistency）が保たれており、メインストレージ内の全てのデータが複製ストレージにも存在するため、メインサイトが被災してもデータの消失は無い。ただし、これはメインサイトとリモートサイトとの間に通信障害が発生しないことが前提である。
【０００９】
なお、厳密一貫性とは、データ項目に対するどのような読み取り操作も、最も新しい書き込み結果に対応した値を返却することである。
【００１０】
図３７に示した情報システムは、メインサイトとリモートサイトとの間に通信障害が発生すると、同期コピーを実行できないため、図３８に示すように更新データをメインストレージのバッファに蓄える。メインストレージは、通信障害が復旧した後、バッファの内容を複製ストレージに準同期コピーする。バッファ内の全てのデータが複製ストレージに反映された時点で、情報システムは同期コピーを行える状態に復旧する。
【００１１】
しかし、通信障害が発生している間はリモートサイトにデータが送信されていないため、図３９に示すように通信障害発生中でメインストレージにのみ更新データが存在する状態でメインサイトが被災すると、更新データが消失してしまう。
【００１２】
この問題への対処に関連する技術として、特許文献２に開示される「データ複製システム、中継装置、データ送受信方法およびストレージ内のデータを複製するためのプログラム」がある。特許文献１には、ストレージ間の伝送経路に冗長性（redundancy）を持たせる構成が開示されている。この手法によれば、伝送経路のいずれかで通信障害が発生したとしても、別の通信経路を利用して更新データを送信できるため、全ての伝送経路に通信障害が発生しない限り、メインサイトが被災してもデータが消失することはない。
【００１３】
また、特許文献３に開示される発明のように、リモートサイトを複数にし、冗長性を維持するという手法もある。この手法によれば、一つのリモートサイトとの間で通信障害が発生したとしても、メインサイトから残りのリモートサイトへ更新データを送信できるため、全てのリモートサイトとの間に通信障害が発生しない限り、メインサイトが被災してもデータが消失することはない。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２０００−７６１５１号公報
【特許文献２】特開２００４−８６７２１号公報（図８）
【特許文献３】特開２００４−２２７５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかし、大規模な災害が発生しても同時に影響を受けないことが想定できる程度離れた位置にあるサイト間の伝送経路に冗長性を持たせることは容易ではなく、ケーブルの敷設等に多大な費用や時間が必要となる。
【００１６】
また、リモートサイトを複数持つことは、多大な費用が必要となり、多くのシステムにとって現実的ではない。すなわち、リモートサイトを開設する場所や機材の用意や各リモートサイトとメインサイトとを接続するケーブルを敷設する作業などの初期投資のみならず、それらを維持管理する費用が必要となってしまう。さらに、複数のリモートサイトを開設すると情報システムの運用が複雑になってしまう。
【００１７】
したがって、特許文献２や３に開示される発明は、低コストでのディザスタリカバリの実現が困難である。
【００１８】
このように、リモートサイトとの通信障害発生中にメインサイトが被災してもデータが消失することがなく、低コストで導入可能な情報システム及びディザスタリカバリ方法は提供されていなかった。
【００１９】
本発明は係る問題に鑑みてなされたものであり、リモートサイトとの通信障害発生中にメインサイトが被災してもデータが消失することがなく、低コストで導入可能な情報システム及びディザスタリカバリ方法を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記目的を達成するため、本発明は、第１の態様として、第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムであって、第１及び第２のストレージ装置の双方に接続されたジャーナルストレージ装置を有し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、更新データをジャーナルストレージ装置へ同期コピーし、ジャーナルストレージ装置に格納した更新データを、第２のストレージ装置へ準同期コピーし、第１のストレージ装置と第２のストレージ装置との間の通信障害が解消された後に、第１のストレージ装置からの更新データの同期コピー先を第２のストレージ装置に戻すことを特徴とする情報システムを提供するものである。
【００２１】
また、上記目的を達成するため、本発明は、第２の態様として、第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムであって、第１のストレージ装置に接続されたジャーナルストレージ装置を有し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、更新データをジャーナルストレージ装置へ同期コピーし、第１のストレージ装置と第２のストレージ装置との間の通信障害が解消された後に、ジャーナルストレージ装置に格納した更新データを、第１のストレージ装置を経由して第２のストレージ装置へ準同期コピーし、第１のストレージ装置からの更新データの同期コピー先を第２のストレージ装置に戻し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生している間に第１のストレージ装置が破損した場合は、第１のストレージ装置の修復後に第２のストレージ装置からデータを書き戻し、その後、ジャーナルストレージ装置に格納した更新データを第１のストレージ装置へ準同期コピーすることを特徴とする情報システムを提供するものである。
【００２２】
また、上記目的を達成するため、本発明は、第３の態様として、第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムにおけるディザスタリカバリ方法であって、第１及び第２のストレージ装置の双方にジャーナルストレージ装置を接続し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、更新データをジャーナルストレージ装置へ同期コピーし、ジャーナルストレージ装置に格納した更新データを、第２のストレージ装置へ準同期コピーし、第１のストレージ装置と第２のストレージ装置との間の通信障害が解消された後に、第１のストレージ装置からの更新データの同期コピー先を第２のストレージ装置に戻すことを特徴とするディザスタリカバリ方法を提供するものである。
【００２３】
また、上記目的を達成するため、本発明は、第４の態様として、第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムにおけるディザスタリカバリ方法であって、第１のストレージ装置にジャーナルストレージ装置を接続し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、更新データをジャーナルストレージ装置へ同期コピーし、第１のストレージ装置と第２のストレージ装置との間の通信障害が解消された後に、ジャーナルストレージ装置に格納した更新データを、第１のストレージ装置を経由して第２のストレージ装置へ準同期コピーし、第１のストレージ装置からの更新データの同期コピー先を第２のストレージ装置に戻し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生している間に第１のストレージ装置が破損した場合は、第１のストレージ装置の修復後に第２のストレージ装置からデータを書き戻し、その後、ジャーナルストレージ装置に格納した更新データを第１のストレージ装置へ準同期コピーすることを特徴とするディザスタリカバリ方法を提供するものである。
【発明の効果】
【００２４】
本発明によれば、リモートサイトとの通信障害発生中にメインサイトが被災してもデータが消失することがなく、低コストで導入可能な情報システム及びディザスタリカバリ方法を提供できる。
【図面の簡単な説明】
【００２５】
【図１】本発明を好適に実施した第１の実施形態に係る情報システムの構成を示す図である。
【図２】第１の実施形態に係る情報システムの詳細な構成を示す図である。
【図３】メインストレージのディスクから複製ストレージのディスクに同期コピーを行う通常状態を示す図である。
【図４】メインサイトとリモートサイトとの間で通信障害が発生した状態を示す図である。
【図５】メインサイトとリモートサイトとの間で通信障害が発生中にメインサイトが被災した状態を示す図である。
【図６】ジャーナルストレージが複製ストレージに差分反映完了を通知した状態を示す図である。
【図７】メインサイトとリモートサイトとの間で通信障害が発生した後、メインサイトが被災せずに通信障害が解消した状態を示す図である。
【図８】ジャーナルストレージがメインストレージ及び複製ストレージに差分反映完了を通知した状態を示す図である。
【図９】メインストレージが、同期コピー先を複製ストレージに切り替えた状態を示す図である。
【図１０】ジャーナルストレージに空き容量が無くなった状態を示す図である。
【図１１】ジャーナルストレージに空きができたのち、バッファに格納した更新データがジャーナルストレージへ準同期コピーされる状態を示す図である。
【図１２】メインサイトとジャーナルサイトとの間及びリモートサイトとジャーナルサイトとの間に通信障害が発生した状態を示す図である。
【図１３】メインサイトとリモートサイトとの間及びジャーナルサイトとリモートサイトとの間に通信障害が発生した状態を示す図である。
【図１４】メインサイトとリモートサイトとの間及びメインサイトとジャーナルサイトとの間に通信障害が発生した状態を示す図である。
【図１５】本発明を好適に実施した第２の実施形態に係る情報システムの詳細な構成を示す図である。
【図１６】メインサイトとリモートサイトとの間に通信障害が発生した状態を示す図である。
【図１７】メインサイトとリモートサイトとの間の通信障害が解消した状態を示す図である。
【図１８】ジャーナルストレージが複製ストレージに差分反映完了を通知した状態を示す図である。
【図１９】メインストレージから複製ストレージへの同期コピーが再開された状態を示す図である。
【図２０】本発明を好適に実施した第３の実施形態に係る情報システムの構成を示す図である。
【図２１】第３の実施形態に係る情報システムの詳細な構成を示す図である。
【図２２】メインストレージが同期コピー先をジャーナルストレージに切り替えた状態を示す図である。
【図２３】複製ストレージ内のデータをメインストレージに書き戻した状態を示す図である。
【図２４】ジャーナルストレージから更新データをメインストレージに準同期コピーするとともに、メインストレージから複製ストレージへも準同期コピーする状態を示す図である。
【図２５】複製ストレージがメインストレージへ差分反映完了を通知した状態を示す図である。
【図２６】メインストレージへの更新データが複製ストレージに同期コピーされる状態を示す図である。
【図２７】ジャーナルストレージが更新データをメインストレージを経由して、複製ストレージへ準同期コピーする状態を示す図である。
【図２８】ジャーナルストレージがメインストレージに差分反映完了を通知した状態を示す図である。
【図２９】同期が完了したことを複製ストレージがメインストレージに通知した状態を示す図である。
【図３０】メインストレージから複製ストレージへの同期コピーが再開された状態を示す図である。
【図３１】複製ストレージにバッファを設けた構成の情報システムを示す図である。
【図３２】ジャーナルストレージからの準同期コピーが完了するまでの間は更新データをバッファに蓄積する状態を示す図である。
【図３３】ジャーナルストレージから複製ストレージへの更新データの準同期コピーが完了した状態を示す図である。
【図３４】複製ストレージのバッファ内の更新データが反映された状態を示す図である。
【図３５】ジャーナルサイトをデータセンタに集約し、複数のメインサイトとそのリモートサイトとをデータセンタと接続した状態を示す図である。
【図３６】ジャーナルサイトをデータセンタに集約し、複数のメインサイトとそのリモートサイトとをデータセンタと接続した状態を示す図である。
【図３７】メインサイトの更新データをリモートサイトに同期コピーする状態を示す図である。
【図３８】メインサイトとリモートサイトとの間に通信障害が発生した状態を示す図である。
【図３９】メインサイトとリモートサイトとの間に通信障害が発生中にメインサイトが被災した状態を示す図である。
【発明を実施するための形態】
【００２６】
〔第１の実施形態〕
本発明を好適に実施した第１の実施形態について説明する。
図１に、本実施形態に係る情報システムの構成を示す。本実施形態に係る情報システムは、メインストレージ１１０と、メインストレージ１１０のデータが更新された際に、更新データがメインストレージ１１０から同期コピーされる複製ストレージ１３０とを備えた情報システムであって、メインストレージ１１０及び複製ストレージ１３０の双方にネットワーク１５１、１５３を介して接続されたジャーナルストレージ１４０を有し、メインストレージ１１０と複製ストレージ１３０との間のネットワーク１５１に通信障害が発生した場合には、更新データをジャーナルストレージ１４０へ同期コピーし、ジャーナルストレージ１４０に格納した更新データを、複製ストレージ１３０へ準同期コピーし、ネットワーク１５１の通信障害が解消された後に、メインストレージ１１０からの更新データの同期コピー先を複製ストレージ１３０に戻す。
【００２７】
図２に、本実施形態に係る情報システムのより詳細な構成を示す。
本実施形態に係る情報システムは、メインサイト、リモートサイト及びジャーナルサイトの三つのサイトを備える。各サイトは、大規模な災害が発生しても同時に被災しないように離れて設けられている。
【００２８】
メインサイトには、プログラム制御によって動作するホストコンピュータ１００及びメインストレージ１１０が設置されている。
【００２９】
ホストコンピュータ１００は、ディスクアクセス部１０１を備える。ディスクアクセス部１０１は、メインストレージ１１０に対して情報の読み込み及び書き込みを行う。
【００３０】
メインストレージ１１０は、ディスク１１１、バッファ１１２、ビットマップ１１３、ストレージ制御部１１４及び通信部１１５を備える。ビットマップ１１３は、メインストレージ１１０と複製ストレージ１３０との間で一貫性が保てなくなった後でメインストレージ１１０上で更新された領域を表している。ストレージ制御部１１４は、メインストレージ１１０の各部の動作を制御する。通信部１１５は、リモートサイトに設けられている複製ストレージ１３０やジャーナルサイトに設けられているジャーナルストレージ１４０との通信を行う。また、リモートサイトとの間のネットワーク１５１やジャーナルサイトとの間のネットワーク１５２に通信障害が発生したことを検出する。
【００３１】
リモートサイトには、プログラム制御によって動作するホストコンピュータ１２０及び複製ストレージ１３０が設置されている。
【００３２】
ホストコンピュータ１２０は、ディスクアクセス部１２１を備える。ディスクアクセス部１２１は、複製ストレージ１３０に対して情報の読み込み及び書き込みを行う。
【００３３】
複製ストレージ１３０は、ディスク１３１、ストレージ制御部１３４、及び通信部１３５を備える。ストレージ制御部１３４は、複製ストレージ１３０の各部の動作を制御する。通信部１３５は、メインサイトに設けられているメインストレージ１１０やジャーナルサイトに設けられているジャーナルストレージ１４０との通信を行う。また、メインサイトとの間のネットワーク１５２やジャーナルサイトとの間のネットワーク１５３に通信障害が発生したことを検出する。なお、複製ストレージ１３０は、メインストレージ１１０との間で厳密一貫性が保たれている状態、メインストレージ１１０との間で順序一貫性（sequential consistency）が保たれている状態、及び、メインストレージ１１０との間に一貫性が保たれていない状態のいずれかの状態をとる。
なお、順序一貫性とは、全てのプロセスによるストレージに対する読み書き操作は、どのプロセスからも同じ順序で観測できることである。順序一貫性は、操作が行われた時間については言及しない。ただし、個々のプロセスに閉じれば、そのプログラムに書かれた順序通りに観測できる。
【００３４】
ジャーナルサイトには、ジャーナルストレージ１４０が設置されている。ジャーナルストレージ１４０は、ディスク１４１、通信部１４２及びストレージ制御部１４３を備える。ストレージ制御部１４３は、ジャーナルストレージ１４０の各部の動作を制御する。通信部１４２は、メインサイトに設けられているメインストレージ１１０やリモートサイトに設けられている複製ストレージ１３０との通信を行う。また、メインサイトとの間のネットワーク１５２やリモートサイトとの間のネットワーク１５３に通信障害が発生したことを検出する。
【００３５】
各サイト間は、ネットワーク１５１〜１５３でそれぞれ接続されている。
【００３６】
次に、本実施形態に係る情報システムのリカバリ動作について説明する。なお、上記のように、メインストレージ１１０、複製ストレージ１３０及びジャーナルストレージ１４０の動作はそれぞれストレージ制御部１１４、１３４及び１４３によって制御され、ストレージ間の通信は通信部１１５、１３５及び１４２によって実現されるが、以下では説明の簡略化のため、単にストレージ装置が動作（コピーや通信など）を行うと表記する。
【００３７】
本実施形態において、情報システムは厳密一貫性を必要とするシステムであるとする。ただし、本発明を厳密一貫性を必要とするシステムに限定する主旨ではなく、順序一貫性を必要とするシステムとして構成することも可能である。
【００３８】
通常状態では、メインサイトとリモートサイトとの間でネットワーク１５１を介して通信し、図３に示すようにメインストレージ１１０のディスク１１１から複製ストレージ１３０のディスク１３１に同期コピーを行う。
【００３９】
図４に示すようにメインサイトとリモートサイトとの間で通信障害が発生した場合について説明する。メインストレージ１１０及び複製ストレージ１３０は、ハートビート通信などによって通信障害を検出する。通信障害が検出されると、メインストレージ１１０は、同期コピー先をジャーナルストレージ１４０のディスク１４１に変更し、リモートサイトへ送信できなかったデータを順にジャーナルストレージ１４０へ送信する。
【００４０】
複製ストレージ１３０は、メインストレージ１１０からの同期コピーを受けられなくなったため、厳密一貫性を保った状態から順序一貫性を保った状態へと遷移する。本実施形態においては情報システムが厳密一貫性を必要とするシステムであるため、以降リモートサイトのホストコンピュータ１２０からディスク１３１内のデータを参照する処理はエラーとなる。
【００４１】
ジャーナルストレージ１４０は、メインストレージ１１０と同期して更新データをディスク１４１に書き込む。メインストレージ１１０からの同期コピー先が複製ストレージ１３０のディスク１３１からジャーナルストレージ１４０のディスク１４１へ切り替わると、ジャーナルストレージ１４０は複製ストレージ１３０との通信を確立する。接続後、ジャーナルストレージ１４０は、ディスク１４１に保存されている更新データを複製ストレージ１３０のディスク１３１へ準同期コピーする。更新順序が維持されるため、メインストレージ１１０と複製ストレージ１３０との順序一貫性が保たれる。
【００４２】
この状態で、図５に示すようにメインサイトが被災した場合について説明する。
この場合、ジャーナルストレージ１４０は、ディスク１４１に存在する更新データの複製ストレージ１３０のディスク１３１への準同期コピーを継続する。ディスク１４１に存在する更新データを全てディスク１３１に準同期コピーした後、図６に示すように、ジャーナルストレージ１４０は差分反映完了を複製ストレージ１３０に通知する。複製ストレージ１３０は、差分反映完了の通知を受け取った時点で全データが最新となっている。このとき、複製ストレージ１３０はメインストレージ１１０との厳密一貫性が保たれた状態であり、リモートサイトのホストコンピュータ１２０からディスク１３１内のデータを参照する処理が可能である。
【００４３】
一般に、ストレージのデータが最新になった後は、ジャーナルによるロールバックなどを行い、ＯＳ（Operating System）や上位のアプリケーションから論理的に整合性のあるデータになるように修復が行われる。本実施形態においても、公知のロールバックを行うものとする。なお、順序一貫性が保たれた状態でなければジャーナルによる修復は行えないが、上記の手順においては常に順序一貫性が保たれているため、ジャーナルによる修復が可能である。
【００４４】
次に、図４に示すように通信障害が発生した後、図７に示すようにメインサイトが被災せずに通信障害から復旧した場合について説明する。メインストレージ１１０は定期的に複製ストレージ１３０に対する通信を試み、通信が成功した時点で通信障害が解消されたことを認識する。メインストレージ１３０は、複製ストレージ１３０との間の通信が復旧したことを、通信復旧通知を送信することによってジャーナルストレージ１４０に通知する。メインストレージ１１０は、通信復旧後もジャーナルストレージ１４０への更新データの送信を継続する。
【００４５】
ジャーナルストレージ１４０は、通信復旧通知を受け取った後、ディスク１４１に存在する更新データが全て複製ストレージ１３０のディスク１３１に反映され、ディスク１４１に更新データが存在しなくなった時点で、図８に示すようにメインストレージ１１０及び複製ストレージ１３０に差分反映完了を通知する。ジャーナルストレージ１４０は、差分反映完了を通知するまでは、ディスク１１１からの同期コピーを受け付け、ディスク１３１への準同期コピーを継続する。
【００４６】
差分反映完了通知を受け取ったメインストレージ１１０は、図９に示すように、同期コピー先を複製ストレージ１３０のディスク１３１に切り替える。以降は、ジャーナルストレージ１４０は使用せずにメインストレージ１１０と複製ストレージ１３０との間で通信を行う。
【００４７】
同様に、差分反映完了通知を受け取った複製ストレージ１３０は、ジャーナルストレージ１４０のディスク１４１からの準同期コピーに替わり、メインストレージ１１０のディスク１１１からの同期コピーを処理する。複製ストレージ１３０は、ディスク１１１からの同期コピーを受け付ける時点でメインストレージ１１０との厳密一貫性が保たれた状態となる。したがって、これ以降は、リモートサイトのホストコンピュータ１２０からディスク１３１内のデータを参照する処理が可能である。
【００４８】
次に、ジャーナルストレージ１４０に空き容量が無くなった場合の動作について説明する。図１０に示すようにジャーナルストレージ１４０に空き容量が無くなると、メインストレージ１１０のディスク１１１からジャーナルストレージ１４０のディスク１４１への同期コピーができなくなるため、メインストレージ１１０は更新データをバッファ１１２に格納する。ジャーナルストレージ１４０のディスク１４１に空きができたら、図１１に示すように、メインストレージ１１０はバッファ１１２に格納した更新データを準同期コピーによってジャーナルストレージ１４０のディスク１４１へ送信する。
メインストレージ１１０のバッファ１１２を使用しているため、この状態でメインサイトが被災すると更新データが消失するが、複製ストレージ１３０又はジャーナルストレージ１４０にコピーしたデータは、少なくとも順序一貫性が保たれているため、残ったデータを使用して情報システムを復旧することができる。
【００４９】
バッファ１１２に空き容量が無くなった場合、メインストレージ１１０は、ディスク１１１上の更新箇所をビットマップ１１３で管理する方法に切り替える。メインストレージ１１０は、バッファ１１２に空き容量が無くなったことを複製ストレージ１３０に通知する。そして、バッファ１１２に格納した更新データが準同期コピーでジャーナルストレージ１４０へ送信され、ジャーナルストレージ１４０から複製ストレージ１３０への更新データの反映が完了したら、複製ストレージ１３０は、ビットマップ１１３で管理された更新箇所をディスク１３１に反映させる。
【００５０】
更新箇所をビットマップで管理する方法は公知の技術を適用可能である。ビットマップ１１３は更新順序を保持しないため、ビットマップ１１３で管理された更新箇所を複製ストレージ１３０のディスク１３１に反映させる際には、更新順序とは無関係の非同期コピーとなり、一貫性（consistency）は保たれない。このため、ビットマップで管理された更新箇所を複製ストレージ１３０に反映させる場合は、全更新箇所の反映が完了するまで複製ストレージ１３０は使用できない。
【００５１】
次に、ネットワークの二重障害が発生した場合の動作について説明する。図１２に示すように、メインサイトとジャーナルサイトとの間のネットワーク１５２及びリモートサイトとジャーナルサイトとの間のネットワーク１５３に通信障害が発生した場合は、メインサイトとリモートサイトとの間のネットワーク１５１が使用できるため、通常時と同様にメインストレージ１１０から複製ストレージ１３０へ同期コピーを行う。
【００５２】
図１３に示すように、メインサイトとリモートサイトとの間のネットワーク１５１及びジャーナルサイトとリモートサイトとの間のネットワーク１５３に通信障害が発生した場合、メインストレージ１１０は更新データをジャーナルストレージ１４０に同期コピーする。ジャーナルストレージ１４０は、更新データをディスク１４１に保持しておき、保持している更新データをネットワーク１５３が復旧した後で複製ストレージ１３０に非同期コピーする。
【００５３】
メインサイトとリモートサイトとの間のネットワーク１５１及びメインサイトとジャーナルサイトとの間のネットワーク１５２に通信障害が発生した場合、メインストレージ１１０は更新データを送信できないため、図１４に示すようにジャーナルストレージ１４０に空き容量が無くなった場合と同様の動作（更新データをバッファ１１２に保持する動作）を行う。
【００５４】
本実施形態においては、メインサイトとリモートサイトとにネットワークを介して接続され、ストレージを備えたジャーナルサイトを第３のサイトとしてメインサイトとリモートサイトとの間でデータを送信している情報システムに設けている。そして、メインサイトとリモートサイトとの間で通信障害が発生した場合に、メインサイトのストレージはリモートサイトに送信していた更新データをジャーナルサイトのストレージに同期コピーするように切り替える。
ジャーナルサイトに更新データを格納することにより、メインサイトとリモートサイトとの間の通信障害発生中にメインサイトが被災しても、データが消失することはない。
ジャーナルサイトに存在する更新データをリモートサイトに反映させることにより、データの復旧が完了させ、リモートサイトで業務を継続できる。
【００５５】
また、リモートサイトを複数設けたり、メインサイトとリモートサイトとの伝送経路を冗長化する必要がないため、導入にかかる初期費用や運用にかかるコストを低減できる。
【００５６】
このように、本実施形態に係る情報システムは、リモートサイトとの通信障害発生中にメインサイトが被災してもデータが消失することがなく、低コストで導入可能である。
【００５７】
〔第２の実施形態〕
本発明を好適に実施した第２の実施形態について説明する。本実施形態に係る情報システムは、第１の実施形態とほぼ同様である。図１５に本実施形態に係る情報システムの詳細な構成を示す。本実施形態に係る情報システムは、複製ストレージ１３０がバッファ１３２をさらに有する点で第１の実施形態と相違する。
【００５８】
本実施形態に係る情報システムのリカバリ動作について説明する。
図１６、図１７に示すように、本実施形態においては、メインサイトとリモートサイトとの通信が復旧した直後に、メインストレージ１１０からジャーナルストレージ１４０へ通信復旧を通知し、メインストレージ１１０内の更新データの同期コピー先をジャーナルストレージ１４０から複製ストレージ１３０へ切り替える。
【００５９】
複製ストレージ１３０は、ジャーナルストレージ１４０及びメインストレージ１１０の両方からデータを受け取るが、ジャーナルストレージ１４０から受け取る更新データを先にディスク１３１に反映させ、メインストレージ１１０から受け取るデータはバッファ１３２に蓄えておく。例えば、図１６に示す状態からさらにメインストレージ１１０に「７」というデータが書き込まれた時点で通信障害が復旧した場合には、図１７に示すように、ジャーナルストレージ１４０内の「４」のデータと、メインストレージ内の「７」というデータとが複製ストレージ１３０に送られるが、複製ストレージ１３０は、ジャーナルストレージ１４０から受信した「４」のデータをディスク１３１に反映させ、メインストレージ１１０から受信した「７」のデータはバッファ１３２に蓄える。
【００６０】
ジャーナルストレージ１４０は、メインストレージ１１０からの同期コピーが終了したことを、通信復旧が通知されることによって認識する。ジャーナルストレージ１４０は、ディスク１４１にある更新データが全て複製ストレージ１３０のディスク１３１に反映され、ジャーナルストレージ１４０に更新データが存在しなくなった時点で、図１８に示すように、複製ストレージ１３０に差分反映完了を通知する。
【００６１】
複製ストレージ１３０は、差分反映完了の通知を受け取った後、バッファ１３２に存在する更新データをディスク１３１に反映させる。全てのデータを反映し終わったら、図１９に示すように、メインストレージ１１０からの同期コピーは複製ストレージ１３０のディスク１３１に直接反映させる。
【００６２】
本実施形態においては、メインサイトとリモートサイトとの通信復旧を契機として、更新データの送信先をリモートサイトに切り替える。したがって、更新データがジャーナルサイト及びメインサイトの両方から並行してリモートサイトへ送信されるため、更新データをリモートサイトに反映させるのに要する時間を短縮できる。
【００６３】
〔第３の実施形態〕
本発明を好適に実施した第３の実施形態について説明する。
図２０に本実施形態に係る情報システムの構成を示す。本実施形態に係る情報システムは、メインストレージ２１０と、メインストレージ２１０のデータが更新された際に、更新データのデータがメインストレージ２１０から同期コピーされる複製ストレージ２３０とを備えた情報システムであって、メインストレージ２１０にネットワーク２５２を介して接続されたジャーナルストレージ２４０を有し、メインストレージ２１０と複製ストレージ２３０との間のネットワーク２５１で通信障害が発生した場合には、更新データをジャーナルストレージ２４０へ同期コピーし、ネットワーク２５１の通信障害が解消された後に、ジャーナルストレージ２４０に格納した更新データを、メインストレージ２１０を経由して複製ストレージ２３０へ準同期コピーし、メインストレージ２１０からの更新データの同期コピー先を複製ストレージ２３０に戻し、ネットワーク１５１で通信障害が発生している間にメインストレージ２１０が破損した場合は、メインストレージ２１０の修復後に複製ストレージ２３０からデータを書き戻し、その後、ジャーナルストレージ２４０に格納した更新データをメインストレージ２１０へ準同期コピーする。
【００６４】
図２１に、本実施形態に係る情報システムのより詳細な構成を示す。
本実施形態に係る情報システムは、メインサイト、リモートサイト及びジャーナルサイトの三つのサイトを備える。
【００６５】
メインサイトには、プログラム制御によって動作するホストコンピュータ２００及びメインストレージ２１０が設置されている。
ホストコンピュータ２００は、ディスクアクセス部２０１を備える。ディスクアクセス部２０１は、メインストレージ２１０に対して情報の読み込み及び書き込みを行う。
メインストレージ２１０は、ディスク２１１、バッファ２１２、ビットマップ２１３、ストレージ制御部２１４及び通信部２１５を備える。ビットマップ２１３は、メインストレージ２１０と複製ストレージ２３０との間で一貫性が保てなくなった後でメインストレージ２１０上で更新された領域を表している。ストレージ制御部２１４は、メインストレージ２１０の各部の動作を制御する。通信部２１５は、リモートサイトに設けられている複製ストレージ２３０やジャーナルサイトに設けられているジャーナルストレージ２４０との通信を行う。
【００６６】
リモートサイトには、複製ストレージ２３０が設置されている。
複製ストレージ２３０は、ディスク２３１、バッファ２３２、ストレージ制御部２３４、及び通信部２３５を備える。ストレージ制御部２３４は、複製ストレージ２３０の各部の動作を制御する。通信部２３５は、メインサイトに設けられているメインストレージ２１０やジャーナルサイトに設けられているジャーナルストレージ２４０との通信を行う。
【００６７】
ジャーナルサイトには、ジャーナルストレージ２４０が設置されている。ジャーナルストレージ２４０は、ディスク２４１、通信部２４２及びストレージ制御部２４３を備える。ストレージ制御部２４３は、ジャーナルストレージ２４０の各部の動作を制御する。通信部２４２は、メインサイトに設けられているメインストレージ２１０やリモートサイトに設けられている複製ストレージ２３０との通信を行う。
【００６８】
メインサイトとリモートサイトとの間はネットワーク２５１、メインサイトとジャーナルサイトとの間は、ネットワーク２５２でそれぞれ接続されている。なお、本実施形態においては、ジャーナルサイトとリモートサイトとの間は接続されていない。
【００６９】
本実施形態に係る情報システムのリカバリ動作について説明する。
【００７０】
通常時は、更新データはメインストレージ２１０から複製ストレージ２３０に同期コピーされる。メインストレージ２１０と複製ストレージ２３０との間の通信に障害が発生したことをメインストレージ２１０が検出した場合、図２２に示すように、メインストレージ２１０は同期コピー先をジャーナルストレージ２４０に切り替える。
【００７１】
この状態でメインサイトが被災した場合は、ますメインサイトを復旧させ、図２３に示すように複製ストレージ２３０からメインストレージ２１０に全データをコピーする。この時のコピーは、非同期かつ更新順序を保証せずに行われるため、「非同期コピー」に相当する。その後、図２４に示すように、ジャーナルストレージ２４０から更新データをメインストレージ２１０に準同期コピーするとともに、メインストレージ２１０から複製ストレージ２３０へも準同期コピーする。ジャーナルストレージ２４０の全ての更新データをメインストレージ２１０に反映させたら、ジャーナルストレージ２４０は差分反映完了をメインストレージ２１０に通知する。これを受けて、メインストレージ２１０は複製ストレージ２３０に差分反映完了を通知する。
複製ストレージ２３０は、図２５に示すように、全データを反映し終わったらメインストレージ２１０へ同期完了を通知する。
以降、ホストコンピュータ２００からメインストレージ２１０が使用可能となり、図２６に示すように、メインストレージ２１０への更新は複製ストレージ２３０に同期コピーされる。
【００７２】
次に、メインサイトが被災せずに、図２２に示す通信障害が復旧した場合について説明する。
メインストレージ２１０は定期的に複製ストレージ２３０に通信を試み、通信障害が解消されたことを通信が成功することによって認識する。メインストレージ２１０は、メインサイトとリモートサイトとの間の通信障害が解消されたことを、通信復旧通知を送ることによってジャーナルストレージ２４０に通知する。メインストレージ２１０は、通信が復旧した後も、ジャーナルストレージ２４０への同期コピーを継続する。
【００７３】
図２７に示すように、ジャーナルストレージ２４０は、通信復旧通知を受け取った後、ディスク２４４に存在する更新データをメインストレージ２１０を経由して、複製ストレージ２３０へ準同期コピーする。ジャーナルストレージ２４０に更新データが無くなった時点で、図２８に示すように、ジャーナルストレージ２４０はメインストレージ２１０に差分反映完了を通知する。これを受けて、メインストレージ２１０は複製ストレージ２３０へ差分反映完了を通知する。
【００７４】
ジャーナルストレージ２４０は、差分反映完了をメインストレージ２１０に通知するまではメインストレージ２１０からの同期コピーを受け続ける。メインストレージ２１０は、差分反映完了を通知された後は、ジャーナルストレージ２４０に更新データを送らない。
【００７５】
複製ストレージ２３０は、全データを反映し終わったら、図２９に示すように、同期完了をメインストレージ２１０に通知する。同期完了を通知されたメインストレージ２１０は、同期コピー先を複製ストレージ２３０に切り替える。以降は、ジャーナルストレージ２４０は使用せず、図３０に示すように、メインストレージ２１０と複製ストレージ２３０との間で通信を行い、更新データをメインストレージのディスク２１１から複製ストレージ２３０のディスク２３１へ同期コピーする。
【００７６】
なお、図３１に示すように第２の実施形態と同様に複製ストレージ２３０がバッファ２３２を備えた構成とし、メインストレージ２１０と複製ストレージ２３０との間の通信が復旧した時点で、メインストレージ２１０からの同期コピー先を複製ストレージ２３０に変更し、図３２に示すように、ジャーナルストレージ２４０からの準同期コピーが完了するまでの間は更新データをバッファ２３２に蓄積しておくようにしても良い。この場合には、図３３に示すように、ジャーナルストレージ２４０からの準同期コピーが完了した後で図３４に示すようにディスク２３１に反映させても良い。
【００７７】
ジャーナルストレージに空き容量が無くなった場合の動作は、第１の実施形態と同様であり、メインストレージ２１０は更新データをバッファ２１２に格納する。ジャーナルストレージ２４０に空きができたら、メインストレージ２１０はバッファ２１２に格納した更新データを準同期コピーによってジャーナルストレージ２４０へ送信する。
【００７８】
さらに、バッファ２１２に空き容量が無くなった場合の動作は第１の実施形態と同様であり、メインストレージ２１０は、ディスク２１１上の更新箇所をビットマップ２１３で管理する方法に切り替える。
【００７９】
本実施形態に係る情報システムは、リモートサイトとジャーナルサイトとの間の通信経路を省略した構成となっているため、システムを構築する際のコストをさらに低減できる。
【００８０】
なお、上記各実施形態は本発明の好適な実施の一例であり、本発明はこれらに限定されることはない。
【００８１】
例えば、上記各実施形態においては、メインサイト及びリモートサイトが単独の構成を例としたが、ジャーナルサイトを集約し、複数のサイトがジャーナルサイトを共用する構成とすることも可能である。
具体的には、図３５に示すように、ジャーナルサイトをデータセンタに集約し、第１、第２の実施形態に係る複数のメインサイトとそのリモートサイトとをデータセンタと接続する。データセンタはジャーナルストレージのプールを用意し、各サイトに動的に割り当てる。各サイトの地理的又はネットワーク的な位置について重複しないように考慮することで、通信障害が同時に発生するサイト数を低減でき、必要なジャーナルストレージプールの量を低減できる。すなわち、各サイトが個別にジャーナルサイトを備える場合と比較して、コストの削減とリソースの有効利用とが可能となる。図３６に示すように、ジャーナルサイトをデータセンタに集約し、第３の実施形態に係る複数のメインサイトをデータセンタと接続しても同様の効果が得られる。
また、図３７に示すように、複数の複製ストレージをデータセンタに集約しておくことにより、複製ストレージ及びジャーナルストレージを用いたディザスタリカバリをアウトソーシングサービスとして実現できる。すなわち、企業等は、リモートサイト及びジャーナルサイトの開設や、複製ストレージ及びジャーナルストレージの保守・運営を専門の業者に委託することが可能となり、メインサイトの開設及び運営のみを行うだけで良くなるため、ディザスタリカバリに対応した情報システムの導入が容易になる。
このように、本発明は様々な変形が可能である。
【符号の説明】
【００８２】
１００、１２０、２００ ホストコンピュータ
１０１、１２１、２０１ ディスクアクセス部
１１０、２１０ メインストレージ
１１１、１３１、１４１、２１１、２３１、２４１ ディスク
１１２、１３２、２１２ バッファ
１１３ ビットマップ
１１４、１３４、１４３、２１４、２３４、２４３ ストレージ制御部
１１５、１３５、１４２、２１５、２３５、２４２ 通信部
１３０、２３０ 複製ストレージ
１４０、２４０ ジャーナルストレージ
１５１、１５２、１５３、２５１、２５２ ネットワーク
【技術分野】
【０００１】
本発明は、同時に被災しないように離れて設けられた複数のストレージ装置を有する情報システム及びディザスタリカバリ方法に関する。
【背景技術】
【０００２】
昨今の企業や公共団体などは、市民生活上で重要な役割を担っており、それらが運用する情報システムの役割はますます重要になっている。このため、社会的な責任、危機管理、尊法などの観点からも、災害が発生するなどしてシステム障害に陥っても業務を継続できるか、又は容易に復旧できるようにするという情報システムのリカバリ対策、いわゆるディザスタリカバリ（disaster recovery）が重要となってきている。
【０００３】
ディザスタリカバリにおける災害とは、サイトに設置した装置に全体的に被害を与える現象全般を意味し、特定の現象を表すものではない。すなわち、建物単体での火災のような小規模なものから、風水害や地震などの大規模なものも含まれる。また、不正侵入やテロなどの人為的な原因のものも含まれる。なお、本明細書において「サイト」とは、コンピュータやストレージ装置などのハードウェアが設置される場所を意味する。また、サイトに設置した装置が災害によって全体的に破損することを「被災」と表記する。
【０００４】
ディザスタリカバリのために、大規模な災害が発生しても同時に影響を受けないことが想定できる程度メインサイトから離してリモートサイトを設け、メインサイト内のデータをリモートサイトに複製（バックアップ）しておき、メインサイトが被災しても、リモートサイトで業務を継続できるようにする手法がある。この手法に関連する技術としては、特許文献１に開示される「ホストシステム間のバックアップシステム」がある。
【０００５】
メインサイトの情報をリモートサイトに反映する方法として、ディスクストレージのレプリケーションが知られている。レプリケーションは、メインサイトのディスクの複製（replica）をリモートサイトに作成する方法である。
【０００６】
以下、メインサイトに設置されたストレージをメインストレージ、リモートサイトに設置されたストレージを複製ストレージと表記する。
【０００７】
特許文献１に開示される発明のようにメインサイトとリモートサイトとを通信回線で結んだ情報システムにおいては、図３７に示すように、レプリケーションの際には、メインサイトのデータをリモートサイトに送り、リモートサイト内の複製ストレージに反映する。
なお、メインサイトのストレージのデータを更新するのと同期して、複製ストレージにもデータを反映させる情報の伝達を「同期コピー」と表記する。また、メインストレージの更新と同期していないが、メインストレージと同じ順序で複製ストレージにデータを反映させる情報の伝達を「準同期コピー」と表記する。さらに、メインストレージから複製ストレージへ、非同期かつ更新順序を保証せずに行う情報の伝達を「非同期コピー」と表記する。
【０００８】
メインストレージから複製ストレージに同期コピーを行っている場合、情報の厳密一貫性（strict consistency）が保たれており、メインストレージ内の全てのデータが複製ストレージにも存在するため、メインサイトが被災してもデータの消失は無い。ただし、これはメインサイトとリモートサイトとの間に通信障害が発生しないことが前提である。
【０００９】
なお、厳密一貫性とは、データ項目に対するどのような読み取り操作も、最も新しい書き込み結果に対応した値を返却することである。
【００１０】
図３７に示した情報システムは、メインサイトとリモートサイトとの間に通信障害が発生すると、同期コピーを実行できないため、図３８に示すように更新データをメインストレージのバッファに蓄える。メインストレージは、通信障害が復旧した後、バッファの内容を複製ストレージに準同期コピーする。バッファ内の全てのデータが複製ストレージに反映された時点で、情報システムは同期コピーを行える状態に復旧する。
【００１１】
しかし、通信障害が発生している間はリモートサイトにデータが送信されていないため、図３９に示すように通信障害発生中でメインストレージにのみ更新データが存在する状態でメインサイトが被災すると、更新データが消失してしまう。
【００１２】
この問題への対処に関連する技術として、特許文献２に開示される「データ複製システム、中継装置、データ送受信方法およびストレージ内のデータを複製するためのプログラム」がある。特許文献１には、ストレージ間の伝送経路に冗長性（redundancy）を持たせる構成が開示されている。この手法によれば、伝送経路のいずれかで通信障害が発生したとしても、別の通信経路を利用して更新データを送信できるため、全ての伝送経路に通信障害が発生しない限り、メインサイトが被災してもデータが消失することはない。
【００１３】
また、特許文献３に開示される発明のように、リモートサイトを複数にし、冗長性を維持するという手法もある。この手法によれば、一つのリモートサイトとの間で通信障害が発生したとしても、メインサイトから残りのリモートサイトへ更新データを送信できるため、全てのリモートサイトとの間に通信障害が発生しない限り、メインサイトが被災してもデータが消失することはない。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２０００−７６１５１号公報
【特許文献２】特開２００４−８６７２１号公報（図８）
【特許文献３】特開２００４−２２７５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかし、大規模な災害が発生しても同時に影響を受けないことが想定できる程度離れた位置にあるサイト間の伝送経路に冗長性を持たせることは容易ではなく、ケーブルの敷設等に多大な費用や時間が必要となる。
【００１６】
また、リモートサイトを複数持つことは、多大な費用が必要となり、多くのシステムにとって現実的ではない。すなわち、リモートサイトを開設する場所や機材の用意や各リモートサイトとメインサイトとを接続するケーブルを敷設する作業などの初期投資のみならず、それらを維持管理する費用が必要となってしまう。さらに、複数のリモートサイトを開設すると情報システムの運用が複雑になってしまう。
【００１７】
したがって、特許文献２や３に開示される発明は、低コストでのディザスタリカバリの実現が困難である。
【００１８】
このように、リモートサイトとの通信障害発生中にメインサイトが被災してもデータが消失することがなく、低コストで導入可能な情報システム及びディザスタリカバリ方法は提供されていなかった。
【００１９】
本発明は係る問題に鑑みてなされたものであり、リモートサイトとの通信障害発生中にメインサイトが被災してもデータが消失することがなく、低コストで導入可能な情報システム及びディザスタリカバリ方法を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記目的を達成するため、本発明は、第１の態様として、第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムであって、第１及び第２のストレージ装置の双方に接続されたジャーナルストレージ装置を有し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、更新データをジャーナルストレージ装置へ同期コピーし、ジャーナルストレージ装置に格納した更新データを、第２のストレージ装置へ準同期コピーし、第１のストレージ装置と第２のストレージ装置との間の通信障害が解消された後に、第１のストレージ装置からの更新データの同期コピー先を第２のストレージ装置に戻すことを特徴とする情報システムを提供するものである。
【００２１】
また、上記目的を達成するため、本発明は、第２の態様として、第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムであって、第１のストレージ装置に接続されたジャーナルストレージ装置を有し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、更新データをジャーナルストレージ装置へ同期コピーし、第１のストレージ装置と第２のストレージ装置との間の通信障害が解消された後に、ジャーナルストレージ装置に格納した更新データを、第１のストレージ装置を経由して第２のストレージ装置へ準同期コピーし、第１のストレージ装置からの更新データの同期コピー先を第２のストレージ装置に戻し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生している間に第１のストレージ装置が破損した場合は、第１のストレージ装置の修復後に第２のストレージ装置からデータを書き戻し、その後、ジャーナルストレージ装置に格納した更新データを第１のストレージ装置へ準同期コピーすることを特徴とする情報システムを提供するものである。
【００２２】
また、上記目的を達成するため、本発明は、第３の態様として、第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムにおけるディザスタリカバリ方法であって、第１及び第２のストレージ装置の双方にジャーナルストレージ装置を接続し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、更新データをジャーナルストレージ装置へ同期コピーし、ジャーナルストレージ装置に格納した更新データを、第２のストレージ装置へ準同期コピーし、第１のストレージ装置と第２のストレージ装置との間の通信障害が解消された後に、第１のストレージ装置からの更新データの同期コピー先を第２のストレージ装置に戻すことを特徴とするディザスタリカバリ方法を提供するものである。
【００２３】
また、上記目的を達成するため、本発明は、第４の態様として、第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムにおけるディザスタリカバリ方法であって、第１のストレージ装置にジャーナルストレージ装置を接続し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、更新データをジャーナルストレージ装置へ同期コピーし、第１のストレージ装置と第２のストレージ装置との間の通信障害が解消された後に、ジャーナルストレージ装置に格納した更新データを、第１のストレージ装置を経由して第２のストレージ装置へ準同期コピーし、第１のストレージ装置からの更新データの同期コピー先を第２のストレージ装置に戻し、第１のストレージ装置と第２のストレージ装置との間で通信障害が発生している間に第１のストレージ装置が破損した場合は、第１のストレージ装置の修復後に第２のストレージ装置からデータを書き戻し、その後、ジャーナルストレージ装置に格納した更新データを第１のストレージ装置へ準同期コピーすることを特徴とするディザスタリカバリ方法を提供するものである。
【発明の効果】
【００２４】
本発明によれば、リモートサイトとの通信障害発生中にメインサイトが被災してもデータが消失することがなく、低コストで導入可能な情報システム及びディザスタリカバリ方法を提供できる。
【図面の簡単な説明】
【００２５】
【図１】本発明を好適に実施した第１の実施形態に係る情報システムの構成を示す図である。
【図２】第１の実施形態に係る情報システムの詳細な構成を示す図である。
【図３】メインストレージのディスクから複製ストレージのディスクに同期コピーを行う通常状態を示す図である。
【図４】メインサイトとリモートサイトとの間で通信障害が発生した状態を示す図である。
【図５】メインサイトとリモートサイトとの間で通信障害が発生中にメインサイトが被災した状態を示す図である。
【図６】ジャーナルストレージが複製ストレージに差分反映完了を通知した状態を示す図である。
【図７】メインサイトとリモートサイトとの間で通信障害が発生した後、メインサイトが被災せずに通信障害が解消した状態を示す図である。
【図８】ジャーナルストレージがメインストレージ及び複製ストレージに差分反映完了を通知した状態を示す図である。
【図９】メインストレージが、同期コピー先を複製ストレージに切り替えた状態を示す図である。
【図１０】ジャーナルストレージに空き容量が無くなった状態を示す図である。
【図１１】ジャーナルストレージに空きができたのち、バッファに格納した更新データがジャーナルストレージへ準同期コピーされる状態を示す図である。
【図１２】メインサイトとジャーナルサイトとの間及びリモートサイトとジャーナルサイトとの間に通信障害が発生した状態を示す図である。
【図１３】メインサイトとリモートサイトとの間及びジャーナルサイトとリモートサイトとの間に通信障害が発生した状態を示す図である。
【図１４】メインサイトとリモートサイトとの間及びメインサイトとジャーナルサイトとの間に通信障害が発生した状態を示す図である。
【図１５】本発明を好適に実施した第２の実施形態に係る情報システムの詳細な構成を示す図である。
【図１６】メインサイトとリモートサイトとの間に通信障害が発生した状態を示す図である。
【図１７】メインサイトとリモートサイトとの間の通信障害が解消した状態を示す図である。
【図１８】ジャーナルストレージが複製ストレージに差分反映完了を通知した状態を示す図である。
【図１９】メインストレージから複製ストレージへの同期コピーが再開された状態を示す図である。
【図２０】本発明を好適に実施した第３の実施形態に係る情報システムの構成を示す図である。
【図２１】第３の実施形態に係る情報システムの詳細な構成を示す図である。
【図２２】メインストレージが同期コピー先をジャーナルストレージに切り替えた状態を示す図である。
【図２３】複製ストレージ内のデータをメインストレージに書き戻した状態を示す図である。
【図２４】ジャーナルストレージから更新データをメインストレージに準同期コピーするとともに、メインストレージから複製ストレージへも準同期コピーする状態を示す図である。
【図２５】複製ストレージがメインストレージへ差分反映完了を通知した状態を示す図である。
【図２６】メインストレージへの更新データが複製ストレージに同期コピーされる状態を示す図である。
【図２７】ジャーナルストレージが更新データをメインストレージを経由して、複製ストレージへ準同期コピーする状態を示す図である。
【図２８】ジャーナルストレージがメインストレージに差分反映完了を通知した状態を示す図である。
【図２９】同期が完了したことを複製ストレージがメインストレージに通知した状態を示す図である。
【図３０】メインストレージから複製ストレージへの同期コピーが再開された状態を示す図である。
【図３１】複製ストレージにバッファを設けた構成の情報システムを示す図である。
【図３２】ジャーナルストレージからの準同期コピーが完了するまでの間は更新データをバッファに蓄積する状態を示す図である。
【図３３】ジャーナルストレージから複製ストレージへの更新データの準同期コピーが完了した状態を示す図である。
【図３４】複製ストレージのバッファ内の更新データが反映された状態を示す図である。
【図３５】ジャーナルサイトをデータセンタに集約し、複数のメインサイトとそのリモートサイトとをデータセンタと接続した状態を示す図である。
【図３６】ジャーナルサイトをデータセンタに集約し、複数のメインサイトとそのリモートサイトとをデータセンタと接続した状態を示す図である。
【図３７】メインサイトの更新データをリモートサイトに同期コピーする状態を示す図である。
【図３８】メインサイトとリモートサイトとの間に通信障害が発生した状態を示す図である。
【図３９】メインサイトとリモートサイトとの間に通信障害が発生中にメインサイトが被災した状態を示す図である。
【発明を実施するための形態】
【００２６】
〔第１の実施形態〕
本発明を好適に実施した第１の実施形態について説明する。
図１に、本実施形態に係る情報システムの構成を示す。本実施形態に係る情報システムは、メインストレージ１１０と、メインストレージ１１０のデータが更新された際に、更新データがメインストレージ１１０から同期コピーされる複製ストレージ１３０とを備えた情報システムであって、メインストレージ１１０及び複製ストレージ１３０の双方にネットワーク１５１、１５３を介して接続されたジャーナルストレージ１４０を有し、メインストレージ１１０と複製ストレージ１３０との間のネットワーク１５１に通信障害が発生した場合には、更新データをジャーナルストレージ１４０へ同期コピーし、ジャーナルストレージ１４０に格納した更新データを、複製ストレージ１３０へ準同期コピーし、ネットワーク１５１の通信障害が解消された後に、メインストレージ１１０からの更新データの同期コピー先を複製ストレージ１３０に戻す。
【００２７】
図２に、本実施形態に係る情報システムのより詳細な構成を示す。
本実施形態に係る情報システムは、メインサイト、リモートサイト及びジャーナルサイトの三つのサイトを備える。各サイトは、大規模な災害が発生しても同時に被災しないように離れて設けられている。
【００２８】
メインサイトには、プログラム制御によって動作するホストコンピュータ１００及びメインストレージ１１０が設置されている。
【００２９】
ホストコンピュータ１００は、ディスクアクセス部１０１を備える。ディスクアクセス部１０１は、メインストレージ１１０に対して情報の読み込み及び書き込みを行う。
【００３０】
メインストレージ１１０は、ディスク１１１、バッファ１１２、ビットマップ１１３、ストレージ制御部１１４及び通信部１１５を備える。ビットマップ１１３は、メインストレージ１１０と複製ストレージ１３０との間で一貫性が保てなくなった後でメインストレージ１１０上で更新された領域を表している。ストレージ制御部１１４は、メインストレージ１１０の各部の動作を制御する。通信部１１５は、リモートサイトに設けられている複製ストレージ１３０やジャーナルサイトに設けられているジャーナルストレージ１４０との通信を行う。また、リモートサイトとの間のネットワーク１５１やジャーナルサイトとの間のネットワーク１５２に通信障害が発生したことを検出する。
【００３１】
リモートサイトには、プログラム制御によって動作するホストコンピュータ１２０及び複製ストレージ１３０が設置されている。
【００３２】
ホストコンピュータ１２０は、ディスクアクセス部１２１を備える。ディスクアクセス部１２１は、複製ストレージ１３０に対して情報の読み込み及び書き込みを行う。
【００３３】
複製ストレージ１３０は、ディスク１３１、ストレージ制御部１３４、及び通信部１３５を備える。ストレージ制御部１３４は、複製ストレージ１３０の各部の動作を制御する。通信部１３５は、メインサイトに設けられているメインストレージ１１０やジャーナルサイトに設けられているジャーナルストレージ１４０との通信を行う。また、メインサイトとの間のネットワーク１５２やジャーナルサイトとの間のネットワーク１５３に通信障害が発生したことを検出する。なお、複製ストレージ１３０は、メインストレージ１１０との間で厳密一貫性が保たれている状態、メインストレージ１１０との間で順序一貫性（sequential consistency）が保たれている状態、及び、メインストレージ１１０との間に一貫性が保たれていない状態のいずれかの状態をとる。
なお、順序一貫性とは、全てのプロセスによるストレージに対する読み書き操作は、どのプロセスからも同じ順序で観測できることである。順序一貫性は、操作が行われた時間については言及しない。ただし、個々のプロセスに閉じれば、そのプログラムに書かれた順序通りに観測できる。
【００３４】
ジャーナルサイトには、ジャーナルストレージ１４０が設置されている。ジャーナルストレージ１４０は、ディスク１４１、通信部１４２及びストレージ制御部１４３を備える。ストレージ制御部１４３は、ジャーナルストレージ１４０の各部の動作を制御する。通信部１４２は、メインサイトに設けられているメインストレージ１１０やリモートサイトに設けられている複製ストレージ１３０との通信を行う。また、メインサイトとの間のネットワーク１５２やリモートサイトとの間のネットワーク１５３に通信障害が発生したことを検出する。
【００３５】
各サイト間は、ネットワーク１５１〜１５３でそれぞれ接続されている。
【００３６】
次に、本実施形態に係る情報システムのリカバリ動作について説明する。なお、上記のように、メインストレージ１１０、複製ストレージ１３０及びジャーナルストレージ１４０の動作はそれぞれストレージ制御部１１４、１３４及び１４３によって制御され、ストレージ間の通信は通信部１１５、１３５及び１４２によって実現されるが、以下では説明の簡略化のため、単にストレージ装置が動作（コピーや通信など）を行うと表記する。
【００３７】
本実施形態において、情報システムは厳密一貫性を必要とするシステムであるとする。ただし、本発明を厳密一貫性を必要とするシステムに限定する主旨ではなく、順序一貫性を必要とするシステムとして構成することも可能である。
【００３８】
通常状態では、メインサイトとリモートサイトとの間でネットワーク１５１を介して通信し、図３に示すようにメインストレージ１１０のディスク１１１から複製ストレージ１３０のディスク１３１に同期コピーを行う。
【００３９】
図４に示すようにメインサイトとリモートサイトとの間で通信障害が発生した場合について説明する。メインストレージ１１０及び複製ストレージ１３０は、ハートビート通信などによって通信障害を検出する。通信障害が検出されると、メインストレージ１１０は、同期コピー先をジャーナルストレージ１４０のディスク１４１に変更し、リモートサイトへ送信できなかったデータを順にジャーナルストレージ１４０へ送信する。
【００４０】
複製ストレージ１３０は、メインストレージ１１０からの同期コピーを受けられなくなったため、厳密一貫性を保った状態から順序一貫性を保った状態へと遷移する。本実施形態においては情報システムが厳密一貫性を必要とするシステムであるため、以降リモートサイトのホストコンピュータ１２０からディスク１３１内のデータを参照する処理はエラーとなる。
【００４１】
ジャーナルストレージ１４０は、メインストレージ１１０と同期して更新データをディスク１４１に書き込む。メインストレージ１１０からの同期コピー先が複製ストレージ１３０のディスク１３１からジャーナルストレージ１４０のディスク１４１へ切り替わると、ジャーナルストレージ１４０は複製ストレージ１３０との通信を確立する。接続後、ジャーナルストレージ１４０は、ディスク１４１に保存されている更新データを複製ストレージ１３０のディスク１３１へ準同期コピーする。更新順序が維持されるため、メインストレージ１１０と複製ストレージ１３０との順序一貫性が保たれる。
【００４２】
この状態で、図５に示すようにメインサイトが被災した場合について説明する。
この場合、ジャーナルストレージ１４０は、ディスク１４１に存在する更新データの複製ストレージ１３０のディスク１３１への準同期コピーを継続する。ディスク１４１に存在する更新データを全てディスク１３１に準同期コピーした後、図６に示すように、ジャーナルストレージ１４０は差分反映完了を複製ストレージ１３０に通知する。複製ストレージ１３０は、差分反映完了の通知を受け取った時点で全データが最新となっている。このとき、複製ストレージ１３０はメインストレージ１１０との厳密一貫性が保たれた状態であり、リモートサイトのホストコンピュータ１２０からディスク１３１内のデータを参照する処理が可能である。
【００４３】
一般に、ストレージのデータが最新になった後は、ジャーナルによるロールバックなどを行い、ＯＳ（Operating System）や上位のアプリケーションから論理的に整合性のあるデータになるように修復が行われる。本実施形態においても、公知のロールバックを行うものとする。なお、順序一貫性が保たれた状態でなければジャーナルによる修復は行えないが、上記の手順においては常に順序一貫性が保たれているため、ジャーナルによる修復が可能である。
【００４４】
次に、図４に示すように通信障害が発生した後、図７に示すようにメインサイトが被災せずに通信障害から復旧した場合について説明する。メインストレージ１１０は定期的に複製ストレージ１３０に対する通信を試み、通信が成功した時点で通信障害が解消されたことを認識する。メインストレージ１３０は、複製ストレージ１３０との間の通信が復旧したことを、通信復旧通知を送信することによってジャーナルストレージ１４０に通知する。メインストレージ１１０は、通信復旧後もジャーナルストレージ１４０への更新データの送信を継続する。
【００４５】
ジャーナルストレージ１４０は、通信復旧通知を受け取った後、ディスク１４１に存在する更新データが全て複製ストレージ１３０のディスク１３１に反映され、ディスク１４１に更新データが存在しなくなった時点で、図８に示すようにメインストレージ１１０及び複製ストレージ１３０に差分反映完了を通知する。ジャーナルストレージ１４０は、差分反映完了を通知するまでは、ディスク１１１からの同期コピーを受け付け、ディスク１３１への準同期コピーを継続する。
【００４６】
差分反映完了通知を受け取ったメインストレージ１１０は、図９に示すように、同期コピー先を複製ストレージ１３０のディスク１３１に切り替える。以降は、ジャーナルストレージ１４０は使用せずにメインストレージ１１０と複製ストレージ１３０との間で通信を行う。
【００４７】
同様に、差分反映完了通知を受け取った複製ストレージ１３０は、ジャーナルストレージ１４０のディスク１４１からの準同期コピーに替わり、メインストレージ１１０のディスク１１１からの同期コピーを処理する。複製ストレージ１３０は、ディスク１１１からの同期コピーを受け付ける時点でメインストレージ１１０との厳密一貫性が保たれた状態となる。したがって、これ以降は、リモートサイトのホストコンピュータ１２０からディスク１３１内のデータを参照する処理が可能である。
【００４８】
次に、ジャーナルストレージ１４０に空き容量が無くなった場合の動作について説明する。図１０に示すようにジャーナルストレージ１４０に空き容量が無くなると、メインストレージ１１０のディスク１１１からジャーナルストレージ１４０のディスク１４１への同期コピーができなくなるため、メインストレージ１１０は更新データをバッファ１１２に格納する。ジャーナルストレージ１４０のディスク１４１に空きができたら、図１１に示すように、メインストレージ１１０はバッファ１１２に格納した更新データを準同期コピーによってジャーナルストレージ１４０のディスク１４１へ送信する。
メインストレージ１１０のバッファ１１２を使用しているため、この状態でメインサイトが被災すると更新データが消失するが、複製ストレージ１３０又はジャーナルストレージ１４０にコピーしたデータは、少なくとも順序一貫性が保たれているため、残ったデータを使用して情報システムを復旧することができる。
【００４９】
バッファ１１２に空き容量が無くなった場合、メインストレージ１１０は、ディスク１１１上の更新箇所をビットマップ１１３で管理する方法に切り替える。メインストレージ１１０は、バッファ１１２に空き容量が無くなったことを複製ストレージ１３０に通知する。そして、バッファ１１２に格納した更新データが準同期コピーでジャーナルストレージ１４０へ送信され、ジャーナルストレージ１４０から複製ストレージ１３０への更新データの反映が完了したら、複製ストレージ１３０は、ビットマップ１１３で管理された更新箇所をディスク１３１に反映させる。
【００５０】
更新箇所をビットマップで管理する方法は公知の技術を適用可能である。ビットマップ１１３は更新順序を保持しないため、ビットマップ１１３で管理された更新箇所を複製ストレージ１３０のディスク１３１に反映させる際には、更新順序とは無関係の非同期コピーとなり、一貫性（consistency）は保たれない。このため、ビットマップで管理された更新箇所を複製ストレージ１３０に反映させる場合は、全更新箇所の反映が完了するまで複製ストレージ１３０は使用できない。
【００５１】
次に、ネットワークの二重障害が発生した場合の動作について説明する。図１２に示すように、メインサイトとジャーナルサイトとの間のネットワーク１５２及びリモートサイトとジャーナルサイトとの間のネットワーク１５３に通信障害が発生した場合は、メインサイトとリモートサイトとの間のネットワーク１５１が使用できるため、通常時と同様にメインストレージ１１０から複製ストレージ１３０へ同期コピーを行う。
【００５２】
図１３に示すように、メインサイトとリモートサイトとの間のネットワーク１５１及びジャーナルサイトとリモートサイトとの間のネットワーク１５３に通信障害が発生した場合、メインストレージ１１０は更新データをジャーナルストレージ１４０に同期コピーする。ジャーナルストレージ１４０は、更新データをディスク１４１に保持しておき、保持している更新データをネットワーク１５３が復旧した後で複製ストレージ１３０に非同期コピーする。
【００５３】
メインサイトとリモートサイトとの間のネットワーク１５１及びメインサイトとジャーナルサイトとの間のネットワーク１５２に通信障害が発生した場合、メインストレージ１１０は更新データを送信できないため、図１４に示すようにジャーナルストレージ１４０に空き容量が無くなった場合と同様の動作（更新データをバッファ１１２に保持する動作）を行う。
【００５４】
本実施形態においては、メインサイトとリモートサイトとにネットワークを介して接続され、ストレージを備えたジャーナルサイトを第３のサイトとしてメインサイトとリモートサイトとの間でデータを送信している情報システムに設けている。そして、メインサイトとリモートサイトとの間で通信障害が発生した場合に、メインサイトのストレージはリモートサイトに送信していた更新データをジャーナルサイトのストレージに同期コピーするように切り替える。
ジャーナルサイトに更新データを格納することにより、メインサイトとリモートサイトとの間の通信障害発生中にメインサイトが被災しても、データが消失することはない。
ジャーナルサイトに存在する更新データをリモートサイトに反映させることにより、データの復旧が完了させ、リモートサイトで業務を継続できる。
【００５５】
また、リモートサイトを複数設けたり、メインサイトとリモートサイトとの伝送経路を冗長化する必要がないため、導入にかかる初期費用や運用にかかるコストを低減できる。
【００５６】
このように、本実施形態に係る情報システムは、リモートサイトとの通信障害発生中にメインサイトが被災してもデータが消失することがなく、低コストで導入可能である。
【００５７】
〔第２の実施形態〕
本発明を好適に実施した第２の実施形態について説明する。本実施形態に係る情報システムは、第１の実施形態とほぼ同様である。図１５に本実施形態に係る情報システムの詳細な構成を示す。本実施形態に係る情報システムは、複製ストレージ１３０がバッファ１３２をさらに有する点で第１の実施形態と相違する。
【００５８】
本実施形態に係る情報システムのリカバリ動作について説明する。
図１６、図１７に示すように、本実施形態においては、メインサイトとリモートサイトとの通信が復旧した直後に、メインストレージ１１０からジャーナルストレージ１４０へ通信復旧を通知し、メインストレージ１１０内の更新データの同期コピー先をジャーナルストレージ１４０から複製ストレージ１３０へ切り替える。
【００５９】
複製ストレージ１３０は、ジャーナルストレージ１４０及びメインストレージ１１０の両方からデータを受け取るが、ジャーナルストレージ１４０から受け取る更新データを先にディスク１３１に反映させ、メインストレージ１１０から受け取るデータはバッファ１３２に蓄えておく。例えば、図１６に示す状態からさらにメインストレージ１１０に「７」というデータが書き込まれた時点で通信障害が復旧した場合には、図１７に示すように、ジャーナルストレージ１４０内の「４」のデータと、メインストレージ内の「７」というデータとが複製ストレージ１３０に送られるが、複製ストレージ１３０は、ジャーナルストレージ１４０から受信した「４」のデータをディスク１３１に反映させ、メインストレージ１１０から受信した「７」のデータはバッファ１３２に蓄える。
【００６０】
ジャーナルストレージ１４０は、メインストレージ１１０からの同期コピーが終了したことを、通信復旧が通知されることによって認識する。ジャーナルストレージ１４０は、ディスク１４１にある更新データが全て複製ストレージ１３０のディスク１３１に反映され、ジャーナルストレージ１４０に更新データが存在しなくなった時点で、図１８に示すように、複製ストレージ１３０に差分反映完了を通知する。
【００６１】
複製ストレージ１３０は、差分反映完了の通知を受け取った後、バッファ１３２に存在する更新データをディスク１３１に反映させる。全てのデータを反映し終わったら、図１９に示すように、メインストレージ１１０からの同期コピーは複製ストレージ１３０のディスク１３１に直接反映させる。
【００６２】
本実施形態においては、メインサイトとリモートサイトとの通信復旧を契機として、更新データの送信先をリモートサイトに切り替える。したがって、更新データがジャーナルサイト及びメインサイトの両方から並行してリモートサイトへ送信されるため、更新データをリモートサイトに反映させるのに要する時間を短縮できる。
【００６３】
〔第３の実施形態〕
本発明を好適に実施した第３の実施形態について説明する。
図２０に本実施形態に係る情報システムの構成を示す。本実施形態に係る情報システムは、メインストレージ２１０と、メインストレージ２１０のデータが更新された際に、更新データのデータがメインストレージ２１０から同期コピーされる複製ストレージ２３０とを備えた情報システムであって、メインストレージ２１０にネットワーク２５２を介して接続されたジャーナルストレージ２４０を有し、メインストレージ２１０と複製ストレージ２３０との間のネットワーク２５１で通信障害が発生した場合には、更新データをジャーナルストレージ２４０へ同期コピーし、ネットワーク２５１の通信障害が解消された後に、ジャーナルストレージ２４０に格納した更新データを、メインストレージ２１０を経由して複製ストレージ２３０へ準同期コピーし、メインストレージ２１０からの更新データの同期コピー先を複製ストレージ２３０に戻し、ネットワーク１５１で通信障害が発生している間にメインストレージ２１０が破損した場合は、メインストレージ２１０の修復後に複製ストレージ２３０からデータを書き戻し、その後、ジャーナルストレージ２４０に格納した更新データをメインストレージ２１０へ準同期コピーする。
【００６４】
図２１に、本実施形態に係る情報システムのより詳細な構成を示す。
本実施形態に係る情報システムは、メインサイト、リモートサイト及びジャーナルサイトの三つのサイトを備える。
【００６５】
メインサイトには、プログラム制御によって動作するホストコンピュータ２００及びメインストレージ２１０が設置されている。
ホストコンピュータ２００は、ディスクアクセス部２０１を備える。ディスクアクセス部２０１は、メインストレージ２１０に対して情報の読み込み及び書き込みを行う。
メインストレージ２１０は、ディスク２１１、バッファ２１２、ビットマップ２１３、ストレージ制御部２１４及び通信部２１５を備える。ビットマップ２１３は、メインストレージ２１０と複製ストレージ２３０との間で一貫性が保てなくなった後でメインストレージ２１０上で更新された領域を表している。ストレージ制御部２１４は、メインストレージ２１０の各部の動作を制御する。通信部２１５は、リモートサイトに設けられている複製ストレージ２３０やジャーナルサイトに設けられているジャーナルストレージ２４０との通信を行う。
【００６６】
リモートサイトには、複製ストレージ２３０が設置されている。
複製ストレージ２３０は、ディスク２３１、バッファ２３２、ストレージ制御部２３４、及び通信部２３５を備える。ストレージ制御部２３４は、複製ストレージ２３０の各部の動作を制御する。通信部２３５は、メインサイトに設けられているメインストレージ２１０やジャーナルサイトに設けられているジャーナルストレージ２４０との通信を行う。
【００６７】
ジャーナルサイトには、ジャーナルストレージ２４０が設置されている。ジャーナルストレージ２４０は、ディスク２４１、通信部２４２及びストレージ制御部２４３を備える。ストレージ制御部２４３は、ジャーナルストレージ２４０の各部の動作を制御する。通信部２４２は、メインサイトに設けられているメインストレージ２１０やリモートサイトに設けられている複製ストレージ２３０との通信を行う。
【００６８】
メインサイトとリモートサイトとの間はネットワーク２５１、メインサイトとジャーナルサイトとの間は、ネットワーク２５２でそれぞれ接続されている。なお、本実施形態においては、ジャーナルサイトとリモートサイトとの間は接続されていない。
【００６９】
本実施形態に係る情報システムのリカバリ動作について説明する。
【００７０】
通常時は、更新データはメインストレージ２１０から複製ストレージ２３０に同期コピーされる。メインストレージ２１０と複製ストレージ２３０との間の通信に障害が発生したことをメインストレージ２１０が検出した場合、図２２に示すように、メインストレージ２１０は同期コピー先をジャーナルストレージ２４０に切り替える。
【００７１】
この状態でメインサイトが被災した場合は、ますメインサイトを復旧させ、図２３に示すように複製ストレージ２３０からメインストレージ２１０に全データをコピーする。この時のコピーは、非同期かつ更新順序を保証せずに行われるため、「非同期コピー」に相当する。その後、図２４に示すように、ジャーナルストレージ２４０から更新データをメインストレージ２１０に準同期コピーするとともに、メインストレージ２１０から複製ストレージ２３０へも準同期コピーする。ジャーナルストレージ２４０の全ての更新データをメインストレージ２１０に反映させたら、ジャーナルストレージ２４０は差分反映完了をメインストレージ２１０に通知する。これを受けて、メインストレージ２１０は複製ストレージ２３０に差分反映完了を通知する。
複製ストレージ２３０は、図２５に示すように、全データを反映し終わったらメインストレージ２１０へ同期完了を通知する。
以降、ホストコンピュータ２００からメインストレージ２１０が使用可能となり、図２６に示すように、メインストレージ２１０への更新は複製ストレージ２３０に同期コピーされる。
【００７２】
次に、メインサイトが被災せずに、図２２に示す通信障害が復旧した場合について説明する。
メインストレージ２１０は定期的に複製ストレージ２３０に通信を試み、通信障害が解消されたことを通信が成功することによって認識する。メインストレージ２１０は、メインサイトとリモートサイトとの間の通信障害が解消されたことを、通信復旧通知を送ることによってジャーナルストレージ２４０に通知する。メインストレージ２１０は、通信が復旧した後も、ジャーナルストレージ２４０への同期コピーを継続する。
【００７３】
図２７に示すように、ジャーナルストレージ２４０は、通信復旧通知を受け取った後、ディスク２４４に存在する更新データをメインストレージ２１０を経由して、複製ストレージ２３０へ準同期コピーする。ジャーナルストレージ２４０に更新データが無くなった時点で、図２８に示すように、ジャーナルストレージ２４０はメインストレージ２１０に差分反映完了を通知する。これを受けて、メインストレージ２１０は複製ストレージ２３０へ差分反映完了を通知する。
【００７４】
ジャーナルストレージ２４０は、差分反映完了をメインストレージ２１０に通知するまではメインストレージ２１０からの同期コピーを受け続ける。メインストレージ２１０は、差分反映完了を通知された後は、ジャーナルストレージ２４０に更新データを送らない。
【００７５】
複製ストレージ２３０は、全データを反映し終わったら、図２９に示すように、同期完了をメインストレージ２１０に通知する。同期完了を通知されたメインストレージ２１０は、同期コピー先を複製ストレージ２３０に切り替える。以降は、ジャーナルストレージ２４０は使用せず、図３０に示すように、メインストレージ２１０と複製ストレージ２３０との間で通信を行い、更新データをメインストレージのディスク２１１から複製ストレージ２３０のディスク２３１へ同期コピーする。
【００７６】
なお、図３１に示すように第２の実施形態と同様に複製ストレージ２３０がバッファ２３２を備えた構成とし、メインストレージ２１０と複製ストレージ２３０との間の通信が復旧した時点で、メインストレージ２１０からの同期コピー先を複製ストレージ２３０に変更し、図３２に示すように、ジャーナルストレージ２４０からの準同期コピーが完了するまでの間は更新データをバッファ２３２に蓄積しておくようにしても良い。この場合には、図３３に示すように、ジャーナルストレージ２４０からの準同期コピーが完了した後で図３４に示すようにディスク２３１に反映させても良い。
【００７７】
ジャーナルストレージに空き容量が無くなった場合の動作は、第１の実施形態と同様であり、メインストレージ２１０は更新データをバッファ２１２に格納する。ジャーナルストレージ２４０に空きができたら、メインストレージ２１０はバッファ２１２に格納した更新データを準同期コピーによってジャーナルストレージ２４０へ送信する。
【００７８】
さらに、バッファ２１２に空き容量が無くなった場合の動作は第１の実施形態と同様であり、メインストレージ２１０は、ディスク２１１上の更新箇所をビットマップ２１３で管理する方法に切り替える。
【００７９】
本実施形態に係る情報システムは、リモートサイトとジャーナルサイトとの間の通信経路を省略した構成となっているため、システムを構築する際のコストをさらに低減できる。
【００８０】
なお、上記各実施形態は本発明の好適な実施の一例であり、本発明はこれらに限定されることはない。
【００８１】
例えば、上記各実施形態においては、メインサイト及びリモートサイトが単独の構成を例としたが、ジャーナルサイトを集約し、複数のサイトがジャーナルサイトを共用する構成とすることも可能である。
具体的には、図３５に示すように、ジャーナルサイトをデータセンタに集約し、第１、第２の実施形態に係る複数のメインサイトとそのリモートサイトとをデータセンタと接続する。データセンタはジャーナルストレージのプールを用意し、各サイトに動的に割り当てる。各サイトの地理的又はネットワーク的な位置について重複しないように考慮することで、通信障害が同時に発生するサイト数を低減でき、必要なジャーナルストレージプールの量を低減できる。すなわち、各サイトが個別にジャーナルサイトを備える場合と比較して、コストの削減とリソースの有効利用とが可能となる。図３６に示すように、ジャーナルサイトをデータセンタに集約し、第３の実施形態に係る複数のメインサイトをデータセンタと接続しても同様の効果が得られる。
また、図３７に示すように、複数の複製ストレージをデータセンタに集約しておくことにより、複製ストレージ及びジャーナルストレージを用いたディザスタリカバリをアウトソーシングサービスとして実現できる。すなわち、企業等は、リモートサイト及びジャーナルサイトの開設や、複製ストレージ及びジャーナルストレージの保守・運営を専門の業者に委託することが可能となり、メインサイトの開設及び運営のみを行うだけで良くなるため、ディザスタリカバリに対応した情報システムの導入が容易になる。
このように、本発明は様々な変形が可能である。
【符号の説明】
【００８２】
１００、１２０、２００ ホストコンピュータ
１０１、１２１、２０１ ディスクアクセス部
１１０、２１０ メインストレージ
１１１、１３１、１４１、２１１、２３１、２４１ ディスク
１１２、１３２、２１２ バッファ
１１３ ビットマップ
１１４、１３４、１４３、２１４、２３４、２４３ ストレージ制御部
１１５、１３５、１４２、２１５、２３５、２４２ 通信部
１３０、２３０ 複製ストレージ
１４０、２４０ ジャーナルストレージ
１５１、１５２、１５３、２５１、２５２ ネットワーク
【特許請求の範囲】
【請求項１】
第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが前記第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムであって、
前記第１及び第２のストレージ装置の双方に接続されたジャーナルストレージ装置を有し、
前記第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、前記更新データを前記ジャーナルストレージ装置へ同期コピーし、
前記ジャーナルストレージ装置に格納した前記更新データを、前記第２のストレージ装置へ準同期コピーし、
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された後に、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻すことを特徴とする情報システム。
【請求項２】
前記ジャーナルストレージ装置に前記更新データが存在しなくなった時点で、前記第１のストレージ装置からの前記更新データの同期コピー先を前記ジャーナルストレージ装置から前記第２のストレージ装置に変更することを特徴とする請求項１記載の情報システム。
【請求項３】
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された時点で、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻し、
前記第２のストレージ装置は、前記ジャーナルストレージ装置から準同期コピーされる更新データの反映が完了するよりも前に前記第１のストレージ装置から受信した更新データを反映せずに蓄積し、前記バッファに蓄積した更新データを、前記ジャーナルストレージ装置から準同期コピーされる更新データの反映が完了した後で反映させることを特徴とする請求項１記載の情報システム。
【請求項４】
前記第１のストレージ装置は、前記第２のストレージ装置又は前記ジャーナルストレージ装置へ同期コピーできない分の更新データを格納するバッファを有し、前記更新データの同期コピー先への送信が可能となった時点で、前記バッファ内のデータを準同期コピーすることを特徴とする請求項１から３のいずれか１項記載の情報システム。
【請求項５】
前記第１のストレージ装置は、前記バッファの空き容量が無くなった場合に、それ以降の更新内容をメモリアドレスマップで管理し、前記バッファに格納されている更新データが前記第２のストレージ装置に反映された後に、前記メモリアドレスマップによって管理されている更新内容を前記第２にストレージ装置に非同期コピーで反映させることを特徴とする請求項４記載の情報システム。
【請求項６】
第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが前記第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムであって、
前記第１のストレージ装置に接続されたジャーナルストレージ装置を有し、
前記第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、前記更新データを前記ジャーナルストレージ装置へ同期コピーし、
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された後に、前記ジャーナルストレージ装置に格納した前記更新データを、前記第１のストレージ装置を経由して前記第２のストレージ装置へ準同期コピーし、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻し、
前記第１のストレージ装置と前記第２のストレージ装置との間で通信障害が発生している間に前記第１のストレージ装置が破損した場合は、前記第１のストレージ装置の修復後に前記第２のストレージ装置からデータを書き戻し、その後、前記ジャーナルストレージ装置に格納した前記更新データを前記第１のストレージ装置へ準同期コピーすることを特徴とする情報システム。
【請求項７】
前記ジャーナルストレージ装置に前記更新データが存在しなくなった時点で、前記第１のストレージ装置からの前記更新データの同期コピー先を前記ジャーナルストレージ装置から前記第２のストレージ装置に変更することを特徴とする請求項６記載の情報システム。
【請求項８】
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された時点で、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻し、
前記第２のストレージ装置は、前記ジャーナルストレージ装置から前記第１のストレージ装置を経由して準同期コピーされる更新データの反映が完了するよりも前に前記第１のストレージ装置から受信した更新データを反映せずに蓄積し、前記バッファに蓄積した更新データを、前記ジャーナルストレージ装置から前記第１のストレージ装置を経由して準同期コピーされる更新データの反映が完了した後で反映させることを特徴とする請求項６記載の情報システム。
【請求項９】
前記第１のストレージ装置は、前記第２のストレージ装置又は前記ジャーナルストレージ装置へ同期コピーできない分の更新データを格納するバッファを有し、前記更新データの同期コピー先への送信が可能となった時点で、前記バッファ内のデータを準同期コピーすることを特徴とする請求項６から８のいずれか１項記載の情報システム。
【請求項１０】
前記第１のストレージ装置及び前記第２のストレージ装置の対を複数有し、
複数の前記第１及び第２のストレージ装置の対で、前記ジャーナルストレージをストレージプールとして共有することを特徴とする請求項１から９のいずれか１項記載の情報システム。
【請求項１１】
第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが前記第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムにおけるディザスタリカバリ方法であって、
前記第１及び第２のストレージ装置の双方にジャーナルストレージ装置を接続し、
前記第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、前記更新データを前記ジャーナルストレージ装置へ同期コピーし、
前記ジャーナルストレージ装置に格納した前記更新データを、前記第２のストレージ装置へ準同期コピーし、
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された後に、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻すことを特徴とするディザスタリカバリ方法。
【請求項１２】
第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが前記第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムにおけるディザスタリカバリ方法であって、
前記第１のストレージ装置にジャーナルストレージ装置を接続し、
前記第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、前記更新データを前記ジャーナルストレージ装置へ同期コピーし、
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された後に、前記ジャーナルストレージ装置に格納した前記更新データを、前記第１のストレージ装置を経由して前記第２のストレージ装置へ準同期コピーし、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻し、
前記第１のストレージ装置と前記第２のストレージ装置との間で通信障害が発生している間に前記第１のストレージ装置が破損した場合は、前記第１のストレージ装置の修復後に前記第２のストレージ装置からデータを書き戻し、その後、前記ジャーナルストレージ装置に格納した前記更新データを前記第１のストレージ装置へ準同期コピーすることを特徴とするディザスタリカバリ方法。
【請求項１】
第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが前記第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムであって、
前記第１及び第２のストレージ装置の双方に接続されたジャーナルストレージ装置を有し、
前記第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、前記更新データを前記ジャーナルストレージ装置へ同期コピーし、
前記ジャーナルストレージ装置に格納した前記更新データを、前記第２のストレージ装置へ準同期コピーし、
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された後に、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻すことを特徴とする情報システム。
【請求項２】
前記ジャーナルストレージ装置に前記更新データが存在しなくなった時点で、前記第１のストレージ装置からの前記更新データの同期コピー先を前記ジャーナルストレージ装置から前記第２のストレージ装置に変更することを特徴とする請求項１記載の情報システム。
【請求項３】
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された時点で、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻し、
前記第２のストレージ装置は、前記ジャーナルストレージ装置から準同期コピーされる更新データの反映が完了するよりも前に前記第１のストレージ装置から受信した更新データを反映せずに蓄積し、前記バッファに蓄積した更新データを、前記ジャーナルストレージ装置から準同期コピーされる更新データの反映が完了した後で反映させることを特徴とする請求項１記載の情報システム。
【請求項４】
前記第１のストレージ装置は、前記第２のストレージ装置又は前記ジャーナルストレージ装置へ同期コピーできない分の更新データを格納するバッファを有し、前記更新データの同期コピー先への送信が可能となった時点で、前記バッファ内のデータを準同期コピーすることを特徴とする請求項１から３のいずれか１項記載の情報システム。
【請求項５】
前記第１のストレージ装置は、前記バッファの空き容量が無くなった場合に、それ以降の更新内容をメモリアドレスマップで管理し、前記バッファに格納されている更新データが前記第２のストレージ装置に反映された後に、前記メモリアドレスマップによって管理されている更新内容を前記第２にストレージ装置に非同期コピーで反映させることを特徴とする請求項４記載の情報システム。
【請求項６】
第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが前記第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムであって、
前記第１のストレージ装置に接続されたジャーナルストレージ装置を有し、
前記第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、前記更新データを前記ジャーナルストレージ装置へ同期コピーし、
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された後に、前記ジャーナルストレージ装置に格納した前記更新データを、前記第１のストレージ装置を経由して前記第２のストレージ装置へ準同期コピーし、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻し、
前記第１のストレージ装置と前記第２のストレージ装置との間で通信障害が発生している間に前記第１のストレージ装置が破損した場合は、前記第１のストレージ装置の修復後に前記第２のストレージ装置からデータを書き戻し、その後、前記ジャーナルストレージ装置に格納した前記更新データを前記第１のストレージ装置へ準同期コピーすることを特徴とする情報システム。
【請求項７】
前記ジャーナルストレージ装置に前記更新データが存在しなくなった時点で、前記第１のストレージ装置からの前記更新データの同期コピー先を前記ジャーナルストレージ装置から前記第２のストレージ装置に変更することを特徴とする請求項６記載の情報システム。
【請求項８】
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された時点で、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻し、
前記第２のストレージ装置は、前記ジャーナルストレージ装置から前記第１のストレージ装置を経由して準同期コピーされる更新データの反映が完了するよりも前に前記第１のストレージ装置から受信した更新データを反映せずに蓄積し、前記バッファに蓄積した更新データを、前記ジャーナルストレージ装置から前記第１のストレージ装置を経由して準同期コピーされる更新データの反映が完了した後で反映させることを特徴とする請求項６記載の情報システム。
【請求項９】
前記第１のストレージ装置は、前記第２のストレージ装置又は前記ジャーナルストレージ装置へ同期コピーできない分の更新データを格納するバッファを有し、前記更新データの同期コピー先への送信が可能となった時点で、前記バッファ内のデータを準同期コピーすることを特徴とする請求項６から８のいずれか１項記載の情報システム。
【請求項１０】
前記第１のストレージ装置及び前記第２のストレージ装置の対を複数有し、
複数の前記第１及び第２のストレージ装置の対で、前記ジャーナルストレージをストレージプールとして共有することを特徴とする請求項１から９のいずれか１項記載の情報システム。
【請求項１１】
第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが前記第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムにおけるディザスタリカバリ方法であって、
前記第１及び第２のストレージ装置の双方にジャーナルストレージ装置を接続し、
前記第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、前記更新データを前記ジャーナルストレージ装置へ同期コピーし、
前記ジャーナルストレージ装置に格納した前記更新データを、前記第２のストレージ装置へ準同期コピーし、
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された後に、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻すことを特徴とするディザスタリカバリ方法。
【請求項１２】
第１のストレージ装置と、該第１のストレージ装置のデータが更新された際に、更新データが前記第１のストレージ装置から同期コピーされる第２のストレージ装置とを備えた情報システムにおけるディザスタリカバリ方法であって、
前記第１のストレージ装置にジャーナルストレージ装置を接続し、
前記第１のストレージ装置と第２のストレージ装置との間で通信障害が発生した場合には、前記更新データを前記ジャーナルストレージ装置へ同期コピーし、
前記第１のストレージ装置と前記第２のストレージ装置との間の通信障害が解消された後に、前記ジャーナルストレージ装置に格納した前記更新データを、前記第１のストレージ装置を経由して前記第２のストレージ装置へ準同期コピーし、前記第１のストレージ装置からの前記更新データの同期コピー先を前記第２のストレージ装置に戻し、
前記第１のストレージ装置と前記第２のストレージ装置との間で通信障害が発生している間に前記第１のストレージ装置が破損した場合は、前記第１のストレージ装置の修復後に前記第２のストレージ装置からデータを書き戻し、その後、前記ジャーナルストレージ装置に格納した前記更新データを前記第１のストレージ装置へ準同期コピーすることを特徴とするディザスタリカバリ方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【公開番号】特開２０１０−１８２１５４（Ｐ２０１０−１８２１５４Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２５９４８（Ｐ２００９−２５９４８）
【出願日】平成２１年２月６日（２００９．２．６）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月６日（２００９．２．６）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]