監視システム
【課題】監視対象装置のメモリ容量の増大と保守性の低下を解決すること。
【解決手段】本発明である監視システムは、監視対象装置にて実行される処理状態を表す統計ログを所定の時間間隔にて採取する統計ログ採取手段と、監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、取得した統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、統計ログ解析手段の判断により統計ログが異常状態となったときに、統計ログを採取する時間間隔が短くなるよう統計ログ採取手段に変更設定するログ採取間隔変更手段と、を備え、上記イベントログ採取手段は、上記統計ログ解析手段の判断により統計ログが異常状態となったときに、バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、という構成をとる。
【解決手段】本発明である監視システムは、監視対象装置にて実行される処理状態を表す統計ログを所定の時間間隔にて採取する統計ログ採取手段と、監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、取得した統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、統計ログ解析手段の判断により統計ログが異常状態となったときに、統計ログを採取する時間間隔が短くなるよう統計ログ採取手段に変更設定するログ採取間隔変更手段と、を備え、上記イベントログ採取手段は、上記統計ログ解析手段の判断により統計ログが異常状態となったときに、バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、という構成をとる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システムにかかり、特に、監視対象装置が出力するログ情報を監視する監視システムに関する。
【背景技術】
【０００２】
ミッションクリティカル環境で使用されるコンピュータシステムは、高機能化が進んでいる。高機能なコンピュータシステムの内部は、複数のコンポーネントが連動する構造になっていて複雑に絡み合っていることが多い。このような複雑な内部構造を持つコンピュータシステムには、次のような問題がある。
【０００３】
ミッションクリティカル環境で使用されるコンピュータシステムは、問題発生時の調査のために運用を停止させることができない場合が多く、ログのみを使用して詳細な調査を行う必要がある。そのため、ログの採取間隔は短く固定されている場合が多く、問題解析に必要でないログも大量に採取している。すると、ログサイズが膨大になり、ディスクスペースを圧迫する、という問題がある。
【０００４】
また、高機能なコンピュータシステムの場合、機能を実現するために内部の処理が必然的に複雑になってしまう。複雑な処理をするコンピュータシステムの場合、ログの採取ポイントもそれに伴って多くなってしまう。その結果、ログサイズが肥大化してしまう。そして、採取されるログのサイズが膨大になるため、装置からログを抜き出す作業や、問題発生後の解析作業でオーバーヘッドが発生する。その結果、装置全体の保守性に影響を与える。なお、ログを用いて装置の以上を監視するシステムの一例が、特許文献１に開示されている。
【０００５】
一方、ログ出力のオーバーヘッドを軽減するために、メモリ上に一時的にログをバッファする方式がある。かかる方法により、メモリ上に一時的にログをバッファすることで、システムの運用への影響を最小限にすることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２１１４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、問題発生後の解析を行うためには大量のログを採取する必要がある。これらのログを一時的にメモリ上に格納するためには、それだけ大きいメモリを使用する必要がある。さらに、ログサイズが肥大化することによって、上述同様に、装置全体の実行効率、保守性が低下する、という問題が生じる。
【０００８】
このため、本発明の目的は、上述した課題である、監視対象となる装置に搭載するメモリ容量の増大と、かかる装置の実行効率及び保守性が低下する、という問題を解決することにある。
【課題を解決するための手段】
【０００９】
本発明の一形態である監視システムは、
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を備え、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
という構成をとる。
【００１０】
また、本発明の他の形態であるプログラムは、
情報処理装置に、
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を実現させると共に、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
ことを実現させるためのプログラムである。
【００１１】
また、本発明の他の形態である監視方法は、
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取し、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積すると共に、
取得した前記統計ログが予め設定された異常状態であるか否かを判断し、
前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定すると共に、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
という構成をとる。
【発明の効果】
【００１２】
本発明は、以上のように構成されることにより、監視対象装置を監視する装置におけるメモリ容量を抑制すると共に、ログの解析作業を容易かつ効率的に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の構成を示す機能ブロック図である。
【図２】図１に開示した処理ユニットの構成を示す図である。
【図３】図１に開示した処理ユニットにおけるメッセージの処理の様子を示す図である。
【図４】本発明の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
本発明の第１の実施形態を、図１乃至図４を参照して説明する。図１乃至図２は、本実施形態における情報処理システムの構成を示す図であり、図３乃至図４は、情報処理システムにおける動作を説明する図である。
【００１５】
［構成］
本実施形態における情報処理システムは、サーバコンピュータであるノードを複数備えたストレージシステムである。但し、本発明の情報処理システムは、ストレージシステムであることに限定されない。
【００１６】
本実施形態におけるストレージシステムは、図１に示すように、監視機能１と処理機能２とから構成されており、処理機能２の各種処理を行うユニット４自体が、監視対象装置である。なお、監視機能１と処理機能２とは、相互に区別できるコンピュータやシステムにて構成されていてもよく、同一システム内に構築されていてもよい。
【００１７】
上記処理機能２は、統計ログファイル２１と、イベントログファイル２２と、ログ書き出し部２３と、マネジメントユニット３と、ユニット４と、を備える。
【００１８】
上記ユニット４は、クライアントから処理の命令であるメッセージを実際に処理する機能であり、本実施形態では、複数のユニット４を備えている。これに伴い、処理機能２は、クライアントからのメッセージを受け付け、そのメッセージをユニット４に送る機能を有する。なお、本実施形態における処理機能２は、ユニット４を複数装備しているが、１つのユニット４が装備されているだけでもよい。
【００１９】
そして、各ユニット４は、所定の処理を実行する機能を有し、例えば、本実施形態における重複排除機能を持ったストレージシステムでは、処理するタスクのみを実行する構造を持つ。具体的に、各ユニット４は、図２に示すように、階層構造を有する処理ユニットを構成しており、例えば重複排除機能を実現する構造として、書き込み／読み取りを受け付けるユニットＡ１、書き込み／読み取りの流量をコントロールするユニットＡ２、論理的な書き込み先を制御するユニットＡ３、書き込み／読み取りを制御するユニットＡ４、論理的なＩ／Ｏを制御するユニットＡ５、重複排除機能を提供するユニットＡ６、物理的な書き込みを制御するユニットＡ７、冗長性、性能向上のためにデータ配置を最適にするユニットＡ８、データを削除する機能を提供するユニットＡ９、を有する。但し、各ユニット４は、上述した処理を実行するユニットであることに限定されない。
【００２０】
また、ユニット４間の処理の命令は、図３に示すように、処理の内容が記載されたメッセージを送信／受信することで行う。各ユニット４は、メッセージを溜めておくキューを持ち、そのキューにメッセージを溜める。そして、各ユニット４は、他のユニットから送信されたメッセージを処理するための処理部４０を持ち、キューの中にあるタスクを順番に処理していく。
【００２１】
そして、各ユニット４は、ユニット構造のフレームワークに基づいて構成されている。具体的に、各ユニット４は、図２に示すように、上述した処理部４０のほか、統計ログ採取部４１と、イベントログ採取部４２と、リクエスト処理時間測定手段４３と、を備える。
【００２２】
上記統計ログ採取部４１（統計ログ採取手段）は、各ユニット４の処理部４０における処理状態を表す統計ログを、設定された所定の時間間隔にて採取する機能を有する。このとき、統計ログを採取する時間間隔は、最初は長く設定されている。但し、後述する監視機能１のログ採取間隔変更部１５からの指示により変更設定された場合には、その設定に従った時間間隔で統計ログの採取を行う。例えば、通常時には、長く設定された時間間隔にて統計ログを採取し、統計ログの異常時には、通常時よりも短く設定された時間間隔にて統計ログを採取する。また、異常時から通常時に戻った場合には、異常時に設定された短い時間間隔から通常時の長い時間間隔に戻って、かかる時間間隔にて統計ログの採取を行う。
【００２３】
ここで、統計ログ採取部４１にて取得する統計ログは、まず、リクエスト処理時間測定部４３にて測定された「メッセージがキューの中に挿入されてから処理部４０にはいるまでの時間」であり、換言すると、ユニット４内におけるメッセージの処理待ち時間である。また、統計ログ採取部４１にて取得する統計ログは、「メッセージが処理部４０で処理を開始される時から終了した時の時間」であり、換言すると、メッセージに応じた処理部４０による実際の処理時間である。これら計測した２つの各時間を、統計ログ採取部４１が統計ログとして採取する。但し、統計ログは、上述したいずれか一方の時間だけであってもよく、あるいは、ユニット４における他の処理にかかる時間であってもよい。
【００２４】
また、ユニット４の統計ログ採取部４１は、異常フラグとバッファとを有している。バッファは、上述したリクエスト処理時間測定部４３にて測定され、リクエスト処理時間測定部４３から渡された各統計ログを一時的に記憶するメモリである。また、異常フラグは、後述するように、監視機能１の統計ログ解析部１２にて解析された結果として統計ログが異常であると判断された場合に、この統計ログを採取したユニット４が異常状態であることを表す情報が設定されるフラグである。
【００２５】
なお、統計ログ取得部４１は、バッファに一時的に保存した統計ログを、マネジメントユニット３にある統計ログ収集部３２に渡す。ここで、マネジメントユニット３が有する統計ログ収集部３２は、各ユニット４の各統計ログ採取部４１から出力された統計ログを収集し、ログ書き出し部２３に送る機能を有する。また、ログ書き出し部２３は、統計ログを統計ログファイル２１として書き出す機能を有する。なお、統計ログ収集部４１は、各ユニット４の異常フラグのリスト、つまり、異常状態であると判断されたユニット４のリストを持つ。
【００２６】
また、各ユニット４が有する上記イベントログ採取部４２（イベントログ採取手段）は、各ユニット４の処理部４０が出力した当該ユニット４自体の状態を表すイベントログを採取して、装備されたバッファに蓄積する。なお、採取したイベントログは、ある一定のサイズになるまでバッファに格納される。ここで、本実施形態におけるイベントログとは、例えば、ユニット４の稼働状況を表す警告、エラーなどの情報である。
【００２７】
そして、イベントログ採取部４２にて採取され、バッファに蓄積されたイベントログは、マネジメントユニット３のイベントログ収集部３１によって収集される。そして、イベントログ収集部３１は、ログ書き出し部２３によって実際のイベントログファイル２２に出力を行う。
【００２８】
ここで、ユニット４に装備されたイベントログ採取部４２のバッファは、ユニット毎に分散して持つため、分散化された各イベントを発生した順番に並べ替える必要がでてくる。これを実現するために、以下の２種類の方法がある。一つ目は、システムタイムスタンプをノード間で定期的に同期をとる方法がある。ノード間のタイムスタンプが常に同期がとれている状態となるため、容易にイベントの発生順序に並べ替えることが可能となる。二つ目は、各ユニットは他のユニットからのメッセージを処理するときにログを出力する。そのため、各ユニットでメッセージを処理する場合の時間のみが正しく出力されていれば処理を追うことができる。その結果、時刻が大幅にずれていない限り、処理をログから追うことは可能となる。これにより、イベントログは、出力された時刻も併せてバッファに記憶され、当該時刻が各ユニットにて同期がとれているため、発生順序に従って並べ替えた状態でバッファに蓄積することができる。
【００２９】
次に、監視機能１の構成について説明する。図１に示すように、監視機能１は、統計ログ吸出し部１１と、統計ログ解析部１２と、閾値テーブル１３と、異常フラグ収集部１４と、ログ採取間隔変更部１５と、各ログの採取間隔のテーブル１６と、を備える。
【００３０】
上記統計ログ吸出し部１１は、処理機能２の統計ログファイル２１から統計ログ情報を取得する。上記統計ログ解析部１２（統計ログ解析手段）は、統計ログが予め設定された閾値内におさまっているかを、閾値テーブル１３内の値と比較する。そして、閾値の範囲内におさまっていない統計ログを異常状態であると判断し、そのリストを作成し、異常フラグ収集部１４に送る。ここで、閾値テーブル１３は、統計ログと閾値（上限値、下限値）が記載されている。例えば、閾値の上限値は、上述した統計ログのうち処理部４０によるメッセージの実際の処理時間が長い（処理が遅い）と判断される予め設定された値である。但し、閾値の上限値や下限値はいかなる値であってもよいが、当該上限値あるいは下限値を統計ログの値が超えた場合には、当該統計ログが異常状態であると判断できる値である。
【００３１】
上記異常フラグ収集部１４は、統計ログ収集部３２が持つ各ユニット４の異常フラグリストを採取する。そして、統計ログ解析部１２にて判断された閾値の範囲内におさまっていない統計ログのリストと、異常フラグのリストを比較して、範囲内におさまっていない統計ログのリストのみに存在しているユニット４について、設定されている統計ログを採取する時間間隔を短くする指示をログ採取間隔変更部１５に出す。また、異常フラグのリスト内のみに存在しているユニット４は、既に短く設定されている統計ログを採取する時間間隔を、元に戻して長くする指示をログ採取間隔変更部１５に出す。つまり、異常フラグ収集部１４は、統計ログを採取する時間間隔を短くするユニット、あるいは、統計ログを採取する時間間隔を長い時間に戻すユニット４、のリストをログ採取間隔変更１５に送る。
【００３２】
そして、上記ログ採取間隔変更部１５（ログ採取間隔変更手段）は、渡されたリストに記載されたユニット４の統計ログ採取部４１に対して、統計ログを採取する時間間隔を変更するように命令をする。統計ログを採取する時間間隔を短くする場合、どの統計ログの採取間隔を短くするかは、各統計ログを採取する時間間隔のテーブル１６を基に決定される。各統計ログを採取する時間間隔のテーブル１６は、ある統計ログが閾値を超えたとき、つまり、異常状態となったときに、統計ログを採取する時間間隔を変更する統計ログのリストが記載されている。
【００３３】
ここで、上述した各ユニット４は、処理を命令するメッセージのみで結合されているため、各ユニットが独立的に動作している。このため、あるユニットで問題が発生すると、そのユニットはメッセージの処理時間の増加や、メッセージがキューの中で待ち状態になることがある。そのため、どのユニットで問題が発生したかを切り分けるために、メッセージの処理時間を採取する必要がある。
【００３４】
また、性能問題などのメッセージの処理時間が異常値を示していないが、全体として処理が遅いという問題がある。このような問題の傾向として、問題の発生している時間が長時間ということが挙げられる。このような場合は、採取間隔の短い統計ログは必要ないが、採取間隔を長めにとった統計ログを採取する必要がある。
【００３５】
このようなことと、上述した構成により、処理機能２、つまり、各ユニット４では、次のような効率的なログ採取が可能となる。
【００３６】
まず、通常時は、十分に長い時間間隔で統計ログを採取するよう、各ユニットの統計ログ採取部４１が設定されている。同時に、上述した監視機能１の統計ログ解析部１２等により、各ユニット４のメッセージ処理時間が監視され、メッセージの処理時間があらかじめ決められた閾値を超えた場合に、その問題が発生したユニット４の統計ログを採取する時間間隔を、通常時よりも短い時間間隔とするよう設定する。これにより、問題が発生したことがメッセージの処理時間を見ることで可能となるため、通常時に十分長い時間間隔で統計ログを採取していたとしても、問題発生時の統計ログを採取することが可能となる。
【００３７】
また、通常時は、イベントログ採取部４２のバッファに溜めたログの中から一部しか保存しないようにする。そして、監視機能１の統計ログ解析部１２等によって統計ログの異常が検出されたときに、イベントログ採取部４２のバッファに保存されているイベントログを問題が発生した時刻にさかのぼってイベントログ収集部３１に出力して、イベントログファイル２２として所定の記憶装置に保存する。このとき、バッファのサイズを大きくすればするほど、イベントログをさかのぼって保存する時間を長くすることができる。また、統計ログで異常を検出後にイベントログをさかのぼるため、さかのぼることができる時間だけ統計ログの採取間隔を長くすることができる。その結果、全てのイベントログを保存する必要はなくなり、問題発生時の重要なイベントログのみを取得することができる。なお、上述したイベントログの保存処理は、ログ採取間隔変更部１５にて統計ログを採取する時間間隔が変更設定された統計ログ採取部４１がイベントログ採取部４２に指示することにより、当該イベントログ採取部４２にて実行される。但し、上述したイベントログの保存処理は、他の方法にて実行されてもよい。
【００３８】
そして、上述したイベントログの保存処理では、例えば、統計ログが異常状態であると判断された現時点から、統計ログを採取する時間間隔の１間隔分だけさかのぼった時点までのイベントログを、バッファから読み出して保存してもよい。但し、イベントログの保存期間は、いかなる期間であってもよい。
【００３９】
なお、上述した構成による監視対象装置の監視は、特に、監視対象装置がストレージシステムである場合に効果的である。まず、データを保存する特性上、装置の信頼性が最も重要となる。ストレージシステムの中で最も故障する確率が高い箇所がディスクである。一般的にディスクの障害は、故障の前には動作が遅くなる、一時的に読めなくなるなどの異常な動作を示すことが多い。そのため、本発明を使用して定期的に統計ログを確認することで、実際にはまだ故障していないディスクの異常な動作を発見することが可能となり、ディスク障害を未然に防ぐことができ、耐障害性を向上させることができる。
【００４０】
そして、本発明を適用したストレージシステムでは、問題発生時に特化したログ採取を行うため、採取されたログは、問題解析に必要のあるログのみとなる。そのため、従来のような問題発生後に大量のログの中から問題と関係がありそうなログを探す作業が省かれ、問題発生後の原因究明が容易にできるようになる。その結果、装置の保守性を大幅に向上させることができる。
【００４１】
また、耐障害性に優れたストレージ装置は、ディスク障害が発生したとしても、装置としての動作を維持することができる。しかし、ハードウェアの故障でシステムのバランスが崩れた装置では書き込み／読み取り性能に影響を与える場合がある。その結果、予期せぬ障害が発生する可能性が出てくる。その場合にも、本発明を適用することで異常な状態を検知できるようになる。
【００４２】
さらに、高機能なストレージシステムは、多くの機能を持っているが、それらの機能が運用中、常に稼動しているわけではない。ある処理で動作する機能は限られるため、本発明を適用することで、稼動している処理ユニットに限定してログ採取ができるようになる。結果として、全体のログサイズを削減することができる。
【００４３】
［動作］
次に、上述した情報処理システムによる監視動作を、図１乃至３や、図４のフローチャートを参照して説明する。はじめに、監視機能１が異常を検出し、問題が生じたユニットの統計ログの採取時間間隔を変更するときの動作について説明する。
【００４４】
各ユニット４は、クライアントからの要求された処理を実行する。そして、各ユニット４は、図２に示すような各処理ユニットから統計ログやイベントログを採取して、ログ書き出し部２３に統計ログやイベントログを送る。ログ書き出し部２３は、統計ログファイル２１、イベントログファイル２２にログを出力する。統計ログが出力されると、統計ログ吸出し部１１が統計ログ情報を取得する（ステップＳ１）。
【００４５】
続いて、統計ログ解析部１２が、取得した統計ログの値が閾値テーブル１３内の値の範囲にはいっているかを解析する（ステップＳ２）。解析の結果、範囲外となった統計ログのリストを異常フラグ収集部１４に送る。
【００４６】
異常フラグ収集部１４は、統計ログ収集部３２が持っている異常フラグリストを取得する（ステップＳ３）。そして、異常フラグリストに記載されているユニットと統計ログ解析部１２から送られてきたリストを比較する。そして、上記統計ログ収集部３２からの異常フラグリストには、現在、統計ログを採取する時間間隔が短くなっている状態のユニットを表している。従って、この異常フラグリストに設定されておらず、統計ログ解析部１２から閾値の範囲外となったユニットのリストに存在しているユニットは、ログ採取間隔変更部１５に統計ログを採取する時間間隔を短くするように命令をする（ステップＳ４）。このとき、ログ採取間隔変更部１５は、各統計ログの採取間隔のテーブル１６からどの採取間隔を短くするかを取得して、統計ログ採取部４１に命令を送ることで変更する。
【００４７】
その後、統計ログ採取部４１は、変更設定された採取間隔で統計ログを採取する。また、異常を検出した場合に、当該異常が発生したユニットのイベントログ採取部４２内にあるバッファから、異常が発生した時間にさかのぼってイベントログを出力するようイベントログファイル２２に保存する。
【００４８】
次に、ユニットの異常を検出後、ユニットが正常に戻り、採取間隔が長くなるまでの動作について説明する。まず、異常フラグリストに記載されているユニット４と統計ログ解析部１２から送られてきたリストとを比較する。異常フラグリストに記載されているユニットであるにも関わらず、統計ログ解析部１２から送られてきたユニットリストに記載されていない場合は、そのユニットは異常状態から通常状態に戻ったことになる。そのため、ログ採取間隔変更部１５によって、統計ログを採取する時間間隔を長くする、つまり、元に戻すように命令を送る。
【００４９】
すると、ログ採取間隔変更部１５は、統計ログ採取部４１に対して統計ログを採取する時間間隔を長くする命令を送る。それと同時に、異常フラグを解除する。また、問題発生時は常に異常の状態ではなく、異常と正常の状態で振動する場合が考えられる。その場合の対策として、異常フラグの作成された時間を見て、ある一定の時間が経ったユニットの異常フラグのみを解除する動作をする。
【００５０】
以上のように、本発明によると、統計ログやイベントログの出力量を削減することができると共に、ログを一時的に格納するバッファの容量の小さくすることができる。これまでの方式では、常に全てのユニットが出力したログを保存していたため、必然的にログサイズが大きくなってしまっていた。しかし、本発明により、統計ログを監視することで、問題が発生したユニットを検出して、当該問題が発生したユニットのイベントログをバッファに溜められたログをさかのぼることで保存することが可能となり、常に全てのログを採取する必要がなくなる。
【００５１】
また、本発明によると、問題発生後の解析作業が簡易化される。つまり、問題の発生したユニットに絞ったログ採取が可能となる。その結果、問題発生後のログ解析作業を効率的に行うことができるようになる。
【００５２】
また、本発明によると、ログサイズが削減できるため、装置からログを抜き出す作業が容易にできるようになり、問題発生後の保守作業の簡易化を図ることができる。また、ログサイズを小さくできるため、現地作業ではなくネットワーク経由でログを採取して、リモートで保守作業を行うことができるようになる。
【００５３】
さらに、本発明では、異常を検出すると、統計ログ、イベントログの採取を行うため異常な状態の箇所をいち早く検出することができ、障害の事前保守が可能となる。また、障害が発生したことが原因で異常になった機能も検出することができる。検出されたログを定期的に確認することでストレージ装置の異常に気づくことができ、故障の前の事前保守が可能となる。
【００５４】
なお、上記では、監視機能１と処理機能２を別の機能とした構成としているが、監視機能１を処理機能２内に実装した構成とすることもできる。また、上記では、マネジメントユニット３が統計ログを集めて監視機能１によって統計ログを取得して監視するという方法をとっていたが、各ユニット４が自ユニットの監視を自律的に行い、統計ログを採取する時間間隔を変更する構成をとることもできる。
【００５５】
また、上記では、イベントログ、統計ログをバッファしておく場所を各ユニット４としていたが、マネジメントユニット３の統計ログ収集部３１、イベントログ収集部３２内にバッファを持つ構成とすることもできる。さらに、上記では、各ユニット４が同一のシステムや情報処理装置上に実装されている構成としているが、各ユニット４を別々のシステムや情報処理装置に配置した構成とすることもできる。
【００５６】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における監視システム等の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
【００５７】
（付記１）
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を備え、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
監視システム。
【００５８】
（付記２）
付記１に記載の監視システムであって、
前記イベントログ採取手段は、前記監視対象装置から出力された前記イベントログと共に当該イベントログが出力された時刻を前記バッファメモリに蓄積し、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から所定時間だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
監視システム。
【００５９】
（付記３）
付記２に記載の監視システムであって、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から前記統計ログ採取手段にて前記統計ログを採取する時間間隔の１間隔分だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
監視システム。
【００６０】
（付記４）
付記１乃至３のいずれかに記載の監視システムであって、
前記統計ログ採取手段は、前記監視対象装置にて実行される所定の処理の処理時間を含む前記統計ログを採取し、
前記統計ログ解析手段は、前記統計ログ採取手段にて取得した前記統計ログに含まれる処理時間が予め設定された基準値を超えた状態である場合に、前記異常状態となったと判断する、
監視システム。
【００６１】
（付記５）
付記４に記載の監視システムであって、
前記統計ログ採取手段は、前記監視対象装置に対する処理命令の当該監視対象装置内における処理待ち時間、及び／又は、前記処理命令に応じた実際の処理時間、を表す前記処理時間を含む前記統計ログを採取する、
監視システム。
【００６２】
（付記６）
付記１乃至５のいずれかに記載の監視システムであって、
前記ログ採取間隔変更手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態から異常状態でなくなったときに、前記監視対象装置の統計ログを採取する時間間隔が長くなるよう前記統計ログ採取手段に変更設定する、
監視システム。
【００６３】
（付記７）
付記４乃至５のいずれかに記載の監視システムであって、
前記監視対象装置は、ストレージシステムであり、
前記統計ログ採取手段は、前記ストレージシステムにて実行される記憶再生処理の処理時間を含む前記統計ログを採取し、
前記イベントログ採取手段は、前記ストレージシステムから出力された当該ストレージシステムの状態を表す前記イベントログを採取してバッファメモリに蓄積する、
監視システム。
【００６４】
（付記８）
情報処理装置に、
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を実現させると共に、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
ことを実現させるためのプログラム。
【００６５】
（付記９）
付記８に記載のプログラムであって、
前記イベントログ採取手段は、前記監視対象装置から出力された前記イベントログと共に当該イベントログが出力された時刻を前記バッファメモリに蓄積し、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から所定時間だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
プログラム。
【００６６】
（付記１０）
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取し、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積すると共に、
取得した前記統計ログが予め設定された異常状態であるか否かを判断し、
前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定すると共に、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
監視方法。
【００６７】
（付記１１）
付記１０に記載の監視方法であって、
前記監視対象装置から出力された前記イベントログと共に当該イベントログが出力された時刻を前記バッファメモリに蓄積し、
前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から所定時間だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
監視方法。
【符号の説明】
【００６８】
１ 監視機能
１１ 統計ログ吸出し部
１２ 統計ログ解析部
１３ 閾値テーブル
１４ 異常フラグ収集部
１５ ログ採取間隔変更部
１６ 各ログの採取間隔のテーブル
２ 処理機能
２１ 統計ログファイル
２２ イベントログファイル
２３ ログ書き出し部
３ マネジメントユニット
３１ イベントログ収集部
３２ 統計ログ収集部
４ ユニット
４０ 処理部
４１ 統計ログ採取部
４２ イベントログ採取部
４３ リクエスト処理時間測定部
【技術分野】
【０００１】
本発明は、監視システムにかかり、特に、監視対象装置が出力するログ情報を監視する監視システムに関する。
【背景技術】
【０００２】
ミッションクリティカル環境で使用されるコンピュータシステムは、高機能化が進んでいる。高機能なコンピュータシステムの内部は、複数のコンポーネントが連動する構造になっていて複雑に絡み合っていることが多い。このような複雑な内部構造を持つコンピュータシステムには、次のような問題がある。
【０００３】
ミッションクリティカル環境で使用されるコンピュータシステムは、問題発生時の調査のために運用を停止させることができない場合が多く、ログのみを使用して詳細な調査を行う必要がある。そのため、ログの採取間隔は短く固定されている場合が多く、問題解析に必要でないログも大量に採取している。すると、ログサイズが膨大になり、ディスクスペースを圧迫する、という問題がある。
【０００４】
また、高機能なコンピュータシステムの場合、機能を実現するために内部の処理が必然的に複雑になってしまう。複雑な処理をするコンピュータシステムの場合、ログの採取ポイントもそれに伴って多くなってしまう。その結果、ログサイズが肥大化してしまう。そして、採取されるログのサイズが膨大になるため、装置からログを抜き出す作業や、問題発生後の解析作業でオーバーヘッドが発生する。その結果、装置全体の保守性に影響を与える。なお、ログを用いて装置の以上を監視するシステムの一例が、特許文献１に開示されている。
【０００５】
一方、ログ出力のオーバーヘッドを軽減するために、メモリ上に一時的にログをバッファする方式がある。かかる方法により、メモリ上に一時的にログをバッファすることで、システムの運用への影響を最小限にすることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２１１４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、問題発生後の解析を行うためには大量のログを採取する必要がある。これらのログを一時的にメモリ上に格納するためには、それだけ大きいメモリを使用する必要がある。さらに、ログサイズが肥大化することによって、上述同様に、装置全体の実行効率、保守性が低下する、という問題が生じる。
【０００８】
このため、本発明の目的は、上述した課題である、監視対象となる装置に搭載するメモリ容量の増大と、かかる装置の実行効率及び保守性が低下する、という問題を解決することにある。
【課題を解決するための手段】
【０００９】
本発明の一形態である監視システムは、
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を備え、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
という構成をとる。
【００１０】
また、本発明の他の形態であるプログラムは、
情報処理装置に、
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を実現させると共に、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
ことを実現させるためのプログラムである。
【００１１】
また、本発明の他の形態である監視方法は、
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取し、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積すると共に、
取得した前記統計ログが予め設定された異常状態であるか否かを判断し、
前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定すると共に、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
という構成をとる。
【発明の効果】
【００１２】
本発明は、以上のように構成されることにより、監視対象装置を監視する装置におけるメモリ容量を抑制すると共に、ログの解析作業を容易かつ効率的に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の構成を示す機能ブロック図である。
【図２】図１に開示した処理ユニットの構成を示す図である。
【図３】図１に開示した処理ユニットにおけるメッセージの処理の様子を示す図である。
【図４】本発明の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
本発明の第１の実施形態を、図１乃至図４を参照して説明する。図１乃至図２は、本実施形態における情報処理システムの構成を示す図であり、図３乃至図４は、情報処理システムにおける動作を説明する図である。
【００１５】
［構成］
本実施形態における情報処理システムは、サーバコンピュータであるノードを複数備えたストレージシステムである。但し、本発明の情報処理システムは、ストレージシステムであることに限定されない。
【００１６】
本実施形態におけるストレージシステムは、図１に示すように、監視機能１と処理機能２とから構成されており、処理機能２の各種処理を行うユニット４自体が、監視対象装置である。なお、監視機能１と処理機能２とは、相互に区別できるコンピュータやシステムにて構成されていてもよく、同一システム内に構築されていてもよい。
【００１７】
上記処理機能２は、統計ログファイル２１と、イベントログファイル２２と、ログ書き出し部２３と、マネジメントユニット３と、ユニット４と、を備える。
【００１８】
上記ユニット４は、クライアントから処理の命令であるメッセージを実際に処理する機能であり、本実施形態では、複数のユニット４を備えている。これに伴い、処理機能２は、クライアントからのメッセージを受け付け、そのメッセージをユニット４に送る機能を有する。なお、本実施形態における処理機能２は、ユニット４を複数装備しているが、１つのユニット４が装備されているだけでもよい。
【００１９】
そして、各ユニット４は、所定の処理を実行する機能を有し、例えば、本実施形態における重複排除機能を持ったストレージシステムでは、処理するタスクのみを実行する構造を持つ。具体的に、各ユニット４は、図２に示すように、階層構造を有する処理ユニットを構成しており、例えば重複排除機能を実現する構造として、書き込み／読み取りを受け付けるユニットＡ１、書き込み／読み取りの流量をコントロールするユニットＡ２、論理的な書き込み先を制御するユニットＡ３、書き込み／読み取りを制御するユニットＡ４、論理的なＩ／Ｏを制御するユニットＡ５、重複排除機能を提供するユニットＡ６、物理的な書き込みを制御するユニットＡ７、冗長性、性能向上のためにデータ配置を最適にするユニットＡ８、データを削除する機能を提供するユニットＡ９、を有する。但し、各ユニット４は、上述した処理を実行するユニットであることに限定されない。
【００２０】
また、ユニット４間の処理の命令は、図３に示すように、処理の内容が記載されたメッセージを送信／受信することで行う。各ユニット４は、メッセージを溜めておくキューを持ち、そのキューにメッセージを溜める。そして、各ユニット４は、他のユニットから送信されたメッセージを処理するための処理部４０を持ち、キューの中にあるタスクを順番に処理していく。
【００２１】
そして、各ユニット４は、ユニット構造のフレームワークに基づいて構成されている。具体的に、各ユニット４は、図２に示すように、上述した処理部４０のほか、統計ログ採取部４１と、イベントログ採取部４２と、リクエスト処理時間測定手段４３と、を備える。
【００２２】
上記統計ログ採取部４１（統計ログ採取手段）は、各ユニット４の処理部４０における処理状態を表す統計ログを、設定された所定の時間間隔にて採取する機能を有する。このとき、統計ログを採取する時間間隔は、最初は長く設定されている。但し、後述する監視機能１のログ採取間隔変更部１５からの指示により変更設定された場合には、その設定に従った時間間隔で統計ログの採取を行う。例えば、通常時には、長く設定された時間間隔にて統計ログを採取し、統計ログの異常時には、通常時よりも短く設定された時間間隔にて統計ログを採取する。また、異常時から通常時に戻った場合には、異常時に設定された短い時間間隔から通常時の長い時間間隔に戻って、かかる時間間隔にて統計ログの採取を行う。
【００２３】
ここで、統計ログ採取部４１にて取得する統計ログは、まず、リクエスト処理時間測定部４３にて測定された「メッセージがキューの中に挿入されてから処理部４０にはいるまでの時間」であり、換言すると、ユニット４内におけるメッセージの処理待ち時間である。また、統計ログ採取部４１にて取得する統計ログは、「メッセージが処理部４０で処理を開始される時から終了した時の時間」であり、換言すると、メッセージに応じた処理部４０による実際の処理時間である。これら計測した２つの各時間を、統計ログ採取部４１が統計ログとして採取する。但し、統計ログは、上述したいずれか一方の時間だけであってもよく、あるいは、ユニット４における他の処理にかかる時間であってもよい。
【００２４】
また、ユニット４の統計ログ採取部４１は、異常フラグとバッファとを有している。バッファは、上述したリクエスト処理時間測定部４３にて測定され、リクエスト処理時間測定部４３から渡された各統計ログを一時的に記憶するメモリである。また、異常フラグは、後述するように、監視機能１の統計ログ解析部１２にて解析された結果として統計ログが異常であると判断された場合に、この統計ログを採取したユニット４が異常状態であることを表す情報が設定されるフラグである。
【００２５】
なお、統計ログ取得部４１は、バッファに一時的に保存した統計ログを、マネジメントユニット３にある統計ログ収集部３２に渡す。ここで、マネジメントユニット３が有する統計ログ収集部３２は、各ユニット４の各統計ログ採取部４１から出力された統計ログを収集し、ログ書き出し部２３に送る機能を有する。また、ログ書き出し部２３は、統計ログを統計ログファイル２１として書き出す機能を有する。なお、統計ログ収集部４１は、各ユニット４の異常フラグのリスト、つまり、異常状態であると判断されたユニット４のリストを持つ。
【００２６】
また、各ユニット４が有する上記イベントログ採取部４２（イベントログ採取手段）は、各ユニット４の処理部４０が出力した当該ユニット４自体の状態を表すイベントログを採取して、装備されたバッファに蓄積する。なお、採取したイベントログは、ある一定のサイズになるまでバッファに格納される。ここで、本実施形態におけるイベントログとは、例えば、ユニット４の稼働状況を表す警告、エラーなどの情報である。
【００２７】
そして、イベントログ採取部４２にて採取され、バッファに蓄積されたイベントログは、マネジメントユニット３のイベントログ収集部３１によって収集される。そして、イベントログ収集部３１は、ログ書き出し部２３によって実際のイベントログファイル２２に出力を行う。
【００２８】
ここで、ユニット４に装備されたイベントログ採取部４２のバッファは、ユニット毎に分散して持つため、分散化された各イベントを発生した順番に並べ替える必要がでてくる。これを実現するために、以下の２種類の方法がある。一つ目は、システムタイムスタンプをノード間で定期的に同期をとる方法がある。ノード間のタイムスタンプが常に同期がとれている状態となるため、容易にイベントの発生順序に並べ替えることが可能となる。二つ目は、各ユニットは他のユニットからのメッセージを処理するときにログを出力する。そのため、各ユニットでメッセージを処理する場合の時間のみが正しく出力されていれば処理を追うことができる。その結果、時刻が大幅にずれていない限り、処理をログから追うことは可能となる。これにより、イベントログは、出力された時刻も併せてバッファに記憶され、当該時刻が各ユニットにて同期がとれているため、発生順序に従って並べ替えた状態でバッファに蓄積することができる。
【００２９】
次に、監視機能１の構成について説明する。図１に示すように、監視機能１は、統計ログ吸出し部１１と、統計ログ解析部１２と、閾値テーブル１３と、異常フラグ収集部１４と、ログ採取間隔変更部１５と、各ログの採取間隔のテーブル１６と、を備える。
【００３０】
上記統計ログ吸出し部１１は、処理機能２の統計ログファイル２１から統計ログ情報を取得する。上記統計ログ解析部１２（統計ログ解析手段）は、統計ログが予め設定された閾値内におさまっているかを、閾値テーブル１３内の値と比較する。そして、閾値の範囲内におさまっていない統計ログを異常状態であると判断し、そのリストを作成し、異常フラグ収集部１４に送る。ここで、閾値テーブル１３は、統計ログと閾値（上限値、下限値）が記載されている。例えば、閾値の上限値は、上述した統計ログのうち処理部４０によるメッセージの実際の処理時間が長い（処理が遅い）と判断される予め設定された値である。但し、閾値の上限値や下限値はいかなる値であってもよいが、当該上限値あるいは下限値を統計ログの値が超えた場合には、当該統計ログが異常状態であると判断できる値である。
【００３１】
上記異常フラグ収集部１４は、統計ログ収集部３２が持つ各ユニット４の異常フラグリストを採取する。そして、統計ログ解析部１２にて判断された閾値の範囲内におさまっていない統計ログのリストと、異常フラグのリストを比較して、範囲内におさまっていない統計ログのリストのみに存在しているユニット４について、設定されている統計ログを採取する時間間隔を短くする指示をログ採取間隔変更部１５に出す。また、異常フラグのリスト内のみに存在しているユニット４は、既に短く設定されている統計ログを採取する時間間隔を、元に戻して長くする指示をログ採取間隔変更部１５に出す。つまり、異常フラグ収集部１４は、統計ログを採取する時間間隔を短くするユニット、あるいは、統計ログを採取する時間間隔を長い時間に戻すユニット４、のリストをログ採取間隔変更１５に送る。
【００３２】
そして、上記ログ採取間隔変更部１５（ログ採取間隔変更手段）は、渡されたリストに記載されたユニット４の統計ログ採取部４１に対して、統計ログを採取する時間間隔を変更するように命令をする。統計ログを採取する時間間隔を短くする場合、どの統計ログの採取間隔を短くするかは、各統計ログを採取する時間間隔のテーブル１６を基に決定される。各統計ログを採取する時間間隔のテーブル１６は、ある統計ログが閾値を超えたとき、つまり、異常状態となったときに、統計ログを採取する時間間隔を変更する統計ログのリストが記載されている。
【００３３】
ここで、上述した各ユニット４は、処理を命令するメッセージのみで結合されているため、各ユニットが独立的に動作している。このため、あるユニットで問題が発生すると、そのユニットはメッセージの処理時間の増加や、メッセージがキューの中で待ち状態になることがある。そのため、どのユニットで問題が発生したかを切り分けるために、メッセージの処理時間を採取する必要がある。
【００３４】
また、性能問題などのメッセージの処理時間が異常値を示していないが、全体として処理が遅いという問題がある。このような問題の傾向として、問題の発生している時間が長時間ということが挙げられる。このような場合は、採取間隔の短い統計ログは必要ないが、採取間隔を長めにとった統計ログを採取する必要がある。
【００３５】
このようなことと、上述した構成により、処理機能２、つまり、各ユニット４では、次のような効率的なログ採取が可能となる。
【００３６】
まず、通常時は、十分に長い時間間隔で統計ログを採取するよう、各ユニットの統計ログ採取部４１が設定されている。同時に、上述した監視機能１の統計ログ解析部１２等により、各ユニット４のメッセージ処理時間が監視され、メッセージの処理時間があらかじめ決められた閾値を超えた場合に、その問題が発生したユニット４の統計ログを採取する時間間隔を、通常時よりも短い時間間隔とするよう設定する。これにより、問題が発生したことがメッセージの処理時間を見ることで可能となるため、通常時に十分長い時間間隔で統計ログを採取していたとしても、問題発生時の統計ログを採取することが可能となる。
【００３７】
また、通常時は、イベントログ採取部４２のバッファに溜めたログの中から一部しか保存しないようにする。そして、監視機能１の統計ログ解析部１２等によって統計ログの異常が検出されたときに、イベントログ採取部４２のバッファに保存されているイベントログを問題が発生した時刻にさかのぼってイベントログ収集部３１に出力して、イベントログファイル２２として所定の記憶装置に保存する。このとき、バッファのサイズを大きくすればするほど、イベントログをさかのぼって保存する時間を長くすることができる。また、統計ログで異常を検出後にイベントログをさかのぼるため、さかのぼることができる時間だけ統計ログの採取間隔を長くすることができる。その結果、全てのイベントログを保存する必要はなくなり、問題発生時の重要なイベントログのみを取得することができる。なお、上述したイベントログの保存処理は、ログ採取間隔変更部１５にて統計ログを採取する時間間隔が変更設定された統計ログ採取部４１がイベントログ採取部４２に指示することにより、当該イベントログ採取部４２にて実行される。但し、上述したイベントログの保存処理は、他の方法にて実行されてもよい。
【００３８】
そして、上述したイベントログの保存処理では、例えば、統計ログが異常状態であると判断された現時点から、統計ログを採取する時間間隔の１間隔分だけさかのぼった時点までのイベントログを、バッファから読み出して保存してもよい。但し、イベントログの保存期間は、いかなる期間であってもよい。
【００３９】
なお、上述した構成による監視対象装置の監視は、特に、監視対象装置がストレージシステムである場合に効果的である。まず、データを保存する特性上、装置の信頼性が最も重要となる。ストレージシステムの中で最も故障する確率が高い箇所がディスクである。一般的にディスクの障害は、故障の前には動作が遅くなる、一時的に読めなくなるなどの異常な動作を示すことが多い。そのため、本発明を使用して定期的に統計ログを確認することで、実際にはまだ故障していないディスクの異常な動作を発見することが可能となり、ディスク障害を未然に防ぐことができ、耐障害性を向上させることができる。
【００４０】
そして、本発明を適用したストレージシステムでは、問題発生時に特化したログ採取を行うため、採取されたログは、問題解析に必要のあるログのみとなる。そのため、従来のような問題発生後に大量のログの中から問題と関係がありそうなログを探す作業が省かれ、問題発生後の原因究明が容易にできるようになる。その結果、装置の保守性を大幅に向上させることができる。
【００４１】
また、耐障害性に優れたストレージ装置は、ディスク障害が発生したとしても、装置としての動作を維持することができる。しかし、ハードウェアの故障でシステムのバランスが崩れた装置では書き込み／読み取り性能に影響を与える場合がある。その結果、予期せぬ障害が発生する可能性が出てくる。その場合にも、本発明を適用することで異常な状態を検知できるようになる。
【００４２】
さらに、高機能なストレージシステムは、多くの機能を持っているが、それらの機能が運用中、常に稼動しているわけではない。ある処理で動作する機能は限られるため、本発明を適用することで、稼動している処理ユニットに限定してログ採取ができるようになる。結果として、全体のログサイズを削減することができる。
【００４３】
［動作］
次に、上述した情報処理システムによる監視動作を、図１乃至３や、図４のフローチャートを参照して説明する。はじめに、監視機能１が異常を検出し、問題が生じたユニットの統計ログの採取時間間隔を変更するときの動作について説明する。
【００４４】
各ユニット４は、クライアントからの要求された処理を実行する。そして、各ユニット４は、図２に示すような各処理ユニットから統計ログやイベントログを採取して、ログ書き出し部２３に統計ログやイベントログを送る。ログ書き出し部２３は、統計ログファイル２１、イベントログファイル２２にログを出力する。統計ログが出力されると、統計ログ吸出し部１１が統計ログ情報を取得する（ステップＳ１）。
【００４５】
続いて、統計ログ解析部１２が、取得した統計ログの値が閾値テーブル１３内の値の範囲にはいっているかを解析する（ステップＳ２）。解析の結果、範囲外となった統計ログのリストを異常フラグ収集部１４に送る。
【００４６】
異常フラグ収集部１４は、統計ログ収集部３２が持っている異常フラグリストを取得する（ステップＳ３）。そして、異常フラグリストに記載されているユニットと統計ログ解析部１２から送られてきたリストを比較する。そして、上記統計ログ収集部３２からの異常フラグリストには、現在、統計ログを採取する時間間隔が短くなっている状態のユニットを表している。従って、この異常フラグリストに設定されておらず、統計ログ解析部１２から閾値の範囲外となったユニットのリストに存在しているユニットは、ログ採取間隔変更部１５に統計ログを採取する時間間隔を短くするように命令をする（ステップＳ４）。このとき、ログ採取間隔変更部１５は、各統計ログの採取間隔のテーブル１６からどの採取間隔を短くするかを取得して、統計ログ採取部４１に命令を送ることで変更する。
【００４７】
その後、統計ログ採取部４１は、変更設定された採取間隔で統計ログを採取する。また、異常を検出した場合に、当該異常が発生したユニットのイベントログ採取部４２内にあるバッファから、異常が発生した時間にさかのぼってイベントログを出力するようイベントログファイル２２に保存する。
【００４８】
次に、ユニットの異常を検出後、ユニットが正常に戻り、採取間隔が長くなるまでの動作について説明する。まず、異常フラグリストに記載されているユニット４と統計ログ解析部１２から送られてきたリストとを比較する。異常フラグリストに記載されているユニットであるにも関わらず、統計ログ解析部１２から送られてきたユニットリストに記載されていない場合は、そのユニットは異常状態から通常状態に戻ったことになる。そのため、ログ採取間隔変更部１５によって、統計ログを採取する時間間隔を長くする、つまり、元に戻すように命令を送る。
【００４９】
すると、ログ採取間隔変更部１５は、統計ログ採取部４１に対して統計ログを採取する時間間隔を長くする命令を送る。それと同時に、異常フラグを解除する。また、問題発生時は常に異常の状態ではなく、異常と正常の状態で振動する場合が考えられる。その場合の対策として、異常フラグの作成された時間を見て、ある一定の時間が経ったユニットの異常フラグのみを解除する動作をする。
【００５０】
以上のように、本発明によると、統計ログやイベントログの出力量を削減することができると共に、ログを一時的に格納するバッファの容量の小さくすることができる。これまでの方式では、常に全てのユニットが出力したログを保存していたため、必然的にログサイズが大きくなってしまっていた。しかし、本発明により、統計ログを監視することで、問題が発生したユニットを検出して、当該問題が発生したユニットのイベントログをバッファに溜められたログをさかのぼることで保存することが可能となり、常に全てのログを採取する必要がなくなる。
【００５１】
また、本発明によると、問題発生後の解析作業が簡易化される。つまり、問題の発生したユニットに絞ったログ採取が可能となる。その結果、問題発生後のログ解析作業を効率的に行うことができるようになる。
【００５２】
また、本発明によると、ログサイズが削減できるため、装置からログを抜き出す作業が容易にできるようになり、問題発生後の保守作業の簡易化を図ることができる。また、ログサイズを小さくできるため、現地作業ではなくネットワーク経由でログを採取して、リモートで保守作業を行うことができるようになる。
【００５３】
さらに、本発明では、異常を検出すると、統計ログ、イベントログの採取を行うため異常な状態の箇所をいち早く検出することができ、障害の事前保守が可能となる。また、障害が発生したことが原因で異常になった機能も検出することができる。検出されたログを定期的に確認することでストレージ装置の異常に気づくことができ、故障の前の事前保守が可能となる。
【００５４】
なお、上記では、監視機能１と処理機能２を別の機能とした構成としているが、監視機能１を処理機能２内に実装した構成とすることもできる。また、上記では、マネジメントユニット３が統計ログを集めて監視機能１によって統計ログを取得して監視するという方法をとっていたが、各ユニット４が自ユニットの監視を自律的に行い、統計ログを採取する時間間隔を変更する構成をとることもできる。
【００５５】
また、上記では、イベントログ、統計ログをバッファしておく場所を各ユニット４としていたが、マネジメントユニット３の統計ログ収集部３１、イベントログ収集部３２内にバッファを持つ構成とすることもできる。さらに、上記では、各ユニット４が同一のシステムや情報処理装置上に実装されている構成としているが、各ユニット４を別々のシステムや情報処理装置に配置した構成とすることもできる。
【００５６】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における監視システム等の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
【００５７】
（付記１）
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を備え、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
監視システム。
【００５８】
（付記２）
付記１に記載の監視システムであって、
前記イベントログ採取手段は、前記監視対象装置から出力された前記イベントログと共に当該イベントログが出力された時刻を前記バッファメモリに蓄積し、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から所定時間だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
監視システム。
【００５９】
（付記３）
付記２に記載の監視システムであって、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から前記統計ログ採取手段にて前記統計ログを採取する時間間隔の１間隔分だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
監視システム。
【００６０】
（付記４）
付記１乃至３のいずれかに記載の監視システムであって、
前記統計ログ採取手段は、前記監視対象装置にて実行される所定の処理の処理時間を含む前記統計ログを採取し、
前記統計ログ解析手段は、前記統計ログ採取手段にて取得した前記統計ログに含まれる処理時間が予め設定された基準値を超えた状態である場合に、前記異常状態となったと判断する、
監視システム。
【００６１】
（付記５）
付記４に記載の監視システムであって、
前記統計ログ採取手段は、前記監視対象装置に対する処理命令の当該監視対象装置内における処理待ち時間、及び／又は、前記処理命令に応じた実際の処理時間、を表す前記処理時間を含む前記統計ログを採取する、
監視システム。
【００６２】
（付記６）
付記１乃至５のいずれかに記載の監視システムであって、
前記ログ採取間隔変更手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態から異常状態でなくなったときに、前記監視対象装置の統計ログを採取する時間間隔が長くなるよう前記統計ログ採取手段に変更設定する、
監視システム。
【００６３】
（付記７）
付記４乃至５のいずれかに記載の監視システムであって、
前記監視対象装置は、ストレージシステムであり、
前記統計ログ採取手段は、前記ストレージシステムにて実行される記憶再生処理の処理時間を含む前記統計ログを採取し、
前記イベントログ採取手段は、前記ストレージシステムから出力された当該ストレージシステムの状態を表す前記イベントログを採取してバッファメモリに蓄積する、
監視システム。
【００６４】
（付記８）
情報処理装置に、
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を実現させると共に、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
ことを実現させるためのプログラム。
【００６５】
（付記９）
付記８に記載のプログラムであって、
前記イベントログ採取手段は、前記監視対象装置から出力された前記イベントログと共に当該イベントログが出力された時刻を前記バッファメモリに蓄積し、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から所定時間だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
プログラム。
【００６６】
（付記１０）
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取し、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積すると共に、
取得した前記統計ログが予め設定された異常状態であるか否かを判断し、
前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定すると共に、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
監視方法。
【００６７】
（付記１１）
付記１０に記載の監視方法であって、
前記監視対象装置から出力された前記イベントログと共に当該イベントログが出力された時刻を前記バッファメモリに蓄積し、
前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から所定時間だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
監視方法。
【符号の説明】
【００６８】
１ 監視機能
１１ 統計ログ吸出し部
１２ 統計ログ解析部
１３ 閾値テーブル
１４ 異常フラグ収集部
１５ ログ採取間隔変更部
１６ 各ログの採取間隔のテーブル
２ 処理機能
２１ 統計ログファイル
２２ イベントログファイル
２３ ログ書き出し部
３ マネジメントユニット
３１ イベントログ収集部
３２ 統計ログ収集部
４ ユニット
４０ 処理部
４１ 統計ログ採取部
４２ イベントログ採取部
４３ リクエスト処理時間測定部
【特許請求の範囲】
【請求項１】
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を備え、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
監視システム。
【請求項２】
請求項１に記載の監視システムであって、
前記イベントログ採取手段は、前記監視対象装置から出力された前記イベントログと共に当該イベントログが出力された時刻を前記バッファメモリに蓄積し、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から所定時間だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
監視システム。
【請求項３】
請求項２に記載の監視システムであって、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から前記統計ログ採取手段にて前記統計ログを採取する時間間隔の１間隔分だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
監視システム。
【請求項４】
請求項１乃至３のいずれかに記載の監視システムであって、
前記統計ログ採取手段は、前記監視対象装置にて実行される所定の処理の処理時間を含む前記統計ログを採取し、
前記統計ログ解析手段は、前記統計ログ採取手段にて取得した前記統計ログに含まれる処理時間が予め設定された基準値を超えた状態である場合に、前記異常状態となったと判断する、
監視システム。
【請求項５】
請求項４に記載の監視システムであって、
前記統計ログ採取手段は、前記監視対象装置に対する処理命令の当該監視対象装置内における処理待ち時間、及び／又は、前記処理命令に応じた実際の処理時間、を表す前記処理時間を含む前記統計ログを採取する、
監視システム。
【請求項６】
請求項１乃至５のいずれかに記載の監視システムであって、
前記ログ採取間隔変更手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態から異常状態でなくなったときに、前記監視対象装置の統計ログを採取する時間間隔が長くなるよう前記統計ログ採取手段に変更設定する、
監視システム。
【請求項７】
請求項４乃至５のいずれかに記載の監視システムであって、
前記監視対象装置は、ストレージシステムであり、
前記統計ログ採取手段は、前記ストレージシステムにて実行される記憶再生処理の処理時間を含む前記統計ログを採取し、
前記イベントログ採取手段は、前記ストレージシステムから出力された当該ストレージシステムの状態を表す前記イベントログを採取してバッファメモリに蓄積する、
監視システム。
【請求項８】
情報処理装置に、
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を実現させると共に、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
ことを実現させるためのプログラム。
【請求項９】
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取し、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積すると共に、
取得した前記統計ログが予め設定された異常状態であるか否かを判断し、
前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定すると共に、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
監視方法。
【請求項１】
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を備え、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
監視システム。
【請求項２】
請求項１に記載の監視システムであって、
前記イベントログ採取手段は、前記監視対象装置から出力された前記イベントログと共に当該イベントログが出力された時刻を前記バッファメモリに蓄積し、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から所定時間だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
監視システム。
【請求項３】
請求項２に記載の監視システムであって、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積したイベントログのうち、現時点から前記統計ログ採取手段にて前記統計ログを採取する時間間隔の１間隔分だけさかのぼった時点の間に出力された前記イベントログを所定の記憶装置に記憶する、
監視システム。
【請求項４】
請求項１乃至３のいずれかに記載の監視システムであって、
前記統計ログ採取手段は、前記監視対象装置にて実行される所定の処理の処理時間を含む前記統計ログを採取し、
前記統計ログ解析手段は、前記統計ログ採取手段にて取得した前記統計ログに含まれる処理時間が予め設定された基準値を超えた状態である場合に、前記異常状態となったと判断する、
監視システム。
【請求項５】
請求項４に記載の監視システムであって、
前記統計ログ採取手段は、前記監視対象装置に対する処理命令の当該監視対象装置内における処理待ち時間、及び／又は、前記処理命令に応じた実際の処理時間、を表す前記処理時間を含む前記統計ログを採取する、
監視システム。
【請求項６】
請求項１乃至５のいずれかに記載の監視システムであって、
前記ログ採取間隔変更手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態から異常状態でなくなったときに、前記監視対象装置の統計ログを採取する時間間隔が長くなるよう前記統計ログ採取手段に変更設定する、
監視システム。
【請求項７】
請求項４乃至５のいずれかに記載の監視システムであって、
前記監視対象装置は、ストレージシステムであり、
前記統計ログ採取手段は、前記ストレージシステムにて実行される記憶再生処理の処理時間を含む前記統計ログを採取し、
前記イベントログ採取手段は、前記ストレージシステムから出力された当該ストレージシステムの状態を表す前記イベントログを採取してバッファメモリに蓄積する、
監視システム。
【請求項８】
情報処理装置に、
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取する統計ログ採取手段と、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積するイベントログ採取手段と、
前記統計ログ採取手段にて取得した前記統計ログが予め設定された異常状態であるか否かを判断する統計ログ解析手段と、
前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定するログ採取間隔変更手段と、を実現させると共に、
前記イベントログ採取手段は、前記統計ログ解析手段の判断により前記統計ログが異常状態となったときに、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
ことを実現させるためのプログラム。
【請求項９】
監視対象装置にて実行される所定の処理の処理状態を表す統計ログを、設定された所定の時間間隔にて採取し、
前記監視対象装置から出力された当該監視対象装置の状態を表すイベントログを採取してバッファメモリに蓄積すると共に、
取得した前記統計ログが予め設定された異常状態であるか否かを判断し、
前記統計ログが異常状態となったときに、前記監視対象装置の統計ログを採取する時間間隔が短くなるよう前記統計ログ採取手段に変更設定すると共に、前記バッファメモリに蓄積した現時点以前のイベントログの少なくとも一部を所定の記憶装置に記憶する、
監視方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２０８６４６（Ｐ２０１２−２０８６４６Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７２７８７（Ｐ２０１１−７２７８７）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（０００２１３３０１）中部日本電気ソフトウェア株式会社 (56)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（０００２１３３０１）中部日本電気ソフトウェア株式会社 (56)
【Ｆターム（参考）】
[ Back to top ]