テスト方法、テスト管理サーバ及びテスト管理プログラム
【課題】テストに係るユーザの負担を低減するシステムのテスト方法を提供する。
【解決手段】１以上のテスト用サーバを備えたテスト環境と、テスト環境におけるテスト対象システムの動作テストを管理するテスト管理サーバとを備えた計算機システムにおけるテスト方法である。テスト管理サーバは、分析項目テーブルを有する。テスト管理サーバが、テスト対象システムの動作設定が定義された定義書に基づいて、テスト用サーバにテスト対象システムを構築する手順と、テスト管理サーバが、テスト対象システムのテスト内容が定義されたテスト条件に基づいて、テスト対象システムを稼働させる手順と、テスト環境が、テスト対象システムの稼働情報を、テスト管理サーバに送信する手順と、テスト管理サーバが、受信した稼働情報を、分析項目テーブルに設定された分析方法によって分析する手順と、テスト管理サーバが、分析結果を出力する手順とを含む。
【解決手段】１以上のテスト用サーバを備えたテスト環境と、テスト環境におけるテスト対象システムの動作テストを管理するテスト管理サーバとを備えた計算機システムにおけるテスト方法である。テスト管理サーバは、分析項目テーブルを有する。テスト管理サーバが、テスト対象システムの動作設定が定義された定義書に基づいて、テスト用サーバにテスト対象システムを構築する手順と、テスト管理サーバが、テスト対象システムのテスト内容が定義されたテスト条件に基づいて、テスト対象システムを稼働させる手順と、テスト環境が、テスト対象システムの稼働情報を、テスト管理サーバに送信する手順と、テスト管理サーバが、受信した稼働情報を、分析項目テーブルに設定された分析方法によって分析する手順と、テスト管理サーバが、分析結果を出力する手順とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テスト方法、テスト管理サーバ及びテスト管理プログラムに関する。
【背景技術】
【０００２】
業務システム等のシステムを開発する際、構築されたシステムの性能や信頼性をテストすることによって、システムの問題を発見し、発見された問題に対する解決方法を策定することが重要である（特許文献１参照）。
【０００３】
特許文献１には、アプリケーションプログラムの開発に関し、対話形式でユーザから指摘された不具合箇所とプログラムの実行履歴情報とから、不具合要因と解決策を特定し、特定された不具合要因や解決策をユーザに提示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２４９８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術では、ユーザが手動で不具合箇所を指摘しなければならないため、テストに係るユーザの負担が重い問題があった。また、同技術は、アプリケーションプログラムの開発に対する仕組みであって、業務システム等のシステムの開発に対してはそのまま適用できなかった。
【０００６】
本発明は、上述した課題を考慮したものであって、テストに係るユーザの負担を低減するシステムのテスト方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
【０００８】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、１以上のテスト用サーバを備えたテスト環境と、前記テスト環境にネットワークを介して接続され、前記テスト環境において動作するテスト対象システムの動作テストを管理するテスト管理サーバとを備えた計算機システムにおけるテスト方法であって、前記１以上のテスト用サーバ及び前記テスト管理サーバの各々は、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリとを備え、前記テスト管理サーバは、前記動作テストにおいて分析すべき分析対象と、前記分析対象についての分析方法と、前記分析対象の分析に係る基準情報とが対応付けられた分析項目テーブルを有し、前記方法は、前記テスト管理サーバが、前記テスト対象システムの動作設定が定義された定義書に基づいて、前記テスト用サーバに前記テスト対象システムを構築する手順と、前記テスト管理サーバが、前記テスト対象システムのテスト内容が定義されたテスト条件に基づいて、前記テスト対象システムを稼働させる手順と、前記テスト環境が、前記テスト対象システムの稼働状況を示す稼働情報を、前記テスト管理サーバに送信する手順と、前記テスト管理サーバが、受信した前記稼働情報を、前記分析項目テーブルに設定された分析方法によって分析し、分析結果が当該分析方法に対応付けられた前記基準情報を満たすか否かを判断する手順と、前記テスト管理サーバが、前記判断する手順による判断結果を出力する手順と、を含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、テストに係るユーザの負担を低減することができる。
【００１０】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態の計算機システムの構成例を示す図である。
【図２】本発明の実施形態の計算機システムの全体動作を説明するフローチャートである。
【図３】本発明の実施形態の定義書の一例を示す図である。
【図４】本発明の実施形態のテスト条件の一例を示す図である。
【図５】本発明の実施形態の定義ファイルの一例を示す図である。
【図６】本発明の実施形態の構築スクリプトの一例を示す図である。
【図７】本発明の実施形態の稼働情報の一例を示す図である。
【図８】本発明の実施形態の分析項目テーブルの一例を示す図である。
【図９】本発明の実施形態の問題・原因・解決方法テーブルの一例を示す図である。
【図１０】本発明の実施形態のテスト履歴プールの一例を示す図である。
【図１１】本発明の実施形態の利用者端末に表示される画面の一例を示す図である。
【図１２】本発明の実施形態の利用者端末に表示される画面の他の例を示す図である。
【図１３】図２のステップＳ１３の問題分析の制御ロジックを示すフローチャートである。
【図１４】本発明の実施形態の分析結果設定用テーブルの一例を示す図である。
【図１５】図２のステップＳ１５の問題・原因・解決方法の表示情報作成の制御ロジックを示すフローチャートである。
【図１６】本発明の実施形態の問題・原因・解決方法格納用テーブルの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。
【００１３】
図１は、本発明の実施形態の計算機システム１の構成例を示す図である。図１に示す計算機システム１は、ＬＡＮ（Local Area Network）等のネットワーク４を介して互いに接続された運用テスト環境１０、運用テスト管理サーバ２０、複数の利用者端末３を備える。
【００１４】
運用テスト環境１０は、この計算機システム１においてテストを実施するためのテスト環境である。この運用テスト環境１０は、複数の構築対象サーバ１１−１、…、１１−Ｎによって構成される。これら構築対象サーバ１１−１、…、１１−Ｎの各々は、運用テスト環境１０に構築された仮想サーバである。各構築対象サーバ１１−ｉ（ｉ＝１〜Ｎの整数）は、メモリ（仮想メモリ）１２−ｉ、ＣＰＵ（Central Processing Unit）（仮想ＣＰＵ）１３−ｉ、インターフェース（仮想インターフェース）１４−ｉ、ディスクドライブ（仮想ドライブ）１５−ｉを備える計算機である。なお、以下では、前述した各構成要素を、単に、構築対象サーバ１１、メモリ１２、ＣＰＵ１３、インターフェース１４、ディスクドライブ１５という。また、構築対象サーバ１１は仮想サーバである場合を説明するが、仮想サーバでなくてもよい。
【００１５】
メモリ１２は、構築対象サーバ１１の起動時にディスクドライブ１５に記憶されたプログラムを読み出して記憶するＲＡＭ（Random Access Memory）等の記憶装置である。このメモリ１２は、プログラムの実行に必要なファイル、データ等も記憶する。ＣＰＵ１３は、メモリ１２に格納されたプログラムを実行する演算処理装置である。インターフェース１４は、外部ネットワーク等に接続するためのインターフェース装置である。ディスクドライブ１５は、プログラムやファイル、データ等を記憶するＨＤＤ等の記憶装置である。このディスクドライブ１５には、定義ファイル５０、構築スクリプト６０、稼働情報７０が記憶される。各々の情報の詳細については後述する。
【００１６】
運用テスト管理サーバ２０は、運用テスト環境１０を管理するためのコンピュータ装置である。この運用テスト管理サーバ２０は、メモリ２１、ＣＰＵ２２、インターフェース２３、ディスクドライブ２４を備える。
【００１７】
メモリ２１は、運用テスト管理サーバ２０の起動時にディスクドライブ２４に記憶されたプログラムを読み出して記憶するＲＡＭ等の記憶装置である。このメモリ２１は、プログラムの実行に必要なファイル、データ等も記憶する。
【００１８】
ＣＰＵ２２は、メモリ２１に格納されたプログラム（運用テスト環境１０にテスト環境を構築するシステム構築処理部２１０、運用テスト環境１０においてテストを実行させ、テスト結果を分析するテスト実行・分析処理部２２０を含む）を実行する演算処理装置である。インターフェース２３は、外部ネットワーク等に接続するためのインターフェース装置である。ディスクドライブ２４は、プログラムやファイル、データ等を記憶するＨＤＤ等の記憶装置である。このディスクドライブ２４には、分析項目テーブル８０、問題・原因・解決方法テーブル９０、テスト履歴プール１００が記憶される。各々の情報の詳細については後述する。
【００１９】
利用者端末３−１、…、３−Ｍは、ユーザが利用するコンピュータ装置である。利用者端末３−ｊ（ｊ＝１〜Ｍの整数）は、主記憶装置、ＣＰＵ、インターフェース装置、ディスクドライブ、入力装置（キーボード、マウス等）、出力装置（表示ディスプレイ等）を備える（いずれも不図示）。なお、以降の説明においては、利用者端末３−１、…、３−Ｍを、単に、利用者端末３という。
【００２０】
図２は、本発明の実施形態の計算機システム１の全体動作を説明するフローチャートである。ここでは、計算機システム１のシステム全体の動作について説明する。
【００２１】
まずステップＳ１において、ユーザは、利用者端末３上で定義書３０、テスト条件４０、業務アプリを入力する（Ｓ１）。なお、ここでいう業務アプリとは、運用テスト環境１０上でテスト対象の業務システムを動作させるアプリケーションソフトウェアである。そうすると、利用者端末３は、入力された定義書３０、テスト条件４０、業務アプリを運用テスト管理サーバ２０に送信する（Ｓ２）。
【００２２】
その後ステップＳ３において、運用テスト管理サーバ２０のシステム構築処理部２１０は、受信した定義書３０に基づいて運用テスト環境１０の構築を開始する（Ｓ３）。具体的には、受信した定義書３０に基づいて定義ファイル５０を作成する。
【００２３】
その後ステップＳ４において、作成された定義ファイル５０及び構築スクリプト６０を運用テスト環境１０に送信する（Ｓ４）。そうすると、運用テスト環境１０は、受信した定義ファイル５０、構築スクリプト６０に基づいてテスト環境を構築する（Ｓ５）。
【００２４】
その後、システム構築処理部２１０は、ステップＳ２で受信した業務アプリを運用テスト環境１０に組み込む（Ｓ６）。すなわち、業務アプリを運用テスト環境１０に送信する（Ｓ７）。そうすると、運用テスト環境１０は、受信した業務アプリを組み込む（インストールする）（Ｓ８）。
【００２５】
その後ステップＳ９において、運用テスト管理サーバ２０のテスト実行・分析処理部２２０は、ステップＳ２で受信したテスト条件４０に基づいて運用テスト環境１０を稼働させる（Ｓ９）。そうすると、運用テスト環境１０は起動し（Ｓ１０）、稼働状態になる（Ｓ１１）。
【００２６】
以上説明したステップＳ１〜Ｓ１１の処理により、運用テスト環境１０上にテスト対象のシステムを自動的に構築することができる。これにより、本番環境でテストを実施することによるコストやリスクを低減することができる。
【００２７】
その後ステップＳ１２において、運用テスト環境１０は、稼働情報７０を運用テスト管理サーバ２０に送信する（Ｓ１２）。そうすると、テスト実行・分析処理部２２０は、受信した稼働情報７０と、ディスクドライブ２４に記憶されたテスト履歴プール１００とに基づいて、問題を分析する（Ｓ１３）。ステップＳ１３の処理については詳細に後述する。
【００２８】
その後ステップＳ１４において、テスト実行・分析処理部２２０は、受信した稼働情報７０及びステップＳ１３の分析結果をテスト履歴プール１００に保存する（Ｓ１４）。その後、ステップＳ１３の分析結果と、ディスクドライブ２４に記憶された問題・原因・解決方法テーブル９０とに基づいて、ユーザに提示すべき問題・原因・解決方法の表示情報を作成する（Ｓ１５）。ステップＳ１５の処理については詳細に後述する。
【００２９】
その後ステップＳ１６において、テスト実行・分析処理部２２０は、ステップＳ１５で作成された問題・原因・解決方法の表示情報を、テスト履歴プール１００に保存する（Ｓ１６）。その後、ステップＳ１５で作成された問題・原因・解決方法の表示情報と、テスト履歴プール１００に保存された情報とを、表示情報として利用者端末３に送信する（Ｓ１７）。そうすると、利用者端末３は、受信した表示情報を表示する（Ｓ１８）。
【００３０】
以上説明したステップＳ１２〜Ｓ１８の処理により、運用テスト管理サーバ２０は、運用テスト環境１０における問題の分析と、問題の発見と、発見された問題に対する解決方法の利用者端末３への提示とを自動的に実施することができる。
【００３１】
その後ステップＳ１９において、ユーザは、利用者端末３の表示画面上で１つ以上の解決方法を選択する（Ｓ１９）。そうすると、利用者端末３は、ユーザによって選択された解決方法の情報を、運用テスト管理サーバ２０に送信する（Ｓ２０）。
【００３２】
その後ステップＳ２１において、テスト実行・分析処理部２２０は、受信した解決方法を満たす定義書３０（修正された定義書３０）を作成する（Ｓ２１）。また、受信した解決方法の情報及び作成された定義書３０をテスト履歴プール１００に保存する（Ｓ２２）。
【００３３】
その後ステップＳ２３において、テスト実行・分析処理部２２０は、再構築（手動）か再構築（自動）か再構築しないかを判定する（Ｓ２３）。再構築（手動）の場合（Ｓ２３でＹＥＳ（手動））、利用者端末３は、ステップＳ２１で作成された定義書３０をダウンロードし（Ｓ２４）、ステップＳ１に戻って処理を繰り返す。再構築（自動）の場合（Ｓ２３でＹＥＳ（自動））、運用テスト管理サーバ２０は、Ｓ３に戻って処理を繰り返す。一方、再構築しない場合（Ｓ２３でＮＯ）、運用テスト管理サーバ２０は、処理を終了する。
【００３４】
以上説明したステップＳ１９〜Ｓ２３の処理により、運用テスト管理サーバ２０は、ユーザに解決方法の選択を促し、ユーザによって選択された解決方法を満たす定義書３０を自動的に作成することができる。これにより、作成された定義書３０に基づいて、再テストを実施することも可能になる。
【００３５】
なお、ステップＳ２３又はＳ２４以降一連の処理を繰り返す場合、ステップＳ２１で作成された定義書３０が複数ある場合には、定義書３０と同数の構築対象サーバ（仮想サーバ）１１のそれぞれを、各々の定義書３０に基づいて構築してもよい。
【００３６】
図３は、本発明の実施形態の定義書３０の一例を示す図である。定義書３０とは、システムに要求される性能（要件）、システムの動作設定が定義されたファイルである。図３に示す定義書３０は、複数の項目３１と、各項目３１に対する設定値３２とを含む。
【００３７】
カラム３０１には、１秒あたりのリクエスト数は最低１０件である、というシステムの要求性能が定義されている。カラム３０２には、ＣＰＵ使用率は最大７０％である、というシステムの要求性能が定義されている。カラム３０３には、１セッションあたりの使用メモリサイズは最大１ＭＢである、というシステムの要求性能が定義されている。カラム３０４には、同時ログイン数は最低１０人である、というシステムの要求性能が定義されている。カラム３０５には、ＦｕｌｌＧＣの累積回数は最大５回である、というシステムの要求性能が定義されている。一方、カラム３０６には、Ｊａｖａ(登録商標、以下同じ）ヒープ領域のうちのＮｅｗ領域のサイズは２５６ＭＢである、というシステムの動作設定が定義されている。
【００３８】
以上のように定義書３０には、システムに要求される性能、システムの動作設定が定義される。なお、定義される情報は、図３に示す情報に限定されるものではない。
【００３９】
図４は、本発明の実施形態のテスト条件４０の一例を示す図である。テスト条件４０とは、運用テスト環境１０のテスト条件が定義されたファイルである。図４に示すテスト条件４０は、複数の項目４１と、各項目４１に対する設定値４２とを含む。
【００４０】
カラム４０１には、負荷条件が定義される。図４に示す例では、１回の繰り返しにおける負荷を与える処理の実行数が５回であり、1回の繰り返しにおける時間が１０秒であり、繰り返し回数が１００回であること、すなわち、１０秒間に５回負荷を与える処理を１００回繰り返す、という負荷条件が定義されている。
【００４１】
一方、カラム４０２には、負荷内容が定義される。図４に示す例では、負荷１として、１９２．１６８．１０２．１のサーバ名（又はＩＰアドレス）で示されるサーバの８０番ポートに対して、カラム４０２に示す各種パラメータを送信する、という負荷内容が定義されている。
【００４２】
以上のようにテスト条件４０には、運用テスト環境１０のテスト条件が定義される。なお、定義される情報は、図４に示す情報に限定されるものではない。
【００４３】
図５は、本発明の実施形態の定義ファイル５０の一例を示す図である。定義ファイル５０とは、定義書３０を運用テスト環境１０が処理可能なデータ形式に変更したファイルである。この定義ファイル５０は、図２のステップＳ３において生成される。
【００４４】
図５（ａ）に示すようなプロパティファイル形式、図５（ｂ）に示すようなＸＭＬファイル形式が例として挙げられるが、運用テスト環境１０が処理可能なデータ形式であればその他のデータ形式であってもよい。
【００４５】
図６は、本発明の実施形態の構築スクリプト６０の一例を示す図である。構築スクリプト６０は、運用テスト環境１０において各構築対象サーバ１１−１〜１１−Ｎの構築に必要なコマンドを自動的に実行するためのファイルである。図６に示す例では、構築スクリプト６０はバッチファイル（スクリプト）で示される。
【００４６】
図７は、本発明の実施形態の稼働情報７０の一例を示す図である。稼働情報７０とは、運用テスト環境１０をテスト条件４０に従って稼働させた場合の稼働状況を示す情報が記録されたファイルである。図７に示すように、稼働情報７０は、アクセスログ７１、ＣＰＵ使用率ログ７２、ＪａｖａＶＭログ７３を含む。
【００４７】
アクセスログ７１には、運用テスト環境１０において発生する各リクエストの開始時間、各リクエストの内容、各リクエストの処理時間（単位：秒）が記録される。ＣＰＵ使用率ログ７２には、各時刻におけるＣＰＵの使用率が記録される。ＪａｖａＶＭログ７３には、ＧＣ（Garbage Collection）やＦｕｌｌＧＣ等が生じた時間、その際の使用メモリサイズの変化量が記録される。
【００４８】
以上のように稼働情報７０には、運用テスト環境１０をテスト条件４０に従って稼働させた場合の稼働状況を示す情報が記録される。なお、記録される情報は、図７に示す情報に限定されるものではない。
【００４９】
図８は、本発明の実施形態の分析項目テーブル８０の一例を示す図である。分析項目テーブル８０とは、図２のステップＳ１３において問題の分析に用いられるデータである。図８に示す分析項目テーブル８０は、複数の分析対象８１と、各分析対象８１に対応する分析方法８２と、各分析対象８１に対応するＯＫ／ＮＧ条件８３とを含む。
【００５０】
カラム８０１には、分析対象８１がＪ２ＥＥサーバである場合の分析方法８２として、Ｊ２ＥＥサーバの状態を確認することが定義されている。また、ＯＫ／ＮＧ条件８３として、Ｊ２ＥＥサーバが開始状態である場合にはＯＫを返し、すなわちＪ２ＥＥサーバには問題がないと判定し、Ｊ２ＥＥサーバが開始状態でない場合にはＮＧを返す、すなわちＪ２ＥＥサーバには問題があると判定することが定義されている。
【００５１】
カラム８０２には、分析対象８１がＦｕｌｌＧＣ累積回数である場合の分析方法８２として、ＪａｖａＶＭログ７３を分析し、ＦｕｌｌＧＣの累積回数を確認し、定義書３０の設定値と比較することが定義されている。また、ＯＫ／ＮＧ条件８３として、ＦｕｌｌＧＣ累積回数が定義書３０の設定値以下である場合には、システムの要求性能を満たすのでＯＫを返し、定義書３０の設定値より大きい場合には、システムの要求性能を満たさないのでＮＧを返すことが定義されている。
【００５２】
カラム８０３には、分析対象８１がＣＰＵ使用率である場合の分析方法８２として、ＣＰＵ使用率ログ７２を分析し、ＣＰＵ使用率のピーク値を取得し、定義書３０の設定値と比較することが定義されている。また、ＯＫ／ＮＧ条件８３として、ＣＰＵ使用率のピーク値が定義書３０の設定値以下である場合には、システムの要求性能を満たすのでＯＫを返し、定義書３０の設定値より大きい場合には、システムの要求性能を満たさないのでＮＧを返すことが定義されている。
【００５３】
以上のように分析項目テーブル８０には、運用テスト管理サーバ２０が問題を分析する際の分析項目がリスト化されている。なお、リスト化される情報は、図８に示す情報に限定されるものではない。
【００５４】
図９は、本発明の実施形態の問題・原因・解決方法テーブル９０の一例を示す図である。問題・原因・解決方法テーブル９０とは、図２のステップＳ１５において用いられるデータである。図９に示す問題・原因・解決方法テーブル９０では、複数の問題９１と、各問題９１に対応する原因項目９２と、各原因項目９２に対応する解決方法項目９３とを含む。
【００５５】
問題９１には、分析項目テーブル８０にリスト化された各分析項目（図８では、カラム８０１〜８０３）に対応する問題が定義されている。原因項目９２には、各問題９１に対応する１以上の原因が、優先度付きで定義されている。解決方法項目９３には、各原因項目９２に対する１以上の解決方法が、優先度付きで定義されている。
【００５６】
カラム９０１には、ＣＰＵ使用率が設定値よりも大きいという問題（図８のカラム８０３に対応する問題）に対する原因として、ＦｕｌｌＧＣの発生間隔が短いこと（優先度１）及び最大同時実行数が大きいこと（優先度２）が定義されている。また、これらの原因の各々に対する解決方法として、♯２（カラム９０２の各解決方法へのリンク）、実行待ちキューサイズを小さくすることが定義されている。なお、解決方法項目９３の「定義書作成」の欄は、「解決方法」の欄に示す解決方法に基づいて定義書３０を自動生成できるか否かを示す情報である。
【００５７】
カラム９０２には、ＦｕｌｌＧＣ累積回数が大きいという問題（図８のカラム８０２に対応する問題）に対する原因及び各原因に対する解決方法が定義されている。
【００５８】
以上のように問題・原因・解決方法テーブル９０には、運用テスト環境１０の問題・原因・解決方法が、分析項目テーブル８０に対応付けて設定される。運用テスト管理サーバ２０は、図２のステップＳ１５において、この問題・原因・解決方法テーブル９０を用いることによって、分析結果に応じた問題・原因・解決方法の表示情報を作成することができる。
【００５９】
図１０は、本発明の実施形態のテスト履歴プール１００の一例を示す図である。テスト履歴プール１００とは、運用テスト環境１０のテスト結果等の各種情報を保存するためのテーブルである。図１０に示すテスト履歴プール１００は、テスト名１０１と、前回選択した解決方法１０２と、稼働情報１０３と、分析結果１０４と、問題・原因・解決方法１０５と、今回選択した解決方法１０６と、作成された定義書１０７とを含む。
【００６０】
テスト名１０１には、各テストを一意に識別するための識別子が格納される。カラム１００１には、初回のテストとして、「初回テスト」が格納される。一方、カラム８０２〜８０７には、「（テスト対象の構築対象サーバＩＤ）_（前回選択された解決方法のＩＤ）_（ｎ回目のテスト）」が格納される。
【００６１】
例えばカラム１００２に示すテストは、カラム１００１に示す初回テストを実行後にユーザによって選択された解決方法「１_＃３−１−１」（カラム１００１の今回選択した解決方法１０６の欄を参照）を、運用テスト環境１０に反映させた後に実行する２回目のテストである。そのため、カラム１００２のテスト名１０１には、「１_＃３−１−１_２」が格納される。同様に、カラム１００３に示すテストは、カラム１００２に示す２回目のテストを実行後にユーザによって選択された解決方法「１_＃２−１−１」（カラム１００２の今回選択した解決方法１０６の欄を参照）を、運用テスト環境１０に反映させた後に実行する３回目のテストである。そのため、カラム１００３のテスト名１０１には、「１_＃２−１−１_３」が格納される。
【００６２】
前回選択した解決方法１０２には、テスト名１０１で示すテストの前回のテスト（例えばカラム１００２のテストであれば、カラム１００１のテスト）において選択された解決方法が格納される。
【００６３】
稼働情報１０３には、テスト名１０１で示すテストを実行した場合に、図２のステップＳ１２で運用テスト管理サーバ２０が受信する稼働情報７０に対するファイルパスが格納される。
【００６４】
分析結果１０４には、テスト名１０１で示すテストを実行した場合に、図２のステップＳ１３で作成される分析結果設定用テーブル１４０（図１４を用いて詳細に後述）が格納される。
【００６５】
問題・原因・解決方法１０５には、テスト名で示すテストを実行した場合に、図２のステップＳ１５で作成される問題・原因・解決方法格納用テーブル１６０（図１６を用いて詳細に後述）が格納される。
【００６６】
今回選択された解決方法１０６には、テスト名で示すテストを実行した場合に、図２のステップＳ１９で選択された１以上の解決方法が格納される。
【００６７】
作成された定義書１０７には、テスト名で示すテストを実行した場合に、図２のステップＳ２１で作成された定義書３０に対するファイルパスが格納される。
【００６８】
以上のように、テスト履歴プール１００には、運用テスト環境１０のテスト結果等の各種情報が、テスト間で関連付けられて格納される。
【００６９】
図１１は、本発明の実施形態の利用者端末３に表示される画面１１０の一例を示す図である。この画面１１０は、図２のステップＳ１８において利用者端末３上に表示される。この画面１１０は、選択部１１１と、表示内容１１２と、チェックボックス１１３と、ボタン１１４、１１５とを含む。
【００７０】
選択部１１１は、ユーザが利用者端末３に表示させたい内容を選択するために設けられている。図１１に示す例では、運用テスト環境Ａの「解決方法」が選択されている。なお、「テスト履歴」が選択された場合については、図１２を用いて後述する。
【００７１】
表示内容１１２には、選択部１１１における選択に対応する内容（ここでは、問題・原因・解決方法格納用テーブル１６０）が表示される。
【００７２】
チェックボックス１１３は、利用者端末３上でユーザが１以上の解決方法を選択するために設けられ、解決方法毎にチェック可能なチェックボックスである。なお、解決方法を選択できないもの（定義書３０を自動生成できないもの）については、選択不可になっている。ユーザは１以上の解決方法を選択し、マウス等の入力装置を用いてチェックすることができる。
【００７３】
ボタン１１４は、ユーザによって選択された解決方法に基づいて生成される定義書３０をダウンロードするためのボタンである。このボタン１１４を押下すると、図２のステップＳ２３において、ＹＥＳ（手動）に処理が進む。一方、ボタン１１５は、再テストを実行するためのボタンである。このボタン１１５を押下すると、図２のステップＳ２３において、ＹＥＳ（自動）に処理が進む。
【００７４】
以上のような画面１１０を利用者端末３上に表示させることにより、運用テスト管理サーバ２０は、ユーザに解決方法の選択を促す。また、ユーザによって選択された解決方法を満たす定義書３０を自動的に作成し、作成された定義書３０を利用者端末３にダウンロードさせたり、作成された定義書３０に基づいて再テストを実行したりすることが可能になる。
【００７５】
図１２は、本発明の実施形態の利用者端末３に表示される画面１２０の他の例を示す図である。この画面１２０は、図２のステップＳ１８において利用者端末３上に表示される。なお、以下では図１１と同様の構成要素には同一の符号を付して重複する説明を適宜省略する。
【００７６】
図１２に示す画面１２０は、選択部１１１、１２１と、表示内容１１２、１２２と、チェックボックス１１３と、ボタン１１４、１１５とを含む。
【００７７】
選択部１１１は、ユーザが利用者端末３に表示させたい内容を選択するために設けられている。図１２に示す例では、運用テスト環境Ａの「テスト履歴」が選択されている。また選択部１２１が、ユーザが利用者端末３に表示させたいテスト履歴を選択するために設けられている。図１２に示す例では、「１_＃３−１−１_２（２回目のテスト）」が選択されている。
【００７８】
表示内容１１２には、選択部１１１における選択に対応する内容（ここでは、２回目のテストに係る問題・原因・解決方法格納用テーブル１６０）が表示される。また表示内容１２２には、前回のテスト（ここでは、初回のテスト）で選択した解決方法に関する情報が表示される。
【００７９】
以上のような画面１１０を利用者端末３上に表示させることにより、運用テスト管理サーバ２０は、ユーザに解決方法の選択を促す。なお、前述の図１１に示す画面１１０と異なり、過去のテスト履歴を表示することによって、ユーザは過去のテスト履歴を参考にした上で、最適な解決方法を選択することができる。
【００８０】
図１３は、図２のステップＳ１３の問題分析の制御ロジックを示すフローチャートである。ここでは、図２のステップＳ１３の具体的な動作について説明する。
【００８１】
まずステップＳ１３０１に示すように、運用テスト管理サーバ２０は、ステップＳ１３０２〜Ｓ１３０９の処理を、構築対象サーバ１１毎に繰り返す（Ｓ１３０１）。
【００８２】
すなわち、まずステップＳ１３０２において、運用テスト管理サーバ２０は、分析項目テーブル８０を読み込み、この分析項目テーブル８０に基づいて、分析結果を設定するための分析結果設定用テーブル１４０を作成する（Ｓ１３０２）。
【００８３】
図１４は、本発明の実施形態の分析結果設定用テーブル１４０の一例を示す図である。分析結果設定用テーブル１４０とは、構築対象サーバ１１毎に作成され、対応する構築対象サーバ１１の分析結果を保存するためのテーブルである。なお、以下では図８と同様の構成要素には同一の符号を付して重複する説明を適宜省略する。
【００８４】
図１４に示す分析結果設定用テーブル１４０は、複数の分析対象８１と、各分析対象８１に対応する分析方法８２と、各分析対象８１に対応するＯＫ／ＮＧ条件８３と、各分析対象８１を当該分析対象８１に対応する分析方法８２によって分析した場合の計測値１４１と、定義書３０に定義された定義値１４２と、各分析対象８１について問題があるか否かを示す分析結果１４３とを含む。なお、この分析結果設定用テーブル１４０が作成された時点では、計測値１４１、定義値１４２及び分析結果１４３は空欄である。
【００８５】
図１３に戻り、ステップＳ１３０３に示すように、運用テスト管理サーバ２０は、ステップＳ１３０４〜Ｓ１３０９の処理を、分析項目テーブル８０に定義された分析項目の数（図８ではカラム８０１、８０２、８０３の３回）繰り返す（Ｓ１３０３）。以下、ステップＳ１３０４〜Ｓ１３０９の処理について説明する。
【００８６】
ステップＳ１３０４において、運用テスト管理サーバ２０は、ステップＳ１３０３で選択されたカラムにおける分析対象８１を、分析方法８２に従って分析する（Ｓ１３０４）。その後ステップＳ１３０５において、運用テスト管理サーバ２０は、分析によって得られる計測値と、定義書３０に定義された定義値とを、分析結果設定用テーブル１４０の計測値１４１、定義値１４２の欄にそれぞれ設定する（Ｓ１３０５）。
【００８７】
その後ステップＳ１３０６において、運用テスト管理サーバ２０は、設定された計測値１４及び定義値１４２と、ＯＫ／ＮＧ条件８３とに基づいて、分析結果がＯＫかＮＧかを確認する（Ｓ１３０６）。
【００８８】
その後ステップＳ１３０７において、運用テスト管理サーバ２０は、ステップＳ１３０６の確認結果がＯＫかＮＧかを判定する（Ｓ１３０７）。ＯＫの場合（Ｓ１３０７でＹＥＳ）、運用テスト管理サーバ２０は、分析結果１４３の欄に「○」を設定する（Ｓ１３０８）。一方、ＮＧの場合（Ｓ１３０７でＮＯ）、運用テスト管理サーバ２０は、分析結果１４３の欄に「×」を設定する（Ｓ１３０９）。
【００８９】
以上に示す処理により、運用テスト管理サーバ２０は、構築対象サーバ１１毎に問題を分析するとともに、構築対象サーバ１１毎に作成した分析結果設定用テーブル１４０の中に各構築対象サーバ１１の分析結果を設定している。
【００９０】
図１５は、図２のステップＳ１５の問題・原因・解決方法の表示情報作成の制御ロジックを示すフローチャートである。ここでは、図２のＳ１５の具体的な動作について説明する。
【００９１】
まずステップＳ１５０１に示すように、運用テスト管理サーバ２０は、問題・原因・解決方法の情報を格納するための問題・原因・解決方法格納用テーブル１６０を作成する（Ｓ１５０１）。
【００９２】
図１６は、本発明の実施形態の問題・原因・解決方法格納用テーブル１６０の一例を示す図である。問題・原因・解決方法格納用テーブル１６０とは、利用者端末３に表示すべき問題・原因・解決方法の情報（図１１の表示内容１１２等参照）を生成するためのテーブルである。
【００９３】
図１６に示す問題・原因・解決方法格納用テーブル１６０は、分析対象の対象サーバ１６１と、分析対象１６２と、計測値１６３と、定義値１６４と、原因項目１６５と、解決方法項目１６６とを含む。なお、この問題・原因・解決方法格納用テーブル１６０が作成された時点では、各欄１６１〜１６６は空欄である。
【００９４】
その後ステップＳ１５０２に示すように、運用テスト管理サーバ２０は、ステップＳ１５０３〜Ｓ１５１０の処理を、構築対象サーバ１１毎に繰り返す（Ｓ１５０２）。
【００９５】
すなわち、まずステップＳ１５０３において、運用テスト管理サーバ２０は、対象の構築対象サーバ１１の分析結果設定用テーブル１４０を読み込む（Ｓ１５０３）。その後ステップＳ１５０４に示すように、運用テスト管理サーバ２０は、ステップＳ１５０５〜Ｓ１５１０の処理を、分析結果設定用テーブル１４０の分析項目の数（図１４ではカラム１４０１、１４０２、１４０３の３回）繰り返す（Ｓ１５０４）。以下、ステップＳ１５０５〜Ｓ１５１０の処理について説明する。
【００９６】
ステップＳ１５０５において、運用テスト管理サーバ２０は、分析結果設定用テーブル１４０から、ステップＳ１５０４で選択されたカラムにおける分析結果１４３の値を取得する（Ｓ１５０５）。その後ステップＳ１５０６において、運用テスト管理サーバ２０は、取得された分析結果１４３の値が「○」であるか又は「×」であるかを判定する（Ｓ１５０６）。
【００９７】
ステップＳ１５０６において「○」の場合（Ｓ１５０６でＹＥＳ）、ステップＳ１５０４に戻って、次の分析項目について処理を繰り返す。一方、「×」の場合（Ｓ１５０６でＮＯ）、ステップＳ１５０７に進む。
【００９８】
ステップＳ１５０７に進むと、運用テスト管理サーバ２０は、分析結果設定用テーブル１４０から、ステップＳ１５０４で選択されたカラムにおける分析対象８１、計測値１４１及び定義値１４２を取得する（Ｓ１５０７）。その後、問題・原因・解決方法テーブル９０を読み込み（Ｓ１５０８）、読み込まれた問題・原因・解決方法テーブル９０から、該当する行（カラム）を取得する（Ｓ１５０９）。
【００９９】
例えばステップＳ１５０７で取得された分析対象８１がカラム１４０２のＦｕｌｌＧＣ累積回数の場合、ステップＳ１５０９では、ＦｕｌｌＧＣ累積回数に関するカラム９０２が取得される。また、ステップＳ１５０７で取得された分析対象８１がカラム１４０１のＣＰＵ使用率の場合、ステップＳ１５０９では、ＣＰＵ使用率に関するカラム９０１が取得される。
【０１００】
その後ステップＳ１５１０において、運用テスト管理サーバ２０は、分析結果設定用テーブル１４０の情報（分析対象８１、計測値１４１及び定義値１４２）と、問題・原因・解決方法テーブル９０の情報（原因項目９２、解決方法項目９３）とを、問題・原因・解決方法格納用テーブル１６０の分析対象１６２、計測値１６３、定義値１６４、原因項目１６５、解決方法項目１６６にそれぞれ設定する（Ｓ１５１０）。
【０１０１】
以上に示す処理により、運用テスト管理サーバ２０は、分析結果設定用テーブル１４０の中に設定された各構築対象サーバ１１の分析結果と、問題・原因・解決方法テーブル９０に設定された問題・原因・解決方法の対応付け情報とに基づいて、利用者端末３に表示すべき問題・原因・解決方法の情報（図１１の表示内容１１２等参照）を生成している。
【０１０２】
以上のように、本実施形態のシステムのテスト方法によれば、運用テスト環境１０上にテスト対象のシステムを自動的に構築することができる。また、運用テスト環境１０における問題の分析と、問題の発見と、発見された問題に対する解決方法の利用者端末３への提示とを自動的に実施することができる。さらには、ユーザに解決方法の選択を促し、ユーザによって選択された解決方法を満たす定義書３０を自動的に作成し、作成された定義書３０に基づいて、再テストを実行することが可能になる。
【０１０３】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一つを示したものであり、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【０１０４】
１ 計算機システム
３ 利用者端末
１０ 運用テスト環境
１１ 構築対象サーバ
２０ 運用テスト管理サーバ
３０ 定義書
４０ テスト条件
５０ 定義ファイル
６０ 構築スクリプト
７０ 稼働情報
８０ 分析項目対応テーブル
９０ 問題・原因・解決方法テーブル
１００ テスト履歴プール
１４０ 分析結果設定用テーブル
１６０ 問題・原因・解決方法格納用テーブル
２１０ システム構築処理部
２２０ テスト実行・分析処理部
【技術分野】
【０００１】
本発明は、テスト方法、テスト管理サーバ及びテスト管理プログラムに関する。
【背景技術】
【０００２】
業務システム等のシステムを開発する際、構築されたシステムの性能や信頼性をテストすることによって、システムの問題を発見し、発見された問題に対する解決方法を策定することが重要である（特許文献１参照）。
【０００３】
特許文献１には、アプリケーションプログラムの開発に関し、対話形式でユーザから指摘された不具合箇所とプログラムの実行履歴情報とから、不具合要因と解決策を特定し、特定された不具合要因や解決策をユーザに提示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２４９８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術では、ユーザが手動で不具合箇所を指摘しなければならないため、テストに係るユーザの負担が重い問題があった。また、同技術は、アプリケーションプログラムの開発に対する仕組みであって、業務システム等のシステムの開発に対してはそのまま適用できなかった。
【０００６】
本発明は、上述した課題を考慮したものであって、テストに係るユーザの負担を低減するシステムのテスト方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
【０００８】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、１以上のテスト用サーバを備えたテスト環境と、前記テスト環境にネットワークを介して接続され、前記テスト環境において動作するテスト対象システムの動作テストを管理するテスト管理サーバとを備えた計算機システムにおけるテスト方法であって、前記１以上のテスト用サーバ及び前記テスト管理サーバの各々は、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリとを備え、前記テスト管理サーバは、前記動作テストにおいて分析すべき分析対象と、前記分析対象についての分析方法と、前記分析対象の分析に係る基準情報とが対応付けられた分析項目テーブルを有し、前記方法は、前記テスト管理サーバが、前記テスト対象システムの動作設定が定義された定義書に基づいて、前記テスト用サーバに前記テスト対象システムを構築する手順と、前記テスト管理サーバが、前記テスト対象システムのテスト内容が定義されたテスト条件に基づいて、前記テスト対象システムを稼働させる手順と、前記テスト環境が、前記テスト対象システムの稼働状況を示す稼働情報を、前記テスト管理サーバに送信する手順と、前記テスト管理サーバが、受信した前記稼働情報を、前記分析項目テーブルに設定された分析方法によって分析し、分析結果が当該分析方法に対応付けられた前記基準情報を満たすか否かを判断する手順と、前記テスト管理サーバが、前記判断する手順による判断結果を出力する手順と、を含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、テストに係るユーザの負担を低減することができる。
【００１０】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態の計算機システムの構成例を示す図である。
【図２】本発明の実施形態の計算機システムの全体動作を説明するフローチャートである。
【図３】本発明の実施形態の定義書の一例を示す図である。
【図４】本発明の実施形態のテスト条件の一例を示す図である。
【図５】本発明の実施形態の定義ファイルの一例を示す図である。
【図６】本発明の実施形態の構築スクリプトの一例を示す図である。
【図７】本発明の実施形態の稼働情報の一例を示す図である。
【図８】本発明の実施形態の分析項目テーブルの一例を示す図である。
【図９】本発明の実施形態の問題・原因・解決方法テーブルの一例を示す図である。
【図１０】本発明の実施形態のテスト履歴プールの一例を示す図である。
【図１１】本発明の実施形態の利用者端末に表示される画面の一例を示す図である。
【図１２】本発明の実施形態の利用者端末に表示される画面の他の例を示す図である。
【図１３】図２のステップＳ１３の問題分析の制御ロジックを示すフローチャートである。
【図１４】本発明の実施形態の分析結果設定用テーブルの一例を示す図である。
【図１５】図２のステップＳ１５の問題・原因・解決方法の表示情報作成の制御ロジックを示すフローチャートである。
【図１６】本発明の実施形態の問題・原因・解決方法格納用テーブルの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。
【００１３】
図１は、本発明の実施形態の計算機システム１の構成例を示す図である。図１に示す計算機システム１は、ＬＡＮ（Local Area Network）等のネットワーク４を介して互いに接続された運用テスト環境１０、運用テスト管理サーバ２０、複数の利用者端末３を備える。
【００１４】
運用テスト環境１０は、この計算機システム１においてテストを実施するためのテスト環境である。この運用テスト環境１０は、複数の構築対象サーバ１１−１、…、１１−Ｎによって構成される。これら構築対象サーバ１１−１、…、１１−Ｎの各々は、運用テスト環境１０に構築された仮想サーバである。各構築対象サーバ１１−ｉ（ｉ＝１〜Ｎの整数）は、メモリ（仮想メモリ）１２−ｉ、ＣＰＵ（Central Processing Unit）（仮想ＣＰＵ）１３−ｉ、インターフェース（仮想インターフェース）１４−ｉ、ディスクドライブ（仮想ドライブ）１５−ｉを備える計算機である。なお、以下では、前述した各構成要素を、単に、構築対象サーバ１１、メモリ１２、ＣＰＵ１３、インターフェース１４、ディスクドライブ１５という。また、構築対象サーバ１１は仮想サーバである場合を説明するが、仮想サーバでなくてもよい。
【００１５】
メモリ１２は、構築対象サーバ１１の起動時にディスクドライブ１５に記憶されたプログラムを読み出して記憶するＲＡＭ（Random Access Memory）等の記憶装置である。このメモリ１２は、プログラムの実行に必要なファイル、データ等も記憶する。ＣＰＵ１３は、メモリ１２に格納されたプログラムを実行する演算処理装置である。インターフェース１４は、外部ネットワーク等に接続するためのインターフェース装置である。ディスクドライブ１５は、プログラムやファイル、データ等を記憶するＨＤＤ等の記憶装置である。このディスクドライブ１５には、定義ファイル５０、構築スクリプト６０、稼働情報７０が記憶される。各々の情報の詳細については後述する。
【００１６】
運用テスト管理サーバ２０は、運用テスト環境１０を管理するためのコンピュータ装置である。この運用テスト管理サーバ２０は、メモリ２１、ＣＰＵ２２、インターフェース２３、ディスクドライブ２４を備える。
【００１７】
メモリ２１は、運用テスト管理サーバ２０の起動時にディスクドライブ２４に記憶されたプログラムを読み出して記憶するＲＡＭ等の記憶装置である。このメモリ２１は、プログラムの実行に必要なファイル、データ等も記憶する。
【００１８】
ＣＰＵ２２は、メモリ２１に格納されたプログラム（運用テスト環境１０にテスト環境を構築するシステム構築処理部２１０、運用テスト環境１０においてテストを実行させ、テスト結果を分析するテスト実行・分析処理部２２０を含む）を実行する演算処理装置である。インターフェース２３は、外部ネットワーク等に接続するためのインターフェース装置である。ディスクドライブ２４は、プログラムやファイル、データ等を記憶するＨＤＤ等の記憶装置である。このディスクドライブ２４には、分析項目テーブル８０、問題・原因・解決方法テーブル９０、テスト履歴プール１００が記憶される。各々の情報の詳細については後述する。
【００１９】
利用者端末３−１、…、３−Ｍは、ユーザが利用するコンピュータ装置である。利用者端末３−ｊ（ｊ＝１〜Ｍの整数）は、主記憶装置、ＣＰＵ、インターフェース装置、ディスクドライブ、入力装置（キーボード、マウス等）、出力装置（表示ディスプレイ等）を備える（いずれも不図示）。なお、以降の説明においては、利用者端末３−１、…、３−Ｍを、単に、利用者端末３という。
【００２０】
図２は、本発明の実施形態の計算機システム１の全体動作を説明するフローチャートである。ここでは、計算機システム１のシステム全体の動作について説明する。
【００２１】
まずステップＳ１において、ユーザは、利用者端末３上で定義書３０、テスト条件４０、業務アプリを入力する（Ｓ１）。なお、ここでいう業務アプリとは、運用テスト環境１０上でテスト対象の業務システムを動作させるアプリケーションソフトウェアである。そうすると、利用者端末３は、入力された定義書３０、テスト条件４０、業務アプリを運用テスト管理サーバ２０に送信する（Ｓ２）。
【００２２】
その後ステップＳ３において、運用テスト管理サーバ２０のシステム構築処理部２１０は、受信した定義書３０に基づいて運用テスト環境１０の構築を開始する（Ｓ３）。具体的には、受信した定義書３０に基づいて定義ファイル５０を作成する。
【００２３】
その後ステップＳ４において、作成された定義ファイル５０及び構築スクリプト６０を運用テスト環境１０に送信する（Ｓ４）。そうすると、運用テスト環境１０は、受信した定義ファイル５０、構築スクリプト６０に基づいてテスト環境を構築する（Ｓ５）。
【００２４】
その後、システム構築処理部２１０は、ステップＳ２で受信した業務アプリを運用テスト環境１０に組み込む（Ｓ６）。すなわち、業務アプリを運用テスト環境１０に送信する（Ｓ７）。そうすると、運用テスト環境１０は、受信した業務アプリを組み込む（インストールする）（Ｓ８）。
【００２５】
その後ステップＳ９において、運用テスト管理サーバ２０のテスト実行・分析処理部２２０は、ステップＳ２で受信したテスト条件４０に基づいて運用テスト環境１０を稼働させる（Ｓ９）。そうすると、運用テスト環境１０は起動し（Ｓ１０）、稼働状態になる（Ｓ１１）。
【００２６】
以上説明したステップＳ１〜Ｓ１１の処理により、運用テスト環境１０上にテスト対象のシステムを自動的に構築することができる。これにより、本番環境でテストを実施することによるコストやリスクを低減することができる。
【００２７】
その後ステップＳ１２において、運用テスト環境１０は、稼働情報７０を運用テスト管理サーバ２０に送信する（Ｓ１２）。そうすると、テスト実行・分析処理部２２０は、受信した稼働情報７０と、ディスクドライブ２４に記憶されたテスト履歴プール１００とに基づいて、問題を分析する（Ｓ１３）。ステップＳ１３の処理については詳細に後述する。
【００２８】
その後ステップＳ１４において、テスト実行・分析処理部２２０は、受信した稼働情報７０及びステップＳ１３の分析結果をテスト履歴プール１００に保存する（Ｓ１４）。その後、ステップＳ１３の分析結果と、ディスクドライブ２４に記憶された問題・原因・解決方法テーブル９０とに基づいて、ユーザに提示すべき問題・原因・解決方法の表示情報を作成する（Ｓ１５）。ステップＳ１５の処理については詳細に後述する。
【００２９】
その後ステップＳ１６において、テスト実行・分析処理部２２０は、ステップＳ１５で作成された問題・原因・解決方法の表示情報を、テスト履歴プール１００に保存する（Ｓ１６）。その後、ステップＳ１５で作成された問題・原因・解決方法の表示情報と、テスト履歴プール１００に保存された情報とを、表示情報として利用者端末３に送信する（Ｓ１７）。そうすると、利用者端末３は、受信した表示情報を表示する（Ｓ１８）。
【００３０】
以上説明したステップＳ１２〜Ｓ１８の処理により、運用テスト管理サーバ２０は、運用テスト環境１０における問題の分析と、問題の発見と、発見された問題に対する解決方法の利用者端末３への提示とを自動的に実施することができる。
【００３１】
その後ステップＳ１９において、ユーザは、利用者端末３の表示画面上で１つ以上の解決方法を選択する（Ｓ１９）。そうすると、利用者端末３は、ユーザによって選択された解決方法の情報を、運用テスト管理サーバ２０に送信する（Ｓ２０）。
【００３２】
その後ステップＳ２１において、テスト実行・分析処理部２２０は、受信した解決方法を満たす定義書３０（修正された定義書３０）を作成する（Ｓ２１）。また、受信した解決方法の情報及び作成された定義書３０をテスト履歴プール１００に保存する（Ｓ２２）。
【００３３】
その後ステップＳ２３において、テスト実行・分析処理部２２０は、再構築（手動）か再構築（自動）か再構築しないかを判定する（Ｓ２３）。再構築（手動）の場合（Ｓ２３でＹＥＳ（手動））、利用者端末３は、ステップＳ２１で作成された定義書３０をダウンロードし（Ｓ２４）、ステップＳ１に戻って処理を繰り返す。再構築（自動）の場合（Ｓ２３でＹＥＳ（自動））、運用テスト管理サーバ２０は、Ｓ３に戻って処理を繰り返す。一方、再構築しない場合（Ｓ２３でＮＯ）、運用テスト管理サーバ２０は、処理を終了する。
【００３４】
以上説明したステップＳ１９〜Ｓ２３の処理により、運用テスト管理サーバ２０は、ユーザに解決方法の選択を促し、ユーザによって選択された解決方法を満たす定義書３０を自動的に作成することができる。これにより、作成された定義書３０に基づいて、再テストを実施することも可能になる。
【００３５】
なお、ステップＳ２３又はＳ２４以降一連の処理を繰り返す場合、ステップＳ２１で作成された定義書３０が複数ある場合には、定義書３０と同数の構築対象サーバ（仮想サーバ）１１のそれぞれを、各々の定義書３０に基づいて構築してもよい。
【００３６】
図３は、本発明の実施形態の定義書３０の一例を示す図である。定義書３０とは、システムに要求される性能（要件）、システムの動作設定が定義されたファイルである。図３に示す定義書３０は、複数の項目３１と、各項目３１に対する設定値３２とを含む。
【００３７】
カラム３０１には、１秒あたりのリクエスト数は最低１０件である、というシステムの要求性能が定義されている。カラム３０２には、ＣＰＵ使用率は最大７０％である、というシステムの要求性能が定義されている。カラム３０３には、１セッションあたりの使用メモリサイズは最大１ＭＢである、というシステムの要求性能が定義されている。カラム３０４には、同時ログイン数は最低１０人である、というシステムの要求性能が定義されている。カラム３０５には、ＦｕｌｌＧＣの累積回数は最大５回である、というシステムの要求性能が定義されている。一方、カラム３０６には、Ｊａｖａ(登録商標、以下同じ）ヒープ領域のうちのＮｅｗ領域のサイズは２５６ＭＢである、というシステムの動作設定が定義されている。
【００３８】
以上のように定義書３０には、システムに要求される性能、システムの動作設定が定義される。なお、定義される情報は、図３に示す情報に限定されるものではない。
【００３９】
図４は、本発明の実施形態のテスト条件４０の一例を示す図である。テスト条件４０とは、運用テスト環境１０のテスト条件が定義されたファイルである。図４に示すテスト条件４０は、複数の項目４１と、各項目４１に対する設定値４２とを含む。
【００４０】
カラム４０１には、負荷条件が定義される。図４に示す例では、１回の繰り返しにおける負荷を与える処理の実行数が５回であり、1回の繰り返しにおける時間が１０秒であり、繰り返し回数が１００回であること、すなわち、１０秒間に５回負荷を与える処理を１００回繰り返す、という負荷条件が定義されている。
【００４１】
一方、カラム４０２には、負荷内容が定義される。図４に示す例では、負荷１として、１９２．１６８．１０２．１のサーバ名（又はＩＰアドレス）で示されるサーバの８０番ポートに対して、カラム４０２に示す各種パラメータを送信する、という負荷内容が定義されている。
【００４２】
以上のようにテスト条件４０には、運用テスト環境１０のテスト条件が定義される。なお、定義される情報は、図４に示す情報に限定されるものではない。
【００４３】
図５は、本発明の実施形態の定義ファイル５０の一例を示す図である。定義ファイル５０とは、定義書３０を運用テスト環境１０が処理可能なデータ形式に変更したファイルである。この定義ファイル５０は、図２のステップＳ３において生成される。
【００４４】
図５（ａ）に示すようなプロパティファイル形式、図５（ｂ）に示すようなＸＭＬファイル形式が例として挙げられるが、運用テスト環境１０が処理可能なデータ形式であればその他のデータ形式であってもよい。
【００４５】
図６は、本発明の実施形態の構築スクリプト６０の一例を示す図である。構築スクリプト６０は、運用テスト環境１０において各構築対象サーバ１１−１〜１１−Ｎの構築に必要なコマンドを自動的に実行するためのファイルである。図６に示す例では、構築スクリプト６０はバッチファイル（スクリプト）で示される。
【００４６】
図７は、本発明の実施形態の稼働情報７０の一例を示す図である。稼働情報７０とは、運用テスト環境１０をテスト条件４０に従って稼働させた場合の稼働状況を示す情報が記録されたファイルである。図７に示すように、稼働情報７０は、アクセスログ７１、ＣＰＵ使用率ログ７２、ＪａｖａＶＭログ７３を含む。
【００４７】
アクセスログ７１には、運用テスト環境１０において発生する各リクエストの開始時間、各リクエストの内容、各リクエストの処理時間（単位：秒）が記録される。ＣＰＵ使用率ログ７２には、各時刻におけるＣＰＵの使用率が記録される。ＪａｖａＶＭログ７３には、ＧＣ（Garbage Collection）やＦｕｌｌＧＣ等が生じた時間、その際の使用メモリサイズの変化量が記録される。
【００４８】
以上のように稼働情報７０には、運用テスト環境１０をテスト条件４０に従って稼働させた場合の稼働状況を示す情報が記録される。なお、記録される情報は、図７に示す情報に限定されるものではない。
【００４９】
図８は、本発明の実施形態の分析項目テーブル８０の一例を示す図である。分析項目テーブル８０とは、図２のステップＳ１３において問題の分析に用いられるデータである。図８に示す分析項目テーブル８０は、複数の分析対象８１と、各分析対象８１に対応する分析方法８２と、各分析対象８１に対応するＯＫ／ＮＧ条件８３とを含む。
【００５０】
カラム８０１には、分析対象８１がＪ２ＥＥサーバである場合の分析方法８２として、Ｊ２ＥＥサーバの状態を確認することが定義されている。また、ＯＫ／ＮＧ条件８３として、Ｊ２ＥＥサーバが開始状態である場合にはＯＫを返し、すなわちＪ２ＥＥサーバには問題がないと判定し、Ｊ２ＥＥサーバが開始状態でない場合にはＮＧを返す、すなわちＪ２ＥＥサーバには問題があると判定することが定義されている。
【００５１】
カラム８０２には、分析対象８１がＦｕｌｌＧＣ累積回数である場合の分析方法８２として、ＪａｖａＶＭログ７３を分析し、ＦｕｌｌＧＣの累積回数を確認し、定義書３０の設定値と比較することが定義されている。また、ＯＫ／ＮＧ条件８３として、ＦｕｌｌＧＣ累積回数が定義書３０の設定値以下である場合には、システムの要求性能を満たすのでＯＫを返し、定義書３０の設定値より大きい場合には、システムの要求性能を満たさないのでＮＧを返すことが定義されている。
【００５２】
カラム８０３には、分析対象８１がＣＰＵ使用率である場合の分析方法８２として、ＣＰＵ使用率ログ７２を分析し、ＣＰＵ使用率のピーク値を取得し、定義書３０の設定値と比較することが定義されている。また、ＯＫ／ＮＧ条件８３として、ＣＰＵ使用率のピーク値が定義書３０の設定値以下である場合には、システムの要求性能を満たすのでＯＫを返し、定義書３０の設定値より大きい場合には、システムの要求性能を満たさないのでＮＧを返すことが定義されている。
【００５３】
以上のように分析項目テーブル８０には、運用テスト管理サーバ２０が問題を分析する際の分析項目がリスト化されている。なお、リスト化される情報は、図８に示す情報に限定されるものではない。
【００５４】
図９は、本発明の実施形態の問題・原因・解決方法テーブル９０の一例を示す図である。問題・原因・解決方法テーブル９０とは、図２のステップＳ１５において用いられるデータである。図９に示す問題・原因・解決方法テーブル９０では、複数の問題９１と、各問題９１に対応する原因項目９２と、各原因項目９２に対応する解決方法項目９３とを含む。
【００５５】
問題９１には、分析項目テーブル８０にリスト化された各分析項目（図８では、カラム８０１〜８０３）に対応する問題が定義されている。原因項目９２には、各問題９１に対応する１以上の原因が、優先度付きで定義されている。解決方法項目９３には、各原因項目９２に対する１以上の解決方法が、優先度付きで定義されている。
【００５６】
カラム９０１には、ＣＰＵ使用率が設定値よりも大きいという問題（図８のカラム８０３に対応する問題）に対する原因として、ＦｕｌｌＧＣの発生間隔が短いこと（優先度１）及び最大同時実行数が大きいこと（優先度２）が定義されている。また、これらの原因の各々に対する解決方法として、♯２（カラム９０２の各解決方法へのリンク）、実行待ちキューサイズを小さくすることが定義されている。なお、解決方法項目９３の「定義書作成」の欄は、「解決方法」の欄に示す解決方法に基づいて定義書３０を自動生成できるか否かを示す情報である。
【００５７】
カラム９０２には、ＦｕｌｌＧＣ累積回数が大きいという問題（図８のカラム８０２に対応する問題）に対する原因及び各原因に対する解決方法が定義されている。
【００５８】
以上のように問題・原因・解決方法テーブル９０には、運用テスト環境１０の問題・原因・解決方法が、分析項目テーブル８０に対応付けて設定される。運用テスト管理サーバ２０は、図２のステップＳ１５において、この問題・原因・解決方法テーブル９０を用いることによって、分析結果に応じた問題・原因・解決方法の表示情報を作成することができる。
【００５９】
図１０は、本発明の実施形態のテスト履歴プール１００の一例を示す図である。テスト履歴プール１００とは、運用テスト環境１０のテスト結果等の各種情報を保存するためのテーブルである。図１０に示すテスト履歴プール１００は、テスト名１０１と、前回選択した解決方法１０２と、稼働情報１０３と、分析結果１０４と、問題・原因・解決方法１０５と、今回選択した解決方法１０６と、作成された定義書１０７とを含む。
【００６０】
テスト名１０１には、各テストを一意に識別するための識別子が格納される。カラム１００１には、初回のテストとして、「初回テスト」が格納される。一方、カラム８０２〜８０７には、「（テスト対象の構築対象サーバＩＤ）_（前回選択された解決方法のＩＤ）_（ｎ回目のテスト）」が格納される。
【００６１】
例えばカラム１００２に示すテストは、カラム１００１に示す初回テストを実行後にユーザによって選択された解決方法「１_＃３−１−１」（カラム１００１の今回選択した解決方法１０６の欄を参照）を、運用テスト環境１０に反映させた後に実行する２回目のテストである。そのため、カラム１００２のテスト名１０１には、「１_＃３−１−１_２」が格納される。同様に、カラム１００３に示すテストは、カラム１００２に示す２回目のテストを実行後にユーザによって選択された解決方法「１_＃２−１−１」（カラム１００２の今回選択した解決方法１０６の欄を参照）を、運用テスト環境１０に反映させた後に実行する３回目のテストである。そのため、カラム１００３のテスト名１０１には、「１_＃２−１−１_３」が格納される。
【００６２】
前回選択した解決方法１０２には、テスト名１０１で示すテストの前回のテスト（例えばカラム１００２のテストであれば、カラム１００１のテスト）において選択された解決方法が格納される。
【００６３】
稼働情報１０３には、テスト名１０１で示すテストを実行した場合に、図２のステップＳ１２で運用テスト管理サーバ２０が受信する稼働情報７０に対するファイルパスが格納される。
【００６４】
分析結果１０４には、テスト名１０１で示すテストを実行した場合に、図２のステップＳ１３で作成される分析結果設定用テーブル１４０（図１４を用いて詳細に後述）が格納される。
【００６５】
問題・原因・解決方法１０５には、テスト名で示すテストを実行した場合に、図２のステップＳ１５で作成される問題・原因・解決方法格納用テーブル１６０（図１６を用いて詳細に後述）が格納される。
【００６６】
今回選択された解決方法１０６には、テスト名で示すテストを実行した場合に、図２のステップＳ１９で選択された１以上の解決方法が格納される。
【００６７】
作成された定義書１０７には、テスト名で示すテストを実行した場合に、図２のステップＳ２１で作成された定義書３０に対するファイルパスが格納される。
【００６８】
以上のように、テスト履歴プール１００には、運用テスト環境１０のテスト結果等の各種情報が、テスト間で関連付けられて格納される。
【００６９】
図１１は、本発明の実施形態の利用者端末３に表示される画面１１０の一例を示す図である。この画面１１０は、図２のステップＳ１８において利用者端末３上に表示される。この画面１１０は、選択部１１１と、表示内容１１２と、チェックボックス１１３と、ボタン１１４、１１５とを含む。
【００７０】
選択部１１１は、ユーザが利用者端末３に表示させたい内容を選択するために設けられている。図１１に示す例では、運用テスト環境Ａの「解決方法」が選択されている。なお、「テスト履歴」が選択された場合については、図１２を用いて後述する。
【００７１】
表示内容１１２には、選択部１１１における選択に対応する内容（ここでは、問題・原因・解決方法格納用テーブル１６０）が表示される。
【００７２】
チェックボックス１１３は、利用者端末３上でユーザが１以上の解決方法を選択するために設けられ、解決方法毎にチェック可能なチェックボックスである。なお、解決方法を選択できないもの（定義書３０を自動生成できないもの）については、選択不可になっている。ユーザは１以上の解決方法を選択し、マウス等の入力装置を用いてチェックすることができる。
【００７３】
ボタン１１４は、ユーザによって選択された解決方法に基づいて生成される定義書３０をダウンロードするためのボタンである。このボタン１１４を押下すると、図２のステップＳ２３において、ＹＥＳ（手動）に処理が進む。一方、ボタン１１５は、再テストを実行するためのボタンである。このボタン１１５を押下すると、図２のステップＳ２３において、ＹＥＳ（自動）に処理が進む。
【００７４】
以上のような画面１１０を利用者端末３上に表示させることにより、運用テスト管理サーバ２０は、ユーザに解決方法の選択を促す。また、ユーザによって選択された解決方法を満たす定義書３０を自動的に作成し、作成された定義書３０を利用者端末３にダウンロードさせたり、作成された定義書３０に基づいて再テストを実行したりすることが可能になる。
【００７５】
図１２は、本発明の実施形態の利用者端末３に表示される画面１２０の他の例を示す図である。この画面１２０は、図２のステップＳ１８において利用者端末３上に表示される。なお、以下では図１１と同様の構成要素には同一の符号を付して重複する説明を適宜省略する。
【００７６】
図１２に示す画面１２０は、選択部１１１、１２１と、表示内容１１２、１２２と、チェックボックス１１３と、ボタン１１４、１１５とを含む。
【００７７】
選択部１１１は、ユーザが利用者端末３に表示させたい内容を選択するために設けられている。図１２に示す例では、運用テスト環境Ａの「テスト履歴」が選択されている。また選択部１２１が、ユーザが利用者端末３に表示させたいテスト履歴を選択するために設けられている。図１２に示す例では、「１_＃３−１−１_２（２回目のテスト）」が選択されている。
【００７８】
表示内容１１２には、選択部１１１における選択に対応する内容（ここでは、２回目のテストに係る問題・原因・解決方法格納用テーブル１６０）が表示される。また表示内容１２２には、前回のテスト（ここでは、初回のテスト）で選択した解決方法に関する情報が表示される。
【００７９】
以上のような画面１１０を利用者端末３上に表示させることにより、運用テスト管理サーバ２０は、ユーザに解決方法の選択を促す。なお、前述の図１１に示す画面１１０と異なり、過去のテスト履歴を表示することによって、ユーザは過去のテスト履歴を参考にした上で、最適な解決方法を選択することができる。
【００８０】
図１３は、図２のステップＳ１３の問題分析の制御ロジックを示すフローチャートである。ここでは、図２のステップＳ１３の具体的な動作について説明する。
【００８１】
まずステップＳ１３０１に示すように、運用テスト管理サーバ２０は、ステップＳ１３０２〜Ｓ１３０９の処理を、構築対象サーバ１１毎に繰り返す（Ｓ１３０１）。
【００８２】
すなわち、まずステップＳ１３０２において、運用テスト管理サーバ２０は、分析項目テーブル８０を読み込み、この分析項目テーブル８０に基づいて、分析結果を設定するための分析結果設定用テーブル１４０を作成する（Ｓ１３０２）。
【００８３】
図１４は、本発明の実施形態の分析結果設定用テーブル１４０の一例を示す図である。分析結果設定用テーブル１４０とは、構築対象サーバ１１毎に作成され、対応する構築対象サーバ１１の分析結果を保存するためのテーブルである。なお、以下では図８と同様の構成要素には同一の符号を付して重複する説明を適宜省略する。
【００８４】
図１４に示す分析結果設定用テーブル１４０は、複数の分析対象８１と、各分析対象８１に対応する分析方法８２と、各分析対象８１に対応するＯＫ／ＮＧ条件８３と、各分析対象８１を当該分析対象８１に対応する分析方法８２によって分析した場合の計測値１４１と、定義書３０に定義された定義値１４２と、各分析対象８１について問題があるか否かを示す分析結果１４３とを含む。なお、この分析結果設定用テーブル１４０が作成された時点では、計測値１４１、定義値１４２及び分析結果１４３は空欄である。
【００８５】
図１３に戻り、ステップＳ１３０３に示すように、運用テスト管理サーバ２０は、ステップＳ１３０４〜Ｓ１３０９の処理を、分析項目テーブル８０に定義された分析項目の数（図８ではカラム８０１、８０２、８０３の３回）繰り返す（Ｓ１３０３）。以下、ステップＳ１３０４〜Ｓ１３０９の処理について説明する。
【００８６】
ステップＳ１３０４において、運用テスト管理サーバ２０は、ステップＳ１３０３で選択されたカラムにおける分析対象８１を、分析方法８２に従って分析する（Ｓ１３０４）。その後ステップＳ１３０５において、運用テスト管理サーバ２０は、分析によって得られる計測値と、定義書３０に定義された定義値とを、分析結果設定用テーブル１４０の計測値１４１、定義値１４２の欄にそれぞれ設定する（Ｓ１３０５）。
【００８７】
その後ステップＳ１３０６において、運用テスト管理サーバ２０は、設定された計測値１４及び定義値１４２と、ＯＫ／ＮＧ条件８３とに基づいて、分析結果がＯＫかＮＧかを確認する（Ｓ１３０６）。
【００８８】
その後ステップＳ１３０７において、運用テスト管理サーバ２０は、ステップＳ１３０６の確認結果がＯＫかＮＧかを判定する（Ｓ１３０７）。ＯＫの場合（Ｓ１３０７でＹＥＳ）、運用テスト管理サーバ２０は、分析結果１４３の欄に「○」を設定する（Ｓ１３０８）。一方、ＮＧの場合（Ｓ１３０７でＮＯ）、運用テスト管理サーバ２０は、分析結果１４３の欄に「×」を設定する（Ｓ１３０９）。
【００８９】
以上に示す処理により、運用テスト管理サーバ２０は、構築対象サーバ１１毎に問題を分析するとともに、構築対象サーバ１１毎に作成した分析結果設定用テーブル１４０の中に各構築対象サーバ１１の分析結果を設定している。
【００９０】
図１５は、図２のステップＳ１５の問題・原因・解決方法の表示情報作成の制御ロジックを示すフローチャートである。ここでは、図２のＳ１５の具体的な動作について説明する。
【００９１】
まずステップＳ１５０１に示すように、運用テスト管理サーバ２０は、問題・原因・解決方法の情報を格納するための問題・原因・解決方法格納用テーブル１６０を作成する（Ｓ１５０１）。
【００９２】
図１６は、本発明の実施形態の問題・原因・解決方法格納用テーブル１６０の一例を示す図である。問題・原因・解決方法格納用テーブル１６０とは、利用者端末３に表示すべき問題・原因・解決方法の情報（図１１の表示内容１１２等参照）を生成するためのテーブルである。
【００９３】
図１６に示す問題・原因・解決方法格納用テーブル１６０は、分析対象の対象サーバ１６１と、分析対象１６２と、計測値１６３と、定義値１６４と、原因項目１６５と、解決方法項目１６６とを含む。なお、この問題・原因・解決方法格納用テーブル１６０が作成された時点では、各欄１６１〜１６６は空欄である。
【００９４】
その後ステップＳ１５０２に示すように、運用テスト管理サーバ２０は、ステップＳ１５０３〜Ｓ１５１０の処理を、構築対象サーバ１１毎に繰り返す（Ｓ１５０２）。
【００９５】
すなわち、まずステップＳ１５０３において、運用テスト管理サーバ２０は、対象の構築対象サーバ１１の分析結果設定用テーブル１４０を読み込む（Ｓ１５０３）。その後ステップＳ１５０４に示すように、運用テスト管理サーバ２０は、ステップＳ１５０５〜Ｓ１５１０の処理を、分析結果設定用テーブル１４０の分析項目の数（図１４ではカラム１４０１、１４０２、１４０３の３回）繰り返す（Ｓ１５０４）。以下、ステップＳ１５０５〜Ｓ１５１０の処理について説明する。
【００９６】
ステップＳ１５０５において、運用テスト管理サーバ２０は、分析結果設定用テーブル１４０から、ステップＳ１５０４で選択されたカラムにおける分析結果１４３の値を取得する（Ｓ１５０５）。その後ステップＳ１５０６において、運用テスト管理サーバ２０は、取得された分析結果１４３の値が「○」であるか又は「×」であるかを判定する（Ｓ１５０６）。
【００９７】
ステップＳ１５０６において「○」の場合（Ｓ１５０６でＹＥＳ）、ステップＳ１５０４に戻って、次の分析項目について処理を繰り返す。一方、「×」の場合（Ｓ１５０６でＮＯ）、ステップＳ１５０７に進む。
【００９８】
ステップＳ１５０７に進むと、運用テスト管理サーバ２０は、分析結果設定用テーブル１４０から、ステップＳ１５０４で選択されたカラムにおける分析対象８１、計測値１４１及び定義値１４２を取得する（Ｓ１５０７）。その後、問題・原因・解決方法テーブル９０を読み込み（Ｓ１５０８）、読み込まれた問題・原因・解決方法テーブル９０から、該当する行（カラム）を取得する（Ｓ１５０９）。
【００９９】
例えばステップＳ１５０７で取得された分析対象８１がカラム１４０２のＦｕｌｌＧＣ累積回数の場合、ステップＳ１５０９では、ＦｕｌｌＧＣ累積回数に関するカラム９０２が取得される。また、ステップＳ１５０７で取得された分析対象８１がカラム１４０１のＣＰＵ使用率の場合、ステップＳ１５０９では、ＣＰＵ使用率に関するカラム９０１が取得される。
【０１００】
その後ステップＳ１５１０において、運用テスト管理サーバ２０は、分析結果設定用テーブル１４０の情報（分析対象８１、計測値１４１及び定義値１４２）と、問題・原因・解決方法テーブル９０の情報（原因項目９２、解決方法項目９３）とを、問題・原因・解決方法格納用テーブル１６０の分析対象１６２、計測値１６３、定義値１６４、原因項目１６５、解決方法項目１６６にそれぞれ設定する（Ｓ１５１０）。
【０１０１】
以上に示す処理により、運用テスト管理サーバ２０は、分析結果設定用テーブル１４０の中に設定された各構築対象サーバ１１の分析結果と、問題・原因・解決方法テーブル９０に設定された問題・原因・解決方法の対応付け情報とに基づいて、利用者端末３に表示すべき問題・原因・解決方法の情報（図１１の表示内容１１２等参照）を生成している。
【０１０２】
以上のように、本実施形態のシステムのテスト方法によれば、運用テスト環境１０上にテスト対象のシステムを自動的に構築することができる。また、運用テスト環境１０における問題の分析と、問題の発見と、発見された問題に対する解決方法の利用者端末３への提示とを自動的に実施することができる。さらには、ユーザに解決方法の選択を促し、ユーザによって選択された解決方法を満たす定義書３０を自動的に作成し、作成された定義書３０に基づいて、再テストを実行することが可能になる。
【０１０３】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一つを示したものであり、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【０１０４】
１ 計算機システム
３ 利用者端末
１０ 運用テスト環境
１１ 構築対象サーバ
２０ 運用テスト管理サーバ
３０ 定義書
４０ テスト条件
５０ 定義ファイル
６０ 構築スクリプト
７０ 稼働情報
８０ 分析項目対応テーブル
９０ 問題・原因・解決方法テーブル
１００ テスト履歴プール
１４０ 分析結果設定用テーブル
１６０ 問題・原因・解決方法格納用テーブル
２１０ システム構築処理部
２２０ テスト実行・分析処理部
【特許請求の範囲】
【請求項１】
１以上のテスト用サーバを備えたテスト環境と、前記テスト環境にネットワークを介して接続され、前記テスト環境において動作するテスト対象システムの動作テストを管理するテスト管理サーバとを備えた計算機システムにおけるテスト方法であって、
前記１以上のテスト用サーバ及び前記テスト管理サーバの各々は、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリとを備え、
前記テスト管理サーバは、前記動作テストにおいて分析すべき分析対象と、前記分析対象についての分析方法と、前記分析対象の分析に係る基準情報とが対応付けられた分析項目テーブルを有し、
前記方法は、
前記テスト管理サーバが、前記テスト対象システムの動作設定が定義された定義書に基づいて、前記テスト用サーバに前記テスト対象システムを構築する手順と、
前記テスト管理サーバが、前記テスト対象システムのテスト内容が定義されたテスト条件に基づいて、前記テスト対象システムを稼働させる手順と、
前記テスト環境が、前記テスト対象システムの稼働状況を示す稼働情報を、前記テスト管理サーバに送信する手順と、
前記テスト管理サーバが、受信した前記稼働情報を、前記分析項目テーブルに設定された分析方法によって分析し、分析結果が当該分析方法に対応付けられた前記基準情報を満たすか否かを判断する手順と、
前記テスト管理サーバが、前記判断する手順による判断結果を出力する手順と、
を含むことを特徴とするテスト方法。
【請求項２】
前記テスト管理サーバは、前記基準情報を満たさない場合の１以上の解決方法が設定された解決方法テーブルを有し、
前記判断する手順において前記基準情報を満たさないと判断された場合、前記出力する手順において、前記テスト管理サーバは、前記解決方法テーブルに設定された前記１以上の解決方法を出力することを特徴とする請求項１に記載のテスト方法。
【請求項３】
前記テスト管理サーバが、出力された前記１以上の解決方法を提示してユーザに選択を促す手順と、
前記テスト管理サーバは、前記１以上の解決方法のうちのユーザによって選択された解決方法に基づいて、当該選択された解決方法を満たす定義書を新たに作成する手順と、
をさらに含むことを特徴とする請求項２に記載のテスト方法。
【請求項４】
前記テスト管理サーバは、作成された前記定義書に基づいて、前記テスト用サーバに前記テスト対象システムを再構築する手順をさらに含むことを特徴とする請求項３に記載のテスト方法。
【請求項５】
前記テスト管理サーバは、前記基準情報を満たさない場合の１以上の原因が設定された原因テーブルを有し、
前記判断する手順において前記基準情報を満たさないと判断された場合、前記出力する手順において、前記テスト管理サーバは、前記原因テーブルに設定された前記１以上の原因を出力することを特徴とする請求項１に記載のテスト方法。
【請求項６】
前記１以上のテスト用サーバの各々は、プロセッサ、メモリに係る物理資源が論理的に分割されて仮想化されたことを特徴とする請求項１に記載のテスト方法。
【請求項７】
前記テスト管理サーバは、前記基準情報を満たさない場合の１以上の解決方法が設定された解決方法テーブルを有し、
前記判断する手順において前記基準情報を満たさないと判断された場合、前記出力する手順において、前記テスト管理サーバは、前記解決方法テーブルに設定された前記１以上の解決方法を出力し、
前記方法は、さらに、
前記テスト管理サーバが、出力された前記１以上の解決方法を提示してユーザに選択を促す手順と、
前記テスト管理サーバが、前記１以上の解決方法のうちのユーザによって選択された解決方法毎に、各々の解決方法を満たす定義書を新たに作成する手順と、
前記テスト管理サーバが、作成された定義書と同数の仮想化されたテスト用サーバを前記テスト環境に構築し、各々の定義書に基づいて、前記仮想化されたテスト用サーバの各々に前記テスト対象システムを構築する手順と、
を含むことを特徴とする請求項６に記載のテスト方法。
【請求項８】
前記テスト管理サーバは、受信した前記稼働情報と、前記分析結果と、前記判断結果とを含む履歴情報を出力することを特徴とする請求項１に記載のテスト方法。
【請求項９】
１以上のテスト用サーバを備えたテスト環境にネットワークを介して接続され、前記テスト環境において動作するテスト対象システムの動作テストを管理するテスト管理サーバであって、
プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリとを備え、
前記動作テストにおいて分析すべき分析対象と、前記分析対象についての分析方法と、前記分析対象の分析に係る基準情報とが対応付けられた分析項目テーブルを有し、
当該テスト管理サーバは、
前記テスト対象システムの動作設定が定義された定義書に基づいて、前記テスト用サーバに前記テスト対象システムを構築し、
前記テスト対象システムのテスト内容が定義されたテスト条件に基づいて、前記テスト対象システムを稼働させ、
前記テスト対象システムの稼働状況を示す稼働情報を、前記テスト環境から受信し、
受信した前記稼働情報を、前記分析項目テーブルに設定された分析方法によって分析し、分析結果が当該分析方法に対応付けられた前記基準情報を満たすか否かを判断し、当該判断結果を出力することを特徴とするテスト管理サーバ。
【請求項１０】
１以上のテスト用サーバを備えたテスト環境にネットワークを介して接続され、前記テスト環境において動作するテスト対象システムの動作テストを管理するテスト管理サーバにおいて用いられるテスト管理プログラムであって、
前記テスト管理サーバは、前記動作テストにおいて分析すべき分析対象と、前記分析対象についての分析方法と、前記分析対象の分析に係る基準情報とが対応付けられた分析項目テーブルを有し、
前記テスト管理プログラムは、
前記テスト対象システムの動作設定が定義された定義書に基づいて、前記テスト用サーバに前記テスト対象システムを構築する手順と、
前記テスト対象システムのテスト内容が定義されたテスト条件に基づいて、前記テスト対象システムを稼働させる手順と、
前記テスト対象システムの稼働状況を示す稼働情報を、前記テスト環境から受信する手順と、
受信した前記稼働情報を、前記分析項目テーブルに設定された分析方法によって分析し、分析結果が当該分析方法に対応付けられた前記基準情報を満たすか否かを判断する手順と、
前記判断する手順による判断結果を出力する手順と、
を前記テスト管理サーバに実行させることを特徴とするテスト管理プログラム。
【請求項１】
１以上のテスト用サーバを備えたテスト環境と、前記テスト環境にネットワークを介して接続され、前記テスト環境において動作するテスト対象システムの動作テストを管理するテスト管理サーバとを備えた計算機システムにおけるテスト方法であって、
前記１以上のテスト用サーバ及び前記テスト管理サーバの各々は、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリとを備え、
前記テスト管理サーバは、前記動作テストにおいて分析すべき分析対象と、前記分析対象についての分析方法と、前記分析対象の分析に係る基準情報とが対応付けられた分析項目テーブルを有し、
前記方法は、
前記テスト管理サーバが、前記テスト対象システムの動作設定が定義された定義書に基づいて、前記テスト用サーバに前記テスト対象システムを構築する手順と、
前記テスト管理サーバが、前記テスト対象システムのテスト内容が定義されたテスト条件に基づいて、前記テスト対象システムを稼働させる手順と、
前記テスト環境が、前記テスト対象システムの稼働状況を示す稼働情報を、前記テスト管理サーバに送信する手順と、
前記テスト管理サーバが、受信した前記稼働情報を、前記分析項目テーブルに設定された分析方法によって分析し、分析結果が当該分析方法に対応付けられた前記基準情報を満たすか否かを判断する手順と、
前記テスト管理サーバが、前記判断する手順による判断結果を出力する手順と、
を含むことを特徴とするテスト方法。
【請求項２】
前記テスト管理サーバは、前記基準情報を満たさない場合の１以上の解決方法が設定された解決方法テーブルを有し、
前記判断する手順において前記基準情報を満たさないと判断された場合、前記出力する手順において、前記テスト管理サーバは、前記解決方法テーブルに設定された前記１以上の解決方法を出力することを特徴とする請求項１に記載のテスト方法。
【請求項３】
前記テスト管理サーバが、出力された前記１以上の解決方法を提示してユーザに選択を促す手順と、
前記テスト管理サーバは、前記１以上の解決方法のうちのユーザによって選択された解決方法に基づいて、当該選択された解決方法を満たす定義書を新たに作成する手順と、
をさらに含むことを特徴とする請求項２に記載のテスト方法。
【請求項４】
前記テスト管理サーバは、作成された前記定義書に基づいて、前記テスト用サーバに前記テスト対象システムを再構築する手順をさらに含むことを特徴とする請求項３に記載のテスト方法。
【請求項５】
前記テスト管理サーバは、前記基準情報を満たさない場合の１以上の原因が設定された原因テーブルを有し、
前記判断する手順において前記基準情報を満たさないと判断された場合、前記出力する手順において、前記テスト管理サーバは、前記原因テーブルに設定された前記１以上の原因を出力することを特徴とする請求項１に記載のテスト方法。
【請求項６】
前記１以上のテスト用サーバの各々は、プロセッサ、メモリに係る物理資源が論理的に分割されて仮想化されたことを特徴とする請求項１に記載のテスト方法。
【請求項７】
前記テスト管理サーバは、前記基準情報を満たさない場合の１以上の解決方法が設定された解決方法テーブルを有し、
前記判断する手順において前記基準情報を満たさないと判断された場合、前記出力する手順において、前記テスト管理サーバは、前記解決方法テーブルに設定された前記１以上の解決方法を出力し、
前記方法は、さらに、
前記テスト管理サーバが、出力された前記１以上の解決方法を提示してユーザに選択を促す手順と、
前記テスト管理サーバが、前記１以上の解決方法のうちのユーザによって選択された解決方法毎に、各々の解決方法を満たす定義書を新たに作成する手順と、
前記テスト管理サーバが、作成された定義書と同数の仮想化されたテスト用サーバを前記テスト環境に構築し、各々の定義書に基づいて、前記仮想化されたテスト用サーバの各々に前記テスト対象システムを構築する手順と、
を含むことを特徴とする請求項６に記載のテスト方法。
【請求項８】
前記テスト管理サーバは、受信した前記稼働情報と、前記分析結果と、前記判断結果とを含む履歴情報を出力することを特徴とする請求項１に記載のテスト方法。
【請求項９】
１以上のテスト用サーバを備えたテスト環境にネットワークを介して接続され、前記テスト環境において動作するテスト対象システムの動作テストを管理するテスト管理サーバであって、
プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリとを備え、
前記動作テストにおいて分析すべき分析対象と、前記分析対象についての分析方法と、前記分析対象の分析に係る基準情報とが対応付けられた分析項目テーブルを有し、
当該テスト管理サーバは、
前記テスト対象システムの動作設定が定義された定義書に基づいて、前記テスト用サーバに前記テスト対象システムを構築し、
前記テスト対象システムのテスト内容が定義されたテスト条件に基づいて、前記テスト対象システムを稼働させ、
前記テスト対象システムの稼働状況を示す稼働情報を、前記テスト環境から受信し、
受信した前記稼働情報を、前記分析項目テーブルに設定された分析方法によって分析し、分析結果が当該分析方法に対応付けられた前記基準情報を満たすか否かを判断し、当該判断結果を出力することを特徴とするテスト管理サーバ。
【請求項１０】
１以上のテスト用サーバを備えたテスト環境にネットワークを介して接続され、前記テスト環境において動作するテスト対象システムの動作テストを管理するテスト管理サーバにおいて用いられるテスト管理プログラムであって、
前記テスト管理サーバは、前記動作テストにおいて分析すべき分析対象と、前記分析対象についての分析方法と、前記分析対象の分析に係る基準情報とが対応付けられた分析項目テーブルを有し、
前記テスト管理プログラムは、
前記テスト対象システムの動作設定が定義された定義書に基づいて、前記テスト用サーバに前記テスト対象システムを構築する手順と、
前記テスト対象システムのテスト内容が定義されたテスト条件に基づいて、前記テスト対象システムを稼働させる手順と、
前記テスト対象システムの稼働状況を示す稼働情報を、前記テスト環境から受信する手順と、
受信した前記稼働情報を、前記分析項目テーブルに設定された分析方法によって分析し、分析結果が当該分析方法に対応付けられた前記基準情報を満たすか否かを判断する手順と、
前記判断する手順による判断結果を出力する手順と、
を前記テスト管理サーバに実行させることを特徴とするテスト管理プログラム。
【図１】
【図２】
【図１３】
【図１５】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１６】
【図２】
【図１３】
【図１５】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１６】
【公開番号】特開２０１２−８８８８３（Ｐ２０１２−８８８８３Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３４２８９（Ｐ２０１０−２３４２８９）
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]