テスト作業管理支援装置

【目的】推定したソフトウェア品質の信頼性と十分性に関するデータとアドバイスルールとを比較して、適切なアドバイスを出力することにより、ソフトウェアの不具合検出とその除去を容易に実行する。
【構成】ソフトウェア品質に関するテストデータをデータ入力部に入力する。テスト信頼度推定部３は入力データに基づいてソフトウェア品質の信頼度を推定し、テスト十分性推定部４はテストの網羅度に関するデータに基づいてテスト十分性を推定する。自動評価部５は、テスト信頼度推定部３およびテスト十分性推定部４からの出力データとアドバイスルール格納部７に蓄積されているアドバイスルールとの照合を行い、メッセージ格納手段８から前記照合結果に対応する所定のメッセージを選定してメッセージデータとして出力する。データ出力部６は、自動評価部５からのメッセージデータを表示する。

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ソフトウェアの品質についての信頼性を評価するためのテスト作業を自動的に行うテスト作業管理支援装置に関する。
【０００２】
【従来の技術】従来から、ソフトウェアの品質についての信頼性を評価するテストは、そのほとんどの作業が人の手によって行われてきた。この従来の方法では、作業を行う人によってまちまちの評価が行われてしまい、ソフトウェアの品質を客観的な指標を用いて定量的に評価することが困難であった。特に、ソフトウェアの品質の信頼性を評価するに当たっての専門の経験や知識がないと、信頼性の評価結果を解釈して、それに関する対応策を考えるのが難しく、また考えられたとしても対応策を作成するのに大量の時間と手間がかかってしまう問題があった。
【０００３】このような問題点を解決するために、最近では、特開平４−１００１６１号公報に記載の発明のように、ソフトウェア品質の信頼性についてのテスト作業を自動化する提案がなされている。これらの従来技術においては、テスト時間、テスト日数、テスト実行ＣＰＵ時間、テスト行数（テストされたソースプログラム行数）、テスト項目などのテストの量的な面を基準として、ソフトウェアの品質の信頼度を評価していた。そして、一定量のテストを行った結果、不具合検出密度（不具合検出数／テスト行数）、推定残存不具合密度、不具合収束率などを一定の基準値と比較することにより、そのソフトウェアの信頼度が一定の基準に達しているか否かを判定していた。
【０００４】しかし、テストの量や項目を多くしたとしても、ソフトウェアの特定部分にのみ多量のテストを行った場合にはソフトウェア全体の信頼性を正確に評価することはできない。したがって、このような量的な観点からだけで信頼性の評価を行っていた従来技術では、ソフトウェア品質の信頼性を正確に評価し、その評価結果に基づいてソフトウェア開発者に対して修正のための適切な指針を与えることが困難であった。
【０００５】
【発明が解決しようとする課題】本発明の目的は、前記のような従来技術の問題点を解決したソフトウェア品質の信頼性に関するテスト作業管理支援装置を提供することであって、具体的に述べると次の通りである。第１の目的は、ソフトウェアの品質についての信頼性の評価を自動化することにより、人の手に頼らない一定の評価基準を持って定量的に信頼性の評価を行う場合に、評価のための基準としてテスト十分性を採用することにより、テストの量的なものだけでなく、質の点でも十分にテストが行われたかどうかを判定することにある。第２の目的は、推定したソフトウェア品質の信頼性と十分性に関するデータとアドバイスルールとを比較して、適切なアドバイスを出力することにより、ソフトウェアの不具合検出とその除去を容易に実行することにある。第３の目的は、テスト十分性の指標として、テストカバレッジ（ソフトウェアプログラムに対するテストの網羅度）を採用することにより、信頼性の評価をより確実に実行できるテスト作業管理支援装置を提供することである。第４の目的は、テストカバレッジとして、ブロックカバレッジ（分岐網羅の一種）を使用することにより、カバレッジの精度を向上させることにある。
【０００６】
【課題を解決するための手段】上記の目的を達成するために、請求項１のテスト作業管理支援装置は、ソフトウェア品質に関するテストデータを入力するデータ入力部と、前記データ入力部からの入力データ中のテストの作業内容に関する信頼度データに基づいてソフトウェア品質の信頼度を推定するテスト信頼度推定部と、前記データ入力部からの入力データ中のテストの網羅度に関するテスト十分性データに基づいてテスト十分性を推定するテスト十分性推定部とを備えた推定部と、前記推定部からの出力データを出力するデータ出力部とを備えていることを特徴とする。
【０００７】請求項２のテスト作業管理支援装置は、ソフトウェア品質に関するテストデータを入力するデータ入力部と、前記データ入力部からの入力データ中のテストの作業内容に関する信頼度データに基づいてソフトウェア品質の信頼度を推定するテスト信頼度推定部と、前記データ入力部からの入力データ中のテストの網羅度に関するテスト十分性データに基づいてテスト十分性を推定するテスト十分性とを備えた推定部と、前記信頼度データおよびテスト十分性データの各値に対応した作業指針をアドバイスルールとして蓄積するアドバイスルール格納部と、前記推定部からの出力データを入力データとして、その入力データと前記アドバイスルール格納部に蓄積されているアドバイスルールとの照合を行い、前記メッセージ格納手段から前記照合結果に対応する所定のメッセージを選定してメッセージデータとして出力する自動評価部と、前記推定部からの出力データおよび自動評価部からのメッセージデータを表示するデータ出力部とを備えていることを特徴とする。
【０００８】請求項３のテスト作業管理支援装置は、前記テスト十分性推定部が、テスト十分性データとして、テストカバレッジを採用したものであることを特徴とする。
【０００９】請求項４のテスト作業管理支援装置は、前記テストカバレッジがブロックカバレッジであることを特徴とする。
【００１０】
【作用】請求項１の発明では、データ入力部からの入力データに基づいて、テスト信頼度推定部がテストの量的な面からソフトウェア品質を評価し、テスト十分性推定部がテストの質的な面からソフトウェア品質を評価する。データ出力部においては、これらのテスト信頼度推定部とテスト十分性推定部とからの出力データが出力される。
【００１１】請求項２の発明では、データ入力部からの入力データに基づいて、テスト信頼度推定部がテストの量的な面からソフトウェア品質を評価し、テスト十分性推定部がテストの質的な面からソフトウェア品質を評価する。自動評価部においては、これらのテスト信頼度推定部とテスト十分性推定部とからの出力データが、アドバイスルールと照合され、マッチングしたアドバイスルールに対応するメッセージがデータ出力部に表示される。また、データ出力部では、推定部におけるテスト信頼度推定部とテスト十分性推定部とからの出力データも同時に表示される。
【００１２】請求項３の発明では、データ入力部にテスト十分性データとしてテストカバレッジを入力する。このテストカバレッジは、ソフトウェアに対するテストの網羅度を表わすものであるから、テストカバレッジの値が大きいほどテスト十分性に関する評価が高くなる。
【００１３】請求項４の発明では、データ入力部にテストカバレッジとしてブロックカバレッジを入力する。このブロックカバレッジは、ソフトウェアに含まれる条件分岐を節点としてその方向にソフトウェアを構成するステートメントをまとめてブロックにし、テストをしたブロック数を計測したものである。発明者の考察によれば、ソフトウェアの不具合は分岐部分に多く存在し、またテストでカバーされた部分（テストの実行時に通過した部分）よりはカバーされなかった部分に多いことが判明している。そこで、このブロックカバレッジを使用することにより、テスト十分性についてのより正確な評価を与えることができる。また、アドバイスルールとの照合もより適正なものになる。
【００１４】
【実施例】以下、本発明の一実施例を図面を参照して具体的に説明する。なお、この実施例は、請求項１から請求項４の発明に相当するものである。
【００１５】（１）実施例の構成本実施例のテスト作業管理支援装置は、図１の構成図に示すように、コンピュータの入力装置によって構成されるテストデータ入力部１、入力されたテストデータに基づいてソフトウェア品質の信頼性を推定する推定部２、推定部２の出力データと蓄積されているアドバイスルールとを照合して対応するアドバイスルールを出力する自動評価部５、およびこの自動評価部５からの出力データを表示するデータ出力部６とから構成されている。
【００１６】前記推定部２は、入力データ中のテストの作業内容に関する信頼度データに基づいてソフトウェア品質の信頼度を推定するテスト信頼度推定部３と、前記データ入力部からの入力データ中のテストの網羅度に関するテスト十分性データに基づいてテスト十分性を推定するテスト十分性推定部４とを備えている。また、自動評価部５は、前記推定部２の出力を受け、前記信頼度データおよびテスト十分性データの各値に対応した作業指針をアドバイスルールとして蓄積するアドバイスルール格納部７と、前記蓄積された各アドバイスルールに対応したアドバイスメッセージを蓄積したメッセージ格納手段８に接続されている。また、前記データ出力部６は、前記推定部２にも接続され、テスト信頼度推定部３とテスト十分性定部４からの出力データも表示するようになっている。
【００１７】ここで、前記テストデータ入力部１は、コンピュータのキーボードその他の入力装置によって、データ出力部６はＣＲＴディスプレイ、プリンタなどの装置によって構成され、また推定部２、自動評価部５、アドバイスルール格納部７、メッセージ格納部８などはコンピュータの記憶装置、ＣＰＵあるいはメモリ上にプログラムやデータファィルなどの形で実現されている。
【００１８】（２）実施例の作用次に、前記のような構成を有する本実施例の装置の作用について、それぞれフローチャートを用いて、処理の流れを説明する。
【００１９】まず、テストデータ入力部１に入力されるテストデータについて説明する。図５にテストデータの例を示す。入力されるテストデータ５０１としては、テスト実施日付、テスト時間、テスト日数、テスト実行ＣＰＵ時間、テストカバレッジデータ、不具合検出率、テスト項目数、テスト行数などである。このうち、テスト信頼度推定部３で、テストの信頼度を推定するために必要なデータ５０２としては、テスト実施日付、テスト時間、テスト日数、テスト実行ＣＰＵ時間、テストカバレッジデータ、不具合検出数、テスト行数などがある。また、テスト十分性推定部４で、テスト十分性を推定するために必要な入力データ５０３としては、入力されたテストデータ５０１のうち、テストカバレッジデータ、不具合検出数、テスト項目数、テスト行数などである。この場合、本実施例ではこのテストカバレッジとして、特に、ブランチカバレッジの一種であるブロックカバレッジを採用する。このブロックカバレッジは、ソフトウェアに含まれる条件分岐を節点としてその方向にソフトウェアを構成するステートメントをまとめてブロックにし、テストをしたブロック数を計測したものである。
【００２０】図２に推定部２の処理の流れを示す。まず、データ入力部１から推定部２への入力データを読み込み（ステップ２０１）、それがテスト信頼度推定部３で必要なデータ５０２なのか（ステップ２０２）、テスト十分性推定部４で必要なデータ５０３なのかを判定する（ステップ２０３）。この判定は、推定部２にあらかじめ入力データの項目に関するチャートを保存しておき、このチャートに従って各入力データをテスト信頼度推定部３とテスト十分性推定部４とに振り分ける。そして、入力されたデータがテスト信頼度推定部３への入力データ５０２であった場合には、テスト信頼度推定部３において、入力されたデータとあらかじめ保存されている基準値と比較することにより、信頼度の推定を行う（ステップ２０４）。また、入力されたデータがテスト十分性推定部４への入力データ５０３であった場合には、推定を行う前に、まず、入力されたデータのうちで、データとデータの計算によって得られるもの、例えば、不具合検出密度（不具合検出数／テスト行数）やテスト項目密度（テスト項目数／テスト行数）などがあらかじめ計算される（ステップ２０５）。そして、テスト十分性推定部４においては、入力されたデータおよび算出されたデータをあらかじめ保存されている基準値と比較することにより、テスト十分性の推定を行う（ステップ２０６）。
【００２１】図３に自動評価部５の処理の流れを示す。まず、推定部２から送られてきた図６に示すような推定結果のデータ６０１を読み込み（ステップ３０１）、必要ならば基準値を入力する（ステップ３０２）。また、あらかじめアドバイスルールに格納しておいた値を用いてもよい。そして、推定部２から送られてきた推定結果のデータ６０１と、あらかじめアドバイスルール格納部７に蓄積されているアドバイスルールとの照合を行う（ステップ３０３）。そして、推定部２から送られてきた推定結果のデータ６０１と、アドバイスルールとがマッチングした場合には、マッチングしたアドバイスメッセージのデータをメッセージ格納手段８から読み込み、自動評価部５の出力とする（ステップ３０４）。
【００２２】本実施例におけるアドバイスルールの照合例を図７に、また図８にそのマッチングした例を示す。例えば、図７に示すように、テストカバレッジａが基準値Ａよりも低いというアドバイスルールに該当する場合は、テストがソフトウェアの一部のみしか網羅していないので他のデータよる評価が高くてもソフトウェア全体の品質を保証することはできないので、このルールに対応するアドバイスメッセージは「テスト数を増やしましょう」ということになる。同様に、テストカバレッジ、不具合検出密度、推定残存不具合密度、テスト項目密度、不具合収束率のそれぞれの基準値と入力データ値との比較、および各データの組み合わせにより対応するアドバイスメッセージが決定される。
【００２３】図４にデータ出力部６の処理の流れを示す。推定部２からの推定結果のデータを読み込み（ステップ４０１）、また、自動評価部５からのアドバイスメッセージのデータを読み込む（ステップ４０２）。そして、これらデータをディスプレイあるいはプリンタなどのデータ出力部６に表示する（ステップ４０３）。このデータ出力部６の表示の一例を図９に示す。この図９においては、推定部２のうちテスト信頼度推定部３からの推定結果のデータを信頼度推定グラフ９０１として表示し、推定部２のうちテスト十分性推定部４からの推定結果のデータをテスト十分性グラフ９０２として表示する。さらに推定部２からの推定結果を数値データ９０３としても表示する。また、自動評価部５からの出力データとして、アドバイスメッセージをアドバイス９０４として表示する。このように本実施例では、データ出力部６の出力は、以上４つの表示から構成される。
【００２４】（３）実施例における作業手順の一例次に、テスト作業管理支援装置を使用する手順を示すことにより、本実施例をさらに詳しく説明する。図１０は、本実施例のテスト作業管理支援装置の起動メューの一例を示すもので、装置を起動させるに当たっては、まずテストデータを入力する。テストデータを入力するために、起動メニューからテストデータ入力１０１を選択する。そして、前記図５に示したテストデータ５０１、例えば、テスト実施日付、テスト時間やテスト日数、テスト実行ＣＰＵ時間、テストカバレッジデータ、不具合検出数、テスト項目数、テスト行数などをテスト作業管理支援装置に入力する。入力が終了すると、また図１０の起動メニューに戻るので、次に、推定を行う。入力したデータによって、メニュー中から信頼度推定１０２か、テスト十分性推定１０３を選択する。また、両方とも推定したい場合には、どちらかの推定を先に選択して、その推定が終了した後に、残りの推定を選択する。推定が終了すると、起動メニューに戻るので、次にメニューの評価１０４を選択することにより、先の推定データが自動的に評価される。評価が終了すると、起動メニューに戻るので、アドバイス画面表示１０５を選択することにより、アドバイス画面を見ることが可能となる。
【００２５】最後に、本実施例のテスト作業管理支援装置のおおまかな作業手順を図１１のフローチャートにより説明する。まず、入力であるテストデータ１を読み込み（ステップ１１１）、次に、推定部２のテスト信頼度推定部３において、信頼度の推定を行う（ステップ１１２）。また、推定部２のテスト十分性推定部４において、テスト十分性の推定を行う（ステップ１１３）。そして、それらの推定結果とをもとに、自動評価部５において、推定結果とアドバイスルールとの照合を行い（ステップ１１４）、マッチングしたアドバイスルールを出力する。そして、推定部２および自動評価部５からの出力をデータ出力部６において、図９のようなアドバイス画面として表示する（ステップ１１５）。
【００２６】ここで、図９に示すデータ出力部６の表示の利用方法の一つとして、テスト作業者とテスト管理者の利用方法を例に上げる。まず、テスト作業者としては（ステップ１１６）、出た出力部６の表示のうち、アドバイスメッセージの操作ボタンのみをクリックすることにより、そこに書かれたアドバイスメッセージ９０４を参考にして、テスト作業を行っていくことができる（ステップ１１７）。一方、テスト管理者としては（ステップ１１８）、図９のデータ出力部６の表示のうち、信頼度推定グラフ９０１、テスト十分性グラフ９０２、数値データ９０３、アドバイスメッセージ９０４によりテストの管理上必要な自己予測の手助けとして利用することができ、テスト作業者に指示を与える上での判断材料となる（ステップ１１９）。
【００２７】（４）テストカバレッジをテスト十分性の推定データとして使用する理由本発明者が、次のような条件のもとで、テストカバレッジと不具合の関係を分析したところ、アドバイスルールおよびメッセージを決定するのに有効な幾つかの結論を得た。
【００２８】［実験内容］
■種別：ＡＩ関係のアプリケーション■テスト期間結合テスト（約３ヶ月間）
■サブシステム全体（対象ファイルを含む）
・プログラム行数１４１ｋＬ・最終カバレッジ７９％■分析対象ファイル規模・プログラム行数２４ｋＬ・対象ファイル数４９ファイル・カバレッジ推移４８％−６８％−６５％（テスト１回目−２回目−３回目）
■テストの方法・開発者がテストを行い、人数は数人程度である。
【００２９】・テストカバレッジ７０％以上というテスト目標値を設定した。
【００３０】・テスト内容形態は、回帰テスト方式を採用した。すなわち、デバッグを行うためのインターバルをおいて、３回ターンテストを行う。このとき毎回のテストでは、前回のテスト項目＋追加テスト項目がテスト項目として実行される。
【００３１】■カバレッジデータｕｎｉｘマシンのＳＵＮＯＳでは、Ｃ言語とＦＯＲＴＲＡＮ言語を対象に、コンパイルオプション（％ｃｃ −ａ −ｏソースファイル名．ｃ）でコンパイルした実行形式を実行した後、カバレッジ集計コマンド（％ｔｃｏｖソースファイル名．ｃ）を用いて、テストカバレッジを測定することができる。複数回実行した場合には累積値が測定できるので、１回のテストターンごとの累積値を記録した。
■修正データ１回分のテストにおいて、そのテスト中の一連のくり返し（テスト−修正−カバレッジ測定）により生成されたｔｃｏｖファイル（修正前のファイル）と、次の１回分のテストにおいて同様に生成されたｔｃｏｖファイル（修正後のファイル）を、ｄｉｆｆコマンドにより比較して、その修正された部分を分類して修正データとした。
【００３２】［テストカバー部分と修正場所・修正内容との関係］前記の実験内容に従って、テストでカバーされた部分（プログラムが通っていたブロック）と修正場所・修正内容との関係を分析したところ、下記の事実が判明した。まず、テスト後に残っている不具合のどの程度がテストでカバーされた部分、カバーされなかった部分のそれぞれに分布しているかを調べたところ、下記の通りの結果を得た。
テストカバレッジ４８％の後通過部分から３８％未通過部分から６２％テストカバレッジ６８％の後通過部分から４２％未通過部分から５８％このようにテストカバレッジが４８％，６８％でも分岐部分の不具合の多く（約６０％）はカバーされなかった部分にあることが確認された。次に、修正場所の比較を行ったところ、分岐部分の修正数が全修正数の５０％を占めていること、およびテストカバレッジ４８％から６８％の２０％程度のアップで全修正数が約１／３になっていることも判明した。
【００３３】［テストカバレッジとファイル別の不具合検出の関係］テストでは不具合検出の効率を高めるために、通常テストカバレッジの低い順にファイルを抽出して、レビューとテストを促す方法を利用する。本発明者は、前記各ファイルに対してより効率良く不具合を検出するために、ファイル別にテストカバレッジ、修正数、修正密度、および修正数によるパレート分析・ブロック数によるパレート分析を用いて、テストカバレッジとファイル別の不具合検出の関係を分析した。その結果、修正数の５０％が存在していたファイル数は全ファイルの８．２％（４／４９）、修正数の７０％が存在していたファイル数は全ファイルの１４．３％（７／４９）であることが判明した。しかし、ファイル別のカバレッジの推移からはこれら修正数の多いファイルを抽出できるような明確な判断材料は得られなかった。
【００３４】次に、ブロック数によるパレート分析により、４９の全ファイルをブロック数の多いファイルから順に階層化してグループに分類し、テストカバレッジおよび修正数との関係を調べた。しかし、ブロック数が大きいからといってカバレッジが低いわけではないこと、逆にブロック数が少ないものでもカバレッジが高いとは限らないことが確認された。一方、修正数が多いファイルはブロック数の多いファイルに含まれていることがわかった。すなわち、ブロック数が多いファイル（上位１２／４９，７０ブロック以上）を抽出すると、修正数の多いファイルを検出することができた。抽出したファイルの７／１２で修正件数累積値７０％であった。
【００３５】さらに、テストカバレッジと修正密度、すなわち単位ブロック当たりの修正数（修正数／ブロック数）との関係を分析した。高密度修正ファイル（ソースコードの１ブロック当たりに０．２〜２．２件の修正が入る修正度の高いファイル）か否かは、ブロック数の大小には関連がないようであるが、１回目のテストでテストカバレッジが５０％以下のファイル（４９ファイル中１４ファイル）のうち約半分（６／１４）は高密度修正ファイルであった。
【００３６】［結論］このことから、本発明のアドバイスルールやメッセージを設定する場合には、次の点が考慮されるべきである。
■未通過部分を調べるのが修正場所を検出するのに効果的である。
■分岐部分の修正は修正全体の約５０％を占めているので、分岐以外の部分の修正とほぼ同数になるまで分岐部分をチェックすべきである。
■ブロック数の多いファイルは修正数が多いので、重点的にチェックすべきである。
■テストの初期段階のテストカバレッジが５０％以下のファイルを抽出すると、その約半数は修正数が高密度のファイルが占めている。よって、テストカバレッジの低いファイルを重点的にチェックするのが効果的である。
【００３７】（５）実施例の効果以上の通り、本実施例によれば、テストの時間や回数、項目数などのテストの量的な信頼度に加えて、テストの十分性も考慮してソフトウェアの品質を評価することができるので、ソフトウェア全体の品質を把握して適切なテスト作業を行うことが可能になる。また、入力データとアドバイスルールとの照合およびこれに対応するアドバイスメッセージの出力によって、経験者によらずともソフトウェアのテストに対する適切な指針を受けることができるので、その後のテスト作業がより的確かつ迅速に実行できる。
【００３８】従来では、単に数値として与えられ、低い値ならば高めるという漠然とした目標しか与えられなかった。しかし、本実施例のようにテストカバレッジを使用すれば、テスト十分性を向上させるような具体的な目標を提示することが可能になる。特に、前記（４）で述べたように、本発明者の考察によれば、ソースプログラムの分岐部分の不具合はテストでカバーされた部分（テストの実行時に通過した部分）よりはカバーされなかった部分に多いことが判明している。従って、テスト十分性を推定するデータとしてテストカバレッジを使用することにより、テストカバレッジが低い場合にはソフトウェア中に不具合が多数内在していることが容易に判定でき、また、「テストカバレッジの低い＊＊ファイルを重点的にチェックすべきである」などの具体的なアドバイスメッセージを出力することも可能になる。
【００３９】一方、ソフトウェアの不具合は、プログラムの分岐部分に多く存在し、またブロック数の多いファイルは修正数が多いことが判明している。そこで、本実施例のように、プログラムをその条件分岐を節点にしてブロック化したブロックカバレッジを使用することにより、不具合の場所を推定することが容易になると共に、「ブロック数の多い＊＊ファイルを重点的にチェックすべきである」などの適切なアドバイスメッセージを得ることができる。
【００４０】（６）他の実施例本発明は前記の実施例に限定されるものではなく、例えば、テストカバレッジとしては、他にステートメントカバレッジ（命令網羅）を使用することもできる。また、特開平４−８１９４０号公報にもテストカバレッジの測定手法が開示されているので、これらの手法によって本発明のテスト十分性データとなるテストカバレッジを得ることができる。データ入力部に入力するテストデータの種類は前記のものに限定されるものではなく、修正箇所や修正内容を定型化あるいは定量化することで入力データとすることもできる。この入力データの入力作業もテスト作業者がキーボードなどから手作業で入力してもよいし、テスト対象となるソフトウェアを他のソフトウェアで監視し、その監視データをファイルなどの形で本発明の装置に転送することもできる。
【００４１】データ出力部における各データやメッセージの出力形式は図示のものに限定されず、他の形式のグラフやチャートあるいは印刷物などとすることもできる。もちろん、メッセージの種類も増減可能であり、具体的なテスト項目やさらに実行すべきテスト数を指摘するものでもよい。
【００４２】
【発明の効果】以上説明したように、本発明によれば、テスト信頼度推定部とテスト十分性推定部とにより、ソフトウェアの品質について量的な面と質的な面との両方から評価を行うことが可能になるので、品質の評価に対する信頼性が向上する。また、テストデータとアドバイスルールとを照合して、対応するアドバイスをメッセージとして出力するようにした場合には、経験者が解釈して対応策を助言していた従来技術に比較して、定量化された情報と助言とを合わせたソフトウェアの信頼性の評価が可能となる。また、テストデータを入力するだけでアドバイスメッセージが自動的に作成されるので、作業者が欲しい時に助言が得られるようになり、その結果をもとに対応策を立てる時間を短縮することができると共に、テスト中に複数回にわたって助言が得られるようになり、テスト作業の効率が向上する効果がある。
【図面の簡単な説明】
【図１】本発明のテスト作業管理支援装置の一実施例を示す構成図。
【図２】推定部２の処理の流れを示すフローチャート。
【図３】自動評価部の処理の流れを示すフローチャート。
【図４】データ出力部の処理の流れを示すフローチャート。
【図５】テストデータの例を示す図。
【図６】推定部２からの出力データの例を示す図。
【図７】アドバイスルール照合例を示す図。
【図８】照合してマッチングしたときの例を示す図。
【図９】データ出力部の表示例を示す図。
【図１０】テスト作業管理支援装置起動メニューの例を示す図。
【図１１】本装置の作業手順を示すフローチャート。
【符号の説明】
１…データ入力部
２…推定部
３…テスト信頼度推定部
４…テスト十分性推定部
５…自動評価部
６…データ出力部
７…アドバイスルール格納部
８…メッセージ格納部

【特許請求の範囲】
【請求項１】ソフトウェア品質に関するテストデータを入力するデータ入力部と、前記データ入力部からの入力データ中のテストの作業内容に関する信頼度データに基づいてソフトウェア品質の信頼度を推定するテスト信頼度推定部と、前記データ入力部からの入力データ中のテストの網羅度に関するテスト十分性データに基づいてテスト十分性を推定するテスト十分性推定部とを備えた推定部と、前記推定部からの出力データを表示するデータ出力部とを備えていることを特徴とするテスト作業管理支援装置。
【請求項２】ソフトウェア品質に関するテストデータを入力するデータ入力部と、前記データ入力部からの入力データ中のテストの作業内容に関する信頼度データに基づいてソフトウェア品質の信頼度を推定するテスト信頼度推定部と、前記データ入力部からの入力データ中のテストの網羅度に関するテスト十分性データに基づいてテスト十分性を推定するテスト十分性とを備えた推定部と、前記信頼度データおよびテスト十分性データの各値に対応した作業指針をアドバイスルールとして蓄積するアドバイスルール格納部と、前記推定部からの出力データを入力データとして、その入力データと前記アドバイスルール格納部に蓄積されているアドバイスルールとの照合を行い、前記メッセージ格納手段から前記照合結果に対応する所定のメッセージを選定してメッセージデータとして出力する自動評価部と、前記推定部からの出力データおよび自動評価部からのメッセージデータを表示するデータ出力部とを備えていることを特徴とするテスト作業管理支援装置。
【請求項３】前記テスト十分性推定部が、テスト十分性データとして、テストカバレッジを採用したことを特徴とする請求項１または請求項２のテスト作業管理支援装置。
【請求項４】前記テスト十分性推定部が、テストカバレッジとして、ブロックカバレッジを採用したことを特徴とする請求項３のテスト作業管理支援装置。

【図１】