質問採点システム及び方法
【課題】複数のアンケート回答者の回答状況に応じた採点が可能な技術を提供する。
【解決手段】回答装置2において複数のアンケート回答者の回答状況を入力イベントとして取得し、サーバ1に送信する。サーバ1において入力イベントを回答者ごとに記憶し、各回答者の回答状況から回答順序が異なる質問項目を回答選択番号の修正対象候補の質問項目として抽出し、全体として各質問項目について抽出された修正対象候補数が一定数以上の場合は、当該質問項目を全体として回答選択番号を修正する質問項目と決定する。全体としての各質問項目の回答選択番号を決定し、かつ前記修正対象の質問項目であれば前記決定された回答選択番号を配点の低い回答選択番号に修正し、前記決定および修正された回答選択番号に基づいてアンケートを採点する。
【解決手段】回答装置2において複数のアンケート回答者の回答状況を入力イベントとして取得し、サーバ1に送信する。サーバ1において入力イベントを回答者ごとに記憶し、各回答者の回答状況から回答順序が異なる質問項目を回答選択番号の修正対象候補の質問項目として抽出し、全体として各質問項目について抽出された修正対象候補数が一定数以上の場合は、当該質問項目を全体として回答選択番号を修正する質問項目と決定する。全体としての各質問項目の回答選択番号を決定し、かつ前記修正対象の質問項目であれば前記決定された回答選択番号を配点の低い回答選択番号に修正し、前記決定および修正された回答選択番号に基づいてアンケートを採点する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アンケートやテスト等における質問(問題)の自動採点技術に関する。
【背景技術】
【0002】
特許文献1には、選択肢形式の質問が記載された質問紙において、回答者の回答過程のデータを記録する技術が開示されている。この技術では、回答がなされた質問番号と、選択された選択肢と、各質問の回答時間と、回答がなされた質問の順とが、回答過程のデータとして記録紙に記録される。
【0003】
【特許文献1】特開2000−3351号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1の技術は、回答過程のデータを取得するのみで、取得したデータから意味のある採点結果を得るための方法を開示していない。また、特許文献1の技術では、複数の回答者の回答結果を記憶することはできないので、アンケート調査のように、複数の回答者からの回答内容を集約し全体として一つの採点結果を出すことを目的とするものに適用することができない。
【0005】
本発明は、上記課題を解決すべくなされたもので、複数の回答者が回答することが前提である質問(アンケート、テストなど)において、回答者の回答状況に基づいて、より有意義な採点結果を効率的に求めることを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決すべく、本発明では、複数の回答者の回答結果を、回答状況に応じて、修正し、集約し、採点結果を得る。
【0007】
例えば、本発明の第1の態様は、質問に回答するための回答装置と、質問の回答結果を採点するためのサーバ装置と、採点結果を閲覧するための閲覧装置とが通信網を介して接続されている質問採点システムである。前記回答装置は、回答者による質問への入力イベントを取得し、前記サーバに送信する入力イベント送信手段を有している。前記サーバ装置は、前記回答装置から前記入力イベントを取得し、入力イベント情報として格納する入力イベント格納手段と、前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出手段と、前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定手段と、前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定手段と、予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理手段とを有している。前記閲覧装置は、前記サーバ装置において得られた採点結果を画面表示する採点結果閲覧手段を有している。
【0008】
また、本発明の第2の態様は、コンピュータにより実現される質問採点システムであって、複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得手段と、前記回答結果取得手段で取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得手段と、前記回答状況取得手段で求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定手段と、前記修正候補決定手段で決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定手段と、前記回答結果取得手段で取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得手段と、前記代表回答取得手段で取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正手段とを備える。
【発明を実施するための最良の形態】
【0009】
以下、図面を用いて本発明の一実施形態について説明する。
【0010】
本実施形態では、企業内における内部統制の実施状況を、アンケート回答により評価するアンケート採点システムの例を用いる。ただし、本発明の技術的思想は、この例に限定されるものではない。
【0011】
一般に、企業内における内部統制やITガバナンスなどの実施状況を診断するアンケートは、複数の回答者がアンケートに回答し、それらを総合的に判断して、当該企業の実施状況を診断するものである。このようなアンケートは、質問ごとに達成度または成熟度を示す複数の回答選択肢を準備している。
【0012】
各質問について、複数の回答者が回答した選択肢の中から当該企業の状況を最もよく表していると考えられる選択肢を代表として一つ選出し、その選択肢が質問に対する企業の実施状況を表すものと考える。
【0013】
例えば、複数の回答者が選択したものの中で一番多くの人が回答した選択肢を選出する方法や、最も点数が低い選択肢を選出する方法などがある。
【0014】
このように複数の回答者がアンケートに回答することにより、当該企業内での内部統制やITガバナンスなどの実施状況を一人の回答者が回答する場合よりも、より正確に診断することができる。
【0015】
本発明の実施の形態においても、企業内における内部統制の実施状況を診断するために、複数の担当者がアンケートに回答するものとする。
【0016】
そして、複数のアンケート回答者の回答状況を判断し、確信または自信を持てずに回答したと判断される質問項目については、より厳しく診断するという観点から、その質問の回答に対しては点数を低く与え、より実態に近くなるように採点するものとする。
【0017】
ただし、アンケートの回答者が一人であったとしても以下で説明する方法は有効である。
【0018】
図1は、本発明の一実施形態が適用されたアンケート採点システムの構成例を示す図である。
【0019】
アンケート採点システムは、インタネットなどの通信網4を介して接続された、サーバ1と、複数の回答装置2と、複数の閲覧装置3とを有している。
【0020】
これらの、サーバ1、回答装置2、及び閲覧装置3は、CPU(Central Processing Unit)、メモリ(RAM,ROM)、補助記憶装置(HDD)、通信インタフェース、これらの接続するシステムバス、キーボード、マウス等の入力装置、液晶ディスプレイ等の表示装置などを備えてなる汎用的なコンピュータシステムにより構成される。下記に説明するサーバ1、回答装置2、及び閲覧装置3の各構成要素及び機能は、CPUがメモリにロードした所定のプログラムを実行することにより達成される。各装置1、2、3のROM、HDDには、各装置1、2、3が実行する処理のためのプログラムが予め格納されている。
【0021】
サーバ1は、回答装置2にアンケートを表示するのに使用されるアンケート情報130を回答装置2に送信するアンケート送信部11と、回答装置2から受信した回答結果を集計し配点情報136を用いて採点する採点処理部12と、採点処理部12で生成した採点結果を閲覧装置3に送信する採点結果送信部13とを有する。
【0022】
回答装置2は、サーバ1から受信したアンケートを表示装置に表示するアンケート表示部21と、回答者から入力装置を介してなされる操作を入力イベントとして取得する入力イベント取得部22と、入力イベント取得部22が取得した入力イベントをサーバ1に送信する送信部24とを有する。
【0023】
閲覧装置3は、サーバ1から採点結果を受信する採点結果受信部31と、採点結果を表示装置に表示する採点結果表示部32とを有する。
【0024】
サーバ1から回答装置2に送信されるアンケート情報130は、WWW(World Wide Web)上のアプリケーションプログラムであっても、PC上で動作するJavaアプリケーションのようなクライアントプログラムであってもよい。
【0025】
回答装置2、閲覧装置3は1台であっても、複数台であってもよい。
【0026】
また、サーバ1、回答装置2、閲覧装置3は、通信網4を介さない物理的に1台の装置であって、上記で説明した機能を1台の装置の中に有するものであってもよい。あるいは、回答装置2は、閲覧装置3を兼ねてもよく、閲覧装置3が有する採点結果受信部31および採点結果表示部32を備えていてもよい。
【0027】
次に、上記のように構成されるアンケート採点システムの動作について説明する。
【0028】
図2は、アンケート採点システムの処理フローを示す図である。
【0029】
まず、サーバ1のアンケート送信部11は、サーバ1の記憶装置に記憶されているアンケート情報130を、回答装置2に送信する(S110)。上述のとおり、アンケート情報130は、回答装置2に複数の質問からなるアンケートを表示するための情報である。
【0030】
回答装置2のアンケート表示部21は、サーバ1からアンケート情報130を受信すると、アンケート情報130に基づいて表示装置にアンケートを表示する(S112)。
【0031】
図3は、アンケート情報130に基づいて表示装置にアンケートを表示した様子を示す。アンケート表示部21は、回答装置2の表示装置の表示画面201に、アンケートの質問ごとに、質問内容202と、回答者が回答を選択するためのラジオボタン203と、選択肢番号204と、選択肢番号に対応する選択肢の内容205とを表示する。また、回答者から回答結果の送信命令を受け付けるための「送信ボタン」206を、すべての質問の最後(最下部)に配置し表示する。
【0032】
ラジオボタン203は、1つの質問に1つのみ選択可能となっている。また、各ラジオボタン203には、選択肢番号204に対応させた識別コード(ID)が付与されている。
【0033】
なお、回答の選択肢の数はアンケート全体を通して同じ数であっても、質問ごとに異なっていてもよい。また、図3では、選択肢を、達成度または成熟度が高い順番に上から並べているが、必ずしも達成度または成熟度が高い順番に並べる必要はない。
【0034】
回答者は、各質問について最も近い内容の選択肢を一つ選び、その選択肢の左隣にあるラジオボタン203を押す(クリックする)ことになる。例えば、図3の質問Q1「組織としてシステムやアプリケーションの調達・開発に関する方針や手続きを文章化していますか?」という質問に対して、回答者が「十分に文章化している」と考えた場合は、選択肢番号「1」の左隣にあるラジオボタン203がマウスによりクリックされる。
【0035】
入力イベント取得部22は、いずれかのラジオボタン203が選択された場合、選択されたラジオボタン203のIDに対応する回答内容(選択肢番号)を、選択された時刻とともに取得し、入力イベントデータ131として蓄積する(図2のS114)。
【0036】
図4は、入力イベントデータ131の構成例を示す。入力イベントデータ131は、時刻ごとのレコード1311からなり、各レコード1311には、時刻1312と、質問番号1313、回答内容(選択肢番号)1314とが格納される。
【0037】
具体的には、入力イベント取得部22は、いずれかの質問のラジオボタン203が押されたことをイベントとして検知すると、押されたラジオボタン203のIDに対応する質問番号と回答内容を特定する。そして、入力イベントデータ131に、レコード1311を追加し、追加したレコード1311に、ラジオボタン203が押された時刻1312と、特定した質問番号1313と、回答内容1314とを格納する。なお、回答が修正された場合、回答が修正された質問の質問番号1314が付与されたレコード1311が追加される。すなわち、回答が修正された場合、質問番号1313が同じレコード1311が複数登録されることになる。
【0038】
入力イベント取得部22は、回答者がすべての質問に対して回答を終了し、最後に送信ボタン206が押されたことを検知すると、それまでに蓄積した入力イベントデータ131をサーバ1に送信するように送信部24に指示する。これを受けて、送信部24は、蓄積された入力イベントデータ131を、サーバ1に送信する。
【0039】
なお、送信部24は、入力イベント取得部22がイベントの発生を検知して入力イベントデータ131を生成するたびに、サーバ1と非同期通信を行い、新たに生成された入力イベントデータ131をサーバ1にリアルタイムに送信するようにしてもよい。または、送信部23は、定期的に、蓄積された入力イベントデータをサーバ1に送信するようにしてもよい。
【0040】
いずれの場合においても、WWW上のアプリケーションとして提供するなら、既存のAjax(Asynchronous JavaScript+XML)技術やAdobe社のFlash技術を利用することにより実現可能である。一方、Javaアプリケーションのようなクライアントプログラムとして提供するなら、クライアントプログラムとサーバ間で既存のソケット通信技術やWebサービス技術などを利用することにより実現可能である。
【0041】
次に、サーバ1の採点処理部12は、回答装置2の送信部24から送信された入力イベントデータ131を受信し、入力イベント情報132に変換した後、サーバ1の記憶装置に格納する(図2のS120)。
【0042】
図5は、入力イベント情報132の構成例を示す図である。全ての回答者がアンケートに回答した場合、記憶装置には、回答者の数の入力イベント情報132が格納される。すなわち、回答者ごとに入力イベント情報132は管理される。
【0043】
入力イベント情報132は、質問番号1321ごとのレコードからなり、各レコードには、質問番号1321と、回答内容1322と、回答順序1323と、回答時間1324とが格納される。
【0044】
回答内容1322は、その質問(質問番号1321の質問)の最終的な回答である。まず、採点処理部12は、入力イベントデータ131の中から、その質問の質問番号1313のレコード1311を抽出する。そして、抽出したレコード1311の中で時刻1312が最も遅いレコード1311を特定し、特定したレコード1311の回答内容1314を求める。求めた回答内容1314を、入力イベント情報132の対応する質問番号1321のレコードの回答内容1322として格納する。
【0045】
回答順序1323は、その質問(質問番号1321の質問)について最終的な回答がされた順番である。まず、採点処理部12は、上記のようにして、各質問について、最終的な回答内容1322が格納されたレコード1311を特定して、特定した各レコード1311の時刻1312から、各質問の最終的な回答時刻を求める。そして、最終的な回答時刻が早い順に各質問を並べてることにより、回答順序1323を定め格納する。
【0046】
回答時間1324は、1つ前の質問を回答してからその質問を回答するまでに要した時間である。また、回答が修正された場合、修正前の回答時間も合算する。まず、採点処理部12は、入力イベントデータ131の中から、その質問の質問番号1313のレコード1311を抽出する。そして、抽出した各レコード1311について、時刻1312と、そのレコード1311の直前に格納されたレコード1311の時刻1312との差を求める。さらに、求めた差を合計して、最終的な回答時間1324として格納する。
【0047】
図5に示した入力イベント情報132において、1番上の行は、「質問番号Q1の質問において、回答者は回答内容として3を選択し、この質問を回答するのに10秒を要し、1番目に回答した」ことを意味する。一方、上から3番目の行は、「質問番号Q3の質問において、回答者は回答内容として1を選択し、この質問を回答するのに30秒を要し、4番目に回答した」ことを意味する。
【0048】
なお、リアルタイムに入力イベントデータ131を受信する場合、採点処理部12は、新たに入力イベントデータ131を受信するたびに、それまでに蓄積された入力イベントデータ131に基づいて、上記の方法で、回答内容1322と、回答順序1323と、回答時間1324とを求め直し、入力イベント情報132を上書きする。
【0049】
すなわち、回答者が一度回答した質問の回答内容を修正した場合には、採点処理部12は、新しく選択された回答内容を当該質問の回答内容1322に格納する。また、修正により回答順序が変わる可能性があるが、採点処理部12は、入力イベント情報132の全体の回答順序を再計算し、回答順序に変更があれば該当する質問の回答順序1323を上書きし修正する。
【0050】
また、回答時間については、採点処理部12は、これまでの回答時間および修正に要した回答時間の総和を計算し直し、当該質問の回答時間1324に上書きし修正する。
【0051】
以上の方法により、リアルタイムで入力イベントデータ131を受信する場合でも、採点処理部12は、入力イベント情報132を常に最新の回答状況を反映したものとすることができる。
【0052】
こうして、採点処理部12は、回答者ごとに、入力イベント情報132を生成する。そして、所定の複数の回答者からアンケートの回答が完了した後に、以下のアンケートの採点処理を行う。
【0053】
まず、採点処理部12は、入力イベント情報132を利用して、回答者が確信または自信を持てずに回答したと判断される質問を抽出し、回答修正候補情報133に格納する(図2のS130)。
【0054】
図6は、回答修正候補情報133の構成例を示す図である。回答修正候補情報133には、質問番号1311ごとに、各回答者(図6ではAさん〜Eさん)の回答修正候補フラグ1332が格納されている。回答修正候補フラグ1332には、回答者が確信または自信を持てずに回答したと判断された場合、回答修正候補であるとして「1」が格納され、それ以外の場合は初期値の「0」が格納される。
【0055】
一般に、アンケートの上から順番に質問を読んで回答し、質問内容に対して確信または自信を持って回答する場合は回答選択に時間はかからない。しかし、質問内容に対して確信または自信を持てずに回答する場合は回答選択に時間がかかったり、当該質問の回答を保留し、次の質問に進み、再び後で戻ってきて回答し直すと考えられる。
【0056】
そこで、採点処理部12は、回答順序が元の質問番号順か否か、及び回答時間が所定の閾値(例えば、30秒)を超えるか否かを調べる。そして、回答順序が質問番号順でない場合、かつ回答時間が所定の閾値を超える場合は、回答者が確信または自信を持てずに回答したと判断し、回答修正候補フラグ1332に「1」を格納する。なお、採点処理部12は、回答順序が質問番号順であるか否かを、入力イベント情報132を参照して、その質問の質問番号1321の回答順序1323が、質問番号1321が1つ前である質問の回答順序1323の次であるか否かを判定し、次である場合は質問番号順であると判定し、そうでない場合、質問番号順でないと判定する。
【0057】
例えば、図5の入力イベント情報132の場合、回答順序を変更した(つまり、回答を一度保留し再び後で戻ってきて回答した)質問は、質問番号Q3、質問番号Q5、質問番号Q6である。また、回答時間が予め定められた閾値(30秒)以上である質問は質問番号Q3、質問番号Q4、質問番号Q5、質問番号Q7である。従って、採点処理部12は、これらの回答順序と回答時間に基づいて、質問番号Q3と質問番号Q5に関しては、回答者が確信または自信を持てずに回答したと判断し、回答修正候補フラグ1332に「1」を格納する。
【0058】
なお、本実施形態では、回答者が確信または自信を持てずに回答したと判断する基準は、回答順序および回答時間に基づいているが、回答順序または回答時間のどちらか一方のみに基づいて判断することも可能である。
【0059】
また、修正の回数により判定してもよい。例えば、採点処理部12は、入力イベントデータ131の中に、その質問番号1312のレコード1311が所定数以上格納されている場合、回答者が確信または自信を持てずに回答したと判断し、その質問を回答修正候補とすることができる。
【0060】
こうして、採点処理部12は、すべての回答者のアンケート結果(入力イベント情報132)について回答修正候補フラグ1332を求め、回答修正候補情報133に格納する。
【0061】
次に、採点処理部12は、回答修正候補情報133を利用して、複数回答者全体の回答内容から各質問について確信または自信を持てずに回答したと判断できる質問を決定し、回答修正項目情報134に格納する(図2のS140)。
【0062】
かかる処理を行うのは、ある質問に対して、一人の回答者が確信または自信を持てずに回答したとしても、その他の多数の回答者が確信または自信を持って回答したならば、その質問については全体として確信または自信を持って回答したと判断することができるからでる。
【0063】
図7は、回答修正項目情報134の構成例を示す図である。
【0064】
回答修正項目情報134には、質問番号1341ごとに、回答修正項目フラグ1342が格納される。回答修正項目フラグ1342には、その質問について回答者全体として確信または自信を持てずに回答したと判断された場合、回答修正項目であるとして「1」が格納される。一方、回答修正項目ではない場合は「0」が格納される。
【0065】
具体的には、採点処理部12は、回答修正候補情報133を参照して、質問番号1331ごとに、回答者の所定数(例えば、半数以上)において、回答修正候補フラグ1332が「1」か否か判定する。そして、回答者の所定数において、回答修正候補フラグ1332が「1」である場合、回答修正項目情報134の対応する質問番号1341の回答修正項目1342に、「1」を格納する。それ以外の場合は、「0」を格納する。
【0066】
例えば、図3の質問Q1に対して、一人の回答者Cさんが「十分文章化している」かどうかという記憶が曖昧で回答選択番号「2」を選択したとしても、他のすべての回答者が自信を持って「十分文章化している」と考えて回答選択番号「1」を選択したならば、この質問Q1に関しては全体としては確信または自信を持って回答されていると判断される。そこで、採点処理部12は、回答修正項目フラグ1342に「0」を格納する。
【0067】
その他の質問についても同様に、図6の回答者修正候補情報133を利用して、質問番号Q2に関しては、すべての回答者が「0」である(つまり、回答修正候補ではない)ので、全体としては確信または自信を持って回答されていると判断される。そこで、採点処理部12は、回答修正項目フラグ1342に「0」を格納する。
【0068】
一方、質問番号Q3に関しては、Cさん以外の回答者(つまり、半数以上の回答者)はすべて「1」である(つまり、回答修正候補である)ので、全体としては確信または自信を持てずに回答したと判断される。そこで、採点処理部12は、回答修正項目フラグ1342に「1」を格納する。
【0069】
なお、全体として確信または自信を持てずに回答したと判断する基準は、「全回答者の半数以上」と定めたが、複数回答の全員である場合、または一人でもいた場合、または全体の一定割合以上などとしてもよい。
【0070】
こうして、採点処理部12は、全ての質問について回答修正項目フラグ1342を求めて、回答修正項目情報134に格納する。
【0071】
次に、採点処理部12は、入力イベント情報132および回答修正項目情報134を利用して、各質問について回答者全体として選択された代表的な回答内容(選択肢番号)を決定し、回答結果情報135に格納する(図2のS150)。
【0072】
図8は、回答結果情報135の構成例を示す図である。回答結果情報135には、質問番号1351ごとに、最終的に決定された回答内容1352が格納される。以下に具体的に説明する。
【0073】
例えば、入力イベント情報132に基づくと、実施状況を問う質問に対して、ある回答者は「十分実施している」と考えて回答内容「1」が選択されており、ある回答者は「実施状況は十分ではない」と考えて回答内容「2」を選択されている場合がある。さらに、その回答内容が、回答修正項目情報134によれば、確信または自信を持てずに回答したと決定されている場合もある。
【0074】
そこで、確信または自信を持てずに回答したと決定された質問に対しては、より厳しく診断するという観点から、その質問における達成度または成熟度は回答されたものより一段階低いと判断して、達成度または成熟度が一段階低い回答内容に修正する。
【0075】
具体的には、まず、採点処理部12は、全体としてどの回答内容が選択されたかを決定するために、各質問について、入力イベント情報132を参照して、複数の回答者の中で最も多く回答された回答内容1322を抽出し、全体として選択された回答内容1352とする。
【0076】
さらに、採点処理部12は、質問ごとに、回答修正項目情報134を参照して、回答修正項目フラグ1342を調べ、「0」の場合は、回答内容1352を修正しない。一方、回答修正項目フラグ1342が「1」の場合、回答内容1352を一段低いレベルに落とす。例えば、選択肢番号がレベル順の場合、回答内容1352の選択肢番号に1を足して修正する。
【0077】
図6の例では、質問番号Q3の質問に対して、複数の回答者の回答の中で回答内容「1」と回答している人が最も多い。また、図7の回答修正項目情報134より質問番号Q3は回答修正項目であるため、採点処理部12は、回答内容「1」より達成度または成熟度が一段階低い回答内容「2」に修正する。
【0078】
一方、図6の例では、質問番号Q4の質問に対して、複数の回答者の回答の中で回答選択番号「2」と回答している人が最も多い。また、図7の回答修正項目情報134により質問番号Q4は回答修正項目ではないため、採点処理部12は、回答内容1352を「2」のままで修正しない。
【0079】
こうして、採点処理部12は、各質問について代表的な回答内容1352を決定し、回答結果情報135に格納する。
【0080】
なお、全体としてどの回答内容が選択されたかを決定する基準は、最も多くの回答者が選んだ回答内容としたが、さらに厳しく診断するという観点から、最も低い達成度または成熟度を表す回答内容とすることも可能である。
【0081】
次に、採点処理部12は、回答結果情報135および配点情報136を利用して、アンケートを採点し、その採点結果を閲覧装置3に送信する(図2のS160)。
【0082】
図9は、配点情報136の構成例を示す図である。配点情報136には、質問番号1361ごとに、各回答内容の配点1362が格納されている。
【0083】
例えば、図9の例の場合、一番上の行は、「質問番号Q1の質問において、回答内容1が選択された場合は10点、回答内容2が選択された場合は5点、回答内容3が選択された場合は0点を与える」ことを意味する。
【0084】
なお、図3のアンケート表示画面201で示したように、質問番号Q1の質問には、選択肢が3個しか与えられていないため、図9の配点1362には、配点が格納されておらず、「−」と表記している。
【0085】
なお、配点は、所定の配点方法により予め定められているが、配点方法については、質問内容に対する回答内容の達成度または成熟度を示す点数であればよい。従って、質問によっては図9の質問番号Q1のように10点満点の質問もあれば、質問番号Q5のように15点満点の質問があってもよい。また、各質問において一番低い点数が必ずしも0点である必要はない。
【0086】
採点処理部12は、回答結果情報135から各質問の回答内容1352を特定し、配点情報131を参照して、その回答内容1352の配点を求める。さらに、各質問を、類似する領域のものでグループ分けし、その質問領域に属する質問の点数を合計することにより、各グループの点数(得点)を求める。グループには、「技術インフラ調達」、「方針・手続の作成・保守」などがあり、各質問の属するグループは予め定められているものとする。
【0087】
なお、採点結果は、単に、各質問の配点の総和に対して何点獲得したかをパーセント表示しただけのものでもよい。
【0088】
採点処理部12は、こうして採点結果を生成すると、閲覧装置3から採点結果の送信要求を受け付ける。
【0089】
閲覧装置3の採点結果受信部31は、サーバ1から採点結果を受信すると、採点結果表示部32を介して、表示装置に、採点結果を表示する(図2のS165)。
【0090】
図10は、採点結果の表示画面301の一例を示す図である。採点結果表示部32は、サーバ1から受信した採点結果(各質問が属するグループごとの達成度(点数))を用い、質問領域を軸として採点結果を視覚表示したレーダチャート302を表示する。さらに、質問領域の名称303及び質問領域における達成度304からなる表を表示する。
【0091】
こうして、アンケート採点システムは、閲覧装置3に採点結果を表示する。
【0092】
以上、本発明の一実施形態について説明した。本実施形態によれば、複数のアンケート回答者の回答状況に基づいて、確信または自信を持てずに回答したと判断される質問項目については、採点を修正(例えば、達成度は低くなるように減点)することができるので、より実態に近い診断結果を与えることが可能となる。
【0093】
本発明は、上記実施形態に制限されない。上記実施形態は、様々な変形が可能である。
【0094】
<変形例1>
上記実施形態の回答内容決定処理S150では、回答修正項目情報134を参照して、回答修正項目である質問に対しては、質問の実施状況が回答されたものより達成度または成熟度が一段階低いと判断して、達成度または成熟度が一段階低い回答内容(選択肢番号)に修正した。しかし、これに限定されず、採点処理部12は、回答内容を修正するのではなく、回答内容をそのままにして、採点処理S160において一定点数を減点する方法でもよい。
【0095】
この場合、回答結果情報135の回答内容1352には、入力イベント情報132から計算された回答内容が格納され、修正されることはない。
【0096】
なお、採点処理部12は、減点対象となる質問番号を記憶しておき、採点処理S160において、減点対象でありかつ回答修正項目の質問については、採点を行う際に、得点の減点を行ってもよい。
【0097】
<変形例2>
企業向け診断では、企業の規模や業種によって、質問の重みが変わることがある。そこで、サーバ1は、記憶装置に、配点情報136とは別に「質問重み情報」を記憶していてもよい。採点処理部12は、各質問について点数を決定する際に、重みが付いている質問に対して、配点情報136の配点1362を一定割合増加させた点数を付ける。
【0098】
例えば、企業向け内部統制の実施状況を診断するアンケートにおいて、特に重要な質問を主要統制として配点および得点を一定数(例えば、1.5倍)増加させることにより、実施状況の有無をより際立たせて、実態により近い結果を得ることができる。
【0099】
<変形例3>
上記実施形態では、各質問の回答修正候補か否かの判定を、その質問の回答時間が所定の閾値を超えたか否かで判定した。しかしながら、予め想定した回答時間の閾値では、アンケート対象企業(団体)の実体に即した適切な値になっていない可能性がある。また、質問内容によっては、読むのに時間がかかり、回答時間にばらつきが生じる場合がある。そこで、かかる閾値を、一律な値とせず、回答者の回答状況(回答時間)に応じて随時変更してもよい。
【0100】
図11は、回答修正候補か否かを判定するのに用いる閾値を決めるための判定時間情報140の構成例である。
【0101】
例えば、採点処理部12は、入力イベント情報132を生成した後(S120)、生成した入力イベント情報132を用いて、質問番号1401ごとに、全回答者の回答時間1324の平均値1402を求める。そして、質問番号1401ごとに、その回答時間の平均値1402に所定の時間(例えば、10秒)を足した時間を求め、求めた時間を、その質問が回答修正候補か否かを判定する閾値1403に設定する。
【0102】
このように回答者の回答状況に応じて閾値を変更することで、回答修正候補か否かの判定をより精度よく行うことができる。
【0103】
<変形例4>
サーバ1でリアルタイムにアンケート回答を取得する場合、回答状況に応じて、アンケート内容を変更してもよい。例えば、ある質問について「回答順序を後回しにして回答に時間を要した」と判断される質問があった場合は、図12に示すように、その質問に関連する別の具体的な補足質問210を動的に追加する。
【0104】
具体的には、サーバ1の記憶装置のアンケート情報130には、予め各質問について補足質問が記憶されている。そして、採点処理部12は、回答装置2から入力イベントデータ131をリアルタイムに受信し、上記実施形態と同様にして入力イベント情報132を生成する。また、回答された質問について、回答修正候補か否かを判定し、回答修正候補であると判定された場合、アンケート送信部11に、その質問の補足質問を回答装置2に送信するように指示する。これを受けて、アンケート送信部11は、補足質問を、対応する回答装置2に送信する。回答装置2のアンケート表示部21は、図12に示すように、表示画面201に、補足質問210を付加して表示する。なお、補足質問の回答は、通常の質問と同様に、入力イベントデータ131として、サーバ1に送信される。また、アンケート画面201の動的な書換えは、Ajax技術またはDynamic HTML技術などを利用して行うことができる。
【0105】
こうすれば、回答者のアンケートの回答中に、その回答状況によって質問内容を動的に変更することができる。これによって、回答者が曖昧な回答を行っても、具体的にどのあたりが曖昧なのかを突き詰めることが可能になる。
【0106】
<変形例5>
上記実施形態では、入力イベント情報132の各質問の回答時間1324を、その質問の回答時刻と、前の質問の回答時刻との差により求めていた。しかし、回答者によっては、質問を読んでも回答しないでスキップする場合があるので、その質問の回答時間1324に、他の質問の検討に要した時間が含まれてしまう場合がある。そこで、より実体に即した回答時間を求めるようにしてもよい。
【0107】
例えば、回答順序が「Q1→Q2→Q4→Q3→Q5」の場合、上記実施形態で求めたQ4の回答時間1324には、「Q3の質問内容を読んで保留した時間」が含まれている。そこで、「Q3の質問を読んで保留した時間」を推定し、その時間を差し引くことにより、Q4の回答時間の精度を向上させる。
【0108】
具体的には、採点処理部12は、質問の回答時間を求める際、質問番号1321と回答順序1323を比較して、その質問の回答までにスキップされた質問を特定する。上記の例では、Q4については、Q3がスキップした質問である。そして、スキップした質問の保留時間(上記の例では、「Q3の質問を読んで保留した時間」)を、例えば、上記変形例3で説明したように、回答者の平均回答時間を計算し求める。そして、対象の質問の回答時刻と、前の質問の回答時刻との差により求めた回答時間(すなわち、上記実施形態の回答時間1324に相当)から、スキップした質問の保留時間(全回答者の回答時間の平均)を差し引いて、その質問の回答時間1324とする。
【0109】
例えば、入力イベントデータ131から「Q2を回答してからQ4を回答するまでの時間」が40秒であり、スキップされたQ3の平均回答時間が15秒である場合は、採点処理部12は、Q4の回答時間1324を40−15=25秒と計算する。
【0110】
また、スキップした質問の保留時間を検知して回答時間1324を求めてもよい。例えば、採点処理部12は、スキップされた質問の回答が入力された際に、そのスキップした質問の回答時刻と前の質問の回答時刻との差(上記実施形態の回答時間1324に相当)と、そのスキップした質問の保留時間との総和を計算し、回答時間1324とする。例えば、「Q3に15秒を要して、回答を保留した」ことを入力イベントデータ131により取得し、スキップされたQ3の回答が入力された際には、そのときに要した回答時間と保留時間(15秒)の総和を計算し、Q3の回答時間1324とする。
【0111】
なお、アンケートをWeb画面(HTMLページ)で提供している場合、Ajax技術(JavaScriptプログラム)を利用すれば、アンケート画面上でのマウスのスクロールをイベントデータとして取得することで、スキップされた質問の保留時間を検知することができる。
【0112】
例えば、採点処理部12は、マウススクロールのイベントの発生時刻を、次の質問に移った時刻とする。この場合、前の質問の回答時刻から、マウススクロールのイベント発生時刻までが、スキップした質問の保留時間(上記の例では、「Q3の質問を読んで保留した時間」)として求められる。
【0113】
なお、同じ画面内に最初Q1〜Q3の質問の表示がされ、Q1の回答後にマウススクロールがありQ4の質問が表示された場合で、回答順序が「Q1→Q4→Q2→Q3→・・・」となった場合、「マウススクロールからQ4回答までの時間」をQ4の回答時間と求められる。しかし、同じ画面内にQ1,Q2の質問が表示され、その後ページめくりにより、Q3,Q4の表示がされる場合は、「マウススクロールからQ4回答までの時間」は、「Q3の保留時間とQ4の回答時間の総和」になってしまう。
【0114】
従って、スクロールイベントを検知して保留時間を求める方法は、スクロールされた場合に新たに表示される質問の数が限定されている場合、画面サイズが固定されている、画面内の質問数が固定されている(1〜2問程度)などの制限がある場合に、有効である。
【0115】
なお、本発明は、企業、個人、グループなどを対象としたアンケート、アセスメント、意見収集などを支援する情報システムまたは情報サービスとして利用可能である。
【0116】
また、質問は、アンケートに限らず、テスト問題であってもよい。複数の回答者のテストの結果を評価・分析するのに有効である。
【図面の簡単な説明】
【0117】
【図1】本発明の実施形態におけるアンケート採点システムの構成例を示す図である。
【図2】実施形態のアンケート採点システムの処理フローを示す図である。
【図3】実施形態のアンケート表示画面の一例を示す図である。
【図4】実施形態の入力イベントデータの一例を示す図である。
【図5】実施形態の入力イベント情報の一例を示す図である。
【図6】実施形態の回答修正候補情報の一例を示す図である。
【図7】実施形態の回答修正項目情報の一例を示す図である。
【図8】実施形態の回答結果情報の一例を示す図である。
【図9】実施形態の配点情報の一例を示す図である。
【図10】実施形態の採点結果表示画面の一例を示す図である。
【図11】実施形態の判定時間情報の一例を示す図である。
【図12】実施形態のアンケート表示画面の一例を示す図である。
【符号の説明】
【0118】
1 サーバ
2 回答装置
3 閲覧装置
4 通信網
【技術分野】
【0001】
本発明は、アンケートやテスト等における質問(問題)の自動採点技術に関する。
【背景技術】
【0002】
特許文献1には、選択肢形式の質問が記載された質問紙において、回答者の回答過程のデータを記録する技術が開示されている。この技術では、回答がなされた質問番号と、選択された選択肢と、各質問の回答時間と、回答がなされた質問の順とが、回答過程のデータとして記録紙に記録される。
【0003】
【特許文献1】特開2000−3351号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1の技術は、回答過程のデータを取得するのみで、取得したデータから意味のある採点結果を得るための方法を開示していない。また、特許文献1の技術では、複数の回答者の回答結果を記憶することはできないので、アンケート調査のように、複数の回答者からの回答内容を集約し全体として一つの採点結果を出すことを目的とするものに適用することができない。
【0005】
本発明は、上記課題を解決すべくなされたもので、複数の回答者が回答することが前提である質問(アンケート、テストなど)において、回答者の回答状況に基づいて、より有意義な採点結果を効率的に求めることを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決すべく、本発明では、複数の回答者の回答結果を、回答状況に応じて、修正し、集約し、採点結果を得る。
【0007】
例えば、本発明の第1の態様は、質問に回答するための回答装置と、質問の回答結果を採点するためのサーバ装置と、採点結果を閲覧するための閲覧装置とが通信網を介して接続されている質問採点システムである。前記回答装置は、回答者による質問への入力イベントを取得し、前記サーバに送信する入力イベント送信手段を有している。前記サーバ装置は、前記回答装置から前記入力イベントを取得し、入力イベント情報として格納する入力イベント格納手段と、前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出手段と、前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定手段と、前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定手段と、予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理手段とを有している。前記閲覧装置は、前記サーバ装置において得られた採点結果を画面表示する採点結果閲覧手段を有している。
【0008】
また、本発明の第2の態様は、コンピュータにより実現される質問採点システムであって、複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得手段と、前記回答結果取得手段で取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得手段と、前記回答状況取得手段で求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定手段と、前記修正候補決定手段で決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定手段と、前記回答結果取得手段で取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得手段と、前記代表回答取得手段で取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正手段とを備える。
【発明を実施するための最良の形態】
【0009】
以下、図面を用いて本発明の一実施形態について説明する。
【0010】
本実施形態では、企業内における内部統制の実施状況を、アンケート回答により評価するアンケート採点システムの例を用いる。ただし、本発明の技術的思想は、この例に限定されるものではない。
【0011】
一般に、企業内における内部統制やITガバナンスなどの実施状況を診断するアンケートは、複数の回答者がアンケートに回答し、それらを総合的に判断して、当該企業の実施状況を診断するものである。このようなアンケートは、質問ごとに達成度または成熟度を示す複数の回答選択肢を準備している。
【0012】
各質問について、複数の回答者が回答した選択肢の中から当該企業の状況を最もよく表していると考えられる選択肢を代表として一つ選出し、その選択肢が質問に対する企業の実施状況を表すものと考える。
【0013】
例えば、複数の回答者が選択したものの中で一番多くの人が回答した選択肢を選出する方法や、最も点数が低い選択肢を選出する方法などがある。
【0014】
このように複数の回答者がアンケートに回答することにより、当該企業内での内部統制やITガバナンスなどの実施状況を一人の回答者が回答する場合よりも、より正確に診断することができる。
【0015】
本発明の実施の形態においても、企業内における内部統制の実施状況を診断するために、複数の担当者がアンケートに回答するものとする。
【0016】
そして、複数のアンケート回答者の回答状況を判断し、確信または自信を持てずに回答したと判断される質問項目については、より厳しく診断するという観点から、その質問の回答に対しては点数を低く与え、より実態に近くなるように採点するものとする。
【0017】
ただし、アンケートの回答者が一人であったとしても以下で説明する方法は有効である。
【0018】
図1は、本発明の一実施形態が適用されたアンケート採点システムの構成例を示す図である。
【0019】
アンケート採点システムは、インタネットなどの通信網4を介して接続された、サーバ1と、複数の回答装置2と、複数の閲覧装置3とを有している。
【0020】
これらの、サーバ1、回答装置2、及び閲覧装置3は、CPU(Central Processing Unit)、メモリ(RAM,ROM)、補助記憶装置(HDD)、通信インタフェース、これらの接続するシステムバス、キーボード、マウス等の入力装置、液晶ディスプレイ等の表示装置などを備えてなる汎用的なコンピュータシステムにより構成される。下記に説明するサーバ1、回答装置2、及び閲覧装置3の各構成要素及び機能は、CPUがメモリにロードした所定のプログラムを実行することにより達成される。各装置1、2、3のROM、HDDには、各装置1、2、3が実行する処理のためのプログラムが予め格納されている。
【0021】
サーバ1は、回答装置2にアンケートを表示するのに使用されるアンケート情報130を回答装置2に送信するアンケート送信部11と、回答装置2から受信した回答結果を集計し配点情報136を用いて採点する採点処理部12と、採点処理部12で生成した採点結果を閲覧装置3に送信する採点結果送信部13とを有する。
【0022】
回答装置2は、サーバ1から受信したアンケートを表示装置に表示するアンケート表示部21と、回答者から入力装置を介してなされる操作を入力イベントとして取得する入力イベント取得部22と、入力イベント取得部22が取得した入力イベントをサーバ1に送信する送信部24とを有する。
【0023】
閲覧装置3は、サーバ1から採点結果を受信する採点結果受信部31と、採点結果を表示装置に表示する採点結果表示部32とを有する。
【0024】
サーバ1から回答装置2に送信されるアンケート情報130は、WWW(World Wide Web)上のアプリケーションプログラムであっても、PC上で動作するJavaアプリケーションのようなクライアントプログラムであってもよい。
【0025】
回答装置2、閲覧装置3は1台であっても、複数台であってもよい。
【0026】
また、サーバ1、回答装置2、閲覧装置3は、通信網4を介さない物理的に1台の装置であって、上記で説明した機能を1台の装置の中に有するものであってもよい。あるいは、回答装置2は、閲覧装置3を兼ねてもよく、閲覧装置3が有する採点結果受信部31および採点結果表示部32を備えていてもよい。
【0027】
次に、上記のように構成されるアンケート採点システムの動作について説明する。
【0028】
図2は、アンケート採点システムの処理フローを示す図である。
【0029】
まず、サーバ1のアンケート送信部11は、サーバ1の記憶装置に記憶されているアンケート情報130を、回答装置2に送信する(S110)。上述のとおり、アンケート情報130は、回答装置2に複数の質問からなるアンケートを表示するための情報である。
【0030】
回答装置2のアンケート表示部21は、サーバ1からアンケート情報130を受信すると、アンケート情報130に基づいて表示装置にアンケートを表示する(S112)。
【0031】
図3は、アンケート情報130に基づいて表示装置にアンケートを表示した様子を示す。アンケート表示部21は、回答装置2の表示装置の表示画面201に、アンケートの質問ごとに、質問内容202と、回答者が回答を選択するためのラジオボタン203と、選択肢番号204と、選択肢番号に対応する選択肢の内容205とを表示する。また、回答者から回答結果の送信命令を受け付けるための「送信ボタン」206を、すべての質問の最後(最下部)に配置し表示する。
【0032】
ラジオボタン203は、1つの質問に1つのみ選択可能となっている。また、各ラジオボタン203には、選択肢番号204に対応させた識別コード(ID)が付与されている。
【0033】
なお、回答の選択肢の数はアンケート全体を通して同じ数であっても、質問ごとに異なっていてもよい。また、図3では、選択肢を、達成度または成熟度が高い順番に上から並べているが、必ずしも達成度または成熟度が高い順番に並べる必要はない。
【0034】
回答者は、各質問について最も近い内容の選択肢を一つ選び、その選択肢の左隣にあるラジオボタン203を押す(クリックする)ことになる。例えば、図3の質問Q1「組織としてシステムやアプリケーションの調達・開発に関する方針や手続きを文章化していますか?」という質問に対して、回答者が「十分に文章化している」と考えた場合は、選択肢番号「1」の左隣にあるラジオボタン203がマウスによりクリックされる。
【0035】
入力イベント取得部22は、いずれかのラジオボタン203が選択された場合、選択されたラジオボタン203のIDに対応する回答内容(選択肢番号)を、選択された時刻とともに取得し、入力イベントデータ131として蓄積する(図2のS114)。
【0036】
図4は、入力イベントデータ131の構成例を示す。入力イベントデータ131は、時刻ごとのレコード1311からなり、各レコード1311には、時刻1312と、質問番号1313、回答内容(選択肢番号)1314とが格納される。
【0037】
具体的には、入力イベント取得部22は、いずれかの質問のラジオボタン203が押されたことをイベントとして検知すると、押されたラジオボタン203のIDに対応する質問番号と回答内容を特定する。そして、入力イベントデータ131に、レコード1311を追加し、追加したレコード1311に、ラジオボタン203が押された時刻1312と、特定した質問番号1313と、回答内容1314とを格納する。なお、回答が修正された場合、回答が修正された質問の質問番号1314が付与されたレコード1311が追加される。すなわち、回答が修正された場合、質問番号1313が同じレコード1311が複数登録されることになる。
【0038】
入力イベント取得部22は、回答者がすべての質問に対して回答を終了し、最後に送信ボタン206が押されたことを検知すると、それまでに蓄積した入力イベントデータ131をサーバ1に送信するように送信部24に指示する。これを受けて、送信部24は、蓄積された入力イベントデータ131を、サーバ1に送信する。
【0039】
なお、送信部24は、入力イベント取得部22がイベントの発生を検知して入力イベントデータ131を生成するたびに、サーバ1と非同期通信を行い、新たに生成された入力イベントデータ131をサーバ1にリアルタイムに送信するようにしてもよい。または、送信部23は、定期的に、蓄積された入力イベントデータをサーバ1に送信するようにしてもよい。
【0040】
いずれの場合においても、WWW上のアプリケーションとして提供するなら、既存のAjax(Asynchronous JavaScript+XML)技術やAdobe社のFlash技術を利用することにより実現可能である。一方、Javaアプリケーションのようなクライアントプログラムとして提供するなら、クライアントプログラムとサーバ間で既存のソケット通信技術やWebサービス技術などを利用することにより実現可能である。
【0041】
次に、サーバ1の採点処理部12は、回答装置2の送信部24から送信された入力イベントデータ131を受信し、入力イベント情報132に変換した後、サーバ1の記憶装置に格納する(図2のS120)。
【0042】
図5は、入力イベント情報132の構成例を示す図である。全ての回答者がアンケートに回答した場合、記憶装置には、回答者の数の入力イベント情報132が格納される。すなわち、回答者ごとに入力イベント情報132は管理される。
【0043】
入力イベント情報132は、質問番号1321ごとのレコードからなり、各レコードには、質問番号1321と、回答内容1322と、回答順序1323と、回答時間1324とが格納される。
【0044】
回答内容1322は、その質問(質問番号1321の質問)の最終的な回答である。まず、採点処理部12は、入力イベントデータ131の中から、その質問の質問番号1313のレコード1311を抽出する。そして、抽出したレコード1311の中で時刻1312が最も遅いレコード1311を特定し、特定したレコード1311の回答内容1314を求める。求めた回答内容1314を、入力イベント情報132の対応する質問番号1321のレコードの回答内容1322として格納する。
【0045】
回答順序1323は、その質問(質問番号1321の質問)について最終的な回答がされた順番である。まず、採点処理部12は、上記のようにして、各質問について、最終的な回答内容1322が格納されたレコード1311を特定して、特定した各レコード1311の時刻1312から、各質問の最終的な回答時刻を求める。そして、最終的な回答時刻が早い順に各質問を並べてることにより、回答順序1323を定め格納する。
【0046】
回答時間1324は、1つ前の質問を回答してからその質問を回答するまでに要した時間である。また、回答が修正された場合、修正前の回答時間も合算する。まず、採点処理部12は、入力イベントデータ131の中から、その質問の質問番号1313のレコード1311を抽出する。そして、抽出した各レコード1311について、時刻1312と、そのレコード1311の直前に格納されたレコード1311の時刻1312との差を求める。さらに、求めた差を合計して、最終的な回答時間1324として格納する。
【0047】
図5に示した入力イベント情報132において、1番上の行は、「質問番号Q1の質問において、回答者は回答内容として3を選択し、この質問を回答するのに10秒を要し、1番目に回答した」ことを意味する。一方、上から3番目の行は、「質問番号Q3の質問において、回答者は回答内容として1を選択し、この質問を回答するのに30秒を要し、4番目に回答した」ことを意味する。
【0048】
なお、リアルタイムに入力イベントデータ131を受信する場合、採点処理部12は、新たに入力イベントデータ131を受信するたびに、それまでに蓄積された入力イベントデータ131に基づいて、上記の方法で、回答内容1322と、回答順序1323と、回答時間1324とを求め直し、入力イベント情報132を上書きする。
【0049】
すなわち、回答者が一度回答した質問の回答内容を修正した場合には、採点処理部12は、新しく選択された回答内容を当該質問の回答内容1322に格納する。また、修正により回答順序が変わる可能性があるが、採点処理部12は、入力イベント情報132の全体の回答順序を再計算し、回答順序に変更があれば該当する質問の回答順序1323を上書きし修正する。
【0050】
また、回答時間については、採点処理部12は、これまでの回答時間および修正に要した回答時間の総和を計算し直し、当該質問の回答時間1324に上書きし修正する。
【0051】
以上の方法により、リアルタイムで入力イベントデータ131を受信する場合でも、採点処理部12は、入力イベント情報132を常に最新の回答状況を反映したものとすることができる。
【0052】
こうして、採点処理部12は、回答者ごとに、入力イベント情報132を生成する。そして、所定の複数の回答者からアンケートの回答が完了した後に、以下のアンケートの採点処理を行う。
【0053】
まず、採点処理部12は、入力イベント情報132を利用して、回答者が確信または自信を持てずに回答したと判断される質問を抽出し、回答修正候補情報133に格納する(図2のS130)。
【0054】
図6は、回答修正候補情報133の構成例を示す図である。回答修正候補情報133には、質問番号1311ごとに、各回答者(図6ではAさん〜Eさん)の回答修正候補フラグ1332が格納されている。回答修正候補フラグ1332には、回答者が確信または自信を持てずに回答したと判断された場合、回答修正候補であるとして「1」が格納され、それ以外の場合は初期値の「0」が格納される。
【0055】
一般に、アンケートの上から順番に質問を読んで回答し、質問内容に対して確信または自信を持って回答する場合は回答選択に時間はかからない。しかし、質問内容に対して確信または自信を持てずに回答する場合は回答選択に時間がかかったり、当該質問の回答を保留し、次の質問に進み、再び後で戻ってきて回答し直すと考えられる。
【0056】
そこで、採点処理部12は、回答順序が元の質問番号順か否か、及び回答時間が所定の閾値(例えば、30秒)を超えるか否かを調べる。そして、回答順序が質問番号順でない場合、かつ回答時間が所定の閾値を超える場合は、回答者が確信または自信を持てずに回答したと判断し、回答修正候補フラグ1332に「1」を格納する。なお、採点処理部12は、回答順序が質問番号順であるか否かを、入力イベント情報132を参照して、その質問の質問番号1321の回答順序1323が、質問番号1321が1つ前である質問の回答順序1323の次であるか否かを判定し、次である場合は質問番号順であると判定し、そうでない場合、質問番号順でないと判定する。
【0057】
例えば、図5の入力イベント情報132の場合、回答順序を変更した(つまり、回答を一度保留し再び後で戻ってきて回答した)質問は、質問番号Q3、質問番号Q5、質問番号Q6である。また、回答時間が予め定められた閾値(30秒)以上である質問は質問番号Q3、質問番号Q4、質問番号Q5、質問番号Q7である。従って、採点処理部12は、これらの回答順序と回答時間に基づいて、質問番号Q3と質問番号Q5に関しては、回答者が確信または自信を持てずに回答したと判断し、回答修正候補フラグ1332に「1」を格納する。
【0058】
なお、本実施形態では、回答者が確信または自信を持てずに回答したと判断する基準は、回答順序および回答時間に基づいているが、回答順序または回答時間のどちらか一方のみに基づいて判断することも可能である。
【0059】
また、修正の回数により判定してもよい。例えば、採点処理部12は、入力イベントデータ131の中に、その質問番号1312のレコード1311が所定数以上格納されている場合、回答者が確信または自信を持てずに回答したと判断し、その質問を回答修正候補とすることができる。
【0060】
こうして、採点処理部12は、すべての回答者のアンケート結果(入力イベント情報132)について回答修正候補フラグ1332を求め、回答修正候補情報133に格納する。
【0061】
次に、採点処理部12は、回答修正候補情報133を利用して、複数回答者全体の回答内容から各質問について確信または自信を持てずに回答したと判断できる質問を決定し、回答修正項目情報134に格納する(図2のS140)。
【0062】
かかる処理を行うのは、ある質問に対して、一人の回答者が確信または自信を持てずに回答したとしても、その他の多数の回答者が確信または自信を持って回答したならば、その質問については全体として確信または自信を持って回答したと判断することができるからでる。
【0063】
図7は、回答修正項目情報134の構成例を示す図である。
【0064】
回答修正項目情報134には、質問番号1341ごとに、回答修正項目フラグ1342が格納される。回答修正項目フラグ1342には、その質問について回答者全体として確信または自信を持てずに回答したと判断された場合、回答修正項目であるとして「1」が格納される。一方、回答修正項目ではない場合は「0」が格納される。
【0065】
具体的には、採点処理部12は、回答修正候補情報133を参照して、質問番号1331ごとに、回答者の所定数(例えば、半数以上)において、回答修正候補フラグ1332が「1」か否か判定する。そして、回答者の所定数において、回答修正候補フラグ1332が「1」である場合、回答修正項目情報134の対応する質問番号1341の回答修正項目1342に、「1」を格納する。それ以外の場合は、「0」を格納する。
【0066】
例えば、図3の質問Q1に対して、一人の回答者Cさんが「十分文章化している」かどうかという記憶が曖昧で回答選択番号「2」を選択したとしても、他のすべての回答者が自信を持って「十分文章化している」と考えて回答選択番号「1」を選択したならば、この質問Q1に関しては全体としては確信または自信を持って回答されていると判断される。そこで、採点処理部12は、回答修正項目フラグ1342に「0」を格納する。
【0067】
その他の質問についても同様に、図6の回答者修正候補情報133を利用して、質問番号Q2に関しては、すべての回答者が「0」である(つまり、回答修正候補ではない)ので、全体としては確信または自信を持って回答されていると判断される。そこで、採点処理部12は、回答修正項目フラグ1342に「0」を格納する。
【0068】
一方、質問番号Q3に関しては、Cさん以外の回答者(つまり、半数以上の回答者)はすべて「1」である(つまり、回答修正候補である)ので、全体としては確信または自信を持てずに回答したと判断される。そこで、採点処理部12は、回答修正項目フラグ1342に「1」を格納する。
【0069】
なお、全体として確信または自信を持てずに回答したと判断する基準は、「全回答者の半数以上」と定めたが、複数回答の全員である場合、または一人でもいた場合、または全体の一定割合以上などとしてもよい。
【0070】
こうして、採点処理部12は、全ての質問について回答修正項目フラグ1342を求めて、回答修正項目情報134に格納する。
【0071】
次に、採点処理部12は、入力イベント情報132および回答修正項目情報134を利用して、各質問について回答者全体として選択された代表的な回答内容(選択肢番号)を決定し、回答結果情報135に格納する(図2のS150)。
【0072】
図8は、回答結果情報135の構成例を示す図である。回答結果情報135には、質問番号1351ごとに、最終的に決定された回答内容1352が格納される。以下に具体的に説明する。
【0073】
例えば、入力イベント情報132に基づくと、実施状況を問う質問に対して、ある回答者は「十分実施している」と考えて回答内容「1」が選択されており、ある回答者は「実施状況は十分ではない」と考えて回答内容「2」を選択されている場合がある。さらに、その回答内容が、回答修正項目情報134によれば、確信または自信を持てずに回答したと決定されている場合もある。
【0074】
そこで、確信または自信を持てずに回答したと決定された質問に対しては、より厳しく診断するという観点から、その質問における達成度または成熟度は回答されたものより一段階低いと判断して、達成度または成熟度が一段階低い回答内容に修正する。
【0075】
具体的には、まず、採点処理部12は、全体としてどの回答内容が選択されたかを決定するために、各質問について、入力イベント情報132を参照して、複数の回答者の中で最も多く回答された回答内容1322を抽出し、全体として選択された回答内容1352とする。
【0076】
さらに、採点処理部12は、質問ごとに、回答修正項目情報134を参照して、回答修正項目フラグ1342を調べ、「0」の場合は、回答内容1352を修正しない。一方、回答修正項目フラグ1342が「1」の場合、回答内容1352を一段低いレベルに落とす。例えば、選択肢番号がレベル順の場合、回答内容1352の選択肢番号に1を足して修正する。
【0077】
図6の例では、質問番号Q3の質問に対して、複数の回答者の回答の中で回答内容「1」と回答している人が最も多い。また、図7の回答修正項目情報134より質問番号Q3は回答修正項目であるため、採点処理部12は、回答内容「1」より達成度または成熟度が一段階低い回答内容「2」に修正する。
【0078】
一方、図6の例では、質問番号Q4の質問に対して、複数の回答者の回答の中で回答選択番号「2」と回答している人が最も多い。また、図7の回答修正項目情報134により質問番号Q4は回答修正項目ではないため、採点処理部12は、回答内容1352を「2」のままで修正しない。
【0079】
こうして、採点処理部12は、各質問について代表的な回答内容1352を決定し、回答結果情報135に格納する。
【0080】
なお、全体としてどの回答内容が選択されたかを決定する基準は、最も多くの回答者が選んだ回答内容としたが、さらに厳しく診断するという観点から、最も低い達成度または成熟度を表す回答内容とすることも可能である。
【0081】
次に、採点処理部12は、回答結果情報135および配点情報136を利用して、アンケートを採点し、その採点結果を閲覧装置3に送信する(図2のS160)。
【0082】
図9は、配点情報136の構成例を示す図である。配点情報136には、質問番号1361ごとに、各回答内容の配点1362が格納されている。
【0083】
例えば、図9の例の場合、一番上の行は、「質問番号Q1の質問において、回答内容1が選択された場合は10点、回答内容2が選択された場合は5点、回答内容3が選択された場合は0点を与える」ことを意味する。
【0084】
なお、図3のアンケート表示画面201で示したように、質問番号Q1の質問には、選択肢が3個しか与えられていないため、図9の配点1362には、配点が格納されておらず、「−」と表記している。
【0085】
なお、配点は、所定の配点方法により予め定められているが、配点方法については、質問内容に対する回答内容の達成度または成熟度を示す点数であればよい。従って、質問によっては図9の質問番号Q1のように10点満点の質問もあれば、質問番号Q5のように15点満点の質問があってもよい。また、各質問において一番低い点数が必ずしも0点である必要はない。
【0086】
採点処理部12は、回答結果情報135から各質問の回答内容1352を特定し、配点情報131を参照して、その回答内容1352の配点を求める。さらに、各質問を、類似する領域のものでグループ分けし、その質問領域に属する質問の点数を合計することにより、各グループの点数(得点)を求める。グループには、「技術インフラ調達」、「方針・手続の作成・保守」などがあり、各質問の属するグループは予め定められているものとする。
【0087】
なお、採点結果は、単に、各質問の配点の総和に対して何点獲得したかをパーセント表示しただけのものでもよい。
【0088】
採点処理部12は、こうして採点結果を生成すると、閲覧装置3から採点結果の送信要求を受け付ける。
【0089】
閲覧装置3の採点結果受信部31は、サーバ1から採点結果を受信すると、採点結果表示部32を介して、表示装置に、採点結果を表示する(図2のS165)。
【0090】
図10は、採点結果の表示画面301の一例を示す図である。採点結果表示部32は、サーバ1から受信した採点結果(各質問が属するグループごとの達成度(点数))を用い、質問領域を軸として採点結果を視覚表示したレーダチャート302を表示する。さらに、質問領域の名称303及び質問領域における達成度304からなる表を表示する。
【0091】
こうして、アンケート採点システムは、閲覧装置3に採点結果を表示する。
【0092】
以上、本発明の一実施形態について説明した。本実施形態によれば、複数のアンケート回答者の回答状況に基づいて、確信または自信を持てずに回答したと判断される質問項目については、採点を修正(例えば、達成度は低くなるように減点)することができるので、より実態に近い診断結果を与えることが可能となる。
【0093】
本発明は、上記実施形態に制限されない。上記実施形態は、様々な変形が可能である。
【0094】
<変形例1>
上記実施形態の回答内容決定処理S150では、回答修正項目情報134を参照して、回答修正項目である質問に対しては、質問の実施状況が回答されたものより達成度または成熟度が一段階低いと判断して、達成度または成熟度が一段階低い回答内容(選択肢番号)に修正した。しかし、これに限定されず、採点処理部12は、回答内容を修正するのではなく、回答内容をそのままにして、採点処理S160において一定点数を減点する方法でもよい。
【0095】
この場合、回答結果情報135の回答内容1352には、入力イベント情報132から計算された回答内容が格納され、修正されることはない。
【0096】
なお、採点処理部12は、減点対象となる質問番号を記憶しておき、採点処理S160において、減点対象でありかつ回答修正項目の質問については、採点を行う際に、得点の減点を行ってもよい。
【0097】
<変形例2>
企業向け診断では、企業の規模や業種によって、質問の重みが変わることがある。そこで、サーバ1は、記憶装置に、配点情報136とは別に「質問重み情報」を記憶していてもよい。採点処理部12は、各質問について点数を決定する際に、重みが付いている質問に対して、配点情報136の配点1362を一定割合増加させた点数を付ける。
【0098】
例えば、企業向け内部統制の実施状況を診断するアンケートにおいて、特に重要な質問を主要統制として配点および得点を一定数(例えば、1.5倍)増加させることにより、実施状況の有無をより際立たせて、実態により近い結果を得ることができる。
【0099】
<変形例3>
上記実施形態では、各質問の回答修正候補か否かの判定を、その質問の回答時間が所定の閾値を超えたか否かで判定した。しかしながら、予め想定した回答時間の閾値では、アンケート対象企業(団体)の実体に即した適切な値になっていない可能性がある。また、質問内容によっては、読むのに時間がかかり、回答時間にばらつきが生じる場合がある。そこで、かかる閾値を、一律な値とせず、回答者の回答状況(回答時間)に応じて随時変更してもよい。
【0100】
図11は、回答修正候補か否かを判定するのに用いる閾値を決めるための判定時間情報140の構成例である。
【0101】
例えば、採点処理部12は、入力イベント情報132を生成した後(S120)、生成した入力イベント情報132を用いて、質問番号1401ごとに、全回答者の回答時間1324の平均値1402を求める。そして、質問番号1401ごとに、その回答時間の平均値1402に所定の時間(例えば、10秒)を足した時間を求め、求めた時間を、その質問が回答修正候補か否かを判定する閾値1403に設定する。
【0102】
このように回答者の回答状況に応じて閾値を変更することで、回答修正候補か否かの判定をより精度よく行うことができる。
【0103】
<変形例4>
サーバ1でリアルタイムにアンケート回答を取得する場合、回答状況に応じて、アンケート内容を変更してもよい。例えば、ある質問について「回答順序を後回しにして回答に時間を要した」と判断される質問があった場合は、図12に示すように、その質問に関連する別の具体的な補足質問210を動的に追加する。
【0104】
具体的には、サーバ1の記憶装置のアンケート情報130には、予め各質問について補足質問が記憶されている。そして、採点処理部12は、回答装置2から入力イベントデータ131をリアルタイムに受信し、上記実施形態と同様にして入力イベント情報132を生成する。また、回答された質問について、回答修正候補か否かを判定し、回答修正候補であると判定された場合、アンケート送信部11に、その質問の補足質問を回答装置2に送信するように指示する。これを受けて、アンケート送信部11は、補足質問を、対応する回答装置2に送信する。回答装置2のアンケート表示部21は、図12に示すように、表示画面201に、補足質問210を付加して表示する。なお、補足質問の回答は、通常の質問と同様に、入力イベントデータ131として、サーバ1に送信される。また、アンケート画面201の動的な書換えは、Ajax技術またはDynamic HTML技術などを利用して行うことができる。
【0105】
こうすれば、回答者のアンケートの回答中に、その回答状況によって質問内容を動的に変更することができる。これによって、回答者が曖昧な回答を行っても、具体的にどのあたりが曖昧なのかを突き詰めることが可能になる。
【0106】
<変形例5>
上記実施形態では、入力イベント情報132の各質問の回答時間1324を、その質問の回答時刻と、前の質問の回答時刻との差により求めていた。しかし、回答者によっては、質問を読んでも回答しないでスキップする場合があるので、その質問の回答時間1324に、他の質問の検討に要した時間が含まれてしまう場合がある。そこで、より実体に即した回答時間を求めるようにしてもよい。
【0107】
例えば、回答順序が「Q1→Q2→Q4→Q3→Q5」の場合、上記実施形態で求めたQ4の回答時間1324には、「Q3の質問内容を読んで保留した時間」が含まれている。そこで、「Q3の質問を読んで保留した時間」を推定し、その時間を差し引くことにより、Q4の回答時間の精度を向上させる。
【0108】
具体的には、採点処理部12は、質問の回答時間を求める際、質問番号1321と回答順序1323を比較して、その質問の回答までにスキップされた質問を特定する。上記の例では、Q4については、Q3がスキップした質問である。そして、スキップした質問の保留時間(上記の例では、「Q3の質問を読んで保留した時間」)を、例えば、上記変形例3で説明したように、回答者の平均回答時間を計算し求める。そして、対象の質問の回答時刻と、前の質問の回答時刻との差により求めた回答時間(すなわち、上記実施形態の回答時間1324に相当)から、スキップした質問の保留時間(全回答者の回答時間の平均)を差し引いて、その質問の回答時間1324とする。
【0109】
例えば、入力イベントデータ131から「Q2を回答してからQ4を回答するまでの時間」が40秒であり、スキップされたQ3の平均回答時間が15秒である場合は、採点処理部12は、Q4の回答時間1324を40−15=25秒と計算する。
【0110】
また、スキップした質問の保留時間を検知して回答時間1324を求めてもよい。例えば、採点処理部12は、スキップされた質問の回答が入力された際に、そのスキップした質問の回答時刻と前の質問の回答時刻との差(上記実施形態の回答時間1324に相当)と、そのスキップした質問の保留時間との総和を計算し、回答時間1324とする。例えば、「Q3に15秒を要して、回答を保留した」ことを入力イベントデータ131により取得し、スキップされたQ3の回答が入力された際には、そのときに要した回答時間と保留時間(15秒)の総和を計算し、Q3の回答時間1324とする。
【0111】
なお、アンケートをWeb画面(HTMLページ)で提供している場合、Ajax技術(JavaScriptプログラム)を利用すれば、アンケート画面上でのマウスのスクロールをイベントデータとして取得することで、スキップされた質問の保留時間を検知することができる。
【0112】
例えば、採点処理部12は、マウススクロールのイベントの発生時刻を、次の質問に移った時刻とする。この場合、前の質問の回答時刻から、マウススクロールのイベント発生時刻までが、スキップした質問の保留時間(上記の例では、「Q3の質問を読んで保留した時間」)として求められる。
【0113】
なお、同じ画面内に最初Q1〜Q3の質問の表示がされ、Q1の回答後にマウススクロールがありQ4の質問が表示された場合で、回答順序が「Q1→Q4→Q2→Q3→・・・」となった場合、「マウススクロールからQ4回答までの時間」をQ4の回答時間と求められる。しかし、同じ画面内にQ1,Q2の質問が表示され、その後ページめくりにより、Q3,Q4の表示がされる場合は、「マウススクロールからQ4回答までの時間」は、「Q3の保留時間とQ4の回答時間の総和」になってしまう。
【0114】
従って、スクロールイベントを検知して保留時間を求める方法は、スクロールされた場合に新たに表示される質問の数が限定されている場合、画面サイズが固定されている、画面内の質問数が固定されている(1〜2問程度)などの制限がある場合に、有効である。
【0115】
なお、本発明は、企業、個人、グループなどを対象としたアンケート、アセスメント、意見収集などを支援する情報システムまたは情報サービスとして利用可能である。
【0116】
また、質問は、アンケートに限らず、テスト問題であってもよい。複数の回答者のテストの結果を評価・分析するのに有効である。
【図面の簡単な説明】
【0117】
【図1】本発明の実施形態におけるアンケート採点システムの構成例を示す図である。
【図2】実施形態のアンケート採点システムの処理フローを示す図である。
【図3】実施形態のアンケート表示画面の一例を示す図である。
【図4】実施形態の入力イベントデータの一例を示す図である。
【図5】実施形態の入力イベント情報の一例を示す図である。
【図6】実施形態の回答修正候補情報の一例を示す図である。
【図7】実施形態の回答修正項目情報の一例を示す図である。
【図8】実施形態の回答結果情報の一例を示す図である。
【図9】実施形態の配点情報の一例を示す図である。
【図10】実施形態の採点結果表示画面の一例を示す図である。
【図11】実施形態の判定時間情報の一例を示す図である。
【図12】実施形態のアンケート表示画面の一例を示す図である。
【符号の説明】
【0118】
1 サーバ
2 回答装置
3 閲覧装置
4 通信網
【特許請求の範囲】
【請求項1】
質問に回答するための回答装置と、質問の回答結果を採点するためのサーバ装置と、採点結果を閲覧するための閲覧装置とが通信網を介して接続されている質問採点システムであって、
前記回答装置は、回答者による質問への入力イベントを取得し、前記サーバに送信する入力イベント送信手段を有し、
前記サーバ装置は、前記回答装置から前記入力イベントを取得し、入力イベント情報として格納する入力イベント格納手段と、
前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出手段と、
前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定手段と、
前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定手段と、
予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理手段とを有し、
前記閲覧装置は、前記サーバ装置において得られた採点結果を画面表示する採点結果閲覧手段を有する
ことを特徴とする質問採点システム。
【請求項2】
請求項1に記載の質問採点システムであって、
前記入力イベント取得手段は、回答者による質問に対する入力イベントを入力イベントを受け付けるたびに前記サーバ装置に送信する
ことを特徴とする質問採点システム。
【請求項3】
請求項1に記載の質問採点システムであって、
前記入力イベント取得手段は、回答者による質問への入力イベントを、送信ボタンが押されたときにまとめて前記サーバ装置に送信する
ことを特徴とする質問採点システム。
【請求項4】
請求項1に記載の質問採点システムであって、
前記回答修正候補抽出手段は、前記入力イベント情報を利用して、回答時間が所定時間を超えた質問を回答修正候補として抽出し、回答修正候補情報に格納する
ことを特徴とする質問採点システム。
【請求項5】
請求項1に記載の質問採点システムであって、
前記回答修正候補抽出手段は、前記入力イベント情報を利用して、回答順序が変更され、かつ回答時間が所定時間を超えた質問を回答修正候補として抽出し、回答修正候補情報に格納する
ことを特徴とする質問採点システム。
【請求項6】
請求項1に記載の質問採点システムであって、
前記回答修正項目決定手段は、前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問であり、かつ当該質問が質問の重要度を表す重みが付加された質問であるなら、当該質問を回答修正項目として決定し、回答修正項目情報に格納する
ことを特徴とする質問採点システム。
【請求項7】
請求項1に記載の質問採点システムであって、
前記回答内容決定手段は、前記入力イベント情報を利用して、各質問について複数回答者全体として回答された回答内容の中で最も達成度の低いとされる回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を一段階達成度の低いとされる回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する
ことを特徴とする質問採点システム。
【請求項8】
請求項1に記載の質問採点システムであって、
前記回答内容決定手段は、前記入力イベント情報を利用して、各質問について複数回答者全体として一番多く回答された回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、当該質問の得点を所定の点数減点する
ことを特徴とする質問採点システム。
【請求項9】
請求項1に記載の質問採点システムにおいて、
前記回答内容決定手段は、前記入力イベント情報を利用して、各質問について複数回答者全体として一番多く回答された回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であり、かつ当該質問が質問の重要度を表す重みが付加された質問であるなら、当該質問の配点を所定の割合で増加させる
ことを特徴とする質問採点システム。
【請求項10】
請求項1から請求項10のいずれか一項に記載の質問採点システムであって、
複数の回答者による回答内容から一つの採点結果を計算することを特徴とする質問採点システム。
【請求項11】
質問に回答するための回答装置と、質問の回答結果を採点するためのサーバ装置と、採点結果を閲覧するための閲覧装置とが通信網を介して接続されている質問採点システムの質問採点方法であって、
前記回答装置は、回答者による質問への入力イベントを取得し、前記サーバに送信し、
前記サーバ装置は、前記回答装置から前記入力イベントを取得し、入力イベント情報として格納する入力イベント格納ステップと、
前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出ステップと、
前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定ステップと、
前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定ステップと、
予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理ステップとを行い、
前記閲覧装置は、前記サーバ装置において得られた採点結果を画面表示する採点結果閲覧ステップを行う
ことを特徴とする質問採点システム。
【請求項12】
コンピュータを質問採点システムとして機能させるプログラムであって、
回答者による質問への入力イベントを取得し、入力イベント情報として格納する入力イベント格納手段と、
前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出手段と、
前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定手段と、
前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定手段と、
予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理手段として、
前記コンピュータを機能させることを特徴とするプログラム。
【請求項13】
コンピュータにより実現される質問採点システムであって、
複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得手段と、
前記回答結果取得手段で取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得手段と、
前記回答状況取得手段で求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定手段と、
前記修正候補決定手段で決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定手段と、
前記回答結果取得手段で取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得手段と、
前記代表回答取得手段で取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正手段と
を備えることを特徴とする質問採点システム。
【請求項14】
コンピュータにより実現される質問採点システムの質問採点方法であって、
複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得ステップと、
前記回答結果取得ステップで取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得ステップと、
前記回答状況取得ステップで求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定ステップと、
前記修正候補決定ステップで決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定ステップと、
前記回答結果取得ステップで取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得ステップと、
前記代表回答取得ステップで取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正ステップと
を有することを特徴とする質問採点システムの質問採点方法。
【請求項15】
コンピュータを質問採点システムとして機能させるプログラムであって、
複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得手段と、
前記回答結果取得手段で取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得手段と、
前記回答状況取得手段で求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定手段と、
前記修正候補決定手段で決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定手段と、
前記回答結果取得手段で取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得手段と、
前記代表回答取得手段で取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正手段として、
前記コンピュータを機能させることを特徴とするプログラム。
【請求項1】
質問に回答するための回答装置と、質問の回答結果を採点するためのサーバ装置と、採点結果を閲覧するための閲覧装置とが通信網を介して接続されている質問採点システムであって、
前記回答装置は、回答者による質問への入力イベントを取得し、前記サーバに送信する入力イベント送信手段を有し、
前記サーバ装置は、前記回答装置から前記入力イベントを取得し、入力イベント情報として格納する入力イベント格納手段と、
前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出手段と、
前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定手段と、
前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定手段と、
予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理手段とを有し、
前記閲覧装置は、前記サーバ装置において得られた採点結果を画面表示する採点結果閲覧手段を有する
ことを特徴とする質問採点システム。
【請求項2】
請求項1に記載の質問採点システムであって、
前記入力イベント取得手段は、回答者による質問に対する入力イベントを入力イベントを受け付けるたびに前記サーバ装置に送信する
ことを特徴とする質問採点システム。
【請求項3】
請求項1に記載の質問採点システムであって、
前記入力イベント取得手段は、回答者による質問への入力イベントを、送信ボタンが押されたときにまとめて前記サーバ装置に送信する
ことを特徴とする質問採点システム。
【請求項4】
請求項1に記載の質問採点システムであって、
前記回答修正候補抽出手段は、前記入力イベント情報を利用して、回答時間が所定時間を超えた質問を回答修正候補として抽出し、回答修正候補情報に格納する
ことを特徴とする質問採点システム。
【請求項5】
請求項1に記載の質問採点システムであって、
前記回答修正候補抽出手段は、前記入力イベント情報を利用して、回答順序が変更され、かつ回答時間が所定時間を超えた質問を回答修正候補として抽出し、回答修正候補情報に格納する
ことを特徴とする質問採点システム。
【請求項6】
請求項1に記載の質問採点システムであって、
前記回答修正項目決定手段は、前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問であり、かつ当該質問が質問の重要度を表す重みが付加された質問であるなら、当該質問を回答修正項目として決定し、回答修正項目情報に格納する
ことを特徴とする質問採点システム。
【請求項7】
請求項1に記載の質問採点システムであって、
前記回答内容決定手段は、前記入力イベント情報を利用して、各質問について複数回答者全体として回答された回答内容の中で最も達成度の低いとされる回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を一段階達成度の低いとされる回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する
ことを特徴とする質問採点システム。
【請求項8】
請求項1に記載の質問採点システムであって、
前記回答内容決定手段は、前記入力イベント情報を利用して、各質問について複数回答者全体として一番多く回答された回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、当該質問の得点を所定の点数減点する
ことを特徴とする質問採点システム。
【請求項9】
請求項1に記載の質問採点システムにおいて、
前記回答内容決定手段は、前記入力イベント情報を利用して、各質問について複数回答者全体として一番多く回答された回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であり、かつ当該質問が質問の重要度を表す重みが付加された質問であるなら、当該質問の配点を所定の割合で増加させる
ことを特徴とする質問採点システム。
【請求項10】
請求項1から請求項10のいずれか一項に記載の質問採点システムであって、
複数の回答者による回答内容から一つの採点結果を計算することを特徴とする質問採点システム。
【請求項11】
質問に回答するための回答装置と、質問の回答結果を採点するためのサーバ装置と、採点結果を閲覧するための閲覧装置とが通信網を介して接続されている質問採点システムの質問採点方法であって、
前記回答装置は、回答者による質問への入力イベントを取得し、前記サーバに送信し、
前記サーバ装置は、前記回答装置から前記入力イベントを取得し、入力イベント情報として格納する入力イベント格納ステップと、
前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出ステップと、
前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定ステップと、
前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定ステップと、
予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理ステップとを行い、
前記閲覧装置は、前記サーバ装置において得られた採点結果を画面表示する採点結果閲覧ステップを行う
ことを特徴とする質問採点システム。
【請求項12】
コンピュータを質問採点システムとして機能させるプログラムであって、
回答者による質問への入力イベントを取得し、入力イベント情報として格納する入力イベント格納手段と、
前記入力イベント情報を利用して、回答者が回答順序を変更した質問を回答修正候補として抽出し、回答修正候補情報に格納する回答修正候補抽出手段と、
前記回答修正候補情報を利用して、複数回答者全体として所定条件を満たす数の回答者が回答修正候補とした質問を回答修正項目として決定し、回答修正項目情報に格納する回答修正項目決定手段と、
前記入力イベント情報を利用して、各質問について複数回答者全体として所定条件を満たす数の回答者が回答した回答内容を選出し、かつ前記回答修正項目情報を利用して、もし当該質問が回答修正項目であれば、回答内容を所定条件の回答内容に修正し、前記選出または修正された回答内容を回答結果情報に格納する回答内容決定手段と、
予め定められた配点情報を利用して、前記回答結果情報に基づいて、回答結果を採点して採点結果を得る採点処理手段として、
前記コンピュータを機能させることを特徴とするプログラム。
【請求項13】
コンピュータにより実現される質問採点システムであって、
複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得手段と、
前記回答結果取得手段で取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得手段と、
前記回答状況取得手段で求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定手段と、
前記修正候補決定手段で決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定手段と、
前記回答結果取得手段で取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得手段と、
前記代表回答取得手段で取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正手段と
を備えることを特徴とする質問採点システム。
【請求項14】
コンピュータにより実現される質問採点システムの質問採点方法であって、
複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得ステップと、
前記回答結果取得ステップで取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得ステップと、
前記回答状況取得ステップで求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定ステップと、
前記修正候補決定ステップで決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定ステップと、
前記回答結果取得ステップで取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得ステップと、
前記代表回答取得ステップで取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正ステップと
を有することを特徴とする質問採点システムの質問採点方法。
【請求項15】
コンピュータを質問採点システムとして機能させるプログラムであって、
複数の質問からなる質問群の各質問の回答と回答時刻とを含む、複数の回答者の回答結果を取得する回答結果取得手段と、
前記回答結果取得手段で取得した各回答者の回答結果から、各質問の回答順序と回答時間とを含む、各回答者の回答状況を取得する回答状況取得手段と、
前記回答状況取得手段で求めた各回答者の回答状況を用いて、各回答者について、回答修正候補の質問を決定する修正候補決定手段と、
前記修正候補決定手段で決定した各回答者の回答修正候補の質問を用いて、各質問の回答の修正の要否を決定する修正要否決定手段と、
前記回答結果取得手段で取得した各回答者の各質問の回答を用いて、回答者全体を代表する各質問の回答を取得する代表回答取得手段と、
前記代表回答取得手段で取得した各質問の代表回答を、前記修正要否決定手段で修正が必要と決定された回答について所定の修正方法により修正する回答修正手段として、
前記コンピュータを機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2008−97119(P2008−97119A)
【公開日】平成20年4月24日(2008.4.24)
【国際特許分類】
【出願番号】特願2006−275256(P2006−275256)
【出願日】平成18年10月6日(2006.10.6)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
【公開日】平成20年4月24日(2008.4.24)
【国際特許分類】
【出願日】平成18年10月6日(2006.10.6)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
[ Back to top ]