説明

計算機

【課題】ストローク情報を用い、筆記作業中のブロッキングの発生を捕捉する。
【解決手段】作業者によって記入されたストロークを取得する座標取得装置に接続され、前記座標取得装置によって取得されたストロークを解析する計算機であって、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリと、前記ストロークの情報を前記座標取得装置から取得するインターフェースとを備え、前記座標取得装置によって取得された複数のストロークに基づいて、前記作業者による作業が中断しているブロッキングを判定し、前記作業者によって記入された結果と、前記ブロッキングの判定結果を重畳して表示するためのデータを生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計算機に関し、特に、作業者による作業の中断を検出する技術に関する。
【背景技術】
【0002】
作業者が作業をするとき、ふと集中力が途切れて、作業が中断する現象がある。この現象は、心理学分野では、ブロッキングといわれる。人間の集中力を調べるために多数の方法が提案されている。これらは、主に集中度の高さを観察する方法であり、集中力の散漫を捕捉する方法については存在しなかった。
【0003】
例えば、内田・クレペリン検査が採用試験や性格検査に用いられており、検査の結果を効率的に評価する技術が提案されている。例えば、特許文献1には、画像処理によってクレペリン検査の判定を自動化する技術が開示されている。また、特許文献2には、細かい単位時間で処理能力の時間推移を判定する技術が開示されている。また、特許文献3には、刺激に対する反応時間を測定することによって、反応能力と作業能力を区別する技術が開示されている。
【0004】
また、被験者の筆記履歴を取得する技術として、特許文献4には、デジタルペンによって取得された時間情報を利用して採点をする技術が開示されている。
【特許文献1】特開2002−175497号公報
【特許文献2】特開2003−6566号公報
【特許文献3】特開2001−120522号公報
【特許文献4】特開2007−102817号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
前述した内田・クレペリン検査について、検査中の被験者のブロッキングを適切に検出しないと、検査結果を適切に評価することが困難である。被験者は、検査時間中に集中力を継続することが求められる。
【0006】
内田・クレペリン検査の結果の適切なパターンは広く知られている。このため、被験者が検査中に作業を中断して、適切なパターンに近づけることがある。このため、内田・クレペリン検査中の作業の中断(集中力の途切れ)を検出し、検査の結果を正確に判定することが求められている。しかし、前述した内田・クレペリン検査を効率的に解析する技術は、いずれも検査中の被験者のブロッキングを検出することを目的とするものではない。
【0007】
本発明は、デジタルペンによって取得したストローク情報を用い、筆記作業中のブロッキングの発生を捕捉することを目的とする。
【課題を解決するための手段】
【0008】
本発明の代表的な一例を示せば以下の通りである。すなわち、作業者によって記入されたストロークを取得する座標取得装置に接続され、前記座標取得装置によって取得されたストロークを解析する計算機であって、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリと、前記ストロークの情報を前記座標取得装置から取得するインターフェースとを備え、前記座標取得装置によって取得された複数のストロークに基づいて、前記作業者による作業が中断しているブロッキングを判定し、前記作業者によって記入された結果と、前記ブロッキングの判定結果を重畳して表示するためのデータを生成する。
【発明の効果】
【0009】
本発明の実施の形態によると、作業中のブロッキングの発生を捕捉することによって、被験者による意図的な作業の中断を発見することができる。
【発明を実施するための最良の形態】
【0010】
まず、本発明の実施の形態の概要について説明する。
【0011】
本実施の形態の計算機は、用紙内のレイアウト及び用紙内に記入されたストロークの位置に基づいて記入時のペンの接触時間及び間隔時間を計算し、計算された時間を標準的な時間と比較することによって、ブロッキング状態を捕捉する。このため、本実施の形態の計算機は、デジタルペンからストロークデータを取得するデジタルペン接続装置、ストロークデータから記入された文字を認識する文字認識部、ブロッキングを判定する演算部を備える。
【0012】
図1は、本発明の実施の形態の計算機の論理的な構成を示すブロック図である。
【0013】
本実施の形態の計算機は、デジタルペン接続装置101、演算部102、文字認識部103、記憶装置104及び出力装置107を備え、これらは、図2に示すように、一つの物理計算機(クライアント計算機110)に実装される。
【0014】
デジタルペン接続装置101は、デジタルペン接続装置101に接続されたデジタルペン150から情報を収集する。
【0015】
演算部102は、プロセッサ及びメモリを備え、プロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。
【0016】
文字認識部103は、文字認識データベースを用いて、デジタルペン150によって取得されたストロークを文字として認識する。この文字認識には、既存の文字認識エンジンを用いることができる。
【0017】
記憶装置104は、磁気ディスク装置等の不揮発性記憶装置によって構成され、出現頻度データ105、標準時間データベース106及び原稿用紙データ108を格納する。出現頻度データ105は、作業上出現しやすいストロークの情報を含む。具体的には、作業者によって記入される頻度が多い(又は、少ない)文字に関するデータ、作業の種類によって、を含む。例えば、内田・クレペリン検査では、被験者は数字を記入するので、作業上出現しやすいストロークは数字である。
【0018】
標準時間データベース106は、文字を記入するために必要な時間の情報を含む。具体的には、文字毎に、1画のストロークの記入に必要な時間及びストローク間のペン先の移動に必要な時間のデータを含む。原稿用紙データ108は、利用者が作業する用紙の情報を含む。例えば、このシステムによって内田・クレペリン検査の結果を解析する場合、内田・クレペリン検査の問題用紙である。
【0019】
出力装置107は、ディスプレイ、プリンタ等であって、本計算機による処理結果を出力する。なお、出力装置の代わりに記憶装置を設け、記憶装置に処理結果を格納してもよい。
【0020】
図3は、本発明の実施の形態の計算機の別な構成を示すブロック図である。
【0021】
図3に示す計算機は、図1に示した計算機と同様に、デジタルペン接続装置101、出力装置107を備える。また、本実施の形態の計算機は、クライアント計算機121、122及びサーバ123を含む計算機群によって構成される計算機システムである。クライアント計算機121は、デジタルペン接続装置101を備える。クライアント計算機122は、出力装置107を備える。サーバ123は、演算部102、文字認識部103及び記憶装置104を備える。
【0022】
クライアント計算機121、122は、各々、プロセッサ、メモリ及びサーバ123と接続されるインターフェースを備え、プロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。サーバ123は、プロセッサ、メモリ及びクライアント計算機121、122と接続されるインターフェースを備え、プロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。すなわち、図3に示す計算機システムでは、サーバ123は、クライアント計算機121と接続されるインターフェースを介して、デジタルペン150から情報を収集する。
【0023】
デジタルペン接続装置101、演算部102、文字認識部103、記憶装置104及び出力装置107の構成は、図1を用いて説明した例と同じである。
【0024】
クライアント計算機121は、デジタルペン接続装置101を備え、デジタルペン150から収集された情報をサーバ123に送る。サーバ123は、演算部102、文字認識部103及び記憶装置104を備え、演算部102のプロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。クライアント計算機122は、出力装置107を備え、サーバ123による処理結果を出力する。
【0025】
ここで、デジタルペンに150によるストローク情報の取得の原理について説明する。
【0026】
図4は、本発明の実施の形態のデジタルペン150による紙面上の座標取得の説明図である。
【0027】
デジタルペン150は、CPU、メモリ、通信インターフェース、カメラ151、電池及び筆圧センサを備える。また、デジタルペン150は、インク又は黒鉛によって紙面上に文字、記号等を筆記可能なペン先を備える。
【0028】
デジタルペン150は、位置検出用のドット203が印刷された用紙20と共に用いられる。ここで、用紙20の一部201を拡大して、ドット203について説明する。用紙20には、複数の小さなドット203が印刷されている。このドット203は、仮想的な格子線の交点(基準点)202から上下左右にずれた位置に印刷されている。
【0029】
紙に文字、図形がデジタルペン150で記入されると、記入された文字等は紙に視認可能に残る。デジタルペン150は、筆圧センサによってペン先が紙に接したことを検出すると、カメラ151によって紙上に印刷されたドット203を撮影する。デジタルペン150は、例えば、6×6個のドット203を含む領域を撮影する。
【0030】
デジタルペン150は、撮影したドットパターンのズレ量から、当該ドットパターンが存在する絶対座標を演算する。この絶対座標は、広大な平面領域における当該ドットパターンが存在する座標である。この広大な平面領域は、同じドットパターンが重複して存在しないように配置できる全領域である。
【0031】
デジタルペン150は、演算された絶対座標を、デジタルペン接続装置101を介して、サーバ123(又は、クライアント計算機110)に送信する。サーバ123は、デジタルペン150によって演算された絶対座標を位置情報サーバ(図示省略)に送信する。位置情報サーバは、サーバ123から送信された絶対座標に基づいて、前記広大な平面領域中の該紙面の位置(ドットパーターンID)と、ある一枚の紙面における座標(相対座標)とを特定し、特定したドットパターンID及び相対座標をサーバ123に送信する。
【0032】
このようにして、サーバ123は、デジタルペン150が撮影したドットパターンから、ドットパターンID及び相対座標を取得する。
【0033】
デジタルペン150が、ペン先が接した位置の情報を周期的(例えば、一定時間毎)に取得することによって、ペン先の動きが分かる。そして、デジタルペン150は、撮影したドットパターンに対応する絶対座標、当該ドットパターンの撮影時刻及びペンIDをクライアント計算機121に送信する。
【0034】
クライアント計算機121は、デジタルペン150によって演算された絶対座標に基づいて、位置情報サーバから相対座標を取得する。サーバ123は、取得した相対座標及びドットパターンが撮影された時刻から、ペン先の軌跡(ストローク情報)を生成する。
【0035】
なお、位置情報サーバを別に設けることなく、サーバ123に含めてもよい。
【0036】
また、デジタルペン150は、ドットパターンID及び相対座標を特定するために、位置情報サーバを用いなくてもよい。例えば、紙に印刷された識別番号、紙に印刷されたバーコード、又は、紙に埋め込まれたICタグによって用紙を特定してもよい。さらに、タブレットを用いて用紙上の位置(相対座標)を特定することができる。なお、ICタグ等を用いる用紙の特定又はタブレットを用いる用紙上の位置の特定のいずれかと、位置情報サーバによる絶対座標の特定を組み合わせてもよい。このようにすると、書類管理システムがドットパターンID及び相対座標を特定する処理を軽減できる。
【0037】
図5は、本発明の実施の形態のストロークセット26の一例を示す。
【0038】
ストロークセット26は、デジタルペン150によって記入された文字「東京」を示す。本実施の形態では、図に示すように、用紙の左上を原点とし、横方向をX軸とし、縦方向をY軸として、ストロークの位置が定められる。
【0039】
前述したように、ストロークセットは、一纏まりの線(ストローク)の集合であり、線が記入された時間及び/又は線同士の位置関係に基づいて特定される。
【0040】
図6は、本発明の実施の形態のストローク情報23のうちストロークセット情報24の構成図である。図6には、図5に示すストロークセット26のストロークセット情報を示す。
【0041】
ストロークセット情報24は、ストロークセットID241、ペンID242、記入開始日時243、該当矩形座標244、ストローク数245及びストローク情報246を含む。
【0042】
ストロークセットID241は、当該ストロークセットの一意な識別子である。ペンID242は、当該ストロークセットを記入したデジタルペン150の一意な識別子である。
【0043】
記入開始日時243は、当該ストロークセットを記入し始めた日時である。該当矩形領域244は、当該ストロークセットを含む矩形の領域である。該当矩形領域244は、当該ストロークセットが記入された書類における座標(相対座標)であり、矩形領域の左上端の座標及び右下端の座標で表される。
【0044】
ストローク数245は、当該ストロークセットに含まれる線(ストローク)の数である。ストローク数245と同数のストローク情報246が記録される。ストローク情報246は、標本点数246A及びシリアル番号246Bを含む。
【0045】
標本点数246Aは、デジタルペン150によって取得され、当該ストロークを構成する相対座標の数である。シリアル番号246Bは、デジタルペン150によって取得され、当該ストロークを構成する相対座標の一意な識別子であり、ストローク座標情報25(図7)へのリンクである。
【0046】
図7は、本発明の実施の形態のストローク情報23のうちストローク座標情報25の構成図である。
【0047】
ストローク座標情報25は、シリアル番号251、X座標252、Y座標253及び取得時刻254を含む。
【0048】
シリアル番号251は、デジタルペン150によって取得された相対座標の一意な識別子である。X座標252は、図9に示すX軸方向の相対座標であり、例えば、ミリメートルを単位として表す。Y座標253は、図5に示すY軸方向の相対座標であり、例えば、ミリメートルを単位として表す。取得時刻254は、デジタルペン150によって当該相対座標が取得された時刻を表す。なお、図7に示す例では、取得時刻254には、記入開始時刻243からの経過時間が記録されている。
【0049】
図8は、本発明の実施の形態の計算機による処理の全体を示すフローチャートである。
【0050】
まず、デジタルペン接続装置101は、デジタルペン接続装置101に接続されたデジタルペン150から、取得したペン情報(ストローク情報)を取得し(S201)、取得したストローク情報を演算部102に送る。
【0051】
演算部102は、取得したストローク情報から、ペンイベント(ペンが紙面に接するペンダウン及びペンが紙面から離れるペンアップ)を抽出し、ペンイベントにおいてストローク情報を分割し、一つ一つのストロークを特定する(S202)。
【0052】
また、演算部102は、取得したストローク情報から、利用者が記入したイメージ画像を作成し、作成されたイメージ画像を文字認識部103に送る。文字認識部103は、作成されたイメージ画像を文字認識をする(S203)。
【0053】
その後、演算部102は、分割されたストロークと、文字として認識されたストロークとを比較する。そして、文字として認識されなかったストロークは、意味のない作業の結果なので、ノイズストロークであると判定する。判定されたノイズストロークを分割されたストロークから除去する(S204)。このノイズストロークの除去によって、意味のある作業によって記入されたストロークのみを抽出することができる。
【0054】
また、出現頻度データ105を参照して、ノイズストロークであるかを特定する。例えば、後述する内田・クレペリン検査において記入されるべき文字は数字のみであることから、認識された文字のうち数字以外の文字はノイズと判定することができる。
【0055】
その後、演算部102は、ノイズが除去された各ストロークの始点及び終点の時刻(記入開始時刻及び記入終了時刻)を特定して、各ストロークの継続時間及び間隔時間を算出する(S205)。具体的には、ストロークの記入終了時刻から記入開始時刻を減じてストロークの継続時間を求める。また、ストロークの記入開始時刻から前のストロークの記入終了時刻を減じてストロークの間隔時間を求める。
【0056】
さらに、演算部102は、ノイズが除去された各ストロークの始点及び終点の位置(X座標及びY座標)を特定し、特定された座標間の移動時間を求める(S206)。
【0057】
その後、演算部102は、標準ストローク時間を算出する(S207)。具体的には、文字認識結果を用いて、標準時間データベース106を参照して、ストロークの継続時間及びストローク間の間隔時間を抽出して、標準ストローク時間を定める。また、ステップS206において求めた文字間のストロークの間隔時間から、文字間の標準ストローク時間を算出する。
【0058】
その後、ステップS205で計算された各ストロークの継続時間及び間隔時間と、ステップS207で計算された標準ストローク時間とを比較する(S208)。具体的には、文字の間のストロークの間隔時間、文字中の各ストロークの間隔時間、及び文字中の各ストロークの継続時間の各々を、算出された標準ストローク時間と比較する。そして、実際の継続時間及び間隔時間が、標準ストローク時間より大きい箇所をブロッキングと判定する。すなわち、下記の3状態がブロッキング状態と判定される。
(1)ストロークの継続時間が標準ストローク時間より長く、ペンが紙に長時間ついている状態。
(2)ストロークの間隔時間が標準ストローク時間より長く、ペンが紙から長時間離れている状態。
(3)ノイズストロークが検出されており、ペンが意味のない動作を続けている状態。
【0059】
図9は、本発明の実施の形態の標準時間データベース106の構成を示す説明図である。
【0060】
標準時間データベース106は、文字1061と、標準時間1062とを含む。
【0061】
文字1061には、標準時間データベース106に登録される文字が記録されている。標準時間1062には、その文字を筆記するために必要な時間の標準値が記録されている。なお、文字が複数の画数によって構成されている場合、1画のストロークの標準時間と、ストローク間の標準時間が記録される。
【0062】
例えば、文字「4」について、1画目を記入するための標準時間は「4(1)」に記録され、2画目を記入するための標準時間は「4(2)」に記録される。また、1画目と2画目との間隔の標準時間は「4(1−2)」に記録される。
【0063】
図10は、本発明の実施の形態の図3に示す計算機システムにおける処理を示すシーケンス図である。
【0064】
デジタルペン150は、利用者(被験者)が試験用紙に記入した文字等のストロークデータを蓄積する(S501)。
【0065】
デジタルペン150は、蓄積されたストロークデータを、デジタルペン接続装置101を介して、サーバ123に送信する(S502)。
【0066】
サーバ123は、デジタルペン150から送信されたストローク情報を用いて、利用者が筆記したイメージ画像を作成し、作成されたイメージ画像を文字認識部103に送る(S503)。文字認識部103は、イメージ画像に表された文字を認識し、認識結果をサーバ123に返信する(S504)。
【0067】
サーバ123は、文字認識結果を標準時間データベース106に送る(S505)。標準時間データベース106は、認識された文字の標準時間(継続時間及び間隔時間)を抽出し、抽出されたストローク毎の標準時間をサーバ123に送る(S506)。
【0068】
サーバ123は、各ストロークの継続時間及び間隔時間と、実際のストロークの継続時間及び間隔時間とを比較して、ブロッキングを判定し、この判定結果をクライアント計算機122に送信する(S507)。
【0069】
クライアント計算機122は、ブロッキングの判定結果を出力する。
【0070】
図11は、本発明の実施の形態のブロッキングを判定する処理のフローチャートである。
【0071】
まず、イベントIDを2(初期値)に設定する初期設定を行う。その後、演算部102は、イベントと前のイベントとの間の時間差tと、標準時間t0とを比較する(S601)。このブロッキング判定処理におけるイベントとは、ペンが紙面に接するペンアップ及びペンが紙面から離れるペンダウンである。また、標準時間t0は、文字認識結果を用いて特定された標準ストローク時間である。
【0072】
演算部102は、イベント間の時間差tがk×t0より大きい場合、ペンの動きが止まっている可能性があるので、ステップS604へ進む(S602)。なお、kは比較係数であり、1以上の数である。この比較係数kを小さくすると、ペンの停止がブロッキングと判定されやすい。一方、比較係数kを大きくすると、ペンの停止がブロッキングと判定されにくい。
【0073】
イベント間の時間差tがk×t0以下である場合、演算部102は、このイベントではブロッキングが生じていないと判定し、次のイベントデータの処理をするため、S609に進む(S603)。
【0074】
ステップS604では、演算部102は、イベント間の時間tにおいて、ペンが紙面から離れているか否かを判定する。すなわち、ペンアップからペンダウンまでの間はペンが紙面から離れており、ペンダウンからペンアップまでの間はペンが紙面に接している。その結果、このイベント間において、ペンが紙面から離れていない場合、演算部102は、ペンを紙に付けた状態で作業が停止しているブロッキングであると判定して、S609に進む(S605)。一方、このイベント間において、ペンが紙面から離れている場合、ステップS606に進む。
【0075】
次に、演算部102は、イベント間の時間tにおいて、ノイズストロークが検出されているか否かを判定する(S606)。その結果、ノイズストロークが検出されていない場合、演算部102は、ペンを紙から離した状態で作業が停止しているブロッキングであると判定して、S609に進む(S607)。一方、ノイズストロークが検出されている場合、演算部102は、無意味な動作を伴って作業が停止しているブロッキングであると判定して、S609に進む(S608)。
【0076】
その後、演算部102は、次のイベントがあるか否かを判定する(S609)。イベントIDがイベントの最大数未満である場合、次のイベントがあるので、イベントIDに1を加算して、ステップS601に戻る(S610)。一方、イベントIDがイベントの最大数以上である場合、次のイベントがないので、このブロッキング判定処理を終了する。
【0077】
図12は、本発明の実施の形態のストローク時間と標準時間との比較の説明図である。このストローク時間と標準時間との比較には、図12に示すテーブル900が用いられる。
【0078】
図12に示すテーブル900は、ストロークID901、イベントID902、イベント種別903、文字認識結果904、座標905、時刻906、前のイベントとの時間差907、実時間差908、標準時間909及びブロッキング判定結果910を含む。
【0079】
ストロークID901は、ストローク毎に定められる一意の識別子である。イベントID902は、所定のイベント(ペンアップ及びペンダウン)の一意の識別子である。イベント種別903は、このイベントが、ペンが紙面に接するペンアップ(On)であるか、ペンが紙面から離れるペンダウン(Off)であるかを示す。
【0080】
すなわち、一つのストロークには、一対のペンダウン及びペンアップのイベントが含まれ、ペンダウンがストロークの始点を表し、ペンアップがストロークの終点を表す。
【0081】
文字認識結果904は、一つ以上のストロークから、文字認識エンジンによって認識された文字である。認識された文字が2画以上のストロークで構成される場合、画数のデータも含む。例えば、テーブル中、「4(1)」は、文字認識で「4」と判定された文字の第1画のデータであることを示し、「4(2)」は、第2画のデータであることを示す。また、このストロークが文字認識できなかった場合、意味のない記入をしていたと判断され、ノイズストロークであること(Noise)が記録される。
【0082】
座標905は、このエントリのイベントが生じた紙面上の座標である。時刻906は、このエントリのイベントが生じた時刻である。
【0083】
時間差907は、直前のイベントの発生時刻との差の時間である。すなわち、ペンダウンからペンアップまでの時間差は、このストロークを書くために使われた時間(継続時間)を表す。また、ペンアップからペンダウンまでの時間差は、前のストロークを書き終わってから、このストロークを書き始めるまでのペンの移動に使われた時間(間隔時間)を表す。実時間差908は、時間差907からノイズストロークの時間を減じた時間であり、実際の間隔時間(又は、継続時間)を表す。
【0084】
標準時間909は、このストロークを筆記するために必要とされる標準的な時間であり、図13に示す標準時間算出処理によって算出される。なお、図12に示すテーブル900では、既に比較係数を乗じた値を標準時間に記録したが、比較係数を乗じない値を標準時間に記録してもよい。なお、前述したように、比較係数を小さくすればブロッキングは厳しく判定され、比較係数を大きくすればブロッキングは緩く判定される。
【0085】
ブロッキング判定結果910は、実時間差908と標準時間909とを比較した結果によって判定されたブロッキングの有無が記録される。すなわち、実時間差908が標準時間909より大きい場合、作業が停止している。この場合、ブロッキングであると判定され、ブロッキング状態であることが記録される。なお、図12に示すテーブルでは、ブロッキングの種類(Offが長い、Onが長い、Noise)も記録される。
【0086】
図13は、本発明の実施の形態の標準時間算出処理のフローチャートであり、図8のステップS206及びS207に対応する。
【0087】
まず、イベントIDを2(初期値)に設定する初期設定を行う。その後、演算部102は、イベントと前のイベントとの間の時間差tを算出する(S701)。
【0088】
次に、演算部102は、このイベントがペンダウンか否かを判定する(S702)。具体的には、テーブル900のイベント種別903がOnであるか、Offであるかによって、このイベントがペンダウンであルか、ペンアップであるかを判定する。
【0089】
判定の結果、イベントがペンダウンである場合、このエントリのデータは記入されたストロークのデータなので、ステップS706に進む。一方、イベントがペンアップである場合、このエントリのデータはストローク間のデータなので、ステップS703に進む。
【0090】
ステップS703では、演算部102は、このストローク間は一つの文字の中に含まれるか否かを判定する。具体的には、このエントリと次のエントリとの文字認識結果404が同じである場合、このエントリは同じ文字内のストローク間の間隔時間のデータなので、ステップS706に進む。一方、このエントリと次のエントリとの文字認識結果404が違う場合、このエントリは異なる文字間のストロークの間隔時間のデータなので、ステップS704に進む。
【0091】
ステップS704では、演算部102は、文字認識結果を用いて、連続する文字の座標(x1,y1),(x2,y2)を求める(S704)。座標は、この文字の最後のストロークの終点の座標と、次の文字の最初のストロークの始点の座標とを用いることができる。また、文字認識に使用された文字(この文字及び次の文字)の認識枠の左上頂点の座標を用いてもよい。また、各認識枠の中心の座標や、各文字の重心の座標を用いることもできる。
【0092】
その後、演算部102は、ステップS704で求めた座標間の標準ストローク時間を求める(S705)。この標準時間t0は、各座標間の距離((x1−x22+(y1−y221/2に、距離1に対する標準移動時間t1を乗じた値である。
【0093】
一方、ステップS706では、演算部102は、文字認識結果を用いて、標準時間データベース106を参照して、ストロークの継続時間及びストローク間の間隔時間を抽出して、基本標準時間tsを求める(S706)。
【0094】
その後、演算部102は、文字の大きさによって基本標準時を補正して、標準ストローク時間t0を求める(S707)。具体的には、基本標準時間tsに、S0/SSを乗じた値を標準ストローク時間t0とする。S0は実際に記入された文字の大きさであり、SSは基本の文字の大きさである。文字の大きさには、文字認識時に使用した認識枠の大きさを文字認識部103から取得して用いるとよい。
【0095】
以上説明したステップS702からS707までの処理について纏めると、このストロークデータが文字間のデータである場合ステップS704に進み、このストロークデータが文字内のデータである場合ステップS706に進むことになる。その結果、ステップS704からS705では文字間の間隔時間が計算され、ステップS706からS707では、文字内の継続時間及び間隔時間が求められる。
【0096】
なお、ステップS703〜S705では、全ての文字の間について、ストローク間の標準時間を求めたが、改行があった場合(例えば、横書きで、Y座標が大きく変化した場合)のみに文字の間隔を求めてもよい。
【0097】
その後、演算部102は、次のイベントがあるか否かを判定する(S708)。イベントIDがイベントの最大数未満である場合、次のイベントがあるので、イベントIDに1を加算して、ステップS701に戻る(S709)。一方、イベントIDがイベントの最大数以上である場合、次のイベントがないので、この標準時間算出処理を終了する。
【0098】
図14は、本発明の実施の形態の、ブロッキング判定結果に基づいて意図的な操作を検出する処理のフローチャートであり、図8のステップS208の後に実行される。
【0099】
演算部102は、ブロッキングの判定結果(図8のステップS208)から、ブロッキングが発生している座標を特定する(S801)。
【0100】
次に、演算部102は、原稿用紙データ108を参照し、ステップS801で特定された座標から、ブロッキングが発生している問題を特定する(S802)。そして、演算部102は、問題ごとにブロッキングの発生率を計算する(S803)。ブロッキングの発生率とは、ブロッキングの発生回数を問題数で除したものである。
【0101】
また、演算部102は、問題の内容によって問題を分類する(S804)。例えば、内田・クレペリン検査の場合、問題は42種類に分類することができる。
【0102】
その後、演算部102は、ステップS803によるブロッキング発生率と、ステップS804による問題の分類結果とに基づいて、問題の種類毎にブロッキング発生率を計算する。そして、演算部102は、計算された問題の種類毎のブロッキング発生率と予め定められた閾値とを比較して、特定の種類の問題でブロッキングが発生しているか否かを判定する(S805)。その結果、特定の種類の問題でブロッキングが発生している場合、作業者が特定の種類の問題が苦手であるために、作業の遅延が発生したと判定する。
【0103】
次に、演算部102は、原稿用紙データ108(図15)の難易度1083を参照し、難易度の高い問題を選別する(S806)、クレペリン検査の場合、繰り上がりのある問題は難度が高い問題である。そして、演算部102は、選別された問題のブロッキング発生率と予め定められた閾値とを比較して、難易度の高い問題でブロッキングが発生しているか否かを判定する(S807)。その結果、難易度の高い問題でブロッキングが発生している場合、作業者の実力が不足しているために、作業の遅延が発生したと判定する。
【0104】
その後、内田・クレペリン検査の検査結果を解析する(S808)。具体的には、演算部102が、画像処理によって、検査結果が所定のパターン(例えば、定型パターン)であるかを判定することができる。この画像処理による検査結果の解析には、例えば、特開2002−175497号公報に記載された技術を用いることができる。また、検査者による目視によって検査結果を解析してもよい。
【0105】
その後、演算部102は、検査結果が定型パターンであり、かつ、ブロッキングが一定回数以上発生している行があるか否かによって、作業者が検査結果を操作した可能性があるかを判定する(S809)。そして、検査結果が定型パターンであり、かつ、ブロッキングが一定回数以上発生している行がある場合、作業者が、検査結果を定型パターンに近づけるための操作をした可能性があると判定する。一方、そうでない場合、通常のブロッキングであると判定する。この場合のブロッキングは、作業中の散漫に起因していると考えられ、診断材料として利用される。
【0106】
図15は、本発明の実施の形態の原稿用紙データ108の構成を示す説明図である。
【0107】
原稿用紙データ108は、問題の識別子1081と、座標1082と、難易度1083と、内容1084とを含む。
【0108】
問題の識別子1081は、この用紙に含まれる問題の一意の識別子である。内田・クレペリン検査においては、用紙の左上から右に向かって問題IDを付与する。座標1082は、この問題が紙面上に配置された座標である。難易度1083は、この問題の難易度であり、難易度が高い問題には「高」が記録されている。内容1084は、この問題の内容である。
【0109】
なお、原稿用紙データ108には、問題の種類の情報が含まれてもよい。
【0110】
図16は、本発明の実施の形態の書き足しを判定する処理のフローチャートである。
【0111】
まず、演算部102は、ストロークIDを1に設定し、問題ID(Q)を1に設定し、進行レジスタ(Q’)を1に設定する初期設定を行う。その後、ストロークIDから、対応する問題IDを求める(S501)。具体的には、ストロークIDが示すストロークの座標に最も近い座標の問題の識別子を、原稿用紙データ108から選択する。
【0112】
その後、演算部102は、問題ID(Q)と進行レジスタ(Q’)とを比較する(S502)。比較の結果、問題ID(Q)が進行レジスタ(Q’)より小さい場合、以前の問題に戻っているので、「書き足し」であると判定し(S503)、ステップS506に進む。
【0113】
一方、問題ID(Q)が進行レジスタ(Q’)以上である場合、作業者による問題の進行は正常であるので、「書き足し」ではないと判定し(S504)、問題ID(Q)を進行レジスタ(Q’)に設定し(S505)、ステップS506に進む。
【0114】
前述したように、内田・クレペリン検査においては、用紙の左上から右に向かって問題IDを付与する。このため、問題IDの順と正常な解答順序とは一致することから、ストロークIDに対応する問題IDの増減によって、書き足しの有無を判定することができる。
【0115】
その後、演算部102は、次のストロークがあるか否かを判定する(S506)。ストロークIDがストロークの最大数未満である場合、次のストロークがあるので、ストロークIDに1を加算して、ステップS501に戻る(S507)。一方、ストロークIDがストロークの最大数以上である場合、次のストロークがないので、この書き足し判定処理を終了する。
【0116】
図17は、本発明の実施の形態のブロッキング判定結果を数値で表す場合の表示画面450の説明図である。
【0117】
画面450には、被験者451毎に、ブロッキング回数452及びブロッキング頻度453が表示される。ブロッキング頻度453は、単位時間あたりのブロッキング回数(例えば、回/分)で表示される。
【0118】
図18は、本発明の実施の形態のブロッキング判定結果を分布で表す場合の表示画面460を示す説明図である。
【0119】
画面460には、作業単位毎に、時間あたりの作業量461及びブロッキングが発生した位置462が表示される。画面460によると、時間あたりの作業量とブロッキングが発生した位置との関係を知ることができる。
【0120】
図19は、内田・クレペリン検査の検査用紙にブロッキング判定結果を重畳させて表示した画面490の説明図である。
【0121】
画面490には、被験者の回答結果491及びブロッキングが発生した位置492が表示される。画面490によると、1行ごとの作業量と、ブロッキングが発生した位置を知ることができる。
【0122】
図20は、本発明の実施の形態のブロッキング判定結果を分布で表す場合の別の表示画面470の説明図である。
【0123】
画面470には、作業単位毎に、時間あたりの作業量471及びブロッキングが発生した時間472が表示される。画面470によると、ブロッキング時間を除外した実作業時間を知ることができる。
【0124】
図21は、本発明の実施の形態のブロッキング判定結果を分布で表す場合の別の表示画面480の説明図である。
【0125】
画面480には、作業単位毎に、時間あたりの作業量481及びブロッキングが発生した時間482が表示される。画面480では、画面470(図20)と異なり、ブロッキングが発生した時間482が時間あたりの作業量481の右端(基準線から遠い位置)に表示されている。このため、例えば、内田・クレペリン検査において、画面480を用いると、ブロッキング時間を除いた1行ごとの作業量のパターン(実線)を知ることができる。
【0126】
本発明の実施の形態によると、作業中のブロッキングの発生を捕捉することによって、被験者による意図的な作業の中断を発見することができる。そして、ブロッキングの発生傾向によって、作業者の性格、適性及び能力を知る指標とすることができる。
【0127】
以上、本発明の実施の形態について、クレペリン検査を用いて説明したが、これ以外の各種作業(例えば、運転手の適性検査、運転免許(特に、高齢者向け)、工場での安全指導、認知症の早期発見、ガイダンスや個性把握の際の資料、薬物効果の測定、及び、精神衛生管理)にも、本発明を適用することができる。
【図面の簡単な説明】
【0128】
【図1】本発明の実施の形態の計算機の論理的な構成を示すブロック図である。
【図2】本発明の実施の形態の計算機の構成を示すブロック図である。
【図3】本発明の実施の形態の計算機の別な構成を示すブロック図である。
【図4】本発明の実施の形態のデジタルペンによる紙面上の座標取得の説明図である 。
【図5】本発明の実施の形態のストロークセットの一例を示す。
【図6】本発明の実施の形態のストロークセット情報の構成図である。
【図7】本発明の実施の形態のストローク座標情報の構成図である。
【図8】本発明の実施の形態の計算機による処理の全体を示すフローチャートである 。
【図9】本発明の実施の形態の標準時間データベースの構成を示す説明図である。
【図10】本発明の実施の形態の図3に示す計算機システムにおける処理を示すシー ケンス図である。
【図11】本発明の実施の形態のブロッキングを判定する処理のフローチャートであ る。
【図12】本発明の実施の形態のストローク時間と標準時間との比較の説明図である 。
【図13】本発明の実施の形態の標準時間算出処理のフローチャートである。
【図14】本発明の実施の形態の、ブロッキング判定結果に基づいて意図的な操作を 検出する処理のフローチャートである。
【図15】本発明の実施の形態の原稿用紙データの構成を示す説明図である。
【図16】本発明の実施の形態の書き足しを判定する処理のフローチャートである。
【図17】本発明の実施の形態のブロッキング判定結果を数値で表す場合の表示画面 の説明図である。
【図18】本発明の実施の形態のブロッキング判定結果を分布で表す場合の表示画面 を示す説明図である。
【図19】本発明の実施の形態の内田・クレペリン検査の検査用紙にブロッキング判 定結果を重畳させて表示した画面の説明図である。
【図20】本発明の実施の形態のブロッキング判定結果を分布で表す場合の別の表示 画面の説明図である。
【図21】本発明の実施の形態のブロッキング判定結果を分布で表す場合の別の表示 画面の説明図である。
【符号の説明】
【0129】
101 デジタルペン接続装置
102 演算部
103 文字認識部
104 記憶装置
107 出力装置
121 クライアント計算機
122 クライアント計算機
123 サーバ

【特許請求の範囲】
【請求項1】
作業者によって記入されたストロークを取得する座標取得装置に接続され、前記座標取得装置によって取得されたストロークを解析する計算機であって、
プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリと、前記ストロークの情報を前記座標取得装置から取得するインターフェースとを備え、
前記座標取得装置によって取得された複数のストロークに基づいて、前記作業者による作業が中断しているブロッキングを判定し、
前記作業者によって記入された結果と、前記ブロッキングの判定結果を重畳して表示するためのデータを生成することを特徴とする計算機。
【請求項2】
前記ストロークを文字認識し、
前記認識された文字に含まれるストロークの記入時間の標準値と、前記ストロークの実際の記入時間とを比較し、前記認識された文字に含まれるストロークの間隔時間の標準値と、前記ストロークの実際の間隔時間とを比較し、
前記比較結果に基づいて、前記作業者による記入位置の移動に多くの時間がかかっている場合にブロッキングであると判定することを特徴とする請求項1に記載の計算機。
【請求項3】
前記文字認識によって認識された文字の間の距離から文字間の間隔時間の標準値を算出し、
前記文字間の間隔時間の標準値と、文字間の実際の間隔時間とを比較し、
前記比較結果に基づいて、前記作業者による記入位置の移動に多くの時間がかかっている場合にブロッキングであると判定することを特徴とする請求項2に記載の計算機。
【請求項4】
前記各ストローク間の座標の移動量及び移動方向の少なくとも一つを用いて、記入位置の行の変化を判定し、
前記行の変化が判定された場合、前記文字間の間隔時間の標準値と、文字間の実際の間隔時間とを比較することを特徴とする請求項3に記載の計算機。
【請求項5】
前記認識された文字の大きさを用いて、前記実際の記入時間及び前記実際の間隔時間を補正することを特徴とする請求項2に記載の計算機。
【請求項6】
前記文字認識できなかったストロークを除去した後に、前記ストロークの標準時間を実際の時間とを比較することを特徴とする請求項1に記載の計算機。
【請求項7】
前記ストロークが取得された時刻に基づいて、前記作業者による作業順序が正しいか否かを判定することを特徴とする請求項1に記載の計算機。
【請求項8】
前記ブロッキングであると判定された時間中に、前記文字認識ができなかったストロークがあるか否かを判定することを特徴とする請求項1に記載の計算機。
【請求項9】
前記計算機は、1台の計算機、又は、物理的又は論理的な複数の計算機群によって構成されることを特徴とする請求項1に記載の計算機。
【請求項10】
前記作業者による作業は内田・クレペリン検査であることを特徴とする請求項1に記載の計算機。
【請求項11】
前記作業者による作業の結果が定型のパターンであるか否かを判定し、
前記作業結果が定型パターンであり、かつ、前記作業結果中に前記ブロッキングが判定された場合、警告を通知することを特徴とする請求項10に記載の計算機。

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図20】
image rotate

【図21】
image rotate

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図19】
image rotate


【公開番号】特開2010−131311(P2010−131311A)
【公開日】平成22年6月17日(2010.6.17)
【国際特許分類】
【出願番号】特願2008−312265(P2008−312265)
【出願日】平成20年12月8日(2008.12.8)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】