説明

情報処理システム及びそのプログラム

【課題】記入用紙の内容と電子ペン情報により、記入したユーザを認識し、そのユーザの記入内容をコンピュータ装置に格納するとともに、表示手段に再現する。
【解決手段】各々に位置座標を示す同一のコード化パターンが形成された記入用紙4と、位置座標を示すコード化パターンが形成された表示面に、複数の処理指示エリアが形成された操作シート5と、コード化パターンを読み取って、位置座標をペン識別情報とともに記入情報として送信する電子ペン1と、電子ペン1から送信された記入情報を受信して、当該記入情報に応じた処理を行うコンピュータ装置2とを備える。操作シート5への記入により電子ペン1から送信された記入情報を受信すると、記入用紙4への記入に関する記入情報に対応したストロークを、操作シート5への記入により電子ペン1から送信された記入情報から特定される処理指示エリアに対応する処理を実行しつつ、表示手段に表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置座標を示すコード化パターンを用いて情報を入力することができる情報処理システムに関し、特に、コード化パターンが形成された操作シートに電子ペンで触れるだけで、ユーザのストローク内容を表示するとともに、電子ペンで触れた操作シートの処理指示エリアによってストロークの表示を制御するようにした情報処理システムに関する。
【背景技術】
【0002】
近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto 社が開発した「アノトペン(Anoto pen )」が知られている。アノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像などの記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される(例えば、特許文献1参照)。
【0003】
このようなドットパターンを利用したものとして、印刷物に形成したドットパターン情報を光学的に読み取ることにより、音声情報を出力させるようにしたものや、複数の家電機器を遠隔操作できるようにしたもの(特許文献2,3参照)が提案されている。
【0004】
また、ドットパターンが印刷された楽譜を電子ペンで読み取り、電子ペンから受信した電子ペンデータの符号化されたドットパターン情報を用いて、演奏データを生成するようにした演奏指示システムが提案されており(例えば、特許文献4)、文字列や図形などの教材要素が記載された媒体と、電子ペンと、情報出力装置を具備させた情報処理システムであって、先生の力量を問わない教育を可能としたものも提案されている(特許文献5)。
【0005】
さらには、このようなアノト方式を始めとする既知の手書き入力デバイスを利用し、受講者の書込みが感知された時間帯だけ動画を選択的に再生することで、指導者が受講者の傍らに常駐しその思考過程を把握できるような状況を仮想的に生じさせるようにした通信教育システムも提案されている(特許文献6参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2003−511761号公報
【特許文献2】特許第4268641号公報
【特許文献3】特許第4203525号公報
【特許文献4】特開2007−328207号公報
【特許文献5】特開2009−020631号公報
【特許文献6】特許第3810747号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記したように、記入した情報を電子化する電子ペンを用いて構築した情報処理システムが種々開発されているが、手書きされたストロークを複数のユーザ分、再生表示できたり、あるいは、ユーザが手元の操作シートでストロークを再生表示できたりすれば便利である。
【課題を解決するための手段】
【0008】
本発明に係るコンピュータ装置は、
手書いたユーザを区別して、手書きに基づく時間的な情報が関連付けられた位置座標を含む記入情報を記憶する記憶手段と、
前記記憶手段に記憶された記入情報を読み出して、複数のユーザ分の手書かれたストロークを並べて、前記時間的な情報に基づき、表示手段に再生表示させる処理手段と
を備えることを特徴とする。
【0009】
本コンピュータ装置によれば、記憶手段に記憶された記入情報を読み出して、複数のユーザ分の手書かれたストロークを並べて、手書きに基づく時間的な情報に基づき、表示手段に再生表示させることができる。
【0010】
上記コンピュータ装置において、前記処理手段は、複数のユーザ分の手書かれたストロークを同時に再生表示させるよう構成するとよい。
【0011】
また、本発明に係る情報処理システムは、
位置座標を示すコード化パターンが形成された記入用紙と、
コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する電子ペンと、
上記コンピュータ装置とを備え、
前記コンピュータ装置は、前記電子ペンから受信した記入情報に基づき、ユーザにより手書かれたストロークを再生表示することを特徴とする。
【0012】
この構成により、電子ペンで記入用紙に記入すると、電子ペンは、コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する。コンピュータ装置は、電子ペンから記入情報を受信して、記憶手段に、手書いたユーザを区別して記憶する。そして、コンピュータ装置は、電子ペンから受信した記入情報に基づき、ユーザにより手書かれたストロークを再生表示することができる。
【0013】
上記情報処理システムにおいては、
さらに、位置座標を示すコード化パターンが形成された表示面に、ストロークの再生に関するボタンが形成された操作シートを備え、
前記コンピュータ装置の前記処理手段は、前記操作シートへの操作により前記電子ペンから送信された前記記入情報から特定されるボタンに対応して、手書かれたストロークについて、表示手段に再生に関する処理を実行するよう構成するとよい。
この構成により、ユーザは、電子ペンを用いた操作シートへの操作により、ストロークの再生に関する処理をコンピュータ装置に実行させることができる。
【0014】
また、本発明に係る情報処理システムは、
位置座標を示すコード化パターンが形成された記入用紙と、
位置座標を示すコード化パターンが形成された表示面に、ストロークの再生に関するボタンが形成された操作シートと、
コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する電子ペンと、
前記電子ペンから記入情報を受信して手書きストロークを再生表示するコンピュータ装置とを備えた情報処理システムであって、
前記コンピュータ装置は、
前記電子ペンから記入情報を受信する受信手段と、
手書いたユーザを区別して、手書きに基づく時間的な情報が関連付けられた位置座標を含む記入情報を記憶する記憶手段と、
前記記憶手段に記憶された記入情報を読み出して、手書かれたストロークを前記時間的な情報に基づき、前記操作シートへの操作により前記電子ペンから送信された前記記入情報から特定されるボタンに対応して、表示手段に再生に関する処理を実行する処理手段とを備えることを特徴とする。
【0015】
この構成によれば、電子ペンで記入用紙に記入すると、電子ペンは、コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する。コンピュータ装置は、電子ペンから記入情報を受信して、記憶手段に、手書いたユーザを区別して記憶する。さらに、ユーザが電子ペンを用いた操作シートへの操作により、ストロークの再生に関する処理をコンピュータ装置に実行させることができる。
【0016】
本発明に係るプログラムは、上記コンピュータ装置として機能させることを特徴とする。このプログラムをコンピュータ装置にインストールすることにより、上記のコンピュータ装置を実現し、情報処理システムを構成することができる。
【発明の効果】
【0017】
本発明によれば、手書きされたストロークを複数のユーザ分、再生表示でき、あるいは、ユーザが手元の操作シートでストロークを再生表示することができる。
【図面の簡単な説明】
【0018】
【図1】第1実施形態における情報処理システムのシステム構成図である。
【図2】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図3】(a)は、ドットパターンを模式的に示し、(b)は、それに対応する情報の例を示す図である。
【図4】電子ペンの構造を示す概略図である。
【図5】コンピュータ装置の機能ブロック図である。
【図6】第1実施形態で使用する記入用紙の一例を示す平面図である。
【図7】第1実施形態で使用する操作シートの一例を示す平面図である。
【図8】発表用操作シートに設定された処理指示エリアと処理機能との関連付け情報(処理指示情報)のデータ構造を示す概念図である。
【図9】解答用紙に設定された解答エリアおよび発表用操作シートに設定された処理指示エリアと、位置座標との関連付け情報(位置座標情報)のデータ構造を示す概念図である。
【図10】コンピュータ装置の表示手段における描画アプリの一例を示す説明図である。
【図11】描画アプリの実施例を発表用操作シートとともに示す説明図である。
【図12】描画アプリの実施例を発表用操作シートとともに示す説明図である。
【図13】第1実施形態の情報処理システムで実行される処理のフロー図である。
【図14】解答用紙に設定された解答エリアおよび発表用操作シートに設定された処理指示エリアと、位置座標と、使用ユーザとの関連付け情報(使用関係情報)のデータ構造を示す概念図である。
【図15】第2実施形態の情報処理システムで実行される処理のフロー図である。
【発明を実施するための形態】
【0019】
以下、図面を参照して、本発明の好適な情報処理システムについて詳細に説明する。
【0020】
<第1実施形態>
[情報処理システムのシステム構成]
図1は、本第1実施形態における情報処理システムのシステム構成図である。図1に示すように、本第1実施形態における情報処理システムは、ユーザが使用する電子ペン1(1A,1B)と、電子ペン1から記入情報等を受信して処理するコンピュータ装置2と、コンピュータ装置2のディスプレイ(表示手段)に表示する画像と同様の画像をスクリーンに映し出すプロジェクタ3と、位置座標を示すドットパターンが印刷された解答用紙(記入用紙)4(4A,4B)と、解答用紙4とは異なる位置座標を示すドットパターンが印刷された発表用操作シート5(5A,5B)とから構成される。
【0021】
[ドットパターン]
後述する解答用紙4と発表用操作シート5には、両者ともにアノト方式のドットパターン(コード化パターン)が印刷されている。図2は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。図2に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトするかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、解答用紙4や発表用操作シート5の位置座標が決定されるよう構成されている。このドットパターンは、赤外線を吸収するカーボンを含有するインキによって印刷されている。
【0022】
図3(a)は、ある位置のドットパターンの配列を示している。図3(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、解答用紙4や発表用操作シート5のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは、解答用紙4や発表用操作シート5における相対的な位置座標を保持している。図3(b)は、図3(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図2に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン1によって行われる。
【0023】
[電子ペン]
次に、電子ペン1について説明する。図4は、電子ペン1の構造を示す概略図である。図4に示すように、電子ペン1は、その筐体101の内部に、インクカートリッジ104、LED105、CMOSカメラ106、圧力センサ107、CPU等により構成されるプロセッサ108、ROMやRAMといったメモリ109、リアルタイムクロック110、アンテナ等により構成される通信ユニット111及びバッテリー112を備える。インクカートリッジ104の先端は、ペン先部103となっており、ユーザは、電子ペン1のペン先部103を解答用紙4や発表用操作シート5に当接させて、文字等のストロークを記入したり、タップ(ペン先部103による解答用紙4や発表用操作シート5への軽叩)したりする。ここで、電子ペン1のペン先部103が解答用紙4や発表用操作シート5に最初に接触することをペンダウンと呼び、接触している(当接している)状態からペン先部103が離れることをペンアップと呼ぶ。電子ペン1のペンダウンからペンアップまでの間に記入される軌跡が1つのストロークとなり、文字や図形等は1つ又は複数個のストロークからなる。
【0024】
バッテリー112は電子ペン1内の各部品に電力を供給するためのものであり、例えば電子ペン1のキャップ(図示せず)の脱着により電子ペン1自体の電源のオン/オフを行うよう構成させてもよい。リアルタイムクロック110は、現在時刻(タイムスタンプ)を示す時刻情報を発信し、プロセッサ108に供給する。圧力センサ107は、ユーザが電子ペン1により解答用紙4や発表用操作シート5に文字やマークを書いたりタップしたりする際にペン先部103からペン部104を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ108へ伝送する。
【0025】
プロセッサ108は、圧力センサ107から与えられる筆圧データに基づいて、LED105及びCMOSカメラ106のスイッチのオン/オフを切り替える。即ち、ユーザが電子ペン1で解答用紙4や発表用操作シート5に文字などを書くと、ペン先部103に筆圧がかかり、圧力センサ107によって所定値以上の筆圧が検出されたときに、プロセッサ108は、ユーザが記入を開始したと判定して、LED105及びCMOSカメラ106を作動させる。また、ユーザが1つのストロークを記入し終えて電子ペン1を解答用紙4や発表用操作シート5から離すと、圧力センサ107は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。
【0026】
LED105とCMOSカメラ106は、電子ペン1のペン先部103付近に取り付けられており、筐体101におけるLED105及びCMOSカメラ106と対向する部分には、開口部102が形成されている。LED105は、解答用紙4や発表用操作シート5上のペン先部103近傍に向けて赤外線を照明する。その領域は、ペン先部103が解答用紙4や発表用操作シート5に接触する位置とはわずかにずれている。CMOSカメラ106は、LED105によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ108に供給する。ここで、カーボンは赤外線を吸収するため、LED105によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、CMOSカメラ106の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、CMOSカメラ106による撮影領域は、図3(a)に示すような約2mm×約2mmの大きさを含む範囲であり、CMOSカメラ106の撮影は毎秒50〜100回程度の定間隔で行われる。
【0027】
プロセッサ108は、ユーザの記入が行われる間、CMOSカメラ106によって供給される画像データのドットパターンから、ユーザが記入するストローク(筆跡)を構成する座標点の解答用紙4や発表用操作シート5上におけるX,Y座標(単に「位置座標」、「座標データ」とも呼ぶ)を連続的に演算していく。すなわち、プロセッサ108は、CMOSカメラ106によって供給される、図3(a)に示されるようなドットパターンの画像データを図3(b)に示すデータ配列に変換し、さらに、X座標ビット値及びY座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを演算する。そしてプロセッサ108は、リアルタイムクロック110から発信される現在時刻(タイムスタンプ:記入された時刻情報)、筆圧データ及びX,Y座標データとを関連付ける。なお、解答用紙4や発表用操作シート5における6×6のドットパターンは、解答用紙4や発表用操作シート5内で重複することはないため、ユーザが電子ペン1で文字等を記入すると、記入された位置が解答用紙4や発表用操作シート5のどの位置に当たるかを、プロセッサ108による座標演算により特定することができる。
【0028】
メモリ109には、電子ペン1(1A,1B)を識別するための「Pen01,Pen02」といったペンID(ペン識別情報)、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット111は、1回のペンダウンからペンアップまでに電子ペン1により生成されるX,Y座標データ、時刻データとしてのタイムスタンプ、記入時の筆圧データの関連付け情報(以降、「ストローク情報」と呼ぶ)に、ペンIDを関連付けて記入情報としてコンピュータ装置2に送信する。通信ユニット111によるコンピュータ装置2への送信は、Bluetooth(登録商標)などの無線送信によって、即時的かつ逐次的に行われる。
【0029】
[コンピュータ装置]
次に、コンピュータ装置2について説明する。コンピュータ装置2は、ハードウェアとして、電子ペン1とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、ディスプレイ、マウスやキーボード等からなるパーソナルコンピュータ等で構成される。図5は、コンピュータ装置2の機能ブロック図である。コンピュータ装置2は、機能的には、マウスやキーボードといった入力手段21、受信手段22、クロック23、処理手段24、記憶手段25、表示手段26及び送信手段27を備える。そして、コンピュータ装置2は、電子ペン1から受信した記入情報に基づいて所定の処理を行う。なお、時刻情報は、電子ペン1のリアルタイムクロック110の代わりに、このコンピュータ装置2のクロック23から得るようにしてもよい。
【0030】
受信手段22は、アンテナや受信回路等により構成され、電子ペン1から記入情報を受信し、処理手段24に伝送する。送信手段27は、処理手段24の指示によって、表示手段26の画像表示に用いられる画像信号をプロジェクタ3に送信するもので、プロジェクタ3へのデータ送信方式は、有線式であっても無線式であってもよい。表示手段26は、ディスプレイ等によって構成され、処理手段24によって指示された内容を表示する。
【0031】
記憶手段25は、ハードディスクやROM、RAMといったメモリによって構成される。記憶手段25は、電子ペン1によって解答用紙4に記入される際に送信され、受信手段22によって受信される記入情報を、記入情報に含まれるペン識別情報(ペンID)により識別して記憶する。また、記憶手段25は、解答用紙4に記入されることにより取得した記入情報をストロークとして描画するための描画アプリケーション(プログラム)と、後述する位置座標情報や処理指示情報などのアプリケーションで利用する各種定義情報を記憶している。そのアプリケーションは、電子ペン1により発表用操作シート5の処理指示エリアをタップや記入により指定することで電子ペン1から送信され、受信手段22によって受信する記入情報に基づいて、解答用紙4への記入に関する記入情報からのストローク再生描画をコントロールすることができる。
【0032】
処理手段24は、CPU等のプロセッサによって構成され、受信手段22により電子ペン1から受信した記入情報に基づいて、表示手段26に対して種々の形態で記入内容を表示させたり、記憶手段25に記憶されたアプリケーション(プログラム)を起動させ、アプリケーションにより、発表用操作シート5の処理指示エリアに対応する処理を行ったりする。また、処理手段24は、表示手段26に表示させる画像と同じ画像を同期させてプロジェクタ3に投影させるための画像信号を、送信手段27に対してプロジェクタ3へ送信させる。プロジェクタ3は、コンピュータ装置2の送信手段27から受信した画像信号に基づいて、表示手段26に表示された画像と同様の画像をスクリーンに投影して映し出す。
【0033】
[解答用紙、発表用操作シート]
図6は、第1実施形態で使用する記入用紙(用紙)としての「解答用紙4」の一例を示す平面図である。本実施形態で使用する解答用紙4は、周囲を除く全体に解答エリア(ユーザエリア)410が設定されており、どの解答用紙4にも同一のドットパターン(コード化パターン)が赤外線を吸収するカーボンを含有するインキにより印刷されている。さらに解答用紙4には、それと重ねて問題や解答の記入枠、マス目などが、赤外線に吸収性を持たないインキにより印刷されている。ドットパターンと記入枠等の絵柄は用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
【0034】
図7は、第1実施形態で使用する操作シート(用紙)としての「発表用操作シート5」の一例を示す平面図である。本実施形態で使用する各発表用操作シート5は、同一のドットパターンが赤外線を吸収するカーボンを含有するインキにより印刷された表示面に、複数の処理指示エリア(ユーザエリア)511〜522が設定されている。処理指示エリア511〜522を示す図形等の絵柄は、赤外域に吸収性を持たないインキにより印刷されている。ドットパターンと絵柄は用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
【0035】
図8は発表用操作シート5に設定された処理指示エリア511〜522と対応するアプリケーション処理機能との関連付け情報(「処理指示情報」と呼ぶ)のデータ構造を示す概念図であり、記憶手段25によって記憶されている。発表用操作シート5の処理指示エリア511〜522には、次のような機能をコンピュータ装置2に処理させるアプリケーション機能が関連付けられている。すなわち、処理指示エリア511は、記憶手段25に記憶された記入情報をストロークとして再生して表示を開始させる「再生ボタン」であり、処理指示エリア512は、その再生表示を停止する「停止ボタン」である。処理指示エリア513は、再生箇所を最初のストロークまで戻す「頭だし表示ボタン」であり、処理指示エリア514は、再生箇所を1ストローク戻す(所定秒戻すでもよい)「1ストローク戻るボタン」であり、処理指示エリア515は、再生箇所を1ストローク進める(所定秒進めるでもよい)「1ストローク進むボタン」であり、処理指示エリア516は、再生箇所を最終ストロークまで進める「最終ストローク表示ボタン」であり、また、処理指示エリア517〜521は、5段階で再生スピードを調整する(1:遅い〜5:速い)「再生速度ボタン」であり、処理指示エリア522は、再生箇所を指定する「再生バー」である。初期に記入された記入情報から再生したい場合は、処理指示エリア522の左端をタップすればよく、終期に記入された記入情報を再生したい場合は、処理指示エリア522の右端をタップすればよい。すなわち、再生を開始させたい時間的な箇所を、「再生バー」の処理指示エリア522を電子ペン1によってタップすることで指定する。なお、電子ペン1による処理指示エリア511〜522の指定は、丸印やレ点などの記入やタップにより行えばよく、本実施形態では、タップするものとして説明する。
【0036】
図9は、解答用紙4に設定された解答エリア(ユーザエリア)410および発表用操作シート5に設定された処理指示エリア(ユーザエリア)511〜522と位置座標との関連付け情報(「位置座標情報」と呼ぶ)のデータ構造を示す概念図であり、記憶手段25によって記憶されている。図示のように、解答用紙4の解答エリア410は、角位置が(x1,y1)、高さがH1、幅がW1で表される。また、発表用操作シート5の処理指示エリア511〜522は、角位置が夫々(x11,y11)〜(x22,y22)、高さが夫々H11〜H22、幅が夫々W11〜W22で各々表される。このように角位置と高さ及び幅が決まることにより、この座標領域に含まれる位置座標に対応する各ユーザエリアと用紙種別が特定される。処理手段24は、発表用操作シート5における記入情報を受信手段22から受けると、その記入情報に含まれるX,Y座標データに基づいて、図9に示す位置座標情報を参照して電子ペン1によって記入された処理指示エリアを特定し、図8に示す処理指示情報を参照して特定した処理指示エリアに応じた処理によって、対応する解答用紙4に関する記入情報からストロークを再生してストローク表示領域601に表示する。
【0037】
[表示手段の表示内容]
図10は、コンピュータ装置の表示手段26における描画アプリ(描画アプリケーション)の一例を示す説明図である。本実施形態で表示する描画アプリ6は、アプリケーションウインドウの左下側に大きくストローク表示領域601を区画するとともに、右側に縦長のユーザ表示リスト602を区画してあり、ユーザ表示リスト602には、電子ペン1で解答用紙4に記入したユーザをペンIDにより識別してユーザ別表示ボタン603(603A,603B,・・・)として表示する。ストローク表示領域601は、ユーザ別表示ボタン603で選択されたユーザ、または発表用操作シート5に記入した電子ペン1のユーザが、電子ペン1で解答用紙4に記入したストロークを表示する領域である。そして、ユーザ別表示ボタン603によりユーザを選択するか、または別のユーザが電子ペン1で発表用操作シート5にタップすることで、ストローク表示領域601の表示内容を切り替える。
【0038】
描画アプリ6には、ストローク表示領域601の上方に、記憶手段25により記憶された記入情報をストロークとして再生して表示を開始する再生ボタン604、その再生表示を停止する停止ボタン605、再生箇所を最初のストロークまで戻す頭だし表示ボタン606、再生箇所を1ストローク戻す1ストローク戻るボタン607、再生箇所を1ストローク進める1ストローク進むボタン608、再生箇所を最終ストロークまで進める最終ス7ローク表示ボタン609、5段階で再生スピードを調整する再生リストボックス610、ツマミを動かすことで再生箇所を指定する再生バー611、の各アイコンが形成されており、最上段の右側にはアプリ終了ボタン612のアイコンが形成されている。処理手段24は、各アイコン604〜612のうちマウスのクリックなどで指示されたアイコンに応じて、そのアイコンに応じた処理を行う。
【0039】
図11および図12は、描画アプリ6の実施例を発表用操作シート5とともに示す説明図である。
【0040】
図11は、電子ペン1Aによって発表用操作シート5Aの処理指示エリア511「再生ボタン」にタップされることで、コンピュータ装置2が、電子ペン1A(ペンID:pen01)で解答用紙4Aに記入されたストロークの記入情報に含まれるストローク情報に基づいてストロークを再生して、ストローク表示領域601Aに表示している状態である。このとき、ユーザ別表示ボタン603は、電子ペン1AのペンID「pen01」が選択された状態となる。コンピュータ装置2の操作で他のユーザが選択されていた場合、発表用操作シート5Aにタップした電子ペン1Aのユーザのストローク表示に切り替わる。
【0041】
この図11を参照して、ユーザが操作シートを使って発表する例を説明する。まず、ユーザが電子ペン1Aによって、発表用操作シート5Aの処理指示エリア511「再生ボタン」をタップすると、処理手段24は、ユーザが電子ペン1Aによって記入した全てのストローク「12月(師走、December)〜水仙、カトレア」を、ストロークが記入用紙4Aに記入された順にストローク表示領域501Aに再生表示することで、電子ペン1A(ペンID「pen01」)の記入過程を再現する。このとき、図11のように表示された時点、すなわち、「12月(師走、December)」から5行目の「タン」まで再生表示されている時点で、ユーザが電子ペン1Aによって、発表用操作シート5Aの処理指示エリア512「停止ボタン」をタップすると、処理手段24は、再生表示を停止する。さらに、ユーザが電子ペン1Aによって、発表用操作シート5Aの処理指示エリア514「1ストローク戻るボタン」を5回タップすると、5ストローク分再生箇所を戻して「12月(師走、December)」〜4行目の「天皇誕生日」までをストローク表示領域501Aに表示する。
【0042】
図12は、電子ペン1Bによって発表用操作シート5Bの処理指示エリア511「再生ボタン」にタップされることで、コンピュータ装置2が、電子ペン1B(ペンID:pen02)で解答用紙4Bに記入されたストロークの記入情報に含まれるストローク情報を再生して、ストローク表示領域601Bに表示している状態である。このとき、ユーザ別表示ボタン603は、電子ペン1BのペンID「pen02」が選択された状態となる。コンピュータ装置2の操作で他のユーザが選択されていた場合であっても、電子ペン1Bにより発表用操作シート5Bがタップされると、ストローク表示領域601は、処理手段24の処理により、電子ペン1Bの記入に基づくストロークの表示に切り替わる。
【0043】
[処理フロー]
次に、本実施形態の情報処理システムで実行される処理フローを、図13を参照して説明する。
【0044】
まず、ユーザが電子ペン1を用いて、解答用紙4ないし発表用操作シート5上に記入ないしタップを行う。すると、電子ペン1は、圧力センサ107によって所定値以上の筆圧が検出されたことにより解答用紙4ないし発表用操作シート5への接触を検出し、LED105によって赤外線を照射しつつCMOSカメラ106によって筆跡に沿ってドットパターンを撮像し、プロセッサ108によって、撮像されたドットパターンの画像データから筆跡に沿った位置座標を連続的に演算し、当該位置座標、リアルタイムクロック110により発信された現在時刻、筆圧データ(以上、「ストローク情報」)及びペンIDと関連付けて、記入情報として即時且つ逐次的にコンピュータ装置2へ送信する(ステップS101)。
【0045】
コンピュータ装置2では、受信手段22が、電子ペン1から記入情報(ストローク情報及びペンID)を受信すると、その記入情報を記憶手段25に記憶し(ステップS201)、処理手段24が、その受信した記入情報が解答用紙4か発表用操作シート5のいずれのものであるかを、図9に示す位置座標情報を参照して判断する(ステップS202)。そして、処理手段24は、電子ペン1からの記入情報が解答用紙4のものであると認識した場合(ステップS202:解答用紙)、受信したペンIDに対応するユーザが解答用紙4に記入したストロークがストローク表示領域601に表示されているか否か、換言すると、受信したペンIDに対応するユーザ別表示ボタン603が選択されているか否かを判定する(ステップS203)。受信したペンIDに対応するユーザのストロークが表示されていると認識した場合(ステップS203:Yes)、処理手段24は、受信した記入情報に含まれるストローク情報に基づいて、電子ペン1で解答用紙4に記入されたストロークを描画して、ストローク表示領域601へ表示する処理を行う(ステップS204)。選択されていないと認識した場合(ステップS203:No)、処理手段24は、処理を終了する。
【0046】
一方、ステップS202で、処理手段24が、電子ペン1からの記入情報が発表用操作シート5の処理指示エリアのものであると認識した場合(ステップS202:発表用操作シート)、受信したペンIDに対応するユーザのストロークが表示されているか否か、すなわち、受信した記入情報に含まれるペンIDと共通するペンIDを有して記憶手段25に記憶されている、解答用紙4への記入による記入情報に基づくストロークが表示されているか否かを判定する(ステップS205)。表示されていないと認識した場合(ステップS205:No)、処理手段24は、受信したペンIDの電子ペン1による解答用紙4への記入内容を表示するように、ストローク表示領域601を即時に切り替える処理を行い(ステップS206)、図8に示す処理指示情報を参照して、ステップS202で用紙種別と共に認識した処理指示エリアに対応する処理を、受信したペンIDの電子ペン1により解答用紙4に記入した内容のストローク再生について実行する(ステップS207)。また、受信したペンIDに対応するユーザのストロークが表示されていると認識した場合(ステップS205:Yes)、処理手段24は、ステップS202で認識した処理指示エリアに対応する処理を実行する(ステップS207)。
【0047】
このような情報処理システムであれば、例えば「飛」のような難しい書き順の漢字についても、発表用操作シート5Aの処理指示エリア511「再生ボタン」、処理指示エリア512「停止ボタン」、処理指示エリア514「1ストローク戻るボタン」、処理指示エリア515「1ストローク進むボタン」などをユーザが電子ペン1Aによってタップして、記入過程を再生表示させて再現することで、確認することもできる。
【0048】
<本第1実施形態の作用効果>
本第1実施形態における情報処理システムにおいては、ユーザが電子ペン1により発表用操作シート5へ記入すると、コンピュータ装置2は、受信した発表用操作シート5に関する記入情報に含まれるペンIDに基づいて、表示手段26にストロークを表示させるユーザを特定して、処理指示エリアに対応する機能に応じた処理を実行しつつ、そのユーザが電子ペン1で解答用紙4に記入した内容のストロークを表示手段26に表示させる。コンピュータ装置2が、記入情報に含まれるペンIDに基づいて、解答用紙4や発表用操作シート5に記入したユーザを特定することができるため、解答用紙4や発表用操作シート5に形成するドットパターンをユーザごとに異ならせる必要がなく、また、先生や講師などのコンピュータ装置2の操作者が、発表するユーザをコンピュータ装置2で選択する操作を行わなくても、発表するユーザ自身が発表用操作シート5を用いて、自分の解答用紙4への記入内容のストロークを表示手段26に再生して表示させることができる。
【0049】
〔変形例〕
なお、上記第1実施形態は次のように構成してもよい。
【0050】
上記第1実施形態では、ユーザごとに同一のドットパターンが形成された解答用紙4と、ユーザごとに同一のドットパターンが形成された発表用操作シート5を1枚づつ用いたが、ユーザごとに使用する電子ペン1のペンIDによってユーザのストローク情報を識別しているため、発表用操作シート5は、1人1枚配らずに、複数のユーザについて共通のものを使用してもよい。また、解答用紙4、発表用操作シート5それぞれは、ユニークなドットパターンが形成されていても構わない。
【0051】
<第2実施形態>
第2実施形態の情報処理システムでは、第1実施形態において使用したのとは異なる解答用紙4と発表用操作シート5を使用する。
【0052】
すなわち、第1実施形態では、ユーザごとに用いられる解答用紙4および発表用操作シート5には、各々に同一のドットパターン(コード化パターン)が形成されているが、この第2実施形態では、各ユーザに用いられる解答用紙4および発表用操作シート5には、解答用紙4ごと、発表用操作シート5ごとに異なるドットパターン(コード化パターン)を形成して、用紙1枚ごとに使用するユーザ(使用ユーザ)を区別できるようにする。
【0053】
また、第2実施形態の記憶手段25は、予め、ドットパターンにより区別される各解答用紙4に設定された各解答エリア(ユーザエリア)410の位置座標、および各発表用操作シート5に設定された各処理指示エリア(ユーザエリア)511〜522の位置座標と、ユーザ(使用ユーザ)による使用関係との関連付け情報(「使用関係情報」と呼ぶ)をデータとして記憶しておく。図14は、使用関係情報のデータ構造を示す概念図である。そして、ユーザが電子ペン1で解答用紙4に記入すると、電子ペン1はストローク情報を生成して記入情報としてコンピュータ装置2へ送信し、コンピュータ装置2は、受信した記入情報を記憶手段25に記憶する。なお、本第2実施形態の電子ペン1は、コンピュータ装置2へ送信する記入情報にペンIDを含めなくてもよい。
【0054】
そして、処理手段24は、記憶手段25に記憶された使用関係情報を参照して、受信した記入情報に対応するユーザエリアと用紙種別と使用ユーザとを認識して、その用紙と対になる用紙を特定する。例えば、ユーザAが発表用操作シート5に記入したストロークの記入情報を受信した場合、処理手段24は、記入情報より使用ユーザが「ユーザA」であると認識して、使用関係情報を参照して共通する使用ユーザ「ユーザA」が関係付けられている解答用紙4を特定する。そして、特定した解答用紙4に関する記入情報に基づいて、その解答用紙4に記入された内容のストロークを、記憶手段25に記憶された処理指示情報を参照して、その処理指示エリアに対応する処理を実行しながら、表示手段26に表示させる。したがって、ユーザが解答用紙に電子ペン1でストロークを形成した後に、発表用操作シート5の処理指示エリアに触れると、コンピュータ装置2では、その処理指示エリアに対応する動作を再現して、解答用紙1に記入されたストロークを、ストローク表示領域601に表示することができる。
【0055】
[処理フロー]
次に、本第2実施形態の情報処理システムで実行される処理フローを、図15を参照して説明する。
【0056】
まず、ユーザが電子ペン1を用いて、解答用紙4ないし発表用操作シート5上に記入ないしタップを行う。すると、電子ペン1は、圧力センサ107によって所定値以上の筆圧が検出されたことにより解答用紙4ないし発表用操作シート5への接触を検出し、LED105によって赤外線を照射しつつCMOSカメラ106によって筆跡に沿ってドットパターンを撮像し、プロセッサ108によって、撮像されたドットパターンの画像データから筆跡に沿った位置座標を連続的に演算し、当該位置座標、リアルタイムクロック110により発信された現在時刻及び筆圧データ(以上、「ストローク情報」)と関連付けて、記入情報として即時且つ逐次的にコンピュータ装置2へ送信する(ステップS301)。
【0057】
コンピュータ装置2では、受信手段22が、電子ペン1から記入情報(ストローク情報)を受信すると、その記入情報を記憶手段25に記憶し(ステップS401)、処理手段24が、その受信した記入情報から、どの解答用紙4かあるいは発表用操作シート5かを判断する(ステップS402)。このとき、各解答用紙4、発表用操作シート5には、異なる座標領域のユニークなドットパターンが割り当てられて印刷されているので、処理手段24は、図14に示す使用関係情報を参照して、受信した記入情報から、特定の解答用紙4または発表用操作シート5、ユーザエリア、およびその使用ユーザを認識することができる。そして、処理手段24は、電子ペン1からの記入情報が解答用紙4のものであると認識した場合(ステップS402:解答用紙)、その使用ユーザによって解答用紙4に記入されたストロークがストローク表示領域601に表示されているか否か、換言すると、記入情報から特定された使用ユーザに対応するユーザ別表示ボタン603が選択されているか否かを判定する(ステップS403)。認識した使用ユーザによって解答用紙4に記入されたストロークが表示されていると認識した場合(ステップS403:Yes)、処理手段24は、受信した記入情報に基づいて、電子ペン1で解答用紙4に記入されたストロークを、ストローク表示領域601へ描画して表示する処理を行う(ステップS404)。選択されていないと認識した場合(ステップS403:No)、処理手段24は、処理を終了する。
【0058】
一方、ステップS402で、処理手段24が、電子ペン1からの記入情報が発表用操作シート5のものであると認識した場合(ステップS402:発表用操作シート)、同時に認識した使用ユーザと共通する使用ユーザが関連付けられている解答用紙4に記入されたストロークがストローク表示領域601に表示されているか否か、換言すると、記入情報から特定された使用ユーザに対応するユーザ別表示ボタン603が選択されているか否かを判定する(ステップS405)。表示されていないと認識した場合(ステップS405:No)、処理手段26は、特定した解答用紙4に関する記入内容を表示するように、ストローク表示領域601を即時に切り替える処理を行い(ステップS406)、図8に示す処理指示情報を参照して、ステップS402で用紙種別と共に認識した処理指示エリアに対応する処理を、この使用ユーザにより解答用紙4に記入された内容のストローク再生について実行する(ステップS407)。また、特定した解答用紙4に関するストロークが表示されていると認識した場合(ステップS405:Yes)、処理手段26は、処理指示エリアに対応する処理を実行する(ステップS407)。
【0059】
<本第2実施形態の作用効果>
本第2実施形態における情報処理システムにおいては、電子ペン1のペンIDによらなくとも、コンピュータ装置2は、各解答用紙4及び各発表用操作シート5に固有のドットパターンによって、解答用紙4や発表用操作シート5に記入したユーザを特定することができるため、ユーザごとに記入されたストロークを識別して、表示手段26に表示させることができる。
【0060】
〔変形例〕
本第2実施形態においては、各解答用紙4(記入用紙)及び発表用操作シート5に固有のドットパターンによって、解答用紙4や発表用操作シート5に記入したユーザを特定することができ、電子ペン1は、ペンIDを記入情報に含めて送信しなくてよいため、メモリ109にペンIDを保有しないものであってもよい。また、電子ペン1を1人1本用いずに、複数のユーザが、同じ電子ペン1を用いてもよい。
【0061】
また、上記第1,第2実施形態では、ストローク表示領域601にストロークを表示するユーザは、コンピュータ装置2の操作により選択されたユーザあるいは発表用操作シート5に記入したユーザの1人のものとしたが、複数のユーザのストロークを並べて同時に表示するようにしてもよい。さらに、1人分ずつのストローク表示と、所定人数分までのストローク表示とを、コンピュータ装置2の操作などにより切り替えられるようにしてもよい。
【0062】
また、上記第1,第2実施形態では、コンピュータ装置2の表示手段26にストロークを表示させたが、プロジェクタ3によりスクリーン4に表示させるようにしてもよい。
【0063】
また、上記第1,第2実施形態では、解答用紙4には全体に1つの解答エリア(ユーザエリア)を設定することとしたが、設問ごとに区別できるように複数の解答エリアを設定してもよく、また、ユーザの所属や氏名を記入するためのユーザエリアを設定してもよい。
【産業上の利用可能性】
【0064】
本情報処理システムは、学校の授業や企業での会議室、講演会、プレゼンテーションなどで利用することができる。なお、記入用紙と操作シートは、上記実施形態で記入用紙を解答用紙と称し、操作シートを発表用操作シートと称したように、それぞれの利用場面に応じた呼び方にするのが実際的である。
【符号の説明】
【0065】
1…電子ペン
2…コンピュータ装置
21…入力手段
22…受信手段
23…クロック
24…処理手段
25…記憶手段
26…表示手段
27…送信手段
201…表示画面
202…表示画面の左上端点座標
203…表示画面の右下端点座標
204…第1表示基準点の座標
205…第2表示基準点の座標
3…プロジェクタ
4…解答用紙(記入用紙)
410…解答エリア(ユーザエリア)
5…発表用操作シート(操作シート)
511〜522…処理指示エリア(ユーザエリア)
6…描画アプリ
601…ストローク表示領域
602…ユーザ表示リスト
603…ユーザ別表示ボタン
604…再生ボタン
605…停止ボタン
606…頭だし表示ボタン
607…1ストローク戻るボタン
608…1ストローク進むボタン
609…最終ストローク表示ボタン
610…再生リストボックス
611…再生バー
612…アプリ終了ボタン

【特許請求の範囲】
【請求項1】
手書いたユーザを区別して、手書きに基づく時間的な情報が関連付けられた位置座標を含む記入情報を記憶する記憶手段と、
前記記憶手段に記憶された記入情報を読み出して、複数のユーザ分の手書かれたストロークを並べて、前記時間的な情報に基づき、表示手段に再生表示させる処理手段と
を備えることを特徴とするコンピュータ装置。
【請求項2】
前記処理手段は、複数のユーザ分の手書かれたストロークを同時に再生表示させることを特徴とする請求項1に記載のコンピュータ装置。
【請求項3】
位置座標を示すコード化パターンが形成された記入用紙と、
コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する電子ペンと、
請求項1又は2に記載のコンピュータ装置とを備え、
前記コンピュータ装置は、前記電子ペンから受信した記入情報に基づき、ユーザにより手書かれたストロークを再生表示することを特徴とする情報処理システム。
【請求項4】
さらに、位置座標を示すコード化パターンが形成された表示面に、ストロークの再生に関するボタンが形成された操作シートを備え、
前記コンピュータ装置の前記処理手段は、前記操作シートへの操作により前記電子ペンから送信された前記記入情報から特定されるボタンに対応して、手書かれたストロークについて、表示手段に再生に関する処理を実行することを特徴とする請求項3に記載の情報処理システム。
【請求項5】
位置座標を示すコード化パターンが形成された記入用紙と、
位置座標を示すコード化パターンが形成された表示面に、ストロークの再生に関するボタンが形成された操作シートと、
コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する電子ペンと、
前記電子ペンから記入情報を受信して手書きストロークを再生表示するコンピュータ装置とを備えた情報処理システムであって、
前記コンピュータ装置は、
前記電子ペンから記入情報を受信する受信手段と、
手書いたユーザを区別して、手書きに基づく時間的な情報が関連付けられた位置座標を含む記入情報を記憶する記憶手段と、
前記記憶手段に記憶された記入情報を読み出して、手書かれたストロークを前記時間的な情報に基づき、前記操作シートへの操作により前記電子ペンから送信された前記記入情報から特定されるボタンに対応して、表示手段に再生に関する処理を実行する処理手段とを備えることを特徴とする情報処理システム。
【請求項6】
請求項1〜5のいずれか一項に記載のコンピュータ装置として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2013−80522(P2013−80522A)
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願番号】特願2013−11942(P2013−11942)
【出願日】平成25年1月25日(2013.1.25)
【分割の表示】特願2009−193855(P2009−193855)の分割
【原出願日】平成21年8月25日(2009.8.25)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】