電子ペン及びプログラム
【課題】電子ペン用記入媒体上で、録音した音声情報を参照することができ、参照時間の短縮と操作性の向上を図る。
【解決手段】利用者が電子ペンを用いて記入を開始すると、電子ペンは音声情報の録音を開始する。また、記入が終了すると、電子ペンは音声情報の録音を終了する。電子ペンは、利用者による記入に基づいてユーザエリアを定義する。そして、電子ペンは、ユーザエリアと、録音された音声情報とを対応付けし記憶する。その後は、利用者が電子ペンでユーザエリアをタップすると、当該ユーザエリアに対応付けされた音声情報が出力される。
【解決手段】利用者が電子ペンを用いて記入を開始すると、電子ペンは音声情報の録音を開始する。また、記入が終了すると、電子ペンは音声情報の録音を終了する。電子ペンは、利用者による記入に基づいてユーザエリアを定義する。そして、電子ペンは、ユーザエリアと、録音された音声情報とを対応付けし記憶する。その後は、利用者が電子ペンでユーザエリアをタップすると、当該ユーザエリアに対応付けされた音声情報が出力される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子ペンにより電子ペン用媒体に記入された記入情報を処理する技術に関する。
【背景技術】
【0002】
近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており(以下、本明細書では「電子ペン」と呼ぶ。)、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている(特許文献1参照)。アノトペンは、所定のドットパターンが印刷された専用紙(以下、「専用ペーパー」とも呼ぶ。)とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある(例えば、特許文献2)。
【0003】
一方、音声を録音することが可能なICメモリ音声録音再生装置において、音声データの区切りを示すマークを予め記録することにより、録音した音声の頭出しを行う手法が提案されている(特許文献3を参照)。
【0004】
また、特許文献4には、手書きのメモや注釈をその属性情報を含めて電子化することにより、手書き注釈の内容による検索、筆記時間、筆記者による検索を可能とする方法が記載されている。
【0005】
また、特許文献5には、紙などの媒体にユーザが手書きした内容と、音声情報、画像情報、動画情報などの各種情報とを手書き時刻及び提供時刻を用いて関連付ける方法が記載されている。
【0006】
【特許文献1】特表2003−511761号公報
【特許文献2】特開2004−153612号公報
【特許文献3】特開平5−334893号公報
【特許文献4】特開2006−31492号公報
【特許文献5】特開2007−133550号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
電子ペンでは、ユーザが書いたストロークの外枠に、ユーザエリアを自動的に割り当てられる。そして、そのユーザエリアに対して、音声データやイメージデータ等を対応付けることが出来る。しかし、特許文献3のようなレコーダに録音した音声情報を対応付ける場合、ユーザは手動で、または録音した時間をもとにファイル名を付け、そのファイル名により、頭出しを行っていた。
【0008】
そこで本発明は、電子ペン用記入媒体上で、録音した音声情報を参照することができ、参照時間の短縮と操作性の向上を図ることができる電子ペン及びそれに用いられるプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る電子ペンは、電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体に記入された情報を処理する電子ペンであって、前記電子ペン用記入媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記音声録音部により、音声を録音する音声録音手段と、前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段と、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段と、前記ユーザエリアと前記音声録音手段により録音された音声情報とを対応付けた対応付け情報を記憶する対応付け情報記憶手段と、を備えることを特徴とする。
【0010】
上記のように構成された電子ペンは、認識可能なドットパターンが印刷された電子ペン用記入媒体に記入された内容に対応するデジタルデータである記入情報を取得し、当該記入情報に基づいて処理を実行することができる。なお、本発明において記入情報は、電子ペン用記入媒体に記入された内容に対応するデジタルデータのみではなく、電子ペン用記入媒体へのタップに対応するデジタルデータを含むものとする。タップとは、電子ペン用記入媒体を電子ペンにより叩くことである。例えば、利用者が電子ペン用記入媒体に任意の文字列を記入する。ここで、文字列とは、数字、ひらがな、カタカナ、ギリシャ文字、JIS1、JIS2など任意の1文字以上の文字の集まりである。このとき、電子ペンは、記入した文字列に対応する座標情報、時間情報、筆圧情報等を記入情報として取得する。座標情報とは、電子ペン用記入媒体に印刷されたドットパターン上における文字列の位置座標を示すX/Y座標データ等である。時間情報とは、電子ペンによって記入した時刻や所定のエリアをタップした時刻を示す情報である。筆圧情報とは、圧力センサ18から得られる筆圧データ等である。電子ペンは、取得した記入情報に含まれる座標情報に基づいて、ユーザエリアを定義する。具体的には、記入内容の外側に接するように四角形の枠を認識し、当該四角形のエリアをユーザエリアとして登録し、エリアIDを付与する。また、電子ペンは、ユーザエリアIDを付与したユーザエリアとユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶する。電子ペンは、音声録音部が録音した音声情報を、定義したユーザエリアと対応付けて格納する。
【0011】
さらに、電子ペンは、音声を出力する音声出力部と、前記記入情報に含まれる、前記ユーザエリアへのタップに対応するタップ情報に基づいて、前記ユーザエリア定義情報を参照することで、タップしたユーザエリアを特定するユーザエリア特定手段と、前記音声出力部から、前記ユーザエリア特定手段により特定されたユーザエリアと対応付けて記憶されている前記音声情報を出力する音声出力手段とを備え、利用者は自身が記入した内容に対応付けた音声情報を確認することができる。例えば、利用者が記入した文字列に対応付けた音声を参照する場合、当該文字列をタップする。これにより当該文字列に定義されたユーザエリアをタップすることになる。このとき、電子ペンは、当該タップに対応する座標情報、時間情報等を記入情報(タップ情報)として取得する。取得したタップ情報に含まれる座標情報に基づいて、ユーザエリア定義情報を参照することにより、電子ペンは、タップされたユーザエリアを特定する。電子ペンは、対応付け情報を参照し、特定したユーザエリアと対応付けて格納されている音声情報を音声出力部から出力する。これにより、利用者は記入した文字列に対応付けた音声情報を確認することができる。
【0012】
前記音声録音手段は、前記記入情報に含まれる時間情報及び筆圧情報に基づき、前記電子ペン用記入媒体への記入開始時刻に録音を開始し、前記電子ペン用記入媒体への記入終了時刻から所定の終了判定時間を経過したときに、録音を終了する。
【0013】
また、前記音声録音手段は、前記記入情報取得手段が前記記入情報中に含まれる特定のストローク情報を検出したときに、録音を終了することとしてもよい。特定のストローク情報とは、例えばピリオドや句点などであり、OCR(Optical Character Recognition;光学文字認識)などで特定される。
【0014】
さらに、電子ペンは、前記タップ情報に基づいて、当該タップのストローク開始点及びストローク終了点を特定する開始終了点特定手段を備え、前記ユーザエリア特定手段は、前記ストローク開始点及び前記ストローク終了点の座標データに基づいて前記ユーザエリア定義情報を参照することで、当該ストローク開始点及び当該ストローク終了点の双方が含まれるユーザエリアを特定することができる。
【0015】
また、本発明に係るプログラムは、前記電子ペン用記入媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記音声録音部により、音声を録音する音声録音手段、前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段、前記ユーザエリアと前記音声録音手段により録音された音声情報とを対応付けた対応付け情報を記憶する対応付け情報記憶手段、として前記電子ペンを機能させることを特徴とするプログラム。
【0016】
上記プログラムを実行することで、上述の電子ペンを実現することができる。また、上述の電子ペンの各態様も同様に実現することができる。
【発明の効果】
【0017】
本発明に係る電子ペン及びそれに用いられるプログラムによれば、電子ペン用記入媒体上で、録音した音声情報を参照することができ、参照時間の短縮と操作性の向上を図ることができる。
【発明を実施するための最良の形態】
【0018】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【0019】
本実施形態の情報処理システムは、図1及び図2に示すように、電子ペン10と、専用ペーパー(電子ペン用媒体)20と、端末装置25とから構成される。ここで、図1は電子ペン10の使用形態を模式的に示す図であり、図2は電子ペン10の構成を示すブロック図である。専用ペーパー20には、ドットパターン(コード化パターン)が印刷されている。電子ペン10は、通常のインクペンと同様のペン先部17を備えており、利用者が通常のインクペンと同様にペン先部17によって専用ペーパー20上に文字などを書くと、電子ペン10は、ペン先部17の移動軌跡に沿って、専用ペーパー20に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー20におけるその局所位置の座標を算出し、その座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。
【0020】
なお、端末装置25は、ハードウェアとして、電子ペン10とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、スピーカ、ディスプレイ等で構成される、PCや携帯電話、或いは携帯端末である。
【0021】
[専用ペーパー]
まず、専用ペーパー20について説明する。専用ペーパー20は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
【0022】
ドットパターンは、記入帳票のほぼ全面に印刷されており、その上に枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、電子ペン10を使用して記入する。
【0023】
このように、ドットパターンを印刷した専用ペーパー上に所定の図案を印刷することにより、専用ペーパーを利用した記入用紙が生成できる。利用者が電子ペン10を使用して記入用紙に記入すれば、その電子データが自動的に取得される。
【0024】
[ドットパターン]
続いて、ドットパターンについて説明する。図3は、専用ペーパー20に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置が格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトされているかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー20上の位置座標が決定されるよう構成されている。
【0025】
図4(a)は、あるドットパターンの配列を示している。図4(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、専用ペーパー上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか)を保持している。図4(b)は、図4(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン10によって行われる。
【0026】
[電子ペン]
次に電子ペン10について説明する。図2に示すように、電子ペン10は、その内部にプロセッサ11、メモリ12、データ通信ユニット13、バッテリー14、LED15、カメラ16、レコーダ17、圧力センサ18、スピーカ(音声出力部)19及びクロック22を備える。また、電子ペン10は通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
【0027】
LED15は、電子ペン10のペン先付近に取り付けられており、専用ペーパー20上のペン先部17近傍(領域15)に向けて、赤外線を照明する(図1参照)。領域15は、ペン先部17が専用ペーパー20に接触する位置とはわずかにずれている。カメラ16は、LED15によって照明された領域15内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ11に供給する。ここで、カーボンは赤外線を吸収するため、LED15によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ16の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。たとえ撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ16による撮影領域は、図4(a)に示すような約2mm×約2mmの大きさを含む範囲であり、カメラ16の撮影は、毎秒50〜100回程度行われる。
【0028】
バッテリー14は電子ペン10内の各部品に電力を供給するためのものであり、例えば電子ペン10のキャップ(図示せず)の脱着により電子ペン10自体の電源のオン/オフを行うよう構成させてもよい。クロック22は、現在時刻(タイムスタンプ)を発信し、プロセッサ11に供給する。圧力センサ18は、利用者が電子ペン10により専用ペーパー20上に文字などを書く際にペン先部17に与えられる圧力、即ち筆圧を検出し、プロセッサ11へ供給する。
【0029】
プロセッサ11は、圧力センサ18から与えられる筆圧データに基づいて、LED15及びカメラ16のスイッチオン/オフの切換を行う。即ち、利用者が電子ペン10で専用ペーパー20上に文字などを書くと、ペン先部17には筆圧がかかり、圧力センサ18によって所定値以上の筆圧が検出されたときに、プロセッサ11は、利用者が記入を開始したと判定して、LED15及びカメラ16を作動させる。
【0030】
プロセッサ11は、利用者の記入が行われる間、カメラ16によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー20上でのX,Y座標(単に「座標データ」とも呼ぶ)を連続的に算出していく。すなわち、プロセッサ11は、カメラ16によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを算出する。そしてプロセッサ11は、現在時刻(タイムスタンプ)を発信するクロック22から時間情報を取得し、その時間情報と、筆圧データ及びX,Y座標データとを関連付け、これらの情報を記入情報として取得する。さらに、プロセッサ11は、記入情報に基づいて所定の処理を実行する。ここで、一枚の専用ペーパー(電子ペン用媒体)20内の6×6のドットパターンは、その専用ペーパー20内で重複することはないため、利用者が電子ペン10でユーザエリアに必要事項を記入したりタップしたりすると、その記入やタップが専用ペーパー20のどのユーザエリアに対応するものであるかを、座標データから特定することができる。
【0031】
メモリ12には、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとが対応付けて記憶されている。また、後述するユーザエリア定義手段により定義されたユーザエリアと、音声録音手段33により録音された音声情報とが対応付けて記憶されている。
【0032】
データ通信ユニット13は、プロセッサ11が所定の処理を行った結果を近傍にある端末装置25に記録、表示させるため、あるいは所定の処理を実行させるため、プロセッサ11により供給されるメモリ12内の所定のデータを端末装置25へ無線送信する。データ通信ユニット13による送信は、Bluetooth(登録商標)の無線送信によると好適である。なお、USBケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット13から端末装置25へデータ送信を行ってもよい。
【0033】
ここで電子ペン10が有する機能について図5を参照して説明する。図5は、電子ペン10の主要な構成を示す機能ブロック図である。電子ペン10は、取得したX,Y座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。
【0034】
図5に示すように、電子ペン10は、情報記憶手段31、記入情報取得手段32、音声録音手段33、ユーザエリア定義手段34、開始終了点特定手段35、ユーザエリア特定手段36、音声出力手段37、音声録音部38、音声出力部39、を備える。物理的には、情報記憶手段31は、ROMやRAMといったメモリによって構成され、記入情報取得手段32は、データ通信ユニット、プロセッサ等によって構成され、音声録音部38はレコーダ等で、音声出力部39はスピーカ等で、構成される。また、ユーザエリア定義手段34、開始終了点特定手段35、ユーザエリア特定手段36、音声出力手段37は、CPU等のプロセッサに組み込まれている。
【0035】
情報記憶手段31は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶するメモリである。すなわち、図6に示すように、情報記憶手段31には、ユーザエリアIDとユーザエリアの位置座標領域を表す座標データとを対応付けたユーザエリア定義情報が記憶されている。エリアID「A01」に関連して座標データ「(x1,y1),H1,W1」が記憶され、エリアID「A02」に関連して座標データ「(x2,y2),H2,W2」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図7に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点V(xn,yn)の座標、Y軸方向の高さ(Height)、X軸方向の幅(Width)を意味する。すなわち、情報記憶手段31は、本発明におけるユーザエリア定義情報記憶手段として機能する。また、以下に述べるように、情報記憶手段31は、対応付け情報記憶手段としても機能する。
【0036】
記入情報取得手段32は、電子ペン10による専用ペーパー(電子ペン用記入媒体)20への記入内容に対応する記入情報を取得する手段である。記入情報には、タップ、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。
【0037】
音声録音手段33は、記入情報に含まれる時間情報及び筆圧情報に基づき、電子ペン用記入媒体への記入開始時刻に録音開始指示を音声録音部38に出力し、音声の録音を開始する。また、音声録音手段33は、電子ペン用記入媒体への記入終了時刻から所定時間Z(以下、「終了判定時間」と呼ぶ。)を経過したときに、録音終了指示を音声録音部38に出力することにより、音声の録音を終了する。即ち、録音終了時刻は、記入終了時刻から終了判定時間Z経過後の時刻となる。よって、音声録音手段33により録音される音声情報は、記入開始時刻を開始点とし、記入終了時刻から終了判定時間Z経過後の時刻を終了点とする音声情報となる。
【0038】
なお、所定の終了判定時間Zは、ユーザによる記入が終了したと判断できる程度に長い無記入時間に設定される。例えば、複数の文字からなる文字列を記入する際に1つの文字の記入後、次の文字の記入開始までに要する時間が一般的に0.5〜1秒程度であるとするならば、所定時間Zはそれより十分に長い時間(例えば3秒)に設定される。
【0039】
また、音声録音手段33は、記入情報取得手段32が記入情報中に含まれる特定のストローク情報を検出したときに、録音終了指示を音声録音部38に出力することにより、音声の録音を終了することとしてもよい。この場合、音声録音手段33により録音される音声情報は、記入開始時刻を開始点とし、記入終了時刻(特定のストローク情報を検出した時刻)を終了点とする音声情報となる。もしくは、音声が途切れるのを防ぐため、特定のストローク情報を検出した時刻から所定時間α経過後を録音終了時刻としてもよい。その場合は、音声情報は、記入開始時刻を開始点とし、特定のストローク情報を検出した時刻から所定時間α経過後の時刻を終了点とする音声情報となる。
【0040】
ユーザエリア定義手段34は、記入情報取得手段32が取得した記入情報に含まれる座標情報に基づいて記入内容に対応するユーザエリアを自動的に定義する。具体的には、記入内容の外側に接するように四角形の枠を認識し、当該四角形のエリアをユーザエリアとして登録し、エリアIDを付与する。ユーザエリアとして登録された座標データとエリアIDはユーザエリア定義情報として情報記憶手段31に記憶される。
【0041】
電子ペン10は、ユーザエリア定義手段34により定義されたユーザエリアと、音声録音手段33により録音された音声情報とを対応付けて、情報記憶手段31に記憶する。
【0042】
開始終了点特定手段35は、記入情報取得手段32が取得した記入情報に含まれるストローク開始点及びストローク終了点を特定する。具体的には、開始終了点特定手段35は、ストローク開始点及びストローク終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。
【0043】
ユーザエリア特定手段36は、記入情報取得手段32が取得した記入情報(タップ情報)に含まれる座標データに基づいて、情報記憶手段31が記憶したユーザエリア定義情報(図6参照)を参照することにより、対応するユーザエリアを特定する。このとき、ユーザエリア特定手段36は、1つのストロークのストローク開始点及びストローク終了点の双方が含まれるユーザエリアのみを特定するようにするとよい。そのような設定にすれば、利用者が記入帳票に記入したストロークのストローク開始点及びストローク終了点のいずれかがユーザエリアの範囲外にある場合には、利用者がそのユーザエリアをタップしようと意図したものではないと判定することができる。また、ユーザエリア特定手段36は、開始終了点特定手段35によって特定されたストローク開始点及びストローク終了点における時間及び/又は両点間の移動距離に基づいて、利用者によりユーザエリアに記入されたストロークがタップであるか否かを判定する。ユーザエリア特定手段36は、記入情報及びユーザエリア定義情報に基づいて、電子ペン10によりタップされたユーザエリアを特定する。
【0044】
音声出力手段37は、前記ユーザエリア特定手段により特定されたユーザエリアと対応付けて、情報記憶手段31に格納されている音声情報を音声出力部39から出力させる。
【0045】
電子ペン10は、専用アプリケーションがインストールされることにより、上述の各手段が構成される。
【0046】
[専用アプリケーション]
次に、専用アプリケーション50について図9を参照して説明する。図9は、専用アプリケーション50のモジュール構成を示す。専用アプリケーション50は、電子ペン10が専用ペーパー20に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め電子ペン10にインストールされている。
【0047】
専用アプリケーションは、原則として専用ペーパー20に対応付けられている。つまり、専用ペーパー20の種類が異なれば、その種類に応じて各専用ペーパー20に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー20と専用アプリケーションの対応は必ずしも1対1である必要はなく、複数種類の専用ペーパー20に1つの専用アプリケーションを対応付けてデータを処理させてもよい。また、1種類の専用ペーパー20に複数の専用アプリケーションを対応付けてデータを処理させてもよい。
【0048】
図9に示すように、専用アプリケーション50は、情報記憶モジュール101、記入情報取得モジュール102、音声録音モジュール103、ユーザエリア定義モジュール104、開始終了点特定モジュール105、ユーザエリア特定モジュール106、音声出力モジュール107を有する。
【0049】
情報記憶モジュール101は、情報記憶手段31に対して、図6に示すように、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶させるモジュールである。また、情報記憶モジュール101は、情報記憶手段31に対して、図8に示すように、ユーザエリア定義手段34により定義されたユーザエリアと音声録音手段33により録音された音声情報を対応付けて情報記憶手段31に記憶させる機能を有する。
【0050】
記入情報取得モジュール102は、記入情報取得手段32を用いて、専用ペーパー20への電子ペン10による記入に対応する記入情報(タップ情報を含む)を取得する機能を有する。
【0051】
音声録音モジュール103は、音声録音手段33を用いて、電子ペン10による記入に対応する音声を録音する機能を有する。
【0052】
ユーザエリア定義モジュール104は、記入情報取得モジュール102の実行によって取得された記入情報に含まれる座標情報に基づいて記入内容に対応するユーザエリアを自動的に定義する機能を有する。
【0053】
開始終了点特定モジュール105は、記入情報(タップ情報)に含まれるストロークのストローク開始点及びストローク終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。
【0054】
ユーザエリア特定モジュール106は、記入情報(タップ情報)に含まれる座標データに基づいて、図6に示すユーザエリア定義情報を参照することで、タップ情報に対応するユーザエリアを特定する機能を有する。このとき、ユーザエリア特定モジュール106は、タップ情報に基づいて、電子ペン10によりタップされたユーザエリアを特定するものであって、ストローク開始点及びストローク終了点の双方が含まれるユーザエリアを特定するようにするとよい。
【0055】
音声出力モジュール107は、ユーザエリア特定モジュール106の実行によって特定されたユーザエリアと対応付けて、情報記憶モジュール101によって情報記憶手段31に格納されている音声情報を音声出力部から出力させる機能を有する。
【0056】
[本情報処理システムによる音声情報対応付け処理フロー]
次に、本実施形態の情報処理システムにより行われる処理フローについて図10及び図11を参照して説明する。図10は、本実施形態における記入帳票上の電子ペン10の使用形態を示す図である。図11は、電子ペン10における音声情報対応付け処理のフローチャートである。
【0057】
利用者は、電子ペン10により、記入帳票に任意の記入を行う。例えば、記入帳票を育児の健康管理帳として使用する場合、図10(a)のように、記入帳票に「5月10日 予防接種」の文字列を記入する。すると、電子ペン10は、記入に対応する座標情報、時間情報及び筆圧情報等を記入情報として取得する。電子ペン10の記入情報取得手段32は、取得した時間情報及び筆圧情報より記入開始時刻を取得する(ステップS1)。音声録音手段32は記入開始時刻を取得すると、録音開始指示を音声録音部38に出す(ステップS2)。音声録音部38は録音開始指示を受け、録音を開始する(ステップS3)。
【0058】
音声録音手段32は、次の読み取りデータがあるか否かを判定することにより、録音を終了するか否かを判定する(ステップS4)。音声録音手段32により次の読み取りデータがあると判定された場合(ステップS4;Yes)、録音を続行する。一方、音声録音手段32により次の読み取りデータがないと判定された場合(ステップS4;No)、音声録音手段32により次の読み取りデータがないと判定された時刻、すなわち、記入終了時刻からの経過時間をカウントする(ステップS5)。音声録音手段32は、記入終了時刻からの経過時間を「T」とし、経過時間Tがアプリケーションで設定した終了判定時間Zよりも大きいか否かを判定する(ステップS6)。
【0059】
経過時間Tが終了判定時間Zよりも小さいと判定された場合(ステップS6;No)、録音を続行する。経過時間Tが終了判定時間Zよりも大きいと判定された場合(ステップS6;Yes)、ユーザエリア定義手段34により、記入情報に含まれる座標情報に基づいて記入内容に対応するユーザエリアを定義する(ステップS7)。具体的には、記入内容である「5月10日 予防接種」の外側に接するように四角形の枠を認識し、当該四角形のエリアをユーザエリアとして登録し、エリアIDを付与する(図6、図10(b)参照)。
【0060】
音声録音手段32は、記入終了時刻から終了判定時間Zの経過後の時刻を録音終了時刻とし(ステップS8)、録音終了指示を音声録音部38に出す(ステップS9)。音声録音部38は録音終了指示を受け、録音を終了する。電子ペン10は、ユーザエリア定義手段34により定義されたユーザエリアと、音声録音手段33により録音された音声情報とを対応付けて、情報記憶手段31に記憶する(ステップS10)。
【0061】
[本情報処理システムによる作用効果]
この情報処理システムによれば、利用者が、電子ペン10で記入帳票に記入した内容に対応する音声情報を参照したいとき、記入帳票上で、当該記入内容に対応するユーザエリアをタップすれば、録音した音声情報を参照することができ、参照時間の短縮と操作性の向上を図ることができる(図10(c)参照)。
【0062】
なお、上記実施形態は次のように構成させて変更することもできる。
【0063】
例えば、情報記憶手段31は、ユーザエリア定義情報(図6参照)とユーザエリアと音声情報との対応付け(図8参照)とを分けて記憶しているが、ユーザエリアのエリアIDに対して、録音した音声情報をまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。
【0064】
なお、本発明は、上記実施形態に限られない。
【0065】
上記の実施形態では、電子ペン10による記入開始時刻を開始点とし、記入終了時刻から所定の終了判定時間Z経過後の時刻を終了点とする録音情報が取得され、ユーザエリアと対応付けて記憶される。しかし、実際には、記入終了後の終了判定時間Zの間は電子ペン10による記入が行われていない期間となる。よって、ユーザが電子ペン10により記入を行っている間の音声を取得することを目的とするアプリケーションでは、ユーザによる記入実行中の音声のみを録音し保存することとしてもよい。具体的には、図11におけるステップS10において、音声録音手段33は、上記のようにして得られた録音情報のうち、終了判定時間Zに相当する期間の音声情報を削除し、ユーザによる記入開始時刻から記入終了時刻までの期間のみの音声情報を保存することとしてもよい。
【0066】
また、上記の実施形態では、電子ペン10による記入開始時刻を録音開始点とし、記入終了時刻から所定の終了判定時間Z経過後の時刻を録音終了点とするとしていたが、記入開始時刻を録音開始点とし、特定のストローク情報を検出した時刻を録音終了点としてもよい。具体的には、図11におけるステップS8において、音声録音手段33は、ピリオドや句点などの特定のストローク情報を検出した時刻を録音終了時刻としてもよい。もしくは、記入開始時刻を録音開始点とし、特定のストローク情報を検出した時刻から所定時間α経過後の時刻を録音終了点としてもよい。
【0067】
また、上記実施形態では、電子ペン10のクロック22は現在時刻を発信することとしているが(図2参照)、クロック22は、0から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ11は、ストロークの記入中に、クロック22が発信する経過時間(記入時間)を時間情報として取得し、その時間情報と、筆圧データと、X,Y座標データとを関連付け、記入情報として取得する。
【0068】
また、電子ペン10内に、ペン自体又はその所有者に関するプロパティ情報(ペン情報又はペン所有者情報)を保持しておき、端末装置25から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置25に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンID、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのIDなどが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス/電話番号、携帯電話番号などが挙げられる。
【0069】
また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン10のLED15を、赤外線を照射するLEDとし、カメラ16によって赤外線の反射量の差によって、電子ペン10でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン10のLED15を、ドットのインクを発光させる光を照射するものとし、カメラ16によってドットのインクが発光する波長の領域を検知することによって、電子ペン10でドットパターンを読み取るようにしてもよく、カメラ16によってドットパターンが読み取れれば、ドットのインクの種別やLED15の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー20における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、2次元コードパターンなどであってもよい。
【0070】
また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー20を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を1枚1枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。電子ペン10において、取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を1枚1枚区別することができる。この他、ペンIDを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、電子ペン10は、記憶した識別情報もしくは識別情報とペンIDに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙1枚1枚に異なるドットパターンを割り当てて、専用ペーパー20を印刷することも可能である。この場合、各専用ペーパー20に印刷されたドットパターンは、専用ペーパー20毎に異なるため、ドットパターンによって専用ペーパー20を1枚1枚識別し区別することができる。
【産業上の利用可能性】
【0071】
本発明は、ユーザエリアを自動的に定義し、録音した音声情報と対応付けるアプリケーションにおいて、対応付けられた音声情報を参照する際に、ペンタップで参照するアプリケーションに利用可能である。例えば育児の健康管理帳、議事録、通院記録、出産までの記録等に適用することができる。
【図面の簡単な説明】
【0072】
【図1】電子ペンの使用形態を模式的に示す図である。
【図2】電子ペンの構成を示すブロック図である。
【図3】専用ペーパーに印刷されたドットパターンによる情報の表現方法を説明する図である。
【図4】(a)は、ドットパターンを模式的に示し、(b)は、それに対応する情報を示す図である。
【図5】電子ペンの機能ブロック図である。
【図6】ユーザエリア定義情報のデータ構造を模式的に示す図である。
【図7】座標データを説明する図である。
【図8】ユーザエリアと音声データとの対応付けを模式的に示す図である。
【図9】専用アプリケーションのモジュール構成図である。
【図10】記入帳票への記入における電子ペンの使用形態の例を示す図である。
【図11】音声情報対応付け処理のフローチャートである。
【符号の説明】
【0073】
11…プロセッサ、12…メモリ、13…データ通信ユニット、14…バッテリー、15…LED、16…カメラ、17…レコーダ、18…圧力センサ、19…スピーカ、20…専用ペーパー(電子ペン用媒体)、22…クロック、25,25A,25B…端末装置、31…情報記憶手段、32…記入情報取得手段、33…音声録音手段、34…ユーザエリア定義手段、35…開始終了点特定手段、36…ユーザエリア特定手段、37…音声出力手段、38…音声録音部、39…音声出力部、50…専用アプリケーション
【技術分野】
【0001】
本発明は、電子ペンにより電子ペン用媒体に記入された記入情報を処理する技術に関する。
【背景技術】
【0002】
近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており(以下、本明細書では「電子ペン」と呼ぶ。)、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている(特許文献1参照)。アノトペンは、所定のドットパターンが印刷された専用紙(以下、「専用ペーパー」とも呼ぶ。)とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある(例えば、特許文献2)。
【0003】
一方、音声を録音することが可能なICメモリ音声録音再生装置において、音声データの区切りを示すマークを予め記録することにより、録音した音声の頭出しを行う手法が提案されている(特許文献3を参照)。
【0004】
また、特許文献4には、手書きのメモや注釈をその属性情報を含めて電子化することにより、手書き注釈の内容による検索、筆記時間、筆記者による検索を可能とする方法が記載されている。
【0005】
また、特許文献5には、紙などの媒体にユーザが手書きした内容と、音声情報、画像情報、動画情報などの各種情報とを手書き時刻及び提供時刻を用いて関連付ける方法が記載されている。
【0006】
【特許文献1】特表2003−511761号公報
【特許文献2】特開2004−153612号公報
【特許文献3】特開平5−334893号公報
【特許文献4】特開2006−31492号公報
【特許文献5】特開2007−133550号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
電子ペンでは、ユーザが書いたストロークの外枠に、ユーザエリアを自動的に割り当てられる。そして、そのユーザエリアに対して、音声データやイメージデータ等を対応付けることが出来る。しかし、特許文献3のようなレコーダに録音した音声情報を対応付ける場合、ユーザは手動で、または録音した時間をもとにファイル名を付け、そのファイル名により、頭出しを行っていた。
【0008】
そこで本発明は、電子ペン用記入媒体上で、録音した音声情報を参照することができ、参照時間の短縮と操作性の向上を図ることができる電子ペン及びそれに用いられるプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る電子ペンは、電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体に記入された情報を処理する電子ペンであって、前記電子ペン用記入媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記音声録音部により、音声を録音する音声録音手段と、前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段と、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段と、前記ユーザエリアと前記音声録音手段により録音された音声情報とを対応付けた対応付け情報を記憶する対応付け情報記憶手段と、を備えることを特徴とする。
【0010】
上記のように構成された電子ペンは、認識可能なドットパターンが印刷された電子ペン用記入媒体に記入された内容に対応するデジタルデータである記入情報を取得し、当該記入情報に基づいて処理を実行することができる。なお、本発明において記入情報は、電子ペン用記入媒体に記入された内容に対応するデジタルデータのみではなく、電子ペン用記入媒体へのタップに対応するデジタルデータを含むものとする。タップとは、電子ペン用記入媒体を電子ペンにより叩くことである。例えば、利用者が電子ペン用記入媒体に任意の文字列を記入する。ここで、文字列とは、数字、ひらがな、カタカナ、ギリシャ文字、JIS1、JIS2など任意の1文字以上の文字の集まりである。このとき、電子ペンは、記入した文字列に対応する座標情報、時間情報、筆圧情報等を記入情報として取得する。座標情報とは、電子ペン用記入媒体に印刷されたドットパターン上における文字列の位置座標を示すX/Y座標データ等である。時間情報とは、電子ペンによって記入した時刻や所定のエリアをタップした時刻を示す情報である。筆圧情報とは、圧力センサ18から得られる筆圧データ等である。電子ペンは、取得した記入情報に含まれる座標情報に基づいて、ユーザエリアを定義する。具体的には、記入内容の外側に接するように四角形の枠を認識し、当該四角形のエリアをユーザエリアとして登録し、エリアIDを付与する。また、電子ペンは、ユーザエリアIDを付与したユーザエリアとユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶する。電子ペンは、音声録音部が録音した音声情報を、定義したユーザエリアと対応付けて格納する。
【0011】
さらに、電子ペンは、音声を出力する音声出力部と、前記記入情報に含まれる、前記ユーザエリアへのタップに対応するタップ情報に基づいて、前記ユーザエリア定義情報を参照することで、タップしたユーザエリアを特定するユーザエリア特定手段と、前記音声出力部から、前記ユーザエリア特定手段により特定されたユーザエリアと対応付けて記憶されている前記音声情報を出力する音声出力手段とを備え、利用者は自身が記入した内容に対応付けた音声情報を確認することができる。例えば、利用者が記入した文字列に対応付けた音声を参照する場合、当該文字列をタップする。これにより当該文字列に定義されたユーザエリアをタップすることになる。このとき、電子ペンは、当該タップに対応する座標情報、時間情報等を記入情報(タップ情報)として取得する。取得したタップ情報に含まれる座標情報に基づいて、ユーザエリア定義情報を参照することにより、電子ペンは、タップされたユーザエリアを特定する。電子ペンは、対応付け情報を参照し、特定したユーザエリアと対応付けて格納されている音声情報を音声出力部から出力する。これにより、利用者は記入した文字列に対応付けた音声情報を確認することができる。
【0012】
前記音声録音手段は、前記記入情報に含まれる時間情報及び筆圧情報に基づき、前記電子ペン用記入媒体への記入開始時刻に録音を開始し、前記電子ペン用記入媒体への記入終了時刻から所定の終了判定時間を経過したときに、録音を終了する。
【0013】
また、前記音声録音手段は、前記記入情報取得手段が前記記入情報中に含まれる特定のストローク情報を検出したときに、録音を終了することとしてもよい。特定のストローク情報とは、例えばピリオドや句点などであり、OCR(Optical Character Recognition;光学文字認識)などで特定される。
【0014】
さらに、電子ペンは、前記タップ情報に基づいて、当該タップのストローク開始点及びストローク終了点を特定する開始終了点特定手段を備え、前記ユーザエリア特定手段は、前記ストローク開始点及び前記ストローク終了点の座標データに基づいて前記ユーザエリア定義情報を参照することで、当該ストローク開始点及び当該ストローク終了点の双方が含まれるユーザエリアを特定することができる。
【0015】
また、本発明に係るプログラムは、前記電子ペン用記入媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記音声録音部により、音声を録音する音声録音手段、前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段、前記ユーザエリアと前記音声録音手段により録音された音声情報とを対応付けた対応付け情報を記憶する対応付け情報記憶手段、として前記電子ペンを機能させることを特徴とするプログラム。
【0016】
上記プログラムを実行することで、上述の電子ペンを実現することができる。また、上述の電子ペンの各態様も同様に実現することができる。
【発明の効果】
【0017】
本発明に係る電子ペン及びそれに用いられるプログラムによれば、電子ペン用記入媒体上で、録音した音声情報を参照することができ、参照時間の短縮と操作性の向上を図ることができる。
【発明を実施するための最良の形態】
【0018】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【0019】
本実施形態の情報処理システムは、図1及び図2に示すように、電子ペン10と、専用ペーパー(電子ペン用媒体)20と、端末装置25とから構成される。ここで、図1は電子ペン10の使用形態を模式的に示す図であり、図2は電子ペン10の構成を示すブロック図である。専用ペーパー20には、ドットパターン(コード化パターン)が印刷されている。電子ペン10は、通常のインクペンと同様のペン先部17を備えており、利用者が通常のインクペンと同様にペン先部17によって専用ペーパー20上に文字などを書くと、電子ペン10は、ペン先部17の移動軌跡に沿って、専用ペーパー20に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー20におけるその局所位置の座標を算出し、その座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。
【0020】
なお、端末装置25は、ハードウェアとして、電子ペン10とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、スピーカ、ディスプレイ等で構成される、PCや携帯電話、或いは携帯端末である。
【0021】
[専用ペーパー]
まず、専用ペーパー20について説明する。専用ペーパー20は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
【0022】
ドットパターンは、記入帳票のほぼ全面に印刷されており、その上に枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、電子ペン10を使用して記入する。
【0023】
このように、ドットパターンを印刷した専用ペーパー上に所定の図案を印刷することにより、専用ペーパーを利用した記入用紙が生成できる。利用者が電子ペン10を使用して記入用紙に記入すれば、その電子データが自動的に取得される。
【0024】
[ドットパターン]
続いて、ドットパターンについて説明する。図3は、専用ペーパー20に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置が格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトされているかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー20上の位置座標が決定されるよう構成されている。
【0025】
図4(a)は、あるドットパターンの配列を示している。図4(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、専用ペーパー上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか)を保持している。図4(b)は、図4(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン10によって行われる。
【0026】
[電子ペン]
次に電子ペン10について説明する。図2に示すように、電子ペン10は、その内部にプロセッサ11、メモリ12、データ通信ユニット13、バッテリー14、LED15、カメラ16、レコーダ17、圧力センサ18、スピーカ(音声出力部)19及びクロック22を備える。また、電子ペン10は通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
【0027】
LED15は、電子ペン10のペン先付近に取り付けられており、専用ペーパー20上のペン先部17近傍(領域15)に向けて、赤外線を照明する(図1参照)。領域15は、ペン先部17が専用ペーパー20に接触する位置とはわずかにずれている。カメラ16は、LED15によって照明された領域15内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ11に供給する。ここで、カーボンは赤外線を吸収するため、LED15によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ16の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。たとえ撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ16による撮影領域は、図4(a)に示すような約2mm×約2mmの大きさを含む範囲であり、カメラ16の撮影は、毎秒50〜100回程度行われる。
【0028】
バッテリー14は電子ペン10内の各部品に電力を供給するためのものであり、例えば電子ペン10のキャップ(図示せず)の脱着により電子ペン10自体の電源のオン/オフを行うよう構成させてもよい。クロック22は、現在時刻(タイムスタンプ)を発信し、プロセッサ11に供給する。圧力センサ18は、利用者が電子ペン10により専用ペーパー20上に文字などを書く際にペン先部17に与えられる圧力、即ち筆圧を検出し、プロセッサ11へ供給する。
【0029】
プロセッサ11は、圧力センサ18から与えられる筆圧データに基づいて、LED15及びカメラ16のスイッチオン/オフの切換を行う。即ち、利用者が電子ペン10で専用ペーパー20上に文字などを書くと、ペン先部17には筆圧がかかり、圧力センサ18によって所定値以上の筆圧が検出されたときに、プロセッサ11は、利用者が記入を開始したと判定して、LED15及びカメラ16を作動させる。
【0030】
プロセッサ11は、利用者の記入が行われる間、カメラ16によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー20上でのX,Y座標(単に「座標データ」とも呼ぶ)を連続的に算出していく。すなわち、プロセッサ11は、カメラ16によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを算出する。そしてプロセッサ11は、現在時刻(タイムスタンプ)を発信するクロック22から時間情報を取得し、その時間情報と、筆圧データ及びX,Y座標データとを関連付け、これらの情報を記入情報として取得する。さらに、プロセッサ11は、記入情報に基づいて所定の処理を実行する。ここで、一枚の専用ペーパー(電子ペン用媒体)20内の6×6のドットパターンは、その専用ペーパー20内で重複することはないため、利用者が電子ペン10でユーザエリアに必要事項を記入したりタップしたりすると、その記入やタップが専用ペーパー20のどのユーザエリアに対応するものであるかを、座標データから特定することができる。
【0031】
メモリ12には、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとが対応付けて記憶されている。また、後述するユーザエリア定義手段により定義されたユーザエリアと、音声録音手段33により録音された音声情報とが対応付けて記憶されている。
【0032】
データ通信ユニット13は、プロセッサ11が所定の処理を行った結果を近傍にある端末装置25に記録、表示させるため、あるいは所定の処理を実行させるため、プロセッサ11により供給されるメモリ12内の所定のデータを端末装置25へ無線送信する。データ通信ユニット13による送信は、Bluetooth(登録商標)の無線送信によると好適である。なお、USBケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット13から端末装置25へデータ送信を行ってもよい。
【0033】
ここで電子ペン10が有する機能について図5を参照して説明する。図5は、電子ペン10の主要な構成を示す機能ブロック図である。電子ペン10は、取得したX,Y座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。
【0034】
図5に示すように、電子ペン10は、情報記憶手段31、記入情報取得手段32、音声録音手段33、ユーザエリア定義手段34、開始終了点特定手段35、ユーザエリア特定手段36、音声出力手段37、音声録音部38、音声出力部39、を備える。物理的には、情報記憶手段31は、ROMやRAMといったメモリによって構成され、記入情報取得手段32は、データ通信ユニット、プロセッサ等によって構成され、音声録音部38はレコーダ等で、音声出力部39はスピーカ等で、構成される。また、ユーザエリア定義手段34、開始終了点特定手段35、ユーザエリア特定手段36、音声出力手段37は、CPU等のプロセッサに組み込まれている。
【0035】
情報記憶手段31は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶するメモリである。すなわち、図6に示すように、情報記憶手段31には、ユーザエリアIDとユーザエリアの位置座標領域を表す座標データとを対応付けたユーザエリア定義情報が記憶されている。エリアID「A01」に関連して座標データ「(x1,y1),H1,W1」が記憶され、エリアID「A02」に関連して座標データ「(x2,y2),H2,W2」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図7に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点V(xn,yn)の座標、Y軸方向の高さ(Height)、X軸方向の幅(Width)を意味する。すなわち、情報記憶手段31は、本発明におけるユーザエリア定義情報記憶手段として機能する。また、以下に述べるように、情報記憶手段31は、対応付け情報記憶手段としても機能する。
【0036】
記入情報取得手段32は、電子ペン10による専用ペーパー(電子ペン用記入媒体)20への記入内容に対応する記入情報を取得する手段である。記入情報には、タップ、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。
【0037】
音声録音手段33は、記入情報に含まれる時間情報及び筆圧情報に基づき、電子ペン用記入媒体への記入開始時刻に録音開始指示を音声録音部38に出力し、音声の録音を開始する。また、音声録音手段33は、電子ペン用記入媒体への記入終了時刻から所定時間Z(以下、「終了判定時間」と呼ぶ。)を経過したときに、録音終了指示を音声録音部38に出力することにより、音声の録音を終了する。即ち、録音終了時刻は、記入終了時刻から終了判定時間Z経過後の時刻となる。よって、音声録音手段33により録音される音声情報は、記入開始時刻を開始点とし、記入終了時刻から終了判定時間Z経過後の時刻を終了点とする音声情報となる。
【0038】
なお、所定の終了判定時間Zは、ユーザによる記入が終了したと判断できる程度に長い無記入時間に設定される。例えば、複数の文字からなる文字列を記入する際に1つの文字の記入後、次の文字の記入開始までに要する時間が一般的に0.5〜1秒程度であるとするならば、所定時間Zはそれより十分に長い時間(例えば3秒)に設定される。
【0039】
また、音声録音手段33は、記入情報取得手段32が記入情報中に含まれる特定のストローク情報を検出したときに、録音終了指示を音声録音部38に出力することにより、音声の録音を終了することとしてもよい。この場合、音声録音手段33により録音される音声情報は、記入開始時刻を開始点とし、記入終了時刻(特定のストローク情報を検出した時刻)を終了点とする音声情報となる。もしくは、音声が途切れるのを防ぐため、特定のストローク情報を検出した時刻から所定時間α経過後を録音終了時刻としてもよい。その場合は、音声情報は、記入開始時刻を開始点とし、特定のストローク情報を検出した時刻から所定時間α経過後の時刻を終了点とする音声情報となる。
【0040】
ユーザエリア定義手段34は、記入情報取得手段32が取得した記入情報に含まれる座標情報に基づいて記入内容に対応するユーザエリアを自動的に定義する。具体的には、記入内容の外側に接するように四角形の枠を認識し、当該四角形のエリアをユーザエリアとして登録し、エリアIDを付与する。ユーザエリアとして登録された座標データとエリアIDはユーザエリア定義情報として情報記憶手段31に記憶される。
【0041】
電子ペン10は、ユーザエリア定義手段34により定義されたユーザエリアと、音声録音手段33により録音された音声情報とを対応付けて、情報記憶手段31に記憶する。
【0042】
開始終了点特定手段35は、記入情報取得手段32が取得した記入情報に含まれるストローク開始点及びストローク終了点を特定する。具体的には、開始終了点特定手段35は、ストローク開始点及びストローク終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。
【0043】
ユーザエリア特定手段36は、記入情報取得手段32が取得した記入情報(タップ情報)に含まれる座標データに基づいて、情報記憶手段31が記憶したユーザエリア定義情報(図6参照)を参照することにより、対応するユーザエリアを特定する。このとき、ユーザエリア特定手段36は、1つのストロークのストローク開始点及びストローク終了点の双方が含まれるユーザエリアのみを特定するようにするとよい。そのような設定にすれば、利用者が記入帳票に記入したストロークのストローク開始点及びストローク終了点のいずれかがユーザエリアの範囲外にある場合には、利用者がそのユーザエリアをタップしようと意図したものではないと判定することができる。また、ユーザエリア特定手段36は、開始終了点特定手段35によって特定されたストローク開始点及びストローク終了点における時間及び/又は両点間の移動距離に基づいて、利用者によりユーザエリアに記入されたストロークがタップであるか否かを判定する。ユーザエリア特定手段36は、記入情報及びユーザエリア定義情報に基づいて、電子ペン10によりタップされたユーザエリアを特定する。
【0044】
音声出力手段37は、前記ユーザエリア特定手段により特定されたユーザエリアと対応付けて、情報記憶手段31に格納されている音声情報を音声出力部39から出力させる。
【0045】
電子ペン10は、専用アプリケーションがインストールされることにより、上述の各手段が構成される。
【0046】
[専用アプリケーション]
次に、専用アプリケーション50について図9を参照して説明する。図9は、専用アプリケーション50のモジュール構成を示す。専用アプリケーション50は、電子ペン10が専用ペーパー20に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め電子ペン10にインストールされている。
【0047】
専用アプリケーションは、原則として専用ペーパー20に対応付けられている。つまり、専用ペーパー20の種類が異なれば、その種類に応じて各専用ペーパー20に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー20と専用アプリケーションの対応は必ずしも1対1である必要はなく、複数種類の専用ペーパー20に1つの専用アプリケーションを対応付けてデータを処理させてもよい。また、1種類の専用ペーパー20に複数の専用アプリケーションを対応付けてデータを処理させてもよい。
【0048】
図9に示すように、専用アプリケーション50は、情報記憶モジュール101、記入情報取得モジュール102、音声録音モジュール103、ユーザエリア定義モジュール104、開始終了点特定モジュール105、ユーザエリア特定モジュール106、音声出力モジュール107を有する。
【0049】
情報記憶モジュール101は、情報記憶手段31に対して、図6に示すように、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶させるモジュールである。また、情報記憶モジュール101は、情報記憶手段31に対して、図8に示すように、ユーザエリア定義手段34により定義されたユーザエリアと音声録音手段33により録音された音声情報を対応付けて情報記憶手段31に記憶させる機能を有する。
【0050】
記入情報取得モジュール102は、記入情報取得手段32を用いて、専用ペーパー20への電子ペン10による記入に対応する記入情報(タップ情報を含む)を取得する機能を有する。
【0051】
音声録音モジュール103は、音声録音手段33を用いて、電子ペン10による記入に対応する音声を録音する機能を有する。
【0052】
ユーザエリア定義モジュール104は、記入情報取得モジュール102の実行によって取得された記入情報に含まれる座標情報に基づいて記入内容に対応するユーザエリアを自動的に定義する機能を有する。
【0053】
開始終了点特定モジュール105は、記入情報(タップ情報)に含まれるストロークのストローク開始点及びストローク終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。
【0054】
ユーザエリア特定モジュール106は、記入情報(タップ情報)に含まれる座標データに基づいて、図6に示すユーザエリア定義情報を参照することで、タップ情報に対応するユーザエリアを特定する機能を有する。このとき、ユーザエリア特定モジュール106は、タップ情報に基づいて、電子ペン10によりタップされたユーザエリアを特定するものであって、ストローク開始点及びストローク終了点の双方が含まれるユーザエリアを特定するようにするとよい。
【0055】
音声出力モジュール107は、ユーザエリア特定モジュール106の実行によって特定されたユーザエリアと対応付けて、情報記憶モジュール101によって情報記憶手段31に格納されている音声情報を音声出力部から出力させる機能を有する。
【0056】
[本情報処理システムによる音声情報対応付け処理フロー]
次に、本実施形態の情報処理システムにより行われる処理フローについて図10及び図11を参照して説明する。図10は、本実施形態における記入帳票上の電子ペン10の使用形態を示す図である。図11は、電子ペン10における音声情報対応付け処理のフローチャートである。
【0057】
利用者は、電子ペン10により、記入帳票に任意の記入を行う。例えば、記入帳票を育児の健康管理帳として使用する場合、図10(a)のように、記入帳票に「5月10日 予防接種」の文字列を記入する。すると、電子ペン10は、記入に対応する座標情報、時間情報及び筆圧情報等を記入情報として取得する。電子ペン10の記入情報取得手段32は、取得した時間情報及び筆圧情報より記入開始時刻を取得する(ステップS1)。音声録音手段32は記入開始時刻を取得すると、録音開始指示を音声録音部38に出す(ステップS2)。音声録音部38は録音開始指示を受け、録音を開始する(ステップS3)。
【0058】
音声録音手段32は、次の読み取りデータがあるか否かを判定することにより、録音を終了するか否かを判定する(ステップS4)。音声録音手段32により次の読み取りデータがあると判定された場合(ステップS4;Yes)、録音を続行する。一方、音声録音手段32により次の読み取りデータがないと判定された場合(ステップS4;No)、音声録音手段32により次の読み取りデータがないと判定された時刻、すなわち、記入終了時刻からの経過時間をカウントする(ステップS5)。音声録音手段32は、記入終了時刻からの経過時間を「T」とし、経過時間Tがアプリケーションで設定した終了判定時間Zよりも大きいか否かを判定する(ステップS6)。
【0059】
経過時間Tが終了判定時間Zよりも小さいと判定された場合(ステップS6;No)、録音を続行する。経過時間Tが終了判定時間Zよりも大きいと判定された場合(ステップS6;Yes)、ユーザエリア定義手段34により、記入情報に含まれる座標情報に基づいて記入内容に対応するユーザエリアを定義する(ステップS7)。具体的には、記入内容である「5月10日 予防接種」の外側に接するように四角形の枠を認識し、当該四角形のエリアをユーザエリアとして登録し、エリアIDを付与する(図6、図10(b)参照)。
【0060】
音声録音手段32は、記入終了時刻から終了判定時間Zの経過後の時刻を録音終了時刻とし(ステップS8)、録音終了指示を音声録音部38に出す(ステップS9)。音声録音部38は録音終了指示を受け、録音を終了する。電子ペン10は、ユーザエリア定義手段34により定義されたユーザエリアと、音声録音手段33により録音された音声情報とを対応付けて、情報記憶手段31に記憶する(ステップS10)。
【0061】
[本情報処理システムによる作用効果]
この情報処理システムによれば、利用者が、電子ペン10で記入帳票に記入した内容に対応する音声情報を参照したいとき、記入帳票上で、当該記入内容に対応するユーザエリアをタップすれば、録音した音声情報を参照することができ、参照時間の短縮と操作性の向上を図ることができる(図10(c)参照)。
【0062】
なお、上記実施形態は次のように構成させて変更することもできる。
【0063】
例えば、情報記憶手段31は、ユーザエリア定義情報(図6参照)とユーザエリアと音声情報との対応付け(図8参照)とを分けて記憶しているが、ユーザエリアのエリアIDに対して、録音した音声情報をまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。
【0064】
なお、本発明は、上記実施形態に限られない。
【0065】
上記の実施形態では、電子ペン10による記入開始時刻を開始点とし、記入終了時刻から所定の終了判定時間Z経過後の時刻を終了点とする録音情報が取得され、ユーザエリアと対応付けて記憶される。しかし、実際には、記入終了後の終了判定時間Zの間は電子ペン10による記入が行われていない期間となる。よって、ユーザが電子ペン10により記入を行っている間の音声を取得することを目的とするアプリケーションでは、ユーザによる記入実行中の音声のみを録音し保存することとしてもよい。具体的には、図11におけるステップS10において、音声録音手段33は、上記のようにして得られた録音情報のうち、終了判定時間Zに相当する期間の音声情報を削除し、ユーザによる記入開始時刻から記入終了時刻までの期間のみの音声情報を保存することとしてもよい。
【0066】
また、上記の実施形態では、電子ペン10による記入開始時刻を録音開始点とし、記入終了時刻から所定の終了判定時間Z経過後の時刻を録音終了点とするとしていたが、記入開始時刻を録音開始点とし、特定のストローク情報を検出した時刻を録音終了点としてもよい。具体的には、図11におけるステップS8において、音声録音手段33は、ピリオドや句点などの特定のストローク情報を検出した時刻を録音終了時刻としてもよい。もしくは、記入開始時刻を録音開始点とし、特定のストローク情報を検出した時刻から所定時間α経過後の時刻を録音終了点としてもよい。
【0067】
また、上記実施形態では、電子ペン10のクロック22は現在時刻を発信することとしているが(図2参照)、クロック22は、0から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ11は、ストロークの記入中に、クロック22が発信する経過時間(記入時間)を時間情報として取得し、その時間情報と、筆圧データと、X,Y座標データとを関連付け、記入情報として取得する。
【0068】
また、電子ペン10内に、ペン自体又はその所有者に関するプロパティ情報(ペン情報又はペン所有者情報)を保持しておき、端末装置25から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置25に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンID、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのIDなどが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス/電話番号、携帯電話番号などが挙げられる。
【0069】
また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン10のLED15を、赤外線を照射するLEDとし、カメラ16によって赤外線の反射量の差によって、電子ペン10でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン10のLED15を、ドットのインクを発光させる光を照射するものとし、カメラ16によってドットのインクが発光する波長の領域を検知することによって、電子ペン10でドットパターンを読み取るようにしてもよく、カメラ16によってドットパターンが読み取れれば、ドットのインクの種別やLED15の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー20における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、2次元コードパターンなどであってもよい。
【0070】
また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー20を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を1枚1枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。電子ペン10において、取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を1枚1枚区別することができる。この他、ペンIDを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、電子ペン10は、記憶した識別情報もしくは識別情報とペンIDに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙1枚1枚に異なるドットパターンを割り当てて、専用ペーパー20を印刷することも可能である。この場合、各専用ペーパー20に印刷されたドットパターンは、専用ペーパー20毎に異なるため、ドットパターンによって専用ペーパー20を1枚1枚識別し区別することができる。
【産業上の利用可能性】
【0071】
本発明は、ユーザエリアを自動的に定義し、録音した音声情報と対応付けるアプリケーションにおいて、対応付けられた音声情報を参照する際に、ペンタップで参照するアプリケーションに利用可能である。例えば育児の健康管理帳、議事録、通院記録、出産までの記録等に適用することができる。
【図面の簡単な説明】
【0072】
【図1】電子ペンの使用形態を模式的に示す図である。
【図2】電子ペンの構成を示すブロック図である。
【図3】専用ペーパーに印刷されたドットパターンによる情報の表現方法を説明する図である。
【図4】(a)は、ドットパターンを模式的に示し、(b)は、それに対応する情報を示す図である。
【図5】電子ペンの機能ブロック図である。
【図6】ユーザエリア定義情報のデータ構造を模式的に示す図である。
【図7】座標データを説明する図である。
【図8】ユーザエリアと音声データとの対応付けを模式的に示す図である。
【図9】専用アプリケーションのモジュール構成図である。
【図10】記入帳票への記入における電子ペンの使用形態の例を示す図である。
【図11】音声情報対応付け処理のフローチャートである。
【符号の説明】
【0073】
11…プロセッサ、12…メモリ、13…データ通信ユニット、14…バッテリー、15…LED、16…カメラ、17…レコーダ、18…圧力センサ、19…スピーカ、20…専用ペーパー(電子ペン用媒体)、22…クロック、25,25A,25B…端末装置、31…情報記憶手段、32…記入情報取得手段、33…音声録音手段、34…ユーザエリア定義手段、35…開始終了点特定手段、36…ユーザエリア特定手段、37…音声出力手段、38…音声録音部、39…音声出力部、50…専用アプリケーション
【特許請求の範囲】
【請求項1】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体に記入された情報を処理する電子ペンであって、
音声を録音する音声録音部と、
前記電子ペン用記入媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
前記音声録音部により、音声を録音する音声録音手段と、
前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段と、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段と、
前記ユーザエリアと前記音声録音手段により録音された音声情報とを対応付けた対応付け情報を記憶する対応付け情報記憶手段と、を備えることを特徴とする電子ペン。
【請求項2】
音声を出力する音声出力部と、
前記記入情報に含まれる、前記ユーザエリアへのタップに対応するタップ情報に基づいて、前記ユーザエリア定義情報を参照することで、タップしたユーザエリアを特定するユーザエリア特定手段と、前記音声出力部から、前記ユーザエリア特定手段により特定されたユーザエリアと対応付けて記憶されている前記音声情報を出力する音声出力手段と、を備えることを特徴とする請求項1に記載の電子ペン。
【請求項3】
前記音声録音手段は、前記記入情報に含まれる時間情報及び筆圧情報に基づき、前記電子ペン用記入媒体への記入開始時刻に録音を開始し、前記電子ペン用記入媒体への記入終了時刻から所定の終了判定時間を経過したときに、録音を終了することを特徴とする請求項1又は2に記載の電子ペン。
【請求項4】
前記音声録音手段は、前記記入情報取得手段が前記記入情報中に含まれる特定のストローク情報を検出したときに、録音を終了することを特徴とする請求項1又は2に記載の電子ペン。
【請求項5】
前記タップ情報に基づいて、当該タップのストローク開始点及びストローク終了点を特定する開始終了点特定手段をさらに備え、
前記ユーザエリア特定手段は、前記ストローク開始点及び前記ストローク終了点の座標データに基づいて前記ユーザエリア定義情報を参照することで、当該ストローク開始点及び当該ストローク終了点の双方が含まれるユーザエリアを特定することを特徴とする請求項1乃至4のいずれか一項に記載の電子ペン。
【請求項6】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、
前記電子ペン用記入媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
前記音声録音部により、音声を録音する音声録音手段、
前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段、
前記ユーザエリアと前記音声録音手段により録音された音声情報とを対応付けた対応付け情報を記憶する対応付け情報記憶手段、として前記電子ペンを機能させることを特徴とするプログラム。
【請求項1】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体に記入された情報を処理する電子ペンであって、
音声を録音する音声録音部と、
前記電子ペン用記入媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
前記音声録音部により、音声を録音する音声録音手段と、
前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段と、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段と、
前記ユーザエリアと前記音声録音手段により録音された音声情報とを対応付けた対応付け情報を記憶する対応付け情報記憶手段と、を備えることを特徴とする電子ペン。
【請求項2】
音声を出力する音声出力部と、
前記記入情報に含まれる、前記ユーザエリアへのタップに対応するタップ情報に基づいて、前記ユーザエリア定義情報を参照することで、タップしたユーザエリアを特定するユーザエリア特定手段と、前記音声出力部から、前記ユーザエリア特定手段により特定されたユーザエリアと対応付けて記憶されている前記音声情報を出力する音声出力手段と、を備えることを特徴とする請求項1に記載の電子ペン。
【請求項3】
前記音声録音手段は、前記記入情報に含まれる時間情報及び筆圧情報に基づき、前記電子ペン用記入媒体への記入開始時刻に録音を開始し、前記電子ペン用記入媒体への記入終了時刻から所定の終了判定時間を経過したときに、録音を終了することを特徴とする請求項1又は2に記載の電子ペン。
【請求項4】
前記音声録音手段は、前記記入情報取得手段が前記記入情報中に含まれる特定のストローク情報を検出したときに、録音を終了することを特徴とする請求項1又は2に記載の電子ペン。
【請求項5】
前記タップ情報に基づいて、当該タップのストローク開始点及びストローク終了点を特定する開始終了点特定手段をさらに備え、
前記ユーザエリア特定手段は、前記ストローク開始点及び前記ストローク終了点の座標データに基づいて前記ユーザエリア定義情報を参照することで、当該ストローク開始点及び当該ストローク終了点の双方が含まれるユーザエリアを特定することを特徴とする請求項1乃至4のいずれか一項に記載の電子ペン。
【請求項6】
電子ペンにより認識可能なコード化パターンが印刷された電子ペン用記入媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、
前記電子ペン用記入媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
前記音声録音部により、音声を録音する音声録音手段、
前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段、
前記ユーザエリアと前記音声録音手段により録音された音声情報とを対応付けた対応付け情報を記憶する対応付け情報記憶手段、として前記電子ペンを機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2009−187193(P2009−187193A)
【公開日】平成21年8月20日(2009.8.20)
【国際特許分類】
【出願番号】特願2008−25210(P2008−25210)
【出願日】平成20年2月5日(2008.2.5)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
【公開日】平成21年8月20日(2009.8.20)
【国際特許分類】
【出願日】平成20年2月5日(2008.2.5)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
[ Back to top ]