説明

位置読み取り装置、筆記具、筆跡読み取りシステムおよびプログラム

【課題】筆記面から筆記具が意図せずに離れた場合等であっても、より良好な筆跡を得られる位置読み取り装置等を提供する。
【解決手段】筆記具10が筆記面21aに接触しつつ移動するときに発生する摩擦音を取得するために予め定められた位置に配されるマイク22a,22b,22cと、マイク22a,22b,22cにより摩擦音が取得される時間に基づいて、筆記具10と筆記面21aとが接触する位置である接触位置を導出する接触位置導出手段と、筆記具10が筆記面21aから離間することにより摩擦音が消失する摩擦音消失期間が発生したときに、摩擦音消失期間における接触位置を補間するか否かを決定し、補間すると決定した場合に接触位置導出手段により導出された筆記具10の接触位置を補間する位置補間手段と、を備えることを特徴とする位置読み取り装置20。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置読み取り装置、筆記具、筆跡読み取りシステム、プログラムに関する。
【背景技術】
【0002】
従来より黒板やホワイトボードなどに筆記具により描かれた筆跡を検出し、記載内容を記録用紙等に出力する電子黒板等が知られている。
【0003】
特許文献1には、加速度センサは筆記部の運動成分を検出し、筆記算出部は加速度センサが検出した筆記部の運動成分を基に筆記部の移動方向及び移動距離を検出して筆記部の筆跡を算出し、基準点検出部は被筆記面を調べて筆跡の曲率が急激に変化したか否か及び既に筆記した筆跡と筆記部が接触したか否かを検出し、筆跡補正部は筆跡算出部が算出した筆記部の筆跡を基準点検出部が検出した筆跡が急激に変化した点及び筆記部の筆跡の接触した点を補正基準点として補正するペン型入力装置が開示されている。
また特許文献2には、音波発信部と赤外光発信部とを有する可動部と、可動部からの赤外光を受光すると共に可動部からの音波を受波する位置固定の受信部と、可動部からの赤外光を受光すると共に可動部からの音波を受波する受信部とを有し、可動部の位置を検出する電子ペンの位置検出装置であって、所定の位置に固定され、補正用音波を発信する補正用音波発信部を備え、受信部および受信部の一方または両方は、補正用音波発信部からの補正用音波を受波し、補正用音波の伝播時間により、可動部から受波した音波の伝播時間を補正する位置検出装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平10−301702号公報
【特許文献2】特開2002−333314号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、筆記面から筆記具が意図せずに離れた場合等であっても、より良好な筆跡を得ることを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、筆記具が筆記面に接触しつつ移動するときに発生する摩擦音を取得するために予め定められた位置に配される複数の摩擦音取得手段と、前記摩擦音取得手段により前記摩擦音が取得される時間に基づいて、前記筆記具と前記筆記面とが接触する位置である接触位置を導出する接触位置導出手段と、前記筆記具が前記筆記面から離間することにより前記摩擦音が消失する摩擦音消失期間が発生したときに、当該摩擦音消失期間における前記接触位置を補間するか否かを決定し、補間すると決定した場合に前記接触位置導出手段により導出された当該筆記具の接触位置を補間する位置補間手段と、を備えることを特徴とする位置読み取り装置である。
【0007】
請求項2に記載の発明は、前記摩擦音取得手段は、3箇所以上に配され、前記接触位置導出手段は、当該接触位置導出手段により前記摩擦音が取得される時間差に基づいて、前記接触位置を導出することを特徴とする1または2に記載の位置読み取り装置である。
請求項3に記載の発明は、前記摩擦音の予め定められた特徴点から前記筆記具により前記筆記面に描かれる筆跡の色彩を判定する色彩判定手段を更に備えることを特徴とする請求項1乃至3のいずれか1項に記載の位置読み取り装置である。
請求項4に記載の発明は、前記位置補間手段は、前記摩擦音消失期間の前記摩擦音が消失した時間と予め定められた第1の閾値、および前記摩擦音消失期間の前後における前記接触位置の距離と予め定められた第2の閾値とを比較することで前記接触位置を補間することを決定することを特徴とする請求項1に記載の位置読み取り装置である。
【0008】
請求項5に記載の発明は、筆記面と接触しつつ移動することで予め定められた色彩を有する筆跡を描く接触部を備え、前記接触部は、前記筆記面と接触しつつ移動するときに筆跡が有する色彩に応じて予め定められた特徴点を有する摩擦音を発生することで、当該摩擦音により前記筆記面における当該接触部の位置に関する情報および筆跡の色彩に関する情報を発信することを特徴とする筆記具である。
【0009】
請求項6に記載の発明は、筆記面と接触しつつ移動することで予め定められた色彩を有する筆跡を描くとともに、当該色彩毎に予め定められた特徴点を有する摩擦音を発生する筆記具と、前記摩擦音を取得するために予め定められた位置に配される複数の摩擦音取得手段と、前記摩擦音取得手段により前記摩擦音が取得される時間に基づいて、前記筆記具と前記筆記面とが接触する位置である接触位置を導出する接触位置導出手段と、前記摩擦音が有する特徴点により前記筆記具により前記筆記面に描かれる筆跡が有する色彩を判定する色彩判定手段と、を備えることを特徴とする筆跡読み取りシステムである。
【0010】
請求項7に記載の発明は、前記筆記具が前記筆記面から離間することにより前記摩擦音が消失する摩擦音消失期間が発生したときに、当該摩擦音消失期間における前記接触位置を補間するか否かを決定する位置補間手段を更に備えることを特徴とする請求項6に記載の筆跡読み取りシステムである。
【0011】
請求項8に記載の発明は、前記筆記面に描かれた筆跡を当該筆跡が有する色彩にて表示する表示手段をさらに備えることを特徴とする請求項6または7に記載の筆跡読み取りシステムである。
【0012】
請求項9に記載の発明は、コンピュータに、筆記具が筆記面と接触しつつ移動するときに発生する摩擦音が取得された時間に基づいて、当該筆記面における当該筆記具の位置を導出する機能と、前記筆記具が前記筆記面から離間することにより前記摩擦音が消失する摩擦音消失期間が発生したときに、当該摩擦音消失期間における前記筆記具の位置を補間するか否かを決定する機能と、補間すると決定した場合に前記筆記具の位置を補間する機能と、を実現させるプログラムである。
【0013】
請求項10に記載の発明は、前記摩擦音の予め定められた特徴点から前記筆記具により前記筆記面に描かれる筆跡の色彩を判定する機能を更に備えることを特徴とする請求項9に記載のプログラムである。
【発明の効果】
【0014】
請求項1の発明によれば、本発明を採用しない場合に比べ、筆記面から筆記具が意図せずに離れた場合等であっても、より良好な筆跡を得られる位置読み取り装置を提供できる。
請求項2の発明によれば、本発明を採用しない場合に比べ、計測される筆記具の位置精度がより向上する。
請求項3の発明によれば、本発明を採用しない場合に比べ、筆記具の位置とともに筆跡の色彩についても導出することができる。
請求項4の発明によれば、本発明を採用しない場合に比べ、摩擦音消失期間がかすれによるものかをより精度よく判定することができる。
請求項5の発明によれば、本発明を採用しない場合に比べ、簡単な構成で筆記具の位置と筆跡の色彩の情報を発信できる筆記具を提供できる。
請求項6の発明によれば、本発明を採用しない場合に比べ、筆記面から筆記具が意図せずに離れた場合等であっても、より良好な筆跡を得られる筆跡読み取りシステムを提供できる。
請求項7の発明によれば、かすれが生じてもその部分を補間することができる。
請求項8の発明によれば、筆跡を表示手段において確認することができる。
請求項9の発明によれば、本発明を採用しない場合に比べ、筆記面から筆記具が意図せずに離れた場合等であっても、より良好な筆跡を得られる機能をコンピュータにより実現できる。
請求項10の発明によれば、本発明を採用しない場合に比べ、筆記具の位置とともに筆跡の色彩についても導出する機能をコンピュータにより実現できる。
【図面の簡単な説明】
【0015】
【図1】本実施の形態の筆跡読み取りシステムの概要を示す図である。
【図2】筆記具について説明した断面図である。
【図3】演算装置の構成を説明した図である。
【図4】位置読み取り装置の動作を説明したフローチャートである。
【図5】音速のキャリブレーションを手動で行なう場合の方法について説明した図である。
【図6】(a)〜(b)は、複数のマイクロフォンを使用して筆記具の位置を求める方法について説明した図である。
【図7】(a)は、筆跡のかすれが生じた部分について説明した図である。(b)は、かすれが生じたときのマイクロフォンで取得された摩擦音の波形を示した図である。
【図8】位置補間部が摩擦音消失期間を検知し、この期間がかすれが生じている期間であると判定する方法、および接触位置を補充する方法について説明したフローチャートである。
【図9】FFT部において高速フーリエ変換が行なわれた後のパワースペクトルの一例を示した図である。
【発明を実施するための形態】
【0016】
<筆跡読み取りシステムの全体構成の説明>
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本実施の形態の筆跡読み取りシステム1の概要を示す図である。
図1に示す筆跡読み取りシステム1は、筆記を行なうための筆記具10と、筆記具10の位置を読み取る位置読み取り装置20と、位置読み取り装置20により読み取られた筆記具の位置から筆記具10の筆跡を導出して表示する表示装置30とを備える。
【0017】
<筆記具の説明>
図2は、筆記具10について説明した断面図である。
図2に示す筆記具10は、所謂フェルトペンであり、予め定められた色彩を有するインクを染みこませて貯留する中綿部11と、筆記面と接触する接触部の一例であるペン先部12と、中綿部11とペン先部12を収容するペン本体13と、筆記具10を使用しないときにペン先部12の乾燥を抑制するためのキャップ14とを備える。本実施の形態の場合、ペン先部12は、フェルトからなり、中綿部11に貯留されたインクは、このフェルトによる毛細管現象により吸い出され、必要量に応じたインクがペン先部12から供給される。そしてペン先部12が、筆記面と接触しつつ移動することで予め定められた色彩を有する筆跡が筆記面上に描かれる。
【0018】
詳しくは、後述するが、ペン先部12は、筆記面と接触しつつ移動するときに筆跡が有する色彩に応じて予め定められた特徴点を有する摩擦音を発生する。そしてこの摩擦音により筆記面におけるペン先部12の位置に関する情報および筆跡の色彩に関する情報を発信する。つまり筆記具10により筆記面に筆跡を描く際に、筆記具10は、筆記具10の有する色毎に異なる摩擦音を発生する。これは、例えば、ペン先部12の材質、形状、硬度等を変化させることで実現することができる。
【0019】
<表示装置の説明>
図1に戻り、表示装置30は、例えばノート型のPC(Personal Computer)であり、位置読み取り装置20により読み取られた筆記具の位置から筆記具10の筆跡を導出する。そして液晶ディスプレイ等の表示部にこの筆跡が有する色彩を付けて筆記具10の筆跡を表示する。つまり表示装置30は、筆記面に描かれた筆跡を筆跡が有する色彩にて表示する表示手段として機能する。なお図1において位置読み取り装置20と表示装置30とは有線にて接続されているが、これに限られるものではなく、Wi−Fi(Wireless Fidelity)、Bluetooth、ZigBee、UWB(Ultra Wideband)等の既存の方式による無線通信回線を介して接続されていてもよい。
【0020】
<位置読み取り装置の構成の説明>
位置読み取り装置20は、筆記面21aを有する被筆記手段としての筆記板21と、筆記具10が筆記面21aに接触しつつ移動するときに発生する摩擦音を取得するために予め定められた位置に配される摩擦音取得手段の一例としてのマイクロフォン22a,22b,22cと、マイクロフォン22a,22b,22cにより取得した摩擦音から筆記面21a上の筆記具10の位置および筆跡の色彩を導出する演算装置23とを備える。
【0021】
筆記板21は、本実施の形態では、例えば、黒板やホワイトボードである。ただし特に限定されるものではなく、タブレット、紙などでもよい。そして筆記具10により筆跡を描くことができる筆記面21aを有する。筆記面21aは、平面状であり、本実施の形態では、図中横方向に伸びる辺を長辺とする矩形形状をなすが、この形状については、特に限定されることはない。
【0022】
マイクロフォン22a,22b,22cは、各々別々の場所に配される。本実施の形態では、マイクロフォン22a,22bは、筆記面21aの図中上方側の長辺の右端および左端にそれぞれ配され、マイクロフォン22cは、筆記面21aの図中左側の短辺の下端に配される。そして筆記具10により筆記面21a上で筆跡が描かれる際の摩擦音を収集し、収集した摩擦音をアナログの電気信号であるアナログ信号に変換して演算装置23に送出する。マイクロフォン22a,22b,22cにより収集される摩擦音は、人が聴覚として感知することができる可聴音であってもよいが、本実施の形態では、例えば、超音波を使用する。マイクロフォン22a,22b,22cの種類としては、ダイナミック型、コンデンサ型、エレクトレットコンデンサ型、MEMS(Micro Electro Mechanical Systems)型等、既存の種々のものを用いてよい。
【0023】
図3は、演算装置23の構成を説明した図である。
図3における演算装置23は、音速のキャリブレーションを行なう音速キャリブレーション部231と、マイクロフォン22a,22b,22cにより取得されアナログ信号として演算装置23に送られる摩擦音の情報をデジタル信号に変換するA/D(Analog-to-Digital)コンバータ232と、マイクロフォン22a,22b,22cにより摩擦音が取得される時間に基づいて筆記具10と筆記面21aとが接触する位置である接触位置を導出する接触位置導出手段の一例である接触位置導出部233と、筆記具10が筆記面10aから離間することにより摩擦音が消失する摩擦音消失期間が発生したときに、摩擦音消失期間における接触位置を補間するか否かを決定し、補間すると決定した場合に接触位置導出部233により導出された筆記具10の接触位置を補間する位置補間手段の一例としての位置補間部234と、A/Dコンバータ231によりデジタル信号に変換された摩擦音の情報を高速フーリエ変換するFFT(Fast Fourier Transform:高速フーリエ変換)部235と、摩擦音の予め定められた特徴点から筆記具10により筆記面10aに描かれる筆跡の色彩を判定する色彩判定手段の一例としての色判定部236と、この特徴点を記憶する記憶部237と、筆記具10の位置の情報および筆跡が有する色彩の情報を出力する筆跡情報出力手段の一例としての出力部238とを備える。
【0024】
<位置読み取り装置の動作の説明>
また図4は、位置読み取り装置20の動作を説明したフローチャートである。
以下、図2〜図4に基づき、位置読み取り装置20の動作の概略を説明する。
まず位置読み取り装置20の電源がONになると、音速キャリブレーション部231により音速のキャリブレーションを行なう(ステップ101)。そして筆記具10により筆記面21aに筆跡が描かれるとその際に発生する摩擦音をマイクロフォン22a,22b,22cが捉える。このとき摩擦音の情報は、マイクロフォン22a,22b,22cによりアナログ信号に変換され演算装置23に送られる(ステップ102)。そして演算装置23のA/Dコンバータ231により摩擦音の情報はA/D変換され、デジタル信号となる(ステップ103)。デジタル信号に変換された摩擦音の情報は、接触位置導出部233とFFT部235の双方に送られる。接触位置導出部233では、マイクロフォン22a,22b,22cにより摩擦音が取得される時間差に基づいて、筆記具10と筆記面21aとが接触する位置である接触位置を導出することで筆記具10の位置を求める(ステップ104)。また位置補間部234では、筆記具10が筆記面10aから離間することにより摩擦音が消失する摩擦音消失期間が発生したときに、前記摩擦音消失期間の摩擦音が消失した時間と予め定められた第1の閾値、および摩擦音消失期間の前後における接触位置の距離と予め定められた第2の閾値とを比較することで接触位置を補間することを決定する。そして補間すると決定した場合に接触位置導出部233により導出された筆記具10の接触位置を補間する(ステップ105)。
【0025】
一方、FFT部235に送られた摩擦音の情報は、FFT部235において高速フーリエ変換が行なわれ、パワースペクトルが導出される(ステップ106)。そして色判定部236では、パワースペクトル中の予め定められたサンプリング点においてパターンマッチングを行なう(ステップ107)。この際、パターンマッチングを行なうためのパワースペクトル中の特徴点の情報については、記憶部237に格納されており、色判定部236は、記憶部237からこの情報を取得する。そしてこのパターンマッチングにより色判定部236は、筆記具10により筆記面10aに描かれる筆跡の色彩を判定する(ステップ108)。
【0026】
そして筆跡が有する色彩の情報は、筆記具10と筆記面21aとの接触位置の情報とともに出力部238により出力され、表示装置30に送られる(ステップ109)。
【0027】
次に上述したステップ101における音速のキャリブレーションを行なう方法、ステップ104における筆記具10の位置を求める方法、ステップ105における筆記具10の位置を補間する方法、およびステップ107におけるパターンマッチングを行なう方法について更に詳しく説明を行なう。
【0028】
<音速のキャリブレーションを行なう方法の説明>
本実施の形態では、詳しくは後述するが、音速を使用して筆記具10の位置を導出する。そのため位置読み取り装置20が置かれる空気中の音速を予め知っておく必要がある。
本実施の形態において、音速のキャリブレーションを行なうには、例えば、自動的に行なうことができる。
音速は、例えば、以下の(1)式および(2)式の計算式を使用することで算出することができる。ここで(1)式は、音速cを導出する標準的な計算式である。また(2)式は、空気中の水蒸気圧pを考慮に入れた場合の補正式である。(2)式を使用することで、空気中の水蒸気圧pを考慮に入れた補正後の音速c’を音速cから求めることができる。
【0029】
【数1】

【0030】
【数2】

【0031】
(1)式および(2)式において、κ:空気の比熱比、R:気体定数、T:空気の絶対温度、M:空気の平均分子量、H:気圧、p:水蒸気圧、γw:水蒸気の定圧比熱と定積比熱との比、γ:乾燥空気の定圧比熱と定積比熱との比、である。
【0032】
実際には、温度、湿度、気圧の各値と音速との対応表(LUT:Look up Table)を作成しておく。そして筆跡読み取りシステム1に温度計、湿度計、および気圧計を設置し、これらの装置から温度、湿度、気圧の値をそれぞれ取得し、対応表を参照することで音速を求めることができる。この作業は、演算装置23の音速キャリブレーション部231が自動的に行なうことができる。
【0033】
また音速のキャリブレーションは、手動により行なうこともできる。
図5は、音速のキャリブレーションを手動で行なう場合の方法について説明した図である。
まず予め位置が確定された固定のキャリブレーションポイントCを設定する。そしてこのキャリブレーションポイントCからのマイクロフォン22aからの距離をa、マイクロフォン22bからの距離をbとすると、音速cは、以下の(3)式〜(5)式により求まる。
【0034】
c1=a/t1 …(3)
【0035】
c2=b/t2 …(4)
【0036】
c=(c1+c2)/2 …(5)
【0037】
この方法による音速のキャリブレーションは、演筆跡読み取りシステム1を使用するユーザが、筆記具10により実際に摩擦音を発生する必要があるため、手動で行なう方式となる。
【0038】
ここで例えば、15℃(288.15K)の乾燥空気中において、(1)式から算出される実際の音速は、κ=1.403、M=29.966E−3(kg/mol)、R=8.314472(mkg/s K mol)として、c=340.6522187(m/s)である。そのため筆記具10により1cm(0.01m)の線分を描く場合、必要な時間精度は、0.01(m)/c=2.9355E−5(s)=約29(μs)となる。よって本実施の形態では、μsオーダーで時間を測定できれば、筆記具10の位置を求める精度としては、問題がないものとなる。これを周波数で換算すると、摩擦音は、30(kHz)以上の周波数を含むことが好ましい。つまり摩擦音に超音波を含むことが好ましい。
【0039】
<筆記具の位置を求める方法の説明>
図6(a)〜(b)は、複数のマイクロフォンを使用して筆記具10の位置を求める方法について説明した図である。なお本実施の形態において、求める筆記具10の位置は、より正確には、筆記具10と筆記面21aとが接触する位置である接触位置である。
このうち図6(a)では、マイクロフォン22a,22bにより筆記具10の位置の方向を求める方法について説明をしている。ここで、点M1がマイクロフォン22aの位置、点M2がマイクロフォン22bの位置、点Sが筆記具10と筆記面21aとが接触する位置であるとする。そして筆記具10が筆記面21aに接触しつつ移動することにより摩擦音は、点Sから同心円状に広がる。ただし摩擦音は有限の速度である音速で広がるため摩擦音がマイクロフォン22aに到達した時間とマイクロフォン22bに到達した時間とは異なり、摩擦音の行路差δ12に対応した時間差Δt12が生じる。そしてマイクロフォン22aとマイクロフォン22bとの間の距離(点M1と点M2の距離)をD12、マイクロフォン22aとマイクロフォン22bを結ぶ線分(線分M1M2)と、この線分の中点C12および点Sを結ぶ線分のなす角度を接触位置角度α、中点C12と点Sの間の距離をL12とするとこれらの間には次の(6)式が成立する。
【0040】
δ=(L12+L1212cosα+D12/4)0.5−(L12−L1212cosα+D12/4)0.5 …(6)

【0041】
また音速c’と時間差Δtを使用すると、下記(7)式が成立する。
【0042】
δ=c’Δt …(7)

【0043】
つまりこの(6)式および(7)式を使用することで、マイクロフォン22aとマイクロフォン22bに対する接触位置角度αが求まる。
【0044】
図6(b)は、2組のマイクロフォンを使用して筆記具10の位置を求める方法を説明した図である。
図6(b)では、マイクロフォン22aとマイクロフォン22b、およびマイクロフォン22bとマイクロフォン22cの組を使用して筆記具10の位置を求める場合を示している。
ここで、まずマイクロフォン22aとマイクロフォン22bの組を使用し、上述した方法により1つ目の筆記具位置角度αを求めることができる。さらにマイクロフォン22bとマイクロフォン22cの組を使用して2つ目の接触位置角度βを求めることができる。そして点C12を、マイクロフォン22aとマイクロフォン22bを結ぶ線分の中点、点C23を、マイクロフォン22bとマイクロフォン22cを結ぶ線分の中点とすると、筆記具10は、線分SC12と線分SC23の交点に位置する。よって接触位置角度α,βを使用することで筆記具10の位置を導出できる。
【0045】
<筆記具の位置を補間する方法の説明>
ここで筆記具10を使用するユーザが筆記面21a上で筆跡を描くにあたり、力の入れ方によっては、筆記具10が筆記面21aからわずかな時間離間し、筆跡のかすれが生じることがある。そこで本実施の形態では、筆跡のかすれが生じた場合でも、位置補間部234(図3参照)が、かすれの部分を補間することで、本来の筆跡を再現する。
【0046】
図7(a)は、筆跡のかすれが生じた部分について説明した図である。
図7(a)に示す筆跡では、図中左側から右側へ描かれていた筆跡が、点Q1で筆記具10が筆記面21aから離間することでいったん途切れている。そして点Q2で再び筆記面21aに接触することで、再度図中左側から右側へ筆跡が描かれている。この場合、筆記具10が筆記面21aから離間している間は、筆跡が描かれない。図7(a)では、この部分を点線で示している。そしてこの点線で示した部分について、かすれが生じている箇所であるかすれ部として認識される。
【0047】
また図7(b)は、このかすれが生じたときのマイクロフォン22a等で取得された摩擦音の波形を示した図である。図7(b)において横軸は時間であり、縦軸は摩擦音の音波の振幅を表わす。そしてこの場合、かすれが生じた時間tだけ摩擦音が消失する。そして本実施の形態では、この摩擦音消失期間の摩擦音が消失した時間tと予め定められた第1の閾値、および摩擦音消失期間の前後における接触位置の距離Qと予め定められた第2の閾値とを比較する。ここで摩擦音消失期間の前後における接触位置の距離Qは、上記点線の長さとなる。そして時間tおよび距離Qがともにそれぞれの閾値以下だった場合、即ち、(時間t)≦(第1の閾値)かつ(距離Q)≦(第2の閾値)だった場合は、かすれが生じていると判定する。つまりこの場合は、筆記を行なっているユーザの意図に反し、筆跡が途切れていると判定し、摩擦音消失期間における筆記具10と筆記面21aとの接触位置を補間することを決定する。そして筆記具10の接触位置を補間する。その結果、本来描かれるべきはずの筆跡を補充することができ、かすれが消滅する。
【0048】
本実施の形態において時間tを第1の閾値と比較するのは、筆記を行なっているユーザが意図的に筆記具10を筆記面21aから離間させる場合との区別を図るためである。つまりこの場合は、摩擦音消失期間が比較的長くなる傾向にあり、そのため時間tが第1の閾値より大きい場合は、これに該当すると判断することができる。
また距離Qを第2の閾値と比較するのは、濁点等との区別を図るためである。つまり筆記を行なっているユーザが濁点等を描くときは、摩擦音消失期間は、比較的短い。一方、濁点は、筆記具10が筆記面21aから離間した位置からは、比較的離れた位置に描かれる場合が多い。そのため摩擦音消失期間の前後における接触位置の距離Qが第2の閾値より大きい場合は、これに該当すると判断することができる。
よって(時間t)≦(第1の閾値)かつ(距離Q)≦(第2の閾値)であるという2つの判別式により上記の2つの場合を、排除することができ、筆跡にかすれが生じているか否かの判定をより正確に行なうことができる。
【0049】
一方、上記条件を満たさなかった場合、即ち(時間t)>(第1の閾値)、または(距離Q)>(第2の閾値)だった場合は、摩擦音消失期間は、かすれが生じている期間ではないと判定する。この場合は、筆記具10と筆記面21aとの接触位置は補間されず、筆跡が補充されることはない。
【0050】
図8は、位置補間部234が摩擦音消失期間を検知し、この期間がかすれが生じている期間であると判定する方法、および接触位置を補充する方法について説明したフローチャートである。以下、図7(b)および図8を使用して説明を行なう。
まず第1の閾値に相当する幅の時間ウィンドウWを設定する(ステップ201)。そしてこの時間ウィンドウWを図7(b)に示したように摩擦音の波形に当てはめ、例えば、時間の進行方向(図7(b)では、右方向)に移動させる(ステップ202)。そして時間ウィンドウWの左右の時間であるtまたは時間tにおいて摩擦音が存在するか否か、つまり摩擦音の振幅が存在するか否かを判定する(ステップ203)。そして振幅が存在した場合(ステップ203でYes)は、時間ウィンドウWの中央の時間((t−t)/2の時間)において摩擦音の振幅がないかどうかを判定する(ステップ204)。そしてなかった場合(ステップ204でYes)は、摩擦音消失期間が存在し、かつこの期間が第1の閾値以下であると判定できる。
【0051】
そして次に上述した方法により、摩擦音消失期間の前後における筆記具10の位置を求める(ステップ205)。そしてこの2つの位置から摩擦音消失期間の前後における接触位置の距離Qを求める(ステップ206)。さらにこの距離Qが第2の閾値以下であるか否かを判定する(ステップ207)。そして距離Qが第2の閾値以下であった場合(ステップ207でYes)は、摩擦音消失期間において筆跡にかすれが生じていると判定できる。
摩擦音消失期間において筆跡にかすれが生じていると判断できた場合は、実際に接触位置の補間を行なう(ステップ208)。これは摩擦音消失期間の前後における接触位置の補間を直接行なってもよく、また摩擦音消失期間の前後における摩擦音の波形を平均化して摩擦音消失期間にコピーしてもよい。
なおステップ203、ステップ204、およびステップ207でNoであった場合は、最初に戻る。またこの判定処理は、筆記具10の位置読み取り処理が終了するまで続く(ステップ209)。
【0052】
なお第1の閾値および第2の閾値は、必ずしも一定である必要はなく、変更してもよい。つまり筆記具10を使用するユーザにより、第1の閾値および第2の閾値を変更可能にすることで、判定の精度を向上させることができる。
【0053】
<パターンマッチングを行なう方法の説明>
図9は、FFT部235(図3参照)において高速フーリエ変換が行なわれた後のパワースペクトルの一例を示した図である。
図9において、横軸は、周波数(Hz)を表わし、縦軸は、音圧(dB)を表わす。
そして本実施の形態では、パワースペクトルの中から予め定められた周波数のサンプリング点を決めておき、このサンプリング点におけるパワースペクトルの特徴を摩擦音の特徴点とする。図9中では、このサンプリング点の例を矢印により示している。
より具体的には、記憶部237(図3参照)にサンプリング点におけるパワースペクトルのサンプルが格納されている。このサンプルは、筆記具10により描かれる筆跡の色彩毎に用意されている。色判定部236(図3参照)では、実際のパワースペクトルとこのサンプルとのパターンマッチングを行なう。そして実際のパワースペクトルにより近いサンプルを選択する。これにより筆記具10により描かれる筆跡の色彩が判定できることになる。
【0054】
以上詳述したような筆跡読み取りシステム1により、超音波を発生する筆記具や、加速度センサを設けた筆記具を使用することなく、筆記具10の位置を導出することができ、筆記具10により筆記面21aに描かれる筆跡を読み取ることができる。つまりより簡易なシステムにより筆跡を読み取ることができる。これにより例えば、予め設置されている黒板やホワイトボード等に本実施の形態のマイクロフォン等を後から設置し、筆跡読み取りシステム1を構築するができる。
【0055】
<プログラムの説明>
ここで図3で説明を行った本実施の形態における演算装置23が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、演算装置23に設けられた制御用コンピュータ内部の図示しないCPUが、演算装置23の各機能を実現するプログラムを実行し、これらの各機能を実現させる。
【0056】
よって図3で説明を行った演算装置23が行なう処理は、コンピュータに、筆記具10が筆記面21aと接触しつつ移動するときに発生する摩擦音が取得された時間に基づいて、筆記面21aにおける筆記具10の位置を導出する機能と、筆記具10が筆記面21aから離間することにより摩擦音が消失する摩擦音消失期間が発生したときに、摩擦音消失期間における筆記具10の位置を補間するか否かを決定する機能と、補間すると決定した場合に筆記具10の位置を補間する機能と、を実現させるプログラムとして捉えることもできる。
【0057】
なお本実施の形態では、筆記具10として、フェルトペンを例示したがこれに限られるものではない。例えば、ボールペン、鉛筆、チョークでも使用可能である。
【0058】
また本実施の形態では、表示装置30を設け、これに筆跡を表示していたが、これに限られるものではなく、表示装置30を特に設けなくてもよい。さらに他に筆跡のデータを保存するHDD(Hard Disk Drive)等のストレージを設け、筆跡のデータを保存してもよい。
【0059】
さらに本実施の形態では、マイクロフォンは予め定められた3箇所に配されていたが、これに限られるものではなく、4箇所以上でもよい。またマイクロフォンの配される箇所は、2箇所でもよい。ただしこの場合は、上述した方法では、マイクロフォンにより取得される摩擦音の時間差の情報の他に、例えば、取得される摩擦音の強弱に対する情報も利用することが必要となる。つまり筆記具10とマイクロフォンとの距離により取得される摩擦音について強弱が生じる。そしてこの摩擦音の強弱により各マイクロフォンと筆記具10との距離の差を導出し、摩擦音の時間差の情報から導出される筆記具10の方向の情報と併せて筆記具10の位置を導出する。ただしこの方法では、求められた筆記具10の位置精度が悪くなりやすいため、マイクロフォンは3箇所以上に配される方がより好ましい。
【符号の説明】
【0060】
1…筆跡読み取りシステム、10…筆記具、12…ペン先部、20…位置読み取り装置、21a…筆記面、22a,22b,22c…マイクロフォン、23…演算装置、30…表示装置、233…接触位置導出部、234…位置補間部、236…色判定部

【特許請求の範囲】
【請求項1】
筆記具が筆記面に接触しつつ移動するときに発生する摩擦音を取得するために予め定められた位置に配される複数の摩擦音取得手段と、
前記摩擦音取得手段により前記摩擦音が取得される時間に基づいて、前記筆記具と前記筆記面とが接触する位置である接触位置を導出する接触位置導出手段と、
前記筆記具が前記筆記面から離間することにより前記摩擦音が消失する摩擦音消失期間が発生したときに、当該摩擦音消失期間における前記接触位置を補間するか否かを決定し、補間すると決定した場合に前記接触位置導出手段により導出された当該筆記具の接触位置を補間する位置補間手段と、
を備えることを特徴とする位置読み取り装置。
【請求項2】
前記摩擦音取得手段は、3箇所以上に配され、
前記接触位置導出手段は、当該接触位置導出手段により前記摩擦音が取得される時間差に基づいて、前記接触位置を導出することを特徴とする1または2に記載の位置読み取り装置。
【請求項3】
前記摩擦音の予め定められた特徴点から前記筆記具により前記筆記面に描かれる筆跡の色彩を判定する色彩判定手段を更に備えることを特徴とする請求項1乃至3のいずれか1項に記載の位置読み取り装置。
【請求項4】
前記位置補間手段は、前記摩擦音消失期間の前記摩擦音が消失した時間と予め定められた第1の閾値、および前記摩擦音消失期間の前後における前記接触位置の距離と予め定められた第2の閾値とを比較することで前記接触位置を補間することを決定することを特徴とする請求項1に記載の位置読み取り装置。
【請求項5】
筆記面と接触しつつ移動することで予め定められた色彩を有する筆跡を描く接触部を備え、
前記接触部は、前記筆記面と接触しつつ移動するときに筆跡が有する色彩に応じて予め定められた特徴点を有する摩擦音を発生することで、当該摩擦音により前記筆記面における当該接触部の位置に関する情報および筆跡の色彩に関する情報を発信することを特徴とする筆記具。
【請求項6】
筆記面と接触しつつ移動することで予め定められた色彩を有する筆跡を描くとともに、当該色彩毎に予め定められた特徴点を有する摩擦音を発生する筆記具と、
前記摩擦音を取得するために予め定められた位置に配される複数の摩擦音取得手段と、
前記摩擦音取得手段により前記摩擦音が取得される時間に基づいて、前記筆記具と前記筆記面とが接触する位置である接触位置を導出する接触位置導出手段と、
前記摩擦音が有する特徴点により前記筆記具により前記筆記面に描かれる筆跡が有する色彩を判定する色彩判定手段と、
を備えることを特徴とする筆跡読み取りシステム。
【請求項7】
前記筆記具が前記筆記面から離間することにより前記摩擦音が消失する摩擦音消失期間が発生したときに、当該摩擦音消失期間における前記接触位置を補間するか否かを決定する位置補間手段を更に備えることを特徴とする請求項6に記載の筆跡読み取りシステム。
【請求項8】
前記筆記面に描かれた筆跡を当該筆跡が有する色彩にて表示する表示手段をさらに備えることを特徴とする請求項6または7に記載の筆跡読み取りシステム。
【請求項9】
コンピュータに、
筆記具が筆記面と接触しつつ移動するときに発生する摩擦音が取得された時間に基づいて、当該筆記面における当該筆記具の位置を導出する機能と、
前記筆記具が前記筆記面から離間することにより前記摩擦音が消失する摩擦音消失期間が発生したときに、当該摩擦音消失期間における前記筆記具の位置を補間するか否かを決定する機能と、
補間すると決定した場合に前記筆記具の位置を補間する機能と、
を実現させるプログラム。
【請求項10】
前記摩擦音の予め定められた特徴点から前記筆記具により前記筆記面に描かれる筆跡の色彩を判定する機能を更に備えることを特徴とする請求項9に記載のプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−73254(P2013−73254A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−209546(P2011−209546)
【出願日】平成23年9月26日(2011.9.26)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
2.ZIGBEE
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】