情報処理装置、撮像装置及びプログラム
【課題】媒体上で多重に指定された位置の軌跡を表す情報を簡素化する。
【解決手段】電子ペンは、媒体上に連続して指定された位置の座標であって決められた期間毎に検出された位置の座標としてＰ１からＰ２１までを取得する。電子ペンは、一の軌跡を構成する複数座標を各座標の位置の検出順と対応付けた指定位置の軌跡のうち、検出順が隣接し当該複数座標に含まれる第１座標までの距離よりも、検出順が隣接しない第２座標までの距離が小さい座標を抽出する。例えば、電子ペンは、座標Ｐ２よりも近い位置に座標Ｐ１４がある座標Ｐ１や、座標Ｐ３よりも近い位置に座標Ｐ１３，１５がある座標Ｐ２など、この軌跡から多数の座標を抽出する。電子ペンは、この条件を満たす座標が閾値以上である軌跡を、筆記内容の擦れ等を原因として多重に運筆動作が行われたものと特定し、軌跡を構成する座標を間引くことによりこれを補正する。
【解決手段】電子ペンは、媒体上に連続して指定された位置の座標であって決められた期間毎に検出された位置の座標としてＰ１からＰ２１までを取得する。電子ペンは、一の軌跡を構成する複数座標を各座標の位置の検出順と対応付けた指定位置の軌跡のうち、検出順が隣接し当該複数座標に含まれる第１座標までの距離よりも、検出順が隣接しない第２座標までの距離が小さい座標を抽出する。例えば、電子ペンは、座標Ｐ２よりも近い位置に座標Ｐ１４がある座標Ｐ１や、座標Ｐ３よりも近い位置に座標Ｐ１３，１５がある座標Ｐ２など、この軌跡から多数の座標を抽出する。電子ペンは、この条件を満たす座標が閾値以上である軌跡を、筆記内容の擦れ等を原因として多重に運筆動作が行われたものと特定し、軌跡を構成する座標を間引くことによりこれを補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、撮像装置及びプログラムに関する。
【背景技術】
【０００２】
電子ペンや感圧式デバイスを用いて筆記された内容を電子化するシステムにおいて、紙とペンを用いた筆記行為に似た感覚で、記入内容の削除や追加、置換、強調等の変更作業を計算機上で行うための技術が、特許文献１，２に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５２０４０号公報
【特許文献２】特開２００９−４８６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、媒体上で多重に指定された位置の軌跡を表す情報を簡素化することである。
【課題を解決するための手段】
【０００５】
上述した課題を解決するため、本発明の請求項１に係る情報処理装置は、媒体上において指定された位置であって決められた期間毎に検出された位置の座標を取得する取得手段と、前記媒体上に連続して指定された位置に対応して前記取得手段が取得した複数座標を当該各座標の位置の検出順と対応付けた当該指定された位置の軌跡のうち、前記検出順が隣接し当該複数座標に含まれる第１座標までの距離よりも、前記検出順が隣接しない第２座標までの距離が小さい座標を閾値以上含む軌跡を特定する特定手段と、前記特定手段により特定された軌跡を構成する座標を間引いて、当該軌跡を補正する補正手段とを備えることを特徴とする。
【０００６】
本発明の請求項２に係る情報処理装置は、請求項１に記載の構成において、前記特定手段は、前記複数座標において、前記第１座標までの距離よりも前記第２座標までの距離が小さい座標の占める割合が閾値以上である前記軌跡を特定することを特徴とする。
【０００７】
本発明の請求項３に係る情報処理装置は、請求項１又は２に記載の構成において、前記特定手段は、前記複数座標の各座標について、前記第１座標までの距離よりも前記第２座標までの距離が小さいか否かを判別することを特徴とする。
【０００８】
本発明の請求項４に係る情報処理装置は、請求項１に記載の構成において、前記特定手段は、前記取得手段が取得した座標に基づいて前記軌跡を各々抽出し、抽出した複数の軌跡間の距離が決められた距離以下であり、且つ、当該複数の軌跡の相互の関係が決められた条件を満たす場合、当該複数の軌跡を特定することを特徴とする。
【０００９】
本発明の請求項５に係る情報処理装置は、請求項１から４のいずれか１項に記載の構成において、前記補正手段は、前記特定手段により特定された一の軌跡を構成する複数座標のうち、前記検出順が最先の座標と最後の座標とを結んだ線を、当該複数座標のうち当該線から最も遠い座標を通過する線に補正する補正処理を実行し、補正処理により得た線を補正後の軌跡とすることを特徴とする。
【００１０】
本発明の請求項６に係る情報処理装置は、請求項５に記載の構成において、前記補正手段は、前記補正処理により得た線と、前記一の軌跡を構成する複数座標の全座標との距離が閾値以下となるまで、前記補正処理を実行することを特徴とする。
【００１１】
本発明の請求項７に係る情報処理装置は、請求項５又は６に記載の構成において、前記補正手段は、前記補正処理後の軌跡の端部と、前記特定手段により特定されなかった前記軌跡の端部との距離が決められた距離以下である場合、両軌跡の当該端部同士を連結するよう補正することを特徴とする。
【００１２】
本発明の請求項８に係る撮像装置は、請求項１から７のいずれか１項に記載の情報処理装置と、前記媒体上の位置の座標を符号化した符号化画像が形成された当該媒体に光を照射する照射手段と、前記照射手段により照射された光の反射光を撮像する撮像手段とを備え、前記取得手段は、前記撮像手段による前記期間毎の撮像により得られた撮像画像に含まれる前記符号化画像に基づいて、前記媒体上で指定された位置の座標を取得することを特徴とする。
【００１３】
本発明の請求項９に係るプログラムは、コンピュータを、媒体上において指定された位置であって決められた期間毎に検出された位置の座標を取得する取得手段と、前記媒体上に連続して指定された位置に対応して前記取得手段が取得した複数座標を当該各座標の位置の検出順と対応付けた当該指定された位置の軌跡のうち、前記検出順が隣接し当該複数座標に含まれる第１座標までの距離よりも、前記検出順が隣接しない第２座標までの距離が小さい座標を閾値以上含む軌跡を特定する特定手段と、前記特定手段により特定された軌跡を構成する座標を間引いて、当該軌跡を補正する補正手段として機能させるためのものである。
【発明の効果】
【００１４】
請求項１，９に係る発明によれば、多重に指定された位置の軌跡を構成する座標を間引く補正をしない場合に比べて、媒体上で多重に指定された位置の軌跡を表す情報を簡素化することができる。
請求項２に係る発明によれば、第１座標までの距離よりも第２座標までの距離が小さい座標の占める割合に基づいて軌跡を特定しない場合に比べて、多重に指定された位置の軌跡の特定の精度が、媒体上の指定位置に依存して変動することを抑えることができる。
請求項３に係る発明によれば、軌跡を構成する複数座標の各座標について第１座標までの距離よりも第２座標までの距離が小さいか否かを判別しない場合に比べて、多重に指定された位置の軌跡を正確に特定することができる。
請求項４に係る発明によれば、軌跡間の距離を条件に含めない場合に比べて、複数の軌跡により多重に位置が指定されたときに、その軌跡を正確に特定することができる。
請求項５に係る発明によれば、別の方法で軌跡を補正する場合に比べて、媒体上で指定された位置に近い形態の軌跡に補正することができる。
請求項６に係る発明によれば、補正処理により得られた線と、軌跡を構成する複数座標のすべての座標との距離が閾値以下となる前に補正処理を終了する場合に比べて、媒体上で指定された位置に近い形態の軌跡に補正することができる。
請求項７に係る発明によれば、媒体上を移動するように指定された位置のうちの一部が多重に指定された場合であっても、全体が連続するように軌跡を補正することができる。
請求項８に係る発明によれば、符号化画像が形成された媒体の撮像画像から媒体上で指定された位置の座標を取得する構成において、軌跡を構成する座標を間引く補正をしない場合に比べて、媒体上で多重に指定された位置の軌跡を表す情報を簡素化することができる。
【図面の簡単な説明】
【００１５】
【図１】システムの全体構成を示す図。
【図２】符号化画像の構成を説明する図。
【図３】電子ペンの構成を示すブロック図。
【図４】筆記内容を説明する図。
【図５】制御部が実現する機能構成を示す機能ブロック図。
【図６】電子ペンの制御部の動作手順を示すフローチャート。
【図７】筆記内容と手書き内容に応じて特定される軌跡の関係を示す図。
【図８】近接条件を説明する図。
【図９】多重運筆特定処理を実行する際の動作手順を示すフローチャート。
【図１０】軌跡の補正の手順を説明する図。
【図１１】補正後の軌跡を説明する図。
【図１２】変形例１に係る多重運筆特定処理を説明する図。
【図１３】変形例２に係る補正後の軌跡を説明する図。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ本発明の一実施形態を説明する。
図１は、本実施形態に係るシステムの全体構成を示す図である。
本実施形態に係るシステムの構成は、電子ペン１０と、媒体２０と、ＰＣ（Personal computer）３０とに大別される。電子ペン１０は、本発明の撮像装置の一例であり、媒体２０にインクを供給して筆記する機能と、媒体２０上に形成された符号化画像に基づいて媒体２０上の位置を決められた期間毎に検出する機能とを実現する。媒体２０上に形成される符号化画像は、決められた符号化方式に従って情報を符号化し画像化したものである。媒体２０は、紙やＯＨＰシート等のプラスチック、その他の材質のものでもよいし、表示内容が電気的に書き換えられる電子ペーパでもよい。ＰＣ３０は、電子ペン１０によって指定された位置の符号化画像から復号された情報に基づいて、処理を実行する。ＰＣ３０は、例えば、電子ペン１０を用いた筆記内容を電子化して電子文書を生成し、電子文書に含まれる文字をテキストデータに変換する文字認識処理を実行する。
【００１７】
図２は、符号化画像の構成を説明する図である。
符号化画像は、図２に示す複数の点状画像からなるパターンの集合で構成される。図２において、黒で示した矩形の領域Ａ１，Ａ２が点状画像が配置された領域に対応し、斜線の領域Ａ３からＡ９が点状画像が配置されていない領域に対応する。符号化画像は、媒体２０を識別する識別情報や媒体２０上の位置の座標を、点状画像の配置パターンにより表すものである。以上の符号化画像は、特開２００８−９８３３号公報等に開示されたものと同じである。
【００１８】
図３は、電子ペン１０の構成を示すブロック図である。
制御部１０１は、ＣＰＵ（Central Processing Unit）やメモリを含むマイクロコンピュータを有し、電子ペン１０の各部を制御する。制御部１０１は、例えば、媒体２０を撮像した撮像画像を解析して、符号化画像から情報を復号して、媒体２０を識別する識別情報や媒体２０上の位置の座標を取得する。圧力センサ１０２は、ペン軸１０９に作用する圧力（つまり、筆圧）によって検出するものであり、運筆動作の有無を制御部１０１が特定する際にこの検出結果が参照される。撮像ユニット１１０は、照射部１０３と撮像部１０４とを備える。照射部１０３は、本発明の照射手段の一例であり、例えばＬＥＤ（Light Emitting Diode）である。照射部１０３は、ここでは媒体２０上に赤外光を照射する。照射部１０３は、ユーザによって電子ペン１０を用いた運筆動作がなされる際に、媒体２０上の撮像範囲Ｒに光を照射する。撮像部１０４は、本発明の撮像手段の一例であり、照射部１０３から照射された赤外光に応じた媒体２０からの反射光を撮像する。電子ペン１０では、決められた期間毎（例えば、６０フレーム毎秒）に撮像ユニット１１０により撮像し、媒体２０の撮像画像を表す撮像データを生成する。情報メモリ１０５は、制御部１０１で符号化画像から抽出された情報を記憶する。通信部１０６は、電子ペン１０とＰＣ３０との無線通信に関する制御を行う。バッテリ１０７は、例えば充電池であり、電子ペン１０を駆動するための電力を電子ペン１０の各部に供給する。ペンＩＤメモリ１０８は、電子ペン１０の識別情報を記憶する。ペン軸１０９は、先端部にペン先１０９ａを有している。ペン先１０９ａは、電子ペン１０を用いた運筆動作がなされる際に、ペン軸１０９内に納められたインクを媒体２０に供給し、媒体２０への筆記を実現させる。スイッチ１１１は、電子ペン１０の各種設定の切り替え等に用いられるものである。
【００１９】
ところで、用紙等の媒体にインクを供給する筆記具（例えば、ボールペンや万年筆）を用いて、ユーザが媒体上に筆記する場合、インクの減少や運筆動作の仕方等を原因として、筆記内容が擦（かす）れることがある。例えば、ユーザが図４（ａ）に示す平仮名の「か」という文字を筆記しようとした場合であっても、図４（ｂ）に示す筆記内容となることがある。この例では、Ｉ部で文字が擦れている。この場合、ユーザは、「か」という文字がしっかりと記されるように、この擦れた部分を複数回にわたってなぞるように筆記することがある。このような多重に行われる運筆動作のことを、以下では「多重運筆動作」という。多重運筆動作が行われた結果、媒体には「か」という文字が記されるが、電子ペン１０でこの多重運筆動作が行われた場合、媒体２０上の位置の座標の取得結果は、以下に説明するものとなる。
【００２０】
電子ペン１０では、運筆動作中に決められた期間毎（ここでは、フレームレートの周期）に電子ペン１０で指定された位置を検出し、その検出結果たる座標を取得する。よって、多重運筆動作に対応して電子ペン１０で取得される座標によれば、図４（ｃ）に示すような筆記内容が特定され、電子文書上の筆記内容はこの内容となる。この例では、多重運筆動作が行われた部分であるII部に、狭い範囲で何往復もする線が含まれており、本来の「か」という文字とはやや異なった筆記内容となっている。これでは、ＰＣ３０が電子文書文字認識処理を行った場合、多重運筆動作が行われなかったときに比べて、「か」という文字が正しく認識される可能性が低くなる。
以上の多重運筆動作に関する問題点に対し、電子ペン１０は、多重運筆動作が行われた軌跡を特定し、更に、この軌跡を補正する機能を有している。
【００２１】
図５は、制御部１０１が実現する機能構成を示す機能ブロック図である。
制御部１０１は、取得部１０１１と、特定部１０１２と、補正部１０１３とに相当する各機能を実現する。
取得部１０１１は、本発明の取得手段の一例であり、媒体２０上で指定された位置であって決められた期間毎に検出された位置の座標を取得する。取得部１０１１は、撮像ユニット１１０での撮像により得られた撮像画像に含まれる符号化画像に基づいてフレームレートの周期で位置が検出されると、検出された位置の座標を取得する。
【００２２】
特定部１０１２は、本発明の特定手段の一例であり、媒体２０上に連続して指定された位置（すなわち、電子ペン１０で運筆動作が行われた位置）に対応して取得部１０１１が取得した複数座標を各座標の位置の検出順と対応付けた軌跡のうち、多重運筆動作が行われた軌跡を特定する。軌跡は、電子ペン１０で指定された位置の軌跡である。一の軌跡は、電子ペン１０で一回の運筆動作で指定された媒体２０上の位置を表し、要するに、一筆書きされた筆記内容に対応している。運筆動作の始点は、電子ペン１０の圧力センサ１０２で筆圧の検知が開始されたタイミングで判断され、運筆動作の終点は、電子ペン１０の圧力センサ１０２で筆圧の検知がされなくなったタイミングで判断される。多重運筆動作が行われた軌跡を特定するべく、特定部１０１２は、検出順が隣接しこの軌跡を構成する複数座標に含まれる第１座標までの距離よりも、検出順が隣接しない第２座標までの距離が小さい座標が閾値以上である軌跡を特定する。すなわち、近接する２つの座標があった場合、これら２つの座標に対応する位置の検出順は隣り合う（連続する）ことが多いと考えられるが、これら以外の座標が近接し、さらに、このような座標が多い場合には、狭い範囲内で運筆動作が繰り返し行われたと推測される。特定部１０１２は、この観点から定められた条件を満たす軌跡を、多重運筆動作が行われた軌跡として特定する。
【００２３】
補正部１０１３は、本発明の補正手段の一例であり、特定部１０１２により特定された軌跡を構成する座標を間引いて、軌跡を補正する。すなわち、補正部１０１３は、多重運筆動作が行われたと特定された軌跡を、多重運筆動作が行われなかった場合の軌跡の形態に近づけるための補正処理を実行する。
次に、電子ペン１０の動作を説明する。
【００２４】
図６は、電子ペン１０の制御部１０１の動作手順を示すフローチャートである。図７は、ユーザにより手書きされた筆記内容と（図７（ａ））、電子ペン１０でこの手書き時の運筆動作により特定される軌跡の一例を示す図である（図７（ｂ））。
制御部１０１は、撮像部１０４により生成された撮像データが示す複数フレームの撮影画像に基づいて、媒体２０上で指定された位置であってフレームレートの周期で検出された位置の座標を取得する（ステップＳ１）。ここでは、ユーザが、図７（ａ）に示す運筆方向に運筆動作をした場合を想定する。
次に、制御部１０１は、ステップＳ１で取得した座標に基づいて軌跡を抽出する（ステップＳ２）。ここでは、制御部１０１は、図７（ｂ）に示すように、この運筆動作に対応する軌跡を構成する座標として、座標Ｐ１から座標Ｐ２１までの計２１個の座標を取得する。以下の説明でも、一の軌跡を構成する座標において検出順がｉ番目である座標の座標を、「Ｐｉ」と表す。
【００２５】
次に、制御部１０１は、軌跡ごとに多重運筆特定処理を実行する。多重運筆特定処理は、多重運筆動作が行われた軌跡を特定する処理である。制御部１０１は、一の軌跡を構成する計２１個の各座標について、検出順が隣接しこの軌跡を構成する座標に含まれる第１座標までの距離よりも、検出順が隣接しない第２座標までの距離が小さいことを示す条件（以下、「近接条件」という。）を満たすか否かを判別する。
なお、第２座標は、本発明では、同一軌跡を構成する座標に限らず、他の軌跡を構成する座標であってもよく、媒体２０上の指定位置の座標であればよい。
【００２６】
ここで、多重運筆特定処理の詳細な内容を説明する。図８は、近接条件を説明する図である。図８（ａ）は、座標Ｐ１周辺を拡大した様子を表し、図８（ｂ）は、座標Ｐ２周辺を拡大した様子を表す。図９は、多重運筆特定処理の手順を示すフローチャートである。
まず、制御部１０１は、最初に変数ｉ＝１にセットし、注目座標Ｐｉを設定する（ステップＳ３１）。ステップＳ３１では、制御部１０１は、軌跡を構成する座標であって近接条件を満たすか否かが未判別の座標のうち、検出順が最先の座標に注目する。ここでは、制御部１０１は、座標Ｐ１に注目し、これを注目座標Ｐ１とする。
【００２７】
次に、制御部１０１は、設定した注目座標Ｐｉに検出順が隣接する座標（本実施形態では、検出順が後続するもの。）である、後続座標Ｐi+1（第１座標）を特定する（ステップＳ３２）。ここでは、制御部１０１は、後続座標Ｐ２を特定することになる。
次に、制御部１０１は、注目座標Ｐｉと後続座標Ｐi+1との距離Ｄ（i,i+1）を算出する（ステップＳ３３）。ここでは、制御部１０１は、注目座標Ｐ１と後続座標Ｐ２との距離Ｄ（1,2）を算出する。距離Ｄ（i,i+1）は、例えば、媒体２０上の位置の座標を表す座標平面における直線距離である。
【００２８】
次に、制御部１０１は、注目座標Ｐｉから距離Ｄ(i,i+1)の範囲内に、注目座標Ｐｉとは検出順が隣接しない座標（第２座標）があるか否かを判断する（ステップＳ３４）。ここでは、制御部１０１は、注目座標Ｐ１から距離Ｄ（1,2）の距離範囲内に後続座標Ｐ２以外の座標があるか否かを判断する。図８（ａ）に示すように、ここでは、制御部１０１は、注目座標Ｐ１から距離Ｄ（1,2）よりも近い距離範囲に、注目座標Ｐ１とは検出順が隣接しない座標Ｐ１４があると判断する（つまり、ステップＳ３４の処理で「ＹＥＳ」）。
【００２９】
制御部１０１は、ステップＳ３４で「ＹＥＳ」と判断すると、注目座標Ｐｉが近接条件を満たすと判別する（ステップＳ３５）。よって、制御部１０１は、注目座標Ｐ１が近接条件を満たすと判別して、その判別結果をメモリに記憶する。
そして、制御部１０１は、軌跡を構成する全座標について近接条件の判別をしたか否かを判断する（ステップＳ３６）。ここでは、制御部１０１は、未だ座標Ｐ１について判別しただけであるから、ステップＳ３１の処理に戻る。そして、制御部１０１は、変数ｉを「１」だけインクリメントして、注目座標Ｐｉを設定する。ここでは、制御部１０１は、近接条件について未判別である軌跡を構成する座標のうち、検出順が最先の座標である注目座標Ｐ２を設定する。
【００３０】
次に、制御部１０１は、注目座標Ｐ２に検出順が隣接する後続座標Ｐ３（第１座標）を特定する（ステップＳ３２）。次に、制御部１０１は、注目座標Ｐ２と後続座標Ｐ３との距離Ｄ（2,3）を算出する（ステップＳ３３）。次に、制御部１０１は、注目座標Ｐ２から距離Ｄ(2,3)の範囲内に、注目座標Ｐ２とは検出順が隣接しない座標（第２座標）があるか否かを判断する（ステップＳ３４）。ここでは、制御部１０１は、注目座標Ｐ２からの距離Ｄ（2,3）の距離範囲内に、注目座標Ｐ２と検出順が隣接する座標として、後続座標Ｐ３、及び検出順が１つ前である座標Ｐ１以外の座標があるか否かを判断する。図８（ｂ）に示すように、ここでは、制御部１０１は、注目座標Ｐ２から距離Ｄ（2,3）よりも近い距離に、注目座標Ｐ２とは検出順が隣接しない座標Ｐ１３及びＰ１５があるとして、ステップＳ３４で「ＹＥＳ」と判断する。
【００３１】
次に、制御部１０１は、ステップＳ３４で「ＹＥＳ」と判断すると、注目座標Ｐ２が近接条件を満たすと判別し、その判別結果をメモリに記憶する（ステップＳ３５）。そして、制御部１０１は、軌跡を構成する全座標について近接条件についての判別をしたか否かを判断する（ステップＳ３６）。ここでは、制御部１０１は、座標Ｐ２について判別した段階であるから、ステップＳ３１の処理に戻る。
制御部１０１は、以上の処理ステップを、変数ｉを１ずつインクリメントしながら繰り返し実行する。そして、制御部１０１は、注目座標Ｐ２１について近接条件について判別し終えると、ステップＳ３６で「ＹＥＳ」と判断し、ステップＳ３７の処理に進む。
【００３２】
次に、制御部１０１は、軌跡を構成する複数座標において、近接条件を満たす座標が閾値以上（ここでは、７割以上）の割合で含まれているか否かを判断する（ステップＳ３７）。ここでは、制御部１０１は、メモリに記憶しておいた判別結果に基づいて、２１個の７割以上である１５個以上の近接条件を満たす座標があるか否かを判断する。ここで割合を採用しているのは、以下の理由に基づく。ユーザの運筆動作には様々な態様が考えられ、筆記される文字の大きさや線の長さも様々であるが、これに応じて軌跡を構成する座標の数も大きく変化する。よって、軌跡を構成する座標に占める近接条件を満たす座標が相対的に多いことの指標として、全座標に占める近接条件を満たす座標の割合を採用すれば、多重運筆動作の特定の精度が筆記内容に依存して変動することが抑制される。
【００３３】
制御部１０１は、近接条件を満たす座標が閾値以上の割合で軌跡に含まれると判断すると（ステップＳ３７；ＹＥＳ）、この軌跡を多重運筆動作が行われた軌跡として特定する（ステップＳ３８）。一方、近接条件を満たす座標が閾値以上の割合で軌跡に含まれていないと判断すると（ステップＳ３７；ＮＯ）、この軌跡を多重運筆動作が行われた軌跡でない特定する（ステップＳ３９）。
【００３４】
図７（ｂ）を参照して分かるように、多重運筆動作が行われた部分では、同じような運筆動作が狭い範囲内で何度も行われる。よって、一の軌跡において、検出順が隣り合う２つの座標間の距離よりも、検出順が隣り合わない２つの座標間の距離が小さい箇所が多くなり、近接条件を満たす座標の割合が相対的に大きくなる。図７（ｂ）の例においても、軌跡を構成するほとんどの座標が近接条件を満たしている。このように、多重運筆動作が行われた軌跡では、近接する座標の組の中に、検出順が隣り合わない座標の組が多数存在する。このような発明者らの知見に基づいて、多重運筆特定処理の上記手順が定められている。また、運筆動作の速度やフレームレートに応じて検出順が隣り合う２座標の距離は変化するが、通常の運筆速度や電子ペンで通常採り得るフレームレートであれば、この近接条件を満たす座標の量に基づいて多重運筆動作が行われた軌跡が特定される。例えば、フレームレートが大きいほど、検出順が隣り合う２つの座標間の距離は小さくなるが、この場合には、例えば閾値が小さく設定されればよいと考えられる。多重運筆動作が行われた軌跡は狭い範囲内で多重に指定された位置に対応しているので、フレームレートに関わらず、一の軌跡において、検出順が隣り合う２つの座標間の距離よりも、検出順が隣り合わない２つの座標間の距離が小さい箇所が高確率で含まれるからである。
多重運筆特定処理の説明は以上である。
【００３５】
図６に戻って説明する。
制御部１０１は、多重運筆特定処理の結果に応じて、多重運筆動作が行われた軌跡であるか否かを判断する（ステップＳ４）。ここで、制御部１０１は、多重運筆動作が行われた軌跡であると判断すると（ステップＳ４；ＹＥＳ）、この軌跡を補正する（ステップＳ５）。具体的には、制御部１０１は、多重運筆動作が行われた軌跡を構成する座標を間引くとことにより、当該軌跡を補正する。一方で、制御部１０１は、多重運筆動作が行われた軌跡でないと判断すると（ステップＳ４；ＮＯ）、軌跡を補正しないで処理を終了する。
【００３６】
図１０は、制御部１０１がステップＳ５で実行する軌跡の補正の内容を説明する図である。図１０（ａ）は、図７（ｂ）と同じ内容であり、図７（ａ）の運筆動作に対応した軌跡を表している。
制御部１０１は、図１０（ａ）に示す多重運筆動作が行われた軌跡を特定すると、これら複数座標のうち、検出順が最初のものと最後のものとをそれぞれ特定する。ここでは、制御部１０１は、検出順が最初の座標Ｐ１と、検出順が最後の座標Ｐ２１とをそれぞれ特定する。そして、制御部１０１は、検出順が最初の座標Ｐ１からの距離が近い順となるように、座標Ｐ１からＰ２１までの配列順を設定する。ここでは、図１０（ｂ）に矢印順で示す配列順に設定される。具体的には、制御部１０１は、座標Ｐ１→Ｐ１４→Ｐ２→Ｐ１５→Ｐ１３→Ｐ３→Ｐ１６→Ｐ４→Ｐ１２→Ｐ５→Ｐ１７→Ｐ１１→Ｐ６→Ｐ１８→Ｐ１０→Ｐ７→Ｐ１９→Ｐ９→Ｐ２０→Ｐ８→Ｐ２１という配列順を設定する。
【００３７】
次に、制御部１０１は、図１０（ｃ）に示すように、検出順が最初の座標Ｐ１と、検出順が最後の座標Ｐ２１とを結ぶ線分Ｌ１を引く。そして、制御部１０１は、線分Ｌ１から最も遠い座標を通過する線となるように、線分Ｌ１を補正する補正処理を実行する。ここでは、線分Ｌ１から最も遠い座標はＰ１６である。よって、制御部１０１は、図１０（ｄ）に示すように、座標Ｐ１と座標Ｐ２１とを結ぶ線分Ｌ１を、座標Ｐ１６を通過する線Ｌ２に補正する。線Ｌ２は、座標Ｐ１と座標Ｐ１６を結ぶ線分Ｌ２１と、座標Ｐ１６と座標Ｐ２１とを結ぶ線分Ｌ２２とにより構成される。
【００３８】
次に、制御部１０１は、補正処理により得た線Ｌ２と、多重運筆動作が行われた軌跡を構成する複数の座標の全座標との距離が閾値以下であるか否かを判断する。ここでは、制御部１０１は、図１０（ｂ）に示すように設定した配列順に従って、比較対象の座標と線分との関係を決定する。具体的には、制御部１０１は、座標Ｐ１と座標Ｐ１６との間の配列順の座標については、線分Ｌ２１との距離に基づいて判断をするし、座標Ｐ１６と座標Ｐ２１との間の配列順の座標については、線分Ｌ２２との距離に基づいて判断をする。なお、座標と線分との距離は、座標から線分に下ろした垂線の長さにより特定される。
ここでは、座標Ｐ５，Ｐ６，Ｐ７が線分Ｌ２２から遠いので、制御部１０１が多重運筆動作が行われた軌跡の全座標が線Ｌ２からの距離が閾値以下である、という条件を満たさないと判断する。
【００３９】
次に、制御部１０１は、線Ｌ２に基づいて上記手順で補正処理を実行することで、図１１に示す線Ｌ３を得る。具体的には、制御部１０１は、線Ｌ２のうち、座標Ｐ１と座標Ｐ１６を結ぶ線分Ｌ２１を、Ｌ２１からの距離が最も遠い座標を通過する線に補正する。よって、制御部１０１は、線分Ｌ２１を、座標Ｐ１と座標Ｐ３とを結ぶ線分Ｌ３１と、座標Ｐ３と座標Ｐ１６とを結ぶ線分Ｌ３２とに補正する。また、制御部１０１は、線Ｌ２のうち、座標Ｐ１６とＰ２１とを結ぶ線分Ｌ２２を、Ｌ２２からの距離が最も遠い座標を通過する線に補正する。よって、制御部１０１は、線分Ｌ２２を、座標Ｐ１６と座標Ｐ６とを結ぶ線分Ｌ３３と、座標Ｐ６と座標Ｐ２１とを結ぶ線分Ｌ３４とに補正する。
以上の補正処理により、電子ペン１０は、線分Ｌ３１，Ｌ３２，Ｌ３３，Ｌ３４からなる線Ｌ３を得る。
【００４０】
次に、制御部１０１は、補正処理で補正した線Ｌ３と、多重運筆動作で指定された軌跡を構成する複数の座標の全座標との距離が閾値以下であるか否かを判断する。ここでは、全座標が線分Ｌ３から閾値以下の距離にあるものとし、制御部１０１が「ＹＥＳ」と判断し補正処理を終了する。制御部１０１は、補正処理により得られた線と、軌跡を構成する複数点のすべての点との距離が閾値以下となるまで補正処理を行うので、その前に補正処理を終了する場合に比べて、媒体２０上で指定された位置に近い形態の軌跡となる。
【００４１】
制御部１０１は、以上の補正処理により得た線を補正後の軌跡とする。制御部１０１は、軌跡を構成する複数座標を、その各座標の位置の検出順と対応付けた軌跡を示す軌跡情報を生成する。ここでは、制御部１０１は、座標Ｐ１，Ｐ３，Ｐ１６，Ｐ６，Ｐ２１という５点の座標を、図１０（ｂ）で設定した配列順と対応付けた軌跡情報を生成する。この軌跡情報は、座標Ｐ１，Ｐ３，Ｐ１６，Ｐ６，Ｐ２１という順で結ぶ線で軌跡を表す画像を表現することを意味する。これにより、図７（ａ）に示すような筆記内容は、図１１に示すような筆記内容の軌跡情報に補正される。
制御部１０１は、一の軌跡ごとに上述した処理ステップを実行する。
【００４２】
電子ペン１０では、以上のようにして得られた軌跡情報により特定される筆記内容で文字認識処理が行われるように、軌跡情報を含む文字認識処理に必要な情報を、ＰＣ３０に送信する。ＰＣ３０では、補正後の軌跡情報を含む情報に基づいて文字認識処理を行って、テキストデータを生成する。電子ペン１０が軌跡情報を生成した後の処理は、従来の手法と同じ方法が用いられればよい。ＰＣ３０が座標の検出順（つまり、筆記順）を用いずに文字の形だけで文字認識処理を行う場合、電子ペン１０は検出順を含まず座標のみを含む軌跡情報をＰＣ３０に送信してもよい。
【００４３】
以上説明したように、電子ペン１０は、検出順が隣接し同一軌跡を構成する座標に含まれる第１座標までの距離よりも、検出順が隣接しない第２座標までの距離が小さいことを示す近接条件を満たす座標が閾値以上の割合で含まれる軌跡を、多重運筆動作が行われたものとして特定する。そして、電子ペン１０は、多重運筆動作が行われた軌跡を構成する座標を間引くことにより、軌跡を補正する。これにより、軌跡を表す情報の情報量が減じられるので、電子ペン１０が軌跡の補正を行わない場合に比べて、この情報が簡素化される。図４（ｃ）に示す多重運筆動作に対応する複雑な形態の軌跡は、図４（ａ）に近い形態の軌跡に補正されるので、軌跡が補正されない場合に比べて、軌跡情報を用いて行われる文字認識処理の精度が高まると考えられる。また、運筆動作中に一時的に電子ペン１０の移動が停止させられた場合、この停止位置での座標の数が増大するが、上記補正処理によってこの座標が減じられるので、この点でも軌跡を表す情報の情報量の削減の効果を奏する。
【００４４】
［変形例］
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
［変形例１］
上述した実施形態では、電子ペン１０は、軌跡を構成する座標の各点について近接条件を満たすか否かを判断していたが、上記近接条件を満たす座標の割合が閾値以上である軌跡の特定の仕方は、この手順に限定されない。
ところで、多重運筆動作が行われた場合、図７（ａ）に示すように運筆動作を継続したまま狭い範囲を何往復もする運筆動作が行われることもあるが、図１２（ａ）に示すように、複数の軌跡に分離されて、同じような運筆方向の運筆動作を何度も行って多重運筆動作が行われる場合もある。この場合、軌跡を構成する座標は、図１２（ｂ）に示すように表される。この場合、３つの軌跡に分離されているが、この場合であっても、近接条件を満たす座標の量で多重運筆動作の有無を判別する多重運筆特定処理により、多重運筆動作が行われた軌跡を電子ペン１０は特定する。この場合、３つの軌跡が１つの軌跡に補正されるので、軌跡の数が減じられることによる情報の簡素化の効果も奏する。
【００４５】
また、この場合において、電子ペン１０は、複数の軌跡同士の距離に基づいて多重運筆動作が行われたか否かを判断してもよい。複数の軌跡で多重運筆動作が行われた場合であっても、これらの軌跡間の距離は小さくなるはずだからである。よって、電子ペン１０は、取得した座標に基づいて軌跡を各々抽出し、抽出した複数の軌跡間の距離が決められた距離以下である場合、複数の軌跡を多重運筆動作が行われた軌跡として特定の対象とする。ここでは、電子ペン１０は、各軌跡について、両端からの距離が等しい点（中央点）を求め、この中央点間の距離が決められた距離以下である複数の軌跡を特定する。ここでは、電子ペン１０は、中央点Ｏ１，Ｏ２，Ｏ３が決められた距離範囲内（図１２に破線で図示した距離範囲内）に含まれるとして複数の軌跡を特定すると、各軌跡の姿勢を比較し、軌跡の姿勢が決められた範囲内で一致しているものを、多重運筆動作が行われたものとして特定の対象とする。例えば、電子ペン１０は、各座標の位置での運筆方向を求めて、複数軌跡で運筆方向の類似度が一定値以上であれば、それらの姿勢が決められた範囲内で一致すると判断してもよい。
なお、軌跡間の距離は中央点以外の位置を用いて求められてもよい。
【００４６】
また、多重運筆動作が行われた軌跡では、１の軌跡内又は複数軌跡で軌跡が交差する点の量が多くなると考えられる。そこで、電子ペン１０は、姿勢に関する条件に代えて、この交差の数を数えて、この数が閾値以上であれば多重運筆動作が行われた軌跡として特定してもよい。このように、電子ペン１０は、抽出した複数の軌跡間の距離が決められた距離以下であり、且つ、当該複数の軌跡の相互の関係が決められた条件を満たす場合、これら複数の軌跡を多重運筆動作が行われたものとして特定するとよい。
【００４７】
また、上述した実施形態では、電子ペン１０は、軌跡を構成する全座標について近接条件を満たすか否かを判別していたが、一部の座標についてこの判別をしてもよい。この場合、電子ペン１０は、軌跡を構成する座標の一部を抽出して近接条件を満たすか否かの判別を行う。そして、電子ペン１０は、抽出した座標の数に占める近接条件を満たすものの割合が閾値以上であれば、多重運筆動作が行われた軌跡として特定してもよい。
要するに、電子ペン１０は、軌跡のうち、複数座標に含まれ且つ検出順が隣接する第１座標までの距離よりも、検出順が隣接しない第２座標までの距離が小さい座標を閾値以上の割合で含んでいるとみなした軌跡を、多重運筆動作が行われた軌跡として特定するものであれば、その処理の内容や手順について特に問わない。
【００４８】
［変形例２］
ユーザが筆記を行った場合に、一の軌跡に対応する筆記内容の一部分が擦れてしまうことがある。例えば、図１３（ａ）に示すように、軌跡全体に対応する「Ｘ」で示す運筆動作が行われた後、この軌跡のうち擦れた部分に対応する「Ｙ」で示す運筆動作が行われる場合がある。この場合において、「Ｙ」で示す運筆動作が行われた軌跡のみが、多重運筆動作が行われた軌跡として特定されたとする。その際、補正処理の仕方によっては、補正後の軌跡が図１２（ｂ）に示す軌跡となり、多重運筆動作が行われていない部分の軌跡Ｌａ，Ｌｂと、多重運筆動作が行われて補正された部分の軌跡Ｌｃとの端部同士が離れることがある。そこで、制御部１０１は、補正処理後の軌跡の端部と、多重運筆動作が行われたものとして特定されなかった軌跡の端部との距離が決められた距離以下である場合、両軌跡の端部同士を連結するように軌跡を補正する。図１２（ｃ）に示すように、軌跡Ｌｃの一端と軌跡Ｌａの一端との距離は近接しており、決められた距離以下である。また、軌跡Ｌｃの他端と軌跡Ｌｂの一端との距離は近接しており、決められた距離以下である。この場合、制御部１０１は、軌跡Ｌａ，Ｌｂ，Ｌｃの端部同士を連結して全体として１つの軌跡に補正し、軌跡情報もそれに応じた内容とする。これにより、電子ペン１０は、媒体２０上に連続して指定された位置の一部分が多重に指定された場合であっても、全体が連続する軌跡となるように補正する。
【００４９】
［変形例３］
上述した実施形態では、電子ペン１０は、補正処理により得られた線と、軌跡を構成する複数点のすべての点との距離が閾値以下となるまで補正処理を行っていた。これに代えて、電子ペン１０は、例えば２回又は３回のように決められた回数だけ補正処理を行うものであってもよい。発明者らは、２回又は３回程度補正処理が行われれば、多くの場合に、補正後の軌跡を実際の筆記内容にある程度近い形態の軌跡に補正されることを発見したからである。
また、制御部１０１は、軌跡を構成する座標のうち近接条件を満たす座標の量として、割合以外の量を採用してもよい。例えば、筆記内容のサイズがある程度限定され、軌跡を構成する座標の数がある範囲に収まる場合等に、制御部１０１は、近接条件を満たす座標数が閾値以上である場合、多重運筆動作が行われたと特定してもよい。
また、上記補正処理では、電子ペン１０は、座標同士を線分で結んでいたが、曲線で結んでもよい。例えば、軌跡を構成する座標の分布から筆記内容がある程度推定されるので、この分布を近似する形態の線が用いられてもよい。また、本発明は、補正後の軌跡が必ず検出順が最初と最後の座標を通過するものに限定されない。
【００５０】
［変形例４］
電子ペン１０が実行する補正処理は実施形態の方法に限定されない。例えば、電子ペン１０は、座標の配列順に、決められた数おきに座標を間引いてもよいし、座標の密度が軌跡全体としてより均一に近づくように、座標を間引いてもよい。要するに、電子ペン１０が軌跡を構成する座標のいずれかを間引く補正を行うことで、軌跡を表す情報が簡素化される。
【００５１】
［変形例５］
上述した実施形態では、制御部１０１が近接条件を満たす座標を判別する際、検出順が後である後続座標との距離を用いていたが、検出順が前で検出順が隣接する座標との距離を用いてもよい。
【００５２】
［変形例６］
上述した実施形態では、各領域の点状画像の有無に応じた情報を表す符号化方式の符号化画像を用いていたが、本発明の符号化方式は他の符号化方式であってもよい。例えば、特開２００３−５１１７６３号公報に開示されている符号化方式の符号化画像を、本発明に適用してもよい。
【００５３】
［変形例７］
本発明は、電子ペン１０のような、符号化画像が形成された媒体を撮像する撮像装置以外の情報処理装置にも適用しうるものである。例えば、タッチパネルを備える電子ペーパやＰＤＡ（Personal Digital Assistant）等の表示装置では、表示面たる媒体上を指やスタイラスペンでなぞることで表示面上の位置が指定される。この場合、表示装置が指定位置を決められたサンプリングレートで決められた期間毎に検出し、検出した位置の座標を取得する。この構成であっても、上述した実施形態と同じ手順で多重に指定された軌跡を特定し、座標を間引くことで、上述した実施形態と同等の効果を奏する。
【００５４】
また、表示面に重ねて配置されたタッチパネルに代えて、ペンタブレットと呼ばれるものを用いてもよい。すなわち、ユーザが板状のタブレット上でペン型装置やマウス等を用いて軌跡を指定すると、装置がその位置を表す座標を読み取ってディスプレイ上のポインタを移動させ、軌跡を表す画像を表示するというものである。この場合、表示される軌跡を表す画像の情報が簡素化される。
また、本発明を例えばペン型の撮像装置に適用する場合、この撮像装置は媒体上にインク等の色材を供給する機能を有していなくてもよい。本発明は、媒体上への筆記の有無については問わず、座標を取得してから軌跡の補正を行うまでの一連の処理を少なくとも行う情報処理装置に適用してよい。
【００５５】
［変形例８］
上述した実施形態の電子ペン１０が軌跡情報に基づいて文字認識処理を行ってもよい。
また、上述した電子ペン１０の制御部１０１が実現する各機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の協働によって実現されてよい。
【符号の説明】
【００５６】
１０…電子ペン、１０１…制御部、１０１１…取得部、１０１２…特定部、１０１３…補正部、１０２…圧力センサ、１０３…照射部、１０４…撮像部、１０５…情報メモリ、１０６…通信部、１０７…バッテリ、１０８…ペンＩＤメモリ、１０９…ペン軸、１０９ａ…ペン先、１１０…撮像ユニット、１１１…スイッチ、２０…媒体、３０…ＰＣ
【技術分野】
【０００１】
本発明は、情報処理装置、撮像装置及びプログラムに関する。
【背景技術】
【０００２】
電子ペンや感圧式デバイスを用いて筆記された内容を電子化するシステムにおいて、紙とペンを用いた筆記行為に似た感覚で、記入内容の削除や追加、置換、強調等の変更作業を計算機上で行うための技術が、特許文献１，２に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５２０４０号公報
【特許文献２】特開２００９−４８６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、媒体上で多重に指定された位置の軌跡を表す情報を簡素化することである。
【課題を解決するための手段】
【０００５】
上述した課題を解決するため、本発明の請求項１に係る情報処理装置は、媒体上において指定された位置であって決められた期間毎に検出された位置の座標を取得する取得手段と、前記媒体上に連続して指定された位置に対応して前記取得手段が取得した複数座標を当該各座標の位置の検出順と対応付けた当該指定された位置の軌跡のうち、前記検出順が隣接し当該複数座標に含まれる第１座標までの距離よりも、前記検出順が隣接しない第２座標までの距離が小さい座標を閾値以上含む軌跡を特定する特定手段と、前記特定手段により特定された軌跡を構成する座標を間引いて、当該軌跡を補正する補正手段とを備えることを特徴とする。
【０００６】
本発明の請求項２に係る情報処理装置は、請求項１に記載の構成において、前記特定手段は、前記複数座標において、前記第１座標までの距離よりも前記第２座標までの距離が小さい座標の占める割合が閾値以上である前記軌跡を特定することを特徴とする。
【０００７】
本発明の請求項３に係る情報処理装置は、請求項１又は２に記載の構成において、前記特定手段は、前記複数座標の各座標について、前記第１座標までの距離よりも前記第２座標までの距離が小さいか否かを判別することを特徴とする。
【０００８】
本発明の請求項４に係る情報処理装置は、請求項１に記載の構成において、前記特定手段は、前記取得手段が取得した座標に基づいて前記軌跡を各々抽出し、抽出した複数の軌跡間の距離が決められた距離以下であり、且つ、当該複数の軌跡の相互の関係が決められた条件を満たす場合、当該複数の軌跡を特定することを特徴とする。
【０００９】
本発明の請求項５に係る情報処理装置は、請求項１から４のいずれか１項に記載の構成において、前記補正手段は、前記特定手段により特定された一の軌跡を構成する複数座標のうち、前記検出順が最先の座標と最後の座標とを結んだ線を、当該複数座標のうち当該線から最も遠い座標を通過する線に補正する補正処理を実行し、補正処理により得た線を補正後の軌跡とすることを特徴とする。
【００１０】
本発明の請求項６に係る情報処理装置は、請求項５に記載の構成において、前記補正手段は、前記補正処理により得た線と、前記一の軌跡を構成する複数座標の全座標との距離が閾値以下となるまで、前記補正処理を実行することを特徴とする。
【００１１】
本発明の請求項７に係る情報処理装置は、請求項５又は６に記載の構成において、前記補正手段は、前記補正処理後の軌跡の端部と、前記特定手段により特定されなかった前記軌跡の端部との距離が決められた距離以下である場合、両軌跡の当該端部同士を連結するよう補正することを特徴とする。
【００１２】
本発明の請求項８に係る撮像装置は、請求項１から７のいずれか１項に記載の情報処理装置と、前記媒体上の位置の座標を符号化した符号化画像が形成された当該媒体に光を照射する照射手段と、前記照射手段により照射された光の反射光を撮像する撮像手段とを備え、前記取得手段は、前記撮像手段による前記期間毎の撮像により得られた撮像画像に含まれる前記符号化画像に基づいて、前記媒体上で指定された位置の座標を取得することを特徴とする。
【００１３】
本発明の請求項９に係るプログラムは、コンピュータを、媒体上において指定された位置であって決められた期間毎に検出された位置の座標を取得する取得手段と、前記媒体上に連続して指定された位置に対応して前記取得手段が取得した複数座標を当該各座標の位置の検出順と対応付けた当該指定された位置の軌跡のうち、前記検出順が隣接し当該複数座標に含まれる第１座標までの距離よりも、前記検出順が隣接しない第２座標までの距離が小さい座標を閾値以上含む軌跡を特定する特定手段と、前記特定手段により特定された軌跡を構成する座標を間引いて、当該軌跡を補正する補正手段として機能させるためのものである。
【発明の効果】
【００１４】
請求項１，９に係る発明によれば、多重に指定された位置の軌跡を構成する座標を間引く補正をしない場合に比べて、媒体上で多重に指定された位置の軌跡を表す情報を簡素化することができる。
請求項２に係る発明によれば、第１座標までの距離よりも第２座標までの距離が小さい座標の占める割合に基づいて軌跡を特定しない場合に比べて、多重に指定された位置の軌跡の特定の精度が、媒体上の指定位置に依存して変動することを抑えることができる。
請求項３に係る発明によれば、軌跡を構成する複数座標の各座標について第１座標までの距離よりも第２座標までの距離が小さいか否かを判別しない場合に比べて、多重に指定された位置の軌跡を正確に特定することができる。
請求項４に係る発明によれば、軌跡間の距離を条件に含めない場合に比べて、複数の軌跡により多重に位置が指定されたときに、その軌跡を正確に特定することができる。
請求項５に係る発明によれば、別の方法で軌跡を補正する場合に比べて、媒体上で指定された位置に近い形態の軌跡に補正することができる。
請求項６に係る発明によれば、補正処理により得られた線と、軌跡を構成する複数座標のすべての座標との距離が閾値以下となる前に補正処理を終了する場合に比べて、媒体上で指定された位置に近い形態の軌跡に補正することができる。
請求項７に係る発明によれば、媒体上を移動するように指定された位置のうちの一部が多重に指定された場合であっても、全体が連続するように軌跡を補正することができる。
請求項８に係る発明によれば、符号化画像が形成された媒体の撮像画像から媒体上で指定された位置の座標を取得する構成において、軌跡を構成する座標を間引く補正をしない場合に比べて、媒体上で多重に指定された位置の軌跡を表す情報を簡素化することができる。
【図面の簡単な説明】
【００１５】
【図１】システムの全体構成を示す図。
【図２】符号化画像の構成を説明する図。
【図３】電子ペンの構成を示すブロック図。
【図４】筆記内容を説明する図。
【図５】制御部が実現する機能構成を示す機能ブロック図。
【図６】電子ペンの制御部の動作手順を示すフローチャート。
【図７】筆記内容と手書き内容に応じて特定される軌跡の関係を示す図。
【図８】近接条件を説明する図。
【図９】多重運筆特定処理を実行する際の動作手順を示すフローチャート。
【図１０】軌跡の補正の手順を説明する図。
【図１１】補正後の軌跡を説明する図。
【図１２】変形例１に係る多重運筆特定処理を説明する図。
【図１３】変形例２に係る補正後の軌跡を説明する図。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ本発明の一実施形態を説明する。
図１は、本実施形態に係るシステムの全体構成を示す図である。
本実施形態に係るシステムの構成は、電子ペン１０と、媒体２０と、ＰＣ（Personal computer）３０とに大別される。電子ペン１０は、本発明の撮像装置の一例であり、媒体２０にインクを供給して筆記する機能と、媒体２０上に形成された符号化画像に基づいて媒体２０上の位置を決められた期間毎に検出する機能とを実現する。媒体２０上に形成される符号化画像は、決められた符号化方式に従って情報を符号化し画像化したものである。媒体２０は、紙やＯＨＰシート等のプラスチック、その他の材質のものでもよいし、表示内容が電気的に書き換えられる電子ペーパでもよい。ＰＣ３０は、電子ペン１０によって指定された位置の符号化画像から復号された情報に基づいて、処理を実行する。ＰＣ３０は、例えば、電子ペン１０を用いた筆記内容を電子化して電子文書を生成し、電子文書に含まれる文字をテキストデータに変換する文字認識処理を実行する。
【００１７】
図２は、符号化画像の構成を説明する図である。
符号化画像は、図２に示す複数の点状画像からなるパターンの集合で構成される。図２において、黒で示した矩形の領域Ａ１，Ａ２が点状画像が配置された領域に対応し、斜線の領域Ａ３からＡ９が点状画像が配置されていない領域に対応する。符号化画像は、媒体２０を識別する識別情報や媒体２０上の位置の座標を、点状画像の配置パターンにより表すものである。以上の符号化画像は、特開２００８−９８３３号公報等に開示されたものと同じである。
【００１８】
図３は、電子ペン１０の構成を示すブロック図である。
制御部１０１は、ＣＰＵ（Central Processing Unit）やメモリを含むマイクロコンピュータを有し、電子ペン１０の各部を制御する。制御部１０１は、例えば、媒体２０を撮像した撮像画像を解析して、符号化画像から情報を復号して、媒体２０を識別する識別情報や媒体２０上の位置の座標を取得する。圧力センサ１０２は、ペン軸１０９に作用する圧力（つまり、筆圧）によって検出するものであり、運筆動作の有無を制御部１０１が特定する際にこの検出結果が参照される。撮像ユニット１１０は、照射部１０３と撮像部１０４とを備える。照射部１０３は、本発明の照射手段の一例であり、例えばＬＥＤ（Light Emitting Diode）である。照射部１０３は、ここでは媒体２０上に赤外光を照射する。照射部１０３は、ユーザによって電子ペン１０を用いた運筆動作がなされる際に、媒体２０上の撮像範囲Ｒに光を照射する。撮像部１０４は、本発明の撮像手段の一例であり、照射部１０３から照射された赤外光に応じた媒体２０からの反射光を撮像する。電子ペン１０では、決められた期間毎（例えば、６０フレーム毎秒）に撮像ユニット１１０により撮像し、媒体２０の撮像画像を表す撮像データを生成する。情報メモリ１０５は、制御部１０１で符号化画像から抽出された情報を記憶する。通信部１０６は、電子ペン１０とＰＣ３０との無線通信に関する制御を行う。バッテリ１０７は、例えば充電池であり、電子ペン１０を駆動するための電力を電子ペン１０の各部に供給する。ペンＩＤメモリ１０８は、電子ペン１０の識別情報を記憶する。ペン軸１０９は、先端部にペン先１０９ａを有している。ペン先１０９ａは、電子ペン１０を用いた運筆動作がなされる際に、ペン軸１０９内に納められたインクを媒体２０に供給し、媒体２０への筆記を実現させる。スイッチ１１１は、電子ペン１０の各種設定の切り替え等に用いられるものである。
【００１９】
ところで、用紙等の媒体にインクを供給する筆記具（例えば、ボールペンや万年筆）を用いて、ユーザが媒体上に筆記する場合、インクの減少や運筆動作の仕方等を原因として、筆記内容が擦（かす）れることがある。例えば、ユーザが図４（ａ）に示す平仮名の「か」という文字を筆記しようとした場合であっても、図４（ｂ）に示す筆記内容となることがある。この例では、Ｉ部で文字が擦れている。この場合、ユーザは、「か」という文字がしっかりと記されるように、この擦れた部分を複数回にわたってなぞるように筆記することがある。このような多重に行われる運筆動作のことを、以下では「多重運筆動作」という。多重運筆動作が行われた結果、媒体には「か」という文字が記されるが、電子ペン１０でこの多重運筆動作が行われた場合、媒体２０上の位置の座標の取得結果は、以下に説明するものとなる。
【００２０】
電子ペン１０では、運筆動作中に決められた期間毎（ここでは、フレームレートの周期）に電子ペン１０で指定された位置を検出し、その検出結果たる座標を取得する。よって、多重運筆動作に対応して電子ペン１０で取得される座標によれば、図４（ｃ）に示すような筆記内容が特定され、電子文書上の筆記内容はこの内容となる。この例では、多重運筆動作が行われた部分であるII部に、狭い範囲で何往復もする線が含まれており、本来の「か」という文字とはやや異なった筆記内容となっている。これでは、ＰＣ３０が電子文書文字認識処理を行った場合、多重運筆動作が行われなかったときに比べて、「か」という文字が正しく認識される可能性が低くなる。
以上の多重運筆動作に関する問題点に対し、電子ペン１０は、多重運筆動作が行われた軌跡を特定し、更に、この軌跡を補正する機能を有している。
【００２１】
図５は、制御部１０１が実現する機能構成を示す機能ブロック図である。
制御部１０１は、取得部１０１１と、特定部１０１２と、補正部１０１３とに相当する各機能を実現する。
取得部１０１１は、本発明の取得手段の一例であり、媒体２０上で指定された位置であって決められた期間毎に検出された位置の座標を取得する。取得部１０１１は、撮像ユニット１１０での撮像により得られた撮像画像に含まれる符号化画像に基づいてフレームレートの周期で位置が検出されると、検出された位置の座標を取得する。
【００２２】
特定部１０１２は、本発明の特定手段の一例であり、媒体２０上に連続して指定された位置（すなわち、電子ペン１０で運筆動作が行われた位置）に対応して取得部１０１１が取得した複数座標を各座標の位置の検出順と対応付けた軌跡のうち、多重運筆動作が行われた軌跡を特定する。軌跡は、電子ペン１０で指定された位置の軌跡である。一の軌跡は、電子ペン１０で一回の運筆動作で指定された媒体２０上の位置を表し、要するに、一筆書きされた筆記内容に対応している。運筆動作の始点は、電子ペン１０の圧力センサ１０２で筆圧の検知が開始されたタイミングで判断され、運筆動作の終点は、電子ペン１０の圧力センサ１０２で筆圧の検知がされなくなったタイミングで判断される。多重運筆動作が行われた軌跡を特定するべく、特定部１０１２は、検出順が隣接しこの軌跡を構成する複数座標に含まれる第１座標までの距離よりも、検出順が隣接しない第２座標までの距離が小さい座標が閾値以上である軌跡を特定する。すなわち、近接する２つの座標があった場合、これら２つの座標に対応する位置の検出順は隣り合う（連続する）ことが多いと考えられるが、これら以外の座標が近接し、さらに、このような座標が多い場合には、狭い範囲内で運筆動作が繰り返し行われたと推測される。特定部１０１２は、この観点から定められた条件を満たす軌跡を、多重運筆動作が行われた軌跡として特定する。
【００２３】
補正部１０１３は、本発明の補正手段の一例であり、特定部１０１２により特定された軌跡を構成する座標を間引いて、軌跡を補正する。すなわち、補正部１０１３は、多重運筆動作が行われたと特定された軌跡を、多重運筆動作が行われなかった場合の軌跡の形態に近づけるための補正処理を実行する。
次に、電子ペン１０の動作を説明する。
【００２４】
図６は、電子ペン１０の制御部１０１の動作手順を示すフローチャートである。図７は、ユーザにより手書きされた筆記内容と（図７（ａ））、電子ペン１０でこの手書き時の運筆動作により特定される軌跡の一例を示す図である（図７（ｂ））。
制御部１０１は、撮像部１０４により生成された撮像データが示す複数フレームの撮影画像に基づいて、媒体２０上で指定された位置であってフレームレートの周期で検出された位置の座標を取得する（ステップＳ１）。ここでは、ユーザが、図７（ａ）に示す運筆方向に運筆動作をした場合を想定する。
次に、制御部１０１は、ステップＳ１で取得した座標に基づいて軌跡を抽出する（ステップＳ２）。ここでは、制御部１０１は、図７（ｂ）に示すように、この運筆動作に対応する軌跡を構成する座標として、座標Ｐ１から座標Ｐ２１までの計２１個の座標を取得する。以下の説明でも、一の軌跡を構成する座標において検出順がｉ番目である座標の座標を、「Ｐｉ」と表す。
【００２５】
次に、制御部１０１は、軌跡ごとに多重運筆特定処理を実行する。多重運筆特定処理は、多重運筆動作が行われた軌跡を特定する処理である。制御部１０１は、一の軌跡を構成する計２１個の各座標について、検出順が隣接しこの軌跡を構成する座標に含まれる第１座標までの距離よりも、検出順が隣接しない第２座標までの距離が小さいことを示す条件（以下、「近接条件」という。）を満たすか否かを判別する。
なお、第２座標は、本発明では、同一軌跡を構成する座標に限らず、他の軌跡を構成する座標であってもよく、媒体２０上の指定位置の座標であればよい。
【００２６】
ここで、多重運筆特定処理の詳細な内容を説明する。図８は、近接条件を説明する図である。図８（ａ）は、座標Ｐ１周辺を拡大した様子を表し、図８（ｂ）は、座標Ｐ２周辺を拡大した様子を表す。図９は、多重運筆特定処理の手順を示すフローチャートである。
まず、制御部１０１は、最初に変数ｉ＝１にセットし、注目座標Ｐｉを設定する（ステップＳ３１）。ステップＳ３１では、制御部１０１は、軌跡を構成する座標であって近接条件を満たすか否かが未判別の座標のうち、検出順が最先の座標に注目する。ここでは、制御部１０１は、座標Ｐ１に注目し、これを注目座標Ｐ１とする。
【００２７】
次に、制御部１０１は、設定した注目座標Ｐｉに検出順が隣接する座標（本実施形態では、検出順が後続するもの。）である、後続座標Ｐi+1（第１座標）を特定する（ステップＳ３２）。ここでは、制御部１０１は、後続座標Ｐ２を特定することになる。
次に、制御部１０１は、注目座標Ｐｉと後続座標Ｐi+1との距離Ｄ（i,i+1）を算出する（ステップＳ３３）。ここでは、制御部１０１は、注目座標Ｐ１と後続座標Ｐ２との距離Ｄ（1,2）を算出する。距離Ｄ（i,i+1）は、例えば、媒体２０上の位置の座標を表す座標平面における直線距離である。
【００２８】
次に、制御部１０１は、注目座標Ｐｉから距離Ｄ(i,i+1)の範囲内に、注目座標Ｐｉとは検出順が隣接しない座標（第２座標）があるか否かを判断する（ステップＳ３４）。ここでは、制御部１０１は、注目座標Ｐ１から距離Ｄ（1,2）の距離範囲内に後続座標Ｐ２以外の座標があるか否かを判断する。図８（ａ）に示すように、ここでは、制御部１０１は、注目座標Ｐ１から距離Ｄ（1,2）よりも近い距離範囲に、注目座標Ｐ１とは検出順が隣接しない座標Ｐ１４があると判断する（つまり、ステップＳ３４の処理で「ＹＥＳ」）。
【００２９】
制御部１０１は、ステップＳ３４で「ＹＥＳ」と判断すると、注目座標Ｐｉが近接条件を満たすと判別する（ステップＳ３５）。よって、制御部１０１は、注目座標Ｐ１が近接条件を満たすと判別して、その判別結果をメモリに記憶する。
そして、制御部１０１は、軌跡を構成する全座標について近接条件の判別をしたか否かを判断する（ステップＳ３６）。ここでは、制御部１０１は、未だ座標Ｐ１について判別しただけであるから、ステップＳ３１の処理に戻る。そして、制御部１０１は、変数ｉを「１」だけインクリメントして、注目座標Ｐｉを設定する。ここでは、制御部１０１は、近接条件について未判別である軌跡を構成する座標のうち、検出順が最先の座標である注目座標Ｐ２を設定する。
【００３０】
次に、制御部１０１は、注目座標Ｐ２に検出順が隣接する後続座標Ｐ３（第１座標）を特定する（ステップＳ３２）。次に、制御部１０１は、注目座標Ｐ２と後続座標Ｐ３との距離Ｄ（2,3）を算出する（ステップＳ３３）。次に、制御部１０１は、注目座標Ｐ２から距離Ｄ(2,3)の範囲内に、注目座標Ｐ２とは検出順が隣接しない座標（第２座標）があるか否かを判断する（ステップＳ３４）。ここでは、制御部１０１は、注目座標Ｐ２からの距離Ｄ（2,3）の距離範囲内に、注目座標Ｐ２と検出順が隣接する座標として、後続座標Ｐ３、及び検出順が１つ前である座標Ｐ１以外の座標があるか否かを判断する。図８（ｂ）に示すように、ここでは、制御部１０１は、注目座標Ｐ２から距離Ｄ（2,3）よりも近い距離に、注目座標Ｐ２とは検出順が隣接しない座標Ｐ１３及びＰ１５があるとして、ステップＳ３４で「ＹＥＳ」と判断する。
【００３１】
次に、制御部１０１は、ステップＳ３４で「ＹＥＳ」と判断すると、注目座標Ｐ２が近接条件を満たすと判別し、その判別結果をメモリに記憶する（ステップＳ３５）。そして、制御部１０１は、軌跡を構成する全座標について近接条件についての判別をしたか否かを判断する（ステップＳ３６）。ここでは、制御部１０１は、座標Ｐ２について判別した段階であるから、ステップＳ３１の処理に戻る。
制御部１０１は、以上の処理ステップを、変数ｉを１ずつインクリメントしながら繰り返し実行する。そして、制御部１０１は、注目座標Ｐ２１について近接条件について判別し終えると、ステップＳ３６で「ＹＥＳ」と判断し、ステップＳ３７の処理に進む。
【００３２】
次に、制御部１０１は、軌跡を構成する複数座標において、近接条件を満たす座標が閾値以上（ここでは、７割以上）の割合で含まれているか否かを判断する（ステップＳ３７）。ここでは、制御部１０１は、メモリに記憶しておいた判別結果に基づいて、２１個の７割以上である１５個以上の近接条件を満たす座標があるか否かを判断する。ここで割合を採用しているのは、以下の理由に基づく。ユーザの運筆動作には様々な態様が考えられ、筆記される文字の大きさや線の長さも様々であるが、これに応じて軌跡を構成する座標の数も大きく変化する。よって、軌跡を構成する座標に占める近接条件を満たす座標が相対的に多いことの指標として、全座標に占める近接条件を満たす座標の割合を採用すれば、多重運筆動作の特定の精度が筆記内容に依存して変動することが抑制される。
【００３３】
制御部１０１は、近接条件を満たす座標が閾値以上の割合で軌跡に含まれると判断すると（ステップＳ３７；ＹＥＳ）、この軌跡を多重運筆動作が行われた軌跡として特定する（ステップＳ３８）。一方、近接条件を満たす座標が閾値以上の割合で軌跡に含まれていないと判断すると（ステップＳ３７；ＮＯ）、この軌跡を多重運筆動作が行われた軌跡でない特定する（ステップＳ３９）。
【００３４】
図７（ｂ）を参照して分かるように、多重運筆動作が行われた部分では、同じような運筆動作が狭い範囲内で何度も行われる。よって、一の軌跡において、検出順が隣り合う２つの座標間の距離よりも、検出順が隣り合わない２つの座標間の距離が小さい箇所が多くなり、近接条件を満たす座標の割合が相対的に大きくなる。図７（ｂ）の例においても、軌跡を構成するほとんどの座標が近接条件を満たしている。このように、多重運筆動作が行われた軌跡では、近接する座標の組の中に、検出順が隣り合わない座標の組が多数存在する。このような発明者らの知見に基づいて、多重運筆特定処理の上記手順が定められている。また、運筆動作の速度やフレームレートに応じて検出順が隣り合う２座標の距離は変化するが、通常の運筆速度や電子ペンで通常採り得るフレームレートであれば、この近接条件を満たす座標の量に基づいて多重運筆動作が行われた軌跡が特定される。例えば、フレームレートが大きいほど、検出順が隣り合う２つの座標間の距離は小さくなるが、この場合には、例えば閾値が小さく設定されればよいと考えられる。多重運筆動作が行われた軌跡は狭い範囲内で多重に指定された位置に対応しているので、フレームレートに関わらず、一の軌跡において、検出順が隣り合う２つの座標間の距離よりも、検出順が隣り合わない２つの座標間の距離が小さい箇所が高確率で含まれるからである。
多重運筆特定処理の説明は以上である。
【００３５】
図６に戻って説明する。
制御部１０１は、多重運筆特定処理の結果に応じて、多重運筆動作が行われた軌跡であるか否かを判断する（ステップＳ４）。ここで、制御部１０１は、多重運筆動作が行われた軌跡であると判断すると（ステップＳ４；ＹＥＳ）、この軌跡を補正する（ステップＳ５）。具体的には、制御部１０１は、多重運筆動作が行われた軌跡を構成する座標を間引くとことにより、当該軌跡を補正する。一方で、制御部１０１は、多重運筆動作が行われた軌跡でないと判断すると（ステップＳ４；ＮＯ）、軌跡を補正しないで処理を終了する。
【００３６】
図１０は、制御部１０１がステップＳ５で実行する軌跡の補正の内容を説明する図である。図１０（ａ）は、図７（ｂ）と同じ内容であり、図７（ａ）の運筆動作に対応した軌跡を表している。
制御部１０１は、図１０（ａ）に示す多重運筆動作が行われた軌跡を特定すると、これら複数座標のうち、検出順が最初のものと最後のものとをそれぞれ特定する。ここでは、制御部１０１は、検出順が最初の座標Ｐ１と、検出順が最後の座標Ｐ２１とをそれぞれ特定する。そして、制御部１０１は、検出順が最初の座標Ｐ１からの距離が近い順となるように、座標Ｐ１からＰ２１までの配列順を設定する。ここでは、図１０（ｂ）に矢印順で示す配列順に設定される。具体的には、制御部１０１は、座標Ｐ１→Ｐ１４→Ｐ２→Ｐ１５→Ｐ１３→Ｐ３→Ｐ１６→Ｐ４→Ｐ１２→Ｐ５→Ｐ１７→Ｐ１１→Ｐ６→Ｐ１８→Ｐ１０→Ｐ７→Ｐ１９→Ｐ９→Ｐ２０→Ｐ８→Ｐ２１という配列順を設定する。
【００３７】
次に、制御部１０１は、図１０（ｃ）に示すように、検出順が最初の座標Ｐ１と、検出順が最後の座標Ｐ２１とを結ぶ線分Ｌ１を引く。そして、制御部１０１は、線分Ｌ１から最も遠い座標を通過する線となるように、線分Ｌ１を補正する補正処理を実行する。ここでは、線分Ｌ１から最も遠い座標はＰ１６である。よって、制御部１０１は、図１０（ｄ）に示すように、座標Ｐ１と座標Ｐ２１とを結ぶ線分Ｌ１を、座標Ｐ１６を通過する線Ｌ２に補正する。線Ｌ２は、座標Ｐ１と座標Ｐ１６を結ぶ線分Ｌ２１と、座標Ｐ１６と座標Ｐ２１とを結ぶ線分Ｌ２２とにより構成される。
【００３８】
次に、制御部１０１は、補正処理により得た線Ｌ２と、多重運筆動作が行われた軌跡を構成する複数の座標の全座標との距離が閾値以下であるか否かを判断する。ここでは、制御部１０１は、図１０（ｂ）に示すように設定した配列順に従って、比較対象の座標と線分との関係を決定する。具体的には、制御部１０１は、座標Ｐ１と座標Ｐ１６との間の配列順の座標については、線分Ｌ２１との距離に基づいて判断をするし、座標Ｐ１６と座標Ｐ２１との間の配列順の座標については、線分Ｌ２２との距離に基づいて判断をする。なお、座標と線分との距離は、座標から線分に下ろした垂線の長さにより特定される。
ここでは、座標Ｐ５，Ｐ６，Ｐ７が線分Ｌ２２から遠いので、制御部１０１が多重運筆動作が行われた軌跡の全座標が線Ｌ２からの距離が閾値以下である、という条件を満たさないと判断する。
【００３９】
次に、制御部１０１は、線Ｌ２に基づいて上記手順で補正処理を実行することで、図１１に示す線Ｌ３を得る。具体的には、制御部１０１は、線Ｌ２のうち、座標Ｐ１と座標Ｐ１６を結ぶ線分Ｌ２１を、Ｌ２１からの距離が最も遠い座標を通過する線に補正する。よって、制御部１０１は、線分Ｌ２１を、座標Ｐ１と座標Ｐ３とを結ぶ線分Ｌ３１と、座標Ｐ３と座標Ｐ１６とを結ぶ線分Ｌ３２とに補正する。また、制御部１０１は、線Ｌ２のうち、座標Ｐ１６とＰ２１とを結ぶ線分Ｌ２２を、Ｌ２２からの距離が最も遠い座標を通過する線に補正する。よって、制御部１０１は、線分Ｌ２２を、座標Ｐ１６と座標Ｐ６とを結ぶ線分Ｌ３３と、座標Ｐ６と座標Ｐ２１とを結ぶ線分Ｌ３４とに補正する。
以上の補正処理により、電子ペン１０は、線分Ｌ３１，Ｌ３２，Ｌ３３，Ｌ３４からなる線Ｌ３を得る。
【００４０】
次に、制御部１０１は、補正処理で補正した線Ｌ３と、多重運筆動作で指定された軌跡を構成する複数の座標の全座標との距離が閾値以下であるか否かを判断する。ここでは、全座標が線分Ｌ３から閾値以下の距離にあるものとし、制御部１０１が「ＹＥＳ」と判断し補正処理を終了する。制御部１０１は、補正処理により得られた線と、軌跡を構成する複数点のすべての点との距離が閾値以下となるまで補正処理を行うので、その前に補正処理を終了する場合に比べて、媒体２０上で指定された位置に近い形態の軌跡となる。
【００４１】
制御部１０１は、以上の補正処理により得た線を補正後の軌跡とする。制御部１０１は、軌跡を構成する複数座標を、その各座標の位置の検出順と対応付けた軌跡を示す軌跡情報を生成する。ここでは、制御部１０１は、座標Ｐ１，Ｐ３，Ｐ１６，Ｐ６，Ｐ２１という５点の座標を、図１０（ｂ）で設定した配列順と対応付けた軌跡情報を生成する。この軌跡情報は、座標Ｐ１，Ｐ３，Ｐ１６，Ｐ６，Ｐ２１という順で結ぶ線で軌跡を表す画像を表現することを意味する。これにより、図７（ａ）に示すような筆記内容は、図１１に示すような筆記内容の軌跡情報に補正される。
制御部１０１は、一の軌跡ごとに上述した処理ステップを実行する。
【００４２】
電子ペン１０では、以上のようにして得られた軌跡情報により特定される筆記内容で文字認識処理が行われるように、軌跡情報を含む文字認識処理に必要な情報を、ＰＣ３０に送信する。ＰＣ３０では、補正後の軌跡情報を含む情報に基づいて文字認識処理を行って、テキストデータを生成する。電子ペン１０が軌跡情報を生成した後の処理は、従来の手法と同じ方法が用いられればよい。ＰＣ３０が座標の検出順（つまり、筆記順）を用いずに文字の形だけで文字認識処理を行う場合、電子ペン１０は検出順を含まず座標のみを含む軌跡情報をＰＣ３０に送信してもよい。
【００４３】
以上説明したように、電子ペン１０は、検出順が隣接し同一軌跡を構成する座標に含まれる第１座標までの距離よりも、検出順が隣接しない第２座標までの距離が小さいことを示す近接条件を満たす座標が閾値以上の割合で含まれる軌跡を、多重運筆動作が行われたものとして特定する。そして、電子ペン１０は、多重運筆動作が行われた軌跡を構成する座標を間引くことにより、軌跡を補正する。これにより、軌跡を表す情報の情報量が減じられるので、電子ペン１０が軌跡の補正を行わない場合に比べて、この情報が簡素化される。図４（ｃ）に示す多重運筆動作に対応する複雑な形態の軌跡は、図４（ａ）に近い形態の軌跡に補正されるので、軌跡が補正されない場合に比べて、軌跡情報を用いて行われる文字認識処理の精度が高まると考えられる。また、運筆動作中に一時的に電子ペン１０の移動が停止させられた場合、この停止位置での座標の数が増大するが、上記補正処理によってこの座標が減じられるので、この点でも軌跡を表す情報の情報量の削減の効果を奏する。
【００４４】
［変形例］
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
［変形例１］
上述した実施形態では、電子ペン１０は、軌跡を構成する座標の各点について近接条件を満たすか否かを判断していたが、上記近接条件を満たす座標の割合が閾値以上である軌跡の特定の仕方は、この手順に限定されない。
ところで、多重運筆動作が行われた場合、図７（ａ）に示すように運筆動作を継続したまま狭い範囲を何往復もする運筆動作が行われることもあるが、図１２（ａ）に示すように、複数の軌跡に分離されて、同じような運筆方向の運筆動作を何度も行って多重運筆動作が行われる場合もある。この場合、軌跡を構成する座標は、図１２（ｂ）に示すように表される。この場合、３つの軌跡に分離されているが、この場合であっても、近接条件を満たす座標の量で多重運筆動作の有無を判別する多重運筆特定処理により、多重運筆動作が行われた軌跡を電子ペン１０は特定する。この場合、３つの軌跡が１つの軌跡に補正されるので、軌跡の数が減じられることによる情報の簡素化の効果も奏する。
【００４５】
また、この場合において、電子ペン１０は、複数の軌跡同士の距離に基づいて多重運筆動作が行われたか否かを判断してもよい。複数の軌跡で多重運筆動作が行われた場合であっても、これらの軌跡間の距離は小さくなるはずだからである。よって、電子ペン１０は、取得した座標に基づいて軌跡を各々抽出し、抽出した複数の軌跡間の距離が決められた距離以下である場合、複数の軌跡を多重運筆動作が行われた軌跡として特定の対象とする。ここでは、電子ペン１０は、各軌跡について、両端からの距離が等しい点（中央点）を求め、この中央点間の距離が決められた距離以下である複数の軌跡を特定する。ここでは、電子ペン１０は、中央点Ｏ１，Ｏ２，Ｏ３が決められた距離範囲内（図１２に破線で図示した距離範囲内）に含まれるとして複数の軌跡を特定すると、各軌跡の姿勢を比較し、軌跡の姿勢が決められた範囲内で一致しているものを、多重運筆動作が行われたものとして特定の対象とする。例えば、電子ペン１０は、各座標の位置での運筆方向を求めて、複数軌跡で運筆方向の類似度が一定値以上であれば、それらの姿勢が決められた範囲内で一致すると判断してもよい。
なお、軌跡間の距離は中央点以外の位置を用いて求められてもよい。
【００４６】
また、多重運筆動作が行われた軌跡では、１の軌跡内又は複数軌跡で軌跡が交差する点の量が多くなると考えられる。そこで、電子ペン１０は、姿勢に関する条件に代えて、この交差の数を数えて、この数が閾値以上であれば多重運筆動作が行われた軌跡として特定してもよい。このように、電子ペン１０は、抽出した複数の軌跡間の距離が決められた距離以下であり、且つ、当該複数の軌跡の相互の関係が決められた条件を満たす場合、これら複数の軌跡を多重運筆動作が行われたものとして特定するとよい。
【００４７】
また、上述した実施形態では、電子ペン１０は、軌跡を構成する全座標について近接条件を満たすか否かを判別していたが、一部の座標についてこの判別をしてもよい。この場合、電子ペン１０は、軌跡を構成する座標の一部を抽出して近接条件を満たすか否かの判別を行う。そして、電子ペン１０は、抽出した座標の数に占める近接条件を満たすものの割合が閾値以上であれば、多重運筆動作が行われた軌跡として特定してもよい。
要するに、電子ペン１０は、軌跡のうち、複数座標に含まれ且つ検出順が隣接する第１座標までの距離よりも、検出順が隣接しない第２座標までの距離が小さい座標を閾値以上の割合で含んでいるとみなした軌跡を、多重運筆動作が行われた軌跡として特定するものであれば、その処理の内容や手順について特に問わない。
【００４８】
［変形例２］
ユーザが筆記を行った場合に、一の軌跡に対応する筆記内容の一部分が擦れてしまうことがある。例えば、図１３（ａ）に示すように、軌跡全体に対応する「Ｘ」で示す運筆動作が行われた後、この軌跡のうち擦れた部分に対応する「Ｙ」で示す運筆動作が行われる場合がある。この場合において、「Ｙ」で示す運筆動作が行われた軌跡のみが、多重運筆動作が行われた軌跡として特定されたとする。その際、補正処理の仕方によっては、補正後の軌跡が図１２（ｂ）に示す軌跡となり、多重運筆動作が行われていない部分の軌跡Ｌａ，Ｌｂと、多重運筆動作が行われて補正された部分の軌跡Ｌｃとの端部同士が離れることがある。そこで、制御部１０１は、補正処理後の軌跡の端部と、多重運筆動作が行われたものとして特定されなかった軌跡の端部との距離が決められた距離以下である場合、両軌跡の端部同士を連結するように軌跡を補正する。図１２（ｃ）に示すように、軌跡Ｌｃの一端と軌跡Ｌａの一端との距離は近接しており、決められた距離以下である。また、軌跡Ｌｃの他端と軌跡Ｌｂの一端との距離は近接しており、決められた距離以下である。この場合、制御部１０１は、軌跡Ｌａ，Ｌｂ，Ｌｃの端部同士を連結して全体として１つの軌跡に補正し、軌跡情報もそれに応じた内容とする。これにより、電子ペン１０は、媒体２０上に連続して指定された位置の一部分が多重に指定された場合であっても、全体が連続する軌跡となるように補正する。
【００４９】
［変形例３］
上述した実施形態では、電子ペン１０は、補正処理により得られた線と、軌跡を構成する複数点のすべての点との距離が閾値以下となるまで補正処理を行っていた。これに代えて、電子ペン１０は、例えば２回又は３回のように決められた回数だけ補正処理を行うものであってもよい。発明者らは、２回又は３回程度補正処理が行われれば、多くの場合に、補正後の軌跡を実際の筆記内容にある程度近い形態の軌跡に補正されることを発見したからである。
また、制御部１０１は、軌跡を構成する座標のうち近接条件を満たす座標の量として、割合以外の量を採用してもよい。例えば、筆記内容のサイズがある程度限定され、軌跡を構成する座標の数がある範囲に収まる場合等に、制御部１０１は、近接条件を満たす座標数が閾値以上である場合、多重運筆動作が行われたと特定してもよい。
また、上記補正処理では、電子ペン１０は、座標同士を線分で結んでいたが、曲線で結んでもよい。例えば、軌跡を構成する座標の分布から筆記内容がある程度推定されるので、この分布を近似する形態の線が用いられてもよい。また、本発明は、補正後の軌跡が必ず検出順が最初と最後の座標を通過するものに限定されない。
【００５０】
［変形例４］
電子ペン１０が実行する補正処理は実施形態の方法に限定されない。例えば、電子ペン１０は、座標の配列順に、決められた数おきに座標を間引いてもよいし、座標の密度が軌跡全体としてより均一に近づくように、座標を間引いてもよい。要するに、電子ペン１０が軌跡を構成する座標のいずれかを間引く補正を行うことで、軌跡を表す情報が簡素化される。
【００５１】
［変形例５］
上述した実施形態では、制御部１０１が近接条件を満たす座標を判別する際、検出順が後である後続座標との距離を用いていたが、検出順が前で検出順が隣接する座標との距離を用いてもよい。
【００５２】
［変形例６］
上述した実施形態では、各領域の点状画像の有無に応じた情報を表す符号化方式の符号化画像を用いていたが、本発明の符号化方式は他の符号化方式であってもよい。例えば、特開２００３−５１１７６３号公報に開示されている符号化方式の符号化画像を、本発明に適用してもよい。
【００５３】
［変形例７］
本発明は、電子ペン１０のような、符号化画像が形成された媒体を撮像する撮像装置以外の情報処理装置にも適用しうるものである。例えば、タッチパネルを備える電子ペーパやＰＤＡ（Personal Digital Assistant）等の表示装置では、表示面たる媒体上を指やスタイラスペンでなぞることで表示面上の位置が指定される。この場合、表示装置が指定位置を決められたサンプリングレートで決められた期間毎に検出し、検出した位置の座標を取得する。この構成であっても、上述した実施形態と同じ手順で多重に指定された軌跡を特定し、座標を間引くことで、上述した実施形態と同等の効果を奏する。
【００５４】
また、表示面に重ねて配置されたタッチパネルに代えて、ペンタブレットと呼ばれるものを用いてもよい。すなわち、ユーザが板状のタブレット上でペン型装置やマウス等を用いて軌跡を指定すると、装置がその位置を表す座標を読み取ってディスプレイ上のポインタを移動させ、軌跡を表す画像を表示するというものである。この場合、表示される軌跡を表す画像の情報が簡素化される。
また、本発明を例えばペン型の撮像装置に適用する場合、この撮像装置は媒体上にインク等の色材を供給する機能を有していなくてもよい。本発明は、媒体上への筆記の有無については問わず、座標を取得してから軌跡の補正を行うまでの一連の処理を少なくとも行う情報処理装置に適用してよい。
【００５５】
［変形例８］
上述した実施形態の電子ペン１０が軌跡情報に基づいて文字認識処理を行ってもよい。
また、上述した電子ペン１０の制御部１０１が実現する各機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の協働によって実現されてよい。
【符号の説明】
【００５６】
１０…電子ペン、１０１…制御部、１０１１…取得部、１０１２…特定部、１０１３…補正部、１０２…圧力センサ、１０３…照射部、１０４…撮像部、１０５…情報メモリ、１０６…通信部、１０７…バッテリ、１０８…ペンＩＤメモリ、１０９…ペン軸、１０９ａ…ペン先、１１０…撮像ユニット、１１１…スイッチ、２０…媒体、３０…ＰＣ
【特許請求の範囲】
【請求項１】
媒体上において指定された位置であって決められた期間毎に検出された位置の座標を取得する取得手段と、
前記媒体上に連続して指定された位置に対応して前記取得手段が取得した複数座標を当該各座標の位置の検出順と対応付けた当該指定された位置の軌跡のうち、前記検出順が隣接し当該複数座標に含まれる第１座標までの距離よりも、前記検出順が隣接しない第２座標までの距離が小さい座標を閾値以上含む軌跡を特定する特定手段と、
前記特定手段により特定された軌跡を構成する座標を間引いて、当該軌跡を補正する補正手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記特定手段は、
前記複数座標において、前記第１座標までの距離よりも前記第２座標までの距離が小さい座標の占める割合が閾値以上である前記軌跡を特定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定手段は、
前記複数座標の各座標について、前記第１座標までの距離よりも前記第２座標までの距離が小さいか否かを判別する
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記特定手段は、
前記取得手段が取得した座標に基づいて前記軌跡を各々抽出し、抽出した複数の軌跡間の距離が決められた距離以下であり、且つ、当該複数の軌跡の相互の関係が決められた条件を満たす場合、当該複数の軌跡を特定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記補正手段は、
前記特定手段により特定された一の軌跡を構成する複数座標のうち、前記検出順が最先の座標と最後の座標とを結んだ線を、当該複数座標のうち当該線から最も遠い座標を通過する線に補正する補正処理を実行し、補正処理により得た線を補正後の軌跡とする
ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記補正手段は、
前記補正処理により得た線と、前記一の軌跡を構成する複数座標の全座標との距離が閾値以下となるまで、前記補正処理を実行する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記補正手段は、
前記補正処理後の軌跡の端部と、前記特定手段により特定されなかった前記軌跡の端部との距離が決められた距離以下である場合、両軌跡の当該端部同士を連結するよう補正する
ことを特徴とする請求項５又は６に記載の情報処理装置。
【請求項８】
請求項１から７のいずれか１項に記載の情報処理装置と、
前記媒体上の位置の座標を符号化した符号化画像が形成された当該媒体に光を照射する照射手段と、
前記照射手段により照射された光の反射光を撮像する撮像手段と
を備え、
前記取得手段は、
前記撮像手段による前記期間毎の撮像により得られた撮像画像に含まれる前記符号化画像に基づいて、前記媒体上で指定された位置の座標を取得する
ことを特徴とする撮像装置。
【請求項９】
コンピュータを、
媒体上において指定された位置であって決められた期間毎に検出された位置の座標を取得する取得手段と、
前記媒体上に連続して指定された位置に対応して前記取得手段が取得した複数座標を当該各座標の位置の検出順と対応付けた当該指定された位置の軌跡のうち、前記検出順が隣接し当該複数座標に含まれる第１座標までの距離よりも、前記検出順が隣接しない第２座標までの距離が小さい座標を閾値以上含む軌跡を特定する特定手段と、
前記特定手段により特定された軌跡を構成する座標を間引いて、当該軌跡を補正する補正手段
として機能させるためのプログラム。
【請求項１】
媒体上において指定された位置であって決められた期間毎に検出された位置の座標を取得する取得手段と、
前記媒体上に連続して指定された位置に対応して前記取得手段が取得した複数座標を当該各座標の位置の検出順と対応付けた当該指定された位置の軌跡のうち、前記検出順が隣接し当該複数座標に含まれる第１座標までの距離よりも、前記検出順が隣接しない第２座標までの距離が小さい座標を閾値以上含む軌跡を特定する特定手段と、
前記特定手段により特定された軌跡を構成する座標を間引いて、当該軌跡を補正する補正手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記特定手段は、
前記複数座標において、前記第１座標までの距離よりも前記第２座標までの距離が小さい座標の占める割合が閾値以上である前記軌跡を特定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定手段は、
前記複数座標の各座標について、前記第１座標までの距離よりも前記第２座標までの距離が小さいか否かを判別する
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記特定手段は、
前記取得手段が取得した座標に基づいて前記軌跡を各々抽出し、抽出した複数の軌跡間の距離が決められた距離以下であり、且つ、当該複数の軌跡の相互の関係が決められた条件を満たす場合、当該複数の軌跡を特定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記補正手段は、
前記特定手段により特定された一の軌跡を構成する複数座標のうち、前記検出順が最先の座標と最後の座標とを結んだ線を、当該複数座標のうち当該線から最も遠い座標を通過する線に補正する補正処理を実行し、補正処理により得た線を補正後の軌跡とする
ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記補正手段は、
前記補正処理により得た線と、前記一の軌跡を構成する複数座標の全座標との距離が閾値以下となるまで、前記補正処理を実行する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記補正手段は、
前記補正処理後の軌跡の端部と、前記特定手段により特定されなかった前記軌跡の端部との距離が決められた距離以下である場合、両軌跡の当該端部同士を連結するよう補正する
ことを特徴とする請求項５又は６に記載の情報処理装置。
【請求項８】
請求項１から７のいずれか１項に記載の情報処理装置と、
前記媒体上の位置の座標を符号化した符号化画像が形成された当該媒体に光を照射する照射手段と、
前記照射手段により照射された光の反射光を撮像する撮像手段と
を備え、
前記取得手段は、
前記撮像手段による前記期間毎の撮像により得られた撮像画像に含まれる前記符号化画像に基づいて、前記媒体上で指定された位置の座標を取得する
ことを特徴とする撮像装置。
【請求項９】
コンピュータを、
媒体上において指定された位置であって決められた期間毎に検出された位置の座標を取得する取得手段と、
前記媒体上に連続して指定された位置に対応して前記取得手段が取得した複数座標を当該各座標の位置の検出順と対応付けた当該指定された位置の軌跡のうち、前記検出順が隣接し当該複数座標に含まれる第１座標までの距離よりも、前記検出順が隣接しない第２座標までの距離が小さい座標を閾値以上含む軌跡を特定する特定手段と、
前記特定手段により特定された軌跡を構成する座標を間引いて、当該軌跡を補正する補正手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−５０７８５（Ｐ２０１３−５０７８５Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８７３５３（Ｐ２０１１−１８７３５３）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]