電子ペン・システム、コンピュータ装置、端末及びプログラム
【課題】電子ペンで記入されたストロークにより表わされる第１言語の文字列の適切な配置状態を維持したまま、翻訳した第２言語の文字列を表示させる。
【解決手段】コンピュータ装置３は、電子ペンから受信したストローク情報を第１言語の文字列の文字情報として認識し、認識された第１言語の文字列を表示する表示枠を、そのサイズ及び配置を認識し、認識された文字情報、並びに、認識された表示枠のサイズ及び配置を含む情報を端末４へ送信する。端末４は、コンピュータ装置３から送信されてくる情報を取得し、取得された情報のうち、文字情報により表わされる第１言語の文字列を、第２言語の文字列に翻訳し、第２言語への翻訳後の文字列を表示枠に対応する枠に、文字サイズを調整して表示させる。
【解決手段】コンピュータ装置３は、電子ペンから受信したストローク情報を第１言語の文字列の文字情報として認識し、認識された第１言語の文字列を表示する表示枠を、そのサイズ及び配置を認識し、認識された文字情報、並びに、認識された表示枠のサイズ及び配置を含む情報を端末４へ送信する。端末４は、コンピュータ装置３から送信されてくる情報を取得し、取得された情報のうち、文字情報により表わされる第１言語の文字列を、第２言語の文字列に翻訳し、第２言語への翻訳後の文字列を表示枠に対応する枠に、文字サイズを調整して表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子ペンにより描画されたストロークを適切に表示するための、電子ペン・システム、コンピュータ装置、端末及びプログラムに関する。
【背景技術】
【０００２】
記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン（Anoto pen）」が知られている。アノトペンは、所定のドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、文字等を書くための通常のインクカートリッジに加えて、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像等の記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話等の端末装置に送信される（例えば、特許文献１参照）。
【０００３】
このような電子ペンやコンピュータ等で構成されるシステムを用いて、ドットパターンが印刷された書き込みボードに対して、電子ペンでストロークを記入する技術が、特許文献２に開示されている。
【０００４】
また、サーバから送信されたデータに基づき各端末において文字を認識し、認識した文字を翻訳する技術が特許文献３に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８４２２８３号公報
【特許文献２】特表２００３−５０８８３１号公報
【特許文献３】特開平６−２５９６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
電子ペン・システムにおいて、書き込みボードに記入されたストロークで表わされる第１言語の文字列を、コンピュータで翻訳して表示させたり、ストロークで描かれた絵等をコンピュータで描画させる場合に、本出願人は、次のような課題が生じることを見出した。
【０００７】
図１６は、その課題を説明する図である。
ユーザが、電子ペンで専用のドットパターンを形成した書き込みボード（図示せず）上に、ストローク画像３０１に対応する肺の絵を構成する第１ストローク群（図１６参照）、図１６に図示せぬ「肺がんの陰影に注意」という日本語の文字列を示す第２ストローク群、及び、図１６に図示せぬ「肺」という日本語の文字列（１文字）を示す第３ストローク群の各々を、相互に重畳しないように記入したとする。
この場合、英語に翻訳するコンピュータ側では、翻訳した文字を何ら調整しなければ、図１６に示すように、第１ストローク群に対応するストローク画像によって構成され、肺の絵を表わすストローク画像３０１に対して、第２及び第３ストローク群に対応する日本語の文字列を英語に翻訳した文字列である文字列３０２，３０３が重畳して表示されてしまうおそれがある。
ここで、「Notice a shadow of the lung cancer」という文字列３０２は、第２ストローク群により表わされる「肺がんの陰影に注意」という日本語の文字列を英語に翻訳したものである。「lung」という文字列３０３は、第３ストローク群により表わされる「肺」という日本語の文字列を英語に翻訳したものである。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、電子ペンで記入された描画ストロークにより表わされる第１言語の文字列の適切な配置状態を維持したまま、翻訳した第２言語の文字列を表示させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る電子ペン・システムは、コンピュータ装置と端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信する電子ペン・システムであって、前記コンピュータ装置は、ストローク情報を第１言語の文字列の文字情報として認識する文字認識手段と、前記ストローク情報に基づき、前記文字認識手段により認識された前記第１言語の文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段とを備え、前記端末は、前記コンピュータ装置から送信され前記情報を取得する制御を実行する情報取得制御手段と、前記情報取得制御手段の制御により取得された前記情報のうち、前記文字情報により表わされる前記第１言語の文字列を、第２言語の文字列に翻訳する翻訳手段と、前記表示枠の前記サイズ及び前記配置に対応する表示枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、を備えることを特徴とする。
【００１０】
この構成によれば、コンピュータ装置の表示枠認識手段により認識された表示枠のサイズ及び配置に基づいて、端末において文字列を挿入することができる。このため、電子ペンで書き込み媒体に記入されたストローク情報の文字列の配置と、ストローク情報を文字認識処理した結果の文字列を端末において表示した場合の配置とを同様にすることができる。そして、電子ペンで記入されたストロークにより表わされる第１言語の文字列を翻訳した場合であっても、適切な配置状態を維持したまま、翻訳語の第２言語の文字列を端末側で表示させることができる。
【００１１】
上記電子ペン・システムにおいて、前記コンピュータ装置の前記送信制御手段は、前記文字認識手段によって文字認識できないストローク情報に関する情報を前記端末へ送信し、前記端末の前記表示制御手段は、前記ストローク情報に関する情報に基づき、表示する文字と配置関係を維持した状態で、ストロークを描画するとよい。
この構成によれば、書き込み媒体への記入時に、記入されたストローク情報が文字認識手段によって文字認識できないストローク情報であっても、当該ストローク情報に基づくストロークと文字列とが重ならないように表示することができる。
【００１２】
上記電子ペン・システムにおいて、前記端末の前記表示制御手段は、前記表示枠の前記サイズ及び前記配置に対応する表示枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行するとよい。
第１言語を第２言語に翻訳した場合に、文字列が長くなり、表示枠サイズに収めるのが難しい場合もある。しかしながら、この構成により、表示制御手段により、表示枠のサイズ及び配置に基づいて、第２言語に翻訳された文字列が改行され、さらに文字サイズも調整されることで、調整された文字列が表示枠に挿入される。これにより、表示される文字列が不自然とならないように調整して文字を表示することができる。
【００１３】
また、本発明に係るコンピュータ装置は、端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信するコンピュータ装置であって、電子ペンから受信したストローク情報を、文字列で構成される文字情報として認識する文字認識手段と、前記ストローク情報に基づき、前記文字認識手段により認識された前記文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段と、を備えることを特徴とする。
【００１４】
この構成によれば、コンピュータ装置の表示枠認識手段により認識された表示枠のサイズ及び配置に基づいて、端末において文字列を挿入することができる。このため、電子ペンで書き込み媒体に記入された文字列の位置の配置関係を維持したまま、端末において文字列を表示することができる。したがって、書き込み媒体への記入時に、記入された文字列が文字列を含む他のストロークと重ならないように表示させることができる。
【００１５】
上記コンピュータ装置において、前記表示枠認識手段により認識された表示枠内に、翻訳手段による翻訳後の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段をさらに備えるとよい。
このように、表示枠に対し文字サイズが調整された文字列が表示枠内に表示される。これにより、表示される文字を適切な大きさに調整して文字列を表示することができる。
【００１６】
上記コンピュータ装置において、前記表示制御手段は、前記文字認識手段によって文字認識できないストローク情報に基づき、前記表示枠内に表示する文字列と配置関係を維持した状態で、ストロークを描画するとよい。
この構成によれば、記入されたストローク情報が文字認識手段によって文字認識できないストローク情報であっても、当該ストローク情報に基づくストロークと文字列とが重ならないように端末において表示することができる。
【００１７】
また、本発明に係るプログラムは、端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信する制御を実行するコンピュータを、電子ペンから受信したストローク情報を、文字列で構成される文字情報として認識する文字認識手段と、前記ストローク情報に基づき、前記文字認識手段により認識された前記文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段として機能させることを特徴とする。
この構成によれば、表示枠認識手段により認識された表示枠のサイズ及び配置に基づいて、端末において文字列を挿入することができる。このため、電子ペンで書き込み媒体に記入された文字列の位置の配置関係を維持したまま、端末において文字列を表示することができる。したがって、書き込み媒体への記入時に、記入された文字列が文字列を含む他のストロークと重ならないように端末において表示させることができる。
【００１８】
上記プログラムにおいて、前記コンピュータを、前記表示枠認識手段により認識された表示枠内に、翻訳手段による翻訳後の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段をさらに備えたものとしてさらに機能させてもよい。
このように、表示枠に対し文字サイズが調整された文字列が表示枠内に表示される。これにより、表示される文字を適切な大きさに調整して文字列を表示することができる。
【００１９】
上記プログラムにおいて、前記表示制御手段は、前記文字認識手段によって文字認識できないストローク情報に基づき、前記表示枠内に表示する文字列と配置関係を維持した状態で、ストロークを描画するとよい。
この構成によれば、記入されたストローク情報が文字認識手段によって文字認識できないストローク情報であっても、当該ストローク情報に基づくストロークと文字列とが重ならないように端末において表示することができる。
【００２０】
また、本発明に係る端末は、電子ペンで書き込み媒体に記入されたストロークの情報を翻訳する端末であって、電子ペンで生成されたストローク情報が文字認識処理されることにより生成された第１言語の文字列を構成する文字情報を、第２言語の文字列に翻訳する翻訳手段と、前記ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、を備えることを特徴とする。
この構成によれば、ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に翻訳後の文字列を挿入することができる。このため、電子ペンで書き込み媒体に記入された第１言語の文字列の配置状態を維持したまま、翻訳語の第２言語の文字列を端末側で表示させることができる。
【００２１】
上記端末において、前記表示制御手段は、文字認識処理されなかったストローク情報に関する情報に基づき、文字認識処理されて表示する文字と配置関係を維持した状態で、ストロークを描画するとよい。
この構成によれば、記入されたストローク情報が文字認識処理されなかったストローク情報であっても、当該ストローク情報に基づくストロークと文字列とが重ならないように表示することができる。
【００２２】
上記端末において、前記表示制御手段は、前記表示枠の前記サイズ及び前記配置に対応する枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行することができる。
第１言語を第２言語に翻訳した場合に、文字列が長くなり、表示枠サイズに収めるのが難しい場合であっても、この構成により、表示制御手段により、表示枠のサイズ及び配置に基づいて、翻訳後の文字列が改行され、さらに文字サイズも調整されることで、調整された文字列が表示枠に挿入される。これにより、表示される文字列が不自然とならないように調整して文字を表示することができる。
【００２３】
また、本発明に係るプログラムは、電子ペンで書き込み媒体に記入されたストロークの情報を翻訳するのに用いられる端末を、電子ペンで生成されたストローク情報が文字認識処理されることにより生成された第１言語の文字列を構成する文字情報を、第２言語の文字列に翻訳する翻訳手段と、前記ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、して機能させることを特徴とする。
この構成によれば、ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に翻訳後の文字列を挿入することができる。このため、電子ペンで書き込み媒体に記入された第１言語の文字列の配置状態を維持したまま、翻訳語の第２言語の文字列を端末側で表示させることができる。
【００２４】
上記プログラムにおいて、前記表示制御手段は、文字認識処理されなかったストローク情報に関する情報に基づき、文字認識処理されて表示する文字と配置関係を維持した状態で、ストロークを描画するとよい。
この構成によれば、記入されたストローク情報が文字認識処理されなかったストローク情報であっても、当該ストローク情報に基づくストロークと文字列とが重ならないように端末において表示することができる。
【００２５】
上記プログラムにおいて、前記表示制御手段は、前記表示枠の前記サイズ及び前記配置に対応する枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行するとよい。
第１言語を第２言語に翻訳した場合に、文字列が長くなり、表示枠サイズに収めるのが難しい場合であっても、この構成により、表示制御手段により、表示枠のサイズ及び配置に基づいて、翻訳後の文字列が改行され、さらに文字サイズも調整されることで、調整された文字列が表示枠に挿入される。これにより、表示される文字列が不自然とならないように調整して文字を表示することができる。
【発明の効果】
【００２６】
本発明によれば、電子ペンで記入された描画ストロークにより表わされる第１言語の文字列の適切な配置状態を維持したまま、翻訳した第２言語の文字列を表示させることができる。
【図面の簡単な説明】
【００２７】
【図１】本実施形態における電子ペン・システムのシステム構成図である。
【図２】本実施形態におけるホワイトボードの横断面を示す図である。
【図３】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図４】（Ａ）は、ドットパターンを模式的に示し、（Ｂ）は、それに対応する情報の例を示す図である。
【図５】電子ペンの構造を示す概略図である。
【図６】コンピュータ装置の機能ブロック図である。
【図７】端末の機能ブロック図である。
【図８】コンピュータ装置の処理フローを示すフローチャートである。
【図９】コンピュータ装置側の表示例を示す図である。
【図１０】コンピュータ装置側の表示例を示す図である。
【図１１】コンピュータ装置側の表示例を示す図である。
【図１２】端末の処理フローを示すフローチャートである。
【図１３】端末側の表示例を示す図である。
【図１４】端末側の表示例を示す図である。
【図１５】端末側の表示例を示す図である。
【図１６】従来の端末におけるディスプレイの表示例である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら、本発明の実施形態について説明する。
【００２９】
［電子ペン・システムの構成］
図１は、本実施形態に係る電子ペン・システムの構成を示す。本実施形態の電子ペン・システムは、１人の講師が、１人又は複数人の聴講者に講義をする教室等に設置されているものとする。図１に示すように、本実施形態に係る電子ペン・システム１０は、電子ペン１と、ドットパターン（コード化パターン）が形成されたホワイトボード２（書き込み媒体）と、コンピュータ装置３と、各聴講者が１台ずつ使用する端末４−１〜４−ｎとを有する。
【００３０】
講師は、ホワイトボード２に対して、電子ペン１でストロークを記入したり、電子イレイサー（図示せず）で当該ストロークを消去することによって講義を進める。なお本実施形態では、電子ペン１により記入される第１言語は日本語である。電子ペン１からの記入情報は、Bluetooth（登録商標）により、コンピュータ装置３に無線送信される。
【００３１】
コンピュータ装置３は、パーソナルコンピュータ（Personal computer）等で構成されており、その表示画面の位置座標と、ホワイトボード２上の電子ペン１による記入領域の位置座標とが対応付けられている。
コンピュータ装置３は、電子ペン１からの記入情報を受信して、ホワイトボード２上に記入されたストロークのうち、文字として認識できるものについては文字認識処理により文字情報として認識し、それ以外のものについてはストロークとして認識する。
そして、コンピュータ装置３は、文字認識された文字、及び描画ストロークを、ホワイトボード２に記載された配置関係を維持したままディスプレイに表示させる。
また、コンピュータ装置３は、当該文字情報及び当該画像情報を、Wi-Fi（無線ＬＡＮの標準規格IEEE802.11シリーズに準拠していることを示す、業界団体による証明マーク。本実施形態では、Wi-Fiマークが付された無線ＬＡＮ機器間の無線通信方式を示すためにも用いる。）により、各端末４−１〜４−ｎに無線送信する。
【００３２】
図１のホワイトボード２上には、講師が電子ペン１を用いて手書きでそれぞれ記入した、肺の絵を表わす第１ストローク群Ｓ１、「肺がんの陰影に注意」という日本語の文字列を示す第２ストローク群Ｓ２、及び、「肺」という日本語の文字列（１文字）を示す第３ストローク群Ｓ３の各々が、相互に重畳しないように記入されている。
コンピュータ装置３は、ホワイトボード２上に手書きで第１ストローク群Ｓ１が記入される際に電子ペン１から逐次送信されてくる記入情報を受信する。そして、コンピュータ装置３は、当該記入情報から把握されるストロークによっては文字を認識することはできないと判断し、当該記入情報に基づいて、対応する表示画面の位置にストロークを描画する。
また、コンピュータ装置３は、ホワイトボード２上に手書きで第２ストローク群Ｓ２が記入される際に電子ペン１から逐次送信されてくる記入情報を受信する。そして、コンピュータ装置３は、当該記入情報から把握されるストロークによって文字を認識することができると判断し、文字認識処理により、第２ストローク群Ｓ２により表わされる「肺がんの陰影に注意」という日本語の文字列Ｊ２を、文字情報として認識し、対応する表示画面の位置に文字情報を表示する。
同様に、コンピュータ装置３は、ホワイトボード２上に手書きで第３ストローク群Ｓ３が記入される際に電子ペン１から逐次送信されてくる記入情報を受信する。そして、コンピュータ装置３は、当該記入情報から把握されるストロークによって文字を認識することができると判断し、文字認識処理により、第３ストローク群Ｓ３により表わされる「肺」という日本語の文字列Ｊ３を、文字情報として認識し、対応する表示画面の位置に文字情報を表示する。
これにより、コンピュータ装置３は、肺の描画ストロークＰ１、文字認識した結果の「肺がんの陰影に注意」という日本語の文字列Ｊ２及び「肺」という日本語の文字列Ｊ３を、ホワイトボード２に記載された配置関係を維持したまま表示手段３５のディスプレイに表示することとなる。
また、コンピュータ装置３は、描画ストロークＰ１を示す画像情報、日本語の文字列Ｊ２を示す文字情報、及び日本語の文字列Ｊ３を示す文字情報を、それぞれの配置情報とともに、各端末４−１，４−２，４−３，・・・，４−ｎに送信する。
【００３３】
各端末４−１〜４−ｎは、ＰＤＡやスマートフォン等で構成されており、各聴講者（ユーザ）に１台ずつ提供されている。なお、以下、端末４−１〜４−ｎを個々に区別する必要がない場合、これらをまとめて単に「端末４」と呼ぶ。
端末４は、コンピュータ装置３から送信される画像情報又は第１言語の文字情報を受信して記憶させるとともに、当該画像情報に対応するストローク等を表示させたり、当該文字情報に対応する文字列（原文）（以下、「認識文字列」ともいう）を、予め設定された第２言語（以下、「設定言語」という）に翻訳し、設定言語に翻訳された文字列（訳文）（以下、「翻訳文字列」ともいう）をディスプレイに表示させる。
【００３４】
端末４−１は、例えば肺の描画ストロークＰ１に対応する画像情報を受信すると、当該描画ストロークＰ１を表示手段４５のディスプレイに表示させる。
端末４−１には、設定言語として英語が設定されている。そこで、端末４−１は、例えば「肺がんの陰影に注意」という日本語の文字列Ｊ２を示す文字情報をコンピュータ装置３から受信すると、この日本語の文字列Ｊ２を、「Notice a shadow of lung cancer」という英語の文字列Ｅ２に翻訳する。そして、端末４−１は、図１に示すように、英語の文字列Ｅ２を表示手段４５のディスプレイに表示させる。
ここで、英語の文字列Ｅ２は、日本語の文字列Ｊ２に対して文字数が多くなっているため、仮に、文字列Ｊ２と同一のフォントサイズで、文字列Ｊ２と同様に１行で表示された場合には、肺の描画ストロークＰ１と重畳してしまい適切に表示されない。そこで、本実施形態では、端末４−１は、日本語の文字列Ｊ２が配置される範囲と同一範囲内に収まるように、文字列Ｊ２に対応する配置情報を参照して、文字列Ｅ２のフォントサイズを調整したり、文字列Ｅ２を改行したりしたうえで、当該同一範囲内に当該文字列Ｅ２を表示させる。これにより、第１言語を第２言語に翻訳した場合に、文字列が長くなり、表示枠サイズに収めるのが難しい場合であっても、翻訳後の文字列が改行され、さらに文字サイズも調整されることで、ホワイトボード２上の配置関係を維持したまま、文字列Ｅ２が適切に表示される。
また例えば、端末４−１は、「肺」という日本語の文字列Ｊ３を示す文字情報をコンピュータ装置３から受信すると、この日本語の文字列Ｊ３を、「lung」という英語の文字列Ｅ３に翻訳する。そして、端末４−１は、図１に示すように、英語の文字列Ｅ３を表示手段４５のディスプレイに表示させる。
ここで、英語の文字列Ｅ３は、日本語の文字列Ｊ３に対して文字数が多くなっているため、仮に、文字列Ｊ３と同一のフォントサイズで表示された場合には、肺の描画ストロークＰ１と重畳してしまい適切に表示されない。そこで、本実施形態では、端末４−１は、日本語の文字列Ｊ３が配置される範囲と同一範囲内に収まるように、文字列Ｊ３に対応する配置情報を参照して、文字列Ｅ３のフォントサイズを調整したうえで、当該同一範囲内に当該文字列Ｅ３を表示させる。これにより、ホワイトボード２上の配置関係を維持したまま、文字列Ｅ３が適切に表示される。
【００３５】
端末４−２は、基本的には端末４−１と同様の処理を行う。但し、端末４−２では、設定言語としてドイツ語が設定されている。したがって、端末４−２は、日本語の文字列Ｊ２，Ｊ３を示す文字情報をコンピュータ装置３から受信すると、この日本語の文字列Ｊ２，Ｊ３をそれぞれ「Pass auf einen Schattan des Lungenkrebses auf」，「Lunge」というドイツ語に翻訳する。そして、端末４−２は、図１に示すように、ドイツ語に翻訳した翻訳文字列を表示手段４５のディスプレイに表示させる。
【００３６】
端末４−３は、基本的には端末４−１と同様の処理を行う。但し、端末４−３では、設定言語として日本語が設定されている。設定言語（第２言語）が第１言語である日本語と同一のため、端末４−３は、日本語の文字列Ｊ２，Ｊ３を示す文字情報をコンピュータ装置３から受信しても翻訳しない。そして、端末４−３は、図１に示すように、受信した文字情報による日本語の文字列を表示手段４５のディスプレイに表示させる。即ち、端末４−３は、コンピュータ装置３のディスプレイに表示されている各文字列Ｊ２，Ｊ３及び描画ストロークＰ１と同じ文字列及び描画ストロークを表示手段４５のディスプレイに表示させる。
【００３７】
図２は、このような電子ペン・システムのうち、ホワイトボード２の横断面を示す図である。図２に示すように、アノト方式のドットパターン（コード化パターン）を構成する各ドット２１は、白色のホワイトボード基板２２の全面に重畳して印刷されている。ここで、各ドット２１は、電子ペン１で読み取ることができるように、赤外線を吸収するカーボンを含有するインクで印刷されている。各ドット２１によるドットパターンが重畳して印刷されているホワイトボード基板２２の上には、ＥＢ（Electron Beam：電子線）硬化樹脂により形成されたＥＢ硬化樹脂保護層２３が積層されている。ＥＢ硬化樹脂保護層２３は、ホワイトボード基板２２上に印刷された各ドット２１を電子ペン１や電子イレイサーによる摩擦から保護し、ホワイトボード２の経年使用による劣化を防止する。
【００３８】
［ドットパターン］
続いて、ホワイトボード２に形成されるアノト方式のドットパターン（コード化パターン）について説明する。図３は、ホワイトボード２に印刷されるドットパターンのドットとそのドットが変換される値との関係を説明する図である。図３に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。即ち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、ホワイトボード２上の位置座標が決定されるよう構成されている。
【００３９】
図４（Ａ）は、あるドットパターンの配列を示している。図４（Ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、ホワイトボード２上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがホワイトボード２上のどの位置にあるのか）を保持している。図４（Ｂ）は、図４（Ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応付けられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。
【００４０】
［電子ペン］
次に電子ペン１について説明する。図５に示すように、電子ペン１は、その筐体１０１の内部に、マーカーペン１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。マーカーペン１０４の先端は、インクを備えるペン先部１０３となっており、講師（ユーザ）は、電子ペン１のペン先部１０３をホワイトボード２上に当接させて、文字等のストロークを記入したり、タップ（ペン先部１０３によるホワイトボード２への軽叩）したりする。ここで、電子ペン１のペン先部１０３がホワイトボード２に最初に接触することをペンダウンと呼び、接触している（当接している）状態からペン先部１０３が離れることをペンアップと呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。また、電子ペン１をペンダウンすることでペン先部１０３からホワイトボード２上に流出するインクにより、ストロークと略同一軌道の軌跡がホワイトボード２上に表示される。
【００４１】
バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ：記入された時刻情報）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりホワイトボード２に文字やマークを書いたりタップしたりする際にペン先部１０３からマーカーペン１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。
【００４２】
プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切替える。即ち、ユーザが電子ペン１でホワイトボード２に文字等を書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、通信ユニット１１１が、圧力センサ１０７により検出されたペンダウン情報と、後述するペンＩＤとを関連付けて、記入情報としてコンピュータ装置３へ送信する。また、ユーザが１つのストロークを記入し終えて電子ペン１をホワイトボード２から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット１１１が、圧力センサ１０７により検出されたペンアップ情報とペンＩＤとを関連付けて、記入情報としてコンピュータ装置３へ送信する。
【００４３】
ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、ホワイトボード２上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がホワイトボード２に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６には、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、ドットのインク素材は、赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットによって吸収される。そのため、ドットの部分は、赤外線の反射量が比較的少なく、ドット以外の部分は赤外線の反射量が比較的多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、ドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図４（Ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
【００４４】
プロセッサ１０８は、講師（ユーザ）の記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）のホワイトボード２上におけるＸ，Ｙ座標（単に「位置座標」、「座標情報」とも呼ぶ）を連続的に演算していく。即ち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図４（Ａ）に示されるようなドットパターンの画像データを図４（Ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、Ｘ，Ｙ座標データを演算する際に、回転補正処理機能により補正を行う。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ）、筆圧データ及びＸ，Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、ホワイトボード２における６×６のドットパターンは、ホワイトボード２内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がホワイトボード２のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。
【００４５】
メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤと、座標属性情報（時刻情報と、筆圧データと、Ｘ、Ｙ座標データ）とを関連付けて、記入情報としてコンピュータ装置３へ送信する。通信ユニット１１１によるコンピュータ装置３への送信は、Bluetooth（登録商標）等の無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン１のペンダウンからペンアップまでの間に生成されてコンピュータ装置３に送信された１個又は複数個の記入情報（座標属性情報）は、コンピュータ装置３によりストローク情報として記憶される。換言すると、１つのストロークは、１個又は複数個のＸ，Ｙ座標（座標点）からなり、コンピュータ装置３は、ペンダウン情報及びペンアップ情報によって、１つのストロークを構成する１個又は複数個の座標属性情報を認識する。このように、ユーザによる１つのストロークの記入により、電子ペン１によって生成される座標属性情報の集合を「ストローク情報」と呼ぶ。また、ペン先部１０３は、筆圧をマーカーペン１０４を介して圧力センサ１０７に伝達する。
【００４６】
［コンピュータ装置の構成］
次に、コンピュータ装置３の構成について説明する。コンピュータ装置３は、ハードウェアとして、電子ペン１や端末４とのデータ通信が可能なアンテナ等を含む通信部、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ等の出力部、マウスやキーボード等の入力部を含むパーソナルコンピュータ等で構成される。
【００４７】
図６は、コンピュータ装置３の機能ブロック図である。コンピュータ装置３は、機能的には、入力手段３１、受信手段３２、記憶手段３３、処理手段３４、表示手段３５及び送信手段３６を備える。そして、コンピュータ装置３は、電子ペン１から受信した記入情報に基づいて所定の処理を行う。
【００４８】
入力手段３１は、マウスやキーボード等により構成され、ユーザの操作に応じた各種情報を入力して、処理手段３４に供給する。
受信手段３２は、アンテナ受信回路等により構成され、電子ペン１からの記入情報を受信すると、処理手段３４に伝送する。
表示手段３５は、ディスプレイ（表示画面）等によって構成され、処理手段３４によって指示された内容を画像として表示する。
送信手段３６は、画像情報や認識された文字情報等の処理手段３４によって指示された情報を各端末４に送信する。なお、端末４へのデータ送信方式は、有線であっても無線であってもよいが、本実施形態ではWi-Fiによる無線通信方式が採用されている。
【００４９】
記憶手段３３は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段３３は、処理手段３４の処理命令により、ホワイトボード２におけるドットパターン上の位置座標を表示画面上の位置座標に変換する座標変換関数を記憶したり、電子ペン１から受信した記入情報をペンＩＤ毎に記憶したり、認識された文字情報を記憶したりする。また、記憶手段３３は、本電子ペン・システム１０で使用するプログラムや辞書データベース、ホワイトボード２に形成されたドットパターンの位置座標に関する座標定義情報等を予め記憶している。
【００５０】
処理手段３４は、主に、記入情報取得制御手段３４１、文字認識手段３４２、表示枠認識手段３４３、表示制御手段３４４、及び、送信制御手段３４５により構成される。処理手段３４は、ユーザの電子ペン１による入力に応じて、記入情報からストロークを特定していき、ストロークを文字認識した文字列又はストローク画像として表示手段３５に表示させたり、同様の画面を各端末４の表示面に表示させたりするために必要となる、各種の処理を実行する。
【００５１】
記入情報取得制御手段３４１は、受信制御手段３４１１及び座標変換手段３４１２により構成される。
受信制御手段３４１１は、電子ペン１から逐次送信される記入情報を受信手段３２を制御して受信し、受信した記入情報（以降、「受信記入情報」とも呼ぶ）を記憶手段３３に記憶させる。また、受信制御手段３４１１は、ペンダウン情報及びペンアップ情報によって、１つのストロークを構成するストローク情報（座標属性情報の集合）を認識すると、座標変換手段３４１２に通知する。
次に、座標変換手段３４１２は、記憶手段３３に記憶されている座標変換関数を用いて、受信記入情報に含まれるホワイトボード２上の位置座標（Ｘ，Ｙ座標）を、コンピュータ装置３の表示画面上の位置座標に変換する。そして、座標変換手段３４１２は、受信記入情報の位置座標を変換後の位置座標に置換した記入情報（以降、「変換記入情報」とも呼ぶ）を記憶手段３３に記憶する。また、座標変換手段３４１２は、受信制御手段３４１１によって通知されたストローク情報に対応する座標変換後のストローク情報（以降、「変換ストローク情報」とも呼ぶ）を、文字認識手段３４２に供給する。
【００５２】
文字認識手段３４２は、座標変換手段３４１２により供給された変換ストローク情報に基づいて、逐次、ストロークを認識しつつ、記憶手段３３に記憶された辞書データベースを参照して、認識した１以上のストロークにより文字認識可能か否かを判別し、文字認識可能な場合は、文字認識処理により、そのストロークにより表わされる文字列を文字情報として認識する。なお、文字認識手段３４２は、変換ストローク情報に含まれる位置座標や時刻情報に基づき、１以上のストロークが１文字を構成することや、複数の文字が一連の文字列（ひと塊の文字列）を構成することを認識する。
そして、文字認識手段３４２は、認識した文字情報（以降、「認識文字情報」とも呼ぶ）及び対応する変換ストローク情報を、表示枠認識手段３４３に供給する。
一方、文字認識手段３４２は、変換ストローク情報から文字を認識できない場合には、当該文字認識できない変換ストローク情報を、表示制御手段３４４に供給する。
【００５３】
表示枠認識手段３４３は、文字認識手段３４２により供給された変換ストローク情報から、表示画面上でのストローク及びその配置を認識して、当該ストロークが包含される領域、即ち、認識文字情報に対応する文字列（以降、「認識文字列」とも呼ぶ）が表示される表示画面上の領域を、表示枠として認識する。具体的には、表示枠認識手段３４３は、対象とするストロークが包含される矩形の領域（表示枠）のサイズ及びディスプレイ（表示画面）上の位置を表示枠として認識する。このとき、表示枠認識手段３４３は、描画ストロークが表示枠内の上下左右に所定の余白を空けて収まるように、表示枠を認識する。表示枠認識手段３４３は、認識した表示枠のサイズ及び位置を示す座標情報（以降、「表示枠情報」とも呼ぶ）を、対応する認識文字情報とともに、表示制御手段３４４に供給する。
【００５４】
表示制御手段３４４は、認識文字情報及び表示枠情報に基づいて、又は、文字認識されなかったストロークの変換ストローク情報に基づいて、電子ペン１によりストロークが記入されたホワイトボード２上の内容を示す画像を描画する。そして、表示制御手段３４４は、描画した画像を表示するように表示手段３５を制御する。ストロークが文字認識された場合には、即ち、表示枠認識手段３４３から認識文字情報及び表示枠情報が供給された場合には、表示制御手段３４４は、認識文字情報に対応する文字列が表示枠情報より特定される表示枠に収まるように、文字フォントのサイズを調整したうえで、表示手段３５に表示させる画像を描画する。一方、ストロークが文字認識されなかった場合には、即ち、文字認識手段３４２から変換ストローク情報が供給された場合には、表示制御手段３４４は、当該文字認識されなかったストロークがストローク画像として再現されるように、変換ストローク情報に基づいて表示手段３５に表示させる画像を描画する。
表示制御手段３４４は、このような制御を実現すべく、主に、文字サイズ調整手段３４４１及び描画手段３４４２により構成される。
【００５５】
ストロークが文字認識された場合には、文字サイズ調整手段３４４１は、表示枠認識手段３４３より供給された認識文字情報により表わされる文字列が、対応する表示枠内に収まるように、文字フォントのサイズを調整して、描画手段３４４２に通知する。
【００５６】
描画手段３４４２は、文字サイズ調整手段３４４１により通知されたフォントサイズと、表示枠認識手段３４３より供給された情報とに基づき、表示画面上の表示枠が該当する位置に、認識文字情報に対応する文字列が表示されるように、画像を描画する。そして、描画手段３４４２は、描画した画像を、表示手段３５に表示させる。
【００５７】
一方、ストロークが文字認識されなかった場合には、描画手段３４４２は、文字認識手段３４２より供給された変換ストローク情報に基づき、ストローク画像が表示画面上の該当する位置に表示されるように画像を描画する。そして、描画手段３４４２は、描画した画像を表示手段３５に表示させる。
【００５８】
送信制御手段３４５は、表示制御手段３４４を監視して、表示手段３５に表示される画像と同様の画像を各端末４がその表示面に表示できるように、表示手段３５の画面更新のタイミングに合わせて、送信情報を生成する。そして、送信制御手段３４５は、生成した送信情報を各端末４に送信するように送信手段３６を制御する。ストロークが文字認識された場合には、送信制御手段３４５は、当該認識文字情報及び対応する表示枠情報を含むように送信情報を生成する。一方、ストロークが文字認識されなかった場合には、送信制御手段３４５は、当該ストロークのストローク画像の情報（画像情報及び配置情報）を含むように送信情報を生成する。
【００５９】
［端末の構成］
次に、端末４について説明する。端末４は、ハードウェアとして、コンピュータ装置３とのデータ通信が可能な通信部やアンテナ部、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、タッチパネル等の入・出力部を含むスマートフォン等で構成される。これらのハードウェア構成の詳細については、図１６を参照して後述する。
【００６０】
図７は、端末４の機能ブロック図である。端末４は、機能的には、入力手段４１、受信手段４２、記憶手段４３、処理手段４４、及び表示手段４５を備える。そして、端末４は、コンピュータ装置３から受信した送信情報を用いて、各種の処理を行う。
【００６１】
入力手段４１は、タッチパネル等により構成され、タッチパネル（表示面）にユーザが指を接触させる操作に伴い、タッチパネル上の位置情報を検出し、処理手段４４に供給する。
受信手段４２は、アンテナ受信回路等により構成され、コンピュータ装置３からの送信情報を受信すると、処理手段４４に伝送する。なお、コンピュータ装置３とのデータ通信方式は、有線であっても無線であってもよいが、上述したように本実施形態ではWi-Fiによる無線通信方式が採用されている。
表示手段４５は、タッチパネル等によって構成され、処理手段４４によって指示された内容を画像として表示する。
【００６２】
記憶手段４３は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段４３は、処理手段４４の処理命令により、コンピュータ装置３から受信した送信情報を記憶する。また、記憶手段４３は、後述の翻訳手段４４３が翻訳処理を実行するために必要な翻訳辞書を含む翻訳エンジン等を予め記憶している。
【００６３】
処理手段４４は、主に、情報取得制御手段４４１、翻訳言語設定手段４４２、翻訳手段４４３、及び表示制御手段４４４、により構成される。
処理手段４４は、コンピュータ装置３から受信した情報に基づいて、その表示画面に翻訳文字列又はストローク画像を表示させるための各種の処理を実行する。
【００６４】
情報取得制御手段４４１は、受信制御手段４４１１及び情報種別判定手段４４１２により構成される。
受信制御手段４４１１は、コンピュータ装置３から逐次送信されてくる情報を、受信手段４２を制御して受信し、受信した情報を記憶手段４３に記憶させる。
次に、情報種別判定手段４４１２は、情報の種別として、文字情報が含まれる種類であるのか、それとも、画像情報が含まれる種類であるのかを判定する。情報種別判定手段４４１２は、受信した情報に文字情報が含まれると判定した場合、その情報を翻訳手段４４３に供給する。一方、情報種別判定手段４４１２は、受信した情報に画像情報が含まれると判定した場合、その情報を表示制御手段４４４に供給する。
【００６５】
翻訳言語設定手段４４２は、受信した情報に含まれる文字情報を後述の翻訳手段４４３によってどの言語に翻訳するのかを、設定言語として予め設定する。具体的には、翻訳開始前に、端末４を使用するユーザ（聴講者）が、入力手段４１を操作して、所望の言語（例えば、ユーザの母国語）を指示する。翻訳言語設定手段４４２は、このユーザからの指示を入力手段４１を介して認識し、当該指示にしたがって設定言語を設定する。そして、翻訳言語設定手段４４２は、設定した設定言語の情報を記憶手段４３に記憶する。
【００６６】
翻訳手段４４３は、情報種別判定手段４４１２により受信した情報が文字情報を含む種類であると判定された場合に機能する。翻訳手段４４３は、受信した情報に含まれる文字情報を設定言語に翻訳し、その結果得られる設定言語の翻訳文字情報及び当該情報に含まれる表示枠情報を表示制御手段４４４へ供給する。
文字情報の翻訳は、翻訳言語設定手段４４２により予め設定された設定言語に基づいて行われる。
なお、翻訳手段４４３は、受信した情報に含まれる文字情報の言語が設定言語と一致する場合には、翻訳処理の実行を禁止して、情報に含まれる文字情報を翻訳文字情報と見なしてそのまま表示制御手段４４４に供給する。これにより、端末４における翻訳処理の負担を軽減することができる。
【００６７】
表示制御手段４４４は、翻訳文字情報及び表示枠情報に基づいて、又はストローク画像の情報に基づいて、電子ペン１によりストロークが記入されたホワイトボード２上の内容に対応する、設定言語に翻訳された内容を示す画像を描画する。そして、表示制御手段４４４は、描画した画像を表示するように表示手段４５を制御する。表示制御手段４４４は、このような制御を実現すべく、主に、文字サイズ・改行調整手段４４４１及び描画手段４４４２により構成される。
【００６８】
受信した情報に文字情報が含まれている場合には、文字サイズ・改行調整手段４４４１は、翻訳手段４４３により供給された翻訳文字情報により表わされる翻訳文字列が対応する表示枠内に収まるように、文字フォントのサイズや改行位置を調整して、描画手段４４４２に通知する。
【００６９】
描画手段４４４２は、文字サイズ・改行調整手段４４４１により通知されたフォントサイズ及び改行位置と、対応する表示枠情報とに基づき、タッチパネル（表示面）上の表示枠が該当する位置に、翻訳文字情報に対応する翻訳文字列が表示されるように画像を描画する。そして、描画手段４４４２は、描画した画像を、表示手段４５に表示させる。
【００７０】
一方、受信情報に画像情報が含まれている場合には、描画手段４４４２は、情報種別判定手段４４１２から供給された情報に基づき、その情報に含まれる画像情報により表わされるストローク画像が、タッチパネル（表示面）上の該当する位置に表示されるように画像を描画する。そして、描画手段４４４２は、描画した画像を表示手段４５に表示させる。
【００７１】
［コンピュータ装置の処理フロー］
次に、図８を参照して電子ペン１を用いた電子ペン・システム１０によるコンピュータ装置３の処理フローについて説明する。
【００７２】
初めに、電子ペン１からホワイトボード２に記入されたストロークに関する記入情報が送信されると、コンピュータ装置３では、記入情報取得制御手段３４１が受信手段３２を制御して記入情報を受信し、記憶手段３３に記憶させる（Ｓ１０１）。
具体的には、ユーザ（講師）が、ホワイトボード２に対し電子ペン１で文字等を記入すると、電子ペン１は、記入情報を生成し、生成した記入情報をコンピュータ装置３へ逐次送信する。
そして、記入情報取得制御手段３４１の受信制御手段３４１１は、逐次送信されてくる記入情報を受信手段３２を制御し受信して記憶手段３３に記憶させる。
【００７３】
次に、座標変換手段３４１２は、受信した記入情報に含まれるホワイトボード２上の位置座標（Ｘ，Ｙ座標）を、コンピュータ装置３の表示画面上の位置座標に変換する。そして、座標変換手段３４１２は、受信記入情報の位置座標を変換後の位置座標に置換した記入情報（変換記入情報）を記憶手段３３に記憶する。そして、受信制御手段３４１１がペンダウン情報及びペンアップ情報によって１つのストローク情報を認識すると、座標変換手段３４１２は、当該ストローク情報に対応する変換ストローク情報を、文字認識手段３４２に供給する（ステップＳ１０２）。
【００７４】
次に、処理手段３４の文字認識手段３４２は、変換ストローク情報（コンピュータ装置３の表示画面上の位置座標に座標変換された座標属性情報の集合体）を、文字認識が可能か否かを判定する（ステップＳ１０３）。
具体的には、文字認識手段３４２は、座標変換手段３４１２から逐次供給される変換ストローク情報に基づいてストロークを認識しつつ、辞書データベースを参照して、特定した１以上のストロークにより表わされる文字列を文字情報として認識する。そして、文字認識手段３４２は、文字認識処理により認識した文字情報及び対応する変換ストローク情報を、表示枠認識手段３４３に供給する（ステップＳ１０３：ＹＥＳ）。
一方、文字認識手段３４２は、文字認識できなかった場合、当該文字認識できない変換ストローク情報を、表示制御手段３４４に供給する（ステップＳ１０３：ＮＯ）。
【００７５】
表示枠認識手段３４３は、文字認識手段３４２により供給された変換ストローク情報から、ストロークとその表示画面上での配置を特定して、当該ストロークが、上下左右に所定の余白を空けて包含される表示画面上の領域を表示枠として認識する（ステップＳ１０４）。そして、表示枠認識手段３４３は、認識した表示枠のサイズ及び位置を示す表示枠情報を、対応する認識文字情報とともに、表示制御手段３４４に供給する。
【００７６】
表示制御手段３４４の文字サイズ調整手段３４４１は、表示枠認識手段３４３により供給された情報に基づき、認識文字情報により表わされる認識文字列が、表示枠内に収まるように、その文字サイズ（フォントサイズ）を調整して、描画手段３４４２に通知する（ステップＳ１０５）。
【００７７】
描画手段３４４２は、ステップＳ１０５の処理で調整された文字サイズと、表示枠認識手段３４３により供給された情報とに基づき、表示画面上の表示枠が該当する位置に、認識文字列が表示されるように、画像を描画する。そして、描画手段３４４２は、描画した画像を、表示手段３５に表示させる（ステップＳ１０６）。これによって、電子ペン１によって記入された手書きの文字列に対応する認識文字列が、ホワイトボード２上の手書き文字列の記入位置（座標）に対応するディスプレイ（表示画面）上の表示位置に適切に表示される。
また、描画手段３４４２は、ステップＳ１０３で文字認識されなかった変換ストローク情報に基づき、ストローク画像が表示画面上の該当する位置に表示されるように画像を描画する。そして、描画手段３４４２は、描画した画像を表示手段３５に表示させる（ステップＳ１０６）。これによって、電子ペン１によって記入されたストロークが文字認識でされなかった場合には、ホワイトボード２上の手書きストロークの記入位置（座標）に対応するディスプレイ（表示画面）上の表示位置に、手書きされたストロークのストローク画像が表示される。
【００７８】
送信制御手段３４５は、表示制御手段３４４を監視しており、ステップＳ１０６の処理で画面表示が更新されるタイミングに合わせて、表示手段３５に表示される画像と同様の画像を各端末４がその表示面に表示できるように、送信情報を生成する。そして、送信制御手段３４５は、生成した送信情報を送信手段３６から各端末４に送信する（ステップＳ１０７）。
コンピュータ装置３は、上記の処理を繰り返して、受信した全ての記入情報についてステップＳ１０７の処理を実行すると、処理を終了する。
【００７９】
このようにして、受信した記入情報（座標属性情報を含む）から認識したストローク情報（１つのストロークを構成する座標属性情報の集合）に対応する変換ストローク情報が文字認識可能な場合（ステップＳ１０３：ＹＥＳ）、ステップＳ１０４〜Ｓ１０７の処理により、認識文字情報に対応する認識文字列が、文字列のストロークが記入されたホワイトボード２上の位置に対応する表示画面上の位置（表示枠）に表示されるとともに、当該認識文字情報及び表示枠情報を含む送信情報が生成されて、当該送信情報が各端末４に送信される。
【００８０】
これに対して、変換ストローク情報が文字認識不可能な場合（ステップＳ１０３：ＮＯ）、ステップＳ１０６、Ｓ１０７の処理により、変換ストローク情報に基づくストローク画像が、ストロークが記入されたホワイトボード２上の位置に対応する表示画面上の位置に表示されるとともに、当該ストローク画像の画像情報及び配置情報を含む送信情報が生成されて、当該送信情報が各端末４に送信される。
【００８１】
ここで、図９乃至図１１を参照して、図８のコンピュータ装置３の処理中における、表示手段３５の表示例を説明する。なお、表示枠を示す矩形状の破線は、説明の便宜上図示するもので、実際には表示されない。
【００８２】
図９は、講師が電子ペン１で「肺」という日本語の文字列（１文字）をホワイトボード２上に記入する場合における、コンピュータ装置３側のディスプレイ（表示手段３５）の表示例を示している。
図９（Ａ）に示すように、講師が、ホワイトボード２上に電子ペン１で「肺」という日本語の文字列（１文字）を構成する９つの第３ストローク群Ｓ３を記入すると、電子ペン１は、生成した記入情報がコンピュータ装置３へ逐次送信する。
コンピュータ装置３は、電子ペン１から逐次送信されてくる記入情報を記入情報取得制御手段３４１により受信して座標変換し（図８のステップＳ１０２）、文字認識手段３４２によって、それらの変換記入情報に含まれる座標属性情報の集合体（変換ストローク情報）を文字認識処理にかける。そして、コンピュータ装置３は、文字認識手段３４２によって、９つの第３ストローク群Ｓ３に対応する９つの変換ストローク情報から「肺」という文字に該当する文字情報を認識すると（図８のステップＳ１０３：ＹＥＳ）、図９（Ｂ）上段に示すように、表示枠認識手段３４３によって、当該「肺」という認識文字列が表示される表示画面上の位置である表示枠１２１のサイズと位置を認識する（同ステップＳ１０４）。そして、図９（Ｂ）下段に示すように、表示制御手段３４４によって、「肺」という認識文字列を所定のフォントの文字列Ｊ３として、ディスプレイ上の表示枠１２１の位置に表示するように、文字サイズを調整して（同ステップＳ１０５）、文字画像を描画し、文字画像を表示手段３５に表示する（同ステップＳ１０６）。
そして、送信制御手段３４５は、当該認識文字情報及び表示枠情報を含むように送信情報を生成しその情報を端末４へ送信する（同ステップＳ１０７）。
【００８３】
また、図１０は、講師が一連の文字列（複数文字）を電子ペン１でホワイトボード２上に記入する場合における、コンピュータ装置３側のディスプレイの表示例を示している。文字列が複数文字の場合も、文字列が１文字の場合と同様の処理が行われる。
図１０（Ａ）に示すように、講師が、ホワイトボード２上に電子ペン１で「肺がんの陰影に注意」という日本語の文字列（複数文字）を示す第２ストローク群Ｓ２を記入すると、電子ペン１は、生成した記入情報をコンピュータ装置３へ逐次送信する。
コンピュータ装置３は、文字認識手段３４２によって、複数の変換ストローク情報から逐次「肺」「が」「ん」・・・という文字に該当する文字情報を認識する（図８のステップＳ１０３：ＹＥＳ）。ここで、コンピュータ装置３は、「肺」の認識文字情報を認識した時点で、表示枠認識手段３４３により「肺」に対応する表示枠の認識を行う（同ステップＳ１０４）。そして、ディスプレイ上の該当する位置に所定のフォントで「肺」の認識文字列を表示できるように、文字サイズを調整して（同ステップＳ１０５）、文字画像を描画し、文字画像をディスプレイに表示する（同ステップＳ１０６）。続いて、「が」の認識文字情報が認識されたときに（同ステップＳ１０３：ＹＥＳ）、文字認識手段３４２は、変換ストローク情報に含まれる位置座標や時刻情報から、「肺」と「が」がひとまとまりの文字列であることを認識するため、「肺が」の２文字に対応する表示枠を表示枠認識手段３４３により認識し（同ステップＳ１０４）、表示制御手段３４４により、ディスプレイ上の該当する位置に「肺が」の認識文字列を表示できるように、文字サイズを調整し（同ステップＳ１０５）、文字画像を描画して、文字画像の表示をディスプレイ上に更新する（同ステップＳ１０６）。
同様にして、表示枠認識手段３４３が「肺がんの陰影に注意」という認識文字列に対応する表示枠１３１を認識して（図１０（Ｂ）上段）、表示制御手段３４４は、ディスプレイ上の該当する位置に「肺がんの陰影に注意」という認識文字列の所定のフォントによる文字列Ｊ２を表示できるように文字画像を描画して、文字画像の表示をディスプレイ上で更新する（図１０（Ｂ）下段）。また、送信制御手段３４５は、画面更新の都度、送信する情報を生成して、生成した情報を端末４へ送信する（同ステップＳ１０７）。
【００８４】
また、図１１は、講師が肺のイラストを電子ペン１でホワイトボード２上に記入する場合における、コンピュータ装置３側のディスプレイの表示例を示している。
図１１（Ａ）に示すように、講師が、ホワイトボード２上に電子ペン１で肺のイラストを構成する第１ストロークＳ１を記入すると、電子ペン１は、生成した記入情報をコンピュータ装置３へ逐次送信する。
コンピュータ装置３は、文字認識手段３４２によっても、複数の変換ストローク情報から文字が認識できないため（図８のステップＳ１０３：ＮＯ）、図１１（Ｂ）に示すように、これらの変換ストローク情報に基づく描画ストロークＰ１が、対応する複数のストロークＳ１が記入されたホワイトボード２上の位置に対応するディスプレイ上の位置に表示するように、ストローク画像を描画して、ディスプレイに表示する（同ステップＳ１０６）。
そして、送信制御手段３４５は、当該ストローク画像の画像情報及び配置情報を含むように送信情報を生成し、生成した送信情報を端末４へ送信する（同ステップＳ１０７）。
【００８５】
［端末の処理フロー］
次に、図１２を参照して図８のコンピュータ装置３から受信された情報に基づいて実行される端末４の処理フローについて説明する。
【００８６】
端末４の処理は、翻訳言語設定手段４４２により設定言語が予め設定されていることを前提として、コンピュータ装置３が情報を受信すると開始される。
即ち、講師が電子ペン１でストロークをホワイトボード２に記入すると、コンピュータ装置３は、上述の処理によって、電子ペン１で記入されたストロークに対応する認識文字情報又はストローク画像情報を含む送信情報を生成して、生成した情報を各端末４に逐次送信する。すると、各端末４において、次のような処理が実行される。
【００８７】
初めに、コンピュータ装置３から情報が逐次送信されると、端末４では、情報取得制御手段４４１の受信制御手段４４１１が受信手段４２を制御して情報を逐次受信し、記憶手段４３に記憶させる（ステップＳ２０１）。
【００８８】
次に、情報取得制御手段４４１の情報種別判定手段４４１２は、受信した情報の種別は文字情報を含む種類（テキスト）であるか否かを判定する（ステップＳ２０２）。情報種別判定手段４４１２は、情報の種類がテキストであると判定した場合、当該情報を翻訳手段４４３に供給する（ステップＳ２０２：ＹＥＳ）。
【００８９】
次に、翻訳手段４４３は、情報に含まれる文字情報を設定言語に翻訳し、その結果得られる設定言語の翻訳文字情報及び対応する表示枠情報を表示制御手段４４４に供給する（ステップＳ２０３）。
【００９０】
表示制御手段４４４の文字サイズ・改行調整手段４４４１は、翻訳文字情報により表わされる翻訳文字列が表示枠内に収まるように、その文字サイズ（フォントサイズ）及び改行位置を調整して、描画手段４４４２に通知する（ステップＳ２０４）。
【００９１】
表示制御手段４４４の描画手段４４４２は、ステップＳ２０４の処理で調整された文字サイズ及び改行位置と、表示枠情報とに基づき、タッチパネル（表示面）上の表示枠が該当する位置に、翻訳文字情報に対応する翻訳文字列が表示されるように文字画像を描画する。そして、描画手段４４４２は、文字画像を表示手段４５に表示させる（ステップＳ２０５）。
また、描画手段４４４２は、受信した情報に画像情報が含まれる場合（ステップＳ２０２：ＮＯ）、当該画像情報及び配置情報に基づき、ストローク画像がタッチパネル上の該当する位置に表示されるようにストローク画像を描画する。そして、描画手段４４４２は、描画したストローク画像を表示手段４５に表示させる（ステップＳ２０５）。
端末４は、上記処理を繰り返して、受信した全ての情報についてステップＳ２０５の処理を実行すると、処理を終了する。
【００９２】
このようにして、コンピュータ装置３によって電子ペン１のストロークが文字認識されて、受信した情報に文字情報が含まれる場合（ステップＳ２０２：ＹＥＳ）、ステップＳ２０３〜Ｓ２０５の処理により、設定言語に翻訳されてフォントサイズや改行の調整が行われた翻訳文字列が、タッチパネル上の、コンピュータ装置３のディスプレイに表示された認識文字列と同様の位置に、即ち、ホワイトボード２上の手書き文字列の記入位置と同様の位置に表示される。
【００９３】
これに対して、コンピュータ装置３によって電子ペン１のストロークが文字認識できず、送信情報に画像情報が含まれる場合（ステップＳ２０２：ＮＯ）、ホワイトボード２上の手書きストロークの記入位置（座標）に対応するタッチパネル（表示面）上の表示位置に、手書きされたストロークのストローク画像が表示される。
【００９４】
ここで、図１３乃至図１５を参照して、図１２の端末４の処理中における、タッチパネル（表示手段４５）の表示例を説明する。なお、表示枠を示す矩形状の破線は、説明の便宜上図示するもので、実際には表示されない。また、端末４側の表示例は、設定言語として英語が設定された端末４−１の場合で説明する。
【００９５】
図１３は、図９に示すコンピュータ装置３における表示例に対応しており、講師が電子ペン１で「肺」という日本語の文字列（１文字）をホワイトボード２上に記入する場合における、端末４−１側のタッチパネルの表示例を示している。
講師が、ホワイトボード２上に電子ペン１で「肺」という日本語の文字列（１文字）を構成するストローク（図９（Ａ）の第３ストローク群Ｓ３参照）を記入した場合、コンピュータ装置３は、図１３（Ａ）に示すように、文字認識された日本語の認識文字列Ｊ３をタッチパネルのディスプレイに表示するとともに、対応する認識文字情報及び表示枠情報を含む情報を生成して、各端末４に送信する。
端末４−１は、受信した当該情報に文字情報が含まれるため（図１２のステップＳ２０２：ＹＥＳ）、翻訳手段４４３により当該認識文字情報を設定言語に翻訳して、翻訳文字情報を得る（同ステップＳ２０３）。
そして、端末４−１は、表示制御手段４４４の翻訳文字情報により表わされる翻訳文字列を表示枠１２１内に表示できるよう、文字サイズ及び改行位置を調整する（同ステップＳ２０４）。そして、図１３（Ｂ）下段に示すように、表示制御手段４４４は、調整した文字サイズ及び改行位置（改行なし）並びに表示枠情報に基づき、タッチパネル上の表示枠１２１が該当する位置に、「lung」という翻訳文字列を所定のフォントの文字列Ｅ３として表示できるように文字画像を描画して、タッチパネルのディスプレイに表示する（同ステップＳ２０５）。
【００９６】
図１４は、図１０に示すコンピュータ装置３における表示例に対応しており、講師が電子ペン１で一連の文字列（複数文字）をホワイトボード２上に記入する場合における、端末４−１側のタッチパネルの表示例を示している。
講師が、ホワイトボード２上に電子ペン１で「肺がんの陰影に注意」という日本語の文字列（複数文字）を示す複数のストローク（図１０（Ａ）のストロークＳ２参照）を記入した場合、コンピュータ装置３は、図１４（Ａ）に示すように、文字認識された日本語の文字列Ｊ２をタッチパネルのディスプレイに表示するとともに、対応する認識文字情報及び表示枠情報を含む情報を生成して、各端末４へ送信する。
端末４−１は、受信した当該情報に文字情報が含まれるため（図１２のステップＳ２０２：ＹＥＳ）、翻訳手段４４３により、当該認識文字情報を設定言語に翻訳して、翻訳文字情報を得る（同ステップＳ２０３）。
そして、端末４−１は、表示制御手段４４４により、翻訳文字列が表示枠１３１内に表示されるよう、文字サイズ及び改行位置を調整する（同ステップＳ２０４）。そして、図１４（Ｂ）下段に示すように、表示制御手段４４４は、調整した文字サイズ及び改行位置並びに表示枠情報に基づき、タッチパネル上の表示枠１３１が該当する位置に翻訳文字列を所定のフォントの文字列Ｅ２として表示するように文字画像を描画して、タッチパネルのディスプレイに表示する（同ステップＳ２０５）。
【００９７】
図１５は、図１１に示すコンピュータ装置３における表示例に対応しており、講師が電子ペン１で肺のイラストをホワイトボード２上に記入する場合における、端末４−１側のタッチパネルの表示例を示している。
講師が、ホワイトボード２上に電子ペン１で肺のイラストを構成する複数のストローク（図１１（Ａ）のストロークＳ１参照）を描いた場合、コンピュータ装置３は、図１５（Ａ）に示すように、文字認識されなかった当該ストローク画像１６１（Ｐ１）をディスプレイに表示して、当該ストローク画像Ｐ１の画像情報及び配置情報を含む送信情報を生成し、各端末４へ送信する。
端末４−１は、受信した当該情報に文字情報が含まれないため（図１２のステップＳ２０２：ＮＯ）、表示制御手段４４４は、情報に含まれる画像情報及び配置情報に基づいて、対応するストローク画像Ｐ１を、タッチパネルのディスプレイに表示する（同ステップＳ２０５）。
【００９８】
［本実施形態による作用効果］
以上説明したように本実施形態によれば、電子ペン・システム１０は、コンピュータ装置３と端末４との間で、電子ペン１でホワイトボード２に記入されたストロークに関する情報を通信する。
コンピュータ装置３は、電子ペン１から送信される記入情報を受信して、ホワイトボード２上の位置情報をコンピュータ装置３のディスプレイ上の位置情報に変換する制御を実行する記入情報取得制御手段３４１と、１つ以上のストロークにより表わされる第１言語の文字列を、文字情報（認識文字情報）として認識する文字認識手段３４２と、文字認識手段３４２により認識された認識文字情報により表わされる第１言語の認識文字列が表示される表示枠１３１につき、そのサイズ及び配置位置（表示枠情報）を認識する表示枠認識手段３４３と、認識文字列が表示枠内に収まるように文字サイズを調整したうえで、ディスプレイ上の表示枠に該当する位置に表示されるように文字画像を描画して、ディスプレイに表示する制御を実行する表示制御手段３４４と、文字認識手段３４２により認識された認識文字情報及び表示枠認識手段３４３により認識された表示枠情報を含む情報を端末４に送信する制御を実行する送信制御手段３４５とを備える。
端末４は、コンピュータ装置３から送信される情報を受信して、受信した情報に文字情報が含まれるか否かを判別する制御を実行する情報取得制御手段４４１と、受信した情報に文字情報が含まれる場合に、当該第１言語の認識文字情報を、設定言語（第２言語）に翻訳する翻訳手段４４３と、翻訳手段４４３による第２言語の翻訳文字情報により表わされる翻訳文字列が、表示枠１３１に収まるように文字サイズ及び改行位置を調整したうえで、タッチパネル上の表示枠に該当する位置に表示されるように画像を描画して、描画した画像を表示手段４５に表示させる制御を実行する表示制御手段４４４とを備える。
【００９９】
このように、コンピュータ装置３の表示枠認識手段３４３により認識された表示枠１３１の位置及びサイズに基づいて、端末４において翻訳文字列を表示することができる。このため、電子ペン１でホワイトボード２に記入された文字列の位置と、端末４において翻訳文字列を表示する位置とをほぼ一致させることができる。したがって、ホワイトボード２に記入された文字列が他のストロークと重なっていない限り、翻訳文字列を端末４において表示させる場合にも、翻訳文字列が他のストロークと重ならないように表示することができる。また、電子ペン１で記入されたストロークにより表わされる第１言語の文字列の文字数と、第２言語に翻訳された翻訳文字列の文字数が異なる場合であっても、適切な表示状態を維持したまま、翻訳文字列を端末４で表示させることができる。
【０１００】
［変形例］
なお、本発明は、上記実施形態に限られない。
上記実施形態では、電子ペン１を用いる対象はホワイトボード２とされたが、特にこれに限られず、アノト方式のドットパターンが印刷された任意の書き込み媒体であればよい。また、電子ペン１やドットパターン（コード化パターン）、記入情報は、アノト方式に限られなくともよい。
【０１０１】
また、上記実施形態では、コンピュータ装置３から端末４に送信情報が送信されるタイミングは、画面更新の都度、換言すると、１以上のストロークから文字認識されて当該認識文字列（１文字）が画面に表示される都度、又は１以上のストロークが文字認識されず、ストローク画像として画面に表示される都度とされたが、特にこれに限られない。コンピュータ装置３は、電子ペン１により複数文字の文字列が記入される場合は、認識文字列を１文字単位で画面に逐次表示する都度に情報を生成せずに、一連の認識文字列を全て画面に表示してから情報を生成して、端末４に送信するようにしてもよい。なお、コンピュータ装置３は、文字認識機能によって、記入情報に含まれる位置座標や時刻情報に基づき、１以上のストロークが１文字を構成することや、複数の文字が一連の文字列を構成することを認識できる。
【符号の説明】
【０１０２】
１…電子ペン
２…ホワイトボード
３…コンピュータ装置
４…端末
１０…電子ペン・システム
３１…入力手段
３２…受信手段
３３…記憶手段
３４…処理手段
３５…表示手段
３６…送信手段
３４１…記入情報取得制御手段
３４１１…受信制御手段
３４１２…座標変換手段
３４２…文字認識手段
３４３…表示枠認識手段
３４４…表示制御手段
３４４１…文字サイズ調整手段
３４４２…描画手段
３４５…送信制御手段
４１…入力手段
４２…受信手段
４３…記憶手段
４４…処理手段
４５…表示手段
４４１…情報取得制御手段
４４１１…受信制御手段
４４１２…情報種別判定手段
４４２…翻訳言語設定手段
４４３…翻訳手段
４４４…表示制御手段
４４４１…文字サイズ・改行調整手段
４４４２…描画手段
【技術分野】
【０００１】
本発明は、電子ペンにより描画されたストロークを適切に表示するための、電子ペン・システム、コンピュータ装置、端末及びプログラムに関する。
【背景技術】
【０００２】
記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン（Anoto pen）」が知られている。アノトペンは、所定のドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、文字等を書くための通常のインクカートリッジに加えて、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像等の記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話等の端末装置に送信される（例えば、特許文献１参照）。
【０００３】
このような電子ペンやコンピュータ等で構成されるシステムを用いて、ドットパターンが印刷された書き込みボードに対して、電子ペンでストロークを記入する技術が、特許文献２に開示されている。
【０００４】
また、サーバから送信されたデータに基づき各端末において文字を認識し、認識した文字を翻訳する技術が特許文献３に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８４２２８３号公報
【特許文献２】特表２００３−５０８８３１号公報
【特許文献３】特開平６−２５９６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
電子ペン・システムにおいて、書き込みボードに記入されたストロークで表わされる第１言語の文字列を、コンピュータで翻訳して表示させたり、ストロークで描かれた絵等をコンピュータで描画させる場合に、本出願人は、次のような課題が生じることを見出した。
【０００７】
図１６は、その課題を説明する図である。
ユーザが、電子ペンで専用のドットパターンを形成した書き込みボード（図示せず）上に、ストローク画像３０１に対応する肺の絵を構成する第１ストローク群（図１６参照）、図１６に図示せぬ「肺がんの陰影に注意」という日本語の文字列を示す第２ストローク群、及び、図１６に図示せぬ「肺」という日本語の文字列（１文字）を示す第３ストローク群の各々を、相互に重畳しないように記入したとする。
この場合、英語に翻訳するコンピュータ側では、翻訳した文字を何ら調整しなければ、図１６に示すように、第１ストローク群に対応するストローク画像によって構成され、肺の絵を表わすストローク画像３０１に対して、第２及び第３ストローク群に対応する日本語の文字列を英語に翻訳した文字列である文字列３０２，３０３が重畳して表示されてしまうおそれがある。
ここで、「Notice a shadow of the lung cancer」という文字列３０２は、第２ストローク群により表わされる「肺がんの陰影に注意」という日本語の文字列を英語に翻訳したものである。「lung」という文字列３０３は、第３ストローク群により表わされる「肺」という日本語の文字列を英語に翻訳したものである。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、電子ペンで記入された描画ストロークにより表わされる第１言語の文字列の適切な配置状態を維持したまま、翻訳した第２言語の文字列を表示させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る電子ペン・システムは、コンピュータ装置と端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信する電子ペン・システムであって、前記コンピュータ装置は、ストローク情報を第１言語の文字列の文字情報として認識する文字認識手段と、前記ストローク情報に基づき、前記文字認識手段により認識された前記第１言語の文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段とを備え、前記端末は、前記コンピュータ装置から送信され前記情報を取得する制御を実行する情報取得制御手段と、前記情報取得制御手段の制御により取得された前記情報のうち、前記文字情報により表わされる前記第１言語の文字列を、第２言語の文字列に翻訳する翻訳手段と、前記表示枠の前記サイズ及び前記配置に対応する表示枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、を備えることを特徴とする。
【００１０】
この構成によれば、コンピュータ装置の表示枠認識手段により認識された表示枠のサイズ及び配置に基づいて、端末において文字列を挿入することができる。このため、電子ペンで書き込み媒体に記入されたストローク情報の文字列の配置と、ストローク情報を文字認識処理した結果の文字列を端末において表示した場合の配置とを同様にすることができる。そして、電子ペンで記入されたストロークにより表わされる第１言語の文字列を翻訳した場合であっても、適切な配置状態を維持したまま、翻訳語の第２言語の文字列を端末側で表示させることができる。
【００１１】
上記電子ペン・システムにおいて、前記コンピュータ装置の前記送信制御手段は、前記文字認識手段によって文字認識できないストローク情報に関する情報を前記端末へ送信し、前記端末の前記表示制御手段は、前記ストローク情報に関する情報に基づき、表示する文字と配置関係を維持した状態で、ストロークを描画するとよい。
この構成によれば、書き込み媒体への記入時に、記入されたストローク情報が文字認識手段によって文字認識できないストローク情報であっても、当該ストローク情報に基づくストロークと文字列とが重ならないように表示することができる。
【００１２】
上記電子ペン・システムにおいて、前記端末の前記表示制御手段は、前記表示枠の前記サイズ及び前記配置に対応する表示枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行するとよい。
第１言語を第２言語に翻訳した場合に、文字列が長くなり、表示枠サイズに収めるのが難しい場合もある。しかしながら、この構成により、表示制御手段により、表示枠のサイズ及び配置に基づいて、第２言語に翻訳された文字列が改行され、さらに文字サイズも調整されることで、調整された文字列が表示枠に挿入される。これにより、表示される文字列が不自然とならないように調整して文字を表示することができる。
【００１３】
また、本発明に係るコンピュータ装置は、端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信するコンピュータ装置であって、電子ペンから受信したストローク情報を、文字列で構成される文字情報として認識する文字認識手段と、前記ストローク情報に基づき、前記文字認識手段により認識された前記文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段と、を備えることを特徴とする。
【００１４】
この構成によれば、コンピュータ装置の表示枠認識手段により認識された表示枠のサイズ及び配置に基づいて、端末において文字列を挿入することができる。このため、電子ペンで書き込み媒体に記入された文字列の位置の配置関係を維持したまま、端末において文字列を表示することができる。したがって、書き込み媒体への記入時に、記入された文字列が文字列を含む他のストロークと重ならないように表示させることができる。
【００１５】
上記コンピュータ装置において、前記表示枠認識手段により認識された表示枠内に、翻訳手段による翻訳後の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段をさらに備えるとよい。
このように、表示枠に対し文字サイズが調整された文字列が表示枠内に表示される。これにより、表示される文字を適切な大きさに調整して文字列を表示することができる。
【００１６】
上記コンピュータ装置において、前記表示制御手段は、前記文字認識手段によって文字認識できないストローク情報に基づき、前記表示枠内に表示する文字列と配置関係を維持した状態で、ストロークを描画するとよい。
この構成によれば、記入されたストローク情報が文字認識手段によって文字認識できないストローク情報であっても、当該ストローク情報に基づくストロークと文字列とが重ならないように端末において表示することができる。
【００１７】
また、本発明に係るプログラムは、端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信する制御を実行するコンピュータを、電子ペンから受信したストローク情報を、文字列で構成される文字情報として認識する文字認識手段と、前記ストローク情報に基づき、前記文字認識手段により認識された前記文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段として機能させることを特徴とする。
この構成によれば、表示枠認識手段により認識された表示枠のサイズ及び配置に基づいて、端末において文字列を挿入することができる。このため、電子ペンで書き込み媒体に記入された文字列の位置の配置関係を維持したまま、端末において文字列を表示することができる。したがって、書き込み媒体への記入時に、記入された文字列が文字列を含む他のストロークと重ならないように端末において表示させることができる。
【００１８】
上記プログラムにおいて、前記コンピュータを、前記表示枠認識手段により認識された表示枠内に、翻訳手段による翻訳後の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段をさらに備えたものとしてさらに機能させてもよい。
このように、表示枠に対し文字サイズが調整された文字列が表示枠内に表示される。これにより、表示される文字を適切な大きさに調整して文字列を表示することができる。
【００１９】
上記プログラムにおいて、前記表示制御手段は、前記文字認識手段によって文字認識できないストローク情報に基づき、前記表示枠内に表示する文字列と配置関係を維持した状態で、ストロークを描画するとよい。
この構成によれば、記入されたストローク情報が文字認識手段によって文字認識できないストローク情報であっても、当該ストローク情報に基づくストロークと文字列とが重ならないように端末において表示することができる。
【００２０】
また、本発明に係る端末は、電子ペンで書き込み媒体に記入されたストロークの情報を翻訳する端末であって、電子ペンで生成されたストローク情報が文字認識処理されることにより生成された第１言語の文字列を構成する文字情報を、第２言語の文字列に翻訳する翻訳手段と、前記ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、を備えることを特徴とする。
この構成によれば、ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に翻訳後の文字列を挿入することができる。このため、電子ペンで書き込み媒体に記入された第１言語の文字列の配置状態を維持したまま、翻訳語の第２言語の文字列を端末側で表示させることができる。
【００２１】
上記端末において、前記表示制御手段は、文字認識処理されなかったストローク情報に関する情報に基づき、文字認識処理されて表示する文字と配置関係を維持した状態で、ストロークを描画するとよい。
この構成によれば、記入されたストローク情報が文字認識処理されなかったストローク情報であっても、当該ストローク情報に基づくストロークと文字列とが重ならないように表示することができる。
【００２２】
上記端末において、前記表示制御手段は、前記表示枠の前記サイズ及び前記配置に対応する枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行することができる。
第１言語を第２言語に翻訳した場合に、文字列が長くなり、表示枠サイズに収めるのが難しい場合であっても、この構成により、表示制御手段により、表示枠のサイズ及び配置に基づいて、翻訳後の文字列が改行され、さらに文字サイズも調整されることで、調整された文字列が表示枠に挿入される。これにより、表示される文字列が不自然とならないように調整して文字を表示することができる。
【００２３】
また、本発明に係るプログラムは、電子ペンで書き込み媒体に記入されたストロークの情報を翻訳するのに用いられる端末を、電子ペンで生成されたストローク情報が文字認識処理されることにより生成された第１言語の文字列を構成する文字情報を、第２言語の文字列に翻訳する翻訳手段と、前記ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、して機能させることを特徴とする。
この構成によれば、ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に翻訳後の文字列を挿入することができる。このため、電子ペンで書き込み媒体に記入された第１言語の文字列の配置状態を維持したまま、翻訳語の第２言語の文字列を端末側で表示させることができる。
【００２４】
上記プログラムにおいて、前記表示制御手段は、文字認識処理されなかったストローク情報に関する情報に基づき、文字認識処理されて表示する文字と配置関係を維持した状態で、ストロークを描画するとよい。
この構成によれば、記入されたストローク情報が文字認識処理されなかったストローク情報であっても、当該ストローク情報に基づくストロークと文字列とが重ならないように端末において表示することができる。
【００２５】
上記プログラムにおいて、前記表示制御手段は、前記表示枠の前記サイズ及び前記配置に対応する枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行するとよい。
第１言語を第２言語に翻訳した場合に、文字列が長くなり、表示枠サイズに収めるのが難しい場合であっても、この構成により、表示制御手段により、表示枠のサイズ及び配置に基づいて、翻訳後の文字列が改行され、さらに文字サイズも調整されることで、調整された文字列が表示枠に挿入される。これにより、表示される文字列が不自然とならないように調整して文字を表示することができる。
【発明の効果】
【００２６】
本発明によれば、電子ペンで記入された描画ストロークにより表わされる第１言語の文字列の適切な配置状態を維持したまま、翻訳した第２言語の文字列を表示させることができる。
【図面の簡単な説明】
【００２７】
【図１】本実施形態における電子ペン・システムのシステム構成図である。
【図２】本実施形態におけるホワイトボードの横断面を示す図である。
【図３】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図４】（Ａ）は、ドットパターンを模式的に示し、（Ｂ）は、それに対応する情報の例を示す図である。
【図５】電子ペンの構造を示す概略図である。
【図６】コンピュータ装置の機能ブロック図である。
【図７】端末の機能ブロック図である。
【図８】コンピュータ装置の処理フローを示すフローチャートである。
【図９】コンピュータ装置側の表示例を示す図である。
【図１０】コンピュータ装置側の表示例を示す図である。
【図１１】コンピュータ装置側の表示例を示す図である。
【図１２】端末の処理フローを示すフローチャートである。
【図１３】端末側の表示例を示す図である。
【図１４】端末側の表示例を示す図である。
【図１５】端末側の表示例を示す図である。
【図１６】従来の端末におけるディスプレイの表示例である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら、本発明の実施形態について説明する。
【００２９】
［電子ペン・システムの構成］
図１は、本実施形態に係る電子ペン・システムの構成を示す。本実施形態の電子ペン・システムは、１人の講師が、１人又は複数人の聴講者に講義をする教室等に設置されているものとする。図１に示すように、本実施形態に係る電子ペン・システム１０は、電子ペン１と、ドットパターン（コード化パターン）が形成されたホワイトボード２（書き込み媒体）と、コンピュータ装置３と、各聴講者が１台ずつ使用する端末４−１〜４−ｎとを有する。
【００３０】
講師は、ホワイトボード２に対して、電子ペン１でストロークを記入したり、電子イレイサー（図示せず）で当該ストロークを消去することによって講義を進める。なお本実施形態では、電子ペン１により記入される第１言語は日本語である。電子ペン１からの記入情報は、Bluetooth（登録商標）により、コンピュータ装置３に無線送信される。
【００３１】
コンピュータ装置３は、パーソナルコンピュータ（Personal computer）等で構成されており、その表示画面の位置座標と、ホワイトボード２上の電子ペン１による記入領域の位置座標とが対応付けられている。
コンピュータ装置３は、電子ペン１からの記入情報を受信して、ホワイトボード２上に記入されたストロークのうち、文字として認識できるものについては文字認識処理により文字情報として認識し、それ以外のものについてはストロークとして認識する。
そして、コンピュータ装置３は、文字認識された文字、及び描画ストロークを、ホワイトボード２に記載された配置関係を維持したままディスプレイに表示させる。
また、コンピュータ装置３は、当該文字情報及び当該画像情報を、Wi-Fi（無線ＬＡＮの標準規格IEEE802.11シリーズに準拠していることを示す、業界団体による証明マーク。本実施形態では、Wi-Fiマークが付された無線ＬＡＮ機器間の無線通信方式を示すためにも用いる。）により、各端末４−１〜４−ｎに無線送信する。
【００３２】
図１のホワイトボード２上には、講師が電子ペン１を用いて手書きでそれぞれ記入した、肺の絵を表わす第１ストローク群Ｓ１、「肺がんの陰影に注意」という日本語の文字列を示す第２ストローク群Ｓ２、及び、「肺」という日本語の文字列（１文字）を示す第３ストローク群Ｓ３の各々が、相互に重畳しないように記入されている。
コンピュータ装置３は、ホワイトボード２上に手書きで第１ストローク群Ｓ１が記入される際に電子ペン１から逐次送信されてくる記入情報を受信する。そして、コンピュータ装置３は、当該記入情報から把握されるストロークによっては文字を認識することはできないと判断し、当該記入情報に基づいて、対応する表示画面の位置にストロークを描画する。
また、コンピュータ装置３は、ホワイトボード２上に手書きで第２ストローク群Ｓ２が記入される際に電子ペン１から逐次送信されてくる記入情報を受信する。そして、コンピュータ装置３は、当該記入情報から把握されるストロークによって文字を認識することができると判断し、文字認識処理により、第２ストローク群Ｓ２により表わされる「肺がんの陰影に注意」という日本語の文字列Ｊ２を、文字情報として認識し、対応する表示画面の位置に文字情報を表示する。
同様に、コンピュータ装置３は、ホワイトボード２上に手書きで第３ストローク群Ｓ３が記入される際に電子ペン１から逐次送信されてくる記入情報を受信する。そして、コンピュータ装置３は、当該記入情報から把握されるストロークによって文字を認識することができると判断し、文字認識処理により、第３ストローク群Ｓ３により表わされる「肺」という日本語の文字列Ｊ３を、文字情報として認識し、対応する表示画面の位置に文字情報を表示する。
これにより、コンピュータ装置３は、肺の描画ストロークＰ１、文字認識した結果の「肺がんの陰影に注意」という日本語の文字列Ｊ２及び「肺」という日本語の文字列Ｊ３を、ホワイトボード２に記載された配置関係を維持したまま表示手段３５のディスプレイに表示することとなる。
また、コンピュータ装置３は、描画ストロークＰ１を示す画像情報、日本語の文字列Ｊ２を示す文字情報、及び日本語の文字列Ｊ３を示す文字情報を、それぞれの配置情報とともに、各端末４−１，４−２，４−３，・・・，４−ｎに送信する。
【００３３】
各端末４−１〜４−ｎは、ＰＤＡやスマートフォン等で構成されており、各聴講者（ユーザ）に１台ずつ提供されている。なお、以下、端末４−１〜４−ｎを個々に区別する必要がない場合、これらをまとめて単に「端末４」と呼ぶ。
端末４は、コンピュータ装置３から送信される画像情報又は第１言語の文字情報を受信して記憶させるとともに、当該画像情報に対応するストローク等を表示させたり、当該文字情報に対応する文字列（原文）（以下、「認識文字列」ともいう）を、予め設定された第２言語（以下、「設定言語」という）に翻訳し、設定言語に翻訳された文字列（訳文）（以下、「翻訳文字列」ともいう）をディスプレイに表示させる。
【００３４】
端末４−１は、例えば肺の描画ストロークＰ１に対応する画像情報を受信すると、当該描画ストロークＰ１を表示手段４５のディスプレイに表示させる。
端末４−１には、設定言語として英語が設定されている。そこで、端末４−１は、例えば「肺がんの陰影に注意」という日本語の文字列Ｊ２を示す文字情報をコンピュータ装置３から受信すると、この日本語の文字列Ｊ２を、「Notice a shadow of lung cancer」という英語の文字列Ｅ２に翻訳する。そして、端末４−１は、図１に示すように、英語の文字列Ｅ２を表示手段４５のディスプレイに表示させる。
ここで、英語の文字列Ｅ２は、日本語の文字列Ｊ２に対して文字数が多くなっているため、仮に、文字列Ｊ２と同一のフォントサイズで、文字列Ｊ２と同様に１行で表示された場合には、肺の描画ストロークＰ１と重畳してしまい適切に表示されない。そこで、本実施形態では、端末４−１は、日本語の文字列Ｊ２が配置される範囲と同一範囲内に収まるように、文字列Ｊ２に対応する配置情報を参照して、文字列Ｅ２のフォントサイズを調整したり、文字列Ｅ２を改行したりしたうえで、当該同一範囲内に当該文字列Ｅ２を表示させる。これにより、第１言語を第２言語に翻訳した場合に、文字列が長くなり、表示枠サイズに収めるのが難しい場合であっても、翻訳後の文字列が改行され、さらに文字サイズも調整されることで、ホワイトボード２上の配置関係を維持したまま、文字列Ｅ２が適切に表示される。
また例えば、端末４−１は、「肺」という日本語の文字列Ｊ３を示す文字情報をコンピュータ装置３から受信すると、この日本語の文字列Ｊ３を、「lung」という英語の文字列Ｅ３に翻訳する。そして、端末４−１は、図１に示すように、英語の文字列Ｅ３を表示手段４５のディスプレイに表示させる。
ここで、英語の文字列Ｅ３は、日本語の文字列Ｊ３に対して文字数が多くなっているため、仮に、文字列Ｊ３と同一のフォントサイズで表示された場合には、肺の描画ストロークＰ１と重畳してしまい適切に表示されない。そこで、本実施形態では、端末４−１は、日本語の文字列Ｊ３が配置される範囲と同一範囲内に収まるように、文字列Ｊ３に対応する配置情報を参照して、文字列Ｅ３のフォントサイズを調整したうえで、当該同一範囲内に当該文字列Ｅ３を表示させる。これにより、ホワイトボード２上の配置関係を維持したまま、文字列Ｅ３が適切に表示される。
【００３５】
端末４−２は、基本的には端末４−１と同様の処理を行う。但し、端末４−２では、設定言語としてドイツ語が設定されている。したがって、端末４−２は、日本語の文字列Ｊ２，Ｊ３を示す文字情報をコンピュータ装置３から受信すると、この日本語の文字列Ｊ２，Ｊ３をそれぞれ「Pass auf einen Schattan des Lungenkrebses auf」，「Lunge」というドイツ語に翻訳する。そして、端末４−２は、図１に示すように、ドイツ語に翻訳した翻訳文字列を表示手段４５のディスプレイに表示させる。
【００３６】
端末４−３は、基本的には端末４−１と同様の処理を行う。但し、端末４−３では、設定言語として日本語が設定されている。設定言語（第２言語）が第１言語である日本語と同一のため、端末４−３は、日本語の文字列Ｊ２，Ｊ３を示す文字情報をコンピュータ装置３から受信しても翻訳しない。そして、端末４−３は、図１に示すように、受信した文字情報による日本語の文字列を表示手段４５のディスプレイに表示させる。即ち、端末４−３は、コンピュータ装置３のディスプレイに表示されている各文字列Ｊ２，Ｊ３及び描画ストロークＰ１と同じ文字列及び描画ストロークを表示手段４５のディスプレイに表示させる。
【００３７】
図２は、このような電子ペン・システムのうち、ホワイトボード２の横断面を示す図である。図２に示すように、アノト方式のドットパターン（コード化パターン）を構成する各ドット２１は、白色のホワイトボード基板２２の全面に重畳して印刷されている。ここで、各ドット２１は、電子ペン１で読み取ることができるように、赤外線を吸収するカーボンを含有するインクで印刷されている。各ドット２１によるドットパターンが重畳して印刷されているホワイトボード基板２２の上には、ＥＢ（Electron Beam：電子線）硬化樹脂により形成されたＥＢ硬化樹脂保護層２３が積層されている。ＥＢ硬化樹脂保護層２３は、ホワイトボード基板２２上に印刷された各ドット２１を電子ペン１や電子イレイサーによる摩擦から保護し、ホワイトボード２の経年使用による劣化を防止する。
【００３８】
［ドットパターン］
続いて、ホワイトボード２に形成されるアノト方式のドットパターン（コード化パターン）について説明する。図３は、ホワイトボード２に印刷されるドットパターンのドットとそのドットが変換される値との関係を説明する図である。図３に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。即ち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、ホワイトボード２上の位置座標が決定されるよう構成されている。
【００３９】
図４（Ａ）は、あるドットパターンの配列を示している。図４（Ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、ホワイトボード２上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがホワイトボード２上のどの位置にあるのか）を保持している。図４（Ｂ）は、図４（Ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応付けられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。
【００４０】
［電子ペン］
次に電子ペン１について説明する。図５に示すように、電子ペン１は、その筐体１０１の内部に、マーカーペン１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。マーカーペン１０４の先端は、インクを備えるペン先部１０３となっており、講師（ユーザ）は、電子ペン１のペン先部１０３をホワイトボード２上に当接させて、文字等のストロークを記入したり、タップ（ペン先部１０３によるホワイトボード２への軽叩）したりする。ここで、電子ペン１のペン先部１０３がホワイトボード２に最初に接触することをペンダウンと呼び、接触している（当接している）状態からペン先部１０３が離れることをペンアップと呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。また、電子ペン１をペンダウンすることでペン先部１０３からホワイトボード２上に流出するインクにより、ストロークと略同一軌道の軌跡がホワイトボード２上に表示される。
【００４１】
バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ：記入された時刻情報）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりホワイトボード２に文字やマークを書いたりタップしたりする際にペン先部１０３からマーカーペン１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。
【００４２】
プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切替える。即ち、ユーザが電子ペン１でホワイトボード２に文字等を書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、通信ユニット１１１が、圧力センサ１０７により検出されたペンダウン情報と、後述するペンＩＤとを関連付けて、記入情報としてコンピュータ装置３へ送信する。また、ユーザが１つのストロークを記入し終えて電子ペン１をホワイトボード２から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット１１１が、圧力センサ１０７により検出されたペンアップ情報とペンＩＤとを関連付けて、記入情報としてコンピュータ装置３へ送信する。
【００４３】
ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、ホワイトボード２上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がホワイトボード２に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６には、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、ドットのインク素材は、赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットによって吸収される。そのため、ドットの部分は、赤外線の反射量が比較的少なく、ドット以外の部分は赤外線の反射量が比較的多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、ドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図４（Ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
【００４４】
プロセッサ１０８は、講師（ユーザ）の記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）のホワイトボード２上におけるＸ，Ｙ座標（単に「位置座標」、「座標情報」とも呼ぶ）を連続的に演算していく。即ち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図４（Ａ）に示されるようなドットパターンの画像データを図４（Ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、Ｘ，Ｙ座標データを演算する際に、回転補正処理機能により補正を行う。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ）、筆圧データ及びＸ，Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、ホワイトボード２における６×６のドットパターンは、ホワイトボード２内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がホワイトボード２のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。
【００４５】
メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤと、座標属性情報（時刻情報と、筆圧データと、Ｘ、Ｙ座標データ）とを関連付けて、記入情報としてコンピュータ装置３へ送信する。通信ユニット１１１によるコンピュータ装置３への送信は、Bluetooth（登録商標）等の無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン１のペンダウンからペンアップまでの間に生成されてコンピュータ装置３に送信された１個又は複数個の記入情報（座標属性情報）は、コンピュータ装置３によりストローク情報として記憶される。換言すると、１つのストロークは、１個又は複数個のＸ，Ｙ座標（座標点）からなり、コンピュータ装置３は、ペンダウン情報及びペンアップ情報によって、１つのストロークを構成する１個又は複数個の座標属性情報を認識する。このように、ユーザによる１つのストロークの記入により、電子ペン１によって生成される座標属性情報の集合を「ストローク情報」と呼ぶ。また、ペン先部１０３は、筆圧をマーカーペン１０４を介して圧力センサ１０７に伝達する。
【００４６】
［コンピュータ装置の構成］
次に、コンピュータ装置３の構成について説明する。コンピュータ装置３は、ハードウェアとして、電子ペン１や端末４とのデータ通信が可能なアンテナ等を含む通信部、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ等の出力部、マウスやキーボード等の入力部を含むパーソナルコンピュータ等で構成される。
【００４７】
図６は、コンピュータ装置３の機能ブロック図である。コンピュータ装置３は、機能的には、入力手段３１、受信手段３２、記憶手段３３、処理手段３４、表示手段３５及び送信手段３６を備える。そして、コンピュータ装置３は、電子ペン１から受信した記入情報に基づいて所定の処理を行う。
【００４８】
入力手段３１は、マウスやキーボード等により構成され、ユーザの操作に応じた各種情報を入力して、処理手段３４に供給する。
受信手段３２は、アンテナ受信回路等により構成され、電子ペン１からの記入情報を受信すると、処理手段３４に伝送する。
表示手段３５は、ディスプレイ（表示画面）等によって構成され、処理手段３４によって指示された内容を画像として表示する。
送信手段３６は、画像情報や認識された文字情報等の処理手段３４によって指示された情報を各端末４に送信する。なお、端末４へのデータ送信方式は、有線であっても無線であってもよいが、本実施形態ではWi-Fiによる無線通信方式が採用されている。
【００４９】
記憶手段３３は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段３３は、処理手段３４の処理命令により、ホワイトボード２におけるドットパターン上の位置座標を表示画面上の位置座標に変換する座標変換関数を記憶したり、電子ペン１から受信した記入情報をペンＩＤ毎に記憶したり、認識された文字情報を記憶したりする。また、記憶手段３３は、本電子ペン・システム１０で使用するプログラムや辞書データベース、ホワイトボード２に形成されたドットパターンの位置座標に関する座標定義情報等を予め記憶している。
【００５０】
処理手段３４は、主に、記入情報取得制御手段３４１、文字認識手段３４２、表示枠認識手段３４３、表示制御手段３４４、及び、送信制御手段３４５により構成される。処理手段３４は、ユーザの電子ペン１による入力に応じて、記入情報からストロークを特定していき、ストロークを文字認識した文字列又はストローク画像として表示手段３５に表示させたり、同様の画面を各端末４の表示面に表示させたりするために必要となる、各種の処理を実行する。
【００５１】
記入情報取得制御手段３４１は、受信制御手段３４１１及び座標変換手段３４１２により構成される。
受信制御手段３４１１は、電子ペン１から逐次送信される記入情報を受信手段３２を制御して受信し、受信した記入情報（以降、「受信記入情報」とも呼ぶ）を記憶手段３３に記憶させる。また、受信制御手段３４１１は、ペンダウン情報及びペンアップ情報によって、１つのストロークを構成するストローク情報（座標属性情報の集合）を認識すると、座標変換手段３４１２に通知する。
次に、座標変換手段３４１２は、記憶手段３３に記憶されている座標変換関数を用いて、受信記入情報に含まれるホワイトボード２上の位置座標（Ｘ，Ｙ座標）を、コンピュータ装置３の表示画面上の位置座標に変換する。そして、座標変換手段３４１２は、受信記入情報の位置座標を変換後の位置座標に置換した記入情報（以降、「変換記入情報」とも呼ぶ）を記憶手段３３に記憶する。また、座標変換手段３４１２は、受信制御手段３４１１によって通知されたストローク情報に対応する座標変換後のストローク情報（以降、「変換ストローク情報」とも呼ぶ）を、文字認識手段３４２に供給する。
【００５２】
文字認識手段３４２は、座標変換手段３４１２により供給された変換ストローク情報に基づいて、逐次、ストロークを認識しつつ、記憶手段３３に記憶された辞書データベースを参照して、認識した１以上のストロークにより文字認識可能か否かを判別し、文字認識可能な場合は、文字認識処理により、そのストロークにより表わされる文字列を文字情報として認識する。なお、文字認識手段３４２は、変換ストローク情報に含まれる位置座標や時刻情報に基づき、１以上のストロークが１文字を構成することや、複数の文字が一連の文字列（ひと塊の文字列）を構成することを認識する。
そして、文字認識手段３４２は、認識した文字情報（以降、「認識文字情報」とも呼ぶ）及び対応する変換ストローク情報を、表示枠認識手段３４３に供給する。
一方、文字認識手段３４２は、変換ストローク情報から文字を認識できない場合には、当該文字認識できない変換ストローク情報を、表示制御手段３４４に供給する。
【００５３】
表示枠認識手段３４３は、文字認識手段３４２により供給された変換ストローク情報から、表示画面上でのストローク及びその配置を認識して、当該ストロークが包含される領域、即ち、認識文字情報に対応する文字列（以降、「認識文字列」とも呼ぶ）が表示される表示画面上の領域を、表示枠として認識する。具体的には、表示枠認識手段３４３は、対象とするストロークが包含される矩形の領域（表示枠）のサイズ及びディスプレイ（表示画面）上の位置を表示枠として認識する。このとき、表示枠認識手段３４３は、描画ストロークが表示枠内の上下左右に所定の余白を空けて収まるように、表示枠を認識する。表示枠認識手段３４３は、認識した表示枠のサイズ及び位置を示す座標情報（以降、「表示枠情報」とも呼ぶ）を、対応する認識文字情報とともに、表示制御手段３４４に供給する。
【００５４】
表示制御手段３４４は、認識文字情報及び表示枠情報に基づいて、又は、文字認識されなかったストロークの変換ストローク情報に基づいて、電子ペン１によりストロークが記入されたホワイトボード２上の内容を示す画像を描画する。そして、表示制御手段３４４は、描画した画像を表示するように表示手段３５を制御する。ストロークが文字認識された場合には、即ち、表示枠認識手段３４３から認識文字情報及び表示枠情報が供給された場合には、表示制御手段３４４は、認識文字情報に対応する文字列が表示枠情報より特定される表示枠に収まるように、文字フォントのサイズを調整したうえで、表示手段３５に表示させる画像を描画する。一方、ストロークが文字認識されなかった場合には、即ち、文字認識手段３４２から変換ストローク情報が供給された場合には、表示制御手段３４４は、当該文字認識されなかったストロークがストローク画像として再現されるように、変換ストローク情報に基づいて表示手段３５に表示させる画像を描画する。
表示制御手段３４４は、このような制御を実現すべく、主に、文字サイズ調整手段３４４１及び描画手段３４４２により構成される。
【００５５】
ストロークが文字認識された場合には、文字サイズ調整手段３４４１は、表示枠認識手段３４３より供給された認識文字情報により表わされる文字列が、対応する表示枠内に収まるように、文字フォントのサイズを調整して、描画手段３４４２に通知する。
【００５６】
描画手段３４４２は、文字サイズ調整手段３４４１により通知されたフォントサイズと、表示枠認識手段３４３より供給された情報とに基づき、表示画面上の表示枠が該当する位置に、認識文字情報に対応する文字列が表示されるように、画像を描画する。そして、描画手段３４４２は、描画した画像を、表示手段３５に表示させる。
【００５７】
一方、ストロークが文字認識されなかった場合には、描画手段３４４２は、文字認識手段３４２より供給された変換ストローク情報に基づき、ストローク画像が表示画面上の該当する位置に表示されるように画像を描画する。そして、描画手段３４４２は、描画した画像を表示手段３５に表示させる。
【００５８】
送信制御手段３４５は、表示制御手段３４４を監視して、表示手段３５に表示される画像と同様の画像を各端末４がその表示面に表示できるように、表示手段３５の画面更新のタイミングに合わせて、送信情報を生成する。そして、送信制御手段３４５は、生成した送信情報を各端末４に送信するように送信手段３６を制御する。ストロークが文字認識された場合には、送信制御手段３４５は、当該認識文字情報及び対応する表示枠情報を含むように送信情報を生成する。一方、ストロークが文字認識されなかった場合には、送信制御手段３４５は、当該ストロークのストローク画像の情報（画像情報及び配置情報）を含むように送信情報を生成する。
【００５９】
［端末の構成］
次に、端末４について説明する。端末４は、ハードウェアとして、コンピュータ装置３とのデータ通信が可能な通信部やアンテナ部、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、タッチパネル等の入・出力部を含むスマートフォン等で構成される。これらのハードウェア構成の詳細については、図１６を参照して後述する。
【００６０】
図７は、端末４の機能ブロック図である。端末４は、機能的には、入力手段４１、受信手段４２、記憶手段４３、処理手段４４、及び表示手段４５を備える。そして、端末４は、コンピュータ装置３から受信した送信情報を用いて、各種の処理を行う。
【００６１】
入力手段４１は、タッチパネル等により構成され、タッチパネル（表示面）にユーザが指を接触させる操作に伴い、タッチパネル上の位置情報を検出し、処理手段４４に供給する。
受信手段４２は、アンテナ受信回路等により構成され、コンピュータ装置３からの送信情報を受信すると、処理手段４４に伝送する。なお、コンピュータ装置３とのデータ通信方式は、有線であっても無線であってもよいが、上述したように本実施形態ではWi-Fiによる無線通信方式が採用されている。
表示手段４５は、タッチパネル等によって構成され、処理手段４４によって指示された内容を画像として表示する。
【００６２】
記憶手段４３は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段４３は、処理手段４４の処理命令により、コンピュータ装置３から受信した送信情報を記憶する。また、記憶手段４３は、後述の翻訳手段４４３が翻訳処理を実行するために必要な翻訳辞書を含む翻訳エンジン等を予め記憶している。
【００６３】
処理手段４４は、主に、情報取得制御手段４４１、翻訳言語設定手段４４２、翻訳手段４４３、及び表示制御手段４４４、により構成される。
処理手段４４は、コンピュータ装置３から受信した情報に基づいて、その表示画面に翻訳文字列又はストローク画像を表示させるための各種の処理を実行する。
【００６４】
情報取得制御手段４４１は、受信制御手段４４１１及び情報種別判定手段４４１２により構成される。
受信制御手段４４１１は、コンピュータ装置３から逐次送信されてくる情報を、受信手段４２を制御して受信し、受信した情報を記憶手段４３に記憶させる。
次に、情報種別判定手段４４１２は、情報の種別として、文字情報が含まれる種類であるのか、それとも、画像情報が含まれる種類であるのかを判定する。情報種別判定手段４４１２は、受信した情報に文字情報が含まれると判定した場合、その情報を翻訳手段４４３に供給する。一方、情報種別判定手段４４１２は、受信した情報に画像情報が含まれると判定した場合、その情報を表示制御手段４４４に供給する。
【００６５】
翻訳言語設定手段４４２は、受信した情報に含まれる文字情報を後述の翻訳手段４４３によってどの言語に翻訳するのかを、設定言語として予め設定する。具体的には、翻訳開始前に、端末４を使用するユーザ（聴講者）が、入力手段４１を操作して、所望の言語（例えば、ユーザの母国語）を指示する。翻訳言語設定手段４４２は、このユーザからの指示を入力手段４１を介して認識し、当該指示にしたがって設定言語を設定する。そして、翻訳言語設定手段４４２は、設定した設定言語の情報を記憶手段４３に記憶する。
【００６６】
翻訳手段４４３は、情報種別判定手段４４１２により受信した情報が文字情報を含む種類であると判定された場合に機能する。翻訳手段４４３は、受信した情報に含まれる文字情報を設定言語に翻訳し、その結果得られる設定言語の翻訳文字情報及び当該情報に含まれる表示枠情報を表示制御手段４４４へ供給する。
文字情報の翻訳は、翻訳言語設定手段４４２により予め設定された設定言語に基づいて行われる。
なお、翻訳手段４４３は、受信した情報に含まれる文字情報の言語が設定言語と一致する場合には、翻訳処理の実行を禁止して、情報に含まれる文字情報を翻訳文字情報と見なしてそのまま表示制御手段４４４に供給する。これにより、端末４における翻訳処理の負担を軽減することができる。
【００６７】
表示制御手段４４４は、翻訳文字情報及び表示枠情報に基づいて、又はストローク画像の情報に基づいて、電子ペン１によりストロークが記入されたホワイトボード２上の内容に対応する、設定言語に翻訳された内容を示す画像を描画する。そして、表示制御手段４４４は、描画した画像を表示するように表示手段４５を制御する。表示制御手段４４４は、このような制御を実現すべく、主に、文字サイズ・改行調整手段４４４１及び描画手段４４４２により構成される。
【００６８】
受信した情報に文字情報が含まれている場合には、文字サイズ・改行調整手段４４４１は、翻訳手段４４３により供給された翻訳文字情報により表わされる翻訳文字列が対応する表示枠内に収まるように、文字フォントのサイズや改行位置を調整して、描画手段４４４２に通知する。
【００６９】
描画手段４４４２は、文字サイズ・改行調整手段４４４１により通知されたフォントサイズ及び改行位置と、対応する表示枠情報とに基づき、タッチパネル（表示面）上の表示枠が該当する位置に、翻訳文字情報に対応する翻訳文字列が表示されるように画像を描画する。そして、描画手段４４４２は、描画した画像を、表示手段４５に表示させる。
【００７０】
一方、受信情報に画像情報が含まれている場合には、描画手段４４４２は、情報種別判定手段４４１２から供給された情報に基づき、その情報に含まれる画像情報により表わされるストローク画像が、タッチパネル（表示面）上の該当する位置に表示されるように画像を描画する。そして、描画手段４４４２は、描画した画像を表示手段４５に表示させる。
【００７１】
［コンピュータ装置の処理フロー］
次に、図８を参照して電子ペン１を用いた電子ペン・システム１０によるコンピュータ装置３の処理フローについて説明する。
【００７２】
初めに、電子ペン１からホワイトボード２に記入されたストロークに関する記入情報が送信されると、コンピュータ装置３では、記入情報取得制御手段３４１が受信手段３２を制御して記入情報を受信し、記憶手段３３に記憶させる（Ｓ１０１）。
具体的には、ユーザ（講師）が、ホワイトボード２に対し電子ペン１で文字等を記入すると、電子ペン１は、記入情報を生成し、生成した記入情報をコンピュータ装置３へ逐次送信する。
そして、記入情報取得制御手段３４１の受信制御手段３４１１は、逐次送信されてくる記入情報を受信手段３２を制御し受信して記憶手段３３に記憶させる。
【００７３】
次に、座標変換手段３４１２は、受信した記入情報に含まれるホワイトボード２上の位置座標（Ｘ，Ｙ座標）を、コンピュータ装置３の表示画面上の位置座標に変換する。そして、座標変換手段３４１２は、受信記入情報の位置座標を変換後の位置座標に置換した記入情報（変換記入情報）を記憶手段３３に記憶する。そして、受信制御手段３４１１がペンダウン情報及びペンアップ情報によって１つのストローク情報を認識すると、座標変換手段３４１２は、当該ストローク情報に対応する変換ストローク情報を、文字認識手段３４２に供給する（ステップＳ１０２）。
【００７４】
次に、処理手段３４の文字認識手段３４２は、変換ストローク情報（コンピュータ装置３の表示画面上の位置座標に座標変換された座標属性情報の集合体）を、文字認識が可能か否かを判定する（ステップＳ１０３）。
具体的には、文字認識手段３４２は、座標変換手段３４１２から逐次供給される変換ストローク情報に基づいてストロークを認識しつつ、辞書データベースを参照して、特定した１以上のストロークにより表わされる文字列を文字情報として認識する。そして、文字認識手段３４２は、文字認識処理により認識した文字情報及び対応する変換ストローク情報を、表示枠認識手段３４３に供給する（ステップＳ１０３：ＹＥＳ）。
一方、文字認識手段３４２は、文字認識できなかった場合、当該文字認識できない変換ストローク情報を、表示制御手段３４４に供給する（ステップＳ１０３：ＮＯ）。
【００７５】
表示枠認識手段３４３は、文字認識手段３４２により供給された変換ストローク情報から、ストロークとその表示画面上での配置を特定して、当該ストロークが、上下左右に所定の余白を空けて包含される表示画面上の領域を表示枠として認識する（ステップＳ１０４）。そして、表示枠認識手段３４３は、認識した表示枠のサイズ及び位置を示す表示枠情報を、対応する認識文字情報とともに、表示制御手段３４４に供給する。
【００７６】
表示制御手段３４４の文字サイズ調整手段３４４１は、表示枠認識手段３４３により供給された情報に基づき、認識文字情報により表わされる認識文字列が、表示枠内に収まるように、その文字サイズ（フォントサイズ）を調整して、描画手段３４４２に通知する（ステップＳ１０５）。
【００７７】
描画手段３４４２は、ステップＳ１０５の処理で調整された文字サイズと、表示枠認識手段３４３により供給された情報とに基づき、表示画面上の表示枠が該当する位置に、認識文字列が表示されるように、画像を描画する。そして、描画手段３４４２は、描画した画像を、表示手段３５に表示させる（ステップＳ１０６）。これによって、電子ペン１によって記入された手書きの文字列に対応する認識文字列が、ホワイトボード２上の手書き文字列の記入位置（座標）に対応するディスプレイ（表示画面）上の表示位置に適切に表示される。
また、描画手段３４４２は、ステップＳ１０３で文字認識されなかった変換ストローク情報に基づき、ストローク画像が表示画面上の該当する位置に表示されるように画像を描画する。そして、描画手段３４４２は、描画した画像を表示手段３５に表示させる（ステップＳ１０６）。これによって、電子ペン１によって記入されたストロークが文字認識でされなかった場合には、ホワイトボード２上の手書きストロークの記入位置（座標）に対応するディスプレイ（表示画面）上の表示位置に、手書きされたストロークのストローク画像が表示される。
【００７８】
送信制御手段３４５は、表示制御手段３４４を監視しており、ステップＳ１０６の処理で画面表示が更新されるタイミングに合わせて、表示手段３５に表示される画像と同様の画像を各端末４がその表示面に表示できるように、送信情報を生成する。そして、送信制御手段３４５は、生成した送信情報を送信手段３６から各端末４に送信する（ステップＳ１０７）。
コンピュータ装置３は、上記の処理を繰り返して、受信した全ての記入情報についてステップＳ１０７の処理を実行すると、処理を終了する。
【００７９】
このようにして、受信した記入情報（座標属性情報を含む）から認識したストローク情報（１つのストロークを構成する座標属性情報の集合）に対応する変換ストローク情報が文字認識可能な場合（ステップＳ１０３：ＹＥＳ）、ステップＳ１０４〜Ｓ１０７の処理により、認識文字情報に対応する認識文字列が、文字列のストロークが記入されたホワイトボード２上の位置に対応する表示画面上の位置（表示枠）に表示されるとともに、当該認識文字情報及び表示枠情報を含む送信情報が生成されて、当該送信情報が各端末４に送信される。
【００８０】
これに対して、変換ストローク情報が文字認識不可能な場合（ステップＳ１０３：ＮＯ）、ステップＳ１０６、Ｓ１０７の処理により、変換ストローク情報に基づくストローク画像が、ストロークが記入されたホワイトボード２上の位置に対応する表示画面上の位置に表示されるとともに、当該ストローク画像の画像情報及び配置情報を含む送信情報が生成されて、当該送信情報が各端末４に送信される。
【００８１】
ここで、図９乃至図１１を参照して、図８のコンピュータ装置３の処理中における、表示手段３５の表示例を説明する。なお、表示枠を示す矩形状の破線は、説明の便宜上図示するもので、実際には表示されない。
【００８２】
図９は、講師が電子ペン１で「肺」という日本語の文字列（１文字）をホワイトボード２上に記入する場合における、コンピュータ装置３側のディスプレイ（表示手段３５）の表示例を示している。
図９（Ａ）に示すように、講師が、ホワイトボード２上に電子ペン１で「肺」という日本語の文字列（１文字）を構成する９つの第３ストローク群Ｓ３を記入すると、電子ペン１は、生成した記入情報がコンピュータ装置３へ逐次送信する。
コンピュータ装置３は、電子ペン１から逐次送信されてくる記入情報を記入情報取得制御手段３４１により受信して座標変換し（図８のステップＳ１０２）、文字認識手段３４２によって、それらの変換記入情報に含まれる座標属性情報の集合体（変換ストローク情報）を文字認識処理にかける。そして、コンピュータ装置３は、文字認識手段３４２によって、９つの第３ストローク群Ｓ３に対応する９つの変換ストローク情報から「肺」という文字に該当する文字情報を認識すると（図８のステップＳ１０３：ＹＥＳ）、図９（Ｂ）上段に示すように、表示枠認識手段３４３によって、当該「肺」という認識文字列が表示される表示画面上の位置である表示枠１２１のサイズと位置を認識する（同ステップＳ１０４）。そして、図９（Ｂ）下段に示すように、表示制御手段３４４によって、「肺」という認識文字列を所定のフォントの文字列Ｊ３として、ディスプレイ上の表示枠１２１の位置に表示するように、文字サイズを調整して（同ステップＳ１０５）、文字画像を描画し、文字画像を表示手段３５に表示する（同ステップＳ１０６）。
そして、送信制御手段３４５は、当該認識文字情報及び表示枠情報を含むように送信情報を生成しその情報を端末４へ送信する（同ステップＳ１０７）。
【００８３】
また、図１０は、講師が一連の文字列（複数文字）を電子ペン１でホワイトボード２上に記入する場合における、コンピュータ装置３側のディスプレイの表示例を示している。文字列が複数文字の場合も、文字列が１文字の場合と同様の処理が行われる。
図１０（Ａ）に示すように、講師が、ホワイトボード２上に電子ペン１で「肺がんの陰影に注意」という日本語の文字列（複数文字）を示す第２ストローク群Ｓ２を記入すると、電子ペン１は、生成した記入情報をコンピュータ装置３へ逐次送信する。
コンピュータ装置３は、文字認識手段３４２によって、複数の変換ストローク情報から逐次「肺」「が」「ん」・・・という文字に該当する文字情報を認識する（図８のステップＳ１０３：ＹＥＳ）。ここで、コンピュータ装置３は、「肺」の認識文字情報を認識した時点で、表示枠認識手段３４３により「肺」に対応する表示枠の認識を行う（同ステップＳ１０４）。そして、ディスプレイ上の該当する位置に所定のフォントで「肺」の認識文字列を表示できるように、文字サイズを調整して（同ステップＳ１０５）、文字画像を描画し、文字画像をディスプレイに表示する（同ステップＳ１０６）。続いて、「が」の認識文字情報が認識されたときに（同ステップＳ１０３：ＹＥＳ）、文字認識手段３４２は、変換ストローク情報に含まれる位置座標や時刻情報から、「肺」と「が」がひとまとまりの文字列であることを認識するため、「肺が」の２文字に対応する表示枠を表示枠認識手段３４３により認識し（同ステップＳ１０４）、表示制御手段３４４により、ディスプレイ上の該当する位置に「肺が」の認識文字列を表示できるように、文字サイズを調整し（同ステップＳ１０５）、文字画像を描画して、文字画像の表示をディスプレイ上に更新する（同ステップＳ１０６）。
同様にして、表示枠認識手段３４３が「肺がんの陰影に注意」という認識文字列に対応する表示枠１３１を認識して（図１０（Ｂ）上段）、表示制御手段３４４は、ディスプレイ上の該当する位置に「肺がんの陰影に注意」という認識文字列の所定のフォントによる文字列Ｊ２を表示できるように文字画像を描画して、文字画像の表示をディスプレイ上で更新する（図１０（Ｂ）下段）。また、送信制御手段３４５は、画面更新の都度、送信する情報を生成して、生成した情報を端末４へ送信する（同ステップＳ１０７）。
【００８４】
また、図１１は、講師が肺のイラストを電子ペン１でホワイトボード２上に記入する場合における、コンピュータ装置３側のディスプレイの表示例を示している。
図１１（Ａ）に示すように、講師が、ホワイトボード２上に電子ペン１で肺のイラストを構成する第１ストロークＳ１を記入すると、電子ペン１は、生成した記入情報をコンピュータ装置３へ逐次送信する。
コンピュータ装置３は、文字認識手段３４２によっても、複数の変換ストローク情報から文字が認識できないため（図８のステップＳ１０３：ＮＯ）、図１１（Ｂ）に示すように、これらの変換ストローク情報に基づく描画ストロークＰ１が、対応する複数のストロークＳ１が記入されたホワイトボード２上の位置に対応するディスプレイ上の位置に表示するように、ストローク画像を描画して、ディスプレイに表示する（同ステップＳ１０６）。
そして、送信制御手段３４５は、当該ストローク画像の画像情報及び配置情報を含むように送信情報を生成し、生成した送信情報を端末４へ送信する（同ステップＳ１０７）。
【００８５】
［端末の処理フロー］
次に、図１２を参照して図８のコンピュータ装置３から受信された情報に基づいて実行される端末４の処理フローについて説明する。
【００８６】
端末４の処理は、翻訳言語設定手段４４２により設定言語が予め設定されていることを前提として、コンピュータ装置３が情報を受信すると開始される。
即ち、講師が電子ペン１でストロークをホワイトボード２に記入すると、コンピュータ装置３は、上述の処理によって、電子ペン１で記入されたストロークに対応する認識文字情報又はストローク画像情報を含む送信情報を生成して、生成した情報を各端末４に逐次送信する。すると、各端末４において、次のような処理が実行される。
【００８７】
初めに、コンピュータ装置３から情報が逐次送信されると、端末４では、情報取得制御手段４４１の受信制御手段４４１１が受信手段４２を制御して情報を逐次受信し、記憶手段４３に記憶させる（ステップＳ２０１）。
【００８８】
次に、情報取得制御手段４４１の情報種別判定手段４４１２は、受信した情報の種別は文字情報を含む種類（テキスト）であるか否かを判定する（ステップＳ２０２）。情報種別判定手段４４１２は、情報の種類がテキストであると判定した場合、当該情報を翻訳手段４４３に供給する（ステップＳ２０２：ＹＥＳ）。
【００８９】
次に、翻訳手段４４３は、情報に含まれる文字情報を設定言語に翻訳し、その結果得られる設定言語の翻訳文字情報及び対応する表示枠情報を表示制御手段４４４に供給する（ステップＳ２０３）。
【００９０】
表示制御手段４４４の文字サイズ・改行調整手段４４４１は、翻訳文字情報により表わされる翻訳文字列が表示枠内に収まるように、その文字サイズ（フォントサイズ）及び改行位置を調整して、描画手段４４４２に通知する（ステップＳ２０４）。
【００９１】
表示制御手段４４４の描画手段４４４２は、ステップＳ２０４の処理で調整された文字サイズ及び改行位置と、表示枠情報とに基づき、タッチパネル（表示面）上の表示枠が該当する位置に、翻訳文字情報に対応する翻訳文字列が表示されるように文字画像を描画する。そして、描画手段４４４２は、文字画像を表示手段４５に表示させる（ステップＳ２０５）。
また、描画手段４４４２は、受信した情報に画像情報が含まれる場合（ステップＳ２０２：ＮＯ）、当該画像情報及び配置情報に基づき、ストローク画像がタッチパネル上の該当する位置に表示されるようにストローク画像を描画する。そして、描画手段４４４２は、描画したストローク画像を表示手段４５に表示させる（ステップＳ２０５）。
端末４は、上記処理を繰り返して、受信した全ての情報についてステップＳ２０５の処理を実行すると、処理を終了する。
【００９２】
このようにして、コンピュータ装置３によって電子ペン１のストロークが文字認識されて、受信した情報に文字情報が含まれる場合（ステップＳ２０２：ＹＥＳ）、ステップＳ２０３〜Ｓ２０５の処理により、設定言語に翻訳されてフォントサイズや改行の調整が行われた翻訳文字列が、タッチパネル上の、コンピュータ装置３のディスプレイに表示された認識文字列と同様の位置に、即ち、ホワイトボード２上の手書き文字列の記入位置と同様の位置に表示される。
【００９３】
これに対して、コンピュータ装置３によって電子ペン１のストロークが文字認識できず、送信情報に画像情報が含まれる場合（ステップＳ２０２：ＮＯ）、ホワイトボード２上の手書きストロークの記入位置（座標）に対応するタッチパネル（表示面）上の表示位置に、手書きされたストロークのストローク画像が表示される。
【００９４】
ここで、図１３乃至図１５を参照して、図１２の端末４の処理中における、タッチパネル（表示手段４５）の表示例を説明する。なお、表示枠を示す矩形状の破線は、説明の便宜上図示するもので、実際には表示されない。また、端末４側の表示例は、設定言語として英語が設定された端末４−１の場合で説明する。
【００９５】
図１３は、図９に示すコンピュータ装置３における表示例に対応しており、講師が電子ペン１で「肺」という日本語の文字列（１文字）をホワイトボード２上に記入する場合における、端末４−１側のタッチパネルの表示例を示している。
講師が、ホワイトボード２上に電子ペン１で「肺」という日本語の文字列（１文字）を構成するストローク（図９（Ａ）の第３ストローク群Ｓ３参照）を記入した場合、コンピュータ装置３は、図１３（Ａ）に示すように、文字認識された日本語の認識文字列Ｊ３をタッチパネルのディスプレイに表示するとともに、対応する認識文字情報及び表示枠情報を含む情報を生成して、各端末４に送信する。
端末４−１は、受信した当該情報に文字情報が含まれるため（図１２のステップＳ２０２：ＹＥＳ）、翻訳手段４４３により当該認識文字情報を設定言語に翻訳して、翻訳文字情報を得る（同ステップＳ２０３）。
そして、端末４−１は、表示制御手段４４４の翻訳文字情報により表わされる翻訳文字列を表示枠１２１内に表示できるよう、文字サイズ及び改行位置を調整する（同ステップＳ２０４）。そして、図１３（Ｂ）下段に示すように、表示制御手段４４４は、調整した文字サイズ及び改行位置（改行なし）並びに表示枠情報に基づき、タッチパネル上の表示枠１２１が該当する位置に、「lung」という翻訳文字列を所定のフォントの文字列Ｅ３として表示できるように文字画像を描画して、タッチパネルのディスプレイに表示する（同ステップＳ２０５）。
【００９６】
図１４は、図１０に示すコンピュータ装置３における表示例に対応しており、講師が電子ペン１で一連の文字列（複数文字）をホワイトボード２上に記入する場合における、端末４−１側のタッチパネルの表示例を示している。
講師が、ホワイトボード２上に電子ペン１で「肺がんの陰影に注意」という日本語の文字列（複数文字）を示す複数のストローク（図１０（Ａ）のストロークＳ２参照）を記入した場合、コンピュータ装置３は、図１４（Ａ）に示すように、文字認識された日本語の文字列Ｊ２をタッチパネルのディスプレイに表示するとともに、対応する認識文字情報及び表示枠情報を含む情報を生成して、各端末４へ送信する。
端末４−１は、受信した当該情報に文字情報が含まれるため（図１２のステップＳ２０２：ＹＥＳ）、翻訳手段４４３により、当該認識文字情報を設定言語に翻訳して、翻訳文字情報を得る（同ステップＳ２０３）。
そして、端末４−１は、表示制御手段４４４により、翻訳文字列が表示枠１３１内に表示されるよう、文字サイズ及び改行位置を調整する（同ステップＳ２０４）。そして、図１４（Ｂ）下段に示すように、表示制御手段４４４は、調整した文字サイズ及び改行位置並びに表示枠情報に基づき、タッチパネル上の表示枠１３１が該当する位置に翻訳文字列を所定のフォントの文字列Ｅ２として表示するように文字画像を描画して、タッチパネルのディスプレイに表示する（同ステップＳ２０５）。
【００９７】
図１５は、図１１に示すコンピュータ装置３における表示例に対応しており、講師が電子ペン１で肺のイラストをホワイトボード２上に記入する場合における、端末４−１側のタッチパネルの表示例を示している。
講師が、ホワイトボード２上に電子ペン１で肺のイラストを構成する複数のストローク（図１１（Ａ）のストロークＳ１参照）を描いた場合、コンピュータ装置３は、図１５（Ａ）に示すように、文字認識されなかった当該ストローク画像１６１（Ｐ１）をディスプレイに表示して、当該ストローク画像Ｐ１の画像情報及び配置情報を含む送信情報を生成し、各端末４へ送信する。
端末４−１は、受信した当該情報に文字情報が含まれないため（図１２のステップＳ２０２：ＮＯ）、表示制御手段４４４は、情報に含まれる画像情報及び配置情報に基づいて、対応するストローク画像Ｐ１を、タッチパネルのディスプレイに表示する（同ステップＳ２０５）。
【００９８】
［本実施形態による作用効果］
以上説明したように本実施形態によれば、電子ペン・システム１０は、コンピュータ装置３と端末４との間で、電子ペン１でホワイトボード２に記入されたストロークに関する情報を通信する。
コンピュータ装置３は、電子ペン１から送信される記入情報を受信して、ホワイトボード２上の位置情報をコンピュータ装置３のディスプレイ上の位置情報に変換する制御を実行する記入情報取得制御手段３４１と、１つ以上のストロークにより表わされる第１言語の文字列を、文字情報（認識文字情報）として認識する文字認識手段３４２と、文字認識手段３４２により認識された認識文字情報により表わされる第１言語の認識文字列が表示される表示枠１３１につき、そのサイズ及び配置位置（表示枠情報）を認識する表示枠認識手段３４３と、認識文字列が表示枠内に収まるように文字サイズを調整したうえで、ディスプレイ上の表示枠に該当する位置に表示されるように文字画像を描画して、ディスプレイに表示する制御を実行する表示制御手段３４４と、文字認識手段３４２により認識された認識文字情報及び表示枠認識手段３４３により認識された表示枠情報を含む情報を端末４に送信する制御を実行する送信制御手段３４５とを備える。
端末４は、コンピュータ装置３から送信される情報を受信して、受信した情報に文字情報が含まれるか否かを判別する制御を実行する情報取得制御手段４４１と、受信した情報に文字情報が含まれる場合に、当該第１言語の認識文字情報を、設定言語（第２言語）に翻訳する翻訳手段４４３と、翻訳手段４４３による第２言語の翻訳文字情報により表わされる翻訳文字列が、表示枠１３１に収まるように文字サイズ及び改行位置を調整したうえで、タッチパネル上の表示枠に該当する位置に表示されるように画像を描画して、描画した画像を表示手段４５に表示させる制御を実行する表示制御手段４４４とを備える。
【００９９】
このように、コンピュータ装置３の表示枠認識手段３４３により認識された表示枠１３１の位置及びサイズに基づいて、端末４において翻訳文字列を表示することができる。このため、電子ペン１でホワイトボード２に記入された文字列の位置と、端末４において翻訳文字列を表示する位置とをほぼ一致させることができる。したがって、ホワイトボード２に記入された文字列が他のストロークと重なっていない限り、翻訳文字列を端末４において表示させる場合にも、翻訳文字列が他のストロークと重ならないように表示することができる。また、電子ペン１で記入されたストロークにより表わされる第１言語の文字列の文字数と、第２言語に翻訳された翻訳文字列の文字数が異なる場合であっても、適切な表示状態を維持したまま、翻訳文字列を端末４で表示させることができる。
【０１００】
［変形例］
なお、本発明は、上記実施形態に限られない。
上記実施形態では、電子ペン１を用いる対象はホワイトボード２とされたが、特にこれに限られず、アノト方式のドットパターンが印刷された任意の書き込み媒体であればよい。また、電子ペン１やドットパターン（コード化パターン）、記入情報は、アノト方式に限られなくともよい。
【０１０１】
また、上記実施形態では、コンピュータ装置３から端末４に送信情報が送信されるタイミングは、画面更新の都度、換言すると、１以上のストロークから文字認識されて当該認識文字列（１文字）が画面に表示される都度、又は１以上のストロークが文字認識されず、ストローク画像として画面に表示される都度とされたが、特にこれに限られない。コンピュータ装置３は、電子ペン１により複数文字の文字列が記入される場合は、認識文字列を１文字単位で画面に逐次表示する都度に情報を生成せずに、一連の認識文字列を全て画面に表示してから情報を生成して、端末４に送信するようにしてもよい。なお、コンピュータ装置３は、文字認識機能によって、記入情報に含まれる位置座標や時刻情報に基づき、１以上のストロークが１文字を構成することや、複数の文字が一連の文字列を構成することを認識できる。
【符号の説明】
【０１０２】
１…電子ペン
２…ホワイトボード
３…コンピュータ装置
４…端末
１０…電子ペン・システム
３１…入力手段
３２…受信手段
３３…記憶手段
３４…処理手段
３５…表示手段
３６…送信手段
３４１…記入情報取得制御手段
３４１１…受信制御手段
３４１２…座標変換手段
３４２…文字認識手段
３４３…表示枠認識手段
３４４…表示制御手段
３４４１…文字サイズ調整手段
３４４２…描画手段
３４５…送信制御手段
４１…入力手段
４２…受信手段
４３…記憶手段
４４…処理手段
４５…表示手段
４４１…情報取得制御手段
４４１１…受信制御手段
４４１２…情報種別判定手段
４４２…翻訳言語設定手段
４４３…翻訳手段
４４４…表示制御手段
４４４１…文字サイズ・改行調整手段
４４４２…描画手段
【特許請求の範囲】
【請求項１】
コンピュータ装置と端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信する電子ペン・システムであって、
前記コンピュータ装置は、
電子ペンから受信したストローク情報を第１言語の文字列の文字情報として認識する文字認識手段と、
前記ストローク情報に基づき、前記文字認識手段により認識された前記第１言語の文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、
前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段と
を備え、
前記端末は、
前記コンピュータ装置から送信される前記情報を取得する制御を実行する情報取得制御手段と、
前記情報取得制御手段の制御により取得された前記情報のうち、前記文字情報により表わされる前記第１言語の文字列を、第２言語の文字列に翻訳する翻訳手段と、
前記表示枠の前記サイズ及び前記配置に対応する表示枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、
を備えることを特徴とする電子ペン・システム。
【請求項２】
前記コンピュータ装置の前記送信制御手段は、前記文字認識手段によって文字認識できないストローク情報に関する情報を前記端末へ送信し、
前記端末の前記表示制御手段は、前記ストローク情報に関する情報に基づき、表示する文字と配置関係を維持した状態で、ストロークを描画する
ことを特徴とする請求項１に記載の電子ペン・システム。
【請求項３】
前記端末の前記表示制御手段は、
前記表示枠の前記サイズ及び前記配置に対応する表示枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行すること
を特徴とする請求項１又は２に記載の電子ペン・システム。
【請求項４】
端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信するコンピュータ装置であって、
電子ペンから受信したストローク情報を、文字列で構成される文字情報として認識する文字認識手段と、
前記ストローク情報に基づき、前記文字認識手段により認識された前記文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、
前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段と、
を備えることを特徴とするコンピュータ装置。
【請求項５】
前記表示枠認識手段により認識された表示枠内に、翻訳手段による翻訳後の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段をさらに備えることを特徴とする請求項４に記載のコンピュータ装置。
【請求項６】
前記表示制御手段は、前記文字認識手段によって文字認識できないストローク情報に基づき、前記表示枠内に表示する文字列と配置関係を維持した状態で、ストロークを描画することを特徴とする請求項５に記載のコンピュータ装置。
【請求項７】
端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信する制御を実行するコンピュータを、
電子ペンから受信したストローク情報を、文字列で構成される文字情報として認識する文字認識手段と、
前記ストローク情報に基づき、前記文字認識手段により認識された前記文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、
前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段と
して機能させることを特徴とするプログラム。
【請求項８】
前記コンピュータを、
前記表示枠認識手段により認識された表示枠内に、翻訳手段による翻訳後の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段をさらに備えたものとしてさらに機能させることを特徴とする請求項７に記載のプログラム。
【請求項９】
前記表示制御手段は、前記文字認識手段によって文字認識できないストローク情報に基づき、前記表示枠内に表示する文字列と配置関係を維持した状態で、ストロークを描画することを特徴とする請求項８に記載のプログラム。
【請求項１０】
電子ペンで書き込み媒体に記入されたストロークの情報を翻訳する端末であって、
電子ペンで生成されたストローク情報が文字認識処理されることにより生成された第１言語の文字列を構成する文字情報を、第２言語の文字列に翻訳する翻訳手段と、
前記ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、
を備えることを特徴とする端末。
【請求項１１】
前記表示制御手段は、文字認識処理されなかったストローク情報に関する情報に基づき、文字認識処理されて表示する文字と配置関係を維持した状態で、ストロークを描画する
ことを特徴とする請求項１０に記載の端末。
【請求項１２】
前記表示制御手段は、前記表示枠の前記サイズ及び前記配置に対応する枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行することを特徴とする請求項１０又は１１に記載の端末。
【請求項１３】
電子ペンで書き込み媒体に記入されたストロークの情報を翻訳するのに用いられる端末を、
電子ペンで生成されたストローク情報が文字認識処理されることにより生成された第１言語の文字列を構成する文字情報を、第２言語の文字列に翻訳する翻訳手段と、
前記ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、
して機能させることを特徴とするプログラム。
【請求項１４】
前記表示制御手段は、文字認識処理されなかったストローク情報に関する情報に基づき、文字認識処理されて表示する文字と配置関係を維持した状態で、ストロークを描画する
ことを特徴とする請求項１３に記載のプログラム。
【請求項１５】
前記表示制御手段は、前記表示枠の前記サイズ及び前記配置に対応する枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行することを特徴とする請求項１３又は１４に記載のプログラム。
【請求項１】
コンピュータ装置と端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信する電子ペン・システムであって、
前記コンピュータ装置は、
電子ペンから受信したストローク情報を第１言語の文字列の文字情報として認識する文字認識手段と、
前記ストローク情報に基づき、前記文字認識手段により認識された前記第１言語の文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、
前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段と
を備え、
前記端末は、
前記コンピュータ装置から送信される前記情報を取得する制御を実行する情報取得制御手段と、
前記情報取得制御手段の制御により取得された前記情報のうち、前記文字情報により表わされる前記第１言語の文字列を、第２言語の文字列に翻訳する翻訳手段と、
前記表示枠の前記サイズ及び前記配置に対応する表示枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、
を備えることを特徴とする電子ペン・システム。
【請求項２】
前記コンピュータ装置の前記送信制御手段は、前記文字認識手段によって文字認識できないストローク情報に関する情報を前記端末へ送信し、
前記端末の前記表示制御手段は、前記ストローク情報に関する情報に基づき、表示する文字と配置関係を維持した状態で、ストロークを描画する
ことを特徴とする請求項１に記載の電子ペン・システム。
【請求項３】
前記端末の前記表示制御手段は、
前記表示枠の前記サイズ及び前記配置に対応する表示枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行すること
を特徴とする請求項１又は２に記載の電子ペン・システム。
【請求項４】
端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信するコンピュータ装置であって、
電子ペンから受信したストローク情報を、文字列で構成される文字情報として認識する文字認識手段と、
前記ストローク情報に基づき、前記文字認識手段により認識された前記文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、
前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段と、
を備えることを特徴とするコンピュータ装置。
【請求項５】
前記表示枠認識手段により認識された表示枠内に、翻訳手段による翻訳後の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段をさらに備えることを特徴とする請求項４に記載のコンピュータ装置。
【請求項６】
前記表示制御手段は、前記文字認識手段によって文字認識できないストローク情報に基づき、前記表示枠内に表示する文字列と配置関係を維持した状態で、ストロークを描画することを特徴とする請求項５に記載のコンピュータ装置。
【請求項７】
端末との間で、電子ペンで書き込み媒体に記入されたストロークの情報を通信する制御を実行するコンピュータを、
電子ペンから受信したストローク情報を、文字列で構成される文字情報として認識する文字認識手段と、
前記ストローク情報に基づき、前記文字認識手段により認識された前記文字列を表示するための表示枠を、そのサイズ及び配置とともに認識する表示枠認識手段と、
前記文字認識手段により認識された文字情報、並びに、前記表示枠認識手段により認識された前記表示枠の前記サイズ及び前記配置を含む情報を前記端末へ送信する制御を実行する送信制御手段と
して機能させることを特徴とするプログラム。
【請求項８】
前記コンピュータを、
前記表示枠認識手段により認識された表示枠内に、翻訳手段による翻訳後の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段をさらに備えたものとしてさらに機能させることを特徴とする請求項７に記載のプログラム。
【請求項９】
前記表示制御手段は、前記文字認識手段によって文字認識できないストローク情報に基づき、前記表示枠内に表示する文字列と配置関係を維持した状態で、ストロークを描画することを特徴とする請求項８に記載のプログラム。
【請求項１０】
電子ペンで書き込み媒体に記入されたストロークの情報を翻訳する端末であって、
電子ペンで生成されたストローク情報が文字認識処理されることにより生成された第１言語の文字列を構成する文字情報を、第２言語の文字列に翻訳する翻訳手段と、
前記ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、
を備えることを特徴とする端末。
【請求項１１】
前記表示制御手段は、文字認識処理されなかったストローク情報に関する情報に基づき、文字認識処理されて表示する文字と配置関係を維持した状態で、ストロークを描画する
ことを特徴とする請求項１０に記載の端末。
【請求項１２】
前記表示制御手段は、前記表示枠の前記サイズ及び前記配置に対応する枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行することを特徴とする請求項１０又は１１に記載の端末。
【請求項１３】
電子ペンで書き込み媒体に記入されたストロークの情報を翻訳するのに用いられる端末を、
電子ペンで生成されたストローク情報が文字認識処理されることにより生成された第１言語の文字列を構成する文字情報を、第２言語の文字列に翻訳する翻訳手段と、
前記ストローク情報に基づいて認識された表示枠のサイズ及び配置に対応する枠内に、前記翻訳手段による翻訳後の前記第２言語の文字列を、その文字サイズを調整して表示させる制御を実行する表示制御手段と、
して機能させることを特徴とするプログラム。
【請求項１４】
前記表示制御手段は、文字認識処理されなかったストローク情報に関する情報に基づき、文字認識処理されて表示する文字と配置関係を維持した状態で、ストロークを描画する
ことを特徴とする請求項１３に記載のプログラム。
【請求項１５】
前記表示制御手段は、前記表示枠の前記サイズ及び前記配置に対応する枠内に、翻訳後の前記第２言語の文字列を、その文字サイズと改行との調整により表示させる制御を実行することを特徴とする請求項１３又は１４に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２３４２７６（Ｐ２０１２−２３４２７６Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０１１３６（Ｐ２０１１−１０１１３６）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]