情報処理システム及び表示処理プログラム
【課題】ユーザの癖、あるいはユーザの文字入力中の姿勢等を勘案して手書き文字入力の自由度を高めた情報処理システムの提供。
【解決手段】座標位置を示すコード化パターンが形成されたスクリーン４上で、撮像装置を具備し、前記パターンにより逐次座標位置を認識可能な電子ペン１により文字記入領域４０６に手書き文字を入力する。この時に、入力された文字列の傾斜角度（θ）を前記座標位置から算出し、この算出された傾斜角度（θ）に基づいてコンピュータ装置２の文字記入領域２０６を回転させる。
【解決手段】座標位置を示すコード化パターンが形成されたスクリーン４上で、撮像装置を具備し、前記パターンにより逐次座標位置を認識可能な電子ペン１により文字記入領域４０６に手書き文字を入力する。この時に、入力された文字列の傾斜角度（θ）を前記座標位置から算出し、この算出された傾斜角度（θ）に基づいてコンピュータ装置２の文字記入領域２０６を回転させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置座標を示すコード化パターンを用いて情報を入力することができる情報処理システムに関し、特に、ユーザが文字や記号などを記入するための領域の制御に関する。
【背景技術】
【０００２】
近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ Ｐｅｎ）」が知られている。アノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙（以下、単に「専用紙」という。）とともに使用される。
【０００３】
具体的には、アノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。また、ユーザが専用紙上にアノトペンで文字等を書いた場合に、または、専用紙上に図案化されている画像にチェックマークを記入した場合に、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像して、プロセッサによって演算された連続する位置座標から、ユーザが記入した文字、記号または図形などの情報（以下、「記入情報」という。）が生成される。その後、この生成された記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される（例えば、特許文献１参照）。
【０００４】
また、コンピュータ装置の表示画面上を専用のペンその他のもので触れることによって文字や記号を記入し、それらの情報を取得する情報処理システムが提案されている。そして、その一つとして、所定の画面上の領域にユーザによって手書きされた文字を記入するための文字記入領域を用いるものが知られている。例えば、このような文字記入領域を用いるシステムとしては、文字記入領域が予め設定されており、当該文字記入領域に手書きされた文字又は記号などを取得させることによって、文字の記入を行う記入者（いわゆる、ユーザ）に対してその記入時の負担を軽減させる（例えば、特許文献２）。
【０００５】
さらに、このような情報処理システムを自動車などの移動体におけるナビゲーション装置の入力インターフェースとして用いるものも知られている（例えば、特許文献３）。このシステムにおいては、ユーザの指示に基づいて文字記入領域の傾斜角度が設定されるとともに、当該設定された傾斜角度に基づいて記入された文字又は記号の情報が取得される。
【０００６】
一方、文字記入領域を設定せずに、ユーザに自由に文字又は記号を記入させ、それらの記入された文字又は記号に基づいて、筆記された文字列としての方向（筆記方向）、文字の大きさ及び各文字の方向（文字方向）を解析する情報処理システムも知られている（例えば、特許文献４）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００３−５１１７６１号公報
【特許文献２】特開平８−５０５３０号公報
【特許文献３】特開２００８−２５０６７９号公報
【特許文献４】特開２００２−１７５４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２乃至４に記載の手書き文字を入力するシステムの何れにおいても、スムーズな文字入力を実行させるためのシステムとしては構築されていない。
【０００９】
例えば、特許文献２に記載の情報処理システムにあっては、傾斜された文字記入領域に文字を記入させる旨の記載はあるものの、文字記入中における文字記入領域の移動または回転など当該文字記入領域の範囲を変化させる旨の記載は無い。したがって、この情報処理システムは、ユーザの癖または当該ユーザの文字入力中における状況によっては、文字の入力中においてユーザが文字入力をスムーズに実行することが難しい場合がある。
【００１０】
また、特許文献３に記載のナビゲーション装置にあっては、文字を記入する前にユーザによって文字記入領域の傾斜が設定され、当該文字記入領域が固定されている旨が記載されているものの、文字記入領域の移動または回転など、文字記入中に当該文字記入領域の範囲を変化させる旨の記載は無い。したがって、特許文献２と同様に、このナビゲーション装置は、ユーザの癖または当該ユーザの文字入力中における状況によっては、文字の入力中においてユーザが文字入力をスムーズに実行することが難しい場合がある。
【００１１】
一方、特許文献４に記載の情報処理システムにあっては、そもそも、文字の入力位置を補助し、かつ、認識処理などの処理負担を軽減するための文字記入領域を表示させる機能が無く、文字が記入される位置が固定されていないので、文字記入領域の範囲を変化させる概念そのものがない。
【００１２】
本発明は、上記課題を解決するためになされたものであり、その目的は、ユーザの癖または当該ユーザの文字入力中における状況を勘案し、文字の入力中においてユーザが文字入力をスムーズに実行することが可能な情報処理システム及び表示処理プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
（１）上記課題を解決するため、本発明は、ユーザによる操作に基づいて位置座標を示すコード化パターンが形成されたスクリーン上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段と、前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段と、を備え、前記回転制御手段が、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させる構成を有している。
【００１４】
この構成により、本発明は、ユーザによって読取手段が移動させられて文字記入領域内に文字が入力されると、読取手段の移動経路が入力された文字列としてスクリーンに投影されるとともに、当該文字の記入中にユーザによって入力された文字列の傾斜角度を算出し、算出された傾斜角度に基づいてこの文字記入領域を回転させることができる。したがって、本発明は、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況など、文字入力中におけるユーザの状況を勘案して文字の入力中にユーザにスムーズに文字を入力させることができる。
【００１５】
（２）上記課題を解決するため、本発明は、ユーザによる操作に基づいて位置座標を示すコード化パターンが形成された光透過性シート上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段と、前記光透過性シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段と、を備え、前記回転制御手段が、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させる構成を有している。
【００１６】
この構成により、本発明は、ユーザによって読取手段が移動させられて文字記入領域内に文字が入力されると、読取手段の移動経路が入力された文字列として光透過性シートに表示されるとともに、当該文字の記入中にユーザによって入力された文字列の傾斜角度を算出し、算出された傾斜角度に基づいてこの文字記入領域を回転させることができる。したがって、本発明は、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況など、文字入力中におけるユーザの状況を勘案して文字の入力中にユーザにスムーズに文字を入力させることができる。
【００１７】
（３）上記情報処理システムにおいて、前記回転制御手段が、前記文字の記入中であって所定のタイミング毎に、前記文字列の傾斜角度を算出し、当該傾斜角度が算出される毎に前記文字記入領域を回転させる構成としてもよい。
【００１８】
この構成により、ユーザによって読取手段が移動させられて文字記入領域内に文字が入力されると、所定のタイミング毎にユーザによって入力された文字列の傾斜角度を算出し、算出された傾斜角度に基づいてこの文字記入領域を回転させることができる。したがって、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況など、文字入力におけるユーザの状況の変化に合わせて文字記入領域を回転させることができるので、文字の入力中にユーザの状況が変化してもユーザにスムーズに文字を入力させることができる。
【００１９】
（４）さらに、上記情報処理システムにおいて、前記文字記入領域内の前記移動経路の形状に基づいて文字認識を実行する文字認識処理手段を更に有し、前記回転制御手段が、前記所定のタイミングとして前記文字認識処理手段によって一文字認識される毎に、当該一文字として認識された際に用いられた移動経路群に基づいて前記文字列の傾斜角度を算出する構成とするとよい。
【００２０】
この構成により、一文字毎に文字列の傾斜角度を算出することができるので、ユーザが記入した文字列を的確に把握しつつ、文字列の傾斜角度を算出することができる。したがって、ユーザが記入した文字列に的確に対応させて文字記入領域を回転させることができる。
【００２１】
（５）さらにまた、上記情報処理システムにおいて、前記回転制御手段が、前記文字の認識処理手段によって一文字認識される毎に、当該認識された文字の移動経路群に基づいて定められる基準点を求め、当該求められた各基準点に基づいて前記文字列の傾斜角度を算出する構成とするとよい。
【００２２】
この構成により、各文字の中心点若しくは重心などの所定の演算により算出された点または各文字の座標上の最上点若しくは最下点など予め定められたサンプルとなる点に基づいて文字列の傾斜角度を算出することができるので、各文字の算出点またはサンプル点などの基準点を比較するだけで文字列の傾斜角度を算出することができる。したがって、容易にかつ確実にこの文字列の傾斜角度を算出することができる。
【００２３】
（６）また、上記情報処理システムにおいて、前記文字認識処理手段が、前記文字記入領域を回転させている場合には、当該文字記入領域の傾斜角度に基づいて、前記文字列を構成する移動経路を、回転する前の文字記入領域に相当する移動経路に変換して前記文字列の文字認識を再度実行する構成とするのが好ましい。
【００２４】
この構成により、文字記入領域の回転角度に基づいて、読取手段の移動経路を、回転する前の文字記入領域に対応する移動経路に変換することができるので、記入された各文字における傾斜が生じていない状態によって文字列の認識処理を再度実行することができる。したがって、文字認識の精度を向上させることができる。
【００２５】
（７）また、上記情報処理システムにおいて、前記回転制御手段が、前記所定のタイミングとして前記移動経路の構成要素である一ストロークが特定される毎に、当該各ストロークに含まれる前記移動経路の座標群に基づいて前記文字列の傾斜角度を算出して前記文字記入領域を回転させる構成とするとよい。
【００２６】
この構成により、移動経路のストローク毎に、文字列の傾斜角度を算出することができるので、ユーザの記入した文字における形状を確実に把握しつつ、文字列の傾斜角度を算出することができるとともに、ストロークの形状さえ特定されれば、文字列の傾斜角度を算出することができるので、文字認識処理との連動など複雑な処理を実行することなく、文字列の傾斜角度を算出することができる。
【００２７】
（８）さらに、上記情報処理システムにおいて、前記回転制御手段が、前記一ストロークが特定される毎に、各ストロークに含まれる前記移動経路の座標群に基づいて定められる基準点を求め、当該求められた各基準点に基づいて前記文字列の傾斜角度を算出する構成とするとよい。
【００２８】
この構成により、各ストロークの中心点などの所定の演算により算出された点または各ストロークの最上点若しくは最下点など予め定められたサンプル点に基づいて文字列の傾斜角度を算出することができるので、各文字の算出点またはサンプル点などの基準点を比較するだけで文字列の傾斜角度を算出することができる。したがって、容易にかつ確実にこの文字列の傾斜角度を算出することができる。
【００２９】
（９）また、上記情報処理システムにおいて、前記文字記入領域内の前記移動経路の形状に基づいて文字認識を実行する文字認識処理手段を更に備える構成とするとよい。
【００３０】
この構成により、文字列の傾斜角度の算出とは別の処理として文字認識の処理を実行することができるので、文字列の傾斜角度の算出と文字認識を連動させる必要がなく、それぞれの処理を簡易に構築することができる。
【００３１】
（１０）さらに、上記情報処理システムにおいて、前記文字認識処理手段が、前記文字記入領域を回転させている場合には、当該文字記入領域の回転角度に基づいて、前記読取手段の移動経路を回転する前の文字記入領域に相当する移動経路に変換して前記文字認識を実行する構成を有するとよい。
【００３２】
この構成により、文字記入領域の回転角度に基づいて、読取手段の移動経路を、回転する前の文字記入領域に対応する移動経路に変換することができるので、記入された各文字における傾斜が生じていない状態によって文字列の認識処理を実行することができる。したがって、文字認識の精度を向上させることができる。
【００３３】
（１１）また、上記情報処理システムにおいて、前記回転制御手段が、前記文字列の傾斜角度が既に算出されている場合には、当該既に算出された一以上の第１の傾斜角度と新規に算出された第２の傾斜角度とに基づいて新たな第３の傾斜角度を算出し、当該算出された第３の傾斜角度に基づいて前記文字記入領域を回転させる構成とするとよい。
【００３４】
この構成により、既に記入された文字列を勘案して傾斜角度を算出することができるので、文字記入領域の回転をユーザの記入状況に併せて確実に回転させることができる。
【００３５】
（１２）また、上記情報処理システムにおいて、前記スクリーンに投影される画像と同一の画像が表示される表示手段の表示制御を行う表示制御手段と、前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段と、を更に備え、前記回転制御手段が、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を回転させる構成とするとよい。
【００３６】
この構成により、算出手段によって算出された座標が座標変換手段によって表示手段の表示画面の座標に変換されたうえで、文字記入領域を回転させるので、スクリーンと表示手段の表示画面の異なる座標系を用いても文字記入領域の回転処理を確実に実行することができる。
【００３７】
（１３）あるいは、上記情報処理システムにおいて、前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段を更に備え、前記回転制御手段が、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を回転させる構成とするとよい。
【００３８】
この構成により、算出手段によって算出された座標が座標変換手段によって表示手段の表示画面の座標に変換されたうえで、文字記入領域を回転させるので、スクリーンと表示手段の表示画面の異なる座標系を用いても文字記入領域の回転処理を確実に実行することができる。
【００３９】
（１４）また、上記課題を解決するため、位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、前記コンピュータを、前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段、前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段、として機能させるとともに、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として更に機能させる構成を有している。
【００４０】
上記プログラムをコンピュータ装置にインストールすることにより、本発明に係る情報処理システムを構成させることができる。
【００４１】
（１５）また、上記課題を解決するため、位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、前記コンピュータを、前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段、前記光透過性シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段、として機能させるとともに、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として更に機能させる構成を有している。
【００４２】
上記プログラムをコンピュータ装置にインストールすることにより、本発明に係る情報処理システムを構成させることができる。
【発明の効果】
【００４３】
本発明は、ユーザによって読取手段が移動させられて文字記入領域内に文字が入力されると、読取手段の移動経路が入力された文字列としてスクリーンに投影されるとともに、当該文字の記入中にユーザによって入力された文字列の傾斜角度を算出し、算出された傾斜角度に基づいてこの文字記入領域を回転させることができる。したがって、本発明は、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況など、文字入力中におけるユーザの状況を勘案して文字の入力中にユーザにスムーズに文字を入力させることができる。
【図面の簡単な説明】
【００４４】
【図１】第１実施形態における情報処理システムのシステム構成図である。
【図２】ドットパターンにおけるドットの配置とそのドットが変換される値との関係を説明する図である。
【図３】ドットパターンを説明するための図であり、（ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す。
【図４】電子ペンの構造を示す概略図であるとともに、その機能を示すブロック図である。
【図５】コンピュータ装置の機能ブロック図である。
【図６】第１実施形態における第１認識処理を説明するための図である。
【図７】第１実施形態において文字記入領域の回転制御処理を説明するための図（Ｉ）であり、（ａ）は、文字列の傾斜角度における算出例を説明するための図、及び、（ｂ）は、算出された傾斜角度に基づいて回転される文字記入領域の一例である。
【図８】第１実施形態において文字記入領域の回転制御処理を説明するための図（ＩＩ）であり、（ａ）は、３文字目が記入されたときの文字列における傾斜角度の算出例を説明するための図、及び、（ｂ）は、算出された傾斜角度に基づいて回転される文字記入領域の一例である。
【図９】第１実施形態の情報処理システムにおける第１認識処理を伴う回転制御処理を含む表示処理の動作を示すフローチャートである。
【図１０】第１実施形態の情報処理システムにおける第２認識処理の動作を示すフローチャートである。
【図１１】第１実施形態の第１変形例に関する文字記入領域の回転制御処理を説明するための図であって、文字列の傾斜角度における算出例を説明するための図である。
【図１２】第１実施形態の第２変形例に関する文字記入領域の回転制御処理を説明するための図であって、文字列の傾斜角度における算出例を説明するための図である。
【図１３】第１実施形態の第３変形例に関する文字記入領域の回転制御処理を説明するための図であって、文字列の傾斜角度における算出例を説明するための図である。
【図１４】第１実施形態の第４変形例に関する文字記入領域の回転制御処理を説明するための図であって、（ａ）は、３文字目が記入されたときの文字列における傾斜角度の算出例を説明するための図、及び、（ｂ）は、算出された傾斜角度に基づいて回転される文字記入領域の一例である。
【図１５】第１実施形態の第５変形例に関する文字記入領域の回転制御処理を説明するための図であって、３文字目が記入されたときの文字列における傾斜角度の算出例を説明するための図である。
【図１６】第２実施形態において文字記入領域の回転制御処理を説明するための図であって、文字列の傾斜角度における算出例を説明するための図である。
【図１７】第２実施形態の情報処理システムにおける回転制御処理を含む表示処理の動作を示すフローチャートである。
【図１８】第３実施形態における情報処理システムの構成を示すシステム構成図である。
【発明を実施するための形態】
【００４５】
以下、本発明の各実施形態について、図面を参照しながら説明する。なお、以下に説明する実施形態は、プロジェクターによって予め定められたコード化パターンを有するスクリーンに所定の画像を投影させつつ、ユーザによってスクリーン及び電子ペンを用いて記入された記入情報を当該画像に重畳させる情報処理システムに、本発明の情報処理システム及び表示処理プログラムを適用した場合の実施形態である。
【００４６】
＜第１実施形態＞
はじめに、図１〜図１５の各図を用いて第１実施形態に係る情報処理システム１０について説明する。
【００４７】
［情報処理システムのシステム構成］
まず、情報処理システム１０の構成について説明する。なお、図１は、情報処理システム１０の構成を示すシステム構成図である。
【００４８】
情報処理システム１０は、図１に示すように、ユーザによって使用され、ユーザの手書きによりスクリーン４に記入された文字、記号または図形などのストローク（筆跡）に応じて記入情報を生成する電子ペン１と、当該電子ペン１によって生成された記入情報を受信して所定の処理を実行するコンピュータ装置２と、コンピュータ装置２から出力された画像信号を受信し、コンピュータ装置２が有する表示手段２６に表示される画像と同一の画像を同期してスクリーン４に投影するプロジェクター３とから構成される。
【００４９】
なお、電子ペン１は、本発明の読取手段及び算出手段を構成し、コンピュータ装置２は、本発明の投影出力手段、回転制御手段、文字認識処理手段、表示制御手段及び座標変換手段を構成する。また、プロジェクター３は、本発明の投影手段を構成する。
【００５０】
［スクリーン］
次に、本実施形態におけるスクリーン４について説明する。
【００５１】
スクリーン４は、電子ペン１に十分に筆圧がかかる程度に硬いマグネット板４０１と、後述するドットパターン（コード化パターン）が印刷により全面に形成された用紙４０２とから構成される。特に、用紙４０２は、マグネット板４０１の前面に、用紙４０２の上から図示しないマグネットによって押さえ付けることによって、または、糊、粘着剤等で貼りつけることによって固定されている。なお、マグネット板４０１の代わりにホワイトボード、パーティションボード又は部屋の壁面等を利用してもよい。また、用紙４０２の代わりに、ドットパターンが印刷されたシートでもよく、又は、スクリーン４にドットパターンが直接形成されていてもよい。
【００５２】
［ドットパターン］
次に、図２及び図３を用いて本実施形態におけるスクリーン４の用紙４０２に印刷されているアノト方式のドットパターン（コード化パターン）について説明する。なお、図２は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。また、図３は、ドットパターンを説明するための図である。
【００５３】
図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できるので、このようにして対応付けられた情報の組合せにより、スクリーン４上の位置座標が決定されるよう構成されている。なお、ドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。
【００５４】
図３（ａ）は、ある位置のドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍにおける範囲内に６×６の３６個のドット（以下、「６×６ドット」という。）が、スクリーン４（用紙４０２）上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは、スクリーン４（用紙４０２）上における相対的な位置座標を保持している。なお、図３（ｂ）は、図３（ａ）に示す各ドットを、仮想格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。
【００５５】
［電子ペン］
次に、図４を用いて本実施形態における電子ペン１の構造とその動作について説明する。なお、図４は、電子ペン１の構造を示す概略図であるとともに、その機能を示すブロック図である。
【００５６】
電子ペン１は、プロジェクター３により画像投影されるスクリーン４への、タップ（ペン先部１０３によるスクリーン４への軽叩）及び文字や記号または図形の記入に用いられる。また、ユーザによって電子ペン１を用いてスクリーン４上にタップされると、又は、文字、記号または図形が描かれると、電子ペン１は、後述するペン先部１０３のスクリーン４上の移動経路（以下、「筆跡」、「ストローク」ともいう。）に沿って、用紙４０２に印刷されたドットパターンを局所的、かつ、連続的に読み取る。そして、電子ペン１は、スクリーン４におけるその局所位置の座標を算出するとともに、その算出した位置座標データをコンピュータ装置２へ送信する。
【００５７】
具体的には、電子ペン１は、図４に示すように、その筐体１０１の内部に、ペン部１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。ペン部１０４の先端は、ペン先部１０３となっており、ペン先部１０３は、文字などの記入又はタップを行う際に、ユーザによってスクリーン４の用紙４０２に当接される。なお、電子ペン１によって、スクリーン４に記入された筆跡は、コンピュータ装置２の処理によりプロジェクター３によって投影されるため、ペン部１０４には、インクが充填されていないものがよいが、消去可能なインクが充填されたものであってもよい。
【００５８】
バッテリー１１２は、電子ペン１内の各部材に電力を供給するためのものであり、例えば、電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うように構成されている。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりスクリーン４に文字などを記入したりタップしたりする際に、ペン先部１０３からペン部１０４を通じて与えられる圧力、すなわち、筆圧を検出し、その値をプロセッサ１０８へ伝送する。
【００５９】
プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、電子ペン１のペンダウン（スクリーン４に接触してストロークが書き出しされること）及びペンアップ（接触している状態からペン先部１０３が離れること）を判定してＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切換える。すなわち、ユーザが電子ペン１によってスクリーン４に文字などを記入すると、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されるので、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、ユーザがスクリーン４から電子ペン１を離すと、圧力センサ１０７によって所定値以上の筆圧の検出がされなくなるので、その際には、プロセッサ１０８は、ユーザが１つの筆跡の記入を終了したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６の作動を終了させる。
【００６０】
ＬＥＤ１０５及びＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、スクリーン４上のペン先部１０３近傍に向けて赤外線を照射する。赤外線が照射される領域は、ペン先部１０３がスクリーン４に接触する位置とはわずかにずれるように構成されている。ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内における上述したドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。
【００６１】
上述のように、ドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されているので、ＬＥＤ１０５によって照射された赤外線は、ドットの位置においては吸収される。その結果、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多くなる。このため、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。
【００６２】
プロセッサ１０８は、ユーザによってスクリーン４に文字等が記入されている間、すなわち、圧力センサ１０７から与えられる筆圧データに基づいてＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチがオンの状態のときに、ＣＭＯＳカメラ１０６によって供給される各画像データのドットパターン毎に、スクリーン４上におけるＸ、Ｙ座標（以下、単に「位置座標」又は「座標データ」ともいう。）及びドットパターンアドレスを個々に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを、図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値及びＹ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データ及びドットパターンアドレスを演算する。
【００６３】
なお、上述のように、スクリーン４における６×６のドットパターンは、スクリーン４内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がスクリーン４のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（Ｔ）と、筆圧データ（Ｐ）と、Ｘ，Ｙ座標データ及びドットパターンアドレスとを関連付けて一の座標属性情報を生成する。
【００６４】
メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」などのペンＩＤ（電子ペン識別情報）、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、座標属性情報等にペンＩＤが関連付けられた各記入情報をコンピュータ装置２へ順次送信する。通信ユニット１１１によるコンピュータ装置２への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって即時的かつ逐次的に行われる。
【００６５】
次に、電子ペン１よりコンピュータ装置２へ送信される記入情報について説明する。ユーザが電子ペン１を用いてスクリーン４にストローク（筆跡）を記入する際には、まず、電子ペン１をスクリーン４に接触させる。すると、電子ペン１の圧力センサ１０７によってペン先部１０３にかかる筆圧を検出する。電子ペン１のプロセッサ１０８は、圧力センサ１０７によって所定値以上の筆圧が検出されたと判断すると、電子ペン１の用紙４０２（スクリーン４）への接触を示すペンダウン情報ＰＤと、電子ペン１の識別情報であるペンＩＤ等とを関連付けた記入情報を生成して、通信ユニット１１１に、その記入情報をコンピュータ装置２へ送信させる。
【００６６】
また、ユーザは、電子ペン１のペン先部１０３を用紙４０２（スクリーン４）に接触させた後、筆圧を維持しつつ、ペン先部１０３を移動させてストロークを描くが、電子ペン１のプロセッサ１０８も引き続き、演算により求めた座標情報（Ｘ，Ｙ）及びドットパターンアドレスと、圧力センサ１０７により検出される筆圧データ（Ｐ）、リアルタイムクロック１１０により発信された時刻情報（Ｔ）とを含む座標属性情報及びペンＩＤを関連付けた記入情報を、ＣＭＯＳカメラ１０６によるドットパターンの撮影周期に応じて、逐次生成し、通信ユニット１１１に当該記入情報を順次コンピュータ装置２へ送信させる。
【００６７】
そして、ユーザがストロークを描き終えて電子ペン１を用紙４０２（スクリーン４）から離すと、圧力センサ１０７は、筆圧を検出しなくなるため、プロセッサ１０８は、圧力センサ１０７によって所定値以上の筆圧が検出されなくなったと判断する。すると、プロセッサ１０８は、電子ペン１の用紙４０２（スクリーン４）への離脱を示すペンアップ情報ＰＵと、電子ペン１の識別情報であるペンＩＤ等とを関連付けた記入情報を生成して、通信ユニット１１１に、その記入情報をコンピュータ装置２へ送信させる。このように、電子ペン１がペンダウンと判定してからペンアップと判定するまでに、すなわち、ユーザの一つのストロークの記入により、電子ペン１によって生成される座標属性情報の集合をストローク情報と呼ぶ。
【００６８】
［コンピュータ装置］
次に、図１及び図５の各図を用いて本実施形態のコンピュータ装置２について説明する。なお、図５は、コンピュータ装置２の各機能を示す機能ブロック図である。
【００６９】
コンピュータ装置２は、例えば、パーソナルコンピュータであって、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等によって構成される。また、コンピュータ装置２は、図５を示すように、機能的には、マウスやキーボードなどから構成される入力手段２１、受信手段２２、処理手段２４、記憶手段２５、表示手段２６及び送信手段２７を備え、電子ペン１から受信した記入情報に基づいて所定の処理を行う。
【００７０】
受信手段２２は、アンテナや受信回路等により構成され、電子ペン１から送信された各記入情報を順次受信し、処理手段２４に伝送する。
【００７１】
処理手段２４は、ＣＰＵ等のプロセッサによって構成される。処理手段２４は、所定のキャリブレーション処理及びキャリブレーション処理の結果に基づいて表示手段２６に表示するための座標変換処理を実行する。キャリブレーション処理としては、処理手段２４は、スクリーン４上のドットパターンによる位置座標をコンピュータ装置２の表示手段２６における表示エリア２０１上の位置座標に座標変換するための座標変換関数を求める。
【００７２】
また、処理手段２４は、表示手段２６の表示エリア２０１上における文字記入領域２０６の制御処理、文字記入領域２０６がスクリーン４に投影された文字記入領域４０６内に記入された文字又は記号を構成するストロークの座標データが座標変換関数により座標変換された後の座標データの認識処理及び表示手段２６における各種の表示制御処理を実行する。特に、処理手段２４は、文字認識処理と連動して文字記入領域２０６の回転制御の処理（以下、単に「回転制御処理」又は「回転処理」という。）を行う。具体的には、処理手段２４は、ユーザが電子ペン１により文字記入領域４０６に文字を記入すると、電子ペン１から送信された記入情報に含まれる座標データを座標変換関数により座標変換して、一文字毎に文字認識を行いつつ、入力された文字列の傾斜角度（θ）を算出し、この算出された傾斜角度（θ）に基づいて文字記入領域２０６を回転させる。
【００７３】
処理手段２４は、上述のような各処理を実行するために、図５に示すように、キャリブレーション処理部２４１と、座標変換部２４２と、文字認識処理部２４３と、文字記入領域制御部２４４と、表示制御部２４５とを有している。なお、文字認識処理部２４３及び文字記入領域制御部２４４を含めて、処理手段２４の各部の詳細については後述する。
【００７４】
記憶手段２５は、ハードディスク又はＲＯＭ、ＲＡＭなどのメモリによって構成される。そして、記憶手段２５には、キャリブレーション処理を実行するためのプログラム（以下、「キャリブレーションプログラム」という。）と、文字記入領域２０６を回転させる回転制御処理を実行するためのプログラム（以下、「文字記入領域回転プログラム」という。）と、文字記入領域回転プログラムと連動して実行される文字認識処理のプログラム（以下、「文字認識プログラム」という。）とが予め記憶されている。
【００７５】
具体的には、キャリブレーションプログラムに関しては、表示手段２６に表示するキャリブレーション用マークの表示エリア２０１上の位置座標及び形状等の情報、スクリーン４の用紙４０２に印刷されているドットパターンの座標領域の値が記憶手段２５に記憶される。また、文字記入領域回転プログラムに関しては、表示手段２６に表示される文字記入領域２０６の座標領域の初期値、その範囲を画定表示するためのマーク（以下、「画定マーク」ともいう。）２０７の形状など、画定マーク２０７の初期座標及びその他の文字記入領域２０６の回転制御処理に必要な各情報が記憶手段２５に予め記憶されている。さらに、文字認識プログラムに関しては、表示手段２６に表示された文字記入領域２０６に基づいてスクリーン４上に投影された文字記入領域４０６内に描かれ、文字記入領域４０６への記入として取り込まれたストローク群によって形成される形状パターンの照合に用いる、各文字又は記号に関するパターンの情報（以下、「パターン情報」という。）その他の文字認識処理に必要な情報が記憶手段２５に予め記憶されている。
【００７６】
上記のデータに加えて、記憶手段２５には、ユーザがスクリーン４に文字、記号又は図形を記入した際に電子ペン１によって生成されたストローク毎の各記入情報が記憶されるとともに、後述する各文字認識対象ストロークＳＴの各ストローク情報が記憶される。また、記憶手段２５には、キャリブレーション処理により求められた座標変換関数、回転制御処理によって回転された文字記入領域２０６の座標領域の値、及び、座標変換により文字記入領域２０６に入力された文字列の傾斜角度（＝文字記入領域の回転角度）（θ）など、キャリブレーション処理、文字認識処理（第１認識処理及び第２認識処理）並びに回転制御処理の各処理中または処理後に、各プログラムに沿って又は各処理中におけるユーザの指示に従って生成された各種のデータが記憶される。
【００７７】
表示手段２６は、液晶又は有機ＥＬなどのディスプレイ等によって構成され、処理手段２４によって指示された内容を表示するものであり、図１に示すように、表示手段２６の表示エリア２０１には、処理手段２４の表示制御部２４５の処理により、認識文字表示位置マーク２０５と、文字記入領域２０６と、画定マーク２０７とを表示する。
【００７８】
送信手段２７は、処理手段２４の指示によって、表示手段２６の画像表示に用いられる画像信号をプロジェクター３へ送信する。このため、スクリーン４には、コンピュータ装置２の表示エリア２０１に表示された画像と同じ画像が同期して、プロジェクター３によって画像投影領域４０３に拡大されて投影される。また、図１に示す例では、表示エリア２０１に表示された、画定マーク２０７により画定された文字記入領域２０６は、それぞれスクリーン４上に、対応する画定マーク４０７により画定された文字記入領域４０６として投影される。なお、送信手段２７によるプロジェクター３へのデータ送信方式は、有線式であっても無線式であってもよい。
【００７９】
［処理手段］
次に、図５とともに図６〜図８の各図を用いて処理手段２４における各部の詳細について説明する。なお、図６は、第１認識処理を説明するための図である。また、図７は、文字記入領域の回転制御処理を説明するための図（Ｉ）であり、特に、図７（ａ）は、文字列の傾斜角度（θ）における算出例を説明するための図、及び、図７（ｂ）は、算出された傾斜角度（θ）に基づいて回転される文字記入領域の一例である。さらに、図８は、文字記入領域の回転制御処理を説明するための図（ＩＩ）であり、特に、図８（ａ）は、３文字目が記入されたときの文字列における傾斜角度（θ）の算出例を説明するための図、及び、図８（ｂ）は、算出された傾斜角度（θ）に基づいて回転される文字記入領域の一例である。
【００８０】
（１）キャリブレーション処理部
キャリブレーション処理部２４１は、記憶手段２５に記憶されたキャリブレーションプログラムに従って、スクリーン４上のドットパターンによる位置座標を、表示手段２６における表示エリア２０１上の位置座標に変換するための座標変換関数を求める。具体的には、キャリブレーション処理部２４１は、表示手段２６の表示エリア２０１に２箇所以上のキャリブレーション用マークを表示させるとともに、スクリーン４に対してプロジェクター３によりキャリブレーション用マークを投影させる。そして、電子ペン１によってスクリーン４に投影されたキャリブレーション用マークをタップすることによって生成されたスクリーン４上の座標データを受信手段２２が受信すると、キャリブレーション処理部２４１は、キャリブレーション用マークに係る表示手段２６の表示エリア２０１上の位置座標と、スクリーン４上におけるドットパターンの位置座標との対応関係を取得して座標変換関数を算出する。なお、キャリブレーション処理部２４１は、この算出した座標変換関数を記憶手段２５に記憶する。
【００８１】
（２）座標変換部
座標変換部２４２は、電子ペン１から送信されて受信したストローク毎の各記入情報に含まれるスクリーン４上のＸ、Ｙ座標データを、キャリブレーション処理部２４１によって求めた座標変換関数に基づいて、表示手段２６の表示エリア２０１上におけるストロークのＸ、Ｙ座標に変換する。そして、座標変換部２４２は、この変換後のＸ，Ｙ座標（以下、「較正座標」ともいう。）をストローク毎に記憶手段２５に記憶する。
【００８２】
また、このとき、座標変換部２４２は、一のストロークの各較正座標が文字記入領域２０６の座標領域の範囲内であると認識すると、文字記入領域４０６の座標領域内に記入されたストローク（以下、「文字認識対象ストローク」という。）ＳＴと判断し、これらの各記入情報をこの文字認識対象ストロークＳＴのストローク情報として記憶手段２５に記憶する。すなわち、座標変換部２４２は、文字認識対象ストロークＳＴ毎に、Ｘ、Ｙ座標が較正座標に書き換えられた各記入情報を、文字認識処理の際に必要となる筆順を特定するための時刻情報（Ｔ）などの情報とともに、記憶手段２５に記憶する。
【００８３】
（３）文字認識処理部
文字認識処理部２４３は、記憶手段２５に記憶された文字認識処理プログラムに従って、文字記入領域２０６内に入力された電子ペン１のストロークについて文字認識処理を実行する。特に、文字認識処理部２４３は、ユーザの文字記入中に、回転制御処理と連動し、ストローク情報に含まれる時刻情報に基づいて特定される筆順に従って一文字毎のストローク群を特定するための認識処理（以下、「第１認識処理」という。）と、ユーザの指示に基づいて記入が完了した文字列の文字認識を行う認識処理（以下、「第２認識処理」という。）とを実行する。そして、文字認識処理部２４３は、第１認識処理及び第２認識処理の両認識処理とも、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）などの文字認識を行うプログラムと同様に、文字認識対象ストローク（文字記入領域４０６に電子ペン１で記入され、文字記入領域２０６に入力されたストローク）ＳＴにおける座標変換されたＸ、Ｙ座標群から形成されるパターンと記憶手段２５に予め記憶された各文字や記号のパターン情報とを照合して文字または記号を特定する。
【００８４】
第１認識処理としては、文字認識処理部２４３は、座標変換部２４２によって特定された文字認識対象ストロークＳＴ毎に、筆順に従って新規に文字認識対象ストロークＳＴｔとして判断されたストロークの各記入情報と、既に文字認識対象ストローク（ＳＴｎ〜ＳＴ（ｔ−１））として判断された他のストロークの各記入情報と、から形成されるストローク群の形状パターンに基づいて、これらのストローク（ＳＴｎ〜ＳＴ（ｔ−１））によって形成されるストローク群の形状パターンが一文字として認識可能か否か、且つ、新規に判断された文字認識対象ストロークＳＴｔも含む文字の一部分となり得るか否か、換言すると、文字認識対象ストロークＳＴｔは次の文字のストロークであるか否かを判断する。そして、文字認識処理部２４３は、当該ストローク群（ＳＴｎ〜ＳＴ（ｔ−１））の形状パターンが一文字として認識可能かつ文字認識対象ストロークＳＴｔは次の文字のストロークであると判断した場合には、文字記入領域制御部２４４にこの一文字を形成するストローク群（ＳＴｎ〜ＳＴ（ｔ−１））に基づいて回転制御処理を実行させる。その一方、文字認識処理部２４３は、一文字として認識できないと判断した場合には、次の文字認識対象ストロークＳＴ（ｔ＋１）が特定されたときに、ストローク（ＳＴｎ〜ＳＴｔ）によって形成されるストローク群の形状パターンが一文字として認識可能か否かを判断する。このように、文字認識処理部２４３は、文字認識対象ストロークＳＴ毎に一文字認識可能か否か判断し、一文字毎に各文字を形成するストローク群を特定するよう構成されている。
【００８５】
具体的には、図６に示すように、ユーザによって入力される文字が「明日」の場合であって、座標変換部２４２によって第１〜第９の文字認識対象ストローク（以下、単に、それぞれ「第ｎストローク」という。）ＳＴ１〜ＳＴ９が順次特定される場合に、文字認識処理部２４３は、第１ストロークＳＴ１から第８ストロークＳＴ８までのそれぞれのストロークが新規の文字認識対象ストロークＳＴｔとして判断されたときには、それらの第１ストロークＳＴ１〜第８ストロークＳＴ８に基づいては一文字として認識しない。しかしながら、文字認識処理部２４３は、その後に第９ストロークＳＴ９が新規の文字認識対象ストロークＳＴｔとして判断されたときには、第９ストロークＳＴ９が次の文字のストロークであると判断して第１ストロークＳＴ１〜第８ストロークＳＴ８を一文字「明」の文字として認識する。すなわち、まず、第４ストロークＳＴ４が新規の文字認識対象ストロークＳＴｔと判断されたときには、第１ストロークＳＴ１〜第４ストロークＳＴ４のストローク群によって「日」の文字として認識可能ではあるが、その文字が「日」そのものなのか「時」などの更に異なる文字の一部分であるのかは次の第５ストロークＳＴ５を含めて判断される必要がある。さらに、第８ストロークＳＴ８が新規の文字認識対象ストロークＳＴｔと判断されたときには、第１ストロークＳＴ１〜第８ストロークＳＴ８のストローク群によって「明」の文字として認識可能ではあるが、その文字が「明」そのものなのか「盟」などの更に異なる文字の一部分であるのかは次の第９ストロークＳＴ９を含めて判断される必要がある。したがって、文字認識処理部２４３は、確実に一文字のストローク群を特定するために、新規に特定された文字認識対象ストロークＳＴｔを判断の対象に用いるものの、一文字として特定するストローク群に含めずに第１認識処理を実行している。また、文字認識処理部２４３は、二文字目以降の文字認識処理に関しては、一文字認識する毎に、既に文字認識に用いられた第ｎストロークＳＴｎから第ｍストロークＳＴｍ（ｍ＞ｎ）のストローク群を除き、その後に特定された第（ｍ＋１）ストロークＳＴ（ｍ＋１）以降のストローク群に基づいて、第１認識処理を実行する。
【００８６】
第２認識処理としては、文字認識処理部２４３は、文字記入領域２０６に文字又は記号などのユーザによる入力が実行された後であって、コンピュータ装置２などの図示しない認識開始キーまたは座標入力領域（画像投影領域）４０３内の図示しない認識開始領域若しくは電子ペン１の文字記入領域４０６内でのタップ動作を検知した場合に、ユーザの記入が完了したと判断し、文字記入領域２０６内に含まれている文字列を一括的に文字認識する。特に、文字認識処理部２４３は、上述のようなユーザの指示が入力されると、文字記入領域２０６内の記入情報として記憶手段２５に記憶されているストロークの各較正座標（すなわち、電子ペン１のスクリーン４上のストロークの座標データに対応する、表示手段２６の表示画面上における当該ストロークの座標データ群）を回転角度（θ）及び回転中心の座標データに基づいて逆回転させ（−θの回転行列を乗算し）、その座標変換後の座標データに基づいて文字認識を行う。すなわち、回転制御処理によって文字記入領域２０６が回転していると判断された場合には（例えば、記憶手段２５によって回転フラグ情報が記憶されている場合には）、文字認識処理部２４３は、第２認識処理として、各文字認識対象ストロークＳＴの各較正座標群に対して、文字記入領域２０６において予め定められた点（後述する基点Ｂ）の座標を回転の中心として、記憶されている回転角度（θ）だけ逆回転させる（−θの回転行列をかける）ことによって各ストロークの較正座標を正規化するとともに、この正規化後のＸ，Ｙ座標群によって形成されるパターンに対して文字認識処理を実行する。これにより、傾斜して記入された文字又は記号を傾斜の無い水平に書かれた状態に直すことができるので、文字等の特定に関する精度、すなわち、文字認識における認識精度を向上させることができる。また、第２認識処理が実行された場合には、次に記入される文字列を認識するために、文字記入領域２０６内に表示されている全てのストローク（すなわち、文字認識対象ストロークＳＴとして特定されて記憶手段２５に記憶されている全てのストローク）と、後述する基準点２２０及び傾斜角度（θ）の各データは記憶手段２５から消去される。また、文字認識処理部２４３は、第２認識処理の結果認識された文字列のテキストデータを、記憶手段２５に記憶させる。
【００８７】
（４）文字記入領域制御部
文字記入領域制御部２４４は、記憶手段２５に記憶された文字記入領域２０６の座標領域の初期値及びその範囲を画定表示するための画定マーク２０７の情報に基づいて、図１に示すように、表示手段２６の表示エリア２０１に画定マーク２０７を表示させる。特に、文字記入領域制御部２４４は、初期設定として、表示手段２６の表示エリア２０１の左下隅に、画定マーク２０７を用いることによって横長の長方形状の文字記入領域２０６を表示させる。そして、文字記入領域制御部２４４は、図１に示すように、この画像と同一の画像をスクリーン４に投影させるための画像信号を、送信手段２７を介してプロジェクター３に送信する。
【００８８】
なお、これにより、スクリーン４の左下隅に、画定マーク４０７によって特定可能な文字記入領域４０６が表示される。また、図１においては、文字記入領域２０６，４０６が外枠表示されているが、文字記入領域２０６，４０６が黄色その他の色を用いて強調表示されていてもよく、記入情報の記入を促すための罫線（下線）によって文字記入領域２０６，４０６が表示されるようにしてもよい。
【００８９】
また、文字記入領域制御部２４４は、ユーザによってスクリーン４上の文字記入領域４０６に文字が記入され、文字記入領域２０６に入力されると、文字記入領域回転プログラムに従って、文字の記入中であって一文字認識される毎に、ユーザによって記入された文字列の傾斜角度（θ）を算出し、この算出された傾斜角度（θ）に基づいて文字記入領域２０６を回転させる。すなわち、電子ペン１によって文字記入領域４０６内に記入された文字に関するストローク情報が生成され、かつ、この記入された文字のストローク情報に基づいて座標変換部２４２によって座標変換されて文字記入領域２０６内に入力されたストロークが文字認識対象ストロークＳＴと特定されると、文字記入領域制御部２４４は、文字認識処理部２４３の第１認識処理と連動し、文字認識処理部２４３によって一文字認識される毎に、一文字を形成するストローク群に基づいて、認識された文字の基準点２２０を算出する。そして、文字記入領域制御部２４４は、算出された文字の基準点２２０に基づいて文字列の傾斜角度（θ）を更に算出し、予め定められた基点Ｂに基づいて算出された傾斜角度（θ）と同一の角度（以下、「回転角度」という。）（θ）を有するように文字記入領域２０６を回転制御する。
【００９０】
具体的には、文字記入領域制御部２４４は、図７（ａ）に示すように、一文字目の第１文字Ｗ１が認識されると、認識された第１文字Ｗ１を形成するストローク群に基づいて、座標変換された表示手段２６の表示エリア２０１の座標上の最上点２２１ａ、最下点２２２ａ、最左点２２３ａ及び最右点２２４ａを認識する。そして、文字記入領域制御部２４４は、これらの最上点２２１ａ、最下点２２２ａ、最左点２２３ａ及び最右点２２４ａの各点に基づいて文字のストローク群の中心となる基準点２２０ａを求める。また、文字記入領域制御部２４４は、同様にして、二文字目の第２文字Ｗ２が認識されると、認識された第２文字Ｗ２を形成するストローク群に基づいて、最上点２２１ｂ、最下点２２２ｂ、最左点２２３ｂ及び最右点２２４ｂを認識し、これらの各点からの基準点２２０ｂを求める。なお、以下、第ｎ文字Ｗｎの基準点２２０χを第ｎ基準点２２０χと呼ぶ。そして、第２基準点２２０ｂが算出されると、文字記入領域制御部２４４は、この第２基準点２２０ｂと既に求めてある第１基準点２２０ａとによって形成される直線Ｌの座標上の傾きαを文字列の傾斜角度（θ）として算出する。さらに、文字記入領域制御部２４４は、図７（ｂ）に示すように、文字記入領域２０６の左上を基点Ｂとして、この算出された傾斜角度（θ（＝α））と同一の回転角度（θ）を有するように文字記入領域２０６を回転させる。そして、ユーザが文字記入中であっても、傾斜角度（θ）が算出されれば、文字記入領域２０６は回転制御されるので、文字記入領域制御部２４４は、図７（ｂ）に示すように、ユーザが第３文字Ｗ３を入力中であっても、傾斜角度（θ（＝α））が算出されれば、文字記入領域２０６が回転制御される。
【００９１】
また、算出された基準点２２０が一つの場合には、すなわち、図７（ａ）において第１文字Ｗ１として文字「明」のみ認識され、算出された基準点が２２０ａだけの場合には、文字記入領域制御部２４４は、傾斜角度（θ）を算出することができないので、文字列の傾斜角度（θ）を算出せずに文字記入領域２０６の回転制御処理を行わない。その一方、文字記入領域制御部２４４は、３文字以上の複数の文字が認識され、既に一以上の文字列の傾斜角度（θ）が算出されている場合には、すなわち、文字記入領域２０６が予め定められた位置（傾斜角度（θ）＝０）から既に回転している場合には、既に算出された傾斜角度（θ）（以下、「第１傾斜角度（θ１）」という。）と新規に算出された傾斜角度（θ）（以下、「第２傾斜角度（θ２）」という。）とに基づいて新たな傾斜角度（θ）（以下、「第３傾斜角度（θ３）」という。）を算出し、算出された第３傾斜角度（θ３）に基づいて文字記入領域２０６を回転させる。特に、図８（ａ）及び（ｂ）示すように、１文字目と２文字目とによって形成される直線Ｌ１の傾きα（すなわち、第１傾斜角度（θ１＝α））が既に算出されている場合に、３文字目の認識が実行されて第３基準点２２０ｃが求められると、第１基準点２２０ａと第３基準点２２０ｃによって形成される直線Ｌ２の座標上の傾きβを第２傾斜角度（θ２）として算出する。そして、文字記入領域制御部２４４は、第１傾斜角度（θ１（＝α））（＝回転角度（θ））と今回算出された第２傾斜角度（θ２（＝β））に基づいて（式１）の演算を実行して新たな傾きγ（すなわち、第３傾斜角度（θ３））を算出し、図８（ｂ）に示すように、文字記入領域２０６の左上の点を基点Ｂとして、算出された第３傾斜角度（θ３（＝γ））と同一の回転角度（θ）を有するように、既に第１傾斜角度（θ１（＝α））によって回転されている文字記入領域２０６を更に回転させる。
【００９２】
【数１】
【００９３】
なお、４文字目以降の文字認識処理も同様に、第１傾斜角度（θ１）及び第２傾斜角度（θ２）に基づいて第３傾斜角度（θ３）を算出して文字記入領域２０６を回転させる。例えば、図８の例によれば、３文字目の認識の際に文字記入領域制御部２４４により（式１）の演算によって算出された傾斜角度γが、４文字目を認識した際に実行される回転制御処理においては第１傾斜角度（θ１）に該当し、４文字目の文字の図示しない基準点に基づいて算出される直線の傾きは、第２傾斜角度（θ２）に該当することとなる。
【００９４】
（５）表示制御手段
表示制御部２４５は、キャリブレーション処理の際、キャリブレーション処理部２４１の指示により、キャリブレーション用マークを表示手段２６の表示エリア２０１に表示させる。また、表示制御部２４５は、文字記入領域制御部２４４の指示により、文字記入領域２０６及び画定マーク２０７を表示させること、及び、電子ペン１を用いた操作による文字記入領域２０６の回転中及び回転後の状態をリアルタイムで表示手段２６の表示エリア２０１に表示させることが可能である。また、表示制御部２４５は、電子ペン１から送信された記入情報の座標データが座標変換部２４２によって座標変換された位置座標（較正座標）によるストロークを、表示手段２６の表示エリア２０１に表示させる。
【００９５】
特に、表示制御部２４５は、第２認識処理が実行された場合には、文字記入領域２０６に表示されている文字、記号及びその他の図形など、手書きされたストロークの表示を消去し、第２認識処理の文字認識によって特定された文字及び記号のテキストデータを、文字入力する位置として定められた場所に表示させる。具体的には、コンピュータ装置２がテキストエディタ等のプログラムを実行中で、表示手段２６の表示エリア２０１にそのプログラムウインドウ（図１に示す認識文字表示位置マーク２０５）を表示している場合には、表示制御部２４５は、文字認識によって特定された文字等のテキストデータを、認識文字表示位置マーク２０５上の文字入力用のカーソルのある位置に表示させる。このとき、表示制御部２４５は、文字認識後のテキストデータ候補を一旦、文字記入領域２０６または図示しない候補文字表示領域に表示して、コンピュータ装置２などの図示しない確定キーまたは座標入力領域４０３内の図示しない確定領域または電子ペン１の文字記入領域４０６内もしくは図示しない候補文字表示領域内でのタップ動作を検知することで、定められた文字入力位置に表示させるように構成してもよい。
【００９６】
また、表示制御部２４５は、スクリーン４に種々の画像を投影して表示させるために、表示エリア２０１に表示する各画像を同期させてプロジェクター３に投影させるための画像信号をそれぞれ送信手段２７に出力し、プロジェクター３へ送信させる。なお、プロジェクター３は、コンピュータ装置２の送信手段２７から受信した画像信号に基づいて、表示手段２６に表示された画像と同様の画像をスクリーン４の画像投影領域４０３に映し出す。
【００９７】
［第１認識処理を伴う回転制御処理］
次に、図９を用いて情報処理システム１０における第１認識処理を伴う回転制御処理の動作について、記入情報の受信に伴う各種の処理とともに説明する。なお、図９は、第１認識処理を伴う回転制御処理を含む表示処理を示すフローチャートである。
【００９８】
本動作処理においては、予めキャリブレーション処理部２４１によりキャリブレーション処理が実行され、座標変換関数が求められて記憶手段２５に記憶されており、座標変換部２４２による座標変換が行われる状態にある。そして、文字記入領域制御部２４４は、記憶手段２５に記憶された文字記入領域２０６の座標領域の初期値を参照して、図１に示すように、表示手段２６の表示エリア２０１の左下に、長方形状の画定マーク２０７によって画定される文字記入領域２０６を表示させている。また、この画像と同じ画像を示すための画像信号が、送信手段２７からプロジェクター３へ送信されているため、プロジェクター３により、スクリーン４の画像投影領域４０３の左下には、画定マーク４０７によって画定される文字記入領域４０６が投影されて表示されている。
【００９９】
まず、記入者であるユーザによってスクリーン４上に一のストロークが記入されると、電子ペン１は、この記入されたストロークの各記入情報をコンピュータ装置２に順次送信する（ステップＳ１０１）。具体的には、電子ペン１は、圧力センサ１０７によって検出した筆圧に基づいてペンダウンが検知されてユーザによってストロークの開始を認識すると、ＬＥＤ１０５及びＣＭＯＳカメラ１０６をオンにし、圧力センサ１０７によってペンアップが検出されてユーザによるストロークの終了を認識するまで、所定の時間間隔毎にスクリーン４のドットパターンを撮影し、当該撮影された画像毎に、ペンＩＤ、時刻情報（Ｔ）及びＸ，Ｙ座標データを含む記入情報を生成して順次コンピュータ装置２に送信する。
【０１００】
また、コンピュータ装置２において電子ペン１から送信された各記入情報（ストローク情報）の受信を開始すると、処理手段２４は、当該記入情報をペンＩＤ毎に記憶手段２５に順次記憶させる（ステップＳ２０１）。
【０１０１】
次いで、座標変換部２４２は、記憶手段２５に記憶されている座標変換関数に基づいて、受信した各記入情報の座標データを表示手段２６の表示エリア２０１に表示するための座標に順次変換する（ステップＳ２０２）。そして、座標変換部２４２は、座標変換後の較正座標のデータをストローク毎にペンＩＤに対応付けて記憶手段２５に順次記憶させるとともに、座標変換後の較正座標のデータを当該較正座標に基づいてストロークとして描画して表示手段２６の表示エリア２０１に表示する（ステップＳ２０３）。なお、ステップＳ２０３の処理のときに、送信手段２７は、表示手段２６の表示エリア２０１に表示されている画像と同一の画像、すなわち、描画されたストロークを含む画像をスクリーン４に投影するための画像信号をプロジェクター３へ送信する。
【０１０２】
次いで、座標変換部２４２は、受信された各記入情報に対して、座標変換部２４２によって座標変換された各記入情報の座標（較正座標）が文字記入領域２０６内に含まれるか否かを判断する（ステップＳ２０４）。すなわち、座標変換部２４２は、受信した各記入情報から構成されるストロークが文字認識対象ストロークＳＴに該当するか否かを判断する。この場合において、スクリーン４上の文字記入領域４０６は、表示手段２６の表示エリア２０１の文字記入領域２０６に対応するため、ユーザがスクリーン４上の文字記入領域４０６内に文字又は記号を入力することによって送信されたストロークの各記入情報における座標データから、座標変換部２４２による座標変換により、表示エリア２０１における文字記入領域２０６にこのストロークが含まれていることを認識することができる。
【０１０３】
ステップＳ２０４の処理において、座標変換部２４２が、各較正座標に基づいて、受信された各記入情報から構成されるストロークが文字記入領域２０６に含まれていると判断した場合には、すなわち、文字認識対象ストロークＳＴであると特定した場合には（ステップＳ２０４：Ｙｅｓ）、座標変換部２４２は、この文字認識対象ストロークＳＴを記憶手段２５に記憶して、文字認識処理部２４３によるステップＳ２０５の一文字毎のストローク群を特定するための認識処理、すなわち、第１認識処理に移行する。一方、座標変換部２４２は、較正座標に基づいて受信された各記入情報から構成されるストロークが文字記入領域２０６に含まれていないと判断した場合には（ステップＳ２０４：Ｎｏ）、本動作処理を終了させる。
【０１０４】
受信された各記入情報から構成されるストロークが文字認識対象ストロークＳＴであると判断されると（ステップＳ２０４：Ｙｅｓ）、文字認識処理部２４３は、受信された各記入情報から構成されるストロークに基づいて較正座標を用いて第１認識処理を実行する（ステップＳ２０５）。具体的には、文字認識処理部２４３は、既に特定された他の文字認識対象ストロークＳＴｎ〜ＳＴ（ｔ−１）が存在する場合には、新規に特定された文字認識対象ストロークＳＴｔ及び他の文字認識対象ストロークＳＴｎ〜ＳＴ（ｔ−１）を用いて総合的に文字認識処理を実行する。
【０１０５】
次いで、文字認識処理部２４３は、ステップＳ２０５の第１認識処理の結果、文字認識対象ストロークＳＴ群が一文字認識できるか否かを判断する（ステップＳ２０６）。そして、文字認識処理部２４３が一文字認識できると判断した場合には（ステップＳ２０６：Ｙｅｓ）、文字記入領域制御部２４４によるステップＳ２０７の処理に移行し、文字認識処理部２４３が一文字認識できないと判断した場合には（ステップＳ２０６：Ｎｏ）、文字認識処理部２４３は本動作処理を終了させる。
【０１０６】
文字認識処理部２４３が一文字認識できると判断した場合（ステップＳ２０６：Ｙｅｓ）、文字記入領域制御部２４４は、ステップＳ２０６において認識された一文字を構成するストローク群の各較正座標に基づいて認識された一文字の基準点２２０ｔを算出して記憶手段２５に記憶させる（ステップＳ２０７）。続いて、文字記入領域制御部２４４は、この算出された基準点２２０ｔが第１文字Ｗ１の第１基準点２２０ａであるか否かを判断して（ステップＳ２０８）、第１基準点２２０ａでないと判断した場合には（ステップＳ２０８：Ｎｏ）、ステップＳ２０９の処理に移行する。一方、文字記入領域制御部２４４は、ステップＳ２０７で算出された基準点２２０ｔが第１基準点２２０ａであると判断した場合には（ステップＳ２０８：Ｙｅｓ）、すなわち、ステップＳ２０５において認識された文字が第１文字Ｗ１の場合には、傾斜角度（θ）を算出せずに、本動作処理を終了させる。
【０１０７】
文字記入領域制御部２４４は、ステップＳ２０７で算出された基準点２２０ｔが第１基準点２２０ａでないと判断した場合には（ステップＳ２０８：Ｎｏ）、文字記入領域制御部２４４は、算出された基準点２２０ｔに基づいて文字列の傾斜角度（θ）を算出して文字記入領域２０６を回転させる（ステップＳ２０９）。図７及び図８に示す例では、文字記入領域制御部２４４は、ステップ２０７において算出された基準点２２０ｔが第２文字Ｗ２の第２基準点２２０ｂの場合には、既に算出されている第１文字Ｗ１の第１基準点２２０ａと今回算出された第２基準点２２０ｂとに基づいて形成される直線Ｌ１の傾きを第１傾斜角度（θ１）として算出する。さらに、文字記入領域制御部２４４は、算出された基準点２２０が第３基準点２２０ｃである場合には、既に算出されている第１基準点２２０ａと新規に算出された第３基準点２２０ｃに基づいて第２傾斜角度（θ２）を算出して、さらに、既に算出された第１傾斜角度（θ１）と新規に算出した第２傾斜角度（θ２）とに基づいて（式１）の演算によって第３傾斜角度（θ３）を文字列の傾斜角度（θ）として算出する（ステップＳ２０９）。
【０１０８】
次いで、文字記入領域制御部２４４は、算出した傾斜角度（θ）と同一の回転角度（θ）となるように、文字記入領域２０６を、画定マーク２０７を表示手段２６の表示エリア２０１に表示させつつ、回転させる（ステップＳ２０９）。なおこのとき、プロジェクター３によって、コンピュータ装置２の表示手段２６と同じ画像がスクリーン４の画像投影領域４０３に投影されているため、スクリーン４に投影されている文字記入領域４０６も、文字記入領域２０６の回転に合わせて回転する。
【０１０９】
最後に、文字記入領域制御部２４４は、ステップＳ２０９において算出された傾斜角度（θ）及び回転された回転後の文字記入領域２０６の座標領域を記憶手段２５に記憶させて（ステップＳ２１０）、本動作処理を終了させる。
【０１１０】
［第２認識処理］
次に、図１０を用いて本第１実施形態における情報処理システム１０の第２認識処理の動作について説明する。なお、図１０は、第２認識処理の動作を示すフローチャートである。
【０１１１】
まず、コンピュータ装置２においてこのコンピュータ装置２に設けられた図示しない認識開始キーが認識される等、所定の動作に基づく文字認識処理の開始指示を認識すると（ステップＳ３０１）、文字認識処理部２４３は、各文字認識対象ストローク（電子ペン１により文字記入領域４０６に記入されて文字記入領域２０６に入力されたストローク）ＳＴの各較正座標に対して、ステップＳ２０９において算出された回転角度（θ）の分、逆回転させ（−θの回転行列をかけて）、各文字認識対象ストロークＳＴを正規化する（ステップＳ３０２）。なお、このときに、文字記入領域２０６を初期値、すなわち、記憶手段２５に記憶されている初期の座標の位置に戻してもよいし、そのままの位置を保持してもよい。
【０１１２】
そして、文字認識処理部２４３は、記憶手段２５に記録されているパターン情報を照合して、正規化された文字記入領域２０６内のＸ，Ｙ座標群によるパターン（各文字認識対象ストロークＳＴ群の形状）から一または複数の文字または記号を認識する認識処理を行う（ステップＳ３０３）。次いで、文字認識処理部２４３は、文字認識された文字、記号等を文字記入領域２０６から消去し、さらに文字認識に用いた文字認識対象ストロークＳＴ等の各データを記憶手段２５から消去して、文字認識後に特定された文字及び記号のテキストデータを、記憶手段２５に記憶させると共に、表示エリア２０１の文字入力する位置として定められた場所に表示させて（ステップＳ３０４）、本処理を終了させる。
【０１１３】
［第１実施形態の作用効果］
以上のように、本実施形態の情報処理システム１０は、ユーザによって電子ペン１を用いてスクリーン４上の文字記入領域４０６内に文字が記入されると、ストローク（電子ペン１の移動経路）が、コンピュータ装置２の表示手段２６の文字記入領域２０６に入力された文字列としてスクリーン４に投影されるとともに、当該文字の記入中であって一文字認識される毎にユーザによって入力された文字列の傾斜角度（θ）を算出し、算出された傾斜角度（θ）に基づいて文字記入領域２０６（４０６）を回転させることができる。したがって、情報処理システム１０は、文字記入中に文字列が右肩上がり（左肩上がり）になる、又は、当該文字列が右肩下がり（左肩下がり）になるなど、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況を勘案して文字記入におけるユーザの状況の変化に併せて文字記入領域を回転させることができるので、コンピュータ装置２への文字の入力にあたって、ユーザにスムーズにスクリーン上４で文字を記入させることができる。
【０１１４】
また、本実施形態の情報処理システム１０は、一文字毎に文字列の傾斜角度（θ）を算出することができるので、ユーザが記入した文字列を的確に把握しつつ、文字列の傾斜角度（θ）を算出することができる。したがって、情報処理システム１０は、ユーザが電子ペン１を用いて記入した文字列に的確に対応させて文字記入領域２０６（４０６）を回転させることができる。
【０１１５】
また、本実施形態の情報処理システム１０は、各文字の基準点２２０を比較するだけで文字列の傾斜角度（θ）を算出することができるので、容易にかつ確実にこの文字列の傾斜角度（θ）を算出することができる。
【０１１６】
また、本実施形態の情報処理システム１０は、文字記入領域２０６（４０６）の回転角度（θ）に基づいて、各ストローク（電子ペン１の移動経路）を、回転する前の文字記入領域２０６（４０６）に対応するストロークに変換することができるので、記入された各文字における傾斜が生じていない状態によって文字列の認識処理を再度実行することができる。この結果、情報処理システム１０は、文字認識の精度を向上させることができる。
【０１１７】
また、本実施形態の情報処理システム１０は、文字列の傾斜角度（θ）が既に算出されている場合には、既に算出された一以上の第１傾斜角度（θ１）と新規に算出された第２傾斜角度（θ２）とに基づいて新たな第３傾斜角度（θ３）を算出し、この算出された第３傾斜角度（θ３）に基づいて文字記入領域２０６（４０６）を回転させることができるので、既に記入された文字列を勘案して傾斜角度（θ）を算出することができる。したがって、情報処理システム１０は、文字記入領域２０６（４０６）の回転をユーザの記入状況に併せて確実に回転させることができる。
【０１１８】
また、本実施形態の情報処理システム１０は、スクリーン４上の座標が座標変換部２４２によって表示手段２６の表示エリア２０１の座標に変換されたうえで、文字記入領域２０６（４０６）を回転させるので、スクリーン４と表示手段２６の表示エリア２０１の異なる座標系を用いても文字記入領域４０６（２０６）の回転制御処理を確実に実行することができる。
【０１１９】
［変形例］
次に、図１１〜図１５の各図を用いて第１実施形態の情報処理装置の第１〜第５変形例について説明する。なお、図１１〜図１３の各図はそれぞれ、第１〜第３変形例に関する文字記入領域の回転制御処理を説明するための図であって、ぞれぞれの変形例における文字列の傾斜角度（θ）における算出例を説明するための図である。また、図１４は、第４変形例に関する文字記入領域の回転制御処理を説明するための図であり、特に、図１４（ａ）は、３文字目が記入されたときの文字列における傾斜角度（θ）の算出例を説明するための図、及び、図１４（ｂ）は、算出された傾斜角度（θ）に基づいて回転される文字記入領域の一例である。さらに、図１５は、第５変形例に関する文字記入領域の回転制御処理を説明するための図であって、３文字目が記入されたときの文字列における傾斜角度（θ）の算出例を説明するための図である。
【０１２０】
第１変形例の情報処理システム１０は、第１実施形態の文字認識処理部２４３において、一文字に属する文字認識対象ストロークＳＴによって求められた複数の座標に基づいて各文字の基準点２２０を算出している点に代えて、一文字に属する各文字認識対象ストロークＳＴの全ての座標（サンプル点）Ｓに基づいて各文字における基準点２２０を算出して文字列の傾斜角度（θ）を算出する点に特徴がある。なお、その他の構成は、第１実施形態と同一である。
【０１２１】
具体的には、第１変形例の情報処理システム１０においては、文字記入領域制御部２４４は、図１１に示すように、一文字に属する各文字認識対象ストロークＳＴの全ての較正座標（サンプル点）Ｓに基づいて、Ｘ座標及びＹ座標の平均（以下、「平均座標」という。）を算出し、算出された平均座標を第１文字Ｗ１の第１基準点２２０ａ及び第２文字Ｗ２の第２基準点２２０ｂとして設定する。そして、情報処理システム１０は、第１実施形態と同様に、第１基準点２２０ａ及び第２基準点２２０ｂによって形成される直線Ｌの座標上の傾きαを傾斜角度（θ）として算出するように構成されている。また、三文字目以降においても、文字記入領域制御部２４４は、同様に、一文字に属する各文字認識対象ストロークＳＴの全ての較正座標（サンプル点）Ｓに基づいて算出された平均座標を基準点２２０として算出し、算出された基準点２２０に基づいて傾斜角度（θ）を算出する。この構成により、第１変形例の情報処理システム１０は、各文字の平均座標を基準点２２０として文字列の傾斜角度（θ）を算出することができるので、容易にかつ確実にこの文字列の傾斜角度（θ）を算出することができる。
【０１２２】
なお、第１変形例においては、一文字毎に算出された平均座標を基準点２２０として用いているが、一文字に属する各文字認識対象ストロークＳＴの全ての較正座標（サンプル点）Ｓに基づいて各文字の重心となる座標（以下、「重心座標」という。）を算出し、この算出された重心座標を各文字の各基準点２２０として用いてもよい。また、この重心座標を算出するにあたっては、較正座標（サンプル点）Ｓに基づいて算出する点に代えて、一文字に属する各文字認識対象ストロークＳＴによって囲まれる多角形の領域を特定し、この特定された多角形の領域に基づいて重心座標を求めるなど種々の算出方法を用いてもよい。
【０１２３】
第２変形例の情報処理システム１０は、第１実施形態の文字認識処理部２４３において、一文字に属する文字認識対象ストロークＳＴによって求められた複数の座標に基づいて各文字の基準点２２０を算出している点に代えて、各文字の最下点２２２を各基準点２２０として用いる点に特徴がある。なお、その他の構成は、第１実施形態と同一である。
【０１２４】
具体的には、第２変形例の情報処理システム１０においては、図１２に示すように、文字記入領域制御部２４４が、第１文字Ｗ１の最下点２２２ａを第１基準点２２０ａとして設定するとともに、第２文字Ｗ２の最下点２２２ｂを第２基準点２２０ｂとして設定し、これらの第１基準点２２０ａ（＝２２２ａ）及び第２基準点２２０ｂ（＝２２２ｂ）によって形成される直線Ｌの座標上の傾きαを傾斜角度（θ）として算出するように構成されている。また、三文字目以降においても、文字記入領域制御部２４４は、同様に、一文字毎に最下点２２２を基準点２２０として設定し、この設定された基準点２２０に基づいて傾斜角度（θ）を算出する。この構成により、第２変形例の情報処理システム１０は、各文字の座標上の最下点２２２を基準点２２０として文字列の傾斜角度（θ）を算出することができるので、上述と同様に、容易にかつ確実にこの文字列の傾斜角度（θ）を算出することができる。
【０１２５】
第３変形例の情報処理システム１０は、第１実施形態の文字認識処理部２４３において、一文字に属する文字認識対象ストロークＳＴによって求められた複数の座標に基づいて各文字の基準点２２０を算出している点に代えて、各文字の最上点２２１を各基準点２２０として用いる点に特徴がある。なお、その他の構成は、第１実施形態と同一である。
【０１２６】
具体的には、第３変形例の情報処理システム１０においては、図１３に示すように、文字記入領域制御部２４４が、第１文字Ｗ１の最上点２２１ａを第１基準点２２０ａとして設定するとともに、第２文字Ｗ２の最上点２２１ｂを第２基準点２２０ｂとして設定し、これらの第１基準点２２０ａ（＝２２１ａ）及び第２基準点２２０ｂ（＝２２１ｂ）によって形成される直線Ｌの座標上の傾きαを傾斜角度（θ）として算出するように構成されている。また、三文字目以降においても、文字記入領域制御部２４４は、同様に、文字毎に最上点２２１を基準点２２０として設定し、この設定された基準点２２０に基づいて傾斜角度（θ）を算出する。この構成により、第３変形例の情報処理システム１０は、各文字の座標上の最上点２２１を基準点２２０として文字列の傾斜角度（θ）を算出することができるので、上述と同様に、容易にかつ確実にこの文字列の傾斜角度（θ）を算出することができる。
【０１２７】
第４変形例の情報処理システム１０は、第１実施形態の文字認識処理部２４３において、３文字目以降の傾斜角度（θ）を（式１）によって算出する点に代えて、第１傾斜角度（θ１（＝α））及び第２傾斜角度（θ２（＝β））と（式２）とに基づいて３文字目以降の第３傾斜角度（θ３（＝γ））を算出する点に特徴がある。なお、その他の構成は、第１実施形態と同一である。
【０１２８】
【数２】
【０１２９】
具体的には、第４変形例の情報処理システム１０においては、図１４（ａ）及び（ｂ）に示すように、文字記入領域制御部２４４が、１文字目と２文字目の基準点２２０ａ及び２２０ｂとによって形成される直線Ｌ１の傾きαを第１傾斜角度（θ１）として既に算出されている場合に、３文字目の認識が実行されて第３基準点２２０ｃが求められると、第２基準点２２０ｂと第３基準点２２０ｃによって形成される直線Ｌ２の座標上の傾きβを第２傾斜角度（θ２）として算出する。そして、文字記入領域制御部２４４は、算出された第１傾斜角度（θ１（＝α））と第２傾斜角度（θ２（＝β））に基づいて（式２）の演算を実行して新たな傾きγを第３傾斜角度（θ３）として算出し、図１４（ｂ）に示すように、文字記入領域２０６の左上の点を基点Ｂとして、算出された第３傾斜角度（θ３（＝γ））が全体の回転角度になるように既に傾斜角度（θ１（＝α）によって回転された文字記入領域２０６を回転させる。この構成により、第４変形例の情報処理システム１０は、文字列の傾斜角度（θ）が既に算出されている場合には、この既に算出された一以上の第１傾斜角度（θ１）と新規に算出された第２傾斜角度（θ２）とに基づいて新たな第３傾斜角度（θ３）を算出し、この算出された第３傾斜角度（θ３）に基づいて文字記入領域２０６を回転させるので、既に記入された文字列を勘案して傾斜角度（θ）を算出することができるとともに、文字記入領域２０６（４０６）の回転をユーザの記入状況に併せて確実に回転させることができる。
【０１３０】
なお、４文字目以降の文字認識処理も同様に、第１傾斜角度（θ１）及び第２傾斜角度（θ２）に基づいて第３傾斜角度（θ３）を算出して文字記入領域２０６を回転させる。例えば、図１４の例によれば、３文字目の認識の際に文字記入領域制御部２４４により（式１）の演算によって算出された傾斜角度γが、４文字目を認識した際に実行される回転制御処理においては第１傾斜角度（θ１）に該当し、４文字目の文字の図示しない基準点に基づいて算出される直線の傾きは、第２傾斜角度（θ２）に該当することとなる。
【０１３１】
第５変形例の情報処理システム１０は、第１実施形態の文字認識処理部２４３において、３文字目以降の傾斜角度（θ）を（式１）によって算出する点に代えて、第１基準点２２０ａと認識された最後の第ｎ文字Ｗｎの基準点２２０χとによって形成される直線Ｌの傾きβを傾斜角度（θ）として算出する点に特徴がある。なお、その他の構成は、第１実施形態と同一である。
【０１３２】
具体的には、第５変形例の情報処理システム１０においては、図１５に示すように、第５文字Ｗ５の基準点２２０ｅが第５文字Ｗ５を形成する各文字認識対象ストロークＳＴに基づいて算出されると、文字記入領域制御部４２４は、この算出された第５基準点２２０ｅと最初に認識された第１文字Ｗ１の基準点２２０ａに形成される直線Ｌの傾きβを傾斜角度（θ）として設定し、文字記入領域２０６の左上の点を基点Ｂとして、算出された傾斜角度（θ（＝β））と全体の角度として同一の回転角度（θ）になるように、既に回転されている文字記入領域２０６を回転させる。
【０１３３】
なお、上記の各変形例を含み第１実施形態においては、ドットパターン（コード化パターン）は、アノト方式に限らなくともよい。また、第１実施形態においては、文字記入領域２０６の左上隅を基点Ｂとして用いているが、右下隅、右上隅、左下隅又は中心点など所定の点を文字記入領域２０６の基点Ｂとして用いてもよい。
【０１３４】
また、本実施形態の情報処理システム１０は、記入者であるユーザの確定指示に基づいて認識された文字又は記号を特定するように構成できるとともに、ワードプロセッサなどの外部アプリケーションと連動させてこのアプリケーションの記入に用いることもできる。
【０１３５】
＜第２実施形態＞
次に、図１６及び図１７の各図を用いて第２実施形態に係る情報処理システムについて説明する。
【０１３６】
第２実施形態の情報処理システム１０は、第１実施形態において第１認識処理を行いつつ傾斜角度（θ）を算出する等の回転制御処理を行う点に代えて、第１認識処理を行わずに、文字記入領域２０６内に入力されたものと特定された文字認識対象ストロークＳＴに基づいて傾斜角度（θ）を算出する点に特徴がある。なお、本実施形態において、第１実施形態と同一の部材や同一の処理については、同一の符号を付してその説明を省略する。また、第２実施形態の情報処理システム１０においては、文字認識処理部２４３は、第１認識処理を実行せずに、第２認識処理のみ実行する。
【０１３７】
［文字記入領域制御部］
次に、図１６を用いて本第２実施形態における回転制御処理を説明する。なお、図１６は、回転制御処理を説明するための図である。
【０１３８】
文字記入領域制御部２４４は、ユーザによって文字記入領域４０６に文字が記入されて記入情報の送信により文字記入領域２０６にストロークが入力されると、文字記入領域回転プログラムに従って、文字の記入中であって文字認識対象ストロークＳＴが特定される毎に、その文字認識対象ストロークＳＴの中心点ｃの座標を算出する。そして、文字記入領域制御部２４４は、算出された各中心点ｃの座標に基づいてユーザによって記入された文字列の傾斜角度（θ）を算出し、この算出された傾斜角度（θ）に基づいて文字記入領域２０６を回転させる。特に、文字記入領域制御部２４４は、新規に算出した中心点ｃｔと既に算出された中心点ｃ１〜中心点ｃ（ｔ−１）とに基づいて、最小二乗法などの所定の演算を実行して一の直線Ｌの傾きαを文字列の傾斜角度（θ）として算出し、基点Ｂに基づいて算出された傾斜角度（θ）と同一の回転角度（θ）を有するように文字記入領域２０６を回転制御する。
【０１３９】
具体的には、図１６に示すように、ユーザによって電子ペン１を用いてスクリーン４における文字記入領域４０６内に文字「明日」が記入され、電子ペン１より送信された記入情報の座標データを座標変換部２４２によって座標変換し、文字記入領域２０６内に入力された各ストロークが第１ストロークＳＴ１から第１２ストロークＳＴ１２までの文字認識対象ストロークＳＴであると特定されると、特定された第１ストロークＳＴ１から第１２ストロークＳＴ１２までストローク毎に、それぞれ、各記入情報に基づいて各文字認識対象ストロークの第１中心点ｃ１から第１２中心点ｃ１２までの各中心点ｃの座標（Ｘ、Ｙ座標）を座標値の平均等から順次算出する。すなわち、文字記入領域制御部２４４は、新規に中心点ｃｔの座標が算出される毎に、新規に算出した中心点ｃｔと既に算出された中心点ｃ１〜ｃ（ｔ−１）に基づいて、最小二乗法などの所定の演算を実行し、一の直線Ｌの傾きαを文字列の傾斜角度（θ）として算出する。そして、文字記入領域制御部２４４は、基点Ｂに基づいて、算出された傾斜角度（θ）と同一の回転角度（θ）を有するように文字記入領域２０６を回転制御する。例えば、文字記入領域制御部２４４は、第１０中心点ｃ１０を新規に算出した場合には、既に算出された第１中心点ｃ１から第９中心点ｃ９と新規算出された第１０中心点ｃ１０とに基づいて最小二乗法など所定の演算を実行し、一の直線Ｌの傾きαを文字列の傾斜角度（θ）として算出する。
【０１４０】
なお、文字記入領域制御部２４４は、文字認識対象ストロークＳＴとして特定された文字列の書き始めの数ストローク（例えば、第１ストロークＳＴ１から第８ストロークＳＴ８まで）に関しては、ストロークの方向及び長さなどによって正確に直線Ｌの傾きαを算出することができないので、文字列の傾斜角度（θ）を算出せずに文字記入領域２０６の回転制御処理を行わない。すなわち、通常、文字は上から下に向かって記入されることが多いので、最初の数ストロークだけでは誤った下向きの傾きと認識される可能性があり、それに伴う誤認識を排除するために、文字列の書き始めの数ストロークに関しては、文字列の傾斜角度（θ）を算出せずに文字記入領域２０６の回転制御処理を行わない。
【０１４１】
［回転制御処理］
次に、図１７を用いて本第２実施形態の情報処理システム１０における回転制御処理の動作について、記入情報の受信に伴う各種の処理とともに説明する。なお、図１７は、回転制御処理を含む表示処理を示すフローチャートである。
【０１４２】
本動作処理においては、予めキャリブレーション処理部２４１によりキャリブレーション処理が実行され、座標変換関数が求められて記憶手段２５に記憶されており、座標変換部２４２による座標変換が行われる状態にある。そして、文字記入領域制御部２４４は、記憶手段２５に記憶された文字記入領域２０６の座標領域の初期値を参照して、第１実施形態と同様に、表示手段２６の表示エリア２０１の左下に、長方形状の画定マーク２０７によって画定される文字記入領域２０６を表示させている。また、この画像と同じ画像を示すための画像信号が、送信手段２７からプロジェクター３へ送信されているため、プロジェクター３により、スクリーン４の画像投影領域４０３の左下には、画定マーク４０７によって画定される文字記入領域４０６が投影されて表示されている。
【０１４３】
まず、記入者であるユーザによってスクリーン４上に一のストロークが記入されると、電子ペン１は、この記入されたストロークの各記入情報をコンピュータ装置２に順次送信する（ステップＳ４０１）。具体的には、電子ペン１は、圧力センサ１０７によって検出した筆圧に基づいてペンダウンが検知されてユーザによってストロークの開始を認識すると、ＬＥＤ１０５及びＣＭＯＳカメラ１０６をオンにし、圧力センサ１０７によってペンアップが検出されてユーザによるストロークの終了を認識するまで、所定の時間間隔毎にスクリーン４のドットパターンを撮影し、この撮影された画像毎に、ペンＩＤ、時刻情報（Ｔ）及びＸ，Ｙ座標データを含む記入情報を生成して順次コンピュータ装置２に送信する。
【０１４４】
また、コンピュータ装置２において電子ペン１から送信された各記入情報（ストローク情報）の受信を開始すると、処理手段２４は、この記入情報をペンＩＤ毎に記憶手段２５に順次記憶させる（ステップＳ５０１）。
【０１４５】
次いで、座標変換部２４２は、記憶手段２５に記憶されている座標変換関数に基づいて、受信した各記入情報の座標データを表示手段２６の表示エリア２０１に表示するための座標に順次変換する（ステップＳ５０２）。次いで、座標変換部２４２は、座標変換後の較正座標のデータを、ストローク毎にペンＩＤに対応付けて記憶手段２５に順次記憶させるとともに、この較正座標に基づいてストロークを描画して表示手段２６の表示エリア２０１に表示する（ステップＳ５０３）。なお、ステップＳ５０３の処理のときに、送信手段２７は、表示手段２６の表示エリア２０１に表示されている画像と同一の画像、すなわち、描画されたストロークを含む画像をスクリーン４に投影するための画像信号をプロジェクター３へ送信する。
【０１４６】
次いで、座標変換部２４２は、受信された各記入情報に対して、座標変換部２４２によって座標変換された各記入情報の座標（較正座標）が文字記入領域２０６内に含まれるか否かを判断する（ステップＳ５０４）。すなわち、座標変換部２４２は、受信した各記入情報から構成されるストロークが文字認識対象ストロークＳＴに該当するか否かを判断する。この場合において、スクリーン４上の文字記入領域４０６は、表示手段２６の表示エリア２０１の文字記入領域２０６に対応するため、ユーザがスクリーン４上の文字記入領域４０６内に文字又は記号を入力することによって送信されたストロークの各記入情報における座標データから、座標変換部２４２による座標変換により、表示エリア２０１における文字記入領域２０６にこのストロークが含まれていることを認識することができる。
【０１４７】
ステップＳ５０４の処理において、座標変換部２４２が、較正座標に基づいて、受信された各記入情報から構成されるストロークが文字記入領域２０６に含まれていると判断した場合には、すなわち、文字認識対象ストロークＳＴであると特定した場合には（ステップＳ５０４：Ｙｅｓ）、座標変換部２４２は、この文字認識対象ストロークＳＴを記憶手段２５に記憶させて、文字記入領域制御部２４４によるステップＳ５０５の処理に移行する。一方、座標変換部２４２は、較正座標に基づいて受信された各記入情報から構成されるストロークが文字記入領域２０６に含まれていないと判断した場合には、すなわち、文字認識対象ストロークＳＴでないと特定した場合には（ステップＳ５０４：Ｎｏ）、本動作処理を終了させる。
【０１４８】
ステップＳ５０４の処理において、受信された各記入情報から構成されるストロークが文字認識対象ストロークＳＴであると判断されると（ステップＳ５０４：Ｙｅｓ）、文字記入領域制御部２４４は、その文字認識対象ストロークＳＴの中心点ｃの座標を算出して記憶手段２５に記憶させる（ステップＳ５０５）。次いで、文字記入領域制御部２４４は、既に一定数以上の文字認識対象ストロークＳＴが文字認識領域２０６に入力されているか否か、換言すると、記憶手段２５に一定数以上の文字認識対象ストロークＳＴが記憶されているか否か判断する（ステップＳ５０６）。
【０１４９】
ステップＳ５０６の処理において、文字記入領域制御部２４４は、既に一定数以上の文字認識対象ストロークＳＴが文字認識領域２０６に入力されていると判断した場合には（ステップＳ５０６：Ｙｅｓ）、ステップＳ５０６の処理に移行する。一方、文字記入領域制御部２４４は、まだ一定数以上の文字認識対象ストロークＳＴが文字認識領域２０６に入力されていないと判断した場合には（ステップＳ５０６：Ｎｏ）、本動作処理を終了させる。
【０１５０】
ステップＳ５０７の処理に移行すると、文字記入領域制御部２４４は、新規に文字認識対象ストロークＳＴｔとして特定されたストロークの中心点ｃとして算出された中心点ｃｔの座標と、既に算出された文字認識対象ストロークＳＴｎ〜ＳＴ（ｔ−１）の各中心点ｃｎ〜ｃ（ｔ−１）の座標とに基づいて、最小二乗法など所定の演算を実行し、傾斜角度（θ）を算出して、文字記入領域２０６を回転させる（ステップＳ５０７）。すなわち、文字記入領域制御部２４４は、算出された傾斜角度（θ）と同一の回転角度（θ）となるように、文字記入領域２０６を、画定マーク２０７を表示手段２６の表示エリア２０１に表示させつつ、回転させる（ステップＳ５０７）。このとき、プロジェクター３によって、コンピュータ装置２の表示手段２６と同じ画像がスクリーン４の画像投影領域４０３に投影されているため、スクリーン４に投影されている文字記入領域４０６も、文字記入領域２０６の回転に合わせて回転する。
【０１５１】
最後に、文字記入領域制御部２４４は、ステップＳ５０７において算出された傾斜角度（θ）及び回転された文字記入領域２０６の座標領域を記憶手段２５に記憶させて（ステップＳ５０８）、本動作処理を終了させる。
【０１５２】
［第２実施形態の作用効果］
以上のように、本実施形態の情報処理システム１０は、第１実施形態と同様に、ユーザによって電子ペン１を用いてスクリーン４上の文字記入領域４０６内に文字が記入されると、ストローク（電子ペン１の移動経路）が、コンピュータ装置２の表示手段２６の文字記入領域２０６に入力された文字列としてスクリーン４に投影されるとともに、当該文字の記入中であってストロークが特定される毎にユーザによって入力された文字列の傾斜角度（θ）を算出し、算出された傾斜角度（θ）に基づいて文字記入領域２０６（４０６）を回転させることができる。したがって、情報処理システム１０は、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況など、文字記入中におけるユーザの状況を勘案して又は文字記入におけるユーザの状況の変化に併せて文字記入領域２０６（４０６）を回転させることができるので、コンピュータ装置２への文字の入力にあたって、ユーザにスムーズにスクリーン上４で文字を記入させることができる。
【０１５３】
また、本実施形態の情報処理システム１０は、ストローク毎に文字列の傾斜角度（θ）を算出することができ、ユーザが記入したストロークを的確に把握しつつ、文字列の傾斜角度（θ）を算出することができるので、ユーザが記入した文字列に的確に対応させて文字記入領域２０６（４０６）を回転させることができる。
【０１５４】
また、本実施形態の情報処理システム１０は、各ストロークの中心点ｃにのみに基づいて文字列の傾斜角度（θ）を算出することができるので、容易にかつ確実にこの文字列の傾斜角度（θ）を算出することができる。
【０１５５】
また、本実施形態の情報処理システム１０は、文字記入領域制御部２４４による文字列の傾斜角度（θ）の算出のために文字認識処理部２４３による認識処理の結果を使用しないので、文字列の傾斜角度（θ）の算出と文字認識を連動させる必要がなく、それぞれの処理を簡易に構築することができる。
【０１５６】
また、本実施形態の情報処理システム１０は、文字記入領域２０６（４０６）の回転角度（θ）に基づいて、各ストローク（電子ペン１の移動経路）を、回転する前の文字記入領域２０６（４０６）に対応するストロークに変換することができるとともに記入された各文字における傾斜が生じていない状態によって文字列の認識処理を実行することができるので、効率的に文字認識の精度を向上させることができる。
【０１５７】
また、本実施形態の情報処理システム１０は、スクリーン４上の座標が座標変換部２４２によって表示手段２６の表示エリア２０１上の座標に変換されたうえで、文字記入領域４０６（２０６）を回転させるので、スクリーン４と表示手段２６の表示エリア２０１の異なる座標系を用いても文字記入領域４０６（２０６）の回転制御処理を確実に実行することができる。
【０１５８】
［変形例］
なお、本実施形態の情報処理システム１０は、第１実施形態と同様に、ドットパターン（コード化パターン）を、アノト方式に限らなくともよい。また、本実施形態においても、文字記入領域２０６の左上隅を基点Ｂとして用いているが、右下隅、右上隅、左下隅又は中心点など所定の点を文字記入領域２０６の基点Ｂとして用いてもよい。
【０１５９】
また、本実施形態の情報処理システム１０は、第１実施形態と同様に、記入者であるユーザの確定指示に基づいて認識された文字又は記号を特定するように構成できるとともに、ワードプロセッサなどの外部アプリケーションと連動させてこのアプリケーションの記入に用いることもできる。
【０１６０】
また、本実施形態の情報処理システム１０は、文字列の傾斜角度（θ）を算出する際に各ストロークの中心点ｃを用いているが、最上点、最下点、最右点又は最左点などサンプルとなる点を用いることが可能である。
【０１６１】
＜第３実施形態＞
次に、図１８を用いて第３実施形態に係る情報処理システムについて説明する。なお、図１８は、本第３実施形態における情報処理システム１００の構成を示すシステム構成図である。
【０１６２】
第３実施形態の情報処理システム１００は、第１，第２実施形態においてプロジェクター３を用いてスクリーン４に画像を表示するとともにスクリーン４を用いてストロークの記入を行う点に代えて、コンピュータ装置２上に配設された透明又は半透明の光透過性シートを用いてストロークの記入を行う点に特徴がある。なお、本実施形態において、第１，第２実施形態と同一の部材や同一の処理については、同一の符号を付してその説明を省略する。
【０１６３】
本第３実施形態の情報処理システム１００は、図１８に示すように、電子ペン１によって読取可能なドットパターン（コード化パターン）が印刷された光透過性シート９を有している。光透過性シート９は、コンピュータ装置２の表示エリア２０１の前面に貼り付けられるとともに、表示エリア２０１に表示された画像が光透過性シート９の前面から視覚可能に表示される。ドットパターンは、赤外線を選択的に反射する特性を有するインキによって光透過性シート９に印刷されている。
【０１６４】
電子ペン１では、プロセッサ１０８には、ＣＭＯＳカメラ１０６によって撮像された画像データから、赤外線反射の強い部分領域をドットであると認識するよう閾値を設けて判定される。その閾値は、ディスプレイから光透過性シート９を透過してくる赤外線のみの場合と、電子ペン１のＬＥＤ１０５から照射した赤外線がドットによって反射されることによる赤外線が含まれる場合とを区別できるよう設定される。
【０１６５】
なお、電子ペン１のＣＭＯＳカメラ１０６によって撮像された画像データからドットを認識しやすくするため、ＣＭＯＳカメラ１０６に照射される光が赤外線だけとなるように、赤外線透過フィルターを電子ペン１の開口部１０２付近に設けてもよい。また、本実施形態のドットパターンは、アノト方式に限らなくともよい。また、本第３実施形態の情報処理システム１００は、第１実施形態の変形例及び第２実施形態の各例を適宜適用可能である。
【産業上の利用可能性】
【０１６６】
本発明の情報処理システムは、学校の授業や企業等での会議、講演会、プレゼンテーション、ワードプロセッサ等の外部アプリケーションでのペン入力操作などで利用することができる。
【符号の説明】
【０１６７】
ｃ … 中心点
ＳＴ … 文字認識対象ストローク
Ｗ … 文字
１ … 電子ペン
２ … コンピュータ装置
３ … プロジェクター
４ … スクリーン
９ … 光透過性シート
２１ … 入力手段
２２ … 受信手段
２４ … 処理手段
２５ … 記憶手段
２６ … 表示手段
２７ … 送信手段
１０３ … ペン先部
１０６ … ＣＭＯＳカメラ
１０７ … 圧力センサ
１０８ … プロセッサ
１０９ … メモリ
１１１ … 通信ユニット
２０１ … 表示エリア
２０６ … 文字記入領域
２０７ … 画定マーク
２２０ … 基準点
２２１ … 最上点
２２２ … 最下点
２２３ … 最左点
２２４ … 最右点
２４１ … キャリブレーション処理部
２４２ … 座標変換部
２４３ … 文字認識処理部
２４４ … 文字記入領域制御部
２４５ … 表示制御部
４０１ … マグネット板（ホワイトボード）
４０２ … 用紙
４０３ … 座標入力領域（画像投影領域）
４０６ … 文字記入領域
４０７ … 画定マーク
１０，１００ … 情報処理システム
【技術分野】
【０００１】
本発明は、位置座標を示すコード化パターンを用いて情報を入力することができる情報処理システムに関し、特に、ユーザが文字や記号などを記入するための領域の制御に関する。
【背景技術】
【０００２】
近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ Ｐｅｎ）」が知られている。アノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙（以下、単に「専用紙」という。）とともに使用される。
【０００３】
具体的には、アノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。また、ユーザが専用紙上にアノトペンで文字等を書いた場合に、または、専用紙上に図案化されている画像にチェックマークを記入した場合に、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像して、プロセッサによって演算された連続する位置座標から、ユーザが記入した文字、記号または図形などの情報（以下、「記入情報」という。）が生成される。その後、この生成された記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される（例えば、特許文献１参照）。
【０００４】
また、コンピュータ装置の表示画面上を専用のペンその他のもので触れることによって文字や記号を記入し、それらの情報を取得する情報処理システムが提案されている。そして、その一つとして、所定の画面上の領域にユーザによって手書きされた文字を記入するための文字記入領域を用いるものが知られている。例えば、このような文字記入領域を用いるシステムとしては、文字記入領域が予め設定されており、当該文字記入領域に手書きされた文字又は記号などを取得させることによって、文字の記入を行う記入者（いわゆる、ユーザ）に対してその記入時の負担を軽減させる（例えば、特許文献２）。
【０００５】
さらに、このような情報処理システムを自動車などの移動体におけるナビゲーション装置の入力インターフェースとして用いるものも知られている（例えば、特許文献３）。このシステムにおいては、ユーザの指示に基づいて文字記入領域の傾斜角度が設定されるとともに、当該設定された傾斜角度に基づいて記入された文字又は記号の情報が取得される。
【０００６】
一方、文字記入領域を設定せずに、ユーザに自由に文字又は記号を記入させ、それらの記入された文字又は記号に基づいて、筆記された文字列としての方向（筆記方向）、文字の大きさ及び各文字の方向（文字方向）を解析する情報処理システムも知られている（例えば、特許文献４）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００３−５１１７６１号公報
【特許文献２】特開平８−５０５３０号公報
【特許文献３】特開２００８−２５０６７９号公報
【特許文献４】特開２００２−１７５４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２乃至４に記載の手書き文字を入力するシステムの何れにおいても、スムーズな文字入力を実行させるためのシステムとしては構築されていない。
【０００９】
例えば、特許文献２に記載の情報処理システムにあっては、傾斜された文字記入領域に文字を記入させる旨の記載はあるものの、文字記入中における文字記入領域の移動または回転など当該文字記入領域の範囲を変化させる旨の記載は無い。したがって、この情報処理システムは、ユーザの癖または当該ユーザの文字入力中における状況によっては、文字の入力中においてユーザが文字入力をスムーズに実行することが難しい場合がある。
【００１０】
また、特許文献３に記載のナビゲーション装置にあっては、文字を記入する前にユーザによって文字記入領域の傾斜が設定され、当該文字記入領域が固定されている旨が記載されているものの、文字記入領域の移動または回転など、文字記入中に当該文字記入領域の範囲を変化させる旨の記載は無い。したがって、特許文献２と同様に、このナビゲーション装置は、ユーザの癖または当該ユーザの文字入力中における状況によっては、文字の入力中においてユーザが文字入力をスムーズに実行することが難しい場合がある。
【００１１】
一方、特許文献４に記載の情報処理システムにあっては、そもそも、文字の入力位置を補助し、かつ、認識処理などの処理負担を軽減するための文字記入領域を表示させる機能が無く、文字が記入される位置が固定されていないので、文字記入領域の範囲を変化させる概念そのものがない。
【００１２】
本発明は、上記課題を解決するためになされたものであり、その目的は、ユーザの癖または当該ユーザの文字入力中における状況を勘案し、文字の入力中においてユーザが文字入力をスムーズに実行することが可能な情報処理システム及び表示処理プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
（１）上記課題を解決するため、本発明は、ユーザによる操作に基づいて位置座標を示すコード化パターンが形成されたスクリーン上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段と、前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段と、を備え、前記回転制御手段が、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させる構成を有している。
【００１４】
この構成により、本発明は、ユーザによって読取手段が移動させられて文字記入領域内に文字が入力されると、読取手段の移動経路が入力された文字列としてスクリーンに投影されるとともに、当該文字の記入中にユーザによって入力された文字列の傾斜角度を算出し、算出された傾斜角度に基づいてこの文字記入領域を回転させることができる。したがって、本発明は、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況など、文字入力中におけるユーザの状況を勘案して文字の入力中にユーザにスムーズに文字を入力させることができる。
【００１５】
（２）上記課題を解決するため、本発明は、ユーザによる操作に基づいて位置座標を示すコード化パターンが形成された光透過性シート上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段と、前記光透過性シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段と、を備え、前記回転制御手段が、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させる構成を有している。
【００１６】
この構成により、本発明は、ユーザによって読取手段が移動させられて文字記入領域内に文字が入力されると、読取手段の移動経路が入力された文字列として光透過性シートに表示されるとともに、当該文字の記入中にユーザによって入力された文字列の傾斜角度を算出し、算出された傾斜角度に基づいてこの文字記入領域を回転させることができる。したがって、本発明は、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況など、文字入力中におけるユーザの状況を勘案して文字の入力中にユーザにスムーズに文字を入力させることができる。
【００１７】
（３）上記情報処理システムにおいて、前記回転制御手段が、前記文字の記入中であって所定のタイミング毎に、前記文字列の傾斜角度を算出し、当該傾斜角度が算出される毎に前記文字記入領域を回転させる構成としてもよい。
【００１８】
この構成により、ユーザによって読取手段が移動させられて文字記入領域内に文字が入力されると、所定のタイミング毎にユーザによって入力された文字列の傾斜角度を算出し、算出された傾斜角度に基づいてこの文字記入領域を回転させることができる。したがって、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況など、文字入力におけるユーザの状況の変化に合わせて文字記入領域を回転させることができるので、文字の入力中にユーザの状況が変化してもユーザにスムーズに文字を入力させることができる。
【００１９】
（４）さらに、上記情報処理システムにおいて、前記文字記入領域内の前記移動経路の形状に基づいて文字認識を実行する文字認識処理手段を更に有し、前記回転制御手段が、前記所定のタイミングとして前記文字認識処理手段によって一文字認識される毎に、当該一文字として認識された際に用いられた移動経路群に基づいて前記文字列の傾斜角度を算出する構成とするとよい。
【００２０】
この構成により、一文字毎に文字列の傾斜角度を算出することができるので、ユーザが記入した文字列を的確に把握しつつ、文字列の傾斜角度を算出することができる。したがって、ユーザが記入した文字列に的確に対応させて文字記入領域を回転させることができる。
【００２１】
（５）さらにまた、上記情報処理システムにおいて、前記回転制御手段が、前記文字の認識処理手段によって一文字認識される毎に、当該認識された文字の移動経路群に基づいて定められる基準点を求め、当該求められた各基準点に基づいて前記文字列の傾斜角度を算出する構成とするとよい。
【００２２】
この構成により、各文字の中心点若しくは重心などの所定の演算により算出された点または各文字の座標上の最上点若しくは最下点など予め定められたサンプルとなる点に基づいて文字列の傾斜角度を算出することができるので、各文字の算出点またはサンプル点などの基準点を比較するだけで文字列の傾斜角度を算出することができる。したがって、容易にかつ確実にこの文字列の傾斜角度を算出することができる。
【００２３】
（６）また、上記情報処理システムにおいて、前記文字認識処理手段が、前記文字記入領域を回転させている場合には、当該文字記入領域の傾斜角度に基づいて、前記文字列を構成する移動経路を、回転する前の文字記入領域に相当する移動経路に変換して前記文字列の文字認識を再度実行する構成とするのが好ましい。
【００２４】
この構成により、文字記入領域の回転角度に基づいて、読取手段の移動経路を、回転する前の文字記入領域に対応する移動経路に変換することができるので、記入された各文字における傾斜が生じていない状態によって文字列の認識処理を再度実行することができる。したがって、文字認識の精度を向上させることができる。
【００２５】
（７）また、上記情報処理システムにおいて、前記回転制御手段が、前記所定のタイミングとして前記移動経路の構成要素である一ストロークが特定される毎に、当該各ストロークに含まれる前記移動経路の座標群に基づいて前記文字列の傾斜角度を算出して前記文字記入領域を回転させる構成とするとよい。
【００２６】
この構成により、移動経路のストローク毎に、文字列の傾斜角度を算出することができるので、ユーザの記入した文字における形状を確実に把握しつつ、文字列の傾斜角度を算出することができるとともに、ストロークの形状さえ特定されれば、文字列の傾斜角度を算出することができるので、文字認識処理との連動など複雑な処理を実行することなく、文字列の傾斜角度を算出することができる。
【００２７】
（８）さらに、上記情報処理システムにおいて、前記回転制御手段が、前記一ストロークが特定される毎に、各ストロークに含まれる前記移動経路の座標群に基づいて定められる基準点を求め、当該求められた各基準点に基づいて前記文字列の傾斜角度を算出する構成とするとよい。
【００２８】
この構成により、各ストロークの中心点などの所定の演算により算出された点または各ストロークの最上点若しくは最下点など予め定められたサンプル点に基づいて文字列の傾斜角度を算出することができるので、各文字の算出点またはサンプル点などの基準点を比較するだけで文字列の傾斜角度を算出することができる。したがって、容易にかつ確実にこの文字列の傾斜角度を算出することができる。
【００２９】
（９）また、上記情報処理システムにおいて、前記文字記入領域内の前記移動経路の形状に基づいて文字認識を実行する文字認識処理手段を更に備える構成とするとよい。
【００３０】
この構成により、文字列の傾斜角度の算出とは別の処理として文字認識の処理を実行することができるので、文字列の傾斜角度の算出と文字認識を連動させる必要がなく、それぞれの処理を簡易に構築することができる。
【００３１】
（１０）さらに、上記情報処理システムにおいて、前記文字認識処理手段が、前記文字記入領域を回転させている場合には、当該文字記入領域の回転角度に基づいて、前記読取手段の移動経路を回転する前の文字記入領域に相当する移動経路に変換して前記文字認識を実行する構成を有するとよい。
【００３２】
この構成により、文字記入領域の回転角度に基づいて、読取手段の移動経路を、回転する前の文字記入領域に対応する移動経路に変換することができるので、記入された各文字における傾斜が生じていない状態によって文字列の認識処理を実行することができる。したがって、文字認識の精度を向上させることができる。
【００３３】
（１１）また、上記情報処理システムにおいて、前記回転制御手段が、前記文字列の傾斜角度が既に算出されている場合には、当該既に算出された一以上の第１の傾斜角度と新規に算出された第２の傾斜角度とに基づいて新たな第３の傾斜角度を算出し、当該算出された第３の傾斜角度に基づいて前記文字記入領域を回転させる構成とするとよい。
【００３４】
この構成により、既に記入された文字列を勘案して傾斜角度を算出することができるので、文字記入領域の回転をユーザの記入状況に併せて確実に回転させることができる。
【００３５】
（１２）また、上記情報処理システムにおいて、前記スクリーンに投影される画像と同一の画像が表示される表示手段の表示制御を行う表示制御手段と、前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段と、を更に備え、前記回転制御手段が、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を回転させる構成とするとよい。
【００３６】
この構成により、算出手段によって算出された座標が座標変換手段によって表示手段の表示画面の座標に変換されたうえで、文字記入領域を回転させるので、スクリーンと表示手段の表示画面の異なる座標系を用いても文字記入領域の回転処理を確実に実行することができる。
【００３７】
（１３）あるいは、上記情報処理システムにおいて、前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段を更に備え、前記回転制御手段が、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を回転させる構成とするとよい。
【００３８】
この構成により、算出手段によって算出された座標が座標変換手段によって表示手段の表示画面の座標に変換されたうえで、文字記入領域を回転させるので、スクリーンと表示手段の表示画面の異なる座標系を用いても文字記入領域の回転処理を確実に実行することができる。
【００３９】
（１４）また、上記課題を解決するため、位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、前記コンピュータを、前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段、前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段、として機能させるとともに、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として更に機能させる構成を有している。
【００４０】
上記プログラムをコンピュータ装置にインストールすることにより、本発明に係る情報処理システムを構成させることができる。
【００４１】
（１５）また、上記課題を解決するため、位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、前記コンピュータを、前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段、前記光透過性シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段、として機能させるとともに、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として更に機能させる構成を有している。
【００４２】
上記プログラムをコンピュータ装置にインストールすることにより、本発明に係る情報処理システムを構成させることができる。
【発明の効果】
【００４３】
本発明は、ユーザによって読取手段が移動させられて文字記入領域内に文字が入力されると、読取手段の移動経路が入力された文字列としてスクリーンに投影されるとともに、当該文字の記入中にユーザによって入力された文字列の傾斜角度を算出し、算出された傾斜角度に基づいてこの文字記入領域を回転させることができる。したがって、本発明は、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況など、文字入力中におけるユーザの状況を勘案して文字の入力中にユーザにスムーズに文字を入力させることができる。
【図面の簡単な説明】
【００４４】
【図１】第１実施形態における情報処理システムのシステム構成図である。
【図２】ドットパターンにおけるドットの配置とそのドットが変換される値との関係を説明する図である。
【図３】ドットパターンを説明するための図であり、（ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す。
【図４】電子ペンの構造を示す概略図であるとともに、その機能を示すブロック図である。
【図５】コンピュータ装置の機能ブロック図である。
【図６】第１実施形態における第１認識処理を説明するための図である。
【図７】第１実施形態において文字記入領域の回転制御処理を説明するための図（Ｉ）であり、（ａ）は、文字列の傾斜角度における算出例を説明するための図、及び、（ｂ）は、算出された傾斜角度に基づいて回転される文字記入領域の一例である。
【図８】第１実施形態において文字記入領域の回転制御処理を説明するための図（ＩＩ）であり、（ａ）は、３文字目が記入されたときの文字列における傾斜角度の算出例を説明するための図、及び、（ｂ）は、算出された傾斜角度に基づいて回転される文字記入領域の一例である。
【図９】第１実施形態の情報処理システムにおける第１認識処理を伴う回転制御処理を含む表示処理の動作を示すフローチャートである。
【図１０】第１実施形態の情報処理システムにおける第２認識処理の動作を示すフローチャートである。
【図１１】第１実施形態の第１変形例に関する文字記入領域の回転制御処理を説明するための図であって、文字列の傾斜角度における算出例を説明するための図である。
【図１２】第１実施形態の第２変形例に関する文字記入領域の回転制御処理を説明するための図であって、文字列の傾斜角度における算出例を説明するための図である。
【図１３】第１実施形態の第３変形例に関する文字記入領域の回転制御処理を説明するための図であって、文字列の傾斜角度における算出例を説明するための図である。
【図１４】第１実施形態の第４変形例に関する文字記入領域の回転制御処理を説明するための図であって、（ａ）は、３文字目が記入されたときの文字列における傾斜角度の算出例を説明するための図、及び、（ｂ）は、算出された傾斜角度に基づいて回転される文字記入領域の一例である。
【図１５】第１実施形態の第５変形例に関する文字記入領域の回転制御処理を説明するための図であって、３文字目が記入されたときの文字列における傾斜角度の算出例を説明するための図である。
【図１６】第２実施形態において文字記入領域の回転制御処理を説明するための図であって、文字列の傾斜角度における算出例を説明するための図である。
【図１７】第２実施形態の情報処理システムにおける回転制御処理を含む表示処理の動作を示すフローチャートである。
【図１８】第３実施形態における情報処理システムの構成を示すシステム構成図である。
【発明を実施するための形態】
【００４５】
以下、本発明の各実施形態について、図面を参照しながら説明する。なお、以下に説明する実施形態は、プロジェクターによって予め定められたコード化パターンを有するスクリーンに所定の画像を投影させつつ、ユーザによってスクリーン及び電子ペンを用いて記入された記入情報を当該画像に重畳させる情報処理システムに、本発明の情報処理システム及び表示処理プログラムを適用した場合の実施形態である。
【００４６】
＜第１実施形態＞
はじめに、図１〜図１５の各図を用いて第１実施形態に係る情報処理システム１０について説明する。
【００４７】
［情報処理システムのシステム構成］
まず、情報処理システム１０の構成について説明する。なお、図１は、情報処理システム１０の構成を示すシステム構成図である。
【００４８】
情報処理システム１０は、図１に示すように、ユーザによって使用され、ユーザの手書きによりスクリーン４に記入された文字、記号または図形などのストローク（筆跡）に応じて記入情報を生成する電子ペン１と、当該電子ペン１によって生成された記入情報を受信して所定の処理を実行するコンピュータ装置２と、コンピュータ装置２から出力された画像信号を受信し、コンピュータ装置２が有する表示手段２６に表示される画像と同一の画像を同期してスクリーン４に投影するプロジェクター３とから構成される。
【００４９】
なお、電子ペン１は、本発明の読取手段及び算出手段を構成し、コンピュータ装置２は、本発明の投影出力手段、回転制御手段、文字認識処理手段、表示制御手段及び座標変換手段を構成する。また、プロジェクター３は、本発明の投影手段を構成する。
【００５０】
［スクリーン］
次に、本実施形態におけるスクリーン４について説明する。
【００５１】
スクリーン４は、電子ペン１に十分に筆圧がかかる程度に硬いマグネット板４０１と、後述するドットパターン（コード化パターン）が印刷により全面に形成された用紙４０２とから構成される。特に、用紙４０２は、マグネット板４０１の前面に、用紙４０２の上から図示しないマグネットによって押さえ付けることによって、または、糊、粘着剤等で貼りつけることによって固定されている。なお、マグネット板４０１の代わりにホワイトボード、パーティションボード又は部屋の壁面等を利用してもよい。また、用紙４０２の代わりに、ドットパターンが印刷されたシートでもよく、又は、スクリーン４にドットパターンが直接形成されていてもよい。
【００５２】
［ドットパターン］
次に、図２及び図３を用いて本実施形態におけるスクリーン４の用紙４０２に印刷されているアノト方式のドットパターン（コード化パターン）について説明する。なお、図２は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。また、図３は、ドットパターンを説明するための図である。
【００５３】
図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できるので、このようにして対応付けられた情報の組合せにより、スクリーン４上の位置座標が決定されるよう構成されている。なお、ドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。
【００５４】
図３（ａ）は、ある位置のドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍにおける範囲内に６×６の３６個のドット（以下、「６×６ドット」という。）が、スクリーン４（用紙４０２）上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは、スクリーン４（用紙４０２）上における相対的な位置座標を保持している。なお、図３（ｂ）は、図３（ａ）に示す各ドットを、仮想格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。
【００５５】
［電子ペン］
次に、図４を用いて本実施形態における電子ペン１の構造とその動作について説明する。なお、図４は、電子ペン１の構造を示す概略図であるとともに、その機能を示すブロック図である。
【００５６】
電子ペン１は、プロジェクター３により画像投影されるスクリーン４への、タップ（ペン先部１０３によるスクリーン４への軽叩）及び文字や記号または図形の記入に用いられる。また、ユーザによって電子ペン１を用いてスクリーン４上にタップされると、又は、文字、記号または図形が描かれると、電子ペン１は、後述するペン先部１０３のスクリーン４上の移動経路（以下、「筆跡」、「ストローク」ともいう。）に沿って、用紙４０２に印刷されたドットパターンを局所的、かつ、連続的に読み取る。そして、電子ペン１は、スクリーン４におけるその局所位置の座標を算出するとともに、その算出した位置座標データをコンピュータ装置２へ送信する。
【００５７】
具体的には、電子ペン１は、図４に示すように、その筐体１０１の内部に、ペン部１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。ペン部１０４の先端は、ペン先部１０３となっており、ペン先部１０３は、文字などの記入又はタップを行う際に、ユーザによってスクリーン４の用紙４０２に当接される。なお、電子ペン１によって、スクリーン４に記入された筆跡は、コンピュータ装置２の処理によりプロジェクター３によって投影されるため、ペン部１０４には、インクが充填されていないものがよいが、消去可能なインクが充填されたものであってもよい。
【００５８】
バッテリー１１２は、電子ペン１内の各部材に電力を供給するためのものであり、例えば、電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うように構成されている。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりスクリーン４に文字などを記入したりタップしたりする際に、ペン先部１０３からペン部１０４を通じて与えられる圧力、すなわち、筆圧を検出し、その値をプロセッサ１０８へ伝送する。
【００５９】
プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、電子ペン１のペンダウン（スクリーン４に接触してストロークが書き出しされること）及びペンアップ（接触している状態からペン先部１０３が離れること）を判定してＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切換える。すなわち、ユーザが電子ペン１によってスクリーン４に文字などを記入すると、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されるので、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、ユーザがスクリーン４から電子ペン１を離すと、圧力センサ１０７によって所定値以上の筆圧の検出がされなくなるので、その際には、プロセッサ１０８は、ユーザが１つの筆跡の記入を終了したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６の作動を終了させる。
【００６０】
ＬＥＤ１０５及びＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、スクリーン４上のペン先部１０３近傍に向けて赤外線を照射する。赤外線が照射される領域は、ペン先部１０３がスクリーン４に接触する位置とはわずかにずれるように構成されている。ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内における上述したドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。
【００６１】
上述のように、ドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されているので、ＬＥＤ１０５によって照射された赤外線は、ドットの位置においては吸収される。その結果、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多くなる。このため、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。
【００６２】
プロセッサ１０８は、ユーザによってスクリーン４に文字等が記入されている間、すなわち、圧力センサ１０７から与えられる筆圧データに基づいてＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチがオンの状態のときに、ＣＭＯＳカメラ１０６によって供給される各画像データのドットパターン毎に、スクリーン４上におけるＸ、Ｙ座標（以下、単に「位置座標」又は「座標データ」ともいう。）及びドットパターンアドレスを個々に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを、図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値及びＹ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データ及びドットパターンアドレスを演算する。
【００６３】
なお、上述のように、スクリーン４における６×６のドットパターンは、スクリーン４内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がスクリーン４のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（Ｔ）と、筆圧データ（Ｐ）と、Ｘ，Ｙ座標データ及びドットパターンアドレスとを関連付けて一の座標属性情報を生成する。
【００６４】
メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」などのペンＩＤ（電子ペン識別情報）、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、座標属性情報等にペンＩＤが関連付けられた各記入情報をコンピュータ装置２へ順次送信する。通信ユニット１１１によるコンピュータ装置２への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって即時的かつ逐次的に行われる。
【００６５】
次に、電子ペン１よりコンピュータ装置２へ送信される記入情報について説明する。ユーザが電子ペン１を用いてスクリーン４にストローク（筆跡）を記入する際には、まず、電子ペン１をスクリーン４に接触させる。すると、電子ペン１の圧力センサ１０７によってペン先部１０３にかかる筆圧を検出する。電子ペン１のプロセッサ１０８は、圧力センサ１０７によって所定値以上の筆圧が検出されたと判断すると、電子ペン１の用紙４０２（スクリーン４）への接触を示すペンダウン情報ＰＤと、電子ペン１の識別情報であるペンＩＤ等とを関連付けた記入情報を生成して、通信ユニット１１１に、その記入情報をコンピュータ装置２へ送信させる。
【００６６】
また、ユーザは、電子ペン１のペン先部１０３を用紙４０２（スクリーン４）に接触させた後、筆圧を維持しつつ、ペン先部１０３を移動させてストロークを描くが、電子ペン１のプロセッサ１０８も引き続き、演算により求めた座標情報（Ｘ，Ｙ）及びドットパターンアドレスと、圧力センサ１０７により検出される筆圧データ（Ｐ）、リアルタイムクロック１１０により発信された時刻情報（Ｔ）とを含む座標属性情報及びペンＩＤを関連付けた記入情報を、ＣＭＯＳカメラ１０６によるドットパターンの撮影周期に応じて、逐次生成し、通信ユニット１１１に当該記入情報を順次コンピュータ装置２へ送信させる。
【００６７】
そして、ユーザがストロークを描き終えて電子ペン１を用紙４０２（スクリーン４）から離すと、圧力センサ１０７は、筆圧を検出しなくなるため、プロセッサ１０８は、圧力センサ１０７によって所定値以上の筆圧が検出されなくなったと判断する。すると、プロセッサ１０８は、電子ペン１の用紙４０２（スクリーン４）への離脱を示すペンアップ情報ＰＵと、電子ペン１の識別情報であるペンＩＤ等とを関連付けた記入情報を生成して、通信ユニット１１１に、その記入情報をコンピュータ装置２へ送信させる。このように、電子ペン１がペンダウンと判定してからペンアップと判定するまでに、すなわち、ユーザの一つのストロークの記入により、電子ペン１によって生成される座標属性情報の集合をストローク情報と呼ぶ。
【００６８】
［コンピュータ装置］
次に、図１及び図５の各図を用いて本実施形態のコンピュータ装置２について説明する。なお、図５は、コンピュータ装置２の各機能を示す機能ブロック図である。
【００６９】
コンピュータ装置２は、例えば、パーソナルコンピュータであって、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等によって構成される。また、コンピュータ装置２は、図５を示すように、機能的には、マウスやキーボードなどから構成される入力手段２１、受信手段２２、処理手段２４、記憶手段２５、表示手段２６及び送信手段２７を備え、電子ペン１から受信した記入情報に基づいて所定の処理を行う。
【００７０】
受信手段２２は、アンテナや受信回路等により構成され、電子ペン１から送信された各記入情報を順次受信し、処理手段２４に伝送する。
【００７１】
処理手段２４は、ＣＰＵ等のプロセッサによって構成される。処理手段２４は、所定のキャリブレーション処理及びキャリブレーション処理の結果に基づいて表示手段２６に表示するための座標変換処理を実行する。キャリブレーション処理としては、処理手段２４は、スクリーン４上のドットパターンによる位置座標をコンピュータ装置２の表示手段２６における表示エリア２０１上の位置座標に座標変換するための座標変換関数を求める。
【００７２】
また、処理手段２４は、表示手段２６の表示エリア２０１上における文字記入領域２０６の制御処理、文字記入領域２０６がスクリーン４に投影された文字記入領域４０６内に記入された文字又は記号を構成するストロークの座標データが座標変換関数により座標変換された後の座標データの認識処理及び表示手段２６における各種の表示制御処理を実行する。特に、処理手段２４は、文字認識処理と連動して文字記入領域２０６の回転制御の処理（以下、単に「回転制御処理」又は「回転処理」という。）を行う。具体的には、処理手段２４は、ユーザが電子ペン１により文字記入領域４０６に文字を記入すると、電子ペン１から送信された記入情報に含まれる座標データを座標変換関数により座標変換して、一文字毎に文字認識を行いつつ、入力された文字列の傾斜角度（θ）を算出し、この算出された傾斜角度（θ）に基づいて文字記入領域２０６を回転させる。
【００７３】
処理手段２４は、上述のような各処理を実行するために、図５に示すように、キャリブレーション処理部２４１と、座標変換部２４２と、文字認識処理部２４３と、文字記入領域制御部２４４と、表示制御部２４５とを有している。なお、文字認識処理部２４３及び文字記入領域制御部２４４を含めて、処理手段２４の各部の詳細については後述する。
【００７４】
記憶手段２５は、ハードディスク又はＲＯＭ、ＲＡＭなどのメモリによって構成される。そして、記憶手段２５には、キャリブレーション処理を実行するためのプログラム（以下、「キャリブレーションプログラム」という。）と、文字記入領域２０６を回転させる回転制御処理を実行するためのプログラム（以下、「文字記入領域回転プログラム」という。）と、文字記入領域回転プログラムと連動して実行される文字認識処理のプログラム（以下、「文字認識プログラム」という。）とが予め記憶されている。
【００７５】
具体的には、キャリブレーションプログラムに関しては、表示手段２６に表示するキャリブレーション用マークの表示エリア２０１上の位置座標及び形状等の情報、スクリーン４の用紙４０２に印刷されているドットパターンの座標領域の値が記憶手段２５に記憶される。また、文字記入領域回転プログラムに関しては、表示手段２６に表示される文字記入領域２０６の座標領域の初期値、その範囲を画定表示するためのマーク（以下、「画定マーク」ともいう。）２０７の形状など、画定マーク２０７の初期座標及びその他の文字記入領域２０６の回転制御処理に必要な各情報が記憶手段２５に予め記憶されている。さらに、文字認識プログラムに関しては、表示手段２６に表示された文字記入領域２０６に基づいてスクリーン４上に投影された文字記入領域４０６内に描かれ、文字記入領域４０６への記入として取り込まれたストローク群によって形成される形状パターンの照合に用いる、各文字又は記号に関するパターンの情報（以下、「パターン情報」という。）その他の文字認識処理に必要な情報が記憶手段２５に予め記憶されている。
【００７６】
上記のデータに加えて、記憶手段２５には、ユーザがスクリーン４に文字、記号又は図形を記入した際に電子ペン１によって生成されたストローク毎の各記入情報が記憶されるとともに、後述する各文字認識対象ストロークＳＴの各ストローク情報が記憶される。また、記憶手段２５には、キャリブレーション処理により求められた座標変換関数、回転制御処理によって回転された文字記入領域２０６の座標領域の値、及び、座標変換により文字記入領域２０６に入力された文字列の傾斜角度（＝文字記入領域の回転角度）（θ）など、キャリブレーション処理、文字認識処理（第１認識処理及び第２認識処理）並びに回転制御処理の各処理中または処理後に、各プログラムに沿って又は各処理中におけるユーザの指示に従って生成された各種のデータが記憶される。
【００７７】
表示手段２６は、液晶又は有機ＥＬなどのディスプレイ等によって構成され、処理手段２４によって指示された内容を表示するものであり、図１に示すように、表示手段２６の表示エリア２０１には、処理手段２４の表示制御部２４５の処理により、認識文字表示位置マーク２０５と、文字記入領域２０６と、画定マーク２０７とを表示する。
【００７８】
送信手段２７は、処理手段２４の指示によって、表示手段２６の画像表示に用いられる画像信号をプロジェクター３へ送信する。このため、スクリーン４には、コンピュータ装置２の表示エリア２０１に表示された画像と同じ画像が同期して、プロジェクター３によって画像投影領域４０３に拡大されて投影される。また、図１に示す例では、表示エリア２０１に表示された、画定マーク２０７により画定された文字記入領域２０６は、それぞれスクリーン４上に、対応する画定マーク４０７により画定された文字記入領域４０６として投影される。なお、送信手段２７によるプロジェクター３へのデータ送信方式は、有線式であっても無線式であってもよい。
【００７９】
［処理手段］
次に、図５とともに図６〜図８の各図を用いて処理手段２４における各部の詳細について説明する。なお、図６は、第１認識処理を説明するための図である。また、図７は、文字記入領域の回転制御処理を説明するための図（Ｉ）であり、特に、図７（ａ）は、文字列の傾斜角度（θ）における算出例を説明するための図、及び、図７（ｂ）は、算出された傾斜角度（θ）に基づいて回転される文字記入領域の一例である。さらに、図８は、文字記入領域の回転制御処理を説明するための図（ＩＩ）であり、特に、図８（ａ）は、３文字目が記入されたときの文字列における傾斜角度（θ）の算出例を説明するための図、及び、図８（ｂ）は、算出された傾斜角度（θ）に基づいて回転される文字記入領域の一例である。
【００８０】
（１）キャリブレーション処理部
キャリブレーション処理部２４１は、記憶手段２５に記憶されたキャリブレーションプログラムに従って、スクリーン４上のドットパターンによる位置座標を、表示手段２６における表示エリア２０１上の位置座標に変換するための座標変換関数を求める。具体的には、キャリブレーション処理部２４１は、表示手段２６の表示エリア２０１に２箇所以上のキャリブレーション用マークを表示させるとともに、スクリーン４に対してプロジェクター３によりキャリブレーション用マークを投影させる。そして、電子ペン１によってスクリーン４に投影されたキャリブレーション用マークをタップすることによって生成されたスクリーン４上の座標データを受信手段２２が受信すると、キャリブレーション処理部２４１は、キャリブレーション用マークに係る表示手段２６の表示エリア２０１上の位置座標と、スクリーン４上におけるドットパターンの位置座標との対応関係を取得して座標変換関数を算出する。なお、キャリブレーション処理部２４１は、この算出した座標変換関数を記憶手段２５に記憶する。
【００８１】
（２）座標変換部
座標変換部２４２は、電子ペン１から送信されて受信したストローク毎の各記入情報に含まれるスクリーン４上のＸ、Ｙ座標データを、キャリブレーション処理部２４１によって求めた座標変換関数に基づいて、表示手段２６の表示エリア２０１上におけるストロークのＸ、Ｙ座標に変換する。そして、座標変換部２４２は、この変換後のＸ，Ｙ座標（以下、「較正座標」ともいう。）をストローク毎に記憶手段２５に記憶する。
【００８２】
また、このとき、座標変換部２４２は、一のストロークの各較正座標が文字記入領域２０６の座標領域の範囲内であると認識すると、文字記入領域４０６の座標領域内に記入されたストローク（以下、「文字認識対象ストローク」という。）ＳＴと判断し、これらの各記入情報をこの文字認識対象ストロークＳＴのストローク情報として記憶手段２５に記憶する。すなわち、座標変換部２４２は、文字認識対象ストロークＳＴ毎に、Ｘ、Ｙ座標が較正座標に書き換えられた各記入情報を、文字認識処理の際に必要となる筆順を特定するための時刻情報（Ｔ）などの情報とともに、記憶手段２５に記憶する。
【００８３】
（３）文字認識処理部
文字認識処理部２４３は、記憶手段２５に記憶された文字認識処理プログラムに従って、文字記入領域２０６内に入力された電子ペン１のストロークについて文字認識処理を実行する。特に、文字認識処理部２４３は、ユーザの文字記入中に、回転制御処理と連動し、ストローク情報に含まれる時刻情報に基づいて特定される筆順に従って一文字毎のストローク群を特定するための認識処理（以下、「第１認識処理」という。）と、ユーザの指示に基づいて記入が完了した文字列の文字認識を行う認識処理（以下、「第２認識処理」という。）とを実行する。そして、文字認識処理部２４３は、第１認識処理及び第２認識処理の両認識処理とも、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）などの文字認識を行うプログラムと同様に、文字認識対象ストローク（文字記入領域４０６に電子ペン１で記入され、文字記入領域２０６に入力されたストローク）ＳＴにおける座標変換されたＸ、Ｙ座標群から形成されるパターンと記憶手段２５に予め記憶された各文字や記号のパターン情報とを照合して文字または記号を特定する。
【００８４】
第１認識処理としては、文字認識処理部２４３は、座標変換部２４２によって特定された文字認識対象ストロークＳＴ毎に、筆順に従って新規に文字認識対象ストロークＳＴｔとして判断されたストロークの各記入情報と、既に文字認識対象ストローク（ＳＴｎ〜ＳＴ（ｔ−１））として判断された他のストロークの各記入情報と、から形成されるストローク群の形状パターンに基づいて、これらのストローク（ＳＴｎ〜ＳＴ（ｔ−１））によって形成されるストローク群の形状パターンが一文字として認識可能か否か、且つ、新規に判断された文字認識対象ストロークＳＴｔも含む文字の一部分となり得るか否か、換言すると、文字認識対象ストロークＳＴｔは次の文字のストロークであるか否かを判断する。そして、文字認識処理部２４３は、当該ストローク群（ＳＴｎ〜ＳＴ（ｔ−１））の形状パターンが一文字として認識可能かつ文字認識対象ストロークＳＴｔは次の文字のストロークであると判断した場合には、文字記入領域制御部２４４にこの一文字を形成するストローク群（ＳＴｎ〜ＳＴ（ｔ−１））に基づいて回転制御処理を実行させる。その一方、文字認識処理部２４３は、一文字として認識できないと判断した場合には、次の文字認識対象ストロークＳＴ（ｔ＋１）が特定されたときに、ストローク（ＳＴｎ〜ＳＴｔ）によって形成されるストローク群の形状パターンが一文字として認識可能か否かを判断する。このように、文字認識処理部２４３は、文字認識対象ストロークＳＴ毎に一文字認識可能か否か判断し、一文字毎に各文字を形成するストローク群を特定するよう構成されている。
【００８５】
具体的には、図６に示すように、ユーザによって入力される文字が「明日」の場合であって、座標変換部２４２によって第１〜第９の文字認識対象ストローク（以下、単に、それぞれ「第ｎストローク」という。）ＳＴ１〜ＳＴ９が順次特定される場合に、文字認識処理部２４３は、第１ストロークＳＴ１から第８ストロークＳＴ８までのそれぞれのストロークが新規の文字認識対象ストロークＳＴｔとして判断されたときには、それらの第１ストロークＳＴ１〜第８ストロークＳＴ８に基づいては一文字として認識しない。しかしながら、文字認識処理部２４３は、その後に第９ストロークＳＴ９が新規の文字認識対象ストロークＳＴｔとして判断されたときには、第９ストロークＳＴ９が次の文字のストロークであると判断して第１ストロークＳＴ１〜第８ストロークＳＴ８を一文字「明」の文字として認識する。すなわち、まず、第４ストロークＳＴ４が新規の文字認識対象ストロークＳＴｔと判断されたときには、第１ストロークＳＴ１〜第４ストロークＳＴ４のストローク群によって「日」の文字として認識可能ではあるが、その文字が「日」そのものなのか「時」などの更に異なる文字の一部分であるのかは次の第５ストロークＳＴ５を含めて判断される必要がある。さらに、第８ストロークＳＴ８が新規の文字認識対象ストロークＳＴｔと判断されたときには、第１ストロークＳＴ１〜第８ストロークＳＴ８のストローク群によって「明」の文字として認識可能ではあるが、その文字が「明」そのものなのか「盟」などの更に異なる文字の一部分であるのかは次の第９ストロークＳＴ９を含めて判断される必要がある。したがって、文字認識処理部２４３は、確実に一文字のストローク群を特定するために、新規に特定された文字認識対象ストロークＳＴｔを判断の対象に用いるものの、一文字として特定するストローク群に含めずに第１認識処理を実行している。また、文字認識処理部２４３は、二文字目以降の文字認識処理に関しては、一文字認識する毎に、既に文字認識に用いられた第ｎストロークＳＴｎから第ｍストロークＳＴｍ（ｍ＞ｎ）のストローク群を除き、その後に特定された第（ｍ＋１）ストロークＳＴ（ｍ＋１）以降のストローク群に基づいて、第１認識処理を実行する。
【００８６】
第２認識処理としては、文字認識処理部２４３は、文字記入領域２０６に文字又は記号などのユーザによる入力が実行された後であって、コンピュータ装置２などの図示しない認識開始キーまたは座標入力領域（画像投影領域）４０３内の図示しない認識開始領域若しくは電子ペン１の文字記入領域４０６内でのタップ動作を検知した場合に、ユーザの記入が完了したと判断し、文字記入領域２０６内に含まれている文字列を一括的に文字認識する。特に、文字認識処理部２４３は、上述のようなユーザの指示が入力されると、文字記入領域２０６内の記入情報として記憶手段２５に記憶されているストロークの各較正座標（すなわち、電子ペン１のスクリーン４上のストロークの座標データに対応する、表示手段２６の表示画面上における当該ストロークの座標データ群）を回転角度（θ）及び回転中心の座標データに基づいて逆回転させ（−θの回転行列を乗算し）、その座標変換後の座標データに基づいて文字認識を行う。すなわち、回転制御処理によって文字記入領域２０６が回転していると判断された場合には（例えば、記憶手段２５によって回転フラグ情報が記憶されている場合には）、文字認識処理部２４３は、第２認識処理として、各文字認識対象ストロークＳＴの各較正座標群に対して、文字記入領域２０６において予め定められた点（後述する基点Ｂ）の座標を回転の中心として、記憶されている回転角度（θ）だけ逆回転させる（−θの回転行列をかける）ことによって各ストロークの較正座標を正規化するとともに、この正規化後のＸ，Ｙ座標群によって形成されるパターンに対して文字認識処理を実行する。これにより、傾斜して記入された文字又は記号を傾斜の無い水平に書かれた状態に直すことができるので、文字等の特定に関する精度、すなわち、文字認識における認識精度を向上させることができる。また、第２認識処理が実行された場合には、次に記入される文字列を認識するために、文字記入領域２０６内に表示されている全てのストローク（すなわち、文字認識対象ストロークＳＴとして特定されて記憶手段２５に記憶されている全てのストローク）と、後述する基準点２２０及び傾斜角度（θ）の各データは記憶手段２５から消去される。また、文字認識処理部２４３は、第２認識処理の結果認識された文字列のテキストデータを、記憶手段２５に記憶させる。
【００８７】
（４）文字記入領域制御部
文字記入領域制御部２４４は、記憶手段２５に記憶された文字記入領域２０６の座標領域の初期値及びその範囲を画定表示するための画定マーク２０７の情報に基づいて、図１に示すように、表示手段２６の表示エリア２０１に画定マーク２０７を表示させる。特に、文字記入領域制御部２４４は、初期設定として、表示手段２６の表示エリア２０１の左下隅に、画定マーク２０７を用いることによって横長の長方形状の文字記入領域２０６を表示させる。そして、文字記入領域制御部２４４は、図１に示すように、この画像と同一の画像をスクリーン４に投影させるための画像信号を、送信手段２７を介してプロジェクター３に送信する。
【００８８】
なお、これにより、スクリーン４の左下隅に、画定マーク４０７によって特定可能な文字記入領域４０６が表示される。また、図１においては、文字記入領域２０６，４０６が外枠表示されているが、文字記入領域２０６，４０６が黄色その他の色を用いて強調表示されていてもよく、記入情報の記入を促すための罫線（下線）によって文字記入領域２０６，４０６が表示されるようにしてもよい。
【００８９】
また、文字記入領域制御部２４４は、ユーザによってスクリーン４上の文字記入領域４０６に文字が記入され、文字記入領域２０６に入力されると、文字記入領域回転プログラムに従って、文字の記入中であって一文字認識される毎に、ユーザによって記入された文字列の傾斜角度（θ）を算出し、この算出された傾斜角度（θ）に基づいて文字記入領域２０６を回転させる。すなわち、電子ペン１によって文字記入領域４０６内に記入された文字に関するストローク情報が生成され、かつ、この記入された文字のストローク情報に基づいて座標変換部２４２によって座標変換されて文字記入領域２０６内に入力されたストロークが文字認識対象ストロークＳＴと特定されると、文字記入領域制御部２４４は、文字認識処理部２４３の第１認識処理と連動し、文字認識処理部２４３によって一文字認識される毎に、一文字を形成するストローク群に基づいて、認識された文字の基準点２２０を算出する。そして、文字記入領域制御部２４４は、算出された文字の基準点２２０に基づいて文字列の傾斜角度（θ）を更に算出し、予め定められた基点Ｂに基づいて算出された傾斜角度（θ）と同一の角度（以下、「回転角度」という。）（θ）を有するように文字記入領域２０６を回転制御する。
【００９０】
具体的には、文字記入領域制御部２４４は、図７（ａ）に示すように、一文字目の第１文字Ｗ１が認識されると、認識された第１文字Ｗ１を形成するストローク群に基づいて、座標変換された表示手段２６の表示エリア２０１の座標上の最上点２２１ａ、最下点２２２ａ、最左点２２３ａ及び最右点２２４ａを認識する。そして、文字記入領域制御部２４４は、これらの最上点２２１ａ、最下点２２２ａ、最左点２２３ａ及び最右点２２４ａの各点に基づいて文字のストローク群の中心となる基準点２２０ａを求める。また、文字記入領域制御部２４４は、同様にして、二文字目の第２文字Ｗ２が認識されると、認識された第２文字Ｗ２を形成するストローク群に基づいて、最上点２２１ｂ、最下点２２２ｂ、最左点２２３ｂ及び最右点２２４ｂを認識し、これらの各点からの基準点２２０ｂを求める。なお、以下、第ｎ文字Ｗｎの基準点２２０χを第ｎ基準点２２０χと呼ぶ。そして、第２基準点２２０ｂが算出されると、文字記入領域制御部２４４は、この第２基準点２２０ｂと既に求めてある第１基準点２２０ａとによって形成される直線Ｌの座標上の傾きαを文字列の傾斜角度（θ）として算出する。さらに、文字記入領域制御部２４４は、図７（ｂ）に示すように、文字記入領域２０６の左上を基点Ｂとして、この算出された傾斜角度（θ（＝α））と同一の回転角度（θ）を有するように文字記入領域２０６を回転させる。そして、ユーザが文字記入中であっても、傾斜角度（θ）が算出されれば、文字記入領域２０６は回転制御されるので、文字記入領域制御部２４４は、図７（ｂ）に示すように、ユーザが第３文字Ｗ３を入力中であっても、傾斜角度（θ（＝α））が算出されれば、文字記入領域２０６が回転制御される。
【００９１】
また、算出された基準点２２０が一つの場合には、すなわち、図７（ａ）において第１文字Ｗ１として文字「明」のみ認識され、算出された基準点が２２０ａだけの場合には、文字記入領域制御部２４４は、傾斜角度（θ）を算出することができないので、文字列の傾斜角度（θ）を算出せずに文字記入領域２０６の回転制御処理を行わない。その一方、文字記入領域制御部２４４は、３文字以上の複数の文字が認識され、既に一以上の文字列の傾斜角度（θ）が算出されている場合には、すなわち、文字記入領域２０６が予め定められた位置（傾斜角度（θ）＝０）から既に回転している場合には、既に算出された傾斜角度（θ）（以下、「第１傾斜角度（θ１）」という。）と新規に算出された傾斜角度（θ）（以下、「第２傾斜角度（θ２）」という。）とに基づいて新たな傾斜角度（θ）（以下、「第３傾斜角度（θ３）」という。）を算出し、算出された第３傾斜角度（θ３）に基づいて文字記入領域２０６を回転させる。特に、図８（ａ）及び（ｂ）示すように、１文字目と２文字目とによって形成される直線Ｌ１の傾きα（すなわち、第１傾斜角度（θ１＝α））が既に算出されている場合に、３文字目の認識が実行されて第３基準点２２０ｃが求められると、第１基準点２２０ａと第３基準点２２０ｃによって形成される直線Ｌ２の座標上の傾きβを第２傾斜角度（θ２）として算出する。そして、文字記入領域制御部２４４は、第１傾斜角度（θ１（＝α））（＝回転角度（θ））と今回算出された第２傾斜角度（θ２（＝β））に基づいて（式１）の演算を実行して新たな傾きγ（すなわち、第３傾斜角度（θ３））を算出し、図８（ｂ）に示すように、文字記入領域２０６の左上の点を基点Ｂとして、算出された第３傾斜角度（θ３（＝γ））と同一の回転角度（θ）を有するように、既に第１傾斜角度（θ１（＝α））によって回転されている文字記入領域２０６を更に回転させる。
【００９２】
【数１】
【００９３】
なお、４文字目以降の文字認識処理も同様に、第１傾斜角度（θ１）及び第２傾斜角度（θ２）に基づいて第３傾斜角度（θ３）を算出して文字記入領域２０６を回転させる。例えば、図８の例によれば、３文字目の認識の際に文字記入領域制御部２４４により（式１）の演算によって算出された傾斜角度γが、４文字目を認識した際に実行される回転制御処理においては第１傾斜角度（θ１）に該当し、４文字目の文字の図示しない基準点に基づいて算出される直線の傾きは、第２傾斜角度（θ２）に該当することとなる。
【００９４】
（５）表示制御手段
表示制御部２４５は、キャリブレーション処理の際、キャリブレーション処理部２４１の指示により、キャリブレーション用マークを表示手段２６の表示エリア２０１に表示させる。また、表示制御部２４５は、文字記入領域制御部２４４の指示により、文字記入領域２０６及び画定マーク２０７を表示させること、及び、電子ペン１を用いた操作による文字記入領域２０６の回転中及び回転後の状態をリアルタイムで表示手段２６の表示エリア２０１に表示させることが可能である。また、表示制御部２４５は、電子ペン１から送信された記入情報の座標データが座標変換部２４２によって座標変換された位置座標（較正座標）によるストロークを、表示手段２６の表示エリア２０１に表示させる。
【００９５】
特に、表示制御部２４５は、第２認識処理が実行された場合には、文字記入領域２０６に表示されている文字、記号及びその他の図形など、手書きされたストロークの表示を消去し、第２認識処理の文字認識によって特定された文字及び記号のテキストデータを、文字入力する位置として定められた場所に表示させる。具体的には、コンピュータ装置２がテキストエディタ等のプログラムを実行中で、表示手段２６の表示エリア２０１にそのプログラムウインドウ（図１に示す認識文字表示位置マーク２０５）を表示している場合には、表示制御部２４５は、文字認識によって特定された文字等のテキストデータを、認識文字表示位置マーク２０５上の文字入力用のカーソルのある位置に表示させる。このとき、表示制御部２４５は、文字認識後のテキストデータ候補を一旦、文字記入領域２０６または図示しない候補文字表示領域に表示して、コンピュータ装置２などの図示しない確定キーまたは座標入力領域４０３内の図示しない確定領域または電子ペン１の文字記入領域４０６内もしくは図示しない候補文字表示領域内でのタップ動作を検知することで、定められた文字入力位置に表示させるように構成してもよい。
【００９６】
また、表示制御部２４５は、スクリーン４に種々の画像を投影して表示させるために、表示エリア２０１に表示する各画像を同期させてプロジェクター３に投影させるための画像信号をそれぞれ送信手段２７に出力し、プロジェクター３へ送信させる。なお、プロジェクター３は、コンピュータ装置２の送信手段２７から受信した画像信号に基づいて、表示手段２６に表示された画像と同様の画像をスクリーン４の画像投影領域４０３に映し出す。
【００９７】
［第１認識処理を伴う回転制御処理］
次に、図９を用いて情報処理システム１０における第１認識処理を伴う回転制御処理の動作について、記入情報の受信に伴う各種の処理とともに説明する。なお、図９は、第１認識処理を伴う回転制御処理を含む表示処理を示すフローチャートである。
【００９８】
本動作処理においては、予めキャリブレーション処理部２４１によりキャリブレーション処理が実行され、座標変換関数が求められて記憶手段２５に記憶されており、座標変換部２４２による座標変換が行われる状態にある。そして、文字記入領域制御部２４４は、記憶手段２５に記憶された文字記入領域２０６の座標領域の初期値を参照して、図１に示すように、表示手段２６の表示エリア２０１の左下に、長方形状の画定マーク２０７によって画定される文字記入領域２０６を表示させている。また、この画像と同じ画像を示すための画像信号が、送信手段２７からプロジェクター３へ送信されているため、プロジェクター３により、スクリーン４の画像投影領域４０３の左下には、画定マーク４０７によって画定される文字記入領域４０６が投影されて表示されている。
【００９９】
まず、記入者であるユーザによってスクリーン４上に一のストロークが記入されると、電子ペン１は、この記入されたストロークの各記入情報をコンピュータ装置２に順次送信する（ステップＳ１０１）。具体的には、電子ペン１は、圧力センサ１０７によって検出した筆圧に基づいてペンダウンが検知されてユーザによってストロークの開始を認識すると、ＬＥＤ１０５及びＣＭＯＳカメラ１０６をオンにし、圧力センサ１０７によってペンアップが検出されてユーザによるストロークの終了を認識するまで、所定の時間間隔毎にスクリーン４のドットパターンを撮影し、当該撮影された画像毎に、ペンＩＤ、時刻情報（Ｔ）及びＸ，Ｙ座標データを含む記入情報を生成して順次コンピュータ装置２に送信する。
【０１００】
また、コンピュータ装置２において電子ペン１から送信された各記入情報（ストローク情報）の受信を開始すると、処理手段２４は、当該記入情報をペンＩＤ毎に記憶手段２５に順次記憶させる（ステップＳ２０１）。
【０１０１】
次いで、座標変換部２４２は、記憶手段２５に記憶されている座標変換関数に基づいて、受信した各記入情報の座標データを表示手段２６の表示エリア２０１に表示するための座標に順次変換する（ステップＳ２０２）。そして、座標変換部２４２は、座標変換後の較正座標のデータをストローク毎にペンＩＤに対応付けて記憶手段２５に順次記憶させるとともに、座標変換後の較正座標のデータを当該較正座標に基づいてストロークとして描画して表示手段２６の表示エリア２０１に表示する（ステップＳ２０３）。なお、ステップＳ２０３の処理のときに、送信手段２７は、表示手段２６の表示エリア２０１に表示されている画像と同一の画像、すなわち、描画されたストロークを含む画像をスクリーン４に投影するための画像信号をプロジェクター３へ送信する。
【０１０２】
次いで、座標変換部２４２は、受信された各記入情報に対して、座標変換部２４２によって座標変換された各記入情報の座標（較正座標）が文字記入領域２０６内に含まれるか否かを判断する（ステップＳ２０４）。すなわち、座標変換部２４２は、受信した各記入情報から構成されるストロークが文字認識対象ストロークＳＴに該当するか否かを判断する。この場合において、スクリーン４上の文字記入領域４０６は、表示手段２６の表示エリア２０１の文字記入領域２０６に対応するため、ユーザがスクリーン４上の文字記入領域４０６内に文字又は記号を入力することによって送信されたストロークの各記入情報における座標データから、座標変換部２４２による座標変換により、表示エリア２０１における文字記入領域２０６にこのストロークが含まれていることを認識することができる。
【０１０３】
ステップＳ２０４の処理において、座標変換部２４２が、各較正座標に基づいて、受信された各記入情報から構成されるストロークが文字記入領域２０６に含まれていると判断した場合には、すなわち、文字認識対象ストロークＳＴであると特定した場合には（ステップＳ２０４：Ｙｅｓ）、座標変換部２４２は、この文字認識対象ストロークＳＴを記憶手段２５に記憶して、文字認識処理部２４３によるステップＳ２０５の一文字毎のストローク群を特定するための認識処理、すなわち、第１認識処理に移行する。一方、座標変換部２４２は、較正座標に基づいて受信された各記入情報から構成されるストロークが文字記入領域２０６に含まれていないと判断した場合には（ステップＳ２０４：Ｎｏ）、本動作処理を終了させる。
【０１０４】
受信された各記入情報から構成されるストロークが文字認識対象ストロークＳＴであると判断されると（ステップＳ２０４：Ｙｅｓ）、文字認識処理部２４３は、受信された各記入情報から構成されるストロークに基づいて較正座標を用いて第１認識処理を実行する（ステップＳ２０５）。具体的には、文字認識処理部２４３は、既に特定された他の文字認識対象ストロークＳＴｎ〜ＳＴ（ｔ−１）が存在する場合には、新規に特定された文字認識対象ストロークＳＴｔ及び他の文字認識対象ストロークＳＴｎ〜ＳＴ（ｔ−１）を用いて総合的に文字認識処理を実行する。
【０１０５】
次いで、文字認識処理部２４３は、ステップＳ２０５の第１認識処理の結果、文字認識対象ストロークＳＴ群が一文字認識できるか否かを判断する（ステップＳ２０６）。そして、文字認識処理部２４３が一文字認識できると判断した場合には（ステップＳ２０６：Ｙｅｓ）、文字記入領域制御部２４４によるステップＳ２０７の処理に移行し、文字認識処理部２４３が一文字認識できないと判断した場合には（ステップＳ２０６：Ｎｏ）、文字認識処理部２４３は本動作処理を終了させる。
【０１０６】
文字認識処理部２４３が一文字認識できると判断した場合（ステップＳ２０６：Ｙｅｓ）、文字記入領域制御部２４４は、ステップＳ２０６において認識された一文字を構成するストローク群の各較正座標に基づいて認識された一文字の基準点２２０ｔを算出して記憶手段２５に記憶させる（ステップＳ２０７）。続いて、文字記入領域制御部２４４は、この算出された基準点２２０ｔが第１文字Ｗ１の第１基準点２２０ａであるか否かを判断して（ステップＳ２０８）、第１基準点２２０ａでないと判断した場合には（ステップＳ２０８：Ｎｏ）、ステップＳ２０９の処理に移行する。一方、文字記入領域制御部２４４は、ステップＳ２０７で算出された基準点２２０ｔが第１基準点２２０ａであると判断した場合には（ステップＳ２０８：Ｙｅｓ）、すなわち、ステップＳ２０５において認識された文字が第１文字Ｗ１の場合には、傾斜角度（θ）を算出せずに、本動作処理を終了させる。
【０１０７】
文字記入領域制御部２４４は、ステップＳ２０７で算出された基準点２２０ｔが第１基準点２２０ａでないと判断した場合には（ステップＳ２０８：Ｎｏ）、文字記入領域制御部２４４は、算出された基準点２２０ｔに基づいて文字列の傾斜角度（θ）を算出して文字記入領域２０６を回転させる（ステップＳ２０９）。図７及び図８に示す例では、文字記入領域制御部２４４は、ステップ２０７において算出された基準点２２０ｔが第２文字Ｗ２の第２基準点２２０ｂの場合には、既に算出されている第１文字Ｗ１の第１基準点２２０ａと今回算出された第２基準点２２０ｂとに基づいて形成される直線Ｌ１の傾きを第１傾斜角度（θ１）として算出する。さらに、文字記入領域制御部２４４は、算出された基準点２２０が第３基準点２２０ｃである場合には、既に算出されている第１基準点２２０ａと新規に算出された第３基準点２２０ｃに基づいて第２傾斜角度（θ２）を算出して、さらに、既に算出された第１傾斜角度（θ１）と新規に算出した第２傾斜角度（θ２）とに基づいて（式１）の演算によって第３傾斜角度（θ３）を文字列の傾斜角度（θ）として算出する（ステップＳ２０９）。
【０１０８】
次いで、文字記入領域制御部２４４は、算出した傾斜角度（θ）と同一の回転角度（θ）となるように、文字記入領域２０６を、画定マーク２０７を表示手段２６の表示エリア２０１に表示させつつ、回転させる（ステップＳ２０９）。なおこのとき、プロジェクター３によって、コンピュータ装置２の表示手段２６と同じ画像がスクリーン４の画像投影領域４０３に投影されているため、スクリーン４に投影されている文字記入領域４０６も、文字記入領域２０６の回転に合わせて回転する。
【０１０９】
最後に、文字記入領域制御部２４４は、ステップＳ２０９において算出された傾斜角度（θ）及び回転された回転後の文字記入領域２０６の座標領域を記憶手段２５に記憶させて（ステップＳ２１０）、本動作処理を終了させる。
【０１１０】
［第２認識処理］
次に、図１０を用いて本第１実施形態における情報処理システム１０の第２認識処理の動作について説明する。なお、図１０は、第２認識処理の動作を示すフローチャートである。
【０１１１】
まず、コンピュータ装置２においてこのコンピュータ装置２に設けられた図示しない認識開始キーが認識される等、所定の動作に基づく文字認識処理の開始指示を認識すると（ステップＳ３０１）、文字認識処理部２４３は、各文字認識対象ストローク（電子ペン１により文字記入領域４０６に記入されて文字記入領域２０６に入力されたストローク）ＳＴの各較正座標に対して、ステップＳ２０９において算出された回転角度（θ）の分、逆回転させ（−θの回転行列をかけて）、各文字認識対象ストロークＳＴを正規化する（ステップＳ３０２）。なお、このときに、文字記入領域２０６を初期値、すなわち、記憶手段２５に記憶されている初期の座標の位置に戻してもよいし、そのままの位置を保持してもよい。
【０１１２】
そして、文字認識処理部２４３は、記憶手段２５に記録されているパターン情報を照合して、正規化された文字記入領域２０６内のＸ，Ｙ座標群によるパターン（各文字認識対象ストロークＳＴ群の形状）から一または複数の文字または記号を認識する認識処理を行う（ステップＳ３０３）。次いで、文字認識処理部２４３は、文字認識された文字、記号等を文字記入領域２０６から消去し、さらに文字認識に用いた文字認識対象ストロークＳＴ等の各データを記憶手段２５から消去して、文字認識後に特定された文字及び記号のテキストデータを、記憶手段２５に記憶させると共に、表示エリア２０１の文字入力する位置として定められた場所に表示させて（ステップＳ３０４）、本処理を終了させる。
【０１１３】
［第１実施形態の作用効果］
以上のように、本実施形態の情報処理システム１０は、ユーザによって電子ペン１を用いてスクリーン４上の文字記入領域４０６内に文字が記入されると、ストローク（電子ペン１の移動経路）が、コンピュータ装置２の表示手段２６の文字記入領域２０６に入力された文字列としてスクリーン４に投影されるとともに、当該文字の記入中であって一文字認識される毎にユーザによって入力された文字列の傾斜角度（θ）を算出し、算出された傾斜角度（θ）に基づいて文字記入領域２０６（４０６）を回転させることができる。したがって、情報処理システム１０は、文字記入中に文字列が右肩上がり（左肩上がり）になる、又は、当該文字列が右肩下がり（左肩下がり）になるなど、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況を勘案して文字記入におけるユーザの状況の変化に併せて文字記入領域を回転させることができるので、コンピュータ装置２への文字の入力にあたって、ユーザにスムーズにスクリーン上４で文字を記入させることができる。
【０１１４】
また、本実施形態の情報処理システム１０は、一文字毎に文字列の傾斜角度（θ）を算出することができるので、ユーザが記入した文字列を的確に把握しつつ、文字列の傾斜角度（θ）を算出することができる。したがって、情報処理システム１０は、ユーザが電子ペン１を用いて記入した文字列に的確に対応させて文字記入領域２０６（４０６）を回転させることができる。
【０１１５】
また、本実施形態の情報処理システム１０は、各文字の基準点２２０を比較するだけで文字列の傾斜角度（θ）を算出することができるので、容易にかつ確実にこの文字列の傾斜角度（θ）を算出することができる。
【０１１６】
また、本実施形態の情報処理システム１０は、文字記入領域２０６（４０６）の回転角度（θ）に基づいて、各ストローク（電子ペン１の移動経路）を、回転する前の文字記入領域２０６（４０６）に対応するストロークに変換することができるので、記入された各文字における傾斜が生じていない状態によって文字列の認識処理を再度実行することができる。この結果、情報処理システム１０は、文字認識の精度を向上させることができる。
【０１１７】
また、本実施形態の情報処理システム１０は、文字列の傾斜角度（θ）が既に算出されている場合には、既に算出された一以上の第１傾斜角度（θ１）と新規に算出された第２傾斜角度（θ２）とに基づいて新たな第３傾斜角度（θ３）を算出し、この算出された第３傾斜角度（θ３）に基づいて文字記入領域２０６（４０６）を回転させることができるので、既に記入された文字列を勘案して傾斜角度（θ）を算出することができる。したがって、情報処理システム１０は、文字記入領域２０６（４０６）の回転をユーザの記入状況に併せて確実に回転させることができる。
【０１１８】
また、本実施形態の情報処理システム１０は、スクリーン４上の座標が座標変換部２４２によって表示手段２６の表示エリア２０１の座標に変換されたうえで、文字記入領域２０６（４０６）を回転させるので、スクリーン４と表示手段２６の表示エリア２０１の異なる座標系を用いても文字記入領域４０６（２０６）の回転制御処理を確実に実行することができる。
【０１１９】
［変形例］
次に、図１１〜図１５の各図を用いて第１実施形態の情報処理装置の第１〜第５変形例について説明する。なお、図１１〜図１３の各図はそれぞれ、第１〜第３変形例に関する文字記入領域の回転制御処理を説明するための図であって、ぞれぞれの変形例における文字列の傾斜角度（θ）における算出例を説明するための図である。また、図１４は、第４変形例に関する文字記入領域の回転制御処理を説明するための図であり、特に、図１４（ａ）は、３文字目が記入されたときの文字列における傾斜角度（θ）の算出例を説明するための図、及び、図１４（ｂ）は、算出された傾斜角度（θ）に基づいて回転される文字記入領域の一例である。さらに、図１５は、第５変形例に関する文字記入領域の回転制御処理を説明するための図であって、３文字目が記入されたときの文字列における傾斜角度（θ）の算出例を説明するための図である。
【０１２０】
第１変形例の情報処理システム１０は、第１実施形態の文字認識処理部２４３において、一文字に属する文字認識対象ストロークＳＴによって求められた複数の座標に基づいて各文字の基準点２２０を算出している点に代えて、一文字に属する各文字認識対象ストロークＳＴの全ての座標（サンプル点）Ｓに基づいて各文字における基準点２２０を算出して文字列の傾斜角度（θ）を算出する点に特徴がある。なお、その他の構成は、第１実施形態と同一である。
【０１２１】
具体的には、第１変形例の情報処理システム１０においては、文字記入領域制御部２４４は、図１１に示すように、一文字に属する各文字認識対象ストロークＳＴの全ての較正座標（サンプル点）Ｓに基づいて、Ｘ座標及びＹ座標の平均（以下、「平均座標」という。）を算出し、算出された平均座標を第１文字Ｗ１の第１基準点２２０ａ及び第２文字Ｗ２の第２基準点２２０ｂとして設定する。そして、情報処理システム１０は、第１実施形態と同様に、第１基準点２２０ａ及び第２基準点２２０ｂによって形成される直線Ｌの座標上の傾きαを傾斜角度（θ）として算出するように構成されている。また、三文字目以降においても、文字記入領域制御部２４４は、同様に、一文字に属する各文字認識対象ストロークＳＴの全ての較正座標（サンプル点）Ｓに基づいて算出された平均座標を基準点２２０として算出し、算出された基準点２２０に基づいて傾斜角度（θ）を算出する。この構成により、第１変形例の情報処理システム１０は、各文字の平均座標を基準点２２０として文字列の傾斜角度（θ）を算出することができるので、容易にかつ確実にこの文字列の傾斜角度（θ）を算出することができる。
【０１２２】
なお、第１変形例においては、一文字毎に算出された平均座標を基準点２２０として用いているが、一文字に属する各文字認識対象ストロークＳＴの全ての較正座標（サンプル点）Ｓに基づいて各文字の重心となる座標（以下、「重心座標」という。）を算出し、この算出された重心座標を各文字の各基準点２２０として用いてもよい。また、この重心座標を算出するにあたっては、較正座標（サンプル点）Ｓに基づいて算出する点に代えて、一文字に属する各文字認識対象ストロークＳＴによって囲まれる多角形の領域を特定し、この特定された多角形の領域に基づいて重心座標を求めるなど種々の算出方法を用いてもよい。
【０１２３】
第２変形例の情報処理システム１０は、第１実施形態の文字認識処理部２４３において、一文字に属する文字認識対象ストロークＳＴによって求められた複数の座標に基づいて各文字の基準点２２０を算出している点に代えて、各文字の最下点２２２を各基準点２２０として用いる点に特徴がある。なお、その他の構成は、第１実施形態と同一である。
【０１２４】
具体的には、第２変形例の情報処理システム１０においては、図１２に示すように、文字記入領域制御部２４４が、第１文字Ｗ１の最下点２２２ａを第１基準点２２０ａとして設定するとともに、第２文字Ｗ２の最下点２２２ｂを第２基準点２２０ｂとして設定し、これらの第１基準点２２０ａ（＝２２２ａ）及び第２基準点２２０ｂ（＝２２２ｂ）によって形成される直線Ｌの座標上の傾きαを傾斜角度（θ）として算出するように構成されている。また、三文字目以降においても、文字記入領域制御部２４４は、同様に、一文字毎に最下点２２２を基準点２２０として設定し、この設定された基準点２２０に基づいて傾斜角度（θ）を算出する。この構成により、第２変形例の情報処理システム１０は、各文字の座標上の最下点２２２を基準点２２０として文字列の傾斜角度（θ）を算出することができるので、上述と同様に、容易にかつ確実にこの文字列の傾斜角度（θ）を算出することができる。
【０１２５】
第３変形例の情報処理システム１０は、第１実施形態の文字認識処理部２４３において、一文字に属する文字認識対象ストロークＳＴによって求められた複数の座標に基づいて各文字の基準点２２０を算出している点に代えて、各文字の最上点２２１を各基準点２２０として用いる点に特徴がある。なお、その他の構成は、第１実施形態と同一である。
【０１２６】
具体的には、第３変形例の情報処理システム１０においては、図１３に示すように、文字記入領域制御部２４４が、第１文字Ｗ１の最上点２２１ａを第１基準点２２０ａとして設定するとともに、第２文字Ｗ２の最上点２２１ｂを第２基準点２２０ｂとして設定し、これらの第１基準点２２０ａ（＝２２１ａ）及び第２基準点２２０ｂ（＝２２１ｂ）によって形成される直線Ｌの座標上の傾きαを傾斜角度（θ）として算出するように構成されている。また、三文字目以降においても、文字記入領域制御部２４４は、同様に、文字毎に最上点２２１を基準点２２０として設定し、この設定された基準点２２０に基づいて傾斜角度（θ）を算出する。この構成により、第３変形例の情報処理システム１０は、各文字の座標上の最上点２２１を基準点２２０として文字列の傾斜角度（θ）を算出することができるので、上述と同様に、容易にかつ確実にこの文字列の傾斜角度（θ）を算出することができる。
【０１２７】
第４変形例の情報処理システム１０は、第１実施形態の文字認識処理部２４３において、３文字目以降の傾斜角度（θ）を（式１）によって算出する点に代えて、第１傾斜角度（θ１（＝α））及び第２傾斜角度（θ２（＝β））と（式２）とに基づいて３文字目以降の第３傾斜角度（θ３（＝γ））を算出する点に特徴がある。なお、その他の構成は、第１実施形態と同一である。
【０１２８】
【数２】
【０１２９】
具体的には、第４変形例の情報処理システム１０においては、図１４（ａ）及び（ｂ）に示すように、文字記入領域制御部２４４が、１文字目と２文字目の基準点２２０ａ及び２２０ｂとによって形成される直線Ｌ１の傾きαを第１傾斜角度（θ１）として既に算出されている場合に、３文字目の認識が実行されて第３基準点２２０ｃが求められると、第２基準点２２０ｂと第３基準点２２０ｃによって形成される直線Ｌ２の座標上の傾きβを第２傾斜角度（θ２）として算出する。そして、文字記入領域制御部２４４は、算出された第１傾斜角度（θ１（＝α））と第２傾斜角度（θ２（＝β））に基づいて（式２）の演算を実行して新たな傾きγを第３傾斜角度（θ３）として算出し、図１４（ｂ）に示すように、文字記入領域２０６の左上の点を基点Ｂとして、算出された第３傾斜角度（θ３（＝γ））が全体の回転角度になるように既に傾斜角度（θ１（＝α）によって回転された文字記入領域２０６を回転させる。この構成により、第４変形例の情報処理システム１０は、文字列の傾斜角度（θ）が既に算出されている場合には、この既に算出された一以上の第１傾斜角度（θ１）と新規に算出された第２傾斜角度（θ２）とに基づいて新たな第３傾斜角度（θ３）を算出し、この算出された第３傾斜角度（θ３）に基づいて文字記入領域２０６を回転させるので、既に記入された文字列を勘案して傾斜角度（θ）を算出することができるとともに、文字記入領域２０６（４０６）の回転をユーザの記入状況に併せて確実に回転させることができる。
【０１３０】
なお、４文字目以降の文字認識処理も同様に、第１傾斜角度（θ１）及び第２傾斜角度（θ２）に基づいて第３傾斜角度（θ３）を算出して文字記入領域２０６を回転させる。例えば、図１４の例によれば、３文字目の認識の際に文字記入領域制御部２４４により（式１）の演算によって算出された傾斜角度γが、４文字目を認識した際に実行される回転制御処理においては第１傾斜角度（θ１）に該当し、４文字目の文字の図示しない基準点に基づいて算出される直線の傾きは、第２傾斜角度（θ２）に該当することとなる。
【０１３１】
第５変形例の情報処理システム１０は、第１実施形態の文字認識処理部２４３において、３文字目以降の傾斜角度（θ）を（式１）によって算出する点に代えて、第１基準点２２０ａと認識された最後の第ｎ文字Ｗｎの基準点２２０χとによって形成される直線Ｌの傾きβを傾斜角度（θ）として算出する点に特徴がある。なお、その他の構成は、第１実施形態と同一である。
【０１３２】
具体的には、第５変形例の情報処理システム１０においては、図１５に示すように、第５文字Ｗ５の基準点２２０ｅが第５文字Ｗ５を形成する各文字認識対象ストロークＳＴに基づいて算出されると、文字記入領域制御部４２４は、この算出された第５基準点２２０ｅと最初に認識された第１文字Ｗ１の基準点２２０ａに形成される直線Ｌの傾きβを傾斜角度（θ）として設定し、文字記入領域２０６の左上の点を基点Ｂとして、算出された傾斜角度（θ（＝β））と全体の角度として同一の回転角度（θ）になるように、既に回転されている文字記入領域２０６を回転させる。
【０１３３】
なお、上記の各変形例を含み第１実施形態においては、ドットパターン（コード化パターン）は、アノト方式に限らなくともよい。また、第１実施形態においては、文字記入領域２０６の左上隅を基点Ｂとして用いているが、右下隅、右上隅、左下隅又は中心点など所定の点を文字記入領域２０６の基点Ｂとして用いてもよい。
【０１３４】
また、本実施形態の情報処理システム１０は、記入者であるユーザの確定指示に基づいて認識された文字又は記号を特定するように構成できるとともに、ワードプロセッサなどの外部アプリケーションと連動させてこのアプリケーションの記入に用いることもできる。
【０１３５】
＜第２実施形態＞
次に、図１６及び図１７の各図を用いて第２実施形態に係る情報処理システムについて説明する。
【０１３６】
第２実施形態の情報処理システム１０は、第１実施形態において第１認識処理を行いつつ傾斜角度（θ）を算出する等の回転制御処理を行う点に代えて、第１認識処理を行わずに、文字記入領域２０６内に入力されたものと特定された文字認識対象ストロークＳＴに基づいて傾斜角度（θ）を算出する点に特徴がある。なお、本実施形態において、第１実施形態と同一の部材や同一の処理については、同一の符号を付してその説明を省略する。また、第２実施形態の情報処理システム１０においては、文字認識処理部２４３は、第１認識処理を実行せずに、第２認識処理のみ実行する。
【０１３７】
［文字記入領域制御部］
次に、図１６を用いて本第２実施形態における回転制御処理を説明する。なお、図１６は、回転制御処理を説明するための図である。
【０１３８】
文字記入領域制御部２４４は、ユーザによって文字記入領域４０６に文字が記入されて記入情報の送信により文字記入領域２０６にストロークが入力されると、文字記入領域回転プログラムに従って、文字の記入中であって文字認識対象ストロークＳＴが特定される毎に、その文字認識対象ストロークＳＴの中心点ｃの座標を算出する。そして、文字記入領域制御部２４４は、算出された各中心点ｃの座標に基づいてユーザによって記入された文字列の傾斜角度（θ）を算出し、この算出された傾斜角度（θ）に基づいて文字記入領域２０６を回転させる。特に、文字記入領域制御部２４４は、新規に算出した中心点ｃｔと既に算出された中心点ｃ１〜中心点ｃ（ｔ−１）とに基づいて、最小二乗法などの所定の演算を実行して一の直線Ｌの傾きαを文字列の傾斜角度（θ）として算出し、基点Ｂに基づいて算出された傾斜角度（θ）と同一の回転角度（θ）を有するように文字記入領域２０６を回転制御する。
【０１３９】
具体的には、図１６に示すように、ユーザによって電子ペン１を用いてスクリーン４における文字記入領域４０６内に文字「明日」が記入され、電子ペン１より送信された記入情報の座標データを座標変換部２４２によって座標変換し、文字記入領域２０６内に入力された各ストロークが第１ストロークＳＴ１から第１２ストロークＳＴ１２までの文字認識対象ストロークＳＴであると特定されると、特定された第１ストロークＳＴ１から第１２ストロークＳＴ１２までストローク毎に、それぞれ、各記入情報に基づいて各文字認識対象ストロークの第１中心点ｃ１から第１２中心点ｃ１２までの各中心点ｃの座標（Ｘ、Ｙ座標）を座標値の平均等から順次算出する。すなわち、文字記入領域制御部２４４は、新規に中心点ｃｔの座標が算出される毎に、新規に算出した中心点ｃｔと既に算出された中心点ｃ１〜ｃ（ｔ−１）に基づいて、最小二乗法などの所定の演算を実行し、一の直線Ｌの傾きαを文字列の傾斜角度（θ）として算出する。そして、文字記入領域制御部２４４は、基点Ｂに基づいて、算出された傾斜角度（θ）と同一の回転角度（θ）を有するように文字記入領域２０６を回転制御する。例えば、文字記入領域制御部２４４は、第１０中心点ｃ１０を新規に算出した場合には、既に算出された第１中心点ｃ１から第９中心点ｃ９と新規算出された第１０中心点ｃ１０とに基づいて最小二乗法など所定の演算を実行し、一の直線Ｌの傾きαを文字列の傾斜角度（θ）として算出する。
【０１４０】
なお、文字記入領域制御部２４４は、文字認識対象ストロークＳＴとして特定された文字列の書き始めの数ストローク（例えば、第１ストロークＳＴ１から第８ストロークＳＴ８まで）に関しては、ストロークの方向及び長さなどによって正確に直線Ｌの傾きαを算出することができないので、文字列の傾斜角度（θ）を算出せずに文字記入領域２０６の回転制御処理を行わない。すなわち、通常、文字は上から下に向かって記入されることが多いので、最初の数ストロークだけでは誤った下向きの傾きと認識される可能性があり、それに伴う誤認識を排除するために、文字列の書き始めの数ストロークに関しては、文字列の傾斜角度（θ）を算出せずに文字記入領域２０６の回転制御処理を行わない。
【０１４１】
［回転制御処理］
次に、図１７を用いて本第２実施形態の情報処理システム１０における回転制御処理の動作について、記入情報の受信に伴う各種の処理とともに説明する。なお、図１７は、回転制御処理を含む表示処理を示すフローチャートである。
【０１４２】
本動作処理においては、予めキャリブレーション処理部２４１によりキャリブレーション処理が実行され、座標変換関数が求められて記憶手段２５に記憶されており、座標変換部２４２による座標変換が行われる状態にある。そして、文字記入領域制御部２４４は、記憶手段２５に記憶された文字記入領域２０６の座標領域の初期値を参照して、第１実施形態と同様に、表示手段２６の表示エリア２０１の左下に、長方形状の画定マーク２０７によって画定される文字記入領域２０６を表示させている。また、この画像と同じ画像を示すための画像信号が、送信手段２７からプロジェクター３へ送信されているため、プロジェクター３により、スクリーン４の画像投影領域４０３の左下には、画定マーク４０７によって画定される文字記入領域４０６が投影されて表示されている。
【０１４３】
まず、記入者であるユーザによってスクリーン４上に一のストロークが記入されると、電子ペン１は、この記入されたストロークの各記入情報をコンピュータ装置２に順次送信する（ステップＳ４０１）。具体的には、電子ペン１は、圧力センサ１０７によって検出した筆圧に基づいてペンダウンが検知されてユーザによってストロークの開始を認識すると、ＬＥＤ１０５及びＣＭＯＳカメラ１０６をオンにし、圧力センサ１０７によってペンアップが検出されてユーザによるストロークの終了を認識するまで、所定の時間間隔毎にスクリーン４のドットパターンを撮影し、この撮影された画像毎に、ペンＩＤ、時刻情報（Ｔ）及びＸ，Ｙ座標データを含む記入情報を生成して順次コンピュータ装置２に送信する。
【０１４４】
また、コンピュータ装置２において電子ペン１から送信された各記入情報（ストローク情報）の受信を開始すると、処理手段２４は、この記入情報をペンＩＤ毎に記憶手段２５に順次記憶させる（ステップＳ５０１）。
【０１４５】
次いで、座標変換部２４２は、記憶手段２５に記憶されている座標変換関数に基づいて、受信した各記入情報の座標データを表示手段２６の表示エリア２０１に表示するための座標に順次変換する（ステップＳ５０２）。次いで、座標変換部２４２は、座標変換後の較正座標のデータを、ストローク毎にペンＩＤに対応付けて記憶手段２５に順次記憶させるとともに、この較正座標に基づいてストロークを描画して表示手段２６の表示エリア２０１に表示する（ステップＳ５０３）。なお、ステップＳ５０３の処理のときに、送信手段２７は、表示手段２６の表示エリア２０１に表示されている画像と同一の画像、すなわち、描画されたストロークを含む画像をスクリーン４に投影するための画像信号をプロジェクター３へ送信する。
【０１４６】
次いで、座標変換部２４２は、受信された各記入情報に対して、座標変換部２４２によって座標変換された各記入情報の座標（較正座標）が文字記入領域２０６内に含まれるか否かを判断する（ステップＳ５０４）。すなわち、座標変換部２４２は、受信した各記入情報から構成されるストロークが文字認識対象ストロークＳＴに該当するか否かを判断する。この場合において、スクリーン４上の文字記入領域４０６は、表示手段２６の表示エリア２０１の文字記入領域２０６に対応するため、ユーザがスクリーン４上の文字記入領域４０６内に文字又は記号を入力することによって送信されたストロークの各記入情報における座標データから、座標変換部２４２による座標変換により、表示エリア２０１における文字記入領域２０６にこのストロークが含まれていることを認識することができる。
【０１４７】
ステップＳ５０４の処理において、座標変換部２４２が、較正座標に基づいて、受信された各記入情報から構成されるストロークが文字記入領域２０６に含まれていると判断した場合には、すなわち、文字認識対象ストロークＳＴであると特定した場合には（ステップＳ５０４：Ｙｅｓ）、座標変換部２４２は、この文字認識対象ストロークＳＴを記憶手段２５に記憶させて、文字記入領域制御部２４４によるステップＳ５０５の処理に移行する。一方、座標変換部２４２は、較正座標に基づいて受信された各記入情報から構成されるストロークが文字記入領域２０６に含まれていないと判断した場合には、すなわち、文字認識対象ストロークＳＴでないと特定した場合には（ステップＳ５０４：Ｎｏ）、本動作処理を終了させる。
【０１４８】
ステップＳ５０４の処理において、受信された各記入情報から構成されるストロークが文字認識対象ストロークＳＴであると判断されると（ステップＳ５０４：Ｙｅｓ）、文字記入領域制御部２４４は、その文字認識対象ストロークＳＴの中心点ｃの座標を算出して記憶手段２５に記憶させる（ステップＳ５０５）。次いで、文字記入領域制御部２４４は、既に一定数以上の文字認識対象ストロークＳＴが文字認識領域２０６に入力されているか否か、換言すると、記憶手段２５に一定数以上の文字認識対象ストロークＳＴが記憶されているか否か判断する（ステップＳ５０６）。
【０１４９】
ステップＳ５０６の処理において、文字記入領域制御部２４４は、既に一定数以上の文字認識対象ストロークＳＴが文字認識領域２０６に入力されていると判断した場合には（ステップＳ５０６：Ｙｅｓ）、ステップＳ５０６の処理に移行する。一方、文字記入領域制御部２４４は、まだ一定数以上の文字認識対象ストロークＳＴが文字認識領域２０６に入力されていないと判断した場合には（ステップＳ５０６：Ｎｏ）、本動作処理を終了させる。
【０１５０】
ステップＳ５０７の処理に移行すると、文字記入領域制御部２４４は、新規に文字認識対象ストロークＳＴｔとして特定されたストロークの中心点ｃとして算出された中心点ｃｔの座標と、既に算出された文字認識対象ストロークＳＴｎ〜ＳＴ（ｔ−１）の各中心点ｃｎ〜ｃ（ｔ−１）の座標とに基づいて、最小二乗法など所定の演算を実行し、傾斜角度（θ）を算出して、文字記入領域２０６を回転させる（ステップＳ５０７）。すなわち、文字記入領域制御部２４４は、算出された傾斜角度（θ）と同一の回転角度（θ）となるように、文字記入領域２０６を、画定マーク２０７を表示手段２６の表示エリア２０１に表示させつつ、回転させる（ステップＳ５０７）。このとき、プロジェクター３によって、コンピュータ装置２の表示手段２６と同じ画像がスクリーン４の画像投影領域４０３に投影されているため、スクリーン４に投影されている文字記入領域４０６も、文字記入領域２０６の回転に合わせて回転する。
【０１５１】
最後に、文字記入領域制御部２４４は、ステップＳ５０７において算出された傾斜角度（θ）及び回転された文字記入領域２０６の座標領域を記憶手段２５に記憶させて（ステップＳ５０８）、本動作処理を終了させる。
【０１５２】
［第２実施形態の作用効果］
以上のように、本実施形態の情報処理システム１０は、第１実施形態と同様に、ユーザによって電子ペン１を用いてスクリーン４上の文字記入領域４０６内に文字が記入されると、ストローク（電子ペン１の移動経路）が、コンピュータ装置２の表示手段２６の文字記入領域２０６に入力された文字列としてスクリーン４に投影されるとともに、当該文字の記入中であってストロークが特定される毎にユーザによって入力された文字列の傾斜角度（θ）を算出し、算出された傾斜角度（θ）に基づいて文字記入領域２０６（４０６）を回転させることができる。したがって、情報処理システム１０は、ユーザの癖または当該ユーザのスクリーンに対する立ち位置による記入状況など、文字記入中におけるユーザの状況を勘案して又は文字記入におけるユーザの状況の変化に併せて文字記入領域２０６（４０６）を回転させることができるので、コンピュータ装置２への文字の入力にあたって、ユーザにスムーズにスクリーン上４で文字を記入させることができる。
【０１５３】
また、本実施形態の情報処理システム１０は、ストローク毎に文字列の傾斜角度（θ）を算出することができ、ユーザが記入したストロークを的確に把握しつつ、文字列の傾斜角度（θ）を算出することができるので、ユーザが記入した文字列に的確に対応させて文字記入領域２０６（４０６）を回転させることができる。
【０１５４】
また、本実施形態の情報処理システム１０は、各ストロークの中心点ｃにのみに基づいて文字列の傾斜角度（θ）を算出することができるので、容易にかつ確実にこの文字列の傾斜角度（θ）を算出することができる。
【０１５５】
また、本実施形態の情報処理システム１０は、文字記入領域制御部２４４による文字列の傾斜角度（θ）の算出のために文字認識処理部２４３による認識処理の結果を使用しないので、文字列の傾斜角度（θ）の算出と文字認識を連動させる必要がなく、それぞれの処理を簡易に構築することができる。
【０１５６】
また、本実施形態の情報処理システム１０は、文字記入領域２０６（４０６）の回転角度（θ）に基づいて、各ストローク（電子ペン１の移動経路）を、回転する前の文字記入領域２０６（４０６）に対応するストロークに変換することができるとともに記入された各文字における傾斜が生じていない状態によって文字列の認識処理を実行することができるので、効率的に文字認識の精度を向上させることができる。
【０１５７】
また、本実施形態の情報処理システム１０は、スクリーン４上の座標が座標変換部２４２によって表示手段２６の表示エリア２０１上の座標に変換されたうえで、文字記入領域４０６（２０６）を回転させるので、スクリーン４と表示手段２６の表示エリア２０１の異なる座標系を用いても文字記入領域４０６（２０６）の回転制御処理を確実に実行することができる。
【０１５８】
［変形例］
なお、本実施形態の情報処理システム１０は、第１実施形態と同様に、ドットパターン（コード化パターン）を、アノト方式に限らなくともよい。また、本実施形態においても、文字記入領域２０６の左上隅を基点Ｂとして用いているが、右下隅、右上隅、左下隅又は中心点など所定の点を文字記入領域２０６の基点Ｂとして用いてもよい。
【０１５９】
また、本実施形態の情報処理システム１０は、第１実施形態と同様に、記入者であるユーザの確定指示に基づいて認識された文字又は記号を特定するように構成できるとともに、ワードプロセッサなどの外部アプリケーションと連動させてこのアプリケーションの記入に用いることもできる。
【０１６０】
また、本実施形態の情報処理システム１０は、文字列の傾斜角度（θ）を算出する際に各ストロークの中心点ｃを用いているが、最上点、最下点、最右点又は最左点などサンプルとなる点を用いることが可能である。
【０１６１】
＜第３実施形態＞
次に、図１８を用いて第３実施形態に係る情報処理システムについて説明する。なお、図１８は、本第３実施形態における情報処理システム１００の構成を示すシステム構成図である。
【０１６２】
第３実施形態の情報処理システム１００は、第１，第２実施形態においてプロジェクター３を用いてスクリーン４に画像を表示するとともにスクリーン４を用いてストロークの記入を行う点に代えて、コンピュータ装置２上に配設された透明又は半透明の光透過性シートを用いてストロークの記入を行う点に特徴がある。なお、本実施形態において、第１，第２実施形態と同一の部材や同一の処理については、同一の符号を付してその説明を省略する。
【０１６３】
本第３実施形態の情報処理システム１００は、図１８に示すように、電子ペン１によって読取可能なドットパターン（コード化パターン）が印刷された光透過性シート９を有している。光透過性シート９は、コンピュータ装置２の表示エリア２０１の前面に貼り付けられるとともに、表示エリア２０１に表示された画像が光透過性シート９の前面から視覚可能に表示される。ドットパターンは、赤外線を選択的に反射する特性を有するインキによって光透過性シート９に印刷されている。
【０１６４】
電子ペン１では、プロセッサ１０８には、ＣＭＯＳカメラ１０６によって撮像された画像データから、赤外線反射の強い部分領域をドットであると認識するよう閾値を設けて判定される。その閾値は、ディスプレイから光透過性シート９を透過してくる赤外線のみの場合と、電子ペン１のＬＥＤ１０５から照射した赤外線がドットによって反射されることによる赤外線が含まれる場合とを区別できるよう設定される。
【０１６５】
なお、電子ペン１のＣＭＯＳカメラ１０６によって撮像された画像データからドットを認識しやすくするため、ＣＭＯＳカメラ１０６に照射される光が赤外線だけとなるように、赤外線透過フィルターを電子ペン１の開口部１０２付近に設けてもよい。また、本実施形態のドットパターンは、アノト方式に限らなくともよい。また、本第３実施形態の情報処理システム１００は、第１実施形態の変形例及び第２実施形態の各例を適宜適用可能である。
【産業上の利用可能性】
【０１６６】
本発明の情報処理システムは、学校の授業や企業等での会議、講演会、プレゼンテーション、ワードプロセッサ等の外部アプリケーションでのペン入力操作などで利用することができる。
【符号の説明】
【０１６７】
ｃ … 中心点
ＳＴ … 文字認識対象ストローク
Ｗ … 文字
１ … 電子ペン
２ … コンピュータ装置
３ … プロジェクター
４ … スクリーン
９ … 光透過性シート
２１ … 入力手段
２２ … 受信手段
２４ … 処理手段
２５ … 記憶手段
２６ … 表示手段
２７ … 送信手段
１０３ … ペン先部
１０６ … ＣＭＯＳカメラ
１０７ … 圧力センサ
１０８ … プロセッサ
１０９ … メモリ
１１１ … 通信ユニット
２０１ … 表示エリア
２０６ … 文字記入領域
２０７ … 画定マーク
２２０ … 基準点
２２１ … 最上点
２２２ … 最下点
２２３ … 最左点
２２４ … 最右点
２４１ … キャリブレーション処理部
２４２ … 座標変換部
２４３ … 文字認識処理部
２４４ … 文字記入領域制御部
２４５ … 表示制御部
４０１ … マグネット板（ホワイトボード）
４０２ … 用紙
４０３ … 座標入力領域（画像投影領域）
４０６ … 文字記入領域
４０７ … 画定マーク
１０，１００ … 情報処理システム
【特許請求の範囲】
【請求項１】
ユーザによる操作に基づいて位置座標を示すコード化パターンが形成されたスクリーン上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、
前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、
前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段と、
前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段と、
を備え、
前記回転制御手段は、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項２】
ユーザによる操作に基づいて位置座標を示すコード化パターンが形成された光透過性シート上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、
前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、
前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段と、
前記光透過性シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段と、
を備え、
前記回転制御手段は、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項３】
請求項１または２に記載の情報処理システムにおいて、
前記回転制御手段は、前記文字の記入中であって所定のタイミング毎に、前記文字列の傾斜角度を算出し、当該傾斜角度が算出される毎に前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項４】
請求項３に記載の情報処理システムにおいて、
前記文字記入領域内の前記移動経路の形状に基づいて文字認識を実行する文字認識処理手段を更に有し、
前記回転制御手段は、前記所定のタイミングとして前記文字認識処理手段によって一文字認識される毎に、当該一文字として認識された際に用いられた移動経路群に基づいて前記文字列の傾斜角度を算出することを特徴とする情報処理システム。
【請求項５】
請求項４に記載の情報処理システムにおいて、
前記回転制御手段は、前記文字の認識処理手段によって一文字認識される毎に、当該認識された文字の移動経路群に基づいて定められる基準点を求め、当該求められた各基準点に基づいて前記文字列の傾斜角度を算出することを特徴とする情報処理システム。
【請求項６】
請求項４または５に記載の情報処理システムにおいて、
前記文字認識処理手段は、前記文字記入領域を回転させている場合には、当該文字記入領域の傾斜角度に基づいて、前記文字列を構成する移動経路を、回転する前の文字記入領域に相当する移動経路に変換して前記文字列の文字認識を再度実行することを特徴とする情報処理システム。
【請求項７】
請求項３に記載の情報処理システムにおいて、
前記回転制御手段は、前記所定のタイミングとして前記移動経路の構成要素である一ストロークが特定される毎に、当該各ストロークに含まれる前記移動経路の座標群に基づいて前記文字列の傾斜角度を算出して前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項８】
請求項７に記載の情報処理システムにおいて、
前記回転制御手段は、前記一ストロークが特定される毎に、各ストロークに含まれる前記移動経路の座標群に基づいて定められる基準点を求め、当該求められた各基準点に基づいて前記文字列の傾斜角度を算出することを特徴とする情報処理システム。
【請求項９】
請求項７または８に記載の情報処理システムにおいて、
前記文字記入領域内の前記移動経路の形状に基づいて文字認識を実行する文字認識処理手段を更に備えることを特徴とする情報処理システム。
【請求項１０】
請求項９に記載の情報処理システムにおいては、
前記文字認識処理手段は、前記文字記入領域を回転させている場合には、当該文字記入領域の回転角度に基づいて、前記読取手段の移動経路を回転する前の文字記入領域に相当する移動経路に変換して前記文字認識を実行することを特徴とする情報処理システム。
【請求項１１】
請求項３乃至１０の何れか一項に記載の情報処理システムにおいて、
前記回転制御手段は、前記文字列の傾斜角度が既に算出されている場合には、当該既に算出された一以上の第１の傾斜角度と新規に算出された第２の傾斜角度とに基づいて新たな第３の傾斜角度を算出し、当該算出された第３の傾斜角度に基づいて前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項１２】
請求項１に記載の情報処理システムにおいて、
前記スクリーンに投影される画像と同一の画像が表示される表示手段の表示制御を行う表示制御手段と、
前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段と、
を更に備え、
前記回転制御手段は、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項１３】
請求項２に記載の情報処理システムにおいて、
前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段を更に備え、
前記回転制御手段は、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項１４】
位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって
前記コンピュータを、
前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段、
前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段、
として機能させるとともに、
前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として更に機能させることを特徴とする表示処理プログラム。
【請求項１５】
位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって
前記コンピュータを、
前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段、
前記光透過性シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段、
として機能させるとともに、
前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として更に機能させることを特徴とする表示処理プログラム。
【請求項１】
ユーザによる操作に基づいて位置座標を示すコード化パターンが形成されたスクリーン上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、
前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、
前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段と、
前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段と、
を備え、
前記回転制御手段は、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項２】
ユーザによる操作に基づいて位置座標を示すコード化パターンが形成された光透過性シート上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、
前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、
前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段と、
前記光透過性シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段と、
を備え、
前記回転制御手段は、前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項３】
請求項１または２に記載の情報処理システムにおいて、
前記回転制御手段は、前記文字の記入中であって所定のタイミング毎に、前記文字列の傾斜角度を算出し、当該傾斜角度が算出される毎に前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項４】
請求項３に記載の情報処理システムにおいて、
前記文字記入領域内の前記移動経路の形状に基づいて文字認識を実行する文字認識処理手段を更に有し、
前記回転制御手段は、前記所定のタイミングとして前記文字認識処理手段によって一文字認識される毎に、当該一文字として認識された際に用いられた移動経路群に基づいて前記文字列の傾斜角度を算出することを特徴とする情報処理システム。
【請求項５】
請求項４に記載の情報処理システムにおいて、
前記回転制御手段は、前記文字の認識処理手段によって一文字認識される毎に、当該認識された文字の移動経路群に基づいて定められる基準点を求め、当該求められた各基準点に基づいて前記文字列の傾斜角度を算出することを特徴とする情報処理システム。
【請求項６】
請求項４または５に記載の情報処理システムにおいて、
前記文字認識処理手段は、前記文字記入領域を回転させている場合には、当該文字記入領域の傾斜角度に基づいて、前記文字列を構成する移動経路を、回転する前の文字記入領域に相当する移動経路に変換して前記文字列の文字認識を再度実行することを特徴とする情報処理システム。
【請求項７】
請求項３に記載の情報処理システムにおいて、
前記回転制御手段は、前記所定のタイミングとして前記移動経路の構成要素である一ストロークが特定される毎に、当該各ストロークに含まれる前記移動経路の座標群に基づいて前記文字列の傾斜角度を算出して前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項８】
請求項７に記載の情報処理システムにおいて、
前記回転制御手段は、前記一ストロークが特定される毎に、各ストロークに含まれる前記移動経路の座標群に基づいて定められる基準点を求め、当該求められた各基準点に基づいて前記文字列の傾斜角度を算出することを特徴とする情報処理システム。
【請求項９】
請求項７または８に記載の情報処理システムにおいて、
前記文字記入領域内の前記移動経路の形状に基づいて文字認識を実行する文字認識処理手段を更に備えることを特徴とする情報処理システム。
【請求項１０】
請求項９に記載の情報処理システムにおいては、
前記文字認識処理手段は、前記文字記入領域を回転させている場合には、当該文字記入領域の回転角度に基づいて、前記読取手段の移動経路を回転する前の文字記入領域に相当する移動経路に変換して前記文字認識を実行することを特徴とする情報処理システム。
【請求項１１】
請求項３乃至１０の何れか一項に記載の情報処理システムにおいて、
前記回転制御手段は、前記文字列の傾斜角度が既に算出されている場合には、当該既に算出された一以上の第１の傾斜角度と新規に算出された第２の傾斜角度とに基づいて新たな第３の傾斜角度を算出し、当該算出された第３の傾斜角度に基づいて前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項１２】
請求項１に記載の情報処理システムにおいて、
前記スクリーンに投影される画像と同一の画像が表示される表示手段の表示制御を行う表示制御手段と、
前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段と、
を更に備え、
前記回転制御手段は、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項１３】
請求項２に記載の情報処理システムにおいて、
前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段を更に備え、
前記回転制御手段は、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を回転させることを特徴とする情報処理システム。
【請求項１４】
位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって
前記コンピュータを、
前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段、
前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段、
として機能させるとともに、
前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として更に機能させることを特徴とする表示処理プログラム。
【請求項１５】
位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって
前記コンピュータを、
前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段、
前記光透過性シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、当該文字記入領域内の前記移動経路の形状に基づいて回転させる回転制御手段、
として機能させるとともに、
前記ユーザの操作に基づいて前記読取手段が前記文字記入領域内を移動している文字の記入中に、前記読取手段の移動経路の形状から構成される文字列であって当該記入中の前記文字記入領域内における文字列の傾斜角度を算出し、当該算出された傾斜角度に基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として更に機能させることを特徴とする表示処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−１０３０９２（Ｐ２０１１−１０３０９２Ａ）
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願番号】特願２００９−２５８４２６（Ｐ２００９−２５８４２６）
【出願日】平成２１年１１月１１日（２００９．１１．１１）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願日】平成２１年１１月１１日（２００９．１１．１１）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]