電子ペンシステム及びプログラム
【課題】書画カメラで撮像して表示された画像上に書込みを行うことが可能な電子ペンシステム及びプログラムを提供する。
【解決手段】電子ペンシステムは、ドットパターンが印刷された操作シートと、ドットパターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラ付きプロジェクタと、電子ペンから記入情報を受信するコンピュータ装置とを備え、コンピュータ装置は、書画カメラ付きプロジェクタから画像データを受信する画像データ受信手段と、画像データ受信手段が受信した画像データに基づき被写体の画像を表示手段に表示させると共に、操作シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる表示制御手段とを備える。
【解決手段】電子ペンシステムは、ドットパターンが印刷された操作シートと、ドットパターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラ付きプロジェクタと、電子ペンから記入情報を受信するコンピュータ装置とを備え、コンピュータ装置は、書画カメラ付きプロジェクタから画像データを受信する画像データ受信手段と、画像データ受信手段が受信した画像データに基づき被写体の画像を表示手段に表示させると共に、操作シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる表示制御手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子ペンで読み取り可能なコード化パターンを利用した技術に関する。
【背景技術】
【０００２】
従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ ｐｅｎ）」が知られている。例えば、特許文献１に記載されているように、アノトペンは、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報を端末装置に送信する。
【０００３】
特許文献２には、ドットパターンに対向する電子ペンの角度に起因するドットの画像上の配列を補正する回転補正処理機能が記載されている。さらに、特許文献３には、プレゼンテーション用アプリケーションで作成したスライドにドットパターンを付して印刷し、電子ペンでその印刷用紙に書き込むことで、コンピュータ装置の表示画面上で筆跡を再現したストロークが描画される技術が開示されている。また、特許文献４には、書画カメラを搭載したプロジェクタが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８４２２８３号公報
【特許文献２】特表２００３−５２９８５３号公報
【特許文献３】特許第４７４８２８０号公報
【特許文献４】特開平０７−１０４７１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
講義や発表などにおいて、持参した用紙を書画カメラで撮影してスクリーン等に表示させ、さらに補足説明のためにその表示上に発表者が書込みを行いたい場合がある。そのとき、用紙を裏向きにセットする書画カメラを用いていた場合には、その用紙に直接書込みができず、用紙を表向きにセットする書画カメラを用いていた場合でも、書込みを行う手がスクリーンに投影されるという問題や、書きにくいなどの問題が生じる。そこで、本発明は、書画カメラで撮像して表示された画像上に好適に書込みを行うことが可能な電子ペンシステム及びプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る電子ペンシステムは、コード化パターンが印刷されたシートと、コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラと、前記電子ペンから前記記入情報を受信するコンピュータ装置とを備える電子ペンシステムであって、前記コンピュータ装置は、前記書画カメラから前記画像データを受信する画像データ受信手段と、前記画像データ受信手段が受信した画像データに基づき前記被写体の画像を表示手段に表示させると共に、前記シートへの前記電子ペンによる記入情報に基づき再現した手書きストロークを前記被写体の画像上に描画させる表示制御手段とを備える。
【０００７】
この態様により、書画カメラにセットされた被写体の画像を示す画像データをコンピュータ装置が受信し、コンピュータ装置は、受信した画像データに基づき被写体の画像を表示し、かつ、シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる。これにより、電子ペンシステムは、ユーザがシートへ電子ペンにより書込みを行った場合に、書画カメラにより撮像することで得られた画像上に電子ペンで記入されたストロークを再現して表示することができる。従って、ユーザは、書画カメラで撮像して表示された画像上に好適に書込みを行うことができる。
【０００８】
上記の電子ペンシステムの一態様では、前記コンピュータ装置は、前記被写体の画像が貼り付けられたプレゼンテーション用アプリケーションのスライドを生成してファイル化する画像データ処理手段をさらに備える。ここで、「ファイル化する」とは、被写体の画像が貼り付けられたスライドの情報から構成されるプレゼンテーション用アプリケーションの新規ファイルを生成することの他に、被写体の画像が貼り付けられたスライドの情報を既に生成されているプレゼンテーション用アプリケーションのファイルに付加して記憶することも含む。この態様により、コンピュータ装置は、書画カメラにより生成された画像データを、ユーザが使用しやすい態様で記憶することができる。
【０００９】
上記の電子ペンシステムの一態様では、前記画像データ処理手段は、前記表示手段によりプレゼンテーション用アプリケーションのスライドが表示されていた場合には、当該スライドのファイルに前記被写体の画像が貼り付けられたスライドの情報を追加する。この態様により、コンピュータ装置は、好適に、既存のプレゼンテーション用アプリケーションのファイルに、書画カメラにより撮像された画像を貼り付けたスライドを追加することができる。
【００１０】
上記の電子ペンシステムの一態様では、前記画像データ受信手段は、前記書画カメラから複数の画像データを受信し、前記画像データ処理手段は、前記複数の画像データに基づく前記被写体の画像の各々が貼り付けられたプレゼンテーション用アプリケーションのスライドをそれぞれ生成し、前記シートは、前記表示手段に表示させる前記被写体の画像が貼り付けられたスライドを指定するための指定領域を有し、前記表示制御手段は、前記指定領域への前記電子ペンによる記入情報を受信した場合に、前記指定領域により指定された前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させる。この態様により、電子ペンシステムは、ユーザがシート上の指定領域を電子ペンでタップした場合に、タップされた指定領域が指定するスライドを表示することができる。
【００１１】
上記の電子ペンシステムの一態様では、前記指定領域は、前記被写体の画像が貼り付けられたスライドに付される各識別番号に対応する番号指定領域を有し、前記表示制御手段は、前記番号指定領域への前記電子ペンによる記入情報を受信した場合に、当該番号指定領域に対応する識別番号を有する前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させる。この態様により、ユーザは、生成した任意のスライドを容易にコンピュータ装置上に表示させることができる。
【００１２】
上記の電子ペンシステムの他の一態様では、前記表示制御手段は、前記電子ペンによる記入情報に基づく前記表示手段による表示の切り替えを禁止する旨の入力があった場合、前記指定領域への前記電子ペンによる記入情報を受信した場合であっても、前記表示手段による表示の切り替えを行わない。このようにすることで、電子ペンシステムは、複数人が電子ペン及びシートを使用する場合などに、表示が頻繁に切り替わるのを抑制することができる。
【００１３】
上記の電子ペンシステムの他の一態様では、前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付ける。この態様により、コンピュータ装置は、書画カメラが撮像した画像を適切な向きでスライドに貼り付けて表示することができる。
【００１４】
上記の電子ペンシステムの他の一態様では、前記記入情報には筆圧の情報が含まれ、前記表示制御手段は、筆圧が０である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させる。これにより、電子ペンシステムは、電子ペンによりシート上に書き込もうとするユーザに対し、電子ペンのペン先の位置を容易に把握させることができ、好適に書込みを補助することができる。
【００１５】
上記の電子ペンシステムの他の一態様では、前記表示制御手段は、前記カーソルを前記表示手段に表示中に記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、前記カーソルの表示を継続する。この態様により、電子ペンシステムは、カーソルの表示及び非表示が頻繁に切り替わるのを抑制することができる。
【００１６】
上記の電子ペンシステムの他の一態様では、前記シートは、前記被写体の画像上に再現する手書きストロークを記入するための矩形の描画領域を有し、前記描画領域には、縦方向に延在する中心線又は／及び横方向に延在する中心線が設けられる。この態様により、ユーザは、電子ペンによりシート上に書き込む際に、これらの中心線を目安に書込みを行うことができる。
【００１７】
上記の電子ペンシステムの他の一態様では、前記書画カメラは、当該書画カメラが撮像した画像又は前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタに付属し、撮像面を下向きにして前記被写体が載置される筐体と、前記筐体の内部から前記被写体の撮像面を撮像する撮像手段とを備える。このように、電子ペンシステムは、被写体を下向きにして撮像を行う書画カメラを備え、被写体に対してユーザが直接書き込めない態様であっても、好適に、シート上に電子ペンにより記入されたストロークを撮像した画像に重畳させて表示させることができる。
【００１８】
上記の電子ペンシステムの他の一態様では、前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタをさらに備え、前記書画カメラは、撮像面を上向きにして前記被写体が載置される筐体と、前記筐体の上から俯瞰して前記被写体の撮像面を撮像する撮像手段とを備える。このように、電子ペンシステムは、被写体を上向きにして撮像を行う書画カメラを備える場合であっても、好適に、シート上に電子ペンにより記入されたストロークを撮像した画像に重畳させて表示させることができる。
【００１９】
本発明に係る電子ペンシステムの別の態様では、コード化パターンが印刷されており、スライドを指定するための指定領域と、手書ストロークを描くためのストローク描画用領域とを有するシートと、コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラと、前記電子ペンから前記記入情報を受信するコンピュータ装置とを備える電子ペンシステムであって、前記コンピュータ装置は、前記書画カメラから前記画像データを受信する画像データ受信手段と、前記画像データ受信手段が受信した複数の前記画像データに基づいて前記被写体画像の各々をスライドにしたファイルを生成する画像データ処理手段と、前記指定領域への前記電子ペンによる記入情報を受信した場合には、前記指定領域により指定されたスライドを前記表示手段に表示させ、前記ストローク描画用領域への前記電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる表示制御手段とを備える。
【００２０】
この態様により、コンピュータ装置は、書画カメラから画像データを受信し、受信した複数の画像データに基づいて被写体画像の各々をスライドにしたファイルを生成する。そして、コンピュータ装置は、記入情報を受信した場合には、シートの指定領域により指定されたスライドを表示し、ストローク描画用領域への電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる。これにより、コンピュータ装置は、書画カメラが撮像した画像データをそれぞれスライドとしたファイルを生成し、かつ、書画カメラで撮像して表示された画像上に電子ペンによる書込みをユーザに実行させることができる。
【００２１】
上記の電子ペンシステムの一態様では、前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付ける。この態様により、コンピュータ装置は、書画カメラが撮像した画像を適切な向きでスライドに貼り付けて表示することができる。
【００２２】
上記の電子ペンシステムの他の一態様では、前記記入情報には筆圧の情報が含まれ、前記表示制御手段は、筆圧が０である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させる。この態様により、電子ペンシステムは、電子ペンによりシート上に書き込もうとするユーザに対し、電子ペンのペン先の位置を容易に把握させることができ、好適に書込みを補助することができる。
【００２３】
本発明に係るプログラムは、上記電子ペンシステムにおけるコンピュータ装置として機能させる。
【００２４】
これらのプログラムをコンピュータ装置にインストールして機能させることで、本発明に係る電子ペンシステムを構成させることができる。
【発明の効果】
【００２５】
本発明によれば、書画カメラにセットされた被写体の画像を示す画像データをコンピュータ装置が受信し、コンピュータ装置は、受信した画像データに基づき被写体の画像を表示し、かつ、シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる。これにより、電子ペンシステムは、ユーザがシートへ電子ペンにより書込みを行った場合に、書画カメラにより撮像することで得られた画像上に電子ペンで記入されたストロークを再現して表示することができる。従って、ユーザは、書画カメラで撮像して表示された画像上に好適に書込みを行うことができる。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係る電子ペンシステムの構成を示す。
【図２】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図３】（ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。
【図４】電子ペンの構造を示す概略図である。
【図５】コンピュータ装置の機能ブロック図である。
【図６】操作シートの上面図を示す。
【図７】画像が横向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【図８】画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【図９】プレゼンテーション用紙の印刷処理の手順を示すフローチャートである。
【図１０】画像貼付スライドの生成処理の手順を示すフローチャートである。
【図１１】記入情報に基づく処理の手順を示すフローチャートである。
【図１２】変形例における操作シートの上面図を示す。
【図１３】変形例において、画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら、本発明を実施するのに好適な実施形態について説明する。
【００２８】
［電子ペンシステムの構成］
図１は、本実施形態に係る電子ペンシステムの構成を示す。図１に示すように、電子ペンシステムは、ユーザが使用する電子ペン１と、プレゼンテーション用アプリケーションのスライドとドットパターンとが重ねて印刷されたプレゼンテーション用紙２と、電子ペン１から記入情報等を受信して処理するコンピュータ装置３と、コンピュータ装置３と通信可能に接続された書画カメラ付きプロジェクタ４と、書画カメラ付きプロジェクタ４から映像（画像）が投影されるスクリーン５と、ドットパターンが印刷された操作シート６と、コンピュータ装置３からの印刷指示（出力命令）に従ってプレゼンテーション用紙２及び操作シート６を印刷するプリンター７とを備える。以下、これらの各構成要素について説明する。
【００２９】
（プレゼンテーション用紙）
まず、プレゼンテーション用紙（電子ペン用用紙）２について説明する。プレゼンテーション用紙２には、プレゼンテーション用アプリケーションのスライドが一枚ごとに印刷され、かつ、その略全面に後述する位置座標を示すドットパターン（コード化パターン）が重ねて印刷される。プレゼンテーション用紙２に印刷されるドットパターンは、プレゼンテーション用紙２ごとに異なる座標範囲を示す。ドットパターンは、電子ペン１により読み取ることができるように赤外線を吸収するカーボンを含んだインクにより印刷され、その他の文字や図などは、赤外線を吸収しないインキにより印刷される。プレゼンテーション用紙２の印刷処理については、［印刷処理］のセクションで詳しく説明する。
【００３０】
（書画カメラ付きプロジェクタ）
書画カメラ付きプロジェクタ４は、筐体上に載置された用紙（被写体）を撮像することで得られた画像をスクリーン５に投影する第１投影モードと、コンピュータ装置３から送信された画像信号に基づく画像をスクリーン５に投影する第２投影モードとを有する。具体的に、第１投影モードでは、書画カメラ付きプロジェクタ４は、筐体上に設けられた原稿用ガラスに撮像対象となる用紙（「撮像用紙」とも呼ぶ。）が撮像面を下向きにして載置された場合に、載置された撮像用紙を筐体内から撮像することで、撮像用紙の画像データを生成してスクリーン５に投影する。また、第２投影モードでは、書画カメラ付きプロジェクタ４は、Ｗｉ−Ｆｉ（登録商標）などで採用される無線通信プロトコルによりコンピュータ装置３と通信を行い、コンピュータ装置３から送信された画像信号に基づく画像をスクリーン５に投影する。なお、書画カメラ付きプロジェクタ４は、有線により接続されていてもよい。
【００３１】
また、書画カメラ付きプロジェクタ４は、第１投影モード時において、スクリーン５に投影された画像を９０度ずつ回転させるためのボタン（「画像回転ボタンＢｔ１」とも呼ぶ。）を備える。さらに、書画カメラ付きプロジェクタ４は、スクリーン５に投影された画像のデータ（ここではＪＰＥＧ形式とする）を生成し、コンピュータ装置３へ送信するためのボタン（「画像確定ボタンＢｔ２」とも呼ぶ。）を備える。後述するように、画像確定ボタンＢｔ２が押下された場合、書画カメラ付きプロジェクタ４は、画像データと共に、画像が縦向き（縦長）であるか横向き（横長）であるかを示すフラグ（「向き特定フラグＦｇ」とも呼ぶ。）をコンピュータ装置３へ送信する。なお、画像データの保存形式がＪＰＥＧの場合には、規格上、画像の向きに関する属性を画像データに組み込むことができるため、書画カメラ付きプロジェクタ４は、画像データに向き特定フラグＦｇの情報を組み込んで１つのファイルとしてコンピュータ装置３へ送信するとよい。画像回転ボタンＢｔ１及び画像確定ボタンＢｔ２の活用方法については、［スライド生成処理］のセクションで詳しく説明する。さらに、書画カメラ付きプロジェクタ４は、第１投影モードと第２投影モードとを切り替えるための切り替えボタン（「投影モード切替ボタンＢｔ３」とも呼ぶ。）を備える。
【００３２】
（ドットパターン）
続いて、プレゼンテーション用紙２や操作シート６に印刷されたアノト方式のドットパターン（コード化パターン）について図２及び図３を用いて説明する。図２は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、プレゼンテーション用紙２や操作シート６上の位置座標が決定されるよう構成されている。なお、プレゼンテーション用紙２同士又はプレゼンテーション用紙２と操作シート６とでは座標領域が重ならないようドットパターンが形成される。
【００３３】
図３（ａ）は、あるドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、プレゼンテーション用紙２や操作シート６上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがプレゼンテーション用紙２や操作シート６上のどの位置にあるのか）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮像する電子ペン１によって行われる。
【００３４】
（電子ペン）
次に、電子ペン１について図４を用いて説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、インクカートリッジ１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。インクカートリッジ１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３をプレゼンテーション用紙２や操作シート６上に当接させて、ストローク（手書きストローク）を記入する。ここで、電子ペン１のペン先部１０３がプレゼンテーション用紙２等に最初に接触することを「ペンダウン」と呼び、接触している（当接している）状態からペン先部１０３が離れることを「ペンアップ」と呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。
【００３５】
バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりプレゼンテーション用紙２等に文字やマークを書いたりタップしたりする際にペン先部１０３からインクカートリッジ１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。
【００３６】
ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、プレゼンテーション用紙２や操作シート６上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がプレゼンテーション用紙２や操作シート６に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６には、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、プレゼンテーション用紙２や操作シート６に文字や図面などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ１０８は、ドットパターンを認識することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
【００３７】
プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される画像データからドットパターンを読み取った場合、当該ドットパターンから、ユーザが記入するストローク（筆跡）のプレゼンテーション用紙２や操作シート６等におけるＸ、Ｙ座標（以後、単に「座標データ」または「座標情報」とも呼ぶ。）を連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ、Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際にその機能が発揮される。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ、Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、プレゼンテーション用紙２や操作シート６における６×６のドットパターンは、プレゼンテーション用紙２及び操作シート６内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がプレゼンテーション用紙２又は操作シート６のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。
【００３８】
メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤと、時刻情報（タイムスタンプ）と、筆圧データと、Ｘ、Ｙ座標データとを関連付けて、記入情報としてコンピュータ装置３へ送信する。この場合、通信ユニット１１１によるコンピュータ装置３への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。
【００３９】
ここで、プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データによらず、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を常時駆動させている。従って、電子ペン１のペン先１０３がドットパターンに近接して、プロセッサ１０８がＣＭＯＳカメラ１０６によって供給される画像データからドットパターンのＸ，Ｙ座標を演算できるようになると、プロセッサ１０８は、ペン先１０３がプレゼンテーション用紙２等に接触する前であっても、筆圧を０（ゼロ）とした記入情報を生成する。そして、プロセッサ１０８は、生成した記入情報を、通信ユニット１１１を介して、コンピュータ装置３へ送信する。
【００４０】
また、プロセッサ１０８は、ユーザが電子ペン１でプレゼンテーション用紙２等に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、圧力センサ１０７により検出されたペンダウン情報（以後、「ペンダウン情報ＰＤ」と呼ぶ。）と、後述する電子ペン１のペンＩＤとを関連付けて、記入情報として通信ユニット１１１によりコンピュータ装置３へ送信する。また、ユーザが１つのストロークを記入し終えて電子ペン１をプレゼンテーション用紙２や操作シート６から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、プロセッサ１０８は、圧力センサ１０７により検出されたペンアップ情報（以後、「ペンアップ情報ＰＵ」と呼ぶ。）とペンＩＤとを関連付けて、記入情報として通信ユニット１１１によりコンピュータ装置３へ送信する。
【００４１】
ここで、電子ペン１のペンダウンからペンアップまでの間に生成されてコンピュータ装置３に送信された１個又は複数個の座標属性情報は、コンピュータ装置３によりストローク情報として記憶される。換言すると、１つのストロークは、１個又は複数個のＸ、Ｙ座標（座標点）からなり、コンピュータ装置３は、ペンダウン情報ＰＤ及びペンアップ情報ＰＵによって、１つのストロークを構成する１個又は複数個の座標属性情報を認識する。
【００４２】
なお、電子ペン１は、インクカートリッジ１０４に代えて、インキが充填されていないペン部１０４を備えてもよい。この場合には、後述する操作シート６は、複数枚印刷される必要がない。
【００４３】
（コンピュータ装置）
次に、コンピュータ装置３について説明する。コンピュータ装置３は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等で構成される。なお、コンピュータ装置３は、ｉＰａｄ（登録商標）などのタブレットＰＣやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）、またはディスプレイを備えるＰＣ（パーソナルコンピュータ）等で構成されてもよい。
【００４４】
図５は、コンピュータ装置３の機能ブロック図である。コンピュータ装置３は、機能的には、マウスやキーボードといった入力手段３１、第１通信手段３２、記憶手段３３、処理手段３４、表示手段３６、インターフェース（Ｉ／Ｆ）３７、及び第２通信手段３８を備える。第１通信手段３２は、アンテナ受信回路等により構成され、電子ペン１から記入情報を受信し、受信した情報を処理手段３４に伝送する。表示手段３６は、ディスプレイ等によって構成され、処理手段３４によって指示された内容を表示する。インターフェース３７は、プレゼンテーション用紙２及び操作シート６の印刷指示信号をプリンター７へ送信する。第２通信手段３８は、処理手段３４の処理命令に基づき、表示手段３６に画像を表示するための画像信号を書画カメラ付きプロジェクタ４に送信し、表示手段３６の画像と同じ画像を同期して投影させたり、書画カメラ付きプロジェクタ４から画像データを受信したりする。
【００４５】
処理手段３４は、ＣＰＵ等のプロセッサによって構成され、コンピュータ装置３の全体の制御を行う。処理手段３４は、印刷指示手段３４０と、画像データ受信手段３４１と、画像データ処理手段３４２と、表示制御手段３４３とを備える。印刷指示手段３４０は、ドットパターン以外については、電子ペン１で読み取れないインク（ＣＭＹ：カーボンを含まない）で印刷する旨、及びドットパターンは電子ペン１で読み取り可能なカーボンを含むインク（Ｂｋ）で印刷する旨の印刷プロパティの設定を行う。なお、プリンター７が、カーボンを含まない黒色（「Ｋ」とする。）とカーボンを含む黒色（「Ｂｋ」とする。）とを区別して使用できる場合、印刷指示手段３４０は、ドットパターン以外をＣＭＹＫの４色のインクで印刷し、ドットパターンをカーボンを含む黒色のインキ（Ｂｋ）で印刷するようにしてもよい。また、印刷指示手段３４０は、プレゼンテーション用紙２を印刷する前に、印刷対象であるプレゼンテーション用アプリケーションのファイルを、所定の形式のファイル（「ＰＰＧファイル」と呼ぶ。）に変換する。具体的に、印刷指示手段３４０は、印刷対象であるプレゼンテーション用アプリケーションのファイルを所定の専用ビューアで表示できるように、当該ファイルの各スライドの画像データを生成し、生成した画像データから構成されるＰＰＧファイルを生成する。これにより、印刷指示手段３４０は、印刷対象の各スライドにドットパターンを割当て、当該各スライドと割当てたドットパターンとを重ねてプリンター７に印刷させることが可能となる。
【００４６】
処理手段３４の画像データ受信手段３４１は、書画カメラ付きプロジェクタ４から画像データ及び向き特定フラグＦｇを第２通信処理手段３８により受信する。また、処理手段３４の画像データ処理手段３４２は、この場合、ＰＰＧファイルのスライドを新たに生成し、向き特定フラグＦｇが示す向きに従って、受信した画像データが示す画像を新規スライドに貼り付ける。そして、画像データ処理手段３４２は、上述の画像が貼り付けられた新規スライド（「画像貼付スライド」とも呼ぶ。）をＰＰＧファイルとして記憶手段３３に記憶させる。画像貼付スライドは、本発明における「プレゼンテーション用アプリケーションのスライド」の一例である。画像データ処理手段３４２が行う具体的な処理については、［スライド生成処理］のセクションで詳しく説明する。
【００４７】
処理手段３４の表示制御手段３４３は、後述する操作シート６に対する電子ペン１の記入情報をコンピュータ装置３が受信した場合、専用ビューアにより表示中の画像貼付スライドに操作シート６への筆跡を再現したストロークを描画したり、専用ビューアにより表示させる画像貼付スライドを変更したりする。また、表示制御手段３４３は、プレゼンテーション用紙２への電子ペン１による記入情報をコンピュータ装置３が受信した場合、受信した記入情報に基づき、記入されたプレゼンテーション用紙２に印刷されたスライド（「既存スライド」とも呼ぶ。）を認識し、当該既存スライドを専用ビューアにより表示させる。この具体的な処理については、［記入情報に基づく処理］のセクションで詳しく説明する。
【００４８】
記憶手段３３は、ＲＯＭやＲＡＭといったメモリによって構成される。記憶手段３３は、処理手段３４の処理命令により、電子ペン１から受信した記入情報をペンＩＤ毎に記憶する。また、記憶手段３３は、プレゼンテーション用紙２の各々に対応するドットパターンが示す座標範囲、及び操作シート６の各領域に対応するドットパターンが示す座標範囲の情報（「座標定義情報」とも呼ぶ。）を記憶する。
【００４９】
さらに、記憶手段３３は、プレゼンテーション用紙２に印刷するプレゼンテーション用アプリケーションのファイル及び当該ファイルに基づき生成されたＰＰＧファイルを記憶する。また、記憶手段３３は、書画カメラ付きプロジェクタ４から受信した画像データ及び向き特定フラグＦｇを記憶し、さらに、当該画像データに基づき生成された画像貼付スライドを、他の画像貼付スライド又は／及び既存スライドと共にファイル化して記憶する。
【００５０】
（操作シート）
次に、操作シート６について説明する。図６は、操作シート６の上面図を示す。図６に示すように、操作シート６は、ストローク描画用領域６１と、ページ指定領域６２と、ストローク線色指定領域６３と、上方向表示マーク６４とを備える。ストローク描画用領域６１と、ページ指定領域６２と、ストローク線色指定領域６３とは、それぞれ異なる座標範囲のドットパターンが各領域の略全面に印刷されている。そして、コンピュータ装置３の記憶手段３３は、これらの各領域に重ねて印刷されたドットパターンが示す座標範囲の情報を座標定義情報として記憶している。なお、操作シート６が複数枚印刷される場合には、各操作シート６は、それぞれ同じ座標範囲を示すドットパターンが印刷されることが望ましい。
【００５１】
ストローク描画用領域６１は、コンピュータ装置３の表示制御手段３４３が専用ビューアにより画像貼付スライドを表示している際に、電子ペン１により記入がなされる領域である。電子ペン１により記入がなされた場合、コンピュータ装置３は、受信した記入情報に基づき筆跡を特定し、専用ビューアにより表示された画像貼付スライドに筆跡を再現したストロークを描画し、描画後の画像貼付スライドの情報を記憶手段３３に記憶させる。
【００５２】
また、ストローク描画用領域６１には、横方向に延在し、ストローク描画用領域６１の上下方向における中心を結んだ上下中心線６１０Ｘと、縦方向に延在し、ストローク描画用領域６１の左右方向における中心を結んだ左右中心線６１０Ｙとが印刷されている。上下中心線６１０Ｘ及び左右中心線６１０Ｙの用途については、図７及び図８の説明で後述する。
【００５３】
ページ指定領域６２は、専用ビューアにより表示させる画像貼付スライドをユーザに指定させるための領域である。ページ指定領域６２は、ページ番号指定領域６２Ａと、直前ページ指定領域６２Ｂと、次ページ指定領域６２Ｃと、前ページ指定領域６２Ｄとを備える。ページ番号指定領域６２Ａは、各画像貼付スライドに付された識別番号（単に「ページ番号Ｎｐ」とも呼ぶ。）に基づき、専用ビューアにより表示させる画像貼付スライドを指定するための領域である。ここで、「ページ番号Ｎｐ」は、生成順に各画像貼付スライドに「１」から付される通し番号である。そして、図６では、ページ番号指定領域６２Ａは、一例として、ページ番号Ｎｐが「１」から「２０」までの各画像貼付スライドを指定するための領域を有する。なお、画像貼付スライドが削除された場合、コンピュータ装置３は、削除された画像貼付スライドよりも大きいページ番号Ｎｐを有する画像貼付スライドのページ番号Ｎｐを繰り上げて欠番が生じないようにしてもよく、削除された画像貼付スライドのページ番号Ｎｐを欠番のままにしてもよい。
【００５４】
直前ページ指定領域６２Ｂは、専用ビューアにより現在表示中の画像貼付スライドの直前に表示されていた画像貼付スライドを専用ビューアにより表示させるための領域である。次ページ指定領域６２Ｃは、専用ビューアにより現在表示中の画像貼付スライドより一つ大きいページ番号Ｎｐを有する画像貼付スライドを専用ビューアにより表示させるための領域である。前ページ指定領域６２Ｄは、専用ビューアにより現在表示中の画像貼付スライドより一つ小さいページ番号Ｎｐを有する画像貼付スライドを専用ビューアにより表示させるための領域である。
【００５５】
ストローク線色指定領域６３は、専用ビューアに表示された画像貼付スライド上に描画されるストロークの線色を指定するための領域である。ここでは、ストローク線色指定領域６３は、「黒色」、「黄色」、「赤色」、「青色」に対応する各領域を有する。上方向表示マーク６４は、操作シート６の上方向を指定した矢印である。
【００５６】
ここで、ストローク描画用領域６１へ電子ペン１により記入された筆跡と、表示手段３６に表示された画像貼付スライドとの対応について図７及び図８を参照して説明する。
【００５７】
図７は、書画カメラ付きプロジェクタ４から送信された画像データが示す画像が横向き（横長）に貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域３６０とストローク描画用領域６１との対応を示す図である。
【００５８】
図７に示すように、専用ビューア表示領域３６０の全範囲に対して、ストローク描画用領域６１の全範囲が対応している。そして、ストローク描画用領域６１へ電子ペン１により記入されたストロークは、図７の破線で示す対応関係に基づき、専用ビューア表示領域３６０上に描画される。また、図７では、専用ビューア表示領域３６０は、貼り付けられた画像（「貼付画像」とも呼ぶ。）の表示領域（「貼付画像表示領域」とも呼ぶ。）と一致し、貼付画像がその全面に表示される。従って、ストローク描画用領域６１へ電子ペン１により記入されたストロークは、専用ビューア表示領域３６０に表示された貼付画像に重畳して表示される。
【００５９】
図８は、貼付画像が縦向きである画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域３６０と、ストローク描画用領域６１との対応を示す図である。図８において、貼付画像表示領域３６１は、専用ビューア表示領域３６０中の二点鎖線により挟まれた領域を指すものとし、貼付画像描画用領域６２０は、ストローク描画用領域６１中の二点鎖線により挟まれた領域であって、貼付画像表示領域３６１に表示された貼付画像に重畳させて描くストロークを記入するための領域を示す。
【００６０】
図８に示すように、貼付画像が縦長に配置された画像貼付スライドを専用ビューアにより表示した場合であっても、図７と同様に、専用ビューア表示領域３６０の全範囲に対して、ストローク描画用領域６１の全範囲が対応している。そして、ストローク描画用領域６１へ電子ペン１により記入されたストロークは、図８の破線で示す対応関係に基づき、専用ビューア表示領域３６０上に描画される。
【００６１】
専用ビューア表示領域３６０では、縦長に配置された貼付画像が表示される貼付画像表示領域３６１は、専用ビューア表示領域３６０と上下の端を一致させた状態で専用ビューア表示領域３６０の左右方向における中央に表示される。そして、貼付画像描画用領域６２０上に電子ペン１により記入されたストロークは、貼付画像表示領域３６１上に描画される。このとき、貼付画像描画用領域６２０の上下方向における中心線と一致した位置に上下中心線６１０Ｘが印刷されており、貼付画像描画用領域６２０の左右方向における中心線と一致した位置に左右中心線６１０Ｙが印刷されている。従って、記入者は、貼付画像が縦長に配置された画像貼付スライドが専用ビューアにより表示されていた場合であっても、上下中心線６１０Ｘ及び左右中心線６１０Ｙを目印として、比較的容易に記入すべき位置を把握することができる。
【００６２】
なお、ユーザは、ストローク描画用領域６１の貼付画像描画用領域６２０外の領域に電子ペン１により記入を行ってもよい。この場合には、貼付画像表示領域３６１の外であって、専用ビューア表示領域３６０内の対応する位置に記入情報に基づくストロークが描かれる。
【００６３】
［印刷処理］
次に、図９を参照し、プレゼンテーション用紙２の印刷処理について具体的に説明する。図９は、プレゼンテーション用紙２の印刷処理の手順を示すフローチャートである。なお、コンピュータ装置３は、ユーザの操作により、所定のプレゼン用アプリケーション（例えば、パワーポイント（登録商標）など）により、スライドで構成されるファイルを作成しているものとする。
【００６４】
まず、コンピュータ装置３の印刷指示手段３４０は、所定のプレゼンテーション用アプリケーションにより作成されたファイルの各スライドを、専用ビューアで表示できるように、各スライドについて画像データを作成し、ＰＰＧファイルとしてファイル化する（ステップＳ１０１）。次に、印刷指示手段３４０は、生成したＰＰＧファイルの各スライドに、それぞれ異なる座標範囲のドットパターンを割り当てる（ステップＳ１０２）。次に、印刷指示手段３４０は、ＰＰＧファイルの各スライドについて、それぞれ割り当てたドットパターンを重ねて印刷する旨の印刷指示信号を、インターフェース３７によりプリンター７へ送信する（ステップＳ１０３）。
【００６５】
プリンター７は、コンピュータ装置３から上述の印刷指示信号を受信すると、受信した印刷指示信号が示す印刷指示に従い、ＰＰＧファイルの各スライドについて、それぞれ割り当てたドットパターンを重ねて印刷する（ステップＳ２０１）。これにより、プレゼンテーション用紙２が印刷される。
【００６６】
［スライド生成処理］
次に、画像貼付スライドの生成処理について、図１０を参照して説明する。図１０は、画像貼付スライドの生成処理の手順を示すフローチャートである。
【００６７】
まず、書画カメラ付きプロジェクタ４は、投影モード切替ボタンＢｔ３により第１投影モードが指定されている場合、筺体上の所定位置に裏向きで載置された撮像用紙を筐体内部から撮像してスクリーン５に撮像用紙の画像を投影する。この時、書画カメラ付きプロジェクタ４は、画像回転ボタンＢｔ１が押下される度に、スクリーン５に投影された撮像用紙の画像を右又は左方向に９０度回転させてスクリーン５上に投影する（ステップＳ３０１）。これにより、スクリーン５に投影された画像が正しい向き（意図した向き）に表示されるように調整がなされる。
【００６８】
次に、画像確定ボタンＢｔ２が押下された場合、書画カメラ付きプロジェクタ４は、撮像した撮像用紙の画像データ（例えば、ＪＰＥＧ形式）を生成し、画像の向きを示す向き特定フラグＦｇと共に、コンピュータ装置３へ送信する（ステップＳ３０２）。このとき、書画カメラ付きプロジェクタ４は、例えば、画像回転ボタンＢｔ１が押下された回数から特定フラグＦｇを定める。具体的には、書画カメラ付きプロジェクタ４は、画像回転ボタンＢｔ１が押されていない初期状態で撮像用紙がスクリーン５上に横向きに投影される場合には、画像回転ボタンＢｔ１が偶数回（０回も含む）押下された場合には画像が横向きであることを示す向き特定フラグＦｇを生成し、画像回転ボタンＢｔ１が奇数回押下された場合には、画像が縦向きであることを示す特定フラグＦｇを生成する。
【００６９】
そして、書画カメラ付きプロジェクタ４から画像データ及び向き特定フラグＦｇをコンピュータ装置３が受信すると、画像データ受信手段３４１は、受信した画像データを向き特定フラグＦｇと共に所定のフォルダ（「画像データ格納フォルダ」とも呼ぶ。）に記憶する（ステップＳ４０１）。ここで、「画像データ格納フォルダ」は、例えばコンピュータ装置３のユーザが予め指定したフォルダであってもよく、ユーザの入力によらず予め定められたフォルダであってもよい。
【００７０】
画像データ処理手段３４２は、画像データ格納フォルダを常時監視し、画像データ受信手段３４１により新規の画像データが画像データ格納フォルダ内に記憶されたことを認識する（ステップＳ４０２）。そして、画像データ処理手段３４２は、専用ビューアによりＰＰＧファイルが開いている状態である場合には（ステップＳ４０３；Ｙｅｓ）、開いているＰＰＧファイルの新規スライドを生成し、当該新規スライドを最後尾のスライドとして追加すると共に、向き特定フラグＦｇが示す向きに応じて画像データが示す画像を新規スライドに貼り付ける（ステップＳ４０４）。言い換えると、この場合、画像データ処理手段３４２は、開いているＰＰＧファイルの最後のスライドの次に新規スライドを追加して当該新規スライドに画像を向き特定フラグＦｇに基づき貼り付ける。このように、画像データ処理手段３４２は、開いているＰＰＧファイルの既存スライドの次に画像貼付スライドを生成順に順次並べていく。また、画像データ処理手段３４２は、生成された画像貼付スライドに対して、ページ番号指定領域６２Ａに表示された番号に対応するページ番号Ｎｐを生成順に「１」から付す。そして、画像データ処理手段３４２は、既存スライドの情報に画像貼付スライドの情報が付加されたＰＰＧファイルを記憶手段３３に記憶させる（ステップＳ４０４）。
【００７１】
一方、専用ビューアによりＰＰＧファイルが開いていない状態の場合（ステップＳ４０３；Ｎｏ）、画像データ処理手段３４２は、表示手段３６に専用ビューアを表示させると共に新規スライドを生成し、向き特定フラグＦｇに応じて当該新規スライドに画像を貼り付け、ＰＰＧファイルとして記憶手段３３に記憶させる（ステップＳ４０５）。言い換えると、この場合、画像データ処理手段３４２は、画像貼付スライドを追加すべきＰＰＧファイルがないため、画像貼付スライドを生成した後、新規のＰＰＧファイルとして保存し、かつ、表示手段３６に画像貼付スライドを表示させる。また、画像データ処理手段３４２は、生成された画像貼付スライドに対して、ページ番号指定領域６２Ａに表示された番号に対応するページ番号Ｎｐを生成順に「１」から付す。
【００７２】
なお、ステップＳ４０４及びステップＳ４０５において、画像データ処理手段３４２は、画像貼付スライドを生成した後であっても、画像データ処理手段３４２は、貼付画像を９０度ずつ回転させる旨の入力を入力手段３１により検知した場合、貼付画像を回転させて向きを調整する。
【００７３】
［記入情報に基づく処理］
次に、電子ペン１から記入情報が送信された際にコンピュータ装置３が行う処理について図１１を用いて説明する。図１１は、記入情報を受信した際にコンピュータ装置３が行う処理手順を示すフローチャートである。
【００７４】
まず、ユーザが、プレゼンテーション用紙２又は操作シート６に対し、電子ペン１で文字の記入又はタップを行うと、電子ペン１は、ペンＩＤ及び座標属性情報を含む記入情報を生成し、コンピュータ装置３へ送信する。コンピュータ装置３では、第１通信手段３２が記入情報を受信すると、処理手段３４は、記憶手段３３に当該記入情報を記憶させる（ステップＳ５０１）。次に、処理手段３４の表示制御手段３４３は、座標定義情報を参照し、記入情報に含まれる座標情報が示す位置座標が、（ａ）プレゼンテーション用紙２に印刷された既存スライドに割当てられた座標範囲にあるか、又は、（ｂ）操作シート６のストローク描画用領域６１に割当てられた座標範囲にあるか、又は、（ｃ）操作シート６のページ指定領域６２に割当てられた座標範囲にあるか、又は、（ｄ）操作シート６のストローク線色指定領域６３に割当てた座標範囲にあるかを判定する（ステップＳ５０２）。
【００７５】
そして、記入情報が示す位置座標がプレゼンテーション用紙２に印刷された既存スライドに割当てられた座標範囲にある場合（ステップＳ５０２；（ａ））、表示制御手段３４３は、プレゼンテーション用紙２に記入がなされたと判断し、上述の座標範囲のドットパターンが割当てられた既存スライドを表示手段３６に表示させると共に、当該既存スライド上に記入情報に基づくストロークを描画し、ストロークが描画された後の既存スライドを上書き保存する（ステップＳ５０３）。
【００７６】
一方、記入情報が示す位置座標が操作シート６のストローク描画用領域６１に割当てられた座標範囲にある場合（ステップＳ５０２；（ｂ））、表示制御手段３４３は、さらに画像貼付スライドが専用ビューアにより表示されている状態であるか否か判定する（ステップＳ５０４）。そして、画像貼付スライドが専用ビューアにより表示されていない場合には（ステップＳ５０４；Ｎｏ）、表示制御手段３４３はフローチャートの処理を終了する。
【００７７】
一方、画像貼付スライドが表示中である場合（ステップＳ５０４；Ｙｅｓ）、表示制御手段３４３は、さらに、記入情報に含まれる筆圧データが「０」であるか否か判定し、筆圧データが「０」のときには、記入情報に含まれる座標情報が示す位置に十字状等のカーソル（マーク）を表示手段３６に表示させる（ステップＳ５０５）。即ち、この場合、表示制御手段３４３は、操作シート６と接触していないが、ドットパターンを読み取れる程度に電子ペン１が操作シート６と近接した状態（「ホバーリング状態」とも呼ぶ。）であると判断し、ペン先１０３の位置を記入者に視認させる。これにより、表示制御手段３４３は、これから電子ペン１により書き込もうとする位置を容易に記入者に把握させることができる。なお、表示制御手段３４３は、図８に示すように貼付画像が縦向きに配置された画像貼付スライドを表示している場合には、記入情報が貼付画像描画用領域６２０に割当てられたドットパターンの位置座標を示す場合にのみ、カーソルを表示手段３６に表示させてもよい。
【００７８】
一方、記入情報に含まれる筆圧データが「０」より大きい場合には、表示制御手段３４３は、電子ペン１が操作シート６上にペンダウンされて記入が行われていると判断し、受信した記入情報に基づくストロークを画像貼付スライド上に描画し、ストロークが描画された後の画像貼付スライドを上書き保存する（ステップＳ５０５）。
【００７９】
再びステップＳ５０２に戻り説明する。記入情報が示す位置座標が操作シート６のページ指定領域６２に割当てられた座標範囲にある場合（ステップＳ５０２；（ｃ））、表示制御手段３４３は、指定された画像貼付スライドへ表示を切り替える（ステップＳ５０６）。具体的には、ページ指定領域６２のページ番号指定領域６２Ａが電子ペン１によりタップされたと判断した場合、表示制御手段３４３は、当該ページ番号指定領域６２Ａに対応するページ番号Ｎｐが付された画像貼付スライドを専用ビューアにより表示させる。一方、ページ指定領域６２の直前ページ指定領域６２Ｂが電子ペン１によりタップされたと判断した場合、表示制御手段３４３は、専用ビューアにより現在表示中の画像貼付スライドの直前に表示されていた画像貼付スライドを専用ビューアにより表示させる。一方、ページ指定領域６２の次ページ指定領域６２Ｃが電子ペン１によりタップされたと判断した場合、表示制御手段３４３は、専用ビューアにより現在表示中の画像貼付スライドの次のページ番号Ｎｐを有する画像貼付スライドを専用ビューアにより表示させる。また、ページ指定領域６２の前ページ指定領域６２Ｄが電子ペン１によりタップされたと判断した場合、表示制御手段３４３は、専用ビューアにより現在表示中の画像貼付スライドの前のページ番号Ｎｐを有する画像貼付スライドを専用ビューアにより表示させる。
【００８０】
一方、記入情報が示す位置座標が操作シート６のストローク線色指定領域６３に割当てられた座標範囲にある場合（ステップＳ５０２；（ｄ））、表示制御手段３４３は、記入情報が示す位置座標に対応するストローク線色指定領域６３に対応付けられた線色を、画像貼付スライド上に描画する線色として設定する（ステップＳ５０７）。これにより、表示制御手段３４３は、以後にステップＳ５０３及びステップＳ５０５の処理を実行する際に、電子ペン１によりタップされたストローク線色指定領域６３に対応付けられた線色により、画像貼付スライド上にストロークを描画する。
【００８１】
［本実施形態による作用効果］
本実施形態の電子ペンシステムによれば、書画カメラ付きプロジェクタ４により撮像された画像のデータをコンピュータ装置３が受信し、コンピュータ装置３は、受信した画像データに基づき画像貼付スライドを生成して表示し、かつ、操作シート６への電子ペン１による記入情報に基づき再現した手書きストロークを画像貼付スライド上に描画させる。これにより、電子ペンシステムは、ユーザが操作シート６へ電子ペン１により書込みを行った場合に、書画カメラ付きプロジェクタ４により撮像することで得られた画像上に電子ペン１で記入されたストロークを再現して表示することができる。特に、書画カメラ付きプロジェクタ４は、撮像面を下向きにして撮像用紙が載置されるため、ユーザは、撮像用紙の撮像面に対して直接ペンにより書き込みを行うことができない。これに対し、本実施形態によれば、ユーザは、書画カメラ付きプロジェクタ４で撮像して表示された画像上に好適に書込みを行うことができる。また、書画カメラ付きプロジェクタ４による画像の読み取りから画像貼付スライドの生成まで自動で行われるため、ユーザによる操作の煩雑さもない。
【００８２】
また、コンピュータ装置３は、画像貼付スライドの生成時に、表示手段３６によりＰＰＧファイルのスライドが表示されていた場合には、生成した画像貼付スライドを当該ＰＰＧファイルのスライドとして追加する。これにより、コンピュータ装置３は、好適に、既存のＰＰＧファイルに、書画カメラ付きプロジェクタ４により撮像された画像を貼り付けた画像貼付スライドを追加することができる。
【００８３】
さらに、操作シート６は、表示させる画像貼付スライドを指定するためのページ指定領域６２を有し、コンピュータ装置３は、ページ指定領域６２への電子ペン１による記入情報を受信した場合に、当該ページ指定領域６２が指定する画像貼付スライドを専用ビューアにより表示させる。これにより、電子ペンシステムは、ユーザが操作シート６上のページ指定領域６２を電子ペン１でタップした場合に、タップされたページ指定領域６２に対応する画像貼付スライドを表示することができる。
【００８４】
書画カメラ付きプロジェクタ４は、生成した画像データと共に向き特定フラグＦｇをコンピュータ装置３に送信し、コンピュータ装置３は、向き特定フラグＦｇに基づき、新規スライドに受信した画像データが示す画像を貼り付ける。これにより、コンピュータ装置３は、画像を適切な向きで貼り付けた画像貼付スライドを生成することができる。
【００８５】
さらに、コンピュータ装置３は、操作シート６のストローク描画用領域６１への電子ペン１による記入情報が筆圧「０」を示す場合には、当該記入情報に基づき電子ペン１のペン先部１０３の位置を示すカーソルを表示手段３６に表示させる。これにより、電子ペンシステムは、電子ペン１によりストローク描画用領域６１上に書き込もうとするユーザに対し、電子ペン１のペン先部１０３の位置を容易に把握させることができ、好適に書込みを補助することができる。
【００８６】
さらに、操作シート６のストローク描画用領域６１には、横方向に延在する上下中心線６１０Ｘと縦方向に延在する左右中心線６１０Ｙとが設けられている。これにより、ユーザは、電子ペン１により操作シート６上に書き込む際に、これらを目安に書込みを行うことができる。
【００８７】
［変形例］
次に、本実施形態の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。
【００８８】
（変形例１）
図１１のステップＳ５０５の処理に加え、表示制御手段３４３は、ホバーリング状態の場合に記入情報に基づき画像貼付スライドにカーソルを表示させた後、記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、カーソルの表示を継続してもよい。言い換えると、カーソルの表示後にドットパターンを読み取れない位置まで電子ペン１が操作シート６から離れた場合、表示制御手段３４３は、電子ペン１から最後に受信した記入情報が示す位置にカーソルを継続して表示し、所定時間幅以上電子ペン１から記入情報を受信しない状態が続いたときに、カーソルを非表示にする。また、表示制御手段３４３は、カーソルの表示後に記入情報を受信しなくなった後、所定時間幅経過前に記入情報を再び受信した場合には、当該記入情報に基づきカーソルの表示を更新したり、カーソルを非表示にしてストロークを描画したりする。これにより、表示制御手段３４３は、電子ペン１がホバーリング状態である場合に、電子ペン１を把持する手の微細な動きに反応してカーソルの表示及び非表示が頻繁に切り替わるのを抑制することができる。
【００８９】
（変形例２）
コンピュータ装置３は、記入情報に基づく表示画面の切り替えを停止するモードを選択する入力を検知した場合には、図１１のステップＳ５０３及びステップＳ５０６において、表示手段３６による表示を切り替えない。即ち、上述のモードがユーザにより選択された場合には、コンピュータ装置３の表示制御手段３４３は、プレゼンテーション用紙２や操作シート６に対する記入情報を電子ペン１から受信した場合であっても、表示手段３６による表示を切り替えない。そして、上述のモードでは、表示制御手段３４３は、コンピュータ装置３のキーボードやマウスなどの入力手段３１から表示を切り替える旨の入力があった場合に、表示手段３６による表示を切り替える。
【００９０】
このようにすることで、電子ペン１が複数存在し、これらの電子ペン１によりプレゼンテーション用紙２や操作シート６へ同時に記入又はタップされる可能性がある場合に、コンピュータ装置３は、頻繁に表示手段３６による表示が切り替わるのを抑制することができる。
【００９１】
（変形例３）
図１０のステップＳ４０２では、コンピュータ装置３は、画像データ格納フォルダを常に監視し、新規の画像データが格納されたか判定した。これに代えて、コンピュータ装置３は、ユーザの入力手段３１による入力に基づき、画像データ格納フォルダの監視のオン及びオフを切り替えてもよい。そして、画像データ格納フォルダの監視がオフの場合には、コンピュータ装置３は、ステップＳ４０２〜ステップＳ４０５の処理を行うことなくフローチャートの処理を終了する。これにより、コンピュータ装置３は、ユーザの意に反して画像貼付スライドを生成するのを抑制することができる。
【００９２】
（変形例４）
図１０のステップＳ４０４、Ｓ４０５では、コンピュータ装置３は、画像貼付スライドを生成する枚数の上限値を設定してもよい。この場合の上限値は、例えばページ番号指定領域６２Ａで指定可能なスライドの数（図６では２０）に設定される。そして、コンピュータ装置３は、ステップＳ４０４又はステップＳ４０５で既に画像貼付スライドの生成枚数が上限値に達していると判断した場合には、その旨の警告を音声又は表示により出力し、画像貼付スライドを生成しない。
【００９３】
（変形例５）
書画カメラ付きプロジェクタ４に代えて、電子ペンシステムは、書画カメラとプロジェクタとが別体のものを備えてもよい。この場合、書画カメラ及びプロジェクタはいずれもコンピュータ装置３と接続し、書画カメラは、所定の位置に載置された用紙を撮像することにより生成した画像データをコンピュータ装置へ送信し、プロジェクタは、コンピュータ装置から受信した画像信号に基づく画像をスクリーン５に投影する。また、コンピュータ装置は、入力手段３１による入力に基づき、書画カメラから送信された画像データの信号又は表示手段３６による表示画面と同じ画像を表示するための画像信号のいずれかをプロジェクタに送信する。この態様であっても、好適に、電子ペンシステムは、書画カメラ付きプロジェクタ４が実行した第１投影モードと第２投影モードに相当する処理を実行することができる。
【００９４】
また、書画カメラ付きプロジェクタ４又は上述の書画カメラは、筐体上に裏向きにセットされた撮像用紙を筐体内部から撮像する構成に代えて、筐体上に表向きにセットされた撮像用紙を俯瞰する位置に固定された撮像素子により撮像用紙の撮像を行う構成であってもよい。
【００９５】
（変形例６）
画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域３６０と、ストローク描画用領域６１との対応は、図８に示すものに限定されない。
【００９６】
図１２は、変形例における操作シート６Ａの上面図を示し、図１３は、変形例において、画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域３６０と、ストローク描画用領域６１との対応を示す。
【００９７】
図１２に示すように、操作シート６Ａは、画像が横向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合の操作シート６Ａの上方向を示す第１上方向表示マーク６４Ｘと、画像が縦向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合の操作シート６Ａの上方向を示す第２上方向表示マーク６４Ｙとを備える。
【００９８】
そして、図１３に示すように、画像が縦向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合には、操作シート６Ａは第２上方向表示マーク６４Ｙが示す方向を上にして使用される。そして、この場合、ストローク描画用領域６１の全領域は、貼付画像上にストロークを描画するための貼付画像描画用領域６２０に設定される。そして、ストローク描画用領域６１に記入されたストロークは、貼付画像表示領域３６１上に描かれる。この態様によれば、コンピュータ装置３は、画像が縦向きに貼り付けられた画像貼付スライド上に記入者がストロークを描画したい場合に、ストローク描画用領域６１の全領域を使用させてストロークを描きやすくすることができる。
【００９９】
（変形例７）
図１０のステップＳ４０４において、画像データ処理手段３４２は、生成した画像貼付スライドを最後尾に挿入したが、これに代えて、専用ビューアにより表示中のスライドの次の位置に、生成した画像貼付スライドを挿入してもよい。この場合、各画像貼付スライドに付されるページ番号Ｎｐは、本実施形態と同様、生成された順序に従い画像貼付スライドに「１」から順に付されてもよく、本実施形態に代えて、ＰＰＧファイルにおけるスライドの並び順に従い画像貼付スライドに「１」から順に付されてもよい。
【０１００】
（変形例８）
コンピュータ装置３は、図１０のステップＳ４０２において画像データ格納フォルダを監視することなく、ステップＳ４０１で受信した画像データを画像データ格納フォルダ内に記憶した後、直ちにステップＳ４０３以降の処理を行ってもよい。
【０１０１】
（変形例９）
スクリーン５は、ドットパターンが付されたスクリーン（ドットスクリーン）であってもよい。この場合、ドットパターンは、操作シート６やプレゼンテーション用紙２に用いられるドットパターンとは異なる座標範囲のものを使用する。ドットスクリーンは、白地の樹脂基板に、電子ペン１により読み取ることができるよう赤外線を吸収するカーボンを含んだインクによりドットパターン（コード化パターン）が印刷され、さらにドットパターンが例えば透明なＥＢ硬化樹脂層などで保護された層構成を有している。
【０１０２】
そして、処理手段３４は、キャリブレーション用マークを少なくとも２以上、表示手段３６に表示させることにより、書画カメラ付きプロジェクタ４に対し、ドットスクリーン５にもキャリブレーション用マークを投影させ、キャリブレーション用マークが投影された位置のドットパターンを電子ペン１に読み取らせて記入情報を受信することで、ドットスクリーン５のドットパターンにかかる座標系を表示手段３６のディスプレイにかかる座標系に変換するための座標変換関数を求める（キャリブレーション処理機能）。さらに、処理手段３４は、そのキャリブレーション処理により求められた座標変換関数を用いて、ドットスクリーン５のドットパターンにかかる座標系のデータを受信したときに、表示手段３６のディスプレイにかかる座標系のデータに変換し、ストロークを描画したり、所定の処理を行ったりする。
【０１０３】
（変形例１０）
書画カメラ付きプロジェクタ４は、画像が縦向き（縦長）であるか横向き（横長）であるかを示す情報を向き特定フラグＦｇとしてコンピュータ装置３へ送信したが、向き特定フラグＦｇとして送信する情報は、これに限定されない。これに代えて、書画カメラ付きプロジェクタ４は、画像回転ボタンＢｔ１が押下された回数、又は、画像の標準の向きから右回り又は左回りに回転させた角度の情報を、向き特定フラグＦｇとしてコンピュータ装置３へ送信してもよい。この態様によっても、コンピュータ装置３は、向き特定フラグＦｇに基づき、新規スライドに撮像用紙の画像を適切な向きに貼り付けた画像貼付スライドを生成することができる。
【０１０４】
（変形例１１）
図１０に示すステップ４０４．４０５においては、画像データ処理手段３４２は、フォルダに記憶された画像を新規スライドに貼り付けてＰＰＧファイルを更新していたが、新規スライドを生成せずに画像だけでスライドを構成させてもよい。
【０１０５】
（変形例１２）
上記実施形態において、電子ペン、ドットパターン（コード化パターン）、記入情報に、アノト方式を用いたが、アノト方式に限られなくともよい。
【符号の説明】
【０１０６】
１…電子ペン
２…プレゼンテーション用紙
３…コンピュータ装置
４…書画カメラ付きプロジェクタ
５…スクリーン
６…操作シート
７…プリンター
【技術分野】
【０００１】
本発明は、電子ペンで読み取り可能なコード化パターンを利用した技術に関する。
【背景技術】
【０００２】
従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ ｐｅｎ）」が知られている。例えば、特許文献１に記載されているように、アノトペンは、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報を端末装置に送信する。
【０００３】
特許文献２には、ドットパターンに対向する電子ペンの角度に起因するドットの画像上の配列を補正する回転補正処理機能が記載されている。さらに、特許文献３には、プレゼンテーション用アプリケーションで作成したスライドにドットパターンを付して印刷し、電子ペンでその印刷用紙に書き込むことで、コンピュータ装置の表示画面上で筆跡を再現したストロークが描画される技術が開示されている。また、特許文献４には、書画カメラを搭載したプロジェクタが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８４２２８３号公報
【特許文献２】特表２００３−５２９８５３号公報
【特許文献３】特許第４７４８２８０号公報
【特許文献４】特開平０７−１０４７１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
講義や発表などにおいて、持参した用紙を書画カメラで撮影してスクリーン等に表示させ、さらに補足説明のためにその表示上に発表者が書込みを行いたい場合がある。そのとき、用紙を裏向きにセットする書画カメラを用いていた場合には、その用紙に直接書込みができず、用紙を表向きにセットする書画カメラを用いていた場合でも、書込みを行う手がスクリーンに投影されるという問題や、書きにくいなどの問題が生じる。そこで、本発明は、書画カメラで撮像して表示された画像上に好適に書込みを行うことが可能な電子ペンシステム及びプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る電子ペンシステムは、コード化パターンが印刷されたシートと、コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラと、前記電子ペンから前記記入情報を受信するコンピュータ装置とを備える電子ペンシステムであって、前記コンピュータ装置は、前記書画カメラから前記画像データを受信する画像データ受信手段と、前記画像データ受信手段が受信した画像データに基づき前記被写体の画像を表示手段に表示させると共に、前記シートへの前記電子ペンによる記入情報に基づき再現した手書きストロークを前記被写体の画像上に描画させる表示制御手段とを備える。
【０００７】
この態様により、書画カメラにセットされた被写体の画像を示す画像データをコンピュータ装置が受信し、コンピュータ装置は、受信した画像データに基づき被写体の画像を表示し、かつ、シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる。これにより、電子ペンシステムは、ユーザがシートへ電子ペンにより書込みを行った場合に、書画カメラにより撮像することで得られた画像上に電子ペンで記入されたストロークを再現して表示することができる。従って、ユーザは、書画カメラで撮像して表示された画像上に好適に書込みを行うことができる。
【０００８】
上記の電子ペンシステムの一態様では、前記コンピュータ装置は、前記被写体の画像が貼り付けられたプレゼンテーション用アプリケーションのスライドを生成してファイル化する画像データ処理手段をさらに備える。ここで、「ファイル化する」とは、被写体の画像が貼り付けられたスライドの情報から構成されるプレゼンテーション用アプリケーションの新規ファイルを生成することの他に、被写体の画像が貼り付けられたスライドの情報を既に生成されているプレゼンテーション用アプリケーションのファイルに付加して記憶することも含む。この態様により、コンピュータ装置は、書画カメラにより生成された画像データを、ユーザが使用しやすい態様で記憶することができる。
【０００９】
上記の電子ペンシステムの一態様では、前記画像データ処理手段は、前記表示手段によりプレゼンテーション用アプリケーションのスライドが表示されていた場合には、当該スライドのファイルに前記被写体の画像が貼り付けられたスライドの情報を追加する。この態様により、コンピュータ装置は、好適に、既存のプレゼンテーション用アプリケーションのファイルに、書画カメラにより撮像された画像を貼り付けたスライドを追加することができる。
【００１０】
上記の電子ペンシステムの一態様では、前記画像データ受信手段は、前記書画カメラから複数の画像データを受信し、前記画像データ処理手段は、前記複数の画像データに基づく前記被写体の画像の各々が貼り付けられたプレゼンテーション用アプリケーションのスライドをそれぞれ生成し、前記シートは、前記表示手段に表示させる前記被写体の画像が貼り付けられたスライドを指定するための指定領域を有し、前記表示制御手段は、前記指定領域への前記電子ペンによる記入情報を受信した場合に、前記指定領域により指定された前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させる。この態様により、電子ペンシステムは、ユーザがシート上の指定領域を電子ペンでタップした場合に、タップされた指定領域が指定するスライドを表示することができる。
【００１１】
上記の電子ペンシステムの一態様では、前記指定領域は、前記被写体の画像が貼り付けられたスライドに付される各識別番号に対応する番号指定領域を有し、前記表示制御手段は、前記番号指定領域への前記電子ペンによる記入情報を受信した場合に、当該番号指定領域に対応する識別番号を有する前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させる。この態様により、ユーザは、生成した任意のスライドを容易にコンピュータ装置上に表示させることができる。
【００１２】
上記の電子ペンシステムの他の一態様では、前記表示制御手段は、前記電子ペンによる記入情報に基づく前記表示手段による表示の切り替えを禁止する旨の入力があった場合、前記指定領域への前記電子ペンによる記入情報を受信した場合であっても、前記表示手段による表示の切り替えを行わない。このようにすることで、電子ペンシステムは、複数人が電子ペン及びシートを使用する場合などに、表示が頻繁に切り替わるのを抑制することができる。
【００１３】
上記の電子ペンシステムの他の一態様では、前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付ける。この態様により、コンピュータ装置は、書画カメラが撮像した画像を適切な向きでスライドに貼り付けて表示することができる。
【００１４】
上記の電子ペンシステムの他の一態様では、前記記入情報には筆圧の情報が含まれ、前記表示制御手段は、筆圧が０である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させる。これにより、電子ペンシステムは、電子ペンによりシート上に書き込もうとするユーザに対し、電子ペンのペン先の位置を容易に把握させることができ、好適に書込みを補助することができる。
【００１５】
上記の電子ペンシステムの他の一態様では、前記表示制御手段は、前記カーソルを前記表示手段に表示中に記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、前記カーソルの表示を継続する。この態様により、電子ペンシステムは、カーソルの表示及び非表示が頻繁に切り替わるのを抑制することができる。
【００１６】
上記の電子ペンシステムの他の一態様では、前記シートは、前記被写体の画像上に再現する手書きストロークを記入するための矩形の描画領域を有し、前記描画領域には、縦方向に延在する中心線又は／及び横方向に延在する中心線が設けられる。この態様により、ユーザは、電子ペンによりシート上に書き込む際に、これらの中心線を目安に書込みを行うことができる。
【００１７】
上記の電子ペンシステムの他の一態様では、前記書画カメラは、当該書画カメラが撮像した画像又は前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタに付属し、撮像面を下向きにして前記被写体が載置される筐体と、前記筐体の内部から前記被写体の撮像面を撮像する撮像手段とを備える。このように、電子ペンシステムは、被写体を下向きにして撮像を行う書画カメラを備え、被写体に対してユーザが直接書き込めない態様であっても、好適に、シート上に電子ペンにより記入されたストロークを撮像した画像に重畳させて表示させることができる。
【００１８】
上記の電子ペンシステムの他の一態様では、前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタをさらに備え、前記書画カメラは、撮像面を上向きにして前記被写体が載置される筐体と、前記筐体の上から俯瞰して前記被写体の撮像面を撮像する撮像手段とを備える。このように、電子ペンシステムは、被写体を上向きにして撮像を行う書画カメラを備える場合であっても、好適に、シート上に電子ペンにより記入されたストロークを撮像した画像に重畳させて表示させることができる。
【００１９】
本発明に係る電子ペンシステムの別の態様では、コード化パターンが印刷されており、スライドを指定するための指定領域と、手書ストロークを描くためのストローク描画用領域とを有するシートと、コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラと、前記電子ペンから前記記入情報を受信するコンピュータ装置とを備える電子ペンシステムであって、前記コンピュータ装置は、前記書画カメラから前記画像データを受信する画像データ受信手段と、前記画像データ受信手段が受信した複数の前記画像データに基づいて前記被写体画像の各々をスライドにしたファイルを生成する画像データ処理手段と、前記指定領域への前記電子ペンによる記入情報を受信した場合には、前記指定領域により指定されたスライドを前記表示手段に表示させ、前記ストローク描画用領域への前記電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる表示制御手段とを備える。
【００２０】
この態様により、コンピュータ装置は、書画カメラから画像データを受信し、受信した複数の画像データに基づいて被写体画像の各々をスライドにしたファイルを生成する。そして、コンピュータ装置は、記入情報を受信した場合には、シートの指定領域により指定されたスライドを表示し、ストローク描画用領域への電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる。これにより、コンピュータ装置は、書画カメラが撮像した画像データをそれぞれスライドとしたファイルを生成し、かつ、書画カメラで撮像して表示された画像上に電子ペンによる書込みをユーザに実行させることができる。
【００２１】
上記の電子ペンシステムの一態様では、前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付ける。この態様により、コンピュータ装置は、書画カメラが撮像した画像を適切な向きでスライドに貼り付けて表示することができる。
【００２２】
上記の電子ペンシステムの他の一態様では、前記記入情報には筆圧の情報が含まれ、前記表示制御手段は、筆圧が０である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させる。この態様により、電子ペンシステムは、電子ペンによりシート上に書き込もうとするユーザに対し、電子ペンのペン先の位置を容易に把握させることができ、好適に書込みを補助することができる。
【００２３】
本発明に係るプログラムは、上記電子ペンシステムにおけるコンピュータ装置として機能させる。
【００２４】
これらのプログラムをコンピュータ装置にインストールして機能させることで、本発明に係る電子ペンシステムを構成させることができる。
【発明の効果】
【００２５】
本発明によれば、書画カメラにセットされた被写体の画像を示す画像データをコンピュータ装置が受信し、コンピュータ装置は、受信した画像データに基づき被写体の画像を表示し、かつ、シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる。これにより、電子ペンシステムは、ユーザがシートへ電子ペンにより書込みを行った場合に、書画カメラにより撮像することで得られた画像上に電子ペンで記入されたストロークを再現して表示することができる。従って、ユーザは、書画カメラで撮像して表示された画像上に好適に書込みを行うことができる。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係る電子ペンシステムの構成を示す。
【図２】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図３】（ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。
【図４】電子ペンの構造を示す概略図である。
【図５】コンピュータ装置の機能ブロック図である。
【図６】操作シートの上面図を示す。
【図７】画像が横向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【図８】画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【図９】プレゼンテーション用紙の印刷処理の手順を示すフローチャートである。
【図１０】画像貼付スライドの生成処理の手順を示すフローチャートである。
【図１１】記入情報に基づく処理の手順を示すフローチャートである。
【図１２】変形例における操作シートの上面図を示す。
【図１３】変形例において、画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら、本発明を実施するのに好適な実施形態について説明する。
【００２８】
［電子ペンシステムの構成］
図１は、本実施形態に係る電子ペンシステムの構成を示す。図１に示すように、電子ペンシステムは、ユーザが使用する電子ペン１と、プレゼンテーション用アプリケーションのスライドとドットパターンとが重ねて印刷されたプレゼンテーション用紙２と、電子ペン１から記入情報等を受信して処理するコンピュータ装置３と、コンピュータ装置３と通信可能に接続された書画カメラ付きプロジェクタ４と、書画カメラ付きプロジェクタ４から映像（画像）が投影されるスクリーン５と、ドットパターンが印刷された操作シート６と、コンピュータ装置３からの印刷指示（出力命令）に従ってプレゼンテーション用紙２及び操作シート６を印刷するプリンター７とを備える。以下、これらの各構成要素について説明する。
【００２９】
（プレゼンテーション用紙）
まず、プレゼンテーション用紙（電子ペン用用紙）２について説明する。プレゼンテーション用紙２には、プレゼンテーション用アプリケーションのスライドが一枚ごとに印刷され、かつ、その略全面に後述する位置座標を示すドットパターン（コード化パターン）が重ねて印刷される。プレゼンテーション用紙２に印刷されるドットパターンは、プレゼンテーション用紙２ごとに異なる座標範囲を示す。ドットパターンは、電子ペン１により読み取ることができるように赤外線を吸収するカーボンを含んだインクにより印刷され、その他の文字や図などは、赤外線を吸収しないインキにより印刷される。プレゼンテーション用紙２の印刷処理については、［印刷処理］のセクションで詳しく説明する。
【００３０】
（書画カメラ付きプロジェクタ）
書画カメラ付きプロジェクタ４は、筐体上に載置された用紙（被写体）を撮像することで得られた画像をスクリーン５に投影する第１投影モードと、コンピュータ装置３から送信された画像信号に基づく画像をスクリーン５に投影する第２投影モードとを有する。具体的に、第１投影モードでは、書画カメラ付きプロジェクタ４は、筐体上に設けられた原稿用ガラスに撮像対象となる用紙（「撮像用紙」とも呼ぶ。）が撮像面を下向きにして載置された場合に、載置された撮像用紙を筐体内から撮像することで、撮像用紙の画像データを生成してスクリーン５に投影する。また、第２投影モードでは、書画カメラ付きプロジェクタ４は、Ｗｉ−Ｆｉ（登録商標）などで採用される無線通信プロトコルによりコンピュータ装置３と通信を行い、コンピュータ装置３から送信された画像信号に基づく画像をスクリーン５に投影する。なお、書画カメラ付きプロジェクタ４は、有線により接続されていてもよい。
【００３１】
また、書画カメラ付きプロジェクタ４は、第１投影モード時において、スクリーン５に投影された画像を９０度ずつ回転させるためのボタン（「画像回転ボタンＢｔ１」とも呼ぶ。）を備える。さらに、書画カメラ付きプロジェクタ４は、スクリーン５に投影された画像のデータ（ここではＪＰＥＧ形式とする）を生成し、コンピュータ装置３へ送信するためのボタン（「画像確定ボタンＢｔ２」とも呼ぶ。）を備える。後述するように、画像確定ボタンＢｔ２が押下された場合、書画カメラ付きプロジェクタ４は、画像データと共に、画像が縦向き（縦長）であるか横向き（横長）であるかを示すフラグ（「向き特定フラグＦｇ」とも呼ぶ。）をコンピュータ装置３へ送信する。なお、画像データの保存形式がＪＰＥＧの場合には、規格上、画像の向きに関する属性を画像データに組み込むことができるため、書画カメラ付きプロジェクタ４は、画像データに向き特定フラグＦｇの情報を組み込んで１つのファイルとしてコンピュータ装置３へ送信するとよい。画像回転ボタンＢｔ１及び画像確定ボタンＢｔ２の活用方法については、［スライド生成処理］のセクションで詳しく説明する。さらに、書画カメラ付きプロジェクタ４は、第１投影モードと第２投影モードとを切り替えるための切り替えボタン（「投影モード切替ボタンＢｔ３」とも呼ぶ。）を備える。
【００３２】
（ドットパターン）
続いて、プレゼンテーション用紙２や操作シート６に印刷されたアノト方式のドットパターン（コード化パターン）について図２及び図３を用いて説明する。図２は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、プレゼンテーション用紙２や操作シート６上の位置座標が決定されるよう構成されている。なお、プレゼンテーション用紙２同士又はプレゼンテーション用紙２と操作シート６とでは座標領域が重ならないようドットパターンが形成される。
【００３３】
図３（ａ）は、あるドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、プレゼンテーション用紙２や操作シート６上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがプレゼンテーション用紙２や操作シート６上のどの位置にあるのか）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮像する電子ペン１によって行われる。
【００３４】
（電子ペン）
次に、電子ペン１について図４を用いて説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、インクカートリッジ１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。インクカートリッジ１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３をプレゼンテーション用紙２や操作シート６上に当接させて、ストローク（手書きストローク）を記入する。ここで、電子ペン１のペン先部１０３がプレゼンテーション用紙２等に最初に接触することを「ペンダウン」と呼び、接触している（当接している）状態からペン先部１０３が離れることを「ペンアップ」と呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。
【００３５】
バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりプレゼンテーション用紙２等に文字やマークを書いたりタップしたりする際にペン先部１０３からインクカートリッジ１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。
【００３６】
ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、プレゼンテーション用紙２や操作シート６上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がプレゼンテーション用紙２や操作シート６に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６には、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、プレゼンテーション用紙２や操作シート６に文字や図面などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ１０８は、ドットパターンを認識することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
【００３７】
プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される画像データからドットパターンを読み取った場合、当該ドットパターンから、ユーザが記入するストローク（筆跡）のプレゼンテーション用紙２や操作シート６等におけるＸ、Ｙ座標（以後、単に「座標データ」または「座標情報」とも呼ぶ。）を連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ、Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際にその機能が発揮される。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ、Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、プレゼンテーション用紙２や操作シート６における６×６のドットパターンは、プレゼンテーション用紙２及び操作シート６内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がプレゼンテーション用紙２又は操作シート６のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。
【００３８】
メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤと、時刻情報（タイムスタンプ）と、筆圧データと、Ｘ、Ｙ座標データとを関連付けて、記入情報としてコンピュータ装置３へ送信する。この場合、通信ユニット１１１によるコンピュータ装置３への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。
【００３９】
ここで、プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データによらず、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を常時駆動させている。従って、電子ペン１のペン先１０３がドットパターンに近接して、プロセッサ１０８がＣＭＯＳカメラ１０６によって供給される画像データからドットパターンのＸ，Ｙ座標を演算できるようになると、プロセッサ１０８は、ペン先１０３がプレゼンテーション用紙２等に接触する前であっても、筆圧を０（ゼロ）とした記入情報を生成する。そして、プロセッサ１０８は、生成した記入情報を、通信ユニット１１１を介して、コンピュータ装置３へ送信する。
【００４０】
また、プロセッサ１０８は、ユーザが電子ペン１でプレゼンテーション用紙２等に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、圧力センサ１０７により検出されたペンダウン情報（以後、「ペンダウン情報ＰＤ」と呼ぶ。）と、後述する電子ペン１のペンＩＤとを関連付けて、記入情報として通信ユニット１１１によりコンピュータ装置３へ送信する。また、ユーザが１つのストロークを記入し終えて電子ペン１をプレゼンテーション用紙２や操作シート６から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、プロセッサ１０８は、圧力センサ１０７により検出されたペンアップ情報（以後、「ペンアップ情報ＰＵ」と呼ぶ。）とペンＩＤとを関連付けて、記入情報として通信ユニット１１１によりコンピュータ装置３へ送信する。
【００４１】
ここで、電子ペン１のペンダウンからペンアップまでの間に生成されてコンピュータ装置３に送信された１個又は複数個の座標属性情報は、コンピュータ装置３によりストローク情報として記憶される。換言すると、１つのストロークは、１個又は複数個のＸ、Ｙ座標（座標点）からなり、コンピュータ装置３は、ペンダウン情報ＰＤ及びペンアップ情報ＰＵによって、１つのストロークを構成する１個又は複数個の座標属性情報を認識する。
【００４２】
なお、電子ペン１は、インクカートリッジ１０４に代えて、インキが充填されていないペン部１０４を備えてもよい。この場合には、後述する操作シート６は、複数枚印刷される必要がない。
【００４３】
（コンピュータ装置）
次に、コンピュータ装置３について説明する。コンピュータ装置３は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等で構成される。なお、コンピュータ装置３は、ｉＰａｄ（登録商標）などのタブレットＰＣやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）、またはディスプレイを備えるＰＣ（パーソナルコンピュータ）等で構成されてもよい。
【００４４】
図５は、コンピュータ装置３の機能ブロック図である。コンピュータ装置３は、機能的には、マウスやキーボードといった入力手段３１、第１通信手段３２、記憶手段３３、処理手段３４、表示手段３６、インターフェース（Ｉ／Ｆ）３７、及び第２通信手段３８を備える。第１通信手段３２は、アンテナ受信回路等により構成され、電子ペン１から記入情報を受信し、受信した情報を処理手段３４に伝送する。表示手段３６は、ディスプレイ等によって構成され、処理手段３４によって指示された内容を表示する。インターフェース３７は、プレゼンテーション用紙２及び操作シート６の印刷指示信号をプリンター７へ送信する。第２通信手段３８は、処理手段３４の処理命令に基づき、表示手段３６に画像を表示するための画像信号を書画カメラ付きプロジェクタ４に送信し、表示手段３６の画像と同じ画像を同期して投影させたり、書画カメラ付きプロジェクタ４から画像データを受信したりする。
【００４５】
処理手段３４は、ＣＰＵ等のプロセッサによって構成され、コンピュータ装置３の全体の制御を行う。処理手段３４は、印刷指示手段３４０と、画像データ受信手段３４１と、画像データ処理手段３４２と、表示制御手段３４３とを備える。印刷指示手段３４０は、ドットパターン以外については、電子ペン１で読み取れないインク（ＣＭＹ：カーボンを含まない）で印刷する旨、及びドットパターンは電子ペン１で読み取り可能なカーボンを含むインク（Ｂｋ）で印刷する旨の印刷プロパティの設定を行う。なお、プリンター７が、カーボンを含まない黒色（「Ｋ」とする。）とカーボンを含む黒色（「Ｂｋ」とする。）とを区別して使用できる場合、印刷指示手段３４０は、ドットパターン以外をＣＭＹＫの４色のインクで印刷し、ドットパターンをカーボンを含む黒色のインキ（Ｂｋ）で印刷するようにしてもよい。また、印刷指示手段３４０は、プレゼンテーション用紙２を印刷する前に、印刷対象であるプレゼンテーション用アプリケーションのファイルを、所定の形式のファイル（「ＰＰＧファイル」と呼ぶ。）に変換する。具体的に、印刷指示手段３４０は、印刷対象であるプレゼンテーション用アプリケーションのファイルを所定の専用ビューアで表示できるように、当該ファイルの各スライドの画像データを生成し、生成した画像データから構成されるＰＰＧファイルを生成する。これにより、印刷指示手段３４０は、印刷対象の各スライドにドットパターンを割当て、当該各スライドと割当てたドットパターンとを重ねてプリンター７に印刷させることが可能となる。
【００４６】
処理手段３４の画像データ受信手段３４１は、書画カメラ付きプロジェクタ４から画像データ及び向き特定フラグＦｇを第２通信処理手段３８により受信する。また、処理手段３４の画像データ処理手段３４２は、この場合、ＰＰＧファイルのスライドを新たに生成し、向き特定フラグＦｇが示す向きに従って、受信した画像データが示す画像を新規スライドに貼り付ける。そして、画像データ処理手段３４２は、上述の画像が貼り付けられた新規スライド（「画像貼付スライド」とも呼ぶ。）をＰＰＧファイルとして記憶手段３３に記憶させる。画像貼付スライドは、本発明における「プレゼンテーション用アプリケーションのスライド」の一例である。画像データ処理手段３４２が行う具体的な処理については、［スライド生成処理］のセクションで詳しく説明する。
【００４７】
処理手段３４の表示制御手段３４３は、後述する操作シート６に対する電子ペン１の記入情報をコンピュータ装置３が受信した場合、専用ビューアにより表示中の画像貼付スライドに操作シート６への筆跡を再現したストロークを描画したり、専用ビューアにより表示させる画像貼付スライドを変更したりする。また、表示制御手段３４３は、プレゼンテーション用紙２への電子ペン１による記入情報をコンピュータ装置３が受信した場合、受信した記入情報に基づき、記入されたプレゼンテーション用紙２に印刷されたスライド（「既存スライド」とも呼ぶ。）を認識し、当該既存スライドを専用ビューアにより表示させる。この具体的な処理については、［記入情報に基づく処理］のセクションで詳しく説明する。
【００４８】
記憶手段３３は、ＲＯＭやＲＡＭといったメモリによって構成される。記憶手段３３は、処理手段３４の処理命令により、電子ペン１から受信した記入情報をペンＩＤ毎に記憶する。また、記憶手段３３は、プレゼンテーション用紙２の各々に対応するドットパターンが示す座標範囲、及び操作シート６の各領域に対応するドットパターンが示す座標範囲の情報（「座標定義情報」とも呼ぶ。）を記憶する。
【００４９】
さらに、記憶手段３３は、プレゼンテーション用紙２に印刷するプレゼンテーション用アプリケーションのファイル及び当該ファイルに基づき生成されたＰＰＧファイルを記憶する。また、記憶手段３３は、書画カメラ付きプロジェクタ４から受信した画像データ及び向き特定フラグＦｇを記憶し、さらに、当該画像データに基づき生成された画像貼付スライドを、他の画像貼付スライド又は／及び既存スライドと共にファイル化して記憶する。
【００５０】
（操作シート）
次に、操作シート６について説明する。図６は、操作シート６の上面図を示す。図６に示すように、操作シート６は、ストローク描画用領域６１と、ページ指定領域６２と、ストローク線色指定領域６３と、上方向表示マーク６４とを備える。ストローク描画用領域６１と、ページ指定領域６２と、ストローク線色指定領域６３とは、それぞれ異なる座標範囲のドットパターンが各領域の略全面に印刷されている。そして、コンピュータ装置３の記憶手段３３は、これらの各領域に重ねて印刷されたドットパターンが示す座標範囲の情報を座標定義情報として記憶している。なお、操作シート６が複数枚印刷される場合には、各操作シート６は、それぞれ同じ座標範囲を示すドットパターンが印刷されることが望ましい。
【００５１】
ストローク描画用領域６１は、コンピュータ装置３の表示制御手段３４３が専用ビューアにより画像貼付スライドを表示している際に、電子ペン１により記入がなされる領域である。電子ペン１により記入がなされた場合、コンピュータ装置３は、受信した記入情報に基づき筆跡を特定し、専用ビューアにより表示された画像貼付スライドに筆跡を再現したストロークを描画し、描画後の画像貼付スライドの情報を記憶手段３３に記憶させる。
【００５２】
また、ストローク描画用領域６１には、横方向に延在し、ストローク描画用領域６１の上下方向における中心を結んだ上下中心線６１０Ｘと、縦方向に延在し、ストローク描画用領域６１の左右方向における中心を結んだ左右中心線６１０Ｙとが印刷されている。上下中心線６１０Ｘ及び左右中心線６１０Ｙの用途については、図７及び図８の説明で後述する。
【００５３】
ページ指定領域６２は、専用ビューアにより表示させる画像貼付スライドをユーザに指定させるための領域である。ページ指定領域６２は、ページ番号指定領域６２Ａと、直前ページ指定領域６２Ｂと、次ページ指定領域６２Ｃと、前ページ指定領域６２Ｄとを備える。ページ番号指定領域６２Ａは、各画像貼付スライドに付された識別番号（単に「ページ番号Ｎｐ」とも呼ぶ。）に基づき、専用ビューアにより表示させる画像貼付スライドを指定するための領域である。ここで、「ページ番号Ｎｐ」は、生成順に各画像貼付スライドに「１」から付される通し番号である。そして、図６では、ページ番号指定領域６２Ａは、一例として、ページ番号Ｎｐが「１」から「２０」までの各画像貼付スライドを指定するための領域を有する。なお、画像貼付スライドが削除された場合、コンピュータ装置３は、削除された画像貼付スライドよりも大きいページ番号Ｎｐを有する画像貼付スライドのページ番号Ｎｐを繰り上げて欠番が生じないようにしてもよく、削除された画像貼付スライドのページ番号Ｎｐを欠番のままにしてもよい。
【００５４】
直前ページ指定領域６２Ｂは、専用ビューアにより現在表示中の画像貼付スライドの直前に表示されていた画像貼付スライドを専用ビューアにより表示させるための領域である。次ページ指定領域６２Ｃは、専用ビューアにより現在表示中の画像貼付スライドより一つ大きいページ番号Ｎｐを有する画像貼付スライドを専用ビューアにより表示させるための領域である。前ページ指定領域６２Ｄは、専用ビューアにより現在表示中の画像貼付スライドより一つ小さいページ番号Ｎｐを有する画像貼付スライドを専用ビューアにより表示させるための領域である。
【００５５】
ストローク線色指定領域６３は、専用ビューアに表示された画像貼付スライド上に描画されるストロークの線色を指定するための領域である。ここでは、ストローク線色指定領域６３は、「黒色」、「黄色」、「赤色」、「青色」に対応する各領域を有する。上方向表示マーク６４は、操作シート６の上方向を指定した矢印である。
【００５６】
ここで、ストローク描画用領域６１へ電子ペン１により記入された筆跡と、表示手段３６に表示された画像貼付スライドとの対応について図７及び図８を参照して説明する。
【００５７】
図７は、書画カメラ付きプロジェクタ４から送信された画像データが示す画像が横向き（横長）に貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域３６０とストローク描画用領域６１との対応を示す図である。
【００５８】
図７に示すように、専用ビューア表示領域３６０の全範囲に対して、ストローク描画用領域６１の全範囲が対応している。そして、ストローク描画用領域６１へ電子ペン１により記入されたストロークは、図７の破線で示す対応関係に基づき、専用ビューア表示領域３６０上に描画される。また、図７では、専用ビューア表示領域３６０は、貼り付けられた画像（「貼付画像」とも呼ぶ。）の表示領域（「貼付画像表示領域」とも呼ぶ。）と一致し、貼付画像がその全面に表示される。従って、ストローク描画用領域６１へ電子ペン１により記入されたストロークは、専用ビューア表示領域３６０に表示された貼付画像に重畳して表示される。
【００５９】
図８は、貼付画像が縦向きである画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域３６０と、ストローク描画用領域６１との対応を示す図である。図８において、貼付画像表示領域３６１は、専用ビューア表示領域３６０中の二点鎖線により挟まれた領域を指すものとし、貼付画像描画用領域６２０は、ストローク描画用領域６１中の二点鎖線により挟まれた領域であって、貼付画像表示領域３６１に表示された貼付画像に重畳させて描くストロークを記入するための領域を示す。
【００６０】
図８に示すように、貼付画像が縦長に配置された画像貼付スライドを専用ビューアにより表示した場合であっても、図７と同様に、専用ビューア表示領域３６０の全範囲に対して、ストローク描画用領域６１の全範囲が対応している。そして、ストローク描画用領域６１へ電子ペン１により記入されたストロークは、図８の破線で示す対応関係に基づき、専用ビューア表示領域３６０上に描画される。
【００６１】
専用ビューア表示領域３６０では、縦長に配置された貼付画像が表示される貼付画像表示領域３６１は、専用ビューア表示領域３６０と上下の端を一致させた状態で専用ビューア表示領域３６０の左右方向における中央に表示される。そして、貼付画像描画用領域６２０上に電子ペン１により記入されたストロークは、貼付画像表示領域３６１上に描画される。このとき、貼付画像描画用領域６２０の上下方向における中心線と一致した位置に上下中心線６１０Ｘが印刷されており、貼付画像描画用領域６２０の左右方向における中心線と一致した位置に左右中心線６１０Ｙが印刷されている。従って、記入者は、貼付画像が縦長に配置された画像貼付スライドが専用ビューアにより表示されていた場合であっても、上下中心線６１０Ｘ及び左右中心線６１０Ｙを目印として、比較的容易に記入すべき位置を把握することができる。
【００６２】
なお、ユーザは、ストローク描画用領域６１の貼付画像描画用領域６２０外の領域に電子ペン１により記入を行ってもよい。この場合には、貼付画像表示領域３６１の外であって、専用ビューア表示領域３６０内の対応する位置に記入情報に基づくストロークが描かれる。
【００６３】
［印刷処理］
次に、図９を参照し、プレゼンテーション用紙２の印刷処理について具体的に説明する。図９は、プレゼンテーション用紙２の印刷処理の手順を示すフローチャートである。なお、コンピュータ装置３は、ユーザの操作により、所定のプレゼン用アプリケーション（例えば、パワーポイント（登録商標）など）により、スライドで構成されるファイルを作成しているものとする。
【００６４】
まず、コンピュータ装置３の印刷指示手段３４０は、所定のプレゼンテーション用アプリケーションにより作成されたファイルの各スライドを、専用ビューアで表示できるように、各スライドについて画像データを作成し、ＰＰＧファイルとしてファイル化する（ステップＳ１０１）。次に、印刷指示手段３４０は、生成したＰＰＧファイルの各スライドに、それぞれ異なる座標範囲のドットパターンを割り当てる（ステップＳ１０２）。次に、印刷指示手段３４０は、ＰＰＧファイルの各スライドについて、それぞれ割り当てたドットパターンを重ねて印刷する旨の印刷指示信号を、インターフェース３７によりプリンター７へ送信する（ステップＳ１０３）。
【００６５】
プリンター７は、コンピュータ装置３から上述の印刷指示信号を受信すると、受信した印刷指示信号が示す印刷指示に従い、ＰＰＧファイルの各スライドについて、それぞれ割り当てたドットパターンを重ねて印刷する（ステップＳ２０１）。これにより、プレゼンテーション用紙２が印刷される。
【００６６】
［スライド生成処理］
次に、画像貼付スライドの生成処理について、図１０を参照して説明する。図１０は、画像貼付スライドの生成処理の手順を示すフローチャートである。
【００６７】
まず、書画カメラ付きプロジェクタ４は、投影モード切替ボタンＢｔ３により第１投影モードが指定されている場合、筺体上の所定位置に裏向きで載置された撮像用紙を筐体内部から撮像してスクリーン５に撮像用紙の画像を投影する。この時、書画カメラ付きプロジェクタ４は、画像回転ボタンＢｔ１が押下される度に、スクリーン５に投影された撮像用紙の画像を右又は左方向に９０度回転させてスクリーン５上に投影する（ステップＳ３０１）。これにより、スクリーン５に投影された画像が正しい向き（意図した向き）に表示されるように調整がなされる。
【００６８】
次に、画像確定ボタンＢｔ２が押下された場合、書画カメラ付きプロジェクタ４は、撮像した撮像用紙の画像データ（例えば、ＪＰＥＧ形式）を生成し、画像の向きを示す向き特定フラグＦｇと共に、コンピュータ装置３へ送信する（ステップＳ３０２）。このとき、書画カメラ付きプロジェクタ４は、例えば、画像回転ボタンＢｔ１が押下された回数から特定フラグＦｇを定める。具体的には、書画カメラ付きプロジェクタ４は、画像回転ボタンＢｔ１が押されていない初期状態で撮像用紙がスクリーン５上に横向きに投影される場合には、画像回転ボタンＢｔ１が偶数回（０回も含む）押下された場合には画像が横向きであることを示す向き特定フラグＦｇを生成し、画像回転ボタンＢｔ１が奇数回押下された場合には、画像が縦向きであることを示す特定フラグＦｇを生成する。
【００６９】
そして、書画カメラ付きプロジェクタ４から画像データ及び向き特定フラグＦｇをコンピュータ装置３が受信すると、画像データ受信手段３４１は、受信した画像データを向き特定フラグＦｇと共に所定のフォルダ（「画像データ格納フォルダ」とも呼ぶ。）に記憶する（ステップＳ４０１）。ここで、「画像データ格納フォルダ」は、例えばコンピュータ装置３のユーザが予め指定したフォルダであってもよく、ユーザの入力によらず予め定められたフォルダであってもよい。
【００７０】
画像データ処理手段３４２は、画像データ格納フォルダを常時監視し、画像データ受信手段３４１により新規の画像データが画像データ格納フォルダ内に記憶されたことを認識する（ステップＳ４０２）。そして、画像データ処理手段３４２は、専用ビューアによりＰＰＧファイルが開いている状態である場合には（ステップＳ４０３；Ｙｅｓ）、開いているＰＰＧファイルの新規スライドを生成し、当該新規スライドを最後尾のスライドとして追加すると共に、向き特定フラグＦｇが示す向きに応じて画像データが示す画像を新規スライドに貼り付ける（ステップＳ４０４）。言い換えると、この場合、画像データ処理手段３４２は、開いているＰＰＧファイルの最後のスライドの次に新規スライドを追加して当該新規スライドに画像を向き特定フラグＦｇに基づき貼り付ける。このように、画像データ処理手段３４２は、開いているＰＰＧファイルの既存スライドの次に画像貼付スライドを生成順に順次並べていく。また、画像データ処理手段３４２は、生成された画像貼付スライドに対して、ページ番号指定領域６２Ａに表示された番号に対応するページ番号Ｎｐを生成順に「１」から付す。そして、画像データ処理手段３４２は、既存スライドの情報に画像貼付スライドの情報が付加されたＰＰＧファイルを記憶手段３３に記憶させる（ステップＳ４０４）。
【００７１】
一方、専用ビューアによりＰＰＧファイルが開いていない状態の場合（ステップＳ４０３；Ｎｏ）、画像データ処理手段３４２は、表示手段３６に専用ビューアを表示させると共に新規スライドを生成し、向き特定フラグＦｇに応じて当該新規スライドに画像を貼り付け、ＰＰＧファイルとして記憶手段３３に記憶させる（ステップＳ４０５）。言い換えると、この場合、画像データ処理手段３４２は、画像貼付スライドを追加すべきＰＰＧファイルがないため、画像貼付スライドを生成した後、新規のＰＰＧファイルとして保存し、かつ、表示手段３６に画像貼付スライドを表示させる。また、画像データ処理手段３４２は、生成された画像貼付スライドに対して、ページ番号指定領域６２Ａに表示された番号に対応するページ番号Ｎｐを生成順に「１」から付す。
【００７２】
なお、ステップＳ４０４及びステップＳ４０５において、画像データ処理手段３４２は、画像貼付スライドを生成した後であっても、画像データ処理手段３４２は、貼付画像を９０度ずつ回転させる旨の入力を入力手段３１により検知した場合、貼付画像を回転させて向きを調整する。
【００７３】
［記入情報に基づく処理］
次に、電子ペン１から記入情報が送信された際にコンピュータ装置３が行う処理について図１１を用いて説明する。図１１は、記入情報を受信した際にコンピュータ装置３が行う処理手順を示すフローチャートである。
【００７４】
まず、ユーザが、プレゼンテーション用紙２又は操作シート６に対し、電子ペン１で文字の記入又はタップを行うと、電子ペン１は、ペンＩＤ及び座標属性情報を含む記入情報を生成し、コンピュータ装置３へ送信する。コンピュータ装置３では、第１通信手段３２が記入情報を受信すると、処理手段３４は、記憶手段３３に当該記入情報を記憶させる（ステップＳ５０１）。次に、処理手段３４の表示制御手段３４３は、座標定義情報を参照し、記入情報に含まれる座標情報が示す位置座標が、（ａ）プレゼンテーション用紙２に印刷された既存スライドに割当てられた座標範囲にあるか、又は、（ｂ）操作シート６のストローク描画用領域６１に割当てられた座標範囲にあるか、又は、（ｃ）操作シート６のページ指定領域６２に割当てられた座標範囲にあるか、又は、（ｄ）操作シート６のストローク線色指定領域６３に割当てた座標範囲にあるかを判定する（ステップＳ５０２）。
【００７５】
そして、記入情報が示す位置座標がプレゼンテーション用紙２に印刷された既存スライドに割当てられた座標範囲にある場合（ステップＳ５０２；（ａ））、表示制御手段３４３は、プレゼンテーション用紙２に記入がなされたと判断し、上述の座標範囲のドットパターンが割当てられた既存スライドを表示手段３６に表示させると共に、当該既存スライド上に記入情報に基づくストロークを描画し、ストロークが描画された後の既存スライドを上書き保存する（ステップＳ５０３）。
【００７６】
一方、記入情報が示す位置座標が操作シート６のストローク描画用領域６１に割当てられた座標範囲にある場合（ステップＳ５０２；（ｂ））、表示制御手段３４３は、さらに画像貼付スライドが専用ビューアにより表示されている状態であるか否か判定する（ステップＳ５０４）。そして、画像貼付スライドが専用ビューアにより表示されていない場合には（ステップＳ５０４；Ｎｏ）、表示制御手段３４３はフローチャートの処理を終了する。
【００７７】
一方、画像貼付スライドが表示中である場合（ステップＳ５０４；Ｙｅｓ）、表示制御手段３４３は、さらに、記入情報に含まれる筆圧データが「０」であるか否か判定し、筆圧データが「０」のときには、記入情報に含まれる座標情報が示す位置に十字状等のカーソル（マーク）を表示手段３６に表示させる（ステップＳ５０５）。即ち、この場合、表示制御手段３４３は、操作シート６と接触していないが、ドットパターンを読み取れる程度に電子ペン１が操作シート６と近接した状態（「ホバーリング状態」とも呼ぶ。）であると判断し、ペン先１０３の位置を記入者に視認させる。これにより、表示制御手段３４３は、これから電子ペン１により書き込もうとする位置を容易に記入者に把握させることができる。なお、表示制御手段３４３は、図８に示すように貼付画像が縦向きに配置された画像貼付スライドを表示している場合には、記入情報が貼付画像描画用領域６２０に割当てられたドットパターンの位置座標を示す場合にのみ、カーソルを表示手段３６に表示させてもよい。
【００７８】
一方、記入情報に含まれる筆圧データが「０」より大きい場合には、表示制御手段３４３は、電子ペン１が操作シート６上にペンダウンされて記入が行われていると判断し、受信した記入情報に基づくストロークを画像貼付スライド上に描画し、ストロークが描画された後の画像貼付スライドを上書き保存する（ステップＳ５０５）。
【００７９】
再びステップＳ５０２に戻り説明する。記入情報が示す位置座標が操作シート６のページ指定領域６２に割当てられた座標範囲にある場合（ステップＳ５０２；（ｃ））、表示制御手段３４３は、指定された画像貼付スライドへ表示を切り替える（ステップＳ５０６）。具体的には、ページ指定領域６２のページ番号指定領域６２Ａが電子ペン１によりタップされたと判断した場合、表示制御手段３４３は、当該ページ番号指定領域６２Ａに対応するページ番号Ｎｐが付された画像貼付スライドを専用ビューアにより表示させる。一方、ページ指定領域６２の直前ページ指定領域６２Ｂが電子ペン１によりタップされたと判断した場合、表示制御手段３４３は、専用ビューアにより現在表示中の画像貼付スライドの直前に表示されていた画像貼付スライドを専用ビューアにより表示させる。一方、ページ指定領域６２の次ページ指定領域６２Ｃが電子ペン１によりタップされたと判断した場合、表示制御手段３４３は、専用ビューアにより現在表示中の画像貼付スライドの次のページ番号Ｎｐを有する画像貼付スライドを専用ビューアにより表示させる。また、ページ指定領域６２の前ページ指定領域６２Ｄが電子ペン１によりタップされたと判断した場合、表示制御手段３４３は、専用ビューアにより現在表示中の画像貼付スライドの前のページ番号Ｎｐを有する画像貼付スライドを専用ビューアにより表示させる。
【００８０】
一方、記入情報が示す位置座標が操作シート６のストローク線色指定領域６３に割当てられた座標範囲にある場合（ステップＳ５０２；（ｄ））、表示制御手段３４３は、記入情報が示す位置座標に対応するストローク線色指定領域６３に対応付けられた線色を、画像貼付スライド上に描画する線色として設定する（ステップＳ５０７）。これにより、表示制御手段３４３は、以後にステップＳ５０３及びステップＳ５０５の処理を実行する際に、電子ペン１によりタップされたストローク線色指定領域６３に対応付けられた線色により、画像貼付スライド上にストロークを描画する。
【００８１】
［本実施形態による作用効果］
本実施形態の電子ペンシステムによれば、書画カメラ付きプロジェクタ４により撮像された画像のデータをコンピュータ装置３が受信し、コンピュータ装置３は、受信した画像データに基づき画像貼付スライドを生成して表示し、かつ、操作シート６への電子ペン１による記入情報に基づき再現した手書きストロークを画像貼付スライド上に描画させる。これにより、電子ペンシステムは、ユーザが操作シート６へ電子ペン１により書込みを行った場合に、書画カメラ付きプロジェクタ４により撮像することで得られた画像上に電子ペン１で記入されたストロークを再現して表示することができる。特に、書画カメラ付きプロジェクタ４は、撮像面を下向きにして撮像用紙が載置されるため、ユーザは、撮像用紙の撮像面に対して直接ペンにより書き込みを行うことができない。これに対し、本実施形態によれば、ユーザは、書画カメラ付きプロジェクタ４で撮像して表示された画像上に好適に書込みを行うことができる。また、書画カメラ付きプロジェクタ４による画像の読み取りから画像貼付スライドの生成まで自動で行われるため、ユーザによる操作の煩雑さもない。
【００８２】
また、コンピュータ装置３は、画像貼付スライドの生成時に、表示手段３６によりＰＰＧファイルのスライドが表示されていた場合には、生成した画像貼付スライドを当該ＰＰＧファイルのスライドとして追加する。これにより、コンピュータ装置３は、好適に、既存のＰＰＧファイルに、書画カメラ付きプロジェクタ４により撮像された画像を貼り付けた画像貼付スライドを追加することができる。
【００８３】
さらに、操作シート６は、表示させる画像貼付スライドを指定するためのページ指定領域６２を有し、コンピュータ装置３は、ページ指定領域６２への電子ペン１による記入情報を受信した場合に、当該ページ指定領域６２が指定する画像貼付スライドを専用ビューアにより表示させる。これにより、電子ペンシステムは、ユーザが操作シート６上のページ指定領域６２を電子ペン１でタップした場合に、タップされたページ指定領域６２に対応する画像貼付スライドを表示することができる。
【００８４】
書画カメラ付きプロジェクタ４は、生成した画像データと共に向き特定フラグＦｇをコンピュータ装置３に送信し、コンピュータ装置３は、向き特定フラグＦｇに基づき、新規スライドに受信した画像データが示す画像を貼り付ける。これにより、コンピュータ装置３は、画像を適切な向きで貼り付けた画像貼付スライドを生成することができる。
【００８５】
さらに、コンピュータ装置３は、操作シート６のストローク描画用領域６１への電子ペン１による記入情報が筆圧「０」を示す場合には、当該記入情報に基づき電子ペン１のペン先部１０３の位置を示すカーソルを表示手段３６に表示させる。これにより、電子ペンシステムは、電子ペン１によりストローク描画用領域６１上に書き込もうとするユーザに対し、電子ペン１のペン先部１０３の位置を容易に把握させることができ、好適に書込みを補助することができる。
【００８６】
さらに、操作シート６のストローク描画用領域６１には、横方向に延在する上下中心線６１０Ｘと縦方向に延在する左右中心線６１０Ｙとが設けられている。これにより、ユーザは、電子ペン１により操作シート６上に書き込む際に、これらを目安に書込みを行うことができる。
【００８７】
［変形例］
次に、本実施形態の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。
【００８８】
（変形例１）
図１１のステップＳ５０５の処理に加え、表示制御手段３４３は、ホバーリング状態の場合に記入情報に基づき画像貼付スライドにカーソルを表示させた後、記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、カーソルの表示を継続してもよい。言い換えると、カーソルの表示後にドットパターンを読み取れない位置まで電子ペン１が操作シート６から離れた場合、表示制御手段３４３は、電子ペン１から最後に受信した記入情報が示す位置にカーソルを継続して表示し、所定時間幅以上電子ペン１から記入情報を受信しない状態が続いたときに、カーソルを非表示にする。また、表示制御手段３４３は、カーソルの表示後に記入情報を受信しなくなった後、所定時間幅経過前に記入情報を再び受信した場合には、当該記入情報に基づきカーソルの表示を更新したり、カーソルを非表示にしてストロークを描画したりする。これにより、表示制御手段３４３は、電子ペン１がホバーリング状態である場合に、電子ペン１を把持する手の微細な動きに反応してカーソルの表示及び非表示が頻繁に切り替わるのを抑制することができる。
【００８９】
（変形例２）
コンピュータ装置３は、記入情報に基づく表示画面の切り替えを停止するモードを選択する入力を検知した場合には、図１１のステップＳ５０３及びステップＳ５０６において、表示手段３６による表示を切り替えない。即ち、上述のモードがユーザにより選択された場合には、コンピュータ装置３の表示制御手段３４３は、プレゼンテーション用紙２や操作シート６に対する記入情報を電子ペン１から受信した場合であっても、表示手段３６による表示を切り替えない。そして、上述のモードでは、表示制御手段３４３は、コンピュータ装置３のキーボードやマウスなどの入力手段３１から表示を切り替える旨の入力があった場合に、表示手段３６による表示を切り替える。
【００９０】
このようにすることで、電子ペン１が複数存在し、これらの電子ペン１によりプレゼンテーション用紙２や操作シート６へ同時に記入又はタップされる可能性がある場合に、コンピュータ装置３は、頻繁に表示手段３６による表示が切り替わるのを抑制することができる。
【００９１】
（変形例３）
図１０のステップＳ４０２では、コンピュータ装置３は、画像データ格納フォルダを常に監視し、新規の画像データが格納されたか判定した。これに代えて、コンピュータ装置３は、ユーザの入力手段３１による入力に基づき、画像データ格納フォルダの監視のオン及びオフを切り替えてもよい。そして、画像データ格納フォルダの監視がオフの場合には、コンピュータ装置３は、ステップＳ４０２〜ステップＳ４０５の処理を行うことなくフローチャートの処理を終了する。これにより、コンピュータ装置３は、ユーザの意に反して画像貼付スライドを生成するのを抑制することができる。
【００９２】
（変形例４）
図１０のステップＳ４０４、Ｓ４０５では、コンピュータ装置３は、画像貼付スライドを生成する枚数の上限値を設定してもよい。この場合の上限値は、例えばページ番号指定領域６２Ａで指定可能なスライドの数（図６では２０）に設定される。そして、コンピュータ装置３は、ステップＳ４０４又はステップＳ４０５で既に画像貼付スライドの生成枚数が上限値に達していると判断した場合には、その旨の警告を音声又は表示により出力し、画像貼付スライドを生成しない。
【００９３】
（変形例５）
書画カメラ付きプロジェクタ４に代えて、電子ペンシステムは、書画カメラとプロジェクタとが別体のものを備えてもよい。この場合、書画カメラ及びプロジェクタはいずれもコンピュータ装置３と接続し、書画カメラは、所定の位置に載置された用紙を撮像することにより生成した画像データをコンピュータ装置へ送信し、プロジェクタは、コンピュータ装置から受信した画像信号に基づく画像をスクリーン５に投影する。また、コンピュータ装置は、入力手段３１による入力に基づき、書画カメラから送信された画像データの信号又は表示手段３６による表示画面と同じ画像を表示するための画像信号のいずれかをプロジェクタに送信する。この態様であっても、好適に、電子ペンシステムは、書画カメラ付きプロジェクタ４が実行した第１投影モードと第２投影モードに相当する処理を実行することができる。
【００９４】
また、書画カメラ付きプロジェクタ４又は上述の書画カメラは、筐体上に裏向きにセットされた撮像用紙を筐体内部から撮像する構成に代えて、筐体上に表向きにセットされた撮像用紙を俯瞰する位置に固定された撮像素子により撮像用紙の撮像を行う構成であってもよい。
【００９５】
（変形例６）
画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域３６０と、ストローク描画用領域６１との対応は、図８に示すものに限定されない。
【００９６】
図１２は、変形例における操作シート６Ａの上面図を示し、図１３は、変形例において、画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域３６０と、ストローク描画用領域６１との対応を示す。
【００９７】
図１２に示すように、操作シート６Ａは、画像が横向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合の操作シート６Ａの上方向を示す第１上方向表示マーク６４Ｘと、画像が縦向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合の操作シート６Ａの上方向を示す第２上方向表示マーク６４Ｙとを備える。
【００９８】
そして、図１３に示すように、画像が縦向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合には、操作シート６Ａは第２上方向表示マーク６４Ｙが示す方向を上にして使用される。そして、この場合、ストローク描画用領域６１の全領域は、貼付画像上にストロークを描画するための貼付画像描画用領域６２０に設定される。そして、ストローク描画用領域６１に記入されたストロークは、貼付画像表示領域３６１上に描かれる。この態様によれば、コンピュータ装置３は、画像が縦向きに貼り付けられた画像貼付スライド上に記入者がストロークを描画したい場合に、ストローク描画用領域６１の全領域を使用させてストロークを描きやすくすることができる。
【００９９】
（変形例７）
図１０のステップＳ４０４において、画像データ処理手段３４２は、生成した画像貼付スライドを最後尾に挿入したが、これに代えて、専用ビューアにより表示中のスライドの次の位置に、生成した画像貼付スライドを挿入してもよい。この場合、各画像貼付スライドに付されるページ番号Ｎｐは、本実施形態と同様、生成された順序に従い画像貼付スライドに「１」から順に付されてもよく、本実施形態に代えて、ＰＰＧファイルにおけるスライドの並び順に従い画像貼付スライドに「１」から順に付されてもよい。
【０１００】
（変形例８）
コンピュータ装置３は、図１０のステップＳ４０２において画像データ格納フォルダを監視することなく、ステップＳ４０１で受信した画像データを画像データ格納フォルダ内に記憶した後、直ちにステップＳ４０３以降の処理を行ってもよい。
【０１０１】
（変形例９）
スクリーン５は、ドットパターンが付されたスクリーン（ドットスクリーン）であってもよい。この場合、ドットパターンは、操作シート６やプレゼンテーション用紙２に用いられるドットパターンとは異なる座標範囲のものを使用する。ドットスクリーンは、白地の樹脂基板に、電子ペン１により読み取ることができるよう赤外線を吸収するカーボンを含んだインクによりドットパターン（コード化パターン）が印刷され、さらにドットパターンが例えば透明なＥＢ硬化樹脂層などで保護された層構成を有している。
【０１０２】
そして、処理手段３４は、キャリブレーション用マークを少なくとも２以上、表示手段３６に表示させることにより、書画カメラ付きプロジェクタ４に対し、ドットスクリーン５にもキャリブレーション用マークを投影させ、キャリブレーション用マークが投影された位置のドットパターンを電子ペン１に読み取らせて記入情報を受信することで、ドットスクリーン５のドットパターンにかかる座標系を表示手段３６のディスプレイにかかる座標系に変換するための座標変換関数を求める（キャリブレーション処理機能）。さらに、処理手段３４は、そのキャリブレーション処理により求められた座標変換関数を用いて、ドットスクリーン５のドットパターンにかかる座標系のデータを受信したときに、表示手段３６のディスプレイにかかる座標系のデータに変換し、ストロークを描画したり、所定の処理を行ったりする。
【０１０３】
（変形例１０）
書画カメラ付きプロジェクタ４は、画像が縦向き（縦長）であるか横向き（横長）であるかを示す情報を向き特定フラグＦｇとしてコンピュータ装置３へ送信したが、向き特定フラグＦｇとして送信する情報は、これに限定されない。これに代えて、書画カメラ付きプロジェクタ４は、画像回転ボタンＢｔ１が押下された回数、又は、画像の標準の向きから右回り又は左回りに回転させた角度の情報を、向き特定フラグＦｇとしてコンピュータ装置３へ送信してもよい。この態様によっても、コンピュータ装置３は、向き特定フラグＦｇに基づき、新規スライドに撮像用紙の画像を適切な向きに貼り付けた画像貼付スライドを生成することができる。
【０１０４】
（変形例１１）
図１０に示すステップ４０４．４０５においては、画像データ処理手段３４２は、フォルダに記憶された画像を新規スライドに貼り付けてＰＰＧファイルを更新していたが、新規スライドを生成せずに画像だけでスライドを構成させてもよい。
【０１０５】
（変形例１２）
上記実施形態において、電子ペン、ドットパターン（コード化パターン）、記入情報に、アノト方式を用いたが、アノト方式に限られなくともよい。
【符号の説明】
【０１０６】
１…電子ペン
２…プレゼンテーション用紙
３…コンピュータ装置
４…書画カメラ付きプロジェクタ
５…スクリーン
６…操作シート
７…プリンター
【特許請求の範囲】
【請求項１】
コード化パターンが印刷されたシートと、
コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、
被写体を撮像して画像データを生成する書画カメラと、
前記電子ペンから前記記入情報を受信するコンピュータ装置と
を備える電子ペンシステムであって、
前記コンピュータ装置は、
前記書画カメラから前記画像データを受信する画像データ受信手段と、
前記画像データ受信手段が受信した画像データに基づき前記被写体の画像を表示手段に表示させると共に、前記シートへの前記電子ペンによる記入情報に基づき再現した手書きストロークを前記被写体の画像上に描画させる表示制御手段と
を備えることを特徴とする電子ペンシステム。
【請求項２】
前記コンピュータ装置は、
前記被写体の画像が貼り付けられたプレゼンテーション用アプリケーションのスライドを生成してファイル化する画像データ処理手段をさらに備えることを特徴とする請求項１に記載の電子ペンシステム。
【請求項３】
前記画像データ処理手段は、
前記表示手段によりプレゼンテーション用アプリケーションのスライドが表示されていた場合には、当該スライドのファイルに前記被写体の画像が貼り付けられたスライドの情報を追加することを特徴とする請求項２に記載の電子ペンシステム。
【請求項４】
前記画像データ受信手段は、前記書画カメラから複数の画像データを受信し、
前記画像データ処理手段は、前記複数の画像データに基づく前記被写体の画像の各々が貼り付けられたプレゼンテーション用アプリケーションのスライドをそれぞれ生成し、
前記シートは、前記表示手段に表示させる前記被写体の画像が貼り付けられたスライドを指定するための指定領域を有し、
前記表示制御手段は、前記指定領域への前記電子ペンによる記入情報を受信した場合に、前記指定領域により指定された前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させることを特徴とする請求項２または３に記載の電子ペンシステム。
【請求項５】
前記指定領域は、前記被写体の画像が貼り付けられたスライドに付される各識別番号に対応する番号指定領域を有し、
前記表示制御手段は、前記番号指定領域への前記電子ペンによる記入情報を受信した場合に、当該番号指定領域に対応する識別番号を有する前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させることを特徴とする請求項４に記載の電子ペンシステム。
【請求項６】
前記表示制御手段は、前記電子ペンによる記入情報に基づく前記表示手段による表示の切り替えを禁止する旨の入力があった場合、前記指定領域への前記電子ペンによる記入情報を受信した場合であっても、前記表示手段による表示の切り替えを行わないことを特徴とする請求項４または５に記載の電子ペンシステム。
【請求項７】
前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、
前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付けることを特徴とする請求項２乃至６のいずれか一項に記載の電子ペンシステム。
【請求項８】
前記記入情報には筆圧の情報が含まれ、
前記表示制御手段は、
筆圧が０である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させることを特徴とする請求項１乃至７のいずれか一項に記載の電子ペンシステム。
【請求項９】
前記表示制御手段は、
前記カーソルを前記表示手段に表示中に記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、前記カーソルの表示を継続することを特徴とする請求項８に記載の電子ペンシステム。
【請求項１０】
前記シートは、前記被写体の画像上に再現する手書きストロークを記入するための矩形の描画領域を有し、
前記描画領域には、縦方向に延在する中心線又は／及び横方向に延在する中心線が設けられることを特徴とする請求項１乃至９のいずれか一項に記載の電子ペンシステム。
【請求項１１】
前記書画カメラは、
当該書画カメラが撮像した画像又は前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタに付属し、
撮像面を下向きにして前記被写体が載置される筐体と、
前記筐体の内部から前記被写体の撮像面を撮像する撮像手段とを備える
ことを特徴とする請求項１乃至１０のいずれか一項に記載の電子ペンシステム。
【請求項１２】
前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタをさらに備え、
前記書画カメラは、撮像面を上向きにして前記被写体が載置される筐体と、
前記筐体の上から俯瞰して前記被写体の撮像面を撮像する撮像手段とを備えることを特徴とする請求項１乃至１１のいずれか一項に記載の電子ペンシステム。
【請求項１３】
コード化パターンが印刷されており、スライドを指定するための指定領域と、手書ストロークを描くためのストローク描画用領域とを有するシートと、
コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、
被写体を撮像して画像データを生成する書画カメラと、
前記電子ペンから前記記入情報を受信するコンピュータ装置と
を備える電子ペンシステムであって、
前記コンピュータ装置は、
前記書画カメラから前記画像データを受信する画像データ受信手段と、
前記画像データ受信手段が受信した複数の前記画像データに基づいて前記被写体画像の各々をスライドにしたファイルを生成する画像データ処理手段と、
前記指定領域への前記電子ペンによる記入情報を受信した場合には、前記指定領域により指定されたスライドを前記表示手段に表示させ、前記ストローク描画用領域への前記電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる表示制御手段と
を備えることを特徴とする電子ペンシステム。
【請求項１４】
前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、
前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付けることを特徴とする請求項１３に記載の電子ペンシステム。
【請求項１５】
前記記入情報には筆圧の情報が含まれ、
前記表示制御手段は、
筆圧が０である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させることを特徴とする請求項１３または１４に記載の電子ペンシステム。
【請求項１６】
請求項１〜１５のうちいずれか一項に記載の電子ペンシステムにおけるコンピュータ装置として機能させることを特徴とするプログラム。
【請求項１】
コード化パターンが印刷されたシートと、
コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、
被写体を撮像して画像データを生成する書画カメラと、
前記電子ペンから前記記入情報を受信するコンピュータ装置と
を備える電子ペンシステムであって、
前記コンピュータ装置は、
前記書画カメラから前記画像データを受信する画像データ受信手段と、
前記画像データ受信手段が受信した画像データに基づき前記被写体の画像を表示手段に表示させると共に、前記シートへの前記電子ペンによる記入情報に基づき再現した手書きストロークを前記被写体の画像上に描画させる表示制御手段と
を備えることを特徴とする電子ペンシステム。
【請求項２】
前記コンピュータ装置は、
前記被写体の画像が貼り付けられたプレゼンテーション用アプリケーションのスライドを生成してファイル化する画像データ処理手段をさらに備えることを特徴とする請求項１に記載の電子ペンシステム。
【請求項３】
前記画像データ処理手段は、
前記表示手段によりプレゼンテーション用アプリケーションのスライドが表示されていた場合には、当該スライドのファイルに前記被写体の画像が貼り付けられたスライドの情報を追加することを特徴とする請求項２に記載の電子ペンシステム。
【請求項４】
前記画像データ受信手段は、前記書画カメラから複数の画像データを受信し、
前記画像データ処理手段は、前記複数の画像データに基づく前記被写体の画像の各々が貼り付けられたプレゼンテーション用アプリケーションのスライドをそれぞれ生成し、
前記シートは、前記表示手段に表示させる前記被写体の画像が貼り付けられたスライドを指定するための指定領域を有し、
前記表示制御手段は、前記指定領域への前記電子ペンによる記入情報を受信した場合に、前記指定領域により指定された前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させることを特徴とする請求項２または３に記載の電子ペンシステム。
【請求項５】
前記指定領域は、前記被写体の画像が貼り付けられたスライドに付される各識別番号に対応する番号指定領域を有し、
前記表示制御手段は、前記番号指定領域への前記電子ペンによる記入情報を受信した場合に、当該番号指定領域に対応する識別番号を有する前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させることを特徴とする請求項４に記載の電子ペンシステム。
【請求項６】
前記表示制御手段は、前記電子ペンによる記入情報に基づく前記表示手段による表示の切り替えを禁止する旨の入力があった場合、前記指定領域への前記電子ペンによる記入情報を受信した場合であっても、前記表示手段による表示の切り替えを行わないことを特徴とする請求項４または５に記載の電子ペンシステム。
【請求項７】
前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、
前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付けることを特徴とする請求項２乃至６のいずれか一項に記載の電子ペンシステム。
【請求項８】
前記記入情報には筆圧の情報が含まれ、
前記表示制御手段は、
筆圧が０である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させることを特徴とする請求項１乃至７のいずれか一項に記載の電子ペンシステム。
【請求項９】
前記表示制御手段は、
前記カーソルを前記表示手段に表示中に記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、前記カーソルの表示を継続することを特徴とする請求項８に記載の電子ペンシステム。
【請求項１０】
前記シートは、前記被写体の画像上に再現する手書きストロークを記入するための矩形の描画領域を有し、
前記描画領域には、縦方向に延在する中心線又は／及び横方向に延在する中心線が設けられることを特徴とする請求項１乃至９のいずれか一項に記載の電子ペンシステム。
【請求項１１】
前記書画カメラは、
当該書画カメラが撮像した画像又は前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタに付属し、
撮像面を下向きにして前記被写体が載置される筐体と、
前記筐体の内部から前記被写体の撮像面を撮像する撮像手段とを備える
ことを特徴とする請求項１乃至１０のいずれか一項に記載の電子ペンシステム。
【請求項１２】
前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタをさらに備え、
前記書画カメラは、撮像面を上向きにして前記被写体が載置される筐体と、
前記筐体の上から俯瞰して前記被写体の撮像面を撮像する撮像手段とを備えることを特徴とする請求項１乃至１１のいずれか一項に記載の電子ペンシステム。
【請求項１３】
コード化パターンが印刷されており、スライドを指定するための指定領域と、手書ストロークを描くためのストローク描画用領域とを有するシートと、
コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、
被写体を撮像して画像データを生成する書画カメラと、
前記電子ペンから前記記入情報を受信するコンピュータ装置と
を備える電子ペンシステムであって、
前記コンピュータ装置は、
前記書画カメラから前記画像データを受信する画像データ受信手段と、
前記画像データ受信手段が受信した複数の前記画像データに基づいて前記被写体画像の各々をスライドにしたファイルを生成する画像データ処理手段と、
前記指定領域への前記電子ペンによる記入情報を受信した場合には、前記指定領域により指定されたスライドを前記表示手段に表示させ、前記ストローク描画用領域への前記電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる表示制御手段と
を備えることを特徴とする電子ペンシステム。
【請求項１４】
前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、
前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付けることを特徴とする請求項１３に記載の電子ペンシステム。
【請求項１５】
前記記入情報には筆圧の情報が含まれ、
前記表示制御手段は、
筆圧が０である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させることを特徴とする請求項１３または１４に記載の電子ペンシステム。
【請求項１６】
請求項１〜１５のうちいずれか一項に記載の電子ペンシステムにおけるコンピュータ装置として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−８４１４６（Ｐ２０１３−８４１４６Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２４０３９（Ｐ２０１１−２２４０３９）
【出願日】平成２３年１０月１１日（２０１１．１０．１１）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１１日（２０１１．１０．１１）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]