投影型入出力システム及びそのプログラム
【課題】スクリーンの位置座標と、コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせ処理を必要に応じて行う投影型入出力システム及びそのプログラムを提供する。
【解決手段】投影型入出力システム10は、電子ペン1、コンピュータ装置2、プロジェクター3、及びスクリーン4から構成される。コンピュータ装置2は、位置合わせ(キャリブレーション)の処理によって規定されたスクリーン4上の範囲から外れた領域におけるコード化パターンに関する情報を受信すると、位置合わせ処理を行うかどうかの選択画面を表示させ、ユーザの選択により、位置合わせ処理を開始する。
【解決手段】投影型入出力システム10は、電子ペン1、コンピュータ装置2、プロジェクター3、及びスクリーン4から構成される。コンピュータ装置2は、位置合わせ(キャリブレーション)の処理によって規定されたスクリーン4上の範囲から外れた領域におけるコード化パターンに関する情報を受信すると、位置合わせ処理を行うかどうかの選択画面を表示させ、ユーザの選択により、位置合わせ処理を開始する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スクリーン、電子ペン、コンピュータ装置、及びプロジェクターを備える投影型入出力システムに関し、特に、スクリーンの位置座標とコンピュータ装置の表示画面の位置座標との位置合わせ(キャリブレーション)処理を実行する処理に関する。
【背景技術】
【0002】
近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto 社が開発した「アノトペン(Anoto pen)」が知られている。アノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像などの記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される(例えば、特許文献1参照)。
【0003】
また、このような電子ペンと、コンピュータ、プロジェクター及びスクリーンを用いて、スクリーンに電子ペンで記入ないし走査すると、それに応じてコンピュータが所定の処理を行うとともに、コンピュータの表示画面をプロジェクターでスクリーンに投影するシステムが提案されている(例えば、特許文献2〜5)。電子ペンは、スクリーンに形成されたドットパターンを読み取り、コンピュータは、電子ペンから送信された情報に基づき、その位置座標を解析して、その位置座標に応じた処理を行うというものであり、これにより、インクのない電子ペンであっても、スクリーン上を電子ペンでなぞれば、その筆跡に応じて、プロジェクターから線が描画された画像を投影したり、画像の制御やソフトウェアを操作したりできるとされている。
【0004】
また、ホワイトボードにパソコンの画面がプロジェクターによって投影され、ホワイトボードにマーカーで記入した座標を座標読取装置で超音波又は赤外線により読み取ってパソコンに送信することで、パソコンの画面上でクリックなどをすることができるシステムにおいて、最初にキャリブレーション用のポイントをプロジェクターにより投影し、マーカでポイントを指示させることで、ホワイトボードの座標とパソコン画面の座標とをキャリブレーションすることも提案されている(特許文献6)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表2003−511761号公報
【特許文献2】特開2008−152755号公報
【特許文献3】特開2002−149331号公報
【特許文献4】特開2008−154211号公報
【特許文献5】特表2003−508831号公報
【特許文献6】特開2007−233999号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、一旦、位置合わせ(キャリブレーション)処理が実行されたとしても、プロジェクターとスクリーンとの相対的な位置関係は、スクリーンへの電子ペンによる過度の押圧やプロジェクターを配置した台のズレなどによって、システムの使用中にずれてしまう場合がある。
【0007】
そこで、本発明は、スクリーンの位置座標と、コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせ(キャリブレーション)処理を必要に応じて行うことができる投影型入出力システム及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る投影型入出力システムは、位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える投影型入出力システムであって、
前記コンピュータ装置は、前記スクリーン上の位置座標と前記コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせの処理によって規定された範囲から外れた領域におけるコード化パターンに関する情報を受信すると、前記位置合わせの処理を開始することを特徴とする。
【0009】
この投影型入出力システムによれば、電子ペンによってスクリーンに形成されたコード化パターンを読み取ると、電子ペンは、コンピュータ装置へコード化パターンに関する情報を送信する。コンピュータ装置は、スクリーンに画像を投影するプロジェクターへ画像信号を送信するとともに、電子ペンからコード化パターンに関する情報を受信する。このような投影型入出力システムにおいて、コンピュータ装置が、電子ペンから、位置合わせ処理によって規定された範囲外の領域の情報を受信したとき、スクリーンとプロジェクターとの相対的な位置関係がずれている可能性があるため、位置合わせ処理を開始して実行することで、位置あわせすることができる。
【0010】
上記投影型入出力システムにおいて、前記コンピュータ装置は、前記位置合わせの処理を開始する前に、当該処理を行うか否かの選択を入力可能とするよう構成するとよい。この構成により、位置合わせの処理の必要性がある場合にその処理を行い、不要の場合はその処理を行わないように、ユーザが選択することができる。
【0011】
また、上記投影型入出力システムにおいて、前記コンピュータ装置は、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信して、所定時間経過後に、前記位置合わせの処理を開始するよう構成するとよい。この構成により、スクリーンとプロジェクターとの相対的な位置関係が相当程度ずれていて、ユーザが、位置合わせ処理の選択を行うことができなくとも、位置合わせ処理を開始させることができる。
【0012】
また、本発明に係るプログラムは、位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える投影型入出力システムにおける前記コンピュータ装置により実行されるプログラムであって、
前記コンピュータ装置に、前記スクリーン上の位置座標と前記コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせの処理が実行された状態において、前記電子ペンから、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信すると、前記位置合わせの処理を開始させることを特徴とする。
【0013】
上記プログラムにおいて、前記コンピュータ装置に、前記位置合わせの処理を開始する前に、当該処理を行うか否かの選択を入力可能とする構成とするとよい。
【0014】
さらに、上記プログラムにおいて、前記コンピュータ装置に、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信して、所定時間経過後に、前記位置合わせの処理を開始させるよう構成するとよい。
【0015】
上記プログラムをコンピュータ装置にインストールすることにより、上記のコンピュータ装置を実現し、投影型入出力システムを構成することができる。
【発明の効果】
【0016】
本発明によれば、スクリーンの位置座標と、コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせ(キャリブレーション)処理を必要に応じて行うことができる。
【図面の簡単な説明】
【0017】
【図1】第1実施形態における投影型入出力システムのシステム構成図である。
【図2】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図3】(a)は、ドットパターンを模式的に示し、(b)は、それに対応する情報の例を示す図である。
【図4】電子ペンの構造を示す概略図である。
【図5】コンピュータ装置の機能ブロック図である。
【図6】第1実施形態におけるキャリブレーション起動処理のフロー図である。
【図7】スクリーンに投影されたキャリブレーション処理の実行選択画像である。
【図8】キャリブレーション処理のフロー図である。
【図9】スクリーンに投影された表示基準点を示す画像である。
【図10】コンピュータ装置の表示画面上における表示基準点の位置座標を示す図である。
【図11】スクリーン上における認識基準点の位置座標を示す図である。
【図12】キャリブレーション処理後のスクリーンにおけるストローク描画を示す図である。
【図13】第2実施形態における投影型入出力システムのシステム構成図である。
【図14】第2実施形態におけるキャリブレーション起動処理のフロー図である。
【発明を実施するための形態】
【0018】
以下、図面を参照して、本発明の好適な投影型入出力システムについて詳細に説明する。
【0019】
<第1実施形態>
[投影型入出力システムのシステム構成]
図1は、本第1実施形態における投影型入出力システム10のシステム構成図である。図1に示すように、本実施形態における投影型入出力システム10は、ユーザが使用する電子ペン1と、電子ペン1から記入情報等を受信して処理するコンピュータ装置2と、コンピュータ装置2のディスプレイ(表示手段)26をスクリーン4に投影するプロジェクター3とから構成される。
【0020】
[スクリーン]
まず、スクリーン4について説明する。スクリーン4は、電子ペン1に十分に筆圧がかかる程度に硬いマグネット板(ホワイトボード)401の前面に、後述するドットパターン(コード化パターン)が印刷により全面に形成された用紙402を上からマグネットで押さえ付けたり、あるいは糊、粘着剤等で貼りつけたりしたものである。なお、マグネット板401の代わりに部屋の壁面等を利用してもよい。また、用紙402の代わりに、ドットパターンが印刷されたシートでもよく、あるいは、ホワイトボード40にドットパターンを直接形成してもよい。ユーザが電子ペン1によってスクリーン4に文字などを書くと、電子ペン1は、ペン先部の移動軌跡に沿って、用紙402に印刷されたドットパターンを局所的、連続的に読み取り、スクリーン4におけるその局所位置の座標を算出し、その電子データ(記入情報)をコンピュータ装置2へ送信する。一方、プロジェクター3は、コンピュータ装置2から画像信号を受信して、表示手段26に表示された画像と同じ画像をスクリーン4の領域403に投影する。
【0021】
スクリーン4の用紙402には、入力設定エリア(位置合わせ(キャリブレーション)指示エリア)404が形成されている。入力設定エリア404は、スクリーン4の用紙402上のドットパターン(コード化パターン)で規定される位置座標と、コンピュータ装置2の表示手段26における表示画面(ディスプレイ)上の位置座標との位置合わせ(キャリブレーション)処理をコンピュータ装置2に実行させるためのエリアである。この入力設定エリア404内にも勿論、ドットパターンが印刷されている。なお、入力設定エリア404は、コンピュータ装置2の表示画面内への記入(座標入力)と混同誤認しないようにするため、プロジェクター3によってスクリーン4に画像が投影される領域403の範囲外に設けられる。そして、ユーザが、スクリーン4の入力設定エリア404を電子ペン1で指示することによって任意に位置合わせ(キャリブレーション)処理を開始させることができる。なお、コンピュータ装置2においてキャリブレーション処理が実行されると、コンピュータ装置2の表示画面に対応する位置座標を、スクリーン4上で電子ペン1により正確に入力可能な座標入力領域403が定義され、その定義情報が記憶手段25に記憶される。
【0022】
[ドットパターン]
続いて、スクリーン4の用紙402に印刷されているアノト方式のドットパターン(コード化パターン)について説明する。図2は、用紙402に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図2に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトするかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、スクリーン4上の位置座標が決定されるよう構成されている。このドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。
【0023】
図3(a)は、ある位置のドットパターンの配列を示している。図3(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、スクリーン4上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは、用紙402における相対的な位置座標及びドットパターンアドレス(コード化パターンアドレス)を保持している。図3(b)は、図3(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン1によって行われる。
【0024】
[電子ペン]
次に、電子ペン1について説明する。図4は、電子ペン1の構造を示す概略図である。図4に示すように、電子ペン1は、その筐体101の内部に、ペン部104、LED105、CMOSカメラ106、圧力センサ107、CPU等により構成されるプロセッサ108、ROMやRAMといったメモリ109、リアルタイムクロック110、アンテナ等により構成される通信ユニット111及びバッテリー112を備える。ペン部104の先端は、ペン先部103となっており、ユーザは、電子ペン1のペン先部103をスクリーン4の用紙402に当接させて、文字を記入したり、タップ(ペン先部103によるスクリーン4への軽叩)したりする。なお、電子ペン1は、プロジェクター3により投影されるスクリーン4に、タップしたり文字を記入したりするのに用いるものであるので、ペン部104は、インクが充填されたものでなくともよい。
【0025】
バッテリー112は電子ペン1内の各部品に電力を供給するためのものであり、例えば電子ペン1のキャップ(図示せず)の脱着により電子ペン1自体の電源のオン/オフを行うよう構成させてもよい。リアルタイムクロック110は、現在時刻(タイムスタンプ)を示す時刻情報を発信し、プロセッサ108に供給する。圧力センサ107は、ユーザが電子ペン1によりスクリーン4に文字やマークを書いたりタップしたりする際にペン先部103からペン部104を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ108へ伝送する。
【0026】
プロセッサ108は、圧力センサ107から与えられる筆圧データに基づいて、LED105及びCMOSカメラ106のスイッチのオン/オフを切換える。即ち、ユーザが電子ペン1でスクリーン4に文字などを書くと、ペン先部103に筆圧がかかり、圧力センサ107によって所定値以上の筆圧が検出されたときに、プロセッサ108は、ユーザが記入を開始したと判定して、LED105及びCMOSカメラ106を作動させる。
【0027】
LED105とCMOSカメラ106は、電子ペン1のペン先部103付近に取り付けられており、筐体101におけるLED105及びCMOSカメラ106と対向する部分には、開口部102が形成されている。LED105は、スクリーン4上のペン先部103近傍に向けて赤外線を照明する。その領域は、ペン先部103がスクリーン4に接触する位置とはわずかにずれている。CMOSカメラ106は、LED105によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ108に供給する。ここで、カーボンは赤外線を吸収するため、LED105によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、CMOSカメラ106の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、CMOSカメラ106による撮影領域は、図3(a)に示すような約2mm×約2mmの大きさを含む範囲であり、CMOSカメラ106の撮影は毎秒50〜100回程度の定間隔で行われる。
【0028】
プロセッサ108は、ユーザの記入が行われる間、CMOSカメラ106によって供給される画像データのドットパターンから、ユーザが記入するストローク(筆跡)のスクリーン4上におけるX,Y座標(単に「位置座標」、「座標データ」とも呼ぶ)とスクリーン4に固有のドットパターンアドレス(コード化パターンアドレス)とを連続的に演算していく。すなわち、プロセッサ108は、CMOSカメラ106によって供給される、図3(a)に示されるようなドットパターンの画像データを図3(b)に示すデータ配列に変換し、さらに、X座標ビット値及びY座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データ及びドットパターンアドレスを演算する。そしてプロセッサ108は、リアルタイムクロック110から発信される現在時刻(タイムスタンプ:記入された時刻情報)、筆圧データ、ドットパターンアドレス及びX,Y座標データとを関連付ける。なお、スクリーン4における6×6のドットパターンは、スクリーン4内で重複することはないため、ユーザが電子ペン1で文字等を記入すると、記入された位置がスクリーン4のどの位置に当たるかを、プロセッサ108による座標演算により特定することができる。
【0029】
メモリ109には、電子ペン1を識別するための「pen01」といったペンID、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット111は、ペンID(電子ペン識別情報)と、時刻情報(タイムスタンプ)と、筆圧データと、ドットパターンアドレスと、X,Y座標データとを関連付けて、記入情報としてコンピュータ装置2へ送信する。通信ユニット111によるコンピュータ装置2への送信は、Bluetooth(登録商標)の無線送信によって、即時的かつ逐次的に行われる。
【0030】
[コンピュータ装置]
次に、コンピュータ装置2について説明する。コンピュータ装置2は、ハードウェアとして、電子ペン1とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、ディスプレイ、マウスやキーボード等で構成されるパーソナルコンピュータ等で構成される。図5は、コンピュータ装置2の機能ブロック図である。コンピュータ装置2は、機能的には、マウスやキーボードといった入力手段21、受信手段22、処理手段24、記憶手段25、表示手段26及び送信手段27を備える。そして、コンピュータ装置2は、電子ペン1から受信した記入情報に基づいて所定の処理を行う。
【0031】
受信手段22は、アンテナや受信回路等により構成され、電子ペン1から記入情報を受信し、処理手段24に伝送する。送信手段27は、処理手段24の指示によって、表示手段26の画像表示に用いられる画像信号をプロジェクター3に送信するもので、プロジェクター3へのデータ送信方式は、有線式であっても無線式であってもよい。表示手段26は、ディスプレイ等によって構成され、処理手段24によって指示された内容を表示する。
【0032】
記憶手段25は、ハードディスクやROM、RAMといったメモリによって構成される。記憶手段25には、スクリーン4上のドットパターン(コード化パターン)による位置座標とコンピュータ装置2の表示手段26における表示画面上の位置座標との位置合わせ(キャリブレーション)処理を行うためのプログラムが記憶されている。このプログラムに関して、記憶手段25は、スクリーン4における入力設定エリア(位置合わせ指示エリア)404の座標範囲や、キャリブレーション処理の際に表示されるウィンドウ5の表示座標範囲、表示基準点、認識基準点等の位置座標等を記憶する。また、記憶手段25は、処理手段24によってキャリブレーション処理が実行されると定義される、座標入力領域403を記憶する。さらに、記憶手段25には、電子ペン1でスクリーン4に手書きを行うことによって生成された記入情報を処理するプログラム等も記憶されている。
【0033】
処理手段24は、CPU等のプロセッサによって構成され、受信手段22により電子ペン1から受信した記入情報に基づいて、表示手段26に対して種々の形態で記入内容を表示させたり、記憶手段25に記憶されたキャリブレーション処理を行うプログラムを起動させて、キャリブレーション処理を行ったりする。特に、電子ペン1から、スクリーン4の入力設定エリア(位置合わせ(キャリブレーション)指示エリア)404内に形成されたドットパターンに対応する位置座標を受信した場合には、処理手段24は、キャリブレーション・プログラムを起動して、キャリブレーション処理を開始する。そして、処理手段24は、キャリブレーション処理の実行により、コンピュータ装置2の表示画面に対応する位置座標を、スクリーン4上で電子ペン1により正確に入力可能な座標入力領域403を定義する。また、処理手段24は、表示手段26に表示させる画像と同じ画像を同期させてプロジェクター3に投影させるための画像信号を、送信手段27に対してプロジェクター3へ送信させる。
【0034】
プロジェクター3は、コンピュータ装置2の送信手段27から受信した画像信号に基づいて、表示手段26に表示された画像と同様の画像をスクリーン4の領域403に映し出す。
【0035】
<キャリブレーション起動処理のフロー>
次に、図6〜図12を参照して、本投影型入出力システム10におけるキャリブレーションの処理について説明する。
【0036】
図6は、キャリブレーション起動処理のフロー図である。まず、ユーザが、電子ペン1を用いて、スクリーン4の用紙402上に記入ないしタップを行う。すると、電子ペン1は、圧力センサ107によって所定値以上の筆圧が検出されたことにより用紙402への接触を検出し、LED105によって赤外線を照射しつつカメラ106によって筆跡に沿ってドットパターンを撮像し、プロセッサ108によって、撮像されたドットパターンの画像データから筆跡に応じた位置座標を演算し、当該位置座標、リアルタイムクロック110により発信された現在時刻、筆圧データ(以上、「ストローク情報」)及びペンIDと関連付けて、記入情報として即時且つ逐次的にコンピュータ装置2へ送信する(ステップS101)。
【0037】
コンピュータ装置2では、受信手段22が、電子ペン1から記入情報(ストローク情報及びペンID)を受信すると、その記入情報を記憶手段25に記憶する(ステップS201)。そして、処理手段24は、まず、スクリーン4上の座標入力領域403が定義されているかどうか確認する(ステップS202)。処理手段24は、座標入力領域403が定義されていないと認識した場合は(ステップS202:No)、キャリブレーション処理が実行されていないとして、キャリブレーション処理を開始する(ステップS207)。したがって、キャリブレーション処理が実行されていない状態のときに、ユーザが、電子ペン1でスクリーン4に書き込もうとすれば、キャリブレーション処理が開始される。
【0038】
一方、処理手段24は、座標入力領域403が定義されていると認識した場合(ステップS202:Yes)、電子ペン1から送信された記入情報から、入力設定エリア(位置合わせ指示エリア)404が電子ペン1により指示されたか否か判定する(ステップS203)。処理手段24は、入力設定エリア404が指示されたと認識した場合(ステップS203:Yes)、キャリブレーション処理を開始する(ステップS207)。これにより、一旦、キャリブレーション処理が実行された後で、スクリーン4とプロジェクター3との相対的な位置関係が変わってしまった場合であっても、ユーザが、スクリーン4の入力設定エリア404を電子ペン1で指示することによってキャリブレーション処理を開始させることができる。
【0039】
ステップS203において、処理手段24が、入力設定エリア404は指示されていないと認識した場合(ステップS203:No)、受信して取得した記入情報に含まれるストローク情報の位置座標が、キャリブレーション処理により定義した、座標入力領域403の範囲外の位置座標であるか否か判断する(ステップS204)。処理手段24は、受信して取得した位置座標が、座標入力領域403の範囲外の位置座標であると判断した場合(ステップS204:Yes)、図7に示すような画像を、プロジェクター3に対してスクリーン4に投影させて、ユーザに、キャリブレーション処理を開始するかどうか選択させる(ステップS206)。すなわち、図7に示すように、処理手段24は、キャリブレーション処理を開始するかどうかをユーザに選択させるためのウィンドウ5を投影させる。ここで、処理手段24は、このウィンドウ5内に、キャリブレーション処理を開始するための「OK」ボタン501と、開始しないための「キャンセル」ボタン502とを投影させる。これにより、キャリブレーション処理の必要性がある場合にその処理を行い、不要の場合はその処理を行わないよう、ユーザに選択させることができる。
【0040】
ユーザが、偶然にキャリブレーション処理後の座標入力領域403の範囲外を電子ペン1で指示してしまったが、プロジェクター3とスクリーン4との相対的な位置関係は、キャリブレーション処理の後、変わっていない場合は、キャリブレーション処理を実行させる必要がない。その場合、ユーザは、スクリーン4に投影された「キャンセル」ボタン502を電子ペン1でタップする。処理手段24は、「キャンセル」ボタン502が投影された座標領域内のドットパターンに対応する位置座標を含む記入情報を受信すると、後述するように記憶手段25に記憶された「キャンセル」ボタン502が投影されるべき座標領域内の指示であったと認識するため、キャリブレーション処理を開始させないよう選択されたものと認識し(ステップS206:No)、処理を終了させる。
【0041】
一方ステップS204において、キャリブレーション処理の後に、プロジェクター3かスクリーン4を動かしてしまい、プロジェクター3とスクリーン4との相対的な位置関係がわずかにずれてしまった場合、スクリーン4に投影された「OK」ボタン501を、ユーザが電子ペン1でタップする。その場合には、「OK」ボタン501が投影された座標領域と、記憶手段25で記憶している「OK」ボタン501が投影されるべき座標領域との間に若干のズレが生じているが、処理手段24は、「OK」ボタン501が投影されるべき領域内のドットパターンに対応する位置座標を含む記入情報を受信した場合には、キャリブレーション処理を開始するよう選択されたものと認識し(ステップS206:Yes)、キャリブレーション処理を開始する(ステップS207)。
【0042】
ところが、キャリブレーション処理の後に、プロジェクター3かスクリーン4を相当程度動かしてしまい、プロジェクター3とスクリーン4との相対的な位置関係が相当にずれてしまった場合、「OK」ボタン501が投影された領域と、記憶手段25で記憶している「OK」ボタン501が投影されるべき領域との間に相当のズレが生じてしまう。これでは、「OK」ボタン501が投影されたスクリーン4を、ユーザが電子ペン1でタップしたとしても、処理手段24は、「OK」ボタン501が選択されたものと認識することはできない。したがって、処理手段24は、「キャンセル」ボタン502への電子ペン1による指示を認識しなかった場合には、所定時間(例えば5秒)経過後に、キャリブレーション処理を開始する(ステップS206:Yes→ステップS207)。ここで、処理手段24は、ウィンドウ5に、例えば図7に示すような「あと5秒でキャリブレーションを再設定します」という表示に加え、秒数のカウントダウン表示をする。これにより、プロジェクター3とスクリーン4との相対的な位置関係が相当程度ずれていて、キャリブレーション処理を実行させる選択をユーザが行うことができなくとも、キャリブレーション処理を開始させることができる。
【0043】
なお、「OK」ボタン501及び「キャンセル」ボタン502が投影されるべき座標領域は、キャリブレーション処理後もずれる可能性がある。したがって、処理手段24は、ステップS207において、キャリブレーション処理を実行する都度、「OK」ボタン501及び「キャンセル」ボタン502が投影されるべき座標領域を演算して、記憶手段25に更新して記憶させる。
【0044】
また、「OK」ボタン501及び「キャンセル」ボタン502の選択は、電子ペン1によらずに、コンピュータ装置2の表示手段26における画面表示上で、マウス操作かキーボード操作によっても選択できるようにするとよい。この場合、処理手段24は、入力手段21のマウスあるいはキーボードの操作による「OK」ボタン501及び「キャンセル」ボタン502の選択を認識して、ステップS207におけるキャリブレーション処理を開始するか否かの判断を行う。
【0045】
このように、キャリブレーション処理後に、スクリーン4とプロジェクター3との相対的な位置関係が変わってしまう可能性があるため、処理手段24が、電子ペン1から、キャリブレーション処理によって規定されたスクリーン4における正確な座標入力が可能とされる座標入力領域403の範囲外の記入情報を受信したときに(ステップS204:Yes)、図7に示すような、キャリブレーション処理の開始を選択するためのウィンドウ5をプロジェクター3からスクリーン4に投影させて、ユーザに選択させることで、必要に応じてキャリブレーション処理を実行することができる。
【0046】
<キャリブレーション処理>
次に、図6のステップS207におけるキャリブレーション処理について、図8〜図11を参照しつつ説明する。
【0047】
図8は、キャリブレーション処理のフロー図である。図9は、スクリーン4に投影された表示基準点を示す画像である。処理手段24は、キャリブレーション処理を開始すると、表示手段26の表示画面201に第1表示基準点601を表示させるとともに、図9に示すように、プロジェクター3に対して、スクリーン4上に、第1表示基準点601を投影させて、ユーザに電子ペン1による第1表示基準点601が投影された位置へのタップを促す(ステップS401)。続いて、ユーザが電子ペン1を用いて、第1表示基準点601が投影された位置(同心円の中心)へタップすると、電子ペン1は、タップ位置におけるドットパターンを読み取ってストローク情報を生成し、ペンIDと対応づけて得られた記入情報をコンピュータ装置2へ送信する(ステップS301)。コンピュータ装置2では、電子ペン1より記入情報を受信手段22によって受信すると、処理手段24は、記入情報のうち、ペンアップの位置座標を、第1表示基準点601が投影された位置宛てに指示された用紙402上の認識基準点1として、記憶手段25に記憶する(ステップS402)。
【0048】
さらに、処理手段24は、表示手段26の表示画面201に第2表示基準点602を表示させるとともに、プロジェクター3に対して、スクリーン4上に、第2表示基準点602を投影させて(図9参照)、ユーザに電子ペン1による第2表示基準点602が投影された位置へのタップを促す(ステップS403)。続いて、ユーザが電子ペン1を用いて、第2表示基準点602が投影された位置(同心円の中心)へタップすると、電子ペン1は、タップ位置におけるドットパターンを読み取ってストローク情報を生成し、ペンIDと対応づけて得られた記入情報をコンピュータ装置2へ送信する(ステップS302)。コンピュータ装置2では、電子ペン1より記入情報を受信手段22によって受信すると、処理手段24は、記入情報のうち、ペンアップの位置座標を、第2表示基準点602が投影された位置宛てに指示された用紙402上の認識基準点2として、記憶手段25に記憶する(ステップS404)。
【0049】
そして、処理手段24は、ドットパターンの演算による用紙402上の第1,第2表示基準点及び、表示手段26の表示画面201上の認識基準点1,2の座標値に基づいて、用紙402上の位置座標から、コンピュータ装置2における表示画面201上の位置座標を演算するための演算式を求めて、記憶手段25に記憶する。それとともに、処理手段24は、キャリブレーション処理の結果、電子ペン1によりスクリーン4上で位置座標が表示画面201に対応して正確に入力可能な座標入力領域403を確定し、その座標領域を定義して、記憶手段25に記憶する(ステップS405)。
【0050】
ここで、キャリブレーション用の演算式の求め方について、図10及び図11を参照して説明する。
【0051】
図10は、コンピュータ装置2の表示画面201上における第1,第2表示基準点の位置座標を示す図である。図10に示すように、コンピュータ装置2の表示手段(ディスプレイ)26の表示画面201において、X軸を右方向、Y軸を下方向にとり、以下の座標を次のようにする。
左上端点:座標202(Xamin,Yamin)、
右下端点:座標203(Xamax,Yamax)、
第1表示基準点:座標204(Xa1,Ya1)、
第2表示基準点:座標205(Xa2,Ya2)、
ただし、Xamin ≦ Xa1 < Xa2 ≦ Xamax、
Yamin ≦ Ya1 < Ya2 ≦ Yamax、
【0052】
図11は、スクリーン4の用紙402上における認識基準点1,2の位置座標を示す図である。認識基準点1,2は、コンピュータ装置2の表示画面201上における第1,第2表示基準点がスクリーン4に投影され、電子ペン1によって指示されたドットパターン(コード化パターン)の解析に基づく位置座標である。図11に示すように、プロジェクター3によってスクリーン4に投影される座標入力領域403において、X軸を右方向、Y軸を下方向にとり、以下の座標を次のようにする。
左上端点:座標405(Xb0,Yb0)、
座標入力領域403の左上端点:座標406(Xbmin,Ybmin)、
座標入力領域403の右下端点:座標407(Xbmax,Ybmax)、
認識基準点1:座標408(Xb1,Yb1)、
認識基準点2:座標409(Xb2,Yb2)、
ただし、Xb0 ≦ Xbmin < Xb1 < Xb2 ≦ Xbmax、
Yb0 ≦ Ybmin < Yb1 < Yb2 ≦ Ybmax、
【0053】
すると、コンピュータ装置2の表示領域201における第1表示基準点の座標204(Xa1,Ya1)及び第2表示基準点の座標205(Xa2,Ya2)が、スクリーン4の用紙402上のドットパターンにおける認識基準点1の座標408(Xb1,Yb1)及び認識基準点2の座標409(Xb2,Yb2)にそれぞれ対応する。そして、スクリーン4に投影される座標入力領域403を規定する左上端点座標406(Xbmin,Ybmin)及び右下端点座標407(Xbmax,Ybmax)(長方形状の座標入力領域403の各対頂角点)は次の数式で表すことができる。
[数式1] Xbmin = Xb1 − (Xa1 − Xamin)×(Xb2 − Xb1)/(Xa2 − Xa1)
[数式2] Ybmin = Yb1 − (Ya1 − Yamin)×(Yb2 − Yb1)/(Ya2 − Ya1)
[数式3] Xbmax = Xb2 + (Xamax − Xa2)×(Xb2 − Xb1)/(Xa2 − Xa1)
[数式4] Ybmax = Yb2 + (Yamax − Ya2)×(Yb2 − Yb1)/(Ya2 − Ya1)
この座標値を対頂角点とする長方形状の領域から、ステップS204における座標入力領域403を規定することができる。
【0054】
そして、スクリーン4の用紙402上のドットパターンで規定される位置座標(Xbn,Ybn)から、コンピュータ装置2の表示手段26における表示画面201上の位置座標(Xan,Yan)は、次の式で求めることができる。
[数式5] Xan = Xamin+[ Xbn − (Xbmin−Xb0)] ×(Xa2−Xa1)/(Xb2−Xb1)
[数式6] Yan = Yamin+[ Ybn − (Ybmin−Yb0)] ×(Ya2−Ya1)/(Yb2−Yb1)
よって、処理手段24は、上式により、スクリーン4上の位置座標(Xbn,Ybn)を、コンピュータ装置2の表示画面201上の位置座標(Xan,Yan)に変換して、各種処理を行っていく。なお、スクリーン4に対するプロジェクター3の角度によって、演算式の項に歪みを補正する所定の係数をかけるようにしてもよい。
【0055】
キャリブレーション処理後、スクリーン4上で位置座標が表示画面201に対応して正確に入力可能であるとして定義された座標入力領域403内において、ユーザが、電子ペン1を用いて文字等を書き込む。すると、電子ペン1は、筆跡のストロークに応じたストローク情報を生成し、ペンIDと対応付けた記入情報をコンピュータ装置2へ送信する(ステップS101)。コンピュータ装置2では、受信手段22によって記入情報を受信すると、処理手段24は、その記入情報を記憶手段25に記憶し(ステップS201)、位置座標が表示画面201に対応して正確に入力可能な座標入力領域403が定義されていると判断するが(ステップS202:Yes)、受信した記入情報は、入力設定エリア(位置合わせ指示エリア)401内の情報ではないと判断する(ステップS203:No)。さらに、処理手段24は、取得された記入情報は、座標入力領域403外ではないと判断する(ステップS204:No)ため、記入情報のストローク情報に含まれる位置座標(Xbn,Ybn)を、キャリブレーション処理によって得られた演算式を用い、コンピュータ装置2の表示画面201上の位置座標(Xan,Yan)に変換して、ストロークを描画したり、各種処理を行ったりしていく。
【0056】
つまり、図12に示すように、ユーザが、スクリーン4の座標入力領域403内に電子ペン1で文字等を記入すると、コンピュータ装置2は、筆跡に応じたストロークの線分を描画し、スクリーン4上の筆跡とずれることなく、ストロークの線分をプロジェクター3によって投影させる。また、キャリブレーション処理によって、スクリーン4上の位置座標とコンピュータ装置2の表示手段26における表示画面201上の位置座標とが演算式による座標変換により位置合わせされているため、スクリーン4の座標入力領域403内に投影されたメニューやアイコンを電子ペン1で選択することにより、アプリケーションを操作したり起動させたりすることも可能となる。
【0057】
<本第1実施形態の作用効果>
本第1実施形態における投影型入出力システム10においては、まず、スクリーン4に、入力設定エリア(位置合わせ指示エリア)404を設けているため、ユーザが、スクリーン4の入力設定エリア(位置合わせ指示エリア)404を電子ペン1で指示することによって任意に位置合わせ(キャリブレーション)処理を開始させることができる。この入力設定エリア(位置合わせ指示エリア)404は、プロジェクター3によってスクリーン4に投影される領域403の範囲外に設けられているため、コンピュータ装置2の表示画面201内への記入(座標入力)と混同しない。
【0058】
また、ステップS202において、キャリブレーション処理が実行されていないために、スクリーン4上で表示画面201に対応して正確に入力可能な座標入力領域403が定義されていない場合(ステップS202:No)、ユーザが、それに気づかずに、電子ペン1でスクリーン4に書き込もうとしたとしても、キャリブレーション処理が開始される(ステップS207)。したがって、キャリブレーション処理が実行されていない状態での、電子ペン1による記入を防止することができる。
【0059】
また、処理手段24は、キャリブレーション処理によって規定された座標入力領域403が定義されていたとしても、電子ペン1により、入力設定エリア(位置合わせ指示エリア)404が指示されたと認識した場合(ステップS203:Yes)、キャリブレーション処理を開始する(ステップS207)。したがって、一旦、キャリブレーション処理が実行された後で、スクリーン4とプロジェクター3との相対的な位置関係がずれてしまっても、ユーザが、意識的にスクリーン4の入力設定エリア(位置合わせ指示エリア)404を電子ペン1で指示することによってキャリブレーション処理を開始させることができる(ステップS207)。
【0060】
また、処理手段24が、キャリブレーション処理によって規定された座標入力領域403の範囲外の記入情報を受信したときには(ステップS204:Yes)、キャリブレーション処理後に、スクリーン4とプロジェクター3との相対的な位置関係がずれた可能性があるため、必要に応じてユーザにキャリブレーション処理の実行を選択させることで(ステップS206:Yes)、キャリブレーション処理を開始させることができる(ステップS207)。その際、プロジェクター3とスクリーン4との相対的な位置関係が相当にずれてしまった場合には、図7に示す「OK」ボタン501の選択はできない可能性があるため、ユーザが何ら操作をしなくとも、処理手段24が所定時間経過後自動的に、キャリブレーション処理を開始する(ステップS207)。
【0061】
このように、本実施形態の投影型入出力システム10は、キャリブレーション処理を必要に応じて行うことができる。キャリブレーション処理後は、演算式により位置座標を変換して、位置座標を補正することができる。
【0062】
〔変形例〕
なお、上記第1実施形態は次のように構成してもよい。
【0063】
上記第1実施形態のステップS204において、処理手段24が、キャリブレーション処理によって規定された座標入力領域403の範囲外の記入情報を受信したときには(ステップS204:Yes)、ステップS206を経ずに、即時にキャリブレーションの処理を開始してもよい(ステップS207)。ユーザが、座標入力領域403の範囲外で電子ペン1の記入を行った場合は、プロジェクター3とスクリーン4との相対的な位置関係が相当程度ずれている可能性が高いからである。
【0064】
あるいは、上記実施形態のステップS204において、処理手段24が、キャリブレーション処理によって規定された座標入力領域403の範囲外の記入情報を受信したと判断する基準として、受信した記入情報の位置座標と、座標入力領域403を構成する辺のうち当該受信した記入情報の位置座標から最も近い辺との距離(辺に対して位置座標から垂線を延ばした距離)を求め、その距離が所定長さ(例えば1cm)以上であることを条件としてもよい。受信した位置座標の座標入力領域403からの距離が短ければ、座標入力領域403の範囲外の記入情報を受信したことは、プロジェクター3とスクリーン4との相対的な位置関係のズレが原因ではない可能性が高いからである。
【0065】
また、図7に示すキャリブレーション処理の開始の選択処理を、各ステップS202,S203からキャリブレーション処理を開始する前に行ってもよい。
【0066】
<第2実施形態>
次に、第2実施形態における投影型入出力システム11を説明する。第2実施形態の説明では、第1実施形態と異なる構成を中心に説明する。また、第2実施形態において、第1実施形態と同じ符号を付している構成は、特に言及しないものについては、第1実施形態と同様の構成である。
【0067】
図13は、本第2実施形態における投影型入出力システム11のシステム構成図である。第1実施形態の投影型入出力システム10においては、入力設定エリア404がスクリーン4の用紙402に形成されているのに対し、本第2実施形態の投影型入出力システム11においては、入力設定エリア704は、位置座標を示すドットパターンが印刷された操作シート7に形成されており、操作シート7がスクリーン4の用紙402とは別の用紙となっている点で相違する。その他の構成は、第1実施形態と同様である。ユーザが操作シート7を手元に持つことで、電子ペン1による入力設定エリア704へのタップがしやすくなっている。
【0068】
<キャリブレーション起動処理のフロー>
次に、図14を参照して、本投影型入出力システム11におけるキャリブレーションの処理について説明する。
【0069】
上述のように、第2実施形態では、用紙402と操作シート7とが別の用紙となっている。そのため、第2実施形態におけるキャリブレーション起動処理のフロー(図14参照)は、第1実施形態におけるキャリブレーション起動処理のフロー(図6参照)と比べると、コンピュータ装置2において、受信した記入情報(ストローク情報及びペンID)を記憶手段25に記憶した後(ステップS601)、処理手段24は、記入情報がスクリーン4の用紙402に記入されたものであるのか否かを判定し(ステップS602)、記入情報がスクリーン4の用紙402に記入されたものと判定したとき(ステップS602:Yes)は、座標入力領域403が定義されているか否か判定し(ステップS603)、記入情報がスクリーン4の用紙402に記入されたものではないと判定したとき(ステップS602:No)は、当該記入情報は操作シート7の入力設定エリア704に記入されたものであるか否かを判定する(ステップS607)。そのうえで、処理手段24は、当該記入情報が操作シート7の入力設定エリア704に記入されたものと判定したときは(ステップS607:Yes)、キャリブレーション処理を開始し(ステップS608)、当該記入情報が操作シート7の入力設定エリア704に記入されたものではないと判定したときは(ステップS607:No)、処理を終了する。
【0070】
その他の処理は実施形態1と同様であり、図14に示すステップS603,S604,S605,S606,S608のそれぞれの処理は、第1実施形態における図6のステップS202,S204,S205,S206,S207の処理と同様である。
【0071】
<本第2実施形態の作用効果>
本第2実施形態における投影型入出力システム11においても、本第1実施形態における投影型入出力システム10と同様の作用効果を奏するとともに、操作シート7がスクリーン4の用紙402とは別の用紙となっているため、ユーザが操作シート7を手元に持つことで、電子ペン1による入力設定エリア704へのタップがしやすくなる。
【0072】
〔変形例〕
本第2実施形態においても、第1実施形態と同様の変形的な構成を採用することができる。
【0073】
また、上記第1,第2実施形態では、2点の位置座標に基づいて、キャリブレーション処理を行ったが、3点以上の位置座標に基づいて、キャリブレーション処理を行ってもよい。また、上記実施形態では、プロジェクター3として、フロントタイプのプロジェクターを例に挙げたが、リアプロジェクターにも適用することができる。また、ドットパターン(コード化パターン)は、アノト方式に限らなくともよい。
【0074】
また、上記第1,第2実施形態において、電子ペン1はインクカートリッジを有していないものとしたが、ペン部104をインクカートリッジとして電子ペン1で用紙402に直接文字等を書くことができるようにしてもよい。この場合、コンピュータ装置2では、電子ペン1で描かれたストロークを表示手段26には表示するが、プロジェクター3では投影しないような画像信号をコンピュータ装置2からプロジェクター3へ出力するようにするとよい。
【産業上の利用可能性】
【0075】
本投影型入出力システムは、学校の授業や企業での会議室、プレゼンテーションなどで利用することができる。
【符号の説明】
【0076】
1…電子ペン
2…コンピュータ装置
21…入力手段
22…受信手段
24…処理手段
25…記憶手段
26…表示手段
27…送信手段
201…表示画面
204…第1表示基準点
205…第2表示基準点
3…プロジェクター
4…スクリーン
401…マグネット板(ホワイトボード)
402…用紙
403…画像投影領域・座標入力領域
404…入力設定エリア(位置合わせ(キャリブレーション)指示エリア)
408…認識基準点1
409…認識基準点2
5…ウィンドウ
501…「OK」ボタン
502…「キャンセル」ボタン
601…第1表示基準点の投影位置、認識基準点1
602…第2表示基準点の投影位置、認識基準点2
10,11…投影型入出力システム
【技術分野】
【0001】
本発明は、スクリーン、電子ペン、コンピュータ装置、及びプロジェクターを備える投影型入出力システムに関し、特に、スクリーンの位置座標とコンピュータ装置の表示画面の位置座標との位置合わせ(キャリブレーション)処理を実行する処理に関する。
【背景技術】
【0002】
近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto 社が開発した「アノトペン(Anoto pen)」が知られている。アノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像などの記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される(例えば、特許文献1参照)。
【0003】
また、このような電子ペンと、コンピュータ、プロジェクター及びスクリーンを用いて、スクリーンに電子ペンで記入ないし走査すると、それに応じてコンピュータが所定の処理を行うとともに、コンピュータの表示画面をプロジェクターでスクリーンに投影するシステムが提案されている(例えば、特許文献2〜5)。電子ペンは、スクリーンに形成されたドットパターンを読み取り、コンピュータは、電子ペンから送信された情報に基づき、その位置座標を解析して、その位置座標に応じた処理を行うというものであり、これにより、インクのない電子ペンであっても、スクリーン上を電子ペンでなぞれば、その筆跡に応じて、プロジェクターから線が描画された画像を投影したり、画像の制御やソフトウェアを操作したりできるとされている。
【0004】
また、ホワイトボードにパソコンの画面がプロジェクターによって投影され、ホワイトボードにマーカーで記入した座標を座標読取装置で超音波又は赤外線により読み取ってパソコンに送信することで、パソコンの画面上でクリックなどをすることができるシステムにおいて、最初にキャリブレーション用のポイントをプロジェクターにより投影し、マーカでポイントを指示させることで、ホワイトボードの座標とパソコン画面の座標とをキャリブレーションすることも提案されている(特許文献6)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表2003−511761号公報
【特許文献2】特開2008−152755号公報
【特許文献3】特開2002−149331号公報
【特許文献4】特開2008−154211号公報
【特許文献5】特表2003−508831号公報
【特許文献6】特開2007−233999号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、一旦、位置合わせ(キャリブレーション)処理が実行されたとしても、プロジェクターとスクリーンとの相対的な位置関係は、スクリーンへの電子ペンによる過度の押圧やプロジェクターを配置した台のズレなどによって、システムの使用中にずれてしまう場合がある。
【0007】
そこで、本発明は、スクリーンの位置座標と、コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせ(キャリブレーション)処理を必要に応じて行うことができる投影型入出力システム及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る投影型入出力システムは、位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える投影型入出力システムであって、
前記コンピュータ装置は、前記スクリーン上の位置座標と前記コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせの処理によって規定された範囲から外れた領域におけるコード化パターンに関する情報を受信すると、前記位置合わせの処理を開始することを特徴とする。
【0009】
この投影型入出力システムによれば、電子ペンによってスクリーンに形成されたコード化パターンを読み取ると、電子ペンは、コンピュータ装置へコード化パターンに関する情報を送信する。コンピュータ装置は、スクリーンに画像を投影するプロジェクターへ画像信号を送信するとともに、電子ペンからコード化パターンに関する情報を受信する。このような投影型入出力システムにおいて、コンピュータ装置が、電子ペンから、位置合わせ処理によって規定された範囲外の領域の情報を受信したとき、スクリーンとプロジェクターとの相対的な位置関係がずれている可能性があるため、位置合わせ処理を開始して実行することで、位置あわせすることができる。
【0010】
上記投影型入出力システムにおいて、前記コンピュータ装置は、前記位置合わせの処理を開始する前に、当該処理を行うか否かの選択を入力可能とするよう構成するとよい。この構成により、位置合わせの処理の必要性がある場合にその処理を行い、不要の場合はその処理を行わないように、ユーザが選択することができる。
【0011】
また、上記投影型入出力システムにおいて、前記コンピュータ装置は、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信して、所定時間経過後に、前記位置合わせの処理を開始するよう構成するとよい。この構成により、スクリーンとプロジェクターとの相対的な位置関係が相当程度ずれていて、ユーザが、位置合わせ処理の選択を行うことができなくとも、位置合わせ処理を開始させることができる。
【0012】
また、本発明に係るプログラムは、位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える投影型入出力システムにおける前記コンピュータ装置により実行されるプログラムであって、
前記コンピュータ装置に、前記スクリーン上の位置座標と前記コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせの処理が実行された状態において、前記電子ペンから、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信すると、前記位置合わせの処理を開始させることを特徴とする。
【0013】
上記プログラムにおいて、前記コンピュータ装置に、前記位置合わせの処理を開始する前に、当該処理を行うか否かの選択を入力可能とする構成とするとよい。
【0014】
さらに、上記プログラムにおいて、前記コンピュータ装置に、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信して、所定時間経過後に、前記位置合わせの処理を開始させるよう構成するとよい。
【0015】
上記プログラムをコンピュータ装置にインストールすることにより、上記のコンピュータ装置を実現し、投影型入出力システムを構成することができる。
【発明の効果】
【0016】
本発明によれば、スクリーンの位置座標と、コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせ(キャリブレーション)処理を必要に応じて行うことができる。
【図面の簡単な説明】
【0017】
【図1】第1実施形態における投影型入出力システムのシステム構成図である。
【図2】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図3】(a)は、ドットパターンを模式的に示し、(b)は、それに対応する情報の例を示す図である。
【図4】電子ペンの構造を示す概略図である。
【図5】コンピュータ装置の機能ブロック図である。
【図6】第1実施形態におけるキャリブレーション起動処理のフロー図である。
【図7】スクリーンに投影されたキャリブレーション処理の実行選択画像である。
【図8】キャリブレーション処理のフロー図である。
【図9】スクリーンに投影された表示基準点を示す画像である。
【図10】コンピュータ装置の表示画面上における表示基準点の位置座標を示す図である。
【図11】スクリーン上における認識基準点の位置座標を示す図である。
【図12】キャリブレーション処理後のスクリーンにおけるストローク描画を示す図である。
【図13】第2実施形態における投影型入出力システムのシステム構成図である。
【図14】第2実施形態におけるキャリブレーション起動処理のフロー図である。
【発明を実施するための形態】
【0018】
以下、図面を参照して、本発明の好適な投影型入出力システムについて詳細に説明する。
【0019】
<第1実施形態>
[投影型入出力システムのシステム構成]
図1は、本第1実施形態における投影型入出力システム10のシステム構成図である。図1に示すように、本実施形態における投影型入出力システム10は、ユーザが使用する電子ペン1と、電子ペン1から記入情報等を受信して処理するコンピュータ装置2と、コンピュータ装置2のディスプレイ(表示手段)26をスクリーン4に投影するプロジェクター3とから構成される。
【0020】
[スクリーン]
まず、スクリーン4について説明する。スクリーン4は、電子ペン1に十分に筆圧がかかる程度に硬いマグネット板(ホワイトボード)401の前面に、後述するドットパターン(コード化パターン)が印刷により全面に形成された用紙402を上からマグネットで押さえ付けたり、あるいは糊、粘着剤等で貼りつけたりしたものである。なお、マグネット板401の代わりに部屋の壁面等を利用してもよい。また、用紙402の代わりに、ドットパターンが印刷されたシートでもよく、あるいは、ホワイトボード40にドットパターンを直接形成してもよい。ユーザが電子ペン1によってスクリーン4に文字などを書くと、電子ペン1は、ペン先部の移動軌跡に沿って、用紙402に印刷されたドットパターンを局所的、連続的に読み取り、スクリーン4におけるその局所位置の座標を算出し、その電子データ(記入情報)をコンピュータ装置2へ送信する。一方、プロジェクター3は、コンピュータ装置2から画像信号を受信して、表示手段26に表示された画像と同じ画像をスクリーン4の領域403に投影する。
【0021】
スクリーン4の用紙402には、入力設定エリア(位置合わせ(キャリブレーション)指示エリア)404が形成されている。入力設定エリア404は、スクリーン4の用紙402上のドットパターン(コード化パターン)で規定される位置座標と、コンピュータ装置2の表示手段26における表示画面(ディスプレイ)上の位置座標との位置合わせ(キャリブレーション)処理をコンピュータ装置2に実行させるためのエリアである。この入力設定エリア404内にも勿論、ドットパターンが印刷されている。なお、入力設定エリア404は、コンピュータ装置2の表示画面内への記入(座標入力)と混同誤認しないようにするため、プロジェクター3によってスクリーン4に画像が投影される領域403の範囲外に設けられる。そして、ユーザが、スクリーン4の入力設定エリア404を電子ペン1で指示することによって任意に位置合わせ(キャリブレーション)処理を開始させることができる。なお、コンピュータ装置2においてキャリブレーション処理が実行されると、コンピュータ装置2の表示画面に対応する位置座標を、スクリーン4上で電子ペン1により正確に入力可能な座標入力領域403が定義され、その定義情報が記憶手段25に記憶される。
【0022】
[ドットパターン]
続いて、スクリーン4の用紙402に印刷されているアノト方式のドットパターン(コード化パターン)について説明する。図2は、用紙402に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図2に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトするかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、スクリーン4上の位置座標が決定されるよう構成されている。このドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。
【0023】
図3(a)は、ある位置のドットパターンの配列を示している。図3(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、スクリーン4上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは、用紙402における相対的な位置座標及びドットパターンアドレス(コード化パターンアドレス)を保持している。図3(b)は、図3(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン1によって行われる。
【0024】
[電子ペン]
次に、電子ペン1について説明する。図4は、電子ペン1の構造を示す概略図である。図4に示すように、電子ペン1は、その筐体101の内部に、ペン部104、LED105、CMOSカメラ106、圧力センサ107、CPU等により構成されるプロセッサ108、ROMやRAMといったメモリ109、リアルタイムクロック110、アンテナ等により構成される通信ユニット111及びバッテリー112を備える。ペン部104の先端は、ペン先部103となっており、ユーザは、電子ペン1のペン先部103をスクリーン4の用紙402に当接させて、文字を記入したり、タップ(ペン先部103によるスクリーン4への軽叩)したりする。なお、電子ペン1は、プロジェクター3により投影されるスクリーン4に、タップしたり文字を記入したりするのに用いるものであるので、ペン部104は、インクが充填されたものでなくともよい。
【0025】
バッテリー112は電子ペン1内の各部品に電力を供給するためのものであり、例えば電子ペン1のキャップ(図示せず)の脱着により電子ペン1自体の電源のオン/オフを行うよう構成させてもよい。リアルタイムクロック110は、現在時刻(タイムスタンプ)を示す時刻情報を発信し、プロセッサ108に供給する。圧力センサ107は、ユーザが電子ペン1によりスクリーン4に文字やマークを書いたりタップしたりする際にペン先部103からペン部104を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ108へ伝送する。
【0026】
プロセッサ108は、圧力センサ107から与えられる筆圧データに基づいて、LED105及びCMOSカメラ106のスイッチのオン/オフを切換える。即ち、ユーザが電子ペン1でスクリーン4に文字などを書くと、ペン先部103に筆圧がかかり、圧力センサ107によって所定値以上の筆圧が検出されたときに、プロセッサ108は、ユーザが記入を開始したと判定して、LED105及びCMOSカメラ106を作動させる。
【0027】
LED105とCMOSカメラ106は、電子ペン1のペン先部103付近に取り付けられており、筐体101におけるLED105及びCMOSカメラ106と対向する部分には、開口部102が形成されている。LED105は、スクリーン4上のペン先部103近傍に向けて赤外線を照明する。その領域は、ペン先部103がスクリーン4に接触する位置とはわずかにずれている。CMOSカメラ106は、LED105によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ108に供給する。ここで、カーボンは赤外線を吸収するため、LED105によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、CMOSカメラ106の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、CMOSカメラ106による撮影領域は、図3(a)に示すような約2mm×約2mmの大きさを含む範囲であり、CMOSカメラ106の撮影は毎秒50〜100回程度の定間隔で行われる。
【0028】
プロセッサ108は、ユーザの記入が行われる間、CMOSカメラ106によって供給される画像データのドットパターンから、ユーザが記入するストローク(筆跡)のスクリーン4上におけるX,Y座標(単に「位置座標」、「座標データ」とも呼ぶ)とスクリーン4に固有のドットパターンアドレス(コード化パターンアドレス)とを連続的に演算していく。すなわち、プロセッサ108は、CMOSカメラ106によって供給される、図3(a)に示されるようなドットパターンの画像データを図3(b)に示すデータ配列に変換し、さらに、X座標ビット値及びY座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データ及びドットパターンアドレスを演算する。そしてプロセッサ108は、リアルタイムクロック110から発信される現在時刻(タイムスタンプ:記入された時刻情報)、筆圧データ、ドットパターンアドレス及びX,Y座標データとを関連付ける。なお、スクリーン4における6×6のドットパターンは、スクリーン4内で重複することはないため、ユーザが電子ペン1で文字等を記入すると、記入された位置がスクリーン4のどの位置に当たるかを、プロセッサ108による座標演算により特定することができる。
【0029】
メモリ109には、電子ペン1を識別するための「pen01」といったペンID、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット111は、ペンID(電子ペン識別情報)と、時刻情報(タイムスタンプ)と、筆圧データと、ドットパターンアドレスと、X,Y座標データとを関連付けて、記入情報としてコンピュータ装置2へ送信する。通信ユニット111によるコンピュータ装置2への送信は、Bluetooth(登録商標)の無線送信によって、即時的かつ逐次的に行われる。
【0030】
[コンピュータ装置]
次に、コンピュータ装置2について説明する。コンピュータ装置2は、ハードウェアとして、電子ペン1とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、ディスプレイ、マウスやキーボード等で構成されるパーソナルコンピュータ等で構成される。図5は、コンピュータ装置2の機能ブロック図である。コンピュータ装置2は、機能的には、マウスやキーボードといった入力手段21、受信手段22、処理手段24、記憶手段25、表示手段26及び送信手段27を備える。そして、コンピュータ装置2は、電子ペン1から受信した記入情報に基づいて所定の処理を行う。
【0031】
受信手段22は、アンテナや受信回路等により構成され、電子ペン1から記入情報を受信し、処理手段24に伝送する。送信手段27は、処理手段24の指示によって、表示手段26の画像表示に用いられる画像信号をプロジェクター3に送信するもので、プロジェクター3へのデータ送信方式は、有線式であっても無線式であってもよい。表示手段26は、ディスプレイ等によって構成され、処理手段24によって指示された内容を表示する。
【0032】
記憶手段25は、ハードディスクやROM、RAMといったメモリによって構成される。記憶手段25には、スクリーン4上のドットパターン(コード化パターン)による位置座標とコンピュータ装置2の表示手段26における表示画面上の位置座標との位置合わせ(キャリブレーション)処理を行うためのプログラムが記憶されている。このプログラムに関して、記憶手段25は、スクリーン4における入力設定エリア(位置合わせ指示エリア)404の座標範囲や、キャリブレーション処理の際に表示されるウィンドウ5の表示座標範囲、表示基準点、認識基準点等の位置座標等を記憶する。また、記憶手段25は、処理手段24によってキャリブレーション処理が実行されると定義される、座標入力領域403を記憶する。さらに、記憶手段25には、電子ペン1でスクリーン4に手書きを行うことによって生成された記入情報を処理するプログラム等も記憶されている。
【0033】
処理手段24は、CPU等のプロセッサによって構成され、受信手段22により電子ペン1から受信した記入情報に基づいて、表示手段26に対して種々の形態で記入内容を表示させたり、記憶手段25に記憶されたキャリブレーション処理を行うプログラムを起動させて、キャリブレーション処理を行ったりする。特に、電子ペン1から、スクリーン4の入力設定エリア(位置合わせ(キャリブレーション)指示エリア)404内に形成されたドットパターンに対応する位置座標を受信した場合には、処理手段24は、キャリブレーション・プログラムを起動して、キャリブレーション処理を開始する。そして、処理手段24は、キャリブレーション処理の実行により、コンピュータ装置2の表示画面に対応する位置座標を、スクリーン4上で電子ペン1により正確に入力可能な座標入力領域403を定義する。また、処理手段24は、表示手段26に表示させる画像と同じ画像を同期させてプロジェクター3に投影させるための画像信号を、送信手段27に対してプロジェクター3へ送信させる。
【0034】
プロジェクター3は、コンピュータ装置2の送信手段27から受信した画像信号に基づいて、表示手段26に表示された画像と同様の画像をスクリーン4の領域403に映し出す。
【0035】
<キャリブレーション起動処理のフロー>
次に、図6〜図12を参照して、本投影型入出力システム10におけるキャリブレーションの処理について説明する。
【0036】
図6は、キャリブレーション起動処理のフロー図である。まず、ユーザが、電子ペン1を用いて、スクリーン4の用紙402上に記入ないしタップを行う。すると、電子ペン1は、圧力センサ107によって所定値以上の筆圧が検出されたことにより用紙402への接触を検出し、LED105によって赤外線を照射しつつカメラ106によって筆跡に沿ってドットパターンを撮像し、プロセッサ108によって、撮像されたドットパターンの画像データから筆跡に応じた位置座標を演算し、当該位置座標、リアルタイムクロック110により発信された現在時刻、筆圧データ(以上、「ストローク情報」)及びペンIDと関連付けて、記入情報として即時且つ逐次的にコンピュータ装置2へ送信する(ステップS101)。
【0037】
コンピュータ装置2では、受信手段22が、電子ペン1から記入情報(ストローク情報及びペンID)を受信すると、その記入情報を記憶手段25に記憶する(ステップS201)。そして、処理手段24は、まず、スクリーン4上の座標入力領域403が定義されているかどうか確認する(ステップS202)。処理手段24は、座標入力領域403が定義されていないと認識した場合は(ステップS202:No)、キャリブレーション処理が実行されていないとして、キャリブレーション処理を開始する(ステップS207)。したがって、キャリブレーション処理が実行されていない状態のときに、ユーザが、電子ペン1でスクリーン4に書き込もうとすれば、キャリブレーション処理が開始される。
【0038】
一方、処理手段24は、座標入力領域403が定義されていると認識した場合(ステップS202:Yes)、電子ペン1から送信された記入情報から、入力設定エリア(位置合わせ指示エリア)404が電子ペン1により指示されたか否か判定する(ステップS203)。処理手段24は、入力設定エリア404が指示されたと認識した場合(ステップS203:Yes)、キャリブレーション処理を開始する(ステップS207)。これにより、一旦、キャリブレーション処理が実行された後で、スクリーン4とプロジェクター3との相対的な位置関係が変わってしまった場合であっても、ユーザが、スクリーン4の入力設定エリア404を電子ペン1で指示することによってキャリブレーション処理を開始させることができる。
【0039】
ステップS203において、処理手段24が、入力設定エリア404は指示されていないと認識した場合(ステップS203:No)、受信して取得した記入情報に含まれるストローク情報の位置座標が、キャリブレーション処理により定義した、座標入力領域403の範囲外の位置座標であるか否か判断する(ステップS204)。処理手段24は、受信して取得した位置座標が、座標入力領域403の範囲外の位置座標であると判断した場合(ステップS204:Yes)、図7に示すような画像を、プロジェクター3に対してスクリーン4に投影させて、ユーザに、キャリブレーション処理を開始するかどうか選択させる(ステップS206)。すなわち、図7に示すように、処理手段24は、キャリブレーション処理を開始するかどうかをユーザに選択させるためのウィンドウ5を投影させる。ここで、処理手段24は、このウィンドウ5内に、キャリブレーション処理を開始するための「OK」ボタン501と、開始しないための「キャンセル」ボタン502とを投影させる。これにより、キャリブレーション処理の必要性がある場合にその処理を行い、不要の場合はその処理を行わないよう、ユーザに選択させることができる。
【0040】
ユーザが、偶然にキャリブレーション処理後の座標入力領域403の範囲外を電子ペン1で指示してしまったが、プロジェクター3とスクリーン4との相対的な位置関係は、キャリブレーション処理の後、変わっていない場合は、キャリブレーション処理を実行させる必要がない。その場合、ユーザは、スクリーン4に投影された「キャンセル」ボタン502を電子ペン1でタップする。処理手段24は、「キャンセル」ボタン502が投影された座標領域内のドットパターンに対応する位置座標を含む記入情報を受信すると、後述するように記憶手段25に記憶された「キャンセル」ボタン502が投影されるべき座標領域内の指示であったと認識するため、キャリブレーション処理を開始させないよう選択されたものと認識し(ステップS206:No)、処理を終了させる。
【0041】
一方ステップS204において、キャリブレーション処理の後に、プロジェクター3かスクリーン4を動かしてしまい、プロジェクター3とスクリーン4との相対的な位置関係がわずかにずれてしまった場合、スクリーン4に投影された「OK」ボタン501を、ユーザが電子ペン1でタップする。その場合には、「OK」ボタン501が投影された座標領域と、記憶手段25で記憶している「OK」ボタン501が投影されるべき座標領域との間に若干のズレが生じているが、処理手段24は、「OK」ボタン501が投影されるべき領域内のドットパターンに対応する位置座標を含む記入情報を受信した場合には、キャリブレーション処理を開始するよう選択されたものと認識し(ステップS206:Yes)、キャリブレーション処理を開始する(ステップS207)。
【0042】
ところが、キャリブレーション処理の後に、プロジェクター3かスクリーン4を相当程度動かしてしまい、プロジェクター3とスクリーン4との相対的な位置関係が相当にずれてしまった場合、「OK」ボタン501が投影された領域と、記憶手段25で記憶している「OK」ボタン501が投影されるべき領域との間に相当のズレが生じてしまう。これでは、「OK」ボタン501が投影されたスクリーン4を、ユーザが電子ペン1でタップしたとしても、処理手段24は、「OK」ボタン501が選択されたものと認識することはできない。したがって、処理手段24は、「キャンセル」ボタン502への電子ペン1による指示を認識しなかった場合には、所定時間(例えば5秒)経過後に、キャリブレーション処理を開始する(ステップS206:Yes→ステップS207)。ここで、処理手段24は、ウィンドウ5に、例えば図7に示すような「あと5秒でキャリブレーションを再設定します」という表示に加え、秒数のカウントダウン表示をする。これにより、プロジェクター3とスクリーン4との相対的な位置関係が相当程度ずれていて、キャリブレーション処理を実行させる選択をユーザが行うことができなくとも、キャリブレーション処理を開始させることができる。
【0043】
なお、「OK」ボタン501及び「キャンセル」ボタン502が投影されるべき座標領域は、キャリブレーション処理後もずれる可能性がある。したがって、処理手段24は、ステップS207において、キャリブレーション処理を実行する都度、「OK」ボタン501及び「キャンセル」ボタン502が投影されるべき座標領域を演算して、記憶手段25に更新して記憶させる。
【0044】
また、「OK」ボタン501及び「キャンセル」ボタン502の選択は、電子ペン1によらずに、コンピュータ装置2の表示手段26における画面表示上で、マウス操作かキーボード操作によっても選択できるようにするとよい。この場合、処理手段24は、入力手段21のマウスあるいはキーボードの操作による「OK」ボタン501及び「キャンセル」ボタン502の選択を認識して、ステップS207におけるキャリブレーション処理を開始するか否かの判断を行う。
【0045】
このように、キャリブレーション処理後に、スクリーン4とプロジェクター3との相対的な位置関係が変わってしまう可能性があるため、処理手段24が、電子ペン1から、キャリブレーション処理によって規定されたスクリーン4における正確な座標入力が可能とされる座標入力領域403の範囲外の記入情報を受信したときに(ステップS204:Yes)、図7に示すような、キャリブレーション処理の開始を選択するためのウィンドウ5をプロジェクター3からスクリーン4に投影させて、ユーザに選択させることで、必要に応じてキャリブレーション処理を実行することができる。
【0046】
<キャリブレーション処理>
次に、図6のステップS207におけるキャリブレーション処理について、図8〜図11を参照しつつ説明する。
【0047】
図8は、キャリブレーション処理のフロー図である。図9は、スクリーン4に投影された表示基準点を示す画像である。処理手段24は、キャリブレーション処理を開始すると、表示手段26の表示画面201に第1表示基準点601を表示させるとともに、図9に示すように、プロジェクター3に対して、スクリーン4上に、第1表示基準点601を投影させて、ユーザに電子ペン1による第1表示基準点601が投影された位置へのタップを促す(ステップS401)。続いて、ユーザが電子ペン1を用いて、第1表示基準点601が投影された位置(同心円の中心)へタップすると、電子ペン1は、タップ位置におけるドットパターンを読み取ってストローク情報を生成し、ペンIDと対応づけて得られた記入情報をコンピュータ装置2へ送信する(ステップS301)。コンピュータ装置2では、電子ペン1より記入情報を受信手段22によって受信すると、処理手段24は、記入情報のうち、ペンアップの位置座標を、第1表示基準点601が投影された位置宛てに指示された用紙402上の認識基準点1として、記憶手段25に記憶する(ステップS402)。
【0048】
さらに、処理手段24は、表示手段26の表示画面201に第2表示基準点602を表示させるとともに、プロジェクター3に対して、スクリーン4上に、第2表示基準点602を投影させて(図9参照)、ユーザに電子ペン1による第2表示基準点602が投影された位置へのタップを促す(ステップS403)。続いて、ユーザが電子ペン1を用いて、第2表示基準点602が投影された位置(同心円の中心)へタップすると、電子ペン1は、タップ位置におけるドットパターンを読み取ってストローク情報を生成し、ペンIDと対応づけて得られた記入情報をコンピュータ装置2へ送信する(ステップS302)。コンピュータ装置2では、電子ペン1より記入情報を受信手段22によって受信すると、処理手段24は、記入情報のうち、ペンアップの位置座標を、第2表示基準点602が投影された位置宛てに指示された用紙402上の認識基準点2として、記憶手段25に記憶する(ステップS404)。
【0049】
そして、処理手段24は、ドットパターンの演算による用紙402上の第1,第2表示基準点及び、表示手段26の表示画面201上の認識基準点1,2の座標値に基づいて、用紙402上の位置座標から、コンピュータ装置2における表示画面201上の位置座標を演算するための演算式を求めて、記憶手段25に記憶する。それとともに、処理手段24は、キャリブレーション処理の結果、電子ペン1によりスクリーン4上で位置座標が表示画面201に対応して正確に入力可能な座標入力領域403を確定し、その座標領域を定義して、記憶手段25に記憶する(ステップS405)。
【0050】
ここで、キャリブレーション用の演算式の求め方について、図10及び図11を参照して説明する。
【0051】
図10は、コンピュータ装置2の表示画面201上における第1,第2表示基準点の位置座標を示す図である。図10に示すように、コンピュータ装置2の表示手段(ディスプレイ)26の表示画面201において、X軸を右方向、Y軸を下方向にとり、以下の座標を次のようにする。
左上端点:座標202(Xamin,Yamin)、
右下端点:座標203(Xamax,Yamax)、
第1表示基準点:座標204(Xa1,Ya1)、
第2表示基準点:座標205(Xa2,Ya2)、
ただし、Xamin ≦ Xa1 < Xa2 ≦ Xamax、
Yamin ≦ Ya1 < Ya2 ≦ Yamax、
【0052】
図11は、スクリーン4の用紙402上における認識基準点1,2の位置座標を示す図である。認識基準点1,2は、コンピュータ装置2の表示画面201上における第1,第2表示基準点がスクリーン4に投影され、電子ペン1によって指示されたドットパターン(コード化パターン)の解析に基づく位置座標である。図11に示すように、プロジェクター3によってスクリーン4に投影される座標入力領域403において、X軸を右方向、Y軸を下方向にとり、以下の座標を次のようにする。
左上端点:座標405(Xb0,Yb0)、
座標入力領域403の左上端点:座標406(Xbmin,Ybmin)、
座標入力領域403の右下端点:座標407(Xbmax,Ybmax)、
認識基準点1:座標408(Xb1,Yb1)、
認識基準点2:座標409(Xb2,Yb2)、
ただし、Xb0 ≦ Xbmin < Xb1 < Xb2 ≦ Xbmax、
Yb0 ≦ Ybmin < Yb1 < Yb2 ≦ Ybmax、
【0053】
すると、コンピュータ装置2の表示領域201における第1表示基準点の座標204(Xa1,Ya1)及び第2表示基準点の座標205(Xa2,Ya2)が、スクリーン4の用紙402上のドットパターンにおける認識基準点1の座標408(Xb1,Yb1)及び認識基準点2の座標409(Xb2,Yb2)にそれぞれ対応する。そして、スクリーン4に投影される座標入力領域403を規定する左上端点座標406(Xbmin,Ybmin)及び右下端点座標407(Xbmax,Ybmax)(長方形状の座標入力領域403の各対頂角点)は次の数式で表すことができる。
[数式1] Xbmin = Xb1 − (Xa1 − Xamin)×(Xb2 − Xb1)/(Xa2 − Xa1)
[数式2] Ybmin = Yb1 − (Ya1 − Yamin)×(Yb2 − Yb1)/(Ya2 − Ya1)
[数式3] Xbmax = Xb2 + (Xamax − Xa2)×(Xb2 − Xb1)/(Xa2 − Xa1)
[数式4] Ybmax = Yb2 + (Yamax − Ya2)×(Yb2 − Yb1)/(Ya2 − Ya1)
この座標値を対頂角点とする長方形状の領域から、ステップS204における座標入力領域403を規定することができる。
【0054】
そして、スクリーン4の用紙402上のドットパターンで規定される位置座標(Xbn,Ybn)から、コンピュータ装置2の表示手段26における表示画面201上の位置座標(Xan,Yan)は、次の式で求めることができる。
[数式5] Xan = Xamin+[ Xbn − (Xbmin−Xb0)] ×(Xa2−Xa1)/(Xb2−Xb1)
[数式6] Yan = Yamin+[ Ybn − (Ybmin−Yb0)] ×(Ya2−Ya1)/(Yb2−Yb1)
よって、処理手段24は、上式により、スクリーン4上の位置座標(Xbn,Ybn)を、コンピュータ装置2の表示画面201上の位置座標(Xan,Yan)に変換して、各種処理を行っていく。なお、スクリーン4に対するプロジェクター3の角度によって、演算式の項に歪みを補正する所定の係数をかけるようにしてもよい。
【0055】
キャリブレーション処理後、スクリーン4上で位置座標が表示画面201に対応して正確に入力可能であるとして定義された座標入力領域403内において、ユーザが、電子ペン1を用いて文字等を書き込む。すると、電子ペン1は、筆跡のストロークに応じたストローク情報を生成し、ペンIDと対応付けた記入情報をコンピュータ装置2へ送信する(ステップS101)。コンピュータ装置2では、受信手段22によって記入情報を受信すると、処理手段24は、その記入情報を記憶手段25に記憶し(ステップS201)、位置座標が表示画面201に対応して正確に入力可能な座標入力領域403が定義されていると判断するが(ステップS202:Yes)、受信した記入情報は、入力設定エリア(位置合わせ指示エリア)401内の情報ではないと判断する(ステップS203:No)。さらに、処理手段24は、取得された記入情報は、座標入力領域403外ではないと判断する(ステップS204:No)ため、記入情報のストローク情報に含まれる位置座標(Xbn,Ybn)を、キャリブレーション処理によって得られた演算式を用い、コンピュータ装置2の表示画面201上の位置座標(Xan,Yan)に変換して、ストロークを描画したり、各種処理を行ったりしていく。
【0056】
つまり、図12に示すように、ユーザが、スクリーン4の座標入力領域403内に電子ペン1で文字等を記入すると、コンピュータ装置2は、筆跡に応じたストロークの線分を描画し、スクリーン4上の筆跡とずれることなく、ストロークの線分をプロジェクター3によって投影させる。また、キャリブレーション処理によって、スクリーン4上の位置座標とコンピュータ装置2の表示手段26における表示画面201上の位置座標とが演算式による座標変換により位置合わせされているため、スクリーン4の座標入力領域403内に投影されたメニューやアイコンを電子ペン1で選択することにより、アプリケーションを操作したり起動させたりすることも可能となる。
【0057】
<本第1実施形態の作用効果>
本第1実施形態における投影型入出力システム10においては、まず、スクリーン4に、入力設定エリア(位置合わせ指示エリア)404を設けているため、ユーザが、スクリーン4の入力設定エリア(位置合わせ指示エリア)404を電子ペン1で指示することによって任意に位置合わせ(キャリブレーション)処理を開始させることができる。この入力設定エリア(位置合わせ指示エリア)404は、プロジェクター3によってスクリーン4に投影される領域403の範囲外に設けられているため、コンピュータ装置2の表示画面201内への記入(座標入力)と混同しない。
【0058】
また、ステップS202において、キャリブレーション処理が実行されていないために、スクリーン4上で表示画面201に対応して正確に入力可能な座標入力領域403が定義されていない場合(ステップS202:No)、ユーザが、それに気づかずに、電子ペン1でスクリーン4に書き込もうとしたとしても、キャリブレーション処理が開始される(ステップS207)。したがって、キャリブレーション処理が実行されていない状態での、電子ペン1による記入を防止することができる。
【0059】
また、処理手段24は、キャリブレーション処理によって規定された座標入力領域403が定義されていたとしても、電子ペン1により、入力設定エリア(位置合わせ指示エリア)404が指示されたと認識した場合(ステップS203:Yes)、キャリブレーション処理を開始する(ステップS207)。したがって、一旦、キャリブレーション処理が実行された後で、スクリーン4とプロジェクター3との相対的な位置関係がずれてしまっても、ユーザが、意識的にスクリーン4の入力設定エリア(位置合わせ指示エリア)404を電子ペン1で指示することによってキャリブレーション処理を開始させることができる(ステップS207)。
【0060】
また、処理手段24が、キャリブレーション処理によって規定された座標入力領域403の範囲外の記入情報を受信したときには(ステップS204:Yes)、キャリブレーション処理後に、スクリーン4とプロジェクター3との相対的な位置関係がずれた可能性があるため、必要に応じてユーザにキャリブレーション処理の実行を選択させることで(ステップS206:Yes)、キャリブレーション処理を開始させることができる(ステップS207)。その際、プロジェクター3とスクリーン4との相対的な位置関係が相当にずれてしまった場合には、図7に示す「OK」ボタン501の選択はできない可能性があるため、ユーザが何ら操作をしなくとも、処理手段24が所定時間経過後自動的に、キャリブレーション処理を開始する(ステップS207)。
【0061】
このように、本実施形態の投影型入出力システム10は、キャリブレーション処理を必要に応じて行うことができる。キャリブレーション処理後は、演算式により位置座標を変換して、位置座標を補正することができる。
【0062】
〔変形例〕
なお、上記第1実施形態は次のように構成してもよい。
【0063】
上記第1実施形態のステップS204において、処理手段24が、キャリブレーション処理によって規定された座標入力領域403の範囲外の記入情報を受信したときには(ステップS204:Yes)、ステップS206を経ずに、即時にキャリブレーションの処理を開始してもよい(ステップS207)。ユーザが、座標入力領域403の範囲外で電子ペン1の記入を行った場合は、プロジェクター3とスクリーン4との相対的な位置関係が相当程度ずれている可能性が高いからである。
【0064】
あるいは、上記実施形態のステップS204において、処理手段24が、キャリブレーション処理によって規定された座標入力領域403の範囲外の記入情報を受信したと判断する基準として、受信した記入情報の位置座標と、座標入力領域403を構成する辺のうち当該受信した記入情報の位置座標から最も近い辺との距離(辺に対して位置座標から垂線を延ばした距離)を求め、その距離が所定長さ(例えば1cm)以上であることを条件としてもよい。受信した位置座標の座標入力領域403からの距離が短ければ、座標入力領域403の範囲外の記入情報を受信したことは、プロジェクター3とスクリーン4との相対的な位置関係のズレが原因ではない可能性が高いからである。
【0065】
また、図7に示すキャリブレーション処理の開始の選択処理を、各ステップS202,S203からキャリブレーション処理を開始する前に行ってもよい。
【0066】
<第2実施形態>
次に、第2実施形態における投影型入出力システム11を説明する。第2実施形態の説明では、第1実施形態と異なる構成を中心に説明する。また、第2実施形態において、第1実施形態と同じ符号を付している構成は、特に言及しないものについては、第1実施形態と同様の構成である。
【0067】
図13は、本第2実施形態における投影型入出力システム11のシステム構成図である。第1実施形態の投影型入出力システム10においては、入力設定エリア404がスクリーン4の用紙402に形成されているのに対し、本第2実施形態の投影型入出力システム11においては、入力設定エリア704は、位置座標を示すドットパターンが印刷された操作シート7に形成されており、操作シート7がスクリーン4の用紙402とは別の用紙となっている点で相違する。その他の構成は、第1実施形態と同様である。ユーザが操作シート7を手元に持つことで、電子ペン1による入力設定エリア704へのタップがしやすくなっている。
【0068】
<キャリブレーション起動処理のフロー>
次に、図14を参照して、本投影型入出力システム11におけるキャリブレーションの処理について説明する。
【0069】
上述のように、第2実施形態では、用紙402と操作シート7とが別の用紙となっている。そのため、第2実施形態におけるキャリブレーション起動処理のフロー(図14参照)は、第1実施形態におけるキャリブレーション起動処理のフロー(図6参照)と比べると、コンピュータ装置2において、受信した記入情報(ストローク情報及びペンID)を記憶手段25に記憶した後(ステップS601)、処理手段24は、記入情報がスクリーン4の用紙402に記入されたものであるのか否かを判定し(ステップS602)、記入情報がスクリーン4の用紙402に記入されたものと判定したとき(ステップS602:Yes)は、座標入力領域403が定義されているか否か判定し(ステップS603)、記入情報がスクリーン4の用紙402に記入されたものではないと判定したとき(ステップS602:No)は、当該記入情報は操作シート7の入力設定エリア704に記入されたものであるか否かを判定する(ステップS607)。そのうえで、処理手段24は、当該記入情報が操作シート7の入力設定エリア704に記入されたものと判定したときは(ステップS607:Yes)、キャリブレーション処理を開始し(ステップS608)、当該記入情報が操作シート7の入力設定エリア704に記入されたものではないと判定したときは(ステップS607:No)、処理を終了する。
【0070】
その他の処理は実施形態1と同様であり、図14に示すステップS603,S604,S605,S606,S608のそれぞれの処理は、第1実施形態における図6のステップS202,S204,S205,S206,S207の処理と同様である。
【0071】
<本第2実施形態の作用効果>
本第2実施形態における投影型入出力システム11においても、本第1実施形態における投影型入出力システム10と同様の作用効果を奏するとともに、操作シート7がスクリーン4の用紙402とは別の用紙となっているため、ユーザが操作シート7を手元に持つことで、電子ペン1による入力設定エリア704へのタップがしやすくなる。
【0072】
〔変形例〕
本第2実施形態においても、第1実施形態と同様の変形的な構成を採用することができる。
【0073】
また、上記第1,第2実施形態では、2点の位置座標に基づいて、キャリブレーション処理を行ったが、3点以上の位置座標に基づいて、キャリブレーション処理を行ってもよい。また、上記実施形態では、プロジェクター3として、フロントタイプのプロジェクターを例に挙げたが、リアプロジェクターにも適用することができる。また、ドットパターン(コード化パターン)は、アノト方式に限らなくともよい。
【0074】
また、上記第1,第2実施形態において、電子ペン1はインクカートリッジを有していないものとしたが、ペン部104をインクカートリッジとして電子ペン1で用紙402に直接文字等を書くことができるようにしてもよい。この場合、コンピュータ装置2では、電子ペン1で描かれたストロークを表示手段26には表示するが、プロジェクター3では投影しないような画像信号をコンピュータ装置2からプロジェクター3へ出力するようにするとよい。
【産業上の利用可能性】
【0075】
本投影型入出力システムは、学校の授業や企業での会議室、プレゼンテーションなどで利用することができる。
【符号の説明】
【0076】
1…電子ペン
2…コンピュータ装置
21…入力手段
22…受信手段
24…処理手段
25…記憶手段
26…表示手段
27…送信手段
201…表示画面
204…第1表示基準点
205…第2表示基準点
3…プロジェクター
4…スクリーン
401…マグネット板(ホワイトボード)
402…用紙
403…画像投影領域・座標入力領域
404…入力設定エリア(位置合わせ(キャリブレーション)指示エリア)
408…認識基準点1
409…認識基準点2
5…ウィンドウ
501…「OK」ボタン
502…「キャンセル」ボタン
601…第1表示基準点の投影位置、認識基準点1
602…第2表示基準点の投影位置、認識基準点2
10,11…投影型入出力システム
【特許請求の範囲】
【請求項1】
位置座標を示すコード化パターンが形成されたスクリーンと、
前記コード化パターンを読み取る電子ペンと、
前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、
前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える投影型入出力システムであって、
前記コンピュータ装置は、前記スクリーン上の位置座標と前記コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせの処理によって規定された範囲から外れた領域におけるコード化パターンに関する情報を受信すると、前記位置合わせの処理を開始することを特徴とする投影型入出力システム。
【請求項2】
前記コンピュータ装置は、前記位置合わせの処理を開始する前に、当該処理を行うか否かの選択を入力可能とすることを特徴とする請求項1に記載の投影型入出力システム。
【請求項3】
前記コンピュータ装置は、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信して、所定時間経過後に、前記位置合わせの処理を開始することを特徴とする請求項2に記載の投影型入出力システム。
【請求項4】
位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える投影型入出力システムにおける前記コンピュータ装置により実行されるプログラムであって、
前記コンピュータ装置に、前記スクリーン上の位置座標と前記コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせの処理が実行された状態において、前記電子ペンから、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信すると、前記位置合わせの処理を開始させることを特徴とするプログラム。
【請求項5】
前記コンピュータ装置に、前記位置合わせの処理を開始する前に、当該処理を行うか否かの選択を入力可能とさせることを特徴とする請求項4に記載のプログラム。
【請求項6】
前記コンピュータ装置に、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信して、所定時間経過後に、前記位置合わせの処理を開始させることを特徴とする請求項5に記載のプログラム。
【請求項1】
位置座標を示すコード化パターンが形成されたスクリーンと、
前記コード化パターンを読み取る電子ペンと、
前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、
前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える投影型入出力システムであって、
前記コンピュータ装置は、前記スクリーン上の位置座標と前記コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせの処理によって規定された範囲から外れた領域におけるコード化パターンに関する情報を受信すると、前記位置合わせの処理を開始することを特徴とする投影型入出力システム。
【請求項2】
前記コンピュータ装置は、前記位置合わせの処理を開始する前に、当該処理を行うか否かの選択を入力可能とすることを特徴とする請求項1に記載の投影型入出力システム。
【請求項3】
前記コンピュータ装置は、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信して、所定時間経過後に、前記位置合わせの処理を開始することを特徴とする請求項2に記載の投影型入出力システム。
【請求項4】
位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える投影型入出力システムにおける前記コンピュータ装置により実行されるプログラムであって、
前記コンピュータ装置に、前記スクリーン上の位置座標と前記コンピュータ装置の表示手段における表示画面上の位置座標との位置合わせの処理が実行された状態において、前記電子ペンから、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信すると、前記位置合わせの処理を開始させることを特徴とするプログラム。
【請求項5】
前記コンピュータ装置に、前記位置合わせの処理を開始する前に、当該処理を行うか否かの選択を入力可能とさせることを特徴とする請求項4に記載のプログラム。
【請求項6】
前記コンピュータ装置に、前記位置合わせの処理によって規定された前記スクリーンの範囲から外れた領域におけるコード化パターンに関する情報を受信して、所定時間経過後に、前記位置合わせの処理を開始させることを特徴とする請求項5に記載のプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2010−211637(P2010−211637A)
【公開日】平成22年9月24日(2010.9.24)
【国際特許分類】
【出願番号】特願2009−58601(P2009−58601)
【出願日】平成21年3月11日(2009.3.11)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
【公開日】平成22年9月24日(2010.9.24)
【国際特許分類】
【出願日】平成21年3月11日(2009.3.11)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
[ Back to top ]