説明

ストリームドットを用いた情報入力補助シートおよび情報処理システム

【課題】低コスト、入力精度と入力効率が極めて高く、装着対象を選ばない情報入力補助シートの提供。
【解決手段】印刷面または表示画面上に配置され、光学読取り装置で読取られるドットパターンが設けられた情報入力補助シートで、所定の規則にしたがって線状に連続して複数の基準ドットを配置し、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設け、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設け、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設け、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置することによりストリームドットパターンを複数並べて形成したドットパターン層と、からなる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ストリームドットパターンが印刷されたシートと、当該シートを用いた情報処理システムに関する。
【背景技術】
【0002】
従来、パーソナルコンピュータ、PDA、ハンディ端末等のオペレーションにおいて、画面に直接指先またはタッチペン等で入力する技術が知られている(例えば、特許文献1)。
【0003】
これらの従来技術では、たとえば、タッチペンの操作された座標を感圧式または光学式のタッチパネルで認識して、その制御を制御手段に通知する方法であった。
【0004】
しかし、従来のタッチパネル技術は、使用する部品・材料が高価であり、その殆どがハードウェアと一体に製造されるものであり、そのため、タッチパネルを備えたパーソナルコンピュータやATMなどの装置は、非常に高価なものであった。
【0005】
このような問題を解決するため、ディスプレイの上に着脱可能に装着するためのタッチパネルも一部、開発されている(例えば、特許文献2)。
【0006】
【特許文献1】特開平10−171600号公報
【特許文献2】特開2001−92595号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかし、既に使用されているハードウェアにタッチパネルを装着する場合、高価であると共に機種や使用条件が限られており、広く簡易に使用することができなかった。しかも、ディスプレイの上に着脱可能に装着するためのタッチパネルにおいても、感圧式のものがほとんどであるため、タッチパネル入力による反応が良好ではなく、かつ、指で直接タッチするためにタッチパネルそのものが汚れて、ディスプレイの認識性が悪くなるという欠点を有していた。
【0008】
さらに、従来の着脱式のタッチパネルは、ディスプレイ上に装着するものしか提案されておらず、それ以外の印刷物あるいは媒体上で用いるものは全く提案されていなかった。
【0009】
そこで、簡易で低コストであり、かつ、入力精度ならびに入力効率の極めて高く、装着対象を選ばない情報入力補助シートおよび情報処理システムを提案している。
【0010】
この情報入力補助シートは、例えば既存のディスプレイ画面上に配置される。ユーザが情報入力補助シートを透してディスプレイ画面上の通常のサイズ等のアイコン等をスキャナペンでタッチすると、そのアイコン等に対応した情報が出力される。
【0011】
また、この情報入力補助シートは、例えば既存の印刷物の上に被せて使用される。ユーザが情報入力補助シートを透して印刷物上の文字や図柄をスキャナペンでタッチすると、その文字や図柄に対応した情報が、ディスプレイやスピーカ等から出力される。
このように、従来のタッチパネルであれば、指でアイコンをタッチするため、アイコンも大きく設けられており、入力時の誤差の許容範囲が大きく、タッチパネルの入力精度はそれほど高くする必要はなかった。
【0012】
しかし、既存の画面表示や印刷物と共に用いることも想定される情報入力補助シートでは、既存のアイコン表示や印刷物の表示がタッチによる指示を考慮したものではなく、表示が細かいため、表示された画像や印刷された図柄をタッチするときには、高い入力精度が要求されることがある。
【0013】
本発明はこのような点に鑑みてなされたものであり、簡易で低コストであり、かつ、入力精度ならびに入力効率の極めて高く、装着対象を選ばない情報入力補助シートおよび情報処理システムを提供すること、および、簡易な方法により、情報入力補助シートと画面または印刷物との縦横比を正確に対応付け、高い入力精度を実現することのできる、情報入力補助シートを利用するためのキャリブレーション方法を提供することを技術的課題とする。
【課題を解決するための手段】
【0014】
(1)本発明に係る情報入力補助シートは、印刷物の印刷面またはディスプレイの表示画面上に配置され、前記印刷物の画像またはディスプレイの表示に関連した情報を出力するために、光学読み取り装置で読み取られるドットパターンが設けられた情報入力補助シートであって、種々のマルチメディア情報出力および/またはオペレーション指示のため、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成したドットパターン層と、からなることを特徴とする。
【0015】
これによれば、情報入力補助シートを配置した媒体面上での赤外線の吸収・透過等の特性が影響されることなく、赤外線照射手段から照射される赤外線を反射させ、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。また、簡易で低コストの情報入力補助シートを提供することができる。
【0016】
また、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が情報入力補助シートに隙間なく定義される。さらに、文字や五線譜、地図、図形などが情報入力補助シートに印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、ドットパターンが2次元コードとして形成される矩形領域の形状でのXY座標値によるインデックスの定義に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【0017】
(2)さらに本発明に係る情報入力補助シートでは、前記ストリームドットパターンは、前記第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、基準となる基準ドットを所定の位置に設けたことを特徴とする。
これによれば、新たな基準点を設けることにより、ストリームドットパターンの向きと一定情報のまとまりを、情報ドットを使用せず簡易に定義することができ、これにより、余計な情報の低減を押さえられる。さらに、新たな基準点の配置により情報ドットの始点となる仮想基準点の位置を正確に示すことができる。
【0018】
(3)さらに本発明に係る情報入力補助シートでは、前記ドットパターン層は、一面側または両面側からの赤外線を反射するとともに可視光を透過する特性を有する赤外線反射層、または、一面側または両面側からの赤外線を拡散反射するとともに可視光を透過する特性を有する赤外線拡散反射層の一面側または両面側に設けられていることを特徴とする。
【0019】
これによれば、赤外線反射層が設けられた場合には、情報入力補助シートを配置した媒体面上での赤外線の吸収・透過等の特性が影響されることなく、赤外線照射手段から照射される赤外線を反射させ、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。赤外線拡散反射層が設けられた場合には、1層で赤外線が照射された方向に赤外線を反射し、拡散させることができ、情報入力補助シートをより薄くし、且つ、情報入力補助シートの製造工程を少なくし低コストにすることができる。
【0020】
(4)さらに本発明に係る情報入力補助シートでは、前記赤外線反射層が設けられた情報入力補助シートであって、前記赤外線反射層とドットパターン層との間には、可視光を透過するとともに前記赤外線を拡散させる赤外線拡散層が設けられていることを特徴とする。
【0021】
これによれば、赤外線反射層で照射した赤外線が鏡面反射してレンズに入射できない撮影領域においても、照射した赤外線を拡散反射させることにより、赤外線をレンズ内に均一に入射させることが可能となる。
【0022】
(5)さらに本発明に係る情報入力補助シートでは、前記赤外線反射層が設けられた情報入力補助シートであって、前記赤外線反射層の一面側または両面側に設けられ前記ドットパターン層の外面側には、可視光を透過するとともに赤外線光を拡散させる赤外線拡散層が設けられていることを特徴とする。
【0023】
これによれば、赤外線反射層の上面にドットパターン層を設けた後に、赤外線拡散層を設けること、もしくは、赤外線拡散層の裏面にドットパターン層を設けた後に赤外線反射層を設けることができ、また、赤外線拡散層がドットパターン層の簡易的な保護層としての機能も兼ねられる。
【0024】
(6)さらに本発明に係る情報入力補助シートでは、前記赤外線反射層または前記赤外線拡散反射層の反ドットパターン層側には、テキスト、イラスト、写真等が重畳印刷されているか、または、前記ドットパターン層またはその他のいずれかの層には、赤外線透過材料からなるインクでテキスト、イラスト、写真等が重畳印刷されていることを特徴とする。
【0025】
これによれば、情報入力補助シートのドットパターンに操作ボタン等のアイコンや絵柄等を重畳印刷することができるため、固定化した種々のマルチメディア情報出力および/またはオペレーション指示を明示的に表現でき、使用用途を広げ利便性を高めることが可能となる。
【0026】
(7)さらに本発明に係る情報入力補助シートでは、一面側に前記ドットパターンが設けられた情報入力補助シートであって、光学読み取り装置で前記ドットパターンが読み取られる外面側には、粘着層が設けられていることを特徴とする。
【0027】
これによれば、情報入力補助シートをディスプレイ等に容易に貼り付けることが可能となる。
【0028】
(8)さらに本発明に係る情報入力補助シートでは、少なくとも光学読み取り装置で前記ドットパターンが読み取られる外面側には、赤外線光および可視光を透過する特性を有する保護層が設けられていることを特徴とする。
【0029】
これによれば、ドットの磨耗や汚れを防ぎ、シートを長期間使用することが可能となる。
【0030】
(9)さらに本発明に係る情報入力補助シートでは、前記媒体上のドットパターンをドットパターン読取手段で読み取ることにより、種々のマルチメディア情報出力および/またはオペレーション指示を行う、シール状、カード状、しおり状、付箋紙状に加工されたことを特徴とする。
【0031】
これによれば、情報入力補助シートを様々な形態に加工して、より利便性、柔軟性に富んだ情報入力補助シートを提供することが可能である。
【0032】
(10)本発明に係る情報処理システムは、請求項1〜8のいずれかに記載の前記情報入力補助シートは、情報処理装置のディスプレイの表示画面上に配置されており、少なくともXY座標値が定義された、該情報入力補助シート上のドットパターンをドットパターン読み取り手段で読み込むことにより、タッチパネル形式の入力を可能とし、前記ドットパターン読み取り手段から読み取られたドットパターンに基づいて前記情報処理装置への補助入力を行うことを特徴とする。
【0033】
これによれば、ドットパターンを形成した情報入力補助シートをディスプレイの表示画面上に貼付してドットパターン読取手段でタッチするだけでタッチパネルとしての機能を設けることができるため、簡易かつ低コストである情報処理システムを実現できる。
【0034】
(11)本発明に係る情報入力補助シートを用いたコンテンツ関連情報出力システムは、前記情報入力補助シートは、情報処理装置においてテキストやイラスト、写真等で表現されたコンテンツを表示するディスプレイの表示画面上に配置されており、前記情報入力補助シート上のドットパターンのXY座標値および/またはコード値をドットパターン読み取り手段で読み込み、該ディスプレイに表示されたコンテンツの書式情報上でのxy座標に変換することにより、タッチパネル形式の入力を可能とし、前記ドットパターン読み取り手段でタッチした位置のコンテンツ特定情報を認識し、当該コンテンツ特定情報に関連したコンテンツ関連情報を検索して出力することを特徴とする。
【0035】
これによれば、ディスプレイ上に情報入力補助シートを配置し、ドットパターン読取手段でタッチするだけで、ディスプレイ上のテキストやイラスト、写真等を特定して、その詳細な説明を画面に表示させることができる。そのため、ホームページ等でリンクが設定されていないテキストやイラスト、写真、アドレス等であっても、タッチすることにより、それらに関連する情報にアクセスすることが可能となり、よりユーザにとっての利便性が高まる。なお、コンテンツ特定情報はオペレーションを指示するものであってもよい。
【0036】
(12)本発明に係る情報処理システムは、前記情報処理装置は、パーソナルコンピュータ、PDA、テレビ受信装置、フロントおよびリアプロジェクター、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、時計、スマートフォンであり、タッチパネル形式の入力デバイスとしてディスプレイまたはスクリーンの表示画面上に配置されたことを特徴とする。
【0037】
これによれば、ディスプレイやスクリーンを有するあらゆる装置に、情報入力補助シートを用いた情報処理システムを用いることが可能となる。
【0038】
(13)本発明に係る情報処理システムは、請求項1〜8のいずれかに記載の前記情報入力補助シートは、印刷物の印刷面上に被せて使用され、少なくともXY座標値が定義された、該情報入力補助シート上のドットパターンをドットパターン読取手段により読み取り、認識した印刷面上のXY座標と、該印刷物を特定する印刷物特定情報と、から印刷情報上でのxy座標に変換することにより印刷情報を認識して、当該印刷情報に関連した情報を検索して出力することを特徴とする。
【0039】
これによれば、ディスプレイ上に情報入力補助シートを配置し、ドットパターン読取手段でタッチするだけで、ディスプレイ上のテキストやイラスト、写真等を特定して、その詳細な説明を画面に表示させることができる。そのため、ホームページ等でリンクが設定されていないテキストやイラスト、写真、アドレス等であっても、タッチすることにより、それらに関連する情報にアクセスすることが可能となり、よりユーザにとっての利便性が高まる。なお、コンテンツ特定情報はオペレーションを指示するものであってもよい。
【0040】
(14)さらに、前記情報入力補助シート上または、他のシートに、前記印刷物の印刷面を特定するインデックスを前記ドットパターン読取手段で入力するためのアイコンが、ドットパターンと共に重畳印刷されたことを特徴とする。
【0041】
これによれば、印刷物のページNo.等の情報をドットパターン読取手段で入力することができるため、ページNo.を特定するインデックスをキーボード等で入力する必要がなくなり、より汎用的に利用でき、利便性の高い簡易なシステムを提供することができる。
【0042】
なお、アイコンとは、矩形、円形その他の図形中に、テキスト、イラストまたは記号で特定の意味を認識させる領域のことを意味している。
【0043】
(15)本発明に係る情報処理システムは、前記情報入力補助シートは、一つまたは2以上の情報処理装置に接続された複数のディスプレイの表示画面上に配置されており、XY座標値と共に各ディスプレイを識別するコード値がドットパターンとして印刷されており、ドットパターン読み取り手段で読み取った前記コード値およびXY座標値を前記情報処理装置に送信し、どのディスプレイかを前記コード値で認識してタッチパネル形式の入力を可能とし、前記情報処理装置はディスプレイ個々に対応する、種々のマルチメディア情報出力および/またはオペレーション指示を認識し、出力情報を前記ディスプレイに表示することを特徴とする。
【0044】
これによれば、情報入力補助シートを用いて、シンクライアントシステムを提供することができる。サーバから映像や画像が配信される複数のディスプレイは、CPUが内蔵されていない一般のテレビモニタやスクリーンに情報入力補助シートを貼付して、ドットパターン読取手段でタッチパネル形式の入力を可能とする安価な入出力端末を実現できるため、低コストでシンクライアント形式の情報処理システムを構築することができる。
【0045】
(16)本発明に係る情報入力補助シートを用いた情報処理システムは、前記情報入力補助シートは、一つまたは2以上の情報処理装置に接続された複数のディスプレイの表示画面上に配置されており、ディスプレイを一意に識別するXY座標がドットパターンとして印刷されており、ドットパターン読み取り手段で読み取った前記XY座標値を前記情報処理装置に送信し、ディスプレイを特定してタッチパネル形式の入力を可能とし、前記情報処理装置はディスプレイ個々に対応する、種々のマルチメディア情報出力および/またはオペレーション指示を認識し、出力情報を前記ディスプレイに表示することを特徴とする。
【0046】
これによれば、各ディスプレイに、XY座標値が全て異なるドットパターンを印刷した情報入力補助シートが配置されるため、XY座標値のみでディスプレイを識別することが
可能となる。
【0047】
(17)本発明に係る情報処理システムは、前記ディスプレイの筐体には、各ディスプレイを識別するコード値がドットパターンとして印刷されたシールが貼付されており、ドットパターン読み取り手段で読み取った前記コード値を前記情報処理装置に送信し、どのディスプレイかを認識してタッチパネル形式の入力を可能とし、前記情報処理装置はディスプレイ個々に対応する、種々のマルチメディア情報出力および/またはオペレーション指示を認識し、出力情報を前記ディスプレイに表示することを特徴とする。
【0048】
これによれば、シールによってディスプレイを識別するため、同一の情報入力補助シートを用いてもディスプレイの識別が可能となる。
【0049】
なお、ドットパターンを印刷したシールは、情報入力補助シート上あるいはディスプレイ筺体などいかなる場所に貼付されていてもよい。
【発明の効果】
【0050】
本発明によれば、汎用のコンピュータ、PDA、携帯電話等、あらゆる表示手段を備えた装置を、きわめて容易にタッチパネル式の入力手段とすることができる。
【0051】
また、書籍やカタログ等の印刷物自体、さらにはあらゆる媒体に装着することが可能で、媒体自体には何らのコードを印刷することなく、きわめて低コストで、媒体の部位に関連したテキスト、イラスト、写真、音声、動画等のマルチメディア情報の出力や、機器のオペレーションを行うことができる。
【図面の簡単な説明】
【0052】
【図1】情報処理装置である汎用的なコンピュータシステムに、本発明に係るグリッドシート(情報入力補助シート)を用いた図である。
【図2】拡散反射について説明する断面図(1)である。
【図3】拡散反射について説明する断面図(2)である。
【図4】グリッドシートの種々の構造を示した断面図である。
【図5】両面にドットパターン層を設けたグリッドシートの構造を示した断面図である。
【図6】ストリームドットについて説明する図(1)である。
【図7】ストリームドットについて説明する図(2)である。
【図8】ストリームドットについて説明する図(3)である。
【図9】ストリームドットについて説明する図(4)である。
【図10】ストリームドットについて説明する図(5)である。
【図11】ストリームドットについて説明する図(6)である。
【図12】片面のみにドットパターン層を有したグリッドシートを印刷物に使用した具体例を示した図である。
【図13】図12で使用するグリッドシートの正面図および断面図である。
【図14】両面にドットパターン層を有したグリッドシートを印刷物に使用した具体例を示した図である。
【図15】図14で使用するグリッドシートの正面図および断面図である。
【図16】ユーザがグリッドシートをタッチしてディスプレイ上に情報を表示させるためのシステムを示した図である。
【図17】ユーザがシートをタッチしてディスプレイ上に情報を表示させるためのシステムの他の形態を示した図である。
【図18】グリッドシートをディスプレイに貼付して、スキャナでタッチしたコンテンツ特定情報を認識し、関連する情報を自動的に検索し出力する実施例について示した説明図である。
【図19】ディスプレイに貼付して使用するグリッドシートの断面図である。
【図20】グリッドシートをプロジェクタシステムに使用した場合について示した図である。
【図21】グリッドシートをリアプロジェクタシステムに使用した場合について示した図である。
【図22】(a)はグリッドシートを携帯端末に使用した場合について示した図であり、(b)はグリッドシートをカーナビに使用した場合について示した図である。
【図23】グリッドシートを利用したシンクライアントシステムのブロック図である。
【図24】シンクライアントシステムに用いられるディスプレイおよびシールの一例を示した図である。
【図25】ディスプレイに対するキャリブレーション方法およびキャリブレーションに用いるグリッドシートについて説明した図である。
【図26】ディスプレイに対するキャリブレーション方法の他の実施例について説明した図である。
【図27】印刷物に対するキャリブレーション方法およびキャリブレーションに用いるグリッドシートについて説明した図である。
【図28】印刷物に対するキャリブレーション方法の他の実施例について説明した図である。
【発明を実施するための最良の形態】
【0053】
図1〜図2は、本発明に係る情報入力補助シートであるグリッドシートをディスプレイに装着して用いる実施例について示した説明図である。
【0054】
図1は、情報処理装置である汎用的なコンピュータシステムに、グリッドシートを用いた図である。本実施例では、パソコン等の液晶ディスプレイ(LCD)やCRT(ブラウン管)などのディスプレイ画面上に、グリッドシートを貼付する。グリッドシートは、透明フィルムで形成されており、ドットパターンが印刷されている。このドットパターンは、詳細は後述するが、XY座標値および/またはコード値を所定のアルゴリズムでパターン化したものである。コンピュータ本体には、ドットパターン読取手段であるスキャナが接続されている。ユーザは、透視した画面の指示に従って、スキャナでグリッドシートをタッチする。スキャナは、ドットパターンを読み込み、USBケーブルを介してパーソナルコンピュータに送信し、パーソナルコンピュータの中央処理装置(CPU)は、ドットパターンを解析しグリッドシート上のXY座標値を求め、更にディスプレイ上のxy座標値に変換し、座標値の情報からタッチパネル形式の入力が可能となる。
【0055】
これによれば、本シートによってタッチパネル形式の入力が可能となり、安価で利便性に優れたタッチパネルを提供することが可能となる。また、インターネットのサイトを閲覧しているときに、リンク情報が設定されていない情報であっても、関連情報を検索して参照することも可能となる。
【0056】
なお、図1では情報処理装置としてパーソナルコンピュータを用いたが、本発明はこれに限らず、情報処理装置は、パーソナルコンピュータ、PDA、テレビ受信装置、フロントおよびリアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、時計、スマートフォン等であってもよい。これらにおいては、タッチパネル形式の入力デバイスとしてディスプレイまたはスクリーンの表示画面上にグリッドシートが配置される。
【0057】
図2は、図1で説明したグリッドシートの内部構造について示した断面図である。
【0058】
同図(a)は、スキャナで、グリッドシートをタッチしている状態を示した縦断面図である。
【0059】
同図に示すように、グリッドシートは、表示装置側から、赤外線反射層、ドットパターン層、保護用透明シート(保護層)が積層された構造となっている。
【0060】
赤外線反射層は、ビニール、エンビペット、ポリプロピレン等、可視光線を透過する材料で生成された蒸着用透明シートに、赤外線反射材料が蒸着された構成となっている。赤外線反射層は、スキャナの赤外線照射手段から照射し保護用透明シートを透過した赤外線を、スキャナに対して反射させるとともに、可視光を透過させる。それとともに、表示装置からの赤外線を遮断する。これにより、スキャナの赤外線照射手段から照射された赤外線光のみを照射光とすることができ、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。
【0061】
ドットパターン層には、カーボンインク等の赤外線吸収特性材料からなるドットを後述するような所定の規則に則って配列したドットパターンが印刷されている。
【0062】
保護用透明シートは、ビニール、エンビペット、ポリプロピレン等、可視光線および赤外線を透過する材料で生成されている。ドットパターンを繰り返しスキャナでタッチすると、ドットが磨耗し、正確にドットパターンを読み取れなくなるという問題が生じる。そこで、保護用透明シートを設けることにより、ドットの磨耗と汚れを防ぎ、シートを長期間使用することが可能となる。
【0063】
スキャナには、赤外線照射手段であるIR−LEDと、その反射光の所定波長成分をカットするIRフィルター、および撮像素子であるC−MOSセンサ、およびレンズが内蔵されている。スキャナは、グリッドシートに照射した照射光の反射光を撮影する。上述したように、ドットパターンは赤外線を吸収する特性を有するインクで印刷されているため、C−MOSセンサでの撮像画像では、ドットの部分のみ黒く撮影されることとなる。
【0064】
この場合、赤外線反射層で鏡面反射された反射層は、同図に示すように、レンズに反射光が入射されず、同図(b)に示すように、中央が真っ黒な状態で撮影されてしまう。そのため、ドットパターンを漏れなく撮影することができない。したがって、赤外線を拡散反射させてレンズに入射させる必要がある。すなわち、図3(a)に示すように、ドットパターン印刷層と赤外線反射層との間に、赤外線拡散層を設ける。この赤外線拡散層は、透明または半透明の材質で形成されている。これによって、同図(b)に示すようにIR−LEDから照射された赤外線は、赤外線反射層で鏡面反射し、赤外線拡散層で拡散し、全ての撮影領域の反射光がレンズに入射する。
【0065】
なお、同図においては、グリッドシートに赤外線拡散層を設けたが、本発明はこれに限らず、スキャナの撮影口に赤外線拡散材料によるフィルターを設けてもよい。
【0066】
図4は、グリッドシートの種々の構造を示した断面図である。
【0067】
同図(a)は、赤外線を反射するとともに、可視光を透過する特性を有する赤外線反射層と、ドットパターン層と、からなるグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドットが形成されている部分(以下、ドット部という)で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線反射層で鏡面反射し、ドット部を除いてドットパターン層を透過する。
【0068】
同図(b)は、赤外線反射層とドットパターン層との間には、可視光を透過するとともに前記赤外線を拡散させる赤外線拡散層が設けられているグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線拡散層で拡散した後、赤外線反射層で鏡面反射し、再び赤外線拡散層で拡散してドット部を除いてドットパターン層を透過する。
【0069】
同図(c)は、ドットパターン層の一面側、すなわち、赤外線反射層の逆側には、可視光を透過するとともに赤外線光を拡散させる赤外線拡散層が設けられているグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まず赤外線拡散層で拡散した後、ドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線反射層で鏡面反射し、再びドット部を除いてドットパターン層を透過して赤外線拡散層で拡散する。
【0070】
同図(d)は、一面側からの赤外線を拡散反射するとともに、可視光を透過する特性を有する赤外線拡散反射層と、ドットパターン層と、からなるグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線拡散反射層で拡散反射し、ドット部を除いてドットパターン層を透過する。
【0071】
同図(e)は、同図(a)で示したグリッドシートのドットパターン層側の外面に、赤外線光および可視光を透過する特性を有する保護層が設けられているグリッドシートである。このような保護層を設けることにより、ドットの磨耗や汚れを防ぎ、シートを長期間使用することが可能となる。
【0072】
なお、保護層は、同図(a)のみでなく、(b)〜(d)で示したグリッドシートのドットパターン層側外面に設けられていてもよい。
【0073】
同図(f)は、同図(a)で示したグリッドシートにおいて、ドットパターン層と反対側からの赤外線も反射する特性を有しているグリッドシートである。このような特性を有することにより、本発明のグリッドシートを装着したディスプレイ画面やスクリーンからの赤外線を遮断し、赤外線照射手段から照射された赤外線光のみを照射光とすることができる。そのため、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。
【0074】
なお、同図(a)のみでなく、(b)〜(e)で示したグリッドシートにおいて、ドットパターン層と反対側(他面側)からの赤外線も反射する特性を有していてもよい。
【0075】
同図(g)は、同図(a)で示したグリッドシートにおいて、赤外線反射層の反ドットパターン層側には、粘着層が設けられているグリッドシートである。粘着層は、取り外し可能な材質で生成されている。当該粘着層は、グリッドシートを表示装置や媒体に貼り付けて使用する場合にのみ必要であり、後述するように、印刷物上に載せたり、はさんだりして使用する場合には必要がない。このような粘着層を設けることにより、グリッドシートをディスプレイ等に容易に貼り付けることが可能となる。
【0076】
なお、粘着層は、同図(a)のみでなく、(b)〜(e)で示したグリッドシートの、赤外線反射層の反ドットパターン層側に設けられていてもよい。
【0077】
図5は、グリッドシートの他の実施例を示したものである。本実施例においては、シートの両面にドットパターン層を設けたことを特徴とする。
【0078】
同図(a)は、それぞれの面への赤外線をそれぞれの方向に反射するとともに、可視光を透過する特性を有する赤外線反射層と、赤外線反射層の両面に設けられたドットパターン層と、からなるグリッドシートである。これによって、シートを両面で利用することができるため、利便性が向上する。
【0079】
同図(b)は、赤外線反射層とそれぞれの面のドットパターン層との間には、可視光を透過するとともにそれぞれの方向からの赤外線光を拡散させる赤外線拡散層が設けられているグリッドシートである。
【0080】
同図(c)は、赤外線反射層とそれぞれの面のドットパターン層のさらに外面に赤外線拡散層が設けられているグリッドシートである。
【0081】
同図(d)は、赤外線拡散反射層と、赤外線拡散反射層の両面に設けられたドットパターン層と、からなるグリッドシートである。
【0082】
同図(e)は、同図(a)で示したグリッドシートの外面両面に、それぞれの方向からの赤外線光および可視光を透過する特性を有する保護層が設けられている情報入力補助シートである。
【0083】
なお、保護層は、同図(a)のみでなく、(b)〜(d)で示したグリッドシートの外面両面に設けられていてもよい。
【0084】
同図(f)は、同図(a)で示したグリッドシートにおいて、赤外線反射層のそれぞれの反ドットパターン層側、すなわち、グリッドシートの外面両面に、粘着層が設けられているグリッドシートである。
【0085】
なお、粘着層は、同図(a)のみでなく、(b)〜(e)で示したグリッドシートの外面両面に設けられていてもよい。
【0086】
同図(a)〜(f)のグリッドシートにおける各層の説明および反射についての説明は前述したものと同様であるので、ここでは説明を省略する。
なお、同図に示したグリッドシートにおいては、赤外線反射層または赤外線拡散反射層の一面側と他面側のドットパターン層では、異なる座標値および/またはコード値がパターン化されていてもよい。
【0087】
また、図4〜5に示したグリッドシートにおいては、ドットパターン層またはその他の層に、赤外線透過材料または赤外線反射材料からなるインクでテキスト、イラスト、写真等が重畳印刷されていてもよい。
【0088】
<ドットパターンの説明>
このような情報入力補助シートに印刷されたドットパターンについて、図6〜図11を用いて説明する。
【0089】
<ドットパターンの説明 ストリームドット>
次に、図6〜図11を参照しながら本発明に用いられるドットパターンである、ストリームドットの形成方法の一例について説明する。
【0090】
図6、図7は、ストリームドットパターンを形成する工程の一例を順に示すものである。
【0091】
本発明に係るドットパターンは、従来のドットパターンとは異なり、まず工程1として媒体表面上の可視的な情報に対応して、情報を入出力させたい箇所に基準ドット1を線状に連続して複数個配置する。
【0092】
図6(a)では基準ドット1を曲線状に配置しているが、基準ドット1の配置はこれに限定されるものではなく、直線と曲線を織り交ぜたり、複数の線分により構成される折れ線状にするなど、情報を入出力させる領域にあわせた形状にドットパターンを形成するための種々の変更が可能である。
【0093】
また、媒体表面上に可視的に形成された実在線上に基準ドット1を配置してもよいし、実在線に沿って所定の規則により基準ドット1を配置してもよい。ここでいう実在線とは仮想線に対する概念で、実際に存在している線の全てを含むものである。例えば、実線、破線、点線、直線や曲線などが挙げられ、本発明においては、線が形成される媒体(例えば映像表示装置のディスプレイ)や、線を構成する物質(例えばインク)の如何を問わない。なお、ドットパターンは、印刷やディスプレイ表示、さらに金属やプラスチック上での穴や溝等の凸凹であってもよい。
【0094】
なお、基準ドットは読取り精度向上の観点から、等間隔に配置することが望ましいが、これに限定されるものではなく、複数の間隔を混在させてドットパターンの一定情報のまとまりを定義したり、一定情報のまとまり内における3つの異なる基準ドットの配置間隔によりドットパターンの一定情報のまとまりとドットパターンの方向の両方を定義することも可能である。
【0095】
次に、工程2として、線状に配置された基準ドット1を結ぶ、第一の仮想基準線2を設ける。図6(b)では第一の仮想基準線2を曲線により設けているが、第一の仮想基準線2はこれに限定されるものではなく、曲線状に配置された基準ドット1に対して直線の第一の仮想基準線2を設けてもよいし、直線状に配置された基準ドット1に対して曲線の第一の仮想基準線2を設けてもよい。すなわち、後述する工程3〜工程5における第二の仮想基準線3、仮想基準点4、情報ドット5をどの位置に配置するかによって、基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線2を自由に定義することが可能である。
【0096】
なお、図8に例を示すように、曲線である場合の第一の仮想基準線6は、ベジェ曲線によることが望ましい。
【0097】
すなわち、まず、第一の仮想基準線8上にある基準ドット7をP0、P3とし、P1、P2を与えられた制御点とする。次に、制御点を順に結んで得られる3つの線分・P0―P1、P1―P2、P2―P3・をそれぞれ1対1の比率で分割する点P4、P5、P6を求める。そして、これらの点を順に結んで得られる2つの線分・P4―P5、P5―P6・を、それぞれ1対1の比率で分割する点P7、P8を求める。
【0098】
最後に、この2点を結ぶ線分・P7―P8・をさらに1対1の比率で分割する点P9を求め、この点がベジェ曲線上の点となる。
【0099】
この手順を繰り返し行うことで、P0、P1、P2、P3を制御点とするベジェ曲線が得られる。
【0100】
なお、ベジェ曲線に限らず、スプライン関数を利用して求められるスプライン曲線、n次多項式、楕円弧など、種々のアルゴリズムを用いて第一の仮想基準線2を設けてもよい。
【0101】
また、第二の仮想基準線3においても、第一の仮想基準線2と同様に当該方法を用いて曲線を定義することが可能である。
【0102】
次に、工程3として、線状に配置された基準ドット1および/または第一の仮想基準線6から所定の位置に定義される第二の仮想基準線3を設ける。図6(c)では第二の仮想基準線3を、隣り合う基準ドット1の中間点における第一の仮想基準線6の接線に対して垂直線上の所定位置に向かって、隣り合う基準ドット1から任意の角度をもって設けているが、第二の仮想基準線3はこれに限定されるものではなく、後に示すようにドットパターンにより情報を入出力させたい領域に合わせて仮想基準点を設けるために、種々の方法により定義することが可能である。
【0103】
また、第一の仮想基準線2に対して片側のみに第二の仮想基準線3を設けてドットパターンの方向を定義してもよいし、情報量を増やすために両側各々に設けてもよい。
【0104】
次に、工程4として、第二の仮想基準線3上の所定の位置に複数の仮想基準点4を設ける。図7(a)では仮想基準点4を、第二の仮想基準線3の交点、すなわち隣り合う基準ドット1を結んだ直線を底辺とし、第二の仮想基準線3を対辺とする二等辺三角形の頂点に設けているが、仮想基準点4の位置はこれに限定されるものではなく、第二の仮想基準線3の中点に設けたり、第二の仮想基準線3上に代えて基準ドット1上に設けるなど、種々の変更が可能である。
【0105】
そして、工程5として、仮想基準点4を始点としてベクトルにより表現した終点に情報ドット5を配置する。図7(b)では情報ドット5を、仮想基準点4からのベクトル方向を8方向、仮想基準点4からの距離が等距離となるよう、一個の仮想基準点4に対し1個配置しているが、情報ドット5の配置はこれに限定されるものではなく、仮想基準点4上に配置したり、ベクトル方向を16方向として配置したり、一個の仮想基準点4に対し2個配置するなど、任意の方向に任意の長さに、複数配置することが可能である。
【0106】
図9はドットパターンの情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。
【0107】
情報ドット5は種々の情報を認識させるドットである。この情報ドット5は、仮想基準点5を始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット5は、図7に示すように、その仮想基準点5から0.1mm離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に45度ずつ回転させて8方向に配置し、3ビットを表現している。
【0108】
なお、図示例では8方向に配置して3ビットを表現しているが、これに限定されずに、16方向に配置して4ビットを表現することも可能であり、任意の方向に任意の長さに配置できることはもちろんである。
【0109】
さらに、図7(b)では全ての仮想基準点4において、この仮想基準点4を始点としてその終点位置に情報ドット5を配置したが、これに限定されることなく、仮想基準点上にドットが配置されているか否かで情報を定義するようにしてもよい。たとえば仮想基準点上にドットが配置されていれば「1」、配置されていなければ「0」というように情報を定義することができる。
【0110】
図10は情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
【0111】
また、情報ドット5について基準ドット1から導き出された仮想基準点4から短(図10の上段)・長(図10の下段)の2種類を使用し、ベクトル方向を8方向とすると、4ビットを表現することができる。このとき、長い方が隣接する仮想基準点5間の距離の25〜30%程度、短い方は15〜20%程度が望ましい。ただし、長・短の情報ドット5の中心間隔は、これらのドットの径より長くなることが望ましい。
【0112】
情報ドット5は、その見栄えを考慮し、1ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、1ベクトル毎に、1ビットを割り当てて情報ドット5を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円8方向のベクトルでは、基準ドット1から定義された情報ドット5で2の情報を表現でき、1の一定情報のまとまりの情報ドット8個で264となる。
【0113】
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは2次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
【0114】
図11は、ストリームドットパターンを上下方向に並べた状態の一例について示す図である。
【0115】
同図では、基準ドット、情報ドットの他に、キードットおよびサイドドットを配置している。キードットは、一定情報のまとまりの両端に配置されたドットである。このキードットは、ひとまとまりの情報ドット群を表す1領域分のドットパターン1の代表点である。サイドドットは、キードット2のずれの正負の延長線上に配置されたドットである。
【0116】
同図(b)は、基準ドットおよびストリームドットパターンを等間隔に並べている。このように、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が書き込み領域に隙間なく定義される。しかし、本発明に係るストリームドットパターンはこれに限らず、同図(a)に示すように、ドットパターン同士の間隔を任意に設定してよい。また、基準ドット同士の間隔も、任意に設定することができる。
【0117】
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは2次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
【0118】
これにより、ドットパターンが2次元コードとして形成される矩形領域の形状でのXY座標値によるインデックスの定義に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状の一定情報のまとまりによるドットパターンを形成することが可能となる。
【0119】
なお、本発明に係る仮想基準線及び仮想基準点は、実際に媒体表面上に印刷形成されるわけではなく、あくまでコンピュータの画像メモリ上に、ドットパターンの配置の際、またはドットパターンの読み取りの際に仮想的に設定されるものである。
【0120】
このストリームドットパターンを用いることで、地球儀を初めとする曲面体や、人体模型、立体地図などの三次元造形物にもドットパターンを形成することができ、平面地図や絵本等に限らず本発明に係る入出力装置を利用することが可能となる。
【0121】
図12〜図17は、本発明の他の実施形態について説明する図である。本実施形態では、グリッドシートを印刷物上に被せて使用する。
【0122】
図12は、ドットパターンが片面にのみ印刷されたグリッドシートを使用する場合について示した図である。
【0123】
ユーザは、本や雑誌、新聞等の印刷物上に、グリッドシートを被せて使用する。同図(a)に示すように向かって右側のページに使用する場合であっても、同図(b)に示すように向かって左側のページに使用する場合であっても、ユーザは、シートの表側を上に向けて使用する。
【0124】
図13(a)は、グリッドシートの表面を示した正面図である。グリッドシートは、ほぼ全域にXY座標を意味するドットパターンが印刷されており、下部には、0から9までの数字および「頁入力」「決定」「中止」の文字が記載されたアイコンと、コード値を意味するドットパターンが重畳印刷されている。このアイコンは、印刷物を特定するインデックスをスキャナで入力するためのアイコンである。
【0125】
同図(b)は、グリッドシートの縦断面図である。本グリッドシートは、裏面側から、保護用透明シート、透明赤外線拡散反射層、ドットパターン+グラフィック印刷層、保護用透明シートが層になって構成されている。ここで、グラフィック印刷層とは、可視的な印刷層のことである。
【0126】
図14は、ドットパターンが両面に印刷されたグリッドシートを使用する場合について示した図である。この場合は、グリッドシートを挟み込んだまま使用することが可能である。すなわち、まず右ページにグリッドシートを使用するときは、(a)に示すようにグリッドシートを右ページに被せる。すると、右側にアイコンが印刷されている面が上になる。次に、左頁にグリッドシートを使用するときは、(b)に示すように、グリッドシートを挟み込んだまま、グリッドシートを左側にめくる。すると、左側にアイコンが印刷された面が上になる。なお、アイコンは両面にインクで印刷されている。
【0127】
図15(a)は、グリッドシートの表面を示した正面図、同図(b)は裏面を示した正面図である。グリッドシートの表面は、ほぼ全域にXY座標を意味するドットパターンが印刷されており、右部には、0から9までの数字および「頁入力」「決定」「中止」の文字が記載されたアイコンと、コード値を意味するドットパターンが重畳印刷されている。このアイコンは、印刷物を特定するインデックスをスキャナで入力するためのアイコンである。グリッドシートの裏面は、ほぼ全域にXY座標を意味するドットパターンが印刷されており、左部に、表面と同様のアイコンとドットパターンが重畳印刷されている。
【0128】
同図(c)は、グリッドシートの断面図である。本グリッドシートは、裏面側から、保護用透明シート、ドットパターン+グラフィック印刷層、赤外線拡散反射層、ドットパターン+グラフィック印刷層、保護用透明シートが層になって構成されている。
【0129】
図16は、ユーザがグリッドシートをタッチしてディスプレイ上に情報を表示させるためのシステムを示した図である。
【0130】
同図(a)に示すように、ユーザは、印刷物上にグリッドシートを被せ、グリッドシートをスキャナでタッチする。スキャナ内の中央処理装置(CPU)は、ドットパターンを解析して、座標値または/およびコード値に変換し、USBケーブルを介してパーソナルコンピュータに送信する。なお、パーソナルコンピュータ内の中央処理装置で座標値または/およびコード値に解析・変換してもよい。
【0131】
座標値は、ドット座標系におけるXY座標の値を意味している。また、グリッドシートに印刷されたアイコンにタッチして印刷物紙面を特定するインデクス(ページ、タイトル等)を入力するか、もしくは、キーボードで入力するインデックスのコード値は、例えば、印刷物紙面の頁数を意味している。そこで、n頁が指定されたとする。予め、テキスト、イラスト、写真等の印刷情報をXY座標値で特定するマスクと、当該マスクNo.に対応するマルチメディア情報を設定しておけば、スキャナで読み取ったグリッドシートのドットパターンのXY座標値を基に、パーソナルコンピュータ内の中央処理装置は、ハードディスク内に格納されているドット座標−マスクNo.対応テーブル(同図(b))を参照する。当該テーブルは、頁ごとに設けられており、本実施例では、n頁のドット座標−マスクNo.対応テーブルを参照する。そして、タッチ位置のマスクNo.を検出する。たとえば、同図(b)に示した十字部分がタッチ位置である場合、マスクNo.は1である。次に、同図(c)に示す頁No.−マスクNo−マルチメディア情報ファイル対応テーブルを参照する。当該テーブルでは、頁No.と、マスクNo.に対応してマルチメディア情報ファイルが登録されるようになっている。たとえば、n頁のマスク1にはWebアドレスが登録されており、n頁のマスク2にはローカルのドライブと実行ファイルが登録されている。当該テーブルから、頁No.とマスクNo.に対応したマルチメディア情報ファイルを検索し出力する。すなわち、頁No.がnでマスクNo.が1であるので、登録されたWebアドレスにおけるWebページが表示される。
【0132】
図17は、ユーザがシートをタッチしてディスプレイ上に情報を表示させるためのシステムの他の形態を示した図である。
【0133】
同図では、一例として、文章中に「東京」と記載されている印刷物において、「東京」の文字をタッチした場合について説明する。
【0134】
同図に示すように、グリッドシートに印刷されたアイコンにタッチして印刷物紙面を特定するインデックスを入力するか、もしくは、キーボードでインデックスを入力し印刷物紙面を特定し、ユーザは印刷物上にグリッドシートを被せ、「東京」と記載されている部分のドットパターンをスキャナでタッチする。するとスキャナ内の中央処理装置(CPU)は、ドットパターンを解析して、座標値または/およびコード値、ドットXY座標とに変換し、USBケーブルを介してパーソナルコンピュータに送信する。なお、パーソナルコンピュータ内の中央処理装置で座標値または/およびコード値に解析・変換してもよい。
【0135】
パーソナルコンピュータの中央処理装置(CPU)は、上記により得られた印刷物紙面IDとドットXY座標を、印刷情報上のDTPxy座標(印刷物の元データであるDTP面上でのxy座標)に変換する。
【0136】
次にパーソナルコンピュータの中央処理装置(CPU)は、ネットワーク(NW)を介してドキュメント管理サーバにアクセスする。ドキュメント管理サーバには、各印刷物紙面に対応したDTPファイルが格納されている。中央処理装置(CPU)は、ドキュメント管理サーバから、該当する印刷物紙面(例えば、ID=n)のDTPファイルを取り出す。そして、ID=nのDTPファイルにおいて、タッチ位置(x、y)に最も近いDTP座標(xt、yt)を選択し「東京」を特定する。DTP座標(xt、yt)はテキスト領域の中心位置の座標である。DTP座標を検索したら、辞書サーバにアクセスし、特定されたテキストやイラスト、写真等を示すデータファイルを検索する。辞書サーバには、テキストやイラスト、写真等を示すデータファイルに対応する説明やURL、マルチメディア情報等の関連情報が格納されている。ドキュメント管理サーバの中央処理装置(CPU)は、プログラムに基づいて辞書サーバから「東京」を検索し、ネットワーク(NW)を介してパーソナルコンピュータに自動的に関連情報を送信する。これにより、パーソナルコンピュータのディスプレイ上に、「東京」に関する説明が出力・表示される。
【0137】
これによれば、印刷物上にグリッドシートを被せてその上にスキャナでタッチするだけで、印刷物上のテキストやイラスト、写真等の詳細な説明を画面に表示させることができる。
【0138】
従来は、印刷物に、テキストやイラスト、写真等とドットパターンを重畳印刷して、ユーザが印刷物をスキャナでタッチすることにより、タッチした文字等に対応する情報を出力させていた。しかし、この方法では、既に印刷された媒体を取り扱うことは出来ず、新たに印刷する必要があった。本発明では、印刷物にシートを被せて使用するため、既存の印刷物を対象とすることができる。また、複数の印刷物を対象に1枚のシートで共通して使用できるため、利便性が高まる。
【0139】
図18は、グリッドシートをディスプレイに貼付して、スキャナでタッチしたコンテンツ特定情報を認識し、関連する情報を自動的に検索し出力する実施例について示した説明図である。
【0140】
同図では、一例として、表示画面上に表示された「東京」の文字をタッチした場合について説明する。
【0141】
同図に示すように、パーソナルコンピュータの表示画面上には、グリッドシートが貼付されている。ユーザは、「東京」と表示されている部分のドットパターンをスキャナでタッチする。するとスキャナ内の中央処理装置(CPU)は、ドットパターンを解析してXY座標に変換し、USBケーブルを介してパーソナルコンピュータに送信する。このXY座標は、ドット座標系におけるタッチ位置のXY座標値である。なお、パーソナルコンピュータ内の中央処理装置で座標値に解析・変換してもよい。
【0142】
次にパーソナルコンピュータの中央処理装置(CPU)は、ネットワーク(NW)を介してディスプレイに表示された各コンテンツのWebサーバにアクセスする。Webサーバには、各コンテンツファイルが格納されている。中央処理装置は、表示されているコンテンツファイル(HTML、XML、フラッシュ等)を取り出す。そして、取り出したコンテンツファイルにおいて、ドット座標系におけるタッチ位置のXY座標値を、HTML、XML、フラッシュ等のコンテンツの書式情報におけるxy座標値に変換する。
【0143】
なお、表示されているコンテンツファイルがパーソナルコンピュータ上にある場合は、Webサーバにアクセスしてコンテンツファイルを取り出す必要はない。
【0144】
次に、タッチ位置座標値(x、y)に最も近い、ディスプレイに表示されたテキスト、イラスト、写真等のコンテンツ特定情報の座標値(xt、yt)を検索する。コンテンツ特定情報の座標値(xt、yt)は、コンテンツ特定情報の中心位置の座標である。コンテンツ特定情報を認識したら、認識されたテキストやイラスト、写真等を示すデータファイル等のコンテンツ特定情報に対応する音声情報、画像情報等の種々のマルチメディア情報を、電子辞書や予め対応するマルチメディア情報を設定したデータベースから検索する。辞書サーバには、テキストやイラスト、写真等を示すデータファイルに対応する説明やURL、マルチメディア情報等のコンテンツ関連情報が格納されている。中央処理装置(CPU)は、辞書サーバから「東京」を検索し、ネットワーク(NW)を介してパーソナルコンピュータに自動的にコンテンツ関連情報を出力する。これにより、パーソナルコンピュータのディスプレイ上に、「東京」に関する説明が表示される。
【0145】
これによれば、ディスプレイ上にグリッドシートを配置するだけで、ディスプレイ上のテキストやイラスト、写真等の詳細な説明を画面に表示させることができる。
【0146】
図19は、このような実施例に用いるグリッドシートの縦断面図である。グリッドシートは、裏面側から、粘着層、赤外線拡散反射層、ドットパターン+グラフィック印刷層、保護用透明シートで構成されている。
【0147】
図20は、グリッドシートをフロントプロジェクタシステムに用いた場合について説明した図である。
【0148】
本実施例では、スクリーン上に、グリッドシートを貼付して用いる。スクリーンには、プロジェクタにより所定の画像が投影表示される。プロジェクタは図示しないパーソナルコンピュータもしくは映像配信システムに接続されており、このパーソナルコンピュータに接続されたスキャナを用いてスクリーンの任意の位置をタッチすると、その位置のドットパターンがスキャナに読み込まれてパーソナルコンピュータで座標値に変換される。パーソナルコンピュータのハードディスク装置もしくは映像配信サーバでは、座標値と命令またはアドレス等が対応付けられたインデックステーブルを参照し、それに対応するアドレスに規定されたマルチメディア情報の出力やオペレーション指示が行なわれる。
【0149】
図21は、リアプロジェクタ用パネルを用いた例であり、背後からリアプロジェクタによって映像を投影するシステムになっている。
【0150】
このリアプロジェクタ用パネルの表面には、グリッドシートが貼付されている。グリッドシートの構造は、図19で示したものと同様である。
【0151】
リアプロジェクタ用パネルには、リアロジェクタにより所定の画像が投影表示される。リアプロジェクタは図示しないパーソナルコンピュータもしくは映像配信システムに接続されており、このパーソナルコンピュータに接続されたスキャナを用いてリアプロジェクタ用パネルの任意の位置をタッチすると、その位置のドットパターンがスキャナに読み込まれてパーソナルコンピュータで座標値に変換される。パーソナルコンピュータのハードディスク装置もしくは映像配信サーバでは、座標値と命令またはアドレス等が対応付けられたインデックステーブルを参照し、それに対応するアドレスに規定されたマルチメディア情報の出力やオペレーション指示が行なわれる。
【0152】
図22(a)は、携帯端末にグリッドシートを用いた例である。携帯端末のディスプレイに、グリッドシートを貼付する。そして、無線もしくは、ケーブルで接続されたスキャナで、グリッドシートをタッチする。すると、その位置のドットパターンがスキャナに読み込まれてスキャナ内もしくは、携帯端末内で座標値に変換される。携帯端末のメモリ内もしくは、携帯用ドットコード管理サーバには、座標値と命令またはアドレス等が対応付けられたインデックステーブルが格納されている。携帯端末内の中央処理装置は、このインデックステーブルを参照し、それに対応するアドレスに規定されたマルチメディア情報の出力やオペレーション指示を行なう。
【0153】
図22(b)は、カーナビゲーション装置にグリッドシートを用いた例である。
【0154】
このようにカーナビゲーション装置に用いる場合には、スキャナとカーナビゲーション装置との通信はブルートゥース等による無線通信で行うことが好ましい。また、スキャナは、携帯端末に接続して、読み取ったドットパターンに対応するデータを携帯端末ネットワークを介してサーバに送信してもよい。
【0155】
また、同図に示したカーナビと、印刷物としてのドットパターンが印刷された観光ガイド等の地図を併用してもよい。
【0156】
図23〜図24は、本発明に係るグリッドシートをシンクライアント方式に利用した実施例について説明した図である。
【0157】
シンクライアントとは、ユーザが使用するクライアント端末に最小限の機能のみを持たせ、サーバ側でアプリケーションソフトやファイルなどの資源を管理するシステムの総称である。
【0158】
図23に示すように、本実施形態では、一つのサーバ(情報処理装置)に、複数のディスプレイがネットワークを介して接続している。このディスプレイには、CPUが内蔵されていない、一般のテレビモニタやパーソナルコンピュータ用ディスプレイの他様々な形態のディスプレイを用いることができる。各ディスプレイの表示画面上には、情報入力補助シートが貼付されている。サーバと各ディスプレイとは、RDP、USB、BNC(Bayonet Neil Concelman)等の有線方式または無線方式で接続されている。また、サーバとスキャナとは、有線方式または無線方式で接続されている。
【0159】
ユーザが、スキャナでグリッドシートのドットパターンをタッチすると、その位置のドットパターンがスキャナに読み込まれてスキャナ内でXY座標値に変換される。サーバのハードディスク装置内には、XY座標値と命令またはアドレス等が対応付けられたインデックステーブルが格納されている。サーバの中央処理装置は、このインデックステーブルを参照し、それに対応するアドレスに規定されたマルチメディア情報の出力やオペレーション指示を行なう。
【0160】
このように、表示画面上にグリッドシートを貼付することにより、ディスプレイだけの簡易な端末システムでタッチパネル形式の入力が可能である。
【0161】
なお、ドットパターンには、XY座標値とともにコード値が登録されていてもよい。コード値は、各ディスプレイを識別するためのものである。この場合、スキャナは、ドットパターンを読み取ると、コード値およびXY座標値をサーバ(情報処理装置)に送信する。サーバは、コード値からどのディスプレイかを認識する。そして、ディスプレイ個々に対応する、種々のマルチメディア情報および/またはオペレーション指示を認識し、出力情報をディスプレイに表示する。
【0162】
また、ドットパターンには、ディスプレイを一意に識別するXY座標値がドットパターンとして印刷されていてもよい。この場合、シートには予め大きな領域を分割したXY座標が印刷されており、このシートをディスプレイ個々に区別して使用する。すなわち、ディスプレイ毎にXY座標値が異なる。スキャナで読み取ったXY座標値をサーバ(情報処理装置)に送信すると、サーバは、XY座標値からどのディスプレイが操作されたかを特定する。そして、ディスプレイ個々に対応する、種々のマルチメディア情報出力および/またはオペレーション指示を認識し、出力情報をディスプレイに表示する。
【0163】
また、図24に示すように、ディスプレイに、各ディスプレイを識別するコード値をドットパターンとして印刷したシールを貼付してもよい。ユーザは、シールをタッチした後で、グリッドシートをタッチする。シールのドットパターンに登録されたコード値により、サーバは、どのディスプレイが操作されたかを特定する。次に、グリッドシートのドットパターンから送信されたXY座標値から、ユーザのタッチ位置を認識し、ディスプレイ個々に対応する、種々のマルチメディア情報および/またはオペレーション指示を認識し、出力情報を前記ディスプレイに表示する。シールは、通常のドットパターンが印刷された紙の粘着シールまたは本発明のグリッドシートに用いられたものと同じ材質のものであってもよい。
【0164】
このようにシンクライアント方式とすることにより、CPUが内蔵されていない一般のテレビモニタやパーソナルコンピュータ用ディスプレイの他様々な形態のディスプレイを使用することが可能となるため、低コストでシステムを提供することが可能となる。
【0165】
<キャリブレーション>
図25〜図28は、グリッドシートを用いる際に行なうキャリブレーション(calibration)について説明する図である。
【0166】
ユーザがディスプレイまたは印刷物をタッチした際に、タッチ位置に表示されていた指示を正確に反映した情報出力が行なわれるためには、ディスプレイまたは印刷物と、グリッドシートとの位置関係を一致させる必要がある。そこで、ディスプレイまたは印刷物の座標系とグリッドシートの座標系を適正に関連づけるためのキャリブレーションを行う。
【0167】
図25〜図26は、ディスプレイの表示画面上でキャリブレーションを行なう場合について説明した図である。
【0168】
図25は、グリッドシートにキャリブレーションマークを設けた場合について説明する図である。
【0169】
同図(a)に示すように、グリッドシートの一面側の四隅近傍には、キャリブレーション用マークが設けられている。なお、キャリブレーション用マークは、必ずしも四隅近傍に設けられている必要はなく、2以上の隅角部に設けられていればよく、あるいは、中央に設けられていてもよい。また、2以上の隅角部と中央の両方に設けられていてもよい。
【0170】
同図(b)に示すように、ユーザは、キャリブレーション用マークにカーソルを移動し、マウスを左クリックする。パーソナルコンピュータの中央処理装置は、クリックされた位置を認識する。そして、ディスプレイの座標系とグリッドシートの座標系とを適正に関連付ける。これによりキャリブレーションが行なわれる。
【0171】
同図においては、キャリブレーション用マークは、脱着可能な透明シールに形成されている。ユーザは、キャリブレーション終了後に、同図(c)に示すように、シールをグリッドシートから剥離する。
【0172】
なお、キャリブレーション用マークは、透明シールに形成されている場合の他、グリッドシートに直接印刷されていてもよい。また、グリッドシート上に除去可能な状態で設けられており、キャリブレーション終了後にグリッドシート上から除去されるようにしてもよい。
【0173】
図26は、ディスプレイの表示画面にキャリブレーション用マークが表示される場合について説明した図である。
【0174】
同図(a)に示すように、ディスプレイの四隅近傍には、キャリブレーション用マークが表示されている。なお、キャリブレーションマークは、必ずしも四隅近傍に表示させる必要はなく、2以上の隅角部に表示させればよく、あるいは、中央に表示させてもよい。また、2以上の隅角部と中央の両方に表示させてもよい。
【0175】
ユーザは、同図(c)に示す如く、キャリブレーション用マークが表示されている位置のグリッドシートをタッチする。スキャナは、グリッドシート上のドットパターンを読み込んで、パーソナルコンピュータに送信する。パーソナルコンピュータの中央処理装置は、送信されたドットパターンからタッチ位置のドットXY座標(X,Y)を認識し、ディスプレイの座標系とグリッドシートの座標系を適正に関連づけるためのキャリブレーションを行う。
【0176】
なお、キャリブレーション終了後は、キャリブレーション用マークが表示されなくなるようにする。
【0177】
図27〜図28は、印刷物に対してキャリブレーションを行なう場合について説明した図である。
【0178】
図27は、印刷物と、印刷物用のグリッドシートの両方にキャリブレーション用マークを設けた場合について説明した図である。
【0179】
同図(a)に示すように、グリッドシートおよび印刷物の四隅近傍には、それぞれキャリブレーション用マークが印刷されている。なお、キャリブレーション用マークは、必ずしも四隅近傍に印刷されている必要はなく、2以上の隅角部に印刷されていればよい。
【0180】
ユーザは、双方のキャリブレーション用マークを合致させて、グリッドシートを印刷物上に被せる。これにより、印刷物の座標系とグリッドシートの座標系を適正に関連づけるためのキャリブレーションが行なわれる。
【0181】
図28は、印刷物にのみキャリブレーション用マークが印刷されている場合について説明した図である。
【0182】
同図(a)に示すように、印刷物の四隅近傍には、それぞれキャリブレーション用マークが印刷されている。なお、キャリブレーション用マークは、必ずしも四隅近傍に印刷されている必要はなく、2以上の隅角部に印刷されていればよい。
【0183】
ユーザは、グリッドシートを印刷物上に被せる。そして、スキャナを前記マークに合致させる。スキャナは、グリッドシート上のドットパターンを読み込み、パーソナルコンピュータに送信する。パーソナルコンピュータの中央処理装置は、送信されたドットパターンからタッチ位置のXY座標(X,Y)を認識し、印刷物の座標系とグリッドシートの座標系を適正に関連づけるためのキャリブレーションを行う。
【0184】
このようなキャリブレーションを行なうことにより、グリッドシートの座標位置と、ディスプレイまたは印刷物の画像との位置関係が一致し、ユーザがタッチした画像や文字に対応した情報の出力が正確に行なわれるようになる。
【0185】
なお、上述した各実施形態において、表示画面等にグリッドシートを用いる場合、粘着剤によって貼付して用いるほか、表示画面上部からグリッドシートを掛けて用いる等、他の方法によって用いてもよい。
【産業上の利用可能性】
【0186】
本発明は、パーソナルコンピュータ、PDA、銀行ATM等、あらゆるディスプレイの画面上に貼付して用いることにより、タッチパネルとして利用することができる。また、印刷物上に被せて、印刷物に記載された情報に関連する情報を画面上に出力することにより、辞書、通信販売のカタログ、学習用教材等に利用することができる。
【符号の説明】
【0187】
1 基準ドット
2 第一の仮想基準線
3 第二の仮想基準線
4 仮想基準点
5 情報ドット

【特許請求の範囲】
【請求項1】
印刷物の印刷面またはディスプレイの表示画面上に配置され、前記印刷物の画像またはディスプレイの表示に関連した情報を出力するために、光学読み取り装置で読み取られるドットパターンが設けられた情報入力補助シートであって、
種々のマルチメディア情報出力および/またはオペレーション指示のため、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成したドットパターン層と、からなる情報入力補助シート。
【請求項2】
前記ストリームドットパターンは、前記第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、さらに基準となる基準ドットを所定の位置に設けた請求項1記載の情報入力補助シート。
【請求項3】
前記ドットパターン層は、一面側または両面側からの赤外線を反射するとともに可視光を透過する特性を有する赤外線反射層、または、一面側または両面側からの赤外線を拡散反射するとともに可視光を透過する特性を有する赤外線拡散反射層
の一面側または両面側に設けられている請求項1または2記載の情報入力補助シート。
【請求項4】
前記赤外線反射層が設けられた情報入力補助シートであって、
前記赤外線反射層とドットパターン層との間には、可視光を透過するとともに前記赤外線を拡散させる赤外線拡散層が設けられている請求項3記載の情報入力補助シート。
【請求項5】
前記赤外線反射層が設けられた情報入力補助シートであって、
前記赤外線反射層の一面側または両面側に設けられ前記ドットパターン層の外面側には、可視光を透過するとともに赤外線光を拡散させる赤外線拡散層が設けられている請求項3記載の情報入力補助シート。
【請求項6】
前記赤外線反射層または前記赤外線拡散反射層の反ドットパターン層側には、テキスト、イラスト、写真等が重畳印刷されているか、
または、前記ドットパターン層またはその他のいずれかの層には、赤外線透過材料からなるインクでテキスト、イラスト、写真等が重畳印刷されている請求項3〜5のいずれかに記載の情報入力補助シート。
【請求項7】
一面側に前記ドットパターンが設けられた情報入力補助シートであって、
光学読み取り装置で前記ドットパターンが読み取られる外面側には、粘着層が設けられている請求項1または2に記載の情報入力補助シート。
【請求項8】
少なくとも光学読み取り装置で前記ドットパターンが読み取られる外面側には、赤外線光および可視光を透過する特性を有する保護層が設けられている請求項1または2のいずれかに記載の情報入力補助シート。
【請求項9】
前記媒体上のドットパターンをドットパターン読取手段で読み取ることにより、種々のマルチメディア情報出力および/またはオペレーション指示を行う、シール状、カード状、しおり状、付箋紙状に加工された請求項1〜8のいずれかに記載の情報入力補助シート。
【請求項10】
請求項1〜8のいずれかに記載の前記情報入力補助シートは、情報処理装置のディスプレイの表示画面上に配置されており、
少なくともXY座標値が定義された、該情報入力補助シート上のドットパターンをドットパターン読み取り手段で読み込むことにより、タッチパネル形式の入力を可能とし、
前記ドットパターン読み取り手段から読み取られたドットパターンに基づいて前記情報処理装置への補助入力を行う情報処理システム。
【請求項11】
前記ディスプレイにはテキストやイラスト、写真等で表現されたコンテンツを表示されており、
前記情報入力補助シート上のドットパターンのXY座標値または、XY座標値およびコード値をドットパターン読み取り手段で読み込み、該ディスプレイに表示されたコンテンツの書式情報上でのxy座標に変換することにより、タッチパネル形式の入力を可能とし、
前記ドットパターン読み取り手段でタッチした位置のコンテンツ特定情報を認識し、
当該コンテンツ特定情報に関連したコンテンツ関連情報を検索して出力する請求項10記載の情報処理システム。
【請求項12】
前記情報処理装置は、パーソナルコンピュータ、PDA、テレビ受信装置、フロントおよびリアプロジェクター、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、時計、スマートフォンであり、
タッチパネル形式の入力デバイスとしてディスプレイまたはスクリーンの表示画面上に配置された請求項10または11記載の情報処理システム。
【請求項13】
請求項1〜8のいずれかに記載の前記情報入力補助シートは、印刷物の印刷面上に被せて使用され、
少なくともXY座標値が定義された、該情報入力補助シート上のドットパターンをドットパターン読取手段により読み取り、認識した印刷面上のXY座標と、該印刷物を特定する印刷物特定情報と、から印刷情報上でのxy座標に変換することにより印刷情報を認識して、
当該印刷情報に関連した情報を検索して出力する情報処理システム。
【請求項14】
前記情報入力補助シート上または、他のシートに、
前記印刷物の印刷面を特定するインデックスを前記ドットパターン読取手段で入力するためのアイコンが、ドットパターンと共に重畳印刷された請求項13記載の情報処理システム。
【請求項15】
前記情報入力補助シートは、一つまたは2以上の情報処理装置に接続された複数のディスプレイの表示画面上に配置されており、XY座標値と共に各ディスプレイを識別するコード値がドットパターンとして印刷されており、
ドットパターン読み取り手段で読み取った前記コード値およびXY座標値を前記情報処理装置に送信し、どのディスプレイかを前記コード値で認識してタッチパネル形式の入力を可能とし、
前記情報処理装置はディスプレイ個々に対応する、種々のマルチメディア情報出力および/またはオペレーション指示を認識し、出力情報を前記ディスプレイに表示する請求項10記載の情報処理システム。
【請求項16】
前記情報入力補助シートは、一つまたは2以上の情報処理装置に接続された複数のディスプレイの表示画面上に配置されており、ディスプレイを一意に識別するXY座標がドットパターンとして印刷されており、
ドットパターン読み取り手段で読み取った前記XY座標値を前記情報処理装置に送信し、ディスプレイを特定してタッチパネル形式の入力を可能とし、
前記情報処理装置はディスプレイ個々に対応する、種々のマルチメディア情報出力および/またはオペレーション指示を認識し、出力情報を前記ディスプレイに表示する請求項10記載の情報処理システム。
【請求項17】
前記ディスプレイの筐体には、各ディスプレイを識別するコード値がドットパターンとして印刷されたシールが貼付されており、
ドットパターン読み取り手段で読み取った前記コード値を前記情報処理装置に送信し、どのディスプレイかを認識してタッチパネル形式の入力を可能とし、
前記情報処理装置はディスプレイ個々に対応する、種々のマルチメディア情報出力および/またはオペレーション指示を認識し、出力情報を前記ディスプレイに表示する請求項10記載の情報処理システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate