ストリームドットを用いた入力処理システム、入出力処理システムおよび印刷制御システム
【課題】 容易な操作でコンピュータに対して文字等の入力や、オペレーションを行うことのできるキーボード、マウス、タブレット等のハードウエアデバイスに代わる新たな入力システム、すなわち、ペーパーアイコン、ペーパーコントローラ、ペーパーキーボードおよびマウスパッドを提案する。
【解決手段】 情報処理装置に接続されたスキャナを用いて媒体面に形成されたストリームドットパターンを読み込ませてストリームドットパターンに定義されたコード値または/および座標値に変換して、情報処理装置に記憶された前記コード値または/および座標値に対応する音声、画像、動画、文字またはプログラム、ウェブへのアクセス情報を出力させるための、媒体上に形成されたアイコンを設けることによって、キーボードやマウス等を用いることなく、あらかじめ用意された音声、画像、動画、文字等の情報、プログラムの起動、ウェブへのアクセス等が可能となる。
【解決手段】 情報処理装置に接続されたスキャナを用いて媒体面に形成されたストリームドットパターンを読み込ませてストリームドットパターンに定義されたコード値または/および座標値に変換して、情報処理装置に記憶された前記コード値または/および座標値に対応する音声、画像、動画、文字またはプログラム、ウェブへのアクセス情報を出力させるための、媒体上に形成されたアイコンを設けることによって、キーボードやマウス等を用いることなく、あらかじめ用意された音声、画像、動画、文字等の情報、プログラムの起動、ウェブへのアクセス等が可能となる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、紙面等の媒体面に形成(印刷)されたドットパターンを用いた情報処理装置の入力システムに関する。
【背景技術】
【0002】
コンピュータは、生活のあらゆる場面で使用されるようになってきている。文書を作成したり計算を行ったりというような従来の用途に加え、インターネットのウェブページ(WEB Page)にアクセスして必要な情報を得たり、商品の購入を行ったり等、コンピュータの機能および用途は飛躍的に増加している。
【0003】
従来、これらの行為を行うにあたり、キーボードおよびマウスを用いて文字の入力等の操作をすることが必要とされている。
【0004】
しかし、キーボードで文字を入力するには、煩雑な操作が多く、習得するまでに時間を要する。特に、高齢者や障害者等、機器を操作するのに支障のある者にとっては操作が困難であるという問題があった。さらに、キーボードやマウスの操作が可能でコンピュータを使いこなせる者と、それらの操作ができずにコンピュータを使いこなせない者との間で、情報や機会の格差が生じる「デジタルデバイド」も問題となってきている。
【0005】
このような問題を解決するものとして、バーコードやQRコード等(以下、総称して「バーコード」という)の媒体面上に印刷されるコードパターンを用いてコンピュータに情報を入力することのできる情報処理機器およびサービス提供システムが提案されている。すなわち、業者が提供するカタログやホームページ上にバーコードが記載されており、ユーザ(オペレータ)が、コンピュータに接続されたバーコードリーダを用いてバーコードを読み取ると、希望する情報を得たり商品を購入したりすることのできるものである(たとえば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2005−4574号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、バーコードは、バーコードを表示させるためだけに媒体面上の所定領域を確保しなければならないため、媒体面上に表示できるコード数に限界があり、キーボードに較べて多種の文字や記号に対応するコードを入力することは困難だった。しかも、バーコードは媒体面の美観を損ねる要因となっていた。
【0008】
本発明は以上の点に鑑みてなされたものであり、容易な操作でコンピュータに対して文字等の入力や、オペレーションを行うことのできるキーボード、マウス、タブレット等のハードウエアデバイスに代わる新たな入力システム、すなわち、ペーパーアイコン、ペーパーコントローラ、ペーパーキーボードおよびマウスパッドを提案するものである。
【課題を解決するための手段】
【0009】
前記課題を解決するために本発明は以下のような手段を採用した。
【0010】
(1)本発明に係る入力システムは、情報処理装置に接続された光学読み取り装置と、ドットパターンが印刷された媒体と、からなる情報処理装置への入力処理システムであって、該光学読み取り装置は、該ドットパターンを撮像する撮像手段と、該撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、該ドットパターンに定義された座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータを復号して送信する制御手段と、を備え、前記媒体面に形成されたドットパターンは、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを1ライン又は複数並べて形成したドットパターンであり、前記媒体面上に印刷された文字、グラフィック、写真、アイコンの少なくとも一部または全部に重畳して形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、情報処理装置に入力・処理させることを特徴とする。
【0011】
これによれば、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が媒体に隙間なく定義され軌跡情報を生成することができる。さらに、文字や五線譜、地図、図形などが媒体に印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、XY座標が定義されたドットパターンを2次元コードとして形成される際(インデックスとして使用)の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【0012】
(2)さらに、前記ストリームドットパターンは、前記第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、基準となる基準ドットを所定の位置に設けることを特徴とする。
【0013】
これによれば、新たな基準点を設けることにより、ストリームドットパターンの向きと一定情報のまとまりを、情報ドットを使用せず簡易に定義することができ、これにより、余計な情報の低減を押さえられる。さらに、新たな基準点の配置により情報ドットの始点となる仮想基準点の位置を正確に示すことができる。
【0014】
(3)さらに、前記アイコンは、ペーパーキーボードやペーパーコントローラ、カード、シール、付箋紙を含む印刷可能な媒体にテキストや写真、グラフィックで表現して印刷されていることを特徴とする。
【0015】
(4)さらに、前記オペレーション指示は、キーボードの割り込みキーのコード値であって、前記情報処理装置にキー入力割り込み処理を発生させることを特徴とする。
【0016】
(5)さらに、前記光学読み取り装置は前記ドットパターンを読み取ると共に、該光学読み取り装置が前記媒体面または他の媒体面に対して傾けられたことを該光学読み取り装置の撮像画像の明暗の差および/または明暗の差の変化、および/または前記ドットパターンの向きに対して該光学読み取り装置を傾けた方向によって該光学読み取り装置の傾き・方向および/または動作を前記解析手段が解析し、前記制御手段が該光学読み取り装置の傾きおよび/または動作にしたがって定義されたキー入力割り込み処理を発生させる
ことを特徴とする。
【0017】
(6)さらに、前記キー入力割り込み処理は、前記光学読み取り装置に設けられたボタンを押して行うことを特徴とする。
【0018】
(7)さらに、前記キー入力割り込み処理は、入力される文字種の変更、文字変換の指示、カーソル移動であることを特徴とする。
【0019】
(8)さらに、前記キー入力割り込み処理は、前記光学読み取り装置を用いて媒体面上のドットパターンが形成されたアイコン上を走査する際に、母音のみの語の入力の際には、該光学読み取り装置の撮像手段先端を、当該母音に対応するコード値がドットパターンとして定義されたアイコンに接触させて当該アイコン上のドットパターンを読み取り、子音と母音とからなる語の入力の際には、前記撮像手段の先端の読取部を、当該子音に対応するコード値がドットパターンとして定義されたアイコンに接触停止させて当該子音に対応するドットパターンを読み込ませた後、続く母音に対応するコード値がドットパターンとして定義されたアイコンまで該撮像手段を媒体面上を摺動させて、当該母音に該当するアイコンで一旦停止させてドットパターンの読取を行った後、該撮像手段を媒体面から離反させてドットパターンが認識できないようにすることで、単独の文字または一連の単語、文節の入力を行うことを特徴とする。
【0020】
このように、ドットパターンが印刷されたアイコン上をスキャナで接触・離反動作することによって、文字入力に際して、ハードウエアのキーボードでは実現不可能だったまったく新しい入力方式を実現することが可能となる。
【0021】
(9)さらに、前記光学読み取り装置の傾き・方向および/または動作にしたがって画面上のGUIのオペレーションを行うことを特徴とする。
【0022】
(10)さらに、前記画面上のGUIのオペレーションは、画面のスクロール、カーソル移動、画面上のアイコンの指定、ドラッグ&ドロップ操作、メニュー選択、文字等の入力位置指示動作等のマウス操作のオペレーションであることを特徴とする。
【0023】
(11)さらに、前記媒体には、前記ドットパターンが点字の凹凸部とともに媒体面上に前記アイコンが印刷されていることを特徴とする。
【0024】
(12)さらに、前記媒体面に印刷されたドットパターンを楕円弧や多角形、曲線で囲むように、点字状の凸部が所定の間隔で配置されるか、またはバンクが設けられていることを特徴とする。
【0025】
(13)さらに、前記情報処理装置は、番組放送受信機、チューナー、録画・再生装置、再生装置またはネットワークアクセス装置、フォトフレームあるいは放送受信用・ネットワークアクセス用セットトップボックス、パーソナルコンピュータなどの映像再生装置であり、前記光学読み取り装置は、前記映像再生装置に対して、前記媒体面に印刷された番組情報、サイト情報に基づいて視聴・録画予約またはサイトへのアクセスおよび/または、該映像再生装置の制御を行うリモコンであって、前記リモコンは、前記媒体面に印刷された番組情報、サイト情報の領域毎、および/または前記制御ボタンを意味するアイコンに、重畳して形成された前記ドットパターンを光学的に読み取る撮像手段と、前記撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、前記座標値および/またはコード値に対応するオペレーション指示またはデータを意味するコードに復号する制御手段と、当該復号化されたコードを前記映像再生装置に送信する送信手段とからなることを特徴とする。
【0026】
(14)さらに、前記リモコンは、リモコン本体に前記撮像手段、前記解析手段、前記制御手段、前記送信手段が一体として設けられたことを特徴とする。
【0027】
(15)さらに、前記リモコンは、リモコン本体に前記撮像手段、前記解析手段を設け、該リモコン本体で読み取られた前記座標値および/またはコード値を、前記制御手段と前記送信手段とを内蔵したクレードルに有線または無線で送信し、前記クレードルで復号化された前記コードを前記映像再生装置に有線または無線で送信することを特徴とする。
【0028】
(16)本発明に係る情報入出力システムは、請求項1または2記載の、前記ドットパターンが重畳印刷された媒体に替えて、該ドットパターンが形成された投影ボードと、さらに該投影ボードに動画または画像を投影する投影手段と、該投影手段に接続された前記情報処理装置と、を備えた入出力・処理させる入出力処理システムであって、前記投影ボードの一面は、動画または画像が投影される前記投影手段と、前記光学読み取り装置は、該動画または画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、該ドットパターンを撮像する前記撮像手段と、該撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、該ドットパターンに定義された座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータを復号して送信する制御手段と、該座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータ対応する制御信号を前記情報処理装置に対して送信する送信手段と、を備え、前記情報処理装置が前記投影手段に前記制御信号に対応する動画または画像を出力させることを特徴とする。
【0029】
(17)さらに、前記投影ボードの一面は、動画または画像が投影される映像表示エリアと、該映像表示エリアに投影される動画または画像を制御するためのアイコン画像が表示されるコントローラエリアとからなり、前記投影手段は、少なくとも映像表示エリアに動画または画像を投影し、該コントローラエリアに表示されたアイコン画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、前記情報処理装置が前記投影手段に前記制御信号に対応する動画または画像を出力させることを特徴とする。
【0030】
(18)さらに、前記投影ボードは、ホワイトボードの表面に粘着層を介して透明シートが貼付されており、前記ドットパターンは粘着層側の該透明シート上に形成されていることを特徴とする。
【0031】
(19)さらに、前記投影ボードは、ホワイトボード用磁石シートが磁性体で形成されたホワイトボードや黒板などのボードの表面に貼付されており、該ホワイトボード用磁石シートは、磁石層とホワイトシートと透明保護シートが接着されており、前記ドットパターンは、該透明保護シート側の該ホワイトシート上か、または該ホワイトシート側の該透明保護シート上に形成されていることを特徴とする。
【0032】
(20)さらに、前記投影ボード上には、前記情報処理装置に接続された前記投影手段により、少なくともプログラムの起動を意味するアイコン画像を投影するとともに、該アイコン画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、該情報処理装置が当該アイコン画像に対応したプログラムを起動し、対応する動画または画像を出力させることを特徴とする。
【0033】
(21)さらに、前記投影ボードはリアプロジェクタ用ボードであり、該投影ボードに対して前記投影手段はリアプロジェクタとして配置され、前記ドットパターンは、投影面とは異なる面に形成されることを特徴とする。
【0034】
(21)さらに、前記投影ボードはリアプロジェクタ用ボードであり、該投影ボードに対して前記投影手段はリアプロジェクタとして配置され、前記ドットパターンは、投影面とは異なる面に形成されることを特徴とする。
【0035】
(22)さらに、前記投影ボードに形成されたドットパターンは赤外線吸収特性材料で構成され、少なくとも投影手段側の面には、赤外線カットフィルタが設けられていることを特徴とする。
【0036】
(23)本発明に係る印刷制御システムは、請求項1または2記載の、前記ドットパターンが重畳印刷された媒体に替えて、表示手段に表示させたアイコン画像に対応した該ドットパターンを重畳印刷してペーパーコントローラを生成する印刷制御システムであって、前記アイコン画像を生成し表示する前記表示手段と、該表示手段に表示されたアイコン画像をあらかじめ定義された座標値および/またはコード値に関係付けて、該アイコン画像と前記ドットパターンとの重畳印刷を指示する印刷制御手段と、前記印刷制御手段からの指示に基づいて前記アイコン画像と前記ドットパターンとを所定の媒体面に重畳印刷する印刷手段と、を備えることを特徴とする。
【0037】
(24)さらに、前記表示手段は情報処理装置であって、デスクトップ画面が前記ドットパターンと共に媒体に重畳印刷され、重畳印刷された該デスクトップ画面上の座標と前記ドットパターンに定義された座標値、または座標値およびコード値に関係付けて、該デスクトップ画面と前記ドットパターンとの重畳印刷を印刷手段に指示することを特徴とする。
【0038】
(25)さらに、前記コード値は、前記デスクトップ画面を特定することを特徴とする。
【0039】
(26)さらに、前記ドットパターンは赤外線吸収材料で形成されるとともに、座標値とコード値とが一つのフォーマット中に定義されていることを特徴とする。
【発明の効果】
【0040】
本発明によれば、容易な操作でコンピュータに対して文字等の入力や、オペレーションを行うことのできるキーボード、マウス、タブレット等のハードウエアデバイスに代わる新たな入力システム、すなわち、ペーパーアイコン、ペーパーコントローラ、ペーパーキーボードおよびマウスパッドを実現することができる。
【図面の簡単な説明】
【0041】
【図1】図1は、スキャナおよびコンピュータのシステム構成を示すブロック図である。
【図2】図2は、ストリームドットのドットパターンを示す説明図(1)である。
【図3】図3は、ストリームドットのドットパターンを示す説明図(2)である。
【図4】図4は、ストリームドットのドットパターンを示す説明図(3)である。
【図5】図5は、ストリームドットのドットパターンを示す説明図(4)である。
【図6】図6は、ストリームドットのドットパターンを示す説明図(5)である。
【図7】図7は、ストリームドットのドットパターンを示す説明図(6)である。
【図8】図8は、本発明の実施形態であるペーパーキーボードの使用状態を示す説明図である。
【図9】図9は、ペーパーキーボードの見開きページを示した図である。
【図10】図10は、ペーパーキーボードの見開きページを示した図である。
【図11】図11は、本発明の実施形態であるペーパーコントローラを示す説明図である。
【図12】図12は、ペーパーコントローラの他の実施形態を示すものであり、インターネットのURLをブックマークとして登録するためのペーパーコントローラである。
【図13】図13は、ペーパーコントローラの使用状態を示す説明図である。
【図14】図14は、ペーパーコントローラの使用状態を示す説明図である。
【図15】図15は、ペーパーコントローラを用いて操作を行なった場合にモニタ上に表示される画面を示した図である。
【図16】図16は、ペーパーコントローラを用いて操作を行なった場合にモニタ上に表示される画面を示した図である。
【図17】図17は、本実施形態で用いられるテーブルについて説明した図であり、(a)はパーソナルコンピュータ内に設けられたインデックステーブル、(b)は管理サーバ内に設けられた管理サーバテーブルについて示した図である。
【図18】図18は、ペーパーコントローラの他の実施形態について説明した図であり、ガイドバンクが設けられたものについて示す図である。
【図19】図19は、図18に示すペーパーコントローラの断面図である。
【図20】図20は、ペーパーコントローラとガイドバンクが別体となっている状態を示す説明図である。
【図21】図21は、ペーパーコントローラの他の実施形態を示す図であり、ドットパターンとともに点字の突起を設けたものについて示す図である。
【図22】図22は、ペーパーコントローラの他の実施形態を示す図であり、ドットパターンとともに点字の突起を設けたものについて示す図である。
【図23】図23は、スキャナを動作させることによるペーパーキーボードの操作について説明する図であり、(a)はグリッドスクラッチ動作、(b)はグリッドタッピング動作、(c)はグリッドスライディング動作について説明する図である。
【図24】図24は、スキャナを動作させることによるペーパーキーボードの操作について説明する図であり、(a)はグリッドグラインドライト、(b)はグリッドグラインドレフトについて説明する図である。
【図25】図25は、本発明の実施形態であるマウスパッドの使用状態について示した説明図である。
【図26】図26は、マウスパッドについて説明する図であり、(a)および(b)は円形のマウスパッド、(c)および(d)は四角形状のマウスパッドについて示した図である。
【図27】図27は、マウスパッドの具体例について説明した図である。
【図28】図28は、マウスパッドを用いた、スキャナの動作によるブラウザプログラムのウェブページのスクロールオペレーションについて説明した図である。
【図29】図29は、マウスパッドを用いた、スキャナの動作によるブラウザプログラムのウェブページのスクロールオペレーションについて説明した図である。
【図30】図30は、マウスパッドの他の実施形態について説明した図であり、環状の溝を設けたものについて示す図である。
【図31】図31は、マウスパッドの他の実施形態について説明した図であり、放射状の溝を設けたものについて示す図である。
【図32】図32は、ペーパーキーボードの他の実施形態について示す図であり、タッチ・アンド・リリース動作により入力を行なうものについて説明する図である。
【図33】図33は、図32に示したペーパーキーボードを用いた文字入力の具体例について説明した図である。
【図34】図34は、赤外線リモコンと一体となったスキャナについて示す図である。
【図35】図35は、クレードルにスキャナが載置できる構造のリモコンを用いて、テレビに赤外線信号を送信する操作について説明する図である。
【図36】図36は、クレードルにスキャナが載置できる構造のリモコンを用いて、セットトップボックスに赤外線信号を送信する操作について説明する図である。
【図37】図37は、テレビのリモコン機能およびセットトップボックスの制御機能を有するペーパーコントローラについて説明する図である。
【図38】図38は、テレビのリモコン機能およびセットトップボックスの制御機能を有するペーパーコントローラについて説明する図である。
【図39】図39は、ホテルで各種サービスを提供するためのペーパーコントローラについて説明した図である。
【図40】図40は、音楽あるいは動画プレイヤの制御を行なうためのペーパーコントローラについて説明した図である。
【図41】図41は、音楽あるいは動画プレイヤの制御を行なうためのペーパーコントローラについて説明した図である。
【図42】図42は、ドットパターンが印刷されたホワイトボードについて説明した図であり、プロジェクタを用いてコントローラおよび映像を表示した状態を示す図である。
【図43】図43は、ホワイトボードの断面構造を拡大して示す縦断面図である。
【図44】図44は、ドットパターンが印刷されたホワイトボード用磁石シートについて説明した図である。
【図45】図45は、ドットパターンが印刷されたホワイトボードについて説明した図であり、プロジェクタを用いてアイコンを表示した状態を示す図である。
【図46】図46は、ドットパターンが印刷されたアクリルボードについて説明した図であり、リアプロジェクタを用いてアイコンの初期画面を表示した状態を示す図である。
【図47】図47は、アクリルボードの断面構造を拡大して示す縦断面図である。
【図48】図48は、ペーパーキーボードをユーザ自身が作成する機能について説明した図であり、(a)はディスプレイ装置に表示された映像、(b)は用紙にプリントアウトされた状態について示した図である。
【図49】図49は、本発明の一実施形態であるレストランメニューのオーダーシステムについて説明した図である。
【図50】図50は、本発明の一実施形態であるレストランメニューのオーダーシステムについて説明した図である。
【図51】図51は、スキャナに内蔵されたカメラの向きおよびスキャナの傾きについて説明した図である。
【図52】図52は、スキャナの傾きによりキー入力割り込み処理またはGUIのオペレーションを行う場合において、傾けた方向および角度を測定する方法を説明するための図(1)である。
【図53】図53は、スキャナの傾きによりキー入力割り込み処理またはGUIのオペレーションを行う場合において、傾けた方向および角度を測定する方法を説明するための図(2)である。
【図54】図54は、スキャナの傾きによりキー入力割り込み処理またはGUIのオペレーションを行う場合において、傾けた方向を測定する方法を説明するための図である。
【図55】図55は、XY座標値をマウスパッドとして使用したペーパーキーボードについて説明するための図である。
【図56】図56は、マトリクス区画が形成されたホワイトボードについて説明するための図である。
【図57】図57は、図56に示したホワイトボードに用いるドットパターンのフォーマットについて説明するための図である。
【図58】図58は、図56に示したホワイトボードに用いるドットパターンのコード値とコマンドとの対応テーブルを示した図である。
【図59】図59は、ディスプレイ上のデスクトップ画面を印刷し、ペーパーキーボードを作成する機能について説明するための図である。
【図60】図60は、ディスプレイ上のデスクトップ画面を印刷し、ペーパーキーボードを作成する際に生成される、コード値と起動プログラムの対応テーブルについて示した図である。
【図61】図61は、ディスプレイ上のデスクトップ画面を印刷し、ペーパーキーボードを作成する際に生成されるドットパターンのフォーマットについて説明するための図である。
【発明を実施するための形態】
【0042】
図1は、パーソナルコンピュータとスキャナの構成を示すハードウエアブロック図である。
【0043】
同図に示すように、パーソナルコンピュータは、中央処理装置(CPU)を中心に、メインメモリ(MM)、バス(BUS)で接続されたハードディスク装置(HD)、出力手段としての表示装置(DISP)、入力手段としてのキーボード(KBD)を有している。
【0044】
そして、USBインターフェース(USB I/F)を介して撮影手段としてのスキャナ(SCN)が接続されている。
【0045】
このスキャナ(SCN)の内部構成については図示を省略するが、赤外線照射手段(LED)とその反射光の所定波長成分をカットするフィルタ、および撮像する撮像素子(CCDやCMOS)が内蔵されており、後述の媒体としてのIDタグ、ペーパーキーボードやペーパーコントローラからの反射光を撮像して、その媒体面に印刷されたドットパターンを画像データとして処理できるようになっている。
【0046】
そして、スキャナ(SCN)の側面には右クリックボタンと左クリックボタンとが設けられており、それぞれマウスの右クリック、左クリックの機能が実現可能となっている。なお、同図では読み取り部を下にした状態で、右クリックボタンを上方、左クリックボタンを下方に配置しているが、配置はこれに限られない。
【0047】
なお図示を省略してあるが、ディスプレイ装置(DISP)の他に、出力装置として、プリンタ、スピーカ等が接続されていてもよい。
【0048】
また、バス(BUS)は、ネットワークインターフェース(NW I/F)を介してインターネット等の汎用ネットワーク(NW)に接続されており、電子地図データ、文字情報、画像情報、音声情報、動画情報、プログラム等が図示しないサーバよりダウンロード可能となっている。
【0049】
ハードディスク(HD)内には、オペレーティングシステム(OS)とともに、本実施形態で用いられるドットパターンの解析プログラム等のアプリケーションプログラム、電子地図データ、文字情報、画像情報、音声情報、動画情報や各種テーブル等のデータが登録されている。
【0050】
中央処理装置(CPU)は、スキャナ(SCN)からの媒体面のドットパターンの撮影データを読み取りコードまたは座標値に変換した入力信号をUSBインターフェースを介して受信すると、当該入力信号に対応した電子地図データ、文字情報、画像情報、音声情報、動画情報、プログラム等をハードディスク(HD)から読み出してディスプレイ装置(DISP)または図示しないスピーカ等の出力装置から出力させるようになっている。
【0051】
なお、スキャナ(SCN)で読み込むコードや座標値については後で詳述する。
【0052】
スキャナは、詳細な図示は省略するが、赤外線照射手段(赤色LED)とIRフィルタと、CMOSセンサ、CCDセンサ等の光学撮像素子を備えており、媒体面に照射した照射光の反射光を撮影する機能を有している。ここで媒体面上のドットパターンはカーボンインクで印刷されており、ドットパターン以外の画像や文字部分はノンカーボンインクで印刷されている。
【0053】
このカーボンインクは赤外光を吸収する特性を有しているため、前記光学撮像素子での撮像画像では、ドットの部分のみ黒く撮影されることになる。
【0054】
このように、ドットパターンのみがカーボンインクで印刷されているため、他のカーボンインクで印刷された画像や文字に可視的に影響を与えることなく、ドットパターンを通常の印刷と重畳印刷することができる。
【0055】
なお、赤外光を吸収する特性を有するインクとしてカーボンインクを例示したが、ドットパターンの印刷は、特定波長に反応するインクであれば、カーボンインクに限定されない。
【0056】
このようにして読み取ったドットパターンの撮像画像は、スキャナ内の中央処理装置(CPU)によって解析されて座標値またはコード値に変換されて、USBケーブルおよびUSBインターフェース(USB I/O)を介してパーソナルコンピュータに送信される。
【0057】
パーソナルコンピュータの中央処理装置(CPU)は、受信した座標値またはコード値を示すテーブルを参照して、これらに対応した電子地図データ、文字情報、画像情報、音声情報、動画情報がディスプレイ装置(DISP)や図示しないスピーカから出力されるようになっている。
【0058】
<ドットパターンの説明 ストリームドット>
次に、図2〜図7を参照しながら本発明に用いられるドットパターンである、ストリームドットの形成方法の一例について説明する。
【0059】
図2、図3は、ストリームドットパターンを形成する工程の一例を順に示すものである。
【0060】
本発明に係るドットパターンは、従来のドットパターンとは異なり、まず工程1として媒体表面上の可視的な情報に対応して、情報を入出力させたい箇所に基準ドット4を線状に連続して複数個配置する。
【0061】
図2(a)では基準ドット4を曲線状に配置しているが、基準ドット4の配置はこれに限定されるものではなく、直線と曲線を織り交ぜたり、複数の線分により構成される折れ線状にするなど、情報を入出力させる領域にあわせた形状にドットパターンを形成するための種々の変更が可能である。
【0062】
また、媒体表面上に可視的に形成された実在線上に基準ドット4を配置してもよいし、実在線に沿って所定の規則により基準ドット4を配置してもよい。ここでいう実在線とは仮想線に対する概念で、実際に存在している線の全てを含むものである。例えば、実線、破線、点線、直線や曲線などが挙げられ、本発明においては、線が形成される媒体(例えば映像表示装置のディスプレイ)や、線を構成する物質(例えばインク)の如何を問わない。なお、ドットパターンは、印刷やディスプレイ表示、さらに金属やプラスチック上での穴や溝等の凸凹であってもよい。
【0063】
なお、基準ドットは読取り精度向上の観点から、等間隔に配置することが望ましいが、これに限定されるものではなく、複数の間隔を混在させてドットパターンの一定情報のまとまりを定義したり、一定情報のまとまり内における3つの異なる基準ドットの配置間隔によりドットパターンの一定情報のまとまりとドットパターンの方向の両方を定義することも可能である。
【0064】
次に、工程2として、線状に配置された基準ドット4を結ぶ、第一の仮想基準線6を設ける。図2(b)では第一の仮想基準線6を曲線により設けているが、第一の仮想基準線6はこれに限定されるものではなく、曲線状に配置された基準ドット4に対して直線の第一の仮想基準線6を設けてもよいし、直線状に配置された基準ドット4に対して曲線の第一の仮想基準線6を設けてもよい。すなわち、後述する工程3〜工程5における第二の仮想基準線7、仮想基準点74、情報ドット72をどの位置に配置するかによって、基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線6を自由に定義することが可能である。
【0065】
なお、図4に例を示すように、曲線である場合の第一の仮想基準線6は、ベジェ曲線によることが望ましい。
【0066】
すなわち、まず、第一の仮想基準線8上にある基準ドット7をP0、P3とし、P1、P2を与えられた制御点とする。次に、制御点を順に結んで得られる3つの線分・P0―P1、P1―P2、P2―P3・をそれぞれ1対1の比率で分割する点P4、P5、P6を求める。そして、これらの点を順に結んで得られる2つの線分・P4―P5、P5―P6・を、それぞれ1対1の比率で分割する点P7、P8を求める。
【0067】
最後に、この2点を結ぶ線分・P7―P8・をさらに1対1の比率で分割する点P9を求め、この点がベジェ曲線上の点となる。
【0068】
この手順を繰り返し行うことで、P0、P1、P2、P3を制御点とするベジェ曲線が得られる。
【0069】
なお、ベジェ曲線に限らず、スプライン関数を利用して求められるスプライン曲線、n次多項式、楕円弧など、種々のアルゴリズムを用いて第一の仮想基準線8を設けてもよい。
【0070】
また、第二の仮想基準線9においても、第一の仮想基準線8と同様に当該方法を用いて曲線を定義することが可能である。
【0071】
次に、工程3として、線状に配置された基準ドット4および/または第一の仮想基準線6から所定の位置に定義される第二の仮想基準線7を設ける。図2(c)では第二の仮想基準線7を、隣り合う基準ドット4の中間点における第一の仮想基準線6の接線に対して垂直線上の所定位置に向かって、隣り合う基準ドット4から任意の角度をもって設けているが、第二の仮想基準線7はこれに限定されるものではなく、後に示すようにドットパターンにより情報を入出力させたい領域に合わせて仮想基準点を設けるために、種々の方法により定義することが可能である。
【0072】
また、第一の仮想基準線6に対して片側のみに第二の仮想基準線7を設けてドットパターンの方向を定義してもよいし、情報量を増やすために両側各々に設けてもよい。
【0073】
次に、工程4として、第二の仮想基準線7上の所定の位置に複数の仮想基準点74を設ける。図3(a)では仮想基準点74を、第二の仮想基準線7の交点、すなわち隣り合う基準ドット4を結んだ直線を底辺とし、第二の仮想基準線7を対辺とする二等辺三角形の頂点に設けているが、仮想基準点74の位置はこれに限定されるものではなく、第二の仮想基準線7の中点に設けたり、第二の仮想基準線7上に代えて基準ドット4上に設けるなど、種々の変更が可能である。
【0074】
そして、工程5として、仮想基準点74を始点としてベクトルにより表現した終点に情報ドット72を配置する。図3(b)では情報ドット72を、仮想基準点74からのベクトル方向を8方向、仮想基準点74からの距離が等距離となるよう、一個の仮想基準点74に対し1個配置しているが、情報ドット72の配置はこれに限定されるものではなく、仮想基準点74上に配置したり、ベクトル方向を16方向として配置したり、一個の仮想基準点74に対し2個配置するなど、任意の方向に任意の長さに、複数配置することが可能である。
【0075】
図5はドットパターンの情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。
【0076】
情報ドット3は種々の情報を認識させるドットである。この情報ドット3は、仮想基準点5を始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット3は、図5に示すように、その仮想基準点5から0.1mm離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に45度ずつ回転させて8方向に配置し、3ビットを表現している。
【0077】
なお、図示例では8方向に配置して3ビットを表現しているが、これに限定されずに、16方向に配置して4ビットを表現することも可能であり、任意の方向に任意の長さに配置できることはもちろんである。
【0078】
さらに、図3(b)では全ての仮想基準点5において、この仮想基準点5を始点としてその終点位置に情報ドット3を配置したが、これに限定されることなく、仮想基準点上にドットが配置されているか否かで情報を定義するようにしてもよい。たとえば仮想基準点上にドットが配置されていれば「1」、配置されていなければ「0」というように情報を定義することができる。
【0079】
図6は情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
【0080】
また、情報ドット3について基準ドット4から導き出された仮想基準点5から短(図6の上段)・長(図6の下段)の2種類を使用し、ベクトル方向を8方向とすると、4ビットを表現することができる。このとき、長い方が隣接する仮想基準点5間の距離の25〜30%程度、短い方は15〜20%程度が望ましい。ただし、長・短の情報ドット3の中心間隔は、これらのドットの径より長くなることが望ましい。
【0081】
情報ドット3は、その見栄えを考慮し、1ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、1ベクトル毎に、1ビットを割り当てて情報ドット3を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円8方向のベクトルでは、基準ドット4から定義された情報ドット3で28の情報を表現でき、1の一定情報のまとまりの情報ドット8個で264となる。
【0082】
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは2次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
【0083】
図7は、ストリームドットパターンを上下方向に並べた状態の一例について示す図である。
【0084】
同図では、基準ドット、情報ドットの他に、キードットおよびサイドドットを配置している。キードットは、一定情報のまとまりの両端に配置されたドットである。このキードットは、ひとまとまりの情報ドット群を表す1領域分のドットパターン1の代表点である。サイドドットは、キードット2のずれの正負の延長線上に配置されたドットである。
【0085】
同図(b)は、基準ドットおよびストリームドットパターンを等間隔に並べている。このように、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が隙間なく定義される。しかし、本発明に係るストリームドットパターンはこれに限らず、同図(a)に示すように、ドットパターン同士の間隔を任意に設定してよい。また、基準ドット同士の間隔も、任意に設定することができる。
【0086】
これにより、XY座標が定義されたドットパターンを2次元コードとして形成される際(インデックスとして使用)の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【0087】
なお、本発明に係る仮想基準線及び仮想基準点は、実際に媒体表面上に印刷形成されるわけではなく、あくまでコンピュータの画像メモリ上に、ドットパターンの配置の際、またはドットパターンの読み取りの際に仮想的に設定されるものである。
【0088】
このストリームドットパターンを用いることで、地球儀を初めとする曲面体や、人体模型、立体地図などの三次元造形物にもドットパターンを形成することができ、平面地図や絵本等に限らず本発明に係る入出力装置を利用することが可能となる。
【0089】
(ペーパーキーボード)
図8〜図10は、本発明の実施形態であるペーパーキーボードについて説明した図である。
【0090】
図8は、媒体としてのペーパーキーボードの一面(媒体面)上に印刷されたドットパターンをスキャナ(SCN)が読み取ることによって、パーソナルコンピュータの種々の入力・オペレーションを行う、ペーパーキーボードを示す説明図である。このペーパーキーボードは一方の長辺側が綴じられた冊子状となっており、その冊子の各ページ面にキーボード(キートップ)の図柄が印刷されている。
【0091】
具体的には、図9に示すように、パーソナルコンピュータのキートップを模した、ひらがな、または英文字の一文字(「あ」、「い」、「A」、「B」等)または複数文字からなる文言(「送る」、「はい」等)が印刷された複数の四角い画像領域が設けられている。
【0092】
このそれぞれの四角形状の画像領域には、それぞれの文字(一文字の四角画像領域の場合)に対応する割り込みキーのコード値がドットパターンとして登録されており、この割り込みキーのコード値は、実際のハードウエアキーボードのそれぞれの文字のキートップに定義されたコード値と一致するようになっている。
【0093】
つまり、「A」の英文字が印刷された四角画像領域のドットパターンをスキャナ(SCN)が読み取った場合、ハードウエアキーボードの「A」のキーが押されたときに発生する割り込みキーのコード値がパーソナルコンピュータ(情報処理装置)に入力されるようになっている。
【0094】
なお、ハードウエアキーボードにはない機能として、挨拶文などの文言「はじめまして」、「ひさしぶり」、「ありがとう」等が四角画像領域として印刷されており、これらの領域にはそれぞれの文言に対応した文字列のコード値列がドットパターンとして印刷されている。なお、文字列をそのままキートップに割り当てられたコード値のドットパターンとして印刷しておく場合の他、所定の桁数の入力命令コード値がドットパターンとして印刷されており、後述の図24で説明するインデックステーブルに対応する文字入力情報をあらかじめ保持させておいてもよい。
【0095】
なお、図9では、これらの文言の他、「ホームページを見る」、「Eメールを送る」等の文言が印刷された四角画像領域が印刷されているが、前者はブラウザプログラム、後者はメーラープログラムの起動コマンドのコード値がドットパターンとして印刷されている。
【0096】
なお、図9では、キーボードの配置を五十音順、アルファベット順に配置したが、これに限らず、実際のJIS配列キーボードと同じ配列としてもよい。
【0097】
また、図9に示したペーパーキーボード上には、それぞれの四角画像領域において、ドットパターンとして前記で説明したコード値の他に、前述の座標値も登録されている。
【0098】
ここで、当該ペーパーキーボード面(媒体面)のドットパターンを撮像したときに、コード値を用いてキーボード入力の代替にする場合の他、座標値を用いてマウスやタブレット入力の代替にすることも可能である。このように、コード値を用いるか、座標値を用いるかについては、ペーパーキーボード上に「コード・座標切換」の文字が表示された四角画像領域を設けて、この領域にコード値を採用するか座標値を採用するかを切り換えるコード値をドットパターンとして印刷しておき、この四角画像領域をスキャンする毎にコード値と座標値との入力が切り換えられるようにしてもよい。
【0099】
さらに、四角画像領域に印刷されたドットパターン化されたコード値についても、その読み取り手順によって、コード値とは異なる意味を有するコード値として用いることが可能である。
【0100】
たとえば、「A」の四角画像領域のドットパターンが所定時間内に連続して読み込まれた場合(「A」の四角画像領域上でスキャナをタッピング)、すなわちスキャナの先端を連続的に媒体面に接触させたり離反させるように上下動を繰り返した場合や、スキャナをスクラッチ、すなわち、キートップ画像上でスキャナを前後または左右方向に擦る動作をさせる場合のように、座標値の読み取り画像が変化した場合には、ハードウエアキーボードのシフトキーが押されたのと同じ状態としてもよい。
【0101】
具体的には、小文字の「a」をスキャナ(SCN)で撮影し、当該「A」に対応する割り込みキーのコード値がパーソナルコンピュータに入力され、その後、タッピング動作を行った場合に、パーソナルコンピュータの中央処理装置(CPU)は、プログラムに基づいて、スキャナの撮影画像の変化を検出し、小文字の「a」に対応する割り込みコード値を大文字の「A」に対応する割り込みコード値に変換してワードプロセッサ等のアプリケーションプログラムに引き渡す。
【0102】
また、タッピング動作の場合、最初の1回だけドットパターンの読み取りを行い、後はスキャナ(SCN)のCMOSセンサが認識する光の強弱だけを検出してタッピング動作が行われていることを検出してもよい。
【0103】
また、このようなタッピング動作の他に、当該四角画像領域上でスキャナを一定時間以上停止させてドットパターンの読み取りを行った場合には大文字の「A」、一定時間以下の場合には小文字の「a」と判定してそれぞれのコード値をアプリケーションプログラムに引き渡してもよい。
【0104】
さらに、当該四角画像領域上で同一のコード値を読み取りながら座標値が変化した場合(スキャナのスクラッチ動作)、撮像画像範囲内の光の強弱の分布の変化でスキャナの傾きを検出した場合等に大文字と小文字の入力を切り換えてそれぞれのコード値をアプリケーションプログラムに引き渡すようにしてもよい。
【0105】
図23(b)はこのグリッドタッピング動作を説明する図である。
【0106】
すなわち、スキャナ(SCN)のグリッドタッピング動作とは、スキャナを地図に垂直に立て、上下にスキャナを動かして媒体面のアイコン(ここでは英文字「A」のキートップ画像)を叩く動作を行うことである。
【0107】
図23(a)および(c)はスキャナ(SCN)のグリッドスクラッチ動作を示す説明図である。
【0108】
グリッドスクラッチ動作とは、地図上で、引っかくようにスキャナを複数回動かす動作をいう。ユーザ(オペレータ)は、媒体面のアイコン(ここでは英文字「A」のキートップ画像)上でグリッドスクラッチ動作を行う。これにより、アプリケーションプログラムへの入力文字が大文字の「A」と小文字の「a」の割り込みコードに相互に切り換えられるようになっている。
【0109】
図24はスキャナ(SCN)のグリッドグラインド動作を示す説明図である。
【0110】
グリッドグラインド動作とは、媒体面上の同一のアイコン(ここでは英文字の「A」のキートップ画像)を撮像しながら、スキャナの後端(図では上方)を回転させる動作のことである。紙面に対して右方向(時計方向)にグリッドグラインドすることを「グリッドグラインドライト」、左方向(反時計方向)にグリッドグラインドすることを「グリッドグラインドレフト」と呼んでもよい。
【0111】
図51に示したように、スキャナの撮像画像の明暗を認識し、その明暗領域が撮像中心に対して変化したときに、中央処理装置は、スキャナが図32のように動作されたことを認識できる。このようなスキャナのオペレーションによって、キーボードのシフト、コントロール、入力文字の変換等を行ってもよい。
【0112】
また、スキャナの撮像画像の明暗が変化する動作の他の一例として、グリッドポンプ動作(図示は省略)が挙げられる。グリッドポンプ動作とは、スキャナを前方または後方に繰り返し倒す操作のことである。
【0113】
図51は、スキャナの傾きと角度との関係を説明した図である。
【0114】
キートップ画像上のドットパターンは、紙面の縦方向と同方向に重畳印刷されている。(a)に示す如く、ドットパターンの向きと、スキャナ内のカメラの向きとがなす角度をαとする。また、(b)に示す如く、ユーザがスキャナを傾けたときに、スキャナの傾きとカメラの向きとがなす角度をβとする。この場合に、ドットパターンの向きとスキャナの傾きとがなす角度γが、キートップ画像に対してスキャナを傾けた角度となる。すなわち、角度γは、
γ=α+β
となる。
【0115】
図52から図54は、上述したスキャナの動作において、スキャナの撮影画像の明暗および傾斜方向の算出方法について説明した図である。
【0116】
スキャナ(撮像手段)の媒体面(キートップ画像)の鉛直方向に対する傾きについては、図51(b)に示すように、当該スキャナの撮像視野における明度の差で認識することが可能である。
【0117】
スキャナの傾斜方向とは、スキャナと地図とのなす角度をいう。ユーザがどの方向にスキャナを傾けたかは、以下の方法により求めることができる。
【0118】
まず、キャリブレーションを行う。スキャナを地図に対して垂直に立て、その場合の、図52に示した、1〜48のセルの明るさを測定する。図52は、スキャナ周辺の領域である。このときの明るさをBL0(i)とする。iは、測定したセルの値であり、たとえば、24番のセルの明るさは、BL0(24)と表示する。
【0119】
スキャナ内部には、LEDが2個設置されている。そのため、スキャナを地図に対して垂直に立てていても、LED付近のセルとLEDから離れた位置にあるセルとでは、明るさが異なる。そのため、キャリブレーションを行なう。
【0120】
次に、スキャナを傾けた場合の明るさを測定する。スキャナを一定方向に傾けた場合の、セル1からセル48までの明るさを測定し、セルiにおける明るさをBL(i)とする。そして、各セルにおけるBL(i)とBL0(i)との差分を計算する。そして、
Max(BL0(i)−BL(i))
を計算する。
【0121】
スキャナを傾けた場合、傾けた方向と逆の方向が暗くなる。スキャナを傾けた方向にLEDも傾くため、傾けた方向と逆方向では、LEDとの距離が遠くなるからである。したがって、図53に示す如く、差分が最大値となるセルと逆方向が、スキャナを傾けた位置となる。
【0122】
これにより、スキャナを傾けた方向が定まる。
【0123】
次に、図52〜図53を用いて、キャリブレーションを行なうことにより、傾斜方向および角度を決定する他の方法について説明する。
【0124】
最初にキャリブレーションを行なう。まず、スキャナを地図に対して垂直に立て、図52に示したセル1からセル48の明るさを測定し、セルiにおける明るさをBL0(i)とする。
【0125】
次に、スキャナを45°傾け、ペン先を軸にして一周させる。この場合に、スキャナがセルiの位置にきた場合の明るさをBL45(i)とする。セル1からセル48までのBL45(i)を求める。以上の操作によりキャリブレーションが終了する。
【0126】
次に、ユーザがスキャナを傾けた場合の、セル1からセル48までの明るさを測定し、セルiにおける明るさをBL(i)、i=1,n(=48)とする。そして、
を求める。
【0127】
BL0(i)−BL45(i)は一定であるため、BL0(i)−BL(i)の値が最も大きいとき、すなわち、BL(i)が最小となるときに、
は最大値となる。上述した如く、スキャナを傾けた方向と逆の方向が最も暗くなるため、この場合のセルiの逆方向が、スキャナを傾けた方向となる。
【0128】
また、スキャナを傾けた角度は、
となる。
【0129】
なお、上述した式は、明るさに対して角度θが線形となることを想定しているが、厳密には、三角関数等で以下のように近似するとさらに精度を高めることができる。このようにすると、角度は
となる。
【0130】
また、図54に示す如く、1から8の8個のセルを測点とし、各セルの明るさを測定する。
【0131】
さらには、上述の図51で説明したように、スキャナを用いて媒体面上のドットパターンを読み取る際に、スキャナが媒体面に対して傾けられたことをスキャナの撮像画像の明暗の差によって認識することにより、媒体面に対するスキャナの傾き方向にしたがって画面上のGUIのオペレーションを行うことも可能である。
【0132】
図51に示したように、中央処理装置(CPU)がスキャナの撮像画像の明暗を認識し、その明暗領域が撮像中心に対して反対側に移動したときに、スキャナが媒体面に対して傾けられたと判定できる。
【0133】
一方、撮像画像の明暗が前記撮像中心に対して回転するように変化したときに、中央処理装置(CPU)は、スキャナがグリッドグラインド動作が行われたことを判定する(図24参照)。
【0134】
また、撮像画像の明暗が撮像中心に対して前方向または後方向に繰り返し変化したときに、中央処理装置は、スキャナが前方または後方に繰り返し倒される動作(グリッドポンプ動作)が行われたことを判定できる。このようなスキャナのオペレーション動作にともなって、ディスプレイ画面上に表示されたカーソルの移動、画面のスクロール等のGUIのオペレーションを行ってもよい。
【0135】
画面上のGUIのオペレーションは、具体的には、画面のスクロール、カーソル移動、画面上のアイコンの指定、ドラッグ&ドロップ操作、メニュー選択、文字等の入力位置指示動作等のマウス操作のオペレーション等である。
【0136】
(ペーパーコントローラ)
図11〜図22は、本発明の一実施形態であるペーパーコントローラについて説明した図である。
【0137】
ペーパーコントローラの一面(媒体面)には、図11に示すように、インターネットへのアクセスを行うブラウザプログラム(マイクロソフト社のインターネットエクスプローラ(商標名)等)への指示を行う命令が紙媒体等の表面にアイコン領域として印刷されている。当該ペーパーコントローラ上には、同図に示すように、「ユーザ(オペレータ)登録」指示、ウェブ閲覧の際のカーソルの移動指示、URLのコピー/リンク指示、ディスプレイ装置上に表示される、登録・編集パネルの操作指示、登録・編集パネルの開閉指示、登録・編集パネルのURLおよびそのリンクの削除指示を意味するアイコン領域が印刷されている。そして、これらのアイコン領域にはそれぞれの指示コードを意味するドットパターンが印刷されている。たとえば、ウェブ閲覧のスクロールアイコン領域の「上へ△」の領域には、ブラウザプログラムに表示される画面を上方に移動させる割り込みコードが登録されており、「下へ▽」の領域には、ブラウザプログラムに表示される画面を下方に移動させる割り込みコードが登録されている。
【0138】
図12は、インターネットのURLをブックマークとして登録するためのペーパーコントローラを示している。英文字のGがデザインされた四角形領域(アイコン領域)が9行×11列分設けられており、これらの99個のアイコン領域にそれぞれ異なるコード値のドットパターンが登録されている。また、右側には9行×2列にカテゴリを示すアイコン領域が設けられている。
【0139】
図13は、図11および図12で説明したペーパーコントローラの一面(媒体面)上に印刷されたドットパターンをスキャナ(SCN)が読み取ることによって、パーソナルコンピュータの種々のオペレーションを行っている状態を示す説明図である。
【0140】
ペーパーコントローラ本体は、シート状の紙または合成樹脂で形成されており、その上面には、ドットパターンを含む印刷面が構成されており、さらにその印刷面上には透明の保護シートが積層されたラミネート構造となっている。なお、このような保護シートは必ずしも必須のものではなく、印刷面が露出したものであってもよいことはもちろんである。
【0141】
また、図14は、図12で説明したペーパーコントローラの各アイコン領域を剥離可能なシール構造にして、システム手帳等に貼付して、音声や音楽データ等との関連付けを行うものである。
【0142】
図17(a)は、パーソナルコンピュータのハードディスク装置(HD)内に設けられたローカルなインデックステーブルを示している。
【0143】
ローカルなインデックステーブルには同図(a)に示すように、ドットコードが意味するコード番号と命令とが対応付けられている。当該インデックステーブルの内容は、具体的にはタグに登録されたドットパターンのIDを読み取った際に実行される命令を登録したID(会員用)に関する領域(第1の領域:図では「ID(会員用)」とした領域)と、ペーパーコントローラのドットパターンを読み取って変換されたコード番号とアクセス先を関係付けた領域(第2の領域:図では「ペーパーコントローラ」とした領域)と、コード番号とコンテンツの登録先を関係付けた領域(第3の領域:図では「媒体」とした領域)とに分けることができる。
【0144】
たとえば、第1の領域を使用する例として、タグのドットパターンの読み取り結果において、コード番号の先頭の一桁が1である場合には、中央処理装置(CPU)は、解析プログラムに基づいて、このインデックステーブルを参照して、タグからの情報であることを認識する。そして、この場合にはドットコード管理サーバへのアクセスを行いドットコード管理サーバのインデックステーブル(図17の(b)に示す管理サーバテーブル)にアクセスするようになっている。
【0145】
第2の領域を使用する例として、ペーパーコントローラのドットパターンの読取結果において、コード番号が00001〜00004以降である場合には、それぞれに対応付けられたファイルにアクセスするようになっている。
【0146】
たとえば、同図に示すように、アクセス先としては、ドライブ名と起動ファイル、それにパラメータがセットになって登録されている。具体的には、ペーパーコントローラから読み取られたドットパターンが、コード番号00001である場合、電子メールのアプリケーションプログラムがこれに対応付けられており、パラメータとして新規のメール作成を意味するコマンドが設定されている。これによって電子メールのプログラムが起動し、電子メールが新規作成できるような状態になる。
【0147】
また、たとえばコード番号00002の場合にはムービープレイヤの起動が指定されており、パーソナルコンピュータ内に登録されたプレイヤソフトが起動するようになっている。
【0148】
さらに、ペーパーコントローラから物理的なキーボードと同様に文字列が直接入力できるようになっており、たとえばコード番号00003が読み取られたときには、特定のアプリケーションにおいて英文字の「A」、または「B」が入力され、これらの文字コードがアプリケーションに引き渡されるようになっている。
【0149】
さらに、第3の領域を使用する例として、通販カタログ(媒体)等に印刷されたドットパターンを読み込んで、コード番号が00100〜であった場合、そのコード番号に対応付けられたURLへのアクセス(Web閲覧)、プログラムの実行、ムービーファイルの起動(再生)が行われるようになっている。
【0150】
ここで、スキャナが読み込んでコード番号に変換して、当該コード番号がインデックステーブルに存在しない場合には、中央処理装置(CPU)は、ネットワークを介して管理サーバへのアクセスを行う。
【0151】
管理サーバでは、個人情報を管理するユーザデータベースとサーバ側のインデックステーブル(図17(b)参照)が設けられている。図示を省略したサーバ側の個人情報管理テーブルにはタグから読み取ったコード番号に対応した個人情報が登録されるようになっているが、前述の先頭桁に1が付与されたコード番号に対して、個人情報が登録されてない場合には、管理サーバの中央処理装置(CPU)は、プログラムにしたがって、初期登録プログラムを前記パーソナルコンピュータに対してダウンロードさせるようになっている。この初期登録プログラムでは、ユーザの自分の個人情報、たとえば住所、氏名、電話番号等を入力するようになっている。このように入力された個人情報に基づいて、管理サーバのユーザデータベースが生成されるようになっている。
【0152】
すなわち、管理サーバのユーザデータベースにタグに対応付けた個人情報を登録しておくことにより、ネットワークアクセスや、決済等の認証処理を容易に行うことができるようになっている。
【0153】
管理サーバの管理サーバテーブルにも、前記図17(a)で説明したローカルのインデックステーブルと同様なテーブルが生成されている。
【0154】
この管理サーバテーブルは、ローカルのインデックステーブルに登録されたコード番号を補完するテーブルであり、スキャナでの読み取り結果のコード番号がローカルのインデックステーブルに存在しない場合に、当該管理サーバテーブルがアクセスされる。
【0155】
たとえば、スキャナでの読み取り結果が、ローカルなインデックステーブルに存在しなかったコード番号00200であった場合、パーソナルコンピュータの中央処理装置(CPU)は、プログラムにしたがって、ネットワークを介して管理サーバにアクセスし、管理サーバテーブルを参照する。
【0156】
管理サーバテーブルにおいて、コード番号00200は、所定のURLのアクセス(Webの閲覧)が定義されているので、当該パーソナルコンピュータは当該URLへのアクセス(Webの閲覧)を実行する。
【0157】
また、当該コード番号がたとえば00201であり、ストリーミング配信を意味している場合には、その配信サーバへのアクセスを行い、ストリーミングデータをダウンロードさせるようになっている。
【0158】
なお、この場合、当該ストリーミングデータのダウンロードとともに、この管理サーバテーブルの内容も前記パーソナルコンピュータのインデックステーブルにダウンロードされる。
【0159】
したがって、その後は、パーソナルコンピュータがスキャナからの読取結果がコード番号00201であっても、管理サーバテーブルにアクセスすることなく、ローカルのインデックステーブルのみで処理できるようになる。
【0160】
図18〜図22は、ペーパーコントローラの他の実施形態について説明した図である。
【0161】
これらの図に示すペーパーコントローラは、図11〜図13で説明したペーパーコントローラとほぼ同様であるが、所定のアイコン領域毎にガイドバンクが設けられている点が異なる。
【0162】
ガイドバンクは、図19に示すように、ペーパーコントローラ本体の上層にさらに、プラスチック板が設けられており、当該プラスチック板の一部が露出面方向に突出したリブ状のバンクガイドとなっている。
【0163】
このバンクガイドは、上シート面上をスキャナの先端(図では下端)でスライド(シート面に沿って並行移動)させたときに、当該スキャナを把持したオペレータがスライド方向に対して僅かな障害として感じる程度の高さであることが好ましく、意図的に乗り越えてスライドを継続することも可能である。
【0164】
このようなバンクガイドを設けることによって、バンクガイドとペーパーコントローラ本体上のアイコン領域の位置関係をある程度覚えておけば、オペレータは目視に依存しなくてもスキャナを意図するアイコン領域上に配置させることが可能となる。たとえば、図25では、四角状のバンクガイドに囲まれた領域に最大4個のアイコン領域(たとえば図18の左欄中段には「URL」、「リンク」、「全てのURL」、「全てのリンク」)を設けているが、スキャナをそれぞれ左上、右上、左下、右下の方向に移動できなくなるまで(ガイドバンクの四隅まで)スライドさせることで、ユーザ(オペレータ)は手許のペーパーコントローラの印刷面を注視していなくても、それぞれのアイコン領域上で正確にスキャナを停止させてそれぞれのコード値の読み取りを行わせることができる。
【0165】
なお、ガイド部は、カード自体をエンボス加工等することにより、カード自体に突起を設けてもよい。また、ガイドは、図20に示すように、プラスチックの別体で構成し、カードのみをそのガイドに対して入れ替え可能にしてもよい。
【0166】
図21および図22は、このペーパーコントローラのバンクガイドに囲まれた領域にドットパターンとともに点字の突起を設けたものである。このように点字とドットパターンを同じ領域に設けておくことにより、視覚障害を持つユーザ(オペレータ)がスキャナを使用するときにも健常者と同様の入力効率を保つことができる。
【0167】
特に、図22では、媒体(たとえば紙や合成樹脂板)の所定の四角領域の上方にドットパターンが印刷され、下方に点字が設けられており、この四角領域が壁部(バンク)によって囲まれているため、目が不自由なユーザであってもスキャナの先端がバンクを越えることで異なる領域をスキャンすることが感覚的に把握できるようになっている。
【0168】
なお、本実施例においては、ドットパターンが印刷されている領域と点字が印刷されている領域を別に設けたが、本発明はこれに限らず、ドットパターンと点字を同一の領域に重畳印刷してもよいことは勿論である。
【0169】
(マウスパッド)
図25〜図31は、本発明の一実施形態であるマウスパッドについて説明した図である。
【0170】
図25は、媒体としてのマウスパッドの一面(媒体面)上に印刷されたドットパターンをスキャナ(SCN)が読み取ることによって、パーソナルコンピュータの種々のオペレーションを行う、マウスパッドシステムを示す説明図である。
【0171】
このマウスパッドは、前述のペーパーコントローラ、ペーパーキーボードと同様に、シート状の紙または合成樹脂で形成されており、その上面には、ドットパターンを含む印刷面が構成されており、さらにその印刷面上には透明の保護シートが積層されたラミネート構造となっている。なお、このような保護シートは必ずしも必須のものではなく、印刷面が露出したものであってもよいことはもちろんである。
【0172】
印刷面は、図26(a)に示すように、内周領域と、環状の外周領域とで構成されている。
【0173】
内周領域には、座標値とコードAとがドットパターンとして印刷されている。また、外周領域には、座標値とコードBとがドットパターンとして印刷されている。当該マウスパッドを座標入力に用いる場合には、円形内の全ての領域を用いてタブレットのように座標入力が可能となる。
【0174】
なお、同図(b)は、外周領域にアルファベットのコード値を登録した画像領域を設けている。
【0175】
なお、このようなマウスパッドは必ずしも円形である必要はなく、同図(c)および(d)に示すように四角形状であってもかまわない。
【0176】
図27は、環状の外周領域にパーソナルコンピュータの入力指示領域をそれぞれ配置したものであり、この各入力指示領域には、それぞれコンピュータのオペレーションのためのコード値がドットパターン化されて印刷されており、マウスパッドの機能と前述のペーパーコントローラの機能を兼ねている。
【0177】
同図において、各機能領域(同図で丸付き数字で示された領域)における機能は以下の通りである。本詳細な説明では、丸付き数字をカッコつき数字として記載する。
(1)範囲選択
アイコン(機能領域)をタッチして、内枠内のスキャナの動作でカーソルを移動し、始点が決まったら、リリースし、もう一度タッチしてカーソルを移動して終点を決めてリリースすると、その間のテキストがブルー表示され、アクティブとなる。
(2)コピー
アイコン(機能領域)をタッチすると、範囲選択されたテキストをメモリに蓄える。メモリリストには、今、コピーしたテキストが先頭にリストされる。
(3)切り取り
アイコン(機能領域)をタッチすると、範囲選択されたテキストを削除し、そのテキストをメモリに貯える。メモリリストには、今、切り取ったテキストが先頭にリストされる。
(4)挿入
カーソルが入力モードになっていない等の場合、アイコン(機能領域)をタッチして、カーソルキー→←・↑↓を使ってカーソルを移動させるか、内枠内のスキャナの動作でカーソルを移動し、リリースすることにより、挿入位置を定める。
(5)貼り付け
アイコン(機能領域)をタッチすると、入力モードになっているカーソルの位置から、メモリに格納されてアクティブになっているテキストが挿入される。
(6)消去
アイコン(機能領域)をタッチすると、直前に範囲選択されたテキストを消去する。直前に範囲選択されていなければ、入力モードになっているカーソルの位置から後のテキストを1文字消去する。2秒以上長押しすると、リリースするまで連続して文字が消去される。
(7)Back Space
アイコン(機能領域)をタッチすると、入力モードになっているカーソルの位置の前のテキストを1文字消去する。2秒以上長押しすると、リリースするまで連続して文字が消去される。
(8)行替え
アイコン(機能領域)をタッチすると、行替えして入力モードになっているカーソルの位置が行替えした先頭に移動する。
(9)解除
アイコン(機能領域)をタッチすると、(1)、(4)、(15)のアイコン(機能領域)をクリックした後、何も操作していない場合、そのモードを解除し、待機状態となる。
(10)UNDO
アイコン(機能領域)をタッチすると、直前に行われたオペレーションが解除され、その前の状態に戻る。何度も繰り返し戻ることが出来る。
(11)カーソル→
(12)カーソル←
(13)カーソル↑
(14)カーソル↓
アイコン(機能領域)をタッチすると、入力モードになっているカーソルの位置をその方向に1文字移動させる。2秒以上長押しすると、連続してカーソルの位置をその方向に移動させる。もし、プルダウンメニューが表示されている場合は、(13)、(14)のアイコン(機能領域)をタッチすると、表示された項目のアクティブとなっている項目を上・下に移動させる。
(15)メモリ表示
アイコンをクリックすると、範囲選択してコピー、もしくは切り取られたテキストのリストが、新しい順で上から表示される。(11)、(12)のアイコン(機能領域)をタッチしてアクティブとなっている項目を上・下に移動できる。アクティブとした項目を(6)消去しない限り、全てのテキストは保存される。
(16)ENTER
カーソルの位置を所定の位置に移動させ、その位置にインストラクションがある場合、アイコン(機能領域)をタッチすると、そのインストラクションが実行される。カナ漢字変換等の決定もできる。一般的なENTERキーと同じ機能を有する。
【0178】
図28(a)〜(d)および図29(a)〜(b)は、このようなマウスパッドを用いたスキャナの動作により、インターネットのブラウザプログラムのウェブページのスクロールオペレーションを示している。
【0179】
図30(a)は立体マウスパッドの平面図、同図(b)はその断面図である。
【0180】
当該マウスパッドは、環状の溝を設けて、領域の違いを把持したオペレータがスキャナを通じて体感できるようになっている。
【0181】
このような溝は図30に示した環状のものの他、図31に示すような放射状のものであってもよい。
(その他のペーパーコントローラ)
図32は、この入力読取り手段を設けて新たなキーボードを提案するものである。
【0182】
キーボードの配置については、「H」「ダブル」「Y」および「変換」「Enter」を中心に扇状に各キートップの画像が配置されており、各キートップの画像は扇状に中心方向に各キートップ画像が直線状に並ばないようにそれぞれずらした位置に配置されている。
【0183】
そして、各キートップ画像は、「H」「ダブル」「Y」および「変換」「Enter」を中心に、より内側に母音(「A」「I」「U」「E」「O」)、その外側に子音(「K」「S」「T」「N」「M」「Y」「R」「W」)が配置されている。
【0184】
これらのキートップ画像上には、コード値とXY座標とが同一のフォーマット中に登録されたドットパターンが重畳印刷されている。
【0185】
このXY座標は、アイコンごとに独立してXY座標が定義されていてもよいし、媒体面全体にわたってXY座標が定義されていてもよい。
【0186】
このキーボードを用いれば、スキャナ(SCN)による媒体面のタッチ&リリースで文字入力を行うことが可能である。たとえば、「傘」と入力したい場合、まず、「K」のキートップ画像部分をスキャナで読み取らせる。そしてそのままスキャナ(SCN)を「A」→「S」→「A」の順番にペーパーキーボード上をなぞる(摺動させる)。このようなキートップ間の動作は、媒体上に重畳印刷されたドットパターンの座標値の変化によって認識させることができる。その後、最後の「A」のキートップ画像からスキャナをリリース(上に引き揚げ)する。パーソナルコンピュータの中央処理装置(CPU)は認識プログラムによって、ローマ字入力の「KASA」の入力と、リリース動作によって「変換命令」であることを認識して、パーソナルコンピュータ等のアプリケーションプログラム(日本語入力プログラム)に引き渡す。これによって、ディスプレイ装置上のカーソル位置には漢字で「傘」と表示される。また、入力した文字を日本語に変換したい場合には「変換」をスキャナで読み取らせてもよい。
【0187】
また、「特許」と入力したい場合には(図42(1)〜(5)参照)、まず「T」のキートップ画像部分をスキャナで読み取らせて、そのままスライドして「O」→「K」→「ダブル」→「Y」→「O」にスライドさせ、最後の「O」のキートップ画像からスキャナをリリース(上に引き揚げ)するか、さらに「変換」にスライドする。ここで、「ダブル」はその前の文字を2回続けて入力する場合にスキャナで読み取る領域である。
パーソナルコンピュータの中央処理装置(CPU)は認識プログラムによって、ローマ字入力の「TOK(ダブル)YO」の入力と、リリース動作、またはそれに続く「変換」の読み取りによって「変換命令」であることを認識して、パーソナルコンピュータ等のアプリケーションプログラム(日本語入力プログラム)に引き渡す。これによって、ディスプレイ装置上のカーソル位置には漢字で「特許」と表示される。
【0188】
図34から38は赤外線リモコンの入力手段としてペーパーキーボードを用いた例である。
【0189】
これらは、スキャナをリモコンと一体化したものであり、図34の(a)はリモコンの先端にスキャナが設けられた構造、図34の(b)はリモコンの操作パネルとは反対側の面にスキャナが設けられた構造を示している。
【0190】
ユーザ(オペレータ)は、リモコンのスキャナを用いて新聞等のラジオ・テレビ欄を走査するようになっている。新聞のテレビ欄は、チャンネルと放送局とがXY方向に表示されており、番組名と出演者や内容が文字情報で印刷されている。このようなラジオ・テレビ欄には視聴・録画予約コードがドットパターンとして印刷されており、このドットパターンをスキャナでスキャンすることによって、番組毎に付与された予約コードをリモコンで読み込んで、セットトップボックス(STB)またはテレビ本体の赤外線受光部に向けて送信するようになっている。
【0191】
図35は、クレードル(台)にスキャナが載置できる構造のリモコンであり、クレードル内にはスキャナからの読取信号を分析して赤外線信号を生成する中央処理装置(CPU)と電源(BAT)等が内蔵されている。
【0192】
図36は、図35のスキャナ(SCN)とクレードルとを用いてCS放送やインターネット放送用のセットトップボックスに対して番組予約・録画する場合の説明図である。
【0193】
なお、スキャナ(SCN)とクレードルとの接続は図35および36に示した有線の他、無線で通信を行うようにしてもよい。
【0194】
図37は、図35や図36に示したリモコンに用いられるペーパーコントローラの一例、図38はセットトップボックスを制御対象としたリモコンに用いられるペーパーコントローラの一例である。
【0195】
たとえば、図37の表紙に印刷された「電源」の領域をスキャナで読み取ると、当該領域に印刷されたドットパターンが読み取られて、コード値に変換され、電源投入信号がテレビまたはセットトップボックスに対して送信される。
【0196】
図39は、本実施形態のペーパーコントローラを、ホテル内の客室に設けられたセットトップボックスに対しての制御を行う媒体として実現したものである。
【0197】
このペーパーコントローラ上には、英語、中国語、韓国語、日本語、それぞれについてシンボルが印刷されており、各シンボル上にはドットパターンが印刷されている。そしてそれぞれのシンボルが意味する動作をセットトップボックスが行うよう、制御信号が無線または光通信としてリモコンから出力されるようになっている。
【0198】
図40および41は、音楽あるいは動画プレイヤの制御を行う場合のペーパーコントローラ(ペーパーキーボード)の一例である。音楽・動画プレイヤについては詳細な説明は省略するが、これらの音楽・動画プレイヤのオペレーションにおいてもスキャナ(SCN)とこれらのペーパーコントローラ(ペーパーキーボード)を使用して映像や音声の録画、再生が可能である。これらのペーパーコントローラ(ペーパーキーボード)の各命令領域にもドットパターンが入力されている。また、図41に示すように、文字入力が可能なペーパーコントローラ(ペーパーキーボード)を用意してもよい。
【0199】
図42〜図45は、媒体面として、ホワイトボードを用いた場合であり、このホワイトボード上にもドットパターンが印刷されている。このホワイトボード上のドットパターンは座標値を意味するドットコード(図7参照)が印刷されているものとする。
【0200】
図45に示すように、座標値を意味するドットパターンが印刷されたホワイトボードに対して、プロジェクタにより所定の画像が投影表示される。プロジェクタは図示しないパーソナルコンピュータに接続されており、このパーソナルコンピュータに接続された本発明のスキャナ(図1参照)を用いてホワイトボードの任意の位置を操作すると、その位置のドットパターンがスキャナ(SCN)に読み込まれてパーソナルコンピュータ内で座標値に変換される。パーソナルコンピュータ内のハードディスク装置内には、座標値と命令またはアドレス等が対応付けられたインデックステーブル(図17参照)を参照し、それに対応するアドレスに規定された情報表示、命令実行を行うようになっている。
【0201】
このホワイトボードでは、図43に示すように、ホワイトボードの表面に粘着剤層が設けられており、ここに一面にドットパターンを印刷した透明シートがそのドットパターンを粘着剤層側にして貼付されている。
【0202】
したがって、ドットパターン自体は透明シートに保護されているため、スキャナの先端が接触したりホワイトボード用のペン先が接触してもドットパターン自体が劣化することはない。
【0203】
図44は、投影ボードの他の実施例について説明したものである。
【0204】
本実施例では、投影ボードは、薄型のホワイトボード用磁石シートとして形成されている。ホワイトボード用磁石シートは、透明保護シート、ドットパターン、ホワイトシート、磁石層から形成されている。この場合、ドットパターンは、同図(a)に示すように透明保護シート側のホワイトシート上に形成されていてもよく、同図(b)に示すようにホワイトシート側の透明保護シート上に形成されていてもよい。このような投影ボードを、磁性体で形成されたホワイトボードや黒板などのボードの表面に貼付して用いる。
【0205】
これにより、持ち運びに便利で利便性の高い投影ボードを提供することができる。
【0206】
図45の例では、ホワイトボード上でアイコンが表示された領域上のドットパターンをスキャナで読み取ると、そのドットパターンがパーソナルコンピュータ上で座標値に変換されて、当該座標値に対応してあらかじめ登録されているアプリケーションプログラムが起動するようになっている。
【0207】
また、図42に示すように、ホワイトボードの左側にリモコンの画像が投影され、右側にはリモコンで制御される動画が再生されるようになっていてもよい。
【0208】
この場合、リモコンの各ボタンの投影画像に対応した箇所をスキャナで読み取ると、その座標値がパーソナルコンピュータに読み込まれて当該座標値に対応する動作、たとえば動画の再生、早送り、巻き戻し、一時停止等が行われ、投影動画(画像)を制御できるようになっている。
【0209】
図46は、ホワイトボードの代わりに、ボードを半透明のアクリルボード(スクリーンボード)とした例であり、背後からリアプロジェクタによってパーソナルコンピュータのデスクトップ画面や動画(画像)を投影するようになっている。
【0210】
図47に示すように、このスクリーンボードでは、アクリルボードのリアプロジェクタ側に粘着剤層を介して赤外線カットフィルタシートが貼付されており、その反対側の面には、粘着剤層を介して透明シートが貼付されている。そして透明シートの粘着剤層側には座標値を意味するドットパターンが印刷されている。なお、赤外線カットフィルタは、透明シートのドット形成側に配置されていてもよい。
【0211】
このように、スクリーンボードのリアプロジェクタ側に赤外線カットフィルタシートが貼付されていることにより、リアプロジェクタからの照射光の中の赤外線成分がカットされるため、スキャナ側にはリアプロジェクタからの赤外線成分のノイズ光が届くことがない。そのため、ドットパターンの読み取り精度を高く維持することができる。
図46において、スキャナによってブラウザプログラムのアイコン部分が撮影された場合には、この座標値がパーソナルコンピュータの中央処理装置(CPU)によって、座標と処理命令とが対になった対応テーブル(図示を省略)を参照して、前記ブラウザプログラムのアイコンの配置位置であることが認識されて、当該座標に対応する処理命令(ここではブラウザプログラムの起動)が実行される。
【0212】
図48は、以上に説明したペーパーキーボードをユーザ(オペレータ)自身が作成するために、画面上にペーパーキーボードのイメージ情報を編集し、たとえば一部の領域にマスクを切ってマスクを形成し、当該マスク上にドットパターンのコードを配置して自由な配置でユーザ(オペレータ)自身が使えるペーパーキーボードを作成するための一例である。
【0213】
画面上のアプリケーションで機能アイコンを自分で削除、追加、配置を自由にできるようなプログラムを用意し、その画面のイメージをドットパターンと共に印刷するか、あるいは、ドットパターンが印刷された用紙に印刷することにより、ワードプロセッサ、表計算ソフトなどのアプリケーションプログラムの機能の実行命令を全て自分専用にカスタマイズして印刷したペーパーキーボードにより実現することができる。
【0214】
これによって、画面上の機能ボタンの配置を少なくすることができ、ワードプロセッサや表計算、アプリケーションプログラムの画面インターフェースを極めてシンプルなものにできる。
【0215】
図49および図50は、ペーパーコントローラをレストラン等の飲食店のオーダーシステムに利用した例を説明したものである。
【0216】
同図に示すように、レストランの各テーブルには、メニュー項目毎に異なるコード番号のドットパターンが印刷されたメニューが置かれており、テーブルの一端にはディスプレイ装置(DISP)を備えたコンピュータ端末が設置されている。
【0217】
スキャナには、ブルートゥース等の近距離無線通信システムが組み込まれており、コンピュータ端末との間で、メニューから読み取ったコード番号と個数情報とが送信が可能となっている。
【0218】
スキャナから読み取られたメニュー項目に対応するコード番号と個数情報とは、前記コンピュータ端末に送信される。コンピュータ端末内の中央処理装置(CPU)は、このメニュー項目のコード番号と個数情報とにテーブル番号を付加したオーダー信号を生成し、オーダーサーバに送信する。
【0219】
オーダーサーバでは、当該オーダー信号からテーブル番号とメニュー項目のコード番号と個数情報とを抽出して、厨房に対してオーダーを設定する。具体的には厨房に表示されるディスプレイ装置に対して、テーブル番号とコード番号に対応したメニュー項目とその個数を表示し、厨房担当者が調理の準備にとりかかれるようになっている。
【0220】
なお、オーダー信号生成の際に、テーブル番号はコンピュータ端末内で付加する場合で説明したが、あらかじめコンピュータ端末のスタンドの表面またはテーブルの表面にテーブル番号を意味するドットパターンが印刷されたシール等が貼付されており、テーブル上にスキャナを配布する際に、スキャナで前記シールの表面を読み取ることによって、テーブル番号とコンピュータ端末との関係付けが行われる。
【0221】
したがって、テーブル上に複数本のスキャナを配布して複数人からのオーダーを同時に受け付けられるようにしてもよい。
【0222】
図55は、XY座標値をマウスパッドとして使用したペーパーキーボードの一例である。
【0223】
図55(a)は、ペーパーキーボードの一部にマウスパッド領域を設けたものである。
【0224】
本実施例では、キートップ画像に印刷されたドットパターンにはコード値のみが登録されており、マウスパッド領域に印刷されたドットパターンにはコード値とXY座標値が登録されている。ユーザがマウスパッド領域でスキャナを上方向にスライドさせると、画面が上方向にスクロールされる。同様に、スキャナを下方向にスライドさせると、画面が下方向にスクロールされる。右方向、左方向についても同様である。
【0225】
図55(b)は、ペーパーキーボード全体をマウスパッド領域として使用するものである。
【0226】
本実施例では、すべてのキートップ画像に、キートップの内容に対応したコード値と、座標値の両方が登録されている。ユーザがペーパーキーボード上の任意の位置でスキャナを2回以上タッピングし、それからスキャナを上方向にスライドさせると、画面が上方向にスクロールされる。同様に、スキャナを2回以上タッピングした後にスキャナを下方向にスライドさせると、画面が下方向にスクロールされる。右方向、左方向についても同様である。
【0227】
図56では、投影ボード上に形成されたドットパターンは、座標値とコード値とが一つのドットパターンのフォーマット中に定義されており、ボード上は所定のマトリクス区画が形成されており、同一のマトリクス区画内では、座標値の変化にかかわらず同一のコード値が付与されている。
【0228】
本実施例は、アイコン画像は、1つまたは複数のマトリクス区画にわたって配置されており、当該アイコン画像のドットパターンが読取手段で読み取られることにより、当該アイコン画像に対応した映像の制御またはプログラムの起動が指示されることを特徴とする。
【0229】
図57は、ホワイトボードの各マトリクスにおけるドットパターンのコード値とXY座標値との関係を示している。
【0230】
図57(a)は、本ドットパターンのC0〜C31までの32ビットに定義される値を表で示したものである。同図に示すようにC0〜C7がY座標、C8〜C15がX座標、C16〜C29がコード値、C30〜C31がパリティをそれぞれ意味している。
【0231】
これらの数値は、(b)に示す格子領域に配置され、具体的なドットパターンを示したのが(c)である。
【0232】
図58は、パーソナルコンピュータのハードディスク装置(HD)内に設けられたコード値・コマンド対応テーブルについて示したものである。たとえば、スキャナで読み取られたドットパターンに対応したドットコードが11または12である場合には、映像の再生を停止させる。また、ドットコードが13である場合には、再生を一時停止させる。
【0233】
図59〜図61は、デスクトップ画面をキャプチャーして印刷を行うことにより、デスクトップ画面のアイコンが印刷されたペーパーキーボードを作成する技術について説明する図である。
【0234】
本実施例においては、キーボード(KBD)の「プリントスクリーン」ボタン(prt sc)が押されること等によりデスクトップ画面がキャプチャーされると、紙面にドットパターンとともにアイコンが印刷された、ペーパーキーボードが印刷媒体として出力されるプログラムが用意されている。
【0235】
図59(a)は、ディスプレイ(表示手段)のデスクトップ画面を示したものである。たとえばデスクトップ画面には、ワードプロセッサ、インターネットおよび表計算のアイコン画像およびスタートボタンが表示されている。
【0236】
デスクトップ画面がキャプチャーされると、パーソナルコンピュータのハードディスク装置(HD)は、デスクトップ画面上のどの位置にアイコンが表示されているかを認識し、アイコンが表示されている位置の座標値を算出する。そして、デスクトップのXY座標と印刷用紙のXY座標とを対応させ、アイコンに対応したドットパターンを生成する。このドットパターンには、画面上の座標値を意味するドットパターンおよびアイコンの機能を意味するコード値が、1つのフォーマットに含まれている。そして、デスクトップ画面のイメージと、生成したドットパターンとの重畳印刷処理を行う。図59(b)は、デスクトップ画面およびドットパターンが印刷されたペーパーキーボードを示す図である。
【0237】
図60は、コード値と起動プログラムとの対応を示すテーブルについて説明した図である。上述した処理によりドットパターンが生成されると、ハードディスク装置(HD)内に、ドットパターンのコード値と、アイコンが意味する起動プログラム(アイコンの機能)とを対応させたテーブルが生成される。例えば、ワードプロセッサを示すアイコンに対応したドットパターンが生成され、コード値0001が割り当てられると、コード値0001と起動プログラムWarpro.exeとが対応したテーブルが生成される。インターネット、表計算を示すアイコンに関しても同様である。このようなテーブルが作成されることにより、ユーザが、例えば、図88(b)に示したペーパーキーボードのグラフの絵をスキャナによりクリックすると、表計算プログラムが起動する。
【0238】
図61は、上述したドットパターンのフォーマットについて示した図である。ドットパターンのフォーマットについては、前述したものと同様であるので説明は省略する。
【0239】
このように、あらかじめデスクトップ画面上のアイコンを印刷しておくことにより、アイコンの指定が容易となる。例えば、すでに複数のプログラムを起動した等により、デスクトップ上のアイコンが画面から隠れてしまった場合であっても、印刷されたペーパーキーボード上でスキャナによりアイコン画像をクリックすれば、容易にプログラムを立ち上げることが可能となる。
【産業上の利用可能性】
【0240】
本発明は、パーソナルコンピュータやテレビ、音楽プレイヤ等の情報処理機器の入力システムに利用することができる。
【符号の説明】
【0241】
1 基準ドット
2 第一の仮想基準線
3 第二の仮想基準線
4 仮想基準点
5 情報ドット
CPU 中央処理装置
MM メインメモリ
USB I/F USBインターフェース
HD ハードディスク装置
DISP ディスプレイ装置(表示手段)
KBD キーボード
NW I/F ネットワークインターフェース
SCN スキャナ
【技術分野】
【0001】
本発明は、紙面等の媒体面に形成(印刷)されたドットパターンを用いた情報処理装置の入力システムに関する。
【背景技術】
【0002】
コンピュータは、生活のあらゆる場面で使用されるようになってきている。文書を作成したり計算を行ったりというような従来の用途に加え、インターネットのウェブページ(WEB Page)にアクセスして必要な情報を得たり、商品の購入を行ったり等、コンピュータの機能および用途は飛躍的に増加している。
【0003】
従来、これらの行為を行うにあたり、キーボードおよびマウスを用いて文字の入力等の操作をすることが必要とされている。
【0004】
しかし、キーボードで文字を入力するには、煩雑な操作が多く、習得するまでに時間を要する。特に、高齢者や障害者等、機器を操作するのに支障のある者にとっては操作が困難であるという問題があった。さらに、キーボードやマウスの操作が可能でコンピュータを使いこなせる者と、それらの操作ができずにコンピュータを使いこなせない者との間で、情報や機会の格差が生じる「デジタルデバイド」も問題となってきている。
【0005】
このような問題を解決するものとして、バーコードやQRコード等(以下、総称して「バーコード」という)の媒体面上に印刷されるコードパターンを用いてコンピュータに情報を入力することのできる情報処理機器およびサービス提供システムが提案されている。すなわち、業者が提供するカタログやホームページ上にバーコードが記載されており、ユーザ(オペレータ)が、コンピュータに接続されたバーコードリーダを用いてバーコードを読み取ると、希望する情報を得たり商品を購入したりすることのできるものである(たとえば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2005−4574号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、バーコードは、バーコードを表示させるためだけに媒体面上の所定領域を確保しなければならないため、媒体面上に表示できるコード数に限界があり、キーボードに較べて多種の文字や記号に対応するコードを入力することは困難だった。しかも、バーコードは媒体面の美観を損ねる要因となっていた。
【0008】
本発明は以上の点に鑑みてなされたものであり、容易な操作でコンピュータに対して文字等の入力や、オペレーションを行うことのできるキーボード、マウス、タブレット等のハードウエアデバイスに代わる新たな入力システム、すなわち、ペーパーアイコン、ペーパーコントローラ、ペーパーキーボードおよびマウスパッドを提案するものである。
【課題を解決するための手段】
【0009】
前記課題を解決するために本発明は以下のような手段を採用した。
【0010】
(1)本発明に係る入力システムは、情報処理装置に接続された光学読み取り装置と、ドットパターンが印刷された媒体と、からなる情報処理装置への入力処理システムであって、該光学読み取り装置は、該ドットパターンを撮像する撮像手段と、該撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、該ドットパターンに定義された座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータを復号して送信する制御手段と、を備え、前記媒体面に形成されたドットパターンは、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを1ライン又は複数並べて形成したドットパターンであり、前記媒体面上に印刷された文字、グラフィック、写真、アイコンの少なくとも一部または全部に重畳して形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、情報処理装置に入力・処理させることを特徴とする。
【0011】
これによれば、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が媒体に隙間なく定義され軌跡情報を生成することができる。さらに、文字や五線譜、地図、図形などが媒体に印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、XY座標が定義されたドットパターンを2次元コードとして形成される際(インデックスとして使用)の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【0012】
(2)さらに、前記ストリームドットパターンは、前記第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、基準となる基準ドットを所定の位置に設けることを特徴とする。
【0013】
これによれば、新たな基準点を設けることにより、ストリームドットパターンの向きと一定情報のまとまりを、情報ドットを使用せず簡易に定義することができ、これにより、余計な情報の低減を押さえられる。さらに、新たな基準点の配置により情報ドットの始点となる仮想基準点の位置を正確に示すことができる。
【0014】
(3)さらに、前記アイコンは、ペーパーキーボードやペーパーコントローラ、カード、シール、付箋紙を含む印刷可能な媒体にテキストや写真、グラフィックで表現して印刷されていることを特徴とする。
【0015】
(4)さらに、前記オペレーション指示は、キーボードの割り込みキーのコード値であって、前記情報処理装置にキー入力割り込み処理を発生させることを特徴とする。
【0016】
(5)さらに、前記光学読み取り装置は前記ドットパターンを読み取ると共に、該光学読み取り装置が前記媒体面または他の媒体面に対して傾けられたことを該光学読み取り装置の撮像画像の明暗の差および/または明暗の差の変化、および/または前記ドットパターンの向きに対して該光学読み取り装置を傾けた方向によって該光学読み取り装置の傾き・方向および/または動作を前記解析手段が解析し、前記制御手段が該光学読み取り装置の傾きおよび/または動作にしたがって定義されたキー入力割り込み処理を発生させる
ことを特徴とする。
【0017】
(6)さらに、前記キー入力割り込み処理は、前記光学読み取り装置に設けられたボタンを押して行うことを特徴とする。
【0018】
(7)さらに、前記キー入力割り込み処理は、入力される文字種の変更、文字変換の指示、カーソル移動であることを特徴とする。
【0019】
(8)さらに、前記キー入力割り込み処理は、前記光学読み取り装置を用いて媒体面上のドットパターンが形成されたアイコン上を走査する際に、母音のみの語の入力の際には、該光学読み取り装置の撮像手段先端を、当該母音に対応するコード値がドットパターンとして定義されたアイコンに接触させて当該アイコン上のドットパターンを読み取り、子音と母音とからなる語の入力の際には、前記撮像手段の先端の読取部を、当該子音に対応するコード値がドットパターンとして定義されたアイコンに接触停止させて当該子音に対応するドットパターンを読み込ませた後、続く母音に対応するコード値がドットパターンとして定義されたアイコンまで該撮像手段を媒体面上を摺動させて、当該母音に該当するアイコンで一旦停止させてドットパターンの読取を行った後、該撮像手段を媒体面から離反させてドットパターンが認識できないようにすることで、単独の文字または一連の単語、文節の入力を行うことを特徴とする。
【0020】
このように、ドットパターンが印刷されたアイコン上をスキャナで接触・離反動作することによって、文字入力に際して、ハードウエアのキーボードでは実現不可能だったまったく新しい入力方式を実現することが可能となる。
【0021】
(9)さらに、前記光学読み取り装置の傾き・方向および/または動作にしたがって画面上のGUIのオペレーションを行うことを特徴とする。
【0022】
(10)さらに、前記画面上のGUIのオペレーションは、画面のスクロール、カーソル移動、画面上のアイコンの指定、ドラッグ&ドロップ操作、メニュー選択、文字等の入力位置指示動作等のマウス操作のオペレーションであることを特徴とする。
【0023】
(11)さらに、前記媒体には、前記ドットパターンが点字の凹凸部とともに媒体面上に前記アイコンが印刷されていることを特徴とする。
【0024】
(12)さらに、前記媒体面に印刷されたドットパターンを楕円弧や多角形、曲線で囲むように、点字状の凸部が所定の間隔で配置されるか、またはバンクが設けられていることを特徴とする。
【0025】
(13)さらに、前記情報処理装置は、番組放送受信機、チューナー、録画・再生装置、再生装置またはネットワークアクセス装置、フォトフレームあるいは放送受信用・ネットワークアクセス用セットトップボックス、パーソナルコンピュータなどの映像再生装置であり、前記光学読み取り装置は、前記映像再生装置に対して、前記媒体面に印刷された番組情報、サイト情報に基づいて視聴・録画予約またはサイトへのアクセスおよび/または、該映像再生装置の制御を行うリモコンであって、前記リモコンは、前記媒体面に印刷された番組情報、サイト情報の領域毎、および/または前記制御ボタンを意味するアイコンに、重畳して形成された前記ドットパターンを光学的に読み取る撮像手段と、前記撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、前記座標値および/またはコード値に対応するオペレーション指示またはデータを意味するコードに復号する制御手段と、当該復号化されたコードを前記映像再生装置に送信する送信手段とからなることを特徴とする。
【0026】
(14)さらに、前記リモコンは、リモコン本体に前記撮像手段、前記解析手段、前記制御手段、前記送信手段が一体として設けられたことを特徴とする。
【0027】
(15)さらに、前記リモコンは、リモコン本体に前記撮像手段、前記解析手段を設け、該リモコン本体で読み取られた前記座標値および/またはコード値を、前記制御手段と前記送信手段とを内蔵したクレードルに有線または無線で送信し、前記クレードルで復号化された前記コードを前記映像再生装置に有線または無線で送信することを特徴とする。
【0028】
(16)本発明に係る情報入出力システムは、請求項1または2記載の、前記ドットパターンが重畳印刷された媒体に替えて、該ドットパターンが形成された投影ボードと、さらに該投影ボードに動画または画像を投影する投影手段と、該投影手段に接続された前記情報処理装置と、を備えた入出力・処理させる入出力処理システムであって、前記投影ボードの一面は、動画または画像が投影される前記投影手段と、前記光学読み取り装置は、該動画または画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、該ドットパターンを撮像する前記撮像手段と、該撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、該ドットパターンに定義された座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータを復号して送信する制御手段と、該座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータ対応する制御信号を前記情報処理装置に対して送信する送信手段と、を備え、前記情報処理装置が前記投影手段に前記制御信号に対応する動画または画像を出力させることを特徴とする。
【0029】
(17)さらに、前記投影ボードの一面は、動画または画像が投影される映像表示エリアと、該映像表示エリアに投影される動画または画像を制御するためのアイコン画像が表示されるコントローラエリアとからなり、前記投影手段は、少なくとも映像表示エリアに動画または画像を投影し、該コントローラエリアに表示されたアイコン画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、前記情報処理装置が前記投影手段に前記制御信号に対応する動画または画像を出力させることを特徴とする。
【0030】
(18)さらに、前記投影ボードは、ホワイトボードの表面に粘着層を介して透明シートが貼付されており、前記ドットパターンは粘着層側の該透明シート上に形成されていることを特徴とする。
【0031】
(19)さらに、前記投影ボードは、ホワイトボード用磁石シートが磁性体で形成されたホワイトボードや黒板などのボードの表面に貼付されており、該ホワイトボード用磁石シートは、磁石層とホワイトシートと透明保護シートが接着されており、前記ドットパターンは、該透明保護シート側の該ホワイトシート上か、または該ホワイトシート側の該透明保護シート上に形成されていることを特徴とする。
【0032】
(20)さらに、前記投影ボード上には、前記情報処理装置に接続された前記投影手段により、少なくともプログラムの起動を意味するアイコン画像を投影するとともに、該アイコン画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、該情報処理装置が当該アイコン画像に対応したプログラムを起動し、対応する動画または画像を出力させることを特徴とする。
【0033】
(21)さらに、前記投影ボードはリアプロジェクタ用ボードであり、該投影ボードに対して前記投影手段はリアプロジェクタとして配置され、前記ドットパターンは、投影面とは異なる面に形成されることを特徴とする。
【0034】
(21)さらに、前記投影ボードはリアプロジェクタ用ボードであり、該投影ボードに対して前記投影手段はリアプロジェクタとして配置され、前記ドットパターンは、投影面とは異なる面に形成されることを特徴とする。
【0035】
(22)さらに、前記投影ボードに形成されたドットパターンは赤外線吸収特性材料で構成され、少なくとも投影手段側の面には、赤外線カットフィルタが設けられていることを特徴とする。
【0036】
(23)本発明に係る印刷制御システムは、請求項1または2記載の、前記ドットパターンが重畳印刷された媒体に替えて、表示手段に表示させたアイコン画像に対応した該ドットパターンを重畳印刷してペーパーコントローラを生成する印刷制御システムであって、前記アイコン画像を生成し表示する前記表示手段と、該表示手段に表示されたアイコン画像をあらかじめ定義された座標値および/またはコード値に関係付けて、該アイコン画像と前記ドットパターンとの重畳印刷を指示する印刷制御手段と、前記印刷制御手段からの指示に基づいて前記アイコン画像と前記ドットパターンとを所定の媒体面に重畳印刷する印刷手段と、を備えることを特徴とする。
【0037】
(24)さらに、前記表示手段は情報処理装置であって、デスクトップ画面が前記ドットパターンと共に媒体に重畳印刷され、重畳印刷された該デスクトップ画面上の座標と前記ドットパターンに定義された座標値、または座標値およびコード値に関係付けて、該デスクトップ画面と前記ドットパターンとの重畳印刷を印刷手段に指示することを特徴とする。
【0038】
(25)さらに、前記コード値は、前記デスクトップ画面を特定することを特徴とする。
【0039】
(26)さらに、前記ドットパターンは赤外線吸収材料で形成されるとともに、座標値とコード値とが一つのフォーマット中に定義されていることを特徴とする。
【発明の効果】
【0040】
本発明によれば、容易な操作でコンピュータに対して文字等の入力や、オペレーションを行うことのできるキーボード、マウス、タブレット等のハードウエアデバイスに代わる新たな入力システム、すなわち、ペーパーアイコン、ペーパーコントローラ、ペーパーキーボードおよびマウスパッドを実現することができる。
【図面の簡単な説明】
【0041】
【図1】図1は、スキャナおよびコンピュータのシステム構成を示すブロック図である。
【図2】図2は、ストリームドットのドットパターンを示す説明図(1)である。
【図3】図3は、ストリームドットのドットパターンを示す説明図(2)である。
【図4】図4は、ストリームドットのドットパターンを示す説明図(3)である。
【図5】図5は、ストリームドットのドットパターンを示す説明図(4)である。
【図6】図6は、ストリームドットのドットパターンを示す説明図(5)である。
【図7】図7は、ストリームドットのドットパターンを示す説明図(6)である。
【図8】図8は、本発明の実施形態であるペーパーキーボードの使用状態を示す説明図である。
【図9】図9は、ペーパーキーボードの見開きページを示した図である。
【図10】図10は、ペーパーキーボードの見開きページを示した図である。
【図11】図11は、本発明の実施形態であるペーパーコントローラを示す説明図である。
【図12】図12は、ペーパーコントローラの他の実施形態を示すものであり、インターネットのURLをブックマークとして登録するためのペーパーコントローラである。
【図13】図13は、ペーパーコントローラの使用状態を示す説明図である。
【図14】図14は、ペーパーコントローラの使用状態を示す説明図である。
【図15】図15は、ペーパーコントローラを用いて操作を行なった場合にモニタ上に表示される画面を示した図である。
【図16】図16は、ペーパーコントローラを用いて操作を行なった場合にモニタ上に表示される画面を示した図である。
【図17】図17は、本実施形態で用いられるテーブルについて説明した図であり、(a)はパーソナルコンピュータ内に設けられたインデックステーブル、(b)は管理サーバ内に設けられた管理サーバテーブルについて示した図である。
【図18】図18は、ペーパーコントローラの他の実施形態について説明した図であり、ガイドバンクが設けられたものについて示す図である。
【図19】図19は、図18に示すペーパーコントローラの断面図である。
【図20】図20は、ペーパーコントローラとガイドバンクが別体となっている状態を示す説明図である。
【図21】図21は、ペーパーコントローラの他の実施形態を示す図であり、ドットパターンとともに点字の突起を設けたものについて示す図である。
【図22】図22は、ペーパーコントローラの他の実施形態を示す図であり、ドットパターンとともに点字の突起を設けたものについて示す図である。
【図23】図23は、スキャナを動作させることによるペーパーキーボードの操作について説明する図であり、(a)はグリッドスクラッチ動作、(b)はグリッドタッピング動作、(c)はグリッドスライディング動作について説明する図である。
【図24】図24は、スキャナを動作させることによるペーパーキーボードの操作について説明する図であり、(a)はグリッドグラインドライト、(b)はグリッドグラインドレフトについて説明する図である。
【図25】図25は、本発明の実施形態であるマウスパッドの使用状態について示した説明図である。
【図26】図26は、マウスパッドについて説明する図であり、(a)および(b)は円形のマウスパッド、(c)および(d)は四角形状のマウスパッドについて示した図である。
【図27】図27は、マウスパッドの具体例について説明した図である。
【図28】図28は、マウスパッドを用いた、スキャナの動作によるブラウザプログラムのウェブページのスクロールオペレーションについて説明した図である。
【図29】図29は、マウスパッドを用いた、スキャナの動作によるブラウザプログラムのウェブページのスクロールオペレーションについて説明した図である。
【図30】図30は、マウスパッドの他の実施形態について説明した図であり、環状の溝を設けたものについて示す図である。
【図31】図31は、マウスパッドの他の実施形態について説明した図であり、放射状の溝を設けたものについて示す図である。
【図32】図32は、ペーパーキーボードの他の実施形態について示す図であり、タッチ・アンド・リリース動作により入力を行なうものについて説明する図である。
【図33】図33は、図32に示したペーパーキーボードを用いた文字入力の具体例について説明した図である。
【図34】図34は、赤外線リモコンと一体となったスキャナについて示す図である。
【図35】図35は、クレードルにスキャナが載置できる構造のリモコンを用いて、テレビに赤外線信号を送信する操作について説明する図である。
【図36】図36は、クレードルにスキャナが載置できる構造のリモコンを用いて、セットトップボックスに赤外線信号を送信する操作について説明する図である。
【図37】図37は、テレビのリモコン機能およびセットトップボックスの制御機能を有するペーパーコントローラについて説明する図である。
【図38】図38は、テレビのリモコン機能およびセットトップボックスの制御機能を有するペーパーコントローラについて説明する図である。
【図39】図39は、ホテルで各種サービスを提供するためのペーパーコントローラについて説明した図である。
【図40】図40は、音楽あるいは動画プレイヤの制御を行なうためのペーパーコントローラについて説明した図である。
【図41】図41は、音楽あるいは動画プレイヤの制御を行なうためのペーパーコントローラについて説明した図である。
【図42】図42は、ドットパターンが印刷されたホワイトボードについて説明した図であり、プロジェクタを用いてコントローラおよび映像を表示した状態を示す図である。
【図43】図43は、ホワイトボードの断面構造を拡大して示す縦断面図である。
【図44】図44は、ドットパターンが印刷されたホワイトボード用磁石シートについて説明した図である。
【図45】図45は、ドットパターンが印刷されたホワイトボードについて説明した図であり、プロジェクタを用いてアイコンを表示した状態を示す図である。
【図46】図46は、ドットパターンが印刷されたアクリルボードについて説明した図であり、リアプロジェクタを用いてアイコンの初期画面を表示した状態を示す図である。
【図47】図47は、アクリルボードの断面構造を拡大して示す縦断面図である。
【図48】図48は、ペーパーキーボードをユーザ自身が作成する機能について説明した図であり、(a)はディスプレイ装置に表示された映像、(b)は用紙にプリントアウトされた状態について示した図である。
【図49】図49は、本発明の一実施形態であるレストランメニューのオーダーシステムについて説明した図である。
【図50】図50は、本発明の一実施形態であるレストランメニューのオーダーシステムについて説明した図である。
【図51】図51は、スキャナに内蔵されたカメラの向きおよびスキャナの傾きについて説明した図である。
【図52】図52は、スキャナの傾きによりキー入力割り込み処理またはGUIのオペレーションを行う場合において、傾けた方向および角度を測定する方法を説明するための図(1)である。
【図53】図53は、スキャナの傾きによりキー入力割り込み処理またはGUIのオペレーションを行う場合において、傾けた方向および角度を測定する方法を説明するための図(2)である。
【図54】図54は、スキャナの傾きによりキー入力割り込み処理またはGUIのオペレーションを行う場合において、傾けた方向を測定する方法を説明するための図である。
【図55】図55は、XY座標値をマウスパッドとして使用したペーパーキーボードについて説明するための図である。
【図56】図56は、マトリクス区画が形成されたホワイトボードについて説明するための図である。
【図57】図57は、図56に示したホワイトボードに用いるドットパターンのフォーマットについて説明するための図である。
【図58】図58は、図56に示したホワイトボードに用いるドットパターンのコード値とコマンドとの対応テーブルを示した図である。
【図59】図59は、ディスプレイ上のデスクトップ画面を印刷し、ペーパーキーボードを作成する機能について説明するための図である。
【図60】図60は、ディスプレイ上のデスクトップ画面を印刷し、ペーパーキーボードを作成する際に生成される、コード値と起動プログラムの対応テーブルについて示した図である。
【図61】図61は、ディスプレイ上のデスクトップ画面を印刷し、ペーパーキーボードを作成する際に生成されるドットパターンのフォーマットについて説明するための図である。
【発明を実施するための形態】
【0042】
図1は、パーソナルコンピュータとスキャナの構成を示すハードウエアブロック図である。
【0043】
同図に示すように、パーソナルコンピュータは、中央処理装置(CPU)を中心に、メインメモリ(MM)、バス(BUS)で接続されたハードディスク装置(HD)、出力手段としての表示装置(DISP)、入力手段としてのキーボード(KBD)を有している。
【0044】
そして、USBインターフェース(USB I/F)を介して撮影手段としてのスキャナ(SCN)が接続されている。
【0045】
このスキャナ(SCN)の内部構成については図示を省略するが、赤外線照射手段(LED)とその反射光の所定波長成分をカットするフィルタ、および撮像する撮像素子(CCDやCMOS)が内蔵されており、後述の媒体としてのIDタグ、ペーパーキーボードやペーパーコントローラからの反射光を撮像して、その媒体面に印刷されたドットパターンを画像データとして処理できるようになっている。
【0046】
そして、スキャナ(SCN)の側面には右クリックボタンと左クリックボタンとが設けられており、それぞれマウスの右クリック、左クリックの機能が実現可能となっている。なお、同図では読み取り部を下にした状態で、右クリックボタンを上方、左クリックボタンを下方に配置しているが、配置はこれに限られない。
【0047】
なお図示を省略してあるが、ディスプレイ装置(DISP)の他に、出力装置として、プリンタ、スピーカ等が接続されていてもよい。
【0048】
また、バス(BUS)は、ネットワークインターフェース(NW I/F)を介してインターネット等の汎用ネットワーク(NW)に接続されており、電子地図データ、文字情報、画像情報、音声情報、動画情報、プログラム等が図示しないサーバよりダウンロード可能となっている。
【0049】
ハードディスク(HD)内には、オペレーティングシステム(OS)とともに、本実施形態で用いられるドットパターンの解析プログラム等のアプリケーションプログラム、電子地図データ、文字情報、画像情報、音声情報、動画情報や各種テーブル等のデータが登録されている。
【0050】
中央処理装置(CPU)は、スキャナ(SCN)からの媒体面のドットパターンの撮影データを読み取りコードまたは座標値に変換した入力信号をUSBインターフェースを介して受信すると、当該入力信号に対応した電子地図データ、文字情報、画像情報、音声情報、動画情報、プログラム等をハードディスク(HD)から読み出してディスプレイ装置(DISP)または図示しないスピーカ等の出力装置から出力させるようになっている。
【0051】
なお、スキャナ(SCN)で読み込むコードや座標値については後で詳述する。
【0052】
スキャナは、詳細な図示は省略するが、赤外線照射手段(赤色LED)とIRフィルタと、CMOSセンサ、CCDセンサ等の光学撮像素子を備えており、媒体面に照射した照射光の反射光を撮影する機能を有している。ここで媒体面上のドットパターンはカーボンインクで印刷されており、ドットパターン以外の画像や文字部分はノンカーボンインクで印刷されている。
【0053】
このカーボンインクは赤外光を吸収する特性を有しているため、前記光学撮像素子での撮像画像では、ドットの部分のみ黒く撮影されることになる。
【0054】
このように、ドットパターンのみがカーボンインクで印刷されているため、他のカーボンインクで印刷された画像や文字に可視的に影響を与えることなく、ドットパターンを通常の印刷と重畳印刷することができる。
【0055】
なお、赤外光を吸収する特性を有するインクとしてカーボンインクを例示したが、ドットパターンの印刷は、特定波長に反応するインクであれば、カーボンインクに限定されない。
【0056】
このようにして読み取ったドットパターンの撮像画像は、スキャナ内の中央処理装置(CPU)によって解析されて座標値またはコード値に変換されて、USBケーブルおよびUSBインターフェース(USB I/O)を介してパーソナルコンピュータに送信される。
【0057】
パーソナルコンピュータの中央処理装置(CPU)は、受信した座標値またはコード値を示すテーブルを参照して、これらに対応した電子地図データ、文字情報、画像情報、音声情報、動画情報がディスプレイ装置(DISP)や図示しないスピーカから出力されるようになっている。
【0058】
<ドットパターンの説明 ストリームドット>
次に、図2〜図7を参照しながら本発明に用いられるドットパターンである、ストリームドットの形成方法の一例について説明する。
【0059】
図2、図3は、ストリームドットパターンを形成する工程の一例を順に示すものである。
【0060】
本発明に係るドットパターンは、従来のドットパターンとは異なり、まず工程1として媒体表面上の可視的な情報に対応して、情報を入出力させたい箇所に基準ドット4を線状に連続して複数個配置する。
【0061】
図2(a)では基準ドット4を曲線状に配置しているが、基準ドット4の配置はこれに限定されるものではなく、直線と曲線を織り交ぜたり、複数の線分により構成される折れ線状にするなど、情報を入出力させる領域にあわせた形状にドットパターンを形成するための種々の変更が可能である。
【0062】
また、媒体表面上に可視的に形成された実在線上に基準ドット4を配置してもよいし、実在線に沿って所定の規則により基準ドット4を配置してもよい。ここでいう実在線とは仮想線に対する概念で、実際に存在している線の全てを含むものである。例えば、実線、破線、点線、直線や曲線などが挙げられ、本発明においては、線が形成される媒体(例えば映像表示装置のディスプレイ)や、線を構成する物質(例えばインク)の如何を問わない。なお、ドットパターンは、印刷やディスプレイ表示、さらに金属やプラスチック上での穴や溝等の凸凹であってもよい。
【0063】
なお、基準ドットは読取り精度向上の観点から、等間隔に配置することが望ましいが、これに限定されるものではなく、複数の間隔を混在させてドットパターンの一定情報のまとまりを定義したり、一定情報のまとまり内における3つの異なる基準ドットの配置間隔によりドットパターンの一定情報のまとまりとドットパターンの方向の両方を定義することも可能である。
【0064】
次に、工程2として、線状に配置された基準ドット4を結ぶ、第一の仮想基準線6を設ける。図2(b)では第一の仮想基準線6を曲線により設けているが、第一の仮想基準線6はこれに限定されるものではなく、曲線状に配置された基準ドット4に対して直線の第一の仮想基準線6を設けてもよいし、直線状に配置された基準ドット4に対して曲線の第一の仮想基準線6を設けてもよい。すなわち、後述する工程3〜工程5における第二の仮想基準線7、仮想基準点74、情報ドット72をどの位置に配置するかによって、基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線6を自由に定義することが可能である。
【0065】
なお、図4に例を示すように、曲線である場合の第一の仮想基準線6は、ベジェ曲線によることが望ましい。
【0066】
すなわち、まず、第一の仮想基準線8上にある基準ドット7をP0、P3とし、P1、P2を与えられた制御点とする。次に、制御点を順に結んで得られる3つの線分・P0―P1、P1―P2、P2―P3・をそれぞれ1対1の比率で分割する点P4、P5、P6を求める。そして、これらの点を順に結んで得られる2つの線分・P4―P5、P5―P6・を、それぞれ1対1の比率で分割する点P7、P8を求める。
【0067】
最後に、この2点を結ぶ線分・P7―P8・をさらに1対1の比率で分割する点P9を求め、この点がベジェ曲線上の点となる。
【0068】
この手順を繰り返し行うことで、P0、P1、P2、P3を制御点とするベジェ曲線が得られる。
【0069】
なお、ベジェ曲線に限らず、スプライン関数を利用して求められるスプライン曲線、n次多項式、楕円弧など、種々のアルゴリズムを用いて第一の仮想基準線8を設けてもよい。
【0070】
また、第二の仮想基準線9においても、第一の仮想基準線8と同様に当該方法を用いて曲線を定義することが可能である。
【0071】
次に、工程3として、線状に配置された基準ドット4および/または第一の仮想基準線6から所定の位置に定義される第二の仮想基準線7を設ける。図2(c)では第二の仮想基準線7を、隣り合う基準ドット4の中間点における第一の仮想基準線6の接線に対して垂直線上の所定位置に向かって、隣り合う基準ドット4から任意の角度をもって設けているが、第二の仮想基準線7はこれに限定されるものではなく、後に示すようにドットパターンにより情報を入出力させたい領域に合わせて仮想基準点を設けるために、種々の方法により定義することが可能である。
【0072】
また、第一の仮想基準線6に対して片側のみに第二の仮想基準線7を設けてドットパターンの方向を定義してもよいし、情報量を増やすために両側各々に設けてもよい。
【0073】
次に、工程4として、第二の仮想基準線7上の所定の位置に複数の仮想基準点74を設ける。図3(a)では仮想基準点74を、第二の仮想基準線7の交点、すなわち隣り合う基準ドット4を結んだ直線を底辺とし、第二の仮想基準線7を対辺とする二等辺三角形の頂点に設けているが、仮想基準点74の位置はこれに限定されるものではなく、第二の仮想基準線7の中点に設けたり、第二の仮想基準線7上に代えて基準ドット4上に設けるなど、種々の変更が可能である。
【0074】
そして、工程5として、仮想基準点74を始点としてベクトルにより表現した終点に情報ドット72を配置する。図3(b)では情報ドット72を、仮想基準点74からのベクトル方向を8方向、仮想基準点74からの距離が等距離となるよう、一個の仮想基準点74に対し1個配置しているが、情報ドット72の配置はこれに限定されるものではなく、仮想基準点74上に配置したり、ベクトル方向を16方向として配置したり、一個の仮想基準点74に対し2個配置するなど、任意の方向に任意の長さに、複数配置することが可能である。
【0075】
図5はドットパターンの情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。
【0076】
情報ドット3は種々の情報を認識させるドットである。この情報ドット3は、仮想基準点5を始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット3は、図5に示すように、その仮想基準点5から0.1mm離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に45度ずつ回転させて8方向に配置し、3ビットを表現している。
【0077】
なお、図示例では8方向に配置して3ビットを表現しているが、これに限定されずに、16方向に配置して4ビットを表現することも可能であり、任意の方向に任意の長さに配置できることはもちろんである。
【0078】
さらに、図3(b)では全ての仮想基準点5において、この仮想基準点5を始点としてその終点位置に情報ドット3を配置したが、これに限定されることなく、仮想基準点上にドットが配置されているか否かで情報を定義するようにしてもよい。たとえば仮想基準点上にドットが配置されていれば「1」、配置されていなければ「0」というように情報を定義することができる。
【0079】
図6は情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
【0080】
また、情報ドット3について基準ドット4から導き出された仮想基準点5から短(図6の上段)・長(図6の下段)の2種類を使用し、ベクトル方向を8方向とすると、4ビットを表現することができる。このとき、長い方が隣接する仮想基準点5間の距離の25〜30%程度、短い方は15〜20%程度が望ましい。ただし、長・短の情報ドット3の中心間隔は、これらのドットの径より長くなることが望ましい。
【0081】
情報ドット3は、その見栄えを考慮し、1ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、1ベクトル毎に、1ビットを割り当てて情報ドット3を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円8方向のベクトルでは、基準ドット4から定義された情報ドット3で28の情報を表現でき、1の一定情報のまとまりの情報ドット8個で264となる。
【0082】
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは2次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
【0083】
図7は、ストリームドットパターンを上下方向に並べた状態の一例について示す図である。
【0084】
同図では、基準ドット、情報ドットの他に、キードットおよびサイドドットを配置している。キードットは、一定情報のまとまりの両端に配置されたドットである。このキードットは、ひとまとまりの情報ドット群を表す1領域分のドットパターン1の代表点である。サイドドットは、キードット2のずれの正負の延長線上に配置されたドットである。
【0085】
同図(b)は、基準ドットおよびストリームドットパターンを等間隔に並べている。このように、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が隙間なく定義される。しかし、本発明に係るストリームドットパターンはこれに限らず、同図(a)に示すように、ドットパターン同士の間隔を任意に設定してよい。また、基準ドット同士の間隔も、任意に設定することができる。
【0086】
これにより、XY座標が定義されたドットパターンを2次元コードとして形成される際(インデックスとして使用)の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【0087】
なお、本発明に係る仮想基準線及び仮想基準点は、実際に媒体表面上に印刷形成されるわけではなく、あくまでコンピュータの画像メモリ上に、ドットパターンの配置の際、またはドットパターンの読み取りの際に仮想的に設定されるものである。
【0088】
このストリームドットパターンを用いることで、地球儀を初めとする曲面体や、人体模型、立体地図などの三次元造形物にもドットパターンを形成することができ、平面地図や絵本等に限らず本発明に係る入出力装置を利用することが可能となる。
【0089】
(ペーパーキーボード)
図8〜図10は、本発明の実施形態であるペーパーキーボードについて説明した図である。
【0090】
図8は、媒体としてのペーパーキーボードの一面(媒体面)上に印刷されたドットパターンをスキャナ(SCN)が読み取ることによって、パーソナルコンピュータの種々の入力・オペレーションを行う、ペーパーキーボードを示す説明図である。このペーパーキーボードは一方の長辺側が綴じられた冊子状となっており、その冊子の各ページ面にキーボード(キートップ)の図柄が印刷されている。
【0091】
具体的には、図9に示すように、パーソナルコンピュータのキートップを模した、ひらがな、または英文字の一文字(「あ」、「い」、「A」、「B」等)または複数文字からなる文言(「送る」、「はい」等)が印刷された複数の四角い画像領域が設けられている。
【0092】
このそれぞれの四角形状の画像領域には、それぞれの文字(一文字の四角画像領域の場合)に対応する割り込みキーのコード値がドットパターンとして登録されており、この割り込みキーのコード値は、実際のハードウエアキーボードのそれぞれの文字のキートップに定義されたコード値と一致するようになっている。
【0093】
つまり、「A」の英文字が印刷された四角画像領域のドットパターンをスキャナ(SCN)が読み取った場合、ハードウエアキーボードの「A」のキーが押されたときに発生する割り込みキーのコード値がパーソナルコンピュータ(情報処理装置)に入力されるようになっている。
【0094】
なお、ハードウエアキーボードにはない機能として、挨拶文などの文言「はじめまして」、「ひさしぶり」、「ありがとう」等が四角画像領域として印刷されており、これらの領域にはそれぞれの文言に対応した文字列のコード値列がドットパターンとして印刷されている。なお、文字列をそのままキートップに割り当てられたコード値のドットパターンとして印刷しておく場合の他、所定の桁数の入力命令コード値がドットパターンとして印刷されており、後述の図24で説明するインデックステーブルに対応する文字入力情報をあらかじめ保持させておいてもよい。
【0095】
なお、図9では、これらの文言の他、「ホームページを見る」、「Eメールを送る」等の文言が印刷された四角画像領域が印刷されているが、前者はブラウザプログラム、後者はメーラープログラムの起動コマンドのコード値がドットパターンとして印刷されている。
【0096】
なお、図9では、キーボードの配置を五十音順、アルファベット順に配置したが、これに限らず、実際のJIS配列キーボードと同じ配列としてもよい。
【0097】
また、図9に示したペーパーキーボード上には、それぞれの四角画像領域において、ドットパターンとして前記で説明したコード値の他に、前述の座標値も登録されている。
【0098】
ここで、当該ペーパーキーボード面(媒体面)のドットパターンを撮像したときに、コード値を用いてキーボード入力の代替にする場合の他、座標値を用いてマウスやタブレット入力の代替にすることも可能である。このように、コード値を用いるか、座標値を用いるかについては、ペーパーキーボード上に「コード・座標切換」の文字が表示された四角画像領域を設けて、この領域にコード値を採用するか座標値を採用するかを切り換えるコード値をドットパターンとして印刷しておき、この四角画像領域をスキャンする毎にコード値と座標値との入力が切り換えられるようにしてもよい。
【0099】
さらに、四角画像領域に印刷されたドットパターン化されたコード値についても、その読み取り手順によって、コード値とは異なる意味を有するコード値として用いることが可能である。
【0100】
たとえば、「A」の四角画像領域のドットパターンが所定時間内に連続して読み込まれた場合(「A」の四角画像領域上でスキャナをタッピング)、すなわちスキャナの先端を連続的に媒体面に接触させたり離反させるように上下動を繰り返した場合や、スキャナをスクラッチ、すなわち、キートップ画像上でスキャナを前後または左右方向に擦る動作をさせる場合のように、座標値の読み取り画像が変化した場合には、ハードウエアキーボードのシフトキーが押されたのと同じ状態としてもよい。
【0101】
具体的には、小文字の「a」をスキャナ(SCN)で撮影し、当該「A」に対応する割り込みキーのコード値がパーソナルコンピュータに入力され、その後、タッピング動作を行った場合に、パーソナルコンピュータの中央処理装置(CPU)は、プログラムに基づいて、スキャナの撮影画像の変化を検出し、小文字の「a」に対応する割り込みコード値を大文字の「A」に対応する割り込みコード値に変換してワードプロセッサ等のアプリケーションプログラムに引き渡す。
【0102】
また、タッピング動作の場合、最初の1回だけドットパターンの読み取りを行い、後はスキャナ(SCN)のCMOSセンサが認識する光の強弱だけを検出してタッピング動作が行われていることを検出してもよい。
【0103】
また、このようなタッピング動作の他に、当該四角画像領域上でスキャナを一定時間以上停止させてドットパターンの読み取りを行った場合には大文字の「A」、一定時間以下の場合には小文字の「a」と判定してそれぞれのコード値をアプリケーションプログラムに引き渡してもよい。
【0104】
さらに、当該四角画像領域上で同一のコード値を読み取りながら座標値が変化した場合(スキャナのスクラッチ動作)、撮像画像範囲内の光の強弱の分布の変化でスキャナの傾きを検出した場合等に大文字と小文字の入力を切り換えてそれぞれのコード値をアプリケーションプログラムに引き渡すようにしてもよい。
【0105】
図23(b)はこのグリッドタッピング動作を説明する図である。
【0106】
すなわち、スキャナ(SCN)のグリッドタッピング動作とは、スキャナを地図に垂直に立て、上下にスキャナを動かして媒体面のアイコン(ここでは英文字「A」のキートップ画像)を叩く動作を行うことである。
【0107】
図23(a)および(c)はスキャナ(SCN)のグリッドスクラッチ動作を示す説明図である。
【0108】
グリッドスクラッチ動作とは、地図上で、引っかくようにスキャナを複数回動かす動作をいう。ユーザ(オペレータ)は、媒体面のアイコン(ここでは英文字「A」のキートップ画像)上でグリッドスクラッチ動作を行う。これにより、アプリケーションプログラムへの入力文字が大文字の「A」と小文字の「a」の割り込みコードに相互に切り換えられるようになっている。
【0109】
図24はスキャナ(SCN)のグリッドグラインド動作を示す説明図である。
【0110】
グリッドグラインド動作とは、媒体面上の同一のアイコン(ここでは英文字の「A」のキートップ画像)を撮像しながら、スキャナの後端(図では上方)を回転させる動作のことである。紙面に対して右方向(時計方向)にグリッドグラインドすることを「グリッドグラインドライト」、左方向(反時計方向)にグリッドグラインドすることを「グリッドグラインドレフト」と呼んでもよい。
【0111】
図51に示したように、スキャナの撮像画像の明暗を認識し、その明暗領域が撮像中心に対して変化したときに、中央処理装置は、スキャナが図32のように動作されたことを認識できる。このようなスキャナのオペレーションによって、キーボードのシフト、コントロール、入力文字の変換等を行ってもよい。
【0112】
また、スキャナの撮像画像の明暗が変化する動作の他の一例として、グリッドポンプ動作(図示は省略)が挙げられる。グリッドポンプ動作とは、スキャナを前方または後方に繰り返し倒す操作のことである。
【0113】
図51は、スキャナの傾きと角度との関係を説明した図である。
【0114】
キートップ画像上のドットパターンは、紙面の縦方向と同方向に重畳印刷されている。(a)に示す如く、ドットパターンの向きと、スキャナ内のカメラの向きとがなす角度をαとする。また、(b)に示す如く、ユーザがスキャナを傾けたときに、スキャナの傾きとカメラの向きとがなす角度をβとする。この場合に、ドットパターンの向きとスキャナの傾きとがなす角度γが、キートップ画像に対してスキャナを傾けた角度となる。すなわち、角度γは、
γ=α+β
となる。
【0115】
図52から図54は、上述したスキャナの動作において、スキャナの撮影画像の明暗および傾斜方向の算出方法について説明した図である。
【0116】
スキャナ(撮像手段)の媒体面(キートップ画像)の鉛直方向に対する傾きについては、図51(b)に示すように、当該スキャナの撮像視野における明度の差で認識することが可能である。
【0117】
スキャナの傾斜方向とは、スキャナと地図とのなす角度をいう。ユーザがどの方向にスキャナを傾けたかは、以下の方法により求めることができる。
【0118】
まず、キャリブレーションを行う。スキャナを地図に対して垂直に立て、その場合の、図52に示した、1〜48のセルの明るさを測定する。図52は、スキャナ周辺の領域である。このときの明るさをBL0(i)とする。iは、測定したセルの値であり、たとえば、24番のセルの明るさは、BL0(24)と表示する。
【0119】
スキャナ内部には、LEDが2個設置されている。そのため、スキャナを地図に対して垂直に立てていても、LED付近のセルとLEDから離れた位置にあるセルとでは、明るさが異なる。そのため、キャリブレーションを行なう。
【0120】
次に、スキャナを傾けた場合の明るさを測定する。スキャナを一定方向に傾けた場合の、セル1からセル48までの明るさを測定し、セルiにおける明るさをBL(i)とする。そして、各セルにおけるBL(i)とBL0(i)との差分を計算する。そして、
Max(BL0(i)−BL(i))
を計算する。
【0121】
スキャナを傾けた場合、傾けた方向と逆の方向が暗くなる。スキャナを傾けた方向にLEDも傾くため、傾けた方向と逆方向では、LEDとの距離が遠くなるからである。したがって、図53に示す如く、差分が最大値となるセルと逆方向が、スキャナを傾けた位置となる。
【0122】
これにより、スキャナを傾けた方向が定まる。
【0123】
次に、図52〜図53を用いて、キャリブレーションを行なうことにより、傾斜方向および角度を決定する他の方法について説明する。
【0124】
最初にキャリブレーションを行なう。まず、スキャナを地図に対して垂直に立て、図52に示したセル1からセル48の明るさを測定し、セルiにおける明るさをBL0(i)とする。
【0125】
次に、スキャナを45°傾け、ペン先を軸にして一周させる。この場合に、スキャナがセルiの位置にきた場合の明るさをBL45(i)とする。セル1からセル48までのBL45(i)を求める。以上の操作によりキャリブレーションが終了する。
【0126】
次に、ユーザがスキャナを傾けた場合の、セル1からセル48までの明るさを測定し、セルiにおける明るさをBL(i)、i=1,n(=48)とする。そして、
を求める。
【0127】
BL0(i)−BL45(i)は一定であるため、BL0(i)−BL(i)の値が最も大きいとき、すなわち、BL(i)が最小となるときに、
は最大値となる。上述した如く、スキャナを傾けた方向と逆の方向が最も暗くなるため、この場合のセルiの逆方向が、スキャナを傾けた方向となる。
【0128】
また、スキャナを傾けた角度は、
となる。
【0129】
なお、上述した式は、明るさに対して角度θが線形となることを想定しているが、厳密には、三角関数等で以下のように近似するとさらに精度を高めることができる。このようにすると、角度は
となる。
【0130】
また、図54に示す如く、1から8の8個のセルを測点とし、各セルの明るさを測定する。
【0131】
さらには、上述の図51で説明したように、スキャナを用いて媒体面上のドットパターンを読み取る際に、スキャナが媒体面に対して傾けられたことをスキャナの撮像画像の明暗の差によって認識することにより、媒体面に対するスキャナの傾き方向にしたがって画面上のGUIのオペレーションを行うことも可能である。
【0132】
図51に示したように、中央処理装置(CPU)がスキャナの撮像画像の明暗を認識し、その明暗領域が撮像中心に対して反対側に移動したときに、スキャナが媒体面に対して傾けられたと判定できる。
【0133】
一方、撮像画像の明暗が前記撮像中心に対して回転するように変化したときに、中央処理装置(CPU)は、スキャナがグリッドグラインド動作が行われたことを判定する(図24参照)。
【0134】
また、撮像画像の明暗が撮像中心に対して前方向または後方向に繰り返し変化したときに、中央処理装置は、スキャナが前方または後方に繰り返し倒される動作(グリッドポンプ動作)が行われたことを判定できる。このようなスキャナのオペレーション動作にともなって、ディスプレイ画面上に表示されたカーソルの移動、画面のスクロール等のGUIのオペレーションを行ってもよい。
【0135】
画面上のGUIのオペレーションは、具体的には、画面のスクロール、カーソル移動、画面上のアイコンの指定、ドラッグ&ドロップ操作、メニュー選択、文字等の入力位置指示動作等のマウス操作のオペレーション等である。
【0136】
(ペーパーコントローラ)
図11〜図22は、本発明の一実施形態であるペーパーコントローラについて説明した図である。
【0137】
ペーパーコントローラの一面(媒体面)には、図11に示すように、インターネットへのアクセスを行うブラウザプログラム(マイクロソフト社のインターネットエクスプローラ(商標名)等)への指示を行う命令が紙媒体等の表面にアイコン領域として印刷されている。当該ペーパーコントローラ上には、同図に示すように、「ユーザ(オペレータ)登録」指示、ウェブ閲覧の際のカーソルの移動指示、URLのコピー/リンク指示、ディスプレイ装置上に表示される、登録・編集パネルの操作指示、登録・編集パネルの開閉指示、登録・編集パネルのURLおよびそのリンクの削除指示を意味するアイコン領域が印刷されている。そして、これらのアイコン領域にはそれぞれの指示コードを意味するドットパターンが印刷されている。たとえば、ウェブ閲覧のスクロールアイコン領域の「上へ△」の領域には、ブラウザプログラムに表示される画面を上方に移動させる割り込みコードが登録されており、「下へ▽」の領域には、ブラウザプログラムに表示される画面を下方に移動させる割り込みコードが登録されている。
【0138】
図12は、インターネットのURLをブックマークとして登録するためのペーパーコントローラを示している。英文字のGがデザインされた四角形領域(アイコン領域)が9行×11列分設けられており、これらの99個のアイコン領域にそれぞれ異なるコード値のドットパターンが登録されている。また、右側には9行×2列にカテゴリを示すアイコン領域が設けられている。
【0139】
図13は、図11および図12で説明したペーパーコントローラの一面(媒体面)上に印刷されたドットパターンをスキャナ(SCN)が読み取ることによって、パーソナルコンピュータの種々のオペレーションを行っている状態を示す説明図である。
【0140】
ペーパーコントローラ本体は、シート状の紙または合成樹脂で形成されており、その上面には、ドットパターンを含む印刷面が構成されており、さらにその印刷面上には透明の保護シートが積層されたラミネート構造となっている。なお、このような保護シートは必ずしも必須のものではなく、印刷面が露出したものであってもよいことはもちろんである。
【0141】
また、図14は、図12で説明したペーパーコントローラの各アイコン領域を剥離可能なシール構造にして、システム手帳等に貼付して、音声や音楽データ等との関連付けを行うものである。
【0142】
図17(a)は、パーソナルコンピュータのハードディスク装置(HD)内に設けられたローカルなインデックステーブルを示している。
【0143】
ローカルなインデックステーブルには同図(a)に示すように、ドットコードが意味するコード番号と命令とが対応付けられている。当該インデックステーブルの内容は、具体的にはタグに登録されたドットパターンのIDを読み取った際に実行される命令を登録したID(会員用)に関する領域(第1の領域:図では「ID(会員用)」とした領域)と、ペーパーコントローラのドットパターンを読み取って変換されたコード番号とアクセス先を関係付けた領域(第2の領域:図では「ペーパーコントローラ」とした領域)と、コード番号とコンテンツの登録先を関係付けた領域(第3の領域:図では「媒体」とした領域)とに分けることができる。
【0144】
たとえば、第1の領域を使用する例として、タグのドットパターンの読み取り結果において、コード番号の先頭の一桁が1である場合には、中央処理装置(CPU)は、解析プログラムに基づいて、このインデックステーブルを参照して、タグからの情報であることを認識する。そして、この場合にはドットコード管理サーバへのアクセスを行いドットコード管理サーバのインデックステーブル(図17の(b)に示す管理サーバテーブル)にアクセスするようになっている。
【0145】
第2の領域を使用する例として、ペーパーコントローラのドットパターンの読取結果において、コード番号が00001〜00004以降である場合には、それぞれに対応付けられたファイルにアクセスするようになっている。
【0146】
たとえば、同図に示すように、アクセス先としては、ドライブ名と起動ファイル、それにパラメータがセットになって登録されている。具体的には、ペーパーコントローラから読み取られたドットパターンが、コード番号00001である場合、電子メールのアプリケーションプログラムがこれに対応付けられており、パラメータとして新規のメール作成を意味するコマンドが設定されている。これによって電子メールのプログラムが起動し、電子メールが新規作成できるような状態になる。
【0147】
また、たとえばコード番号00002の場合にはムービープレイヤの起動が指定されており、パーソナルコンピュータ内に登録されたプレイヤソフトが起動するようになっている。
【0148】
さらに、ペーパーコントローラから物理的なキーボードと同様に文字列が直接入力できるようになっており、たとえばコード番号00003が読み取られたときには、特定のアプリケーションにおいて英文字の「A」、または「B」が入力され、これらの文字コードがアプリケーションに引き渡されるようになっている。
【0149】
さらに、第3の領域を使用する例として、通販カタログ(媒体)等に印刷されたドットパターンを読み込んで、コード番号が00100〜であった場合、そのコード番号に対応付けられたURLへのアクセス(Web閲覧)、プログラムの実行、ムービーファイルの起動(再生)が行われるようになっている。
【0150】
ここで、スキャナが読み込んでコード番号に変換して、当該コード番号がインデックステーブルに存在しない場合には、中央処理装置(CPU)は、ネットワークを介して管理サーバへのアクセスを行う。
【0151】
管理サーバでは、個人情報を管理するユーザデータベースとサーバ側のインデックステーブル(図17(b)参照)が設けられている。図示を省略したサーバ側の個人情報管理テーブルにはタグから読み取ったコード番号に対応した個人情報が登録されるようになっているが、前述の先頭桁に1が付与されたコード番号に対して、個人情報が登録されてない場合には、管理サーバの中央処理装置(CPU)は、プログラムにしたがって、初期登録プログラムを前記パーソナルコンピュータに対してダウンロードさせるようになっている。この初期登録プログラムでは、ユーザの自分の個人情報、たとえば住所、氏名、電話番号等を入力するようになっている。このように入力された個人情報に基づいて、管理サーバのユーザデータベースが生成されるようになっている。
【0152】
すなわち、管理サーバのユーザデータベースにタグに対応付けた個人情報を登録しておくことにより、ネットワークアクセスや、決済等の認証処理を容易に行うことができるようになっている。
【0153】
管理サーバの管理サーバテーブルにも、前記図17(a)で説明したローカルのインデックステーブルと同様なテーブルが生成されている。
【0154】
この管理サーバテーブルは、ローカルのインデックステーブルに登録されたコード番号を補完するテーブルであり、スキャナでの読み取り結果のコード番号がローカルのインデックステーブルに存在しない場合に、当該管理サーバテーブルがアクセスされる。
【0155】
たとえば、スキャナでの読み取り結果が、ローカルなインデックステーブルに存在しなかったコード番号00200であった場合、パーソナルコンピュータの中央処理装置(CPU)は、プログラムにしたがって、ネットワークを介して管理サーバにアクセスし、管理サーバテーブルを参照する。
【0156】
管理サーバテーブルにおいて、コード番号00200は、所定のURLのアクセス(Webの閲覧)が定義されているので、当該パーソナルコンピュータは当該URLへのアクセス(Webの閲覧)を実行する。
【0157】
また、当該コード番号がたとえば00201であり、ストリーミング配信を意味している場合には、その配信サーバへのアクセスを行い、ストリーミングデータをダウンロードさせるようになっている。
【0158】
なお、この場合、当該ストリーミングデータのダウンロードとともに、この管理サーバテーブルの内容も前記パーソナルコンピュータのインデックステーブルにダウンロードされる。
【0159】
したがって、その後は、パーソナルコンピュータがスキャナからの読取結果がコード番号00201であっても、管理サーバテーブルにアクセスすることなく、ローカルのインデックステーブルのみで処理できるようになる。
【0160】
図18〜図22は、ペーパーコントローラの他の実施形態について説明した図である。
【0161】
これらの図に示すペーパーコントローラは、図11〜図13で説明したペーパーコントローラとほぼ同様であるが、所定のアイコン領域毎にガイドバンクが設けられている点が異なる。
【0162】
ガイドバンクは、図19に示すように、ペーパーコントローラ本体の上層にさらに、プラスチック板が設けられており、当該プラスチック板の一部が露出面方向に突出したリブ状のバンクガイドとなっている。
【0163】
このバンクガイドは、上シート面上をスキャナの先端(図では下端)でスライド(シート面に沿って並行移動)させたときに、当該スキャナを把持したオペレータがスライド方向に対して僅かな障害として感じる程度の高さであることが好ましく、意図的に乗り越えてスライドを継続することも可能である。
【0164】
このようなバンクガイドを設けることによって、バンクガイドとペーパーコントローラ本体上のアイコン領域の位置関係をある程度覚えておけば、オペレータは目視に依存しなくてもスキャナを意図するアイコン領域上に配置させることが可能となる。たとえば、図25では、四角状のバンクガイドに囲まれた領域に最大4個のアイコン領域(たとえば図18の左欄中段には「URL」、「リンク」、「全てのURL」、「全てのリンク」)を設けているが、スキャナをそれぞれ左上、右上、左下、右下の方向に移動できなくなるまで(ガイドバンクの四隅まで)スライドさせることで、ユーザ(オペレータ)は手許のペーパーコントローラの印刷面を注視していなくても、それぞれのアイコン領域上で正確にスキャナを停止させてそれぞれのコード値の読み取りを行わせることができる。
【0165】
なお、ガイド部は、カード自体をエンボス加工等することにより、カード自体に突起を設けてもよい。また、ガイドは、図20に示すように、プラスチックの別体で構成し、カードのみをそのガイドに対して入れ替え可能にしてもよい。
【0166】
図21および図22は、このペーパーコントローラのバンクガイドに囲まれた領域にドットパターンとともに点字の突起を設けたものである。このように点字とドットパターンを同じ領域に設けておくことにより、視覚障害を持つユーザ(オペレータ)がスキャナを使用するときにも健常者と同様の入力効率を保つことができる。
【0167】
特に、図22では、媒体(たとえば紙や合成樹脂板)の所定の四角領域の上方にドットパターンが印刷され、下方に点字が設けられており、この四角領域が壁部(バンク)によって囲まれているため、目が不自由なユーザであってもスキャナの先端がバンクを越えることで異なる領域をスキャンすることが感覚的に把握できるようになっている。
【0168】
なお、本実施例においては、ドットパターンが印刷されている領域と点字が印刷されている領域を別に設けたが、本発明はこれに限らず、ドットパターンと点字を同一の領域に重畳印刷してもよいことは勿論である。
【0169】
(マウスパッド)
図25〜図31は、本発明の一実施形態であるマウスパッドについて説明した図である。
【0170】
図25は、媒体としてのマウスパッドの一面(媒体面)上に印刷されたドットパターンをスキャナ(SCN)が読み取ることによって、パーソナルコンピュータの種々のオペレーションを行う、マウスパッドシステムを示す説明図である。
【0171】
このマウスパッドは、前述のペーパーコントローラ、ペーパーキーボードと同様に、シート状の紙または合成樹脂で形成されており、その上面には、ドットパターンを含む印刷面が構成されており、さらにその印刷面上には透明の保護シートが積層されたラミネート構造となっている。なお、このような保護シートは必ずしも必須のものではなく、印刷面が露出したものであってもよいことはもちろんである。
【0172】
印刷面は、図26(a)に示すように、内周領域と、環状の外周領域とで構成されている。
【0173】
内周領域には、座標値とコードAとがドットパターンとして印刷されている。また、外周領域には、座標値とコードBとがドットパターンとして印刷されている。当該マウスパッドを座標入力に用いる場合には、円形内の全ての領域を用いてタブレットのように座標入力が可能となる。
【0174】
なお、同図(b)は、外周領域にアルファベットのコード値を登録した画像領域を設けている。
【0175】
なお、このようなマウスパッドは必ずしも円形である必要はなく、同図(c)および(d)に示すように四角形状であってもかまわない。
【0176】
図27は、環状の外周領域にパーソナルコンピュータの入力指示領域をそれぞれ配置したものであり、この各入力指示領域には、それぞれコンピュータのオペレーションのためのコード値がドットパターン化されて印刷されており、マウスパッドの機能と前述のペーパーコントローラの機能を兼ねている。
【0177】
同図において、各機能領域(同図で丸付き数字で示された領域)における機能は以下の通りである。本詳細な説明では、丸付き数字をカッコつき数字として記載する。
(1)範囲選択
アイコン(機能領域)をタッチして、内枠内のスキャナの動作でカーソルを移動し、始点が決まったら、リリースし、もう一度タッチしてカーソルを移動して終点を決めてリリースすると、その間のテキストがブルー表示され、アクティブとなる。
(2)コピー
アイコン(機能領域)をタッチすると、範囲選択されたテキストをメモリに蓄える。メモリリストには、今、コピーしたテキストが先頭にリストされる。
(3)切り取り
アイコン(機能領域)をタッチすると、範囲選択されたテキストを削除し、そのテキストをメモリに貯える。メモリリストには、今、切り取ったテキストが先頭にリストされる。
(4)挿入
カーソルが入力モードになっていない等の場合、アイコン(機能領域)をタッチして、カーソルキー→←・↑↓を使ってカーソルを移動させるか、内枠内のスキャナの動作でカーソルを移動し、リリースすることにより、挿入位置を定める。
(5)貼り付け
アイコン(機能領域)をタッチすると、入力モードになっているカーソルの位置から、メモリに格納されてアクティブになっているテキストが挿入される。
(6)消去
アイコン(機能領域)をタッチすると、直前に範囲選択されたテキストを消去する。直前に範囲選択されていなければ、入力モードになっているカーソルの位置から後のテキストを1文字消去する。2秒以上長押しすると、リリースするまで連続して文字が消去される。
(7)Back Space
アイコン(機能領域)をタッチすると、入力モードになっているカーソルの位置の前のテキストを1文字消去する。2秒以上長押しすると、リリースするまで連続して文字が消去される。
(8)行替え
アイコン(機能領域)をタッチすると、行替えして入力モードになっているカーソルの位置が行替えした先頭に移動する。
(9)解除
アイコン(機能領域)をタッチすると、(1)、(4)、(15)のアイコン(機能領域)をクリックした後、何も操作していない場合、そのモードを解除し、待機状態となる。
(10)UNDO
アイコン(機能領域)をタッチすると、直前に行われたオペレーションが解除され、その前の状態に戻る。何度も繰り返し戻ることが出来る。
(11)カーソル→
(12)カーソル←
(13)カーソル↑
(14)カーソル↓
アイコン(機能領域)をタッチすると、入力モードになっているカーソルの位置をその方向に1文字移動させる。2秒以上長押しすると、連続してカーソルの位置をその方向に移動させる。もし、プルダウンメニューが表示されている場合は、(13)、(14)のアイコン(機能領域)をタッチすると、表示された項目のアクティブとなっている項目を上・下に移動させる。
(15)メモリ表示
アイコンをクリックすると、範囲選択してコピー、もしくは切り取られたテキストのリストが、新しい順で上から表示される。(11)、(12)のアイコン(機能領域)をタッチしてアクティブとなっている項目を上・下に移動できる。アクティブとした項目を(6)消去しない限り、全てのテキストは保存される。
(16)ENTER
カーソルの位置を所定の位置に移動させ、その位置にインストラクションがある場合、アイコン(機能領域)をタッチすると、そのインストラクションが実行される。カナ漢字変換等の決定もできる。一般的なENTERキーと同じ機能を有する。
【0178】
図28(a)〜(d)および図29(a)〜(b)は、このようなマウスパッドを用いたスキャナの動作により、インターネットのブラウザプログラムのウェブページのスクロールオペレーションを示している。
【0179】
図30(a)は立体マウスパッドの平面図、同図(b)はその断面図である。
【0180】
当該マウスパッドは、環状の溝を設けて、領域の違いを把持したオペレータがスキャナを通じて体感できるようになっている。
【0181】
このような溝は図30に示した環状のものの他、図31に示すような放射状のものであってもよい。
(その他のペーパーコントローラ)
図32は、この入力読取り手段を設けて新たなキーボードを提案するものである。
【0182】
キーボードの配置については、「H」「ダブル」「Y」および「変換」「Enter」を中心に扇状に各キートップの画像が配置されており、各キートップの画像は扇状に中心方向に各キートップ画像が直線状に並ばないようにそれぞれずらした位置に配置されている。
【0183】
そして、各キートップ画像は、「H」「ダブル」「Y」および「変換」「Enter」を中心に、より内側に母音(「A」「I」「U」「E」「O」)、その外側に子音(「K」「S」「T」「N」「M」「Y」「R」「W」)が配置されている。
【0184】
これらのキートップ画像上には、コード値とXY座標とが同一のフォーマット中に登録されたドットパターンが重畳印刷されている。
【0185】
このXY座標は、アイコンごとに独立してXY座標が定義されていてもよいし、媒体面全体にわたってXY座標が定義されていてもよい。
【0186】
このキーボードを用いれば、スキャナ(SCN)による媒体面のタッチ&リリースで文字入力を行うことが可能である。たとえば、「傘」と入力したい場合、まず、「K」のキートップ画像部分をスキャナで読み取らせる。そしてそのままスキャナ(SCN)を「A」→「S」→「A」の順番にペーパーキーボード上をなぞる(摺動させる)。このようなキートップ間の動作は、媒体上に重畳印刷されたドットパターンの座標値の変化によって認識させることができる。その後、最後の「A」のキートップ画像からスキャナをリリース(上に引き揚げ)する。パーソナルコンピュータの中央処理装置(CPU)は認識プログラムによって、ローマ字入力の「KASA」の入力と、リリース動作によって「変換命令」であることを認識して、パーソナルコンピュータ等のアプリケーションプログラム(日本語入力プログラム)に引き渡す。これによって、ディスプレイ装置上のカーソル位置には漢字で「傘」と表示される。また、入力した文字を日本語に変換したい場合には「変換」をスキャナで読み取らせてもよい。
【0187】
また、「特許」と入力したい場合には(図42(1)〜(5)参照)、まず「T」のキートップ画像部分をスキャナで読み取らせて、そのままスライドして「O」→「K」→「ダブル」→「Y」→「O」にスライドさせ、最後の「O」のキートップ画像からスキャナをリリース(上に引き揚げ)するか、さらに「変換」にスライドする。ここで、「ダブル」はその前の文字を2回続けて入力する場合にスキャナで読み取る領域である。
パーソナルコンピュータの中央処理装置(CPU)は認識プログラムによって、ローマ字入力の「TOK(ダブル)YO」の入力と、リリース動作、またはそれに続く「変換」の読み取りによって「変換命令」であることを認識して、パーソナルコンピュータ等のアプリケーションプログラム(日本語入力プログラム)に引き渡す。これによって、ディスプレイ装置上のカーソル位置には漢字で「特許」と表示される。
【0188】
図34から38は赤外線リモコンの入力手段としてペーパーキーボードを用いた例である。
【0189】
これらは、スキャナをリモコンと一体化したものであり、図34の(a)はリモコンの先端にスキャナが設けられた構造、図34の(b)はリモコンの操作パネルとは反対側の面にスキャナが設けられた構造を示している。
【0190】
ユーザ(オペレータ)は、リモコンのスキャナを用いて新聞等のラジオ・テレビ欄を走査するようになっている。新聞のテレビ欄は、チャンネルと放送局とがXY方向に表示されており、番組名と出演者や内容が文字情報で印刷されている。このようなラジオ・テレビ欄には視聴・録画予約コードがドットパターンとして印刷されており、このドットパターンをスキャナでスキャンすることによって、番組毎に付与された予約コードをリモコンで読み込んで、セットトップボックス(STB)またはテレビ本体の赤外線受光部に向けて送信するようになっている。
【0191】
図35は、クレードル(台)にスキャナが載置できる構造のリモコンであり、クレードル内にはスキャナからの読取信号を分析して赤外線信号を生成する中央処理装置(CPU)と電源(BAT)等が内蔵されている。
【0192】
図36は、図35のスキャナ(SCN)とクレードルとを用いてCS放送やインターネット放送用のセットトップボックスに対して番組予約・録画する場合の説明図である。
【0193】
なお、スキャナ(SCN)とクレードルとの接続は図35および36に示した有線の他、無線で通信を行うようにしてもよい。
【0194】
図37は、図35や図36に示したリモコンに用いられるペーパーコントローラの一例、図38はセットトップボックスを制御対象としたリモコンに用いられるペーパーコントローラの一例である。
【0195】
たとえば、図37の表紙に印刷された「電源」の領域をスキャナで読み取ると、当該領域に印刷されたドットパターンが読み取られて、コード値に変換され、電源投入信号がテレビまたはセットトップボックスに対して送信される。
【0196】
図39は、本実施形態のペーパーコントローラを、ホテル内の客室に設けられたセットトップボックスに対しての制御を行う媒体として実現したものである。
【0197】
このペーパーコントローラ上には、英語、中国語、韓国語、日本語、それぞれについてシンボルが印刷されており、各シンボル上にはドットパターンが印刷されている。そしてそれぞれのシンボルが意味する動作をセットトップボックスが行うよう、制御信号が無線または光通信としてリモコンから出力されるようになっている。
【0198】
図40および41は、音楽あるいは動画プレイヤの制御を行う場合のペーパーコントローラ(ペーパーキーボード)の一例である。音楽・動画プレイヤについては詳細な説明は省略するが、これらの音楽・動画プレイヤのオペレーションにおいてもスキャナ(SCN)とこれらのペーパーコントローラ(ペーパーキーボード)を使用して映像や音声の録画、再生が可能である。これらのペーパーコントローラ(ペーパーキーボード)の各命令領域にもドットパターンが入力されている。また、図41に示すように、文字入力が可能なペーパーコントローラ(ペーパーキーボード)を用意してもよい。
【0199】
図42〜図45は、媒体面として、ホワイトボードを用いた場合であり、このホワイトボード上にもドットパターンが印刷されている。このホワイトボード上のドットパターンは座標値を意味するドットコード(図7参照)が印刷されているものとする。
【0200】
図45に示すように、座標値を意味するドットパターンが印刷されたホワイトボードに対して、プロジェクタにより所定の画像が投影表示される。プロジェクタは図示しないパーソナルコンピュータに接続されており、このパーソナルコンピュータに接続された本発明のスキャナ(図1参照)を用いてホワイトボードの任意の位置を操作すると、その位置のドットパターンがスキャナ(SCN)に読み込まれてパーソナルコンピュータ内で座標値に変換される。パーソナルコンピュータ内のハードディスク装置内には、座標値と命令またはアドレス等が対応付けられたインデックステーブル(図17参照)を参照し、それに対応するアドレスに規定された情報表示、命令実行を行うようになっている。
【0201】
このホワイトボードでは、図43に示すように、ホワイトボードの表面に粘着剤層が設けられており、ここに一面にドットパターンを印刷した透明シートがそのドットパターンを粘着剤層側にして貼付されている。
【0202】
したがって、ドットパターン自体は透明シートに保護されているため、スキャナの先端が接触したりホワイトボード用のペン先が接触してもドットパターン自体が劣化することはない。
【0203】
図44は、投影ボードの他の実施例について説明したものである。
【0204】
本実施例では、投影ボードは、薄型のホワイトボード用磁石シートとして形成されている。ホワイトボード用磁石シートは、透明保護シート、ドットパターン、ホワイトシート、磁石層から形成されている。この場合、ドットパターンは、同図(a)に示すように透明保護シート側のホワイトシート上に形成されていてもよく、同図(b)に示すようにホワイトシート側の透明保護シート上に形成されていてもよい。このような投影ボードを、磁性体で形成されたホワイトボードや黒板などのボードの表面に貼付して用いる。
【0205】
これにより、持ち運びに便利で利便性の高い投影ボードを提供することができる。
【0206】
図45の例では、ホワイトボード上でアイコンが表示された領域上のドットパターンをスキャナで読み取ると、そのドットパターンがパーソナルコンピュータ上で座標値に変換されて、当該座標値に対応してあらかじめ登録されているアプリケーションプログラムが起動するようになっている。
【0207】
また、図42に示すように、ホワイトボードの左側にリモコンの画像が投影され、右側にはリモコンで制御される動画が再生されるようになっていてもよい。
【0208】
この場合、リモコンの各ボタンの投影画像に対応した箇所をスキャナで読み取ると、その座標値がパーソナルコンピュータに読み込まれて当該座標値に対応する動作、たとえば動画の再生、早送り、巻き戻し、一時停止等が行われ、投影動画(画像)を制御できるようになっている。
【0209】
図46は、ホワイトボードの代わりに、ボードを半透明のアクリルボード(スクリーンボード)とした例であり、背後からリアプロジェクタによってパーソナルコンピュータのデスクトップ画面や動画(画像)を投影するようになっている。
【0210】
図47に示すように、このスクリーンボードでは、アクリルボードのリアプロジェクタ側に粘着剤層を介して赤外線カットフィルタシートが貼付されており、その反対側の面には、粘着剤層を介して透明シートが貼付されている。そして透明シートの粘着剤層側には座標値を意味するドットパターンが印刷されている。なお、赤外線カットフィルタは、透明シートのドット形成側に配置されていてもよい。
【0211】
このように、スクリーンボードのリアプロジェクタ側に赤外線カットフィルタシートが貼付されていることにより、リアプロジェクタからの照射光の中の赤外線成分がカットされるため、スキャナ側にはリアプロジェクタからの赤外線成分のノイズ光が届くことがない。そのため、ドットパターンの読み取り精度を高く維持することができる。
図46において、スキャナによってブラウザプログラムのアイコン部分が撮影された場合には、この座標値がパーソナルコンピュータの中央処理装置(CPU)によって、座標と処理命令とが対になった対応テーブル(図示を省略)を参照して、前記ブラウザプログラムのアイコンの配置位置であることが認識されて、当該座標に対応する処理命令(ここではブラウザプログラムの起動)が実行される。
【0212】
図48は、以上に説明したペーパーキーボードをユーザ(オペレータ)自身が作成するために、画面上にペーパーキーボードのイメージ情報を編集し、たとえば一部の領域にマスクを切ってマスクを形成し、当該マスク上にドットパターンのコードを配置して自由な配置でユーザ(オペレータ)自身が使えるペーパーキーボードを作成するための一例である。
【0213】
画面上のアプリケーションで機能アイコンを自分で削除、追加、配置を自由にできるようなプログラムを用意し、その画面のイメージをドットパターンと共に印刷するか、あるいは、ドットパターンが印刷された用紙に印刷することにより、ワードプロセッサ、表計算ソフトなどのアプリケーションプログラムの機能の実行命令を全て自分専用にカスタマイズして印刷したペーパーキーボードにより実現することができる。
【0214】
これによって、画面上の機能ボタンの配置を少なくすることができ、ワードプロセッサや表計算、アプリケーションプログラムの画面インターフェースを極めてシンプルなものにできる。
【0215】
図49および図50は、ペーパーコントローラをレストラン等の飲食店のオーダーシステムに利用した例を説明したものである。
【0216】
同図に示すように、レストランの各テーブルには、メニュー項目毎に異なるコード番号のドットパターンが印刷されたメニューが置かれており、テーブルの一端にはディスプレイ装置(DISP)を備えたコンピュータ端末が設置されている。
【0217】
スキャナには、ブルートゥース等の近距離無線通信システムが組み込まれており、コンピュータ端末との間で、メニューから読み取ったコード番号と個数情報とが送信が可能となっている。
【0218】
スキャナから読み取られたメニュー項目に対応するコード番号と個数情報とは、前記コンピュータ端末に送信される。コンピュータ端末内の中央処理装置(CPU)は、このメニュー項目のコード番号と個数情報とにテーブル番号を付加したオーダー信号を生成し、オーダーサーバに送信する。
【0219】
オーダーサーバでは、当該オーダー信号からテーブル番号とメニュー項目のコード番号と個数情報とを抽出して、厨房に対してオーダーを設定する。具体的には厨房に表示されるディスプレイ装置に対して、テーブル番号とコード番号に対応したメニュー項目とその個数を表示し、厨房担当者が調理の準備にとりかかれるようになっている。
【0220】
なお、オーダー信号生成の際に、テーブル番号はコンピュータ端末内で付加する場合で説明したが、あらかじめコンピュータ端末のスタンドの表面またはテーブルの表面にテーブル番号を意味するドットパターンが印刷されたシール等が貼付されており、テーブル上にスキャナを配布する際に、スキャナで前記シールの表面を読み取ることによって、テーブル番号とコンピュータ端末との関係付けが行われる。
【0221】
したがって、テーブル上に複数本のスキャナを配布して複数人からのオーダーを同時に受け付けられるようにしてもよい。
【0222】
図55は、XY座標値をマウスパッドとして使用したペーパーキーボードの一例である。
【0223】
図55(a)は、ペーパーキーボードの一部にマウスパッド領域を設けたものである。
【0224】
本実施例では、キートップ画像に印刷されたドットパターンにはコード値のみが登録されており、マウスパッド領域に印刷されたドットパターンにはコード値とXY座標値が登録されている。ユーザがマウスパッド領域でスキャナを上方向にスライドさせると、画面が上方向にスクロールされる。同様に、スキャナを下方向にスライドさせると、画面が下方向にスクロールされる。右方向、左方向についても同様である。
【0225】
図55(b)は、ペーパーキーボード全体をマウスパッド領域として使用するものである。
【0226】
本実施例では、すべてのキートップ画像に、キートップの内容に対応したコード値と、座標値の両方が登録されている。ユーザがペーパーキーボード上の任意の位置でスキャナを2回以上タッピングし、それからスキャナを上方向にスライドさせると、画面が上方向にスクロールされる。同様に、スキャナを2回以上タッピングした後にスキャナを下方向にスライドさせると、画面が下方向にスクロールされる。右方向、左方向についても同様である。
【0227】
図56では、投影ボード上に形成されたドットパターンは、座標値とコード値とが一つのドットパターンのフォーマット中に定義されており、ボード上は所定のマトリクス区画が形成されており、同一のマトリクス区画内では、座標値の変化にかかわらず同一のコード値が付与されている。
【0228】
本実施例は、アイコン画像は、1つまたは複数のマトリクス区画にわたって配置されており、当該アイコン画像のドットパターンが読取手段で読み取られることにより、当該アイコン画像に対応した映像の制御またはプログラムの起動が指示されることを特徴とする。
【0229】
図57は、ホワイトボードの各マトリクスにおけるドットパターンのコード値とXY座標値との関係を示している。
【0230】
図57(a)は、本ドットパターンのC0〜C31までの32ビットに定義される値を表で示したものである。同図に示すようにC0〜C7がY座標、C8〜C15がX座標、C16〜C29がコード値、C30〜C31がパリティをそれぞれ意味している。
【0231】
これらの数値は、(b)に示す格子領域に配置され、具体的なドットパターンを示したのが(c)である。
【0232】
図58は、パーソナルコンピュータのハードディスク装置(HD)内に設けられたコード値・コマンド対応テーブルについて示したものである。たとえば、スキャナで読み取られたドットパターンに対応したドットコードが11または12である場合には、映像の再生を停止させる。また、ドットコードが13である場合には、再生を一時停止させる。
【0233】
図59〜図61は、デスクトップ画面をキャプチャーして印刷を行うことにより、デスクトップ画面のアイコンが印刷されたペーパーキーボードを作成する技術について説明する図である。
【0234】
本実施例においては、キーボード(KBD)の「プリントスクリーン」ボタン(prt sc)が押されること等によりデスクトップ画面がキャプチャーされると、紙面にドットパターンとともにアイコンが印刷された、ペーパーキーボードが印刷媒体として出力されるプログラムが用意されている。
【0235】
図59(a)は、ディスプレイ(表示手段)のデスクトップ画面を示したものである。たとえばデスクトップ画面には、ワードプロセッサ、インターネットおよび表計算のアイコン画像およびスタートボタンが表示されている。
【0236】
デスクトップ画面がキャプチャーされると、パーソナルコンピュータのハードディスク装置(HD)は、デスクトップ画面上のどの位置にアイコンが表示されているかを認識し、アイコンが表示されている位置の座標値を算出する。そして、デスクトップのXY座標と印刷用紙のXY座標とを対応させ、アイコンに対応したドットパターンを生成する。このドットパターンには、画面上の座標値を意味するドットパターンおよびアイコンの機能を意味するコード値が、1つのフォーマットに含まれている。そして、デスクトップ画面のイメージと、生成したドットパターンとの重畳印刷処理を行う。図59(b)は、デスクトップ画面およびドットパターンが印刷されたペーパーキーボードを示す図である。
【0237】
図60は、コード値と起動プログラムとの対応を示すテーブルについて説明した図である。上述した処理によりドットパターンが生成されると、ハードディスク装置(HD)内に、ドットパターンのコード値と、アイコンが意味する起動プログラム(アイコンの機能)とを対応させたテーブルが生成される。例えば、ワードプロセッサを示すアイコンに対応したドットパターンが生成され、コード値0001が割り当てられると、コード値0001と起動プログラムWarpro.exeとが対応したテーブルが生成される。インターネット、表計算を示すアイコンに関しても同様である。このようなテーブルが作成されることにより、ユーザが、例えば、図88(b)に示したペーパーキーボードのグラフの絵をスキャナによりクリックすると、表計算プログラムが起動する。
【0238】
図61は、上述したドットパターンのフォーマットについて示した図である。ドットパターンのフォーマットについては、前述したものと同様であるので説明は省略する。
【0239】
このように、あらかじめデスクトップ画面上のアイコンを印刷しておくことにより、アイコンの指定が容易となる。例えば、すでに複数のプログラムを起動した等により、デスクトップ上のアイコンが画面から隠れてしまった場合であっても、印刷されたペーパーキーボード上でスキャナによりアイコン画像をクリックすれば、容易にプログラムを立ち上げることが可能となる。
【産業上の利用可能性】
【0240】
本発明は、パーソナルコンピュータやテレビ、音楽プレイヤ等の情報処理機器の入力システムに利用することができる。
【符号の説明】
【0241】
1 基準ドット
2 第一の仮想基準線
3 第二の仮想基準線
4 仮想基準点
5 情報ドット
CPU 中央処理装置
MM メインメモリ
USB I/F USBインターフェース
HD ハードディスク装置
DISP ディスプレイ装置(表示手段)
KBD キーボード
NW I/F ネットワークインターフェース
SCN スキャナ
【特許請求の範囲】
【請求項1】
情報処理装置に接続された光学読み取り装置と、
ドットパターンが印刷された媒体と、からなる情報処理装置への入力処理システムであって、
該光学読み取り装置は、該ドットパターンを撮像する撮像手段と、
該撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、
該ドットパターンに定義された座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータを復号して送信する制御手段と、を備え、
前記媒体面に形成されたドットパターンは、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを1ライン又は複数並べて形成したドットパターンであり、
前記媒体面上に印刷された文字、グラフィック、写真、アイコンの少なくとも一部または全部に重畳して形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、情報処理装置に入力・処理させる入力処理システム。
【請求項2】
前記ストリームドットパターンは、前記第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、基準となる基準ドットを所定の位置に設ける
ことを特徴とする請求項1記載の入力処理システム。
【請求項3】
前記アイコンは、ペーパーキーボードやペーパーコントローラ、カード、シール、付箋紙を含む印刷可能な媒体にテキストや写真、グラフィックで表現して印刷されている
ことを特徴とする請求項1または2記載の入力処理システム。
【請求項4】
前記オペレーション指示は、キーボードの割り込みキーのコード値であって、前記情報処理装置にキー入力割り込み処理を発生させる
ことを特徴とする請求項1または2記載の入力処理システム。
【請求項5】
前記光学読み取り装置は前記ドットパターンを読み取ると共に、該光学読み取り装置が前記媒体面または他の媒体面に対して傾けられたことを該光学読み取り装置の撮像画像の明暗の差および/または明暗の差の変化、および/または前記ドットパターンの向きに対して該光学読み取り装置を傾けた方向によって該光学読み取り装置の傾き・方向および/または動作を前記解析手段が解析し、前記制御手段が該光学読み取り装置の傾きおよび/または動作にしたがって定義されたキー入力割り込み処理を発生させる
ことを特徴とする請求項1または2記載の入力処理システム。
【請求項6】
前記キー入力割り込み処理は、前記光学読み取り装置に設けられたボタンを押して行う
ことを特徴とする請求項5記載の入力処理システム。
【請求項7】
前記キー入力割り込み処理は、入力される文字種の変更、文字変換の指示、カーソル移動である
ことを特徴とする請求項5記載の入力処理システム。
【請求項8】
前記キー入力割り込み処理は、
前記光学読み取り装置を用いて媒体面上のドットパターンが形成されたアイコン上を走査する際に、
母音のみの語の入力の際には、該光学読み取り装置の撮像手段先端を、当該母音に対応するコード値がドットパターンとして定義されたアイコンに接触させて当該アイコン上のドットパターンを読み取り、
子音と母音とからなる語の入力の際には、前記撮像手段の先端の読取部を、当該子音に対応するコード値がドットパターンとして定義されたアイコンに接触停止させて当該子音に対応するドットパターンを読み込ませた後、続く母音に対応するコード値がドットパターンとして定義されたアイコンまで該撮像手段を媒体面上を摺動させて、当該母音に該当するアイコンで一旦停止させてドットパターンの読取を行った後、該撮像手段を媒体面から離反させてドットパターンが認識できないようにすることで、単独の文字または一連の単語、文節の入力を行うことを特徴とする請求項5記載の入力処理システム。
【請求項9】
前記光学読み取り装置の傾き・方向および/または動作にしたがって画面上のGUIのオペレーションを行う
ことを特徴とする請求項5記載の入力処理システム。
【請求項10】
前記画面上のGUIのオペレーションは、画面のスクロール、カーソル移動、画面上のアイコンの指定、ドラッグ&ドロップ操作、メニュー選択、文字等の入力位置指示動作等のマウス操作のオペレーションである
ことを特徴とする請求項9記載の情報処理装置への入力処理システム。
【請求項11】
前記媒体には、前記ドットパターンが点字の凹凸部とともに媒体面上に前記アイコンが印刷されていることを特徴とする請求項1または2記載の入力処理システム。
【請求項12】
前記媒体面に印刷されたドットパターンを楕円弧や多角形、曲線で囲むように、点字状の凸部が所定の間隔で配置されるか、またはバンクが設けられていることを特徴とする請求項1または2記載の入力処理システム。
【請求項13】
前記情報処理装置は、番組放送受信機、チューナー、録画・再生装置、再生装置またはネットワークアクセス装置、フォトフレームあるいは放送受信用・ネットワークアクセス用セットトップボックス、パーソナルコンピュータなどの映像再生装置であり、
前記光学読み取り装置は、前記映像再生装置に対して、前記媒体面に印刷された番組情報、サイト情報に基づいて視聴・録画予約またはサイトへのアクセスおよび/または、該映像再生装置の制御を行うリモコンであって、
前記リモコンは、前記媒体面に印刷された番組情報、サイト情報の領域毎、および/または前記制御ボタンを意味するアイコンに、重畳して形成された前記ドットパターンを光学的に読み取る撮像手段と、
前記撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、
前記座標値および/またはコード値に対応するオペレーション指示またはデータを意味するコードに復号する制御手段と、
当該復号化されたコードを前記映像再生装置に送信する送信手段とからなる請求項1または2記載の入力処理システム。
【請求項14】
前記リモコンは、リモコン本体に前記撮像手段、前記解析手段、前記制御手段、前記送信手段が一体として設けられた
ことを特徴とする請求項13記載の入力処理システム。
【請求項15】
前記リモコンは、リモコン本体に前記撮像手段、前記解析手段を設け、該リモコン本体で読み取られた前記座標値および/またはコード値を、前記制御手段と前記送信手段とを内蔵したクレードルに有線または無線で送信し、
前記クレードルで復号化された前記コードを前記映像再生装置に有線または無線で送信することを特徴とする請求項13記載の入力処理システム。
【請求項16】
請求項1または2記載の、前記ドットパターンが重畳印刷された媒体に替えて、該ドットパターンが形成された投影ボードと、
さらに該投影ボードに動画または画像を投影する投影手段と、
該投影手段に接続された前記情報処理装置と、を備えた入出力・処理させる入出力処理システムであって、
前記投影ボードの一面は、動画または画像が投影される前記投影手段と、
前記光学読み取り装置は、該動画または画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、該ドットパターンを撮像する前記撮像手段と、
該撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、
該ドットパターンに定義された座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータを復号して送信する制御手段と、
該座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータ対応する制御信号を前記情報処理装置に対して送信する送信手段と、を備え、
前記情報処理装置が前記投影手段に前記制御信号に対応する動画または画像を出力させる入出力処理システム。
【請求項17】
前記投影ボードの一面は、動画または画像が投影される映像表示エリアと、該映像表示エリアに投影される動画または画像を制御するためのアイコン画像が表示されるコントローラエリアとからなり、前記投影手段は、少なくとも映像表示エリアに動画または画像を投影し、
該コントローラエリアに表示されたアイコン画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、
前記情報処理装置が前記投影手段に前記制御信号に対応する動画または画像を出力させることを特徴とする請求項16記載の入出力処理システム。
【請求項18】
前記投影ボードは、ホワイトボードの表面に粘着層を介して透明シートが貼付されており、前記ドットパターンは粘着層側の該透明シート上に形成されていることを特徴とする請求項16または17記載の入出力処理システム。
【請求項19】
前記投影ボードは、ホワイトボード用磁石シートが磁性体で形成されたホワイトボードや黒板などのボードの表面に貼付されており、
該ホワイトボード用磁石シートは、磁石層とホワイトシートと透明保護シートが接着されており、
前記ドットパターンは、該透明保護シート側の該ホワイトシート上か、または該ホワイトシート側の該透明保護シート上に形成されていることを特徴とする請求項16または17記載の入出力処理システム。
【請求項20】
前記投影ボード上には、前記情報処理装置に接続された前記投影手段により、少なくともプログラムの起動を意味するアイコン画像を投影するとともに、該アイコン画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、
該情報処理装置が当該アイコン画像に対応したプログラムを起動し、対応する動画または画像を出力させることを特徴とする請求項16または17記載の入出力処理システム。
【請求項21】
前記投影ボードはリアプロジェクタ用ボードであり、該投影ボードに対して前記投影手段はリアプロジェクタとして配置され、
前記ドットパターンは、投影面とは異なる面に形成されることを特徴とする請求項16、17または20記載の入出力処理システム。
【請求項22】
前記投影ボードに形成されたドットパターンは赤外線吸収特性材料で構成され、少なくとも投影手段側の面には、赤外線カットフィルタが設けられていることを特徴とする請求項21記載の入出力処理システム。
【請求項23】
請求項1または2記載の、前記ドットパターンが重畳印刷された媒体に替えて、表示手段に表示させたアイコン画像に対応した該ドットパターンを重畳印刷してペーパーコントローラを生成する印刷制御システムであって、
前記アイコン画像を生成し表示する前記表示手段と、
該表示手段に表示されたアイコン画像をあらかじめ定義された座標値および/またはコード値に関係付けて、該アイコン画像と前記ドットパターンとの重畳印刷を指示する印刷制御手段と、
前記印刷制御手段からの指示に基づいて前記アイコン画像と前記ドットパターンとを所定の媒体面に重畳印刷する印刷手段と、を備える印刷制御システム。
【請求項24】
前記表示手段は情報処理装置であって、デスクトップ画面が前記ドットパターンと共に媒体に重畳印刷され、
重畳印刷された該デスクトップ画面上の座標と前記ドットパターンに定義された座標値、または座標値およびコード値に関係付けて、該デスクトップ画面と前記ドットパターンとの重畳印刷を印刷手段に指示することを特徴とする請求項23記載の印刷制御システム。
【請求項25】
前記コード値は、前記デスクトップ画面を特定することを特徴とする請求項24記載の印刷制御システム。
【請求項26】
前記ドットパターンは赤外線吸収材料で形成されるとともに、座標値とコード値とが一つのフォーマット中に定義されていることを特徴とする請求項1〜15のいずれかに記載の入力処理システム、または16〜22のいずれかに記載の入出力処理システム、または請求項22〜25のいずれかに記載の印刷制御システム。
【請求項1】
情報処理装置に接続された光学読み取り装置と、
ドットパターンが印刷された媒体と、からなる情報処理装置への入力処理システムであって、
該光学読み取り装置は、該ドットパターンを撮像する撮像手段と、
該撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、
該ドットパターンに定義された座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータを復号して送信する制御手段と、を備え、
前記媒体面に形成されたドットパターンは、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを1ライン又は複数並べて形成したドットパターンであり、
前記媒体面上に印刷された文字、グラフィック、写真、アイコンの少なくとも一部または全部に重畳して形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、情報処理装置に入力・処理させる入力処理システム。
【請求項2】
前記ストリームドットパターンは、前記第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、基準となる基準ドットを所定の位置に設ける
ことを特徴とする請求項1記載の入力処理システム。
【請求項3】
前記アイコンは、ペーパーキーボードやペーパーコントローラ、カード、シール、付箋紙を含む印刷可能な媒体にテキストや写真、グラフィックで表現して印刷されている
ことを特徴とする請求項1または2記載の入力処理システム。
【請求項4】
前記オペレーション指示は、キーボードの割り込みキーのコード値であって、前記情報処理装置にキー入力割り込み処理を発生させる
ことを特徴とする請求項1または2記載の入力処理システム。
【請求項5】
前記光学読み取り装置は前記ドットパターンを読み取ると共に、該光学読み取り装置が前記媒体面または他の媒体面に対して傾けられたことを該光学読み取り装置の撮像画像の明暗の差および/または明暗の差の変化、および/または前記ドットパターンの向きに対して該光学読み取り装置を傾けた方向によって該光学読み取り装置の傾き・方向および/または動作を前記解析手段が解析し、前記制御手段が該光学読み取り装置の傾きおよび/または動作にしたがって定義されたキー入力割り込み処理を発生させる
ことを特徴とする請求項1または2記載の入力処理システム。
【請求項6】
前記キー入力割り込み処理は、前記光学読み取り装置に設けられたボタンを押して行う
ことを特徴とする請求項5記載の入力処理システム。
【請求項7】
前記キー入力割り込み処理は、入力される文字種の変更、文字変換の指示、カーソル移動である
ことを特徴とする請求項5記載の入力処理システム。
【請求項8】
前記キー入力割り込み処理は、
前記光学読み取り装置を用いて媒体面上のドットパターンが形成されたアイコン上を走査する際に、
母音のみの語の入力の際には、該光学読み取り装置の撮像手段先端を、当該母音に対応するコード値がドットパターンとして定義されたアイコンに接触させて当該アイコン上のドットパターンを読み取り、
子音と母音とからなる語の入力の際には、前記撮像手段の先端の読取部を、当該子音に対応するコード値がドットパターンとして定義されたアイコンに接触停止させて当該子音に対応するドットパターンを読み込ませた後、続く母音に対応するコード値がドットパターンとして定義されたアイコンまで該撮像手段を媒体面上を摺動させて、当該母音に該当するアイコンで一旦停止させてドットパターンの読取を行った後、該撮像手段を媒体面から離反させてドットパターンが認識できないようにすることで、単独の文字または一連の単語、文節の入力を行うことを特徴とする請求項5記載の入力処理システム。
【請求項9】
前記光学読み取り装置の傾き・方向および/または動作にしたがって画面上のGUIのオペレーションを行う
ことを特徴とする請求項5記載の入力処理システム。
【請求項10】
前記画面上のGUIのオペレーションは、画面のスクロール、カーソル移動、画面上のアイコンの指定、ドラッグ&ドロップ操作、メニュー選択、文字等の入力位置指示動作等のマウス操作のオペレーションである
ことを特徴とする請求項9記載の情報処理装置への入力処理システム。
【請求項11】
前記媒体には、前記ドットパターンが点字の凹凸部とともに媒体面上に前記アイコンが印刷されていることを特徴とする請求項1または2記載の入力処理システム。
【請求項12】
前記媒体面に印刷されたドットパターンを楕円弧や多角形、曲線で囲むように、点字状の凸部が所定の間隔で配置されるか、またはバンクが設けられていることを特徴とする請求項1または2記載の入力処理システム。
【請求項13】
前記情報処理装置は、番組放送受信機、チューナー、録画・再生装置、再生装置またはネットワークアクセス装置、フォトフレームあるいは放送受信用・ネットワークアクセス用セットトップボックス、パーソナルコンピュータなどの映像再生装置であり、
前記光学読み取り装置は、前記映像再生装置に対して、前記媒体面に印刷された番組情報、サイト情報に基づいて視聴・録画予約またはサイトへのアクセスおよび/または、該映像再生装置の制御を行うリモコンであって、
前記リモコンは、前記媒体面に印刷された番組情報、サイト情報の領域毎、および/または前記制御ボタンを意味するアイコンに、重畳して形成された前記ドットパターンを光学的に読み取る撮像手段と、
前記撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、
前記座標値および/またはコード値に対応するオペレーション指示またはデータを意味するコードに復号する制御手段と、
当該復号化されたコードを前記映像再生装置に送信する送信手段とからなる請求項1または2記載の入力処理システム。
【請求項14】
前記リモコンは、リモコン本体に前記撮像手段、前記解析手段、前記制御手段、前記送信手段が一体として設けられた
ことを特徴とする請求項13記載の入力処理システム。
【請求項15】
前記リモコンは、リモコン本体に前記撮像手段、前記解析手段を設け、該リモコン本体で読み取られた前記座標値および/またはコード値を、前記制御手段と前記送信手段とを内蔵したクレードルに有線または無線で送信し、
前記クレードルで復号化された前記コードを前記映像再生装置に有線または無線で送信することを特徴とする請求項13記載の入力処理システム。
【請求項16】
請求項1または2記載の、前記ドットパターンが重畳印刷された媒体に替えて、該ドットパターンが形成された投影ボードと、
さらに該投影ボードに動画または画像を投影する投影手段と、
該投影手段に接続された前記情報処理装置と、を備えた入出力・処理させる入出力処理システムであって、
前記投影ボードの一面は、動画または画像が投影される前記投影手段と、
前記光学読み取り装置は、該動画または画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、該ドットパターンを撮像する前記撮像手段と、
該撮像手段で読み取ったドットパターンに定義された座標値および/またはコード値を解析する解析手段と、
該ドットパターンに定義された座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータを復号して送信する制御手段と、
該座標値および/またはコード値、または該座標値および/またはコード値に対応するオペレーション指示またはデータ対応する制御信号を前記情報処理装置に対して送信する送信手段と、を備え、
前記情報処理装置が前記投影手段に前記制御信号に対応する動画または画像を出力させる入出力処理システム。
【請求項17】
前記投影ボードの一面は、動画または画像が投影される映像表示エリアと、該映像表示エリアに投影される動画または画像を制御するためのアイコン画像が表示されるコントローラエリアとからなり、前記投影手段は、少なくとも映像表示エリアに動画または画像を投影し、
該コントローラエリアに表示されたアイコン画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、
前記情報処理装置が前記投影手段に前記制御信号に対応する動画または画像を出力させることを特徴とする請求項16記載の入出力処理システム。
【請求項18】
前記投影ボードは、ホワイトボードの表面に粘着層を介して透明シートが貼付されており、前記ドットパターンは粘着層側の該透明シート上に形成されていることを特徴とする請求項16または17記載の入出力処理システム。
【請求項19】
前記投影ボードは、ホワイトボード用磁石シートが磁性体で形成されたホワイトボードや黒板などのボードの表面に貼付されており、
該ホワイトボード用磁石シートは、磁石層とホワイトシートと透明保護シートが接着されており、
前記ドットパターンは、該透明保護シート側の該ホワイトシート上か、または該ホワイトシート側の該透明保護シート上に形成されていることを特徴とする請求項16または17記載の入出力処理システム。
【請求項20】
前記投影ボード上には、前記情報処理装置に接続された前記投影手段により、少なくともプログラムの起動を意味するアイコン画像を投影するとともに、該アイコン画像領域に形成された前記ドットパターンを前記光学読み取り装置でタッチおよび/または走査し、
該情報処理装置が当該アイコン画像に対応したプログラムを起動し、対応する動画または画像を出力させることを特徴とする請求項16または17記載の入出力処理システム。
【請求項21】
前記投影ボードはリアプロジェクタ用ボードであり、該投影ボードに対して前記投影手段はリアプロジェクタとして配置され、
前記ドットパターンは、投影面とは異なる面に形成されることを特徴とする請求項16、17または20記載の入出力処理システム。
【請求項22】
前記投影ボードに形成されたドットパターンは赤外線吸収特性材料で構成され、少なくとも投影手段側の面には、赤外線カットフィルタが設けられていることを特徴とする請求項21記載の入出力処理システム。
【請求項23】
請求項1または2記載の、前記ドットパターンが重畳印刷された媒体に替えて、表示手段に表示させたアイコン画像に対応した該ドットパターンを重畳印刷してペーパーコントローラを生成する印刷制御システムであって、
前記アイコン画像を生成し表示する前記表示手段と、
該表示手段に表示されたアイコン画像をあらかじめ定義された座標値および/またはコード値に関係付けて、該アイコン画像と前記ドットパターンとの重畳印刷を指示する印刷制御手段と、
前記印刷制御手段からの指示に基づいて前記アイコン画像と前記ドットパターンとを所定の媒体面に重畳印刷する印刷手段と、を備える印刷制御システム。
【請求項24】
前記表示手段は情報処理装置であって、デスクトップ画面が前記ドットパターンと共に媒体に重畳印刷され、
重畳印刷された該デスクトップ画面上の座標と前記ドットパターンに定義された座標値、または座標値およびコード値に関係付けて、該デスクトップ画面と前記ドットパターンとの重畳印刷を印刷手段に指示することを特徴とする請求項23記載の印刷制御システム。
【請求項25】
前記コード値は、前記デスクトップ画面を特定することを特徴とする請求項24記載の印刷制御システム。
【請求項26】
前記ドットパターンは赤外線吸収材料で形成されるとともに、座標値とコード値とが一つのフォーマット中に定義されていることを特徴とする請求項1〜15のいずれかに記載の入力処理システム、または16〜22のいずれかに記載の入出力処理システム、または請求項22〜25のいずれかに記載の印刷制御システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【公開番号】特開2012−22423(P2012−22423A)
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願番号】特願2010−158456(P2010−158456)
【出願日】平成22年7月13日(2010.7.13)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(503349741)
【Fターム(参考)】
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願日】平成22年7月13日(2010.7.13)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(503349741)
【Fターム(参考)】
[ Back to top ]