手書き入出力システム
【課題】 文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供する。
【解決手段】 座標情報・コード情報が定義されたドットパターンによる書き込み領域を備えた媒体を撮像手段により撮像・送信し、ドットパターン解析手段により該ドットパターンの画像データを記憶して、コード解析することにより軌跡情報を求め、解析された該座標情報の変化に基づき、該書き込み領域面においてトレースされた、文字および図形の該軌跡情報を軌跡認識手段が認識し、処理命令手段が認識された認識情報に基づいた処理命令と該軌跡情報を情報処理手段に対し送信することにより、文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供することを課題とする。また、文字や図形の情報のみでなく、それらに関連した情報も一括して入力することが可能な手書き入出力システムを提供する。
【解決手段】 座標情報・コード情報が定義されたドットパターンによる書き込み領域を備えた媒体を撮像手段により撮像・送信し、ドットパターン解析手段により該ドットパターンの画像データを記憶して、コード解析することにより軌跡情報を求め、解析された該座標情報の変化に基づき、該書き込み領域面においてトレースされた、文字および図形の該軌跡情報を軌跡認識手段が認識し、処理命令手段が認識された認識情報に基づいた処理命令と該軌跡情報を情報処理手段に対し送信することにより、文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供することを課題とする。また、文字や図形の情報のみでなく、それらに関連した情報も一括して入力することが可能な手書き入出力システムを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字、図形等の手書き情報をコンピュータシステムに入力するための手書き入出力システム、手書き入力シートに関する。
【０００２】
本発明は、コンピュータシステムへの入力を補助するための情報入力システム、情報入力補助シートに関する。
【背景技術】
【０００３】
コンピュータは、生活のあらゆる場面で使用されるようになってきている。文書を作成したり計算を行ったりというような従来の用途に加え、絵を描いたり、建築や機械の製図を行う等、コンピュータの機能および用途は飛躍的に増加している。
【０００４】
従来、これらの行為を行うにあたり、キーボード、マウス、タブレットおよびＣＡＤシステム等を用いて文字の入力や製図等の操作をすることが必要とされている。
【０００５】
しかし、キーボードで文字を入力したり、タブレットやＣＡＤシステムで製図を行ったりするには、煩雑な操作が多く、習得するまでに時間を要する。特に、高齢者等、機器を操作するのに支障のある者にとっては操作が困難であるという問題があった。さらに、キーボードやマウス等の操作が可能でコンピュータを使いこなせる者と、それらの操作ができずにコンピュータを使いこなせない者との間で、情報や機会の格差が生じる「デジタルディバイド」も問題となってきている。
【０００６】
このような問題を解決するものとして、手書き情報をコンピュータに入力するシステムが提案されている。このようなシステムは、ベースと描画装置から構成されており、描画装置がベースに対して移動されると、グラフィカル情報（手書き情報）が発生する。ベースには、微細なドットである位置符号化パターンを備えており、この位置符号化パターンには、ベース上の位置情報が登録されている。描画装置を用いてベース上で描画すると、描画装置が位置符号化パターンを読み取る。コンピュータシステムは、描画装置からの、ベース上の位置情報をグラフィカル入力として記録する。これにより、描画した内容をコンピュータシステムに入力し、ディスプレイに出力したり、メモリに保存したりすることが可能となる（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００３−５２８３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１のシステムに用いる位置符号化パターンは、位置情報しか登録されていない。そのため、コンピュータシステムは、描画装置で描かれたグラフィカル情報しか入力することができず、たとえば、冊子のページ番号等、グラフィカル情報と関連した種々の情報も入力・記録するためには、描画のための領域と異なる領域を別途設けなければならない。そのため、手書き入出力システムが煩雑となり、ユーザにとっても、複数の領域での操作が必要になるという問題を有している。また、描画装置で描かれたグラフィカル情報に対応する位置情報全てに対して、グラフィカル情報と関連した種々の情報を入力・記録するための参照テーブルを備えなければならない。特に、描画領域が矩形ではなく、多角形や曲線で囲まれた領域である場合、その領域内の全ての位置情報に対する参照テーブルが必要となる。
【０００９】
本発明はこのような問題に鑑みてなされたものであり、文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供することを技術的課題とする。また、文字や図形の情報のみでなく、それらに関連した情報も一括して入力することが可能な手書き入出力システムを提供することを技術的課題とする。
【課題を解決するための手段】
【００１０】
＜手書き入出力システム＞
本発明にかかる手書き入出力システムは、少なくとも一部、または複数の領域に座標情報および、コード情報が繰り返し定義されたドットパターンが形成された書き込み領域を備えた媒体と、該書き込み領域の該ドットパターンを撮像して、送信する撮像手段と、該撮像手段により撮像・送信された該ドットパターンの画像データを記憶して、該画像データをコード解析することにより、該座標情報および該コード情報からなる軌跡情報を求めるドットパターン解析手段と、解析された該座標情報の変化に基づき、該書き込み領域面においてトレースされた、文字および／または図形の該軌跡情報を認識する軌跡認識手段と、認識された認識情報に基づいた処理命令と該軌跡情報を情報処理手段に対し送信する処理命令手段とを備えたことを特徴とする。
【００１１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、媒体に形成されたドットパターンが座標情報のみならずコード情報を定義することにより、処理命令手段が情報処理部に対して軌跡情報と軌跡情報に基づいた処理命令を一括して送信することができる。
【００１２】
前記媒体は、少なくとも一部、または複数の領域に、前記書き込み領域に関連するテキスト、グラフィック、写真がさらに形成されていることが好ましい。
【００１３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、ユーザが書き込み領域の位置および書き込み領域にはいかなる事項を書き込むべきであるかを容易に知ることができる。
【００１４】
前記媒体は、少なくとも前記書き込み領域面に描かれた前記軌跡情報または該軌跡情報の編集結果情報、および／または前記媒体面上の印刷情報と共に前記ドットパターンが新たに重畳して形成されていることが好ましい。
【００１５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、一度手書き入力した媒体を、新たなドットパターンと共に、重畳印刷して、その媒体に、さらに書き込み・編集ができる。
【００１６】
前記媒体は、所定の媒体面および／または前記書き込み領域面に対して、前記書き込み領域を特定する特定情報および／または操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）を定義するコード情報を繰り返し形成する前記ドットパターンには、該コード情報を意味するアイコンが重畳して形成されていることが好ましい。
【００１７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード情報がいかなる意味を持つものであるか（いかなる処理命令を送信するものであるか）、ユーザはアイコンを見ることにより容易に知ることができる。
【００１８】
前記アイコンは、貼付可能なシール、付箋紙、その他の媒体面上に前記ドットパターンと重畳して形成されていることが好ましい。
【００１９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、アイコンは媒体面上に自由にレイアウト可能になるため、レイアウトの自由度が高まる。
【００２０】
前記媒体は、前記書き込み領域を設けた該媒体を第１の媒体として、該第１の媒体面および／または前記書き込み領域面を特定するためのコード情報を繰り返し定義したドットパターンを形成した第２の媒体をさらに備え、該第２の媒体に形成したコード情報を、前記撮像手段で読み取ることにより、前記第１の媒体面上の印刷情報および／または前記書き込み領域面に描かれた前記軌跡情報、および/または該軌跡情報に関連した情報を出力することが好ましい。
【００２１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、媒体面を特定するコード情報を、別の媒体（手帳など）に印刷し、撮像手段でタッチすることにより、媒体面に手書き入力した情報を検索、出力できる。また、媒体の書き込み領域のスペースを広く取ることもできる。
【００２２】
前記第２の媒体は、貼付可能なシール、付箋紙等、またはカード状の形態を有していることが好ましい。
【００２３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域のレイアウトの自由度はさらに高まり、書き込み領域に手書き入力された情報の検索、出力をユーザの利便性や好みに応じて自由自在に実行できる。
【００２４】
前記媒体は、前記手書き入出力システムによる、前記書き込み領域が表示されたモニタ面上に重ねて用いる、座標情報および/またはコード情報が繰り返し定義されたドットパターンが形成された透明な媒体、すなわちグリッドシートであることが好ましい。
【００２５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、取り回しのよいタッチパネルを提供することができる。
【００２６】
前記媒体は、前記手書き入出力システムによる前記書き込み領域が印刷された媒体上に重ねて用いる、座標情報および／またはコード情報が繰り返し定義されたドットパターンが形成される透明な媒体、すなわちグリッドシートであることが好ましい。
【００２７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、モニタ面上にグリッドシートを重ねなくても、媒体面上にグリッドシートを被せて手書き入力が可能である。
【００２８】
前記撮像手段は、撮像口を介して所定波長の光を前記媒体面に照射する照射手段と、該所定波長の反射光を撮像し、画像データとして前記ドットパターン解析手段に送信する撮像素子と、をさらに備え、該ドットパターン解析手段は、該照射手段に第１の所定時間において所定強度の光を発光させ、該ドットパターン解析手段が該撮像素子により撮像し、送信される該画像データを記憶する時間以上、該画像データを該撮像素子に残像として固定できるようにさらに、該所定強度の光は、該ドットパターン解析手段が該画像データをコード解析するのに必要な、解析時間以上の第２の所定時間の経過後に再度発光し、該第１の所定時間と該第２の所定時間が連続するものとして、該照射手段を制御する光制御手段をさらに備えていることが好ましい。
【００２９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込みした際に、媒体面上での撮像手段の移動に対して、撮像素子にドットパターンがぼけることなく焼き付けることができ、その残像を解析することにより撮像手段のフレームレート（撮像スピード）が低くても手書き入力することができる。
【００３０】
前記光制御手段は、前記ドットパターン解析手段による前記画像データのコード解析終了後、前記第２の所定時間を待たずして直ちに前記照射手段に発光を指示し、該照射手段は、前記第１の所定時間の間、前記所定強度の光を発光して、該ドットパターン解析手段は、前記撮像手段により新たに撮像・送信される画像データを記憶して、コード解析することが好ましい。
【００３１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード解析が理想的なドットパターンの撮像・解析やエラー等で第２の所定時間よりも早く終了した場合に、直ちに次のコード解析に移ることにより、撮像間隔が短縮され滑らかな軌跡情報を取得できる。
【００３２】
前記光制御手段は、前記ドットパターン解析手段による該ドットパターンの解析時間中に前記第２の所定時間を待たずして直ちに前記照射手段に発光を指示し、該照射手段は、前記第１の所定時間の間、前記所定強度の光を発光して、前記ドットパターン解析手段は、該解析時間中に、前記撮像手段により新たに撮像・送信される画像データを記憶して、該解析時間の終了後、直ちに該画像データをコード解析することが好ましい。
【００３３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、ドットパターン解析手段がコード解析中に次の画像データを記憶して、コード解析終了後に直ちに次の画像データのコード解析に移ることにより、さらに撮像間隔が短縮され滑らかな軌跡情報を取得できる。
【００３４】
前記撮像手段は、指示用突起部をさらに備え、前記書き込み領域面に、該指示用突起部でなぞった文字および／または図形をトレースする際、該指示用突起部近傍の軌跡上の前記ドットパターンを撮像し、前記ドットパターン解析手段は、該撮像手段により送信された該ドットパターンの画像データを記憶して、該ドットパターンをコード解析して前記座標情報および前記コード情報からなる軌跡情報を求めることが好ましい。
【００３５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上の撮像手段のなぞる位置を視認しやすくなる。
【００３６】
前記撮像手段は、少なくとも１つのペン先をさらに備え、前記書き込み領域面に、該ペン先で描いた文字および／または図形をトレースする際、該ペン先近傍の軌跡上の前記ドットパターンを撮像・送信し、前記ドットパターン解析手段は、該撮像手段により撮像・送信される該ドットパターンの画像データを記憶して、該ドットパターンをコード解析して前記座標情報および前記コード情報からなる軌跡情報を求めることが好ましい。
【００３７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上に撮像手段近傍の軌跡が残せる。
【００３８】
前記指示用突起部は、少なくとも一つのペン先と、該指示用突起部内に該ペン先を格納する格納スペースと、該ペン先の格納／取出しを制御するボタンと、をさらに備えた該指示用突起部であることが好ましい。
【００３９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上に描いた撮像手段近傍の軌跡を残したい場合と、残したくない場合とで使い分けることが可能となる。
【００４０】
前記撮像手段は、前記指示用突起部に前記書き込み領域面に描かれた文字および／または図形を消去する消去手段をさらに備え、該書き込み領域面に、該消去手段でなぞった領域を消去すると同時に、該消去手段近傍の軌跡上のドットパターンを撮像し、前記処理命令手段は、該文字および／または図形の前記軌跡情報を消去する処理命令と、前記軌跡情報と、を情報処理手段に対し送信することが好ましい。
【００４１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上と情報処理手段上で書き込み情報入力を対応させるのみならず、書き込み情報の消去を対応させることもできる。
【００４２】
前記軌跡認識手段は、前記ドットパターン解析手段がコード解析して得た前記座標情報を、該書き込み領域面になぞるか、または描いた文字および／または図形の軌跡と、一致または近似するように補正することが好ましい。
【００４３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識手段が認識する軌跡情報と、媒体上の軌跡とが異なる場合にも、軌跡情報を補正することにより実際の軌跡と一致または実用に支障がない程度まで近似させることができる。
【００４４】
前記軌跡認識手段は、計時手段をさらに備え、該計時手段は、前記撮像手段が前記書き込み領域面に触れた時間および離れた時間を計時し、撮像手段が該書き込み領域面に触れて描かれた軌跡の順番と触れている時間を記録し、前記情報処理手段に送信することが好ましい。
【００４５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、情報処理手段が手書き入力に要した時間を把握し、通常時との比較を行うことにより、書き手の性格や年齢、性別などの様々なリサーチができる。
【００４６】
前記計時手段は、前記撮像手段が前記書き込み領域面に触れ、前記ドットパターン解析手段が前記軌跡情報を求めた時間を記録し、前記情報処理手段に送信することが好ましい。
【００４７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、ペンの移動速度を把握することにより、ハネや書きづらさを解析でき、さらに書き手の心理状態や健康状態も推測できる。
【００４８】
前記処理命令手段は、前記コード情報および／または前記認識情報に基づき、前記書き込み領域を特定する特定情報および／または操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）を一意に入力可能であることが好ましい。
【００４９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード情報および／または認識情報に基づいて処理命令手段が情報処理手段に対してユニークな指示をすることが可能である。このことは、本発明で最も重要な機能であり、常にどの書き込み領域に書き込んだか、またはどの書き込み領域に対してどんな操作指示を行っているかを容易に特定できる。
【００５０】
前記軌跡認識手段は、さらに前記コード情報に基づき、前記書き込み領域に書き込む内容に関する、予め分類された文字および／または図形情報パターンテーブルを参照し、前記軌跡情報を高精度で認識することが好ましい。
【００５１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡情報を認識する際にコード情報に基づいて予め分類された文字および／または図形情報パターンテーブルを参照するため、軌跡情報を高精度に認識することができる。
【００５２】
前記軌跡認識手段は、前記軌跡情報を認識した後、さらに解析された前記座標情報の変化に基づき、該文字および／または該図形、もしくは、１または複数の該文字からなる語句、の意味情報を、前記コード情報に対応する 予め定義された意味情報コードテーブル（辞書）を参照し、意味情報コードに変換し、前記処理命令手段は、該意味情報コードと、該意味情報に基づいた前記処理命令と、を前記情報処理手段に対し送信することが好ましい。
【００５３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識時に意味情報コードテーブルを参照することにより、軌跡情報を高精度に認識し、さらに、意味情報コードに変換することにより、その意味であるものとして処理命令を送信することができる。
【００５４】
前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、文書および／または図形として入力させる第一のオペレーションの実行を、前記情報処理手段に命令することが好ましい。
【００５５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により文書を書いたり、絵を描いたりできる。
【００５６】
前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、コメントとして入力させる第二のオペレーションの実行を、前記情報処理手段に命令することが好ましい。
【００５７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により入力される文書や絵の他、コメント文書を入力することができる。
【００５８】
前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、文書および／または図形、および／またはコメントを編集する編集記号とし、該編集記号に基づいて文書および／または図形、および／またはコメントを編集させる第三のオペレーションの実行を、前記情報処理手段に命令することが好ましい。
【００５９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により文書や画像を（手書き入出力システムによらないものも含む）編集することができる。
【００６０】
本発明にかかる手書き入出力システムは、少なくとも前記媒体面に接触した前記撮像手段の撮像光軸が、該媒体面の鉛直線に対して倒されることにより成される傾きおよび倒される方向を測定する角度測定手段と、該撮像手段が該媒体面に接触した際に測定された、該傾きおよび該方向を基準として、該撮像手段を倒す動作、すなわちグリッドティルト動作による、該傾きおよび／または該方向の、所定の変化を解析する角度変化認識手段とをさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信することが好ましい。
【００６１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、撮像手段のグリッドティルト動作による操作指示ができる。
【００６２】
前記媒体は、前記書き込み領域の方向に対して、所定の角度で配置された前記ドットパターンが該書き込み領域に形成され、前記角度測定手段および前記角度変化認識手段は、前記撮像手段が該書き込み領域面に接触した際に読み取られた該ドットパターンの方向を基に、該書き込み領域の方向に対して、倒される方向および／または前記傾きの、所定の変化を解析することが好ましい。
【００６３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、角度の変化に加えて、ドットパターンの方向をさらに基準にして、傾きとその変化を認識することができる。
【００６４】
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第一の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記軌跡認識手段による軌跡情報の認識結果を、文書および／または図形として入力させる第一のオペレーションの実行を、前記情報処理手段に対して命令することが好ましい。
【００６５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第一のオペレーションへの切り替えができる。
【００６６】
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第二の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記軌跡認識手段による軌跡情報の認識結果を、コメントとして入力させる第二のオペレーションの実行を、前記情報処理手段に対して命令することが好ましい。
【００６７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第二のオペレーションへの切り替えができる。
【００６８】
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第三の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記軌跡認識手段による軌跡情報の認識結果を、文書および／またはコメントを編集する編集記号とし、該編集記号に基づいて文書および／または図形、および／またはコメントを編集させる第三のオペレーションの実行を、前記情報処理手段に対して命令することが好ましい。
【００６９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第三のオペレーションへの切り替えができる。
【００７０】
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第四の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記第三のオペレーションの終了を、前記情報処理手段に対して命令することが好ましい、
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第三のオペレーションを終了して元の第一または第二のオペレーションへの切り替えと、第三のオペレーションの再実行ができる。
【００７１】
前記処理命令手段は、前記情報処理手段が所定の処理を実行するか否かを決定するときにおいて、前記撮像手段が媒体面に所定時間内に一度だけタッチしたものと、前記ドットパターン解析手段が認識したときは、該所定の処理を実行しないことの決定を該情報処理手段に対し命令し、前記撮像手段が媒体面に対して一度タッチし、所定時間内にさらに媒体面にタッチしたものと、該ドットパターン解析手段が認識したとき、該所定の処理の実行を決定することを該情報処理手段に対し命令することが好ましい。
【００７２】
上記の特徴によれば、本発明にかかる手書き入出力システムは、撮像手段による媒体面のタッチの動作のみで、処理の決定・拒否を指示することができる。
【００７３】
前記手書き入出力システムは、前記書き込み領域面に対して、前記撮像手段の撮像光軸を概ね鉛直状に立て、該書き込み領域面に接触した際に読み取られた前記ドットパターンの方向と、該撮像手段のアングルとで成される回転角を読み取る回転角読み取り手段と該撮像手段が該媒体面に接触した際に測定された該回転角を基準として、該撮像手段を回転する動作、すなわちグリッドターン動作による、該撮像光軸が所定の回転方向に回転されることにより、該回転角の所定の変化を解析する回転角変化認識手段と、をさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信することが好ましい。
【００７４】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作による指示をすることができる。
【００７５】
前記処理命令手段は、前記撮像手段が第一の所定方向に回転したものと前記回転角変化認識手段が認識したときは、実行中のアプリケーションにおけるファイル内容の変更結果を保存することを前記情報処理手段に対し命令し、該撮像手段が該第一の所定方向とは反対方向の第二の所定方向に回転したものと該回転角変化認識手段が認識したときは、実行中のアプリケーションにおけるファイル内容の変更をキャンセルすることを該情報処理手段に対し命令することが好ましい。
【００７６】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作によるファイル内容の変更結果の保存、変更のキャンセルの指示をすることができる。
【００７７】
前記処理命令手段は、前記撮像手段が第一の所定方向に回転し、さらに所定時間内に該第一の所定方向とは反対方向の第二の所定方向に回転したものと前記回転角変化認識手段が認識したときは、手書き入力用アプリケーションを起動することを前記情報処理手段に対し命令し、該撮像手段が該第二の所定方向に回転し、さらに所定時間内に該第一の所定方向に回転したものと該回転角度変化認識手段が認識したときは、該手書き入力用アプリケーションを終了することが好ましい。
【００７８】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作による、手書き入出力用アプリケーションの起動・終了を指示することができる。
【００７９】
前記手書き入出力システムは、前記撮像手段で前記書き込み領域を撮像して前記ドットパターン解析手段により座標情報およびコード情報を求めた後に、所定の操作により該撮像手段で該書き込み領域に文字をなぞるか、または描く代わりに音声を収録する音声収録手段と、前記コード情報に対応する 予め定義された音声認識情報テーブル（辞書）を参照し、収録された音声を認識し文字情報に変換し情報処理手段に対し送信する音声認識手段と、をさらに備えていることが好ましい。
【００８０】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力に代えて、音声入力ができる。
【００８１】
前記所定の操作は、前記撮像手段で前記書き込み領域に音声入力を意味する記号をなぞるか、または描くことにより行うことが好ましい。
【００８２】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力中の一連の操作の延長上で容易に音声入力に切り替えるこができ、音声入力を開始したという履歴を書き込み領域またはコンピュータ上において残すことができる。
【００８３】
前記所定の操作は、前記書き込み領域に前記撮像手段を触れて跳ねる動作により行うことが好ましい。
【００８４】
上記の特徴によれば、本発明にかかる手書き入出力システムは、さらに簡単な操作で容易に音声入力に切り替えるこができ、音声入力を開始したという履歴を書き込み領域に残すことなく音声入力を使用できる。
【００８５】
前記所定の操作は、前記音声収録手段に所定の言葉を収録し、前記音声認識手段で該所定の言葉を認識することにより行うことが好ましい。
【００８６】
上記の特徴によれば、本発明にかかる手書き入出力システムは、煩わしい操作を覚えることなく音声入力の開始操作をより感覚的にできる。
【００８７】
前記媒体は、該媒体における前記コード情報に予め音声ガイドの指示情報が定義され、前記手書き入出力システムは、該書き込み領域に書き込む内容を該の音声ガイドを音声で解説する音声出力手段をさらに備えていることが好ましい。
【００８８】
＜手書き入力シート＞
本発明にかかる手書き入力シートは、少なくとも一部、または複数の領域に座標情報および、コード情報が繰り返し定義されたドットパターンが形成された書き込み領域を備えた媒体からなることを特徴とする。
【００８９】
上記の特徴によれば、本発明にかかる手書き入力シートは、媒体に形成されたドットパターンが座標情報のみならずコード情報を定義することにより、手書き入力において座標情報とユニークな情報または命令を一括して入力することができる。
【００９０】
前記媒体は、前記書き込み領域に関連するテキスト、グラフィック、写真がさらに重畳して形成されていることが好ましい。
【００９１】
上記の特徴によれば、本発明にかかる手書き入力シートは、手書き入力においてユーザが書き込み領域の内容を容易に知ることができる。
【００９２】
前記媒体は、所定の媒体面および／または前記書き込み領域面を特定する特定情報および／または操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）を定義するコード情報を繰り返し形成する前記ドットパターンに、該コード情報を意味するアイコンがさらに重畳して形成されていることが好ましい。
【００９３】
上記の特徴によれば、本発明にかかる手書き入力シートは、手書き入力においてユーザがさらに、コード情報に基づき入力されるユニークな情報または命令の内容を知ることができる。
【００９４】
前記アイコンは、貼付可能なシール、付箋紙、その他の媒体面上に前記ドットパターンとともに形成されていることが好ましい。
【００９５】
上記の特徴によれば、本発明にかかる手書き入力シートは、媒体のレイアウトの自由度を高めることができ、書き込み領域に手書き入力された情報の検索、出力をユーザの利便性や好みに応じて自由自在に実行できる。
【００９６】
前記手書き入力シートは、前記書き込み領域内および/または領域周辺に点字をさらに備えていることが好ましい。
【００９７】
上記の特徴によれば、本発明にかかる手書き入力シートは、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。
【００９８】
前記手書き入力シートは、前記書き込み領域に書き込む際に、前記撮像手段がはみ出さないように該書き込み領域の外周に沿って幅狭の凸部のガイドをさらに備えていることが好ましい。
【００９９】
上記の特徴によれば、本発明にかかる手書き入力シートは、書き込み領域に正確に撮像手段でなぞったり、描いたりできるようガイドを設け、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。
【０１００】
＜情報入力システム＞
本発明にかかる情報入力システムは、一面側からの赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の一面側に設けられ、赤外線を拡散反射する特性を有する材料からなる、少なくとも一部、または複数の領域に座標情報および／またはコード情報が繰り返し定義されたドットパターンのドットが配置されたドットパターン層と、該ドットパターン層の、該赤外線反射層と反対側に設けられ、赤外線および可視光を透過する特性を有する保護層とが積層されている情報入力補助シート、すなわちグリッドシートと、少なくとも媒体面の一部に、該ドットパターンのドットが赤外線を吸収する特性を有する材料で形成された媒体と、該ドットパターンを撮像して、送信する撮像手段と、該媒体面の該ドットパターンを該撮像手段により撮像・送信された該ドットパターンの画像データでは、明度が周辺とは低く撮像されるドット部、または、該グリッドシートの該ドットパターンを該撮像手段により撮像・送信された該ドットパターンの画像データでは、明度が周辺とは高く撮像されるドット部を、所定の判定方法により判定し、該ドットパターンの画像データを記憶素子に記憶して、コード解析することにより、該座標情報および／または該コード情報を入力するドットパターン解析手段とからなることを特徴とする。
【０１０１】
上記の特徴によれば、本発明にかかる情報入力システムは、グリッドシートに拡散反射層を設けることなく目玉現象を回避することができる。
【０１０２】
前記所定の判定方法は、ｍ行ｎ列のピクセルで構成された記憶素子に記憶された撮像画像を行毎(i)に左端からから始まり右方向に、所定間隔(k)だけ離れたピクセル同士の明度(BL(i,j))の差分（ΔBL＝BL(i,j+k)−BL(i,j))を順々に求め、その差分が所定の正・負の閾値を上回るか、もしくは下回るかにより判定する方法と、該明度が周辺とは低く撮像されるドット部の判定では、該明度の差分が負の閾値を下回った場合に右側のピクセルをドットとして判定し、そのピクセルからドットが始まったと判定し、正の閾値を上回った場合に同じく右側のピクセルがドットでないことを判定し、その手前のピクセルまででドットが終わったと判定する方法と、該明度が周辺とは高く撮像されるドット部の判定では、該明度の差分が正の閾値を上回った場合に右側のピクセルをドットとして判定し、そのピクセルからドットが始まったと判定し、負の閾値を下回った場合に同じく右側のピクセルがドットでないことを判定し、その手前のピクセルまででドットが終わったと判定する方法と、からなる判定方法であって、前記ドットパターン解析手段は、該所定の判定方法により、前記媒体面か、前記グリッドシートに設けられた前記ドットパターンのいずれかであるかを判定して、該所定の判定方法によりコード解析することが好ましい。
【０１０３】
前記所定の判定方法は、前記撮像画像の所定の領域の明度を測定して、所定の閾値を上回っていれば、前記明度が周辺とは低く撮像されるドット部の判定方法を用い、所定の閾値を下回っていれば、前記明度が周辺とは高く撮像されるドット部の判定方法を用いることが好ましい。
【０１０４】
＜情報入力補助シート＞
本発明にかかる情報入力補助シートは、一面側からの赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の一面側に設けられ、赤外線を拡散反射する特性を有する材料からなる、少なくとも一部、または複数の領域に座標情報および／またはコード情報が繰り返し定義されたドットパターンのドットが配置されたドットパターン層と、該ドットパターン層の、該赤外線反射層と反対側に設けられ、赤外線および可視光を透過する特性を有する保護層と、が積層されていることを特徴する。
【０１０５】
上記の特徴によれば、本発明にかかる情報入力補助シートは、拡散反射層を設けることなく目玉現象を回避することができる。
【０１０６】
本発明にかかる入力補助シートは、それぞれの面へ入射した赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の両面に設けられ、赤外線を吸収する特性を有する材料からなる、前記ドットパターンのドットが配置されたドットパターン層と、前記ドットパターン層のそれぞれのさらに外側に設けられ、それぞれの方向から入射した赤外線および可視光を透過する特性を有する保護層と、が積層されており、前記ドットパターン層のそれぞれに配置された前記ドットパターンにパターン化された座標情報および／またはコード情報は、互いに同一であるかまたは互いに異なることを特徴する。
【０１０７】
上記の特徴によれば、本発明にかかる情報入力補助シートは、拡散反射層を設けることなく目玉現象を回避することができる。
【発明の効果】
【０１０８】
本発明は、上記各種の特徴を有することにより、従来技術とは次元を異にする、全く異なった、多様かつ新しい付加価値と利便性をユーザに与えることのできる手書き入出力システムを提供することができる。
【図面の簡単な説明】
【０１０９】
【図１】本発明にかかる手書き入出力システムの使用状態を示す外観図である。
【図２】本発明にかかる手書き入出力システムの第一の実施例の構成を示すブロック図である。
【図３】本発明にかかる手書き入出力システムの第二の実施例の構成を示すブロック図である。
【図４】本発明にかかる手書き入出力システムの第三の実施例の構成を示すブロック図である。
【図５】本発明にかかる手書き入出力システムの第四の実施例の構成を示すブロック図である。
【図６】本発明にかかる手書き入出力システムの第五の実施例の構成を示すブロック図である。
【図７】本発明にかかる手書き入出力システムの第六の実施例の構成を示すブロック図である。
【図８】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（１）である。
【図９】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（２）である。
【図１０】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（３）である。
【図１１】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（４）である。
【図１２】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（５）である。
【図１３】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（６）である。
【図１４】本発明にかかる手書き入出力システムに用いるディレクションドットを説明する図である。
【図１５】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（７）である。
【図１６】本発明にかかる手書き入出力システムに用いる撮像部の全体の構成を示す外観図である。
【図１７】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１）である。
【図１８】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（２）である。
【図１９】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（３）である。
【図２０】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（４）である。
【図２１】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（５）である。
【図２２】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（６）である。
【図２３】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（７）である。
【図２４】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（８）である。
【図２５】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（９）である。
【図２６】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１０）である。
【図２７】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１１）である。
【図２８】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１２）である。
【図２９】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１）である。
【図３０】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（２）である。
【図３１】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（３）である。
【図３２】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（４）である。
【図３３】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（５）である。
【図３４】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（６）である。
【図３５】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（７）である。
【図３６】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（８）である。
【図３７】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（９）である。
【図３８】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１０）である。
【図３９】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１１）である。
【図４０】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１２）である。
【図４１】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１３）である。
【図４２】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１４）である。
【図４３】本発明にかかる手書き入出力システムに用いる撮像部の傾きの方向・角度を算出する方法を説明する図（１）である。
【図４４】本発明にかかる手書き入出力システムに用いる撮像部の傾きの方向・角度を算出する方法を説明する図（２）である。
【図４５】本発明にかかる手書き入出力システムに用いる撮像部の傾きの方向・角度を算出する方法を説明する図（３）である。
【図４６】本発明にかかる手書き入出力システムに用いる撮像部の傾きの方向・角度を算出する方法を説明する図（４）である。
【図４７】本発明にかかる手書き入出力システムに用いる撮像部の傾きの方向・角度を算出する方法を説明する図（５）である。
【図４８】本発明にかかる手書き入出力システムに用いる撮像部の、タッチする動作と跳ねる動作の判別方法を説明する図である。
【図４９】本発明にかかる手書き入出力システムにおける第一のオペレーションを説明する図である。
【図５０】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（１）である。
【図５１】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（２）である。
【図５２】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（３）である。
【図５３】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（１）である。
【図５４】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（２）である。
【図５５】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（３）である。
【図５６】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（４）である。
【図５７】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（５）である。
【図５８】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（６）である。
【図５９】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるファイル変更結果の保存方法を説明する図である。
【図６０】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるファイル内容変更のキャンセル方法を説明する図である。
【図６１】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるアプリケーションの起動方法を説明する図である。
【図６２】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるアプリケーションの終了方法を説明する図である。
【図６３】本発明にかかる手書き入出力システムにおける、撮像部の四方向への傾き動作によるオペレーションの切り替え方法を説明する図（１）である。
【図６４】本発明にかかる手書き入出力システムにおける、撮像部の四方向への傾き動作によるオペレーションの切り替え方法を説明する図（２）である。
【図６５】発明にかかる手書き入出力システムにおける、撮像部のタッチ動作を説明する図である。
【図６６】本発明にかかる手書き入出力システムにおける、音声収録部および音声出力部の構成を説明するブロック図である。
【図６７】本発明にかかる手書き入出力システムにおける、撮像部の跳ねる動作を説明する図である。
【図６８】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（１）である。
【図６９】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（２）である。
【図７０】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（３）である。
【図７１】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（４）である。
【図７２】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（５）である。
【図７３】本発明にかかる情報入力システムに用いるグリッドシートを説明する図（１）である。
【図７４】本発明にかかる情報入力システムに用いるグリッドシートを説明する図（２）である。
【図７５】本発明にかかる情報入力システムに用いるグリッドシートを説明する図（３）である。
【図７６】本発明にかかる情報入力システムに用いるグリッドシートを説明する図（４）である。
【図７７】本発明にかかる情報入力システムに用いるグリッドシートを説明する図（５）である。
【発明を実施するための形態】
【０１１０】
以下、本発明の実施の形態について、図面を用いて説明する。
【０１１１】
＜システム全体の構成の説明＞
図１は、本発明にかかる手書き入出力システム１の使用状態の一例を示す外観図である。同図によれば、媒体２にスキャナ３を用いて書き込みをすると、書き込んだとおりの文書がディスプレイ６に表示される。これは、スキャナ３が、書き込んだ軌跡上のドットパターンを撮像して、コンピュータ４が解析する（必要に応じてサーバ５にアクセスする）ことにより、実現する。ただし、コンピュータ４がスキャナ３に内蔵されていてもよい。
【０１１２】
図２は、本発明にかかる手書き入出力システム１の、第一の実施例の構成を示すブロック図である。
【０１１３】
この手書き入出力システム１は少なくとも、媒体２（手書き入力シート）、撮像部７（撮像手段）、ドットパターン解析部８（ドットパターン解析手段）、軌跡認識部９（軌跡認識手段）、処理命令部１０（処理命令手段）、を備えることにより情報処理部１１に対して各種の命令を行い、必要に応じて各種サーバ５にアクセスする。
【０１１４】
図３は、本発明にかかる手書き出入力システム１の第二の実施例の構成を示すブロック図である。第二の実施例では、第一の実施例が備える構成に加えて、撮像素子１２、照射部１３、光制御部１４をさらに備える。
【０１１５】
ここで、同図中の破線で示すように、撮像素子１２と照射部１３は撮像部７と一体であり、光制御部１４はドットパターン解析部８と一体である。
【０１１６】
図４は、本発明にかかる手書き入出力システム１の第三の実施例の構成を示すブロック図である。第三の実施例では、第一の実施例が備える構成に加えて、計時部１５をさらに備える。
【０１１７】
ここで、同図中の破線で示すように、計時部１５は軌跡認識部９と一体である。
【０１１８】
図５は、本発明にかかる手書き入出力システム１の第四の実施例の構成を示すブロック図である。第四の実施例では、第一の実施例が備える構成に加えて、角度測定部１６、角度変化認識部１７をさらに備える。
【０１１９】
ここで、同図中の破線で示すように、角度測定部１６と角度変化認識部１７はドットパターン解析部８と一体である。
【０１２０】
図６は、本発明にかかる手書き入出力システム１の第五の実施例の構成を示すブロック図である。第五の実施例では、第一の実施例が備える構成に加えて、回転角読み取り部１８、回転角変化認識部１９をさらに備える。
【０１２１】
ここで、同図中の破線で示すように、回転角読み取り部１８と回転角変化認識部１９はドットパターン解析部８と一体である。
【０１２２】
図７は、本発明にかかる手書き入出力システム１の第六の実施例の構成を示すブロック図である。第禄の実施例では、第一の実施例が備える構成に加えて、音声収録部２０、音声認識部２１、音声出力部２２をさらに備える。
【０１２３】
＜ドットパターン＞
以下に、本発明にかかる手書き入出力システム１において用いるドットパターンについて、図８〜１５を用いて説明する。
【０１２４】
＜ドットパターンの説明ＧＲＩＤ１＞
図８〜図１５は本発明にかかる手書き入出力システム１において媒体２に形成されるドットパターンの一例であるＧＲＩＤ１を示す説明図である。
【０１２５】
なお、これらの図において、縦横方向の格子線は説明の便宜のために付したものであり実際の印刷面には存在していない。ドットパターン１０１を構成するキードット１０２、情報ドット１０３、基準格子点ドット１０４等は撮像手段であるスキャナ３が赤外線照射手段を有している場合、当該赤外光を吸収する不可視インクまたはカーボンインクで印刷されていることが望ましい。
【０１２６】
図８はドットパターン１０１の情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。図９（ａ）、（ｂ）はキードット１０２を中心に配置した情報ドット１０３を示す説明図である。
【０１２７】
ドットパターンを用いた情報入出力方法は、ドットパターン１０１の生成と、そのドットパターン１０１の認識と、このドットパターン１０１から情報およびプログラムを出力する手段とからなる。すなわち、ドットパターン１０１をスキャナ３に内蔵する撮像部７により画像データとして取り込み、まず、基準格子点ドット１０４を抽出し、次に本来基準格子点ドット１０４がある位置にドットが打たれていないことによってキードット１０２を抽出し、次に情報ドット１０３を抽出することによりデジタル化して情報領域を抽出して情報の数値化を図り、その数値情報より、このドットパターン１０１から情報およびプログラムを出力させる。たとえば、このドットパターン１０１から音声等の情報やプログラムを、情報出力装置、パーソナルコンピュータ、ＰＤＡまたは携帯電話等に出力させる。
【０１２８】
ドットパターン１０１の生成は、ドットコード生成アルゴリズムにより、数値情報を認識させるために微細なドット、すなわち、キードット１０２、情報ドット１０３、基準格子点ドット１０４を所定の規則に則って配列する。図８に示すように、情報を表すドットパターン１０１のブロックは、キードット１０２を基準に５×５の基準格子点ドット１０４を配置し、４点の基準格子点ドット１０４に囲まれた中心の仮想格子点５の周囲に情報ドット１０３を配置する。このブロックには任意の数値情報が定義される。なお、図８の図示例では、ドットパターン１０１のブロック（太線枠内）を４個並列させた状態を示している。なお、ドットパターン１０１は４ブロックに限定されず、上下・左右方向に、何度でも繰り返して配置されてもよいことは勿論である。
【０１２９】
基準格子点ドット１０４は、撮像部７でこのドットパターン１０１を画像データとして取り込む際に、その撮像部７のレンズの歪みや斜めからの撮像、紙面の伸縮、媒体表面の湾曲、印刷時の歪みを矯正することができる。具体的には歪んだ４点の基準格子点ドット１０４を元の正方形に変換する補正用の関数（Ｘｎ，Ｙｎ）＝ｆ（Ｘｎ’，Ｙｎ’）を求め、その同一の関数で情報ドット１０３を補正して、正しい情報ドット１０３のベクトルを求める。
【０１３０】
ドットパターン１０１に基準格子点ドット１０４を配置してあると、このドットパターン１０１を撮像部７で取り込んだ画像データは、撮像部７が原因する歪みを補正するので、歪み率の高いレンズを付けた普及型のカメラでドットパターン１０１の画像データを取り込むときにも正確に認識することができる。また、ドットパターン１０１の面に対して撮像部７を傾けて読み取っても、そのドットパターン１０１を正確に認識することができる。
【０１３１】
キードット１０２は、図８に示すように、ブロックの四隅の角部にある４個の基準格子点ドット１０４を一定方向にずらして配置したドットである。このキードット１０２は、情報ドット１０３を表す１ブロック分のドットパターン１０１の代表点である。たとえば、ドットパターン１０１のブロックの四隅の角部にある基準格子点ドット１０４を上方に０．１ｍｍずらしたものである。ただし、この数値はこれに限定されずに、ドットパターン１０１のブロックの大小に応じて可変し得るものである。
情報ドット１０３は種々の情報を認識させるドットである。この情報ドット１０３は、キードット１０２を代表点にして、その周辺に配置すると共に、４点の基準格子点ドット１０４で囲まれた中心を仮想格子点５にして、これを始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット１０３は、基準格子点ドット１０４に囲まれ、図９（ａ）に示すように、その仮想格子点５から０．１ｍｍ離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に４５度ずつ回転させて８方向に配置し、３ビットを表現する。したがって、１ブロックのドットパターン１０１で３ビット×１６個＝２０１ビットを表現することができる。
図９（ｂ）は、図３のドットパターンにおいて、１個の格子毎に２ビットを有する情報ドット１０３の定義の方法であり、＋方向および×方向にドットをずらして各２ビットの情報を定義している。これにより、本来４８ビットの情報を定義できるが、用途によって分割して３２ビット毎にデータを与えることができる。＋方向および×方向の組み合わせによって最大２１６（約６５０００）通りのドットパターンフォーマットが実現できる。
【０１３２】
なお、これに限定されずに、１６方向に配置して４ビットを表現することも可能であり、種々変更できることは勿論である。
キードット１０２、情報ドット１０３または基準格子点ドット１０４のドットの径は、見栄えと、紙質に対する印刷の精度、撮像部７の解像度および最適なデジタル化を考慮して、０．０５ｍｍ程度が望ましい。
また、撮像面積に対する必要な情報量と、各種ドット１０２，１０３，１０４の誤認を考慮して基準格子点ドット１０４の間隔は縦・横０．５ｍｍ前後が望ましい。基準格子点ドット１０４および情報ドット１０３との誤認を考慮して、キードット１０２のずれは格子間隔の２０％前後が望ましい。
【０１３３】
この情報ドット１０３と、４点の基準格子点ドット１０４で囲まれた仮想格子点との間隔は、隣接する仮想格子点５間の距離の１５〜３０％程度の間隔であることが望ましい。情報ドット１０３と仮想格子点５間の距離がこの間隔より近いと、ドット同士が大きな塊と視認されやすく、ドットパターン１０１として見苦しくなるからである。逆に、情報ドット１０３と仮想格子点５間の距離がこの間隔より遠いと、隣接するいずれの仮想格子点５を中心にしてベクトル方向性を持たせた情報ドット１０３であるかの認定が困難になるためである。
【０１３４】
図８に示すように、１個のドットパターンは、４×４個のブロック領域で構成されたドットパターンであり、各ブロック内には２ビットの情報ドット１０３が配置されている。この情報ドット１０３のドットコードフォーマットの一例を示したものが図９である。
【０１３５】
図１０に示すように、１個のドットパターン中には、パリティチェック、コード値、Ｘ座標、Ｙ座標が記録されている。なお、フォーマットの詳細については後述する。
【０１３６】
図１１は情報ドット１０３およびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
【０１３７】
また、情報ドット１０３について基準格子点ドット１０４で囲まれた仮想格子点５から長・短の２種類を使用し、ベクトル方向を８方向とすると、４ビットを表現することができる。このとき、長い方が隣接する仮想格子点５間の距離の２５〜３０％程度、短い方は１５〜２０％程度が望ましい。ただし、長・短の情報ドット１０３の中心間隔は、これらのドットの径より長くなることが望ましい。
【０１３８】
４点の基準格子点ドット１０４で囲まれた情報ドット１０３は、見栄えを考慮し、１ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、１ベクトル毎に、１ビットを割り当て、情報ドット１０３を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円８方向のベクトルでは、４点の格子ドット４に囲まれた情報ドット１０３で２８の情報を表現でき、１ブロックの情報ドット１６個で２１２８となる。
【０１３９】
図１２は情報ドットおよびそこに定義されたデータのビット表示の例であり、（ａ）はドットを２個、（ｂ）はドットを４個および（ｃ）はドットを５個配置したものを示すものである。
【０１４０】
図１３はドットパターン１０１の変形例を示すものであり、（ａ）は情報ドット６個配置型、（ｂ）は情報ドット９個配置型、（ｃ）は情報ドット１２個配置型、（ｄ）は情報ドット１０３６個配置型の概略図である。
【０１４１】
図８に示すドットパターン１０１は、１ブロックに１６個（４×４）の情報ドット１０３を配置した例を示している。しかし、この情報ドット１０３は１ブロックに１６個配置することに限定されずに、種々変更することができる。たとえば、必要とする情報量の大小または撮像部７の解像度に応じて、情報ドット１０３を１ブロックに６個（２×３）配置したもの（ａ）、情報ドット１０３を１ブロックに９個（３×３）配置したもの（ｂ）、情報ドット１０３を１ブロックに１２個（３×４）配置したもの（ｃ）、または情報ドット１０３を１ブロックに３６個配置したもの（ｄ）がある。
【０１４２】
＜ドットパターンの説明ディレクションドット＞
次に、ドットパターンの他の形態であるディレクションドットについて図１４を用いて説明する。
【０１４３】
本ドットパターンは、ブロックの形状によって、ドットパターンの方向を定義したものである。図１４（ａ）において、まず基準点２０１ａ〜２０１ｅが配置されている。この基準点２０１ａ〜２０１ｅを結ぶ線によってブロックの向きを示す形状（ここでは上方を向いた５角形）が定義されている。そして、この基準点に基づいて仮想基準点２０１ｆ、２０１ｇ、２０１ｈが配置され、この仮想基準点を始点として方向と長さを有するベクトル終点に情報ドット２０３が配置されている。このように、同図では、ブロックの向きを基準点の配置の仕方によって定義することができる。そしてブロックの向きが定義されるディレクションドットによって、ブロック全体の大きさも定義されることになる。また、このブロックは、上下・左右方向に、何度でも繰り返して配置されてもよいことは勿論である。
【０１４４】
なお、図１４（ａ）においては、基準点２０１ａ〜２０１ｅと情報ドット２０３は全て同一形状のもので説明したが、基準点２０１ａ〜２０１ｅを情報ドット２０３よりも大きな形状としてもよい。また、この基準点２０１ａ〜２０１ｅと情報ドット２０３とは識別可能であればいかなる形状としてもよく、三角形、四角形それ以上の多角形であってもよい。
【０１４５】
図１４（ｂ）は、ブロックの仮想格子点上に情報ドットがあるか否かによって、情報を定義したものである。
【０１４６】
なお、図１４（ｃ）は、図１４（ａ）に示したブロックを縦横方向に２個ずつ連結したものである。
【０１４７】
本発明にかかる手書き入出力システム１において媒体２に形成するドットパターンはＧＲＩＤ１に限らず、ＸＹ座標情報およびコード情報を定義したものであればよいものとする。
【０１４８】
たとえば、特許第３７６６６７８号（ＧＲＩＤ２）、特許第３８５８０５１号（ＧＲＩＤ３）、特許第３８５８０５２号（ＧＲＩＤ４）を用いることができる。
【０１４９】
＜ドットパターンのフォーマットの説明＞
図１５は、本発明にかかる手書き入出力システム１において媒体２に形成されるドットパターンのフォーマットについて説明する図である。
【０１５０】
同図（ｃ）に示すように、ドットパターンは、４×４個のブロック領域で構成されたドットパターンであり、このブロック内でＣ１−０〜Ｃ３１−３０に区画されている。各領域のドットコードフォーマットを示したものが（ａ）および（ｂ）である。
【０１５１】
同図（ａ）は、ページコードとＸ座標とＹ座標が登録されているフォーマットである。ページコードとは、媒体２が冊子状になっている場合等において、媒体２のページ数を意味するものであり、Ｘ座標およびＹ座標は、それぞれ、媒体上における位置（座標値）を意味するものである。これにより、ユーザがスキャナ３で媒体２を読み取ると、その媒体のページ数および読み取った箇所の座標位置が一度の読み取り操作で同時に認識される。
【０１５２】
同図（ｂ）は、ページコードとアクションコードとＸ座標とＹ座標が登録されているフォーマットである。アクションコードとは、操作指示を意味するものである。例えば、「拡大」「縮小」等の操作を意味するもので、主に後述するアイコン領域に用いられるドットパターンに含まれている。
【０１５３】
このように、本発明のドットパターンは、ページコードやアクションコード等、種々のコード情報とＸＹ座標を一つのフォーマットに登録することができる。また、その他にも、ＸＹ座標のみ、あるいはコード情報のみを登録することもでき、柔軟性に富んだフォーマットが可能である。
【０１５４】
＜撮像部＞
図１６〜２８は、本発明にかかる手書き入出力システム１に用いる撮像部７を説明する図である。
【０１５５】
なお、撮像部７は人が手に持つのに適した大きさ、形状であることが好ましく、中でも図１６のようにペン型の形状をしていることが最も好ましい。
【０１５６】
同図（ａ）はペン型の形状をした撮像部７の最も基本的な実施形態を示す図である。かかる実施形態においては、指示用突起部２３、送信部２４が設けられており、図示しないＣ−ＭＯＳセンサ等が概ねペンの軸線上に内蔵されている。送信部２４は撮像部７が赤外線通信、無線通信等の方法を用いて他の部材に信号を送信するためのものであり、説明の便宜を図るため図示したが、実際には必ずしも外観上見える位置に設ける必要はない。
【０１５７】
同図（ｂ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、ユーザによる操作を受け付ける２つのボタンが設けられている。かかる２つのボタンは送信ボタン２５と、再送信ボタン２６であり、ユーザは撮像部７から他の部材に信号を送るようボタン操作により指示することができる。ここで、再送信ボタン２６とは、送信ボタン２５による信号の送信が遮蔽物の存在等により受信先の部材へ送信することができなかった場合に同じ信号を再度送信するのに用いる。
【０１５８】
同図（ｃ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、ユーザによる音声入力を受け付けるマイク２７と、音声再生ボタン２８がさらに設けられている。マイク２７は、後述する音声認識に用いる音声を収録するために用い、音声再生ボタン２８は、後述する音声ガイドを再生するために用いる。
【０１５９】
同図（ｄ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、指示用突起部２３の内部空間にペン２９が格納されており、ペン格納ボタン３０を押すことにより、ペン２９が出る。
【０１６０】
図１７（ａ）本発明にかかる手書き入出力システム１を構成する撮像部７の実施例の一つであるペン型スキャナ３１の先端部を示す断面図である。かかるペン型スキャナ３１は、内部に中空部が形成され、その先端に開口部を有するライトガイド３２と、このライトガイド３２の開口部を臨む位置に配置されたレンズ３３と、このレンズ３３と同一面上に配置され、ドットパターンが形成された媒体面に所定波長の光を照射する光源としてのＬＥＤ３４（照射部１３）と、レンズ３３から後退した位置に配置されたＣ−ＭＯＳセンサ３５（撮像素子１２）と、さらに後退した位置にＰＣＢ３６とそれに設置される図示しないＣＰＵとを備えている。ライトガイド３２の中空部は、レンズ３３から開口部に向かって次第に大径となるテーパ状に形成されている。ここで、ＣＰＵは先述のドットパターン解析部８、軌跡認識部９、処理命令部１０、情報処理部１１、のいずれかまたは全ての役割を持つ。
【０１６１】
ライトガイド３２は、透明または乳白色の樹脂製であり、その内部が導光路として機能する。ＬＥＤ３４からの照射光は、ライトガイド３２の内部を進行し、前記開口部より媒体２に対して照射される。ライトガイド３２が乳白色の樹脂製である場合は、ＬＥＤ３４からの照射光は、ライトガイド３２内を進行する際、適度に拡散されるので、開口部から媒体２を照射する光をより均一にすることが出来る。
【０１６２】
＜ＬＥＤの発光タイミングの制御＞
同図（ｂ）は時間毎のＬＥＤ３４の発光タイミングを示す図である。ＬＥＤ３４は所定のタイミング毎に瞬間的に所定強度、発光して、媒体２を露光する。Ｃ−ＭＯＳセンサ３５は媒体２からの反射光を撮像し、画像データとしてドットパターン解析部８へ送信する。
【０１６３】
同図（ｃ）は時間毎のＣ−ＭＯＳセンサ３５の素子の反応状態を示す図である。Ｃ−ＭＯＳセンサ３５の素子にはＬＥＤ３４が所定強度、発光して媒体２を露光した瞬間の媒体２の残像が焼き付けられる。ここで、所定時間ｔｋとは撮像素子１２の残像が消えるまでの時間内で、ドットパターン解析部８による解析可能な残像状態を保持するのに必要とする時間を示している。
【０１６４】
ＬＥＤ３４が発光していた時間ｆｔが所定の時間α以下である場合、同図（ｄ）に示すとおり、Ｃ−ＭＯＳセンサ３５の素子にはドットの残像がぼけることなく焼き付けられるため、この残像を画像データとしてドットパターン解析部８へ送信する。この場合、送信は素子に残像が残っている時間ｔlの間に行う。
【０１６５】
一方、ＬＥＤ３４が発光していた時間ｆｔが所定の時間αを大きく超える場合、同図（ｅ）に示すとおり、Ｃ−ＭＯＳセンサ３５の素子にはドットの残像がぼけて焼き付けられ、正しい数値を読み取ることができない。
【０１６６】
かかる撮像方法は、Ｃ−ＭＯＳセンサを用いる場合において特に有効であるが、上記の撮像方法に代えて、ＣＣＤカメラを用いても問題はない。
【０１６７】
図１８により、本発明にかかる手書き入出力システム１に用いる、光制御部１４およびドットパターン解析部８の働きについて説明する。
【０１６８】
同図（ａ）は光制御部１４によるＬＥＤ３４の発光タイミング、および撮像素子１２によりドットパターンを撮像して記憶素子に送信するタイミング、およびドットパターン解析部８による画像データの解析タイミングの第一のパターンを説明する時系列である。第一のパターンにおいては、発光ｆｔｎ、撮像ｒｔｎ、解析ａｔｎが順に行われ、解析ａｔｎが終了すると、所定時間ｔsが経過するまで次の発光ｆｔｎ+１は行われない。ここで、所定時間ｔｓとは撮像素子１２がドットパターンの撮像・送信・解析に必要とする時間の予想値のうち、最大の値を予想撮像・送信・解析時間として定義したものである。
【０１６９】
同図（ｂ）は光制御部１４によるＬＥＤ３４の発光タイミング、および撮像素子１２によるドットパターンの撮像・送信タイミング、およびドットパターン解析部８による画像データの解析タイミングの第二のパターンを説明する時系列である。第二のパターンにおいては、解析ａｔｎが終了すると、光制御部１４は解析の終了を検知して、直ちに次の発光ｆｔｎ+１行われ、次のドットパターンの撮像ｒｔｎ+１、解析ａｔｎ+１が行われる。
【０１７０】
同図（ｃ）は光制御部１４によるＬＥＤ３４の発光タイミング、および撮像素子１２によるドットパターンの撮像・送信タイミング、およびドットパターン解析部８による画像データの解析タイミングの第三のパターンを説明する時系列である。第三のパターンにおいては、タスク処理または光制御部１４およびドットパターン解析部８を複数備えることにより、解析ａｔｎ−１と同時に次の解析のためのドットパターンの撮像ｒｔｎを行い、解析ａｔｎ−１が終了すると直ちに発光ｆｔｎ+１が行われ、続いて既に撮像ｒｔｎにおいて撮像された画像データの解析ａｔｎが行われる。なお、さらに、発光ｆｔｎ+１と同時に解析ａｔｎを開始してもよいが、ＬＥＤ３４の発光時間は極めて短いため、ＬＥＤ３４が発光してからドットパターン解析部８が画像データの解析を終えるまでの合計時間には殆ど変化がない。
【０１７１】
＜ペンの装着＞
また、ペン型スキャナ３１は、筆記具としてのペン３７が装着されている。通常ペン等の筆記具で印字する際は、傾斜させた状態で用いるため、ペン型スキャナ３１の外周は、４５度まで傾斜可能になるように形成されている。この場合、ペン３７の先端近傍の媒体面を撮像することにより、撮像中心から離れた位置のペン３７の印字の際の筆跡や移動距離等を正確に解析することも可能となる。また、後述するオフセット補正により、筆跡をさらに正確に解析することが可能である。
【０１７２】
筆記具としてのペン３７は、種々の方法により格納して、媒体上に筆跡を残さないようにすることも可能である。格納する方法は、一般的なボールペンなどのペンにおいて用いられている技術をそのまま利用できる。たとえば、ノック式、回転式による格納方法を採用してもよいし、キャップを被せてもよい。
【０１７３】
また、一般的な三色ボールペンのようにペンを換えられるようにすることもできる。この場合、色の異なるペン同士を換えるだけでなく、ペンに代えて消しゴムや修正液が使えるようにしてもよい。
【０１７４】
さらに、ペン３７に代えて指示用突起部２３（スタイラスペン）を設け、指示用突起部２３の筆跡近傍を撮像するものとしてもよい。指示用突起部２３内に格納スペースを設けてペン３７を格納して、指示用突起部としても使用してよい。
【０１７５】
＜オフセット補正＞
図１７（ａ）に示すように、ペン型スキャナ３１において、撮像部７が撮像するドットパターンが定義するＸＹ座標値と、ペン３７が実際に書き込む軌跡上のドットパターンが定義するＸＹ座標値は異なる。さらに、軌跡上のドットパターンが定義するＸＹ座標値は、媒体面上の書き込み領域におけるxy座標値に変換して、書き込み入力や操作指示を行う必要がある。
【０１７６】
本発明にかかる手書き入出力システム１においては、撮像部７が撮像するドットパターンのＸＹ座標値を、ペン３７が実際に書き込む軌跡上のドットパターンを補正する方法と、ドットパターン座標系のXY座標値から書き込み領域座標系のxy座標値への変換方法を以下に説明する。
【０１７７】
＜書き込み領域の座標系とドットパターンの座標系の関係＞
図１９に書き込み領域の一例を示す。
【０１７８】
書き込み領域座標系は左下隅を(0,0)とする。書き込み領域のxy座標値は、ｍｍ表示とする。例えば、(16,40)の座標位置であれば、書き込み領域の左下隅から右へ16ｍｍ、上へ40ｍｍ移動した位置を示す。
【０１７９】
書き込み領域内には、ドットパターン座標系のXY座標値を１組定義したドットパターンのブロックが連続して形成されている。XY座標値は、ブロックの中心点の位置を示す。ドットパターン座標系の座標値を書き込み領域座標系の座標値と区別するため、〔X,Y〕と表す。
書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの左下隅と原点(0,0)を一致させると、ドットパターン座標系におけるXY座標値は、図２０のように、どの書き込み領域でも左下隅が〔-0.5,-0.5〕となるようにドットパターンが形成される。この場合は、各書き込み領域に形成されたドットパターンには、固有のコード値を定義して各書き込み領域を特定する。互いに特定する必要のない場合は、同一のコード値を定義してもよい。
【０１８０】
また、図２２のように、紙面全面にXY座標値を定義したドットパターンを形成し、書き込み領域には、上記XY座標値の他、固有のコード値を定義する。この場合、書き込み領域の左下隅のXY座標値は、〔Xn0,Yn0〕(nは書き込み領域を特定する番号)となる。
【０１８１】
次に、各ブロックの一辺をLｍｍとすると、XY座標値は以下のように書き込み領域座標系に変換する。
【０１８２】
図２０のように、原点(0,0)のXY座標値を〔-0.5,-0.5〕としてドットパターンを形成した場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域座標系では、
(X×L＋L／2, Y×L＋L／2)となる。
なお、図２１のように、書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの中心点と原点を一致させると、
(X×L, Y×L)となる。
【０１８３】
なお、図２１の例における書き込み領域座標系とドットパターン座標系との関係は、図１９の拡大図部分の例と同じである。
【０１８４】
図２２のように、書き込み領域の左下隅のXY座標値が〔Xn0,Yn0〕となる場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域n座標系では、
((X−Xn0)×L,(Y−Yn0)×L) となる。
【０１８５】
＜撮像中心Cのドットパターン座標系におけるXY座標値〔Xc,Yc〕の算出＞
図２３を用いて、撮像中心CのXY座標値〔Xc,Yc〕の算出方法を説明する。
撮像画像を所定の解像度のフレームバッファに一時記憶し、画像解析することにより、隣り合うブロックの中心間隔を構成するピクセル数Mを求める。ブロックの中心間隔は、ブロックの一辺の長さLに等しいので、Lに対する撮像画像の１ピクセル当たりのサイズを、ドットパターン座標系での値kとすると、
k＝L／Mとなる。
【０１８６】
同じく画像解析により、撮像中心Cから最も近いブロック中心P〔Xｐ,Yｐ〕と、撮像中心Cとの間隔を構成するピクセル数uが求まる。撮像中心Cから、撮像中心から最も近いブロック中心Pまでの距離CPは、
CP＝k×uとなる。
【０１８７】
次に、ドットパターンの向き（書き込み領域の向き）が書き込み領域の上方向になるようにドットパターンが紙面に形成されている場合、ドットパターンの向きとPCベクトルとのなす角をθ'（左回転を正の方向とする）とすると、
〔Xc,Yc〕＝〔Xｐ−CP×sinθ', Yｐ＋CP×cosθ'〕
が求まる。
【０１８８】
＜ペン先の書き込み領域座標系におけるxy座標値Q（xq,yq）の算出（ペンが紙面に対し垂直な場合）＞
図２４のように、書き込み領域座標系における撮像中心Cの座標値を（xc,yc）、ペン先の媒体面における座標値をQ（xq,yq）とする。図２５のように、点Cと点Qのx座標値、y座標値の差分を、それぞれΔxq、Δyqとすると、
Δxq ＝xq −xc
Δyq＝yq−yc
が求まる。
【０１８９】
ドットパターンの向きが書き込み領域上方向になるように、ドットパターンが形成されている場合に、撮像中心Cを始点とし、ペン先を終点とするCQベクトルの向きをペン型スキャナ３１の向きとする。
【０１９０】
ドットパターンの向きとペン型スキャナ３１の向きのなす角をθ（左回転を正の方向とする）とする。
【０１９１】
また、図２６のように、ペン型スキャナ３１が紙面に対し垂直な状態での、撮像中心Cからペン先Qまでの距離をsとすると、
Δxq およびΔyqは、
Δxq ＝−s×sinθ
Δyq＝s×cosθ
となる。
【０１９２】
従って、xqおよびyqは、
xq ＝xc −s×sinθ
yq＝yc＋s×cosθ
となる。
【０１９３】
＜ペン先の書き込み領域座標系におけるxy座標値Q'（xq',yq'）の算出（ペンが紙面に対し傾いている場合）＞
図２７のように、ペン型スキャナ３１が紙面に対し傾いている場合、前述の撮像中心Cからペン先Qまでの距離が変化する。
【０１９４】
ペン型スキャナ３１本体の紙面の法線方向からの傾き（以下、「ペンの傾き」という。）をαとしたときの、撮像中心からペン先までの距離をs'とすると、前記の式はs→s'と置き換えられ、
xq' ＝xc −s'×sinθ
yq'＝yc＋s'×cosθ
となる。
また、
s'＝s／cosα
であるので、これを当該式に代入すると、
xq' ＝xc −s'×sinθ/ cosα
yq'＝yc＋s'×cosθ/ cosα
となる。
【０１９５】
＜ペン先がペン本体に収納された状態で利用する場合の撮像中心からペン先までの距離＞
なお、図２８のように、ペン先が格納されると、ΔLだけペン型スキャナ３１が紙面に近づくがsおよびs'には影響を及ぼすものではなく、計算式は同一となる。
【０１９６】
＜ペンの傾きαの算出方法＞
ペンの傾きαを検出するには、ペン本体に傾きセンサなどの傾き計測手段を設けても良い。
【０１９７】
または、撮像画像の所定複数p箇所の明るさBLi,j=1,pを求め、最も明るい箇所と最も暗い箇所の明るさの差ΔBLを用いて関係式α＝f(ΔBL)からペンの傾きαを求めることもできる。
【０１９８】
α＝f(BLi,j=1,p)のようにBLi,jをパラメータとして、フーリエ関数やsin関数を用いてαを求めることもできる。
【０１９９】
また、ΔBLとαを対応させるテーブルを予め作成し、αを算定してもよい。なお、ペンを傾けた方向は、BLi,j=1,pの最も暗い箇所から、最も明るい箇所の方向を計測することにより求まる。
【０２００】
＜媒体２＞
図２９〜４２は、本発明にかかる手書き入出力システム１に用いる媒体２を説明する図である。
【０２０１】
図２９は、表面全体にドットパターンを印刷（形成）して書き込み領域とした媒体２を示す図である。
【０２０２】
かかるドットパターンはＸＹ座標値およびページコードを定義している。ここで、ページコードとはコード情報を用いて、媒体を特定をするコードを意味する。
【０２０３】
図３０は、ページコードおよびＸＹ座標値を定義したドットパターンが印刷された領域内に、アクションコードをさらに定義した別のドットパターンが印刷された媒体２を示す図である。
【０２０４】
ここで、アクションコードとはコード情報を用いて、特定した媒体への手書き入力に対して情報処理部１１に所定の操作（特にアプリケーションの操作）を命令するコードを意味する。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０２０５】
本媒体は、複数枚が組になっており、シート毎に異なるページコードが割り当てられている。ページコードはたとえば１ページ目は「０１」、２ページ目は「０２」、３ページ目は「０３」である。
【０２０６】
アクションコードを定義したドットパターンが印刷された領域には、かかるアクションコードがどのような意味を持つものであるかユーザに説明するためのテキスト、グラフィック、写真、アイコンを重畳して印刷することができる。たとえば「開始」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションの起動を命令する。「中止」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによる入力結果の破棄（キャンセル）を命令し、または、情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、情報処理部１１に対して処理の実行を中止することを命令する。「保存」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部に対して手書き入出力用アプリケーションによる入力結果の保存を命令する。「終了」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションの終了を命令する。
【０２０７】
図３１は、ＸＹ座標値およびページコードを定義したドットパターンが印刷された領域と、アクションコードおよびページコードを定義したドットパターンが印刷された領域が分かれている媒体２を示す図である。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０２０８】
図３２は、ＸＹ座標値およびページコードを定義したドットパターンが印刷された第一の媒体と、アクションコードのみを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体を示す図である。この場合、媒体のどの頁でも、手書き入力に対する各種命令を実行できる。なお、書き込み領域とアイコンとを別体に設ける場合、図３２のように、ペーパーコントローラとする場合の他、シール、付箋紙、カードとして、他の媒体に貼付してもよい。
【０２０９】
なお、「本文入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、本文となる文字または図形の入力を命令する。「コメント入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、コメントとなる文字または図形の入力を命令する。「編集」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、文字または図形の編集を命令する（すなわち、手書き入出力用アプリケーション以外のアプリケーションにより作成された文書、画像等のファイルを編集することも可能である。）。「決定」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、情報処理部１１に対して処理の実行を決定することを命令する。
【０２１０】
図３３は、ＸＹ座標値およびページコードＡを定義したドットパターンが印刷された第一の媒体と、アクションコードおよびページコードＡを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体が一つの冊子となったものを示す図である。
【０２１１】
この場合、書き込み領域には各ページ同一のＸＹ座標が登録されたドットパターンが印刷されていてもよい。なぜなら、書き込み操作を行う際には、アクションコードおよびページコードが登録されたコントローラ領域のアイコンを使用すれば、書き込み領域を特定できるからである。つまり、ＸＹ座標値を変更することなく書き込み領域の位置、ページを変更することが可能ともいえる。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０２１２】
上記の他、書き込み領域全体に、情報処理部に対して手書き入出力用アプリケーションの起動を命令するアクションコードを定義したドットパターンを印刷してもよい。この場合、媒体面において書き込みが行われると自動的に手書き入出力用アプリケーションが起動するようになる。
【０２１３】
また、媒体上の書き込み領域は一つに限らず、複数定義することも可能である。
【０２１４】
（複数の書き込み領域が設けられる場合に関して）
以下、図３４〜３８を用いて、複数の書き込み領域が設けられる場合に関して、４つの例を用いて説明する。
【０２１５】
＜第1の例＞
第1の例は、図３４に示すように、複数の書き込み領域毎に、異なるドットパターン座標系によるXY座標値と書き込み領域を特定するコード値とを定義したドットパターンが形成される場合である。
【０２１６】
この図では、それぞれの書き込み領域ごとに、ドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値ｍ、ｎを定義したドットパターンが形成されている。
【０２１７】
コード値は複数の情報を定義することにより、書き込み領域のみならずページ番号を分類する分類番号などを含めることができる。
【０２１８】
ページ番号が含まれると、どのページのどの書き込み領域なのかを判別でき、書き込み領域で情報や処理命令、択一などの選択項目があり、共通のコードとして処理する場合では、定義されたページ番号や、選択項目を特定する情報を合わせてコード値として定義できる。
【０２１９】
なお、図３５に示すように、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。この図では、コード値をｎ１、ｎ２、ｎ３、ｎ４としている。これにより、１つの書き込み領域内に複数の選択項目を設定できる。
【０２２０】
この第1の例では、各領域の左下隅が常に０（原点）となるので扱いがしやすいという利点がある。
【０２２１】
＜第2の例＞
第2の例は、図３６に示すように、所定領域全面に1つのドットパターン座標系によるXY座標値を定義したドットパターンが形成され、書き込み領域のドットパターンにはXY座標と共にコード値も定義されている場合である。
【０２２２】
この図では、所定領域の左下隅を原点とする１つのドットパターン座標系でXY座標値を定義したドットパターンが、所定の領域全面に形成されている。この所定の領域内にある、二つの書き込み領域はそれぞれ、左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎとが定義されている。
【０２２３】
コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。
【０２２４】
なお、書き込み領域以外のドットパターンが形成された領域には書き込みはできないようになっている。
【０２２５】
第2の例によれば、XY座標値を読み取ることで、書き込み領域が、所定領域内のどこにレイアウトされているかが容易にわかる。
【０２２６】
＜第3の例＞
第3の例は、図３７に示すように、書き込み領域の中に、さらに書き込み領域を入れ込む場合である。
【０２２７】
この図では、所定領域の左下隅を原点とする１つのドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値Lとを定義したドットパターンが、所定の領域全面に形成されている。この所定の書き込み領域内にある、二つの書き込み領域は、それぞれ、左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎが定義されている。
【０２２８】
この例によれば、文章や図形を自由に書きこむ大きな書き込み領域内に、選択項目欄などの小さな書き込み領域を配置することが容易になる。
【０２２９】
仮に、これを第1の例によって実現しようとすると、書き込み領域内にさらに書き込み領域を形成する際、穴の空いた書き込み領域を設ける必要があり、ドットパターンの形成が複雑な作業となる。
【０２３０】
さらに、１つの座標系で、書き込み領域内に書き込み領域を形成できれば、入力モードを変更することにより、書き込み領域内の書き込み領域を無視して、書き込み作業を行うことができるように設定することが可能となる。例えば、書き込み領域内の書き込み領域に書き込みを行う場合は、入力モードを切り替えるか、特定の記号を描いた場合に限り、有効となるような設定を設けてもよい。
【０２３１】
なお、コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。
【０２３２】
この例においては、XY座標値を読み取ることで、書き込み領域がどこにレイアウトされているかが容易にわかる。
【０２３３】
＜第4の例＞
第4の例は、図３８に示すように、所定領域全面に1つのドットパターン座標系を定め、書き込み領域にはこの座標系でのXY座標値と書き込み領域を特定するコード値を定義したドットパターンが形成される場合である。
【０２３４】
この図では、所定の領域内に左下隅を原点とする１つの座標系を定め、この領域内にある、二つの書き込み領域に、それぞれ左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎとが定義されたドットパターンが形成されている。
【０２３５】
この例では、第2の例とは異なり、書き込み領域以外の範囲にはドットパターンは形成されていない。
【０２３６】
この例では、グラフィック、テキストなどの印刷物の版下と、ドットパターンの版下がある場合、印刷物の版下の座標系に合わせて自動的に書き込み領域の範囲を、マスクを配置することによってレイアウトするマスク処理をしてドットパターンの版下を作成することが可能となり、容易にドットパターンを発行することが出来る。
【０２３７】
また、ドットパターンを読み取ったとき、XY座標値を読み取ることで、書き込み領域が所定の領域内のどこにレイアウトされているかが分かるため、例えば紙面上のどこに配置すれば広告効果が高いかなどのリサーチに用いることが可能となる。
【０２３８】
なお、以上の説明では全て、ドットパターン座標系を用いて説明をしたが、ドットパターン座標系から変換された書き込み領域座標系であっても同様であることは当然である。
【０２３９】
図３９は、媒体上に複数の書き込み領域を定義した具体例である書類を示す図である。
【０２４０】
同図（ａ）はかかる書類において、各書き込み領域にＸＹ座標値の原点および書き込み領域の特定を命令する特定コードが定義されたものを示す図である。
【０２４１】
同図（ａ）においては「氏名」の書き込み領域内に「フリガナ」の書き込み領域が、「住所」の書き込み領域内に「郵便番号」の書き込み領域が、「周辺の地図」の書き込み領域内に「徒歩（の時間）」、「電車（の利用時間）」、「バス（の利用時間）」の書き込み領域が定義されている。
【０２４２】
また、「性別」の書き込み領域は「男」と「女」の書き込み領域に、「生年月日」の書き込み領域は「年」、「月」、「日」の書き込み領域にそれぞれ分割されている。
【０２４３】
このような書き込み領域のレイアウトは、それぞれに異なった特定コードを割り当てることにより可能となる。
【０２４４】
同図（ｂ）はかかる書類において、各書き込み領域にはＸＹ座標値の原点が定義されず、書き込み領域の特定を命令する特定コードのみが定義されたものを示す図である。
【０２４５】
このような構成にすることにより、書き込み情報の媒体面全体での位置を特定することができる。
【０２４６】
詳細は後述するが、各書き込み領域には、書き込まれる文字または図形を分類することで
図４０は、図３９の書類に実際に手書き入力を行った状態を示す図である。
【０２４７】
同図（ａ）は実際に手書き入力を行った図３９（ａ）の書類を示す図である。
【０２４８】
同図（ｂ）は、同図（ａ）の手書き入力を受けて、情報処理部１１が行った処理の結果をディスプレイ６上に表示し、または印刷により出力した状態を示す図である。
【０２４９】
詳細は後述するが、本発明にかかる手書き入出力システム１は、手書き入力した文字および図形をいくつかの方法により認識することにより、同図（ｂ）のような出力を行う。
【０２５０】
＜ドットパターンを新たに印刷する＞
本発明の手書き入出力システム１においては、手書き入力を行い、情報処理部１１において手書き入力を反映させたものを印刷して、再度手書き入力を行うこともできる。
【０２５１】
図４１（ａ）は、軌跡認識部９が認識した軌跡情報と、ドットパターンを重畳して印刷した媒体２を示す図である。図示はしないが、図４１（ａ）に示す媒体２には、最初に手書き入力を行った媒体２に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。
【０２５２】
図４１（ｂ）には、情報処理部１１が行った処理の結果を、ドットパターンを重畳して印刷した媒体２を示す図である。図示はしないが、図４１（ｂ）に示す媒体２には、最初に手書き入力を行った媒体２に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。この場合、XY座標は同一で、ページコードのみを変更して印刷してもよい。
【０２５３】
＜点字・バンク＞
また、媒体２にはバンクガイド３８（幅狭の凸部）または点字３９をさらに設けてもよい。
【０２５４】
図４２は、書き込み領域の外周にバンクガイド３８を設け、書き込み領域にはドットパターンとともに点字３９の突起を設けたものである。このようにバンクガイド３８を設けることにより視覚障害を持つユーザが手書き入出力を使用するときも書き込み領域の位置がわかり、点字３９とドットパターンを同じ領域に設けておくことにより、視覚障害を持つユーザが手書き入出力を使用するときにも健常者と同様の入力効率を保つことができる。
【０２５５】
＜ドットパターン解析部＞
ドットパターン解析部８は、前述のＧＲＩＤ１におけるドットパターンを用いた情報の入出力方法に従い、画像データをコード解析することにより、ドットパターンが定義するＸＹ座標情報およびコード情報を求める。
【０２５６】
本発明にかかる手書き入出力システム１においては、ユーザが撮像部７により媒体上に書き込んだ（トレースした）軌跡をドットパターン解析部８が順次コード解析するため、ＸＹ座標情報およびコード情報はこの軌跡を表すものである（軌跡情報）。
【０２５７】
＜軌跡認識部＞
軌跡認識部９は、軌跡情報の変化に基づき、媒体上に書き込まれた文字、図形を認識する。
【０２５８】
軌跡認識の方法は、一般的なＯＣＲ（光学的文字読取装置）のように、文字、図形をグラフィックとして考え、データベース内の文字、図形のＸＹ座標のパターンを参照することにより行う方法である。
【０２５９】
ここで、本発明においては特に、コード情報によって書き込み領域に書き込む内容を予め指示しておくことができる。すなわち、予め分類された文字および／または図形情報パターンテーブルを参照することで、軌跡情報を高精度で認識することが可能である。具体例としては、予めアラビア数字のみを記載することを指示しておけば、軌跡認識部９はアラビア数字のテーブルのみを参照するため認識率は高まる。認識ができない場合は、通常通りデータベース内の全ての文字、図形を参照すればよい。
【０２６０】
さらに、上記の軌跡認識を行った上で、書き込み領域に書き込まれた文字および／または図形、もしくは１または複数の文字からなる語句の、意味情報を、コード情報に対応する予め定義された意味情報コードテーブル（辞書）を参照することで、意味情報コードに変換することもできる。すなわち、軌跡認識部９はたとえば「東京都文京区」という書き込みがされた場合、「東」「京」「都」文」「京」「区」と、まず一文字ずつパターン認識を行うが、さらに、意味情報コードテーブル（辞書）を参照して、「東京都」に予め対応するものとして定義された意味情報コードと、「文京区」に予め対応するものとして定義された意味情報コードに変換することにより、情報処理部は「東京都」「文京区」という地名が入力されたものと認識することができる。
【０２６１】
また、意味情報コードテーブル（辞書）を参照することは、文字のパターン認識を補助することにもなる。たとえば「東京」の「東」の文字をユーザが汚く書いたために、ユーザが「東」と書いたのか「車」と書いたのか軌跡認識部９が認識することが困難である場合、意味情報コードテーブルにおいて「東京」という熟語が定義されており、「車京」という熟語が定義されていなければ（「車京」という熟語は通常存在しない）、ユーザは「東」という文字を書いたものとして軌跡認識部９は認識をすることができる。
【０２６２】
＜計時部＞
本発明にかかる手書き入出力システム１は計時部１５をさらに備えてもよい。計時部１５は時間情報を検出する機能を持つ。
【０２６３】
ここで、時間情報は、
（１）撮像部７が書き込み領域面に触れて描かれた筆歴の順番とする。
【０２６４】
（２）撮像部７が書き込み領域面に触れて、離れるまでの時間の集合とし、書き始めてから、撮像部７が離れている時間を無視する。つまり、撮像部７が離れている時間を省き、（１）の始まりと、終わりの時間から、手書き入力時間とその順番を記述する。これにより、文字を書く時間が分かり、文字認識の精度向上と、対象者の文字入力速度がわかる。
【０２６５】
（３）撮像部７が書き込み領域面に触れる、離れるの、全ての時間を記録することにより、アンケートや、商品の選択などに、どれくらい時間を要したかがわかり、通常時との比較を行うことにより、難易性や思考状態、書き手の性格、年齢、性別などを把握できる。
【０２６６】
（４）また、ペンの移動速度を把握することにより、文字のハネや書きづらさを解析でき、さらに書き手の心理状態や健康状態を推測することもできる。
【０２６７】
＜角度測定部・角度変化認識部＞
本発明にかかる手書き入出力システム１は角度測定部１６・角度変化認識部１７をさらに備えてもよい。角度測定部１６・角度変化認識部１７は撮像部７の媒体面に対する傾きを測定・認識する。
【０２６８】
角度測定・角度変化認識の方法は、既に述べたペンの傾きαの算出方法をそのまま用いることができる。この場合、撮像部７がペンを備えなくとも傾きを測定・認識することは可能である。また、図４３〜４７に示すように、特願２００５−２６７５６５号（ＰＣＴ／ＳＧ２００６／０００２６７）にかかる情報出力装置の発明において開示されている傾きの算出方法を用いることができる。ただし、これら以外の方法を用いてもよい。
【０２６９】
なお、傾きの測定・認識の基準となる撮像部７の媒体面に対する角度変化の認識は、撮像部７を媒体面に対して鉛直状に立てたときの角度のみならず、撮像部７が媒体面に触れた際の角度を基準とすることができるものとする。
【０２７０】
＜回転角読み取り部・回転角変化認識部＞
本発明にかかる手書き入出力システム１は回転角読み取り部１８・回転角変化認識部１９をさらに備えてもよい。回転角読み取り部１８・回転角変化認識部１９は撮像部７の撮像光軸を概ね鉛直状に立て、回転させたときの回転角を読み取り・認識する。
【０２７１】
なお、ドットパターンの向きと撮像部７の向きの為す角度を求める方法はオフセット補正の項で既に説明しているが、この方法はペンの有無にかかわらず、回転角の読み取り・認識方法に利用できる。すなわち、ドットパターンの向きは常に一定であるため、撮像部７を媒体面に対して鉛直上に立てて最初に撮像したときのドットパターンの向きと撮像部７の向きの為す角度θ１と所定の時間経過後のドットパターンの向きと撮像部７の向きの為す角度θ２（左回転を正の方向とする）との差を回転角として読み取り・認識することができる。
【０２７２】
＜タッチ動作と跳ねる動作の判別方法＞
本発明にかかる手書き入出力システム１において、撮像部７を書き込み領域にタッチする動作（タッチ動作）と、書き込み領域に触れた状態から跳ねる動作（跳ねる動作）の判別方法を図４８に説明する。
【０２７３】
同図（ａ）に示すように、撮像部７を書き込み領域にタッチする場合、撮像部７が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる。そして、撮像部７を書き込み領域から離すとＬＥＤ３４からの照射光が媒体面に反射しなくなるためＣ−ＭＯＳセンサ３５はＬＥＤ３４からの照射光（媒体面からの反射光）を検知せず、同図（ｃ）に示すように、ドットパターンを撮像することができない。
【０２７４】
同図（ｂ）に示すように、撮像部７を書き込み領域に触れた状態から跳ねる場合、撮像部７が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる、つまりここまでは書き込み領域にタッチする動作と同様である。そして、撮像部７を書き込み領域に触れた状態から跳ねると、撮像部７の先端は依然として所定時間書き込み領域へ向いていることにより、ＬＥＤ３４からの照射光は媒体面に反射するため、Ｃ−ＭＯＳセンサ３５は媒体面上のドットパターンを一応撮像するが、撮像部７の移動速度が速いことから、同図（ｄ）に示すように、ドットパターンがぼやけて解析することはできない。
【０２７５】
すなわち、撮像部７が書き込み領域をタッチしてドットパターンを撮像し、解析した瞬間を基準時として、所定時間経過後（例：０．２秒後）に撮像した画像データを解析して、ドットパターンを撮像しない（反射光を検知しない）ときは、撮像部７はタッチ動作をしたものとして、処理命令部１０は情報処理部１１に対して、タッチ動作と対応するものとして予め定義づけられた処理命令を送信する。ドットパターンを撮像するが（反射光を検知するが）、ドットパターンがぼやけて解析することができないときは、撮像部７は跳ねる動作をしたものとして、処理命令部１０は情報処理部１１に対して、跳ねる動作と対応するものとして予め定義づけられた処理命令を送信する。なお、同図（ｅ）に示すように、ドットパターンを解析することができるときは、通常の手書き入力動作に他ならない。
【０２７６】
＜処理命令部＞
処理命令部１０は、軌跡認識部９が認識した情報に基づく処理命令を、軌跡情報とともに情報処理部１１に対して送信する。
【０２７７】
既に説明した、媒体面に印刷したドットパターンが定義する、ページコードに基づく頁を特定する命令、特定コードに基づくある書き込み領域を特定する命令、アクションコードに基づく種々の命令は、処理命令部１０が実際に情報処理部１１に対して行う。
【０２７８】
また、処理命令部１０は、詳細は後述するが、手書き入出力用アプリケーションにおける各種のオペレーションの実行を情報処理部１１に対して命令する。
【０２７９】
さらに、角度測定部１６・角度変化認識部１７による測定・認識結果、および回転角読み取り部１８・回転角変化認識部１９による読み取り・認識結果に基づく予め定められた処理命令を情報処理部１１に対して命令する。
【０２８０】
＜情報処理部＞
情報処理部１１は、本発明にかかる手書き入出力システム１が行う処理命令を受けて、各種の処理を実行する。
【０２８１】
＜サーバ＞
本発明にかかる手書き入出力システム１は、必要に応じて各種の情報を記録したサーバ５にアクセスしてもよい。
【０２８２】
＜軌跡認識用サーバ＞
サーバ５には、たとえば軌跡認識用の情報を記憶することができる。一般的なＯＣＲ（光学的文字読取装置）で採用されているように複数の文字および図形にＸＹ座標パターンが定義づけられて記憶されている。
【０２８３】
また、文字および図形には、これらを分類するための分類コードが定義づけられて記憶されている。
【０２８４】
さらに、文字および図形には、意味情報コードテーブル（辞書）を参照することにより、１または複数の文字からなる語句または図形、もしくはこれらの組み合わせを出力するための意味情報コードが定義づけられて記憶されている。
【０２８５】
本発明にかかる手書き入出力システム１においては、ＸＹ座標情報のみならずコード情報を用いて書き込み領域を特定することができるため、書き込み領域の量（数）が膨大であっても、容易に管理することができる。特に、誰もが利用できる共有のグローバルサーバに書き込み情報を記憶する場合に極めて有効である。
【０２８６】
＜その他のサーバ＞
サーバ５には軌跡認識用の情報以外にも、音声、文書、画像、動画、アプリケーション、その他の様々な情報を記憶することができることは説明するまでもない。たとえば手書き入出力用アプリケーションを記憶することができる。すなわち、情報処理部１１が手書き入出力用アプリケーションを持たないとき、サーバ内を検索して、サーバ上の手書き入出力用アプリケーションを実行することができる。ただし、サーバ上の手書き入出力用アプリケーションを優先して実行してもよい。
【０２８７】
なお、サーバ５に代えて、他の情報処理部１１の手書き入出力用アプリケーションを実行してもよい。
【０２８８】
当然ながら、サーバ５は上記の実施例以外にも形態を種々変更して実施することができるものとする。
【０２８９】
＜手書き入出力用アプリケーション＞
以下に、本発明にかかる手書き入出力システム１において実行される、手書き入出力用アプリケーションについて説明する。
【０２９０】
かかるアプリケーションは各種のオペレーションを実行することにより媒体面への書き込みをコンピュータ上でも反映させるシステムである。
【０２９１】
媒体面への書き込みは処理命令部１０が情報処理部１１に対してリアルタイムに命令することにより、処理結果が表示されるディスプレイ６を見ながら行ってもよいし、ディスプレイ６を見ずに書き込みを行い、書き込み後に処理命令部１０が情報処理部１１に対して命令してもよいものとする。
【０２９２】
＜書き込み操作＞
以下、本発明にかかる手書き入出力システム１における、書き込み操作について説明する。
【０２９３】
書き込み操作は、入力しようとする文字または図形を、撮像部７を用いて媒体面の書き込み領域に書き込むことにより行う。
【０２９４】
撮像部７は、撮像部７が媒体面を移動している間、所定の時間間隔において書き込み領域に重畳的に印刷されたドットパターンを撮像する。後の手順は既に説明したとおりである。
【０２９５】
以下、手書き入出力システム１が実行する各オペレーションについて説明する。
【０２９６】
＜文字および図形の認識方法＞
図４９は本文の文字を手書き入力する第一のオペレーションを説明するイメージ図である。
【０２９７】
同図（ａ）のように、撮像部７を用いて書き込み領域に文字を書くと、
同図（ｂ）のように、撮像部７は軌跡上のドットパターンを順次撮像して、ドットパターン解析部８はＸＹ座標情報とコード情報からなる軌跡情報を取得する。
【０２９８】
なお、説明の便宜のため同図（ｂ）においては軌跡上のドットパターンの撮像位置の間隔は広くとってあるが、実際にはもっと狭い。
【０２９９】
同図（ｃ）のように、軌跡情報に基づいて認識を行った結果に基づいて、情報処理部１１は第一のオペレーションを実行し、ディスプレイ６に結果を出力する。
【０３００】
同図（ｄ）のように、図形を認識する場合も、文字を認識する場合と何ら認識方法に変化はなく、同図（ｅ）のように認識結果がディスプレイ６上には表示される。
【０３０１】
ただし、文字および図形の認識を行わず、ドットパターン解析部８が求めたＸＹ座標情報をそのまま入出力してもよい。この場合、本発明にかかる手書き入出力システム１はペンタブレットとして機能する。
【０３０２】
＜第二のオペレーション＞
図５０に示すように、第二のオペレーションはコメントの文字を手書き入力するオペレーションである。なお、同図では説明の便宜を図るためにコメント部分を破線により囲んでいるが、実際に破線を書き込む必要はない。
【０３０３】
文字または図形の認識方法は第一のオペレーションの方法と同一である。
【０３０４】
第二のオペレーションにおいて入力されたコメントの文字は、情報処理部１１においても本文とは別のコメントとして認識される。
【０３０５】
コメントは図５１のように、行間に記入したものが情報処理部１１においてそのまま反映されてもよいが、図５２のように、本文中のコメントを挿入したい部分を下線により指定することによって、情報処理部１１において本文の脇にコメントが列挙されるようにしてもよい。
【０３０６】
＜第三のオペレーション＞
第三のオペレーションは手書き入力した文字を編集するオペレーションである。
【０３０７】
各編集は、情報処理部１１において編集記号としてあらかじめ定義される文字または図形を、撮像部７を用いて書き込むことにより行う。
【０３０８】
文字または図形の認識方法は第一のオペレーションの方法と同一である。
【０３０９】
図５３は本発明の第三のオペレーションである編集操作において用いる編集記号を説明する図である。
【０３１０】
１つの閉じた領域を形成する線は領域内の文字または図形を選択する編集記号を意味する。
【０３１１】
領域を閉じない括弧状の二組の線は二組の線の間の文字または図形を選択する編集記号を意味する。
【０３１２】
レ点はカット＆ペースト時にカットの対象を指定する編集記号を意味する。
【０３１３】
二重線は削除（消去）の編集記号を意味する。
【０３１４】
「トル」は削除（消去）の編集記号を意味する。
【０３１５】
「イキ」は編集記号「トル」の取り消しの編集記号を意味する。
【０３１６】
三往復以上のジグザグ線は編集の取り消しの編集記号を意味する。
【０３１７】
双方向の矢印は選択した文字または図形同士を入れ替える編集記号を意味する。
【０３１８】
一方向のみの矢印はペースト先を直接指定する編集記号を意味する。
【０３１９】
文字（Ａ）、（Ｂ）、（Ｃ）．．．は選択した文字または図形をフラグ付けした状態でコピー（カット）し、離れた位置にあるペースト先を指定する編集記号を意味する。
【０３２０】
ただし、上記以外の編集記号を定義してもよいことはいうまでもない。
【０３２１】
図５４は第三のオペレーションを実行する前の媒体２を示す図である。媒体２には第一のオペレーションを実行して手書き入力された文書または手書き入力した結果、印刷された文書が記入されている。
【０３２２】
図５５は第三のオペレーションにおける媒体２上での編集状態を説明する図である。
【０３２３】
同図（ａ）のように、領域を閉じる線を書き込むときには、手書き入出力用アプリケーションにおいては線により閉じた領域内を一個の編集対象として認識する。
【０３２４】
同図（ｂ）のように、領域を閉じない括弧状の線を書き込むときには、後の領域において同図（ｃ）のように、対応する括弧閉じ状の線を描くことにより間の領域を一個の編集対象として手書き入出力用アプリケーションにおいては認識する。特に、編集対象が数行にまたがる場合に用いる。
【０３２５】
同図（ｄ）のように、編集対象を選択した状態において編集対象を示す線上に「トル」を描くときには、手書き入出力用アプリケーションにおいては編集対象の文字を削除する。
【０３２６】
同図（ｅ）のように、編集対象を選択した状態において編集対象から所定の位置までを指定する矢印を描くときには、手書き入出力用アプリケーションにおいては編集対象を指定した領域にカット＆ペーストまたはコピー＆ペーストする。ここで、ペースト先は文字と文字の間（もしくは行頭または行末）に挿入するだけでなく、同図（ｆ）のように、ペースト先を編集対象とすることで元の文字を削除して上書きすることも可能である。
【０３２７】
この場合、同図（ｇ）のように、コピー元の編集対象を示す線上に削除の編集記号であるレ点を描き加えたときにはカット＆ペーストとして手書き入出力用アプリケーションにおいては処理され、カットしたもとの対象は削除される。同図（ｈ）のように、レ点を描き加えないときにはコピー＆ペーストとして手書き入出力用アプリケーションにおいては処理される。
【０３２８】
同図（ｉ）のように、編集対象に（Ａ）、（Ｂ）といったフラグとなる編集記号を描き加えると、編集対象は（Ａ）、（Ｂ）というフラグを付けた状態でコピーされ、以後は任意に何度でもペーストが可能でなる。さらに、同図（ｊ）のように、ページが異なるなど、離れた位置にもペーストすることが可能である。
【０３２９】
同図（ｋ）のように、文字の上に二重線を引くと、手書き入出力用アプリケーションにおいては二重線を引いた文字を削除する。
【０３３０】
同図（ｌ）のように、２つの編集対象を双方向の矢印の編集記号で結ぶと、手書き入出力用アプリケーションにおいては編集対象同士を入れ替える。
【０３３１】
図５６は第三のオペレーションにおける各編集を媒体２上で行った結果を手書き入出力用アプリケーションにおいてにおいて反映させた文章を示す図である。
【０３３２】
図５７は、図６０に示す第三のオペレーションの編集を行った後に、編集を取り消して編集前の状態に戻す操作を説明する図である。
【０３３３】
同図（ａ）のように、一度編集記号であるレ点を付して削除した領域に打ち消しの編集記号であるジグザグ線を加えると、手書き入出力用アプリケーションにおいては一度削除した領域について、削除を取り消して領域が元に戻る。
【０３３４】
同図（ｂ）のように、一度編集記号である（Ａ）マークを付してコピー＆ペーストを行ったところの、ペースト先を指定する編集記号である矢印部分にジグザグ線を加えると、手書き入出力用アプリケーションにおいてはコピー＆ペーストをして文字を挿入する前の状態に戻される。
【０３３５】
図５８は、第三のオペレーションにおける編集の取り消しを媒体２上で行った結果を手書き入出力用アプリケーションにおいて反映させた文章を示す図である。
【０３３６】
＜各オペレーションの階層関係＞
以下に、各オペレーションの階層関係について説明する。
【０３３７】
各オペレーションは、第三のオペレーションを第一および第二のオペレーションと並列するオペレーションとしてもよい。
【０３３８】
この場合、第三のオペレーション時においては本文の文字およびコメントの文字を同時に編集する。
【０３３９】
一方、第三のオペレーションは第一のオペレーションおよび第二のオペレーションにそれぞれ従属するサブオペレーションとしてもよい。
【０３４０】
この場合、第一のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においては本文の文字のみを編集し、第二のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においてはコメントの文字のみを編集する。
【０３４１】
当然ながら、本発明にかかる手書き入出力システム１は上記第一から第三のオペレーション以外にも、必要に応じて種々のオペレーションを実行できるものとして変更実施することができる。
【０３４２】
＜コンピュータへの保存＞
図５９に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、右回転させることにより、処理命令部１０は入力した文字および文書構成の結果（ファイル内容の変更結果）を保存することを情報処理部１１に命令する。撮像部７本体が、編集履歴を記録できる機能を有している場合は、上記文書構成の結果を情報処理部１１に送信する。
【０３４３】
図６０に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、左回転させることにより、処理命令部１０は入力した文字および文書構成の結果を破棄する（ファイル内容の変更をキャンセルする）ことを情報処理部１１に命令する。
【０３４４】
撮像部７の回転の認識には、先述の回転角読み取り・回転角変化認識の方法を利用する。
【０３４５】
＜アプリケーションの起動・終了＞
図６１に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、右回転させ、そのまま所定の時間内（例：１秒以内）に所定回転角度（例：１０度以上）左回転させることにより、処理命令部１０は情報処理部１１に対して手書き入出力用アプリケーションを起動することを命令する。
【０３４６】
図６２に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、左回転させ、そのまま所定の時間内（例：１秒以内）に所定回転角度（例：１０度以上）右回転させることにより、処理命令部１０は情報処理部１１に対して手書き入出力用アプリケーションを終了することを命令する。
【０３４７】
＜オペレーションの切り替え動作−方法１＞
以下に、図６３を用いて、オペレーションの切り替えをする第一の方法を説明する。
【０３４８】
この方法では、先述の角度測定・角度変化認識の方法を利用する。
【０３４９】
同図（ａ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の左側に倒すことにより、処理命令部１０は本文を手書き入力する第一のオペレーションを開始することを情報処理部１１に命令する。
【０３５０】
同図（ｂ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の右側に倒すことにより、処理命令部１０はコメントを手書き入力する第二のオペレーションを開始することを情報処理部１１に命令する。
【０３５１】
同図（ｃ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の上側に倒すことにより、処理命令部１０は本文およびコメントを編集する第三のオペレーションを開始することを情報処理部１１に命令する。
【０３５２】
同図（ｄ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の下側に倒すことにより、処理命令部１０は現在実行しているオペレーションを終了して、予め設定する通常時（起動時）のオペレーションを開始することを情報処理部１１に命令する。
【０３５３】
なお、図６４はオペレーションの切り替えをする第一の方法の説明を補足する、真上から見た平面図である。
【０３５４】
＜オペレーションの切り替え動作−方法２＞
以下に、オペレーションの切り替えをする第二の方法を説明する。
【０３５５】
オペレーションの切り替えは撮像部７本体に設けたボタンなどの入力手段によって行うものとしてもよい。
【０３５６】
また、撮像部７以外にもマウス、キーボード等の外部入力手段によりオペレーションの切り替えを行うものとしてもよい。
【０３５７】
＜オペレーションの切り替え動作−方法３＞
以下に、オペレーションの切り替えをする第三の方法を説明する。
【０３５８】
内部に複数のペン先を格納して切り替えることができる実施態様の撮像部７においては、ペン先の切り替え動作と連動してオペレーションを切り替えるものとしてもよい。
【０３５９】
この場合、オペレーション毎に色分けが可能となるため媒体上においても各オペレーションの見分けがつきやすくなる。
【０３６０】
また、ペン先に代えて消しゴムまたは修正液を装着する場合は、情報処理部１１においても書き込みではなく、文字または図形を消去するようにしてもよい。
【０３６１】
＜決定・取り消し＞
情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、図６５（ａ）に示すように、撮像部７を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内（例：１秒以内）にもう一度媒体面をタッチしたとき、処理命令部１０は情報処理部１１に対して処理の実行を決定することを命令する。
【０３６２】
同図（ｂ）に示すように、撮像部７を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内（例：１秒以内）にタッチがされないとき、処理命令部１０は情報処理部１１に対して処理の実行を中止することを命令する。
【０３６３】
＜他の使用方法＞
以上の構成は媒体２に書き込み履歴を残すことを前提とするものであるが、本発明にかかる手書き入出力システム１は媒体２に書き込み履歴を残すことなく、ディスプレイ６を見ながら手書き入力を行ってもよいことは先にも述べたとおりである。
【０３６４】
＜音声認識＞
本発明は手書き入出力システムであるが、手書き入力を補助する方法として音声認識および音声ガイドをすることができるものとしてもよい。
【０３６５】
＜音声収録部＞
音声収録部２０は、図６６に示すように、中央処理装置（ＭＰＵ）４０を中心に構成されている。すなわち、中央処理装置（ＭＰＵ）４０の制御によって、マイク４１から入力された音声情報は、アンプ４２を介してＡ／Ｄコンバータ４３、圧縮回路４４によって処理され、デジタル音声情報として、記録される。
【０３６６】
＜音声認識部＞
音声認識部２１は、録音した音声情報を対応するテキスト情報に変換し、処理命令部１０は情報処理部１１に対して、テキスト情報に基づく処理命令をテキスト情報と共に送信する。
【０３６７】
ここで、音声認識に前後して、分類コードを定義したドットパターンを撮像しておくことにより、音声認識の精度を高めることが可能である。すなわち、データベースを検索してテキスト情報を出力する際に全てのテキスト情報を参照することなく、分類コードに対応した音声認識情報テーブル内のテキスト情報を参照することにより、音声認識の精度が高まる。
【０３６８】
たとえば、「上野」と発声した場合、それが地名の上野なのか人名の上野なのかを把握することは難しいが、「住所」を意味する分類コードが撮像された後に「上野」という発声が音声情報として入力された場合、住所入力のカテゴリコードとともに「上野」の音声情報が情報処理部１１に送信される。
【０３６９】
＜音声収録モードへの切り替え＞
本発明に係る手書き入出力システム１が、手書き入力に代えて音声収録を行う場合、所定の操作を行なうことにより音声収録モードへの切り替えを行う必要がある。以下に、音声収録モードへの切り替え方法を説明する。
【０３７０】
＜特定の記号をなぞる＞
音声収録モードへ切り替える第一の方法としては、撮像部７が音声収録モードへの切り替えを意味する特定の記号を書き込む（なぞる、描く）ことにより、音声収録モードへ切り替える方法がある。軌跡認識部９が音声収録モードへの切り替えを意味する特定の記号の軌跡を認識して、音声収録部２０に送信することにより（または処理命令部１０を介して送信することにより）、音声収録部２０は音声収録を開始する。
【０３７１】
＜ペンを跳ねる＞
音声収録モードへ切り替える第二の方法としては、図６７に示すように、撮像部７を媒体面の書き込み領域に触れた状態で跳ねる動作をすることにより、音声収録モードへ切り替える方法がある。
【０３７２】
＜音声認識による切り替え＞
音声収録モードへ切り替える第三の方法としては、音声収録部２０に所定の音声を収録し、音声認識部２１が所定の音声を認識することにより、音声収録モードへ切り替える方法がある。
【０３７３】
処理命令部１０は、上記各種の方法による操作が行われた場合、情報処理部１１に対して、手書き入出力用アプリケーションにおいて手書き入力に代えて、音声入力を行うことを命令する。
【０３７４】
＜音声出力部＞
音声出力部２２は処理命令部１０からの指示に応じて所定の音声ファイルを再生する。音声ファイルは予めデジタル化されて記憶されているものがＡ／Ｄコンバータ４２、アンプ４２を介してスピーカ４５またはイヤホン４６より出力される。
【０３７５】
＜音声ガイド＞
本発明にかかる手書き入出力システム１においては、コード情報を利用することにより、手書き入力を行うユーザに対して音声ガイドを行ってもよい。
【０３７６】
すなわち、書き込み領域に印刷されたドットパターンに、情報処理部１１に対して音声の再生を命令する音声ガイドコードが定義づけられていることにより、手書き入力を開始する（撮像部７がドットパターンを撮像する）と、音声ガイドコードに予め対応付けられて記憶された音声ファイルが音声出力部２２により再生される。
【０３７７】
ただし、音声ガイドコードおよび対応する音声ファイルは、音声ガイド以外に用いても当然よいものとする。
【０３７８】
＜グリッドシート＞
図６８〜図７２は、本発明にかかる手書き入出力システム１において、情報入力補助シートであるグリッドシートをディスプレイに装着して用いる実施例について示した説明図である。このグリッドシートは、透明なシート上にドットパターンが形成されたものであって、モニタ面上に重ねて貼り付けることでタッチパネルとしての機能を発揮するものである。
【０３７９】
特願２００７−２３０７７６号（ＰＣＴ／ＪＰ２００８／００２１８８）に開示されているグリッドシートを媒体２として用いることにより、媒体をディスプレイ６のモニタ面上に貼り付けてタッチパネルとすることができる。ただし、グリッドシート以外の手段を採用してもよい。
【０３８０】
また、グリッドシートを媒体２として用いる他に、グリッドシートを媒体２に重ねて用いてもよい。このような使用法は、第一に手書き入出力用ではない媒体に印刷（記載）された文書または画像を、本発明にかかる手書き入出力システム１を用いて編集したい場合、第二に撮像部７をモニタ面上に押し当てることにユーザが抵抗を感じる場合において、特に有効である。
【０３８１】
図６８〜図６９は、グリッドシートをディスプレイ６に装着して用いる実施例について示した説明図である。
【０３８２】
図６８は、情報処理装置である汎用的なコンピュータシステムに、グリッドシートを用いた図である。本実施例では、パソコン等の液晶ディスプレイ（ＬＣＤ）やＣＲＴ（ブラウン管）などのディスプレイ画面上に、グリッドシートを貼付する。グリッドシートは、透明フィルムで形成されており、ドットパターンが印刷されている。このドットパターンは、詳細は後述するが、ＸＹ座標値および／またはコード値を所定のアルゴリズムでパターン化したものである。コンピュータ本体には、ドットパターン読取手段であるスキャナが接続されている。ユーザは、透視した画面の指示に従って、スキャナでグリッドシートをタッチする。スキャナは、ドットパターンを読み込み、ＵＳＢケーブルを介してパーソナルコンピュータに送信し、パーソナルコンピュータの中央処理装置（ＣＰＵ）は、ドットパターンを解析しグリッドシート上のＸＹ座標値を求め、更にディスプレイ上のｘｙ座標値に変換し、座標値の情報からタッチパネル形式の入力が可能となる。
【０３８３】
これによれば、本シートによってタッチパネル形式の入力が可能となり、安価で利便性に優れたタッチパネルを提供することが可能となる。また、インターネットのサイトを閲覧しているときに、リンク情報が設定されていない情報であっても、関連情報を検索して参照することも可能となる。
【０３８４】
なお、図６８では情報処理装置としてパーソナルコンピュータを用いたが、本発明はこれに限らず、情報処理装置は、パーソナルコンピュータ、ＰＤＡ、テレビ受信装置、フロントおよびリアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、ＰＯＳ端末装置、ＡＴＭ、ＫＩＯＳＫ端末、カーナビ、パチンコ、時計、スマートフォン等であってもよい。これらにおいては、タッチパネル形式の入力デバイスとしてディスプレイまたはスクリーンの表示画面上にグリッドシートが配置される。
【０３８５】
図６９は、図６８で説明したグリッドシートの内部構造について示した断面図である。
【０３８６】
同図（ａ）は、スキャナで、グリッドシートをタッチしている状態を示した縦断面図である。
【０３８７】
同図に示すように、グリッドシートは、表示装置側から、赤外線反射層、ドットパターン層、保護用透明シート（保護層）が積層された構造となっている。
【０３８８】
赤外線反射層は、ビニール、エンビペット、ポリプロピレン等、可視光線を透過する材料で生成された蒸着用透明シートに、赤外線反射材料が蒸着された構成となっている。赤外線反射層は、スキャナの赤外線照射手段から照射し保護用透明シートを透過した赤外線を、スキャナに対して反射させるとともに、可視光を透過させる。それとともに、表示装置からの赤外線を遮断する。これにより、スキャナの赤外線照射手段から照射された赤外線光のみを照射光とすることができ、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。
【０３８９】
ドットパターン層には、カーボンインク等の赤外線吸収特性材料からなるドットを後述するような所定の規則に則って配列したドットパターンが印刷されている。
【０３９０】
保護用透明シートは、ビニール、エンビペット、ポリプロピレン等、可視光線および赤外線を透過する材料で生成されている。ドットパターンを繰り返しスキャナでタッチすると、ドットが磨耗し、正確にドットパターンを読み取れなくなるという問題が生じる。そこで、保護用透明シートを設けることにより、ドットの磨耗と汚れを防ぎ、シートを長期間使用することが可能となる。
【０３９１】
スキャナには、赤外線照射手段であるＩＲ−ＬＥＤと、その反射光の所定波長成分をカットするＩＲフィルター、および撮像素子であるＣ−ＭＯＳセンサ、およびレンズが内蔵されている。スキャナは、グリッドシートに照射した照射光の反射光を撮影する。上述したように、ドットパターンは赤外線を吸収する特性を有するインクで印刷されているため、Ｃ−ＭＯＳセンサでの撮像画像では、ドットの部分のみ黒く撮影されることとなる。
【０３９２】
この場合、赤外線反射層で鏡面反射された反射層は、同図に示すように、レンズに反射光が入射されず、同図（ｂ）に示すように、中央が真っ黒な状態で撮影されてしまう。そのため、ドットパターンを漏れなく撮影することができない。したがって、赤外線を拡散反射させてレンズに入射させる必要がある。すなわち、図７０（ａ）に示すように、ドットパターン印刷層と赤外線反射層との間に、赤外線拡散層を設ける。この赤外線拡散層は、透明または半透明の材質で形成されている。これによって、同図（ｂ）に示すようにＩＲ−ＬＥＤから照射された赤外線は、赤外線反射層で鏡面反射し、赤外線拡散層で拡散し、全ての撮影領域の反射光がレンズに入射する。
【０３９３】
なお、同図においては、グリッドシートに赤外線拡散層を設けたが、本発明はこれに限らず、スキャナの撮影口に赤外線拡散材料によるフィルターを設けてもよい。
【０３９４】
図７１は、グリッドシートの種々の構造を示した断面図である。
【０３９５】
同図（ａ）は、赤外線を反射するとともに、可視光を透過する特性を有する赤外線反射層と、ドットパターン層と、からなるグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドットが形成されている部分（以下、ドット部という）で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線反射層で鏡面反射し、ドット部を除いてドットパターン層を透過する。
【０３９６】
同図（ｂ）は、赤外線反射層とドットパターン層との間には、可視光を透過するとともに前記赤外線を拡散させる赤外線拡散層が設けられているグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線拡散層で拡散した後、赤外線反射層で鏡面反射し、再び赤外線拡散層で拡散してドット部を除いてドットパターン層を透過する。
【０３９７】
同図（ｃ）は、ドットパターン層の一面側、すなわち、赤外線反射層の逆側には、可視光を透過するとともに赤外線光を拡散させる赤外線拡散層が設けられているグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まず赤外線拡散層で拡散した後、ドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線反射層で鏡面反射し、再びドット部を除いてドットパターン層を透過して赤外線拡散層で拡散する。
【０３９８】
同図（ｄ）は、一面側からの赤外線を拡散反射するとともに、可視光を透過する特性を有する赤外線拡散反射層と、ドットパターン層と、からなるグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線拡散反射層で拡散反射し、ドット部を除いてドットパターン層を透過する。
【０３９９】
同図（ｅ）は、同図（ａ）で示したグリッドシートのドットパターン層側の外面に、赤外線光および可視光を透過する特性を有する保護層が設けられているグリッドシートである。このような保護層を設けることにより、ドットの磨耗や汚れを防ぎ、シートを長期間使用することが可能となる。
【０４００】
なお、保護層は、同図（ａ）のみでなく、（ｂ）〜（ｄ）で示したグリッドシートのドットパターン層側外面に設けられていてもよい。
【０４０１】
同図（ｆ）は、同図（ａ）で示したグリッドシートにおいて、ドットパターン層と反対側からの赤外線も反射する特性を有しているグリッドシートである。このような特性を有することにより、本発明のグリッドシートを装着したディスプレイ画面やスクリーンからの赤外線を遮断し、赤外線照射手段から照射された赤外線光のみを照射光とすることができる。そのため、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。
【０４０２】
なお、同図（ａ）のみでなく、（ｂ）〜（ｅ）で示したグリッドシートにおいて、ドットパターン層と反対側（他面側）からの赤外線も反射する特性を有していてもよい。
【０４０３】
同図（ｇ）は、同図（ａ）で示したグリッドシートにおいて、赤外線反射層の反ドットパターン層側には、粘着層が設けられているグリッドシートである。粘着層は、取り外し可能な材質で生成されている。当該粘着層は、グリッドシートを表示装置や媒体に貼り付けて使用する場合にのみ必要であり、後述するように、印刷物上に載せたり、はさんだりして使用する場合には必要がない。このような粘着層を設けることにより、グリッドシートをディスプレイ等に容易に貼り付けることが可能となる。
【０４０４】
なお、粘着層は、同図（ａ）のみでなく、（ｂ）〜（ｅ）で示したグリッドシートの、赤外線反射層の反ドットパターン層側に設けられていてもよい。
【０４０５】
図７２は、グリッドシートの他の実施例を示したものである。本実施例においては、シートの両面にドットパターン層を設けたことを特徴とする。
【０４０６】
同図（ａ）は、それぞれの面への赤外線をそれぞれの方向に反射するとともに、可視光を透過する特性を有する赤外線反射層と、赤外線反射層の両面に設けられたドットパターン層と、からなるグリッドシートである。これによって、シートを両面で利用することができるため、利便性が向上する。
【０４０７】
同図（ｂ）は、赤外線反射層とそれぞれの面のドットパターン層との間には、可視光を透過するとともにそれぞれの方向からの赤外線光を拡散させる赤外線拡散層が設けられているグリッドシートである。
【０４０８】
同図（ｃ）は、赤外線反射層とそれぞれの面のドットパターン層のさらに外面に赤外線拡散層が設けられているグリッドシートである。
【０４０９】
同図（ｄ）は、赤外線拡散反射層と、赤外線拡散反射層の両面に設けられたドットパターン層と、からなるグリッドシートである。
【０４１０】
同図（ｅ）は、同図（ａ）で示したグリッドシートの外面両面に、それぞれの方向からの赤外線光および可視光を透過する特性を有する保護層が設けられている情報入力補助シートである。
【０４１１】
なお、保護層は、同図（ａ）のみでなく、（ｂ）〜（ｄ）で示したグリッドシートの外面両面に設けられていてもよい。
【０４１２】
同図（ｆ）は、同図（ａ）で示したグリッドシートにおいて、赤外線反射層のそれぞれの反ドットパターン層側、すなわち、グリッドシートの外面両面に、粘着層が設けられているグリッドシートである。
【０４１３】
なお、粘着層は、同図（ａ）のみでなく、（ｂ）〜（ｅ）で示したグリッドシートの外面両面に設けられていてもよい。
【０４１４】
同図（ａ）〜（ｆ）のグリッドシートにおける各層の説明および反射についての説明は前述したものと同様であるので、ここでは説明を省略する。
なお、同図に示したグリッドシートにおいては、赤外線反射層または赤外線拡散反射層の一面側と他面側のドットパターン層では、異なる座標値および／またはコード値がパターン化されていてもよい。
【０４１５】
また、図７１〜７２に示したグリッドシートにおいては、ドットパターン層またはその他の層に、赤外線透過材料または赤外線反射材料からなるインクでテキスト、イラスト、写真等が重畳印刷されていてもよい。
【０４１６】
＜グリッドシートに関する課題＞
前述したように、グリッドシートにおいて赤外線拡散反射層を設けないでおくと、シート表面では鏡面反射するため、撮像素子の中心周辺に赤外線反射光が入射しない領域ができてしまい、図６９（ｂ）のような黒目が中央に位置するような目玉現象が生じる。そのため、拡散反射層を設ける必要がありコスト高になってしまう。
【０４１７】
＜課題解決手段＞
そこで、拡散反射層を設けないグリッドシートの場合に、拡散反射素材（拡散反射インク）によってドットパターンの形成を行う方法を用いる。この方法よれば、拡散反射素材で形成されたドットは、図７３(a)に示すように、赤外線をあらゆる方向に拡散反射するため、このドットに入光した赤外線は必ず撮像素子に入射される。したがって、図７３(b)のように、撮影画像には、ドットパターンが黒い目玉領域内に白ドットとして検出されることになる。
【０４１８】
＜白ドットと黒ドットの判別方法について＞
通常の媒体面上に印刷された従来の黒ドットを判別することができ、かつ、拡散反射層を設けないグリッドシート状に印刷された前述の白ドットも認識することができるアルゴリズムについて説明する。
【０４１９】
（数式）(i、j)＝255−BL(i、j)
ただ、この方法では、全てのピクセルにおいて白黒反転計算を行う必要があり、余計な計算時間を要する問題がある。
【０４２０】
そこで、この方法によらず、黒ドット用の閾値を変更して目玉領域内の白ドットを解析するアルゴリズムで判別する方法を具体的に説明する。
【０４２１】
まず、黒ドット判別の解析アルゴリズムを、図７４(a)を用いて説明する。このアルゴリズムは、行単位で行うスキャンラインアルゴリズムであり、左端から始まり右方向に、所定間隔だけ離れたピクセル同士の明度の差分を求め、その差分が所定の正・負の閾値を上回るもしくは下回るかの判定をし、負の閾値を下回った場合に右側のピクセルをドットと判定し、そのピクセルからドットが始まったと判定する。また、正の閾値を上回った場合に同じく右側のピクセルがドットでないことを判定し、その手前のピクセルまででドットが終わったと判定する。ところが、絶対量の閾値でドットを判定すると、スキャナを斜めにして撮像した画像では明暗が生じ、暗部の明度の低下が顕著となり、暗部領域のドットを判定できなくなる。しかし、前述のように２点間の明度の差分を判定する閾値を用いることで暗部領域の画像でも正確にドットを判定できる。
【０４２２】
ここで、隣接するピクセル同士の明度の差分ではなく、所定間隔だけ離れたピクセル同士の差分を用いる理由は、ドットの輪郭がぼけて撮像された画像などでは輪郭周辺の明度の変化が少ないため、差分を取るピクセル間が近すぎると差分が小さく閾値を上回らない値となり、ドットを判別できなくなるためである。
【０４２３】
例えば、この所定の間隔を「4」とした場合、j行目のピクセル番号iとピクセル番号i+4同士の差分をΔBL(i、j)とすると、その求め方は下式となる。
（数式）ΔBL(i、j)＝BL(i+4、j)−BL(i、j)
用いる閾値をφ（φ＞0）とする。なお、明度を８ビット（ブライトレベル0~255）で表現している場合、明部領域ではφ＝25~50程度、暗部領域では、φ＝8~16が適切である。このように、ドット部分との、明暗の少ない暗部領域と明暗の大きな明部領域の閾値をダイナミックに変更することにより、さらにドットを正確に判定できる。
ここで、ΔBL(i、j)が閾値φに対し、ΔBL(i、j)＜−φであれば、i+4の位置のピクセルからドットが始まったと判断する。ΔBL(i、j)＞φであれば、i+3の位置のピクセルでドットが終わったと判断する。
【０４２４】
白ドットの位置の解析アルゴリズムでは、この閾値判定を逆にする。
【０４２５】
すなわち、ΔBL(i、j)が同じ閾値φに対し、ΔBL(i、j)＞φとなれば、i+4の位置のピクセルからドットが始まったと判断する。ΔBL(i、j)＜−φとなれば、i+3の位置のピクセルでドットが終わったと判断する。
【０４２６】
この方法を用いれば、全てのピクセルにおいて白黒反転させることなく、簡単に白ドットの位置の判定が可能となる。
【０４２７】
＜目玉を大きくするペンスキャナの形状＞
グリッドシートを用いて白ドットをスキャナで読み取る場合には、黒目の大きさをより大きくして、ドットパターンの検出範囲を広げなければならない。
そこで、黒目がより大きくなるようなスキャナの形状を説明する。
【０４２８】
図７５に示すように、撮影開口部の口端内周囲から発した赤外線がグリッドシート上で鏡面反射して撮像素子に入光可能な光路を想定し、この光路よりも外側にライトガイドを設け赤外線を媒体面全体に均一に照射する。これにより、ライトガイドから発した赤外線がグリッドシート上で鏡面反射し、撮影された画像の多くの領域を黒目となるようにすることができる。この際、余分な赤外線がグリッドシート上で鏡面反射して撮像素子に入射しないように図に示す位置に遮光部を設ける必要がある。なお、構造上、スキャナを傾けた場合は黒目領域が少なくなるが、撮影領域が拡大し、撮像される白ドットの数が増えるので問題なくドットコードが解析できる。
【０４２９】
＜媒体に接しているか否かの判定方法＞
スキャナで媒体面に接している間、常に媒体面上のコードを読み取っていると、例えば、ユーザが意図せずに読み取り位置を微妙にずらしてしまった場合などに、ユーザの意図とは異なるコードを読み取って、異なるコンテンツを再生してしまう。このような状態を排除したい場合は、１度目と異なるコードを読み取っても無視する設定にすればよい。ただし、手書き入力のようにスキャナで媒体面上をなぞる場合は、次々に読み取られるコード（座標値）を入力しなければならない。したがって、エラーは無視して、次に新たな座標値を読み取ったときは、常に正常入力として処理すればよい。さらに、スキャナの僅かな移動による読み取りエラーが生じた場合、１度エラーが起こると、次に読み取った同一コードを１度目に読み取ったコードとして入力されるように設定されている場合、同じコンテンツを何度でもスタートしてしまう（「ハロー、ハロー、ハロー・・・」のような再生が起こってしまう）現象が起こり、適正なオペレーションができない。
【０４３０】
そこで、スキャナが媒体面に接しているかどうかの判定を行い、スキャナが媒体面から離されない限り、次に読み取られる同一コードを無視して（異なるコードも無視してもよい）、スキャナが媒体面に接して１度目に読み取ったコードに対応するコンテンツや命令の実行を継続させる必要がある。もちろん、スキャナを媒体面から一旦離して、再度媒体面に接した場合は、継続実行中のコンテンツや命令を終了し、新たに読み取られたコード（同一コードでも、異なるコードでも）に対応するコンテンツや命令の実行を開始するのはいうまでもない。なお、媒体面に接してもコードを読み取ることができない場合は、実行は継続される。
【０４３１】
この方法を用いる場合、媒体面に配置された黒ドットのみを対象とするのであれば、単純に読取画像の中心部の明度を測定して、明るければペンが媒体面に接している、暗ければペンが媒体面に接していないと判定するだけで行える。なお、中心部の明度のみを測定する理由は、中心部はスキャナを傾けても明度の低下が少なく判定に影響がでないことと、測定領域を中心部のみとすることにより測定時間を最小限に抑えられるからである。
【０４３２】
しかし、黒ドットも読み取れ、かつ、白ドットも読み取れるスキャナにおいては、白ドットを読み取るときは、読取画像の中心部が暗くなっているため、ペンが媒体面に接していないと判定されてしまう。
【０４３３】
そこで、黒ドットも読み取れ、かつ、白ドットも読み取れるスキャナが、通常媒体面（印刷媒体面など）とグリッドシート面の何れか、もしくは何れにも接していないか、を判定する方法を、図７６を用いて説明する。
【０４３４】
まず、撮像素子により画像を取得する（Ｓ１０）。
【０４３５】
取得された画像中心部が明るいか否かを測定し（Ｓ２０）、中心部が明るければスキャナが通常媒体面に接していると判定する（Ｓ２５）。画像中心部の明るいか否かの測定は、画像中心部の明度が所定の閾値を上回るか否かで判定する。
【０４３６】
中心部が明るいと判定されなかった場合、画像に白ドットを探索する（Ｓ３０）。白ドットが検出された場合はグリッドシートに接していると判定する（Ｓ３５）。
【０４３７】
白ドットがあると判定されなかった場合は、スキャナが媒体面にタッチしていないと判定する（Ｓ４０）。
【０４３８】
Ｓ２５，Ｓ３５，Ｓ４０の判定後、解析が終了する。
【０４３９】
このＳ３０における、暗部領域から白ドットを探索するには、図７７に示すように、撮影画像の中心のピクセルから、渦巻き状に周辺のピクセルが白ドットであるかを所定領域内（必ず所定量のドットが存在する最小領域）で判定する。
【０４４０】
上記において、Ｓ２５で通常媒体面に接していると判定されたときは、黒ドットの解析（従来アルゴリズム）を開始する。Ｓ３５でグリッドシートに接していると判定されたときは、白ドットの解析（新アルゴリズム）を開始する。
【産業上の利用可能性】
【０４４１】
本発明にかかる手書き入出力システムは、第一に、コンピュータの操作に用いるマウス、キーボード、タブレットといった既存の入力用デバイスの使用テクニックを習得していない者が、紙媒体に書き込むのと同様の感覚で使用することのできる、入力用デバイスとしての産業上の利用可能性を有する。
【０４４２】
本発明にかかる手書き入出力システムは、第二に、主に子供を対象とした、おもちゃ、特に知育用おもちゃとしての産業上の利用可能性を有する。
【符号の説明】
【０４４３】
１ 手書き入出力システム
２ 媒体
３ スキャナ
４ コンピュータ
５ サーバ
６ ディスプレイ
７ 撮像部
８ ドットパターン解析部
９ 軌跡認識部
１０ 処理命令部
１１ 情報処理部
１２ 撮像素子
１３ 照射部
１４ 光制御部
１５ 計時部
１６ 角度測定部
１７ 角度変化認識部
１８ 回転角読み取り部
１９ 回転角変化認識部
２０ 音声収録部
２１ 音声認識部
２２ 音声出力部
２３ 送信部
２４ 送信ボタン
２５ 再送信ボタン
２６ マイク
２７ 音声再生ボタン
２８ 指示用突起部
２９ ペン
３０ ペン格納ボタン
３１ ペン型スキャナ
３２ ライトガイド
３３ レンズ
３４ ＬＥＤ
３５ Ｃ−ＭＯＳセンサ
３６ ＰＣＢ
３７ ペン
３８ バンクガイド
３９ 点字
４０ 中央処理装置（ＭＰＵ）
４１ マイク
４２ アンプ
４３ Ａ／Ｄコンバータ
４４ 圧縮回路
４５ スピーカ
４６ イヤホン
【技術分野】
【０００１】
本発明は、文字、図形等の手書き情報をコンピュータシステムに入力するための手書き入出力システム、手書き入力シートに関する。
【０００２】
本発明は、コンピュータシステムへの入力を補助するための情報入力システム、情報入力補助シートに関する。
【背景技術】
【０００３】
コンピュータは、生活のあらゆる場面で使用されるようになってきている。文書を作成したり計算を行ったりというような従来の用途に加え、絵を描いたり、建築や機械の製図を行う等、コンピュータの機能および用途は飛躍的に増加している。
【０００４】
従来、これらの行為を行うにあたり、キーボード、マウス、タブレットおよびＣＡＤシステム等を用いて文字の入力や製図等の操作をすることが必要とされている。
【０００５】
しかし、キーボードで文字を入力したり、タブレットやＣＡＤシステムで製図を行ったりするには、煩雑な操作が多く、習得するまでに時間を要する。特に、高齢者等、機器を操作するのに支障のある者にとっては操作が困難であるという問題があった。さらに、キーボードやマウス等の操作が可能でコンピュータを使いこなせる者と、それらの操作ができずにコンピュータを使いこなせない者との間で、情報や機会の格差が生じる「デジタルディバイド」も問題となってきている。
【０００６】
このような問題を解決するものとして、手書き情報をコンピュータに入力するシステムが提案されている。このようなシステムは、ベースと描画装置から構成されており、描画装置がベースに対して移動されると、グラフィカル情報（手書き情報）が発生する。ベースには、微細なドットである位置符号化パターンを備えており、この位置符号化パターンには、ベース上の位置情報が登録されている。描画装置を用いてベース上で描画すると、描画装置が位置符号化パターンを読み取る。コンピュータシステムは、描画装置からの、ベース上の位置情報をグラフィカル入力として記録する。これにより、描画した内容をコンピュータシステムに入力し、ディスプレイに出力したり、メモリに保存したりすることが可能となる（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００３−５２８３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１のシステムに用いる位置符号化パターンは、位置情報しか登録されていない。そのため、コンピュータシステムは、描画装置で描かれたグラフィカル情報しか入力することができず、たとえば、冊子のページ番号等、グラフィカル情報と関連した種々の情報も入力・記録するためには、描画のための領域と異なる領域を別途設けなければならない。そのため、手書き入出力システムが煩雑となり、ユーザにとっても、複数の領域での操作が必要になるという問題を有している。また、描画装置で描かれたグラフィカル情報に対応する位置情報全てに対して、グラフィカル情報と関連した種々の情報を入力・記録するための参照テーブルを備えなければならない。特に、描画領域が矩形ではなく、多角形や曲線で囲まれた領域である場合、その領域内の全ての位置情報に対する参照テーブルが必要となる。
【０００９】
本発明はこのような問題に鑑みてなされたものであり、文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供することを技術的課題とする。また、文字や図形の情報のみでなく、それらに関連した情報も一括して入力することが可能な手書き入出力システムを提供することを技術的課題とする。
【課題を解決するための手段】
【００１０】
＜手書き入出力システム＞
本発明にかかる手書き入出力システムは、少なくとも一部、または複数の領域に座標情報および、コード情報が繰り返し定義されたドットパターンが形成された書き込み領域を備えた媒体と、該書き込み領域の該ドットパターンを撮像して、送信する撮像手段と、該撮像手段により撮像・送信された該ドットパターンの画像データを記憶して、該画像データをコード解析することにより、該座標情報および該コード情報からなる軌跡情報を求めるドットパターン解析手段と、解析された該座標情報の変化に基づき、該書き込み領域面においてトレースされた、文字および／または図形の該軌跡情報を認識する軌跡認識手段と、認識された認識情報に基づいた処理命令と該軌跡情報を情報処理手段に対し送信する処理命令手段とを備えたことを特徴とする。
【００１１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、媒体に形成されたドットパターンが座標情報のみならずコード情報を定義することにより、処理命令手段が情報処理部に対して軌跡情報と軌跡情報に基づいた処理命令を一括して送信することができる。
【００１２】
前記媒体は、少なくとも一部、または複数の領域に、前記書き込み領域に関連するテキスト、グラフィック、写真がさらに形成されていることが好ましい。
【００１３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、ユーザが書き込み領域の位置および書き込み領域にはいかなる事項を書き込むべきであるかを容易に知ることができる。
【００１４】
前記媒体は、少なくとも前記書き込み領域面に描かれた前記軌跡情報または該軌跡情報の編集結果情報、および／または前記媒体面上の印刷情報と共に前記ドットパターンが新たに重畳して形成されていることが好ましい。
【００１５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、一度手書き入力した媒体を、新たなドットパターンと共に、重畳印刷して、その媒体に、さらに書き込み・編集ができる。
【００１６】
前記媒体は、所定の媒体面および／または前記書き込み領域面に対して、前記書き込み領域を特定する特定情報および／または操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）を定義するコード情報を繰り返し形成する前記ドットパターンには、該コード情報を意味するアイコンが重畳して形成されていることが好ましい。
【００１７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード情報がいかなる意味を持つものであるか（いかなる処理命令を送信するものであるか）、ユーザはアイコンを見ることにより容易に知ることができる。
【００１８】
前記アイコンは、貼付可能なシール、付箋紙、その他の媒体面上に前記ドットパターンと重畳して形成されていることが好ましい。
【００１９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、アイコンは媒体面上に自由にレイアウト可能になるため、レイアウトの自由度が高まる。
【００２０】
前記媒体は、前記書き込み領域を設けた該媒体を第１の媒体として、該第１の媒体面および／または前記書き込み領域面を特定するためのコード情報を繰り返し定義したドットパターンを形成した第２の媒体をさらに備え、該第２の媒体に形成したコード情報を、前記撮像手段で読み取ることにより、前記第１の媒体面上の印刷情報および／または前記書き込み領域面に描かれた前記軌跡情報、および/または該軌跡情報に関連した情報を出力することが好ましい。
【００２１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、媒体面を特定するコード情報を、別の媒体（手帳など）に印刷し、撮像手段でタッチすることにより、媒体面に手書き入力した情報を検索、出力できる。また、媒体の書き込み領域のスペースを広く取ることもできる。
【００２２】
前記第２の媒体は、貼付可能なシール、付箋紙等、またはカード状の形態を有していることが好ましい。
【００２３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域のレイアウトの自由度はさらに高まり、書き込み領域に手書き入力された情報の検索、出力をユーザの利便性や好みに応じて自由自在に実行できる。
【００２４】
前記媒体は、前記手書き入出力システムによる、前記書き込み領域が表示されたモニタ面上に重ねて用いる、座標情報および/またはコード情報が繰り返し定義されたドットパターンが形成された透明な媒体、すなわちグリッドシートであることが好ましい。
【００２５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、取り回しのよいタッチパネルを提供することができる。
【００２６】
前記媒体は、前記手書き入出力システムによる前記書き込み領域が印刷された媒体上に重ねて用いる、座標情報および／またはコード情報が繰り返し定義されたドットパターンが形成される透明な媒体、すなわちグリッドシートであることが好ましい。
【００２７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、モニタ面上にグリッドシートを重ねなくても、媒体面上にグリッドシートを被せて手書き入力が可能である。
【００２８】
前記撮像手段は、撮像口を介して所定波長の光を前記媒体面に照射する照射手段と、該所定波長の反射光を撮像し、画像データとして前記ドットパターン解析手段に送信する撮像素子と、をさらに備え、該ドットパターン解析手段は、該照射手段に第１の所定時間において所定強度の光を発光させ、該ドットパターン解析手段が該撮像素子により撮像し、送信される該画像データを記憶する時間以上、該画像データを該撮像素子に残像として固定できるようにさらに、該所定強度の光は、該ドットパターン解析手段が該画像データをコード解析するのに必要な、解析時間以上の第２の所定時間の経過後に再度発光し、該第１の所定時間と該第２の所定時間が連続するものとして、該照射手段を制御する光制御手段をさらに備えていることが好ましい。
【００２９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込みした際に、媒体面上での撮像手段の移動に対して、撮像素子にドットパターンがぼけることなく焼き付けることができ、その残像を解析することにより撮像手段のフレームレート（撮像スピード）が低くても手書き入力することができる。
【００３０】
前記光制御手段は、前記ドットパターン解析手段による前記画像データのコード解析終了後、前記第２の所定時間を待たずして直ちに前記照射手段に発光を指示し、該照射手段は、前記第１の所定時間の間、前記所定強度の光を発光して、該ドットパターン解析手段は、前記撮像手段により新たに撮像・送信される画像データを記憶して、コード解析することが好ましい。
【００３１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード解析が理想的なドットパターンの撮像・解析やエラー等で第２の所定時間よりも早く終了した場合に、直ちに次のコード解析に移ることにより、撮像間隔が短縮され滑らかな軌跡情報を取得できる。
【００３２】
前記光制御手段は、前記ドットパターン解析手段による該ドットパターンの解析時間中に前記第２の所定時間を待たずして直ちに前記照射手段に発光を指示し、該照射手段は、前記第１の所定時間の間、前記所定強度の光を発光して、前記ドットパターン解析手段は、該解析時間中に、前記撮像手段により新たに撮像・送信される画像データを記憶して、該解析時間の終了後、直ちに該画像データをコード解析することが好ましい。
【００３３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、ドットパターン解析手段がコード解析中に次の画像データを記憶して、コード解析終了後に直ちに次の画像データのコード解析に移ることにより、さらに撮像間隔が短縮され滑らかな軌跡情報を取得できる。
【００３４】
前記撮像手段は、指示用突起部をさらに備え、前記書き込み領域面に、該指示用突起部でなぞった文字および／または図形をトレースする際、該指示用突起部近傍の軌跡上の前記ドットパターンを撮像し、前記ドットパターン解析手段は、該撮像手段により送信された該ドットパターンの画像データを記憶して、該ドットパターンをコード解析して前記座標情報および前記コード情報からなる軌跡情報を求めることが好ましい。
【００３５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上の撮像手段のなぞる位置を視認しやすくなる。
【００３６】
前記撮像手段は、少なくとも１つのペン先をさらに備え、前記書き込み領域面に、該ペン先で描いた文字および／または図形をトレースする際、該ペン先近傍の軌跡上の前記ドットパターンを撮像・送信し、前記ドットパターン解析手段は、該撮像手段により撮像・送信される該ドットパターンの画像データを記憶して、該ドットパターンをコード解析して前記座標情報および前記コード情報からなる軌跡情報を求めることが好ましい。
【００３７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上に撮像手段近傍の軌跡が残せる。
【００３８】
前記指示用突起部は、少なくとも一つのペン先と、該指示用突起部内に該ペン先を格納する格納スペースと、該ペン先の格納／取出しを制御するボタンと、をさらに備えた該指示用突起部であることが好ましい。
【００３９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上に描いた撮像手段近傍の軌跡を残したい場合と、残したくない場合とで使い分けることが可能となる。
【００４０】
前記撮像手段は、前記指示用突起部に前記書き込み領域面に描かれた文字および／または図形を消去する消去手段をさらに備え、該書き込み領域面に、該消去手段でなぞった領域を消去すると同時に、該消去手段近傍の軌跡上のドットパターンを撮像し、前記処理命令手段は、該文字および／または図形の前記軌跡情報を消去する処理命令と、前記軌跡情報と、を情報処理手段に対し送信することが好ましい。
【００４１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上と情報処理手段上で書き込み情報入力を対応させるのみならず、書き込み情報の消去を対応させることもできる。
【００４２】
前記軌跡認識手段は、前記ドットパターン解析手段がコード解析して得た前記座標情報を、該書き込み領域面になぞるか、または描いた文字および／または図形の軌跡と、一致または近似するように補正することが好ましい。
【００４３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識手段が認識する軌跡情報と、媒体上の軌跡とが異なる場合にも、軌跡情報を補正することにより実際の軌跡と一致または実用に支障がない程度まで近似させることができる。
【００４４】
前記軌跡認識手段は、計時手段をさらに備え、該計時手段は、前記撮像手段が前記書き込み領域面に触れた時間および離れた時間を計時し、撮像手段が該書き込み領域面に触れて描かれた軌跡の順番と触れている時間を記録し、前記情報処理手段に送信することが好ましい。
【００４５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、情報処理手段が手書き入力に要した時間を把握し、通常時との比較を行うことにより、書き手の性格や年齢、性別などの様々なリサーチができる。
【００４６】
前記計時手段は、前記撮像手段が前記書き込み領域面に触れ、前記ドットパターン解析手段が前記軌跡情報を求めた時間を記録し、前記情報処理手段に送信することが好ましい。
【００４７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、ペンの移動速度を把握することにより、ハネや書きづらさを解析でき、さらに書き手の心理状態や健康状態も推測できる。
【００４８】
前記処理命令手段は、前記コード情報および／または前記認識情報に基づき、前記書き込み領域を特定する特定情報および／または操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）を一意に入力可能であることが好ましい。
【００４９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード情報および／または認識情報に基づいて処理命令手段が情報処理手段に対してユニークな指示をすることが可能である。このことは、本発明で最も重要な機能であり、常にどの書き込み領域に書き込んだか、またはどの書き込み領域に対してどんな操作指示を行っているかを容易に特定できる。
【００５０】
前記軌跡認識手段は、さらに前記コード情報に基づき、前記書き込み領域に書き込む内容に関する、予め分類された文字および／または図形情報パターンテーブルを参照し、前記軌跡情報を高精度で認識することが好ましい。
【００５１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡情報を認識する際にコード情報に基づいて予め分類された文字および／または図形情報パターンテーブルを参照するため、軌跡情報を高精度に認識することができる。
【００５２】
前記軌跡認識手段は、前記軌跡情報を認識した後、さらに解析された前記座標情報の変化に基づき、該文字および／または該図形、もしくは、１または複数の該文字からなる語句、の意味情報を、前記コード情報に対応する 予め定義された意味情報コードテーブル（辞書）を参照し、意味情報コードに変換し、前記処理命令手段は、該意味情報コードと、該意味情報に基づいた前記処理命令と、を前記情報処理手段に対し送信することが好ましい。
【００５３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識時に意味情報コードテーブルを参照することにより、軌跡情報を高精度に認識し、さらに、意味情報コードに変換することにより、その意味であるものとして処理命令を送信することができる。
【００５４】
前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、文書および／または図形として入力させる第一のオペレーションの実行を、前記情報処理手段に命令することが好ましい。
【００５５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により文書を書いたり、絵を描いたりできる。
【００５６】
前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、コメントとして入力させる第二のオペレーションの実行を、前記情報処理手段に命令することが好ましい。
【００５７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により入力される文書や絵の他、コメント文書を入力することができる。
【００５８】
前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、文書および／または図形、および／またはコメントを編集する編集記号とし、該編集記号に基づいて文書および／または図形、および／またはコメントを編集させる第三のオペレーションの実行を、前記情報処理手段に命令することが好ましい。
【００５９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により文書や画像を（手書き入出力システムによらないものも含む）編集することができる。
【００６０】
本発明にかかる手書き入出力システムは、少なくとも前記媒体面に接触した前記撮像手段の撮像光軸が、該媒体面の鉛直線に対して倒されることにより成される傾きおよび倒される方向を測定する角度測定手段と、該撮像手段が該媒体面に接触した際に測定された、該傾きおよび該方向を基準として、該撮像手段を倒す動作、すなわちグリッドティルト動作による、該傾きおよび／または該方向の、所定の変化を解析する角度変化認識手段とをさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信することが好ましい。
【００６１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、撮像手段のグリッドティルト動作による操作指示ができる。
【００６２】
前記媒体は、前記書き込み領域の方向に対して、所定の角度で配置された前記ドットパターンが該書き込み領域に形成され、前記角度測定手段および前記角度変化認識手段は、前記撮像手段が該書き込み領域面に接触した際に読み取られた該ドットパターンの方向を基に、該書き込み領域の方向に対して、倒される方向および／または前記傾きの、所定の変化を解析することが好ましい。
【００６３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、角度の変化に加えて、ドットパターンの方向をさらに基準にして、傾きとその変化を認識することができる。
【００６４】
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第一の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記軌跡認識手段による軌跡情報の認識結果を、文書および／または図形として入力させる第一のオペレーションの実行を、前記情報処理手段に対して命令することが好ましい。
【００６５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第一のオペレーションへの切り替えができる。
【００６６】
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第二の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記軌跡認識手段による軌跡情報の認識結果を、コメントとして入力させる第二のオペレーションの実行を、前記情報処理手段に対して命令することが好ましい。
【００６７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第二のオペレーションへの切り替えができる。
【００６８】
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第三の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記軌跡認識手段による軌跡情報の認識結果を、文書および／またはコメントを編集する編集記号とし、該編集記号に基づいて文書および／または図形、および／またはコメントを編集させる第三のオペレーションの実行を、前記情報処理手段に対して命令することが好ましい。
【００６９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第三のオペレーションへの切り替えができる。
【００７０】
前記処理命令手段は、前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第四の所定方向に倒されたものと前記角度変化認識手段が認識したときは、前記第三のオペレーションの終了を、前記情報処理手段に対して命令することが好ましい、
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドティルト動作により第三のオペレーションを終了して元の第一または第二のオペレーションへの切り替えと、第三のオペレーションの再実行ができる。
【００７１】
前記処理命令手段は、前記情報処理手段が所定の処理を実行するか否かを決定するときにおいて、前記撮像手段が媒体面に所定時間内に一度だけタッチしたものと、前記ドットパターン解析手段が認識したときは、該所定の処理を実行しないことの決定を該情報処理手段に対し命令し、前記撮像手段が媒体面に対して一度タッチし、所定時間内にさらに媒体面にタッチしたものと、該ドットパターン解析手段が認識したとき、該所定の処理の実行を決定することを該情報処理手段に対し命令することが好ましい。
【００７２】
上記の特徴によれば、本発明にかかる手書き入出力システムは、撮像手段による媒体面のタッチの動作のみで、処理の決定・拒否を指示することができる。
【００７３】
前記手書き入出力システムは、前記書き込み領域面に対して、前記撮像手段の撮像光軸を概ね鉛直状に立て、該書き込み領域面に接触した際に読み取られた前記ドットパターンの方向と、該撮像手段のアングルとで成される回転角を読み取る回転角読み取り手段と該撮像手段が該媒体面に接触した際に測定された該回転角を基準として、該撮像手段を回転する動作、すなわちグリッドターン動作による、該撮像光軸が所定の回転方向に回転されることにより、該回転角の所定の変化を解析する回転角変化認識手段と、をさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信することが好ましい。
【００７４】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作による指示をすることができる。
【００７５】
前記処理命令手段は、前記撮像手段が第一の所定方向に回転したものと前記回転角変化認識手段が認識したときは、実行中のアプリケーションにおけるファイル内容の変更結果を保存することを前記情報処理手段に対し命令し、該撮像手段が該第一の所定方向とは反対方向の第二の所定方向に回転したものと該回転角変化認識手段が認識したときは、実行中のアプリケーションにおけるファイル内容の変更をキャンセルすることを該情報処理手段に対し命令することが好ましい。
【００７６】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作によるファイル内容の変更結果の保存、変更のキャンセルの指示をすることができる。
【００７７】
前記処理命令手段は、前記撮像手段が第一の所定方向に回転し、さらに所定時間内に該第一の所定方向とは反対方向の第二の所定方向に回転したものと前記回転角変化認識手段が認識したときは、手書き入力用アプリケーションを起動することを前記情報処理手段に対し命令し、該撮像手段が該第二の所定方向に回転し、さらに所定時間内に該第一の所定方向に回転したものと該回転角度変化認識手段が認識したときは、該手書き入力用アプリケーションを終了することが好ましい。
【００７８】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作による、手書き入出力用アプリケーションの起動・終了を指示することができる。
【００７９】
前記手書き入出力システムは、前記撮像手段で前記書き込み領域を撮像して前記ドットパターン解析手段により座標情報およびコード情報を求めた後に、所定の操作により該撮像手段で該書き込み領域に文字をなぞるか、または描く代わりに音声を収録する音声収録手段と、前記コード情報に対応する 予め定義された音声認識情報テーブル（辞書）を参照し、収録された音声を認識し文字情報に変換し情報処理手段に対し送信する音声認識手段と、をさらに備えていることが好ましい。
【００８０】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力に代えて、音声入力ができる。
【００８１】
前記所定の操作は、前記撮像手段で前記書き込み領域に音声入力を意味する記号をなぞるか、または描くことにより行うことが好ましい。
【００８２】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力中の一連の操作の延長上で容易に音声入力に切り替えるこができ、音声入力を開始したという履歴を書き込み領域またはコンピュータ上において残すことができる。
【００８３】
前記所定の操作は、前記書き込み領域に前記撮像手段を触れて跳ねる動作により行うことが好ましい。
【００８４】
上記の特徴によれば、本発明にかかる手書き入出力システムは、さらに簡単な操作で容易に音声入力に切り替えるこができ、音声入力を開始したという履歴を書き込み領域に残すことなく音声入力を使用できる。
【００８５】
前記所定の操作は、前記音声収録手段に所定の言葉を収録し、前記音声認識手段で該所定の言葉を認識することにより行うことが好ましい。
【００８６】
上記の特徴によれば、本発明にかかる手書き入出力システムは、煩わしい操作を覚えることなく音声入力の開始操作をより感覚的にできる。
【００８７】
前記媒体は、該媒体における前記コード情報に予め音声ガイドの指示情報が定義され、前記手書き入出力システムは、該書き込み領域に書き込む内容を該の音声ガイドを音声で解説する音声出力手段をさらに備えていることが好ましい。
【００８８】
＜手書き入力シート＞
本発明にかかる手書き入力シートは、少なくとも一部、または複数の領域に座標情報および、コード情報が繰り返し定義されたドットパターンが形成された書き込み領域を備えた媒体からなることを特徴とする。
【００８９】
上記の特徴によれば、本発明にかかる手書き入力シートは、媒体に形成されたドットパターンが座標情報のみならずコード情報を定義することにより、手書き入力において座標情報とユニークな情報または命令を一括して入力することができる。
【００９０】
前記媒体は、前記書き込み領域に関連するテキスト、グラフィック、写真がさらに重畳して形成されていることが好ましい。
【００９１】
上記の特徴によれば、本発明にかかる手書き入力シートは、手書き入力においてユーザが書き込み領域の内容を容易に知ることができる。
【００９２】
前記媒体は、所定の媒体面および／または前記書き込み領域面を特定する特定情報および／または操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）を定義するコード情報を繰り返し形成する前記ドットパターンに、該コード情報を意味するアイコンがさらに重畳して形成されていることが好ましい。
【００９３】
上記の特徴によれば、本発明にかかる手書き入力シートは、手書き入力においてユーザがさらに、コード情報に基づき入力されるユニークな情報または命令の内容を知ることができる。
【００９４】
前記アイコンは、貼付可能なシール、付箋紙、その他の媒体面上に前記ドットパターンとともに形成されていることが好ましい。
【００９５】
上記の特徴によれば、本発明にかかる手書き入力シートは、媒体のレイアウトの自由度を高めることができ、書き込み領域に手書き入力された情報の検索、出力をユーザの利便性や好みに応じて自由自在に実行できる。
【００９６】
前記手書き入力シートは、前記書き込み領域内および/または領域周辺に点字をさらに備えていることが好ましい。
【００９７】
上記の特徴によれば、本発明にかかる手書き入力シートは、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。
【００９８】
前記手書き入力シートは、前記書き込み領域に書き込む際に、前記撮像手段がはみ出さないように該書き込み領域の外周に沿って幅狭の凸部のガイドをさらに備えていることが好ましい。
【００９９】
上記の特徴によれば、本発明にかかる手書き入力シートは、書き込み領域に正確に撮像手段でなぞったり、描いたりできるようガイドを設け、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。
【０１００】
＜情報入力システム＞
本発明にかかる情報入力システムは、一面側からの赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の一面側に設けられ、赤外線を拡散反射する特性を有する材料からなる、少なくとも一部、または複数の領域に座標情報および／またはコード情報が繰り返し定義されたドットパターンのドットが配置されたドットパターン層と、該ドットパターン層の、該赤外線反射層と反対側に設けられ、赤外線および可視光を透過する特性を有する保護層とが積層されている情報入力補助シート、すなわちグリッドシートと、少なくとも媒体面の一部に、該ドットパターンのドットが赤外線を吸収する特性を有する材料で形成された媒体と、該ドットパターンを撮像して、送信する撮像手段と、該媒体面の該ドットパターンを該撮像手段により撮像・送信された該ドットパターンの画像データでは、明度が周辺とは低く撮像されるドット部、または、該グリッドシートの該ドットパターンを該撮像手段により撮像・送信された該ドットパターンの画像データでは、明度が周辺とは高く撮像されるドット部を、所定の判定方法により判定し、該ドットパターンの画像データを記憶素子に記憶して、コード解析することにより、該座標情報および／または該コード情報を入力するドットパターン解析手段とからなることを特徴とする。
【０１０１】
上記の特徴によれば、本発明にかかる情報入力システムは、グリッドシートに拡散反射層を設けることなく目玉現象を回避することができる。
【０１０２】
前記所定の判定方法は、ｍ行ｎ列のピクセルで構成された記憶素子に記憶された撮像画像を行毎(i)に左端からから始まり右方向に、所定間隔(k)だけ離れたピクセル同士の明度(BL(i,j))の差分（ΔBL＝BL(i,j+k)−BL(i,j))を順々に求め、その差分が所定の正・負の閾値を上回るか、もしくは下回るかにより判定する方法と、該明度が周辺とは低く撮像されるドット部の判定では、該明度の差分が負の閾値を下回った場合に右側のピクセルをドットとして判定し、そのピクセルからドットが始まったと判定し、正の閾値を上回った場合に同じく右側のピクセルがドットでないことを判定し、その手前のピクセルまででドットが終わったと判定する方法と、該明度が周辺とは高く撮像されるドット部の判定では、該明度の差分が正の閾値を上回った場合に右側のピクセルをドットとして判定し、そのピクセルからドットが始まったと判定し、負の閾値を下回った場合に同じく右側のピクセルがドットでないことを判定し、その手前のピクセルまででドットが終わったと判定する方法と、からなる判定方法であって、前記ドットパターン解析手段は、該所定の判定方法により、前記媒体面か、前記グリッドシートに設けられた前記ドットパターンのいずれかであるかを判定して、該所定の判定方法によりコード解析することが好ましい。
【０１０３】
前記所定の判定方法は、前記撮像画像の所定の領域の明度を測定して、所定の閾値を上回っていれば、前記明度が周辺とは低く撮像されるドット部の判定方法を用い、所定の閾値を下回っていれば、前記明度が周辺とは高く撮像されるドット部の判定方法を用いることが好ましい。
【０１０４】
＜情報入力補助シート＞
本発明にかかる情報入力補助シートは、一面側からの赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の一面側に設けられ、赤外線を拡散反射する特性を有する材料からなる、少なくとも一部、または複数の領域に座標情報および／またはコード情報が繰り返し定義されたドットパターンのドットが配置されたドットパターン層と、該ドットパターン層の、該赤外線反射層と反対側に設けられ、赤外線および可視光を透過する特性を有する保護層と、が積層されていることを特徴する。
【０１０５】
上記の特徴によれば、本発明にかかる情報入力補助シートは、拡散反射層を設けることなく目玉現象を回避することができる。
【０１０６】
本発明にかかる入力補助シートは、それぞれの面へ入射した赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の両面に設けられ、赤外線を吸収する特性を有する材料からなる、前記ドットパターンのドットが配置されたドットパターン層と、前記ドットパターン層のそれぞれのさらに外側に設けられ、それぞれの方向から入射した赤外線および可視光を透過する特性を有する保護層と、が積層されており、前記ドットパターン層のそれぞれに配置された前記ドットパターンにパターン化された座標情報および／またはコード情報は、互いに同一であるかまたは互いに異なることを特徴する。
【０１０７】
上記の特徴によれば、本発明にかかる情報入力補助シートは、拡散反射層を設けることなく目玉現象を回避することができる。
【発明の効果】
【０１０８】
本発明は、上記各種の特徴を有することにより、従来技術とは次元を異にする、全く異なった、多様かつ新しい付加価値と利便性をユーザに与えることのできる手書き入出力システムを提供することができる。
【図面の簡単な説明】
【０１０９】
【図１】本発明にかかる手書き入出力システムの使用状態を示す外観図である。
【図２】本発明にかかる手書き入出力システムの第一の実施例の構成を示すブロック図である。
【図３】本発明にかかる手書き入出力システムの第二の実施例の構成を示すブロック図である。
【図４】本発明にかかる手書き入出力システムの第三の実施例の構成を示すブロック図である。
【図５】本発明にかかる手書き入出力システムの第四の実施例の構成を示すブロック図である。
【図６】本発明にかかる手書き入出力システムの第五の実施例の構成を示すブロック図である。
【図７】本発明にかかる手書き入出力システムの第六の実施例の構成を示すブロック図である。
【図８】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（１）である。
【図９】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（２）である。
【図１０】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（３）である。
【図１１】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（４）である。
【図１２】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（５）である。
【図１３】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（６）である。
【図１４】本発明にかかる手書き入出力システムに用いるディレクションドットを説明する図である。
【図１５】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（７）である。
【図１６】本発明にかかる手書き入出力システムに用いる撮像部の全体の構成を示す外観図である。
【図１７】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１）である。
【図１８】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（２）である。
【図１９】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（３）である。
【図２０】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（４）である。
【図２１】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（５）である。
【図２２】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（６）である。
【図２３】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（７）である。
【図２４】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（８）である。
【図２５】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（９）である。
【図２６】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１０）である。
【図２７】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１１）である。
【図２８】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１２）である。
【図２９】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１）である。
【図３０】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（２）である。
【図３１】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（３）である。
【図３２】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（４）である。
【図３３】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（５）である。
【図３４】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（６）である。
【図３５】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（７）である。
【図３６】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（８）である。
【図３７】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（９）である。
【図３８】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１０）である。
【図３９】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１１）である。
【図４０】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１２）である。
【図４１】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１３）である。
【図４２】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１４）である。
【図４３】本発明にかかる手書き入出力システムに用いる撮像部の傾きの方向・角度を算出する方法を説明する図（１）である。
【図４４】本発明にかかる手書き入出力システムに用いる撮像部の傾きの方向・角度を算出する方法を説明する図（２）である。
【図４５】本発明にかかる手書き入出力システムに用いる撮像部の傾きの方向・角度を算出する方法を説明する図（３）である。
【図４６】本発明にかかる手書き入出力システムに用いる撮像部の傾きの方向・角度を算出する方法を説明する図（４）である。
【図４７】本発明にかかる手書き入出力システムに用いる撮像部の傾きの方向・角度を算出する方法を説明する図（５）である。
【図４８】本発明にかかる手書き入出力システムに用いる撮像部の、タッチする動作と跳ねる動作の判別方法を説明する図である。
【図４９】本発明にかかる手書き入出力システムにおける第一のオペレーションを説明する図である。
【図５０】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（１）である。
【図５１】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（２）である。
【図５２】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（３）である。
【図５３】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（１）である。
【図５４】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（２）である。
【図５５】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（３）である。
【図５６】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（４）である。
【図５７】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（５）である。
【図５８】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（６）である。
【図５９】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるファイル変更結果の保存方法を説明する図である。
【図６０】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるファイル内容変更のキャンセル方法を説明する図である。
【図６１】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるアプリケーションの起動方法を説明する図である。
【図６２】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるアプリケーションの終了方法を説明する図である。
【図６３】本発明にかかる手書き入出力システムにおける、撮像部の四方向への傾き動作によるオペレーションの切り替え方法を説明する図（１）である。
【図６４】本発明にかかる手書き入出力システムにおける、撮像部の四方向への傾き動作によるオペレーションの切り替え方法を説明する図（２）である。
【図６５】発明にかかる手書き入出力システムにおける、撮像部のタッチ動作を説明する図である。
【図６６】本発明にかかる手書き入出力システムにおける、音声収録部および音声出力部の構成を説明するブロック図である。
【図６７】本発明にかかる手書き入出力システムにおける、撮像部の跳ねる動作を説明する図である。
【図６８】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（１）である。
【図６９】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（２）である。
【図７０】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（３）である。
【図７１】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（４）である。
【図７２】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（５）である。
【図７３】本発明にかかる情報入力システムに用いるグリッドシートを説明する図（１）である。
【図７４】本発明にかかる情報入力システムに用いるグリッドシートを説明する図（２）である。
【図７５】本発明にかかる情報入力システムに用いるグリッドシートを説明する図（３）である。
【図７６】本発明にかかる情報入力システムに用いるグリッドシートを説明する図（４）である。
【図７７】本発明にかかる情報入力システムに用いるグリッドシートを説明する図（５）である。
【発明を実施するための形態】
【０１１０】
以下、本発明の実施の形態について、図面を用いて説明する。
【０１１１】
＜システム全体の構成の説明＞
図１は、本発明にかかる手書き入出力システム１の使用状態の一例を示す外観図である。同図によれば、媒体２にスキャナ３を用いて書き込みをすると、書き込んだとおりの文書がディスプレイ６に表示される。これは、スキャナ３が、書き込んだ軌跡上のドットパターンを撮像して、コンピュータ４が解析する（必要に応じてサーバ５にアクセスする）ことにより、実現する。ただし、コンピュータ４がスキャナ３に内蔵されていてもよい。
【０１１２】
図２は、本発明にかかる手書き入出力システム１の、第一の実施例の構成を示すブロック図である。
【０１１３】
この手書き入出力システム１は少なくとも、媒体２（手書き入力シート）、撮像部７（撮像手段）、ドットパターン解析部８（ドットパターン解析手段）、軌跡認識部９（軌跡認識手段）、処理命令部１０（処理命令手段）、を備えることにより情報処理部１１に対して各種の命令を行い、必要に応じて各種サーバ５にアクセスする。
【０１１４】
図３は、本発明にかかる手書き出入力システム１の第二の実施例の構成を示すブロック図である。第二の実施例では、第一の実施例が備える構成に加えて、撮像素子１２、照射部１３、光制御部１４をさらに備える。
【０１１５】
ここで、同図中の破線で示すように、撮像素子１２と照射部１３は撮像部７と一体であり、光制御部１４はドットパターン解析部８と一体である。
【０１１６】
図４は、本発明にかかる手書き入出力システム１の第三の実施例の構成を示すブロック図である。第三の実施例では、第一の実施例が備える構成に加えて、計時部１５をさらに備える。
【０１１７】
ここで、同図中の破線で示すように、計時部１５は軌跡認識部９と一体である。
【０１１８】
図５は、本発明にかかる手書き入出力システム１の第四の実施例の構成を示すブロック図である。第四の実施例では、第一の実施例が備える構成に加えて、角度測定部１６、角度変化認識部１７をさらに備える。
【０１１９】
ここで、同図中の破線で示すように、角度測定部１６と角度変化認識部１７はドットパターン解析部８と一体である。
【０１２０】
図６は、本発明にかかる手書き入出力システム１の第五の実施例の構成を示すブロック図である。第五の実施例では、第一の実施例が備える構成に加えて、回転角読み取り部１８、回転角変化認識部１９をさらに備える。
【０１２１】
ここで、同図中の破線で示すように、回転角読み取り部１８と回転角変化認識部１９はドットパターン解析部８と一体である。
【０１２２】
図７は、本発明にかかる手書き入出力システム１の第六の実施例の構成を示すブロック図である。第禄の実施例では、第一の実施例が備える構成に加えて、音声収録部２０、音声認識部２１、音声出力部２２をさらに備える。
【０１２３】
＜ドットパターン＞
以下に、本発明にかかる手書き入出力システム１において用いるドットパターンについて、図８〜１５を用いて説明する。
【０１２４】
＜ドットパターンの説明ＧＲＩＤ１＞
図８〜図１５は本発明にかかる手書き入出力システム１において媒体２に形成されるドットパターンの一例であるＧＲＩＤ１を示す説明図である。
【０１２５】
なお、これらの図において、縦横方向の格子線は説明の便宜のために付したものであり実際の印刷面には存在していない。ドットパターン１０１を構成するキードット１０２、情報ドット１０３、基準格子点ドット１０４等は撮像手段であるスキャナ３が赤外線照射手段を有している場合、当該赤外光を吸収する不可視インクまたはカーボンインクで印刷されていることが望ましい。
【０１２６】
図８はドットパターン１０１の情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。図９（ａ）、（ｂ）はキードット１０２を中心に配置した情報ドット１０３を示す説明図である。
【０１２７】
ドットパターンを用いた情報入出力方法は、ドットパターン１０１の生成と、そのドットパターン１０１の認識と、このドットパターン１０１から情報およびプログラムを出力する手段とからなる。すなわち、ドットパターン１０１をスキャナ３に内蔵する撮像部７により画像データとして取り込み、まず、基準格子点ドット１０４を抽出し、次に本来基準格子点ドット１０４がある位置にドットが打たれていないことによってキードット１０２を抽出し、次に情報ドット１０３を抽出することによりデジタル化して情報領域を抽出して情報の数値化を図り、その数値情報より、このドットパターン１０１から情報およびプログラムを出力させる。たとえば、このドットパターン１０１から音声等の情報やプログラムを、情報出力装置、パーソナルコンピュータ、ＰＤＡまたは携帯電話等に出力させる。
【０１２８】
ドットパターン１０１の生成は、ドットコード生成アルゴリズムにより、数値情報を認識させるために微細なドット、すなわち、キードット１０２、情報ドット１０３、基準格子点ドット１０４を所定の規則に則って配列する。図８に示すように、情報を表すドットパターン１０１のブロックは、キードット１０２を基準に５×５の基準格子点ドット１０４を配置し、４点の基準格子点ドット１０４に囲まれた中心の仮想格子点５の周囲に情報ドット１０３を配置する。このブロックには任意の数値情報が定義される。なお、図８の図示例では、ドットパターン１０１のブロック（太線枠内）を４個並列させた状態を示している。なお、ドットパターン１０１は４ブロックに限定されず、上下・左右方向に、何度でも繰り返して配置されてもよいことは勿論である。
【０１２９】
基準格子点ドット１０４は、撮像部７でこのドットパターン１０１を画像データとして取り込む際に、その撮像部７のレンズの歪みや斜めからの撮像、紙面の伸縮、媒体表面の湾曲、印刷時の歪みを矯正することができる。具体的には歪んだ４点の基準格子点ドット１０４を元の正方形に変換する補正用の関数（Ｘｎ，Ｙｎ）＝ｆ（Ｘｎ’，Ｙｎ’）を求め、その同一の関数で情報ドット１０３を補正して、正しい情報ドット１０３のベクトルを求める。
【０１３０】
ドットパターン１０１に基準格子点ドット１０４を配置してあると、このドットパターン１０１を撮像部７で取り込んだ画像データは、撮像部７が原因する歪みを補正するので、歪み率の高いレンズを付けた普及型のカメラでドットパターン１０１の画像データを取り込むときにも正確に認識することができる。また、ドットパターン１０１の面に対して撮像部７を傾けて読み取っても、そのドットパターン１０１を正確に認識することができる。
【０１３１】
キードット１０２は、図８に示すように、ブロックの四隅の角部にある４個の基準格子点ドット１０４を一定方向にずらして配置したドットである。このキードット１０２は、情報ドット１０３を表す１ブロック分のドットパターン１０１の代表点である。たとえば、ドットパターン１０１のブロックの四隅の角部にある基準格子点ドット１０４を上方に０．１ｍｍずらしたものである。ただし、この数値はこれに限定されずに、ドットパターン１０１のブロックの大小に応じて可変し得るものである。
情報ドット１０３は種々の情報を認識させるドットである。この情報ドット１０３は、キードット１０２を代表点にして、その周辺に配置すると共に、４点の基準格子点ドット１０４で囲まれた中心を仮想格子点５にして、これを始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット１０３は、基準格子点ドット１０４に囲まれ、図９（ａ）に示すように、その仮想格子点５から０．１ｍｍ離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に４５度ずつ回転させて８方向に配置し、３ビットを表現する。したがって、１ブロックのドットパターン１０１で３ビット×１６個＝２０１ビットを表現することができる。
図９（ｂ）は、図３のドットパターンにおいて、１個の格子毎に２ビットを有する情報ドット１０３の定義の方法であり、＋方向および×方向にドットをずらして各２ビットの情報を定義している。これにより、本来４８ビットの情報を定義できるが、用途によって分割して３２ビット毎にデータを与えることができる。＋方向および×方向の組み合わせによって最大２１６（約６５０００）通りのドットパターンフォーマットが実現できる。
【０１３２】
なお、これに限定されずに、１６方向に配置して４ビットを表現することも可能であり、種々変更できることは勿論である。
キードット１０２、情報ドット１０３または基準格子点ドット１０４のドットの径は、見栄えと、紙質に対する印刷の精度、撮像部７の解像度および最適なデジタル化を考慮して、０．０５ｍｍ程度が望ましい。
また、撮像面積に対する必要な情報量と、各種ドット１０２，１０３，１０４の誤認を考慮して基準格子点ドット１０４の間隔は縦・横０．５ｍｍ前後が望ましい。基準格子点ドット１０４および情報ドット１０３との誤認を考慮して、キードット１０２のずれは格子間隔の２０％前後が望ましい。
【０１３３】
この情報ドット１０３と、４点の基準格子点ドット１０４で囲まれた仮想格子点との間隔は、隣接する仮想格子点５間の距離の１５〜３０％程度の間隔であることが望ましい。情報ドット１０３と仮想格子点５間の距離がこの間隔より近いと、ドット同士が大きな塊と視認されやすく、ドットパターン１０１として見苦しくなるからである。逆に、情報ドット１０３と仮想格子点５間の距離がこの間隔より遠いと、隣接するいずれの仮想格子点５を中心にしてベクトル方向性を持たせた情報ドット１０３であるかの認定が困難になるためである。
【０１３４】
図８に示すように、１個のドットパターンは、４×４個のブロック領域で構成されたドットパターンであり、各ブロック内には２ビットの情報ドット１０３が配置されている。この情報ドット１０３のドットコードフォーマットの一例を示したものが図９である。
【０１３５】
図１０に示すように、１個のドットパターン中には、パリティチェック、コード値、Ｘ座標、Ｙ座標が記録されている。なお、フォーマットの詳細については後述する。
【０１３６】
図１１は情報ドット１０３およびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
【０１３７】
また、情報ドット１０３について基準格子点ドット１０４で囲まれた仮想格子点５から長・短の２種類を使用し、ベクトル方向を８方向とすると、４ビットを表現することができる。このとき、長い方が隣接する仮想格子点５間の距離の２５〜３０％程度、短い方は１５〜２０％程度が望ましい。ただし、長・短の情報ドット１０３の中心間隔は、これらのドットの径より長くなることが望ましい。
【０１３８】
４点の基準格子点ドット１０４で囲まれた情報ドット１０３は、見栄えを考慮し、１ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、１ベクトル毎に、１ビットを割り当て、情報ドット１０３を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円８方向のベクトルでは、４点の格子ドット４に囲まれた情報ドット１０３で２８の情報を表現でき、１ブロックの情報ドット１６個で２１２８となる。
【０１３９】
図１２は情報ドットおよびそこに定義されたデータのビット表示の例であり、（ａ）はドットを２個、（ｂ）はドットを４個および（ｃ）はドットを５個配置したものを示すものである。
【０１４０】
図１３はドットパターン１０１の変形例を示すものであり、（ａ）は情報ドット６個配置型、（ｂ）は情報ドット９個配置型、（ｃ）は情報ドット１２個配置型、（ｄ）は情報ドット１０３６個配置型の概略図である。
【０１４１】
図８に示すドットパターン１０１は、１ブロックに１６個（４×４）の情報ドット１０３を配置した例を示している。しかし、この情報ドット１０３は１ブロックに１６個配置することに限定されずに、種々変更することができる。たとえば、必要とする情報量の大小または撮像部７の解像度に応じて、情報ドット１０３を１ブロックに６個（２×３）配置したもの（ａ）、情報ドット１０３を１ブロックに９個（３×３）配置したもの（ｂ）、情報ドット１０３を１ブロックに１２個（３×４）配置したもの（ｃ）、または情報ドット１０３を１ブロックに３６個配置したもの（ｄ）がある。
【０１４２】
＜ドットパターンの説明ディレクションドット＞
次に、ドットパターンの他の形態であるディレクションドットについて図１４を用いて説明する。
【０１４３】
本ドットパターンは、ブロックの形状によって、ドットパターンの方向を定義したものである。図１４（ａ）において、まず基準点２０１ａ〜２０１ｅが配置されている。この基準点２０１ａ〜２０１ｅを結ぶ線によってブロックの向きを示す形状（ここでは上方を向いた５角形）が定義されている。そして、この基準点に基づいて仮想基準点２０１ｆ、２０１ｇ、２０１ｈが配置され、この仮想基準点を始点として方向と長さを有するベクトル終点に情報ドット２０３が配置されている。このように、同図では、ブロックの向きを基準点の配置の仕方によって定義することができる。そしてブロックの向きが定義されるディレクションドットによって、ブロック全体の大きさも定義されることになる。また、このブロックは、上下・左右方向に、何度でも繰り返して配置されてもよいことは勿論である。
【０１４４】
なお、図１４（ａ）においては、基準点２０１ａ〜２０１ｅと情報ドット２０３は全て同一形状のもので説明したが、基準点２０１ａ〜２０１ｅを情報ドット２０３よりも大きな形状としてもよい。また、この基準点２０１ａ〜２０１ｅと情報ドット２０３とは識別可能であればいかなる形状としてもよく、三角形、四角形それ以上の多角形であってもよい。
【０１４５】
図１４（ｂ）は、ブロックの仮想格子点上に情報ドットがあるか否かによって、情報を定義したものである。
【０１４６】
なお、図１４（ｃ）は、図１４（ａ）に示したブロックを縦横方向に２個ずつ連結したものである。
【０１４７】
本発明にかかる手書き入出力システム１において媒体２に形成するドットパターンはＧＲＩＤ１に限らず、ＸＹ座標情報およびコード情報を定義したものであればよいものとする。
【０１４８】
たとえば、特許第３７６６６７８号（ＧＲＩＤ２）、特許第３８５８０５１号（ＧＲＩＤ３）、特許第３８５８０５２号（ＧＲＩＤ４）を用いることができる。
【０１４９】
＜ドットパターンのフォーマットの説明＞
図１５は、本発明にかかる手書き入出力システム１において媒体２に形成されるドットパターンのフォーマットについて説明する図である。
【０１５０】
同図（ｃ）に示すように、ドットパターンは、４×４個のブロック領域で構成されたドットパターンであり、このブロック内でＣ１−０〜Ｃ３１−３０に区画されている。各領域のドットコードフォーマットを示したものが（ａ）および（ｂ）である。
【０１５１】
同図（ａ）は、ページコードとＸ座標とＹ座標が登録されているフォーマットである。ページコードとは、媒体２が冊子状になっている場合等において、媒体２のページ数を意味するものであり、Ｘ座標およびＹ座標は、それぞれ、媒体上における位置（座標値）を意味するものである。これにより、ユーザがスキャナ３で媒体２を読み取ると、その媒体のページ数および読み取った箇所の座標位置が一度の読み取り操作で同時に認識される。
【０１５２】
同図（ｂ）は、ページコードとアクションコードとＸ座標とＹ座標が登録されているフォーマットである。アクションコードとは、操作指示を意味するものである。例えば、「拡大」「縮小」等の操作を意味するもので、主に後述するアイコン領域に用いられるドットパターンに含まれている。
【０１５３】
このように、本発明のドットパターンは、ページコードやアクションコード等、種々のコード情報とＸＹ座標を一つのフォーマットに登録することができる。また、その他にも、ＸＹ座標のみ、あるいはコード情報のみを登録することもでき、柔軟性に富んだフォーマットが可能である。
【０１５４】
＜撮像部＞
図１６〜２８は、本発明にかかる手書き入出力システム１に用いる撮像部７を説明する図である。
【０１５５】
なお、撮像部７は人が手に持つのに適した大きさ、形状であることが好ましく、中でも図１６のようにペン型の形状をしていることが最も好ましい。
【０１５６】
同図（ａ）はペン型の形状をした撮像部７の最も基本的な実施形態を示す図である。かかる実施形態においては、指示用突起部２３、送信部２４が設けられており、図示しないＣ−ＭＯＳセンサ等が概ねペンの軸線上に内蔵されている。送信部２４は撮像部７が赤外線通信、無線通信等の方法を用いて他の部材に信号を送信するためのものであり、説明の便宜を図るため図示したが、実際には必ずしも外観上見える位置に設ける必要はない。
【０１５７】
同図（ｂ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、ユーザによる操作を受け付ける２つのボタンが設けられている。かかる２つのボタンは送信ボタン２５と、再送信ボタン２６であり、ユーザは撮像部７から他の部材に信号を送るようボタン操作により指示することができる。ここで、再送信ボタン２６とは、送信ボタン２５による信号の送信が遮蔽物の存在等により受信先の部材へ送信することができなかった場合に同じ信号を再度送信するのに用いる。
【０１５８】
同図（ｃ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、ユーザによる音声入力を受け付けるマイク２７と、音声再生ボタン２８がさらに設けられている。マイク２７は、後述する音声認識に用いる音声を収録するために用い、音声再生ボタン２８は、後述する音声ガイドを再生するために用いる。
【０１５９】
同図（ｄ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、指示用突起部２３の内部空間にペン２９が格納されており、ペン格納ボタン３０を押すことにより、ペン２９が出る。
【０１６０】
図１７（ａ）本発明にかかる手書き入出力システム１を構成する撮像部７の実施例の一つであるペン型スキャナ３１の先端部を示す断面図である。かかるペン型スキャナ３１は、内部に中空部が形成され、その先端に開口部を有するライトガイド３２と、このライトガイド３２の開口部を臨む位置に配置されたレンズ３３と、このレンズ３３と同一面上に配置され、ドットパターンが形成された媒体面に所定波長の光を照射する光源としてのＬＥＤ３４（照射部１３）と、レンズ３３から後退した位置に配置されたＣ−ＭＯＳセンサ３５（撮像素子１２）と、さらに後退した位置にＰＣＢ３６とそれに設置される図示しないＣＰＵとを備えている。ライトガイド３２の中空部は、レンズ３３から開口部に向かって次第に大径となるテーパ状に形成されている。ここで、ＣＰＵは先述のドットパターン解析部８、軌跡認識部９、処理命令部１０、情報処理部１１、のいずれかまたは全ての役割を持つ。
【０１６１】
ライトガイド３２は、透明または乳白色の樹脂製であり、その内部が導光路として機能する。ＬＥＤ３４からの照射光は、ライトガイド３２の内部を進行し、前記開口部より媒体２に対して照射される。ライトガイド３２が乳白色の樹脂製である場合は、ＬＥＤ３４からの照射光は、ライトガイド３２内を進行する際、適度に拡散されるので、開口部から媒体２を照射する光をより均一にすることが出来る。
【０１６２】
＜ＬＥＤの発光タイミングの制御＞
同図（ｂ）は時間毎のＬＥＤ３４の発光タイミングを示す図である。ＬＥＤ３４は所定のタイミング毎に瞬間的に所定強度、発光して、媒体２を露光する。Ｃ−ＭＯＳセンサ３５は媒体２からの反射光を撮像し、画像データとしてドットパターン解析部８へ送信する。
【０１６３】
同図（ｃ）は時間毎のＣ−ＭＯＳセンサ３５の素子の反応状態を示す図である。Ｃ−ＭＯＳセンサ３５の素子にはＬＥＤ３４が所定強度、発光して媒体２を露光した瞬間の媒体２の残像が焼き付けられる。ここで、所定時間ｔｋとは撮像素子１２の残像が消えるまでの時間内で、ドットパターン解析部８による解析可能な残像状態を保持するのに必要とする時間を示している。
【０１６４】
ＬＥＤ３４が発光していた時間ｆｔが所定の時間α以下である場合、同図（ｄ）に示すとおり、Ｃ−ＭＯＳセンサ３５の素子にはドットの残像がぼけることなく焼き付けられるため、この残像を画像データとしてドットパターン解析部８へ送信する。この場合、送信は素子に残像が残っている時間ｔlの間に行う。
【０１６５】
一方、ＬＥＤ３４が発光していた時間ｆｔが所定の時間αを大きく超える場合、同図（ｅ）に示すとおり、Ｃ−ＭＯＳセンサ３５の素子にはドットの残像がぼけて焼き付けられ、正しい数値を読み取ることができない。
【０１６６】
かかる撮像方法は、Ｃ−ＭＯＳセンサを用いる場合において特に有効であるが、上記の撮像方法に代えて、ＣＣＤカメラを用いても問題はない。
【０１６７】
図１８により、本発明にかかる手書き入出力システム１に用いる、光制御部１４およびドットパターン解析部８の働きについて説明する。
【０１６８】
同図（ａ）は光制御部１４によるＬＥＤ３４の発光タイミング、および撮像素子１２によりドットパターンを撮像して記憶素子に送信するタイミング、およびドットパターン解析部８による画像データの解析タイミングの第一のパターンを説明する時系列である。第一のパターンにおいては、発光ｆｔｎ、撮像ｒｔｎ、解析ａｔｎが順に行われ、解析ａｔｎが終了すると、所定時間ｔsが経過するまで次の発光ｆｔｎ+１は行われない。ここで、所定時間ｔｓとは撮像素子１２がドットパターンの撮像・送信・解析に必要とする時間の予想値のうち、最大の値を予想撮像・送信・解析時間として定義したものである。
【０１６９】
同図（ｂ）は光制御部１４によるＬＥＤ３４の発光タイミング、および撮像素子１２によるドットパターンの撮像・送信タイミング、およびドットパターン解析部８による画像データの解析タイミングの第二のパターンを説明する時系列である。第二のパターンにおいては、解析ａｔｎが終了すると、光制御部１４は解析の終了を検知して、直ちに次の発光ｆｔｎ+１行われ、次のドットパターンの撮像ｒｔｎ+１、解析ａｔｎ+１が行われる。
【０１７０】
同図（ｃ）は光制御部１４によるＬＥＤ３４の発光タイミング、および撮像素子１２によるドットパターンの撮像・送信タイミング、およびドットパターン解析部８による画像データの解析タイミングの第三のパターンを説明する時系列である。第三のパターンにおいては、タスク処理または光制御部１４およびドットパターン解析部８を複数備えることにより、解析ａｔｎ−１と同時に次の解析のためのドットパターンの撮像ｒｔｎを行い、解析ａｔｎ−１が終了すると直ちに発光ｆｔｎ+１が行われ、続いて既に撮像ｒｔｎにおいて撮像された画像データの解析ａｔｎが行われる。なお、さらに、発光ｆｔｎ+１と同時に解析ａｔｎを開始してもよいが、ＬＥＤ３４の発光時間は極めて短いため、ＬＥＤ３４が発光してからドットパターン解析部８が画像データの解析を終えるまでの合計時間には殆ど変化がない。
【０１７１】
＜ペンの装着＞
また、ペン型スキャナ３１は、筆記具としてのペン３７が装着されている。通常ペン等の筆記具で印字する際は、傾斜させた状態で用いるため、ペン型スキャナ３１の外周は、４５度まで傾斜可能になるように形成されている。この場合、ペン３７の先端近傍の媒体面を撮像することにより、撮像中心から離れた位置のペン３７の印字の際の筆跡や移動距離等を正確に解析することも可能となる。また、後述するオフセット補正により、筆跡をさらに正確に解析することが可能である。
【０１７２】
筆記具としてのペン３７は、種々の方法により格納して、媒体上に筆跡を残さないようにすることも可能である。格納する方法は、一般的なボールペンなどのペンにおいて用いられている技術をそのまま利用できる。たとえば、ノック式、回転式による格納方法を採用してもよいし、キャップを被せてもよい。
【０１７３】
また、一般的な三色ボールペンのようにペンを換えられるようにすることもできる。この場合、色の異なるペン同士を換えるだけでなく、ペンに代えて消しゴムや修正液が使えるようにしてもよい。
【０１７４】
さらに、ペン３７に代えて指示用突起部２３（スタイラスペン）を設け、指示用突起部２３の筆跡近傍を撮像するものとしてもよい。指示用突起部２３内に格納スペースを設けてペン３７を格納して、指示用突起部としても使用してよい。
【０１７５】
＜オフセット補正＞
図１７（ａ）に示すように、ペン型スキャナ３１において、撮像部７が撮像するドットパターンが定義するＸＹ座標値と、ペン３７が実際に書き込む軌跡上のドットパターンが定義するＸＹ座標値は異なる。さらに、軌跡上のドットパターンが定義するＸＹ座標値は、媒体面上の書き込み領域におけるxy座標値に変換して、書き込み入力や操作指示を行う必要がある。
【０１７６】
本発明にかかる手書き入出力システム１においては、撮像部７が撮像するドットパターンのＸＹ座標値を、ペン３７が実際に書き込む軌跡上のドットパターンを補正する方法と、ドットパターン座標系のXY座標値から書き込み領域座標系のxy座標値への変換方法を以下に説明する。
【０１７７】
＜書き込み領域の座標系とドットパターンの座標系の関係＞
図１９に書き込み領域の一例を示す。
【０１７８】
書き込み領域座標系は左下隅を(0,0)とする。書き込み領域のxy座標値は、ｍｍ表示とする。例えば、(16,40)の座標位置であれば、書き込み領域の左下隅から右へ16ｍｍ、上へ40ｍｍ移動した位置を示す。
【０１７９】
書き込み領域内には、ドットパターン座標系のXY座標値を１組定義したドットパターンのブロックが連続して形成されている。XY座標値は、ブロックの中心点の位置を示す。ドットパターン座標系の座標値を書き込み領域座標系の座標値と区別するため、〔X,Y〕と表す。
書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの左下隅と原点(0,0)を一致させると、ドットパターン座標系におけるXY座標値は、図２０のように、どの書き込み領域でも左下隅が〔-0.5,-0.5〕となるようにドットパターンが形成される。この場合は、各書き込み領域に形成されたドットパターンには、固有のコード値を定義して各書き込み領域を特定する。互いに特定する必要のない場合は、同一のコード値を定義してもよい。
【０１８０】
また、図２２のように、紙面全面にXY座標値を定義したドットパターンを形成し、書き込み領域には、上記XY座標値の他、固有のコード値を定義する。この場合、書き込み領域の左下隅のXY座標値は、〔Xn0,Yn0〕(nは書き込み領域を特定する番号)となる。
【０１８１】
次に、各ブロックの一辺をLｍｍとすると、XY座標値は以下のように書き込み領域座標系に変換する。
【０１８２】
図２０のように、原点(0,0)のXY座標値を〔-0.5,-0.5〕としてドットパターンを形成した場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域座標系では、
(X×L＋L／2, Y×L＋L／2)となる。
なお、図２１のように、書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの中心点と原点を一致させると、
(X×L, Y×L)となる。
【０１８３】
なお、図２１の例における書き込み領域座標系とドットパターン座標系との関係は、図１９の拡大図部分の例と同じである。
【０１８４】
図２２のように、書き込み領域の左下隅のXY座標値が〔Xn0,Yn0〕となる場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域n座標系では、
((X−Xn0)×L,(Y−Yn0)×L) となる。
【０１８５】
＜撮像中心Cのドットパターン座標系におけるXY座標値〔Xc,Yc〕の算出＞
図２３を用いて、撮像中心CのXY座標値〔Xc,Yc〕の算出方法を説明する。
撮像画像を所定の解像度のフレームバッファに一時記憶し、画像解析することにより、隣り合うブロックの中心間隔を構成するピクセル数Mを求める。ブロックの中心間隔は、ブロックの一辺の長さLに等しいので、Lに対する撮像画像の１ピクセル当たりのサイズを、ドットパターン座標系での値kとすると、
k＝L／Mとなる。
【０１８６】
同じく画像解析により、撮像中心Cから最も近いブロック中心P〔Xｐ,Yｐ〕と、撮像中心Cとの間隔を構成するピクセル数uが求まる。撮像中心Cから、撮像中心から最も近いブロック中心Pまでの距離CPは、
CP＝k×uとなる。
【０１８７】
次に、ドットパターンの向き（書き込み領域の向き）が書き込み領域の上方向になるようにドットパターンが紙面に形成されている場合、ドットパターンの向きとPCベクトルとのなす角をθ'（左回転を正の方向とする）とすると、
〔Xc,Yc〕＝〔Xｐ−CP×sinθ', Yｐ＋CP×cosθ'〕
が求まる。
【０１８８】
＜ペン先の書き込み領域座標系におけるxy座標値Q（xq,yq）の算出（ペンが紙面に対し垂直な場合）＞
図２４のように、書き込み領域座標系における撮像中心Cの座標値を（xc,yc）、ペン先の媒体面における座標値をQ（xq,yq）とする。図２５のように、点Cと点Qのx座標値、y座標値の差分を、それぞれΔxq、Δyqとすると、
Δxq ＝xq −xc
Δyq＝yq−yc
が求まる。
【０１８９】
ドットパターンの向きが書き込み領域上方向になるように、ドットパターンが形成されている場合に、撮像中心Cを始点とし、ペン先を終点とするCQベクトルの向きをペン型スキャナ３１の向きとする。
【０１９０】
ドットパターンの向きとペン型スキャナ３１の向きのなす角をθ（左回転を正の方向とする）とする。
【０１９１】
また、図２６のように、ペン型スキャナ３１が紙面に対し垂直な状態での、撮像中心Cからペン先Qまでの距離をsとすると、
Δxq およびΔyqは、
Δxq ＝−s×sinθ
Δyq＝s×cosθ
となる。
【０１９２】
従って、xqおよびyqは、
xq ＝xc −s×sinθ
yq＝yc＋s×cosθ
となる。
【０１９３】
＜ペン先の書き込み領域座標系におけるxy座標値Q'（xq',yq'）の算出（ペンが紙面に対し傾いている場合）＞
図２７のように、ペン型スキャナ３１が紙面に対し傾いている場合、前述の撮像中心Cからペン先Qまでの距離が変化する。
【０１９４】
ペン型スキャナ３１本体の紙面の法線方向からの傾き（以下、「ペンの傾き」という。）をαとしたときの、撮像中心からペン先までの距離をs'とすると、前記の式はs→s'と置き換えられ、
xq' ＝xc −s'×sinθ
yq'＝yc＋s'×cosθ
となる。
また、
s'＝s／cosα
であるので、これを当該式に代入すると、
xq' ＝xc −s'×sinθ/ cosα
yq'＝yc＋s'×cosθ/ cosα
となる。
【０１９５】
＜ペン先がペン本体に収納された状態で利用する場合の撮像中心からペン先までの距離＞
なお、図２８のように、ペン先が格納されると、ΔLだけペン型スキャナ３１が紙面に近づくがsおよびs'には影響を及ぼすものではなく、計算式は同一となる。
【０１９６】
＜ペンの傾きαの算出方法＞
ペンの傾きαを検出するには、ペン本体に傾きセンサなどの傾き計測手段を設けても良い。
【０１９７】
または、撮像画像の所定複数p箇所の明るさBLi,j=1,pを求め、最も明るい箇所と最も暗い箇所の明るさの差ΔBLを用いて関係式α＝f(ΔBL)からペンの傾きαを求めることもできる。
【０１９８】
α＝f(BLi,j=1,p)のようにBLi,jをパラメータとして、フーリエ関数やsin関数を用いてαを求めることもできる。
【０１９９】
また、ΔBLとαを対応させるテーブルを予め作成し、αを算定してもよい。なお、ペンを傾けた方向は、BLi,j=1,pの最も暗い箇所から、最も明るい箇所の方向を計測することにより求まる。
【０２００】
＜媒体２＞
図２９〜４２は、本発明にかかる手書き入出力システム１に用いる媒体２を説明する図である。
【０２０１】
図２９は、表面全体にドットパターンを印刷（形成）して書き込み領域とした媒体２を示す図である。
【０２０２】
かかるドットパターンはＸＹ座標値およびページコードを定義している。ここで、ページコードとはコード情報を用いて、媒体を特定をするコードを意味する。
【０２０３】
図３０は、ページコードおよびＸＹ座標値を定義したドットパターンが印刷された領域内に、アクションコードをさらに定義した別のドットパターンが印刷された媒体２を示す図である。
【０２０４】
ここで、アクションコードとはコード情報を用いて、特定した媒体への手書き入力に対して情報処理部１１に所定の操作（特にアプリケーションの操作）を命令するコードを意味する。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０２０５】
本媒体は、複数枚が組になっており、シート毎に異なるページコードが割り当てられている。ページコードはたとえば１ページ目は「０１」、２ページ目は「０２」、３ページ目は「０３」である。
【０２０６】
アクションコードを定義したドットパターンが印刷された領域には、かかるアクションコードがどのような意味を持つものであるかユーザに説明するためのテキスト、グラフィック、写真、アイコンを重畳して印刷することができる。たとえば「開始」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションの起動を命令する。「中止」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによる入力結果の破棄（キャンセル）を命令し、または、情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、情報処理部１１に対して処理の実行を中止することを命令する。「保存」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部に対して手書き入出力用アプリケーションによる入力結果の保存を命令する。「終了」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションの終了を命令する。
【０２０７】
図３１は、ＸＹ座標値およびページコードを定義したドットパターンが印刷された領域と、アクションコードおよびページコードを定義したドットパターンが印刷された領域が分かれている媒体２を示す図である。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０２０８】
図３２は、ＸＹ座標値およびページコードを定義したドットパターンが印刷された第一の媒体と、アクションコードのみを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体を示す図である。この場合、媒体のどの頁でも、手書き入力に対する各種命令を実行できる。なお、書き込み領域とアイコンとを別体に設ける場合、図３２のように、ペーパーコントローラとする場合の他、シール、付箋紙、カードとして、他の媒体に貼付してもよい。
【０２０９】
なお、「本文入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、本文となる文字または図形の入力を命令する。「コメント入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、コメントとなる文字または図形の入力を命令する。「編集」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、文字または図形の編集を命令する（すなわち、手書き入出力用アプリケーション以外のアプリケーションにより作成された文書、画像等のファイルを編集することも可能である。）。「決定」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、情報処理部１１に対して処理の実行を決定することを命令する。
【０２１０】
図３３は、ＸＹ座標値およびページコードＡを定義したドットパターンが印刷された第一の媒体と、アクションコードおよびページコードＡを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体が一つの冊子となったものを示す図である。
【０２１１】
この場合、書き込み領域には各ページ同一のＸＹ座標が登録されたドットパターンが印刷されていてもよい。なぜなら、書き込み操作を行う際には、アクションコードおよびページコードが登録されたコントローラ領域のアイコンを使用すれば、書き込み領域を特定できるからである。つまり、ＸＹ座標値を変更することなく書き込み領域の位置、ページを変更することが可能ともいえる。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０２１２】
上記の他、書き込み領域全体に、情報処理部に対して手書き入出力用アプリケーションの起動を命令するアクションコードを定義したドットパターンを印刷してもよい。この場合、媒体面において書き込みが行われると自動的に手書き入出力用アプリケーションが起動するようになる。
【０２１３】
また、媒体上の書き込み領域は一つに限らず、複数定義することも可能である。
【０２１４】
（複数の書き込み領域が設けられる場合に関して）
以下、図３４〜３８を用いて、複数の書き込み領域が設けられる場合に関して、４つの例を用いて説明する。
【０２１５】
＜第1の例＞
第1の例は、図３４に示すように、複数の書き込み領域毎に、異なるドットパターン座標系によるXY座標値と書き込み領域を特定するコード値とを定義したドットパターンが形成される場合である。
【０２１６】
この図では、それぞれの書き込み領域ごとに、ドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値ｍ、ｎを定義したドットパターンが形成されている。
【０２１７】
コード値は複数の情報を定義することにより、書き込み領域のみならずページ番号を分類する分類番号などを含めることができる。
【０２１８】
ページ番号が含まれると、どのページのどの書き込み領域なのかを判別でき、書き込み領域で情報や処理命令、択一などの選択項目があり、共通のコードとして処理する場合では、定義されたページ番号や、選択項目を特定する情報を合わせてコード値として定義できる。
【０２１９】
なお、図３５に示すように、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。この図では、コード値をｎ１、ｎ２、ｎ３、ｎ４としている。これにより、１つの書き込み領域内に複数の選択項目を設定できる。
【０２２０】
この第1の例では、各領域の左下隅が常に０（原点）となるので扱いがしやすいという利点がある。
【０２２１】
＜第2の例＞
第2の例は、図３６に示すように、所定領域全面に1つのドットパターン座標系によるXY座標値を定義したドットパターンが形成され、書き込み領域のドットパターンにはXY座標と共にコード値も定義されている場合である。
【０２２２】
この図では、所定領域の左下隅を原点とする１つのドットパターン座標系でXY座標値を定義したドットパターンが、所定の領域全面に形成されている。この所定の領域内にある、二つの書き込み領域はそれぞれ、左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎとが定義されている。
【０２２３】
コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。
【０２２４】
なお、書き込み領域以外のドットパターンが形成された領域には書き込みはできないようになっている。
【０２２５】
第2の例によれば、XY座標値を読み取ることで、書き込み領域が、所定領域内のどこにレイアウトされているかが容易にわかる。
【０２２６】
＜第3の例＞
第3の例は、図３７に示すように、書き込み領域の中に、さらに書き込み領域を入れ込む場合である。
【０２２７】
この図では、所定領域の左下隅を原点とする１つのドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値Lとを定義したドットパターンが、所定の領域全面に形成されている。この所定の書き込み領域内にある、二つの書き込み領域は、それぞれ、左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎが定義されている。
【０２２８】
この例によれば、文章や図形を自由に書きこむ大きな書き込み領域内に、選択項目欄などの小さな書き込み領域を配置することが容易になる。
【０２２９】
仮に、これを第1の例によって実現しようとすると、書き込み領域内にさらに書き込み領域を形成する際、穴の空いた書き込み領域を設ける必要があり、ドットパターンの形成が複雑な作業となる。
【０２３０】
さらに、１つの座標系で、書き込み領域内に書き込み領域を形成できれば、入力モードを変更することにより、書き込み領域内の書き込み領域を無視して、書き込み作業を行うことができるように設定することが可能となる。例えば、書き込み領域内の書き込み領域に書き込みを行う場合は、入力モードを切り替えるか、特定の記号を描いた場合に限り、有効となるような設定を設けてもよい。
【０２３１】
なお、コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。
【０２３２】
この例においては、XY座標値を読み取ることで、書き込み領域がどこにレイアウトされているかが容易にわかる。
【０２３３】
＜第4の例＞
第4の例は、図３８に示すように、所定領域全面に1つのドットパターン座標系を定め、書き込み領域にはこの座標系でのXY座標値と書き込み領域を特定するコード値を定義したドットパターンが形成される場合である。
【０２３４】
この図では、所定の領域内に左下隅を原点とする１つの座標系を定め、この領域内にある、二つの書き込み領域に、それぞれ左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎとが定義されたドットパターンが形成されている。
【０２３５】
この例では、第2の例とは異なり、書き込み領域以外の範囲にはドットパターンは形成されていない。
【０２３６】
この例では、グラフィック、テキストなどの印刷物の版下と、ドットパターンの版下がある場合、印刷物の版下の座標系に合わせて自動的に書き込み領域の範囲を、マスクを配置することによってレイアウトするマスク処理をしてドットパターンの版下を作成することが可能となり、容易にドットパターンを発行することが出来る。
【０２３７】
また、ドットパターンを読み取ったとき、XY座標値を読み取ることで、書き込み領域が所定の領域内のどこにレイアウトされているかが分かるため、例えば紙面上のどこに配置すれば広告効果が高いかなどのリサーチに用いることが可能となる。
【０２３８】
なお、以上の説明では全て、ドットパターン座標系を用いて説明をしたが、ドットパターン座標系から変換された書き込み領域座標系であっても同様であることは当然である。
【０２３９】
図３９は、媒体上に複数の書き込み領域を定義した具体例である書類を示す図である。
【０２４０】
同図（ａ）はかかる書類において、各書き込み領域にＸＹ座標値の原点および書き込み領域の特定を命令する特定コードが定義されたものを示す図である。
【０２４１】
同図（ａ）においては「氏名」の書き込み領域内に「フリガナ」の書き込み領域が、「住所」の書き込み領域内に「郵便番号」の書き込み領域が、「周辺の地図」の書き込み領域内に「徒歩（の時間）」、「電車（の利用時間）」、「バス（の利用時間）」の書き込み領域が定義されている。
【０２４２】
また、「性別」の書き込み領域は「男」と「女」の書き込み領域に、「生年月日」の書き込み領域は「年」、「月」、「日」の書き込み領域にそれぞれ分割されている。
【０２４３】
このような書き込み領域のレイアウトは、それぞれに異なった特定コードを割り当てることにより可能となる。
【０２４４】
同図（ｂ）はかかる書類において、各書き込み領域にはＸＹ座標値の原点が定義されず、書き込み領域の特定を命令する特定コードのみが定義されたものを示す図である。
【０２４５】
このような構成にすることにより、書き込み情報の媒体面全体での位置を特定することができる。
【０２４６】
詳細は後述するが、各書き込み領域には、書き込まれる文字または図形を分類することで
図４０は、図３９の書類に実際に手書き入力を行った状態を示す図である。
【０２４７】
同図（ａ）は実際に手書き入力を行った図３９（ａ）の書類を示す図である。
【０２４８】
同図（ｂ）は、同図（ａ）の手書き入力を受けて、情報処理部１１が行った処理の結果をディスプレイ６上に表示し、または印刷により出力した状態を示す図である。
【０２４９】
詳細は後述するが、本発明にかかる手書き入出力システム１は、手書き入力した文字および図形をいくつかの方法により認識することにより、同図（ｂ）のような出力を行う。
【０２５０】
＜ドットパターンを新たに印刷する＞
本発明の手書き入出力システム１においては、手書き入力を行い、情報処理部１１において手書き入力を反映させたものを印刷して、再度手書き入力を行うこともできる。
【０２５１】
図４１（ａ）は、軌跡認識部９が認識した軌跡情報と、ドットパターンを重畳して印刷した媒体２を示す図である。図示はしないが、図４１（ａ）に示す媒体２には、最初に手書き入力を行った媒体２に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。
【０２５２】
図４１（ｂ）には、情報処理部１１が行った処理の結果を、ドットパターンを重畳して印刷した媒体２を示す図である。図示はしないが、図４１（ｂ）に示す媒体２には、最初に手書き入力を行った媒体２に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。この場合、XY座標は同一で、ページコードのみを変更して印刷してもよい。
【０２５３】
＜点字・バンク＞
また、媒体２にはバンクガイド３８（幅狭の凸部）または点字３９をさらに設けてもよい。
【０２５４】
図４２は、書き込み領域の外周にバンクガイド３８を設け、書き込み領域にはドットパターンとともに点字３９の突起を設けたものである。このようにバンクガイド３８を設けることにより視覚障害を持つユーザが手書き入出力を使用するときも書き込み領域の位置がわかり、点字３９とドットパターンを同じ領域に設けておくことにより、視覚障害を持つユーザが手書き入出力を使用するときにも健常者と同様の入力効率を保つことができる。
【０２５５】
＜ドットパターン解析部＞
ドットパターン解析部８は、前述のＧＲＩＤ１におけるドットパターンを用いた情報の入出力方法に従い、画像データをコード解析することにより、ドットパターンが定義するＸＹ座標情報およびコード情報を求める。
【０２５６】
本発明にかかる手書き入出力システム１においては、ユーザが撮像部７により媒体上に書き込んだ（トレースした）軌跡をドットパターン解析部８が順次コード解析するため、ＸＹ座標情報およびコード情報はこの軌跡を表すものである（軌跡情報）。
【０２５７】
＜軌跡認識部＞
軌跡認識部９は、軌跡情報の変化に基づき、媒体上に書き込まれた文字、図形を認識する。
【０２５８】
軌跡認識の方法は、一般的なＯＣＲ（光学的文字読取装置）のように、文字、図形をグラフィックとして考え、データベース内の文字、図形のＸＹ座標のパターンを参照することにより行う方法である。
【０２５９】
ここで、本発明においては特に、コード情報によって書き込み領域に書き込む内容を予め指示しておくことができる。すなわち、予め分類された文字および／または図形情報パターンテーブルを参照することで、軌跡情報を高精度で認識することが可能である。具体例としては、予めアラビア数字のみを記載することを指示しておけば、軌跡認識部９はアラビア数字のテーブルのみを参照するため認識率は高まる。認識ができない場合は、通常通りデータベース内の全ての文字、図形を参照すればよい。
【０２６０】
さらに、上記の軌跡認識を行った上で、書き込み領域に書き込まれた文字および／または図形、もしくは１または複数の文字からなる語句の、意味情報を、コード情報に対応する予め定義された意味情報コードテーブル（辞書）を参照することで、意味情報コードに変換することもできる。すなわち、軌跡認識部９はたとえば「東京都文京区」という書き込みがされた場合、「東」「京」「都」文」「京」「区」と、まず一文字ずつパターン認識を行うが、さらに、意味情報コードテーブル（辞書）を参照して、「東京都」に予め対応するものとして定義された意味情報コードと、「文京区」に予め対応するものとして定義された意味情報コードに変換することにより、情報処理部は「東京都」「文京区」という地名が入力されたものと認識することができる。
【０２６１】
また、意味情報コードテーブル（辞書）を参照することは、文字のパターン認識を補助することにもなる。たとえば「東京」の「東」の文字をユーザが汚く書いたために、ユーザが「東」と書いたのか「車」と書いたのか軌跡認識部９が認識することが困難である場合、意味情報コードテーブルにおいて「東京」という熟語が定義されており、「車京」という熟語が定義されていなければ（「車京」という熟語は通常存在しない）、ユーザは「東」という文字を書いたものとして軌跡認識部９は認識をすることができる。
【０２６２】
＜計時部＞
本発明にかかる手書き入出力システム１は計時部１５をさらに備えてもよい。計時部１５は時間情報を検出する機能を持つ。
【０２６３】
ここで、時間情報は、
（１）撮像部７が書き込み領域面に触れて描かれた筆歴の順番とする。
【０２６４】
（２）撮像部７が書き込み領域面に触れて、離れるまでの時間の集合とし、書き始めてから、撮像部７が離れている時間を無視する。つまり、撮像部７が離れている時間を省き、（１）の始まりと、終わりの時間から、手書き入力時間とその順番を記述する。これにより、文字を書く時間が分かり、文字認識の精度向上と、対象者の文字入力速度がわかる。
【０２６５】
（３）撮像部７が書き込み領域面に触れる、離れるの、全ての時間を記録することにより、アンケートや、商品の選択などに、どれくらい時間を要したかがわかり、通常時との比較を行うことにより、難易性や思考状態、書き手の性格、年齢、性別などを把握できる。
【０２６６】
（４）また、ペンの移動速度を把握することにより、文字のハネや書きづらさを解析でき、さらに書き手の心理状態や健康状態を推測することもできる。
【０２６７】
＜角度測定部・角度変化認識部＞
本発明にかかる手書き入出力システム１は角度測定部１６・角度変化認識部１７をさらに備えてもよい。角度測定部１６・角度変化認識部１７は撮像部７の媒体面に対する傾きを測定・認識する。
【０２６８】
角度測定・角度変化認識の方法は、既に述べたペンの傾きαの算出方法をそのまま用いることができる。この場合、撮像部７がペンを備えなくとも傾きを測定・認識することは可能である。また、図４３〜４７に示すように、特願２００５−２６７５６５号（ＰＣＴ／ＳＧ２００６／０００２６７）にかかる情報出力装置の発明において開示されている傾きの算出方法を用いることができる。ただし、これら以外の方法を用いてもよい。
【０２６９】
なお、傾きの測定・認識の基準となる撮像部７の媒体面に対する角度変化の認識は、撮像部７を媒体面に対して鉛直状に立てたときの角度のみならず、撮像部７が媒体面に触れた際の角度を基準とすることができるものとする。
【０２７０】
＜回転角読み取り部・回転角変化認識部＞
本発明にかかる手書き入出力システム１は回転角読み取り部１８・回転角変化認識部１９をさらに備えてもよい。回転角読み取り部１８・回転角変化認識部１９は撮像部７の撮像光軸を概ね鉛直状に立て、回転させたときの回転角を読み取り・認識する。
【０２７１】
なお、ドットパターンの向きと撮像部７の向きの為す角度を求める方法はオフセット補正の項で既に説明しているが、この方法はペンの有無にかかわらず、回転角の読み取り・認識方法に利用できる。すなわち、ドットパターンの向きは常に一定であるため、撮像部７を媒体面に対して鉛直上に立てて最初に撮像したときのドットパターンの向きと撮像部７の向きの為す角度θ１と所定の時間経過後のドットパターンの向きと撮像部７の向きの為す角度θ２（左回転を正の方向とする）との差を回転角として読み取り・認識することができる。
【０２７２】
＜タッチ動作と跳ねる動作の判別方法＞
本発明にかかる手書き入出力システム１において、撮像部７を書き込み領域にタッチする動作（タッチ動作）と、書き込み領域に触れた状態から跳ねる動作（跳ねる動作）の判別方法を図４８に説明する。
【０２７３】
同図（ａ）に示すように、撮像部７を書き込み領域にタッチする場合、撮像部７が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる。そして、撮像部７を書き込み領域から離すとＬＥＤ３４からの照射光が媒体面に反射しなくなるためＣ−ＭＯＳセンサ３５はＬＥＤ３４からの照射光（媒体面からの反射光）を検知せず、同図（ｃ）に示すように、ドットパターンを撮像することができない。
【０２７４】
同図（ｂ）に示すように、撮像部７を書き込み領域に触れた状態から跳ねる場合、撮像部７が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる、つまりここまでは書き込み領域にタッチする動作と同様である。そして、撮像部７を書き込み領域に触れた状態から跳ねると、撮像部７の先端は依然として所定時間書き込み領域へ向いていることにより、ＬＥＤ３４からの照射光は媒体面に反射するため、Ｃ−ＭＯＳセンサ３５は媒体面上のドットパターンを一応撮像するが、撮像部７の移動速度が速いことから、同図（ｄ）に示すように、ドットパターンがぼやけて解析することはできない。
【０２７５】
すなわち、撮像部７が書き込み領域をタッチしてドットパターンを撮像し、解析した瞬間を基準時として、所定時間経過後（例：０．２秒後）に撮像した画像データを解析して、ドットパターンを撮像しない（反射光を検知しない）ときは、撮像部７はタッチ動作をしたものとして、処理命令部１０は情報処理部１１に対して、タッチ動作と対応するものとして予め定義づけられた処理命令を送信する。ドットパターンを撮像するが（反射光を検知するが）、ドットパターンがぼやけて解析することができないときは、撮像部７は跳ねる動作をしたものとして、処理命令部１０は情報処理部１１に対して、跳ねる動作と対応するものとして予め定義づけられた処理命令を送信する。なお、同図（ｅ）に示すように、ドットパターンを解析することができるときは、通常の手書き入力動作に他ならない。
【０２７６】
＜処理命令部＞
処理命令部１０は、軌跡認識部９が認識した情報に基づく処理命令を、軌跡情報とともに情報処理部１１に対して送信する。
【０２７７】
既に説明した、媒体面に印刷したドットパターンが定義する、ページコードに基づく頁を特定する命令、特定コードに基づくある書き込み領域を特定する命令、アクションコードに基づく種々の命令は、処理命令部１０が実際に情報処理部１１に対して行う。
【０２７８】
また、処理命令部１０は、詳細は後述するが、手書き入出力用アプリケーションにおける各種のオペレーションの実行を情報処理部１１に対して命令する。
【０２７９】
さらに、角度測定部１６・角度変化認識部１７による測定・認識結果、および回転角読み取り部１８・回転角変化認識部１９による読み取り・認識結果に基づく予め定められた処理命令を情報処理部１１に対して命令する。
【０２８０】
＜情報処理部＞
情報処理部１１は、本発明にかかる手書き入出力システム１が行う処理命令を受けて、各種の処理を実行する。
【０２８１】
＜サーバ＞
本発明にかかる手書き入出力システム１は、必要に応じて各種の情報を記録したサーバ５にアクセスしてもよい。
【０２８２】
＜軌跡認識用サーバ＞
サーバ５には、たとえば軌跡認識用の情報を記憶することができる。一般的なＯＣＲ（光学的文字読取装置）で採用されているように複数の文字および図形にＸＹ座標パターンが定義づけられて記憶されている。
【０２８３】
また、文字および図形には、これらを分類するための分類コードが定義づけられて記憶されている。
【０２８４】
さらに、文字および図形には、意味情報コードテーブル（辞書）を参照することにより、１または複数の文字からなる語句または図形、もしくはこれらの組み合わせを出力するための意味情報コードが定義づけられて記憶されている。
【０２８５】
本発明にかかる手書き入出力システム１においては、ＸＹ座標情報のみならずコード情報を用いて書き込み領域を特定することができるため、書き込み領域の量（数）が膨大であっても、容易に管理することができる。特に、誰もが利用できる共有のグローバルサーバに書き込み情報を記憶する場合に極めて有効である。
【０２８６】
＜その他のサーバ＞
サーバ５には軌跡認識用の情報以外にも、音声、文書、画像、動画、アプリケーション、その他の様々な情報を記憶することができることは説明するまでもない。たとえば手書き入出力用アプリケーションを記憶することができる。すなわち、情報処理部１１が手書き入出力用アプリケーションを持たないとき、サーバ内を検索して、サーバ上の手書き入出力用アプリケーションを実行することができる。ただし、サーバ上の手書き入出力用アプリケーションを優先して実行してもよい。
【０２８７】
なお、サーバ５に代えて、他の情報処理部１１の手書き入出力用アプリケーションを実行してもよい。
【０２８８】
当然ながら、サーバ５は上記の実施例以外にも形態を種々変更して実施することができるものとする。
【０２８９】
＜手書き入出力用アプリケーション＞
以下に、本発明にかかる手書き入出力システム１において実行される、手書き入出力用アプリケーションについて説明する。
【０２９０】
かかるアプリケーションは各種のオペレーションを実行することにより媒体面への書き込みをコンピュータ上でも反映させるシステムである。
【０２９１】
媒体面への書き込みは処理命令部１０が情報処理部１１に対してリアルタイムに命令することにより、処理結果が表示されるディスプレイ６を見ながら行ってもよいし、ディスプレイ６を見ずに書き込みを行い、書き込み後に処理命令部１０が情報処理部１１に対して命令してもよいものとする。
【０２９２】
＜書き込み操作＞
以下、本発明にかかる手書き入出力システム１における、書き込み操作について説明する。
【０２９３】
書き込み操作は、入力しようとする文字または図形を、撮像部７を用いて媒体面の書き込み領域に書き込むことにより行う。
【０２９４】
撮像部７は、撮像部７が媒体面を移動している間、所定の時間間隔において書き込み領域に重畳的に印刷されたドットパターンを撮像する。後の手順は既に説明したとおりである。
【０２９５】
以下、手書き入出力システム１が実行する各オペレーションについて説明する。
【０２９６】
＜文字および図形の認識方法＞
図４９は本文の文字を手書き入力する第一のオペレーションを説明するイメージ図である。
【０２９７】
同図（ａ）のように、撮像部７を用いて書き込み領域に文字を書くと、
同図（ｂ）のように、撮像部７は軌跡上のドットパターンを順次撮像して、ドットパターン解析部８はＸＹ座標情報とコード情報からなる軌跡情報を取得する。
【０２９８】
なお、説明の便宜のため同図（ｂ）においては軌跡上のドットパターンの撮像位置の間隔は広くとってあるが、実際にはもっと狭い。
【０２９９】
同図（ｃ）のように、軌跡情報に基づいて認識を行った結果に基づいて、情報処理部１１は第一のオペレーションを実行し、ディスプレイ６に結果を出力する。
【０３００】
同図（ｄ）のように、図形を認識する場合も、文字を認識する場合と何ら認識方法に変化はなく、同図（ｅ）のように認識結果がディスプレイ６上には表示される。
【０３０１】
ただし、文字および図形の認識を行わず、ドットパターン解析部８が求めたＸＹ座標情報をそのまま入出力してもよい。この場合、本発明にかかる手書き入出力システム１はペンタブレットとして機能する。
【０３０２】
＜第二のオペレーション＞
図５０に示すように、第二のオペレーションはコメントの文字を手書き入力するオペレーションである。なお、同図では説明の便宜を図るためにコメント部分を破線により囲んでいるが、実際に破線を書き込む必要はない。
【０３０３】
文字または図形の認識方法は第一のオペレーションの方法と同一である。
【０３０４】
第二のオペレーションにおいて入力されたコメントの文字は、情報処理部１１においても本文とは別のコメントとして認識される。
【０３０５】
コメントは図５１のように、行間に記入したものが情報処理部１１においてそのまま反映されてもよいが、図５２のように、本文中のコメントを挿入したい部分を下線により指定することによって、情報処理部１１において本文の脇にコメントが列挙されるようにしてもよい。
【０３０６】
＜第三のオペレーション＞
第三のオペレーションは手書き入力した文字を編集するオペレーションである。
【０３０７】
各編集は、情報処理部１１において編集記号としてあらかじめ定義される文字または図形を、撮像部７を用いて書き込むことにより行う。
【０３０８】
文字または図形の認識方法は第一のオペレーションの方法と同一である。
【０３０９】
図５３は本発明の第三のオペレーションである編集操作において用いる編集記号を説明する図である。
【０３１０】
１つの閉じた領域を形成する線は領域内の文字または図形を選択する編集記号を意味する。
【０３１１】
領域を閉じない括弧状の二組の線は二組の線の間の文字または図形を選択する編集記号を意味する。
【０３１２】
レ点はカット＆ペースト時にカットの対象を指定する編集記号を意味する。
【０３１３】
二重線は削除（消去）の編集記号を意味する。
【０３１４】
「トル」は削除（消去）の編集記号を意味する。
【０３１５】
「イキ」は編集記号「トル」の取り消しの編集記号を意味する。
【０３１６】
三往復以上のジグザグ線は編集の取り消しの編集記号を意味する。
【０３１７】
双方向の矢印は選択した文字または図形同士を入れ替える編集記号を意味する。
【０３１８】
一方向のみの矢印はペースト先を直接指定する編集記号を意味する。
【０３１９】
文字（Ａ）、（Ｂ）、（Ｃ）．．．は選択した文字または図形をフラグ付けした状態でコピー（カット）し、離れた位置にあるペースト先を指定する編集記号を意味する。
【０３２０】
ただし、上記以外の編集記号を定義してもよいことはいうまでもない。
【０３２１】
図５４は第三のオペレーションを実行する前の媒体２を示す図である。媒体２には第一のオペレーションを実行して手書き入力された文書または手書き入力した結果、印刷された文書が記入されている。
【０３２２】
図５５は第三のオペレーションにおける媒体２上での編集状態を説明する図である。
【０３２３】
同図（ａ）のように、領域を閉じる線を書き込むときには、手書き入出力用アプリケーションにおいては線により閉じた領域内を一個の編集対象として認識する。
【０３２４】
同図（ｂ）のように、領域を閉じない括弧状の線を書き込むときには、後の領域において同図（ｃ）のように、対応する括弧閉じ状の線を描くことにより間の領域を一個の編集対象として手書き入出力用アプリケーションにおいては認識する。特に、編集対象が数行にまたがる場合に用いる。
【０３２５】
同図（ｄ）のように、編集対象を選択した状態において編集対象を示す線上に「トル」を描くときには、手書き入出力用アプリケーションにおいては編集対象の文字を削除する。
【０３２６】
同図（ｅ）のように、編集対象を選択した状態において編集対象から所定の位置までを指定する矢印を描くときには、手書き入出力用アプリケーションにおいては編集対象を指定した領域にカット＆ペーストまたはコピー＆ペーストする。ここで、ペースト先は文字と文字の間（もしくは行頭または行末）に挿入するだけでなく、同図（ｆ）のように、ペースト先を編集対象とすることで元の文字を削除して上書きすることも可能である。
【０３２７】
この場合、同図（ｇ）のように、コピー元の編集対象を示す線上に削除の編集記号であるレ点を描き加えたときにはカット＆ペーストとして手書き入出力用アプリケーションにおいては処理され、カットしたもとの対象は削除される。同図（ｈ）のように、レ点を描き加えないときにはコピー＆ペーストとして手書き入出力用アプリケーションにおいては処理される。
【０３２８】
同図（ｉ）のように、編集対象に（Ａ）、（Ｂ）といったフラグとなる編集記号を描き加えると、編集対象は（Ａ）、（Ｂ）というフラグを付けた状態でコピーされ、以後は任意に何度でもペーストが可能でなる。さらに、同図（ｊ）のように、ページが異なるなど、離れた位置にもペーストすることが可能である。
【０３２９】
同図（ｋ）のように、文字の上に二重線を引くと、手書き入出力用アプリケーションにおいては二重線を引いた文字を削除する。
【０３３０】
同図（ｌ）のように、２つの編集対象を双方向の矢印の編集記号で結ぶと、手書き入出力用アプリケーションにおいては編集対象同士を入れ替える。
【０３３１】
図５６は第三のオペレーションにおける各編集を媒体２上で行った結果を手書き入出力用アプリケーションにおいてにおいて反映させた文章を示す図である。
【０３３２】
図５７は、図６０に示す第三のオペレーションの編集を行った後に、編集を取り消して編集前の状態に戻す操作を説明する図である。
【０３３３】
同図（ａ）のように、一度編集記号であるレ点を付して削除した領域に打ち消しの編集記号であるジグザグ線を加えると、手書き入出力用アプリケーションにおいては一度削除した領域について、削除を取り消して領域が元に戻る。
【０３３４】
同図（ｂ）のように、一度編集記号である（Ａ）マークを付してコピー＆ペーストを行ったところの、ペースト先を指定する編集記号である矢印部分にジグザグ線を加えると、手書き入出力用アプリケーションにおいてはコピー＆ペーストをして文字を挿入する前の状態に戻される。
【０３３５】
図５８は、第三のオペレーションにおける編集の取り消しを媒体２上で行った結果を手書き入出力用アプリケーションにおいて反映させた文章を示す図である。
【０３３６】
＜各オペレーションの階層関係＞
以下に、各オペレーションの階層関係について説明する。
【０３３７】
各オペレーションは、第三のオペレーションを第一および第二のオペレーションと並列するオペレーションとしてもよい。
【０３３８】
この場合、第三のオペレーション時においては本文の文字およびコメントの文字を同時に編集する。
【０３３９】
一方、第三のオペレーションは第一のオペレーションおよび第二のオペレーションにそれぞれ従属するサブオペレーションとしてもよい。
【０３４０】
この場合、第一のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においては本文の文字のみを編集し、第二のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においてはコメントの文字のみを編集する。
【０３４１】
当然ながら、本発明にかかる手書き入出力システム１は上記第一から第三のオペレーション以外にも、必要に応じて種々のオペレーションを実行できるものとして変更実施することができる。
【０３４２】
＜コンピュータへの保存＞
図５９に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、右回転させることにより、処理命令部１０は入力した文字および文書構成の結果（ファイル内容の変更結果）を保存することを情報処理部１１に命令する。撮像部７本体が、編集履歴を記録できる機能を有している場合は、上記文書構成の結果を情報処理部１１に送信する。
【０３４３】
図６０に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、左回転させることにより、処理命令部１０は入力した文字および文書構成の結果を破棄する（ファイル内容の変更をキャンセルする）ことを情報処理部１１に命令する。
【０３４４】
撮像部７の回転の認識には、先述の回転角読み取り・回転角変化認識の方法を利用する。
【０３４５】
＜アプリケーションの起動・終了＞
図６１に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、右回転させ、そのまま所定の時間内（例：１秒以内）に所定回転角度（例：１０度以上）左回転させることにより、処理命令部１０は情報処理部１１に対して手書き入出力用アプリケーションを起動することを命令する。
【０３４６】
図６２に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、左回転させ、そのまま所定の時間内（例：１秒以内）に所定回転角度（例：１０度以上）右回転させることにより、処理命令部１０は情報処理部１１に対して手書き入出力用アプリケーションを終了することを命令する。
【０３４７】
＜オペレーションの切り替え動作−方法１＞
以下に、図６３を用いて、オペレーションの切り替えをする第一の方法を説明する。
【０３４８】
この方法では、先述の角度測定・角度変化認識の方法を利用する。
【０３４９】
同図（ａ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の左側に倒すことにより、処理命令部１０は本文を手書き入力する第一のオペレーションを開始することを情報処理部１１に命令する。
【０３５０】
同図（ｂ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の右側に倒すことにより、処理命令部１０はコメントを手書き入力する第二のオペレーションを開始することを情報処理部１１に命令する。
【０３５１】
同図（ｃ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の上側に倒すことにより、処理命令部１０は本文およびコメントを編集する第三のオペレーションを開始することを情報処理部１１に命令する。
【０３５２】
同図（ｄ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の下側に倒すことにより、処理命令部１０は現在実行しているオペレーションを終了して、予め設定する通常時（起動時）のオペレーションを開始することを情報処理部１１に命令する。
【０３５３】
なお、図６４はオペレーションの切り替えをする第一の方法の説明を補足する、真上から見た平面図である。
【０３５４】
＜オペレーションの切り替え動作−方法２＞
以下に、オペレーションの切り替えをする第二の方法を説明する。
【０３５５】
オペレーションの切り替えは撮像部７本体に設けたボタンなどの入力手段によって行うものとしてもよい。
【０３５６】
また、撮像部７以外にもマウス、キーボード等の外部入力手段によりオペレーションの切り替えを行うものとしてもよい。
【０３５７】
＜オペレーションの切り替え動作−方法３＞
以下に、オペレーションの切り替えをする第三の方法を説明する。
【０３５８】
内部に複数のペン先を格納して切り替えることができる実施態様の撮像部７においては、ペン先の切り替え動作と連動してオペレーションを切り替えるものとしてもよい。
【０３５９】
この場合、オペレーション毎に色分けが可能となるため媒体上においても各オペレーションの見分けがつきやすくなる。
【０３６０】
また、ペン先に代えて消しゴムまたは修正液を装着する場合は、情報処理部１１においても書き込みではなく、文字または図形を消去するようにしてもよい。
【０３６１】
＜決定・取り消し＞
情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、図６５（ａ）に示すように、撮像部７を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内（例：１秒以内）にもう一度媒体面をタッチしたとき、処理命令部１０は情報処理部１１に対して処理の実行を決定することを命令する。
【０３６２】
同図（ｂ）に示すように、撮像部７を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内（例：１秒以内）にタッチがされないとき、処理命令部１０は情報処理部１１に対して処理の実行を中止することを命令する。
【０３６３】
＜他の使用方法＞
以上の構成は媒体２に書き込み履歴を残すことを前提とするものであるが、本発明にかかる手書き入出力システム１は媒体２に書き込み履歴を残すことなく、ディスプレイ６を見ながら手書き入力を行ってもよいことは先にも述べたとおりである。
【０３６４】
＜音声認識＞
本発明は手書き入出力システムであるが、手書き入力を補助する方法として音声認識および音声ガイドをすることができるものとしてもよい。
【０３６５】
＜音声収録部＞
音声収録部２０は、図６６に示すように、中央処理装置（ＭＰＵ）４０を中心に構成されている。すなわち、中央処理装置（ＭＰＵ）４０の制御によって、マイク４１から入力された音声情報は、アンプ４２を介してＡ／Ｄコンバータ４３、圧縮回路４４によって処理され、デジタル音声情報として、記録される。
【０３６６】
＜音声認識部＞
音声認識部２１は、録音した音声情報を対応するテキスト情報に変換し、処理命令部１０は情報処理部１１に対して、テキスト情報に基づく処理命令をテキスト情報と共に送信する。
【０３６７】
ここで、音声認識に前後して、分類コードを定義したドットパターンを撮像しておくことにより、音声認識の精度を高めることが可能である。すなわち、データベースを検索してテキスト情報を出力する際に全てのテキスト情報を参照することなく、分類コードに対応した音声認識情報テーブル内のテキスト情報を参照することにより、音声認識の精度が高まる。
【０３６８】
たとえば、「上野」と発声した場合、それが地名の上野なのか人名の上野なのかを把握することは難しいが、「住所」を意味する分類コードが撮像された後に「上野」という発声が音声情報として入力された場合、住所入力のカテゴリコードとともに「上野」の音声情報が情報処理部１１に送信される。
【０３６９】
＜音声収録モードへの切り替え＞
本発明に係る手書き入出力システム１が、手書き入力に代えて音声収録を行う場合、所定の操作を行なうことにより音声収録モードへの切り替えを行う必要がある。以下に、音声収録モードへの切り替え方法を説明する。
【０３７０】
＜特定の記号をなぞる＞
音声収録モードへ切り替える第一の方法としては、撮像部７が音声収録モードへの切り替えを意味する特定の記号を書き込む（なぞる、描く）ことにより、音声収録モードへ切り替える方法がある。軌跡認識部９が音声収録モードへの切り替えを意味する特定の記号の軌跡を認識して、音声収録部２０に送信することにより（または処理命令部１０を介して送信することにより）、音声収録部２０は音声収録を開始する。
【０３７１】
＜ペンを跳ねる＞
音声収録モードへ切り替える第二の方法としては、図６７に示すように、撮像部７を媒体面の書き込み領域に触れた状態で跳ねる動作をすることにより、音声収録モードへ切り替える方法がある。
【０３７２】
＜音声認識による切り替え＞
音声収録モードへ切り替える第三の方法としては、音声収録部２０に所定の音声を収録し、音声認識部２１が所定の音声を認識することにより、音声収録モードへ切り替える方法がある。
【０３７３】
処理命令部１０は、上記各種の方法による操作が行われた場合、情報処理部１１に対して、手書き入出力用アプリケーションにおいて手書き入力に代えて、音声入力を行うことを命令する。
【０３７４】
＜音声出力部＞
音声出力部２２は処理命令部１０からの指示に応じて所定の音声ファイルを再生する。音声ファイルは予めデジタル化されて記憶されているものがＡ／Ｄコンバータ４２、アンプ４２を介してスピーカ４５またはイヤホン４６より出力される。
【０３７５】
＜音声ガイド＞
本発明にかかる手書き入出力システム１においては、コード情報を利用することにより、手書き入力を行うユーザに対して音声ガイドを行ってもよい。
【０３７６】
すなわち、書き込み領域に印刷されたドットパターンに、情報処理部１１に対して音声の再生を命令する音声ガイドコードが定義づけられていることにより、手書き入力を開始する（撮像部７がドットパターンを撮像する）と、音声ガイドコードに予め対応付けられて記憶された音声ファイルが音声出力部２２により再生される。
【０３７７】
ただし、音声ガイドコードおよび対応する音声ファイルは、音声ガイド以外に用いても当然よいものとする。
【０３７８】
＜グリッドシート＞
図６８〜図７２は、本発明にかかる手書き入出力システム１において、情報入力補助シートであるグリッドシートをディスプレイに装着して用いる実施例について示した説明図である。このグリッドシートは、透明なシート上にドットパターンが形成されたものであって、モニタ面上に重ねて貼り付けることでタッチパネルとしての機能を発揮するものである。
【０３７９】
特願２００７−２３０７７６号（ＰＣＴ／ＪＰ２００８／００２１８８）に開示されているグリッドシートを媒体２として用いることにより、媒体をディスプレイ６のモニタ面上に貼り付けてタッチパネルとすることができる。ただし、グリッドシート以外の手段を採用してもよい。
【０３８０】
また、グリッドシートを媒体２として用いる他に、グリッドシートを媒体２に重ねて用いてもよい。このような使用法は、第一に手書き入出力用ではない媒体に印刷（記載）された文書または画像を、本発明にかかる手書き入出力システム１を用いて編集したい場合、第二に撮像部７をモニタ面上に押し当てることにユーザが抵抗を感じる場合において、特に有効である。
【０３８１】
図６８〜図６９は、グリッドシートをディスプレイ６に装着して用いる実施例について示した説明図である。
【０３８２】
図６８は、情報処理装置である汎用的なコンピュータシステムに、グリッドシートを用いた図である。本実施例では、パソコン等の液晶ディスプレイ（ＬＣＤ）やＣＲＴ（ブラウン管）などのディスプレイ画面上に、グリッドシートを貼付する。グリッドシートは、透明フィルムで形成されており、ドットパターンが印刷されている。このドットパターンは、詳細は後述するが、ＸＹ座標値および／またはコード値を所定のアルゴリズムでパターン化したものである。コンピュータ本体には、ドットパターン読取手段であるスキャナが接続されている。ユーザは、透視した画面の指示に従って、スキャナでグリッドシートをタッチする。スキャナは、ドットパターンを読み込み、ＵＳＢケーブルを介してパーソナルコンピュータに送信し、パーソナルコンピュータの中央処理装置（ＣＰＵ）は、ドットパターンを解析しグリッドシート上のＸＹ座標値を求め、更にディスプレイ上のｘｙ座標値に変換し、座標値の情報からタッチパネル形式の入力が可能となる。
【０３８３】
これによれば、本シートによってタッチパネル形式の入力が可能となり、安価で利便性に優れたタッチパネルを提供することが可能となる。また、インターネットのサイトを閲覧しているときに、リンク情報が設定されていない情報であっても、関連情報を検索して参照することも可能となる。
【０３８４】
なお、図６８では情報処理装置としてパーソナルコンピュータを用いたが、本発明はこれに限らず、情報処理装置は、パーソナルコンピュータ、ＰＤＡ、テレビ受信装置、フロントおよびリアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、ＰＯＳ端末装置、ＡＴＭ、ＫＩＯＳＫ端末、カーナビ、パチンコ、時計、スマートフォン等であってもよい。これらにおいては、タッチパネル形式の入力デバイスとしてディスプレイまたはスクリーンの表示画面上にグリッドシートが配置される。
【０３８５】
図６９は、図６８で説明したグリッドシートの内部構造について示した断面図である。
【０３８６】
同図（ａ）は、スキャナで、グリッドシートをタッチしている状態を示した縦断面図である。
【０３８７】
同図に示すように、グリッドシートは、表示装置側から、赤外線反射層、ドットパターン層、保護用透明シート（保護層）が積層された構造となっている。
【０３８８】
赤外線反射層は、ビニール、エンビペット、ポリプロピレン等、可視光線を透過する材料で生成された蒸着用透明シートに、赤外線反射材料が蒸着された構成となっている。赤外線反射層は、スキャナの赤外線照射手段から照射し保護用透明シートを透過した赤外線を、スキャナに対して反射させるとともに、可視光を透過させる。それとともに、表示装置からの赤外線を遮断する。これにより、スキャナの赤外線照射手段から照射された赤外線光のみを照射光とすることができ、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。
【０３８９】
ドットパターン層には、カーボンインク等の赤外線吸収特性材料からなるドットを後述するような所定の規則に則って配列したドットパターンが印刷されている。
【０３９０】
保護用透明シートは、ビニール、エンビペット、ポリプロピレン等、可視光線および赤外線を透過する材料で生成されている。ドットパターンを繰り返しスキャナでタッチすると、ドットが磨耗し、正確にドットパターンを読み取れなくなるという問題が生じる。そこで、保護用透明シートを設けることにより、ドットの磨耗と汚れを防ぎ、シートを長期間使用することが可能となる。
【０３９１】
スキャナには、赤外線照射手段であるＩＲ−ＬＥＤと、その反射光の所定波長成分をカットするＩＲフィルター、および撮像素子であるＣ−ＭＯＳセンサ、およびレンズが内蔵されている。スキャナは、グリッドシートに照射した照射光の反射光を撮影する。上述したように、ドットパターンは赤外線を吸収する特性を有するインクで印刷されているため、Ｃ−ＭＯＳセンサでの撮像画像では、ドットの部分のみ黒く撮影されることとなる。
【０３９２】
この場合、赤外線反射層で鏡面反射された反射層は、同図に示すように、レンズに反射光が入射されず、同図（ｂ）に示すように、中央が真っ黒な状態で撮影されてしまう。そのため、ドットパターンを漏れなく撮影することができない。したがって、赤外線を拡散反射させてレンズに入射させる必要がある。すなわち、図７０（ａ）に示すように、ドットパターン印刷層と赤外線反射層との間に、赤外線拡散層を設ける。この赤外線拡散層は、透明または半透明の材質で形成されている。これによって、同図（ｂ）に示すようにＩＲ−ＬＥＤから照射された赤外線は、赤外線反射層で鏡面反射し、赤外線拡散層で拡散し、全ての撮影領域の反射光がレンズに入射する。
【０３９３】
なお、同図においては、グリッドシートに赤外線拡散層を設けたが、本発明はこれに限らず、スキャナの撮影口に赤外線拡散材料によるフィルターを設けてもよい。
【０３９４】
図７１は、グリッドシートの種々の構造を示した断面図である。
【０３９５】
同図（ａ）は、赤外線を反射するとともに、可視光を透過する特性を有する赤外線反射層と、ドットパターン層と、からなるグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドットが形成されている部分（以下、ドット部という）で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線反射層で鏡面反射し、ドット部を除いてドットパターン層を透過する。
【０３９６】
同図（ｂ）は、赤外線反射層とドットパターン層との間には、可視光を透過するとともに前記赤外線を拡散させる赤外線拡散層が設けられているグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線拡散層で拡散した後、赤外線反射層で鏡面反射し、再び赤外線拡散層で拡散してドット部を除いてドットパターン層を透過する。
【０３９７】
同図（ｃ）は、ドットパターン層の一面側、すなわち、赤外線反射層の逆側には、可視光を透過するとともに赤外線光を拡散させる赤外線拡散層が設けられているグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まず赤外線拡散層で拡散した後、ドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線反射層で鏡面反射し、再びドット部を除いてドットパターン層を透過して赤外線拡散層で拡散する。
【０３９８】
同図（ｄ）は、一面側からの赤外線を拡散反射するとともに、可視光を透過する特性を有する赤外線拡散反射層と、ドットパターン層と、からなるグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線拡散反射層で拡散反射し、ドット部を除いてドットパターン層を透過する。
【０３９９】
同図（ｅ）は、同図（ａ）で示したグリッドシートのドットパターン層側の外面に、赤外線光および可視光を透過する特性を有する保護層が設けられているグリッドシートである。このような保護層を設けることにより、ドットの磨耗や汚れを防ぎ、シートを長期間使用することが可能となる。
【０４００】
なお、保護層は、同図（ａ）のみでなく、（ｂ）〜（ｄ）で示したグリッドシートのドットパターン層側外面に設けられていてもよい。
【０４０１】
同図（ｆ）は、同図（ａ）で示したグリッドシートにおいて、ドットパターン層と反対側からの赤外線も反射する特性を有しているグリッドシートである。このような特性を有することにより、本発明のグリッドシートを装着したディスプレイ画面やスクリーンからの赤外線を遮断し、赤外線照射手段から照射された赤外線光のみを照射光とすることができる。そのため、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。
【０４０２】
なお、同図（ａ）のみでなく、（ｂ）〜（ｅ）で示したグリッドシートにおいて、ドットパターン層と反対側（他面側）からの赤外線も反射する特性を有していてもよい。
【０４０３】
同図（ｇ）は、同図（ａ）で示したグリッドシートにおいて、赤外線反射層の反ドットパターン層側には、粘着層が設けられているグリッドシートである。粘着層は、取り外し可能な材質で生成されている。当該粘着層は、グリッドシートを表示装置や媒体に貼り付けて使用する場合にのみ必要であり、後述するように、印刷物上に載せたり、はさんだりして使用する場合には必要がない。このような粘着層を設けることにより、グリッドシートをディスプレイ等に容易に貼り付けることが可能となる。
【０４０４】
なお、粘着層は、同図（ａ）のみでなく、（ｂ）〜（ｅ）で示したグリッドシートの、赤外線反射層の反ドットパターン層側に設けられていてもよい。
【０４０５】
図７２は、グリッドシートの他の実施例を示したものである。本実施例においては、シートの両面にドットパターン層を設けたことを特徴とする。
【０４０６】
同図（ａ）は、それぞれの面への赤外線をそれぞれの方向に反射するとともに、可視光を透過する特性を有する赤外線反射層と、赤外線反射層の両面に設けられたドットパターン層と、からなるグリッドシートである。これによって、シートを両面で利用することができるため、利便性が向上する。
【０４０７】
同図（ｂ）は、赤外線反射層とそれぞれの面のドットパターン層との間には、可視光を透過するとともにそれぞれの方向からの赤外線光を拡散させる赤外線拡散層が設けられているグリッドシートである。
【０４０８】
同図（ｃ）は、赤外線反射層とそれぞれの面のドットパターン層のさらに外面に赤外線拡散層が設けられているグリッドシートである。
【０４０９】
同図（ｄ）は、赤外線拡散反射層と、赤外線拡散反射層の両面に設けられたドットパターン層と、からなるグリッドシートである。
【０４１０】
同図（ｅ）は、同図（ａ）で示したグリッドシートの外面両面に、それぞれの方向からの赤外線光および可視光を透過する特性を有する保護層が設けられている情報入力補助シートである。
【０４１１】
なお、保護層は、同図（ａ）のみでなく、（ｂ）〜（ｄ）で示したグリッドシートの外面両面に設けられていてもよい。
【０４１２】
同図（ｆ）は、同図（ａ）で示したグリッドシートにおいて、赤外線反射層のそれぞれの反ドットパターン層側、すなわち、グリッドシートの外面両面に、粘着層が設けられているグリッドシートである。
【０４１３】
なお、粘着層は、同図（ａ）のみでなく、（ｂ）〜（ｅ）で示したグリッドシートの外面両面に設けられていてもよい。
【０４１４】
同図（ａ）〜（ｆ）のグリッドシートにおける各層の説明および反射についての説明は前述したものと同様であるので、ここでは説明を省略する。
なお、同図に示したグリッドシートにおいては、赤外線反射層または赤外線拡散反射層の一面側と他面側のドットパターン層では、異なる座標値および／またはコード値がパターン化されていてもよい。
【０４１５】
また、図７１〜７２に示したグリッドシートにおいては、ドットパターン層またはその他の層に、赤外線透過材料または赤外線反射材料からなるインクでテキスト、イラスト、写真等が重畳印刷されていてもよい。
【０４１６】
＜グリッドシートに関する課題＞
前述したように、グリッドシートにおいて赤外線拡散反射層を設けないでおくと、シート表面では鏡面反射するため、撮像素子の中心周辺に赤外線反射光が入射しない領域ができてしまい、図６９（ｂ）のような黒目が中央に位置するような目玉現象が生じる。そのため、拡散反射層を設ける必要がありコスト高になってしまう。
【０４１７】
＜課題解決手段＞
そこで、拡散反射層を設けないグリッドシートの場合に、拡散反射素材（拡散反射インク）によってドットパターンの形成を行う方法を用いる。この方法よれば、拡散反射素材で形成されたドットは、図７３(a)に示すように、赤外線をあらゆる方向に拡散反射するため、このドットに入光した赤外線は必ず撮像素子に入射される。したがって、図７３(b)のように、撮影画像には、ドットパターンが黒い目玉領域内に白ドットとして検出されることになる。
【０４１８】
＜白ドットと黒ドットの判別方法について＞
通常の媒体面上に印刷された従来の黒ドットを判別することができ、かつ、拡散反射層を設けないグリッドシート状に印刷された前述の白ドットも認識することができるアルゴリズムについて説明する。
【０４１９】
（数式）(i、j)＝255−BL(i、j)
ただ、この方法では、全てのピクセルにおいて白黒反転計算を行う必要があり、余計な計算時間を要する問題がある。
【０４２０】
そこで、この方法によらず、黒ドット用の閾値を変更して目玉領域内の白ドットを解析するアルゴリズムで判別する方法を具体的に説明する。
【０４２１】
まず、黒ドット判別の解析アルゴリズムを、図７４(a)を用いて説明する。このアルゴリズムは、行単位で行うスキャンラインアルゴリズムであり、左端から始まり右方向に、所定間隔だけ離れたピクセル同士の明度の差分を求め、その差分が所定の正・負の閾値を上回るもしくは下回るかの判定をし、負の閾値を下回った場合に右側のピクセルをドットと判定し、そのピクセルからドットが始まったと判定する。また、正の閾値を上回った場合に同じく右側のピクセルがドットでないことを判定し、その手前のピクセルまででドットが終わったと判定する。ところが、絶対量の閾値でドットを判定すると、スキャナを斜めにして撮像した画像では明暗が生じ、暗部の明度の低下が顕著となり、暗部領域のドットを判定できなくなる。しかし、前述のように２点間の明度の差分を判定する閾値を用いることで暗部領域の画像でも正確にドットを判定できる。
【０４２２】
ここで、隣接するピクセル同士の明度の差分ではなく、所定間隔だけ離れたピクセル同士の差分を用いる理由は、ドットの輪郭がぼけて撮像された画像などでは輪郭周辺の明度の変化が少ないため、差分を取るピクセル間が近すぎると差分が小さく閾値を上回らない値となり、ドットを判別できなくなるためである。
【０４２３】
例えば、この所定の間隔を「4」とした場合、j行目のピクセル番号iとピクセル番号i+4同士の差分をΔBL(i、j)とすると、その求め方は下式となる。
（数式）ΔBL(i、j)＝BL(i+4、j)−BL(i、j)
用いる閾値をφ（φ＞0）とする。なお、明度を８ビット（ブライトレベル0~255）で表現している場合、明部領域ではφ＝25~50程度、暗部領域では、φ＝8~16が適切である。このように、ドット部分との、明暗の少ない暗部領域と明暗の大きな明部領域の閾値をダイナミックに変更することにより、さらにドットを正確に判定できる。
ここで、ΔBL(i、j)が閾値φに対し、ΔBL(i、j)＜−φであれば、i+4の位置のピクセルからドットが始まったと判断する。ΔBL(i、j)＞φであれば、i+3の位置のピクセルでドットが終わったと判断する。
【０４２４】
白ドットの位置の解析アルゴリズムでは、この閾値判定を逆にする。
【０４２５】
すなわち、ΔBL(i、j)が同じ閾値φに対し、ΔBL(i、j)＞φとなれば、i+4の位置のピクセルからドットが始まったと判断する。ΔBL(i、j)＜−φとなれば、i+3の位置のピクセルでドットが終わったと判断する。
【０４２６】
この方法を用いれば、全てのピクセルにおいて白黒反転させることなく、簡単に白ドットの位置の判定が可能となる。
【０４２７】
＜目玉を大きくするペンスキャナの形状＞
グリッドシートを用いて白ドットをスキャナで読み取る場合には、黒目の大きさをより大きくして、ドットパターンの検出範囲を広げなければならない。
そこで、黒目がより大きくなるようなスキャナの形状を説明する。
【０４２８】
図７５に示すように、撮影開口部の口端内周囲から発した赤外線がグリッドシート上で鏡面反射して撮像素子に入光可能な光路を想定し、この光路よりも外側にライトガイドを設け赤外線を媒体面全体に均一に照射する。これにより、ライトガイドから発した赤外線がグリッドシート上で鏡面反射し、撮影された画像の多くの領域を黒目となるようにすることができる。この際、余分な赤外線がグリッドシート上で鏡面反射して撮像素子に入射しないように図に示す位置に遮光部を設ける必要がある。なお、構造上、スキャナを傾けた場合は黒目領域が少なくなるが、撮影領域が拡大し、撮像される白ドットの数が増えるので問題なくドットコードが解析できる。
【０４２９】
＜媒体に接しているか否かの判定方法＞
スキャナで媒体面に接している間、常に媒体面上のコードを読み取っていると、例えば、ユーザが意図せずに読み取り位置を微妙にずらしてしまった場合などに、ユーザの意図とは異なるコードを読み取って、異なるコンテンツを再生してしまう。このような状態を排除したい場合は、１度目と異なるコードを読み取っても無視する設定にすればよい。ただし、手書き入力のようにスキャナで媒体面上をなぞる場合は、次々に読み取られるコード（座標値）を入力しなければならない。したがって、エラーは無視して、次に新たな座標値を読み取ったときは、常に正常入力として処理すればよい。さらに、スキャナの僅かな移動による読み取りエラーが生じた場合、１度エラーが起こると、次に読み取った同一コードを１度目に読み取ったコードとして入力されるように設定されている場合、同じコンテンツを何度でもスタートしてしまう（「ハロー、ハロー、ハロー・・・」のような再生が起こってしまう）現象が起こり、適正なオペレーションができない。
【０４３０】
そこで、スキャナが媒体面に接しているかどうかの判定を行い、スキャナが媒体面から離されない限り、次に読み取られる同一コードを無視して（異なるコードも無視してもよい）、スキャナが媒体面に接して１度目に読み取ったコードに対応するコンテンツや命令の実行を継続させる必要がある。もちろん、スキャナを媒体面から一旦離して、再度媒体面に接した場合は、継続実行中のコンテンツや命令を終了し、新たに読み取られたコード（同一コードでも、異なるコードでも）に対応するコンテンツや命令の実行を開始するのはいうまでもない。なお、媒体面に接してもコードを読み取ることができない場合は、実行は継続される。
【０４３１】
この方法を用いる場合、媒体面に配置された黒ドットのみを対象とするのであれば、単純に読取画像の中心部の明度を測定して、明るければペンが媒体面に接している、暗ければペンが媒体面に接していないと判定するだけで行える。なお、中心部の明度のみを測定する理由は、中心部はスキャナを傾けても明度の低下が少なく判定に影響がでないことと、測定領域を中心部のみとすることにより測定時間を最小限に抑えられるからである。
【０４３２】
しかし、黒ドットも読み取れ、かつ、白ドットも読み取れるスキャナにおいては、白ドットを読み取るときは、読取画像の中心部が暗くなっているため、ペンが媒体面に接していないと判定されてしまう。
【０４３３】
そこで、黒ドットも読み取れ、かつ、白ドットも読み取れるスキャナが、通常媒体面（印刷媒体面など）とグリッドシート面の何れか、もしくは何れにも接していないか、を判定する方法を、図７６を用いて説明する。
【０４３４】
まず、撮像素子により画像を取得する（Ｓ１０）。
【０４３５】
取得された画像中心部が明るいか否かを測定し（Ｓ２０）、中心部が明るければスキャナが通常媒体面に接していると判定する（Ｓ２５）。画像中心部の明るいか否かの測定は、画像中心部の明度が所定の閾値を上回るか否かで判定する。
【０４３６】
中心部が明るいと判定されなかった場合、画像に白ドットを探索する（Ｓ３０）。白ドットが検出された場合はグリッドシートに接していると判定する（Ｓ３５）。
【０４３７】
白ドットがあると判定されなかった場合は、スキャナが媒体面にタッチしていないと判定する（Ｓ４０）。
【０４３８】
Ｓ２５，Ｓ３５，Ｓ４０の判定後、解析が終了する。
【０４３９】
このＳ３０における、暗部領域から白ドットを探索するには、図７７に示すように、撮影画像の中心のピクセルから、渦巻き状に周辺のピクセルが白ドットであるかを所定領域内（必ず所定量のドットが存在する最小領域）で判定する。
【０４４０】
上記において、Ｓ２５で通常媒体面に接していると判定されたときは、黒ドットの解析（従来アルゴリズム）を開始する。Ｓ３５でグリッドシートに接していると判定されたときは、白ドットの解析（新アルゴリズム）を開始する。
【産業上の利用可能性】
【０４４１】
本発明にかかる手書き入出力システムは、第一に、コンピュータの操作に用いるマウス、キーボード、タブレットといった既存の入力用デバイスの使用テクニックを習得していない者が、紙媒体に書き込むのと同様の感覚で使用することのできる、入力用デバイスとしての産業上の利用可能性を有する。
【０４４２】
本発明にかかる手書き入出力システムは、第二に、主に子供を対象とした、おもちゃ、特に知育用おもちゃとしての産業上の利用可能性を有する。
【符号の説明】
【０４４３】
１ 手書き入出力システム
２ 媒体
３ スキャナ
４ コンピュータ
５ サーバ
６ ディスプレイ
７ 撮像部
８ ドットパターン解析部
９ 軌跡認識部
１０ 処理命令部
１１ 情報処理部
１２ 撮像素子
１３ 照射部
１４ 光制御部
１５ 計時部
１６ 角度測定部
１７ 角度変化認識部
１８ 回転角読み取り部
１９ 回転角変化認識部
２０ 音声収録部
２１ 音声認識部
２２ 音声出力部
２３ 送信部
２４ 送信ボタン
２５ 再送信ボタン
２６ マイク
２７ 音声再生ボタン
２８ 指示用突起部
２９ ペン
３０ ペン格納ボタン
３１ ペン型スキャナ
３２ ライトガイド
３３ レンズ
３４ ＬＥＤ
３５ Ｃ−ＭＯＳセンサ
３６ ＰＣＢ
３７ ペン
３８ バンクガイド
３９ 点字
４０ 中央処理装置（ＭＰＵ）
４１ マイク
４２ アンプ
４３ Ａ／Ｄコンバータ
４４ 圧縮回路
４５ スピーカ
４６ イヤホン
【特許請求の範囲】
【請求項１】
少なくとも一部、または複数の領域に座標情報および、コード情報が繰り返し定義されたドットパターンが形成された書き込み領域を備えた媒体と、
該書き込み領域の該ドットパターンを撮像して、送信する撮像手段と、
該撮像手段により撮像・送信された該ドットパターンの画像データを記憶素子に記憶して、該画像データをコード解析することにより、該座標情報および該コード情報からなる軌跡情報を求めるドットパターン解析手段と、
解析された該座標情報の変化に基づき、該書き込み領域面においてトレースされた、文字および／または図形の該軌跡情報を認識する軌跡認識手段と、
認識された認識情報に基づいた処理命令と該軌跡情報を情報処理手段に対し送信する処理命令手段と
を備えた手書き入出力システム。
【請求項１】
少なくとも一部、または複数の領域に座標情報および、コード情報が繰り返し定義されたドットパターンが形成された書き込み領域を備えた媒体と、
該書き込み領域の該ドットパターンを撮像して、送信する撮像手段と、
該撮像手段により撮像・送信された該ドットパターンの画像データを記憶素子に記憶して、該画像データをコード解析することにより、該座標情報および該コード情報からなる軌跡情報を求めるドットパターン解析手段と、
解析された該座標情報の変化に基づき、該書き込み領域面においてトレースされた、文字および／または図形の該軌跡情報を認識する軌跡認識手段と、
認識された認識情報に基づいた処理命令と該軌跡情報を情報処理手段に対し送信する処理命令手段と
を備えた手書き入出力システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図７６】
【図７７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図７６】
【図７７】
【公開番号】特開２０１３−６１９５５（Ｐ２０１３−６１９５５Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１２−２３７４０３（Ｐ２０１２−２３７４０３）
【出願日】平成２４年１０月２９日（２０１２．１０．２９）
【分割の表示】特願２００９−１８１２８５（Ｐ２００９−１８１２８５）の分割
【原出願日】平成２０年１１月２５日（２００８．１１．２５）
【出願人】（５０３３４９７４１）
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２４年１０月２９日（２０１２．１０．２９）
【分割の表示】特願２００９−１８１２８５（Ｐ２００９−１８１２８５）の分割
【原出願日】平成２０年１１月２５日（２００８．１１．２５）
【出願人】（５０３３４９７４１）
【Ｆターム（参考）】
[ Back to top ]