ストリームドットを用いた手書き入力シートおよび手書き入出力システム
【課題】 文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供する。
【解決手段】 ストリームドットパターンによる書き込み領域を備えた媒体を撮像手段により撮像・送信し、ドットパターン解析手段により該ドットパターンの画像データを記憶して、コード解析することにより軌跡情報を求め、解析された該座標情報の変化に基づき、該書き込み領域面においてトレースされた、文字および図形の該軌跡情報を軌跡認識手段が認識し、処理命令手段が認識された認識情報に基づいた処理命令と該軌跡情報を情報処理手段に対し送信することにより、文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供することを課題とする。また、文字や図形の情報のみでなく、それらに関連した情報も一括して入力することが可能な手書き入出力システムを提供する。
【解決手段】 ストリームドットパターンによる書き込み領域を備えた媒体を撮像手段により撮像・送信し、ドットパターン解析手段により該ドットパターンの画像データを記憶して、コード解析することにより軌跡情報を求め、解析された該座標情報の変化に基づき、該書き込み領域面においてトレースされた、文字および図形の該軌跡情報を軌跡認識手段が認識し、処理命令手段が認識された認識情報に基づいた処理命令と該軌跡情報を情報処理手段に対し送信することにより、文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供することを課題とする。また、文字や図形の情報のみでなく、それらに関連した情報も一括して入力することが可能な手書き入出力システムを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字、図形等の手書き情報をコンピュータシステムに入力するための手書き入出力システム、手書き入力シートに関する。
【０００２】
本発明は、コンピュータシステムへの入力を補助するための情報入力システム、情報入力補助シートに関する。
【背景技術】
【０００３】
コンピュータは、生活のあらゆる場面で使用されるようになってきている。文書を作成したり計算を行ったりというような従来の用途に加え、絵を描いたり、建築や機械の製図を行う等、コンピュータの機能および用途は飛躍的に増加している。
【０００４】
従来、これらの行為を行うにあたり、キーボード、マウス、タブレットおよびＣＡＤシステム等を用いて文字の入力や製図等の操作をすることが必要とされている。
【０００５】
しかし、キーボードで文字を入力したり、タブレットやＣＡＤシステムで製図を行ったりするには、煩雑な操作が多く、習得するまでに時間を要する。特に、高齢者等、機器を操作するのに支障のある者にとっては操作が困難であるという問題があった。さらに、キーボードやマウス等の操作が可能でコンピュータを使いこなせる者と、それらの操作ができずにコンピュータを使いこなせない者との間で、情報や機会の格差が生じる「デジタルディバイド」も問題となってきている。
【０００６】
このような問題を解決するものとして、手書き情報をコンピュータに入力するシステムが提案されている。このようなシステムは、ベースと描画装置から構成されており、描画装置がベースに対して移動されると、グラフィカル情報（手書き情報）が発生する。ベースには、微細なドットである位置符号化パターンを備えており、この位置符号化パターンには、ベース上の位置情報が登録されている。描画装置を用いてベース上で描画すると、描画装置が位置符号化パターンを読み取る。コンピュータシステムは、描画装置からの、ベース上の位置情報をグラフィカル入力として記録する。これにより、描画した内容をコンピュータシステムに入力し、ディスプレイに出力したり、メモリに保存したりすることが可能となる（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００３−５２８３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１のシステムに用いる位置符号化パターンは、位置情報しか登録されていない。そのため、コンピュータシステムは、描画装置で描かれたグラフィカル情報しか入力することができず、たとえば、冊子のページ番号等、グラフィカル情報と関連した種々の情報も入力・記録するためには、描画のための領域と異なる領域を別途設けなければならない。そのため、手書き入出力システムが煩雑となり、ユーザにとっても、複数の領域での操作が必要になるという問題を有している。また、描画装置で描かれたグラフィカル情報に対応する位置情報全てに対して、グラフィカル情報と関連した種々の情報を入力・記録するための参照テーブルを備えなければならない。特に、描画領域が矩形ではなく、多角形や曲線で囲まれた領域である場合、その領域内の全ての位置情報に対する参照テーブルが必要となる。
【０００９】
本発明はこのような問題に鑑みてなされたものであり、文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供することを技術的課題とする。また、文字や図形の情報のみでなく、それらに関連した情報も一括して入力することが可能な手書き入出力システムを提供することを技術的課題とする。
【課題を解決するための手段】
【００１０】
＜手書き入力シート＞
（１）本発明にかかる手書き入力シートは、少なくとも一部、または複数の任意の形状の領域に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および／または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび／または該第一の仮想基準線から所定の位置に定義される、直線および／または曲線からなる少なくとも１以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでＸＹ座標値または、ＸＹ座標値およびコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成された書き込み領域を備えた媒体からなることを特徴とする。
【００１１】
これによれば、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、ＸＹ座標値が書き込み領域に隙間なく定義され軌跡情報を生成することができ手書き入力が可能となる。さらに、文字や五線譜、地図、図形などが手書き入力シートに印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、ＸＹ座標が定義されたドットパターンを２次元コードとして形成される際（インデックスとして使用）の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【００１２】
（２）前記ストリームドットは、第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と１つのＸＹ座標値および／またはコード値を定義するために、さらに基準となる基準ドットを所定の位置に設けてもよい。
【００１３】
これによれば、新たな基準点を設けることにより、ストリームドットパターンの向きと一定情報のまとまりを、情報ドットを使用せず簡易に定義することができ、余計な情報の低減を押さえられる。さらに、新たな基準点の配置により情報ドットの始点となる仮想基準点の位置を正確に示すことができる。
＜手書き入出力システム＞
【００１４】
（３）本発明にかかる手書き入出力システムは、請求項１または２記載の手書き入力シートを用いた手書き入出力システムであって、前記書き込み領域に形成された前記ストリームドットパターンを撮像して、送信する撮像手段と、該撮像手段により撮像・送信された該ストリームドットパターンの画像データを記憶素子に記憶して、該画像データをコード解析することにより、座標情報および、座標情報およびコード情報からなる軌跡情報を求めるドットパターン解析手段と、該軌跡情報を情報処理手段に対し送信する処理命令手段とを備えたことを特徴とする。
これによれば、本発明に係る手書き入出力システムは、媒体に形成されたドットパターンに、座標情報のみならずコード情報を定義することも可能となるため、処理命令手段が情報処理部に対して軌跡情報と軌跡情報に基づいた処理命令を一括して送信することができる。
【００１５】
（４）前記手書き入出力システムは、さらに、解析された前記座標情報の変化に基づき、前記書き込み領域面においてトレースされた、文字および／または図形の前記軌跡情報を認識する軌跡認識手段と、認識された認識情報に基づいた処理命令を情報処理手段に対し送信する処理命令手段とを備えたことが好ましい。
【００１６】
これによれば、本発明に係る手書き入出力システムは、書き込み領域面上に撮像手段近傍の軌跡が残せる。
【００１７】
（５）前記媒体は、前記コード値の少なくとも一部に、該媒体を特定する情報が定義されているか、および／または、前記コード値の少なくとも一部に、前記書き込み領域を特定する特定情報が定義されているか、および／または、前記コード値の少なくとも一部に、書き込み処理を意味する操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）が定義されているか、および／または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンの前記コード値の少なくとも一部に、所定の媒体面および／または前記書き込み領域面を特定する特定情報および／または前記操作指示を定義し、それを意味するアイコンが重畳して印刷されているか、および／または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンに、関連するテキスト、グラフィック、写真を重畳して印刷されているか、および／または、前記書き込み領域内および/または領域周辺に点字をさらに備えているか、および／または、前記書き込み領域に書き込む際に、前記ドットパターンを撮像する撮像手段がはみ出さないように該書き込み領域の外周に沿って幅狭の凸部のガイドをさらに備えているか、および／または、貼付可能なシール、付箋紙、その他の媒体であるか、および／または、書き込み領域が表示されたモニタ面上または印刷された媒体上に重ねて用いる、前記ストリームドットパターンが形成された透明な情報入力補助シートであってもよい。
【００１８】
上記の特徴によれば、本発明にかかる手書き入出力システムは、ユーザが書き込み領域の位置および書き込み領域にはいかなる事項を書き込むべきであるかを容易に知ることができる。
【００１９】
また、コード情報がいかなる意味を持つものであるか（いかなる処理命令を送信するものであるか）、ユーザはアイコンを見ることにより容易に知ることができる。
【００２０】
また、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。
【００２１】
また、書き込み領域に正確に撮像手段でなぞったり、描いたりできるようガイドを設け、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。
【００２２】
また、書き込み領域のレイアウトの自由度はさらに高まり、書き込み領域に手書き入力された情報の検索、出力をユーザの利便性や好みに応じて自由自在に実行できる。
【００２３】
また、取り回しのよいタッチパネルを提供することができる。または、モニタ面上にグリッドシートを重ねなくても、媒体面上にグリッドシートを被せて手書き入力が可能である。
【００２４】
（６）前記媒体は、前記書き込み領域を設けた該媒体を第１の媒体として、該第１の媒体面および／または前記書き込み領域面を特定するためのコード情報を繰り返し定義したドットパターンを形成した第２の媒体をさらに備え、該第２の媒体に形成したコード情報を、前記撮像手段で読み取ることにより、前記第１の媒体面上の印刷情報および／または前記書き込み領域面に描かれた前記軌跡情報、および/または該軌跡情報に関連した情報を出力してもよい。
【００２５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、媒体面を特定するコード情報を、別の媒体（手帳など）に印刷し、撮像手段でタッチすることにより、媒体面に手書き入力した情報を検索、出力できる。また、媒体の書き込み領域のスペースを広く取ることもできる。
【００２６】
（７）前記撮像手段は、指示用突起部および／または少なくとも一つのペン先をさらに備え、前記書き込み領域面に、該指示用突起部および／または少なくとも一つのペン先でなぞった文字および／または図形をトレースする際、該指示用突起部近傍の軌跡上の前記ドットパターンを撮像し、該指示用突起部および少なくとも一つのペン先を備える場合は、該指示用突起部内に該ペン先を格納する格納スペースと、該ペン先の格納／取出しを制御するボタンと、をさらに備えた該指示用突起部であることが好ましい。
【００２７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上の撮像手段のなぞる位置を視認しやすくなる。
【００２８】
また、書き込み領域面上に撮像手段近傍の軌跡が残せる。
【００２９】
また、書き込み領域面上に描いた撮像手段近傍の軌跡を残したい場合と、残したくない場合とで使い分けることが可能となる。
【００３０】
（８）前記撮像手段は、前記指示用突起部に前記書き込み領域面に描かれた文字および／または図形を消去する消去手段をさらに備え、該書き込み領域面に、該消去手段でなぞった領域を消去すると同時に、該消去手段近傍の軌跡上のドットパターンを撮像し、前記処理命令手段は、該文字および／または図形の前記軌跡情報を消去する処理命令と、前記軌跡情報と、を情報処理手段に対し送信してもよい。
【００３１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上と情報処理手段上で書き込み情報入力を対応させるのみならず、書き込み情報の消去を対応させることもできる。
【００３２】
（９）前記軌跡情報は、前記撮像手段の撮像中心の座標情報、または該撮像手段付近に備えられた前記指示用突起部または前記ペン先が前記書き込み領域面に触れる位置の座標情報と前記コード情報からなり、前記ドットパターン解析手段により、前記ドットパターンに定義された座標情報を基に補間計算して求められることが好ましい。
【００３３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識手段が認識する軌跡情報と、媒体上の軌跡とが異なる場合にも、軌跡情報を補正することにより実際の軌跡と一致または実用に支障がない程度まで近似させることができる。
【００３４】
（１０）前記軌跡認識手段は、計時手段をさらに備え、該計時手段は、前記撮像手段が前記書き込み領域面に触れた時間および離れた時間を計時し、該撮像手段が該書き込み領域面に触れて描かれた軌跡の順番と触れている時間を記録し、前記情報処理手段に送信してもよい。
【００３５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、情報処理手段が手書き入力に要した時間を把握し、通常時との比較を行うことにより、書き手の性格や年齢、性別などの様々なリサーチができる。
【００３６】
（１１）前記処理命令手段は、前記コード情報および／または前記認識情報に基づき、前記書き込み領域を特定する特定情報および／または操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）を一意に入力可能であってもよい。
【００３７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード情報および／または認識情報に基づいて処理命令手段が情報処理手段に対してユニークな指示をすることが可能である。このことは、本発明で最も重要な機能であり、常にどの書き込み領域に書き込んだか、またはどの書き込み領域に対してどんな操作指示を行っているかを容易に特定できる。
【００３８】
（１２）前記軌跡認識手段は、さらに前記コード情報に基づき、前記書き込み領域に書き込む内容に関する、予め分類された文字および／または図形情報パターンを参照し、前記軌跡情報を高精度で認識することが好ましい。
【００３９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡情報を認識する際にコード情報に基づいて予め分類された文字および／または図形情報パターンテーブルを参照するため、軌跡情報を高精度に認識することができる。
【００４０】
（１３）前記軌跡認識手段は、前記軌跡情報を認識した後、さらに解析された前記座標情報の変化に基づき、該文字および／または該図形、もしくは、１または複数の該文字からなる語句、の意味情報を、前記コード情報に対応する 予め定義された意味情報コードテーブル（辞書）を参照し、意味情報コードに変換し、前記処理命令手段は、該意味情報コードと、該意味情報に基づいた前記処理命令と、を前記情報処理手段に対し送信することが好ましい。
【００４１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識時に意味情報コードテーブルを参照することにより、軌跡情報を高精度に認識し、さらに、意味情報コードに変換することにより、その意味であるものとして処理命令を送信することができる。
【００４２】
（１４）前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、文書および／または図形として入力させる第一のオペレーションか、またはコメントとして入力させる第二のオペレーションか、または文書および／または図形、および／またはコメントを編集する編集記号とし、該編集記号に基づいて文書および／または図形、および／またはコメントを編集させる第三のオペレーションとして、前記情報処理手段に命令してもよい。
【００４３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により文書を書いたり、絵を描いたりできる。
【００４４】
また、手書き入力により入力される文書や絵の他、コメント文書を入力することができる。
【００４５】
また、手書き入力により文書や画像を（手書き入出力システムによらないものも含む）編集することができる。
【００４６】
（１５）本発明にかかる手書き入出力システムは、少なくとも前記媒体面に接触した前記撮像手段の撮像光軸が、該媒体面の鉛直線に対して倒されることにより成される傾きおよび倒される方向を測定する角度測定手段と、該撮像手段が該媒体面に接触した際に測定された、該傾きおよび該方向を基準として、該撮像手段を倒す動作、すなわちグリッドティルト動作による、該傾きおよび／または該方向の、所定の変化を解析する角度変化認識手段とをさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信してもよい。
【００４７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、撮像手段のグリッドティルト動作による操作指示ができる。
【００４８】
（１６）前記媒体は、前記書き込み領域の方向に対して、所定の角度で配置された前記ドットパターンが該書き込み領域に形成され、前記角度測定手段および前記角度変化認識手段は、前記撮像手段が該書き込み領域面に接触した際に読み取られた該ドットパターンの方向を基に、該書き込み領域の方向に対して、倒される方向および／または前記傾きの、所定の変化を解析してもよい。
【００４９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、角度の変化に加えて、ドットパターンの方向をさらに基準にして、傾きとその変化を認識することができる。
【００５０】
（１７）前記手書き入出力システムは、前記書き込み領域面に対して、前記撮像手段の撮像光軸を概ね鉛直状に立て、該書き込み領域面に接触した際に読み取られた前記ドットパターンの方向と、該撮像手段のアングルとで成される回転角を読み取る回転角読み取り手段と、該撮像手段が該媒体面に接触した際に測定された該回転角を基準として、該撮像手段を回転する動作、すなわちグリッドターン動作による、該撮像光軸が所定の回転方向に回転されることにより、該回転角の所定の変化を解析する回転角変化認識手段と、をさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信してもよい。
【００５１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作による指示をすることができる。
【００５２】
（１８）前記手書き入出力システムは、さらに、前記撮像手段で前記書き込み領域を撮像して前記ドットパターン解析手段により座標情報およびコード情報を求めた後に、所定の操作により該撮像手段で該書き込み領域に文字をなぞるか、または描く代わりに音声を収録する音声収録手段と、前記コード情報に対応する予め定義された音声認識情報テーブル（辞書）を参照し、収録された音声を認識し文字情報に変換し情報処理手段に対し送信する音声認識手段と、をさらに備えていてもよい。
【００５３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力に代えて、音声入力ができる。
【発明の効果】
【００５４】
本発明は、上記各種の特徴を有することにより、従来技術とは次元を異にする、全く異なった、多様かつ新しい付加価値と利便性をユーザに与えることのできる手書き入出力システムを提供することができる。
【図面の簡単な説明】
【００５５】
【図１】本発明にかかる手書き入出力システムの使用状態を示す外観図である。
【図２】本発明にかかる手書き入出力システムの第一の実施例の構成を示すブロック図である。
【図３】本発明にかかる手書き入出力システムの第二の実施例の構成を示すブロック図である。
【図４】本発明にかかる手書き入出力システムの第三の実施例の構成を示すブロック図である。
【図５】本発明にかかる手書き入出力システムの第四の実施例の構成を示すブロック図である。
【図６】本発明にかかる手書き入出力システムの第五の実施例の構成を示すブロック図である。
【図７】本発明にかかる手書き入出力システムの第六の実施例の構成を示すブロック図である。
【図８】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（１）である。
【図９】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（２）である。
【図１０】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（３）である。
【図１１】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（４）である。
【図１２】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（５）である。
【図１３】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（６）である。
【図１４】本発明にかかる手書き入出力システムに用いるストリームドットパターンのフォーマットを説明する図である。
【図１５】本発明にかかる手書き入出力システムに用いる撮像部の全体の構成を示す外観図である。
【図１６】本発明にかかる手書き入出力システムに用いる撮像部の先端部を示す断面図である。
【図１７】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（２）である。
【図１８】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（３）である。
【図１９】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（４）である。
【図２０】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（５）である。
【図２１】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（７）である。
【図２２】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（８）である。
【図２３】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（９）である。
【図２４】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１０）である。
【図２５】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１１）である。
【図２６】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１２）である。
【図２７】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１）である。
【図２８】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（２）である。
【図２９】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（３）である。
【図３０】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（４）である。
【図３１】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（５）である。
【図３２】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（６）である。
【図３３】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（７）である。
【図３４】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（８）である。
【図３５】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（９）である。
【図３６】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１０）である。
【図３７】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１１）である。
【図３８】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１２）である。
【図３９】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１３）である。
【図４０】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１４）である。
【図４１】本発明にかかる手書き入出力システムに用いる撮像部の、タッチする動作と跳ねる動作の判別方法を説明する図である。
【図４２】本発明にかかる手書き入出力システムにおける第一のオペレーションを説明する図である。
【図４３】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（１）である。
【図４４】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（２）である。
【図４５】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（３）である。
【図４６】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（１）である。
【図４７】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（２）である。
【図４８】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（３）である。
【図４９】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（４）である。
【図５０】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（５）である。
【図５１】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（６）である。
【図５２】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるファイル変更結果の保存方法を説明する図である。
【図５３】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるファイル内容変更のキャンセル方法を説明する図である。
【図５４】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるアプリケーションの起動方法を説明する図である。
【図５５】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるアプリケーションの終了方法を説明する図である。
【図５６】本発明にかかる手書き入出力システムにおける、撮像部の四方向への傾き動作によるオペレーションの切り替え方法を説明する図（１）である。
【図５７】本発明にかかる手書き入出力システムにおける、撮像部の四方向への傾き動作によるオペレーションの切り替え方法を説明する図（２）である。
【図５８】発明にかかる手書き入出力システムにおける、撮像部のタッチ動作を説明する図である。
【図５９】本発明にかかる手書き入出力システムにおける、音声収録部および音声出力部の構成を説明するブロック図である。
【図６０】本発明にかかる手書き入出力システムにおける、撮像部の跳ねる動作を説明する図である。
【図６１】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（１）である。
【図６２】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（２）である。
【図６３】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（３）である。
【図６４】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１５）である。
【図６５】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（７）である。
【図６６】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（８）である。
【発明を実施するための最良の形態】
【００５６】
以下、本発明の実施の形態について、図面を用いて説明する。
【００５７】
＜システム全体の構成の説明＞
図１は、本発明にかかる手書き入出力システム１の使用状態の一例を示す外観図である。同図によれば、媒体２にスキャナ３を用いて書き込みをすると、書き込んだとおりの文書がディスプレイ６に表示される。これは、スキャナ３が、書き込んだ軌跡上のドットパターンを撮像して、コンピュータ４が解析する（必要に応じてサーバ５にアクセスする）ことにより、実現する。ただし、コンピュータ４がスキャナ３に内蔵されていてもよい。
【００５８】
図２は、本発明にかかる手書き入出力システム１の、第一の実施例の構成を示すブロック図である。
【００５９】
この手書き入出力システム１は少なくとも、媒体２（手書き入力シート）、撮像部７（撮像手段）、ドットパターン解析部８（ドットパターン解析手段）、軌跡認識部９（軌跡認識手段）、処理命令部１０（処理命令手段）、を備えることにより情報処理部１１に対して各種の命令を行い、必要に応じて各種サーバ５にアクセスする。
【００６０】
図３は、本発明にかかる手書き出入力システム１の第二の実施例の構成を示すブロック図である。第二の実施例では、第一の実施例が備える構成に加えて、撮像素子１２、照射部１３、光制御部１４をさらに備える。
【００６１】
ここで、同図中の破線で示すように、撮像素子１２と照射部１３は撮像部７と一体であり、光制御部１４はドットパターン解析部８と一体である。
【００６２】
図４は、本発明にかかる手書き入出力システム１の第三の実施例の構成を示すブロック図である。第三の実施例では、第一の実施例が備える構成に加えて、計時部１５をさらに備える。
【００６３】
ここで、同図中の破線で示すように、計時部１５は軌跡認識部９と一体である。
【００６４】
図５は、本発明にかかる手書き入出力システム１の第四の実施例の構成を示すブロック図である。第四の実施例では、第一の実施例が備える構成に加えて、角度測定部１６、角度変化認識部１７をさらに備える。
【００６５】
ここで、同図中の破線で示すように、角度測定部１６と角度変化認識部１７はドットパターン解析部８と一体である。
【００６６】
図６は、本発明にかかる手書き入出力システム１の第五の実施例の構成を示すブロック図である。第五の実施例では、第一の実施例が備える構成に加えて、回転角読み取り部１８、回転角変化認識部１９をさらに備える。
【００６７】
ここで、同図中の破線で示すように、回転角読み取り部１８と回転角変化認識部１９はドットパターン解析部８と一体である。
【００６８】
図７は、本発明にかかる手書き入出力システム１の第六の実施例の構成を示すブロック図である。第禄の実施例では、第一の実施例が備える構成に加えて、音声収録部２０、音声認識部２１、音声出力部２２をさらに備える。
【００６９】
＜ドットパターン ストリームドット＞
次に、図８〜図１３を参照しながら本発明に用いられるドットパターンである、ストリームドットの形成方法の一例について説明する。
【００７０】
図８、図９は、ストリームドットパターンを形成する工程の一例を順に示すものである。
【００７１】
本発明に係るドットパターンは、従来のドットパターンとは異なり、まず工程１として媒体表面上の可視的な情報に対応して、情報を入出力させたい箇所に基準ドット１０１を線状に連続して複数個配置する。
【００７２】
図６（ａ）では基準ドット１０１を曲線状に配置しているが、基準ドット１０１の配置はこれに限定されるものではなく、直線と曲線を織り交ぜたり、複数の線分により構成される折れ線状にするなど、情報を入出力させる領域にあわせた形状にドットパターンを形成するための種々の変更が可能である。
【００７３】
また、媒体表面上に可視的に形成された実在線上に基準ドット１０１を配置してもよいし、実在線に沿って所定の規則により基準ドット１０１を配置してもよい。ここでいう実在線とは仮想線に対する概念で、実際に存在している線の全てを含むものである。例えば、実線、破線、点線、直線や曲線などが挙げられ、本発明においては、線が形成される媒体（例えば映像表示装置のディスプレイ）や、線を構成する物質（例えばインク）の如何を問わない。なお、ドットパターンは、印刷やディスプレイ表示、さらに金属やプラスチック上での穴や溝等の凸凹であってもよい。
【００７４】
なお、基準ドットは読取り精度向上の観点から、等間隔に配置することが望ましいが、これに限定されるものではなく、複数の間隔を混在させてドットパターンの一定情報のまとまりを定義したり、一定情報のまとまり内における３つの異なる基準ドットの配置間隔によりドットパターンの一定情報のまとまりとドットパターンの方向の両方を定義することも可能である。
【００７５】
次に、工程２として、線状に配置された基準ドット４を結ぶ、第一の仮想基準線１０２を設ける。図８（ｂ）では第一の仮想基準線６を曲線により設けているが、第一の仮想基準線８はこれに限定されるものではなく、曲線状に配置された基準ドット１０１に対して直線の第一の仮想基準線１０２を設けてもよいし、直線状に配置された基準ドット１０１に対して曲線の第一の仮想基準線１０２を設けてもよい。すなわち、後述する工程３〜工程５における第二の仮想基準線１０３、仮想基準点１０４、情報ドット１０５をどの位置に配置するかによって、基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線１０２を自由に定義することが可能である。
【００７６】
なお、図１０に例を示すように、曲線である場合の第一の仮想基準線１０２は、ベジェ曲線によることが望ましい。
【００７７】
すなわち、まず、第一の仮想基準線１０２上にある基準ドット１０１をＰ０、Ｐ３とし、Ｐ１、Ｐ２を与えられた制御点とする。次に、制御点を順に結んで得られる３つの線分・Ｐ０―Ｐ１、Ｐ１―Ｐ２、Ｐ２―Ｐ３・をそれぞれ１対１の比率で分割する点Ｐ４、Ｐ５、Ｐ６を求める。そして、これらの点を順に結んで得られる２つの線分・Ｐ４―Ｐ５、Ｐ５―Ｐ６・を、それぞれ１対１の比率で分割する点Ｐ７、Ｐ８を求める。
【００７８】
最後に、この２点を結ぶ線分・Ｐ７―Ｐ８・をさらに１対１の比率で分割する点Ｐ９を求め、この点がベジェ曲線上の点となる。
【００７９】
この手順を繰り返し行うことで、Ｐ０、Ｐ１、Ｐ２、Ｐ３を制御点とするベジェ曲線が得られる。
【００８０】
なお、ベジェ曲線に限らず、スプライン関数を利用して求められるスプライン曲線、n次多項式、楕円弧など、種々のアルゴリズムを用いて第一の仮想基準線１０２を設けてもよい。
【００８１】
また、第二の仮想基準線１０３においても、第一の仮想基準線１０２と同様に当該方法を用いて曲線を定義することが可能である。
【００８２】
次に、工程３として、線状に配置された基準ドット１０１および／または第一の仮想基準線１０２から所定の位置に定義される第二の仮想基準線１０３を設ける。図８（ｃ）では第二の仮想基準線１０３を、隣り合う基準ドット１０１の中間点における第一の仮想基準線１０２の接線に対して垂直線上の所定位置に向かって、隣り合う基準ドット１０１から任意の角度をもって設けているが、第二の仮想基準線１０３はこれに限定されるものではなく、後に示すようにドットパターンにより情報を入出力させたい領域に合わせて仮想基準点を設けるために、種々の方法により定義することが可能である。
【００８３】
また、第一の仮想基準線１０２に対して片側のみに第二の仮想基準線１０３を設けてドットパターンの方向を定義してもよいし、情報量を増やすために両側各々に設けてもよい。
【００８４】
次に、工程４として、第二の仮想基準線７上の所定の位置に複数の仮想基準点１０４を設ける。図９（ａ）では仮想基準点１０４を、第二の仮想基準線１０３の交点、すなわち隣り合う基準ドット１０１を結んだ直線を底辺とし、第二の仮想基準線１０３を対辺とする二等辺三角形の頂点に設けているが、仮想基準点７４の位置はこれに限定されるものではなく、第二の仮想基準線１０３の中点に設けたり、第二の仮想基準線１０３上に代えて基準ドット１０１上に設けるなど、種々の変更が可能である。
【００８５】
そして、工程５として、仮想基準点１０４を始点としてベクトルにより表現した終点に情報ドット１０５を配置する。図９（ｂ）では情報ドット１０５を、仮想基準点１０４からのベクトル方向を８方向、仮想基準点１０４からの距離が等距離となるよう、一個の仮想基準点１０４に対し１個配置しているが、情報ドット１０５の配置はこれに限定されるものではなく、仮想基準点１０４上に配置したり、ベクトル方向を１６方向として配置したり、一個の仮想基準点１０４に対し２個配置するなど、任意の方向に任意の長さに、複数配置することが可能である。
図１１はドットパターンの情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。
情報ドット１０５は種々の情報を認識させるドットである。この情報ドット１０５は、仮想基準点１０６を始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット１０５は、図９に示すように、その仮想基準点１０６から０．１ｍｍ離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に４５度ずつ回転させて８方向に配置し、３ビットを表現している。
【００８６】
なお、図示例では８方向に配置して３ビットを表現しているが、これに限定されずに、１６方向に配置して４ビットを表現することも可能であり、任意の方向に任意の長さに配置できることはもちろんである。
【００８７】
さらに、図９（ｂ）では全ての仮想基準点５において、この仮想基準点１０６を始点としてその終点位置に情報ドット１０５を配置したが、これに限定されることなく、仮想基準点上にドットが配置されているか否かで情報を定義するようにしてもよい。たとえば仮想基準点上にドットが配置されていれば「１」、配置されていなければ「０」というように情報を定義することができる。
図１２は情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
【００８８】
また、情報ドット１０５について基準ドット１０１から導き出された仮想基準点１０６から短（図１２の上段）・長（図１２の下段）の２種類を使用し、ベクトル方向を８方向とすると、４ビットを表現することができる。このとき、長い方が隣接する仮想基準点５間の距離の２５〜３０％程度、短い方は１５〜２０％程度が望ましい。ただし、長・短の情報ドット３の中心間隔は、これらのドットの径より長くなることが望ましい。
【００８９】
情報ドット３は、その見栄えを考慮し、１ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、１ベクトル毎に、１ビットを割り当てて情報ドット３を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円８方向のベクトルでは、基準ドット４から定義された情報ドット３で２８の情報を表現でき、１の一定情報のまとまりの情報ドット８個で２６４となる。
【００９０】
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは２次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
【００９１】
図１３は、ストリームドットパターンを上下方向に並べた状態の一例について示す図である。
【００９２】
同図では、基準ドット、情報ドットの他に、キードットおよびサイドドットを配置している。キードットは、一定情報のまとまりの両端に配置されたドットである。このキードットは、ひとまとまりの情報ドット群を表す１領域分のドットパターン１の代表点である。サイドドットは、キードット２のずれの正負の延長線上に配置されたドットである。
【００９３】
同図（ｂ）は、基準ドットおよびストリームドットパターンを等間隔に並べている。このように、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、ＸＹ座標値が書き込み領域に隙間なく定義され軌跡情報を生成することができ手書き入力が可能となる。しかし、本発明に係るストリームドットパターンはこれに限らず、同図（ａ）に示すように、ドットパターン同士の間隔を任意に設定してよい。また、基準ドット同士の間隔も、任意に設定することができる。
【００９４】
これにより、ＸＹ座標が定義されたドットパターンを２次元コードとして形成される際（インデックスとして使用）の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【００９５】
なお、本発明に係る仮想基準線及び仮想基準点は、実際に媒体表面上に印刷形成されるわけではなく、あくまでコンピュータの画像メモリ上に、ドットパターンの配置の際、またはドットパターンの読み取りの際に仮想的に設定されるものである。
【００９６】
このストリームドットパターンを用いることで、地球儀を初めとする曲面体や、人体模型、立体地図などの三次元造形物にもドットパターンを形成することができ、平面地図や絵本等に限らず本発明に係る入出力装置を利用することが可能となる。
【００９７】
＜ストリームドットパターンのフォーマットの説明＞
図１４は、本発明にかかる手書き入出力システム１において媒体２に形成されるドットパターンのフォーマットについて説明する図である。
【００９８】
同図（ｄ）に示すように、ドットパターンは、一定情報のまとまりが定義された情報ドット２行×５列のユニット領域で構成されたドットパターンであり、このユニット内でＣ０〜Ｃ２９に区画されている。各領域のドットコードフォーマットを示したものが（ａ）〜（ｃ）である。
【００９９】
図１４（ａ）は、ページコードとＸ座標とＹ座標が登録されているフォーマットである。ページコードとは、媒体２が冊子状になっている場合等において、媒体２のページ数を意味するものであり、Ｘ座標およびＹ座標は、それぞれ、媒体上における位置（座標値）を意味するものである。これにより、ユーザがスキャナ３で媒体２を読み取ると、その媒体のページ数および読み取った箇所の座標位置が一度の読み取り操作で同時に認識される。
【０１００】
同図（ｂ）は、ページコードとアクションコードとＸ座標とＹ座標が登録されているフォーマットである。アクションコードとは、操作指示を意味するものである。例えば、当該ページに設けられた「拡大」「縮小」等の操作を意味するアイコンが描かれている領域内だけに定義されたもので、主に後述するアイコン領域に用いられるドットパターンに含まれている。また、アクションコードが当該ページの書き込み領域全面に定義され、手書き入力中または手書き入力後に必要な処理を行う場合には、アクションコードにその命令処理を関連付けし実行してもよい。例えば、命令処理は手書き入力中または手書き入力後に文字認識したり、他の情報処理装置に送信したりする処理をいう。なお、ここでは、ページコードとしての利用を述べたが、（）内の特定書き込み領域コードは、１面の媒体面内に複数設けてもよく、それらの書き込み領域をユニークなコードで定義することにより、瞬時に何処に書き込まれているかが判断できる。勿論、ページコードに併せて定義して、何ページのどの特定書き込み領域かを判断できるようにしてもよい。さらに、手書き入力される内容が所定のカテゴリーに属する場合、そのカテゴリーの辞書との照合により認識率は格段に向上する。この手書き入力される内容は、文字だけでなく記号やイラストであってもよいことは言うまでもない。勿論、アクションコードも、同様に特定書き込み領域コードに併せて定義し命令処理を実行してもよい。
【０１０１】
同図（ｃ）は、書き込み領域フラグを設けることにより、撮像手段で媒体面に形成されたドットパターンを撮像し、ドットパターン解析部８で解析すれば、直ちに書き込み領域であるか否かがわかり、書き込み領域でなければ、そのコード値および／または座標値に関連付けられた情報の出力および／または命令処理を実行し、書き込み領域であれば軌跡認識手段により手書き入力の所定の処理を実行する。この書き込み領域フラグは、同図（a）、（ｂ）のページコード（特定書き込み領域コード）やアクションコードを併設してもよいことは勿論である。
【０１０２】
このように、本発明のドットパターンは、ページコードやアクションコード等、種々のコード情報とＸＹ座標を一つのフォーマットに登録することができる。また、その他にも、ＸＹ座標のみ、あるいはコード情報のみを登録することもでき、柔軟性に富んだフォーマットが可能である。
【０１０３】
＜撮像部＞
図１５〜２８は、本発明にかかる手書き入出力システム１に用いる撮像部７を説明する図である。
【０１０４】
なお、撮像部７は人が手に持つのに適した大きさ、形状であることが好ましく、中でも図１５のようにペン型の形状をしていることが最も好ましい。
【０１０５】
同図（ａ）はペン型の形状をした撮像部７の最も基本的な実施形態を示す図である。かかる実施形態においては、指示用突起部２３、送信部２４が設けられており、図示しないＣ−ＭＯＳセンサ等が概ねペンの軸線上に内蔵されている。送信部２４は撮像部７が赤外線通信、無線通信等の方法を用いて他の部材に信号を送信するためのものであり、説明の便宜を図るため図示したが、実際には必ずしも外観上見える位置に設ける必要はない。
【０１０６】
同図（ｂ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、ユーザによる操作を受け付ける２つのボタンが設けられている。かかる２つのボタンは送信ボタン２５と、再送信ボタン２６であり、ユーザは撮像部７から他の部材に信号を送るようボタン操作により指示することができる。ここで、再送信ボタン２６とは、送信ボタン２５による信号の送信が遮蔽物の存在等により受信先の部材へ送信することができなかった場合に同じ信号を再度送信するのに用いる。
【０１０７】
同図（ｃ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、ユーザによる音声入力を受け付けるマイク２７と、音声再生ボタン２８がさらに設けられている。マイク２７は、後述する音声認識に用いる音声を収録するために用い、音声再生ボタン２８は、後述する音声ガイドを再生するために用いる。
【０１０８】
同図（ｄ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、指示用突起部２３の内部空間にペン２９が格納されており、ペン格納ボタン３０を押すことにより、ペン２９が出る。
【０１０９】
図１６は、本発明にかかる手書き入出力システム１を構成する撮像部７の実施例の一つであるペン型スキャナ３１の先端部を示す断面図である。かかるペン型スキャナ３１は、内部に中空部が形成され、その先端に開口部を有するライトガイド３２と、このライトガイド３２の開口部を臨む位置に配置されたレンズ３３と、このレンズ３３と同一面上に配置され、ドットパターンが形成された媒体面に所定波長の光を照射する光源としてのＬＥＤ３４（照射部１３）と、レンズ３３から後退した位置に配置されたＣ−ＭＯＳセンサ３５（撮像素子１２）と、さらに後退した位置にＰＣＢ３６とそれに設置される図示しないＣＰＵとを備えている。ライトガイド３２の中空部は、レンズ３３から開口部に向かって次第に大径となるテーパ状に形成されている。ここで、ＣＰＵは先述のドットパターン解析部８、軌跡認識部９、処理命令部１０、情報処理部１１、のいずれかまたは全ての役割を持つ。
【０１１０】
ライトガイド３２は、透明または乳白色の樹脂製であり、その内部が導光路として機能する。ＬＥＤ３４からの照射光は、ライトガイド３２の内部を進行し、前記開口部より媒体２に対して照射される。ライトガイド３２が乳白色の樹脂製である場合は、ＬＥＤ３４からの照射光は、ライトガイド３２内を進行する際、適度に拡散されるので、開口部から媒体２を照射する光をより均一にすることが出来る。
【０１１１】
＜ペンの装着＞
また、ペン型スキャナ３１は、筆記具としてのペン３７が装着されている。通常ペン等の筆記具で印字する際は、傾斜させた状態で用いるため、ペン型スキャナ３１の外周は、４５度まで傾斜可能になるように形成されている。この場合、ペン３７の先端近傍の媒体面を撮像することにより、撮像中心から離れた位置のペン３７の印字の際の筆跡や移動距離等を正確に解析することも可能となる。また、後述するオフセット補正により、筆跡をさらに正確に解析することが可能である。
【０１１２】
筆記具としてのペン３７は、種々の方法により格納して、媒体上に筆跡を残さないようにすることも可能である。格納する方法は、一般的なボールペンなどのペンにおいて用いられている技術をそのまま利用できる。たとえば、ノック式、回転式による格納方法を採用してもよいし、キャップを被せてもよい。
【０１１３】
また、一般的な三色ボールペンのようにペンを換えられるようにすることもできる。この場合、色の異なるペン同士を換えるだけでなく、ペンに代えて消しゴムや修正液が使えるようにしてもよい。
【０１１４】
さらに、ペン３７に代えて指示用突起部２３（スタイラスペン）を設け、指示用突起部２３の筆跡近傍を撮像するものとしてもよい。指示用突起部２３内に格納スペースを設けてペン３７を格納して、指示用突起部としても使用してよい。
【０１１５】
＜オフセット補正＞
図１７（ａ）に示すように、ペン型スキャナ３１において、撮像部７が撮像するドットパターンが定義するＸＹ座標値と、ペン３７が実際に書き込む軌跡上のドットパターンが定義するＸＹ座標値は異なる。さらに、軌跡上のドットパターンが定義するＸＹ座標値は、媒体面上の書き込み領域におけるxy座標値に変換して、書き込み入力や操作指示を行う必要がある。
【０１１６】
本発明にかかる手書き入出力システム１においては、撮像部７が撮像するドットパターンのＸＹ座標値を、ペン３７が実際に書き込む軌跡上のドットパターンを補正する方法と、ドットパターン座標系のXY座標値から書き込み領域座標系のxy座標値への変換方法を以下に説明する。
【０１１７】
＜書き込み領域の座標系とドットパターンの座標系の関係＞
図１７に書き込み領域の一例を示す。
【０１１８】
書き込み領域座標系は左下隅を(0,0)とする。書き込み領域のxy座標値は、ｍｍ表示とする。例えば、(16,40)の座標位置であれば、書き込み領域の左下隅から右へ16ｍｍ、上へ40ｍｍ移動した位置を示す。
【０１１９】
書き込み領域内には、図１３と図１４に示すように少なくともドットパターン座標系のXY座標値を１組定義したドットパターンのユニットが連続して形成されている。XY座標値は、ユニットの中心点の位置を示す。ドットパターン座標系の座標値を書き込み領域座標系の座標値と区別するため、〔X,Y〕と表す。上記ユニットとは、一定情報のまとまりが定義されたストリームドットを言い、線状に配置された基準ドットを結ぶ、第一の仮想基準線の中心をユニットの中心とする。
【０１２０】
書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのユニットの左下隅と原点(0,0)を一致させると、ドットパターン座標系におけるXY座標値は、図１８のように、どの書き込み領域でも左下隅が〔-0.5,-0.5〕となるようにドットパターンが形成される。この場合は、各書き込み領域に形成されたドットパターンには、固有のコード値を定義して各書き込み領域を特定する。互いに特定する必要のない場合は、同一のコード値を定義してもよい。
【０１２１】
また、図２０のように、紙面全面にXY座標値を定義したドットパターンを形成し、書き込み領域には、上記XY座標値の他、固有のコード値を定義する。この場合、書き込み領域の左下隅のXY座標値は、〔Xn0,Yn0〕(nは書き込み領域を特定する番号)となる。
【０１２２】
次に、各ユニットの一辺をLｍｍとすると、XY座標値は以下のように書き込み領域座標系に変換する。
【０１２３】
図１８のように、原点(0,0)のXY座標値を〔-0.5,-0.5〕としてドットパターンを形成した場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域座標系では、
(X×L＋L／2, Y×L＋L／2)となる。
【０１２４】
なお、図１９のように、書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのユニットの中心点と原点を一致させると、
(X×L, Y×L)となる。
【０１２５】
なお、図１９の例における書き込み領域座標系とドットパターン座標系との関係は、図１７の拡大図部分の例と同じである。
【０１２６】
図２０のように、書き込み領域の左下隅のXY座標値が〔Xn0,Yn0〕となる場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域n座標系では、
((X−Xn0)×L,(Y−Yn0)×L) となる。
【０１２７】
＜撮像中心Cのドットパターン座標系におけるXY座標値〔Xc,Yc〕の算出＞
図２１を用いて、撮像中心CのXY座標値〔Xc,Yc〕の算出方法を説明する。
撮像画像を所定の解像度のフレームバッファに一時記憶し、画像解析することにより、隣り合うユニットの中心間隔を構成するピクセル数Mを求める。ユニットの中心間隔は、ユニットの一辺の長さLに等しいので、Lに対する撮像画像の１ピクセル当たりのサイズを、ドットパターン座標系での値kとすると、
k＝L／Mとなる。
【０１２８】
同じく画像解析により、撮像中心Cから最も近いユニット中心P〔Xｐ,Yｐ〕と、撮像中心Cとの間隔を構成するピクセル数uが求まる。撮像中心Cから、撮像中心から最も近いユニット中心Pまでの距離CPは、
CP＝k×uとなる。
【０１２９】
次に、ドットパターンの向き（書き込み領域の向き）が書き込み領域の上方向になるようにドットパターンが紙面に形成されている場合、ドットパターンの向きとPCベクトルとのなす角をθ'（左回転を正の方向とする）とすると、
〔Xc,Yc〕＝〔Xｐ−CP×sinθ', Yｐ＋CP×cosθ'〕
が求まる。
【０１３０】
＜ペン先の書き込み領域座標系におけるxy座標値Q（xq,yq）の算出（ペンが紙面に対し垂直な場合）＞
図２２のように、書き込み領域座標系における撮像中心Cの座標値を（xc,yc）、ペン先の媒体面における座標値をQ（xq,yq）とする。図２３のように、点Cと点Qのx座標値、y座標値の差分を、それぞれΔxq、Δyqとすると、
Δxq ＝xq −xc
Δyq＝yq−yc
が求まる。
【０１３１】
ドットパターンの向きが書き込み領域上方向になるように、ドットパターンが形成されている場合に、撮像中心Cを始点とし、ペン先を終点とするCQベクトルの向きをペン型スキャナ３１の向きとする。
【０１３２】
ドットパターンの向きとペン型スキャナ３１の向きのなす角をθ（左回転を正の方向とする）とする。
【０１３３】
また、図２４のように、ペン型スキャナ３１が紙面に対し垂直な状態での、撮像中心Cからペン先Qまでの距離をsとすると、
Δxq およびΔyqは、
Δxq ＝−s×sinθ
Δyq＝s×cosθ
となる。
【０１３４】
従って、xqおよびyqは、
xq ＝xc −s×sinθ
yq＝yc＋s×cosθ
となる。
【０１３５】
＜ペン先の書き込み領域座標系におけるxy座標値Q'（xq',yq'）の算出（ペンが紙面に対し傾いている場合）＞
図２５のように、ペン型スキャナ３１が紙面に対し傾いている場合、前述の撮像中心Cからペン先Qまでの距離が変化する。
【０１３６】
ペン型スキャナ３１本体の紙面の法線方向からの傾き（以下、「ペンの傾き」という。）をαとしたときの、撮像中心からペン先までの距離をs'とすると、前記の式はs→s'と置き換えられ、
xq' ＝xc −s'×sinθ
yq'＝yc＋s'×cosθ
となる。
【０１３７】
また、
s'＝s／cosα
であるので、これを当該式に代入すると、
xq' ＝xc −s'×sinθ/ cosα
yq'＝yc＋s'×cosθ/ cosα
となる。
【０１３８】
＜ペン先がペン本体に収納された状態で利用する場合の撮像中心からペン先までの距離＞
なお、図２６のように、ペン先が格納されると、ΔLだけペン型スキャナ３１が紙面に近づくがsおよびs'には影響を及ぼすものではなく、計算式は同一となる。
【０１３９】
＜ペンの傾きαの算出方法＞
ペンの傾きαを検出するには、ペン本体に傾きセンサなどの傾き計測手段を設けても良い。
【０１４０】
または、撮像画像の所定複数p箇所の明るさBLi,j=1,pを求め、最も明るい箇所と最も暗い箇所の明るさの差ΔBLを用いて関係式α＝f(ΔBL)からペンの傾きαを求めることもできる。
【０１４１】
α＝f(BLi,j=1,p)のようにBLi,jをパラメータとして、フーリエ関数やsin関数を用いてαを求めることもできる。
【０１４２】
また、ΔBLとαを対応させるテーブルを予め作成し、αを算定してもよい。なお、ペンを傾けた方向は、BLi,j=1,pの最も暗い箇所から、最も明るい箇所の方向を計測することにより求まる。
【０１４３】
＜媒体２＞
図２７〜４０は、本発明にかかる手書き入出力システム１に用いる媒体２を説明する図である。
【０１４４】
図２７は、表面全体にドットパターンを印刷（形成）して書き込み領域とした媒体２を示す図である。
【０１４５】
かかるドットパターンはＸＹ座標値およびページコードを定義している。ここで、ページコードとはコード情報を用いて、媒体を特定をするコードを意味する。
【０１４６】
図２８は、ページコードおよびＸＹ座標値を定義したドットパターンが印刷された領域内に、アクションコードをさらに定義した別のドットパターンが印刷された媒体２を示す図である。
【０１４７】
ここで、アクションコードとはコード情報を用いて、特定した媒体への手書き入力に対して情報処理部１１に所定の操作（特にアプリケーションの操作）を命令するコードを意味する。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０１４８】
本媒体は、複数枚が組になっており、シート毎に異なるページコードが割り当てられている。ページコードはたとえば１ページ目は「０１」、２ページ目は「０２」、３ページ目は「０３」である。
【０１４９】
アクションコードを定義したドットパターンが印刷された領域には、かかるアクションコードがどのような意味を持つものであるかユーザに説明するためのテキスト、グラフィック、写真、アイコンを重畳して印刷することができる。たとえば「開始」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションの起動を命令する。「中止」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによる入力結果の破棄（キャンセル）を命令し、または、情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、情報処理部１１に対して処理の実行を中止することを命令する。「保存」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部に対して手書き入出力用アプリケーションによる入力結果の保存を命令する。「終了」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションの終了を命令する。
【０１５０】
図２９は、ＸＹ座標値およびページコードを定義したドットパターンが印刷された領域と、アクションコードおよびページコードを定義したドットパターンが印刷された領域が分かれている媒体２を示す図である。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０１５１】
図３０は、ＸＹ座標値およびページコードを定義したドットパターンが印刷された第一の媒体と、アクションコードのみを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体を示す図である。この場合、媒体のどの頁でも、手書き入力に対する各種命令を実行できる。なお、書き込み領域とアイコンとを別体に設ける場合、図３２のように、ペーパーコントローラとする場合の他、シール、付箋紙、カードとして、他の媒体に貼付してもよい。
【０１５２】
なお、「本文入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、本文となる文字または図形の入力を命令する。「コメント入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、コメントとなる文字または図形の入力を命令する。「編集」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、文字または図形の編集を命令する（すなわち、手書き入出力用アプリケーション以外のアプリケーションにより作成された文書、画像等のファイルを編集することも可能である。）。「決定」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、情報処理部１１に対して処理の実行を決定することを命令する。
【０１５３】
図３１は、ＸＹ座標値およびページコードＡを定義したドットパターンが印刷された第一の媒体と、アクションコードおよびページコードＡを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体が一つの冊子となったものを示す図である。
【０１５４】
この場合、書き込み領域には各ページ同一のＸＹ座標が登録されたドットパターンが印刷されていてもよい。なぜなら、書き込み操作を行う際には、アクションコードおよびページコードが登録されたコントローラ領域のアイコンを使用すれば、書き込み領域を特定できるからである。つまり、ＸＹ座標値を変更することなく書き込み領域の位置、ページを変更することが可能ともいえる。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０１５５】
上記の他、書き込み領域全体に、情報処理部に対して手書き入出力用アプリケーションの起動を命令するアクションコードを定義したドットパターンを印刷してもよい。この場合、媒体面において書き込みが行われると自動的に手書き入出力用アプリケーションが起動するようになる。
【０１５６】
また、媒体上の書き込み領域は一つに限らず、複数定義することも可能である。
（複数の書き込み領域が設けられる場合に関して）
【０１５７】
以下、図３２〜３６を用いて、複数の書き込み領域が設けられる場合に関して、４つの例を用いて説明する。
【０１５８】
＜第1の例＞
第1の例は、図３２に示すように、複数の書き込み領域毎に、異なるドットパターン座標系によるXY座標値と書き込み領域を特定するコード値とを定義したドットパターンが形成される場合である。
【０１５９】
この図では、それぞれの書き込み領域ごとに、ドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値ｍ、ｎを定義したドットパターンが形成されている。
【０１６０】
コード値は複数の情報を定義することにより、書き込み領域のみならずページ番号を分類する分類番号などを含めることができる。
【０１６１】
ページ番号が含まれると、どのページのどの書き込み領域なのかを判別でき、書き込み領域で情報や処理命令、択一などの選択項目があり、共通のコードとして処理する場合では、定義されたページ番号や、選択項目を特定する情報を合わせてコード値として定義できる。
【０１６２】
なお、図３３に示すように、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。この図では、コード値をｎ１、ｎ２、ｎ３、ｎ４としている。これにより、１つの書き込み領域内に複数の選択項目を設定できる。
【０１６３】
この第1の例では、各領域の左下隅が常に０（原点）となるので扱いがしやすいという利点がある。
【０１６４】
＜第2の例＞
第2の例は、図３４に示すように、所定領域全面に1つのドットパターン座標系によるXY座標値を定義したドットパターンが形成され、書き込み領域のドットパターンにはXY座標と共にコード値も定義されている場合である。
【０１６５】
この図では、所定領域の左下隅を原点とする１つのドットパターン座標系でXY座標値を定義したドットパターンが、所定の領域全面に形成されている。この所定の領域内にある、二つの書き込み領域はそれぞれ、左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎとが定義されている。
【０１６６】
コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。
【０１６７】
なお、書き込み領域以外のドットパターンが形成された領域には書き込みはできないようになっている。
【０１６８】
第2の例によれば、XY座標値を読み取ることで、書き込み領域が、所定領域内のどこにレイアウトされているかが容易にわかる。
【０１６９】
＜第3の例＞
第3の例は、図３５に示すように、書き込み領域の中に、さらに書き込み領域を入れ込む場合である。
【０１７０】
この図では、所定領域の左下隅を原点とする１つのドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値Lとを定義したドットパターンが、所定の領域全面に形成されている。この所定の書き込み領域内にある、二つの書き込み領域は、それぞれ、左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎが定義されている。
【０１７１】
この例によれば、文章や図形を自由に書きこむ大きな書き込み領域内に、選択項目欄などの小さな書き込み領域を配置することが容易になる。
【０１７２】
仮に、これを第1の例によって実現しようとすると、書き込み領域内にさらに書き込み領域を形成する際、穴の空いた書き込み領域を設ける必要があり、ドットパターンの形成が複雑な作業となる。
【０１７３】
さらに、１つの座標系で、書き込み領域内に書き込み領域を形成できれば、入力モードを変更することにより、書き込み領域内の書き込み領域を無視して、書き込み作業を行うことができるように設定することが可能となる。例えば、書き込み領域内の書き込み領域に書き込みを行う場合は、入力モードを切り替えるか、特定の記号を描いた場合に限り、有効となるような設定を設けてもよい。
【０１７４】
なお、コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。
【０１７５】
この例においては、XY座標値を読み取ることで、書き込み領域がどこにレイアウトされているかが容易にわかる。
【０１７６】
＜第4の例＞
第4の例は、図３６に示すように、所定領域全面に1つのドットパターン座標系を定め、書き込み領域にはこの座標系でのXY座標値と書き込み領域を特定するコード値を定義したドットパターンが形成される場合である。
【０１７７】
この図では、所定の領域内に左下隅を原点とする１つの座標系を定め、この領域内にある、二つの書き込み領域に、それぞれ左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎとが定義されたドットパターンが形成されている。
【０１７８】
この例では、第2の例とは異なり、書き込み領域以外の範囲にはドットパターンは形成されていない。
【０１７９】
この例では、グラフィック、テキストなどの印刷物の版下と、ドットパターンの版下がある場合、印刷物の版下の座標系に合わせて自動的に書き込み領域の範囲を、マスクを配置することによってレイアウトするマスク処理をしてドットパターンの版下を作成することが可能となり、容易にドットパターンを発行することが出来る。
【０１８０】
また、ドットパターンを読み取ったとき、XY座標値を読み取ることで、書き込み領域が所定の領域内のどこにレイアウトされているかが分かるため、例えば紙面上のどこに配置すれば広告効果が高いかなどのリサーチに用いることが可能となる。
【０１８１】
なお、以上の説明では全て、ドットパターン座標系を用いて説明をしたが、ドットパターン座標系から変換された書き込み領域座標系であっても同様であることは当然である。
【０１８２】
図３７は、媒体上に複数の書き込み領域を定義した具体例である書類を示す図である。
【０１８３】
同図（ａ）はかかる書類において、各書き込み領域にＸＹ座標値の原点および書き込み領域の特定を命令する特定コードが定義されたものを示す図である。
【０１８４】
同図（ａ）においては「氏名」の書き込み領域内に「フリガナ」の書き込み領域が、「住所」の書き込み領域内に「郵便番号」の書き込み領域が、「周辺の地図」の書き込み領域内に「徒歩（の時間）」、「電車（の利用時間）」、「バス（の利用時間）」の書き込み領域が定義されている。
【０１８５】
また、「性別」の書き込み領域は「男」と「女」の書き込み領域に、「生年月日」の書き込み領域は「年」、「月」、「日」の書き込み領域にそれぞれ分割されている。
【０１８６】
このような書き込み領域のレイアウトは、それぞれに異なった特定コードを割り当てることにより可能となる。
【０１８７】
同図（ｂ）はかかる書類において、各書き込み領域にはＸＹ座標値の原点が定義されず、書き込み領域の特定を命令する特定コードのみが定義されたものを示す図である。
【０１８８】
このような構成にすることにより、書き込み情報の媒体面全体での位置を特定することができる。
【０１８９】
図３８は、図３７の書類に実際に手書き入力を行った状態を示す図である。
【０１９０】
同図（ａ）は実際に手書き入力を行った図３７（ａ）の書類を示す図である。
【０１９１】
同図（ｂ）は、同図（ａ）の手書き入力を受けて、情報処理部１１が行った処理の結果をディスプレイ６上に表示し、または印刷により出力した状態を示す図である。
【０１９２】
詳細は後述するが、本発明にかかる手書き入出力システム１は、手書き入力した文字および図形をいくつかの方法により認識することにより、同図（ｂ）のような出力を行う。
【０１９３】
＜ドットパターンを新たに印刷する＞
本発明の手書き入出力システム１においては、手書き入力を行い、情報処理部１１において手書き入力を反映させたものを印刷して、再度手書き入力を行うこともできる。
【０１９４】
図３９（ａ）は、軌跡認識部９が認識した軌跡情報と、ドットパターンを重畳して印刷した媒体２を示す図である。図示はしないが、図３９（ａ）に示す媒体２には、最初に手書き入力を行った媒体２に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。
【０１９５】
図３９（ｂ）には、情報処理部１１が行った処理の結果を、ドットパターンを重畳して印刷した媒体２を示す図である。図示はしないが、図３９（ｂ）に示す媒体２には、最初に手書き入力を行った媒体２に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。この場合、XY座標は同一で、ページコードのみを変更して印刷してもよい。
【０１９６】
＜点字・バンク＞
また、媒体２にはバンクガイド３８（幅狭の凸部）または点字３９をさらに設けてもよい。
【０１９７】
図４０は、書き込み領域の外周にバンクガイド３８を設け、書き込み領域にはドットパターンとともに点字３９の突起を設けたものである。このようにバンクガイド３８を設けることにより視覚障害を持つユーザが手書き入出力を使用するときも書き込み領域の位置がわかり、点字３９とドットパターンを同じ領域に設けておくことにより、視覚障害を持つユーザが手書き入出力を使用するときにも健常者と同様の入力効率を保つことができる。
【０１９８】
＜ドットパターン解析部＞
ドットパターン解析部８は、前述のストリームドットにおけるドットパターンを用いた情報の入出力方法に従い、画像データをコード解析することにより、ドットパターンが定義するＸＹ座標情報およびコード情報を求める。
【０１９９】
本発明にかかる手書き入出力システム１においては、ユーザが撮像部７により媒体上に書き込んだ（トレースした）軌跡をドットパターン解析部８が順次コード解析するため、ＸＹ座標情報およびコード情報はこの軌跡を表すものである（軌跡情報）。
【０２００】
＜軌跡認識部＞
軌跡認識部９は、軌跡情報の変化に基づき、媒体上に書き込まれた文字、図形を認識する。
【０２０１】
軌跡認識の方法は、一般的なＯＣＲ（光学的文字読取装置）のように、文字、図形をグラフィックとして考え、データベース内の文字、図形のＸＹ座標のパターンを参照することにより行う方法である。
【０２０２】
ここで、本発明においては特に、コード情報によって書き込み領域に書き込む内容を予め指示しておくことができる。すなわち、予め分類された文字および／または図形情報パターンテーブルを参照することで、軌跡情報を高精度で認識することが可能である。具体例としては、予めアラビア数字のみを記載することを指示しておけば、軌跡認識部９はアラビア数字のテーブルのみを参照するため認識率は高まる。認識ができない場合は、通常通りデータベース内の全ての文字、図形を参照すればよい。
【０２０３】
さらに、上記の軌跡認識を行った上で、書き込み領域に書き込まれた文字および／または図形、もしくは１または複数の文字からなる語句の、意味情報を、コード情報に対応する予め定義された意味情報コードテーブル（辞書）を参照することで、意味情報コードに変換することもできる。すなわち、軌跡認識部９はたとえば「東京都文京区」という書き込みがされた場合、「東」「京」「都」文」「京」「区」と、まず一文字ずつパターン認識を行うが、さらに、意味情報コードテーブル（辞書）を参照して、「東京都」に予め対応するものとして定義された意味情報コードと、「文京区」に予め対応するものとして定義された意味情報コードに変換することにより、情報処理部は「東京都」「文京区」という地名が入力されたものと認識することができる。
【０２０４】
また、意味情報コードテーブル（辞書）を参照することは、文字のパターン認識を補助することにもなる。たとえば「東京」の「東」の文字をユーザが汚く書いたために、ユーザが「東」と書いたのか「車」と書いたのか軌跡認識部９が認識することが困難である場合、意味情報コードテーブルにおいて「東京」という熟語が定義されており、「車京」という熟語が定義されていなければ（「車京」という熟語は通常存在しない）、ユーザは「東」という文字を書いたものとして軌跡認識部９は認識をすることができる。
【０２０５】
＜計時部＞
本発明にかかる手書き入出力システム１は計時部１５をさらに備えてもよい。計時部１５は時間情報を検出する機能を持つ。
【０２０６】
ここで、時間情報は、
（１）撮像部７が書き込み領域面に触れて描かれた筆歴の順番とする。
【０２０７】
（２）撮像部７が書き込み領域面に触れて、離れるまでの時間の集合とし、書き始めてから、撮像部７が離れている時間を無視する。つまり、撮像部７が離れている時間を省き、（１）の始まりと、終わりの時間から、手書き入力時間とその順番を記述する。これにより、文字を書く時間が分かり、文字認識の精度向上と、対象者の文字入力速度がわかる。
【０２０８】
（３）撮像部７が書き込み領域面に触れる、離れるの、全ての時間を記録することにより、アンケートや、商品の選択などに、どれくらい時間を要したかがわかり、通常時との比較を行うことにより、難易性や思考状態、書き手の性格、年齢、性別などを把握できる。
【０２０９】
（４）また、ペンの移動速度を把握することにより、文字のハネや書きづらさを解析でき、さらに書き手の心理状態や健康状態を推測することもできる。
【０２１０】
＜角度測定部・角度変化認識部＞
本発明にかかる手書き入出力システム１は角度測定部１６・角度変化認識部１７をさらに備えてもよい。角度測定部１６・角度変化認識部１７は撮像部７の媒体面に対する傾きを測定・認識する。
【０２１１】
角度測定・角度変化認識の方法は、既に述べたペンの傾きαの算出方法をそのまま用いることができる。この場合、撮像部７がペンを備えなくとも傾きを測定・認識することは可能である。また、特願２００５−２６７５６５号（ＰＣＴ／ＳＧ２００６／０００２６７）にかかる情報出力装置の発明において開示されている傾きの算出方法を用いることができる。ただし、これら以外の方法を用いてもよい。
【０２１２】
なお、傾きの測定・認識の基準となる撮像部７の媒体面に対する角度変化の認識は、撮像部７を媒体面に対して鉛直状に立てたときの角度のみならず、撮像部７が媒体面に触れた際の角度を基準とすることができるものとする。
【０２１３】
＜回転角読み取り部・回転角変化認識部＞
本発明にかかる手書き入出力システム１は回転角読み取り部１８・回転角変化認識部１９をさらに備えてもよい。回転角読み取り部１８・回転角変化認識部１９は撮像部７の撮像光軸を概ね鉛直状に立て、回転させたときの回転角を読み取り・認識する。
【０２１４】
なお、ドットパターンの向きと撮像部７の向きの為す角度を求める方法はオフセット補正の項で既に説明しているが、この方法はペンの有無にかかわらず、回転角の読み取り・認識方法に利用できる。すなわち、ドットパターンの向きは常に一定であるため、撮像部７を媒体面に対して鉛直上に立てて最初に撮像したときのドットパターンの向きと撮像部７の向きの為す角度θ１と所定の時間経過後のドットパターンの向きと撮像部７の向きの為す角度θ２（左回転を正の方向とする）との差を回転角として読み取り・認識することができる。
【０２１５】
＜タッチ動作と跳ねる動作の判別方法＞
本発明にかかる手書き入出力システム１において、撮像部７を書き込み領域にタッチする動作（タッチ動作）と、書き込み領域に触れた状態から跳ねる動作（跳ねる動作）の判別方法を図４１に説明する。
【０２１６】
同図（ａ）に示すように、撮像部７を書き込み領域にタッチする場合、撮像部７が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる。そして、撮像部７を書き込み領域から離すとＬＥＤ３４からの照射光が媒体面に反射しなくなるためＣ−ＭＯＳセンサ３５はＬＥＤ３４からの照射光（媒体面からの反射光）を検知せず、同図（ｃ）に示すように、ドットパターンを撮像することができない。
【０２１７】
同図（ｂ）に示すように、撮像部７を書き込み領域に触れた状態から跳ねる場合、撮像部７が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる、つまりここまでは書き込み領域にタッチする動作と同様である。そして、撮像部７を書き込み領域に触れた状態から跳ねると、撮像部７の先端は依然として所定時間書き込み領域へ向いていることにより、ＬＥＤ３４からの照射光は媒体面に反射するため、Ｃ−ＭＯＳセンサ３５は媒体面上のドットパターンを一応撮像するが、撮像部７の移動速度が速いことから、同図（ｄ）に示すように、ドットパターンがぼやけて解析することはできない。
【０２１８】
すなわち、撮像部７が書き込み領域をタッチしてドットパターンを撮像し、解析した瞬間を基準時として、所定時間経過後（例：０．２秒後）に撮像した画像データを解析して、ドットパターンを撮像しない（反射光を検知しない）ときは、撮像部７はタッチ動作をしたものとして、処理命令部１０は情報処理部１１に対して、タッチ動作と対応するものとして予め定義づけられた処理命令を送信する。ドットパターンを撮像するが（反射光を検知するが）、ドットパターンがぼやけて解析することができないときは、撮像部７は跳ねる動作をしたものとして、処理命令部１０は情報処理部１１に対して、跳ねる動作と対応するものとして予め定義づけられた処理命令を送信する。なお、同図（ｅ）に示すように、ドットパターンを解析することができるときは、通常の手書き入力動作に他ならない。
【０２１９】
＜処理命令部＞
処理命令部１０は、軌跡認識部９が認識した情報に基づく処理命令を、軌跡情報とともに情報処理部１１に対して送信する。
【０２２０】
既に説明した、媒体面に印刷したドットパターンが定義する、ページコードに基づく頁を特定する命令、特定コードに基づくある書き込み領域を特定する命令、アクションコードに基づく種々の命令は、処理命令部１０が実際に情報処理部１１に対して行う。
【０２２１】
また、処理命令部１０は、詳細は後述するが、手書き入出力用アプリケーションにおける各種のオペレーションの実行を情報処理部１１に対して命令する。
【０２２２】
さらに、角度測定部１６・角度変化認識部１７による測定・認識結果、および回転角読み取り部１８・回転角変化認識部１９による読み取り・認識結果に基づく予め定められた処理命令を情報処理部１１に対して命令する。
【０２２３】
＜情報処理部＞
情報処理部１１は、本発明にかかる手書き入出力システム１が行う処理命令を受けて、各種の処理を実行する。
【０２２４】
＜サーバ＞
本発明にかかる手書き入出力システム１は、必要に応じて各種の情報を記録したサーバ５にアクセスしてもよい。
【０２２５】
＜軌跡認識用サーバ＞
サーバ５には、たとえば軌跡認識用の情報を記憶することができる。一般的なＯＣＲ（光学的文字読取装置）で採用されているように複数の文字および図形にＸＹ座標パターンが定義づけられて記憶されている。
【０２２６】
また、文字および図形には、これらを分類するための分類コードが定義づけられて記憶されている。
【０２２７】
さらに、文字および図形には、意味情報コードテーブル（辞書）を参照することにより、１または複数の文字からなる語句または図形、もしくはこれらの組み合わせを出力するための意味情報コードが定義づけられて記憶されている。
【０２２８】
本発明にかかる手書き入出力システム１においては、ＸＹ座標情報のみならずコード情報を用いて書き込み領域を特定することができるため、書き込み領域の量（数）が膨大であっても、容易に管理することができる。特に、誰もが利用できる共有のグローバルサーバに書き込み情報を記憶する場合に極めて有効である。
【０２２９】
＜その他のサーバ＞
サーバ５には軌跡認識用の情報以外にも、音声、文書、画像、動画、アプリケーション、その他の様々な情報を記憶することができることは説明するまでもない。たとえば手書き入出力用アプリケーションを記憶することができる。すなわち、情報処理部１１が手書き入出力用アプリケーションを持たないとき、サーバ内を検索して、サーバ上の手書き入出力用アプリケーションを実行することができる。ただし、サーバ上の手書き入出力用アプリケーションを優先して実行してもよい。
【０２３０】
なお、サーバ５に代えて、他の情報処理部１１の手書き入出力用アプリケーションを実行してもよい。
【０２３１】
当然ながら、サーバ５は上記の実施例以外にも形態を種々変更して実施することができるものとする。
【０２３２】
＜手書き入出力用アプリケーション＞
以下に、本発明にかかる手書き入出力システム１において実行される、手書き入出力用アプリケーションについて説明する。
【０２３３】
かかるアプリケーションは各種のオペレーションを実行することにより媒体面への書き込みをコンピュータ上でも反映させるシステムである。
【０２３４】
媒体面への書き込みは処理命令部１０が情報処理部１１に対してリアルタイムに命令することにより、処理結果が表示されるディスプレイ６を見ながら行ってもよいし、ディスプレイ６を見ずに書き込みを行い、書き込み後に処理命令部１０が情報処理部１１に対して命令してもよいものとする。
【０２３５】
＜書き込み操作＞
以下、本発明にかかる手書き入出力システム１における、書き込み操作について説明する。
【０２３６】
書き込み操作は、入力しようとする文字または図形を、撮像部７を用いて媒体面の書き込み領域に書き込むことにより行う。
【０２３７】
撮像部７は、撮像部７が媒体面を移動している間、所定の時間間隔において書き込み領域に重畳的に印刷されたドットパターンを撮像する。後の手順は既に説明したとおりである。
【０２３８】
以下、手書き入出力システム１が実行する各オペレーションについて説明する。
【０２３９】
＜文字および図形の認識方法＞
図４２は本文の文字を手書き入力する第一のオペレーションを説明するイメージ図である。
【０２４０】
同図（ａ）のように、撮像部７を用いて書き込み領域に文字を書くと、同図（ｂ）のように、撮像部７は軌跡上のドットパターンを順次撮像して、ドットパターン解析部８はＸＹ座標情報とコード情報からなる軌跡情報を取得する。
【０２４１】
なお、説明の便宜のため同図（ｂ）においては軌跡上のドットパターンの撮像位置の間隔は広くとってあるが、実際にはもっと狭い。
【０２４２】
同図（ｃ）のように、軌跡情報に基づいて認識を行った結果に基づいて、情報処理部１１は第一のオペレーションを実行し、ディスプレイ６に結果を出力する。
【０２４３】
同図（ｄ）のように、図形を認識する場合も、文字を認識する場合と何ら認識方法に変化はなく、同図（ｅ）のように認識結果がディスプレイ６上には表示される。
【０２４４】
ただし、文字および図形の認識を行わず、ドットパターン解析部８が求めたＸＹ座標情報をそのまま入出力してもよい。この場合、本発明にかかる手書き入出力システム１はペンタブレットとして機能する。
【０２４５】
＜第二のオペレーション＞
図４３に示すように、第二のオペレーションはコメントの文字を手書き入力するオペレーションである。なお、同図では説明の便宜を図るためにコメント部分を破線により囲んでいるが、実際に破線を書き込む必要はない。
【０２４６】
文字または図形の認識方法は第一のオペレーションの方法と同一である。
【０２４７】
第二のオペレーションにおいて入力されたコメントの文字は、情報処理部１１においても本文とは別のコメントとして認識される。
【０２４８】
コメントは図４４のように、行間に記入したものが情報処理部１１においてそのまま反映されてもよいが、図４５のように、本文中のコメントを挿入したい部分を下線により指定することによって、情報処理部１１において本文の脇にコメントが列挙されるようにしてもよい。
【０２４９】
＜第三のオペレーション＞
第三のオペレーションは手書き入力した文字を編集するオペレーションである。
【０２５０】
各編集は、情報処理部１１において編集記号としてあらかじめ定義される文字または図形を、撮像部７を用いて書き込むことにより行う。
【０２５１】
文字または図形の認識方法は第一のオペレーションの方法と同一である。
【０２５２】
図４６は本発明の第三のオペレーションである編集操作において用いる編集記号を説明する図である。
【０２５３】
１つの閉じた領域を形成する線は領域内の文字または図形を選択する編集記号を意味する。
【０２５４】
領域を閉じない括弧状の二組の線は二組の線の間の文字または図形を選択する編集記号を意味する。
【０２５５】
レ点はカット＆ペースト時にカットの対象を指定する編集記号を意味する。
【０２５６】
二重線は削除（消去）の編集記号を意味する。
【０２５７】
「トル」は削除（消去）の編集記号を意味する。
【０２５８】
「イキ」は編集記号「トル」の取り消しの編集記号を意味する。
【０２５９】
三往復以上のジグザグ線は編集の取り消しの編集記号を意味する。
【０２６０】
双方向の矢印は選択した文字または図形同士を入れ替える編集記号を意味する。
【０２６１】
一方向のみの矢印はペースト先を直接指定する編集記号を意味する。
【０２６２】
文字（Ａ）、（Ｂ）、（Ｃ）．．．は選択した文字または図形をフラグ付けした状態でコピー（カット）し、離れた位置にあるペースト先を指定する編集記号を意味する。
【０２６３】
ただし、上記以外の編集記号を定義してもよいことはいうまでもない。
【０２６４】
図４７は第三のオペレーションを実行する前の媒体２を示す図である。媒体２には第一のオペレーションを実行して手書き入力された文書または手書き入力した結果、印刷された文書が記入されている。
【０２６５】
図４８は第三のオペレーションにおける媒体２上での編集状態を説明する図である。
【０２６６】
同図（ａ）のように、領域を閉じる線を書き込むときには、手書き入出力用アプリケーションにおいては線により閉じた領域内を一個の編集対象として認識する。
【０２６７】
同図（ｂ）のように、領域を閉じない括弧状の線を書き込むときには、後の領域において同図（ｃ）のように、対応する括弧閉じ状の線を描くことにより間の領域を一個の編集対象として手書き入出力用アプリケーションにおいては認識する。特に、編集対象が数行にまたがる場合に用いる。
【０２６８】
同図（ｄ）のように、編集対象を選択した状態において編集対象を示す線上に「トル」を描くときには、手書き入出力用アプリケーションにおいては編集対象の文字を削除する。
【０２６９】
同図（ｅ）のように、編集対象を選択した状態において編集対象から所定の位置までを指定する矢印を描くときには、手書き入出力用アプリケーションにおいては編集対象を指定した領域にカット＆ペーストまたはコピー＆ペーストする。ここで、ペースト先は文字と文字の間（もしくは行頭または行末）に挿入するだけでなく、同図（ｆ）のように、ペースト先を編集対象とすることで元の文字を削除して上書きすることも可能である。
【０２７０】
この場合、同図（ｇ）のように、コピー元の編集対象を示す線上に削除の編集記号であるレ点を描き加えたときにはカット＆ペーストとして手書き入出力用アプリケーションにおいては処理され、カットしたもとの対象は削除される。同図（ｈ）のように、レ点を描き加えないときにはコピー＆ペーストとして手書き入出力用アプリケーションにおいては処理される。
【０２７１】
同図（ｉ）のように、編集対象に（Ａ）、（Ｂ）といったフラグとなる編集記号を描き加えると、編集対象は（Ａ）、（Ｂ）というフラグを付けた状態でコピーされ、以後は任意に何度でもペーストが可能でなる。さらに、同図（ｊ）のように、ページが異なるなど、離れた位置にもペーストすることが可能である。
【０２７２】
同図（ｋ）のように、文字の上に二重線を引くと、手書き入出力用アプリケーションにおいては二重線を引いた文字を削除する。
【０２７３】
同図（ｌ）のように、２つの編集対象を双方向の矢印の編集記号で結ぶと、手書き入出力用アプリケーションにおいては編集対象同士を入れ替える。
【０２７４】
図４９は第三のオペレーションにおける各編集を媒体２上で行った結果を手書き入出力用アプリケーションにおいて反映させた文章を示す図である。
【０２７５】
図５０は、図４８に示す第三のオペレーションの編集を行った後に、編集を取り消して編集前の状態に戻す操作を説明する図である。
【０２７６】
同図（ａ）のように、一度編集記号であるレ点を付して削除した領域に打ち消しの編集記号であるジグザグ線を加えると、手書き入出力用アプリケーションにおいては一度削除した領域について、削除を取り消して領域が元に戻る。
【０２７７】
同図（ｂ）のように、一度編集記号である（Ａ）マークを付してコピー＆ペーストを行ったところの、ペースト先を指定する編集記号である矢印部分にジグザグ線を加えると、手書き入出力用アプリケーションにおいてはコピー＆ペーストをして文字を挿入する前の状態に戻される。
【０２７８】
図５１は、第三のオペレーションにおける編集の取り消しを媒体２上で行った結果を手書き入出力用アプリケーションにおいて反映させた文章を示す図である。
【０２７９】
＜各オペレーションの階層関係＞
以下に、各オペレーションの階層関係について説明する。
【０２８０】
各オペレーションは、第三のオペレーションを第一および第二のオペレーションと並列するオペレーションとしてもよい。
【０２８１】
この場合、第三のオペレーション時においては本文の文字およびコメントの文字を同時に編集する。
【０２８２】
一方、第三のオペレーションは第一のオペレーションおよび第二のオペレーションにそれぞれ従属するサブオペレーションとしてもよい。
【０２８３】
この場合、第一のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においては本文の文字のみを編集し、第二のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においてはコメントの文字のみを編集する。
【０２８４】
当然ながら、本発明にかかる手書き入出力システム１は上記第一から第三のオペレーション以外にも、必要に応じて種々のオペレーションを実行できるものとして変更実施することができる。
【０２８５】
＜コンピュータへの保存＞
図５２に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、右回転させることにより、処理命令部１０は入力した文字および文書構成の結果（ファイル内容の変更結果）を保存することを情報処理部１１に命令する。撮像部７本体が、編集履歴を記録できる機能を有している場合は、上記文書構成の結果を情報処理部１１に送信する。
【０２８６】
図５３に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、左回転させることにより、処理命令部１０は入力した文字および文書構成の結果を破棄する（ファイル内容の変更をキャンセルする）ことを情報処理部１１に命令する。
【０２８７】
撮像部７の回転の認識には、先述の回転角読み取り・回転角変化認識の方法を利用する。
【０２８８】
＜アプリケーションの起動・終了＞
図５４に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、右回転させ、そのまま所定の時間内（例：１秒以内）に所定回転角度（例：１０度以上）左回転させることにより、処理命令部１０は情報処理部１１に対して手書き入出力用アプリケーションを起動することを命令する。
【０２８９】
図５５に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、左回転させ、そのまま所定の時間内（例：１秒以内）に所定回転角度（例：１０度以上）右回転させることにより、処理命令部１０は情報処理部１１に対して手書き入出力用アプリケーションを終了することを命令する。
【０２９０】
＜オペレーションの切り替え動作−方法１＞
以下に、図５６を用いて、オペレーションの切り替えをする第一の方法を説明する。
【０２９１】
この方法では、先述の角度測定・角度変化認識の方法を利用する。
【０２９２】
同図（ａ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の左側に倒すことにより、処理命令部１０は本文を手書き入力する第一のオペレーションを開始することを情報処理部１１に命令する。
【０２９３】
同図（ｂ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の右側に倒すことにより、処理命令部１０はコメントを手書き入力する第二のオペレーションを開始することを情報処理部１１に命令する。
【０２９４】
同図（ｃ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の上側に倒すことにより、処理命令部１０は本文およびコメントを編集する第三のオペレーションを開始することを情報処理部１１に命令する。
【０２９５】
同図（ｄ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の下側に倒すことにより、処理命令部１０は現在実行しているオペレーションを終了して、予め設定する通常時（起動時）のオペレーションを開始することを情報処理部１１に命令する。
【０２９６】
なお、図５７はオペレーションの切り替えをする第一の方法の説明を補足する、真上から見た平面図である。
【０２９７】
＜オペレーションの切り替え動作−方法２＞
以下に、オペレーションの切り替えをする第二の方法を説明する。
【０２９８】
オペレーションの切り替えは撮像部７本体に設けたボタンなどの入力手段によって行うものとしてもよい。
【０２９９】
また、撮像部７以外にもマウス、キーボード等の外部入力手段によりオペレーションの切り替えを行うものとしてもよい。
【０３００】
＜オペレーションの切り替え動作−方法３＞
以下に、オペレーションの切り替えをする第三の方法を説明する。
【０３０１】
内部に複数のペン先を格納して切り替えることができる実施態様の撮像部７においては、ペン先の切り替え動作と連動してオペレーションを切り替えるものとしてもよい。
【０３０２】
この場合、オペレーション毎に色分けが可能となるため媒体上においても各オペレーションの見分けがつきやすくなる。
【０３０３】
また、ペン先に代えて消しゴムまたは修正液を装着する場合は、情報処理部１１においても書き込みではなく、文字または図形を消去するようにしてもよい。
【０３０４】
＜決定・取り消し＞
情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、図５８（ａ）に示すように、撮像部７を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内（例：１秒以内）にもう一度媒体面をタッチしたとき、処理命令部１０は情報処理部１１に対して処理の実行を決定することを命令する。
【０３０５】
同図（ｂ）に示すように、撮像部７を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内（例：１秒以内）にタッチがされないとき、処理命令部１０は情報処理部１１に対して処理の実行を中止することを命令する。
【０３０６】
＜他の使用方法＞
以上の構成は媒体２に書き込み履歴を残すことを前提とするものであるが、本発明にかかる手書き入出力システム１は媒体２に書き込み履歴を残すことなく、ディスプレイ６を見ながら手書き入力を行ってもよいことは先にも述べたとおりである。
【０３０７】
＜音声認識＞
本発明は手書き入出力システムであるが、手書き入力を補助する方法として音声認識および音声ガイドをすることができるものとしてもよい。
【０３０８】
＜音声収録部＞
音声収録部２０は、図５９に示すように、中央処理装置（ＭＰＵ）４０を中心に構成されている。すなわち、中央処理装置（ＭＰＵ）４０の制御によって、マイク４１から入力された音声情報は、アンプ４２を介してＡ／Ｄコンバータ４３、圧縮回路４４によって処理され、デジタル音声情報として、記録される。
【０３０９】
＜音声認識部＞
音声認識部２１は、録音した音声情報を対応するテキスト情報に変換し、処理命令部１０は情報処理部１１に対して、テキスト情報に基づく処理命令をテキスト情報と共に送信する。
【０３１０】
ここで、音声認識に前後して、分類コードを定義したドットパターンを撮像しておくことにより、音声認識の精度を高めることが可能である。すなわち、データベースを検索してテキスト情報を出力する際に全てのテキスト情報を参照することなく、分類コードに対応した音声認識情報テーブル内のテキスト情報を参照することにより、音声認識の精度が高まる。
【０３１１】
たとえば、「上野」と発声した場合、それが地名の上野なのか人名の上野なのかを把握することは難しいが、「住所」を意味する分類コードが撮像された後に「上野」という発声が音声情報として入力された場合、住所入力のカテゴリコードとともに「上野」の音声情報が情報処理部１１に送信される。
【０３１２】
＜音声収録モードへの切り替え＞
本発明に係る手書き入出力システム１が、手書き入力に代えて音声収録を行う場合、所定の操作を行なうことにより音声収録モードへの切り替えを行う必要がある。以下に、音声収録モードへの切り替え方法を説明する。
【０３１３】
＜特定の記号をなぞる＞
音声収録モードへ切り替える第一の方法としては、撮像部７が音声収録モードへの切り替えを意味する特定の記号を書き込む（なぞる、描く）ことにより、音声収録モードへ切り替える方法がある。軌跡認識部９が音声収録モードへの切り替えを意味する特定の記号の軌跡を認識して、音声収録部２０に送信することにより（または処理命令部１０を介して送信することにより）、音声収録部２０は音声収録を開始する。
【０３１４】
＜ペンを跳ねる＞
音声収録モードへ切り替える第二の方法としては、図６０に示すように、撮像部７を媒体面の書き込み領域に触れた状態で跳ねる動作をすることにより、音声収録モードへ切り替える方法がある。
【０３１５】
＜音声認識による切り替え＞
音声収録モードへ切り替える第三の方法としては、音声収録部２０に所定の音声を収録し、音声認識部２１が所定の音声を認識することにより、音声収録モードへ切り替える方法がある。
【０３１６】
処理命令部１０は、上記各種の方法による操作が行われた場合、情報処理部１１に対して、手書き入出力用アプリケーションにおいて手書き入力に代えて、音声入力を行うことを命令する。
【０３１７】
＜音声出力部＞
音声出力部２２は処理命令部１０からの指示に応じて所定の音声ファイルを再生する。音声ファイルは予めデジタル化されて記憶されているものがＡ／Ｄコンバータ４２、アンプ４２を介してスピーカ４５またはイヤホン４６より出力される。
【０３１８】
＜音声ガイド＞
本発明にかかる手書き入出力システム１においては、コード情報を利用することにより、手書き入力を行うユーザに対して音声ガイドを行ってもよい。
【０３１９】
すなわち、書き込み領域に印刷されたドットパターンに、情報処理部１１に対して音声の再生を命令する音声ガイドコードが定義づけられていることにより、手書き入力を開始する（撮像部７がドットパターンを撮像する）と、音声ガイドコードに予め対応付けられて記憶された音声ファイルが音声出力部２２により再生される。
【０３２０】
ただし、音声ガイドコードおよび対応する音声ファイルは、音声ガイド以外に用いても当然よいものとする。
【０３２１】
＜グリッドシート＞
図６１〜図６３は、本発明にかかる手書き入出力システム１において、情報入力補助シートであるグリッドシートをディスプレイに装着して用いる実施例について示した説明図である。このグリッドシートは、透明なシート上にドットパターンが形成されたものであって、モニタ面上に重ねて貼り付けることでタッチパネルとしての機能を発揮するものである。
【０３２２】
特願２００７−２３０７７６号（ＰＣＴ／ＪＰ２００８／００２１８８）に開示されているグリッドシートを媒体２として用いることにより、媒体をディスプレイ６のモニタ面上に貼り付けてタッチパネルとすることができる。ただし、グリッドシート以外の手段を採用してもよい。
【０３２３】
また、グリッドシートを媒体２として用いる他に、グリッドシートを媒体２に重ねて用いてもよい。このような使用法は、第一に手書き入出力用ではない媒体に印刷（記載）された文書または画像を、本発明にかかる手書き入出力システム１を用いて編集したい場合、第二に撮像部７をモニタ面上に押し当てることにユーザが抵抗を感じる場合において、特に有効である。
【０３２４】
図６１〜図６２は、グリッドシートをディスプレイ６に装着して用いる実施例について示した説明図である。
【０３２５】
図６１は、情報処理装置である汎用的なコンピュータシステムに、グリッドシートを用いた図である。本実施例では、パソコン等の液晶ディスプレイ（ＬＣＤ）やＣＲＴ（ブラウン管）などのディスプレイ画面上に、グリッドシートを貼付する。グリッドシートは、透明フィルムで形成されており、ドットパターンが印刷されている。このドットパターンは、詳細は後述するが、ＸＹ座標値および／またはコード値を所定のアルゴリズムでパターン化したものである。コンピュータ本体には、ドットパターン読取手段であるスキャナが接続されている。ユーザは、透視した画面の指示に従って、スキャナでグリッドシートをタッチする。スキャナは、ドットパターンを読み込み、ＵＳＢケーブルを介してパーソナルコンピュータに送信し、パーソナルコンピュータの中央処理装置（ＣＰＵ）は、ドットパターンを解析しグリッドシート上のＸＹ座標値を求め、更にディスプレイ上のｘｙ座標値に変換し、座標値の情報からタッチパネル形式の入力が可能となる。
【０３２６】
これによれば、本シートによってタッチパネル形式の入力が可能となり、安価で利便性に優れたタッチパネルを提供することが可能となる。また、インターネットのサイトを閲覧しているときに、リンク情報が設定されていない情報であっても、関連情報を検索して参照することも可能となる。
【０３２７】
なお、図６１では情報処理装置としてパーソナルコンピュータを用いたが、本発明はこれに限らず、情報処理装置は、パーソナルコンピュータ、ＰＤＡ、テレビ受信装置、フロントおよびリアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、ＰＯＳ端末装置、ＡＴＭ、ＫＩＯＳＫ端末、カーナビ、パチンコ、時計、スマートフォン等であってもよい。これらにおいては、タッチパネル形式の入力デバイスとしてディスプレイまたはスクリーンの表示画面上にグリッドシートが配置される。
【０３２８】
図６２は、図６１で説明したグリッドシートの内部構造について示した断面図である。
【０３２９】
同図（ａ）は、スキャナで、グリッドシートをタッチしている状態を示した縦断面図である。
【０３３０】
同図に示すように、グリッドシートは、表示装置側から、赤外線反射層、ドットパターン層、保護用透明シート（保護層）が積層された構造となっている。
【０３３１】
赤外線反射層は、ビニール、エンビペット、ポリプロピレン等、可視光線を透過する材料で生成された蒸着用透明シートに、赤外線反射材料が蒸着された構成となっている。赤外線反射層は、スキャナの赤外線照射手段から照射し保護用透明シートを透過した赤外線を、スキャナに対して反射させるとともに、可視光を透過させる。それとともに、表示装置からの赤外線を遮断する。これにより、スキャナの赤外線照射手段から照射された赤外線光のみを照射光とすることができ、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。
【０３３２】
ドットパターン層には、カーボンインク等の赤外線吸収特性材料からなるドットを後述するような所定の規則に則って配列したドットパターンが印刷されている。
【０３３３】
保護用透明シートは、ビニール、エンビペット、ポリプロピレン等、可視光線および赤外線を透過する材料で生成されている。ドットパターンを繰り返しスキャナでタッチすると、ドットが磨耗し、正確にドットパターンを読み取れなくなるという問題が生じる。そこで、保護用透明シートを設けることにより、ドットの磨耗と汚れを防ぎ、シートを長期間使用することが可能となる。
【０３３４】
スキャナには、赤外線照射手段であるＩＲ−ＬＥＤと、その反射光の所定波長成分をカットするＩＲフィルター、および撮像素子であるＣ−ＭＯＳセンサ、およびレンズが内蔵されている。スキャナは、グリッドシートに照射した照射光の反射光を撮影する。上述したように、ドットパターンは赤外線を吸収する特性を有するインクで印刷されているため、Ｃ−ＭＯＳセンサでの撮像画像では、ドットの部分のみ黒く撮影されることとなる。
【０３３５】
この場合、赤外線反射層で鏡面反射された反射層は、同図に示すように、レンズに反射光が入射されず、同図（ｂ）に示すように、中央が真っ黒な状態で撮影されてしまう。そのため、ドットパターンを漏れなく撮影することができない。したがって、赤外線を拡散反射させてレンズに入射させる必要がある。すなわち、図６３（ａ）に示すように、ドットパターン印刷層と赤外線反射層との間に、赤外線拡散層を設ける。この赤外線拡散層は、透明または半透明の材質で形成されている。これによって、同図（ｂ）に示すようにＩＲ−ＬＥＤから照射された赤外線は、赤外線反射層で鏡面反射し、赤外線拡散層で拡散し、全ての撮影領域の反射光がレンズに入射する。図示しないが、赤外線反射機能と赤外線拡散機能を有する赤外線拡散反射層を同位置に設けてもよい。さらに、ドットパターン印刷層の赤外線入射側に配置しても同様な効果が得られる。その際、赤外線拡散層は保護用透明シートを兼ねてもよい。
【０３３６】
なお、同図においては、グリッドシートに赤外線拡散層を設けたが、本発明はこれに限らず、スキャナの撮影口に赤外線拡散材料によるフィルターを設けてもよい。
【０３３７】
＜書き込み領域の形状について＞
以上説明した限りでは、書き込み領域とはいずれも矩形であったが、本発明のようにコード情報を用いて書き込み領域を特定する場合、図６４に示すように書き込み領域の形状は、例えば多角形、円形、楕円形、ハート形、星形、あるいはイラストとドットパターンを重畳印刷する場合、当該イラストの実在線に沿った形状など、どのようなものであっても、同様の解析効率を発揮することができる。
【０３３８】
従来、座標情報のみを用いて書き込み領域を特定しようとすると、書き込み領域の境界を示す座標をテーブルないし関数で予め定義しておき、入力した座標値が当該テーブルないし関数の範疇に入るものであるか逐次判定しなければならかった。このため、解析が複雑化し、座標情報のみを用いて書き込み領域を特定する場合、使用メモリーや計算速度などの解析効率の低下を最小限に抑えるため書き込み領域は矩形である必要があった。なお、矩形の場合、矩形領域のXY座標値の最小値と最大値をテーブルに記憶しておき、入力した座標値がその範囲にあるかを判定する。従って、矩形であっても、コード情報による書き込み領域の特定に対して、使用メモリーが４倍以上、書き込み領域内であるかを判定するための余計な比較計算が４回必要となる。さらに、書き込み領域が複数ある場合、どの領域であるかの判定が必要となり膨大な使用メモリーと計算速度が必要であると予測される。本発明は、書き込み領域はどのような形状であってもコード情報が直接的に書き込み領域を特定するため、余計なメモリーの使用や計算を行うことなく書き込み領域を特定することができる。
【０３３９】
＜配置方向の組み合わせによる判別＞
自動的な操作判別を行なうもう一つの方法を説明する。
【０３４０】
ストリームドットのように、基準位置からの距離と方向とを持って情報ドットを配置することにより情報を定義する（第一の数値化情報）ドットパターンを用いる場合、情報ドットを＋方向線上（上下左右方向線上）に配置するか、×方向線上（斜め方向線上）に配置するかの、情報ドットの配置方向の組み合わせそのものに対して情報を定義する（第二の数値化情報）こともできるため、×方向線上に情報ドットが配置される場合を「０」、＋方向線上に情報ドットが配置される場合を「１」とした場合、図６５（ｂ）のドットパターンにおける第二の数値化情報は「１０１００１０１１０１００１０１」であり、図６６（ｂ）のドットパターンにおける第二の数値化情報は「００００００００１１１１１１１１」である。
【０３４１】
また、情報ドットの配置方向だけでなく、仮想基準点から情報ドットを配置する距離（配置距離）を２パターン以上とすることにより、情報ドットが仮想基準点に対してどの距離で配置されるかの組み合わせによっても第二の数値化情報を定義することができる。
【０３４２】
当然、情報ドットの配置方向と配置距離双方の組み合わせにより第二の数値化情報を定義してもよい。
【０３４３】
すなわち、第二の数値化情報とは、情報ドットの配置方向や配置距離といった、情報ドットの配置法則そのものにより定義される情報を意味する。
【０３４４】
発明者は、これまでコード情報と座標情報の両方を定義するドットパターンのフォーマットを提案してきたが、そのようなフォーマットのドットパターンは情報ドットの数を多くするためにドットパターンの分布面積を大きく設ける必要があり、それに伴ってペンスキャナの光学読み取りユニットもドットパターンを読み取るために大きな読み取り領域を備える必要があった。
【０３４５】
このため、読み取り精度、計算速度、計算要領の少ない光学読み取りユニットを備える玩具等ではコード情報と座標情報を両方定義するフォーマットを利用することは困難だったが、上記の方法によれば情報ドットの少ない、分布面積の小さいドットパターンであっても、多量の情報を定義することが可能となっている。
【産業上の利用可能性】
【０３４６】
本発明にかかる手書き入出力システムは、第一に、コンピュータの操作に用いるマウス、キーボード、タブレットといった既存の入力用デバイスの使用テクニックを習得していない者が、紙媒体に書き込むのと同様の感覚で使用することのできる、入力用デバイスとしての産業上の利用可能性を有する。さらに、主に子供を対象とした、おもちゃ、特に知育用おもちゃとしての産業上の利用可能性を有する。
【０３４７】
本発明にかかる手書き入出力システムは、第二に、座標情報と同時に読み取ったコード情報により書き込み領域であることを特定できるため、手書き入力される内容が所定のカテゴリーに属する場合、そのカテゴリーの辞書との照合により認識率は格段に向上する。
【０３４８】
本発明にかかる手書き入出力システムは、第三に、操作者が特別な操作をすることなく、ドットパターンを読み取るだけで書き込み領域であるか否かを判別し、誰もが使い慣れた筆記用具を使うように直感的に手書き入力を実現できる。
【符号の説明】
【０３４９】
１ 手書き入出力システム
２ 媒体
３ スキャナ
４ コンピュータ
５ サーバ
６ ディスプレイ
７ 撮像部
８ ドットパターン解析部
９ 軌跡認識部
１０ 処理命令部
１１ 情報処理部
１２ 撮像素子
１３ 照射部
１４ 光制御部
１５ 計時部
１６ 角度測定部
１７ 角度変化認識部
１８ 回転角読み取り部
１９ 回転角変化認識部
２０ 音声収録部
２１ 音声認識部
２２ 音声出力部
２３ 送信部
２４ 送信ボタン
２５ 再送信ボタン
２６ マイク
２７ 音声再生ボタン
２８ 指示用突起部
２９ ペン
３０ ペン格納ボタン
３１ ペン型スキャナ
３２ ライトガイド
３３ レンズ
３４ ＬＥＤ
３５ Ｃ−ＭＯＳセンサ
３６ ＰＣＢ
３７ ペン
３８ バンクガイド
３９ 点字
４０ 中央処理装置（ＭＰＵ）
４１ マイク
４２ アンプ
４３ Ａ／Ｄコンバータ
４４ 圧縮回路
４５ スピーカ
４６ イヤホン
１０１ 基準ドット
１０２ 第一の仮想基準線
１０３ 第二の仮想基準線
１０４ 仮想基準点
１０５ 情報ドット
【技術分野】
【０００１】
本発明は、文字、図形等の手書き情報をコンピュータシステムに入力するための手書き入出力システム、手書き入力シートに関する。
【０００２】
本発明は、コンピュータシステムへの入力を補助するための情報入力システム、情報入力補助シートに関する。
【背景技術】
【０００３】
コンピュータは、生活のあらゆる場面で使用されるようになってきている。文書を作成したり計算を行ったりというような従来の用途に加え、絵を描いたり、建築や機械の製図を行う等、コンピュータの機能および用途は飛躍的に増加している。
【０００４】
従来、これらの行為を行うにあたり、キーボード、マウス、タブレットおよびＣＡＤシステム等を用いて文字の入力や製図等の操作をすることが必要とされている。
【０００５】
しかし、キーボードで文字を入力したり、タブレットやＣＡＤシステムで製図を行ったりするには、煩雑な操作が多く、習得するまでに時間を要する。特に、高齢者等、機器を操作するのに支障のある者にとっては操作が困難であるという問題があった。さらに、キーボードやマウス等の操作が可能でコンピュータを使いこなせる者と、それらの操作ができずにコンピュータを使いこなせない者との間で、情報や機会の格差が生じる「デジタルディバイド」も問題となってきている。
【０００６】
このような問題を解決するものとして、手書き情報をコンピュータに入力するシステムが提案されている。このようなシステムは、ベースと描画装置から構成されており、描画装置がベースに対して移動されると、グラフィカル情報（手書き情報）が発生する。ベースには、微細なドットである位置符号化パターンを備えており、この位置符号化パターンには、ベース上の位置情報が登録されている。描画装置を用いてベース上で描画すると、描画装置が位置符号化パターンを読み取る。コンピュータシステムは、描画装置からの、ベース上の位置情報をグラフィカル入力として記録する。これにより、描画した内容をコンピュータシステムに入力し、ディスプレイに出力したり、メモリに保存したりすることが可能となる（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００３−５２８３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１のシステムに用いる位置符号化パターンは、位置情報しか登録されていない。そのため、コンピュータシステムは、描画装置で描かれたグラフィカル情報しか入力することができず、たとえば、冊子のページ番号等、グラフィカル情報と関連した種々の情報も入力・記録するためには、描画のための領域と異なる領域を別途設けなければならない。そのため、手書き入出力システムが煩雑となり、ユーザにとっても、複数の領域での操作が必要になるという問題を有している。また、描画装置で描かれたグラフィカル情報に対応する位置情報全てに対して、グラフィカル情報と関連した種々の情報を入力・記録するための参照テーブルを備えなければならない。特に、描画領域が矩形ではなく、多角形や曲線で囲まれた領域である場合、その領域内の全ての位置情報に対する参照テーブルが必要となる。
【０００９】
本発明はこのような問題に鑑みてなされたものであり、文字や図形等を手書きで入力することのできる手書き入出力システムを、簡易かつ安価に提供することを技術的課題とする。また、文字や図形の情報のみでなく、それらに関連した情報も一括して入力することが可能な手書き入出力システムを提供することを技術的課題とする。
【課題を解決するための手段】
【００１０】
＜手書き入力シート＞
（１）本発明にかかる手書き入力シートは、少なくとも一部、または複数の任意の形状の領域に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および／または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび／または該第一の仮想基準線から所定の位置に定義される、直線および／または曲線からなる少なくとも１以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでＸＹ座標値または、ＸＹ座標値およびコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成された書き込み領域を備えた媒体からなることを特徴とする。
【００１１】
これによれば、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、ＸＹ座標値が書き込み領域に隙間なく定義され軌跡情報を生成することができ手書き入力が可能となる。さらに、文字や五線譜、地図、図形などが手書き入力シートに印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、ＸＹ座標が定義されたドットパターンを２次元コードとして形成される際（インデックスとして使用）の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【００１２】
（２）前記ストリームドットは、第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と１つのＸＹ座標値および／またはコード値を定義するために、さらに基準となる基準ドットを所定の位置に設けてもよい。
【００１３】
これによれば、新たな基準点を設けることにより、ストリームドットパターンの向きと一定情報のまとまりを、情報ドットを使用せず簡易に定義することができ、余計な情報の低減を押さえられる。さらに、新たな基準点の配置により情報ドットの始点となる仮想基準点の位置を正確に示すことができる。
＜手書き入出力システム＞
【００１４】
（３）本発明にかかる手書き入出力システムは、請求項１または２記載の手書き入力シートを用いた手書き入出力システムであって、前記書き込み領域に形成された前記ストリームドットパターンを撮像して、送信する撮像手段と、該撮像手段により撮像・送信された該ストリームドットパターンの画像データを記憶素子に記憶して、該画像データをコード解析することにより、座標情報および、座標情報およびコード情報からなる軌跡情報を求めるドットパターン解析手段と、該軌跡情報を情報処理手段に対し送信する処理命令手段とを備えたことを特徴とする。
これによれば、本発明に係る手書き入出力システムは、媒体に形成されたドットパターンに、座標情報のみならずコード情報を定義することも可能となるため、処理命令手段が情報処理部に対して軌跡情報と軌跡情報に基づいた処理命令を一括して送信することができる。
【００１５】
（４）前記手書き入出力システムは、さらに、解析された前記座標情報の変化に基づき、前記書き込み領域面においてトレースされた、文字および／または図形の前記軌跡情報を認識する軌跡認識手段と、認識された認識情報に基づいた処理命令を情報処理手段に対し送信する処理命令手段とを備えたことが好ましい。
【００１６】
これによれば、本発明に係る手書き入出力システムは、書き込み領域面上に撮像手段近傍の軌跡が残せる。
【００１７】
（５）前記媒体は、前記コード値の少なくとも一部に、該媒体を特定する情報が定義されているか、および／または、前記コード値の少なくとも一部に、前記書き込み領域を特定する特定情報が定義されているか、および／または、前記コード値の少なくとも一部に、書き込み処理を意味する操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）が定義されているか、および／または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンの前記コード値の少なくとも一部に、所定の媒体面および／または前記書き込み領域面を特定する特定情報および／または前記操作指示を定義し、それを意味するアイコンが重畳して印刷されているか、および／または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンに、関連するテキスト、グラフィック、写真を重畳して印刷されているか、および／または、前記書き込み領域内および/または領域周辺に点字をさらに備えているか、および／または、前記書き込み領域に書き込む際に、前記ドットパターンを撮像する撮像手段がはみ出さないように該書き込み領域の外周に沿って幅狭の凸部のガイドをさらに備えているか、および／または、貼付可能なシール、付箋紙、その他の媒体であるか、および／または、書き込み領域が表示されたモニタ面上または印刷された媒体上に重ねて用いる、前記ストリームドットパターンが形成された透明な情報入力補助シートであってもよい。
【００１８】
上記の特徴によれば、本発明にかかる手書き入出力システムは、ユーザが書き込み領域の位置および書き込み領域にはいかなる事項を書き込むべきであるかを容易に知ることができる。
【００１９】
また、コード情報がいかなる意味を持つものであるか（いかなる処理命令を送信するものであるか）、ユーザはアイコンを見ることにより容易に知ることができる。
【００２０】
また、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。
【００２１】
また、書き込み領域に正確に撮像手段でなぞったり、描いたりできるようガイドを設け、視覚障害者が手書き入力をする上において健常者と同様の入力効率を維持することに寄与する。
【００２２】
また、書き込み領域のレイアウトの自由度はさらに高まり、書き込み領域に手書き入力された情報の検索、出力をユーザの利便性や好みに応じて自由自在に実行できる。
【００２３】
また、取り回しのよいタッチパネルを提供することができる。または、モニタ面上にグリッドシートを重ねなくても、媒体面上にグリッドシートを被せて手書き入力が可能である。
【００２４】
（６）前記媒体は、前記書き込み領域を設けた該媒体を第１の媒体として、該第１の媒体面および／または前記書き込み領域面を特定するためのコード情報を繰り返し定義したドットパターンを形成した第２の媒体をさらに備え、該第２の媒体に形成したコード情報を、前記撮像手段で読み取ることにより、前記第１の媒体面上の印刷情報および／または前記書き込み領域面に描かれた前記軌跡情報、および/または該軌跡情報に関連した情報を出力してもよい。
【００２５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、媒体面を特定するコード情報を、別の媒体（手帳など）に印刷し、撮像手段でタッチすることにより、媒体面に手書き入力した情報を検索、出力できる。また、媒体の書き込み領域のスペースを広く取ることもできる。
【００２６】
（７）前記撮像手段は、指示用突起部および／または少なくとも一つのペン先をさらに備え、前記書き込み領域面に、該指示用突起部および／または少なくとも一つのペン先でなぞった文字および／または図形をトレースする際、該指示用突起部近傍の軌跡上の前記ドットパターンを撮像し、該指示用突起部および少なくとも一つのペン先を備える場合は、該指示用突起部内に該ペン先を格納する格納スペースと、該ペン先の格納／取出しを制御するボタンと、をさらに備えた該指示用突起部であることが好ましい。
【００２７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上の撮像手段のなぞる位置を視認しやすくなる。
【００２８】
また、書き込み領域面上に撮像手段近傍の軌跡が残せる。
【００２９】
また、書き込み領域面上に描いた撮像手段近傍の軌跡を残したい場合と、残したくない場合とで使い分けることが可能となる。
【００３０】
（８）前記撮像手段は、前記指示用突起部に前記書き込み領域面に描かれた文字および／または図形を消去する消去手段をさらに備え、該書き込み領域面に、該消去手段でなぞった領域を消去すると同時に、該消去手段近傍の軌跡上のドットパターンを撮像し、前記処理命令手段は、該文字および／または図形の前記軌跡情報を消去する処理命令と、前記軌跡情報と、を情報処理手段に対し送信してもよい。
【００３１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、書き込み領域面上と情報処理手段上で書き込み情報入力を対応させるのみならず、書き込み情報の消去を対応させることもできる。
【００３２】
（９）前記軌跡情報は、前記撮像手段の撮像中心の座標情報、または該撮像手段付近に備えられた前記指示用突起部または前記ペン先が前記書き込み領域面に触れる位置の座標情報と前記コード情報からなり、前記ドットパターン解析手段により、前記ドットパターンに定義された座標情報を基に補間計算して求められることが好ましい。
【００３３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識手段が認識する軌跡情報と、媒体上の軌跡とが異なる場合にも、軌跡情報を補正することにより実際の軌跡と一致または実用に支障がない程度まで近似させることができる。
【００３４】
（１０）前記軌跡認識手段は、計時手段をさらに備え、該計時手段は、前記撮像手段が前記書き込み領域面に触れた時間および離れた時間を計時し、該撮像手段が該書き込み領域面に触れて描かれた軌跡の順番と触れている時間を記録し、前記情報処理手段に送信してもよい。
【００３５】
上記の特徴によれば、本発明にかかる手書き入出力システムは、情報処理手段が手書き入力に要した時間を把握し、通常時との比較を行うことにより、書き手の性格や年齢、性別などの様々なリサーチができる。
【００３６】
（１１）前記処理命令手段は、前記コード情報および／または前記認識情報に基づき、前記書き込み領域を特定する特定情報および／または操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）を一意に入力可能であってもよい。
【００３７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、コード情報および／または認識情報に基づいて処理命令手段が情報処理手段に対してユニークな指示をすることが可能である。このことは、本発明で最も重要な機能であり、常にどの書き込み領域に書き込んだか、またはどの書き込み領域に対してどんな操作指示を行っているかを容易に特定できる。
【００３８】
（１２）前記軌跡認識手段は、さらに前記コード情報に基づき、前記書き込み領域に書き込む内容に関する、予め分類された文字および／または図形情報パターンを参照し、前記軌跡情報を高精度で認識することが好ましい。
【００３９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡情報を認識する際にコード情報に基づいて予め分類された文字および／または図形情報パターンテーブルを参照するため、軌跡情報を高精度に認識することができる。
【００４０】
（１３）前記軌跡認識手段は、前記軌跡情報を認識した後、さらに解析された前記座標情報の変化に基づき、該文字および／または該図形、もしくは、１または複数の該文字からなる語句、の意味情報を、前記コード情報に対応する 予め定義された意味情報コードテーブル（辞書）を参照し、意味情報コードに変換し、前記処理命令手段は、該意味情報コードと、該意味情報に基づいた前記処理命令と、を前記情報処理手段に対し送信することが好ましい。
【００４１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、軌跡認識時に意味情報コードテーブルを参照することにより、軌跡情報を高精度に認識し、さらに、意味情報コードに変換することにより、その意味であるものとして処理命令を送信することができる。
【００４２】
（１４）前記処理命令手段は、前記軌跡認識手段による前記軌跡情報の認識結果を、文書および／または図形として入力させる第一のオペレーションか、またはコメントとして入力させる第二のオペレーションか、または文書および／または図形、および／またはコメントを編集する編集記号とし、該編集記号に基づいて文書および／または図形、および／またはコメントを編集させる第三のオペレーションとして、前記情報処理手段に命令してもよい。
【００４３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力により文書を書いたり、絵を描いたりできる。
【００４４】
また、手書き入力により入力される文書や絵の他、コメント文書を入力することができる。
【００４５】
また、手書き入力により文書や画像を（手書き入出力システムによらないものも含む）編集することができる。
【００４６】
（１５）本発明にかかる手書き入出力システムは、少なくとも前記媒体面に接触した前記撮像手段の撮像光軸が、該媒体面の鉛直線に対して倒されることにより成される傾きおよび倒される方向を測定する角度測定手段と、該撮像手段が該媒体面に接触した際に測定された、該傾きおよび該方向を基準として、該撮像手段を倒す動作、すなわちグリッドティルト動作による、該傾きおよび／または該方向の、所定の変化を解析する角度変化認識手段とをさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信してもよい。
【００４７】
上記の特徴によれば、本発明にかかる手書き入出力システムは、撮像手段のグリッドティルト動作による操作指示ができる。
【００４８】
（１６）前記媒体は、前記書き込み領域の方向に対して、所定の角度で配置された前記ドットパターンが該書き込み領域に形成され、前記角度測定手段および前記角度変化認識手段は、前記撮像手段が該書き込み領域面に接触した際に読み取られた該ドットパターンの方向を基に、該書き込み領域の方向に対して、倒される方向および／または前記傾きの、所定の変化を解析してもよい。
【００４９】
上記の特徴によれば、本発明にかかる手書き入出力システムは、角度の変化に加えて、ドットパターンの方向をさらに基準にして、傾きとその変化を認識することができる。
【００５０】
（１７）前記手書き入出力システムは、前記書き込み領域面に対して、前記撮像手段の撮像光軸を概ね鉛直状に立て、該書き込み領域面に接触した際に読み取られた前記ドットパターンの方向と、該撮像手段のアングルとで成される回転角を読み取る回転角読み取り手段と、該撮像手段が該媒体面に接触した際に測定された該回転角を基準として、該撮像手段を回転する動作、すなわちグリッドターン動作による、該撮像光軸が所定の回転方向に回転されることにより、該回転角の所定の変化を解析する回転角変化認識手段と、をさらに備え、前記処理命令手段は、該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信してもよい。
【００５１】
上記の特徴によれば、本発明にかかる手書き入出力システムは、グリッドターン動作による指示をすることができる。
【００５２】
（１８）前記手書き入出力システムは、さらに、前記撮像手段で前記書き込み領域を撮像して前記ドットパターン解析手段により座標情報およびコード情報を求めた後に、所定の操作により該撮像手段で該書き込み領域に文字をなぞるか、または描く代わりに音声を収録する音声収録手段と、前記コード情報に対応する予め定義された音声認識情報テーブル（辞書）を参照し、収録された音声を認識し文字情報に変換し情報処理手段に対し送信する音声認識手段と、をさらに備えていてもよい。
【００５３】
上記の特徴によれば、本発明にかかる手書き入出力システムは、手書き入力に代えて、音声入力ができる。
【発明の効果】
【００５４】
本発明は、上記各種の特徴を有することにより、従来技術とは次元を異にする、全く異なった、多様かつ新しい付加価値と利便性をユーザに与えることのできる手書き入出力システムを提供することができる。
【図面の簡単な説明】
【００５５】
【図１】本発明にかかる手書き入出力システムの使用状態を示す外観図である。
【図２】本発明にかかる手書き入出力システムの第一の実施例の構成を示すブロック図である。
【図３】本発明にかかる手書き入出力システムの第二の実施例の構成を示すブロック図である。
【図４】本発明にかかる手書き入出力システムの第三の実施例の構成を示すブロック図である。
【図５】本発明にかかる手書き入出力システムの第四の実施例の構成を示すブロック図である。
【図６】本発明にかかる手書き入出力システムの第五の実施例の構成を示すブロック図である。
【図７】本発明にかかる手書き入出力システムの第六の実施例の構成を示すブロック図である。
【図８】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（１）である。
【図９】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（２）である。
【図１０】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（３）である。
【図１１】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（４）である。
【図１２】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（５）である。
【図１３】本発明にかかる手書き入出力システムに用いるストリームドットパターンを説明する図（６）である。
【図１４】本発明にかかる手書き入出力システムに用いるストリームドットパターンのフォーマットを説明する図である。
【図１５】本発明にかかる手書き入出力システムに用いる撮像部の全体の構成を示す外観図である。
【図１６】本発明にかかる手書き入出力システムに用いる撮像部の先端部を示す断面図である。
【図１７】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（２）である。
【図１８】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（３）である。
【図１９】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（４）である。
【図２０】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（５）である。
【図２１】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（７）である。
【図２２】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（８）である。
【図２３】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（９）である。
【図２４】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１０）である。
【図２５】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１１）である。
【図２６】本発明にかかる手書き入出力システムに用いる撮像部の機能を説明する図（１２）である。
【図２７】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１）である。
【図２８】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（２）である。
【図２９】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（３）である。
【図３０】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（４）である。
【図３１】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（５）である。
【図３２】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（６）である。
【図３３】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（７）である。
【図３４】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（８）である。
【図３５】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（９）である。
【図３６】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１０）である。
【図３７】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１１）である。
【図３８】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１２）である。
【図３９】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１３）である。
【図４０】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１４）である。
【図４１】本発明にかかる手書き入出力システムに用いる撮像部の、タッチする動作と跳ねる動作の判別方法を説明する図である。
【図４２】本発明にかかる手書き入出力システムにおける第一のオペレーションを説明する図である。
【図４３】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（１）である。
【図４４】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（２）である。
【図４５】本発明にかかる手書き入出力システムにおける第二のオペレーションを説明する図（３）である。
【図４６】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（１）である。
【図４７】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（２）である。
【図４８】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（３）である。
【図４９】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（４）である。
【図５０】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（５）である。
【図５１】本発明にかかる手書き入出力システムにおける第三のオペレーションを説明する図（６）である。
【図５２】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるファイル変更結果の保存方法を説明する図である。
【図５３】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるファイル内容変更のキャンセル方法を説明する図である。
【図５４】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるアプリケーションの起動方法を説明する図である。
【図５５】本発明にかかる手書き入出力システムにおける、撮像部の回転動作によるアプリケーションの終了方法を説明する図である。
【図５６】本発明にかかる手書き入出力システムにおける、撮像部の四方向への傾き動作によるオペレーションの切り替え方法を説明する図（１）である。
【図５７】本発明にかかる手書き入出力システムにおける、撮像部の四方向への傾き動作によるオペレーションの切り替え方法を説明する図（２）である。
【図５８】発明にかかる手書き入出力システムにおける、撮像部のタッチ動作を説明する図である。
【図５９】本発明にかかる手書き入出力システムにおける、音声収録部および音声出力部の構成を説明するブロック図である。
【図６０】本発明にかかる手書き入出力システムにおける、撮像部の跳ねる動作を説明する図である。
【図６１】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（１）である。
【図６２】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（２）である。
【図６３】本発明にかかる手書き入出力システムに用いる媒体の一実施例である、グリッドシートを説明する図（３）である。
【図６４】本発明にかかる手書き入出力システムに用いる書き込み領域が形成された媒体の機能を説明する図（１５）である。
【図６５】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（７）である。
【図６６】本発明にかかる手書き入出力システムに用いるドットパターンを説明する図（８）である。
【発明を実施するための最良の形態】
【００５６】
以下、本発明の実施の形態について、図面を用いて説明する。
【００５７】
＜システム全体の構成の説明＞
図１は、本発明にかかる手書き入出力システム１の使用状態の一例を示す外観図である。同図によれば、媒体２にスキャナ３を用いて書き込みをすると、書き込んだとおりの文書がディスプレイ６に表示される。これは、スキャナ３が、書き込んだ軌跡上のドットパターンを撮像して、コンピュータ４が解析する（必要に応じてサーバ５にアクセスする）ことにより、実現する。ただし、コンピュータ４がスキャナ３に内蔵されていてもよい。
【００５８】
図２は、本発明にかかる手書き入出力システム１の、第一の実施例の構成を示すブロック図である。
【００５９】
この手書き入出力システム１は少なくとも、媒体２（手書き入力シート）、撮像部７（撮像手段）、ドットパターン解析部８（ドットパターン解析手段）、軌跡認識部９（軌跡認識手段）、処理命令部１０（処理命令手段）、を備えることにより情報処理部１１に対して各種の命令を行い、必要に応じて各種サーバ５にアクセスする。
【００６０】
図３は、本発明にかかる手書き出入力システム１の第二の実施例の構成を示すブロック図である。第二の実施例では、第一の実施例が備える構成に加えて、撮像素子１２、照射部１３、光制御部１４をさらに備える。
【００６１】
ここで、同図中の破線で示すように、撮像素子１２と照射部１３は撮像部７と一体であり、光制御部１４はドットパターン解析部８と一体である。
【００６２】
図４は、本発明にかかる手書き入出力システム１の第三の実施例の構成を示すブロック図である。第三の実施例では、第一の実施例が備える構成に加えて、計時部１５をさらに備える。
【００６３】
ここで、同図中の破線で示すように、計時部１５は軌跡認識部９と一体である。
【００６４】
図５は、本発明にかかる手書き入出力システム１の第四の実施例の構成を示すブロック図である。第四の実施例では、第一の実施例が備える構成に加えて、角度測定部１６、角度変化認識部１７をさらに備える。
【００６５】
ここで、同図中の破線で示すように、角度測定部１６と角度変化認識部１７はドットパターン解析部８と一体である。
【００６６】
図６は、本発明にかかる手書き入出力システム１の第五の実施例の構成を示すブロック図である。第五の実施例では、第一の実施例が備える構成に加えて、回転角読み取り部１８、回転角変化認識部１９をさらに備える。
【００６７】
ここで、同図中の破線で示すように、回転角読み取り部１８と回転角変化認識部１９はドットパターン解析部８と一体である。
【００６８】
図７は、本発明にかかる手書き入出力システム１の第六の実施例の構成を示すブロック図である。第禄の実施例では、第一の実施例が備える構成に加えて、音声収録部２０、音声認識部２１、音声出力部２２をさらに備える。
【００６９】
＜ドットパターン ストリームドット＞
次に、図８〜図１３を参照しながら本発明に用いられるドットパターンである、ストリームドットの形成方法の一例について説明する。
【００７０】
図８、図９は、ストリームドットパターンを形成する工程の一例を順に示すものである。
【００７１】
本発明に係るドットパターンは、従来のドットパターンとは異なり、まず工程１として媒体表面上の可視的な情報に対応して、情報を入出力させたい箇所に基準ドット１０１を線状に連続して複数個配置する。
【００７２】
図６（ａ）では基準ドット１０１を曲線状に配置しているが、基準ドット１０１の配置はこれに限定されるものではなく、直線と曲線を織り交ぜたり、複数の線分により構成される折れ線状にするなど、情報を入出力させる領域にあわせた形状にドットパターンを形成するための種々の変更が可能である。
【００７３】
また、媒体表面上に可視的に形成された実在線上に基準ドット１０１を配置してもよいし、実在線に沿って所定の規則により基準ドット１０１を配置してもよい。ここでいう実在線とは仮想線に対する概念で、実際に存在している線の全てを含むものである。例えば、実線、破線、点線、直線や曲線などが挙げられ、本発明においては、線が形成される媒体（例えば映像表示装置のディスプレイ）や、線を構成する物質（例えばインク）の如何を問わない。なお、ドットパターンは、印刷やディスプレイ表示、さらに金属やプラスチック上での穴や溝等の凸凹であってもよい。
【００７４】
なお、基準ドットは読取り精度向上の観点から、等間隔に配置することが望ましいが、これに限定されるものではなく、複数の間隔を混在させてドットパターンの一定情報のまとまりを定義したり、一定情報のまとまり内における３つの異なる基準ドットの配置間隔によりドットパターンの一定情報のまとまりとドットパターンの方向の両方を定義することも可能である。
【００７５】
次に、工程２として、線状に配置された基準ドット４を結ぶ、第一の仮想基準線１０２を設ける。図８（ｂ）では第一の仮想基準線６を曲線により設けているが、第一の仮想基準線８はこれに限定されるものではなく、曲線状に配置された基準ドット１０１に対して直線の第一の仮想基準線１０２を設けてもよいし、直線状に配置された基準ドット１０１に対して曲線の第一の仮想基準線１０２を設けてもよい。すなわち、後述する工程３〜工程５における第二の仮想基準線１０３、仮想基準点１０４、情報ドット１０５をどの位置に配置するかによって、基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線１０２を自由に定義することが可能である。
【００７６】
なお、図１０に例を示すように、曲線である場合の第一の仮想基準線１０２は、ベジェ曲線によることが望ましい。
【００７７】
すなわち、まず、第一の仮想基準線１０２上にある基準ドット１０１をＰ０、Ｐ３とし、Ｐ１、Ｐ２を与えられた制御点とする。次に、制御点を順に結んで得られる３つの線分・Ｐ０―Ｐ１、Ｐ１―Ｐ２、Ｐ２―Ｐ３・をそれぞれ１対１の比率で分割する点Ｐ４、Ｐ５、Ｐ６を求める。そして、これらの点を順に結んで得られる２つの線分・Ｐ４―Ｐ５、Ｐ５―Ｐ６・を、それぞれ１対１の比率で分割する点Ｐ７、Ｐ８を求める。
【００７８】
最後に、この２点を結ぶ線分・Ｐ７―Ｐ８・をさらに１対１の比率で分割する点Ｐ９を求め、この点がベジェ曲線上の点となる。
【００７９】
この手順を繰り返し行うことで、Ｐ０、Ｐ１、Ｐ２、Ｐ３を制御点とするベジェ曲線が得られる。
【００８０】
なお、ベジェ曲線に限らず、スプライン関数を利用して求められるスプライン曲線、n次多項式、楕円弧など、種々のアルゴリズムを用いて第一の仮想基準線１０２を設けてもよい。
【００８１】
また、第二の仮想基準線１０３においても、第一の仮想基準線１０２と同様に当該方法を用いて曲線を定義することが可能である。
【００８２】
次に、工程３として、線状に配置された基準ドット１０１および／または第一の仮想基準線１０２から所定の位置に定義される第二の仮想基準線１０３を設ける。図８（ｃ）では第二の仮想基準線１０３を、隣り合う基準ドット１０１の中間点における第一の仮想基準線１０２の接線に対して垂直線上の所定位置に向かって、隣り合う基準ドット１０１から任意の角度をもって設けているが、第二の仮想基準線１０３はこれに限定されるものではなく、後に示すようにドットパターンにより情報を入出力させたい領域に合わせて仮想基準点を設けるために、種々の方法により定義することが可能である。
【００８３】
また、第一の仮想基準線１０２に対して片側のみに第二の仮想基準線１０３を設けてドットパターンの方向を定義してもよいし、情報量を増やすために両側各々に設けてもよい。
【００８４】
次に、工程４として、第二の仮想基準線７上の所定の位置に複数の仮想基準点１０４を設ける。図９（ａ）では仮想基準点１０４を、第二の仮想基準線１０３の交点、すなわち隣り合う基準ドット１０１を結んだ直線を底辺とし、第二の仮想基準線１０３を対辺とする二等辺三角形の頂点に設けているが、仮想基準点７４の位置はこれに限定されるものではなく、第二の仮想基準線１０３の中点に設けたり、第二の仮想基準線１０３上に代えて基準ドット１０１上に設けるなど、種々の変更が可能である。
【００８５】
そして、工程５として、仮想基準点１０４を始点としてベクトルにより表現した終点に情報ドット１０５を配置する。図９（ｂ）では情報ドット１０５を、仮想基準点１０４からのベクトル方向を８方向、仮想基準点１０４からの距離が等距離となるよう、一個の仮想基準点１０４に対し１個配置しているが、情報ドット１０５の配置はこれに限定されるものではなく、仮想基準点１０４上に配置したり、ベクトル方向を１６方向として配置したり、一個の仮想基準点１０４に対し２個配置するなど、任意の方向に任意の長さに、複数配置することが可能である。
図１１はドットパターンの情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。
情報ドット１０５は種々の情報を認識させるドットである。この情報ドット１０５は、仮想基準点１０６を始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット１０５は、図９に示すように、その仮想基準点１０６から０．１ｍｍ離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に４５度ずつ回転させて８方向に配置し、３ビットを表現している。
【００８６】
なお、図示例では８方向に配置して３ビットを表現しているが、これに限定されずに、１６方向に配置して４ビットを表現することも可能であり、任意の方向に任意の長さに配置できることはもちろんである。
【００８７】
さらに、図９（ｂ）では全ての仮想基準点５において、この仮想基準点１０６を始点としてその終点位置に情報ドット１０５を配置したが、これに限定されることなく、仮想基準点上にドットが配置されているか否かで情報を定義するようにしてもよい。たとえば仮想基準点上にドットが配置されていれば「１」、配置されていなければ「０」というように情報を定義することができる。
図１２は情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
【００８８】
また、情報ドット１０５について基準ドット１０１から導き出された仮想基準点１０６から短（図１２の上段）・長（図１２の下段）の２種類を使用し、ベクトル方向を８方向とすると、４ビットを表現することができる。このとき、長い方が隣接する仮想基準点５間の距離の２５〜３０％程度、短い方は１５〜２０％程度が望ましい。ただし、長・短の情報ドット３の中心間隔は、これらのドットの径より長くなることが望ましい。
【００８９】
情報ドット３は、その見栄えを考慮し、１ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、１ベクトル毎に、１ビットを割り当てて情報ドット３を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円８方向のベクトルでは、基準ドット４から定義された情報ドット３で２８の情報を表現でき、１の一定情報のまとまりの情報ドット８個で２６４となる。
【００９０】
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは２次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
【００９１】
図１３は、ストリームドットパターンを上下方向に並べた状態の一例について示す図である。
【００９２】
同図では、基準ドット、情報ドットの他に、キードットおよびサイドドットを配置している。キードットは、一定情報のまとまりの両端に配置されたドットである。このキードットは、ひとまとまりの情報ドット群を表す１領域分のドットパターン１の代表点である。サイドドットは、キードット２のずれの正負の延長線上に配置されたドットである。
【００９３】
同図（ｂ）は、基準ドットおよびストリームドットパターンを等間隔に並べている。このように、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、ＸＹ座標値が書き込み領域に隙間なく定義され軌跡情報を生成することができ手書き入力が可能となる。しかし、本発明に係るストリームドットパターンはこれに限らず、同図（ａ）に示すように、ドットパターン同士の間隔を任意に設定してよい。また、基準ドット同士の間隔も、任意に設定することができる。
【００９４】
これにより、ＸＹ座標が定義されたドットパターンを２次元コードとして形成される際（インデックスとして使用）の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【００９５】
なお、本発明に係る仮想基準線及び仮想基準点は、実際に媒体表面上に印刷形成されるわけではなく、あくまでコンピュータの画像メモリ上に、ドットパターンの配置の際、またはドットパターンの読み取りの際に仮想的に設定されるものである。
【００９６】
このストリームドットパターンを用いることで、地球儀を初めとする曲面体や、人体模型、立体地図などの三次元造形物にもドットパターンを形成することができ、平面地図や絵本等に限らず本発明に係る入出力装置を利用することが可能となる。
【００９７】
＜ストリームドットパターンのフォーマットの説明＞
図１４は、本発明にかかる手書き入出力システム１において媒体２に形成されるドットパターンのフォーマットについて説明する図である。
【００９８】
同図（ｄ）に示すように、ドットパターンは、一定情報のまとまりが定義された情報ドット２行×５列のユニット領域で構成されたドットパターンであり、このユニット内でＣ０〜Ｃ２９に区画されている。各領域のドットコードフォーマットを示したものが（ａ）〜（ｃ）である。
【００９９】
図１４（ａ）は、ページコードとＸ座標とＹ座標が登録されているフォーマットである。ページコードとは、媒体２が冊子状になっている場合等において、媒体２のページ数を意味するものであり、Ｘ座標およびＹ座標は、それぞれ、媒体上における位置（座標値）を意味するものである。これにより、ユーザがスキャナ３で媒体２を読み取ると、その媒体のページ数および読み取った箇所の座標位置が一度の読み取り操作で同時に認識される。
【０１００】
同図（ｂ）は、ページコードとアクションコードとＸ座標とＹ座標が登録されているフォーマットである。アクションコードとは、操作指示を意味するものである。例えば、当該ページに設けられた「拡大」「縮小」等の操作を意味するアイコンが描かれている領域内だけに定義されたもので、主に後述するアイコン領域に用いられるドットパターンに含まれている。また、アクションコードが当該ページの書き込み領域全面に定義され、手書き入力中または手書き入力後に必要な処理を行う場合には、アクションコードにその命令処理を関連付けし実行してもよい。例えば、命令処理は手書き入力中または手書き入力後に文字認識したり、他の情報処理装置に送信したりする処理をいう。なお、ここでは、ページコードとしての利用を述べたが、（）内の特定書き込み領域コードは、１面の媒体面内に複数設けてもよく、それらの書き込み領域をユニークなコードで定義することにより、瞬時に何処に書き込まれているかが判断できる。勿論、ページコードに併せて定義して、何ページのどの特定書き込み領域かを判断できるようにしてもよい。さらに、手書き入力される内容が所定のカテゴリーに属する場合、そのカテゴリーの辞書との照合により認識率は格段に向上する。この手書き入力される内容は、文字だけでなく記号やイラストであってもよいことは言うまでもない。勿論、アクションコードも、同様に特定書き込み領域コードに併せて定義し命令処理を実行してもよい。
【０１０１】
同図（ｃ）は、書き込み領域フラグを設けることにより、撮像手段で媒体面に形成されたドットパターンを撮像し、ドットパターン解析部８で解析すれば、直ちに書き込み領域であるか否かがわかり、書き込み領域でなければ、そのコード値および／または座標値に関連付けられた情報の出力および／または命令処理を実行し、書き込み領域であれば軌跡認識手段により手書き入力の所定の処理を実行する。この書き込み領域フラグは、同図（a）、（ｂ）のページコード（特定書き込み領域コード）やアクションコードを併設してもよいことは勿論である。
【０１０２】
このように、本発明のドットパターンは、ページコードやアクションコード等、種々のコード情報とＸＹ座標を一つのフォーマットに登録することができる。また、その他にも、ＸＹ座標のみ、あるいはコード情報のみを登録することもでき、柔軟性に富んだフォーマットが可能である。
【０１０３】
＜撮像部＞
図１５〜２８は、本発明にかかる手書き入出力システム１に用いる撮像部７を説明する図である。
【０１０４】
なお、撮像部７は人が手に持つのに適した大きさ、形状であることが好ましく、中でも図１５のようにペン型の形状をしていることが最も好ましい。
【０１０５】
同図（ａ）はペン型の形状をした撮像部７の最も基本的な実施形態を示す図である。かかる実施形態においては、指示用突起部２３、送信部２４が設けられており、図示しないＣ−ＭＯＳセンサ等が概ねペンの軸線上に内蔵されている。送信部２４は撮像部７が赤外線通信、無線通信等の方法を用いて他の部材に信号を送信するためのものであり、説明の便宜を図るため図示したが、実際には必ずしも外観上見える位置に設ける必要はない。
【０１０６】
同図（ｂ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、ユーザによる操作を受け付ける２つのボタンが設けられている。かかる２つのボタンは送信ボタン２５と、再送信ボタン２６であり、ユーザは撮像部７から他の部材に信号を送るようボタン操作により指示することができる。ここで、再送信ボタン２６とは、送信ボタン２５による信号の送信が遮蔽物の存在等により受信先の部材へ送信することができなかった場合に同じ信号を再度送信するのに用いる。
【０１０７】
同図（ｃ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、ユーザによる音声入力を受け付けるマイク２７と、音声再生ボタン２８がさらに設けられている。マイク２７は、後述する音声認識に用いる音声を収録するために用い、音声再生ボタン２８は、後述する音声ガイドを再生するために用いる。
【０１０８】
同図（ｄ）はペン型の形状をした撮像部７の他の実施形態を示す図である。かかる実施形態においては、指示用突起部２３の内部空間にペン２９が格納されており、ペン格納ボタン３０を押すことにより、ペン２９が出る。
【０１０９】
図１６は、本発明にかかる手書き入出力システム１を構成する撮像部７の実施例の一つであるペン型スキャナ３１の先端部を示す断面図である。かかるペン型スキャナ３１は、内部に中空部が形成され、その先端に開口部を有するライトガイド３２と、このライトガイド３２の開口部を臨む位置に配置されたレンズ３３と、このレンズ３３と同一面上に配置され、ドットパターンが形成された媒体面に所定波長の光を照射する光源としてのＬＥＤ３４（照射部１３）と、レンズ３３から後退した位置に配置されたＣ−ＭＯＳセンサ３５（撮像素子１２）と、さらに後退した位置にＰＣＢ３６とそれに設置される図示しないＣＰＵとを備えている。ライトガイド３２の中空部は、レンズ３３から開口部に向かって次第に大径となるテーパ状に形成されている。ここで、ＣＰＵは先述のドットパターン解析部８、軌跡認識部９、処理命令部１０、情報処理部１１、のいずれかまたは全ての役割を持つ。
【０１１０】
ライトガイド３２は、透明または乳白色の樹脂製であり、その内部が導光路として機能する。ＬＥＤ３４からの照射光は、ライトガイド３２の内部を進行し、前記開口部より媒体２に対して照射される。ライトガイド３２が乳白色の樹脂製である場合は、ＬＥＤ３４からの照射光は、ライトガイド３２内を進行する際、適度に拡散されるので、開口部から媒体２を照射する光をより均一にすることが出来る。
【０１１１】
＜ペンの装着＞
また、ペン型スキャナ３１は、筆記具としてのペン３７が装着されている。通常ペン等の筆記具で印字する際は、傾斜させた状態で用いるため、ペン型スキャナ３１の外周は、４５度まで傾斜可能になるように形成されている。この場合、ペン３７の先端近傍の媒体面を撮像することにより、撮像中心から離れた位置のペン３７の印字の際の筆跡や移動距離等を正確に解析することも可能となる。また、後述するオフセット補正により、筆跡をさらに正確に解析することが可能である。
【０１１２】
筆記具としてのペン３７は、種々の方法により格納して、媒体上に筆跡を残さないようにすることも可能である。格納する方法は、一般的なボールペンなどのペンにおいて用いられている技術をそのまま利用できる。たとえば、ノック式、回転式による格納方法を採用してもよいし、キャップを被せてもよい。
【０１１３】
また、一般的な三色ボールペンのようにペンを換えられるようにすることもできる。この場合、色の異なるペン同士を換えるだけでなく、ペンに代えて消しゴムや修正液が使えるようにしてもよい。
【０１１４】
さらに、ペン３７に代えて指示用突起部２３（スタイラスペン）を設け、指示用突起部２３の筆跡近傍を撮像するものとしてもよい。指示用突起部２３内に格納スペースを設けてペン３７を格納して、指示用突起部としても使用してよい。
【０１１５】
＜オフセット補正＞
図１７（ａ）に示すように、ペン型スキャナ３１において、撮像部７が撮像するドットパターンが定義するＸＹ座標値と、ペン３７が実際に書き込む軌跡上のドットパターンが定義するＸＹ座標値は異なる。さらに、軌跡上のドットパターンが定義するＸＹ座標値は、媒体面上の書き込み領域におけるxy座標値に変換して、書き込み入力や操作指示を行う必要がある。
【０１１６】
本発明にかかる手書き入出力システム１においては、撮像部７が撮像するドットパターンのＸＹ座標値を、ペン３７が実際に書き込む軌跡上のドットパターンを補正する方法と、ドットパターン座標系のXY座標値から書き込み領域座標系のxy座標値への変換方法を以下に説明する。
【０１１７】
＜書き込み領域の座標系とドットパターンの座標系の関係＞
図１７に書き込み領域の一例を示す。
【０１１８】
書き込み領域座標系は左下隅を(0,0)とする。書き込み領域のxy座標値は、ｍｍ表示とする。例えば、(16,40)の座標位置であれば、書き込み領域の左下隅から右へ16ｍｍ、上へ40ｍｍ移動した位置を示す。
【０１１９】
書き込み領域内には、図１３と図１４に示すように少なくともドットパターン座標系のXY座標値を１組定義したドットパターンのユニットが連続して形成されている。XY座標値は、ユニットの中心点の位置を示す。ドットパターン座標系の座標値を書き込み領域座標系の座標値と区別するため、〔X,Y〕と表す。上記ユニットとは、一定情報のまとまりが定義されたストリームドットを言い、線状に配置された基準ドットを結ぶ、第一の仮想基準線の中心をユニットの中心とする。
【０１２０】
書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのユニットの左下隅と原点(0,0)を一致させると、ドットパターン座標系におけるXY座標値は、図１８のように、どの書き込み領域でも左下隅が〔-0.5,-0.5〕となるようにドットパターンが形成される。この場合は、各書き込み領域に形成されたドットパターンには、固有のコード値を定義して各書き込み領域を特定する。互いに特定する必要のない場合は、同一のコード値を定義してもよい。
【０１２１】
また、図２０のように、紙面全面にXY座標値を定義したドットパターンを形成し、書き込み領域には、上記XY座標値の他、固有のコード値を定義する。この場合、書き込み領域の左下隅のXY座標値は、〔Xn0,Yn0〕(nは書き込み領域を特定する番号)となる。
【０１２２】
次に、各ユニットの一辺をLｍｍとすると、XY座標値は以下のように書き込み領域座標系に変換する。
【０１２３】
図１８のように、原点(0,0)のXY座標値を〔-0.5,-0.5〕としてドットパターンを形成した場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域座標系では、
(X×L＋L／2, Y×L＋L／2)となる。
【０１２４】
なお、図１９のように、書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのユニットの中心点と原点を一致させると、
(X×L, Y×L)となる。
【０１２５】
なお、図１９の例における書き込み領域座標系とドットパターン座標系との関係は、図１７の拡大図部分の例と同じである。
【０１２６】
図２０のように、書き込み領域の左下隅のXY座標値が〔Xn0,Yn0〕となる場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域n座標系では、
((X−Xn0)×L,(Y−Yn0)×L) となる。
【０１２７】
＜撮像中心Cのドットパターン座標系におけるXY座標値〔Xc,Yc〕の算出＞
図２１を用いて、撮像中心CのXY座標値〔Xc,Yc〕の算出方法を説明する。
撮像画像を所定の解像度のフレームバッファに一時記憶し、画像解析することにより、隣り合うユニットの中心間隔を構成するピクセル数Mを求める。ユニットの中心間隔は、ユニットの一辺の長さLに等しいので、Lに対する撮像画像の１ピクセル当たりのサイズを、ドットパターン座標系での値kとすると、
k＝L／Mとなる。
【０１２８】
同じく画像解析により、撮像中心Cから最も近いユニット中心P〔Xｐ,Yｐ〕と、撮像中心Cとの間隔を構成するピクセル数uが求まる。撮像中心Cから、撮像中心から最も近いユニット中心Pまでの距離CPは、
CP＝k×uとなる。
【０１２９】
次に、ドットパターンの向き（書き込み領域の向き）が書き込み領域の上方向になるようにドットパターンが紙面に形成されている場合、ドットパターンの向きとPCベクトルとのなす角をθ'（左回転を正の方向とする）とすると、
〔Xc,Yc〕＝〔Xｐ−CP×sinθ', Yｐ＋CP×cosθ'〕
が求まる。
【０１３０】
＜ペン先の書き込み領域座標系におけるxy座標値Q（xq,yq）の算出（ペンが紙面に対し垂直な場合）＞
図２２のように、書き込み領域座標系における撮像中心Cの座標値を（xc,yc）、ペン先の媒体面における座標値をQ（xq,yq）とする。図２３のように、点Cと点Qのx座標値、y座標値の差分を、それぞれΔxq、Δyqとすると、
Δxq ＝xq −xc
Δyq＝yq−yc
が求まる。
【０１３１】
ドットパターンの向きが書き込み領域上方向になるように、ドットパターンが形成されている場合に、撮像中心Cを始点とし、ペン先を終点とするCQベクトルの向きをペン型スキャナ３１の向きとする。
【０１３２】
ドットパターンの向きとペン型スキャナ３１の向きのなす角をθ（左回転を正の方向とする）とする。
【０１３３】
また、図２４のように、ペン型スキャナ３１が紙面に対し垂直な状態での、撮像中心Cからペン先Qまでの距離をsとすると、
Δxq およびΔyqは、
Δxq ＝−s×sinθ
Δyq＝s×cosθ
となる。
【０１３４】
従って、xqおよびyqは、
xq ＝xc −s×sinθ
yq＝yc＋s×cosθ
となる。
【０１３５】
＜ペン先の書き込み領域座標系におけるxy座標値Q'（xq',yq'）の算出（ペンが紙面に対し傾いている場合）＞
図２５のように、ペン型スキャナ３１が紙面に対し傾いている場合、前述の撮像中心Cからペン先Qまでの距離が変化する。
【０１３６】
ペン型スキャナ３１本体の紙面の法線方向からの傾き（以下、「ペンの傾き」という。）をαとしたときの、撮像中心からペン先までの距離をs'とすると、前記の式はs→s'と置き換えられ、
xq' ＝xc −s'×sinθ
yq'＝yc＋s'×cosθ
となる。
【０１３７】
また、
s'＝s／cosα
であるので、これを当該式に代入すると、
xq' ＝xc −s'×sinθ/ cosα
yq'＝yc＋s'×cosθ/ cosα
となる。
【０１３８】
＜ペン先がペン本体に収納された状態で利用する場合の撮像中心からペン先までの距離＞
なお、図２６のように、ペン先が格納されると、ΔLだけペン型スキャナ３１が紙面に近づくがsおよびs'には影響を及ぼすものではなく、計算式は同一となる。
【０１３９】
＜ペンの傾きαの算出方法＞
ペンの傾きαを検出するには、ペン本体に傾きセンサなどの傾き計測手段を設けても良い。
【０１４０】
または、撮像画像の所定複数p箇所の明るさBLi,j=1,pを求め、最も明るい箇所と最も暗い箇所の明るさの差ΔBLを用いて関係式α＝f(ΔBL)からペンの傾きαを求めることもできる。
【０１４１】
α＝f(BLi,j=1,p)のようにBLi,jをパラメータとして、フーリエ関数やsin関数を用いてαを求めることもできる。
【０１４２】
また、ΔBLとαを対応させるテーブルを予め作成し、αを算定してもよい。なお、ペンを傾けた方向は、BLi,j=1,pの最も暗い箇所から、最も明るい箇所の方向を計測することにより求まる。
【０１４３】
＜媒体２＞
図２７〜４０は、本発明にかかる手書き入出力システム１に用いる媒体２を説明する図である。
【０１４４】
図２７は、表面全体にドットパターンを印刷（形成）して書き込み領域とした媒体２を示す図である。
【０１４５】
かかるドットパターンはＸＹ座標値およびページコードを定義している。ここで、ページコードとはコード情報を用いて、媒体を特定をするコードを意味する。
【０１４６】
図２８は、ページコードおよびＸＹ座標値を定義したドットパターンが印刷された領域内に、アクションコードをさらに定義した別のドットパターンが印刷された媒体２を示す図である。
【０１４７】
ここで、アクションコードとはコード情報を用いて、特定した媒体への手書き入力に対して情報処理部１１に所定の操作（特にアプリケーションの操作）を命令するコードを意味する。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０１４８】
本媒体は、複数枚が組になっており、シート毎に異なるページコードが割り当てられている。ページコードはたとえば１ページ目は「０１」、２ページ目は「０２」、３ページ目は「０３」である。
【０１４９】
アクションコードを定義したドットパターンが印刷された領域には、かかるアクションコードがどのような意味を持つものであるかユーザに説明するためのテキスト、グラフィック、写真、アイコンを重畳して印刷することができる。たとえば「開始」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションの起動を命令する。「中止」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによる入力結果の破棄（キャンセル）を命令し、または、情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、情報処理部１１に対して処理の実行を中止することを命令する。「保存」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部に対して手書き入出力用アプリケーションによる入力結果の保存を命令する。「終了」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションの終了を命令する。
【０１５０】
図２９は、ＸＹ座標値およびページコードを定義したドットパターンが印刷された領域と、アクションコードおよびページコードを定義したドットパターンが印刷された領域が分かれている媒体２を示す図である。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０１５１】
図３０は、ＸＹ座標値およびページコードを定義したドットパターンが印刷された第一の媒体と、アクションコードのみを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体を示す図である。この場合、媒体のどの頁でも、手書き入力に対する各種命令を実行できる。なお、書き込み領域とアイコンとを別体に設ける場合、図３２のように、ペーパーコントローラとする場合の他、シール、付箋紙、カードとして、他の媒体に貼付してもよい。
【０１５２】
なお、「本文入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、本文となる文字または図形の入力を命令する。「コメント入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、コメントとなる文字または図形の入力を命令する。「編集」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１に対して手書き入出力用アプリケーションによるオペレーションにおいて、文字または図形の編集を命令する（すなわち、手書き入出力用アプリケーション以外のアプリケーションにより作成された文書、画像等のファイルを編集することも可能である。）。「決定」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、情報処理部１１に対して処理の実行を決定することを命令する。
【０１５３】
図３１は、ＸＹ座標値およびページコードＡを定義したドットパターンが印刷された第一の媒体と、アクションコードおよびページコードＡを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体が一つの冊子となったものを示す図である。
【０１５４】
この場合、書き込み領域には各ページ同一のＸＹ座標が登録されたドットパターンが印刷されていてもよい。なぜなら、書き込み操作を行う際には、アクションコードおよびページコードが登録されたコントローラ領域のアイコンを使用すれば、書き込み領域を特定できるからである。つまり、ＸＹ座標値を変更することなく書き込み領域の位置、ページを変更することが可能ともいえる。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。
【０１５５】
上記の他、書き込み領域全体に、情報処理部に対して手書き入出力用アプリケーションの起動を命令するアクションコードを定義したドットパターンを印刷してもよい。この場合、媒体面において書き込みが行われると自動的に手書き入出力用アプリケーションが起動するようになる。
【０１５６】
また、媒体上の書き込み領域は一つに限らず、複数定義することも可能である。
（複数の書き込み領域が設けられる場合に関して）
【０１５７】
以下、図３２〜３６を用いて、複数の書き込み領域が設けられる場合に関して、４つの例を用いて説明する。
【０１５８】
＜第1の例＞
第1の例は、図３２に示すように、複数の書き込み領域毎に、異なるドットパターン座標系によるXY座標値と書き込み領域を特定するコード値とを定義したドットパターンが形成される場合である。
【０１５９】
この図では、それぞれの書き込み領域ごとに、ドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値ｍ、ｎを定義したドットパターンが形成されている。
【０１６０】
コード値は複数の情報を定義することにより、書き込み領域のみならずページ番号を分類する分類番号などを含めることができる。
【０１６１】
ページ番号が含まれると、どのページのどの書き込み領域なのかを判別でき、書き込み領域で情報や処理命令、択一などの選択項目があり、共通のコードとして処理する場合では、定義されたページ番号や、選択項目を特定する情報を合わせてコード値として定義できる。
【０１６２】
なお、図３３に示すように、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。この図では、コード値をｎ１、ｎ２、ｎ３、ｎ４としている。これにより、１つの書き込み領域内に複数の選択項目を設定できる。
【０１６３】
この第1の例では、各領域の左下隅が常に０（原点）となるので扱いがしやすいという利点がある。
【０１６４】
＜第2の例＞
第2の例は、図３４に示すように、所定領域全面に1つのドットパターン座標系によるXY座標値を定義したドットパターンが形成され、書き込み領域のドットパターンにはXY座標と共にコード値も定義されている場合である。
【０１６５】
この図では、所定領域の左下隅を原点とする１つのドットパターン座標系でXY座標値を定義したドットパターンが、所定の領域全面に形成されている。この所定の領域内にある、二つの書き込み領域はそれぞれ、左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎとが定義されている。
【０１６６】
コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。
【０１６７】
なお、書き込み領域以外のドットパターンが形成された領域には書き込みはできないようになっている。
【０１６８】
第2の例によれば、XY座標値を読み取ることで、書き込み領域が、所定領域内のどこにレイアウトされているかが容易にわかる。
【０１６９】
＜第3の例＞
第3の例は、図３５に示すように、書き込み領域の中に、さらに書き込み領域を入れ込む場合である。
【０１７０】
この図では、所定領域の左下隅を原点とする１つのドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値Lとを定義したドットパターンが、所定の領域全面に形成されている。この所定の書き込み領域内にある、二つの書き込み領域は、それぞれ、左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎが定義されている。
【０１７１】
この例によれば、文章や図形を自由に書きこむ大きな書き込み領域内に、選択項目欄などの小さな書き込み領域を配置することが容易になる。
【０１７２】
仮に、これを第1の例によって実現しようとすると、書き込み領域内にさらに書き込み領域を形成する際、穴の空いた書き込み領域を設ける必要があり、ドットパターンの形成が複雑な作業となる。
【０１７３】
さらに、１つの座標系で、書き込み領域内に書き込み領域を形成できれば、入力モードを変更することにより、書き込み領域内の書き込み領域を無視して、書き込み作業を行うことができるように設定することが可能となる。例えば、書き込み領域内の書き込み領域に書き込みを行う場合は、入力モードを切り替えるか、特定の記号を描いた場合に限り、有効となるような設定を設けてもよい。
【０１７４】
なお、コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。
【０１７５】
この例においては、XY座標値を読み取ることで、書き込み領域がどこにレイアウトされているかが容易にわかる。
【０１７６】
＜第4の例＞
第4の例は、図３６に示すように、所定領域全面に1つのドットパターン座標系を定め、書き込み領域にはこの座標系でのXY座標値と書き込み領域を特定するコード値を定義したドットパターンが形成される場合である。
【０１７７】
この図では、所定の領域内に左下隅を原点とする１つの座標系を定め、この領域内にある、二つの書き込み領域に、それぞれ左下隅が〔Xｍ０，Yｍ０〕、〔Xｎ０，Yｎ０〕であるXY座標値と、書き込み領域を特定するコード値ｍ、ｎとが定義されたドットパターンが形成されている。
【０１７８】
この例では、第2の例とは異なり、書き込み領域以外の範囲にはドットパターンは形成されていない。
【０１７９】
この例では、グラフィック、テキストなどの印刷物の版下と、ドットパターンの版下がある場合、印刷物の版下の座標系に合わせて自動的に書き込み領域の範囲を、マスクを配置することによってレイアウトするマスク処理をしてドットパターンの版下を作成することが可能となり、容易にドットパターンを発行することが出来る。
【０１８０】
また、ドットパターンを読み取ったとき、XY座標値を読み取ることで、書き込み領域が所定の領域内のどこにレイアウトされているかが分かるため、例えば紙面上のどこに配置すれば広告効果が高いかなどのリサーチに用いることが可能となる。
【０１８１】
なお、以上の説明では全て、ドットパターン座標系を用いて説明をしたが、ドットパターン座標系から変換された書き込み領域座標系であっても同様であることは当然である。
【０１８２】
図３７は、媒体上に複数の書き込み領域を定義した具体例である書類を示す図である。
【０１８３】
同図（ａ）はかかる書類において、各書き込み領域にＸＹ座標値の原点および書き込み領域の特定を命令する特定コードが定義されたものを示す図である。
【０１８４】
同図（ａ）においては「氏名」の書き込み領域内に「フリガナ」の書き込み領域が、「住所」の書き込み領域内に「郵便番号」の書き込み領域が、「周辺の地図」の書き込み領域内に「徒歩（の時間）」、「電車（の利用時間）」、「バス（の利用時間）」の書き込み領域が定義されている。
【０１８５】
また、「性別」の書き込み領域は「男」と「女」の書き込み領域に、「生年月日」の書き込み領域は「年」、「月」、「日」の書き込み領域にそれぞれ分割されている。
【０１８６】
このような書き込み領域のレイアウトは、それぞれに異なった特定コードを割り当てることにより可能となる。
【０１８７】
同図（ｂ）はかかる書類において、各書き込み領域にはＸＹ座標値の原点が定義されず、書き込み領域の特定を命令する特定コードのみが定義されたものを示す図である。
【０１８８】
このような構成にすることにより、書き込み情報の媒体面全体での位置を特定することができる。
【０１８９】
図３８は、図３７の書類に実際に手書き入力を行った状態を示す図である。
【０１９０】
同図（ａ）は実際に手書き入力を行った図３７（ａ）の書類を示す図である。
【０１９１】
同図（ｂ）は、同図（ａ）の手書き入力を受けて、情報処理部１１が行った処理の結果をディスプレイ６上に表示し、または印刷により出力した状態を示す図である。
【０１９２】
詳細は後述するが、本発明にかかる手書き入出力システム１は、手書き入力した文字および図形をいくつかの方法により認識することにより、同図（ｂ）のような出力を行う。
【０１９３】
＜ドットパターンを新たに印刷する＞
本発明の手書き入出力システム１においては、手書き入力を行い、情報処理部１１において手書き入力を反映させたものを印刷して、再度手書き入力を行うこともできる。
【０１９４】
図３９（ａ）は、軌跡認識部９が認識した軌跡情報と、ドットパターンを重畳して印刷した媒体２を示す図である。図示はしないが、図３９（ａ）に示す媒体２には、最初に手書き入力を行った媒体２に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。
【０１９５】
図３９（ｂ）には、情報処理部１１が行った処理の結果を、ドットパターンを重畳して印刷した媒体２を示す図である。図示はしないが、図３９（ｂ）に示す媒体２には、最初に手書き入力を行った媒体２に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。この場合、XY座標は同一で、ページコードのみを変更して印刷してもよい。
【０１９６】
＜点字・バンク＞
また、媒体２にはバンクガイド３８（幅狭の凸部）または点字３９をさらに設けてもよい。
【０１９７】
図４０は、書き込み領域の外周にバンクガイド３８を設け、書き込み領域にはドットパターンとともに点字３９の突起を設けたものである。このようにバンクガイド３８を設けることにより視覚障害を持つユーザが手書き入出力を使用するときも書き込み領域の位置がわかり、点字３９とドットパターンを同じ領域に設けておくことにより、視覚障害を持つユーザが手書き入出力を使用するときにも健常者と同様の入力効率を保つことができる。
【０１９８】
＜ドットパターン解析部＞
ドットパターン解析部８は、前述のストリームドットにおけるドットパターンを用いた情報の入出力方法に従い、画像データをコード解析することにより、ドットパターンが定義するＸＹ座標情報およびコード情報を求める。
【０１９９】
本発明にかかる手書き入出力システム１においては、ユーザが撮像部７により媒体上に書き込んだ（トレースした）軌跡をドットパターン解析部８が順次コード解析するため、ＸＹ座標情報およびコード情報はこの軌跡を表すものである（軌跡情報）。
【０２００】
＜軌跡認識部＞
軌跡認識部９は、軌跡情報の変化に基づき、媒体上に書き込まれた文字、図形を認識する。
【０２０１】
軌跡認識の方法は、一般的なＯＣＲ（光学的文字読取装置）のように、文字、図形をグラフィックとして考え、データベース内の文字、図形のＸＹ座標のパターンを参照することにより行う方法である。
【０２０２】
ここで、本発明においては特に、コード情報によって書き込み領域に書き込む内容を予め指示しておくことができる。すなわち、予め分類された文字および／または図形情報パターンテーブルを参照することで、軌跡情報を高精度で認識することが可能である。具体例としては、予めアラビア数字のみを記載することを指示しておけば、軌跡認識部９はアラビア数字のテーブルのみを参照するため認識率は高まる。認識ができない場合は、通常通りデータベース内の全ての文字、図形を参照すればよい。
【０２０３】
さらに、上記の軌跡認識を行った上で、書き込み領域に書き込まれた文字および／または図形、もしくは１または複数の文字からなる語句の、意味情報を、コード情報に対応する予め定義された意味情報コードテーブル（辞書）を参照することで、意味情報コードに変換することもできる。すなわち、軌跡認識部９はたとえば「東京都文京区」という書き込みがされた場合、「東」「京」「都」文」「京」「区」と、まず一文字ずつパターン認識を行うが、さらに、意味情報コードテーブル（辞書）を参照して、「東京都」に予め対応するものとして定義された意味情報コードと、「文京区」に予め対応するものとして定義された意味情報コードに変換することにより、情報処理部は「東京都」「文京区」という地名が入力されたものと認識することができる。
【０２０４】
また、意味情報コードテーブル（辞書）を参照することは、文字のパターン認識を補助することにもなる。たとえば「東京」の「東」の文字をユーザが汚く書いたために、ユーザが「東」と書いたのか「車」と書いたのか軌跡認識部９が認識することが困難である場合、意味情報コードテーブルにおいて「東京」という熟語が定義されており、「車京」という熟語が定義されていなければ（「車京」という熟語は通常存在しない）、ユーザは「東」という文字を書いたものとして軌跡認識部９は認識をすることができる。
【０２０５】
＜計時部＞
本発明にかかる手書き入出力システム１は計時部１５をさらに備えてもよい。計時部１５は時間情報を検出する機能を持つ。
【０２０６】
ここで、時間情報は、
（１）撮像部７が書き込み領域面に触れて描かれた筆歴の順番とする。
【０２０７】
（２）撮像部７が書き込み領域面に触れて、離れるまでの時間の集合とし、書き始めてから、撮像部７が離れている時間を無視する。つまり、撮像部７が離れている時間を省き、（１）の始まりと、終わりの時間から、手書き入力時間とその順番を記述する。これにより、文字を書く時間が分かり、文字認識の精度向上と、対象者の文字入力速度がわかる。
【０２０８】
（３）撮像部７が書き込み領域面に触れる、離れるの、全ての時間を記録することにより、アンケートや、商品の選択などに、どれくらい時間を要したかがわかり、通常時との比較を行うことにより、難易性や思考状態、書き手の性格、年齢、性別などを把握できる。
【０２０９】
（４）また、ペンの移動速度を把握することにより、文字のハネや書きづらさを解析でき、さらに書き手の心理状態や健康状態を推測することもできる。
【０２１０】
＜角度測定部・角度変化認識部＞
本発明にかかる手書き入出力システム１は角度測定部１６・角度変化認識部１７をさらに備えてもよい。角度測定部１６・角度変化認識部１７は撮像部７の媒体面に対する傾きを測定・認識する。
【０２１１】
角度測定・角度変化認識の方法は、既に述べたペンの傾きαの算出方法をそのまま用いることができる。この場合、撮像部７がペンを備えなくとも傾きを測定・認識することは可能である。また、特願２００５−２６７５６５号（ＰＣＴ／ＳＧ２００６／０００２６７）にかかる情報出力装置の発明において開示されている傾きの算出方法を用いることができる。ただし、これら以外の方法を用いてもよい。
【０２１２】
なお、傾きの測定・認識の基準となる撮像部７の媒体面に対する角度変化の認識は、撮像部７を媒体面に対して鉛直状に立てたときの角度のみならず、撮像部７が媒体面に触れた際の角度を基準とすることができるものとする。
【０２１３】
＜回転角読み取り部・回転角変化認識部＞
本発明にかかる手書き入出力システム１は回転角読み取り部１８・回転角変化認識部１９をさらに備えてもよい。回転角読み取り部１８・回転角変化認識部１９は撮像部７の撮像光軸を概ね鉛直状に立て、回転させたときの回転角を読み取り・認識する。
【０２１４】
なお、ドットパターンの向きと撮像部７の向きの為す角度を求める方法はオフセット補正の項で既に説明しているが、この方法はペンの有無にかかわらず、回転角の読み取り・認識方法に利用できる。すなわち、ドットパターンの向きは常に一定であるため、撮像部７を媒体面に対して鉛直上に立てて最初に撮像したときのドットパターンの向きと撮像部７の向きの為す角度θ１と所定の時間経過後のドットパターンの向きと撮像部７の向きの為す角度θ２（左回転を正の方向とする）との差を回転角として読み取り・認識することができる。
【０２１５】
＜タッチ動作と跳ねる動作の判別方法＞
本発明にかかる手書き入出力システム１において、撮像部７を書き込み領域にタッチする動作（タッチ動作）と、書き込み領域に触れた状態から跳ねる動作（跳ねる動作）の判別方法を図４１に説明する。
【０２１６】
同図（ａ）に示すように、撮像部７を書き込み領域にタッチする場合、撮像部７が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる。そして、撮像部７を書き込み領域から離すとＬＥＤ３４からの照射光が媒体面に反射しなくなるためＣ−ＭＯＳセンサ３５はＬＥＤ３４からの照射光（媒体面からの反射光）を検知せず、同図（ｃ）に示すように、ドットパターンを撮像することができない。
【０２１７】
同図（ｂ）に示すように、撮像部７を書き込み領域に触れた状態から跳ねる場合、撮像部７が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる、つまりここまでは書き込み領域にタッチする動作と同様である。そして、撮像部７を書き込み領域に触れた状態から跳ねると、撮像部７の先端は依然として所定時間書き込み領域へ向いていることにより、ＬＥＤ３４からの照射光は媒体面に反射するため、Ｃ−ＭＯＳセンサ３５は媒体面上のドットパターンを一応撮像するが、撮像部７の移動速度が速いことから、同図（ｄ）に示すように、ドットパターンがぼやけて解析することはできない。
【０２１８】
すなわち、撮像部７が書き込み領域をタッチしてドットパターンを撮像し、解析した瞬間を基準時として、所定時間経過後（例：０．２秒後）に撮像した画像データを解析して、ドットパターンを撮像しない（反射光を検知しない）ときは、撮像部７はタッチ動作をしたものとして、処理命令部１０は情報処理部１１に対して、タッチ動作と対応するものとして予め定義づけられた処理命令を送信する。ドットパターンを撮像するが（反射光を検知するが）、ドットパターンがぼやけて解析することができないときは、撮像部７は跳ねる動作をしたものとして、処理命令部１０は情報処理部１１に対して、跳ねる動作と対応するものとして予め定義づけられた処理命令を送信する。なお、同図（ｅ）に示すように、ドットパターンを解析することができるときは、通常の手書き入力動作に他ならない。
【０２１９】
＜処理命令部＞
処理命令部１０は、軌跡認識部９が認識した情報に基づく処理命令を、軌跡情報とともに情報処理部１１に対して送信する。
【０２２０】
既に説明した、媒体面に印刷したドットパターンが定義する、ページコードに基づく頁を特定する命令、特定コードに基づくある書き込み領域を特定する命令、アクションコードに基づく種々の命令は、処理命令部１０が実際に情報処理部１１に対して行う。
【０２２１】
また、処理命令部１０は、詳細は後述するが、手書き入出力用アプリケーションにおける各種のオペレーションの実行を情報処理部１１に対して命令する。
【０２２２】
さらに、角度測定部１６・角度変化認識部１７による測定・認識結果、および回転角読み取り部１８・回転角変化認識部１９による読み取り・認識結果に基づく予め定められた処理命令を情報処理部１１に対して命令する。
【０２２３】
＜情報処理部＞
情報処理部１１は、本発明にかかる手書き入出力システム１が行う処理命令を受けて、各種の処理を実行する。
【０２２４】
＜サーバ＞
本発明にかかる手書き入出力システム１は、必要に応じて各種の情報を記録したサーバ５にアクセスしてもよい。
【０２２５】
＜軌跡認識用サーバ＞
サーバ５には、たとえば軌跡認識用の情報を記憶することができる。一般的なＯＣＲ（光学的文字読取装置）で採用されているように複数の文字および図形にＸＹ座標パターンが定義づけられて記憶されている。
【０２２６】
また、文字および図形には、これらを分類するための分類コードが定義づけられて記憶されている。
【０２２７】
さらに、文字および図形には、意味情報コードテーブル（辞書）を参照することにより、１または複数の文字からなる語句または図形、もしくはこれらの組み合わせを出力するための意味情報コードが定義づけられて記憶されている。
【０２２８】
本発明にかかる手書き入出力システム１においては、ＸＹ座標情報のみならずコード情報を用いて書き込み領域を特定することができるため、書き込み領域の量（数）が膨大であっても、容易に管理することができる。特に、誰もが利用できる共有のグローバルサーバに書き込み情報を記憶する場合に極めて有効である。
【０２２９】
＜その他のサーバ＞
サーバ５には軌跡認識用の情報以外にも、音声、文書、画像、動画、アプリケーション、その他の様々な情報を記憶することができることは説明するまでもない。たとえば手書き入出力用アプリケーションを記憶することができる。すなわち、情報処理部１１が手書き入出力用アプリケーションを持たないとき、サーバ内を検索して、サーバ上の手書き入出力用アプリケーションを実行することができる。ただし、サーバ上の手書き入出力用アプリケーションを優先して実行してもよい。
【０２３０】
なお、サーバ５に代えて、他の情報処理部１１の手書き入出力用アプリケーションを実行してもよい。
【０２３１】
当然ながら、サーバ５は上記の実施例以外にも形態を種々変更して実施することができるものとする。
【０２３２】
＜手書き入出力用アプリケーション＞
以下に、本発明にかかる手書き入出力システム１において実行される、手書き入出力用アプリケーションについて説明する。
【０２３３】
かかるアプリケーションは各種のオペレーションを実行することにより媒体面への書き込みをコンピュータ上でも反映させるシステムである。
【０２３４】
媒体面への書き込みは処理命令部１０が情報処理部１１に対してリアルタイムに命令することにより、処理結果が表示されるディスプレイ６を見ながら行ってもよいし、ディスプレイ６を見ずに書き込みを行い、書き込み後に処理命令部１０が情報処理部１１に対して命令してもよいものとする。
【０２３５】
＜書き込み操作＞
以下、本発明にかかる手書き入出力システム１における、書き込み操作について説明する。
【０２３６】
書き込み操作は、入力しようとする文字または図形を、撮像部７を用いて媒体面の書き込み領域に書き込むことにより行う。
【０２３７】
撮像部７は、撮像部７が媒体面を移動している間、所定の時間間隔において書き込み領域に重畳的に印刷されたドットパターンを撮像する。後の手順は既に説明したとおりである。
【０２３８】
以下、手書き入出力システム１が実行する各オペレーションについて説明する。
【０２３９】
＜文字および図形の認識方法＞
図４２は本文の文字を手書き入力する第一のオペレーションを説明するイメージ図である。
【０２４０】
同図（ａ）のように、撮像部７を用いて書き込み領域に文字を書くと、同図（ｂ）のように、撮像部７は軌跡上のドットパターンを順次撮像して、ドットパターン解析部８はＸＹ座標情報とコード情報からなる軌跡情報を取得する。
【０２４１】
なお、説明の便宜のため同図（ｂ）においては軌跡上のドットパターンの撮像位置の間隔は広くとってあるが、実際にはもっと狭い。
【０２４２】
同図（ｃ）のように、軌跡情報に基づいて認識を行った結果に基づいて、情報処理部１１は第一のオペレーションを実行し、ディスプレイ６に結果を出力する。
【０２４３】
同図（ｄ）のように、図形を認識する場合も、文字を認識する場合と何ら認識方法に変化はなく、同図（ｅ）のように認識結果がディスプレイ６上には表示される。
【０２４４】
ただし、文字および図形の認識を行わず、ドットパターン解析部８が求めたＸＹ座標情報をそのまま入出力してもよい。この場合、本発明にかかる手書き入出力システム１はペンタブレットとして機能する。
【０２４５】
＜第二のオペレーション＞
図４３に示すように、第二のオペレーションはコメントの文字を手書き入力するオペレーションである。なお、同図では説明の便宜を図るためにコメント部分を破線により囲んでいるが、実際に破線を書き込む必要はない。
【０２４６】
文字または図形の認識方法は第一のオペレーションの方法と同一である。
【０２４７】
第二のオペレーションにおいて入力されたコメントの文字は、情報処理部１１においても本文とは別のコメントとして認識される。
【０２４８】
コメントは図４４のように、行間に記入したものが情報処理部１１においてそのまま反映されてもよいが、図４５のように、本文中のコメントを挿入したい部分を下線により指定することによって、情報処理部１１において本文の脇にコメントが列挙されるようにしてもよい。
【０２４９】
＜第三のオペレーション＞
第三のオペレーションは手書き入力した文字を編集するオペレーションである。
【０２５０】
各編集は、情報処理部１１において編集記号としてあらかじめ定義される文字または図形を、撮像部７を用いて書き込むことにより行う。
【０２５１】
文字または図形の認識方法は第一のオペレーションの方法と同一である。
【０２５２】
図４６は本発明の第三のオペレーションである編集操作において用いる編集記号を説明する図である。
【０２５３】
１つの閉じた領域を形成する線は領域内の文字または図形を選択する編集記号を意味する。
【０２５４】
領域を閉じない括弧状の二組の線は二組の線の間の文字または図形を選択する編集記号を意味する。
【０２５５】
レ点はカット＆ペースト時にカットの対象を指定する編集記号を意味する。
【０２５６】
二重線は削除（消去）の編集記号を意味する。
【０２５７】
「トル」は削除（消去）の編集記号を意味する。
【０２５８】
「イキ」は編集記号「トル」の取り消しの編集記号を意味する。
【０２５９】
三往復以上のジグザグ線は編集の取り消しの編集記号を意味する。
【０２６０】
双方向の矢印は選択した文字または図形同士を入れ替える編集記号を意味する。
【０２６１】
一方向のみの矢印はペースト先を直接指定する編集記号を意味する。
【０２６２】
文字（Ａ）、（Ｂ）、（Ｃ）．．．は選択した文字または図形をフラグ付けした状態でコピー（カット）し、離れた位置にあるペースト先を指定する編集記号を意味する。
【０２６３】
ただし、上記以外の編集記号を定義してもよいことはいうまでもない。
【０２６４】
図４７は第三のオペレーションを実行する前の媒体２を示す図である。媒体２には第一のオペレーションを実行して手書き入力された文書または手書き入力した結果、印刷された文書が記入されている。
【０２６５】
図４８は第三のオペレーションにおける媒体２上での編集状態を説明する図である。
【０２６６】
同図（ａ）のように、領域を閉じる線を書き込むときには、手書き入出力用アプリケーションにおいては線により閉じた領域内を一個の編集対象として認識する。
【０２６７】
同図（ｂ）のように、領域を閉じない括弧状の線を書き込むときには、後の領域において同図（ｃ）のように、対応する括弧閉じ状の線を描くことにより間の領域を一個の編集対象として手書き入出力用アプリケーションにおいては認識する。特に、編集対象が数行にまたがる場合に用いる。
【０２６８】
同図（ｄ）のように、編集対象を選択した状態において編集対象を示す線上に「トル」を描くときには、手書き入出力用アプリケーションにおいては編集対象の文字を削除する。
【０２６９】
同図（ｅ）のように、編集対象を選択した状態において編集対象から所定の位置までを指定する矢印を描くときには、手書き入出力用アプリケーションにおいては編集対象を指定した領域にカット＆ペーストまたはコピー＆ペーストする。ここで、ペースト先は文字と文字の間（もしくは行頭または行末）に挿入するだけでなく、同図（ｆ）のように、ペースト先を編集対象とすることで元の文字を削除して上書きすることも可能である。
【０２７０】
この場合、同図（ｇ）のように、コピー元の編集対象を示す線上に削除の編集記号であるレ点を描き加えたときにはカット＆ペーストとして手書き入出力用アプリケーションにおいては処理され、カットしたもとの対象は削除される。同図（ｈ）のように、レ点を描き加えないときにはコピー＆ペーストとして手書き入出力用アプリケーションにおいては処理される。
【０２７１】
同図（ｉ）のように、編集対象に（Ａ）、（Ｂ）といったフラグとなる編集記号を描き加えると、編集対象は（Ａ）、（Ｂ）というフラグを付けた状態でコピーされ、以後は任意に何度でもペーストが可能でなる。さらに、同図（ｊ）のように、ページが異なるなど、離れた位置にもペーストすることが可能である。
【０２７２】
同図（ｋ）のように、文字の上に二重線を引くと、手書き入出力用アプリケーションにおいては二重線を引いた文字を削除する。
【０２７３】
同図（ｌ）のように、２つの編集対象を双方向の矢印の編集記号で結ぶと、手書き入出力用アプリケーションにおいては編集対象同士を入れ替える。
【０２７４】
図４９は第三のオペレーションにおける各編集を媒体２上で行った結果を手書き入出力用アプリケーションにおいて反映させた文章を示す図である。
【０２７５】
図５０は、図４８に示す第三のオペレーションの編集を行った後に、編集を取り消して編集前の状態に戻す操作を説明する図である。
【０２７６】
同図（ａ）のように、一度編集記号であるレ点を付して削除した領域に打ち消しの編集記号であるジグザグ線を加えると、手書き入出力用アプリケーションにおいては一度削除した領域について、削除を取り消して領域が元に戻る。
【０２７７】
同図（ｂ）のように、一度編集記号である（Ａ）マークを付してコピー＆ペーストを行ったところの、ペースト先を指定する編集記号である矢印部分にジグザグ線を加えると、手書き入出力用アプリケーションにおいてはコピー＆ペーストをして文字を挿入する前の状態に戻される。
【０２７８】
図５１は、第三のオペレーションにおける編集の取り消しを媒体２上で行った結果を手書き入出力用アプリケーションにおいて反映させた文章を示す図である。
【０２７９】
＜各オペレーションの階層関係＞
以下に、各オペレーションの階層関係について説明する。
【０２８０】
各オペレーションは、第三のオペレーションを第一および第二のオペレーションと並列するオペレーションとしてもよい。
【０２８１】
この場合、第三のオペレーション時においては本文の文字およびコメントの文字を同時に編集する。
【０２８２】
一方、第三のオペレーションは第一のオペレーションおよび第二のオペレーションにそれぞれ従属するサブオペレーションとしてもよい。
【０２８３】
この場合、第一のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においては本文の文字のみを編集し、第二のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においてはコメントの文字のみを編集する。
【０２８４】
当然ながら、本発明にかかる手書き入出力システム１は上記第一から第三のオペレーション以外にも、必要に応じて種々のオペレーションを実行できるものとして変更実施することができる。
【０２８５】
＜コンピュータへの保存＞
図５２に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、右回転させることにより、処理命令部１０は入力した文字および文書構成の結果（ファイル内容の変更結果）を保存することを情報処理部１１に命令する。撮像部７本体が、編集履歴を記録できる機能を有している場合は、上記文書構成の結果を情報処理部１１に送信する。
【０２８６】
図５３に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、左回転させることにより、処理命令部１０は入力した文字および文書構成の結果を破棄する（ファイル内容の変更をキャンセルする）ことを情報処理部１１に命令する。
【０２８７】
撮像部７の回転の認識には、先述の回転角読み取り・回転角変化認識の方法を利用する。
【０２８８】
＜アプリケーションの起動・終了＞
図５４に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、右回転させ、そのまま所定の時間内（例：１秒以内）に所定回転角度（例：１０度以上）左回転させることにより、処理命令部１０は情報処理部１１に対して手書き入出力用アプリケーションを起動することを命令する。
【０２８９】
図５５に示すように、撮像部７を媒体面上にタッチしたまま所定回転角度（例：１０度以上）、左回転させ、そのまま所定の時間内（例：１秒以内）に所定回転角度（例：１０度以上）右回転させることにより、処理命令部１０は情報処理部１１に対して手書き入出力用アプリケーションを終了することを命令する。
【０２９０】
＜オペレーションの切り替え動作−方法１＞
以下に、図５６を用いて、オペレーションの切り替えをする第一の方法を説明する。
【０２９１】
この方法では、先述の角度測定・角度変化認識の方法を利用する。
【０２９２】
同図（ａ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の左側に倒すことにより、処理命令部１０は本文を手書き入力する第一のオペレーションを開始することを情報処理部１１に命令する。
【０２９３】
同図（ｂ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の右側に倒すことにより、処理命令部１０はコメントを手書き入力する第二のオペレーションを開始することを情報処理部１１に命令する。
【０２９４】
同図（ｃ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の上側に倒すことにより、処理命令部１０は本文およびコメントを編集する第三のオペレーションを開始することを情報処理部１１に命令する。
【０２９５】
同図（ｄ）に示すように、撮像部７を媒体面に立てて、媒体面と撮像部７のなす角度を基準として、所定の角度（例：１５度以上）だけ、媒体面の下側に倒すことにより、処理命令部１０は現在実行しているオペレーションを終了して、予め設定する通常時（起動時）のオペレーションを開始することを情報処理部１１に命令する。
【０２９６】
なお、図５７はオペレーションの切り替えをする第一の方法の説明を補足する、真上から見た平面図である。
【０２９７】
＜オペレーションの切り替え動作−方法２＞
以下に、オペレーションの切り替えをする第二の方法を説明する。
【０２９８】
オペレーションの切り替えは撮像部７本体に設けたボタンなどの入力手段によって行うものとしてもよい。
【０２９９】
また、撮像部７以外にもマウス、キーボード等の外部入力手段によりオペレーションの切り替えを行うものとしてもよい。
【０３００】
＜オペレーションの切り替え動作−方法３＞
以下に、オペレーションの切り替えをする第三の方法を説明する。
【０３０１】
内部に複数のペン先を格納して切り替えることができる実施態様の撮像部７においては、ペン先の切り替え動作と連動してオペレーションを切り替えるものとしてもよい。
【０３０２】
この場合、オペレーション毎に色分けが可能となるため媒体上においても各オペレーションの見分けがつきやすくなる。
【０３０３】
また、ペン先に代えて消しゴムまたは修正液を装着する場合は、情報処理部１１においても書き込みではなく、文字または図形を消去するようにしてもよい。
【０３０４】
＜決定・取り消し＞
情報処理部１１が所定の処理を実行するか否かを決定するときにおいて、図５８（ａ）に示すように、撮像部７を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内（例：１秒以内）にもう一度媒体面をタッチしたとき、処理命令部１０は情報処理部１１に対して処理の実行を決定することを命令する。
【０３０５】
同図（ｂ）に示すように、撮像部７を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内（例：１秒以内）にタッチがされないとき、処理命令部１０は情報処理部１１に対して処理の実行を中止することを命令する。
【０３０６】
＜他の使用方法＞
以上の構成は媒体２に書き込み履歴を残すことを前提とするものであるが、本発明にかかる手書き入出力システム１は媒体２に書き込み履歴を残すことなく、ディスプレイ６を見ながら手書き入力を行ってもよいことは先にも述べたとおりである。
【０３０７】
＜音声認識＞
本発明は手書き入出力システムであるが、手書き入力を補助する方法として音声認識および音声ガイドをすることができるものとしてもよい。
【０３０８】
＜音声収録部＞
音声収録部２０は、図５９に示すように、中央処理装置（ＭＰＵ）４０を中心に構成されている。すなわち、中央処理装置（ＭＰＵ）４０の制御によって、マイク４１から入力された音声情報は、アンプ４２を介してＡ／Ｄコンバータ４３、圧縮回路４４によって処理され、デジタル音声情報として、記録される。
【０３０９】
＜音声認識部＞
音声認識部２１は、録音した音声情報を対応するテキスト情報に変換し、処理命令部１０は情報処理部１１に対して、テキスト情報に基づく処理命令をテキスト情報と共に送信する。
【０３１０】
ここで、音声認識に前後して、分類コードを定義したドットパターンを撮像しておくことにより、音声認識の精度を高めることが可能である。すなわち、データベースを検索してテキスト情報を出力する際に全てのテキスト情報を参照することなく、分類コードに対応した音声認識情報テーブル内のテキスト情報を参照することにより、音声認識の精度が高まる。
【０３１１】
たとえば、「上野」と発声した場合、それが地名の上野なのか人名の上野なのかを把握することは難しいが、「住所」を意味する分類コードが撮像された後に「上野」という発声が音声情報として入力された場合、住所入力のカテゴリコードとともに「上野」の音声情報が情報処理部１１に送信される。
【０３１２】
＜音声収録モードへの切り替え＞
本発明に係る手書き入出力システム１が、手書き入力に代えて音声収録を行う場合、所定の操作を行なうことにより音声収録モードへの切り替えを行う必要がある。以下に、音声収録モードへの切り替え方法を説明する。
【０３１３】
＜特定の記号をなぞる＞
音声収録モードへ切り替える第一の方法としては、撮像部７が音声収録モードへの切り替えを意味する特定の記号を書き込む（なぞる、描く）ことにより、音声収録モードへ切り替える方法がある。軌跡認識部９が音声収録モードへの切り替えを意味する特定の記号の軌跡を認識して、音声収録部２０に送信することにより（または処理命令部１０を介して送信することにより）、音声収録部２０は音声収録を開始する。
【０３１４】
＜ペンを跳ねる＞
音声収録モードへ切り替える第二の方法としては、図６０に示すように、撮像部７を媒体面の書き込み領域に触れた状態で跳ねる動作をすることにより、音声収録モードへ切り替える方法がある。
【０３１５】
＜音声認識による切り替え＞
音声収録モードへ切り替える第三の方法としては、音声収録部２０に所定の音声を収録し、音声認識部２１が所定の音声を認識することにより、音声収録モードへ切り替える方法がある。
【０３１６】
処理命令部１０は、上記各種の方法による操作が行われた場合、情報処理部１１に対して、手書き入出力用アプリケーションにおいて手書き入力に代えて、音声入力を行うことを命令する。
【０３１７】
＜音声出力部＞
音声出力部２２は処理命令部１０からの指示に応じて所定の音声ファイルを再生する。音声ファイルは予めデジタル化されて記憶されているものがＡ／Ｄコンバータ４２、アンプ４２を介してスピーカ４５またはイヤホン４６より出力される。
【０３１８】
＜音声ガイド＞
本発明にかかる手書き入出力システム１においては、コード情報を利用することにより、手書き入力を行うユーザに対して音声ガイドを行ってもよい。
【０３１９】
すなわち、書き込み領域に印刷されたドットパターンに、情報処理部１１に対して音声の再生を命令する音声ガイドコードが定義づけられていることにより、手書き入力を開始する（撮像部７がドットパターンを撮像する）と、音声ガイドコードに予め対応付けられて記憶された音声ファイルが音声出力部２２により再生される。
【０３２０】
ただし、音声ガイドコードおよび対応する音声ファイルは、音声ガイド以外に用いても当然よいものとする。
【０３２１】
＜グリッドシート＞
図６１〜図６３は、本発明にかかる手書き入出力システム１において、情報入力補助シートであるグリッドシートをディスプレイに装着して用いる実施例について示した説明図である。このグリッドシートは、透明なシート上にドットパターンが形成されたものであって、モニタ面上に重ねて貼り付けることでタッチパネルとしての機能を発揮するものである。
【０３２２】
特願２００７−２３０７７６号（ＰＣＴ／ＪＰ２００８／００２１８８）に開示されているグリッドシートを媒体２として用いることにより、媒体をディスプレイ６のモニタ面上に貼り付けてタッチパネルとすることができる。ただし、グリッドシート以外の手段を採用してもよい。
【０３２３】
また、グリッドシートを媒体２として用いる他に、グリッドシートを媒体２に重ねて用いてもよい。このような使用法は、第一に手書き入出力用ではない媒体に印刷（記載）された文書または画像を、本発明にかかる手書き入出力システム１を用いて編集したい場合、第二に撮像部７をモニタ面上に押し当てることにユーザが抵抗を感じる場合において、特に有効である。
【０３２４】
図６１〜図６２は、グリッドシートをディスプレイ６に装着して用いる実施例について示した説明図である。
【０３２５】
図６１は、情報処理装置である汎用的なコンピュータシステムに、グリッドシートを用いた図である。本実施例では、パソコン等の液晶ディスプレイ（ＬＣＤ）やＣＲＴ（ブラウン管）などのディスプレイ画面上に、グリッドシートを貼付する。グリッドシートは、透明フィルムで形成されており、ドットパターンが印刷されている。このドットパターンは、詳細は後述するが、ＸＹ座標値および／またはコード値を所定のアルゴリズムでパターン化したものである。コンピュータ本体には、ドットパターン読取手段であるスキャナが接続されている。ユーザは、透視した画面の指示に従って、スキャナでグリッドシートをタッチする。スキャナは、ドットパターンを読み込み、ＵＳＢケーブルを介してパーソナルコンピュータに送信し、パーソナルコンピュータの中央処理装置（ＣＰＵ）は、ドットパターンを解析しグリッドシート上のＸＹ座標値を求め、更にディスプレイ上のｘｙ座標値に変換し、座標値の情報からタッチパネル形式の入力が可能となる。
【０３２６】
これによれば、本シートによってタッチパネル形式の入力が可能となり、安価で利便性に優れたタッチパネルを提供することが可能となる。また、インターネットのサイトを閲覧しているときに、リンク情報が設定されていない情報であっても、関連情報を検索して参照することも可能となる。
【０３２７】
なお、図６１では情報処理装置としてパーソナルコンピュータを用いたが、本発明はこれに限らず、情報処理装置は、パーソナルコンピュータ、ＰＤＡ、テレビ受信装置、フロントおよびリアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、ＰＯＳ端末装置、ＡＴＭ、ＫＩＯＳＫ端末、カーナビ、パチンコ、時計、スマートフォン等であってもよい。これらにおいては、タッチパネル形式の入力デバイスとしてディスプレイまたはスクリーンの表示画面上にグリッドシートが配置される。
【０３２８】
図６２は、図６１で説明したグリッドシートの内部構造について示した断面図である。
【０３２９】
同図（ａ）は、スキャナで、グリッドシートをタッチしている状態を示した縦断面図である。
【０３３０】
同図に示すように、グリッドシートは、表示装置側から、赤外線反射層、ドットパターン層、保護用透明シート（保護層）が積層された構造となっている。
【０３３１】
赤外線反射層は、ビニール、エンビペット、ポリプロピレン等、可視光線を透過する材料で生成された蒸着用透明シートに、赤外線反射材料が蒸着された構成となっている。赤外線反射層は、スキャナの赤外線照射手段から照射し保護用透明シートを透過した赤外線を、スキャナに対して反射させるとともに、可視光を透過させる。それとともに、表示装置からの赤外線を遮断する。これにより、スキャナの赤外線照射手段から照射された赤外線光のみを照射光とすることができ、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。
【０３３２】
ドットパターン層には、カーボンインク等の赤外線吸収特性材料からなるドットを後述するような所定の規則に則って配列したドットパターンが印刷されている。
【０３３３】
保護用透明シートは、ビニール、エンビペット、ポリプロピレン等、可視光線および赤外線を透過する材料で生成されている。ドットパターンを繰り返しスキャナでタッチすると、ドットが磨耗し、正確にドットパターンを読み取れなくなるという問題が生じる。そこで、保護用透明シートを設けることにより、ドットの磨耗と汚れを防ぎ、シートを長期間使用することが可能となる。
【０３３４】
スキャナには、赤外線照射手段であるＩＲ−ＬＥＤと、その反射光の所定波長成分をカットするＩＲフィルター、および撮像素子であるＣ−ＭＯＳセンサ、およびレンズが内蔵されている。スキャナは、グリッドシートに照射した照射光の反射光を撮影する。上述したように、ドットパターンは赤外線を吸収する特性を有するインクで印刷されているため、Ｃ−ＭＯＳセンサでの撮像画像では、ドットの部分のみ黒く撮影されることとなる。
【０３３５】
この場合、赤外線反射層で鏡面反射された反射層は、同図に示すように、レンズに反射光が入射されず、同図（ｂ）に示すように、中央が真っ黒な状態で撮影されてしまう。そのため、ドットパターンを漏れなく撮影することができない。したがって、赤外線を拡散反射させてレンズに入射させる必要がある。すなわち、図６３（ａ）に示すように、ドットパターン印刷層と赤外線反射層との間に、赤外線拡散層を設ける。この赤外線拡散層は、透明または半透明の材質で形成されている。これによって、同図（ｂ）に示すようにＩＲ−ＬＥＤから照射された赤外線は、赤外線反射層で鏡面反射し、赤外線拡散層で拡散し、全ての撮影領域の反射光がレンズに入射する。図示しないが、赤外線反射機能と赤外線拡散機能を有する赤外線拡散反射層を同位置に設けてもよい。さらに、ドットパターン印刷層の赤外線入射側に配置しても同様な効果が得られる。その際、赤外線拡散層は保護用透明シートを兼ねてもよい。
【０３３６】
なお、同図においては、グリッドシートに赤外線拡散層を設けたが、本発明はこれに限らず、スキャナの撮影口に赤外線拡散材料によるフィルターを設けてもよい。
【０３３７】
＜書き込み領域の形状について＞
以上説明した限りでは、書き込み領域とはいずれも矩形であったが、本発明のようにコード情報を用いて書き込み領域を特定する場合、図６４に示すように書き込み領域の形状は、例えば多角形、円形、楕円形、ハート形、星形、あるいはイラストとドットパターンを重畳印刷する場合、当該イラストの実在線に沿った形状など、どのようなものであっても、同様の解析効率を発揮することができる。
【０３３８】
従来、座標情報のみを用いて書き込み領域を特定しようとすると、書き込み領域の境界を示す座標をテーブルないし関数で予め定義しておき、入力した座標値が当該テーブルないし関数の範疇に入るものであるか逐次判定しなければならかった。このため、解析が複雑化し、座標情報のみを用いて書き込み領域を特定する場合、使用メモリーや計算速度などの解析効率の低下を最小限に抑えるため書き込み領域は矩形である必要があった。なお、矩形の場合、矩形領域のXY座標値の最小値と最大値をテーブルに記憶しておき、入力した座標値がその範囲にあるかを判定する。従って、矩形であっても、コード情報による書き込み領域の特定に対して、使用メモリーが４倍以上、書き込み領域内であるかを判定するための余計な比較計算が４回必要となる。さらに、書き込み領域が複数ある場合、どの領域であるかの判定が必要となり膨大な使用メモリーと計算速度が必要であると予測される。本発明は、書き込み領域はどのような形状であってもコード情報が直接的に書き込み領域を特定するため、余計なメモリーの使用や計算を行うことなく書き込み領域を特定することができる。
【０３３９】
＜配置方向の組み合わせによる判別＞
自動的な操作判別を行なうもう一つの方法を説明する。
【０３４０】
ストリームドットのように、基準位置からの距離と方向とを持って情報ドットを配置することにより情報を定義する（第一の数値化情報）ドットパターンを用いる場合、情報ドットを＋方向線上（上下左右方向線上）に配置するか、×方向線上（斜め方向線上）に配置するかの、情報ドットの配置方向の組み合わせそのものに対して情報を定義する（第二の数値化情報）こともできるため、×方向線上に情報ドットが配置される場合を「０」、＋方向線上に情報ドットが配置される場合を「１」とした場合、図６５（ｂ）のドットパターンにおける第二の数値化情報は「１０１００１０１１０１００１０１」であり、図６６（ｂ）のドットパターンにおける第二の数値化情報は「００００００００１１１１１１１１」である。
【０３４１】
また、情報ドットの配置方向だけでなく、仮想基準点から情報ドットを配置する距離（配置距離）を２パターン以上とすることにより、情報ドットが仮想基準点に対してどの距離で配置されるかの組み合わせによっても第二の数値化情報を定義することができる。
【０３４２】
当然、情報ドットの配置方向と配置距離双方の組み合わせにより第二の数値化情報を定義してもよい。
【０３４３】
すなわち、第二の数値化情報とは、情報ドットの配置方向や配置距離といった、情報ドットの配置法則そのものにより定義される情報を意味する。
【０３４４】
発明者は、これまでコード情報と座標情報の両方を定義するドットパターンのフォーマットを提案してきたが、そのようなフォーマットのドットパターンは情報ドットの数を多くするためにドットパターンの分布面積を大きく設ける必要があり、それに伴ってペンスキャナの光学読み取りユニットもドットパターンを読み取るために大きな読み取り領域を備える必要があった。
【０３４５】
このため、読み取り精度、計算速度、計算要領の少ない光学読み取りユニットを備える玩具等ではコード情報と座標情報を両方定義するフォーマットを利用することは困難だったが、上記の方法によれば情報ドットの少ない、分布面積の小さいドットパターンであっても、多量の情報を定義することが可能となっている。
【産業上の利用可能性】
【０３４６】
本発明にかかる手書き入出力システムは、第一に、コンピュータの操作に用いるマウス、キーボード、タブレットといった既存の入力用デバイスの使用テクニックを習得していない者が、紙媒体に書き込むのと同様の感覚で使用することのできる、入力用デバイスとしての産業上の利用可能性を有する。さらに、主に子供を対象とした、おもちゃ、特に知育用おもちゃとしての産業上の利用可能性を有する。
【０３４７】
本発明にかかる手書き入出力システムは、第二に、座標情報と同時に読み取ったコード情報により書き込み領域であることを特定できるため、手書き入力される内容が所定のカテゴリーに属する場合、そのカテゴリーの辞書との照合により認識率は格段に向上する。
【０３４８】
本発明にかかる手書き入出力システムは、第三に、操作者が特別な操作をすることなく、ドットパターンを読み取るだけで書き込み領域であるか否かを判別し、誰もが使い慣れた筆記用具を使うように直感的に手書き入力を実現できる。
【符号の説明】
【０３４９】
１ 手書き入出力システム
２ 媒体
３ スキャナ
４ コンピュータ
５ サーバ
６ ディスプレイ
７ 撮像部
８ ドットパターン解析部
９ 軌跡認識部
１０ 処理命令部
１１ 情報処理部
１２ 撮像素子
１３ 照射部
１４ 光制御部
１５ 計時部
１６ 角度測定部
１７ 角度変化認識部
１８ 回転角読み取り部
１９ 回転角変化認識部
２０ 音声収録部
２１ 音声認識部
２２ 音声出力部
２３ 送信部
２４ 送信ボタン
２５ 再送信ボタン
２６ マイク
２７ 音声再生ボタン
２８ 指示用突起部
２９ ペン
３０ ペン格納ボタン
３１ ペン型スキャナ
３２ ライトガイド
３３ レンズ
３４ ＬＥＤ
３５ Ｃ−ＭＯＳセンサ
３６ ＰＣＢ
３７ ペン
３８ バンクガイド
３９ 点字
４０ 中央処理装置（ＭＰＵ）
４１ マイク
４２ アンプ
４３ Ａ／Ｄコンバータ
４４ 圧縮回路
４５ スピーカ
４６ イヤホン
１０１ 基準ドット
１０２ 第一の仮想基準線
１０３ 第二の仮想基準線
１０４ 仮想基準点
１０５ 情報ドット
【特許請求の範囲】
【請求項１】
少なくとも一部、または複数の任意の形状の領域に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および／または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび／または該第一の仮想基準線から所定の位置に定義される、直線および／または曲線からなる少なくとも１以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでＸＹ座標値または、ＸＹ座標値およびコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成された書き込み領域を備えた媒体からなる
ことを特徴とする手書き入力シート。
【請求項２】
前記ストリームドットは、
第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と１つのＸＹ座標値および／またはコード値を定義するために、さらに基準となる基準ドットを所定の位置に設けた
ことを特徴とする請求項１記載の手書き入力シート。
【請求項３】
請求項１または２記載の手書き入力シートを用いた手書き入出力システムであって、
前記書き込み領域に形成された前記ストリームドットパターンを撮像して、送信する撮像手段と、
該撮像手段により撮像・送信された該ストリームドットパターンの画像データを記憶素子に記憶して、該画像データをコード解析することにより、座標情報および、座標情報およびコード情報からなる軌跡情報を求めるドットパターン解析手段と、
該軌跡情報を情報処理手段に対し送信する処理命令手段と
を備えた手書き入出力システム。
【請求項４】
前記手書き入出力システムは、
さらに、解析された前記座標情報の変化に基づき、前記書き込み領域面においてトレースされた、文字および／または図形の前記軌跡情報を認識する軌跡認識手段と、
認識された認識情報に基づいた処理命令を情報処理手段に対し送信する処理命令手段と
を備えた請求項３記載の手書き入出力システム。
【請求項５】
前記媒体は、
前記コード値の少なくとも一部に、該媒体を特定する情報が定義されているか、
および／または、前記コード値の少なくとも一部に、前記書き込み領域を特定する特定情報が定義されているか、
および／または、前記コード値の少なくとも一部に、書き込み処理を意味する操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）が定義されているか、
および／または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンの前記コード値の少なくとも一部に、所定の媒体面および／または前記書き込み領域面を特定する特定情報および／または前記操作指示を定義し、それを意味するアイコンが重畳して印刷されているか、
および／または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンに、関連するテキスト、グラフィック、写真を重畳して印刷されているか、
および／または、前記書き込み領域内および/または領域周辺に点字をさらに備えているか、
および／または、前記書き込み領域に書き込む際に、前記ドットパターンを撮像する撮像手段がはみ出さないように該書き込み領域の外周に沿って幅狭の凸部のガイドをさらに備えているか、
および／または、貼付可能なシール、付箋紙、その他の媒体であるか、
および／または、書き込み領域が表示されたモニタ面上または印刷された媒体上に重ねて用いる、前記ストリームドットパターンが形成された透明な情報入力補助シートである
ことを特徴とする請求項１に記載の手書き入力シートまたは請求項３に記載の手書き入出力システム。
【請求項６】
前記媒体は、
前記書き込み領域を設けた該媒体を第１の媒体として、該第１の媒体面および／または前記書き込み領域面を特定するためのコード情報を繰り返し定義したドットパターンを形成した第２の媒体をさらに備え、
該第２の媒体に形成したコード情報を、前記撮像手段で読み取ることにより、前記第１の媒体面上の印刷情報および／または前記書き込み領域面に描かれた前記軌跡情報、および/または該軌跡情報に関連した情報を出力する
ことを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項７】
前記撮像手段は、
指示用突起部および／または少なくとも一つのペン先をさらに備え、
前記書き込み領域面に、該指示用突起部および／または少なくとも一つのペン先でなぞった文字および／または図形をトレースする際、該指示用突起部近傍の軌跡上の前記ドットパターンを撮像し、
該指示用突起部および少なくとも一つのペン先を備える場合は、
該指示用突起部内に該ペン先を格納する格納スペースと、
該ペン先の格納／取出しを制御するボタンと、をさらに備えた該指示用突起部である
ことを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項８】
前記撮像手段は、
前記指示用突起部に前記書き込み領域面に描かれた文字および／または図形を消去する消去手段をさらに備え、
該書き込み領域面に、該消去手段でなぞった領域を消去すると同時に、該消去手段近傍の軌跡上のドットパターンを撮像し、
前記処理命令手段は、
該文字および／または図形の前記軌跡情報を消去する処理命令と、前記軌跡情報と、を情報処理手段に対し送信する
ことを特徴とする請求項７に記載の手書き入出力システム。
【請求項９】
前記軌跡情報は、前記撮像手段の撮像中心の座標情報、または該撮像手段付近に備えられ
た前記指示用突起部または前記ペン先が前記書き込み領域面に触れる位置の座標情報と前記コード情報からなり、
前記ドットパターン解析手段により、前記ドットパターンに定義された座標情報を基に補間計算して求められる
ことを特徴とする請求項７に記載の手書き入出力システム。
【請求項１０】
前記軌跡認識手段は、
計時手段をさらに備え、
該計時手段は、前記撮像手段が前記書き込み領域面に触れた時間および離れた時間を計時し、
該撮像手段が該書き込み領域面に触れて描かれた軌跡の順番と触れている時間を記録し、前記情報処理手段に送信することを特徴とする請求項４に記載の手書き入出力システム。
【請求項１１】
前記処理命令手段は、
前記コード情報および／または前記認識情報に基づき、前記書き込み領域を特定する特定情報および／または操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）を一意に入力可能であることを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項１２】
前記軌跡認識手段は、
さらに前記コード情報に基づき、
前記書き込み領域に書き込む内容に関する、
予め分類された文字および／または図形情報パターンを参照し、
前記軌跡情報を高精度で認識する
ことを特徴とする請求項４に記載の手書き入出力システム。
【請求項１３】
前記軌跡認識手段は、さらに解析された前記座標情報の変化に基づき、該文字および／または該図形、もしくは、１または複数の該文字からなる語句、の意味情報を、前記コード情報に対応する予め定義された意味情報コードテーブル（辞書）を参照し、意味情報コードに変換し、
前記処理命令手段は、
該意味情報コードと、該意味情報に基づいた前記処理命令と、を前記情報処理手段に対し送信する
ことを特徴とする請求項４に記載の手書き入出力システム。
【請求項１４】
前記処理命令手段は、
前記軌跡認識手段による前記軌跡情報の認識結果を、
文書および／または図形として入力させる第一のオペレーションか、
またはコメントとして入力させる第二のオペレーションか、
または文書および／または図形、および／またはコメントを編集する編集記号とし、
該編集記号に基づいて文書および／または図形、および／またはコメントを編集させる第三のオペレーションとして、
前記情報処理手段に命令する
ことを特徴とする請求項５に記載の手書き入出力システム。
【請求項１５】
少なくとも前記媒体面に接触した前記撮像手段の撮像光軸が、該媒体面の鉛直線に対して倒されることにより成される傾きおよび倒される方向を測定する角度測定手段と、
該撮像手段が該媒体面に接触した際に測定された、該傾きおよび該方向を基準として、
該撮像手段を倒す動作、すなわちグリッドティルト動作による、該傾きおよび／または該方向の、所定の変化を解析する角度変化認識手段と
をさらに備え、
前記処理命令手段は、
該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信する
ことを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項１６】
前記媒体は、前記書き込み領域の方向に対して、所定の角度で配置された前記ドットパターンが該書き込み領域に形成され、
前記角度測定手段および前記角度変化認識手段は、前記撮像手段が該書き込み領域面に接触した際に読み取られた該ドットパターンの方向を基に、該書き込み領域の方向に対して、倒される方向および／または前記傾きの、所定の変化を解析する
ことを特徴とする請求項１５に記載の手書き入出力システム。
【請求項１７】
前記手書き入出力システムは、
前記書き込み領域面に対して、前記撮像手段の撮像光軸を概ね鉛直状に立て、該書き込み領域面に接触した際に読み取られた前記ドットパターンの方向と、該撮像手段のアングルとで成される回転角を読み取る回転角読み取り手段と、
該撮像手段が該媒体面に接触した際に測定された該回転角を基準として、
該撮像手段を回転する動作、すなわちグリッドターン動作による、該撮像光軸が所定の回転方向に回転されることにより、該回転角の所定の変化を解析する回転角変化認識手段と、をさらに備え、
前記処理命令手段は、
該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信する
ことを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項１８】
前記手書き入出力システムは、
さらに、前記撮像手段で前記書き込み領域を撮像して前記ドットパターン解析手段により座標情報およびコード情報を求めた後に、所定の操作により該撮像手段で該書き込み領域に文字をなぞるか、または描く代わりに音声を収録する音声収録手段と、
前記コード情報に対応する予め定義された音声認識情報テーブル（辞書）を参照し、収録された音声を認識し文字情報に変換し情報処理手段に対し送信する音声認識手段と、をさらに備えた
ことを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項１】
少なくとも一部、または複数の任意の形状の領域に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および／または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび／または該第一の仮想基準線から所定の位置に定義される、直線および／または曲線からなる少なくとも１以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでＸＹ座標値または、ＸＹ座標値およびコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成された書き込み領域を備えた媒体からなる
ことを特徴とする手書き入力シート。
【請求項２】
前記ストリームドットは、
第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と１つのＸＹ座標値および／またはコード値を定義するために、さらに基準となる基準ドットを所定の位置に設けた
ことを特徴とする請求項１記載の手書き入力シート。
【請求項３】
請求項１または２記載の手書き入力シートを用いた手書き入出力システムであって、
前記書き込み領域に形成された前記ストリームドットパターンを撮像して、送信する撮像手段と、
該撮像手段により撮像・送信された該ストリームドットパターンの画像データを記憶素子に記憶して、該画像データをコード解析することにより、座標情報および、座標情報およびコード情報からなる軌跡情報を求めるドットパターン解析手段と、
該軌跡情報を情報処理手段に対し送信する処理命令手段と
を備えた手書き入出力システム。
【請求項４】
前記手書き入出力システムは、
さらに、解析された前記座標情報の変化に基づき、前記書き込み領域面においてトレースされた、文字および／または図形の前記軌跡情報を認識する軌跡認識手段と、
認識された認識情報に基づいた処理命令を情報処理手段に対し送信する処理命令手段と
を備えた請求項３記載の手書き入出力システム。
【請求項５】
前記媒体は、
前記コード値の少なくとも一部に、該媒体を特定する情報が定義されているか、
および／または、前記コード値の少なくとも一部に、前記書き込み領域を特定する特定情報が定義されているか、
および／または、前記コード値の少なくとも一部に、書き込み処理を意味する操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）が定義されているか、
および／または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンの前記コード値の少なくとも一部に、所定の媒体面および／または前記書き込み領域面を特定する特定情報および／または前記操作指示を定義し、それを意味するアイコンが重畳して印刷されているか、
および／または、前記書き込み領域内および/または領域周辺に形成された前記ストリームドットパターンに、関連するテキスト、グラフィック、写真を重畳して印刷されているか、
および／または、前記書き込み領域内および/または領域周辺に点字をさらに備えているか、
および／または、前記書き込み領域に書き込む際に、前記ドットパターンを撮像する撮像手段がはみ出さないように該書き込み領域の外周に沿って幅狭の凸部のガイドをさらに備えているか、
および／または、貼付可能なシール、付箋紙、その他の媒体であるか、
および／または、書き込み領域が表示されたモニタ面上または印刷された媒体上に重ねて用いる、前記ストリームドットパターンが形成された透明な情報入力補助シートである
ことを特徴とする請求項１に記載の手書き入力シートまたは請求項３に記載の手書き入出力システム。
【請求項６】
前記媒体は、
前記書き込み領域を設けた該媒体を第１の媒体として、該第１の媒体面および／または前記書き込み領域面を特定するためのコード情報を繰り返し定義したドットパターンを形成した第２の媒体をさらに備え、
該第２の媒体に形成したコード情報を、前記撮像手段で読み取ることにより、前記第１の媒体面上の印刷情報および／または前記書き込み領域面に描かれた前記軌跡情報、および/または該軌跡情報に関連した情報を出力する
ことを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項７】
前記撮像手段は、
指示用突起部および／または少なくとも一つのペン先をさらに備え、
前記書き込み領域面に、該指示用突起部および／または少なくとも一つのペン先でなぞった文字および／または図形をトレースする際、該指示用突起部近傍の軌跡上の前記ドットパターンを撮像し、
該指示用突起部および少なくとも一つのペン先を備える場合は、
該指示用突起部内に該ペン先を格納する格納スペースと、
該ペン先の格納／取出しを制御するボタンと、をさらに備えた該指示用突起部である
ことを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項８】
前記撮像手段は、
前記指示用突起部に前記書き込み領域面に描かれた文字および／または図形を消去する消去手段をさらに備え、
該書き込み領域面に、該消去手段でなぞった領域を消去すると同時に、該消去手段近傍の軌跡上のドットパターンを撮像し、
前記処理命令手段は、
該文字および／または図形の前記軌跡情報を消去する処理命令と、前記軌跡情報と、を情報処理手段に対し送信する
ことを特徴とする請求項７に記載の手書き入出力システム。
【請求項９】
前記軌跡情報は、前記撮像手段の撮像中心の座標情報、または該撮像手段付近に備えられ
た前記指示用突起部または前記ペン先が前記書き込み領域面に触れる位置の座標情報と前記コード情報からなり、
前記ドットパターン解析手段により、前記ドットパターンに定義された座標情報を基に補間計算して求められる
ことを特徴とする請求項７に記載の手書き入出力システム。
【請求項１０】
前記軌跡認識手段は、
計時手段をさらに備え、
該計時手段は、前記撮像手段が前記書き込み領域面に触れた時間および離れた時間を計時し、
該撮像手段が該書き込み領域面に触れて描かれた軌跡の順番と触れている時間を記録し、前記情報処理手段に送信することを特徴とする請求項４に記載の手書き入出力システム。
【請求項１１】
前記処理命令手段は、
前記コード情報および／または前記認識情報に基づき、前記書き込み領域を特定する特定情報および／または操作指示（プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等）を一意に入力可能であることを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項１２】
前記軌跡認識手段は、
さらに前記コード情報に基づき、
前記書き込み領域に書き込む内容に関する、
予め分類された文字および／または図形情報パターンを参照し、
前記軌跡情報を高精度で認識する
ことを特徴とする請求項４に記載の手書き入出力システム。
【請求項１３】
前記軌跡認識手段は、さらに解析された前記座標情報の変化に基づき、該文字および／または該図形、もしくは、１または複数の該文字からなる語句、の意味情報を、前記コード情報に対応する予め定義された意味情報コードテーブル（辞書）を参照し、意味情報コードに変換し、
前記処理命令手段は、
該意味情報コードと、該意味情報に基づいた前記処理命令と、を前記情報処理手段に対し送信する
ことを特徴とする請求項４に記載の手書き入出力システム。
【請求項１４】
前記処理命令手段は、
前記軌跡認識手段による前記軌跡情報の認識結果を、
文書および／または図形として入力させる第一のオペレーションか、
またはコメントとして入力させる第二のオペレーションか、
または文書および／または図形、および／またはコメントを編集する編集記号とし、
該編集記号に基づいて文書および／または図形、および／またはコメントを編集させる第三のオペレーションとして、
前記情報処理手段に命令する
ことを特徴とする請求項５に記載の手書き入出力システム。
【請求項１５】
少なくとも前記媒体面に接触した前記撮像手段の撮像光軸が、該媒体面の鉛直線に対して倒されることにより成される傾きおよび倒される方向を測定する角度測定手段と、
該撮像手段が該媒体面に接触した際に測定された、該傾きおよび該方向を基準として、
該撮像手段を倒す動作、すなわちグリッドティルト動作による、該傾きおよび／または該方向の、所定の変化を解析する角度変化認識手段と
をさらに備え、
前記処理命令手段は、
該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信する
ことを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項１６】
前記媒体は、前記書き込み領域の方向に対して、所定の角度で配置された前記ドットパターンが該書き込み領域に形成され、
前記角度測定手段および前記角度変化認識手段は、前記撮像手段が該書き込み領域面に接触した際に読み取られた該ドットパターンの方向を基に、該書き込み領域の方向に対して、倒される方向および／または前記傾きの、所定の変化を解析する
ことを特徴とする請求項１５に記載の手書き入出力システム。
【請求項１７】
前記手書き入出力システムは、
前記書き込み領域面に対して、前記撮像手段の撮像光軸を概ね鉛直状に立て、該書き込み領域面に接触した際に読み取られた前記ドットパターンの方向と、該撮像手段のアングルとで成される回転角を読み取る回転角読み取り手段と、
該撮像手段が該媒体面に接触した際に測定された該回転角を基準として、
該撮像手段を回転する動作、すなわちグリッドターン動作による、該撮像光軸が所定の回転方向に回転されることにより、該回転角の所定の変化を解析する回転角変化認識手段と、をさらに備え、
前記処理命令手段は、
該解析の結果に基づき、予め定められた処理命令を前記情報処理手段に対し送信する
ことを特徴とする請求項３または４に記載の手書き入出力システム。
【請求項１８】
前記手書き入出力システムは、
さらに、前記撮像手段で前記書き込み領域を撮像して前記ドットパターン解析手段により座標情報およびコード情報を求めた後に、所定の操作により該撮像手段で該書き込み領域に文字をなぞるか、または描く代わりに音声を収録する音声収録手段と、
前記コード情報に対応する予め定義された音声認識情報テーブル（辞書）を参照し、収録された音声を認識し文字情報に変換し情報処理手段に対し送信する音声認識手段と、をさらに備えた
ことを特徴とする請求項３または４に記載の手書き入出力システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【公開番号】特開２０１２−２２４１８（Ｐ２０１２−２２４１８Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１５８３４４（Ｐ２０１０−１５８３４４）
【出願日】平成２２年７月１２日（２０１０．７．１２）
【出願人】（５０３３４９７４１）
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１２日（２０１０．７．１２）
【出願人】（５０３３４９７４１）
【Ｆターム（参考）】
[ Back to top ]