【課題】 定型または非定型の紙文書に対して所定の処理を実行させるための文書処理システムが得られる。また、紙文書に印刷されたドットの位置をより正確に検出する文書処理システムを提供する。
【解決手段】 紙文書を識別するための紙ＩＤをエンコードした符号化紙ＩＤを含む符号化情報が印刷された領域を複数有し、符号化情報には領域の紙文書における位置を示す座標情報をエンコードした符号化座標情報が含まれた紙文書に対して処理を行う文書処理システムであって、符号化紙ＩＤと符号化座標情報と矩形である領域の枠とをドットを用いて紙文書に印刷する印刷手段と、ドットのぼけの程度を検出するぼけドット検出手段と、ぼけドット検出手段が検出した４隅のドットのぼけの程度のうち、ぼけの程度が最も大きいドットであるぼけドットの近傍のドットで、ぼけの程度が小さいドットの座標と、ぼけドット除くコーナー検出手段で検出されたドットとの座標から、紙文書での筆記位置を検出するためのパラメータを検出するパラメータ検出手段とを有する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙文書に対して処理を行う文書処理システムに関する。
【背景技術】
【０００２】
業務の電子化が進展しており、電子文書の流通が増大している一方、ＣＲＴ、ＬＣＤなどのディスプレイの文書表示品質はいまだ紙への印刷品質に劣る点も多いために、電子文書を紙文書として紙に印刷する機会が増大している。
【０００３】
そのため、例えば特許文献１には、文書作成・編集にあたり、複数の著者、編集者が電子文書の印刷された形態である紙文書から、オリジナルの電子文書に容易にアクセスし、その電子文書を編集することのできる文書処理装置が開示されている。また、特許文献１には、紙文書からオリジナルの電子文書を得て電子文書と紙文書との間で情報を相互にやりとりすることが開示されている。
【０００４】
特許文献２では、電子文書と、それを印刷した紙文書との間で関連付けを行い、紙文書の元となる電子文書を同定する手段を提供し、同定された電子文書に対し加筆を挿入することが可能になり、紙文書に加えられた加筆作業を電子文書に反映させ、相互の文書の差異をなくすことのできる装置、方法が開示されている。
特許文献３では、文書ＩＤ等の識別子を付与し、フォーム（紙）を作成する手段が、「バーコード変換手段」および「第一の印刷手段」で開示されている。紙文書上の識別子と電子文書との関連は、「管理テーブル」で開示されている。紙ＩＤ、筆記情報を取得する手段は「印刷シート」の説明により示されている。更に、ストローク系の入力手段も「光学的な読取装置」で説明されている。紙ＩＤを画像から取得する手段は、「バーコード解読手段」で示され、バーコード等の識別子は、「バーコード」として示されている。加筆された原稿を記録した画像からレイアウトを解釈し、各領域に応じた処理を行う処理手段は、「加筆読取処理手段」で説明されている。
【０００５】
特許文献４では、文書ＩＤ等の識別子を付与しフォーム（紙）を作成する手段が開示され、詳細に説明されている。また、紙文書上の識別子と電子文書との関連については、１５図の“文書ＩＤよりフォーマットファイルデータベースを検索”に示され、段落「0056」「0057」で詳細に説明されている。紙ＩＤ、筆記情報を取得する手段については、スキャナ、ペンタイプ、パッドタイプが図２６、図２、図１７に示され、紙ＩＤの取得に関しても開示され、ストローク系の入力手段もこれらの図により説明されている。
【０００６】
更に、紙ＩＤを画像から取得する手段も図１９のコードリーダ１５で説明されている。バーコード等の識別子についても段落「0034」〜「0036」で示されている。加筆された原稿を記録した画像からレイアウトを解釈し、各領域に応じた処理を行う処理手段は、第１５図の“フォーマット情報に従い、筆記座標をクラスタリングする”、“クラスタ化した座標群をフォーマット情報の処理記述にしたがって処理する（ＯＣＲ, Image処理等）”、“ＯＣＲ処理されたデータは看護記録データベースへ登録”、“Image処理されたデータベースは座標データ系列として.shc, .tkiファイルに保存”の一連の処理にて明示されている。紙ＩＤ、文書ＩＤや処理情報を取得する手段は、段落「0077」「0078」で説明されている。
【０００７】
特許文献５は、動作識別情報や対象識別情報を含むバーコードを利用し、該バーコードを光学的読み取り装置付き通信機にて読み取りを実施し、バーコードの情報に対応した顧客サービス技術に関するものである。
【０００８】
特許文献６は、商品の選択や処理方法の選択を指示するためのチェックボックスと、文字記入領域と、印刷物ＩＤ及びチェックボックスの配置及び文字記入領域の位置情報を符号化したバーコードによる顧客サービス技術に関するものである。ユーザが馴染みやすい印刷物とコピーＦＡＸ複合機を利用することで、ユーザの希望するサービスを提供することが開示されている。
【０００９】
特許文献７は、顧客サービス技術に関するものであり、その内容は、通信先情報と用紙上の座標を示す座標情報と用紙の種別の情報を含むコードを付加した用紙を顧客に配布し、顧客は手に持って筆記動作を行うことができるというものである。特許文献７に開示された情報入力装置は、コードを読み取り、そのコードに含まれる通信先情報に含まれる通信先に発信する通信機能付きである。この情報入力装置は、読み取った情報をサーバに送信し、サーバはコードに含まれる座標情報やメディア識別情報を受信し、受信した情報に対応した所定の処理を実施する。
【００１０】
上記特許文献６において、顧客は筆記作業によって加筆を加えた印刷物をコピーＦＡＸ複合機で読み取る作業を必要としたが、特許文献７では、筆記具等の情報入力装置で各種情報を含むコードを読み取り且つ発信する機能を持たせたことを特徴としている。
【００１１】
特許文献８は、複数の電子文書を記憶したデータベースを、文書情報を記録した文書情報部および文書情報の内容に相当する電子情報をバーコード情報に変換し記録したバーコード情報部を有する媒体用紙と、媒体用紙上から所望の単語を選択して選択マークを付与するためのマーキング手段により、選択マークおよびバーコード情報に基づいてデータベースから文書ファイルを検索および出力する文書情報管理システムに関するものである。
【特許文献１】特許第３２１９２５１号公報
【特許文献２】特開平１０−６３８２０号公報
【特許文献３】特開２００２−２２２０７５号公報
【特許文献４】特開２００２−３１２４７８号公報
【特許文献５】特開２００２−２８１１７９号公報
【特許文献６】特開２００２−１８３５２０号公報
【特許文献７】特開２００２−２１５７６８号公報
【特許文献８】特開平１１−９６１６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献１では、内容の編集はあくまで紙文書上で行われるため、紙文書で渡された文書から、コンピュータを用いて電子文書を呼び出して、電子文書上で文書内容の校正・編集を行わなければならない。通常のオフィスで作業をするならこの形態でも特に問題はないが、外出先、交通機関での移動中等の空いた時間に文書内容の校正・編集を行おうとした場合、電子上で文書を効率的に編集するため道具が手にはいらないことが多い。つまり、外出先ではノートＰＣ等では大きくて重い等の可搬性の悪さやバッテリの持続時間の問題など、実用的な作業をすることが難しいし、小型ＰＤＡでも表示装置の小ささ、入力デバイスの貧弱さなど同様である。
【００１３】
また、特許文献２は、紙文書に加えられた加筆情報を単純に電子文書に挿入するものである。このように、加筆画像を電子文書に挿入するだけでは、紙文書と電子文書との差異をなくし同一の外観を持つ電子文書を作成するだけであり、特許文献２における電子文書は単純な紙文書の置き換えにしか過ぎない。そのため、特許文献２によって作成された電子文書は単にその内容を読み取る業務に利用することしか実用的ではない。
また、例えば作成されたアンケートへの回答の記入した内容の外観を読めるだけでは、従来の紙文書と同様に、あらためて人間が集計する必要があるが、その作業は煩雑であり、自動的に集計する手段が求められている。そうした加筆情報の自動的な処理として、集計に限らず、さまざまな処理・活用が求められているが、特許文献２では実現不可能である。
また、特許文献３は、元の電子文書と加筆情報の対応付けに関する処理、処理ＩＤ等の処理情報を登録する際の処理やフォームそのものを編集する処理、更には、紙ＩＤ、文書ＩＤや処理情報を取得する手段に関しての構成を有するものではない。
【００１４】
また、特許文献４では元の電子文書と加筆情報の対応付けに関する処理は言及されておらず、患者情報との対応付けが行われていれば良いと記述されており、元の電子文書と加筆情報の対応付けに関する処理を必要とするものではない。また、処理ＩＤ等の処理情報を登録する際の処理やフォームそのものを編集する処理を含むものではない。
【００１５】
特許文献５では、あらかじめ用意されたバーコードの情報に対応するサービスのみ処理を実施するものであり、ユーザ選択の範囲が限定されてしまっている。
【００１６】
特許文献６は、あらかじめ設定した定型的な処理にのみ限定した発明であり、非定型処理については対応していない。
【００１７】
特許文献７もあらかじめ設定した定型的な処理にのみ限定した発明であり、非定型処理については対応していない。
【００１８】
特許文献８は、ハイパーテキスト化されていない紙文書からでもデジタルの世界に直接アクセスできるようにした発明であるが、この発明においても、あらかじめ設定した定型的な処理にのみ限定した発明であり、それ以外の処理については対応していない。また、特許文献８はデータベースの文書ファイル検索にのみ特化した特許であり、他の応用した処理には対応していない。
【００１９】
また、紙文書の識別や、筆記位置を検出するために、紙文書に予め座標や紙文書を識別するものを表す小さなドットが印刷され、その紙文書をペン型の装置を用いて処理を行う文書処理システムがある。この場合、ドットの中心位置をより正確に検出することが重要である。
【００２０】
本発明は、このような問題点に鑑み、定型または非定型の紙文書に対して所定の処理を実行させる文書処理システムを提供することを目的とする。
【００２１】
また、紙文書に印刷されたドットの位置をより正確に検出する文書処理システムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
上記課題を解決するために、本発明は、紙文書を識別するための紙ＩＤをエンコードした符号化紙ＩＤを含む符号化情報が印刷された領域を複数有し、前記符号化情報には前記領域の前記紙文書における位置を示す座標情報をエンコードした符号化座標情報が含まれた紙文書に対して処理を行う文書処理システムであって、前記符号化紙ＩＤと前記符号化座標情報とを作成するエンコード手段と、前記紙文書に対応する電子文書に対して割り当てられる文書ＩＤと前記紙ＩＤとを関連付ける文書紙ＩＤ関連手段と、前記紙ＩＤを取得し、前記エンコード手段により作成された前記符号化紙ＩＤと前記符号化座標情報と矩形である前記領域の枠とをドットを用いて前記紙文書に印刷する印刷手段と、前記紙ＩＤを管理する紙ＩＤ管理手段と、前記紙文書を撮像することで、前記紙文書の画像を入力する画像入力手段と、前記画像入力手段により入力された入力画像における前記領域の４隅のドットを検出するコード枠検出手段と、前記コード枠検出手段により検出された枠に基づき前記符号化された情報を取得する符号化情報取得手段と、前記画像符号化情報取得手段で取得された前記符号化紙ＩＤと前記符号化座標情報をデコードするデコード手段と、前記デコード手段でデコードされた前記符号化座標情報から筆記位置を検出する筆記位置検出手段と、前記情報取得手段により取得された筆記情報に対して行われる処理を示す処理ＩＤと前記紙ＩＤとを関連付ける処理紙ＩＤ関連手段とを有し、前記筆記位置検出手段は、前記ドットのぼけの程度を検出するぼけドット検出手段と、前記ぼけドット検出手段が検出した前記４隅のドットのぼけの程度のうち、ぼけの程度が最も大きいドットであるぼけドットの近傍のドットで、ぼけの程度が小さいドットの座標と、前記ぼけドット除く前記コーナー検出手段で検出されたドットとの座標から、前記紙文書での筆記位置を検出するためのパラメータを検出するパラメータ検出手段と、前記パラメータを用いて前記紙文書における筆記位置の座標を検出する座標系変換手段とを有することを特徴とする。
【００２３】
また、上記課題を解決するために、本発明は、前記紙ＩＤから前記文書ＩＤ及び処理ＩＤに変換する紙文書処理ＩＤ変換手段と、前記処理ＩＤを管理する処理ＩＤ管理手段とをさらに有し、前記処理ＩＤ管理手段は、前記筆記情報に対して行われる処理を実行する処理プログラムと、前記処理ＩＤとを関連付けたプログラム処理ＩＤ関連付け情報を管理することを特徴とする。
【００２４】
また、上記課題を解決するために、本発明は、前記情報取得手段により取得された筆記情報を、前記フォームのレイアウト情報及び処理ＩＤに基づき、データに分解し、保存する筆記情報分解保存手段をさらに有することを特徴とする。
【００２５】
また、上記課題を解決するために、本発明は、前記コーナー枠検出手段は、前記ドットの中心の座標を検出することを特徴とする。
【００２６】
また、上記課題を解決するために、本発明は、前記紙文書に光を照射する照明手段をさらに有し、前記画像入力手段は、前記照明手段により照射された前記紙文書を撮像することを特徴とする。
【００２７】
また、上記課題を解決するために、本発明は、筆記状態であるか否かを検出する筆記状態検出手段をさらに有し、前記照明手段と、前記画像入力手段と、前記デコード手段は、前記筆記状態検出手段が筆記中であると検出している場合に動作することを特徴とする。
【００２８】
また、上記課題を解決するために、本発明は、前記印刷手段は、前記符号化紙ＩＤにのみ赤外領域を吸収する色材を使用して印刷することを特徴とする。
【発明の効果】
【００２９】
以上説明したように、本発明によれば、定型または非定型の紙文書に対して所定の処理を実行させるための文書処理システムが得られる。また、紙文書に印刷されたドットの位置をより正確に検出する文書処理システムが得られる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施例を、図面に基づいて説明する。
【実施例】
【００３１】
まず最初に本実施例の概要について説明し、その後、全体構成図の説明をする。
【００３２】
本実施例における文書処理システムは、紙の世界と電子の世界を結びつけるものである。例えばＷｅｂ画面上でフォーム開き、それにキーボードで入力し、最後にSubmitボタンを押すことにより、入力データがサーバ上に送られて、その後の処理（例えばショッピング等）が行われているシステムがある。
【００３３】
これと同様に、文書処理システムは、紙文書のフォームにペンで筆記することにより、ペンで筆記された筆記情報がサーバに送られて、全く同じようにその後の処理が行われるシステムを実現するためのものである。すなわち、文書処理システムは、電子の世界では画面とキーボードで行っていた作業を、紙文書とペンとで作業を行うことにより等価的に実現するものである。
【００３４】
このような処理を行う文書処理システムの全体構成図を、図１を用いて説明する。図１には、帳票作成用ＰＣ１０１と、印刷装置１０２と、帳票処理用ＰＣ１０３と、スキャナ１０５と、デジタルＰＡＤ（以下、Ｄ−ＰＡＤと記す）１０４と、画像取得装置５００と、データサーバ１０６と、ネットワーク１０７とが示されている。
【００３５】
帳票作成用ＰＣ１０１は、筆記される紙文書のフォームを作成するものである。印刷装置１０２は、紙文書である帳票を印刷するものである。帳票処理用ＰＣ１０３は、筆記された紙文書から、帳票のフォームに従って、筆記されたデータに関する処理を行うものである。スキャナ１０５は、筆記された帳票を読み込むものである。Ｄ−ＰＡＤ１０４は、連続的に手書き座標を取得するものであり、結果的に帳票に筆記された筆記情報を取得する。データサーバ１０６は、帳票処理用のデータベースである。画像取得装置５００は、エリアＣＣＤを撮像デバイスとして用いて画像を取得する。
【００３６】
以下の説明において、スキャナ１０５で読み込んだ帳票すなわちスキャンイメージと、Ｄ−Ｐａｄ１０４で取得した手書き座標すなわちストロークデータを総称したものを筆記情報と表現する。
【００３７】
また、以下の説明において帳票作成用ＰＣ１０１と印刷装置１０２をまとめて帳票作成装置１０８、帳票処理用ＰＣ１０３とスキャナ１０５とＤ−ＰＡＤ１０４と画像取得装置５００をまとめて帳票処理装置１０９、データサーバ１０６を記憶装置１００と表現することがある。
【００３８】
次に、図１に示される各ＰＣのハードウェア構成を、図２を用いて説明する。図２に示されるハードウェア構成は、それぞれバスＢで相互に接続されている入力装置３１と、表示装置３２と、ドライブ装置３３と、記録媒体３４と、補助記憶装置３５と、メモリ装置３６と、演算処理装置３７と、インタフェース装置３８とを含むように構成される。
【００３９】
入力装置３１は、ＰＣのユーザが操作するキーボード及びマウスなどで構成され、ＰＣに各種操作信号を入力するために用いられる。表示装置３２は、ＰＣを操作するのに必要な各種ウィンドウやデータ等を表示する。インタフェース装置３８は、ＰＣをネットワークに接続する為のインタフェースであり、例えばＮＩＣ（Network Interface Card）やモデム等で構成される。
【００４０】
そして、ＰＣを動作させるためのプログラムは、ＣＤ−ＲＯＭ等の記録媒体３４によって提供されるか、ネットワークを通じてダウンロードされる。また、記録媒体３４は、ドライブ装置３３にセットされ、データやプログラムが記録媒体３４からドライブ装置３３を介して補助記憶装置３５にインストールされる。
【００４１】
ストレージである補助記憶装置３５は、データやプログラムを格納すると共に、必要なファイル等を格納する。メモリ装置３６は、ＰＣの起動時に補助記憶装置３５からプログラムを読み出して格納する。演算処理装置３７は、メモリ装置３６に読み出され格納されたプログラムに従って処理を実行する。
【００４２】
以上説明した図１に示される全体構成は一例であって、文書処理システムは、図３で説明する要素が含まれると良いので、他の構成もあり得る。
【００４３】
図３は、文書処理システムを構成する要素Ａ〜Ｋとそれらの関係、並びにユーザと後述する外部処理プログラムとストレージとの関係を示す図である。
【００４４】
図３に示されるユーザ１１０は、文書処理システムを使用するユーザである。また、外部処理プログラムは、筆記内容から所定の動作をするプログラムであり、このプログラムは予め用意しておく必要がある。ストレージ１１２は、情報を保存する記憶装置であり、例えば上記ハードディスク、ＭＯドライブ、半導体ディスクなどが含まれる。
【００４５】
次に、各要素について説明する。要素Ａ１２１は、紙に紙ＩＤを付与・印刷し、紙ＩＤと文書ＩＤおよび処理ＩＤを関連付けるものである。これら各ＩＤについては後に説明する。要素Ｂ１２２は、紙ＩＤを管理し、フォームが定まっている電子文書に対して割り当てられる文書ＩＤと紙ＩＤとを関連付けるものである。
【００４６】
要素Ｃ１２３は、紙ＩＤの付与された紙文書であり、この紙文書にユーザ１１０は筆記する。要素Ｄ１２４は、紙文書からデータ並びに紙ＩＤを取得するものである。要素Ｅ１２５は、紙ＩＤをデコードするものである。要素Ｆ１２６は、紙ＩＤをエンコードするものである。要素Ｇ１２７は、紙ＩＤである。要素Ｈ１２８は、処理ＩＤと外部処理プログラム１１１を関連付け、処理ＩＤを管理するものである。要素Ｉ１２９は、フォームのレイアウト情報および処理方法を編集・管理するものである。要素Ｊ１３０は、筆記情報をフォームのレイアウト情報および処理方法から、筆記情報に分解・保存するものである。要素Ｋ１３１は、紙ＩＤから文書ＩＤ及び処理方法に変換するものである。
【００４７】
これらの要素は、図１の場合、要素Ａ、Ｂ、Ｅが帳票作成装置１０８に搭載され、要素Ｉが記憶装置１００に搭載され、要素Ｄ、Ｆ、Ｊ、Ｋが帳票処理用ＰＣ１０９に搭載されている。
【００４８】
なお、印刷手段と処理紙ＩＤ関連手段と文書紙ＩＤ関連手段は要素Ａに対応する。紙ＩＤ管理手段は、要素Ｂに対応する。デコード手段は、要素Ｅに対応する。エンコード手段は、要素Ｆに対応する。処理ＩＤ管理手段は、要素Ｈに対応する。筆記情報分解保存手段は、要素Ｊに対応する。紙文書処理ＩＤ変換手段は、要素Ｋに対応する。また、符号化紙ＩＤは、紙ＩＤを要素Ｆでエンコードしたものに対応する。
【００４９】
なお、２次元コードやコード、あるいは符号化紙ＩＤであることが図面などから明らかな場合、符号化紙ＩＤを単に紙ＩＤと表現することもある。
【００５０】
以上説明した要素は、ソフトウェアやハードウェアとして実現することが可能である。そのため、以下の説明では、それらを構成するものを説明する際にモジュールという表現を用いることがある。また、各ＩＤであるが、紙ＩＤとは、それぞれの紙に一意的に割り当てられるものであり、全ての紙のＩＤは、異なったＩＤとなっている。あるいは、同一の文書ＩＤ、同一ページのものを複数枚印刷する際は、これらは同一の紙ＩＤとしてもよい。
【００５１】
処理ＩＤとは、文書管理システムで行われる筆記情報に対する処理に割り当てられるＩＤである。文書ＩＤとは、電子文書に対して割り当てられるＩＤであり、原文書ＩＤと表現することもある。
【００５２】
次に、上述した要素と関連して、一連の文書処理の詳細な説明をする。
【００５３】
まず、外部処理プログラムと文書処理システムについて説明する。外部処理プログラムと文書処理システムとのインタフェースはあらかじめ定められているので、それに応じた外部処理プログラムを作成する。
【００５４】
このようにして作成される外部処理プログラムは、２種類に分類することができ、１つは筆記情報そのものを処理する非定型処理を行う外部処理プログラムであり、もう１つは筆記情報を紙文書のフォームに従ってデータに分解し、そのデータに対する定型処理を行う外部処理プログラムである。
【００５５】
ここで、定型処理とは、いわゆる帳票処理とよばれているもので、あらかじめ記入する欄、すなわちフォームが設けられており、どこに記入されたかで、あとの処理が定まるもののことを言う。たとえば、住所欄に記入されたものは住所として扱われる。すなわち筆記場所によって処理が定まるもののことをさす。また、ここで非定型処理とは、前述の定型処理以外のものをさす。
【００５６】
本実施例において、非定型処理では所定のフォルダに筆記情報が記述されたデータファイルが保存される。非定型処理を行う外部処理プログラムは、このフォルダやデータベースを定期的に監視し、新しいファイルができていればそれを取得して、新しいファイルを処理するようなプログラムである。
【００５７】
あるいはフォルダやデータベースに新たなファイルが保存されるとイベントが発生するようなＯＳ（Operating System）を用いて、このイベントをキャッチして処理を行うプログラムである。
【００５８】
このような非定型処理を行う外部処理プログラムの例としては、電子文書に筆記情報を重畳させ、それをあらかじめ定められた人に添付ファイルとしてメールを行う、というものがあげられる。
【００５９】
次に、定型処理であるが、本実施例では所定のデータベースに筆記情報などのデータが保存されるため、定型処理をする外部処理プログラムは、データベースを定期的に監視し、新しいデータができていればそれを取得して処理するようなプログラムとして作成される。
【００６０】
あるいはデータベースに新たなデータが登録されるとイベントが発生するようなデータベースを用いて、このイベントをキャッチして処理を行うプログラムとして定型処理の外部処理プログラムは作成される。このような定型処理の外部処理プログラムとしてはアンケート処理といったものをあげることができる。
【００６１】
なお、非定型処理を行う外部処理プログラムと定型処理を行う外部処理プログラムの両方は必ずしも必要ではないが、何らかの処理をするために少なくとも一つは必要である。また、以下の説明で、非定型処理を行う外部処理プログラムを非定型処理プログラムと表現し、定型処理を行う外部処理プログラムを定型処理プログラムと表現する。
【００６２】
以上説明した外部処理プログラムは、文書処理システムと関連付けるために、文書処理システムに登録される。
【００６３】
まず、非定型処理プログラムを登録するためのモジュールの詳細は要素Ｈに記述されている。このモジュールを用いて、処理情報は登録される。
【００６４】
この処理情報とは本システムと非定型処理プログラムとのインタフェースの方法を表すものであり、例えばデータが保存されるフォルダ名がある。このとき、データのフォーマットはあらかじめ定められている。また、後述するように印刷時にはどの外部処理プログラムを起動するかを選択しなければならないので、そのために必要な説明文なども登録する。登録することにより、要素Ｈ内では処理ＩＤが自動的に振られ、それは後述するように再利用される。
【００６５】
次に、定型処理について説明する。定型処理を行うためにはまずフォームを設計しなければならない。そのためのモジュールの詳細は要素Ｉに記述されている。これはフォームの各要素のレイアウト情報と処理情報を編集し、登録するものである。なお、この実施例では定型処理は処理ＩＤが０としてあらかじめ登録されている。また、ここでのレイアウト情報は、例えば紙での入力欄の位置などを表し、処理情報は、どの要素をどのデータベースに登録するか、および文字認識を行うか、行うとすれば文字種は何であるかなどを表す。
【００６６】
文書処理システムを利用するユーザは、まず紙文書を印刷する。そのためには、まず印刷したい電子文書を、要素Ａを使って印刷する。この電子文書はファイルとして保存されており、そのファイル名には、ファイルがどんな性質のファイルなのかを判断するために通常用いられる拡張子が含まれる。
【００６７】
定型処理用の電子文書は、ある特定の拡張子を持っているので、印刷しようとする電子文書の拡張子によって、定型処理か非定型処理かが定まる。
【００６８】
非定型処理の場合、上記モジュールに対して印刷を指示すると、このモジュールは要素Ｈに登録済みの外部処理プログラムに関する情報をユーザに提示し、筆記後に行われる処理の選択を求める。ユーザがどの処理を行うか選択することにより、処理ＩＤが定まる。
【００６９】
処理ＩＤが定まると、モジュールは、電子文書のＩＤと処理ＩＤを要素Ｂに登録し、紙ＩＤを取得する。その後、紙文書にこのＩＤを付与し印刷を行い、紙ＩＤが付与された紙文書、すなわち要素Ｃが得られる。
【００７０】
また、定型処理の場合、モジュールに対して印刷を指示すると、非定型処理の場合とは異なり、処理ＩＤは０と定められているので、ユーザに処理の選択を求めることはなく、要素Ｂに電子文書のＩＤと処理ＩＤを登録し、紙ＩＤを取得する。その後は先ほどと同様、印刷が行われ、要素Ｃが得られる。
【００７１】
以上の処理によって、紙文書とその電子文書および筆記に行うべき処理の関連付けが行われたことになる。つまり紙文書には紙ＩＤが付けられ、これに文書ＩＤと処理ＩＤが関連付けられ、この紙に筆記したときに、どの紙に筆記したか、および筆記した後、どのような処理を行うかが、文書処理システムに登録されたことになる。なお、上記原文書とは、筆記情報がまだ記述されていない文書を表す。
【００７２】
次に、紙に筆記後の動作について説明する。ユーザは、作成された要素Ｃである紙文書に筆記し、この紙文書を要素Ｄに対応するスキャナや、例えばＭＦＰ（Multi Function Printer）のスキャナ部を用いて画像として入力させる。これにより、要素Ｄ内の要素Ｅで紙ＩＤが取得される。これらの紙ＩＤと画像は要素Ｋに送られる。
【００７３】
あるいは、ユーザは、作成された要素Ｃである紙文書を要素Ｄに対応する座標入力装置上に設置し、筆記を行う。すると要素Ｄで筆記情報が、要素Ｄ内の要素Ｅで紙ＩＤが取得される。これらの紙ＩＤと筆記情報は要素Ｋに送られる。
【００７４】
要素Ｋでは取得された紙ＩＤから要素Ｂに問い合わせることにより文書ＩＤと処理ＩＤが特定される。このように特定することが可能なことは、要素Ｂで文書ＩＤと処理ＩＤを登録し、紙ＩＤを取得しているためである。
【００７５】
次に、要素Ｈに問い合わせることによって処理ＩＤから筆記情報をどこのフォルダに保存するかが得られるので、そこに文書ＩＤと画像があわせて保存される。
【００７６】
次に、処理ＩＤが０の場合について説明する。処理ＩＤが０の場合は定型処理が行われる。まず、文書ＩＤと画像が要素Ｊに渡される。要素Ｊでは要素Ｉに問い合わせて、文書ＩＤからフォームのレイアウト情報と処理情報を得る。ここでの処理情報は、データの保存先や筆記情報の文字認識・マーク認識等である。
【００７７】
そこで、まずレイアウト情報を元に、画像をフィールドである記入欄毎に分解し、要素Ｄとしてスキャナを用いた場合は、電子文書の画像と筆記された紙文書の画像とを比較して筆記情報のみの画像を得る。あるいは、要素Ｄとして座標入力装置を用いた場合は、筆記された座標列がそのまま得られている。その後、処理情報に従って文字認識やマーク認識等が行われ、その結果がデータベースに保存される。
【００７８】
以上が一連の文書処理の詳細な説明である。次に、各要素の詳細について説明していく。
【００７９】
まず、要素Ａから説明する。この要素Ａの説明では５つの実施例を説明する。最初に図４を用いて第１の実施例を説明する。
【００８０】
図４に示されるフローチャートは、ネットワークを介さずスタンドアロンのＰＣ上で文書を独自に印刷する場合の処理を示している。
【００８１】
まずステップＳ１０１で、レイアウトエディタを起動し作成済み電子文書を表示する。このレイアウトエディタは、処理ＩＤの閲覧／選択と、紙ＩＤの取得、電子文書の表示／編集／印刷が行える。具体的には要素Ｂ・Ｆ・Ｈや、定型文書の場合は要素Ｉ「帳票作成プログラム」が、非定型文書の場合はワープロソフトなどが連携し上記の機能を実現する。ステップＳ１０２では必要に応じて電子文書の編集を行う。
【００８２】
次のステップＳ１０３ではユーザが印刷要求を行った際に、上述のとおり電子文書の拡張子により定型文書／非定型文書の判別を行い、非定型処理の場合、要素Ｈに登録済みの外部処理プログラムに関する情報をユーザに提示し、筆記後に行われる処理の処理ＩＤの決定を行う。また、定型処理の場合、印刷の指示が行われると、非定型処理の場合とは異なり、処理ＩＤは０と定められているので、ユーザに処理の選択を求めることはない。
【００８３】
次のステップＳ１０４で、紙ＩＤが取得される。ステップＳ１０５で、紙ＩＤが２次元コードにエンコードされ、ステップＳ１０６で、２次元コードが電子文書中の所定の位置に貼り付けられる。ステップＳ１０７で電子文書が印刷される。
【００８４】
この処理での紙ＩＤの取得には、要素Ｂが用いられ、紙ＩＤと電子文書の各ページ、そして処理ＩＤとの関連付けを行うとともに、それらを管理データベースが利用される。また、紙ＩＤを取得したのちに紙ＩＤから２次元コードを作成するのは、要素Ｆにより行なわれる。
【００８５】
作成された２次元コードは、重畳位置の指定があった場合は電子文書内の指定位置に、重畳位置の指定がなかった場合は予め定められている電子文書内の所定の位置に重畳される。このＩＤ取得から文書に２次元コードを挿入するまでの一連の流れは、ユーザがワープロソフトで印刷を実行したときに自動的に行われる。あるいはメニューに用意してユーザが明示的に任意の時点で実行させる。
【００８６】
その為には、ワープロソフトにマクロ機能が備わっている場合、そのマクロ機能を用いれば実現することができる。この場合では要素Ｂと要素Ｇがソフトウエアモジュールであり、Windows（登録商標）のＣＯＭという形式であれば、マクロ機能からこれらのモジュールを呼び出すことができ、さらにWordObjectLibraryというモジュールのAddPictureメソッドを用いれば画像を電子文書の任意の位置に挿入することができる。このようにして要素Ｃである紙文書が印刷される。
【００８７】
このステップＳ１０４において紙ＩＤを取得する際、まず、要素Ｂが用いられる。このとき要素Ｂにより、紙ＩＤの管理も行われる。さらに、処理ＩＤと紙ＩＤ、文書ＩＤと紙ＩＤの関連付けも行われる。
【００８８】
次に、図５を用いて第２の実施例を説明する。図５は、文書を作成・編集した後に印刷サービスによって印刷する場合の処理を示すフローチャートである。まず、ステップＳ２０１でユーザは電子文書を作成する。この電子文書内には各構成要素（オブジェクト）とその特性が記述されている。
【００８９】
ステップＳ２０２で、ユーザは、必要に応じてレイアウトエディタを起動／表示／修正を行う。次のステップＳ２０３で、レイアウトエディタの機能を利用して処理ＩＤの選択／紙ＩＤの取得が行われる。この処理において、処理ＩＤの選択には要素Ｈが、紙ＩＤの取得には要素Ｂが用いられ、紙ＩＤと電子文書の各ページ、そして処理ＩＤとの関連付けを行うとともに、それらを管理するデータベースが利用される。なお処理ＩＤの選択が行われるのは非定型文書の場合のみで、定型処理の場合には、処理ＩＤは０と定められているので、ユーザに処理の選択を求めることはない。
【００９０】
ステップＳ２０４で、要素Ｆにより、紙ＩＤから２次元コードが作成される。ステップＳ２０５で、作成された２次元コードは、重畳位置の指定があった場合は電子文書内の指定位置に、重畳位置の指定がなかった場合は予め定められている電子文書内の所定の位置に重畳される。
【００９１】
次のステップＳ２０６で、作成された２次元コード重畳済みの電子文書または電子文書の保存場所をＳＯＡＰ（Simple Object Access Protocol）を使用して印刷サービスに送信する。なお、電子文書の保存場所を送信する場合は、２次元コード重畳済みの電子文書を印刷サービスからアクセス可能な場所に保存する。
【００９２】
ステップＳ２０７では、送信されたのが電子文書か電子文書の保存場所かで、処理が分岐する。電子文書の場合は、レイアウトエディタまたはビューワの機能によりステップＳ２０９で電子文書が印刷される。
【００９３】
電子文書の保存場所を送信した場合は、ステップＳ２０８で印刷サービス内部において受信した保存場所から電子文書が取得され、ステップＳ２０９で電子文書が印刷される。
【００９４】
以上説明した第２の実施例は、レイアウトの編集を行うＰＣにプリンタドライバ等の印刷環境が導入されていない場合でも印刷を可能とする。
【００９５】
なお、印刷サービスは、所定のＰＣで動作しており、そのＰＣに導入されている印刷環境はサービスとして他のＰＣに公開されているので、印刷サービスにアクセスできるＰＣであれば、その機能を使用して電子文書を印刷することができる。つまり、印刷環境がないＰＣでも電子文書の印刷命令を発行することができる。また、印刷サービス内部では編集する必要がないので、印刷コマンドを持ったビューワが、印刷サービスが動作するＰＣに導入されていればよい。
【００９６】
次に、図６を用いて第３の実施例の説明をする。図６は、電子文書の編集を行わず印刷サービスを使用して印刷する処理を示すフローチャートである。
【００９７】
ステップＳ３０１で、ユーザが電子文書を作成した後、ステップＳ３０２で、その電子文書または電子文書の保存場所、それに加え処理ＩＤがＳＯＡＰを使用して印刷サービスに送信される。このとき、電子文書の保存場所を送信する場合は、印刷したい電子文書を印刷サービスからアクセス可能な場所に保存する。
【００９８】
送信される処理ＩＤの決定は、電子文書が非定型文書の場合、要素Ｈにより処理ＩＤの一覧を取得しユーザに処理ＩＤの選択を促すことで行われ、電子文書が定型文書の場合、処理ＩＤは０が用いられる。
【００９９】
ステップＳ３０３では、送信されたのが電子文書か電子文書の保存場所かで、処理が分岐する。電子文書が送信された場合には、ステップＳ３０３からステップＳ３０５へ処理は進む。電子文書の保存場所が送信された場合には、ステップＳ３０３からステップＳ３０４へ処理は進み、印刷サービス内部において受信した保存場所から電子文書が取得される。
【０１００】
電子文書を取得または受信すると、ステップＳ３０５で、印刷サービスが稼動するＰＣが紙ＩＤの取得を行う。この処理での紙ＩＤの取得には、要素Ｂが用いられ、紙ＩＤと電子文書の各ページ、そして処理ＩＤとの関連付けを行うとともに、それらを管理するデータベースが利用される。
【０１０１】
次のステップＳ３０６で、要素Ｆにより、紙ＩＤから２次元コードが作成される。ステップＳ３０７で、作成された２次元コードは、重畳位置の指定があった場合は電子文書内の指定位置に、重畳位置の指定がなかった場合は予め定められている電子文書内の所定の位置に重畳される。
【０１０２】
そして、ステップＳ３０８で、２次元コードが重畳された電子文書の印刷用イメージファイルが紙に印刷される。このうち、紙ＩＤ取得、２次元コード作成、２次元コード貼り付け、印刷には、印刷サービスが稼動するＰＣに導入済みのレイアウトエディタの機能が使用される。
【０１０３】
以上説明した第３の実施例は、レイアウトエディタをインストールしていないＰＣで電子文書作成を行っても印刷することを可能とする。印刷サービスは、所定のＰＣで動作しておりそのＰＣにのみレイアウトエディタをインストールしていれば、その機能を使用して電子文書を印刷することができる。つまり、レイアウトエディタがないＰＣでも電子文書の印刷命令を発行することができる。
【０１０４】
次に、図７を用いて第４の実施例について説明する。図７は、電子文書の編集を行わず印刷サービスを使用して印刷する処理を示すフローチャートである。
【０１０５】
ステップＳ４０１で、ユーザが電子文書を作成した後、ステップＳ４０２で、その電子文書または電子文書の保存場所、それに加え処理ＩＤがＳＯＡＰを使用して印刷サービスに送信される。このとき、電子文書の保存場所を送信する場合は、印刷したい電子文書を印刷サービスからアクセス可能な場所に保存する。また送信される処理ＩＤの決定は、電子文書が非定型文書の場合は、要素Ｈにより処理ＩＤの一覧を取得しユーザに処理ＩＤの選択を促すことで決定し、電子文書が定型文書の場合、処理ＩＤは０が用いられる。
【０１０６】
ステップＳ４０３では、送信されたのが電子文書か電子文書の保存場所かで、処理が分岐する。電子文書が送信された場合には、ステップＳ４０３からステップＳ４０５へ処理は進む。電子文書の保存場所が送信された場合は、ステップＳ４０４で、印刷サービス内部において受信した保存場所から電子文書が取得される。
【０１０７】
取得または受信された電子文書は、ステップＳ４０５で、印刷サービス内部において、レイアウトエディタまたはビューワの機能により、印刷用イメージファイルに変換される。次のステップＳ４０６で、印刷サービスが稼動するＰＣが紙ＩＤの取得を行う。この処理での紙ＩＤの取得には、要素Ｂが用いられ、紙ＩＤと電子文書の各ページ、そして処理ＩＤとの関連付けを行うとともに、それらを管理するデータベースが利用される。
【０１０８】
次のステップＳ４０７で、要素Ｆにより、紙ＩＤから２次元コードが作成される。ステップＳ４０８で、作成された２次元コードは、電子文書と同様に、印刷用イメージファイルに変換され、重畳位置の指定があった場合は電子文書内の指定位置に、重畳位置の指定がなかった場合は予め定められている電子文書内の所定の位置に重畳される。ステップＳ４０９で、２次元コードが重畳された電子文書の印刷用イメージファイルが紙に印刷される。
【０１０９】
以上説明した第４の実施例は、レイアウトエディタをインストールしていないＰＣで電子文書作成を行っても印刷することを可能とする。印刷サービスは、所定のＰＣで動作しておりそのＰＣにのみレイアウトエディタをインストールしていれば、その機能を使用して電子文書を印刷することができる。
【０１１０】
つまり、レイアウトエディタがないＰＣでもレイアウトファイルの印刷命令を発行することができる。また、印刷サービス内部では電子文書そのものに編集されるわけではなく、印刷用イメージファイルに対して画像重畳操作を行うので、印刷コマンドによるファイル出力等の機能を持ったビューワが、印刷サービスが動作するＰＣに導入されていればよい。
【０１１１】
さらに印刷サービス内部での２次元コード重畳操作は印刷用イメージファイルに変換した後に変換後のファイルに対して行われるので、元の電子文書がどのような形式であろうと、統一的な操作で２次元コードデータの重畳と紙への出力を行える事も第４の実施例のメリットである。
【０１１２】
次に、図８を用いて第５の実施例について説明する。図８は、印刷サービスを使用して印刷する処理を示すフローチャートである。ステップＳ５０１でユーザがレイアウトエディタを使用し電子文書を作成・編集した後、ステップＳ５０２で、その文書からプラットフォームに依存しない印刷イメージ又はページ記述言語等（以下、ページ記述言語等も含め印刷イメージと記す）を作成する。また既存の電子文書を編集せずにそのまま用いる場合は、レイアウトビューワなどの印刷命令を使用し、電子文書から印刷イメージを作成する。なお、印刷イメージとは、実際に紙に印刷された紙文書のイメージを表す。
【０１１３】
このようにして作成された電子文書の印刷イメージが、ステップＳ５０３で、ＳＯＡＰを使用して印刷サービスに送信される。この際、ユーザが選択した処理ＩＤと電子文書の保存先を示す文書ＩＤが一緒に印刷サービスに対して送信される。印刷サービスが稼動するＰＣでは印刷イメージと文書ＩＤ及び処理ＩＤを受信した後に、ステップＳ５０４で紙ＩＤの取得が行われる。この処理での紙ＩＤの取得には、要素Ｂが用いられ、紙ＩＤと電子文書との関連付けを行うとともに、それらを管理するデータベースが利用される。
【０１１４】
次のステップＳ５０５で、要素Ｆにより、紙ＩＤから２次元コードが作成される。ステップＳ５０６で、作成された２次元コードは、先に受信した電子文書の印刷イメージの形式にあわせて変換され、重畳位置の指定があった場合は電子文書内の指定位置に、重畳位置の指定がなかった場合は予め定められている電子文書内の所定の位置に重畳される。
【０１１５】
そして、ステップＳ５０７で、２次元コードが重畳された電子文書の印刷用イメージファイルが紙に印刷される。
【０１１６】
以上説明した第５の実施例は、元の電子文書の保存先が、印刷サービスからのアクセスが不可能な場所にある場合でも２次元コード付き印刷を可能とする。また印刷サービスは、電子文書の印刷イメージを受信した後に２次元コードと電子文書の重畳を行うが、この重畳処理にはレイアウトエディタを用いないので、レイアウトエディタがＰＣにインストールされている必要はない。
【０１１７】
さらに編集する必要の無い既存の電子文書を印刷する場合には、電子文書を作成するＰＣは印刷イメージを作成するために必要なレイアウトファイルの印刷命令さえ発行できればよく、そのＰＣに編集機能を有するレイアウトエディタがインストールされている必要は無い。
【０１１８】
つまり、やり取りする２つのＰＣともにレイアウトエディタを使用せずに電子文書に２次元コードを重畳することが可能となる。例えばＰＤＦファイルの場合は、電子文書を作成するＰＣとなるコンピュータにアドビ社のAcrobat（登録商標）のような編集アプリケーションがインストールされている必要は無く、Acrobat（登録商標） Readerのような印刷命令が発行可能なアプリケーションのみがインストールされていれば良い。
【０１１９】
次に、紙ＩＤを管理する要素Ｂについて説明する。図９、図１０は、紙ＩＤと文書とを関連づけ、それを管理する要素Ｂにおいて用いられる管理テーブルの各例を示している。
【０１２０】
要素Ｂは、他の要素から紙出力に対して、紙ＩＤの登録要求をされたとき、少なくとも電子文書を一意に指定できる情報を受けとり、それに対して管理テーブル内で唯一である紙ＩＤを割り当て、文書情報を管理テーブルに格納する。
【０１２１】
この管理テーブルの説明をする。図９、図１０において、行１４５に示すようなまとまりである各行が、登録された紙ＩＤに対応する文書情報の一単位であり、各列が紙ＩＤの登録要素となっている。
【０１２２】
列１４１には割り当てた紙ＩＤが格納される。列１４２には電子文書を一意に指定する情報が格納されている。図９では電子文書を一意に指定する情報としてパス名が指定されているが、異なるＰＣに格納されている電子文書までを扱う場合は、図１０に示されるように、ネットワークパス名であったり、ＵＲＩ(Uniform Resource Identifiers)であったりしてもよい。複数ページの電子文書を扱う場合、各ページ毎に文書情報が存在し、列１４２にはページ数に関する情報も含まれる。また、図１０に示されるように、列１４２にページ数に関する情報を格納しない場合、別の列１４６に格納する。その場合、列１４２と列１４６により電子文書が一意に指定される。
【０１２３】
また、電子文書の格納先が文書管理システムである場合はその管理ＩＤであってもよい。さらには図１０のように電子文書の格納先システムが異なっているものでも格納された電子文書を識別可能であれば格納先システムが複数あってもかまわない。また、登録要求を受け付ける際に、電子文書そのものを受け取り、それを他のものと区別可能なファイル名にして保存した上で紙ＩＤを割り当てて登録する形態であってもかまわない。
【０１２４】
管理テーブルではさらに、その紙文書や紙文書上の筆記に対してどのような処理プログラムが処理するかを示した処理ＩＤが割り当てられている列１４３をもっている。処理ＩＤについての詳細な説明は要素Ｈで行う。
【０１２５】
また、文書情報は、電子文書がどのようなアプリケーションから作成されたものかを示す列１４４をもつ。このような電子文書、または紙文書に関する属性情報を列１４４以下にいくつ持っていてもかまわない。
【０１２６】
また、紙ＩＤを指定され、管理情報の要求である参照要求をされたとき、要素Ｂでは図９における列１４１の紙ＩＤから該当する紙ＩＤを検索し、検索された紙ＩＤに対応し、列１４２に示される電子文書を一意に指定する情報を要求元に渡す。要素Ｂは、同時に列１４３以降の属性情報も渡してもかまわないが、少なくとも列１４２の情報を渡す。図１０の場合は少なくとも列１４２および列１４６の情報を渡す。
【０１２７】
また、図９、図１０などの管理テーブルの内容は、要素Ｂがプログラムである場合、そのプログラムが動作するメモリ内で保持していても良いし、あるタイミングでファイルシステムのファイルとして保存していても良い。また、管理テーブルの内容をデータベースに電子的情報として格納する形態もある。この場合、紙ＩＤとその属性情報を１レコードとして格納し、紙ＩＤをキーとして文書などの情報を保存したり、取出したりすることにより紙ＩＤと電子文書とを関連づけ、それを管理するものでもよい。
【０１２８】
このように、要素Ｂが管理している管理テーブルを、プログラム動作を行っているメモリ上のみではなく、ハードディスクのファイルなどの不揮発性ストレージなどへ保存することで、要素Ｂが一度停止してもそれまで管理していた関連づけ情報を利用することが可能な文書処理システムとなる。
【０１２９】
また、管理している紙ＩＤと電子文書との関連づけ情報を不揮発性ストレージ装置にネットワークアクセス可能なデータベースとして保存することで、システム上にそのデータベースへ関連づけ情報を参照する要素Ｂを複数存在させることが可能な文書処理システムとなる。
【０１３０】
さらに、要素Ｂは他の要素とは独立した装置に存在し、他の要素の装置からアクセス可能なネットワークで接続された形態であってもかまわない。このとき特に要素ＢはＲＰＣ(Remote Procedure Call)やＷｅｂサービスなどの形態で存在し、ネットワーク経由で他の手段からの登録要求や参照要求を受けつけることになる。
【０１３１】
このように、要素Ｂが他の要素とネットワークで接続されており、要素Ｂがシステムで唯一に紙文書に対して識別子を発行するものであることを保障すると、さらにネットワーク的に離散した他の要素装置から登録要求、管理情報の参照要求を受けることが可能なシステムとなる。
【０１３２】
さらに、電子文書の情報を受信したときに、ネットワーク上に同一の電子文書名が存在していても、その名称をネットワークパス名などの格納されるＰＣ名を含めることで区別して管理することが可能なシステムとなる。また、登録する電子文書を受信して保存し、その保存した電子文書名を割り当てた紙ＩＤと関連づけて管理することで、同じ電子文書名も登録毎に区別して管理することが可能なシステムとなる。
【０１３３】
次に、紙ＩＤが付与された紙文書である要素Ｃの説明をする。まず、紙文書の例を図１１にて説明する。図１１はサークル等の脱会・入会登録用紙４０としての紙文書の例であり、この紙文書は、コンピュータ上で管理されている電子文書がプリンタによって印刷されることで生成される。なお、この脱会・入会登録用紙４０は、普通紙である。
【０１３４】
脱会・入会登録用紙４０には、電子文書で定義されたコンテンツ４６と機械読み取り可能な２次元コード４５、並びに４つのタイミングマーク４１、４２、４３、４４が印刷されている。タイミングマーク４１、４２、４３、４４は筆記情報を読み取る際に位置合わせのために利用されるが、形・数・大きさ・色などは限定されない。また、タイミングマークが存在しない場合もありうる。
【０１３５】
ちなみに、脱会・入会登録用紙４０には、脱会・入会登録用紙４７に示されるように、適切な筆記具にて記入される。
【０１３６】
また、図１２に示される紙文書のように、コンテンツの中にデータを埋め込むような紙文書もありうる。図１２には、紙文書例５９と、４つのタイミングマーク４８、４９、５０、５１と、コンテンツの一部５２を拡大したコンテンツの一部の拡大図５３と、識別子５４と、コード枠兼アライメントドット５５と、データドット５６とが示されている。このように、紙文書例５９には、コンテンツの中にデータが埋め込まれている。また、コード枠兼アライメントドット５５と、データドット５６は、要素Ｆにより作成された符号化情報が要素Ａにより印刷されたものである。
【０１３７】
なお、本実施例において、要素Ｃを紙文書と表現しているが、要素Ｃは筆記具にて筆記可能ものであればよく、紙やシート状のプラスチックフィルムなどを用いることができる。
【０１３８】
次に、紙文書から筆記情報を取得する要素Ｄについて説明する。
【０１３９】
要素Ｄの一例であるデジタルカメラ等のエリアＣＣＤを撮像デバイスとして用いた画像取得装置について説明する。
【０１４０】
この画像取得装置の場合、例えばＡ４サイズの紙文書を300万画素クラスのエリアＣＣＤ（画素数2048×1536(pixels)）で一度に取り込むとすると、換算実効解像度は約170(dpi)程度となる。２次元コード等の情報量の多い画像を取り込み、それをデコードする為には相応の高い解像力が必要になり、170(dpi)では不十分な場合がある。この場合、エリアＣＣＤの集積度を上げて解像度の向上を図ることも考えられるが、半導体製造技術のプロセス上の限界がある。
【０１４１】
そこで、本実施例では、エリアＣＣＤを撮像デバイスとし、撮像倍率が可変なズームレンズを有する撮像手段を有し、その撮像手段を移動させる駆動手段により被写体の部分領域をズームアップして分割領域として取り込み、画像合成することで高解像度化を実現し、２次元コード等の読取を可能とした画像取得装置について説明する。
【０１４２】
この画像取得装置の構成例を図４９に示す。図４９に示される画像取得装置は、撮像部２０１と、駆動部２０２と、支柱２０３と、制御部２０５と、インタフェース２０４と、支持台２０６と、２つの操作スイッチ２０７で構成される。
【０１４３】
駆動部２０２は、撮像部２０１を点線で示されるように回転駆動させる。支柱２０３は、撮像部２０１と駆動部２０２を支持する。制御部２０５は、画像取得装置の制御を行うとともに、支持台２０６とともに支柱２０３を支える構造となっている。操作スイッチ２０７は、画像取得装置の操作をするためのものである。紙文書２０８のＡ〜Ｉの点線で示された部分領域は、画像取得装置が撮影する各部分領域を表している。
【０１４４】
次に、上述した撮像部２０１、駆動部２０２、制御部２０５のさらに詳細な構成を図５０に示す。
【０１４５】
制御部２０５は、システムコントローラ２１１と、ＣＰＵ(Central Processing Unit)２１０と、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)２１２と、ＰＣＩ(Peripheral Component Interconnect)バス２１３と、ＰＣＭＣＩＡ(Personal Computer Memory Card International Association)２１４と、Ｉ／Ｏ(Input/Output)入出力デバイス２１５と、ＩＤＥ２１７と、ＰＣＩ／ＩＳＡ(Industry Standard Architecture)ブリッジＩＤＥ(Integrated Drive Electronics)ＵＳＢ(Universal Serial Bus)変換インタフェース２１８と、ＵＳＢ２１９と、ハードディスク２１６と、ＩＳＡバス２２０と、Ｉ／Ｏコントローラ２２１と、シリアル２２２と、パラレル２３４と、ＬＡＮ(Local Area Network)インタフェース２３５より構成される小型のボードコンピュータユニットである。
【０１４６】
制御部２０５は、撮像部２０１の動作制御、撮像装置２０１から転送された画像の画像処理や編集、記録等を行い、外部機器へインタフェース２０４（図４９参照）を介して接続され、外部機器との通信を行なう。
【０１４７】
インタフェース２０４としては、ＰＣ用の汎用インタフェース、例えば、ＲＳ−２３２Ｃ、ＵＳＢ、ＩＥＥＥ1394、ネットワークアダプタ、ＩｒＤＡ(Infrared Data Association)を用いる。本実施例では、制御部２０５を用いる構成を示しているが、制御部２０５により行う処理や記録を、撮像部２０１内のＭＰＵ２３６で代用するような構成としても構わない。
【０１４８】
次に、駆動部２０２の説明をする。駆動部２０２は、ステッピングモータＸ２５５、ステッピングモータＹ２５６及び回転量検出用のロータリエンコーダＸ２４４、ロータリエンコーダＹ２５７と、検出回路２５８と、駆動回路２４３で構成される。
【０１４９】
なお、所定の回転位置で静止するような基準位置を設けてステッピングモータの回転位置をキャリブレーションすれば、各ロータリエンコーダと検出回路は設けなくてもよい。
【０１５０】
次に撮像部２０１を説明する。この撮像部２０１の説明は、撮像部２０１とともにレンズも図示されている図５１を用いて説明する。
【０１５１】
図５１には、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）２４１と、Ａ／Ｄ変換器２４２と、ＩＰＰ（Image Pre-Processor）２８１と、メモリ２４０と、ＴＧ（Timing Generator）２８０と、ＭＰＵ２３６と、Ｉ／Ｏコントローラ２３７と、Ｉ／Ｏデバイス２６１と、固定レンズ２６７、２６８と、ズームレンズ２６６と、絞り機構２６５と、シャッタ２６４と、フォーカスレンズ２６３と、撮像素子２６２で構成される。なお、Ｉ／Ｏデバイス２６１は、図５０で説明したシリアル２３８とＵＳＢ２３９とを、まとめて表現したものである。
【０１５２】
被写体の像は、固定レンズ２６７、２６８、ズームレンズ２６６、絞り機構２６５、フォーカスレンズ２６３を通して、シャッタ２６４により露光時間が制御され、撮像素子２６２上に形成される。撮像素子２６２からの画像信号はＣＤＳ２４１でサンプリングされた後、Ａ／Ｄ変換器２４２でデジタル信号化される。この時のタイミングはＴＧ２８０で生成される。画像信号はその後、ＩＰＰ２８１でアパーチャ補正などの画像処理、圧縮などが行われ、メモリ２４０に保存される。
【０１５３】
各ユニットの動作は、ＭＰＵ２３６にて制御される。また、Ｉ／Ｏコントローラ２３７はＩ／Ｏデバイス２６１を介して、外部の機器と接続され、画像の入出力、撮影制御信号の通信等に用いられる。
【０１５４】
次に、一枚の被写体を分割して撮影する場合の制御部２０５の動きについて、再び図５０を用いて説明する。
（１）制御部２０５は、Ｉ／Ｏ入出力デバイス２１５より駆動部２０２の駆動回路２４３にパルス電圧を印加し、所定の角度になるように検出回路２５８の回転検出値をフィードバックする。
（２）制御部２０５は、ＵＳＢ２１９より撮像部２０１のＵＳＢ２３９へ撮影コントロール信号を送信する。
（３）必要に応じて（１）、（２）が繰り返される。画像転送が指示されるとＵＳＢ２３９を介して撮像装置２０１から画像が制御部２０５に転送され、その画像を制御部２０５は、ＬＡＮインタフェース２３５を介してネットワークに送信する。
（４）紙文書２０８（図４９参照）は、図５２に示されるように、後述する２次元コード２９０等のデータ識別情報が印字されているものとする。この符号化紙ＩＤである２次元コードは、要素Ｅによりデコードされ、デコードが成功し、紙ＩＤが取得できたなら、デバイスタイプ、紙ＩＤ、画像等の情報は、ＸＭＬ（eXtensible Markup Language）形式のデータとして要素Kへ送信される。
【０１５５】
次に、紙文書上の画像の撮影から、撮影により得られた画像へ２次元コードをデコードした結果を対応づけるまでの画像取得装置の処理を、図５３のフローチャートを用いて説明する。
【０１５６】
ステップＳ１４０１で、画像取得装置は、ズームレンズを調整し、被写体と撮像面がほぼ正対した位置関係において、被写体となる紙文書の全体が写るように全体画像撮影を行う。ステップＳ１４０２で、画像取得装置は、撮影した画像より２次元コード等のコードの存在するコード領域を検出する。次に、画像取得装置は、ステップＳ１４０３で、コード領域の領域座標と重心位置を算出する。この場合、予めコードの存在する領域を規定しておくことで、ステップＳ１４０３の高速化を図るようにしても良い。あるいは、領域はコード領域の外接矩形領域とし、外接矩形領域の重心位置を算出するようにしても良い。
【０１５７】
ステップＳ１４０３で得られた領域座標とその重心位置の座標から、画像取得装置はステップＳ１４０４で、データを識別する情報をより大きい撮像画像として取得する為のズーム倍率と駆動部２０２の駆動量を線形演算により算出する。この駆動量は、光軸をロール軸としたパン（左右）、チルト（上下）の２方向から算出する。
【０１５８】
算出された結果に基づき、画像取得装置は、ステップＳ１４０５で、駆動部２０２を駆動する。次のステップＳ１４０６で、画像取得装置は、駆動させた位置で撮影する。ステップＳ１４０７で、画像取得装置は、読み込んだコードを要素Ｅによりデコードする。そして、ステップＳ１４０８で、画像取得装置は、全体撮影画像に対してデコード結果を対応付ける。
【０１５９】
これによりコード領域のみを高解像で取得し、高速に取り込んだ全体画像に対して、信頼性の高い紙ＩＤを付与できるようになる。
【０１６０】
次に、実際の撮影について説明する。上述したように、画像取得装置は、撮像部を駆動することで、紙文書を分割撮影し、分割撮影した各画像を１つの画像に合成するようになっている。
【０１６１】
そこでまず分割撮影について説明する。既に説明した図４９に示されるように、撮像部２０１が、点線で示された左右方向へ駆動をすることで、領域Ａ、Ｂ、Ｃを撮影することができる。
【０１６２】
さらに、撮像部２０１が、図５４に示されるように、上下方向へ駆動することでＡ〜Ｉまでの全ての領域を撮影領域にすることができる。なお、図５４は、撮像部２０１が紙文書２０８を撮影する様子を示すものであり、撮像部２０１は、紙文書２０８の２つの領域３０１、３０２を撮影している。
【０１６３】
上述したように、被写体を高解像に撮影する場合は、撮像系の画角をできるだけ狭くし、複数の位置で撮影する。この場合、被写体のすべての部分が分割画像のいずれかに撮影されるように撮影を行う。
【０１６４】
このようにして撮影された分割画像と、分割画像を接合することで合成した合成画像を図５５と図５６を用いて説明する。分割画像は、図５５に示されるように、アルファベットが描かれた画像が６分割されたものである。この図５５に示されるように、図の下方向の文字ほど、小さくなっていることが分かる。これら６つの分割画像を、接合した画像が、図５６に示される画像である。
【０１６５】
このような方法で画像を接合する場合に限らず、分割せずに１枚で被写体を撮影する場合でも、図５６のような台形上の歪（あおり歪）が生じる。従って、図５７に示されるような、正対した画像にする必要がある。図５７に示される画像は、図５６の画像に、あおり歪の補正、ノイズ除去を行った画像である。
【０１６６】
このようなあおり歪の補正は、被写体に正対した位置での正対画像を基準とし、正対画像と他の画像との間の射影変換行列を予め求め、それを用いて画像を再配置することにより得られる。
【０１６７】
この撮影の説明を簡単にするため、図５４に示した２つの領域３０１、３０２を分割撮影する場合について説明する。まず、領域３０１上の点と領域３０２上の点をそれぞれ、数１が示す２点とする。
【０１６８】
【数１】

このとき、被写体が平面の場合、両者には、次に示す数２、数３の関係が成り立つ。
【０１６９】
【数２】

【０１７０】
【数３】

数２、数３の各ｈは、以下の行列で定まるものである。
【０１７１】
【数４】

数４に示される行列は、射影変換行列であり、画像が撮影される２つの位置が同じ場合、この関係は一定である。従って、予め既知の組(u1,v1)、(u2,v2)からh1〜h8を算出すれば良い。
【０１７２】
数１、数２、数３を用いることにより、領域３０２上の各点が領域３０１上の位置で撮影された場合の位置を算出することができるため、領域３０１上を基準とし、領域３０１上に領域３０２上の画素をマッピングすることができる。分割画像が３枚以上の場合も、例えば１つの領域と他の領域との射影変換行列を予め算出しておく。そうすることで、正対された分割画像が得られ、順次接合していくことで、図５７に示した正対された画像を得ることができる。
【０１７３】
以上が画像取得装置の構成や処理内容である。次に、この画像取得装置の６つの変形例について説明する。なお、以下の説明において、図４９で説明した符号など、既に説明した符号についての説明は省略する。
【０１７４】
第１の変形例である図５８に示される画像取得装置は、図４９に示した画像取得装置に、２次元コード等のコードを読み取る為の撮像部３１０を紙文書を取り込む為の撮像装置２０１とは別に設けたものである。
【０１７５】
この図５８に示した画像取得装置は、コードの存在する小領域を高解像で取り込む目的で設けた為、撮像部２０１よりも小型で安価な画像入力装置で構成すれば良い。また、この場合の画像取得装置は、撮像部２０１により取り込んだ画像に対応させて、撮像部３１０により取り込んだ画像上のコード３１１のデコード結果を記録するものとする。
【０１７６】
次の図５９に示される第２の変形例は、撮像部３１０の代わりに紙ＩＤ情報読み取り部３１２を設けたものである。この紙ＩＤ情報読み取り部３１２は、汎用のバーコードリーダ等で使用されている撮像ユニットを用いることを想定している。
【０１７７】
次に、図６０を用いて、第３の変形例について説明する。図６０に示される画像取得装置は、入力する紙文書２０８の下敷き３１３上にコード３１１を設けた装置構成であり、支柱２０３は、支持台３１５に支持される。これによりコードの付与されていない紙に対してコードを付与できるようにできるとともに、プリンタなどと組み合わせ、再度、紙に出力することで、コードを付与することも可能である。
【０１７８】
次の図６１に示される第４の変形例は、支持台３１５に収納可能な平面部材上にコード３１４を設けた装置構成となっている。
【０１７９】
また、図６２に示される第５の変形例は、撮像部２０１上に投影部３１６を設けることで、点線で示された投影領域３１７にコード３１６を投影できる装置構成とする。そして、ユーザが自由に投影するコードを電子データとして編集可能なものとする。
【０１８０】
この投影部３１６は、図６２において撮像部２０１上に設けられているが、別な部位に固定するものであっても構わない。また、投影部３１６は光源、集光レンズ、ミラー、液晶パネル、投射レンズから構成される代表的な液晶プロジェクタと同様の構成のものやＤＭＤ(Digital Mirror Device)を用いたＤＬＰ(Digital Light Processing)による構成等いずれの構成のものでも良いが、小型なものとしたほうがよい。
【０１８１】
図６３に示される第６の変形例は、点線で示された撮像範囲に液晶ディスプレイ等の表示デバイスを有する携帯情報端末３１８を設け、この表示デバイス上にコードを表示させることで、取り込む紙文書２０８に対応させたコードを付与できるようにする。
【０１８２】
以上が６つの変形例であるが、図６０〜図６３において駆動部を図示していないのは、駆動部を有する構成に限定されないことを示している。
【０１８３】
次に、要素Ｄの他の実施例である筆記情報入力装置６０を図１３に示す。筆記情報入力装置６０は、紙への筆記情報を取得するデジタイザなどの座標入力装置７４と、紙に印刷されている情報と電子的な情報とを対応付け識別するための紙ＩＤ情報読取装置７５と、取得した情報を保持する記憶装置７１と、取得・保持された情報をＰＣに送信する通信装置７２と、これらの装置を制御する制御装置７３とを有する。
【０１８４】
座標入力装置７４は、手書き座標を連続的に取得するデジタイザなどを用いることができる。デジタイザを用いた場合、その方式には公知のものとして電磁誘導方式、超音波距離計の原理を用いた三角測量方式などのものがあるが、いずれもセンサと専用入力ペンによって紙に行われた筆記動作を検出し、筆記情報、この場合は筆記された軌跡の座標である筆記座標を計測する装置である。このようにして計測された筆記座標の集合が筆記情報となる。
【０１８５】
専用入力ペンのペン先には実際に紙に筆記することの可能なペン先が備わり、電子的に筆記座標を検出すると同時に紙に筆記軌跡を記入できるように構成することが望ましい。
【０１８６】
紙ＩＤ情報読取装置７５は例えばプリンタによって紙に印刷された符号化紙ＩＤを読み取り、解読する装置であり、公知のものとして２次元コードリーダ、１次元バーコードリーダなどを用いる。ここで、紙ＩＤ情報読取装置に２次元コードリーダを用いた場合には、たとえばコード化に公知のＱＲコード（登録商標）を用いた場合には、英数字で最大4296文字の情報を識別することが可能であり、一般に利用者が印刷した書類を識別するためには十分な容量を得ることができる。
【０１８７】
記憶装置７１はハードディスクや、不揮発性メモリであり、コンパクトフラッシュ（登録商標）ディスクなどの取り外し可能なメモリなどを用いることもでき、上記紙ＩＤ情報読取装置７５によって取得された筆記座標、印刷条件情報、電子文書情報を保存する。このとき、ＰＣとのデータのやり取りは、メモリを直接に接続することで可能となり、通信装置７２を省くこともできる。
通信装置７２は、蓄えられた情報を送信する装置であり、イーサネット（登録商標）、無線ＬＡＮなどのネットワーク技術や、ＵＳＢやブルートゥース、シリアル接続技術などが用いられる。
【０１８８】
制御装置７３は、例えばマイクロコンピュータによって構成され、上記の装置を後述する動作にしたがって動作制御する。
【０１８９】
これらの装置は一体に構成することも可能であるし、個々の装置に分かれて構成することも可能である。また、一体型に構成した場合、バッテリ駆動とすることで、さまざまな場所に移動して利用することが可能になる。印刷した紙への筆記作業は、オフィスのデスクの上だけとは限らないため、筆記情報入力装置を一体かつ可搬型に構成することが望ましい。
【０１９０】
一体型に成形した筆記情報入力装置６０の外観例を図１４に示す。図示した例では、紙ＩＤ情報読取装置７５（図１３参照）を２次元コードリーダ６２として実現しており、また設置された紙文書には印刷された文書本文６５と、紙ＩＤ６３が、あらかじめ印刷されている。座標取得装置６１は超音波式のデジタイザによって実現しており、専用入力ペン６６によって実際に筆記情報６４を加えると共に、座標データを取得することが可能になっている。
【０１９１】
次に、可搬型のデジタイザ型の筆記情報入力装置を用いた場合の処理について図１５を用いて説明する。まず、筆記情報入力装置内の座標入力装置は、ステップＳ６０１で、専用入力ペンによって筆記が開始されると同時にペン先の紙文書への接触（ペンダウン）を検出し、ステップＳ６０２で筆記座標を検出する。
【０１９２】
次のステップＳ６０３で、筆記情報入力装置は、２次元コードリーダにより、専用入力ペンが筆記座標を読み取っている間、あるいは専用入力ペンが筆記面に接したときなど適宜、２次元コードを読み取る。
【０１９３】
次のステップＳ６０４で、筆記情報入力装置は、読み取った２次元コードをデコードし、紙ＩＤなどを読み取る。
【０１９４】
こうして読み取られた筆記座標、紙ＩＤからなるデータは、一旦、ステップＳ６０５で、記憶装置に保存され、次のステップＳ６０６で、適宜、通信装置によってＰＣへ送信される。
【０１９５】
ここで、保存され、送信されるデータは、例えば図１６に示すような形式で構成される。図１６には、「装置識別番号」と、「紙ＩＤ番号」と、「筆記Ｘ座標」と、「筆記Ｙ座標」と、「ペンＵ／Ｄ」の項目を有する表が示されている。
【０１９６】
「装置識別番号」は、筆記情報入力装置を識別するための番号である。「紙ＩＤ番号」は、筆記情報入力装置が読み取った紙の紙ＩＤである。「筆記Ｘ座標」と「筆記Ｙ座標」は、筆記座標情報のＸ座標とＹ座標である。「ペンＵ／Ｄ」は、専用入力ペンのアップ／ダウンを示すものである。このような形式のデータにより、筆記座標、紙ＩＤを送信している。
【０１９７】
次に、要素Ｄの他の実施例について説明する。この実施例は、記入が終わった紙文書から、スキャナなどを用いて紙文書の電子画像を取得し、要素Ｅへデータを渡す実施例である。
【０１９８】
最初に、図１７を用いて画像入力装置について説明する。画像入力装置８８は、画像入力装置８８内の各装置を制御するための制御装置８２と、プログラムや画像を記憶するための記憶装置８３と、外部接続されたスキャナ８０やＭＦＰ８６と通信してそれらを制御するためのスキャナ制御装置８１と、画像を処理するための画像処理装置８４と、外部ネットワークとの通信を制御するネットワーク制御装置８５とを有する。
【０１９９】
この画像入力装置８８には、直接接続されたスキャナ８０や、ネットワーク８７を介して通信可能なＭＦＰ８６を利用して画像を入力することができる。
【０２００】
この画像入力装置の処理を、図１８のフローチャートを用いて説明する。図１８に示されるフローチャートは、画像入力装置を使って座標を取得し、要素Ｋへデータを渡す処理を示している。
【０２０１】
ステップＳ７０１は、画像の読み取りである。これは、ユーザが記入を終えた文書をスキャナ８０またはＭＦＰ８６を用いて画像の読み取りを行う処理である。この場合の読み取り条件は、例えば600dpi、白黒２値画像である。画像の２値化は通常のスキャナが有している２値化機能を使用する。
【０２０２】
読み取られた紙文書の画像は、ステップＳ７０２で、記憶装置８３の所定のフォルダに画像ファイルとして蓄えられ、次処理へのキューに入る。この読み取った画像を所定のフォルダに画像ファイルとして蓄えるように制御するのはスキャナ制御装置８１の役割であり、スキャナ８０やＭＦＰ８６のボタンが押され、画像がそれらから転送されることを検知し、転送された画像を記憶装置８３の所定のフォルダに格納する。
【０２０３】
画像処理装置８４は、スキャナ８０やＭＦＰ８６から入力される画像が保存される記憶装置８３のフォルダを監視し、キューの先頭にある画像から順番に、ステップＳ７０３で画像正立処理を行い、ステップＳ７０４で領域抽出処理を行い、ステップＳ７０５でデコード処理を行う。ステップＳ７０６で、デコードができたかどうか判断し、デコードできた場合は、紙ＩＤの取得を行い、処理を終了する。また、デコードできなかった場合も処理を終了する。
【０２０４】
この図１８に示したフローチャートは、情報取得段階の処理を示すものである。また、このようにして取得された紙ＩＤは、後述する管理テーブルにより、文書ＩＤ及び処理ＩＤに変換することができる。
【０２０５】
なお、ステップＳ７０２の処理で、キュー方式を使用するのは、ＡＤＦ（Auto Document Feeder）等を使用して多数の画像が入力されたとき、同時に複数の画像が処理されると画像処理装置８４の負荷が非常に高くなり動作が不安定になりかねないことと、処理の速度が遅くなることが理由として挙げられる。
【０２０６】
また、ステップＳ７０３の画像正立処理は、次のステップ７０４の領域抽出処理が正立された画像から領域を抽出するようになっているため、スキャナから読み取られた方向の分らない画像を正立する処理である。
【０２０７】
この画像正立処理の詳細について図１９のフローチャートを用いて説明する。まず、ステップＳ８０１では、読み取った画像についてＯＣＲ処理が行われ、その結果が保存される。次のステップＳ８０２、ステップＳ８０３、ステップＳ８０１のループでは、画像を９０度ずつ回転させてＯＣＲ処理が行われ、それらの結果も保存される。
【０２０８】
９０度ずつ回転させた４方向でＯＣＲ処理がなされると、ステップＳ８０４で、ＯＣＲ処理結果の尺度のひとつである確信度を用いて画像の方向が判定される。この確信度とは認識した文字の確からしさであり、この画像方向判定に使用する確信度は、各文字の確信度の平均である。この平均の確信度がもっとも大きい値を持つ方向での画像が正立であると判定する。
【０２０９】
このようにして画像正立処理を終えると、図１８のステップＳ７０４の処理である紙ＩＤを有する２次元コードの検出・デコードするための領域抽出処理が行われる。領域抽出処理は、画像中の白画素で囲まれた黒画素を含む領域を検出する。この領域抽出の詳細を図２０のフローチャートを用いて説明する。
【０２１０】
まず、ステップＳ９０１の連結黒画素のラベル付け処理では、画像を左上の原点から走査する。そして、左上、上、左の画素が白画素であり、現在着目している画素が黒画素である場合に、その黒画素に新たなラベルをつける。それ以外の画素の場合は左上、上、左のいずれかにある黒画素のラベルを画素につける。
【０２１１】
具体的に、図２１を用いて説明する。まず、図２１に示される数字が書かれた四角形は、全て黒画素であるとする。これを踏まえ、上記処理を図２１の画素９０、９１、９２、９３を用いて説明する。このとき走査される順番は、画素９０、９１、９２、９３の順である。
【０２１２】
まず、画素９０について着目すると、画素９０の左上、上、左の画素が白画素であり、現在着目している画素９０が黒画素であるため、ラベル「１」が画素９０につけられる。
【０２１３】
次に走査される画素９１について着目すると、左上、上の画素は白画素であるが、左が白画素ではないため、左上、上、左のいずれかにある黒画素のラベルが画素９１につけられる。従って、画素９１には画素９０と同じラベル「１」がつけられる。
【０２１４】
次に、画素９２について着目すると、画素９２の左上、上、左の画素が白画素であり、現在着目している画素９２が黒画素であるため、新たなラベル「２」が画素９２につけられる。
【０２１５】
次に走査される画素９３について着目すると、左上、上の画素は白画素であるが、左が白画素ではないため、左上、上、左のいずれかにある黒画素のラベルが、現在着目している画素９３につけられる。従って、画素９３には画素９２と同じラベル「２」がつけられる。
【０２１６】
このようにして、以下の画素についても、同様の処理が行われる。
【０２１７】
次のステップＳ９０２で行なわれる連結黒画素の外接矩形座標検出処理では、同一のラベルを有する黒画素群を囲む外接矩形座標を検出する。そのことを示す図が、図２２である。図２２に示されるように、ラベル「１」の黒画素群の外接矩形９４と、ラベル「２」の黒画素群の外接矩形９５が検出される。
【０２１８】
次のステップＳ９０３は、重なり、接触のある外接矩形を統合する処理で、各外接矩形に重なりあるいは接触がある外接矩形同士を統合し、新たな外接矩形が形成される処理である。それが図２３の外接矩形９６である。
【０２１９】
そして、ステップＳ９０４で、２次元コードの大きさとしてありえない大きさの外接矩形を排除するため、所定の範囲の大きさの外接矩形が抽出される。以上により、白に囲まれた黒画素を含む領域が検出されたので、検出された矩形領域全てに対して画像処理装置８４でデコードを行うことができる。
【０２２０】
予め、２次元コードの位置がわかっているならば所定の位置にある矩形領域のみにデコードを行えばよいが、紙文書のレイアウトによってどこに２次元コードが存在するかわからない場合は、検出した矩形領域すべてに対してデコードを行い、デコードできたものを紙ＩＤとして検出するようにする。なお、デコードの詳細は、次の要素Ｅの説明で行う。
【０２２１】
デコードが成功し、紙ＩＤの取得ができたなら、デバイスタイプ、紙ＩＤ、筆記情報が要素Ｋへ送信される。この場合、上記情報は、ＸＭＬ形式のデータとして要素Ｋへ送信される。
【０２２２】
また、ここで使用したスキャナはフラットベッドスキャナ以外にも、デジタルカメラ、書画カメラ等の画像撮像装置も使用できる。
【０２２３】
次に、紙ＩＤをデコードする要素Ｅについて説明する。まず、要素Ｅの説明として、２次元コードを読み取るバーコード読取装置について説明する。バーコード読取装置は、図２４に示されるように、頂点候補検出部１１と、コード枠検出部１２と、射影変換係数算出部１３と、データサンプリング部１４と、誤り訂正部１５と、フォーマット変換部１６とを有する。また、バーコード読取装置は、上述した図１４の２次元コードリーダ６２に示されるように、斜め上から２次元コードを読み取るようになっている。
【０２２４】
頂点候補検出部１１は、２次元コードの頂点候補を検出する。コード枠検出部１２は、頂点候補に基づき、後述するコード枠を検出する。コード枠が検出されることで、頂点候補は真の頂点と確定される。
【０２２５】
射影変換係数算出部１３は、コード枠検出部１２で検出されたコード枠の各頂点の座標と、２次元コードを作成した時のコード枠の各頂点の規定座標とから、作成した２次元コードの各セルの規定中心座標と読み取った２次元コードの各セルの中心とをマッピングする係数である射影変換係数を求める。
【０２２６】
データサンプリング部１４は、射影変換係数算出部１３で求めた射影変換係数を用いて、２次元コードのデータのサンプリングを行う。誤り訂正部１５は、データサンプリング部１４が読み取ったデータが誤りかどうか判定し、誤りがないか、あるいは誤り訂正が可能ならば、誤り訂正符号以外の整数型５６ビットのデータをフォーマット変換部１６へ出力する。フォーマット変換部１６ではデータを数字文字列に変換して出力する。
【０２２７】
次に、頂点候補検出部１１の処理の詳細について説明する。図２５は、入力画像の頂点候補を検出する処理を示す図である。図２５に示されるように、頂点の検出は、矢印に示される方向に入力画像を走査することで検出するようになっている。具体的には、入力画像の四隅から斜め走査を行い、黒画素を検出し、検出された黒画素をＡ、Ｂ、Ｃ、Ｄとする処理が行われる。
【０２２８】
次に、図２６を用いてＡ、Ｂ、Ｃ、Ｄが頂点候補かどうかを検出する処理について説明する。図２６は、２次元コードを拡大した図である。この２次元コードに対し、頂点候補検出部１１は、Ａ、Ｂ、Ｃ、Ｄから矢印の方向、例えばＡなら右下４５度、Ｂなら左下４５度というように、セルの一辺の画素数の１／√２の画素数だけ画素を追跡してそれらがすべて黒画素かどうかを判定する。それらがすべて黒画素であれば、頂点候補検出部１１は、Ａ、Ｂ、Ｃ、Ｄを頂点候補として検出し、コード枠検出部１２に処理を移す。
【０２２９】
次に、コード枠検出部１２について説明する。コード枠検出部１２では、図２７のように、頂点候補Ａ、Ｂ、Ｃ、Ｄから１／√２の画素数だけ追跡した終端どうしを結ぶ黒枠判定ライン７６、７７、７８、７９を通過する画素の黒画素の割合が全ての直線において直線毎に８割以上存在すればそれをコード枠であると判定し、頂点候補Ａ、Ｂ、Ｃ、Ｄを２次元コードの頂点Ａ、Ｂ、Ｃ、Ｄとして確定する。このとき、同時に頂点Ａ、Ｂ、Ｃ、Ｄの座標も検出される。
【０２３０】
次に、射影変換係数算出部１３について説明する。射影変換係数算出部１３では、コード枠検出部１２で検出されたコード枠の各頂点の座標と、２次元コードを作成した時のコード枠の各頂点の規定座標とから、作成した２次元コードの各セルの規定中心座標と読み取った２次元コードの各セルの中心とをマッピングする係数である射影変換係数を求める。この射影変換係数の求め方は後に説明する。
【０２３１】
次に、データサンプリング部１４について説明する。データサンプリング部１４には、２次元コード、２次元コードを作成した時点の各セルの規定中心座標、射影変換係数が入力される。データサンプリング部１４は、射影変換係数算出部１３で求めた射影変換係数を用いて、作成した２次元コードの各セルの規定中心座標を射影変換することにより、読み取った２次元コードの各セルの中心座標を求める。
【０２３２】
データサンプリング部１４は、求めた中心座標を画像のサンプリング中心座標とし、その座標を中心とする３ｘ３画素の黒画素数が白画素数を上回れば ‘１’、そうでなければ‘０’としてデータを読み出す。読み出された７２ビットのデータは誤り訂正部１５に入力、配列され、誤り訂正の判定が行われる。誤りがないか、あるいは誤り訂正が可能ならば、誤り訂正部１５は、誤り訂正符号以外の整数型５６ビットのデータをフォーマット変換部１６へ出力する。フォーマット変換部１６ではデータを数字文字列に変換して出力することで、数字文字列が復元される。
【０２３３】
上述した２次元コードの読取もソフトウェアでおこなってもよく、図２８にその処理のフローチャートを示す。ステップＳ１００１で斜め上から２次元コードを撮像した２次元コードが入力される。ステップＳ１００２では、２次元コードの頂点候補が検出される。
【０２３４】
このステップＳ１００２では、図２５に示すように画像の四隅から斜め走査が行われ、黒画素が検出される。検出された黒画素をＡ、Ｂ、Ｃ、Ｄとする。さらにステップＳ１００２では、図２６に示されるように、Ａ、Ｂ、Ｃ、Ｄから矢印の方向、例えばＡなら右下４５度、Ｂなら左下４５度というように、セルの一辺の画素数の１／√２の画素数だけ画素が追跡され、それらすべて黒画素かどうかが判定される。それらがすべて黒画素であればＡ、Ｂ、Ｃ、Ｄが頂点候補として検出され、ステップＳ１００３に処理が移る。
【０２３５】
ステップＳ１００３では、図２７に示されるように、頂点候補Ａ、Ｂ、Ｃ、Ｄから追跡した終端どうしを結ぶ黒枠判定ライン５２、５３、５４、５５を通過する画素の黒画素の割合が、全ての直線において直線毎に８割以上存在すればそれをコード枠であると判定される。そして、頂点候補Ａ、Ｂ、Ｃ、Ｄが２次元コードの頂点Ａ、Ｂ、Ｃ、Ｄとして確定される。このとき、同時に頂点Ａ、Ｂ、Ｃ、Ｄの座標も検出される。
【０２３６】
このステップＳ１００３で、コード枠が検出できなければ、ステップＳ１００４の分岐処理でエンドに分岐し、読み取りは終了する。コード枠が検出された場合は、次のステップＳ１００５へ処理は進む。
【０２３７】
ステップＳ１００５では、ステップＳ１００３で検出されたコード枠の各頂点の座標と、２次元コードを作成した時のコード枠の各頂点の規定座標とから、作成した２次元コードの各セルの規定中心座標と読み取った２次元コードの各セルの中心とをマッピングする係数である射影変換係数が算出される。
【０２３８】
次のステップＳ１００６では、データサンプリングが行われる。具体的には、２次元コード、射影変換係数、作成した２次元コードの各セルの規定中心座標が入力され、ステップＳ１００５で求まった射影変換係数を用いて、作成した２次元コードの各セルの規定中心座標を射影変換することにより、読み取った２次元コードの各セルの中心座標を求める。
【０２３９】
そして、求めた中心座標を画像のサンプリング中心座標とし、その座標を中心とする３ｘ３画素の黒画素数が白画素数を上回れば‘１’、そうでなければ ‘０’としてデータが読み出される。読み出された７２ビットのデータは、ステップＳ１００７で、誤り訂正の判定が行われる。誤りがないか、あるいは誤り訂正が可能ならば、誤り訂正符号以外の整数型５６ビットのデータは、ステップＳ１００８で、データを数字文字列にフォーマット変換され、ステップＳ１００９で、数字文字列が出力される。
【０２４０】
次に、射影変換係数の求め方について説明する。射影変換とは３次元空間内の図形・物体を２次元平面・スクリーンへと表示したときの変換である。３次元空間内の物体の座標を２次元平面上の座標へと変換するものであり、３次元画像処理の手法として広く知られたものである。
【０２４１】
このような射影変換を正確に行うためには、撮像系の位置、光学的特性などが明らかになる必要がある。しかし、さまざまな装置へ対応することを考えると、さまざまな装置すべての撮像系の位置などを特定し、正確に定めることは困難である。
【０２４２】
その一方で、斜めから撮像する光学系で読み取りやすくなるという効果を発揮するためには、必ずしも正確な射影変換を施す必要はない。例えば、従来の矩形、一様密度のセルで表現される２次元コードではなく、台形や多様な密度のコードであれば、斜めからの光学系で読取が容易になるという効果を発揮することができる。
【０２４３】
こうした台形コードや多様なセルサイズを実現する簡単な例を図２９で説明する。図２９に示すような光学系において、読み取った画像は、射影変換によって、もともと長方形であった図形が台形に変形する。
【０２４４】
このとき、台形の長辺と短辺との比率（Ｘ１/Ｘ３）は撮像素子からコードのそれぞれの領域への距離の比率の逆数（Ｌ３/Ｌ１）と等しくなる。本実施例においては、通常は矩形で各セルの大きさが均一である２次元コードの代わりに、上記の射影変換をキャンセルできるようなセルの形状や大きさを持つ２次元コードを作成する。
【０２４５】
セルの大きさの決定は、２次元コードの１行ごとに一定の倍率で行う．この変形の倍率は２次元コードの１行の間においても、撮像面からの距離が異なっているが、たとえば１行の中間の位置における倍率で、１行の上部から下部まで等しい倍率で変換する。この操作によって、図３０あるいは図３１に示されるような階段状のセル境界を持つ形状の２次元コードが得られる。あるいは、厳密に射影変換演算を行って図３２のような２次元コードを作成してもよい。なお、図３０、図３１、図３２については、要素Ｇの説明で詳細な説明をする。
【０２４６】
次に、上記射影変換について、図３３を用いて説明する。図３３には、読み取られた２次元コードを模式的に示した２次元コード６７と、電子的に生成された２次元コードを模式的に示した２次元コード６８とが示されている。また、２次元コード６７のＡｓ、Ｂｓ、Ｃｓ、Ｄｓと、２次元コード６８のＡｒ、Ｂｒ、Ｃｒ、Ｄｒは各頂点であり、括弧内のxs1やyr2は、座標を表している。また、PskとPrkは、セルの中心座標を表す。
【０２４７】
２次元コード６７のＡｓ、Ｂｓ、Ｃｓ、Ｄｓと、２次元コード６８のＡｒ、Ｂｒ、Ｃｒ、Ｄｒの頂点は、図３４に示される数式を満たす。これらの数式（１）、（２）は、２次元コード６８など２次元コードの座標を定めるための座標から、２次元コード６７など２次元コードの座標を定める座標への変換式を表しており、Ａｒ、Ｂｒ、Ｃｒ、ＤｒからＡｓ、Ｂｓ、Ｃｓ、Ｄｓへの座標変換を規定する。
【０２４８】
式（１）は、頂点のＸ座標に関する数式であり、式（２）は、頂点のＹ座標に関する数式であり、式（１）（２）の添え字ｉは、１から４まで動く。これらの数式で、ｂ１〜ｂ８は変換パラメータで、未知数である。これら変換パラメータは、Ａｒ〜Ｄｒ、Ａｓ〜Ｄｓの各座標値を式に代入することで得られる八元一次連立方程式を解くことにより求められる。ｂ１〜ｂ８が求められると、電子的に生成された２次元コードの各セルの中心座標Ｐｒｋを変換して２次元コードのサンプリング中心座標Ｐｓｋを求めることができる。
【０２４９】
次に、紙ＩＤをエンコードする要素Ｆについて説明する。要素Ｇに対応する２次元コードを作成するとともに要素Ｆに対応する２次元コード作成装置について図３５を用いて説明する。
【０２５０】
２次元コード作成装置は、フォーマット変換部２０と、誤り訂正部２１と、２次元コード作成部２３とを有する。
【０２５１】
フォーマット変換部２０は、入力された数字文字列をコンピュータ内で通常扱われる整数型５６ビットデータに変換する。
【０２５２】
誤り訂正部２１は、整数型５６ビットデータに変換されたデータに、誤り訂正符号１６ビットを付加する。
【０２５３】
この誤り訂正符号として、リードソロモン符号が用いられる。このリードソロモン符号は、バイト単位の誤りを訂正できる強力な誤り訂正方式であり、誤り訂正符号長の半分以下の誤りを訂正することができる。なお、リードソロモン誤り訂正符号の詳細については、昭晃堂「符号理論（コンピュータ基礎講座１８）」宮川、岩垂、今井共著など、多数の書籍に記されている。
【０２５４】
本実施例の場合には、誤り訂正符号長が２バイトなので１バイトの誤り訂正が可能である。
【０２５５】
２次元コード作成部２３は、データおよび誤り訂正符号データを図３６に示されるように２次元コードの各セルに割り当てて、２次元コードを作成する。図３６の各セルに示される番号は、配置位置を割り振られた番号である。
【０２５６】
データおよび誤り訂正符号データのセルへの割り当ては、整数型５６ビットデータが１〜５６までのセルに、誤り訂正符号のデータ１６ビットが５７〜７２のセルとなっている。なお、２次元コード作成時には、規定された頂点座標、セル中心座標が用いられる。この規定座標は２次元コード読み取り時にも使用される。
【０２５７】
２次元コードの作成はソフトウェアで行ってもよく、図３７にその処理を示すフローチャートを示す。
【０２５８】
まず、ステップＳ１１０１で、数字文字列が入力される。ステップＳ１１０２では、数字文字列がコンピュータ内で通常扱われる整数型５６ビットデータにフォーマット変換される。ステップＳ１１０３で、誤り訂正符号１６ビットが作成され、整数型データに変換されたデータに付加される。この誤り訂正符号は、先ほどと同様にリードソロモン符号が用いられる。このようにして作成された整数型データおよび誤り訂正符号データは、ステップＳ１１０４で、図３６や図３８に示すように２次元コードの各セルに割り当てられ、２次元コードが作成される。なお、図３６と図３８については、要素Ｇの説明で詳細な説明をする。
【０２５９】
データのセルへの割り当ては、先ほどと同様に整数型５６ビットデータが１〜５６までのセルに、誤り訂正符号のデータ１６ビットが５７〜７２のセルとなっている。また、２次元コード作成時には、規定された頂点座標、セル中心座標が用いられる．この規定座標は２次元コード読み取り時にも使用される。
【０２６０】
次に、紙ＩＤである要素Ｇについて説明する。まず、図３０で示した２次元コードについて説明する。２次元コードは、図３０に示されるように、周囲が黒枠で囲まれ、内部に白または黒で１ビットの情報をあらわす最小単位であり情報領域であるセルが、図３６に示したように７２個配置されている。従って、この２次元コードは、７２ビットの情報を表現することができる。
【０２６１】
この２次元コードを斜め上から読み取ると、バーコード読取装置が得る２次元コードはセルが大きい下側の部分が縮小されて、台形の形状となる。２次元コードはこのようにしてゆがむが、バーコード読取装置で撮影された２次元コード内の各セルは撮像素子の複数画素を占め、その面積はセルの位置に関係なく概略等しくなる。
【０２６２】
このように上側のセルの大きさは小さく、下側のセルの大きさが大きい２次元コードにより、斜め上から２次元コードを読み取るように設けられたバーコード読取装置の撮像素子は、セルの白黒情報の安定した撮影が可能になる。
【０２６３】
また、２次元コードの他の例として、図３１に示した台形コード（平面図）がある。この台形コードは、バーコード読取装置が斜め上から読み取る場合、撮像素子と各セルの距離に応じてセルの大きさが大きくなるようにした２次元コードである。
【０２６４】
この台形コードの場合、セルは各行に１２個配置され、６行あるので、セルの総数は７２個ある。このセルの総数は図３０の２次元コードのセルの総数と等しいので、この台形コードで表現できるビット数は図３０の２次元コードで表現できるビット数と等しい。ちなみに、７２ビットのデータは、データの配置を表した図３８に示したように配置される。
【０２６５】
また、２次元コードの他の例として、図３２に示したような矩形の２次元コード５７を射影変換し、台形の２次元コード５８に変形した２次元コードを使用することもできる．この場合に、斜め上から撮影した場合に得られる２次元コードの画像は、２次元コード５７に近いものが得られる。なお、２次元コード５８が表現できる情報量は、７２ビットである。
【０２６６】
上述した３つの２次元コードにおいて共通していることの１つは、それらが横長となっていることである。その理由は、縦長にすると、セルの縦方向の長さが大きくなり、２次元コード全体のサイズが非常に大きくなり、小さい大きさで大容量のデータを表現できるという２次元コードのメリットがなくなるためである。
【０２６７】
また、バーコード読取装置からみた場合、２次元コードとの距離は縦方向の変化に比べ横方向の変化の方が大きくなるため、バーコード読取装置から遠いところにあるセルは縦横比が大きい長方形にするのが適当である。したがって、図３１、図３２の例ではセルの横の長さの変化より縦の長さの変化のほうを大きくすることにより、バーコード読取装置で撮影した２次元コードは正方形に近い形状となる。
【０２６８】
次に、処理ＩＤと外部処理プログラムを関連付け、処理ＩＤを管理する要素Ｈについて説明する。図３９は要素Ｈにおいて用いる管理テーブルの一例である。この管理テーブルは、プログラム処理ＩＤ関連付け情報に対応する。
【０２６９】
処理ＩＤと外部処理プログラムとを関連づけ、それを管理する要素Ｈは、他の要素手段からある外部処理プログラムに対して処理ＩＤを要求してきたとき(登録要求)、少なくとも要素Ｈが搭載されたＰＣで外部処理プログラムを一意に規定できる情報を受けとり、それに対してこの管理テーブル内で唯一であるＩＤを割り当て、外部処理プログラム情報を管理テーブルに保存する。
【０２７０】
図３９において、行１５５に示すようなまとまりである各行が処理ＩＤに対応する外部処理プログラム情報の一単位であり、列１５１、１５２、１５３、１５４が登録要素となっている。
【０２７１】
このうち、列１５１には割り当てた処理ＩＤが格納される。また、列１５２には処理を行う外部処理プログラムを一意に指定する情報が格納されている。列１５２の一段目では外部処理プログラムのファイルパスが示されている。これにより、処理するプログラムが一意的に定まる。また、列１５２の二段目では、ジョブが格納されるフォルダ名を示すパス名が指定されている。ここでは、外部処理プログラムは一つのジョブフォルダにあるファイルを処理するものとし、その対応を一対一に規定することで、列１５１の処理ＩＤと外部処理プログラムを関連づけている。
【０２７２】
図３９の第２行の例では、処理ＩＤ0001が*.docである電子文書を印刷した紙文書からの筆記情報を、c:\JobFolder\WordPrintのフォルダにジョブとして受け取る定型文書の処理を行うプログラムが登録されているということになる。また、列１５２の三段目では他のコンピュータ上のプログラムがＷｅｂサービスのＵＲＬとして指定されて、それが処理ＩＤと関連付けられている。
【０２７３】
その他、図３９ではその外部処理プログラムがどのような電子文書の印刷からの筆記情報を扱えるかを示す属性情報である列１５３をもつ。また、列１５４は外部処理プログラムの説明が文字で記述されている。このような、列１５３、１５４のような外部処理プログラムに関する属性情報を列１５３、１５４以外にいくつ持っていてもかまわない。
【０２７４】
また、処理ＩＤが指定され、外部処理プログラムについての管理情報を要求されたとき(参照要求)、要素Ｈでは図３９における列１５１のＩＤから該当するＩＤを検索し、少なくとも対応するＩＤ登録の要素である列１５２のフォルダパス名を一意に指定する情報を要求元に渡す。このとき、同時に列１５３以降の属性情報も渡してもかまわない。
【０２７５】
また、図３９の管理テーブルの内容は、要素Ｈがプログラムである場合、そのプログラムが動作するメモリ内で保持していても良いし、あるタイミングでファイルシステムのファイルとして保存していても良い。また、データベースシステムに電子的情報として格納するものもある。または、処理ＩＤとそれに関する属性情報を１レコードとして格納し、処理ＩＤをキーとして外部処理プログラム情報を保存したり、取出したりすることにより処理ＩＤと電子プログラムとを関連づけ、それを管理するものでもよい。
【０２７６】
このように、管理している処理ＩＤと外部処理プログラムとの関連づけ情報を、プログラム動作を行っているメモリ上のみではなく、ハードディスクのファイルなどの不揮発性ストレージ装置などへ保存することで、要素Ｈ装置が一度停止してもそれまで管理していた関連づけ情報を利用することが可能なシステムとなる。
【０２７７】
また、要素Ｈにおいて、処理ＩＤとそれに対応する処理プログラムが処理するディレクトリ名が保存され管理されているので、処理プログラム名や処理するプログラム自体が変更されてもそれまでの要素Ｈにおける管理情報を変更せずに対応可能なシステムとなる。
【０２７８】
また、要素Ｈは他の要素の装置とは独立した装置に存在し、他の要素の装置とはネットワークで接続された形態であってもかまわない。このとき、特に要素Ｈは、ＲＰＣ(Remote Procedure Call)やＷｅｂサービスなどの形態で存在し、ネットワーク経由で他の要素からの登録要求や参照要求を受けつける。
【０２７９】
この場合、管理している処理ＩＤと外部処理プログラムとの関連づけ情報を不揮発性ストレージ装置として、ネットワークアクセス可能なデータベースへ保存することで、システムで統一的に関連づけ情報を登録および参照することができる要素Ｈを複数存在させることが可能なシステムとなる。
さらにネットワーク上の別の装置における外部処理プログラムを指定することが可能であるので、登録する外部処理プログラムをそのプログラムの動作条件にあうホスト装置にそれぞれ実装することが可能なシステムとなる。
【０２８０】
また、システム上で唯一の要素Ｈの装置が他の要素の装置とネットワークで接続されており、他の要素の装置からネットワークを経由して処理ＩＤと外部処理プログラムとの関連づけをおこない、管理することで、ネットワーク的に離散した他の要素の装置からシステムで統一的に関連づけ情報を登録および参照することが可能なシステムとなる。
【０２８１】
次に、フォームのレイアウト情報及び処理方法を編集・管理する要素Ｉについて説明する。要素Ｉは、紙文書を読み取り、紙文書で定義されたレイアウトや処理情報を元に、後述する情報テーブルに、認識された筆記情報を情報変換して保存するシステムである。
【０２８２】
具体的に、図４０、図４１を用いて説明する。図４０は、図１１で説明した脱会・入会申込書に筆記されたものを示している。図４０に示されるように、脱会・入会申込書には、記入部として、記入部Ａ１７０、記入部Ｂ１７１、記入部Ｃ１７２、記入部Ｄ１７３、記入部Ｅ１７４がある。また、脱会・入会申込書には、ラベルとして氏名ラベル１７５や、その他会員Ｎｏ、依頼項目、コメントが記されている。
【０２８３】
また、図４１には情報テーブルが示されている。情報テーブルは、登録情報と処理情報からなるテーブルである。登録情報は、ＩＤと氏名と会員番号があり、処理情報は、氏名と会員番号と処理とコメントがある。
【０２８４】
このように情報テーブルは、脱会・入会申込書に筆記された情報が記録されるものである。
【０２８５】
脱会・入会申込書の記入部Ａ１７０、記入部Ｂ１７１、記入部Ｅ１７４に筆記された筆記情報は、それぞれ、図４１に示される情報テーブル内の氏名、会員番号、コメントに記録され、記入部Ｃ１７２、記入部Ｄ１７３に書き込まれた筆記情報は、チェックされた記入部に従い、「削除」あるいは「登録」が処理に記録される。
【０２８６】
次に帳票作成プログラムについて説明するが、以下の説明においては、フォームのレイアウト情報及び処理方法を定義したファイルを帳票定義体と呼び、これを編集するソフトウェアを帳票作成プログラムと呼ぶことにする。
【０２８７】
具体的な装置例を、再び図１に基づき説明する。帳票作成用ＰＣ１０１上では帳票作成プログラムが実行される。データサーバ１０６ではデータベースプログラムが動作する。このデータベースプログラムでは帳票作成プログラムで生成される帳票定義体の入出力管理や帳票処理で使われる情報テーブルの入出力を行っている。
【０２８８】
帳票作成プログラムは、図４０に示したような帳票のレイアウトや帳票の処理方法を図４２のような帳票構造体として定義され、その中身を作成・編集するプログラムである。図４２に示される帳票構造体は、記入部Ａ１７０を、プロパティ群を意味単位ごとにセクション化し、帳票のレイアウト情報を要素ラベル<Layout>で、認識情報を要素ラベル<Input>で、保存先情報を要素ラベル<Registration>で管理し、それらの中身をＸＭＬのプロパティとして記述したものである。
【０２８９】
帳票作成プログラムは、図４３に示されるようなＧＵＩを持つ。このＧＵＩは、レイアウトエリア１５５と、ツールボックス１５６からなる。ツールボックス１５６には、ラベルツール１５１、テキストボックス１５２、チェックボックス１５３、バーコード１５４を有する。
【０２９０】
帳票作成者は、レイアウトエリア１５５に、ツールボックス１５６を用いてラベルやテキストボックスを配置することで帳票の作成を行うことができる。
【０２９１】
なお、ラベルツール１５１は、レイアウトエリア１５５にラベルを作成するものである。テキストボックス１５２は、レイアウトエリア１５５にテキストボックスを作成するものである。チェックボックス１５３は、レイアウトエリア１５５にチェックボックスを作成するものである。バーコード１５４は、レイアウトエリア１５５にバーコードを作成するものである。
【０２９２】
このようにツールボックス１５６から配置する内容に応じた要素をレイアウトエリア１５５に配置し、その属性（プロパティ）を画面上で設定する。ここでいう要素とは、ラベルツール１５１、テキストボックス１５２、チェックボックス１５３、バーコード１５４など配置する目的用途に応じたものである。
【０２９３】
例えば、図４４に示されるように、氏名を書く欄をテキストボックス１５２を利用して作成する。
【０２９４】
各要素は図４５に示すようなプロパティ群を持っており、これらプロパティは実際に帳票が表示している内容やその処理方法などを定義している。このプロパティ群について説明する。図４５に示されるプロパティ群は、図４０の氏名ラベル１７５と記入部Ａ１７０に対応したプロパティ群の例である。プロパティ群は、レイアウト情報（コンテナ開始〜ボーダー）１７６・認識情報（入力〜認識結果）１７７・保存先情報（登録サーバ〜登録レコード）１７８に大別される。
【０２９５】
レイアウト情報１７６は、要素の位置や大きさ、そこに表示する文字や枠線の状態を管理する。認識情報１７７は、帳票処理時の要素に手書きされた内容の情報変換作法を管理する。ここでは文字認識に用いる諸情報が管理されている。保存先情報１７８は、帳票処理時に用いる認識情報１７７で変換された結果の保存先を管理している。
【０２９６】
なお、図４５に示されるＩＤが０００１の要素は「種類」が「Label」となっていることから、氏名ラベル要素である。この氏名ラベル要素は、「氏名」と言う文字が、「ボーダー」が「なし」となっていることからボーダーなしで表示され、「入力」が「不可」となっていることから、この氏名ラベルに筆記される場合の特別な処理はなく、また、「変換」が「なし」となっていることから入力された文字に対する変換はない。また、保存先情報１７８が空欄であることからデータの保存もされない。
【０２９７】
ＩＤが０００２の記入部Ａ１７０の「種類」が「Textbox」となっていることから、テキストボックスであり、表示する文字は、「文字」が空欄となっていることから無く、「ボーダー」が「囲み」となっていることから、囲み（枠線）を持って表示されている。そして手書きされた場合には、「入力」が「可能」となっていることから、何らかの処理が存在し、「認識知識」１〜３で表現される文字認識「日本語」、「手書き」、「姓名」の情報変換として行う。そして、得られた認識結果は、保存先情報１７８に記述されている場所に保存されることを意味している。
【０２９８】
以上説明したように、帳票構造体にこのようなプロパティ群を持たせ、管理することによりフォームのレイアウトや処理方法を定義している。
【０２９９】
次に、フォームのレイアウト情報及び処理方法から、筆記情報をデータに分解し保存する要素Ｊの説明をする。要素Ｄとしてスキャナを用いた場合、図４６に示される脱会・入会申込書を用いて説明すると、要素Ｊは、読み取った記入帳票イメージ１８０と筆記されていない未記入帳票イメージ１８１との差分をとり、筆記イメージ１８２を得て、氏名や会員番号など、それぞれの要素に分解し、保存する。
【０３００】
要素Ｄとして座標入力装置を用いた場合は、筆記された座標列すなわち筆記情報がそのまま得られるので、氏名や会員番号など、それぞれの要素に分解し、保存する。なお、非定型処理の場合は帳票の概念がないので各要素には分解しないで、全体を1つとして保存する。
【０３０１】
要素Ｄとしてスキャナを用いた場合は前述のように未記入の紙文書のイメージと記入済みの紙文書のイメージとの差分を取って、加筆分のみを取り出す。
【０３０２】
要素Ｄとして座標入力装置を用いた場合は、筆記されたデータがそのまま得られる。
【０３０３】
この処理を、図４７のフローチャートを用いて説明する。なお、このフローチャートは、上述した差分をとる処理を行う手書き処理プログラムの処理を示している。
【０３０４】
ステップＳ１２０１は、帳票認識である。ステップＳ１２０２は、未記入帳票のイメージの生成である。この処理は、ステップＳ１２０１で呼び出された帳票定義体から、未記入帳票イメージを生成する処理である。
【０３０５】
ステップＳ１２０３は、未記入帳票イメージと記入帳票イメージの位置合わせである。この処理は、タイミングマークを用いて未記入帳票のイメージに記入帳票のイメージをあわせる処理である。なお、タイミングマークの位置・形状情報は帳票定義体から取得される。また、タイミングマークが存在しない場合はこのステップは行われない。
【０３０６】
ステップＳ１２０４は、筆記イメージの生成である。この処理は、未記入帳票イメージと記入帳票イメージの差分をとる処理である。
【０３０７】
次のステップＳ１２０５からステップＳ１２０８までの処理は、帳票定義体に示される要素単位に行われる。まず、ステップＳ１２０５は、各要素に対応する部分画像の生成である。この処理は、要素のプロパティ（レイアウト情報）に従って行なわれ、例えば、図４６の「山田太郎」、「56-381」などの部分画像を生成する処理である。
【０３０８】
ステップＳ１２０６は、部分画像の文字認識である。この処理は、要素のプロパティ（認識情報）に従って行なわれる。ステップＳ１２０７は、文字認識することにより部分画像から文字へ情報が変換された結果を保存する処理である。
【０３０９】
次のステップＳ１２０８で、全ての要素に対して処理をしたかどうかの判断がされ、まだ処理されていない要素があれば、ステップＳ１２０５へ処理が進み、全ての要素に対して処理をした場合は、終了する。
【０３１０】
次に、紙ＩＤから文書ＩＤ及び処理方法に変換する要素Ｋについて説明する。紙ＩＤから文書ＩＤおよび処理ＩＤに変換する要素Ｋの処理手順の概要図を図４８に示す。図４８では、要素Ｋを中心として、矩形図形は各要素を、吹き出し部はデータやリクエストの内容を、矢印はそのデータやリクエストの方向を、矢印上のステップはその順番を示している。
【０３１１】
まず、ステップＳ１３０１で、要素Ｋは、Ｄ−ＰＡＤから紙ＩＤと筆記情報を取得する。あるいは、要素Ｋは、スキャナまたはＭＦＰのスキャナ部で筆記した紙文書を読み込み、紙ＩＤと画像を取得する。
【０３１２】
次のステップＳ１３０２で、要素Ｋは、要素Ｂに対してその紙ＩＤを送り、その紙文書に関する管理情報を要求する。その結果、ステップＳ１３０３で、要素Ｋは、紙文書に対応するＩＤ登録の要素である電子文書を一意に指定する情報や、処理ＩＤなどを取得する。
【０３１３】
次に、要素Ｋは、ステップＳ１３０４で要素Ｈに対してその処理ＩＤを送り、その紙文書に関する処理プログラムの管理情報を要求する。その結果、ステップＳ１３０５で、要素Ｋは、要素Ｈより対応する識別子で登録されているフォルダパス名を一意に指定する情報などを取得する。
【０３１４】
そして、要素Ｋは、ステップＳ１３０６で、Ｄ−ＰＡＤあるいはスキャナやＭＦＰのような画像入力装置、要素Ｂ、要素Ｈを介して取得したすべての情報をファイルに格納し、上記処理で得たフォルダパス名にファイルとして保存する。
【０３１５】
これにより、要素Ｋは、ステップＳ１３０７で、次段階の処理である、筆記情報をフォームのレイアウト表示および処理方法から、データに分解・保存する要素Ｊもしくは非定型処理プログラムへジョブを受け渡す。
【０３１６】
次に、図１２で示した紙文書における実施例について説明する。まず、この紙文書について詳細な説明をする。以下の説明では、図１２におけるこのコード枠兼アライメントドット５５とデータドット５６を、２次元コードと表現する。また、以下に説明する図では、データドットも黒で表現し、コード枠兼アライメントドット５５で構成される枠をコード枠と表現することもある。またコード枠兼アライメントドット５５やデータドット５６を単にドットと表現することもある。
【０３１７】
図６４は、図１２における拡大図５３で示したドットの大きさとドット間隔を示す図である。
【０３１８】
コード枠兼アライメントドット５５とデータドット５６を構成するドット４１１は、プリンタの最小ドット４１２の２×２単位で印字される。１２００ｄｐｉのプリンタならば、プリンタの最小ドット径は２１μｍであるので、ドットの直径は理想的には４２μｍとなる。実際にはドットゲインがあるため直径はもう少し大きくなる。
【０３１９】
ドット直径の６倍の間隔を置いて水平・垂直方向にドットを配置する位置を決定する。この場合、ドット配置位置にすべてのドットが存在する場合でもドットの占める面積率は理想的には２．８％であり、５０％程度のドットゲインを見込んでも５％に満たない。この数字は人の目には明るい灰色に見えるのでドットに邪魔されて文書が見えにくいとか、加筆した文字が見えにくいなどという問題は起こらない。
【０３２０】
以上のようにドットの配置を決定すると２次元コードは水平２ｍｍ、垂直３ｍｍ角の大きさを有する。この２次元コードは、Ａ４用紙と相似であるので、水平・垂直座標情報を格納するデータ長を有効に使うことが可能になる。
【０３２１】
Ａ４用紙は水平２１０ｍｍ、垂直２９７ｍｍの大きさがある。従って、Ａ４用紙は、２次元コードを、水平方向に１０５個、垂直方向には９９個含むことができる。この個数を用いて２次元コードの位置を特定することができる。例えば、水平方向に９５個目ということは、２次元コードの左上の角が紙面の左上を原点として水平方向に１９０ｍｍの位置にあるということである。同様に垂直方向に１０個目は、２次元コードの左上の角が紙面の左上を原点として垂直方向に３０ｍｍの位置にあるということである。
【０３２２】
以下、水平方向にｎ個目を水平座標ｎと表現し、垂直方向にｍ個目を垂直座標ｍと表現する。
【０３２３】
ちなみに、Ａ３用紙の場合は、水平２９７ｍｍ、垂直４２０ｍｍの大きさであるので、水平方向に１４８個、垂直方向に１２０個の２次元コードを含むことができる。さらに、Ａ２用紙の場合は、水平４２０ｍｍ、垂直５９４ｍｍの大きさであるので、水平方向に２１０個、垂直方向に１９８個の２次元コードを含むことができる。
【０３２４】
次に、２次元コードにおけるデータの配置領域を、図６５を用いて説明する。２次元コード４２０はコード枠を構成するドットに囲まれた、７×１１のセルを有する。このセルとはドットを打つことのできる単位をいい、２次元コードは最大７７個のドットを含む。また、１つのセルは、１ビットを表現することができる。
【０３２５】
このいくつかのセルで構成される領域をデータ領域とし、２次元コードは、図６５に示されるように、データ領域４０１、４０２、４０３、４０４、４０５、４０６、４０７、４０８、４０９を有する。
【０３２６】
データ領域４０１は、水平座標を表すデータを配置する領域であり、４×２のセルを有する。従って、データ領域４０１は、１バイトの容量を有する。
【０３２７】
データ領域４０２は、垂直座標を表すデータを配置する場所である。水平座標と同様に１バイトの容量を有する。
【０３２８】
上述したＡ型用紙で一番大きい座標の値は、Ａ２用紙の水平座標である２１０であるので、Ａ４用紙からＡ２用紙の座標は１バイトのデータ容量に収まる。このように紙の縦横の長さの違いに応じて２次元コードの縦横の長さを決定すると水平・垂直座標を表すデータ長を同一の一定サイズに固定しても幅広いサイズの用紙に対応できることがわかる。
【０３２９】
データ領域４０３は、紙ＩＤを表すデータを配置する領域であり、４×６の２４ビット(=３バイト)の容量を有する。データ領域４０４、４０５、４０６、４０７は誤り訂正用の符号を配置する領域である。それぞれデータ領域は、１バイトずつの容量を有するので、誤り訂正用符号は合計４バイトで構成される。
【０３３０】
データ領域４０８、４０９は、２次元コードの上下方向を表すためのパターンである。データ領域４０８は３個の黒ドット、データ領域４０９は２個のドット無しのパターンとし、２次元コードの上下を判別するのに使用される。
【０３３１】
上述した各データの配置領域にどのようにドット配列されるかを示す配置規則を示したのが、図６６である。データ領域４０１から４０７で、１はＭＳＢ（Most Significant Bit）を示し、８はＬＳＢ（Least Significant Bit）を示す。
【０３３２】
このような配置規則により、実際にどのようにエンコードされるかを、図６７の２次元コードを用いて説明する。２次元コード４２１は、「水平座標＝９５、垂直座標＝１０、紙ＩＤ＝１０」がエンコードされている。２次元コード４２２は、「水平座標＝９６、垂直座標＝１０、紙ＩＤ＝１０」がエンコードされている。２次元コード４２３は、「水平座標＝９５、垂直座標＝１１、紙ＩＤ＝１０」がエンコードされている。２次元コード４２４は、「水平座標＝９６、垂直座標＝１１、紙ＩＤ＝１０」がエンコードされている。
【０３３３】
次に、このような２次元コードを有する紙文書の印刷について説明する。まず、２次元コードの作成について説明する。上述したようにＰＣ等の情報処理装置内のソフトウェアで実行するか、またはアルゴリズムをハードウェア化した専用の装置を利用して行う。
【０３３４】
２次元コードの作成を、図６８のフローチャートを用いて説明する。ステップＳ１５０１は、紙文書のページ毎の紙ＩＤを要素Ａから取得する処理である。ステップＳ１５０２は、紙ＩＤと紙文書上の座標情報とをあわせてエンコードすべきデータを作成する処理である。例えば、紙ＩＤを123456とし、座標情報をｍｍ単位で（24,123）という具合である。
【０３３５】
次のステップＳ１５０３は、紙ＩＤと座標情報からなるデータをエンコードし、符号化紙ＩＤと符号化座標情報を作成する処理である。このとき、紙ＩＤは６桁の数字を３バイトのバイナリ値に変換される。また、ｍｍ単位の座標情報は、２次元コード単位の座標に変換される。例えば水平座標は２４/２＝１２、垂直座標は１２３/３＝４１というように変換される。座標情報はこのように２バイトのバイナリ値に変換され、紙ＩＤとあわせて計５バイトのデータとなる。
【０３３６】
データのエンコード後、ステップＳ１５０４で、エンコードデータを元に誤り訂正符号が追加される。エンコードデータおよび誤り訂正符号データは、ステップＳ１５０５で、２次元コードの各セルに割り当てられ、２次元コード２がページ全体に配置されたマトリクスの画像ができあがる。
【０３３７】
ステップＳ１５０６は、１ページ分が終了したかどうかの判断である。終了していない場合、再びステップＳ１５０２の処理が行われる。終了した場合、ステップＳ１５０７で、全ページ分が終了したかどうか判断され、全ページが終了と判断されると、処理が終了する。終了していない場合、再びステップＳ１５０１の処理が行われる。
【０３３８】
ここで、上記ステップＳ１５０３のエンコード処理について、図６９を用いて説明する。図６９は、データのエンコード処理と誤り訂正符号付加を示す図である。図６９では、水平座標を２４とし、垂直座標を１２３とし、紙ＩＤを１２３４５６とする。これらの値が、エンコード処理され、それぞれ１バイト、１バイト、３バイトとなる。次に、これら合計５バイトのデータに対して４バイトの誤り訂正符号を付加される。この誤り訂正符号には、リードソロモン符号が採用される。
【０３３９】
以上の処理が終了すると、要素Ａにより紙文書が印刷される。この紙文書の印刷例が、既に説明した図１２に示される紙文書である。
【０３４０】
このときの要素Ａの処理を示すフローチャートを、図７０を用いて説明する。まず、ステップＳ１６０１でユーザは電子文書を作成する。ステップＳ１６０２で、ユーザは、必要に応じてレイアウトエディタを起動／表示／修正を行う。次のステップＳ１６０３で、紙ＩＤの取得が行われる。
【０３４１】
ステップＳ１６０４で、要素Ｆにより、紙ＩＤから２次元コードが作成される。ステップＳ１６０５で、作成された２次元コードは、電子文書内の所定の位置に重畳される。
【０３４２】
次のステップＳ１６０６で、作成された２次元コードが要素ＤＥ用の２次元コードかどうか判断される。この要素ＤＥとは、次に説明するペン型座標入力装置が要素Ｄと要素Ｅとの機能を有するため、要素Ｄと要素Ｅとを組み合わせたものである。
【０３４３】
要素ＤＥ用の２次元コードの場合、ステップＳ１６０８で、紙文書は、２次元コードが黒、それ以外がカラーで印刷され、処理は終了する。要素ＤＥ用の２次元コードではない場合、ステップＳ１６０７で、通常の印刷行われ、処理は終了する。
【０３４４】
次に、図７１を用いてペン型座標入力装置について説明する。このペン型座標入力装置は、筆記を行うとともに紙面の画像を撮像して２次元コードをデコードし、座標情報と紙ＩＤを得るペンである。
【０３４５】
図７１には、ペン型座標入力装置４３７と、ＭＦＰ８６と、プリンタ４３１と、スキャナ８０と、携帯情報端末４３８と、情報処理装置４３４、４３９と、記憶装置８３とが示されている。情報処理装置４３９と接続されている記憶装置８３には、紙文書の元となる電子文書が格納されている。情報処理装置４３４は、ペン型座標入力装置４３７とやり取りを行う。
【０３４６】
ペン型座標入力装置６０７は、人が手に持って筆記動作を行うことができる装置本体４４５を備え、筆記具状となっている。
【０３４７】
ペン型座標入力装置６０７は、先端部４４０と、筆記具４５１と、圧力センサ４４９と、液晶４４８と、画像読取装置４４１と、ＬＥＤ４４７、４５０と、ブザー４４４と、マイコン４４６とを有する。また、画像読取装置４４１は、ＣＣＤなどの光電変換素子４４２と、レンズなどからなる光学系４４３とを有する。ＬＥＤ４５０は、照明手段に対応し、画像読取装置４４１は、画像入力手段に対応する。
【０３４８】
筆記具４５１は、ボールペン、シャープペンシルなどであり、紙文書に加筆可能となっている。圧力センサ４４９は、先端部４４０が筆記面に接触しているかどうかを検出する。ＬＣＤ４４８、ブザー４４４、ＬＥＤ４４７は、それぞれが有する情報通知手段により、情報処理装置４３４から受信した情報を外部に情報を通知するものであり、必ずしも、これらのうちの一部あるいは全部を必要としない。これらは、例えば、ペン型座標入力装置４３７で読み取る対象ではない２次元コードが存在しないような紙文書に加筆するような場合、筆記中にもかかわらずコードを読み取ることが不可能であるので読み取り不能の表示をＬＣＤ４４８またはＬＥＤ４４７を用いて行うか、ブザー４４４によりユーザに通知する。
【０３４９】
画像読取装置４４１は、紙文書上の画像を読み取る装置である。画像読取装置４４１が有する光電変換素子４４２の読み取り解像度は３２０×２４０画素である。
【０３５０】
ＬＥＤ４５０は、局所照明である。このＬＥＤ４５０による紙面への光の照射によって紙面の照度が高いレベルで安定するため、高速のシャッタースピードによる画像撮像が可能になり高速の筆記にも追従できるようになる。また、絞りも小さくすることが可能になり、被写界深度を大きくなってペンの傾きが変わっても撮像される画像のぼけの程度が小さくなり、安定した画像読み取りが可能となる。
【０３５１】
なお、使用するＬＥＤは赤外線と白黒ＣＣＤが望ましい。この理由として赤外線は目に見えないため、筆記時にわずらわしさがないことや、また、２次元コードを赤外線を吸収する分光特性を有するカーボンブラックのインクで印刷し、紙文書を赤外線を吸収しないカラーのインクで印刷すれば、たとえシアン、マゼンタ、イエローのインクで黒色が表示されていてもカメラでは、黒色が見えず、２次元コードのドットだけが見え、筆記される文字の座標を検出することができる。
【０３５２】
マイコン４４６は、画像読取装置４４１で読み取った画像に基づいた各種処理を行う。マイコン４４６は装置本体４４５の外部のＰＣなどの情報処理装置４３４とBluetooth等の無線インタフェース、あるいはＵＳＢメモリ等の着脱式メモリ装置等を介してデータの授受が可能であり、マイコン４４６内に蓄積したデータを情報処理装置４３４に出力可能である。なお、図７１では、画像読取装置４４１、マイコン４４６などに電力を供給する電源や、マイコン４４６と情報処理装置４３４とのインタフェースなどは図示を省略している。
【０３５３】
マイコン４４６の構成を、図７２を用いて説明する。マイコン４４６は、ＣＰＵ４６１と、ＲＯＭ４６２と、ＲＡＭ４６３と、２次元コード読取装置４６４と、それらを接続するバス４６０とを有する。また、マイコン４４６には、ＬＣＤ４４８、ブザー４４４、ＬＥＤ４４７が接続されている。
【０３５４】
情報処理装置４３４などの各種外部装置とはバス４６０を介して接続されている。ＲＯＭ４６２には、ペン型座標入力装置４３７の動作を制御するプログラムやマイコン４４６を動作させるプログラムが予め内蔵されている。ＣＰＵ４６１は、それらのプログラムを動作させる。ＲＡＭ４６３は画像読取装置４４１から読み取った画像や、２次元コード読み取り中に生成される中間データ、２次元コードをデコードした際に得られる紙ＩＤや座標を一時的に保存する。
【０３５５】
２次元コード読取装置４６４は、ＲＡＭ４６３に記憶された画像から２次元コードを検出し、読み取って紙ＩＤや座標を検出する作業を行う。
【０３５６】
２次元コード読取装置４６４は、図７３に示される構成となっており、ドット検出器４７０と、コード枠検出器４７１と、データ取得器４７２と、データ置換器４７３と、既知情報メモリ４７４と、誤り訂正器４７５と、データ復号器４７６と、ペン先座標算出器４７７と、連続筆記検出器４７８と、筆記検出器４７９とを有する。コード枠検出器４７１は、コード枠検出手段に対応する。連続筆記検出器４７８と、筆記検出器４７９は、筆記状態検出手段に対応する。データ復号器４７６は、デコード手段に対応する。データ取得器４７２は、符号化情報取得手段に対応する。ペン先座標算出器４７７は、筆記位置検出手段に対応する。
【０３５７】
ドット検出器４７０は、ドットを検出するものである。コード枠検出器４７１は、２次元コードのコード枠兼アライメントドット（図１２参照）を検出するものである。データ取得器４７２は、２次元コードから読み取ったデータを取得するものである。データ置換器４７３は、誤りがあったデータなどを置換するものである。誤り訂正器４７５は、リードソロモン符号方式に従って誤り訂正を行うものである。データ復号器４７６は、訂正データや誤り訂正判定情報に基づき、データを復号するものである。ペン座標算出器４７７は、ペン座標を算出するものである。既知情報メモリ４７４は、紙ＩＤなど、既知となった情報を記憶するものである。筆記検出器４７９は、圧力センサ４４９からの信号により、筆記されているかどうかを検出するものである。連続筆記検出器４７８は、連続して筆記されているかを検出するものである。
【０３５８】
次に、マイコン４４６の具体的な動作について説明する。上述したように装置本体４４５には、先端部４４０の部分が筆記面に接触しているかどうかを検出する圧力センサ４４９が設けられている。すなわち、先端部４４０が筆記面に接触することにより先端部４４０に加わる圧力が筆記具４５１を介して圧力センサ４４９に伝達される。
【０３５９】
圧力センサ４４９はこの圧力を感知し、感知した情報をマイコン４４６に伝送する。マイコン４４６は圧力センサ４４９の情報から筆記中であると判断した場合は、ＬＥＤ４５０を点灯させた後、画像読取装置４４１を起動して画像の入力を始め、マイコン４４６は入力された画像から２次元コードをデコードして紙ＩＤと座標情報を取得する。
【０３６０】
筆記が終了したと判断した場合、マイコン４４６はＬＥＤ４５０を消灯させ、画像読取装置４４１を停止させる。このことによりペン型座標入力装置４３７の消費電力を小さくし、内蔵バッテリの消耗を少なくすることができる。
【０３６１】
次に、２次元コード読取装置４６４による２次元コードの読取動作について、図７４を用いて説明する。
【０３６２】
ステップＳ１７０１で、画像読取装置４４１で読み取られた紙文書の画像（８ビット）が入力され、ドット検出器４７０が２次元コードのドットを検出する。
【０３６３】
検出されたドットから、ステップＳ１７０２で、コード枠検出器４７１は画像内にある複数の２次元コードから一つの２次元コードの枠とその位置を検出する。このとき読み取った画像の例を図７５に示す。
【０３６４】
２次元コードの位置が検出できたならば、ステップＳ１７０３で、データ取得器４７２は、２次元コードの各白黒セルに応じて０または１のデータを取得し、２次元コードのデータ配置規則（図６６参照）に従ってデータの並べ替えを行う。
【０３６５】
ステップＳ１７０４では、誤り訂正処理が行われる。この処理については、次の図７６で詳細な説明をする。
【０３６６】
ステップＳ１７０５で、データ復号器４７６は、誤り訂正の判定情報が誤り訂正成功であれば動作する。誤り訂正失敗であればデータ復号器４７６は動作せず、処理が終了する。誤り訂正が成功すると、ステップＳ１７０６で、座標と紙ＩＤが復元される。ステップＳ１７０７で、ペン先座標算出器４７７は、筆記検出器４７９の出力が筆記中であれば、ペン先座標を算出して出力するが、筆記中でないならば現実にはありえない座標値（（−１、−１）等）を出力し、処理は終了する。
【０３６７】
次に、誤り訂正処理について図７６のフローチャートを用いて説明する。ステップＳ１８０１で、データ置換器４７３は、連続筆記検出器４７８から出力される連続筆記中であるか否かの信号により、連続筆記中かどうか判断する。連続筆記中ではない場合、ステップＳ１８０３へ処理が進む。
【０３６８】
連続筆記中の場合、データ置換器４７３は、ステップＳ１８０２で、取得したデータに対して、既知情報メモリ４７４から既知の紙ＩＤを読み出し、２次元コードから取得したデータの紙ＩＤに相当する部分を既知の紙ＩＤで置き換える。
【０３６９】
なお、連続筆記検出器４７８は、加筆時にペン先に感じる圧力を検出する圧力センサ４４９の出力信号を入力して筆記中か否かを判定する筆記検出器４７９の出力が入力され、筆記の状態が所定時間以上続くと連続筆記中であると判断し、それ以外の場合を連続筆記中ではないと判断して、その信号を出力する。
【０３７０】
データ置換器４７３の出力に対し、誤り訂正器４７５は、ステップＳ１８０３で誤り訂正を行う。誤り訂正器４７５からは、誤り訂正が成功したか否かの判定情報と誤り訂正後のデータが出力される。
【０３７１】
この誤り訂正されたデータは紙ＩＤと座標情報である。出力された誤り訂正の判定情報はデータ復号器４７６、ペン先座標算出器４７７、既知情報メモリ４７４へ入力され、それぞれの機器の制御に使用される。
【０３７２】
ステップＳ１８０４で、誤り訂正成功かどうか判断され、成功しなかった場合、処理は終了する。また、誤り訂正が成功である場合、既知情報メモリ４７４は、ステップＳ１８０５で、誤り訂正された情報の紙ＩＤに相当する部分を新たに保存し、処理を終了する。
【０３７３】
データ置換器４７３によるデータ置換の具体例を、図７７を用いて説明する。図７７に示される表は、誤り訂正による置換例を示すものである。この表の横方向には、「水平」、「垂直」、「紙ＩＤ」、「誤り訂正」、「誤り訂正可否」という項目を有する。
【０３７４】
「水平」、「垂直」とは、それぞれ水平座標、垂直座標を示す。「誤り訂正」は、誤り訂正符号を示す。「誤り訂正可否」は、対応するデータの誤りの訂正の可否を示す。なお、「水平」、「垂直」、「紙ＩＤ」、「誤り訂正」はバイト数に応じて欄が設けられている。
【０３７５】
この表の縦方向には、「正しいデータ」、「観測データ」、「ＩＤ置き換え」という子目を有する。「正しいデータ」は、エンコードされ、誤り訂正符号を生成したデータである。「観測データ」は画像から２次元コードを抽出してコードのドットからデータを再構成したものである。「ＩＤ置き換え」は、観測データの紙ＩＤを置き換えたものである。
【０３７６】
観測データには、垂直座標と紙ＩＤの１、２バイト目に誤りがある。この場合３つの誤りがあるため、誤り訂正は不可能である。しかしながら、ＩＤ置き換えに示されるように、既知情報として紙ＩＤを置換えることにより、紙ＩＤの部分の誤りがなくなり、垂直座標の１バイトだけが誤りとなる。これにより、誤り訂正が可能となって正しい座標情報、ＩＤ情報が得られる。
【０３７７】
誤り訂正に成功したデータはデータ復号器４７６により、紙面上の座標情報と紙ＩＤに復号される。ちなみに図７７の場合は、水平座標＝２４ｍｍ、垂直座標１２３ｍｍ、紙ＩＤ＝２３となる。この座標およびデコードに成功した２次元コードの画像上の座標を用いてペン先座標算出器４７７はペン先の紙面上での座標を算出する。これによりペン型座標入力装置４３７の先端部４４０の位置が確定する。
【０３７８】
次に２次元コード読取装置の図７３とは異なる構成を図７８に示す。図７３と異なる構成は、第１誤り訂正器５２０、第２誤り訂正器５２１と選択器５２２である。第１誤り訂正器５２０および第２誤り訂正器５２１の機能は図７３の誤り訂正器４７５と同一の機能を有する。
【０３７９】
選択器５２２の機能を説明する。連続筆記検出器４７８において連続筆記中であると判断された場合は、常に第２誤り訂正器５２１の出力を選択し、図７３の２次元コード読取器と同一の動作を行う。筆記検出器４７９の出力が筆記中であり、かつ連続筆記中でない場合、すなわち筆記の開始時には、選択器５２２は次のような動作を行う。
【０３８０】
第１誤り訂正器５２０の誤り訂正判定情報が誤り訂正成功の場合には第１誤り訂正器５２０の出力が選択される。第１誤り訂正器５２０の誤り訂正判定情報が誤り訂正失敗の場合には、第２誤り訂正器５２１の出力が選択される。
【０３８１】
このような処理を行うと、新しい加筆が行われる際に同一の文書への加筆ならば装置としての誤り訂正率が向上するので図７３の装置より有利である。
【０３８２】
今まで説明してきた２次元コード読取装置４６４は、ハードウェアでコードの読み取りを行っているが、ソフトウェアで行ってもよく、この場合は２次元コード読み取り方法を実現するプログラムがマイコン４４６のＲＯＭ４６２に格納されており、そのプログラムの命令が順次ＣＰＵにロードされて命令の実行が行われ、２次元コードの読取処理がなされる。
【０３８３】
この２次元コードの読取処理の全体は、図７４で示したフローチャートと同じである。このようにソフトウェアで２次元コードの読取処理を実現した場合、ドットの検出、コード枠の検出、データ取得、誤り訂正、座標・紙ＩＤ復元、ペン先座標算出の各処理は、図７３のドット検出器４７０、コード枠検出器４７１、データ取得器４７２、誤り訂正器４７５、データ復号器４７６、ペン先座標算出器４７７の各機能をソフトウェアで実現したものである。
【０３８４】
また、誤り訂正処理の他の例を、図７９のフローチャートに示す。図７６と異なるのは、筆記中であって連続検出中でない場合、すなわち筆記開始時に紙ＩＤを置き換えずに誤り訂正を行い、誤り訂正ができなかった場合に紙ＩＤ部分の置き換えを行って誤り訂正を行うところである。同一文書への加筆時には、図７９の方法を使用したほうが誤り訂正率が向上する。
【０３８５】
誤り訂正処理について、図７９のフローチャートを用いて説明する。ステップＳ１９０１で、取得したデータが連続筆記中であるかどうかが判断される。
【０３８６】
連続筆記中ならば、ステップＳ１９０２において既知情報である紙ＩＤを用いて、読み取られた紙ＩＤの置き換えが行われる。次のステップＳ１９０３で誤り訂正が行われる。ステップＳ１９０４で、訂正が成功したかどうか判断される。誤り訂正が成功した場合には、ステップＳ１９０７で既知情報が保存される。誤り訂正が成功しなかった場合、処理は終了する。
【０３８７】
ステップＳ１９０１の判断処理で、筆記開始時を判断された場合、ステップＳ１９０５で、誤り訂正が行われる。次のステップＳ１９０６で、誤り訂正が成功したかどうか判断され、訂正が成功した場合には、ステップＳ１９０７へ処理が進み、成功しなかった場合には、ステップＳ１９０２へ処理が進む。
【０３８８】
次に、ドット検出器４７０の動作について説明するが、この説明に先立ち、以降の処理で説明され、各検出器に用いられる領域について、図８０を用いて説明する。図８０には、４つの領域４９１、４９２、４９３、４９４が示されている。領域４９１は、画像領域全体であり、画素数は３２０×２４０となっている。領域４９２の画素数は、２８０×２２０画素である。領域４９３の画素数は、１８０×１２０画素である。領域４９４の画素数は、２６０×２００画素である。これらの領域は、以下で説明する各検出器に応じて使い分けられる。
【０３８９】
ドット検出器４７０の説明をする。ドット検出器４７０がドット検出を行う領域は、図８０に示される領域４９２である。
【０３９０】
領域４９２を用いるのは、最外周の領域４９１では画像品質が良くなく、正しいドット検出を行うことが難しい可能性があることと、リアルタイム処理のためにできるだけ無駄な処理を避けるためであり、ドット検出器４７０は画像領域全体ではなくそれより小さい領域においてドット検出を行う。
【０３９１】
次に、図８１を用いてドット検出器４７０について説明する。ドット検出器４７０は、注目画素Ｚの周囲の斜線で記された画素(Ａ〜Ｈ)に既に検出されたドットが存在せず、かつ、注目画素Ｚの画素値が周囲画素（Ｉ〜Ｘ）のどの画素値よりも所定の値（Ｔｈ）以上に小さい場合に注目画素Ｚをコードのドットとであるとして検出する。なお、このときの入力画像は８ビットグレースケールで、黒を０、白を２５５とする。
【０３９２】
Ｔｈの設定であるが、Ｔｈが小さければ小さいほどドットを検出しやすくなるが、同時にノイズもドットとして検出してしまい、検出したデータに誤りが起きる可能性がある。逆にＴｈが大きければノイズを検出せずに確実に誤りを減らすことができるがコード枠を検出することが難しくなり座標取得率が小さくなる。
【０３９３】
Ｔｈの大きさに応じた実際の座標取得率を図８２に示した。図８２には、紙ＩＤを置き換えた場合と置き換えない場合との両方の座標取得率が記載されている。「する」は置き換えた場合であり、「しない」は置き換えない場合を示している。
【０３９４】
この表では、置き換えをした場合もしない場合も、一時的に座標取得率が増えるが、Ｔｈが増えるとともに、座標取得率は減っていくことが示されている。
【０３９５】
次に、コード枠検出器４７１について説明する。コード枠検出部４７１は、入力画像からコード位置を出力するものである。コード枠検出器４７１は、図８３に示されるように、第１コーナー検出器５０１と、第２コーナー検出器５０３と、第３コーナー検出器５０５と、第４コーナー検出器５０７と、ドット追跡器Ａ５０２と、ドット追跡器Ｂ５０４と、ドット追跡器Ｃ５０６と、ドット追跡器Ｄ５０８とで構成されている。
【０３９６】
各コーナー検出器は、コード枠のコーナーを検出し、各ドット追跡器は、隣のドットを追跡するものである。このように追跡された追跡経路Ｓ、Ｔが示された図８４を用いて、コーナー検出器とドット追跡器について説明する。
【０３９７】
第１コーナー検出器５０１は、ドットを検出した画像から、あるドットＸが２次元コードのコーナーであるか否かを判定する。ドット追跡器Ａ５０２は、第１コーナーからドットで構成されるコード枠の８画素分を４方向に追跡して第２コーナー候補画素（Ｂ、Ｄ）を検出する。第２コーナー検出器５０３は、ドット追跡器Ａ５０２で検出された第２コーナー候補画素が第２コーナーであるか否かを検出する。
【０３９８】
ドット追跡器Ｂ５０４は、第２コーナーからドットで構成されるコード枠の１２画素分をドット追跡器Ａ５０２でのドット追跡方向の時計回り方向に追跡し第３コーナー候補画素（Ｇ、Ｅ）を検出する。第３コーナー検出器５０５は、ドット追跡器Ｂ５０４で検出された第３コーナー候補画素が第３コーナーであるか否かを検出する。ドット追跡器Ｃ５０６は、第３コーナーからコード枠の８画素分を、ドット追跡器Ｂ５０４でのドット追跡方向の時計回り方向に追跡し第４コーナー候補画素（Ｃ、Ａ）を検出する。
【０３９９】
第４コーナー検出器は、ドット追跡器Ｃ５０６で検出された第４コーナー候補画素が第４コーナー画素であるか否かを検出する。ドット追跡器Ｄ５０８は、第１コーナーと第４コーナーの間のコード枠を構成するドットを検出する。
【０４００】
このコード枠検出器４７１により、最大２つの２次元コードのコード枠を検出し、それを構成するドットの画像上の座標を検出できる。
【０４０１】
まず、第１コーナー検出器５０１について、図８５を用いて説明する。第１コーナー検出器５０１は、入力画像からコーナー位置を出力するものであり、周囲ドット検出器５１０と、点対称ペア検出器５１１で構成される。周囲ドット検出器５１０は、ドットが存在する注目画素の周囲で４つ以上のドットが存在するか否かを検出するものである。点対称ペア検出器５１１は、検出された周囲ドットから、注目画素を点対象とするドットのペア２組を検出するものである。
【０４０２】
具体的に、図８６を用いて説明する。図８６は、１７×１７画素を示すものであり、画素Ａ〜画素Ｆ、画素Ｎは説明で用いられる画素である。
【０４０３】
周囲ドット検出器５１０は、注目画素Ｎを中心とする１７×１７画素の中で注目画素Ｎの周囲に存在するドットを検出する。図８６の場合、画素Ａ〜画素Ｆの６画素が存在する。これが周囲ドット画素として検出される。それらの画素Ａ〜画素Ｆのうちで、画素Ｎとの距離が近い画素のペアで、ペアとなっている画素同士の中間点が画素Ｎに近いペアを２組検出する。このようなペアを、点対称ペアと表現することとする。
【０４０４】
図８６の場合、（Ｂ、Ｄ）、（Ｃ、Ｆ）の２組が点対称ペアである。それ以外の画素Ａおよび画素Ｅは、ノイズであると判断され除去される。
【０４０５】
このようにして注目画素Ｎおよび周囲の２組の点対称ペアが検出されると、第１コーナー検出器５０１は注目画素Ｎを第１コーナーとして検出する。第１コーナー検出器５０１が検出対象とする領域は、図８０の領域４９３である。領域４９３は１８０×１２０画素の領域であり、画像領域の縦横それぞれほぼ半分の大きさを有する。
【０４０６】
画像全体の領域４９１やドット検出器４７０の動作領域４９２より小さい領域４９３を検出対象とする理由は、ドットパターンが領域４９２の中に存在する場合、ドットパターンの最も画像の内側に存在するコーナーの存在範囲を領域４９３としたためである。
【０４０７】
なお、周囲ドット検出器５１０がドットを検索する方向は通常のラスター走査ではなく、内側から外側への渦巻き走査となる。
【０４０８】
図８７は、画素を渦巻き走査する様子を示すものである。図８７に示される四角は画素を表しており、中心の画素から外側に渦巻き走査している様子が示されている。
【０４０９】
このように渦巻き走査とする理由は、中央付近の画像の品質が周囲の画像の品質と比較して優れ、ドットの検出が確実に行われる確率が高いため、画像の中央またはその付近からコードパターンを検出するほうが短時間で検出できる可能性が高くなるからである。そのため、この渦巻き走査はリアルタイム処理に非常に適した走査である。
【０４１０】
次に、ドット追跡器Ａ５０２の詳細を図８８と先ほど説明した図８４を用いて説明する。図８８は２次元コードのコーナー付近を構成するドットを示したものである。Ｘはコーナードット、その他のＡ〜Ｉはコード枠を構成するドットである。今、ＸからＤＥＦの方向へドットを追跡することにする。簡単のため、Ａ〜Ｉ、Ｘをそれぞれ座標ベクトルとみなす。
【０４１１】
まず、Ｙ＝ ２Ｄ − Ｘを計算する。ＹはドットＥの推定ベクトルである。Ａ〜Ｄは第１コーナー検出器５０１で既に検出されているので既知である。Ｙの周囲５×５画素においてドットＥを探索する。
【０４１２】
Ｅが存在すれば、Ｙ ＝ ２Ｅ − Ｄを計算する。今度のＹはドットＦの推定ベクトルである。この追跡を７回繰り返して第２コーナー候補画素を検出する。
【０４１３】
追跡方向はＸ→Ａ、Ｘ→Ｂ、Ｘ→Ｃ、Ｘ→Ｄの４方向存在し、検出された第２コーナー候補画素すべての情報を第２コーナー検出器５０３に転送する。
【０４１４】
第２コーナー検出器５０３の基本的な動作は第１コーナー検出器５０１と同一である。ただ、入力する注目画素となるドットが複数（最大４）存在する可能性があることである。その中で検出される第２コーナーは、追跡の回数が７回のため、ＢとＤの最大２である（図８４参照）。
【０４１５】
ドット追跡器Ｂ５０４の基本的な動作はドット追跡器Ａ５０２と同一である。異なるのは追跡を開始するドットが２つあり、各ドットあたり、一つの方向の追跡を行うのと、各追跡あたりドット追跡操作を１１回繰り返すことである。図８４の場合、開始するドットは、Ｂ、Ｄであり、方向はそれぞれＢ→Ｇ、Ｄ→Ｅである。このようにして、第３コーナー候補画素が検出される。図８４の場合、ＧとＥである。
【０４１６】
第３コーナー検出器５０５はドット追跡器Ｂ５０４で追跡できた第３コーナー候補画素が第３コーナーであるか否かを検出する。基本的な動作は前記第１、第２コーナー検出器と同一である。第３コーナー検出器５０５が図８４の場合、ＧとＥを第３コーナーであると検出したとする。
【０４１７】
このとき、ドット追跡器Ｃ５０６は二つの方向にドット追跡を行う。図８４の場合、Ｇ→Ｃ、Ｅ→Ａである。追跡回数はドット追跡器Ａ５０２と同じ７回であり、図８４の場合、第４コーナー候補画素としてＣ、Ａが検出される。
【０４１８】
ドット追跡器Ｄ５０８はドット追跡器Ｂ５０４と同一構成であり、図８４の場合、Ｃ→Ｘ、Ａ→Ｘの方向に１１回追跡してＸに至る。Ｘはすでに第１コーナーであることがわかっているので、追跡経路Ｓ、Ｔによりコード枠が検出されたことになる。
【０４１９】
このようにして２次元コードのコード枠が検出される。２次元コードのデコードの際にどちらのコードを使うかは、画像上のコード中心の水平座標が大きい方を優先する。このコードがデコードできなかった場合はもう一方のコードを使用してデコードを実行する。
【０４２０】
上記ドット追跡器Ａ、Ｂ、Ｃ、Ｄが追跡する画像領域は図８０の領域４９４（２６０×２００画素）である。ドットを検出した領域４９２より少しだけ小さいのは、第１、第２、第３、第４コーナー検出器においてコーナー検出に使用するアルゴリズムがコーナードットを中心として１７×１７画素の領域を使用して、その範囲で点対称ペアドットを検出するためである。
【０４２１】
以上がコード枠検出器４７１の説明である。次に、データ取得器４７２（図７３参照）について、図８９を用いて説明する。
【０４２２】
図８９では、コード枠のコーナーであるドット４つを除いたドットをa1〜a7、b1〜b11、c1〜c7、d1〜d11、とする。これらドットを結ぶ水平線と垂直線の交点を検出することで、２次元コードのデータを取得できる。
【０４２３】
データを取得する処理を、図９０のフローチャートを用いて説明する。ステップＳ２００１で、データ取得器４７２は、コード枠を構成するドットを結ぶ水平線、垂直線の交点を検出する。この処理は、例えばa1とc1を結ぶ直線とb2とd2を結ぶ直線の交点の座標を検出するものである。次のステップＳ２００２で、データ取得器４７２は、この交点の座標を中心にして３×３の領域においてドットの有無を検出し、処理を終了する。
【０４２４】
図８９の場合はドット無しとなり取得されるデータは“０”となる。データ取得器４７２は、２次元コード全データに対して行ってコードデータを取得し、データ配置規則（図６６参照）に従ってデータを再構成する。
【０４２５】
次に、ペン先座標算出器４７７（図７３参照）について説明する。ペン先座標算出器４７７は、コーナー画像座標とコーナー紙面座標とグレースケール画像からペン先座標を出力するものであり、図９１に示されるように、座標補正器５２７と、射影パラメータ算出器５２５とペン先座標変換器５２６で構成される。なお、コーナー画像座標とは、画像におけるコーナーの座標であり、コーナー紙面座標とは、紙文書上におけるコーナーの座標である。射影パラメータ算出器５２５は、パラメータ検出手段に対応し、ペン先座標変換器５２６は、座標系変換手段に対応する。
【０４２６】
座標補正器５２７は、後述するように、各コーナーのうち、所定の条件を満たさないコーナー画像座標を別の座標に置換し、コーナー画像座標の置換に応じてコーナー紙面座標の置換も行う。ペン先座標の算出に用いるコーナー画像座標は、検出したコードフレームの４つのコーナードットとそれに対応するコーナー紙面座標が初期値として設定される。
【０４２７】
このとき、画像読取装置４４１から入力された画像はすべての位置で焦点があっているわけではなく、これらのコーナードットの存在する位置では画像がぼけていることがある。画像がぼけている場合、後述するドット中心位置が正確に検出できないという不具合が生ずるためペン先座標の算出の精度が低下する問題が発生する。
【０４２８】
それを防ぐため、座標補正器５２７が用いられる。図９２は、座標補正器５２７の詳細を示す図である。図９２に示されるように、座標補正器５２７は、最大ぼけドット検出器５３０と、最小ぼけドット検出器５３１と、ドット位置置換器５３２で構成される。最大ぼけドット検出器５３０と、最小ぼけドット検出器５３１は、ぼけドット検出手段に対応する。
【０４２９】
最大ぼけドット検出器５３０は、最もぼけているコーナードットを検出する。最小ぼけドット検出器５３１は、最大ぼけドット検出器５３０で検出されたドット近傍のフレームドットの中から最もぼけの程度の少ないドットを検出する。ドット位置置換器５３２は、最大ぼけドット検出器５３０で検出されたドット位置を最小ぼけドット検出器５３１で検出されたドット位置で置き換えて、それに応じて紙面座標での置換を行う。
【０４３０】
座標補正器５２７の動作について説明する。図９３はグレースケール画像の５×５近傍を表し、ｖ（ｉ、ｊ）と記されている画像の中心は、コーナー画像座標の一つである。また、ｖは画素の値である。このｖを用いて、数５により、ぼけの程度を示す量ｂｌｕｒを計算する。
【０４３１】
【数５】

ｂｌｕｒは画像がぼけている場合は値が小さくなる。この値を４つのコーナー画像座標において計算し、最小の値を持つコーナー画像座標を最大ぼけを有するコーナー画像座標として検出する。
【０４３２】
次に、最大ぼけを有するコーナー画像座標の近傍にある複数のフレームドットの中から最小ぼけを有するフレームドットを検出する。具体的に、図９４を用いて説明する。図９４には、コーナーＡｒ、Ｂｒ、Ｃｒ、Ｄｒと楕円で囲まれた近傍フレームドット５４０が示されている。近傍フレームドット５４０に属するドットは、ｂｌｕｒが最小であるコーナーＡｒの近傍にあるドットである。
【０４３３】
Ａｒを除く近傍フレームドット５４０から最小ぼけを有するドットを検出する。ぼけの程度の計算は数５を用いる。今回は最小ぼけを検出するのでｂｌｕｒの最大値を算出するドット位置を検出する。それをＡｒ’とする。
【０４３４】
続いて図９５を用いて説明する。図９５は、射影パラメータの算出を示す図であり、左側には画像で得られた座標である画像座標が示され、右側には紙文書の紙面上での座標である紙面座標が示されている。Ａｒ〜Ｄｒは、画像座標におけるコードのコーナーであり、Ｐｒはペン型座標入力装置４３７の先端部４４０の座標である。ペン型入力装置６０７では画像読取装置４４１と先端部４４０は固定されているので、Ｐｒの座標は常に一定である。
【０４３５】
なお、先端部４４０はペン型座標入力装置４３７の構成により画像読取装置４４１で撮像される画像内にある場合もあれば画像外である場合もありうる。画像外にある場合は、その座標は負の値あるいは画像の座標の最大値を越えることになる。
【０４３６】
Ａｒ、Ｂｒ、Ｃｒ、Ｄｒに対応するコーナー紙面座標をＡｓ、Ｂｓ、Ｃｓ、Ｄｓとし、Ａｒ’に対する座標をＡｓ’とする。Ａｓ’の座標はＡｒ、Ａｒ’、Ｄｒの各ドット間の距離の比率に応じてＡｓ、Ｄｓの座標からＡｓ’の座標を算出する。
【０４３７】
座標補正器５２７での処理が終わると、射影パラメータ算出器５２５は、補正された画像上のコードコーナー座標（Ａｒ’、Ｂｒ、Ｃｒ、Ｄｒ）と、それに対応する紙面上のコードコーナー座標（Ａｓ’、Ｂｓ、Ｃｓ、Ｄｓ）が入力され、それらから射影パラメータを算出する。射影パラメータの算出について、再び図９５を用いて説明する。
【０４３８】
２次元コードのデコードによりＡｓが決定されるのでその隣接コーナーであるＢｓ〜Ｄｓ、Ａｓ’は自動的に決まる。算出したいのはＰｓの座標である。
【０４３９】
射影変換式は図３４の式であり、図３４で説明したときと同様に、ｂ１〜ｂ８のパラメータが算出される。ペン先座標変換器５２６はこのパラメータを用いてＰｒをＰｓに変換して紙面上の先端部４４０の座標を決定する。
【０４４０】
なお、上記ペン先座標の算出において、画像における２次元コードのコーナー（Ａｒ’〜Ｄｒ）とペン型座標入力装置４３７の先端部４４０（Ｐｒ）の座標は、画像の各画素の位置を表す整数ではなく、画像におけるドットの中心、ペン先の紙に接する部分の中心の座標である。
【０４４１】
図９６で示すようにドットの中心は必ずしも画素位置の中心に来るとは限らず、位置がずれる。そのため、正確なドットの中心を検出し、ペン先の紙面における座標の推定精度を向上させている。
【０４４２】
正確なドットの中心を検出するための方法を述べる。図９７で示すように、元のグレースケールの入力画像において、ドット検出器４７０で検出したドットの画素位置を中心とする３×３画素で最小の画素値を有する画素位置を検出する。この画素位置を(i , j)とする。
【０４４３】
また、画素位置（i , j）を中心とした３×３画素のウィンドウ内の各画素の値を図９８で示すようにv(x,y)(ただし、i-1 <= x <= i+1, j-1 <=y <=j+1) とする。下記の数６、数７を用いて、中心座標(ic, jc)を算出する。
【０４４４】
【数６】

【０４４５】
【数７】

数６、数７を利用してＡｒ’〜Ｄｒの４点を決定する。
【０４４６】
また、ペン先位置の座標Ｐｒは以下のようにして算出する。まず、仮のペン先位置Ｐｒ’を画像の中心とする。たとえば、画像の大きさが３２０×２４０画素ならばＰｒ’=（１６０、１２０）である。
【０４４７】
そして、ペン先を紙面に接触させ、ペンの姿勢と、ペン先と紙と接触位置を固定させて紙を回転させる。すると、検出される複数の筆記座標は同心円を描くので、その中心座標がペン先の紙の上での座標Ｐｓである。Ｐｓの座標を(xc,yc)、Ｐｓと同心円との距離をr、同心円状の各筆記座標を(xn,yn)とすると、Ｐｓの検出は評価関数
【０４４８】
【数８】

を最小にする(xc,yc,r)を求めることに他ならない。各筆記座標には対応した射影変換係数がすでに求められているので、紙の上の座標Ｐｓを逆射影変換を行うと、Ｐｒの座標が求められる。Ｐｒの座標は複数あるのでその重心位置をとると真のＰｒ座標を求めることができる。このようにすることで、高精度なペン先位置検出を行うことが可能になる。
【図面の簡単な説明】
【０４４９】
【図１】文書処理システムの全体構成図を示す図である。
【図２】ＰＣのハードウェア構成を示す図である。
【図３】文書処理システムを構成する要素Ａ〜Ｊを示す図である。
【図４】要素Ａの第１の実施例を示すフローチャートである。
【図５】要素Ａの第２の実施例を示すフローチャートである。
【図６】要素Ａの第３の実施例を示すフローチャートである。
【図７】要素Ａの第４の実施例を示すフローチャートである。
【図８】要素Ａの第５の実施例を示すフローチャートである。
【図９】紙ＩＤ管理テーブルを示す図である。
【図１０】紙ＩＤ管理テーブルを示す図である。
【図１１】紙文書の例を示す図である。
【図１２】紙文書の例を示す図である。
【図１３】筆記情報入力装置を示す図である。
【図１４】筆記情報入力装置の外観例を示す図である。
【図１５】筆記情報入力装置の処理を示すフローチャートである。
【図１６】筆記情報入力装置から送信されるデータの形式を示す図である。
【図１７】画像入力装置を示す図である。
【図１８】画像入力装置の処理を示すフローチャートである。
【図１９】画像正立処理を示すフローチャートである。
【図２０】領域抽出処理を示すフローチャートである。
【図２１】画素にラベルをつける様子を示す図である。
【図２２】外接矩形座標検出処理を示す図である。
【図２３】外接矩形同士を統合した外接矩形を示す図である。
【図２４】バーコード読取装置を構成する各部を示す図である。
【図２５】頂点画素検出を示す図である。
【図２６】頂点候補検出を示す図である。
【図２７】コード枠検出を示す図である。
【図２８】２次元コード読取処理を示すフローチャートである。
【図２９】斜め方向からの読み取る様子を示す図である。
【図３０】２次元コードを示す図である。
【図３１】２次元コードを示す図である。
【図３２】射影変換を示す図である。
【図３３】２次元コードと読み取った２次元コードを示す図である。
【図３４】変換パラメータを求める数式を示す図である。
【図３５】２次元コード作成装置を構成する各部を示す図である。
【図３６】データの配置位置を示す図である。
【図３７】２次元コード作成処理を示すフローチャートである。
【図３８】データの配置位置を示す図である。
【図３９】管理テーブルを示す図である。
【図４０】帳票を示す図である。
【図４１】情報テーブルを示す図である。
【図４２】帳票構造体を示す図である。
【図４３】帳票作成プログラムのユーザインタフェースを示す図である。
【図４４】テキストボックスを作成する様子を示す図である。
【図４５】プロパティ群を示す図である。
【図４６】筆記情報をデータに分解する様子を示す図である。
【図４７】筆記情報をデータに分解し保存する処理を示すフローチャートである。
【図４８】要素Ｋと他の要素との関連を示す図である。
【図４９】画像取得装置の構成例を示す図である。
【図５０】撮像部、駆動部、制御部の詳細な構成例を示す図である。
【図５１】撮像部の構成例を示す図である。
【図５２】紙文書の例を示す図である。
【図５３】画像取得装置の処理を示すフローチャートである。
【図５４】撮像部の上下方向への駆動を示す図である。
【図５５】分割画像を示す図である。
【図５６】接合した画像を示す図である。
【図５７】あおり歪の補正を行った画像を示す図である。
【図５８】画像取得装置の構成例を示す図である。
【図５９】画像取得装置の構成例を示す図である。
【図６０】画像取得装置の構成例を示す図である。
【図６１】画像取得装置の構成例を示す図である。
【図６２】画像取得装置の構成例を示す図である。
【図６３】画像取得装置の構成例を示す図である。
【図６４】ドットの大きさとドット間隔を示す図である。
【図６５】データの配置領域を示す図である。
【図６６】データの配置規則を示す図である。
【図６７】２次元コードを示す図である。
【図６８】２次元コードの作成処理を示すフローチャートである。
【図６９】データのエンコード処理と誤り訂正符号付加を示す図である。
【図７０】要素Ａの印刷処理を示すフローチャートである。
【図７１】ペン型座標入力装置を示す図である。
【図７２】マイコンの構成図である。
【図７３】２次元コード読取装置の構成図である。
【図７４】２次元コードの読取動作を示すフローチャートである。
【図７５】２次元コードを読み取った画像を示す図である。
【図７６】誤り訂正処理を示すフローチャートである。
【図７７】データ置換の具体例を示す図である。
【図７８】２次元コード読取装置の構成図である。
【図７９】誤り訂正処理を示すフローチャートである。
【図８０】各検出器に用いられる領域を示す図である。
【図８１】ドット検出器が検出するドットを示す図である。
【図８２】座標取得率を示す図である。
【図８３】コード枠検出器の構成図である。
【図８４】追跡経路を示す図である。
【図８５】第１コーナー検出器の構成図である。
【図８６】点対称ペアの説明図である。
【図８７】画素を渦巻き走査する様子を示す図である。
【図８８】２次元コードのコーナー付近を構成するドットを示す図である。
【図８９】データ取得器のデータ取得の説明図である。
【図９０】データを取得する処理を示すフローチャートである。
【図９１】ペン先座標算出器の構成図である。
【図９２】座標補正器の詳細を示す図である。
【図９３】グレースケール画像の５×５近傍を表す図である。
【図９４】近傍フレームドットを示す図である。
【図９５】射影パラメータの算出を示す図である。
【図９６】ドットの中心の位置と画素を示す図である。
【図９７】ドット検出器で検出した画素と最小画素値を有する画素の位置検索を示す図である。
【図９８】最小画素値を有する画素を中心とした３×３ウィンドウの定義を示す図である。
【符号の説明】
【０４５０】
１１ 頂点候補検出部
１２ コード枠検出部
１３ 射影変換係数算出部
１４ データサンプリング部
１５ 誤り訂正部
１６、２０ フォーマット変換部
２１ 誤り訂正部
２３ ２次元コード作成部
３１ 入力装置
３２ 表示装置
３３ ドライブ装置
３４ 記録媒体
３５ 補助記憶装置
３６ メモリ装置
３７ 演算処理装置
３８ インタフェース装置
４０、４７ 脱会・入会登録用紙
４１、４２、４３、４４、４８、４９、５０、５１ タイミングマーク
４５、５７、５８、６７、６８、２９０ ２次元コード
４６ コンテンツ
５２ コンテンツの一部
５３ コンテンツの一部の拡大図
５４ 識別子
５５ コード枠兼アライメントドット
５６ データドット
５９ 紙文書例
６０ 筆記情報入力装置
６１ 座標入力装置
６２ 紙ＩＤ情報読取装置
６３ 紙ＩＤ
６４ 筆記情報
６５ 文書本文
６６ 専用入力ペン
７１ 記憶装置
７２ 通信装置
７３ 制御装置
７４ 座標入力装置
７６、７７、７８、７９ 黒枠判定ライン
７５ 紙ＩＤ情報読取装置
８０、１０５ スキャナ
８１ スキャナ制御装置
８２ 制御装置
８３ 記憶装置
８４ 画像処理装置
８５ ネットワーク制御装置
８６ ＭＦＰ
８７ ネットワーク
８８ 画像入力装置
９０、９１、９２、９３ 画素
９４、９５、９６ 外接矩形
１００ 記憶装置
１０１ 帳票作成用ＰＣ
１０２ 印刷装置
１０３ 帳票処理用ＰＣ
１０４ Ｄ−ＰＡＤ
１０６ データサーバ
１０７ ネットワーク
１０８ 帳票作成装置
１０９ 帳票処理装置
１１０ ユーザ
１１１ 外部処理プログラム
１１２ ストレージ
１２１ 要素Ａ
１２２ 要素Ｂ
１２３ 要素Ｃ
１２４ 要素Ｄ
１２５ 要素Ｅ
１２６ 要素Ｆ
１２７ 要素Ｇ
１２８ 要素Ｈ
１２９ 要素Ｉ
１３０ 要素Ｊ
１３１ 要素Ｋ
１４１、１４２、１４３、１４４、１４６、１５１、１５２、１５３、１５４ 列
１４５、１５５ 行
１７０ 記入部Ａ
１７１ 記入部Ｂ
１７２ 記入部Ｃ
１７３ 記入部Ｄ
１７４ 記入部Ｅ
１７５ 氏名ラベル
１７６ レイアウト情報
１７７ 認識情報
１７８ 保存先情報
１８０ 記入帳票イメージ
１８１ 未記入帳票イメージ
１８２ 筆記イメージ
２０１、３１０ 撮像部
２０２ 駆動部
２０３ 支柱
２０４ インタフェース
２０５ 制御部
２０６ 支持台
２０７ 操作スイッチ
２０８ 紙文書
２１０、４６１ ＣＰＵ
２１１ システムコントローラ
２１２ ＳＤＲＡＭ
２１３ ＰＣＩバス
２１４ ＰＣＭＣＩＡ
２１５ Ｉ／Ｏ入出力デバイス
２１６ ハードディスク
２１７ ＩＤＥ
２１８ ＰＣＩ／ＩＳＡブリッジＩＤＥＵＳＢ変換インタフェース
２１９、２３９ ＵＳＢ
２２０ ＩＳＡバス
２２１、２３７ Ｉ／Ｏコントローラ
２２２、２３８ シリアル
２３４ パラレル
２３５ ＬＡＮインタフェース
２３６ ＭＰＵ
２４０ メモリ
２４１ ＣＤＳ
２４２ Ａ／Ｄ変換器
２４３ 駆動回路
２４４ ロータリエンコーダＸ
２５５ ステッピングモータＸ
２５６ ステッピングモータＹ
２５７ ロータリエンコーダＹ
２５８ 検出回路
２６１ Ｉ／Ｏデバイス
２６２ 撮像素子
２６３ フォーカスレンズ
２６４ シャッタ
２６５ 絞り機構
２６６ ズームレンズ
２６７、２６８ 固定レンズ
２８０ ＴＧ
２８１ ＩＰＰ
３０１、３０２ 領域
３１０ 撮像部
３１１、３１４ データ識別情報
３１２ 紙ＩＤ情報読み取り部
３１３ 下敷き
３１５ 支持台
３１６ 投影部
３１７ 投影領域
３１８ 携帯情報端末
４０１、４０２、４０３、４０４、４０５、４０６、４０７、４０８、４０９ データ領域
４１１ ドット
４１２ 最小ドット
４２０、４２１、４２２、４２３、４２４ ２次元コード
４３１ プリンタ
４３４、４３９ 情報処理装置
４３７ ペン型座標入力装置
４３８ 携帯情報端末
４４０ 先端部
４４１ 画像読取装置
４４２ 光電変換素子
４４３ 光学系
４４４ ブザー
４４５ 装置本体
４４６ マイコン
４４７、４５０ ＬＥＤ
４４８ ＬＣＤ
４４９ 圧力センサ
４５１ 筆記具
４６２ ＲＯＭ
４６３ ＲＡＭ
４６４ ２次元コード読取装置
４７０ ドット検出器
４７１ コード枠検出器
４７２ データ取得部
４７３ データ置換部
４７４ 既知情報メモリ
４７５ 誤り訂正器
４７６ データ復号器
４７７ ペン先座標算出器
４７８ 連続筆記抽出器
４７９ 筆記検出部
４９１、４９２、４９３、４９４ 領域
５０１ 第１コーナー検出器
５０２ ドット追跡器Ａ
５０３ 第２コーナー検出器
５０４ ドット追跡器Ｂ
５０５ 第３コーナー検出器
５０６ ドット追跡器Ｃ
５０７ 第４コーナー検出器
５０８ ドット追跡器Ｄ
５１０ 周囲ドット検出器
５１１ 点対称ペア検出器
５２０ 第１誤り訂正器
５２１ 第２誤り訂正器
５２２ 選択器
５２５ 射影パラメータ算出器
５２６ ペン先座標変換器
５２７ 座標補正器
５３０ 最大ぼけドット検出器
５３１ 最小ぼけドット検出器
５３２ ドット位置置換器
５４０ 近傍フレームドット

【特許請求の範囲】
【請求項１】
紙文書を識別するための紙ＩＤをエンコードした符号化紙ＩＤを含む符号化情報が印刷された領域を複数有し、前記符号化情報には前記領域の前記紙文書における位置を示す座標情報をエンコードした符号化座標情報が含まれた紙文書に対して処理を行う文書処理システムであって、
前記符号化紙ＩＤと前記符号化座標情報とを作成するエンコード手段と、
前記紙文書に対応する電子文書に対して割り当てられる文書ＩＤと前記紙ＩＤとを関連付ける文書紙ＩＤ関連手段と、
前記紙ＩＤを取得し、前記エンコード手段により作成された前記符号化紙ＩＤと前記符号化座標情報と矩形である前記領域の枠とをドットを用いて前記紙文書に印刷する印刷手段と、
前記紙ＩＤを管理する紙ＩＤ管理手段と、
前記紙文書を撮像することで、前記紙文書の画像を入力する画像入力手段と、
前記画像入力手段により入力された入力画像における前記領域の４隅のドットを検出するコード枠検出手段と、
前記コード枠検出手段により検出された枠に基づき前記符号化された情報を取得する符号化情報取得手段と、
前記画像符号化情報取得手段で取得された前記符号化紙ＩＤと前記符号化座標情報をデコードするデコード手段と、
前記デコード手段でデコードされた前記符号化座標情報から筆記位置を検出する筆記位置検出手段と、
前記情報取得手段により取得された筆記情報に対して行われる処理を示す処理ＩＤと前記紙ＩＤとを関連付ける処理紙ＩＤ関連手段とを有し、
前記筆記位置検出手段は、
前記ドットのぼけの程度を検出するぼけドット検出手段と、
前記ぼけドット検出手段が検出した前記４隅のドットのぼけの程度のうち、ぼけの程度が最も大きいドットであるぼけドットの近傍のドットで、ぼけの程度が小さいドットの座標と、前記ぼけドット除く前記コード枠検出手段で検出されたドットとの座標から、前記紙文書での筆記位置を検出するためのパラメータを検出するパラメータ検出手段と、
前記パラメータを用いて前記紙文書における筆記位置の座標を検出する座標系変換手段と
を有することを特徴とする文書処理システム。
【請求項２】
前記紙ＩＤから前記文書ＩＤ及び処理ＩＤに変換する紙文書処理ＩＤ変換手段と、
前記処理ＩＤを管理する処理ＩＤ管理手段とをさらに有し、
前記処理ＩＤ管理手段は、前記筆記情報に対して行われる処理を実行する処理プログラムと、前記処理ＩＤとを関連付けたプログラム処理ＩＤ関連付け情報を管理することを特徴とする請求項１に記載の文書処理システム。
【請求項３】
前記情報取得手段により取得された筆記情報を、前記フォームのレイアウト情報及び処理ＩＤに基づき、データに分解し、保存する筆記情報分解保存手段をさらに有することを特徴とする請求項１または２に記載の文書処理システム。
【請求項４】
前記コーナー枠検出手段は、
前記ドットの中心の座標を検出することを特徴とする請求項１から３のいずれか１項に記載の文書処理システム。
【請求項５】
前記紙文書に光を照射する照明手段をさらに有し、
前記画像入力手段は、前記照明手段により照射された前記紙文書を撮像することを特徴とする請求項１から４のいずれか１項に記載の文書処理システム。
【請求項６】
筆記状態であるか否かを検出する筆記状態検出手段をさらに有し、
前記照明手段と、前記画像入力手段と、前記デコード手段は、前記筆記状態検出手段が筆記中であると検出している場合に動作することを特徴とする請求項５に記載の文書処理システム。
【請求項７】
前記印刷手段は、前記符号化紙ＩＤにのみ赤外領域を吸収する色材を使用して印刷することを特徴とする請求項１から６のいずれか１項に記載の文書処理システム。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【図３６】

【図３７】

【図３８】

【図３９】

【図４０】

【図４１】

【図４２】

【図４３】

【図４４】

【図４５】

【図４６】

【図４７】

【図４８】

【図４９】

【図５０】

【図５１】

【図５２】

【図５３】

【図５４】

【図５５】

【図５６】

【図５７】

【図５８】

【図５９】

【図６０】

【図６１】

【図６２】

【図６３】

【図６４】

【図６５】

【図６６】

【図６７】

【図６８】

【図６９】

【図７０】

【図７１】

【図７２】

【図７３】

【図７４】

【図７５】

【図７６】

【図７７】

【図７８】

【図７９】

【図８０】

【図８１】

【図８２】

【図８３】

【図８４】

【図８５】

【図８６】

【図８７】

【図８８】

【図８９】

【図９０】

【図９１】

【図９２】

【図９３】

【図９４】

【図９５】

【図９６】

【図９７】

【図９８】

【公開番号】特開２００６−２０１４４（Ｐ２００６−２０１４４Ａ）
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−１９６８０３（Ｐ２００４−１９６８０３）
【出願日】平成１６年７月２日（２００４．７．２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ＵＳＢ
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】