画像合成プログラム及び画像合成装置
【課題】複数の用紙に書き込まれた複数の手書き情報を簡便かつ適切に合成することができる画像合成プログラム及び画像合成装置の提供。
【解決手段】電子ペンと通信可能な装置で動作する画像合成プログラムであって、前記装置を、複数の用紙の各々に印刷された前記電子ペンで検出可能な符号パターンを、前記複数の用紙からなる用紙セットの識別情報に対応付けて記憶する符号パターン記憶部、前記電子ペンから、当該電子ペンが検出した前記符号パターンにより特定される手書き情報を取得する手書き情報取得部、前記符号パターン記憶部に記憶した情報を参照して、前記電子ペンから取得した手書き情報と前記用紙セットの識別情報とを対応付けて記憶する手書き情報記憶部、前記複数の用紙に書き込まれた複数の手書き情報を関連付ける手書き情報合成部、として機能させる。
【解決手段】電子ペンと通信可能な装置で動作する画像合成プログラムであって、前記装置を、複数の用紙の各々に印刷された前記電子ペンで検出可能な符号パターンを、前記複数の用紙からなる用紙セットの識別情報に対応付けて記憶する符号パターン記憶部、前記電子ペンから、当該電子ペンが検出した前記符号パターンにより特定される手書き情報を取得する手書き情報取得部、前記符号パターン記憶部に記憶した情報を参照して、前記電子ペンから取得した手書き情報と前記用紙セットの識別情報とを対応付けて記憶する手書き情報記憶部、前記複数の用紙に書き込まれた複数の手書き情報を関連付ける手書き情報合成部、として機能させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成プログラム及び画像合成装置に関し、特に、複数の用紙に書き込まれた手書き情報を合成する画像合成プログラム及び画像合成装置に関する。
【背景技術】
【０００２】
会議等では、紙媒体として配布した資料に参加者が手書きでメモやコメントを書き込むことが多く、議事録を作成する時に、担当者はそれらの手書きのメモやコメントをまとめる作業を行っている。しかしながら、手書きのメモやコメントをまとめるのは煩雑であり、手間がかかることから、筆跡をデータとして出力する電子ペンが利用されるようになってきている。
【０００３】
この電子ペンは、ペン先に小型カメラを搭載しており、用紙に印刷されたドットパターン（例えば、アノト（登録商標）パターン）を小型カメラで読み取ることによってペン先の位置を特定し、手書きした文字や図形、絵などの筆跡を手書きデータとして出力するものであり、この電子ペンの利用方法に関して様々な提案がなされている。
【０００４】
例えば、下記特許文献１には、画像形成装置で生成された座標情報と識別情報とが符号パターンに記録されて印刷された用紙に、電子ペンで筆記された筆記情報をクライアントＰＣが検出し、検出された筆記情報を識別する筆記情報識別情報と用紙の識別情報を登録することにより、所望の電子文書の検索を容易にできるようにするシステムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−８０７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、筆記情報に、筆記をした日時、筆記をしたユーザ、筆記をした紙文書の履歴などの属性情報を対応付けることにより、筆記情報を効果的に管理することができるが、この従来技術は、複数の用紙に手書きした手書き情報を合成するものではないため、会議の議事録のように、多数のユーザの手書き情報をまとめる用途では、ユーザの負荷を軽減することができない。
【０００７】
また、この従来技術では、手書き情報は手書きされた位置に再現されるのみであるため、例えば、手書き情報同士が重なっている場合や、手書き情報が原稿に重なっている場合には、手書き情報の視認性が悪化するという問題がある。
【０００８】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、複数の用紙に書き込まれた複数の手書き情報を簡便かつ適切に合成することができる画像合成プログラム及び画像合成装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、電子ペンと通信可能な装置で動作する画像合成プログラムであって、前記装置を、複数の用紙の各々に印刷された前記電子ペンで検出可能な符号パターンを、前記複数の用紙からなる用紙セットの識別情報に対応付けて記憶する符号パターン記憶部、前記電子ペンから、当該電子ペンが検出した前記符号パターンにより特定される手書き情報を取得する手書き情報取得部、前記符号パターン記憶部に記憶した情報を参照して、前記電子ペンから取得した手書き情報と前記用紙セットの識別情報とを対応付けて記憶する手書き情報記憶部、前記複数の用紙に書き込まれた複数の手書き情報を関連付ける手書き情報合成部、として機能させるものである。
【００１０】
また、本発明の画像合成装置は、用紙セットを構成する複数の用紙の各々に、電子ペンで検出可能な符号パターンを印刷する符号パターン出力部と、各々の用紙に印刷された前記符号パターンを、前記用紙セットの識別情報に対応付けて記憶する符号パターン記憶部と、前記電子ペンから、当該電子ペンが検出した前記符号パターンにより特定される手書き情報を取得する手書き情報取得部と、前記符号パターン記憶部に記憶した情報を参照して、前記電子ペンから取得した手書き情報と前記用紙セットの識別情報とを対応付けて記憶する手書き情報記憶部と、前記複数の用紙に書き込まれた複数の手書き情報を関連付ける手書き情報合成部と、を備えるものである。
【発明の効果】
【００１１】
本発明の画像合成プログラム及び画像合成装置によれば、複数の用紙に書き込まれた複数の手書き情報を簡便かつ適切に合成することができる。
【００１２】
その理由は、画像合成装置では、用紙セットとなる複数の用紙の各々に符号パターンを印刷し、各々の用紙の符号パターンを用紙セットの識別情報に対応付けて記憶し、電子ペンから手書き情報を取得すると、対応付けた情報を参照して手書き情報に対応する用紙セットを特定し、用紙セット毎に複数の手書き情報を関連付けるからである。また、画像合成装置では、複数の手書き情報に重なりが生じる場合には、重なりが解消するように複数の手書き情報の配置を調整するからである。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施例に係る画像合成システムの一例を示すブロック図である。
【図２】本発明の一実施例に係る画像合成システムの他の例を示すブロック図である。
【図３】本発明の一実施例に係る画像合成装置（画像形成装置）のコントローラの構成を示すブロック図である。
【図４】本発明の一実施例に係る電子ペンの構成を示すブロック図である。
【図５】アノト（登録商標）パターンの一例を示す図である。
【図６】本発明の一実施例に係る画像合成方法を模式的に示す図である。
【図７】本発明の一実施例に係る画像合成装置の動作の一例を示すフローチャート図である。
【図８】本発明の一実施例に係る画像合成装置の動作の他の例を示すフローチャート図である。
【発明を実施するための形態】
【００１４】
背景技術で示したように、ペンで入力した筆跡をデータとして出力する電子ペンが普及しつつあり、この電子ペンを利用することにより、会議の資料などに書き込んだメモやコメントを電子データ化することができ、特許文献１に開示された従来技術を利用することにより、手書き情報を管理しやすくすることができる。
【００１５】
しかしながら、従来技術は、複数の用紙に書き込まれた手書き情報を一つの用紙に合成するものではないため、多数のユーザが書き込んだメモやコメントをまとめて議事録を作成する際の煩雑さを解消することはできない。また、この従来技術では、手書き情報は書き込まれた位置にそのまま合成されるため、手書き情報同士が重なっている場合や原稿に重なっている場合には手書き情報の視認性が悪化してしまう。
【００１６】
そこで、本発明の一実施の形態では、アノト（登録商標）パターンに代表される電子ペンで検出可能な符号パターンを複数枚の用紙に印刷し、それら用紙を一つの用紙セットとし、各々の用紙の符号パターンを用紙セットの識別情報に対応付けて記憶し、この複数枚の用紙を複数のユーザに配布し、ユーザがそれぞれの用紙に書き込んだ手書き情報を電子ペンから取得すると、対応付けた情報を参照して手書き情報に対応する用紙セットを特定し、用紙セット毎に複数の手書き情報を関連付けて合成する。
【００１７】
その際、複数の手書き情報が重なっている場合は、電子ペンの識別情報や手書き情報が書き込まれた日時情報などに基づいて手書き情報の配置を調整する。また、用紙に予め原稿画像が印刷されている場合には、原稿画像のない余白領域に手書き情報が合成されるように手書き情報の配置を調整する。また、手書き情報を合成する際にそれらが１枚の用紙に収まりきらない場合には、手書き情報を縮小したり、別の用紙に印刷したりする。
【００１８】
このような制御を行うことにより、電子データの資料に関連して手書きされた複数の手書き情報を一つにまとめることができ、それを新たな紙文書として印刷したり新たな電子データとして送信したりすることで、容易に議事録を作成することができる。
【実施例】
【００１９】
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像合成プログラム及び画像合成装置について、図１乃至図８を参照して説明する。図１及び図２は、本実施例の画像合成システムの構成を示すブロック図であり、図３は、本実施例の画像合成装置のコントローラの構成を示すブロック図、図４は、電子ペンの構成を示すブロック図である。また、図５は、アノト（登録商標）パターンの一例を示す図であり、図６は、本実施例の画像合成方法を模式的に示す図である。また、図７及び図８は、本実施例の画像合成装置の動作を示すフローチャート図である。
【００２０】
本実施例の画像合成システムは、複数の用紙に書き込まれた複数の手書き情報を合成する画像合成装置（本実施例では、画像形成装置１００とする。）と、ユーザ端末２００と、用紙に印刷された符号パターンを読み取って手書き情報を作成する手書き情報入力装置（本実施例では、電子ペン３００とする。）などで構成される。以下、図面を参照して詳細に説明する。
【００２１】
［画像形成装置］
図１に示すように、画像形成装置１００は、制御部１１０、符号パターン記憶部１１１、手書き情報取得部１１２、手書き情報記憶部１１３、手書き情報オーバーラップ判別部１１４、手書き情報合成部１１５、合成手書き情報記憶部１１６、表示・操作部１２０、通信部１３０、画像形成部１４０、画像出力部１５０、画像読取部１６０などで構成される。
【００２２】
制御部１１０は、画像形成装置１００全体の動作を制御すると共に、画像合成プログラムにより、符号パターン記憶部１１１、手書き情報取得部１１２、手書き情報記憶部１１３、手書き情報オーバーラップ判別部１１４、手書き情報合成部１１５、合成手書き情報記憶部１１６としても機能する。
【００２３】
符号パターン記憶部１１１は、電子ペン３００が検出可能な符号パターンが印刷された複数の用紙を用紙セットとし、各々の用紙に印刷した符号パターン若しくは符号パターンを特定する情報（例えば、パターン平面上のどの位置から切り出した符号パターンであるかを示す情報）を用紙セットの識別情報に対応付けて記憶する。なお、用紙セットを構成する各々の用紙には、同じ符号パターンを印刷してもよいし、異なる符号パターンを印刷してもよい。
【００２４】
手書き情報取得部１１２は、通信部１３０を介して、ユーザが電子ペン３００で用紙上に書き込んだ手書き情報（符号パターンで特定される位置情報の集合）を取得する。その際、電子ペン３００に付帯している電子ペンＩＤや、手書き情報を書き込んだ日時情報を取得する。
【００２５】
手書き情報記憶部１１３は、各々の電子ペン３００から取得した手書き情報を、用紙セットＩＤ、電子ペンＩＤ（ユーザ毎に異なる電子ペン３００を使用する場合は、その電子ペン３００を使用するユーザＩＤ）、日時情報に対応付けて記憶する。
【００２６】
手書き情報オーバーラップ判別部１１４は、一つの用紙セットにおける複数の手書き情報を書き込まれた位置のまま合成しようとした時、複数の手書き情報、特に、異なる電子ペンＩＤやユーザＩＤに対応付けられた複数の手書き情報が重なるかを判別する。
【００２７】
手書き情報合成部１１５は、手書き情報が重なる場合は、予め定めた条件で手書き情報の配置を調整した後、手書き情報記憶部１１３に記憶された複数の手書き情報を合成するなど、用紙セット毎に複数の手書き情報を関連付け、画像形成部１４０や画像出力部１５０から出力する。
【００２８】
合成手書き情報記憶部１１６は、手書き情報合成部１１５で用紙セット毎に関連付けた複数の手書き情報を、新しいデータとして記憶する。
【００２９】
表示・操作部１２０は、例えば、タッチパネルであり、制御部からの表示信号に従って表示部上に各種操作ボタンや装置の状態表示、各機能の動作状況等の表示を行う。また、手指やタッチペン等で押下された力点のＸＹ座標を電圧値で検出し、検出された位置信号を操作信号として制御部に出力する。
【００３０】
通信部１３０は、電子ペン３００やユーザ端末２００との通信を確立するためのインターフェースである。
【００３１】
画像形成部１４０は、電子写真方式や静電記録方式等の作像プロセスを利用した画像形成のために必要な要素、すなわち、帯電装置、感光体ドラム、露光装置、転写ローラ、転写ベルト、定着装置などで構成され、符号パターン出力部として、手書き情報を入力するための符号パターンを用紙に印刷したり、合成手書き情報記憶部１１６に記憶された合成手書き情報（若しくは合成手書き情報と原稿画像）を用紙に印刷したりする。
【００３２】
画像出力部１５０は、符号パターン出力部として、手書き情報を入力するための符号パターンを表示・操作部１２０に表示させたり、通信部１３０を介してユーザ端末２００に送信したりする。また、画像出力部１５０は、合成手書き情報記憶部１１６に記憶された合成手書き情報（若しくは合成手書き情報と原稿画像）を表示・操作部１２０に表示させたり、通信部１３０を介してユーザ端末２００に送信したりする。
【００３３】
画像読取部１６０は、原稿台上の原稿を走査する光源と、原稿で反射された光を電気信号に変換するＣＣＤ（Charge Coupled Devices）イメージセンサと、電気信号をＡ／Ｄ変換するＡ／Ｄ変換器などにより構成され、原稿台に載置された紙文書の原稿からイメージデータを光学的に読み取る。
【００３４】
図１では、手書きする用紙に符号パターンのみが印刷される場合の構成を示したが、手書きする用紙に原稿画像（一つの用紙セット内で同じであってもよいし、異なっていてもよい。）と符号パターンとが印刷される場合、画像形成装置１００は図２のようになり、図１の構成に余白領域判別部１１７が追加される。この余白領域判別部１１７は、原稿画像が印刷された領域（原稿領域と呼ぶ。）以外の領域（余白領域と呼ぶ。）を判別する。そして、手書き情報合成部１１５では、余白領域判別部１１７が判別した余白領域に複数の手書き情報を出力できるように、複数の手書き情報の配置を調整したり倍率を変更したりする。
【００３５】
以上、画像形成装置１００の概略構成を示したが、画像形成装置１００のコントローラの具体的な構成は図３のようになる。すなわち、コントローラは、ＣＰＵ（Central Processing Unit）１７１、ＲＯＭ（Read Only Memory）１７２、ＲＡＭ（Random Access Memory）１７３、モータードライバ１７４、ＩＲ（Image Reader）／ＡＤＦ（Auto Document Feeder）モーター１７５、オペレーションパネル１７６、電子ペン用通信モジュール１７７、ＣＣＤ（Charge Coupled Devices）１７８、ＵＳＢ（Universal Serial Bus）インターフェース１７９、ＮＩＣ（Network Interface Card）１８０、画像処理チップ１８１、画像処理用ＲＡＭ１８２、プリントエンジン１８３、ＴＥＬ応答モジュール１８４、モデム１８５、公衆回線インターフェースモジュール１８６などで構成される。
【００３６】
ＣＰＵ１７１は、ＲＯＭ１７２に保存されているプログラムをＲＡＭ１７３にコピーした後、ＲＡＭ１７３上のプログラムに従って全体制御を行う。なお、図３のＣＰＵ１７１とＲＯＭ１７２とＲＡＭ１７３とが、図１及び図２の制御部１１０に対応する。
【００３７】
ＩＲ／ＡＤＦモーター１７５は、画像読取部１６０や自動原稿送り装置を駆動するモーターである。モータードライバ１７４は、ＩＲ／ＡＤＦモーター１７５を駆動制御する。
【００３８】
オペレーションパネル１７６は、図１及び図２の表示・操作部１２０に対応し、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイ上に、透明電極が格子状に配置された感圧式の操作部を設けて構成される。
【００３９】
電子ペン用通信モジュール１７７は、図１及び図２の通信部１３０に対応し、Bluetooth（登録商標）通信方式に代表される短距離無線通信や有線通信により電子ペン３００の通信モジュール３０４と通信を行い、電子ペン３００から手書き情報を受信し、ＲＡＭ１７３に保持する。
【００４０】
ＣＣＤ１７８は、画像形成装置１００の画像読取部１６０や自動原稿送り装置に設置され、オリジナル原稿をスキャンして原稿の反射光を検出し、この反射光を光電変換し更にアナログ−デジタル変換してスキャンデータを生成する。ＵＳＢインターフェース１７９は、ＵＳＢ対応機器と接続するためのインターフェースである。ＮＩＣ１８０は、図１及び図２の通信部１３０に対応し、ユーザ端末２００などとＬＡＮ（Local Area Network）を経由して接続するための拡張カードであって、ユーザ端末２００等から原稿の電子データを入力したり、合成手書き情報をユーザ端末２００等に送信したりする。
【００４１】
画像処理チップ１８１は、ページ記述言語（ＰＤＬ：Page Description Language）形式の印刷データをラスタライズ（画像展開）する処理や、変倍、画像回転、濃度調整、エッジ強調、スムージング、２値化等の画像処理などを行う。また、画像処理チップ１８１は、図１及び図２の制御部１１０で実現する機能として、用紙に印刷する符号パターンをプリントエンジン１８３に出力したり、複数の手書き情報を合成する処理などを行う。画像処理用ＲＡＭ１８２は、画像処理チップ１８１が画像処理の過程で出力する画像データや各種計算値、符号パターンなどを一時的に記憶する。また、画像処理用ＲＡＭ１８２は、画像処理後の１頁分の画像データを蓄えるページメモリとしての機能も担う。プリントエンジン１８３は、ページメモリとしての画像処理用ＲＡＭ１８２に蓄えられた画像データに基づいて用紙上に画像を形成する。
【００４２】
電話応答モジュール１８４は、着信時の応答を行う。モデム１８５は、デジタル信号を電話回線のアナログ信号に変調すると共に、その逆に変換して復調する。公衆回線インターフェースモジュール１８６は、公衆回線網と接続するためのインターフェースである。
【００４３】
なお、本実施例では、画像合成装置を、符号パターンを用紙に印刷したり、複数の手書き情報を合成して用紙に印刷したりする印刷機能を備えた画像形成装置としているが、画像合成装置は、各々の用紙に印刷した符号パターンと用紙セットとの対応付けが可能であればよく、例えば、符号パターンを合成した画面上で手書き入力を行う場合や、合成手書き情報を画面上に表示する場合は、表示機能を備えた装置（例えば、電子ペーパーや電子ブック、携帯端末、コンピュータ装置など）としてもよい。
【００４４】
［ユーザ端末］
ユーザ端末２００は、図示しない制御部、通信部、表示部、操作部などで構成される。
【００４５】
制御部は、ＣＰＵ、ＲＯＭやＲＡＭなどのメモリ、ＨＤＤなどで構成され、ＲＯＭやＨＤＤに記憶されたプログラムをＲＡＭに展開し、ＣＰＵで実行する。本実施例では、制御部は、文書作成アプリケーションを実行することにより、原稿データを作成し、プリンタドライバを実行することにより、原稿データをページ記述言語形式の印刷データに変換して画像形成装置１００に印刷を指示する機能も提供する。
【００４６】
通信部は、ＮＩＣやモデムなどで構成され、画像形成装置１００との通信を確立する。表示部は、ＬＣＤなどで構成され、各種画面などを表示する。操作部は、キーボードやマウスなどで構成され、印刷ジョブの作成などの各種操作を可能とする。
【００４７】
［電子ペン］
電子ペン３００は、アノト（登録商標）方式に代表される符号パターンを読み取って位置情報を得る装置である。各電子ペン３００には固有の電子ペンＩＤが付帯している。また、この電子ペン３００は、手書き情報を入力した日時情報を記憶している。
【００４８】
図４は、電子ペン３００の具体的な構成を示すブロック図であり、電子ペン３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、通信モジュール３０４、バッテリーモジュール３０５、イメージセンサ３０６、ペン圧力検知センサ３０７、筆記モジュール３０８、時計モジュール３０９などで構成される。
【００４９】
ＣＰＵ３０１は、プログラムに従って演算するデータ処理装置である。ＲＯＭ３０２は、プログラムを格納する情報記憶部である。ＲＡＭ３０３は、データを格納する情報記憶部である。通信モジュール３０４は、Bluetooth（登録商標）に代表される短距離無線通信や有線通信により画像形成装置１００の電子ペン用通信モジュール１７７と通信を行う。バッテリーモジュール３０５は、電子ペン３００の電源である一次電池または二次電池である。イメージセンサ３０６は、パターンを読み取るための小型のＣＣＤまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）ビデオカメラである。ペン圧力感知センサ３０７は、電子ペン３００の筆圧を検知する圧電素子などである。筆記モジュール３０８は、イメージセンサ３０６で読み取ったパターンに基づいて電子ペン３００の位置を特定し、電子ペン３００の軌跡（位置情報の集合）を手書き情報として出力する装置である。時計モジュール３０９は、日時情報を保持する装置である。
【００５０】
なお、電子ペン３００は、用紙に印刷若しくは画面に表示されるパターンを認識してその位置情報を手書き情報として出力する機能を備えていればよく、その構成や形状、通信方法などは特に限定されない。
【００５１】
図５は、上記電子ペン３００で手書き入力する用紙に印刷若しくは画面に表示されるアノト（登録商標）パターンの一例である。このアノト（登録商標）パターンは、格子状に配置されたドットパターンであり、各ドットは０．３ｍｍ間隔で直交する格子から上下左右いずれかの方向へ僅かにずれていて、イメージセンサ３０６によって、１度に縦６×横６ドット、計３６ドットのマトリクス単位で読み込まれる。このアノト（登録商標）パターンはパターン平面上のどの点をとっても一意な値であり、電子ペン３００で書かれた軌跡はすべて異なる位置情報として認識できる。従って、手書き情報を解析することによって、各々の用紙に印刷された符号パターンが、パターン平面上のどこを切り出したパターンであるかを判別することができ、符号パターン記憶部１１１に記憶された対応付け情報に基づいて、その符号パターンに対応する用紙セットを特定することができる。
【００５２】
次に、本実施例の画像合成処理について、図６の概念図を参照して説明する。
【００５３】
まず、図６（ａ）に示すように、ユーザがユーザ端末２００を操作して原稿を作成すると、画像形成装置１００は、ユーザ端末２００から受信した原稿、若しくは、画像読取部１６０で読み取った原稿の画像と符号パターンとを複数の用紙に印刷する。その際、符号パターン記憶部１１１は、その複数の用紙を一つの用紙セットとし、各々の用紙に印刷した符号パターン若しくは符号パターンを特定する情報を用紙セットの識別情報に対応付けて記憶する。
【００５４】
なお、ここでは、原稿の画像と符号パターンを用紙に印刷しているが、符号パターンのみを用紙に印刷してもよい。また、ここでは、複数の用紙に同じ原稿の画像を印刷しているが、ユーザ毎に原稿の画像を変えてもよい。また、原稿画像と符号パターン（若しくは符号パターンのみ）を用紙に印刷する代わりに、画面上に表示してもよい。
【００５５】
次に、画像と符号パターンを印刷した用紙を受け取ったユーザは、電子ペン３００を用いて、その用紙上にメモやコメントを手書きする。ここでは、ユーザＡは、「あいうえお」と「なにぬねの」、ユーザＢは「かきくけこ」と「はひふへほ」、ユーザＣは、「さしすせそ」と「たちつてと」を手書きする。
【００５６】
電子ペン３００では、ペン圧力検知センサ３０７がペン圧を検知した時、イメージセンサ３０６は用紙上の符号パターンを読み取り、筆記モジュール３０８は、読み取った符号パターンに基づいてペン先の位置を特定し、ペン先の軌跡を手書き情報（位置情報の集合）として取得する。また、時計モジュール３０９は、その時の日時情報を取得する。そして、ＣＰＵ３０１は、筆記モジュール３０８が取得した手書き情報を時計モジュール３０９が取得した日時情報に対応付けてＲＡＭ３０３に記憶し、手書き入力が終了したら、通信モジュール３０４を用いてＲＡＭ３０３に記憶した情報を画像形成装置１００に送信する。その際、電子ペン３００を識別する電子ペンＩＤも送信する。
【００５７】
画像形成装置１００では、手書き情報取得部１１２は、複数の電子ペン３００から手書き情報を取得すると共に、手書き情報から符号パターンを特定（すなわち、手書き情報の位置からパターン平面のどこを切り出した符号パターンであるかを特定）し、符号パターン記憶部１１１に記憶した対応付け情報を参照して用紙セットＩＤを特定する。手書き情報記憶部１１３は、複数の電子ペン３００の複数の手書き情報を用紙セットＩＤ、電子ペンＩＤ（ユーザＩＤ）、日時情報に対応付けて記憶する。
【００５８】
次に、手書き情報オーバーラップ判別部１１４では、複数の手書き情報を比較し、手書き情報の重なりを判別する。例えば、図６（ｂ）の例では、原稿画像の上側には「あいうえお」と「かきくけこ」と「さしすせそ」の文字が手書きされているが、「かきくけこ」と「さしすせそ」とが重なっていると判断する。また、原稿画像の下側には「なにぬねの」と「はひふへほ」と「たちつてと」の文字が手書きされているが、「なにぬねの」と「はひふへほ」とが重なっていると判断する。そして、手書き情報に重なりがある場合は、手書き情報合成部１１５は、手書き情報に対応付けられた日時情報や電子ペンＩＤ（ユーザＩＤ）などに基づいて、手書き情報を並び替える。
【００５９】
次に、手書き情報合成部１１５は、手書き情報記憶部１１３に記憶した複数の手書き情報、若しくは、並び替えた複数の手書き情報を関連付けて、合成手書き情報記憶部１１６に記憶する。その際、手書き情報を原稿画像と共に用紙に印刷する場合は、余白領域判別部１１７は、原稿の画像が形成されていない余白領域を判別し、手書き情報合成部１１５は、その余白領域内に複数の手書き情報を合成できるように、位置を調整したり、倍率を変更したりする。
【００６０】
そして、画像形成部１４０は、複数の手書き情報（又は、原稿画像と複数の手書き画像）を用紙上に転写して図６（ｃ）に示すような用紙を出力する。若しくは、画像出力部１５０は、複数の手書き情報（又は、原稿画像と複数の手書き画像）を表示・操作部１２０に表示させたり、通信部１３０を介してユーザ端末２００に送信したりする。
【００６１】
このように、用紙セットを構成する各用紙に印刷する符号パターンを用紙セットの識別情報に対応付けておくことにより、複数の用紙に書き込まれた複数の手書き情報を用紙セット毎に関連付けることができるため、複数の手書き情報をまとめて用紙に印刷したり、表示したりすることができる。また、複数の手書き情報が重なり合う場合には、重ならないように配置が調整され、また、原稿画像に合成する場合は、余白領域に収まるように配置や倍率が調整されるため、手書き情報の視認性を良好に保つことができる。
【００６２】
次に、本実施例の画像形成装置１００の具体的な動作について、図７のフローチャート図を参照して説明する。なお、以下のフローは、用紙に予め原稿画像が印刷されておらず、符号パターンのみが印刷されている場合の動作である。
【００６３】
画像形成部１４０により、符号パターンを複数枚の用紙に印刷し、それらを一つの用紙セットとして、各々の用紙に印刷した符号パターンを用紙セットＩＤに対応付けて符号パターン記憶部１１１に記憶する（Ｓ１０１）。なお、一つの用紙セット内で印刷される符号パターンは、用紙間で同じでもよいし異なっていてもよい。その後、一つの用紙セットとした複数枚の用紙を、複数のユーザに配布する。各ユーザは、配布された各用紙に電子ペン３００を用いて手書き情報を書き込む。
【００６４】
次に、手書き情報取得部１１２は、通信部１３０を介して、電子ペン３００から、各ユーザが各用紙に書き込んだ手書き情報を、電子ペンＩＤ及び書き込まれた日時情報と一緒に受信する（Ｓ１０２）。
【００６５】
次に、制御部１１０は、表示・操作部１２０等を介して、ユーザから「手書き情報を合成する」という指示を受けたかを判断し（Ｓ１０３）、指示を受けるまでＳ１０２のステップを繰り返す。
【００６６】
指示を受けた場合は、手書き情報取得部１１２は、用紙セットＩＤと受信した手書き情報とを結びつける（Ｓ１０４）。具体的には、受信した手書き情報を解析し、手書き情報の位置から符号パターンを特定し、符号パターン記憶部１１１に記憶した対応付け情報を参照して、その符号パターンに対応する用紙セットＩＤを特定することによって、用紙セット毎に複数の手書き情報を関連付ける。つまり、どの用紙セットにどの電子ペンＩＤ（＝ユーザＩＤ）の手書き情報が書き込まれたかを判断する。
【００６７】
次に、複数の手書き情報を合成する前に、手書き情報オーバーラップ判別部１１４は、用紙セット毎の複数の手書き情報が互いにオーバーラップしていないかを判断する（Ｓ１０５）。なお、オーバーラップしているか否かは、各々の手書き情報の用紙上の座標を計算することによって判断することができる。
【００６８】
オーバーラップしていない場合は、合成方法１として、手書き情報合成部１１５は、複数の手書き情報を書き込まれたそのままの位置で合成する（Ｓ１０６）。
【００６９】
オーバーラップしている場合は、複数の手書き情報を、電子ペンＩＤ（＝ユーザＩＤ）に従って並べ替えるか、書き込まれた日時情報に従って並べ替えるかをユーザに選択させる（Ｓ１０８）。
【００７０】
電子ペンＩＤが並べ替えの条件として選択された場合は（Ｓ１０９のＹｅｓ）、合成方法２として、手書き情報合成部１１５は、オーバーラップした手書き情報のみを、予め登録した電子ペンＩＤ（＝ユーザＩＤ）の優先順位に従って並べ替え（Ｓ１１０）、その後、並び替えた複数の手書き情報を合成する（Ｓ１１１）。
【００７１】
上記並べ替え・合成の例としては、
（１）優先順位の一番高いユーザの手書き情報を書き込まれたそのままの位置に保持し、それ以外のユーザの手書き情報をユーザＩＤの優先順位に従って一番優先順位の高いユーザの手書き情報の近傍の余白（上下左右のどこでも良く、どこにするかを選択できるようにしてもよい。）に合成する方法、
（２）オーバーラップしている複数の手書き情報をまとめて手書き情報が全くないエリアに移動させ、そこにユーザＩＤの優先順位で並べ替えて合成する方法、
などがある。
【００７２】
一方、書き込まれた時刻が並べ替えの条件として選択された場合は（Ｓ１０９のＮｏ）、合成方法３として、手書き情報合成部１１５は、オーバーラップした手書き情報のみを、書き込まれた時刻の順に並べ替え（Ｓ１１２）、書き込まれた時刻に偶然に一致したものがあったら（Ｓ１１３のＹｅｓ）、それらは電子ペンＩＤ（＝ユーザＩＤ）の優先順位に従って並べ替え（Ｓ１１４）、その後、並び替えた複数の手書き情報を合成する（Ｓ１１１）。
【００７３】
そして、合成した手書き情報を合成手書き情報記憶部１１６に記憶したり、画像形成部１４０を用いて印刷したり、表示・操作部１２０に表示させたり、通信部１３０を用いてユーザ端末２００などに送信したりする（Ｓ１０７）。
【００７４】
図７では、複数の手書き情報を書き込まれたそのままの位置に合成する方法を第１の合成方法としているが、第１の合成方法はないものとして、すぐにユーザに手書き情報を電子ペンＩＤ（＝ユーザＩＤ）で並べ替えるか、書き込まれた時刻の順に並べ替えるかを選択させる処理（Ｓ１０８）に移行して、手書き情報が互いにオーバーラップしているか否かに関わらず、全ての手書き情報を合成可能な領域（例えば、配布した用紙がＡ４サイズであったら、合成可能領域もＡ４サイズ全域）に新たに並べ替え、整列させて合成する処理を行ってもよい。
【００７５】
次に、用紙に、符号パターンと原稿画像とが印刷されている場合の画像形成装置の動作について、図８のフローチャート図を参照して説明する。
【００７６】
まず、画像形成部１４０により、符号パターンと原稿画像とを複数枚の用紙に印刷し、それらを一つのセットとして、各々の用紙に印刷した符号パターンを用紙セットＩＤに対応付けて符号パターン記憶部１１１に記憶する（Ｓ２０１）。なお、一つの用紙セット内の各々の用紙に印刷される符号パターンは、用紙間で同じでも異なっていても良い。
【００７７】
その後、図７のフローチャート図と同様に、一つのセットとした複数枚の用紙を、複数人のユーザに配布し、各ユーザは配布された各用紙に電子ペンで手書き情報を書き込み、手書き情報取得部１１２は、通信部１３０を介して、電子ペン３００から、各ユーザが各用紙に書き込んだ手書き情報を、電子ペンＩＤ及び書き込まれた日時情報と一緒に受信する（Ｓ２０２）。そして、制御部１１０は、表示・操作部１２０等を介して、ユーザから「手書き情報を合成する」という指示を受けたかを判断し（Ｓ２０３）、指示を受けるまでＳ２０２のステップを繰り返す。
【００７８】
指示を受けた場合は、手書き情報取得部１１２は、用紙セットＩＤと受信した手書き情報とを結びつけ（Ｓ２０４）、手書き情報オーバーラップ判別部１１４は、用紙セット毎の複数の手書き情報が互いにオーバーラップしていないかを判断する（Ｓ２０５）。
【００７９】
オーバーラップしていない場合は、合成方法１として、手書き情報合成部１１５は、複数の手書き情報を書き込まれたそのままの位置で合成し（Ｓ２０６）、オーバーラップしている場合は、複数の手書き情報を、電子ペンＩＤ（＝ユーザＩＤ）に従って並べ替えるか、書き込まれた日時情報に従って並べ替えるかをユーザに選択させる（Ｓ２０８）。
【００８０】
電子ペンＩＤが並べ替えの条件として選択された場合は（Ｓ２０９のＹｅｓ）、合成方法２として、手書き情報合成部１１５は、全ての手書き情報を、予め登録した電子ペンＩＤ（＝ユーザＩＤ）の優先順位に従って並べ替える（Ｓ２１０）。
【００８１】
書き込まれた時刻が並べ替えの条件として選択された場合は（Ｓ２０９のＮｏ）、合成方法３として、手書き情報合成部１１５は、全ての手書き情報を、書き込まれた時刻の順に並べ替える（Ｓ２１２）。書き込まれた時刻に偶然に一致したものがあったら（Ｓ２１３のＹｅｓ）、それらは電子ペンＩＤ（＝ユーザＩＤ）の優先順位に従って並べ替える（Ｓ２１４）。
【００８２】
その後、余白領域判別部１１７は、原稿の余白領域を判別し、手書き情報合成部１１５は、Ｓ２１０、Ｓ２１２、Ｓ２１４で並べ替えた手書き情報を、用紙の上半分に書かれたものは上半分の原稿画像のない余白領域に合成し、用紙の下半分に書かれたものは下半分の原稿画像のない余白領域に合成する（Ｓ２１１）。このような処理を行っているのは、原稿画像がなく符号パターンのみが印刷された「白紙」の用紙と違って、原稿画像がある場合は、原稿画像のどこに手書き情報を書き込むかにも意味があるからである。
【００８３】
なお、ここでは、用紙を上半分／下半分に２分割にしたが、４分割、６分割、８分割などとしても良い。勿論、分割はしないで、原稿画像のない余白を一つの余白領域（手書き情報合成可能領域）としても良い。また、ここでは、手書き情報が一つでもオーバーラップしていたら全てを並べ替えて合成するとしたが、オーバーラップしている手書き情報だけを並べ替えて合成し、オーバーラップしていないものは手書きされたその位置に合成しても良い。
【００８４】
そして、合成した手書き情報を合成手書き情報記憶部１１６に記憶したり、画像形成部１４０を用いて印刷したり、表示・操作部１２０に表示させたり、通信部１３０を用いてユーザ端末２００などに送信したりする（Ｓ２０７）。
【００８５】
以上、画像形成装置１００の動作について説明したが、手書き情報の並べ替え方法は上記例に限定されず、
（１）手書き情報を画像データからＯＣＲ（Optical Character Reader）でテキストデータ化し、同じキーワードを含んだもの同士をまとめる方法、
（２）手書き情報を画像データからＯＣＲでテキストデータ化し、内容が全く同じものが２つ以上あったら、１つを残し、他は削除する方法、
（３）手書き情報を画像データからＯＣＲでテキストデータ化し、同じキーワードを含んだもの／内容が全く同じものが２つ以上あったら、１つを大きなフォント（または強調フォント、または先頭タブ）にし、残りは小さなフォント（または普通フォント、またはタブを一段下げる）にする方法、
（４）手書き情報を画像データからＯＣＲでテキストデータ化し、内容が近いものが２つ以上あったら、どれか１つを参考に、誤字・脱字を直したり、ひらがなのままの記述を漢字に直したりする方法、
などを用いてもよい。
【００８６】
また、手書き情報を合成したときに合成可能領域／余白領域に入りきらなかった場合に、手書き情報を画像データのままで取り扱う場合は、
（１）領域内に入りきるように手書き情報を縮小したり、スペースに余裕があったら、より見やすいように手書き情報を拡大したりする、
（２）手書き情報を別紙に印刷（例えば、原稿画像がない場合は一枚目の領域に入りきらなかった分を別紙に印刷、原稿画像がある時は手書き情報だけまとめて別紙に印刷）する、
（３）原稿画像があった場合、原稿画像と上記別紙に印刷したような手書き情報を２ｉｎ１にする、
といった方法を用いてもよい。
【００８７】
また、手書き情報を合成したときに合成可能領域／余白領域に入りきらなかった場合に、手書き情報を画像データからＯＣＲでテキストデータ化して取り扱う場合は、
（１）手書き情報のフォントを一律小さくしたり、スペースに余裕があったら、より見やすいようにフォントを大きくしたりする、
（２）他のユーザのものと重複する内容を持つデータはフォントを大きくし、その他は小さくする、
といった方法を用いてもよい。
【００８８】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、各装置の構成や制御は適宜変更可能である。たとえば、上記実施例においては、電子ペンＩＤをユーザＩＤに対応付けており、電子ペンＩＤによってどのユーザが記入した手書き情報であるかを区別している。これに代え、用紙セットを構成する各々の用紙に必ず異なる符号パターンを印刷するように構成して用紙毎にユーザを対応付けるようにしてもよい。この場合、複数のユーザによって電子ペンが共用される状況においても、符号パターンによってどのユーザが記入した手書き情報であるかを特定することができる。
【産業上の利用可能性】
【００８９】
本発明は、複数の用紙に書き込まれた手書き情報を合成する処理が可能な画像合成装置、特に、複数の用紙に符号パターンを印刷したり、合成した手書き情報を印刷したりすることができる画像形成装置に利用可能である。
【符号の説明】
【００９０】
１００ 画像形成装置
１１０ 制御部
１１１ 符号パターン記憶部
１１２ ユーザＩＤ記憶部
１１３ 手書き情報取得部
１１４ 手書き情報オーバーラップ判別部
１１５ 手書き情報合成部
１１６ 合成手書き情報記憶部
１１７ 余白領域判別部
１２０ 操作部
１３０ 通信部
１４０ 画像形成部
１５０ 画像出力部
１６０ 画像読取部
１７１ ＣＰＵ
１７２ ＲＯＭ
１７３ ＲＡＭ
１７４ モータードライバ
１７５ ＩＲ／ＡＤＦモーター
１７６ オペレーションパネル
１７７ 電子ペン用通信モジュール
１７８ ＣＣＤ
１７９ ＵＳＢインターフェース
１８０ ＮＩＣインターフェース
１８１ 画像処理チップ
１８２ 画像処理用ＲＡＭ
１８３ プリントエンジン
１８４ ＴＥＬ応答モジュール
１８５ モデム
１８６ 公衆回線インターフェースモジュール
２００ ユーザ端末
３００ 電子ペン
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ 通信モジュール
３０５ バッテリーモジュール
３０６ イメージセンサ
３０７ ペン圧力検知センサ
３０８ 筆記モジュール
３０９ 時計モジュール
【技術分野】
【０００１】
本発明は、画像合成プログラム及び画像合成装置に関し、特に、複数の用紙に書き込まれた手書き情報を合成する画像合成プログラム及び画像合成装置に関する。
【背景技術】
【０００２】
会議等では、紙媒体として配布した資料に参加者が手書きでメモやコメントを書き込むことが多く、議事録を作成する時に、担当者はそれらの手書きのメモやコメントをまとめる作業を行っている。しかしながら、手書きのメモやコメントをまとめるのは煩雑であり、手間がかかることから、筆跡をデータとして出力する電子ペンが利用されるようになってきている。
【０００３】
この電子ペンは、ペン先に小型カメラを搭載しており、用紙に印刷されたドットパターン（例えば、アノト（登録商標）パターン）を小型カメラで読み取ることによってペン先の位置を特定し、手書きした文字や図形、絵などの筆跡を手書きデータとして出力するものであり、この電子ペンの利用方法に関して様々な提案がなされている。
【０００４】
例えば、下記特許文献１には、画像形成装置で生成された座標情報と識別情報とが符号パターンに記録されて印刷された用紙に、電子ペンで筆記された筆記情報をクライアントＰＣが検出し、検出された筆記情報を識別する筆記情報識別情報と用紙の識別情報を登録することにより、所望の電子文書の検索を容易にできるようにするシステムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−８０７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、筆記情報に、筆記をした日時、筆記をしたユーザ、筆記をした紙文書の履歴などの属性情報を対応付けることにより、筆記情報を効果的に管理することができるが、この従来技術は、複数の用紙に手書きした手書き情報を合成するものではないため、会議の議事録のように、多数のユーザの手書き情報をまとめる用途では、ユーザの負荷を軽減することができない。
【０００７】
また、この従来技術では、手書き情報は手書きされた位置に再現されるのみであるため、例えば、手書き情報同士が重なっている場合や、手書き情報が原稿に重なっている場合には、手書き情報の視認性が悪化するという問題がある。
【０００８】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、複数の用紙に書き込まれた複数の手書き情報を簡便かつ適切に合成することができる画像合成プログラム及び画像合成装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、電子ペンと通信可能な装置で動作する画像合成プログラムであって、前記装置を、複数の用紙の各々に印刷された前記電子ペンで検出可能な符号パターンを、前記複数の用紙からなる用紙セットの識別情報に対応付けて記憶する符号パターン記憶部、前記電子ペンから、当該電子ペンが検出した前記符号パターンにより特定される手書き情報を取得する手書き情報取得部、前記符号パターン記憶部に記憶した情報を参照して、前記電子ペンから取得した手書き情報と前記用紙セットの識別情報とを対応付けて記憶する手書き情報記憶部、前記複数の用紙に書き込まれた複数の手書き情報を関連付ける手書き情報合成部、として機能させるものである。
【００１０】
また、本発明の画像合成装置は、用紙セットを構成する複数の用紙の各々に、電子ペンで検出可能な符号パターンを印刷する符号パターン出力部と、各々の用紙に印刷された前記符号パターンを、前記用紙セットの識別情報に対応付けて記憶する符号パターン記憶部と、前記電子ペンから、当該電子ペンが検出した前記符号パターンにより特定される手書き情報を取得する手書き情報取得部と、前記符号パターン記憶部に記憶した情報を参照して、前記電子ペンから取得した手書き情報と前記用紙セットの識別情報とを対応付けて記憶する手書き情報記憶部と、前記複数の用紙に書き込まれた複数の手書き情報を関連付ける手書き情報合成部と、を備えるものである。
【発明の効果】
【００１１】
本発明の画像合成プログラム及び画像合成装置によれば、複数の用紙に書き込まれた複数の手書き情報を簡便かつ適切に合成することができる。
【００１２】
その理由は、画像合成装置では、用紙セットとなる複数の用紙の各々に符号パターンを印刷し、各々の用紙の符号パターンを用紙セットの識別情報に対応付けて記憶し、電子ペンから手書き情報を取得すると、対応付けた情報を参照して手書き情報に対応する用紙セットを特定し、用紙セット毎に複数の手書き情報を関連付けるからである。また、画像合成装置では、複数の手書き情報に重なりが生じる場合には、重なりが解消するように複数の手書き情報の配置を調整するからである。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施例に係る画像合成システムの一例を示すブロック図である。
【図２】本発明の一実施例に係る画像合成システムの他の例を示すブロック図である。
【図３】本発明の一実施例に係る画像合成装置（画像形成装置）のコントローラの構成を示すブロック図である。
【図４】本発明の一実施例に係る電子ペンの構成を示すブロック図である。
【図５】アノト（登録商標）パターンの一例を示す図である。
【図６】本発明の一実施例に係る画像合成方法を模式的に示す図である。
【図７】本発明の一実施例に係る画像合成装置の動作の一例を示すフローチャート図である。
【図８】本発明の一実施例に係る画像合成装置の動作の他の例を示すフローチャート図である。
【発明を実施するための形態】
【００１４】
背景技術で示したように、ペンで入力した筆跡をデータとして出力する電子ペンが普及しつつあり、この電子ペンを利用することにより、会議の資料などに書き込んだメモやコメントを電子データ化することができ、特許文献１に開示された従来技術を利用することにより、手書き情報を管理しやすくすることができる。
【００１５】
しかしながら、従来技術は、複数の用紙に書き込まれた手書き情報を一つの用紙に合成するものではないため、多数のユーザが書き込んだメモやコメントをまとめて議事録を作成する際の煩雑さを解消することはできない。また、この従来技術では、手書き情報は書き込まれた位置にそのまま合成されるため、手書き情報同士が重なっている場合や原稿に重なっている場合には手書き情報の視認性が悪化してしまう。
【００１６】
そこで、本発明の一実施の形態では、アノト（登録商標）パターンに代表される電子ペンで検出可能な符号パターンを複数枚の用紙に印刷し、それら用紙を一つの用紙セットとし、各々の用紙の符号パターンを用紙セットの識別情報に対応付けて記憶し、この複数枚の用紙を複数のユーザに配布し、ユーザがそれぞれの用紙に書き込んだ手書き情報を電子ペンから取得すると、対応付けた情報を参照して手書き情報に対応する用紙セットを特定し、用紙セット毎に複数の手書き情報を関連付けて合成する。
【００１７】
その際、複数の手書き情報が重なっている場合は、電子ペンの識別情報や手書き情報が書き込まれた日時情報などに基づいて手書き情報の配置を調整する。また、用紙に予め原稿画像が印刷されている場合には、原稿画像のない余白領域に手書き情報が合成されるように手書き情報の配置を調整する。また、手書き情報を合成する際にそれらが１枚の用紙に収まりきらない場合には、手書き情報を縮小したり、別の用紙に印刷したりする。
【００１８】
このような制御を行うことにより、電子データの資料に関連して手書きされた複数の手書き情報を一つにまとめることができ、それを新たな紙文書として印刷したり新たな電子データとして送信したりすることで、容易に議事録を作成することができる。
【実施例】
【００１９】
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像合成プログラム及び画像合成装置について、図１乃至図８を参照して説明する。図１及び図２は、本実施例の画像合成システムの構成を示すブロック図であり、図３は、本実施例の画像合成装置のコントローラの構成を示すブロック図、図４は、電子ペンの構成を示すブロック図である。また、図５は、アノト（登録商標）パターンの一例を示す図であり、図６は、本実施例の画像合成方法を模式的に示す図である。また、図７及び図８は、本実施例の画像合成装置の動作を示すフローチャート図である。
【００２０】
本実施例の画像合成システムは、複数の用紙に書き込まれた複数の手書き情報を合成する画像合成装置（本実施例では、画像形成装置１００とする。）と、ユーザ端末２００と、用紙に印刷された符号パターンを読み取って手書き情報を作成する手書き情報入力装置（本実施例では、電子ペン３００とする。）などで構成される。以下、図面を参照して詳細に説明する。
【００２１】
［画像形成装置］
図１に示すように、画像形成装置１００は、制御部１１０、符号パターン記憶部１１１、手書き情報取得部１１２、手書き情報記憶部１１３、手書き情報オーバーラップ判別部１１４、手書き情報合成部１１５、合成手書き情報記憶部１１６、表示・操作部１２０、通信部１３０、画像形成部１４０、画像出力部１５０、画像読取部１６０などで構成される。
【００２２】
制御部１１０は、画像形成装置１００全体の動作を制御すると共に、画像合成プログラムにより、符号パターン記憶部１１１、手書き情報取得部１１２、手書き情報記憶部１１３、手書き情報オーバーラップ判別部１１４、手書き情報合成部１１５、合成手書き情報記憶部１１６としても機能する。
【００２３】
符号パターン記憶部１１１は、電子ペン３００が検出可能な符号パターンが印刷された複数の用紙を用紙セットとし、各々の用紙に印刷した符号パターン若しくは符号パターンを特定する情報（例えば、パターン平面上のどの位置から切り出した符号パターンであるかを示す情報）を用紙セットの識別情報に対応付けて記憶する。なお、用紙セットを構成する各々の用紙には、同じ符号パターンを印刷してもよいし、異なる符号パターンを印刷してもよい。
【００２４】
手書き情報取得部１１２は、通信部１３０を介して、ユーザが電子ペン３００で用紙上に書き込んだ手書き情報（符号パターンで特定される位置情報の集合）を取得する。その際、電子ペン３００に付帯している電子ペンＩＤや、手書き情報を書き込んだ日時情報を取得する。
【００２５】
手書き情報記憶部１１３は、各々の電子ペン３００から取得した手書き情報を、用紙セットＩＤ、電子ペンＩＤ（ユーザ毎に異なる電子ペン３００を使用する場合は、その電子ペン３００を使用するユーザＩＤ）、日時情報に対応付けて記憶する。
【００２６】
手書き情報オーバーラップ判別部１１４は、一つの用紙セットにおける複数の手書き情報を書き込まれた位置のまま合成しようとした時、複数の手書き情報、特に、異なる電子ペンＩＤやユーザＩＤに対応付けられた複数の手書き情報が重なるかを判別する。
【００２７】
手書き情報合成部１１５は、手書き情報が重なる場合は、予め定めた条件で手書き情報の配置を調整した後、手書き情報記憶部１１３に記憶された複数の手書き情報を合成するなど、用紙セット毎に複数の手書き情報を関連付け、画像形成部１４０や画像出力部１５０から出力する。
【００２８】
合成手書き情報記憶部１１６は、手書き情報合成部１１５で用紙セット毎に関連付けた複数の手書き情報を、新しいデータとして記憶する。
【００２９】
表示・操作部１２０は、例えば、タッチパネルであり、制御部からの表示信号に従って表示部上に各種操作ボタンや装置の状態表示、各機能の動作状況等の表示を行う。また、手指やタッチペン等で押下された力点のＸＹ座標を電圧値で検出し、検出された位置信号を操作信号として制御部に出力する。
【００３０】
通信部１３０は、電子ペン３００やユーザ端末２００との通信を確立するためのインターフェースである。
【００３１】
画像形成部１４０は、電子写真方式や静電記録方式等の作像プロセスを利用した画像形成のために必要な要素、すなわち、帯電装置、感光体ドラム、露光装置、転写ローラ、転写ベルト、定着装置などで構成され、符号パターン出力部として、手書き情報を入力するための符号パターンを用紙に印刷したり、合成手書き情報記憶部１１６に記憶された合成手書き情報（若しくは合成手書き情報と原稿画像）を用紙に印刷したりする。
【００３２】
画像出力部１５０は、符号パターン出力部として、手書き情報を入力するための符号パターンを表示・操作部１２０に表示させたり、通信部１３０を介してユーザ端末２００に送信したりする。また、画像出力部１５０は、合成手書き情報記憶部１１６に記憶された合成手書き情報（若しくは合成手書き情報と原稿画像）を表示・操作部１２０に表示させたり、通信部１３０を介してユーザ端末２００に送信したりする。
【００３３】
画像読取部１６０は、原稿台上の原稿を走査する光源と、原稿で反射された光を電気信号に変換するＣＣＤ（Charge Coupled Devices）イメージセンサと、電気信号をＡ／Ｄ変換するＡ／Ｄ変換器などにより構成され、原稿台に載置された紙文書の原稿からイメージデータを光学的に読み取る。
【００３４】
図１では、手書きする用紙に符号パターンのみが印刷される場合の構成を示したが、手書きする用紙に原稿画像（一つの用紙セット内で同じであってもよいし、異なっていてもよい。）と符号パターンとが印刷される場合、画像形成装置１００は図２のようになり、図１の構成に余白領域判別部１１７が追加される。この余白領域判別部１１７は、原稿画像が印刷された領域（原稿領域と呼ぶ。）以外の領域（余白領域と呼ぶ。）を判別する。そして、手書き情報合成部１１５では、余白領域判別部１１７が判別した余白領域に複数の手書き情報を出力できるように、複数の手書き情報の配置を調整したり倍率を変更したりする。
【００３５】
以上、画像形成装置１００の概略構成を示したが、画像形成装置１００のコントローラの具体的な構成は図３のようになる。すなわち、コントローラは、ＣＰＵ（Central Processing Unit）１７１、ＲＯＭ（Read Only Memory）１７２、ＲＡＭ（Random Access Memory）１７３、モータードライバ１７４、ＩＲ（Image Reader）／ＡＤＦ（Auto Document Feeder）モーター１７５、オペレーションパネル１７６、電子ペン用通信モジュール１７７、ＣＣＤ（Charge Coupled Devices）１７８、ＵＳＢ（Universal Serial Bus）インターフェース１７９、ＮＩＣ（Network Interface Card）１８０、画像処理チップ１８１、画像処理用ＲＡＭ１８２、プリントエンジン１８３、ＴＥＬ応答モジュール１８４、モデム１８５、公衆回線インターフェースモジュール１８６などで構成される。
【００３６】
ＣＰＵ１７１は、ＲＯＭ１７２に保存されているプログラムをＲＡＭ１７３にコピーした後、ＲＡＭ１７３上のプログラムに従って全体制御を行う。なお、図３のＣＰＵ１７１とＲＯＭ１７２とＲＡＭ１７３とが、図１及び図２の制御部１１０に対応する。
【００３７】
ＩＲ／ＡＤＦモーター１７５は、画像読取部１６０や自動原稿送り装置を駆動するモーターである。モータードライバ１７４は、ＩＲ／ＡＤＦモーター１７５を駆動制御する。
【００３８】
オペレーションパネル１７６は、図１及び図２の表示・操作部１２０に対応し、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイ上に、透明電極が格子状に配置された感圧式の操作部を設けて構成される。
【００３９】
電子ペン用通信モジュール１７７は、図１及び図２の通信部１３０に対応し、Bluetooth（登録商標）通信方式に代表される短距離無線通信や有線通信により電子ペン３００の通信モジュール３０４と通信を行い、電子ペン３００から手書き情報を受信し、ＲＡＭ１７３に保持する。
【００４０】
ＣＣＤ１７８は、画像形成装置１００の画像読取部１６０や自動原稿送り装置に設置され、オリジナル原稿をスキャンして原稿の反射光を検出し、この反射光を光電変換し更にアナログ−デジタル変換してスキャンデータを生成する。ＵＳＢインターフェース１７９は、ＵＳＢ対応機器と接続するためのインターフェースである。ＮＩＣ１８０は、図１及び図２の通信部１３０に対応し、ユーザ端末２００などとＬＡＮ（Local Area Network）を経由して接続するための拡張カードであって、ユーザ端末２００等から原稿の電子データを入力したり、合成手書き情報をユーザ端末２００等に送信したりする。
【００４１】
画像処理チップ１８１は、ページ記述言語（ＰＤＬ：Page Description Language）形式の印刷データをラスタライズ（画像展開）する処理や、変倍、画像回転、濃度調整、エッジ強調、スムージング、２値化等の画像処理などを行う。また、画像処理チップ１８１は、図１及び図２の制御部１１０で実現する機能として、用紙に印刷する符号パターンをプリントエンジン１８３に出力したり、複数の手書き情報を合成する処理などを行う。画像処理用ＲＡＭ１８２は、画像処理チップ１８１が画像処理の過程で出力する画像データや各種計算値、符号パターンなどを一時的に記憶する。また、画像処理用ＲＡＭ１８２は、画像処理後の１頁分の画像データを蓄えるページメモリとしての機能も担う。プリントエンジン１８３は、ページメモリとしての画像処理用ＲＡＭ１８２に蓄えられた画像データに基づいて用紙上に画像を形成する。
【００４２】
電話応答モジュール１８４は、着信時の応答を行う。モデム１８５は、デジタル信号を電話回線のアナログ信号に変調すると共に、その逆に変換して復調する。公衆回線インターフェースモジュール１８６は、公衆回線網と接続するためのインターフェースである。
【００４３】
なお、本実施例では、画像合成装置を、符号パターンを用紙に印刷したり、複数の手書き情報を合成して用紙に印刷したりする印刷機能を備えた画像形成装置としているが、画像合成装置は、各々の用紙に印刷した符号パターンと用紙セットとの対応付けが可能であればよく、例えば、符号パターンを合成した画面上で手書き入力を行う場合や、合成手書き情報を画面上に表示する場合は、表示機能を備えた装置（例えば、電子ペーパーや電子ブック、携帯端末、コンピュータ装置など）としてもよい。
【００４４】
［ユーザ端末］
ユーザ端末２００は、図示しない制御部、通信部、表示部、操作部などで構成される。
【００４５】
制御部は、ＣＰＵ、ＲＯＭやＲＡＭなどのメモリ、ＨＤＤなどで構成され、ＲＯＭやＨＤＤに記憶されたプログラムをＲＡＭに展開し、ＣＰＵで実行する。本実施例では、制御部は、文書作成アプリケーションを実行することにより、原稿データを作成し、プリンタドライバを実行することにより、原稿データをページ記述言語形式の印刷データに変換して画像形成装置１００に印刷を指示する機能も提供する。
【００４６】
通信部は、ＮＩＣやモデムなどで構成され、画像形成装置１００との通信を確立する。表示部は、ＬＣＤなどで構成され、各種画面などを表示する。操作部は、キーボードやマウスなどで構成され、印刷ジョブの作成などの各種操作を可能とする。
【００４７】
［電子ペン］
電子ペン３００は、アノト（登録商標）方式に代表される符号パターンを読み取って位置情報を得る装置である。各電子ペン３００には固有の電子ペンＩＤが付帯している。また、この電子ペン３００は、手書き情報を入力した日時情報を記憶している。
【００４８】
図４は、電子ペン３００の具体的な構成を示すブロック図であり、電子ペン３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、通信モジュール３０４、バッテリーモジュール３０５、イメージセンサ３０６、ペン圧力検知センサ３０７、筆記モジュール３０８、時計モジュール３０９などで構成される。
【００４９】
ＣＰＵ３０１は、プログラムに従って演算するデータ処理装置である。ＲＯＭ３０２は、プログラムを格納する情報記憶部である。ＲＡＭ３０３は、データを格納する情報記憶部である。通信モジュール３０４は、Bluetooth（登録商標）に代表される短距離無線通信や有線通信により画像形成装置１００の電子ペン用通信モジュール１７７と通信を行う。バッテリーモジュール３０５は、電子ペン３００の電源である一次電池または二次電池である。イメージセンサ３０６は、パターンを読み取るための小型のＣＣＤまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）ビデオカメラである。ペン圧力感知センサ３０７は、電子ペン３００の筆圧を検知する圧電素子などである。筆記モジュール３０８は、イメージセンサ３０６で読み取ったパターンに基づいて電子ペン３００の位置を特定し、電子ペン３００の軌跡（位置情報の集合）を手書き情報として出力する装置である。時計モジュール３０９は、日時情報を保持する装置である。
【００５０】
なお、電子ペン３００は、用紙に印刷若しくは画面に表示されるパターンを認識してその位置情報を手書き情報として出力する機能を備えていればよく、その構成や形状、通信方法などは特に限定されない。
【００５１】
図５は、上記電子ペン３００で手書き入力する用紙に印刷若しくは画面に表示されるアノト（登録商標）パターンの一例である。このアノト（登録商標）パターンは、格子状に配置されたドットパターンであり、各ドットは０．３ｍｍ間隔で直交する格子から上下左右いずれかの方向へ僅かにずれていて、イメージセンサ３０６によって、１度に縦６×横６ドット、計３６ドットのマトリクス単位で読み込まれる。このアノト（登録商標）パターンはパターン平面上のどの点をとっても一意な値であり、電子ペン３００で書かれた軌跡はすべて異なる位置情報として認識できる。従って、手書き情報を解析することによって、各々の用紙に印刷された符号パターンが、パターン平面上のどこを切り出したパターンであるかを判別することができ、符号パターン記憶部１１１に記憶された対応付け情報に基づいて、その符号パターンに対応する用紙セットを特定することができる。
【００５２】
次に、本実施例の画像合成処理について、図６の概念図を参照して説明する。
【００５３】
まず、図６（ａ）に示すように、ユーザがユーザ端末２００を操作して原稿を作成すると、画像形成装置１００は、ユーザ端末２００から受信した原稿、若しくは、画像読取部１６０で読み取った原稿の画像と符号パターンとを複数の用紙に印刷する。その際、符号パターン記憶部１１１は、その複数の用紙を一つの用紙セットとし、各々の用紙に印刷した符号パターン若しくは符号パターンを特定する情報を用紙セットの識別情報に対応付けて記憶する。
【００５４】
なお、ここでは、原稿の画像と符号パターンを用紙に印刷しているが、符号パターンのみを用紙に印刷してもよい。また、ここでは、複数の用紙に同じ原稿の画像を印刷しているが、ユーザ毎に原稿の画像を変えてもよい。また、原稿画像と符号パターン（若しくは符号パターンのみ）を用紙に印刷する代わりに、画面上に表示してもよい。
【００５５】
次に、画像と符号パターンを印刷した用紙を受け取ったユーザは、電子ペン３００を用いて、その用紙上にメモやコメントを手書きする。ここでは、ユーザＡは、「あいうえお」と「なにぬねの」、ユーザＢは「かきくけこ」と「はひふへほ」、ユーザＣは、「さしすせそ」と「たちつてと」を手書きする。
【００５６】
電子ペン３００では、ペン圧力検知センサ３０７がペン圧を検知した時、イメージセンサ３０６は用紙上の符号パターンを読み取り、筆記モジュール３０８は、読み取った符号パターンに基づいてペン先の位置を特定し、ペン先の軌跡を手書き情報（位置情報の集合）として取得する。また、時計モジュール３０９は、その時の日時情報を取得する。そして、ＣＰＵ３０１は、筆記モジュール３０８が取得した手書き情報を時計モジュール３０９が取得した日時情報に対応付けてＲＡＭ３０３に記憶し、手書き入力が終了したら、通信モジュール３０４を用いてＲＡＭ３０３に記憶した情報を画像形成装置１００に送信する。その際、電子ペン３００を識別する電子ペンＩＤも送信する。
【００５７】
画像形成装置１００では、手書き情報取得部１１２は、複数の電子ペン３００から手書き情報を取得すると共に、手書き情報から符号パターンを特定（すなわち、手書き情報の位置からパターン平面のどこを切り出した符号パターンであるかを特定）し、符号パターン記憶部１１１に記憶した対応付け情報を参照して用紙セットＩＤを特定する。手書き情報記憶部１１３は、複数の電子ペン３００の複数の手書き情報を用紙セットＩＤ、電子ペンＩＤ（ユーザＩＤ）、日時情報に対応付けて記憶する。
【００５８】
次に、手書き情報オーバーラップ判別部１１４では、複数の手書き情報を比較し、手書き情報の重なりを判別する。例えば、図６（ｂ）の例では、原稿画像の上側には「あいうえお」と「かきくけこ」と「さしすせそ」の文字が手書きされているが、「かきくけこ」と「さしすせそ」とが重なっていると判断する。また、原稿画像の下側には「なにぬねの」と「はひふへほ」と「たちつてと」の文字が手書きされているが、「なにぬねの」と「はひふへほ」とが重なっていると判断する。そして、手書き情報に重なりがある場合は、手書き情報合成部１１５は、手書き情報に対応付けられた日時情報や電子ペンＩＤ（ユーザＩＤ）などに基づいて、手書き情報を並び替える。
【００５９】
次に、手書き情報合成部１１５は、手書き情報記憶部１１３に記憶した複数の手書き情報、若しくは、並び替えた複数の手書き情報を関連付けて、合成手書き情報記憶部１１６に記憶する。その際、手書き情報を原稿画像と共に用紙に印刷する場合は、余白領域判別部１１７は、原稿の画像が形成されていない余白領域を判別し、手書き情報合成部１１５は、その余白領域内に複数の手書き情報を合成できるように、位置を調整したり、倍率を変更したりする。
【００６０】
そして、画像形成部１４０は、複数の手書き情報（又は、原稿画像と複数の手書き画像）を用紙上に転写して図６（ｃ）に示すような用紙を出力する。若しくは、画像出力部１５０は、複数の手書き情報（又は、原稿画像と複数の手書き画像）を表示・操作部１２０に表示させたり、通信部１３０を介してユーザ端末２００に送信したりする。
【００６１】
このように、用紙セットを構成する各用紙に印刷する符号パターンを用紙セットの識別情報に対応付けておくことにより、複数の用紙に書き込まれた複数の手書き情報を用紙セット毎に関連付けることができるため、複数の手書き情報をまとめて用紙に印刷したり、表示したりすることができる。また、複数の手書き情報が重なり合う場合には、重ならないように配置が調整され、また、原稿画像に合成する場合は、余白領域に収まるように配置や倍率が調整されるため、手書き情報の視認性を良好に保つことができる。
【００６２】
次に、本実施例の画像形成装置１００の具体的な動作について、図７のフローチャート図を参照して説明する。なお、以下のフローは、用紙に予め原稿画像が印刷されておらず、符号パターンのみが印刷されている場合の動作である。
【００６３】
画像形成部１４０により、符号パターンを複数枚の用紙に印刷し、それらを一つの用紙セットとして、各々の用紙に印刷した符号パターンを用紙セットＩＤに対応付けて符号パターン記憶部１１１に記憶する（Ｓ１０１）。なお、一つの用紙セット内で印刷される符号パターンは、用紙間で同じでもよいし異なっていてもよい。その後、一つの用紙セットとした複数枚の用紙を、複数のユーザに配布する。各ユーザは、配布された各用紙に電子ペン３００を用いて手書き情報を書き込む。
【００６４】
次に、手書き情報取得部１１２は、通信部１３０を介して、電子ペン３００から、各ユーザが各用紙に書き込んだ手書き情報を、電子ペンＩＤ及び書き込まれた日時情報と一緒に受信する（Ｓ１０２）。
【００６５】
次に、制御部１１０は、表示・操作部１２０等を介して、ユーザから「手書き情報を合成する」という指示を受けたかを判断し（Ｓ１０３）、指示を受けるまでＳ１０２のステップを繰り返す。
【００６６】
指示を受けた場合は、手書き情報取得部１１２は、用紙セットＩＤと受信した手書き情報とを結びつける（Ｓ１０４）。具体的には、受信した手書き情報を解析し、手書き情報の位置から符号パターンを特定し、符号パターン記憶部１１１に記憶した対応付け情報を参照して、その符号パターンに対応する用紙セットＩＤを特定することによって、用紙セット毎に複数の手書き情報を関連付ける。つまり、どの用紙セットにどの電子ペンＩＤ（＝ユーザＩＤ）の手書き情報が書き込まれたかを判断する。
【００６７】
次に、複数の手書き情報を合成する前に、手書き情報オーバーラップ判別部１１４は、用紙セット毎の複数の手書き情報が互いにオーバーラップしていないかを判断する（Ｓ１０５）。なお、オーバーラップしているか否かは、各々の手書き情報の用紙上の座標を計算することによって判断することができる。
【００６８】
オーバーラップしていない場合は、合成方法１として、手書き情報合成部１１５は、複数の手書き情報を書き込まれたそのままの位置で合成する（Ｓ１０６）。
【００６９】
オーバーラップしている場合は、複数の手書き情報を、電子ペンＩＤ（＝ユーザＩＤ）に従って並べ替えるか、書き込まれた日時情報に従って並べ替えるかをユーザに選択させる（Ｓ１０８）。
【００７０】
電子ペンＩＤが並べ替えの条件として選択された場合は（Ｓ１０９のＹｅｓ）、合成方法２として、手書き情報合成部１１５は、オーバーラップした手書き情報のみを、予め登録した電子ペンＩＤ（＝ユーザＩＤ）の優先順位に従って並べ替え（Ｓ１１０）、その後、並び替えた複数の手書き情報を合成する（Ｓ１１１）。
【００７１】
上記並べ替え・合成の例としては、
（１）優先順位の一番高いユーザの手書き情報を書き込まれたそのままの位置に保持し、それ以外のユーザの手書き情報をユーザＩＤの優先順位に従って一番優先順位の高いユーザの手書き情報の近傍の余白（上下左右のどこでも良く、どこにするかを選択できるようにしてもよい。）に合成する方法、
（２）オーバーラップしている複数の手書き情報をまとめて手書き情報が全くないエリアに移動させ、そこにユーザＩＤの優先順位で並べ替えて合成する方法、
などがある。
【００７２】
一方、書き込まれた時刻が並べ替えの条件として選択された場合は（Ｓ１０９のＮｏ）、合成方法３として、手書き情報合成部１１５は、オーバーラップした手書き情報のみを、書き込まれた時刻の順に並べ替え（Ｓ１１２）、書き込まれた時刻に偶然に一致したものがあったら（Ｓ１１３のＹｅｓ）、それらは電子ペンＩＤ（＝ユーザＩＤ）の優先順位に従って並べ替え（Ｓ１１４）、その後、並び替えた複数の手書き情報を合成する（Ｓ１１１）。
【００７３】
そして、合成した手書き情報を合成手書き情報記憶部１１６に記憶したり、画像形成部１４０を用いて印刷したり、表示・操作部１２０に表示させたり、通信部１３０を用いてユーザ端末２００などに送信したりする（Ｓ１０７）。
【００７４】
図７では、複数の手書き情報を書き込まれたそのままの位置に合成する方法を第１の合成方法としているが、第１の合成方法はないものとして、すぐにユーザに手書き情報を電子ペンＩＤ（＝ユーザＩＤ）で並べ替えるか、書き込まれた時刻の順に並べ替えるかを選択させる処理（Ｓ１０８）に移行して、手書き情報が互いにオーバーラップしているか否かに関わらず、全ての手書き情報を合成可能な領域（例えば、配布した用紙がＡ４サイズであったら、合成可能領域もＡ４サイズ全域）に新たに並べ替え、整列させて合成する処理を行ってもよい。
【００７５】
次に、用紙に、符号パターンと原稿画像とが印刷されている場合の画像形成装置の動作について、図８のフローチャート図を参照して説明する。
【００７６】
まず、画像形成部１４０により、符号パターンと原稿画像とを複数枚の用紙に印刷し、それらを一つのセットとして、各々の用紙に印刷した符号パターンを用紙セットＩＤに対応付けて符号パターン記憶部１１１に記憶する（Ｓ２０１）。なお、一つの用紙セット内の各々の用紙に印刷される符号パターンは、用紙間で同じでも異なっていても良い。
【００７７】
その後、図７のフローチャート図と同様に、一つのセットとした複数枚の用紙を、複数人のユーザに配布し、各ユーザは配布された各用紙に電子ペンで手書き情報を書き込み、手書き情報取得部１１２は、通信部１３０を介して、電子ペン３００から、各ユーザが各用紙に書き込んだ手書き情報を、電子ペンＩＤ及び書き込まれた日時情報と一緒に受信する（Ｓ２０２）。そして、制御部１１０は、表示・操作部１２０等を介して、ユーザから「手書き情報を合成する」という指示を受けたかを判断し（Ｓ２０３）、指示を受けるまでＳ２０２のステップを繰り返す。
【００７８】
指示を受けた場合は、手書き情報取得部１１２は、用紙セットＩＤと受信した手書き情報とを結びつけ（Ｓ２０４）、手書き情報オーバーラップ判別部１１４は、用紙セット毎の複数の手書き情報が互いにオーバーラップしていないかを判断する（Ｓ２０５）。
【００７９】
オーバーラップしていない場合は、合成方法１として、手書き情報合成部１１５は、複数の手書き情報を書き込まれたそのままの位置で合成し（Ｓ２０６）、オーバーラップしている場合は、複数の手書き情報を、電子ペンＩＤ（＝ユーザＩＤ）に従って並べ替えるか、書き込まれた日時情報に従って並べ替えるかをユーザに選択させる（Ｓ２０８）。
【００８０】
電子ペンＩＤが並べ替えの条件として選択された場合は（Ｓ２０９のＹｅｓ）、合成方法２として、手書き情報合成部１１５は、全ての手書き情報を、予め登録した電子ペンＩＤ（＝ユーザＩＤ）の優先順位に従って並べ替える（Ｓ２１０）。
【００８１】
書き込まれた時刻が並べ替えの条件として選択された場合は（Ｓ２０９のＮｏ）、合成方法３として、手書き情報合成部１１５は、全ての手書き情報を、書き込まれた時刻の順に並べ替える（Ｓ２１２）。書き込まれた時刻に偶然に一致したものがあったら（Ｓ２１３のＹｅｓ）、それらは電子ペンＩＤ（＝ユーザＩＤ）の優先順位に従って並べ替える（Ｓ２１４）。
【００８２】
その後、余白領域判別部１１７は、原稿の余白領域を判別し、手書き情報合成部１１５は、Ｓ２１０、Ｓ２１２、Ｓ２１４で並べ替えた手書き情報を、用紙の上半分に書かれたものは上半分の原稿画像のない余白領域に合成し、用紙の下半分に書かれたものは下半分の原稿画像のない余白領域に合成する（Ｓ２１１）。このような処理を行っているのは、原稿画像がなく符号パターンのみが印刷された「白紙」の用紙と違って、原稿画像がある場合は、原稿画像のどこに手書き情報を書き込むかにも意味があるからである。
【００８３】
なお、ここでは、用紙を上半分／下半分に２分割にしたが、４分割、６分割、８分割などとしても良い。勿論、分割はしないで、原稿画像のない余白を一つの余白領域（手書き情報合成可能領域）としても良い。また、ここでは、手書き情報が一つでもオーバーラップしていたら全てを並べ替えて合成するとしたが、オーバーラップしている手書き情報だけを並べ替えて合成し、オーバーラップしていないものは手書きされたその位置に合成しても良い。
【００８４】
そして、合成した手書き情報を合成手書き情報記憶部１１６に記憶したり、画像形成部１４０を用いて印刷したり、表示・操作部１２０に表示させたり、通信部１３０を用いてユーザ端末２００などに送信したりする（Ｓ２０７）。
【００８５】
以上、画像形成装置１００の動作について説明したが、手書き情報の並べ替え方法は上記例に限定されず、
（１）手書き情報を画像データからＯＣＲ（Optical Character Reader）でテキストデータ化し、同じキーワードを含んだもの同士をまとめる方法、
（２）手書き情報を画像データからＯＣＲでテキストデータ化し、内容が全く同じものが２つ以上あったら、１つを残し、他は削除する方法、
（３）手書き情報を画像データからＯＣＲでテキストデータ化し、同じキーワードを含んだもの／内容が全く同じものが２つ以上あったら、１つを大きなフォント（または強調フォント、または先頭タブ）にし、残りは小さなフォント（または普通フォント、またはタブを一段下げる）にする方法、
（４）手書き情報を画像データからＯＣＲでテキストデータ化し、内容が近いものが２つ以上あったら、どれか１つを参考に、誤字・脱字を直したり、ひらがなのままの記述を漢字に直したりする方法、
などを用いてもよい。
【００８６】
また、手書き情報を合成したときに合成可能領域／余白領域に入りきらなかった場合に、手書き情報を画像データのままで取り扱う場合は、
（１）領域内に入りきるように手書き情報を縮小したり、スペースに余裕があったら、より見やすいように手書き情報を拡大したりする、
（２）手書き情報を別紙に印刷（例えば、原稿画像がない場合は一枚目の領域に入りきらなかった分を別紙に印刷、原稿画像がある時は手書き情報だけまとめて別紙に印刷）する、
（３）原稿画像があった場合、原稿画像と上記別紙に印刷したような手書き情報を２ｉｎ１にする、
といった方法を用いてもよい。
【００８７】
また、手書き情報を合成したときに合成可能領域／余白領域に入りきらなかった場合に、手書き情報を画像データからＯＣＲでテキストデータ化して取り扱う場合は、
（１）手書き情報のフォントを一律小さくしたり、スペースに余裕があったら、より見やすいようにフォントを大きくしたりする、
（２）他のユーザのものと重複する内容を持つデータはフォントを大きくし、その他は小さくする、
といった方法を用いてもよい。
【００８８】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、各装置の構成や制御は適宜変更可能である。たとえば、上記実施例においては、電子ペンＩＤをユーザＩＤに対応付けており、電子ペンＩＤによってどのユーザが記入した手書き情報であるかを区別している。これに代え、用紙セットを構成する各々の用紙に必ず異なる符号パターンを印刷するように構成して用紙毎にユーザを対応付けるようにしてもよい。この場合、複数のユーザによって電子ペンが共用される状況においても、符号パターンによってどのユーザが記入した手書き情報であるかを特定することができる。
【産業上の利用可能性】
【００８９】
本発明は、複数の用紙に書き込まれた手書き情報を合成する処理が可能な画像合成装置、特に、複数の用紙に符号パターンを印刷したり、合成した手書き情報を印刷したりすることができる画像形成装置に利用可能である。
【符号の説明】
【００９０】
１００ 画像形成装置
１１０ 制御部
１１１ 符号パターン記憶部
１１２ ユーザＩＤ記憶部
１１３ 手書き情報取得部
１１４ 手書き情報オーバーラップ判別部
１１５ 手書き情報合成部
１１６ 合成手書き情報記憶部
１１７ 余白領域判別部
１２０ 操作部
１３０ 通信部
１４０ 画像形成部
１５０ 画像出力部
１６０ 画像読取部
１７１ ＣＰＵ
１７２ ＲＯＭ
１７３ ＲＡＭ
１７４ モータードライバ
１７５ ＩＲ／ＡＤＦモーター
１７６ オペレーションパネル
１７７ 電子ペン用通信モジュール
１７８ ＣＣＤ
１７９ ＵＳＢインターフェース
１８０ ＮＩＣインターフェース
１８１ 画像処理チップ
１８２ 画像処理用ＲＡＭ
１８３ プリントエンジン
１８４ ＴＥＬ応答モジュール
１８５ モデム
１８６ 公衆回線インターフェースモジュール
２００ ユーザ端末
３００ 電子ペン
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ 通信モジュール
３０５ バッテリーモジュール
３０６ イメージセンサ
３０７ ペン圧力検知センサ
３０８ 筆記モジュール
３０９ 時計モジュール
【特許請求の範囲】
【請求項１】
電子ペンと通信可能な装置で動作する画像合成プログラムであって、
前記装置を、
複数の用紙の各々に印刷された前記電子ペンで検出可能な符号パターンを、前記複数の用紙からなる用紙セットの識別情報に対応付けて記憶する符号パターン記憶部、
前記電子ペンから、当該電子ペンが検出した前記符号パターンにより特定される手書き情報を取得する手書き情報取得部、
前記符号パターン記憶部に記憶した情報を参照して、前記電子ペンから取得した手書き情報と前記用紙セットの識別情報とを対応付けて記憶する手書き情報記憶部、
前記複数の用紙に書き込まれた複数の手書き情報を関連付ける手書き情報合成部、として機能させる、
ことを特徴とする画像合成プログラム。
【請求項２】
前記手書き情報合成部は、前記複数の手書き情報を合成して合成画像を生成する、ことを特徴とする請求項１に記載の画像合成プログラム。
【請求項３】
前記複数の用紙に原稿の画像が印刷される場合において、
前記装置を、
前記原稿の画像が印刷されている原稿領域以外の余白領域を判別する余白領域判別部、として機能させ、
前記手書き情報合成部は、出力媒体における前記原稿領域に相当する領域に前記原稿の画像を合成すると共に、当該出力媒体における前記余白領域に相当する領域に前記複数の手書き情報を合成する、ことを特徴とする請求項１又は２に記載の画像合成プログラム。
【請求項４】
前記装置を、
前記複数の手書き情報の前記用紙上の位置の重なりを判別する手書き情報オーバーラップ判別部として機能させ、
前記手書き情報取得部は、前記電子ペンから、手書き情報を生成した日時情報及び前記電子ペンの識別情報を取得し、
前記手書き情報合成部は、前記用紙上の位置が重なる手書き情報がある場合に、少なくとも重なり合う手書き情報の配置を調整して、前記複数の手書き情報を出力媒体上で重ならないように合成する、ことを特徴とする請求項１乃至３のいずれか一に記載の画像合成プログラム。
【請求項５】
用紙セットを構成する複数の用紙の各々に、電子ペンで検出可能な符号パターンを印刷する符号パターン出力部と、
各々の用紙に印刷された前記符号パターンを、前記用紙セットの識別情報に対応付けて記憶する符号パターン記憶部と、
前記電子ペンから、当該電子ペンが検出した前記符号パターンにより特定される手書き情報を取得する手書き情報取得部と、
前記符号パターン記憶部に記憶した情報を参照して、前記電子ペンから取得した手書き情報と前記用紙セットの識別情報とを対応付けて記憶する手書き情報記憶部と、
前記複数の用紙に書き込まれた複数の手書き情報を関連付ける手書き情報合成部と、を備える、
ことを特徴とする画像合成装置。
【請求項６】
前記手書き情報合成部は、前記複数の手書き情報を合成して合成画像を生成する、ことを特徴とする請求項５に記載の画像合成装置。
【請求項７】
前記複数の用紙に原稿の画像が印刷される場合における、前記原稿の画像が印刷されている原稿領域以外の余白領域を判別する余白領域判別部を備え、
前記手書き情報合成部は、出力媒体における前記原稿領域に相当する領域に前記原稿の画像を合成すると共に、当該出力媒体における前記余白領域に相当する領域に前記複数の手書き情報を合成する、ことを特徴とする請求項５又は６に記載の画像合成装置。
【請求項８】
前記複数の手書き情報の前記用紙上の位置の重なりを判別する手書き情報オーバーラップ判別部を備え、
前記手書き情報取得部は、前記電子ペンから、手書き情報を生成した日時情報及び前記電子ペンの識別情報を取得し、
前記手書き情報合成部は、前記用紙上の位置が重なる手書き情報がある場合に、少なくとも重なり合う手書き情報の配置を調整して、前記複数の手書き情報を出力媒体上で重ならないように合成する、ことを特徴とする請求項５乃至７のいずれか一に記載の画像合成装置。
【請求項９】
前記符号パターン出力部は、前記各々の用紙に、パターン平面上の異なる位置から切り出した符号パターンを印刷する、ことを特徴とする請求項５乃至８のいずれか一に記載の画像合成装置。
【請求項１０】
前記符号パターン出力部は、前記各々の用紙に、パターン平面上の同じ位置から切り出した符号パターンを印刷する、ことを特徴とする請求項５乃至８のいずれか一に記載の画像合成装置。
【請求項１】
電子ペンと通信可能な装置で動作する画像合成プログラムであって、
前記装置を、
複数の用紙の各々に印刷された前記電子ペンで検出可能な符号パターンを、前記複数の用紙からなる用紙セットの識別情報に対応付けて記憶する符号パターン記憶部、
前記電子ペンから、当該電子ペンが検出した前記符号パターンにより特定される手書き情報を取得する手書き情報取得部、
前記符号パターン記憶部に記憶した情報を参照して、前記電子ペンから取得した手書き情報と前記用紙セットの識別情報とを対応付けて記憶する手書き情報記憶部、
前記複数の用紙に書き込まれた複数の手書き情報を関連付ける手書き情報合成部、として機能させる、
ことを特徴とする画像合成プログラム。
【請求項２】
前記手書き情報合成部は、前記複数の手書き情報を合成して合成画像を生成する、ことを特徴とする請求項１に記載の画像合成プログラム。
【請求項３】
前記複数の用紙に原稿の画像が印刷される場合において、
前記装置を、
前記原稿の画像が印刷されている原稿領域以外の余白領域を判別する余白領域判別部、として機能させ、
前記手書き情報合成部は、出力媒体における前記原稿領域に相当する領域に前記原稿の画像を合成すると共に、当該出力媒体における前記余白領域に相当する領域に前記複数の手書き情報を合成する、ことを特徴とする請求項１又は２に記載の画像合成プログラム。
【請求項４】
前記装置を、
前記複数の手書き情報の前記用紙上の位置の重なりを判別する手書き情報オーバーラップ判別部として機能させ、
前記手書き情報取得部は、前記電子ペンから、手書き情報を生成した日時情報及び前記電子ペンの識別情報を取得し、
前記手書き情報合成部は、前記用紙上の位置が重なる手書き情報がある場合に、少なくとも重なり合う手書き情報の配置を調整して、前記複数の手書き情報を出力媒体上で重ならないように合成する、ことを特徴とする請求項１乃至３のいずれか一に記載の画像合成プログラム。
【請求項５】
用紙セットを構成する複数の用紙の各々に、電子ペンで検出可能な符号パターンを印刷する符号パターン出力部と、
各々の用紙に印刷された前記符号パターンを、前記用紙セットの識別情報に対応付けて記憶する符号パターン記憶部と、
前記電子ペンから、当該電子ペンが検出した前記符号パターンにより特定される手書き情報を取得する手書き情報取得部と、
前記符号パターン記憶部に記憶した情報を参照して、前記電子ペンから取得した手書き情報と前記用紙セットの識別情報とを対応付けて記憶する手書き情報記憶部と、
前記複数の用紙に書き込まれた複数の手書き情報を関連付ける手書き情報合成部と、を備える、
ことを特徴とする画像合成装置。
【請求項６】
前記手書き情報合成部は、前記複数の手書き情報を合成して合成画像を生成する、ことを特徴とする請求項５に記載の画像合成装置。
【請求項７】
前記複数の用紙に原稿の画像が印刷される場合における、前記原稿の画像が印刷されている原稿領域以外の余白領域を判別する余白領域判別部を備え、
前記手書き情報合成部は、出力媒体における前記原稿領域に相当する領域に前記原稿の画像を合成すると共に、当該出力媒体における前記余白領域に相当する領域に前記複数の手書き情報を合成する、ことを特徴とする請求項５又は６に記載の画像合成装置。
【請求項８】
前記複数の手書き情報の前記用紙上の位置の重なりを判別する手書き情報オーバーラップ判別部を備え、
前記手書き情報取得部は、前記電子ペンから、手書き情報を生成した日時情報及び前記電子ペンの識別情報を取得し、
前記手書き情報合成部は、前記用紙上の位置が重なる手書き情報がある場合に、少なくとも重なり合う手書き情報の配置を調整して、前記複数の手書き情報を出力媒体上で重ならないように合成する、ことを特徴とする請求項５乃至７のいずれか一に記載の画像合成装置。
【請求項９】
前記符号パターン出力部は、前記各々の用紙に、パターン平面上の異なる位置から切り出した符号パターンを印刷する、ことを特徴とする請求項５乃至８のいずれか一に記載の画像合成装置。
【請求項１０】
前記符号パターン出力部は、前記各々の用紙に、パターン平面上の同じ位置から切り出した符号パターンを印刷する、ことを特徴とする請求項５乃至８のいずれか一に記載の画像合成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−８９０２８（Ｐ２０１２−８９０２８Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３６７９２（Ｐ２０１０−２３６７９２）
【出願日】平成２２年１０月２１日（２０１０．１０．２１）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月２１日（２０１０．１０．２１）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]