情報処理装置及びシート配置認識プログラム
【課題】複数のシートを跨ぐように書き込まれた情報を適切に合成できるように、複数のシートの配置を認識することができる情報処理装置及びシート配置認識プログラムの提供。
【解決手段】電子ペンと通信可能な情報処理装置であって、前記電子ペンが認識可能な位置検出用符号が印刷された複数のシートを並べた状態で、前記電子ペンを用いて特定の動作が行われた時の、当該特定の動作を規定するシート上の位置情報及び時刻情報を、前記電子ペンから取得し、前記位置情報及び時刻情報に基づいて、各々のシートに描画された画像を合成するための、前記複数のシートの配置を認識する制御部を備える。
【解決手段】電子ペンと通信可能な情報処理装置であって、前記電子ペンが認識可能な位置検出用符号が印刷された複数のシートを並べた状態で、前記電子ペンを用いて特定の動作が行われた時の、当該特定の動作を規定するシート上の位置情報及び時刻情報を、前記電子ペンから取得し、前記位置情報及び時刻情報に基づいて、各々のシートに描画された画像を合成するための、前記複数のシートの配置を認識する制御部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びシート配置認識プログラムに関し、特に、電子ペンで利用可能なシートを出力する画像形成装置及び複数のシートの配置を決定するシート配置認識プログラムに関する。
【背景技術】
【０００２】
昨今、オフィス等で扱う情報を電子化して効率的な取り扱いをするための様々な電子情報機器が存在する。ペンで入力した筆跡をデータとして出力する電子ペン（例えば、アノト（登録商標）ペン）もその一つである。このアノト（登録商標）ペンは、ペン先に小型カメラを搭載しており、専用のシートに印刷されたアノト（登録商標）パターンと呼ばれるドットパターンを小型カメラで読み取ることによってペン先の位置を特定し、手書きした文字や図形、絵などの筆跡を手書きデータとして出力することができる（例えば、下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１４１０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、電子ペンが位置を認識するためのパターンを印刷したシートを作成する際、プリンタなどの画像形成装置がサポートするサイズのシートしか選択することができない。そのため、例えば、会議などで使用する比較的大きなシート（模造紙）に上記パターンを印刷したいと思っても、そのシートが画像形成装置の最大サポートサイズを超えていれば印刷することができず、所望のサイズのシートに電子ペンで書き込みができないという問題があった。
【０００５】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、複数のシートを跨ぐように書き込まれた情報を適切に合成できるように、複数のシートの配置を認識することができる情報処理装置及びシート配置認識プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、電子ペンと通信可能な情報処理装置であって、前記電子ペンが認識可能な位置検出用符号が印刷された複数のシートを並べた状態で、前記電子ペンを用いて特定の動作が行われた時の、当該特定の動作を規定するシート上の位置情報及び時刻情報を、前記電子ペンから取得し、前記位置情報及び時刻情報に基づいて、各々のシートに描画された画像を合成するための、前記複数のシートの配置を認識する制御部を備えるものである。
【０００７】
また、本発明は、電子ペンと通信可能な情報処理装置で動作するシート配置認識プログラムであって、前記情報処理装置に、前記電子ペンが認識可能な位置検出用符号が印刷された複数のシートを並べた状態で、前記電子ペンを用いて特定の動作が行われた時の、当該特定の動作を規定するシート上の位置情報及び時刻情報を、前記電子ペンから取得する第１の処理、前記位置情報及び時刻情報に基づいて、各々のシートに描画された画像を合成するための、前記複数のシートの配置を認識する第２の処理、を実行させるものである。
【発明の効果】
【０００８】
本発明の情報処理装置及びシート配置認識プログラムによれば、複数のシートを跨ぐように書き込まれた情報を適切に合成できるように、複数のシートの配置を認識することができる。
【０００９】
その理由は、複数のシートが配置されている状態で、ユーザが電子ペンを用いて所定の関連付け動作を行うと、情報処理装置（シート配置認識プログラム）は、電子ペンから位置情報を取得し、複数のシートを跨ぐように書き込まれた軌跡の情報や予め定められた順番でタッチされた場所の情報から隣接するシートの位置関係を特定して、複数のシートの配置を認識するからである。
【００１０】
これにより、画像形成装置がサポートするサイズに制限されず、ユーザは所望のサイズのシートに電子ペンで書き込みを行うことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施例に係る画像形成装置のコントローラの構成を示すブロック図である。
【図２】本発明の第１の実施例に係る電子ペンの構成を示すブロック図である。
【図３】アノト（登録商標）パターンの一例を示す図である。
【図４】複数の分割画像から合成画像を得る方法を説明する図である。
【図５】各々のシートの属性を示す図である。
【図６】複数のシートをグループ分けする方法を説明する図である。
【図７】本発明の第１の実施例に係るシート配置認識方法を説明する図である。
【図８】本発明の第１の実施例に係る画像形成装置が管理するテーブルの一例を示す図である。
【図９】本発明の第１の実施例に係る画像形成装置の動作（シートの印刷処理）を示すフローチャート図である。
【図１０】本発明の第１の実施例に係る画像形成装置の動作（シートの合成画像の取得処理）を示すフローチャート図である。
【図１１】本発明の第１の実施例に係る画像形成装置の動作（シート配置の推測、補正処理）を示すフローチャート図である。
【図１２】本発明の第１の実施例に係る画像形成装置の動作（グループ位置の検索処理）を示すフローチャート図である。
【図１３】本発明の第１の実施例に係る画像形成装置の動作（グループの走査、判定処理）を示すフローチャート図である。
【図１４】本発明の第２の実施例に係るシート配置認識方法を説明する図である。
【図１５】本発明の第２の実施例に係る画像形成装置の動作を示すフローチャート図である。
【発明を実施するための形態】
【００１２】
背景技術で示したように、アノト（登録商標）パターンに代表される、電子ペンが用紙上の位置を検出するためのパターン（位置検出符号と呼ぶ。）が印刷されたシートを用いて、電子ペンで手書きした情報を電子化する方法が知られている。しかしながら、位置検出符号を印刷するシートのサイズは画像形成装置によって制限されるため、画像形成装置がサポートする最大サイズを超えるシートを利用することができず、利便性が悪いという問題があった。
【００１３】
ここで、画像形成装置がサポートするサイズよりも大きな画像や図形、文字などの情報を書き込む方法として、複数のシートを組み合わせる方法が考えられるが、複数のシートに書き込まれた情報を適切に合成するためには、合成処理を行う装置が、複数のシートがどのような順序で配置されているかを認識していなければならない。そこで、本発明の一実施の形態では、位置検出符号が印刷された複数のシートに書き込まれた情報を１つの画像として合成できるようにするために、電子ペンから取得した位置情報に基づいて、シート間の相対位置を求め、複数のシートがどのような順番に並べられているかを推測して、複数のシートの配置を認識する。
【００１４】
これにより、ユーザは位置検出符号が印刷された複数のシートを自由に配置して、電子ペンで所望のサイズの情報を書き込むことが可能となり、ユーザの利便性を格段に向上させることができる。
【実施例１】
【００１５】
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る情報処理装置及びシート配置認識プログラムについて、図１乃至図１３を参照して説明する。図１は、本実施例の画像形成装置のコントローラの構成を示すブロック図であり、図２は、電子ペンの構成を示すブロック図、図３は、アノト（登録商標）パターンの一例を示す図である。また、図４は、複数の分割画像から合成画像を得る方法を説明する図であり、図５は、各々のシートの属性を示す図である。また、図６は、複数のシートをグループ分けする方法を説明する図であり、図７は、本実施例のシート配置認識方法を説明する図である。また、図８は、本実施例の画像形成装置が管理するテーブルの一例を示す図であり、図９乃至図１３は、本実施例の画像形成装置の動作を示すフローチャート図である。
【００１６】
本実施例のシステムは、位置検出符号が印刷されたシート上の位置を特定して位置情報を送信する電子ペンと、電子ペンから取得した位置情報に基づいて、合成のためのシートの配置を認識する情報処理装置（本実施例では、シートを印刷する画像形成装置とする。）と、で構成される。以下、図面を参照して詳細に説明する。
【００１７】
［画像形成装置］
図１は、本実施例の画像形成装置１０のコントローラの構成を示すブロック図であり、コントローラは、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３ａ、不揮発ＲＡＭ１３ｂ、モータードライバ１４、ＩＲ（Image Reader）／ＡＤＦ（Auto Document Feeder）モーター１５、表示・操作部１６、電子ペン用通信モジュール１７、ＣＣＤ（Charge Coupled Devices）１８、ＵＳＢ（Universal Serial Bus）インターフェース１９、ＮＩＣ（Network Interface Card）２０、画像処理チップ２１、画像処理用ＲＡＭ２２、プリントエンジン２３、ＴＥＬ応答モジュール２４、モデム２５、公衆回線インターフェースモジュール２６などで構成される。
【００１８】
ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３ａと不揮発ＲＡＭ１３ｂとで制御部が構成される。ＣＰＵ１１は、ＲＯＭ１２に保存されている制御プログラムをＲＡＭ１３ａにコピーした後、ＲＡＭ１３ａ上の制御プログラムに従って、スキャナ機能、ファクシミリ機能、プリント機能及びコピー機能などの各機能についての全体制御を行う。本実施例では、特に、電子ペン３０が用紙上の位置を検出するための位置検出用符号を印刷したシートをプリントエンジン２３に印刷させる印刷制御処理、電子ペン３０から取得した位置情報に基づいて、シート間の相対位置を求めて複数のシートをグループ化し、各グループのシート群を順次組み合わせて矛盾が生じない組み合わせを決定し、複数のシートの配列を認識するシート配列認識処理などを実行する。ＲＯＭ１２は、上記制御プログラム（画像形成装置１０にシート配置認識処理を実行させるシート配置認識プログラムを含む。）の他に、上記位置検出用符号のデータも保存する。ＲＡＭ１３ａは、シート配置を認識するために使用する各種テーブル、表示・操作部１６に表示する画面データ、各種計算値などの一時保存場所として使用される。また、これらのデータを画像形成装置１０の電源が切断されても記憶しておく必要がある場合、不揮発ＲＡＭ１３ｂに記憶する。
【００１９】
ＩＲ／ＡＤＦモーター１５は、読取装置や自動原稿送り装置を駆動するモーターである。モータードライバ１４は、ＩＲ／ＡＤＦモーター１５を駆動制御する。
【００２０】
表示・操作部１６は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイ上に、透明電極が格子状に配置された感圧式のタッチパネルと、ハードキーとで構成される。
【００２１】
電子ペン用通信モジュール１７は、Bluetooth（登録商標）通信方式に代表される短距離無線通信や有線通信により電子ペン３０の通信モジュール３４と通信を行い、電子ペン３０からの用紙上の位置情報を受信し、ＲＡＭ１３ａに保持する。
【００２２】
ＣＣＤ１８は、画像形成装置１０の読取装置や自動原稿送り装置に設置され、原稿をスキャンして原稿の反射光を検出し、この反射光を光電変換し更にアナログ−デジタル変換して画像データを生成する。ＵＳＢインターフェース１９は、ＵＳＢ対応機器と接続するためのインターフェースである。ＮＩＣ２０は、ユーザのコンピュータ装置などとＬＡＮ（Local Area Network）を経由して接続するための拡張カードであって、ユーザのコンピュータ装置等から送信される印刷データを入力したり、スキャンして得た画像信号に基づいて生成された画像データをユーザのコンピュータ装置等に送信したりする。
【００２３】
画像処理チップ２１は、変倍、画像回転、濃度調整、エッジ強調、スムージング、２値化等の画像処理を行う。本実施例では、特に、制御部が認識したシート配置に基づいて、各々のシートに書き込まれた画像を合成して合成画像を生成する処理を行う。画像処理用ＲＡＭ２２は、画像処理チップ２１が画像処理の過程で出力する画像データや各種計算値などを一時的に記憶する。プリントエンジン２３は、画像処理用ＲＡＭ２２に蓄えられた画像データに基づいて用紙上に画像を形成する。
【００２４】
電話応答モジュール２４は、着信時の応答を行う。モデム２５は、デジタル信号を電話回線のアナログ信号に変調すると共に、その逆に変換して復調する。公衆回線インターフェースモジュール２６は、公衆回線網と接続するためのインターフェースである。
【００２５】
上記構成のコントローラの一般的な動作を概説すると、ＣＰＵ１１は、表示・操作部１６から指示を受けると、モータードライバ１４に対し、ＩＲ／ＡＤＦモーター１５の制御を行うと共に、画像処理チップ２１へ画像処理要求を行う。
【００２６】
画像処理チップ２１は、ＣＰＵ１１より画像処理要求を受けると、ＣＣＤ１８からスキャンデータを受け取り、表示・操作部１６で指示された画像に変換するための画像処理を施す。その際、各種計算値などは画像処理用ＲＡＭ２２に一時保存される。
【００２７】
画像処理チップ２１から出力された処理済み画像データは、ＲＡＭ１３ａへ一時保存された後、表示・操作部１６からの指示がスキャンの場合、画像処理チップ２１を経由してＵＳＢインターフェース１９又はＮＩＣ２０へ転送される。表示・操作部１６からの指示がＦａｘの場合、モデム２５を経由して公衆回線インターフェースモジュール２６に転送される。表示・操作部１６からの指示がコピーの場合、画像処理チップ２１を経由してプリントエンジン２３へ転送される。
【００２８】
プリントデータを外部より受信した場合は、ＵＳＢインターフェース１９又はＮＩＣ２０よりプリントデータを受け付け、画像処理チップ２１にて伸張した後、ＲＡＭ１３ａへ一時保存し、プリントエンジン２３へ転送する。
【００２９】
［電子ペン］
図２は、電子ペン３０の構成を示すブロック図であり、電子ペン３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、通信モジュール３４、バッテリーモジュール３５、イメージセンサ３６、ペン圧力検知センサ３７、筆記モジュール３８、時計モジュール３９などで構成される。
【００３０】
ＣＰＵ３１は、プログラムに従って演算するデータ処理装置である。ＲＯＭ３２は、プログラムを格納する情報記憶部である。ＲＡＭ３３は、データを格納する情報記憶部である。通信モジュール３４は、Bluetooth（登録商標）に代表される短距離無線通信や有線通信により画像形成装置１０の電子ペン用通信モジュール１７と通信を行う。バッテリーモジュール３５は、電子ペン３０の電源である一次電池または二次電池である。イメージセンサ３６は、パターンを読み取るための小型のＣＣＤまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）ビデオカメラである。ペン圧力感知センサ３７は、電子ペン３０の筆圧を検知する圧電素子などである。筆記モジュール３８は、イメージセンサ３６で読み取ったパターンに基づいて電子ペン３０の用紙上の位置を特定し、通信モジュール３４を用いて位置情報を時系列で出力する装置である。時計モジュール３９は、時刻情報を保持する装置である。
【００３１】
なお、電子ペン３０は、シート上の位置を特定し、位置情報（座標）及び時刻情報を画像形成装置１０に送信する機能を備えていればよく、その構成や形状、通信方法などは特に限定されない。例えば、電子ペン３０は、アノト（登録商標）パターンを識別して位置を特定する構成としてもよいし、パターンの構成や密度、濃度などを識別して位置を特定する構成としてもよい。また、バーコードなどのパターンを読み取って位置を特定する構成としてもよいし、シート近傍に設置された機器と連動して（例えば、当該機器に対する角度や距離に基づいて）位置を特定する構成としてもよい。本実施例では、アノト（登録商標）パターンを利用する場合について説明する。
【００３２】
図３は、アノト（登録商標）パターンの一例である。このアノト（登録商標）パターンは、格子状に配置されたドットパターンであり、各ドットは０．３ｍｍ間隔で直交する格子から上下左右いずれかの方向へ僅かにずれていて、イメージセンサ３６によって、１度に縦６×横６ドット、計３６ドットのマトリクス単位で読み込まれる。このアノト（登録商標）パターンはどの点をとっても一意な値であることから、シートに合成するアノト（登録商標）パターンの配置を決めておけば（すなわち、パターン空間のどの位置から切り出したアノト（登録商標）パターンをシートに合成するかを決めておけば）、電子ペン３０はシート上の任意の位置を認識することができる。このアノト（登録商標）パターンのデータは、予めＲＯＭ１２に保持する構成とするが、ネットワーク上のサーバに格納しておき、その都度ネットワークを介して取得して利用する構成とすることもできる。
【００３３】
上記アノト（登録商標）パターンのような位置検出符号をシートに印刷することにより、電子ペン３０でシート上に書き込んだ情報（画像、図形、文字など）を電子データとして取得することができ、会議等の資料を容易に電子化することができる。しかしながら、位置検出符号は、画像形成装置１０が印刷可能なサイズのシートにしか印刷することができないため、画像形成装置１０のサポートサイズを超える情報は電子化することができず、利便性が悪いという問題がある。
【００３４】
そこで、本実施例では、画像形成装置１０がサポートするサイズよりも大きい画像や図形、文字などの情報を電子化できるようにするために、位置検出符号を印刷した複数のシートを配置して実質的なシートサイズを拡大し、各々のシート上に書き込まれた情報を統合して一つの画像として合成できるようにする。具体的には、図４に示すように、位置検出符号を印刷した複数のシートを任意に配置（図では３×３に配列）し、複数のシートを跨ぐ画像や図形、文字を書き込んだときに、各々のシートに書き込まれた分割画像を合成して合成画像を作成することにより、画像形成装置１０のサポートサイズを超える大きな画像や図形、文字などの情報を電子データとして利用できるようにする。
【００３５】
このような画像合成を実現するためには、複数のシートがどのように配置されているかを画像合成処理を行う装置（本実施例では画像形成装置１０）が認識する必要がある。そこで、本実施例では、各々のシートに、隣接するシートに関する情報を関連付ける。
【００３６】
図５（ａ）は、ある１枚のシートとそのシートに隣接するシートとの関係を表したものである。電子ペン３０を用いて２枚のシートを跨ぐように書き込みを行ったときに、電子ペン３０から取得した位置情報に基づく軌跡が連続するか否かを判定することにより、両者の位置関係を特定する。
【００３７】
図５（ｂ）は、各々のシートに持たせる属性を構造的に表したものである。各々のシートには、電子ペン３０の軌跡に基づいて、上下左右に隣接するシートを特定する情報（隣接シート情報と呼ぶ。）と、上下左右に隣接するシートの方向を特定する情報（シート方向情報と呼ぶ。）と、を表す属性を持たせる。
【００３８】
ここで、画像形成装置１０が、複数のシートの配置を完全に認識するためには、全てのシートが互いに関連付けられている必要があるが、全てのシートを跨ぐように書き込みを行わなかった場合には、複数のシートの配置を完全に認識することができない。そこで、本実施例では、互いに関連付けられたシートをグループ化し、各々のグループを適切に配置できる組み合わせを求めることにより、複数のシートの配置を完全に認識できるようにする。
【００３９】
図６は、複数のシートをグループ化する方法を説明する図である。以下では、複数のシートを配列したときの行方向（縦方向）をｍ、列方向（横方向）をｎと表す。なお、本実施例では、３×３にシートを配列した構成を例にして説明するが、シートの配列は任意であり、縦横のシート数が異なっていてもよいし、複数のシートを矩形状に配置しなくてもよい。また、シート間に多少の隙間があってもよいし、各シートの角が一致しなくても（上下左右にずれていても）よい。更に、縦長のシートと横長のシートが混在してもよいし、各々のシートの用紙サイズが異なっていてもよい。
【００４０】
例１は、９枚のシートを３×３に配列し、シート１とシート２、シート２とシート４、シート４とシート７、シート５とシート６、シート８とシート９、シート３とシート６、シート５とシート８を跨ぐように電子ペン３０で書き込みを行ったときの例である。
【００４１】
上記の書き込み例から、画像形成装置１０は、電子ペン３０から位置情報を取得し、電子ペン３０の軌跡が跨るシートを検出することにより、シート２、１、４、７を構成要素としてグループ化する。これをグループ１とし、行方向の最大要素数をｍ１ｍａｘ、列方向の最大要素数をｎ１ｍａｘと表す。同様に、シート３、５、６、８、９を構成要素としてグループ化する。これをグループ２とし、行方向の最大要素数をｍ２ｍａｘ、列方向の最大要素数をｎ２ｍａｘと表す。
【００４２】
例２は、同様に９枚のシートを３×３に配列し、シート２とシート１、シート２とシート４、シート４とシート７、シート３とシート６、シート６とシート９、シート８とシート９を跨ぐように書き込みを行い、シート５内で書き込みを行ったときの例である。
【００４３】
この場合も、上記の書き込み例から、画像形成装置１０は、電子ペン３０から位置情報を取得し、シート２、１、４、７を構成要素としてグループ化する。これをグループ１とし、行方向の最大要素数をｍ１ｍａｘ、列方向の最大要素数をｎ１ｍａｘと表す。同様に、シート３、６、８、９を構成要素としてグループ化する。これをグループ２とし、行方向の最大要素数をｍ２ｍａｘ、列方向の最大要素数をｎ２ｍａｘと表す。また、シート５は、電子ペン３０の軌跡が隣接するシートを跨いでいないため、単独でグループ化する。これをグループ３とし、行方向の最大要素数をｍ３ｍａｘ、列方向の最大要素数をｎ３ｍａｘと表す。
【００４４】
図７は、図６の例１の複数のグループの位置を決定する方法を説明する図である。図７（ａ）は、位置を探索する際の走査順序を表した図であり、探索方向は左上を原点にして各グループを配置し、左から右、上から下方向に１シート単位で走査する。
【００４５】
まず、シートの構成要素数が大きいグループから順に、そのグループが３×３のシート全体の領域（フレームと呼ぶ。）内に収まる位置を左から右、上から下の方向に探索していく。ある位置に収まる場合、次のグループも同様に探索をしていく。その際、２番目以降のグループは上下反転した場合も検索する。そして、全てのグループがフレーム内で重複せずに収まる組み合わせを求め、その組み合わせが唯一の場合は、各シートの配置が確定したと判断する。
【００４６】
この例では、グループ数は２で、グループ２が３×３のフレーム内に収まる組み合わせは２通り、グループ１が３×３のフレーム内に収まる組み合わせは４通りであることから、全ての組み合わせは２×４＝８通りとなる。この中で全てのグループが３×３のフレーム内に重複なく収まる組み合わせは唯一（枠で囲んだ配置）となるため、全てのシートの配置が決定できると判断する。
【００４７】
図面を参照して具体的に説明すると、グループ２のシートを含む矩形（列方向の要素数がｎ２ｍａｘ、行方向の要素数がｍ２ｍａｘの矩形）を原点に配置（すなわち、矩形の左上がフレームの左上に重なるように配置）する（図７（ｂ）参照）。この状態で、グループ１のシートを含む矩形（列方向の要素数がｎ１ｍａｘ、行方向の要素数がｍ１ｍａｘの矩形）を原点に配置し（図７（ｄ）参照）、続いて、原点からｍ＋１に（列方向の１シート分）移動する（図７（ｅ）参照）。次に、グループ１の矩形を上下反転して原点に配置し（図７（ｆ）参照）、続いて、原点からｍ＋１に移動する（図７（ｇ）参照）。次に、グループ２の矩形を原点からｍ＋１に移動する（図７（ｃ）参照）。この状態で、グループ１の矩形を原点に配置し（図７（ｈ）参照）、続いて、原点からｍ＋１に移動する（図７（ｉ）参照）。次に、グループ１の矩形を上下反転して原点に配置し（図７（ｊ）参照）、続いて、原点からｍ＋１に移動する（図７（ｋ）参照）。このような手順で、全ての組み合わせを確認することにより、各グループがフレーム内で重複せずに収まる組み合わせを求めることができる。
【００４８】
図示していないが、図６の例２の場合は、グループ数が３で、グループ１が３×３のフレーム内に収まる組み合わせは２通り、グループ２が３×３のフレーム内に収まる組み合わせは４通り、グループ３が３×３のフレーム内に収まる組み合わせは１８通りであることから、全ての組み合わせは２×４×１８＝１４４通りとなる。この場合、この中で全てのグループが３×３のフレーム内に重複なく収まる組み合わせは、グループ３のシート５の上下関係が確定できないことから２通りとなるため、シートの配置が決定できない。その場合は、複数の組み合わせの中から所望の組み合わせをユーザに選択させてシートの配置を決定することができる。
【００４９】
なお、図７は一例であり、同様の結果が得られる任意の手順でグループを配置することができる。例えば、上記例では、組み合わせの数を少なくするためにシートの構成要素数が多いグループから順に配置したが、グループの配置順は任意に設定することができる。また、ここでは、各々のグループがフレーム内に収まる全ての組み合わせを求めたが、例えば、グループ２を図７（ｂ）のように配置した場合は、左上のシートが分断されてグループ１が配置できないことは明らかであるため、各グループの形状から不適切な組み合わせを予め排除することもできる。また、上記例では、隣接するシートを関連付けるために、２つのシートを跨ぐ線を描画したが、最終的に合成する画像（例えば、図４に示した画像）を用いて、隣接するシートを関連付けてもよい。
【００５０】
図８は、シートの配置を決定するために、画像形成装置１０が管理するテーブルの一例である。
【００５１】
図８（ａ）は、シート印刷時に作成する、シートＩＤとパターンＩＤとシート位置とを関連付けるテーブルの一例である。ここで、「シートＩＤ」は、画像形成装置１０が出力するシートを特定するＩＤである。「パターンＩＤ」は、位置検出符号のパターンを特定するＩＤである。「シート位置」は、シートの位置を特定するＩＤである。ここで、シート印刷時には、隣接するシートの関連付けがされていないため、図８（ａ）のシート位置と実際のシート位置（図８（ｂ）で示す位置）は対応していない（具体的には、シート１と２の配置順序が逆で、シート７の配置方向が上下逆である）が、隣接するシートの関連付け後に図８（ｊ）のテーブルが作成されて、実際のシート位置が認識可能となる。
【００５２】
図８（ｃ）〜（ｅ）は、図６の書き込みを行った後に作成される、隣接シートを関連付けるテーブルの一例であり、図８（ｃ）は、全てのシートに対して隣接するシートを跨ぐ書き込みを行った場合のテーブル、図８（ｄ）は、図６の例１に対応するテーブル、図８（ｅ）は、図６の例２に対応するテーブルである。ここで、「シートＩＤ」は、上記と同様に画像形成装置１０が出力する用紙を特定するＩＤである。「上方向隣接シート情報」は、シートの上方向に隣接するシートを特定する情報である。「下方向隣接シート情報」は、シートの下方向に隣接するシートを特定する情報である。「左方向隣接シート情報」は、シートの左方向に隣接するシートを特定する情報である。「右情報隣接シート情報」は、シートの右方向に隣接するシートを特定する情報である。また、「上シート方向」は、シートの上方向に隣接するシートがこのシートに対して、同方向（正）か逆方向かを規定する情報である。「下シート方向」は、シートの下方向に隣接するシートがこのシートに対して、同方向（正）か逆方向かを規定する情報である。「左シート方向」は、シートの左方向に隣接するシートがこのシートに対して、同方向（正）か逆方向かを規定する情報である。「右シート方向」は、シートの右方向に隣接するシートがこのシートに対して、同方向（正）か逆方向かを規定する情報である。
【００５３】
画像形成装置１０は、電子ペン３０から取得した位置情報及び時刻情報に基づいてシート間を跨ぐ軌跡を特定し、その軌跡からシートの配置を認識し、図８（ｃ）〜（ｅ）のテーブルに隣接シート情報及びシート方向情報を登録する。そして、画像形成装置１０は、シートＩＤが０００１、０００２、０００４、０００５のシートの隣接シート情報からシート１と２の配置が逆になっていることを検出し、シートＩＤが０００４、０００８のシートのシート方向情報とシートＩＤが０００７のシートの隣接シート情報及びシート方向情報からシート７の方向が上下反転していることを検出する。
【００５４】
図８（ｆ）、（ｇ）は、シートＩＤとグループＩＤを関連付けるテーブルの一例であり、図８（ｆ）は、図８（ｄ）の内容から作成されるテーブル、図８（ｇ）は、図８（ｅ）の内容から作成されるテーブルである。ここで、「グループＩＤ」は、互いに関連付けられたシートで構成されるグループを特定するＩＤである。「書き込み」は、各シートに電子ペン３０によって書き込まれたかどうかを表す属性である。「隣接シート」は、各シートに同一グループに属する隣接シートがあるかどうかを表す属性である。
【００５５】
図８（ｈ）、（ｉ）は、各グループの属性を規定するテーブルの一例であり、図８（ｈ）は、図８（ｆ）の内容から作成されるテーブル、図８（ｉ）は、図８（ｇ）の内容から作成されるテーブルである。ここで、「要素数」は、グループ内のシート構成要素数を表す属性である。「ｎＭａｘ」は、グループの最大列数を表す属性、「ｍＭａｘ」は、グループの最大行数を表す属性である。
【００５６】
図８（ｊ）は、シート配置順序を修正するテーブルの一例である。電子ペン３０から取得した位置情報に基づいて、シートの配置と方向を判定し、シートの配置に誤りがある場合は「元シート位置」に図８（ａ）のシート位置を書き込み、「新シート位置」に誤りを修正したシート位置を書き込む。また。シートの方向に誤りがある場合は、「シート方向」に誤りを修正したシート方向を書き込む。
【００５７】
そして、上記図８（ｆ）〜（ｈ）のテーブルを参照することにより、画像形成装置１０は、グループ化されたシートの配置を探索することが可能となると共に、各シートに描画された画像を入れ替えることが可能となり、その結果、正しい合成画像を得ることができる。
【００５８】
次に、本実施例の画像形成装置１０の動作について説明する。
【００５９】
〔シートの印刷〕
まず、シートを印刷する処理について、図９のフローチャート図を参照して説明する。
【００６０】
画像形成装置１０は、表示・操作部１６に用紙サイズの選択や用紙構成の設定を可能にする画面を表示し、ユーザはその画面を用いて、用紙サイズの選択や用紙構成の設定を行う（Ｓ１０１）。なお、その際に、操作説明をユーザに通知する画面を表示したり、印刷後のシートの配置を表示したり、シートの裏面にシートＩＤを印刷したりして、シートの配置に誤りが生じないようにすることもできる。
【００６１】
次に、画像形成装置１０は、上記画面で設定された用紙サイズや用紙構成に従って、シートＩＤ、パターンＩＤ、シート位置をテーブル（図８（ａ）のテーブル）に登録する（Ｓ１０２）。
【００６２】
そして、画像形成装置１０は、Ｓ１０１で設定された用紙サイズや用紙構成に従って、電子ペン書き込み用のシートを印刷する（Ｓ１０３）。
【００６３】
〔シートの合成画像の取得〕
次に、シートの合成画像を取得する処理について、図１０のフローチャート図を参照して説明する。
【００６４】
画像形成装置１０は、電子ペン３０と交信して接続を検出し（Ｓ２０１）、電子ペン３０から書き込み情報を取得する（Ｓ２０２）。具体的には、書き込まれた軌跡を表す位置情報及び書き込まれた順序を表す時刻情報を取得する。なお、この書き込み情報は、隣接するシートを関連付けるための情報としてもよいし、最終的に合成する画像の情報としてもよい。そして、画像形成装置１０の制御部（シート配置認識プログラム）は、Ｓ２０２で取得した書き込み情報から、シート配置の推測及び補正を行う（Ｓ２０３）。このステップの詳細は後述する。
【００６５】
ここで、Ｓ２０３の処理結果によっては、シート配置が一意に決定できない場合がある。そのような場合は、画像形成装置１０の制御部（シート配置認識プログラム）は、シート配置が一意に決定できない旨の警告を表示し（Ｓ２０４）、シート配置を決定するための候補を表示してユーザに選択させる（Ｓ２０５）。
【００６６】
次に、画像形成装置１０の制御部（シート配置認識プログラム）は、Ｓ２０３でシート配置が決定できる場合はそのシート配置を、Ｓ２０３でシート配置が決定できない場合はＳ２０５でユーザが選択したシート配置を最終的なシート配置として決定し、図８のテーブルを更新する（Ｓ２０６）。
【００６７】
そして、画像形成装置１０の制御部若しくは画像処理チップ２１は、各々のシートに描画された分割画像を特定し、Ｓ２０６で決定したシート配置に基づいて更新したテーブルを参照して、各々の分割画像を合成し、合成した画像を保存する（Ｓ２０７）。
【００６８】
〔シート配置の推測、補正〕
次に、図１０のＳ２０３のシート配置の推測、補正処理について、図１１のフローチャート図を参照して説明する。
【００６９】
画像形成装置１０は、電子ペン３０から取得した書き込み情報から、隣接するシートを関連付けて、図８（ｃ）〜（ｅ）のテーブルに登録する（Ｓ３０１）。ここで、図６の例１に対応するテーブル内容は図８（ｄ）となり、図６の例２に対応するテーブル内容は図８（ｅ）となる。
【００７０】
次に、画像形成装置１０は、図８（ｄ）、（ｅ）のテーブルの内容に基づいて、相対位置が確定しているシートをグループ化し、グループＩＤを付与すると共に、各シートに対して、電子ペン３０による書き込みがあるかどうかを示す属性と隣接シートが１以上存在するかどうかを示す属性を関連付けて、図８（ｆ）、（ｇ）のテーブルに登録する。ここで、図６の例１に対応するテーブル内容は図８（ｆ）となり、図６の例２に対応するテーブル内容は図８（ｇ）となる。そして、上記図８（ｆ）、（ｇ）のテーブルに基づいて、各グループのシート構成要素数、行方向最大要素数（ｍＭａｘ）、列方向最大要素数（ｎＭａｘ）を求め、図８（ｈ）、（ｉ）のテーブルに登録する（Ｓ３０２）。ここで、図６の例１に対応するテーブル内容は図８（ｈ）となり、図６の例２に対応するテーブル内容は図８（ｉ）となる。
【００７１】
次に、画像形成装置１０は、各グループの位置の探索する（Ｓ３０３）。この処理については後述する。なお、グループ数が１の場合（すなわち、電子ペン３０の書き込み情報により一意にシートの相対位置が決定される場合）は、この探索処理を省略することができる。
【００７２】
次に、画像形成装置１０は、Ｓ３０３の探索結果に基づいて、全シートの相対位置が一意に求められるかどうか（フレーム内に重複なくグループが配置できる組み合わせが唯一であるかどうか）を判定する（Ｓ３０４）。なお、書き込みのないシートは位置を確定する必要がないため、判定基準から除外することができる。
【００７３】
〔グループ位置の探索〕
次に、図１１のＳ３０３のグループ位置の探索処理について、図１２のフローチャート図を参照して説明する。
【００７４】
画像形成装置１０は、図９のＳ１０１でユーザによって指定された用紙構成に基づいて、探索処理の対象範囲（フレームサイズ）を設定する（Ｓ４０１）。本実施例では、縦３枚、横３枚の合計９枚のシートの範囲をフレームサイズとしている。
【００７５】
次に、画像形成装置１０は、図１１のＳ３０２の処理で求めたグループとその属性を規定するテーブル（図８（ｈ）、（ｉ））より、要素数の大きいものから順に、探索対象となるグループを選択する（Ｓ４０２）。
【００７６】
次に、画像形成装置１０は、Ｓ４０１で求めたフレームサイズ内で、上記Ｓ４０２で選択したグループの矩形を走査させ、配置可能な位置を探索していく（Ｓ４０３）。この処理については後述する。
【００７７】
ここで、２番目以降のグループは１番目のグループとの上下関係が確定できないことから、画像形成装置１０は、選択したグループが２番目以降のグループであるかを判断し（Ｓ４０４）、２番目以降のグループの場合は、そのグループの上下を反転させ（Ｓ４０５）、Ｓ４０３と同様に、グループが配置可能な位置を探索する（Ｓ４０６）。
【００７８】
そして、画像形成装置１０は、全てのグループによる探索処理が実行されたかを判断し（Ｓ４０５）、次のグループが存在する場合は、Ｓ４０２に戻って同様の処理を繰り返す。
【００７９】
〔グループの走査、判定〕
次に、図１２のＳ４０３、Ｓ４０７のグループの走査、判定処理について、図１３のフローチャート図を参照して説明する。
【００８０】
まず、画像形成装置１０は、列方向のフレームサイズと探索対象グループの列方向最大要素数から、次式に従って列方向の走査回数（ｎＸ）を求める（Ｓ５０１）。
【００８１】
ｎＸ＝（ｎ-ｎｍａｘ）＋１
ｎＸ：列方向走査回数
ｎ：列方向フレームサイズ
ｎｍａｘ：探索対象グループの列方向最大要素数
【００８２】
次に、画像形成装置１０は、行方向のフレームサイズと探索対象グループの行方向最大要素数から、次式に従って行方向の走査回数（ｎＹ）を求める（Ｓ５０２）。
【００８３】
ｎＹ＝（ｍ−ｍｍａｘ）＋１
ｎＹ：行方向走査回数
ｍ：行方向フレームサイズ
ｍｍａｘ：探索対象グループの行方向最大要素数
【００８４】
次に、画像形成装置１０は、探索対象グループの矩形をフレームの初期位置（左上）に配置する（Ｓ５０３）。そして、探索対象グループが、行方向のフレーム内かどうかを判定し（Ｓ５０４）、行方向のフレーム外の場合は処理を終了し、行方向のフレーム内の場合は、探索対象グループが列方向のフレーム内かどうかを判定する（Ｓ５０５）。
【００８５】
列方向のフレーム内の場合（Ｓ５０５のＹｅｓの場合）は、画像形成装置１０は、探索対象グループがフレーム内に収まり、かつ、以前に配置されたグループの矩形と重複がないかを判定する（Ｓ５０６）。重複がなかった場合は、その組み合わせによってシート配置が決定できる可能性があることから、そのグループとその配置を記憶する（Ｓ５０７）。一方、重複があった場合は、その組み合わせによってシート配置が決定できないことから、Ｓ５０７をスキップする。そして、探索対象グループを列方向に１シート分進め（Ｓ５０８）、Ｓ５０５に戻って同様の処理を繰り返す。
【００８６】
一方、列方向のフレーム外の場合（Ｓ５０５のＮｏの場合）は、画像形成装置１０は、探索対象グループの位置を列方向のみ初期位置に戻した後（Ｓ５０９）、探索対象グループを行方向に１シート分進め（Ｓ５１０）、Ｓ５０４に戻って同様の処理を繰り返す。
【００８７】
このように、本実施例では、複数のシートが配置されている状態で、ユーザが電子ペン３０を用いて隣接するシートを跨ぐように書き込みを行うと、画像形成装置（シート配置認識プログラム）は、電子ペン３０から取得した位置情報及び時刻情報に基づいて、互いに関連付けられたシートをグループ化し、グループが複数の場合は、各々のグループがフレーム内に収まり、かつ、重複しない組み合わせを求めて、複数のシートの配置を認識するため、画像形成装置１０がサポートするサイズに制限されず、所望のサイズのシートに電子ペン３０で書き込みを行うことが可能となり、ユーザの利便性を向上させることができる。
【実施例２】
【００８８】
次に、本発明の第２の実施例に係る情報処理装置及びシート配置認識プログラムについて、図１４及び１５を参照して説明する。図１４は、本実施例のシート配置認識方法を説明する図であり、図１５は、本実施例の画像形成装置の動作を示すフローチャート図である。
【００８９】
前記した第１の実施例では、隣接するシートを跨ぐように電子ペン３０で書き込みを行ったが、複数のシートを予め定められた順番にタッチすることによっても、複数のシートの配置を認識することができる。
【００９０】
図１４は、本実施例のシート配置認識方法を説明する図である。合計９枚のシートを（ａ）に示すように配置すべきところ、（ｂ）のように配置された場合は、シート１、２の配置場所が逆になっており、かつ、シート７の上下が逆になっているため、画像形成装置１０は、各々のシートに描画された分割画像を適切に合成することができない。そこで、（ｂ）の状態において、電子ペン３０を使用して、ユーザが各々のシートの特定位置（ここでは右上の位置）を予め定めた順序（図の（）内の数字で示すように左から右、上から下の順）でタッチすることにより、画像形成装置１０は、シートの配置や方向の誤りを認識する。
【００９１】
具体的には、画像形成装置１０は、電子ペン３０からタッチ位置の位置情報を取得し、シートＩＤが０００２のシートの後に、シートＩＤが０００１のシートがタッチされていることから、シート１、２の配置場所が逆になっていることを認識する。また、シートＩＤが０００７のシートは、左下がタッチされていることから、シート７の上下が逆になっていることを認識する。そして、画像形成装置１０は、図８（ｊ）のテーブルに正しいシート位置及びシート方向を登録することにより、各々のシートに描画された分割画像を適切に合成できるようにする。
【００９２】
なお、図１４では、シートの右上をタッチしているが、タッチ位置は全シートで共通していればどこでもよいし、タッチの順番も画像形成装置１０が認識可能であればどのような順番でもよい。また、ここでは、シートをタッチする場合を示したが、予め定めた所定のマーク（例えば、チェックマークや丸印）などを描画してもよい。
【００９３】
次に、上記方法を用いて画像を合成する動作について、図１５のフローチャート図を参照して説明する。なお、画像形成装置１０の構成及びシートの印刷手順は第１の実施例の図９と同様である。
【００９４】
まず、画像形成装置１０は、電子ペン３０と交信して接続を検出し（Ｓ６０１）、電子ペン３０から書き込み情報を取得する（Ｓ６０２）。具体的には、書き込まれた軌跡を表す位置情報、書き込まれた順序を表す時間情報を取得する。なお、画像形成装置１０は、実際に配置されたシートの順序を認識するため特定モードを有しており、ユーザからの指示によってこの特定モードに入ることにより、本来の書き込み情報と区別することができる。
【００９５】
次に、画像形成装置１０の制御部（シート配置認識プログラム）は、上記特定モードで取得した書き込み情報に基づいて、各シートの順序を特定し（Ｓ６０３）、各シートの方向を特定する（Ｓ６０４）。
【００９６】
次に、画像形成装置１０の制御部（シート配置認識プログラム）は、Ｓ６０２、Ｓ６０３で特定したシートの順序、方向の情報を図８（ｊ）に示すテーブルに登録し、シートＩＤとシートの正しい位置及び方向を関連付ける（Ｓ６０５）。このテーブルにより、画像形成装置１０は、実際に描画された画像と電子ペン３０から取得した電子的な画像とを一致させることが可能となる。
【００９７】
そして、画像形成装置１０は、通常モードで電子ペン３０から書き込み情報を取得し、各々のシートに描画された分割画像を特定し、Ｓ６０５で登録したテーブルを参照して分割画像を合成し、合成した画像を保存する（Ｓ６０６）。
【００９８】
このように、本実施例では、複数のシートが配置されている状態で、ユーザが電子ペン３０を用いて全シートの特定位置を予め定めた順番でタッチすると、画像形成装置（シート配置認識プログラム）は、電子ペン３０から取得した位置情報及び時刻情報に基づいて、シートの順序及び方向の間違いを認識して、複数のシートの正しい配置を認識するため、画像形成装置１０がサポートするサイズに制限されず、所望のサイズのシートに電子ペン３０で書き込みを行うことが可能となり、ユーザの利便性を向上させることができる。
【００９９】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、各装置の構成や制御は適宜変更可能である。
【０１００】
例えば、上記実施例では、画像形成装置１０がシートの印刷とシート配置の認識と画像合成とを行う構成としたが、これらの処理は別々の装置で実行してもよく、例えば、電子ペン３０から書き込み情報を取得し、その書き込みに基づいてシート配置を認識する処理をコンピュータ装置で実行し、認識したシート配置を画像合成を行う装置に通知するようにしてもよい。
【産業上の利用可能性】
【０１０１】
本発明は、画像形成装置などの情報処理装置及びこの情報処理装置で動作する画像配置プログラムに利用可能である。
【符号の説明】
【０１０２】
１０ 画像形成装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ａ ＲＡＭ
１３ｂ 不揮発ＲＡＭ
１４ モータードライバ
１５ ＩＲ／ＡＤＦモーター
１６ 表示・操作部
１７ 電子ペン用通信モジュール
１８ ＣＣＤ
１９ ＵＳＢインターフェース
２０ ＮＩＣインターフェース
２１ 画像処理チップ
２２ 画像処理用ＲＡＭ
２３ プリントエンジン
２４ ＴＥＬ応答モジュール
２５ モデム
２６ 公衆回線インターフェースモジュール
３０ 電子ペン
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 通信モジュール
３５ バッテリーモジュール
３６ イメージセンサ
３７ ペン圧力検知センサ
３８ 筆記モジュール
３９ 時計モジュール
【技術分野】
【０００１】
本発明は、情報処理装置及びシート配置認識プログラムに関し、特に、電子ペンで利用可能なシートを出力する画像形成装置及び複数のシートの配置を決定するシート配置認識プログラムに関する。
【背景技術】
【０００２】
昨今、オフィス等で扱う情報を電子化して効率的な取り扱いをするための様々な電子情報機器が存在する。ペンで入力した筆跡をデータとして出力する電子ペン（例えば、アノト（登録商標）ペン）もその一つである。このアノト（登録商標）ペンは、ペン先に小型カメラを搭載しており、専用のシートに印刷されたアノト（登録商標）パターンと呼ばれるドットパターンを小型カメラで読み取ることによってペン先の位置を特定し、手書きした文字や図形、絵などの筆跡を手書きデータとして出力することができる（例えば、下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１４１０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、電子ペンが位置を認識するためのパターンを印刷したシートを作成する際、プリンタなどの画像形成装置がサポートするサイズのシートしか選択することができない。そのため、例えば、会議などで使用する比較的大きなシート（模造紙）に上記パターンを印刷したいと思っても、そのシートが画像形成装置の最大サポートサイズを超えていれば印刷することができず、所望のサイズのシートに電子ペンで書き込みができないという問題があった。
【０００５】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、複数のシートを跨ぐように書き込まれた情報を適切に合成できるように、複数のシートの配置を認識することができる情報処理装置及びシート配置認識プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、電子ペンと通信可能な情報処理装置であって、前記電子ペンが認識可能な位置検出用符号が印刷された複数のシートを並べた状態で、前記電子ペンを用いて特定の動作が行われた時の、当該特定の動作を規定するシート上の位置情報及び時刻情報を、前記電子ペンから取得し、前記位置情報及び時刻情報に基づいて、各々のシートに描画された画像を合成するための、前記複数のシートの配置を認識する制御部を備えるものである。
【０００７】
また、本発明は、電子ペンと通信可能な情報処理装置で動作するシート配置認識プログラムであって、前記情報処理装置に、前記電子ペンが認識可能な位置検出用符号が印刷された複数のシートを並べた状態で、前記電子ペンを用いて特定の動作が行われた時の、当該特定の動作を規定するシート上の位置情報及び時刻情報を、前記電子ペンから取得する第１の処理、前記位置情報及び時刻情報に基づいて、各々のシートに描画された画像を合成するための、前記複数のシートの配置を認識する第２の処理、を実行させるものである。
【発明の効果】
【０００８】
本発明の情報処理装置及びシート配置認識プログラムによれば、複数のシートを跨ぐように書き込まれた情報を適切に合成できるように、複数のシートの配置を認識することができる。
【０００９】
その理由は、複数のシートが配置されている状態で、ユーザが電子ペンを用いて所定の関連付け動作を行うと、情報処理装置（シート配置認識プログラム）は、電子ペンから位置情報を取得し、複数のシートを跨ぐように書き込まれた軌跡の情報や予め定められた順番でタッチされた場所の情報から隣接するシートの位置関係を特定して、複数のシートの配置を認識するからである。
【００１０】
これにより、画像形成装置がサポートするサイズに制限されず、ユーザは所望のサイズのシートに電子ペンで書き込みを行うことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施例に係る画像形成装置のコントローラの構成を示すブロック図である。
【図２】本発明の第１の実施例に係る電子ペンの構成を示すブロック図である。
【図３】アノト（登録商標）パターンの一例を示す図である。
【図４】複数の分割画像から合成画像を得る方法を説明する図である。
【図５】各々のシートの属性を示す図である。
【図６】複数のシートをグループ分けする方法を説明する図である。
【図７】本発明の第１の実施例に係るシート配置認識方法を説明する図である。
【図８】本発明の第１の実施例に係る画像形成装置が管理するテーブルの一例を示す図である。
【図９】本発明の第１の実施例に係る画像形成装置の動作（シートの印刷処理）を示すフローチャート図である。
【図１０】本発明の第１の実施例に係る画像形成装置の動作（シートの合成画像の取得処理）を示すフローチャート図である。
【図１１】本発明の第１の実施例に係る画像形成装置の動作（シート配置の推測、補正処理）を示すフローチャート図である。
【図１２】本発明の第１の実施例に係る画像形成装置の動作（グループ位置の検索処理）を示すフローチャート図である。
【図１３】本発明の第１の実施例に係る画像形成装置の動作（グループの走査、判定処理）を示すフローチャート図である。
【図１４】本発明の第２の実施例に係るシート配置認識方法を説明する図である。
【図１５】本発明の第２の実施例に係る画像形成装置の動作を示すフローチャート図である。
【発明を実施するための形態】
【００１２】
背景技術で示したように、アノト（登録商標）パターンに代表される、電子ペンが用紙上の位置を検出するためのパターン（位置検出符号と呼ぶ。）が印刷されたシートを用いて、電子ペンで手書きした情報を電子化する方法が知られている。しかしながら、位置検出符号を印刷するシートのサイズは画像形成装置によって制限されるため、画像形成装置がサポートする最大サイズを超えるシートを利用することができず、利便性が悪いという問題があった。
【００１３】
ここで、画像形成装置がサポートするサイズよりも大きな画像や図形、文字などの情報を書き込む方法として、複数のシートを組み合わせる方法が考えられるが、複数のシートに書き込まれた情報を適切に合成するためには、合成処理を行う装置が、複数のシートがどのような順序で配置されているかを認識していなければならない。そこで、本発明の一実施の形態では、位置検出符号が印刷された複数のシートに書き込まれた情報を１つの画像として合成できるようにするために、電子ペンから取得した位置情報に基づいて、シート間の相対位置を求め、複数のシートがどのような順番に並べられているかを推測して、複数のシートの配置を認識する。
【００１４】
これにより、ユーザは位置検出符号が印刷された複数のシートを自由に配置して、電子ペンで所望のサイズの情報を書き込むことが可能となり、ユーザの利便性を格段に向上させることができる。
【実施例１】
【００１５】
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る情報処理装置及びシート配置認識プログラムについて、図１乃至図１３を参照して説明する。図１は、本実施例の画像形成装置のコントローラの構成を示すブロック図であり、図２は、電子ペンの構成を示すブロック図、図３は、アノト（登録商標）パターンの一例を示す図である。また、図４は、複数の分割画像から合成画像を得る方法を説明する図であり、図５は、各々のシートの属性を示す図である。また、図６は、複数のシートをグループ分けする方法を説明する図であり、図７は、本実施例のシート配置認識方法を説明する図である。また、図８は、本実施例の画像形成装置が管理するテーブルの一例を示す図であり、図９乃至図１３は、本実施例の画像形成装置の動作を示すフローチャート図である。
【００１６】
本実施例のシステムは、位置検出符号が印刷されたシート上の位置を特定して位置情報を送信する電子ペンと、電子ペンから取得した位置情報に基づいて、合成のためのシートの配置を認識する情報処理装置（本実施例では、シートを印刷する画像形成装置とする。）と、で構成される。以下、図面を参照して詳細に説明する。
【００１７】
［画像形成装置］
図１は、本実施例の画像形成装置１０のコントローラの構成を示すブロック図であり、コントローラは、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３ａ、不揮発ＲＡＭ１３ｂ、モータードライバ１４、ＩＲ（Image Reader）／ＡＤＦ（Auto Document Feeder）モーター１５、表示・操作部１６、電子ペン用通信モジュール１７、ＣＣＤ（Charge Coupled Devices）１８、ＵＳＢ（Universal Serial Bus）インターフェース１９、ＮＩＣ（Network Interface Card）２０、画像処理チップ２１、画像処理用ＲＡＭ２２、プリントエンジン２３、ＴＥＬ応答モジュール２４、モデム２５、公衆回線インターフェースモジュール２６などで構成される。
【００１８】
ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３ａと不揮発ＲＡＭ１３ｂとで制御部が構成される。ＣＰＵ１１は、ＲＯＭ１２に保存されている制御プログラムをＲＡＭ１３ａにコピーした後、ＲＡＭ１３ａ上の制御プログラムに従って、スキャナ機能、ファクシミリ機能、プリント機能及びコピー機能などの各機能についての全体制御を行う。本実施例では、特に、電子ペン３０が用紙上の位置を検出するための位置検出用符号を印刷したシートをプリントエンジン２３に印刷させる印刷制御処理、電子ペン３０から取得した位置情報に基づいて、シート間の相対位置を求めて複数のシートをグループ化し、各グループのシート群を順次組み合わせて矛盾が生じない組み合わせを決定し、複数のシートの配列を認識するシート配列認識処理などを実行する。ＲＯＭ１２は、上記制御プログラム（画像形成装置１０にシート配置認識処理を実行させるシート配置認識プログラムを含む。）の他に、上記位置検出用符号のデータも保存する。ＲＡＭ１３ａは、シート配置を認識するために使用する各種テーブル、表示・操作部１６に表示する画面データ、各種計算値などの一時保存場所として使用される。また、これらのデータを画像形成装置１０の電源が切断されても記憶しておく必要がある場合、不揮発ＲＡＭ１３ｂに記憶する。
【００１９】
ＩＲ／ＡＤＦモーター１５は、読取装置や自動原稿送り装置を駆動するモーターである。モータードライバ１４は、ＩＲ／ＡＤＦモーター１５を駆動制御する。
【００２０】
表示・操作部１６は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイ上に、透明電極が格子状に配置された感圧式のタッチパネルと、ハードキーとで構成される。
【００２１】
電子ペン用通信モジュール１７は、Bluetooth（登録商標）通信方式に代表される短距離無線通信や有線通信により電子ペン３０の通信モジュール３４と通信を行い、電子ペン３０からの用紙上の位置情報を受信し、ＲＡＭ１３ａに保持する。
【００２２】
ＣＣＤ１８は、画像形成装置１０の読取装置や自動原稿送り装置に設置され、原稿をスキャンして原稿の反射光を検出し、この反射光を光電変換し更にアナログ−デジタル変換して画像データを生成する。ＵＳＢインターフェース１９は、ＵＳＢ対応機器と接続するためのインターフェースである。ＮＩＣ２０は、ユーザのコンピュータ装置などとＬＡＮ（Local Area Network）を経由して接続するための拡張カードであって、ユーザのコンピュータ装置等から送信される印刷データを入力したり、スキャンして得た画像信号に基づいて生成された画像データをユーザのコンピュータ装置等に送信したりする。
【００２３】
画像処理チップ２１は、変倍、画像回転、濃度調整、エッジ強調、スムージング、２値化等の画像処理を行う。本実施例では、特に、制御部が認識したシート配置に基づいて、各々のシートに書き込まれた画像を合成して合成画像を生成する処理を行う。画像処理用ＲＡＭ２２は、画像処理チップ２１が画像処理の過程で出力する画像データや各種計算値などを一時的に記憶する。プリントエンジン２３は、画像処理用ＲＡＭ２２に蓄えられた画像データに基づいて用紙上に画像を形成する。
【００２４】
電話応答モジュール２４は、着信時の応答を行う。モデム２５は、デジタル信号を電話回線のアナログ信号に変調すると共に、その逆に変換して復調する。公衆回線インターフェースモジュール２６は、公衆回線網と接続するためのインターフェースである。
【００２５】
上記構成のコントローラの一般的な動作を概説すると、ＣＰＵ１１は、表示・操作部１６から指示を受けると、モータードライバ１４に対し、ＩＲ／ＡＤＦモーター１５の制御を行うと共に、画像処理チップ２１へ画像処理要求を行う。
【００２６】
画像処理チップ２１は、ＣＰＵ１１より画像処理要求を受けると、ＣＣＤ１８からスキャンデータを受け取り、表示・操作部１６で指示された画像に変換するための画像処理を施す。その際、各種計算値などは画像処理用ＲＡＭ２２に一時保存される。
【００２７】
画像処理チップ２１から出力された処理済み画像データは、ＲＡＭ１３ａへ一時保存された後、表示・操作部１６からの指示がスキャンの場合、画像処理チップ２１を経由してＵＳＢインターフェース１９又はＮＩＣ２０へ転送される。表示・操作部１６からの指示がＦａｘの場合、モデム２５を経由して公衆回線インターフェースモジュール２６に転送される。表示・操作部１６からの指示がコピーの場合、画像処理チップ２１を経由してプリントエンジン２３へ転送される。
【００２８】
プリントデータを外部より受信した場合は、ＵＳＢインターフェース１９又はＮＩＣ２０よりプリントデータを受け付け、画像処理チップ２１にて伸張した後、ＲＡＭ１３ａへ一時保存し、プリントエンジン２３へ転送する。
【００２９】
［電子ペン］
図２は、電子ペン３０の構成を示すブロック図であり、電子ペン３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、通信モジュール３４、バッテリーモジュール３５、イメージセンサ３６、ペン圧力検知センサ３７、筆記モジュール３８、時計モジュール３９などで構成される。
【００３０】
ＣＰＵ３１は、プログラムに従って演算するデータ処理装置である。ＲＯＭ３２は、プログラムを格納する情報記憶部である。ＲＡＭ３３は、データを格納する情報記憶部である。通信モジュール３４は、Bluetooth（登録商標）に代表される短距離無線通信や有線通信により画像形成装置１０の電子ペン用通信モジュール１７と通信を行う。バッテリーモジュール３５は、電子ペン３０の電源である一次電池または二次電池である。イメージセンサ３６は、パターンを読み取るための小型のＣＣＤまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）ビデオカメラである。ペン圧力感知センサ３７は、電子ペン３０の筆圧を検知する圧電素子などである。筆記モジュール３８は、イメージセンサ３６で読み取ったパターンに基づいて電子ペン３０の用紙上の位置を特定し、通信モジュール３４を用いて位置情報を時系列で出力する装置である。時計モジュール３９は、時刻情報を保持する装置である。
【００３１】
なお、電子ペン３０は、シート上の位置を特定し、位置情報（座標）及び時刻情報を画像形成装置１０に送信する機能を備えていればよく、その構成や形状、通信方法などは特に限定されない。例えば、電子ペン３０は、アノト（登録商標）パターンを識別して位置を特定する構成としてもよいし、パターンの構成や密度、濃度などを識別して位置を特定する構成としてもよい。また、バーコードなどのパターンを読み取って位置を特定する構成としてもよいし、シート近傍に設置された機器と連動して（例えば、当該機器に対する角度や距離に基づいて）位置を特定する構成としてもよい。本実施例では、アノト（登録商標）パターンを利用する場合について説明する。
【００３２】
図３は、アノト（登録商標）パターンの一例である。このアノト（登録商標）パターンは、格子状に配置されたドットパターンであり、各ドットは０．３ｍｍ間隔で直交する格子から上下左右いずれかの方向へ僅かにずれていて、イメージセンサ３６によって、１度に縦６×横６ドット、計３６ドットのマトリクス単位で読み込まれる。このアノト（登録商標）パターンはどの点をとっても一意な値であることから、シートに合成するアノト（登録商標）パターンの配置を決めておけば（すなわち、パターン空間のどの位置から切り出したアノト（登録商標）パターンをシートに合成するかを決めておけば）、電子ペン３０はシート上の任意の位置を認識することができる。このアノト（登録商標）パターンのデータは、予めＲＯＭ１２に保持する構成とするが、ネットワーク上のサーバに格納しておき、その都度ネットワークを介して取得して利用する構成とすることもできる。
【００３３】
上記アノト（登録商標）パターンのような位置検出符号をシートに印刷することにより、電子ペン３０でシート上に書き込んだ情報（画像、図形、文字など）を電子データとして取得することができ、会議等の資料を容易に電子化することができる。しかしながら、位置検出符号は、画像形成装置１０が印刷可能なサイズのシートにしか印刷することができないため、画像形成装置１０のサポートサイズを超える情報は電子化することができず、利便性が悪いという問題がある。
【００３４】
そこで、本実施例では、画像形成装置１０がサポートするサイズよりも大きい画像や図形、文字などの情報を電子化できるようにするために、位置検出符号を印刷した複数のシートを配置して実質的なシートサイズを拡大し、各々のシート上に書き込まれた情報を統合して一つの画像として合成できるようにする。具体的には、図４に示すように、位置検出符号を印刷した複数のシートを任意に配置（図では３×３に配列）し、複数のシートを跨ぐ画像や図形、文字を書き込んだときに、各々のシートに書き込まれた分割画像を合成して合成画像を作成することにより、画像形成装置１０のサポートサイズを超える大きな画像や図形、文字などの情報を電子データとして利用できるようにする。
【００３５】
このような画像合成を実現するためには、複数のシートがどのように配置されているかを画像合成処理を行う装置（本実施例では画像形成装置１０）が認識する必要がある。そこで、本実施例では、各々のシートに、隣接するシートに関する情報を関連付ける。
【００３６】
図５（ａ）は、ある１枚のシートとそのシートに隣接するシートとの関係を表したものである。電子ペン３０を用いて２枚のシートを跨ぐように書き込みを行ったときに、電子ペン３０から取得した位置情報に基づく軌跡が連続するか否かを判定することにより、両者の位置関係を特定する。
【００３７】
図５（ｂ）は、各々のシートに持たせる属性を構造的に表したものである。各々のシートには、電子ペン３０の軌跡に基づいて、上下左右に隣接するシートを特定する情報（隣接シート情報と呼ぶ。）と、上下左右に隣接するシートの方向を特定する情報（シート方向情報と呼ぶ。）と、を表す属性を持たせる。
【００３８】
ここで、画像形成装置１０が、複数のシートの配置を完全に認識するためには、全てのシートが互いに関連付けられている必要があるが、全てのシートを跨ぐように書き込みを行わなかった場合には、複数のシートの配置を完全に認識することができない。そこで、本実施例では、互いに関連付けられたシートをグループ化し、各々のグループを適切に配置できる組み合わせを求めることにより、複数のシートの配置を完全に認識できるようにする。
【００３９】
図６は、複数のシートをグループ化する方法を説明する図である。以下では、複数のシートを配列したときの行方向（縦方向）をｍ、列方向（横方向）をｎと表す。なお、本実施例では、３×３にシートを配列した構成を例にして説明するが、シートの配列は任意であり、縦横のシート数が異なっていてもよいし、複数のシートを矩形状に配置しなくてもよい。また、シート間に多少の隙間があってもよいし、各シートの角が一致しなくても（上下左右にずれていても）よい。更に、縦長のシートと横長のシートが混在してもよいし、各々のシートの用紙サイズが異なっていてもよい。
【００４０】
例１は、９枚のシートを３×３に配列し、シート１とシート２、シート２とシート４、シート４とシート７、シート５とシート６、シート８とシート９、シート３とシート６、シート５とシート８を跨ぐように電子ペン３０で書き込みを行ったときの例である。
【００４１】
上記の書き込み例から、画像形成装置１０は、電子ペン３０から位置情報を取得し、電子ペン３０の軌跡が跨るシートを検出することにより、シート２、１、４、７を構成要素としてグループ化する。これをグループ１とし、行方向の最大要素数をｍ１ｍａｘ、列方向の最大要素数をｎ１ｍａｘと表す。同様に、シート３、５、６、８、９を構成要素としてグループ化する。これをグループ２とし、行方向の最大要素数をｍ２ｍａｘ、列方向の最大要素数をｎ２ｍａｘと表す。
【００４２】
例２は、同様に９枚のシートを３×３に配列し、シート２とシート１、シート２とシート４、シート４とシート７、シート３とシート６、シート６とシート９、シート８とシート９を跨ぐように書き込みを行い、シート５内で書き込みを行ったときの例である。
【００４３】
この場合も、上記の書き込み例から、画像形成装置１０は、電子ペン３０から位置情報を取得し、シート２、１、４、７を構成要素としてグループ化する。これをグループ１とし、行方向の最大要素数をｍ１ｍａｘ、列方向の最大要素数をｎ１ｍａｘと表す。同様に、シート３、６、８、９を構成要素としてグループ化する。これをグループ２とし、行方向の最大要素数をｍ２ｍａｘ、列方向の最大要素数をｎ２ｍａｘと表す。また、シート５は、電子ペン３０の軌跡が隣接するシートを跨いでいないため、単独でグループ化する。これをグループ３とし、行方向の最大要素数をｍ３ｍａｘ、列方向の最大要素数をｎ３ｍａｘと表す。
【００４４】
図７は、図６の例１の複数のグループの位置を決定する方法を説明する図である。図７（ａ）は、位置を探索する際の走査順序を表した図であり、探索方向は左上を原点にして各グループを配置し、左から右、上から下方向に１シート単位で走査する。
【００４５】
まず、シートの構成要素数が大きいグループから順に、そのグループが３×３のシート全体の領域（フレームと呼ぶ。）内に収まる位置を左から右、上から下の方向に探索していく。ある位置に収まる場合、次のグループも同様に探索をしていく。その際、２番目以降のグループは上下反転した場合も検索する。そして、全てのグループがフレーム内で重複せずに収まる組み合わせを求め、その組み合わせが唯一の場合は、各シートの配置が確定したと判断する。
【００４６】
この例では、グループ数は２で、グループ２が３×３のフレーム内に収まる組み合わせは２通り、グループ１が３×３のフレーム内に収まる組み合わせは４通りであることから、全ての組み合わせは２×４＝８通りとなる。この中で全てのグループが３×３のフレーム内に重複なく収まる組み合わせは唯一（枠で囲んだ配置）となるため、全てのシートの配置が決定できると判断する。
【００４７】
図面を参照して具体的に説明すると、グループ２のシートを含む矩形（列方向の要素数がｎ２ｍａｘ、行方向の要素数がｍ２ｍａｘの矩形）を原点に配置（すなわち、矩形の左上がフレームの左上に重なるように配置）する（図７（ｂ）参照）。この状態で、グループ１のシートを含む矩形（列方向の要素数がｎ１ｍａｘ、行方向の要素数がｍ１ｍａｘの矩形）を原点に配置し（図７（ｄ）参照）、続いて、原点からｍ＋１に（列方向の１シート分）移動する（図７（ｅ）参照）。次に、グループ１の矩形を上下反転して原点に配置し（図７（ｆ）参照）、続いて、原点からｍ＋１に移動する（図７（ｇ）参照）。次に、グループ２の矩形を原点からｍ＋１に移動する（図７（ｃ）参照）。この状態で、グループ１の矩形を原点に配置し（図７（ｈ）参照）、続いて、原点からｍ＋１に移動する（図７（ｉ）参照）。次に、グループ１の矩形を上下反転して原点に配置し（図７（ｊ）参照）、続いて、原点からｍ＋１に移動する（図７（ｋ）参照）。このような手順で、全ての組み合わせを確認することにより、各グループがフレーム内で重複せずに収まる組み合わせを求めることができる。
【００４８】
図示していないが、図６の例２の場合は、グループ数が３で、グループ１が３×３のフレーム内に収まる組み合わせは２通り、グループ２が３×３のフレーム内に収まる組み合わせは４通り、グループ３が３×３のフレーム内に収まる組み合わせは１８通りであることから、全ての組み合わせは２×４×１８＝１４４通りとなる。この場合、この中で全てのグループが３×３のフレーム内に重複なく収まる組み合わせは、グループ３のシート５の上下関係が確定できないことから２通りとなるため、シートの配置が決定できない。その場合は、複数の組み合わせの中から所望の組み合わせをユーザに選択させてシートの配置を決定することができる。
【００４９】
なお、図７は一例であり、同様の結果が得られる任意の手順でグループを配置することができる。例えば、上記例では、組み合わせの数を少なくするためにシートの構成要素数が多いグループから順に配置したが、グループの配置順は任意に設定することができる。また、ここでは、各々のグループがフレーム内に収まる全ての組み合わせを求めたが、例えば、グループ２を図７（ｂ）のように配置した場合は、左上のシートが分断されてグループ１が配置できないことは明らかであるため、各グループの形状から不適切な組み合わせを予め排除することもできる。また、上記例では、隣接するシートを関連付けるために、２つのシートを跨ぐ線を描画したが、最終的に合成する画像（例えば、図４に示した画像）を用いて、隣接するシートを関連付けてもよい。
【００５０】
図８は、シートの配置を決定するために、画像形成装置１０が管理するテーブルの一例である。
【００５１】
図８（ａ）は、シート印刷時に作成する、シートＩＤとパターンＩＤとシート位置とを関連付けるテーブルの一例である。ここで、「シートＩＤ」は、画像形成装置１０が出力するシートを特定するＩＤである。「パターンＩＤ」は、位置検出符号のパターンを特定するＩＤである。「シート位置」は、シートの位置を特定するＩＤである。ここで、シート印刷時には、隣接するシートの関連付けがされていないため、図８（ａ）のシート位置と実際のシート位置（図８（ｂ）で示す位置）は対応していない（具体的には、シート１と２の配置順序が逆で、シート７の配置方向が上下逆である）が、隣接するシートの関連付け後に図８（ｊ）のテーブルが作成されて、実際のシート位置が認識可能となる。
【００５２】
図８（ｃ）〜（ｅ）は、図６の書き込みを行った後に作成される、隣接シートを関連付けるテーブルの一例であり、図８（ｃ）は、全てのシートに対して隣接するシートを跨ぐ書き込みを行った場合のテーブル、図８（ｄ）は、図６の例１に対応するテーブル、図８（ｅ）は、図６の例２に対応するテーブルである。ここで、「シートＩＤ」は、上記と同様に画像形成装置１０が出力する用紙を特定するＩＤである。「上方向隣接シート情報」は、シートの上方向に隣接するシートを特定する情報である。「下方向隣接シート情報」は、シートの下方向に隣接するシートを特定する情報である。「左方向隣接シート情報」は、シートの左方向に隣接するシートを特定する情報である。「右情報隣接シート情報」は、シートの右方向に隣接するシートを特定する情報である。また、「上シート方向」は、シートの上方向に隣接するシートがこのシートに対して、同方向（正）か逆方向かを規定する情報である。「下シート方向」は、シートの下方向に隣接するシートがこのシートに対して、同方向（正）か逆方向かを規定する情報である。「左シート方向」は、シートの左方向に隣接するシートがこのシートに対して、同方向（正）か逆方向かを規定する情報である。「右シート方向」は、シートの右方向に隣接するシートがこのシートに対して、同方向（正）か逆方向かを規定する情報である。
【００５３】
画像形成装置１０は、電子ペン３０から取得した位置情報及び時刻情報に基づいてシート間を跨ぐ軌跡を特定し、その軌跡からシートの配置を認識し、図８（ｃ）〜（ｅ）のテーブルに隣接シート情報及びシート方向情報を登録する。そして、画像形成装置１０は、シートＩＤが０００１、０００２、０００４、０００５のシートの隣接シート情報からシート１と２の配置が逆になっていることを検出し、シートＩＤが０００４、０００８のシートのシート方向情報とシートＩＤが０００７のシートの隣接シート情報及びシート方向情報からシート７の方向が上下反転していることを検出する。
【００５４】
図８（ｆ）、（ｇ）は、シートＩＤとグループＩＤを関連付けるテーブルの一例であり、図８（ｆ）は、図８（ｄ）の内容から作成されるテーブル、図８（ｇ）は、図８（ｅ）の内容から作成されるテーブルである。ここで、「グループＩＤ」は、互いに関連付けられたシートで構成されるグループを特定するＩＤである。「書き込み」は、各シートに電子ペン３０によって書き込まれたかどうかを表す属性である。「隣接シート」は、各シートに同一グループに属する隣接シートがあるかどうかを表す属性である。
【００５５】
図８（ｈ）、（ｉ）は、各グループの属性を規定するテーブルの一例であり、図８（ｈ）は、図８（ｆ）の内容から作成されるテーブル、図８（ｉ）は、図８（ｇ）の内容から作成されるテーブルである。ここで、「要素数」は、グループ内のシート構成要素数を表す属性である。「ｎＭａｘ」は、グループの最大列数を表す属性、「ｍＭａｘ」は、グループの最大行数を表す属性である。
【００５６】
図８（ｊ）は、シート配置順序を修正するテーブルの一例である。電子ペン３０から取得した位置情報に基づいて、シートの配置と方向を判定し、シートの配置に誤りがある場合は「元シート位置」に図８（ａ）のシート位置を書き込み、「新シート位置」に誤りを修正したシート位置を書き込む。また。シートの方向に誤りがある場合は、「シート方向」に誤りを修正したシート方向を書き込む。
【００５７】
そして、上記図８（ｆ）〜（ｈ）のテーブルを参照することにより、画像形成装置１０は、グループ化されたシートの配置を探索することが可能となると共に、各シートに描画された画像を入れ替えることが可能となり、その結果、正しい合成画像を得ることができる。
【００５８】
次に、本実施例の画像形成装置１０の動作について説明する。
【００５９】
〔シートの印刷〕
まず、シートを印刷する処理について、図９のフローチャート図を参照して説明する。
【００６０】
画像形成装置１０は、表示・操作部１６に用紙サイズの選択や用紙構成の設定を可能にする画面を表示し、ユーザはその画面を用いて、用紙サイズの選択や用紙構成の設定を行う（Ｓ１０１）。なお、その際に、操作説明をユーザに通知する画面を表示したり、印刷後のシートの配置を表示したり、シートの裏面にシートＩＤを印刷したりして、シートの配置に誤りが生じないようにすることもできる。
【００６１】
次に、画像形成装置１０は、上記画面で設定された用紙サイズや用紙構成に従って、シートＩＤ、パターンＩＤ、シート位置をテーブル（図８（ａ）のテーブル）に登録する（Ｓ１０２）。
【００６２】
そして、画像形成装置１０は、Ｓ１０１で設定された用紙サイズや用紙構成に従って、電子ペン書き込み用のシートを印刷する（Ｓ１０３）。
【００６３】
〔シートの合成画像の取得〕
次に、シートの合成画像を取得する処理について、図１０のフローチャート図を参照して説明する。
【００６４】
画像形成装置１０は、電子ペン３０と交信して接続を検出し（Ｓ２０１）、電子ペン３０から書き込み情報を取得する（Ｓ２０２）。具体的には、書き込まれた軌跡を表す位置情報及び書き込まれた順序を表す時刻情報を取得する。なお、この書き込み情報は、隣接するシートを関連付けるための情報としてもよいし、最終的に合成する画像の情報としてもよい。そして、画像形成装置１０の制御部（シート配置認識プログラム）は、Ｓ２０２で取得した書き込み情報から、シート配置の推測及び補正を行う（Ｓ２０３）。このステップの詳細は後述する。
【００６５】
ここで、Ｓ２０３の処理結果によっては、シート配置が一意に決定できない場合がある。そのような場合は、画像形成装置１０の制御部（シート配置認識プログラム）は、シート配置が一意に決定できない旨の警告を表示し（Ｓ２０４）、シート配置を決定するための候補を表示してユーザに選択させる（Ｓ２０５）。
【００６６】
次に、画像形成装置１０の制御部（シート配置認識プログラム）は、Ｓ２０３でシート配置が決定できる場合はそのシート配置を、Ｓ２０３でシート配置が決定できない場合はＳ２０５でユーザが選択したシート配置を最終的なシート配置として決定し、図８のテーブルを更新する（Ｓ２０６）。
【００６７】
そして、画像形成装置１０の制御部若しくは画像処理チップ２１は、各々のシートに描画された分割画像を特定し、Ｓ２０６で決定したシート配置に基づいて更新したテーブルを参照して、各々の分割画像を合成し、合成した画像を保存する（Ｓ２０７）。
【００６８】
〔シート配置の推測、補正〕
次に、図１０のＳ２０３のシート配置の推測、補正処理について、図１１のフローチャート図を参照して説明する。
【００６９】
画像形成装置１０は、電子ペン３０から取得した書き込み情報から、隣接するシートを関連付けて、図８（ｃ）〜（ｅ）のテーブルに登録する（Ｓ３０１）。ここで、図６の例１に対応するテーブル内容は図８（ｄ）となり、図６の例２に対応するテーブル内容は図８（ｅ）となる。
【００７０】
次に、画像形成装置１０は、図８（ｄ）、（ｅ）のテーブルの内容に基づいて、相対位置が確定しているシートをグループ化し、グループＩＤを付与すると共に、各シートに対して、電子ペン３０による書き込みがあるかどうかを示す属性と隣接シートが１以上存在するかどうかを示す属性を関連付けて、図８（ｆ）、（ｇ）のテーブルに登録する。ここで、図６の例１に対応するテーブル内容は図８（ｆ）となり、図６の例２に対応するテーブル内容は図８（ｇ）となる。そして、上記図８（ｆ）、（ｇ）のテーブルに基づいて、各グループのシート構成要素数、行方向最大要素数（ｍＭａｘ）、列方向最大要素数（ｎＭａｘ）を求め、図８（ｈ）、（ｉ）のテーブルに登録する（Ｓ３０２）。ここで、図６の例１に対応するテーブル内容は図８（ｈ）となり、図６の例２に対応するテーブル内容は図８（ｉ）となる。
【００７１】
次に、画像形成装置１０は、各グループの位置の探索する（Ｓ３０３）。この処理については後述する。なお、グループ数が１の場合（すなわち、電子ペン３０の書き込み情報により一意にシートの相対位置が決定される場合）は、この探索処理を省略することができる。
【００７２】
次に、画像形成装置１０は、Ｓ３０３の探索結果に基づいて、全シートの相対位置が一意に求められるかどうか（フレーム内に重複なくグループが配置できる組み合わせが唯一であるかどうか）を判定する（Ｓ３０４）。なお、書き込みのないシートは位置を確定する必要がないため、判定基準から除外することができる。
【００７３】
〔グループ位置の探索〕
次に、図１１のＳ３０３のグループ位置の探索処理について、図１２のフローチャート図を参照して説明する。
【００７４】
画像形成装置１０は、図９のＳ１０１でユーザによって指定された用紙構成に基づいて、探索処理の対象範囲（フレームサイズ）を設定する（Ｓ４０１）。本実施例では、縦３枚、横３枚の合計９枚のシートの範囲をフレームサイズとしている。
【００７５】
次に、画像形成装置１０は、図１１のＳ３０２の処理で求めたグループとその属性を規定するテーブル（図８（ｈ）、（ｉ））より、要素数の大きいものから順に、探索対象となるグループを選択する（Ｓ４０２）。
【００７６】
次に、画像形成装置１０は、Ｓ４０１で求めたフレームサイズ内で、上記Ｓ４０２で選択したグループの矩形を走査させ、配置可能な位置を探索していく（Ｓ４０３）。この処理については後述する。
【００７７】
ここで、２番目以降のグループは１番目のグループとの上下関係が確定できないことから、画像形成装置１０は、選択したグループが２番目以降のグループであるかを判断し（Ｓ４０４）、２番目以降のグループの場合は、そのグループの上下を反転させ（Ｓ４０５）、Ｓ４０３と同様に、グループが配置可能な位置を探索する（Ｓ４０６）。
【００７８】
そして、画像形成装置１０は、全てのグループによる探索処理が実行されたかを判断し（Ｓ４０５）、次のグループが存在する場合は、Ｓ４０２に戻って同様の処理を繰り返す。
【００７９】
〔グループの走査、判定〕
次に、図１２のＳ４０３、Ｓ４０７のグループの走査、判定処理について、図１３のフローチャート図を参照して説明する。
【００８０】
まず、画像形成装置１０は、列方向のフレームサイズと探索対象グループの列方向最大要素数から、次式に従って列方向の走査回数（ｎＸ）を求める（Ｓ５０１）。
【００８１】
ｎＸ＝（ｎ-ｎｍａｘ）＋１
ｎＸ：列方向走査回数
ｎ：列方向フレームサイズ
ｎｍａｘ：探索対象グループの列方向最大要素数
【００８２】
次に、画像形成装置１０は、行方向のフレームサイズと探索対象グループの行方向最大要素数から、次式に従って行方向の走査回数（ｎＹ）を求める（Ｓ５０２）。
【００８３】
ｎＹ＝（ｍ−ｍｍａｘ）＋１
ｎＹ：行方向走査回数
ｍ：行方向フレームサイズ
ｍｍａｘ：探索対象グループの行方向最大要素数
【００８４】
次に、画像形成装置１０は、探索対象グループの矩形をフレームの初期位置（左上）に配置する（Ｓ５０３）。そして、探索対象グループが、行方向のフレーム内かどうかを判定し（Ｓ５０４）、行方向のフレーム外の場合は処理を終了し、行方向のフレーム内の場合は、探索対象グループが列方向のフレーム内かどうかを判定する（Ｓ５０５）。
【００８５】
列方向のフレーム内の場合（Ｓ５０５のＹｅｓの場合）は、画像形成装置１０は、探索対象グループがフレーム内に収まり、かつ、以前に配置されたグループの矩形と重複がないかを判定する（Ｓ５０６）。重複がなかった場合は、その組み合わせによってシート配置が決定できる可能性があることから、そのグループとその配置を記憶する（Ｓ５０７）。一方、重複があった場合は、その組み合わせによってシート配置が決定できないことから、Ｓ５０７をスキップする。そして、探索対象グループを列方向に１シート分進め（Ｓ５０８）、Ｓ５０５に戻って同様の処理を繰り返す。
【００８６】
一方、列方向のフレーム外の場合（Ｓ５０５のＮｏの場合）は、画像形成装置１０は、探索対象グループの位置を列方向のみ初期位置に戻した後（Ｓ５０９）、探索対象グループを行方向に１シート分進め（Ｓ５１０）、Ｓ５０４に戻って同様の処理を繰り返す。
【００８７】
このように、本実施例では、複数のシートが配置されている状態で、ユーザが電子ペン３０を用いて隣接するシートを跨ぐように書き込みを行うと、画像形成装置（シート配置認識プログラム）は、電子ペン３０から取得した位置情報及び時刻情報に基づいて、互いに関連付けられたシートをグループ化し、グループが複数の場合は、各々のグループがフレーム内に収まり、かつ、重複しない組み合わせを求めて、複数のシートの配置を認識するため、画像形成装置１０がサポートするサイズに制限されず、所望のサイズのシートに電子ペン３０で書き込みを行うことが可能となり、ユーザの利便性を向上させることができる。
【実施例２】
【００８８】
次に、本発明の第２の実施例に係る情報処理装置及びシート配置認識プログラムについて、図１４及び１５を参照して説明する。図１４は、本実施例のシート配置認識方法を説明する図であり、図１５は、本実施例の画像形成装置の動作を示すフローチャート図である。
【００８９】
前記した第１の実施例では、隣接するシートを跨ぐように電子ペン３０で書き込みを行ったが、複数のシートを予め定められた順番にタッチすることによっても、複数のシートの配置を認識することができる。
【００９０】
図１４は、本実施例のシート配置認識方法を説明する図である。合計９枚のシートを（ａ）に示すように配置すべきところ、（ｂ）のように配置された場合は、シート１、２の配置場所が逆になっており、かつ、シート７の上下が逆になっているため、画像形成装置１０は、各々のシートに描画された分割画像を適切に合成することができない。そこで、（ｂ）の状態において、電子ペン３０を使用して、ユーザが各々のシートの特定位置（ここでは右上の位置）を予め定めた順序（図の（）内の数字で示すように左から右、上から下の順）でタッチすることにより、画像形成装置１０は、シートの配置や方向の誤りを認識する。
【００９１】
具体的には、画像形成装置１０は、電子ペン３０からタッチ位置の位置情報を取得し、シートＩＤが０００２のシートの後に、シートＩＤが０００１のシートがタッチされていることから、シート１、２の配置場所が逆になっていることを認識する。また、シートＩＤが０００７のシートは、左下がタッチされていることから、シート７の上下が逆になっていることを認識する。そして、画像形成装置１０は、図８（ｊ）のテーブルに正しいシート位置及びシート方向を登録することにより、各々のシートに描画された分割画像を適切に合成できるようにする。
【００９２】
なお、図１４では、シートの右上をタッチしているが、タッチ位置は全シートで共通していればどこでもよいし、タッチの順番も画像形成装置１０が認識可能であればどのような順番でもよい。また、ここでは、シートをタッチする場合を示したが、予め定めた所定のマーク（例えば、チェックマークや丸印）などを描画してもよい。
【００９３】
次に、上記方法を用いて画像を合成する動作について、図１５のフローチャート図を参照して説明する。なお、画像形成装置１０の構成及びシートの印刷手順は第１の実施例の図９と同様である。
【００９４】
まず、画像形成装置１０は、電子ペン３０と交信して接続を検出し（Ｓ６０１）、電子ペン３０から書き込み情報を取得する（Ｓ６０２）。具体的には、書き込まれた軌跡を表す位置情報、書き込まれた順序を表す時間情報を取得する。なお、画像形成装置１０は、実際に配置されたシートの順序を認識するため特定モードを有しており、ユーザからの指示によってこの特定モードに入ることにより、本来の書き込み情報と区別することができる。
【００９５】
次に、画像形成装置１０の制御部（シート配置認識プログラム）は、上記特定モードで取得した書き込み情報に基づいて、各シートの順序を特定し（Ｓ６０３）、各シートの方向を特定する（Ｓ６０４）。
【００９６】
次に、画像形成装置１０の制御部（シート配置認識プログラム）は、Ｓ６０２、Ｓ６０３で特定したシートの順序、方向の情報を図８（ｊ）に示すテーブルに登録し、シートＩＤとシートの正しい位置及び方向を関連付ける（Ｓ６０５）。このテーブルにより、画像形成装置１０は、実際に描画された画像と電子ペン３０から取得した電子的な画像とを一致させることが可能となる。
【００９７】
そして、画像形成装置１０は、通常モードで電子ペン３０から書き込み情報を取得し、各々のシートに描画された分割画像を特定し、Ｓ６０５で登録したテーブルを参照して分割画像を合成し、合成した画像を保存する（Ｓ６０６）。
【００９８】
このように、本実施例では、複数のシートが配置されている状態で、ユーザが電子ペン３０を用いて全シートの特定位置を予め定めた順番でタッチすると、画像形成装置（シート配置認識プログラム）は、電子ペン３０から取得した位置情報及び時刻情報に基づいて、シートの順序及び方向の間違いを認識して、複数のシートの正しい配置を認識するため、画像形成装置１０がサポートするサイズに制限されず、所望のサイズのシートに電子ペン３０で書き込みを行うことが可能となり、ユーザの利便性を向上させることができる。
【００９９】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、各装置の構成や制御は適宜変更可能である。
【０１００】
例えば、上記実施例では、画像形成装置１０がシートの印刷とシート配置の認識と画像合成とを行う構成としたが、これらの処理は別々の装置で実行してもよく、例えば、電子ペン３０から書き込み情報を取得し、その書き込みに基づいてシート配置を認識する処理をコンピュータ装置で実行し、認識したシート配置を画像合成を行う装置に通知するようにしてもよい。
【産業上の利用可能性】
【０１０１】
本発明は、画像形成装置などの情報処理装置及びこの情報処理装置で動作する画像配置プログラムに利用可能である。
【符号の説明】
【０１０２】
１０ 画像形成装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ａ ＲＡＭ
１３ｂ 不揮発ＲＡＭ
１４ モータードライバ
１５ ＩＲ／ＡＤＦモーター
１６ 表示・操作部
１７ 電子ペン用通信モジュール
１８ ＣＣＤ
１９ ＵＳＢインターフェース
２０ ＮＩＣインターフェース
２１ 画像処理チップ
２２ 画像処理用ＲＡＭ
２３ プリントエンジン
２４ ＴＥＬ応答モジュール
２５ モデム
２６ 公衆回線インターフェースモジュール
３０ 電子ペン
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 通信モジュール
３５ バッテリーモジュール
３６ イメージセンサ
３７ ペン圧力検知センサ
３８ 筆記モジュール
３９ 時計モジュール
【特許請求の範囲】
【請求項１】
電子ペンと通信可能な情報処理装置であって、
前記電子ペンが認識可能な位置検出用符号が印刷された複数のシートを並べた状態で、前記電子ペンを用いて特定の動作が行われた時の、当該特定の動作を規定するシート上の位置情報及び時刻情報を、前記電子ペンから取得し、前記位置情報及び時刻情報に基づいて、各々のシートに描画された画像を合成するための、前記複数のシートの配置を認識する制御部を備える、
ことを特徴とする情報処理装置。
【請求項２】
前記特定の動作は、２以上のシートを跨ぐように図形を描画する動作であり、
前記制御部は、前記図形の軌跡が連続するように前記２以上のシートの位置関係を特定し、互いの位置関係が特定されたシートをグループ化し、各々のグループが互いに重ならずに配置可能な組み合わせを求めて、前記複数のシートの配置を認識する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定の動作は、前記複数のシートの略同一位置を予め定めた順番でタッチする動作であり、
前記制御部は、前記タッチの順番に基づいて各々のシートの順番を特定し、前記タッチの位置に基づいて各々のシートの方向を特定し、特定した順番及び方向に基づいて、前記複数のシートの配置を認識する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
電子ペンと通信可能な情報処理装置で動作するシート配置認識プログラムであって、
前記情報処理装置に、
前記電子ペンが認識可能な位置検出用符号が印刷された複数のシートを並べた状態で、前記電子ペンを用いて特定の動作が行われた時の、当該特定の動作を規定するシート上の位置情報及び時刻情報を、前記電子ペンから取得する第１の処理、
前記位置情報及び時刻情報に基づいて、各々のシートに描画された画像を合成するための、前記複数のシートの配置を認識する第２の処理、を実行させる、
ことを特徴とするシート配置認識プログラム。
【請求項５】
前記特定の動作は、２以上のシートを跨ぐように図形を描画する動作であり、
前記第２の処理では、前記図形の軌跡が連続するように前記２以上のシートの位置関係を特定し、互いの位置関係が特定されたシートをグループ化し、各々のグループが互いに重ならずに配置可能な組み合わせを求めて、前記複数のシートの配置を認識する、
ことを特徴とする請求項４に記載のシート配置認識プログラム。
【請求項６】
前記特定の動作は、前記複数のシートの略同一位置を予め定めた順番でタッチする動作であり、
前記第２の処理では、前記タッチの順番に基づいて各々のシートの順番を特定し、前記タッチの位置に基づいて各々のシートの方向を特定し、特定した順番及び方向に基づいて、前記複数のシートの配置を認識する、
ことを特徴とする請求項４に記載のシート配置認識プログラム。
【請求項１】
電子ペンと通信可能な情報処理装置であって、
前記電子ペンが認識可能な位置検出用符号が印刷された複数のシートを並べた状態で、前記電子ペンを用いて特定の動作が行われた時の、当該特定の動作を規定するシート上の位置情報及び時刻情報を、前記電子ペンから取得し、前記位置情報及び時刻情報に基づいて、各々のシートに描画された画像を合成するための、前記複数のシートの配置を認識する制御部を備える、
ことを特徴とする情報処理装置。
【請求項２】
前記特定の動作は、２以上のシートを跨ぐように図形を描画する動作であり、
前記制御部は、前記図形の軌跡が連続するように前記２以上のシートの位置関係を特定し、互いの位置関係が特定されたシートをグループ化し、各々のグループが互いに重ならずに配置可能な組み合わせを求めて、前記複数のシートの配置を認識する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定の動作は、前記複数のシートの略同一位置を予め定めた順番でタッチする動作であり、
前記制御部は、前記タッチの順番に基づいて各々のシートの順番を特定し、前記タッチの位置に基づいて各々のシートの方向を特定し、特定した順番及び方向に基づいて、前記複数のシートの配置を認識する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
電子ペンと通信可能な情報処理装置で動作するシート配置認識プログラムであって、
前記情報処理装置に、
前記電子ペンが認識可能な位置検出用符号が印刷された複数のシートを並べた状態で、前記電子ペンを用いて特定の動作が行われた時の、当該特定の動作を規定するシート上の位置情報及び時刻情報を、前記電子ペンから取得する第１の処理、
前記位置情報及び時刻情報に基づいて、各々のシートに描画された画像を合成するための、前記複数のシートの配置を認識する第２の処理、を実行させる、
ことを特徴とするシート配置認識プログラム。
【請求項５】
前記特定の動作は、２以上のシートを跨ぐように図形を描画する動作であり、
前記第２の処理では、前記図形の軌跡が連続するように前記２以上のシートの位置関係を特定し、互いの位置関係が特定されたシートをグループ化し、各々のグループが互いに重ならずに配置可能な組み合わせを求めて、前記複数のシートの配置を認識する、
ことを特徴とする請求項４に記載のシート配置認識プログラム。
【請求項６】
前記特定の動作は、前記複数のシートの略同一位置を予め定めた順番でタッチする動作であり、
前記第２の処理では、前記タッチの順番に基づいて各々のシートの順番を特定し、前記タッチの位置に基づいて各々のシートの方向を特定し、特定した順番及び方向に基づいて、前記複数のシートの配置を認識する、
ことを特徴とする請求項４に記載のシート配置認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１５５３７３（Ｐ２０１２−１５５３７３Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１１３６１（Ｐ２０１１−１１３６１）
【出願日】平成２３年１月２１日（２０１１．１．２１）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２１日（２０１１．１．２１）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]