説明

情報処理装置及び制御プログラム

【課題】位置検出パターンを印刷した用紙に書き込んだ手書き画像が適切な方向に配置されるように制御する。
【解決手段】用紙に印刷された位置検出パターンを検出して当該用紙上の位置を特定し、ペン先の軌跡情報を出力する電子ペンと通信可能な情報処理装置であって、前記電子ペンから軌跡情報を取得する取得部と、前記取得した軌跡情報に基づいて、画像の基準位置を指示する第1の図形を特定する第1特定部と、前記第1の図形の前記位置検出パターンに対する配置を特定する第2特定部と、予め記憶したテーブルを参照して、前記第1の図形の前記配置に対応する画像の補正方向を決定する決定部と、決定した画像の補正方向に従って、その後に取得した軌跡情報に基づく手書き画像を補正する補正部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び制御プログラムに関し、特に、電子ペンで書き込まれた情報の印刷を指示する印刷データを作成して出力する情報処理装置及び当該情報処理装置で動作する制御プログラムに関する。
【背景技術】
【0002】
昨今、オフィス等で扱う情報を電子化して効率的な取り扱いをするための様々な電子情報機器が存在する。ペンで入力した筆跡をデータとして出力する電子ペン(例えば、アノト(登録商標)ペン)もその一つである。このアノト(登録商標)ペンは、ペン先に小型カメラを搭載しており、専用の用紙に印刷されたアノト(登録商標)パターンと呼ばれる特定パターン(以下、位置検出パターンと呼ぶ。)を小型カメラで読み取ることによってペン先の位置を特定し、手書きした文字や図形、絵など(以下、手書き画像と呼ぶ。)の軌跡情報を出力することができる(例えば、下記特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−141062号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
通常、電子ペンで検出可能な位置検出パターンは専用プリンタなどで印刷され、ページ毎にユニークな位置検出パターンが割り当てられる。これは、用紙のページとそのページに書き込まれた手書き画像とを一意に対応付けるためである。しかしながら、位置検出パターンは、複数のドットが配列した構成であるため、このシステムを利用するユーザは、用紙上に印刷された位置検出パターンを見ても、位置検出パターンの本来の向きは分からない。そのため、システムが意図する画像方向とユーザが意図する画像方向とが一致しない場合が生じる。
【0005】
例えば、位置検出パターンが印刷された複数の用紙を綴じ止めして使用する場合、綴じ止め位置によっては、複数の用紙を開いた時に位置検出パターンの上下が反転するため、位置検出パターンの方向とは異なる方向に手書きしてしまう場合が生じる。そして、手書き画像を複数の用紙に印刷して同様に綴じ止めすると、手書き画像の向きが統一されていない冊子になってしまい、ユーザが意図する印刷物を得ることができない。従って、位置検出パターンを印刷した用紙に書き込んだ手書き画像を印刷する印刷データを作成する場合には、上記問題が生じないように、手書き画像の印刷方向を制御する必要がある。
【0006】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、位置検出パターンを印刷した用紙に書き込んだ手書き画像が適切な方向に配置されるように制御することができる情報処理装置及び制御プログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明は、用紙に印刷された位置検出パターンを検出して当該用紙上の位置を特定し、ペン先の軌跡情報を出力する電子ペンと通信可能な情報処理装置であって、前記電子ペンから軌跡情報を取得する取得部と、前記取得した軌跡情報に基づいて、画像の基準位置を指示する第1の図形を特定する第1特定部と、前記第1の図形の前記位置検出パターンに対する配置を特定する第2特定部と、予め記憶したテーブルを参照して、前記第1の図形の前記配置に対応する画像の補正方向を決定する決定部と、決定した画像の補正方向に従って、その後に取得した軌跡情報に基づく手書き画像を補正する補正部と、を備えるものである。
【0008】
また、本発明は、用紙に印刷された位置検出パターンを検出して当該用紙上の位置を特定し、ペン先の軌跡情報を出力する電子ペンと通信可能な装置で動作する制御プログラムであって、前記装置を、前記電子ペンから取得した軌跡情報に基づいて、画像の基準位置を指示する第1の図形を特定する第1特定部、前記第1の図形の前記位置検出パターンに対する配置を特定する第2特定部、予め記憶したテーブルを参照して、前記第1の図形の前記配置に対応する画像の補正方向を決定する決定部、決定した画像の補正方向に従って、その後に取得した軌跡情報に基づく手書き画像を補正する補正部、として機能させるものである。
【発明の効果】
【0009】
本発明の情報処理装置及び制御プログラムによれば、位置検出パターンを印刷した用紙に書き込んだ手書き画像が適切な方向に配置されるように制御することができる。
【0010】
その理由は、情報処理装置(制御プログラム)は、電子ペンから、位置検出パターンが印刷された用紙上の軌跡情報を取得したら、その軌跡情報に基づく所定の図形の位置検出パターン上の配置を特定し、予め記憶したテーブルを参照して、所定の図形の位置検出パターン上の配置に対応する画像の補正方向を決定し、決定した画像の補正方向に従って、その後に取得した軌跡情報に基づく手書き画像を補正するからである。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施例に係る画像形成装置のコントローラの構成を示すブロック図である。
【図2】本発明の一実施例に係る電子ペンの構成を示すブロック図である。
【図3】アノト(登録商標)パターンの一例を示す図である。
【図4】位置検出パターンの方向とユーザの使用方向との関係及びユーザの使用方向の指定方法を示す図である。
【図5】綴じ止めのバリエーション及び綴じ止め位置とユーザの使用方向の指定方法を示す図である。
【図6】本発明の一実施例に係る画像方向の補正例を示す図である。
【図7】本発明の一実施例に係る画像形成装置に記憶するテーブルの一例である。
【図8】本発明の一実施例に係る画像形成装置の全体処理を示すフローチャート図である。
【図9】本発明の一実施例に係る画像形成装置の設定モード検出処理を示すフローチャート図である。
【図10】本発明の一実施例に係る画像形成装置の画像基準位置検出処理を示すフローチャート図である。
【図11】本発明の一実施例に係る画像形成装置の綴じ止め位置検出処理を示すフローチャート図である。
【図12】本発明の一実施例に係る画像形成装置の画像方向決定処理を示すフローチャート図である。
【発明を実施するための形態】
【0012】
背景技術で示したように、アノト(登録商標)パターンに代表される、電子ペンが用紙上の位置を検出するための位置検出パターンが印刷された用紙を用いて、電子ペンで書き込んだ手書き画像を電子化する方法が知られている。しかしながら、このシステムを利用するユーザは、用紙上に印刷された位置検出パターンの本来の向きが分からないため、システムが意図する画像方向とユーザが意図する画像方向とが一致しない場合が生じ、手書き画像が適切な方向に配置された印刷物の作成を指示することができないという問題があった。
【0013】
そこで、本発明の一実施の形態では、情報処理装置(制御プログラム)は、位置検出パターンが印刷された用紙上の軌跡情報を電子ペンから取得したら、その軌跡情報に基づく所定の図形(画像の基準位置を指示する図形や複数の用紙の綴じ止め位置を指示する図形)の位置検出パターン上の配置を特定し、予め記憶したテーブルを参照して、所定の図形の位置検出パターン上の配置に対応する画像の補正方向を決定し、決定した画像の補正方向に従って、その後に取得した軌跡情報に基づく手書き画像を補正する。これにより、ユーザが設定どおりの方向で手書きすれば、情報処理装置(制御プログラム)はユーザの意図する画像方向を決定して手書き画像の向きを補正するため、ユーザ自身がページの向きを意識して手書きする必要がなくなり、ユーザの利便性を向上させることができる。
【実施例】
【0014】
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る情報処理装置及び制御プログラムについて、図1乃至図12を参照して説明する。図1は、本実施例の画像形成装置のコントローラの構成を示すブロック図であり、図2は、電子ペンの構成を示すブロック図、図3は、アノト(登録商標)パターンの一例を示す図である。また、図4は、位置検出パターンの方向とユーザの使用方向との関係及びユーザの使用方向の指定方法を示す図であり、図5は、綴じ止めのバリエーション及び綴じ止め位置とユーザの使用方向の指定方法を示す図である。また、図6は、本実施例の画像方向の補正例を示す図であり、図7は、本実施例の画像形成装置に記憶されるテーブルの一例を示す図である。また、図8乃至図12は、本実施例の画像形成装置の処理を示すフローチャート図である。
【0015】
本実施例のシステムは、位置検出パターンが印刷された用紙上の位置を特定してペン先の軌跡情報を送信する電子ペンと、位置検出パターンが印刷された用紙に電子ペンで書き込んだ手書き画像を印刷する印刷データを出力する情報処理装置(本実施例では、位置検出パターンを用紙に印刷すると共に手書き画像を用紙に印刷する印刷機能を備えた画像形成装置とする。)と、で構成される。なお、本実施例では、手書き画像を印刷した印刷物を出力するシステム(すなわち、情報処理装置を画像形成装置とするシステム)を前提にして説明するが、手書き画像を印刷した印刷物を出力するための印刷データを作成して出力するシステム(すなわち、情報処理装置を、プリンタドライバを備えるコンピュータ装置とするシステム)としてもよい。以下、各装置について詳細に説明する。
【0016】
[画像形成装置]
図1は、本実施例の画像形成装置10のコントローラの構成を示すブロック図であり、コントローラは、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13a、不揮発RAM13b、モータードライバ14、IR(Image Reader)/ADF(Auto Document Feeder)モーター15、表示・操作部16、電子ペン用通信モジュール17、CCD(Charge Coupled Devices)18、USB(Universal Serial Bus)インターフェース19、NIC(Network Interface Card)20、画像処理チップ21、画像処理用RAM22、プリントエンジン23、TEL応答モジュール24、モデム25、公衆回線インターフェースモジュール26などで構成される。
【0017】
CPU11とROM12とRAM13aと不揮発RAM13bとで制御部が構成される。CPU11は、ROM12に保存されている制御プログラムをRAM13aにコピーした後、RAM13a上の制御プログラムに従って、スキャナ機能、ファクシミリ機能、プリント機能及びコピー機能などの各機能についての全体制御を行う。ROM12は、上記制御プログラムの他に、位置検出パターンのデータも保存する。RAM13aは、手書き画像の補正方向を決定する際に参照するテーブル、各種計算値などの一時保存場所として使用される。また、これらのデータを画像形成装置10の電源が切断されても記憶しておく必要がある場合、不揮発RAM13bに記憶する。
【0018】
本実施例では、特に、制御部(制御プログラム)は、第1特定部、第2特定部、決定部、補正部、印刷制御部として機能する。第1特定部は、電子ペン用通信モジュール17が電子ペン30から取得した軌跡情報に基づいて、所定の図形(画像の基準位置を指示する図形や複数の用紙の綴じ止め位置を指示する図形)を特定する。第2特定部は、上記所定の図形の位置検出パターンに対する配置を特定する。決定部は、RAM13aや不揮発RAM13bなどに記憶した上記テーブルを参照して、所定の図形の位置検出パターン上の配置に対応する画像の補正方向を決定する。補正部は、決定した画像の補正方向に従って、その後に取得した軌跡情報に基づく手書き画像を補正する。印刷制御部は、位置検出パターン(若しくは、原稿画像と位置検出パターンとを合成した合成画像)をプリントエンジン23に印刷させると共に、補正された手書き画像(若しくは、原稿画像と補正された手書き画像とを合成した画像)をプリントエンジン23に印刷させる。
【0019】
IR/ADFモーター15は、読取装置や自動原稿送り装置を駆動するモーターである。モータードライバ14は、IR/ADFモーター15を駆動制御する。
【0020】
表示・操作部16は、LCD(Liquid Crystal Display)や有機EL(electroluminescence)ディスプレイ上に、透明電極が格子状に配置された感圧式のタッチパネルと、ハードキーとで構成される。
【0021】
電子ペン用通信モジュール17は、Bluetooth(登録商標)通信方式に代表される短距離無線通信や有線通信により電子ペン30の通信モジュール34と通信を行い、電子ペン30からの用紙上のペン先の軌跡情報を取得し、RAM13aに保持する。
【0022】
CCD18は、画像形成装置10の読取装置や自動原稿送り装置に設置され、原稿をスキャンして原稿の反射光を検出し、この反射光を光電変換し更にアナログ−デジタル変換して画像データを生成する。USBインターフェース19は、USB対応機器と接続するためのインターフェースである。NIC20は、ユーザのコンピュータ装置などとLAN(Local Area Network)を経由して接続するための拡張カードであって、ユーザのコンピュータ装置等から送信される印刷データを入力したり、スキャンして得た画像信号に基づいて生成された画像データをユーザのコンピュータ装置等に送信したりする。
【0023】
画像処理チップ21は、変倍、画像回転、濃度調整、エッジ強調、スムージング、2値化等の画像処理を行う。画像処理用RAM22は、画像処理チップ21が画像処理の過程で出力する画像データや各種計算値などを一時的に記憶する。プリントエンジン23は、画像処理用RAM22に蓄えられた画像データに基づいて用紙上に画像を形成する。
【0024】
電話応答モジュール24は、着信時の応答を行う。モデム25は、デジタル信号を電話回線のアナログ信号に変調すると共に、その逆に変換して復調する。公衆回線インターフェースモジュール26は、公衆回線網と接続するためのインターフェースである。
【0025】
上記構成のコントローラの一般的な動作を概説すると、CPU11は、表示・操作部16から指示を受けると、モータードライバ14に対し、IR/ADFモーター15の制御を行うと共に、画像処理チップ21へ画像処理要求を行う。
【0026】
画像処理チップ21は、CPU11より画像処理要求を受けると、CCD18からスキャンデータを受け取り、表示・操作部16で指示された画像に変換するための画像処理を施す。その際、各種計算値などは画像処理用RAM22に一時保存される。
【0027】
画像処理チップ21から出力された処理済み画像データは、RAM13aへ一時保存された後、表示・操作部16からの指示がスキャンの場合、画像処理チップ21を経由してUSBインターフェース19又はNIC20へ転送される。表示・操作部16からの指示がFaxの場合、モデム25を経由して公衆回線インターフェースモジュール26に転送される。表示・操作部16からの指示がコピーの場合、画像処理チップ21を経由してプリントエンジン23へ転送される。
【0028】
プリントデータを外部より受信した場合は、USBインターフェース19又はNIC20よりプリントデータを受け付け、画像処理チップ21にて伸張した後、RAM13aへ一時保存し、プリントエンジン23へ転送する。
【0029】
なお、本実施例では、情報処理装置を、印刷機能を備えた画像形成装置としているが、情報処理装置は必ずしも印刷機能を備える必要はなく、プリントエンジン23に印刷を指示する制御装置としてもよいし、プリンタドライバの機能を備えたコンピュータ装置としてもよく、その場合は、制御装置やコンピュータ装置(プリンタドライバ)に、画像形成装置10の制御部(制御プログラム)や画像処理チップ21の処理を実行させればよい。
【0030】
[電子ペン]
図2は、電子ペン30の構成を示すブロック図であり、電子ペン30は、CPU31、ROM32、RAM33、通信モジュール34、バッテリーモジュール35、イメージセンサ36、ペン圧力検知センサ37、筆記モジュール38、時計モジュール39などで構成される。
【0031】
CPU31は、プログラムに従って演算するデータ処理装置である。ROM32は、プログラムを格納する情報記憶部である。RAM33は、データを格納する情報記憶部である。通信モジュール34は、Bluetooth(登録商標)に代表される短距離無線通信や有線通信により画像形成装置10の電子ペン用通信モジュール17と通信を行う。バッテリーモジュール35は、電子ペン30の電源である一次電池または二次電池である。イメージセンサ36は、パターンを読み取るための小型のCCDまたはCMOS(Complementary Metal Oxide Semiconductor)ビデオカメラである。ペン圧力感知センサ37は、電子ペン30の筆圧を検知する圧電素子などである。筆記モジュール38は、イメージセンサ36で読み取った位置検出パターンに基づいて電子ペン30の用紙上の位置を特定し、通信モジュール34を用いて軌跡情報(時系列の位置情報)を出力する装置である。時計モジュール39は、時刻情報を保持する装置である。
【0032】
なお、電子ペン30は、位置検出パターンが印刷された用紙上の位置を特定し、ペン先の軌跡情報を画像形成装置10に送信する機能を備えていればよく、その構成や形状、通信方法などは特に限定されない。例えば、電子ペン30は、アノト(登録商標)パターンを識別して位置を特定する構成としてもよいし、パターンの構成や密度、濃度などを識別して位置を特定する構成としてもよい。また、用紙近傍に設置された機器と連動して(例えば、当該機器に対する角度や距離に基づいて)位置を特定する構成としてもよい。本実施例では、アノト(登録商標)パターンを利用する場合について説明する。
【0033】
図3は、アノト(登録商標)パターンの一例である。このアノト(登録商標)パターンは、格子状に配置されたドットパターンであり、各ドットは0.3mm間隔で直交する格子から上下左右いずれかの方向へ僅かにずれていて、イメージセンサ36によって、1度に縦6×横6ドット、計36ドットのマトリクス単位で読み込まれる。このアノト(登録商標)パターンはどの点をとっても一意な値であることから、用紙に合成するアノト(登録商標)パターンの配置を決めておけば(すなわち、パターン空間のどの位置から切り出したアノト(登録商標)パターンを用紙に合成するかを決めておけば)、電子ペン30は用紙上の任意の位置を認識することができる。このアノト(登録商標)パターンのデータは、予めROM12に保持する構成とするが、ネットワーク上のサーバなどに格納しておき、その都度ネットワークを介して取得して利用する構成とすることもできる。
【0034】
上記アノト(登録商標)パターンのような位置検出パターンを用紙に印刷することにより、用紙上に電子ペン30で書き込んだ手書き画像を電子データとして取得することができるが、用紙上に印刷された位置検出パターンは、見ただけではその本来の向きが分からない。そのため、ユーザは位置検出パターンの本来の向きとは異なる向きに画像を書き込んでしまう場合が生じ、その場合、手書き画像がユーザの意図しない向きに配置されてしまう。
【0035】
特に、複数の用紙を綴じ止めして使用する場合、手書き画像が意図しない方向を向いている用紙があっても、その用紙を回転させることはできないし、用紙の表裏の一方の手書き画像が意図しない方向を向いている場合、用紙を回転させたとしても、表裏の手書き画像を意図する方向に向かせることはできない。
【0036】
そこで、本実施例では、このような方向の不一致が発生しないようにするために、ユーザは、位置検出パターンが印刷された用紙上に、電子ペン30を用いて、画像の基準位置を指示する図形や複数の用紙の綴じ止め位置を指示する図形を書き込む。そして、画像形成装置10(制御プログラム)は、電子ペン30から取得した軌跡情報に基づく上記所定の図形の位置検出パターン上の配置を特定し、予め記憶したテーブルを参照して、所定の図形の位置検出パターン上の配置に対応する画像の補正方向を決定し、決定した画像の補正方向に従ってその後に取得した軌跡情報に基づく手書き画像の方向を補正し、手書き画像が意図する方向に印刷されるようにする。以下、図面を参照して詳細に説明する。
【0037】
図4(a)は、用紙に印刷された位置検出パターンの方向とユーザの使用方向との関係を表す4つのケースを示しており、図4(b)は、各々のケースにおける電子ペン30の軌跡情報から得られた手書き画像の方向を示している。
【0038】
ケース1では、位置検出パターンの上部とユーザが用紙に書き込んだユーザ画像の上部とが一致しており、電子ペン30から得られた手書き画像はユーザが意図した画像方向と一致することを示している。ケース2では、位置検出パターンの上部とユーザ画像の上部とが反転しており、電子ペン30から得られた手書き画像はユーザが意図した画像方向に対して反転することを示している。ケース3では、位置検出パターンの上部に対してユーザ画像の上部が左側であり、電子ペン30から得られた手書き画像はユーザが意図した画像方向に対して時計回りに90°回転することを示している。ケース4では、位置検出パターンの上部に対してユーザ画像の上部が右側であり、電子ペン30から得られた手書き画像はユーザが意図した画像方向に対して反時計回りに90°回転することを示している。
【0039】
このように、位置検出パターンの向きとユーザ画像の向きとが一致していないと、電子ペン30から得られた手書き画像の向きがばらばらになってしまう。そこで、位置検出パターンが印刷された用紙上に電子ペン30で手書きする際に、電子ペン30を用いてユーザの使用方向(画像の基準位置)を指示する所定の画像を書き込む。
【0040】
図4(c)は、ユーザの使用方向を指定する方法の一例を示している。例えば、ユーザは、通常の書き込み動作の前に、電子ペン30に対してモード選択などの操作を行い、用紙上の予め定めた場所(例えば、左上)に所定の図形(例えば、丸などのマーク)を書き込んで、ユーザの使用方向を指定する。なお、所定の図形はこの例に限定されず、任意の図形(例えば、「☆」など)や記号(例えば、「↑」など)、文字(例えば、「上」など)を用いることができる。また、所定の図形を書き込む位置もこの例に限定されず、どの辺が指定されたかが分かる位置であればよい。また、ユーザの使用方向を指定する方法はこの例に限定されず、例えば、電子ペン30が一定時間、同じ位置を示した場合に、ユーザの使用方向が指定されたと判断することもできる。また、本実施例では、通常の書き込み動作の前に所定の図形が書き込まれた時に、ユーザの使用方向が指定されたと判断するが、所定の図形として特殊な図形や記号、文字を採用した場合は、特殊な図形や記号、文字を認識した場合に、ユーザの使用方向が指定されたと判断することもできる。
【0041】
図4は、各々の用紙に対してユーザの使用方向を指定する場合の例であるが、位置検出パターンを複数の用紙に印刷し、この複数の用紙を綴じ止めして使用する場合は、特定の用紙(例えば、表紙)に対してユーザの使用方向を指定することができる。この方法について、図5を参照して説明する。図5(a)、(b)は、位置検出パターンを印刷した複数の用紙を綴じ止めして使用する場合のバリエーションを示しており、(a)は片面に印刷した用紙を綴じ止めする場合、(b)は両面に印刷した用紙を綴じ止めする場合を示している。
【0042】
図5(a)、(b)に示すように、位置検出パターンを印刷した複数の用紙は様々な位置で綴じ止めされ、ユーザは用紙の綴じ止め位置と用紙の縦横の向きにより使用方向を認識(「A」又は「B」の文字の方向を手書きする方向として認識)するが、位置検出パターンは複数の用紙に対して同じ向きに印刷されるため、用紙を開いた時に位置検出パターンの方向とユーザの使用方向とが一致しない場合が生じる。
【0043】
例えば、位置検出パターンを縦方向に印刷し、短辺で綴じ止めし、上に開いて使用する場合(図左の綴じ止め形態の場合)は、両面の場合の上側のページに印刷された位置検出パターンは上下反転しているため、図4のケース2で示したような方向の不一致が生じる。また、位置検出パターンを縦方向に印刷し、短辺で綴じ止めし、左に開いて使用する場合(図中央上の綴じ止め形態の場合)は、右側(両面の場合は右側及び左側)のページに印刷された位置検出パターンは90°回転しているため、図4のケース3又はケース4で示したような方向の不一致が生じる。同様に、位置検出パターンを縦方向に印刷し、長辺で綴じ止めし、上に開いて使用する場合(図右の綴じ止め形態の場合)は、下側(両面の場合は上側及び下側)のページに印刷された位置検出パターンは90°回転しているため、図4のケース3又はケース4で示したような方向の不一致が生じる。
【0044】
そこで、位置検出パターンを印刷した複数の用紙を綴じ止めして使用する場合は、先頭の用紙に対して、綴じ止め位置及びユーザの使用方向を指示するようにする。
【0045】
図5(c)は、綴じ止め位置及びユーザの使用方向を指定する方法の一例を示している。例えば、ユーザは、通常の書き込み動作の前に、電子ペン30に対してモード選択などの操作を行い、用紙上の第1の位置(例えば、左上)に所定の図形(例えば、丸などのマーク)を書き込んで、ユーザの使用方向を指定し、その後、電子ペン30を動かして用紙上の第2の位置(例えば、左中央)に所定の図形(例えば、丸などのマーク)を書き込んで、綴じ止め位置を指定する。なお、ユーザの使用方向及び綴じ止め位置の指定方法もこの例に限定されず、例えば、綴じ止め位置を指定した後、ユーザの使用方向を指定してもよいし、電子ペンで第1の位置を指示した後、綴じ止めする辺に沿って電子ペンをスライドさせるようにしてもよい。また、所定の図形を書き込む位置もこの例に限定されず、どの辺が指定されたかが分かる位置であればよい。また、所定の図形もこの例に限定されず、任意の図形(例えば、「☆」など)や記号(例えば、「↑」や「+」など)、文字(例えば、「上」や「止」など)を用いることができる。また、本実施例では、通常の書き込み動作の前に所定の図形が書き込まれた時に、ユーザの使用方向及び綴じ止めが指定されたと判断するが、所定の図形として特殊な図形や記号、文字を採用した場合は、特殊な図形や記号、文字を認識した場合に、ユーザの使用方向及び綴じ止めが指定されたと判断することもできる。
【0046】
次に、位置検出パターンを印刷した複数の用紙を綴じ止めして使用した場合の、手書き画像の方向について、図6を参照して説明する。
【0047】
図6(a)は、片面印刷の場合の手書き画像のページ順、上下関係の対応例を示している。ここでは、位置検出パターン上部がユーザ画像の下部に対応(すなわち、位置検出パターンの方向とユーザの使用方向とが反転)する状態で用紙を重ね合わせ、長辺の左端で綴じ止めして書き込みを行った例を示している。この場合、電子ペン30から取得した手書き画像は、ユーザの意図した方向と逆になる。そこで、画像形成装置10は、指定された綴じ止め位置及びユーザの使用方向に基づいて、手書き画像の方向を補正する。ここでは、位置検出パターンの方向とユーザの使用方向とが逆になっているため、各々の手書き画像の方向を180°回転させる。このような補正を行うことにより、ユーザは、位置検出パターンが印刷された用紙の表面にそのまま手書きするだけで、全てのページの手書き画像が正しい向きに配置されて印刷されるため、ユーザの利便性を向上させることができる。
【0048】
図6(b)は、両面印刷の場合の手書き画像のページ順、上下関係の対応例を示している。ここでは、位置検出パターン上部とユーザ画像の上部とが一致する状態で用紙を重ね合わせ、短辺の上端で綴じ止めして書き込みを行った例を示している。この場合、奇数ページ(図の第1ページ及び第3ページ)に関しては、電子ペン30から取得した手書き画像は、ユーザの意図した方向と一致するが、偶数ページ(図の第2ページ及び第4ページ)に関しては、用紙を開くことによって位置検出パターンの向きが反転するため、手書き画像はユーザの意図した方向と逆になる。そこで、画像形成装置10は、指定された綴じ止め位置及びユーザの使用方向に基づいて、偶数ページの手書き画像の方向を補正する。ここでは、位置検出パターンの方向とユーザの使用方向とが逆になっているため、偶数ページの手書き画像の方向を180°回転させる。
【0049】
このような画像補正を行うには、綴じ止め位置及びユーザの使用方向が指定された時にどのように画像を補正するかを決定できるようにする必要がある。そこで、図7に示すようなテーブルを作成する。
【0050】
図7(a)は、冊子NoとページNoとパターンNoとイメージとを関連付けるテーブルである。このテーブルは、印刷設定情報に基づいて作成される。ここで、冊子Noは、一括して画像方向を変更するための処理範囲を示す。ページNoは、各々のページを一意に特定するための番号を示す。パターンNoは、各々の位置検出パターンを一意に特定するための番号を示す。イメージは、電子ペン30による書き込みで得られる手書き画像を示す。
【0051】
図7(b)は、冊子Noと綴じ止め基準と画像基準と表面補正種別と裏面補正種別とを関連付けるテーブルであり、複数の用紙の手書き画像の方向を一括して補正するためのものである。このテーブルは、ユーザが使用方向及び綴じ止め位置を指定した後に作成される。ここで、冊子Noは前記の通りである。綴じ止め基準は、ユーザが電子ペン30によって指定した綴じ止め位置が位置検出パターン上のどの位置に対応するかを示す。画像基準は、ユーザが電子ペン30によって指定した位置(ここでは左上)が位置検出パターン上のどの位置に対応するかを示す。表面補正種別は、一括モードでの画像方向補正における冊子表面の画像補正方向の種別(図7(e)の補正方向1と補正方向2のどちらを適用するか)を表す。裏面補正種別は、冊子裏面の向きを変更するための項目であり、一括モードでの画像方向補正における冊子裏面の画像補正方向の種別(図7(e)の補正方向1と補正方向2のどちらを適用するか)を表す。
【0052】
このテーブルで規定される冊子を図面に対応付けると、冊子No.1は、位置検出パターンを縦方向に印刷した用紙を、図5(b)の中央下のように綴じ止めした冊子に対応する。冊子No.2は、位置検出パターンを縦方向に印刷した用紙を左に倒し、図5(b)の中央上のように綴じ止めした冊子に対応する。冊子No.3は、位置検出パターンを縦方向に印刷した用紙を右に倒し、図5(a)の右のように綴じ止めした冊子に対応する。
【0053】
図7(c)は、冊子NoとページNoと画像基準とを関連付けるテーブルであり、ページ毎に手書き画像の方向を補正するためのものである。このテーブルは、ユーザがページ毎に使用方向を指定した後に作成される。ここで、冊子No、ページNo、画像基準は前記の通りである。
【0054】
このテーブルで規定されるページを図面に対応付けると、ページNo.1、5、9は、図4のケース1に対応する。ページNo.2、6、10は、図4のケース3に対応する。ページNo.3、7は、図4のケース4に対応する。ページNo.4、8は、図4のケース2に対応する。
【0055】
図7(d)は、画像基準と補正方向とを関連付けるテーブルである。このテーブルは、手書き画像の方向を揃えるために必要な回転角を規定しており、予め作成され、図7(c)のテーブルと組み合わせて使用される。ここで、画像基準は前記の通りである。補正方向は、手書き画像の補正方向を表す。
【0056】
このテーブルで規定される画像基準を図面に対応付けると、画像基準が「左上」は、図4のケース1に対応し、手書き画像は回転させる必要がないことを示す。画像基準が「右上」は、図4のケース3に対応し、手書き画像は反時計回りに90°(−90°)回転させる必要があることを示す。画像基準が「左下」は、図4のケース4に対応し、手書き画像は時計回りに90°(+90°)回転させる必要があることを示す。画像基準が「右下」は、図4のケース2に対応し、手書き画像は時計回り若しくは反時計回りに180°回転させる必要があることを示す。
【0057】
図7(e)は、綴じ止め基準と画像基準と補正方向とを関連付けるテーブルである。このテーブルは、手書き画像の方向を綴じ止め位置に基準にして揃えるために必要な回転角を規定しており、予め作成され、図7(b)のテーブルと組み合わせて使用される。ここで、綴じ止め基準、画像基準は前記の通りである。補正方向1は、表面の補正方向を想定した場合の補正方向であり、補正方向2は、裏面の補正方向を想定した場合の補正方向である。なお、裏面にも補正方向1を適用してもよく、どちらの補正方向を適用するかをユーザが指定できるようにしてもよい。
【0058】
そして、これらのテーブルを参照することにより、各ページの手書き画像をどのように回転させればよいかを決定することができる。例えば、図4(a)のケース2のように、位置検出パターンが縦向きに上下反転して印刷された用紙の左上を電子ペン30で指定した場合、画像基準は「右下」になるため、図7(d)のテーブルから、補正方向は+180°になる。また、図5(b)の中央上のように、位置検出パターンが縦向きに印刷された用紙を左向きに倒し、左側を綴じ止めした冊子の左上を電子ペン30で指定した場合、綴じ止め位置は「上」、画像位置は「右上」になるため、図7(b)のテーブルから、表面補正種別は「1」、裏面補正種別は「2」になり、図7(e)のテーブルから、表面の手書き画像の補正方向は−90°、裏面の手書き画像の補正方向は+90°になる。
【0059】
以下、本実施例の画像形成装置10(制御プログラム)が実行する処理について、図8乃至図12のフローチャート図を参照して説明する。図8は、画像形成装置の全体処理を示し、図9乃至図12は、各々、設定モード検出処理、画像基準位置検出処理、綴じ止め位置検出処理、画像方向決定処理の詳細を示している。
【0060】
まず、画像形成装置10は、位置検出パターンを印刷するためにユーザが設定した印刷設定情報を取得する(S100)。この印刷設定情報の内容は、ページ数、片面/両面、用紙サイズなどである。なお、印刷設定情報の内容は、ユーザがホスト上で印刷設定を行えるアプリケーション(例えば、プリンタドライバ)を用いて行ってもよいし、画像形成装置10の表示・操作部16を操作して行ってもよい。
【0061】
次に、画像形成装置10は、S100で取得した印刷設定情報に基づいて、冊子、ページ、パターン、イメージの関連付けテーブル(図7(a)のテーブル)を作成する(S200)。
【0062】
次に、画像形成装置10は、S200で作成したテーブルに従って、用紙の各ページに、対応する位置検出パターンを印刷する(S300)。この印刷時は、片面、両面に限らず、用紙に対する位置検出パターンの方向は変更しない。ここでは、用紙の上部と位置検出パターンの上部とが対応するように印刷する。
【0063】
そして、ユーザが電子ペン30を用いて位置検出パターンを印刷した用紙上で手書きすると、画像形成装置10は、電子ペン30から、画像基準位置と必要に応じて綴じ止め位置とを得るためのモードであることを示すモード設定情報、画像基準位置と必要に応じて綴じ止め位置を示す軌跡情報、及び、手書き画像の軌跡情報を取得する(S400)。
【0064】
次に、画像形成装置10は、電子ペン30から取得したモード設定情報で規定される設定モードに従って、画像基準位置と必要に応じて綴じ止め位置を検出する(S500)。この処理の詳細は後述する。
【0065】
次に、画像形成装置10は、S500で検出した画像基準位置と必要に応じて綴じ止め位置を元に、図7に示すテーブルを参照して、各ページの手書き画像の補正方向を決定する(S600)。この処理の詳細は後述する。
【0066】
[設定モード検出処理]
次に、図8のS500の設定モードの検出処理について、図9を参照して説明する。なお、設定モードには、一括指定と個別指定モードの2つが存在する。一括指定モードは、複数の用紙の画像方向を一括して決定するモードであり、個別指定モードは、各々の用紙の画像方向を個別に決定するモードである。
【0067】
まず、電子ペン30から取得したモード設定情報から、設定されたモードが一括指定モードであるかを判断する(S510)。一括指定モードの場合は、画像基準位置の検出処理を行い(S520)、その後、綴じ止め位置の検出処理を行う(S530)。この画像基準位置の検出処理及び綴じ止め位置の検出処理の詳細は後述する。
【0068】
一方、一括指定モードでない場合は、設定されたモードが個別指定モードであるかを判断する(S540)。個別指定モードの場合は、画像基準位置の検出処理を行う(S550)。この画像基準位置の検出処理の詳細は後述する。
【0069】
[画像基準位置の検出処理]
次に、図9のS520及びS550の画像基準位置の検出処理について、図10を参照して説明する。なお、この処理は、ユーザが基準とする画像位置(ここでは左上)と位置検出パターンの基準位置とのずれに基づいて図7のテーブルの画像基準を更新するために行う。
【0070】
まず、画像形成装置10は、電子ペン30から取得した軌跡情報が、画像基準位置の指示であるか(すなわち、所定の図形が描画されたか)を判断する(S521)。画像基準位置の指示でなければ本フローを終了し、画像基準位置の指示であれば、ユーザが電子ペン30で指定した位置が、位置検出パターンの左上位置であるかを判断する(S522)。左上位置であれば、テーブルの画像基準フィールドを左上に更新する(S523)。なお、設定モードが一括指定モードの場合は、図7(b)のテーブルの画像基準フィールドを左上に更新し、設定モードが個別モードの場合は、図7(c)のテーブルの画像基準フィールドを左上に更新する。
【0071】
ユーザが電子ペン30で指定した位置が、位置検出パターンの左上位置でない場合は、位置検出パターンの右上位置であるかを判断する(S524)。位置検出パターンの右上位置であれば、同様にテーブルの画像基準フィールドを右上に更新する(S525)。
【0072】
ユーザが電子ペン30で指定した位置が、位置検出パターンの右上位置でない場合は、位置検出パターンの左下位置であるかを判断する(S526)。位置検出パターンの左下位置であれば、同様にテーブルの画像基準フィールドを左下に更新する(S527)。
【0073】
ユーザが電子ペン30で指定した位置が、位置検出パターンの左下位置でない場合は、位置検出パターンの右下位置であるかを判断する(S528)。位置検出パターンの右下位置であれば、同様にテーブルの画像基準フィールドを右下に更新する(S529)。
【0074】
[綴じ止め位置の検出処理]
次に、図9のS530の綴じ止め位置の検出処理について、図11を参照して説明する。なお、この処理は、ユーザが基準とする綴じ止め位置と位置検出パターンの基準位置とのずれに基づいて図7のテーブルの綴じ止め基準を更新するために行う。
【0075】
まず、画像形成装置10は、電子ペン30から取得した軌跡情報が、綴じ止め位置の指示であるか(すなわち、所定の図形が描画されたか)を判断する(S531)。綴じ止め位置の指示でなければ本フローを終了し、綴じ止め位置指示であれば、ユーザが電子ペン30で指定した位置が、位置検出パターンの上位置であるかを判断する(S532)。上位置であれば、図7(b)のテーブルの綴じ止め基準フィールドを上に更新する(S533)。
【0076】
ユーザが電子ペン30で指定した位置が、位置検出パターンの上位置でない場合は、位置検出パターンの下位置であるかを判断する(S534)。位置検出パターンの下位置であれば、図7(b)のテーブルの綴じ止め基準フィールドを下に更新する(S535)。
【0077】
ユーザが電子ペン30で指定した位置が、位置検出パターンの下位置でない場合は、位置検出パターンの左位置であるかを判断する(S536)。位置検出パターンの左位置であれば、図7(b)のテーブルの綴じ止め基準フィールドを左に更新する(S537)。
【0078】
ユーザが電子ペン30で指定した位置が、位置検出パターンの左位置でない場合は、位置検出パターンの右位置であるかを判断する(S538)。位置検出パターンの右位置であれば、図7(b)のテーブルの綴じ止め基準フィールドを右に更新する(S539)。
【0079】
[画像方向の決定処理]
次に、図8のS600の画像方向の決定処理について、図12を参照して説明する。この処理は、画像形成装置10が認識している画像方向をユーザの意図している方向に補正するために行う。
【0080】
まず、画像形成装置10は、テーブル(図7(d)又は図7(e)のテーブル)を参照して、画像の補正方向を決定する(S610)。具体的には、個別指定モードで設定された特定のページに対する画像方向を決定する場合は、図7(c)のテーブルの画像基準をキーとして、図7(d)のテーブルの補正方向フィールドを検索して画像の補正方向を決定する。一括指定モードで設定された画像方向を取得する場合は、図7(b)のテーブルの綴じ止め基準及び画像基準をキーとして、図7(e)のテーブルの補正方向フィールドを検索して画像の補正方向を決定する。その際、両面印刷時の表面のページは、図7(b)のテーブルの表面補正種別に従って画像の補正方向を決定し、裏面のページは、図7(b)のテーブルの裏面補正種別に従って画像の補正方向を決定する。
【0081】
次に、S610で決定した補正方向に基づいて、手書き画像をユーザの意図した方向に補正する(S620)。個別指定モードの場合は、図7(d)のテーブルの補正方向に従って画像方向を補正する。一括指定モードの場合は、図7(e)のテーブルに従って画像方向を補正する。
【0082】
以上、説明したように、本実施例では、画像形成装置10(制御プログラム)は、位置検出パターンが印刷された用紙上の軌跡情報を電子ペン30から取得したら、その軌跡情報に基づく所定の図形(画像の基準位置を指示する図形や複数の用紙の綴じ止め位置を指示する図形)を特定し、その所定の画像の位置検出パターン上の配置を特定し、図7のテーブルを参照して、所定の図形の位置検出パターン上の配置に対応する画像の補正方向を決定し、決定した画像の補正方向に従って、手書き画像の方向を補正する処理を行うため、位置検出パターンが印刷された用紙の向きを意識しなくても、手書き画像をユーザが意図する方向に印刷することができる。
【0083】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、各装置の構成や制御は適宜変更可能である。
【0084】
例えば、上記実施例では、画像補正処理として手書き画像を回転させる回転処理を行ったが、複数の用紙を綴じ止めする場合、綴じ止め位置に近い手書き画像が見にくくなる場合もあることから、回転処理に代えて、又は、回転処理に加えて、各ページの手書き画像を綴じ止め位置から遠ざけるように移動させるシフト処理を行ってもよい。
【0085】
また、上記実施例では、画像形成装置10が電子ペン30から軌跡情報を受信し、その軌跡情報に基づく画像基準位置及び綴じ止め基準位置を利用して手書き画像の補正方向を決定し、決定した補正方向に従って手書き画像を補正する処理を行う構成としたが、これらの処理をホスト側の装置(プリンタドライバ)で実行する構成としてもよい。この場合、プリンタドライバは、電子ペン30から軌跡情報を取得したら、その軌跡情報に基づく画像基準位置及び綴じ止め基準位置を利用して手書き画像の補正方向を決定し、決定した補正方向に従って手書き画像を補正し、補正後の手書き画像の印刷を指示する印刷データを作成し、作成した印刷データを画像形成装置10に送信して印刷を指示すればよい。
【0086】
また、上記実施例では、電子ペン30から軌跡情報を受信した装置が画像補正処理を行う構成としたが、当該装置では画像補正処理を行わず、印刷データに、決定した補正方向に従って手書き画像を補正する指示情報を付加する構成としてもよい。
【0087】
また、上記実施例では、手書き画像を印刷した印刷物を作成するための印刷データを作成して出力する構成としたが、手書き画像を印刷することによって作成される印刷物を画面上で確認するためのデータ(すなわち、必ずしも印刷を前提としないデータ)を作成する場合においても、同様の画像補正処理を行うことによって、複数の用紙に書き込んだ手書き画像をユーザが意図する方向に向けることができ、ユーザの利便性を向上させることができる。
【産業上の利用可能性】
【0088】
本発明は、画像形成装置などの情報処理装置、及び、画像形成装置や画像形成装置に印刷を指示する装置で動作する制御プログラムに利用可能である。
【符号の説明】
【0089】
10 画像形成装置
11 CPU
12 ROM
13a RAM
13b 不揮発RAM
14 モータードライバ
15 IR/ADFモーター
16 表示・操作部
17 電子ペン用通信モジュール
18 CCD
19 USBインターフェース
20 NICインターフェース
21 画像処理チップ
22 画像処理用RAM
23 プリントエンジン
24 TEL応答モジュール
25 モデム
26 公衆回線インターフェースモジュール
30 電子ペン
31 CPU
32 ROM
33 RAM
34 通信モジュール
35 バッテリーモジュール
36 イメージセンサ
37 ペン圧力検知センサ
38 筆記モジュール
39 時計モジュール

【特許請求の範囲】
【請求項1】
用紙に印刷された位置検出パターンを検出して当該用紙上の位置を特定し、ペン先の軌跡情報を出力する電子ペンと通信可能な情報処理装置であって、
前記電子ペンから軌跡情報を取得する取得部と、
前記取得部が取得した軌跡情報に基づいて、画像の基準位置を指示する第1の図形を特定する第1特定部と、
前記第1の図形の前記位置検出パターンに対する配置を特定する第2特定部と、
予め記憶したテーブルを参照して、前記第1の図形の前記配置に対応する画像の補正方向を決定する決定部と、
決定した画像の補正方向に従って、その後に取得した軌跡情報に基づく手書き画像を補正する補正部と、を備える、ことを特徴とする情報処理装置。
【請求項2】
前記位置検出パターンが複数の用紙に印刷される場合、
前記第1特定部は、前記複数の用紙の中の特定の用紙上の軌跡情報に基づいて、前記第1の図形と、前記複数の用紙の綴じ止め位置を指示する第2の図形と、を特定し、
前記第2特定部は、前記第1の図形及び前記第2の図形の前記位置検出パターンに対する配置を特定し、
前記決定部は、予め記憶したテーブルを参照して、前記第1の図形及び前記第2の図形の前記配置に対応する画像の補正方向を決定し、
前記補正部は、決定した画像の補正方向に従って、前記複数の用紙上の軌跡情報に基づく手書き画像を補正する、ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記位置検出パターンが各々の用紙の表面及び裏面に印刷される場合、
前記決定部は、前記テーブルを参照して、表面ページに対する画像の補正方向と裏面ページに対する画像の補正方向とを決定し、
前記補正部は、表面ページの軌跡情報に基づく手書き画像は、表面ページに対する画像の補正方向に従って補正し、裏面ページの軌跡情報に基づく手書き画像は、裏面ページに対する画像の補正方向に従って補正する、ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記画像の補正方向とは、前記位置検出パターンの向きを、当該位置検出パターンが印刷された用紙の使用時の向きに合わせた時に、前記用紙上の軌跡情報に基づく手書き画像が、前記用紙の使用時の向きに印刷されるようにする方向である、ことを特徴とする請求項1乃至3のいずれか一に記載の情報処理装置。
【請求項5】
用紙に印刷された位置検出パターンを検出して当該用紙上の位置を特定し、ペン先の軌跡情報を出力する電子ペンと通信可能な装置で動作する制御プログラムであって、
前記装置を、
前記電子ペンから取得した軌跡情報に基づいて、画像の基準位置を指示する第1の図形を特定する第1特定部、
前記第1の図形の前記位置検出パターンに対する配置を特定する第2特定部、
予め記憶したテーブルを参照して、前記第1の図形の前記配置に対応する画像の補正方向を決定する決定部、
決定した画像の補正方向に従って、その後に取得した軌跡情報に基づく手書き画像を補正する補正部、として機能させる、ことを特徴とする制御プログラム。
【請求項6】
前記位置検出パターンが複数の用紙に印刷される場合、
前記第1特定部は、前記複数の用紙の中の特定の用紙上の軌跡情報に基づいて、前記第1の図形と、前記複数の用紙の綴じ止め位置を指示する第2の図形と、を特定し、
前記第2特定部は、前記第1の図形及び前記第2の図形の前記位置検出パターンに対する配置を特定し、
前記決定部は、予め記憶したテーブルを参照して、前記第1の図形及び前記第2の図形の前記配置に対応する画像の補正方向を決定し、
前記補正部は、決定した画像の補正方向に従って、前記複数の用紙上の軌跡情報に基づく手書き画像を補正する、ことを特徴とする請求項5に記載の制御プログラム。
【請求項7】
前記位置検出パターンが各々の用紙の表面及び裏面に印刷される場合、
前記決定部は、前記テーブルを参照して、表面ページに対する画像の補正方向と裏面ページに対する画像の補正方向とを決定し、
前記補正部は、表面ページの軌跡情報に基づく手書き画像は、表面ページに対する画像の補正方向に従って補正し、裏面ページの軌跡情報に基づく手書き画像は、裏面ページに対する画像の補正方向に従って補正する、ことを特徴とする請求項6に記載の制御プログラム。
【請求項8】
前記画像の補正方向とは、前記位置検出パターンの向きを、当該位置検出パターンが印刷された用紙の使用時の向きに合わせた時に、前記用紙上の軌跡情報に基づく手書き画像が、前記用紙の使用時の向きに印刷されるようにする方向である、ことを特徴とする請求項5乃至7のいずれか一に記載の制御プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2013−5370(P2013−5370A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−137085(P2011−137085)
【出願日】平成23年6月21日(2011.6.21)
【出願人】(303000372)コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Fターム(参考)】