画像合成装置及び画像合成プログラム
【課題】用紙や画面の所定の位置に簡便に画像を合成することができる画像合成装置及び画像合成プログラムの提供。
【解決手段】画像合成装置に、用紙上若しくは画面上の電子ペンの移動軌跡を表す１又は複数の手書き画像と当該画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報を入力すると共に、予め時刻情報が対応付けられた画像データを入力する入力部と、前記手書き画像に対応付けられた少なくとも１つの時刻情報と前記画像データに対応付けられた時刻情報とに基づいて、前記手書き画像と前記画像データとを対応付ける制御部と、前記手書き画像で特定される閉領域内に、当該手書き画像に対応付けられた画像データに基づく入力画像又は当該画像データの保存場所情報を合成する画像処理部と、合成結果を出力する出力部と、を少なくとも備える。
【解決手段】画像合成装置に、用紙上若しくは画面上の電子ペンの移動軌跡を表す１又は複数の手書き画像と当該画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報を入力すると共に、予め時刻情報が対応付けられた画像データを入力する入力部と、前記手書き画像に対応付けられた少なくとも１つの時刻情報と前記画像データに対応付けられた時刻情報とに基づいて、前記手書き画像と前記画像データとを対応付ける制御部と、前記手書き画像で特定される閉領域内に、当該手書き画像に対応付けられた画像データに基づく入力画像又は当該画像データの保存場所情報を合成する画像処理部と、合成結果を出力する出力部と、を少なくとも備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置及び画像合成プログラムに関し、特に、電子ペンを利用して画像を合成する画像合成装置及び画像合成プログラムに関する。
【背景技術】
【０００２】
近年、入力デバイスとして、ペンで入力した筆跡をデータとして出力する電子ペンが利用されている。この電子ペンは、ペン先に小型カメラを搭載しており、用紙に印刷されたアノト（登録商標）パターンと呼ばれる位置検出用パターンを小型カメラで読み取ることによってペン先の位置を特定し、手書きした文字や図形、絵などの筆跡を手書きデータとして出力する。
【０００３】
このような電子ペンを利用したシステムとして、例えば、下記特許文献１には、デジタルカメラを内蔵し、筆記機能を有するデジタルペンと、デジタルペン専用用紙と、デジタルペンから写真画像データを受信してサーバに受信画像を送信し、サーバから編集されたデータを受信する通信装置と、少なくとも写真画像情報読取部とを有し、前記通信装置に接続されて印刷物を出力する出力装置を有する印刷システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６３９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の技術を利用することにより、用紙に予め配置された画像と、その画像上に手書きした手書き画像と、を合成して合成画像を出力することができるが、画像が配置された用紙を作成するためには、ユーザが画像を選択し、選択した画像を用紙上のどの位置に配置するかを指定しなければならず、煩雑な操作が必要になる。
【０００６】
特に、デジタルカメラで撮影した画像やスキャナで読み取った画像などの多数の画像を各ページの所定の位置に配置した資料等を作成する場合には、画像と用紙上の位置との対応付けに手間がかかり、簡便に画像を合成することができないという問題があった。
【０００７】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、用紙や画面の所定の位置に簡便に画像を合成することができる画像合成装置及び画像合成プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の画像合成装置は、用紙上若しくは画面上の電子ペンの移動軌跡を表す１又は複数の手書き画像と当該画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報を入力すると共に、予め時刻情報が対応付けられた画像データを入力する入力部と、前記手書き画像に対応付けられた少なくとも１つの時刻情報と前記画像データに対応付けられた時刻情報とに基づいて、前記手書き画像と前記画像データとを対応付ける制御部と、前記手書き画像で特定される閉領域内に、当該手書き画像に対応付けられた画像データに基づく入力画像又は当該画像データの保存場所情報を合成する画像処理部と、合成結果を出力する出力部と、を少なくとも備えるものである。
【０００９】
また、本発明は、入力部と出力部とを備える装置で動作する画像合成プログラムであって、前記装置に、前記入力部に、用紙上若しくは画面上の電子ペンの移動軌跡を表す１又は複数の手書き画像と当該画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報と、予め時刻情報が対応付けられた画像データと、を入力させる第１の処理、前記手書き画像に対応付けられた少なくとも１つの時刻情報と前記画像データに対応付けられた時刻情報とに基づいて、前記手書き画像と前記画像データとを対応付ける第２の処理、前記手書き画像で特定される閉領域内に、当該手書き画像に対応付けられた画像データに基づく入力画像又は当該画像データの保存場所情報を合成する第３の処理、前記出力部に、合成結果を出力させる第４の処理、を実行させるものである。
【発明の効果】
【００１０】
本発明の画像合成装置及び画像合成プログラムによれば、用紙や画面の所定の位置に簡便に画像を合成することができる。
【００１１】
その理由は、画像合成装置（画像合成プログラム）は、電子ペンから、位置検出用パターンが印刷された用紙や位置検出用パターンが表示された画面で手書きした１又は複数の手書き画像とその手書き画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報を取得すると共に、デジタルカメラやスキャナから、予め時刻情報が対応付けられた画像データを取得し、手書き画像に対応付けられた少なくとも１つの時刻情報と画像データに対応付けられた時刻情報とに基づいて、手書き画像と画像データとを対応付け、各々の画像合成領域に時刻情報に基づいて対応付けられた画像データに基づく画像又は当該画像データの保存場所情報を合成する制御を行うからである。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例に係る画像合成システムの構成及び概略動作を示す図である。
【図２】本発明の一実施例に係る画像合成装置の構成を示すブロック図である。
【図３】本発明の一実施例に係る電子ペンの構成を示すブロック図である。
【図４】本発明の一実施例に係るデジタルカメラの構成を示すブロック図である。
【図５】アノト（登録商標）パターンの一例を示す図である。
【図６】本発明の一実施例に係る画像合成システムの全体処理を示すフローチャート図である。
【図７】本発明の一実施例に係る手書き入力用紙の作成処理を示すフローチャート図である。
【図８】手書き入力用紙の作成処理を説明する図である。
【図９】本発明の一実施例に係る画像合成指示の処理を示すフローチャート図である。
【図１０】画像合成指示の処理を説明する図である。
【図１１】本発明の一実施例に係る手書き情報取り込み処理を示すフローチャート図である。
【図１２】本発明の一実施例に係る入力画像取り込み処理を示すフローチャート図である。
【図１３】本発明の一実施例に係る合成画像選択処理を示すフローチャート図である。
【図１４】合成画像選択処理を説明する図である。
【図１５】本発明の一実施例に係る画像合成処理を示すフローチャート図である。
【図１６】画像合成処理を説明する図である。
【発明を実施するための形態】
【００１３】
背景技術で示したように、電子ペンを利用した様々なシステムが提案されており、特許文献１には、デジタルペン専用用紙にデジタル写真画像を出力し、その上にデジタルペンで文字等を記入させることにより、手書きメッセージ入り写真画像を印刷する印刷システムが開示されている。しかしながら、このシステムは、予め用紙上に配置された画像に手書きした手書き画像を合成するものであり、用紙に画像を配置する際には、どの画像を用紙上のどの位置に配置するかをユーザが指定しなければならず、煩雑な操作が必要になるという問題があった。
【００１４】
そこで、本発明の一実施の形態では、用紙や画面の所定の位置に画像を配置する処理に対して電子ペンを利用する。具体的には、用紙や画面上に電子ペンで認識可能な位置検出用パターンを出力し、電子ペンで用紙や画面上に手書きした手書き情報と、デジタルカメラで撮影した画像データやスキャナで読み取った画像データとを取得する。そして、手書きした時刻情報と画像データに予め対応付けられた時刻情報とに基づいて、手書き画像と画像データとを対応付ける。
【００１５】
例えば、ユーザは、デジタルカメラを用いて写真を撮影したり、スキャナを用いて原稿を読み取ったりする共に、電子ペンを用いて位置検出用パターンが印刷された用紙上若しくは位置検出用パターンが表示された画面上で１又は複数の画像を手書きし、画像合成装置（画像合成プログラム）では、電子ペンで画像を手書きした時刻に近い時刻に、デジタルカメラで撮影若しくはスキャナで読み取った画像データを特定し、その手書き画像で特定される画像合成領域に画像データに基づく画像又は当該画像データの保存場所情報を配置した合成画像を生成する。これにより、電子ペンの操作とデジタルカメラやスキャナの操作とを対応付けることができ、電子ペンで指定した各々の位置に所望の画像を配置した合成画像を容易に作成することができる。
【００１６】
以下、位置検出用パターンが印刷された用紙を用いて、デジタルカメラで取得した画像データに基づく画像を用紙上に配置する場合を例にして詳細に説明する。
【実施例】
【００１７】
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像合成装置及び画像合成プログラムについて、図１乃至図１６を参照して説明する。図１は、本実施例の画像合成システムの構成及び概略動作を示す図であり、図２は、画像合成装置の構成を示すブロック図である。また、図３は、電子ペンの構成を示すブロック図、図４は、デジタルカメラの構成を示すブロック図であり、図５は、アノト（登録商標）パターンの一例を示す図である。また、図６、７、９、１１乃至１３、１５は、画像合成システムの処理を示すフローチャート図であり、図８、１０、１４、１６は、画像合成システムの処理を説明する図である。
【００１８】
図１に示すように、本実施例の画像合成システムは、画像合成処理などを行う画像合成装置１０と、アノト（登録商標）パターンに代表される位置検出用パターンを検出する電子ペン２０と、合成対象となる画像（入力画像と呼ぶ。）を提供するデジタルカメラ３０などで構成される。
【００１９】
上記画像合成システムの概略動作を説明すると、まず、画像合成装置１０にて、位置検出用パターンを印刷した用紙（手書き入力用紙と呼ぶ。）を作成する。そして、作成した手書き入力用紙に電子ペン２０で文字や図を記入するだけでなく、入力画像をどのページのどの位置に入力するかを指示する所定の操作（画像合成領域を描画する操作）も行う。このような手書きを行った電子ペン２０に保存される情報（手書き情報と呼ぶ。）には、電子ペン２０の移動軌跡を示す手書き画像と共に手書きした時刻情報も含まれる。
【００２０】
一方、合成対象となる入力画像は、手書き作業と共にデジタルカメラ３０により撮影され、所定のフォーマットの画像データとしてメモリカードや画像合成装置１０、サーバなどに保存される。その際、画像データのヘッダなどには、撮影時刻や画像データの保存時刻などの時刻情報が書き込まれる。
【００２１】
その後、画像合成装置１０は、電子ペン２０から手書き情報を取り込むと共に、デジタルカメラ３０やサーバなどから画像データを取り込み（又は画像データの保存場所情報を取得し）、手書き画像を解析する。そして、手書き画像が画像合成領域を表す場合は、手書きした時刻情報と画像データに対応付けられた時刻情報とを比較することによって、画像合成領域と画像データとを対応付け、各々の画像合成領域に画像データに基づく画像又は当該画像データの保存場所情報を合成し、合成画像を印刷したり、ファイルで出力したりする。
【００２２】
なお、本実施例では、上記画像合成装置１０を、手書き入力用紙を作成する印刷機能を備えた装置（例えば、複写機や複合機（ＭＦＰ：Multi Function Peripheral）などの画像形成装置）とするが、位置検出用パターンを画面上に表示する場合は、表示機能を備えた装置（例えば、電子ペーパーや電子ブック、携帯端末、コンピュータ装置など）とすることもできる。以下、各々の装置の構成について図面を参照して説明する。
【００２３】
［画像合成装置］
図２に示すように、画像合成装置１０は、コントローラ部と、コントローラ部によって制御される各種装置と、で構成され、コントローラ部は、制御部１１、通信部１２、表示・操作部１３、画像入力部１４、画像出力部１５、データ記憶部１６、画像処理部１７などで構成される。
【００２４】
制御部１１は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリとで構成され、ＣＰＵは、ＲＯＭに保存されている制御プログラムをＲＡＭに展開して実行し、画像合成装置１０の全体制御を行う。本実施例では、特に、位置検出用パターンをメモリや外部のコンピュータ装置から読み出し、画像出力部１５を制御して、画像出力装置１９に手書き入力用紙を印刷させる処理や、電子ペン２０から手書き情報を取得すると共にデジタルカメラ３０や自装置、他の装置（画像合成装置１０にネットワーク接続されたサーバ）などから画像データを取得（又は当該画像データの保存場所情報を取得）し、手書き画像が画像合成領域を表す場合は、手書きした時刻情報と画像データに対応付けられた時刻情報とを比較して画像合成領域と画像データとを対応付け、画像処理部１７を制御して、各々の画像合成領域に画像データに基づく画像又は当該画像データの保存場所情報（リンク先のアドレスなど）を合成し、画像出力部１５を制御して、画像出力装置１９に合成画像を印刷させたり、通信部１２を介して、合成画像データを出力したりする処理を行う。
【００２５】
通信部１２は、様々なプロトコルを制御し、デジタルカメラ３０やサーバなどからの画像データの入力、電子ペン２０からの手書き情報の入力、コンピュータ装置からの位置検出用パターンのダウンロードを行う入力部と、合成画像データの外部のコンピュータ装置への送信を行う出力部として機能する。
【００２６】
表示・操作部１３は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイ上に透明電極が格子状に配置されたタッチパネルなどであり、ユーザへの情報表示とユーザからの情報入力を受け付ける。
【００２７】
画像入力部１４は、画像入力装置１８（例えば、スキャナ）からの画像入力を制御する部分であり、手書き入力用紙の作成時に位置検出用パターンに合成する画像や、画像合成領域に合成する画像の取り込みを制御する。なお、デジタルカメラ３０や自装置、サーバなどから取得した画像のみを使用する場合は、画像入力部１４及び画像入力装置１８を省略することもできる。
【００２８】
画像出力部１５は、画像出力装置１９（例えば、プリンタ）への画像出力を制御する部分であり、位置検出用パターンの印刷や、画像合成領域に画像又は当該画像の保存場所情報を合成した合成画像の印刷を制御する。
【００２９】
データ記憶部１６は、ＨＤＤ（Hard Disk Drive）などであり、画像データ、手書き情報、その他システムの情報など記憶する。
【００３０】
画像処理部１７は、手書き入力用紙への位置検出用パターンの合成、画像合成領域への画像の合成、画像合成領域に合成する画像に対する変倍・回転・トリミングなどの処理を行う。
【００３１】
なお、図２では、画像を合成する処理を画像処理部１７で実行する構成とするが、手書き情報と画像データを入力し、手書き情報の時刻情報と画像データの時刻情報に基づいて手書き画像と画像データとを対応付け、手書き画像で特定される画像合成領域に画像データに基づく画像を合成して出力する一連の処理を、制御部１１で動作する画像合成プログラムによって実行する構成としてもよい。
【００３２】
［電子ペン］
図３に示すように、電子ペン２０は、制御部２１、通信部２２、バッテリー２３、操作部２４、撮像部２５、圧力検知部２６、筆記部２７、時計部２８、データ記憶部２９などで構成される。
【００３３】
制御部２１は、ＣＰＵと、ＲＯＭやＲＡＭなどのメモリとで構成され、ＣＰＵは、ＲＯＭに保存されている制御プログラムをＲＡＭに展開して実行し、電子ペン２０の全体制御を行う。
【００３４】
通信部２２は、Bluetooth（登録商標）に代表される短距離無線通信や赤外線通信、有線通信により、画像合成装置１０への手書き情報の送信を制御する。
【００３５】
バッテリー２３は、一次電池または二次電池であり、電子ペン２０の各部に電力を供給する。
【００３６】
操作部２４は、電子ペン２０本体に設けられたボタンなどであり、手書きの開始／終了の指示、画像合成装置１０への手書き情報の送信指示などを行う。
【００３７】
撮像部２５は、位置検出用パターンを読み取るための小型のＣＣＤまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）ビデオカメラである。
【００３８】
圧力検知部２６は、電子ペン２０の筆圧を検知するための圧電素子などである。
【００３９】
筆記部２７は、圧力検知部２６が筆圧を検知した時に撮像部２５が読み取った位置検出用パターンに基づいて、電子ペン２０の手書き入力用紙上の位置を特定し、電子ペン２０の移動軌跡で特定される手書き画像を生成する。なお、本明細書における手書き画像は、手書き入力用紙上で電子ペン２０が移動した軌跡の全体で特定される画像ではなく、１つのオブジェクトとして認識可能な画像を意味する。例えば、電子ペン２０が手書き入力用紙から離れることなく一筆書きで描画した文字や図形は、１つのオブジェクトとして認識でき、手書き画像の一単位を構成する。また、手書き画像の一単位は一筆書きにより得られる画像に限る必要はなく、たとえば電子ペン２０が手書き入力用紙から離れるが、所定時間内に描画した文字や図形も１つの手書き画像と扱っても良い。更に、電子ペン２０が手書き入力用紙から離れるが、個々の軌跡が所定の距離範囲内に集まっている文字や図形についても、１つの手書き画像として扱っても良い。従って、矩形のような図形は、一筆書きで描画しても、漢字の”口”のような筆順で描画しても、１つの手書き画像として扱ってもよい。
【００４０】
時計部２８は、筆記部２７が手書き画像を生成した時刻を特定する。
【００４１】
データ記憶部２９は、フラッシュメモリなどであり、筆記部２７が生成した手書き画像と時計部２８が特定した時刻情報とを対応付けて記憶する。その際、各々の手書き画像に対して少なくとも１つの時刻情報が対応付け可能であればよい。例えば、撮像部２５が位置検出用パターンを読み取る度に時刻情報を取得する場合は、手書き画像の各点に時刻情報を対応付けてもよいし、電子ペン２０の移動軌跡の始点や終点などの特定の地点で時刻情報を取得する場合は、各々の手書き画像に地点数に応じた時刻情報を対応付けてもよい。
【００４２】
なお、電子ペン２０は、用紙に印刷若しくは画面に表示される位置検出用パターンを認識して、用紙上若しくは画面上の位置を特定し、手書き画像と時刻情報とを対応付けて手書き情報として出力する機能を備えていればよく、その構成や形状、通信方法などは特に限定されない。
【００４３】
［デジタルカメラ］
図４に示すように、デジタルカメラ３０は、制御部３１、通信部３２、バッテリー３３、表示・操作部３４、撮像部３５、時計部３６、データ記憶部３７などで構成される。
【００４４】
制御部３１は、ＣＰＵと、ＲＯＭやＲＡＭなどのメモリとで構成され、ＣＰＵは、ＲＯＭに保存されている制御プログラムをＲＡＭに展開して実行し、デジタルカメラ３０の全体制御を行う。
【００４５】
通信部３２は、Bluetooth（登録商標）に代表される短距離無線通信や赤外線通信、有線通信により、画像合成装置１０への画像データの送信を制御する。
【００４６】
バッテリー３３は、一次電池または二次電池であり、デジタルカメラ３０の各部に電力を供給する。
【００４７】
表示・操作部３４は、ＬＣＤや有機ＥＬディスプレイ上に透明電極が格子状に配置されたタッチパネルや、デジタルカメラ３０本体に設けられたボタンなどであり、撮影の開始／終了の指示、画像データの保存の指示、画像合成装置１０への画像データの送信指示などを行う。
【００４８】
撮像部３５は、合成対象となる画像データを取得するためのＣＣＤまたはＣＭＯＳビデオカメラである。
【００４９】
時計部３６は、画像を撮影した時刻や画像データを保存した時刻を特定する。
【００５０】
データ記憶部３７は、フラッシュメモリなどであり、撮像部３５で取得した画像データに、時計部３６で特定した時刻情報を付加（例えば、画像データのヘッダに時刻情報を記述）して記憶する。
【００５１】
なお、デジタルカメラ３０は、画像データに時刻情報を付加して出力する機能を備えていればよく、その構成や形状、画像データの記録フォーマットなどは特に限定されない。また、本実施例では、デジタルカメラ３０に画像データを保存する構成とするが、デジタルカメラ３０で取得した画像データを画像合成装置１０やサーバなどに保存してもよい。また、本実施例では、デジタルカメラ３０から画像データを取得する構成とするが、デジタルカメラ機能を備えた携帯電話機から画像データを取得してもよいし、予め記憶された画像データに対してトリミングやサイズ変換、色変換などの画像処理を行うコンピュータ装置から画像処理の時刻情報を付加した画像データを取得してもよい。また、画像合成装置１０の画像入力装置１８（スキャナ）で取得した画像データのみを使用する場合は、デジタルカメラ３０は不要である。
【００５２】
図５は、手書き入力用紙に印刷若しくは画面に表示されるアノト（登録商標）パターンの一例である。このアノト（登録商標）パターンは、格子状に配置されたドットパターンであり、各ドットは０．３ｍｍ間隔で直交する格子から上下左右いずれかの方向へ僅かにずれていて、撮像部２５によって、１度に縦６×横６ドット、計３６ドットのマトリクス単位で読み込まれる。このアノト（登録商標）パターンはどの点をとっても一意な値であり、電子ペン２０で書かれた軌跡はすべて異なる位置情報として認識できる。
【００５３】
以下、本実施例の画像合成システムの動作について、図６、７、９、１１乃至１３、１５のフローチャート図、及び、図８、１０、１４、１６の説明図を参照して説明する。
【００５４】
本実施例の画像合成システムの概略動作は図６に示す通りである。まず、画像合成装置１０は、位置検出用パターンを印刷した手書き入力用紙を作成し（Ｓ１００）、ユーザは、電子ペン２０を用いて手書き入力用紙に手書きし、画像合成指示を入力する（Ｓ２００）。次に、画像合成装置１０は、電子ペン２０から手書き情報の取り込みを行い（Ｓ３００）、デジタルカメラ３０や自装置、サーバなどから画像データの取り込み（又は画像データの保存場所情報の特定）を行う（Ｓ４００）。そして、画像合成装置１０は、手書き情報を解析して画像合成指示を認識し、時刻情報に基づいて画像合成領域に合成する画像データを選択し（Ｓ５００）、画像合成領域に選択した画像データに基づく入力画像又は画像データの保存場所情報を合成して（Ｓ６００）、合成画像を出力する（Ｓ７００）。以下、各ステップについて、個別に説明する。
【００５５】
［Ｓ１００の手書き入力用紙作成］
図７に示すように、ユーザが画像合成装置１０の表示・操作部１３を操作して、手書き入力用紙の作成を指示し（Ｓ１０１）、手書き入力用紙に合成する原稿画像を選択する（Ｓ１０２）。ここでは、原稿画像を合成するか否か、原稿画像を合成する場合は、ファイル名を指定してコンピュータ装置から入力するか、画像入力装置１８（スキャナ）で画像を取り込むか、などが選択できるものとする。
【００５６】
次に、画像合成装置１０のコントローラ部（制御部１１）は、Ｓ１０２の選択結果に基づいて原稿画像を読み込んだ後、データ記憶部１６に予め記憶された位置検出用パターンの中からそのページに印刷する位置検出用パターンを取得し（Ｓ１０３）、画像処理部１７は、原稿画像に位置検出用パターンを合成する（Ｓ１０４）。そして、画像出力部１５は、合成画像を画像出力装置１９（プリンタ）に送り、画像出力装置１９は、合成画像を手書き入力用紙に印刷する（Ｓ１０５）。この手書き入力用紙には、後述するように、入力画像の合成を指示するためのコマンドボタンなどが設けられている。その後、制御部１１は、次のページがあるかを判断し（Ｓ１０６）、次のページがある場合は、Ｓ１０３に戻って同様の処理を繰り返す。
【００５７】
図８は、上記手書き入力用紙作成処理を模式的に示す図である。データ記憶部１６には、複数ページ分の位置検出用パターンが記憶されており、各ページに異なる位置検出用パターンが印刷される。また、手書き入力用紙には、Ｓ１０２で原稿画像なしを選択した場合は、位置検出用パターンのみが印刷され、Ｓ１０２でファイルを指定した場合は、プリント画像に位置検出用パターンを合成した合成画像が印刷され、Ｓ１０２で画像取り込みを選択した場合は、スキャン画像に位置検出用パターンを合成した合成画像が印刷される。
【００５８】
なお、本実施例では、手書き入力用紙を印刷する構成としているが、画面上で手書きを行う場合は、位置検出用パターンのみの画像、プリント画像に位置検出用パターンを合成した画像、スキャン画像に位置検出用パターンを合成した画像などを表示部に表示させる構成としてもよい。
【００５９】
［Ｓ２００の画像合成指示］
まず、ユーザは、合成したい写真や動画などをデジタルカメラ３０で撮影し、撮影や保存の時刻情報を対応付けた画像データをデータ記憶部３７や画像合成装置１０、サーバなどに保存する。そして、撮影に並行して、手書き入力用紙を用いて画像合成指示を行う。具体的には、図９に示すように、その画像を取り込みたいページのコマンドボタンをタッチし（Ｓ２０１）、電子ペン２０で閉領域ができるように描画することによって、画像合成を指示する（Ｓ２０２）。この処理を、合成する画像の数だけ繰り返す。この時、手書きペン２０のデータ記憶部２９には、撮像部２５が認識した位置検出用パターンによって特定される一連の位置情報（手書き画像）と手書きを行った時刻情報とが対応付けて保存される。
【００６０】
なお、画像の合成指示は、画像を取り込みたい場所や大きさを電子ペン２０で入力することによって行うが、指示方法としては、例えば、図１０に示す３つの指示方法が考えられる。
【００６１】
第１の指示方法は、図９のフローチャートで示した方法であり、手書き入力用紙に予め印刷されているコマンドボタンの部分を電子ペン２０でタッチした後、閉領域の輪郭（ここでは円）を描画する方法である。この場合は、コマンドボタン入力とそれに続く閉領域の輪郭描画を検出した場合に、画像合成指示であると認識する。なお、以下に示す手書き情報の取り込みでは、この方法で画像合成が指示されたものとする。
【００６２】
第２の指示方法は、閉領域の輪郭（ここでは矩形）を描画し、その中に特定のマーク（ここではチェックマーク）を描画する方法である。この場合は、閉領域の輪郭が描画されたことを認識し、その中に特定のマークが続いて入力された場合に、画像合成指示であると認識する。
【００６３】
第３の指示方法は、特定の文字（ここでは“photo”という文字）を描画し、その後、文字を囲むように閉領域の輪郭（ここでは矩形）を描画する方法である。この場合は、特定の文字を認識し、それに続いて閉領域の輪郭が入力された場合に、画像合成指示であると認識する。
【００６４】
なお、画像合成指示の方法は上記に限定されない。例えば、第１の指示方法において、閉領域の輪郭を描画した後にコマンドボタンをタッチしてもよいし、第２の指示方法において、特定のマークを描画した後にそのマークを囲むように閉領域の輪郭を描画してもよいし、第３の指示方法において、閉領域の輪郭を描画した後にその中に特定の文字を描画にしてもよい。また、第１の指示方法では円を描画し、第２及び第３の指示方法では矩形を描画したが、閉領域の輪郭を表す図形であればどのような図形であってもよい。
【００６５】
［Ｓ３００の手書き情報取り込み］
図１１に示すように、まず、画像合成装置１０のコントローラ（制御部１１）は、無線通信、赤外線通信、有線通信などにより電子ペン２０と交信して（Ｓ３０１）、電子ペン２０に保存されている手書き情報（手書き画像及び時刻情報）を取得し（Ｓ３０２）、取得した手書き画像の位置情報から、ページを認識する（Ｓ３０３）。
【００６６】
次に、制御部１１は、手書き画像の位置情報が予め定義されたコマンドボタンの領域であるかを調べることにより、画像合成指示コマンドを検出する（Ｓ３０４）。画像合成指示コマンドが検出されなかった場合は、制御部１１は、通常の手書き情報として手書き画像をデータ記憶部１６に保存する（Ｓ３０９）。
【００６７】
一方、画像合成指示コマンドが検出された場合は、制御部１１は、手書き画像に対応付けられた時刻情報を読み取り（Ｓ３０５）、手書き画像で示される閉領域を検出する（Ｓ３０６）。そして、制御部１１は、その閉領域の外接矩形の位置を計算し（Ｓ３０７）、ページ情報と、矩形のサイズ及び位置（座標）と、時刻情報とを記述した画像合成指示情報をリスト化して、データ記憶部１６に保存する（Ｓ３０８）。
【００６８】
次に、制御部１１は、次の手書き情報があるかを判断し（Ｓ３１０）、次の手書き情報があればＳ３０２に戻って同様の処理を繰り返す。
【００６９】
［Ｓ４００の画像データ取り込み］
図１２に示すように、画像合成装置１０のコントローラ（制御部１１）は、無線通信、赤外線通信、有線通信などにより画像データが保存されているデジタルカメラ３０やサーバなどと交信し（Ｓ４０１）、表示・操作部１３に、デジタルカメラ３０のデータ記憶部３７や自装置、サーバなどのフォルダを表示させる。次に、ユーザが表示・操作部１３を操作して、画像データが保存されているフォルダを選択すると（Ｓ４０２）、制御部１１は、選択されたフォルダから画像データを取得し（Ｓ４０３）、データ記憶部１６に保存する（Ｓ４０４）。保存される画像データには、撮影時刻や保存時刻、ファイル名（ファイル番号）、画像サイズなどの情報が付加されている。
【００７０】
なお、ここでは、デジタルカメラ３０のフォルダを表示・操作部１３に表示させて、その中から所望のフォルダをユーザに選択させる構成としているが、フォルダの表示や選択を省略して、デジタルカメラ３０に保存されている全ての画像データを取り込むようにしてもよい。また、ここでは、画像データを取り込んでデータ記憶部１６に保存する構成とするが、後述する画像合成ステップで画像データの保存場所情報を合成する場合は、必ずしも画像データを取り込む必要はなく、画像データが保存されているフォルダのディレクトリ情報を取得してデータ記憶部１６に保存すればよい。
【００７１】
［Ｓ５００の入力画像選択］
図１３に示すように、画像合成装置１０のコントローラ（制御部１１）は、データ記憶部１６から画像合成指示情報のリストを読み込み（Ｓ５０１）、その中から画像合成指示情報を１つ選択して、その指示情報に記述された時刻情報を取得する（Ｓ５０２）。次に、制御部１１は、データ記憶部１６に保存した（又はデジタルカメラ３０のデータ記憶部３７やサーバに保存されている）画像データに対応付けられた時刻情報を取得し（Ｓ５０３）、これらの時刻情報を比較して、画像合成指示情報に記述された時刻と同じ、若しくはそれよりも前で最も近い時刻の画像データを選択する（Ｓ５０４）。
【００７２】
そして、制御部１１は、選択した画像データのファイル名やサムネイル画像を表示・操作部１３に表示してユーザに確認した後、選択した画像データのファイル名を画像合成指示情報のリストに追加して保存する（Ｓ５０６）。その後、制御部１１は、次の画像合成指示情報があるかを判断し（Ｓ５０７）、次の画像合成指示情報があればＳ５０２に戻って同様の処理を繰り返す。
【００７３】
なお、ここでは、選択した画像データのファイル名やサムネイル画像を表示・操作部１３に表示してユーザに確認しているが、このステップを省略して直ちにリストに追加してもよい。また、ここでは、画像合成指示情報に記述された時刻と同じ、若しくはそれよりも前で最も近い時刻に撮影／保存された画像データを選択する構成としているが、その選択基準の詳細は別途ユーザが指定することも可能である。例えば、リストＮ番目の画像合成指示に対応する画像データを選択する場合に、（Ｎ−１）番目の画像合成指示の時刻からＮ番目の画像合成指示の時刻の間に撮影／保存された複数の画像データをリスト表示してユーザが選択する方法、画像合成指示の時刻と同じ、若しくはそれよりも後で最も近い時刻に撮影／保存された画像データを選択する方法などを用いることも可能である。
【００７４】
図１４は、上記入力画像選択処理を模式的に示す図である。デジタルカメラ３０などから取り込んだ（又はデジタルカメラ３０や画像合成装置１０、サーバなどに保存されている）画像データには撮影時刻や保存時刻などの時刻情報が対応付けられている。一方、電子ペン２０から取り込んだ手書き情報にも手書きを行った時刻情報が対応付けられており、画像合成指示情報には、ページ情報と矩形のサイズ及び位置と時刻情報とが記述されている。そして、これらの時刻情報に基づいて手書きした矩形とその矩形に合成する入力画像との対応付けを行う。
【００７５】
例えば、No.1の矩形が手書きされた時刻は12:12であり、ファイル名が#1の画像データの撮影／保存時刻は12:12であり、手書きされた時刻と同じ時刻であることから、No.1の矩形に合成する画像データとして#1の画像データを選択し、そのファイル名#1を画像合成指示情報のリストに追加する。また、No.2の矩形が手書きされた時刻は13:01であり、ファイル名が#2の画像データの撮影／保存時刻は13:00であり、手書きされた時刻よりも前で最も近い時刻であることから、No.2の矩形に合成する画像データとして#2の画像データを選択し、そのファイル名#2を画像合成指示情報のリストに追加する。また、No.3、No.4の矩形に対しても同様の選択基準により#3、#5の画像データを選択し、そのファイル名#3、#5を画像合成指示情報のリストに追加する。
【００７６】
［Ｓ６００の画像合成］
図１５に示すように、画像合成装置１０のコントローラ（画像処理部１７）は、データ記憶部１６から、手書き画像と画像合成指示情報のリストとリストで指定された画像データ（又は画像データの保存場所情報）とを読み込む（Ｓ６０１〜Ｓ６０３）。次に、画像処理部１７は、画像合成指示情報で規定された矩形のサイズとその矩形に合成する画像データに基づく画像のサイズとを比較し、その矩形に画像が適切に収まるように、センタリング、変倍などの値を決定する（Ｓ６０４）。そして、画像処理部１７は、決定した値に基づいて、各々の画像に対して変倍処理、センタリング処理を行った後（Ｓ６０５、Ｓ６０６）、画像の合成処理を行い（Ｓ６０７）、合成画像データをデータ記憶部１６に保存する（Ｓ６０８）。
【００７７】
図１６は、上記画像合成処理を模式的に示す図である。例えば、合成する入力画像と矩形のサイズが異なる場合は、矩形に画像が収まるように画像を拡大／縮小し、合成する入力画像と矩形の縦横比が異なる場合は、矩形の略中央に画像が配置されるようにセンタリングを調整する。そして、原稿画像に入力画像（又は入力画像の保存場所情報）と手書き画像を合成してページ画像を生成する。なお、ここでは、原稿画像に入力画像と手書き画像を合成したが、原稿画像に入力画像のみを合成してもよいし、入力画像と手書き画像のみを合成してもよい。
【００７８】
［Ｓ７００の合成画像出力］
画像合成装置１０のコントローラ（制御部１１）は、画像処理部１７で生成した合成画像データを画像出力部１５に送り、画像出力部１５は画像出力装置１９を制御して、原稿画像に入力画像（又は入力画像の保存場所情報）と手書き画像を合成した合成画像を印刷する。なお、ユーザのコンピュータ装置などに合成画像データを出力してコンピュータ装置の表示部に合成画像を表示してもよく、入力画像の保存場所情報を合成した場合は、その保存場所情報をクリックすることにより、その保存場所から画像データが取り込まれて入力画像が表示されるようにしてもよい。また、サーバやＵＳＢ（Universal Serial Bus）メモリなどに合成画像データを出力して合成画像データを保存してもよいし、合成画像データをメールに添付して送信してもよい。
【００７９】
以上説明したように、本実施例の画像合成装置１０では、デジタルカメラ３０などから画像データを取得すると共に、電子ペン２０から手書き情報を取得すると、画像合成領域が手書きされているかを判断し、画像合成領域が手書きされている場合は、手書きした時刻と画像データの撮影／保存時刻とを比較し、予め定められたルールに従って、画像合成領域に合成する画像データを選択し、画像合成領域に画像データに基づく画像又は当該画像データの保存場所情報を合成した合成画像データを出力する制御を行うため、用紙や画面上の所定の位置に簡便に画像を合成することができる。
【００８０】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、各装置の構成や制御は適宜変更可能である。
【産業上の利用可能性】
【００８１】
本発明は、用紙上や画面上の所定の位置に入力画像を合成する画像合成装置及び該画像合成装置を備えるシステムに利用可能である。
【符号の説明】
【００８２】
１０ 画像合成装置
１１ 制御部
１２ 通信部
１３ 表示・操作部
１４ 画像入力部
１５ 画像出力部
１６ データ記憶部
１７ 画像処理部
１８ 画像入力装置
１９ 画像出力装置
２０ 電子ペン
２１ 制御部
２２ 通信部
２３ バッテリー
２４ 操作部
２５ 撮像部
２６ 圧力検知部
２７ 筆記部
２８ 時計部
２９ データ記憶部
３０ デジタルカメラ
３１ 制御部
３２ 通信部
３３ バッテリー
３４ 表示・操作部
３５ 撮像部
３６ 時計部
３７ データ記憶部
【技術分野】
【０００１】
本発明は、画像合成装置及び画像合成プログラムに関し、特に、電子ペンを利用して画像を合成する画像合成装置及び画像合成プログラムに関する。
【背景技術】
【０００２】
近年、入力デバイスとして、ペンで入力した筆跡をデータとして出力する電子ペンが利用されている。この電子ペンは、ペン先に小型カメラを搭載しており、用紙に印刷されたアノト（登録商標）パターンと呼ばれる位置検出用パターンを小型カメラで読み取ることによってペン先の位置を特定し、手書きした文字や図形、絵などの筆跡を手書きデータとして出力する。
【０００３】
このような電子ペンを利用したシステムとして、例えば、下記特許文献１には、デジタルカメラを内蔵し、筆記機能を有するデジタルペンと、デジタルペン専用用紙と、デジタルペンから写真画像データを受信してサーバに受信画像を送信し、サーバから編集されたデータを受信する通信装置と、少なくとも写真画像情報読取部とを有し、前記通信装置に接続されて印刷物を出力する出力装置を有する印刷システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６３９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の技術を利用することにより、用紙に予め配置された画像と、その画像上に手書きした手書き画像と、を合成して合成画像を出力することができるが、画像が配置された用紙を作成するためには、ユーザが画像を選択し、選択した画像を用紙上のどの位置に配置するかを指定しなければならず、煩雑な操作が必要になる。
【０００６】
特に、デジタルカメラで撮影した画像やスキャナで読み取った画像などの多数の画像を各ページの所定の位置に配置した資料等を作成する場合には、画像と用紙上の位置との対応付けに手間がかかり、簡便に画像を合成することができないという問題があった。
【０００７】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、用紙や画面の所定の位置に簡便に画像を合成することができる画像合成装置及び画像合成プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の画像合成装置は、用紙上若しくは画面上の電子ペンの移動軌跡を表す１又は複数の手書き画像と当該画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報を入力すると共に、予め時刻情報が対応付けられた画像データを入力する入力部と、前記手書き画像に対応付けられた少なくとも１つの時刻情報と前記画像データに対応付けられた時刻情報とに基づいて、前記手書き画像と前記画像データとを対応付ける制御部と、前記手書き画像で特定される閉領域内に、当該手書き画像に対応付けられた画像データに基づく入力画像又は当該画像データの保存場所情報を合成する画像処理部と、合成結果を出力する出力部と、を少なくとも備えるものである。
【０００９】
また、本発明は、入力部と出力部とを備える装置で動作する画像合成プログラムであって、前記装置に、前記入力部に、用紙上若しくは画面上の電子ペンの移動軌跡を表す１又は複数の手書き画像と当該画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報と、予め時刻情報が対応付けられた画像データと、を入力させる第１の処理、前記手書き画像に対応付けられた少なくとも１つの時刻情報と前記画像データに対応付けられた時刻情報とに基づいて、前記手書き画像と前記画像データとを対応付ける第２の処理、前記手書き画像で特定される閉領域内に、当該手書き画像に対応付けられた画像データに基づく入力画像又は当該画像データの保存場所情報を合成する第３の処理、前記出力部に、合成結果を出力させる第４の処理、を実行させるものである。
【発明の効果】
【００１０】
本発明の画像合成装置及び画像合成プログラムによれば、用紙や画面の所定の位置に簡便に画像を合成することができる。
【００１１】
その理由は、画像合成装置（画像合成プログラム）は、電子ペンから、位置検出用パターンが印刷された用紙や位置検出用パターンが表示された画面で手書きした１又は複数の手書き画像とその手書き画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報を取得すると共に、デジタルカメラやスキャナから、予め時刻情報が対応付けられた画像データを取得し、手書き画像に対応付けられた少なくとも１つの時刻情報と画像データに対応付けられた時刻情報とに基づいて、手書き画像と画像データとを対応付け、各々の画像合成領域に時刻情報に基づいて対応付けられた画像データに基づく画像又は当該画像データの保存場所情報を合成する制御を行うからである。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例に係る画像合成システムの構成及び概略動作を示す図である。
【図２】本発明の一実施例に係る画像合成装置の構成を示すブロック図である。
【図３】本発明の一実施例に係る電子ペンの構成を示すブロック図である。
【図４】本発明の一実施例に係るデジタルカメラの構成を示すブロック図である。
【図５】アノト（登録商標）パターンの一例を示す図である。
【図６】本発明の一実施例に係る画像合成システムの全体処理を示すフローチャート図である。
【図７】本発明の一実施例に係る手書き入力用紙の作成処理を示すフローチャート図である。
【図８】手書き入力用紙の作成処理を説明する図である。
【図９】本発明の一実施例に係る画像合成指示の処理を示すフローチャート図である。
【図１０】画像合成指示の処理を説明する図である。
【図１１】本発明の一実施例に係る手書き情報取り込み処理を示すフローチャート図である。
【図１２】本発明の一実施例に係る入力画像取り込み処理を示すフローチャート図である。
【図１３】本発明の一実施例に係る合成画像選択処理を示すフローチャート図である。
【図１４】合成画像選択処理を説明する図である。
【図１５】本発明の一実施例に係る画像合成処理を示すフローチャート図である。
【図１６】画像合成処理を説明する図である。
【発明を実施するための形態】
【００１３】
背景技術で示したように、電子ペンを利用した様々なシステムが提案されており、特許文献１には、デジタルペン専用用紙にデジタル写真画像を出力し、その上にデジタルペンで文字等を記入させることにより、手書きメッセージ入り写真画像を印刷する印刷システムが開示されている。しかしながら、このシステムは、予め用紙上に配置された画像に手書きした手書き画像を合成するものであり、用紙に画像を配置する際には、どの画像を用紙上のどの位置に配置するかをユーザが指定しなければならず、煩雑な操作が必要になるという問題があった。
【００１４】
そこで、本発明の一実施の形態では、用紙や画面の所定の位置に画像を配置する処理に対して電子ペンを利用する。具体的には、用紙や画面上に電子ペンで認識可能な位置検出用パターンを出力し、電子ペンで用紙や画面上に手書きした手書き情報と、デジタルカメラで撮影した画像データやスキャナで読み取った画像データとを取得する。そして、手書きした時刻情報と画像データに予め対応付けられた時刻情報とに基づいて、手書き画像と画像データとを対応付ける。
【００１５】
例えば、ユーザは、デジタルカメラを用いて写真を撮影したり、スキャナを用いて原稿を読み取ったりする共に、電子ペンを用いて位置検出用パターンが印刷された用紙上若しくは位置検出用パターンが表示された画面上で１又は複数の画像を手書きし、画像合成装置（画像合成プログラム）では、電子ペンで画像を手書きした時刻に近い時刻に、デジタルカメラで撮影若しくはスキャナで読み取った画像データを特定し、その手書き画像で特定される画像合成領域に画像データに基づく画像又は当該画像データの保存場所情報を配置した合成画像を生成する。これにより、電子ペンの操作とデジタルカメラやスキャナの操作とを対応付けることができ、電子ペンで指定した各々の位置に所望の画像を配置した合成画像を容易に作成することができる。
【００１６】
以下、位置検出用パターンが印刷された用紙を用いて、デジタルカメラで取得した画像データに基づく画像を用紙上に配置する場合を例にして詳細に説明する。
【実施例】
【００１７】
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像合成装置及び画像合成プログラムについて、図１乃至図１６を参照して説明する。図１は、本実施例の画像合成システムの構成及び概略動作を示す図であり、図２は、画像合成装置の構成を示すブロック図である。また、図３は、電子ペンの構成を示すブロック図、図４は、デジタルカメラの構成を示すブロック図であり、図５は、アノト（登録商標）パターンの一例を示す図である。また、図６、７、９、１１乃至１３、１５は、画像合成システムの処理を示すフローチャート図であり、図８、１０、１４、１６は、画像合成システムの処理を説明する図である。
【００１８】
図１に示すように、本実施例の画像合成システムは、画像合成処理などを行う画像合成装置１０と、アノト（登録商標）パターンに代表される位置検出用パターンを検出する電子ペン２０と、合成対象となる画像（入力画像と呼ぶ。）を提供するデジタルカメラ３０などで構成される。
【００１９】
上記画像合成システムの概略動作を説明すると、まず、画像合成装置１０にて、位置検出用パターンを印刷した用紙（手書き入力用紙と呼ぶ。）を作成する。そして、作成した手書き入力用紙に電子ペン２０で文字や図を記入するだけでなく、入力画像をどのページのどの位置に入力するかを指示する所定の操作（画像合成領域を描画する操作）も行う。このような手書きを行った電子ペン２０に保存される情報（手書き情報と呼ぶ。）には、電子ペン２０の移動軌跡を示す手書き画像と共に手書きした時刻情報も含まれる。
【００２０】
一方、合成対象となる入力画像は、手書き作業と共にデジタルカメラ３０により撮影され、所定のフォーマットの画像データとしてメモリカードや画像合成装置１０、サーバなどに保存される。その際、画像データのヘッダなどには、撮影時刻や画像データの保存時刻などの時刻情報が書き込まれる。
【００２１】
その後、画像合成装置１０は、電子ペン２０から手書き情報を取り込むと共に、デジタルカメラ３０やサーバなどから画像データを取り込み（又は画像データの保存場所情報を取得し）、手書き画像を解析する。そして、手書き画像が画像合成領域を表す場合は、手書きした時刻情報と画像データに対応付けられた時刻情報とを比較することによって、画像合成領域と画像データとを対応付け、各々の画像合成領域に画像データに基づく画像又は当該画像データの保存場所情報を合成し、合成画像を印刷したり、ファイルで出力したりする。
【００２２】
なお、本実施例では、上記画像合成装置１０を、手書き入力用紙を作成する印刷機能を備えた装置（例えば、複写機や複合機（ＭＦＰ：Multi Function Peripheral）などの画像形成装置）とするが、位置検出用パターンを画面上に表示する場合は、表示機能を備えた装置（例えば、電子ペーパーや電子ブック、携帯端末、コンピュータ装置など）とすることもできる。以下、各々の装置の構成について図面を参照して説明する。
【００２３】
［画像合成装置］
図２に示すように、画像合成装置１０は、コントローラ部と、コントローラ部によって制御される各種装置と、で構成され、コントローラ部は、制御部１１、通信部１２、表示・操作部１３、画像入力部１４、画像出力部１５、データ記憶部１６、画像処理部１７などで構成される。
【００２４】
制御部１１は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリとで構成され、ＣＰＵは、ＲＯＭに保存されている制御プログラムをＲＡＭに展開して実行し、画像合成装置１０の全体制御を行う。本実施例では、特に、位置検出用パターンをメモリや外部のコンピュータ装置から読み出し、画像出力部１５を制御して、画像出力装置１９に手書き入力用紙を印刷させる処理や、電子ペン２０から手書き情報を取得すると共にデジタルカメラ３０や自装置、他の装置（画像合成装置１０にネットワーク接続されたサーバ）などから画像データを取得（又は当該画像データの保存場所情報を取得）し、手書き画像が画像合成領域を表す場合は、手書きした時刻情報と画像データに対応付けられた時刻情報とを比較して画像合成領域と画像データとを対応付け、画像処理部１７を制御して、各々の画像合成領域に画像データに基づく画像又は当該画像データの保存場所情報（リンク先のアドレスなど）を合成し、画像出力部１５を制御して、画像出力装置１９に合成画像を印刷させたり、通信部１２を介して、合成画像データを出力したりする処理を行う。
【００２５】
通信部１２は、様々なプロトコルを制御し、デジタルカメラ３０やサーバなどからの画像データの入力、電子ペン２０からの手書き情報の入力、コンピュータ装置からの位置検出用パターンのダウンロードを行う入力部と、合成画像データの外部のコンピュータ装置への送信を行う出力部として機能する。
【００２６】
表示・操作部１３は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイ上に透明電極が格子状に配置されたタッチパネルなどであり、ユーザへの情報表示とユーザからの情報入力を受け付ける。
【００２７】
画像入力部１４は、画像入力装置１８（例えば、スキャナ）からの画像入力を制御する部分であり、手書き入力用紙の作成時に位置検出用パターンに合成する画像や、画像合成領域に合成する画像の取り込みを制御する。なお、デジタルカメラ３０や自装置、サーバなどから取得した画像のみを使用する場合は、画像入力部１４及び画像入力装置１８を省略することもできる。
【００２８】
画像出力部１５は、画像出力装置１９（例えば、プリンタ）への画像出力を制御する部分であり、位置検出用パターンの印刷や、画像合成領域に画像又は当該画像の保存場所情報を合成した合成画像の印刷を制御する。
【００２９】
データ記憶部１６は、ＨＤＤ（Hard Disk Drive）などであり、画像データ、手書き情報、その他システムの情報など記憶する。
【００３０】
画像処理部１７は、手書き入力用紙への位置検出用パターンの合成、画像合成領域への画像の合成、画像合成領域に合成する画像に対する変倍・回転・トリミングなどの処理を行う。
【００３１】
なお、図２では、画像を合成する処理を画像処理部１７で実行する構成とするが、手書き情報と画像データを入力し、手書き情報の時刻情報と画像データの時刻情報に基づいて手書き画像と画像データとを対応付け、手書き画像で特定される画像合成領域に画像データに基づく画像を合成して出力する一連の処理を、制御部１１で動作する画像合成プログラムによって実行する構成としてもよい。
【００３２】
［電子ペン］
図３に示すように、電子ペン２０は、制御部２１、通信部２２、バッテリー２３、操作部２４、撮像部２５、圧力検知部２６、筆記部２７、時計部２８、データ記憶部２９などで構成される。
【００３３】
制御部２１は、ＣＰＵと、ＲＯＭやＲＡＭなどのメモリとで構成され、ＣＰＵは、ＲＯＭに保存されている制御プログラムをＲＡＭに展開して実行し、電子ペン２０の全体制御を行う。
【００３４】
通信部２２は、Bluetooth（登録商標）に代表される短距離無線通信や赤外線通信、有線通信により、画像合成装置１０への手書き情報の送信を制御する。
【００３５】
バッテリー２３は、一次電池または二次電池であり、電子ペン２０の各部に電力を供給する。
【００３６】
操作部２４は、電子ペン２０本体に設けられたボタンなどであり、手書きの開始／終了の指示、画像合成装置１０への手書き情報の送信指示などを行う。
【００３７】
撮像部２５は、位置検出用パターンを読み取るための小型のＣＣＤまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）ビデオカメラである。
【００３８】
圧力検知部２６は、電子ペン２０の筆圧を検知するための圧電素子などである。
【００３９】
筆記部２７は、圧力検知部２６が筆圧を検知した時に撮像部２５が読み取った位置検出用パターンに基づいて、電子ペン２０の手書き入力用紙上の位置を特定し、電子ペン２０の移動軌跡で特定される手書き画像を生成する。なお、本明細書における手書き画像は、手書き入力用紙上で電子ペン２０が移動した軌跡の全体で特定される画像ではなく、１つのオブジェクトとして認識可能な画像を意味する。例えば、電子ペン２０が手書き入力用紙から離れることなく一筆書きで描画した文字や図形は、１つのオブジェクトとして認識でき、手書き画像の一単位を構成する。また、手書き画像の一単位は一筆書きにより得られる画像に限る必要はなく、たとえば電子ペン２０が手書き入力用紙から離れるが、所定時間内に描画した文字や図形も１つの手書き画像と扱っても良い。更に、電子ペン２０が手書き入力用紙から離れるが、個々の軌跡が所定の距離範囲内に集まっている文字や図形についても、１つの手書き画像として扱っても良い。従って、矩形のような図形は、一筆書きで描画しても、漢字の”口”のような筆順で描画しても、１つの手書き画像として扱ってもよい。
【００４０】
時計部２８は、筆記部２７が手書き画像を生成した時刻を特定する。
【００４１】
データ記憶部２９は、フラッシュメモリなどであり、筆記部２７が生成した手書き画像と時計部２８が特定した時刻情報とを対応付けて記憶する。その際、各々の手書き画像に対して少なくとも１つの時刻情報が対応付け可能であればよい。例えば、撮像部２５が位置検出用パターンを読み取る度に時刻情報を取得する場合は、手書き画像の各点に時刻情報を対応付けてもよいし、電子ペン２０の移動軌跡の始点や終点などの特定の地点で時刻情報を取得する場合は、各々の手書き画像に地点数に応じた時刻情報を対応付けてもよい。
【００４２】
なお、電子ペン２０は、用紙に印刷若しくは画面に表示される位置検出用パターンを認識して、用紙上若しくは画面上の位置を特定し、手書き画像と時刻情報とを対応付けて手書き情報として出力する機能を備えていればよく、その構成や形状、通信方法などは特に限定されない。
【００４３】
［デジタルカメラ］
図４に示すように、デジタルカメラ３０は、制御部３１、通信部３２、バッテリー３３、表示・操作部３４、撮像部３５、時計部３６、データ記憶部３７などで構成される。
【００４４】
制御部３１は、ＣＰＵと、ＲＯＭやＲＡＭなどのメモリとで構成され、ＣＰＵは、ＲＯＭに保存されている制御プログラムをＲＡＭに展開して実行し、デジタルカメラ３０の全体制御を行う。
【００４５】
通信部３２は、Bluetooth（登録商標）に代表される短距離無線通信や赤外線通信、有線通信により、画像合成装置１０への画像データの送信を制御する。
【００４６】
バッテリー３３は、一次電池または二次電池であり、デジタルカメラ３０の各部に電力を供給する。
【００４７】
表示・操作部３４は、ＬＣＤや有機ＥＬディスプレイ上に透明電極が格子状に配置されたタッチパネルや、デジタルカメラ３０本体に設けられたボタンなどであり、撮影の開始／終了の指示、画像データの保存の指示、画像合成装置１０への画像データの送信指示などを行う。
【００４８】
撮像部３５は、合成対象となる画像データを取得するためのＣＣＤまたはＣＭＯＳビデオカメラである。
【００４９】
時計部３６は、画像を撮影した時刻や画像データを保存した時刻を特定する。
【００５０】
データ記憶部３７は、フラッシュメモリなどであり、撮像部３５で取得した画像データに、時計部３６で特定した時刻情報を付加（例えば、画像データのヘッダに時刻情報を記述）して記憶する。
【００５１】
なお、デジタルカメラ３０は、画像データに時刻情報を付加して出力する機能を備えていればよく、その構成や形状、画像データの記録フォーマットなどは特に限定されない。また、本実施例では、デジタルカメラ３０に画像データを保存する構成とするが、デジタルカメラ３０で取得した画像データを画像合成装置１０やサーバなどに保存してもよい。また、本実施例では、デジタルカメラ３０から画像データを取得する構成とするが、デジタルカメラ機能を備えた携帯電話機から画像データを取得してもよいし、予め記憶された画像データに対してトリミングやサイズ変換、色変換などの画像処理を行うコンピュータ装置から画像処理の時刻情報を付加した画像データを取得してもよい。また、画像合成装置１０の画像入力装置１８（スキャナ）で取得した画像データのみを使用する場合は、デジタルカメラ３０は不要である。
【００５２】
図５は、手書き入力用紙に印刷若しくは画面に表示されるアノト（登録商標）パターンの一例である。このアノト（登録商標）パターンは、格子状に配置されたドットパターンであり、各ドットは０．３ｍｍ間隔で直交する格子から上下左右いずれかの方向へ僅かにずれていて、撮像部２５によって、１度に縦６×横６ドット、計３６ドットのマトリクス単位で読み込まれる。このアノト（登録商標）パターンはどの点をとっても一意な値であり、電子ペン２０で書かれた軌跡はすべて異なる位置情報として認識できる。
【００５３】
以下、本実施例の画像合成システムの動作について、図６、７、９、１１乃至１３、１５のフローチャート図、及び、図８、１０、１４、１６の説明図を参照して説明する。
【００５４】
本実施例の画像合成システムの概略動作は図６に示す通りである。まず、画像合成装置１０は、位置検出用パターンを印刷した手書き入力用紙を作成し（Ｓ１００）、ユーザは、電子ペン２０を用いて手書き入力用紙に手書きし、画像合成指示を入力する（Ｓ２００）。次に、画像合成装置１０は、電子ペン２０から手書き情報の取り込みを行い（Ｓ３００）、デジタルカメラ３０や自装置、サーバなどから画像データの取り込み（又は画像データの保存場所情報の特定）を行う（Ｓ４００）。そして、画像合成装置１０は、手書き情報を解析して画像合成指示を認識し、時刻情報に基づいて画像合成領域に合成する画像データを選択し（Ｓ５００）、画像合成領域に選択した画像データに基づく入力画像又は画像データの保存場所情報を合成して（Ｓ６００）、合成画像を出力する（Ｓ７００）。以下、各ステップについて、個別に説明する。
【００５５】
［Ｓ１００の手書き入力用紙作成］
図７に示すように、ユーザが画像合成装置１０の表示・操作部１３を操作して、手書き入力用紙の作成を指示し（Ｓ１０１）、手書き入力用紙に合成する原稿画像を選択する（Ｓ１０２）。ここでは、原稿画像を合成するか否か、原稿画像を合成する場合は、ファイル名を指定してコンピュータ装置から入力するか、画像入力装置１８（スキャナ）で画像を取り込むか、などが選択できるものとする。
【００５６】
次に、画像合成装置１０のコントローラ部（制御部１１）は、Ｓ１０２の選択結果に基づいて原稿画像を読み込んだ後、データ記憶部１６に予め記憶された位置検出用パターンの中からそのページに印刷する位置検出用パターンを取得し（Ｓ１０３）、画像処理部１７は、原稿画像に位置検出用パターンを合成する（Ｓ１０４）。そして、画像出力部１５は、合成画像を画像出力装置１９（プリンタ）に送り、画像出力装置１９は、合成画像を手書き入力用紙に印刷する（Ｓ１０５）。この手書き入力用紙には、後述するように、入力画像の合成を指示するためのコマンドボタンなどが設けられている。その後、制御部１１は、次のページがあるかを判断し（Ｓ１０６）、次のページがある場合は、Ｓ１０３に戻って同様の処理を繰り返す。
【００５７】
図８は、上記手書き入力用紙作成処理を模式的に示す図である。データ記憶部１６には、複数ページ分の位置検出用パターンが記憶されており、各ページに異なる位置検出用パターンが印刷される。また、手書き入力用紙には、Ｓ１０２で原稿画像なしを選択した場合は、位置検出用パターンのみが印刷され、Ｓ１０２でファイルを指定した場合は、プリント画像に位置検出用パターンを合成した合成画像が印刷され、Ｓ１０２で画像取り込みを選択した場合は、スキャン画像に位置検出用パターンを合成した合成画像が印刷される。
【００５８】
なお、本実施例では、手書き入力用紙を印刷する構成としているが、画面上で手書きを行う場合は、位置検出用パターンのみの画像、プリント画像に位置検出用パターンを合成した画像、スキャン画像に位置検出用パターンを合成した画像などを表示部に表示させる構成としてもよい。
【００５９】
［Ｓ２００の画像合成指示］
まず、ユーザは、合成したい写真や動画などをデジタルカメラ３０で撮影し、撮影や保存の時刻情報を対応付けた画像データをデータ記憶部３７や画像合成装置１０、サーバなどに保存する。そして、撮影に並行して、手書き入力用紙を用いて画像合成指示を行う。具体的には、図９に示すように、その画像を取り込みたいページのコマンドボタンをタッチし（Ｓ２０１）、電子ペン２０で閉領域ができるように描画することによって、画像合成を指示する（Ｓ２０２）。この処理を、合成する画像の数だけ繰り返す。この時、手書きペン２０のデータ記憶部２９には、撮像部２５が認識した位置検出用パターンによって特定される一連の位置情報（手書き画像）と手書きを行った時刻情報とが対応付けて保存される。
【００６０】
なお、画像の合成指示は、画像を取り込みたい場所や大きさを電子ペン２０で入力することによって行うが、指示方法としては、例えば、図１０に示す３つの指示方法が考えられる。
【００６１】
第１の指示方法は、図９のフローチャートで示した方法であり、手書き入力用紙に予め印刷されているコマンドボタンの部分を電子ペン２０でタッチした後、閉領域の輪郭（ここでは円）を描画する方法である。この場合は、コマンドボタン入力とそれに続く閉領域の輪郭描画を検出した場合に、画像合成指示であると認識する。なお、以下に示す手書き情報の取り込みでは、この方法で画像合成が指示されたものとする。
【００６２】
第２の指示方法は、閉領域の輪郭（ここでは矩形）を描画し、その中に特定のマーク（ここではチェックマーク）を描画する方法である。この場合は、閉領域の輪郭が描画されたことを認識し、その中に特定のマークが続いて入力された場合に、画像合成指示であると認識する。
【００６３】
第３の指示方法は、特定の文字（ここでは“photo”という文字）を描画し、その後、文字を囲むように閉領域の輪郭（ここでは矩形）を描画する方法である。この場合は、特定の文字を認識し、それに続いて閉領域の輪郭が入力された場合に、画像合成指示であると認識する。
【００６４】
なお、画像合成指示の方法は上記に限定されない。例えば、第１の指示方法において、閉領域の輪郭を描画した後にコマンドボタンをタッチしてもよいし、第２の指示方法において、特定のマークを描画した後にそのマークを囲むように閉領域の輪郭を描画してもよいし、第３の指示方法において、閉領域の輪郭を描画した後にその中に特定の文字を描画にしてもよい。また、第１の指示方法では円を描画し、第２及び第３の指示方法では矩形を描画したが、閉領域の輪郭を表す図形であればどのような図形であってもよい。
【００６５】
［Ｓ３００の手書き情報取り込み］
図１１に示すように、まず、画像合成装置１０のコントローラ（制御部１１）は、無線通信、赤外線通信、有線通信などにより電子ペン２０と交信して（Ｓ３０１）、電子ペン２０に保存されている手書き情報（手書き画像及び時刻情報）を取得し（Ｓ３０２）、取得した手書き画像の位置情報から、ページを認識する（Ｓ３０３）。
【００６６】
次に、制御部１１は、手書き画像の位置情報が予め定義されたコマンドボタンの領域であるかを調べることにより、画像合成指示コマンドを検出する（Ｓ３０４）。画像合成指示コマンドが検出されなかった場合は、制御部１１は、通常の手書き情報として手書き画像をデータ記憶部１６に保存する（Ｓ３０９）。
【００６７】
一方、画像合成指示コマンドが検出された場合は、制御部１１は、手書き画像に対応付けられた時刻情報を読み取り（Ｓ３０５）、手書き画像で示される閉領域を検出する（Ｓ３０６）。そして、制御部１１は、その閉領域の外接矩形の位置を計算し（Ｓ３０７）、ページ情報と、矩形のサイズ及び位置（座標）と、時刻情報とを記述した画像合成指示情報をリスト化して、データ記憶部１６に保存する（Ｓ３０８）。
【００６８】
次に、制御部１１は、次の手書き情報があるかを判断し（Ｓ３１０）、次の手書き情報があればＳ３０２に戻って同様の処理を繰り返す。
【００６９】
［Ｓ４００の画像データ取り込み］
図１２に示すように、画像合成装置１０のコントローラ（制御部１１）は、無線通信、赤外線通信、有線通信などにより画像データが保存されているデジタルカメラ３０やサーバなどと交信し（Ｓ４０１）、表示・操作部１３に、デジタルカメラ３０のデータ記憶部３７や自装置、サーバなどのフォルダを表示させる。次に、ユーザが表示・操作部１３を操作して、画像データが保存されているフォルダを選択すると（Ｓ４０２）、制御部１１は、選択されたフォルダから画像データを取得し（Ｓ４０３）、データ記憶部１６に保存する（Ｓ４０４）。保存される画像データには、撮影時刻や保存時刻、ファイル名（ファイル番号）、画像サイズなどの情報が付加されている。
【００７０】
なお、ここでは、デジタルカメラ３０のフォルダを表示・操作部１３に表示させて、その中から所望のフォルダをユーザに選択させる構成としているが、フォルダの表示や選択を省略して、デジタルカメラ３０に保存されている全ての画像データを取り込むようにしてもよい。また、ここでは、画像データを取り込んでデータ記憶部１６に保存する構成とするが、後述する画像合成ステップで画像データの保存場所情報を合成する場合は、必ずしも画像データを取り込む必要はなく、画像データが保存されているフォルダのディレクトリ情報を取得してデータ記憶部１６に保存すればよい。
【００７１】
［Ｓ５００の入力画像選択］
図１３に示すように、画像合成装置１０のコントローラ（制御部１１）は、データ記憶部１６から画像合成指示情報のリストを読み込み（Ｓ５０１）、その中から画像合成指示情報を１つ選択して、その指示情報に記述された時刻情報を取得する（Ｓ５０２）。次に、制御部１１は、データ記憶部１６に保存した（又はデジタルカメラ３０のデータ記憶部３７やサーバに保存されている）画像データに対応付けられた時刻情報を取得し（Ｓ５０３）、これらの時刻情報を比較して、画像合成指示情報に記述された時刻と同じ、若しくはそれよりも前で最も近い時刻の画像データを選択する（Ｓ５０４）。
【００７２】
そして、制御部１１は、選択した画像データのファイル名やサムネイル画像を表示・操作部１３に表示してユーザに確認した後、選択した画像データのファイル名を画像合成指示情報のリストに追加して保存する（Ｓ５０６）。その後、制御部１１は、次の画像合成指示情報があるかを判断し（Ｓ５０７）、次の画像合成指示情報があればＳ５０２に戻って同様の処理を繰り返す。
【００７３】
なお、ここでは、選択した画像データのファイル名やサムネイル画像を表示・操作部１３に表示してユーザに確認しているが、このステップを省略して直ちにリストに追加してもよい。また、ここでは、画像合成指示情報に記述された時刻と同じ、若しくはそれよりも前で最も近い時刻に撮影／保存された画像データを選択する構成としているが、その選択基準の詳細は別途ユーザが指定することも可能である。例えば、リストＮ番目の画像合成指示に対応する画像データを選択する場合に、（Ｎ−１）番目の画像合成指示の時刻からＮ番目の画像合成指示の時刻の間に撮影／保存された複数の画像データをリスト表示してユーザが選択する方法、画像合成指示の時刻と同じ、若しくはそれよりも後で最も近い時刻に撮影／保存された画像データを選択する方法などを用いることも可能である。
【００７４】
図１４は、上記入力画像選択処理を模式的に示す図である。デジタルカメラ３０などから取り込んだ（又はデジタルカメラ３０や画像合成装置１０、サーバなどに保存されている）画像データには撮影時刻や保存時刻などの時刻情報が対応付けられている。一方、電子ペン２０から取り込んだ手書き情報にも手書きを行った時刻情報が対応付けられており、画像合成指示情報には、ページ情報と矩形のサイズ及び位置と時刻情報とが記述されている。そして、これらの時刻情報に基づいて手書きした矩形とその矩形に合成する入力画像との対応付けを行う。
【００７５】
例えば、No.1の矩形が手書きされた時刻は12:12であり、ファイル名が#1の画像データの撮影／保存時刻は12:12であり、手書きされた時刻と同じ時刻であることから、No.1の矩形に合成する画像データとして#1の画像データを選択し、そのファイル名#1を画像合成指示情報のリストに追加する。また、No.2の矩形が手書きされた時刻は13:01であり、ファイル名が#2の画像データの撮影／保存時刻は13:00であり、手書きされた時刻よりも前で最も近い時刻であることから、No.2の矩形に合成する画像データとして#2の画像データを選択し、そのファイル名#2を画像合成指示情報のリストに追加する。また、No.3、No.4の矩形に対しても同様の選択基準により#3、#5の画像データを選択し、そのファイル名#3、#5を画像合成指示情報のリストに追加する。
【００７６】
［Ｓ６００の画像合成］
図１５に示すように、画像合成装置１０のコントローラ（画像処理部１７）は、データ記憶部１６から、手書き画像と画像合成指示情報のリストとリストで指定された画像データ（又は画像データの保存場所情報）とを読み込む（Ｓ６０１〜Ｓ６０３）。次に、画像処理部１７は、画像合成指示情報で規定された矩形のサイズとその矩形に合成する画像データに基づく画像のサイズとを比較し、その矩形に画像が適切に収まるように、センタリング、変倍などの値を決定する（Ｓ６０４）。そして、画像処理部１７は、決定した値に基づいて、各々の画像に対して変倍処理、センタリング処理を行った後（Ｓ６０５、Ｓ６０６）、画像の合成処理を行い（Ｓ６０７）、合成画像データをデータ記憶部１６に保存する（Ｓ６０８）。
【００７７】
図１６は、上記画像合成処理を模式的に示す図である。例えば、合成する入力画像と矩形のサイズが異なる場合は、矩形に画像が収まるように画像を拡大／縮小し、合成する入力画像と矩形の縦横比が異なる場合は、矩形の略中央に画像が配置されるようにセンタリングを調整する。そして、原稿画像に入力画像（又は入力画像の保存場所情報）と手書き画像を合成してページ画像を生成する。なお、ここでは、原稿画像に入力画像と手書き画像を合成したが、原稿画像に入力画像のみを合成してもよいし、入力画像と手書き画像のみを合成してもよい。
【００７８】
［Ｓ７００の合成画像出力］
画像合成装置１０のコントローラ（制御部１１）は、画像処理部１７で生成した合成画像データを画像出力部１５に送り、画像出力部１５は画像出力装置１９を制御して、原稿画像に入力画像（又は入力画像の保存場所情報）と手書き画像を合成した合成画像を印刷する。なお、ユーザのコンピュータ装置などに合成画像データを出力してコンピュータ装置の表示部に合成画像を表示してもよく、入力画像の保存場所情報を合成した場合は、その保存場所情報をクリックすることにより、その保存場所から画像データが取り込まれて入力画像が表示されるようにしてもよい。また、サーバやＵＳＢ（Universal Serial Bus）メモリなどに合成画像データを出力して合成画像データを保存してもよいし、合成画像データをメールに添付して送信してもよい。
【００７９】
以上説明したように、本実施例の画像合成装置１０では、デジタルカメラ３０などから画像データを取得すると共に、電子ペン２０から手書き情報を取得すると、画像合成領域が手書きされているかを判断し、画像合成領域が手書きされている場合は、手書きした時刻と画像データの撮影／保存時刻とを比較し、予め定められたルールに従って、画像合成領域に合成する画像データを選択し、画像合成領域に画像データに基づく画像又は当該画像データの保存場所情報を合成した合成画像データを出力する制御を行うため、用紙や画面上の所定の位置に簡便に画像を合成することができる。
【００８０】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、各装置の構成や制御は適宜変更可能である。
【産業上の利用可能性】
【００８１】
本発明は、用紙上や画面上の所定の位置に入力画像を合成する画像合成装置及び該画像合成装置を備えるシステムに利用可能である。
【符号の説明】
【００８２】
１０ 画像合成装置
１１ 制御部
１２ 通信部
１３ 表示・操作部
１４ 画像入力部
１５ 画像出力部
１６ データ記憶部
１７ 画像処理部
１８ 画像入力装置
１９ 画像出力装置
２０ 電子ペン
２１ 制御部
２２ 通信部
２３ バッテリー
２４ 操作部
２５ 撮像部
２６ 圧力検知部
２７ 筆記部
２８ 時計部
２９ データ記憶部
３０ デジタルカメラ
３１ 制御部
３２ 通信部
３３ バッテリー
３４ 表示・操作部
３５ 撮像部
３６ 時計部
３７ データ記憶部
【特許請求の範囲】
【請求項１】
用紙上若しくは画面上の電子ペンの移動軌跡を表す１又は複数の手書き画像と当該画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報を入力すると共に、予め時刻情報が対応付けられた画像データを入力する入力部と、
前記手書き画像に対応付けられた少なくとも１つの時刻情報と前記画像データに対応付けられた時刻情報とに基づいて、前記手書き画像と前記画像データとを対応付ける制御部と、
前記手書き画像で特定される閉領域内に、当該手書き画像に対応付けられた画像データに基づく入力画像又は当該画像データの保存場所情報を合成する画像処理部と、
合成結果を出力する出力部と、を少なくとも備える、
ことを特徴とする画像合成装置。
【請求項２】
前記制御部は、前記手書き画像が予め定めた特定画像であるかを判断し、前記手書き画像が前記特定画像である場合に、前記手書き画像と前記画像データとを対応付ける、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記特定画像は、用紙上若しくは画面上の所定のコマンド領域を指し示した後に閉領域の輪郭を描画した画像、閉領域の輪郭を描画した後に当該閉領域内に所定の文字又は記号を描画した画像、所定の文字又は記号を描画した後に当該所定の文字又は記号を取り囲む閉領域の輪郭を描画した画像、のいずれかである、
ことを特徴とする請求項２に記載の画像合成装置。
【請求項４】
前記入力部は、デジタルカメラで撮影した画像データ、及び／又は、スキャナで読み取った画像データを入力し、
前記制御部は、各々の手書き画像に、当該手書き画像を手書きした時刻に最も近い時刻に撮影又は保存された画像データを対応付ける、
ことを特徴とする請求項１乃至３のいずれか一に記載の画像合成装置。
【請求項５】
前記画像処理部は、前記閉領域若しくは当該閉領域に外接する矩形のサイズと前記入力画像のサイズとを比較し、比較結果に基づいて、前記入力画像の配置及び／又は倍率を調整する、
ことを特徴とする請求項１乃至４のいずれか一に記載の画像合成装置。
【請求項６】
前記出力部は、手書き入力用紙に、原稿画像と前記電子ペンが用紙上の位置を認識可能なパターンとを印刷すると共に、出力用紙に、前記原稿画像の前記閉領域内に前記入力画像又は前記保存場所情報を合成した画像、若しくは、更に前記特定画像以外の手書き画像を合成した画像を印刷する、
ことを特徴とする請求項１乃至５のいずれか一に記載の画像合成装置。
【請求項７】
入力部と出力部とを備える装置で動作する画像合成プログラムであって、
前記装置に、
前記入力部に、用紙上若しくは画面上の電子ペンの移動軌跡を表す１又は複数の手書き画像と当該画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報と、予め時刻情報が対応付けられた画像データと、を入力させる第１の処理、
前記手書き画像に対応付けられた少なくとも１つの時刻情報と前記画像データに対応付けられた時刻情報とに基づいて、前記手書き画像と前記画像データとを対応付ける第２の処理、
前記手書き画像で特定される閉領域内に、当該手書き画像に対応付けられた画像データに基づく入力画像又は当該画像データの保存場所情報を合成する第３の処理、
前記出力部に、合成結果を出力させる第４の処理、を実行させる、
ことを特徴とする画像合成プログラム。
【請求項８】
前記第２の処理では、前記手書き画像が予め定めた特定画像であるかを判断し、前記手書き画像が前記特定画像である場合に、前記手書き画像と前記画像データとを対応付ける、
ことを特徴とする請求項７に記載の画像合成プログラム。
【請求項９】
前記特定画像は、用紙上若しくは画面上の所定のコマンド領域を指し示した後に閉領域の輪郭を描画した画像、閉領域の輪郭を描画した後に当該閉領域内に所定の文字又は記号を描画した画像、所定の文字又は記号を描画した後に当該所定の文字又は記号を取り囲む閉領域の輪郭を描画した画像、のいずれかである、
ことを特徴とする請求項８に記載の画像合成プログラム。
【請求項１０】
前記画像データは、デジタルカメラで撮影した画像データ、及び／又は、スキャナで読み取った画像データであり、
前記第２の処理では、各々の手書き画像に、当該手書き画像を手書きした時刻に最も近い時刻に撮影若しくは保存された画像データを対応付ける、
ことを特徴とする請求項７乃至９のいずれか一に記載の画像合成プログラム。
【請求項１１】
前記第３の処理では、前記閉領域若しくは当該閉領域に外接する矩形のサイズと前記入力画像のサイズとを比較し、比較結果に基づいて、前記入力画像の配置及び／又は倍率を調整する、
ことを特徴とする請求項７乃至１０のいずれか一に記載の画像合成プログラム。
【請求項１】
用紙上若しくは画面上の電子ペンの移動軌跡を表す１又は複数の手書き画像と当該画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報を入力すると共に、予め時刻情報が対応付けられた画像データを入力する入力部と、
前記手書き画像に対応付けられた少なくとも１つの時刻情報と前記画像データに対応付けられた時刻情報とに基づいて、前記手書き画像と前記画像データとを対応付ける制御部と、
前記手書き画像で特定される閉領域内に、当該手書き画像に対応付けられた画像データに基づく入力画像又は当該画像データの保存場所情報を合成する画像処理部と、
合成結果を出力する出力部と、を少なくとも備える、
ことを特徴とする画像合成装置。
【請求項２】
前記制御部は、前記手書き画像が予め定めた特定画像であるかを判断し、前記手書き画像が前記特定画像である場合に、前記手書き画像と前記画像データとを対応付ける、
ことを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記特定画像は、用紙上若しくは画面上の所定のコマンド領域を指し示した後に閉領域の輪郭を描画した画像、閉領域の輪郭を描画した後に当該閉領域内に所定の文字又は記号を描画した画像、所定の文字又は記号を描画した後に当該所定の文字又は記号を取り囲む閉領域の輪郭を描画した画像、のいずれかである、
ことを特徴とする請求項２に記載の画像合成装置。
【請求項４】
前記入力部は、デジタルカメラで撮影した画像データ、及び／又は、スキャナで読み取った画像データを入力し、
前記制御部は、各々の手書き画像に、当該手書き画像を手書きした時刻に最も近い時刻に撮影又は保存された画像データを対応付ける、
ことを特徴とする請求項１乃至３のいずれか一に記載の画像合成装置。
【請求項５】
前記画像処理部は、前記閉領域若しくは当該閉領域に外接する矩形のサイズと前記入力画像のサイズとを比較し、比較結果に基づいて、前記入力画像の配置及び／又は倍率を調整する、
ことを特徴とする請求項１乃至４のいずれか一に記載の画像合成装置。
【請求項６】
前記出力部は、手書き入力用紙に、原稿画像と前記電子ペンが用紙上の位置を認識可能なパターンとを印刷すると共に、出力用紙に、前記原稿画像の前記閉領域内に前記入力画像又は前記保存場所情報を合成した画像、若しくは、更に前記特定画像以外の手書き画像を合成した画像を印刷する、
ことを特徴とする請求項１乃至５のいずれか一に記載の画像合成装置。
【請求項７】
入力部と出力部とを備える装置で動作する画像合成プログラムであって、
前記装置に、
前記入力部に、用紙上若しくは画面上の電子ペンの移動軌跡を表す１又は複数の手書き画像と当該画像を手書きした時刻を特定する少なくとも１つの時刻情報とが対応付けられた手書き情報と、予め時刻情報が対応付けられた画像データと、を入力させる第１の処理、
前記手書き画像に対応付けられた少なくとも１つの時刻情報と前記画像データに対応付けられた時刻情報とに基づいて、前記手書き画像と前記画像データとを対応付ける第２の処理、
前記手書き画像で特定される閉領域内に、当該手書き画像に対応付けられた画像データに基づく入力画像又は当該画像データの保存場所情報を合成する第３の処理、
前記出力部に、合成結果を出力させる第４の処理、を実行させる、
ことを特徴とする画像合成プログラム。
【請求項８】
前記第２の処理では、前記手書き画像が予め定めた特定画像であるかを判断し、前記手書き画像が前記特定画像である場合に、前記手書き画像と前記画像データとを対応付ける、
ことを特徴とする請求項７に記載の画像合成プログラム。
【請求項９】
前記特定画像は、用紙上若しくは画面上の所定のコマンド領域を指し示した後に閉領域の輪郭を描画した画像、閉領域の輪郭を描画した後に当該閉領域内に所定の文字又は記号を描画した画像、所定の文字又は記号を描画した後に当該所定の文字又は記号を取り囲む閉領域の輪郭を描画した画像、のいずれかである、
ことを特徴とする請求項８に記載の画像合成プログラム。
【請求項１０】
前記画像データは、デジタルカメラで撮影した画像データ、及び／又は、スキャナで読み取った画像データであり、
前記第２の処理では、各々の手書き画像に、当該手書き画像を手書きした時刻に最も近い時刻に撮影若しくは保存された画像データを対応付ける、
ことを特徴とする請求項７乃至９のいずれか一に記載の画像合成プログラム。
【請求項１１】
前記第３の処理では、前記閉領域若しくは当該閉領域に外接する矩形のサイズと前記入力画像のサイズとを比較し、比較結果に基づいて、前記入力画像の配置及び／又は倍率を調整する、
ことを特徴とする請求項７乃至１０のいずれか一に記載の画像合成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−８０３１６（Ｐ２０１２−８０３１６Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２３４５１（Ｐ２０１０−２２３４５１）
【出願日】平成２２年１０月１日（２０１０．１０．１）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月１日（２０１０．１０．１）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]